CN105262840A - 一种数据传输中间件及广域网存储系统 - Google Patents

一种数据传输中间件及广域网存储系统 Download PDF

Info

Publication number
CN105262840A
CN105262840A CN201510746551.7A CN201510746551A CN105262840A CN 105262840 A CN105262840 A CN 105262840A CN 201510746551 A CN201510746551 A CN 201510746551A CN 105262840 A CN105262840 A CN 105262840A
Authority
CN
China
Prior art keywords
data
transfer
module
client
middleware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510746551.7A
Other languages
English (en)
Inventor
殷武烁
张延枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510746551.7A priority Critical patent/CN105262840A/zh
Publication of CN105262840A publication Critical patent/CN105262840A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0884—Network architectures or network communication protocols for network security for authentication of entities by delegation of authentication, e.g. a proxy authenticates an entity to be authenticated on behalf of this entity vis-à-vis an authentication entity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Abstract

本发明实施例公开了一种数据传输中间件及广域网存储系统，包括：安全机制模块，数据传输协议模块和移动Cache机制模块；其中，通过安全机制模块判断与数据传输协议模块进行数据传输的客户端是否有使用权限，若有，则允许所述数据传输协议模块传输数据，保障了数据传输的安全性和可靠性；通过数据传输协议模块对数据进行传输；通过移动Cache机制模块，为客户端选择最优存储点作为所述客户端的缓存代理节点，改善了数据传输中间件的服务质量和响应时间，优化系统性能，实现数据的快速存取。

Description

一种数据传输中间件及广域网存储系统
技术领域
本发明涉及数据传输技术领域，更具体地说，涉及一种数据传输中间件及广域网存储系统。
背景技术
随着数据量呈指数倍的不断增大，各企业对存储服务的需求不断增加，存储服务成本也不断提高。一方面网络技术的发展，网络用户的激增，使公司的信息，文件存储，流媒体服务这些信息量都成爆炸式的增长。另一方面，互联网技术大大降低了传统的信息传输成本，随着网络传输宽带的提高和节点处理能力的增强，各种业务在互联网上的应用不断丰富，网络存储系统成为了计算机领域的热点研究方向。广域网络存储技术是基于IPv6在广域网范围构建，支持PB级的总存储容量和至少256个分布式存储节点的存储系统技术。系统分为存储管理，元数据模块，数据传输模块三个部分。存储管理对各种异构的存储设备进行统一管理，并收集存储节点的设备和网络信息提交给元数据管理部分；相关信息被元数据模块处理成为全局视图的变量，交给上层的动态负载平衡模块，该模块协调各个存储节点之间的空间分配与调度，数据传输模块主要可以提供数据管理和数据快速安全的传输。传统数据传输模块使用传输协议(如ftp)进行传输，但是传输效率低，传输安全性不高，异构设备之间传输成本大。
因此，如何提高异构设备之间的传输效率，增加安全性，降低异构设备之间传输成本是现在需要解决的问题。
发明内容
本发明的目的在于提供一种数据传输中间件及广域网存储系统，以提高异构设备之间的传输效率，增加安全性，降低异构设备之间传输成本。
为实现上述目的，本发明实施例提供了如下技术方案：
一种数据传输中间件，包括：
安全机制模块，数据传输协议模块和移动Cache机制模块；
所述安全机制模块，用于判断与数据传输协议模块进行数据传输的客户端是否有使用权限；若有，则允许所述数据传输协议模块传输数据；
所述数据传输协议模块，用于对数据进行传输；
所述移动Cache机制模块，用于为客户端选择最优存储点作为所述客户端的缓存代理节点。
优选的，所述数据传输协议模块包括：协议命令和响应机制。
优选的，所述协议命令包括：访问控制命令，传输参数命令和服务命令。
优选的，所述安全机制模块包括：
三方安全组件，用于验证所述客户端是否有使用所述数据传输协议模块传输数据的权限。
优选的，所述安全机制模块包括：
安全传输机制，用于对传输的数据进行加密。
优选的，所述数据传输协议模块通过TCP/IP协议进行数据传输。
一种广域网存储系统，包括：
存储管理、元数据和上述任意一项所述的数据传输中间件。
通过以上方案可知，本发明实施例提供的一种数据传输中间件及广域网存储系统，包括：安全机制模块，数据传输协议模块和移动Cache机制模块；其中，通过安全机制模块判断与数据传输协议模块进行数据传输的客户端是否有使用权限，若有，则允许所述数据传输协议模块传输数据，保障了数据传输的安全性和可靠性；通过数据传输协议模块对数据进行传输和管理；通过移动Cache机制模块，为客户端选择最优存储点作为所述客户端的缓存代理节点，改善了数据传输中间件的服务质量和响应时间，优化系统性能，实现数据的快速存取。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种数据传输中间件结构示意图；
图2为本发明实施例公开的另一种数据传输中间件结构示意图；
图3为本发明实施例公开的数据传输中间件在广域网存储系统的位置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种数据传输中间件及广域网存储系统，以提高异构设备之间的传输效率，增加安全性，降低异构设备之间传输成本。
参见图1，本发明实施例提供的一种数据传输中间件，包括：
安全机制模块100，数据传输协议模块200和移动Cache机制模块300；
所述安全机制模块100，用于判断与所述数据传输协议模块200进行数据传输的客户端是否有使用权限；若有，则允许所述数据传输协议模块200传输数据；
优选的，参见图2，所述安全机制模块100包括：
三方安全组件110，用于验证所述客户端是否有使用所述数据传输协议模块传输数据的权限。
优选的，所述安全机制模块100包括：
安全传输机制120，用于对传输的数据进行加密。
具体的，安全机制模块提供的安全组件分为三方安全组件和安全传输机制两部分。三方安全组件保证存储安全，验证用户是否合法，是否具有使用存储空间的权限。安全传输机制保障网络安全，对数据进行加密防止信息被窃取，校验传输防止信息传输遗漏和出错。
所述数据传输协议模块200，用于对数据进行传输和管理；
优选的，所述数据传输协议模块200包括：协议命令210和响应机制220。
优选的，所述数据传输协议模块200通过TCP/IP协议进行数据传输及管理。
具体的，数据传输协议模块200是数据传输的核心部分，几乎所有的文件管理和文件读写等存储服务都在这执行。
具体的，客户端和服务器之间的存储服务建立在文件系统之上，数据传输协议建立在TCP/IP协议之上，客户端与服务端链接分为两种：控制连接和数据链接。其中，控制连接建立在客户端与服务端用于交换命令的与应答的通信链路，用来传送命令和响应。数据连接接只传输数据，传输完后无需保持连接。
优选的，所述协议命令210包括：访问控制命令，传输参数命令和服务命令。
具体的，在本实施例中，协议命令集包括访问控制命令，传输参数命令，和服务命令，实现用户的基本功能，比如上传，下载文件，新建文件，删除文件等。
所述移动Cache机制模块300，用于为客户端选择最优存储点作为所述客户端的缓存代理节点。
具体的，移动Cache机制模块300主要利用广域存储系统节点众多的特点，确保在用户的网络位置改变时，在众多的存储节点中，为用户动态的选择一个最优的存储节点作为用户的缓存代理节点，用户的数据通过代理缓存节点进行转发，从而提高数据传输效率，改善中间件的服务质量和响应时间，实现性能优化，快速存取。
具体的，参见图3数据传输中间件在广域网存储系统的位置示意图，在本实施例中，数据传输中间件在广域网存储系统中的位置处于应用层之下，负责传送客户端与服务端(存储设备)之间的信息。
具体的，广域存储服务是基于IPv6在广域网范围构建，支持PB级的总存储容量和至少256个分布式存储节点。系统有存储管理，元数据和数据传输中间件三部分组成；本实施例中提供的这种数据传输中间件，在开放动态的IPv6环境下通过数据传输协议模块，安全机制模块和移动Cache机制模块三部分实现数据的快速存取和安全可靠传输。数据传输中间件主要为用户提供的服务主要是：数据管理，快速安全的数据传输，使用数据传输中间件和传统的传输协议相比，在传输性能得到很大提高，传输安全性在安全机制的保障下得到进一步提高。
本发明实施例提供的一种数据传输中间件，包括：安全机制模块，数据传输协议模块和移动Cache机制模块；其中，通过安全机制模块判断与数据传输协议模块进行数据传输的客户端是否有使用权限，若有，则允许所述数据传输协议模块传输数据，保障了数据传输的安全性和可靠性；通过数据传输协议模块对数据进行传输和管理；通过移动Cache机制模块，为客户端选择最优存储点作为所述客户端的缓存代理节点，改善了数据传输中间件的服务质量和响应时间，优化系统性能，实现数据的快速存取。
本发明实施例提供一种广域网存储系统，包括：存储管理、元数据和如上述实施例中的数据传输中间件。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种数据传输中间件，其特征在于，包括：
安全机制模块，数据传输协议模块和移动Cache机制模块；
所述安全机制模块，用于判断与数据传输协议模块进行数据传输的客户端是否有使用权限；若有，则允许所述数据传输协议模块传输数据；
所述数据传输协议模块，用于对数据进行传输；
所述移动Cache机制模块，用于为客户端选择最优存储点作为所述客户端的缓存代理节点。
2.根据权利要求1所述的数据传输中间件，其特征在于，所述数据传输协议模块包括：协议命令和响应机制。
3.根据权利要求2所述的数据传输中间件，其特征在于，所述协议命令包括：访问控制命令，传输参数命令和服务命令。
4.根据权利要求3所述的数据传输中间件，其特征在于，所述安全机制模块包括：
三方安全组件，用于验证所述客户端是否有使用所述数据传输协议模块传输数据的权限。
5.根据权利要求4所述的数据传输中间件，其特征在于，所述安全机制模块包括：
安全传输机制，用于对传输的数据进行加密。
6.根据权利要求5所述的数据传输中间件，其特征在于，所述数据传输协议模块通过TCP/IP协议进行数据传输。
7.一种广域网存储系统，其特征在于，包括：
存储管理、元数据和如权利要求1-6中任意一项所述的数据传输中间件。
CN201510746551.7A 2015-11-05 2015-11-05 一种数据传输中间件及广域网存储系统 Pending CN105262840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510746551.7A CN105262840A (zh) 2015-11-05 2015-11-05 一种数据传输中间件及广域网存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510746551.7A CN105262840A (zh) 2015-11-05 2015-11-05 一种数据传输中间件及广域网存储系统

Publications (1)

Publication Number Publication Date
CN105262840A true CN105262840A (zh) 2016-01-20

Family

ID=55102344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510746551.7A Pending CN105262840A (zh) 2015-11-05 2015-11-05 一种数据传输中间件及广域网存储系统

Country Status (1)

Country Link
CN (1) CN105262840A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109496409A (zh) * 2017-12-27 2019-03-19 华为技术有限公司 一种数据传送的方法和虚拟交换机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335765A (zh) * 2008-07-25 2008-12-31 华中科技大学 基于移动缓存的存储服务中间件
US20100179940A1 (en) * 2008-08-26 2010-07-15 Gilder Clark S Remote data collection systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335765A (zh) * 2008-07-25 2008-12-31 华中科技大学 基于移动缓存的存储服务中间件
US20100179940A1 (en) * 2008-08-26 2010-07-15 Gilder Clark S Remote data collection systems and methods

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109496409A (zh) * 2017-12-27 2019-03-19 华为技术有限公司 一种数据传送的方法和虚拟交换机
CN109496409B (zh) * 2017-12-27 2020-10-23 华为技术有限公司 一种数据传送的方法和虚拟交换机
US11689501B2 (en) 2017-12-27 2023-06-27 Huawei Cloud Computing Technologies Co., Ltd. Data transfer method and virtual switch

Similar Documents

Publication Publication Date Title
US11216418B2 (en) Method for seamless access to a cloud storage system by an endpoint device using metadata
CN102263825B (zh) 一种基于云位置的混合云存储系统数据传输方法
AU737742B2 (en) A method and system for distributed caching, prefetching and replication
CN102281314B (zh) 一种数据云存储系统
CN103338242B (zh) 一种基于多级缓存的混合云存储系统和方法
CN109491758A (zh) docker镜像分发方法、系统、数据网关及计算机可读存储介质
CN103229161B (zh) 连续接入网关和去重数据缓存服务器
US20190182270A1 (en) System and method for inquiring ioc information by p2p protocol
CN106559392A (zh) 一种文件共享方法、装置和系统
US10701143B1 (en) Server-orchestrated peer-to-peer content sharing in CMS and sync-n-share applications
CN102420863B (zh) 一种快速分发文件系统和方法及装置
CN109583221A (zh) 基于多云服务器架构的网盘系统
KR20100072992A (ko) 다수의 클라이언트를 위한 분산 네트워크 스토리지 장치 및그 방법
CN105262840A (zh) 一种数据传输中间件及广域网存储系统
WO2021017968A1 (zh) 内容分发系统中访问请求的处理方法、装置及系统
CN109257284A (zh) 用于多租户保护存储环境中的不同租户的物理数据分组隔离的系统和方法
Rawal et al. The disintegration protocol: An ultimate technique for cloud data security
KR101694301B1 (ko) 스토리지 시스템의 파일 처리 방법 및 그 방법에 따른 데이터 서버
CN106951190A (zh) 数据存储及访问方法、节点和服务器集群
US11172021B2 (en) File objects download and file objects data exchange
US20110106877A1 (en) System and method for transferring files by exclusive-line connection
CN112311798A (zh) 一种基于对等超媒体分发协议的数据块交换方法
EP4362426A1 (en) Home content delivery network
Raul et al. Blockchain technology for decentralized data storage on P2P network
Conti et al. Secure static content delivery for CDN using blockchain technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160120

RJ01 Rejection of invention patent application after publication