CN101335765A - 基于移动缓存的存储服务中间件 - Google Patents

Abstract

基于移动缓存技术的广域网存储服务中间件，属于计算机网络存储技术领域中的数据存取管理中间件，解决IPv6广域网分布式存储系统数据传输慢及安全性差等问题。本发明包括数据传输、移动缓存和安全模块；数据传输模块包括元数据管理、服务请求、服务处理子模块和请求监听、请求处理子模块；移动缓存模块包括移动缓存选择、缓存传输子模块；安全模块包括三方安全认证子模块和权限检测子模块。本发明实现客户节点到存储系统的简洁快速响应，充分利用存储服务节点间的高性能和高速的网络带宽，在数据传输时，为数据动态选择最优存储服务节点作为移动缓存，具有完备实用的存储服务功能和快速安全的数据传输性能；保证网络数据移动的高速性与安全性。

Description

基于移动缓存的存储服务中间件

技术领域

本发明属于计算机网络存储技术领域中的数据存取管理中间件，基于广域网环境中的移动缓存技术。

背景技术

多媒体和网络应用使得数字信息呈爆炸式增长趋势，在质和量两方面对存储的需求也越来越大，同时受网络和存储接口的数传率的约束，数据传送缓慢、通道效率不高、存取速度慢、响应用户请求的等待时间长；传送数据的安全性、完整性、服务质量得不到保障。特别是在广域网环境下，由于客户节点与存储服务节点之间存在着巨大的地理位置和网络环境的差异，数据的传输问题一直未能得到很好的解决。当前，以IPv6为代表的下一代互联网技术开始在我国推广，传统的存储技术需要赋予新的内容，实现远程数据的高速存取和安全可靠传输，以保证数据的及时性、可靠性、安全性和高服务质量。

另一方面，各种大型的应用程序需在广域网中的异构平台上运行，在这种分布异构环境中，通常存在多种存储系统(如SAN，RAID，NAS等)，在这些硬件平台上又存在各种各样的系统软件(如不同的操作系统、数据库、语言编译器等)，以及多种风格各异的用户界面，这些硬件系统平台还可能采用不同的网络协议和网络体系结构连接。如何把这些系统集成起来并开发新的应用是一个非常现实而困难的问题。

为了解决分布异构问题，中间件技术应运而生，并迅速应用于多个领域。美国田纳西州大学的物流计算和互联网工作实验室提出的物流分布式网络中，就使用了一个远程存储管理的中间件：网络背板协议(Internet Backplane Protocol)，该中间件支持用户将数据存放在物流网络中，根据用户需求选择合适的存储仓库作为数据和数据副本存储的位置，并按照一定的存储策略和缓存替换策略实现数据存取的最优性能，但是该存储服务中间件在数据安全性方面的考虑不是很充分。另一方面，国内的大型分布式存储系统中，能够支持IPv6实现广域网环境下数据快速安全传输的存储服务中间件还不多见，而且现有技术一般都采用一些传统的传输策略，既不能保证数据传输的速度，也不能保证传输的安全性。

发明内容

本发明提出一种基于移动缓存技术的广域网存储服务中间件，解决目前IPv6环境下的广域网分布式存储系统中，数据传输慢以及安全性差等问题，为广域网用户提供高速安全的存储服务，实现远程数据的高速存取和安全可靠传输。

本发明的一种存储服务中间件，运行于IPv6广域网存储系统，包括，数据传输模块，移动缓存模块和安全模块；所述IPv6广域网存储系统包括通过IPv6网络互连的存储管理节点、元数据管理节点、存储服务节点以及客户节点；存储管理节点对广域网范围内的存储服务节点进行动态监视并更新它们的状态信息；存储服务节点向客户节点提供存储空间和存储服务；元数据管理节点负责用户存储空间的初始化分配；客户节点是使用用户存储空间的客户终端，其特征在于：

(1)所述数据传输模块包括运行于元数据管理节点的元数据管理子模块，运行于客户节点的服务请求子模块、服务处理子模块和运行于存储服务节点的请求监听子模块和请求处理子模块；

(1.1)元数据管理子模块在用户发出注册请求时，根据用户登陆时所在客户节点的IP地址为该用户选择距离最近的存储服务节点，为该用户在此存储服务节点上创建一个虚拟空间，并记录用户和虚拟空间的对应情况及虚拟空间的地址信息，用户在该虚拟空间中进行浏览、目录操作和文件传输；

(1.2)服务请求子模块将客户请求转换成对应的协议命令，并通过网络将命令发送给存储服务节点，客户请求包括数据读写、文件与文件夹的管理、安全级别的设置；

(1.3)服务处理子模块完成客户节点的连接处理、数据传输处理、异常处理和错误处理；

(1.4)请求监听子模块，用户在进入存储空间时，通过客户节点向元数据管理节点上的元数据管理子模块发出连接请求，以获得自己在存储系统中虚拟空间的地址信息；元数据管理子模块将相关的数据信息返回到客户节点；客户节点得到信息后向存储服务节点发出连接请求，请求监听子模块接收来自于客户节点的连接请求，建立连接；

(1.5)请求处理子模块，接收并解析从客户节点发送的命令，并对不同的命令，做出不同的执行操作，包括数据的管理、数据的传输、安全级别的设置；

(2)所述移动缓存模块包括运行于存储服务节点上的移动缓存选择子模块和缓存传输子模块，

(2.1)移动缓存选择子模块：元数据管理节点启动与某客户节点之间的远程数据缓存传输时，先向网络中的所有存储服务节点发送请求包，各存储服务节点收到元数据管理节点发送的请求后，移动缓存选择子模块统计本存储服务节点相对于该客户节点的延时信息与传输带宽等参数，并回送给元数据管理节点，元数据管理节点根据这些参数为用户选择某存储服务节点作为移动缓存；

(2.2)缓存传输子模块：客户节点发出写请求时，移动缓存上的缓存传输子模块实现客户节点与移动缓存的数据交互，再将移动缓存中的内容写入目的存储服务节点；客户节点发出读请求时，由移动缓存上的缓存传输子模块先将数据从源存储服务节点取到移动缓存中，再由移动缓存与客户节点进行数据交互；

(3)所述安全模块包括运行于客户节点上的三方安全认证子模块和运行于存储服务节点上的权限检测子模块，

(3.1)所述三方安全认证子模块完成客户节点、元数据服务节点和存储服务节点之间的数据访问授权，采用RSA加密算法实现；

(3.2)所述权限检测子模块在客户节点与存储服务节点建立连接后，客户节点向存储服务节点发送认证信息的密文，存储服务节点收到密文后，由权限检测子模块访问元数据管理节点获取正确的密钥和明文，用密钥解密密文后和明文对照，检查用户是否为合法用户。

用户采用本发明在IPv6广域网存储系统存取数据的工作流程如下：

(1)用户登陆广域网存储系统，通过客户节点向元数据管理节点上的元数据管理子模块发出连接请求，获得自己在存储系统中虚拟空间的地址信息，再通过客户节点上的三方认证子模块完成客户节点、元数据服务节点和存储服务节点之间的数据访问授权；

(2)客户节点主动与存储服务节点上的请求监听子模块建立连接并将认证信息的密文通过网络传送给存储服务节点；

(3)存储服务节点接收连接请求，并接收认证信息的密文，权限检测子模块访问元数据管理节点获取密钥和明文，然后使用密钥解密密文，将解密后的密文和明文对照，若一致则为合法用户，等待接收服务请求；不一致则为非法用户，转步骤(6)；

(4)客户节点上的服务请求子模块将客户请求转换成对应的操作命令，并通过网络将命令发送给存储服务节点上的请求处理子模块，请求处理子模块接收并解析这些命令，根据不同的命令执行不同的操作，缓存传输命令转步骤(5)；浏览命令、目录操作和安全级别设置命令由请求处理子模块执行操作，操作完毕，转步骤(6)；

(5)缓存传输方式：存储服务节点上的移动缓存选择子模块首先为用户选择移动缓存，然后再由缓存传输子模块完成用户的上传下载操作，操作完毕，顺序执行；

(6)安全退出，关闭所有连接。

本发明由系统动态的为客户节点选择最优的存储服务节点作为移动缓存，无论客户请求真正的源节点(相对于读请求)或目的节点(相对于写请求)在何处，客户节点与系统的数据交互总是发生在客户与移动缓存之间；换言之，即屏蔽了客户节点与远程存储服务节点之间的传输距离，保证了广域网下数据移动的高速性。在此存储服务中间件中加入安全机制，也使得系统数据传输更加安全可靠。

本发明实现了客户节点到存储系统和存储设备的简洁与快速的响应，同时它也充分利用了存储服务节点间的高性能特征和高速的网络带宽，在数据传输移动时，动态的为数据选择最优的存储服务节点作为移动缓存，确保数据离请求发起者最近，具有完备实用的存储服务功能和快速安全的数据传输性能；保证网络数据移动的高速性与安全性。

附图说明

图1为IPv6广域网存储系统结构示意图；

图2为本发明的组成示意图；

图3为本发明的移动缓存哈希表数据结构示意图；

图4为本发明的移动缓存选择子模块流程图；

图5为本发明的缓存传输子模块的上传流程图；

图6为本发明的缓存传输子模块下载流程图；

图7为本发明的三方安全认证机制示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

图1是本发明运行的IPv6广域网存储系统结构示意图；IPv6广域网存储系统由存储管理节点、元数据管理节点、j个存储服务节点、n个客户节点以及用于节点间互连的高速IPv6网络构成。存储服务节点负责向客户节点提供存储空间和存储服务；元数据管理节点负责用户存储空间的初始化分配；存储管理节点负责管理广域网范围内的所有存储服务节点，动态监视并更新存储服务节点的状态信息；客户节点是使用整个广域网智能存储系统的客户终端。本发明的模块主要分布在客户节点和存储服务节点之上，并按照自定义的三方安全通信协议向存储管理节点和元数据管理节点获取必要信息。

图2是本发明的组成示意图，主要包括三个部分：数据传输模块，移动缓存模块和安全模块。数据传输模块是核心，几乎所有的文件管理和文件读写等存储服务都是在这个模块中实现的；移动缓存模块建立在数据传输模块之上，可以改善存储服务中间件的服务质量和响应时间；安全模块负责完成客户节点、元数据服务节点和存储服务节点之间的数据访问授权和权限检测，并防止重要数据在传输过程中被窃取和篡改。具体来说，数据传输模块包括元数据管理节点上的元数据管理子模块、客户节点上的服务请求子模块和服务处理子模块以及存储服务节点上的请求监听子模块和请求处理子模块；移动缓存模块包括存储服务节点上的缓存传输子模块和移动缓存选择子模块；安全模块包括客户节点上的三方安全认证子模块和存储服务节点上的权限检测子模块。

图3是移动缓存哈希表的数据结构示意图，一个数据结构包括两部分：关键字和对应的值。其中，关键字user@loaction包括用户名和其所在网络位置；它所对应的值Cachenode就是此用户在此网络位置上的移动缓存。多个数据结构组成移动缓存哈希表，存放在元数据管理节点上，通过查找这张哈希表，可以确定某用户在某一网络位置上对应的缓存节点，如果用户更换网络位置登陆或者原移动缓存失效，则通过选取移动缓存子模块，为用户重新选择移动缓存，并刷新哈希表内容。

图4是移动缓存选择子模块的步骤图，具体描述如下：

(1)查找移动缓存哈希表，如果该哈希表中存在该用户对应的关键字user@loaction，转步骤(8)，不存在则顺序执行；

(2)从元数据管理节点上的存储服务节点列表中获取系统中所有的存储服务节点地址；

(3)向所有存储服务节点发送UDP数据包，UDP数据包内容为：Ping^*clientHost^*serverHost^*serverPort；其中客户节点主机信息clientHost是各个节点要探测的延迟信息的地址，元数据管理节点主机信息serverHost是将延迟信息回送的地址，元数据管理节点段端口号serverPort为回送地址的具体端口号；

(4)元数据管理节点设置超时时间限制，发送完毕UDP数据包后，等待接收UDP延迟信息数据包，超过时间限制仍未收到UDP延迟信息数据包，则将对应存储服务节点的延迟数据设置为无限大；

(5)存储服务节点收到UDP数据包后，解析Ping命令，获取clientHost，执行Ping clientHost命令，获取延迟信息，并将延迟信息用UDP延迟信息数据包通过serverHost的serverPort端口回送至元数据管理节点；

(6)元数据管理节点接收UDP延迟信息数据包，并解析数据，选择最小延迟的节点为移动缓存；

(7)元数据管理节点将该关键字User@loaction对应的移动缓存写入移动缓存哈希表中。

图5是缓存传输子模块的上传流程图，具体描述如下：

(1)与移动缓存建立连接，然后发送缓存上传命令(缓存Upload^*filename^*security^*user)；

(2)移动缓存接收并解析命令，建立服务器套接字serverSocket，并向服务器返回包含服务器套接字serverSocket的响应信息，然后等待数据连接；

(3)元数据管理节点接收响应信息并解析，得到移动缓存中服务器套接字serverSocket信息，与之建立数据连接，并将该信息返回给客户节点；

(4)客户节点接收元数据管理节点返回的响应信息并解析，然后与移动缓存建立数据连接；

(5)缓存节点分别与元数据管理节点和客户节点建立完数据连接后，关闭服务器套接字serverSocket；

(6)客户节点将文件上传至移动缓存，移动缓存接收文件，接收完毕后释放双方的数据连接；

(7)移动缓存再将该文件转移至元数据管理节点中的用户存储空间，转移完毕后释放双方的数据连接；

(8)缓存上传完毕。

图6是缓存传输子模块的下载流程图，具体描述如下：

(1)与移动缓存建立连接，然后发送缓存下载命令(缓存Download^*filename^*security^*user)；

(2)移动缓存接收并解析命令，建立服务器套接字serverSocket，并向元数据管理节点返回包含服务器套接字serverSocket的响应信息，然后等待数据连接；

(3)元数据管理节点接收响应信息并解析，得到缓存节点中服务器套接字serverSocket信息，与之建立数据连接，并将该信息返回给客户节点；

(4)客户节点接收元数据管理节点返回的响应信息并解析，然后与缓存节点建立数据连接；

(5)移动缓存分别与元数据管理节点和客户节点建立完数据连接后，关闭服务器套接字serverSocket；

(6)元数据管理节点将要下载的数据分块传送至移动缓存，移动缓存将数据块再转发至客户节点；

(7)传输完毕释放三方的数据连接；

(8)缓存下载完毕。

图7是三方安全认证机制示意图。三方安全认证是对用户的身份进行检验，是存储服务中间件中安全措施中重要的一步。传统的两方安全认证只需要数据传输的双方认可就可以进行存储服务。而广域网智能存储系统分为客户节点、元数据管理节点、存储服务节点和存储管理节点，客户节点不仅要分别进行元数据管理节点和存储服务节点的身份认证，并且元数据管理节点和存储服务节点之间还要进行协商。

存储服务节点并没有客户节点的任何信息，它只负责提供存储服务，所有的客户节点信息在元数据管理节点，客户节点首先要在元数据管理节点登陆，获取连接存储服务节点的相关消息，然后和存储服务节点建立连接，存储服务节点必须从元数据管理节点获取相关消息来判断客户节点是否为合法用户。因此在这个过程中涉及到三方的信息交换与信任。具体过程如下：

(1)客户节点发送登陆信息(用户名、密码、登陆指纹)给元数据管理节点，元数据管理节点在自己的数据库中提取用户的用户名和密码，进行比较，检测是否为合法用户，是则顺序进行，否则立即中止会话；

(2)元数据管理节点利用RSA算法产生公钥G和私钥S，或者从事先已经生成的密钥文件里面取出来公钥G和私钥S，然后将公钥G和用户的登陆指纹发送给客户节点，确认登陆成功；

(3)用户收到确认登陆成功信息后，利用该公钥G采用RSA算法将自己的登陆指纹进行加密，并将密文传输给存储服务节点；

(4)存储服务节点收到该客户端发送来的密文，访问元数据管理节点的私钥S和用户的登陆指纹，用私钥S解密客户端发送的密文之后与明文进行对比匹配，判断二者是否相同，是则转下一阶段，否则立即中止会话。

以上安全认证机制成立的前提条件为：元数据管理节点和存储服务节点之间的网络通道是安全的；客户节点和元数据管理节点之间的通信是安全的，可以用安全超文本传输协议https来保证。

Claims (1)

1.一种存储服务中间件，运行于IPv6广域网存储系统，包括数据传输模块，移动缓存模块和安全模块；所述IPv6广域网存储系统包括通过IPv6网络互连的存储管理节点、元数据管理节点、存储服务节点以及客户节点；存储管理节点对广域网范围内的存储服务节点进行动态监视并更新它们的状态信息；存储服务节点向客户节点提供存储空间和存储服务；元数据管理节点负责用户存储空间的初始化分配；客户节点是使用用户存储空间的客户终端，其特征在于：

(1)所述数据传输模块包括运行于元数据管理节点的元数据管理子模块，运行于客户节点的服务请求子模块、服务处理子模块和运行于存储服务节点的请求监听子模块和请求处理子模块；

(1.1)元数据管理子模块在用户发出注册请求时，根据用户登陆时所在客户节点的IP地址为该用户选择距离最近的存储服务节点，为该用户在此存储服务节点上创建一个虚拟空间，并记录用户和虚拟空间的对应情况及虚拟空间的地址信息，用户在该虚拟空间中进行浏览、目录操作和文件传输；

(1.2)服务请求子模块将客户请求转换成对应的协议命令，并通过网络将命令发送给存储服务节点，客户请求包括数据读写、文件与文件夹的管理、安全级别的设置；

(1.3)服务处理子模块完成客户节点的连接处理、数据传输处理、异常处理和错误处理；

(1.4)请求监听子模块，用户在进入存储空间时，通过客户节点向元数据管理节点上的元数据管理子模块发出连接请求，以获得自己在存储系统中虚拟空间的地址信息；元数据管理子模块将相关的数据信息返回到客户节点；客户节点得到信息后向存储服务节点发出连接请求，请求监听子模块接收来自于客户节点的连接请求，建立连接；

(1.5)请求处理子模块，接收并解析从客户节点发送的命令，并对不同的命令，做出不同的执行操作，包括数据的管理、数据的传输、安全级别的设置；

(2)所述移动缓存模块包括运行于存储服务节点上的移动缓存选择子模块和缓存传输子模块，

(2.1)移动缓存选择子模块：元数据管理节点启动与某客户节点之间的远程数据缓存传输时，先向网络中的所有存储服务节点发送请求包，各存储服务节点收到元数据管理节点发送的请求后，移动缓存选择子模块统计本存储服务节点相对于该客户节点的延时信息与传输带宽等参数，并回送给元数据管理节点，元数据管理节点根据这些参数为用户选择某存储服务节点作为移动缓存；

(2.2)缓存传输子模块：客户节点发出写请求时，移动缓存上的缓存传输子模块实现客户节点与移动缓存的数据交互，再将移动缓存中的内容写入目的存储服务节点；客户节点发出读请求时，由移动缓存上的缓存传输子模块先将数据从源存储服务节点取到移动缓存中，再由移动缓存与客户节点进行数据交互；

(3)所述安全模块包括运行于客户节点上的三方安全认证子模块和运行于存储服务节点上的权限检测子模块，

(3.1)所述三方安全认证子模块完成客户节点、元数据服务节点和存储服务节点之间的数据访问授权，采用RSA加密算法实现；

(3.2)所述权限检测子模块在客户节点与存储服务节点建立连接后，客户节点向存储服务节点发送认证信息的密文，存储服务节点收到密文后，由权限检测子模块访问元数据管理节点获取正确的密钥和明文，用密钥解密密文后和明文对照，检查用户是否为合法用户。

Images