CN115622715B - 一种基于令牌的分布式存储系统、网关和方法 - Google Patents

一种基于令牌的分布式存储系统、网关和方法 Download PDF

Info

Publication number
CN115622715B
CN115622715B CN202211436844.1A CN202211436844A CN115622715B CN 115622715 B CN115622715 B CN 115622715B CN 202211436844 A CN202211436844 A CN 202211436844A CN 115622715 B CN115622715 B CN 115622715B
Authority
CN
China
Prior art keywords
token
storage
data
gateway node
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211436844.1A
Other languages
English (en)
Other versions
CN115622715A (zh
Inventor
文刘飞
高科
陈坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sandstone Data Technology Co ltd
Original Assignee
Shenzhen Sandstone Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sandstone Data Technology Co ltd filed Critical Shenzhen Sandstone Data Technology Co ltd
Priority to CN202211436844.1A priority Critical patent/CN115622715B/zh
Publication of CN115622715A publication Critical patent/CN115622715A/zh
Application granted granted Critical
Publication of CN115622715B publication Critical patent/CN115622715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

为解决分布式存储中ODX令牌处理的性能问题，本发明提出一种基于令牌的分布式存储系统、网关和方法：包括客户端、存储网关节点、两个以上的分布式存储节点；分布式存储节点分别与存储网关节信号连接；源数据存储网关节点对需要复制的数据的读写控制信息进行加密处理；将加密后的读写控制信息放入令牌数据中，存储网关节点将所述令牌发送给所述客户端；客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌数据后，解密所述加密后的读写控制信息；存储网关节点建立合法访问关系，根据所述读写控制信息复制数据。通过将加密后的令牌直接发送给所述客户端，不需要存储网关节点做实时令牌同步。

Description

一种基于令牌的分布式存储系统、网关和方法
技术领域
本申请属分布式存储领域，尤其涉及一种基于令牌的分布式存储方法与系统与网关，本发明中基于令牌的分布式存储网关可以作为一个独立的设备，也可以作为一个连接互联网的设备，也可以作为分布式数据存储系统中的一个关键节点。
背景技术
名词解析：
TEA：在安全学领域，TEA（Tiny Encryption Algorithm）是一种分组加密算法，它的实现非常简单，通常只需要很精短的几行代码。TEA 算法最初是由剑桥计算机实验室的David Wheeler 和 Roger Needham 在 1994 年设计的。
XTEA：XTEA 跟 TEA 使用了相同的简单运算，但它采用了截然不同的顺序，为了阻止密钥表攻击，四个子密钥（在加密过程中，原 128 位的密钥被拆分为 4 个 32 位的子密钥）采用了一种不太正规的方式进行混合。
RSA：公开密钥密码体制是一种使用不同的加密密钥与解密密钥，“由已知加密密钥推导出解密密钥在计算上是不可行的”密码体制 。在公开密钥密码体制中，加密密钥（即公开密钥）PK是公开信息，而解密密钥（即秘密密钥）SK是需要保密的。加密算法E和解密算法D也都是公开的。虽然解密密钥SK是由公开密钥PK决定的，但却不能根据PK计算出SK 。
公钥加密：也叫非对称（密钥）加密（public key encryption），指的是由对应的一对唯一性密钥（即公开密钥和私有密钥）组成的加密方法。它解决了密钥的发布和管理问题，是商业密码的核心。在公钥加密体制中，没有公开的是私钥，公开的是公钥；常见的算法有RSA、ElGamal、背包算法、Rabin(Rabin的加密法可以说是RSA方法的特例)、Diffie-Hellman (D-H) 密钥交换协议中的公钥加密算法、Elliptic Curve Cryptography（,椭圆曲线加密算法）。
非对称：是指一对加密密钥与解密密钥，这两个密钥是数学相关，用某用户密钥加密后所得的信息，只能用该用户的解密密钥才能解密。如果知道了其中一个，并不能计算出另外一个。因此如果公开了一对密钥中的一个，并不会危害到另外一个秘密性质。称公开的密钥为公钥；不公开的密钥为私钥。
存储(Storage Device Client)网关：是为创建和维护存储服务端驱动提出的架构，它的目标是间接地集成到SCSI中间层。在存储服务端创建目标器后，即可将相关的目标器和卷映射信息保存至存储网关内。存储网关可以接收并处理存储客户端发起的请求、并将处理结果反馈给存储客户端。在网关节点上创建并启动目标器服务进程，接收并处理客户端发起的iSCSI指令，保存存储服务端发送的目标器和卷映射信息，下发IO到存储服务端完成数据读写.
SCSI协议：在传统存储中，主机和存储设备之间主要通过SCSI协议传送命令、状态和块数据。但随着分布式存储的提出以及使用SCSI协议需要SCSI接口，iSCSI架构得到广泛应用。
iSCSI协议：iSCSI（Internet Small Computer System Interface，小型计算机系统接口）的架构将存储服务的提供方和使用方分别定义为用于转换TCP/IP包中的SCSI命令和数据的iSCSI target，即存储服务端；以及用于产生SCSI请求，并将SCSI命令和数据封装为TCP/IP包发送到IP网络中的iSCSI initiator，即存储客户端。存储服务端和存储客户端之间使用TCP进行通信，存储服务端将块存储设备映射为卷提供给存储客户端，从而实现远程块存储服务.
ODX协议：ODX协议使用基于令牌的机制在分布式存储内部或之间进程数据传输。待复制的源文件和目标文件可以在同一个卷上、同一服务器管理的两个不同卷，或者多个服务器共享的群集共享卷上。
订阅/通知机制：类似于信息发布－订阅模式。即客户端向对象存储守护进程注册订阅对象，并保持与主对象存储守护进程的会话连接。客户端可以向所有已注册订阅对象（也称为监视者）的客户端发送通知消息和消息内容，并在监视者收到通知时接收通知，这使得客户端可以使用任何对象作为同步通信通道
科技的发展迅猛使得数据呈指数型增长，人们对数据的安全可靠和读写效率越发重视，同时也在追求易扩展性和低成本，传统的单一介质数据存储方式已经不能满足大数据处理的需求。因此需要一种全新的架构，兼具安全可靠、读写效率、易扩展性和低成本等特点。
“分布式”它指代了一种独特的系统架构类型，这种系统架构是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成。在分布式存储系统中，通常会建立多个数据节点和网关节点。数据节点用于数据存储，网关节点用于对外提供接口，如ISCSI，RBD等，外部设备可通过连接网关节点从而访问到分布式存储系统中的数据。分布式存储的提出，在高性能、高可靠、易扩展、低成本等方面相较于传统存储有了显著的提升。但与此同时，也带来了诸多问题，如多节点间的消息通知和信息同步等。
虚拟化技术已经成为当前的主流应用技术之一，一台部署了虚拟化软件服务器，可以在该服务器运行大量的虚拟机，从而提升了服务器的利用率，并为企业节省了大量的成本；
虚拟化软件提供了对虚拟机创建、复制、迁移等功能。部署了虚拟化服务的服务器，可以在不同服务器之间对虚拟机进行创建、复制、迁移等操作，提升了虚拟机运维效率，但同时带来了虚拟机和虚拟机上数据需要进行大量的数据复制操作，这种数据复制操作需要消耗服务器的大量CPU、内存和网络带宽等资源，大量的复制数据操作，对虚拟化服务器是一个巨大考验。
SPC-4/5中定义了第三方复制（Third-party Copy/3PC）相关的处理规范，第三方复制通过复制管理模块（Copy Manager）来执行数据拷贝，复制管理模块负责管理3PC命令，并响应客户端的复制请求，把数据从源地址复制到目的地址。
图1为Windows ODX基于令牌的复制操作，用户在window服务器应用服务器上执行文件复制或拷贝操作。应用服务器发送一个创建令牌命令请求给存储节点，存储节点根据命令中所描述的某段数据产生一个数据令牌。应用服务器发生一个令牌查询令牌命令请求给存储设节点，存储将对应的令牌信息返回给应用服务器。应用服务器用接收的令牌信息，发送一个基于令牌的写命令请求给目标存储节点，请求进行数据复制。存储节点根据令牌信息，验证令牌的有效性和源数据地址，并把数据传输数据到目标位置。数据传输完成后存储控制器把ODX复制的结果发送给应用服务器。
Windows ODX中的令牌是一个512字节的随机数，代表了一个或多个数据分片，一般是一个文件或文件的一部分。令牌的格式如图2所示，由于令牌由存储设备产生和消费，因此它的格式是不透明的，唯一的且高度安全。如果令牌被修改，或者超时，基于令牌的写命令会被存储设备认为是无效的。基于令牌的读命令会携带一个超时时间（协议定义的默认超时为60s，最大为600s）用来设置令牌的有效时间。客户端能够利用某些知名令牌来进行写拷贝操作，最常用的知名令牌为零号令牌， 客户端可以用零号令牌对逻辑磁盘的某一个范围写零。知名令牌的格式如图3所示。默认情况下，如果存储支持ODX，Windows 对ODX路径首先尝试发送复制操作命令。 如果存储设备处理ODX请求失败，Windows 将标记的源和目标逻辑磁盘组合为不支持ODX 路径，后续的复制操作使用传统的读写操作。
分布式存储服务端结合iSCSI技术和存储网关技术的运用，在目标器服务程序增加对ODX协议的支持。存储网关作为直接与客户交互的模块，能够接收并处理客户发起的ODX命令；创建并同步令牌到分布式存储集群的各个节点，令牌同步完成后会响应给客户端，为了保证各节点之间令牌数据的同步，使用分布式存储提供的订阅/通知机制，即在各节点以及存储集群都会注册订阅对象，通过通知该订阅对象来完成消息广播。最终下发请求给存储集群完成数据的复制操作。
ODX命令在initiator（客户端）、target（目标器）和cluser（存储服务端）三者之间的交互关系见图4，ODX命令在存储集群、目标器（存储网关）、客户端（启动器）交互图。
现有技术的缺点：存储网关为连接客户端和存储集群之间通信的桥梁，因此具备解析并处理iSCSI协议的能力。并且各个存储模块维护自己的target列表。target与存储集群之间通过订阅/通知机制完成消息通知和数据同步，当存储集群中某个存储模块接收到创建令牌命令后，创建一个新的令牌，通知集群有新的令牌需要更新，target会先将需要更新的令牌信息通知给存储集群，存储集群再将修改内容通知到target，target收到通知后，重新更新内存中的令牌管理列表。
1、创建令牌命令的处理需要同步等待令牌在所有的存储模块之间同步完成后，才返回客户端告知这个命令处理完成，整个命令处理的效率低。
2、令牌通过订阅/通知机制在存储模块之间进行传递是通过网络进行传输的，如果某个节点的存储模块处理超时或者出现网络异常，直接导致创建令牌命令处理失败。
3、存储模块接收到基于令牌的写命令后，解析令牌后需要和本地内存中的令牌管理列表中的令牌进行对比，找到需要进行数据拷贝的卷和偏移地址进行数据复制，如果本地令牌没有更新成功，直接导致基于令牌的写命令处理失败。
发明内容
现有的一种分布式存储服务端多节点之间处理ODX指令的方法中，令牌的同步完全依赖订阅/通知机制，这样在网络异常，集群压力大的场景会出现令牌同步失败的问题，最终导致ODX指令处理失败，并且令牌的处理是同步进行的，处理效率偏低。
为了解决ODX令牌处理的性能问题，提出本发明的技术方案：一种基于令牌的分布式存储系统，包括客户端、源数据存储网关节点、目标存储网关节点、两个以上的分布式存储节点；所述分布式存储节点分别与源数据存储网关节点或目标存储网关节点信号连接；源数据存储网关节点接收到客户端创建令牌命令，源数据存储网关节点对需要复制的数据的读写控制信息进行加密处理，得到加密后的读写控制信息；创建访问分布式存储节点的令牌，将加密后的读写控制信息放入令牌数据中，存储网关节点将所述令牌发送给所述客户端；客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌数据后，解密所述加密后的读写控制信息，获得需要复制的数据的读写控制信息；目标存储网关节点将所述读写控制信息发送给自己连接控制的目标分布式存储节点，目标分布式存储节点与源数据分布式存储节点之间进行复制数据。
通过将令牌直接发送给所述客户端，由客户端发到别的存储网关节点，不需要存储网关节点做实时令牌同步，为了快速访问源存储节点的数据，将需要复制或拷贝的数据的读写控制信息，直接附加在令牌中，减少了读写控制信息交互命令，通过加密，提高了读写控制信息的安全性，对客户端进行了信息屏蔽，提高了系统安全性。
上述控制信息包括需要复制的数据的源卷信息，偏移地址，逻辑块数量和/或令牌创建的时间戳。
令牌创建的时间戳，可以作为验证令牌时效性的重要依据，同时也可以作为令牌是否有效的重要参数，能够防止令牌伪造。
上述控制信息包括需要复制的数据的目的卷，目的偏移，复制数据的长度。
在令牌中传递需要复制的数据的目的卷，目的偏移，复制数据的长度，可以进一步限定该令牌指令执行的操作范围，可以防止伪造令牌，同时也便于接收数据的单元快速操作复制数据落盘。
上述令牌为ODX协议中定义的令牌，令牌大小是512字节，所述加密后的读写控制信息位于386字节的自定义区间；相同存储区域的分布式存储网关在初始化统一设置相同的公钥和密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥；或每个存储网关节点分配独立的公钥与密钥，每个存储网关节点保存各个节点对应的公钥。
如果在初始化，也就是服务器启动过程中，由管理员人为设置公钥与密钥，密钥信息不在网络上传播，能够有效提升系统的安全性；在RSA加密体系下，公钥泄露后并不会导致密文被轻易破解，关键是密钥需要做到不泄露，通过初始化的时候，由系统管理员在近端设置，密钥不在网络传播。
如果管理的存储系统规模巨大，服务器采用了虚拟化技术，管理人员设置公钥与密钥的工作量大，可以采用特殊的协议，设置相同的公钥与不同密钥，特殊的协议，可以由管理人员远程认证确认，管理人员远程认证确认可以采用高等级的加密协议，确保信息安全。
采用ODX协议中定义的令牌格式，可以快速地与现有系统进行融合兼容。
一种基于令牌的分布式存储网关，包括令牌管理模块、客户端接口模块、加密模块、解密模块、存储节点接口模块；客户端接口模块与客户端电信号连接，接收和回复客户端发出的存储指令；存储节点接口模块两个以上的分布式存储节点电信号连接，存储节点接口模块从分布式存储节点获得需要复制或搬移的数据的访问控制信息；令牌管理模块与所述分布式存储节点协商访问令牌，建立令牌存储列表；加密模块将所述的访问控制信息加密，加密后信息放入所述访问令牌中；令牌管理模块将加密后的令牌通过客户端接口模块发送给外接的客户端；令牌管理模块通过客户端接口模块收到别分布式存储网关生成的令牌，令牌管理模块通过解密模块解密获得访问控制信息；令牌管理模块将所述令牌与解密后的访问控制信息发送给分布式存储节点，分布式存储节点根据令牌信息和访问控制信息，做分布式存储节点之间的数据复制或数据搬移操作。
在网关中集成加密模块、解密模块，能够快速地对令牌进行加密与解密。
上述令牌存储列表位于分布式存储网关中，所述访问控制信息包括源卷信息，偏移地址和/或逻辑块数量；所述加密模块和解密模块所用加密或解密算法为TEA算法或XTEA算法或非对称加密算法(RSA)，非对称加密算法密钥是内部指定的，不需要特殊的同步机制。
TEA算法或XTEA算法具有加解密速度快，是标准加解密算法，性能有保障。
多个分布式存储网关使用相同的公钥信息加解密，相同存储区域的分布式存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥；或每个存储网关节点分配独立的公钥与密钥，每个存储网关节点保存各个节点对应的公钥。
加解密系统的公钥是系统安全性的保证，通过在初始化，也就是服务器启动过程中，由管理员人为设置公钥与密钥，公钥信息也不在网络上传播，能够有效提升系统的安全性；如果管理的存储系统规模巨大，服务器采用了虚拟化技术，管理人员设置公钥与密钥的工作量大，可以采用特殊的协议，设置相同的公钥与密钥，特殊的协议，可以由管理人员远程认证确认。
一种基于令牌的分布式存储方法，包括：源数据存储网关节点接收到客户端复制数据请求，存储网关节点创建令牌，将需要复制的数据的控制信息保存到令牌数据中，对所述控制信息进行加密处理；存储网关节点将所述令牌发送给所述客户端；客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌后，解密令牌的中的控制信息，获得控制信息；目标存储网关节点与源数据存储网关节点根据控制信息复制数据。
因为令牌中包含了需要复制数据的源地址，在处理基于令牌的写命令的时候，可以直接通过解析令牌来获取原地址，不用在本地令牌列表中去对比，所以令牌在不同存储网关节点之间的同步通过异步消息来通知。
上述控制信息包括需要复制的数据的源卷信息，偏移地址，逻辑块数量；源数据存储网关节点与目标存储网关节点使用相同的公钥信息加解密；存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过高等级的加解密协议设置或更换相同的公钥与密钥。
上述控制信息包括令牌创建的时间戳；上述初始化中，给每个存储网关节点分配独立的公钥与密钥，每个存储网关节点保存各个节点对应的公钥。
上述控制信息包括需要复制的数据的目的卷，目的偏移，复制数据的长度。
本发明的技术效果包括不限于：
通过将令牌直接发送给所述客户端，由客户端发到别的存储网关节点，不需要存储网关节点做实时令牌同步；
为了快速访问源存储节点的数据，将需要复制或拷贝的数据的读写控制信息，直接附加在令牌中，减少了读写控制信息交互命令；
通过加密，提高了读写控制信息的安全性，对客户端进行了信息屏蔽，提高了系统安全性；
令牌创建的时间戳，可以作为验证令牌时效性的重要依据，同时也可以作为令牌是否有效的重要参数，能够防止令牌伪造；
采用ODX协议中定义的令牌格式，可以快速地与现有系统进行融合兼容；
在网关中集成加密模块、解密模块，能够快速地对令牌进行加密与解密，无需在每个存储节点上，做令牌控制。
通过改造ODX协议中的令牌结构，在自定义区间增加了数据复制需要的必要信息，使得令牌的同步摆脱了对订阅/通知机制的强依赖，这样能够有效避免在网络异常，集群压力大的场景会出现令牌同步失败的问题，最终提升了ODX指令处理的效率。
通过分布式存储对ODX协议的优化，使得分布式存储配合Windows hyper-v，smbshare disk等应用场景能够进行高效的数据传输，并且减少服务器CPU，内存，网络等资源消耗。
附图说明
图1是Windows ODX基于令牌的复制操作示意图；
图2是一种令牌的格式示意图；
图3是一种令牌的格式示意图；
图4是ODX命令在存储集群、目标器、客户端交互示意图；
图5是一种基于令牌的分布式存储系统示意图；
图6是在令牌存储列表中查询令牌示意图；
图7是一种跨区域的分布式存储系统示意图；
图8是ODX协议中定义的令牌示意图；
图9是一种基于令牌的分布式存储网关示意图；
图10是令牌存储列表位于分布式存储网关示意图；
图11一种令牌加密的过程示意图；
图12一种创建一个新令牌的示意图；
图13一种查询令牌示意图；
图14一种基于令牌的写命令示意图。
具体实施方式
以下结合各附图对本申请内容做进一步详述。需要说明的是，以下是本发明较佳实施例的说明，并不对本发明构成任何限制。本发明较佳实施例的说明只是作为本发明一般原理的说明。
如图5，一种基于令牌的分布式存储系统，包括客户端、源数据存储网关节点1即图中SDC网关节点1、目标存储网关节点2即图中SDC网关节点2、两个以上的分布式存储节点；分布式存储节点分别与源数据存储网关节点或目标存储网关节点信号连接；源数据存储网关节点接收到客户端创建令牌命令，源数据存储网关节点对需要复制的数据的读写控制信息进行加密处理，得到加密后的读写控制信息；创建访问分布式存储节点的令牌，将加密后的读写控制信息放入令牌数据中，存储网关节点将所述令牌发送给所述客户端；客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌数据后，解密所述加密后的读写控制信息，获得需要复制的数据的读写控制信息；目标存储网关节点根据所述令牌与目标存储网关节点建立合法访问关系，目标存储网关节点与源数据存储网关节点根据所述读写控制信息复制数据。
如图5，运行的步骤为：
10：客户端发出请求令牌的命令给存储网关节点1，即SDC网关节点1；
20：存储网关节点1在自己所管辖的分布式存储节点1中，获得存储参数；
30：存储网关节点1对存储参数进行加密，构建令牌；
31：存储网关节点1将令牌保存在令牌存储列表中；
40：存储网关节点1给客户端返回带加密参数的令牌；
50: 客户端向存储网关节点2，即SDC网关节点2发送数据操作指令，指令中携带加密后的令牌，存储网关节点2解析令牌中的参数；
60：存储网关节点2将令牌和存储参数命令自己管辖的分布式存储节点2搬移或复制数据；
70：分布式存储节点2与分布式存储节点1之间直接进行数据复制或迁移。
如图6，存储网关节点2，在收到令牌后，可以有步骤51，在自己管控的令牌存储列表中查询令牌，如果没有令牌，保存该令牌；当存储网关节点接收到创建令牌的命令后，本地创建完令牌后就可以直接给启动器返回令牌创建成功的响应，令牌在各个存储网关节点之间通过异步消息去进行同步，这样的好处是不必等待所有节点的令牌都通知完成才返回令牌创建的消息给客户端，能够提升创建令牌的处理效率，也能够防当查询令牌的命令和创建令牌的命令如果不在同一个存储网关节点处理的时候，获取不到令牌的问题。
通过将令牌直接发送给所述客户端，由客户端发到别的存储网关节点，不需要存储网关节点做实时令牌同步，为了快速访问源存储节点的数据，将需要复制或拷贝的数据的读写控制信息，直接附加在令牌中，减少了读写控制信息交互命令，通过加密，提高了读写控制信息的安全性，对客户端进行了信息隔离，提高了系统安全性。
如图7，如果分布式存储节点，不是位于一个存储区域中，存储节点之间不能直接访问，需要通过网关节点代理通讯，如存储网关节点10，存储网关节点11在存储区域1中，其直接连接的分布式存储节点之间可以相互访问，而存储网关节点20与存储网关节点21位于存储区域2中，这两个区域的存储节点，需要网关节点代理才能访问。
上述控制信息包括需要复制的数据的源卷信息，偏移地址，逻辑块数量和/或令牌创建的时间戳。
令牌创建的时间戳，可以作为验证令牌时效性的重要依据，同时也可以作为令牌是否有效的重要参数，能够防止令牌伪造。
上述控制信息包括需要复制的数据的目的卷，目的偏移，复制数据的长度。
在令牌中传递需要复制的数据的目的卷，目的偏移，复制数据的长度，可以进一步限定该令牌指令执行的操作范围，可以防止伪造令牌，同时也便于接收数据的单元快速操作复制数据落盘。
如图8，上述令牌为ODX协议中定义的令牌，令牌大小是512字节，所述加密后的读写控制信息位于386字节的自定义区间，相同存储区域的分布式存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥。
如果在初始化，也就是服务器启动过程中，由管理员人为设置公钥与密钥，公钥信息也不在网络上传播，能够有效提升系统的安全性，公密钥保存在目标器的target 属性中，相同的target才能解密，目标器是在分布式存储网关中构建的虚拟存储网关，一个物理分布式存储网关可以有多个虚拟的目标器，不同的目标器可以组成不同的存储网络，分配在不同存储网络的目标器采用不同的公钥与密钥，不同存储网络的目标器不能相互访问；
如果管理的存储系统规模巨大，服务器采用了虚拟化技术，管理人员设置公钥与密钥信息的工作量大，可以采用特殊的协议，设置相同的公钥与密钥，特殊的协议，可以由管理人员远程认证确认。
把加密所用的公密钥保存在target 属性中，相同的target才能解密。
采用更加严格的加密机制，每个目标器都配置独立的公钥与密钥，每个目标器保留其他目标器的公钥，目标器之间用对方的公钥加密，接收者用自己的公钥与密钥解密，这样能够达到各个目标器即使监听到其他目标器之间的通讯，也不能解析别人的信息，但这种方式，需要为每个目标器配置独立的公钥与密钥，并要保存其他所有目标器的公钥，配置工作量较大。
采用ODX协议中定义的令牌格式，可以快速地与现有系统进行融合兼容。
如图9，一种基于令牌的分布式存储网关，包括令牌管理模块、客户端接口模块、加密模块、解密模块、存储节点接口模块；客户端接口模块与客户端电信号连接，接收和回复客户端发出的存储指令；存储节点接口模块两个以上的分布式存储节点电信号连接，存储节点接口模块从分布式存储节点获得需要复制或搬移的数据的访问控制信息；令牌管理模块与所述分布式存储节点协商访问令牌，建立令牌存储列表；加密模块将所述的访问控制信息加密，加密后信息放入所述访问令牌中；令牌管理模块将加密后的令牌通过客户端接口模块发送给外接的客户端；令牌管理模块通过客户端接口模块收到别分布式存储网关生成的令牌，令牌管理模块通过解密模块解密获得访问控制信息；令牌管理模块将所述令牌与解密后的访问控制信息发送给分布式存储节点，分布式存储节点根据令牌信息和访问控制信息，做分布式存储节点之间的数据复制或数据搬移操作。
在网关中集成加密模块、解密模块，能够快速地对令牌进行加密与解密。
如图10，上述令牌存储列表位于分布式存储网关中，所述访问控制信息包括源卷信息，偏移地址和/或逻辑块数量；所述加密模块和解密模块所用加密或解密算法为TEA算法或XTEA算法或RSA算法或其他公知的加密解密算法。
还可以是，令牌存储列表，本身也可以作为一个存储信息，存储在分布式存储节点中。
TEA算法或XTEA算法或RSA算法具有加解密速度快，是标准加解密算法，性能有保障。
多个分布式存储网关使用相同的公钥信息加解密，相同存储区域的分布式存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥。
加解密系统的公钥是系统安全性的保证，通过在初始化，也就是服务器启动过程中，由管理员人为设置公钥与密钥，公钥信息也不在网络上传播，能够有效提升系统的安全性；如果管理的存储系统规模巨大，服务器采用了虚拟化技术，管理人员设置公钥与密钥的工作量大，可以采用特殊的协议，设置相同的公钥与密钥，特殊的协议，可以由管理人员远程认证确认。
一种基于令牌的分布式存储方法，包括：源数据存储网关节点接收到客户端复制数据请求，存储网关节点创建令牌，将需要复制的数据的控制信息保存到令牌数据中，对所述控制信息进行加密处理；存储网关节点将所述令牌发送给所述客户端；客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌后，解密令牌的中的控制信息，获得控制信息；目标存储网关节点与源数据存储网关节点根据控制信息复制数据。
因为令牌中包含了需要复制数据的源地址，在处理基于令牌的写命令的时候，可以直接通过解析令牌来获取原地址，不用在本地令牌列表中去对比，所以令牌在不同存储网关节点之间的同步通过异步消息来通知。
如图11，给出了令牌加密的过程示意图，将令牌的数据区数据，用密钥进行加密，形成加密密文，经过网络传输，接收端收到令牌后，用密钥对加密后的数据区进行解密，获得原始的令牌数据区数据。
只要加密方与解密方，有相同的密钥，就能确保成功加密与解密。
上述控制信息包括需要复制的数据的源卷信息，偏移地址，逻辑块数量。上述控制信息包括令牌创建的时间戳。上述控制信息包括需要复制的数据的目的卷，目的偏移，复制数据的长度。源数据存储网关节点与目标存储网关节点使用相同的公钥信息加解密；存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥。
1、存储网关处理创建令牌的命令，将原卷，偏移地址，逻辑块数量，令牌创建的时间戳等信息记录到自定义区间，在记录完令牌自定义范围的数据后，通过密钥对令牌的数据区间进行加密处理，得到加密的密文，最后将加密的密文组成完成的令牌，经过加密的令牌会发生给客户端和其他存储网关节点进行传递和处理；
2、存储网关处理基于令牌的写命令，会得到加密后的令牌，通过密钥解密密文，得到自定义区间的令牌数据，进而获取到原卷，偏移地址，逻辑块数量，令牌创建的时间戳等信息，将这些信息进行封装处理后，传递给存储集群进行下一步的数据拷贝处理；如图12；存储网关收到客户端下发创建令牌命令后，对命令进行解析。
每个创建令牌命令都会带有一个可复用的唯一的标识，存储网关会先判断令牌是否已经存在，并且是否完成了基于令牌的数据复制的处理，来判断是否需要创建新的令牌。
当创建一个新令牌的条件都满足，会先解析命令，获取原卷，偏移地址，逻辑块数量等信息，将这些信息按指定格式填写到令牌的自定义控件里面，最终和令牌其他标准信息一起创建一个512字节大小的令牌报文。
对令牌的数据区进行加密处理，得到加密后的令牌。
新的令牌创建后，存储网关将命令处理完成的结果返回给客户端，这样创建令牌的命令就处理完成。
存储网关将命令处理完成的结果返回给客户端，并且同时调用异步通知的接口通知各个网关节点同步令牌信息。
如图13，创建令牌命令处理完成后，紧接着客户端会发送一个查询令牌命令的读请求给存储网关节点要求返回创建的数据令牌。
每个创建令牌的命令都会带有一个可复用的唯一的标识，存储网关会先根据这个标识判断令牌是否已经创建，如果未创建，无法将令牌返给客户端，则会向客户端返回命令处理失败。
存储网关节点找到对应的令牌后，会根据令牌处理情况去设置对应的状态，如果数据复制已经完成，则令牌的状态是完成状态，如果数据复制还未开始，令牌返回给客户端后，客户端会下发基于令牌的请求到存储，进行下一阶段的处理。
如图14，基于令牌的写命令：携带数据令牌发送写请求给存储控制器，存储设备通过解析该命令，获取令牌找到所代表的数据，并进行数据复制。处理步骤如下：
存储网关收到基于令牌的写命令后，对命令进行解析。
基于令牌的写命令会携带令牌发送到存储网关节点，并且每个命令都会带有一个可复用的唯一的标识，存储网关会判断令牌是否存在，是否是零号令牌的请求，如果是零号令牌，会解析令牌置零的范围区间，然后请求存储集群进行置零处理。如果是非零号令牌，对令牌数据区进行解密处理，在令牌自定义区间解析源卷的标识，需要拷贝数据的偏移和大小，同时解析目的卷的标识和偏移。
存储网关将需要搬迁的源地址，目的地址，需要拷贝的数据长度传给存储集群去处理。存储集群负责将数据从源地址搬到目的地址来完成数据复制的操作。
本发明虽然根据优选实施例和若干备选方案进行说明和描述，但发明不会被在本说明书中的特定描述所限制。其他另外的替代或等同组件也可以用于实践本发明。

Claims (10)

1.一种基于令牌的分布式存储系统，其特征在于，包括客户端、源数据存储网关节点、目标存储网关节点、两个以上的分布式存储节点；
所述分布式存储节点分别与源数据存储网关节点或目标存储网关节点信号连接；
源数据存储网关节点接收到客户端创建令牌命令，源数据存储网关节点对需要复制的源数据分布式存储节点上的读写控制信息进行加密处理，得到加密后的读写控制信息；创建访问分布式存储节点的令牌，将加密后的读写控制信息放入令牌数据中，存储网关节点将所述令牌发送给所述客户端；
客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌数据后，解密所述加密后的读写控制信息，获得需要复制的数据的读写控制信息；
目标存储网关节点将所述读写控制信息发送给自己连接控制的目标分布式存储节点，目标分布式存储节点与源数据分布式存储节点之间进行复制数据。
2.根据权利要求1所述的分布式存储系统，其特征在于，所述控制信息包括需要复制的数据的源卷信息，偏移地址，逻辑块数量和/或令牌创建的时间戳。
3.根据权利要求1所述的分布式存储系统，其特征在于，所述控制信息包括需要复制的数据的目的卷，目的偏移，复制数据的长度。
4.根据权利要求1或2或3所述的分布式存储系统，其特征在于，所述令牌为ODX协议中定义的令牌，令牌大小是512字节，所述加密后的读写控制信息位于386字节的自定义区间；源数据存储网关节点与目标存储网关节点使用相同的公密钥信息进行加解密；相同存储区域的分布式存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥；或每个存储网关节点分配独立的公钥与密钥，每个存储网关节点保存各个节点对应的公钥。
5.一种基于令牌的分布式存储网关，其特征在于，包括令牌管理模块、客户端接口模块、加密模块、解密模块、存储节点接口模块；
客户端接口模块与客户端电信号连接，接收和回复客户端发出的存储指令；
存储节点接口模块两个以上的分布式存储节点电信号连接，存储节点接口模块从分布式存储节点获得需要复制或搬移的数据的访问控制信息；
令牌管理模块与所述分布式存储节点协商访问令牌，建立令牌存储列表；
加密模块将所述的访问控制信息加密，加密后信息放入所述访问令牌中；令牌管理模块将加密后的令牌通过客户端接口模块发送给外接的客户端；
令牌管理模块通过客户端接口模块收到别分布式存储网关生成的令牌，令牌管理模块通过解密模块解密获得访问控制信息；
令牌管理模块将所述令牌与解密后的访问控制信息发送给分布式存储节点，分布式存储节点根据令牌信息和访问控制信息，做分布式存储节点之间的数据复制或数据搬移操作。
6.根据权利要求5所述的分布式存储网关，其特征在于，所述令牌存储列表位于分布式存储网关中，所述访问控制信息包括源卷信息，偏移地址和/或逻辑块数量；
所述加密模块和解密模块所用加密或解密算法为TEA算法或XTEA算法或RSA算法；
多个分布式存储网关使用相同的公钥信息加解密，相同存储区域的分布式存储网关在初始化统一设置相同的公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换相同的公钥与密钥；或每个存储网关节点分配独立的公钥与密钥，每个存储网关节点保存各个节点对应的公钥。
7.一种基于令牌的分布式存储方法，其特征在于，包括
源数据存储网关节点接收到客户端复制数据请求，存储网关节点创建令牌，将需要复制的数据的控制信息保存到令牌数据中，对所述控制信息进行加密处理；存储网关节点将所述令牌发送给所述客户端；
客户端将所述令牌发送给复制数据的目标存储网关节点，目标存储网关节点接收到所述令牌后，解密令牌的中的控制信息，获得控制信息；
目标存储网关节点与源数据存储网关节点根据控制信息复制数据。
8.根据权利要求7所述的分布式存储方法，其特征在于，所述控制信息包括需要复制的数据的源卷信息，偏移地址，逻辑块数量；源数据存储网关节点与目标存储网关节点使用相同的公钥加密，目标存储网关节点采用公钥与自己保存的密钥解密；存储网关在初始化统一设置公钥与密钥；或者相同存储区域的分布式存储网关通过协议设置或更换公钥与密钥。
9.根据权利要求8所述的分布式存储方法，其特征在于，所述控制信息包括令牌创建的时间戳；所述初始化中，给每个存储网关节点分配独立的公钥与密钥，每个存储网关节点保存各个节点对应的公钥。
10.根据权利要求7所述的分布式存储方法，其特征在于，所述控制信息包括需要复制的数据的目的卷，目的偏移，复制数据的长度。
CN202211436844.1A 2022-11-16 2022-11-16 一种基于令牌的分布式存储系统、网关和方法 Active CN115622715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211436844.1A CN115622715B (zh) 2022-11-16 2022-11-16 一种基于令牌的分布式存储系统、网关和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211436844.1A CN115622715B (zh) 2022-11-16 2022-11-16 一种基于令牌的分布式存储系统、网关和方法

Publications (2)

Publication Number Publication Date
CN115622715A CN115622715A (zh) 2023-01-17
CN115622715B true CN115622715B (zh) 2023-03-03

Family

ID=84879522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211436844.1A Active CN115622715B (zh) 2022-11-16 2022-11-16 一种基于令牌的分布式存储系统、网关和方法

Country Status (1)

Country Link
CN (1) CN115622715B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683536B (zh) * 2018-05-18 2021-01-12 东北大学 异步片上网络的可配置双模式融合通信方法及其接口
CN108681909B (zh) * 2018-05-18 2021-09-24 浙江超脑时空科技有限公司 基于区块链智能合约实现的智能防伪装置及溯源防伪方法
FR3091369B1 (fr) * 2018-12-27 2022-11-11 Equensworldline Se Plateforme de sécurisation de données
CN113746641B (zh) * 2021-11-05 2022-02-18 深圳市杉岩数据技术有限公司 一种基于分布式存储的odx协议处理方法
CN115051809A (zh) * 2022-06-15 2022-09-13 道和邦(广州)电子信息科技有限公司 SMG-wscomm-Msession-ECToken一种基于加密CookieToken免登录认证动态令牌技术

Also Published As

Publication number Publication date
CN115622715A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
WO2019184924A1 (zh) 身份管理方法、设备、通信网络及存储介质
US8397083B1 (en) System and method for efficiently deleting a file from secure storage served by a storage system
US10491568B1 (en) Management of encrypted data storage
US8295492B2 (en) Automated key management system
US8196182B2 (en) Distributed management of crypto module white lists
US7958356B1 (en) System and method for establishing a shared secret among nodes of a security appliance
EP3633949A1 (en) Method and system for performing ssl handshake
US7316030B2 (en) Method and system for authenticating a personal security device vis-à-vis at least one remote computer system
EP1548614B1 (en) Storage service
US11544398B2 (en) Secure offline streaming of content
US11606193B2 (en) Distributed session resumption
US20240048375A1 (en) Distributed storage system and method of reusing symmetric keys for encrypted message transmissions
US7526560B1 (en) Method and apparatus for sharing a secure connection between a client and multiple server nodes
CN115622715B (zh) 一种基于令牌的分布式存储系统、网关和方法
CN108989302B (zh) 一种基于密钥的opc代理连接系统和连接方法
EP1766921A1 (en) Method and apparatus for remote management
US11025728B2 (en) Methods for facilitating secure connections for an operating system kernel and devices thereof
EP4059184A1 (en) Integration of third-party encryption key managers with cloud services
KR100243657B1 (ko) 정보 검색 시스템에서의 보안 유지 방법
JP2002189976A (ja) 認証システムおよび認証方法
US11805109B1 (en) Data transfer encryption offloading using session pairs
WO2005057845A1 (fr) Procede de verification sur entre un gestionnaire et un mandataire dans un reseau
JP2023048659A (ja) ファイルの保護機能を備えるシステム、ファイルを保護する方法およびファイルの保護プログラム
CN116032616A (zh) 身份验证方法以及相关设备
Tusa et al. Design and implementation of an xml-based grid file storage system with security features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant