CN111030930A - 基于去中心化网络数据分片传输方法、装置、设备及介质 - Google Patents
基于去中心化网络数据分片传输方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111030930A CN111030930A CN201911213583.5A CN201911213583A CN111030930A CN 111030930 A CN111030930 A CN 111030930A CN 201911213583 A CN201911213583 A CN 201911213583A CN 111030930 A CN111030930 A CN 111030930A
- Authority
- CN
- China
- Prior art keywords
- data
- hash value
- fragment
- packet
- decentralized network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/44—Distributed routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种基于去中心化网络数据分片传输方法、装置、设备及介质,该方法应用于去中心化网络中的数据发送节点,首先获取待发送数据,并分割待发送数据为若干个数据分片;然后,根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;进而,根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。本申请实施例通过对即时通讯数据进行分割和哈希运算,并根据分布式哈希路由表分发数据,避免了去中心化网络中的其它节点也可以看到整个通讯数据,提高了数据传输的安全性。
Description
技术领域
本发明一般涉及互联网技术领域,具体涉及一种基于去中心化网络数据分片传输方法、装置、设备及介质。
背景技术
在一个分布有众多节点的系统中,每个节点都具有高度自治的特征。这些节点彼此之间可以自由地连接,以形成新的连接单元。任何一个节点都可能成为阶段性的中心,但不具备强制性的中心控制功能,而节点与节点之间的影响,会通过网络形成非线性因果关系,这种开放式、扁平化和平等化的系统即为去中心化网络。
目前,对于去中心化网络的即时通讯而言,通讯数据都是通过分布哈希表(Distributed Hash Table,DHT)算法发送至网络的相关节点。然而,由于通讯数据的传输是全部传输,但单个节点只负责存储该通讯数据中的一部分数据,因此会造成其它节点也可以看到整个通讯数据,缺乏隐私性,并且容易泄露通讯数据。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种基于去中心化网络数据分片传输方法、装置、设备及介质,能够提高即时通讯数据传输的安全性。
第一方面,本申请提供一种基于去中心化网络数据分片传输方法,所述方法应用于所述去中心化网络中的数据发送节点,包括:
获取待发送数据,并分割所述待发送数据为若干个数据分片;
根据各所述数据分片对应的元数据和第一哈希值,生成一个数据摘要包;
根据分布式哈希路由表,将经过加密的所述数据摘要包分发至所述去中心化网络。
可选地,所述根据各所述数据分片对应的元数据和第一哈希值,生成一个数据摘要包,包括:
提取各所述数据分片对应的元数据和第一哈希值,所述元数据包括所述数据分片在所述待发送数据中的数据偏移量、以及所述数据分片的数据长度;
按照预设的数据组织结构,整合各所述数据分片对应的元数据和第一哈希值,确定所述待发送数据的数据摘要包。
可选地,所述按照预设的数据组织结构,整合各所述数据分片对应的元数据和第一哈希值,确定所述待发送数据的数据摘要包,包括:
对各所述数据分片的元数据和第一哈希值进行哈希运算,得到各所述数据分片对应的第二哈希值;
将各所述数据分片划分为若干个数据分组,分别计算每个所述数据分组对应的第三哈希值;
对各所述第三哈希值进行哈希运算,得到所述待发送数据的第四哈希值。
可选地,所述根据分布式哈希路由表,将经过加密的所述数据摘要包分发至所述去中心化网络,包括:
在所述分布式哈希路由表中,查找与哈希值满足预设条件的第一目标节点,所述哈希值包括所述第一哈希值、所述第二哈希值和所述第四哈希值;
发送所述经过加密的所述数据分片和/或所述数据摘要包至所述第一目标节点。
可选地,所述方法还包括:
所述去中心化网络中包括至少一个数据接收节点;
所述数据接收节点根据获取的所述第四哈希值、所述预设条件和所述分布式哈希路由表,确定存储所述数据摘要包的第二目标节点;
对从所述第二目标节点拉取的所述数据摘要包进行解密,还原得到所述待发送数据。
可选地,所述对从所述第二目标节点拉取的所述数据摘要包进行解密,还原得到所述待发送数据,包括:
解析所述数据摘要包,得到各所述数据分片对应的第二哈希值;
根据所述第二哈希值、所述预设条件和所述分布式哈希路由表,确定存储各所述数据分片的第三目标节点,并从所述第三目标节点拉取各所述数据分片;
提取各所述数据分片中的第一哈希值,根据所述第一哈希值、所述预设条件和所述分布式哈希路由表,从存储原始数据的第四目标节点拉取各原始数据,并基于各所述原始数据和所述元数据组装得到所述待发送数据。
第二方面,本申请提供一种基于去中心化网络数据分片传输装置,所述装置包括:
分割模块,配置用于获取待发送数据,并分割所述待发送数据为若干个数据分片;
生成模块,配置用于根据各所述数据分片对应的元数据和第一哈希值,生成一个数据摘要包;
发送模块,配置用于根据分布式哈希路由表,将经过加密的所述数据摘要包分发至所述去中心化网络。
可选地,所述生成模块包括:
提取单元,配置用于提取各所述数据分片对应的元数据和第一哈希值,所述元数据包括所述数据分片在所述待发送数据中的数据偏移量、以及所述数据分片的数据长度;
确定单元,配置用于按照预设的数据组织结构,整合各所述数据分片对应的元数据和第一哈希值,确定所述待发送数据的数据摘要包。
第三方面,本申请提供一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如第一方面所述的基于去中心化网络数据分片传输方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于实现如第一方面所述的基于去中心化网络数据分片传输方法的步骤。
综上,本申请实施例提供的基于去中心化网络数据分片传输方法、装置、设备及介质,该方法应用于去中心化网络中的数据发送节点,首先获取待发送数据,并分割待发送数据为若干个数据分片;然后,根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;进而,根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。本申请实施例通过对即时通讯数据进行分割和哈希运算,并根据分布式哈希路由表分发数据,避免了去中心化网络中的其它节点也可以看到整个通讯数据,提高了数据传输的安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请实施例提供的一种基于去中心化网络数据分片传输方法的基本流程示意图;
图2为本申请实施例提供的一种去中心化网络的节点结构示意图;
图3为本申请实施例提供的一种数据组织结构的示意图;
图4为本申请实施例提供的一种数据分片的组装示意图;
图5为本申请实施例提供的一种基于去中心化网络数据分片传输装置的基本结构示意图;
图6为本申请实施例提供的另一种基于去中心化网络数据分片传输装置的结构示意图;
图7为本申请实施例提供的又一种基于去中心化网络数据分片传输装置的结构示意图;
图8为本申请实施例提供的再一种基于去中心化网络数据分片传输装置的结构示意图;
图9为本申请实施例提供的一种计算机系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
为了便于理解和说明,下面通过图1至图9详细的阐述本申请实施例提供的基于去中心化网络数据分片传输方法、装置、设备及介质。
请参考图1,其为本申请实施例提供的一种基于去中心化网络数据分片传输方法的基本流程示意图,该方法应用于去中心化网络中的数据发送节点,包括如下步骤:
S101,获取待发送数据,并分割待发送数据为若干个数据分片。
需要说明的是,本申请实施例中待发送数据为去中心化网络中的即时通讯数据。该去中心化网络中的数据发送节点将待发送数据划分为若干份数,每一份数表示一个数据分片。其中,数据发送节点可以等分待发送数据,也就是说每个数据分片的数据长度相等。当然,为了增加数据篡改的难度,数据发送节点也可以不等分待发送数据,也就是说每个数据分片的数据长度不相等,即随机划分,进而确保了数据的安全性。比如,待发送数据最少需要分割成2个数据分片,最多分割成6个数据分片,每个数据分片的数据长度不相等。
举例说明,如图2所示,其为本申请实施例提供的一种去中心化网络的节点结构示意图。假设去中心化网络中有6个节点,分别为N1、N2、N3、N4、N5和N6,其中每个节点都有一个全网唯一的身份标志ID。在该去中心化网络中,比如N1为数据发送节点,且N1的本地分布式哈希路由表中包括N2、N3、N4、N5和N6的信息,即信息为身份标志ID和网络地址;N4为数据接收节点,同理N4的本地分布式哈希路由表中包括N1、N2、N3、N5和N6对应的身份标志ID和网络地址等信息。
S102,根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包。
需要说明的是,本申请实施例中元数据可以包括但不限于数据分片在待发送数据中的数据偏移量、以及数据分片的数据长度,并通过哈希函数(Hash Function)计算数据分片中原始数据的第一哈希值,由此后续可以根据各数据分片对应的元数据和第一哈希值,组装得到待发送数据。其中,哈希函数(又称为散列函数),是从任何一种数据中创建小的数字“指纹”的方法,即该函数将数据打乱混合,重新创建一个叫做散列值(hash values,hashcodes,hash sums,或者hashes)的指纹。哈希函数把消息或者数据压缩成数据摘要,使得数据量变小,从而将数据的格式固定下来,而哈希值通常用一个短的随机字母和数字所组成的字符串来表示。随机字母和数字的生成是加密操作不可分割的重要组成部分,比如加密密钥需要尽可能地随机,以便使生成的密钥很难再现。
具体的,本申请实施例通过提取各数据分片对应的元数据和第一哈希值,并按照预设的数据组织结构,整合各数据分片对应的元数据和第一哈希值,确定待发送数据的数据摘要包。其中,元数据可以包括但不限于数据分片在待发送数据中的数据偏移量、以及数据分片的数据长度。比如,去中心化网络中的数据发送节点N1将1024字节的待发送数据进行非对称加密之后,分割为A、B、C和D四个数据分片,每份大小是A=256字节、B=300字节、C=270字节和D=198字节,那么数据分片A的数据偏移量offset为0、数据长度size为256,数据分片B的数据偏移量offset为256、数据长度size为300,数据分片C的数据偏移量offset为556、数据长度size为270,以及数据分片D的数据偏移量offset为826、数据长度size为198。另外,使用哈希函数分别计算上述四个数据分片中原始数据的数据“指纹”,即第一哈希值,得到V(A)=Hash256(A)、V(B)=Hash256(B)、V(C)=Hash256(C)以及V(D)=Hash256(D)。需要说明的是,非对称加密使用一对密钥进行加密,即公钥(public key)和私钥(private key)。由于公钥可以发给任何请求它的人,而私钥只能一方安全保管,不能外泄,从而提高了密码保护的等级。当然,本申请实施例去中心化网络中的数据发送节点N1也可以采用对称加密的方式,对此不再赘述。
可选地,本申请实施例按照预设的数据组织结构,整合各数据分片对应的元数据和第一哈希值,确定待发送数据的数据摘要包,具体过程为:首先,对各数据分片的元数据和第一哈希值进行哈希运算,得到各数据分片对应的第二哈希值;然后,将各数据分片划分为若干个数据分组,分别计算每个数据分组对应的第三哈希值;进而,对各第三哈希值进行哈希运算,得到待发送数据的第四哈希值,该第四哈希值与数据摘要包对应。需要说明的是,这个过程主要是使用第一哈希值和第二哈希值生成第四哈希值,后续去中心化网络中的数据接收节点只要有第二哈希值就能还原出第三哈希值,甚至包括第四哈希值。进而在功能实现时,数据接收节点也可以通过第二哈希值反推出第四哈希值,并与接收到的第四哈希值做比较,由此确定即时通讯数据在传输过程中是否被篡改。举例说明,请参考图3所示,仍以上述A、B、C和D四个数据分片为例。本申请实施例中预设的数据组织结构是树状形式,其中叶子节点在L2层,每个叶子节点存储数据“指纹”、数据偏移量和数据长度等信息,比如数据分片A的叶子节点中存储数据“指纹”,即第一哈希值hash:V(A)、数据偏移量offset:0和数据长度size:256。为了后续确定数据摘要包的发送目标节点,本申请实施例可以使用哈希函数计算每个叶子节点的数据“指纹”,即第二哈希值,分别为Hash1、Hash2、Hash3和Hash4。然后,划分数据分片A、B、C和D为两个数据分组,即A和B是一组,C和D是另一组,通过哈希函数和Hash1、Hash2、Hash3、Hash4分别计算L1层节点的第三哈希值,得到H5=Hash256(Hash1,Hash2)、H6=Hash256(Hash3,Hash4)。进而,对各第三哈希值进行哈希运算,得到待发送数据的第四哈希值,该第四哈希值与待发送数据的数据摘要包对应,即L0层根节点的第四哈希值为H7=Hash256(H5,H6)。另外,本申请实施例还能够使用非对称加密算法将数据摘要包进行加密,得到加密数据,从而进一步提升了数据传输的安全性。
S103,根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。
比如,本申请实施例中数据摘要包包括Hash1、Hash2、Hash3、Hash4和H7等信息。
具体的,本申请实施例通过在分布式哈希路由表中,查找与哈希值满足预设条件的第一目标节点,该哈希值包括第一哈希值、第二哈希值和第四哈希值,进而发送经过加密的数据分片和/或数据摘要包至第一目标节点。比如,本申请实施例预设条件是与哈希值逻辑距离最近,即通过式(1)来计算,从而去中心化网络中的数据发送节点N1能够根据分布式哈希路由表,查找到满足预设条件的第一目标节点。
nodes=find_nodes(router,target) (1)
其中,router为本地分布式哈希路由表;target为待发送数据的数据“指纹”信息,即上述计算出的哈希值,比如Hash1、Hash2、Hash3、Hash4和H7等;nodes为返回数据发送的目标节点信息,比如第一目标节点。
假设通过式(1),计算得到如表1所示的目标节点信息,即
表1目标节点信息
如表1所示,V(A)表示数据分片A的原始数据发送至去中心化网络中的N2和N3节点,V(B)、V(C)和V(D)与此同理;Hash1叶子节点的数据发送至去中心化网络中的N2和N6节点,Hash2、Hash3和Hash4与此同理,而H7表示整个数据摘要包的数据发送至N2和N5节点。其中,接收数据的节点需要通知其它节点,比如“我有此哈希值的数据”,从而其它节点可以精准地获取数据。
需要说明的是,在本申请的其它实施例,去中心化网络中还包括至少一个数据接收节点,该数据接收节点根据获取的第四哈希值、预设条件和分布式哈希路由表,确定存储数据摘要包的第二目标节点,进而对从第二目标节点拉取的数据摘要包进行解密,还原得到分组数据包,并通过分组数据包中的第二哈希值获取数据分片对应的元数据和第一哈希值,进一步还原得到待发送数据。比如,数据接收节点N4通过线下安全通道获知数据摘要包的数据“指纹”,即第四哈希值,此时target=H7,并根据式(1)得到第二目标节点nodes=N2,N5。进而,当数据接收节点N4从N2和N5拉取数据摘要包信息之后,使用非对称解密算法将数据摘要包恢复成明文分组数据包,并从该分组数据包中获取叶子节点的第二哈希值,即Hash1、Hash2、Hash3和Hash4,以及根据第二哈希值分别获取各数据分片对应的元数据和第一哈希值,组装得到待发送数据。
具体的,本申请实施例解析数据摘要包,得到分组数据包中的第二哈希值,以及根据第二哈希值、预设条件和分布式哈希路由表,确定存储各数据分片的第三目标节点,并从第三目标节点拉取各数据分片;进而,提取各数据分片中的元数据和第一哈希值,并根据第一哈希值、预设条件和分布式哈希路由表,确定存储各原始数据的第四目标节点,从第四目标节点拉取各原始数据组装得到待发送数据。比如,数据接收节点N4根据式(1),此时target=Hash1、Hash2、Hash3和Hash4,得到对应的拉取节点分别是(N2,N6)、(N2,N3)、(N3,N5)和(N5,N6)。因此,请参考图4所示,数据接收节点N4从这些拉取节点获取Hash1、Hash2、Hash3和Hash4对应的完整且加密的分组数据包之后,通过非对称解密算法恢复成数据明文,该明文分组数据包中包含第一哈希值对应的数据分片,并根据各数据分片对应的元数据和第一哈希值组装得到待发送数据,其中元数据包括数据分片在待发送数据中的数据偏移量offset、以及数据分片的数据长度size。另外,在本申请的其它实施例中,数据接收节点N4也可以按照预设的数据组织结构重新构建一个树形结构,具体过程可以参照图3的示例,对此不再赘述。进而,数据接收节点N4计算这个树形结构的根节点对应的数据“指纹”,即H’,并将H’与H7进行比较,如果相等则说明待发送数据没有被篡改,由此确保了数据传输的安全性。
本申请实施例提供的基于去中心化网络数据分片传输方法,该方法应用于去中心化网络中的数据发送节点,首先获取待发送数据,并分割待发送数据为若干个数据分片;然后,根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;进而,根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。本申请实施例通过对即时通讯数据进行分割和哈希运算,并根据分布式哈希路由表分发数据,避免了去中心化网络中的其它节点也可以看到整个通讯数据,提高了数据传输的安全性。
基于前述实施例,本申请实施例提供一种基于去中心化网络数据分片传输装置,该装置可以应用于图1~4对应的实施例提供的基于去中心化网络数据分片传输方法中。参照图5所示,该基于去中心化网络数据分片传输装置5包括:
分割模块51,配置用于获取待发送数据,并分割待发送数据为若干个数据分片;
生成模块52,配置用于根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;
发送模块53,配置用于根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。
可选地,在本申请的其它实施例中,如图6所示,生成模块52包括:
提取单元521,配置用于提取各数据分片对应的元数据和第一哈希值,元数据包括数据分片在待发送数据中的数据偏移量、以及数据分片的数据长度;
确定单元522,配置用于按照预设的数据组织结构,整合各数据分片对应的元数据和第一哈希值,确定待发送数据的数据摘要包。
可选地,在本申请的其它实施例中,确定单元522具体用于对各数据分片的元数据和第一哈希值进行哈希运算,得到各数据分片对应的第二哈希值;
将各数据分片划分为若干个数据分组,分别计算每个数据分组对应的第三哈希值;
对各第三哈希值进行哈希运算,得到待发送数据的第四哈希值。
可选地,在本申请的其它实施例中,如图7所示,发送模块53包括:
查找单元531,配置用于在分布式哈希路由表中,查找与哈希值满足预设条件的第一目标节点,哈希值包括第一哈希值、第二哈希值和第四哈希值;
发送单元532,配置用于发送经过加密的数据分片和/或数据摘要包至第一目标节点。
可选地,在本申请的其它实施例中,如图8所示,该基于去中心化网络数据分片传输装置3还包括:
接收模块54,该接收模块54的去中心化网络中包括至少一个数据接收节点,配置用于根据获取的第四哈希值、预设条件和分布式哈希路由表,确定存储数据摘要包的第二目标节点;
还原模块55,配置用于对从第二目标节点拉取的数据摘要包进行解密,还原得到待发送数据。
可选地,在本申请的其它实施例中,还原模块55具体用于:
解析数据摘要包,得到各数据分片对应的第二哈希值;
根据第二哈希值、预设条件和分布式哈希路由表,确定存储各数据分片的第三目标节点,并从第三目标节点拉取各数据分片;
提取各数据分片中的第一哈希值,根据第一哈希值、预设条件和分布式哈希路由表,从存储原始数据的第四目标节点拉取各原始数据,并基于各原始数据和元数据组装得到待发送数据。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例提供的基于去中心化网络数据传输装置,该装置包括分割模块,配置用于获取待发送数据,并分割待发送数据为若干个数据分片;生成模块,配置用于根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;发送模块,配置用于根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。本申请实施例通过对即时通讯数据进行分割和哈希运算,并根据分布式哈希路由表分发数据,避免了去中心化网络中的其它节点也可以看到整个通讯数据,提高了数据传输的安全性。
基于前述实施例,本申请实施例提供一种电子设备,该电子设备可以应用于图1~4对应的实施例提供的基于去中心化网络数据分片传输方法中,具体包括一个或多个处理器、用于存储一个或多个程序的存储器,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行图1~4对应的实施例提供的基于去中心化网络数据分片传输方法。需要说明的是,本申请实施例中所涉及的电子设备可以包括但不限于个人计算机(Personal Computer,PC)、个人数字助理(Personal Digital Assistant,PDA)、平板电脑(Tablet Computer)、无线手持设备和手机等。
基于前述实施例,本申请实施例提供一种计算机系统。请参照图9所示,该计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中,还存储有系统操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本申请的实施例,上文参考流程图1描述的过程可以被实现为计算机软件程序。例如,本申请的实施例1包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序由CPU901执行,以实现如下步骤:
获取待发送数据,并分割待发送数据为若干个数据分片;
根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;
根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。
在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例基于去中心化网络数据分片传输方法、装置、设备和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括分割模块、生成模块及发送模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该电子设备实现如上述实施例中的基于去中心化网络数据分片传输方法。
例如,电子设备可以实现如图1中所示的:S101,获取待发送数据,并分割待发送数据为若干个数据分片;S102,根据各数据分片对应的元数据和第一哈希值,生成一个数据摘要包;S103,根据分布式哈希路由表,将经过加密的数据摘要包分发至去中心化网络。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于去中心化网络数据分片传输方法,其特征在于,所述方法应用于所述去中心化网络中的数据发送节点,包括:
获取待发送数据,并分割所述待发送数据为若干个数据分片;
根据各所述数据分片对应的元数据和第一哈希值,生成一个数据摘要包;
根据分布式哈希路由表,将经过加密的所述数据摘要包分发至所述去中心化网络。
2.根据权利要求1所述的基于去中心化网络数据分片传输方法,其特征在于,所述根据各所述数据分片对应的元数据和第一哈希值,生成一个数据摘要包,包括:
提取各所述数据分片对应的元数据和第一哈希值,所述元数据包括所述数据分片在所述待发送数据中的数据偏移量、以及所述数据分片的数据长度;
按照预设的数据组织结构,整合各所述数据分片对应的元数据和第一哈希值,确定所述待发送数据的数据摘要包。
3.根据权利要求2所述的基于去中心化网络数据分片传输方法,其特征在于,所述按照预设的数据组织结构,整合各所述数据分片对应的元数据和第一哈希值,确定所述待发送数据的数据摘要包,包括:
对各所述数据分片的元数据和第一哈希值进行哈希运算,得到各所述数据分片对应的第二哈希值;
将各所述数据分片划分为若干个数据分组,分别计算每个所述数据分组对应的第三哈希值;
对各所述第三哈希值进行哈希运算,得到所述待发送数据的第四哈希值。
4.根据权利要求3所述的基于去中心化网络数据分片传输方法,其特征在于,所述根据分布式哈希路由表,将经过加密的所述数据摘要包分发至所述去中心化网络,包括:
在所述分布式哈希路由表中,查找与哈希值满足预设条件的第一目标节点,所述哈希值包括所述第一哈希值、所述第二哈希值和所述第四哈希值;
发送所述经过加密的所述数据分片和/或所述数据摘要包至所述第一目标节点。
5.根据权利要求4所述的基于去中心化网络数据分片传输方法,其特征在于,所述方法还包括:
所述去中心化网络中包括至少一个数据接收节点;
所述数据接收节点根据获取的所述第四哈希值、所述预设条件和所述分布式哈希路由表,确定存储所述数据摘要包的第二目标节点;
对从所述第二目标节点拉取的所述数据摘要包进行解密,还原得到所述待发送数据。
6.根据权利要求5所述的基于去中心化网络数据分片传输方法,其特征在于,所述对从所述第二目标节点拉取的所述数据摘要包进行解密,还原得到所述待发送数据,包括:
解析所述数据摘要包,得到各所述数据分片对应的第二哈希值;
根据所述第二哈希值、所述预设条件和所述分布式哈希路由表,确定存储各所述数据分片的第三目标节点,并从所述第三目标节点拉取各所述数据分片;
提取各所述数据分片中的第一哈希值,根据所述第一哈希值、所述预设条件和所述分布式哈希路由表,从存储原始数据的第四目标节点拉取各原始数据,并基于各所述原始数据和所述元数据组装得到所述待发送数据。
7.一种基于去中心化网络数据分片传输装置,其特征在于,所述装置包括:
分割模块,配置用于获取待发送数据,并分割所述待发送数据为若干个数据分片;
生成模块,配置用于根据各所述数据分片对应的元数据和第一哈希值,生成一个数据摘要包;
发送模块,配置用于根据分布式哈希路由表,将经过加密的所述数据摘要包分发至所述去中心化网络。
8.根据权利要求7所述的基于去中心化网络数据分片传输装置,其特征在于,所述生成模块包括:
提取单元,配置用于提取各所述数据分片对应的元数据和第一哈希值,所述元数据包括所述数据分片在所述待发送数据中的数据偏移量、以及所述数据分片的数据长度;
确定单元,配置用于按照预设的数据组织结构,整合各所述数据分片对应的元数据和第一哈希值,确定所述待发送数据的数据摘要包。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1-6中任意一项所述的基于去中心化网络数据分片传输方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序用于实现如权利要求1至6中任意一项所述的基于去中心化网络的数据分片传输方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911213583.5A CN111030930B (zh) | 2019-12-02 | 2019-12-02 | 基于去中心化网络数据分片传输方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911213583.5A CN111030930B (zh) | 2019-12-02 | 2019-12-02 | 基于去中心化网络数据分片传输方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111030930A true CN111030930A (zh) | 2020-04-17 |
CN111030930B CN111030930B (zh) | 2022-02-01 |
Family
ID=70203814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911213583.5A Active CN111030930B (zh) | 2019-12-02 | 2019-12-02 | 基于去中心化网络数据分片传输方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111030930B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113038306A (zh) * | 2021-03-25 | 2021-06-25 | 中国科学院半导体研究所 | 光网络安全通信方法、装置、电子设备及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080005334A1 (en) * | 2004-11-26 | 2008-01-03 | Universite De Picardie Jules Verne | System and method for perennial distributed back up |
CN102708165A (zh) * | 2012-04-26 | 2012-10-03 | 华为软件技术有限公司 | 分布式文件系统中的文件处理方法及装置 |
CN103229480A (zh) * | 2011-11-29 | 2013-07-31 | 华为技术有限公司 | 分布式存储系统中的数据处理方法及设备、客户端 |
CN103370113A (zh) * | 2012-12-12 | 2013-10-23 | 华为技术有限公司 | 数据存储方法及系统 |
CN105868369A (zh) * | 2016-03-30 | 2016-08-17 | 电子科技大学 | 一种基于Merkle树结构的数据模型验证系统与方法 |
US20170322992A1 (en) * | 2016-05-09 | 2017-11-09 | Comcast Cable Communications, Llc | Distributed Data Access Control |
CN108664223A (zh) * | 2018-05-18 | 2018-10-16 | 百度在线网络技术(北京)有限公司 | 一种分布式存储方法、装置、计算机设备及存储介质 |
CN110149373A (zh) * | 2019-04-28 | 2019-08-20 | 平安科技(深圳)有限公司 | 基于点对点网络的数据存储方法、装置、介质及服务器 |
CN110300173A (zh) * | 2019-06-28 | 2019-10-01 | 杭州复杂美科技有限公司 | 去中心化数据存储方法、验证方法、设备和存储介质 |
CN110430282A (zh) * | 2019-08-16 | 2019-11-08 | 微位(深圳)网络科技有限公司 | 分布式系统节点之间的数据传输方法及装置 |
-
2019
- 2019-12-02 CN CN201911213583.5A patent/CN111030930B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080005334A1 (en) * | 2004-11-26 | 2008-01-03 | Universite De Picardie Jules Verne | System and method for perennial distributed back up |
CN103229480A (zh) * | 2011-11-29 | 2013-07-31 | 华为技术有限公司 | 分布式存储系统中的数据处理方法及设备、客户端 |
CN102708165A (zh) * | 2012-04-26 | 2012-10-03 | 华为软件技术有限公司 | 分布式文件系统中的文件处理方法及装置 |
CN103370113A (zh) * | 2012-12-12 | 2013-10-23 | 华为技术有限公司 | 数据存储方法及系统 |
CN105868369A (zh) * | 2016-03-30 | 2016-08-17 | 电子科技大学 | 一种基于Merkle树结构的数据模型验证系统与方法 |
US20170322992A1 (en) * | 2016-05-09 | 2017-11-09 | Comcast Cable Communications, Llc | Distributed Data Access Control |
CN108664223A (zh) * | 2018-05-18 | 2018-10-16 | 百度在线网络技术(北京)有限公司 | 一种分布式存储方法、装置、计算机设备及存储介质 |
CN110149373A (zh) * | 2019-04-28 | 2019-08-20 | 平安科技(深圳)有限公司 | 基于点对点网络的数据存储方法、装置、介质及服务器 |
CN110300173A (zh) * | 2019-06-28 | 2019-10-01 | 杭州复杂美科技有限公司 | 去中心化数据存储方法、验证方法、设备和存储介质 |
CN110430282A (zh) * | 2019-08-16 | 2019-11-08 | 微位(深圳)网络科技有限公司 | 分布式系统节点之间的数据传输方法及装置 |
Non-Patent Citations (2)
Title |
---|
KEVIN SIJO PUTHUSSERI等: ""Storage and availability aware fragment placement for P2P storage systems"", 《IEEE》 * |
翟建设等: ""DHT网络中数据索引和发布策略研究"", 《计算机工程与应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113038306A (zh) * | 2021-03-25 | 2021-06-25 | 中国科学院半导体研究所 | 光网络安全通信方法、装置、电子设备及介质 |
CN113038306B (zh) * | 2021-03-25 | 2023-03-24 | 中国科学院半导体研究所 | 光网络安全通信方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111030930B (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10903976B2 (en) | End-to-end secure operations using a query matrix | |
WO2022252632A1 (zh) | 一种数据加密处理方法、装置、计算机设备及存储介质 | |
US20180212753A1 (en) | End-To-End Secure Operations Using a Query Vector | |
CN107248984B (zh) | 数据交换系统、方法和装置 | |
CN110516462B (zh) | 用于加密数据的方法和装置 | |
US10963593B1 (en) | Secure data storage using multiple factors | |
US11184168B2 (en) | Method for storing data on a storage entity | |
CN108777685B (zh) | 用于处理信息的方法和装置 | |
CN111783140B (zh) | 请求响应方法及装置、电子设备及计算机可读存储介质 | |
US20110154015A1 (en) | Method For Segmenting A Data File, Storing The File In A Separate Location, And Recreating The File | |
US20190036679A1 (en) | Encryption device, encryption method, computer readable medium, and storage device | |
US10615965B1 (en) | Protected search index | |
CN109474616B (zh) | 多平台数据共享方法和装置及计算机可读存储介质 | |
US10592682B2 (en) | Data storage apparatus, data processing method, and computer readable medium adding a user attribute of a revoked user to an embedded decryption condition while encrypted data remains in an encrypted state | |
US20190260583A1 (en) | Encryption device, search device, computer readable medium, encryption method, and search method | |
CN117539927A (zh) | 加密数据模糊查询方法、装置和电子设备 | |
CN113656713B (zh) | 一种网络资源处理方法、装置及系统 | |
CN111030930B (zh) | 基于去中心化网络数据分片传输方法、装置、设备及介质 | |
You et al. | Deduplication-friendly watermarking for multimedia data in public clouds | |
CN108920971A (zh) | 数据加密的方法、校验的方法、加密的装置和校验的装置 | |
CN113761566A (zh) | 一种数据处理方法和装置 | |
CN110390516B (zh) | 用于数据处理的方法、装置和计算机存储介质 | |
CN118842593A (zh) | 用于安全标识检索的系统和方法 | |
CN110232570A (zh) | 一种信息监管方法及装置 | |
US11487895B2 (en) | Client-side encryption and processing of telemetry data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |