CN113973021A - 一种图式区块链的网络传输优化装置及方法 - Google Patents

一种图式区块链的网络传输优化装置及方法 Download PDF

Info

Publication number
CN113973021A
CN113973021A CN202111190084.6A CN202111190084A CN113973021A CN 113973021 A CN113973021 A CN 113973021A CN 202111190084 A CN202111190084 A CN 202111190084A CN 113973021 A CN113973021 A CN 113973021A
Authority
CN
China
Prior art keywords
transaction
node
nodes
network
network transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111190084.6A
Other languages
English (en)
Other versions
CN113973021B (zh
Inventor
肖江
司冰茹
曾家杰
张世桀
陈汉华
金海�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Publication of CN113973021A publication Critical patent/CN113973021A/zh
Priority to US17/806,646 priority Critical patent/US12113699B2/en
Application granted granted Critical
Publication of CN113973021B publication Critical patent/CN113973021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/185—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with management of multicast group membership
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/46—Cluster building
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种图式区块链的网络传输优化装置，至少包括交易处理模块、节点管理模块和路由管理模块，其中，交易处理模块对交易进行压缩并通过路由管理模块在由节点管理模块对多个节点进行划分而得到的至少一个集群中所选取的路由节点将压缩后得到的交易数据在不同集群间进行传输。该网络传输优化方法对现有的图式区块链系统提供了一个交易编码方案，并通过并行化广播的方式高效利用网络带宽，该网络传输优化方法中提供的结构化网络拓扑充分考虑了节点之间的延迟问题，能够自适应节点的动态加入和退出，提高了网络传输的效率。

Description

一种图式区块链的网络传输优化装置及方法
技术领域
本发明涉及区块链系统中的网络传输协议技术领域，尤其涉及一种图式区块链的网络传输优化装置及方法。
背景技术
区块链是由加密机制、存储机制、共识机制等多种技术组成的分布式系统，可以在无中心服务器的情况下实现相互信任的点对点交易功能。在区块链系统中，区块通过区块头进行连接，形成链式的数据存储结构。然而由于区块链的链式结构存在吞吐量低、处理速度慢、等待时间长、能耗高和安全性等问题，严重限制了整个区块链的发展。
随着区块链技术的不断发展，各种区块链平台层出不穷，区块链系统的性能要求越来越高，对链的结构提出了新的要求。为了实现安全、可靠和高效的区块链系统，采用DAG技术的图式区块链应运而生，被用于解决公链上的各种问题。对于链式网络而言，关键不是节点的处理能力不强，而是链式结构不能并行计算，吞吐量低，浪费大量的等待时间，比如发起交易后需要将交易同步所有节点以及当有一个节点确认后要向全网进行同步。对于DAG而言则不存在这样的问题，DAG将同步记账提升为异步记账，通过并行性解决传统区块链的高并发问题，交易只需要经历局部校验、全网广播、其他局部校验的过程即可进行确认，每一个节点将自己的和别人确认的交易拼接起来。链式网络到图式网络的转变是区块链从容量到速度的一次革新。
区块链网络主要负责实现节点之间的信息交互，包括区块链的组网机制、数据传播机制以及数据验证机制等等。这些机制的设计将直接影响信息的确认速度，从而影响整个系统的性能。目前运用DAG技术的主流项目采用随机网络拓扑和Gossip广播方式进行构建。在随机网络拓扑(非结构化网络拓扑)中，新节点随机选择网络中的节点建立连接通道，系统性能无法保证。在Gossip广播方式中，节点定期随机选择邻居节点发送消息，从而产生大量的冗余数据，网络带宽利用率低。
目前主流的DAG项目采用的网络拓扑结构并没有充分考虑节点间的物理网络延迟，存在许多高延迟连接，极大地影响了网络传输的效率，网络吞吐率极低。此外，对于高吞吐量的区块链系统需要一个很大的网络带宽来传播交易，DAG技术在并发性上有显著优势，从而传统的广播方式不仅会产生大量的数据冗余，无法高效利用网络中的带宽资源，还可能造成网络拥塞，降低系统的吞吐率。例如，现有技术中公开号为CN110198233A的专利文献所提出的一种基于可信执行环境和有向无环图的区块链共识方法及系统，其步骤包括：接收邻居节点发送的事件集合，基于新事件携带的可信执行环境信息判断事件是否合法，将合法事件集合加入本节点的有向无环图中，如果任一事件被区块链系统中超过指定数量的节点的同意，则判定该事件已经达成共识，结束本轮共识；所有节点将产生的交易打包到生成的新事件，随机选择一个邻居节点，将本节点知道且该邻居节点不知道的事件集合通过gossip报文发送给该邻居节点。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对图式区块链的网络传输中存在的因高延迟连接以及数据冗余量大而导致的网络传输效率低以及系统吞吐率小的问题，本申请提出了一种图式区块链的网络传输优化装置及方法，旨在降低图式区块链网络中的网络延迟，以及高效利用网络带宽。本申请提出了一种图式区块链的网络传输优化装置，其特征在于，至少包括交易处理模块、节点管理模块和路由管理模块，其中，交易处理模块对交易进行压缩并通过路由管理模块在由节点管理模块对多个节点进行划分而得到的至少一个集群中所选取的路由节点将压缩后得到的交易数据在不同集群间进行传输。其中，对交易进行压缩，可以是指为每个交易分配一个序号并对新交易中引用字段进行压缩。
根据一种优选实施方式，所述网络传输优化装置还包括设于各节点中的广播模块，广播模块利用gossip协议实现集群内及集群之间的信息广播。
根据一种优选实施方式，交易处理模块至少通过将交易的第一hash指针压缩为第二hash指针来进行交易的压缩。
根据一种优选实施方式，交易处理模块还基于满足标准的编码格式对交易进行编码来实现交易的压缩表示。
根据一种优选实施方式，所述第二hash指针包括各自在第二hash指针的占据空间彼此相同的交易高度和交易索引。
根据一种优选实施方式，交易高度可以是交易在DAG图中的序号。
本申请还提出了一种图式区块链的网络传输优化方法，其特征在于，至少包括：对交易进行压缩进行压缩，通过在对多个节点进行划分而得到的至少一个集群中所选取的路由节点将压缩后得到的交易数据在不同集群间进行传输。“对交易进行压缩”可以是：通过交易输入的第二hash指针替换交易输入的第一hash指针，并由满足标准的编码格式对交易进行编码，压缩交易大小，得到交易编码序列。节点接收到交易编码序列后对其进行匹配，存储交易信息。“至少一个集群”可以是通过对整个网络上的节点进行二级聚类而划分得到的。“路由节点”是在各集群所包含的节点中选取的，用以使不同集群间通过路由节点进行通信。
所述方法包括通过交易输入的第二hash指针替换交易输入的第一hash指针，并由满足标准的编码格式对交易进行编码，压缩交易大小，得到交易编码序列。所述方法包括节点接收到交易编码序列后在缓冲池中对其进行匹配，并附加到本地账本上。所述方法包括对整个网络上的节点进行二级聚类，以划分得到至少一个集群。所述方法包括在各集群中选取路由节点，使不同集群间通过路由节点进行通信。
根据一种优选实施方式，集群内及集群间均采取gossip协议进行信息广播。
根据一种优选实施方式，进行交易压缩的步骤至少包括：将交易的第一hash指针压缩为第二hash指针。
根据一种优选实施方式，进行交易压缩的步骤还包括：基于满足标准的编码格式对交易进行编码来实现交易的压缩表示。
根据一种优选实施方式，所述第二hash指针包括：交易高度，其表示交易在DAG图中的序号；交易索引，其表示对同一交易高度下的交易进行压缩所得到的编码序列，该序列可以唯一指定该交易。如果某个交易第二hash指针为t_X，则t表示交易高度，X表示交易索引。
根据一种优选实施方式，交易高度所占空间为20bits，足以容纳包含N×106个交易的某DAG区块链账本，其中N为网络节点数。创世交易的交易高度为0。交易索引所占空间为20bits，足以记录交易的压缩编码。因此，第二hash指针所占空间为40bits。
根据一种优选实施方式，对交易进行编码的方式可以是对交易中的至少部分字段进行熵编码。
为了解决高吞吐量的区块链系统由于同一时间网络传输数据过大而在广播过程中造成的网络拥塞问题，本申请提供了一种在DAG区块链中对本地已有交易进行压缩的解决方案，将32字节的TXID(交易TX的SHA256值)按照某种方式进一步压缩，用更短的交易编码序列代表每一笔交易，进而在新交易产生时对其引用字段进行优化，减少新交易在网络中传输时所消耗的带宽，实现网络中尽可能多的交易并行广播且不会造成网络拥塞现象，并以此提高系统的吞吐量。待节点接收到新交易后，将交易中引用字段的数据与本地缓冲池进行匹配，将新交易附加到本地账本上。在不超过有限网络资源的条件下，并行交易的数量越多，该方案的效果越好。
根据一种优选实施方式，对整个网络上的节点进行二级聚类的步骤至少包括：对整个网络上的节点进行一级聚类，以划分得到至少一个一级集群；对各一级集群中的节点分别进行二级聚类，以划分得到位于一级集群下的至少一个二级集群。
根据一种优选实施方式，对网络上的节点进行聚类划分的步骤是基于邻近节点数和节点间距进行的。
根据一种优选实施方式，各二级集群分别选择其集群内的一个节点作为二级路由节点，二级路由节点负责将其他二级集群传来的广播信息转发到其所在的二级集群内。
根据一种优选实施方式，各一级集群选择其集群内的一个二级集群的路由节点作为一级路由节点。
根据一种优选实施方式，二级路由节点收到广播信息后将其转发至其他二级路由节点，其他二级路由节点分别转发到其所在的二级集群内的节点，和/或一级路由节点收到广播信息后将其转发至其他一级路由节点，其他一级路由节点分别转发到其所在的一级集群内的其他二级路由节点。
为了解决交易在网络中传播的高延迟问题，本申请采用了聚类算法，将邻近的节点进行聚类。首先为网络中每个节点赋予一个位置坐标，节点之间的网络延迟用节点距离来表示。以此为聚类算法的设计提供理论依据。之后通过聚类算法对网络中的节点进行聚类，使得集群中的节点之间的网络延迟保持在一个较低范围内。以此实现集群内节点的低延迟传播。在聚类的基础上，对聚类后的集群内部进行二次聚类。这样做的目的是可以进一步并行化处理以降低延迟。每一个二级集群会选择一个核心节点，作为路由节点，负责二级集群间的数据转发。每一个一级集群会选择一个二级集群，其路由节点既负责二级集群间的转发，也负责一级集群间的转发。
根据一种优选实施方式，集群内及集群间均采取gossip协议进行信息广播。为了提高广播效率，本申请在集群内及集群间都采取gossip协议，基于本申请所采用的二级聚类的方法，二级集群内的节点、二级集群以及一级集群的数量都较小，这使得gossip协议无需覆盖很大的网络，能够有效地提高广播的效率。
本申请所提出的技术方案具有至少一个以下有益效果：
(1)本申请对现有的图式区块链系统提供了一个交易编码方案，并通过并行化广播的方式高效利用网络带宽，而不会造成网络拥塞现象。
(2)本申请提供的交易编码方法充分考虑了压缩的安全性，使交易和交易编码序列一一对应，避免二义性，有利于减少交易传输过程中的带宽消耗。
(3)本申请提供的结构化网络拓扑充分考虑了节点之间的延迟问题，能够自适应节点的动态加入和退出，有着良好的可扩展性、鲁棒性、节点分配的均匀性和自组织能力，提高了网络传输的效率。
(4)本发明设计的交易传输过程充分考虑了数据冗余问题，在集群间和集群内分别设计对应的广播方法，有效改善消息冗余问题和网络消耗问题，从而实现高效的并行广播。
附图说明
图1是本发明提供的交易压缩表示方案的简化示意图；
图2是本发明中提及的DAG区块链账本结构的简化示意图；
图3是本发明提供的网络拓扑结构的简化示意图。
具体实施方式
为了更清楚、完整地说明本发明的内容，下面结合附图及具体实施方式来对本发明进行详细地说明，显然，所描述的实例仅仅是本发明一部分实例，而不是全部的实例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明保护的范围。
为了便于理解，将本发明的技术用语进行如下解释。
DAG，Directed Acyclic Graph，即有向无环图，按照数学上的定义，DAG指的是一个没有有向循环的、有限的有向图。它由有限个顶点和有向边组成，每条有向边都从一个顶点指向另一个顶点；从任意一个顶点出发都不能通过这些有向边回到原来的顶点。在区块链的应用上，DAG图的每个顶点代表在某一个时间新产生的交易或区块。一般的链式区块链是DAG的一种特殊情况，也即每个时间段整个系统只能产生一个区块。不同的是，DAG允许不同节点按自己的节奏生成交易，每个交易可选择一个或多个交易作为自己的父交易。DAG相对于传统链式区块链的优势是非常明显的，主要在于可扩展性和交易吞吐量上。由于采取DAG的数据结构的话，每个节点不需要再等其它节点的数据达到统一就可以处理新的交易，避免了因网络延迟和数据同步造成的时间浪费。因此，参与DAG记账的节点很容易大幅延展。此外，DAG的尾端可以平行增加任意多的新数据，因此天生具有很强的交易吞吐量。这一点更是完胜链式区块链。链式区块链每次只能增加一个区块大小的数据量，所以可以处理的交易量是很难改变的。
TXID，TransactionID，也可称为交易哈希或交易编号，其为区块链交易信息经过哈希运算后而到得的一长串字符。TXID是区块链资产交易中标记转账需要的字符段，一般由几十位数字和字母组成。例如从A地址转10个ETH(以太币)到B地址，可以使用A地址进行私钥签名，得到一个签名的SIGN，然后这个签名和交易合并，最后进行哈希值运算，就得到了TXID，然后向网络广播，如果交易成功，就可以在区块链网络上查询到该交易编号/TXID。
SHA256，SHA2的名称来自于安全散列算法2(Secure Hash Algorit hm 2)的缩写，其为一种密码散列函数算法标准，SHA256即为SHA2下的算法标准之一。SHA256算法的可以输入任意长度的数据，输出的是一串长度为32字节的随机散列数据。SHA256算法的原理主要是：对于任意长度的消息，SHA256都会产生一个256位的哈希值，称作消息摘要；这个摘要相当于是个长度为32个字节的数组，通常由一个长度为64的十六进制字符串来表示，其中1个字节＝8位，一个十六进制的字符的长度为4位。SHA256的压缩函数主要对512位的消息区块和256位的中间哈希值进行操作，本质上，它是一个通过将消息区块为密钥对中间哈希值进行加密的256位加密算法。
图式区块链，其主要指的是基于DAG的区块链，DAG采用了图的方式连接数据并进行存储。
并发性，是指具有处理和调度多个程序同时执行的能力。
熵，在信息论中，熵是接收的每条消息中包含的信息的平均量，其又被称为信息熵、信源熵或平均自信息量。其中所提及的消息代表来自分布或数据流中的事件、样本或特征。在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少。
熵编码，熵编码就是根据数据中不同字符出现的概率，用不同长度的编码来表示不同字符。解码后可以完全恢复原始数据。出现概率越高的字符，则用越短的编码表示；出现概率地的字符，可以用比较长的编码表示。
节点，一个节点就是一个服务(实例)，可以实现存储数据、索引以及搜索的功能。区块链网络中的每个节点相当于存储所有块数据的每台计算机或服务器终端。所有新数据块的生成，以及事务的验证和统计，以及将它们广播到整个网络进行同步，都是由节点完成的。
集群，一个或多个节点集合组成一个集群，集群上的节点可以存储数据，并提供跨节点的索引和搜索功能。
交易，区块主体由一个个trasations组成，即打包的交易，交易是存储在区块链中的实际数据，而区块则是记录确认某些交易是在何时以及何种顺序称为区块链中的一部分。
交易哈希，即区块体内每笔交易的哈希值，用于构建Merkle树。Merkle树，每个交易哈希对应一个叶子节点，将相邻两个哈希值合并成字符串再进行哈希，直至得到顶部的一个节点，即Merkle根哈希。在区块链中，一笔完整的交易由输入、输出以及脚本信息等组成，对完整的交易内容进行两次SHA256哈希运算就得到了交易的哈希值，也就是交易哈希。由于交易的输入需要引用之前某笔交易的输出，于是就在交易输入里加上了被引用的交易的哈希值，来定位这笔交易，在交易输入中出现的之前某笔交易的哈希值即为交易第一hash指针。其中，交易哈希用来构建merkle树，交易第一hash指针用来定位交易输入中所引用的之前某笔交易。
bitnodes，其指的是区块链网络中的实时节点信息，bitnodes项目是bitcoinfoundation所支持的一个开源项目。bitnodes项目的主要作用是收集维护该网络的节点信息，并依据这些节点信息的变化作出相应的网络健康状况的判断。bitnodes统计了全网节点的数目，在网站中可以看到全球节点分布的状况。
拓扑结构，是指分布式系统中各个计算单元之间的物理或逻辑的互联关系，结点之间的拓扑结构一直是确定系统类型的重要依据。
哈希指针，哈希指针是一种数据结构，是一个可以指向数据存储位置及位置的数据的哈希值的指针。哈希指针是一个不但可以指向数据存储的位置，还可以明晰某个时间戳下该数据的哈希值的指针。
Gossip，Gossip协议是一个通信协议，一种传播消息的方式。Gossip协议基本思想在于：一个节点想要分享一些信息给网络中的其他的一些节点；于是，Gossip协议周期性的随机选择一些节点，并把信息传递给这些节点；这些收到信息的节点接下来会做同样的事情，即把这些信息传递给其他一些随机选择的节点。一般而言，信息会周期性的传递给N个目标节点，而不只是一个。Gossip协议的主要用途就是信息传播和扩散，即把一些发生的事件传播到全世界。Gossip协议也被用于数据库复制，信息扩散，集群成员身份确认，故障探测等。Gossip协议是可扩展的，因为它只需要O(logN)个周期就能把消息传播给所有节点。某个节点在往固定数量节点传播消息过程中，并不需要等待确认，并且，即使某条消息传播过程中丢失，它也不需要做任何补偿措施。
满足标准的编码格式可以是指熵编码。
本申请提出了面向图式区块链的网络传输优化装置，该装置包括交易处理模块、节点管理模块和路由管理模块。根据本发明实施例，该装置还可以包括诸如中央处理器、通信单元、I/O单元的其他组件。本发明的网络传输优化装置优选地例如是：计算机、服务器等，以及其他采用网络传输优化装置的装置或系统。为了简化描述仅仅示出了交易处理模块、节点管理模块和路由管理模块，各模块还可分别包括至少一个单元用以执行本申请中各模块所对应的至少一个步骤。作为示例，可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或用于执行本文所述的功能的任意组合来实现或执行结合本公开所描述的各种示例性的逻辑块、模块和电路。通用处理器可以是微处理器，或者，处理器也可以是任何普通的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。作为示例，本公开的实施例可以在机器可执行指令的上下文中被描述，机器可执行指令诸如包括在目标的真实或者虚拟处理器上的器件中执行的程序模块中。一般而言，程序模块包括例程、程序、库、对象、类、组件、数据结构等，其执行特定的任务或者实现特定的抽象数据结构。在各实施例中，程序模块的功能可以在所描述的程序模块之间合并或者分割。用于程序模块的机器可执行指令可以在本地或者分布式设备内执行。在分布式设备中，程序模块可以位于本地和远程存储介质二者中。
本申请提出了面向图式区块链的网络传输优化方法，其中设计了交易的压缩方案以及二次聚类法，以降低图式区块链网络中的带宽消耗和交易冗余现象，达到高效利用网络资源的目的。尽管本发明具体实施方式中的网络传输优化方法以特定顺序被描绘，但这并不应该理解为要求此类操作以示出的特定顺序或以相继顺序完成，或者执行所有图示的操作以获取期望结果。在某些情况下，多任务或并行处理会是有益的。同样地，尽管上述讨论包含了某些特定的实施细节，但这并不应解释为限制任何发明或权利要求的范围，而应解释为对可以针对特定发明的特定实施例的描述。本说明书中在分开的实施例的上下文中描述的某些特征也可以整合实施在单个实施例中。反之，在单个实施例的上下文中描述的各种特征也可以分离地在多个实施例或在任意合适的子组合中实施。
图式区块链系统吞吐量高，并发性好，然而在广播过程中交易数据过大造成了网络带宽消耗问题，对此，本申请提出了针对图式区块链系统的交易压缩方案，该方案包括对本地已有的交易进行压缩编码，并根据序号分类对各类中的交易分别进行压缩编码；新交易产生时，对新交易的引用字段进行优化，使用第二hash指针代替第一hash指针，即序号加压缩编码代替完整哈希表示，以此在交易传输时高效利用网络带宽。
图1给出了本发明提供的新的交易压缩表示方案，左右两个方框分别代表的是交易高度和交易索引。由原本的32字节的第一hash指针压缩为5字节的第二hash指针，第二hash指针由交易高度和交易索引组成。5字节为40bits，其中前20bits表示交易高度，后20bits表示交易索引。根据交易高度，对所有交易进行分类，并分别分析各类中交易的组成方式，计算熵，缩小编码表示，以此得出交易索引。
在信息论中，熵可以衡量平均信息量，计算公式如下：
Figure BDA0003299987120000101
其中i表示概率空间中所有可能的样本，xi表示该样本出现的概率。当对数所用底数为2时，上述表达式计算得到的数据单位为比特。其中p(xi)表示每个字符出现的概率。log对数计算的是每一个字符需要多少bit表示，对它们进行概率加权求和，可以理解为是求数学期望值，最后的结果即表示最少平均每个字符需要多少bit表示。
对链式网络来说，每个区块仅有一个父区块，并且每次仅传输一个区块。但是在DAG区块链中，每个交易都需要引用先前的交易。当某一交易在网络中进行传输时，除了该交易本身的基本的交易信息外，还需要包含该交易所引用的交易信息。在有限的网络资源下，这一部分数据的传输成为带宽消耗的主要原因之一。当大量交易并发时，对网络中所有的交易进行压缩编码是不太实际的，既不能保证很好的压缩率，也很难避免哈希碰撞问题。本发明为每个交易添加一个可靠的序号，序号表示一个节点产生的第几笔交易，即对于N个节点的网络，最多只有N笔相同序号的交易。这个序号是在可信环境下产生的，不可篡改和伪造。例如，TEE(trusted execution enviro nment)，即可信执行环境，它是CPU上的一块区域，作用是给数据和代码的执行提供一个更安全的空间，并保证它们的机密性和完整性。通过TEE提供的可信环境，保证了机器中运行的代码没有被篡改，可以按照区块链协议指定的方式运行，从而为整个区块链网络提供安全性。
图式区块链IOTA项目中一个交易由2673个三进制编码字符组成，经过SHA256哈希运算得到32字节的交易哈希。如果直接引用交易哈希传输会浪费带宽资源，成为限制吞吐量的主要因素。对此，本发明提出了以下交易压缩传输流程：首先，产生交易的节点对本地已有的交易进行压缩编码，得到第二hash指针。具体地，产生交易的节点根据序号对本地已有的所有交易进行分类，并对不同类别中的交易进行统计分析，运用相应编码方案缩小交易编码表示，得到第二hash指针后将优化后的编码保存在本地。之后，产生新交易的节点引用先前的交易对新交易进行验证，并优化新交易的引用字段，使用第二hash指针代替第一hash指针，即序号加压缩编码代替完整哈希表示，以此减少交易传输时的数据量，高效利用网络带宽。最后，该节点将新交易广播至整个网络，收到该交易的其他节点根据该交易的引用字段中的交易高度(即序号)和交易索引(即交易压缩编码)在本地内存池中进行交易匹配，成功后将新交易添加到自身的账本结构中。
图2给出了本发明中提及的DAG区块链账本结构，为了方便说明，我们采用不同的形状来表示不同节点产生的交易，其中正方形为代表节点1，圆形代表节点2，菱形代表节点3，五边形代表节点4。当节点4接入网络时，首先获取目前已有的交易账本结构，并在本地对相同序号的交易进行压缩编码并存储。之后，节点4产生一笔新的交易，由于这是它产生的第一笔交易，序号表示为1。该交易将选择先前的交易进行验证，如图，其选择了序号为3的交易和序号为4的交易。这样，在新交易的引用字段，使用3_X和4_Y代替这两笔交易的完整哈希，其中X和Y表示该交易的压缩编码表示。最后，该交易在整个网络中广播，收到交易的节点进行验证并转发。例如，节点3接收到节点4产生的该笔交易，节点3将根据引用字段3_X在序号为3的交易列表中匹配压缩编码为X的交易，根据引用字段4_Y在序号为4的交易列表中匹配压缩编码为Y的交易，匹配成功后节点3将新交易添加到自身的账本上。
通过该压缩编码方案可以在一定程度上减少交易传输的数据量，在不超过网络资源限制的条件下，并行交易越多，该编码传输方案效果越好。因为在链式区块链网络中，区块的大小不能过大，否则会危害区块链系统的安全性，进而导致网络中交易的数量较少。DAG方法打破了该限制，允许交易并行执行，且节点不需要等待共识之后再接收新的交易，避免了网络延迟和账本同步所造成的耗时长的问题。
在链式网络中，新区块只会引用前一个区块为父区块，且所有节点都已收到该父区块。在DAG区块链中，交易可以随机选择多个父交易进行引用，且DAG异步通信的特性可能导致某一时刻节点的账本结构处于不一致状态，即节点在收到新交易时可能尚未收到所引用的交易，即无法匹配成功。但是由于最终一致性，节点将新交易保存在本地，待收到引用交易后再进行新一轮匹配。
公链网络中节点可以自由加入网络，相同序号的交易也会增多。交易信息压缩的同时交易数量增多，很大程度上提高了碰撞概率。本方案为发生碰撞的交易设置有一个阈值，当碰撞交易数超过该阈值的时候，重新请求完整的交易哈希。另外，本方案可以有效解决双花问题，不需要对所有交易进行排序或者寻找共同祖先来识别。当攻击者在网络的两个不同的位置添加了两笔双花交易时，本方案将较早的一笔交易作为有效交易，即序号低的交易被视为有效。
交易压缩完成后，需要在网络中进行广播。为了降低网络传输延迟，网络中的所有节点间建立网络连接，形成特定的网络拓扑结构，网络拓扑的形式如图3所示，其中最小的圆圈代表普通节点，三角形代表二级路由节点，四边形代表一级路由节点，中型圆圈代表二级集群，最大的圆圈代表一级集群。在网络传输延迟中，最主要的因素是广播延迟，而拓扑结构是广播延迟的主要决定因素。网络拓扑可以概括为两个组成因素，一是节点的邻近节点数，二是两节点间的距离。一个节点如果其邻近节点越多，那么它进行广播就可以把信息传递给更多的节点，从而降低广播时间，如果两个节点间的距离越短，其网络延迟也就越低，也可以降低广播时间。
针对上述两点提高广播效率的因素，本申请还提出了基于K-Means聚类方法的拓扑结构——二次聚类法，其至少包括将整个网络上的节点划分为几个集群。集群划分是基于邻近节点数和节点间距进行的。这样在广播时，集群间和集群内的广播可以同时进行，不同的集群可以并行广播，极大地提高了广播效率，减少了广播所需的时间。该方法还包括对一级集群进行二次聚类，产生多个二级集群。二级集群的数量相对一级集群的数量更多，二级集群内的节点和二级集群间也是并行广播，进一步降低了广播时间，进一步提高了广播效率。
这种基于K-Means聚类的二次聚类法的关键因素在于两次聚类的平均节点数n1、n2。根据bitnodes上的信息，截止2019年12月，约有10074个在线节点。基于此，假设n1＝n2，可计算出
Figure BDA0003299987120000131
该计算结果可根据实际的情况进行调整。集群内只有20个节点的话，可以极大地减小广播时间。但实际上，平均节点数n1、n2还需要考虑其他因素，比如对一级集群采用全分布式结构化拓扑来进一步提升效率，这样的话n1选择数值小，n2选择的数值就会变大，一级集群的广播速度提高，二级集群的广播速度就会减小。基于此，为获得最佳的广播效率，要通过仿真来确定n1、n2的数值。
除了平均节点数，二次聚类法的另一个关键因素在于路由节点的选择。每一个二级集群会选择一个二级路由节点，负责将其他二级集群传来的广播信息转发到其所在的二级集群内。反之亦然，将二级集群内的广播信息转发给其他二级集群。每一个一级集群会选择一个二级集群的路由节点作为一级路由节点，该节点既作为其所在的一级集群的路由节点，也作为二级集群的路由节点。
在二级聚类形成的拓扑结构下，广播是并行的。比如，二级集群中的一个普通节点产生了交易并广播，只在该二级集群内广播避免了Gossip协议带来的巨大网络开销。二级路由节点收到广播后转发至其他二级路由节点，其他二级路由节点分别转发到其所在的二级集群内其他节点，并行广播的速度非常快。一级路由节点收到广播后转发至其他一级路由节点，其他一级路由节点分别转发到其所在的一级集群内其他二级路由节点并进一步转发给普通节点。优选地，为了避免路由节点的崩溃影响广播，还可增加一个备份节点。备份节点的数量由路由节点的故障率决定，故障率越高，备份节点数量越多。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。

Claims (10)

1.一种图式区块链的网络传输优化装置，其特征在于，至少包括交易处理模块、节点管理模块和路由管理模块，其中，交易处理模块对交易进行压缩并通过路由管理模块在由节点管理模块对多个节点进行划分而得到的至少一个集群中所选取的路由节点将压缩后得到的交易数据在不同集群间进行传输。
2.根据权利要求1所述的网络传输优化装置，其特征在于，所述网络传输优化装置还包括设于各节点中的广播模块，广播模块利用gossip协议实现集群内及集群之间的信息广播。
3.根据权利要求2所述的网络传输优化装置，其特征在于，交易处理模块至少通过将交易的第一hash指针压缩为第二hash指针来进行交易的压缩。
4.根据权利要求1～3任一项所述的网络传输优化装置，其特征在于，交易处理模块还基于满足标准的编码格式对交易进行编码来实现交易的压缩表示。
5.根据权利要求1～4任一项所述的网络传输优化装置，其特征在于，所述第二hash指针包括各自在第二hash指针的占据空间彼此相同的交易高度和交易索引。
6.根据权利要求1～5任一项所述的网络传输优化装置，其特征在于，交易高度可以是交易在DAG图中的序号。
7.一种图式区块链的网络传输优化方法，其特征在于，至少包括：
对交易进行压缩并通过在对多个节点进行划分而得到的至少一个集群中所选取的路由节点将压缩后得到的交易数据在不同集群间进行传输。
8.根据权利要求7所述的网络传输优化方法，其特征在于，集群内及集群间均采取gossip协议进行信息广播。
9.根据权利要求7或8所述的网络传输优化方法，其特征在于，进行交易压缩的步骤至少包括：将交易的第一hash指针压缩为第二hash指针。
10.一种图式区块链的网络传输优化装置，其特征在于，包括至少一个节点以及设于该节点上的交易处理模块，交易处理模块被配置为执行至少一个以下操作：
为每个交易分配一个序号；
根据序号对本地已有的所有交易进行分类；
对不同类别中的交易进行统计分析，运用相应编码方案来优化交易编码表示，将优化后得到的交易编码表示保存在本地；
在产生新交易时，引用先前的交易对新交易进行验证，并优化新交易的引用字段，使用第二hash指针代替新交易的第一hash指针。
CN202111190084.6A 2021-07-13 2021-10-12 一种图式区块链的网络传输优化装置及方法 Active CN113973021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/806,646 US12113699B2 (en) 2021-07-13 2022-06-13 Network transmission optimization device for graph-type blockchain and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021107941307 2021-07-13
CN202110794130 2021-07-13

Publications (2)

Publication Number Publication Date
CN113973021A true CN113973021A (zh) 2022-01-25
CN113973021B CN113973021B (zh) 2022-09-27

Family

ID=79587463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111190084.6A Active CN113973021B (zh) 2021-07-13 2021-10-12 一种图式区块链的网络传输优化装置及方法

Country Status (2)

Country Link
US (1) US12113699B2 (zh)
CN (1) CN113973021B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314391A (zh) * 2022-08-06 2022-11-08 北京工业大学 一种区块链网络拓扑动态建立和数据传输优化方法
CN115766745A (zh) * 2023-01-09 2023-03-07 杭州安碣信息安全科技有限公司 一种区块链节点内存池交易数据收集、广播的方法和装置
CN115801830A (zh) * 2022-11-11 2023-03-14 合肥工业大学 基于概率和dag区块链的高效交通信息报告方法
US12113699B2 (en) 2021-07-13 2024-10-08 Huazhong University Of Science And Technology Network transmission optimization device for graph-type blockchain and method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020007348T5 (de) * 2020-06-25 2023-04-06 NEC Laboratories Europe GmbH Verfahren und system zur ausführung eines byzantine-fault-tolerant- bzw. bft-protokolls
US11695554B2 (en) * 2021-08-10 2023-07-04 Crius Technology Group, Inc. Methods and apparatus for multi-path mesh network encryption and key generation
CN116846916B (zh) * 2023-09-01 2023-12-08 武汉趣链数字科技有限公司 数据同步方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603198A (zh) * 2016-12-02 2017-04-26 深圳大学 具有网络编码的区块链分布式存储方法及系统
CN111695885A (zh) * 2019-03-14 2020-09-22 中国科学技术大学 基于减小交易输入的数字凭证区块链压缩方法
CN111901350A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 区块链系统、数据处理方法、计算机设备及存储介质
US20200394183A1 (en) * 2019-06-12 2020-12-17 Subramanya R. Jois System and method of executing, confirming and storing a transaction in a serverless decentralized node network

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110198223B (zh) 2018-02-27 2022-01-28 中兴通讯股份有限公司 网络故障预测方法、装置及设备、存储介质
US11228439B2 (en) * 2019-01-02 2022-01-18 Jiaping Wang Scale out blockchain with asynchronized consensus zones
US11379785B2 (en) * 2019-03-28 2022-07-05 Ebay Inc. Decentralized shipping network using blockchains
US11689616B2 (en) * 2019-05-25 2023-06-27 International Business Machines Corporation Optimization of delivery of blocks
US20200374340A1 (en) * 2019-05-25 2020-11-26 International Business Machines Corporation Optimization of delivery of blocks
US11308761B2 (en) * 2019-05-31 2022-04-19 Aristocrat Technologies, Inc. Ticketing systems on a distributed ledger
CN113973021B (zh) 2021-07-13 2022-09-27 华中科技大学 一种图式区块链的网络传输优化装置及方法
US20230069676A1 (en) * 2021-09-01 2023-03-02 Southern University Of Science And Technology Blockchain-based mining method, mining device, computer equipment and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603198A (zh) * 2016-12-02 2017-04-26 深圳大学 具有网络编码的区块链分布式存储方法及系统
CN111695885A (zh) * 2019-03-14 2020-09-22 中国科学技术大学 基于减小交易输入的数字凭证区块链压缩方法
US20200394183A1 (en) * 2019-06-12 2020-12-17 Subramanya R. Jois System and method of executing, confirming and storing a transaction in a serverless decentralized node network
CN111901350A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 区块链系统、数据处理方法、计算机设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12113699B2 (en) 2021-07-13 2024-10-08 Huazhong University Of Science And Technology Network transmission optimization device for graph-type blockchain and method thereof
CN115314391A (zh) * 2022-08-06 2022-11-08 北京工业大学 一种区块链网络拓扑动态建立和数据传输优化方法
CN115314391B (zh) * 2022-08-06 2024-04-26 北京工业大学 一种区块链网络拓扑动态建立和数据传输优化方法
CN115801830A (zh) * 2022-11-11 2023-03-14 合肥工业大学 基于概率和dag区块链的高效交通信息报告方法
CN115766745A (zh) * 2023-01-09 2023-03-07 杭州安碣信息安全科技有限公司 一种区块链节点内存池交易数据收集、广播的方法和装置
CN115766745B (zh) * 2023-01-09 2023-05-23 杭州安碣信息安全科技有限公司 一种区块链节点内存池交易数据收集、广播的方法和装置

Also Published As

Publication number Publication date
US20230130074A1 (en) 2023-04-27
US12113699B2 (en) 2024-10-08
CN113973021B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN113973021B (zh) 一种图式区块链的网络传输优化装置及方法
Li et al. Coded mapreduce
CN111625593B (zh) 基于区块链的数据处理方法、装置、计算机设备
WO2023016090A1 (zh) 区块链网络的数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN114153374B (zh) 一种元数据与数据共同存储的分布式存储系统
CN113626875B (zh) 一种区块链分片赋能的知识图谱文件存储方法
CN113901069B (zh) 一种分布式数据库的数据存储方法和装置
US20240329836A1 (en) System and method for data compaction and encryption of anonymized data records
CN113994324B (zh) 具有高效世界状态数据结构的区块链系统
CN111478795A (zh) 一种基于混合拜占庭容错的联盟区块链网络共识方法
Zhu et al. Towards efficient load balancing in structured P2P systems
Wu et al. A novel pipeline approach for efficient big data broadcasting
Lucchese et al. Mining@ home: toward a public‐resource computing framework for distributed data mining
CN114520812B (zh) 用于区块链分片系统的存储轮换方法、系统、设备及应用
Wels Guaranteed-TX: The exploration of a guaranteed cross-shard transaction execution protocol for Ethereum 2.0.
CN113641664A (zh) 一种适用于图式区块链的轻量化数据存储装置及方法
CN116760661A (zh) 数据存储方法、装置、计算机设备、存储介质和程序产品
CN116668135A (zh) 一种移动边缘设备参与的区块链共识方法、系统与装置
Ying et al. Gcfl: blockchain-based efficient federated learning for heterogeneous devices
CN113973003B (zh) 基于区块链的云集群调度存储信息的验证方法
Peng et al. Komorebi: A DAG-based Asynchronous BFT Consensus via Sharding
Song et al. Hv-snsp: A low-overhead data recovery method based on cross-checking
CN114461730B (zh) 基于余数系统的自适应区块数据压缩方法
Shuai et al. Latency performance model of direct and k-access reads in distributed storage systems
CN114064329B (zh) 一种基于区块链的时间混合队列分片系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant