CN108667928B

CN108667928B - 一种基于区块链状态机组网运作的数据同步方法

Info

Publication number: CN108667928B
Application number: CN201810431104.6A
Authority: CN
Inventors: 黄步添; 邓旭; 俞之贝; 王从礼; 郭东升; 杨正清
Original assignee: Hangzhou Yunxiang Network Technology Co Ltd
Current assignee: Hangzhou Yunxiang Network Technology Co Ltd
Priority date: 2018-05-08
Filing date: 2018-05-08
Publication date: 2021-01-08
Anticipated expiration: 2038-05-08
Also published as: CN108667928A

Abstract

本发明公开了一种基于区块链状态机组网运作的数据同步方法，将区块链技术应用于数据同步领域，系统内各数据库按既定的基于区块链技术的规则运作，避免了异构数据库的产生和无序自治。本发明嵌入了基于合约进行事件通知的机制，实现节点间的消息通讯，突破了现有系统中数据总线多数基于消息队列使得开发复杂度比较高的不利局面，同时采用自适应的通讯代理网管方法和子节点列表更新方法则能完成传统方案中点对点同步难以保证的由异常条件引起的数据同步事务。因此，本发明可降低数据同步系统开发难度，克服传统点对点同步方案异常条件下难以保证数据可靠同步的弊端，提升数据同步效率。

Description

一种基于区块链状态机组网运作的数据同步方法

技术领域

本发明属于互联网数据同步技术领域，具体涉及一种基于区块链状态机组网运作的数据同步方法。

背景技术

数据同步是互联网建设和发展的一项重要技术，当前的数据同步机制基础设施繁复，且存在异构数据库系统是多个结构存在差异的早已存在的数据库系统的集合，是为了快速实现大规模数据交流同步的折中方案，其有着如下的问题和特点：

首先，异构数据库通常由多个大型机构或大型机构的多个分支机构各自的数据库为实现数据交流共享的目标而组建，其利用了现有的大部分硬件设施，极大地降低了系统建设成本。然而，不同大型机构或不同分支机构各自的数据库本来拥有着各自的组织形式，它们之间可能存在着计算机体系结构以及基础操作系统等方面的差异，这使得异构数据组建时仍赋予各组成部分一定的自治权，仍保有自己的应用特性、完整性控制和安全性控制，然而随着系统规模的扩大，自治权会掣肘数据同步的顺利进行，特别是会使得关键要素数据的同步方案变得异常复杂，这会造成数据同步效率的下降。

其次，现有数据总线多数基于消息队列，消息队列成熟度高，在多个方面有着突出的优势：一是可以实现应用的解耦，系统不是强耦合的，消息接受者可以随意增加而不需要修改消息发送者的代码；而且不强依赖于非本系统的核心流程，对于非核心流程，可以放到消息队列中让消费者按需消费而不影响核心主进程，这使得网络成员不必受其他成员影响，可以更独立自主地通过一个简单的网络虚拟容器来联系。二是以广播的方式提高了系统效率，发送者只需要关心消息是否送达了队列，谁在何时订阅了消息则无需关心。三是能够通过流量控制的手段实现流量的削峰，当上下游系统处理能力存在差距的时候，利用消息队列做一个通用的“漏斗”，在下游处理能力强的时候多分发消息，反之少分发。考虑到上述突出的技术优势，消息队列手段获得了广泛的应用，目前较为知名消息队列实现方法有ActiveMQ、RabbitMQ以及RocketMQ等，它们的原理基本相同仅在实现方案上略有差别。然而消息队列技术天然地也存在着一些缺陷，针对队列的管理及安全保障将增加系统的复杂度使得开发难度较高，再者消息的发布和订阅处理是异步的采用消息队列的系统需要容许暂时的不一致性，这就容易引发扩展性差活跃性低的问题。

再者，当前数据同步机制中通常采用点对点方式，这种方式布局简单但可靠性低、安全性差，当遭受节点攻击使得某个节点损坏或失联将影响相应的数据同步进程，若多个节点遭受攻击或关键重要节点被攻破容易导致系统局部或整体的崩溃。

随着比特币等数字货币的出现，区块链技术快速进入人们的视野，区块链技术所具备的分布式对等网络、统一共识机制、安全性高、可靠性好的特点使得其与数据同步应用的要求非常匹配。与当前数据同步中数据总线多依赖的消息队列相比，区块链技术下的数据库一致性高，系统规模的增加不会对系统中数据交流和同步效率产生影响；同时系统可扩展性强，便于实现大规模的推广应用。但目前仍缺少针对区块链技术应用于数据同步领域的探索，如系统组织框架、组网机制等，这也是目前区块链技术布局数据同步领域亟待解决的问题。

发明内容

鉴于上述，本发明提供了一种基于区块链状态机组网运作的数据同步方法，其采用基于合约通知的消息通讯方法和自适应的通讯代理网管方法可降低数据同步系统开发难度，克服传统点对点同步方案异常条件下难以保证数据可靠同步的弊端，提升数据同步效率。

一种基于区块链状态机组网运作的数据同步方法，包括如下步骤：

(1)构建基于区块链的数据同步网络系统架构；

(2)在所述系统架构中嵌入一种基于合约进行事件通知的机制，实现节点之间的消息通讯运作；

(3)采用一种自适应的通讯代理网管方法将orderer和peer节点部署至指定的IP(智能外设)上，增强数据同步过程中的对应性和有序性；

(4)施行一种子节点列表更新方法以应对节点数量扩张，提升系统的可扩展性，为异常情况下的数据同步预留了途径。

进一步地，所述步骤(1)的具体实现方法为：构建自上而下依次由kafka(一种高吞吐量的分布式发布订阅消息系统)+zookeeper(一个种开放源码的分布式应用程序协调服务)服务集群、orderer(作为Fabric共识服务的网络节点)、peer节点以及SDK(软件开发工具包)所组成的四层组织架构；其中，多个orderer之间是对等关系且在kafka+zookeeper服务集群的组织下运作，kafka+zookeeper服务集群根据需求部署在指定的服务中心上，peer节点与orderer之间是对应与从属的关系，每个orderer向下对应一个可包含众多peer节点的域名区段Org，而每个peer节点向上仅对应一个唯一的orderer，SDK则根据需要连接对应的peer节点并运行在用户中心上。

进一步地，所述步骤(2)的具体实现过程为：首先由SDK连接指定的peer节点进行通信，向其发送交易，peer节点模拟执行并把交易结果返回给SDK；然后由SDK把模拟执行的交易结果发送给指定的orderer，进行排序操作；该orderer产生区块并广播到其对应Org所辖的各个peer节点，peer节点接收到区块后会调用系统链码(VSCC)进行验证，如果满足对应的规定或政策，则提交到账本上。

进一步地，所述步骤(3)的具体实现过程为：首先，按照组织要求由kafka将orderer部署到指定的IP上，使kafka与各orderer之间保持连接和互相通信，而各orderer之间互不通信；然后，按照交易需求由orderer将peer节点部署到指定的IP上，同样地Org所辖的peer节点之间互不通信，所有peer节点需从对应的orderer去获取数据，即相应的orderer会广播区块到其对应Org所辖的各个peer节点。

进一步地，所述步骤(3)中根据交易压力的大小增加或减少orderer的数量。

进一步地，所述步骤(4)的具体实现方法为：在每个Org中保存有一张组织所辖节点列表，该列表包含了Org所辖所有peer节点的基本信息、状态信息以及所连接的SDK信息，使得Org能够知晓其所辖peer节点的状况，该列表定时更新，保证新生成的节点记录在案，新增加的节点从orderer下载同步数据，参与Org内交易的共识过程。

本发明将区块链技术应用于数据同步领域，系统内各数据库按既定的基于区块链技术的规则运作，避免了异构数据库的产生和无序自治。本发明嵌入了基于合约进行事件通知的机制，实现节点间的消息通讯，突破了现有系统中数据总线多数基于消息队列使得开发复杂度比较高的不利局面，同时采用自适应的通讯代理网管方法和子节点列表更新方法则能完成传统方案中点对点同步难以保证的由异常条件引起的数据同步事务。因此，本发明可降低数据同步系统开发难度，克服传统点对点同步方案异常条件下难以保证数据可靠同步的弊端，提升数据同步效率。

附图说明

图1为本发明区块链状态机的组网框架示意图。

图2为组织所辖节点列表的结构示意图。

图3为本发明区块链状态机的运作流程示意图。

图4为实现本发明所搭建的实例系统结构示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于区块链状态机组网运作的数据同步方法，包括如下步骤：

(1)构建基于区块链技术的数据同步系统组网方式。

具体的系统框架为自上而下的包括kafaka+zookeeper集群服务、orderer服务、peer节点以及软件开发工具(Software Development Kit，SDK)的一个四层组织架构，如图1所示。其中，多个orderer服务间是对等的，在kafka+zookeeper集群服务的组织下运作，kafka+zookeeper集群服务可以按照需求部署到指定的服务中心上；peer节点与orderer服务之间是对应与从属关系，每个orderer服务向下对应一个可包含众多peer节点的域名区段Org，而每个peer节点向上仅对应唯一一个orderer服务；SDK则可根据需要连接对应的peer节点，其可以运行在用户中心。

在此，给出一个kafaka+zookeeper配置示例：

I.zookeeper下载与安装

1)下载

adeMacBook-Pro:zookeeper_sof tapple$ wget

http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

2)解压

tar zxvf zookeeper-3.4.6.tar.gz

3)配置

cd zookeeper-3.4.6

cp-rf conf/zoo_sample.cfg conf/zoo.cfg

vim zoo.cfg

zoo.cfg:

#The number of milliseconds of each tick

tickTime＝2000

#The number of ticks that the initial

#synchronization phase can take

initLimit＝10

#The number of ticks that can pass between

#sending a request and getting an acknowledgement

syncLimit＝5

#the directory where the snapshot is stored.

#do not use/tmp for storage,/tmp here is just

#example sakes.

dataDir＝/Users/apple/Documents/soft/zookeeper_soft/zkdata#这个目录是预先创建的

#the port at which the clients will connect

clientPort＝2181

#the maximum number of client connections.

#increase this if you need to handle more clients

#maxClientCnxns＝60

#

#Be sure to read the maintenance section of the

#administrator guide before turning on autopurge.

#

#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

#The number of snapshots to retain in dataDir

#autopurge.snapRetainCount＝3

#Purge task interval in hours

#Set to"0"to disable auto purge feature

#autopurge.purgeInterval＝1

4)启动zookeeper

adeMacBook-Pro:bin apple$ sh zkServer.sh start

JMX enabled by default

Using config:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

-n Starting zookeeper...

STARTED

adeMacBook-Pro:bin apple$ ps ax|grep zookeeper.out

s003 S+ 0:00.01 grep zookeeper.out

adeMacBook-Pro:bin apple$ ps ax|grep zookeeper

s003 S 0:00.63/usr/bin/java-Dzookeeper.log.dir＝.–

Dzookeeper.root.logger＝INFO,CONSOLE–cp

/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../build/classes:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../build/lib/*.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../lib/slf4j-log4j12-

1.6.1.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../lib/netty-

3.7.0.Final.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../lib/log4j-1.2.16.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../lib/jline-0.9.94.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../zookeeper-

3.4.6.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../src/java/lib/*.jar:/Users/apple/Documents/soft/zookeeper_soft/zookeeper-

3.4.6/bin/../conf:-Dcom.sun.management.jmxremote–

Dcom.sun.management.jmxremote.local.only＝false

org.apache.zookeeper.server.quorum.QuorumPeerMain

/Users/apple/Documents/soft/zookeeper_soft/zookeeper-3.4.6/bin/../conf/zoo.cfg

II.下载并安装kafka

1)下载kafka：

wget http://apache.fayea.com/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz

2)解压：

tar-zxfkafka_2.10-0.8.2.1.tgz

3)启动kafka

adeMacBook-Pro:kafka_2.10-0.8.2.1 apple$ sh bin/kafka-server-start.shconfig/server.properties

4)新建一个话题

adeMacBook-Pro:bin apple$ sh kafka-topics.sh--create--topickafkatopic--replication-factor 1--partitions 1--zookeeper localhost:2181

5)把kafka的Orderer启动起来

adeMacBook-Pro:bin apple$ sh kafka-console-producer.sh--broker-listlocalhost:9092--sync--topic kafkatopic

6)另开一个终端，启动peer

adeMacBook-Pro:bin apple$ sh kafka-console-consumer.sh--zookeeperlocalhost:2181--topic kafkatopic--from-beginning

7)使用

在发送消息的终端依次输入“aaa”“aaa”“aa”“aaaa”“aaa”“aaa”“aaaaaa”，接收端可以顺利接收。

(2)在系统中嵌入了一种基于合约进行事件通知，实现节点间的消息通讯的运作机制，整个流程如图3所示：

a)SDK可以连接指定的节点并进行通信，发送交易；

b)peer节点模拟执行，把结果返回给SDK；

c)SDK可以把模拟执行的结果发送到指定的Orderer，进行排序操作；

d)Orderer产生区块并广播到对应组织的节点上；

e)节点接收到区块时，会调用系统链码(VSCC)，进行验证，如果满足对应的规定或政策，则提交到账本上。

(3)采用一种自适应的通讯代理网管方法将orderer服务和peer节点部署至指定的IP上，增强数据同步过程中的对应性和有序性，其具体实施方法如下：

①按照组织要求，kafka将Orderer service部署到指定的IP上，kafka与各个Orderer service之间保持连接和互相通信，各Orderer service间互不通信；另外，可以根据交易压力的大小增加或减少Orderer节点。

②按照交易需求，Orderer service将peer节点部署到指定的IP上；同样地，各平级组织的节点不相互通信，所以不能采用Gossip来达到最终一致；所有节点需要从对应Orderer去获取数据，也就是orderer广播区块到相应的组织上。

(4)施行一种子节点列表更新方法来应对节点数量扩张，提升系统的可扩展性为异常情况下的数据同步预留了途径。

即每个Org包含一个如图2所示的组织所辖节点列表，组织能够知晓所辖节点的状况，包括基本信息、节点状态、所连接的SDK信息等，该列表定时更新，保证新生成的节点记录在案，新增加的节点从Orderer下载同步数据，参与组织内交易的共识过程。

假定组织中所辖n个节点，每个节点针对组织内交易的判定结果用A_i表示，i＝1,2,...,n；若第i节点认为交易合法则有A_i＝1，否则有A_i＝0。当下列条件满足时，组织内部达成共识，判定对应的行为为合法行为：

以下我们搭建如图4所示的系统验证本发明的可行性和有效性，系统中包括一个提供集群服务的服务器、两个Orderer Service服务器以及其对应的两个区段，每个区段中包括五个分布式对等节点，终端SDK可以有选择地接入任意节点进行交易认证及数据同步。实施例中的SDK终端及各服务器均采用戴尔(DELL)，3667-R1838/R2848商用台式电脑整机(i5-6400 CPU，8G内存)实现。

采用上述实例系统进行了数据同步试验和系统扩展性试验：

(1)数据同步试验：由终端SDK1发起两笔交易申请，一笔符合区域内的节点共识，另一笔不符合区域内的节点共识。经测试发现，两笔交易在实例系统中的数据流均如图4中的虚线所示；不同的是，仅符合区域内节点共识的交易数据能够顺利记入账本。

(2)系统可扩展性试验：在集群服务器的运作下，允许新Orderer Service服务器的链入(Orderer2)；在Orderer Service服务器的运作下，根据交易的需要，区域内允许增加新的节点。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims

1.一种基于区块链状态机组网运作的数据同步方法，包括如下步骤：

(1)构建基于区块链的数据同步网络系统架构，具体实现方法为：构建自上而下依次由kafka+zookeeper服务集群、orderer、peer节点以及SDK所组成的四层组织架构；其中，多个orderer之间是对等关系且在kafka+zookeeper服务集群的组织下运作，kafka+zookeeper服务集群根据需求部署在指定的服务中心上，peer节点与orderer之间是对应与从属的关系，每个orderer向下对应一个可包含众多peer节点的域名区段Org，而每个peer节点向上仅对应一个唯一的orderer，SDK则根据需要连接对应的peer节点并运行在用户中心上；

(2)在所述系统架构中嵌入一种基于合约进行事件通知的机制，实现节点之间的消息通讯运作，具体实现过程为：首先由SDK连接指定的peer节点进行通信，向其发送交易，peer节点模拟执行并把交易结果返回给SDK；然后由SDK把模拟执行的交易结果发送给指定的orderer，进行排序操作；该orderer产生区块并广播到其对应Org所辖的各个peer节点，peer节点接收到区块后会调用系统链码进行验证，如果满足对应的规定或政策，则提交到账本上；

(3)采用一种自适应的通讯代理网管方法将orderer和peer节点部署至指定的IP上，增强数据同步过程中的对应性和有序性，具体实现过程为：首先，按照组织要求由kafka将orderer部署到指定的IP上，使kafka与各orderer之间保持连接和互相通信，而各orderer之间互不通信；然后，按照交易需求由orderer将peer节点部署到指定的IP上，同样地Org所辖的peer节点之间互不通信，所有peer节点需从对应的orderer去获取数据，即相应的orderer会广播区块到其对应Org所辖的各个peer节点；

(4)施行一种子节点列表更新方法以应对节点数量扩张，提升系统的可扩展性，为异常情况下的数据同步预留了途径，具体实现方法为：在每个Org中保存有一张组织所辖节点列表，该列表包含了Org所辖所有peer节点的基本信息、状态信息以及所连接的SDK信息，使得Org能够知晓其所辖peer节点的状况，该列表定时更新，保证新生成的节点记录在案，新增加的节点从orderer下载同步数据，参与Org内交易的共识过程。

2.根据权利要求1所述的数据同步方法，其特征在于：所述步骤(3)中根据交易压力的大小增加或减少orderer的数量。

3.根据权利要求1所述的数据同步方法，其特征在于：所述数据同步方法在集群服务器的运作下，允许新Orderer Service服务器的链入；在Orderer Service服务器的运作下，根据交易的需要，区域内允许增加新的节点。