CN113411376A - 基于区块链分片存储的传感器数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于区块链分片存储的传感器数据处理方法及装置，该方法包括：区块链中的成员节点接收所属网络分片中的传感器上传的数据；所述成员节点将所述数据记录在本地，并通过共识算法与所属网络分片中的其它节点同步数据。本发明通过将传感器的数据传输到区块链上进行可信存储，可以确保数据存储过程的安全可信；通过将区块链网络分片，降低单个节点的存储负担；通过交易的分片共识，可以并行验证交易，不仅可以使整个系统同时验证多个交易，也可以加快单个交易的共识速度，从而大大提高系统的吞吐量。

Description

基于区块链分片存储的传感器数据处理方法及装置

技术领域

本发明涉及传感器数据处理技术领域，具体而言，涉及一种基于区块链分片存储的传感器数据处理方法及装置。

背景技术

物联网通过智能感知、识别技术与感知技术，广泛应用于各种生产场景中，技术思想是“按需求连接万物”。其中，传感器技术是物联网的关键技术之一，传感器能够感知并采集各种有用信息，再将这些信息传递到网络中。可以说，传感器是整个物联网系统工作的基础。

传感器可以连续且自动提供数据，其产生的数据量远超人工采集的数据量，传感器为大数据分析提供了重要的数据来源。大数据分析技术的核心离不开数据的价值化，随着大数据技术的发展，数据已经成为“价值”的载体，也成为了联盟成员所竞争的优势环节。引入区块链技术可以为传感器数据提供可信存储的媒介，但是，由于区块链的全冗余存储机制，导致数据存储与传输的效率大大降低，无法满足海量传感器数据的存储需求。

发明内容

本发明解决的是现有区块链的全冗余存储机制，数据存储与传输的效率低的问题。

为解决上述问题，本发明提供一种基于区块链分片存储的传感器数据处理方法，所述方法包括：区块链中的成员节点接收所属网络分片中的传感器上传的数据；所述成员节点将所述数据记录在本地，并通过共识算法与所属网络分片中的其它节点同步数据。

可选地，传感器预先存储有所属网络分片的节点地址，各所述网络分片由准入机构对节点划分得到。

可选地，所述方法还包括：当新成员节点加入时，所述准入机构通过可验证随机算法为所述新成员节点分配身份地址，及根据所述新成员节点的身份地址将所述新成员节点分配到对应的网络分片中。

可选地，所述方法还包括：当新传感器加入时，所述新传感器对应的成员节点通过所述身份地址及所述新传感器的硬件标识生成所述新传感器的身份地址。

可选地，所述通过共识算法与所属网络分片中的其它节点同步数据，包括：所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据。

可选地，所述成员节点存储有路由表及分布式哈希表，所述路由表存储有部分节点的连接信息，所述分布式哈希表存储有所述部分节点的身份地址；所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据，包括：获取所述所属网络分片中其他节点的身份地址；计算所述其他节点的身份地址与所述分布式哈希表中各身份地址的汉明距离，确定最小汉明距离对应的第一节点；根据所述路由表将查询信息发送至所述第一节点，以查询与所述第一节点的汉明距离最小的第二节点，依次执行直至查询得到所述其他节点；向所述其他节点转发所述数据。

可选地，所述方法还包括：若所述成员节点接收到查询信息，则根据所述查询信息对应节点的网络地址更新所述成员节点的路由表。

本发明提供一种基于区块链分片存储的传感器数据处理装置，所述装置包括：接收模块，用于区块链中的成员节点接收所属网络分片中的传感器上传的数据；同步模块，用于所述成员节点将所述数据记录在本地，并通过共识算法与所属网络分片中的其它节点同步数据。

可选地，传感器预先存储有所属网络分片的节点地址，各所述网络分片由准入机构对节点划分得到。

可选地，所述同步模块，具体用于：所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据。

本发明通过将传感器的数据传输到区块链上进行可信存储，可以确保数据存储过程的安全可信；通过将区块链网络分片，降低单个节点的存储负担；通过交易的分片共识，可以并行验证交易，不仅可以使整个系统同时验证多个交易，也可以加快单个交易的共识速度，从而大大提高系统的吞吐量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一个实施例中一种基于区块链分片存储的传感器数据处理方法的示意性流程图；

图2为本发明的一个实施例中节点路由信息的组织结构图；

图3为本发明的一个实施例中分布式系统的结构示意图；

图4为本发明的一个实施例中区块链的区块结构示意图；

图5为本发明的一个实施例中基于区块链分片存储的传感器数据处理方法的流程示意图；

图6是本发明的一个实施例中一种基于区块链分片存储的传感器数据处理装置的结构示意图。

附图标记说明：

601-接收模块；602-同步模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明的一个实施例中一种基于区块链分片存储的传感器数据处理方法的示意性流程图，该方法可以应用于区块链，包括：

S102，区块链中的成员节点接收所属网络分片中的传感器上传的数据。

在传感器中预先存储有所属网络分片的节点地址，各网络分片可以由准入机构根据可验证随机算法对节点划分得到。需要说明的是，在传感器中可以存储有多个网络分片的节点地址，各网络分片的节点地址可以是其所有节点的地址或者仅是部分节点的地址。

本实施例可以基于联盟链，联盟链通常指针对某个特定群体的成员和有限的第三方场景下的区块链。当有新的联盟链成员加入时，可以通过第三方准入机构进行审核。审核通过后，为该成员分配身份标识。当参与方节点之间进行通信时，使用该身份标识进行身份验证。

若标识验证通过，则确认为该联盟链中的成员。准入机构通过可验证随机函数对新加入的成员进行身份地址的分配，基于此，上述方法还可以包括以下步骤：当新成员节点加入时，准入机构通过可验证随机算法为新成员节点分配身份地址，及根据身份地址将新成员节点分配到对应的网络分片中。若标识验证通过，则为该成员分配对应的公私钥对。成员的地址为其身份标识对应的公钥经过哈希算法得出的哈希值。根据哈希值的前n位值，该成员被分配到总数为2ⁿ的网络分片中的其中一个分片。

成员根据其身份地址被分配到不同的网络分片中，从而将区块链网络分片。通过准入机构的可验证随机算法进行节点分片，使分片的过程公平公开，防止参与方对某一分片进行操控。且对于每个分片，分片中的节点由于只存储部分交易，从而可以降低其存储负担。

当新传感器加入时，新传感器对应的成员节点通过身份地址及新传感器的硬件标识生成唯一身份地址。可选地，可以将成员节点的身份地址与传感器硬件标识的哈希值拼接为传感器的身份地址。

S104，成员节点将上述数据记录在本地，及通过共识算法与所属网络分片中其它节点同步数据。

可选地，成员节点通过分布式哈希表的路由方式寻找对应网络分片中的其他节点，以及转发上述检测数据。

通过对网络中节点分片及交易分片，上传数据不再需要全网所有节点进行共识，而只需某个网络分片中的节点进行共识，从而可以更快地处理交易，提高交易的处理速度，提升系统的吞吐量。

本实施例提供的基于区块链分片存储的传感器数据处理方法，通过将传感器的数据传输到区块链上进行可信存储，可以确保数据存储过程的安全可信；通过将区块链网络分片，降低单个节点的存储负担；通过交易的分片共识，可以并行验证交易，不仅可以使整个系统同时验证多个交易，也可以加快单个交易的共识速度，从而大大提高系统的吞吐量。

可选地，在网络中节点同步数据时，通过分布式哈希表(Distributed HashTable，DHT)优化网络中节点间的寻址过程。在成员节点中存储有路由表及分布式哈希表，该路由表存储有部分节点的连接信息，分布式哈希表存储有部分节点的身份地址；上述数据同步步骤可以按照以下步骤执行：

首先，获取所属网络分片中其他节点的身份地址。

所有网络分片中的成员节点共同维护一个地址索引哈希算法下的哈希表，哈希表以<key,value>的形式存储。其中，“key”是指目标成员节点的身份地址，而“value”则是节点在网络中的互联网协议地址(Internet Protocol Address，IP地址)。查询时，仅需要提供key，就能从表中查询到对应节点地址返回给查询节点。

其中，哈希表会被分割成小块，按照一定算法和规则分布到全网的各个节点上，每个节点仅需要维护一小块哈希表。一个新节点在初次连接网络时会被准入机构分配一个身份地址，每个节点自身维护一个路由表和一个DHT，路由表保存网络中一个部分节点的连接信息，DHT存放身份地址信息。每个节点优先保存距离自己近的节点信息，但一定保证保存全部节点中的至少k个，这个存储结构称为k桶。

其次，计算其他节点的身份地址与分布式哈希表中各身份地址的汉明距离，确定最小汉明距离对应的第一节点；根据路由表将查询信息发送至第一节点，以查询与第一节点的汉明距离最小的第二节点，依次执行直至查询得到其他节点。

参见图2所示的节点路由信息的组织结构图，节点的身份地址是以二叉树的结构组织维护。查询地址时，从二叉树的根节点出发，根据计算目标地址与DHT中地址的汉明距离，将消息转发到汉明距离最近的节点。具体的，如果给定了目标地址x，存在一个a唯一确定另一个节点y，其满足d(x,y)＝a。因此当查询key时，不断更新y使y沿着d(x,y)下降的方向，那么一定能收敛到距离x最近的点。只要沿着汉明距离降低的方向找，即可找到存放文件的地址。

若成员节点接收到查询信息，则根据查询信息对应节点的网络地址更新成员节点的路由表。示例性地，当节点x收到一个消息时，发送节点y的IP地址可以用来更新对应的k桶。具体地，节点x收到y的消息后，计算d(x,y)＝xory，通过d(x,y)选择对应的k桶，如果y的IP地址在对应的k桶中存在，则将该IP地址移动到k桶的尾部；如果不存在且k桶中存储的记录不足k个，则把y的路由信息插入到k桶的尾部；如果k桶中已经存储了k个路由信息，则访问k桶头部存储的节点，如果有响应，则将其移到队尾，忽略y的信息。如果没有响应，则移除头部节点，将y的信息插入到队尾。

然后，向上述其他节点转发数据。

以下简述本实施例的区块链相关内容。参见图3所示的分布式系统的结构示意图，多个节点通过网络通信的形式形成的分布式系统。各个节点之间通过P2P(Peer-to-Peer,端对端)协议进行通信，P2P协议是运行在TCP(Transmission Control Protocol，传输控制协议)协议之上的应用层协议。在分布式系统中，任何终端都可以加入网络成为节点。节点的功能包括：路由，用于支持节点间的通信；应用，根据实际的应用需求提供特定的服务；以及，共识算法。

参见图4所示的区块链的区块结构示意图，区块按照时间先后顺序排列，每个区块中包含时间戳、上一个区块的哈希值、本区块的哈希值，区块中的交易以Merkle树的形式存储，每个区块通过存储上一个区块的哈希值彼此相连，形成链状结构。区块链本质上是一种去中心化的存储结构，通过密码学、共识算法等技术保证数据的公开、透明、可追溯、不可伪造。

以下简述更新及查询节点路由信息的具体流程。

其中，节点路由表用于保存每个节点与自己一定距离范围内其他节点的路由信息，具体包括：IP地址、用户数据包协议(User Datagram Protocol，UDP)端口、身份地址信息。假设身份地址的位数为n，路由表将距离分成n个k桶，分开存储。

查询目的节点信息：假设寻找属于同一分片m的所有节点，并假设单个节点转发t条消息。首先从根节点开始遍历，如果该层的值与分片对应位上的比特相同，则继续向下遍历；如果不同，则取该层对应k桶中存储的节点转发t条汉明距离接近m的消息，如果k桶中的节点数目不足t条，则从附近多个k桶中选择距离接近m的t个节点。如果遍历完m的所有位均相同，则向后逐层遍历节点对应的k桶发送t条消息。如果发现属于该分片，则将消息加入其自身的消息列表。

在添加新节点到网络时，需要先对DHT结构进行操作，具体地，首先把自己的身份地址插入自己适当的k桶中，然后根据上述路由查询机制接收的内容更新自己的k桶内容，并对自己邻近节点由近及远的逐步查询，把自己的信息发布到其他节点的k桶中。对于不同分片的节点，选择直接接收该节点的信息；对于相同分片的节点，需要使用共识算法对本次新节点加入进行同步。

为了实现动态的节点增加，该实例中使用高鲁棒性拜占庭容错算法(RobustByzantine Tolerance，RBFT)实现。假设系统的总节点数为|R|＝3f+1，RBFT算法可以容忍无效或者恶意节点数为f，需要有2f+1个正常节点。也就是说，RBFT算法可以容忍小于1/3个无效或者恶意节点。RBFT是一种状态机副本复制算法，所有的副本在一个视图轮换的过程中操作，主节点通过视图编号以及节点数集合来确定，即主节点p＝v mod|R|，其中v是视图编号，|R|是节点个数，p是主节点编号。RBFT算法每个客户端请求需要经过5个阶段，通过采用两次两两交互的方式在服务器达成一致后再执行客户端的请求。由于客户端不能从服务端获得任何服务器运行状态，RBFT中主节点是否发生错误只能由服务器监测。如果服务器在一段时间内不能完成客户端的请求，就会触发视图更换协议。

协议中消息共识的过程如下：

1.客户端向主节点发送请求，激活主节点的服务操作。

2.主节点给请求赋值一个序列号n，广播序号分配消息和客户端的请求消息m，并将构造预准备(pre-prepare)消息发送给各个节点。

3.从节点接受pre-pare消息，向其他服务节点广播准备(prepare)消息。

4.各节点对视图内的请求和次序进行验证后，广播确认(Commit)消息，执行收到的客户端请求并给客户端以相应。

5.客户端等待来自不同节点的响应，若有m+1个响应相同，则该响应为运算的结果。

协议中新增节点的过程如下：

1.新增节点通过读取配置文件信息，主动向现有节点发起连接，确认所有节点连接成功后，更新自己的路由表，并发起recovery(恢复)消息；

2.网络中的其他节点接收到新增节点的连接请求后确认同意该节点加入，然后向全网广播AddNode(增加节点)消息，表明自己同意该新节点加入整个共识网络；

3.当现有节点收到|R|条AddNode消息后，更新自身的路由表，随后开始回应新增节点的共识消息请求(在此之前，新增节点的所有共识消息是不予处理的)；

4.新增节点完成recovery之后，向全网现有节点广播Ready(准备完毕)请求；

5.现有节点在收到Ready请求后，重新计算新增节点加入之后的|R|,p等信息，随后将其封装到AgreeUpdate(同意升级)消息中，进行全网广播；

6.新增节点加入后的共识网络会产生一个新的主节点，该主节点在收到2f+1个AgreeUpdate消息后，以新的主节点的身份发送Update(升级)消息；

7.全网所有节点在收到Update消息之后确认消息的正确性，进行路由表的更新；

8.每个节点完成路由表更新后，全网广播FinishUpdate(升级结束)消息；

9.节点在收到2f+1个FinishUpdate消息后，处理后续请求，完成新增节点流程。

通过高鲁棒性拜占庭容错算法，实现成员节点的动态更新，且不影响正常的业务进行，在保证系统高鲁棒性的前提下又提供了可扩展性。

参见图5所示的基于区块链分片存储的传感器数据处理方法的流程示意图，示出了传感器、准入机构及多个分片。其中，分片1包括节点1.1、1.2、1.3……等，分片2包括节点2.1、2.2、3.3……等，分片3包括节点3.1、3.2、3.3……等。

准入机构为新成员节点分配身份地址，并将该成员节点加入相应分片。成员节点将传感器加入自己所在分片。传感器将检测到的数据发送至所属分片的成员节点，成员节点将数据记录在本地区块链，并通过共识算法与其它节点同步数据。

本实施例提供的上述方法，传感器采集的原始数据被发布到链上，可以保证数据的可信存储，防止篡改数据；经过对网络中节点的分片与交易的分片，原始数据不再需要通过全网所有节点进行共识，而只需分片中的节点进行共识；通过准入机构的可验证随机算法进行节点分片，使分片的过程公平公开，防止参与方对某一分片进行操控，且对于节点由于只存储部分交易，可以降低其存储负担，分片共识也可以更快地处理交易。通过以上优势，可以大幅提高系统地性能，支持更大量的数据存储与更高吞吐量级别的应用。

图6是本发明的一个实施例中一种基于区块链分片存储的传感器数据处理装置的结构示意图，所述装置包括：

接收模块601，用于区块链中的成员节点接收所属网络分片中的传感器上传的数据；；

同步模块602，用于所述成员节点将所述数据记录在本地，并通过共识算法与所属网络分片中的其它节点同步数据。

本实施例提供的基于区块链分片存储的传感器数据处理装置，通过将传感器的数据传输到区块链上进行可信存储，可以确保数据存储过程的安全可信；通过将区块链网络分片，降低单个节点的存储负担；通过交易的分片共识，可以并行验证交易，不仅可以使整个系统同时验证多个交易，也可以加快单个交易的共识速度，从而大大提高系统的吞吐量。

可选地，作为一个实施例，传感器预先存储有所属网络分片的节点地址，各所述网络分片由准入机构对节点划分得到。

可选地，作为一个实施例，所述装置还包括：准入模块，用于当新成员节点加入时，所述准入机构通过可验证随机算法为所述新成员节点分配身份地址，及根据所述新成员节点的身份地址将所述新成员节点分配到对应的网络分片中。

可选地，作为一个实施例，所述准入模块，还用于当新传感器加入时，所述新传感器对应的成员节点通过所述身份地址及所述新传感器的硬件标识生成所述新传感器的身份地址。

可选地，作为一个实施例，所述同步模块，具体用于：所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据。

可选地，作为一个实施例，所述成员节点存储有路由表及分布式哈希表，所述路由表存储有部分节点的连接信息，所述分布式哈希表存储有所述部分节点的身份地址；所述同步模块，具体用于：获取所述所属网络分片中其他节点的身份地址；计算所述其他节点的身份地址与所述分布式哈希表中各身份地址的汉明距离，确定最小汉明距离对应的第一节点；根据所述路由表将查询信息发送至所述第一节点，以查询与所述第一节点的汉明距离最小的第二节点，依次执行直至查询得到所述其他节点；向所述其他节点转发所述数据。

可选地，作为一个实施例，所述同步模块还用于：若所述成员节点接收到查询信息，则根据所述查询信息对应节点的网络地址更新所述成员节点的路由表。

上述实施例提供的基于区块链分片存储的传感器数据处理装置能够实现上述基于区块链分片存储的传感器数据处理方法的实施例中的各个过程，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于区块链分片存储的传感器数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于区块链分片存储的传感器数据处理方法，其特征在于，所述方法包括：

区块链中的成员节点接收所属网络分片中的传感器上传的数据；

所述成员节点将所述数据记录在本地，并通过共识算法与所属网络分片中的其它节点同步数据。

2.根据权利要求1所述方法，其特征在于，传感器预先存储有所属网络分片的节点地址，各所述网络分片由准入机构对节点划分得到。

3.根据权利要求1所述方法，其特征在于，所述方法还包括：

当新成员节点加入时，所述准入机构通过可验证随机算法为所述新成员节点分配身份地址，及根据所述新成员节点的身份地址将所述新成员节点分配到对应的网络分片中。

4.根据权利要求3所述方法，其特征在于，所述方法还包括：

当新传感器加入时，所述新传感器对应的成员节点通过所述身份地址及所述新传感器的硬件标识生成所述新传感器的身份地址。

5.根据权利要求1所述方法，其特征在于，所述通过共识算法与所属网络分片中的其它节点同步数据，包括：

所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据。

6.根据权利要求5所述方法，其特征在于，所述成员节点存储有路由表及分布式哈希表，所述路由表存储有部分节点的连接信息，所述分布式哈希表存储有所述部分节点的身份地址；所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据，包括：

获取所述所属网络分片中其他节点的身份地址；

计算所述其他节点的身份地址与所述分布式哈希表中各身份地址的汉明距离，确定最小汉明距离对应的第一节点；

根据所述路由表将查询信息发送至所述第一节点，以查询与所述第一节点的汉明距离最小的第二节点，依次执行直至查询得到所述其他节点；

向所述其他节点转发所述数据。

7.根据权利要求6所述方法，其特征在于，所述方法还包括：

若所述成员节点接收到查询信息，则根据所述查询信息对应节点的网络地址更新所述成员节点的路由表。

8.一种基于区块链分片存储的传感器数据处理装置，其特征在于，所述装置包括：

接收模块，用于区块链中的成员节点接收所属网络分片中的传感器上传的数据；

同步模块，用于所述成员节点将所述数据记录在本地，并通过共识算法与所属网络分片中的其它节点同步数据。

9.根据权利要求8所述装置，其特征在于，传感器预先存储有所属网络分片的节点地址，各所述网络分片由准入机构对节点划分得到。

10.根据权利要求8所述装置，其特征在于，所述同步模块，具体用于：

所述成员节点通过分布式哈希表的路由方式寻找所属网络分片中的其他节点，并向所述其他节点转发所述数据。

Images