CN113839923B - 一种面向多节点的高性能处理方法 - Google Patents

Abstract

一种面向多节点的高性能处理方法，包括传感器数据的传输与处理及区块链数据的传输与处理，传感器数据的传输与处理包括：传感器生成数据，并采用mqtt协议与消息队列中间件技术传输至存储节点；存储节点采用消息队列与批量持久化的方式存储接收到的传感器数据，进行校验保真，然后发送至区块链系统；区块链数据的传输与处理包括：存储节点获取区块链数据，区块链数据为其它储存节点发送至相应区块链节点的传感器数据；存储节点对获取的区块链数据进行同步数据处理。本发明可解决区块链因接收信息速度与持久化速度等底层速度缓慢而导致的区块同步速度缓慢、数据失真、泄密等问题，为上层区块链系统的区块同步、区块搜索等提供基础和技术支持。

Description

一种面向多节点的高性能处理方法

技术领域

本发明属于区块链技术领域，涉及特别涉及一种面向多节点的高性能处理方法。

背景技术

物联网是在互联网的基础上发展而来的一种将各种信息传感设备与网络结合起来而形成的一个巨大网络。随着互联网技术的发展，出现了更多物联网技术与其他技术相结合的解决方案，提供了更多的技术可能。其中，区块链作为拥有丰富的应用场景的技术，在物联网中的应用可有助于分散网络，确保互联设备之间更高的安全性数据传输，其融合可创造更多的价值。

传感器往往处于多变的网络环境下，因此需要合理选择传输使用的协议。传统的http协议会为每个新请求消息重新建立http连接，产生可观的开销，较长的头部字节也会增加传输数据的功耗。http协议同样难以在有限的带宽环境下为远程设备提供实时可靠的消息服务。因此，http协议已经难以适应复杂的网络环境。

同时，存储节点直接向区块链发送原始数据，会使区块链无法验证数据的真实性和不被篡改性。如果因为网络的波动而产生数据的失真，接收方将无法对数据进行验证，会严重影响区块链同步数据的效果。

存储节点获取传感器数据后，按照传统的方法将每条数据做一次持久化处理，则每次操作都会进行一次对数据库服务器基于tcp连接的访问，造成服务器端需要对每次的tcp报文进行解析，耗费大量的时间。

综上所述，传统的单纯基于区块链系统的数据传输与持久化方法已经不再适用，已经不能在真实场景中获得较好的效率和较高的安全性。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种面向多节点的高性能处理方法，以期解决区块链因接收信息速度与持久化速度等底层速度缓慢而导致的区块同步速度缓慢、数据失真、泄密等问题，为上层区块链系统的区块同步、区块搜索等工作提供了基础和技术支持。

为了实现上述目的，本发明采用的技术方案是：

一种面向多节点的高性能处理方法，包括传感器数据的传输与处理以及区块链数据的传输与处理，其特征在于：

所述传感器数据的传输与处理包括：

传感器生成数据，并传输至存储节点；

存储节点采用消息队列与批量持久化的方式存储接收到的传感器数据，进行校验保真，然后将传感器数据发送至区块链系统，在所述区块链系统中，每个存储节点对应一个区块链节点，每个存储节点将其传感器数据发送至其对应的区块链节点；

所述区块链数据的传输与处理包括：

存储节点获取区块链数据，所述区块链数据为其它储存节点发送至相应区块链节点的传感器数据；

存储节点对获取的区块链数据进行同步数据处理。

优选地，所述传感器数据在传输之前进行加密，并在存储节点进行解密，加密和解密过程包括：

生成密钥，将其保存到传感器与存储节点中；

传感器对传感器数据与密钥使用加密算法(如aes加密算法)进行加密，发送到存储节点后，存储节点对加密数据与密钥使用解密算法(如aes解密算法)进行解密。

优选地，所述传感器数据采用mqtt协议与消息队列中间件技术传输至存储节点，包括：

传感器以恒定或可变速度向中间件发送数据，中间件再向存储节点不断发送数据。

优选地，所述中间件为消息服务器，数据传输协议采用qos＝0的mqtt协议。

优选地，所述存储节点存储数据的过程如下：

存储节点将接收的传感器数据存储到自身创建的消息队列里；

当消息队列满足规定的长度后，存储节点将消息队列中的传感器数据提取，使用nosql数据库自带的批量写库接口对提取的传感器数据作持久化处理；

将消息队列中的传感器数据按照设定的长度分割并打包成数据块，最后清空消息队列。

优选地，所述校验保真是采用默克尔根算法为传感器数据生成校验头部，过程如下：

在获取打包的数据块后，使用默克尔算法对其进行计算，生成默克尔根，截取默克尔根的特定位数作为其校验头部；

将校验头部与数据块合并发送到区块链系统。

优选地，所述存储节点获取区块链数据包括：

存储节点对应区块链节点在区块链系统中接收区块链数据；

存储节点对应区块链节点将区块链数据发送至存储节点。

优选地，所述同步数据处理包括：

存储节点将所述区块链数据依照分割符整理成数据包，整理完毕后对数据包的数据进行数据校验，若校验失败则丢弃相应的数据包；

对校验成功的数据包进行默克尔根校验，若校验通过则按照包内的数据间隔符将包分割为便于数据库插入的单条数据，并将分割后的数据存入自身创建的消息队列中；

当消息队列满足规定的长度后，存储节点将消息队列中的区块链数据提取，使用nosql数据库自带的批量写库接口对提取的区块链数据作持久化处理。

与现有技术相比，本发明的有益效果是：

1.进行数据的批量持久化处理，避免了因多次tcp报文解析而造成的大量资源消耗。

本系统通过消息队列的应用，通过调用nosql数据库的批量操作接口来实现批量持久化的功能。

2.加入默克尔根头部校验，为区块链对消息的验证提供底层服务。

本系统通过默克尔树的构建，为多条数据合并的包提供通用的校验方式，可有效提升系统的效率与安全性。

附图说明

图1为本发明系统整体流程图。

图2为传感器数据传输子系统流程示意图。

图3为数据校验保真子系统流程示意图。

图4为同步数据处理子系统流程示意图。

图5为传感器数据结构示意图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如图1所示，本发明为一种面向多节点的高性能处理方法，包括传感器数据的传输与处理以及区块链数据的传输与处理，存储节点同时接收传感器数据与区块链数据。将接收到的传感器数据进行数据校验保真与批量持久化，将接收到的区块链数据进行同步数据处理，解决了区块链因接收信息速度与持久化速度低而导致的区块同步速度缓慢的问题。

本发明处理过程中采取了如下三个关键技术：

1.采用mqtt协议与消息服务器的方法，进行传感器数据的传输。

2.采用默克尔根算法，对传感器数据与区块链数据进行校验保真。

3.采用消息队列与nosql数据库的批量操作接口，对传感器数据与区块链数据进行批量持久化。

具体地，传感器数据的传输与处理包括：

步骤11，传感器生成数据，并采用mqtt协议与消息队列中间件技术传输至存储节点。

其中，传感器数据在传输之前可进行加密，并在存储节点进行解密，加密和解密可采用aes算法，过程包括：

生成密钥，将其保存到传感器与存储节点中；

传感器对传感器数据与密钥使用aes加密算法进行加密，发送到存储节点后，存储节点对加密数据与密钥使用aes解密算法进行解密。

参考图2，传输过程中，传感器将产生的明文数据与本地密钥作为aes加密函数的参数输入，采用qos＝0的mqtt协议以恒定或可变速度向中间件发送，中间件再向存储节点不断转发。其中中间件可为消息服务器，数据传输协议采用qos＝0的mqtt协议。

步骤12，存储节点采用消息队列与批量持久化的方式存储接收到的传感器数据，进行校验保真，然后将传感器数据发送至区块链系统，在区块链系统中，每个存储节点对应一个区块链节点，每个存储节点将其传感器数据发送至其对应的区块链节点。

其中，存储节点存储数据的过程如下：

存储节点将接收的传感器数据存储到自身创建的消息队列里；

当消息队列满足规定的长度后，存储节点将消息队列中的传感器数据提取，使用nosql数据库自带的批量写库接口对提取的传感器数据作持久化处理；

将消息队列中的传感器数据按照设定的长度分割并打包成数据块，最后清空消息队列。

校验保真是采用默克尔根算法为传感器数据生成校验头部，过程如下：

在获取打包的数据块后，使用默克尔算法对其进行计算，生成默克尔根，截取默克尔根的特定位数作为其校验头部；

将校验头部与数据块合并发送到区块链系统。

具体如图3所示，存储节点将接收到的密文数据与本地密钥作为aes解密函数的参数输入，函数的输出结果即为传感器发送的原始数据。存储节点将解密后的原始数据不断写入自身的消息队列里。消息队列判断自身是否达到特定长度，若达到则调用nosql数据库中的批量操作接口，将消息队列中的数据作为接口的参数，并将消息队列中的全部数据封装为多个包，每个包均包含相同的数据条数。对每个包进行默克尔算法的计算，生成默克尔根，将默克尔根与包合并为新的数据包，将所有生成的新数据包通过tcp协议传输到对应的区块链节点中。

区块链数据的传输与处理包括：

步骤21，存储节点获取区块链数据，区块链数据为其它储存节点发送至相应区块链节点的传感器数据。具体包括：

存储节点对应区块链节点在区块链系统中接收区块链数据；

存储节点对应区块链节点将区块链数据发送至存储节点。

步骤22，存储节点对获取的区块链数据进行同步数据处理，步骤如下：

存储节点将区块链数据依照分割符整理成数据包，整理完毕后对数据包的数据进行数据校验，若校验失败则丢弃相应的数据包；

对校验成功的数据包进行默克尔根校验，若校验通过则按照包内的数据间隔符将包分割为便于数据库插入的单条数据，并将分割后的数据存入自身创建的消息队列中；

当消息队列满足规定的长度后，存储节点将消息队列中的区块链数据提取，使用nosql数据库自带的批量写库接口对提取的区块链数据作持久化处理。

具体如图4所示，存储节点开辟一个接收区块链发送数据的缓存数组，其中区块链发送的数据与传感器数据的类型一致。缓存数组对不断接收到的单个字符进行确认，若该字符为特定的分隔符，则认为数组中已经是一个完整的包，将数组分割为校验头部与传感器数据包。对数据包进行默克尔根计算，将结果与校验头部比对，若不同则说明校验失败，清空缓存数组以丢弃该数据包。若相同则说明校验成功，将数据包拆分成适合数据库存储的单条数据，并不断写入自身的消息队列里。消息队列判断自身是否达到特定长度，若达到则调用nosql数据库中的批量操作接口对消息队列中的数据进行持久化。

如图5所示，传感器数据为json类型的数据，字段分别为所属数据库、操作、传感器ID与时间戳。其中所属数据库字段表明存储节点将该条数据进行持久化的数据库名称；操作字段默认为insert，表明进行的操作为持久化操作；传感器ID代表传感器的身份信息；时间戳字段代表生成该数据的具体时间，每条数据的时间戳各不相同。

相应地，本发明提供了面向区块链的高性能处理系统，即数据库安全同步系统，其包括三个子系统：基于mqtt协议与消息服务器emqx的传感器数据传输子系统、基于默克尔根的数据校验保真子系统、基于上层区块链系统的同步数据处理子系统，技术细节如下：

1)，基于mqtt协议与消息服务器emqx的传感器数据传输子系统：

对于传感器产生的数据，先在传感器内部使用特定加密方法加密，然后使用特定服务质量的mqtt协议传输到消息服务器emqx，由emqx代为转发到存储节点。具体地，该子系统分为两个模块：数据加密模块、数据传输模块。

数据加密模块进行如下处理：

1.采用安全随机数序列SecureRandom生成128bit的随机密钥，将密钥存放在传感器与存储节点当中。

2.传感器将产生的明文数据与本地密钥作为aes加密函数的参数输入，输出结果经数据传输模块传输到存储节点。

数据传输模块进行如下处理：

1.传感器作为发布者设定预期发送的主题(消息类型)与负载(消息内容)。

2.采用qos＝0的mqtt协议将传感器数据发送到emqx，其中qos＝0代表消息至多传递一次。

3.emqx向存储节点转发收到的传感器数据。

在上述两个模块执行完毕后，存储节点将获得传感器产生的加密数据。

2)，基于默克尔根的数据校验保真子系统

存储节点提供接收emqx向其发送传感器数据的接口，以达到持久化与上传到区块链系统的目的。具体地，该子系统分为三个模块：数据解密模块、数据持久化模块和校验部生成模块。

数据解密模块进行如下处理：

1.存储节点订阅传感器发布的主题，接收消息服务器发送的数据。

2.存储节点将接收到的密文数据与本地密钥作为aes解密函数的参数输入，函数的输出结果即为传感器发送的原始数据。

数据持久化模块进行如下处理：

1.存储节点将解密后的原始数据不断写入自身的消息队列里。

2.消息队列判断自身是否达到特定长度，若达到则调用nosql数据库中的批量操作接口，将消息队列中的数据作为接口的参数。

3.将消息队列中的数据作为校验部生成模块的原始数据，清空消息队列，继续接收新数据。

校验部生成模块进行如下处理：

1.获取消息队列中的全部数据，将其封装为多个包，每个包均包含相同的数据条数。

2.对每个包进行默克尔算法的计算，生成默克尔根，将默克尔根与包合并为新的数据包。

3.将所有生成的新数据包通过tcp协议传输到区块链系统中。

在上述三个模块执行完毕后，区块链系统将获得多个带有头部校验的传感器数据包。

3)，基于上层区块链系统的同步数据处理子系统：

存储节点提供接收上层区块链系统向其发送同步数据的接口，以达到系统中所有存储节点都保存相同数据的目的。具体地，该子系统分为三个模块：数据拆包模块、数据校验模块和数据持久化模块。

数据拆包模块进行如下处理：

1.存储节点开辟一个接收区块链发送数据的缓存数组。

2.缓存数组对不断接收到的单个字符进行确认，若该字符为特定的分隔符，则认为数组中已经是一个完整的包，将其作为数据校验模块的处理数据。

数据校验模块进行如下处理：

1.将缓存数组分割为校验头部与传感器数据。

2.调整传感器数据格式，将其打包。

3.对数据包进行默克尔根计算，将结果与校验头部比对，若相同则说明校验成功，将其作为数据持久化模块的处理数据，否则清空缓存数组以丢弃该数据包。

数据持久化模块进行如下处理：

1.将校验成功后的数据包拆分成适合数据库存储的单条数据，并不断写入自身的消息队列里。

2.消息队列判断自身是否达到特定长度，若达到则调用nosql数据库中的批量操作接口对消息队列中的数据进行持久化。

在上述三个模块执行完毕后，存储节点将成功保存区块链系统所发送的同步数据。

以下是本发明的一个具体应用案例，共包括两台区块链节点、两台存储节点与八个传感器，传感器型号为Raspberry Pi 3 Model B Rev 1.2。

区块链节点为区块链系统中的单个节点，每个区块链节点对应一个存储节点。每个存储节点接收四个传感器发送的json类型数据，每个传感器发送数据的速度为每秒1800条。

在本应用案例中，使用计时器的方法实时监控并计数发送到区块链节点中的数据。实验结果表明，存储节点每秒可向区块链节点发送约7000条数据，较大提升了存储节点的持久化速度，并且数据传输过程具有加密与校验保真功能，可有效避免传统方法在处理数据过程中出现严重的信息泄密。

Claims (8)

1.一种面向多节点的高性能处理方法，包括传感器数据的传输与处理以及区块链数据的传输与处理，其特征在于：

所述传感器数据的传输与处理包括：

传感器生成数据，并传输至存储节点；

存储节点采用消息队列与批量持久化的方式存储接收到的传感器数据，进行校验保真，然后将传感器数据发送至区块链系统，在所述区块链系统中，每个存储节点对应一个区块链节点，每个存储节点将其传感器数据发送至其对应的区块链节点；

所述区块链数据的传输与处理包括：

存储节点获取区块链数据，所述区块链数据为其它储存节点发送至相应区块链节点的传感器数据；

存储节点对获取的区块链数据进行同步数据处理；

其特征在于，所述存储节点存储数据的过程如下：

存储节点将接收的传感器数据存储到自身创建的消息队列里；

当消息队列满足规定的长度后，存储节点将消息队列中的传感器数据提取，使用nosql数据库自带的批量写库接口对提取的传感器数据作持久化处理；

将消息队列中的传感器数据按照设定的长度分割并打包成数据块，最后清空消息队列；

所述校验保真是采用默克尔根算法为传感器数据生成校验头部，过程如下：

在获取打包的数据块后，使用默克尔算法对其进行计算，生成默克尔根，截取默克尔根的特定位数作为其校验头部；

将校验头部与数据块合并发送到区块链系统。

2.根据权利要求1所述面向多节点的高性能处理方法，其特征在于，所述传感器数据在传输之前进行加密，并在存储节点进行解密。

3.根据权利要求2所述面向多节点的高性能处理方法，其特征在于，所述加密和解密过程包括：

生成密钥，将其保存到传感器与存储节点中；

传感器对传感器数据与密钥使用加密算法进行加密，发送到存储节点后，存储节点对加密数据与密钥使用解密算法进行解密。

4.根据权利要求1所述面向多节点的高性能处理方法，其特征在于，所述传感器数据采用mqtt协议与消息队列中间件技术传输至存储节点，包括：

传感器以恒定或可变速度向中间件发送数据，中间件再向存储节点不断发送数据。

5.根据权利要求4所述面向多节点的高性能处理方法，其特征在于，所述中间件为消息服务器。

6.根据权利要求4或5所述面向多节点的高性能处理方法，其特征在于，数据传输协议采用qos＝0的mqtt协议。

7.根据权利要求1所述面向多节点的高性能处理方法，其特征在于，所述存储节点获取区块链数据包括：

存储节点对应区块链节点在区块链系统中接收区块链数据；

存储节点对应区块链节点将区块链数据发送至存储节点。

8.根据权利要求1所述面向多节点的高性能处理方法，其特征在于，所述同步数据处理包括：

存储节点将所述区块链数据依照分割符整理成数据包，整理完毕后对数据包的数据进行数据校验，若校验失败则丢弃相应的数据包；

对校验成功的数据包进行默克尔根校验，若校验通过则按照包内的数据间隔符将包分割为便于数据库插入的单条数据，并将分割后的数据存入自身创建的消息队列中；

当消息队列满足规定的长度后，存储节点将消息队列中的区块链数据提取，使用nosql数据库自带的批量写库接口对提取的区块链数据作持久化处理。

Images