CN115208779B - 基于区块链和大数据的数据流监测方法及云计算服务平台 - Google Patents

Abstract

本发明公开一种基于区块链和大数据的数据流监测方法及云计算服务平台，涉及数据监测领域，解决的技术问题是无法保证监测数据的安全可靠性，采用的方法是：对监测数据流进行区块链上链操作，保证数据不被篡改，当有访问者访问不加密数据时，对计算机和区块链中节点设备进行安全计算评估，评估值正常时允许访问，当访问数据为加密数据时，对计算机和区块链中节点设备进行安全计算评估，对数据和访问者进行追溯，各项数值均正常时允许在中转状态进行访问。本发明可以实时监测数据流，并保证数据流的安全可靠性，防止数据流被篡改。

Description

基于区块链和大数据的数据流监测方法及云计算服务平台

技术领域

本发明涉及数据监测领域，且更具体地涉及一种基于区块链和大数据的数据流监测方法及云计算服务平台。

背景技术

在数据采集的过程中，大量带有感知功能的物联网设备被部署到不同结构物上，这些设备产生的数据具有多源异构、规模庞大、时空关联、冗余度高等特征，传统的数据监测采用中心式的云存储方法，无法保证数据的安全性，存在篡改风险，使各服务器无法对所采集数据达成共识，并且也无法确保在不同系统传输过程中数据的一致性和有效性。

目前的数据监测方法有很多，一种基于分布式系统的数据监测方法可实现对分布式集群中系统数据的有效监测，但是无法保证所监测数据的有效性以及在传输过程中的一致性，不能满足数据监测的安全可靠性；一种基于区块链的交互数据监测方法可以探测区块链上已经存储的数据对应的源数据的变更情况，在源数据变更的情况下，及时对区块链的数据进行同步更新，此方法可以及时获得数据的变更情况，保证数据的一致性，但是在大数据的采集监测方面，系统性能大幅下降，影响数据采集效率。

发明内容

针对上述技术的不足，本发明公开一种基于区块链和大数据的数据流监测方法及云计算服务平台，能够实时对数据流进行监测，保障数据不被篡改，提高系统性能。

为了实现上述技术效果，本发明采用以下技术方案：

一种基于区块链和大数据的数据流监测方法，包括以下步骤：

步骤一：监测终端通过数据采集模块采集数据；

步骤二：中央处理器通过接收数据采集模块的数据与预设阈值数据进行对比，对比结果符合预设值时，将数据采集模块采集的数据进行存储，若对比结果不满足所述标准阈值时，阈通过报警模块发出报警提示。

步骤三：对比结果相同的数据通过数据上链模块在区块链网络节点进行上链操作；

步骤四：访问者从区块链的节点进入系统请求访问数据时，当请求访问数据不涉及加密数据时，直接转入数据暂存模块，数据暂存模块对数据进行中转验证，当访问者节点设备和计算机设备均处于安全评估状态时，将数据发送给访问者，当访问者节点设备或者计算机设备有一项不处于安全评估状态时，将数据进行封存，同时将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警；

步骤五：当请求访问数据涉及到加密数据时，先转入数据暂存模块，数据暂存模块对数据进行中转验证，当访问者节点设备或者计算机设备有一项不处于安全评估状态时，将数据进行封存，同时将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警，当访问者节点设备和计算机设备均处于安全评估状态时，数据追溯模块对系统数据和访问者数据进行追溯处理，当系统数据追溯无异常且访问者身份数据和登录地址数据追溯无数据异常时，将请求转入数据加密模块，数据加密模块对数据进行解密处理，然后将请求访问的解密数据跳跃转入数据暂存模块，将该数据处于中转状态，访问者在中转状态查阅该数据。

在本发明的进一步技术方案中，所述监测终端自动地按照预设时间间隔采集平台中的数据。

在本发明的进一步技术方案中，所述中央处理器对采集数据进行分析时，若采集数据处于最低预设阈值与最高预设阈值之间，则将采集数据传输到数据上链模块进行上链操作，若采集数据大于最高预设阈值或者小于最低预设阈值，则通过报警模块发出报警提示。

在本发明的进一步技术方案中，所述数据上链模块将数据上传到区块链网络，保证了数据传输过程的安全可靠，在区块链网络中，采用非对称加密技术与数字签名技术进行数据传输。

在本发明的进一步技术方案中，所述数据暂存模块用于对数据进行接收处理、中转验证处理和发送处理。

在本发明的进一步技术方案中，所述数据追溯模块用于对系统中上传的数据进行追溯处理，以及对访问者数据信息进行追溯处理。

在本发明的进一步技术方案中，所述报警模块包括警示灯和蜂鸣器，所述警示灯和蜂鸣器均设置于平台监测中心。

在本发明的进一步技术方案中，所述区块链采用改进的拜占庭容错算法，首先使用两阶段广播通信的方法达成共识，在共识未达成的情况下采用经典的拜占庭容错算法达成共识。

在本发明的进一步技术方案中，所述区块链对经典的拜占庭容错算法进行了改进，首先使用两阶段广播通信的方法达成共识，在共识未达成的情况下采用经典的拜占庭容错算法达成共识；在主节点的选择上，采用一种投票机制来选择主节点，当有节点加入或者退出时，为该节点增加或者删减投票权，维持当前主节点不变；在触发视图切换协议后，全部节点再投票重新选举主节点，能够避免经典拜占庭算法在触发视图切换协议带来的额外开销，进一步提升系统的性能。

在本发明的进一步技术方案中，一种基于区块链和大数据的数据流监测方法的云计算服务平台包括：

数据流采集模块，对监测区域内数据流进行采集；

数据流处理模块，对数据采集模块采集到的数据流加上特征数据，从而构成无法被篡改的区块；

数据流校验模块，将来自数据处理模块的数据流进行拆包和校验，检查数据流来源的可靠性和有效性；

数据流传输模块，利用哈希算法计算校验模块的数据流的数字指纹，对区块链进行加密，然后打包进入传输阶段，平台内每个参与者都拥有一份数据拷贝；

数据流分析模块，收到区块链数据后用对内的公钥进行数字签名的解密，对解密后的数据流进行存储；

服务器，包括本地服务器、可信服务器和对外服务器，本地服务器是各数据流监测所在区域配置的分布式服务器之一，可信服务器用于对数字签名加解密的私钥以及公钥进行统一管理与维护，对外服务器用于展示监测数据流；

所述数据流采集模块与数据流处理模块通信连接，所述数据流处理模块与数据流校验模块通信连接，所述数据流校验模块通过数据流传输模块与所述数据流分析模块通信连接，所述数据流分析模块与所述服务器通信连接。

本发明有益的积极效果在于：本发明可以对采集数据进行验证，当数据不符合预设阈值范围时，及时发出报警，当数据符合预设阈值范围时，进行上链操作，保证数据传输的一致性和有效性，并对拜占庭算法进行改进，可以动态监测到区块链节点的变化，减少了通信开销，提升系统的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：

图1为本发明数据监测流程图；

图2为本发明区块链中数据流可靠传输示意图；

图3为本发明改进的拜占庭算法流程图；

图4为本发明云计算服务平台总体架构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，一种基于区块链和大数据的数据流监测方法：

一种基于区块链和大数据的数据流监测方法，包括以下步骤：

步骤一：监测终端通过数据采集模块采集数据；

在具体实施例中，所述监测终端自动地按照预设时间间隔采集平台中的数据，所述监测终端不止一个，可以具有多个，同时采集数据，所采集数据包括待测设备数据、计算机基础数据、区域块节点设备数据和访问者数据。

步骤二：中央处理器通过接收数据采集模块的数据与预设阈值数据进行对比，对比结果符合预设值时，将数据采集模块采集的数据进行存储，若对比结果不满足所述标准阈值时，阈通过报警模块发出报警提示。

在具体实施例中，所述中央处理器对采集数据进行分析时，若采集数据处于最低预设阈值与最高预设阈值之间，则将采集数据传输到数据上链模块进行上链操作，若采集数据大于最高预设阈值或者小于最低预设阈值，则通过报警模块发出报警提示。

步骤三：对比结果相同的数据通过数据上链模块在区块链网络节点进行上链操作；

在具体实施例中，所述数据上链模块将数据上传到区块链网络，保证了数据传输过程的安全可靠，在区块链网络中，采用非对称加密技术与数字签名技术进行数据传输，如图2所示；数据上链函数为：

步骤四：访问者从区块链的节点进入系统请求访问数据时，当请求访问数据不涉及加密数据时，直接转入数据暂存模块，数据暂存模块对数据进行中转验证，当访问者节点设备和计算机设备均处于安全评估状态时，将数据发送给访问者，当访问者节点设备或者计算机设备有一项不处于安全评估状态时，将数据进行封存，同时将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警；

在具体实施例中，所请求访问数据不涉及加密数据时，数据转入数据暂存模块，此时采集计算机温度、计算机湿度、计算机运行时病毒数量和计算机运行时漏洞数量，得到计算机安全评估值，采集区块链节点设备温度、区块链节点设备湿度、区域块节点设备运行时病毒数量和区域块节点设备运行时漏洞数量，得到区域块节点设备安全评估值，当计算机安全评估值和区域块节点设备评估值均小于或者等于1时，将数据发送给访问者，当计算机安全评估值或者区域块节点设备有一项大于1时，将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警。

步骤五：当请求访问数据涉及到加密数据时，先转入数据暂存模块，数据暂存模块对数据进行中转验证，当访问者节点设备或者计算机设备有一项不处于安全评估状态时，将数据进行封存，同时将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警，当访问者节点设备和计算机设备均处于安全评估状态时，数据追溯模块对系统数据和访问者数据进行追溯处理，当系统数据追溯无异常且访问者身份数据和登录地址数据追溯无数据异常时，将请求转入数据加密模块，数据加密模块对数据进行解密处理，然后将请求访问的解密数据跳跃转入数据暂存模块，将该数据处于中转状态，访问者在中转状态查阅该数据。

在具体实施例中，当访问者访问数据为加密数据时，将访问者转入数据暂存模块，对计算机安全评估值和区域块节点设备安全评估值进行验证，当计算机安全评估值或者区域块节点设备任意一项大于1时，对访问数据进行封存，并将访问者数据进行留档，同时通过报警模块对系统发出报警提示；当计算机安全评估值和区域块节点设备安全评估值均小于或者等于1时，数据追溯模块对请求访问的数据和访问者数据进行追溯处理，当追溯访问者身份和登录地址数据无异常时，对请求访问数据进行解密并转入数据暂存模块，访问者在中转状态下访问数据，当追溯访问者身份和登录地址数据有一项异常时，系统对访问者数据进行留档，并通过报警模块发出报警提示。

在本发明的进一步技术方案中，所述区块链采用改进的拜占庭容错算法，如图3所示，首先使用两阶段广播通信的方法达成共识，在共识未达成的情况下采用经典的拜占庭容错算法达成共识；

在具体实施例中，改进的拜占庭容错算法流程如下：

A1.由客户端向系统发起请求，请求为M；

A2.节点之间共同推举主节点P及对应视图V，如果在此之后节点出现变化，则对P和V进行重新编号，将节点接入进来，但不触发视图切换，待主节点出错触发视图切换协议后，再使用新确定是编号对应规则；

A3.主节点P打包交易，并向所有备份节点广播一个准备消息；

A4.备份节点验证该消息，并向主节点发送一个确认消息；

A5.主节点收到全部响应后将交易打包成区块，并将该区块转发给所有备份节点，若收到两个或者两个以上互相冲突的响应，或者没有收到响应，转向A7；

A6.备份节点验证区块，无误后将区块写入维护区块链，如果验证不通过，转向A8；

A7.使用拜占庭容错协议进行共识过程；

A8.主节点出现故障，触发视图变更协议，转向A2；

A9.节点线客户端发送反馈，一轮共识结束。

在本发明进一步的技术方案中，所述区块链对经典的拜占庭容错算法进行了改进，首先使用两阶段广播通信的方法达成共识，在共识未达成的情况下采用经典的拜占庭容错算法达成共识；在主节点的选择上，采用一种投票机制来选择主节点，当有节点加入或者退出时，为该节点增加或者删减投票权，维持当前主节点不变；在触发视图切换协议后，全部节点再投票重新选举主节点，能够避免经典拜占庭算法在触发视图切换协议带来的额外开销，进一步提升系统的性能。

在具体实施例中，主节点的选择流程为：

S1.每一个共识节点均能够为一个节点投票，投票为广播形式，投票过半数的节点成为主节点；

S2.如果没有确定主节点，则选取票数最多的三个节点，再次投票，票数最多的节点当选主节点；

S3.主节点确定后，确定视图的切换顺序，下次若没有节点加入或者退出，则直接按照顺序切换视图；

S4.如果有节点加入或者退出，则为新增的节点分配投票权，并对节点和对应视图进行编号，删除退出节点和视图；

S5.视图切换协议触发时，如果此时有新增节点，重新投票和确定视图切换顺序。

在具体实施例中，经典的拜占庭容错算法中每个节点都需要和其他节点进行分布式的共识同步，从本质上将拜占庭容错算法是一种基于状态机负责的一致性算法，由于在共识过程中，各个节点需要进行多次广播通信，因此随着节点的增多，系统性能也会大幅下降。本发明中经典的拜占庭容错算法进行改进，采用一种两阶段的通信协议来达成区块链网络中节点的一致，当节点无法达成共识时，仍然使用经典的拜占庭容错算法，既提高了系统性能由保证了系统的容错性；在主节点的选择时采用了投票机制，当系统较为稳定时，选择全网较为公认的主节点，可以有效降低视图切换协议触发的频率，节省了系统能耗，而在节点发生变化时，系统并不立即切换视图，而是等待下次主节点出错时再重新投票确定主节点，节省了时间。

在具体实施例中，所述数据暂存模块包括数据接收单元、数据中转单元和数据发送单元，所述数据接收单元用于对数据进行接收处理，所述数据中转单元用于对数据进行中转验证处理，所述数据发送单元用于对中转验证处理的数据进行发送处理。

在具体实施例中，所述数据追溯模块包括系统数据追溯单元和访问者数据追溯单元，所述系统数据追溯单元用于对系统中上传的数据进行追溯处理，所述访问者数据追溯单元用于对访问者数据信息进行追溯处理。

在具体实施例中，所述报警模块包括警示灯和蜂鸣器，所述警示灯和蜂鸣器均设置于平台监测中心。

在本发明的进一步技术方案中，一种基于区块链和大数据的数据流监测方法的云计算服务平台包括数据流采集模块、数据流处理模块、数据流校验模块、数据流传输模块、数据流分析模块和服务器，如图4所示：

在具体实施例中，所述数据流采集模块包含多种数据采集设备，多种数据采集设备同时对监测区域内数据流进行采集，每一个数据采集设备在出厂的时候都具有唯一对应的序列号，该序列号加上监测点位置信息可以生产全网唯一的标识信息。

在具体实施例中，所述数据流处理模块，对数据采集模块采集到的数据流加上特征数据，特征数据主要包括对监测数据的监测日期的时间戳和对监测单位认证的私钥签名的单位戳，从而构成无法被篡改的区块。

在具体实施例中，所述数据流校验模块，将来自数据处理模块的数据流进行拆包和校验，检查数据流来源的可靠性和有效性；

在具体实施例中，所述数据流传输模块，利用哈希算法计算校验模块的数据流的数字指纹，对区块链进行加密，然后打包进入传输阶段，平台内每个参与者都拥有一份数据拷贝；

在具体实施例中，所述数据流分析模块，收到区块链数据后用对内的公钥进行数字签名的解密，对解密后的数据流按照识别策略进行标识识别，并对数据流进行存储；

在具体实施例中，所述服务器，包括本地服务器、可信服务器和对外服务器，本地服务器是各数据流监测所在区域配置的分布式服务器之一，可信服务器用于对数字签名加解密的私钥以及公钥进行统一管理与维护，对外服务器用于展示监测数据流，三种类型的服务器协同工作，既保障数据流的传输的真实可靠，又提升了效率，组成一个去中心化的网络系统，维持区块链的正常运转。

所述数据流采集模块与数据流处理模块通信连接，所述数据流处理模块与数据流校验模块通信连接，所述数据流校验模块通过数据流传输模块与所述数据流分析模块通信连接，所述数据流分析模块与所述服务器通信连接。

本实验对数据监测性能的实验，通过在某互联网平台内进行搭建，并分别采用一种基于分布式系统的数据监测方法（方法一）、一种基于区块链的交互数据监测方法（方法二）和本方法对数据进行检测，得到数据监测能力如表1所示：

通过表1数据分析，在100s内，方法一监测的数据量为11382个，方法二监测的数据量为14576个，本方法监测的数据量为18175个，可以看出本方法在相同时间内监测的数据量远远高于另外两种，显示出本方法对数据监测的效率更高。

为了验证本算法与传统拜占庭算法的优劣性，在相同环境下，采用本算法和传统拜占庭算法对其进行区域块节点共识操作，通过图4可以看出，采用本算法的吞吐量相对采用传统拜占庭算法的吞吐量有较大的提升，减少了共识达成的传输消耗，提升了系统性能。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (8)

1.一种基于区块链和大数据的数据流监测方法，其特征在于，包括以下步骤：

步骤一：监测终端通过数据采集模块采集数据；

步骤二：中央处理器通过接收数据采集模块的数据与预设阈值数据进行对比，对比结果符合预设值时，将数据采集模块采集的数据进行存储，若对比结果不满足标准阈值时，阈通过报警模块发出报警提示；

步骤三：对比结果相同的数据通过数据上链模块在区块链网络节点进行上链操作；

步骤四：访问者从区块链的节点进入系统请求访问数据时，当请求访问数据不涉及加密数据时，直接转入数据暂存模块，数据暂存模块对数据进行中转验证，当访问者节点设备和计算机设备均处于安全评估状态时，将数据发送给访问者，当访问者节点设备或者计算机设备有一项不处于安全评估状态时，将数据进行封存，同时将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警；

步骤五：当请求访问数据涉及到加密数据时，先转入数据暂存模块，数据暂存模块对数据进行中转验证，当访问者节点设备或者计算机设备有一项不处于安全评估状态时，将数据进行封存，同时将访问者数据在数据暂存模块进行留档，并通过报警模块对系统发出报警，当访问者节点设备和计算机设备均处于安全评估状态时，数据追溯模块对系统数据和访问者数据进行追溯处理，当系统数据追溯无异常且访问者身份数据和登录地址数据追溯无数据异常时，将请求转入数据加密模块，数据加密模块对数据进行解密处理，然后将请求访问的解密数据跳跃转入数据暂存模块，将该数据处于中转状态，访问者在中转状态查阅该数据；

所述区块链采用改进的拜占庭容错算法，首先使用两阶段广播通信的方法达成共识，在共识未达成的情况下采用经典的拜占庭容错算法达成共识；

所述改进的拜占庭容错算法在区块链主节点的选择上，采用一种投票机制来选择主节点，当有节点加入或者退出时，为该节点增加或者删减投票权，维持当前主节点不变；在触发视图切换协议后，全部节点再投票重新选举主节点；

改进的拜占庭容错算法流程如下：

A1.由客户端向系统发起请求，请求为M；

A2.节点之间共同推举主节点P及对应视图V，如果在此之后节点出现变化，则对P和V进行重新编号，将节点接入进来，但不触发视图切换，待主节点出错触发视图切换协议后，再使用新确定是编号对应规则；

A3.主节点P打包交易，并向所有备份节点广播一个准备消息；

A4.备份节点验证该消息，并向主节点发送一个确认消息；

A5.主节点收到全部响应后将交易打包成区块，并将该区块转发给所有备份节点，若收到两个或者两个以上互相冲突的响应，或者没有收到响应，转向A7；

A6.备份节点验证区块，无误后将区块写入维护区块链，如果验证不通过，转向A8；

A7.使用拜占庭容错协议进行共识过程；

A8.主节点出现故障，触发视图变更协议，转向A2；

A9.节点线客户端发送反馈，一轮共识结束；

再使用两阶段广播通信的方法达成共识，在共识未达成的情况下采用经典的拜占庭容错算法达成共识；在主节点的选择上，采用一种投票机制来选择主节点，当有节点加入或者退出时，为该节点增加或者删减投票权，维持当前主节点不变；在触发视图切换协议后，全部节点再投票重新选举主节点；

主节点的选择流程为：

S1.每一个共识节点均能够为一个节点投票，投票为广播形式，投票过半数的节点成为主节点；

S2.如果没有确定主节点，则选取票数最多的三个节点，再次投票，票数最多的节点当选主节点；

S3.主节点确定后，确定视图的切换顺序，下次若没有节点加入或者退出，则直接按照顺序切换视图；

S4.如果有节点加入或者退出，则为新增的节点分配投票权，并对节点和对应视图进行编号，删除退出节点和视图；

S5.视图切换协议触发时，如果此时有新增节点，重新投票和确定视图切换顺序。

2.根据权利要求1所述的一种基于区块链和大数据的数据流监测方法，其特征在于：

所述监测终端自动地按照预设时间间隔采集平台中的数据。

3.根据权利要求1所述的一种基于区块链和大数据的数据流监测方法，其特征在于：

所述中央处理器对采集数据进行分析时，若采集数据处于最低预设阈值与最高预设阈值之间，则将采集数据传输到数据上链模块进行上链操作，若采集数据大于最高预设阈值或者小于最低预设阈值，则通过报警模块发出报警提示。

4.根据权利要求1所述的一种基于区块链和大数据的数据流监测方法，其特征在于：

所述数据上链模块将数据上传到区块链网络，保证了数据传输过程的安全可靠，在区块链网络中，采用非对称加密技术与数字签名技术进行数据传输。

5.根据权利要求1所述的一种基于区块链和大数据的数据流监测方法，其特征在于：

所述数据暂存模块用于对数据进行接收处理、中转验证处理和发送处理。

6.根据权利要求1所述的一种基于区块链和大数据的数据流监测方法，其特征在于：

所述数据追溯模块用于对系统中上传的数据进行追溯处理，以及对访问者数据信息进行追溯处理。

7.根据权利要求1所述的一种基于区块链和大数据的数据流监测方法，其特征在于：

所述报警模块包括警示灯和蜂鸣器，所述警示灯和蜂鸣器均设置于平台监测中心。

8.一种应用权利要求1至7任意一项所述的一种基于区块链和大数据的数据流监测方法的云计算服务平台，其特征在于，所述云计算服务平台包括：

数据流采集模块，对监测区域内数据流进行采集；

数据流处理模块，对数据采集模块采集到的数据流加上特征数据，从而构成无法被篡改的区块；

数据流校验模块，将来自数据处理模块的数据流进行拆包和校验，检查数据流来源的可靠性和有效性；

数据流传输模块，利用哈希算法计算校验模块的数据流的数字指纹，对区块链进行加密，然后打包进入传输阶段，平台内每个参与者都拥有一份数据拷贝；

数据流分析模块，收到区块链数据后用对内的公钥进行数字签名的解密，对解密后的数据流进行存储；

服务器，包括本地服务器、可信服务器和对外服务器，本地服务器是各数据流监测所在区域配置的分布式服务器之一，可信服务器用于对数字签名加解密的私钥以及公钥进行统一管理与维护，对外服务器用于展示监测数据流；

所述数据流采集模块与数据流处理模块通信连接，所述数据流处理模块与数据流校验模块通信连接，所述数据流校验模块通过数据流传输模块与所述数据流分析模块通信连接，所述数据流分析模块与所述服务器通信连接。

Images