CN113886101B

CN113886101B - 基于区块链技术的大数据共享并存证的方法

Info

Publication number: CN113886101B
Application number: CN202111133335.7A
Authority: CN
Inventors: 胡金龙; 罗晓春; 廖彬; 韩希贤; 董守斌
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2021-09-27
Filing date: 2021-09-27
Publication date: 2023-04-21
Anticipated expiration: 2041-09-27
Also published as: CN113886101A

Abstract

本发明公开了一种基于区块链技术的大数据共享并存证的方法，包括：从外部数据源收集大数据；对收集的大数据信息，进行实时在线分析，检测信息的共享需求和存证需求；对需要共享的数据，添加信息及描述；根据需要共享的数据的实时性需求进行数据分发；对需要存证上传的原始数据添加相关信息及描述，将数据存入分布式数据存储系统，并进行区块链存证；对需要存证校验的原始数据查询存证信息，下载存证数据并进行对比。本发明对共享的大数据进行订阅分发、分布式存储和基于区块链的存证，提供高效的、不可篡改的数据共享。

Description

基于区块链技术的大数据共享并存证的方法

技术领域

本发明涉及大数据共享的技术领域，尤其是指一种基于区块链技术的大数据共享并存证的方法。

背景技术

随着社交网络、工业互联网和物联网的快速发展，越来越多的数据被快速地产生，这对大数据共享系统带来了诸多挑战，例如共享的数据对实时性的要求不一，共享的数据规模越来越大，共享的数据面临越来越多的被伪造和篡改等数据安全风险。

区块链是一个分布式的共享账本和数据库，具有去中心化、不可篡改、公开透明等特点。星际文件系统(IPFS)，是一个旨在创建持久且分布式存储和共享文件的网络传输协议。在IPFS网络中的节点构成一个分布式文件系统。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于区块链技术的大数据共享并存证的方法，实现大数据共享及存证，对共享的大数据进行订阅分发、分布式存储和基于区块链的存证，提供高效的、不可篡改的数据共享。

为实现上述目的，本发明所提供的技术方案为：基于区块链技术的大数据共享并存证的方法，包括以下步骤：

1)从外部数据源收集大数据，包括多媒体数据和序列数据；

2)对收集的大数据信息，进行实时在线分析，检测信息的共享需求，若有需求，则拷贝数据到共享通道，否则不用拷贝数据；检测信息的存证需求，若有需求，则拷贝数据到存证通道，否则不用拷贝数据；

3)对需要共享的数据，添加信息及描述，其中，信息及描述包括：数据描述、数据实时性和数据所属话题；对需要共享的数据，判断数据的实时性需求，若是实时性需求数据，则进入实时分发通道，进行实时数据分发；否则进入非实时分发通道，进行非实时数据分发；

4)对需要存证上传的原始数据添加相关信息及描述，并对原始数据生成摘要数据，将原始数据存入分布式数据存储系统；对摘要数据生成智能合约，进行区块链存证；将原始数据在分布式数据存储系统的位置信息和智能合约信息，传给实时分发通道或非实时分发通道，进行相应数据分发；其中，分布式数据存储系统为IPFS分布式存储系统；区块链存证为基于分布式共享账本(Hyperledger Fabric)的数据存证；

5)对需要存证校验的原始数据生成数字摘要1，使用数字摘要1在区块链中查询存证信息，如果查询到存证信息，则用该数字摘要1构建原始数据的存储地址，根据存储地址下载存证数据，并对下载的数据再次生成数字摘要2，将数字摘要1和数字摘要2进行对比校验，对比是否一致，如果一致则校验成功，并将存证信息进行相应的数据分发，若对比不一致，则校验失败。

进一步，在步骤1)中，所述多媒体数据包含视频、图像和声音。

进一步，在步骤3)中，根据信息及描述中的数据实时性判断数据的实时性；根据数据的实时性选择合适的分发通道，有实时分发通道和非实时分发通道，实时分发通道为基于消息队列遥测传输协议(MQTT)的实时订阅发布，非实时分发通道为基于IPFS的订阅发布；检测是否存在订阅者订阅该信息所属话题，若存在，向匹配的订阅者转发该消息。

进一步，所述步骤4)包括以下步骤：

4.1)对需要存证的数据添加相关信息及描述，信息及描述包括内容：数据名称、数据类型、数据归属者、数据描述、数据实时性、数据所属话题和数据共享时间戳，其中数据共享时间戳自动生成；

4.2)将需要存证的原始数据用哈希算法即hash算法编码加密产生数字摘要，然后使用该数字摘要构建多哈希值即multiHash值作为原始数据的存储地址，并将原始数据存入IPFS分布式存储系统；

4.3)调用智能合约对数字摘要、原始数据的相关信息及描述进行封装，然后以数字摘要为索引添加到区块链上，并返回一个智能合约创建地址hash；其中，能够选择是否加密存储，若加密，则用密钥对原始数字摘要进行加密得到新的数字摘要；

4.4)将原始数据的位置信息multiHash值和智能合约创建地址hash传给实时分发通道或非实时分发通道，进行相应数据分发。

进一步，所述步骤5)包括以下步骤：

5.1)将需要检验的数据用hash算法编码加密产生数字摘要1，然后使用该数字摘要1在区块链中查询存证信息；

5.2)若存在存证信息则构建multiHash值，获得原始数据的IPFS地址，根据IPFS地址，下载存证数据，对下载的数据用hash算法编码加密产生数字摘要2；若不存在存证信息，则该校验的数据未进行存证；

5.3)将数字摘要1和数字摘要2进行对比校验，若对比一致，则将存证信息传给实时分发通道或非实时分发通道，进行相应数据分发；若对比不一致，则校验失败；其中，存证信息包括数据名称、数据类型、数据归属者、数据描述、数据实时性、数据所属话题和数据共享时间戳。

本发明与现有技术相比，具有如下优点与有益效果：

本发明通过混合的订阅分发机制，针对信息的实时性要求，进行实时和非实时数据分发服务，并对共享的大数据进行分布式存储和基于区块链的存证，提供了高效的、不可篡改的数据共享，具有实际应用价值，值得推广。

附图说明

图1为本发明方法的流程示意图。

图2为数据共享的流程示意图。

图3为存证上传的流程示意图。

图4为存证校验的流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1至图4所示，本实施例提供了一种基于区块链技术的大数据共享并存证的方法，其具体情况如下：

1)从外部数据源收集大数据，包括多媒体数据和序列数据等；其中多媒体数据包含视频、图像、声音等。

3)对需要共享的数据，添加信息及描述，其中信息及描述包括：数据描述、数据实时性和数据所属话题等；对需要共享的数据，判断数据的实时性需求，若是实时性需求数据，则进入实时分发通道，进行实时数据分发；否则进入非实时分发通道，进行非实时数据分发；具体过程如下：

根据信息及描述中的数据实时性判断数据的实时性；根据数据的实时性选择合适的分发通道，有实时分发通道和非实时分发通道，实时分发通道为基于消息队列遥测传输协议(MQTT)的实时订阅发布，非实时分发通道为基于IPFS的订阅发布；检测是否存在订阅者订阅该信息所属话题，若存在，向匹配的订阅者转发该消息。

4)对需要存证上传的原始数据添加相关信息及描述，并对原始数据生成摘要数据，将原始数据存入分布式数据存储系统；对摘要数据生成智能合约，进行区块链存证；将原始数据在分布式数据存储系统的位置信息和智能合约信息，传给实时分发通道或非实时分发通道，进行相应数据分发；其中，分布式数据存储系统为IPFS分布式存储系统；区块链存证为基于分布式共享账本(Hyperledger Fabric)的数据存证；具体过程如下：

4.1)对需要存证的数据添加相关信息及描述，信息及描述包括内容：数据名称、数据类型、数据归属者、数据描述、数据实时性、数据所属话题和数据共享时间戳等，其中数据共享时间戳自动生成；

4.3)调用智能合约对数字摘要、原始数据的相关信息及描述进行封装，然后以数字摘要为索引添加到区块链上，并返回一个智能合约创建地址hash；其中，可选择是否加密存储，若加密，则用密钥对原始数字摘要进行加密得到新的数字摘要；

5)对需要存证校验的原始数据生成数字摘要1，使用数字摘要1在区块链中查询存证信息，如果查询到存证信息，则用该数字摘要1构建原始数据的存储地址，根据存储地址下载存证数据，并对下载的数据再次生成数字摘要2，将数字摘要1和数字摘要2进行对比校验，对比是否一致，如果一致则校验成功，并将存证信息进行相应的数据分发，若对比不一致，则校验失败；具体过程如下：

5.3)将数字摘要1和数字摘要2进行对比校验，若对比一致，则将存证信息传给实时分发通道或非实时分发通道，进行相应数据分发；若对比不一致，则校验失败；其中，存证信息包括数据名称、数据类型、数据归属者、数据描述、数据实时性、数据所属话题和数据共享时间戳等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于区块链技术的大数据共享并存证的方法，其特征在于，包括以下步骤：

1）从外部数据源收集大数据，包括多媒体数据和序列数据；

2）对收集的大数据信息，进行实时在线分析，检测信息的共享需求，若有需求，则拷贝数据到共享通道，否则不用拷贝数据；检测信息的存证需求，若有需求，则拷贝数据到存证通道，否则不用拷贝数据；

3）对需要共享的数据，添加信息及描述，其中，信息及描述包括：数据描述、数据实时性和数据所属话题；对需要共享的数据，判断数据的实时性需求，若是实时性需求数据，则进入实时分发通道，进行实时数据分发；否则进入非实时分发通道，进行非实时数据分发；

4）对需要存证上传的原始数据添加相关信息及描述，并对原始数据生成摘要数据，将原始数据存入分布式数据存储系统；对摘要数据生成智能合约，进行区块链存证；将原始数据在分布式数据存储系统的位置信息和智能合约信息，传给实时分发通道或非实时分发通道，进行相应数据分发；其中，分布式数据存储系统为IPFS分布式存储系统；区块链存证为基于分布式共享账本的数据存证；包括以下步骤：

4.1）对需要存证的数据添加相关信息及描述，信息及描述包括内容：数据名称、数据类型、数据归属者、数据描述、数据实时性、数据所属话题和数据共享时间戳，其中数据共享时间戳自动生成；

4.2）将需要存证的原始数据用哈希算法即hash算法编码加密产生数字摘要，然后使用该数字摘要构建多哈希值即multiHash值作为原始数据的存储地址，并将原始数据存入IPFS分布式存储系统；

4.3）调用智能合约对数字摘要、原始数据的相关信息及描述进行封装，然后以数字摘要为索引添加到区块链上，并返回一个智能合约创建地址hash；其中，能够选择是否加密存储，若加密，则用密钥对原始数字摘要进行加密得到新的数字摘要；

4.4）将原始数据的位置信息multiHash值和智能合约创建地址hash传给实时分发通道或非实时分发通道，进行相应数据分发；

5）对需要存证校验的原始数据生成数字摘要1，使用数字摘要1在区块链中查询存证信息，如果查询到存证信息，则用该数字摘要1构建原始数据的存储地址，根据存储地址下载存证数据，并对下载的数据再次生成数字摘要2，将数字摘要1和数字摘要2进行对比校验，对比是否一致，如果一致则校验成功，并将存证信息进行相应的数据分发，若对比不一致，则校验失败；包括以下步骤：

5.1）将需要检验的数据用hash算法编码加密产生数字摘要1，然后使用该数字摘要1在区块链中查询存证信息；

5.2）若存在存证信息则构建multiHash值，获得原始数据的IPFS地址，根据IPFS地址，下载存证数据，对下载的数据用hash算法编码加密产生数字摘要2；若不存在存证信息，则该校验的数据未进行存证；

5.3）将数字摘要1和数字摘要2进行对比校验，若对比一致，则将存证信息传给实时分发通道或非实时分发通道，进行相应数据分发；若对比不一致，则校验失败；其中，存证信息包括数据名称、数据类型、数据归属者、数据描述、数据实时性、数据所属话题和数据共享时间戳。

2.根据权利要求1所述的基于区块链技术的大数据共享并存证的方法，其特征在于，在步骤1）中，所述多媒体数据包含视频、图像和声音。

3.根据权利要求1所述的基于区块链技术的大数据共享并存证的方法，其特征在于，在步骤3）中，根据信息及描述中的数据实时性判断数据的实时性；根据数据的实时性选择合适的分发通道，有实时分发通道和非实时分发通道，实时分发通道为基于消息队列遥测传输协议的实时订阅发布，非实时分发通道为基于IPFS的订阅发布；检测是否存在订阅者订阅该信息所属话题，若存在，向匹配的订阅者转发该消息。