CN111711611B - 基于区块链的数据处理方法、装置、介质、设备及应用 - Google Patents

基于区块链的数据处理方法、装置、介质、设备及应用 Download PDF

Info

Publication number
CN111711611B
CN111711611B CN202010442701.6A CN202010442701A CN111711611B CN 111711611 B CN111711611 B CN 111711611B CN 202010442701 A CN202010442701 A CN 202010442701A CN 111711611 B CN111711611 B CN 111711611B
Authority
CN
China
Prior art keywords
data
cid
block chain
fine
public key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010442701.6A
Other languages
English (en)
Other versions
CN111711611A (zh
Inventor
游海涛
王琳
傅福斌
吴亚皇
杨丰佳
陈秀琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Wanshi Shunyi Technology Co ltd
Ylz Information Technology Co ltd
Original Assignee
Xiamen Wanshi Shunyi Technology Co ltd
Ylz Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Wanshi Shunyi Technology Co ltd, Ylz Information Technology Co ltd filed Critical Xiamen Wanshi Shunyi Technology Co ltd
Priority to CN202010442701.6A priority Critical patent/CN111711611B/zh
Publication of CN111711611A publication Critical patent/CN111711611A/zh
Application granted granted Critical
Publication of CN111711611B publication Critical patent/CN111711611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据存储技术领域，特别涉及基于区块链的数据处理方法、装置、介质、设备及应用，其中，应用于终端设备的方法包括：依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据上传至IPFS网络并接收所述IPFS网络生成数据CID；调用用户公钥对获取的所述数据CID进行加密；向区块链节点发送包含加密后的CID信息的交易数据，以使所述区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上。本发明提供的方法既避免了数据存储隐秘性泄露，又同时利用有向无环图对数据进行细粒度划分，每个细的文件和对象都进行哈希，能够不查找所有文本或数据内容，便能直接查找到更深层次的文本内容或数据值。

Description

基于区块链的数据处理方法、装置、介质、设备及应用
技术领域
本发明涉及数据存储技术领域，特别涉及基于区块链的数据处理方法、装置、介质、设备及应用。
背景技术
随着计算机技术的不断发展，区块链技术作为一种新的分布式存储服务，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征。基于这些特征，区块链技术奠定了坚实的“信任”基础，创造了可靠的“合作”机制，具有广阔的运用前景。
但目前在区块链上由于网络传输与共识算法的限制，区块链上存储的数据大小是受限制的，对于数据量较小的可以直接将数据整体存入区块链节点上，对于较大的数据量或海量数据量的存储，区块链上的单一节点由于区块存储空间有限，难以完成较大数据量的整体存储。与此同时，由于所有存入区块的数据对于所有节点都是可见的，导致入链数据有泄露风险。
虽然现有技术中有运用IPFS网络和区块链的结合完成较大数据量的整体存储，但其不能解决大文件多层次的文件存储，导致获取数据时不便于查找文件里的数据内容，使得查找数据的效率低下，且数据会存在隐秘性泄露的问题。
发明内容
为解决上述现有技术中获取文件不便于查找文件里的数据内容及数据存储隐秘性泄露的不足，本发明提供的基于区块链的数据处理方法、装置、介质、设备及应用，避免数据存储时隐秘性泄露的同时能够快速查找更深层次的文本内容或数据值。
第一方面，本申请实施例提供了基于区块链的数据处理方法，应用于终端设备，所述方法包括：
依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据上传至IPFS网络并接收所述IPFS网络生成的数据CID;
调用用户公钥对获取的所述数据CID进行加密；
向区块链节点发送包含加密后的CID信息的交易数据，以使所述区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上。
进一步地，所述细粒度划分采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义。
进一步地，调用用户公钥对获取的所述数据CID进行加密的算法采用国密算法。
进一步地，所述向区块链节点发送包含加密后的CID信息的交易数据时，使用用户的私钥签名向区块链节点发送交易数据，所述交易数据还包括账户名和哈希。
第二方面，本申请实施例提供了基于区块链的数据处理方法，应用于IPFS网络，所述方法包括：
接收终端设备发送的数据，所述数据为根据数据内容的业务模块及敏感程度进行细粒度划分后的数据；
生成所接收数据的CID并发送返回至所述终端设备，以使所述终端设备调用用户公钥对获取的数据CID进行加密后，向区块链节点发送包含加密后数据CID信息的交易数据，使得区块链节点验证私钥签名与账户名公钥的对应关系将该交易数据记录到区块链上。
进一步地，所述的IPFS网络包括路由表和节点，所述路由表和所述节点通过消息发布和订阅机制全网分发和缓存。
第三方面，本申请实施例提供了基于区块链的数据处理装置，应用于终端设备，所述装置包括：
细粒度划分模块，用于依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据上传至IPFS网络并接收所述IPFS网络生成的数据CID；
加密模块，用于调用用户公钥对获取的所述数据CID进行加密；
发送模块，用于向区块链节点发送包含加密后的CID信息的交易数据，以使所述区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上。
进一步地，所述细粒度划分模块具体用于采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义。
进一步地，所述加密模块具体用于采用国密算法对获取的所述数据CID进行加密。
进一步地，所述发送模块具体用于向区块链节点发送包含加密后的CID信息的交易数据时，使用用户的私钥签名向区块链节点发送交易数据，所述交易数据还包括账户名和哈希。
第四方面，本申请实施例提供了基于区块链的数据处理装置，应用于IPFS网络，所述装置包括：
接收模块，用于接收终端设备发送的数据，所述数据为根据数据内容的业务模块及敏感程度对数据进行细粒度划分后的数据；
发送模块，用于生成所接收数据的CID并发送返回至所述终端设备，以使所述终端设备调用用户公钥对获取的数据CID进行加密后，向区块链节点发送包含加密后数据CID信息的交易数据，使得区块链节点验证私钥签名与账户名公钥的对应关系将该交易数据记录到区块链上。
进一步地，所述IPFS网络包括路由表和节点，所述路由表和所述节点通过消息发布和订阅机制全网分发和缓存。
第五方面，本申请实施例提供了计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机被处理器执行时实现如上述任一项所述的基于区块链的数据处理方法。
第六方面，本申请实施例提供了通信设备，包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如上述任一项所述的基于区块链的数据处理方法。
第七方面，本申请实施例提供了采用上述任一项所述的基于区块链的数据处理方法在个人数据处理的应用，包括：
用户通过终端设备注册区块链账户和身份ID并绑定至智能穿戴设备，所述智能穿戴设备采集个人数据后，发送至所述终端设备上；
所述终端设备依据数据内容的业务模块及敏感程度对个人数据进行细粒度划分后，将其上传至IPFS网络；
所述IPFS网络生成划分后的个人数据CID并返回至终端设备；
所述终端设备接收获取个人数据CID并调用用户公钥对其加密；
使用用户私钥向区块链节点发送包含加密后的个人数据CID信息的交易数据；
所述区块链节点验证私钥签名与账户名公钥的对应关系，确认一致后将该交易数据记录到区块链上。
与现有技术相比，本发明提供的基于区块链的数据处理方法、装置、介质、设备及应用，利用有向无环图依据数据内容的业务模块及敏感程度对数据进行细粒度划分后，上传至IPFS网络，IPFS网络接收数据生成并返回各划分后数据的CID，再调用用户公钥对数据CID进行加密后存储至区块链节点上；避免了数据存储隐秘性泄露，同时，对每个细的文件和对象都进行哈希，不用查找所有文本或者数据内容，便能直接查找到更深层次的文本内容或者数据值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的实施例一的流程图；
图2为本发明提供的实施例二的流程图；
图3为本发明提供的实施例三的结构示意图；
图4为本发明提供的实施例四的结构示意图；
图5为本发明提供的实施例五的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所设计的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例一
图1为本申请实施例一提供的基于区块链的数据处理方法的流程图，该实施例应用于终端设备，如图1所示，所述方法包括：
S101、依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据上传至IPFS网络并接收所述IPFS网络生成数据的CID。
具体实施时，终端设备上设有可注册区块链账户和身份ID的小程序、IOSAPP或AndroidAPP，较佳地，本实施例中终端设备可以是手机、平板电脑、带收发功能的电脑、电视或手表等，在此不做限定。星际文件系统（InterPlanetary File System，简称IPFS）是一个分布式存储和共享文件的网络传输协议。
具体地，终端设备上的APP或小程序收集数据，收集的数据可以是存储在云端的数据或上传至终端设备的数据，云端可以是现有技术中常见的存有数据的存储空间。收集数据后，依据数据内容的业务模块及敏感程度对数据进行细粒度划分，细粒度划分为利用内部每个细的文件和对象都进行哈希，以便于通过哈希表查找更深层次的文本内容或数据值，而不用查找所有文本或数据内容本身。
其中所述细粒度划分为利用有向无环图（Directed Acyclic Graph，简称DAG)对数据进行对象化表述，所述对象化表述为快速检索和精准定义，数据本身可以包含文件对象或指针，也可以包括其他的格式。
具体而言，现有的IPFS上链，主要是把每个信息或者文件分片存储在各个存储节点上。而本发明利用DAG的方法可以把每个文件进行进一步地细分，比如一个人数据的文件包括身高、体重和年龄，现在需要100个人的平均体重，现有的可能需要把这100人身高、体重等所有的分片内容都取出再进行细分出体重数据，而利用DAG只要直接取出100个人的体重内容即可。类比而言，存的若是指针，可能包括 A =1、 B =2、 C=3 ，则利用DAG 可以直接查找得到C的这个值是3 ，而不需要把ABC本身内容找出来在去确定他们各个的值。
细粒度划分后，上传数据的可以采用哈希对比机制的消息列表。在数据进行细粒度划分后，采用哈希对比机制的消息列表按小时、日或周等为周期单位将非敏感数据上传数据至IPFS网络，本实施例中按天为单位进行数据上传，优选地上传数据的格式为JSON或XML格式。具体地，比如每周数据上传100条数据，每条数据包括子数据，即一个文本、一个视频或一张照片均对应一个哈希，当已经上传50条数据后，在上传51条数据的时会把51条数据总的哈希对比50条数据的哈希，若哈希不一样说明要更新，若哈希一样则不用再次更新。
或者，在数据进行细粒度划分后，再将划分后的数据进行纵向分片切分再上传至IPFS网络。比如个人健康的结构化数据，其中有七个字段，分别是：1（姓名）、2（年龄）、3（性别）、4（身高）、5（转账金额）、6（转账状态）、7（接收者）。为了保障数据的安全，惯用的做法是把这7个字段统一打包后，打散分片到不同的服务器上。但是IPFS网络纵向分片切分的方式是，可以把字段1/3/5字段打一个包、2/4/6字段打一个包、7字段单独打一个包，再把三个包分片到不同的服务器上，就会分别形成三个子哈希，这样能看1/3/5或者2/4/6或者7字段的用户得到对应的子哈希即可；进一步地，为了安全，还可以进一步设定三个子哈希必须拼凑到一起才可以看到7个字段的数据。
IPFS网络包括路由表和节点，路由表和节点通过消息发布和订阅机制全网分发和缓存数据，每次上传先通过节点分配上传列表至路由表。IPFS网络接收终端设备上传的数据并生成数据CID，CID是经过算法形成后的哈希值，CID是IPFS网络返回的唯一的哈希地址即内容地址，在访问数据时访问数据相对应的CID即可以定位文件访问到数据，数据在更新或更改时，CID也会对应的改变。
为了表示各数据的CID，IPFS网络使用了多哈希Multihash格式和Base58编码，终端设备接收IPFS网络返回数据的CID是经过Base58编码对多哈希Multihash格式的字符串压缩后形成各数据的CID。
具体地，多哈希Multihash格式为包括Hash算法编码、HasH值的长度（字节数）及Hash值的字符串，Hash算法编码是Multihash以字节（0x12）开头，其指示出对应的哈希算法，HasH值的长度（字节数）为（0x20）的另一个字节，IPFS网络通常采用sha2-256哈希函数算法，哈希摘要的二进制长度为32个字节，再加上哈希值后，多哈希Multihash格式的长度相对较长。Base58编码可以对多哈希Multihash格式的字符串长度进行压缩形成各数据CID，以便于CID的存储和传播。
S102：调用用户公钥对获取的所述数据CID进行加密。
具体实施时，终端设备接收IPFS网络返回数据的CID后，调用用户公钥对返回获取的数据CID进行加密，调用用户公钥对数据CID加密的算法采用国密算法，即SM3和非对称秘钥的结合。加密后的CID只有通过私钥才能对其解密。
S103：向区块链节点发送包含加密后的CID信息的交易数据，以使所述区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上。
具体实施时，使用私钥签名向区块链节点发送包含加密后的CID信息的交易数据，交易数据还包括账户名和哈希，区块链节点验证私钥签名与账户名公钥的对应关系，确认一致后，将交易数据记录到区块链上。
加密后的CID只有通过私钥才能对其解密，区块链网络上存储的区块链账户名、哈希与加密后的CID只记录了对应关系，区块链网络上存储的区块链账户名无法获得各数据CID，即无法获得IPFS网络上的原始数据地址，从而确保了区块链节点上存储的交易数据安全，不会造成数据隐私泄露。
加密后的CID的大小相对远小于数据本身的大小，包含加密后的CID信息的交易数据存储在区块链节点上，避免了区块链节点存储超负荷，同时在数据共享时还确保了数据隐私信息安全。
实施例二
图2为本申请实施例二提供的基于区块链的数据处理方法，本实施例应用于IPFS网络，如图2所示，本申请实施例的方法可以包括：
S201：接收终端设备发送的数据，所述数据为根据数据内容的业务模块及敏感程度进行细粒度划分后的数据；
具体实施时，细粒度划分为利用有向无环图对数据进行划分，具体描述参照本申请其他实施例的相关描述，在此不作赘述。
S202：生成接收数据CID并发送返回至所述终端设备，以使所述终端设备调用用户公钥对获取的数据CID进行加密后，向区块链节点发送包含加密后数据CID信息的交易数据，使得区块链节点验证私钥签名与账户名公钥的对应关系将该交易数据记录到区块链上。
具体实施时，IPFS网络包括路由表和节点，路由表和节点通过消息发布和订阅机制全网分发和缓存数据，路由表通过节点分配接收上传的数据列表。IPFS网络接收终端设备上传的数据并生成数据CID，CID是经过算法形成后的哈希值，CID是IPFS网络返回的唯一的哈希地址即内容地址，在访问数据时访问数据相对应的CID即可以定位文件访问到数据，数据在更新或更改时，CID也会对应的改变。
为了表示各数据的CID，IPFS网络使用了多哈希Multihash格式和Base58编码，终端设备接收IPFS网络返回数据的CID是经过Base58编码对多哈希Multihash格式的字符串压缩后形成各数据的CID，具体描述参照本申请其他实施例的相关描述，在此不作赘述。
与现有技术相比，本发明提供的基于区块链的数据处理方法，利用有向无环图依据数据内容的业务模块及敏感程度对数据进行细粒度划分后，上传至IPFS网络，IPFS网络接收数据生成并返回各划分后数据的CID，再调用用户公钥对数据CID进行加密后存储至区块链节点上；避免了数据存储隐秘性泄露，同时，利用有向无环图对每个细的文件和对象都进行哈希，不用查找所有文本或者数据内容，便能直接查找到更深层次的文本内容或者数据值。
实施例三
图3为本申请实施例三提供的基于区块链的数据处理装置的结构示意图，如图3所示，该数据处理装置包括：细粒度划分模块、加密模块和发送模块，上述上传模块、接收模块、加密模块和发送模块可以实现终端设备侧的方法。
具体实施时，细粒度划分模块用于依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据上传至IPFS网络并接收所述IPFS网络生成的数据CID；加密模块，用于调用用户公钥对获取的数据CID进行加密；发送模块，用于向区块链节点发送包含加密后的CID信息的交易数据，以使区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上。
进一步地，所述细粒度划分模块具体用于采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义。
进一步地，所述加密模块具体用于采用国密算法对获取的所述数据CID进行加密。
进一步地，所述发送模块具体用于向区块链节点发送包含加密后的CID信息的交易数据时，使用用户的私钥签名向区块链节点发送交易数据，所述交易数据还包括账户名和哈希。
本申请实施例三的数据处理装置，可以用于执行上述各方法实施例中终端设备的技术方案，其实现原理和技术效果类似，在此不再赘述。
实施例四
图4为本申请实施例提供的基于区块链的数据处理装置的结构示意图，如图4所示，该数据处理装置包括：接收模块和发送模块，上述接收模块和发送模块可以实现IPFS网络侧的方法。
具体实施时，接收模块，用于接收终端设备发送的数据，该数据为根据数据内容的业务模块及敏感程度对数据进行细粒度划分后的数据；发送模块，用于生成接收数据CID并发送返回至终端设备，以使终端设备调用用户公钥对获取的数据CID进行加密后，向区块链节点发送包含加密后数据CID信息的交易数据，使得区块链节点验证私钥签名与账户名公钥的对应关系将该交易数据记录到区块链上。
本申请实施例四的数据处理装置，可以用于执行上述各方法实施例中IPFS的技术方案，其实现原理和技术效果类似，在此不再赘述。
实施例五
本申请实施例五提供的计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时可实现上述任一项所述的基于区块链的数据处理方法。
具体实施时，计算机可读存储介质为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；计算机可读存储介质还可以包括上述种类的存储器的组合。
实施例六
图5为本申请实施例六提供的通信设备，如图5所示，该通信设备包括至少一个处理器及与所述处理器通信连接的存储器，其中所述存储器存储可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述处理器执行如上述方法实施例中描述的对应于终端设备或IPFS网络的方法，具体参见上述方法实施例中的说明。
具体实施时，处理器的数量可以是一个或多个，处理器可以为中央处理器，(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器与处理器可以通过总线或其他方式通信连接，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使处理器执行如上实施例一或实施例二中任一项所述的基于区块链的数据处理方法。
实施例七
本发明实施例七提供采用如上任一项所述的基于区块链的数据处理方法在个人数据处理的应用，包括如下步骤：
用户通过终端设备注册区块链账户和身份ID并绑定至智能穿戴设备，所述智能穿戴设备采集个人数据后，发送至所述终端设备上。
具体实施时，终端设备上设有可注册区块链账户和身份ID的小程序、IOSAPP或AndroidAPP，身份ID对于每个人是唯一不可逆的，较佳地，本实施中终端设备可以是手机、平板电脑、电脑、电视或手表等；用户通过终端设备上的小程序、IOSAPP或AndroidAPP注册区块链账户和身份ID，再将采集个人数据的智能穿戴设备绑定至终端设备，智能穿戴设备周期性采集个人数据后发送至终端设备，终端设备上的小程序、IOSAPP或AndroidAPP可读取智能穿戴设备采集的个人数据，较佳地，本实施例中智能穿戴设备可以是手环或手表等可采集个人数据的设备。
所述终端设备依据数据内容的业务模块及敏感程度对个人数据进行细粒度划分后，将其上传至IPFS网络。
具体实施时，个人数据包括年龄数据、身高数据、体重数据、心率数据及步行数据等，终端设备上的小程序或APP根据个人数据的敏感程度对数据进行细粒度划分，例如隐藏个人电话等隐私信息。细粒度划分为利用有向无环图对个人数据进行对象化表述，对象化表述为快速检索和精准定义，个人数据本身包含文件对象或指针，也可以包括其他的格式。比如个人数据的文件包括身高、体重和年龄，现在需要100个人的平均体重，现有的可能需要把这100人身高、体重等所有的分片内容都取出再进行细分出体重数据，而利用DAG只要直接取出100个人的体重内容即可。类比而言，存的若是指针，可能包括 A =1、 B =2、 C=3，则利用DAG 可以直接查找得到C的这个值是3 ，而不需要把ABC本身内容找出来在去确定他们各个的值。
或者，终端设备上的小程序或APP根据个人数据的敏感程度利用有向无环图对个人数据进行细粒度划分，在个人数据进行细粒度划分后，将划分后的个人数据重新组合再分片上传至IPFS网络，例如，将划分后的个人数据进行纵向分片切分再上传至IPFS网络。比如个人健康的结构化数据，其中有七个字段，分别是：1（姓名）、2（年龄）、3（性别）、4（身高）、5（转账金额）、6（转账状态）、7（接收者）。为了保障数据的安全，惯用的做法是把这7个字段统一打包后，打散分片到不同的服务器上。但是IPFS网络纵向分片切分的方式是，可以把字段1/3/5字段打一个包、2/4/6字段打一个包、7字段单独打一个包，再把三个包分片到不同的服务器上，就会分别形成三个子哈希，这样能看1/3/5或者2/4/6或者7字段的用户得到对应的子哈希即可；进一步地，为了安全，还可以进一步设定子三个子哈希必须拼凑到一起才可以看到7个字段的数据。
较佳地，终端设备将个人数据上传至IPFS网络的时间和频率可以是凌晨或网络较为顺畅的时间段；终端设备上传个人数据的频率由机器学习模型分析历史数据上传频率得出，或者终端设备上传数据的频率动态变化，以减轻IPFS网络节点压力。
终端设备上传个人数据时，IPFS网络节点动态分配，每次上传通过节点分配上传列表至路由表，通过获取上传数据的终端设备的IP地址及终端设备连接的DNS分析终端设备所在省市，用以分配最近的IPFS网络；本实施例中IPFS网络不对外开放API接口，IPFS网络不需要借用现有技术中的IPFS公网，IPFS网络为基于IPFS网络的私有系统。
所述IPFS网络生成划分后的个人数据CID并返回至终端设备。
具体实施时，为了表示各划分后个人数据的CID，IPFS网络使用了多哈希Multihash格式和Base58编码，IPFS网络向终端设备返回各划分后个人数据的CID是经过Base58编码对多哈希Multihash格式的字符串压缩后形成的各划分后个人数据的CID。
所述终端设备接收获取个人数据CID并调用用户公钥对其加密。
具体实施时，终端设备接收IPFS网络返回的各划分后个人数据的CID，调用用户公钥对返回的各划分后个人数据CID进行加密，对各划分后个人数据CID加密的算法采用国密算法，即SM3和非对称秘钥的结合。加密后的CID只有通过私钥才能对其解密。
使用用户私钥向区块链节点发送包含加密后的个人数据CID信息的交易数据。
具体实施时，使用私钥签名向区块链节点发送包含加密后的个人数据CID信息的交易数据，交易数据还包括账户名和哈希。
所述区块链节点验证私钥签名与账户名公钥的对应关系，确认一致后将该交易数据记录到区块链上。
具体实施时，区块链节点验证私钥签名与账户名公钥的对应关系，确认一致后，将交易数据记录到区块链上。
加密后的个人数据CID只有通过私钥才能对其解密，区块链网络上存储的区块链账户名、哈希与加密后的个人数据CID只记录了对应关系，区块链网络上存储的区块链账户名无法获得个人数据CID，即无法获得IPFS网络上的原始数据地址，从而确保了区块链节点上存储的交易数据安全，不会造成数据隐私泄露。
加密后的个人数据CID的大小相对远小于个人数据本身的大小，包含加密后的个人数据CID信息的交易数据存储在区块链节点上，避免了区块链节点存储超负荷，同时在个人数据共享时确保了数据隐私信息安全。
与现有技术相比，本发明提供的基于区块链的数据处理方法、装置、介质、设备及应用，利用有向无环图依据数据内容的业务模块及敏感程度对数据进行细粒度划分后，上传至IPFS网络，IPFS网络接收数据生成并返回各划分后数据的CID，再调用用户公钥对数据CID进行加密后存储至区块链节点上；避免了数据存储隐秘性泄露，同时，对每个细的文件和对象都进行哈希，不用查找所有文本或者数据内容，便能直接查找到更深层次的文本内容或者数据值。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种基于区块链的数据处理方法，其特征在于：应用于终端设备，所述方法包括：
依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据进行纵向分片切分，将切分后的数据分别上传至IPFS网络并接收所述IPFS网络生成的数据CID;
所述细粒度划分采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义；
调用用户公钥对获取的所述数据CID进行加密；调用用户公钥对获取的所述数据CID进行加密的算法采用国密算法，即SM3和非对称秘钥的结合；
向区块链节点发送包含加密后的CID信息的交易数据，以使所述区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上；
其中，所述数据进行细粒度划分后包括若干个字段，所述纵向分片切分包括将所述若干字段进行分组形成若干包含部分所述字段的打包，所述切分后的数据包括若干所述打包。
2.根据权利要求1所述的基于区块链的数据处理方法，其特征在于：向区块链节点发送包含加密后的CID信息的交易数据时，使用用户的私钥签名向区块链节点发送交易数据，所述交易数据还包括账户名和哈希值。
3.一种基于区块链的数据处理方法，其特征在于：应用于IPFS网络，所述方法包括：
接收终端设备发送的数据，所述数据为根据数据内容的业务模块及敏感程度进行细粒度划分后再进行纵向分片切分的数据；所述细粒度划分采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义；
生成接收数据CID并发送返回至所述终端设备，以使所述终端设备调用用户公钥对获取的数据CID进行加密后，向区块链节点发送包含加密后数据CID信息的交易数据，使得区块链节点验证私钥签名与账户名公钥的对应关系将该交易数据记录到区块链上，其中调用用户公钥对获取的所述数据CID进行加密的算法采用国密算法，即SM3和非对称秘钥的结合；
其中，所述数据进行细粒度划分后包括若干个字段，所述纵向分片切分包括将所述若干字段进行分组形成若干包含部分所述字段的打包，所述切分后的数据包括若干所述打包。
4.根据权利要求3所述的基于区块链的数据处理方法，其特征在于：所述IPFS网络包括路由表和节点，所述路由表和所述节点通过消息发布和订阅机制全网分发和缓存。
5.一种基于区块链的数据处理装置，其特征在于，应用于终端设备，所述装置包括：
细粒度划分模块，用于依据数据内容的业务模块及敏感程度对数据进行细粒度划分，将划分后的数据进行纵向分片切分，将纵向分片切分后的数据上传至IPFS网络并接收所述IPFS网络生成的数据CID；所述细粒度划分采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义；
加密模块，用于调用用户公钥对获取的所述数据CID进行加密；调用用户公钥对获取的所述数据CID进行加密的算法采用国密算法，即SM3和非对称秘钥的结合；
发送模块，用于向区块链节点发送包含加密后的CID信息的交易数据，以使所述区块链节点验证私钥签名与账户名公钥的对应关系后将该交易数据记录到区块链上；
其中，所述数据进行细粒度划分后包括若干个字段，所述纵向分片切分包括将所述若干字段进行分组形成若干包含部分所述字段的打包，所述切分后的数据包括若干所述打包。
6.根据权利要求5所述的基于区块链的数据处理装置，其特征在于：所述细粒度划分模块具体用于采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义。
7.根据权利要求5所述的基于区块链的数据处理装置，其特征在于：所述加密模块具体用于采用国密算法对获取的所述数据CID进行加密。
8.根据权利要求5所述的基于区块链的数据处理装置，其特征在于：所述发送模块具体用于向区块链节点发送包含加密后的CID信息的交易数据时，使用用户的私钥签名向区块链节点发送交易数据，所述交易数据还包括账户名和哈希值。
9.一种基于区块链的数据处理装置，其特征在于，应用于IPFS网络，所述装置包括：
接收模块，用于接收终端设备发送的数据，所述数据为根据数据内容的业务模块及敏感程度对数据进行细粒度划分后再进行纵向分片切分的数据；所述细粒度划分采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义；
发送模块，用于生成所接收数据的CID并发送返回至所述终端设备，以使所述终端设备调用用户公钥对获取的数据CID进行加密后，向区块链节点发送包含加密后数据CID信息的交易数据，使得区块链节点验证私钥签名与账户名公钥的对应关系将该交易数据记录到区块链上，其中调用用户公钥对获取的所述数据CID进行加密的算法采用国密算法，即SM3和非对称秘钥的结合；
其中，所述数据进行细粒度划分后包括若干个字段，所述纵向分片切分包括将所述若干字段进行分组形成若干包含部分所述字段的打包，所述切分后的数据包括若干所述打包。
10.根据权利要求9所述的基于区块链的数据处理装置，其特征在于：所述IPFS网络包括路由表和节点、所述路由表和所述节点通过消息发布和订阅机制全网分发和缓存。
11.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-4任一项所述的基于区块链的数据处理方法。
12.一种通信设备，其特征在于：包括至少一个处理器、及与所述处理器通信连接的存储器，其中所述存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使所述处理器执行如权利要求1-2或3-4任一项所述的基于区块链的数据处理方法。
13.一种基于区块链的数据处理方法，其特征在于，包括：
用户通过终端设备注册区块链账户和身份ID并绑定至智能穿戴设备，所述智能穿戴设备采集个人数据后，发送至所述终端设备上；
所述终端设备依据数据内容的业务模块及敏感程度对个人数据进行细粒度划分后再进行纵向分片切分，将纵向分片切分后的数据上传至IPFS网络；所述细粒度划分采用有向无环图对数据进行对象化表述，所述对象化表述包括快速检索和精准定义；
所述IPFS网络生成划分后的个人数据CID并返回至终端设备；
所述终端设备接收获取个人数据CID并调用用户公钥对其加密；调用用户公钥对获取的所述数据CID进行加密的算法采用国密算法，即SM3和非对称秘钥的结合；
使用用户私钥向区块链节点发送包含加密后的个人数据CID信息的交易数据；
所述区块链节点验证私钥签名与账户名公钥的对应关系，确认一致后将该交易数据记录到区块链上；
其中，所述数据进行细粒度划分后包括若干个字段，所述纵向分片切分包括将所述若干字段进行分组形成若干包含部分所述字段的打包，所述切分后的数据包括若干所述打包。
CN202010442701.6A 2020-05-22 2020-05-22 基于区块链的数据处理方法、装置、介质、设备及应用 Active CN111711611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442701.6A CN111711611B (zh) 2020-05-22 2020-05-22 基于区块链的数据处理方法、装置、介质、设备及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442701.6A CN111711611B (zh) 2020-05-22 2020-05-22 基于区块链的数据处理方法、装置、介质、设备及应用

Publications (2)

Publication Number Publication Date
CN111711611A CN111711611A (zh) 2020-09-25
CN111711611B true CN111711611B (zh) 2023-04-18

Family

ID=72538305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442701.6A Active CN111711611B (zh) 2020-05-22 2020-05-22 基于区块链的数据处理方法、装置、介质、设备及应用

Country Status (1)

Country Link
CN (1) CN111711611B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416881A (zh) * 2020-10-23 2021-02-26 易联众信息技术股份有限公司 基于区块链的智能终端存储共享方法、装置、介质及设备
CN112927080A (zh) * 2021-03-05 2021-06-08 广东电网有限责任公司 基于区块链技术的电力行业多方信息共享方法
CN113360953B (zh) * 2021-06-03 2023-05-26 上海和数软件有限公司 基于ipfs和区块链的文件分布式存储管理方法及系统
CN113822769A (zh) * 2021-08-31 2021-12-21 东风商用车有限公司 一种矿区业务信息交互方法、装置、设备及可读存储介质
CN114615031A (zh) * 2022-02-28 2022-06-10 中国农业银行股份有限公司 文件存储方法、装置、电子设备及存储介质
CN114745198A (zh) * 2022-05-05 2022-07-12 杭州云象网络技术有限公司 基于区块链运维管理的文件管理方法、系统及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741803A (zh) * 2019-01-14 2019-05-10 南京大学 基于区块链的医疗数据安全协作系统
CN110099114A (zh) * 2019-04-30 2019-08-06 普华云创科技(北京)有限公司 区块链和ipfs协议的文件存储方法、系统、终端及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713379B2 (en) * 2014-04-21 2020-07-14 David Lane Smith Distributed storage system for long term data storage
CN106156317B (zh) * 2016-06-30 2019-05-10 电子科技大学 一种基于属性划分的数据安全存储方法
US11296895B2 (en) * 2018-09-12 2022-04-05 Bitclave Pte. Ltd. Systems and methods for preserving privacy and incentivizing third-party data sharing
CN109889522B (zh) * 2019-02-25 2022-02-11 重庆邮电大学 一种基于区块链的物联网信息安全保护方法
CN110601853B (zh) * 2019-09-17 2021-05-11 腾讯科技（深圳）有限公司 一种区块链私钥生成方法以及设备
CN110879902B (zh) * 2019-11-25 2022-01-28 北京工商大学 一种基于可信标识和ipfs的粮油食品全供应链信息安全管理系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741803A (zh) * 2019-01-14 2019-05-10 南京大学 基于区块链的医疗数据安全协作系统
CN110099114A (zh) * 2019-04-30 2019-08-06 普华云创科技(北京)有限公司 区块链和ipfs协议的文件存储方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN111711611A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111711611B (zh) 基于区块链的数据处理方法、装置、介质、设备及应用
JP6521403B2 (ja) サービスとしての効率的なデータ圧縮及び分析
Celesti et al. Adding long-term availability, obfuscation, and encryption to multi-cloud storage systems
US11477135B2 (en) Verification of data processes in a network of computing resources
CN111556120B (zh) 基于区块链的数据处理方法、装置、存储介质及设备
EP3234792B1 (en) Verification of data processes in a network of computing resources
CN110162523B (zh) 数据存储方法、系统、装置及设备
EP4083798A1 (en) Verification of data processes in a network of computing resources
EP3318001B1 (en) Methods and devices for handling hash-tree based data signatures
CN113032357A (zh) 文件的存储方法、装置和服务器
CN113689213A (zh) 区块链数据处理方法、装置及系统
Akter et al. Performance analysis of personal cloud storage services for mobile multimedia health record management
CN108011857B (zh) 数据动态加密传输配置方法和装置
CN112202779B (zh) 基于区块链的信息加密方法、装置、设备及介质
KR20200127643A (ko) 문서 관리를 위한 데이터 분산 처리 방법 및 그를 위한 장치
WO2023052869A1 (en) Secure encryption of partial blocks
WO2022068235A1 (zh) 基于信息的属性生成随机数的信息处理方法、装置及设备
Ghoshal et al. Exploiting block-chain data structure for auditorless auditing on cloud data
CN112131591A (zh) 对信息的密文进行压缩的加密方法、装置、设备及介质
CN115499244A (zh) 一种基于数据湖的流式数据安全传输和存储方法
CN111506913B (zh) 音频加密方法和装置、存储介质及电子装置
CN112165383B (zh) 基于共享根密钥的加密方法、装置、设备及介质
US20240062241A1 (en) Method and system to encode user visibility count
WO2022068234A1 (zh) 基于共享根密钥的加密方法、装置、设备及介质
CN112202453A (zh) 对密文进行压缩的信息处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant