CN113806443A - 一种数据可信存储方法、系统、介质、设备及终端 - Google Patents

一种数据可信存储方法、系统、介质、设备及终端 Download PDF

Info

Publication number
CN113806443A
CN113806443A CN202110955869.1A CN202110955869A CN113806443A CN 113806443 A CN113806443 A CN 113806443A CN 202110955869 A CN202110955869 A CN 202110955869A CN 113806443 A CN113806443 A CN 113806443A
Authority
CN
China
Prior art keywords
data
storage
trusted
block chain
ipfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110955869.1A
Other languages
English (en)
Other versions
CN113806443B (zh
Inventor
裴庆祺
夏龙云
卫佳
冯杰
刘雷
赵冬晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Xidian Lianrong Technology Co ltd
Xidian University
Original Assignee
Xi'an Xidian Lianrong Technology Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Xidian Lianrong Technology Co ltd, Xidian University filed Critical Xi'an Xidian Lianrong Technology Co ltd
Priority to CN202110955869.1A priority Critical patent/CN113806443B/zh
Publication of CN113806443A publication Critical patent/CN113806443A/zh
Application granted granted Critical
Publication of CN113806443B publication Critical patent/CN113806443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于区块链与数据可信存储技术领域，公开了一种数据可信存储方法、系统、介质、设备及终端，所述数据可信存储系统，包括数据产生模块、数据采集模块、数据可信预处理模块、数据分布式存储模块以及数据一致性校验模块。本发明的基于区块链、预言机、星际文件传输系统IPFS、大数据处理平台的可信数据存储的系统及方法，使用区块链技术解决去中心化问题，使用大数据平台进行数据预处理弥补区块链的计算能力和处理能力，使用星际文件传输系统进行链外存储，使用预言机保证数据真实性和准确性，达到解决智能电网海量交易和海量数据的应用场景下区块链数据存储空间、吞吐量和网络延迟对于系统性整体性能的限制和链外数据的可信调用目的。

Description

一种数据可信存储方法、系统、介质、设备及终端
技术领域
本发明属于区块链与数据可信存储技术领域，尤其涉及一种数据可信存储方法、系统、介质、设备及终端。
背景技术
目前，在传统智能电网中，会产生海量的电力数据、交易数据等数据。这些数据来源广泛、数据量大并且涉及到大量用户隐私。智能电表等设备产生的数据需要中心化存储在服务器上。中心化存储容易被恶意攻击，一旦中心服务器宕机，容易对整个智能电网系统造成恶劣影响。
目前各个领域都尝试使用区块链技术来解决去中心化的问题。同时，区块链的本质是一个不可篡改的分布式账本，可以实现数据的可信存储。但是，在海量交易和海量数据的场景下，区块链网络的交易处理速度和吞吐量直接影响到区块链的整体性能，并且由于数据量巨大，实时变化，不适宜直接存储到区块链系统中。同时，由于电网数据属于链外数据，其数据来源的真实性和准确性也无法得到保证。
因此，针对智能电网的应用场景和存在的问题，亟需涉及一种数据可信存储方法及系统。
通过上述分析，现有技术存在的问题及缺陷为：
(1)中心化存储容易被恶意攻击，一旦中心服务器宕机，容易对整个智能电网系统造成恶劣影响。
(2)在海量交易和海量数据的场景下，区块链网络的交易处理速度和吞吐量直接影响到区块链的整体性能。
(3)由于数据量巨大，实时变化，不适宜直接存储到区块链系统中；同时由于电网数据属于链外数据，其数据来源的真实性和准确性也无法得到保证。
解决以上问题及缺陷的难度为：
(1)去中心化存储即分布式存储会增加技术难度和存储成本。
(2)区块链系统本身的限制造成提升区块链整体性能的难度。
(3)链外数据的数据量以及真实性和准确性问题不能从数据源直接解决，只能通过技术手段先进行处理，额外增加技术难度。
解决以上问题及缺陷的意义为：
(1)通过增加一定的存储和技术成本来保障整个智能电网系统的安全性与可靠性。
(2)在不影响整个区块链系统的情况下牺牲一定的可靠性可以提升区块链系统的整体性能。
(3)通过技术手段解决数据量问题以及保证数据来源的真实性和准确性可以降低对于区块链整体性能的要求。
发明内容
针对现有技术存在的问题，本发明提供了一种数据可信存储方法、系统、介质、设备及终端，尤其涉及一种基于区块链和预言机的数据可信存储方法、系统、介质、设备及终端。
本发明是这样实现的，一种数据可信存储系统，所述数据可信存储系统，包括数据产生模块、数据采集模块、数据可信预处理模块、数据分布式存储模块以及数据一致性校验模块。
其中，所述数据产生模块，用于进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；
所述数据采集模块，用于通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
所述数据可信预处理模块，用于完成对采集到的数据进行可信预处理功能；
所述数据分布式存储模块，用于完成两个功能，分别是根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；
所述数据一致性校验模块，用于完成对区块链上存储的数据过程和数据结果与IPFS上的数据的一致性校验功能。
本发明的另一目的在于提供一种应用所述的数据可信存储系统的数据可信存储方法，所述数据可信存储方法包括以下步骤：
步骤一，进行节点数据的产生；
步骤二，进行数据采集，保证链外数据的可信性；
步骤三，进行数据可信预处理，降低对于区块链性能要求的限制，同时使数据便于存储；
步骤四，进行数据分布式存储；
步骤五，进行数据一致性校验，保障数据存储的准确性。
进一步，步骤二中，所述数据采集，包括：
(1)智能电网中产生的数据由智能电表和传感器的数据采集设备采集；
(2)数据采集后，直接传输到预言机，触发预言机智能合约。
其中，步骤(1)中，所述数据是指节点产生的数据，由一种或多种海量的结构化的、非结构化的以及半结构化的数据无规则的组合到一起，且以数据流的形式存在。
进一步，步骤三中，所述数据可信预处理，包括：
(1)数据触发预言机智能合约，预言机调用数据；
(2)预言机调用数据到大数据处理平台对数据进行预处理；
(3)大数据处理平台预处理后的数据与预言机调用的数据进行比对；如果数据被篡改，则结束进程，如果数据没有被篡改，则继续处理数据；
(4)将数据操作记录在区块链中。
进一步，步骤(2)中，所述数据预处理，包括数据采集、数据清洗、数据拆分、数据消减以及数据标记；其中，所述数据预处理不改变所需数据本身，只是使数据更加结构化，并剔除非所需数据。
步骤(3)中，由于数据预处理不改变数据本身，所以数据实现比对来判断是否被篡改。
进一步，步骤四中，所述数据分布式存储，包括：
(1)判断数据是需要流处理的数据还是需要批处理的数据；
(2)对于需要流处理的数据，直接进行步骤(4)处理；
(3)对于需要批处理的数据，先进行缓存，缓存达到阈值后，再进行步骤(4)处理；
(4)分别将数据的存储结果和过程存储至区块链，将数据存储至IPFS。
其中，步骤(1)中，所述需要流处理的数据是指，必须实时处理、突发性的数据；需要批处理的数据是指，持续不间断产生、长时间动态变化的数据。
步骤(3)中，所述阈值是指提前设定好的数据缓存到可进行步骤(4)的数据量。
进一步，步骤五中，所述数据一致性校验，包括：
(1)区块链向预言机发起校验数据的请求，并对预言机进行授权；
(2)预言机根据授权生成获得数据的凭证；
(3)预言机请求调用数据并发送凭证到IPFS；
(4)IPFS验证凭证的合法性，如果凭证合法则进行下一步操作；
(5)IPFS将相应数据发送给预言机；
(6)预言机将数据发送给区块链；
(7)区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中。
其中，步骤(1)和步骤(2)中，所述授权和凭证均是通过分布式身份DID系统来实现的，即每个节点都需要进行认证获取DID成为可信节点，生成步骤(2)中所需凭证，完成授权。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
对采集到的数据进行可信预处理；根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；对区块链上存储的数据过程和数据结果与IPFS上的数据进行一致性校验。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
对采集到的数据进行可信预处理；根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；对区块链上存储的数据过程和数据结果与IPFS上的数据进行一致性校验。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的数据可信存储系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的数据可信存储方法，尤其涉及一种智能电网中基于区块链的通过预言机调用链外数据的通过IPFS可信存储数据的实现方法。
针对智能电网的应用场景和存在的问题，本发明设计了一套基于区块链、预言机、星际文件传输系统IPFS、大数据处理平台的可信数据存储的系统及方法，使用区块链技术解决去中心化的问题，使用大数据平台进行数据预处理弥补区块链的计算能力和处理能力，使用星际文件传输系统进行链外存储，使用预言机保证数据的真实性和准确性，以达到解决智能电网海量交易和海量数据的应用场景下区块链数据存储空间、吞吐量和网络延迟对于系统性整体性能的限制和链外数据的可信调用的目的。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据可信存储系统结构框图；
图中：1、数据产生模块；2、数据采集模块；3、数据可信预处理模块；4、数据分布式存储模块；5、数据一致性校验模块。
图2是本发明实施例提供的数据可信存储系统结构原理图。
图3是本发明实施例提供的数据可信存储方法流程图。
图4是本发明实施例提供的数据可信预处理流程图。
图5是本发明实施例提供的数据分布式存储流程图。
图6是本发明实施例提供的数据存储校验流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种数据可信存储方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的数据可信存储系统，包括数据产生模块1、数据采集模块2、数据可信预处理模块3、数据分布式存储模块4以及数据一致性校验模块5。
数据产生模块1，用于进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；
数据采集模块2，用于通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
数据可信预处理模块3，用于完成对采集到的数据进行可信预处理功能；
数据分布式存储模块4，用于完成两个功能，分别是根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；
数据一致性校验模块5，用于完成对区块链上存储的数据过程和数据结果与IPFS上的数据的一致性校验功能。
本发明实施例提供的数据可信存储系统结构原理图如图2所示。
如图3所示，本发明实施例提供的数据可信存储方法包括以下步骤：
S101，进行节点数据的产生；
S102，进行数据采集；
S103，进行数据可信预处理；
S104，进行数据分布式存储；
S105，进行数据一致性校验。
下面结合具体实施例对本发明的技术方案作进一步描述。
实施例1
本发明在智能电网应用中，主要涉及到两种设备：包括节点上接入的智能电表、传感器等产生数据流的硬件数据采集设备以及节点上搭载的区块链、大数据处理平台、预言机、IPFS集成的软件系统。
智能电表、传感器等数据采集设备负责采集智能电网中产生的各种数据。在传统电网中会将数据上报到服务器，而本发明中数据采集设备在节点通过集成的包含区块链、大数据处理平台、预言机、IPFS的软件系统直接接入区块链网络。对于现有技术来说，区块链通过智能合约直接调用外部数据以及数据直接存储到链外无法保证数据的可信性。所以本发明使用预言机技术来调用数据，保证数据的可信性。
如图4所示，本发明实施例提供的数据可信预处理如下：
S301，由数据采集模块采集的未经过预处理的数据；
S302，未处理的数据在节点上经由预言机直接调用，保证数据的可信性(默认节点为可信节点)；
S303，预言机调用的数据由大数据平台进行预处理，预处理包括但不限于数据采集、数据清洗、数据拆分、数据消减、数据标记，需要注意的是该数据预处理过程只是使数据更加结构化，并不改变数据本身；
S304，大数据处理平台预处理后的数据与预言机调用的数据进行比对，由于预处理过程不改变数据本身，所以数据篡改与数据处理是有区别并且可区分的，如果数据被篡改，则结束进程；如果数据没有被篡改，则继续处理数据；
S305，如果数据未被篡改，则将数据操作记录在区块链中。
如图5所示，本发明实施例提供的数据分布式存储流程如下：
S401，节点数据流经过大数据平台预处理后成为有效的、结构化的、有规则的、可直接存储的友好数据；
S402，针对持续不间断产生、长时间动态变化的数据和必须实时处理、突发性的数据区分开来，例如用电量数据和电费交易数据，分别进行数据批处理和数据流处理；
S403，对持续不间断产生、长时间动态变化的数据进行数据批处理，即先对数据进行缓存，只将缓存的过程上链；
S404，判断当前缓存的数据量是否达到提前设定好的阈值时，如果达到阈值进行下一步操作，否则继续缓存数据；
S405，将必须实时处理、突发性的流数据和已经达到缓存阈值的批数据的存储结果和过程存储到区块链上，将数据存储到IPFS上；
S406，此时，数据完成分布式存储的过程。
如图6所示，本发明实施例提供的数据一致性校验流程如下：
S501区块链向预言机发起校验数据的请求，并对预言机进行授权(该授权来自于用户的授权)；
S502，预言机根据授权生成获得数据的凭证；
S503，预言机请求调用数据并发送凭证到IPFS；
S504，IPFS验证凭证的合法性，如果凭证合法则进行下一步操作；
S505，IPFS将相应数据发送给预言机；
S506，预言机将数据发送给区块链；
S507，区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中。
实施例2
本发明以智能电网系统对某用户的用电数据进行存储为例，整个过程包括数据预处理、流数据分布式存储、批数据分布式存储、数据存储一致性校验、数据查询等；某用户节点上数据存储以及数据查询的整个流程如下：
1.数据预处理的流程如下：
步骤一：数据采集，通过传感器/智能电网等设备获取到的用户节点数据；
步骤二：数据清洗，去除噪声数据；
步骤三：数据拆分，将不同类型的数据区分开；
步骤四：数据消减，将同一类型的数据聚集在一起，组成数据集；
步骤五：数据标记，标记特定数据，便于审计与追踪。
2.流数据分布式存储的流程如下：
步骤一：获得经过大数据平台预处理后成为有效的、结构化的、有规则的、可直接存储的友好数据；
步骤二：针对必须实时处理、突发性的数据，例如电费交易数据，进行数据数据流处理；
步骤三：对数据做Hash运算，通过智能合约以交易的方式存储到区块链上，并维护一个交易列表；
步骤四：将数据本身分布式存储到IPFS上。
3.批数据分布式存储的流程如下：
步骤一：获得经过大数据平台预处理后成为有效的、结构化的、有规则的、可直接存储的友好数据；
步骤二：针对持续不间断产生、长时间动态变化的数据，例如用电量数据，进行数据数据批处理；
步骤三：将数据实时缓存，并构建成一个merkle树；
步骤四：数据达到预先设定的阈值时，停止缓存。将merkle root存储到区块链上；
步骤五：将数据本身分布式存储到IPFS上。
4.数据存储一致性校验的流程如下：
步骤一：区块链平台向预言机发起校验数据的请求，并对预言机进行授权(该授权来自于用户对于区块链平台的授权)；
步骤二：预言机根据授权生成获得相关数据的凭证；
步骤三：预言机请求调用数据并发送凭证到IPFS；
步骤四：IPFS验证凭证的合法性，如果凭证合法则进行下一步操作；
步骤五：IPFS将相应数据发送给预言机；
步骤六：预言机将数据发送给区块链；
步骤七：区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；
步骤八：如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中。
5.某用户请求查询数据的流程如下：
步骤一：用户在区块链平台上通过智能合约请求获取数据，并提供授权；
步骤二：区块链平台根据授权生成凭证；
步骤三：区块链查询数据是否存在？是否通过了一致性校验？如果数据不存在，则获取数据失败；若数据存在，一致性校验不通过，则获取数据失败，并返回数据一致性校验结果；如果数据存在且通过了一致性校验，则说明数据完成了可信存储，用户可以获得到可信数据；
步骤四：区块链平台通过智能合约向预言机请求调用相关数据，并发送凭证；
步骤五：预言机向IPFS请求调用相关数据，并发送凭证；
步骤六：IPFS验证凭证，验证通过后，用户可直接通过IPFS获取到数据，并将获取记录上链；也可以通过区块链平台和预言机将数据发送给用户。
在上述实施例2中，数据可信预处理后进行数据存储相较于未进行数据可信预处理约提升区块链性能30％—50％；在链外数据读取过程中，预言机的使用相较于不使用预言机可以在一定程度上提升数据来源的可靠性，并100％保证数据传输过程中的可靠性；在链外数据分布式存储的过程中，预言机的使用相较于不使用预言机可以100％保证数据存储的准确性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种数据可信存储系统，其特征在于，所述数据可信存储系统，包括数据产生模块、数据采集模块、数据可信预处理模块、数据分布式存储模块以及数据一致性校验模块；
其中，所述数据产生模块，用于进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；
所述数据采集模块，用于通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
所述数据可信预处理模块，用于完成对采集到的数据进行可信预处理功能；
所述数据分布式存储模块，用于完成两个功能，分别是根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；
所述数据一致性校验模块，用于完成对区块链上存储的数据过程和数据结果与IPFS上的数据的一致性校验功能。
2.一种实施权利要求1所述的数据可信存储系统的数据可信存储方法，其特征在于，所述数据可信存储方法包括以下步骤：
步骤一，进行节点数据的产生；
步骤二，进行数据采集；
步骤三，进行数据可信预处理；
步骤四，进行数据分布式存储；
步骤五，进行数据一致性校验。
3.如权利要求2所述的数据可信存储方法，其特征在于，步骤二中，所述数据采集，包括：
(1)智能电网中产生的数据由智能电表和传感器的数据采集设备采集；
(2)数据采集后，直接传输到预言机，触发预言机智能合约；
其中，步骤(1)中，所述数据是指节点产生的数据，由一种或多种海量的结构化的、非结构化的以及半结构化的数据无规则的组合到一起，且以数据流的形式存在。
4.如权利要求2所述的数据可信存储方法，其特征在于，步骤三中，所述数据可信预处理，包括：
(1)数据触发预言机智能合约，预言机调用数据；
(2)预言机调用数据到大数据处理平台对数据进行预处理；
(3)大数据处理平台预处理后的数据与预言机调用的数据进行比对；如果数据被篡改，则结束进程，如果数据没有被篡改，则继续处理数据；
(4)将数据操作记录在区块链中。
5.如权利要求4所述的数据可信存储方法，其特征在于，步骤(2)中，所述数据预处理，包括数据采集、数据清洗、数据拆分、数据消减以及数据标记；其中，所述数据预处理不改变所需数据本身，只是使数据更加结构化，并剔除非所需数据；
步骤(3)中，由于数据预处理不改变数据本身，所以数据实现比对来判断是否被篡改。
6.如权利要求2所述的数据可信存储方法，其特征在于，步骤四中，所述数据分布式存储，包括：
(1)判断数据是需要流处理的数据还是需要批处理的数据；
(2)对于需要流处理的数据，直接进行步骤(4)处理；
(3)对于需要批处理的数据，先进行缓存，缓存达到阈值后，再进行步骤(4)处理；
(4)分别将数据的存储结果和过程存储至区块链，将数据存储至IPFS；
其中，步骤(1)中，所述需要流处理的数据是指，必须实时处理、突发性的数据；需要批处理的数据是指，持续不间断产生、长时间动态变化的数据；
步骤(3)中，所述阈值是指提前设定好的数据缓存到可进行步骤(4)的数据量。
7.如权利要求2所述的数据可信存储方法，其特征在于，步骤五中，所述数据一致性校验，包括：
(1)区块链向预言机发起校验数据的请求，并对预言机进行授权；
(2)预言机根据授权生成获得数据的凭证；
(3)预言机请求调用数据并发送凭证到IPFS；
(4)IPFS验证凭证的合法性，如果凭证合法则进行下一步操作；
(5)IPFS将相应数据发送给预言机；
(6)预言机将数据发送给区块链；
(7)区块链对数据的一致性进行校验，如果校验通过，则完成数据的可信存储全过程；如果校验不通过，则说明数据被篡改，则此数据无效，并记录在区块链中；
其中，步骤(1)和步骤(2)中，所述授权和凭证均是通过分布式身份DID系统来实现的，即每个节点都需要进行认证获取DID成为可信节点，生成步骤(2)中所需凭证，完成授权。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
对采集到的数据进行可信预处理；根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；对区块链上存储的数据过程和数据结果与IPFS上的数据进行一致性校验。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
进行节点产生的数据，所述数据由一种或多种海量的结构化、非结构化以及半结构化的数据无规则的组合到一起，并且以数据流的形式存在；通过智能电表和传感器在内的数据采集设备采集智能电网中产生的各种数据，采集的数据由预言机调用；
对采集到的数据进行可信预处理；根据数据类型的不同分别对数据进行数据流处理和数据批处理以及对数据的存储过程和存储结果存储到区块链上，将数据本身存储到链外IPFS上；对区块链上存储的数据过程和数据结果与IPFS上的数据进行一致性校验。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1所述的数据可信存储系统。
CN202110955869.1A 2021-08-19 2021-08-19 一种数据可信存储方法、系统、介质、设备及终端 Active CN113806443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110955869.1A CN113806443B (zh) 2021-08-19 2021-08-19 一种数据可信存储方法、系统、介质、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110955869.1A CN113806443B (zh) 2021-08-19 2021-08-19 一种数据可信存储方法、系统、介质、设备及终端

Publications (2)

Publication Number Publication Date
CN113806443A true CN113806443A (zh) 2021-12-17
CN113806443B CN113806443B (zh) 2024-04-05

Family

ID=78941498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110955869.1A Active CN113806443B (zh) 2021-08-19 2021-08-19 一种数据可信存储方法、系统、介质、设备及终端

Country Status (1)

Country Link
CN (1) CN113806443B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594911A (zh) * 2022-03-13 2022-06-07 西安电子科技大学 基于链下纠删码分布式存储的区块链数据存储系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930852A (zh) * 2020-09-29 2020-11-13 北京百度网讯科技有限公司 基于区块链的数据处理方法、装置、设备以及存储介质
WO2021017433A1 (zh) * 2019-07-31 2021-02-04 创新先进技术有限公司 基于智能合约的数据授权方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017433A1 (zh) * 2019-07-31 2021-02-04 创新先进技术有限公司 基于智能合约的数据授权方法及装置
CN111930852A (zh) * 2020-09-29 2020-11-13 北京百度网讯科技有限公司 基于区块链的数据处理方法、装置、设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李瑾;仵松颀;张森林;陆月明;: "基于区块链的分布式电能量数据可信存储机制", 网络与信息安全学报, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114594911A (zh) * 2022-03-13 2022-06-07 西安电子科技大学 基于链下纠删码分布式存储的区块链数据存储系统及方法
CN114594911B (zh) * 2022-03-13 2024-03-29 西安电子科技大学 基于链下纠删码分布式存储的区块链数据存储系统及方法

Also Published As

Publication number Publication date
CN113806443B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN108810006B (zh) 资源访问方法、装置、设备及存储介质
CN107465656B (zh) 一种基于云计算的安防监控大数据处理方法及系统
CN108923908B (zh) 授权处理方法、装置、设备及存储介质
US8332952B2 (en) Time window based canary solutions for browser security
CN112333198B (zh) 安全跨域登录方法、系统及服务器
US8850185B1 (en) Post attack man-in-the-middle detection
US10936727B2 (en) Detection of second order vulnerabilities in web services
CN110445615B (zh) 网络请求安全性验证方法、装置、介质及电子设备
CN113076376B (zh) 基于区块链的多方异步抽样共识方法及系统及装置及介质
CN112367338A (zh) 恶意请求检测方法及装置
CN110324416A (zh) 下载路径跟踪方法、装置、服务器、终端及介质
CN112511316A (zh) 单点登录接入方法、装置、计算机设备及可读存储介质
CN113742660A (zh) 应用程序许可管理系统及方法
CN113806443A (zh) 一种数据可信存储方法、系统、介质、设备及终端
CN111125168B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN111092958B (zh) 一种节点接入方法、装置、系统及存储介质
CN114866247B (zh) 一种通信方法、装置、系统、终端及服务器
CN109828852A (zh) 一种权限管理方法、装置、系统、设备及可读存储介质
CN116055051A (zh) 一种基于区块链网络的数据处理方法及相关设备
CN113225348A (zh) 请求防重放校验方法和装置
Su Cross-chain interaction model in a fully verified way
CN113032820A (zh) 文件存储方法、访问方法、装置、设备及存储介质
CN114117373B (zh) 一种基于密钥的设备认证系统和方法
CN111163088B (zh) 消息处理方法、系统、装置及电子设备
CN111654864B (zh) 二次鉴权方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Applicant after: XIDIAN University

Applicant after: Xi'an Lianrong Technology Co.,Ltd.

Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Applicant before: XIDIAN University

Applicant before: XI'AN XIDIAN LIANRONG TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant