CN115941209A - 区块链去中心化可信数据采集方法及系统 - Google Patents
区块链去中心化可信数据采集方法及系统 Download PDFInfo
- Publication number
- CN115941209A CN115941209A CN202310074996.XA CN202310074996A CN115941209A CN 115941209 A CN115941209 A CN 115941209A CN 202310074996 A CN202310074996 A CN 202310074996A CN 115941209 A CN115941209 A CN 115941209A
- Authority
- CN
- China
- Prior art keywords
- target data
- node
- nodes
- data
- block chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数字信息传输技术领域，公开一种区块链去中心化可信数据采集方法及系统，以解决外部数据源的可靠性问题。方法包括：获取主区块链所生成的对应当前数据采集请求的标识；代理服务器集群中各节点分别向外部不同的信息供应方获取与当前数据采集请求相对应的目标数据，再由非领导节点的其他节点将所获取的目标数据基于同一哈希算法进行压缩后发送给领导节点；领导节点基于同一哈希算法对自身所采集的目标数据进行压缩后归入与标识相对应的数据池中，并验证其他节点所携带标识的可靠性，然后将可靠的其他节点分别发送的压缩后目标数据归类到标识所对应的数据池中以在投票计数后执行相应处理。
Description
技术领域
本发明涉及新一代信息技术中的数字信息传输领域，尤其涉及一种区块链去中心化可信数据采集方法及系统。
背景技术
区块链是一个又一个区块组成的链条。每一个区块中保存了一定的信息，它们按照各自产生的时间顺序连接成链条。这个链条被保存在所有的服务器中，只要整个系统中有一台服务器可以工作，整条区块链就是安全的。这些服务器在区块链系统中被称为节点，它们为整个区块链系统提供存储空间和算力支持。如果要修改区块链中的信息，必须征得半数以上节点的同意并修改所有节点中的信息，而这些节点通常掌握在不同的主体手中，因此篡改区块链中的信息是一件极其困难的事。相比于传统的网络，区块链具有两大核心特点：一是数据难以篡改、二是去中心化。基于这两个特点，区块链所记录的信息更加真实可靠，可以帮助解决人们互不信任的问题。
然而，在区块链中的各节点在部分情况下需要获取外部第三方的数据并确保所获取数据的可靠性，当所获取的外部数据不可靠时，基于区块链的再处理也就丧失了相应的可靠性；需进一步改进。
发明内容
本发明目的在于公开一种区块链去中心化可信数据采集方法及系统，以解决外部数据源的可靠性问题。
为达上述目的，本发明公开的方法包括以下步骤：
代理服务器集群确定当前的领导节点，包括所述领导节点在内的至少三个组成所述代理服务器集群的各节点分别监听主区块链在执行合约的过程中是否产生面向外部第三方的数据采集请求类事件，如果是，获取所述主区块链所生成的对应当前数据采集请求的标识；
各节点分别向外部不同的信息供应方获取与当前数据采集请求相对应的目标数据，再由非领导节点的其他节点将所获取的目标数据基于同一哈希算法进行压缩后发送给所述领导节点，且在发送目标数据压缩后的数据帧中携带所述标识；
所述领导节点基于同一哈希算法对自身所采集的目标数据进行压缩后归入与所述标识相对应的数据池中，并验证其他节点所携带标识的可靠性，然后将可靠的其他节点分别发送的压缩后目标数据归类到所述标识所对应的数据池中以进行投票计数；
所述领导节点判断投票计数的结果是否与自身所采集的目标数据一致，如果一致，将本地目标数据携带所述标识发送给所述主区块链，否则，随机指定一与投票计数结果一致的其他节点将所采集的目标数据发送给所述主区块链，其中，被指定的其他节点在发送目标数据时携带所述标识以供所述主区块链与当前的数据采集请求进行匹配。
优选地，所述代理服务器集群以轮询的机制对领导节点进行更换。
优选地，各所述节点包括以预言机在外部网络应用层中搜寻目标数据的一类节点和以相对应插件以在其他区块链搜寻目标数据的二类节点。
优选地，所述领导节点在计数时，先以一类节点和二类节点所获取目标数据的权值分别为1判断是否存在两个票数一致的投票结果，如果是，将二类节点所获取目标数据的权值设置为一类节点所获取目标数据的权值的1.1倍再重新进行计票已确定当前数据采集请求所对应的目标数据结果；若调整权值后仍存在两个票数一致的投票结果，则产生相应的告警。
为达上述目的，本发明还公开一种区块链去中心化可信数据采集系统，包括组成代理服务器集群的至少三个以上节点，各该节点包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时与相关联的其他节点进行交互以实现上述的方法。
本发明具有以下有益效果：
代理服务器集群通过投票来确保从外部第三方所获取信息（如实时的气象数据信息、移动终端的定位信息等）的可靠性，在信息采集的过程中，集群内的各节点通过不同的信息供应方进行信息获取，通过数据来源的多元性避免了以偏概全，并通过投票机制确保了所筛选结果的可靠性。其他节点与领导节点之间基于同一哈希算法进行对目标数据进行压缩降低了网络的带宽并提高了数据传输的实时性，在投票过程中，领导节点无需对其他节点的数据一一进行解压缩处理，而是对自身所获取的目标数据也进行相应压缩，确保了投票结果计数的准确性并简化了数据处理量。在本发明中，一个采集事件对应唯一的标识，并基于标识进行该采集事件所对应代理行为中的系列数据处理过程中的分类管理和安全校验，实现了一举多得的技术效果。尤其是标识校验与基于哈希算法进行压缩后数据省略解压缩即进行计票的方式，可以充分规避集群内节点的作恶行为。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例公开的区块链去中心化可信数据采集方法的流程示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
本实施例公开一种区块链去中心化可信数据采集方法，如图1所示，包括以下步骤：
步骤S1、代理服务器集群确定当前的领导节点，包括领导节点在内的至少三个组成代理服务器集群的各节点分别监听主区块链在执行合约的过程中是否产生面向外部第三方的数据采集请求类事件，如果是，获取主区块链所生成的对应当前数据采集请求的标识。
在该步骤中，与传统Token交互针对不同的节点设置不同的Token不同的是，本实施例的标识被配置的对象是面向外部第三方的数据采集请求类事件，且监听到该事件的各节点都基于同一标识以执行后续步骤中的相应处理；其中，在一段时期（如24小时）内，各事件所对应的标识都是唯一的。
在该步骤中，代理服务器集群可以轮询的机制对领导节点进行更换。例如：在当前领导节点执行完一定数量的采集请求类事件任务时，则替换为相邻的下一节点为领导节点。
步骤S2、各节点分别向外部不同的信息供应方获取与当前数据采集请求相对应的目标数据，再由非领导节点的其他节点将所获取的目标数据基于同一哈希算法进行压缩后发送给领导节点，且在发送目标数据压缩后的数据帧中携带标识。
在该步骤中，可选地，各节点包括以预言机在外部网络应用层中搜寻目标数据的一类节点和以相对应插件以在其他区块链搜寻目标数据的二类节点。其中，一类节点基于预言机访问外部网络的通信协议可以是http、Webservice或google GRPC等。二类节点访问其他的区块链的插件可以对应BTC、EOS、eth、conflux等。
步骤S3、领导节点基于同一哈希算法对自身所采集的目标数据进行压缩后归入与标识相对应的数据池中，并验证其他节点所携带标识的可靠性，然后将可靠的其他节点分别发送的压缩后目标数据归类到标识所对应的数据池中以进行投票计数。
在该步骤中，即按标识进行安全校验和计票过程中的分类管理。当其他节点所携带的标识在领导节点的本地不存在时，即判断其为不可靠节点。
步骤S4、领导节点判断投票计数的结果是否与自身所采集的目标数据一致，如果一致，将本地目标数据携带标识发送给主区块链，否则，随机指定一与投票计数结果一致的其他节点将所采集的目标数据发送给主区块链，其中，被指定的其他节点在发送目标数据时携带标识以供主区块链与当前的数据采集请求进行匹配。
在该步骤中，其他节点根据领导节点的指示将所采集的目标数据发送给主区块链，相比于传统的将目标数据先发送给领导节点、然后再有领导节点将目标数据发送给主区块链的方式而言，减少了与上述基于哈希算法进行压缩后发送给领导节点所对应数据处理方式之间的冲突，杜绝了领导节点在数据转发过程中作恶的可能性，从而提升了数据传输的实时性和可靠性。
在该步骤中，投票结果与主区块链中的各节点的投票机制类似，以半数以上为准，不做赘述。优选地，领导节点在计数时，先以一类节点和二类节点所获取目标数据的权值分别为1判断是否存在两个票数一致的投票结果，如果是，将二类节点所获取目标数据的权值设置为一类节点所获取目标数据的权值的1.1倍再重新进行计票；以确定当前数据采集请求所对应的目标数据结果；若调整权值后仍存在两个票数一致的投票结果，则产生相应的告警。藉此，可摆脱代理服务器集群中节点的数量需设置为大于或等于3的奇数的约束，便于扩展。
综上，本实施例中的代理服务器集群本质即代理主区块链对采集的外部数据的可靠性进行筛查处理，主要用于执行去中心化可信数据验证服务等，以分担主区块链的数据处理压力且便于根据业务规模进行扩展。
实施例2
与上述方法实施例相对应的，本实施例公开一种区块链去中心化可信数据采集系统，包括组成代理服务器集群的至少三个以上节点，各该节点包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时与相关联的其他节点进行交互以实现上述的方法。
综上，本发明上述各实施例所分别公开的区块链去中心化可信数据采集方法及系统，至少具有以下优点：
代理服务器集群通过投票来确保从外部第三方所获取信息（如实时的气象数据信息、移动终端的定位信息等）的可靠性，在信息采集的过程中，集群内的各节点通过不同的信息供应方进行信息获取，通过数据来源的多元性避免了以偏概全，并通过投票机制确保了所筛选结果的可靠性。其他节点与领导节点之间基于同一哈希算法进行对目标数据进行压缩降低了网络的带宽并提高了数据传输的实时性，在投票过程中，领导节点无需对其他节点的数据一一进行解压缩处理，而是对自身所获取的目标数据也进行相应压缩，确保了投票结果计数的准确性并简化了数据处理量。在本发明中，一个采集事件对应唯一的标识，并基于标识进行该采集事件所对应代理行为中的系列数据处理过程中的分类管理和安全校验，实现了一举多得的技术效果。尤其是标识校验与基于哈希算法进行压缩后数据省略解压缩即进行计票的方式，可以充分规避集群内节点的作恶行为。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种区块链去中心化可信数据采集方法，其特征在于，包括以下步骤：
代理服务器集群确定当前的领导节点，包括所述领导节点在内的至少三个组成所述代理服务器集群的各节点分别监听主区块链在执行合约的过程中是否产生面向外部第三方的数据采集请求类事件，如果是，获取所述主区块链所生成的对应当前数据采集请求的标识；
各节点分别向外部不同的信息供应方获取与当前数据采集请求相对应的目标数据，再由非领导节点的其他节点将所获取的目标数据基于同一哈希算法进行压缩后发送给所述领导节点，且在发送目标数据压缩后的数据帧中携带所述标识；
所述领导节点基于同一哈希算法对自身所采集的目标数据进行压缩后归入与所述标识相对应的数据池中，并验证其他节点所携带标识的可靠性，然后将可靠的其他节点分别发送的压缩后目标数据归类到所述标识所对应的数据池中以进行投票计数；
所述领导节点判断投票计数的结果是否与自身所采集的目标数据一致，如果一致，将本地目标数据携带所述标识发送给所述主区块链，否则，随机指定一与投票计数结果一致的其他节点将所采集的目标数据发送给所述主区块链，其中，被指定的其他节点在发送目标数据时携带所述标识以供所述主区块链与当前的数据采集请求进行匹配。
2.根据权利要求1所述的区块链去中心化可信数据采集方法，其特征在于，所述代理服务器集群以轮询的机制对领导节点进行更换。
3.根据权利要求1或2所述的区块链去中心化可信数据采集方法，其特征在于，各所述节点包括以预言机在外部网络应用层中搜寻目标数据的一类节点和以相对应插件以在其他区块链搜寻目标数据的二类节点。
4.根据权利要求3所述的区块链去中心化可信数据采集方法，其特征在于，所述领导节点在计数时，先以一类节点和二类节点所获取目标数据的权值分别为1判断是否存在两个票数一致的投票结果；如果是，将二类节点所获取目标数据的权值设置为一类节点所获取目标数据的权值的1.1倍再重新进行计票，以确定当前数据采集请求所对应的目标数据结果；若调整权值后仍存在两个票数一致的投票结果，则产生相应的告警。
5.一种区块链去中心化可信数据采集系统，其特征在于，包括组成代理服务器集群的至少三个以上节点，各该节点包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时与相关联的其他节点进行交互以实现上述权利要求1至4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310074996.XA CN115941209B (zh) | 2023-02-07 | 2023-02-07 | 区块链去中心化可信数据采集方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310074996.XA CN115941209B (zh) | 2023-02-07 | 2023-02-07 | 区块链去中心化可信数据采集方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115941209A true CN115941209A (zh) | 2023-04-07 |
| CN115941209B CN115941209B (zh) | 2023-05-05 |
Family
ID=85835701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310074996.XA Active CN115941209B (zh) | 2023-02-07 | 2023-02-07 | 区块链去中心化可信数据采集方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115941209B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108632381A (zh) * | 2018-05-14 | 2018-10-09 | 济南浪潮高新科技投资发展有限公司 | 一种基于区块链的环境监督方法及系统 |
| WO2018209542A1 (zh) * | 2017-05-16 | 2018-11-22 | 北京大学深圳研究生院 | 一种用于去中心化域名系统的共识方法 |
| US20180349621A1 (en) * | 2017-06-01 | 2018-12-06 | Schvey, Inc. d/b/a/ Axoni | Distributed privately subspaced blockchain data structures with secure access restriction management |
| CN109872152A (zh) * | 2019-01-11 | 2019-06-11 | 平安科技（深圳）有限公司 | 基于股份授权证明机制的区块链共识方法及相关设备 |
| CN111082943A (zh) * | 2019-12-06 | 2020-04-28 | 西安电子科技大学 | 一种高效的区块链共识方法 |
| CN111092960A (zh) * | 2019-12-31 | 2020-05-01 | 北京笔新互联网科技有限公司 | 分布式数据采集系统及分布式数据采集系统的运行方法 |
| CN112395640A (zh) * | 2020-11-16 | 2021-02-23 | 国网河北省电力有限公司信息通信分公司 | 一种基于区块链的行业物联数据轻量可信共享技术 |
| CN114301715A (zh) * | 2022-01-29 | 2022-04-08 | 杭州趣链科技有限公司 | 联盟链数据安全审计方法、装置、计算机设备及存储介质 |
| US20220158840A1 (en) * | 2020-10-30 | 2022-05-19 | Cch Incorporated | Methods and systems for exchanging confidential information via a blockchain |
| CN114679282A (zh) * | 2016-02-23 | 2022-06-28 | 区块链控股有限公司 | 用区块链实施的用于安全投票和分配的计数系统和方法 |
-
2023
- 2023-02-07 CN CN202310074996.XA patent/CN115941209B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114679282A (zh) * | 2016-02-23 | 2022-06-28 | 区块链控股有限公司 | 用区块链实施的用于安全投票和分配的计数系统和方法 |
| WO2018209542A1 (zh) * | 2017-05-16 | 2018-11-22 | 北京大学深圳研究生院 | 一种用于去中心化域名系统的共识方法 |
| US20180349621A1 (en) * | 2017-06-01 | 2018-12-06 | Schvey, Inc. d/b/a/ Axoni | Distributed privately subspaced blockchain data structures with secure access restriction management |
| CN108632381A (zh) * | 2018-05-14 | 2018-10-09 | 济南浪潮高新科技投资发展有限公司 | 一种基于区块链的环境监督方法及系统 |
| CN109872152A (zh) * | 2019-01-11 | 2019-06-11 | 平安科技（深圳）有限公司 | 基于股份授权证明机制的区块链共识方法及相关设备 |
| WO2020143183A1 (zh) * | 2019-01-11 | 2020-07-16 | 平安科技（深圳）有限公司 | 基于股份授权证明机制的区块链共识方法及相关设备 |
| CN111082943A (zh) * | 2019-12-06 | 2020-04-28 | 西安电子科技大学 | 一种高效的区块链共识方法 |
| CN111092960A (zh) * | 2019-12-31 | 2020-05-01 | 北京笔新互联网科技有限公司 | 分布式数据采集系统及分布式数据采集系统的运行方法 |
| US20220158840A1 (en) * | 2020-10-30 | 2022-05-19 | Cch Incorporated | Methods and systems for exchanging confidential information via a blockchain |
| CN112395640A (zh) * | 2020-11-16 | 2021-02-23 | 国网河北省电力有限公司信息通信分公司 | 一种基于区块链的行业物联数据轻量可信共享技术 |
| CN114301715A (zh) * | 2022-01-29 | 2022-04-08 | 杭州趣链科技有限公司 | 联盟链数据安全审计方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张延华;杨兆鑫;杨睿哲;金凯;林波;司鹏搏;: "基于区块链的农产品溯源系统", 情报工程 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115941209B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111698315B (zh) | 针对区块的数据处理方法、数据处理装置及计算机设备 | |
| CN111698126B (zh) | 信息监控方法、系统及计算机可读存储介质 | |
| CN111523890A (zh) | 基于区块链的数据处理方法、装置、存储介质及设备 | |
| US20230370285A1 (en) | Block-chain-based data processing method, computer device, computer-readable storage medium | |
| CN111447069B (zh) | 一种基于区块链的低频访问数据处理方法 | |
| CN113395363A (zh) | 基于区块链的数据处理方法、装置、设备及存储介质 | |
| CN111343212B (zh) | 消息处理方法、装置、设备以及存储介质 | |
| CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN113765675B (zh) | 一种交易数据处理方法、装置、设备以及介质 | |
| CN113326165B (zh) | 基于区块链的数据处理方法、设备及计算机可读存储介质 | |
| US20230259938A1 (en) | Blockchain-based data processing method and apparatus, device, readable storage medium and computer program product | |
| CN113986835B (zh) | FastDFS分布式文件的管理方法、装置、设备及存储介质 | |
| CN111260475A (zh) | 一种数据处理方法、区块链节点设备及存储介质 | |
| CN113505260A (zh) | 人脸识别方法、装置、计算机可读介质及电子设备 | |
| CN112581129A (zh) | 区块链交易数据治理方法及装置、计算机设备及存储介质 | |
| CN112200680B (zh) | 区块链节点管理方法、装置、计算机以及可读存储介质 | |
| CN112069529B (zh) | 基于区块链的卷宗管理方法、装置、计算机以及存储介质 | |
| WO2024093593A1 (zh) | 基于多区块链的数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN112417052A (zh) | 区块链网络中的数据同步方法、装置、设备及存储介质 | |
| CN116723247A (zh) | 微服务调用方法、装置、设备及存储介质 | |
| CN114584326B (zh) | 区块链数据处理方法、装置、电子设备及存储介质 | |
| CN115941209A (zh) | 区块链去中心化可信数据采集方法及系统 | |
| CN115617781A (zh) | 数字对象创建、数据管理方法及装置 | |
| CN112118290B (zh) | 一种基于程序分析的数据资源的管控方法 | |
| CN117010889A (zh) | 数据处理方法、装置及设备、介质、产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |