CN112307501B - 基于区块链技术的大数据系统及存储方法和使用方法 - Google Patents

基于区块链技术的大数据系统及存储方法和使用方法 Download PDF

Info

Publication number
CN112307501B
CN112307501B CN202011201850.XA CN202011201850A CN112307501B CN 112307501 B CN112307501 B CN 112307501B CN 202011201850 A CN202011201850 A CN 202011201850A CN 112307501 B CN112307501 B CN 112307501B
Authority
CN
China
Prior art keywords
data
layer
module
main
block chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011201850.XA
Other languages
English (en)
Other versions
CN112307501A (zh
Inventor
陈斌
金岩
车延超
裴景秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainayun IoT Technology Co Ltd
Qingdao Hainayun Digital Technology Co Ltd
Qingdao Hainayun Intelligent System Co Ltd
Original Assignee
Qingdao Hainayun Technology Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hainayun Technology Holding Co ltd filed Critical Qingdao Hainayun Technology Holding Co ltd
Publication of CN112307501A publication Critical patent/CN112307501A/zh
Application granted granted Critical
Publication of CN112307501B publication Critical patent/CN112307501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种基于区块链技术的大数据系统,包括:基础设施层,至少具有主数据的存储和计算功能;大数据服务层,用于对基础设施层提供数据处理服务,并将存储的主数据通过加密算法生成相应的数据摘要和数据索引;区块链服务层,至少包括区块链连接层、共识协议层和区块链应用层;所述区块链连接层包括若干相互连接的具有记账功能的区块节点,所述共识协议层至少用于使各区块节点达成共识/一致;所述区块链应用层至少用于使用户查看或检索区块节点中存储的数据;本发明还涉及基于区块链技术的大数据存储方法和使用方法。本发明解决了不同行业、部门之间的数据信任问题,从技术上实现了在数据共享流程中行为的不可抵赖和可追溯。

Description

基于区块链技术的大数据系统及存储方法和使用方法
技术领域
本发明涉及区块链技术,尤其是一种基于区块链技术的大数据系统及存储方法和使用方法。
背景技术
在智慧城市的建设中,数据共享是指在城市运营管理中心的服务管理与集成能力、数据管理与集成能力、流程管理与集成能力等应用集成能力之上,充分利用智慧城市所积累的数据资源,挖掘已有的各信息化系统潜在的数据价值,进而提升各业务系统间的协同联动能力,为智慧城市运营管理者提供整合的、更加智能和高效的、响应更加灵活及时的管理服务手段和创新应用模式,方便管理者的全面监督以及各部门间的联合办公效率,从而整体提升城市的综合管理水平。然而,在实际运行过程中,由于在数据共享规则管理、流程处理等方面涉及到不同的主体,且这些主体在互信认证、用户权限、数据访问、数据处理存在诸多的差异和不同,导致在实际数据共享中难以实现,往往只是在单一业务系统内进行纵向处理,缺乏多业务间的横向联系。
区块链技术的出现,为解决上述问题带来了可能。区块链首次从技术上解决了基于信任的中心化模型带来的安全问题,它基于密码学算法保证价值的安全转移、基于哈希链及时间戳机制保证数据的可追溯和不可篡改特性、基于共识协议保证节点间区块数据的一致性。区块链以其分布式、公开透明、安全等特性使得人们可以在互联网上方便快捷、低成本地进行价值交换,是实现价值互联网的基石。
目前,针对区块链数据存储与管理的方法大多还仅仅是针对链上数据在存储性能和处理性能上的提升。伴随着智慧城市数据共享场景的不断增加,对于区块链数据的存储与管理所面对的需求将更为复杂多变,任何的布局优化方法均不可能解决所有实际应用中的问题。特别是在面对主体时,还需面对海量数据共享和频繁信息交互等实际需求,这就要通过设计和提出更为高效的数据架构,确保在多方主体参与的前提下,既能实现数据共享行为的不可篡改、可验证、行为可追溯,又能具备数据高并发、海量存储、易于扩展的能力。
鉴于此提出本发明。
发明内容
本发明的第一个目的在于克服现有技术的不足,提供一种基于区块链技术的大数据系统,解决了涉及参与多方、且多方不互信前提下的数据管理,为智慧城市跨行业、跨地域的数据共享提供了有效解决方案。
本发明的第二个目的在于提供一种基于区块链技术的大数据存储方法,用于提供一种可扩展、高性能、更加适配上层业务需求的大数据存储能力。
本发明的第三个目的在于提供一种基于区块链技术的大数据使用方法,用于提供不同参与者、不同部门在数据使用过程中的行为可追溯问题,实现对大数据的有效验证,防止数据被篡改,解决信任问题。
为了实现第一目的,本发明采用如下技术方案:
一种基于区块链技术的大数据系统,包括:
基础设施层,至少具有主数据的存储和计算功能;
大数据服务层,用于对基础设施层提供数据处理服务,并将存储的主数据通过加密算法生成相应的数据摘要和数据索引;
区块链服务层,至少包括区块链连接层、共识协议层和区块链应用层;
所述区块链连接层包括若干相互连接的具有记账功能的区块节点,所述共识协议层至少用于使各区块节点达成共识/一致;所述区块链应用层至少用于使用户查看或检索区块节点中存储的数据;
所述大数据服务层配置为将生成的数据摘要和数据索引,以及主数据拥有者的ID一同写入各区块节点进行记账。
进一步,所述共识协议层具有多种分布式算法协议,并存储在各区块节点中,用于使区块节点达成共识/一致。
进一步,所述区块链应用层包括开源和商用API模块,智能合约模块和应用程序模块;
用户可以通过开源和商用API模块访问区块节点中存储的数据摘要;
用户还可以通过开源和商用API模块发出请求,并经智能合约模块达成协议后,通过应用程序模块实现对节点中存储的数据摘要的使用和/或分析。
进一步,所述基础设施层包括,云服务器和通讯网络;用户通过通讯网络可以将主数据存储至云服务器中,所述云服务器配置有虚拟化服务和运维服务功能,所述云服务器用于对主数据的存储和计算,所述虚拟化服务用于提高云服务器资源的使用效率,所述运维服务用于调节云服务器的运行参数。
进一步,所述大数据服务层包括,数据处理层、数据支撑层和数据分析层;
所述数据处理层用于对上传至基础设施层的主数据进行数据预处理;
所述数据支撑层用于提供各类行业模型和二次开发接口,同时对各类数据服务进行资源调度和管理;
所述数据分析层用于统计分析、机器学习,以及用于业务协同智能决策的可视化展示。
进一步,所述数据处理层包括,数据加载模块、数据转换模块、数据清洗模块、数据存储模块和数据索引模块;
所述数据加载模块用于对待存储的主数据进行加载,并传输至数据转换模块;
所述数据转换模块用于对主数据进行格式转换,以符合存储要求;
所述数据清洗模块用于对主数据进行清洗,以剔除异常和噪音数据,并将清洗后的主数据传输至数据存储模块;
所述数据存储模块用于将清洗后的主数据写入基础设施层进行保存;
所述数据索引模块用于对主数据运行Hash算法生成数据摘要和生成由主数据拥有者公钥加密后的数据索引,并将加密的数据索引、数据摘要以及主数据拥有者的ID一同传送至各区块节点中。
进一步,所述数据支撑层包括,API接口,数据建模模块、任务调度模块和数据管理模块;
所述API接口用于访问存储在基础设施层中的主数据和对该主数据的二次开发;
所述数据建模模块用于提供各行业业务分析的数据模型;
所述任务调度模块用于对执行任务所需的进程/线程资源进行有效管理;
所述数据管理模块用于对基础设施层所存储主数据的配置策略、更新策略进行动态调整和设置。
为了实现第二目的,本发明采用如下技术方案:
一种基于区块链技术的大数据存储方法,利用所述的基于区块链技术的大数据系统,该存储方法包括以下步骤:
步骤一、终端用户上传需要存储的主数据;
步骤二、对上传的主数据进行预处理,以满足存储要求,然后将处理后的主数据保存至基础设施层,并根据主数据的存储位置生成明文的数据索引;
步骤三、对存储的主数据运行Hash算法,生成相应的数据摘要;对生成的明文的数据索引进行公钥加密算法,生成加密后的数据索引;
步骤四、将加密后的数据索引、数据摘要以及用户ID信息,一同传输至区块节点中;
步骤五、各区块节点达成共识/一致,完成对数据摘要、数据索引和用户ID信息的记账。
为了实现第三目的,本发明采用如下技术方案:
一种基于区块链技术的大数据使用方法,利用所述的基于区块链技术的大数据系统,该使用方法包括以下步骤:
步骤一、用户A通过区块链应用层提出与某任务相关的主数据使用请求;
步骤二、各区块节点通过共识协议层对该使用请求进行共识/一致达成,若无法达成共识/一致,则返回步骤一重新提出请求,若达成共识/一致,则执行下一步骤;
步骤三、检索与该主数据相关联的ID,并通过ID获取到加密的数据索引和数据摘要信息;
步骤四、获取数据拥有者B的私钥信息,并通过获取到的私钥对数据索引进行解密;
步骤五、根据解密后的数据索引在基础设施层找到相关联的主数据;
步骤六、对找到的主数据运行Hash算法,并生成新的数据摘要;
步骤七、将新生成的数据摘要与区块节点中查询到的数据摘要进行对比验证,如果对比结果一致,则判断主数据未更改,可以访问使用;若对比结果不一致,则表明主数据发生改动,不可使用或提醒用户对主数据做进一步验证。
进一步,该使用方法还包括:
所述步骤一至步骤七在执行过程中,将同步生成相应的日志信息,并将该日志信息进行公钥加密后与用户A的ID一同写入各区块节点中。
综上所述,本发明从提升服务效率和业务效能的角度出发,摒弃传统技术中仅仅依赖区块链单一平台的区块数据组织模式,取而代之采用一种更为高效、更加适配上层业务的数据融合架构方法和系统,即充分利用区块链平台数据不可篡改、行为可追溯的特点,以及大数据平台支持高并发、可扩展的特点,针对海量的数据资源建立起行之有效的数据管理机制,做到以数据为媒介,将单个业务的创新思想联结成创新业务网,从而基于既有数据资源的二次创新和场景创新,为跨行业、跨地域的数据共享提供一个良好的数据流通平台,提升业务间协同效率,有助于打破原有以单个行业为单元的组织模式,建立基于数据开放的新型业务协同模式。
采用本发明所述的技术方案后,带来以下有益效果:
本发明具有大数据存储和计算能力,同时存储的信息内容可以防篡改、访问行为可追溯,又可进行批量统计和分析挖掘,并可支持多业务协同工作,不同部门利用本发明可以实现数据共享,有效提升了不同部门的服务效率,而且重复发挥出了数据的潜在价值,使各部门都可以获得更多的数据资源,为行业升级迭代提供了数据支撑,解决了各行业、部门之间的数据信任问题,为智慧城市建设提供了实现的平台。
附图说明
图1:本发明的系统框图;
图2:本发明的基于区块链技术的大数据存储方法的流程图;
图3:本发明的基于区块链技术的大数据使用方法的流程图;
其中:1、数据处理层 2、数据支撑层 3、数据分析层 4、区块链连接层 5、共识协议层 6、区块链应用层。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的描述。
如图1所示,一种基于区块链技术的大数据系统,包括:基础设施层、大数据服务层和区块链服务层。所述基础设施层具有主数据的存储和计算功能,所述主数据是指用户上传的原始数据,包括视频、文档、图片、音频等任意文件。具体地,基础设施层包括云服务器和通讯网络,用户可以通过通讯网络访问云服务器,并将需要存储的数据通过通讯网络上传至云服务器中,优选地,所述云服务器配置有虚拟化服务和运维服务功能,所述虚拟化服务用于提高云服务器资源的使用效率,如根据任务需要分配相应的使用空间,支持多任务协同工作,以使云服务器的各项能力得到充分释放。所述运维服务用于调节云服务器的运行参数。
所述大数据服务层用于对基础设施层提供数据处理服务,并将存储的主数据通过加密算法生成相应的数据摘要和数据索引,其中一种实施方式中,所述数据摘要通过Hash算法加密,所述数据索引通过公钥算法加密。所述大数据服务层相当于软件架构,用于运行各种程序、算法,大数据服务层既可以由基础设施层提供硬件支持,也可以通过单独设置的硬件设施支撑运行,该硬件设施与大数据服务层相连接。
具体地,所述大数据服务层包括,数据处理层1、数据支撑层2和数据分析层3。所述数据处理层1主要用于对上传至基础设施层的主数据进行数据预处理,更具体地,该数据处理层1包括:数据加载模块、数据转换模块、数据清洗模块、数据存储模块和数据索引模块。
所述数据加载模块用于对待存储的主数据进行加载,并传输至数据转换模块,当用户向云服务器上传文件时,数据加载模块启动运行。所述数据转换模块用于对主数据进行格式转换,以符合存储要求,如不同格式的视频文件可以通过数据转换模块统一转换成MP4格式或avi格式进行存储。所述数据清洗模块用于对主数据进行清洗,以剔除异常、噪音数据,同时删除重复信息、纠正存在的错误,清洗后的主数据被传输至数据存储模块,所述数据存储模块用于将清洗后的主数据写入基础设施层进行保存,可以结合上述描述理解为存储至云服务器中。所述数据索引模块一方面用于对存储的主数据运行Hash算法,并生成相应的数据摘要,另一方面用于生成由主数据拥有者公钥加密后的数据索引,并将加密的数据索引、数据摘要以及主数据拥有者的ID一同传送至各区块节点中。其中,常见的Hash算法包括MD5、SHA1、SHA256和SHA512等。其中,MD5以512位分组来处理输入的信息,且每一分组又被划分为16个32位子分组,经过了一系列的处理后,算法的输出由四个32位分组组成,将这四个32位分组级联后将生成一个128位散列值。SHA1代表安全哈希算法1,它是一种加密哈希函数,接受输入并生成一个称为消息摘要的160位哈希值。此外,它还以十六进制数(长度为40位)呈现,速度相对MD5较慢,但是更加安全。目前SHA1的应用较为广泛,主要应用于CA和数字证书中。与SHA1相比,SHA256和SHA512的区别仅在于生成摘要的长度更长,分别为256位和512位,从而导致算法SHA512要更为安全。可见,对于数据处理性能要求较高的业务场景可采用MD5或者是SHA1算法进行处理,对于数据安全性要求较高的业务场景可采用SHA256或者是SHA512算法进行处理。
优选地,所述数据摘要还可以关联上主数据的名称、所涉及范畴(行业领域)、所属部门信息、状态、内容简要描述等信息,并一同传输至各区块节点中。
优选地,所述数据处理层1还包括数据备份模块和数据导出模块,所述数据备份模块用于在保存主数据时进行备份,所述数据导出模块可以用于管理员实现对保存的主数据进行批量导出。
所述数据支撑层2用于提供各类行业模型和二次开发接口,同时对各类数据服务进行资源调度和管理。更具体地,所述数据支撑层2包括,API接口、数据建模模块、任务调度模块和数据管理模块。
所述API接口用于访问存储在基础设施层中的主数据和对该主数据的二次开发。
所述数据建模模块用于提供各行业业务分析的数据模型,该模块主要用于建模,如可以进行一些虚拟场景的模拟,用于进行仿真或者运算。
所述任务调度模块用于对执行任务所需的进程/线程资源进行有效管理;所述数据管理模块用于对基础设施层所存储主数据的配置策略、更新策略进行动态调整和设置。
所述数据分析层3用于统计分析、机器学习,以及用于业务协同智能决策的可视化展示,具体地,所述数据分析层3包括,机器学习模块、数据可视化模块和统计报表模块。数据分析层3的功能可以根据使用场景的需要来设置,如可以设置一些特定的分析软件,并对存储的主数据进行分析。
具体地,所述区块链服务层用于提供区块链服务,并包括:区块链连接层1、共识协议层5和区块链应用层6。
所述区块链连接层1具有若干相互连接的具有记账功能的区块节点。所述共识协议层5至少用于使各区块节点达成共识/一致;共识协议层5具有多种分布式算法协议,并存储在各区块节点中,如Solo协议、PBFT协议、去中心化协议等,用于使区块节点达成共识/一致,在各区块节点达成共识/一致后,才能将需要存储的数据写入区块节点中,并保证存储数据的一致性。
所述数据索引模块通过运行Hash算法生成数据摘要,通过运行公钥加密算法生成数据索引后,将该数据摘要、数据索引以及主数据拥有者的ID一同传输至区块节点中保存,由于每个区块节点都保存了相同的数据,因此可以保证存储在区块链中的数据难以被更改,保证了信息的安全性,并且数据摘要与基础设施层存储的主数据是相关联的,这样当技术设施层存储的主数据发生变化时,数据索引模块生成的数据摘要也会变化,通过将区块节点中存储的旧的数据摘要与数据索引模块新生成的数据摘要进行对比,即可判断主数据是否被篡改,解决不同用户对主数据的安全难以达成信任的问题。
所述区块链应用层6至少用于使用户可以查看或检索区块节点中存储的数据,具体地,所述区块链应用层6包括开源和商用API模块,智能合约模块和应用程序模块。
通过开源和商用API模块可以建立起用户终端与区块节点之间的连接,使用户可以访问区块节点中存储的数据摘要、数据索引或其他信息。所述智能合约模块用于与需要使用区块节点中数据的用户达成协议,在与用户达成协议后,用户便可以访问或使用区块节点中存储的数据。所述应用程序模块可以提供相应的程序支持,根据需要,可以在应用程序模块安装程序。用户通过开源和商用API模块发出数据使用请求,并经智能合约模块达成协议后,通过应用程序模块,可以实现对节点中存储的数据摘要、数据索引或其他信息的使用和/或分析。
本发明还可以根据需要增加新的功能模块,并根据应用的场景衍生出N种解决方案,如在智慧城市的建设过程中,多个部门的信息可以存储在云服务器中,不同信息在存储时,会形成不同的数据摘要和数据索引,并存储在每个区块节点中,每个部门可以通过应用程序来访问区块节点中存储的数据摘要、数据索引和数据拥有者的ID信息等信息,如A部门将某一监控信息A-1上传至了云服务器中,并生成数据摘要a-1,当B部门需要访问监控信息A-1时,需要验证监控信息A-1是否被改动,以保证信息的可靠性,因此B部门将先在区块节点中检索找到数据摘要a-1,然后通过数据索引信息在云服务器中找到监控信息A-1,并对监控信息A-1进行Hash算法的运算,并得到数据摘要a-1',然后比较数据摘要a-1与a-1',如果a-1和a-1'完全一致,则可以判断监控信息A-1未发生变化,可以被使用,如果a-1和a-1'不一致,则可以判断监控信息A-1发生了变化,可能该数据已被纂改。
如图2所示,本发明还涉及一种基于区块链技术的大数据存储方法,主要利用了上述的基于区块链技术的大数据系统,该存储方法包括以下步骤:
步骤一、终端用户上传需要存储的主数据;
步骤二、对上传的主数据进行预处理,以满足存储要求,然后将处理后的主数据保存至基础设施层,并根据主数据的存储位置生成明文的数据索引;
步骤三、对存储的主数据运行Hash算法,生成相应的数据摘要;对生成的明文的数据索引进行公钥加密算法,生成加密后的数据索引;
步骤四、将加密后的数据索引、数据摘要以及用户ID信息,一同传输至区块节点中;
步骤五、各区块节点达成共识/一致,完成对数据摘要、数据索引和用户ID信息的记账。
具体地,在步骤一中,用户通过自己的终端设备将需要存储的信息,通过通讯网络传输至云服务器,用户在上传主数据的同时,也会将自己的ID信息传输至云服务器中。在步骤二中,所述预处理包括,对上传的主数据进行数据加载、数据转换和数据清洗,然后进行数据存储,同时也可以进行数据备份,优选地,在进行主数据存储时,按主数据的类型进行分类存储。所述步骤三中,所述的Hash算法一般音译为哈希算法,是一种把任意长度的输入(又叫做预映射,pre-image),通过散列算法,变成固定长度的输出,该输出就是散列值,这种转换是一种压缩映射,也就是散列值的空间通常远小于输入的空间,不同的输入可能会散列成相同的输出,而不可能从散列值来确定唯一的确定输入值。所述明文的数据索引是根据主数据存储位置生成的,然后进行公钥加密算法生成加密后的数据索引,该加密后的数据索引可以利用主数据拥有者的私钥进行解密。
优选地,所述步骤四中,将数据摘要、数据索引和用户ID信息一同传输至区块节点中,具体地,所述传输方式有两种,一种由数据索引模块先传输至关键区块节点,然后由关键区块节点向其他区块节点广播,另一种直接由数据索引模块向各区块节点广播。
所述步骤五中,各区块节点需要先通过协议达成共识/一致,然后才能完成数据摘要、数据索引和用户ID信息的记账,使每个区块节点中记录的信息是相同的,从而保证了信息的一致性。
通过上述存储方法,一方面将占用空间比较大的主数据保存在了云服务器中,另一方面将与主数据相关联的数据索引、数据摘要和用户的ID信息保存在了区块节点中,这部分信息占用空间小,适合通过区块链技术进行保存。
如图3所示,本发明还涉及一种基于区块链技术的大数据使用方法,主要利用上述的基于区块链技术的大数据系统,该使用方法包括以下步骤:
步骤一、用户A通过区块链应用层提出与某任务相关的主数据使用请求;
步骤二、各区块节点通过共识协议层对该使用请求进行共识/一致达成,若无法达成共识/一致,则返回步骤一重新提出请求,若达成共识/一致,则执行下一步骤;
步骤三、检索与该主数据相关联的ID,并通过ID获取到加密的数据索引和数据摘要信息;
步骤四、获取数据拥有者B的私钥信息,并通过获取到的私钥对数据索引进行解密;
步骤五、根据解密后的数据索引在基础设施层找到相关联的主数据;
步骤六、对找到的主数据运行Hash算法,并生成新的数据摘要;
步骤七、将新生成的数据摘要与区块节点中查询到的数据摘要进行对比验证,如果对比结果一致,则判断主数据未更改,可以访问使用;若对比结果不一致,则表明主数据发生改动,不可使用或提醒用户对主数据做进一步验证。
优选地,所述步骤一至步骤七在执行过程中,将同步生成相应的日志信息,并将该日志信息进行公钥加密后与用户A的ID一同写入各区块节点中,如将该用户A的请求行为以及对主数据的使用行为生成日志,并广播至各区块节点中,这样关于主数据的使用记录被完整的记录在各区块节点中,从而确保了该行为的不可抵赖和可追溯。
下面结合具体应用场景,对本发明做进一步解释说明。
S1:医院将患者H1的就医数据写入云服务器中,并为该数据创建数据索引,并对生成的数据索引运行公钥算法加密,同时,对该就医数据进行哈希运算,然后输出一条数据摘要;
S2:将数据索引、数据摘要和患者H1的ID信息,经共识协议层5达成节点共识后,以记账形式写入各区块节点中,形成账本;
S3:社保中心经过患者H1授权后,得到患者H1的私钥,然后通过区块链应用层6提供的API或应用程序,完成对该患者H1账本数据的检索(主要通过患者H1的ID信息来进行检索),并得到关于患者H1的就医数据的数据索引和数据摘要;
S4:社保中心利用患者H1的私钥,解密数据索引,然后基于解密后的数据索引,查询到云服务器中所存储的、该患者H1的就医数据,将该就医数据做哈希运算,并与从区块节点中获取的数据摘要进行比对。如果二者不相同,说明云服务器中的就医数据有被篡改的可能,发出风险警告;否则,可在大数据服务层执行基本医保结算,并将结果写入云服务器中,并形成关于该基本医保结算结果的数据索引和数据摘要,然后经共识协议层5达成节点共识后,写入各区块节点中。
S5:按照区块链应用层6的智能合约逻辑,当接收到来自社保中心的结算结果之后,商业保险公司可采取与S3类似的步骤,即经过患者H1授权后,可通过区块链应用层6提供的API或应用程序,完成对该患者H1账本中就医和医保结算结果的数据索引、数据摘要的检索;
S6:类似于S4,商业保险公司可对云服务器中涉及该患者H1的就医数据和医保结算数据进行检索并校验无误后,进行商保的二次报销,整个数据共享业务结束,最终完成针对患者的商保赔付流程。
以上所述为本发明的实施方式,应当指出,对于本领域的普通技术人员而言,在不脱离本发明原理前提下,还可以做出多种变形和改进,这也应该视为本发明的保护范围。

Claims (2)

1.一种基于区块链技术的大数据系统,其特征在于,包括:
基础设施层,至少具有主数据的存储和计算功能,所述主数据是指用户上传的原始数据;
大数据服务层,用于对基础设施层提供数据处理服务,并将存储的主数据通过加密算法生成相应的数据摘要和数据索引,所述大数据服务层相当于软件架构,由基础设施层提供硬件支持;
区块链服务层,至少包括区块链连接层、共识协议层和区块链应用层;
所述区块链连接层包括若干相互连接的具有记账功能的区块节点,所述共识协议层至少用于使各区块节点达成共识/一致;所述区块链应用层至少用于使用户查看或检索区块节点中存储的数据;
所述大数据服务层配置为将生成的数据摘要和数据索引,以及主数据拥有者的ID一同写入各区块节点进行记账;
所述大数据服务层包括,数据处理层、数据支撑层和数据分析层;
所述数据处理层用于对上传至基础设施层的主数据进行数据预处理;
所述数据支撑层用于提供各类行业模型和二次开发接口,同时对各类数据服务进行资源调度和管理;
所述数据分析层用于统计分析、机器学习,以及用于业务协同智能决策的可视化展示;
所述数据处理层包括,数据加载模块、数据转换模块、数据清洗模块、数据存储模块和数据索引模块;
所述数据加载模块用于对待存储的主数据进行加载,并传输至数据转换模块;
所述数据转换模块用于对主数据进行格式转换,以符合存储要求;
所述数据清洗模块用于对主数据进行清洗,以剔除异常和噪音数据,并将清洗后的主数据传输至数据存储模块;
所述数据存储模块用于将清洗后的主数据写入基础设施层进行保存;
所述数据索引模块用于对主数据运行Hash算法生成数据摘要和生成由主数据拥有者公钥加密后的数据索引,并将加密的数据索引、数据摘要以及主数据拥有者的ID一同传送至各区块节点中;
所述数据处理层还包括数据备份模块和数据导出模块,所述数据备份模块用于在保存主数据时进行备份,所述数据导出模块可以用于管理员实现对保存的主数据进行批量导出;
所述区块链应用层包括开源和商用API模块,智能合约模块和应用程序模块;
用户可以通过开源和商用API模块访问区块节点中存储的数据摘要;
用户还可以通过开源和商用API模块发出请求,并经智能合约模块达成协议后,通过应用程序模块实现对节点中存储的数据摘要的使用和/或分析;
所述智能合约模块用于与需要使用区块节点中数据的用户达成协议,在与用户达成协议后,用户便可以访问或使用区块节点中存储的数据;
所述共识协议层具有多种分布式算法协议,并存储在各区块节点中,用于使区块节点达成共识/一致;
所述基础设施层包括,云服务器和通讯网络;多台终端设备通过通讯网络与云服务器连接,用户通过通讯网络可以将主数据存储至云服务器中,所述云服务器配置有虚拟化服务和运维服务功能,所述云服务器用于对主数据的存储和计算,所述虚拟化服务用于提高云服务器资源的使用效率,所述运维服务用于调节云服务器的运行参数;
所述数据支撑层包括,API接口,数据建模模块、任务调度模块和数据管理模块;
所述API接口用于访问存储在基础设施层中的主数据和对该主数据的二次开发;
所述数据建模模块用于提供各行业业务分析的数据模型;
所述任务调度模块用于对执行任务所需的进程/线程资源进行有效管理;
所述数据管理模块用于对基础设施层所存储主数据的配置策略、更新策略进行动态调整和设置。
2.一种基于区块链技术的大数据使用方法,其特征在于,利用如权利要求1所述的基于区块链技术的大数据系统,该使用方法包括以下步骤:
步骤一、用户A通过区块链应用层提出与某任务相关的主数据使用请求;
步骤二、各区块节点通过共识协议层对该使用请求进行共识/一致达成,若无法达成共识/一致,则返回步骤一重新提出请求,若达成共识/一致,则执行下一步骤;
步骤三、检索与该主数据相关联的ID,并通过ID获取到加密的数据索引和数据摘要信息;
步骤四、获取数据拥有者B的私钥信息,并通过获取到的私钥对数据索引进行解密;
步骤五、根据解密后的数据索引在基础设施层找到相关联的主数据;
步骤六、对找到的主数据运行Hash算法,并生成新的数据摘要;
步骤七、将新生成的数据摘要与区块节点中查询到的数据摘要进行对比验证,如果对比结果一致,则判断主数据未更改,可以访问使用;若对比结果不一致,则表明主数据发生改动,不可使用或提醒用户对主数据做进一步验证;
所述步骤一至步骤七在执行过程中,将同步生成相应的日志信息,并将该日志信息进行公钥加密后与用户A的ID一同写入各区块节点中;
该使用方法还包括:
用户通过开源和商用API模块发出数据使用请求,并经智能合约模块达成协议后,通过应用程序模块,对节点中存储的数据摘要、数据索引或其他信息的使用和/或分析。
CN202011201850.XA 2020-08-20 2020-11-02 基于区块链技术的大数据系统及存储方法和使用方法 Active CN112307501B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010844371 2020-08-20
CN2020108443713 2020-08-20

Publications (2)

Publication Number Publication Date
CN112307501A CN112307501A (zh) 2021-02-02
CN112307501B true CN112307501B (zh) 2021-12-10

Family

ID=74334189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011201850.XA Active CN112307501B (zh) 2020-08-20 2020-11-02 基于区块链技术的大数据系统及存储方法和使用方法

Country Status (1)

Country Link
CN (1) CN112307501B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950229A (zh) * 2021-03-15 2021-06-11 杭州云象网络技术有限公司 区块链复合溯源方法及溯源与标识解析系统
CN113065897A (zh) * 2021-04-09 2021-07-02 海南电网有限责任公司 一种智慧营销管理系统及其实现方法
CN113572790B (zh) * 2021-09-18 2022-01-25 深圳时空云科技有限公司 私密信息的分布式处理方法与装置
CN113821549B (zh) * 2021-09-23 2023-08-08 广东科学技术职业学院 一种基于云存储的区块链数据检索系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682530A (zh) * 2017-01-10 2017-05-17 杭州电子科技大学 一种基于区块链技术的医疗信息共享隐私保护方法及装置
CN109119130A (zh) * 2018-07-11 2019-01-01 上海夏先机电科技发展有限公司 一种基于云计算的大数据健康管理系统及方法
CN109243548A (zh) * 2018-08-22 2019-01-18 广东工业大学 一种基于区块链技术的医疗数据平台
CN109768987A (zh) * 2019-02-26 2019-05-17 重庆邮电大学 一种基于区块链的数据文件安全隐私存储和分享方法
CN110390516A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于数据处理的方法、装置和计算机程序产品
CN110400642A (zh) * 2019-06-12 2019-11-01 梁胤豪 一种基于区块链技术的医疗数据共享系统及设计方法
CN111261250A (zh) * 2020-01-19 2020-06-09 江苏恒宝智能系统技术有限公司 一种基于区块链技术的医疗数据共享方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10320574B2 (en) * 2017-05-05 2019-06-11 International Business Machines Corporation Blockchain for open scientific research
US11055419B2 (en) * 2017-12-01 2021-07-06 Alan Health and Science Decentralized data authentication system for creation of integrated lifetime health records
CN109978693A (zh) * 2019-03-29 2019-07-05 上海点融信息科技有限责任公司 用于在区块链网络中进行分布式签名的方法、装置及介质
CN110889291B (zh) * 2019-11-21 2023-06-27 山东浪潮科学研究院有限公司 一种基于深度学习和区块链的研报评价方法
CN111181946B (zh) * 2019-12-24 2021-05-18 浙江大学 一种基于区块链和物联网的可信溯源系统及方法
CN111343001B (zh) * 2020-02-07 2022-04-12 复旦大学 一种基于区块链的社交数据共享系统
CN111339116A (zh) * 2020-02-29 2020-06-26 中央财经大学 一种基于区块链的用于开放银行数据共享的方式
CN111414433A (zh) * 2020-05-09 2020-07-14 北京阳光欣晴健康科技有限责任公司 基于区块链和密文检索技术的分布式随访系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682530A (zh) * 2017-01-10 2017-05-17 杭州电子科技大学 一种基于区块链技术的医疗信息共享隐私保护方法及装置
CN110390516A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于数据处理的方法、装置和计算机程序产品
CN109119130A (zh) * 2018-07-11 2019-01-01 上海夏先机电科技发展有限公司 一种基于云计算的大数据健康管理系统及方法
CN109243548A (zh) * 2018-08-22 2019-01-18 广东工业大学 一种基于区块链技术的医疗数据平台
CN109768987A (zh) * 2019-02-26 2019-05-17 重庆邮电大学 一种基于区块链的数据文件安全隐私存储和分享方法
CN110400642A (zh) * 2019-06-12 2019-11-01 梁胤豪 一种基于区块链技术的医疗数据共享系统及设计方法
CN111261250A (zh) * 2020-01-19 2020-06-09 江苏恒宝智能系统技术有限公司 一种基于区块链技术的医疗数据共享方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112307501A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112307501B (zh) 基于区块链技术的大数据系统及存储方法和使用方法
CN111930851B (zh) 区块链网络的管控数据处理方法、装置、介质及电子设备
KR102566892B1 (ko) 블록체인 합의 방법, 디바이스 및 시스템
CN115210741B (zh) 部分有序的区块链
CN112270550B (zh) 一种基于区块链的新能源电力溯源方法及系统
CN113438084B (zh) 一种基于r-pbft共识算法和时间戳的绿电溯源方法及系统
CN110009201B (zh) 一种基于区块链技术的电力数据链接系统及方法
US20230316273A1 (en) Data processing method and apparatus, computer device, and storage medium
WO2010139167A1 (zh) 用于政务商务决策的专家支持应用系统平台及其建构方法
CN113157648A (zh) 基于区块链的分布式数据存储方法、装置、节点及系统
JP2023542317A (ja) ブロックチェーン・ネットワークのための合意サービス
CN112835977B (zh) 一种基于区块链的数据库管理方法及系统
CN111291394B (zh) 一种虚假信息管理方法、装置和存储介质
CN112866380B (zh) 一种基于区块链的链网架构
CN114493865A (zh) 基于区块链的去中心化互联网协同系统和数据交互方法
CN115185914A (zh) 基于链上链下数据协同的数据共享方法、计算设备
US20210311925A1 (en) Blockchain transaction processing systems and methods
Nguyen et al. Analysis of distributed ledger technologies for industrial manufacturing
CN113011960A (zh) 基于区块链的数据访问方法、装置、介质及电子设备
Huang A blockchain-based framework for secure log storage
Imran et al. Research perspectives and challenges of blockchain for data-intensive and resource-constrained devices
Song et al. An improved data provenance framework integrating blockchain and PROV model
CN109949881A (zh) 一种基于区块链的大数据处理方法及设备
Zhai et al. A review of Blockchain-based access control for the industrial IoT
Wang et al. Distributed Electronic Data Storage and Proof System Based on Blockchain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Bin

Inventor after: Jin Yan

Inventor after: Che Yanchao

Inventor after: Pei Jingqiu

Inventor before: Jin Yan

Inventor before: Chen Bin

Inventor before: Che Yanchao

Inventor before: Pei Jingqiu

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao

Patentee after: Hainayun IOT Technology Co.,Ltd.

Address before: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao

Patentee before: Qingdao hainayun Technology Holding Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220629

Address after: 266101 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao

Patentee after: Hainayun IOT Technology Co.,Ltd.

Patentee after: Qingdao hainayun Intelligent System Co.,Ltd.

Patentee after: Qingdao hainayun Digital Technology Co.,Ltd.

Address before: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao

Patentee before: Hainayun IOT Technology Co.,Ltd.