CN109949881A - 一种基于区块链的大数据处理方法及设备 - Google Patents
一种基于区块链的大数据处理方法及设备 Download PDFInfo
- Publication number
- CN109949881A CN109949881A CN201811199664.XA CN201811199664A CN109949881A CN 109949881 A CN109949881 A CN 109949881A CN 201811199664 A CN201811199664 A CN 201811199664A CN 109949881 A CN109949881 A CN 109949881A
- Authority
- CN
- China
- Prior art keywords
- data
- block chain
- data processing
- big data
- big
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 238000007418 data mining Methods 0.000 claims abstract description 4
- 238000010801 machine learning Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 12
- 230000036541 health Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 241001282153 Scopelogadus mizolepis Species 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013497 data interchange Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Abstract
本发明在此提供一种基于区块链的大数据处理方法及设备；包括如下步骤：S1、生成用户数据处理的账号、密码和区块链内操作的权限；S2、判断梳理数据的合法性并发送合法的数据；S3、对所述合法的数据进行分类操作；S4、输入流格式的数据，并结合区块链无中心化存储方式对数据进行加密；S5、对加密的新数据进行备份；S6、通过数据预处理和数据挖掘以及机器学习方式对数据分类整理再存储。本发明是基于区块链的大数据处理方式，从而减少了用户终端从原生资源库中获得资源的次数，极大的减轻了web服务器的数据传输负荷。另外，本发明用以数据加密时，具有强度高、速度快、抗攻击等特点；同时，本发明将数据进行加密备份，保证了数据的安全性。
Description
技术领域
本发明涉及大数据处理领域，具体来讲是一种基于区块链的大数据处理方法及设备。
背景技术
目前，随着通过网络进行的事物或业务处理日益增多，操作数据的可靠性要求越来越高，尤其是对数据的并发读写处理，同时还存在对系统提供审计和日志查询的需求。然而，前通常系统中定义的业务处理逻辑，将核心数据的读写操作混合在一起，由各业务处理逻辑根据自身需要来提供审计日志。这种数据处理方式由于针对特定操作的复杂业务逻辑杂糅在一起，减低了系统可维护性和扩展性；同时，此类系统在互联网用户访问量不可预测的情况下，无法做到性能的动态水平扩展；另外，系统也无法提供完备的业务操作日志，缺乏严格的审查机制和有效的回滚机制。
众所周知，区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。广义来讲，区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。
经过检索发现，专利号CN201610447316.4的发明公开了一种数据处理方法、装置及系统，采用本发明实施例提供的方法，在接收到目的用户终端发送的资源访问请求后，从该资源访问请求中获得目的资源标签，当确定出与目的资源标签相匹配的第一资源标签时，获得与第一资源标签对应的发送用户终端，并建立目的用户终端与发送用户终端的通信通道，第一资源由发送用户终端发送给目的用户终端，当确定出目的资源标签中与资源标签库中的资源标签不匹配的第二资源标签时，从原生资源库中获取第二资源，并发送至目的用户终端。
专利号CN201610338367.3的发明公开了一种数据处理方法以及装置。数据处理方法，包括：针对参与处理的一个或多个分组，建立扩散网络；其中，所述分组为预设长度的元素集合，且每个所述分组至少包含一个元素；所述扩散网络由扩散路径组成，每一条所述扩散路径均连接并指向分组中的元素和/或元素组，元素组为元素的组合；根据所述扩散路径组建扩散式；其中，扩散式由原体和受体组成，且原体包含受体；对所述扩散式进行扩散运算。该方法及装置能够实现快速完全的雪崩效应，可用于数据加密及解密、计算消息摘要、生成随机数等。
然而，对于数据处理来讲，当仅基于流输入和输出进行处理时，存在当针对一个输入有多个输出时如何传送数据以及尽管在过滤器中实体文件已经被实体化但当数据以流格式被返回时效率低的问题；同时无法生成健康报告。
发明内容
因此，为了解决上述不足，本发明在此提供一种基于区块链的大数据处理方法及设备；本发明是一种基于区块链的大数据处理方式，从而减少了用户终端从原生资源库中获得资源的次数，极大的减轻了web服务器的数据传输负荷。与现有技术相比，节省了硬件开销以及企业开发网络系统的经济费用。另外，本发明用以数据加密时，具有强度高、速度快、抗攻击等特点；随着信息通信技术的快速发展和网络大数据时代的到来，与日俱增的大体量数据资源有赖于网络系统进行高效率的传输处理。同时，本发明将核心业务数据的操作进行加密与备份，最大程度提升系统性能和扩展能力，保证了数据的安全性。同时，与现有技术中不断增加服务器的数量构成服务器集群来满足多用户终端高并发数据请求的需要相比，节省了硬件开销，从而节省了网络系统的经济费用。
本发明是这样实现的，构造一种基于区块链的大数据处理方法，包括如下步骤：
S1、根据用户所发送的申请信息，生成用户数据处理的账号、密码和区块链内操作的权限，并反馈给用户；
S2、判断梳理数据的合法性并发送合法的数据；
S3、对所述合法的数据进行分类操作；
S4、输入流格式的数据，基于所输入的流格式的数据并结合区块链无中心化存储方式对数据进行加密，生成新数据；
S5、对加密的新数据进行备份；
S6、通过数据预处理和数据挖掘以及机器学习方式将生成的新数据进行分类整理再存储；供处理中心对数据进行调取解密分析；
S7、在区块链上建立若干份个人数据，作为样本，对区块链上的个人数据结合疾病库、个人病历、就诊信息、身体健康数据、运动规律，进行大数据分析处理运算，建立AI算法模型，输出健康报告。
和现有技术相比，本发明具有如下优点：
其一，本发明是基于区块链的大数据处理方式，从而减少了用户终端从原生资源库中获得资源的次数，极大的减轻了web服务器的数据传输负荷。与现有技术相比，节省了硬件开销以及企业开发网络系统的经济费用。
其二，本发明用以数据加密时，具有强度高、速度快、抗攻击等特点；随着信息通信技术的快速发展和网络大数据时代的到来，与日俱增的大体量数据资源有赖于网络系统进行高效率的传输处理。
其三，本发明将核心业务数据的操作进行加密备份读，最大程度提升系统性能和扩展能力，保证了数据的安全性。
其四，与现有技术中不断增加服务器的数量构成服务器集群来满足多用户终端高并发数据请求的需要相比，节省了硬件开销，从而节省了网络系统的经济费用。
其五，通过医疗区块链，用户可以保存医疗健康数据，患者自己就能管理个人医疗健康的历史数据，可以将其作为健康管理以及寻医问诊的依据，也可以解决现有医疗之间的数据孤岛，实现数据互通。集“健康银行、精准医疗、医疗保险、电商平台、防伪溯源”五大特色服务于一体，让每个用户在家就能享受到优质、便捷的医疗服务。用于管理个人及家人的身体健康，做到提前预防疾病、引导治疗的作用，在用户授权的情况下，完成数据共享，同时为医疗机构提供全面、精准化的参考数据。
附图说明
图1是本发明基于区块链的大数据处理方式流程框图；
图2是本发明基于区块链的大数据处理设备结构框图。
具体实施方式
下面将结合附图1-图2对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供一种基于区块链的大数据处理方法，如图1所示，按照如下方式实施；包括如下步骤：
S1、根据用户所发送的申请信息，生成用户数据处理的账号、密码和区块链内操作的权限，并反馈给用户；
其中，生成用户数据处理的账号、密码和区块链内的权限后同时存储至数据存储模块中，数据存储模块用于存储区块链；其中，所述区块链包括通信连接的多个数据存储节点。
S2、判断梳理数据的合法性并发送合法的数据；该步骤操作时，先将接收合法的数据以索引形式写入区块链中。
S3、对所述合法的数据进行分类操作；该步骤中，对所述数据进行分类操作，将搜集目标网址库，同时将目标网址库进行分类。
S4、输入流格式的数据，基于所输入的流格式的数据并结合区块链无中心化存储方式对数据进行加密，生成新数据；
S5、对加密的新数据进行备份；
S6、通过数据预处理和数据挖掘以及机器学习方式将生成的新数据进行分类整理再存储；供处理中心对数据进行调取解密分析；
S7、在区块链上建立若干份个人数据，作为样本，对区块链上的个人数据结合疾病库、个人病历、就诊信息、身体健康数据、运动规律，进行大数据分析处理运算，建立AI算法模型，输出健康报告。
那么在实施过程中，所涉及到的数据包括图像数据和从所述图像数据中提取的文本数据。
一种基于区块链的大数据处理设备10，如图2所示，包括
输入单元11，用于用户申请信息、流格式数据的输入；
过滤模块12，过滤模块12执行格式数据输入、输出步骤：
控制单元13，控制执行相关操作；
还包括加密模块14，数据存储模块15，数据库16和备份数据库17，输入单元11的输出端与过滤模块12连接，过滤模块12和加密模块14的输出分别连接控制单元13，控制单元13输出端分别连接数据库16和备份数据库17。
其中，过滤模块12为多个，每个过滤模块12向控制单元13执行格式数据的输入步骤：并基于所输入的流格式的数据生成多个文件。
同时，大数据处理设备10能够与web客户端、无线客户端实现数据通信
那么经过上述实施后，本发明具有如下优点；
其一，本发明是基于区块链的大数据处理方式，从而减少了用户终端从原生资源库中获得资源的次数，极大的减轻了web服务器的数据传输负荷。与现有技术相比，节省了硬件开销以及企业开发网络系统的经济费用。
其二，本发明用以数据加密时，具有强度高、速度快、抗攻击等特点；随着信息通信技术的快速发展和网络大数据时代的到来，与日俱增的大体量数据资源有赖于网络系统进行高效率的传输处理。
其三，本发明将核心业务数据的操作进行加密备份读，最大程度提升系统性能和扩展能力，保证了数据的安全性。
其四，与现有技术中不断增加服务器的数量构成服务器集群来满足多用户终端高并发数据请求的需要相比，节省了硬件开销，从而节省了网络系统的经济费用。
其五，通过医疗区块链，用户可以保存医疗健康数据，患者自己就能管理个人医疗健康的历史数据，可以将其作为健康管理以及寻医问诊的依据，也可以解决现有医疗之间的数据孤岛，实现数据互通。集“健康银行、精准医疗、医疗保险、电商平台、防伪溯源”五大特色服务于一体，让每个用户在家就能享受到优质、便捷的医疗服务。用于管理个人及家人的身体健康，做到提前预防疾病、引导治疗的作用，在用户授权的情况下，完成数据共享，同时为医疗机构提供全面、精准化的参考数据。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于区块链的大数据处理方法，其特征在于：包括如下步骤：
S1、根据用户所发送的申请信息，生成用户数据处理的账号、密码和区块链内操作的权限，并反馈给用户；
S2、判断梳理数据的合法性并发送合法的数据；
S3、对所述合法的数据进行分类操作；
S4、输入流格式的数据，基于所输入的流格式的数据并结合区块链无中心化存储方式对数据进行加密，生成新数据；
S5、对加密的新数据进行备份；
S6、通过数据预处理和数据挖掘以及机器学习方式将生成的新数据进行分类整理再存储；供处理中心对数据进行调取解密分析；
S7、在区块链上建立若干份个人数据，作为样本，对区块链上的个人数据结合疾病库、个人病历、就诊信息、身体健康数据、运动规律，进行大数据分析处理运算，建立AI算法模型，输出健康报告。
2.根据权利要求1所述一种基于区块链的大数据处理方法，其特征在于：步骤S1中，生成用户数据处理的账号、密码和区块链内的权限后同时存储至数据存储模块中，数据存储模块用于存储区块链；其中，所述区块链包括通信连接的多个数据存储节点。
3.根据权利要求1所述一种基于区块链的大数据处理方法，其特征在于：步骤S2中，先将接收合法的数据以索引形式写入区块链中。
4.根据权利要求1所述一种基于区块链的大数据处理方法，其特征在于：步骤S3中，对所述数据进行分类操作，将搜集目标网址库，同时将目标网址库进行分类。
5.根据权利要求1所述一种基于区块链的大数据处理方法，其特征在于：其中，所涉及到的数据包括图像数据和从所述图像数据中提取的文本数据。
6.一种基于区块链的大数据处理设备（10），其特征在于：包括
输入单元（11），用于用户申请信息、流格式数据的输入；
过滤模块（12），过滤模块（12）执行格式数据输入、输出步骤：
控制单元（13），控制执行相关操作；
还包括加密模块（14），数据存储模块（15），数据库（16）和备份数据库（17），输入单元（11）的输出端与过滤模块（12）连接，过滤模块（12）和加密模块（14）的输出分别连接控制单元（13），控制单元（13）输出端分别连接数据库（16）和备份数据库（17）。
7.根据权利要求6所述的一种基于区块链的大数据处理设备（10），其特征在于：其中，过滤模块（12）为多个，每个过滤模块（12）向控制单元（13）执行格式数据的输入步骤：并基于所输入的流格式的数据生成多个文件。
8.根据权利要求6所述的一种基于区块链的大数据处理设备（10），其特征在于：大数据处理设备（10）能够与web客户端、无线客户端实现数据通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811199664.XA CN109949881A (zh) | 2018-10-16 | 2018-10-16 | 一种基于区块链的大数据处理方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811199664.XA CN109949881A (zh) | 2018-10-16 | 2018-10-16 | 一种基于区块链的大数据处理方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109949881A true CN109949881A (zh) | 2019-06-28 |
Family
ID=67006352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811199664.XA Pending CN109949881A (zh) | 2018-10-16 | 2018-10-16 | 一种基于区块链的大数据处理方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949881A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287268A (zh) * | 2019-06-30 | 2019-09-27 | 智慧谷(厦门)物联科技有限公司 | 一种基于区块链的数字资产处理方法和系统 |
| CN112633721A (zh) * | 2020-12-29 | 2021-04-09 | 无锡太湖学院 | 一种基于区块链的社区养老信息处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006462A1 (en) * | 2013-06-26 | 2015-01-01 | WellDoc, Inc. | Systems and methods for managing medication adherence |
| CN106529177A (zh) * | 2016-11-12 | 2017-03-22 | 杭州电子科技大学 | 一种基于医疗大数据的患者画像方法及装置 |
| CN107105041A (zh) * | 2017-04-27 | 2017-08-29 | 电子科技大学 | 一个基于区块链的医疗大数据管理系统及框架 |
| CN107767926A (zh) * | 2017-11-15 | 2018-03-06 | 中国联合网络通信集团有限公司 | 基于区块链的医疗数据管理系统及访问方法 |
| CN108648784A (zh) * | 2018-03-15 | 2018-10-12 | 西安电子科技大学 | 基于区块链技术的医疗数据存储方法、信息数据处理终端 |
-
2018
- 2018-10-16 CN CN201811199664.XA patent/CN109949881A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006462A1 (en) * | 2013-06-26 | 2015-01-01 | WellDoc, Inc. | Systems and methods for managing medication adherence |
| CN106529177A (zh) * | 2016-11-12 | 2017-03-22 | 杭州电子科技大学 | 一种基于医疗大数据的患者画像方法及装置 |
| CN107105041A (zh) * | 2017-04-27 | 2017-08-29 | 电子科技大学 | 一个基于区块链的医疗大数据管理系统及框架 |
| CN107767926A (zh) * | 2017-11-15 | 2018-03-06 | 中国联合网络通信集团有限公司 | 基于区块链的医疗数据管理系统及访问方法 |
| CN108648784A (zh) * | 2018-03-15 | 2018-10-12 | 西安电子科技大学 | 基于区块链技术的医疗数据存储方法、信息数据处理终端 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287268A (zh) * | 2019-06-30 | 2019-09-27 | 智慧谷(厦门)物联科技有限公司 | 一种基于区块链的数字资产处理方法和系统 |
| CN112633721A (zh) * | 2020-12-29 | 2021-04-09 | 无锡太湖学院 | 一种基于区块链的社区养老信息处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Privacy-preserving and efficient multi-keyword search over encrypted data on blockchain | |
| CN110597902B (zh) | 基于区块链的联盟式健康数据检索系统及方法 | |
| Li et al. | Toward privacy-assured and searchable cloud data storage services | |
| Karaarslan et al. | Data storage in the decentralized world: Blockchain and derivatives | |
| CN103152417B (zh) | 面向共同客户端的多企业云文件夹部署与信息交互方法 | |
| Singh et al. | Federated learning: Challenges, methods, and future directions | |
| Peng et al. | A peer-to-peer file storage and sharing system based on consortium blockchain | |
| CN111782723A (zh) | 一种基于许可链的双层产品信息追溯系统架构 | |
| CN103095848A (zh) | 面向企业客户端的云文件夹部署与信息交互的方法 | |
| CN104717197B (zh) | 会话管理系统、会话管理设备和会话管理方法 | |
| CN112835977A (zh) | 一种基于区块链的数据库管理方法及系统 | |
| CN113886501A (zh) | 一种基于多链架构下的区块链业务模块扩展方法 | |
| CN115859362A (zh) | 基于区块链侧链的数据存储系统、方法、设备及介质 | |
| Li et al. | Scalable blockchain storage mechanism based on two-layer structure and improved distributed consensus | |
| CN109949881A (zh) | 一种基于区块链的大数据处理方法及设备 | |
| Khan et al. | Enhanced decentralized management of patient-driven interoperability based on blockchain | |
| Xue et al. | Optimizing ontology alignment through an interactive compact genetic algorithm | |
| Song et al. | Smart contract-based computing resources trading in edge computing | |
| CN114022285A (zh) | 一种基于联盟区块链的跨机构云计算资源计量方法及系统 | |
| CN110474764A (zh) | 密文数据集交集计算方法、装置、系统、客户端、服务器及介质 | |
| KR102176128B1 (ko) | 블록체인에 기반한, 분산형 컴퓨팅 자원 공유 시스템 상에서의 보안 통신 제공 방법 | |
| Liu et al. | The application of block chain technology in spot exchange | |
| CN116467026A (zh) | 一种基于区块链的云桌面数据安全共享、溯源方法和系统 | |
| Yan et al. | Handling conditional queries and data storage on Hyperledger Fabric efficiently | |
| CN113643032B (zh) | 一种基于区块链的信息处理方法、装置及数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190628 |
|
| WD01 | Invention patent application deemed withdrawn after publication |