CN111597167A - 一种应用区块链技术的大数据管理系统及方法 - Google Patents

一种应用区块链技术的大数据管理系统及方法 Download PDF

Info

Publication number
CN111597167A
CN111597167A CN202010422044.9A CN202010422044A CN111597167A CN 111597167 A CN111597167 A CN 111597167A CN 202010422044 A CN202010422044 A CN 202010422044A CN 111597167 A CN111597167 A CN 111597167A
Authority
CN
China
Prior art keywords
data
layer
block chain
information
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010422044.9A
Other languages
English (en)
Inventor
黄会仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010422044.9A priority Critical patent/CN111597167A/zh
Publication of CN111597167A publication Critical patent/CN111597167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Power Engineering (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开一种应用区块链技术的大数据管理系统及方法，涉及区块链技术领域，本发明包括数据库层、区块链层、数据共享层和数据应用层，本发明通过采用区块链技术，实现大数据管理，构建出包括数据库层、区块链层、数据共享层和数据应用层的架构体系，充分利用区块链技术的去中心化、不可篡改、分布式共同记账、非对称加密和数据安全存储等特点，实现数据的交互。本发明通过采用加密功能和解密功能，实现大数据的加密和解密，提高了数据安全性能；本发明还采用共享算法，实现了区块链中的数据共享，充分利用共享机制，具有去中心化、去信任化和数据加密等优势,能够较好地解决大数据应用中存在的数据管理问题。

Description

一种应用区块链技术的大数据管理系统及方法
技术领域
本发明涉及区块链技术领域，且更具体地涉及一种应用区块链技术的大数据管理系统及方法。
背景技术
随着信息技术的飞速发展，大数据不再只被某一部分人所独享，每个人都投入到了数据的生产和使用之中，大数据的概念也因此产生，大数据使得数据的采集更加便利、数据的处理更为快速、数据的使用更加广泛。在大数据应用场景不断增加的同时，其存在的一些问题，其弊端也逐渐凸显出来，具体体现在以下3个方面：
(1)由于数据量的增加以及数据处理速度的提升，传统的数据加密手段和安全检测机制很难应对，数据在传输过程中的保密性大大下降，数据面临着被窃的可能性；
(2)随着人们对数据的依赖越来越重，数据的价值也不断提升，数据的交换、交易行为以及相关市场应运而生，目前数据的共享能力难以满足当前的需要；
(3)随着数据越来越多，数据价值倍增，用户在面临大数据时，如何如中寻找可靠、有价值的数据是用户面临的重要问题。
发明内容
针对现有技术的不足，本发明公开了一种应用区块链技术的大数据管理系统及方法，采用区块链构建出新型的大数据管理系统，通过去中心化和去信任的方式集体维护可靠数据库，采用加密算法实现数据的加密功能，并通过区块链节点实现数据的传递和共享，通过大数据挖掘算法实现大数据深度学习和挖掘。
本发明采用以下技术方案：
一种应用区块链技术的大数据管理系统，其中所述系统包括：
数据库层，其内至少设置有界面层、业务逻辑层、数据访问层和数据接口，其中所述界面层与所述业务逻辑层连接，所述业务逻辑层与所述数据访问层连接，所述数据访问层与所述数据接口连接，其中所述数据访问层在作业过程中访问数据系统中的文件，实现对数据库中数据的读取保存操作；所述表示层用于显示数据并接受传输用户的数据，在为网站的系统运行提供交互式操作界面，所述业务逻辑层将用户的输入信息进行甄别处理和保存，通过构建新型的数据存储方式，在存储过程中对数据进行读取；所述数据接口是数据交互的媒介和通道；所述界面层还设置有无线通讯接口和USB数据接口；
区块链层，其内至少设置有区块链系统，所述区块链系统包括数据层、网络层、共识层、激励层和智能合约层，其中所述数据层利用Merkle树进行数据存储，在结构上通过区块以链式的方式连接，并且所述数据结构设置有加密单元、加密算法模块和数据传递模块；所述网络层主要由错综交织的网络节点构成，通过不同的网络节点，利用点对点技术实现数据通讯和连接，使得处于区块链网络中的不同节点设备能够互通互联，在所述共识层中设置有共识机制，所述共识机制能够将区块链网络中设置的数据进行一致性交互，从而具有较好的数据共识能力和数据防攻击能力；所述激励层在区块链中输出激励信息；所述智能合约层设置有两个以上的大数据算法模块，能够执行并计算区块链网络中各种数据之间的关系；所述大数据算法模块为蚁群算法模块，所述蚁群算法模块设置有数据融合模块，通过所述数据融合模块实现数据的融合处理，通过所述蚁群算法模块以最短的路径筛选不同区块链网络路径上的数据信息；所述区块链层内设置有区块链平台，所述区块链平台为基于Hyperledger Fabric的模块化区块链解决方案的支撑平台；
数据共享层,其内至少设置有节点服务器，所述节点服务器应用于所述区块链网络中，并与所述区块链节点连接，所述节点服务器至少包括电脑、手机、ipad、矿机或者服务器，所述节点服务器设置有无线通讯接口、RS232接口、USB接口或者远程通讯接口；
数据应用层，其内至少设置有应用服务器，所述应用服务器通过无线通讯接口、RS232接口、USB接口或者远程通讯接口与加密数据库连接，所述应用服务器设置有解密单元；其中：
所述数据库层与所述区块链层连接，所述区块链层与所述数据共享层连接，所述数据共享层与所述数据应用层连接。
本发明还采用以下技术方案：
一种应用区块链技术的大数据管理方法，其中所述方法包括以下步骤：
(S1)数据获取：从数据库层中的数据库中获取大数据；
(S2)数据预处理：对获取的大数据进行筛选、清理，获取有效的大数据；
(S3)数据计算：对预处理后的大数据通过数据挖掘算法进行分类和处理；
(S4)数据共享：处理后的数据通过加密算法或共识算法计算上传到区块链，并且通过数据共享模块以无线通讯的方式实现大数据共享。
进一步地，所述步骤(S3)中的数据挖掘算法为改进型蚁群算法。
进一步地，所述改进型蚁群算法设置有自校审模式。
进一步地，所述改进型蚁群算法的步骤为：
(1)初始化；将区块链的大数据资产信息初始化，选取大数据的初始化总群y(t)，设y(t)＝ymax，令大数据资产信息作为蚂蚁元素，初始时，蚂蚁元素矩阵的所有元素初始化为0，然后随机选择所述蚂蚁元素的起始位置；
(2)将m只蚂蚁元素随机放置在n个位置，设所述蚂蚁元素寻找路径的循环次数为Nc，按Nc+1的顺序进行循环；
(3)设定蚂蚁元素禁忌表索引号k＝1，通过k+1进行循环；
(4)根据以下公式的状态转移概率公式计算蚂蚁选择位置j的概率；
Figure BDA0002497310550000041
其中，δ为能见度因数，所述能见度因数表示不同位置之间的距离的倒数，α为信息素浓度相对重要参数，β为能见度因数相对重要指数，Node为与位置i直接相连并且蚂蚁元素尚未走过的位置的集合；
(5)选择具有最大状态转移概率的位置，将蚂蚁元素移动到所述具有最大状态转移概率的位置，并把所述位置记入到禁忌表中；
(6)判断，如果访问完集合中的所有位置，令k＜m，其中m为位置的个数，则通过k+1执行循环操作，如果未访问完集合中的所有位置，则更新每条路径上的信息量；
(7)检查终止条件，检查是否满足终止条件，所述终止条件为蚂蚁选择位置j的概率大于85％，如果满足所述终止条件，则进行进一步操作；
(8)判断是否形成新的群体，如果所述终止条件为蚂蚁选择位置j的概率小于85％，则要形成新的群体，则重新对信息素矩阵进行更新，更新的方法是重新计算最小数据矩阵D；
(9)判断是否满足终止遗传条件，当满足终止遗传条件时，所述终止遗传条件为所述蚂蚁选择位置j的概率大于85％，则输出计算结果。
进一步地，所述加密算法为DES、3DES、Blowfish加密算法、Twofish加密算法、IDEA、RC6或CAST5中的任意一个。
进一步地，所述加密算法还包括椭圆曲线函数，利用椭圆曲线函数实现大数据的加密和计算，其中椭圆曲线函数的方程式为：
y2＝x3+ax+b (1)
在公式(1)中，假设非垂直线与曲线的焦点数量有3个，在非垂直线上，其上的切线在其它点上与曲线相交，假设存在2点Q与P，Q点与P点相交于R'，则有：
R＝Q+P (2)
其中，R与R'关于X轴对称，当Q点与P点重合时，假设其重合点为D，则直线与曲线相切，R'表示为相交点；则有公式:
D+D＝R (3)
此时，R与R'仍旧关于X轴对称,则有：
Q＝aP (4)
由于有3个交点，则a＝3，公式可转变为：
Q＝3P (5)
在区块链中进行加密计算时，假设模数为p，基点为G，序数为n，则有：
公钥＝私钥＊G；(6)
Q点与P点表示曲线上的两个不同的点，则通过以下公式可以计算：
Figure BDA0002497310550000061
Rx＝d2-Px-Qx (8)
Ry＝d(Px-Qx)-Px (9)
通过上述算法完成公钥的加密，在完成私秘加钥时，假设采用私钥dA加密数据z,采用这样的方式进行：选择数据k,令：0≤k≤1，然后采用以下公式计算：
p(x,y)＝k*G (10)
然后计算:
r＝xmodn (11)
当出现r段为0时，则重新选择。然后采用以下公式计算：
Figure BDA0002497310550000071
如果最终计算后得出s＝0,则重新计算，然后就生成了数据签名signature(r,s)，实现了私密加钥。
进一步地，所述加密算法还包括助记词方法，所述助记词方法通过加密算法进行加密时，设定加密数据，所述加密数据由字母和数字组成的记忆词构成，用户只能通过唯一不变的记忆词获取登录密码信息，在使用秘密时，在通过解密运算，进而获取加密后的密码信息；在进行加密和解密计算过程中，所述加密算法与信息释放单元连接，所述信息释放单元是存储单元存储分配程序，通过编程用于释放信息存放空间，在应用时，其基于malloc函数调用来实现的，存储单元增加量与所述信息释放单元的信息量相同，当释放信息时，malloc在第一次被调用时，从系统中获取最小为一个单元的空闲空间。
进一步地，所述一个单元的空闲空间的最小单元为1024个最受限单元块，当x<＝1024，获取1024个最受限单元块，否则获取x个最受限单元块，x不等于1024，其中x为信息释放单元信息释放量。
进一步地，所述数据共享方法为：当发送数据时，通过接收方的公钥将数据信息加密，然后产生数据密文，增强了数据传递过程中的安全性，在接收数据时，利用区块链中的hash函数先计算出传递数据的摘要，然后通过私钥先对摘要数字签名，数据发送方同时可以发送数据密文和签名，接收方通过公钥对数据进行解密，首先得到摘要信息，然后进行身份验证，再利用私钥进行数据解密，再次利用hash函数获取摘要信息，用户可以通过数据对比，对数的完整性进行验证，继而实现数据的交互和共享。
积极有益效果：
本发明通过采用区块链技术，实现大数据管理，构建出包括数据库层、区块链层、数据共享层和数据应用层的架构体系，充分利用区块链技术的去中心化、不可篡改、分布式共同记账、非对称加密和数据安全存储等特点，实现数据的交互；
本发明通过采用加密功能和解密功能，实现大数据的加密和解密，保证在大数据传输过程中，维护数据的稳定性，防止数据被篡改，提高了数据的安全性能；
本发明采用共享算法，实现了区块链中的数据共享，充分利用共享机制，具有去中心化、去信任化和数据加密等优势,能够较好地解决大数据应用中存在的数据管理问题
本发明应用大数据算法，不仅能够实现大数据的最近搜索，还能够实现数据选择路径的搜索，在存在多种通讯方式时，可以用该方法对通讯路径进行选择，对于数量庞大的结构、复杂、难于管理的数据类型，能够在极短的时间内进行搜索，处理时间仅仅为几秒钟，优选地，0.1-2秒时间内，大大提高了数据管理能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种应用区块链技术的大数据管理系统的架构示意图；
图2为本发明一种应用区块链技术的大数据管理系统中区块链节点的架构示意图；
图3为本发明一种应用区块链技术的大数据管理系统中区块链系统的架构示意图；
图4为本发明一种应用区块链技术的大数据管理系统中区块链方法的流程示意图；
图5为本发明一种应用区块链技术的大数据管理系统中椭圆曲线函数的计算原理示意图；
图6为本发明一种应用区块链技术的大数据管理系统中助记词加密算法原理示意图；
图7为本发明一种应用区块链技术的大数据管理系统中数据共享方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1系统
如图1-图3所示，一种应用区块链技术的大数据管理系统，其中所述系统包括：
数据库层，其内至少设置有界面层、业务逻辑层、数据访问层和数据接口，其中所述界面层与所述业务逻辑层连接，所述业务逻辑层与所述数据访问层连接，所述数据访问层与所述数据接口连接，其中所述数据访问层在作业过程中访问数据系统中的文件，实现对数据库中数据的读取保存操作；所述表示层用于显示数据并接受传输用户的数据，在为网站的系统运行提供交互式操作界面，所述业务逻辑层将用户的输入信息进行甄别处理和保存，通过构建新型的数据存储方式，在存储过程中对数据进行读取；所述数据接口是数据交互的媒介和通道；所述界面层还设置有无线通讯接口和USB数据接口；
区块链层，其内至少设置有区块链系统，所述区块链系统包括数据层、网络层、共识层、激励层和智能合约层，其中所述数据层利用Merkle树进行数据存储，在结构上通过区块以链式的方式连接，并且所述数据结构设置有加密单元、加密算法模块和数据传递模块；所述网络层主要由错综交织的网络节点构成，通过不同的网络节点，利用点对点技术实现数据通讯和连接，使得处于区块链网络中的不同节点设备能够互通互联，在所述共识层中设置有共识机制，所述共识机制能够将区块链网络中设置的数据进行一致性交互，从而具有较好的数据共识能力和数据防攻击能力；所述激励层在区块链中输出激励信息；所述智能合约层设置有两个以上的大数据算法模块，能够执行并计算区块链网络中各种数据之间的关系；所述大数据算法模块为蚁群算法模块，所述蚁群算法模块设置有数据融合模块，通过所述数据融合模块实现数据的融合处理，通过所述蚁群算法模块以最短的路径筛选不同区块链网络路径上的数据信息；所述区块链层内设置有区块链平台，所述区块链平台为基于Hyperledger Fabric的模块化区块链解决方案的支撑平台；
数据共享层,其内至少设置有节点服务器，所述节点服务器应用于所述区块链网络中，并与所述区块链节点连接，所述节点服务器至少包括电脑、手机、ipad、矿机或者服务器，所述节点服务器设置有无线通讯接口、RS232接口、USB接口或者远程通讯接口；
数据应用层，其内至少设置有应用服务器，所述应用服务器通过无线通讯接口、RS232接口、USB接口或者远程通讯接口与加密数据库连接，所述应用服务器设置有解密单元；其中：
所述数据库层与所述区块链层连接，所述区块链层与所述数据共享层连接，所述数据共享层与所述数据应用层连接。
实施例2方法
如图4所示一种应用区块链技术的大数据管理方法，其中所述方法包括以下步骤：
(S1)数据获取：从数据库层中的数据库中获取大数据；
(S2)数据预处理：对获取的大数据进行筛选、清理，获取有效的大数据；
(S3)数据计算：对预处理后的大数据通过数据挖掘算法进行分类和处理；
(S4)数据共享：处理后的数据通过加密算法或共识算法计算上传到区块链，并且通过数据共享模块以无线通讯的方式实现大数据共享。
在本发明实施例中，所述步骤(S3)中的数据挖掘算法为改进型蚁群算法。
在本发明实施例中，所述改进型蚁群算法设置有自校审模式。
在本发明实施例中，所述改进型蚁群算法的步骤为：
(1)初始化；将区块链的大数据资产信息初始化，选取大数据的初始化总群y(t)，设y(t)＝ymax，令大数据资产信息作为蚂蚁元素，初始时，蚂蚁元素矩阵的所有元素初始化为0，然后随机选择所述蚂蚁元素的起始位置；
(2)将m只蚂蚁元素随机放置在n个位置，设所述蚂蚁元素寻找路径的循环次数为Nc，按Nc+1的顺序进行循环；
(3)设定蚂蚁元素禁忌表索引号k＝1，通过k+1进行循环；
(4)根据以下公式的状态转移概率公式计算蚂蚁选择位置j的概率；
Figure BDA0002497310550000121
其中，δ为能见度因数，所述能见度因数表示不同位置之间的距离的倒数，α为信息素浓度相对重要参数，β为能见度因数相对重要指数，Node为与位置i直接相连并且蚂蚁元素尚未走过的位置的集合；
(5)选择具有最大状态转移概率的位置，将蚂蚁元素移动到所述具有最大状态转移概率的位置，并把所述位置记入到禁忌表中；
(6)判断，如果访问完集合中的所有位置，令k＜m，其中m为位置的个数，则通过k+1执行循环操作，如果未访问完集合中的所有位置，则更新每条路径上的信息量；
(7)检查终止条件，检查是否满足终止条件，所述终止条件为蚂蚁选择位置j的概率大于85％，如果满足所述终止条件，则进行进一步操作；
(8)判断是否形成新的群体，如果所述终止条件为蚂蚁选择位置j的概率小于85％，则要形成新的群体，则重新对信息素矩阵进行更新，更新的方法是重新计算最小数据矩阵D；
(9)判断是否满足终止遗传条件，当满足终止遗传条件时，所述终止遗传条件为所述蚂蚁选择位置j的概率大于85％，则输出计算结果。
进一步地，所述加密算法为DES、3DES、Blowfish加密算法、Twofish加密算法、IDEA、RC6或CAST5中的任意一个。
进一步地，如图5所示，所述加密算法还包括椭圆曲线函数，利用椭圆曲线函数实现大数据的加密和计算，其中椭圆曲线函数的方程式为：
y2＝x3+ax+b (1)
在公式(1)中，假设非垂直线与曲线的焦点数量有3个，在非垂直线上，其上的切线在其它点上与曲线相交，假设存在2点Q与P，Q点与P点相交于R'，则有：
R＝Q+P (2)
其中，R与R'关于X轴对称，当Q点与P点重合时，假设其重合点为D，则直线与曲线相切，R'表示为相交点；则有公式:
D+D＝R (3)
此时，R与R'仍旧关于X轴对称,则有：
Q＝aP (4)
由于有3个交点，则a＝3，公式可转变为：
Q＝3P (5)
在区块链中进行加密计算时，假设模数为p，基点为G，序数为n，则有：
公钥＝私钥＊G；(6)
Q点与P点表示曲线上的两个不同的点，则通过以下公式可以计算：
Figure BDA0002497310550000141
Rx＝d2-Px-Qx (8)
Ry＝d(Px-Qx)-Px (9)
通过上述算法完成公钥的加密，在完成私秘加钥时，假设采用私钥dA加密数据z,采用这样的方式进行：选择数据k,令：0≤k≤1，然后采用以下公式计算：
p(x,y)＝k*G (10)
然后计算:
r＝xmodn (11)
当出现r段为0时，则重新选择。然后采用以下公式计算：
Figure BDA0002497310550000151
如果最终计算后得出s＝0,则重新计算，然后就生成了数据签名signature(r,s)，实现了私密加钥。
在本发明实施例中，所述加密算法还包括助记词方法，如图6所示，所述助记词方法通过加密算法进行加密时，设定加密数据，所述加密数据由字母和数字组成的记忆词构成，用户只能通过唯一不变的记忆词获取登录密码信息，在使用秘密时，在通过解密运算，进而获取加密后的密码信息；在进行加密和解密计算过程中，所述加密算法与信息释放单元连接，所述信息释放单元是存储单元存储分配程序，通过编程用于释放信息存放空间，在应用时，其基于malloc函数调用来实现的，存储单元增加量与所述信息释放单元的信息量相同，当释放信息时，malloc在第一次被调用时，从系统中获取最小为一个单元的空闲空间。
在本发明实施例中，所述一个单元的空闲空间的最小单元为1024个最受限单元块，当x<＝1024，获取1024个最受限单元块，否则获取x个最受限单元块，x不等于1024，其中x为信息释放单元信息释放量。
在本发明实施例中，如图7所示，所述数据共享方法为：当发送数据时，通过接收方的公钥将数据信息加密，然后产生数据密文，增强了数据传递过程中的安全性，在接收数据时，利用区块链中的hash函数先计算出传递数据的摘要，然后通过私钥先对摘要数字签名，数据发送方同时可以发送数据密文和签名，接收方通过公钥对数据进行解密，首先得到摘要信息，然后进行身份验证，再利用私钥进行数据解密，再次利用hash函数获取摘要信息，用户可以通过数据对比，对数的完整性进行验证，继而实现数据的交互和共享。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种应用区块链技术的大数据管理系统，其特征在于:所述系统包括：
数据库层，其内至少设置有界面层、业务逻辑层、数据访问层和数据接口，其中所述界面层与所述业务逻辑层连接，所述业务逻辑层与所述数据访问层连接，所述数据访问层与所述数据接口连接，其中所述数据访问层在作业过程中访问数据系统中的文件，实现对数据库中数据的读取保存操作；所述表示层用于显示数据并接受传输用户的数据，在为网站的系统运行提供交互式操作界面，所述业务逻辑层将用户的输入信息进行甄别处理和保存，通过构建新型的数据存储方式，在存储过程中对数据进行读取；所述数据接口是数据交互的媒介和通道；所述界面层还设置有无线通讯接口和USB数据接口；
区块链层，其内至少设置有区块链系统，所述区块链系统包括数据层、网络层、共识层、激励层和智能合约层，其中所述数据层利用Merkle树进行数据存储，在结构上通过区块以链式的方式连接，并且所述数据结构设置有加密单元、加密算法模块和数据传递模块；所述网络层主要由错综交织的网络节点构成，通过不同的网络节点，利用点对点技术实现数据通讯和连接，使得处于区块链网络中的不同节点设备能够互通互联，在所述共识层中设置有共识机制，所述共识机制能够将区块链网络中设置的数据进行一致性交互，从而具有较好的数据共识能力和数据防攻击能力；所述激励层在区块链中输出激励信息；所述智能合约层设置有两个以上的大数据算法模块，能够执行并计算区块链网络中各种数据之间的关系；所述大数据算法模块为蚁群算法模块，所述蚁群算法模块设置有数据融合模块，通过所述数据融合模块实现数据的融合处理，通过所述蚁群算法模块以最短的路径筛选不同区块链网络路径上的数据信息；所述区块链层内设置有区块链平台，所述区块链平台为基于Hyperledger Fabric的模块化区块链解决方案的支撑平台；
数据共享层,其内至少设置有节点服务器，所述节点服务器应用于所述区块链网络中，并与所述区块链节点连接，所述节点服务器至少包括电脑、手机、ipad、矿机或者服务器，所述节点服务器设置有无线通讯接口、RS232接口、USB接口或者远程通讯接口；
数据应用层，其内至少设置有应用服务器，所述应用服务器通过无线通讯接口、RS232接口、USB接口或者远程通讯接口与加密数据库连接，所述应用服务器设置有解密单元；其中：
所述数据库层与所述区块链层连接，所述区块链层与所述数据共享层连接，所述数据共享层与所述数据应用层连接。
2.一种应用区块链技术的大数据管理方法，其特征在于：所述方法包括以下步骤：
(S1)数据获取：从数据库层中的数据库中获取大数据；
(S2)数据预处理：对获取的大数据进行筛选、清理，获取有效的大数据；
(S3)数据计算：对预处理后的大数据通过数据挖掘算法进行分类和处理；
(S4)数据共享：处理后的数据通过加密算法或共识算法计算上传到区块链，并且通过数据共享模块以无线通讯的方式实现大数据共享。
3.根据权利要求2所述的一种应用区块链技术的大数据管理方法，其特征在于：所述步骤(S3)中的数据挖掘算法为改进型蚁群算法。
4.根据权利要求3所述的一种应用区块链技术的大数据管理方法，其特征在于：所述改进型蚁群算法设置有自校审模式。
5.根据权利要求4所述的一种应用区块链技术的大数据管理方法，其特征在于：所述改进型蚁群算法的步骤为：
(1)初始化；将区块链的大数据资产信息初始化，选取大数据的初始化总群y(t)，设y(t)＝ymax，令大数据资产信息作为蚂蚁元素，初始时，蚂蚁元素矩阵的所有元素初始化为0，然后随机选择所述蚂蚁元素的起始位置；
(2)将m只蚂蚁元素随机放置在n个位置，设所述蚂蚁元素寻找路径的循环次数为Nc，按Nc+1的顺序进行循环；
(3)设定蚂蚁元素禁忌表索引号k＝1，通过k+1进行循环；
(4)根据以下公式的状态转移概率公式计算蚂蚁选择位置j的概率；
Figure FDA0002497310540000031
其中，δ为能见度因数，所述能见度因数表示不同位置之间的距离的倒数，α为信息素浓度相对重要参数，β为能见度因数相对重要指数，Node为与位置i直接相连并且蚂蚁元素尚未走过的位置的集合；
(5)选择具有最大状态转移概率的位置，将蚂蚁元素移动到所述具有最大状态转移概率的位置，并把所述位置记入到禁忌表中；
(6)判断，如果访问完集合中的所有位置，令k＜m，其中m为位置的个数，则通过k+1执行循环操作，如果未访问完集合中的所有位置，则更新每条路径上的信息量；
(7)检查终止条件，检查是否满足终止条件，所述终止条件为蚂蚁选择位置j的概率大于85％，如果满足所述终止条件，则进行进一步操作；
(8)判断是否形成新的群体，如果所述终止条件为蚂蚁选择位置j的概率小于85％，则要形成新的群体，则重新对信息素矩阵进行更新，更新的方法是重新计算最小数据矩阵D；
(9)判断是否满足终止遗传条件，当满足终止遗传条件时，所述终止遗传条件为所述蚂蚁选择位置j的概率大于85％，则输出计算结果。
6.根据权利要求2所述的一种应用区块链技术的大数据管理方法，其特征在于：所述加密算法为DES、3DES、Blowfish加密算法、Twofish加密算法、IDEA、RC6或CAST5中的任意一个。
7.根据权利要求6所述的一种应用区块链技术的大数据管理方法，其特征在于：所述加密算法还包括椭圆曲线函数，利用椭圆曲线函数实现大数据的加密和计算，其中椭圆曲线函数的方程式为：
y2＝x3+ax+b (1)
在公式(1)中，假设非垂直线与曲线的焦点数量有3个，在非垂直线上，其上的切线在其它点上与曲线相交，假设存在2点Q与P，Q点与P点相交于R'，则有：
R＝Q+P (2)
其中，R与R'关于X轴对称，当Q点与P点重合时，假设其重合点为D，则直线与曲线相切，R'表示为相交点；则有公式:
D+D＝R (3)
此时，R与R'仍旧关于X轴对称,则有：
Q＝aP (4)
由于有3个交点，则a＝3，公式可转变为：
Q＝3P (5)
在区块链中进行加密计算时，假设模数为p，基点为G，序数为n，则有：
公钥＝私钥＊G； (6)
Q点与P点表示曲线上的两个不同的点，则通过以下公式可以计算：
Figure FDA0002497310540000051
Rx＝d2-Px-Qx (8)
Ry＝d(Px-Qx)-Px (9)
通过上述算法完成公钥的加密，在完成私秘加钥时，假设采用私钥dA加密数据z,采用这样的方式进行：选择数据k,令：0≤k≤1，然后采用以下公式计算：
p(x,y)＝k*G (10)
然后计算:
r＝x mod n (11)
当出现r段为0时，则重新选择。然后采用以下公式计算：
Figure FDA0002497310540000061
如果最终计算后得出s＝0,则重新计算，然后就生成了数据签名signature(r,s)，实现了私密加钥。
8.根据权利要求6所述的一种应用区块链技术的大数据管理方法，其特征在于：所述加密算法还包括助记词方法，所述助记词方法通过加密算法进行加密时，设定加密数据，所述加密数据由字母和数字组成的记忆词构成，用户只能通过唯一不变的记忆词获取登录密码信息，在使用秘密时，在通过解密运算，进而获取加密后的密码信息；在进行加密和解密计算过程中，所述加密算法与信息释放单元连接，所述信息释放单元是存储单元存储分配程序，通过编程用于释放信息存放空间，在应用时，其基于malloc函数调用来实现的，存储单元增加量与所述信息释放单元的信息量相同，当释放信息时，malloc在第一次被调用时，从系统中获取最小为一个单元的空闲空间。
9.根据权利要求8所述的一种应用区块链技术的大数据管理方法，其特征在于：所述一个单元的空闲空间的最小单元为1024个最受限单元块，当x<＝1024，获取1024个最受限单元块，否则获取x个最受限单元块，x不等于1024，其中x为信息释放单元信息释放量。
10.根据权利要求2所述的一种应用区块链技术的大数据管理方法，其特征在于：所述数据共享方法为：当发送数据时，通过接收方的公钥将数据信息加密，然后产生数据密文，增强了数据传递过程中的安全性，在接收数据时，利用区块链中的hash函数先计算出传递数据的摘要，然后通过私钥先对摘要数字签名，数据发送方同时可以发送数据密文和签名，接收方通过公钥对数据进行解密，首先得到摘要信息，然后进行身份验证，再利用私钥进行数据解密，再次利用hash函数获取摘要信息，用户可以通过数据对比，对数的完整性进行验证，继而实现数据的交互和共享。
CN202010422044.9A 2020-05-18 2020-05-18 一种应用区块链技术的大数据管理系统及方法 Pending CN111597167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010422044.9A CN111597167A (zh) 2020-05-18 2020-05-18 一种应用区块链技术的大数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422044.9A CN111597167A (zh) 2020-05-18 2020-05-18 一种应用区块链技术的大数据管理系统及方法

Publications (1)

Publication Number Publication Date
CN111597167A true CN111597167A (zh) 2020-08-28

Family

ID=72182578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422044.9A Pending CN111597167A (zh) 2020-05-18 2020-05-18 一种应用区块链技术的大数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN111597167A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819599A (zh) * 2021-02-23 2021-05-18 南京启用宝信息科技有限公司 一种基于区块链的企业财税记账管理系统
CN113452783A (zh) * 2021-06-28 2021-09-28 智慧谷(厦门)物联科技有限公司 区块链云架构的数字化paas开放平台系统及实现方法
CN115115458A (zh) * 2022-08-30 2022-09-27 国网区块链科技(北京)有限公司 一种基于区块链的近零碳排放园区的能源交易系统及方法
CN115766795A (zh) * 2022-11-28 2023-03-07 福州大学 一种基于区块链的可信电子文件平台的智能服务方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287268A (zh) * 2019-06-30 2019-09-27 智慧谷(厦门)物联科技有限公司 一种基于区块链的数字资产处理方法和系统
CN110501917A (zh) * 2019-09-11 2019-11-26 智慧谷(厦门)物联科技有限公司 应用云计算实现物联网智能家居信息管理的系统和方法
CN111027087A (zh) * 2019-12-16 2020-04-17 智慧谷(厦门)物联科技有限公司 应用区块链助记词加密的企业信息管理系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287268A (zh) * 2019-06-30 2019-09-27 智慧谷(厦门)物联科技有限公司 一种基于区块链的数字资产处理方法和系统
CN110501917A (zh) * 2019-09-11 2019-11-26 智慧谷(厦门)物联科技有限公司 应用云计算实现物联网智能家居信息管理的系统和方法
CN111027087A (zh) * 2019-12-16 2020-04-17 智慧谷(厦门)物联科技有限公司 应用区块链助记词加密的企业信息管理系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
任伟: "现代密码学", 30 April 2011, 北京：北京邮电大学出版社, pages: 227 - 229 *
叶良 等: "大数据支撑下的区块链技术研究", 31 May 2019, 西安：西北工业大学出版社 , pages: 101 - 102 *
杨义先 等: "应用密码学 第2版", 30 June 2013, 北京：北京邮电大学出版社, pages: 99 - 100 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819599A (zh) * 2021-02-23 2021-05-18 南京启用宝信息科技有限公司 一种基于区块链的企业财税记账管理系统
CN113452783A (zh) * 2021-06-28 2021-09-28 智慧谷(厦门)物联科技有限公司 区块链云架构的数字化paas开放平台系统及实现方法
CN113452783B (zh) * 2021-06-28 2023-12-15 智慧谷(厦门)物联科技有限公司 区块链云架构的数字化paas开放平台系统及实现方法
CN115115458A (zh) * 2022-08-30 2022-09-27 国网区块链科技(北京)有限公司 一种基于区块链的近零碳排放园区的能源交易系统及方法
CN115115458B (zh) * 2022-08-30 2022-11-18 国网区块链科技(北京)有限公司 一种基于区块链的近零碳排放园区的能源交易系统及方法
CN115766795A (zh) * 2022-11-28 2023-03-07 福州大学 一种基于区块链的可信电子文件平台的智能服务方法

Similar Documents

Publication Publication Date Title
CN111597167A (zh) 一种应用区块链技术的大数据管理系统及方法
Singh et al. Blockchain: Future of financial and cyber security
CN109155034A (zh) 使用区块链实现逻辑门功能
CN111383021B (zh) 基于区块链网络的节点管理方法、装置、设备及介质
CN109583887A (zh) 一种区块链的交易方法和装置
CN107368259A (zh) 一种向区块链系统中写入业务数据的方法和装置
US20190108498A1 (en) Decentralized pooled mining for enabling proof-of-work on blockchains
CN106776904A (zh) 一种不可信云计算环境中支持动态验证的模糊查询加密方法
EP3385894A1 (en) Method for producing a cryptographically signed transaction
CN111476572A (zh) 基于区块链的数据处理方法、装置、存储介质及设备
CN107491965A (zh) 一种生物特征库的建立方法和装置
CN109985389A (zh) 基于区块链智能合约的牌类游戏防作弊方法及其系统
US20200244457A1 (en) Blockchain intelligent security implementation
CN111915306A (zh) 业务数据的验证方法和验证平台
CN111461751A (zh) 基于区块链的房产信息链上组织方法、历史状态追溯方法及装置
CN115134069A (zh) 区块链编辑的方法和区块链节点
CN113902384B (zh) 一种基于rfid和智能合约的溯源方法及系统
CN108733783A (zh) 一种基于私有区块链的学籍信息管理系统
CN107742141B (zh) 基于rfid技术的智能身份信息采集方法及系统
CN111432010A (zh) 一种面向移动终端的区块链平台及通信方法
CN116957112A (zh) 联合模型的训练方法、装置、设备及存储介质
KR102388280B1 (ko) 인공지능형 개인 정보 보안 시스템의 서버
CN115412336A (zh) 联盟链账本篡改攻击检测方法、装置及电子设备
CN113468549A (zh) 基于区块链的加密信息存证的检索方法、系统及电子设备
CN111831678A (zh) 基于区块链的隐私保护方法及装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination