CN115687527B - 一种基于区块链大数据的存储系统 - Google Patents

一种基于区块链大数据的存储系统 Download PDF

Info

Publication number
CN115687527B
CN115687527B CN202211396921.5A CN202211396921A CN115687527B CN 115687527 B CN115687527 B CN 115687527B CN 202211396921 A CN202211396921 A CN 202211396921A CN 115687527 B CN115687527 B CN 115687527B
Authority
CN
China
Prior art keywords
data
synchronized
unit
node
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211396921.5A
Other languages
English (en)
Other versions
CN115687527A (zh
Inventor
赵博雅
张春平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thirty Degrees North Latitude Network Technology Co ltd
Original Assignee
Beijing Thirty Degrees North Latitude Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Thirty Degrees North Latitude Network Technology Co ltd filed Critical Beijing Thirty Degrees North Latitude Network Technology Co ltd
Priority to CN202211396921.5A priority Critical patent/CN115687527B/zh
Publication of CN115687527A publication Critical patent/CN115687527A/zh
Application granted granted Critical
Publication of CN115687527B publication Critical patent/CN115687527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于区块链大数据的存储系统，属于区块链大数据存储技术领域。所述系统包括节点数据接收模块、待同步数据标记模块、计算模型构建模块、自动同步校验模块和报警提醒模块；所述节点数据接收模块的输出端与所述待同步数据标记模块的输入端相连接；所述待同步数据标记模块的输出端与所述计算模型构建分析模块的输入端相连接；所述计算模型构建分析模块的输出端与所述自动同步校验模块的输入端相连接；所述自动同步校验模块的输出端与所述报警提醒模块的输入端相连接。本发明能够接收各服务器分节点的待同步数据，对各服务器分节点的待同步数据的一致性进行判断，进一步提高系统的可用性。

Description

一种基于区块链大数据的存储系统
技术领域
本发明涉及区块链大数据存储技术领域，具体为一种基于区块链大数据的存储系统。
背景技术
区块链，就是一个又一个区块组成的链条。每一个区块中保存了一定的信息，它们按照各自产生的时间顺序连接成链条。这个链条被保存在所有的服务器中，只要整个系统中有一台服务器可以工作，整条区块链就是安全的。这些服务器在区块链系统中被称为节点，它们为整个区块链系统提供存储空间和算力支持。
在大数据环境下，在分布式网络存储系统中存在多个服务器分节点同时发送待同步数据，但是每个服务器节点只能知道自己的事务操作是否成功，而无法知道系统中其他服务器节点的事务操作是否成功，因此就可能会造成分布式网络存储系统中的各服务器分节点的数据出现不一致，从而无法保证分布式网络存储系统中的各服务器分节点数据的一致性。
发明内容
本发明的目的在于提供一种基于区块链大数据的存储系统，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：
一种基于区块链大数据的存储系统，所述系统包括：
所述系统包括节点数据接收模块、待同步数据标记模块、计算模型构建分析模块、自动同步校验模块和报警提醒模块；
所述节点数据接收模块用于接收所有服务器分节点发送的待同步数据，对所有服务器分节点发送的待同步数据进行完整性判断；
所述待同步数据标记模块用于构建待同步数据表，将同一时刻接收到的所有服务器分节点发送的待同步数据标记为同时刻待同步数据，并分组存入待同步数据表中；
所述计算模型构建分析模块用于构建待同步数据一致性计算模型，基于各组待同步数据之间的相似度和运行环境，计算待同步数据表中各组待同步数据一致性的概率；
所述自动同步校验模块用于设置待同步数据一致性的概率阈值，当待同步数据一致性的概率超出阈值时，对待同步数据进行自动同步，等待自动同步完成后进行二次同步校验；
所述报警提醒模块用于当检测到待同步数据一致性的概率再次超出阈值，向管理人员发出报警提醒；
所述节点数据接收模块的输出端与所述待同步数据标记模块的输入端相连接；所述待同步数据标记模块的输出端与所述计算模型构建分析模块的输入端相连接；所述计算模型构建分析模块的输出端与所述自动同步校验模块的输入端相连接；所述自动同步校验模块的输出端与所述报警提醒模块的输入端相连接。
进一步地，所述节点数据接收模块包括服务器分节点数目获取单元、服务器分节点数据接收单元、加密算法调用单元、完整性校验码对比判断单元和数据重发请求单元；
所述服务器分节点数据获取单元用于获取存储系统所有服务器分节点的数目，记为n；
所述服务器分节点数据接收单元用于获取各服务器分节点发送的待同步数据以及各待同步数据对应的Md5码；
所述加密算法调用单元用于调用Md5加密算法对接收到的各待同步数据的Md5码进行计算；
所述完整性校验码对比判断单元用于将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比并对各服务器分节点发送的待同步数据的完整性进行判断；
所述数据重发请求单元用于当判定某个服务器分节点发送的待同步数据是不完整时，向存储系统发出重发请求，直到该服务器分节点发送的待同步数据是完整的为止；
所述服务器分节点数据获取单元的输出端与所述服务器分节点数据接收单元的输入端相连接；所述服务器分节点数据接收单元的输出端与所述加密算法调用单元的输入端相连接；所述加密算法调用单元的输出端与所述完整性校验码对比判断单元的输入端相连接；所述完整性校验码对比判断单元的输出端与所述数据重发请求单元的输入端相连接。
进一步地，所述服务器分节点数据接收单元包括待同步数据接收子单元和校验码接收子单元；
所述待同步数据接收子单元用于获取各服务器分节点发送的待同步数据；
所述校验码接收子单元用于获取各服务器分节点发送的各待同步数据对应的Md5码；
所述待同步数据接收子单元得输出端与所述校验码接收子单元的输入端相连接；所述校验码接收子单元的输出端与所述加密算法调用单元的输入端相连接。
进一步地，所述完整性校验码对比判断单元包括完整性检验码对比子单元和待同步数据完整性判断子单元；
所述完整性检验码对比子单元用于将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比；
所述待同步数据完整性判断子单元用于对各服务器分节点发送的待同步数据的完整性进行判断；
所述完整性检验码对比子单元的输出端与所述待同步数据完整性判断子单元的输入端相连接；所述待同步数据完整性判断子单元的输出端与所述数据重发请求单元的输入端相连接；
所述对各服务器分节点发送的待同步数据的完整性进行判断的方法为：
若各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码相同，则判定各服务器分节点发送的待同步数据是完整的；
若第i个服务器分节点发送的待同步数据对应的Md5码与调用Md5加密算法计算得到的待同步数据的Md5码不相同，则判定第i个服务器分节点发送的待同步数据是不完整的。
进一步地，所述待同步数据标记模块包括待同步数据表构建单元、数据接收时刻获取单元和待同步数据标记单元；
所述待同步数据表构建单元用于构建待同步数据表；
所述数据接收时刻获取单元用于获取接收各服务器分节点发送操作数据的时刻；
所述待同步数据标记单元用于将同一时刻接收到的各服务器分节点发送的操作数据标记为同时刻待同步数据，按照接收各服务器分节点发送操作数据的时刻从先到后分m组存入待同步数据表中；
所述待同步数据表构建单元的输出端与所述数据接收时刻获取单元的输入端相连接；所述数据接收时刻获取单元的输出端与所述待同步数据标记单元的输入端相连接；所述待同步数据标记单元的输出端与所述计算模型构建分析模块相连接。
进一步地，所述计算模型构建分析模块包括计算模型构建单元和计算模型分析单元；
所述计算模型构建单元用于构建待同步数据一致性计算模型；
所述计算模型分析单元用于基于各组待同步数据之间的相似度和运行环境，计算待同步数据表中各组待同步数据一致性的概率。
进一步地，所述构建待同步数据一致性计算模型包括：
获取第j组的n个待同步数据将第j组的n个待同步数据分别转换成对应的n个二进制码/>对应的n个二进制码的总位数/>
分别将任意两个二进制码按位进行比较，计算任意两个待同步数据之间的相似度，计算公式如下：
其中，表示第u个待同步数据与第v个待同步数据之间的相似度；/>表示第u个二进制码与第v个二进制码之间相同位数的个数；/>表示第u个二进制码与第v个二进制码进行比较的总位数；
根据上述公式得到个相似度；
第j组的n个待同步数据的相似度均值为：
其中，dj表示第j组的n个待同步数据的相似度均值；表示第u个待同步数据与第v个待同步数据之间的相似度；
在上述技术方案中，首先，每一个待同步数据的都可以利用二进制转换法转换成对应的二进制码，利用二进制码对n个待同步数据进行两两对比，能够快速地完成相似度的对比，并计算出任意两个待同步数据的相似度，提高存储系统运行的效率；其次，计算第j组的n个待同步数据的相似度均值能够提高对待同步数据相似度计算的精度，为待同步数据的一致性计算提供基础。
获取第j组的n个待同步数据的运行环境；
所述运行环境包括Linux系统和Windows系统；
构建运行环境影响系数，记为e；
若运行环境为Linux系统，则运行环境影响系数e＝e1；
若运行环境为Windows系统，则运行环境影响系数e＝e2；
根据如下公式计算第j组待同步数据一致的概率：
pj＝dj*e
其中，pj表示第j组待同步数据一致的概率；dj表示第j组的n个待同步数据的相似度均值；e表示第j组的n个待同步数据的运行环境影响系数。
在上述技术方案中，Linux系统和Windows系统是两个不同的运行环境，Linux系统是开源操作系统，有权访问源代码并根据用户需要更改代码，运行速度快于Windows系统，比Windows系统更可靠，具有很高的安全性；Windows系统是商业操作系统，虽然无权访问源代码，但是可以收集所有引起隐私保护的用户详细信息，具有庞大的用户群，在硬件和驱动程序支持方面与Linux系统具有相同的优先级；因此，一般情况下，Windows系统的运行环境影响系数会略高于Linux系统。
进一步地，所述自动同步校验模块包括自动同步单元和二次同步校验单元；
所述自动同步单元用于设置待同步数据一致性的概率阈值，当待同步数据一致性的概率超出阈值时，对待同步数据进行自动同步；
所述二次同步校验单元用于等待自动同步完成后进行二次同步校验；
所述自动同步单元的输出端与所述二次同步校验单元的输入端相连接；所述二次同步校验单元的输出端与所述报警提醒模块的输入端相连接。
与现有技术相比，本发明所达到的有益效果是：本发明能够接收各服务器分节点的待同步数据，对各服务器分节点的待同步数据的一致性进行判断，进一步提高系统的可用性，防止因单节点数据不一致引起的系统的不可用，能够提高系统的整体性能，确保系统为用户提供可靠服务。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于区块链大数据的存储系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：
一种基于区块链大数据的存储系统，所述系统包括：
所述系统包括节点数据接收模块、待同步数据标记模块、计算模型构建分析模块、自动同步校验模块和报警提醒模块；
所述节点数据接收模块用于接收所有服务器分节点发送的待同步数据，对所有服务器分节点发送的待同步数据进行完整性判断；
所述待同步数据标记模块用于构建待同步数据表，将同一时刻接收到的所有服务器分节点发送的待同步数据标记为同时刻待同步数据，并分组存入待同步数据表中；
所述计算模型构建分析模块用于构建待同步数据一致性计算模型，基于各组待同步数据之间的相似度和运行环境，计算待同步数据表中各组待同步数据一致性的概率；
所述自动同步校验模块用于设置待同步数据一致性的概率阈值，当待同步数据一致性的概率超出阈值时，对待同步数据进行自动同步，等待自动同步完成后进行二次同步校验；
所述报警提醒模块用于当检测到待同步数据一致性的概率再次超出阈值，向管理人员发出报警提醒；
所述节点数据接收模块的输出端与所述待同步数据标记模块的输入端相连接；所述待同步数据标记模块的输出端与所述计算模型构建分析模块的输入端相连接；所述计算模型构建分析模块的输出端与所述自动同步校验模块的输入端相连接；所述自动同步校验模块的输出端与所述报警提醒模块的输入端相连接。
进一步地，所述节点数据接收模块包括服务器分节点数目获取单元、服务器分节点数据接收单元、加密算法调用单元、完整性校验码对比判断单元和数据重发请求单元；
所述服务器分节点数据获取单元用于获取存储系统所有服务器分节点的数目，记为n；
所述服务器分节点数据接收单元用于获取各服务器分节点发送的待同步数据以及各待同步数据对应的Md5码；
所述加密算法调用单元用于调用Md5加密算法对接收到的各待同步数据的Md5码进行计算；
所述完整性校验码对比判断单元用于将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比并对各服务器分节点发送的待同步数据的完整性进行判断；
所述数据重发请求单元用于当判定某个服务器分节点发送的待同步数据是不完整时，向存储系统发出重发请求，直到该服务器分节点发送的待同步数据是完整的为止；
所述服务器分节点数据获取单元的输出端与所述服务器分节点数据接收单元的输入端相连接；所述服务器分节点数据接收单元的输出端与所述加密算法调用单元的输入端相连接；所述加密算法调用单元的输出端与所述完整性校验码对比判断单元的输入端相连接；所述完整性校验码对比判断单元的输出端与所述数据重发请求单元的输入端相连接。
进一步地，所述服务器分节点数据接收单元包括待同步数据接收子单元和校验码接收子单元；
所述待同步数据接收子单元用于获取各服务器分节点发送的待同步数据；
所述校验码接收子单元用于获取各服务器分节点发送的各待同步数据对应的Md5码；
所述待同步数据接收子单元得输出端与所述校验码接收子单元的输入端相连接；所述校验码接收子单元的输出端与所述加密算法调用单元的输入端相连接。
进一步地，所述完整性校验码对比判断单元包括完整性检验码对比子单元和待同步数据完整性判断子单元；
所述完整性检验码对比子单元用于将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比；
所述待同步数据完整性判断子单元用于对各服务器分节点发送的待同步数据的完整性进行判断；
所述完整性检验码对比子单元的输出端与所述待同步数据完整性判断子单元的输入端相连接；所述待同步数据完整性判断子单元的输出端与所述数据重发请求单元的输入端相连接；
所述对各服务器分节点发送的待同步数据的完整性进行判断的方法为：
若各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码相同，则判定各服务器分节点发送的待同步数据是完整的；
若第i个服务器分节点发送的待同步数据对应的Md5码与调用Md5加密算法计算得到的待同步数据的Md5码不相同，则判定第i个服务器分节点发送的待同步数据是不完整的。
在上述技术方案中，对各服务器节点发送的待同步数据进行传输时，会对待同步的数据进行加密处理，以保证待同步数据的传输安全，那么就会在待同步数据发送前就会在各服务器节点生成对应的Md5码，在接收到待同步数据后调用加密算法进行完整性检验码对比以保证数据传输过程的正确无误以及数据传输的完整。
进一步地，所述待同步数据标记模块包括待同步数据表构建单元、数据接收时刻获取单元和待同步数据标记单元；
所述待同步数据表构建单元用于构建待同步数据表；
所述数据接收时刻获取单元用于获取接收各服务器分节点发送操作数据的时刻；
所述待同步数据标记单元用于将同一时刻接收到的各服务器分节点发送的操作数据标记为同时刻待同步数据，按照接收各服务器分节点发送操作数据的时刻从先到后分m组存入待同步数据表中；
所述待同步数据表构建单元的输出端与所述数据接收时刻获取单元的输入端相连接；所述数据接收时刻获取单元的输出端与所述待同步数据标记单元的输入端相连接；所述待同步数据标记单元的输出端与所述计算模型构建分析模块相连接。
进一步地，所述计算模型构建分析模块包括计算模型构建单元和计算模型分析单元；
所述计算模型构建单元用于构建待同步数据一致性计算模型；
所述计算模型分析单元用于基于各组待同步数据之间的相似度和运行环境，计算待同步数据表中各组待同步数据一致性的概率。
进一步地，所述构建待同步数据一致性计算模型包括：
获取第j组的n个待同步数据将第j组的n个待同步数据分别转换成对应的n个二进制码/>对应的n个二进制码的总位数/>
分别将任意两个二进制码按位进行比较，计算任意两个待同步数据之间的相似度，计算公式如下：
其中，表示第u个待同步数据与第v个待同步数据之间的相似度；/>表示第u个二进制码与第v个二进制码之间相同位数的个数；/>表示第u个二进制码与第v个二进制码进行比较的总位数；
根据上述公式得到个相似度；
第j组的n个待同步数据的相似度均值为：
其中，dj表示第j组的n个待同步数据的相似度均值；表示第u个待同步数据与第v个待同步数据之间的相似度；
获取第j组的n个待同步数据的运行环境；
所述运行环境包括Linux系统和Windows系统；
构建运行环境影响系数，记为e；
若运行环境为Linux系统，则运行环境影响系数e＝e1；
若运行环境为Windows系统，则运行环境影响系数e＝e2；
根据如下公式计算第j组待同步数据一致的概率：
pj＝dj*e
其中，pj表示第j组待同步数据一致的概率；dj表示第j组的n个待同步数据的相似度均值；e表示第j组的n个待同步数据的运行环境影响系数。
进一步地，所述自动同步校验模块包括自动同步单元和二次同步校验单元；
所述自动同步单元用于设置待同步数据一致性的概率阈值，当待同步数据一致性的概率超出阈值时，对待同步数据进行自动同步；
所述二次同步校验单元用于等待自动同步完成后进行二次同步校验；
所述自动同步单元的输出端与所述二次同步校验单元的输入端相连接；所述二次同步校验单元的输出端与所述报警提醒模块的输入端相连接。
在本实施例中：
获取存储系统所有服务器分节点的数目n＝5；
获取各服务器分节点发送的待同步数据以及各待同步数据对应的Md5码；
调用Md5加密算法对接收到的各待同步数据的Md5码进行计算；将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比并对各服务器分节点发送的待同步数据的完整性进行判断；
构建待同步数据表；获取接收各服务器分节点发送操作数据的时刻；将同一时刻接收到的各服务器分节点发送的操作数据标记为同时刻待同步数据，按照接收各服务器分节点发送操作数据的时刻从先到后分6组存入待同步数据表中；
获取第3组的5个待同步数据将第j组的n个待同步数据分别转换成对应的n个二进制码/>对应的n个二进制码的总位数/>
分别将任意两个二进制码按位进行比较，计算任意两个待同步数据之间的相似度，计算公式如下：
其中，表示第2个待同步数据与第3个待同步数据之间的相似度；/>表示第2个二进制码与第3个二进制码之间相同位数的个数；/>表示第2个二进制码与第3个二进制码进行比较的总位数；
根据上述公式得到个相似度；
第3组的5个待同步数据的相似度均值为：
其中，d3表示第3组的5个待同步数据的相似度均值；表示第u个待同步数据与第v个待同步数据之间的相似度；
获取第3组的5个待同步数据的运行环境；
当前各服务器节点发送待同步数据的运行环境是Linux系统；
因此运行环境影响系数e＝e2；
根据公式：
p3＝d3*e2
其中，p3表示第3组待同步数据一致的概率；d3表示第3组的5个待同步数据的相似度均值；e2表示第3组的5个待同步数据的运行环境影响系数。
设置待同步数据一致性的概率阈值p0；当检测到待同步数据一致性的概率超出阈值时，
对待同步数据进行自动同步，等待自动同步完成后进行二次同步校验。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于区块链大数据的存储系统，其特征在于：所述系统包括：
所述系统包括节点数据接收模块、待同步数据标记模块、计算模型构建分析模块、自动同步校验模块和报警提醒模块；
所述节点数据接收模块用于接收所有服务器分节点发送的待同步数据，对所有服务器分节点发送的待同步数据进行完整性判断；
所述待同步数据标记模块用于构建待同步数据表，将同一时刻接收到的所有服务器分节点发送的待同步数据标记为同时刻待同步数据，并分组存入待同步数据表中；
所述计算模型构建分析模块用于构建待同步数据一致性计算模型，基于各组待同步数据之间的相似度和运行环境，计算待同步数据表中各组待同步数据一致性的概率；
所述构建待同步数据一致性计算模型包括：
获取第j组的n个待同步数据将第j组的n个待同步数据分别转换成对应的n个二进制码/>对应的n个二进制码的总位数/>
分别将任意两个二进制码按位进行比较，计算任意两个待同步数据之间的相似度，计算公式如下：
其中，表示第u个待同步数据与第v个待同步数据之间的相似度；/>表示第u个二进制码与第v个二进制码之间相同位数的个数；/>表示第u个二进制码与第v个二进制码进行比较的总位数；
根据上述公式得到个相似度；
第j组的n个待同步数据的相似度均值为：
其中，dj表示第j组的n个待同步数据的相似度均值；表示第u个待同步数据与第v个待同步数据之间的相似度；
获取第j组的n个待同步数据的运行环境；
所述运行环境包括Linux系统和Windows系统；
构建运行环境影响系数，记为e；
若运行环境为Linux系统，则运行环境影响系数e＝e1；
若运行环境为Windows系统，则运行环境影响系数e＝e2；
根据如下公式计算第j组待同步数据一致的概率：
pj＝dj*e
其中，pj表示第j组待同步数据一致的概率；dj表示第j组的n个待同步数据的相似度均值；e表示第j组的n个待同步数据的运行环境影响系数；
所述自动同步校验模块用于设置待同步数据一致性的概率阈值，当待同步数据一致性的概率超出阈值时，对待同步数据进行自动同步，等待自动同步完成后进行二次同步校验；
所述报警提醒模块用于当检测到待同步数据一致性的概率再次超出阈值，向管理人员发出报警提醒；
所述节点数据接收模块的输出端与所述待同步数据标记模块的输入端相连接；所述待同步数据标记模块的输出端与所述计算模型构建分析模块的输入端相连接；所述计算模型构建分析模块的输出端与所述自动同步校验模块的输入端相连接；所述自动同步校验模块的输出端与所述报警提醒模块的输入端相连接。
2.根据权利要求1所述的一种基于区块链大数据的存储系统，其特征在于：
所述节点数据接收模块包括服务器分节点数目获取单元、服务器分节点数据接收单元、加密算法调用单元、完整性校验码对比判断单元和数据重发请求单元；
所述服务器分节点数据获取单元用于获取存储系统所有服务器分节点的数目，记为n；
所述服务器分节点数据接收单元用于获取各服务器分节点发送的待同步数据以及各待同步数据对应的Md5码；
所述加密算法调用单元用于调用Md5加密算法对接收到的各待同步数据的Md5码进行计算；
所述完整性校验码对比判断单元用于将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比并对各服务器分节点发送的待同步数据的完整性进行判断；
所述数据重发请求单元用于当判定某个服务器分节点发送的待同步数据是不完整时，向存储系统发出重发请求，直到该服务器分节点发送的待同步数据是完整的为止；
所述服务器分节点数据获取单元的输出端与所述服务器分节点数据接收单元的输入端相连接；所述服务器分节点数据接收单元的输出端与所述加密算法调用单元的输入端相连接；所述加密算法调用单元的输出端与所述完整性校验码对比判断单元的输入端相连接；所述完整性校验码对比判断单元的输出端与所述数据重发请求单元的输入端相连接。
3.根据权利要求2所述的一种基于区块链大数据的存储系统，其特征在于：
所述服务器分节点数据接收单元包括待同步数据接收子单元和校验码接收子单元；
所述待同步数据接收子单元用于获取各服务器分节点发送的待同步数据；
所述校验码接收子单元用于获取各服务器分节点发送的各待同步数据对应的Md5码；
所述待同步数据接收子单元得输出端与所述校验码接收子单元的输入端相连接；所述校验码接收子单元的输出端与所述加密算法调用单元的输入端相连接。
4.根据权利要求2所述的一种基于区块链大数据的存储系统，其特征在于：
所述完整性校验码对比判断单元包括完整性检验码对比子单元和待同步数据完整性判断子单元；
所述完整性检验码对比子单元用于将各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码进行对比；
所述待同步数据完整性判断子单元用于对各服务器分节点发送的待同步数据的完整性进行判断；
所述完整性检验码对比子单元的输出端与所述待同步数据完整性判断子单元的输入端相连接；所述待同步数据完整性判断子单元的输出端与所述数据重发请求单元的输入端相连接；
所述对各服务器分节点发送的待同步数据的完整性进行判断的方法为：
若各服务器分节点发送的各待同步数据对应的Md5码与调用Md5加密算法计算得到的各待同步数据的Md5码相同，则判定各服务器分节点发送的待同步数据是完整的；
若第i个服务器分节点发送的待同步数据对应的Md5码与调用Md5加密算法计算得到的待同步数据的Md5码不相同，则判定第i个服务器分节点发送的待同步数据是不完整的。
5.根据权利要求1所述的一种基于区块链大数据的存储系统，其特征在于：
所述待同步数据标记模块包括待同步数据表构建单元、数据接收时刻获取单元和待同步数据标记单元；
所述待同步数据表构建单元用于构建待同步数据表；
所述数据接收时刻获取单元用于获取接收各服务器分节点发送操作数据的时刻；
所述待同步数据标记单元用于将同一时刻接收到的各服务器分节点发送的操作数据标记为同时刻待同步数据，按照接收各服务器分节点发送操作数据的时刻从先到后分m组存入待同步数据表中；
所述待同步数据表构建单元的输出端与所述数据接收时刻获取单元的输入端相连接；所述数据接收时刻获取单元的输出端与所述待同步数据标记单元的输入端相连接；所述待同步数据标记单元的输出端与所述计算模型构建分析模块相连接。
6.根据权利要求1所述的一种基于区块链大数据的存储系统，其特征在于：
所述计算模型构建分析模块包括计算模型构建单元和计算模型分析单元；
所述计算模型构建单元用于构建待同步数据一致性计算模型；
所述计算模型分析单元用于基于各组待同步数据之间的相似度和运行环境，计算待同步数据表中各组待同步数据一致性的概率。
7.根据权利要求1所述的一种基于区块链大数据的存储系统，其特征在于：所述自动同步校验模块包括自动同步单元和二次同步校验单元；
所述自动同步单元用于设置待同步数据一致性的概率阈值，当待同步数据一致性的概率超出阈值时，对待同步数据进行自动同步；
所述二次同步校验单元用于等待自动同步完成后进行二次同步校验；
所述自动同步单元的输出端与所述二次同步校验单元的输入端相连接；所述二次同步校验单元的输出端与所述报警提醒模块的输入端相连接。
CN202211396921.5A 2022-11-09 2022-11-09 一种基于区块链大数据的存储系统 Active CN115687527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211396921.5A CN115687527B (zh) 2022-11-09 2022-11-09 一种基于区块链大数据的存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211396921.5A CN115687527B (zh) 2022-11-09 2022-11-09 一种基于区块链大数据的存储系统

Publications (2)

Publication Number Publication Date
CN115687527A CN115687527A (zh) 2023-02-03
CN115687527B true CN115687527B (zh) 2023-10-10

Family

ID=85050041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211396921.5A Active CN115687527B (zh) 2022-11-09 2022-11-09 一种基于区块链大数据的存储系统

Country Status (1)

Country Link
CN (1) CN115687527B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324901A (zh) * 2018-09-20 2019-02-12 北京京东尚科信息技术有限公司 基于区块链的深度学习分布式计算方法、系统和节点
CN109542888A (zh) * 2018-12-03 2019-03-29 百度在线网络技术（北京）有限公司 区块链的数据修改和同步方法、装置、设备及存储介质
KR101975822B1 (ko) * 2018-10-26 2019-05-08 (주)리그시스템 프라이빗 블록체인 네트워크 시스템 및 경량화된 고성능 블록체인 기반 합의 방법
CN109992624A (zh) * 2019-03-15 2019-07-09 深圳前海微众银行股份有限公司 一种区块链Block chain的同步存储方法、装置及计算机设备
CN110188118A (zh) * 2019-04-25 2019-08-30 广州至真信息科技有限公司 一种数据同步方法、装置
CN110570171A (zh) * 2019-09-11 2019-12-13 杭州秘猿科技有限公司 交易池节点同步方法、电子设备和计算机可读存储介质
CN111444211A (zh) * 2020-03-26 2020-07-24 腾讯科技（深圳）有限公司 区块链共识节点校验方法、装置、设备以及存储介质
CN111881210A (zh) * 2020-06-29 2020-11-03 平安国际智慧城市科技股份有限公司 数据同步方法、装置、内网服务器及介质
WO2020259629A1 (zh) * 2019-06-24 2020-12-30 深圳前海微众银行股份有限公司 一种基于区块链的数据检验方法及装置
CN113010498A (zh) * 2021-03-25 2021-06-22 腾讯科技（深圳）有限公司 一种数据同步方法、装置、计算机设备及存储介质
WO2021135857A1 (zh) * 2020-01-02 2021-07-08 支付宝(杭州)信息技术有限公司 对信任节点信息进行更新的方法及装置
CN113409145A (zh) * 2021-06-18 2021-09-17 支付宝(杭州)信息技术有限公司 一种跨区块链的交易同步方法和装置
CN115297009A (zh) * 2022-07-08 2022-11-04 中电信数智科技有限公司 一种基于区块链分布式网络数字加密一致性优化的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537525B (zh) * 2018-03-09 2020-06-09 阿里巴巴集团控股有限公司 一种共识验证方法、装置及设备
CN111274317A (zh) * 2020-01-07 2020-06-12 书生星际(北京)科技有限公司 多节点数据同步的方法和装置，以及计算机设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324901A (zh) * 2018-09-20 2019-02-12 北京京东尚科信息技术有限公司 基于区块链的深度学习分布式计算方法、系统和节点
KR101975822B1 (ko) * 2018-10-26 2019-05-08 (주)리그시스템 프라이빗 블록체인 네트워크 시스템 및 경량화된 고성능 블록체인 기반 합의 방법
CN109542888A (zh) * 2018-12-03 2019-03-29 百度在线网络技术（北京）有限公司 区块链的数据修改和同步方法、装置、设备及存储介质
CN109992624A (zh) * 2019-03-15 2019-07-09 深圳前海微众银行股份有限公司 一种区块链Block chain的同步存储方法、装置及计算机设备
CN110188118A (zh) * 2019-04-25 2019-08-30 广州至真信息科技有限公司 一种数据同步方法、装置
WO2020259629A1 (zh) * 2019-06-24 2020-12-30 深圳前海微众银行股份有限公司 一种基于区块链的数据检验方法及装置
CN110570171A (zh) * 2019-09-11 2019-12-13 杭州秘猿科技有限公司 交易池节点同步方法、电子设备和计算机可读存储介质
WO2021135857A1 (zh) * 2020-01-02 2021-07-08 支付宝(杭州)信息技术有限公司 对信任节点信息进行更新的方法及装置
CN111444211A (zh) * 2020-03-26 2020-07-24 腾讯科技（深圳）有限公司 区块链共识节点校验方法、装置、设备以及存储介质
CN111881210A (zh) * 2020-06-29 2020-11-03 平安国际智慧城市科技股份有限公司 数据同步方法、装置、内网服务器及介质
CN113010498A (zh) * 2021-03-25 2021-06-22 腾讯科技（深圳）有限公司 一种数据同步方法、装置、计算机设备及存储介质
CN113409145A (zh) * 2021-06-18 2021-09-17 支付宝(杭州)信息技术有限公司 一种跨区块链的交易同步方法和装置
CN115297009A (zh) * 2022-07-08 2022-11-04 中电信数智科技有限公司 一种基于区块链分布式网络数字加密一致性优化的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ning Wang etc..A Middleware Approach to Synchronize Transaction Data to Blockchain.《2020 29th International Conference on Computer Communications and Networks (ICCCN)》.2020,1-8. *
吴腾 等.具有状态合法性验证的区块链一致性算法研究.《计算机工程》.2018,第44卷(第01期),160-164. *
翟社平 等.区块链关键技术中的数据一致性研究.《计算机技术与发展》.2018,第28卷(第09期),94-100. *

Also Published As

Publication number Publication date
CN115687527A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
EP3693886B1 (en) Optimizations for verification of interactions system and method
Myung et al. An adaptive memoryless protocol for RFID tag collision arbitration
CN102624705B (zh) 一种智能图像验证方法及系统
US9009824B1 (en) Methods and apparatus for detecting phishing attacks
US11468044B2 (en) Optimizations for verification of interactions system and method using probability density functions
CN106162584A (zh) 识别垃圾短信的方法、客户端、云端服务器和系统
CN111444211A (zh) 区块链共识节点校验方法、装置、设备以及存储介质
CN115278737B (zh) 一种5g网络的数据采集方法
CN111209317A (zh) 一种知识图谱异常社区检测方法及装置
CN112804348A (zh) 云监测中心对边缘计算节点上报数据的重复性判定方法
CN112804358A (zh) 一种基于中继设备网络跨链中转数据的方法和装置
CN114500645A (zh) 数据采集系统及数据采集方法
CN115687527B (zh) 一种基于区块链大数据的存储系统
CN113886817A (zh) 主机入侵检测方法及装置、电子设备、存储介质
CN112713996B (zh) 基于区块链的故障验证方法、服务器和终端
US11539730B2 (en) Method, device, and computer program product for abnormality detection
CN111949641B (zh) 一种多级平台间数据清洗与同步方法及系统
CN112187834A (zh) 一种基于安全存储的区块链网络节点服务系统
CN109743362B (zh) 一种应用于全格式数据结构的数据存储方法
CN112559546B (zh) 数据库同步方法、装置、计算机设备及可读存储介质
CN114518723B (zh) 一种用于智能楼宇数据的能耗监控系统及方法
Douglas et al. Synthetic aperture active sonar imaging
CN114785805A (zh) 一种数据传输方法、装置、电子设备以及存储介质
CN113347180B (zh) 一种计算机应用系统网络安全三同步过程风险分析方法
CN108881450A (zh) 一种在存储集群中进行设备发现的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230906

Address after: 1201, 12th Floor, Zhongshui International Building, No. 3 Guangqu East Road, Chaoyang District, Beijing, 100022

Applicant after: Beijing Thirty Degrees North Latitude Network Technology Co.,Ltd.

Address before: 010010 Room 17016, Block B, Chang'an Jinzuo, Xinhua East Street, Saihan District, Hohhot, Inner Mongolia Autonomous Region

Applicant before: Hohhot Daqi Network Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant