CN111339043B - 一种区块链碎片优化方法、系统及存储介质 - Google Patents

一种区块链碎片优化方法、系统及存储介质 Download PDF

Info

Publication number
CN111339043B
CN111339043B CN201911345511.6A CN201911345511A CN111339043B CN 111339043 B CN111339043 B CN 111339043B CN 201911345511 A CN201911345511 A CN 201911345511A CN 111339043 B CN111339043 B CN 111339043B
Authority
CN
China
Prior art keywords
storage
storage node
node
score
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911345511.6A
Other languages
English (en)
Other versions
CN111339043A (zh
Inventor
朱佳
梁婉莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongan Tongchuang Technology Co ltd
Original Assignee
Guangzhou Zhongan Tongchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongan Tongchuang Technology Co ltd filed Critical Guangzhou Zhongan Tongchuang Technology Co ltd
Priority to CN201911345511.6A priority Critical patent/CN111339043B/zh
Publication of CN111339043A publication Critical patent/CN111339043A/zh
Application granted granted Critical
Publication of CN111339043B publication Critical patent/CN111339043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1727Details of free space management performed by the file system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种区块链碎片优化方法、系统及存储介质,方法包括:获取上传的加密文件并将文件分片;寻找所述加密文件所在节点邻近的存储节点;获取所述存储节点列表,检测所述存储节点响应状况;对通过所述响应状况检测的存储节点进行数据审计;对通过所述数据审计的存储节点进行综合评估。本发明在存储节点选取流程中加入了针对存储节点的数据完整性审计,在激励节点诚实信用的同时,打击了恶意篡改数据的行为,确保了节点的高信用度。本发明可广泛应用于区块链技术领域。

Description

一种区块链碎片优化方法、系统及存储介质
技术领域
本发明涉及区块链技术领域,尤其涉及一种区块链碎片优化方法、系统及存储介质。
背景技术
随着现代计算机科学的不断发展,人们在日常生活中使用产生的数据不断增加,数据存储成为了未来亟待解决的一大难题。中本聪于2008年提出了区块链一词,这是一种区块存储数据、密码学保证传输和访问的实现数据存储的技术体系。其本质是一个去中心化的数据库,是包含分布式数据存储、点对点传输、共识机制、加密算法等技术的新型应用模式。
如图2所示,现有的碎片分配流程,使用Kademlia DHT对碎片进行分配,用户节点先在本地加密所需存储的文件,并将其上传。上传成功后,系统根据文件分片规则将其切分为碎片。每个节点均拥有信息量为160bit的ID值作为标记符。系统会对两个节点的ID值进行二进制异或运算(XOR),运算结果作为节点之间距离的判断标准,以此找出距离用户节点最近的45个节点,并对其进行声誉评估。声誉评估包括有:要求附近的45个节点均出示工作证明,并对额外少量未经审核的节点进行数据完整性审计。而当存储节点初次加入网络时,将被放入审计过程,直到碎片存储数量一定才置出。未通过声誉评估的节点将被淘汰,而剩余的节点将接受综合评估,在进行综合评估的时候,节点的响应时间,即节点响应1000个此类请求所花费的平均时间,是评估的关键。
由于该方法只对少量未通过审计的节点进行数据完整性审计,将节点的分配和数据审计分开工作,缺失对节点的信用评价,无法确保存储节点的高信用度。
发明内容
为了解决上述技术问题,本发明的目的是提供一种高信用的区块链碎片优化方法、系统及存储介质。
本发明提出了一种区块链碎片优化方法,包括以下步骤:
获取上传的加密文件并将文件分片;
寻找加密文件所在节点邻近的存储节点;
获取存储节点列表,检测所述存储节点响应状况;
对通过响应状况检测的存储节点进行数据审计;
对通过数据审计的存储节点进行综合评估。优选地,综合评估存储节点这一步骤,包括以下步骤:
评估存储节点的存储空间,得出该存储节点的第一评分;
分析存储节点的最近存储碎片时间戳,得出该存储节点的第二评分;
测试存储节点的响应时间,得出该存储节点的第三评分。
优选地,综合评估存储节点这一步骤,根据评分标准得到的第一评分、第二评分和第三评分,并相加求和得到该存储节点的总分。
优选地,综合评估存储节点这一步骤,还包括有以下步骤:
选取总分最高的存储节点,将碎片分配到该存储节点进行存储。
优选地,响应状况超时的存储节点,视为状态异常,不参与后续方法步骤。数据审计出现完整性错漏的存储节点,视为状态异常,不参与后续方法步骤。
本发明还提出了一种区块链碎片优化系统,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
本发明还提出了一种区块链碎片优化系统,包括:
获取模块,用于获取上传的加密文件并将文件分片;
查找模块,寻找所述加密文件所在节点邻近的存储节点;
检测模块,获取所述存储节点列表,检测所述存储节点响应状况;
审计模块,对通过所述响应状况检测的存储节点进行数据审计;
评估模块,对通过所述数据审计的存储节点进行综合评估。
优选地,所述评估模块,包括:
第一评估单元,用于评估存储节点的存储空间,得出该存储节点的第一评分;
第二评估单元,用于分析存储节点的最近存储碎片时间戳,得出该存储节点的第二评分;
第三评估单元,用于测试存储节点的响应时间,得出该存储节点的第三评分。
总分求和单元,用于根据所述第一评分、第二评分和第三评分,相加求和得到该存储节点的总分。
本发明还提出了一种存储介质,所述存储介质上存储有区块链碎片优化程序,所述区块链碎片优化程序被文件处理模块运行时,实现如上所述的区块链碎片优化方法的步骤。
上述本发明的实施例中的一个或多个技术方案具有如下优点:本发明在存储节点选取流程中加入了针对存储节点的数据完整性审计,在激励节点诚实信用的同时,打击了恶意篡改数据的行为,确保了存储节点的高信用度。
附图说明
图1是本发明一种区块链碎片优化方法的流程图;
图2是现有的区块链碎片分配流程图;
图3是本发明一种区块链碎片优化系统的结构示意图;
图4为本发明实施例的一种区块链碎片优化系统的另一结构示意图。
具体实施方式
下面结合附图,对本发明的技术方案进行详细描述。
参考图1,一种区块链碎片优化方法,包括以下步骤:
步骤1是用户上传文件,系统则对文件加密并分成碎片。
用户选择本地文件,上传至使用优化模型的区块链平台。上传完毕后,系统内部对该文件进行加密,并切割成固定大小的碎片,并准备将这些碎片逐个送往最合适的节点中进行存储。
步骤2是系统寻找用户所在的节点附近的45个存储节点。
每个节点均有一个160bit的唯一标识符,系统将对两个节点的标识符进行二进制异或运算(XOR),以运算结果作为标准对节点之间的距离进行判断,从而找出距离用户节点最近的45个节点,即存储范围K。
步骤3是对存储范围K节点发送响应回复请求,得出新存储范围K1。
系统将对存储范围K内的45个节点发送响应回复请求,并等待节点响应(类似网络互ping)。如节点状态正常,在收到请求后则自动发送回复,系统将保留响应状态正常的节点。限定时间内没有发送回复的节点视为状态异常,不参与后续节点声誉评估,即淘汰。在淘汰过后,得出了新存储范围K1。
步骤4是系统对存储范围K1节点进行数据完整性审计,得出新存储范围K2。
系统将对存储范围K1内的全部节点进行数据完整性审计。系统在每个节点中随机抽取出一段密文,对其添加新的固定后缀,并与节点同时进行二次加密。加密后得出的两个新密文之间无错漏,则视为审计正常节点,其将进入下一部分的节点质量综合评估。其余情况节点淘汰。在淘汰过后,得出新存储范围K2。
步骤5是系统对存储范围K2节点评出综合评估中的各标准分数。
系统将对K2范围内节点进行综合评估,并分别对每个节点的三个方面评分,各方面按上述评分标准分开评分,包括:
(1)节点剩余存储空间大小:
系统将利用最坏适应分配算法对碎片进行分配。最坏适应分配方法总是挑选一个最大的空闲区分割给碎片进行存储,这样可使剩下的空闲分区不至于太小,产生碎片的几率最小。
评分标准:对参与综合评价的节点进行存储空间从大到小的排序,剩余节点中存储空间最大的节点评价分数为cardK2;中间节点依次降低;直至剩余存储空间最小的节点评价分数为1。
(2)最近存储碎片时间戳比较:
系统将对每个节点添加时间戳(timestamp)纪录,保存该节点最近一次存储碎片的时间戳,以此作为标准进行评分。这可使最长时间没进行碎片存储的节点拥有优先权,令其不至于因为响应速度稍慢而降低抢夺存储资格的能力,使得碎片分配能够公平平均,各节点进行碎片存储的机会保持相对公平均等。
评分标准:对参与综合评价的节点进行时间戳从小到大的排序,时间戳最小,即距离上一次进行碎片存储时间最长的节点评价分数为cardK2;中间节点依次降低;时间戳最大,即距离上一次进行碎片存储时间最短的节点评价分数为1。
(3)响应时间长短:
系统将对每个节点的响应时间进行纪录,以此作为标准进行评分。这确保了碎片存储的速度和效率,为用户提供优质网络环境。
评分标准:对参与综合评价的节点进行响应时间从短到长的排序,响应时间长于9000毫秒的节点可视为无效,将舍弃。响应时间最小的节点评价分数为cardK2;中间节点依次降低;响应时间最长的节点评价分数为1。
步骤6是对节点各标准分数相加,得出总分。
步骤7是选取总分最高的节点kbest,将碎片分配到kbest中存储。
此时方案中本轮的存储节点选择结束。
参考图3,一种区块链碎片优化系统,包括以下模块:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上所述的区块链碎片优化方法。
参考图4,本发明还提出了一种区块链碎片优化系统,包括:
获取模块,用于获取上传的加密文件并将文件分片;
查找模块,寻找所述加密文件所在节点邻近的存储节点;
检测模块,获取所述存储节点列表,检测所述存储节点响应状况;
审计模块,对通过所述响应状况检测的存储节点进行数据审计;
评估模块,对通过所述数据审计的存储节点进行综合评估。
优选地,所述评估模块,包括:
第一评估单元,用于评估存储节点的存储空间,得出该存储节点的第一评分;
第二评估单元,用于分析存储节点的最近存储碎片时间戳,得出该存储节点的第二评分;
第三评估单元,用于测试存储节点的响应时间,得出该存储节点的第三评分。
总分求和单元,用于根据所述第一评分、第二评分和第三评分,相加求和得到该存储节点的总分。
本发明还提出的一种计算机可读存储介质,该存储介质上存储有处理器可执行的指令,在由处理器执行时用于执行如上所述的区块链碎片优化方法。
综上所述,相较于现有技术,本发明具有以下优点:
(1)本发明在存储节点选取流程中加入了针对大范围节点的数据完整性审计,在激励节点诚实信用的同时,打击了恶意篡改数据的行为,确保了节点的高信用度。
(2)本发明在综合评估流程中添加了节点剩余空间大小评估,实用最坏适应分配算法,减少了空间碎片产生的几率,提升了存储空间的空间利用率。
(3)本发明在综合评估流程中,加入了最近存储碎片时间戳比较,即使存储范围内始终存在一个最优节点,也不会出现节点倾斜的情况,即最优解点的被选择次数远远高于随机节点,使得各个节点存储碎片的机会相对均等了,落差较少,选择相对公平,消除了碎片堆积在同一节点的现象,提高了数据的安全性。
(4)本发明避免了节点被选择概率的两极分化现象,让一些响应速度稍慢的节点也能有相应的存储机会,使得响应效率和使用率相对平均,平均了每个用户所存储的节点的响应速度,使用户的使用体验得到了大体上的统一。
对于上述方法实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种区块链碎片优化方法,其特征在于,包括以下步骤:
获取上传的加密文件并将文件分片;
寻找所述加密文件所在节点邻近的存储节点;
获取所述存储节点列表,检测所述存储节点响应状况;
对通过所述响应状况检测的存储节点进行数据审计;所述数据审计包括:在每个所述存储节点中随机抽取出一段密文,对所述密文添加新的固定后缀,并与所述存储节点同时进行二次加密,若得到的两个新密文之间无错漏,则所述存储节点通过所述数据审计;
对通过所述数据审计的存储节点进行综合评估,包括以下步骤:
评估存储节点的存储空间,得出该存储节点的第一评分;
分析存储节点的最近存储碎片时间戳,得出该存储节点的第二评分;
测试存储节点的响应时间,得出该存储节点的第三评分;
根据所述第一评分、第二评分和第三评分,相加求和得到该存储节点的总分;
选取总分最高的存储节点,将碎片分配到该存储节点进行存储,本轮的所述存储节点选择结束。
2.根据权利要求1所述的一种区块链碎片优化方法,其特征在于,还包括以下步骤:
当所述存储节点的响应状况超时的时候,将该存储节点标记为状态异常。
3.根据权利要求1所述的一种区块链碎片优化方法,其特征在于,还包括以下步骤:
当所述存储节点的数据审计出现完整性错漏的时候,将该存储节点标记为状态异常。
4.一种区块链碎片优化系统,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-3中任一项所述的区块链碎片优化方法。
5.一种区块链碎片优化系统,其特征在于:包括:
获取模块,用于获取上传的加密文件并将文件分片;
查找模块,寻找所述加密文件所在节点邻近的存储节点;
检测模块,获取所述存储节点列表,检测所述存储节点响应状况;
审计模块,对通过所述响应状况检测的存储节点进行数据审计;所述数据审计包括:在每个所述存储节点中随机抽取出一段密文,对所述密文添加新的固定后缀,并与所述存储节点同时进行二次加密,若得到的两个新密文之间无错漏,则所述存储节点通过所述数据审计;
评估模块,对通过所述数据审计的存储节点进行综合评估;
所述评估模块,包括:
第一评估单元,用于评估存储节点的存储空间,得出该存储节点的第一评分;
第二评估单元,用于分析存储节点的最近存储碎片时间戳,得出该存储节点的第二评分;
第三评估单元,用于测试存储节点的响应时间,得出该存储节点的第三评分;
总分求和单元,用于根据所述第一评分、第二评分和第三评分,相加求和得到该存储节点的总分;选取总分最高的存储节点,将碎片分配到该存储节点进行存储,本轮的所述存储节点选择结束。
6.一种存储介质,其中存储有处理器可执行的指令,其特征在于,所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-3中任一项所述的区块链碎片优化方法。
CN201911345511.6A 2019-12-24 2019-12-24 一种区块链碎片优化方法、系统及存储介质 Active CN111339043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911345511.6A CN111339043B (zh) 2019-12-24 2019-12-24 一种区块链碎片优化方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911345511.6A CN111339043B (zh) 2019-12-24 2019-12-24 一种区块链碎片优化方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111339043A CN111339043A (zh) 2020-06-26
CN111339043B true CN111339043B (zh) 2023-10-10

Family

ID=71181387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911345511.6A Active CN111339043B (zh) 2019-12-24 2019-12-24 一种区块链碎片优化方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111339043B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831674A (zh) * 2020-06-29 2020-10-27 山大地纬软件股份有限公司 一种区块链节点、系统及数字资料副本分配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222482A (zh) * 2017-06-01 2017-09-29 黑龙江卓亚科技有限公司 一种基于复合区块链网络的数据管理系统及方法
CN110147995A (zh) * 2019-05-06 2019-08-20 山东公链信息科技有限公司 一种基于密钥层级的审计方法
CN110263584A (zh) * 2019-06-19 2019-09-20 华中科技大学 一种基于区块链的数据完整性审计方法和系统
CN110493323A (zh) * 2019-07-29 2019-11-22 华南理工大学 基于区块链的公平性文件分发方法、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917234B2 (en) * 2018-05-03 2021-02-09 International Business Machines Corporation Blockchain for on-chain management of off-chain storage

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222482A (zh) * 2017-06-01 2017-09-29 黑龙江卓亚科技有限公司 一种基于复合区块链网络的数据管理系统及方法
CN110147995A (zh) * 2019-05-06 2019-08-20 山东公链信息科技有限公司 一种基于密钥层级的审计方法
CN110263584A (zh) * 2019-06-19 2019-09-20 华中科技大学 一种基于区块链的数据完整性审计方法和系统
CN110493323A (zh) * 2019-07-29 2019-11-22 华南理工大学 基于区块链的公平性文件分发方法、系统及存储介质

Also Published As

Publication number Publication date
CN111339043A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CA2754086C (en) Method and system for transmitting information based on social network
Pham et al. Detecting colluding blackhole and greyhole attacks in delay tolerant networks
CN110995513B (zh) 物联网系统中的数据发送、接收方法、物联网设备及平台
US20070233832A1 (en) Method of distributed hash table node ID collision detection
US20130103642A1 (en) Method, apparatus and system for updating metadata file
CN109831487A (zh) 分片文件验证方法及终端设备
CN1669009A (zh) 用于改善内容分发网络对分布式拒绝服务攻击的适应力的方法和设备
CN102067557A (zh) 使用本地托管高速缓存和密码散列函数来减少网络通信的方法和系统
CN110336848B (zh) 一种访问请求的调度方法及调度系统、设备
CN103299295A (zh) 对等网络中的搜索
CN106888277B (zh) 一种域名查询方法及装置
CN109788319B (zh) 一种数据缓存方法
CN111930599B (zh) 一种云服务系统的运维数据处理方法、装置及存储介质
CN111339043B (zh) 一种区块链碎片优化方法、系统及存储介质
CN111953551B (zh) 日志数据的传输方法、装置、电子设备及存储介质
CN109246178B (zh) 一种在线题目发放方法、装置、服务器及存储介质
CN111522656A (zh) 一种边缘计算数据调度与分布方法
RU2483457C2 (ru) Платформа маршрутизации сообщений
CN107395587A (zh) 一种基于多点协作机制的数据管理方法及系统
JP5154313B2 (ja) Sipメッセージ振分方法およびsipメッセージ振分装置
CN108076149B (zh) 会话保持方法和装置
CN110572700B (zh) 一种客户端风险的识别方法及系统
CN115065689B (zh) 一种基于历史评价的联盟链区块数据存储方法及系统
CN110019054B (zh) 日志去重方法和系统、内容分发网络系统
Daniel et al. Improving Bitswap Privacy with Forwarding and Source Obfuscation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant