CN113886501A - 一种基于多链架构下的区块链业务模块扩展方法 - Google Patents
一种基于多链架构下的区块链业务模块扩展方法 Download PDFInfo
- Publication number
- CN113886501A CN113886501A CN202111231375.5A CN202111231375A CN113886501A CN 113886501 A CN113886501 A CN 113886501A CN 202111231375 A CN202111231375 A CN 202111231375A CN 113886501 A CN113886501 A CN 113886501A
- Authority
- CN
- China
- Prior art keywords
- data
- chain
- network
- node
- transaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Abstract
本发明涉及计算机领域,尤其涉及一种基于多链架构下的区块链业务模块扩展方法,将IPFS网络与区块链进行结合实现一种区块链的模块扩展,扩展过程包括IPFS网络与区块链进行结合后,区块链中网络节点负责数据收集与处理,即区块链中网络节点在收集到数据后,节点将数据打包上传至IPFS;IPFS对接收到的数据进行存储,完成后向节点进行反馈,并返回数据对应的地址Hash;节点将返回的Hash值作为普通数据进行上链操作;数据在联盟网络中,进行打包,数据在区块链网络中进行打包,进行背书验证,完成区块生成,并将生成的区块存入区块链;本发明提高了信息数据的可信度和安全性,防止了中心化系统下信息泄露等问题的出现。
Description
技术领域
本发明涉及计算机领域,尤其涉及一种基于多链架构下的区块链业务模块扩展方法。
背景技术
区块链是在去中心节点的网络中,由一个个区块组成的链式数据结构,每个区块中由一条条的数据信息构成。其中,联盟链网络节点划分为各个组织,组织内又有许多普通节点构成,网络内部的共识以组织为单位实现。联盟链的网络模型更加符合现代企业.机构的运营模式,因此,可以实现更有现实意义的落地应用。
在经济发展与生产生活中交易量不断增加,但行业内部信息交互并不通畅,一些涉及客户的敏感信息安全问题被外界广泛关注。现有的系统都是由企业中心化统一管理,如果企业内部人员企图谋取私利,容易发生信息泄露等问题。设计的一种基于IPFS优化的联盟区块链方案,以区块链的安全、可溯源、不可篡改的特性,提高了信息数据的可信度和安全性,防止了中心化系统下信息泄露等问题的出现,系统使用星际文件系统,构建一种数据交流方法,以实现资源的充分合理利用。
发明内容
为了方便信息的存储与共享,本发明提出一种多链下的区块链业务模块扩展方法,包括以下步骤
IPFS网络与区块链进行结合后,区块链中网络节点负责数据收集与处理,即区块链中网络节点在收集到数据后,节点将数据打包上传至IPFS;
IPFS对接收到的数据进行存储,完成后向节点进行反馈,并返回数据对应的地址Hash;
节点将返回的Hash值作为普通数据进行上链操作;
数据在联盟网络中进行打包,进行背书验证,完成区块生成,并将生成的区块存入区块链。
进一步的,区块链以联盟链为基础,联盟链中包括多个组织,每个组织中包括多个Orderer节点和一个Leader节点,每个组织之间通过该组织的Leader节点进行通信并且每个组织中Orderer节点的数量大于联盟链系统内组织数量的三分之一。
进一步的,IPFS网络与区块链进行结合前,对区块链的配置进行相关设置,包括以下步骤:
S101、网络层中的任意节点均可随机参与和脱离;共识层、激励层与合约层各层间的配合可促进和完成交易;
S102、为了记录主链中的交易数据,设置交易侧链,该链记录了所属网络的交易数据,能够在不同的时间节点上完成所属网络中的交易的智能合约确认;
S103、在区块链网络中采用股份授权证明机制,让网络中的各个成员推选记账者并赋予其监管权力;
S104、选出记账者后,记账者可校验交易信息,并完成交易链打包上传的功能;智能合约根据所测算获得的交易数据,上载数据,便于各记账者了解,并监督数据。
进一步的,为优化相关模块扩展后区块链的性能,对相关区块链的参数进行设定,设定过程包括:
S202、节点完成校验后,区块可完成第二次转发,区块链中其他节点对记账节点记账后消息的同步确认所需要的校验时间为:
t2=gV;
其中,g为比例参数;则记账节点朝周围节点传播区块的时长ta表示为:
S203、记账节点朝端到端网络中n+1区块传播所经过的时间t为:
t=ta+max{t(n+1)}。
进一步的,侧链区块属于交易侧链,交易侧链是用户在主链进行交易后形成的私有区块链,仅为在主链交易网络中参与了交易的用户提供服务,并存储交易数据以及相关智能合约调用的信息,但是并不参与到主链网络的交易中。
进一步的,交易侧链包括资产数据交易侧链与交易数据侧链,资产数据交易侧链存储设备信息、需求信息与配置信息;交易信息侧链可根据不同的交易状态录入相关交易数据,如交易的时间戳,用户交易后的相关用户状态信息,以及是否有无关智能合约的调用,记账者可通过资产信息侧链上的信息及时调整交易状况,对违规信息或操作进行处理。
进一步的,进行多链式区块链的优化需要满足的约束条件的设置包括:
将单独节点的权限值Kj的值设置为低于48%;
当节点满足参数G后,从而将该节点设置为记账节点;
其中,m为多链式区块链的待选记账员总数,n为待选记账员的PPGC机制均值。
进一步的,将IPFS网络与区块链进行结合时,为IPFS数据建立去中心化混合索引,包括以下步骤:
将文件存储在IPFS得到的CID值与文档关键词组合,构成关键词索引发布到DHT网络中存储;
计算文档的句子索引并存储在DHT网络中;
节点对搜索结果缓存,加快后续相同查询的搜索过程;
当查询内容较多时,进行句子搜索,在网络中距离索引存储节点物理位置较近的节点进行搜索;查询内容较短时,提取关键词后再分别进行搜索。
进一步的,为IPFS数据建立去中心化混合索引后,利用DHT网络存储索引文件,包括以下步骤:
为了使句子索引反映文档内容,将文档进行分词处理后得到若干关键词(k1,k2,...,kn);
采用word2ve将得到的关键词转为词向量表示,即表示为:ki=(dim1i,dim2i,……,dimmi),dimmi表示关键词ki的词向量表示中的第m个元素;
其中,wi(i=1,2,…n)表示第i个关键词的权重值;n为将文档进行分词后得到的关键词的数量;
使用minhash对句子向量进行降维,建立降维后句子向量与DHT网络中节点ID之间的对应关系。
进一步的,使用minhash对句子向量进行降维的过程包括:
S101、文件拥有者将文件上传到IPFS系统中存储,IPFS会返回文件唯一标识CID;
S102、使用TF-IDF算法提取文档的前n个或者权重大于阈值的关键词(k1,k2,…,kn),每个关键词经过哈希运算得到的关键词哈希与文档CID组成键值对,由这若干个关键词与CID组合构成若干个关键词索引,发布到DHT网络中存储;;
S103、对提取出来的关键词或文档的中心句使用机器学习的方法构建文档的句子向量表示,由降维后的句子向量和CID构成句子索引;构建句子索引时,选取N个随机的哈希函数,对句子向量表示中的每个元素进行哈希运算,取其中的最小值再继续采用其他的hash函数进行处理,重复N次上一步骤,得到代表句子向量的N个数值,即将句子向量降至N维,将降维后的向量各维度拼接后得到160bit的值与文档CID组成键值对,即为句子索引,句子索引的键值与nodeID具有相同值域;
S104、DHT网络中每个索引存储节点都会存储一个索引表及一个缓存表,并使用倒排表的结构对索引进行整合、存储;
S105、当网络中的一个对等节点发起搜索时,首先根据查询语句的长度判断执行句子索引或关键词索引,并检查缓存中的数据,如果该节点自身缓存了搜索结果则直接返回结果并进行缓存的更新;
S106、在搜索消息路由过程中,如果其它对等节点缓存了该搜索的结果,则中断搜索并返回结果,否则对搜索消息进行转发直到负责存储该搜索结果的对等节点。
本发明为IPFS数据建立去中心化混合索引,极大的缩短了区块链网络中的一个对等节点发起搜索所需要的时间。本发明以区块链的安全、可溯源、不可篡改的特性,提高了信息数据的可信度和安全性,防止了中心化系统下信息泄露等问题的出现。
附图说明
图1为本发明中基于去中心化索引的IPFS数据获取过程总览图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种基于多链架构下的区块链业务模块扩展方法,将IPFS网络与区块链进行结合实现一种区块链的模块扩展,扩展过程包括:
IPFS网络与区块链进行结合后,区块链中网络节点负责数据收集与处理,即区块链中网络节点在收集到数据后,节点将数据打包上传至IPFS;
IPFS对接收到的数据进行存储,完成后向节点进行反馈,并返回数据对应的地址Hash;
节点将返回的Hash值作为普通数据进行上链操作;
数据在联盟网络中,进行打包,数据在区块链网络中进行打包,进行背书验证,完成区块生成,并将生成的区块存入区块链。
实施例1
在本实施例中,提供一种多链式区块链优化方法设计与实现,包括联盟链系统,整个模型包含物理层,区块链网络层,共识层、激励层、合约层与虚拟层几个部分。物理层中包含了相连接的用户、代理商等组成部分;区块链网络层中的任意节点,均可随机参与和脱离,因此可实现交易的需求;共识层、激励层与合约层是整个模型的组成部分,各层间的配合可促进和完成交易。
进一步的,在区块链网络的传播进程中,新的区块的生成是通过多链式区块链中具有记账权的节点向其他区块进行广播,并通过各节点的不断校验后实现转发的功能。
在多链式区块链网络中,记账节点向周围节点传播节点完成校验后,区块可完成第二次转发。
通过设置双矩阵分别存储交易数据与区块链节点的连接状态,通过设置的多链式区块链的优化的方法得到单位时间完成最大交易总数,交易侧链是交易的公共链,该链记录了交易数据,能够在不同的时间节点上完成交易的智能合约确认。
进一步的,采用股份授权证明机制,让区块链网络中的各个成员推选记账者并由其监管权力。而记账者可校验信息,并完成朝交易链打包上传的功能。而智能合约再根据所测算获得的交易数据,上载数据,便于各记账者了解,并监督数据。
所述交易侧链是自建的私有区块链,该侧链仅为区域内的同一级的用户提供服务,并存储数据,而不完成交易,保障节点信息的真实、完整与隐私性。
进一步的,侧链则包括交易侧链、用户侧链两种。交易信息侧链可根据不同的交易状态录入数据,资产信息侧链则可通过数据及时调整交易状况。
实施例2
在本实施例中,在实施例1的基础上,提出一种基于IPFS优化的区块链的方法,包括:
S101、联盟内网络节点负责数据收集与处理。在收集到网点数据后,节点将数据打包上传至IPFS。
S102、IPFS对接收到的数据进行存储,完成后向节点进行反馈,并返回数据对应的地址Hash。组织节点将返回的Hash值作为普通数据进行上链操作。
S103、数据在联盟网络中,进行打包、背书验证,完成区块生成,最后存入区块链。
S104、系统数据传输按照传输内容划分分为物流数据传输以及地址Hash传输两个部分。节点向区块链网络发送上传请求,调用智能合约并将地址Hash等参数传入区块链网络。区块链节点收到请求首先验证用户身份,通过后执行智能合约将哈希值、ClientID、节点ID、数据收集时间等绑定并进行打包。
S105、打包后的数据发送给Orderer节点进行排序,再由Endorsing节点进行背书。之后将智能合约执行结果写入区块链账本,反馈给收集节点客户端信息保存情况。
S106、在数据存储至IPFS时,将对数据进行验证。Leader节点利用自身私钥,对其进行身份验证确定数据来源,并计算相应的公钥,解码签名,再对Data进行哈希加密得到Hash值,与发送节点发送来的数字签名解密得到的Hash值进行校验,若两个数据相同则通过校验,验证数据正确。
S107、收集到的交易实际上为IPFS返回的地址Hash,节点接收到数据后运行区块创建程序,构建交易提案并提交给相应的背书节点,背书节点对接收到的交易提案请求进行验证。
S108、验证通过后调用链码进行模拟执行,产生包括响应值、读写集的事务结果,对结果进行背书并响应给应用程序。应用程序收集到足够的消息和背书签名之后,构建合法的交易请求并将交易请求广播给Orderer服务节点。
S109、Orderer节点接收到事务请求之后,按时间顺序对它们进行排序,并创建交易区块。之后广播给同一通道内所有组织的Leader节点,Leader节点再同步广播给组织内的其他节点。每个Peer节点将区块附加到区块链中,读写集被提交到当前的状态数据库中。且各节点获取的地址Hash除上传区块链外,需要保留一份无加密副本。副本仅保存地Hash与节点相关信息,可用于不保证可靠性基础上的数据快速查询。
S110、节点需从区块链中获取地址Hash,而后再根据地址Hash在IPFS获得相应数据某一节点发起查询请求,执行智能合约。从区块链账本中检索出查询信息对应的哈希记录并返回。由于在传输存储过程中,原有数据已经进行加密,仍须获得相关节点的密钥。查询节点获取IPFS中加密的数据以及用于解密的私钥即可对数据进行解密,获得原始数据。如果数据被恶意修改或替换,其地址Hash将与节点从区块链中获取的Hash不一致,节点就无法获取数据,此时应当返回数据异常错误。如果数据正常则可得到响应数据。
实施例3
传统的集中式索引虽然容易实现、便于管理,但是削弱了IPFS的去中心化程度,并限制IPFS网络的可伸缩性。传统方式引入了缓存机制,由发布搜索的节点缓存相关结果,却忽视了搜索发布节点与相关结果存储节点之间的距离,使网络中存储大量不必要的冗余数据。基于此,针对缓存空间的浪费问题,改进缓存存储机制,降低其所占存储空间。针对IPFS数据获取问题,设计了一种去中心化混合索引,使得搜索在长短查询上都能有较好的表现。
本实施例在实施例2的基础上提出一种基于去中心化索引的IPFS数据获取方法,包括:
S101、文件拥有者将文件上传到IPFS系统中存储,IPFS会返回文件唯一标识CID;然后,需要对文件建立两种索引,一种是关键词索引,对文件进行关键词提取。
S102、对提取出来的关键词或文档的中心句使用机器学习的方法构建文档的句子向量表示,由降维后的句子向量和CID构成句子索引。
S103、将生成的句子索引及关键词索引发布到DHT网络中存储。IPFS网络和DHT网络只是逻辑上的划分,物理上同一节点可以同时属于两个网络。
S104、为了满足句子向量与nodeID之间的映射关系,本文使用minhash对句子向量进行降维。
S105、对句子向量进行降维时,选取N个随机的哈希函数;然后,对句子向量中的每个元素进行哈希运算,取其中的最小值;最后,重复N次上一步骤,得到代表句子向量的N个数值,即将句子向量降至N维。minhash是局部敏感哈希函数的一种,降维的同时可以保留高维度向量之间的相似性。使用minhash进行降维的合理性,是基于对两个集合随机求最小哈希值相等的概率等于两个集合的Jaccard系数:
P(minhash(A)=minhash(B))=Jac(A,B)
其中,Jac(A,B)是集合A、B之间的Jaccard系数,即:
S106、将降维后的向量各维度拼接后得到160bit的值与文档CID组成键值对,即为句子索引。句子索引的键值与nodeID具有相同值域。此外,句子索引保留了原内容的相似性,则相似内容的句子索引会相邻存储。
S107、索引使用去中心化的方式存储,利用DHT网络存储索引文件。DHT网络中每个索引存储节点都会存储一个索引表及一个缓存表,并使用倒排表的结构对索引进行整合、存储;DHT网络中的节点提供索引存储和搜索功能。
S108、当网络中的一个对等节点发起搜索时,首先根据查询语句的长度判断执行句子索引或关键词索引,还需要检查缓存中的数据,如果该节点自身缓存了搜索结果则直接返回结果并进行缓存的更新。
S109、在搜索消息路由过程中,如果其它对等节点缓存了该搜索的结果,则中断搜索并返回结果,否则对搜索消息进行转发直到负责存储该搜索结果的对等节点。
S110、执行关键词索引,发起查询的对等节点得到搜索结果,更新缓存,结束查询。
实施例4
本实施例中提出一种将IPFS网络与区块链进行结合实现区块链的模块扩展的系统,在本系统中,区块链以联盟链为基础,联盟链中包括多个组织,每个组织中包括多个Orderer节点和一个Leader节点,每个组织之间通过该组织的Leader节点进行通信并且每个组织中Orderer节点的数量大于联盟链系统内组织数量的三分之一,在本系统中包括文本数据处理模块、索引构建模块、查询模块以及IPFS存储模块,其中:
文本数据处理模块,用于对待上传的文本数据进行处理,处理包括提取文本信息、构建文本句子表示向量、提取关键词、语句哈希计算等操作;
索引构建模块,用于将较多内容的文本的句子表示向量与存储该向量的地址hash进行关联,或者将较少内容文本的关键词向量与该向量的地址hash进行关联;
查询模块,用于根据区块链中节点通过关键词向量或者句子表示向量搜索后在DHT网络中所对应的文件;
IPFS存储模块,用于存储上传的数据并将该输出的地址hash发送给数据上传者。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于多链架构下的区块链业务模块扩展方法,其特征在于,将IPFS网络与区块链进行结合实现一种区块链的模块扩展,扩展过程包括:
IPFS网络与区块链进行结合后,区块链中网络节点负责数据收集与处理,即区块链中网络节点在收集到数据后,节点将数据打包上传至IPFS;
IPFS对接收到的数据进行存储,完成后向节点进行反馈,并返回数据对应的地址Hash;
节点将返回的Hash值作为普通数据进行上链操作;
数据在联盟网络中进行打包,进行背书验证,完成区块生成,并将生成的区块存入区块链。
2.根据权利要求1所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,区块链以联盟链为基础,联盟链中包括多个组织,每个组织中包括多个Orderer节点和一个Leader节点,每个组织之间通过该组织的Leader节点进行通信并且每个组织中Orderer节点的数量大于联盟链系统内组织数量的三分之一。
3.根据权利要求1所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,IPFS网络与区块链进行结合前,对区块链的配置进行相关设置,包括以下步骤:
S101、网络层中的任意节点均可随机参与和脱离;共识层、激励层与合约层各层间的配合可促进和完成交易;
S102、为了记录主链中的交易数据,设置交易侧链,该链记录了所属网络的交易数据,能够在不同的时间节点上完成所属网络中的交易的智能合约确认;
S103、在区块链网络中采用股份授权证明机制,让网络中的各个成员推选记账者并赋予其监管权力;
S104、选出记账者后,记账者可校验交易信息,并完成交易链打包上传的功能;智能合约根据所测算获得的交易数据,上载数据,便于各记账者了解,并监督数据。
4.根据权利要求1所述的一种区块链模块扩展的方法,其特征在于,为优化相关模块扩展后区块链的性能,对相关区块链的参数进行设定,设定过程包括:
S202、节点完成校验后,区块可完成第二次转发,区块链中其他节点对记账节点记账后消息的同步确认所需要的校验时间为:
t2=gV;
其中,g为比例参数;则记账节点朝周围节点传播区块的时长ta表示为:
S203、记账节点朝端到端网络中n+1区块传播所经过的时间t为:
t=ta+max{t(n+1)}。
5.根据权利要求4所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,侧链区块属于交易侧链,交易侧链是用户在主链进行交易后形成的私有区块链,仅为在主链交易网络中参与了交易的用户提供服务,并存储交易数据以及相关智能合约调用的信息,但是并不参与到主链网络的交易中。
6.根据权利要求5所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,交易侧链包括资产数据交易侧链与交易数据侧链,资产数据交易侧链存储设备信息、需求信息与配置信息;交易信息侧链可根据不同的交易状态录入相关交易数据,如交易的时间戳,用户交易后的相关用户状态信息,以及是否有无关智能合约的调用,记账者可通过资产信息侧链上的信息及时调整交易状况,对违规信息或操作进行处理。
8.根据权利要求1所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,将IPFS网络与区块链进行结合时,为IPFS数据建立去中心化混合索引,包括以下步骤:
将文件存储在IPFS得到的CID值与文档关键词组合,构成关键词索引发布到DHT网络中存储;
计算文档的句子索引并存储在DHT网络中;
节点对搜索结果缓存,加快后续相同查询的搜索过程;
当查询内容较多时,进行句子搜索,在网络中距离索引存储节点物理位置较近的节点进行搜索;查询内容较短时,提取关键词后再分别进行搜索。
9.根据权利要求8所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,为IPFS数据建立去中心化混合索引后,利用DHT网络存储索引文件,包括以下步骤:
为了使句子索引反映文档内容,将文档进行分词处理后得到若干关键词(k1,k2,...,kn);
采用word2ve将得到的关键词转为词向量表示,即表示为:ki=(dim1i,dim2i,……,dimmi),dimmi表示关键词ki的词向量表示中的第m个元素;
其中,wi表示第i个关键词的权重值;n为将文档进行分词后得到的关键词的数量;
使用minhash对句子向量进行降维,建立降维后句子向量与DHT网络中节点ID之间的对应关系。
10.根据权利要求1所述的一种基于多链架构下的区块链业务模块扩展方法,其特征在于,使用minhash对句子向量进行降维的过程包括:
S101、文件拥有者将文件上传到IPFS系统中存储,IPFS会返回文件唯一标识CID;
S102、使用TF-IDF算法提取文档的前n个或者权重大于阈值的关键词(k1,k2,…,kn),每个关键词经过哈希运算得到的关键词哈希与文档CID组成键值对,由这若干个关键词与CID组合构成若干个关键词索引,发布到DHT网络中存储;;
S103、对提取出来的关键词或文档的中心句使用机器学习的方法构建文档的句子向量表示,由降维后的句子向量和CID构成句子索引;构建句子索引时,选取N个随机的哈希函数,对句子向量表示中的每个元素进行哈希运算,取其中的最小值再继续采用其他的hash函数进行处理,重复N次上一步骤,得到代表句子向量的N个数值,即将句子向量降至N维,将降维后的向量各维度拼接后得到160bit的值与文档CID组成键值对,即为句子索引,句子索引的键值与nodeID具有相同值域;
S104、DHT网络中每个索引存储节点都会存储一个索引表及一个缓存表,并使用倒排表的结构对索引进行整合、存储;
S105、当网络中的一个对等节点发起搜索时,首先根据查询语句的长度判断执行句子索引或关键词索引,并检查缓存中的数据,如果该节点自身缓存了搜索结果则直接返回结果并进行缓存的更新;
S106、在搜索消息路由过程中,如果其它对等节点缓存了该搜索的结果,则中断搜索并返回结果,否则对搜索消息进行转发直到负责存储该搜索结果的对等节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111231375.5A CN113886501A (zh) | 2021-10-22 | 2021-10-22 | 一种基于多链架构下的区块链业务模块扩展方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111231375.5A CN113886501A (zh) | 2021-10-22 | 2021-10-22 | 一种基于多链架构下的区块链业务模块扩展方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113886501A true CN113886501A (zh) | 2022-01-04 |
Family
ID=79004081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111231375.5A Pending CN113886501A (zh) | 2021-10-22 | 2021-10-22 | 一种基于多链架构下的区块链业务模块扩展方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113886501A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189911A (zh) * | 2023-04-24 | 2023-05-30 | 江西莱普特信息技术有限公司 | 基于区块链侧链技术的医院信息系统互通方法及其系统 |
CN116192881A (zh) * | 2023-04-27 | 2023-05-30 | 天津市城市规划设计研究总院有限公司 | 城市规划领域区块链数据的访问控制方法及系统 |
CN116405188A (zh) * | 2023-06-07 | 2023-07-07 | 湖南元数科技有限公司 | 一种基于区块链的保险投保流程数据存储方法及系统 |
CN117726334A (zh) * | 2024-02-08 | 2024-03-19 | 泉州行创网络科技有限公司 | 一种金融数据处理方法及系统 |
-
2021
- 2021-10-22 CN CN202111231375.5A patent/CN113886501A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189911A (zh) * | 2023-04-24 | 2023-05-30 | 江西莱普特信息技术有限公司 | 基于区块链侧链技术的医院信息系统互通方法及其系统 |
CN116189911B (zh) * | 2023-04-24 | 2023-07-07 | 江西莱普特信息技术有限公司 | 基于区块链侧链技术的医院信息系统互通方法及其系统 |
CN116192881A (zh) * | 2023-04-27 | 2023-05-30 | 天津市城市规划设计研究总院有限公司 | 城市规划领域区块链数据的访问控制方法及系统 |
CN116192881B (zh) * | 2023-04-27 | 2023-06-30 | 天津市城市规划设计研究总院有限公司 | 城市规划领域区块链数据的访问控制方法及系统 |
CN116405188A (zh) * | 2023-06-07 | 2023-07-07 | 湖南元数科技有限公司 | 一种基于区块链的保险投保流程数据存储方法及系统 |
CN116405188B (zh) * | 2023-06-07 | 2023-08-22 | 湖南元数科技有限公司 | 一种基于区块链的保险投保流程数据存储方法及系统 |
CN117726334A (zh) * | 2024-02-08 | 2024-03-19 | 泉州行创网络科技有限公司 | 一种金融数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113886501A (zh) | 一种基于多链架构下的区块链业务模块扩展方法 | |
WO2021032138A1 (zh) | 一种基于区块链系统的共识方法、装置及系统 | |
CN111611315A (zh) | 面向金融大数据的多叉树结构区块链集成优化存储方法 | |
CN113438084B (zh) | 一种基于r-pbft共识算法和时间戳的绿电溯源方法及系统 | |
Karaarslan et al. | Data storage in the decentralized world: Blockchain and derivatives | |
Tong et al. | Trust-pbft: A peertrust-based practical byzantine consensus algorithm | |
Tang et al. | Improved PBFT algorithm for high-frequency trading scenarios of alliance blockchain | |
CN112862486B (zh) | 一种基于镜像跨链的多方跨链方法及系统 | |
Wang et al. | A trusted consensus fusion scheme for decentralized collaborated learning in massive IoT domain | |
Wang et al. | Beh-Raft-Chain: a behavior-based fast blockchain protocol for complex networks | |
CN104102714A (zh) | 基于累加器和布隆过滤器的外包数据查询验证方法及系统 | |
Orda et al. | Enforcing fairness in blockchain transaction ordering | |
Karumba et al. | Harb: A hypergraph-based adaptive consortium blockchain for decentralized energy trading | |
CN112866380A (zh) | 一种基于区块链的链网架构 | |
CN113052721A (zh) | 电力数据的处理方法及装置 | |
CN114938292B (zh) | 一种基于节点可信度的多层次优化pbft共识方法 | |
CN110990879A (zh) | 一种基于区块链的数据存证方法 | |
CN115563859A (zh) | 一种基于分层联邦学习的电力负荷预测方法、装置及介质 | |
Li et al. | Scalable blockchain storage mechanism based on two-layer structure and improved distributed consensus | |
Zhang et al. | New efficient constructions of verifiable data streaming with accountability | |
KR102244185B1 (ko) | 법률 증거 관리 시스템 | |
CN113645278B (zh) | 一种区块链的跨链消息传输方法、设备、存储介质 | |
CN112463881B (zh) | 一种面向云边聚合计算环境的高效区块链系统及处理方法 | |
CN108173899B (zh) | 区块链的信息处理方法及装置 | |
CN116467026A (zh) | 一种基于区块链的云桌面数据安全共享、溯源方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |