CN112100185A - 区块链数据平衡负载的索引系统及方法 - Google Patents

区块链数据平衡负载的索引系统及方法 Download PDF

Info

Publication number
CN112100185A
CN112100185A CN202011207604.5A CN202011207604A CN112100185A CN 112100185 A CN112100185 A CN 112100185A CN 202011207604 A CN202011207604 A CN 202011207604A CN 112100185 A CN112100185 A CN 112100185A
Authority
CN
China
Prior art keywords
data
storage
block chain
chain network
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011207604.5A
Other languages
English (en)
Other versions
CN112100185B (zh
Inventor
王桂东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sui Cai Technology Development Co.,Ltd.
Original Assignee
Hangzhou Luyang Technology Co Ltd
Jiangxi Yunben Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Luyang Technology Co Ltd, Jiangxi Yunben Digital Technology Co Ltd filed Critical Hangzhou Luyang Technology Co Ltd
Priority to CN202011207604.5A priority Critical patent/CN112100185B/zh
Publication of CN112100185A publication Critical patent/CN112100185A/zh
Application granted granted Critical
Publication of CN112100185B publication Critical patent/CN112100185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于区块链技术领域,具体涉及区块链数据平衡负载的索引系统及方法,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射数据到虚拟区块链网络中的多个节点。在多重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维持在较低水平。

Description

区块链数据平衡负载的索引系统及方法
技术领域
本发明属于区块链技术领域,具体涉及区块链数据平衡负载的索引系统及方法。
背景技术
区块链(Block chain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,是比特币的一个重要概念,它本质上是一个去中心化的数据库,同时作为比特币的底层技术,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次比特币网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
布式数据库技术是IT技术领域中普遍使用的一项分布式技术,其主要应用于网页页面缓存、数据库缓存等方面以满足用户对网络系统响应速度的要求。
在基于一致性哈希算法的分布式数据库系统中,物理节点可虚拟出多个虚拟节点,然后将多个虚拟节点通过哈希算法映射到环上,这样物理节点可增大在环上映射的哈希值范围。在分布式数据库系统新增物理节点或删除物理节点时,通过调整各个物理节点关联的虚拟节点的数量,使各个物理节点关联的虚拟节点的数量趋于相等,使分布式数据库系统的所有物理节点实现虚拟节点的均衡。但是,在虚拟节点的数据分布存在较大波动的情况下,为了保证业务能正常进行,需要考虑物理节点的资源的盈余,根据数据量最大的要求部署物理节点,导致成本的增加;或者不考虑物理节点的资源的盈余的情况下,可能会导致物理节点过载,业务失败。
发明内容
本发明的主要目的在于提供区块链数据平衡负载的索引系统及方法,其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维持在较低水平。
为达到上述目的,本发明的技术方案是这样实现的:
区块链数据平衡负载的索引系统,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射数据到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行数据均衡处理。
进一步的,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征算子权重:
Figure 666224DEST_PATH_IMAGE001
;其中,
Figure 293515DEST_PATH_IMAGE002
是指t位置第i个数据特征算子的权重,
Figure 270698DEST_PATH_IMAGE003
是指t位置第i个数据特征算子的相似度,
Figure 667044DEST_PATH_IMAGE004
是指t位置第i个数据特征算子的坐标位置横坐标,
Figure 71481DEST_PATH_IMAGE005
是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标区间的半宽和半高;
Figure 936800DEST_PATH_IMAGE006
是指0位置第1个数据特征算子的坐标位置横坐标;
Figure 452095DEST_PATH_IMAGE007
是指0位置第1个数据特征算子的坐标位置纵坐标。
进一步的,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移。
进一步的,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
进一步的,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重分配给所述K个存储单元。
本发明还提供一种基于前述系统的区块链数据平衡负载的索引方法。
本发明的区块链数据平衡负载的索引系统及方法,具有如下有益效果:其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维持在较低水平。主要通过以下过程实现:1.多重数据均衡:本发明通过建立区块链网络之间的虚拟区块链网络和存储区块链网络,实现数据的分布式处理,进而实现多重数据均衡;虚拟节点,实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;经过多重数据均衡处理后的数据,数据的处理效率更高;2.数据的哈希映射:本发明的哈希映射方法,不同于传统的方法,使用基于数据特征算子的映射,其映射效率更高,同时,通过建立两个路由表完成数据映射,分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;这样处理后的数据,数据差错率更小。
附图说明
图1为本发明的实施例提供的区块链数据平衡负载的索引系统的系统结构示意图;
图2为本发明的实施例提供的区块链数据平衡负载的索引系统方法的方法流程示意图;
图3为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的存储单元的结构示意图;
图4为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的虚拟节点进行哈希计算的方法流程示意图;
图5为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的哈希映射的原理示意图;
图6为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的数据差错率随着数据量变化的曲线示意图与现有技术的对比实验效果示意图;
图7为本发明的实施例提供的区块链数据平衡负载的索引系统及方法的计算复杂度随着数据量变化的曲线示意图与现有技术的对比实验效果示意图。
具体实施方式
以下结合具体实施方式和附图对本发明的技术方案作进一步详细描述:
实施例1
如图1所示,区块链数据平衡负载的索引系统,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行数据均衡处理。
采用上述技术方案,其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维持在较低水平。主要通过以下过程实现:1.多重数据均衡:本发明通过建立区块链网络之间的虚拟区块链网络和存储区块链网络,实现数据的分布式处理,进而实现多重数据均衡;虚拟节点,实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;经过多重数据均衡处理后的数据,数据的处理效率更高;2.数据的哈希映射:本发明的哈希映射方法,不同于传统的方法,使用基于数据特征算子的映射,其映射效率更高,同时,通过建立两个路由表完成数据映射,分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;这样处理后的数据,数据差错率更小。
实施例2
在上一实施例的基础上,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征算子权重:
Figure 968527DEST_PATH_IMAGE001
;其中,
Figure 543864DEST_PATH_IMAGE002
是指t位置第i个数据特征算子的权重,
Figure 145747DEST_PATH_IMAGE003
是指t位置第i个数据特征算子的相似度,
Figure 714000DEST_PATH_IMAGE004
是指t位置第i个数据特征算子的坐标位置横坐标,
Figure 84939DEST_PATH_IMAGE005
是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标区间的半宽和半高;
Figure 831178DEST_PATH_IMAGE006
是指0位置第1个数据特征算子的坐标位置横坐标;
Figure 389198DEST_PATH_IMAGE007
是指0位置第1个数据特征算子的坐标位置纵坐标。
参考图5,具体的,散列表(Hash table,也叫哈希表),是根据关键码值(Keyvalue)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。
给定表M,存在函数f(key),对任意给定的关键字值key,代入函数后若能得到包含该关键字的记录在表中的地址,则称表M为哈希(Hash)表,函数f(key)为哈希(Hash)函数。
若关键字为k,则其值存放在f(k)的存储位置上。由此,不需比较便可直接取得所查记录。称这个对应关系f为散列函数,按这个思想建立的表为散列表。
对不同的关键字可能得到同一散列地址,即k1≠k2,而f(k1)=f(k2),这种现象称为冲突(Collision)。具有相同函数值的关键字对该散列函数来说称做同义词。综上所述,根据散列函数f(k)和处理冲突的方法将一组关键字映射到一个有限的连续的地址集(区间)上,并以关键字在地址集中的“像”作为记录在表中的存储位置,这种表便称为散列表,这一映射过程称为散列造表或散列,所得的存储位置称散列地址。
若对于关键字集合中的任一个关键字,经散列函数映象到地址集合中任何一个地址的概率是相等的,则称此类散列函数为均匀散列函数(Uniform Hash function),这就是使关键字经过散列函数得到一个“随机的地址”,从而减少冲突。
实施例3
在上一实施例的基础上,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移。
实施例4
在上一实施例的基础上,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
实施例5
在上一实施例的基础上,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重分配给所述K个存储单元。
实施例6
如图2和图3所示,一种区块链数据平衡负载的索引方法,所述方法执行以下步骤:三个子区块链网络组成,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行数据均衡处理。
采用上述技术方案,其利用多重分布式数据平衡,实现了区块链中数据的均衡处理,同时在进行数据均衡处理过程中,借助于哈希计算的路由功能和数据特征算子的更新方法,提升了数据均衡处理的效率;在多重数据均衡处理过程中,借助于哈希映射的唯一性,保证了数据均衡处理后的数据差错率维持在较低水平。
实施例7
如图4所示,在上一实施例的基础上,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一分区路由表和第二分区路由表;在第一分区路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二分区路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算目标的最优预测位置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征算子权重:
Figure 777454DEST_PATH_IMAGE001
;其中,
Figure 737320DEST_PATH_IMAGE002
是指t位置第i个数据特征算子的权重,
Figure 670772DEST_PATH_IMAGE003
是指t位置第i个数据特征算子的相似度,
Figure 981668DEST_PATH_IMAGE004
是指t位置第i个数据特征算子的坐标位置横坐标,
Figure 908036DEST_PATH_IMAGE005
是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标区间的半宽和半高;
Figure 722408DEST_PATH_IMAGE006
是指0位置第1个数据特征算子的坐标位置横坐标;
Figure 76029DEST_PATH_IMAGE007
是指0位置第1个数据特征算子的坐标位置纵坐标。
具体的,散列表的查找过程基本上和造表过程相同。一些关键码可通过散列函数转换的地址直接找到,另一些关键码在散列函数得到的地址上产生了冲突,需要按处理冲突的方法进行查找。在介绍的三种处理冲突的方法中,产生冲突后的查找仍然是给定值与关键码进行比较的过程。所以,对散列表查找效率的量度,依然用平均查找长度来衡量。
查找过程中,关键码的比较次数,取决于产生冲突的多少,产生的冲突少,查找效率就高,产生的冲突多,查找效率就低。因此,影响产生冲突多少的因素,也就是影响查找效率的因素。影响产生冲突多少有以下三个因素:
1.散列函数是否均匀;
2.处理冲突的方法;
3.散列表的装填因子。
散列表的装填因子定义为:α=填入表中的元素个数/散列表的长度
α是散列表装满程度的标志因子。由于表长是定值,α与“填入表中的元素个数”成正比,所以,α越大,填入表中的元素较多,产生冲突的可能性就越大;α越小,填入表中的元素较少,产生冲突的可能性就越小。
实际上,散列表的平均查找长度是装填因子α的函数,只是不同处理冲突的方法有不同的函数。
实施例8
在上一实施例的基础上,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移。
实施例9
在上一实施例的基础上,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
实施例10
在上一实施例的基础上,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重分配给所述K个存储单元。
参考图6和图7,现有技术中,传统负载均衡技术包含两个方面的含义:一方面,是将单个重负载任务分担到多个节点设备上做并行处理,结束后,再将结果汇总,返回给用户;另一方面,是将大量的并发访问或数据流量分担到多台节点设备上分别处理,以减少用户等待响应的时间。后者主要针对Web服务器、FTP服务器、企业关键应用服务器等网络应用。
在实现负载均衡的索引系统的过程中,现有技术往往使用单独的索引系统来实现。
一般使用分布式B+树索引系统及构建方法,具体,包括主服务器、事务服务器机群和索引服务机群和版本控制服务器;事务服务器机群包括多个事务服务器,索引服务器机群包括多个索引服务器;主服务器负责管理ΜΕΤΑ数据,并对索引服务器机群进行负载平衡调度;事务服务器机群负责对分布式文件系统索引数据访问的事务控制;索引服务器机群负责管理和读写分布式文件系统的索引数据,有效地实现了并发环境下索引数据的事务功能。
上述专利文献中公开的索引技术只是将索引建立到一个或者多个索引库服务器中,建立索引和检索索引都在一个或者多个索引服务器中执行。建立索引任务和检索索引任务在一台或者多台的索引库中发生,可能会导致抢资源的问题,从而导致索引服务器资源不足,影响检索或者建立索引的效率。而且,检索的过程一旦出现问题,也无法判断实在检索的具体哪个环节出了问题,修复难度大。
而发明使用哈希计算的方式,以及合并数据处理的过程,来实现负载均衡。相较于现有技术中的负载均衡手段,其差错率小,且计算复杂度低。现有技术中有包含哈希计算和不包含哈希计算的方式进行负载均衡,两者中若使用哈希计算来进行负载均衡,其差错率和计算复杂度也会相对较低。同时,数据处理过程作为负载均衡中的重要技术手段,若单纯进行哈希计算的负载均衡的索引,不进行数据处理,也会提升差错率和计算复杂度。
以上所述仅为本发明的一个实施例子,但不能以此限制本发明的范围,凡依据本发明所做的结构上的变化,只要不失本发明的要义所在,都应视为落入本发明保护范围之内受到制约。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (6)

1.一种区块链数据平衡负载的索引系统,其特征在于,所述系统包括:三个子区块链网络,分别为:由多个节点组成的数据区块链网络、由多个存储节点组成的存储区块链网络和由多个虚拟节点组成的虚拟区块链网络;所述数据区块链网络配置用于提供区块链服务,数据进入系统后,首先进入数据区块链网络,数据区块链网络对进入系统的数据进行调用;所述虚拟节点,配置用于实时获取进入系统的数据,将数据进行哈希计算后,均衡映射到虚拟区块链网络中的多个节点;所述虚拟区块链网络中的节点接收到均衡映射后的数据后,进行第二次均衡映射,将数据映射至存储区块链网络中的存储节点中;所述存储区块链网络中的存储节点接收到经过第二次均衡映射后的数据后,对数据进行均衡处理;所述存储节点均为多个分布式存储单元组成的分布式处理网络;所述存储单元又由多个分布式存储子单元组成;所述存储节点包括:获取单元,配置用于获取K个存储单元上每个存储子单元的P个权重因子的负载度和P个权重值,K和P均为大于1的整数;优先度计算单元,用于根据所述P个权重因子的负载度和所述P个权重值进行加权平均得到每个存储子单元的优先度;标准分片数计算单元,用于根据每个存储单元关联的存储子单元的优先度得到标准分片数;均衡判断单元,用于根据所述K个存储单元各自对应的标准分片数判断数据分布是否满足数据均衡条件;均衡单元,用于若所述均衡判断单元的判断结果为否,对所述K个存储单元进行数据均衡处理。
2.如权利要求1所述的区块链数据平衡负载的索引系统,其特征在于,所述虚拟节点,实时获取进入系统的数据,将数据进行哈希计算的方法执行以下步骤:在数据中选取一个目标区间,提取目标区间的感知哈希特征作为模板特征,并对数据特征算子进行初始化定位;建立两个路由表,分别为第一路由表和第二路由表;在第一路由表中,对数据特征算子进行状态坐标路由映射,对路由映射的数据特征算子位置处标注预测区域;在第二路由表中,对每一个路由映射区域提取感知哈希特征,并计算路由映射区域与目标区间的相似度;根据离目标远近的位置贡献以及感知哈希特征相似度大小更新数据特征算子权重,确定估计目标的位置,得到新的目标区间;根据数据特征算子大小和重采样估计值得到路由表中的下一个数据特征算子;得到每个路由映射区域与目标区间的相似度后,结合离目标远近的位置贡献更新数据特征算子的权重;更新完成预测数据特征算子的权重后,计算出目标的最优预测位置作为估计目标的位置,即为新的目标区间;更新权重方法为:为减少非目标位置的数据特征算子权重,根据离目标远近的位置贡献以及计算的感知哈希相似度大小两种线索共同实现自适应的调整数据特征算子权重:
Figure 883787DEST_PATH_IMAGE001
;其中,
Figure 34014DEST_PATH_IMAGE002
是指t位置第i个数据特征算子的权重,
Figure 190189DEST_PATH_IMAGE003
是指t位置第i个数据特征算子的相似度,
Figure 518402DEST_PATH_IMAGE004
是指t 位置第i个数据特征算子的坐标位置横坐标,
Figure 392818DEST_PATH_IMAGE005
是指t位置第i个数据特征算子的坐标位置纵坐标,W和H是指目标区间的半宽和半高;
Figure 97468DEST_PATH_IMAGE006
是指0位置第1个数据特征算子的坐标位置横坐标;
Figure 124461DEST_PATH_IMAGE007
是指0位置第1个数据特征算子的坐标位置纵坐标。
3.如权利要求1所述的区块链数据平衡负载的索引系统,其特征在于,所述均衡单元包括:模拟迁移单元,根据预设的数据搬移规则对所述K个存储单元关联的存储子单元进行模拟迁移;判断单元,用于判断模拟迁移后的所述K个存储单元是否满足所述数据均衡条件;实际迁移单元,若所述判断单元的判断结果为是,根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移;裂变单元,用于若所述判断单元的判断结果为否,从所述K个存储单元关联的存储子单元中选择至少一个存储子单元进行裂变,裂变后根据所述数据搬移规则对所述K个存储单元关联的存储子单元进行实际迁移。
4.如权利要求3所述的区块链数据平衡负载的索引系统,其特征在于,所述裂变单元配置用于确定所述K个存储单元中标准分片数最大的存储单元;确定所述标准分片数最大的存储单元中优先度最大的存储子单元;将所述优先度最大的存储子单元分裂为至少两个相同大小的存储子单元。
5.如权利要求4所述的区块链数据平衡负载的索引系统,其特征在于,所述数据搬移规则包括:根据优先度将所述K个存储单元关联的存储子单元进行分组;将每组内的存储子单元平均分配给所述K个存储单元;其中,同一组内的存储单元分配整数个存储子单元;将各个组进行平均分配后剩余的存储子单元重分配给所述K个存储单元。
6.一种区块链数据平衡负载的索引方法,其特征在于,所述方法基于如权利要求1至5任一项所述的区块链数据平衡负载的索引系统实现。
CN202011207604.5A 2020-11-03 2020-11-03 区块链数据平衡负载的索引系统及方法 Active CN112100185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011207604.5A CN112100185B (zh) 2020-11-03 2020-11-03 区块链数据平衡负载的索引系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011207604.5A CN112100185B (zh) 2020-11-03 2020-11-03 区块链数据平衡负载的索引系统及方法

Publications (2)

Publication Number Publication Date
CN112100185A true CN112100185A (zh) 2020-12-18
CN112100185B CN112100185B (zh) 2021-04-30

Family

ID=73784421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011207604.5A Active CN112100185B (zh) 2020-11-03 2020-11-03 区块链数据平衡负载的索引系统及方法

Country Status (1)

Country Link
CN (1) CN112100185B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738247A (zh) * 2020-12-29 2021-04-30 乐陵欧曼电子科技有限公司 基于多层空间调度的云计算资源分配系统及方法
CN112822235A (zh) * 2020-12-29 2021-05-18 乐陵欧曼电子科技有限公司 一种异构云计算系统的数据共享系统及方法
CN113094556A (zh) * 2021-02-24 2021-07-09 山东鲁能控制工程有限公司 数据负荷自平衡的分散控制方法及装置
CN113596153A (zh) * 2021-07-28 2021-11-02 新华智云科技有限公司 一种数据均衡方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457571A (zh) * 2011-09-15 2012-05-16 中标软件有限公司 一种云存储中数据均衡分布方法
US20160148132A1 (en) * 2014-11-21 2016-05-26 International Business Machines Corporation Ergonomic risk assessment
US20160292254A1 (en) * 2015-03-31 2016-10-06 International Business Machines Corporation Prioritizing rebuilding of encoded data slices
CN107562531A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 一种数据均衡方法和装置
US20180300350A1 (en) * 2017-04-18 2018-10-18 Microsoft Technology Licensing, Llc File table index aggregate statistics
CN109154896A (zh) * 2016-04-29 2019-01-04 思杰系统有限公司 用于服务链负载平衡的系统和方法
CN110908590A (zh) * 2018-09-17 2020-03-24 中国电力科学研究院有限公司 一种变电站数据的分布式存储方法及系统
CN111324613A (zh) * 2020-03-13 2020-06-23 华东师范大学 一种面向联盟链的分片内数据组织管理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457571A (zh) * 2011-09-15 2012-05-16 中标软件有限公司 一种云存储中数据均衡分布方法
US20160148132A1 (en) * 2014-11-21 2016-05-26 International Business Machines Corporation Ergonomic risk assessment
US20160292254A1 (en) * 2015-03-31 2016-10-06 International Business Machines Corporation Prioritizing rebuilding of encoded data slices
CN109154896A (zh) * 2016-04-29 2019-01-04 思杰系统有限公司 用于服务链负载平衡的系统和方法
CN107562531A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 一种数据均衡方法和装置
US20180300350A1 (en) * 2017-04-18 2018-10-18 Microsoft Technology Licensing, Llc File table index aggregate statistics
CN110908590A (zh) * 2018-09-17 2020-03-24 中国电力科学研究院有限公司 一种变电站数据的分布式存储方法及系统
CN111324613A (zh) * 2020-03-13 2020-06-23 华东师范大学 一种面向联盟链的分片内数据组织管理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAIR WEISS ET AL: "Multidimensional Spectral Hashing", 《COMPUTER VISION-ECCV 2012》 *
施伟: "高性能分布式文件系统元数据服务设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738247A (zh) * 2020-12-29 2021-04-30 乐陵欧曼电子科技有限公司 基于多层空间调度的云计算资源分配系统及方法
CN112822235A (zh) * 2020-12-29 2021-05-18 乐陵欧曼电子科技有限公司 一种异构云计算系统的数据共享系统及方法
CN112738247B (zh) * 2020-12-29 2023-08-04 北京英博数科科技有限公司 基于多层空间调度的云计算资源分配系统及方法
CN113094556A (zh) * 2021-02-24 2021-07-09 山东鲁能控制工程有限公司 数据负荷自平衡的分散控制方法及装置
CN113094556B (zh) * 2021-02-24 2021-11-02 山东鲁能控制工程有限公司 数据负荷自平衡的分散控制方法及装置
CN113596153A (zh) * 2021-07-28 2021-11-02 新华智云科技有限公司 一种数据均衡方法及系统

Also Published As

Publication number Publication date
CN112100185B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112100185B (zh) 区块链数据平衡负载的索引系统及方法
CN103095804B (zh) 用于在集群存储系统中进行负载平衡的方法和系统
KR101700340B1 (ko) 대용량 데이터의 클러스터 결과 분석 시스템 및 방법
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
US20160299919A1 (en) Management of Intermediate Data Spills during the Shuffle Phase of a Map-Reduce Job
CN103581331B (zh) 虚拟机在线迁移方法与系统
US20170139913A1 (en) Method and system for data assignment in a distributed system
Lamping et al. A fast, minimal memory, consistent hash algorithm
US20170344546A1 (en) Code dispersion hash table-based map-reduce system and method
CN108519856B (zh) 基于异构Hadoop集群环境下的数据块副本放置方法
Ibrahim et al. Intelligent data placement mechanism for replicas distribution in cloud storage systems
US9485309B2 (en) Optimal fair distribution among buckets of different capacities
CN111949681A (zh) 数据的聚合处理装置、方法和存储介质
CN108052535A (zh) 基于多处理器平台的视觉特征并行快速匹配方法和系统
US11625179B2 (en) Cache indexing using data addresses based on data fingerprints
US11494301B2 (en) Storage system journal ownership mechanism
CN106648891A (zh) 基于MapReduce模型的任务执行方法和装置
US11233739B2 (en) Load balancing system and method
CN107103095A (zh) 基于高性能网络架构的数据计算方法
Nakazato et al. Data allocation method considering server performance and data access frequency with consistent hashing
KR102054068B1 (ko) 그래프 스트림에 대한 실시간 분산 저장을 위한 분할 방법 및 분할 장치
CN113377866A (zh) 一种虚拟化数据库代理服务的负载均衡方法及装置
CN111767287A (zh) 数据导入方法、装置、设备及计算机存储介质
CN112988703B (zh) 一种读写请求的均衡方法及装置
CN105282236B (zh) 一种分布式缓存方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20210416

Address after: Room 505, East Block, Tian'an Innovation and Technology Plaza (Phase II), at the junction of Shatou Street Binhe Road and Xiangmihu Road, Futian District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Sui Cai Technology Development Co.,Ltd.

Address before: No.1167-86, Fushan 1st Road, Xiaolan economic and Technological Development Zone, Nanchang County, Nanchang City, Jiangxi Province

Applicant before: Jiangxi yunben Digital Technology Co., Ltd

Applicant before: Hangzhou Luyang Technology Co., Ltd

TA01 Transfer of patent application right