CN114416866A - 一种分布式系统的分片方法、装置、电子设备及存储介质 - Google Patents

一种分布式系统的分片方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114416866A
CN114416866A CN202111555861.2A CN202111555861A CN114416866A CN 114416866 A CN114416866 A CN 114416866A CN 202111555861 A CN202111555861 A CN 202111555861A CN 114416866 A CN114416866 A CN 114416866A
Authority
CN
China
Prior art keywords
node
fragment
adjacent
designated
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111555861.2A
Other languages
English (en)
Inventor
孟天晖
刘伟伟
王洋
叶可江
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111555861.2A priority Critical patent/CN114416866A/zh
Publication of CN114416866A publication Critical patent/CN114416866A/zh
Priority to PCT/CN2022/137422 priority patent/WO2023109627A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明实施例提供的一种分布式系统的分片方法、装置、电子设备及存储介质,应用于信息技术领域,可以在分布式系统中选取目标节点;通过所述目标节点向相邻节点发送加入分片请求,其中,所述加入分片请求用于请求加入所述相邻节点所在的分片;通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,其中,所述邻近节点为与所述相邻节点相邻的节点,所述指定分片为所述邻近节点中算力最小的分片中的节点。通过选取分布式系统中的目标节点,并通过目标节点向相邻节点发送加入请求,并选取算力最小的分片加入,从而可以使得到的分区的算力平均,提高分布式系统的安全性。

Description

一种分布式系统的分片方法、装置、电子设备及存储介质
技术领域
本发明涉及信息技术领域,特别是涉及一种分布式系统的分片方法、装置、电子设备及存储介质。
背景技术
目前,区块链系统由于系统安全性、不可篡改性、去中心化等优良特性,正被越来越广泛地应用于智慧城市、金融科技等领域。而其中物联网系统作为区块链技术的一个重要应用方向,利用区块链系统的特性,物联网系统可以实现海量设备协作、数据分布式存储等功能,提升物联网系统的可用性、安全性和健壮性,扩展物联网系统的应用场景。
然而,由于物联网设备在网络连接、计算能力、存储能力等方面存在的异构性,往往导致算力分配与调度的不均匀,从而影响系统的安全性和效率。
发明内容
本发明实施例的目的在于提供一种分布式系统的分片方法、装置、电子设备及存储介质,用以解决物联网系统中算力不均匀的问题。具体技术方案如下:
本申请实施例的第一方面,首先提供了一种分布式系统的分片方法,包括:
在分布式系统中选取目标节点;
通过所述目标节点向相邻节点发送加入分片请求,其中,所述加入分片请求用于请求加入所述相邻节点所在的分片;
通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,其中,所述邻近节点为与所述相邻节点相邻的节点,所述指定分片为所述邻近节点中算力最小的分片中的节点。
可选的,所述通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,包括:
判断所述相邻节点向邻近节点是否均已经加入分片;
若是,则通过所述相邻节点向邻近节点中的指定节点发送分片加入请求,以使所述目标节点加入所述指定节点所在的分片。
可选的,所述判断所述相邻节点向邻近节点是否均已经加入分片之后,所述方法还包括:
若否,则获取并通过所述目标节点的算力计算加入所述相邻节点所在的分片的概率;
若计算得到的概率大于预设阈值,则将所述目标节点加入所述相邻节点所在的分片。
可选的,所述通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片之后,所述方法还包括:
获取分布式系统的当前分片数量和期望分片数量;
若所述当前分片数量小于所述期望分片数量,则选取并等分指定数量的算力最大分片,其中,所述指定数量为所述当前分片数量和所述期望分片数量之差;若所述当前分片数量大于所述期望分片数量,则选取并等分指定数量的算力最小分片;
返回所述通过所述目标节点向相邻节点发送加入分片请求的步骤继续执行,直至当前分片数量与期望分片数量相等。
可选的,所述通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片之后,所述方法还包括:
识别分布式系统中的指定分片,其中,所述指定分片的算力大于所述指定分片的相邻分片的算力;
识别所述指定分片的相邻分片中算力最小的分片;
将所述指定分片与所述算力最小的分片进行合并,得到合并后的分片;
将所述合并后的分片拆分为两个算力相等的分片。
本申请实施例的第二方面,提供了一种分布式系统的分片装置,包括:
节点选取模块,用于在分布式系统中选取目标节点;
请求发送模块,用于通过所述目标节点向相邻节点发送加入分片请求,其中,所述加入分片请求用于请求加入所述相邻节点所在的分片;
节点分片模块,用于通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,其中,所述邻近节点为与所述相邻节点相邻的节点,所述指定分片为所述邻近节点中算力最小的分片中的节点。
可选的,所述节点分片模块,包括:
分片判断子模块,用于判断所述相邻节点向邻近节点是否均已经加入分片;
请求发送子模块,用于若是,则通过所述相邻节点向邻近节点中的指定节点发送分片加入请求,以使所述目标节点加入所述指定节点所在的分片。
可选的,所述装置还包括:
概率获取模块,用于若否,则获取并通过所述目标节点的算力计算加入所述相邻节点所在的分片的概率;
阈值判断模块,用于若计算得到的概率大于预设阈值,则将所述目标节点加入所述相邻节点所在的分片。
可选的,所述装置还包括:
数量获取模块,用于获取分布式系统的当前分片数量和期望分片数量;
分片选取模块,用于若所述当前分片数量小于所述期望分片数量,则选取并等分指定数量的算力最大分片,其中,所述指定数量为所述当前分片数量和所述期望分片数量之差;若所述当前分片数量大于所述期望分片数量,则选取并等分指定数量的算力最小分片;
请求执行模块,用于返回所述通过所述目标节点向相邻节点发送加入分片请求的步骤继续执行,直至当前分片数量与期望分片数量相等。
可选的,所述装置还包括:
分片识别模块,用于识别分布式系统中的指定分片,其中,所述指定分片的算力大于所述指定分片的相邻分片的算力;
算力识别模块,用于识别所述指定分片的相邻分片中算力最小的分片;
分片合并模块,用于将所述指定分片与所述算力最小的分片进行合并,得到合并后的分片;
分片拆分模块,用于将所述合并后的分片拆分为两个算力相等的分片。
本申请实施例的另一方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一分布式系统的分片方法。
本申请实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一分布式系统的分片方法。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一分布式系统的分片方法。
本发明实施例有益效果:
本发明实施例提供的一种分布式系统的分片方法、装置、电子设备及存储介质,可以在分布式系统中选取目标节点;通过所述目标节点向相邻节点发送加入分片请求,其中,所述加入分片请求用于请求加入所述相邻节点所在的分片;通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,其中,所述邻近节点为与所述相邻节点相邻的节点,所述指定分片为所述邻近节点中算力最小的分片中的节点。通过选取分布式系统中的目标节点,并通过目标节点向相邻节点发送加入请求,并选取算力最小的分片加入,从而可以使得到的分区的算力平均,提高分布式系统的安全性。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的分布式系统的分片方法的一种流程示意图;
图2为本申请实施例提供的分布式系统的分片方法的另一种流程示意图;
图3为本申请实施例提供的分片拆分的流程示意图;
图4为本申请实施例提供的分布式系统的分片装置的一种结构示意图;
图5为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例的第一方面,首先提供了一种分布式系统的分片方法,包括:
在分布式系统中选取目标节点;
通过目标节点向相邻节点发送加入分片请求,其中,加入分片请求用于请求加入相邻节点所在的分片;
通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片,其中,邻近节点为与相邻节点相邻的节点,指定分片为邻近节点中算力最小的分片中的节点。
可见,通过本申请实施例的方法,可以通过选取分布式系统中的目标节点,并通过目标节点向相邻节点发送加入请求,并选取算力最小的分片加入,从而可以使得到的分区的算力平均,提高分布式系统的安全性。
具体的,参见图1,图1为本申请实施例提供的分布式系统的分片方法的一种流程示意图,包括:
步骤S11,在分布式系统中选取目标节点。
本申请实施例中的分布式系统可以是建立在网络之上的软件系统,通过软件的特性,该分布式系统可以具有高度的内聚性和透明性。具体的,本申请实施例的方法可以应用于物联网,通过该分布式系统可以实现海量设备协作、数据分布式存储等功能,提升物联网系统的可用性、安全性和健壮性,扩展物联网系统的应用场景。
本申请实施例的方法可以应用于服务器或智能终端,通过该服务器或智能终端实施,具体的,该智能终端可以是电脑。
步骤S12,通过目标节点向相邻节点发送加入分片请求。
其中,加入分片请求用于请求加入相邻节点所在的分片。本申请实施例中的节点可以是电脑或服务器等。本申请实施例中的分片可以是将分布式系统划分为多个分片,通过每一分片进行集中计算,具体的,本申请实施例中的分片可以参见现有技术。
步骤S13,通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片。
其中,邻近节点为与相邻节点相邻的节点,指定分片为邻近节点中算力最小的分片中的节点。其中,本申请实施中对节点进行算力计算,可以通过多种技术实现,例如,可以根据PoW共识机制对某一节点及邻近节点的算力进行评价。
可选的,通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片,包括:判断相邻节点向邻近节点是否均已经加入分片;若是,则通过相邻节点向邻近节点中的指定节点发送分片加入请求,以使目标节点加入指定节点所在的分片。
可选的,判断相邻节点向邻近节点是否均已经加入分片之后,上述方法还包括:若否,则获取并通过目标节点的算力计算加入相邻节点所在的分片的概率;若计算得到的概率大于预设阈值,则将目标节点加入相邻节点所在的分片。
本申请实施例中的目标节点可以是局部性较强的节点,具体的,可以通过从若干个局部性较强的节点开始,所有的节点自发加入到一个分片中去,最终全局形成若干个分片。例如,首先每个节点判断自己是否是局部算力较强的节点,如果是,则将自己主动成为一个分片的leader节点,如果不是,则主动接入到附近某个分片中去。在该步骤结束后,全局所有的节点都将会被分配到一个分片中。
可见,通过本申请实施例的方法,可以通过选取分布式系统中的目标节点,并通过目标节点向相邻节点发送加入请求,并选取算力最小的分片加入,从而可以使得到的分区的算力平均,提高分布式系统的安全性。
可选的,参见图2,通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片之后,上述方法还包括:
步骤S21,获取分布式系统的当前分片数量和期望分片数量;
步骤S22,若当前分片数量小于期望分片数量,则选取并等分指定数量的算力最大分片,其中,指定数量为当前分片数量和期望分片数量之差;若当前分片数量大于期望分片数量,则选取并等分指定数量的算力最小分片;
步骤S23,返回通过目标节点向相邻节点发送加入分片请求的步骤继续执行,直至当前分片数量与期望分片数量相等。
具体的,在实际使用过程中,可以比较当前分片数量n和期望分片数量m之间的大小,若n<m,则将最大的(m-n)个分片进行等分,若n>m,则将最小的(n-m)个分片合并到临近分片中。然后返回步骤S11继续执行,直到m=n,然后通过每个分片重新计算算力和,重复广播信息。
可选的,参见图3,通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片之后,上述方法还包括:
步骤S31,识别分布式系统中的指定分片,其中,指定分片的算力大于指定分片的相邻分片的算力;
步骤S32,识别指定分片的相邻分片中算力最小的分片;
步骤S33,将指定分片与算力最小的分片进行合并,得到合并后的分片;
步骤S34,将合并后的分片拆分为两个算力相等的分片。
具体的,在实际使用过程中,可以通过每个分片和临近分片比较算力和,如果自己分片算力和均大于邻近分片,则提出一个减小请求,将本分片与邻近最小分片合并,并将合并之后的分片平均分成两个分片。
以下结合本申请实施例提供的分布式系统的分片方法的一种实例进行说明,包括:
步骤一:备选节点自发产生分片
(1)选取局部性较强的备选节点;
(2)利用洪泛法获取全局算力最大的节点信息;
(3)备选节点向所有相邻节点发出加入本分片请求;
(4)当非备选节点收到加入分片请求时,判断所有邻近节点是否都已加入到分片中;如果判断为是,转(5),否则转(6);
(5)向所有邻近分片发出加入请求,在收到的所有邻近分片的回应中,选择总算力和最小的那个分片加入,拒绝其他分片的加入请求。转步骤7;
(6)则以某一概率(该概率通过该分片中的备选节点的算力值计算而来)确定是否加入该分片还是继续等待。如果选择加入该分片,则向备选节点发出确认请求;如果不加入该分片,则拒绝该请求。每个节点加入某个分片之后将其加入信息广播到所有临近节点;
(7)重复步骤(4),直到所有节点都被加入到某一个分片中;
(8)每个分片向其他分片发送自己的算力和以及ID,直到全局所有分片都知道其他分片的信息;
具体的,实际使用过程中步骤(1)-(8)的算法可以参见:
Figure BDA0003418650000000091
Figure BDA0003418650000000092
Figure BDA0003418650000000093
步骤二:扩大或缩小分片数
(9)比较当前已经分片数n和期望分片数m之间的大小,若n<m,则将最大的(m-n)个分片进行等分,若n>m,则将最小的(n-m)个分片合并到临近分片中;
(10)重复步骤4,直到m=n;
(11)每个分片重新计算算力和,重复广播信息;
具体的,实际使用过程中步骤(9)-(11)的算法可以参见:
Figure BDA0003418650000000101
步骤三:局部性交换
每个分片和临近分片比较算力和,如果自己分片算力和均大于邻近分片,则提出一个减小请求,将本分片与邻近最小分片合并,并将合并之后的分片平均分成两个分片。
具体的,实际使用过程中,该步骤的算法可以参见:
Figure BDA0003418650000000111
为了说明本申请实施例的方法,以下结合具体实验结果进行说明;
实验中,利用一个路由器搭建了一个本地的局域网,利用一个本地交换机将初云端计算节点之外的44台设备纳入到同一个子网中,使得任意两台设备之间都可以通过该网络进行通信。对于云端计算节点,实验中通过反射代理的方式将其与其中一台边缘计算节点纳入到同一个网段中,使得云端计算节点可以通过公网与边缘计算节点直接通信。
具体的实验结果为:
表1.本申请实施例提供的算法的一种运行结果
Figure BDA0003418650000000112
通过上述实验,证明该算法在真实的物理机上运行的可行性,并初步证明了该算法在分布式区块链系统的分片过程中进行算力均匀化调度的有效性。
本申请实施例的第二方面,提供了一种分布式系统的分片装置,参见图4,包括:
节点选取模块401,用于在分布式系统中选取目标节点;
请求发送模块402,用于通过目标节点向相邻节点发送加入分片请求,其中,加入分片请求用于请求加入相邻节点所在的分片;
节点分片模块403,用于通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片,其中,邻近节点为与相邻节点相邻的节点,指定分片为邻近节点中算力最小的分片中的节点。
可选的,节点分片模块403,包括:
分片判断子模块,用于判断相邻节点向邻近节点是否均已经加入分片;
请求发送子模块,用于若是,则通过相邻节点向邻近节点中的指定节点发送分片加入请求,以使目标节点加入指定节点所在的分片。
可选的,上述装置还包括:
概率获取模块,用于若否,则获取并通过目标节点的算力计算加入相邻节点所在的分片的概率;
阈值判断模块,用于若计算得到的概率大于预设阈值,则将目标节点加入相邻节点所在的分片。
可选的,上述装置还包括:
数量获取模块,用于获取分布式系统的当前分片数量和期望分片数量;
分片选取模块,用于若当前分片数量小于期望分片数量,则选取并等分指定数量的算力最大分片,其中,指定数量为当前分片数量和期望分片数量之差;若当前分片数量大于期望分片数量,则选取并等分指定数量的算力最小分片;
请求执行模块,用于返回通过目标节点向相邻节点发送加入分片请求的步骤继续执行,直至当前分片数量与期望分片数量相等。
可选的,上述装置还包括:
分片识别模块,用于识别分布式系统中的指定分片,其中,指定分片的算力大于指定分片的相邻分片的算力;
算力识别模块,用于识别指定分片的相邻分片中算力最小的分片;
分片合并模块,用于将指定分片与算力最小的分片进行合并,得到合并后的分片;
分片拆分模块,用于将合并后的分片拆分为两个算力相等的分片。
可见,通过本申请实施例的装置,可以通过选取分布式系统中的目标节点,并通过目标节点向相邻节点发送加入请求,并选取算力最小的分片加入,从而可以使得到的分区的算力平均,提高分布式系统的安全性。
本发明实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现如下步骤:
在分布式系统中选取目标节点;
通过目标节点向相邻节点发送加入分片请求,其中,加入分片请求用于请求加入相邻节点所在的分片;
通过相邻节点向邻近节点中的指定节点发送分片加入,以使目标节点加入指定节点所在的分片,其中,邻近节点为与相邻节点相邻的节点,指定分片为邻近节点中算力最小的分片中的节点。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一分布式系统的分片方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一分布式系统的分片方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、存储介质及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种分布式系统的分片方法,其特征在于,包括:
在分布式系统中选取目标节点;
通过所述目标节点向相邻节点发送加入分片请求,其中,所述加入分片请求用于请求加入所述相邻节点所在的分片;
通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,其中,所述邻近节点为与所述相邻节点相邻的节点,所述指定分片为所述邻近节点中算力最小的分片中的节点。
2.根据权利要求1所述的方法,其特征在于,所述通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,包括:
判断所述相邻节点向邻近节点是否均已经加入分片;
若是,则通过所述相邻节点向邻近节点中的指定节点发送分片加入请求,以使所述目标节点加入所述指定节点所在的分片。
3.根据权利要求2所述的方法,其特征在于,所述判断所述相邻节点向邻近节点是否均已经加入分片之后,所述方法还包括:
若否,则获取并通过所述目标节点的算力计算加入所述相邻节点所在的分片的概率;
若计算得到的概率大于预设阈值,则将所述目标节点加入所述相邻节点所在的分片。
4.根据权利要求1所述的方法,其特征在于,所述通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片之后,所述方法还包括:
获取分布式系统的当前分片数量和期望分片数量;
若所述当前分片数量小于所述期望分片数量,则选取并等分指定数量的算力最大分片,其中,所述指定数量为所述当前分片数量和所述期望分片数量之差;若所述当前分片数量大于所述期望分片数量,则选取并等分指定数量的算力最小分片;
返回所述通过所述目标节点向相邻节点发送加入分片请求的步骤继续执行,直至当前分片数量与期望分片数量相等。
5.根据权利要求1所述的方法,其特征在于,所述通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片之后,所述方法还包括:
识别分布式系统中的指定分片,其中,所述指定分片的算力大于所述指定分片的相邻分片的算力;
识别所述指定分片的相邻分片中算力最小的分片;
将所述指定分片与所述算力最小的分片进行合并,得到合并后的分片;
将所述合并后的分片拆分为两个算力相等的分片。
6.一种分布式系统的分片装置,其特征在于,包括:
节点选取模块,用于在分布式系统中选取目标节点;
请求发送模块,用于通过所述目标节点向相邻节点发送加入分片请求,其中,所述加入分片请求用于请求加入所述相邻节点所在的分片;
节点分片模块,用于通过所述相邻节点向邻近节点中的指定节点发送分片加入,以使所述目标节点加入所述指定节点所在的分片,其中,所述邻近节点为与所述相邻节点相邻的节点,所述指定分片为所述邻近节点中算力最小的分片中的节点。
7.根据权利要求6所述的装置,其特征在于,所述节点分片模块,包括:
分片判断子模块,用于判断所述相邻节点向邻近节点是否均已经加入分片;
请求发送子模块,用于若是,则通过所述相邻节点向邻近节点中的指定节点发送分片加入请求,以使所述目标节点加入所述指定节点所在的分片。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
概率获取模块,用于若否,则获取并通过所述目标节点的算力计算加入所述相邻节点所在的分片的概率;
阈值判断模块,用于若计算得到的概率大于预设阈值,则将所述目标节点加入所述相邻节点所在的分片。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202111555861.2A 2021-12-17 2021-12-17 一种分布式系统的分片方法、装置、电子设备及存储介质 Pending CN114416866A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111555861.2A CN114416866A (zh) 2021-12-17 2021-12-17 一种分布式系统的分片方法、装置、电子设备及存储介质
PCT/CN2022/137422 WO2023109627A1 (zh) 2021-12-17 2022-12-08 一种分布式系统的分片方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111555861.2A CN114416866A (zh) 2021-12-17 2021-12-17 一种分布式系统的分片方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114416866A true CN114416866A (zh) 2022-04-29

Family

ID=81267533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111555861.2A Pending CN114416866A (zh) 2021-12-17 2021-12-17 一种分布式系统的分片方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114416866A (zh)
WO (1) WO2023109627A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023109627A1 (zh) * 2021-12-17 2023-06-22 深圳先进技术研究院 一种分布式系统的分片方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079059B (zh) * 2016-12-21 2019-12-10 深圳前海达闼云端智能科技有限公司 区块链存储方法、装置及节点设备
CN109508968B (zh) * 2018-10-25 2020-12-18 常州唯康信息科技有限公司 区块链系统以及其控制方法
CN110505305B (zh) * 2019-08-27 2022-04-01 深圳市迅雷网络技术有限公司 一种区块链分片方法、装置及区块链系统
CN110737658B (zh) * 2019-09-06 2020-12-18 平安国际智慧城市科技股份有限公司 数据分片存储方法、装置、终端及可读存储介质
CN110958324B (zh) * 2019-12-12 2023-12-19 度小满科技(北京)有限公司 一种区块链网络的数据处理方法及装置
CN111083052B (zh) * 2019-12-19 2022-01-28 度小满科技(北京)有限公司 一种基于有序平衡二叉树的分片方法及装置
CN112615905B (zh) * 2020-12-03 2022-09-20 广州智链未来科技有限公司 区块链分片的调度方法、装置、设备及存储介质
CN114416866A (zh) * 2021-12-17 2022-04-29 深圳先进技术研究院 一种分布式系统的分片方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023109627A1 (zh) * 2021-12-17 2023-06-22 深圳先进技术研究院 一种分布式系统的分片方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023109627A1 (zh) 2023-06-22

Similar Documents

Publication Publication Date Title
CN108446947B (zh) 一种房产交易方法及装置
CN110049087B (zh) 一种联盟链的可信度验证方法、系统、装置及设备
EP3934162B1 (en) Blockchain consensus method and device and electronic equipment
CN110442762B (zh) 基于云平台大数据的大数据处理方法
CN109191287B (zh) 一种区块链智能合约的分片方法、装置及电子设备
US11107079B2 (en) Methods, systems, apparatuses and devices for verifying credibility of consortium blockchain
EP3207688A1 (en) Node identification using clusters
CN110442623B (zh) 大数据挖掘方法、装置及数据挖掘服务器
CN114416866A (zh) 一种分布式系统的分片方法、装置、电子设备及存储介质
Janssen et al. Geometric graph properties of the spatial preferred attachment model
CN114185678A (zh) 数据存储方法、装置、设备及存储介质
CN110555144A (zh) 一种流聚类的方法、装置、电子设备及介质
CN117216758A (zh) 应用安全检测系统及方法
CN111340623B (zh) 一种数据存储方法及装置
CN111046004A (zh) 一种数据文件存储方法、装置、设备及存储介质
CN109450684B (zh) 一种网络切片系统物理节点容量扩充方法及装置
CN111814052A (zh) 移动互联网用户管理方法、装置、服务器及可读存储介质
CN108964904B (zh) 群密钥安全管理方法、装置、电子设备及存储介质
CN111045790A (zh) 虚拟机部署方法及装置
CN112468546B (zh) 账号位置确定方法、装置、服务器和存储介质
EP4155923A1 (en) Virtualized network function deployment method, management and orchestration platform, and medium
CN111488490A (zh) 视频聚类方法、装置、服务器及存储介质
CN110990852B (zh) 大数据安全防护方法、装置、服务器及可读存储介质
CN111611068A (zh) 分布式系统中的数据写方法、服务器及客户端
CN112957734B (zh) 一种基于二次搜索的地图寻路方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination