CN114356422A - 基于大数据的图计算方法、装置、设备及可读存储介质 - Google Patents

基于大数据的图计算方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114356422A
CN114356422A CN202210276341.6A CN202210276341A CN114356422A CN 114356422 A CN114356422 A CN 114356422A CN 202210276341 A CN202210276341 A CN 202210276341A CN 114356422 A CN114356422 A CN 114356422A
Authority
CN
China
Prior art keywords
recovery
parallel
recovery point
preset
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210276341.6A
Other languages
English (en)
Inventor
李勇
贺敬川
徐斌
康凤珠
李宏
吕楠
李霞
吴默然
张劲胜
段勇兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Xinyingshun Information Technology Co ltd
Original Assignee
Sichuan Xinyingshun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Xinyingshun Information Technology Co ltd filed Critical Sichuan Xinyingshun Information Technology Co ltd
Priority to CN202210276341.6A priority Critical patent/CN114356422A/zh
Publication of CN114356422A publication Critical patent/CN114356422A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Retry When Errors Occur (AREA)

Abstract

本发明提供的基于大数据的图计算方法、装置、设备及可读存储介质,方法包括:按照预设计算公式分多个子步骤依次对图结构进行迭代计算,子步骤的迭代计算会得到对应的恢复点;按照生成顺序依次将恢复点添加到预设长度队列的队尾中;按照预设算法从预设长度队列中选取恢复点执行并行保存操作。通过上述方法,本发明可以有效地提高保存和迭代计算的效率,从而提高整个计算效率。

Description

基于大数据的图计算方法、装置、设备及可读存储介质
技术领域
本发明涉及大数据领域,具体而言,涉及一种基于大数据的图计算方法、装置、设备及可读存储介质。
背景技术
在大数据领域中,图结构是常用的数据结构,其具有比如树形结构等线性结构更强的复杂性,在算机科学、人工智能、电子线路分析、最短路径寻找、工程计划等均具有较强的应用。
在最短路径寻找中,一般采用迭代的方式对图结构进行多次计算,从而找到最短路径,但是在计算过程中如果出现故障,则可能需要重复进行计算。因此,现有技术引入了恢复点的说法,即每完成一次迭代计算则得到一个结果,则将该结果进行保存,以便于后续故障时恢复,但是目前的保存方式是串行的,即在完成一次计算后,则对该计算得到的结果进行保存,在完成保存后才会进行下一次迭代计算,这样会影响整个计算的过程。
发明内容
本发明的目的之一在于提供一种基于大数据的图计算方法、装置、设备及可读存储介质,用以解决上述技术问题。
本发明的实施例可以这样实现:
第一方面,本发明提供一种基于大数据的图计算方法,所述方法包括:按照预设计算公式分多个子步骤依次对图结构进行迭代计算,所述子步骤的迭代计算会得到对应的恢复点;
按照生成顺序依次将所述恢复点添加到预设长度队列的队尾中;
按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。
在可选实施例中,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:获取正在执行并行保存操作的恢复点的数量n;若所述恢复点的数量n小于预设并行写入数量m;从所述预设长度队列的队头选取预设并行写入数量m-n个恢复点并行执行所述并行保存操作。
在可选实施例中,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:每当一个恢复点完成并行保存操作后,计算所述预设长度队列中所有恢复点的先后值;将所述先后值最小的所述恢复点选取出来执行所述并行保存操作。
在可选实施例中,每一所述恢复点包括标识码,所述标识码随着所述恢复点的生成顺序逐渐变大,所述计算所述预设长度队列中所有恢复点的先后值,包括:计算每一所述恢复点的标识码的倒数以作为所述先后值。
在可选实施例中,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:每当一个恢复点完成并行保存操作后,计算所述预设长度队列中所有恢复点的长度值;将所述长度值最小的所述恢复点选取出来执行所述并行保存操作。
在可选实施例中,所述恢复点包括顶点和边,所述计算所述预设长度队列中所有恢复点的长度值,包括:基于每一所述恢复点的顶点和边的数据总量得到所述长度值。
在可选实施例中,每一所述恢复点包括标识码,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:每当一个恢复点完成并行保存操作后,获取所述恢复点的标识码;若所述标识码大于标识阈值,则计算所述预设长度队列中所有恢复点的先后值,将所述先后值最小的所述恢复点选取出来执行所述并行保存操作;若所述标识码小于或等于标识阈值,计算所述预设长度队列中所有恢复点的长度值;将所述长度值最小的所述恢复点选取出来执行所述并行保存操作。
第二方面,本发明提供一种基于大数据的图计算装置,所述基于大数据的图计算装置包括:
计算模块,用于按照预设计算公式分多个子步骤依次对图结构进行迭代计算,每一所述子步骤的迭代计算均会得到对应的恢复点;
添加模块,用于按照生成顺序依次将所述恢复点添加到预设长度队列的队尾中;
执行模块,用于按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。
第三方面,本发明提供一种计算机设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序,所述处理器可执行所述计算机程序以实现第一方面所述的基于大数据的图计算方法。
第四方面,本发明提供一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如第一方面所述的基于大数据的图计算方法。
本发明提供的基于大数据的图计算方法、装置、计算机设备及可读存储介质,通过按照预设计算公式分多个子步骤依次对图结构进行迭代计算,所述子步骤的迭代计算会得到对应的恢复点;按照生成顺序依次将所述恢复点添加到预设长度队列的队尾中;按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。即本申请采用的并行保存操作,即其与迭代计算是并行的,在迭代计算的过程中,也可以执行该并行保存操作。而无需要迭代计算等待上一次迭代计算的恢复点完成保存后则计算,从而可以有效地减少时间消耗,提高了计算效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为现有技术提供的图计算过程中的保存方式示意图;
图2为本发明实施例提供的基于大数据的图计算方法的示意性流程图;
图3为本发明提供的图计算过程中的保存方式示意图;
图4为图2步骤S13的子步骤第一实施方式的流程示意图;
图5为本发明提供的图计算过程中的另一保存方式示意图;
图6为图2步骤S13的子步骤第二实施方式的流程示意图;
图7为图2步骤S13的子步骤第三实施方式的流程示意图;
图8为图2步骤S13的子步骤第四实施方式的流程示意图;
图9为本发明实施例提供的基于大数据的图计算装置的功能模块图;
图10为本发明实施例提供的一种计算机设备的方框示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
在最短路径寻找中,一般采用迭代的方式对图结构进行多次计算,即进行多次的迭代循环计算,从而找到最短路径,即最优解,但是在计算过程中如果出现故障,则可能需要重复进行计算。因此,现有技术引入了恢复点的说法,即每完成一次迭代计算则得到一个结果,则将该结果进行保存,以便于后续故障时恢复,但是目前的保存方式是串行的,即在完成一次计算后,则对该计算得到的结果进行保存,在完成保存后才会进行下一次迭代计算,这样会影响整个计算的过程。
如图1,图1为现有技术中图计算过程中的保存方式,如图1所示,每次完成一次计算后(C1、C2、C3以及C4)后,则会在计算后执行保存的操作,即执行(S1、S2、S3以及S4的操作),且每次要等执行完上一次保存操作后,才会执行下一次的计算,从而使得整个计算过程非常冗余以及漫长。
本发明实施例提供了一种基于大数据的图计算方法,请参见图2,图2为本发明实施例提供的基于大数据的图计算方法的示意性流程图,该方法包括:
S11,按照预设计算公式分多个子步骤依次对图结构进行迭代计算,子步骤的迭代计算会得到对应的恢复点。
在图结构的计算过程中,如最短路径的计算,是一个迭代计算的过程,即进行循环计算,通过计算得到一个结果后,将该结果进行再一次输出计算,通过多次迭代后,可以得到最后的最短(最优)路径。
在可选实施例中,可以按照一个预设计算公式分成多个子步骤依次对图结构进行迭代计算,即每次迭代计算均属于一个子步骤。且经过一次子步骤的迭代计算后,会得到一个对应的恢复点。
例如在具体场景中,迭代计算C1会得到一个恢复点R1,该恢复点R1具体也可以是一个图结构,包括有顶点、边以及信息。该恢复点R1可以作为新的参数输入到预设计算公式中,并进行迭代计算C2,并进一步得到恢复点C2,以此循环,一直得到最后的结果。
在可选实施例中,恢复点可以作为故障的返回点,如在得到恢复点R2后,如果进行迭代计算C3时出现了故障(如系统故障或者计算故障)等,则可以返回到恢复点R2,并基于恢复点R2进行重新计算,从而无需从迭代计算C1开始,完全重新进行计算。由于在计算过程中,其迭代计算的次数会非常多,甚至达到几百次或者上千次等,因此在计算过程出现故障时,利用发生故障最近的一个恢复点来进行恢复可以极大地减少计算代价,提高冗余度。
S12,按照生成顺序依次将恢复点添加到预设长度队列的队尾中。
可选的,在持续的迭代计算中,按照时间顺序会持续地生成新的恢复点,则可以按照生成顺序依次将恢复点添加预设长度队列中,具体可以从预设长度队列的队尾中添加到该加预设长度队列。
如图3所示,在具体场景中,在经过迭代计算C1、迭代计算C2、迭代计算C3、迭代计算C4的计算后,会依次分别生成恢复点R1、恢复点R2、恢复点R3以及恢复点R4。基于先生成先加入的原则,则可以依次将R1、R2、R3、R4从预设长度队列Q的队尾加入到预设长度队列Q中。
在可选实施例中,每生成一个恢复点,则将该恢复点即时加入到预设长度队列Q中。
在其他实施例中,考虑到恢复点本身的计算量,也可以通过多次迭代计算后,生成一个恢复点,如通过3次、4次或者其他次数的迭代计算后,则可以生成一个恢复点,这里不做限定。
S13,按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。
可选的,随后按照预设算法从预设长度队列中选取恢复点执行并行保存操作。
在可选实施例中,在得到恢复点后,则需要进一步对恢复点进行保存,从而使得后续故障恢复时,可以快速得到最近的恢复点(如果没有保存恢复点,则在发生故障时,该恢复点可以丢失或者无法使用)。
具体地,本申请采用的并行保存操作,即其与迭代计算是并行的,在迭代计算的过程中,也可以执行该并行保存操作。而无需要迭代计算等待上一次迭代计算的恢复点完成保存后则计算,从而可以有效地减少时间消耗,极大地提高了计算效率。
请参阅图4,图4是图2步骤S13的子步骤第一实施方式的流程示意图,该子步骤具体包括:
S131a,获取正在执行并行保存操作的恢复点的数量n。
获取正在执行并行保存操作的恢复点的数量n。
在可选实施例中,可以预设一个预设并行写入数量m,即可以从预设长度队列的头部选取预设并行写入数量m个恢复点出来,并执行并行保存操作。
请参阅图5,图5为本发明提供的图计算过程中的另一保存方式示意图。如图5所示,预设并行写入数量m具体可以为2,则可以从预设长度队列的队列中选取2个恢复点R1、R2出来,并执行并行保存操作。
可选的,由于恢复点的保存时间会有区别,即在并行保存操作的过程中,有些恢复点已经完成了保存,因此,需要持续监控正在执行并行保存操作的恢复点的数量n。
S132a,若所述恢复点的数量n小于预设并行写入数量m。
如果恢复点的数量n小于预设并行写入数量m,即正在执行并行保存操作的恢复点的数量n小于m。
如在具体场景中,正在执行并行保存操作的恢复点的数量n为1,而预设并行写入数量m具体可以为2,则可以认为即正在执行并行保存操作的恢复点的数量n小于m。
如在具体场景中,正在执行并行保存操作的恢复点只有恢复点R2。
S133a,从预设长度队列的队头选取预设并行写入数量m-n个恢复点并行执行所述并行保存操作。
则可以从预设长度队列的队头选取预设并行写入数量m-n个恢复点并行执行所述并行保存操作。
如在具体场景中,正在执行并行保存操作的恢复点只有恢复点R2,则需要从预设长度队列Q中的头部,选取m-n个,即为1个恢复点执行并行保存操作。按照先进先出的原则,则取出恢复点R3执行并行保存操作。
在可选实施例中,n还可以等于0,即刚进行运行时,或者同步完成两个恢复点的保存时,则n可以等于0。
通过上述实施例中,通过持续对正在执行并行保存操作的恢复点的数量n进行监控,并在恢复点的数量n小于预设并行写入数量m时,从预设长度队列的队头选取预设并行写入数量m-n个恢复点并行执行并行保存操作。一方面可以有效地保持持续的并行保存操作,另一方面限制同时进行并行保存操作的恢复点的预设并行写入数量m,以防止同时进行并行保存操作的恢复点的数量过多,从而引起内部资源的竞争的问题,即防止随着并行保存操作的数量增多,不可避免地会导致算力的细分,从而影响到保存和迭代计算的问题,从而可以极大地提高整个计算的效率。
请参阅图6,图6是图2步骤S13的子步骤第二实施方式的流程示意图,该子步骤具体包括:
S131b,每当一个恢复点完成并行保存操作后,计算预设长度队列中所有恢复点的先后值。
在可选实施例中,持续监测恢复点是否完成并行执行操作,每当一个恢复点完成并行保存操作后,则可以计算在位于预设长度队列中所有恢复点的先后值。即计算预设长度队列中所有恢复点中每一恢复点的先后值。
在可选实施例中,每一恢复点包括标识码,其标识码随着恢复点的生成顺序逐渐变大。如可选的,迭代计算C1生成的恢复点为R1,其标识码可以为1,迭代计算C3生成的恢复点为R3,其标识码可以为3,以此类推。在其他实施例中,其标识码并非一直是自然数,也可以是依次增加的单数或双数或者质数,这里不做限定,但是随着生成顺序的靠后,其标识码也会越大。
可选地,通过计算每一恢复点的标识码的倒数作为先后值,如R1的先后值为1,R3的先后值为1/3。
S132b,将先后值最小的恢复点选取出来执行所述并行保存操作。
将先后值最小的恢复点选取出来,并执行并行保存操作,如图3所示,位于预设长度队列Q中分别为恢复点R2、恢复点R3以及恢复点R4。其先后值分别为1/2、1/3以及1/4。其先后值最小的恢复点为恢复点R4,则可以将恢复点R4选取出来,并执行并行保存操作。
可选地,由于在故障恢复的时候,更会倾向于最靠近故障发生时的恢复点进行恢复,如可选的,如果迭代计算C4出现故障,利用恢复点R1进行恢复还需要进行迭代计算C2和迭代计算C3才能进一步进行迭代计算C4。如果利用恢复点R3进行恢复,则直接可以进行迭代计算C4,可以减少重复的运行,从而可以有效地减少计算量。
因此,如果完成了一个恢复点的并行保存操作后,则可以找到先后值最小的恢复点(即最新的恢复点),从而将该恢复点选取出来并执行并行保存操作。从而可以在进行故障恢复时,找到最新的一个恢复点进行回复,可以有效地减少计算量。
请参阅图7,图7是图2步骤S13的子步骤第三实施方式的流程示意图,该子步骤具体包括:
S131c,每当一个恢复点完成并行保存操作后,计算预设长度队列中所有恢复点的长度值。
在可选实施例中,持续监测恢复点是否完成并行执行操作,每当一个恢复点完成并行保存操作后,则可以计算在位于预设长度队列中所有恢复点的长度值。即计算预设长度队列中所有恢复点中每一恢复点的长度值。
可选的,恢复点具体也可以是图结构,即包括顶点和边,其长度值具体和其数据量呈正相关,即基于每一所述恢复点的顶点和边的数据总量得到长度值。如果顶点与边的数量越多,其数据总量也越多,即其长度值也越大。
S132c,将长度值最小的恢复点选取出来执行所述并行保存操作。
随后,将长度值最小的恢复点选取出来执行并行保存操作。
由于在故障恢复的时候,需要一个完成并行保存操作的恢复点来进行回复,如果一个恢复点的长度值太长(数据量很大),其相应的保存时间也会变长,则可能出现在故障发生时,其恢复点还没有完成保存的情况,此时也需要考虑到哪个恢复点可以最快进行保存,就先对哪个恢复点进行执行保存操作。
如在具体场景中,如果恢复点R1已经完成了保存,如果恢复点R2的长度值小于恢复点R3,如果先对R3执行并行保存操作时,迭代计算C4出现了故障,此时恢复点R3还没有完成保存,则需要重新从恢复点R1重新进行迭代计算。但是如果先保存恢复点R2,由于其较小,则很快完成了保存,则在迭代计算C4出现了故障时,可以从恢复点R2进行迭代计算。
请参阅图8,图8是图2步骤S13的子步骤第四实施方式的流程示意图,该子步骤具体包括:
S131d,每当一个恢复点完成并行保存操作后,获取所述恢复点的标识码。
在可选实施例中,持续监测恢复点是否完成并行执行操作,每当一个恢复点完成并行保存操作后,则回去该完成保存的恢复点的标识码。
S132d,若标识码大于标识阈值,则计算预设长度队列中恢复点的先后值,将先后值最小的所述恢复点选取出来执行所述并行保存操作。
若标识码大于标识阈值,则计算预设长度队列中恢复点的先后值,将先后值最小的所述恢复点选取出来执行所述并行保存操作。
如可选的,标识阈值可以是300,若标识码大于300,则计算预设长度队列中恢复点的先后值,将先后值最小的恢复点选取出来执行所述并行保存操作。
其具体过程和上述图6所示实施例类似,这里不再赘述。
S132d,若标识码小于或等于标识阈值,计算预设长度队列中所有恢复点的长度值;将长度值最小的恢复点选取出来执行并行保存操作。
可选的,若标识码小于或等于标识阈值,计算预设长度队列中恢复点的长度值;将长度值最小的所述恢复点选取出来执行所述并行保存操作。
其具体过程和上述图7所示实施例类似,这里不再赘述。
在可选实施例中,考虑到随着迭代计算的一直进行,到了计算的后期如几百次后或者几千次后,其实其恢复点的长度值不会有较大的变化(都比较大),因此其保存时间也差不多。所以在计算的前期,即标识码小于或等于标识阈值的时候,可以更考虑到其长度值,而到了计算的后期,即标识码大于标识阈值的时候,可以更考虑到其先后值。
为了实现上述实施例中的各个步骤以实现相应的技术效果,本发明实施例提供的基于大数据的图计算方法可以在硬件设备或者以软件模块的形式实现中执行,当基于大数据的图计算方法以软件模块的形式实现时,本发明实施例还提供一种基于大数据的图计算装置,请参见图9,图9为本发明实施例提供的基于大数据的图计算装置的功能模块图,该基于大数据的图计算装置200可以包括:
计算模块210,用于按照预设计算公式分多个子步骤依次对图结构进行迭代计算,每一所述子步骤的迭代计算均会得到对应的恢复点;
添加模块220,用于按照生成顺序依次将所述恢复点添加到预设长度队列的队尾中;
执行模块230,用于按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。
在可选实施例中,执行模块230包括第一执行单元,该第一执行单元用于获取正在执行并行保存操作的恢复点的数量n;若所述恢复点的数量n小于预设并行写入数量m;从所述预设长度队列的队头选取预设并行写入数量m-n个恢复点并行执行所述并行保存操作。
在可选实施例中,执行模块230包括第二执行单元,第二执行单元用于每当一个恢复点完成并行保存操作后,计算所述预设长度队列中所有恢复点的先后值;将所述先后值最小的所述恢复点选取出来执行所述并行保存操作。
在可选实施例中,执行模块230包括第三执行单元,第三执行单元用于每当一个恢复点完成并行保存操作后,计算所述预设长度队列中所有恢复点的长度值;将所述长度值最小的所述恢复点选取出来执行所述并行保存操作。
在可选实施例中,执行模块230包括第四执行单元,每一所述恢复点包括标识码,第四执行单元用于每当一个恢复点完成并行保存操作后,获取所述恢复点的标识码;若所述标识码大于标识阈值,则计算所述预设长度队列中所有恢复点的先后值,将所述先后值最小的所述恢复点选取出来执行所述并行保存操作;若所述标识码小于或等于标识阈值,计算所述预设长度队列中所有恢复点的长度值;将所述长度值最小的所述恢复点选取出来执行所述并行保存操作。
需要说明的是,本发明实施例提供的基于大数据的图计算装置200中的各个功能模块可以软件或固件(Firmware)的形式存储于存储器中或固化于计算机设备的操作系统(Operating System,OS)中,并可由计算机设备中的处理器执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器中。
因此,本发明实施例还提供一种计算机设备,如图10,图10为本发明实施例提供的一种计算机设备的方框示意图。该计算机设备300包括通信接口301、处理器302和存储器303。该处理器302、存储器303和通信接口301相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器303可用于存储软件程序及模块,如本发明实施例所提供的基于大数据的图计算方法对应的程序指令/模块,处理器302通过执行存储在存储器303内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口301可用于与其他节点设备进行信令或数据的通信。在本发明中该计算机设备300可以具有多个通信接口301。
其中,存储器303可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器302可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明实施例还提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项的基于大数据的图计算方法。该计算机可读存储介质可以是,但不限于,U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于大数据的图计算方法,其特征在于,所述图计算方法包括:
按照预设计算公式分多个子步骤依次对图结构进行迭代计算,所述子步骤的迭代计算会得到对应的恢复点;
按照生成顺序依次将所述恢复点添加到预设长度队列的队尾中;
按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。
2.根据权利要求1所述的图计算方法,其特征在于,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:
获取正在执行并行保存操作的恢复点的数量n;
若所述恢复点的数量n小于预设并行写入数量m;
从所述预设长度队列的队头选取预设并行写入数量m-n个恢复点并行执行所述并行保存操作。
3.根据权利要求1所述的图计算方法,其特征在于,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:
每当一个恢复点完成并行保存操作后,计算所述预设长度队列中所有恢复点的先后值;
将所述先后值最小的所述恢复点选取出来执行所述并行保存操作。
4.根据权利要求3所述的图计算方法,其特征在于,每一所述恢复点包括标识码,所述标识码随着所述恢复点的生成顺序逐渐变大,所述计算所述预设长度队列中所有恢复点的先后值,包括:
计算每一所述恢复点的标识码的倒数以作为所述先后值。
5.根据权利要求1所述的图计算方法,其特征在于,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:
每当一个恢复点完成并行保存操作后,计算所述预设长度队列中所有恢复点的长度值;
将所述长度值最小的所述恢复点选取出来执行所述并行保存操作。
6.根据权利要求5所述的图计算方法,其特征在于,所述恢复点包括顶点和边,所述计算所述预设长度队列中所有恢复点的长度值,包括:
基于每一所述恢复点的顶点和边的数据总量得到所述长度值。
7.根据权利要求1所述的图计算方法,其特征在于,每一所述恢复点包括标识码,所述按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作,包括:
每当一个恢复点完成并行保存操作后,获取所述恢复点的标识码;
若所述标识码大于标识阈值,则计算所述预设长度队列中所有恢复点的先后值,将所述先后值最小的所述恢复点选取出来执行所述并行保存操作;
若所述标识码小于或等于标识阈值,计算所述预设长度队列中所有恢复点的长度值;将所述长度值最小的所述恢复点选取出来执行所述并行保存操作。
8.一种基于大数据的图计算装置,其特征在于,所述基于大数据的图计算装置包括:
计算模块,用于按照预设计算公式分多个子步骤依次对图结构进行迭代计算,每一所述子步骤的迭代计算均会得到对应的恢复点;
添加模块,用于按照生成顺序依次将所述恢复点添加到预设长度队列的队尾中;
执行模块,用于按照预设算法从所述预设长度队列中选取恢复点执行并行保存操作。
9.一种计算机设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机程序,所述处理器可执行所述计算机程序以实现权利要求1-7任一项所述的基于大数据的图计算方法。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于大数据的图计算方法。
CN202210276341.6A 2022-03-21 2022-03-21 基于大数据的图计算方法、装置、设备及可读存储介质 Pending CN114356422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210276341.6A CN114356422A (zh) 2022-03-21 2022-03-21 基于大数据的图计算方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210276341.6A CN114356422A (zh) 2022-03-21 2022-03-21 基于大数据的图计算方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114356422A true CN114356422A (zh) 2022-04-15

Family

ID=81094377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210276341.6A Pending CN114356422A (zh) 2022-03-21 2022-03-21 基于大数据的图计算方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114356422A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120222034A1 (en) * 2011-02-25 2012-08-30 International Business Machines Corporation Asynchronous checkpoint acqusition and recovery from the checkpoint in parallel computer calculation in iteration method
CN103513961A (zh) * 2012-06-18 2014-01-15 中兴通讯股份有限公司 片内缓存方法及装置
CN106708609A (zh) * 2015-11-16 2017-05-24 阿里巴巴集团控股有限公司 一种特征生成方法及系统
CN108920190A (zh) * 2017-04-12 2018-11-30 Arm有限公司 用于确定从其恢复指令执行的恢复点的装置和方法
CN110750385A (zh) * 2019-10-25 2020-02-04 东北大学 一种基于受限恢复的图迭代器及方法
CN111382134A (zh) * 2018-12-29 2020-07-07 清华大学 大规模分布式存储系统中数据恢复方法及装置
CN112597161A (zh) * 2020-12-23 2021-04-02 北京澎思科技有限公司 数据处理方法、电子设备及可读存储介质
CN113342267A (zh) * 2021-05-20 2021-09-03 普赛微科技(杭州)有限公司 一种分布式运算方法、系统、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120222034A1 (en) * 2011-02-25 2012-08-30 International Business Machines Corporation Asynchronous checkpoint acqusition and recovery from the checkpoint in parallel computer calculation in iteration method
CN103513961A (zh) * 2012-06-18 2014-01-15 中兴通讯股份有限公司 片内缓存方法及装置
CN106708609A (zh) * 2015-11-16 2017-05-24 阿里巴巴集团控股有限公司 一种特征生成方法及系统
CN108920190A (zh) * 2017-04-12 2018-11-30 Arm有限公司 用于确定从其恢复指令执行的恢复点的装置和方法
CN111382134A (zh) * 2018-12-29 2020-07-07 清华大学 大规模分布式存储系统中数据恢复方法及装置
CN110750385A (zh) * 2019-10-25 2020-02-04 东北大学 一种基于受限恢复的图迭代器及方法
CN112597161A (zh) * 2020-12-23 2021-04-02 北京澎思科技有限公司 数据处理方法、电子设备及可读存储介质
CN113342267A (zh) * 2021-05-20 2021-09-03 普赛微科技(杭州)有限公司 一种分布式运算方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
Bose et al. Trace clustering based on conserved patterns: Towards achieving better process models
CN109634561B (zh) 一种在线可视化编程方法及装置
Sanei-Mehri et al. Enumerating top-k quasi-cliques
CN116822422B (zh) 数字逻辑电路的分析优化方法及相关设备
US20100005203A1 (en) Method of Merging and Incremantal Construction of Minimal Finite State Machines
CN115113528A (zh) 神经网络模型的运行控制方法、装置、设备及介质
CN112529024A (zh) 一种样本数据的生成方法、装置及计算机可读存储介质
JP2023553220A (ja) マルチインスタンスプロセスのためのプロセスマイニング
CN114356422A (zh) 基于大数据的图计算方法、装置、设备及可读存储介质
CN111176992B (zh) 流程引擎的测试方法、装置、计算机设备及存储介质
CN112182199A (zh) 一种依赖包推荐方法、装置、电子设备和可读存储介质
CN116382658A (zh) Ai模型的编译方法、装置、计算机设备及存储介质
CN116016686A (zh) 待优化节点的确定方法、装置、电子设备和介质
EP3173889A1 (en) Method and system for generating minimal cut-sets for highly integrated large systems
CN109710538B (zh) 一种用于大规模系统中状态相关缺陷的静态检测方法
CN116383454B (zh) 图数据库的数据查询方法、电子设备及存储介质
CN114080609A (zh) 基于编码知识的非线性因果建模
JP2017041196A (ja) スタブ化対象判定装置、方法、及びプログラム
Gayathri et al. Mapreduce model for finding closely knit communities in large scale networks
CN117271241A (zh) 一种智能芯片系统的调试方法、装置、设备及介质
US20240193189A1 (en) Object centric process mining algorithm
CN116400662B (zh) 正向推理与逆向推理相结合的故障推演方法和装置
CN116611527B (zh) 量子电路处理方法、装置及电子设备
US20220237500A1 (en) Test case execution sequences
CN112202606A (zh) 基于设备连接关系的设备相似性聚类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220415

RJ01 Rejection of invention patent application after publication