CN108319698A - 一种基于博弈的流图划分方法和系统 - Google Patents

一种基于博弈的流图划分方法和系统 Download PDF

Info

Publication number
CN108319698A
CN108319698A CN201810108725.0A CN201810108725A CN108319698A CN 108319698 A CN108319698 A CN 108319698A CN 201810108725 A CN201810108725 A CN 201810108725A CN 108319698 A CN108319698 A CN 108319698A
Authority
CN
China
Prior art keywords
subgraph
divided
gambling process
block
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810108725.0A
Other languages
English (en)
Other versions
CN108319698B (zh
Inventor
华强胜
石宣化
金海�
李阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810108725.0A priority Critical patent/CN108319698B/zh
Publication of CN108319698A publication Critical patent/CN108319698A/zh
Priority to US16/237,053 priority patent/US10643356B2/en
Application granted granted Critical
Publication of CN108319698B publication Critical patent/CN108319698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Pinball Game Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于博弈的流图划分方法和系统，该方法包括：由一个或多个处理器对流图进行划分，一个或多个处理器被配置为：读取流图的未划分区域中含预设边数的边流作为子图；基于第一预划分模型将子图的边预划分到至少两个划分块中作为博弈过程的初始状态；通过博弈过程序贯地为子图的每条边选择其最优划分块直至博弈过程收敛；本发明提供的方法和系统可以利用流图的局部信息进行划分，划分过程不用将整个流图载入内存，具有很好的扩展性，同时支持动态图划分；本发明提供的划分方法和系统能基于博弈过程获得更好的划分结果。

Description

一种基于博弈的流图划分方法和系统
技术领域
本发明涉及流图处理领域，尤其涉及一种基于博弈的流图划分方法和系统。
背景技术
图数据挖掘是当前研究的热门问题。从给定的图数据集找到求解如PageRank，联通分量(CC)，介数中心度(Betweeness centrality)等图性质，是图挖掘的主要研究问题。这些性质可以用来衡量图中点的重要程度，比如搜索引擎用PageRank做网页重要程度排名，介数中心度用来衡量用户在社交网络中影响力等，这些图性质都有广泛的应用场景。
普通单机受内存限制，不能处理大图数据。这是就需要借助分布式系统进行处理。在分布式系统中处理图数据，一个很自然的问题就是如何将图数据合理地布局在分布式系统中的各台机器上。这也是图划分问题的典型应用场景。提高分布式系统性能的两种重要方法就是：1、保证各台机器上的计算负载均衡(每台机器上边的数目尽可能一样多)；2、各台机器间的通信尽可能少(跨越不同机器的链接数尽可能少，详见图1示例说明)。两点对应到图划分的语境下，就是经典图划分问题的两个准则：1、各个划分块的边(顶点)尽可能一样多；2、跨越不同划分块的点(边)尽可能少。
然而经典的图划分问题，无论是边划分还是顶点划分，都是NP难问题。目前实际采用的划分方法都是启发式算法。这些算法按照是否需要将获得图的全局信息才能划分，又分为流式图划分和非流式图划分。非流式图划分方法需要将整个图都载入内存中，需要获得如顶点度数这类图的全局信息，才能划分。典型的非流式图划分如METIS。其基本思想是将图中多个顶点凝结为一个顶点，这样可以大大减少图中点的数目。然后在粗化后的图中采用复杂度较高的K.L.算法进行划分，最后将划分好的粗化图还原到原始图。虽然该方法具有较好的划分结果，但是除去图数据本身占用的内存外，METIS的粗化过程需要存放大量的中间结果。因此，该方法只适用于图数据集较小的情形，可扩展性较差。
流式图划分方法基于流处理模型，图通过边流或者顶点流(包括其邻接点)方式到达，对每条边(顶点)的划分只需要根据当前边(顶点)和已经到达的边(顶点)决定。具有很好的可扩展性，同时支持动态图(允许图动态的增加边或顶点)，基于顶点流的典型算法如LDG、FENNEL，基于边流的典型算法如HDRF。当前流式图划分方法的缺陷在于，每条边只计算一轮最小代价函数，就做出策略选择，这样获得的局部最优值是较差的。
发明内容
针对现有技术之不足，本发明提供了一种基于博弈的流图划分方法和系统，本发明能够规避非流式图划分方法内存占用大，可扩展性差的缺点，同时在流式划分过程中，通过博弈过程，充分利用当前轮中其它玩家的策略选择信息，即当前其他边和/或顶点被放置在哪个划分块中，从而更好地做出决策，达到更好的划分结果。
根据一个优选实施方式，一种基于博弈的流图划分方法，所述方法包括：
由一个或多个处理器对流图进行划分，所述一个或多个处理器被配置为：
读取所述流图的未划分区域中含预设边数的边流作为子图；基于第一预划分模型将所述子图的边预划分到至少两个划分块中作为博弈过程的初始状态；通过所述博弈过程序贯地为所述子图的每条边选择其最优划分块直至所述博弈过程收敛；所述博弈过程包括：将所有划分块构成的集合视为策略选择的集合，博弈过程中的每一轮，进行策略选择的当前边依据当前划分结果中其他边的划分情况并根据预设的代价函数计算出其本轮最优的策略选择，在当前边不处于最优的策略选择对应的最优划分块之时，将所述当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据并在所述子图的所有边进行策略选择后以最新的当前划分结果再次执行博弈过程。
根据一个优选实施方式，所述博弈过程还包括：
在博弈过程的一轮中，在所有边都没有发生迁移的情况下，则此次博弈过程收敛，所述子图的划分完成并将本轮博弈过程所依据的当前划分结果作为最终划分结果。
根据一个优选实施方式，所述将所述当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据的处理包括：当前边的策略选择依赖于更新的当前划分结果中除去当前边之外的其他所有边的划分情况。
根据一个优选实施方式，所述预设的代价函数为：
记pmin＝argmini∈[1,k]c(e(u,v),pi)是取得最小代价函数值的最优划分块，当边e(u,v)所在的划分块不是其最优划分块之时，则将边e(u,v)从其所在的划分块迁移到其最优划分块；
其中，e(u,v)表示连接顶点u和顶点v的边，pi表示编号为i的划分块，，i∈[1,k]，k是划分块的数量，k≥2且为整数，α表示负载均衡度量和平均备份数度量的相对重要性，α∈(0,1)，β表示度量均一化参数，l(pi)表示划分块pi中边的数目，d(pi,u)表示顶点u在划分块pi中的度数，d(pi,v)表示顶点v在划分块pi中的度数。
根据一个优选实施方式，所述度量均一化参数其中，|M|是所述子图的顶点数量，|E|是所述子图的边数量。
根据一个优选实施方式，所述第一预划分模型基于随机划分规则，轮流为所述子图的边生成一个随机数R，并将该边划分到与该随机数对应编号的划分块pR中，
其中，R∈[1,k]且为整数，k是划分块的数量，k≥2且为整数。
根据一个优选实施方式，所述一个或多个处理器还被配置为：
获取若干子图和各子图的最终划分结果作为训练集；
使用所述训练集用于训练第二预划分模型；
在训练次数超过预设次数之后，使用所述第二预划分模型代替所述第一预划分模型对所述待划分的子图进行预划分。
根据一个优选实施方式，所述读取所述流图的未划分区域中含预设边数的边流作为子图的步骤是基于流处理模型进行的。
本发明还公开了一种基于博弈的流图划分系统，所述系统包括：一个或多个处理器；
所述一个或多个处理器被配置为：
读取所述流图的未划分区域中含预设边数的边流作为子图；
基于第一预划分模型将所述子图的边预划分到至少两个划分块中作为博弈过程的初始状态；
通过所述博弈过程序贯地为所述子图的每条边选择其最优划分块直至所述博弈过程收敛；
所述博弈过程包括：
将所有划分块构成的集合视为策略选择的集合，
博弈过程中的每一轮，进行策略选择的当前边依据当前划分结果中其他边的划分情况并根据预设的代价函数计算出其本轮最优的策略选择，
在当前边不处于最优的策略选择对应的最优划分块之时，将所述当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据并在所述子图的所有边进行策略选择后以最新的当前划分结果再次执行博弈过程。
根据一个优选实施方式，所述博弈过程还包括：
在博弈过程的一轮中，在所有边都没有发生迁移的情况下，则此次博弈过程收敛，所述子图的划分完成并将本轮博弈过程所依据的当前划分结果作为最终划分结果。
本发明提供一种基于博弈的流图划分方法和系统至少具有如下优势：
(1)和非流式划分方法和系统相比(如METIS)，本发明提供的方法和系统可以利用流图的局部信息进行划分，划分过程不用将整个流图载入内存，具有很好的扩展性，同时支持动态图划分；
(2)和已有的流式划分方法和系统相比(如LDG、FENNEL、HDRF)，在对一个批次的边进行划分时，本发明提供的方法和系统在多轮中计算每条边的最小代价函数，每轮中每条边都会根据当前的最小代价函数做出策略改变，直至收敛，即不再改变当前的策略选择，而已有的流式划分方法和系统每条边只计算一轮最小代价函数，就做出策略选择，所以本发明提供的划分方法和系统能获得更好的划分结果。
(3)本发明能够使用已划分的子图和相应子图经过博弈过程得到的最终划分结果作为训练集用于训练第二预划分模型，能够减少计算开销，提升划分效率。
附图说明
图1a和图1b是同一子图的两种划分方式的示意图；
图1c和图1d分别是对应于图1a和图1b两种划分方式的划分块的示意图；
图2是流处理模型的示意图；
图3a～3d分别是基于真实图arabic-2005、真实图uk-2002、真实图enwiki-2013和真实图soc-LiveJournal1采用多种算法进行实验得到的有关平均备份数度量的折线图；
图4a～4d分别是基于真实图arabic-2005、真实图uk-2002、真实图enwiki-2013和真实图soc-LiveJournal1采用多种算法进行实验得到的有关负载均衡度量的柱状图；
图5是基于人造图采用多种算法进行实验得到的有关平均备份数度量的折线图；
图6是基于上述人造图采用多种算法进行实验得到的有关负载均衡度量的柱状图；和
图7是本发明的一个优选实施方式的模块示意图。
附图标记列表
0：顶点0 1：顶点1 2：顶点2
3：顶点3 4：顶点4 5：顶点5
6：存储介质 7：读取模块 8：写模块
Q1：第一阻塞队列模块 Q2：第二阻塞队列模块 CT：划分模块
CT1：第一划分单元 CT2：第二划分单元
CT3：第三划分单元 CT4：第四划分单元
具体实施方式
下面结合附图进行详细说明。
为了便于理解，在可能的情况下，使用相同附图标记来表示各附图中共同的相似元件。
如在整篇本申请中所使用的那样，词语“可以”系容许含义(即，意味着有可能的)而不是强制性含义(即，意味着必须的)。类似地，词语“包括”意味着包括但不限于。
短语“至少一个”、“一个或多个”以及“和/或”系开放式表达，它们涵盖操作中的关联与分离两者。例如，表述“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或更多个”、“A、B或C”和“A、B和/或C”中的每个分别指单独A、单独B、单独C、A和B一起、A和C一起、B和C一起或A、B和C一起。
术语“一种”或“一个”实体指的是该实体中的一个或多个。这样，术语“一”(或“一”)、“一个或多个”以及“至少一个”在本文中可以交换地使用。还应该注意，术语“包括”、“包含”和“具有”可以交换地使用。
如本文中所使用的那样，术语“自动的”及其变型是指当执行过程或操作时在没有实质性人工输入的情况下完成的任何过程或操作。然而，如果在执行该过程或操作之前接收到该输入，则该过程或操作可以是自动的，即使该过程或操作的执行使用了实质性或非实质性的人工输入。如果这样的输入影响该过程或操作的执行方式，则该人工输入被认为是实质性的。准予执行该过程或操作的人工输入不被视为“实质性的”。
实施例1
本实施例公开了一种基于博弈的流图划分方法。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，该方法可以包括：由一个或多个处理器对流图进行划分。
根据一个优选实施方式，一个或多个处理器可以被配置为：读取流图的未划分区域中含预设边数的边流作为子图。通过该方式，本发明提供的方法和系统可以利用流图的局部信息进行划分，划分过程不用将整个流图载入内存，具有很好的扩展性，同时支持动态图划分
根据一个优选实施方式，一个或多个处理器还可以被配置为：基于第一预划分模型将子图的边预划分到至少两个划分块中作为博弈过程的初始状态。优选地，博弈是指在多参与者之间的行为具有相互作用时，各参与者根据所掌握信息及对自身能力的认知，做出有利于自己的决策的一种行为。博弈过程是指进行博弈行为的过程。优选地，博弈过程的初始状态对应一个初始的当前划分结果。在一轮博弈过程中，在一条边发生迁移后会对应地更新当前划分结果，以作为下一条边进行策略选择的依据。即，当前边是动态地基于其他边的最新划分情况进行策略选择。优选地，一轮博弈过程中，每条边以序贯地方式进行一次策略选择。优选地，每条边都完成了一次策略选择之时则进行了一轮博弈过程。优选地，一轮博弈过程中，可以将子图的每条边视为博弈的玩家，可以将所有划分块构成的集合视为策略选择的集合。博弈过程中的每一轮，每条边根据预设的代价函数计算出该轮最优的策略选择。当某一轮中，如果所有边都没有改变其策略选择，则此次博弈过程达到纳什均衡，该子图的划分结束。优选地，本发明的博弈可以采用混合策略博弈或者纯策略博弈。混合策略博弈中，一个玩家i的策略指的是对策略集合Si＝(S1,…,Sm)中的一个概率分布ρi＝(pi,1,…,pi,m)，其中pi,j表示玩家i选择策略Sj的概率，玩家i给出策略(概率分布)ρi后，依据概率分布从Si中随机选择一个相应的动作(move)Si。纯策略博弈中，玩家i针对每一种情形，都有确切的，唯一的对应策略Si∈Si。其中Si是玩家可选的策略集合。策略选择过程中，不存在随机性。优选地，本发明采用纯策略博弈。在当前边选择最优划分块时，如果有两个或以上划分块的代价函数相同且都是最小值的情况下，则当前边选择划分块编号最小的一个最优划分块。即，在当前边的最优划分块有两个及以上之时，将该当前边划分到编号最小的最优划分块中。尤其优选地，本发明采用纯策略博弈，以获得更高的划分质量。优选地，一个或者多个处理器还可以被配置为：并行地进行多个子图的划分且依据实时的计算开销和通信开销动态地调整并行划分的子图数量。通过该方式，可以提升系统的流畅度和整体的划分效率。尤其在系统任务量大的情况下，具有很好地整体效果。优选地，一个或者多个处理器还可以被配置为：在实时的计算开销超过第一阈值和/或通信开销超过第二阈值且一个或者多个处理器检测到第一输入设备和/或第二输入设备的输入信号之时，强制降低并行划分的子图数量。第一输入设备可以是鼠标。第二输入设备可以是键盘。通过该方式，可以保证用户使用系统时的流畅度，提高用户体验。优选地，强制降低并行划分的子图数量的处理可以包括：暂停正在划分的一个或者多个子图并将设定的并行划分的子图数量调低。
根据一个优选实施方式，一个或多个处理器还可以被配置为：通过博弈过程为子图的每条边选择其最优划分块直至博弈过程收敛。
根据一个优选实施方式，博弈过程可以包括：将所有划分块构成的集合视为策略选择的集合，博弈过程中的每一轮，进行策略选择的当前边依据当前划分结果中其他边的划分情况并根据预设的代价函数计算出其本轮最优的策略选择，在当前边不处于最优的策略选择对应的最优划分块之时，将当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据并在子图的所有边进行策略选择后以最新的当前划分结果再次执行博弈过程。
根据一个优选实施方式，博弈过程还可以包括：在博弈过程的一轮中，在所有边都没有发生迁移的情况下，则此次博弈过程收敛，子图的划分完成并将本轮博弈过程所依据的当前划分结果作为最终划分结果。
根据一个优选实施方式，将当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据的处理包括：当前边的策略选择依赖于更新的当前划分结果中除去当前边之外的其他所有边的划分情况。优选地，其他边的划分情况是指其他边选择的具体的划分块的情况。
实施例2
本实施例是对实施例1的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，本实施例公开了一种基于博弈的流图划分系统。该系统适于执行本发明记载的各个方法步骤，以达到预期的技术效果。
根据一个优选实施方式，一种基于博弈的流图划分系统。该系统可以包括：一个或多个处理器。
根据一个优选实施方式，一个或多个处理器可以被配置为：读取流图的未划分区域中含预设边数的边流作为子图。
根据一个优选实施方式，一个或多个处理器还可以被配置为：基于第一预划分模型将子图的边预划分到至少两个划分块中作为博弈过程的初始状态。
根据一个优选实施方式，一个或多个处理器还可以被配置为：通过博弈过程序贯地为子图的每条边选择其最优划分块直至博弈过程收敛。通过该方式，每轮中都会为所有边选择基于当前局势的最优划分块。
根据一个优选实施方式，博弈过程可以包括：将所有划分块构成的集合视为策略选择的集合，博弈过程中的每一轮，进行策略选择的当前边依据当前划分结果中其他边的划分情况并根据预设的代价函数计算出其本轮最优的策略选择，在当前边不处于最优的策略选择对应的最优划分块之时，将当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据并在子图的所有边进行策略选择后以最新的当前划分结果再次执行博弈过程。
实施例3
本实施例是对实施例1、2或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，本实施例公开了一种基于博弈的流图划分方法。
根据一个优选实施方式，该方法可以包括：由一个或多个处理器对流图进行划分。优选地，一个或多个处理器的型号例如是Intel Xeon E5-2670、Intel Xeon X5650、Inteli7和Intel 3770中的至少一种。优选地，流图例如是社交网络图数据或者web图数据。
参见图1，图1给出了子图的边划分示例，用于解释边划分。为了简化图示，示例的子图仅包括6个顶点。图中有斜杠的顶点的为边划分后被切割的顶点。图1a和图1b给出了该示例子图。图1c和图1d分别对应两种不同的划分结果。其中，填充点为主控点，非填充点为镜像点。根据主从备份的思想，在某次迭代后，如果镜像点有更新，就将更新值写回主控点，所有镜像点都对主控点执行完更新操作后，主控点用更新后的值，更新所有镜像点。实现细节依赖具体的图计算系统。在图计算过程中，例如，计算PageRank，每迭代完一次，镜像点和主控点需要进行状态同步。所以一个好的图划分结果，应该是负载均衡的同时，顶点被备份的平均次数尽可能少。如果一个划分中，所有顶点被备份的次数和为F＝∑m∈M|Rep(m)|，则需要F-|M|个链接来同步这些被备份点之间的状态。图1c中，顶点1、顶点4、顶点5分别备份了2次，其余的顶点0、顶点2和顶点3各备份了一次，平均备份次数：|M|＝6,F＝∑m∈M|Rep(m)|＝9，所以跨越不同划分块的链接数为F-|M|＝3，即，需要3个跨越不同划分块的链接来保持通信。图1d中，4号的顶点被备份了3次，顶点1被备份了2次，其余顶点只备份了一次。平均备份次数为：|M|＝6，F＝∑m∈M|Rep(m)|＝9，所以跨越不同划分块的链接数为F-|M|＝3，即，需要3个链接来保证通信。虽然图1c和图1d两种划分结果得到平均备份数度量都等于1.5。但是，二者负载均衡度量不同。图1c中划分块的边数标准差小于图1d。所以，图1c的划分结果的负载均衡度量更优。
根据一个优选实施方式，一个或多个处理器可以被配置为：读取流图的未划分区域中含预设边数的边流作为子图。通过该方式，本发明能够利用流图的局部信息进行划分，划分过程不用将整个图载入内存，具有很好的扩展性。同时，本发明的方法还可以支持动态图划分。优选地，预设边数可以由用户设定。优选的，本申请中提到的流图的未划分区域包括从未被划分过的区域以及已被划分区域中顶点和/或边发生变化的区域。
根据一个优选实施方式，一个或多个处理器还可以被配置为：基于第一预划分模型将子图的边预划分到至少两个划分块中。优选地，第一预划分模型仅是对子图的初步划分。其可以基于各种划分算法。优选地，划分块的具体数目可以由用户设定。
尤其优选地，第一预划分模型基于随机划分规则，轮流为子图的边生成一个随机数R，并将该边划分到与该随机数对应编号的划分块pR中。R∈(1,k)且为整数，k是划分块的数量，k≥2且为整数。使用随机预划分规则相对于非随机预划分规则而言，能够去除算法对输入数据集的特性依赖，减少预划分时的复杂度和计算开销，还能防止特定的非随机预划分规则得到的初步划分结果的基础影响后续博弈过程的实际划分效果，对最终划分结果造成影响。在预划分时使用随机划分，使得后续博弈过程的次数增加，但是得到的划分结果更好。
通过实验证明，使用本发明的方法能够得出更好地划分结果。下表给出了实验时使用的四种真实图。
编号 图名 |M| |E|
a arabic-2005 22M 0.6B
b uk-2002 19M 0.3B
c enwiki-2013 5.7M 130M
d soc-LiveJournal1 4.8M 69M
图3a～3d是采用多种算法进行实验得到的有关平均备份数度量的折线图。图4a～4d是采用多种算法进行实验得到的有关负载均衡度量的柱状图。图3a～3d和图4a～4d分别使用了编号为a～b的真实图作为实验用的流图得到的。即，图3a和4a使用了arabic-2005。图3b和图4b使用了uk-2002。图3c和图4c使用了enwiki-2013。图3d和图4d使用了soc-LiveJournal1。图3a～3d的横轴代表的是预设的划分块个数，纵轴代表的是平均备份数度量。图4a～4d的横轴代表的是预设的划分块个数，纵轴代表的是负载均衡度量。实验中，使用了DBH、Fennel、Greedy、Random、Hdrf和Mint六个算法。其中，Mint算法采用的是本发明的方法。其他算法由于没有采用博弈过程，均仅进行了一轮划分就得到了最终划分结果。其中，本次实验中，Mint在预划分是采用随机划分算法。参见图3a～3d可以看到，在以四个真实图为实验样本的情况下，划分块数目分别取4、8、16、32、48和64时，使用本发明的方法的Mint算法得到的平均备份数度量的结果都是最优的。图4a～4d中，由于Greedy算法的结果太大，没有办法在同一张图上呈现，因此，均略去了Greedy算法代表柱。此外，由于使用enwiki-2013时DBH算法的结果太大，没有办法在同一张图上呈现，因此，图4c中略去了DBH算法代表柱。参见图4a～4d可以看到，在以四个真实图为实验样本的情况下，划分块数目分别取4、8、16、32、48和64时，使用本发明的方法的Mint算法得到的负载均衡度量的结果大部分是最优的。综合平均备份数度量和负载均衡度量来看，在以四个真实图为实验样本的情况下，采用本发明的方法的Mint算法的划分效果相比其他几种算法更优。应当注意的是，虽然实验过程中Mint算法在预划分时使用了随机划分算法。但是，并不意味着本发明的方法只有在预划分使用随机划分算法才能得到最优的划分结果。例如，本发明的第一预划分模型可以基于DBH、Fennel、Greedy、Random和Hdrf算法中的至少一种。随后再采用博弈过程，得到比第一预划分模型划分出的结果更优的结果。
此外，这里还使用了一个由Erdos-Renyi随机图模型生成的人造图进行实验。参数设置为：针对每个η值，会随机生成一个图，满足等于给定的η值，η分别取15、16、17、18、19和20，设定划分块数为k＝32，参数α＝0.5，|V|＝10M，|E|＝η|V|。
图5是基于人造图采用多种算法进行实验得到的有关平均备份数度量的折线图，其中，横轴为η，由图5可以看到，在以该人造图为实验样本的情况下，在η取15、16、17、18、19或20时，使用本发明的方法的Mint算法得到的平均备份数度量的结果和使用Greedy算法得到的结果接近，为最优结果。
图6是基于上述人造图采用多种算法进行实验得到的有关负载均衡度量的柱状图，其中，横轴为η，此图中Greedy算法的结果太大，没有办法在同一张图上呈现，因此，图6中略去了Greedy算法代表柱。从图6可以看到，，在以该人造图为实验样本的情况下，在η取15、16、17、18、19或20时，使用本发明方法的Mint算法得到的负载均衡度量的结果都是最优的。因此，综合平均备份数度量和负载均衡度量来看，在以该人造图为实验样本的情况下，采用本发明的方法的Mint算法的划分效果相比其他几种算法更优。
根据一个优选实施方式，一个或多个处理器还可以被配置为：重复地执行博弈过程直至在一轮博弈过程中没有任何边从其所处的划分块迁移到其他划分块。现有的流图划分方法中，对边进行划分时每条边只计算一轮最小代价函数，就做出策略选择，这样获得的局部最优值是较差的。而通过该方式，本发明能够充分利用当前轮中其他边的策略选择信息，重复地执行博弈过程至收敛，相比现有方法能够得到更好地划分结果。参见图2，多个彼此横向连接的方块为边流，边流中每个单元为一条边e(u,v)。多个彼此纵向连接的方框为流式划分模型。普通的方法根据流式划分模型逐条边地从k个划分块中选择相应边的划分块，然后就将划分结果写入存储介质中。本发明的方法需要多轮博弈过程，能够得到一个更好地划分结果。
根据一个优选实施方式，重复地执行博弈过程直至在一轮博弈过程中没有任何边从其所处的划分块迁移到其他划分块的处理可以包括：依据当前划分结果逐条判断子图的边是否都处于其最优划分块，若是，则博弈过程收敛，结束子图的划分过程并将此次博弈过程所依据的当前划分结果作为最终划分结果，若否，则在被判断的当前边不处于其最优划分块之时将当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边的判断依据并在对子图的所有边完成判断后再次执行博弈过程。本发明的方法能够通过多轮博弈过程让未处于其最优划分块的边做出策略改变，直至收敛，能够获得更好的最终划分结果。
博弈过程的收敛，对应于一轮博弈过程中所有玩家各自都采取了其最优策略，即在一轮博弈过程中，每个玩家本身所处的划分块即是其最优划分块。以下进一步对本发明博弈过程的收敛进行说明。
通过将平均备份数度量(replication factor)作为社会福利(social welfare)来降低通信开销。
定义：对于给定博弈过程G，玩家i的策略选择从Si,→S′i时如果存在函数满足：
则博弈过程G是一个确切势赛局(Exact potential game)。满足该条件的函数称为势函数(potential function)。
定理：确切势赛局存在一个纯策略纳什均衡。
命题：如上定义的边划分的博弈过程是一个确切势赛局。从而至少存在一个纯策略纳什均衡。
证明：
构造势函数
其中，Se为边e的策略选择，为调和序列,d(Se,u)表示顶点u在划分块Se的度数，即Se有多少条包含顶点u的边。
当边e的策略选择从Se,→S′e时，计算势函数的变化量过程如下：
考虑势函数第一项的变化量：
考虑势函数的第二项变化量，因为顶点u和顶点v是对称的，算出关于u的变量后，可以直接得到关于v的变化量。计算关于顶点u的变化量如下：
同理可得关于顶点v的变化量为：
所以
综上可得:
另一方面，当边e的策略选择从Se,→S′e时，边e的cost函数变化量为：
故本发明的博弈过程是一个确切势赛局，从而至少存在一个纯策略纳什均衡。值得一提的是，根据已有结论，在玩家集合有限、每个玩家的策略集合有限的情况下，混合策略博弈一定存在一个混合策略纳什均衡，而纯策略纳什均衡存在的条件要苛刻很多，即需要证明该博弈过程是一个确切势赛局(Exact Potential Game)。如前所述，该证明的难点在于如何根据个体代价函数，构造相应的势函数满足确切势赛局的定义。而没有证明收敛性的纯策略博弈可能会导致不断地重复博弈过程却得不到最终的划分结果。
根据一个优选实施方式，重复地执行博弈过程直至在一轮博弈过程中没有任何边从其所处的划分块迁移到其他划分块的处理可以包括：选择子图中未选择的一条边作为当前边，依据最新的当前划分结果中其他边的划分情况判断当前边是否处于其最优划分块，若是，对下一条边进行判断时依据的当前划分结果不变，重复当前步骤直至子图的所有边完成判断后转至下一步骤，若否，将当前边迁移到其最优划分块并对应更新对下一条边进行判断时依据的当前划分结果，重复当前步骤直至子图的所有边完成判断后转至下一步骤；当对子图的所有边完成判断后，判断是否有边因不处于其最优划分块而发生迁移，若是，则使用更新的当前划分结果再次执行博弈过程；若否，则博弈过程收敛，结束子图的划分过程并将此次博弈过程所依据的当前划分结果作为最终划分结果。通过该方式，每一轮中，在逐条判断子图中的一条边是否处于其最优划分块时，不论是否有边迁移，都不立即进行下一轮博弈过程，而是等所有的边都完成一轮判断，在有边发生迁移，即未收敛的情况下，才进行下一轮博弈过程。而且，在一条边发生迁移后，下一条边是以更新了的当前划分结果来判断其最优划分块。这样，能够有效降低博弈过程的轮数和提高划分过程的效率。
优选地，该方法还包括：一个或多个处理器可以被配置为：设置两个全局量：machOfEdge和machOfVertex用于记录划分状态。machOfEdge为一个HashMap，存放形如<e,pid>的键值对，用于记录划分结果，表示当前将边e划分到id为pid的划分块。machOfEdge每划分完一个子图都会清空，然后开始记录下一个子图的划分结果。machOfVertex为一个嵌套的HashMap，存放形如<v,<pid,cnt>>的键值对，用于记录顶点v在各个划分块中出现了多少次。最后计算Repavg时，只考虑划分块是否包含v的备份点。
优选地，在整个划分过程中，当边e(u,v)要从所处划分块poriginal迁移至其最优划分块pmin，将machOfEdge里键e对应的值改为pmin，记repU＝machOfVertex.get(u)，repV＝machOfVertex.get(v)为记录u,v在各个划分块的备份情况，记cntUPo,cntUPm,cntVPo,cntVPm分别为顶点u和顶点v在poriginal和pmin的备份次数，边的迁移可以通过如下操作完成：
repU.put(pmin,cntUPm+1)；将u在pmin的备份次数加1；
repU.put(poriginal,cntUPo-1)；将u在poriginal里的备份次数减1；
repV.put(pmin,cntUPm+1)；将v在pmin的备份次数加1；
repV.put(poriginal,cntUPo-1)；将v在poriginal里的备份次数减1。
根据一个优选实施方式，预设的代价函数可以为：
记pmin＝argmini∈[1,k]c(e(u,v),pi)是取得最小代价函数值的最优划分块，当边e(u,v)所在的划分块不是其最优划分块之时，则将边e(u,v)从其所在的划分块迁移到其最优划分块。e(u,v)表示连接顶点u和顶点v的边。pi表示编号为i的划分块。i∈[1,k]，k是划分块的数量。k≥2且为整数。α表示负载均衡度量和平均备份数度量的相对重要性，α∈(0,1)。β表示度量均一化参数。l(pi)表示划分块pi中边的数目。d(pi,u)表示顶点u在划分块pi中的度数。d(pi,v)表示顶点v在划分块pi中的度数。通过该方式，本发明在多轮博弈过程中计算每条边的最小代价函数，每轮中每条边都会根据当前的最小代价函数做出策略改变，直至收敛，即不再改变当前的策略选择，以得出更好的划分结果。而已有的流式划分方法每条边只计算一轮最小代价函数，就做出策略选择，得到的划分结果较差。
根据一个优选实施方式，度量均一化参数|M|是子图的顶点数量。|E|是子图的边数量。优选地，β值通过如下方法确定：每个玩家的代价函数为：
则整个博弈过程的社会福利为：
其中，策略向量S＝(s1,…,sN)表示某个时刻N条边的策略选择。N条边视为N个玩家。边e的策略选择为se，即，边选择了编号为se的划分块。Rep(m)表示顶点m被备份的次数。E表示该批次的边的集合，M表示该批次中的顶点的集合。当α＝0.5时，负载均衡度量和平均备份数度量应该数值相同：
考虑社会福利中的第一项，因为所以最大值为|E|2，即所有边被划分到一个划分块，最小值为即各个划分块包含的边数相同。考虑社会福利中的第二项∑v∈V|Rep(m)|，最大值为k|M|，因为只有k个划分块，每个顶点至多在所有划分块中都出现，最小值为|M|，每个顶点都出现在一个划分块中。所以当一个批次的边载入内存后，|E|和|M|都是已知的常量，所以只需要输入1至k2的系数即可。
根据一个优选实施方式，一个或多个处理器还被配置为：获取若干子图和各子图的最终划分结果作为训练集；使用训练集用于训练第二预划分模型；在训练次数超过预设次数之后，使用第二预划分模型代替第一预划分模型对待划分的子图进行预划分。通过该方式，训练出的第二预划分模型能够在预划分阶段预先划分出接近使用本发明的博弈过程得到的划分结果。然后再进行博弈过程，得到最终划分结果。从而减少博弈过程的次数，降低划分过程的计算开销，能够大幅提升本发明的划分效率。本发明在第二预划分模型的训练次数超过预设次数之后，才执行预划分替换过程。通过该方式，能够避免在第二预划分模型训练程度不足之时执行预划分模型替换过程，导致计算资源的浪费，降低划分的效率。
根据一个优选实施方式，读取流图的未划分区域中含预设边数的边流作为子图的步骤是基于流处理模型进行的。通过该方式，可以快速地获得所需的子图。优选地，基于流处理模型的处理可以直接使用现有的基于流处理模型的系统，比如工业界中基于流处理模型的Storm系统或者Flink系统。
实施例4
本实施例是对实施例1、2、3或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，本实施例公开了一种基于博弈的流图划分系统。该系统适于执行本发明记载的各个方法步骤，以达到预期的技术效果。
根据一个优选实施方式，该系统可以包括：一个或多个处理器。
优选地，一个或多个处理器还可以被配置为：重复地执行博弈过程直至在一轮博弈过程中没有任何边从其所处的划分块迁移到其他划分块。
实施例5
本实施例是对实施例1、2、3、4或者其结合的进一步改进，重复的内容不再赘述。在不造成冲突或者矛盾的情况下，其他实施例的优选实施方式可以作为本实施例的补充。
根据一个优选实施方式，本实施例公开了一种基于博弈的流图划分系统。该系统适于执行本发明记载的各个方法步骤，以达到预期的技术效果。
参见图5，该系统可以包括：存储介质6、读取模块7、第一阻塞队列模块Q1、第二阻塞队列模块Q2、划分模块CT和写模块8中的至少一个。优选地，划分模块CT可以包括一个或多个划分单元。例如，包括第一划分单元CT1、第二划分单元CT2、第三划分单元CT3和第四划分单元CT4，以同时执行多个子图的划分操作。优选地，第一阻塞队列模块Q1、第二阻塞队列模块Q2、读取模块7、划分模块CT或者写模块8例如是能用于处理数据和/或传输数据的专用集成电路(ASIC)、FPGA、CPU、通用计算机或者任何其他硬件等同物中的至少一种。存储介质6例如是内存条、固态硬盘和机械硬盘中的至少一种。
根据一个优选实施方式，读取模块7根据用户输入的批次大小B，每次从存储介质6的流图中读入一个批次的边，将该批次的边作为一个子图，填入第一阻塞队列模块Q1的中。
根据一个优选实施方式，每个划分单元可以从第一阻塞队列模块Q1中取出边数为B的子图，运行划分逻辑，最后将该子图的划分结果填入第二阻塞队列模块Q2的一个元素中。优选地，每条边的划分结果具体内容为<e,i>的键值对，表示将边e存放在块id为i的划分块中。第二阻塞队列模块Q2的一个元素包含了一个子图所有边的划分结果。优选地，划分单元可以被配置为执行：博弈过程初始化，将一个图的边预划分到k个划分块。优选地，划分单元还可以被配置为执行：启动博弈过程，博弈过程中每一轮遍历批次内的所有边，每条边基于其它边的当前划分块选择，计算自身的最佳划分块。若在某一轮中，所有边都没有改变其当前的划分块选择，则博弈过程达到纳什均衡，该批次的边划分结束。
根据一个优选实施方式，写模块8每次从第二阻塞队列模块Q2中取出一个批次的划分结果，写入存储介质6。
虽然已经详细描述了本发明，但是在本发明的精神和范围内的修改对于本领域技术人员将是显而易见的。这样的修改也被认为是本公开的一部分。鉴于前面的讨论、本领域的相关知识以及上面结合背景讨论的参考或信息(均通过引用并入本文)，进一步的描述被认为是不必要的。此外，应该理解，本发明的各个方面和各个实施例的各部分均可以整体或部分地组合或互换。而且，本领域的普通技术人员将会理解，前面的描述仅仅是作为示例，并不意图限制本发明。
已经出于示例和描述的目的给出了本公开的前述讨论。这并不意图将本公开限制于本文公开的形式。在前述的具体实施方式中，例如，为了简化本公开的目的，本公开的各种特征在一个或多个实施例、配置或方面中被组合在一起。实施例、配置或方面的特征可以以除上面讨论的那些之外的替代实施例、配置或方面组合。本公开的该方法不应被解释为反映本公开需要比每个权利要求中明确记载的更多特征的意图。相反，如以下权利要求所反映的，创造性方面在于少于单个前述公开的实施例、配置或方面的所有特征。因此，以下权利要求由此被并入本具体实施方式中，其中每个权利要求其自身作为本公开的单独实施例。
而且，虽然本公开的描述已经包括对一个或多个实施例、配置或方面以及某些变型和修改的描述，但是其他变型、组合和修改也在本公开的范围内，例如在本领域技术人员的技能和知识范围内，在理解了本公开之后。旨在获得在允许的程度上包括替代实施例、配置或方面的权利，所述权利包括那些要求保护的替代的、可互换的和/或等效的结构、功能、范围或步骤的权利，无论这种替代的、可互换的和/或等效的结构、功能、范围或步骤是否在本文中公开，并且无意公开奉献任何可专利的主题。

Claims (10)

1.一种基于博弈的流图划分方法，其特征在于，所述方法包括：
由一个或多个处理器对流图进行划分，所述一个或多个处理器被配置为：
读取所述流图的未划分区域中含预设边数的边流作为子图；基于第一预划分模型将所述子图的边预划分到至少两个划分块中作为博弈过程的初始状态；通过所述博弈过程序贯地为所述子图的每条边选择其最优划分块直至所述博弈过程收敛；
所述博弈过程包括：
将所有划分块构成的集合视为策略选择的集合，
博弈过程中的每一轮，进行策略选择的当前边依据当前划分结果中其他边的划分情况并根据预设的代价函数计算出其本轮最优的策略选择，
在当前边不处于最优的策略选择对应的最优划分块之时，将所述当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据并在所述子图的所有边进行策略选择后以最新的当前划分结果再次执行博弈过程。
2.如权利要求1所述的方法，其特征在于，所述博弈过程还包括：
在博弈过程的一轮中，在所有边都没有发生迁移的情况下，则此次博弈过程收敛，所述子图的划分完成并将本轮博弈过程所依据的当前划分结果作为最终划分结果。
3.如权利要求2所述的方法，其特征在于，所述将所述当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据的处理包括：当前边的策略选择依赖于更新的当前划分结果中除去当前边之外的其他所有边的划分情况。
4.如权利要求1至3之一所述的方法，其特征在于，所述预设的代价函数为：
记pmin＝argmini∈[1,k]c(e(u,v),pi)是取得最小代价函数值的最优划分块，当边e(u,v)所在的划分块不是其最优划分块之时，则将边e(u,v)从其所在的划分块迁移到其最优划分块；
其中，e(u,v)表示连接顶点u和顶点v的边，pi表示编号为i的划分块，，i∈[1,k]，k是划分块的数量，k≥2且为整数，α表示负载均衡度量和平均备份数度量的相对重要性，α∈(0,1)，β表示度量均一化参数，l(pi)表示划分块pi中边的数目，d(pi,u)表示顶点u在划分块pi中的度数，d(pi,v)表示顶点v在划分块pi中的度数。
5.如权利要求4所述的方法，其特征在于，所述度量均一化参数 其中，|M|是所述子图的顶点数量，|E|是所述子图的边数量。
6.如权利要求1至3之一所述的方法，其特征在于，所述第一预划分模型基于随机划分规则，轮流为所述子图的边生成一个随机数R，并将该边划分到与该随机数对应编号的划分块pR中，
其中，R∈[1,k]且为整数，k是划分块的数量，k≥2且为整数。
7.如权利要求6所述的方法，其特征在于，所述一个或多个处理器还被配置为：
获取若干子图和各子图的最终划分结果作为训练集；
使用所述训练集用于训练第二预划分模型；
在训练次数超过预设次数之后，使用所述第二预划分模型代替所述第一预划分模型对所述待划分的子图进行预划分。
8.如权利要求1至3之一所述的方法，其特征在于，所述读取所述流图的未划分区域中含预设边数的边流作为子图的步骤是基于流处理模型进行的。
9.一种基于博弈的流图划分系统，其特征在于，所述系统包括：一个或多个处理器；
所述一个或多个处理器被配置为：
读取所述流图的未划分区域中含预设边数的边流作为子图；
基于第一预划分模型将所述子图的边预划分到至少两个划分块中作为博弈过程的初始状态；
通过所述博弈过程序贯地为所述子图的每条边选择其最优划分块直至所述博弈过程收敛；
所述博弈过程包括：
将所有划分块构成的集合视为策略选择的集合，
博弈过程中的每一轮，进行策略选择的当前边依据当前划分结果中其他边的划分情况并根据预设的代价函数计算出其本轮最优的策略选择，
在当前边不处于最优的策略选择对应的最优划分块之时，将所述当前边迁移至其最优划分块且对应更新当前划分结果作为下一条边进行策略选择的依据并在所述子图的所有边进行策略选择后以最新的当前划分结果再次执行博弈过程。
10.如权利要求9所述的系统，其特征在于，所述博弈过程还包括：
在博弈过程的一轮中，在所有边都没有发生迁移的情况下，则此次博弈过程收敛，所述子图的划分完成并将本轮博弈过程所依据的当前划分结果作为最终划分结果。
CN201810108725.0A 2018-02-02 2018-02-02 一种基于博弈的流图划分方法和系统 Active CN108319698B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810108725.0A CN108319698B (zh) 2018-02-02 2018-02-02 一种基于博弈的流图划分方法和系统
US16/237,053 US10643356B2 (en) 2018-02-02 2018-12-31 Method and game-based system for partitioning of streaming graph

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810108725.0A CN108319698B (zh) 2018-02-02 2018-02-02 一种基于博弈的流图划分方法和系统

Publications (2)

Publication Number Publication Date
CN108319698A true CN108319698A (zh) 2018-07-24
CN108319698B CN108319698B (zh) 2021-01-15

Family

ID=62903229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810108725.0A Active CN108319698B (zh) 2018-02-02 2018-02-02 一种基于博弈的流图划分方法和系统

Country Status (2)

Country Link
US (1) US10643356B2 (zh)
CN (1) CN108319698B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377495A (zh) * 2018-09-28 2019-02-22 北京航空航天大学 一种支持增量分割的大规模图分割方法
CN110263937A (zh) * 2019-06-18 2019-09-20 深圳市腾讯网域计算机网络有限公司 一种数据处理方法、设备及存储介质
CN111552649A (zh) * 2020-05-18 2020-08-18 支付宝(杭州)信息技术有限公司 一种分组测试方法及装置
CN111737531A (zh) * 2020-06-12 2020-10-02 深圳计算科学研究院 一种应用驱动的图划分调整方法和系统
CN113515675A (zh) * 2021-07-26 2021-10-19 中国人民解放军国防科技大学 基于图模型的冲突博弈分析可视化方法、装置及设备
WO2021208147A1 (zh) * 2020-04-15 2021-10-21 深圳计算科学研究院 一种有界增量图划分方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211556A (ja) * 2010-03-30 2011-10-20 Nippon Telegr & Teleph Corp <Ntt> 画像生成装置、画像生成方法、及びプログラム
CN103425738A (zh) * 2013-07-03 2013-12-04 西安理工大学 基于模糊合作博弈的网络重叠社区发现方法
CN104392094A (zh) * 2014-10-17 2015-03-04 北京航空航天大学 一种基于浮动车数据的城市道路网络可靠性评价方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532469B1 (en) * 1999-09-20 2003-03-11 Clearforest Corp. Determining trends using text mining
US7590520B2 (en) * 2004-01-15 2009-09-15 Microsoft Corporation Non-deterministic testing
US20130091266A1 (en) * 2011-10-05 2013-04-11 Ajit Bhave System for organizing and fast searching of massive amounts of data
US10152557B2 (en) * 2014-01-31 2018-12-11 Google Llc Efficient similarity ranking for bipartite graphs
US9984109B2 (en) * 2014-03-19 2018-05-29 International Business Machines Corporation Evolution aware clustering of streaming graphs
US10810179B2 (en) * 2015-09-25 2020-10-20 Microsoft Technology Licensing, Llc Distributed graph database
US10437648B2 (en) * 2016-07-22 2019-10-08 Board Of Regents, The University Of Texas System Guided load balancing of graph processing workloads on heterogeneous clusters
US20190354518A1 (en) * 2018-05-01 2019-11-21 Michael Zochowski Chain mesh network for decentralized transaction systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011211556A (ja) * 2010-03-30 2011-10-20 Nippon Telegr & Teleph Corp <Ntt> 画像生成装置、画像生成方法、及びプログラム
CN103425738A (zh) * 2013-07-03 2013-12-04 西安理工大学 基于模糊合作博弈的网络重叠社区发现方法
CN104392094A (zh) * 2014-10-17 2015-03-04 北京航空航天大学 一种基于浮动车数据的城市道路网络可靠性评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王磊等: "一种同时实现算子调度与数据流图划分的高层次综合算法(英文)", 《半导体学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377495A (zh) * 2018-09-28 2019-02-22 北京航空航天大学 一种支持增量分割的大规模图分割方法
CN109377495B (zh) * 2018-09-28 2021-11-12 北京航空航天大学 一种支持增量分割的大规模图分割方法
CN110263937A (zh) * 2019-06-18 2019-09-20 深圳市腾讯网域计算机网络有限公司 一种数据处理方法、设备及存储介质
WO2021208147A1 (zh) * 2020-04-15 2021-10-21 深圳计算科学研究院 一种有界增量图划分方法和系统
CN111552649A (zh) * 2020-05-18 2020-08-18 支付宝(杭州)信息技术有限公司 一种分组测试方法及装置
CN111552649B (zh) * 2020-05-18 2022-02-22 支付宝(杭州)信息技术有限公司 一种分组测试方法及装置
CN111737531A (zh) * 2020-06-12 2020-10-02 深圳计算科学研究院 一种应用驱动的图划分调整方法和系统
CN111737531B (zh) * 2020-06-12 2021-05-28 深圳计算科学研究院 一种应用驱动的图划分调整方法和系统
WO2021248573A1 (zh) * 2020-06-12 2021-12-16 深圳计算科学研究院 一种应用驱动的图划分调整方法和系统
CN113515675A (zh) * 2021-07-26 2021-10-19 中国人民解放军国防科技大学 基于图模型的冲突博弈分析可视化方法、装置及设备
CN113515675B (zh) * 2021-07-26 2023-06-06 中国人民解放军国防科技大学 基于图模型的冲突博弈分析可视化方法、装置及设备

Also Published As

Publication number Publication date
US10643356B2 (en) 2020-05-05
CN108319698B (zh) 2021-01-15
US20190244402A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN108319698A (zh) 一种基于博弈的流图划分方法和系统
Winter et al. Autonomous, independent management of dynamic graphs on GPUs
CN106528287B (zh) 计算机系统资源分配方法和装置
CN105389324A (zh) 用于图形数据的分布式计算的系统和方法
CN108170489A (zh) 一种快速加载资源的方法及装置
CN104239567B (zh) 数据仓库中的维度处理方法和装置
TWI711969B (zh) 用以便利基於模型之系統工程(mbse)系統中工作的變更管理之計算加速器系統、方法及非暫態機器可讀媒體
US9733835B2 (en) Data storage method and storage server
CN106775470B (zh) 一种数据存储的方法及系统
CN113821332B (zh) 自动机器学习系统效能调优方法、装置、设备及介质
CN106202529A (zh) 一种页面渲染方法及装置
Berlińska et al. Comparing load-balancing algorithms for MapReduce under Zipfian data skews
CN108833592A (zh) 云主机调度器优化方法、装置、设备及存储介质
CN108389152B (zh) 一种图结构感知的图处理方法及装置
Sakouhi et al. Dynamicdfep: A distributed edge partitioning approach for large dynamic graphs
CN114220504A (zh) 一种随机分组方法、装置及设备
JP6812826B2 (ja) 格納方法、格納装置及び格納プログラム
CN106202175B (zh) 面向大图分割的分布式动态图管理系统
Vigliotti et al. Energy-efficient virtual machines placement
US8688918B2 (en) Program converting apparatus, program converting method, and medium
KR102209526B1 (ko) 병렬 연산을 통한 단백질-리간드 상호 작용 분석 방법 및 장치
CN109284328B (zh) 一种关系型数据的处理方法、装置、服务器及介质
Xu et al. A distributed inverse distance weighted interpolation algorithm based on the cloud computing platform of Hadoop and its implementation
CN104932990B (zh) 一种高速缓冲存储器中数据块的替换方法和装置
Zheng et al. Path Merging Based Betweenness Centrality Algorithm in Delay Tolerant Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant