CN111813542B - 一种并行处理大规模图分析任务的负载均衡方法及其装置 - Google Patents

Abstract

本发明涉及一种处理大图分析任务的负载均衡方法及装置，方法包括根据大规模图分析的需求，在N个服务器上部署图分析任务的业务逻辑程序，其中一个服务器作为图任务的协调节点，其余N‑1个服务器作为图分析任务的工作节点，所有工作节点均可以同等地访问基于Neo4j集群的图结构存储系统；每个工作节点建立属于本身的统计信息，统计信息记录了该工作节点的当前状态；每隔一段时间T，协调节点向所有工作节点拉取节点的统计信息，根据公式计算出工作节点i的负载分数L_i；协调节点通过工作节点i的负载分数L_i来决定图分析任务的分配概率，该方法有效地改善由于任务分配不均造成大图分析并行处理服务集群性能降低的问题，提升了系统资源利用率，从而提高系统吞吐率。

Description

一种并行处理大规模图分析任务的负载均衡方法及其装置

技术领域

本发明涉及大数据处理技术领域，尤其是涉及一种并行处理大规模图分析任务的负载均衡方法及其装置。

背景技术

节点和关系构成的节点关系网络在现实社会中的应用十分广泛。例如，网站中的超链接、社交网络用户、手机通信录等，均可当作一个由节点和关系构成的图状结构。随着节点关系网络规模的增大，其异构性、动态性、复杂性等特征都给其分析和研究带来了巨大的挑战。对大规模节点关系网络的分析又称大图分析，如何及时、快速地获取大图结构的拓扑信息，生成清晰稳定的拓扑图，以及如何理解、分析大图结构的整体状况和发现存在于大图拓扑中的潜在规律，是大规模节点关系网络研究的重点和难点内容。

现阶段，图分析广泛应用在刑侦、网络安全、社交网络等多个领域。在图的节点关系结构中，存在很多有价值的结构特征，这些结构特征在一些领域能发挥重大的作用。在刑侦系统中，可以利用社团挖掘算法找出潜在的犯罪嫌疑人，为刑侦提供了便利；在网络安全中，异常检测可以检测节点的异常行为，找到可能被黑客攻击的节点；在社交网络中，通过节点嵌入算法，计算节点的相似度，可以发现用户潜在的喜好，进而实现精准推荐等。

传统的处理大图分析任务是采用单点式服务器，单点式服务器计算具有性能低、交互性弱的缺点。单节点的服务器计算能力无法满足大规模图分析系统的运行负载，单任务的执行方式也无法满足系统使用者的交互需求，所以多服务器并行处理大图分析任务有效改善了系统的执行效率。

在多服务器并行处理大图分析任务中，负载均衡机制是并行处理大图分析任务的难点，它要求协调节点(Coordinator)对工作节点(Worker)的当前服务器负载能力进行评估，并选择较空闲的工作节点安排任务，以此增大系统资源的使用率，提高系统的吞吐率。

发明内容

本发明所要解决的技术问题是提供一种并行处理大规模图分析任务的负载均衡方法，该方法能够在并行处理大图分析任务时，提升系统资源利用率，从而提高系统吞吐率。

本发明所采用的技术方案是，一种处理大图分析任务的负载均衡方法，该方法包括下列步骤：

(1)、根据大规模图分析的需求，在N个服务器上部署图分析任务的业务逻辑程序，其中一个服务器作为图任务的协调节点，其余N-1个服务器作为图分析任务的工作节点，所有工作节点均可以同等地访问基于Neo4j集群的图结构存储系统；

(2)、每个工作节点建立属于本身的统计信息，该统计信息记录了该工作节点的当前状态，统计信息的数据结构为{index_i,data_i}，即表示索引为index_i的统计信息数据，其中i表示第i个工作节点；

(3)、每隔一段时间T，协调节点向所有工作节点拉取节点的统计信息，并根据公式计算出工作节点i的负载分数L_i；

(4)、协调节点通过工作节点i的负载分数L_i来决定图分析任务的分配概率。

作为优先，在步骤(2)中，工作节点统计信息的收集过程包括下列步骤：

(2-1)、各个工作节点的CPU使用率设定为C，CPU使用率可以通过固定时间间隔执行shell脚本来获取，CPU使用率在统计信息中的索引名命名为cpu_rate；

(2-2)、各个工作节点的内存使用率设定为M，内存使用率可以通过固定时间间隔执行shell脚本来获取，内存使用率在统计信息中的索引名命名为memory_rate；

(2-3)、各个工作节点当前执行图分析任务数设定为Q，工作节点通过RPC接收到来自协调节点的任务请求时，会更新图分析任务数，图分析任务数在统计信息中的索引名命名为task_cnt；

(2-4)、各个工作节点正在执行的图分析任务需要处理的图规模，包含两个特征，图的边数Edges和节点数Nodes，在统计信息中的索引名命名为scales，数据结构表示为：{scales:[{edges:number1,nodes:number2},...]}。

作为优先，在步骤(3)中，计算工作节点i的负载分数L_i所根据的公式如下：

该公式包含四部分，即CPU使用率C、内存使用率M、图分析任务数占比/>图分析边数占比图分析节点数占比/>

作为优先，步骤(4)中，根据工作节点i的负载分数L_i，计算图分析任务分配概率，任务分配给工作节点i的概率P_i和工作节点i的负载分数呈反比,，可以表示为：

作为优先，所述的协调节点和工作节点间的通信方式采用RPC方式。

作为优先，步骤(1)中，基于Neo4j集群的图结构存储系统为存储介质，该存储介质包括程序，当所述程序被执行时，上述处理大图分析任务的负载均衡方法被执行。

本发明的有益效果是：提供了一种并行处理大规模图分析任务的负载均衡方法，让大规模图分析协调服务器从包括节点和边数的多个维度分析一个工作节点的负载情况，实时定量计算工作节点当前负载分数，这样就能够有效地改善由于任务分配不均造成大图分析并行处理服务集群性能降低的问题，提升了系统资源利用率，从而提高了系统吞吐率。并且在整个负载均衡的过程中，通信方式使用不断开网络连接的RPC方式，效率极高。

本发明还提供了一种并行处理大规模图分析任务的负载均衡装置，该装置包括：

缓存模块，用于各工作节点i存储统计信息，为协调节点提供负载均衡的数据基础；

RPC模块，协调节点通过远程过程调用的方式来获取工作节点的统计信息，了解工作节点的工作状态。

通过上述并行处理大规模图分析任务的负载均衡装置，能够有效地改善由于任务分配不均造成大图分析并行处理服务集群性能降低的问题，提升了系统资源利用率，从而提高了系统吞吐率。

附图说明

图1为本发明一种并行处理大规模图分析任务的负载均衡方法示意图；

图2为本发明中基于Neo4j集群的图结构存储系统示意图；

图3为本发明中工作节点统计信息字段示意图；

具体实施方式

以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。

本发明涉及一种处理大图分析任务的负载均衡方法，该方法包括下列步骤：

(1)、如图1所示，根据大规模图分析的需求，在N个服务器上部署图分析任务业务逻辑程序，其中一个服务器作为图任务的协调节点，其余N-1个服务器作为图分析任务的工作节点，协调节点通过本发明提出一种处理大图分析任务的负载均衡方法，动态地将图分析任务返发给工作节点，所有工作节点均可以同等地访问如图2所示的基于Neo4j集群的图结构存储系统；

(2)、每个工作节点建立属于本身的统计信息，该统计信息记录了该工作节点的当前状态，统计信息的数据结构为{index_i,data_i}，即表示索引为index_i的统计信息数据，其中i表示工作节点；

(3)、每隔一段时间T，协调节点向所有工作节点拉取节点的统计信息，并根据公式计算出工作节点i的负载分数L_i；

(4)、协调节点通过工作节点i的负载分数L_i来决定图分析任务的分配概率，负载分数越高的节点，分配到图分析任务的概率越低。

在步骤(2)中，工作节点统计信息的收集过程包括下列步骤：

(2-1)、各个工作节点的CPU使用率设定为C，CPU使用率可以通过固定时间间隔执行shell脚本来获取，CPU使用率在统计信息中的索引名命名为cpu_rate；

(2-2)、各个工作节点的内存使用率设定为M，内存使用率可以通过固定时间间隔执行shell脚本来获取，内存使用率在统计信息中的索引名命名为memory_rate；

(2-3)、各个工作节点当前执行图分析任务数设定为Q，工作节点通过RPC接收到来自协调节点的任务请求时，会更新图分析任务数，图分析任务数在统计信息中的索引名命名为task_cnt；

(2-4)、各个工作节点正在执行的图分析任务需要处理的图规模，包含两个特征，图的边数Edges和节点数Nodes，在统计信息中的索引名命名为scales，数据结构表示为：{scales:[{edges:number1,nodes:number2},...]}。

在步骤(3)中，计算工作节点i的负载分数L_i所根据的公式如下：

该公式包含四部分，即第一项为CPU使用率C、第二项为内存使用率M、第三项为图分析任务数占比/>第四项为图分析边数占比/>第五项为图分析节点数占比其中Q_i表示第i个工作节点正在执行的任务数，N表示节点总数(包含协调节点)，第四项中的edges_j表示第i个工作节点上第j个图分析任务处理的边数，此项的分子表示第i个工作节点上所有图分析任务处理的边数和，分母表示所有工作节点上所有任务中处理的边数的和，第五项和第四项类似，表示任务处理的图节点数。

在步骤(4)中，根据工作节点i的负载分数L_i，计算图分析任务分配概率，任务分配给工作节点i的概率P_i和工作节点i的负载分数呈反比,，可以表示为：

所述的协调节点和工作节点间的通信方式采用RPC方式。

在步骤(1)中，基于Neo4j集群的图结构存储系统为存储介质，该存储介质包括程序，当所述程序被执行时，上述处理大图分析任务的负载均衡方法被执行。

本发明还涉及一种并行处理大规模图分析任务的负载均衡装置，该装置包括：

缓存模块，用于各工作节点i存储统计信息，为协调节点提供负载均衡的数据基础；

RPC模块，协调节点通过远程过程调用的方式来获取工作节点的统计信息，了解工作节点的工作状态。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种并行处理大规模图分析任务的负载均衡方法，其特征在于：该方法包括下列步骤：

(1)、根据大规模图分析的需求，在N个服务器上部署图分析任务的业务逻辑程序，其中一个服务器作为图任务的协调节点，其余N-1个服务器作为图分析任务的工作节点，所有工作节点均可以同等地访问基于Neo4j集群的图结构存储系统；

(2)、每个工作节点建立属于本身的统计信息，该统计信息记录了该工作节点的当前状态，统计信息的数据结构表示为{index_i,data_i}，即表示索引为index_i的统计信息数据，其中i表示第i个工作节点；

(3)、每隔一段时间T，协调节点向所有工作节点拉取节点的统计信息，并根据公式计算出工作节点i的负载分数L_i；计算工作节点i的负载分数L_i所根据的公式如下：该公式包含四部分，即CPU使用率C、内存使用率M、图分析任务数占比/>图分析边数占比图分析节点数占比/>

(4)、协调节点通过工作节点i的负载分数L_i来决定图分析任务的分配概率。

2.根据权利要求1所述的一种并行处理大规模图分析任务的负载均衡方法，其特征在于：在步骤(2)中，工作节点统计信息的收集过程包括下列步骤：

(2-1)、各个工作节点的CPU使用率设定为C，CPU使用率可以通过固定时间间隔执行shell脚本来获取，CPU使用率在统计信息中的索引名命名为cpu_rate；

(2-2)、各个工作节点的内存使用率设定为M，内存使用率可以通过固定时间间隔执行shell脚本来获取，内存使用率在统计信息中的索引名命名为memory_rate；

(2-3)、各个工作节点当前执行图分析任务数设定为Q，工作节点通过RPC接收到来自协调节点的任务请求时，会更新图分析任务数，图分析任务数在统计信息中的索引名命名为task_cnt；

(2-4)、各个工作节点正在执行的图分析任务需要处理的图规模，包含两个特征，图的边数Edges和节点数Nodes，在统计信息中的索引名命名为scales，数据结构表示为：{scales:[{edges:number1,nodes:number2},...]}。

3.根据权利要求1所述的一种并行处理大规模图分析任务的负载均衡方法，其特征在于：步骤(4)中，根据工作节点i的负载分数L_i，计算图分析任务分配概率，任务分配给工作节点i的概率P_i和工作节点i的负载分数呈反比，可以表示为：

4.根据权利要求1所述的一种并行处理大规模图分析任务的负载均衡方法，其特征在于：协调节点和工作节点间的通信方式采用RPC方式。

5.根据权利要求1所述的一种并行处理大规模图分析任务的负载均衡方法，其特征在于：步骤(1)中，基于Neo4j集群的图结构存储系统为存储介质，该存储介质包括程序，当所述程序被执行时，上述处理大图分析任务的负载均衡方法被执行。

6.一种用于实施如权利要求1至权利要求5中任意一项所述的并行处理大规模图分析任务的负载均衡方法的装置，其特征在于：该装置包括：

缓存模块，用于各工作节点i存储统计信息，为协调节点提供负载均衡的数据基础；

RPC模块，协调节点通过远程过程调用的方式来获取工作节点的统计信息，了解工作节点的工作状态。