CN111158900A - 轻量化分布式并行计算系统及方法 - Google Patents

Abstract

本发明公开了一种轻量化分布式并行计算系统及方法，系统包括异构计算节点模块，该模块包括多个相互通信的主机计算节点，其中两个计算节点上分别部署资源管理模块、分布式计算程序APP软件模块；还包括算法模块。方法包括：APP软件模块将待处理数据转换为分布式数据集，并对分布式数据集和算法模块分别进行划分，获得若干组分布式子数据集和处理数据算子，并将划分结果部署至若干可用的计算节点上，每个处理数据算子对其对应的分布式子数据集进行计算，所有计算结果经APP软件模块整合后输出最终的分布式并行计算结果。本发明利用空间分散的异构计算节点对规模化数据进行协同计算处理，在有限信息资源前提下可大幅度提升分布数据协同处理的综合效能。

Description

轻量化分布式并行计算系统及方法

技术领域

本发明属于轻量化计算机数据协同处理领域，特别涉及一种轻量化分布式并行计算系统及方法。

背景技术

无人机载、无人车载等任务系统隶属于任务密集型装备，它们组成的群体在一些复杂的协同作业环境中，通常具备以下特点。

1)信息资源天然的分散特性。个体都拥有或多或少的计算、网络、存储、IO等设备资源，在协同作业中，群体通常会散布于空间的不同位置，以获得最优的作业效能。

2)个体节点信息资源的性能相对有限。受制于空间体积、散热/续航、性能、标准化等因素，个体通常仅能配备有限数量的核心共享资源(计算、网络、存储、IO等资源)。

3)群体成员智能化协作需求。随着传感器数量的不断增加和精度的不断提升，需要先进的人工智能技术机制，对大量感知信息进行过滤、检测、判定，实现高效的自主或半自主的自主避障、辅助决策，有效提升群体整体作业效能。

4)任务应用多样化。在群体协同作业过程中，信息系统需要承载越来越多的数据采集、信息处理、实时控制等多类差异较大任务应用，包括计算密集、时间关键、安全关键等多种任务类型。

鉴无人机和无人车的续航能力有限、载荷能力有限、空间体积有限等特点，需要具备集成化程度高、软件结构复杂、外部协作需求强烈、自主智能性要求高、任务包(任务载荷及相应处理软件)无缝复用等特性。目前，无人机载、无人车载任务系统，存在计算能力有限、扩展能力有限、处理并行度低等问题。为提升无人机载、无人车载任务系统计算能力、扩展能力、处理并行度，目前有2种常用的解决方案。

一种解决方案是无人机载、无人车载任务系统上配备多个主机节点，再安装部署Hadoop或Spark分布式数据处理框架软件，实现多主机节点的分布式协同计算功能，能够在一定程度上提升无人机载、无人车载任务系统存在的计算能力、扩展能力、处理并行度等问题。但是，由于Hadoop和Spark对基础硬件设施要求较高，很难同时满足无人机载、无人车载任务系统续航能力有限、空间体积有限的问题。

另一种解决方案是利用远程云计算中心超强的计算能力，为无人机载、无人车载任务系统提供在线服务，能够很大程度上保障无人机载、无人车载任务系统存在的计算能力、扩展能力、处理并行度等问题。但是，通过云计算中心获取在线服务需要稳定可靠的网络连接，当由于距离、障碍物、特殊要求等因素导致网络不稳定甚至网络不可用时，这种过度依赖云计算中心的方式，可能导致无人机载、无人车载任务系统无法正常作业。

发明内容

本发明的目的在于提供一种轻量化分布式并行计算系统及方法，旨在用于解决现有的分布式数据处理框架对基础硬件设施要求高、过度依赖云计算中心的问题。

实现本发明目的的技术解决方案为：一种轻量化分布式并行计算系统，所述系统包括异构计算节点模块，该模块包括N个相互通信的主机计算节点，其中一个主机计算节点A上部署资源管理模块，其中一个主机计算节点B上部署分布式计算程序APP软件模块；还包括处理分布式并行计算任务的分布式计算程序APP软件模块对应的算法模块；

所述资源管理模块，用于动态采集所述异构计算节点模块的状态信息，形成分布式并行计算资源池；还用于根据所述分布式计算程序APP软件模块申请的处理所述分布式并行计算任务所需的计算资源，通知所述分布式并行计算资源池中若干可用的主机计算节点启动相应的worker进程，并将这些worker进程注册到所述分布式计算程序APP 软件模块；其中，所述可用的主机计算节点启动worker进程是指可用的主机计算节点启动分布式计算程序APP软件模块对应的计算进程；

所述分布式计算程序APP软件模块，用于根据所有注册worker进程对应的主机计算节点的状态信息，将待处理数据转换为分布式数据集，并对所述分布式数据集和算法模块分别进行划分，获得若干组分布式子数据集和处理数据算子，且将若干组分布式子数据集和处理数据算子部署至所述若干可用的主机计算节点上，由处理数据算子对其所在主机计算节点上的分布式子数据集进行计算处理；还用于对所有处理数据算子计算的结果进行整合，输出最终的分布式并行计算结果；其中，所述分布式数据集是指分布式计算程序APP软件模块能够处理的格式化数据集。

进一步地，所述N个相互通信的主机计算节点具体是通过网络互联设备通信。

进一步地，所述主机计算节点中的计算处理单元包括CPU处理单元和或GPU处理单元和或FPGA处理单元。

进一步地，所述CPU处理单元与GPU处理单元、CPU处理单元与FPGA处理单元之间均通过高速PCIE方式连接。

进一步地，所述异构计算节点模块的状态信息包括各主机计算节点上CPU处理单元和或GPU处理单元和或FPGA处理单元的使用率，以及各主机计算节点内存使用率、网络速度。

进一步地，所述资源管理模块具体通过网络动态采集所述异构计算节点模块的状态信息，所述网络为各主机计算节点IPMI端口通过以太网交换机连接在一起形成的局域网。

进一步地，所述将worker进程注册到所述分布式计算程序APP软件模块，具体是指worker进程通过网络向分布式计算程序APP软件模块发送注册消息。

进一步地，所述分布式计算程序APP软件模块为用户根据自身业务需求，按照分布式并行计算提供的编程接口设计开发的应用程序。

进一步地，所述分布式数据集为满足以下三个条件的待处理数据集合：

(1)不可变：是指数据只可读不可写；

(2)可分区：是指数据集可拆分为若干个子数据集；

(3)可并行操作：是指多个主机计算节点上处理数据算子分别对分布式子数据集进行同步计算处理并整合后的最终结果，与一个主机计算节点对分布式数据集进行独立计算的结果保持一致。

一种轻量化分布式并行计算方法，包括以下步骤：

步骤1，资源管理模块通过网络动态采集异构计算节点模块的状态信息，形成分布式并行计算资源池；

步骤2，分布式计算程序APP软件模块向资源管理模块申请处理分布式并行计算任务所需的计算资源，资源管理模块根据分布式并行计算资源池中可用的计算节点资源，通知若干可用的主机计算节点启动相应的worker进程；

步骤3，将启动的worker进程注册到分布式计算程序APP软件模块；

步骤4，分布式计算程序APP软件模块根据所有注册worker进程对应的主机计算节点的状态信息，将待处理数据转换为分布式数据集，并对所述分布式数据集和处理分布式并行计算任务的算法模块分别进行划分，获得若干组分布式子数据集和处理数据算子，且将若干组分布式子数据集和处理数据算子部署至所述若干可用的主机计算节点上，即将各组处理数据算子和分布式子数据集发送到各可用的主机计算节点的worker 进程；

步骤5，各可用的主机计算节点worker进程利用处理数据算子对相应的分布式子数据集进行计算处理，并将计算结果返回至分布式计算程序APP软件模块；

步骤6，分布式计算程序APP软件模块对所有计算结果进行整合，获得最终计算结果；

步骤7，判断所述最终计算结果是否满足预设目标，若是，则完成分布式并行计算任务，反之返回步骤2继续计算。

本发明与现有技术相比，其显著优点为：利用空间分散的异构主机计算节点对规模化数据进行协同计算处理，具备支持CPU/GPU/FPGA等多种类型处理单元、支持分布式数据集、支持C++编程接口、支持分布式部署等功能或特点，从而具有开放式、资源统一管理、倍增计算性能、开发容易、可扩展性强、维护简单等优点，在有限信息资源前提下可以大幅度提升分布数据协同处理的综合效能。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明一个实施例中轻量化分布式并行计算系统软件模块部署图。

图2为本发明一个实施例中轻量化分布式并行计算系统主机计算节点的计算处理单元组成框图。

图3为本发明一个实施例中轻量化分布式并行计算系统主机计算节点的计算处理单元组成框图。

图4为本发明一个实施例中轻量化分布式并行计算系统主机计算节点的计算处理单元组成框图。

图5为本发明一个实施例中图2对应的轻量化分布式并行计算系统的组成框图。

图6为本发明一个实施例中图3对应的轻量化分布式并行计算系统的组成框图。

图7为本发明一个实施例中图4对应的轻量化分布式并行计算系统的组成框图。

图8为本发明一个实施例中轻量化分布式并行计算方法的流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1，提供了一种轻量化分布式并行计算系统，该系统包括异构计算节点模块，该模块包括N个相互通信的主机计算节点，其中一个主机计算节点 A上部署资源管理模块7，其中一个主机计算节点B上部署分布式计算程序APP软件模块10；还包括处理分布式并行计算任务的分布式计算程序APP软件模块10对应的算法模块；

资源管理模块7，用于动态采集异构计算节点模块的状态信息，形成分布式并行计算资源池；还用于根据分布式计算程序APP软件模块10申请的处理分布式并行计算任务所需的计算资源，通知分布式并行计算资源池中若干可用的主机计算节点启动相应的worker进程，并将这些worker进程注册到分布式计算程序APP软件模块10；其中，可用的主机计算节点启动worker进程是指可用的主机计算节点启动分布式计算程序APP 软件模块10对应的计算进程；

分布式计算程序APP软件模块10，用于根据所有注册worker进程对应的主机计算节点的状态信息，将待处理数据转换为分布式数据集，并对分布式数据集和算法模块分别进行划分，获得若干组分布式子数据集9和处理数据算子8，且将若干组分布式子数据集9和处理数据算子8部署至若干可用的主机计算节点上，由处理数据算子8对其所在主机计算节点上的分布式子数据集9进行计算处理；还用于对所有处理数据算子8计算的结果进行整合，输出最终的分布式并行计算结果；其中，分布式数据集是指分布式计算程序APP软件模块10能够处理的格式化数据集。

进一步地，在其中一个实施例中，结合图1，上述N个相互通信的主机计算节点具体是通过网络互联设备6通信。

进一步地，在其中一个实施例中，上述主机计算节点中的计算处理单元包括CPU处理单元和或GPU处理单元和或FPGA处理单元。

具体示例性地，结合图2，主机计算节点1中的计算处理单元仅包括CPU处理单元2。由此构成的轻量化分布式并行计算系统5如图5所示。

或具体示例性地，结合图3，主机计算节点1中的计算处理单元包括CPU处理单元2、GPU处理单元3。由此构成的轻量化分布式并行计算系统5如图6所示。

或具体示例性地，结合图4，主机计算节点1中的计算处理单元包括CPU处理单元2、GPU处理单元3和FPGA处理单元4。由此构成的轻量化分布式并行计算系统5如图7所示。

进一步地，在其中一个实施例中，CPU处理单元与GPU处理单元、CPU处理单元与FPGA处理单元之间均通过高速PCIE方式连接，并安装对应的驱动和OPENCL运行环境。

进一步地，在其中一个实施例中，上述异构计算节点模块的状态信息包括各主机计算节点上CPU处理单元和或GPU处理单元和或FPGA处理单元的使用率，以及各主机计算节点内存使用率、网络速度等监控状态信息。

进一步地，在其中一个实施例中，上述资源管理模块7具体通过网络动态采集异构计算节点模块的状态信息，其中，网络为各主机计算节点IPMI端口通过以太网交换机连接在一起形成的局域网。

进一步地，在其中一个实施例中，上述将worker进程注册到分布式计算程序APP软件模块10，具体是指worker进程通过网络向分布式计算程序APP软件模块10发送注册消息。

进一步地，在其中一个实施例中，上述分布式计算程序APP软件模块10为用户根据自身业务需求，按照分布式并行计算提供的编程接口(如C++编程接口)设计开发的应用程序。

进一步地，在其中一个实施例中，上述分布式数据集为满足以下三个条件的待处理数据集合：

(1)不可变：是指数据只可读不可写；

(2)可分区：是指数据集可拆分为若干个子数据集；

(3)可并行操作：是指多个主机计算节点上处理数据算子分别对分布式子数据集进行同步计算处理并整合后的最终结果，与一个主机计算节点对分布式数据集进行独立计算的结果保持一致。

基于上述任意一个实施例，在一个实施例中，结合图8，提供了一种轻量化分布式并行计算方法，包括以下步骤：

步骤1，资源管理模块通过网络动态采集异构计算节点模块的状态信息，形成分布式并行计算资源池；

步骤2，分布式计算程序APP软件模块向资源管理模块申请处理分布式并行计算任务所需的计算资源，资源管理模块根据分布式并行计算资源池中可用的计算节点资源，通知若干可用的主机计算节点启动相应的worker进程；

步骤3，将启动的worker进程注册到分布式计算程序APP软件模块；

步骤4，分布式计算程序APP软件模块根据所有注册worker进程对应的主机计算节点的状态信息，将待处理数据转换为分布式数据集，并对分布式数据集和处理分布式并行计算任务的算法模块分别进行划分，获得若干组分布式子数据集和处理数据算子，且将若干组分布式子数据集和处理数据算子部署至若干可用的主机计算节点上，即将各组处理数据算子和分布式子数据集发送到各可用的主机计算节点的worker进程；

步骤5，各可用的主机计算节点worker进程利用处理数据算子对相应的分布式子数据集进行计算处理，并将计算结果返回至分布式计算程序APP软件模块；

步骤6，分布式计算程序APP软件模块对所有计算结果进行整合，获得最终计算结果；

步骤7，判断最终计算结果是否满足预设目标，若是，则完成分布式并行计算任务，反之返回步骤2继续计算。

综上，本发明的系统利用空间分散的异构主机计算节点对规模化数据进行协同计算处理，具备支持CPU/GPU/FPGA等多种类型处理单元、支持分布式数据集、支持C++ 编程接口、支持分布式部署等功能或特点，从而具有开放式、资源统一管理、倍增计算性能、开发容易、可扩展性强、维护简单等优点，在有限信息资源前提下可以大幅度提升分布数据协同处理的综合效能，解决了现有的分布式数据处理框架对基础硬件设施要求高、过度依赖云计算中心的问题。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种轻量化分布式并行计算系统，其特征在于，所述系统包括异构计算节点模块，该模块包括N个相互通信的主机计算节点，其中一个主机计算节点A上部署资源管理模块，其中一个主机计算节点B上部署分布式计算程序APP软件模块；还包括处理分布式并行计算任务的分布式计算程序APP软件模块对应的算法模块；

所述资源管理模块，用于动态采集所述异构计算节点模块的状态信息，形成分布式并行计算资源池；还用于根据所述分布式计算程序APP软件模块申请的处理所述分布式并行计算任务所需的计算资源，通知所述分布式并行计算资源池中若干可用的主机计算节点启动相应的worker进程，并将这些worker进程注册到所述分布式计算程序APP软件模块；其中，所述可用的主机计算节点启动worker进程是指可用的主机计算节点启动分布式计算程序APP软件模块对应的计算进程；

所述分布式计算程序APP软件模块，用于根据所有注册worker进程对应的主机计算节点的状态信息，将待处理数据转换为分布式数据集，并对所述分布式数据集和算法模块分别进行划分，获得若干组分布式子数据集和处理数据算子，且将若干组分布式子数据集和处理数据算子部署至所述若干可用的主机计算节点上，由处理数据算子对其所在主机计算节点上的分布式子数据集进行计算处理；还用于对所有处理数据算子计算的结果进行整合，输出最终的分布式并行计算结果；其中，所述分布式数据集是指分布式计算程序APP软件模块能够处理的格式化数据集。

2.根据权利要求1所述的轻量化分布式并行计算系统，其特征在于，所述N个相互通信的主机计算节点具体是通过网络互联设备通信。

3.根据权利要求1所述的轻量化分布式并行计算系统，其特征在于，所述主机计算节点中的计算处理单元包括CPU处理单元和或GPU处理单元和或FPGA处理单元。

4.根据权利要求3所述的轻量化分布式并行计算系统，其特征在于，所述CPU处理单元与GPU处理单元、CPU处理单元与FPGA处理单元之间均通过高速PCIE方式连接。

5.根据权利要求4所述的轻量化分布式并行计算系统，其特征在于，所述异构计算节点模块的状态信息包括各主机计算节点上CPU处理单元和或GPU处理单元和或FPGA处理单元的使用率，以及各主机计算节点内存使用率、网络速度。

6.根据权利要求1或5所述的轻量化分布式并行计算系统，其特征在于，所述资源管理模块具体通过网络动态采集所述异构计算节点模块的状态信息，所述网络为各主机计算节点IPMI端口通过以太网交换机连接在一起形成的局域网。

7.根据权利要求1所述的轻量化分布式并行计算系统，其特征在于，所述将worker进程注册到所述分布式计算程序APP软件模块，具体是指worker进程通过网络向分布式计算程序APP软件模块发送注册消息。

8.根据权利要求1所述的轻量化分布式并行计算系统，其特征在于，所述分布式计算程序APP软件模块为用户根据自身业务需求，按照分布式并行计算提供的编程接口设计开发的应用程序。

9.根据权利要求1所述的轻量化分布式并行计算系统，其特征在于，所述分布式数据集为满足以下三个条件的待处理数据集合：

(1)不可变：是指数据只可读不可写；

(2)可分区：是指数据集可拆分为若干个子数据集；

(3)可并行操作：是指多个主机计算节点上处理数据算子分别对分布式子数据集进行同步计算处理并整合后的最终结果，与一个主机计算节点对分布式数据集进行独立计算的结果保持一致。

10.基于权利要求1至9任意一项所述的轻量化分布式并行计算系统的计算方法，其特征在于，包括以下步骤：

步骤1，资源管理模块通过网络动态采集异构计算节点模块的状态信息，形成分布式并行计算资源池；

步骤2，分布式计算程序APP软件模块向资源管理模块申请处理分布式并行计算任务所需的计算资源，资源管理模块根据分布式并行计算资源池中可用的计算节点资源，通知若干可用的主机计算节点启动相应的worker进程；

步骤3，将启动的worker进程注册到分布式计算程序APP软件模块；

步骤4，分布式计算程序APP软件模块根据所有注册worker进程对应的主机计算节点的状态信息，将待处理数据转换为分布式数据集，并对所述分布式数据集和处理分布式并行计算任务的算法模块分别进行划分，获得若干组分布式子数据集和处理数据算子，且将若干组分布式子数据集和处理数据算子部署至所述若干可用的主机计算节点上，即将各组处理数据算子和分布式子数据集发送到各可用的主机计算节点的worker进程；

步骤5，各可用的主机计算节点worker进程利用处理数据算子对相应的分布式子数据集进行计算处理，并将计算结果返回至分布式计算程序APP软件模块；

步骤6，分布式计算程序APP软件模块对所有计算结果进行整合，获得最终计算结果；

步骤7，判断所述最终计算结果是否满足预设目标，若是，则完成分布式并行计算任务，反之返回步骤2继续计算。

Images