CN113255165A - 一种基于动态任务分配的实验方案并行推演系统 - Google Patents

Abstract

本发明提出了一种基于动态任务分配的实验方案并行推演系统，所述系统包括中心服务器和计算节点集群，所述中心服务器根据计算节点的负载均衡状态，以及经计算得到的任务与计算节点之间的匹配度，动态地为计算节点分配任务；所述计算节点集群包括多个计算节点，每个计算节点接收中心服务器通过第一通信模块发送的仿真控制指令并实施该指令，以及收集计算节点的状态信息，反馈给中心服务器。本发明改进了任务分配算法，根据负载均衡参数及相关参数之间的关系，以及任务和计算节点的匹配度来动态地分配任务，不仅减少了任务的总执行时间，也使得资源之间达到负载均衡。

Description

一种基于动态任务分配的实验方案并行推演系统

技术领域

本发明属于仿真实验方案推演管控技术领域，具体涉及一种在实验方案并行推演系统中进行动态任务分配的方法。

背景技术

仿真方法是科学研究的重要方法，计算机科学家、物理科学家、电路设计者、数学家、军队，甚至游戏开发者都极大地依赖仿真技术。计算机仿真对于难以用解析方法进行计算的许多物理系统模型来说是非常关键的。通常，对如数字化部队作战、核爆炸等系统进行物理实验由于其危险性或者过于昂贵而变得不可行。有时，有些实验本身就不可能实现，如天气预报、天体物理“实验”，要对这些现象进行物理实验研究只好把全球或整个星系作为一个实验室。在充满竞争的商业环境中，计算机仿真还被用来作为商业决策的支持手段，使用各种参数进行廉价而安全的尝试和验证试验。

一种克服与计算机资源限制相关的仿真问题的可行方法是使用包含多个处理器并行工作的计算机系统来运行仿真。使用不同的参数运行同一仿真模型的时候使用多处理器是相当直接的。但是，更多的情形是实际系统中包含并行操作的不同部件，如计算机网络中的各个路由器、航空仿真中的各个飞行器等。很明显，这些系统包含内在的并行性可以在多处理器环境中得到有效发挥。这种类型的并行仿真的共同特点是要进行模型的分解，从而形成了一个专门的研究领域——并行仿真。

并行仿真软件平台是控制和管理计算机系统的硬件和软件资源，合理地组织计算机工作流程以及方便用户的程序集合。在并行仿真系统中，事件具有并发性，因此在系统运行过程中，就会出现多个程序向同一资源提出申请，或是某一资源长时间空闲等情况，这些都是系统所不愿意遇到的，然而恰恰又是经常出现的情况。并行仿真平台就是为了在多个处理器、多个计算节点以及其他资源之间进行仿真任务的协调，保证系统可以正常有序的进行并行处理。

并行仿真内核的主要功能是对并行仿真任务进行调度和划分，根据任务的特点和仿真目标选择合适的仿真同步策略，这是并行仿真系统在实现过程中最为重要的环节，也是对仿真系统的性能有重大影响的关键因素。并行仿真任务的分配可以采用随机分配和算法分配，随机分配的方式是将仿真任务交给操作系统，由它在执行过程中根据处理器的运行状态进行分配。这种方式虽然简单，但对于复杂系统而言，效果却不是很好，因此绝大部分的并行仿真系统中都是采用算法分配方式。

在分布式仿真框架中，框架是否能高效率地分配资源和任务，取决于框架中所采用的任务分配算法。任务分配算法的核心内容就是如何高效率地分配异构的、处理速度不尽相同的资源，来满足不同需求、不同优先级、要求也不尽相同的任务，提高资源分配和任务调度的效率来满足仿真任务。仿真系统不仅要使任务的总执行时间尽可能减少，而且要考虑仿真中资源间负载均衡问题。

发明内容

鉴于上述的分析，本发明旨在提供一种在实验方案并行推演系统中进行

动态任务分配的方法，以提高资源分配和任务调度的效率。

本发明提出了一种在实验方案并行推演系统中进行动态任务分配的方法，所述系统包括中心服务器和计算节点集群；

所述中心服务器，包括任务管理模块、计算节点集群管理模块、显示模块和第一通信模块，其中：

所述任务管理模块，根据计算节点的负载均衡状态，以及经计算得到的任务与计算节点之间的匹配度，动态地为计算节点分配任务；

所述计算机集群管理模块用于管理计算节点集群中的多个计算节点；

所述显示模块提供用户交互界面，对数据进行可视化显示；

所述计算节点集群包括多个计算节点，每个计算节点包括管控模块、存储模块和第二通信模块，其中：

所述管控模块，接收中心服务器通过第一通信模块发送的仿真控制指令并实施该指令；以及，收集计算节点的状态信息，经由第二通信模块发送给第一通信模块，并最终反馈给中心服务器；

所述存储模块用于存储所述计算节点与数据库之间传送的数据；

所述中心服务器通过第一通信模块向所述计算机节点集群的第二通信模块发出指令、传递消息和数据。

本发明的有益效果是：

本发明的实验方案并行推演系统采用了分布式仿真框架，在分配资源和任务时，改进了任务分配算法，根据负载均衡参数LB及相关参数之间的关系，以及任务和计算节点的匹配度来动态地分配任务，不仅减少了任务的总执行时间，也让资源之间达到了负载均衡。

附图说明

图1是本发明的实验方案并行推演系统的系统部署图；

图2是本发明的实验方案并行推演系统的用例图；

图3是本发明的实验方案并行推演系统的功能模块图；

图4是本发明中改进的动态任务调度算法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种在实验方案并行推演系统中进行动态任务分配的方法，所述系统包括中心服务器和计算节点集群，图1显示了实验方案并行推演系统的系统部署图，部署环境描述了软硬件的映射关系，在本系统中的部署中，在中心服务器上安装管控系统的主程序，在每个计算节点上都安装管控系统的子程序即客户端，存储服务器上安装MySQL数据库软件。中心服务器通过网络与计算节点集群和存储服务器连接，计算节点集群通过网络与存储服务器连接。

图2显示了本发明的实验方案并行推演系统的用例图。图3是本发明的实验方案并行推演系统的功能模块图。

1. 中心服务器

中心服务器包括任务管理模块、计算节点集群管理模块、显示模块和第一通信模块，其中：

所述任务管理模块，根据计算节点的负载均衡状态，以及经计算得到的任务与计算节点之间的匹配度，动态地为计算节点分配任务；

所述计算机集群管理模块用于管理计算节点集群中的多个计算节点；

所述显示模块提供用户交互界面，对数据进行可视化显示。

1.1 显示模块

显示模块即软件的UI界面，分为工具栏区、导航栏、主显示栏和日志栏。

工具栏区包括一些常见文件、编辑、查看等，还有仿真的启动、暂停、停止按钮；主显示栏包括概况、任务、集群这三个标签页，点击相应标签进入页面，后面详细对每个标签页的内容进行说明；日志栏会将进行过的一些操作命令和正在执行的任务等信息打印出来。概况标签页包括的内容有任务名称、实验方案概况、集群概况。点击载入方案按钮，就会弹出实验方案选择对话框，对话框中详细列出了所有实验方案及其参数。实验方案概况包括实验方案总数，已完成、计算中、未开始的实验方案数量。任务详情页的最上方也列出了任务的概况信息，下面逐一列出每个方案的状态、参数、计算结果等。集群详情页的最上方列出了集群的概况信息，下面逐一列出每个计算节点的名称、状态、CPU和内存使用情况等。

1.2 任务管理模块

任务管理模块，针对选定的实验方案生成任务列表，根据计算节点的负载均衡状态，以及经计算得到的任务与计算节点之间的匹配度，动态地为计算节点分配任务。

在分布式仿真框架中，框架是否能高效率地分配资源和任务，取决于框架中所采用的任务分配算法。任务分配算法的核心内容就是如何高效率地分配异构的、处理速度不尽相同的资源，来满足不同需求、不同优先级、要求也不尽相同的任务，提高资源分配和任务调度的效率来满足仿真任务。仿真系统不仅要使任务的总执行时间尽可能减少，而且要考虑仿真中资源间负载均衡问题。

1.2.1 处理器负载平衡原则

除了少数的随机分配和在处理器之间平均分配仿真任务外，大多数的仿真任务分配算法都遵循一个原则——处理器负载平衡原则。这里的处理器负载平衡包含两个含义：

（1）单个处理器的有效工作时间平衡。在并行仿真中，处理器的工作时间分为两个部分，计算时间和通讯时间。计算时间是指处理器执行仿真程序的时间；通讯时间是指操作系统将消息进行打包处理放到硬件上以及数据传输的时间。提高计算时间与通讯时间的比例有利于提高并行仿真系统的性能。

（2）各处理器的工作量负载平衡。如果在并行仿真系统中各处理器之间的任务分配不平衡，有的处理器由于负载较轻、运行速度较快，它就会越来越多地处理将来事件，而负载重的处理器因为很多的计算和通讯负担，落后的差距越来越大，很容易就会导致因果错误，严重影响仿真系统的性能。

1.2.2 基于匹配度的负载均衡任务分配算法

目前己有的针对仿真调度算法的研究有许多，主要有先来先服务算法、神经网络算法、遗传算法、Min-min算法和Max-min算法。本发明在Min-min算法和Max-min算法的基础上，吸取二者的优点，提出了改进的任务分配算法。在考虑到任务本身的大小、任务优先级和不同处理速度的机器等众多影响因素的情况下，为机器和任务的良性分配提供依据因子，定义了机器任务的匹配度公式。匹配度公式是在综合资源处理能力、处理速度、任务大小、任务优先级等因素的状态下，量化的资源任务良性匹配参数，与系统负载均衡参数共同作用，把控系统的运行状态，来决定资源和任务的分配，达到负载均衡的目的。

Min-min算法：

算法思想是首先映射小的任务，并且映射到执行快的机器上。

执行过程为：计算要参与映射事件的每个任务在各个机器上的期望完成时间，找到每个任务的最早完成时间及其对应的机器；从中找出具有最小最早完成时间的任务，将该任务指派给获得它的机器；指派完成后，更新机器期望完成时间并将已完成映射的任务从任务集合中删除。

Max-min算法：

计算每个任务在任一可用机器上的最早完成时间，首先调度大任务，任务到资源的映射是选择最早完成时间最大的任务映射到所对应机器上。

（1）匹配度的定义

资源和任务的匹配度是指结合任务本身的大小、任务优先级和不同处理速度的资源等众多因素，在同等情况下，使任务和机器间能够均衡地高效率匹配，从而量化的任务和机器间的匹配程度，记为MR。

匹配度计算的实现过程：首先，依据任务本身的大小和不同处理速度的机器等众多因素，得到任务的预测完成时间，遍历取得任务的最短预测完成时间PT，然后将任务优先级Pr条件，融入到任务的最短预测完成时间PT中，依据匹配度计算公式，得到了机器和任务的匹配度。任务属性参数PT是根据任务的大小和机器的处理器速度等因素来确定的；而任务属性参数Pr的取值假设为三个指标，分别代表优先级高、优先级中等和优先级低，对应取值为0.8、1和1.5。任务i和节点j的匹配度为：MR[i][j]= PT[i][j]*Pr[i]，其中，MR[i][j]表示任务i和计算节点j的匹配度，PT[i][j]表示任务i在节点j上的最短预测完成时间，Pr[i]表示任务i的任务优先级。

（2）负载均衡参数的定义

如何在保证了最短完成时间基础上，更高效率地使用系统中可用资源，使得高性能资源和低性能资源都得到充分利用，而不会出现高性能资源过度使用，造成资源性能下降，而低性能资源很少使用，造成资源浪费，使得资源整体性能下降，而影响仿真系统效率的情况，是一个值得深究的问题。

为了能充分利用性能不同的机器，使得既考虑任务执行的时间要求，又考虑到对所有资源的充分利用，达到负载均衡状态，动态地调度Min-min算法和Max-min算法，引入了负载均衡参数，简称LB。在网络环境中，任务ｉ和可用资源ｊ，设任一台可用资源机器的期望完成时间t_ij，所有机器资源中最大期望完成时间t_max，最小期望完成时间t_min，定义变量LB表示系统中机器资源之间的负载均衡参数，LB = t_min/t_max。当t_min=t_max=0时，表示当前网络环境所有及其资源都处于空闲状态，等待资源和任务的分配，也即当LB=0时，表示当前环境存在处于空闲状态的机器；当LB=1时，表示当前环境中资源任务分配处于一种动态均衡状态。

在改进算法中，为了能够动态地调用两种经典算法，对负载均衡参数LB设定了两个参数界限LBL和LBH。程序运行时，初始化LB=1，首先调用Min-min算法，当变量LB下降到LBL时，调用Max-min算法；当变量LB上升到LBH时，调用Min-min算法；如此动态地调度两种不同的算法，直到所有未被映射的任务都运行完成。其中，LBL和LBH根据可用资源的数量和任务量来决定，LBH保障了系统中最少可用的机器资源，而LBL确保了系统中可用机器资源都能得到充分利用，避免了单一的Min-min算法造成性能优越的机器资源过多承担任务，从而导致负载不均衡的问题。

（3）改进的负载均衡算法描述

在上述相关计算公式和参数基础上，改进的负载均衡算法在不影响Min-min调度算法最短完成时间的前提下，为降低由原始算法引发的资源机器负载不均衡问题，结合Max-min调度算法，且考虑到任务本身优先级要求、任务大小、机器运行速度等因素而提出了改进。根据定义的匹配度MR[i][j]和负载均衡参数LB，结合不同时期系统负载状态，动态地分配资源和任务。

改进的负载均衡调度算法步骤如图3所示：

（a）设置两个负载均衡参数界限参数LBL和LBH，设置计算节点的期望完成时间t、最大期望完成时间t_max和最小期望完成时间t_min，所述负载均衡参数LB的取值为：LB=t_min/t_max，其初始值为1。

（b）对于在的可用计算节点，依据任务本身的大小、任务优先级Pr条件和计算节点的处理速度，获取任务的最短预测完成时间PT。定实例化任务优先级Pr，设任务属性参数Pr的取值分为高、中、低三级，分别对应真值1、2和3；依据匹配度定义公式：MR[i][j]=PT[i][j]*Pr[i]，计算所有任务在不同计算节点上的匹配度。计算在最短预测完成时间内任务和相应资源的匹配度。

（c）动态任务分配

当LB＜LBL时，调用Max-min算法，当LB＞LBH时，调用Min-min算法，通过计算未被分配的任务和可用计算节点的匹配度来实现任务与计算节点的映射。LBL和LBH可根据可用计算节点的数量和任务的数量来决定，LBH确保了系统中最少可用的资源的个数，LBL确保了系统中可用资源的充分利用。

具体流程如图4所示。

S1.首先调用Min-min算法，通过计算未被分配的任务和可用计算节点的匹配度来实现任务与计算节点的映射；

S2.更新计算节点的期望完成时间和负载均衡参数LB，以及计算任务与计算节点的匹配度；

S3.判断未被映射的任务集合是否为空，若是，则分配结束；若否，则判断负载均衡参数LB的值，若LB≤LBL，则执行步骤S4，否则执行步骤S1；

S4.调用Max-min算法，通过计算未被分配的任务和可用计算节点的匹配度来实现任务与计算节点的映射，返回步骤S2。

若在仿真过程中，某个计算节点发生故障，则将对应机器的PT设为无穷大，那么根上述任务动态分配算法，故障的计算节点不会再接到任务分配。将其上正在计算中的任务的状态重置为未完成，那么分配算法会将这个任务重新分配给其他的节点进行计算。

1.3 计算节点集群管理模块

计算节点集群管理模块用于管理计算节点集群中的多个计算节点。

2、计算节点集群

所述计算节点集群包括多个计算节点，每个计算节点包括管控模块、存储模块和第二通信模块，其中：

所述管控模块，接收中心服务器通过第一通信模块发送的仿真控制指令并实施该指令；以及，收集计算节点的状态信息，经由第二通信模块发送给第一通信模块，并最终反馈给中心服务器；

所述存储模块用于存储所述计算节点与数据库之间传送的数据；

所述中心服务器通过第一通信模块向所述计算机节点集群的第二通信模块发出指令、传递消息和数据。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于动态任务分配的实验方案并行推演系统，所述系统包括中心服务器和计算节点集群，其特征在于：

所述中心服务器包括任务管理模块、计算节点集群管理模块、显示模块和第一通信模块，其中：

所述任务管理模块，针对选定的实验方案生成任务列表，根据计算节点的负载均衡状态，以及经计算得到的任务与计算节点之间的匹配度，动态地为计算节点分配任务；

所述计算节点集群管理模块用于管理计算节点集群中的多个计算节点；

所述显示模块提供用户交互界面，对数据进行可视化显示；

所述计算节点集群包括多个计算节点，每个计算节点包括管控模块、存储模块和第二通信模块，其中：

所述管控模块，接收中心服务器通过第一通信模块发送的仿真控制指令并实施该指令；以及，收集计算节点的状态信息，经由第二通信模块发送给第一通信模块，并最终反馈给中心服务器；

所述存储模块用于存储在所述计算节点与数据库之间传送的数据；

所述中心服务器通过第一通信模块向所述计算机节点集群的第二通信模块发出指令、传递消息和数据。

2.根据权利要求1所述的系统，其特征在于，在所述任务管理模块中，所述动态地为计算节点分配任务，包括：

设置负载均衡参数及其相关参数，所述负载均衡参数用以表示当前环境中的负载均衡状态；

根据匹配度公式计算任务和计算节点的匹配度；

根据负载均衡参数及相关参数之间的关系，以及任务和计算节点的匹配度来动态地分配任务。

3.根据权利要求2所述的系统，其特征在于，所述设置负载均衡参数及其相关参数，包括：

设置负载均衡参数LB以及负载均衡参数下限参数LBL，对所有任务，设置计算节点的期望完成时间t、最大期望完成时间t_max和最小期望完成时间t_min，所述负载均衡参数LB的取值为：LB = t_min/t_max，其初始值为1。

4.根据权利要求3所述的系统，其特征在于：

当LB=0时，表示当前环境存在处于空闲状态的机器；当LB=1时，表示当前环境中资源任务分配处于均衡状态。

5.根据权利要求2所述的系统，其特征在于，所述根据匹配度公式计算任务和计算节点的匹配度，包括：

对于未映射任务集的可用计算节点，依据任务本身的大小、任务优先级Pr条件和计算节点的性能，获取任务的最短预测完成时间PT。

6.根据权利要求5所述的系统，其特征在于，所述根据匹配度函数公式计算任务和计算节点的匹配度，还包括：

实例化任务优先级Pr，计算任务和计算节点的匹配度。

7.根据权利要求6所述的系统，其特征在于，所述所述实例化任务优先级Pr，包括：

设任务属性参数Pr的取值分为高、中、低三级，取值分别为0.8、1和1.5。

8.根据权利要求6所述的系统，其特征在于，所述计算任务和计算节点的匹配度，包括：

依据匹配度公式，得到任务i和计算节点j的匹配度，所述匹配度公式为：MR[i][j]=PT[i][j]*Pr[i]，其中，MR[i][j]表示任务i和计算节点j的匹配度，PT[i][j]表示任务i在节点j上的最短预测完成时间，Pr[i]表示任务i的任务优先级。

9.根据权利要求3所述的系统，其特征在于：

根据负载均衡参数LB、参数界限和负载平衡走势的关系，以及任务和计算节点的匹配度，循环动态地调用Max-min算法和Min-min算法来分配任务，直到所有未被映射的任务都运行完成。

10.根据权利要求9所述的系统，其特征在于，所述循环动态地调用Max-min算法和Min-min算法来分配任务，包括：

S1.首先调用Min-min算法，通过计算未被分配的任务和可用计算节点的匹配度来实现任务与计算节点的映射；

S2.更新计算节点的期望完成时间和负载均衡参数LB，以及计算任务与计算节点的匹配度；

S3.判断未被映射的任务集合是否为空，若是，则分配结束；若否，则判断负载均衡参数LB的值，若LB≤LBL，则执行步骤S4，否则执行步骤S1；

S4.调用Max-min算法，通过计算未被分配的任务和可用计算节点的匹配度来实现任务与计算节点的映射，返回步骤S2。

Images