CN113867907A - 一种基于cpu资源在工程领域调度系统及优化算法 - Google Patents

Abstract

本发明公开了一种基于CPU资源在工程领域调度优化算法，其能够根据运算要求灵活分配运算资源；优化方法包括：S100、算力管理模块对接入的CPU分配ID号，并获取每块CPU的最大算力、运算速度信息；在CPU运行的过程中，算力管理模块周期性获取运行中CPU的资源占用状态、任务排队状态；CPU在每次任务运算完成后向算力管理模块反馈，从而使得算力管理模块释放该CPU的算力以进行新的任务指派；S200、操作者通过人机交互模块输入需要运算的任务，任务操作方式采用可视化操作；S300、任务进入运算量预算模块进行运算量预算，并将预算的运算量反馈至调度模块。S400、调度模块根据任务需求以及预算的算力对任务调度CPU进行运算。

Description

一种基于CPU资源在工程领域调度系统及优化算法

技术领域

本发明涉及运算机技术，特别是涉及一种基于CPU资源在工程领域调度优化算法。

背景技术

在工程领域中，需要大量的算力进行运算，目前一般采用将运算任务拆解后分配至不同的CPU上进行运算，通过获得集群运算的效果。一般这些CPU安装在不同的运算机或服务器上，因此如何建立资源池，然后根据需要调用资源池就十分重要。目前此类技术主要有Altair PBS、Slurm，Altair PBS技术能够实现批处理调度，但是无法实现交互式高性能调度，没有优先级调度算法。Slurm属于开源技术，调度算法弱，无交互式与优先级；这两种技术都是国外研发，使用广泛，客户群体广。但是其调度算法，无法满足专业领域使用的性能要求，而且均为国外研发，存在安全隐患。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于CPU资源在工程领域调度系统及优化算法，其能够根据运算要求灵活分配运算资源。

为实现上述目的，本发明提供了一种基于CPU资源在工程领域调度系统，包括：

算力管理模块，用于管理可使用的CPU资源，登记每个CPU的算力、运行状态、任务状态，以为后续的算力分配提供基础；

运算量预算模块，用于为各运算任务预算需要的运算量，从而为后续的算力分配提供基础；

调度模块，用于根据任务要求、需要匹配的算力调用相应的CPU进行运算；

人机交互模块，用于便于操作者进行运算任务的操作；以及将本地对3D模型的交互动作上传至服务器，服务器计算后将运算量反馈回本地，以实现云计算。

本发明还公开了一种基于CPU资源在工程领域调度优化方法，包括：

S100、算力管理模块对接入的CPU分配ID号，并获取每块CPU的最大算力、运算速度信息；在CPU运行的过程中，算力管理模块周期性获取运行中CPU的资源占用状态、任务排队状态；CPU在每次任务运算完成后向算力管理模块反馈，从而使得算力管理模块释放该CPU的算力以进行新的任务指派；

S200、操作者通过人机交互模块输入需要运算的任务，任务操作方式采用可视化操作；

S300、任务进入运算量预算模块进行运算量预算，并将预算的运算量反馈至调度模块。

S400、调度模块根据任务需求以及预算的算力对任务调度CPU进行运算。

进一步地，S300中运算量预算，包括：

S310、根据模型数据量预算，也就是在进行3D图形运算，根据模型数据量的大小预算所需运算量；

S320、根据输入的运算量参数预算，操作者通过人机交互模块直接输入任务所需的运算量参数，运算量预算模块通过运算量参数换算操作者设定的预算运算量；

S330、根据系统经验预算，通过大数据训练算力预算程序，使其可根据当前任务特点与已有运算任务进行比对，找出类似任务并结合此任务所耗算力预算本次算力量；

S340、根据任务运算进度预算所需算力，在运算过程中活动分配算力，运算进度超过预算算力预计的进度时，可降低算力的分配量；运算进度低于预算算力的预计进度时，可增加算力的分配量。

进一步地，S400中调度模块的调度方式包括：

S410、先入先出，也就是在CPU运算量排满后，调度模块根据任务的预算运算量、CPU运算能力继续分配任务，但这些任务根据先后顺序排队，等待CPU逐个运算；

S420、自主识别模型规模与匹配调度，首先根据预算的运算量分配CPU算力，然后在运算过程中，根据算力管理模块反馈的运算进度进行算力活动调节，以实现算力的合理利用与运算时间的动态平衡；

S430、优先级，对任务的紧急程度进行分级，分级标准为预设阈值，而识别对应的分级通过任务分配的优先级参数与分级的预设阈值进行比对以确定优先级级别；对于优先级任务分配至具有排队任务的CPU上时，CPU对当前任务进行暂存，然后立即启运算优先级任务，使得此CPU腾出算力运算优先级任务；

S440、最优调度，根据任务的算力需求及CPU状态，在不影响整体运算进度的前提下选择能最快运算的CPU。

更进一步地，S430中还包括：

S431、最高级代表需要最快输出运算结果，不考虑资源占用状态，此时直接分配最优的CPU资源进行运算，选中CPU上进行的任务立即暂存，等待优先级任务运算完成后再进行；

S432、同一CPU分配多个优先级任务时，根据优先级参数进行排队运算，也就是根据优先级参数的赋值大小进行排队运算，优先级任务运算完成后再运算普通的排队任务。

本发明还公开了一种3D模型的交互方法，应用了上述的优化方法；具体包含以下步骤：

S1、客户端获取用户输入的交互操作指令，然后将交互操作指令传输至服务器端；

S2、服务器端根据获取的交互操作指令完成图形运算，获得运算过程的图形变化量；

S3、服务器端对S2中获得的图形变化量按桢提取信息形成图像集，然后将图像集按照视频流编码后压缩，并将压缩后的图像集传送至客户端；

S4、客户端接收到压缩图像集后进行解码，按照视频流的信息连续播放，以实现对用户输入的交互操作指令进行反馈。

本发明的有益效果是：

本发明通过对工程领域显式算法与隐式算法应用程序对CPU性能的依赖，以及基于仿真运算平台上的资源需求，可根据软件的策略要求自动分配满足需求的CPU资源，用于任务的快速运算，实现满足方程矩阵的大规模算力要求。调度算法分多种模式，最优解调度、先入先出调度、自主识别模型规模与匹配调度等，通过算法对平台算力的分析，寻找空闲满足条件的资源匹配任务，运行仿真任务，运算完成，自主释放，接受下一个任务。同时算法具有优先级识别功能，根据紧急任务优先调度原则，优先分配资源。优先级通过对任务的数据自动分析优先级，通过数据的紧急程度，通过任务的输入参数，根据与标准库的对比，分析出哪个任务最优先，通过JSS调度最优资源，并且分配给优先级比高的任务，然后进行优先级算法调度，满足重要任务优先执行。

本发明通过对CPU资源调度算法优化，对CPU的空闲资源、忙碌资源、排队资源进行快速分析，根据状态进行分配对应的资源池，反馈给用户提交的任务调度模块，然后针对CPU资源利用率状态，分析出空闲的资源，并且将该资源按照先入先出模式进行任务分配CPU资源，实现CPU资源不被空闲、不被无效占用，实现有序占用，实现性能提升；

本发明的人机交互模块通过用远程可视化模式，将本地的鼠标与键盘操作动作传输到远程系统，同时确保3D模型操作正常交互，实现用户在本地操作3D模型与远程操作3D模型无差异，不改变习惯，图形流畅。

附图说明

图1是本发明的系统构成框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参见图1，一种基于CPU资源在工程领域调度系统，包括：

算力管理模块，用于管理可使用的CPU资源，登记每个CPU的算力、运行状态、任务状态等，以为后续的算力分配提供基础；

运算量预算模块，用于为各运算任务预算需要的运算量，从而为后续的算力分配提供基础；

调度模块，用于根据任务要求、需要匹配的算力调用相应的CPU进行运算；

人机交互模块，用于便于操作者进行运算任务的操作；将本地对3D模型的交互动作上传至服务器，服务器计算后将运算量反馈回本地，以实现云计算。

一种基于CPU资源在工程领域调度优化方法，包括：

S100、算力管理模块对接入的CPU分配ID号，并获取每块CPU的最大算力、运算速度等信息；在CPU运行的过程中，算力管理模块周期性获取运行中CPU的资源占用状态、任务排队状态，资源占用状态为CPU的算力占用状态，可以分为全满、空闲、部分占用，部分占用时CPU向算力管理模块周期性反馈剩余运算量以便于后续任务的算力分配。而任务排队状态中也要识别是否有优先级任务以及优先级任务的排队情况，从而为指派新的优先级任务提供基础。CPU在每次任务运算完成后向算力管理模块反馈，从而使得算力管理模块释放该CPU的算力以进行新的任务指派。

S200、操作者通过人机交互模块输入需要运算的任务，任务操作方式采用可视化操作，具体为将本地对3D模型的交互动作上传至服务器，服务器计算后将运算量反馈回本地，以实现云计算。

S300、任务进入运算量预算模块进行运算量预算，并将预算的运算量反馈至调度模块。

运算量预算主要包括以下几种方式：

S310、根据模型数据量预算，也就是在进行3D图形运算时，模型的数据量可以相对直观地反映出其所需运算量，因此根据模型数据量的大小即可相对准确地预算所需运算量；

S320、根据输入的运算量参数预算，操作者通过人机交互模块直接输入任务所需的运算量参数，而运算量参数与运算量具有固定的换算关系，运算量预算模块通过运算量参数进行换算即可获得操作者设定的预算运算量；

S330、根据系统经验预算，由于在实际运行中，每个任务所需的运算量实际上不完全反应在其模型数据量上，因此可设置算程序，通过大量的运算数据训练算力预算程序，使其可根据当前任务特点与已有运算任务进行比对，找出类似任务并结合此任务所耗算力预算本次算力量。这是基于大数据运算的方式，因此实际运算的任务量越大，最终预算的运算量就越精准；

S340、根据任务运算进度预算所需算力，这是根据运算过程进行活动调节分配，因为通过最开始的算力预算并不能准确地反应出真实的算力需求，但是可以根据真实的运算速度与预算算力所应有的运算速度比对，从而判断之前预算的算力时候满足真实的运算需求。如运算进度超过预算算力预计的进度，则判断为算力分配过剩，此时可降低算力的分配量，从而释放部分CPU算力以进行其它任务；而运算进度低于预算算力的预计进度时，可增加算力的分配量，此时调用更多的CPU资源进行运算，以保证最终的运算效率、速度。

S400、调度模块根据任务需求以及预算的算力对任务调度CPU进行运算。为将CPU性能资源最大化利用，用算法JSS for CPU 进行调度、分配，通过先入先出、回填式、抢占式或者均衡式等模式，实现与CPU分配相结合，同时实现在高达10000个服务器节点间的资源高性能高速调度，实现任务的有序执行、自动排队、优先级调度、按需分配资源等。

本实施例中调度模块的调度方式包括：

S410、先入先出，也就是在CPU运算量排满后，调度模块根据任务的预算运算量、CPU运算能力继续分配任务，但这些任务根据先后顺序排队，等待CPU逐个运算；

S420、自主识别模型规模与匹配调度，首先根据预算的运算量分配CPU算力，然后在运算过程中，根据算力管理模块反馈的运算进度进行算力活动调节，以实现算力的合理利用与运算时间的动态平衡；

S430、优先级，对任务的紧急程度进行分级，分级标准为预设阈值，而识别对应的分级通过任务分配的优先级参数与分级的预设阈值进行比对以确定优先级级别，如紧急、一级、二级等等；每级优先级对应不同的算力分配原则，最高级代表需要最快输出运算结果，不考虑资源占用状态，此时直接分配最优的CPU资源进行运算，选中CPU上进行的任务立即暂存，等待优先级任务运算完成后再进行。

对于优先级任务分配至具有排队任务的CPU上时，CPU对当前任务进行暂存，然后立即启运算优先级任务，使得此CPU腾出算力运算优先级任务；

同一CPU分配多个优先级任务时，根据优先级参数进行排队运算，也就是根据优先级参数的赋值大小进行排队运算，优先级任务运算完成后再运算普通的排队任务。

S440、最优调度，根据任务的算力需求及CPU状态，在不影响整体运算进度的前提下选择能够最快运算的CPU。

本发明还公开了一种3D模型的交互方法，应用了上述的优化方法；具体包含以下步骤：

S1、客户端获取用户输入的交互操作指令，然后将交互操作指令传输至服务器端；

S2、服务器端根据获取的交互操作指令完成图形运算，获得运算过程的图形变化量；

S3、服务器端对S2中获得的图形变化量按桢提取信息形成图像集，然后将图像集按照视频流编码后压缩，并将压缩后的图像集传送至客户端；

S4、客户端接收到压缩图像集后进行解码，按照视频流的信息连续播放，以实现对用户输入的交互操作指令进行反馈。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于CPU资源在工程领域的调度系统，其特征在于，包括：

算力管理模块，用于管理可使用的CPU资源，登记每个CPU的算力、运行状态、任务状态，以为后续的算力分配提供基础；

运算量预算模块，用于为各运算任务预算需要的运算量，从而为后续的算力分配提供基础；

调度模块，用于根据任务要求、需要匹配的算力调用相应的CPU进行运算；

人机交互模块，用于便于操作者进行运算任务的操作；以及将本地对3D模型的交互动作上传至服务器，服务器计算后将运算量反馈回本地，以实现云计算。

2.一种基于CPU资源在工程领域调度优化方法，其特征在于，包括：

S100、算力管理模块对接入的CPU分配ID号，并获取每块CPU的最大算力、运算速度信息；在CPU运行的过程中，算力管理模块周期性获取运行中CPU的资源占用状态、任务排队状态；CPU在每次任务运算完成后向算力管理模块反馈，从而使得算力管理模块释放该CPU的算力以进行新的任务指派；

S200、操作者通过人机交互模块输入需要运算的任务，任务操作方式采用可视化操作；

S300、任务进入运算量预算模块进行运算量预算，并将预算的运算量反馈至调度模块；

S400、调度模块根据任务需求以及预算的算力对任务调度CPU进行运算。

3.如权利要求2所述的基于CPU资源在工程领域调度优化方法，其特征在于，S300中运算量预算，包括：

S310、根据模型数据量预算，也就是在进行3D图形运算，根据模型数据量的大小预算所需运算量；

S320、根据输入的运算量参数预算，操作者通过人机交互模块直接输入任务所需的运算量参数，运算量预算模块通过运算量参数换算操作者设定的预算运算量；

S330、根据系统经验预算，通过大数据训练算力预算程序，使其可根据当前任务特点与已有运算任务进行比对，找出类似任务并结合此任务所耗算力预算本次算力量；

S340、根据任务运算进度预算所需算力，在运算过程中活动分配算力，运算进度超过预算算力预计的进度时，可降低算力的分配量；运算进度低于预算算力的预计进度时，可增加算力的分配量。

4.如权利要求2所述的基于CPU资源在工程领域调度优化方法，其特征在于，S400中调度模块的调度方式包括：

S410、先入先出，也就是在CPU运算量排满后，调度模块根据任务的预算运算量、CPU运算能力继续分配任务，但这些任务根据先后顺序排队，等待CPU逐个运算；

S420、自主识别模型规模与匹配调度，首先根据预算的运算量分配CPU算力，然后在运算过程中，根据算力管理模块反馈的运算进度进行算力活动调节，以实现算力的合理利用与运算时间的动态平衡；

S430、优先级，对任务的紧急程度进行分级，分级标准为预设阈值，而识别对应的分级通过任务分配的优先级参数与分级的预设阈值进行比对以确定优先级级别；对于优先级任务分配至具有排队任务的CPU上时，CPU对当前任务进行暂存，然后立即启运算优先级任务，使得此CPU腾出算力运算优先级任务；

S440、最优调度，根据任务的算力需求及CPU状态，在不影响整体运算进度的前提下选择最快运算的CPU。

5.如权利要求4所述的基于CPU资源在工程领域调度优化方法，其特征在于，S430中还包括：

S431、最高级代表需要最快输出运算结果，不考虑资源占用状态，此时直接分配最优的CPU资源进行运算，选中CPU上进行的任务立即暂存，等待优先级任务运算完成后再进行；

S432、同一CPU分配多个优先级任务时，根据优先级参数进行排队运算，也就是根据优先级参数的赋值大小进行排队运算，优先级任务运算完成后再运算普通的排队任务。

6.一种3D模型的交互方法，其特征在于，应用了权利要求2至5任一所述的优化方法。

7.如权利要求6所述的3D模型的交互方法，其特征在于，包含以下步骤：

S1、客户端获取用户输入的交互操作指令，然后将交互操作指令传输至服务器端；

S2、服务器端根据获取的交互操作指令完成图形运算，获得运算过程的图形变化量；

S3、服务器端对S2中获得的图形变化量按桢提取信息形成图像集，然后将图像集按照视频流编码后压缩，并将压缩后的图像集传送至客户端；

S4、客户端接收到压缩图像集后进行解码，按照视频流的信息连续播放，以实现对用户输入的交互操作指令进行反馈。

Images