CN105718318B - 一种基于辅助工程设计软件的集合式调度优化方法 - Google Patents

Abstract

本发明公开了一种基于辅助工程设计软件的集合式调度优化方法，包括步骤：根据待处理任务制定需求的核心数量；询问每个核心是否空闲，并根据反馈结果判断是否分配任务；若反馈结果显示空闲的核心数量达到制定的处理器的核心数量，则选取需求数量的核心进行集合式封装后，再行分配以用于待处理任务的执行。本发明有利于任务运算效率的提升。

Description

一种基于辅助工程设计软件的集合式调度优化方法

技术领域

本发明涉及计算机领域，特别是涉及一种基于辅助工程设计软件的集合式调度优化方法。

背景技术

在现有工程设计中，一般必须先进行计算机辅助工程设计——CAE/CFD/EDA，即先通过计算机对工程设计的所有整车或者零部件进行模拟和性能计算。这种方式虽然能够大大的降低研发成本和周期，但是，目前的CAE等运算中存在运算效率过低，导致开发周期延长的缺陷；

如何提高计算机的运算效率成为本领域技术人员亟待解决的问题。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种有利于提高任务运算效率的基于辅助工程设计软件的集合式调度优化方法。

为实现上述目的，本发明提供了一种基于辅助工程设计软件的集合式调度优化方法，包括：

根据待处理任务制定需求的核心数量；

询问每个核心是否空闲，并根据反馈结果判断是否分配任务；

若反馈结果显示空闲的核心数量达到制定的处理器的核心数量，则选取需求数量的核心进行集合式封装后，再行分配以用于待处理任务的执行。

优选的，在询问每个核心是否空闲的步骤中包括：

若需求的核心数量小于或等于单机的总核心数量，则询问单机的所有核心是否空闲，并判断单机的空闲核心数量是否符合要求，若符合，则选取其中单机中需求数量的核心作为集合，以用于待处理任务的执行。本方案中，该方法将优先确认，资源池中所有的计算机中的某个单机是否能够承担待处理任务的执行工作，若能够，则优选选取单机中的核心作为集合用于完成待处理任务；现有的系统中，虽然多个计算机之间能够在网络中表现为单一的系统，并以单一系统的模式加以管理，但若需求核心较少情况下，同一单机中的核心仍然能够更好地进行通讯，以及协同运算，但现有技术很多时候不予区分，只要资源足够，就按照队列进行分配，这使得许多可以被单机执行的任务分配给了多个计算机，由此可知，使用本方案有利于运算效率的提升。

优选的，若单机的空闲核心数量不符合要求，则询问单机所有核心的忙碌状态，若空闲核心以外的核心中的部分处于半忙碌状态，且半忙碌状态的核心加上空闲核心的数量达到需求数量，则将对应的空闲核心和半忙碌状态核心作为集合，以用于待处理任务；

当占用该核心的程序类型符合预设条件，且核心的利用率低于预设阈值时，则判定所述核心为半忙碌状态。本方案中，优化方法就目前被忽视的半忙碌状态的核心进行了重视，其实，很多情况下，虽然某些核心被部分地进行了利用，但实际上其剩余资源仍然具备执行待处理任务的能力，本方案将这些被忽视的资源重新利用，使得系统的整体资源利用率得以提升，这有利于运算效率的提升，并有利于减少研发时间和成本；当然，若该占用核心的任务为辅助工程设计等类型的任务，则即使检测到的核心利用率低于阈值，亦不被判定为半忙碌状态，因而这些类型的任务，其执行初期核心的利用率可能较低，但随着计算的深入，其利用率将逐步提高，若不加以区分，则可能造成不必要的麻烦。

优选的，在询问单机的核心是否空闲的步骤中包括：

若需求的核心数量大于单机的总核心数量，则询问资源池内所有计算机的核心是否空闲，并判断资源池的空闲核心数量是否符合要求，若符合，则从资源池中挑选需求数量的核心作为集合，以用于待处理任务的执行。本方案中，该方法询问了资源池中所有的核心空闲情况，这使得单机无法承担任务的情况下，多机联合可以协同完成待处理任务；同时，可以充分的利用到某些单机中剩余的少量核心，避免资源浪费。

优选的，询问资源池内所有计算机的核心是否空闲的步骤中包括：

若资源池中所有计算机的空闲核心数量不符合要求，则询问每个核心的忙碌状态，并根据反馈的核心的忙碌状态，若空闲核心以外的核心中的部分处于半忙碌状态，且半忙碌状态的核心加上空闲核心的数量达到需求数量，则将对应的空闲核心和半忙碌状态核心作为集合，以用于待处理任务；

当占用该核心的程序类型符合预设条件，且核心的利用率低于预设阈值时，则判定所述核心为半忙碌状态。本方案中，优化方法就目前被忽视的半忙碌状态的核心进行了重视，其实，很多情况下，虽然某些核心被部分地进行了利用，但实际上其剩余资源仍然具备执行待处理任务的能力，以避免资源浪费的情况；当然，若该占用核心的任务为辅助工程设计等类型的任务，则即使检测到的核心利用率低于阈值，亦不被判定为半忙碌状态，因而这些类型的任务，其执行初期核心的利用率可能较低，但随着计算的深入，其利用率将逐步提高，若不加以区分，则可能造成不必要的麻烦。

优选的，在根据待处理任务制定需求的核心数量的步骤中还包括：

根据待处理任务制定需求的内存资源数；

在询问每个核心是否空闲的步骤中还包括：

询问每个计算机的内存资源情况；

在反馈结果显示空闲的核心数量达到制定的处理器的核心数量之后还需判断剩余内存资源是否达到需求资源数，若均达到，则以自动平衡的原则，将需求数量的核心和需求资源数的内存设定成一个集合，以用于待处理任务的执行。很多任务，运算并不只考虑核心数量，还需要考虑内存情况，例如对于冲击、碰撞和爆破等高度非线性问题进行的显式算法，需求的内存其实是比较少的；而大型的线性方程组等问题运用的隐式算法占用的计算资源、磁盘空间和内存等则要多许多，在资源分配时，需要进行平衡；例如，某机器中的核心被隐式算法部分占用，则可以考虑将剩余的核心分配给进行显示算法的待处理任务。

优选的，在根据待处理任务制定处理器的核心数量的步骤之前还包括：

设定待处理任务的优先级，优先级较高的待处理任务优先处理。本方案中，设定了优先级，在所有的任务中，总有一些任务是比较重要或者是急需的，设定优先级，可以对这些任务优先处理，给用户以操作便利；本方案中，即使剩余资源可以满足优先级较低的一些任务的需求，也会将其空闲，直至空闲的核心数量达到优先级较高任务需求的时候再予以分配和占用。

优选的，在根据待处理任务制定处理器的核心数量的步骤之前还包括：

设定待处理任务的任务批次，批次在前的待处理任务优先处理。本方案中，对任务的任务批次进行了设定，现实中，有这样一种情况偶有发生，那就是，某一批次的任务中有某个任务需求的资源数量比较大，而使得该任务一直无法被分配资源而无法执行的情况，这很可能造成后来批次的任务先完成而在前批次却未完成的情况出现；本方案，可以避免这一问题的发生。

优选的，在设定待处理任务的任务批次的步骤中还包括：

设定待处理任务的优先级，优先级较高的待处理任务较批次在前的待处理任务优先处理。当然，本方案中，也可以根据用户需求，设定批次在前的待处理任务优先于优先级较高的待处理任务优先处理；给用户以便利。

优选的，所述选取需求数量的核心进行集合式封装的步骤还包括：

根据显示算法、隐式算和和流体算法，以及预设的性能最优原则，选择需求数量的核心、内存资源和I/O接口资源，进行序列化绑定，并进行集合式封装。虽然核心资源在辅助工程设计中是主要需要的资源，但不少的任务除了核心之外，仍然需要相当的内存资源和I/O接口资源才能够执行，根据显示算法、隐式算和和流体算法，以及预设的性能最优原则，匹配对应的性能最近的集合组，可以提高计算效率；同时，本方案可以将硬件资源进行更合理的分配，例如，某个计算机的核心资源占用较多，而内存资源占用较少，那么该内存资源可以及时的支持其他内存资源占用较多的计算，避免资源浪费。

本发明的有益效果是：本发明预先根据待处理任务制定需求的核心数量，具体的，可以先确定计算机硬件设备为cluster或者smp等类型，结合硬件类型不同和待处理任务的需求不同计算需求核心数量；并以此为基础，询问是否具备足够的空闲核心，空闲核心足够，则选取相应的核心进行硬件核资源绑定，实现集合式封装，以确保核心被专门用于该待处理任务，直至待处理任务完成；而且，集合式封装大大提高资源利用率，例如，现有的某个任务需要128个核的MPI进程，需要8个节点(假如每个节点16核)参与计算，而128MPI进程将会严重占用现有的带宽，同时产生的数据严重制约存储的I/O吞吐量；在集合式封装后，可以将其组合成为16个MPI集合式进程，如此，可以大大降低存储、网络I/O资源等的消耗，有利于计算机运算效率的提升，较少研发成本和周期。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例一种基于辅助工程设计软件的集合式调度优化方法。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都应当属于本申请保护的范围。

图1是本发明实施例一种基于辅助工程设计软件的集合式调度优化方法。参见图1，一种基于辅助工程设计软件的集合式调度优化方法，包括：

S1:根据待处理任务制定需求的核心数量；

S2:询问每个核心是否空闲，并根据反馈结果判断是否分配任务；

S3:若反馈结果显示空闲的核心数量达到制定的处理器的核心数量，则选取需求数量的核心进行集合式封装后，再行分配以用于待处理任务的执行。本发明的有益效果是：本发明预先根据待处理任务制定需求的核心数量，具体的，可以先确定计算机硬件设备为cluster或者smp等类型，结合硬件类型不同和待处理任务的需求不同计算需求核心数量；当然，待处理任务的并行类型也需要适当考虑(主要有MPI和PVM的类型)；并以此为基础，询问是否具备足够的空闲核心，空闲核心足够，则选取相应的核心进行硬件核资源绑定，实现集合式封装，以确保核心被专门用于该待处理任务，直至待处理任务完成；而且，集合式封装大大提高资源利用率，例如，比如针对汽车行业的汽车研发阶段的汽车安全性仿真阶段，将会使用到专业的工具安全碰撞仿真分析软件LS-DYNA，而LS-DYNA软件在计算的时候，需要大规模的HPC硬件资源、HPC存储资源、InfiniBand 56GB带宽的网络支持，而整套系统的架设需要大规模的投入，而每个项目需要50个子项目，每个子项目需要25个作业的作业任务，而每个作业LS-DYNA需要通过手动指定参与计算的CPU数量，比如每个作业指定128个CPU数量参与计算，那么LS-DYNA软件会分配128个核的MPI进程，需要8个节点(假如每个节点16核)参与计算，而128MPI进程将会严重占用现有的带宽，同时产生的数据严重制约存储的I/O吞吐量；在集合式封装后，可以将其组合成为16个MPI集合式进程，如此，可以大大降低存储、网络I/O资源等的消耗，有利于计算机运算效率的提升，较少研发成本和周期；传统意义完成一个汽车行业的碰撞研发案例需要算50个子项目，每个项目25个作业，每个祖业10小时，完成一个碰撞研发项目总时间是50*25*10＝12500小时，大约520天时间；通过本发明的方法可以实现每个作业在4小时以内算出来，同样的项目完成需要50*25*4＝5000小时，大约208天；节约了60％的时间。

可选的，在询问每个核心是否空闲的步骤中包括：

若需求的核心数量小于或等于单机的总核心数量，则询问单机的所有核心是否空闲，并判断单机的空闲核心数量是否符合要求，若符合，则选取其中单机中需求数量的核心作为集合，以用于待处理任务的执行。本方案中，该方法将优先确认，资源池中所有的计算机中的某个单机是否能够承担待处理任务的执行工作，若能够，则优选选取单机中的核心作为集合用于完成待处理任务；现有的系统中，虽然多个计算机之间能够在网络中表现为单一的系统，并以单一系统的模式加以管理，但若需求核心较少情况下，同一单机中的核心仍然能够更好地进行通讯，以及协同运算，但现有技术很多时候不予区分，只要资源足够，就按照队列进行分配，这使得许多可以被单机执行的任务分配给了多个计算机，由此可知，使用本方案有利于运算效率的提升。

可选的，若单机的空闲核心数量不符合要求，则询问单机所有核心的忙碌状态，若空闲核心以外的核心中的部分处于半忙碌状态，且半忙碌状态的核心加上空闲核心的数量达到需求数量，则将对应的空闲核心和半忙碌状态核心作为集合，以用于待处理任务；

当占用该核心的程序类型符合预设条件，且核心的利用率低于预设阈值时，则判定所述核心为半忙碌状态。本方案中，优化方法就目前被忽视的半忙碌状态的核心进行了重视，其实，很多情况下，虽然某些核心被部分地进行了利用，但实际上其剩余资源仍然具备执行待处理任务的能力，本方案将这些被忽视的资源重新利用，使得系统的整体资源利用率得以提升，这有利于运算效率的提升，并有利于减少研发时间和成本；当然，若该占用核心的任务为辅助工程设计等类型的任务，则即使检测到的核心利用率低于阈值，亦不被判定为半忙碌状态，因而这些类型的任务，其执行初期核心的利用率可能较低，但随着计算的深入，其利用率将逐步提高，若不加以区分，则可能造成不必要的麻烦。

可选的，在询问单机的核心是否空闲的步骤中包括：

若需求的核心数量大于单机的总核心数量，则询问资源池内所有计算机的核心是否空闲，并判断资源池的空闲核心数量是否符合要求，若符合，则从资源池中挑选需求数量的核心作为集合，以用于待处理任务的执行。本方案中，该方法询问了资源池中所有的核心空闲情况，这使得单机无法承担任务的情况下，多机联合可以协同完成待处理任务；同时，可以充分的利用到某些单机中剩余的少量核心，避免资源浪费。

可选的，询问资源池内所有计算机的核心是否空闲的步骤中包括：

若资源池中所有计算机的空闲核心数量不符合要求，则询问每个核心的忙碌状态，并根据反馈的核心的忙碌状态，若空闲核心以外的核心中的部分处于半忙碌状态，且半忙碌状态的核心加上空闲核心的数量达到需求数量，则将对应的空闲核心和半忙碌状态核心作为集合，以用于待处理任务；

当占用该核心的程序类型符合预设条件，且核心的利用率低于预设阈值时，则判定所述核心为半忙碌状态。本方案中，优化方法就目前被忽视的半忙碌状态的核心进行了重视，其实，很多情况下，虽然某些核心被部分地进行了利用，但实际上其剩余资源仍然具备执行待处理任务的能力，以避免资源浪费的情况；当然，若该占用核心的任务为辅助工程设计等类型的任务，则即使检测到的核心利用率低于阈值，亦不被判定为半忙碌状态，因而这些类型的任务，其执行初期核心的利用率可能较低，但随着计算的深入，其利用率将逐步提高，若不加以区分，则可能造成不必要的麻烦。

可选的，在根据待处理任务制定需求的核心数量的步骤中还包括：

根据待处理任务制定需求的内存资源数；

在询问每个核心是否空闲的步骤中还包括：

询问每个计算机的内存资源情况；

在反馈结果显示空闲的核心数量达到制定的处理器的核心数量之后还需判断剩余内存资源是否达到需求资源数，若均达到，则以自动平衡的原则，将需求数量的核心和需求资源数的内存设定成一个集合，以用于待处理任务的执行。很多任务，运算并不只考虑核心数量，还需要考虑内存情况，例如对于冲击、碰撞和爆破等高度非线性问题进行的显式算法，需求的内存其实是比较少的；而大型的线性方程组等问题运用的隐式算法占用的计算资源、磁盘空间和内存等则要多许多，在资源分配时，需要进行平衡；例如，某机器中的核心被隐式算法部分占用，则可以考虑将剩余的核心分配给进行显示算法的待处理任务。

可选的，在根据待处理任务制定处理器的核心数量的步骤之前还包括：

设定待处理任务的优先级，优先级较高的待处理任务优先处理。本方案中，设定了优先级，在所有的任务中，总有一些任务是比较重要或者是急需的，设定优先级，可以对这些任务优先处理，给用户以操作便利；本方案中，即使剩余资源可以满足优先级较低的一些任务的需求，也会将其空闲，直至空闲的核心数量达到优先级较高任务需求的时候再予以分配和占用。

可选的，在根据待处理任务制定处理器的核心数量的步骤之前还包括：

设定待处理任务的任务批次，批次在前的待处理任务优先处理。本方案中，对任务的任务批次进行了设定，现实中，有这样一种情况偶有发生，那就是，某一批次的任务中有某个任务需求的资源数量比较大，而使得该任务一直无法被分配资源而无法执行的情况，这很可能造成后来批次的任务先完成而在前批次却未完成的情况出现；本方案，可以避免这一问题的发生。

可选的，在设定待处理任务的任务批次的步骤中还包括：

设定待处理任务的优先级，优先级较高的待处理任务较批次在前的待处理任务优先处理。当然，本方案中，也可以根据用户需求，设定批次在前的待处理任务优先于优先级较高的待处理任务优先处理；给用户以便利。

本实施例优选的，选取需求数量的核心进行集合式封装的步骤还包括：

根据显示算法、隐式算和和流体算法，以及预设的性能最优原则，选择需求数量的核心、内存资源和I/O接口资源，进行序列化绑定，并进行集合式封装。具体的，虽然核心资源在辅助工程设计中是主要需要的资源，但不少的任务除了核心之外，仍然需要相当的内存资源和I/O接口资源才能够执行，根据显示算法、隐式算和和流体算法，以及预设的性能最优原则，匹配对应的性能最近的集合组，可以提高计算效率；同时，本方案可以将硬件资源进行更合理的分配，例如，某个计算机的核心资源占用较多，而内存资源占用较少，那么该内存资源可以及时的支持其他内存资源占用较多的计算，避免资源浪费。

其中，正常情况，显式算法，该算法注重CPU核心多核心并行性能；隐式算法，该算法注重内存性能结合少许的核心参与计算；流体算法，该算法注重内存结合CPU核心结合组，同时需要大I/O吞吐量支持。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于辅助工程设计软件的集合式调度优化方法，其特征在于，包括：

根据待处理任务制定需求的核心数量；先确定计算机硬件设备类型，结合硬件设备类型和待处理任务的需求不同计算核心数量；

询问每个核心是否空闲，并根据反馈结果判断是否分配任务；

若反馈结果显示空闲的核心数量达到制定的处理器的核心数量，则选取需求数量的核心进行集合式封装后，再行分配以用于待处理任务的执行；

所述选取需求数量的核心进行集合式封装的步骤还包括：

根据显示算法、隐式算和和流体算法，以及预设的性能最优原则，选择需求数量的核心、内存资源和I/O接口资源，进行序列化绑定，并进行集合式封装；

在询问每个核心是否空闲的步骤中包括：

若需求的核心数量小于或等于单机的总核心数量，则询问单机的所有核心是否空闲，

并判断单机的空闲核心数量是否符合要求，若符合，则选取其中单机中需求数量的核心作为集合，以用于待处理任务的执行；

若单机的空闲核心数量不符合要求，则询问单机所有核心的忙碌状态，若空闲核心以外的核心中的部分处于半忙碌状态，且半忙碌状态的核心加上空闲核心的数量达到需求数量，则将对应的空闲核心和半忙碌状态核心作为集合，以用于待处理任务；

当占用该核心的程序类型符合预设条件，且核心的利用率低于预设阈值时，则判定所述核心为半忙碌状态。

2.如权利要求1所述的优化方法，其特征在于，在询问单机的核心是否空闲的步骤中包括：

若需求的核心数量大于单机的总核心数量，则询问资源池内所有计算机的核心是否空闲，并判断资源池的空闲核心数量是否符合要求，若符合，则从资源池中挑选需求数量的核心作为集合，以用于待处理任务的执行；

询问资源池内所有计算机的核心是否空闲的步骤中包括：

若资源池中所有计算机的空闲核心数量不符合要求，则询问每个核心的忙碌状态，并根据反馈的核心的忙碌状态，若空闲核心以外的核心中的部分处于半忙碌状态，且半忙碌状态的核心加上空闲核心的数量达到需求数量，则将对应的空闲核心和半忙碌状态核心作为集合，以用于待处理任务；

当占用该核心的程序类型符合预设条件，且核心的利用率低于预设阈值时，则判定所述核心为半忙碌状态；

在根据待处理任务制定需求的核心数量的步骤中还包括：

根据待处理任务制定需求的内存资源数；

在询问每个核心是否空闲的步骤中还包括：

询问每个计算机的内存资源情况；

在反馈结果显示空闲的核心数量达到制定的处理器的核心数量之后还需判断剩余内存资源是否达到需求资源数，若均达到，则以自动平衡的原则，将需求数量的核心和需求资源数的内存设定成一个集合，以用于待处理任务的执行。

3.如权利要求1所述的优化方法，其特征在于，在根据待处理任务制定处理器的核心数量的步骤之前还包括：

设定待处理任务的优先级，优先级较高的待处理任务优先处理。

4.如权利要求1所述的优化方法，其特征在于，在根据待处理任务制定需求的核心数量的步骤之前还包括：

设定待处理任务的任务批次，批次在前的待处理任务优先处理。

5.如权利要求3所述的优化方法，其特征在于，在设定待处理任务的任务批次的步骤中还包括：

设定待处理任务的优先级，优先级较高的待处理任务较批次在前的待处理任务优先处理。