CN114296947B - 一种面向复杂场景的多计算模型管理方法 - Google Patents

Abstract

本发明公开了一种面向复杂场景的多计算模型管理方法，涉及模型管理技术领域，用于解决现有技术中多计算模型管理方法存在通用性差，模型计算吞吐率低，浪费计算资源的问题，本发明包括创建进程计算图，所述进程计算图用于展示在模型计算过程中各进程节点之间的拓扑关系、数据和消息的流通方向；数据接收，由所述进程计算图中的通信进程接收外部数据，并将数据处理后传递给模型进程；模型计算，模型进程使用收到的数据计算出结果后继续传递给下级节点，直至传回通信进程；结果回传，将通信进程收到的结果发送到外部系统。本发明中通过上述技术方案可以提高模型计算的吞吐率，完成对计算资源的调配和管理，极大地节省了计算资源。

Description

一种面向复杂场景的多计算模型管理方法

技术领域

本发明涉及计算模型的管理技术领域，更具体的是涉及一种面向复杂场景的多计算模型管理方法。

背景技术

随着深度学习在各个领域的应用和发展，各式各样优秀的人工智能产品不断出现，而在这些产品中最为重要的就是深度学习模型，而人们对深度学习模型运行速度、效率和性能的要求也越来越高，深度学习模型的应用场景也越来越复杂，因此需要对复杂场景的深度学习模型进行相应的管理。

现有的深度学习模型管理方法主要是在部署前完成对所有训练好的计算模型进行打包，在代码中固定各个计算模型之间的前后执行顺序、依赖关系，然后使用深度学习框架对计算模型进行部署，部署完成后向计算模型输入数据，计算模型分析完成后返回结果。

从上述深度学习模型整个部署过程可以看出，整个过程是非可视化的，各个计算模型的前后依赖关系十分复杂、且是打包固定的，在后续的模型更新和维护只能够替换整个打包的模型集合，每次更新和维护的成本较高、过程复杂，不具有通用性，在整个计算过程中没有对计算资源进行监控，从而缺乏对计算资源的调配和管理；总的来说，现有技术中多计算模型管理方法存在通用性差，模型计算吞吐率低，浪费计算资源的问题。

发明内容

本发明的目的在于：为了解决现有技术中多计算模型管理方法存在通用性差，模型计算吞吐率低，浪费计算资源的问题，本发明提供一种面向复杂场景的多计算模型管理方法，以提高多计算模型管理方法的通用性，提高模型计算的吞吐率，节省计算资源。

本发明为了实现上述目的具体采用以下技术方案：

一种面向复杂场景的多计算模型管理方法，包括以下步骤：

S1:创建进程计算图，所述进程计算图用于展示在模型计算过程中各进程节点之间的拓扑关系、数据和消息的流通方向；

具体的，上述创建进程计算图包括如下步骤：

S11:定义节点，从计算节点图库中将需要添加的计算节点图标拖拽到画布上，若在计算节点图库中未找到需要添加的计算节点图标，则新建计算节点图标，并为计算节点配置相应参数；

优选的，在上述定义节点之前，若计算节点及计算节点之间的前后逻辑关系已定义并存储在数据库中，则读取数据库中对应的原有进程计算图，并在原有计算图的基础上修改，若计算节点及计算节点之间的前后逻辑关系未定义且未存储在数据库中，则创建新的空白计算图。

S12:定义通道，在通道库中拖拽不同数据流向的通道图标到画布上，使用通道连接不同的节点，并为通道配置相关参数；具体的，所述相应参数包括进程ID、进程类型、进程名称、进程版本号、进程启动命令、进程启动参数、进程最小数量、进程最大数量和当前进程数量中的任意一种或多种；所述相关参数包括通道技术和/或通信内容。

S13:校验进程计算图，当进程计算图创建完毕过后，对进程计算图进行校验，若校验通过，则进入下一步骤；若校验不通过，则给出出错提示并重新修改进程计算图；

优选的，上述对进程计算图进行校验包括计算节点的相应参数与通道的相关参数的配置是否符合逻辑，以及计算图是否符合有向无环图的定义

S14:写入数据库，将进程计算图的所有信息保存至数据库对应的数据表中。

S2:数据接收，由所述进程计算图中的通信进程接收外部数据，并将数据处理后传递给模型进程；

S3:模型计算，模型进程使用收到的数据计算出结果后继续传递给下级节点，直至传回通信进程；

具体的，所述模型计算包括如下步骤：

S31:从数据库读取计算图配置，从数据库中读取已创建的进程计算图，并解析进程计算图的配置信息；

S32:启动所有进程节点，根据解析的配置信息，启动对应的进程节点；

S33:校验所有进程节点是否准备就绪，若所有进程节点准备就绪，则从外部接收数据并开始实际的计算；若有进程节点未启动成功，则重启未启动成功的进程节点直至所有进程节点准备就绪；

S34:从外部接收数据，由计算进程图中的TCP通信发送进程从外部接收数据，并将数据传送给检测模型进程；

S35:模型计算，检测模型进程收到数据后，通过多个模型对数据进行计算；

优选的，多个所述模型包括良恶性分类模型、属性分类模型和集成模型；

具体的，将检测模型检测的检测结果由共享通道分别传输到良恶性分类模型和属性分类模型，良恶性分类模型和属性分类模型分别计算完毕后，将计算的数据输出到集成模型，集成模型将良恶性分类模型和属性分类模型的计算结果进行集成计算后，由双向通道传输给TCP通信接收进程。

S36:向外部传输计算结果，TCP通信接收进程接收到计算结果后向外界传输计算结果。

具体的，向外部传输计算结果中，若不需要进行新一次的计算则运行完毕，若需要进行新一次的计算，则判断是否使用节点机制。

优选的，多个所述模型的计算进程完成计算后将进程节点的状态和计算时延发送到进程管理服务器，所述进程管理服务器通过监控各个进程节点的状态判断是否使用节点机制。

优选的，通过瓶颈进程增删来实现所述节点机制，所述瓶颈进程增删由进程管理服务器或瓶颈进程确定。

S4:结果回传，将通信进程收到的结果发送到外部系统。

本发明的有益效果如下：

本发明中创建计算图的方式可以简化多个计算模型之间的逻辑关系，并可以实现对已创建的计算图或计算节点的重复使用，便于后续模型的更新和维护，适用于各种复杂场景下的多模型计算，具有一般性和通用性；通过进程管理服务器动态调节或瓶颈进程自主能够动态调节瓶颈进程数量，从而可以提高模型计算的吞吐率，完成对计算资源的调配和管理，极大地节省了计算资源。

附图说明

图1为本发明的流程图；

图2为本发明的系统架构图;

图3为本发明第一例进程计算图；

图4为本发明第二例进程计算图；

图5为本发明第三例进程计算图;

图6为本发明进程计算图的创建流程图；

图7为本发明计算节点间的通信示意图;

图8为本发明模型计算的示意图；

图9为本发明实现应答机制的示意图；

图10为本发明进程管理器动态增删瓶颈进程的示意图;

图11为本发明瓶颈进程自主动态增删瓶颈进程的示意图；

图12为本发明不同方式吞吐率对比的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

实施例

如图1所示，本实施例提供一种面向复杂场景的多计算模型管理方法，包括以下步骤：

S1:创建进程计算图，进程计算图是实现模型计算的进程之间的有向无环图，用于展示在模型计算过程中各进程节点之间的拓扑关系、数据和消息的流通方向等信息。如图2为本申请的系统架构图，图中B/S为“Browser/Server”的缩写，即“浏览器/服务器”模式，C/S为“Client/Server”的缩写，即“客户端/服务器”模式，可以由系统管理员在系统用户Web前端创建进程计算图，后续的计算流程将按照进程计算图所示的拓扑结构执行，进程计算图由一个进程管理服务器和其它一般进程组成，其中进程管理服务器负责管理其它进程节点的启动、执行、暂停、恢复、复位和停止等操作，并完成相关进程执行信息的交互，用于对其他一般进程的控制和管理，在某个模型进程更新过程中能够保证其他模型进程不受影响，便于更新和维护，当进程管理服务器不工作的时候，进程管理代理服务器代为管理，保证了系统的稳定性；其他一般进程包含TCP实时通信进程、模型进程、数据库进程、UDP及时通信进程等，多个模型进程组成模型进程集合，针对每次计算任务创建进程计算图的整个过程都是在可视化界面完成的。

下面举例说明进程计算图，如图3-图5分别为乳腺超声系统中常见的三种计算模型图，下面分别对三张计算图的模型计算过程进行详细描述。

在图3中，数据首先从TCP通信发送进程经由双向通道传输到模型进程（检测模型）中；检测模型完成计算后将输出数据经双向通道传输给良恶性分类模型；良恶性分类模型计算完成后将输出数据经双向通道传送到TCP通信接收进程，整个流程的计算完毕。

在图4中，数据首先由TCP通信进程通过单向通道传输给检测模型；然后数据由共享通道分别传输到良恶性分类模型和属性分类模型；良恶性分类模型和属性分类模型分别计算完毕后，将自己的数据通过单向通道输出到集成模型；集成模型将二者的计算结果进行集成计算后，由双向通道传输给TCP通信接收进程，整个流程的计算完毕。

图5是在图4的基础上修改得到的，良恶性分类模型和属性分类模型的计算结果将分别通过单向通道被传送到防漏诊模型中进行防漏诊计算，两个防漏诊模型计算完毕后，计算结果都会通过单向通道被传送到集成模型中进行集成计算，最后集成计算结果由双向通道发送到TCP通信接收进程。

如图6所示，上述创建进程计算图具体包括如下步骤：

S11:定义节点，在系统的计算节点图库中将需要添加的计算节点图标拖拽到画布上，即完成了一次计算节点的添加，若在计算节点图库中未找到需要添加的计算节点图标，则可以点击新建计算节点图标，并为计算节点配置相应参数，相应参数包括进程ID、进程类型、进程名称、进程版本号、进程启动命令、进程启动参数、进程最小数量、进程最大数量和当前进程数量等中的任意一种或多种，配置完相应参数后该新建的节点将被添加进节点图库中，在创建其他计算图时，如需使用该新添加的计算节点可直接拖拽使用，使得计算节点可以重复使用。

优选的，在上述定义节点之前，针对需要完成的计算任务，会出现以下两种情况：一是该计算任务中某些计算节点及计算节点之间的前后逻辑关系已经定义过并存储在数据库中，则可以读取数据库中对应的原有计算图，在读取的计算图上做出微小的修改即可，从而可以极大地减少模型的更新和维护成本。如在数据库中进程计算图4已经存在，而目前有进程计算图5的任务需求，图5在图4的基础上增加了两个防漏诊模型，那么不需要从头开始定义图5的计算节点和通道，可以从数据库中读取图4，并在图4的基础上增加两个模型进程即可；二是若计算任务中某些计算节点及计算节点之间的前后逻辑关系是全新的，未定义并存储在数据库中，则只能使用空白计算图，并定义新的计算节点及其逻辑关系。

其中，进程计算图中每个计算节点（也称为主节点）代表一个进程（也称为主进程），由主进程利用节点机制动态自我复制后产生的进程称为它的子进程，每个进程至少有一个子进程，主进程负责与上下级进程进行通信，子进程负责调用模型完成实际的计算，每个计算节点根据其功能可以分为不同的类别：如数据发送进程、模型进程（每个模型实体会被放入子进程中，完成相应的计算任务，因此该类计算节点被称为模型进程）、数据接收进程、数据库进程等等。

S12:定义通道，在通道库中拖拽不同数据流向的通道图标到画布上，使用通道连接不同的节点，并为通道配置相关参数，相关参数包括通道技术和/或通信内容等。

如图7所示，所谓通道是指不同节点进行通信和交换数据的实体，它定义了不同进程节点间通道内容的类别、通道所使用的技术、通道方向等信息，通道按照通信内容可分为数据通道和消息通道，其中通信内容可以为纯数据、纯消息、数据与消息，实现通道所采用的技术有标准IO、共享内存、文件夹、套接字、文件、消息队列、命名管道，通道方向指通道中内容的传递方向，包括共享、双向和单向。

不同计算节点之间的通信类型和通信技术是不一样的，主要分为以下几种：一是管理通信，管理通信是进程管理服务器和普通进程之间的通信，使用IO作为通信技术；二是消息通信，消息通信是普通进程之间的通信，使用UDP进行通信，以便能够支持多机器进程通信，并且能够有较快地通信速度；三是数据通信，数据通信是普通进程之间的通信，使用共享内存、文件、文件夹等技术进行通信。

S13:校验进程计算图，当进程计算图创建完毕过后，系统会对进程计算图进行校验，对进程计算图进行校验包括计算节点的相应参数与通道的相关参数的配置是否符合逻辑，以及计算图是否符合有向无环图的定义，若校验通过，则进入下一步骤；若校验不通过，则给出出错提示并让系统管理员重新修改进程计算图；

S14:写入数据库，将进程计算图的所有信息保存至数据库对应的数据表中，即完成了进程计算图的创建。

最终创建完毕的进程计算图能够清晰展示各进程节点前后逻辑关系，在计算图中能够十分方便地增加或删除进程节点，并可在已有的计算图上直接进行修改，有利于某个模型的替换、更新与维护。

S2:数据接收，由上述进程计算图中的通信进程接收外部数据，并将数据处理后传递给模型进程。具体的，在进程计算图创建完毕后，整个系统都将按照进程计算图定义节点关系来进行工作，由进程计算图中的通信进程（TCP实时通信进程、UDP及时通信进程）接受来自客户端的数据，并按照通道所指示的数据流向传输到其它进程节点；

S3:模型计算，模型进程使用收到的数据计算出结果后继续传递给下级节点，直至传回通信进程；

具体的，如图8所示，上述模型计算包括如下步骤：

S31:从数据库读取计算图配置，从数据库中读取已创建的进程计算图，并解析进程计算图的配置信息；

S32:启动所有进程节点，根据解析的配置信息，启动对应的进程节点，如TCP通信进程、检测模型进程、良恶性分类模型进程、属性分类模型进程和集成模型进程；

S33:校验所有进程节点是否准备就绪，若所有进程节点准备就绪，则从外部接收数据并开始实际的计算；若有进程节点未启动成功，则重启未启动成功的进程节点直至所有进程节点准备就绪；

S34:从外部接收数据，由计算进程图中的TCP通信发送进程从外部接收数据，并将数据传送给检测模型进程；

S35:模型计算，检测模型进程收到数据后，通过多个模型对数据进行计算；

优选的，多个上述模型包括良恶性分类模型、属性分类模型和集成模型；

具体的，将检测模型检测的检测结果由共享通道分别传输到良恶性分类模型和属性分类模型，良恶性分类模型和属性分类模型分别计算完毕后，将计算的数据输出到集成模型，集成模型将良恶性分类模型和属性分类模型的计算结果进行集成计算后，由双向通道传输给TCP通信接收进程（在这个步骤中，每个模型计算进程完成计算后会将计算节点的状态和计算时延等数据发送到进程管理服务器，进程管理服务器全程监控各个计算节点的状态为是否使用节点机制作数据准备）。

S36:向外部传输计算结果，TCP通信接收进程接收到计算结果后向外界传输计算结果，若不需要进行新一次的计算则整个系统运行完毕；若需要进行新一次的计算则判断是否使用节点机制。

S37:是否使用节点机制：根据第S35步进程管理服务器监控各个计算节点的状态来判断是否使用节点机制，若需要使用节点机制，则动态增删进程后开始新一轮的计算，若不需要使用节点机制，则直接开始新一轮的计算。例如：在一次模型计算过程中，集成模型需收到良恶性分类模型和属性分类模型的计算结果才能进行集成计算，假设良恶性分类模型和属性分类模型完成一次计算分别耗时10ms和20ms，那么集成模型在收到良恶性分类结果后需等待10ms才会收到属性分类结果，这就意味着集成模型会有空闲时间，并且良恶性分类模型传送结果给集成模型后没有收到集成模型的应答（reply）消息，不能进行下一次的计算，进入空闲状态，这些进入闲置状态的模型进程占用着计算资源却没有使用，造成了计算资源的浪费；若此系统使用的是进程管理服务器实现进程动态增删，则在多次计算后，进程管理服务器检测到属性分类模型一直处于非空闲状态，则会增加将属性分类模型的数量增加到2个，那么对于检测分类模型传输过来的数据，有两个属性分类模型同时进行计算，从吞吐率的角度来说检测分类计算耗时从原来的20ms变成了10ms，提高了整个计算流程的吞吐率。

优选的，通过瓶颈进程增删来实现上述节点机制，上述瓶颈进程增删由进程管理服务器或瓶颈进程确定。

在模型进程节点接收到通信进程节点传输的数据过后，将根据不同的模型类型完成不同的计算，并将计算结果沿着通道（Channel）传输到其他进程节点。

具体的，为了提升进程计算的吞吐率，采用应答机制和节点机制分别对计算节点和通道进行处理，模型节点实现了节点机制和应答机制来提高计算效率。

如图9为实现应答（reply）机制的示意图，计算节点中的数字为计算节点的编号，数据中的数字为数据的编号，应答机制的最终目的是为了实现流水线作业，应答机制的内容为上级进程向下级进程传递数据时，当下级进程读取了该数据时，应将该信息立即通知上级进程，此时下级进程处理当前数据，而上级进程需收到所有的下级进程的应答（reply）消息过后才能发送下一条数据，这样每个进程能够同时进行工作，而非让其他进程等到该条数据经过全部处理完毕后才能处理下一条数据，应答机制使得整个计算流程具有良好的反馈机制，提高了整个工作流程的吞吐率。如图3所示的计算图中，数据从TCP通信发送进程由双向通道传输给检测分类模型，检测分类模型读取数据完毕后，将返回一条应答（reply）消息给TCP通信发送进程，这条消息表明TCP通信发送进程可以发送下一次数据。

在模型计算的整个过程中，进程管理服务器会对每个节点的状态及计算数据进行实时监控，如节点的忙、闲等状态；节点的最大计算时延、最小计算时延、最近计算时延等计算数据，这些状态和数据为是否使用节点机制完成对计算资源的调配和管理提供了支持。

节点机制的具体实现方式为动态增加瓶颈进程数量，当各个进程处理时间不相等时，流水线作业方式的最大吞吐率由所有进程中处理时间最长的进程（称其为瓶颈进程）决定，因此如果能够找出瓶颈进程并增加其数量，则可以提升流水线的吞吐率，最终能够达到不同模型进程的处理吞吐量基本保持一致。

实现进程动态增删有如下方式：

一是进程管理服务器管理: 如图10为进程管理器动态增删示瓶颈进程的意图，图中的数字表示相应进程处理所耗的时间，单位为毫秒，由进程管理服务器决定瓶颈进程增删，新增的对等瓶颈进程配置信息和原瓶颈进程完全相同，地位也完全平等，由进程管理服务器统一管理和控制。

二是瓶颈进程自主管理：如图11为瓶颈进程自主决定瓶颈进程增删的意图，图中的数字表示相应进程处理所耗的时间，单位为毫秒，其中，新增通道包括新增的瓶颈进程和新增的子进程通道，原进程为主进程，新增的瓶颈进程作为主进程的子进程存在，由主进程自我管理、控制和分配资源等等。

进程动态增删的具体判断为：

进程动态增加的判断：如果一定时期内某进程一直处于非空闲状态，或者该进程的缓冲区总有数据在等待被处理，则该进程为瓶颈进程，可增加其子进程，可由进程管理服务器增加对等瓶颈进程数量或由其自主增加子进程数量。

进程动态删除的判断：如果在一定时期内瓶颈进程没有处于工作状态，且等待队列为空，则可由进程管理服务器删除对等瓶颈进程或由主进程删除其子进程。

如图12为不同方式吞吐率的对比示意图，上述图3-图5的例子中普通作业方式的吞吐率为0.0156，而在其基础上增加了流水线作业方式和增加瓶颈进程数量的方式，将整个工作流程的吞吐率提高到了0.0666，吞吐率提高了4倍。

S4:结果回传，将通信进程收到的结果发送到外部系统，具体的，在所有模型进程计算完成得到最终的结果后，由通信进程将此次计算结果回传到客户端。

本发明中创建计算图的方式可以简化多个计算模型之间的逻辑关系，并可以实现对已创建的计算图或计算节点的重复使用，便于后续模型的更新和维护，适用于各种复杂场景下的多模型计算，具有一般性和通用性；通过进程管理服务器动态调节或瓶颈进程自主能够动态调节瓶颈进程数量，从而可以提高模型计算的吞吐率，完成对计算资源的调配和管理，极大地节省了计算资源。

Claims (5)

1.一种面向复杂场景的多计算模型管理方法，其特征在于：包括以下步骤：

创建进程计算图，所述进程计算图用于展示在模型计算过程中各进程节点之间的拓扑关系、数据和消息的流通方向；

数据接收，由所述进程计算图中的通信进程接收外部数据，并将数据处理后传递给模型进程；

模型计算，模型进程使用收到的数据计算出结果后继续传递给下级节点，直至传回通信进程；

结果回传，将通信进程收到的结果发送到外部系统；

所述创建进程计算图包括如下步骤：

定义节点，从计算节点图库中将需要添加的计算节点图标拖拽到画布上，若在计算节点图库中未找到需要添加的计算节点图标，则新建计算节点图标，并为计算节点配置相应参数；

定义通道，在通道库中拖拽不同数据流向的通道图标到画布上，使用通道连接不同的节点，并为通道配置相关参数；

校验进程计算图，当进程计算图创建完毕过后，对进程计算图进行校验，若校验通过，则进入下一步骤；若校验不通过，则给出出错提示并重新修改进程计算图；

写入数据库，将进程计算图的所有信息保存至数据库对应的数据表中；

所述模型计算包括如下步骤：

从数据库读取计算图配置，从数据库中读取已创建的进程计算图，并解析进程计算图的配置信息；

启动所有进程节点，根据解析的配置信息，启动对应的进程节点；

校验所有进程节点是否准备就绪，若所有进程节点准备就绪，则从外部接收数据并开始实际的计算；若有进程节点未启动成功，则重启未启动成功的进程节点直至所有进程节点准备就绪；

从外部接收数据，由计算进程图中的TCP通信发送进程从外部接收数据，并将数据传送给检测模型进程；

模型计算，检测模型进程收到数据后，通过多个模型对数据进行计算；

向外部传输计算结果，TCP通信接收进程接收到计算结果后向外界传输计算结果；

向外部传输计算结果中，若不需要进行新一次的计算则运行完毕，若需要进行新一次的计算，则判断是否使用节点机制；

多个所述模型的计算进程完成计算后将进程节点的状态和计算时延发送到进程管理服务器，所述进程管理服务器通过监控各个进程节点的状态判断是否使用节点机制；

通过瓶颈进程增删来实现所述节点机制，所述瓶颈进程增删由进程管理服务器或瓶颈进程确定。

2.根据权利要求1所述的一种面向复杂场景的多计算模型管理方法，其特征在于：在所述定义节点之前，若计算节点及计算节点之间的前后逻辑关系已定义并存储在数据库中，则读取数据库中对应的原有进程计算图，并在原有计算图的基础上修改，若计算节点及计算节点之间的前后逻辑关系未定义且未存储在数据库中，则创建新的空白计算图。

3.根据权利要求1所述的一种面向复杂场景的多计算模型管理方法，其特征在于：所述相应参数包括进程ID、进程类型、进程名称、进程版本号、进程启动命令、进程启动参数、进程最小数量、进程最大数量和当前进程数量中的任意一种或多种；所述相关参数包括通道技术和/或通信内容。

4.根据权利要求1所述的一种面向复杂场景的多计算模型管理方法，其特征在于：所述对进程计算图进行校验包括计算节点的相应参数与通道的相关参数的配置是否符合逻辑，以及计算图是否符合有向无环图的定义。

5.根据权利要求1所述的一种面向复杂场景的多计算模型管理方法，其特征在于：多个所述模型包括良恶性分类模型、属性分类模型和集成模型；

将检测模型检测的检测结果由共享通道分别传输到良恶性分类模型和属性分类模型，良恶性分类模型和属性分类模型分别计算完毕后，将计算的数据输出到集成模型，所述集成模型将良恶性分类模型和属性分类模型的计算结果进行集成计算后，由双向通道传输给TCP通信接收进程。

Images