CN115712483A - 工业算法平台化系统和方法 - Google Patents

Abstract

本发明提供了一种工业算法平台化系统和方法，包括：步骤1：创建虚拟环境；步骤2：根据用户需求对虚拟环境构建配置；步骤3：根据虚拟环境构建配置生成虚拟环境镜像；步骤4：根据执行算法请求生成算法运行配置，触发运行环境中异步执行算法程序，生成算法实例并记录对应的运行环境和异步执行句柄；步骤5：根据算法运行配置，使用虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；步骤6：进行算法探索、开发和测试，生成算法程序，在运行环境中运行并反馈结果至用户。本发明有效解决了工业数据智能化过程中，各种分析挖掘预测算法运行依赖复杂且相互之间干扰冲突的问题。

Description

工业算法平台化系统和方法

技术领域

本发明涉及算法平台化技术领域，具体地，涉及一种工业算法平台化系统和方法。

背景技术

随着工业的信息化发展推进，工业生产及企业管理过程中产生的数据越来越多，数据驱动推进智能化转型，让这些数据变为更有价值的资产。这个过程中，如何妥善利用好现有的数据进行分析挖掘和预测等算法对企业有价值的信息，面临着以下的挑战：

1.算法运行物理环境类型众多

工业生产基地用于运行算法的硬件种类繁多，并不都是PC服务器，操作系统，资源情况同样也是多样化的，以使用最广泛的算法语言python来说，运行严重依赖操作系统和硬件平台(不像JAVA由虚拟机来运行)，这对算法平台化也带了挑战。

2.算法运行依赖复杂、多变且难安装

最广泛使用的算法语言python版本众多且不兼容(甚至语法都不兼容)，而且基础算法库依赖非常多且极易发生冲突，显然每上线一个算法，就要在众多物理环境上手动安装依赖是不可行的。另外，标准化算法运行依赖也不太现实，毕竟连接不同的数据源的依赖包都是有可能冲突的。

结合上面描述的场景，可以看出，这个算法平台至少需要能够满足在不同硬件和软件资源的物理环境、执行依赖不同且可能冲突的算法，当然这些功能仅仅满足了算法的执行，还需要其他的功能支持，比如算法探索、开发、发布等。鉴于此，满足以下几个功能的算法平台显然是迫切需要的：

1.算法跨平台的运行支持；

2.算法运行资源可弹性扩展；

3.算法运行依赖能够相互隔离；

4.算法运行依赖能够方便的部署；

现有的算法平台多数在算法运行资源的可弹性扩展方面做的比较好，以及算法探索、开发、发布功能都能大致满足工业场景的需求，然而对于跨平台支持，运行依赖隔离性，运行依赖部署的方便程度甚少涉足。常见的算法平台，通常为用户提供几个初始的容器环境，比如分别适用于python2 x64 CPU/GPU、python3 x64 CPU/GPU的四个容器环境。

这样以来，用户开发算法A的时候，首先需要选择一个基础容器环境(比如python3x64 CPU)，接下来根据需要在其中手动安装需要的依赖包(安装过程通常很复杂)，然后才是开发，待算法A开发完成并发布之后，也只能在x64 CPU的物理环境运行(无法跨平台)。之后，用户继续基于python3 x64 CPU来开发算法B，那么此前为算法A安装的依赖就自动包含在了算法B的运行依赖中相互干扰(无法做到隔离)。显然整个过程，用户体验非常不友好，并且已经开发好的算法也难于广泛使用。

出于以上原因，现有的常见的算法平台无法满足需求，迫使我们探究更为适合工业场景的算法平台。

专利文献CN1750029A(申请号：CN200510094958.2)公开了一种基于进化算法的优化平台，它用于线性规划、非线性规划等单目标约束优化问题的求解，特别是多极值全局优化问题的精确求解。然而该专利的算法运行依赖复杂、多变且难安装。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种工业算法平台化系统和方法。

根据本发明提供的工业算法平台化系统，包括：

模块M1：创建虚拟环境，并对虚拟环境进行管理；

模块M2：根据用户需求对虚拟环境构建配置，并对配置进行管理；

模块M3：根据虚拟环境构建配置生成虚拟环境镜像；

模块M4：根据执行算法请求生成算法运行配置，触发运行环境中异步执行算法程序，生成算法实例并记录对应的运行环境和异步执行句柄；

模块M5：根据算法运行配置，使用虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；

模块M6：进行算法探索、开发和测试，生成算法程序，在运行环境中运行并反馈结果至用户。

优选的，所述模块M1包括：定义虚拟环境运行依赖、更新虚拟环境运行依赖、删除虚拟环境和查询虚拟环境信息。

优选的，所述模块M2包括：配置支持的运行环境类型、更新支持的运行环境类型、根据条件查询虚拟环境镜像信息、监控虚拟环境镜像构建状态和维护所有虚拟环境镜像信息。

优选的，所述模块M3包括：按虚拟环境构建的配置的版本及标签将镜像存储到镜像仓库，在异步执行算法时选用对应虚拟环境镜像。

优选的，所述模块M4包括：监控算法实例状态、维护算法实例信息和查询算法实例详情；

所述算法运行配置包括：镜像地址、程序地址、物理环境及资源；

所述算法实例信息包括：状态、日志及结果。

根据本发明提供的工业算法平台化方法，包括：

步骤1：创建虚拟环境，并对虚拟环境进行管理；

步骤2：根据用户需求对虚拟环境构建配置，并对配置进行管理；

步骤3：根据虚拟环境构建配置生成虚拟环境镜像；

步骤4：根据执行算法请求生成算法运行配置，触发运行环境中异步执行算法程序，生成算法实例并记录对应的运行环境和异步执行句柄；

步骤5：根据算法运行配置，使用虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；

步骤6：进行算法探索、开发和测试，生成算法程序，在运行环境中运行并反馈结果至用户。

优选的，所述步骤1包括：定义虚拟环境运行依赖、更新虚拟环境运行依赖、删除虚拟环境和查询虚拟环境信息。

优选的，所述步骤2包括：配置支持的运行环境类型、更新支持的运行环境类型、根据条件查询虚拟环境镜像信息、监控虚拟环境镜像构建状态和维护所有虚拟环境镜像信息。

优选的，所述步骤3包括：按虚拟环境构建的配置的版本及标签将镜像存储到镜像仓库，在异步执行算法时选用对应虚拟环境镜像。

优选的，所述步骤4包括：监控算法实例状态、维护算法实例信息和查询算法实例详情；

所述算法运行配置包括：镜像地址、程序地址、物理环境及资源；

所述算法实例信息包括：状态、日志及结果。

与现有技术相比，本发明具有如下的有益效果：

本发明的xIn3Plat已经在宝信实施的多个数据智能化项目中得以使用，有效解决了工业数据智能化过程中，各种分析挖掘预测算法运行依赖复杂且相互之间干扰冲突的问题，以及发布的算法广泛使用中遇到的安装部署复杂，以及跨平台执行的问题。在今后任何应用xIn3Plat的项目中，都可以应用本发明的方案。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为虚拟环境主场景流程图；

图2为算法主场景流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1：

如图1，根据本发明提供的工业算法平台化系统，包括如下模块：

1.虚拟环境配置管理模块

负责提供与用户的交互，如：创建虚拟环境、定义运行依赖、更新运行依赖、删除虚拟环境、查询虚拟环境信息。

2.虚拟环境镜像管理模块

负责提供与用户或其他模块的交互以及信息维护，如：配置支持的运行环境类型、更新支持的运行环境类型、根据条件查询虚拟环境镜像信息、根据用户操作自动生成必要的虚拟环境构建配置并触发构建、监控虚拟环境镜像构建状态、维护所有虚拟环境镜像信息。

3.虚拟环境镜像生成模块

负责根据虚拟环境构建配置，进行虚拟环境镜像的构建，并将镜像按配置的版本及标签发布到镜像仓库。

4.算法实例管理模块

负责提供与用户或其他模块的交互以及信息维护，如：根据要求生成算法运行配置(镜像地址、程序地址、物理环境及资源)并触发运行环境执行算法、监控算法实例状态、维护算法实例信息(状态、日志及结果)、查询算法实例详情。

5.算法程序执行模块

负责在指定的物理环境，按照运行配置异步执行算法并返回异步句柄，查询异步执行句柄状态。

6.其他功能模块

负责算法探索、开发、测试、发布、生产等，这些模块负责提供给用户更丰富的功能，但其都会生成算法程序，并通过在运行环境中运行并反馈结果至用户。

如图2，是对算法平台主场景流程的描述：

1)管理员通过虚拟环境镜像管理模块，配置当前已知的物理运行环境类型信息；

2)用户通过虚拟环境配置管理模块，创建虚拟环境，并定义其运行依赖，然后根据配置信息，结合管理员配置的物理运行环境类型生成对应的镜像构建配置，触发虚拟环境镜像生成模块去生成镜像，并记录构建句柄；

3)虚拟环境镜像生成镜像模块，根据镜像构建配置，异步构建镜像且返回异步构建句柄，并提供异步构建句柄状态查询；

4)虚拟环境配置管理模块，后台会一直监控记录的所有未完成的异步构建句柄状态，当构建完成后，维护虚拟环境的镜像信息(包括版本、标签、地址等)；

5)管理员通过虚拟环境镜像管理模块，添加物理运行环境类型信息，则遍历所有已配置的虚拟环境，自动触发构建(同步骤2部分)；

6)用户通过其他功能模块，进行算法探索、开发、测试、发布、生产的过程，都会生成算法程序，以及配置执行所需的虚拟环境及其他相关的信息，然后通过算法实例管理模块去执行算法程序，最后获取执行结果呈现给用户；

7)算法实例管理模块，根据接收到的执行算法请求，生成算法运行配置(对应的虚拟环境镜像地址、算法程序地址、物理环境及资源)，然后触发算法执行模块在具体的运行环境中异步执行算法程序，并生成算法实例，且记录对应的运行环境和异步执行句柄；

8)算法执行模块，根据算法运行配置，使用具体的虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；

算法实例管理模块，后台会一直监控所有记录的未完成的异步执行句柄的状态，当执行完成时，维护算法实例的详情(状态、日志、结果)，并提供算法实例详情查询。

根据本发明提供的工业算法平台化方法，包括：步骤1：创建虚拟环境，并对虚拟环境进行管理；步骤2：根据用户需求对虚拟环境构建配置，并对配置进行管理；步骤3：根据虚拟环境构建配置生成虚拟环境镜像；步骤4：根据执行算法请求生成算法运行配置，触发运行环境中异步执行算法程序，生成算法实例并记录对应的运行环境和异步执行句柄；步骤5：根据算法运行配置，使用虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；步骤6：进行算法探索、开发和测试，生成算法程序，在运行环境中运行并反馈结果至用户。

所述步骤1包括：定义虚拟环境运行依赖、更新虚拟环境运行依赖、删除虚拟环境和查询虚拟环境信息。所述步骤2包括：配置支持的运行环境类型、更新支持的运行环境类型、根据条件查询虚拟环境镜像信息、监控虚拟环境镜像构建状态和维护所有虚拟环境镜像信息。所述步骤3包括：按虚拟环境构建的配置的版本及标签将镜像存储到镜像仓库，在异步执行算法时选用对应虚拟环境镜像。所述步骤4包括：监控算法实例状态、维护算法实例信息和查询算法实例详情；所述算法运行配置包括：镜像地址、程序地址、物理环境及资源；所述算法实例信息包括：状态、日志及结果。

实施例2：

实施例2为实施例1的优选例。

宝信自研工业互联网平台xIn3Plat中的算法平台

实现方式：

1.虚拟环境配置管理模块中，实现了Restful接口，并基于Restful接口提供网页端管理页面。

2.虚拟环境镜像配置管理模块中，实现了Restful接口，并基于Restful接口提供网页端管理页面。

3.虚拟环境镜像生成模块，使用了镜像技术，将虚拟环境中定义的运行依赖保存在适合各个平台的不同镜像中。

4.算法实例管理模块，实现了Restful接口，供用户以及其他模块使用。

5.算法执行模块，使用了容器技术，使用适合当前运行环境的镜像，通过容器运行算法，使得执行之间相互无干扰。

6.其他功能模块，通过Restful接口调用算法实例管理模块，完成算法程序的执行以及结果获取并呈现给用户。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种工业算法平台化系统，其特征在于，包括：

模块M1：创建虚拟环境，并对虚拟环境进行管理；

模块M2：根据用户需求对虚拟环境构建配置，并对配置进行管理；

模块M3：根据虚拟环境构建配置生成虚拟环境镜像；

模块M4：根据执行算法请求生成算法运行配置，触发运行环境中异步执行算法程序，生成算法实例并记录对应的运行环境和异步执行句柄；

模块M5：根据算法运行配置，使用虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；

模块M6：进行算法探索、开发和测试，生成算法程序，在运行环境中运行并反馈结果至用户。

2.根据权利要求1所述的工业算法平台化系统，其特征在于，所述模块M1包括：定义虚拟环境运行依赖、更新虚拟环境运行依赖、删除虚拟环境和查询虚拟环境信息。

3.根据权利要求1所述的工业算法平台化系统，其特征在于，所述模块M2包括：配置支持的运行环境类型、更新支持的运行环境类型、根据条件查询虚拟环境镜像信息、监控虚拟环境镜像构建状态和维护所有虚拟环境镜像信息。

4.根据权利要求1所述的工业算法平台化系统，其特征在于，所述模块M3包括：按虚拟环境构建的配置的版本及标签将镜像存储到镜像仓库，在异步执行算法时选用对应虚拟环境镜像。

5.根据权利要求1所述的工业算法平台化系统，其特征在于，所述模块M4包括：监控算法实例状态、维护算法实例信息和查询算法实例详情；

所述算法运行配置包括：镜像地址、程序地址、物理环境及资源；

所述算法实例信息包括：状态、日志及结果。

6.一种工业算法平台化方法，其特征在于，包括：

步骤1：创建虚拟环境，并对虚拟环境进行管理；

步骤2：根据用户需求对虚拟环境构建配置，并对配置进行管理；

步骤3：根据虚拟环境构建配置生成虚拟环境镜像；

步骤4：根据执行算法请求生成算法运行配置，触发运行环境中异步执行算法程序，生成算法实例并记录对应的运行环境和异步执行句柄；

步骤5：根据算法运行配置，使用虚拟环境镜像异步执行算法并返回异步执行句柄，并提供异步执行句柄状态查询；

步骤6：进行算法探索、开发和测试，生成算法程序，在运行环境中运行并反馈结果至用户。

7.根据权利要求6所述的工业算法平台化方法，其特征在于，所述步骤1包括：定义虚拟环境运行依赖、更新虚拟环境运行依赖、删除虚拟环境和查询虚拟环境信息。

8.根据权利要求6所述的工业算法平台化方法，其特征在于，所述步骤2包括：配置支持的运行环境类型、更新支持的运行环境类型、根据条件查询虚拟环境镜像信息、监控虚拟环境镜像构建状态和维护所有虚拟环境镜像信息。

9.根据权利要求6所述的工业算法平台化方法，其特征在于，所述步骤3包括：按虚拟环境构建的配置的版本及标签将镜像存储到镜像仓库，在异步执行算法时选用对应虚拟环境镜像。

10.根据权利要求6所述的工业算法平台化方法，其特征在于，所述步骤4包括：监控算法实例状态、维护算法实例信息和查询算法实例详情；

所述算法运行配置包括：镜像地址、程序地址、物理环境及资源；

所述算法实例信息包括：状态、日志及结果。

Images