CN113590112A - 工业ai项目开发平台 - Google Patents

Abstract

本申请公开了一种工业AI项目开发平台，涉及互联网技术领域。该工业AI项目开发平台包括物理硬件层、计算资源层、训练框架层、应用服务层、交互界面层；交互界面层位于应用服务层之上，应用服务层位于训练框架层之上，训练框架层位于计算资源层之上，计算资源层位于物理硬件层之上；计算资源层包括分布式计算资源集群和分布式存储集群；训练框架层与计算资源层进行数据交互，训练框架层包括深度学习框架；应用服务层用于提供工业AI项目开发平台的核心功能；交互界面层用于提供集成基础业务功能的用户界面；解决了目前的AI项目开发平台难以满足不同机器学习背景的开发人员的功能需求的问题；达到了令工业AI开发平台适用性更强的效果。

Description

工业AI项目开发平台

技术领域

本申请涉及互联网技术领域，具体涉及一种工业AI项目开发平台。

背景技术

目前企业在选用AI(Artificial Intelligence，人工智能)项目开发平台时，一般需要在公有云平台和私有云平台中进行选择。公有云平台需要企业上传AI应用开发的大量数据，占用的带宽和存储量较大，数据安全方面也有泄漏的风险。基于公有云的AI项目开发平台主要有：Aws sagemake、MS azure ML studio、Baidu AI Studio、Tecent TI-ML、Huawei ModelArts等。基于私有云的AI项目开发平台更适合企业数据财产安全及定制化的需求，这类AI项目开发平台主要有：Kubeflow、MS OpenPAI、Inspur AI Station、SugonSothisAI、Qincloud kubesphere等。

不同的AI项目开发平台采用不同的用户界面辅助开发，具有不同的功能特点。然而，由于AI项目开发涉及不同部门、不同知识背景的人员，现有的AI项目开发平台难以满足不同机器学习背景的开发人员的功能需求。

以Kubeflow和Qincloud kubesphere为例。Kubeflow把诸多对机器学习的支持，比如：模型训练、超参数训练、模型部署等进行模块分割并采用容器化的方式进行部署，提高了各个系统的高复用性及高扩展性，从而用户可以利用它进行不同的机器学习任务，但其对于多租户场景以及工业AI应用开发全流程场景支持较弱。Qincloud kubesphere是一个具有多堆栈自动IT操作和简化的DevOps工作流程的多租户企业级容器平台，提供了开发人员友好的向导Web UI，可以帮助公司构建功能更强大，功能更丰富的平台，具有企业Kubernetes战略所需的最常见功能，比如：Kubernetes资源管理、DevOps(CI/CD)、应用程序生命周期管理、多租户访问控制、GPU支持、多集群部署等，但对于机器学习应用程序开发过程缺少定制化。

发明内容

为了解决相关技术中的问题，本申请提供了一种工业AI项目开发平台。该技术方案如下：

一方面，本申请实施例提供了一种工业AI项目开发平台，包括物理硬件层、计算资源层、训练框架层、应用服务层、交互界面层；

交互界面层位于应用服务层之上，应用服务层位于训练框架层之上，训练框架层位于计算资源层之上，计算资源层位于物理硬件层之上；

计算资源层包括分布式计算资源集群和分布式存储集群，用于存储数据、交换数据、执行计算任务和存储任务；

训练框架层与计算资源层进行数据交互，训练框架层包括深度学习框架；

应用服务层用于提供工业AI项目开发平台的核心功能，核心功能至少包括模型开发、模型训练；

交互界面层用于提供集成基础业务功能的用户界面，基础业务功能至少包括项目管理、开发交互、模型管理、数据集管理、用户管理。

可选的，核心功能还包括辅助建模。

可选的，核心功能还包括Git、Wiki、访问控制网关。

可选的，应用服务层用于从交互界面层获取API调用请求，根据API调用请求调用后台服务组件以实现工业AI项目开发平台的核心功能。

可选的，当所述核心功能包括模型开发、模型训练时，所述后台服务组件包括模型开发服务、模型训练服务；

当所述核心功能还包括辅助建模时，所述后台服务组件还包括辅助建模服务；

当所述核心功能还包括Git、Wiki、访问控制网关时，所述后台服务组件还包括Git服务、Wiki服务、访问控制网关服务。

可选的，模型开发服务和模型训练服务使用共享GPU容器实例。

可选的，辅助建模服务用于实现超参数搜索和网络结构搜索的功能。

可选的，访问控制网关服务用于实现单点登录、拦截API请求、验证帐户资源访问权限的功能。

可选的，Git服务用于实现基于Gitlab的代码共享和代码版本管理的功能。

可选的，Wiki服务用于实现基于Wiki的项目文档共享和项目文档版本管理的功能。

可选的，深度学习框架至少包括Tensorflow、Pytorch、Keras、mxnet。

可选的，训练框架层包括SA算法包、Detectron算法包和Opt算法包中的至少一种。

可选的，计算资源层用于接收训练框架层传输的计算任务和存储任务，并利用分布式计算资源集群执行计算任务和存储任务。

可选的，在计算资源层，分布式计算资源集群基于Kubernetes构建。

可选的，在计算资源层，分布式计算资源集群基于OpenShift构建。

可选的，在计算资源层，将运行环境配置为Docker。

可选的，在计算资源层，将运行环境配置为containerd。

可选的，在计算资源层，分布式存储集群采用GlusterFS或NFS。

可选的，在计算资源层，网络方案采用Calico。

本申请技术方案，至少包括如下优点：

本申请实施例提供的工业AI项目开发平台，包括物理硬件层、计算资源层、训练框架层、应用服务层、交互界面层，根据实际的工业AI项目开发流程设计工业AI项目开发平台的架构，满足不同机器学习背景的开发人员的使用需求，解决了目前的AI项目开发平台难以满足不同机器学习背景的开发人员的功能需求的问题；达到了令工业AI开发平台适用性更强的效果。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种工业AI项目开发平台的结构图；

图2是本申请实施例提供的工业AI项目开发平台的功能模块示意图；

图3是本申请实施例提供的一种工业AI项目开发平台的架构图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

请参考图1，其示出了本申请实施例提供的一种工业AI项目开发平台的结构图，该工业AI项目开发平台包括物理硬件层110、计算资源层120、训练框架层130、应用服务层140、交互界面层150。

交互界面层150位于应用服务层140之上，应用服务层140位于训练框架层130之上，训练框架层130位于计算资源层120之上，计算资源层120位于物理硬件层110之上。

物理硬件层110包括若干个硬件设备。物理硬件层110为物理机和/或虚拟机构成的计算机集群，用于为该工业AI项目开发平台提供计算和存储、网络能力。

物理硬件层110包括CPU、GPU、内存、存储器、网络设备等硬件设备。

计算资源层120包括分布式计算资源集群和分布式存储集群，用于存储数据、交换数据、执行计算任务和存储任务。

训练框架层130与计算资源层120进行数据交互。

通过抽象计算资源层120，可以使该工业AI项目开发平台所使用的物理硬件透明化，使得在物理硬件层中硬件设备规格未知的情况下，训练框架层130可以将计算任务传输至计算资源层120，由计算资源层120进行计算，以及，训练框架层130可以将存储任务传输至计算资源层120，由计算资源层120进行存储。

训练框架层130包括深度学习框架。训练框架层130中包括多种深度学习框架，训练框架层130支持多种计算引擎。

可选的，训练框架层130还包括个性化定制的算法包；个性化定制的算法包的功能根据实际情况确定。

应用服务层140用于提供工业AI项目开发平台的核心功能。核心功能至少包括模型开发、模型训练。

可选的，核心功能还包括辅助建模。

可选的，核心功能还包括git、wiki、访问控制网关等。

交互界面层150用于提供集成基础业务功能的用户界面。基础业务功能涵盖了工业AI项目开发的常用业务逻辑。

基础业务功能至少包括项目管理、开发交互、模型管理、数据集管理、用户管理等。

在开发和管理AI应用时，企业各部门的开发人员需要完成一系列的任务，相应地，AI项目的协作开发需要经历如下阶段：项目需求跟踪、原型构建、架构设计、数据处理、模型开发、模型训练、模型验证、预发布、验收测试、正式发布。

为了令本申请实施例提供的工业AI项目开发平台满足不同深度学习背景的开发人员的需求，本申请实施例提供的工业AI项目开发平台实现的功能可以划分为如下模块：数据管理模块21、模型及算法开发模块22、模型验证模块23、模型发布模块24、日志文档模块25、权限管理模块26，功能模块与AI项目开发的流程对应，如图2所示。

其中，数据管理模块21包括功能为：数据导入、数据标注、数据导出；模型及算法开发模块22包括的功能为：数据预处理、预定义算法、计算框架、代码编写环境；模型验证模块23包括的功能为：测试集管理、测试环境镜像、测试结果可视化；模型发布模块24包括的功能为：模型打包、模型签名、模型部署；日志文档模块25包括的功能为：模型日志、系统监控日志、文档维护；权限管理模块26包括的功能为统一登录验证、访问控制。

将用户管理与权限管理结合，通过权限管理功能，可以有效隔离不同类型用户的可见资源，提高了平台使用的安全性。

当用户登录本申请实施例提供的工业AI项目开发平台后，根据交互界面提供的引导标签，选择或执行相应的功能。

以某个AI项目的开发流程为例，在本申请实施例提供的工业AI项目开发平台上进行的操作为：文档维护(创建项目主页)→数据导入→数据标注→数据预处理(编写代码或利用训练框架层中提供的深度学习框架，对数据进行预处理)→调用预定义的算法→训练模型→搭建测试环境→测试模型→测试结果可视化→模型打包→设置签名→预发布项目→完善项目页面→发布项目。

在AI项目开发的各个阶段，各个开发人员可根据实际的任务需求登录本申请实施例提供的工业AI项目开发平台，利用该工业AI项目开发平台提供的功能完成相应的任务。

在基于图1所示实施例的可选实施例中，应用服务层140用于从交互界面层150获取API(Application Programming Interface，应用程序编程接口)调用请求，根据API调用请求调用后台服务组件以实现工业AI项目开发平台的核心功能。

如图3所示，当核心功能包括模型开发、模型训练时，后台服务组件包括模型开发服务、模型训练服务；当核心功能包括Git、Wiki、访问控制网关时，后台服务组件还包括Git服务、Wiki服务、访问控制网关服务。

当核心功能包括辅助建模时，后台服务组件还包括与辅助建模功能对应的辅助建模服务。

模型开发服务和模型训练服务使用共享GPU容器实例，解决了模型开发环境需求。

辅助建模服务用于实现超参数搜索和网络结构搜索的功能，辅助建模服务至少包括贝叶斯优化器、近端邻近强化学习优化器、差分进化算法优化器、粒子群优化算法优化器、禁忌搜索算法优化器。

访问控制网关服务用于实现单点登录、拦截API请求、验证帐户资源访问权限的功能。

可选的，访问控制网关服务基于Spring Cloud Gateway和OpenLdap，实现单点登录、拦截API请求、验证帐户资源访问权限的功能。

Git服务用于实现基于Gitlab的代码共享和代码版本管理的功能。

Wiki服务用于实现基于Wiki的项目文档共享和项目文档版本管理的功能。

如图3所示，训练框架层中的深度学习框架至少包括Tensorflow、Pytorch、Keras、mxnet。

可选的，训练框架层还包括个性化定制的算法包。个性化定制的算法包括SA(结构化数据分析)算法包、Detectron算法包、Opt(优化)算法包中的至少一种。

比如：训练框架层包括深度学习框架和SA算法包；或，训练框架层包括深度学习框架和Detectron算法包；或，训练框架层包括深度学习框架和Opt算法包；或，训练框架层包括深度学习框架和SA算法包、Detectron算法包；或，训练框架层包括深度学习框架和SA算法包、Opt算法包；或，训练框架层包括深度学习框架和Detectron算法包、Opt算法包；或，训练框架层包括深度学习框架和SA算法包、Detectron算法包、Opt算法包。

SA算法包用于处理结构化数据，包含的算法为：用于时序信号的自动特征生成的算法、用于生成时序embedding表征的深度学习网络、时序信号分类及回归模型、特征选择工具等。

Detectron算法包用于处理视频及图片数据，包含的算法为：用于数据增强的算法、检测网络、语义分割网络、分类网络。

Opt算法用于处理优化问题，包含的算法为：非梯度优化算法。

需要说明的是，各类算法包中包括的算法为现有的算法和/或根据实际应用需求自主研发的算法，本申请实施例对此不作限定。

在本申请实施例提供的工业AI项目开发平台的使用过程中，可以根据实际情况增加或修改训练框架层中包括的深度学习框架和/或算法包。

基于训练框架层中的深度学习框架和/或算法包，本申请实施例提供的工业AI项目开发平台可以方便开发人员撰写模型代码。

计算资源层120用于接收训练框架层130传输的计算任务和存储任务，并利用分布式计算资源集群执行计算任务和存储任务。计算资源层120自动与物理硬件层110进行交互，完成与硬件相关的操作。

可选的，在计算资源层120，分布式计算资源集群基于Kubernetes构建。

图3中示出的Kubernetes仅为示例性说明，本申请实施例对此不作限定。

可选的，在计算资源层120，分布式计算资源集群基于OpenShift构建。

可选的，在计算资源层120，将运行环境配置为Docker。

通过Docker解决了机器学习任务运行环境和多个版本的问题，保证在开发环境、测试环境、生产环境集群中运行任务的环境一致。图3中示出的Docker仅为示例性说明，本申请实施例对此不作限定。

可选的，在计算资源层120，将运行环境配置为containerd。

Docker和containerd均支持基于Kubernetes或OpenShift构建的分布式计算资源集群。

本申请实施例提供的工业AI项目开发平台基于容器镜像设计，可以实现不同用户针对不同AI项目或机器学习项目的开发场景定制开发工具集的效果。

在计算资源层120，分布式存储集群采用GlusterFS或NFS。

GlusterFS提供本机容器存储功能，以更低的成本为平台容器环境提供更高的效率。GlusterFS用于存储应用程序数据，如日志文件、非结构化数据、以及在大数据方案中生成的各种文件，比如：传感器数据、机器学习应用程序生成的日志文件以及各种富文本文件。

本申请实施例提供的工业AI项目开发平台采用分布式存储集群，可以有效地应对多租户场景。

在计算资源层120，网络方案采用Calico。

本申请实施例提供的工业AI项目开发平台，包括物理硬件层、计算资源层、训练框架层、应用服务层、交互界面层，根据实际的工业AI项目开发流程设计工业AI项目开发平台的架构，满足不同机器学习背景的开发人员的使用需求，解决了目前的AI项目开发平台难以满足不同机器学习背景的开发人员的功能需求的问题；达到了令工业AI开发平台适用性更强的效果。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。

Claims (19)

1.一种工业AI项目开发平台，其特征在于，包括物理硬件层、计算资源层、训练框架层、应用服务层、交互界面层；

所述交互界面层位于所述应用服务层之上，所述应用服务层位于所述训练框架层之上，所述训练框架层位于所述计算资源层之上，所述计算资源层位于所述物理硬件层之上；

所述计算资源层包括分布式计算资源集群和分布式存储集群，用于存储数据、交换数据、执行计算任务和存储任务；

所述训练框架层与所述计算资源层进行数据交互，所述训练框架层包括深度学习框架；

所述应用服务层用于提供工业AI项目开发平台的核心功能，所述核心功能至少包括模型开发、模型训练；

所述交互界面层用于提供集成基础业务功能的用户界面，所述基础业务功能至少包括项目管理、开发交互、模型管理、数据集管理、用户管理。

2.根据权利要求1所述的工业AI项目开发平台，其特征在于，所述核心功能还包括辅助建模。

3.根据权利要求1或2所述的工业AI项目开发平台，其特征在于，所述核心功能还包括Git、Wiki、访问控制网关。

4.根据权利要求1至3任一所述的工业AI项目开发平台，其特征在于，所述应用服务层用于从所述交互界面层获取API调用请求，根据所述API调用请求调用后台服务组件以实现所述工业AI项目开发平台的核心功能。

5.根据权利要求4所述的工业AI项目开发平台，其特征在于，当所述核心功能包括模型开发、模型训练时，所述后台服务组件包括模型开发服务、模型训练服务；

当所述核心功能还包括辅助建模时，所述后台服务组件还包括辅助建模服务；

当所述核心功能还包括Git、Wiki、访问控制网关时，所述后台服务组件还包括Git服务、Wiki服务、访问控制网关服务。

6.根据权利要求5所述的工业AI项目开发平台，其特征在于，所述模型开发服务和所述模型训练服务使用共享GPU容器实例。

7.根据权利要求5所述的工业AI项目开发平台，其特征在于，所述辅助建模服务用于实现超参数搜索和网络结构搜索的功能。

8.根据权利要求5所述的工业AI项目开发平台，其特征在于，所述访问控制网关服务用于实现单点登录、拦截API请求、验证帐户资源访问权限的功能。

9.根据权利要求5所述的工业AI项目开发平台，其特征在于，所述Git服务用于实现基于Gitlab的代码共享和代码版本管理的功能。

10.根据权利要求5所述的工业AI项目开发平台，其特征在于，所述Wiki服务用于实现基于Wiki的项目文档共享和项目文档版本管理的功能。

11.根据权利要求1至3任一所述的工业AI项目开发平台，其特征在于，所述深度学习框架至少包括Tensorflow、Pytorch、Keras、mxnet。

12.根据权利要求1至3任一所述的工业AI项目开发平台，其特征在于，所述训练框架层包括SA算法包、Detectron算法包和Opt算法包中的至少一种。

13.根据权利要求1至3任一所述的工业AI项目开发平台，其特征在于，所述计算资源层用于接收所述训练框架层传输的计算任务和存储任务，并利用所述分布式计算资源集群执行所述计算任务和所述存储任务。

14.根据权利要求1、2、3、13任一所述的工业AI项目开发平台，其特征在于，在所述计算资源层，所述分布式计算资源集群基于Kubernetes构建。

15.根据权利要求1、2、3、13任一所述的工业AI项目开发平台，其特征在于，在所述计算资源层，所述分布式计算资源集群基于OpenShift构建。

16.根据权利要求1、2、3、13、14、15任一所述的工业AI项目开发平台，其特征在于，在所述计算资源层，将运行环境配置为Docker。

17.根据权利要求1、2、3、13、14、15任一所述的工业AI项目开发平台，其特征在于，在所述计算资源层，将运行环境配置为containerd。

18.根据权利要求1、2、3、13任一所述的工业AI项目开发平台，其特征在于，在所述计算资源层，所述分布式存储集群采用GlusterFS或NFS。

19.根据权利要求1、2、3、13任一所述的工业AI项目开发平台，其特征在于，在所述计算资源层，网络方案采用Calico。

Images