CN115035044A - 一种应用于工业质检的智能ai平台 - Google Patents

Abstract

本发明提出了一种应用于工业质检的智能AI平台，构建并采用包括Web客户端、后台服务端、数据管理端以及AI计算端相分离的平台架构，四端非耦合且通过接口相连通信，互相调用实现四端使用不同的框架分离开发。以服务端为平台中枢实现不同的业务功能，连接客户端、数据端和计算端。通过数据端充分利用并管理存储资源，通过计算端实现AI计算和计算资源管理。通过客户端进行友好的人机交互，实现一键化AI计算操作。应用本发明的智能AI平台，利用平台的存储空间和计算资源，降低了前期预研的硬件成本，并且一键化的训练和部署方案大大提高了AI业务应用效率、成倍降低人力成本和时间成本。

Description

一种应用于工业质检的智能AI平台

技术领域

本发明涉及深度学习技术在工业质检应用的一种模式，更具体地说，是一种将工业质检智能化的解决方案平台化、自动化的模式架构。

背景技术

随着工业生产中无人化和智能化操作的普及及对劳动力解放的进步，AI智能技术开始引入到工业生产的方方面面，其中工业质检是对AI智能技术需求最明显的方面。

目前，因为工业生产的产品不同，工业质检的任务也必然种类繁多，AI智能技术应用也相应地要求高定制化。而高定制化导致不同的产品的解决方案很难具有共同性，反而会造成大量的重复工作和资源浪费。并且AI智能技术的核心深度学习需依赖高素质的算法工程师、大量数据储备和高性能的计算设备。对常规企业来说，在无法确定结果之前需要在预研和采购设备上花费大量时间和成本。

综上所述，如何解决AI智能技术在工业质检应用中因大量预研工作造成的时间和成本，降低应用技术的复杂度，发现AI智能技术在工业质检应用的共同之处并加以普及，是目前本领域技术人员亟待解决的技术问题。

发明内容

鉴于上述现有技术的不足，本发明的目的旨在提出应用于工业质检的智能AI平台，解决对于工业AI应用场景中大量预研工作需要的成本，降低对已有AI业务的维护和扩展难度，提供一个快捷、简单、去工程师化的AI平台，填补普通企业在AI计算方向的空白。

本发明实现上述目的的技术解决方案是：构建一种包括Web客户端、后台服务端、数据管理端以及AI计算端相分离的平台架构，四端非耦合且通过接口相连通信，实现原理包括：建立一套AI计算业务流程，实现非专业人员经过简单引导便可完成全部的AI计算任务；其中的自动化AI计算基于AutoML技术，实现神经网络的自动优化、自动调参、自动训练和测试等功能，实现将复杂的AI模型训练任务自动化、一键化。且上述平台架构中：

在后台服务端设置的资源监控和调度模块，用于实时监控系统当前系统对硬件资源的使用状况，并对模型训练过程中计算资源的调度。

在Web客户端设置的项目管理模块，用于对项目进行创建、修改、删除及可视化对应的数据集、模型。

在数据管理端设置的数据管理模块和数据标注模块，其中所述数据管理模块用于数据集的上传与管理，将用户上传的压缩包文件自动进行解压，根据项目类型自动调整数据集存储格式，并保存至数据库中进行存储，同时对数据集中的类别或图片进行添加或删除操作，所述数据标注模块用于对检测项目和分割项目的数据集进行标注，标注后生成对应的标签文件并进行存储使用。

在AI计算端设置的模型训练模块和模型部署模块，其中所述模型训练模块用于调用用户上传的数据集并根据用户所选的模型与参数对项目模型进行一键式训练与测试；所述模型部署模块用于根据用户所需的应用平台环境以及项目类型，对训练好的模型进行一键式部署，生成部署好的模型与相关文档。

而上述AI计算业务流程具体的实现过程包括：项目构建，数据集准备，AI模型训练，AI模型部署四个主要阶段，其中：

项目构建阶段，根据对AI业务的需求评估选择适合需求的任务类型，任务类型包括图像分类、目标检测及图像分割等。

数据集准备阶段，根据选择的不同项目类型安装指引准备不同数据集，可以上传对应的图片数据和标签数据，也可以在上传图片数据后使用平台提供的在线标注工具为数据集构建标签数据。

AI模型训练阶段，选择对应项目和对应的数据集，根据需求选择算法类型，包括但不限于：高精度模型、高速度模型及性能均衡模型等，通过一键化点击完成模型训练，并且可以实时观测到模型训练中各项性能指标到变化情况。

AI模型部署阶段，完成模型训练之后，根据需求选择部署的方案，平台提供在线云部署和离线开发包部署两种方案。

应用本发明智能AI平台，较之于传统方案具备显著的进步性：利用平台的存储空间和计算资源，降低了前期预研的硬件成本，并且一键化的训练和部署方案大大提高了AI业务应用效率、成倍降低人力成本和时间成本。

附图说明

图1为本发明智能AI平台的功能模块示意图。

图2为本发明AI模型自动训练的算法流程图。

图3为本发明AI模型部署的算法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

鉴于当前工业生产质检对AI智能技术需求增大与应用场景中实施预研成本高的矛盾，本发明设计者着眼于工业质检过程中应用AI技术所涉及的诸多硬件终端及其宏观架构，创新提出了一种四端分离的智能AI平台，所谓分离指的是Web客户端、后台服务端、数据管理端以及AI计算端互不耦合（功能各自独立），并通过接口相连通信，以实现功能上的串联。在开发过程中，通过四端分离从而使得分工更加明确，更多地提升开发效率，同时能够迅速定位并修复系统中出现的问题；在运行过程中，可以减少后端服务器的并发/负载压力，且即使后端服务器暂时超时或出现宕机，也能保障前端页面正常访问，从而加快整体响应速度、加强项目鲁棒性、降低维护成本。

如图1所示，为本发明工业质检智能AI平台的优选实施例中功能模块的分布，其包括在后台服务端设置的“资源监控和调度模块”，用于实时监控系统当前系统对硬件资源的使用状况，并对模型训练过程中计算资源的调度。在Web客户端设置的“项目管理模块”，用于对项目进行创建、修改、删除及可视化对应的数据集、模型。在数据管理端设置的“数据管理模块”和“数据标注模块”，其中数据管理模块用于数据集的上传与管理，将用户上传的压缩包文件自动进行解压，根据项目类型自动调整数据集存储格式，并保存至数据库中进行存储，同时对数据集中的类别或图片进行添加或删除操作，所述数据标注模块用于对检测项目和分割项目的数据集进行标注，标注后生成对应的标签文件并进行存储使用。在AI计算端设置的“模型训练模块”和“模型部署模块”，其中所述模型训练模块用于调用用户上传的数据集并根据用户所选的模型与参数对项目模型进行一键式训练与测试；所述模型部署模块用于根据用户所需的应用平台环境以及项目类型，对训练好的模型进行一键式部署，生成部署好的模型与相关文档。

从更进一步细化特征来看，上述资源监控和调度模块的功能实现在于：平台通过联网接入规模数量的服务器、计算机设备，具有大量的存储空间和计算资源，需要充分利用和监控存储空间和计算资源。由此平台使用hadoop分布式存储的方式充分利用并监控存储空间，将数据文件和模型文件多点保存，做到大数据的快速读写，并且多点保存以防出现单机宕机导致的业务崩溃。同时，使用MySql数据库管理文件保存路径，将数据端与服务端分离，服务端通过MySql获取文件路径，通过数据端开放接口进行文件读写。再者，平台使用k8s搭建多机多卡的深度学习计算集群充分利用并监控计算资源，通过评估计算任务需要的计算资源，自动生成配置文件分配计算节点和计算资源。

上述项目管理模块的功能实现在于：用户可以创建不同类型的项目，系统支持分类任务、检测任务以及分割任务，用户可以根据自己的需求创建、修改、删除对应任务的项目，并设定项目的名称、类型以及详细说明等信息，系统会自动生成相应配置并进行存储。若用户需求在系统中已存在相应的项目，可以直接进行项目的复制；同样，用户也可以将自己的项目公开以供他人使用。

其中功能更细化地，1.1、项目创建：用户可以在过自己的客户终端设备（即前述简称的客户端）打开平台，并在平台上注册一个账号，然后使用注册的账户登录平台。登录后用户可根据自己的项目任务类型，并输入项目的名称与项目介绍等信息，对虚拟项目进行创建。可选地，项目任务类型包括：图像分类、目标检测与图像分割三种。图像分类任务是识别一张图中是否是某类物体/状态/场景；目标检测任务是在一张图包含多个物体的情况下，识别出每个物体的位置、数量、名称；图像分割任务对比目标检测任务，支持用多边形标注训练数据，模型可像素级识别目标，适合图中有多个主体、需识别其位置或轮廓的场景。系统会自动生成相应配置并进行存储。

1.2、项目修改：创建项目的后续操作与管理，包括用户创建对应任务的项目并设定项目的名称、类型以及详细说明等信息后，还可再对其名称、详细说明等信息进行修改，系统也会同时对相应配置文件进行同步修改。

上述数据管理模块和数据标注模块均赖以与Web客户端联网运行，其功能实现上，利用数据管理模块，用户可以为不同的项目创建对应的数据集，数据集上传方式可以批量上传或者单张图片上传，其中批量上传具有断点续传的功能。用户可以可视化查看数据集的信息，包括数据集属性信息：单张图片、数据集数量、大小和类别分布信息等。对于分类、检测、分割任务的数据集，系统兼容主流的标注类型，用户可以选择自己数据集对应的标注类型进行上传。用户还可以使用已公开的数据集，同样用户也可以将自己的数据集公开以供他人使用。

当用户上传完整数据集后，系统会根据用户数据集的任务类型和标注类型进行自动转化。项目中数据集标签信息统一使用json格式进行管理，数据集导出时可以选择默认的json格式或者其它主流的标注格式。

而利用数据标注模块，系统可对于用户上传的未标注的数据集可以根据不同的任务类型进行标注，其中标注工具包含矩形标注工具、多边形标注工具，图片支持拖拽、缩放以及缩略图显示等操作，且可以设置显示鼠标十字线以及标签名称从而辅助标注过程，并记录操作历史，可以操作管理历史记录，从而有效避免数据泄露，同时提升标注效率。

其中功能更细化地，2.1、数据集创建：用户可以在项目创建后，在数据管理模块中选择数据集创建，输入数据集的名称与项目介绍等信息，完成对该项目的数据集进行创建。

2.2、数据集上传：创建数据集后用户可以根据项目类型，选择如分类数据集或检测数据集等不同类型的数据集进行上传，系统会将用户上传的压缩包文件自动进行解压，根据其项目类型自动调整分类数据集存储格式或检测数据集存储格式，并保存至数据库中进行存储。可选地，分类任务数据集为：

，其中

为用户上传的图片，l为该图片所属的类别，n为该数据集所有的图片数量，c为任务类型指代。检测任务数据集为：

，其中

为用户上传的图片，

是第i张图像中的物体坐标与所属的类别信息，大小为p×5，p>0为图中目标物体的个数，五列数据中，第一列表示该物体所属的类别，取值为0至该项目总类别数减1，后面四列分别表示该物体所在的x轴中央位置、y轴中央位置、宽度与长度，这四列是对于图像分辨率大小归一化后0到1之间的数值，左上角坐标为(0,0)，右下角坐标为(1,1)，d为任务类型指代，n、m分别对应该数据集所有的图片数量及其所属的类别信息数量。

2.3、数据集标注：对于用户仅上传了数据集图片而没有上传对应标签的情况，平台提供了用户在平台对数据图像进行在线标注的过程，用户可以在数据集查看页面选择未标注的图像并跳转至平台提供的图像标注界面进行标注。

在分类任务的标注中，标注界面中为用户提供了选择图像、选择类别、新增类别、返回键等选项，用户可以通过选择图像选项打开所需标注的图像，并选择该图像对应的类别标签，之后点击保存键即可完成标注。

对于目标检测任务或目标分割任务，标注界面中为用户提供了选择图像、放大图像、缩小图像、边界框、返回键等选项，用户可以通过选择图像选项，打开所需标注的图像。然后在该图像中，使用矩形或多边形边界框标注目标，并为目标添加标签，并点击保存键完成标注，之后平台会将获得目标的边界框与标签信息以json格式存入数据库中进行存储。

在图像标注界面中还会显示出该图像当前的标注信息，在右侧标注信息栏显示当前用户已经标注的目标信息，包括边界框信息、标签信息和历史操作，边界框信息代表被框选的目标的位置，标签信息代表该边界框中的目标所属的类别。

同时也可以对数据集中的标签或图片进行添加或删除操作。用户可以通过查询功能查看当前数据集的图片与标签信息，若图片对应的标签为目标检测标签或目标标签，用户还能够查看对应的标注框，对于标注出错或不再需要的图片，用户可以通过操作对该图像中已添加的标注进行修改或删除。

上述模型训练模块的功能实现在于：用户完成项目信息和数据集准备后接受后台服务端的调配，选择系统提供对应任务的网络结构，直接点击训练后，系统可根据数据集大小与任务类型等信息，自动生成匹配该训练任务的学习率、迭代次数等超参数，大大降低用户的使用门槛。并且在训练过程中可视化展示训练细节，并且定时校验模型，可以随时中断训练；训练结束后，系统根据训练及验证结果，给出数据的定性分析、定量分析和错误分析，辅助更专业的用户调整训练方案。

3.1、模型训练：包含神经网络的自动选择和参数的自动调节。如图2所示，平台基于AutoML技术，首先对数据集进行采样，使用小网络进行快速实验，分析数据集特征和记录最好的超参数。系统会积累保存不同的网络结构，学习到数据集的特性后，自动选择最合适的网络结构并进行进行微调，应用对应的超参数。在完全去工程师化的前提下，做到对不同数据集从网络结构上和训练细节上进行特定的优化。

自动调参：根据用户不同的专业程度，系统除了自动的网络选择和参数选择外，提供高度自定义的网络选择和参数选择。用户可以以提供网络结构配置文件和参数配置文件的方式进行训练的自定义，系统会自动保存用户的选择，以便于下一次训练进行快速选择。

3.2、实时信息反馈：网络训练过程中用户可以查看训练的实时信息，包括训练误差下降信息、训练进度、GPU使用率、CPU使用率和模型在验证集的准确率等等，将通过绘图、表格和文字等方式进行详细的展示。用户可以实时的观测到训练情况和模型的收敛程度，并且可以随时中断训练，中断后将保留收敛性最好的模型。用户中断训练或者训练结束后，系统将使用保存的模型在验证集上进行校验。根据结果进行定性分析和定量分析，辅助用户进一步优化、完善方案。

3.3、模型自定义测试：在用户完成训练后可以上传需要测试的新图片，选择需要测试的模型，对图片进行检测，进一步地验证模型的准确性。测试结果将返回测试的准确率，根据不同的任务类型返回对应的预测结果。如图像分类任务，返回结果为图片所属的类别；如目标检测任务，返回结果为目标的边界框的位置和目标所属的类别。

上述模型部署模块的功能实现在于：如图3所示，用于开发者能够一键式部署AI模型，并且无须关心开发过程。根据用户所需的应用平台环境以及项目类型，对训练好的模型进行一键式部署，对模型进行转化，若用户使用CPU平台则转化成onnx模型；若用户使用GPU平台，则使用TensorRT工具转化为trt模型，从而极大的提高模型推断的速度，同时降低占用的设备内存，模型转换后根据用户所选的部署方式，进行本地部署或云端部署。

可选的一种本地部署方式，系统根据用户所选的使用平台与项目信息，一键生成转换后的模型文件以及配置文件，由用户下载对应的依赖包后再自己部署在私有CPU/GPU主机上进行本地部署，具有灵活性可控性高、数据安全性高、嵌入性高以及平台扩展性强等优势，且可以实现内外网隔离，不需要外网也可以使用。

可选的另一种云端部署方式，系统根据用户所选的使用平台与项目信息，将训练并优化完成的模型存储在云端并进行部署，用户可通过独立API调用模型，实现AI能力与业务系统或硬件设备整合，具有无需在本地配置复杂环境、使用简单，且不需要硬件服务器、不需要运维人员、使用成本低等优势。

综上关于本发明应用于工业质检的智能AI平台方案介绍及实施例详述可见，本方案具备突出的实质性特点和显著的进步性：利用平台的存储空间和计算资源，降低了前期预研的硬件成本，并且一键化的训练和部署方案大大提高了AI业务应用效率、成倍降低人力成本和时间成本。

除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (10)

1.一种应用于工业质检的智能AI平台，其特征在于：采用包括Web客户端、后台服务端、数据管理端以及AI计算端相分离的平台架构，四端非耦合且通过接口相连通信，所述平台架构中包含：

在后台服务端设置的资源监控和调度模块，用于实时监控系统当前系统对硬件资源的使用状况，并对模型训练过程中计算资源的调度；

在Web客户端设置的项目管理模块，用于对项目进行创建、修改、删除及可视化对应的数据集、模型；

在数据管理端设置的数据管理模块和数据标注模块，其中所述数据管理模块用于数据集的上传与管理，将用户上传的压缩包文件自动进行解压，根据项目类型自动调整数据集存储格式，并保存至数据库中进行存储，同时对数据集中的类别或图片进行添加或删除操作，所述数据标注模块用于对检测项目和分割项目的数据集进行标注，标注后生成对应的标签文件并进行存储使用；

在AI计算端设置的模型训练模块和模型部署模块，其中所述模型训练模块用于调用用户上传的数据集并根据用户所选的模型与参数对项目模型进行一键式训练与测试；所述模型部署模块用于根据用户所需的应用平台环境以及项目类型，对训练好的模型进行一键式部署，生成部署好的模型与相关文档。

2.根据权利要求1所述应用于工业质检的智能AI平台，其特征在于：所述资源监控和调度模块面向平台的存储空间和计算资源而设定，使用hadoop分布式存储的方式将数据文件和模型文件多点保存，并监控存储空间；使用MySql数据库管理文件保存路径，将数据管理端与后台服务端分离，并通过文件保存路径和开放接口进行文件读写；使用k8s搭建多机多卡的深度学习计算集群利用并监控计算资源，通过评估计算任务需要的计算资源，分配计算节点和计算资源。

3.根据权利要求1所述应用于工业质检的智能AI平台，其特征在于：所述项目管理模块通过Web页面与用户交互，支持用户创建分类任务、检测任务及分割任务，并按需设定项目名称、类型及说明，生成项目配置并上传存储于后台服务端，所存储的项目供直接调用。

4.根据权利要求1所述应用于工业质检的智能AI平台，其特征在于：所述数据管理模块与Web客户端联网运行，分为用户根据项目需求创建、上传数据集，查看数据集信息，以及用户调阅数据库，使用已公开的数据集；其中用户根据所对应的标注类型上传数据集，且数据管理模块根据数据集的任务类型和标注类型生成json格式的数据集标签信息。

5.根据权利要求1所述应用于工业质检的智能AI平台，其特征在于：所述数据标注模块对于用户上传且未标注的数据集根据任务类型及数据集信息进行标注，所用标注工具包括矩形标注器、多边形标注器，标注过程支持的操作包括图片拖拽、缩放、缩略图显示、显示鼠标十字线及标签名称；且标注过程记录操作历史。

6.根据权利要求1所述应用于工业质检的智能AI平台，其特征在于：所述模型训练模块接受后台服务端的调配，选择网络模型且根据数据集规模、任务类型，生成匹配训练任务的超参数，其中所述超参数至少包括训练任务的学习率、迭代次数；并在训练过程中通过绘图、表格、文字描述及其组合可视化展现训练细节，其中训练细节至少包括训练误差下降率、训练进度、GPU使用率、CPU使用率、模型在验证集下的准确率；随训练中断保留收敛性最好的模型或训练结束所得模型，并进行校验和测试，其中所述校验为在验证集上使用模型，并根据结果定性、定量分析，所述测试为基于所需上传的新图片使用模型进行检测，根据任务类型返回对应的测试结果及其准确率。

7.根据权利要求6所述应用于工业质检的智能AI平台，其特征在于：选择网络模型及其超参数的方法包括系统自选模式和自定义模式，其中所述系统自选模式为基于AutoML，系统对数据集采样，使用各个网络模型进行试验、分析数据集特征并记录最好的超参数，积累保存网络结构，系统学习数据集特征，选择最适合的网络结构并进行微调超参数；

所述自定义模式为基于系统积累保存的网络结构，由用户以提供配置文件的方式进行训练的自定义。

8.根据权利要求1所述应用于工业质检的智能AI平台，其特征在于：所述模型部署模块对训练好的模型进行转化，转化方向包括对应CPU平台的onnx模型和对应GPU平台的trt模型；模型转换后根据用户所选的部署方式，进行本地部署或云端部署。

9.根据权利要求8所述应用于工业质检的智能AI平台，其特征在于：所述本地部署为由用户下载模型文件及配置文件至私有CPU/GPU主机上。

10.根据权利要求8所述应用于工业质检的智能AI平台，其特征在于：所述云端部署为模型存储于云端并使用docker进行部署，用户通过独立API调用模型。

Images