CN113900669A - 基于bpmn的边缘设备目标检测流程自动化系统及方法 - Google Patents

Abstract

本发明涉及了一种基于BPMN的边缘设备目标检测流程自动化系统及方法，该系统包括基于BPMN流程规范的流程前端模块、动态表单前端模块、训练数据集目标标注前端模块、基于camunda流程引擎的流程后端模块、机器学习工作流任务调度模块、目标检测模型训练触发器匹配模块、Jenkins模型部署触发器匹配模块和存储模块。本发明基于BPMN2.0规范自动化在服务器端训练目标检测轻量模型并部署至移动边缘端的流程，简化目标检测部署中目标标注、模型选择与训练、超参数调整等步骤，并可重用已设计流程并用于其他目标检测任务，提高了开发边缘设备目标检测功能的效率。

Description

基于BPMN的边缘设备目标检测流程自动化系统及方法

技术领域

本发明涉及边缘计算目标检测领域，具体涉及一种基于BPMN的边缘设备目标检测流程自动化方法，。

背景技术

边缘设备通过在网络边缘提供计服务，一方面可以减少网络带宽的使用，另一方面提高了任务处理的实时性。然而边缘的节点由于自身资源或者计算能力有限，在处理目标检测模型训练的过程中面临计算力不足的情况，因此需要有后台服务器来进行模型训练的工作。然而，整个流程涉及到目标标注、轻量化模型选择、超参数选择、模型部署等工作，使得整个开发工作需要领域知识，且整个过程不能自动化，可视化，并且不可重用。然而开发边缘设备的目标检测系统具有相似的开发流程，有类似的代码结果，若重复开发边缘设备的目标检测系统，将会浪费大量的人力物力。

开发一些特定的目标检测系统时，还存在特定的功能需求。比如火灾监测系统不仅需要检测到火灾的发生，还需要定位火灾发生的坐标从而帮助灭火机器人快速定位火灾位置进行灭火。开发这个系统可以重用开发目标检测系统的流程，并在流程上加入一些新的服务任务流程，从而提高系统开发的效率。

发明内容

本发明的目的是克服现有技术存在的缺陷，提供一种提高了开发边缘设备目标检测功能的效率的一种基于BPMN的边缘设备目标检测流程自动化系统。

实现本发明目的的技术方案是：一种基于BPMN的边缘设备目标检测流程自动化系统，该系统包括前端模块、机器学习工作流任务调度模块、模型部署模块、存储模块和基于camunda流程引擎的后端模块；所述前端模块包括动态表单前端模块、训练数据集目标标注前端模块和BPMN流程前端模块；

所述BPMN流程前端模块用于供用户生成边缘设备目标检测流程自动化流程，并将流程数据以bpmn的格式发送到基于camunda流程引擎的后端模块，基于camunda流程引擎的后端模块解析生成的bpmn文件，并根据设定的工作流程调用机器学习任务；

所述基于camunda流程引擎的后端模块解析流程前端模块中的工作流对象，在流程部署后执行流程；其中，后台执行的服务任务与机器学习工作流任务调度模块通过订阅方式交互；

所述训练数据集目标标注前端模块，用于让用户上传图片，并在图片中标注需要检测的目标，保存图片以及标注数据至存储模块，并将文件路径提供给动态表单模块；

所述动态表单前端模块用于供用户自定义动态表单，并将表单数据以yml格式保存于存储模块；

所述机器学习工作流任务调度模块订阅服务任务主题，当后台流程执行到该任务主题时执行机器学习工作流的任务；

所述存储模块采用MinIO对象存储进行存储。

上述技术方案所述流程前端模块中的工作流对象主要包括开始事件，结束事件，服务任务，用户任务，脚本任务，互斥网关，并行网关，数据存储这八个对象。

上述技术方案所述存储模块包括数据存储模块，模型存储模块以及配置文件存储模块，其中，所述数据存储模块主要保存训练数据集以及验证数据集，保存格式为主要图片格式以及xml目标标注数据；所述模型存储模块保存可部署于边缘终端设备的模型，保存格式为pth文件；所述配置文件存储模块保存动态表单内容。

上述技术方案所述动态表单模块主要包含目标检测模型架构表单模块以及数据表单模块；其中，所述目标检测模型架构表单模块能自定义模型架构；所述数据表单模块主要包含训练数据集表单以及验证数据集表单，其中训练数据集表单可编辑的内容主要包含类别数量、训练集图片路径、训练集标注数据路径、输入大小和图像预处理方法，所述验证数据集表单主要包含类别数量、验证集图片路径、验证集标注数据路径和输入大小。

上述技术方案所述目标检测模型架构表单模块主要包括模型的骨干网络架构、特征金字塔网络架构以及检测头网络架构，其中，所述骨干网络架构的可编辑内容包括骨干网络的选择，输出层，激活函数，骨干网络架构的选择包含EfficientNet，ShuffleNet,RepVGG以及CSPNet；

上述技术方案所述特征金字塔网络架构的可编辑内容主要包括输入层数，输出层数，检测头网络架构的可编辑内容包括识别类别数量、输入层数、输出层数、卷积层数、激活函数、步进数和损失函数；其中，损失函数主要包括GFL，QFL和DFL.

上述技术方案所述图像预处理方法主要包含延伸、旋转、平移、反转、亮度、对比度、饱和度和归一化八种方法。

上述技术方案所述机器学习工作流任务调度模块包含模型架构选择模块、交叉验证模块、模型训练模块和测试验证模块；其中，

所述模型架构选择模块读取存储模块的配置文件，并根据目标检测模型架构表单内容作为模型配置以及模板代码生成机器学习代码，构建目标检测模型；

所述交叉验证模块将训练数据集表单内容作为训练数据源进行模型的交叉验证选取最优模型架构及超参数，训练模块将训练数据集表单内容作为训练数据源进行模型训练；

所述测试验证模块采用验证数据集表单作为验证方法验证模型准确性。

一种于BPMN的边缘设备目标检测流程自动化的方法，包括以下步骤：

步骤1：用户设计边缘设备目标检测流程，包括服务任务设计、用户任务设计、网关设计、并通过动态表单前端模块配置目标检测模型架构以及数据源；

步骤2：用户通过流程前端模块生成bpmn流程，并发送到基于camuda流程引擎的后端模块，后台解析流程前端模块的工作流对象，生成工作流。

上述技术方案所述工作流包含以下任务：

机器学习工作流的任务订阅工作流中的主题，当后台工作流执行到对应主题时，触发相应的机器学习工作流任务；第一个成功订阅的实例将锁住该服务任务使得其他实例不能再执行此任务直至任务结束；实例任务结束后解锁后台服务任务；机器学习工作流可以根据交叉验证结果自动选择最优模型架构与参数，并训练；

后台工作流执行到用户服务时，等待用户执行；用户任务包括数据上传至存储模块，采用训练数据集目标标注前端模块标注数据；标注完成后用户选择完成任务；后台工作流则执行下一步操作；

后台工作流执行到脚本服务时执行脚本；脚本服务出发模型部署模块，将模型部署至边缘设备，并在边缘设备端通过脚本开启目标检测服务。

采用上述技术方案后，本发明具有以下积极的效果：本发明应用于规范自动化在服务器端训练目标检测轻量模型并部署至Jetson Nano，树莓派，智能手机等移动边缘端的流程，简化目标检测模型部署至移动边缘设备中训练集目标标注、目标检测模型选择与训练、模型的超参数调整等步骤，并可重用设计流程并用于其他目标检测任务，通过自动化流程提高开发边缘设备目标检测功能的效率。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1为本发明基于BPMN的边缘设备目标检测流程自动化方法结构图；

图2为本发明基于BPMN的边缘设备目标检测流程自动化方法流程图；

图3为本发明典型部署边缘设备目标检测功能自动化流程图；

图4为本发明采用并行网关集成不同机器学习模型进行目标检测；

图5为本发明采用互斥网关针对目标检测的不同目标开发不同功能；

具体实施方式

图1为基于BPMN的边缘设备目标检测流程自动化方法结构图。本发明提供了一种基于BPMN的边缘设备目标检测流程自动化的系统，系统包括基于BPMN2.0流程规范的流程前端模块，动态表单前端模块，训练数据集目标标注前端模块，基于camunda流程引擎的后端模块，机器学习工作流任务调度模块，模型部署模块，存储模块。所述基于BPMN2.0流程规范的流程前端模块用于供用户生成边缘设备目标检测流程自动化流程，并将流程数据以bpmn的格式发送到基于camunda流程引擎的后端模块，后端模块解析生成的bpmn文件，并根据设定的工作流程调用机器学习任务。其中，流程前端模块中的工作流对象主要包括开始事件，结束事件，服务任务，用户任务，脚本任务，互斥网关，并行网关，数据存储这八个对象。所述基于camunda流程引擎的后端模块解析这八个对象，在流程部署后执行流程。所述训练数据集目标标注前端模块，让用户上传图片，并在图片中标注需要检测的目标，保存图片以及标注数据(xml)至存储模块，并将文件路径提供给动态表单模块。所述动态表单前端模块用于供用户自定义动态表单，并将表单数据以yml格式保存于存储模块。所述机器学习工作流任务调度模块包含模型架构选择模块、交叉验证模块、模型训练模块和测试验证模块。机器学习工作流任务调度模块订阅服务任务主题，当后台流程执行到该任务主题时执行机器学习工作流的任务。第一个成功订阅的实例将锁住该服务任务使得其他实例不能再执行此任务直至任务结束。实例任务结束后解锁后台服务任务。后台执行的脚本任务触发模型部署模块，将模型部署至边缘设备，并在边缘设备端通过脚本开启目标检测服务。

表1目标检测模型架构表单结构

表2数据表单结构

表1和表2显示了动态表单模块主要包含目标检测模型架构表单模块以及数据表单模块。其中，目标检测模型架构表单模块可自定义模型架构，主要包括模型的骨干网络架构，特征金字塔网络架构以及检测头网络架构，其中骨干网络架构的可编辑内容包括骨干网络的选择，输出层，激活函数，骨干网络架构的选择包含EfficientNet，ShuffleNet,RepVGG以及CSPNet。特征金字塔网络架构的可编辑内容主要包括输入层数，输出层数，检测头网络架构的可编辑内容包括识别类别数量、输入层数，输出层数，卷积层数，激活函数，步进数，损失函数。其中，损失函数主要包括GFL(Generalized Focal Loss)，Quality FocalLoss(QFL)和Distribution Focal Loss(DFL)。数据表单模块主要包含训练数据集表单以及验证数据集表单，其中训练数据集表单可编辑的内容主要包含类别数量，训练集图片路径，训练集标注数据(xml格式)路径，输入大小，图像预处理方法，其中图像预处理方法主要包含延伸，旋转，平移，反转，亮度，对比度，饱和度，归一化八种方法。验证数据集表单主要包含类别数量，验证集图片路径，验证集标注数据(xml格式)路径，输入大小。

本发明还提供一种基于BPMN的边缘设备目标检测流程自动化的方法，如图2所示。包括以下步骤：

步骤1：用户设计边缘设备目标检测流程，包括服务任务设计、用户任务设计、网关设计、并通过动态表单前端模块配置目标检测模型架构以及数据源。

步骤2：用户通过流程前端模块生成bpmn流程，并发送到基于camuda流程引擎的后端模块，后台解析流程前端模块的工作流对象，生成工作流。工作流包含以下任务：

1.机器学习工作流的任务订阅工作流中的主题，当后台工作流执行到对应主题时，触发相应的机器学习工作流任务。第一个成功订阅的实例将锁住该服务任务使得其他实例不能再执行此任务直至任务结束。实例任务结束后解锁后台服务任务。机器学习工作流可以根据交叉验证结果自动选择最优模型架构与参数，并训练。

2.后台工作流执行到用户服务时，等待用户执行。用户任务包括数据上传至存储模块，采用训练数据集目标标注前端模块标注数据。标注完成后用户选择完成任务。后台工作流则执行下一步操作。

3.后台工作流执行到脚本服务时执行脚本。脚本服务出发模型部署模块，将模型部署至边缘设备，并在边缘设备端通过脚本开启目标检测服务。

若要检测新目标，可重用上述步骤。

图3显示了典型部署边缘设备目标检测功能自动化流程图。首先用户通过用户任务双穿数据库，完成数据集标注以及机器学习模型以及模型参数范围的选择。数据集，标注数据，模型配置文件都保存与MinIO的OSS数据库。随后流程出发机器学习工作流任务进行交叉验证选择最优模型架构及参数，并进行模型训练，最后通过脚本服务触发模型部署服务。

图4在图3的基础上加入了并行网关。在进行目标检测的过程中，可采用集成方法集成多模型提高目标检测的准确率。因此可以采用并行网关分别进行模型的交叉验证选择模型A与模型B的超参数，然后将集成的模型用于训练并触发模型部署任务。

图5显示了互斥网关的作用，在开发边缘设备目标检测应用时，存在需要对不同检测目标开发不同的功能，比如对目标A开发目标定位功能，对目标B开发预警功能。因此可以在流程图中引入互斥网关，并加入用户任务让用户开发不同的功能，最后进行模型部署。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：该系统包括前端模块、机器学习工作流任务调度模块、模型部署模块、存储模块和基于camunda流程引擎的后端模块；所述前端模块包括动态表单前端模块、训练数据集目标标注前端模块和BPMN流程前端模块；

所述BPMN流程前端模块用于供用户生成边缘设备目标检测流程自动化流程，并将流程数据以bpmn的格式发送到基于camunda流程引擎的后端模块，基于camunda流程引擎的后端模块解析生成的bpmn文件，并根据设定的工作流程调用机器学习任务；

所述基于camunda流程引擎的后端模块解析流程前端模块中的工作流对象，在流程部署后执行流程；其中，后台执行的服务任务与机器学习工作流任务调度模块通过订阅方式交互；

所述训练数据集目标标注前端模块，用于让用户上传图片，并在图片中标注需要检测的目标，保存图片以及标注数据至存储模块，并将文件路径提供给动态表单模块；

所述动态表单前端模块用于供用户自定义动态表单，并将表单数据以yml格式保存于存储模块；

所述机器学习工作流任务调度模块订阅服务任务主题，当后台流程执行到该任务主题时执行机器学习工作流的任务；

所述存储模块采用MinIO对象存储进行存储。

2.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述流程前端模块中的工作流对象主要包括开始事件，结束事件，服务任务，用户任务，脚本任务，互斥网关，并行网关，数据存储这八个对象。

3.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述存储模块包括数据存储模块，模型存储模块以及配置文件存储模块，其中，所述数据存储模块主要保存训练数据集以及验证数据集，保存格式为主要图片格式以及xml目标标注数据；所述模型存储模块保存可部署于边缘终端设备的模型，保存格式为pth文件；所述配置文件存储模块保存动态表单内容。

4.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述动态表单模块主要包含目标检测模型架构表单模块以及数据表单模块；其中，所述目标检测模型架构表单模块能自定义模型架构；所述数据表单模块主要包含训练数据集表单以及验证数据集表单，其中训练数据集表单可编辑的内容主要包含类别数量、训练集图片路径、训练集标注数据路径、输入大小和图像预处理方法，所述验证数据集表单主要包含类别数量、验证集图片路径、验证集标注数据路径和输入大小。

5.根据权利要求4所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述目标检测模型架构表单模块主要包括模型的骨干网络架构、特征金字塔网络架构以及检测头网络架构，其中，所述骨干网络架构的可编辑内容包括骨干网络的选择，输出层，激活函数，骨干网络架构的选择包含EfficientNet，ShuffleNet,RepVGG以及CSPNet。

6.根据权利要求4所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述特征金字塔网络架构的可编辑内容主要包括输入层数，输出层数，检测头网络架构的可编辑内容包括识别类别数量、输入层数、输出层数、卷积层数、激活函数、步进数和损失函数；其中，损失函数主要包括GFL，QFL和DFL。

7.根据权利要求4所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述图像预处理方法主要包含延伸、旋转、平移、反转、亮度、对比度、饱和度和归一化八种方法。

8.根据权利要求1所述的基于BPMN的边缘设备目标检测流程自动化系统，其特征在于：所述机器学习工作流任务调度模块包含模型架构选择模块、交叉验证模块、模型训练模块和测试验证模块；其中，

所述模型架构选择模块读取存储模块的配置文件，并根据目标检测模型架构表单内容作为模型配置以及模板代码生成机器学习代码，构建目标检测模型；

所述交叉验证模块将训练数据集表单内容作为训练数据源进行模型的交叉验证选取最优模型架构及超参数，训练模块将训练数据集表单内容作为训练数据源进行模型训练；

所述测试验证模块采用验证数据集表单作为验证方法验证模型准确性。

9.一种于BPMN的边缘设备目标检测流程自动化的方法，其特征在于，包括以下步骤：

步骤1：用户设计边缘设备目标检测流程，包括服务任务设计、用户任务设计、网关设计、并通过动态表单前端模块配置目标检测模型架构以及数据源；

步骤2：用户通过流程前端模块生成bpmn流程，并发送到基于camuda流程引擎的后端模块，后台解析流程前端模块的工作流对象，生成工作流。

10.根据权利要求7所述的一种基于BPMN的边缘设备目标检测流程自动化的方法，其特征在于，所述工作流包含以下任务：

机器学习工作流的任务订阅工作流中的主题，当后台工作流执行到对应主题时，触发相应的机器学习工作流任务；第一个成功订阅的实例将锁住该服务任务使得其他实例不能再执行此任务直至任务结束；实例任务结束后解锁后台服务任务；机器学习工作流可以根据交叉验证结果自动选择最优模型架构与参数，并训练；

后台工作流执行到用户服务时，等待用户执行；用户任务包括数据上传至存储模块，采用训练数据集目标标注前端模块标注数据；标注完成后用户选择完成任务；后台工作流则执行下一步操作；

后台工作流执行到脚本服务时执行脚本；脚本服务出发模型部署模块，将模型部署至边缘设备，并在边缘设备端通过脚本开启目标检测服务。

Images