CN112989980A - 一种基于web云平台的目标检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于web云平台的目标检测系统及方法，该系统包括：摄像装置、终端装置以及服务器，终端装置分别与摄像装置、服务器连接；摄像装置用于拍摄获得采集图像；终端装置用于接收多个选择参数、将多个选择参数整合为模型参数表单、将模型参数表单发送至服务器、将待检测图像上传至服务器；服务器用于接收由终端装置生成的模型参数表单、基于模型参数表单进行训练模型、将已训练模型的参数数据发送至终端装置、对终端装置上传的待检测图像执行在线目标检测处理；其中已训练模型的参数数据在训练模型的过程中产生，本发明提供选择配置和数据集进行配置深度学习模型，在线对用户上传的图片进行目标检测，大大降低了深度学习的计算和知识门槛。

Description

一种基于web云平台的目标检测系统及方法

技术领域

本发明涉及目标检测技术领域，尤其涉及一种基于web云平台的目标检测系统及方法。

背景技术

目标检测是机器视觉中的一个重要问题，在轨迹跟踪、自动驾驶、工业分拣等生活及工业领域都具有重要的应用和研究价值，目前目标检测是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分，是人脸识别、步态识别、人群计数、实例分割等任务中至关重要的一部分；

随着深度学习技术的发展，目标检测算法在近几年来也得到了飞速的发展，目标检测算法可分为两类，一类是基于边框回归的一阶段网络，一阶段网络的代表是SSD和YOLO系列，在产生候选区域的时候同时进行分类和回归，相比二阶段网络的优点是检测速度更快；另一类是基于候选区域的二阶段网络，二阶段网络的代表是R-CNN系列，先产生候选框，提取候选框的特征再对候选框进行分类，相比一阶段网络的优点是精确度更高；目标检测算法已经相当成熟，被应用于我们的生活、工厂中，但是一般的实业从业者还很难快速实现、落地目标检测模型。

发明内容

为了克服现有技术存在的缺陷与不足，本发明的第一目的在于提出了一种基于web云平台的目标检测系统，该系统基于B/S架构使得目标检测算法在实业应用中达到简易化，仅需选择检测模型的关键参数，快速在实业应用时进行模型训练，这样降低了深度学习的计算和知识门槛，同时也加快了目标检测模型在实业应用效率。

本发明的第二目的在于提出了一种基于web云平台的目标检测方法。

为了达到上述第一目的，本发明采用以下技术方案：

一种基于web云平台的目标检测系统，包括：摄像装置、终端装置以及服务器，所述终端装置分别与摄像装置、服务器连接；

所述摄像装置用于拍摄获得采集图像；

所述终端装置用于接收多个选择参数、将多个选择参数整合为模型参数表单、将所述模型参数表单发送至服务器、将待检测图像上传至服务器；

所述服务器用于接收由终端装置生成的所述模型参数表单、基于所述模型参数表单进行训练模型、基于模型下载指令将所述已训练模型的参数数据发送至终端装置、基于第一图像检测指令对终端装置上传的待检测图像执行在线目标检测处理；

所述已训练模型的参数数据在训练模型的过程中产生，具体包括：模型权重数据、模型配置数据、模型交并比数据和模型损失数据。

作为优选的技术方案，所述服务器设有目标检测模型训练模块和第一检测模块；

所述目标检测模型训练模块设有数据集上传模块、数据集选择模块、训练参数配置模块、训练模块、训练日志保存模块和训练日志处理模块；

所述数据集选择模块用于根据数据集选择指令接收用户上传的数据集；

所述训练参数配置模块用于根据训练参数设置指令和模型参数表单进行配置模型训练参数、修改模型训练文件，进而得到预训练模型；

所述训练模块用于根据模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型、根据模型下载指令将已训练模型的参数数据发送至终端装置；

所述训练日志保存模块用于保存训练日志数据；

所述训练日志处理模块用于处理训练日志数据；

所述第一检测模块用于根据选中的已训练模型的参数数据进行搭建第一检测模型，将由处理器上传的待检测图像输入至第一检测模型进行目标检测处理得到第一目标检测处理图像，将第一目标检测处理图像结合预测框输出得到第一目标检测结果。

作为优选的技术方案，所述服务器还设有账号模块和界面切换模块；

所述账号模块用于基于处理器发送的账号注册指令、账号登录指令进行注册、登录验证；

所述界面切换模块用于根据界面切换指令对终端装置显示的画面进行切换。

作为优选的技术方案，所述终端装置设有处理器、存储器、输入装置以及显示器，所述处理器分别与存储器、输入装置、显示器连接；

所述输入装置用于接收用户输入操作；

所述处理器设有指令生成模块、无线传输模块、图像上传模块，所述指令生成模块用于将所述用户输入操作转化为用户输入指令，所述无线传输模块用于将所述用户输入指令发送至服务器并接收由服务器反馈的结果数据，所述图像上传模块用于将待检测图像上传至服务器进行目标检测处理；

所述显示器用于显示结果数据；

所述存储器用于存储已训练模型的参数数据、训练数据集、经典目标检测模型类型、经典目标检测模型权重以及待检测图像。

作为优选的技术方案，所述处理器还包括第二检测模块，所述第二检测模块用于接收下载的已训练模型的参数数据，基于已训练模型的参数数据建立第二检测模型，基于第二图像检测指令对选中的待检测图像执行离线目标检测处理，即将选中的待检测图像输入至第所述二检测模型进行目标检测得到第二目标检测处理图像，将第二目标检测处理图像结合预测框输出得到第二目标检测结果。

作为优选的技术方案，所述输入装置采用鼠标、键盘、按键、按钮中的任一种或多种组合。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于web云平台的目标检测方法，包括以下步骤：

图像采集步骤：通过摄像装置拍摄获得采集图像；

待检测图像添加步骤：通过处理器将采集图像存入存储器中，将采集图像添加至待检测图像集；

待检测图像选定步骤：由输入装置获取指定图像的标识，处理器基于指定图像的标识匹配指定图像并将指定图像作为待检测图像；

数据集上传步骤：处理器生成数据集上传指令，数据集上传模块基于数据集上传指令接收由处理器发送的需上传数据集；

目标检测模型训练步骤：选择训练模型采用的数据集，根据训练参数设置指令和模型参数表单建立得到预训练模型，基于模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型；

在线检测预处理步骤：第一检测模块根据选中的网络模型和对应的权重数据建立第一检测模型；

在线检测步骤：将由图像上传模块上传的待检测图像输入至第一检测模型进行目标检测处理得到第一目标检测处理图像，基于第一目标检测处理图像结合预测框输出得到第一目标检测结果，其中第一目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度。

作为优选的技术方案，还包括模型下载步骤、离线检测预处理步骤和离线检测步骤；

模型下载步骤：获取选定模型的标识，通过处理器基于选定模型的标识生成模型下载指令并将模型下载指令发送至服务器，由训练模块根据模型下载指令将已训练模型的参数数据发送至终端装置；

离线检测预处理步骤：第二检测模块根据下载的网络模型和对应的权重数据建立第二检测模型；

离线检测步骤：将选中的待检测图像输入至第二检测模型进行目标检测得到第二目标检测处理图像，将第二目标检测处理图像结合预测框输出得到第二目标检测结果，其中第二目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度。

作为优选的技术方案，还包括账号注册步骤和身份验证步骤；

所述账号注册步骤，具体包括以下步骤：

界面切换模块接收界面切换指令并将当前界面切换至用户注册界面，处理器对输入的注册信息进行检查处理，即对输入的用户账号、用户密码、再次确认密码、用户邮箱、用户电话，按照符合用户信息注册的格式进行检查；

当检查成功时，账号模块接收账号注册指令并将注册信息通过数据库进行用户信息添加处理；

当检查失败时，输入的注册信息不符合用户信息注册的格式，显示器显示失败提示信息；

所述身份验证步骤，具体包括以下步骤：

界面切换模块接收界面切换指令并将当前界面切换至用户登录界面，处理器将输入的用户登录信息和账号登录指令发送至账号模块；

账号模块基于账号登录指令对用户登录信息进行登录验证，通过数据库验证用户账号和用户密码是否一致；

当用户账号和用户密码与数据库中检索到的匹配一致时，登录验证成功，界面切换模块接收界面切换指令将当前界面切换至训练历史界面；

当用户账号不存在或用户密码与数据库中检索到的匹配不一致时，登录验证失败，处理器接收由账号模块发送的登录验证失败指令，对用户登录界面中已输入的用户密码显示区域进行清空。

作为优选的技术方案，还包括界面跳转步骤；

所述界面跳转步骤，具体为：输入装置采集用户选择的界面类型，处理器将用户选择的界面类型作为切换界面类型并将其加入到界面切换指令中并发送至界面切换模块，界面切换模块基于界面切换指令切换当前界面至匹配界面类型的界面。

本发明与现有技术相比，具有如下优点和有益效果：

(1)面对自然环境下通用目标检测的需求，本发明通过网页以选择框的形式供用户自定义配置深度学习训练模型，用户只需要选择配置和数据集即可配置深度学习模型，从而能够对在线对用户上传的图片进行目标检测，并在服务器中保存上传的数据集及模型训练信息，本发明大大降低了深度学习的计算和知识门槛，对目标检测算法在通用目标检测的场景中的推广有较大的参考价值。

(2)本发明利用开源的darknet深度学习框架实现目标检测模型训练，darknet框架完全基于C语言与CUDA实现，其特点是易安装、没有任何依赖项、移植性非常好，因此可将云平台上训练好的模型封装成ROS节点，利用ROS框架下有darknet_ros的功能包，将目标检测算法应用于基于ROS操作系统中，使该系统具有封装性、可扩展性、可移植性。

(3)本发明通过账号密码登录验证的方式，并在客户端和服务端进行http通讯时设置Cookie，提高了系统的安全性和稳定性。

(4)本发明基于B/S架构实现了浏览器远程登录、注册、训练目标检测模型、下载目标检测训练模型，基于Bootstrap框架作为前端开发框架，基于flask搭建服务器框架，采用开源MySQL存储用户的训练信息，基于darknet框架实现目标检测训练模块，web页面基于HTTP协议与服务器进行通讯，将目标检测算法在实业应用中达到自动化、简易化以及快速化，在降低深度学习的计算和知识门槛的同时，也提高了实业应用目标检测的开发效率。

(5)本发明通过选取目标检测算法模型、数据集、模型训练批次、图片输入的宽高、数据增强设置、学习率、学习率调整策略和多尺度作为目标检测网络的调整参数为用户提供选择，通过web页面设置，用户使用时具有更便捷的体验，用户可以根据实际研究项目要求，针对不同的应用环境，具有更好的可拓展性和兼容性，满足大部分用户的目标检测需求，具有较大的参考价值。

(6)本发明通过第二检测模块基于已训练模型的参数数据建立第二检测模型，在应用时，避免了完全依赖服务器进行检测的情况，在离线状态下，也能够进行目标检测作业，而且在面对实业应用过程中进行大量的目标检测任务时，节省了大量图像上传过程中的传输时间，提高了目标检测处理的效率。

附图说明

图1为本发明实施例1中基于web云平台的目标检测系统的系统结构图；

图2为本发明实施例1中基于web云平台的目标检测系统的数据交互图；

图3为本发明实施例1中基于web云平台的目标检测系统的界面切换示意图；

图4为本发明实施例2中基于web云平台的目标检测系统的系统结构图；

图5为本发明实施例3中基于web云平台的目标检测方法的步骤示意图；

图6为本发明实施例4中基于web云平台的目标检测方法的步骤示意图。

具体实施方式

在本公开的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供了一种基于web云平台的目标检测系统，该系统包括：摄像装置、终端装置以及服务器，其中终端装置分别与摄像装置、服务器连接。

在本实施例中，摄像装置用于拍摄获得采集图像，具体采用LogitechC270。

在本实施例中，终端装置用于接收多个选择参数、将多个选择参数整合为模型参数表单、将模型参数表单发送至服务器、将待检测图像上传至服务器；

在本实施例中，服务器用于接收由终端装置生成的模型参数表单、基于模型参数表单进行训练模型、基于模型下载指令将已训练模型的参数数据发送至终端装置、基于第一图像检测指令对终端装置上传的待检测图像执行在线目标检测处理；其中已训练模型的参数数据在训练模型的过程中产生，具体包括：模型权重数据、模型配置数据、模型交并比数据和模型损失数据。

如图2所示，终端装置具体可采用PC端或移动手机端等支持web浏览器的终端。

在本实施中，终端装置设有处理器、存储器、输入装置以及显示器，其中处理器分别与存储器、输入装置、显示器连接。

结合图2所示，输入装置用于接收用户输入操作，处理器设有指令生成模块、无线传输模块、图像上传模块，指令生成模块用于将用户输入操作转化为用户输入指令，无线传输模块用于将用户输入指令发送至服务器并接收由服务器反馈的结果数据，图像上传模块用于将待检测图像上传至服务器进行目标检测处理，显示器用于显示结果数据，存储器用于存储已训练模型的参数数据、训练数据集、经典目标检测模型类型、经典目标检测模型权重以及待检测图像；

结合图2所示，输入装置接收用户输入操作并配合处理器将用户输入操作转化为用户输入指令，具体的为通过接收用户在web页面上指定按钮的点击操作，当触发指定按钮的点击操作时处理器将该触发操作转化为指定指令，其中用户输入指令包括：账号登录指令、账号注册指令、界面切换指令、数据集上传指令、数据集选择指令、训练参数设置指令、模型训练指令、模型下载指令、图像检测指令。

在本实施例中，服务器设有目标检测模型训练模块和第一检测模块，该目标检测模型训练模块包括数据集上传模块、数据集选择模块、训练参数配置模块、训练模块、训练日志保存模块和训练日志处理模块，本实施例中的服务器具体采用web服务器。

数据集选择模块用于根据数据集选择指令接收用户上传的数据集；

实际应用时，数据集选择模块根据数据集选择指令接收用户选择的数据集所在的数据集目录，并通过连接数据库在该数据集目录下进行查询获取，本实施例中的数据集采用VOC数据集格式进行存储，在JPEGImages文件夹中存放所有图像文件，在Annotations文件夹中存放所有xml文件，在ImageSets/Main文件夹下存放的四个txt文件：test.txt、train.txt、trainval.txt、val.txt，分别包含了训练样本名称、测试样本名称、训练和测试样本名称、验证样本名称。

训练参数配置模块用于根据训练参数设置指令和模型参数表单进行配置模型训练参数、修改模型训练文件，进而得到预训练模型；

实际应用时，训练参数配置模块接收用户以表单形式上传的模型训练参数，根据上传的训练参数，在python脚本中设置修改darknet框架目录下的“cfg/voc.data”文件，该文件包括所有样本种类名称，修改darknet框架目录下的选用目标检测训练模型对应的cfg文件中对应的参数；配置训练目标检测模型的权重加载，根据用户选择是否使用迁移学习加载预留权重，该预留权重包括基于在COCO数据集上训练好的权重和基于VOC数据集上训练好的权重，其中，模型参数表单具体包括目标检测模型、模型训练批次、模型训练轮次、输入图片宽高、目标检测样本种类、样本种类名称、数据增强设置的旋转角度值、数据增强设置的整体饱和度、数据增强设置的曝光度、数据增强设置的整体色调值、初始学习率、学习率的调整策略、是否使用多尺度。

训练模块用于根据模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型、根据模型下载指令将已训练模型的参数数据发送至终端装置；

实际应用时，训练模块基于Python脚本对预训练模型调用darknet框架下的训练处理得到已训练模型；

训练日志保存模块和训练日志处理模块分别用于保存、处理训练日志数据；

实际应用时，训练日志保存模块对训练模块进行训练处理时产生的训练日志数据进行保存处理，具体将训练日志数据保存在darknet框架目录下的log目录中，其中训练权重数据保存在backup目录中；

训练日志处理模块根据训练日志数据文件提取生成已训练模型的loss数据和IOU数据，即已训练模型的模型损失数据和模型交并比数据，具体保存为model_loss.txt文件和model_iou.txt文件。

实际应用时，训练模块具体采用darknet框架实现YOLO系列的目标检测模型的训练，其中YOLO系列的目标检测模型包括YOLOv1、YOLOv2、YOLO9000、YOLOv3、YOLOv4、YOLOv2-tiny、YOLOv3-tiny、YOLOv4-tiny，训练后的模型具有较好的适应性，能够满足大部分的实业应用的用户对目标检测要求；

第一检测模块用于根据选中的已训练模型的参数数据进行搭建第一检测模型，将由处理器中的图像上传模块上传的待检测图像输入至第一检测模型进行目标检测处理得到第一目标检测处理图像，将第一目标检测处理图像结合预测框输出得到第一目标检测结果，从而达到在线目标检测的效果，其中第一目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度；

在本实施例中，服务器还设有账号模块和界面切换模块；

账号模块用于基于处理器发送的账号注册指令、账号登录指令进行注册、登录验证；

界面切换模块用于根据界面切换指令对终端装置显示的画面进行切换；

如图3所示，终端装置基于web显示的界面，即前端界面，具体包括用户登录界面、用户注册界面、训练历史界面、模型训练界面、下载专区界面、帮助手册界面；

用户登录界面包括输入用户账号的第一文本输入框、输入用户密码的第二文本输入框、确认登录按钮及转向注册界面按钮，实际应用时，当确认登录按钮被点击时，账号模块基于账号登录指令对文本输入框输入的用户账号、用户密码通过数据库进行检索账号id进行匹配验证是否相同，进而完成登录过程，当转向注册界面按钮被点击时，界面切换模块基于界面切换指令将当前界面由用户登录界面切换为用户注册界面。

用户注册界面包括输入用户账号的第三文本输入框、输入用户密码的第四文本输入框、输入再次确认密码的第五文本输入框、输入用户邮箱的第六文本输入框和输入用户电话的第七文本输入框、确认注册按钮及转向登录界面按钮，实际应用时，当确认注册按钮被点击时，账号模块基于账号注册指令对输入的用户账号通过数据库进行检索账号id进行匹配验证是否存在，进而完成注册过程，当转向登录界面按钮被点击时，界面切换模块基于界面切换指令将当前界面由用户注册界面切换为用户登录界面。

此外，当切换为指定的界面时，界面切换模块同样会基于界面切换指令将当前界面切换为指定的界面。

训练历史界面用于展示该用户训练目标检测模型的记录，该记录具体包括模型训练的时间、选用的数据集文件、训练参数、训练结果，模型训练界面包括上传数据集按钮、数据集选择按钮、配置训练参数选择框及开始训练按钮，实际应用时，当数据集选择按钮被点击时，处理器生成数据集选择指令进行确定所选数据集，数据集选择模块根据数据集选择指令进行选择模型训练时的数据集，当上传数据集按钮被点击时，处理器生成数据集上传指令，通过处理器向数据集上传模块发送数据集上传指令和需上传的数据集；当配置训练参数选择框被选择后，处理器向服务器发送训练参数设置指令、模型参数表单，训练参数配置模块根据训练参数设置指令和模型参数表单进行配置模型训练参数、修改模型训练文件，进而得到预训练模型；当开始训练按钮被点击时，处理器向服务器发送根据模型训练指令，训练模块根据模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型。

下载专区界面包括数据集的下载按钮、经典目标检测算法权重下载按钮和经典目标检测模型的cfg文件下载按钮；当相应的下载按钮被点击时，处理器向服务器发送模型下载指令，训练模块基于模型下载指令将指定的已训练模型将已训练模型的参数数据发送至终端装置。

帮助手册界面包括操作流程介绍和训练参数推荐。

在本实施例中，终端装置采用Bootstrap框架作为前端开发框架；

在本实施例中，服务器基于flask搭建的服务器框架作为后端框架，实际应用时，服务器采用MySQL数据库，其中关联的数据库包含三张表，user表、history表、data表；

user表用于保存用户账号和注册时输入的用户信息，history表用于保存用户名称、及该用户的目标检测模型训练的时间、模型训练参数、模型结果文件路径、模型权重文件路径，data表用于保存服务器上已保存的数据集名称、数据集信息、数据集文件路径。

在本实施例中，终端装置和服务器基于http协议进行web界面的通信交互，各界面的信息具体由终端作为前端发送请求信息，服务器根据前端发送的请求信息，返回相应的处理界面信息或者处理数据信息，其中请求信息基于JavaScript库jQuery实现的ajax请求作为请求信息，ajax请求包括请求方法、请求地址URL和回调函数定义。

实际应用时，处理器基于模型下载指令将选中的已训练模型的参数数据存入存储器中，处理器基于训练结果查看指令将存储器保存历史训练模型的训练数据通过显示器进行展示；

在本实施例中，输入装置采用鼠标、键盘、按键、按钮中的任一种或多种组合。

在本实施例中，终端装置具体采用windows或linux操作系统，浏览器方面，具体采用以Triden/Chrome为内核的浏览器进行与服务器之间的web通信。

实施例2

如图4所示，本实施例2的技术方案除了下述技术特征外，其它技术方案与实施例1相同：本实施例的处理器还包括第二检测模块，该第二检测模块用于接收下载的已训练模型的参数数据，基于已训练模型的参数数据建立第二检测模型，基于第二图像检测指令对选中的待检测图像执行离线目标检测处理，即将选中的待检测图像输入至第二检测模型进行目标检测得到第二目标检测处理图像，将第二目标检测处理图像结合预测框输出得到第二目标检测结果，从而达到离线检测的效果，其中第二目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度。

实施例3

如图5所示，本实施例提供了一种基于web云平台的目标检测方法，该方法包括以下步骤：

图像采集步骤：通过摄像装置拍摄获得采集图像；

待检测图像添加步骤：通过处理器将采集图像存入存储器中，将采集图像添加至待检测图像集，其中待检测图像集作为本地图像；

待检测图像选定步骤：由输入装置获取指定图像的标识，处理器基于指定图像的标识匹配指定图像并将指定图像作为待检测图像，在本实施例中，该指定图像来源于摄像装置实时拍摄的采集图像和待检测图像集；

数据集上传步骤：处理器生成数据集上传指令，数据集上传模块基于数据集上传指令接收由处理器发送的需上传数据集，实际应用时，用户点击选择文件按钮打开本地目录，输入装置进行接收用户操作，处理器将选择的数据集转换成VOC数据集格式的数据集文件，然后将该文件压缩成.zip格式的文件上传到浏览器，点击上传数据集按钮，将数据集文件传输到服务器，服务器将接收到的压缩文件解压并重新命名，最后将数据集信息存入数据库；

目标检测模型训练步骤：选择训练模型采用的数据集，根据训练参数设置指令和模型参数表单建立得到预训练模型，基于模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型，实际应用时，服务器动态的获取数据库的数据集信息，回传到前端动态渲染页面信息，输入装置采集用户选择的数据集的标识，处理器基于用户选择的数据集的标识生成数据集选择指令，数据集选择模块基于数据集选择指令选择模型训练时采用的数据集，输入装置采集用户在文本框或者下拉框输入模型训练参数的操作，处理器生成训练参数设置指令和模型参数表单，模型参数表单具体包括目标检测模型、模型训练批次、模型训练轮次、输入图片宽高、目标检测样本种类、样本种类名称、数据增强设置的旋转角度值、数据增强设置的整体饱和度、数据增强设置的曝光度、数据增强设置的整体色调值、初始学习率、学习率的调整策略、是否使用多尺度，训练参数配置模块基于训练参数设置指令和模型参数表单进行建立预训练模型，然后基于模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型，当训练过程中目标检测的测试准确度达到预设准确度时即完成训练过程；

在线检测预处理步骤：第一检测模块根据选中的网络模型和对应的权重数据建立第一检测模型；

在线检测步骤：将由图像上传模块上传的待检测图像输入至第一检测模型进行目标检测处理得到第一目标检测处理图像，基于第一目标检测处理图像结合预测框输出得到第一目标检测结果，其中第一目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度；实际应用时，根据预测框的坐标、预测框的置信度并利用机器视觉软件将预测框绘制到待检测图像上，本实施例中的机器视觉软件具体采用opencv。

在本实施例中，目标检测模型训练结束后，获得一个已训练模型的训练权重数据，该训练权重数据会记录为日志数据，并用于该已训练模型的性能评估；

此外，参数设置是模型训练过程，设置参数是为了得到不同的训练结果，从而在后续检测阶段，在深度学习框架下仅需要网络结构和和其对应的权重即可构建目标检测模型。

实施例4

如图6所示，本实施例4的技术方案除了下述技术特征外，其它技术方案与实施例3相同：本实施例中的基于web云平台的目标检测方法还包括模型下载步骤、离线检测预处理步骤和离线检测步骤；

模型下载步骤：获取选定模型的标识，通过处理器基于选定模型的标识生成模型下载指令并将模型下载指令发送至服务器，由训练模块根据模型下载指令将已训练模型的参数数据发送至终端装置；实际应用时，训练历史界面显示了模型训练在数据库中保存的历史数据，训练历史界面的每条历史数据后都有一个下载模型训练权重的按钮，点击下载模型训练权重的按钮，终端装置作为前端，根据输入装置接收的点击信号生成相应的模型下载指令，终端装置将模型下载指令发送到服务端，服务端通过训练模块从数据库中读取指定模型训练的模型权重文件、cfg文件、model_loss文件和model_iou文件地址，从而得到指定模型的模型权重数据、模型配置数据、模型交并比数据和模型损失数据，将指定模型的模型权重数据、模型配置数据、模型交并比数据和模型损失数据打包压缩为指定模型的参数数据返回给终端装置；

离线检测预处理步骤：第二检测模块根据下载的网络模型和对应的权重数据建立第二检测模型；

离线检测步骤：将选中的待检测图像输入至第二检测模型进行目标检测得到第二目标检测处理图像，将第二目标检测处理图像结合预测框输出得到第二目标检测结果，其中第二目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度；实际应用时，根据预测框的坐标、预测框的置信度并利用机器视觉软件将预测框绘制到待检测图像上，本实施例中的机器视觉软件具体采用opencv。

在本实施例中，基于web云平台的目标检测方法还包括账号注册步骤和身份验证步骤；

在本实施例中，账号注册步骤，具体包括以下步骤：

界面切换模块接收界面切换指令并将当前界面切换至用户注册界面，处理器对输入的注册信息进行检查处理，即对输入的用户账号、用户密码、再次确认密码、用户邮箱、用户电话，按照符合用户信息注册的格式进行检查；

当检查成功时，账号模块接收账号注册指令并将注册信息通过数据库进行用户信息添加处理；

当检查失败时，输入的注册信息不符合用户信息注册的格式，显示器显示失败提示信息。

实际应用时，当用户没有账号并点击用户登录界面的注册按钮跳转到用户注册界面，此时用户需要在注册界面的表单中输入用户账号、用户密码、再次确认密码、用户邮箱、用户电话，输入注册信息后对表单中的注册信息进行验证，判断是否符合用户注册信息的格式，若不符合则跳出提示框；若符合用户注册信息的格式才可点击注册按钮，处理器将用户注册信息和账号注册指令发送到服务器，服务器将新增的用户信息添加到数据库中，成功则返回注册成功的信息，失败则数据库回溯，返回注册失败的信息，注册成功后，页面自动跳转到用户登录界面。

在本实施例中，身份验证步骤，具体包括以下步骤：

界面切换模块接收界面切换指令并将当前界面切换至用户登录界面，处理器将输入的用户登录信息和账号登录指令发送至账号模块；

账号模块基于账号登录指令对用户登录信息进行登录验证，通过数据库验证用户账号和用户密码是否一致；

当用户账号和用户密码与数据库中检索到的匹配一致时，登录验证成功，界面切换模块接收界面切换指令将当前界面切换至训练历史界面；

当用户账号不存在或用户密码与数据库中检索到的匹配不一致时，登录验证失败，处理器接收由账号模块发送的登录验证失败指令，对用户登录界面中已输入的用户密码显示区域进行清空。

实际应用时，基于浏览器上的用户登录界面输入账号和密码，点击确认登录生成账号登录指令发送到服务器，服务器基于账号模块调用数据库数据，通过验证数据库中用户表是否存在该账号及密码是否正确，当账户存在且密码正确则登录验证成功，并生成cookie返回给客户端，画面切换模块进行切换训练历史界面，并将画面切换反馈信息发送给终端装置，通过处理器将显示器的画面切换为训练历史界面，当账号不存在或密码错误则清空密码，界面停留在用户登录界面。

在本实施例中，基于web云平台的目标检测方法还包括界面跳转步骤；

界面跳转步骤，具体为：输入装置采集用户选择的界面类型，处理器将用户选择的界面类型作为切换界面类型并将其加入到界面切换指令中并发送至界面切换模块，界面切换模块基于界面切换指令切换当前界面至匹配界面类型的界面。

实际应用时，登录成功后进入训练历史界面，在训练历史界面、模型训练界面、下载专区界面、帮助手册界面的左侧都有五个按钮，分别是四个界面的对应跳转按钮，点击该页面对应的按钮即可跳转到对应的页面。

在本实施例中，以YOLOv1-YOLOv4,YOLOv2_tiny-YOLOv4_tiny网络模型为例，根据模型不同的网络结构，选择的网络对应的是训练权重可得不同的目标检测效果，预训练过程中可使用预训练权重，该预训练权重包括已预先存储好的由VOC数据集训练好的第一预存权重数据以及由COCO数据集训练好的第二权重数据，用户在进行在线检测时，根据前端界面的选项框选择当前用户保存的权重(包括第一预存权重数据、第二预存权重数据、用户上传数据集训练后的自定义权重数据)来进行检测；而用户在进行离线检测时，需提前下载好选中的权重数据。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于web云平台的目标检测系统，包括：摄像装置、终端装置以及服务器，其特征在于，所述终端装置分别与摄像装置、服务器连接；

所述摄像装置用于拍摄获得采集图像；

所述终端装置用于接收多个选择参数、将多个选择参数整合为模型参数表单、将所述模型参数表单发送至服务器、将待检测图像上传至服务器；

所述服务器用于接收由终端装置生成的所述模型参数表单、基于所述模型参数表单进行训练模型、基于模型下载指令将所述已训练模型的参数数据发送至终端装置、基于第一图像检测指令对终端装置上传的待检测图像执行在线目标检测处理；

所述已训练模型的参数数据在训练模型的过程中产生，具体包括：模型权重数据、模型配置数据、模型交并比数据和模型损失数据。

2.根据权利要求1所述的基于web云平台的目标检测系统，其特征在于，所述服务器设有目标检测模型训练模块和第一检测模块；

所述目标检测模型训练模块设有数据集上传模块、数据集选择模块、训练参数配置模块、训练模块、训练日志保存模块和训练日志处理模块；

所述数据集选择模块用于根据数据集选择指令接收用户上传的数据集；

所述训练参数配置模块用于根据训练参数设置指令和模型参数表单进行配置模型训练参数、修改模型训练文件，进而得到预训练模型；

所述训练模块用于根据模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型、根据模型下载指令将已训练模型的参数数据发送至终端装置；

所述训练日志保存模块用于保存训练日志数据；

所述训练日志处理模块用于处理训练日志数据；

所述第一检测模块用于根据选中的已训练模型的参数数据进行搭建第一检测模型，将由处理器上传的待检测图像输入至第一检测模型进行目标检测处理得到第一目标检测处理图像，将第一目标检测处理图像结合预测框输出得到第一目标检测结果。

3.根据权利要求1所述的基于web云平台的目标检测系统，其特征在于，所述服务器还设有账号模块和界面切换模块；

所述账号模块用于基于处理器发送的账号注册指令、账号登录指令进行注册、登录验证；

所述界面切换模块用于根据界面切换指令对终端装置显示的画面进行切换。

4.根据权利要求1所述的基于web云平台的目标检测系统，其特征在于，所述终端装置设有处理器、存储器、输入装置以及显示器，所述处理器分别与存储器、输入装置、显示器连接；

所述输入装置用于接收用户输入操作；

所述处理器设有指令生成模块、无线传输模块、图像上传模块，所述指令生成模块用于将所述用户输入操作转化为用户输入指令，所述无线传输模块用于将所述用户输入指令发送至服务器并接收由服务器反馈的结果数据，所述图像上传模块用于将待检测图像上传至服务器进行目标检测处理；

所述显示器用于显示结果数据；

所述存储器用于存储已训练模型的参数数据、训练数据集、经典目标检测模型类型、经典目标检测模型权重以及待检测图像。

5.根据权利要求4所述的基于web云平台的目标检测系统，其特征在于，所述处理器还包括第二检测模块，所述第二检测模块用于接收下载的已训练模型的参数数据，基于已训练模型的参数数据建立第二检测模型，基于第二图像检测指令对选中的待检测图像执行离线目标检测处理，即将选中的待检测图像输入至第所述二检测模型进行目标检测得到第二目标检测处理图像，将第二目标检测处理图像结合预测框输出得到第二目标检测结果。

6.根据权利要求4或5所述的基于web云平台的目标检测系统，其特征在于，所述输入装置采用鼠标、键盘、按键、按钮中的任一种或多种组合。

7.一种基于web云平台的目标检测方法，其特征在于，包括以下步骤：

图像采集步骤：通过摄像装置拍摄获得采集图像；

待检测图像添加步骤：通过处理器将采集图像存入存储器中，将采集图像添加至待检测图像集；

待检测图像选定步骤：由输入装置获取指定图像的标识，处理器基于指定图像的标识匹配指定图像并将指定图像作为待检测图像；

数据集上传步骤：处理器生成数据集上传指令，数据集上传模块基于数据集上传指令接收由处理器发送的需上传数据集；

目标检测模型训练步骤：选择训练模型采用的数据集，根据训练参数设置指令和模型参数表单建立得到预训练模型，基于模型训练指令训练对已配置好的预训练模型进行训练得到已训练模型；

在线检测预处理步骤：第一检测模块根据选中的网络模型和对应的权重数据建立第一检测模型；

在线检测步骤：将由图像上传模块上传的待检测图像输入至第一检测模型进行目标检测处理得到第一目标检测处理图像，基于第一目标检测处理图像结合预测框输出得到第一目标检测结果，其中第一目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度。

8.根据权利要求7所述的基于web云平台的目标检测方法，其特征在于，还包括模型下载步骤、离线检测预处理步骤和离线检测步骤；

模型下载步骤：获取选定模型的标识，通过处理器基于选定模型的标识生成模型下载指令并将模型下载指令发送至服务器，由训练模块根据模型下载指令将已训练模型的参数数据发送至终端装置；

离线检测预处理步骤：第二检测模块根据下载的网络模型和对应的权重数据建立第二检测模型；

离线检测步骤：将选中的待检测图像输入至第二检测模型进行目标检测得到第二目标检测处理图像，将第二目标检测处理图像结合预测框输出得到第二目标检测结果，其中第二目标检测结果包括检测目标数量、检测目标类型、预测框的坐标、预测框的置信度。

9.根据权利要求7所述的基于web云平台的目标检测方法，其特征在于，还包括账号注册步骤和身份验证步骤；

所述账号注册步骤，具体包括以下步骤：

界面切换模块接收界面切换指令并将当前界面切换至用户注册界面，处理器对输入的注册信息进行检查处理，即对输入的用户账号、用户密码、再次确认密码、用户邮箱、用户电话，按照符合用户信息注册的格式进行检查；

当检查成功时，账号模块接收账号注册指令并将注册信息通过数据库进行用户信息添加处理；

当检查失败时，输入的注册信息不符合用户信息注册的格式，显示器显示失败提示信息；

所述身份验证步骤，具体包括以下步骤：

界面切换模块接收界面切换指令并将当前界面切换至用户登录界面，处理器将输入的用户登录信息和账号登录指令发送至账号模块；

账号模块基于账号登录指令对用户登录信息进行登录验证，通过数据库验证用户账号和用户密码是否一致；

当用户账号和用户密码与数据库中检索到的匹配一致时，登录验证成功，界面切换模块接收界面切换指令将当前界面切换至训练历史界面；

当用户账号不存在或用户密码与数据库中检索到的匹配不一致时，登录验证失败，处理器接收由账号模块发送的登录验证失败指令，对用户登录界面中已输入的用户密码显示区域进行清空。

10.根据权利要求7-9任一所述的基于web云平台的目标检测方法，其特征在于，还包括界面跳转步骤；

所述界面跳转步骤，具体为：输入装置采集用户选择的界面类型，处理器将用户选择的界面类型作为切换界面类型并将其加入到界面切换指令中并发送至界面切换模块，界面切换模块基于界面切换指令切换当前界面至匹配界面类型的界面。

Images