CN113469254A - 基于目标检测模型的目标检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于目标检测模型的目标检测方法及系统，包括如下步骤：获取图像数据集，将所述图像数据集划分为训练集A和验证集B；建立目标检测模型框架，所述目标检测模型框架采用在CSPDarknet53网络模块中配置Fish激活函数的YOLOv4模型；通过所述训练集A对所述目标检测模型框架进行训练，所述验证集B对所述目标检测模型框架进行测试生成目标检测模型。在相同条件下使用Fish激活函数比使用Mish激活函数节约了2.26％的训练时间，并且Total loss降低了4.32％，Val loss降低了6.37％，并在实际检测结果上具有更高的检测置信度。

Description

基于目标检测模型的目标检测方法及系统

技术领域

本发明涉及计算机视觉，具体地，涉及一种基于目标检测模型的目标检测方法及系统。

背景技术

目标检测是计算机视觉中的一个重要分支，并且应用十分广泛。可以简单地看成是图像分类和回归定位的结合，通常是给出一张图像，使用目标检测算法把图像中感兴趣的物体用矩形框框出来，并给出框内物体的分类结果。因此可以看到目标检测任务要比图像分类任务更加复杂。

随着近几年深度学习的快速发展，大量的卷积神经网络被使用在目标检测算法里。例如火车站进站检票口的人脸识别验证，它主要由精度高但速度慢的two-stage目标检测神经网络作为训练与验证的系统，例如，R-CNN系列，包括fast R-CNN，faster R-CNN，R-FCN和Libra R-CNN。而汽车行驶状态的检测需要用速度更快的one-stage目标检测模型，例如，YOLO系列，以及SSD，RetinaNet等，避免将过多的时间用在等待系统反馈上。

YOLO系列现如今已经有了v1、v2、v3、v4四个版本。YOLOv1执行速度很快，可以达到每秒60FPS，但是准确度却不尽人意。在此基础上，研究者继续改进，得到了YOLOv2，v2在v1的基础上设计了新的网络架构，采用了更细致额网格划分和多尺度训练，并且引入了two-stage检测的先验框机制，以及批量归一化等等，让v2在准确率和召回率都有较大的提升。之后的YOLOv3对网络结构再次进行新的设计，使用了Darknet53，把残差结构引入到特征提取网络中缓解了网络因训练而造成的过拟合现象，提高了检测的精度。最近的YOLOv4在前者的基础上做了很多的改进，例如使用了新的网络结构CSPDarknet53和SPP特征金字塔网络，使用了新的数据增强方式Mosaic算法，引入了Mish激活函数等等，较好地提升了目标检测的性能。

但是由于目标检测模型的训练时间较长，并且对设备的要求较高，让那些在硬件资源上不充足的使用者难以使用。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于目标检测模型的目标检测方法及系统。

根据本发明提供的基于目标检测模型的目标检测方法，包括如下步骤：

步骤S1：获取图像数据集，将所述图像数据集划分为训练集A和验证集B；

步骤S2：建立目标检测模型框架，所述目标检测模型框架采用在CSPDarknet53网络模块中配置Fish激活函数的YOLOv4模型；

步骤S3：通过所述训练集A对所述目标检测模型框架进行训练，所述验证集B对所述目标检测模型框架进行测试生成目标检测模型。

优选地，所述图像数据集采用VOC2007公共数据集，共有9963张人类日常生活图片，包括20个类别。

优选地，所述20个类分别为：飞机、自行车、鸟、船、瓶子、公共汽车、小汽车、猫、椅子、奶牛cow、餐桌、狗、马、摩托车、人、盆栽植物、羊、沙发、火车以及电视监视器。

优选地，所述Fish激活函数f(x)，表达式为：

f(x)＝xarctan(ln(1+e^αx))

其中，α为常数，通常取0.5或者1.5。

优选地，在步骤S2中所述目标检测模型框架的输入模块通过如下方式生成

-将YOLOv4模型中输入模块的Mosaic数据增强算法替换为ProMosaic数据增强算法生成；

其中，所述ProMosaic数据增强算法的图像拼接数大于所述Mosaic数据增强算法的图像拼接数。

优选地，所述Mosaic数据增强算法，用于4张图像的拼接；

所述ProMosaic数据增强算法，用于6张图像的拼接。

优选地，所述ProMosaic数据增强算法设计为3×2、2×3和3×3的形式的网格。

优选地，所述ProMosaic数据增强算法以逆时针作为填充图像的顺序，将处理后的图像左上角与网格左上角对齐后填充。

优选地，所述ProMosaic数据增强算法图进行图像填充时，将灰色背景板等分，标记出等分的坐标点，将所述图像粘贴至每一网格内。

根据本发明提供的基于目标检测模型的目标检测系统，包括如下模块：

数据集获取模块，用于获取图像数据集，将所述图像数据集划分为训练集A和验证集B；

模型建立模块，用于建立目标检测模型框架，所述目标检测模型框架采用在CSPDarknet53网络模块中配置Fish激活函数的YOLOv4模型；

模型训练模块，用于通过所述训练集A对所述目标检测模型进行训练，所述验证集B对所述目标检测模型进行测试生成目标检测模型。

与现有技术相比，本发明具有如下的有益效果：

本发明中目标检测模型框架通过将YOLOv4模型中CSPDarknet53网络的Mish激活函数替换为Fish激活函数生成，由于Fish是一个连续并且处处可微的函数，在输入趋向两端时梯度变换会更明显，在相同条件下使用Fish激活函数比使用Mish激活函数节约了2.26％的训练时间，并且Total loss降低了4.32％，Val loss降低了6.37％，并在实际检测结果上具有更高的检测置信度。

本发明中目标检测模型框架通过将YOLOv4模型中输入模块的Mosaic数据增强算法替换为ProMosaic数据增强算法生成，ProMosaic数据增强算法同时将六张原始图像合成为一张训练图像，极大的扩大了模型每训练一次时所处理的特征数量，同时还加快了模型训练速度，使得每一个世代都能在更短的时间内训练完，在相同条下使用ProMosaic数据增强算法比使用Mosaic数据增强算法可以节约1.11％的训练时间，并且Total loss降低了4.69％，Val loss降低了9.26％。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中基于目标检测模型的目标检测方法的步骤流程图；

图2为本发明实施例中Fish激活函数图；

图3为本发明实施例中目标检测模型的网络结构；

图4为本发明实施例中目标检测模型的ProMosaic算法数据增强的效果图；

图5(a)为本发明实施例中原始的YOLOv4目标检测模型的检测结果示图；

图5(b)为本发明实施例中目标检测模型检测结果示图；

图6(a)为本发明实施例中ProMosaic算法的性能图；

图6(b)为本发明实施例中Mosaic算法的性能图；

图7(a)为本发明实施例中Fish激活函数的性能图；

图7(b)为本发明实施例中Mish激活函数的性能图；

图8为本发明实施例中基于目标检测模型的目标检测系统的模块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明实施例中基于目标检测模型的目标检测方法的步骤流程图，如图1所示，本发明提供的基于目标检测模型的目标检测方法，包括如下步骤：

步骤S1：获取图像数据集，将所述图像数据集划分为训练集A和验证集B；

步骤S2：建立目标检测模型框架，所述目标检测模型框架通过将YOLOv4模型中CSPDarknet53网络的Mish激活函数替换为Fish激活函数生成；

步骤S3：通过所述训练集A对所述目标检测模型框架进行训练，所述验证集B对所述目标检测模型框架进行测试生成目标检测模型。

在本发明实施例中，所述图像数据集采用VOC2007公共数据集，共有9963张人类日常生活图片，包括20个类别。训练集A中5011张图片，验证集B中4952张图片。

所述20个类分别为：飞机、自行车、鸟、船、瓶子、公共汽车、小汽车、猫、椅子、奶牛cow、餐桌、狗、马、摩托车、人、盆栽植物、羊、沙发、火车以及电视监视器。

训练集A中图片分布为：飞机283张、自行车243张、鸟330张、船181张、瓶子244张、公共汽车18张、小汽车713张、猫337张、椅子445张、奶牛141张、餐桌200张、狗421张、马287张、摩托车245张、人2008张、盆栽植物245张、羊96张、沙发229张、火车261张以及电视监视器256涨。

验证集B中图片分布为：飞机204张、自行车239张、鸟282张、船172张、瓶子212张、公共汽车174张、小汽车721张、猫322张、椅子417张、奶牛127张、餐桌190张、狗418张、马274张、摩托车222张、人2007张、盆栽植物224张、羊97张、沙发223张、火车259张以及电视监视器229张。

图2为本发明实施例中Fish激活函数图，如图2所示，所述Fish激活函数f(x)，表达式为：

f(x)＝xarctan(ln(1+e^αx))

其中，α为常数，通常取0.5或者1.5。

由函数表达式可以知道，与Mish相同，Fish在x→+∞时是无界的，在x→-∞时是有界的。通过求导可以得到Fish的一阶导数：

其中ω(x)和φ(x)分别为：

ω(x)＝arctan(ln(e^αx+1))

受到Mish激活函数的启发，在寻找激活函数的时候首先注重梯度的变化，相比较Mish，当α＝0.5时，Fish在自变量取值为正时，梯度大于Mish，可以知道在控制变量时，当自变量取值趋向正向时Fish的收敛速度会更快。相比较YOLOv4中的Mish激活函数，Fish激活函数选择自变量趋向两端时函数梯度更大的arctanx作为最外层的复合函数。

图3为本发明实施例中目标检测模型的网络结构，如图3所示，在本发明实施例中，在步骤S2中所述目标检测模型框架的输入模块通过如下方式生成：

-将YOLOv4模型中输入模块的Mosaic数据增强算法替换为ProMosaic数据增强算法；

其中，所述ProMosaic数据增强算法的图像拼接数大于所述Mosaic数据增强算法的图像拼接数。所述Mosaic数据增强算法，用于4张图像的拼接；所述ProMosaic数据增强算法，用于6张图像的拼接。

本发明实施例中的ProMosaic数据增强算法对Mosaic数据增强进行改进，将四张图像进行拼接的Mosaic数据增强算法改为使用六张图像进行拼接的ProMosaic数据增强算法，这不仅扩大了每次迭代训练时模型的特征吞吐量，还减少了目标检测模型训练的时间，并且让显存使用率得到提升。

在本发明是实施中，在所述ProMosaic数据增强算法中ProMosaic可以设计为3×2、2×3和3×3的形式的网格。由于网格的数量和合成原始图像数量一致，因此在考虑网格如何划分的时候，要考虑到网格的数量不能太多，最终本算法将网格划分成6格。

在本发明实施例中，ProMosaic数据增强算法以逆时针作为填充原始图像的顺序，将处理后的原始图像左上角与网格左上角对齐后填充；ProMosaic数据增强算法将灰色背景板等分，标记出等分的坐标点，将所述原始图像粘贴至网格内。

图像数据从输入模块端进入目标检测模型框架网络，首先经过简单地卷积和批量归一化操作后再使用Fish激活函数进行非线性激活。将得到的数据进行复制为两份，一份进行残差网络的特征处理，另一份不作任何处理，将得到的结果进行直接拼接。引入残差网络的意义在于消除特征经过深层网络训练后导致过拟合的现象，通过残差拼接操作使Darknet53转化为CSPDarknet53。主干网络输出的特征传向SPP和PANet，分别在SPP内做了四次MaxPooling操作，将得到特征再次传进PANet特征金字塔中。特征在PANet中会进行上下层之间的Upsampling和Downsampling组合，并配合上卷积操作与特征拼接操作。最后输出到不同的大小的特征网格图中，最上方的特征图大小为52×52，是最密集的网格图，用来预测小物体。中间为的特征图大小为26×26，是中等密集的网格图，用来预测中等大小的物体，最下方的特征图大小为13×13，最稀疏的网格图，用来预测大物体。每个网格点有三种大小的先验框，并且根据分类的目标不同特征通道数也不一样，本发明用的是VOC2007数据集，因此分类数为20，由于每个先验框需要一个置信度参数和四个坐标参数，因此对于每个网格点来说，参数的大小为(1+4+20)×3。

图4为本发明实施例中目标检测模型的ProMosaic算法数据增强的效果图，如图4所示，可以看到将六张原始图像经过基本的变换之后拼接在一起，形成一张训练图像，极大地增加了每一次迭代时，参与模型训练的特征数，这不仅加快了模型的训练速度，还降低了使用者的硬件要求，让每一个人都可以在更便宜的设备上进行模型的使用。

图5(a)为本发明实施例中原始的YOLOv4目标检测模型的检测结果示图，图5(b)为本发明实施例中目标检测模型检测结果示图，图5(a)为原始的YOLOv4检测结果，右侧为改进的目标检测模型检测结果，可以看到原始的YOLOv4检测的置信度较为零散，甚至出现不足60％的检测置信度。而改进的目标检测模型检测结果对所检测的目标具有更高的置信度(均接近100％)，这说明模型对学习到的特征更加具有可信度。

图6(a)为本发明实施例中ProMosaic算法的性能图，图6(b)为本发明实施例中Mosaic算法的性能图，如图6所示，在相同条下使用ProMosaic数据增强算法比使用Mosaic数据增强算的Total loss降低了4.69％，Val loss降低了9.26％。

图7(a)为本发明实施例中Fish激活函数的性能图，图7(b)为本发明实施例中Mish激活函数的性能图，如图7所示，Fish激活函数与Mish激活函数的性能对比图。在相同条件下使用Fish激活函数比使用Mish激活函数Total loss降低了4.32％，Val loss降低了6.37％。

图8为本发明实施例中基于目标检测模型的目标检测系统的模块示意图，如图8所示，本发明提供的基于目标检测模型的目标检测系统，包括如下模块：

数据集获取模块，用于获取图像数据集，将所述图像数据集划分为训练集A和验证集B；

模型建立模块，用于建立目标检测模型框架，所述目标检测模型框架采用在CSPDarknet53网络模块中配置Fish激活函数的YOLOv4模型；；

模型训练模块，用于通过所述训练集A对所述目标检测模型进行训练，所述验证集B对所述目标检测模型进行测试生成目标检测模型。

本发明实施例中将改进后的YOLOv4模型，用下载好的预训练权重在VOC2007数据集上移植到RTX2060S显卡进行加速训练，不断地调整训练世代数，最终得到总损失和验证损失都较低的检测模型权重文件。将改进后的YOLOv4目标检测训练好的模型权重进行保存，再针对同一张图像进行检测识别，发现改进的YOLOv4目标检测模型在检测任务中对目标具有更高的置信度，这说明改进后的模型对预测框内的物体更加准确。

本发明实施例中目标检测模型框架通过将YOLOv4模型中CSPDarknet53网络的Mish激活函数替换为Fish激活函数生成，由于Fish是一个连续并且处处可微的函数，在输入趋向两端时梯度变换会更明显，在相同条件下使用Fish激活函数比使用Mish激活函数节约了2.26％的训练时间，并且Total loss降低了4.32％，Val loss降低了6.37％，并在实际检测结果上具有更高的检测置信度。

本发明实施例中目标检测模型框架通过将YOLOv4模型中输入模块的Mosaic数据增强算法替换为ProMosaic数据增强算法生成，ProMosaic数据增强算法同时将六张原始图像合成为一张训练图像，极大的扩大了模型每训练一次时所处理的特征数量，同时还加快了模型训练速度，使得每一个世代都能在更短的时间内训练完，在相同条下使用ProMosaic数据增强算法比使用Mosaic数据增强算法可以节约1.11％的训练时间，并且Total loss降低了4.69％，Val loss降低了9.26％。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于目标检测模型的目标检测方法，其特征在于，包括如下步骤：

步骤S1：获取图像数据集，将所述图像数据集划分为训练集A和验证集B；

步骤S2：建立目标检测模型框架，所述目标检测模型框架采用在CSPDarknet53网络模块中配置Fish激活函数的YOLOv4模型；

步骤S3：通过所述训练集A对所述目标检测模型框架进行训练，所述验证集B对所述目标检测模型框架进行测试生成目标检测模型。

2.根据权利要求1所述的基于目标检测模型的目标检测方法，其特征在于，所述图像数据集采用VOC2007公共数据集，共有9963张人类日常生活图片，包括20个类别。

3.根据权利要求2所述的基于目标检测模型的目标检测方法，其特征在于，所述20个类分别为：飞机、自行车、鸟、船、瓶子、公共汽车、小汽车、猫、椅子、奶牛cow、餐桌、狗、马、摩托车、人、盆栽植物、羊、沙发、火车以及电视监视器。

4.根据权利要求1所述的基于目标检测模型的目标检测方法，其特征在于，所述Fish激活函数f(x)，表达式为：

f(x)＝xarctan(ln(1+e^αx))

其中，α为常数，通常取0.5或者1.5。

5.根据权利要求1所述的基于目标检测模型的目标检测方法，其特征在于，在步骤S2中所述目标检测模型框架的输入模块通过如下方式生成

-将YOLOv4模型中输入模块的数据增强算法采用ProMosaic数据增强算法生成。

6.根据权利要求5所述的基于目标检测模型的目标检测方法，其特征在于，所述Mosaic数据增强算法，用于4张图像的拼接；

所述ProMosaic数据增强算法，用于6张图像的拼接。

7.根据权利要求5所述的基于目标检测模型的目标检测方法，其特征在于，所述ProMosaic数据增强算法设计为3×2、2×3和3×3的形式的网格。

8.根据权利要求5所述的基于目标检测模型的目标检测方法，其特征在于，所述ProMosaic数据增强算法以逆时针作为填充图像的顺序，将处理后的图像左上角与网格左上角对齐后填充。

9.根据权利要求5所述的基于目标检测模型的目标检测方法，其特征在于，所述ProMosaic数据增强算法图进行图像填充时，将灰色背景板等分，标记出等分的坐标点，将所述图像粘贴至每一网格内。

10.一种基于目标检测模型的目标检测系统，其特征在于，包括如下模块：

数据集获取模块，用于获取图像数据集，将所述图像数据集划分为训练集A和验证集B；

模型建立模块，用于建立目标检测模型框架，所述目标检测模型框架采用在CSPDarknet53网络模块中配置Fish激活函数的YOL0v4模型；

模型训练模块，用于通过所述训练集A对所述目标检测模型进行训练，所述验证集B对所述目标检测模型进行测试生成目标检测模型。

Images