CN111260630A

CN111260630A - 一种改进的轻量化的小目标检测方法

Info

Publication number: CN111260630A
Application number: CN202010047311.9A
Authority: CN
Inventors: 朱婷婷; 林焕凯; 王祥雪; 汪刚
Original assignee: Gosuncn Technology Group Co Ltd
Current assignee: Gosuncn Technology Group Co Ltd
Priority date: 2020-01-16
Filing date: 2020-01-16
Publication date: 2020-06-09

Abstract

本发明属于计算机视觉及目标检测技术领域，具体涉及一种改进的轻量化的小目标检测方法，通过改进Tiny‑DSOD算法的数据增强、主干网络对其进行优化。该算法由主干网络和融合模块组合，基于前馈卷积神经网络，对目标生成一系列固定大小的锚框，并输出这些检测框中包含某类物体实例的得分，然后通过非极大值抑制，输出最终的检测结果。

Description

一种改进的轻量化的小目标检测方法

技术领域

本发明属于计算机视觉及目标检测技术领域，具体涉及一种改进的轻量化的小目标检测方法。

背景技术

目标检测是一种基于图像的识别技术，目的是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小，是机器视觉领域的核心问题之一。广泛应用于人工智能和信息技术领域，包括机器人视觉、智能安防、自动驾驶、增强现实等。目标检测算法分为两步目标检测算法和单步目标检测算法。两步目标检测算法采用先选择候选区域，然后对其进行分类，例如RCNN、FastRCNN、FasterRCNN等，该类技术方法有较好的检测精度，但检测速度较慢，难以达到实时检测的效果。单步检测算法去除候选区域选择部分，将定位和分类任务作为回归问题处理，例如YOLO、SSD、tiny-DSOD等，优点是检测速度快，可以实现端到端的训练和检测，但检测精度略有下降。

现有Tiny-DSOD算法基于DenseNet主干网络，可实现端到端的训练和检测，但是相比SSD算法，速度较快，但是检测精度略有下降，因此在实际应用中，存在检测精度不高的问题，特别是针对小目标的检测。

现有技术方案Tiny-DSOD算法基于DenseNet主干网络，为了能融合浅层特征和高层的语义信息，借鉴FPN的思想，提出了一个轻量级的特征金字塔网络DFPN，用于将信息流从较深和较小的特征图重定向到较浅的。由下采样和反向的上采样组成，这种反向的上采样已经被很多文章证明其有效性，但是大部分都是用反卷积来实现，这大大增加了模型的复杂度，也使得模型难以收敛，因此该算法使用简单的双线性插值层进行上采样，其中多任务损失函数使我们能够以端到端的方式训练整个网络。相比单步SSD检测算法，该方案提升了检测速度，但因为轻量化网络结构的引入，导致检测精度变低，特别是针对小目标的检测。

常用的目标检测算法在进行模型训练之前先对数据集进行增强处理，一般通过类似SSD算法的数据增强方式，对原始数据集进行随机的扭曲、裁剪和缩放，从而增加训练数据的随机性。但是该方法是对所有的图像进行通用的处理，在小目标的检测上不具有优势。

因此，本技术方案将从数据增强、主干网络修改两个方面进行优化，以使本方案在保证检测速度不变的情况下，提升小目标的检测精度。

发明内容

为了解决现有技术中存在的技术缺陷，本发明设计了一种改进的轻量化的小目标检测方法。

本发明通过以下技术方案实现：

一种轻量化的小目标检测方法，包括以下步骤：获取待检测的图像；对所述待检测的图像进行数据增强，获得增强后的第一增强数据图像；对所述第一增强数据图像进行采样，获取第二采样增强数据图像；所述第二采样增强数据图像送入SDB主干网络扩大感受野，再通过轻量级特征金字塔网络(DFPN)特征融合处理，输出多个特征提取层；对所述多个特征特区层进行目标检测。

进一步地，所述SDB主干网络模块的输入图像的大小为300×300，SDB主干网络包含一个2D卷积，由5个Single BlazeBlock模块和6个Double BlazeBlock模块堆叠而成，所述Single BlazeBlock模块和Double BlazeBlock模块中均使用5*5卷积核，用于扩大感受野。

进一步地，所述的对所述第一增强数据图像进行采样包括上采样操作和下采样操作。

进一步地，所述上采样操作采用简单的双线性插值层进行，通过对应元素求和，将生成的特征图与底层相同大小的特征图合并。

进一步地，所述下采样操作，通过一个双分支结构进行，并且3*3卷积采用深度可分离卷积，两路分支通过拼接操作结合。

进一步地，数据增强采样方法包括步骤：1)从初始图像中随机选择一个尺寸的目标；2)找到该目标最近的anchor尺度；3)随机选择一个目标尺度；4)通过调整目标图像的大小，随机裁剪包含最初选定的目标的训练大小的标准尺寸，得到anchor采样的训练数据。

进一步地，采用损失函数在训练时同时对位置和目标种类进行回归。

进一步地，损失函数L是置信损失和位置损失之和，表达式如下：

式中：N是与参照物体框匹配的默认框个数；L_conf(z,c)为置信损失，L_loc(z,l,g)是位置损失；z为默认框与不同类别的参照物体框的匹配结果；c为预测物体框的置信度；l为预测物体框的位置信息；g为标注物体框的位置信息；α为权衡置信损失和位置损失的参数，一般设置为1。

一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现改进的轻量化的小目标检测方法的步骤。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现改进的轻量化的小目标检测方法的步骤。

与现有技术相比，本发明至少具有下述的有益效果或优点：

1.改用数据增强方法，采用数据增强采样方法，不仅提升小尺度目标的占比，而且通过大尺度目标生成小尺度目标，以增加小尺度目标的多样性。

2.改进了主干网络，扩大感受野，加强特征表达能力。以使在检测速度变化不大的情况下，提高小目标的检测精度。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1为本发明的改进算法和Tiny-DSOD算法对比图；

图2为Stacked DDB-b(g)结构图；

图3为DFPN网络结构图；

图4为下采样和上采样结构图；

图5为Single BlazeBlock结构图；

图6为Double BlazeBlock结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术方案提出了一种改进的轻量化的小目标检测技术，在保证检测速度变化不大的基础上，明显提高了小目标的检测精度。

1.基础模型设计

本技术方案通过改进Tiny-DSOD算法的数据增强、主干网络对其进行优化，如图1所示。该算法由主干网络和融合模块组合，基于前馈卷积神经网络，对目标生成一系列固定大小的锚框，并输出这些检测框中包含某类物体实例的得分，然后通过非极大值抑制，输出最终的检测结果。现有技术中的Tiny-DSOD算法的DenseNet主干网络如表1所示。改进方法的SDB主干网络如表2所示，输入图像的大小为300×300，包含一个2D卷积，然后由5个Single BlazeBlock模块(如图5所示)和6个Double BlazeBlock模块堆叠而成，BlazeBlock模块中使用5*5卷积核代替3*3卷积核，扩大感受野，由于深度可分离卷积计算主要由点态部分控制，因此增加深度可分离卷积中卷积核大小带来的计算量增加是有限的。另外为了促进感受野Size的传递，提出了double BlazeBlock模块，如图6所示。

表1 Tiny-DSOD算法的DenseNet主干网络

为了克服常用算法浅层特征层缺乏目标语义信息这个缺点，本方案采用轻量级特征金字塔网络(DFPN)连接浅层和深层特征。网络架构如图3所示，包含了下采样和反向上采样，这种反向的上采样已经被很多文章证明其有效性，但是大部分都是用反卷积来实现，这大大增加了模型的复杂度，也使得模型难以收敛，因此该算法使用简单的双线性插值层进行上采样，通过对应元素求和，将生成的特征图与底层相同大小的特征图合并。图4中的下采样操作，通过一个双分支结构进行，并且3*3卷积采用了深度可分离卷积，两路分支通过拼接操作结合。

表2本文改进方法的SDB主干网络

最后，本文方法最终输出6个特征提取层用于目标检测，其特征图尺寸大小分别为38×38、19×19、10×10、5×5、3×3和1×1，分别由FM6、FM5、FM4、FM3、FM2和FM1输出。

本方案改进算法和SSD算法相比，使用了轻量化的主干网络、轻量化的特征金字塔融合模块(DFPN)，因此在检测精度变化不大的情况下，检测速度有明显的提升。本方案改进算法和Tiny-DSOD算法相比，主要有两个改进点，如图1所示，一是改用数据增强方法，采用数据增强采样方法，不仅提升小尺度目标的占比，而且通过大尺度目标生成小尺度目标，以增加小尺度目标的多样性。二是改进了主干网络，扩大感受野，加强特征表达能力。最后在检测速度不变的情况下，提高小目标的检测精度。

2.数据增强

数据的分布对模型的泛化能力影响大，数据增强通过一系列图像预处理手段能够增强训练数据的多样性，可以提高模型的泛化能力。一般常用的数据增强方法是对原始数据集进行随机的扭曲、裁剪和缩放，从而增加训练数据的随机性，其目的是为了提高模型的泛化能力。本文为了提高小目标的检测性能，引入了数据增强采样方法。

数据增强采样方法是通过将图像中随机的一个目标，重塑为随机的较小的锚框大小来调整训练图像的大小，改变了训练数据的分布。具体为首先从图像中随机选择一个尺寸的目标，然后找到其最近的anchor尺度。然后，它随机选择一个目标尺度。最后，通过调整图像的大小，随机裁剪包含所选目标的训练大小的标准尺寸，得到anchor采样的训练数据。例如，首先随机选定一个目标，假设其大小为140，然后选择最近的锚尺度，假设为128。然后从16，32，64，128，256中选择一个目标尺度。假设选择了32，那么缩放原图的尺度因子为32/140＝0.2285。最后，从resize之后的图片中裁剪一个包含最初选定的目标的图片块，这样就得到了采样的训练数据。通过这样的操作不仅提升小尺度目标的占比，而且通过大尺度目标生成小尺度目标，以增加小尺度目标的多样性。

3.损失函数

本方案改进的算法使用的损失函数在训练时会同时对位置和目标种类进行回归，其损失函数L是置信损失和位置损失之和，表达式如下：

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现改进的轻量化的小目标检测方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现改进的轻量化的小目标检测方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims

1.一种轻量化的小目标检测方法，其特征在于，包括以下步骤：

获取待检测的图像；

对所述待检测的图像进行数据增强，获得增强后的第一增强数据图像；

对所述第一增强数据图像进行采样，获取第二采样增强数据图像；

所述第二采样增强数据图像送入SDB主干网络扩大感受野，再通过轻量级特征金字塔网络(DFPN)特征融合处理，输出多个特征提取层；

对所述多个特征提取层进行目标检测。

2.根据权利要求1所述的一种轻量化的小目标检测方法，其特征在于，所述SDB主干网络模块的输入图像的大小为300×300，所述SDB主干网络模块包含一个2D卷积，由5个Single BlazeBlock模块和6个Double BlazeBlock模块堆叠而成，所述Single BlazeBlock模块和Double BlazeBlock模块中均使用5*5卷积核，用于扩大感受野。

3.根据权利要求2所述的一种轻量化的小目标检测方法，其特征在于，所述的对所述第一增强数据图像进行采样包括上采样操作和下采样操作。

4.根据权利要求3所述的一种轻量化的小目标检测方法，其特征在于，所述上采样操作采用双线性插值层进行，通过对应元素求和，将生成的特征图与底层相同大小的特征图合并。

5.根据权利要求3所述的一种轻量化的小目标检测方法，其特征在于，所述下采样操作，通过一个双分支结构进行，并且3*3卷积采用深度可分离卷积，两路分支通过拼接操作结合。

6.根据权利要求2所述的一种轻量化的小目标检测方法，其特征在于，数据增强采样方法包括步骤：1)从初始图像中随机选择一个尺寸的目标；2)找到该目标最近的anchor尺度；3)随机选择一个目标尺度；4)通过调整目标图像的大小，随机裁剪包含最初选定的目标的训练大小的标准尺寸，得到anchor采样的训练数据。

7.根据权利要求2所述的一种轻量化的小目标检测方法，其特征在于，采用损失函数在训练时同时对位置和目标种类进行回归。

8.根据权利要求7所述的一种轻量化的小目标检测方法，其特征在于，损失函数L是置信损失和位置损失之和，表达式如下：

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-8任一所述的一种轻量化的小目标检测方法的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求1-8任一所述的一种轻量化的小目标检测方法的步骤。