CN114078230B - 一种自适应特征融合冗余优化的小目标检测方法 - Google Patents

Abstract

本发明公开了一种自适应特征融合冗余优化的小目标检测方法，涉及计算机视觉技术领域，解决现有增进模型对目标关注度的注意力机制注入方法，普遍会增大模型的复杂程度，降低了模型的实时性和实用性的问题，本发明针对目标检测中的两个问题提出了相应的解决办法，其一是针对特征通道中冗余信息杂糅的问题提出自适应通道激活基础模块按通道独立进行不固定的激活操作，各通道自动学习出各自所需激活函数，显著抑制了特征提取过程中杂质信息的表达，优化了浅层特征冗余的问题。其二是在CenterNet中选择适当的位置注入注意力模块，有针对性地对优化后的特征进行二次提炼与关键增强，同时针对注意力模块带来的复杂度增加问题。

Description

一种自适应特征融合冗余优化的小目标检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种自适应特征融合冗余优化的小目标检测方法。

背景技术

目标检测是计算机视觉的一个热门研究方向，其基础任务即识别与定位，需要识别出物体的类别属性同时确定其在画面中所处的具体位置。随着深度学习的崛起，在监控摄像头越来越普及的当下，目标检测技术更是活跃在人们的生活中，在行人检测、交通检测、工件瑕疵检测、医学图像分析等领域都能看到其应用。在目标检测中小目标因其本身固有性质，图像占比小，纹理特征不显著、浅层特征语义信息不足、深层特征信息缺失等原因，导致小目标的检测尤为困难。普遍的提升小目标检测精度的方法是进行多层特征融合，例如早期的图像金字塔，后期升级的特征金字塔FPN，以及在FPN基础上的各种改进特征融合模块PANet、ASFF、NAS-FPN、BiFPN、Recursive-FPN等；另外一种方法是分而治之，如SSD、MS-CNN、YOLO使用反卷积来强化浅层特征的语义信息，在不同分辨率特征层上对不同尺度的目标进行检测，但还是依托了特征融合的思路。以Anchor-free中经典目标检测算法CenterNet为例，网络结构如图2所示，其步骤可以简要概括为：通过主干网络DLA-34进行层级特征融合与跳跃特征融合来提取图像特征；对提取后的特征进行编解码预测。特征融合虽然一定程度上解决了小目标检测困难的问题，但是卷积网络带来的图像特征的高冗余问题，在这个过程中往往是被忽略的。与此同时，越复杂深层的特征融合会带来显著的内存压力，故而优化浅层的特征融合就显得尤为重要。卷积网络输出的特征图的不同通道中存在很多高度相似的冗余特征，甚至某些通道层中包含了大量杂质信息，这对于小目标的检测来说尤为不利，对这些通道层而言，其实并不需要在整个数据流转过程中进行激活。因此，网络若能自适应地将无关特征削减，对关键特征增强，对小目标检测来说很重要。目前，普遍的增强网络对目标关注度的方法是将注意力机制融合进入网络，但这些结构普遍会显著增加模型的复杂度。目标检测应用场景的广泛依赖实时性，自适应增强结构应在不影响模型的复杂度的情况下，增进模型的检测精度。

通过上述分析，现有技术存在的问题及缺陷为：

CenterNet算法进行特征融合后的特征数据中仍存在很多冗余的干扰信息，没有纯净每个通道层的信息。这一点造成目标检测方法对图像理解的不清晰。以图8(a)为例，展示了将样本图7输入CenterNet网络，其主干输出的部分通道特征信息，明显能观察到各通道四周存在很多杂质信息。

现有的增进模型对目标关注度的注意力机制注入方法，普遍会增大模型的复杂程度，降低了模型的实时性和实用性。以图4为例，展示了GC-Block注意力模块的模型结构，分为上下文信息提取与注意力融合两个部分。在上下文信息提取部分，需要采用1×1卷积模块进行层归一化后输入softmax里得到各通道重要性占比因子之后，将输入信息与重要性占比因子相乘之后强化关键层的信息表达，随后将强化后的关键信息注入注意力融合模块提炼更精确的特征信息，再与以原始输入信息进行通道拼接。此操作虽然能有效提升特征的提取效率，但如果在目标检测网络中广泛使用该注意力模型，会大大增加网络的复杂度，极具降低网络的推理速度。

解决以上问题及缺陷的难度为：现有技术缺乏对特征融合带来的冗余问题的浅层优化的研究与讨论，缺少应对该问题的有效方法与评估。现有的特征自关注强化的注意力机制，由由于参数量普遍偏大，不适合应用在网络全局模块中。要弥补其不足，需要对网络整体结构进行创新性的设计。

解决以上问题及缺陷的意义为：上述两个问题，着眼于目标检测领域的模型复杂度与检测效果的讨论。这两个问题的解决，能让模型在复杂度不激增的情况下，有效提升检测效果。

发明内容

本发明的目的在于：为了解决上述技术问题，本发明提供了一种自适应特征融合冗余优化的小目标检测方法。

本发明采用的技术方案如下：

一种自适应特征融合冗余优化的小目标检测方法，，包括如下步骤：

S1、利用现有图像制作训练数据集；

S2、构建神经网络模型：采用DLA34-CenterNet网络作为神经网络基础框架，构建MSA自适应激活模块作为网络的底层模块，对输入特征按通道自适应地进行非关注抑制-关键增强；

S3、在S2搭建好的基础网络框架的特征输出部分注入GC-Block注意力模块，对提取的特征二次清洁；

S4、在S3基础上，使用深度可分离卷积和Mish激活，设计高效的特征编解码模块DW，对输入数据而言，先进行独立的通道卷积再使用1×1卷积进行通道扩充，每次卷积后都要经过一次GN与Mish激活；

S5、采用训练数据集对S2-S4构建的神经网络进行训练，获得训练好的神经网络模型；

S6、将待检测图像输入训练好的神经网络模型，获得目标检测结果。

进一步地，所述S2中，自适应激活模块对输入特征图的处理方法为：

S21、对输入特征图进行实例归一化压缩图像维操作后，随后进行两次全连接批量归一化操作，再经过一个Sigmoid函数运算与范围映射之后，生成通道激活强度范围控制量；

S22、引入两激活类型控制参数P1、P2，与S21中生成的通道激活强度范围控制量结合，可自适应地生成不同类型的通道激活函数；

S23、将自适应通道激活函数应用到输入特征图上，得到通道杂质冗余明显得到优化的特征图，其中非关注特征在各通道中被明显削弱。

进一步地，所述S22中，生成通道激活强度范围控制量的公式由下式自适应决定：

β＝a·|1-Sigmoid(CVBN₂(CVBN₁(INS_sum(2,3)(x))))|

其中，x表示输出特征图，INS_sum(2,3)表示实例归一化后对维度(2,3)求和压缩成1x1维，CVBN₁表示第一次卷积+批量标准化操作、CVBN₂表示第二次卷积+批量标准化操作，Sigmoid将输出限制到[0,1]之间，a是范围调节因子，可以将输出映射到[0,a],β即生成的通道激活强度范围控制量。

进一步地，所述S23中，自适应通道激活的方法为：

out＝(p₁-p₂)x·Sigmoid(β(p₁-p₂)x)+p₂x

其中x为输入特征，p₁、p₂为自适应激活方式控制参数，在网络中是可学习的参数，β意义同前式，out为通道自适应激活输出特征。

进一步地，所述S3中，GC-Block注意力模块对输出特征的处理方法为：

S31、对主干输出特征进行层级语义强度提取，将特征图与提取到的强度相乘，得到语义增强后的特征图；

S32、对S31中语义增强后的特征图进行注意力淬取，得到定位特征增强的高语义特征图；

S33、将原始主干输出特征与定位特征增强的高语义特征图进行通道拼接。

进一步地，所述S32中，对特征图进行注意力淬取的过程由下式表示：

其中Attention-out是运算输出，是输入特征，对于图像数据来说N_p表示单层通道上的像素点数量H·W，W是线性变换矩阵，网络中均采用1×1卷积实现，R表示ReLU，LN是层归一化。

进一步地，所述S4中，编解码模块DW的运算过程，可由下式表示：

Dout＝CV1_C(CVL(x))

其中Dout表示解码输出，x表示输入特征，CV1_C表示使用1×1卷积进行通道扩充，CVL表示按通道层进行独立的卷积操作，每个卷积中都包含GN和Mish块。

本发明的有益效果如下：

1.本发明针对特征通道中冗余信息杂糅的问题提出自适应通道激活基础模块按通道独立进行不固定的激活操作，各通道自动学习出各自所需激活函数，显著抑制了特征提取过程中杂质信息的表达，优化了浅层特征冗余的问题；

2.本发明在CenterNet中选择适当的位置注入注意力模块，有针对性地对优化后的特征进行二次提炼与关键增强，同时针对注意力模块带来的复杂度增加问题，设计高效而小型的解码模块，来削弱注意力复杂度的影响。综合改进后的网络性能得到了显著提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，本说明书附图中的各个部件的比例关系不代表实际选材设计时的比例关系，其仅仅为结构或者位置的示意图，其中：

图1是本发明提供的自适应特征融合冗余优化算法目标检测的流程图。

图2是原始CenterNet的整体结构。

图3是本发明提供的自适应激活模型MSA结构。

图4是GC-Block注意力模型。

图5是本发明提供的DW解码模块结构。

图6是本发明提供的在CenterNet中融入MSA、GC-Block、DW模块模型后的结构。

图7是VisDrone2019数据集测试集的一张样本图。

图8是针对图7的样本图进行消融实验时主干特征提取后输出的相同通道的特征图可视化结果。

图9是测试集各类别检测准确度评估的消融实验比较结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

下面结合图1-图9对本发明作详细说明。

本方案中的方法具体运用到航空影像中的目标检测场景中，此场景下的目标普遍偏小，且密度大，能较好的提升检测效果，例如无人机视角下的目标检测。

实施例1

一种自适应特征融合冗余优化的小目标检测方法,包括如下步骤：

S1、利用现有图像制作训练数据集；

S2、构建神经网络模型：采用DLA34-CenterNet网络作为神经网络基础框架，构建MSA自适应激活模块作为网络的底层模块，对输入特征按通道自适应地进行非关注抑制-关键增强；

S3、在S2搭建好的基础网络框架的特征输出部分注入GC-Block注意力模块，对提取的特征二次清洁；

S4、在S3基础上，使用深度可分离卷积和Mish激活，设计高效的特征编解码模块DW，对输入数据而言，先进行独立的通道卷积再使用1×1卷积进行通道扩充，每次卷积后都要经过一次GN与Mish激活；

S5、采用训练数据集对S2-S4构建的神经网络进行训练，获得训练好的神经网络模型；

S6、将待检测图像输入训练好的神经网络模型，获得目标检测结果。

本发明的工作原理/工作过程为：主要是在CenterNet网络中采用新的自适应激活模块MSA作为基础搭建模块，在主干输出部分融合GC-Block注意力机制，构建新的高效特征编解码模块DW进行后续数据处理，构成一个新的神经网络，具体流程如图1所示。本发明的自适应激活MSA基础模块结构与MSA激活结构如图3所示，MSA基础模块是一种通用的特征提取基础模块，可以插入网络的任意位置。该模型不设定固定的激活方式，而是按通道自适应的生成激活方式，使网络能自动筛减掉特征提取过程中大量的杂质冗余信息，从而更关注关键点的信息表达。针对CenterNet网络，网络提取的浅层特征的对小目标的检测而言更为适用，基础模块虽然抑制了杂质特征的表达，但关键信息没有进行二次强化，适当引入注意力模块可以弥补关键信息亮度不足的问题。故而本发明选择在CenterNet主干输出部分进行GC-Block注意力融入改进，主要对DLA2特征图进行处理，强化其关键特征的表达，具体结构如图4。由于注意力模块的引入势必会增加一些参数量，为了削减注意力引入复杂度的影响，将适用深度可分离卷积与Mish结合搭建高效且复杂度稍降的解码模块，具体结构见图5。本发明改进后的CenterNet网络整体结构见图6。

实施例2

本发明选择了公开无人机捕获数据集VisDrone2019作为实验材料，使用模型参数量、mAP、mAR作为评价指标。该数据集共包含10类别，其中共有6471个训练样本和1610个验证样本。训练样本对目标检测模型进行训练，验证集对模型效果进行评估。

首先，本发明选择了CenterNet原始网络以及来自比赛总结文献中的部分模型(即*部分，——为该文献中未给出的信息，数据来自文献：the vision meets droneobject detection in image challenge results)的模型参数量、运行速度FPS和在VisDrone2019数据集上测试的mAP、mAR作为测试基准，分别将本发明提出的自适应激活模块MSA、高效解码模块DW、以及融合了GC-Block的新主干，融合进入CenterNet相应部分，做横向对比测试，测试结果见表1。其中MSA-CenterNet+++即表示三模块融合的CenterNet网络。

表1 CenterNet融合提出的新模块在VisDrone2019数据集上测试结果

其中，测试中所包含的指标为模型参数量、FPS、mAP、mAR。整个网络模型的参数量反应了模型的复杂程度，具体地，参数量越大表明模型越复杂。FPS是模型每秒可处理的图片数量。mAP表示模型在VisDrone2019数据集上对10个类的平均精确度，其中在计算mAP时筛选正负样本的交并比IoU阈值设置在[0.5,0.95]范围内，以0.05为步长，算出来的所有准确度的平均值，mAP越大表明模型地检测效果越好。mAR即平均召回率，表示模型预测正确的正例部分占总真实正例部分的比例。表中粗体表示的数据，为同一列中模型最优的指标。

最后，本发明进行消融试验，本发明提出的各改进模块逐一加入原始CenterNet网络，分别进行模型训练与测试，得到如表2所示的结果。

表2改进模块逐一引入在VisDrone2019数据集上测试结果

MSA	DW	GC-Block	Parameters	mAP[％]	mAR[％]
									75.7M	25.9	40.4
√			76.3M	26.9(+1.0)	41.4(+1.0)
						√	√		76.1	27.1(+1.2)	41.7(+1.3)
√	√	√	78.1M	28.1(+2.2)	42.8(+2.4)

根据表1的结果可知，CenterNet在融合各提出模块后，在引入少量参数的情况下，模型的性能得到显著提升了。结合表2分析MSA自适应模块的加入有效提升了模型的检测精度，稍微增加了一些复杂度。在此基础上引入DW轻量化解码块，不但略微削减了前者复杂度提升带来的速度影响，同时检测精度也有所提升，最后再融入GC-Block主干网络，虽然再次增加了一些复杂度，但是根据表1所展示的FPS测试结果，可知总体2.4M复杂度的提升，对模型的现实运行效果几乎不会产生影响。对检测精度提升的原因进行剖析，主要认为，MSA模块的通道自适应激活机制，可以显著降低提取特征的冗余程度，对通道中的杂质特征进行自动清洗，具体效果可见图8(b)。DW轻量化解码模块可以控制自动清洗的程度，在尽可能保留关键特征的情况下，实现清洗最大化，具体效果可见图8(c)。GC-Block模块可以将清洗后的特征图进行二次提炼，增强关键特征在特征图中的信息亮度，为后续解码提供高质量的指引数据，具体效果可见图8(d)。消融实验针对测试集各类别准确度的详细比较信息见图9。

综上实验结果表明，在CenterNet中融合本发明所设计的三个模块，只引入少量参数，模型效果显著提升，相比于现有模型在引入参数量最少的情况下，检测精度达到最优。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种自适应特征融合冗余优化的小目标检测方法，其特征在于，包括如下步骤：

S1、利用现有图像制作训练数据集；

S2、构建神经网络模型：采用DLA34-CenterNet网络作为神经网络基础框架，构建MSA自适应激活模块作为网络的底层模块，对输入特征按通道自适应地进行非关注抑制-关键增强；

S3、在S2搭建好的基础网络框架的特征输出部分注入GC-Block注意力模块，对提取的特征二次清洁；

S4、在S3基础上，使用深度可分离卷积和Mish激活，设计高效的特征编解码模块DW，对输入数据而言，先进行独立的通道卷积再使用1×1卷积进行通道扩充，每次卷积后都要经过一次GN与Mish激活；

S5、采用训练数据集对S2-S4构建的神经网络进行训练，获得训练好的神经网络模型；

S6、将待检测图像输入训练好的神经网络模型，获得目标检测结果；

所述S2中，自适应激活模块对输入特征图的处理方法为：

S21、对输入特征图进行实例归一化压缩图像维操作后，随后进行两次全连接批量归一化操作，再经过一个Sigmoid函数运算与范围映射之后，生成通道激活强度范围控制量；

S22、引入两激活类型控制参数P1、P2，与S21中生成的通道激活强度范围控制量结合，可自适应地生成不同类型的通道激活函数;

S23、将自适应通道激活函数应用到输入特征图上，得到通道杂质冗余明显得到优化的特征图，其中非关注特征在各通道中被明显削弱；

所述S22中，生成通道激活强度范围控制量的公式由下式自适应决定：

其中，x表示输出特征图，表示实例归一化后对维度（2,3）求和压缩成1x1维，CVBN₁表示第一次卷积+批量标准化操作、CVBN₂表示第二次卷积+批量标准化操作，Sigmoid将输出限制到[0,1]之间，||表示取绝对值，/>是范围调节因子，可以将输出映射到[0,/>],β即生成的通道激活强度范围控制量；

所述S3中，GC-Block注意力模块对输出特征的处理方法为：

S31、对主干输出特征进行层级语义强度提取，将特征图与提取到的强度相乘，得到语义增强后的特征图；

S32、对S31中语义增强后的特征图进行注意力淬取，得到定位特征增强的高语义特征图；

S33、将原始主干输出特征与定位特征增强的高语义特征图进行通道拼接。

2.根据权利要求1所述的一种自适应特征融合冗余优化的小目标检测方法，其特征在于，所述S23中，自适应通道激活的输出特征out为

其中x为输入特征，、/>为自适应激活方式控制参数，在网络中是可学习的参数。

3.根据权利要求1所述的一种自适应特征融合冗余优化的小目标检测方法，其特征在于，所述S32中，对特征图进行注意力淬取的过程由下式表示：

其中Attention-out是运算输出，是输入特征，对于图像数据来说/>表示单层通道上的像素点数量/>，W是线性变换矩阵，网络中均采用1×1卷积实现，R表示ReLU，LN是层归一化。

4.根据权利要求1所述的一种自适应特征融合冗余优化的小目标检测方法，其特征在于，所述S4中，编解码模块DW的运算过程，可由下式表示：

其中Dout表示解码输出，x表示输入特征，CV1_C表示使用1×1卷积进行通道扩充，CVL表示按通道层进行独立的卷积操作，每个卷积中都包含GN和Mish块。