CN114882205A - 基于注意力机制的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的目标检测方法，主要解决现有目标检测方法网络复杂、速度不快和在复杂背景下检测效果差的问题。本发明的具体步骤如下：(1)构建积神经网络；(2)生成目标训练集；(3)训练卷积神经网络；(4)对待检测目标进行检测。本发明构建了一个由特征提取模块、注意力机制模块、特征增强模块、识别和定位模块组成的卷积神经网络，克服了现有目标检测方法中在复杂背景下目标检测效果差并且速度慢的问题，使得本发明能够实时检测复杂背景下的目标。

Description

基于注意力机制的目标检测方法

技术领域

本发明属于图像处理技术领域，涉及图像检测，特别涉及一种基于注意力机制的目标检测方法。

背景技术

现有的大量目标检测方法在公开数据集中获得了非常高的分数，但在现实任务中目标检测仍然存在很多挑战，像在复杂背景下对目标的检测效果较差等。例如，在实际道路上，智能驾驶系统的实时检测行人和车辆将有助于驾驶员更安全地行驶。然而，现实情况的背景却十分复杂，比如雨天和下雪天等恶劣天气会影响行人和车辆的检测，傍晚和夜间的时间对行人和车辆检测效果也较差，在高速路或者城市道路等不同的场景中对行人和车辆的检测效果也会受到影响。

在专利CN 112163580 A中公开了一种基于注意力机制的小目标检测算法。该算法在检测过程中加入了注意力机制，从而将注意力机制应用到不同通道的特征图上，增强对于识别有利的通道，抑制对于识别无用的通道。该方法首先将图像输入RPN网络，提取预选区域；将获取的区域输入FPN，提取多尺度的特征；将多尺度的特征输入注意力机制模块；在注意力机制模块中，通过两个全连接层和一个Sigmoid函数来计算特征通道的权值；将获得的特征图输入ROI Align层；根据得到的特征图，进行分类和回归，得到检测结果。此方法虽然可以提高目标检测精度，但是，该方法仍然存在的不足之处是：特征提取网络性能一般，使得添加注意力机制效果不明显，导致在实际复杂背景下的目标检测效果不佳。

Han Hu等人在其发表的论文Relation Networks for Object Detection(TheIEEE Conference on Computer Vision and Pattern Recognition(CVPR),2018)中公开了一种基于注意力机制的图像目标检测方法Relation Networks for Object Detection，该方法通过引入对象关系模块来刻画对象之间的关系，借助这样的注意力来提升目标检测的效果。该方法在检测过程中可以通过利用图像中目标之间的相互关系或者叫图像内容来优化检测效果，这种关系既包括相对位置关系也包括图像特征关系。即首先将图片输入到特征提取主网络；得到ROI及特征(RPN网络就包含在其中)；基于ROI做边框回归和object分类，在此网络的全连接层后加入注意力机制；进行非极大值处理，去除重复框。尽管此网络的方法可以提高目标的检测精度，但是该方法仍然存在的不足之处是：参数较多导致检测速度慢，所以无法在快速检测的场景中使用。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于注意力机制的目标检测方法，以解决现有目标检测方法网络复杂、速度不快和在复杂背景下对目标检测效果差的问题，能够实时检测复杂背景下的目标。

为了实现上述目的，本发明采用的技术方案是：

基于注意力机制的目标检测方法，包括：

步骤1，构建卷积神经网络

所述卷积神经网络由特征提取模块、注意力机制模块、特征增强模块、识别和定位模块依次连接组成；所述特征提取模块用于提取目标特征，所述注意力机制模块用于改变不同通道的特征权重，所述特征增强模块用于对提取的目标特征进行增强，所述识别和定位模块用于对增强的目标特征进行识别和定位；

步骤2，生成目标训练集

所述目标训练集由多张含有目标的待检测图片组成，每张待检测图片中的目标均进行标注，所述标注，是标注出目标所在的每个外接矩形框的各顶点坐标和其代表的类别；

步骤3，训练所述卷积神经网络

步骤4，对待检测目标进行检测

将含有待检测目标的图片输入训练好的卷积神经网络，输出对图片中待检测目标的类别和目标所在的每个外接矩形框位置的检测结果。

与现有技术相比，本发明的有益效果是：

第一，由于本发明构建了一个由特征提取模块、注意力机制模块、特征增强模块、识别和定位模块组成的目标检测网络，其中，注意力机制模块主要针对于解决背景复杂，检测网络难以区分检测目标和背景的场景。通过加入注意力机制，增加特征提取模块输出结果检测目标的权重，降低特征提取模块输出结果背景的权重。最终，克服了现有目标检测方法中在复杂背景下难以有效提取待检测物体的特征，导致最终检测精度不高的问题，使得本发明能够在复杂背景下精确识别出待检测的目标。

第二，由于本发明构建了基于端到端的一个目标检测网络，整体网络结构十分简单，但特征提取能力较强且由于计算量较少使得检测速度较快，克服了现有目标检测方法检测速度慢的问题，使得本发明能够应用到智能驾驶系统实时对车辆和行人进行精确识别，实现实时目标检测的功能。

附图说明

图1为本发明的流程图。

图2为本发明卷积神经网络结构示意图

图3为本发明中注意力机制模块的结构图。

图4为未添加注意力模块的检测结果。

图5为添加注意力模块的检测结果。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

本发明为一种基于注意力机制的目标检测方法，通过构建一个卷积神经网络提取目标特征，并使用注意力机制改变不同通道的特征权重，然后对提取的目标特征进行增强，最终将输出的向量与类别和位置相对应，对目标进行识别与定位，使得能够精确检测出图中的每一个目标。

参考图1，本发明具体包括如下步骤：

步骤1，构建卷积神经网络：

参考图2，本发明卷积神经网络由特征提取模块、注意力机制模块、特征增强模块、识别和定位模块依次连接组成。其中：

特征提取模块用于提取目标特征，该模块共有9层，其结构依次为：Focus层→第一卷积层→第一CSP层→第二卷积层→第二CSP层→第三卷积层→第三CSP层→第四卷积层→池化层。并设置每层参数为：

第一至第四卷积层中卷积核的个数分别设置为64，128，256，512，卷积核的大小均设置为3×3，步长均设置为2，且每一个卷积层都需要进行卷积操作、批归一化处理和ReLU激活处理。

Focus层需要进行一次下采样和卷积操作，下采样时宽和高均将为原来的一半，通道数增加到原来的四倍，卷积操作的卷积核大小为1×1，步长为1。

CSP层有两路操作，上路是通过卷积操作再通过残差结构，下路是一个卷积操作，将两路进行通道拼接后通过卷积操作，每次的卷积核大小均设置为3×3，步长均设置为2。

池化层有四路，有一路是输入，另外三路的池化区域核的大小分别为5×5、9×9、13×13，步长均设置为2，且均采用最大池化的方式，将四路结构拼接后进行卷积操作，卷积核大小为3×3，步长为2。

各卷积层的输入体积的函数如下：

V_in＝H₁*W₁*D₁

其中H₁、W₁和D₁为输入的高、宽和输出通道数。

各卷积层的输出体积的函数为：

V_out＝H₂*W₂*D₂

其中H₂、W₂和D₂为输出的高、宽和输出通道数。

H₂、W₂和D₂的公式如下：

H₂＝(H₁-F+2*P)/S+1

W₂＝(W₁-F+2*P)/S+1

D₂＝K

其中，F为卷积核的大小，S为步长大小，P为零填充的大小，K为卷积核的数量。

卷积层批归一化处理的函数如下：

其中，r_i为更新前的第i个特征权重，s_i表示更新后的第i个特征权重，C为通道数。

本方法通过利用Focus层可以很好地实现下采样的效果，并可以降低参数量同时拓宽通道数量，利用多次卷积层和CSP层可以很好提取图片中检测目标的特征，利用池化层替代全连接层可以大量降低数据量，减少网络参数，从而提高检测速度。

注意力机制模块用于改变不同通道的特征权重，共有3层，参考图2和图3，其结构依次为：全局平均池化层→权重共享的一维卷积层→Sigmoid激活层；并将池化区域核的大小设置为2×2，步长设置为2，一维卷积层的卷积核大小为k，填充为k/2。

全局平均池化层的函数为：

其中，z_i表示全局平均池化层输出的第i个特征权重，i＝1,2,...,C，C表示X的总维度数，也即通道数，C＝256，F_global表示全局平均池化操作，X表示从特征提取模块提取并向全局平均池化层输入的一组特征图，H和W分别表示X的高度和宽度，m和n分别表示横轴坐标和纵轴坐标，该坐标系以特征图左上角为原点，水平向右为横轴正方向，垂直向下为纵轴正方向，x_i(m,n)表示X中第i个特征图中坐标为(m,n)的点的值。

权重共享的一维卷积层与特征提取模块中的卷积层不同，其卷积核大小k代表了局部跨通道交互的覆盖率，k和C的关系为：

其中，||odd表示k只能取奇数，γ和b是用来控制通道数C和卷积核尺寸k的两个参数量，本方法将γ和b分别设置为2和1，用于改变通道数C和卷积核大小k之间的比例。

Sigmoid激活层的函数为：

其中，x为输入，S(x)为输出，通过使用该函数，可以很好地增加网络的非线性，并且控制输出范围在(0,1)之间，使得优化稳定，并且该函数是连续函数，便于计算。

由于在实际场景下，不同的背景都会对目标检测造成一定的影响，比如行人和来往车辆较多的城市街道的目标检测的精度会降低，在下雨天或者下雪天的目标检测会受到天气的影响，傍晚或者夜间的检测也会比白天的目标检测更为困难，再加上现实场景十分复杂，这些影响导致现有的目标检测方法的性能不佳，但本方法通过使用注意力机制可以有效地改变特征提取网络输出的特征图中各通道的权重比例，增强待检测目标的特征权重，降低其他背景的特征权重，使得提取出来的特征更加有效，极大提高整体网络的检测能力。因此本方法特别适用于复杂背景下的目标检测。

特征增强模块用于增强提取的目标特征，其共有14层，结构依次为：第五卷积层→第一上采样层→第一通道拼接层→第四CSP层→第六卷积层→第二上采样层→第二通道拼接层→第五CSP层→第七卷积层→第三通道拼接层→第六CSP层→第八卷积层→第四通道拼接层→第七CSP层。

其中，卷积层的卷积核大小均为3×3，步长均为2，CSP层的结构和第一步特征提取模块的设置相同，第一至第四通道拼接层的输入分别是第一上采样层和第三CSP层、第二上采样层和第二CSP层、第六卷积层和第七卷积层、第五卷积层和第八卷积层；并将卷积层的卷积核的大小设置为2×2，步长设置为2。

本方法使用特征增强模块结构较为简单，计算量较少，但该模块多次使用卷积层、通道拼接层和CSP层可以融合多尺度的特征信息，从而能够较好地增强注意力机制输出的特征图，比当前的目标检测网络简单但特征增强效果显著。

识别和定位模块用于对增强的目标特征进行识别和定位，该模块共有3层，其结构为三个卷积层，分别是：第九卷积层、第十卷积层、第十一卷积层；第九卷积层、第十卷积层、第十一卷积层的输入分别接第五CSP层、第六CSP层和第七CSP层的输出；并将第九、十和第十一卷积层中卷积核的个数分别设置为512，768，1024，卷积核的大小均设置为1×1，步长均设置为1。

将特征提取模块、注意力机制模块、特征增强模块、识别和定位模块依次连接组成卷积神经网络。

步骤2，生成目标训练集：

本发明目标训练集由多张含有目标的待检测图片组成，每张待检测图片中的目标均进行标注，即，标注出目标所在的每个外接矩形框的各顶点坐标和其代表的类别。示例地，可以从连续拍摄的含有待检测目标的视频中每隔10帧截取一张图片作为一张待检测图片，共截取10000张图片，并对获取的图片进行标注，例如，可以将图片中所需要检测的目标类别用labelImg软件进行标注，确定标注框的坐标和类别，即组成目标训练集。

在本发明的一个实施例中，通过如下方法生成目标训练集：

第一步，将至少10000张拍摄有车辆或者行人的待检测图片组成图片数据集，每张待检测图片是从连续拍摄的含有车辆或者的视频中每隔10帧截取一张图片，共截取10000张图片；

第二步，对图片数据集中的每张图片中的目标进行标注，将图片中含有的bus、truck、car和person用labelImg软件进行标注，确定标注框的坐标和类别，组成目标训练集。

步骤3，训练卷积神经网络：

将训练集输入到卷积神经网络中，用梯度下降法更新卷积神经网络的权值，直至Loss值降至3.0以下为止，得到训练好的卷积神经网络；

本发明Loss函数定义为：

Loss＝Loss_box+Loss_obj+Loss_cls

其中，Loss_box为评价目标框和预测框的位置损失损失，Loss_obj为评价目标框和预测框的置信度损失，Loss_cls为评价目标框和预测框的类别损失。

Loss_box公式如下：

其中，IOU是预测框和真实框的交并比，Distance_2是预测框和真实框两个中心点的欧式距离，Distance_C是预测框和真实框的对角线距离，v是衡量长宽比一致性的参数，其定义为：

其中，A和B分别是预测框和真实框的面积，w^gt和h^gt表示真实框的宽和高，w^p和w^p表示预测框的宽和高。

Loss_obj的公式为：

其中，

表示是否为正样本，取值0或1，

表示遍历所有预测框，S*S＝20*20+40*40+80*80，B＝4，

表示是否为负样本，取值0或1，

表示样本值，C_i表示预测值。

Loss_cls的公式为：

式中，i和j是一个mini-batch下anchor的索引，i从0增加到S*S，j从0增加到B的值，p_i是anchor预测为目标的概率，当anchor为目标时，

为1，否则为0，

表示遍历所有预测框，S*S＝20*20+40*40+80*80,B＝4,

表示是否为正样本，取值0或1，

表示目标真实概率值，p_i(c)表示目标预测概率值。

步骤4，对待检测目标进行检测：

将含有车辆或者行人的每张图片依次输入到训练好的卷积神经网络中，输出对图片中车辆或者行人的类别和目标所在的每个外接矩形框位置的检测结果。图4和图5为具体车辆或者行人检测结果，其中car代表检测出的小汽车，truck表示检测出的卡车，数字表示可能性概率。图4和图5分别为不加注意力机制和加了注意力机制的目标检测方法的实际检测效果，可以看出，使用本方法可以在复杂背景下很好地检测到目标车辆或者行人，并且检测精度要比不加注意力机制的网络高很多，从而很高地证明本网络在复杂背景下有较高的目标检测性能。

Claims (8)

1.基于注意力机制的目标检测方法，其特征在于，包括如下步骤：

步骤1，构建卷积神经网络

所述卷积神经网络由特征提取模块、注意力机制模块、特征增强模块、识别和定位模块依次连接组成；所述特征提取模块用于提取待检测目标特征，所述注意力机制模块用于改变不同通道的特征权重，所述特征增强模块用于增强提取的目标特征，所述识别和定位模块用于对增强的目标特征进行识别和定位；

步骤2，生成目标训练集

所述目标训练集由多张含有目标的待检测图片组成，每张待检测图片中的目标均进行标注，所述标注，是标注出目标所在的每个外接矩形框的各顶点坐标和其代表的类别；

步骤3，训练卷积神经网络；

步骤4，利用训练完成的卷积神经网络对待检测目标进行检测；

将含有待检测目标的图片输入训练好的卷积神经网络，输出对图片中待检测目标的类别和目标所在的每个外接矩形框位置的检测结果。

2.根据权利要求1所述基于注意力机制的目标检测方法，其特征在于，所述特征提取模块共有9层，其结构依次为：Focus层→第一卷积层→第一CSP层→第二卷积层→第二CSP层→第三卷积层→第三CSP层→第四卷积层→池化层；

设置每层参数为：

将第一至第四卷积层中卷积核的个数分别设置为64，128，256，512，卷积核的大小均设置为3×3，步长均设置为2，且每一个卷积层均需要进行卷积操作、批归一化处理和ReLU激活函数处理；

Focus层进行一次下采样和卷积操作，下采样时宽和高均降为原来的一半，通道数增加到原来的四倍，卷积操作的卷积核大小为1×1，步长为1；

CSP层有两路操作，上路是通过卷积操作再通过残差结构，下路是一个卷积操作，将两路进行通道拼接后通过卷积操作，每次的卷积核大小均设置为3×3，步长均设置为2；

池化层有四路，有一路是输入，另外三路的池化区域核的大小分别为5×5、9×9、13×13，步长均设置为2，且均采用最大池化的方式，将四路结构拼接后进行卷积操作，卷积核大小为3×3，步长为2。

3.根据权利要求2所述基于注意力机制的目标检测方法，其特征在于，所述批归一化处理是对每一批数据进行归一化，所用的处理方法是min-batch SGD；所述ReLU激活函数用于增加卷积神经网络的非线性，并克服梯度消失的问题，该函数公式为：

f(x)＝max(0,x)

式中，x是输入的特征信息，f(x)是输出的特征信息。

4.根据权利要求2或3所述基于注意力机制的目标检测方法，其特征在于，所述注意力机制模块共有3层，其结构依次为：全局平均池化层→权重共享的一维卷积层→Sigmoid激活层；将池化区域核的大小设置为2×2，步长设置为2；与特征提取模块的卷积层不同，权重共享的一维卷积层的卷积核大小为k，填充为k/2。

5.根据权利要求4所述基于注意力机制的目标检测方法，其特征在于，所述全局平均池化层的函数为：

其中，z_i表示全局平均池化层输出的第i个特征权重，i＝1,2,...,C，C表示X的总维度数，也即通道数，C＝256，F_global表示全局平均池化操作，X表示从特征提取模块提取并向全局平均池化层输入的一组特征图，H和W分别表示X的高度和宽度，以特征图左上角为原点，水平向右为横轴正方向，垂直向下为纵轴正方向建立坐标系，m和n分别表示横轴坐标和纵轴坐标，x_i(m,n)表示X中第i个特征图中坐标为(m,n)的点的值；

所述权重共享的一维卷积层与特征提取模块中的卷积层不同，其卷积核大小k代表了局部跨通道交互的覆盖率，k和C的关系为：

其中，∣∣odd表示k只能取奇数，γ和b是用来控制C和k的两个参数量，用于改变C和k之间的比例；

所述Sigmoid激活层的函数为：

其中，x为输入，S(x)为输出。

6.根据权利要求4所述基于注意力机制的目标检测方法，其特征在于，所述特征增强模块共有14层，其结构依次为：第五卷积层→第一上采样层→第一通道拼接层→第四CSP层→第六卷积层→第二上采样层→第二通道拼接层→第五CSP层→第七卷积层→第三通道拼接层→第六CSP层→第八卷积层→第四通道拼接层→第七CSP层；其中卷积层的卷积核大小均为3×3，步长均为2，CSP层的结构和第一步特征提取模块的设置相同，第一至第四通道拼接层的输入分别是第一上采样层和第三CSP层、第二上采样层和第二CSP层、第六卷积层和第七卷积层、第五卷积层和第八卷积层；并将卷积层的卷积核的大小设置为2×2，步长设置为2。

7.根据权利要求5所述基于注意力机制的目标检测方法，其特征在于，各卷积层的输入体积的函数如下：

V_in＝H₁*W₁*D₁

其中H₁、W₁和D₁为输入的高、宽和输出通道数；

各卷积层的输出体积的函数为：

V_out＝H₂*W₂*D₂

其中H₂、W₂和D₂为输出的高、宽和输出通道数；

H₂、W₂和D₂的公式如下：

H₂＝(H₁-F+2*P)/S+1

W₂＝(W₁-F+2*P)/S+1

D₂＝K

其中，F为卷积核的大小，S为步长大小，P为零填充的大小，K为卷积核的数量；

所述批归一化处理的函数如下：

其中，r_i为更新前的第i个特征权重，S_i表示更新后的第i个特征权重。

8.根据权利要求5所述基于注意力机制的目标检测方法，其特征在于，所述识别和定位模块共有3层，其结构为三个卷积层，分别是：第九卷积层、第十卷积层、第十一卷积层；第九卷积层、第十卷积层、第十一卷积层的输入分别接第五CSP层、第六CSP层和第七CSP层的输出；并将第九、十和第十一卷积层中卷积核的个数分别设置为512，768，1024，卷积核的大小均设置为1×1，步长均设置为1。

Images