CN112529095B - 一种基于卷积区域重配准的单阶段目标检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积区域重配准的单阶段目标检测方法，包括获取检测图片的训练集；对训练集的训练图片和测试图片进行像素的标准化并将图片缩放至相同大小；建立深度卷积神经网络结构，利用损失函数及所述训练集进行训练得到网络模型；根据网络模型对测试图片测试，基于第一阶段的坐标回归结果，对卷积核采样区域进行重新定位，在特征金字塔的基础上判断前景目标区域的具体类别并进行第二阶段的坐标回归；对获得的检测结果通过非极大值抑制的方法进行后处理，获得最终的检测结果。本发明能够根据图片中目标的不同大小，自适应地调整第二阶段检测时卷积核的感受野，获取更加完整的特征信息，从而达到更好的目标检测效果。

Description

一种基于卷积区域重配准的单阶段目标检测方法

技术领域

本发明涉及深度神经网络目标检测技术领域，特别涉及一种基于卷积区域重配准的单阶段目标检测方法。

背景技术

随着深度学习技术的发展，基于深度学习的目标检测技术越来越受到人们的重视，应用范围也逐渐扩大，小到智能手机的摄像头，大到工业生产的流水线，都有目标检测技术的用武之地。传统的目标检测技术需要专业人员针对特定的应用场景，设计相应的特征提取器和分类器，如HOG特征(Histogram of Oriented Gradient简写，代表方向梯度直方图)和SVM分类器(Support Vector Machine简写，代表支持向量机)等。但是传统目标检测检测技术应用场景单一，可移植性与鲁棒性较差，每次重新部署或者改变检测对象都需要重新设计特征提取器与分类器，局限性较大。

自深度学习技术出现后，目标检测技术也得到了突飞猛进的发展，许多检测框架被提出并且很快就被应用于工业生产和实际生活中。现有的检测框架主要分为单阶段检测框架和双阶段检测框架。其中，单阶段检测框架包括SSD、YOLO等，双阶段检测框架包括Faster-RCNN、Mask-RCNN等。双阶段检测框架具有更复杂的特征提取结构，在特征提取网络的基础上，使用区域特征池化等方法，更好地提取待检测区域的卷积特征，并且在分类层中使用全连接层的方式进行分类。更复杂的特征提取手段和更多的参数量使得双阶段检测框架的检测准确率更高。

现有技术的不足之处在于，在很多实际应用场景中，其对检测精度的要求并不十分苛刻，但是要求足够快的检测速度，尤其是在一些实时检测项目中。双阶段检测框架由于其耗费的算力资源和检测时间都较高，所以难以满足实际要求。相反，单阶段检测框架依赖其统一的全卷积特性，可以实现更快的检测速度，且在简单场景下的同样能够达到较高的检测精度。但是当场景变化较大以及待检测的目标在图像中的尺寸变化较为剧烈，尤其是待检测目标具有不同的旋转角度的情况下，普通的单阶段检测方法不能很好地解决这些问题，容易导致目标的漏检与误检，从而影响最终的检测效果。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于卷积区域重配准的单阶段目标检测方法，以解决上述背景技术中提出的问题。

一种基于卷积区域重配准的单阶段目标检测方法，包括：

获取检测图片的训练集；

对训练集的训练图片和测试图片进行图片标准化；

建立深度卷积神经网络结构，利用损失函数及所述训练集进行训练得到网络模型；

根据网络模型对测试图片测试，进行计算面积交并比以及非极大值抑制，得到最终的检测结果。

作为本发明的进一步的方案：所述获取检测图片的训练集的具体步骤包括：

获取检测图片的训练集，所述训练集包括M张训练图片为X＝{X₁,X₂,…,X_m,…,X_M}，其中X_m表示第m张训练图片；

所述M张训练图片选取有一一对应的M个标签为Y＝{Y₁,Y₂,…,Y_m,…,Y_M}，其中Y_m表示第m张训练图片；

所述M个标签中包括相应图片中的N个目标物体的类别与坐标信息为Y_m＝{P_m,1,B_m,1,P_m,2,B_m,2,…,P_m,n,B_m,n,…,P_m,N,B_m,N}，其中P_m,n表示第m张图片中的第n个目标物体在所属的类别，且P_m,n∈{C₀,C₁,C₂,…,C_j,…,C_J}，C表示总的类别，C_j表示第j个类别，C₀表示背景类，J为类别总数，B_m,n表示第m张图片中的第n个物体的坐标，且B_m,n＝{w_m,n,h_m,n,cx_m,n,cy_m,n,θ_m,n}，分别表示标注物体的矩形框的宽度w_m,n、高度h_m,n、中心点横坐标cx_m,n、中心点纵坐标cy_m,n和旋转角度θ_m,n。

作为本发明的进一步的方案：所述对训练集的训练图片和测试图片进行图片标准化的具体步骤包括：

根据预设像素均值和像素标准差，将训练集X中的图片进行像素层面的标准化；

再将训练集X中的图片进行缩放，保持图片大小一致；

训练集X中的图片进行数据增强操作，其中包括图片亮度与饱和度的随机改变、图片的随机水平翻转，以及图片的随机裁剪。

作为本发明的进一步的方案：所述任一图片像素点的标准化公式为：

Pixel_x＝(Pixel_x-Pixel_mean)/Pixelx_std；

其中，Pixel_mean为像素均值，Pixel_std为像素标准差。

作为本发明的进一步的方案：所述建立深度卷积神经网络结构，利用损失函数及所述训练集进行训练得到网络模型的具体步骤包括：

获取基础特征提取网络M和额外卷积网络MA；

在所述基础特征提取网络M和额外卷积网络MA的基础上搭建第一阶段的分类网络CLS₁和定位网络LOC₁；

在基础特征提取网络M和额外卷积网络MA的基础上构建特征金字塔网络，并生成F张第一阶段的特征图FEA₁,并进一步生成高分辨率的第二阶段的特征图FEA₂；

以所述第一阶段定位网络LOC₁的坐标检测结果LR₁对第一阶段的分类网络CLS₁和卷积网络的卷积区域CR₁进行重配准；

在所述第二阶段的特征图FEA₂和重分配卷积区域CR₂的基础上，进行第二阶段的分类与定位，得到第二阶段的分类网络CLS₂与定位网络LOC₂；

在第一阶段和第二阶段检测过程中进行损失函数定义；

进行训练集训练获得最终的网络模型。

作为本发明的进一步的方案：所述获取基础特征提取网络M和额外卷积网络MA的具体步骤包括：

使用ResNet网络和/或VGG网络作为图片的基础特征提取网络，其中ResNet网络包括ResNet50、ResNet101和ResNet152，VGG网络包括VGG16和VGG19；

根据上述公式，在基础特征提取网络M基础上添加额外卷积网络MA并对进行参数初始化操作：

M_weight＝MP_weight；

MA_weight＝Gaussian(0,1)；

其中M_weight和MA_weight分别为基础特征网络和额外卷积网络的参数；MP表示基础特征网络M在数据集上的预训练结果，MP_weight表示预训练网络的参数；Gaussian(0,1)表示额外卷积网络MA的权重参数满足均值为0，方差为1的高斯分布。

作为本发明的进一步的方案：所述构建特征金字塔网络的具体步骤包括：

首先对最高层特征图进行单独处理；

再按照特征图空间分辨率由低到高的顺序依次进行处理：

FEA_2F＝TS_F(FEA_1F)；

t＝TSi(FEA_1i)；

FEA_2i＝t+INPi(FEA_2i+1)；

其中，t为特征金字塔构造过程中的中间特征图；其中i的取值顺序为{F-1,F-2,…,1}，特征金字塔网络包括包括特征图转换网络TS和特征图缩放网络INP。

作为本发明的进一步的方案：所述在第一阶段和第二阶段检测过程中进行损失函数定义的具体步骤包括：

所述损失函数为：

其中，i表示预设锚框的下标，p_i和x_i分别表示第一阶段的二分类预测概率和坐标检测结果；

和

分别表示下标为i的预设锚框的真实类别和位置偏移向量，c_i和t_i为第二阶段的多分类预测概率和坐标检测结果，N₁和N₂分别表示第一阶段和第二阶段检测过程中的正样本数量。L_b为判断物体为前景或者背景的二分类交叉熵损失，L_m为判断物体所述类别的多分类交叉熵损失，L_r为Smooth-L₁损失函数；

总损失Loss为第一阶段和第二阶段的损失的加权和。

作为本发明的进一步的方案：所述根据网络模型对测试图片测试，进行计算面积交并比以及非极大值抑制，得到最终的检测结果的具体步骤包括：

根据训练得到的网络模型，使用Q张测试图片的样本T进行测试，输入网络模型；

并将检测结果R＝{R₁,R₂,…,R_q,…,R_Q}以类别保存；

最后计算旋转后的矩形框之间的面积交并比，进行非极大值抑制，仅保留得分较大且相互重叠面积小的检测框，作为最终的检测结果。

作为本发明的进一步的方案：所述非极大值抑制的步骤为：

对初始检测结果R_q中同类别下的每个检测框的预测得分分别进行重新降序排序，所述排序后结果为R'_q＝{R'_c1,R'_c2,…,R'_cf,…,R'_cF}，其中R'_cf为排序后的第j类上的检测结果；

对R'_cf中的任意一个检测框b，将其和所有预测得分小于当前得分的检测框之间进行面积交并比的计算，所述面积交并比计算公式为：

T＝area_b+area_bs；

I＝inter_w×inter_h；

U＝T-I；

IOU＝I/U；

其中，area_b表示检测框b的面积，area_bs表示任一得分小于b的检测框bs的面积，inter_w与inter_h分别表示两个检测框相交区域的宽度和高度；

若两个检测框的面积交并比超过阈值t_iou，则舍弃得分较低的检测框bs。

与现有技术相比，通过采用上述的技术方案，本发明存在以下技术效果：

本申请通过采用计算机视觉和深度学习领域的算法，包括图片增强、深度卷积网络搭建、特征提取等，实现基于卷积区域重配准的单阶段目标检测，提高了传统单阶段目标检测方法的检测能力，解决了传统单阶段检测方法针对复杂场景和多尺度目标下难以进行有效检测的问题；通过第一阶段特征图上的检测结果对后续卷积层的卷积区域进行自适应地调整并且通过双线性插值计算重配准的采样点，保持了单阶段检测全卷积的特性，从而保证了检测速度，并获得目标区域更加完整和精细的特征，解决了传统单阶段检测方法只能提取固定感受野下目标特征的问题。

本申请以深度学习中的梯度反向传播算法为基础，根据网络最后的损失函数，训练时自动计算每次迭代的损失，通过链式求导法则，计算出网络中所有可学习参数的更新梯度，从而完成网络参数的更新，实现端到端的训练过程，避免了人工干预和手动计算特征提取器与分类器参数，提高了系统的易用性，且学习到的网络参数能够较好地适应于多种检测目标。其中，在梯度反向传播进行参数更新时，能够更直接高效地更新这两部分的网络参数，避免梯度消失。

本申请根据数字图像处理原理，对训练图片进行多种数据增强，包括图片翻转、色彩空间转换、图片缩放等，提高训练图片的利用率，增加样本的多样性，一定程度上减少数据标注的需求，提升模型的鲁棒性和泛化能力。

本申请使用基于深度学习的双线性插值方法实现卷积区域采样点的重配准，从而满足链式求导法则，使得梯度可以正常传播，实现端到端地训练，且不增加网络的参数量。

本申请以非极大值抑制作为待检测图片中检测结果的后处理手段，并将其扩展到带有旋转角度的检测框中，从而实现对水平检测框和旋转检测框的通用化处理，有效减少图片中的冗余检测结果。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1为本申请公开的一些实施例的单阶段目标检测方法的流程框图；

图2为本申请公开的一些实施例的整体网络结构示意图；

图3为本申请公开的一些实施例的训练与测试框架流程示意图；

图4为本申请公开的一些实施例的卷积区域重配准结构示意图；

图5为本申请公开的一些实施例的检测结构非极大值抑制处理流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1、图2和图3，本发明实施例中，一种基于卷积区域重配准的单阶段目标检测方法，包括：

首先准备好训练用的带有标注信息的图片；然后对训练图片进行处理和增强；搭建基础特征提取网络和额外卷积网络用语获取输入图片的第一阶段特征图并且进行第一阶段的二分类和位置检测；搭建特征金字塔网络用于获取第二阶段的特征图；在第二阶段特征图的基础上，结合第一阶段的检测结果，对卷积区域进行调整，重新计算卷积区域中的采样点位置，使用双线性插值方法获取新的采样点位置的像素值，实现卷积区域的重配准；之后基于重配准的卷积区域进行第二阶段的多类别分类和位置检测；使用多目标损失函数作为网络的损失函数；测试时采用更加通用的基于旋转矩形框的非极大值抑制方法进行检测结果后处理。

S1、获取检测图片的训练集；

获取检测图片的训练集，所述训练集包括M张训练图片为X＝{X₁,X₂,…,X_m,…,X_M}，其中X_m表示第m张训练图片；

所述M张训练图片选取有一一对应的M个标签为Y＝{Y₁,Y₂,…,Y_m,…,Y_M}，其中Y_m表示第m张训练图片；

所述M个标签中包括相应图片中的N个目标物体的类别与坐标信息为Y_m＝{P_m,1,B_m,1,P_m,2,B_m,2,…,P_m,n,B_m,n,…,P_m,N,B_m,N}，其中P_m,n表示第m张图片中的第n个目标物体在所属的类别，且P_m,n∈{C₀,C₁,C₂,…,C_j,…,C_J}，C表示总的类别，C_j表示第j个类别，C₀表示背景类，J为类别总数，B_m,n表示第m张图片中的第n个物体的坐标，且B_m,n＝{w_m,n,h_m,n,cx_m,n,cy_m,n,θ_m,n}，分别表示标注物体的矩形框的宽度w_m,n、高度h_m,n、中心点横坐标cx_m,n、中心点纵坐标cy_m,n和旋转角度θ_m,n。

S2、对训练集的训练图片和测试图片进行图片标准化；

在一些具体的实施例中，所述对训练集的训练图片和测试图片进行图片标准化的具体步骤包括：

根据预设像素均值Pixel_mean和像素标准差Pixel_std，将训练集X中的图片进行像素层面的标准化；

将训练集X中的图片统一缩放至320×320的大小，需要注意图片缩放之后，图片中物体的标注位置也需要进行相应调整，否则会出现不匹配。也可以将图片缩放至512×512或者640×640，更高分辨率的图片能够提升检测的精度，但是会降低检测速度，保持图片大小一致，使其图片尺寸相同并满足网络的输入条件。

训练集X中的图片进行数据增强操作，其中包括图片亮度与饱和度的随机改变、图片的随机水平翻转，以及图片的随机裁剪。

所述图片亮度与饱和度的随机改变分别是在RGB色彩空间中和将图片转换到HSV空间中进行的，所述图片的随机水平翻转采用水平随机翻转，所述图片的翻转和随机裁剪需要同时考虑图片中物体的标注位置下，同步进行调整。

具体的，所采用的训练图片为RGB图片，因此每个像素点具有三个像素值，分别对应于三个颜色通道，所以Pixel_mean与Pixel_std同样具有三个像素值，每个通道之间分别进行像素值的处理。

所述任一图片像素点的标准化公式为：

Pixel_x＝(Pixel_x-Pixel_mean)/Pixelx_std；

其中，Pixel_mean为像素均值，Pixel_std为像素标准差。

S3、建立深度卷积神经网络结构，利用损失函数及所述训练集进行训练得到网络模型；

在一些具体的实施例中，所述深度卷积神经网络结构包括：基础特征提取网络与额外卷积网络、一阶段检测与定位网络、特征金字塔网络、卷积区域重配准结构和二阶段检测与定位网络。

获取基础特征提取网络M和额外卷积网络MA；

具体的，使用ResNet系列网络和/或者VGG系列网络作为图片的基础特征提取网络M，其中ResNet网络包括ResNet50、ResNet101和ResNet152；VGG网络包括VGG16和VGG19。确定所使用的基础特征提取网络M后，需要在M的基础上添加额外的卷积网络MA用于获得更低分辨率的特征图，其空间分辨率更小，但是特征抽象程度更高，具有更大的感受野，能够检测图片中的大型物体。

并对M和MA分别进行参数初始化操作：

M_weight＝MP_weight；

MA_weight＝Gaussian(0,1)；

其中M_weight和MA_weight分别为基础特征网络和额外卷积网络的参数；MP表示基础特征网络M在数据集上的预训练结果，MP_weight表示预训练网络的参数；Gaussian(0,1)表示额外卷积网络MA的权重参数满足均值为0，方差为1的高斯分布。

在一些具体的实施例中，所述基础特征提取网络M采用ResNet50，其预训练模型来自ImageNet数据集上的分类模型，并且将ResNet50前两层残差结构的学习率置为0，使其不参与训练，这样可以降低网络训练过程中的过拟合风险。

在所述基础特征提取网络M和额外卷积网络MA的基础上搭建第一阶段的分类网络CLS₁和定位网络LOC₁；

在所述基础特征提取网络和额外卷积网络的基础上进行搭建第一阶段的分类网络CLS₁和定位网络LOC₁，且CLS₁与LOC₁分别由F个卷积层构成。其中分类网络CLS₁和定位网络LOC₁分别表示为CLS₁＝{CLS₁₁,CLS₁₂,…,CLS_1f,CLS_1F}，LOC₁＝{LOC₁₁,LOC₁₂,…,LOC_1f,LOC_1F}，F为基础特征提取网络M和额外卷积网络MA所共同产生的特征图数量，CLS_1f与LOC_1f分别表示表示第f张特征图上分类与定位网络，其表示如下：

CLS_1f＝Conv(channel_1f,2,stride_h1,stride_w1)；

LOC_1f＝Conv(channel_1f,5,stride_h1,stride_w1)；

其中，Conv表示一个单独的卷积层，输入通道数channel_1f表示由基础特征提取网络和额外卷积网络得到的第f张特征图的通道数；2表示CLS_1f的卷积输出通道数，代表此时只进行前景和背景的二分类判别工作，5表示LOC_1f的卷积输出通道数，代表此时坐标回归的参数为5个，与上文所述的物体坐标B_m,n相对应；stride_h1和stride_w1为卷积核的高度和宽度。

在一些具体的实施例中，由ResNet50和额外卷积网络共同生成的特征图数量为4，即F为4，其特征图相应通道数分别为{512,1024,2048,512}。stride_h1和stride_w1均为3。

在基础特征提取网络M和额外卷积网络MA的基础上构建特征金字塔网络，并生成F张第一阶段的特征图FEA₁,并进一步生成高分辨率的第二阶段的特征图FEA₂；

具体的，生成F张第一阶段的特征图FEA₁表示为FEA₁＝{FEA₁₁,FEA₁₂,…,FEA_1f,…,FEA_1F}，第一阶段的特征图的宽度和高度分别表示为W₁＝{W₁₁,W₁₂,…,W_1f,…,W_1F}和H₁＝{H₁₁,H₁₂,…,H_1f,…,H_1F}，其中W_1f和H_1f分别表示第一阶段的第f张特征图的宽度和高度。

当1≤i≤F-1时，满足W_1i＝2×W_1i+1，H_1i＝2×H_1i+1。在FEA₁中，高层特征图的空间分辨率小但是语义信息丰富，底层特征图的空间分辨率大，因此具有更精细的局部特征，特征金字塔能够将高层特征图的语义信息向底层进行传递，从而结合两者的优点，获得具有更高分辨率同时具有丰富语义信息的特征图。将特征金字塔生成的特征图记为FEA₂，称为第二阶段的特征图，FEA₂＝{FEA₂₁,FEA₂₂,…,FEA_2f,…,FEA_2F}，其中FEA_2f表示第一阶段的第f张特征图。FEA₂的特征图数量与FEA₁相同，且FEA_2f与FEA_1f的宽度和高度保持相同。

其中特征金字塔网络包括特征图转换网络TS和特征图缩放网络INP，特征图转换网络可表示为TS＝{TS₁,TS₂,…,TS_f,…,TS_F}，TS同样由F个部分构成，其中TS_f表示第f个特征图转换网络；INP＝{INP₁,INP₂,…,INP_f,…,INP_F}，INP由F-1个部分构成，其中INP_f表示第f张特征图与第f+1张特征图之间的特征图缩放网络，经过特征图缩放网络的特征图其宽度和高度将变为原来的2倍。

其中，特征图金字塔的构造过程中，首先对最高层特征图进行单独处理；

再按照特征图空间分辨率由低到高的顺序依次进行处理：

FEA_2F＝TS_F(FEA_1F)；

t＝TSi(FEA_1i)；

FEA_2i＝t+INPi(FEA_2i+1)；

其中，t为特征金字塔构造过程中的中间特征图；其中i的取值顺序为{F-1,F-2,…,1}，特征金字塔网络包括包括特征图转换网络TS和特征图缩放网络INP。

具体的，所述特征金字塔构造过程中的中间特征图不进行最后的检测步骤。FEA_2F只需执行一次，而公式t与公式FEA_2i共需执行F-1次。

在一些具体的实施例中，特征图转换网络由Res2net结构进行充当，Res2net对一张特征图的不同通道之间进行残差形式的转换与连接，增强的特征提取能力；特征图缩放网络由PyTorch函数库中的特征图插值函数完成。

如图4所示，缩放后的特征图通过通道拼接操作与前一张特征图进行合并，只有送入特征图转换网络，生成新的特征图。特征图转换网络共包含5个相同的结构，特征图缩放网络包含4和相同的结构，相同的结构之间各自拥有独立的可训练参数。

以所述第一阶段定位网络LOC₁的坐标检测结果LR₁对第一阶段的分类网络CLS₁和卷积网络的卷积区域CR₁进行重配准；

其中，坐标检测结果可表示为LR₁＝{w₁,h₁,cx₁,cy₁,θ₁}，表示在预设锚框基础上所检测到的宽度、高度、中心点坐标和旋转角度。

以二维空间中的3×3卷积操作在原点上的结果作为示例：

CR₂＝Rotate(Scale(Shift(CR₁，LR₁)))

此时CR₁为一个3×3的矩形区域，SP₁表示所述卷积区域CR₁中的采样点坐标集合，共9个位置；Rotate、Scale和Shift表示根据检测结果LR₁，按照顺序分别对所述卷积区域CR₁进行平移、缩放和旋转操作，CR₂为所得的新的卷积区域；式(11)中，SP₂为新的卷积区域CR₂的采样点集合，{p₁,p₂,p₃,p₄,p₅,p₆,p₇,p₈,p₉}为相应的9个采样点坐标。

在所述第二阶段的特征图FEA₂和重分配卷积区域CR₂的基础上，进行第二阶段的分类与定位，得到第二阶段的分类网络CLS₂与定位网络LOC₂；

分别表示为：

CLS₂＝{CLS₂₁,CLS₂₂,…,CLS_2f,CLS_2F}，

LOC₂＝{LOC₂₁,LOC₂₂,…,LOC_2f,LOC_2F}，

CLS_2f与LOC_2f分别表示表示第f张特征图上分类与定位网络，其表示如下：

CLS_2f＝Conv(channel_2f,J,stride_h2,stride_w2)；

LOC_2f＝Conv(channel_2f,5,stride_h2,stride_w2)；

其中，Conv表示一个单独的卷积层，输入通道数channel_1f表示由基础特征提取网络和额外卷积网络得到的第f张特征图的通道数；2表示CLS_1f的卷积输出通道数，代表此时只进行前景和背景的二分类判别工作，5表示LOC_1f的卷积输出通道数，代表此时坐标回归的参数为5个，与上文所述的物体坐标B_m,n相对应；stride_h1和stride_w1为卷积核的高度和宽度。

其中，channel_2f表示第f张第二阶段的特征图FEA_2f的通道数，Conv表示一个卷积层，J为CLS_2f的卷积输出通道数，同时也是训练和测试图片中的物体类别总数，相较于CLS_1f，此时不再进行二分类的工作，而是进行物体的具体类别判断；LOC_2f的卷积输出通道数为5，用于检测物体的坐标，与LOC_1f的结构相同，不同的是此时不再是基于预设锚框的位置检测，而是以第一阶段位置检测的结果LR₁作为基础进一步精细检测物体位置。

在一些具体的实施例中，第二阶段特征图的数量为4，其相应通道数分别为{256,256,256,256}。stride_h2和stride_w2均为3。

在第一阶段和第二阶段检测过程中进行损失函数定义；

具体的，所述损失函数包括第一阶段检测的二分类和回归损失以及第二阶段的多分类和回归损失；使用训练集进行网络的训练并获得最终的网络模型。损失函数是通过计算网络最后的分类与位置检测结果和图片标注信息中的真实类别与位置，得到一个数值，此数值越大，表示网络性能越差，反之则表示网络性能越好，训练的目的就是为了降低这个损失值。

所述损失函数为：

其中，i表示预设锚框的下标，p_i和x_i分别表示第一阶段的二分类预测概率和坐标检测结果；

和

分别表示下标为i的预设锚框的真实类别和位置偏移向量，c_i和t_i为第二阶段的多分类预测概率和坐标检测结果，N₁和N₂分别表示第一阶段和第二阶段检测过程中的正样本数量。L_b为判断物体为前景或者背景的二分类交叉熵损失，L_m为判断物体所述类别的多分类交叉熵损失，L_r为Smooth-L₁损失函数。

在一些具体的实施例中，对于所有的预设锚框，首先通过和输入图片中标注位置的计算获得其属于正样本还是负样本；所有的锚框均参与分类损失的计算，但是只有属于正样本的锚框才会参与位置损失的计算，因为对于属于负样本，即背景类别的锚框，其位置信息并不重要。

并且最终用于优化目标函数的总损失定义为两个阶段的损失的加权和：

Loss＝λ₁Loss₁+λ₂Loss₂；

其中，λ₁和λ₂为加权系数。具体的，所述λ₁和λ₂均为1。

进行训练集训练获得最终的网络模型。

S4、根据网络模型对测试图片测试，进行计算面积交并比以及非极大值抑制，得到最终的检测结果。

如图5所示，根据训练得到的网络模型，使用Q张测试图片的样本T＝{T₁,T₂,…,T_q,…,T_Q}进行测试，测试时仅将图片送入网络进行前向传播，获得图片中每个锚点位置的类别得分与回归坐标，舍弃被判别为背景的区域和得分小于所设得分阈值t_score的区域，输入网络模型；

并将检测结果R＝{R₁,R₂,…,R_q,…,R_Q}以类别保存，其中R_q表示第q张测试图片的检测检测结果，且R_q＝{R_c1,R_c2,…,R_cj,…,R_cJ}，其中R_cj表示当前测试图片在第j类上所有的检测结果；

在一些具体的实施例中，所述得分阈值t_score为0.5，并且舍弃所有预测得分在0.5以下可信度不高的结果。

图片测试步骤如下：

对测试图片进行像素层面的标准化；

对测试图片进行缩放，缩放至与用于训练的图片的尺寸相同；

将网络模型改为测试模式，不再对检测结果进行损失计算和梯度反向传播，只进行前向传播过程；

获取当前第q张测试图片的初始检测结果R_q。

在一些具体的实施例中，初始检测结果为第二阶段的多分类与位置检测结果，第一阶段的检测结果仅用于网络的前向传播过程，不作为最终的检测结果。

最后对初始检测结果R计算旋转后的矩形框之间的面积交并比，进行非极大值抑制，仅保留得分较大且相互重叠面积小的检测框，作为最终的检测结果。

所述非极大值抑制的步骤为：

对初始检测结果R_q中同类别下的每个检测框的预测得分分别进行重新降序排序，所述排序后结果为R'_q＝{R'_c1,R'_c2,…,R'_cf,…,R'_cF}，其中R'_cf为排序后的第j类上的检测结果；

对R'_cf中的任意一个检测框b，将其和所有预测得分小于当前得分的检测框之间进行面积交并比的计算，所述面积交并比计算公式为：

T＝area_b+area_bs；

I＝inter_w×inter_h；

U＝T-I；

IOU＝I/U；

其中，area_b表示检测框b的面积，area_bs表示任一得分小于b的检测框bs的面积，inter_w与inter_h分别表示两个检测框相交区域的宽度和高度；

若两个检测框的面积交并比超过阈值t_iou，则舍弃得分较低的检测框bs。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，包括：

步骤S1、获取检测图片的训练集，所述训练集包括M张训练图片，以及与M张训练图片一一对应的M个标签，通过M个标签表示相应图片中的N个目标物体的类别与坐标信息，其中坐标信息包括表示标注物体的矩形框的宽度、高度、中心点横坐标、中心点纵坐标和旋转角度；

步骤S2、对训练集的训练图片和测试图片进行图片标准化；

步骤S3、建立深度卷积神经网络结构，利用损失函数及所述训练集进行训练得到网络模型，其具体步骤包括：

获取基础特征提取网络M和额外卷积网络MA；

在所述基础特征提取网络M和额外卷积网络MA的基础上搭建第一阶段的分类网络CLS₁和定位网络LOC₁；

在基础特征提取网络M和额外卷积网络MA的基础上构建特征金字塔网络，通过基础特征提取网络M和额外卷积网络MA生成F张第一阶段的特征图FEA₁，再根据构建的特征金字塔网络生成高分辨率的第二阶段的特征图FEA₂；

以所述第一阶段定位网络LOC₁的坐标检测结果LR₁对第一阶段的分类网络CLS₁和卷积网络的卷积区域CR₁进行重配准,得到重分配卷积区域CR₂，其中重配准步骤为：

根据第一阶段检测结果进行中心点偏移和长宽缩放，获得新的卷积区域及采样点位置，再通过双线性插值方法获得重配准后的采样点位置的特征值；

在所述第二阶段的特征图FEA₂和重分配卷积区域CR₂的基础上，进行第二阶段的分类与定位，得到第二阶段的分类网络CLS₂与定位网络LOC₂；

在第一阶段和第二阶段检测过程中进行损失函数定义；

进行训练集训练获得最终的网络模型；

步骤S4、根据网络模型对测试图片测试，进行计算面积交并比以及非极大值抑制，得到最终的检测结果，其具体步骤包括：

根据训练得到的网络模型，使用Q张测试图片的样本T进行测试，输入网络模型；

并将检测结果R＝{R₁,R₂,…,R_q,…,R_Q}以类别保存，其中R_q表示第q张测试图片的检测结果；

最后计算旋转后的矩形框之间的面积交并比，进行非极大值抑制，仅保留得分较大且相互重叠面积小的检测框，作为最终的检测结果；

所述非极大值抑制的步骤为：

对初始检测结果R_q中同类别下的每个检测框的预测得分分别进行重新降序排序，所述排序后结果为R'_q＝{R_c'₁,R_c'₂,…,R_c'_f,…,R_c'_F}，其中R_c'_f为排序后的第j类上的检测结果；

对R_c'_f中的任意一个检测框b，将其和所有预测得分小于当前得分的检测框之间进行面积交并比的计算，所述面积交并比计算公式为：

T＝area_b+area_bs；

I＝inter_w×inter_h；

U＝T-I；

IOU＝IU；

其中，area_b表示检测框b的面积，area_bs表示任一得分小于b的检测框bs的面积，inter_w与inter_h分别表示两个检测框相交区域的宽度和高度；

若两个检测框的面积交并比超过阈值t_iou，则舍弃得分较低的检测框bs。

2.根据权利要求1所述一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，所述获取检测图片的训练集的具体步骤包括：

获取检测图片的训练集，所述训练集包括M张训练图片为X＝{X₁,X₂,…,X_m,…,X_M}，其中X_m表示第m张训练图片；

所述M张训练图片选取有一一对应的M个标签为Y＝{Y₁,Y₂,…,Y_m,…,Y_M}，其中Y_m表示第m张训练图片的标签；

所述M个标签中包括相应图片中的N个目标物体的类别与坐标信息为Y_m＝{P_m,1,B_m,1,P_m,2,B_m,2,…,P_m,n,B_m,n,…,P_m,N,B_m,N}，其中P_m,n表示第m张图片中的第n个目标物体在所属的类别，且P_m,n∈{C₀,C₁,C₂,…,C_j,…,C_J}，C表示总的类别，C_j表示第j个类别，C₀表示背景类，J为类别总数，B_m,n表示第m张图片中的第n个物体的坐标，且B_m,n＝{w_m,n,h_m,n,cx_m,n,cy_m,n,θ_m,n}，分别表示标注物体的矩形框的宽度w_m,n、高度h_m,n、中心点横坐标cx_m,n、中心点纵坐标cy_m,n和旋转角度θ_m,n。

3.根据权利要求1或2所述一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，所述对训练集的训练图片和测试图片进行图片标准化的具体步骤包括：

根据预设像素均值和像素标准差，将训练集X中的图片进行像素层面的标准化；

再将训练集X中的图片进行缩放，保持图片大小一致；

训练集X中的图片进行数据增强操作，其中包括图片亮度与饱和度的随机改变、图片的随机水平翻转，以及图片的随机裁剪。

4.根据权利要求3所述一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，任一图片像素点的标准化公式为：

Pixel_x＝(Pixel_x-Pixel_mean)/Pixelx_std；

其中，Pixel_mean为像素均值，Pixel_std为像素标准差。

5.根据权利要求1所述一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，所述获取基础特征提取网络M和额外卷积网络MA的具体步骤包括：

使用ResNet网络和/或VGG网络作为图片的基础特征提取网络，其中ResNet网络包括ResNet50、ResNet101和ResNet152，VGG网络包括VGG16和VGG19；

在基础特征提取网络M基础上添加额外卷积网络MA并对其进行参数初始化操作：

M_weight＝MP_weight；

MA_weight＝Gaussian(0,1)；

其中M_weight和MA_weight分别为基础特征网络和额外卷积网络的参数；MP表示基础特征网络M在数据集上的预训练结果，MP_weight表示预训练网络的参数；Gaussian(0,1)表示额外卷积网络MA的权重参数满足均值为0，方差为1的高斯分布。

6.根据权利要求1所述一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，所述构建特征金字塔网络的具体步骤包括：

首先对最高层特征图进行单独处理；

再按照特征图空间分辨率由低到高的顺序依次进行处理：

FEA_2F＝TS_F(FEA_1F)；

t＝TSi(FEA_1i)；

FEA_2i＝t+INPi(FEA_2i+1)；

其中，t为特征金字塔构造过程中的中间特征图；其中i的取值顺序为{F-1,F-2,…,1}，其中F为第二阶段的特征图的数量，特征金字塔网络包括包括特征图转换网络TS和特征图缩放网络INP。

7.根据权利要求1所述一种基于卷积区域重配准的单阶段目标检测方法，其特征在于，所述在第一阶段和第二阶段检测过程中进行损失函数定义的具体步骤包括：

所述损失函数为：

第一阶段的损失函数为：

第二阶段的损失函数为：

其中，i表示预设锚框的下标，p_i和x_i分别表示第一阶段的二分类预测概率和坐标检测结果；

和

分别表示下标为i的预设锚框的真实类别和位置偏移向量，c_i和t_i为第二阶段的多分类预测概率和坐标检测结果，N₁和N₂分别表示第一阶段和第二阶段检测过程中的正样本数量，L_b为判断物体为前景或者背景的二分类交叉熵损失，L_m为判断物体所述类别的多分类交叉熵损失，L_r为Smooth-L₁损失函数；

总损失Loss为第一阶段和第二阶段的损失的加权和。

Images