CN112597875A - 一种多分支网络的抗漏检航拍目标检测方法 - Google Patents

Abstract

本发明公开了一种多分支网络的抗漏检航拍目标检测方法，首先对图像进行预处理并送入到各分支网络；然后对输入图像进行特征提取，获取不同尺度的特征图；接着初始化设置的先验框比例参数，每张特征图生成相应的先验框，计算先验框对应的置信度和空间位置；然后对先验框进行筛选，获取训练样本；对训练样本进行位置误差和置信度误差的加权和的计算，并对其结果不断地学习更新；最后通过NMS非极大值抑制算法对这些重叠度较高的预测框进行筛选，生成最终的预测框；本发明实现了多分支网络对图像中不同尺度的目标进行有效的检测，解决了因尺度不一而漏检的问题，提升了网络对具有不同尺度目标的图像的检测精度。

Description

一种多分支网络的抗漏检航拍目标检测方法

技术领域

本发明涉及目标检测技术领域，主要涉及一种多分支网络的抗漏检航拍目标检测方法。

背景技术

目标检测是计算机视觉领域中一个重要而热门的话题。近年来，由于无人机技术的飞速发展，航空图像中的目标检测技术已经成为计算机视觉领域的重要研究方向。以前，航空图像中最先进的目标检测方法大致可分为两类：一阶段方法和两阶段方法。基于目标检测算法的两阶段法使用了两阶段检测方案，该方法的第一阶段由RPN(区域提议网络)组成，在端到端训练后，生成合理的区域提议，以及第二阶段，在第一阶段生成的区域提议后，进一步完善区域提议。SSD等一阶段方法摆脱了RPN，可以直接预测边界框和分类置信度。近年来，由于其较高的计算效率和训练的简便性，在航空图像中的一级目标检测已引起越来越多的关注。但是，诸如SSD的单阶段方法在检测航空图像中不同尺度的物体时效果不佳，因为它是基于一条分支网络进行物体的预测。尽管它可以对图像中某一种尺度的物体具有很好的检测效果，但是，由于无人机在空中拍摄图像时，飞行的高度不固定，因此，仅利用一条分支网络对拍摄的所有图像中不同尺度的物体是不能够进行有效的预测，这对于一些因尺度不一而漏检的对象是至关重要的。

发明内容

发明目的：本发明通过提出一种多分支网络的抗漏检航拍目标检测方法来帮助网络检测图像中不同尺度的目标，针对不同尺度大小的目标，对其进行生成不同尺度的预测框，从而提高网络的检测能力。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种多分支网络的抗漏检航拍目标检测方法，其特征在于，包括以下步骤：

步骤S1、将包含不同尺度目标的原始图片进行预处理，使所述原始图片从初始尺度缩放成相同大小尺度，再将预处理后的图片输入到多分支网络中，所述多分支网络中每条分支均有一项输入；

步骤S2、将步骤S1中所述输入图片，通过所在分支网络进行特征提取，获取不同尺度下的输入图片的特征图；

步骤S3、针对每个分支网络预设先验框比例，在步骤S2所述特征图中的每个单元上生成若干先验框，计算出每个先验框相对应的置信度值P_c和对应的边界框location(c_x,c_y,w,h)；其中(c_x，c_y)为边界框的中心坐标，w代表边界框的宽，h代表边界框的高；

步骤S4,、根据预设置信度阈值，将置信度值P_c低于预设置信度阈值的先验框剔除；

步骤S5、将步骤S4中得到的先验框与原始图片中的真实值ground truth进行匹配，计算出先验框和真实边界框的交并比IOU，并找出IOU最大的先验框，作为训练的正样本；对已剔除的置信度值P_c低于预设置信度阈值的先验框进行升序排列，从高到低选取部分先验框作为训练的负样本；所选正样本数量与负样本数量比例为1:3；

步骤S6、将步骤S5所得正负训练样本进行位置误差和置信度误差的加权和计算，进行模型训练和更新；

步骤S7、将步骤S6中进行训练、更新优化后得到的预测框与ground truth进行匹配，采用非极大值抑制方法，抑制重叠度高于预设阈值的预测框，生成最终的预测框集合。

进一步地，所述步骤S2中，经过特征提取，每条分支网络生成相应的6种不同尺度的特征图，尺度大小依次为：38*38、19*19、10*10、5*5、3*3、1*1。

进一步地，所述步骤S3中，先验框设置包括尺度和长宽比两个部分，具体包括以下步骤：

步骤S3.1、先验框尺度基于特征图大小的降低线性增加，具体如下式所示：

其中m代表特征图个数，s_min代表最底层先验框尺度，s_max代表最高层先验框尺度；s_k代表先验框尺度；

步骤S3.2、先验框的宽度w和高度h如下：

其中α_r代表先验框的长宽比；对于每张特征图，均设置有一个α_r＝1且尺度为s_k的先验框，和一个尺度为

且α_r＝1的先验框，保证每张特征图都设置了两个长宽比为1但大小不同的正方形先验框；

步骤S3.3、每个先验框相对应边界框包含4个元素(c_x,c_y,w,h)，先验框位置用

表示，对应的边界框

边界框的预测值l是b相对于d的转换值，具体如下表示：

l^w＝log(b^w/d^w)，l^h＝log(b^h/d^h)。

进一步地，所述步骤S3.1中特征图个数m为5，s_min取0.2，表示最底层的尺度是0.2；s_max取0.9，表示最高层的尺度是0.9；对于第一个特征图，其先验框的尺度比例设置为s_min/2＝0.1，先验框尺度为300×0.1＝30；后续先验框的尺度按照先验框尺度公式线性增加；先将尺度比例扩大100倍，此时增长步长为

各个特征图的先验框尺度s_k为[20，37，54，71，88]，将这些比例除以100，然后再乘以图片大小；通过这种计算方法，可以得出6个特征图的先验框的尺度分别为：[30,60,111,162,213,264]；先验框长宽比用α_r来表示如下：

进一步地，所述步骤S6中位置误差和置信度误差的加权和计算具体如下：

采用Smooth L1 loss进行位置误差的计算，softmax loss进行置信度误差的计算，所述位置误差和置信度误差的加权和即损失函数，计算公式如下：

其中N是先验框的正样本数量。权重系数α通过交叉验证设置为1；c为类别置信度预测值；l为先验框的所对应边界框的位置预测值；g为ground truth的位置参数；

对于位置误差，采用Smooth L1 loss，定义如下：

这里的x是所有的x_ij的集合，而且这里

为一个指示参数，当

时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别是p；由于

的存在，所以位置误差仅针对正样本进行计算；对ground truth的g进行编码得到

且

代表对第j个真实值的每个预测先验框的各个参数值进行编码。

对于置信度误差，采用softmax loss，定义如下：

其中，

是第i个先验框与类别p的置信度。

有益效果：

本发明利用多分支网络对输入图像中的多尺度目标生成不同的预测框，由于每张图像在输入到网络之前都要经过统一的预处理，生成固定大小的图像，然后，再将其输入到网络中的不同分支；在每条分支网络中，对图像所进行的卷积操作基本上都是相似的，只有，在先验框的大小比例设置是有所区别的。每条网络分支都会有不同大小的先验框比例，使得图像中不同尺度的目标都可以生成合适的预测框，证明了这种检测算法可以适用于多种不同尺度的目标，进而提高网络对目标物体的检测效率，从而改善了漏检的问题。

多分支思想的引入使得原网络提高了对不同尺度目标的检测能力，尤其对原本因尺度不一而漏检的目标是至关重要的，因此这种检测算法可以很好的解决因尺度不同而漏检的问题。

附图说明

图1是本发明提供的基于多分支网络的抗漏检航拍目标检测方法流程图；

图2是本发明提供的网络框架图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1-2所示的多分支网络的抗漏检航拍目标检测方法，包括以下步骤：

步骤S1、将包含不同尺度目标的原始图片进行预处理，使所述原始图片从初始尺度缩放成相同大小尺度，再将预处理后的图片输入到多分支网络中，所述多分支网络中每条分支均有一项输入。

步骤S2、将步骤S1中所述输入图片，通过所在分支网络进行层层卷积、池化等操作进行特征提取，获取不同尺度下的输入图片的特征图。经过特征提取，每条分支网络生成相应的6种不同尺度的特征图，尺度大小依次为：38*38、19*19、10*10、5*5、3*3、1*1。

步骤S3、针对每个分支网络预设先验框比例，在步骤S2所述特征图中的每个单元上生成若干先验框，计算出每个先验框相对应的置信度值P_c和对应的边界框location(c_x,c_y,w,h)；其中(c_x，c_y)为边界框的中心坐标，w代表边界框的宽，h代表边界框的高。

先验框设置包括尺度和长宽比两个部分，具体包括以下步骤：

步骤S3.1、先验框尺度基于特征图大小的降低线性增加，具体如下式所示：

其中m代表特征图个数，s_min代表最底层先验框尺度，s_max代表最高层先验框尺度；s_k代表先验框尺度；本实施例中特征图个数m为5，s_min取0.2，表示最底层的尺度是0.2；s_max取0.9，表示最高层的尺度是0.9；对于第一个特征图，其先验框的尺度比例设置为s_min/2＝0.1，先验框尺度为300×0.1＝30；后续先验框的尺度按照先验框尺度公式线性增加；先将尺度比例扩大100倍，此时增长步长为

各个特征图的先验框尺度s_k为[20，37，54，71，88]，将这些比例除以100，然后再乘以图片大小；通过这种计算方法，可以得出6个特征图的先验框的尺度分别为：[30,60,111,162,213,264]；先验框长宽比用α_r来表示如下：

步骤S3.2、先验框的宽度w和高度h如下：

其中α_r代表先验框的长宽比；对于每张特征图，均设置有一个α_r＝1且尺度为s_k的先验框，和一个尺度为

且α_r＝1的先验框，保证每张特征图都设置了两个长宽比为1但大小不同的正方形先验框。

步骤S3.3、每个先验框相对应边界框包含4个元素(c_x,c_y,w,h)，先验框位置用

表示，对应的边界框

边界框的预测值l是b相对于d的转换值，具体如下表示：

l^w＝log(b^w/d^w)，l^h＝log(b^h/d^h)。

步骤S4,、根据预设置信度阈值，将置信度值P_c低于预设置信度阈值的先验框剔除。

步骤S5、将步骤S4中得到的先验框与原始图片中的真实值GT(ground truth)进行匹配，计算出先验框和真实边界框的交并比IOU(Intersection over Union)，并找出IOU最大的先验框，作为训练的正样本；对已剔除的置信度值P_c低于预设置信度阈值的先验框进行升序排列，从高到低选取部分先验框作为训练的负样本；所选正样本数量与负样本数量比例为1:3。

步骤S6、将步骤S5所得正负训练样本进行位置误差和置信度误差的加权和计算，进行模型训练和更新，进而提高优化速度和训练结果的稳定性。本实施例分别采用SmoothL1 loss进行位置误差的计算，softmax loss进行置信度误差的计算；

对于位置误差与置信度误差的加权和，也就是损失函数。具体计算公式如下：

其中N是先验框的正样本数量。权重系数α通过交叉验证设置为1；c为类别置信度预测值；l为先验框的所对应边界框的位置预测值；g为ground truth的位置参数；

对于位置误差，采用Smooth L1 loss，定义如下：

这里的x是所有的x_ij的集合，而且这里

为一个指示参数，当

时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别是p；由于

的存在，所以位置误差仅针对正样本进行计算；值得注意的是，要先对ground truth的g进行编码得到

因为预测值l也是编码值；并且，

代表对第j个真实值的每个预测先验框的各个参数值进行编码。

对于置信度误差，采用softmax loss，定义如下：

其中，

是第i个先验框与类别p的置信度。

步骤S7、将步骤S6中进行训练、更新优化后得到的预测框与ground truth进行匹配，采用非极大值抑制方法，抑制重叠度高于预设阈值的预测框，生成最终的预测框集合。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种多分支网络的抗漏检航拍目标检测方法，其特征在于，包括以下步骤：

步骤S1、将包含不同尺度目标的原始图片进行预处理，使所述原始图片从初始尺度缩放成相同大小尺度，再将预处理后的图片输入到多分支网络中，所述多分支网络中每条分支均有一项输入；

步骤S2、将步骤S1中所述输入图片，通过所在分支网络进行特征提取，获取不同尺度下的输入图片的特征图；

步骤S3、针对每个分支网络预设先验框比例，在步骤S2所述特征图中的每个单元上生成若干先验框，计算出每个先验框相对应的置信度值P_c和对应的边界框location(c_x,c_y,w,h)；其中(c_x，c_y)为边界框的中心坐标，w代表边界框的宽，h代表边界框的高；

步骤S4,、根据预设置信度阈值，将置信度值P_c低于预设置信度阈值的先验框剔除；

步骤S5、将步骤S4中得到的先验框与原始图片中的真实值ground truth进行匹配，计算出先验框和真实边界框的交并比IOU，并找出IOU最大的先验框，作为训练的正样本；对已剔除的置信度值P_c低于预设置信度阈值的先验框进行升序排列，从高到低选取部分先验框作为训练的负样本；所选正样本数量与负样本数量比例为1:3；

步骤S6、将步骤S5所得正负训练样本进行位置误差和置信度误差的加权和计算，进行模型训练和更新；

步骤S7、将步骤S6中进行训练、更新优化后得到的预测框与ground truth进行匹配，采用非极大值抑制方法，抑制重叠度高于预设阈值的预测框，生成最终的预测框集合。

2.根据权利要求1所述的一种多分支网络的抗漏检航拍目标检测方法，其特征在于，所述步骤S2中，经过特征提取，每条分支网络生成相应的6种不同尺度的特征图，尺度大小依次为：38*38、19*19、10*10、5*5、3*3、1*1。

3.根据权利要求1所述的一种多分支网络的抗漏检航拍目标检测方法，其特征在于，所述步骤S3中，先验框设置包括尺度和长宽比两个部分，具体包括以下步骤：

步骤S3.1、先验框尺度基于特征图大小的降低线性增加，具体如下式所示：

其中m代表特征图个数，s_min代表最底层先验框尺度，s_max代表最高层先验框尺度；s_k代表先验框尺度；

步骤S3.2、先验框的宽度w和高度h如下：

其中α_r代表先验框的长宽比；对于每张特征图，均设置有一个α_r＝1且尺度为s_k的先验框，和一个尺度为

且α_r＝1的先验框，保证每张特征图都设置了两个长宽比为1但大小不同的正方形先验框；

步骤S3.3、每个先验框相对应边界框包含4个元素(c_x,c_y,w,h)，先验框位置用

表示，对应的边界框

边界框的预测值l是b相对于d的转换值，具体如下表示：

l^w＝log(b^w/d^w)，l^h＝log(b^h/d^h)。

4.根据权利要求3所述的一种多分支网络的抗漏检航拍目标检测方法，其特征在于，所述步骤S3.1中特征图个数m为5，s_min取0.2，表示最底层的尺度是0.2；s_max取0.9，表示最高层的尺度是0.9；对于第一个特征图，其先验框的尺度比例设置为s_min/2＝0.1，先验框尺度为300×0.1＝30；后续先验框的尺度按照先验框尺度公式线性增加；先将尺度比例扩大100倍，此时增长步长为

各个特征图的先验框尺度s_k为[20，37，54，71，88]，将这些比例除以100，然后再乘以图片大小；通过这种计算方法，可以得出6个特征图的先验框的尺度分别为：[30,60,111,162,213,264]；先验框长宽比用α_r来表示如下：

5.根据权利要求1所述的一种多分支网络的抗漏检航拍目标检测方法，其特征在于，所述步骤S6中位置误差和置信度误差的加权和计算具体如下：

采用Smooth L1 loss进行位置误差的计算，softmax loss进行置信度误差的计算，所述位置误差和置信度误差的加权和即损失函数，计算公式如下：

其中N是先验框的正样本数量。权重系数α通过交叉验证设置为1；c为类别置信度预测值；l为先验框的所对应边界框的位置预测值；g为ground truth的位置参数；

对于位置误差，采用Smooth L1 loss，定义如下：

其中x是所有的x_ij的集合，且

为一个指示参数，当

时表示第i个先验框与第j个ground truth匹配，并且ground truth的类别是p；由于

的存在，所以位置误差仅针对正样本进行计算；对ground truth的g进行编码得到

且

代表对第j个真实值的每个预测先验框的各个参数值进行编码；

对于置信度误差，采用softmax loss，定义如下：

其中，

是第i个先验框与类别p的置信度。

Images