CN111738114A - 基于无锚点精确采样遥感图像车辆目标检测方法 - Google Patents

Abstract

本发明公开了一种基于无锚点精确采样遥感图像车辆目标检测方法，包括如下步骤：S1，使用多层卷积神经网络对原始图片进行特征提取，根据不同尺度大小的特征图构成自上而下特征金字塔；S2，对于特征金字塔的每一层特征，生成特征图上所有像素点的类别预测；S3，对于特征金字塔的每一层特征，生成特征图上所有像素点的目标框预测；S4，根据输入图片中的真实框面积信息确定当前车辆目标所属的特征图；S5，借助真实框内的目标实例分割信息确定目标在该层特征内的正样本像素点，并计算该像素点到真实框四条边的差值；S6，计算所有正样本像素点的类别损失与关于真实框的回归损失。

Description

基于无锚点精确采样遥感图像车辆目标检测方法

技术领域

本发明属于基于深度学习的图像处理技术领域，具体涉及一种基于无锚点精确采样遥感图像车辆目标检测方法。

背景技术

近年来，卫星遥感技术的发展，从空中获取地面图片越来越方便。同时，随着社会的经济发展，车辆保有量也逐年增加。人们对城市交通运输能力的要求也在增加，大规模区域内的交通状况获取也变得越来越重要。通过卫星平台获取遥感图像中的车辆信息具有很大的优越性以及便利性，其中，遥感图像中的车辆目标检测是智能交通、城市交通分析规划、军事车辆目标识别以及跟踪的基础且重要的任务。

神经网络在遥感图像中的车辆检测领域已有先例，这其中使用的方法一种是专注于精度的双阶段目标检测网络，一种是专注于精度的单阶段目标检测网络。它们大多基于锚点来预先设置好目标框的信息，在应用到遥感图像的车辆目标中需要根据数据集的特点设置不同大小以及比例的锚点框，通用性不高。且遥感图像的获取来源不统一，不同的数据集之间有着明显的差距。无锚点的单阶段检测方法避免了人为设置锚点信息的步骤，同时兼备了检测的精度与速度。而原有的无锚点检测方法Foveabox在选择目标正样本时，考虑的是目标真实框中心区域内的所有像素点。这样虽然使靠近目标中心产生的结果质量更高，但一来减少了采样点的数量，车辆目标在经过深层网络的处理后，保留的像素点本就偏少，处于目标框内的非真实实例的目标像素点对检测结果存在干扰。二是在遇到倾斜的车辆目标框中，背景信息偏多，中心区域采样不能代表整个车辆目标。三是对于形状特殊的物体，只采样目标框的中心区域，会丢失掉物体的大部分甚至全部特征信息，使得模型的通用性低。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种基于无锚点精确采样遥感图像车辆目标检测方法，通过引入目标框中车辆的像素级分割信息，来重新定义车辆目标的中心点。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于无锚点精确采样遥感图像车辆目标检测方法，包括如下步骤：

S1，使用多层卷积神经网络对原始图片进行特征提取，根据不同尺度大小的特征图构成自上而下特征金字塔；

S2，对于特征金字塔的每一层特征，生成特征图上所有像素点的类别预测；

S3，对于特征金字塔的每一层特征，生成特征图上所有像素点的目标框预测；

S4，根据输入图片中的真实框面积信息确定当前车辆目标所属的特征图；

S5，借助真实框内的目标实例分割信息确定目标在该层特征内的正样本像素点，并计算该像素点到真实框四条边的差值；

S6，计算所有正样本像素点的类别损失与关于真实框的回归损失。

优选地，所述步骤S1进一步包括：

选用ResNet-50作为基础卷积神经网络，图片经过网络，在不同的层输出不同尺度的特征图，每上一个特征图是下一个特征图所经过网络的输出，此时的不同特征具有不同的通道数，越上层的特征，通道数越多，首先对不同特征图进行通道数统一化，其过程如下：

P_i＝Conv_3×3(C_i，256，3，1，1)

其中，p_i代表第i层特征，Conv_3×3表示3×3卷积层，C_i表示输入图片经过ResNet-50得到的特征图，Conv_3×3卷积层内的参数C_i、256、3、1、1依次为特征图的输入通道数，特征图的输出通道数，卷积层的卷积核尺寸，卷积核每次的移动步长和特征图的边界填充数。

优选地，所述步骤S2进一步包括：先对单层特征图WxHx256先经过四次同样的卷积操作，得到尺度与通道数均不变的特征图，接着使用一个3×3卷积，输出通道数为2的特征图，其中的一个通道表示输入遥感图片中存在车辆目标，另一个通道表示不存在车辆目标。

优选地，所述步骤S3进一步包括：对于单个特征图而言，回归子网络中，W与H分别表示特征图的宽与高，256表示特征图的当前通道数为256，先经过类似于步骤2的多个卷积操作后，在WxHx4中，4表示像素点与上下左右四条边距离的信息：

其中，

分别表示正样本与目标框四条边的偏移量；x₁、x₂、y₁、y₂分别表示输入的遥感图像中车辆目标框在图片中的左、右、上、下的距离；x、y分别表示正样本像素点在图像中的坐标；l表示当前车辆目标所在的特征金字塔的层数，z为

S为车辆目标的面积大小，log表示为对分数的计算结果取对数。

采用本发明具有如下的有益效果：

(1)本发明实施例在无锚点检测方法的基础上改进了该种方法对于正负样本的判别以及获取方式。

(2)只增加了训练过程的复杂度与计算量，并没有改变网络的推理阶段。相比于其他的遥感图像检测方法，可以在不需要提前根据遥感图像中的车辆目标设置候选框的前提下，为后续的网络采样到更为合理和精确的像素点。

(3)能够有效增加网络对于待检测目标类别信息的判断。实现了遥感图像目标检测准确率以及召回率的提升。

附图说明

图1为本发明实施例的基于无锚点精确采样遥感图像车辆目标检测方法的示意图；

图2为本发明实施例的基于无锚点精确采样遥感图像车辆目标检测方法中单层特征图及其后续子网络示意图；

图3为本发明实施例的基于无锚点精确采样遥感图像车辆目标检测方法中在车辆目标上的正样本候选区域选取示意图

图4为本发明实施例的基于无锚点精确采样遥感图像车辆目标检测方法中选取正样本像素点计算方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例的一种基于无锚点精确采样遥感图像车辆目标检测方法，包括如下步骤：

S1，使用多层卷积神经网络对原始图片进行特征提取，根据不同尺度大小的特征图构成自上而下特征金字塔。

作为一种具体的实施方式，选用ResNet-50作为基础卷积神经网络，如图1左侧所示，图片经过网络，在不同的层输出不同尺度的特征图。每上一个特征图是下一个特征图所经过网络的输出。此时的不同特征具有不同的通道数，越上层的特征，通道数越多。首先对不同特征图进行通道数统一化。其过程如下：

P_i＝Conv_3×3(C_i，256，3，1，1)

其中，P_i代表第i层特征，Conv_3x3表示3×3卷积层，C_i表示输入图片经过ResNet-50得到的特征图，Conv_3x3卷积层内的参数C_i、256、3、1、1依次为特征图的输入通道数，特征图的输出通道数，卷积层的卷积核尺寸，卷积核每次的移动步长，特征图的边界填充数。

S2，对于特征金字塔的每一层特征，生成特征图上所有像素点的类别预测。

作为一种具体的实施方式，如图2的分类网络中，先对单层特征图WxHx256先经过四次同样的卷积操作，得到尺度与通道数均不变的特征图。接着使用一个3×3卷积，输出通道数为2的特征图，其中的一个通道表示输入遥感图片中存在车辆目标，另一个通道表示不存在车辆目标。

S3，对于特征金字塔的每一层特征，生成特征图上所有像素点的目标框预测。

作为一种具体的实施方式，对于单个特征图而言，如图2回归子网络所示，W与H分别表示特征图的宽与高，256表示特征图的当前通道数为256。先经过类似于步骤2的多个卷积操作后，在WxHx4中，4表示像素点与上下左右四条边距离的信息。

其中，

分别表示正样本与目标框四条边的偏移量；x₁、x₂、y₁、y₂分别表示输入的遥感图像中车辆目标框在图片中的左、右、上、下的距离；x、y分别表示正样本像素点在图像中的坐标；l表示当前车辆目标所在的特征金字塔的层数；z为

S为车辆目标的面积大小；log表示为对分数的计算结果取对数。

S4，根据输入图片中的真实框面积信息确定当前车辆目标所属的特征图。

作为一种具体实施方式，对输入的遥感图片中的车辆矩形框，计算其长与宽的乘积，并开平方，根据计算结果的范围(1,64),(32,128),(64,256),(128,512)确定当前目标框所属的特征图。

S5，借助真实框内的目标实例分割信息确定目标在该层特征内的正样本像素点，并计算该像素点到真实框四条边的差值。

作为一种具体的实施方式，以图3的输入为例，获取输入车辆目标的实例分割目标框。最终获取的中心区域为原有分割结果的缩小区域。为了获取这个区域，如图4，通过累加该点与四周点的和来确定该点的最终值，选择所有点中的最大值作为阈值。

P[i][j]+＝P[i-1][j-1]+P[i][j-1]+P[i+1][j-1]+P[i-1][j]+P[i+1][j]+P[i-1][j+1]+P[i][j+1]+P[i+1][j+1]

其中P[i][j]表示i行j列的像素点的值。对于处于边界的像素点，采用补0的方式满足上式。

S6，计算所有正样本像素点的类别损失与关于真实框的回归损失。

作为一种具体的实施方式，通过SmoothL1Loss计算步骤3得到的偏移量信息与目标回归子网络的输出值的损失值，通过FocalLoss计算正样本像素点值的分类损失值。

为了验证本发明实施例的有效性，进行如下的仿真实验。

本实验采用VEDAI(vehicle detection in aerial imagery)作为数据集。其中1064用作训练，1064用作测试。其中，由于VEDAI数据集尺度分为512和1024两种，本实验选用512尺度。评估标准采用模型的检测准确率、召回率、F1-score。本实验采用预训练模型ResNet-50来初始化网络，在1块GeForce RTX 2080Ti上使用batch size＝2来训练模型，一共24个epoch，学习率设置为0.001，权重衰减率设为0.0001，动量设置为0.9。本实验在训练集上训练，在测试集上测试。

首先，加载torchvision提供的预训练模型ResNet-50为网络参数进行初始化，将遥感图像输入到基础神经网络中，提取到各个阶段的特征图，组成特征金字塔。

其次，对于每一层特征图，按照图2分别生成像素点分类子网络与像素点回归子网络。

然后，对于输出图片中含有的真实框，根据S4确定该真实框将要选择的特征图层数。同时，获得该输入遥感图片中真实框的实例分割信息。将真实框的长宽除以特征图相比于原图的缩小倍数，得到在特征图中含有的目标区域，通过该区域的二值图，计算区域内像素点与上下左右点的和，对于超出范围的点，通过补0代替。另外，设置变量记录像素点相加过程中产生的最大值，以最大值为阈值，对于不小于阈值的像素点，返回该点在当前特征图中的坐标，超出特征图长宽范围的点，设置为特征图对应边界减1。

接着，对于正样本像素点，通过采用S3中的公式计算该点与真实框四条边距离的偏移量。在推理阶段，计算该偏移量的指数，就是该点当前所在目标框的检测结果。而该点在像素点类别预测子网络输出结果在经过激活函数激活到0至1就是该像素点关于车辆类别的置信度也就是评分，越接近于1，我们就认为当前像素点与当前像素点预测的目标框内存在车辆目标。

最后，通过消除类别置信度小于0.05的点来消除一些得分低的像素点。另外，通过阈值为0.5的非极大抑制方法滤除一些交并比大于0.5但是置信度不是最高的目标框，来达到去重作用。

遥感图像的车辆检测中车辆目标普遍偏小，不同的采样距离以及不同区域提供的图像清晰度为遥感图像中的物体检测带来了多种尺度、多种清晰度以及复杂的背景信息。通用的基于神经网络的检测模型准确率无法进一步提高，在速度检测上也处于劣势。本发明实施例通过在遥感图像的车辆检测中引入无锚点的方法，避免了不确定的锚点框设计，并改进了原先无锚点模型中关于正样本的选取方式，使用了一种更贴近目标中心区域的方法，为网络的训练提供了高质量的正样本像素点。

表1 VEDAI测试集上的结果及对比实验表

Two-stage	准确率	召回率	F1-score	FPS
					Faster-rcnn	82.1	87.7	84.8	5.8
Faster-rcnn w FPN	88.9	91.6	90.2	4.2
					Cascade-rcnn	84.1	86.9	85.5	2.3
Cascade-rcnn w FPN	88.4	90.1	89.2	2.3
					One-stage
SSD512	77.2	91.5	83.7	16.9
					Yolov3	74.4	89.3	81.2	42.6
Fcos	86.9	93.0	89.8	24.8
					Foveabox	86.5	90.4	88.4	22.2
Ours	89.9	96.0	92.8	22.2

综上所述，本发明结合遥感图像中的车辆目标偏小、方向任意、背景复杂度高等特点，提高了遥感图中车辆目标检测的准确率。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (4)

1.一种基于无锚点精确采样遥感图像车辆目标检测方法，其特征在于，包括如下步骤：

S1，使用多层卷积神经网络对原始图片进行特征提取，根据不同尺度大小的特征图构成自上而下特征金字塔；

S2，对于特征金字塔的每一层特征，生成特征图上所有像素点的类别预测；

S3，对于特征金字塔的每一层特征，生成特征图上所有像素点的目标框预测；

S4，根据输入图片中的真实框面积信息确定当前车辆目标所属的特征图；

S5，借助真实框内的目标实例分割信息确定目标在该层特征内的正样本像素点，并计算该像素点到真实框四条边的差值；

S6，计算所有正样本像素点的类别损失与关于真实框的回归损失。

2.如权利要求1所述的基于无锚点精确采样遥感图像车辆目标检测方法，其特征在于，所述步骤S1进一步包括：

选用ResNet-50作为基础卷积神经网络，图片经过网络，在不同的层输出不同尺度的特征图，每上一个特征图是下一个特征图所经过网络的输出，此时的不同特征具有不同的通道数，越上层的特征，通道数越多，首先对不同特征图进行通道数统一化，其过程如下：

P_t＝Conv_3×3(C_t，256，3，1，1)

其中，P_i代表第i层特征，Conv_3x3表示3×3卷积层，C_i表示输入图片经过ResNet-50得到的特征图，Conv_3x3卷积层内的参数C_i、256、3、1、1依次为特征图的输入通道数，特征图的输出通道数，卷积层的卷积核尺寸，卷积核每次的移动步长和特征图的边界填充数。

3.如权利要求1所述的基于无锚点精确采样遥感图像车辆目标检测方法，其特征在于，所述步骤S2进一步包括：先对单层特征图WxHx256先经过四次同样的卷积操作，得到尺度与通道数均不变的特征图，接着使用一个3×3卷积，输出通道数为2的特征图，其中的一个通道表示输入遥感图片中存在车辆目标，另一个通道表示不存在车辆目标。

4.如权利要求1所述的基于无锚点精确采样遥感图像车辆目标检测方法，其特征在于，所述步骤S3进一步包括：对于单个特征图而言，回归子网络中，W与H分别表示特征图的宽与高，256表示特征图的当前通道数为256，先经过类似于步骤2的多个卷积操作后，在WxHx4中，4表示像素点与上下左右四条边距离的信息：

其中，

分别表示正样本与目标框四条边的偏移量；x₁、x₂、y₁、y₂分别表示输入的遥感图像中车辆目标框在图片中的左、右、上、下的距离；x、y分别表示正样本像素点在图像中的坐标；l表示当前车辆目标所在的特征金字塔的层数，z为

S为车辆目标的面积大小，log表示为对分数的计算结果取对数。

Images