CN111178213A - 一种基于深度学习的航拍车辆检测方法 - Google Patents

Abstract

一种基于深度学习的航拍车辆检测方法，步骤如下：构建训练数据集并对数据集中图像的标签信息进行预处理；搭建用于航拍车辆检测的基于深度学习的目标检测网络；基于最大迭代次数，用训练样本对搭建的目标检测网络进行训练，得到训练好的航拍车辆目标检测网络；对航拍图像进行车辆目标检测。在特征提取网络中加入注意力模块。由于卷积运算通过混合跨信道和空间信息来提取图像特征，采用本发明中的注意力模块强调了这两个主要维度上有意义的特征，有效地抑制航拍图像中的复杂噪声背景，提高车辆目标检测的准确率。第二，在基础锚框的选择中加入旋转角度，使得目标检测网络可以检测出航拍车辆目标的旋转角度，得到更加丰富的车辆目标位置信息。

Description

一种基于深度学习的航拍车辆检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度学习的图像目标检测方法。设计了一种以深层卷积神经网络Resnet为基础搭建的FasterR-CNN目标检测网络。本发明可应用于航拍图像中的车辆目标检测。相较于现有方法，本发明能得到更加丰富的车辆目标位置信息，并且检测准确率较高。

背景技术

私人交通工具的普及导致了交通情况的复杂化，完善交通管理系统对城市现代化有着重要影响。车辆检测是交通管理系统中不可或缺的组成部分，有利于解决交通堵塞、车流控制、道路规划及停车场预估等问题。

近年来，随着深度学习的兴起，卷积神经网络在目标检测领域取得了优异的成果。FasterR-CNN引入了与检测网络共享全图像卷积特性的区域建议网络(RPN)，实现了端到端的目标检测。目前，FasterR-CNN在目标检测领域达到了领先水平。然而，航拍图像与自然图像相比，目标车辆在图像中占比较小，背景也较为复杂。这导致FasterR-CNN在航拍车辆检测方面的检测效果很不理想。

浅层的特征语义信息较少，但目标位置准确；深层的特征语义信息丰富，但目标位置较为粗略。FPN(Feature Pyramid Networks)利用图像金字塔的思想，将浅层特征与深层特征进行融合，有效地解决了目标检测场景中小尺度目标检测困难的问题。将FPN与FasterR-CNN结合可以有效提高航拍车辆目标的检测精度。Mask R-CNN中又提出一种新的区域特征聚集方式ROIAligh代替了FasterR-CNN中的ROIPooling，提高了小目标检测的准确性。

然而，航拍图像中的车辆目标通常以任意方向出现，现有技术无法检测出车辆的旋转方向。且由于航拍图像具有较多的噪声背景，现有技术也难以达到较高的检测准确率。

发明内容

本发明提出了一种基于深度学习的航拍车辆检测方法，目的在于解决上述现有技术中的不足。本方法综合利用了现有的目标检测网络的优点，并在此基础上解决旋转角度问题，减少噪声影响，提高了航拍车辆检测的准确率。

本发明的技术方案：

一种基于深度学习的航拍车辆检测方法，步骤如下：

步骤1：构建训练数据集并对数据集中图像的标签信息进行预处理

构建训练数据集的具体方法如下：

(1)用窗口大小为800×800×3像素，且步长为256×256×3像素的划窗，对多幅航拍图像进行逐一切割，得到多个切割图像块及相应的标签文件；

(2)对得到的切割图像块进行数据增强处理，得到训练数据集

对数据集中图像的标签信息进行预处理的具体方法如下：

(1)将标签信息中的位置信息表示为(x,y,h,w,θ)，其中(x,y)表示框的几何中心，h表示框的短边，w表示框的长边，θ∈(-45°,135°)表示框的旋转方向，然后将框的长宽扩大gt_margin倍；

(2)将标签信息中的类型信息标记为1；

步骤2：搭建用于航拍车辆检测的基于深度学习的目标检测网络

2.1：构建加入注意力模块的融合多尺度特征提取网络

具体方法如下：

(1)多尺度特征提取网络选用去除最后全连接层的Resnet网络模型，并在Resnet网络的各瓶颈模块中加入注意力模块；

注意力模块分为通道注意力模块和空间注意力模块；通道注意力模块结构为：输入层→全局平均池→线性全连接层→Relu激活函数→线性全连接层→Sigmoid激活函数→输出层，输入层与输出层点乘→最终输出层；空间注意力模块结构：输入层→卷积核为1的卷积层→Sigmoid激活函数→输出层，输出层与输出层点乘→最终输出层；注意力模块整体输出由通道注意力模块的输出层与空间注意力模块的输出层进行级联得到；

(2)整合FPN与上述多尺度特征提取网络得到加入注意力模块的融合多尺度特征提取网络；

2.2：构建多旋转角度的RRPN候选框提取网络

具体方法如下：

在RPN网络的基础上中加入角度变换生成RRPN候选框提取网络，即在RPN网络生成锚框时，将基础锚框再进行角度旋转，生成比例、尺度、角度三种变换的锚框；

2.3：使用上述融合多尺度特征提取网络及RRPN候选框提取网络搭建目标检测网络，具体结构依次为：输入层→融合多尺度特征网络→RRPN候选框提取网络→ROIAligh层→第一个全连接层→第二个全连接层→分类回归层；

步骤3：基于最大迭代次数，用训练样本对搭建的目标检测网络进行训练，得到训练好的航拍车辆目标检测网络

具体方法如下：

(1)采用迁移学习的方法，利用公开训练好的Resnet网络模型参数作为步骤2的目标检测网络中Resnet网络的初始权值，并冻结前两个层，不进行后续的权重调整；

(2)确定训练批次大小和最大迭代次数，每一次训练迭代从训练数据集中选取数量为批次大小的图像输入待训练模型，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代；训练迭代次数达到最大迭代次数时，训练终止，得到训练好的基于深度学习的目标检测网络；

步骤4：对航拍图像进行车辆目标检测

具体方法如下：

(1)用窗口大小为800×800×3像素，且步长为256×256×3像素的划窗，对航拍图像进行逐一切割，得到多个切割图像块；

(2)将图像块一次输入训练好的基于深度学习的目标检测网络中，得到每个图像块的预测框、预测框对应的得分以及预测框对应的目标类别；

(3)保留所有得分高于0.5的预测框，丢弃其余候选框；

(4)将所有保留的预测框位置映射到完整的航拍图像上，并将所有预测框的宽和长缩减gt_margin倍，然后按照得分从高到低进行排序，保留预测框之间重叠度低和得分高的预测框，丢弃重叠度高和得分低的预测框，得到最终的航拍车辆目标检测结果。

本发明的有益效果：

第一，在特征提取网络中加入注意力模块。由于卷积运算通过混合跨信道和空间信息来提取图像特征，采用本发明中的注意力模块强调了这两个主要维度上有意义的特征，可以有效地抑制航拍图像中的复杂噪声背景，提高车辆目标检测的准确率；

第二，在基础锚框的选择中加入旋转角度，使得目标检测网络可以检测出航拍车辆目标的旋转角度，得到更加丰富的车辆目标位置信息。

附图说明、

图1是本发明的流程图。

图2是本发明中基于深度学习的车辆目标检测网络的具体架构。

图3是本发明中注意力模块的流程图。

图4是本发明实施例提供的一种航拍车辆检测结果示例图。

具体实施方式

以下结合附图通过具体实施例对本发明进一步详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例中的图像样来自UCAS-AOD数据集，该数据集包括汽车图像510张，共包含7114个车辆样本。对该数据集按2:8的比例随机划分训练集和测试集。

步骤1：构建训练数据集并对数据集中图像的标签信息进行预处理

构建训练数据集的具体方法如下：

(1)用窗口大小为800×800×3像素，且步长为256×256×3像素的划窗，对训练集中的多幅航拍图像进行逐一切割，得到多个切割图像块及相应的标签文件；

(2)对得到的切割图像块旋转90°，180°及水平，垂直翻转的方式进行数据增强，共得到7200张训练图像。

对数据集中图像的标签信息进行预处理的具体方法如下：

(1)将标签信息中的位置信息表示为(x,y,h,w,θ)，其中(x,y)表示框的几何中心，h表示框的短边，w表示框的长边，θ∈(-45°,135°)表示框的旋转方向，然后将框的长宽扩大1.4倍；

(2)将标签信息中的类型信息标记为1。

步骤2：利用pytorch库搭建用于航拍车辆检测的基于深度学习的目标检测网络，如图2所示。

2.1：构建加入注意力模块的融合多尺度特征提取网络

(1)多尺度特征提取网络选用去除最后全连接层的Resnet-101网络模型，并在Resnet-101网络的各瓶颈模块中加入注意力模块。

注意力模块分为通道注意力模块和空间注意力模块。通道注意力模块结构为：输入层→全局平均池→线性全连接层→Relu激活函数→线性全连接层→Sigmoid激活函数→输出层，输入层与输出层点乘→最终输出层。空间注意力模块结构：输入层→卷积核为1的卷积层→Sigmoid激活函数→输出层，输出层与输出层点乘→最终输出层。注意力模块整体输出由通道注意力模块的输出层与空间注意力模块的输出层进行级联得到。

(2)整合FPN与上述多尺度特征提取网络得到加入注意力模块的融合多尺度特征提取网络。

2.2：构建多旋转角度的RRPN候选框提取网络

在RPN网络的基础上中加入角度变换(-30.0°,0.0°,30.0°,60.0°,90.0°,120.0°)生成RRPN候选框提取网络，即在RPN网络生成锚框时，将基础锚框再进行六个不同角度旋转，生成比例、尺度、角度三种变换的锚框；

2.3：使用上述融合多尺度特征提取网络及RRPN候选框提取网络搭建目标检测网络，具体结构依次为：输入层→融合多尺度特征网络→RRPN候选框提取网络→ROIAligh层→第一个全连接层→第二个全连接层→分类回归层；

步骤3：基于最大迭代次数，用训练样本对搭建的目标检测网络进行训练，得到训练好的航拍车辆目标检测网络。

(1)采用迁移学习的方法，利用在ImageNet训练过的Resnet-101网络模型参数作为步骤2的目标检测网络中Resnet-101网络的初始权值，并冻结前两个层，不进行后续的权重调整。

(2)确定训练批次大小为1，最大迭代次数为100000。每一次训练迭代从训练数据集中选取数量为批次大小的图像输入待训练模型，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代。训练迭代次数达到最大迭代次数时，训练终止，得到训练好的基于深度学习的目标检测网络。

步骤4：对航拍图像进行车辆目标检测。

(1)用窗口大小为800×800×3像素，且步长为256×256×3像素的划窗，对测试集中的图像进行逐一切割，得到多个切割图像块；

(2)将图像块一次输入训练好的基于深度学习的目标检测网络中，得到每个图像块的预测框、预测框对应的得分以及预测框对应的目标类别；

(3)保留所有得分高于0.5的预测框，丢弃其余候选框；

(4)将所有保留的预测框位置映射到完整的航拍图像上，并将所有预测框的宽和长缩减1.4倍，然后按照得分从高到低进行排序，保留预测框之间重叠度低和得分高的预测框，丢弃重叠度高和得分低的预测框，得到最终的航拍车辆目标检测结果。

通过对测试集中的所有航拍图像进行目标检测，最终得到的平均精度AP值为0.92。

Claims (1)

1.一种基于深度学习的航拍车辆检测方法，其特征在于，步骤如下：

步骤1：构建训练数据集并对数据集中图像的标签信息进行预处理

构建训练数据集的具体方法如下：

(1)用窗口大小为800×800×3像素，且步长为256×256×3像素的划窗，对多幅航拍图像进行逐一切割，得到多个切割图像块及相应的标签文件；

(2)对得到的切割图像块进行数据增强处理，得到训练数据集

对数据集中图像的标签信息进行预处理的具体方法如下：

(1)将标签信息中的位置信息表示为(x,y,h,w,θ)，其中(x,y)表示框的几何中心，h表示框的短边，w表示框的长边，θ∈(-45°,135°)表示框的旋转方向，然后将框的长宽扩大gt_margin倍；

(2)将标签信息中的类型信息标记为1；

步骤2：搭建用于航拍车辆检测的基于深度学习的目标检测网络

2.1：构建加入注意力模块的融合多尺度特征提取网络

具体方法如下：

(1)多尺度特征提取网络选用去除最后全连接层的Resnet网络模型，并在Resnet网络的各瓶颈模块中加入注意力模块；

注意力模块分为通道注意力模块和空间注意力模块；通道注意力模块结构为：输入层→全局平均池→线性全连接层→Relu激活函数→线性全连接层→Sigmoid激活函数→输出层，输入层与输出层点乘→最终输出层；空间注意力模块结构：输入层→卷积核为1的卷积层→Sigmoid激活函数→输出层，输出层与输出层点乘→最终输出层；注意力模块整体输出由通道注意力模块的输出层与空间注意力模块的输出层进行级联得到；

(2)整合FPN与上述多尺度特征提取网络得到加入注意力模块的融合多尺度特征提取网络；

2.2：构建多旋转角度的RRPN候选框提取网络

具体方法如下：

在RPN网络的基础上中加入角度变换生成RRPN候选框提取网络，即在RPN网络生成锚框时，将基础锚框再进行角度旋转，生成比例、尺度、角度三种变换的锚框；

2.3：使用上述融合多尺度特征提取网络及RRPN候选框提取网络搭建目标检测网络，具体结构依次为：输入层→融合多尺度特征网络→RRPN候选框提取网络→ROIAligh层→第一个全连接层→第二个全连接层→分类回归层；

步骤3：基于最大迭代次数，用训练样本对搭建的目标检测网络进行训练，得到训练好的航拍车辆目标检测网络

具体方法如下：

(1)采用迁移学习的方法，利用公开训练好的Resnet网络模型参数作为步骤2的目标检测网络中Resnet网络的初始权值，并冻结前两个层，不进行后续的权重调整；

(2)确定训练批次大小和最大迭代次数，每一次训练迭代从训练数据集中选取数量为批次大小的图像输入待训练模型，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代；训练迭代次数达到最大迭代次数时，训练终止，得到训练好的基于深度学习的目标检测网络；

步骤4：对航拍图像进行车辆目标检测

具体方法如下：

(1)用窗口大小为800×800×3像素，且步长为256×256×3像素的划窗，对航拍图像进行逐一切割，得到多个切割图像块；

(2)将图像块一次输入训练好的基于深度学习的目标检测网络中，得到每个图像块的预测框、预测框对应的得分以及预测框对应的目标类别；

(3)保留所有得分高于0.5的预测框，丢弃其余候选框；

(4)将所有保留的预测框位置映射到完整的航拍图像上，并将所有预测框的宽和长缩减gt_margin倍，然后按照得分从高到低进行排序，保留预测框之间重叠度低和得分高的预测框，丢弃重叠度高和得分低的预测框，得到最终的航拍车辆目标检测结果。

Images