CN112926552A - 基于深度神经网络的遥感影像车辆目标识别模型及方法 - Google Patents

Abstract

本发明提供一种基于深度神经网络的遥感影像车辆目标识别模型及方法。该模型将Yolov4网络结构中PANet网络中的卷积块替换为倒置残差模块，具体为：将PANet网络中上采样单元自下而上依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第一倒置残差模块和第二倒置残差模块；将PANet网络中下采样单元自上而下依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第三倒置残差模块和第四倒置残差模块；在第二倒置残差模块和第三倒置残差模块之间新增一个倒置残差模块，并定义为第五倒置残差模块，所述第五倒置残差模块用于对输入的图像进行下采样。本发明对阴影遮挡等复杂环境下的车辆目标识别更精确。

Description

基于深度神经网络的遥感影像车辆目标识别模型及方法

技术领域

本发明涉及遥感影像目标识别技术领域，具体涉及在复杂环境的街道场景遥感影像中的汽车检测与识别方法，尤其涉及一种基于深度神经网络的遥感影像车辆目标识别模型及方法。

背景技术

航天遥感影像识别任务中，汽车识别作为一种重要的交通工具，一直是研究的难点和热点。无论是军事应用还是民用方面，基于遥感图像的车辆目标检测都发挥着十分重要的作用。而在遥感图像中，车辆目标像素过小、周围环境复杂、语义信息差、建筑物或阴影遮挡等问题导致现有的框架对汽车的识别效果不理想。

目前，国内外对目标识别的研究有很多，但大多数方法是针对一般物体和图像而进行实验分析的，针对车辆目标尤其是小目标检测的研究还少。而针对遥感图像目标像素过小，环境复杂，俯瞰角度不一，目标信息不全，建筑物、云层等遮挡等困难，现有的深度学习方法对遥感图像目标的识别结果仍不理想。

发明内容

针对传统的目标识别方法在面对复杂环境下的遥感影像识别车辆这类小目标时的识别效果较差的问题，本发明提供一种基于深度神经网络的遥感影像车辆目标识别模型及方法。

一方面，本发明提供一种基于深度神经网络的遥感影像车辆目标识别模型，将Yolov4网络结构中PANet网络中的卷积块替换为倒置残差模块，具体为：

将PANet网络中上采样单元自下而上依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第一倒置残差模块和第二倒置残差模块；

将PANet网络中下采样单元自上而下依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第三倒置残差模块和第四倒置残差模块；

在第二倒置残差模块和第三倒置残差模块之间新增一个倒置残差模块，并定义为第五倒置残差模块，所述第五倒置残差模块用于对输入的图像进行下采样。

进一步地，所述倒置残差模块，包括自上而下依次连接的3层子网络；其中，第一层子网络包括依次连接的1*1卷积层、批量标准化层和Relu6激活函数；第二层子网络包括依次连接的3*3卷积层、批量标准化层和Relu6激活函数；第三层子网络包括依次连接的1*1卷积层和批量标准化层；所述第一层子网络的输入与所述第三层子网络的输出相加后作为所述倒置残差模块的输出。

另一方面，本发明提供一种基于深度神经网络的遥感影像车辆目标识别方法，采用上述的遥感影像车辆目标识别模型，所述方法包括：

对原始的遥感影像进行GAMMA矫正；

将矫正后的遥感影像输入至所述遥感影像车辆目标识别模型，并采用预训练好的模型参数yolov4.conv.137作为初始权重值对遥感影像车辆目标识别模型进行训练；

使用训练好的遥感影像车辆目标识别模型对输入的遥感影像进行车辆目标识别。

本发明的有益效果：

针对现有方法无法在遥感图像中取得良好的效果，以及深度卷积神经网络中检测遥感影像中的车辆时存在准确率低、漏检率高(已经被遮挡目标无法识别所导致)等问题，本发明提供的基于深度神经网络的遥感影像车辆目标识别模型及方法，根据深度卷积神经网络PANet算法，将inverted residual模块替换掉原有PANet中的卷积块，从而可以提高Precision和mAP值，改善小目标检测效果；随后在训练开始前，对图片进行预处理，以对图像进行降噪；再通过使用K-means算法对数据集进行聚类分析，在预训练模型下调整网络参数并提高输入图像分辨率，采用多尺度训练得到最优检测模型。

通过在遥感车辆数据集上进行训练和测试，结果表明，该方法在遥感车辆检测中精度、mAP等各项指标均有所提高，且对阴影遮挡等复杂环境下的车辆目标识别更精确。

附图说明

图1为本发明实施例提供的基于深度神经网络的遥感影像车辆目标识别模型的结构图；

图2为现有技术中的Yolov4网络结构图；

图3为本发明实施例提供的倒置残差模块的结构图；

图4为本发明实施例提供的基于深度神经网络的遥感影像车辆目标识别方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种基于深度神经网络的遥感影像车辆目标识别模型，该模型将Yolov4网络结构(如图2所示)中PANet网络中的卷积块替换为倒置残差模块，具体为：

将PANet网络中上采样单元自下而上依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第一倒置残差模块和第二倒置残差模块；

将PANet网络中下采样单元自上而下依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第三倒置残差模块和第四倒置残差模块；

在第二倒置残差模块和第三倒置残差模块之间新增一个倒置残差模块，并定义为第五倒置残差模块，所述第五倒置残差模块用于对输入的图像进行下采样。

本发明实施例将改进后的PANet网络定义为IR-PANet网络，IR-PANet作为网络框架的颈部网络，有着自下而上的上采样，并将骨干网络CSPDarknet分为三个检测层，在检测层中，分别将图片分为19×19、38×38、76×76三种像素的网格进行检测，上层网络的语义信息卷积后进行下采样到深层网络，可以丰富网络的语义信息，增加对小目标检测的能力，大大的改善了FPN网络对小目标检测能力的不足。

本发明实施例提供的遥感影像车辆目标识别模型，针对遥感图像中小汽车的特殊性，根据深度卷积神经网络PANet算法，对原有的PANet网络进行改进，将原有PANet网络中的卷积块替换为倒置残差(inverted residual)模块，应用于YOLOv4方法之中，可以提高Precision和mAP值，改善小目标检测效果，增加了模型对小目标以及被遮挡目标的识别能力。

相比于仅适应常规目标的原始网络结构与锚点值，本发明优化后的网络结构与重新聚类得到的锚点值更适合街道场景下目标检测，最终提高了模型的检测精度并且减少了误检。

在上述实施例的基础上，如图3所示，本发明实施例提供的倒置残差模块，包括自上而下依次连接的3层子网络；其中，第一层子网络包括依次连接的1*1卷积层、批量标准化层和Relu6激活函数；第二层子网络包括依次连接的3*3卷积层、批量标准化层和Relu6激活函数；第三层子网络包括依次连接的1*1卷积层和批量标准化层；所述第一层子网络的输入与所述第三层子网络的输出相加后作为所述倒置残差模块的输出。

与深度可分离卷积块不同，本发明实施例中的倒置残差模块把中间的卷积维度从1*1升为3*3，将原来的“两头宽中间窄”的结构改变为“两头窄，中间宽”的结构。在深度卷积网络中，网络越深，其检测能力就越强，其训练、检测时间越慢。倒置残差模块基于深度可分离卷积，增加了网络的深度，而在计算量方面，大大减少了卷积过程中的计算量(如表1所示)，提高了网络对语义信息的学习能力，进而提高了网络的识别精度。

表1标准卷积块与倒置残差模块的计算量对比

表1中，h,w表示一个h×w的卷积块，扩展因子t和核大小k，s为步长。

如图4所示，本发明实施例还提供一种基于深度神经网络的遥感影像车辆目标识别方法，采用上述的遥感影像车辆目标识别模型，所述方法包括：

对原始的遥感影像进行GAMMA矫正；

将矫正后的遥感影像输入至所述遥感影像车辆目标识别模型，并采用预训练好的模型参数yolov4.conv.137作为初始权重值对遥感影像车辆目标识别模型进行训练；

使用训练好的遥感影像车辆目标识别模型对输入的遥感影像进行车辆目标识别。

在整幅遥感图像中，环境复杂，阴影遮挡、建筑物遮挡严重影响检测的精度，因此，本发明实施例提供的基于深度神经网络的遥感影像车辆目标识别方法，在训练模型之前(或者说，在遥感图像进行卷积前)，使用GAMMA矫正对图像进行了预处理，减少了原图像中的噪声，提亮了图像中的阴影部分，提升了算法对阴影遮盖目标的识别率。

考虑到汽车是一个小目标，原网络定义的anchor boxes与网络的层级结构对于小目标类的研究对象不太适用，因此，针对小目标检测，本发明修改网络的层级结构，然后利用K-means聚类算法对数据集中的小目标进行聚类分析。采用在VOC2012数据集上预训练好的模型参数yolov4.conv.137作为初始权重值，在训练的过程中不断调整参数对模型进行优化，以期达到较好的结果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.基于深度神经网络的遥感影像车辆目标识别模型，其特征在于，将Yolov4网络结构中PANet网络中的卷积块替换为倒置残差模块，具体为：

将PANet网络中上采样单元自下而上依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第一倒置残差模块和第二倒置残差模块；

将PANet网络中下采样单元自上而下依次连接的两层卷积块均替换为倒置残差模块，并分别定义为第三倒置残差模块和第四倒置残差模块；

在第二倒置残差模块和第三倒置残差模块之间新增一个倒置残差模块，并定义为第五倒置残差模块，所述第五倒置残差模块用于对输入的图像进行下采样。

2.根据权利要求1所述的遥感影像车辆目标识别模型，其特征在于，所述倒置残差模块，包括自上而下依次连接的3层子网络；其中，第一层子网络包括依次连接的1*1卷积层、批量标准化层和Relu6激活函数；第二层子网络包括依次连接的3*3卷积层、批量标准化层和Relu6激活函数；第三层子网络包括依次连接的1*1卷积层和批量标准化层；所述第一层子网络的输入与所述第三层子网络的输出相加后作为所述倒置残差模块的输出。

3.基于深度神经网络的遥感影像车辆目标识别方法，其特征在于，采用权利要求1或2所述的遥感影像车辆目标识别模型，所述方法包括：

对原始的遥感影像进行GAMMA矫正；

将矫正后的遥感影像输入至所述遥感影像车辆目标识别模型，并采用预训练好的模型参数yolov4.conv.137作为初始权重值对遥感影像车辆目标识别模型进行训练；

使用训练好的遥感影像车辆目标识别模型对输入的遥感影像进行车辆目标识别。

Images