CN111008555A - 一种无人机图像弱小目标增强提取方法 - Google Patents

Abstract

本发明公开了一种无人机图像弱小目标增强提取方法，通过增强弱小目标的结构和纹理特征达到更好的提取效果。具体包含基于恒等分辨率特征增强网络的小目标特征增强、基于注意力网络的前景目标视觉显著性强化、基于YOLOV3的目标检测等三个步骤。提出的恒等分辨率特征增强网络在不扩大图像空间分辨率的前提下，增加目标特征点数量，从而确保了检测效率；引入注意力机制实现对潜在目标区域的精确描述，从而排除复杂背景的干扰，提升检测算法的鲁棒性。

Description

一种无人机图像弱小目标增强提取方法

技术领域

本发明属于数字图像处理技术领域，涉及一种图像中的目标提取方法，具体涉及一种无人机图像弱小目标增强提取方法。

技术背景

无人机航拍影像的目标提取(含检测和定位)具有重要的智能化应用价值。在军事领域，可以利用该项技术精确检测飞机、坦克、舰船等军事目标的种类和位置；在民用领域，可用于定位火灾位置和级别、检测油井异常情况等。

由于航拍图像的固有特点，无人机影像目标提取较普通场景更为困难，一方面是航拍图像中目标小、特征弱、尺度多变、背景混淆，另一方面存在阴影、遮挡、环境干扰、摄像抖动和相对运动等复杂干扰因素。一般将小于32×32像素的目标称为小目标，当目标的像素进一步下降时则退化为点目标。小目标或点目标的结构特征弱(可统称为弱目标)，纹理信息基本丧失，目标的边界形状也不能保持，因此，检测和识别极为困难。目前针对无人机小目标检测的有效算法缺乏，严重制约了无人机航拍数据分析的自动化智能化水平。

无人机在对地拍摄过程中，因具有较远的拍摄距离，因此很难直接从复杂的背景图像中准确有效地检测出真实地面目标。特别是对于自身空间尺寸极小的目标，因自身有限的像素和弱纹理特性，在深度学习网络进行特征提取的过程中，增加了特征点提取的难度，也导致了较差的检测精度。因此，如何从复杂背景中对真实的地面目标进行有效的特征提取是无人机影像小目标检测的关键。

发明内容

为了解决上述技术问题，本发明提供了一种无人机图像弱小目标增强提取方法。

本发明所采用的技术方案是：一种无人机图像弱小目标增强提取方法，其特征在于，包括以下步骤：

步骤1：输入无人机图像弱小目标图像；

步骤2：建立恒等分辨率特征增强网络，增强目标的特征点；

步骤3：建立注意力网络，提高弱小目标的视觉显著性；

步骤4：基于YOLOv3算法实现目标检测，输出检测结果。

本发明方法的优点：

1)引入超分辨率重建网络对输入图像进行特征点增强，为后续的特征点提取和检测提供更多的有效信息。提出的恒等分辨率特征增强网络不仅可以增加目标特征点数量，同时将特征增强和检测操作均维持在原始尺寸，与现有同类方法相比，极大地降低了计算和内存消耗，保证了检测效率。

2)引入注意力机制凸显前景目标的视觉显著性，实现对潜在目标区域的精确描述，从而排除无人机影像中复杂背景的干扰影响，提升检测算法的鲁棒性。

附图说明

图1为本发明实施例的流程框图；

图2为本发明实施例的无人机影像的目标特征增强示例，其中，第一行原始图像，第二行增强后图像；

图3为本发明实施例的注意力网络的技术框图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

基于深度学习的目标检测算法已经超越传统检测方法，成为当前目标检测算法的主流。典型的如Faster R-CNN，YOLOv3，SSD，这些算法通过设计合理的特征点提取模块，提升候选框的置信度。在处理常规目标以及一般小目标时，上述算法都有不错的检测精度，但是在面对复杂场景下的弱小目标检测时，如无人机影像，这些算法无法实现正常的特征提取，表现为高漏检率和误检率。

本发明提出的无人机图像弱小目标增强提取方法，在无人机影像输入检测网络之前对其进行特征点增强，增加目标的特征点数量，为后续的特征点提取和检测提供更多的可能性和机会。基于这一思想，如图1所示，本发明建立的无人机弱小目标检测框架综合了小目标特征增强、前景显著性强化和目标检测几个模块。其中目标检测模块基于现有的YOLOv3算法实现，下面着重描述特征增强和显著性强化的技术方案。

请见图1，本发明提供的一种无人机图像弱小目标增强提取方法，包括以下步骤：

步骤1：输入无人机图像弱小目标图像；

步骤2：建立恒等分辨率特征增强网络，增强目标的特征点；

现有的超分辨率重建方法通过增加影像空间分辨率将待检测的小目标放大到高分辨率空间。虽然这种方式可以丰富目标的特征点数量，但同时增加了待检测影像的空间分辨率，导致后续检测任务的计算复杂度成倍增加，限制了整个模型的检测效率。

本发明提出的恒等分辨率特征增强网络，基于现有的超分辨率重建网络实现，但在分辨率被扩大之前，提取网络最后一个隐藏层的特征，作为增强结果。这种方式不仅可以确保拥有同等丰富的特征点信息，同时因为不改变待检测影像的分辨率，没有给后续的处理带来额外的计算复杂度。

具体地，给定输入的无人机图像y，首先通过一个预训练的超分辨率网络F_SR(·)对输入图像y进行处理，但是不同于现有的检测网络，这里获取的是重建操作之前最后一个隐藏层的特征映射，该过程表示为：

y^*＝F_n-1(y)

其中，y和y^*表示原始的无人机影像数据和特征强化后的无人机影像数据，F_n-1(·)是超分辨率重建网络F_SR(·)的最后一个隐藏层的特征提取操作。

图2示意了部分无人机影像特征增强的结果。可以看出，增强后图像的空间分辨率不变，但表现出更丰富的目标特征信息，从而有利于后续的目标提取。

步骤3：建立注意力网络，提高弱小目标的视觉显著性；

本实施例的注意力网络包括两个部分：主干分支和掩模分支。主干分支是一个深层的密集卷积神经网络，用于提取目标的特征映射；掩模分支用于学习一个0到1之间的权重矩阵，作用于主干分支的输出，用于分配计算资源。主干分支和掩模分支的输出进行矩阵相乘，再加上一个恒等连接，得到注意力模块的输出。

上述过程可以表示为：

H(x)＝(1+M(x))*F(x)

其中M(x)为[0，1]内取值的权重矩阵，与1相加表示恒等映射。F(x)表示主干分支输出的特征映射，结合掩膜分支输出的权重矩阵M(x)，可以使得输出特征图中重要的特征得到加强，而不重要的特征被抑制，从而引导网络重点关注潜在目标区域。

如图3所示，步骤3的具体实现包括以下子步骤：

步骤3.1：对于输入图像，通过由卷积运算和激活运算构成的卷积层提取图像特征；

步骤3.2：主干分支利用密集卷积神经网络进一步提取目标的特征映射F(x)；掩模分支利用Sigmoid函数将图像特征转换为[0，1]内取值的权重矩阵M(x)；

步骤3.3：将主干分支和掩模分支的输出相乘，再加上一个恒等连接，得到注意力模块的输出。该过程表示为：

H(x)＝(1+M(x))*F(x)

其中M(x)为[0，1]内取值的权重矩阵，与1相加表示恒等映射。F(x)表示主干分支输出的特征映射。

步骤4：基于YOLOv3算法实现目标检测，输出检测结果。

区别于近景拍摄，无人机巡航拍摄的视频影像中关键目标具有更低的空间分辨率和清晰度，因此在使用深度神经网络进行特征提取时，所提供的有效特征点极度有限，无法保证检测网络的精度，容易造成误检和漏检现象。为此，本发明通过目标特征增强技术，为后续目标检测提供高辨识度的结构和纹理特征信息。

图像超分辨率在提高图像空间分辨率的同时能够恢复更多的细节信息及轮廓特征，因此，超分辨率技术对于提高小目标的提取精度具有积极作用。为此，本发明首先引入超分辨率技术增强小目标的高频结构特征和纹理细节。计算机视觉中的注意力机制能够让系统忽略无关信息而关注重点信息，因此，进一步结合注意力机制提高小目标检测方法对复杂背景干扰的鲁棒性。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种无人机图像弱小目标增强提取方法，其特征在于，包括以下步骤：

步骤1：输入无人机图像弱小目标图像；

步骤2：建立恒等分辨率特征增强网络，增强目标的特征点；

步骤3：建立注意力网络，提高弱小目标的视觉显著性；

步骤4：基于YOLOv3算法实现目标检测，输出检测结果。

2.根据权利要求1所述的无人机图像弱小目标增强提取方法，其特征在于：步骤2中，所述恒等分辨率特征增强网络，是基于现有的超分辨率重建网络实现，但在分辨率被扩大之前，提取网络最后一个隐藏层的特征，作为增强结果。

3.根据权利要求1所述的无人机图像弱小目标增强提取方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：对于输入图像，通过由卷积运算和激活运算构成的卷积层提取图像特征；

步骤3.2：主干分支利用密集卷积神经网络进一步提取目标的特征映射F(x)；掩模分支利用Sigmoid函数将图像特征转换为[0,1]内取值的权重矩阵M(x)；

步骤3.3：将主干分支和掩模分支的输出相乘，再加上一个恒等连接，得到注意力模块的输出；该过程表示为：

H(x)＝(1+M(x))*F(x)；

其中M(x)为[0,1]内取值的权重矩阵，与1相加表示恒等映射；F(x)表示主干分支输出的特征映射。

Images