CN114140683A - 一种航拍图像目标检测的方法、设备与介质 - Google Patents

Abstract

本发明公开了一种航拍图像目标检测方法，涉及图像处理技术领域，用于解决航拍图像目标物体检测精确度低和实时性差的问题，包括以下步骤：将航拍图像输入目标检测模型，经由特征提取网络，得到特征表达能力强的特征图，经由反卷积级联网络，充分结合浅层空间信息和深层语义信息得到分辨率高且细节特征丰富的热力图；将热力图中心点作为关键点与真实目标的中心点匹配并进行分类和回归预测，输出航拍图像中待检测目标的类别和边界框尺寸。本发明网络结构简单，参数少，运行速度快，能精准定位航拍图像中的小目标物体同时进行准确的边界框回归。

Description

一种航拍图像目标检测的方法、设备与介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种航拍图像目标检测的方法、设备与介质。

背景技术

随着自动化技术的发展，无人机被广泛应用于军事以及民用领域。利用无人机高空航拍进行目标检测为军事侦察、路面监控、目标跟踪，电路巡检等领域带来了极大的便利。

然而发明人经过研究发现航拍图像的背景信息丰富但是目标占比较小，目标特征被背景所掩盖，在检测时缺乏足够的空间轮廓信息和细节；同时航拍图像拍摄高度多变，同一目标在不同高度航拍图像中的尺度变化明显，导致目标检测的精确度差。

发明内容

为克服上述现有技术中的缺陷，本发明提供一种航拍图像目标检测的方法、设备和介质，以提高对航拍小目标物体检测的精确度和检测速度。

为达到上述目的，本发明采用如下技术方案：

本发明的第一方面提供了一种航拍图像目标检测方法，包括如下步骤：

获取待检测的第一图像，所述第一图像中包括目标类型区域，将所述第一图像输入已训练的目标检测模型；

利用所述目标检测模型，对所述第一图像进行特征提取，生成包含目标中心点特征信息的热力图；

利用所述热力图的中心点类型进行目标分类，结合中心点特征信息生成目标边界框，所述目标边界框中包括所述目标类型区域。

在一些实施例中，所述获取待检测的第一图像之前，所述方法还包括：将所述的目标检测模型进行有监督训练，获取预设数量的训练图像，每张训练图像标注目标类别和边界框；将所述预设数量的训练图像分成训练数据、验证数据与测试数据；利用所述训练数据通过聚类操作进行分类并交替训练，通过特定目标区域信息丢失进行数据增强，生成模型权重；利用所述验证数据进行目标模型可行性验证；利用所述测试数据进行目标检测模型的有效性测试。

在一些实施例中，所述目标检测模型包括特征提取网络与反卷积级联网络；所述利用所述目标检测模型，对所述第一图像进行特征提取，生成包含目标中心点特征信息的热力图包括：将所述第一图像输入所述特征提取网络获取特征图；将所述特征图输入到所述反卷积级联网络得到特征像素级分布的热力图。

其中，所述特征提取网络包括：卷积层、池化层、残差模块、空洞卷积模块；所述反卷积级联网络包括：反卷积模块、注意力模块、级联模块；所述将所述第一图像输入所述特征提取网络获取特征图包括：所述卷积层包括三个3×3的小尺寸卷积核；所述池化层为最大值池化；所述残差模块由七个输入和输出之间进行级联的残差单元构成；所述空洞卷积模块以不同空洞率的卷积核提取多尺度信息，再将不同尺度信息级联经过一个卷积层输出所述特征图；所述将所述特征图输入到所述反卷积级联网络得到特征像素级分布的热力图包括：所述反卷积模块在进行反卷积操作前先通过注意力机制进行空间和通道方面的加权；所述级联模块包括将残差模块的特征经过注意力模块输出得到的特征图与反卷积模块输出的特征图进行同分辨率级联，输出所述特征像素级分布的热力图。

其中，所述热力图携带的信息为预测目标中心点类别和热力图中心点坐标信息、目标尺寸信息、中心点离散偏移误差信息和自适应二值化阈值信息。

在一些实施例中，所述利用所述热力图的中心点类型进行目标分类，结合中心点特征信息生成目标边界框包括：在训练过程中将所述热力图与真实目标进行映射匹配，再根据匹配程度进行分类，得到预测目标的种类信息；将所述热力图中心点坐标信息、所述自适应二值化阈值信息、所述目标尺寸信息、所述中心点离散偏移误差信息相结合进行边界框预测，生成所述目标边界框。

其中，所述在训练过程中将所述热力图与真实目标进行映射匹配，再根据匹配程度进行分类，得到预测目标的种类信息包括：将真实标注的目标中心点坐标信息通过高斯核函数映射到预测的热力图上作为目标的关键点，若所述热力图上关键点坐标信息与真实信息相匹配，则所述种类信息与所述真实信息相同，若所述热力图上关键点坐标信息与真实信息不匹配则所述种类信息为背景信息。

其中，将所述热力图中心点坐标信息、所述自适应二值化阈值信息、所述目标尺寸信息、所述中心点离散偏移误差信息相结合进行边界框预测，生成所述目标边界框包括：将分类后的热力图中心点坐标(x′，y′)加上中心点离散偏移误差

后的值

作为目标关键点中心位置的预测坐标(x，y)；结合目标宽高尺寸信息(w，h)输出目标边界框信息(x-w/2，x+w/2，y-h/2，y+h/2)；通过二值化阈值筛选后输出最终预测的所述目标边界框。

本发明第二方面提出了一种航拍图像目标检测终端设备，包括处理器、存储器以及计算机程序，计算机程序储存在存储器上并在处理器上运行，执行上述第一方面任一项所述的航拍图像目标检测方法。

本发明第三方面提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储代码程序，所述代码程序用于执行上述第一方面任一项所述的航拍图像目标检测方法。

本发明的有益效果如下：

本发明实施例提供的一种航拍图像目标检测方法、设备及介质，能够有效识别无人机航拍图像中的目标类别和位置信息，所构建的目标检测网络模型能够有效提取目标特征的浅层空间信息以及深层语义信息，并保留航拍图像小目标物体的细节特征，输出热力图分辨率高，同时网络结构简单，运行速度较快，通过热力图中心点作为关键点进行分类预测和边界回归的方法与现有的通过锚框进行分类的方法相比，参数量少，同时摆脱了人工预设锚框尺寸数量等对目标回归精度的影响，降低了误检率和漏检率，提升了目标检测的精确度和实时性，能够有效部署在无人机等嵌入式移动设备中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种航拍图像目标检测方法流程图；

图2为本发明实施例提供的整体目标检测网络模型的结构示意图；

图3为本发明实施例提供的特征提取网络的单元结构图；

图4为本发明实施例提供的反卷积级联网络的单元结构图；

图5为本发明实施例提供的热力图分类预测以及边界回归的流程图；

图6为本发明实施例提供的航拍图像目标检测终端设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

现阶段，利用无人机高空航拍进行目标检测为军事侦察、路面监控、目标跟踪，电路巡检等领域带来了极大的便利，然而航拍图像背景信息复杂且小目标占比丰富，导致目前的航拍图像目标检测方法无法准确匹配目标类别和位置，导致误检和漏检发生；同时航拍图像目标检测方法一般应用于无人机等计算能力较弱的移动嵌入式设备，对检测性能和运行速度有较高要求。

为解决上述问题，本发明的实施例提供了一种航拍图像目标检测方法。

图1示出了本发明实施例提供的一种航拍图像目标检测方法流程图，该方法包括以下步骤：

步骤101：获取待检测的第一图像，所述第一图像中包括目标类型区域，将所述第一图像输入已训练的目标检测模型。

步骤102：利用所述目标检测模型，对所述第一图像进行特征提取，生成包含目标中心点特征信息的热力图。

步骤103：利用所述热力图的中心点类型进行目标分类，结合中心点特征信息生成目标边界框，所述目标边界框中包括所述目标类型区域。

具体的，在步骤101前，还包括：将所述的目标检测模型进行有监督训练，获取预设数量的训练图像，每张训练图像标注目标类别和边界框，再将预设数量的训练图像分成训练数据、验证数据与测试数据，利用所述训练数据通过聚类操作进行分类并交替训练，同时通过特定目标区域信息丢失的方式进行数据增强，生成模型权重，利用所述验证数据进行目标模型可行性验证，利用所述测试数据进行目标检测模型的有效性测试。

其中，预设数量为2000、4000、9000或者其他数值。

需要说明的是，特定目标区域信息丢失的数据增强的方式包括通过生成与原图相同分辨率的掩膜与原图相乘，使原图均匀删除了部分正方形区域，考虑到航拍图像中目标占比较小，所以在实际做数据增强的过程中会检查遮挡格点与目标的交并比并进行修正，确保遮挡面积不超过目标的10％。同时通过实验和对航拍实际情况的分析，航拍结果通常受到阳光，天气等因素的影响，图片会出现色相和明度的畸变，所以在对遮挡格点不采取全黑的处理，而是在通道均值上下随机震荡，在达到数据增强目的的同时尽量不破坏原始图片的像素值分布。在多尺度训练中，通过聚类的方法将待检测目标分为大中小三个级别。尽管在此数据集中待检测目标相对较小，但仍然有所区分，同一类型的目标，由于航拍高度的不同目标的尺度会有较大的差别。采取不定尺度拼接的思路进行数据增强，并在每一次迭代中进行统计，如果当前小目标数据产生的损失小于一个自适应阈值，则在下一个批次中的数据进行组合。具体方法为选择四张输入图片，对每张图随机选则其面积5％至10％的可裁剪区域进行裁剪，然后为四张裁剪后的图片生成随机比例并进行拼接。这样可以在训练过程中以数据增强的方式增加小目标的损失，以防止在训练过程中模型被中等目标影响梯度。同时由于不定尺寸拼接的组合图具有足够的随机性，能够更好地防止过拟合，可以训练更长的轮数。

具体的，在步骤102中还包括：所述目标检测模型，包括特征提取网络与反卷积级联网络；将所述第一图像输入所述特征提取网络获取特征图；将所述特征图输入到所述反卷积级联网络得到特征像素级分布的热力图。

图2示出了本发明实施例提供的整体目标检测网络的结构示意图，所述特征提取网络包括：卷积层、池化层、残差模块、空洞卷积模块；所述反卷积级联网络包括：反卷积模块、注意力模块、级联模块。

需要说明的是，在本发明实施例中输入图像尺寸为512×512、3通道，所述卷积层由三个3×3的小卷积核构成，输出尺寸为256×256、通道数为64，在感受野上等同于一个7×7的卷积核，同时减少了参数量，增强非线性表达能力增强浅层卷积滤波器的细粒度和小目标图像特征提取能力，池化层采取最大值池化。

结合图3，所述特征提取网络中残差模块由两个残差层组成，其中第一个残差层包含三个基本残差单元；第二个残差层包含四个基本残差单元；经过两个残差层，输出尺寸变为128×128、512通道数。其中基本残差单元的输入端与经过卷积操作和批标准化操作后的输出进行跳跃连接，充分融合了浅层信息，一定程度上缓解了梯度弥散问题。特征提取网络中空洞卷积模块由多个不同扩张率的卷积构成，其中在普通3×3的卷积核基础上，通过在周围增加权重为0的空洞点，来扩大卷积核的感受野，可以理解为局部下采样的过程；特征图经由空洞卷积模块后尺寸变为64×64、通道数为2560，再经过一个卷积层输出所述特征图。相较于传统的目标检测而言(通常会进行16倍下采样，并在多尺特征图上进行预测，再通过非极大值抑制等后处理)，改进后的网络减少了下采样的倍数，使用更大分辨率的特征图进行输出，从根本上缓解了下采样所带来的空间信息损失问题，保存了更多空间信息，更有利于对小目标的检测。

结合图4，所述反卷积级联网络中反卷积模块首先通过注意力机制为特征图在空间和通道两个维度加上权重，再进行反卷积操作，来提高特征图的分辨率，更好地进行像素级的分类回归，此时输出特征图尺寸为128×128、256通道数。同时将第一个残差层经过注意力机制后的输出特征图与反卷积模块输出的特征图进行同分辨率级联，改善了上采样过程中细节信息丢失的问题，将浅层空间轮廓信息与深层语义信息充分结合，使得输出特征图的信息表达能力增强，得到尺寸为128×128、通道数为512的输出特征图；再送入四个1×1的卷积层得到特征像素级分布的热力图。

需要说明的是，所述热力图分别预测目标中心点位置信息、自适应二值化阈值信息、目标尺寸信息、中心点离散偏移误差；热力图尺寸为128×128，其中中心点位置预测的通道数等同于预设目标的类别，在本实例中共计10类目标和1类背景；自适应二值化信息的通道数等同于目标类别；目标尺寸信息和中心点离散偏移误差均为两通道。

具体的，在步骤103中，还包括：在训练过程中将所述热力图与真实目标进行映射匹配，再根据匹配程度进行分类，得到预测目标的种类信息；将所述热力图中心点坐标信息、所述自适应二值化阈值信息、所述目标尺寸信息、所述中心点离散偏移误差信息相结合进行边界框预测，生成所述目标边界框。

图5示出了本发明实施例提供的热力图分类预测以及边界回归的流程图。

需要说明的是，将真实标注的目标中心点坐标信息通过高斯核函数映射到预测的热力图上作为目标的关键点；若所述热力图上关键点坐标信息与真实信息相匹配，则所述种类信息与所述真实信息相同，若所述热力图上关键点坐标信息与真实信息不匹配则所述种类信息为背景信息。将热力图上所有的响应点与其连接的8个临近点进行比较，如果该点的响应值大于或等于临近点的值则保留作为热力图的峰值点并保留100个最高的峰值点作为初步预测的中心点也是关键点。

需要说明的是，在一些实施例中，热力图预测输出的损失函数包括四个部分，第一个部分为中心点位置预测损失，其中引入了Focal Loss函数，降低高置信度样本的损失，优化了样本类别不平衡以及样本分类难度不平衡问题，输出为初步预测的目标中心点位置(x，y)；第二个部分为偏移量预测损失，图像经过反卷积，中心点位置因为离散产生了相应的误差，因此额外引入偏移量预测损失，输出中心点位置的偏移误差

第三部分为边界尺寸预测损失，为了减轻运算负担，在每个中心点使用单一的尺寸预测损失，输出边界宽高信息(w，h)；第四部分为自适应二值化阈值信息预测损失，其中根据上述三部分损失预测输出，可以得到初步的目标边界框信息，即目标的中心点坐标和边界框的宽高信息；目标边界框最后输出是通过二值化阈值进行选择的，通常根据经验设置和网格搜索得出，不同阈值对性能影响较大，而且不同目标需要不同阈值，对每一个像素点进行自适应二值化，通过可微分的二值化函数，二值化阈值由网络学习得到，彻底将二值化这一步骤加入到网络里一起训练。

需要说明的是，将分类后的热力图中心点坐标(x′，y′)加上中心点离散偏移误差

后的值

作为目标关键点中心位置的预测坐标(x，y)；结合目标宽高尺寸信息(w，h)输出目标边界框(x-w/2，x+w/2，y-h/2，y+h/2)；二值化阈值信息通过可微分的二值化函数对峰值图进行特殊激活，用于对边界框进行重构；通过二值化阈值筛选后输出最终预测的所述目标边界框。

综上所述，本发明所述技术方案的原理清晰、设计结构简洁，具体利用了所涉及的目标检测模型中特征提取网络和反卷积级联网络提取特征表达能力强的热力图，并通过热力图目标中心点像素信息来判别种类并进行边界框回归，针对航拍图像目标检测，准确度高且实时性强。

本发明的实施例还提供了一种航拍图像目标检测的终端设备，包括处理器、存储器以及计算机程序。

图6示出了本发明实施例提供的航拍图像目标检测终端设备的结构示意图。计算机程序储存在存储器上并在处理器上运行，执行上述方法实施例的航拍图像目标检测方法。

本发明的实施例另提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储代码程序，所述代码程序用于执行上述方法实施例的航拍图像目标检测方法。

以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种航拍图像目标检测方法，其特征在于，包括：

获取待检测的第一图像，所述第一图像中包括目标类型区域，将所述第一图像输入已训练的目标检测模型；

利用所述目标检测模型，对所述第一图像进行特征提取，生成包含目标中心点特征信息的热力图；

利用所述热力图的中心点类型进行目标分类，结合中心点特征信息生成目标边界框，所述目标边界框中包括所述目标类型区域。

2.根据权利要求1所述的航拍图像目标检测方法，其特征在于，所述获取待检测的第一图像之前，所述方法还包括：

将所述的目标检测模型进行有监督训练，获取预设数量的训练图像，每张训练图像标注目标类别和边界框；

将所述预设数量的训练图像分成训练数据、验证数据与测试数据；

利用所述训练数据通过聚类操作进行分类并交替训练，通过特定目标区域信息丢失进行数据增强，生成模型权重；

利用所述验证数据进行所述目标检测模型可行性验证；

利用所述测试数据进行所述目标检测模型的有效性测试。

3.根据权利要求1所述的航拍图像目标检测方法，其特征在于，所述目标检测模型包括特征提取网络与反卷积级联网络；

所述利用所述目标检测模型，对所述第一图像进行特征提取，生成包含目标中心点特征信息的热力图，包括：

将所述第一图像输入所述特征提取网络获取特征图；

将所述特征图输入到所述反卷积级联网络得到特征像素级分布的热力图。

4.根据权利要求3所述的航拍图像目标检测方法，其特征在于，所述特征提取网络包括：卷积层、池化层、残差模块、空洞卷积模块；

所述反卷积级联网络包括：反卷积模块、注意力模块、级联模块；

所述将所述第一图像输入所述特征提取网络获取特征图，包括：

所述卷积层包括三个3×3的小尺寸卷积核，所述池化层为最大值池化，所述残差模块由七个输入和输出之间进行级联的残差单元构成，所述空洞卷积模块以不同空洞率的卷积核提取多尺度信息，再将不同尺度信息级联经过一个卷积层输出所述特征图；

所述将所述特征图输入到所述反卷积级联网络得到特征像素级分布的热力图，包括：

所述反卷积模块在进行反卷积操作前先通过注意力机制进行空间和通道方面的加权，所述级联模块包括将残差模块的特征经过注意力模块输出得到的特征图与反卷积模块输出的特征图进行同分辨率级联，输出所述特征像素级分布的热力图。

5.根据权利要求3所述的航拍图像目标检测方法，其特征在于，

所述热力图携带的信息为预测目标中心点类别和热力图中心点坐标信息、目标尺寸信息、中心点离散偏移误差信息和自适应二值化阈值信息。

6.根据权利要求5所述的航拍图像目标检测方法，其特征在于，所述利用所述热力图的中心点类型进行目标分类，结合中心点特征信息生成目标边界框，包括：

在训练过程中将所述热力图与真实目标进行映射匹配，再根据匹配程度进行分类，得到预测目标的种类信息；

将所述热力图中心点坐标信息、所述自适应二值化阈值信息、所述目标尺寸信息、所述中心点离散偏移误差信息相结合进行边界框预测，生成所述目标边界框。

7.根据权利要求6所述的航拍图像目标检测方法，其特征在于，所述在训练过程中将所述热力图与真实目标进行映射匹配，再根据匹配程度进行分类，得到预测目标的种类信息，包括：

将真实标注的目标中心点坐标信息通过高斯核函数映射到预测的热力图上作为目标的关键点；

若所述热力图上关键点坐标信息与真实信息相匹配，则所述种类信息与所述真实信息相同，若所述热力图上关键点坐标信息与真实信息不匹配则所述种类信息为背景信息。

8.根据权利要求6所述的航拍图像目标检测方法，其特征在于，将所述热力图中心点坐标信息、所述自适应二值化阈值信息、所述目标尺寸信息、所述中心点离散偏移误差信息相结合进行边界框预测，生成所述目标边界框，包括：

将分类后的热力图中心点坐标(x′，y′)加上中心点离散偏移误差

后的值

作为目标关键点中心位置的预测坐标(x，y)；

结合目标宽高尺寸信息(w，h)输出目标边界框信息(x-w/2，x+w/2，y-h/2，y+h/2)；

通过二值化阈值筛选后输出最终预测的所述目标边界框。

9.一种终端设备，包括处理器、存储器以及计算机程序，其特征在于计算机程序储存在存储器上并在处理器上运行，实现权力1-8中任一项所述的航拍图像目标检测方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储代码程序，所述代码程序执行权力1-8中任一项所述的航拍图像目标检测方法。

Images