CN112699967A - 一种基于改进深度神经网络的远距离机场目标检测方法 - Google Patents

Abstract

本发明提出了一种基于改进深度神经网络的远距离机场目标检测方法。本发明构建机场跑道图像训练集，采用外接矩形边框标注该训练集中每幅图像的机场跑道区域，并标记其跑道状态，构建深度学习模型图像训练集；将机场跑道图像训练集中的跑道区域进行超分辨重建，得到扩充后深度学习模型图像训练集；根据darknet‑53网络构建深度神经网络模型，采用k‑means算法改进先验框，得到适合扩充后深度学习模型图像训练集的先验框，结合先验框构建深度神经网络模型的损失函数模型,将扩充后深度学习模型图像训练集作为训练集输入，通过优化训练得到优化后的深度神经网络模型。本发明能够准确实现机场目标的检测，具有较好的实时性和准确性，方便重新训练适应新的跑道场景。

Description

一种基于改进深度神经网络的远距离机场目标检测方法

技术领域

本发明属于机场目标检测领域，尤其涉及一种基于改进深度神经网络的远距离机场目标检测方法。

背景技术

机场是一类重要的战略目标，它的识别检测在实际应用中具有重要的意义，在军事领域，正确检测识别出军用机场就准确袭击敌方空军，摧毁跑道，造成机场毁伤，同时，也是我方能量补给、交通中转和停靠的地方；在民用领域，机场是重要的交通枢纽，飞机已成为人们出行的交通工具，跑道的准确识别能够确保飞机的安全降落，可以在不利因素下实现自主导航，提高航空系统和人员的安全性。因此，机场目标检测在飞机自动导航和准确着陆中具有重要意义。

传统的机场目标检测方法基于跑道线出发，利用军用机场的几何结构或民用机场的跑道平行线特征、灰度特征等来检测跑道。然而这些方法具有一定的局限性，其检测基于已经存在跑道图片，其跑道区域往往占据图片中心区域，并且跑道线明确，并不适用基于远距离的机场目标检测。

基于远距离的机场目标检测技术难点在于：

远距离机场目标数据集较少，使用简单的图像处理，直线检测方法来检测机场跑道不具备代表性；

基于远距离的机场目标图片背景复杂，跑道只占用图像的5％左右，不一定能够读取到机场跑道线，采用传统的基于跑道线的检测方法无法检测到机场目标。

发明内容

为了解决现有技术存在的问题，本发明新建了机场目标数据集，提供了一种基于改进深度神经网络的远距离机场目标检测方法。

本发明解决其技术问题所采用的技术方案是：提供一种基于改进深度神经网络的远距离机场目标检测方法，该方法包括以下步骤，

步骤1：构建机场跑道图像训练集，采用机场跑道外接矩形边框标注机场跑道图像训练集中每幅机场跑道图像的机场跑道区域，标记机场跑道图像训练集中每幅机场跑道图像的跑道状态，构建深度学习模型图像训练集；

步骤2：将机场跑道图像训练集中每幅机场跑道图像的机场跑道区域通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，得到扩充后深度学习模型图像训练集；

步骤3：结合扩充后深度学习模型图像训练集中外接矩形边框，采用k-means++算法改进外接矩形边框，得到适合扩充后深度学习模型图像训练集中每个样本对应的先验框；

步骤4：根据darknet-53网络构建深度神经网络模型，结合先验框构建深度神经网络模型的损失函数模型，将扩充后深度学习模型图像训练集作为训练集输入，通过优化训练得到优化后的深度神经网络模型。

作为优选，步骤1所述机场跑道图像训练集为：

{data_k(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}

其中，，data_k(x，y)表示机场跑道图像训练集中第k幅机场跑道图像的第x行第y列像素信息，K表示机场跑道图像训练集中机场跑道图像的数量，X为机场跑道图像训练集中机场跑道图像的行数，Y为机场跑道图像训练集中机场跑道图像的列数；

步骤1所述的机场跑道图像训练集中每幅机场跑道图像的机场跑道外接矩形边框为：

其中，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框左上角坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标；

表示机场跑道训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框右下角坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标；Nk表示机场跑道图像训练集中第k幅机场跑道图像中机场跑道目标的数量即机场跑道外接矩形边框的数量；

步骤1所述机场跑道图像训练集中每幅机场跑道图像的跑道状态为：

{type_k，n，s，k∈[1，K]，n∈[1，N_k]，s∈[1，2]}

其中，type_k，n，1表示机场跑道图像训练集中第k幅机场跑道图像第n个机场跑道外接矩形框内存在机场跑道，type_k，n，2表示机场跑道图像训练集中第k幅图像第n个机场跑道外接矩形框内不存在机场跑道。

步骤1所述深度学习模型图像训练集为：

k∈[1，K]，x∈[1，X]，y∈[1，Y]，n∈[1，N_k]，s∈[1，2]

其中，data_k(x，y)表示机场跑道的图像训练集中第k幅机场跑道图像第x行第y列像素信息，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标，type_k，n，s表示机场跑道的图像训练集中第k幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型；

作为优选，所述步骤2中，通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，包括以下步骤：

步骤2.1，在机场跑道图像训练集中随机选取部分训练集构建高分辨率网络训练集；对选取的训练集中的每幅机场跑道图像的机场跑道外接矩形边框进行裁剪，获得只包含机场跑道区域的目标图像，减少背景特征；

根据训练集中的矩形外接框的左上角

和右下角坐标

对训练集中的图像进行裁剪，另存为新的图像，裁剪前的图像依然保留；

在训练集中原图中裁剪的左上角坐标为：

右下角坐标为：

如果裁剪坐标范围超出原图边界，则取边界值，裁剪后的得到的图像大小为外接矩形框区域的2倍，保存为新的高分辨率网络训练集图像；

所述构建高分辨率网络训练集为：

{data_c(x，y)＝data_k(x，y)+data_t(x，y)，k∈[1，T]，t∈[1，T]，T∈[1，K]}

其中，data_c(x，y)为高分辨率网络训练集中第c幅机场跑道图像第x行第y列像素信息，{data_k(x，y)，k∈[1，T]}为机场跑道训练集中随机选取的部分数据集，data_t(x，y)为对随机数据集裁剪后的训练集中第t幅机场跑道图像第x行第y列像素信息，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标，type_t，n，s表示该训练集中第t幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，T为高分辨率网络训练集中图像数量，K为机场跑道训练集中图像数量。

对高分辨率网络训练集中每幅图像进行数据增强处理得到数据增强后高分辨率网络训练集为：

{data_c1(x，y)＝data_k1(x，y)+data_t1(x，y)，

k1∈[1，4T]，t1∈[1，4T]，T∈[1，K]}

其中，data_c1(x，y)为数据增强后高分辨率网络训练集中第c1幅机场跑道图像第x行第y列像素信息，4T为数据增强后高分辨率网络训练集中的图像数量；data_k1(x，y)为训练集{dara_k(x，y)，k∈[1，T]}数据集增强后第k1幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第k1幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第k1幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_k1，n，s表示该训练集中第k1幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，data_t1(x，y)为训练集data_t(x，y)数据集增强后第t1幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第t1幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第t1幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_t1，n，s表示该训练集中第t1幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，所述行数据增强处理为：

图像锐化处理、图像对比度增强、图像饱和度增强、滤除噪声；

步骤2.2，采用FSRCNN网络对高分辨率数据集进行训练，该网络包括特征提取、压缩、映射、扩展、去卷积五个部分，采用PRELU作为激活函数，均方误差MSE作为损失函数得到训练后FSRCNN网络；

所述FSRCNN网络的损失函数为：

其中，C是超分辨率网络训练样本总数，data′_c1为超分辨率训练网络中得到的第c1幅预测图像，data_c1为超分辨率训练网络中的第c1幅真实图像。

步骤2.3，输入深度学习模型图像训练集中的其它未被随机选取用于超分辨率网络训练集的机场跑道图像，

data_s＝data_k-data_t，s∈[T，K]，k∈[1，K]，t∈[1，T]

基于训练后FSRCNN网络进行超分辨率重建，得到扩充的机场跑道图像训练集；

data_i＝data_k+data_′s，k∈[1，K]，t∈[T，K]

其中，data′_s为data_s经过FSRCNN网络超分辨率重建后得到的图像。2K-T为用于深度学习模型图像训练集的总图像数，data_i(x，y)为总训练集第i幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第i幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第i幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_i，n.s表示该训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型；

作为优选，所述步骤3中，采用k-means++算法改进外接矩形边框，包括以下步骤：

步骤3.1，根据训练集中外接矩形边框的左上角坐标信息和右下角坐标信息，可以得到每个外接矩形边框的宽和高，将每一张图像的一个外接矩形边框的宽高数据视为一个数据点(w_i，n，h_i，n)，从输入的数据集合随机选择一个数据作为初始聚类中心(w_c，h_c)；

其中，w_i，n为总训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框的宽，h_i，n为总训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框的高。

步骤3.2，对于数据集中的每一个样本点(w_i，n，h_i，n)，计算它与初始聚类中心的距离(w_c，h_c)，具体为：

d(box，centroid)＝1-IOU(box，centroid)

IOU(box，centroid)为初始聚类中心和当前外接矩形边框的交并比，box表示随机样本点(w_i，n，h_i，n)，centroid表示初始化的聚类中心(w_c，h_c)；

其中，初始聚类中心和当前外接矩形边框并集的面积为：

其中，

和

为初始化的聚类中心(w_c，h_c)对应的该外接矩形框的左上角横坐标和左上角纵坐标。

初始聚类中心和当前外接矩形边框交集的面积为

S₂＝w_i×h_i+w_c×h_c-S₁

所以，IOU＝S₁/S₂

步骤3.3，选择一个新的数据点作为新的聚类中心，选择原则是，距离d(box，centroid)较大的点，被选取作为聚类中心的概率较大；

步骤3.4，重复步骤3.2和步骤3.3直至k个聚类中心被选出来，利用这k个初始的聚类中心来运行标准的k-means算法；

步骤3.5，从1开始选取k值，随着k增加到某个值时，对应此k值得平均交并比变化越来越小，在拐点附近取值作为最优聚类个数，生成适合本训练集的先验框；

作为优选，步骤4所述结合先验框构建深度神经网络模型的损失函数模型为：

改进深度神经网络模型的损失函数模型基于YOLO v3损失函数模型，由预测目标框bbox位置x，y，w，h带来的误差，目标框置信度obj误差和类别class误差三部分组成，损失函数公式如下：

其中，N×N表示将扩充后数据集data_i(x，y)中的每张图片划分为N×N的网格的大小，M表示每个小网格预测的目标框个数，带′的表示预测值，不带′的表示标签即真实值，(x_p，y_p)表示第p个小网格标记矩形框的中心坐标，w_p，x_p表示第p个小网格标记矩形框的长和宽，如果该网格中不存在标记的外接矩形框，即x_p，y_p不满足如下条件时：

x_p，y_p，w_p，h_p为0，

表示如果第p个小网格处的第q个预测的目标框存在目标，其值为1，否则为0，

表示如果第p个小网格处的第q个预测的目标框不存在目标，其值为1，否则为0，C_p表示第p个小网格的存在目标的概率，p_p(c)表示第p个小网格的存在目标属于机场跑道类别的概率。(x′_p，y′_p)表示第p个小网格预测的矩形框的中心坐标，w′_p，h′_p表示第p个小网格预测的矩形框的长和宽，C′_p表示第p个小网格的预测当前矩形框存在目标的概率，P′_p(c)表示第p个小网格的预测当前矩形框存在目标属于机场跑道类别的概率。

将扩充后的训练集data_i(x，y)送入改进的神经网络中训练，根据在步骤3中得到的先验框，由损失函数知，每个小网格会预测多个目标框，目标框与先验框形状大小类似，从而得到目标框与每个先验框的交并比，最大的交并比值对应的先验框负责预测真实目标，通过损失函数不断调整网络参数直至完成训练。

结合上述的所有技术方案，本发明所具备的优点是：本发明新建了机场目标数据集，并采用超分辨率网络扩充数据集，结合深度学习方法训练适合机场区域的深度神经网络模型，解决了远距离机场跑道识别检测的问题，能够准确实现机场目标的检测，具有较好的实时性和准确性，方便重新训练适应新的跑道场景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例基于改进深度神经网络的远距离机场目标检测方法流程图。

图2是本发明实例中提供的机场目标训练集统计结果。

图3是本发明实例中提供的机场目标训练集部分图片。

图4是本发明训练过程中损失函数的变化曲线图。

图5是本发明模型性能评价指标precision-recall曲线图。

图6是本发明实例中提供的方法检测得到的远距离机场目标图片。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，结合以下实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面结合图1至图6描述本发明的具体实施方式。

如图1所示，本发明实施例中，提供一种基于改进深度神经网络的远距离机场目标检测方法，包括以下步骤，

步骤1：构建机场跑道图像训练集，如图2所示，为构建机场跑道图像训练集的详细信息，采用机场跑道外接矩形边框标注机场跑道图像训练集中每幅机场跑道图像的机场跑道区域，标记机场跑道图像训练集中每幅机场跑道图像的跑道状态，构建深度学习模型图像训练集。

步骤1所述机场跑道图像训练集为：

{data_k(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}

其中，data_k(x，y)表示机场跑道图像训练集中第k幅机场跑道图像的第x行第y列像素信息，K＝2344表示机场跑道图像训练集中机场跑道图像的数量，X为机场跑道图像训练集中机场跑道图像的行数，Y为机场跑道图像训练集中机场跑道图像的列数；不同的机场跑道图像X，Y不同，此训练集中X，Y值有如下几种：

X＝1920，Y＝1080或X＝2160，Y＝1440

或X＝1280，Y＝720或X＝320，Y＝240或X＝352，Y＝240

步骤1所述的机场跑道图像训练集中每幅机场跑道图像的机场跑道外接矩形边框为：

其中，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框左上角坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标；

表示机场跑道训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框右下角坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标；Nk表示机场跑道图像训练集中第k幅机场跑道图像中机场跑道目标的数量即机场跑道外接矩形边框的数量；

步骤1所述机场跑道图像训练集中每幅机场跑道图像的跑道状态为：

{type_k，n，s，k∈[1，K]，n∈[1，N_k]，s∈[1，2]}

其中，type_k，n，1表示机场跑道图像训练集中第k幅机场跑道图像第n个机场跑道外接矩形框内存在机场跑道，type_k，n，2表示机场跑道图像训练集中第k幅图像第n个机场跑道外接矩形框内不存在机场跑道。

步骤1所述深度学习模型图像训练集为：

k∈[1，K]，x∈[1，X]，y∈[1，Y]，n∈[1，N_k]，s∈[1，2]

其中，data_k(x，y)表示机场跑道的图像训练集中第k幅机场跑道图像第x行第y列像素信息，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标，type_k，n，s表示机场跑道的图像训练集中第k幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型；

步骤2：将机场跑道图像训练集中每幅机场跑道图像的机场跑道区域通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，得到扩充后深度学习模型图像训练集，部分训练集图像如图3所示；

所述步骤2中，通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，包括以下步骤：

步骤2.1，在机场跑道图像训练集中随机选取部分训练集构建高分辨率网络训练集；对选取的训练集中的每幅机场跑道图像的机场跑道外接矩形边框进行裁剪，获得只包含机场跑道区域的目标图像，减少背景特征；

根据训练集中的矩形外接框的左上角

和右下角坐标

对训练集中的图像进行裁剪，另存为新的图像，裁剪前的图像依然保留；

在训练集中原图中裁剪的左上角坐标为：

右下角坐标为：

如果裁剪坐标范围超出原图边界，则取边界值，裁剪后的得到的图像大小为外接矩形框区域的2倍，保存为新的高分辨率网络训练集图像；

所述构建高分辨率网络训练集为：

{data_c(x，y)＝data_k(x，y)+data_t(x，y)，k∈[1，T]，t∈[1，T]，T∈[1，K]}

其中，data_c(x，y)为高分辨率网络训练集中第c幅机场跑道图像第x行第y列像素信息，{data_k(x，y)，k∈[1，T]}为机场跑道训练集中随机选取的部分数据集，data_t(x，y)为对随机数据集裁剪后的训练集中第t幅机场跑道图像第x行第y列像素信息，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标，type_t，n，s表示该训练集中第t幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，T＝400为高分辨率网络训练集中图像数量，K＝2344为机场跑道训练集中图像数量。

对高分辨率网络训练集中每幅图像进行数据增强处理得到数据增强后高分辨率网络训练集为：

{data_c1(x，y)＝data_k1(x，y)+data_t1(x，y)，

k1∈[1，4T]，t1∈[1，4T]，T∈[1，K]}

其中，data_c1(x，y)为数据增强后高分辨率网络训练集中第c1幅机场跑道图像第x行第y列像素信息，4T＝1600为数据增强后高分辨率网络训练集中的图像数量；data_k1(x，y)为训练集{data_k(x，y)，k∈[1，T]}数据集增强后第k1幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第k1幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第k1幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_k1，n，s表示该训练集中第k1幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，data_t1(x，y)为训练集data_t(x，y)数据集增强后第t1幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第t1幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第t1幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_t1，n，s表示该训练集中第t1幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，所述行数据增强处理为：

图像锐化处理、图像对比度增强、图像饱和度增强、滤除噪声；

步骤2.2，采用FSRCNN网络对高分辨率数据集进行训练，该网络包括特征提取、压缩、映射、扩展、去卷积五个部分，采用PRELU作为激活函数，均方误差MSE作为损失函数得到训练后FSRCNN网络；

所述FSRCNN网络的损失函数为：

其中，C＝1600是超分辨率网络训练样本总数，data′_c1为超分辨率训练网络中得到的第c1幅预测图像，data_c1为超分辨率训练网络中的第c1幅真实图像。

步骤2.3，输入深度学习模型图像训练集中的其它未被随机选取用于超分辨率网络训练集的机场跑道图像，

data_s＝data_k-data_t，s∈[T，K]，k∈[1，K]，t∈[1，T]

基于训练后FSRCNN网络进行超分辨率重建，得到扩充的机场跑道图像训练集；

data_i＝data_k+data′_s，k∈[1，K]，t∈[T，K]

其中，data′_s为data_s经过FSRCNN网络超分辨率重建后得到的图像。2K-T＝4288为用于深度学习模型图像训练集的总图像数，data_i(x，y)为总训练集第i幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第i幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第i幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_i，n.s表示该训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，

步骤3：结合扩充后深度学习模型图像训练集中外接矩形边框，采用k-means++算法改进外接矩形边框，得到适合扩充后深度学习模型图像训练集中每个样本对应的先验框；

按上述技术方案，所述步骤3中，采用k-means++算法改进外接矩形边框，包括以下步骤：

步骤3.1，根据训练集中外接矩形边框的左上角坐标信息和右下角坐标信息，可以得到每个外接矩形边框的宽和高，将每一张图像的一个外接矩形边框的宽高数据视为一个数据点(w_i，n，h_i，n)，从输入的数据集合随机选择一个数据作为初始聚类中心(w_c，h_c)；

其中，w_i，n为总训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框的宽，h_i，n为总训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框的高。

步骤3.2，对于数据集中的每一个样本点(w_i，n，h_i，n)，计算它与初始聚类中心的距离(w_c，h_c)，具体为：

d(box，centroid)＝1-IOU(box，centroid)

IOU(box，centroid)为初始聚类中心和当前外接矩形边框的交并比，box表示随机样本点(w_i，n，h_i，n)，centroid表示初始化的聚类中心(w_c，h_c)；

其中，初始聚类中心和当前外接矩形边框并集的面积为：

其中，

和

为初始化的聚类中心(wc，hc)对应的该外接矩形框的左上角横坐标和左上角纵坐标。

初始聚类中心和当前外接矩形边框交集的面积为

S₂＝w_i×h_i+w_c×h_c-S₁

所以，IOU＝S₁/S₂

步骤3.3，选择一个新的数据点作为新的聚类中心，选择原则是，距离d(box，centroid)较大的点，被选取作为聚类中心的概率较大；

步骤3.4，重复步骤3.2和步骤3.3直至k个聚类中心被选出来，利用这k个初始的聚类中心来运行标准的k-means算法；

步骤3.5，从1开始选取k值，随着k增加到某个值时，对应此k值得平均交并比变化越来越小，在拐点附近取值作为最优聚类个数，生成适合本训练集的先验框，生成的先验框个数为9个，各个先验框的长宽分别为[20，29]，[54，63]，[98，101]，[96，172]，[191，146]，[170，275]，[324，233]，[577，299]，[657，455]；

步骤4：根据darknet-53网络构建深度神经网络模型，结合先验框构建深度神经网络模型的损失函数模型，将扩充后深度学习模型图像训练集作为训练集输入，通过优化训练得到优化后的深度神经网络模型；

步骤4所述结合先验框构建深度神经网络模型的损失函数模型为：

改进深度神经网络模型的损失函数模型基于YOLO v3损失函数模型，由预测目标框bbox位置x，y，w，h带来的误差，目标框置信度obj误差和类别class误差三部分组成，损失函数公式如下：

其中，N×N表示将扩充后数据集data_i(x，y)中的每张图片划分为13×13，26×26，52×52的网格的大小，M＝3表示每个小网格预测的目标框个数，带′的表示预测值，不带′的表示标签即真实值，(x_p，y_p)表示第p个小网格标记矩形框的中心坐标，w_p，h_p表示第p个小网格标记矩形框的长和宽，如果该网格中不存在标记的外接矩形框，即x_p，y_p不满足如下条件时：

x_p，y_p，w_p，h_p为0，

表示如果第p个小网格处的第q个预测的目标框存在目标，其值为1，否则为0，

表示如果第p个小网格处的第q个预测的目标框不存在目标，其值为1，否则为0，C_p表示第p个小网格的存在目标的概率，p_p(c)表示第p个小网格的存在目标属于机场跑道类别的概率。(x′_p，y′_p)表示第p个小网格预测的矩形框的中心坐标，w′_p，h′_p表示第p个小网格预测的矩形框的长和宽，C′_p表示第p个小网格的预测当前矩形框存在目标的概率，P′_p(c)表示第p个小网格的预测当前矩形框存在目标属于机场跑道类别的概率。

将扩充后的训练集data_i(x，y)送入改进的神经网络中训练，根据在步骤3中得到的先验框，由损失函数知，每个小网格会预测多个目标框，目标框与先验框形状大小类似，从而得到目标框与每个先验框的交并比，最大的交并比值对应的先验框负责预测真实目标，通过损失函数不断调整网络参数直至完成训练。损失函数变换曲线图如图4所示。

步骤5：基于改进的深度神经网络对待检测机场跑道图像检测并保存。如图5所示为该改进模型性能评价指标曲线图。

基于改进深度神经网络检测待识别的远距离机场目标，用预训练后的网络模型对输入图片提取特征，送入到改进的深度神经网络模型中，模型内部会自动结合浅层和深层特征，通过多尺度检测模块进行预测，采用极大值抑制法去除冗余框，最终得到远距离机场跑道识别结果，并保存目标的坐标信息。如图6所示为检测某幅待识别机场跑道图像的结果图。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于改进深度神经网络的远距离机场目标检测方法，其特征在于，包括以下步骤：

步骤1：构建机场跑道图像训练集，采用机场跑道外接矩形边框标注机场跑道图像训练集中每幅机场跑道图像的机场跑道区域，标记机场跑道图像训练集中每幅机场跑道图像的跑道状态，构建深度学习模型图像训练集；

步骤2：将机场跑道图像训练集中每幅机场跑道图像的机场跑道区域通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，得到扩充后深度学习模型图像训练集；

步骤3：结合扩充后深度学习模型图像训练集中外接矩形边框，采用k-means++算法改进外接矩形边框，得到适合扩充后深度学习模型图像训练集中每个样本对应的先验框；

步骤4：根据darknet-53网络构建深度神经网络模型，结合先验框构建深度神经网络模型的损失函数模型，将扩充后深度学习模型图像训练集作为训练集输入，通过优化训练得到优化后的深度神经网络模型。

2.根据权利要求1所述的基于改进深度神经网络的远距离机场目标检测方法，其特征在于：

步骤1所述机场跑道图像训练集为：

{data_k(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}

其中，，data_k(x，y)表示机场跑道图像训练集中第k幅机场跑道图像的第x行第y列像素信息，K表示机场跑道图像训练集中机场跑道图像的数量，X为机场跑道图像训练集中机场跑道图像的行数，Y为机场跑道图像训练集中机场跑道图像的列数；

步骤1所述的机场跑道图像训练集中每幅机场跑道图像的机场跑道外接矩形边框为：

其中，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框左上角坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标；

表示机场跑道训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框右下角坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标；N_k表示机场跑道图像训练集中第k幅机场跑道图像中机场跑道目标的数量即机场跑道外接矩形边框的数量；

步骤1所述机场跑道图像训练集中每幅机场跑道图像的跑道状态为：

{type_k，n，s，k∈[1，K]，n∈[1，N_k]，s∈[1，2]}

其中，type_k，n，1表示机场跑道图像训练集中第k幅机场跑道图像第n个机场跑道外接矩形框内存在机场跑道，type_k，n，2表示机场跑道图像训练集中第k幅图像第n个机场跑道外接矩形框内不存在机场跑道；

步骤1所述深度学习模型图像训练集为：

其中，data_k(x，y)表示机场跑道的图像训练集中第k幅机场跑道图像第x行第y列像素信息，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示机场跑道图像训练集中第k幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标，type_k，n，s表示机场跑道的图像训练集中第k幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型。

3.根据权利要求1所述的基于改进深度神经网络的远距离机场目标检测方法，其特征在于：

所述步骤2中，通过超分辨率网络进行超分辨重建扩充深度学习模型图像训练集，包括以下步骤：

步骤2.1，在机场跑道图像训练集中随机选取部分训练集构建高分辨率网络训练集；对选取的训练集中的每幅机场跑道图像的机场跑道外接矩形边框进行裁剪，获得只包含机场跑道区域的目标图像，减少背景特征；

根据训练集中的矩形外接框的左上角

和右下角坐标

对训练集中的图像进行裁剪，另存为新的图像，裁剪前的图像依然保留；

在训练集中原图中裁剪的左上角坐标为：

右下角坐标为：

如果裁剪坐标范围超出原图边界，则取边界值，裁剪后的得到的图像大小为外接矩形框区域的2倍，保存为新的高分辨率网络训练集图像；

所述构建高分辨率网络训练集为：

{data_c(x，y)＝data_k(x，y)+data_t(x，y)，k∈[1，T]，t∈[1，T]，T∈[1，K]}

其中，data_c(x，y)为高分辨率网络训练集中第c幅机场跑道图像第x行第y列像素信息，{data_k(x，y)，k∈[1，T]}为机场跑道训练集中随机选取的部分数据集，data_t(x，y)为对随机数据集裁剪后的训练集中第t幅机场跑道图像第x行第y列像素信息，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的左上角纵坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标，

表示该训练集中第t幅机场跑道图像中第n个机场跑道外接矩形边框的右下角纵坐标，type_t，n，s表示该训练集中第t幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，T为高分辨率网络训练集中图像数量，K为机场跑道训练集中图像数量；

对高分辨率网络训练集中每幅图像进行数据增强处理得到数据增强后高分辨率网络训练集为：

{data_c1(x，y)＝data_k1(x，y)+data_t1(x，y)，

k1∈[1，4T]，t1∈[1，4T]，T∈[1，K]}

其中，data_c1(x，y)为数据增强后高分辨率网络训练集中第c1幅机场跑道图像第x行第y列像素信息，4T为数据增强后高分辨率网络训练集中的图像数量；data_k1(x，y)为训练集{data_k(x，y)，k∈[1，T]}数据集增强后第k1幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第k1幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第k1幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_k1，n，s表示该训练集中第k1幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，data_t1(x，y)为训练集data_t(x，y)数据集增强后第t1幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第t1幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第t1幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_t1，n，s表示该训练集中第t1幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型，所述行数据增强处理为：

图像锐化处理、图像对比度增强、图像饱和度增强、滤除噪声；

步骤2.2，采用FSRCNN网络对高分辨率数据集进行训练，该网络包括特征提取、压缩、映射、扩展、去卷积五个部分，采用PRELU作为激活函数，均方误差MSE作为损失函数得到训练后FSRCNN网络；

所述FSRCNN网络的损失函数为：

其中，C是超分辨率网络训练样本总数，data′_c1为超分辨率训练网络中得到的第c1幅预测图像，data_c1为超分辨率训练网络中的第c1幅真实图像；

步骤2.3，输入深度学习模型图像训练集中的其它未被随机选取用于超分辨率网络训练集的机场跑道图像，

data_s＝data_k-data_t，s∈[T，K]，k∈[1，K]，t∈[1，T]

基于训练后FSRCNN网络进行超分辨率重建，得到扩充的机场跑道图像训练集；

data_i＝data_k+data′_s，k∈[1，K]，t∈[T，K]

其中，data′_s为data_s经过FSRCNN网络超分辨率重建后得到的图像；2K-T为用于深度学习模型图像训练集的总图像数，data_i(x，y)为总训练集第i幅机场跑道图像第x行第y列像素信息，

和

表示该训练集中第i幅机场跑道图像中第n个机场跑道外接矩形边框的左上角横坐标和纵坐标，

和

表示该训练集中第i幅机场跑道图像中第n个机场跑道外接矩形边框的右下角横坐标和纵坐标，type_i，n.s表示该训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框中跑道的第s个状态类型。

4.根据权利要求1所述的基于改进深度神经网络的远距离机场目标检测方法，其特征在于：

所述步骤3中，采用k-means++算法改进外接矩形边框，包括以下步骤：

步骤3.1，根据训练集中外接矩形边框的左上角坐标信息和右下角坐标信息，可以得到每个外接矩形边框的宽和高，将每一张图像的一个外接矩形边框的宽高数据视为一个数据点(w_i，n，h_i，n)，从输入的数据集合随机选择一个数据作为初始聚类中心(w_c，h_c)；

其中，w_i，n为总训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框的宽，h_i，n为总训练集中第i幅机场跑道图像第n个机场跑道外接矩形边框的高；

步骤3.2，对于数据集中的每一个样本点(w_i，n，h_i，n)，计算它与初始聚类中心的距离(w_c，h_c)，具体为：

d(box，centroid)＝1-IOU(box，centroid)

IOU(box，centroid)为初始聚类中心和当前外接矩形边框的交并比，box表示随机样本点(w_i，n，h_i，n)，centroid表示初始化的聚类中心(w_c，h_c)；

其中，初始聚类中心和当前外接矩形边框并集的面积为：

其中，

和

为初始化的聚类中心(w_c，h_c)对应的该外接矩形框的左上角横坐标和左上角纵坐标；

初始聚类中心和当前外接矩形边框交集的面积为

S₂＝w_i×h_i+w_c×h_c-S₁

所以，IOU＝S₁/S₂

步骤3.3，选择一个新的数据点作为新的聚类中心，选择原则是，距离d(box，centroid)较大的点，被选取作为聚类中心的概率较大；

步骤3.4，重复步骤3.2和步骤3.3直至k个聚类中心被选出来，利用这k个初始的聚类中心来运行标准的k-means算法；

步骤3.5，从1开始选取k值，随着k增加到某个值时，对应此k值得平均交并比变化越来越小，在拐点附近取值作为最优聚类个数，生成适合本训练集的先验框。

5.根据权利要求1所述的基于改进深度神经网络的远距离机场目标检测方法，其特征在于：

步骤4所述结合先验框构建深度神经网络模型的损失函数模型为：

改进深度神经网络模型的损失函数模型基于YOLO v3损失函数模型，由预测目标框bbox位置x，y，w，h带来的误差，目标框置信度obj误差和类别class误差三部分组成，损失函数公式如下：

其中，N×N表示将扩充后数据集data_i(x，y)中的每张图片划分为N×N的网格的大小，M表示每个小网格预测的目标框个数，带′的表示预测值，不带′的表示标签即真实值，(x_p，y_p)表示第p个小网格标记矩形框的中心坐标，w_p，h_p表示第p个小网格标记矩形框的长和宽，如果该网格中不存在标记的外接矩形框，即x_p，y_p不满足如下条件时：

x_p，y_p，w_p，h_p为0，

表示如果第p个小网格处的第q个预测的目标框存在目标，其值为1，否则为0，

表示如果第p个小网格处的第q个预测的目标框不存在目标，其值为1，否则为0，C_p表示第p个小网格的存在目标的概率，p_p(c)表示第p个小网格的存在目标属于机场跑道类别的概率；(x′_p，y′_p)表示第p个小网格预测的矩形框的中心坐标，w′_p，h′_p表示第p个小网格预测的矩形框的长和宽，C′_p表示第p个小网格的预测当前矩形框存在目标的概率，P′_p(c)表示第p个小网格的预测当前矩形框存在目标属于机场跑道类别的概率；

将扩充后的训练集data_i(x，y)送入改进的神经网络中训练，根据在步骤3中得到的先验框，由损失函数知，每个小网格会预测多个目标框，目标框与先验框形状大小类似，从而得到目标框与每个先验框的交并比，最大的交并比值对应的先验框负责预测真实目标，通过损失函数不断调整网络参数直至完成训练。

Images