CN113052106B - 一种基于PSPNet网络的飞机起降跑道识别方法 - Google Patents

Abstract

本发明公开了一种基于PSPNet网络的飞机起降跑道识别方法，该方法采用残差网络ResNet与轻量级深层神经网络MobileNetV2作为主干特征提取网络加强特征提取，同时将原有的四层金字塔池化模块调整为五层，每个层级的尺度大小分别为9×9，6×6，3×3，2×2，1×1，利用有限的自制飞机起降地形图像进行训练，将飞机起降地形图像中的飞机起降跑道标识并进行提取。该方法将ResNet和MobileNetV2进行有效结合，相比现有技术提高了飞机起降跑道的检测精度。

Description

一种基于PSPNet网络的飞机起降跑道识别方法

技术领域

本发明涉及计算机视觉领域和模式识别领域技术领域，特别涉及一种基于PSPNet网络的飞机起降跑道识别方法。

背景技术

飞机起降地形识别中所运用的语义分割技术是计算机视觉领域和模式识别领域中的关键技术，也是环境感知领域的核心技术。语义分割能够结合物体检测和图像分类对环境整体感知。目前，语义分割技术广泛应用于自动无人驾驶、地表地质检测、人脸面部分割、医学检测识别等领域，近年来受到越来越多的关注。语义分割算法主要分为基于全卷积网络语义分割与基于上下文知识的语义分割，其中基于全卷积的语义分割是采用级联的卷积层和池化层，不断抽象图像中的特征，得到特征图(feature map)，最后通过转置卷积插值得到还原为原始大小的特征图，完成图像逐像素的语义分割；而基于上下文知识的语义分割是在CNN的处理过程中加入图像特征的全局信息，将图像特征作为序列输入，用以对全局上下文信息建模，改善语义分割结果。

随着深度学习的不断发展与应用，基于上下文知识的语义分割网络在地形识别应用中取得了很好的效果，相对于传统分割方法基于上下文知识的语义分割网络在分割准确率和精细度上有大幅提升，凭借着良好的分割效果，基于上下文知识的语义分割网络及一些优秀的神经网络逐渐应用于地形识别领域中，但是由于现有的神经网络通常采用一个主干网络来进行特征提取,识别准确性不是很高。

发明内容

针对现有技术存在的上述问题，本发明的要解决的技术问题是：如何提高对飞机起降跑道识别的准确性。

为解决上述技术问题，本发明采用如下技术方案：一种基于PSPNet网络的飞机起降

跑道识别方法，包括如下步骤：

S100：构建PSPNet网络:所述PSPNet网络根据对图像的处理流程依次包括如下部分：

包括两个主干特征提取网络,所述两个主干特征提取网络分别用于提取特征图；

包括两个加强特征提取模块,所述两个加强特征提取模块分别用于对主干特征提取网络提取的特征图进行进一步特征提取；

包括上采样模块，所述上采样模块用于还原原始图像分辨率；

包括尺寸统一模块，所述尺寸统一模块用于将两个加强特征提取模块提取的加强特征尺寸统一化处理；

包括数据串联模块，所述数据串联模块用于对经过尺寸统一模块处理后的两个加强特征进行串联；

包括卷积输出模块，所述卷积输出模块用于对数据串联模块处理后的数据进行卷积后输出；

S200：训练PSPNet网络，具体训练过程如下：

S210：构建训练数据集：

采集N张光学遥感数据图像，对N张光学遥感数据图像中选择部分能够满足飞机起降特定地形的图像进行放大、截取，并进行数据集标注，即标注飞机的起飞降落的跑道位置和区域大小，所有标注后的图像作为训练样本，所有训练样本构成训练数据集；

S220：初始化PSPNet网络中的参数；

S230：将训练集中的所有训练样本输入PSPNet网络中，对PSPNet网络进行训练；

S240：计算损失函数，计算训练样本输入PSPNet网络后的得到的预测结果与训练样本标签之间的交叉熵，即计算预测图像中围成飞机起飞降落跑道区域的所有像素点与训练样本中标注飞机起飞降落跑道的所有像素点之间的交叉熵；通过反复迭代训练，并自动调整学习率，当损失函数值不再下降时，得到最优的网络模型；

S300：待检测图像检测，将待检测图像输入训练好的PSPNet网络中进行预测，对预测出的像素点用红色填充，输出预测结果，所述的红色填充的所有像素点围成的区域即是飞机起飞降落的跑道区域。

作为改进，所述两个主干特征提取网络为采用残差网络ResNet与轻量级深层神经网络MobileNetV2；

所述采用残差网络ResNet与轻量级深层神经网络MobileNetV2分别对输入图像进行特征提取得到两张特征图。

作为改进，所述两个加强特征提取模块对所述两张特征图进行进一步特征提取，具体为：将由残差网络ResNet获取的特征图划分成2×2和1×1尺度大小的区域处理，将由轻量级深层神经网络MobileNetV2得到的特征图划分成9×9，6×6和3×3尺度大小的区域处理。

相对于现有技术，本发明至少具有如下优点：

1.本发明PSPNet就是一种典型引入上下文知识的语义分割网络。针对飞机起降地形识别中飞机起降跑道长度较长，其宽度随遥感采集图像距离变化，灰度分布相对均匀的特征，PSPNet语义分割网络能够得到较好的分割结果，拥有良好的场景识别能力。

2.本发明对现有的神经网络PSPNet进行改进，在生成初始特征图时使用残差网络ResNet与轻量级深层神经网络MobileNetV2两个主网络，充分结合两者的优势。ResNet可以解决CNN网络达到一定的深度后，分类性能差，收敛更缓慢，准确率降低的问题；MobileNetV2架构基于倒置残差结构(Inverted Residual Structure)，去除了残差机构主分支中的非线性变换，有效地保持了模型表现力，倒置残差主要用来增加图像特征的提取以提高精度。

附图说明

图1为自制数据集图片示例。

图2为使用labelme工具进行数据集标注图。

图3为图像预处理流程图。

图4为图像预处理结果图。

图5为本发明PSPNet网络结构图。

图6为本发明PSPNet网络与传统PSPNet网络预测性能指标的对比(ALL类)。

图7为本发明PSPNet网络与传统PSPNet网络预测性能指标的对比(Runway类)。

图8为本发明PSPNet网络与传统PSPNet网络分割结果的对比，其中(a)为传统PSPNet的分割效果图，(b)为本发明PSPNet的分割效果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

一种基于PSPNet网络的飞机起降跑道识别方法，包括如下步骤：

S100：构建PSPNet网络，参见图5所示:所述PSPNet网络根据对图像的处理流程依次包括如下部分：

包括两个主干特征提取网络，所述两个主干特征提取网络分别用于提取特征图；所述两个主干特征提取网络为采用残差网络ResNet与轻量级深层神经网络MobileNetV2；所述采用残差网络ResNet与轻量级深层神经网络MobileNetV2分别对输入图像进行特征提取得到两张特征图。

包括两个加强特征提取模块,所述两个加强特征提取模块分别用于对主干特征提取网络提取的特征图进行进一步特征提取；所述两个加强特征提取模块对所述两张特征图进行进一步特征提取，具体为：将由残差网络ResNet获取的特征图划分成2×2和1×1尺度大小的区域处理，将由轻量级深层神经网络MobileNetV2得到的特征图划分成9×9，6×6和3×3尺度大小的区域处理。

具体地，设经主干特征提取网络得到的特征层为90×90×480，对于9×9区域，需使平均池化步长stride＝90/9＝10，卷积核大小kernel_size＝90/9＝10；对于6×6区域，需使平均池化步长stride＝90/6＝15，卷积核大小kernel_size＝90/6＝15；对于3×3区域，需使平均池化步长stride＝90/3＝30，卷积核大小kernel_size＝90/3＝30；对于2×2区域，需使平均池化步长stride＝90/2＝45，卷积核大小kernel_size＝90/2＝45；对于1×1区域，需使平均池化步长stride＝90/1＝90，卷积核大小kernel_size＝90/1＝90，在进入最后的卷积层时，以两个主网络提取的特征图替换PSPNet网络中一个主网络所提取的特征图与PSPNet网络的金字塔池化模块输出的上采样结果组合后作为PSPNet网络的卷积层的输入。

包括上采样模块，所述上采样模块用于还原原始图像分辨率。

包括尺寸统一模块，所述尺寸统一模块用于将两个加强特征提取模块提取的加强特征尺寸统一化处理。

包括数据串联模块，所述数据串联模块用于对经过尺寸统一模块处理后的两个加强特征进行串联。

包括卷积输出模块，所述卷积输出模块用于对数据串联模块处理后的数据进行卷积后输出。

S200：训练PSPNet网络，具体训练过程如下：

S210：构建训练数据集：

采集N张光学遥感数据图像，对N张光学遥感数据图像中选择部分能够满足飞机起降特定地形的图像进行放大和截取，并采用labelme工具进行数据集标注，即标注飞机的起飞降落的跑道位置和区域大小，如图2所示，所有标注后的图像作为训练样本，所有训练样本构成训练数据集。训练样本是标注了飞机起飞降落的跑道的位置和区域大小的图像。

所述N张光学遥感数据图像采用DIOR、NUSWIDE、DOTA、RSOD、NWPU VHR-10、SIRI-WHU等光学遥感数据集作为基础数据集，包含机场跑道、房屋建筑、草地、田地、山地、沙地、泥地、水泥地、丛林、大海、高速路、马路等多类地形区域，参见图1。

为防止图像进行缩放时发生失真，影响网络准确率和精度，需要对图像进行预处理，包括图像边沿填充，使其长宽比为1:1，符合网络输入要求；同时对图像进行尺寸等比调整，使其符合网络输入的最优尺寸。图片预处理的流程如图3所示，图片预处理结果如图4所示。

S220：初始化PSPNet网络中的参数；

S230：将训练集中的所有训练样本输入PSPNet网络中，对PSPNet网络进行训练；

S240：计算损失函数，计算训练样本输入PSPNet网络后的得到的预测结果与训练样本标签之间的交叉熵，即计算预测图像中围成飞机起飞降落跑道区域的所有像素点与训练样本中标注飞机起飞降落跑道的所有像素点之间的交叉熵；通过反复迭代训练，自动调整学习率，当损失函数值不再下降时，得到最优的网络模型；

S300：待检测图像检测，将待检测图像输入训练好的PSPNet网络中进行预测，对预测出的像素点用红色填充，输出预测结果，所述的红色填充的所有像素点围成的区域即是飞机起飞降落的跑道区域。

为有效利用移动设备和嵌入式设备的计算资源并提高对高分辨率图像实时处理的速度，本发明引入了MobileNet。在本发明中，考虑到比普通的FCN减少了8-9倍计算资源消耗的MobileNetV2参数量相对较少且运算速度快，所以我们选择MobileNetV2作为PSPNet中的一个主干特征提取网络。但轻量级的MobileNetV2不可避免的会使PSPNet的分割精度略有下降，所以我们保留ResNet作为PSPNet中的另一个主干特征提取网络，它网络分类性能好，准确率高，在PSP模块中能够提高分割精度。ResNet和MobileNetV2共同作用，一方面提高了PSPNet的运算速度，另一方面尽可能地提高分割精度，满足分割任务低消耗，实时性和高精度的要求。

实验验证

本发明采用均交并比(Mean Intersection over Union，MIoU)、像素精度(PixelAccuracy，PA)和召回率(Recall)作为评价指标，衡量该语义分割网络的性能。首先，我们将通过混淆矩阵如表1所示，来计算均交并比(MIoU)和像素精度(PA)和召回率(Recall)。

表1.混淆矩阵

(1)均交并比(MIoU)

MIoU是语义分割网络的标准度量。为计算MIoU，首先需要先计算语义分割中每一类对象的交并比(IoU)，即每一类各自的真实值与预测值的交集与并集的比值。IoU公式如下:

MIoU是在语义分割网络中所有类别的IoU上取平均值。假定数据集中有k+1类对象(0,1...,k)，第0类通常表示背景，则MIoU公式如下：

(2)像素精度(PA)

PA是语义分割网络的度量单位，即标记正确的像素占总像素的百分比。PA的公式如下：

(3)召回率(Recall)

Recall是语义分割网络的度量单位，即预测值为1且真实值也为1的样本在真实值为1的所有样本中所占的比例。Recall的公式如下：

本发明采用自制测试集对训练好的PSPNet语义分割网络进行测试，得到的预测结果如图6和图7所示，可以看到不管是ALL类还是Runway类，使用本发明实施例的PSPNet语义分割网络的均交并比(Mean Intersection over Union，MIoU)、像素精度(PixelAccuracy，PA)和召回率(Recall)三种性能指标的值都比传统PSPNet训练时要高，说明改进的网络在性能上相对于传统PSPNet有一定的提升。在相同的训练与测试数据以及相同的训练参数情况下对数据集进行分割，将本方法中使用的神经网络分割效果与传统PSPNet分割效果进行对比与分析，如图8所示为两种方法下的分割结果，图中可以看出使用本发明实施例的PSPNet神经网络更有效地分割出了目标区域。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于PSPNet网络的飞机起降跑道识别方法，其特征在于，包括如下步骤：

S100：构建PSPNet网络:所述PSPNet网络根据对图像的处理流程依次包括如下部分：

包括两个主干特征提取网络,所述两个主干特征提取网络分别用于提取特征图；所述两个主干特征提取网络为采用残差网络ResNet与轻量级深层神经网络MobileNetV2；所述采用残差网络ResNet与轻量级深层神经网络MobileNetV2分别对输入图像进行特征提取得到两张特征图；

包括两个加强特征提取模块,所述两个加强特征提取模块分别用于对主干特征提取网络提取的特征图进行进一步特征提取；将由残差网络ResNet获取的特征图划分成2×2和1×1尺度大小的区域处理，将由轻量级深层神经网络MobileNetV2得到的特征图划分成9×9，6×6和3×3尺度大小的区域处理；

设经主干特征提取网络得到的特征层为90×90×480，对于9×9区域，需使平均池化步长stride＝90/9＝10，卷积核大小kernel_size＝90/9＝10；对于6×6区域，需使平均池化步长stride＝90/6＝15，卷积核大小kernel_size＝90/6＝15；对于3×3区域，需使平均池化步长stride＝90/3＝30，卷积核大小kernel_size＝90/3＝30；对于2×2区域，需使平均池化步长stride＝90/2＝45，卷积核大小kernel_size＝90/2＝45；对于1×1区域，需使平均池化步长stride＝90/1＝90，卷积核大小kernel_size＝90/1＝90，在进入最后的卷积层时，以两个主网络提取的特征图替换PSPNet网络中一个主网络所提取的特征图与PSPNet网络的金字塔池化模块输出的上采样结果组合后作为PSPNet网络的卷积层的输入；

包括上采样模块，所述上采样模块用于还原原始图像分辨率；

包括尺寸统一模块，所述尺寸统一模块用于将两个加强特征提取模块提取的加强特征尺寸统一化处理；

包括数据串联模块，所述数据串联模块用于对经过尺寸统一模块处理后的两个加强特征进行串联；

包括卷积输出模块，所述卷积输出模块用于对数据串联模块处理后的数据进行卷积后输出；

S200：训练PSPNet网络，具体训练过程如下：

S210：构建训练数据集：

采集N张光学遥感数据图像，对N张光学遥感数据图像中选择部分能够满足飞机起降特定地形的图像进行放大、截取，并进行数据集标注，即标注飞机的起飞降落的跑道位置和区域大小，所有标注后的图像作为训练样本，所有训练样本构成训练数据集；

S220：初始化PSPNet网络中的参数；

S230：将训练集中的所有训练样本输入PSPNet网络中，对PSPNet网络进行训练；

S240：计算损失函数，计算训练样本输入PSPNet网络后的得到的预测结果与训练样本标签之间的交叉熵，即计算预测图像中围成飞机起飞降落跑道区域的所有像素点与训练样本中标注飞机起飞降落跑道的所有像素点之间的交叉熵；通过反复迭代训练，并自动调整学习率，当损失函数值不再下降时，得到最优的网络模型；

S300：待检测图像检测，将待检测图像输入训练好的PSPNet网络中进行预测，对预测出的像素点用红色填充，输出预测结果，所述的红色填充的所有像素点围成的区域即是飞机起飞降落的跑道区域。

Images