CN113052106A - 一种基于PSPNet网络的飞机起降跑道识别方法 - Google Patents
一种基于PSPNet网络的飞机起降跑道识别方法 Download PDFInfo
- Publication number
- CN113052106A CN113052106A CN202110353929.2A CN202110353929A CN113052106A CN 113052106 A CN113052106 A CN 113052106A CN 202110353929 A CN202110353929 A CN 202110353929A CN 113052106 A CN113052106 A CN 113052106A
- Authority
- CN
- China
- Prior art keywords
- network
- pspnet
- airplane
- module
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 35
- 230000000694 effects Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于PSPNet网络的飞机起降跑道识别方法，该方法采用残差网络ResNet与轻量级深层神经网络MobileNetV2作为主干特征提取网络加强特征提取，同时将原有的四层金字塔池化模块调整为五层，每个层级的尺度大小分别为9×9，6×6，3×3，2×2，1×1，利用有限的自制飞机起降地形图像进行训练，将飞机起降地形图像中的飞机起降跑道标识并进行提取。该方法将ResNet和MobileNetV2进行有效结合，相比现有技术提高了飞机起降跑道的检测精度。
Description
技术领域
本发明涉及计算机视觉领域和模式识别领域技术领域，特别涉及一种基于PSPNet网络的飞机起降跑道识别方法。
背景技术
飞机起降地形识别中所运用的语义分割技术是计算机视觉领域和模式识别领域中的关键技术，也是环境感知领域的核心技术。语义分割能够结合物体检测和图像分类对环境整体感知。目前，语义分割技术广泛应用于自动无人驾驶、地表地质检测、人脸面部分割、医学检测识别等领域，近年来受到越来越多的关注。语义分割算法主要分为基于全卷积网络语义分割与基于上下文知识的语义分割，其中基于全卷积的语义分割是采用级联的卷积层和池化层，不断抽象图像中的特征，得到特征图(feature map)，最后通过转置卷积插值得到还原为原始大小的特征图，完成图像逐像素的语义分割；而基于上下文知识的语义分割是在CNN的处理过程中加入图像特征的全局信息，将图像特征作为序列输入，用以对全局上下文信息建模，改善语义分割结果。
随着深度学习的不断发展与应用，基于上下文知识的语义分割网络在地形识别应用中取得了很好的效果，相对于传统分割方法基于上下文知识的语义分割网络在分割准确率和精细度上有大幅提升，凭借着良好的分割效果，基于上下文知识的语义分割网络及一些优秀的神经网络逐渐应用于地形识别领域中，但是由于现有的神经网络通常采用一个主干网络来进行特征提取,识别准确性不是很高。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：如何提高对飞机起降跑道识别的准确性。
为解决上述技术问题，本发明采用如下技术方案：一种基于PSPNet网络的飞机起降跑道
识别方法，包括如下步骤：
S100：构建PSPNet网络:所述PSPNet网络根据对图像的处理流程依次包括如下部分：
包括两个主干特征提取网络,所述两个主干特征提取网络分别用于提取特征图；
包括两个加强特征提取模块,所述两个加强特征提取模块分别用于对主干特征提取网络提取的特征图进行进一步特征提取；
包括上采样模块，所述上采样模块用于还原原始图像分辨率；
包括尺寸统一模块，所述堆叠模块用于将两个加强特征提取模块提取的加强特征尺寸统一化处理；
包括数据串联模块，所述数据串联模块用于对经过尺寸统一模块处理后的两个加强特征进行串联；
包括卷积输出模块，所述卷积输出模块用于对数据串联模块处理后的数据进行卷积后输出；
S200：训练PSPNet网络，具体训练过程如下：
S210：构建训练数据集：
采集N张光学遥感数据图像，对N张光学遥感数据图像中选择部分能够满足飞机起降特定地形的图像进行放大、截取，并进行数据集标注，即标注飞机的起飞降落的跑道位置和区域大小，所有标注后的图像作为训练样本，所有训练样本构成训练数据集；
S220：初始化PSPNet网络中的参数；
S230：将训练集中的所有训练样本输入PSPNet网络中，对PSPNet网络进行训练；
S240：计算损失函数，计算训练样本输入PSPNet网络后的得到的预测结果与训练样本标签之间的交叉熵，即计算预测图像中围成飞机起飞降落跑道区域的所有像素点与训练样本中标注飞机起飞降落跑道的所有像素点之间的交叉熵；通过反复迭代训练，并自动调整学习率，当损失函数值不再下降时，得到最优的网络模型；S300：待检测图像检测，将待检测图像输入训练好的PSPNet网络中进行预测，对预测出的像素点用红色填充，输出预测结果，所述的红色填充的所有像素点围成的区域即是飞机起飞降落的跑道区域。
作为改进，所述两个主干特征提取网络为采用残差网络ResNet与轻量级深层神经网络MobileNetV2；
所述采用残差网络ResNet与轻量级深层神经网络MobileNetV2分别对输入图像进行特征提取得到两张特征图。
作为改进，所述两个加强特征提取模块对所述两张特征图进行进一步特征提取，具体为：将由残差网络ResNet获取的特征图划分成2×2和1×1尺度大小的区域处理，将由轻量级深层神经网络MobileNetV2得到的特征图划分成9×9，6×6和3×3尺度大小的区域处理。
相对于现有技术，本发明至少具有如下优点：
1.本发明PSPNet就是一种典型引入上下文知识的语义分割网络。针对飞机起降地形识别中飞机起降跑道长度较长，其宽度随遥感采集图像距离变化，灰度分布相对均匀的特征，PSPNet语义分割网络能够得到较好的分割结果，拥有良好的场景识别能力。
2.本发明对现有的神经网络PSPNet进行改进，在生成初始特征图时使用残差网络ResNet与轻量级深层神经网络MobileNetV2两个主网络，充分结合两者的优势。ResNet可以解决CNN网络达到一定的深度后，分类性能差，收敛更缓慢，准确率降低的问题；MobileNetV2架构基于倒置残差结构(Inverted Residual Structure)，去除了残差机构主分支中的非线性变换，有效地保持了模型表现力，倒置残差主要用来增加图像特征的提取以提高精度。
附图说明
图1为自制数据集图片示例。
图2为使用labelme工具进行数据集标注图。
图3为图像预处理流程图。
图4为图像预处理结果图。
图5为本发明PSPNet网络结构图。
图6为本发明PSPNet网络与传统PSPNet网络预测性能指标的对比(ALL类)。
图7为本发明PSPNet网络与传统PSPNet网络预测性能指标的对比(Runway类)。
图8为本发明PSPNet网络与传统PSPNet网络分割结果的对比，其中(a)为传统PSPNet的分割效果图，(b)为本发明PSPNet的分割效果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
一种基于PSPNet网络的飞机起降跑道识别方法，包括如下步骤：
S100：构建PSPNet网络，参见图5所示:所述PSPNet网络根据对图像的处理流程依次包括如下部分：
包括两个主干特征提取网络，所述两个主干特征提取网络分别用于提取特征图；所述两个主干特征提取网络为采用残差网络ResNet与轻量级深层神经网络MobileNetV2；所述采用残差网络ResNet与轻量级深层神经网络MobileNetV2分别对输入图像进行特征提取得到两张特征图。
包括两个加强特征提取模块,所述两个加强特征提取模块分别用于对主干特征提取网络提取的特征图进行进一步特征提取；所述两个加强特征提取模块对所述两张特征图进行进一步特征提取，具体为：将由残差网络ResNet获取的特征图划分成2×2和1×1尺度大小的区域处理，将由轻量级深层神经网络MobileNetV2得到的特征图划分成9×9，6×6和3×3尺度大小的区域处理。
具体地，设经主干特征提取网络得到的特征层为90×90×480，对于9×9区域，需使平均池化步长stride＝90/9＝10，卷积核大小kernel_size＝90/9＝10；对于6×6区域，需使平均池化步长stride＝90/6＝15，卷积核大小kernel_size＝90/6＝15；对于3×3区域，需使平均池化步长stride＝90/3＝30，卷积核大小kernel_size＝90/3＝30；对于2×2区域，需使平均池化步长stride＝90/2＝45，卷积核大小kernel_size＝90/2＝45；对于1×1区域，需使平均池化步长stride＝90/1＝90，卷积核大小kernel_size＝90/1＝90，在进入最后的卷积层时，以两个主网络提取的特征图替换PSPNet网络中一个主网络所提取的特征图与PSPNet网络的金字塔池化模块输出的上采样结果组合后作为PSPNet网络的卷积层的输入。
包括上采样模块，所述上采样模块用于还原原始图像分辨率。
包括尺寸统一模块，所述堆叠模块用于将两个加强特征提取模块提取的加强特征尺寸统一化处理。
包括数据串联模块，所述数据串联模块用于对经过尺寸统一模块处理后的两个加强特征进行串联。
包括卷积输出模块，所述卷积输出模块用于对数据串联模块处理后的数据进行卷积后输出。
S200：训练PSPNet网络，具体训练过程如下：
S210：构建训练数据集：
采集N张光学遥感数据图像，对N张光学遥感数据图像中选择部分能够满足飞机起降特定地形的图像进行放大和截取，并采用labelme工具进行数据集标注，即标注飞机的起飞降落的跑道位置和区域大小，如图2所示，所有标注后的图像作为训练样本，所有训练样本构成训练数据集。训练样本是标注了飞机起飞降落的跑道的位置和区域大小的图像。
所述N张光学遥感数据图像采用DIOR、NUSWIDE、DOTA、RSOD、NWPU VHR-10、SIRI-WHU等光学遥感数据集作为基础数据集，包含机场跑道、房屋建筑、草地、田地、山地、沙地、泥地、水泥地、丛林、大海、高速路、马路等多类地形区域，参见图1。
为防止图像进行缩放时发生失真，影响网络准确率和精度，需要对图像进行预处理，包括图像边沿填充，使其长宽比为1:1，符合网络输入要求；同时对图像进行尺寸等比调整，使其符合网络输入的最优尺寸。图片预处理的流程如图3所示，图片预处理结果如图4所示。
S220：初始化PSPNet网络中的参数；
S230：将训练集中的所有训练样本输入PSPNet网络中，对PSPNet网络进行训练；
S240：计算损失函数，计算训练样本输入PSPNet网络后的得到的预测结果与训练样本标签之间的交叉熵，即计算预测图像中围成飞机起飞降落跑道区域的所有像素点与训练样本中标注飞机起飞降落跑道的所有像素点之间的交叉熵；通过反复迭代训练，自动调整学习率，当损失函数值不再下降时，得到最优的网络模型；
S300：待检测图像检测，将待检测图像输入训练好的PSPNet网络中进行预测，对预测出的像素点用红色填充，输出预测结果，所述的红色填充的所有像素点围成的区域即是飞机起飞降落的跑道区域。
为有效利用移动设备和嵌入式设备的计算资源并提高对高分辨率图像实时处理的速度，本发明引入了MobileNet。在本发明中，考虑到比普通的FCN减少了8-9倍计算资源消耗的MobileNetV2参数量相对较少且运算速度快，所以我们选择MobileNetV2作为PSPNet中的一个主干特征提取网络。但轻量级的MobileNetV2不可避免的会使PSPNet的分割精度略有下降，所以我们保留ResNet作为PSPNet中的另一个主干特征提取网络，它网络分类性能好，准确率高，在PSP模块中能够提高分割精度。ResNet和MobileNetV2共同作用，一方面提高了PSPNet的运算速度，另一方面尽可能地提高分割精度，满足分割任务低消耗，实时性和高精度的要求。
实验验证
本发明采用均交并比(Mean Intersection over Union，MIoU)、像素精度(PixelAccuracy，PA)和召回率(Recall)作为评价指标，衡量该语义分割网络的性能。首先，我们将通过混淆矩阵如表1所示，来计算均交并比(MIoU)和像素精度(PA)和召回率(Recall)。
表1.混淆矩阵
(1)均交并比(MIoU)
MIoU是语义分割网络的标准度量。为计算MIoU，首先需要先计算语义分割中每一类对象的交并比(IoU)，即每一类各自的真实值与预测值的交集与并集的比值。IoU公式如下:
MIoU是在语义分割网络中所有类别的IoU上取平均值。假定数据集中有k+1类对象(0，1...，k)，第0类通常表示背景，则MIoU公式如下：
(2)像素精度(PA)
PA是语义分割网络的度量单位，即标记正确的像素占总像素的百分比。PA的公式如下：
(3)召回率(Recall)
Recall是语义分割网络的度量单位，即预测值为1且真实值也为1的样本在真实值为1的所有样本中所占的比例。Recall的公式如下：
本发明采用自制测试集对训练好的PSPNet语义分割网络进行测试，得到的预测结果如图6和图7所示，可以看到不管是ALL类还是Runway类，使用本发明实施例的PSPNet语义分割网络的均交并比(Mean Intersection over Union，MIoU)、像素精度(PixelAccuracy，PA)和召回率(Recall)三种性能指标的值都比传统PSPNet训练时要高，说明改进的网络在性能上相对于传统PSPNet有一定的提升。在相同的训练与测试数据以及相同的训练参数情况下对数据集进行分割，将本方法中使用的神经网络分割效果与传统PSPNet分割效果进行对比与分析，如图8所示为两种方法下的分割结果，图中可以看出使用本发明实施例的PSPNet神经网络更有效地分割出了目标区域。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (3)
1.一种基于PSPNet网络的飞机起降跑道识别方法，其特征在于，包括如下步骤：
S100：构建PSPNet网络:所述PSPNet网络根据对图像的处理流程依次包括如下部分：
包括两个主干特征提取网络,所述两个主干特征提取网络分别用于提取特征图；
包括两个加强特征提取模块,所述两个加强特征提取模块分别用于对主干特征提取网络提取的特征图进行进一步特征提取；
包括上采样模块，所述上采样模块用于还原原始图像分辨率；
包括尺寸统一模块，所述堆叠模块用于将两个加强特征提取模块提取的加强特征尺寸统一化处理；
包括数据串联模块，所述数据串联模块用于对经过尺寸统一模块处理后的两个加强特征进行串联；
包括卷积输出模块，所述卷积输出模块用于对数据串联模块处理后的数据进行卷积后输出；
S200：训练PSPNet网络，具体训练过程如下：
S210：构建训练数据集：
采集N张光学遥感数据图像，对N张光学遥感数据图像中选择部分能够满足飞机起降特定地形的图像进行放大、截取，并进行数据集标注，即标注飞机的起飞降落的跑道位置和区域大小，所有标注后的图像作为训练样本，所有训练样本构成训练数据集；
S220：初始化PSPNet网络中的参数；
S230：将训练集中的所有训练样本输入PSPNet网络中，对PSPNet网络进行训练；
S240：计算损失函数，计算训练样本输入PSPNet网络后的得到的预测结果与训练样本标签之间的交叉熵，即计算预测图像中围成飞机起飞降落跑道区域的所有像素点与训练样本中标注飞机起飞降落跑道的所有像素点之间的交叉熵；通过反复迭代训练，并自动调整学习率，当损失函数值不再下降时，得到最优的网络模型；S300：待检测图像检测，将待检测图像输入训练好的PSPNet网络中进行预测，对预测出的像素点用红色填充，输出预测结果，所述的红色填充的所有像素点围成的区域即是飞机起飞降落的跑道区域。
2.如权利要求1所述的基于PSPNet网络的飞机起降跑道识别方法，其特征在于，所述两个主干特征提取网络为采用残差网络ResNet与轻量级深层神经网络MobileNetV2；
所述采用残差网络ResNet与轻量级深层神经网络MobileNetV2分别对输入图像进行特征提取得到两张特征图。
3.如权利要求2所述的基于PSPNet网络的飞机起降跑道识别方法，其特征在于，所述两个加强特征提取模块对所述两张特征图进行进一步特征提取，具体为：将由残差网络ResNet获取的特征图划分成2×2和1×1尺度大小的区域处理，将由轻量级深层神经网络MobileNetV2得到的特征图划分成9×9，6×6和3×3尺度大小的区域处理。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110353929.2A CN113052106B (zh) | 2021-04-01 | 2021-04-01 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
| US17/327,182 US20220315243A1 (en) | 2021-04-01 | 2021-05-21 | Method for identification and recognition of aircraft take-off and landing runway based on pspnet network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110353929.2A CN113052106B (zh) | 2021-04-01 | 2021-04-01 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052106A true CN113052106A (zh) | 2021-06-29 |
| CN113052106B CN113052106B (zh) | 2022-11-04 |
Family
ID=76517089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110353929.2A Active CN113052106B (zh) | 2021-04-01 | 2021-04-01 | 一种基于PSPNet网络的飞机起降跑道识别方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220315243A1 (zh) |
| CN (1) | CN113052106B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342884B (zh) * | 2023-03-28 | 2024-02-06 | 阿里云计算有限公司 | 图像分割及模型训练的方法、服务器 |
| CN116385475B (zh) * | 2023-06-06 | 2023-08-18 | 四川腾盾科技有限公司 | 一种针对大型固定翼无人机自主着陆的跑道识别分割方法 |
| CN116580328B (zh) * | 2023-07-12 | 2023-09-19 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
| CN117079036B (zh) * | 2023-08-22 | 2024-06-07 | 河南农业大学 | 基于YOLOv8s轻量化改进的农作物病害检测方法和系统 |
| CN117392545B (zh) * | 2023-10-26 | 2024-02-09 | 南昌航空大学 | 一种基于深度学习的sar图像目标检测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330405A (zh) * | 2017-06-30 | 2017-11-07 | 上海海事大学 | 基于卷积神经网络的遥感图像飞机目标识别方法 |
| CN108009506A (zh) * | 2017-12-07 | 2018-05-08 | 平安科技（深圳）有限公司 | 入侵检测方法、应用服务器及计算机可读存储介质 |
| CN108734211A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 图像处理的方法和装置 |
| CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
| WO2020180755A1 (en) * | 2019-03-01 | 2020-09-10 | Sri International | Apparatuses and methods involving multi-modal imaging of a sample |
| CN111669492A (zh) * | 2019-03-06 | 2020-09-15 | 青岛海信移动通信技术股份有限公司 | 一种终端对拍摄的数字图像进行处理的方法及终端 |
| CN111833328A (zh) * | 2020-07-14 | 2020-10-27 | 汪俊 | 基于深度学习的飞机发动机叶片表面缺陷检测方法 |
| CN111881786A (zh) * | 2020-07-13 | 2020-11-03 | 深圳力维智联技术有限公司 | 门店经营行为管理方法、装置及存储介质 |
| CN112365514A (zh) * | 2020-12-09 | 2021-02-12 | 辽宁科技大学 | 基于改进PSPNet的语义分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10867416B2 (en) * | 2017-03-10 | 2020-12-15 | Adobe Inc. | Harmonizing composite images using deep learning |
| FR3103047B1 (fr) * | 2019-11-07 | 2021-11-26 | Thales Sa | Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef |
| US11481862B2 (en) * | 2020-02-26 | 2022-10-25 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for real-time, simultaneous object detection and semantic segmentation |
| US11967161B2 (en) * | 2020-06-26 | 2024-04-23 | Amazon Technologies, Inc. | Systems and methods of obstacle detection for automated delivery apparatus |
-
2021
- 2021-04-01 CN CN202110353929.2A patent/CN113052106B/zh active Active
- 2021-05-21 US US17/327,182 patent/US20220315243A1/en active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330405A (zh) * | 2017-06-30 | 2017-11-07 | 上海海事大学 | 基于卷积神经网络的遥感图像飞机目标识别方法 |
| CN108009506A (zh) * | 2017-12-07 | 2018-05-08 | 平安科技（深圳）有限公司 | 入侵检测方法、应用服务器及计算机可读存储介质 |
| CN108734211A (zh) * | 2018-05-17 | 2018-11-02 | 腾讯科技（深圳）有限公司 | 图像处理的方法和装置 |
| US20200372648A1 (en) * | 2018-05-17 | 2020-11-26 | Tencent Technology (Shenzhen) Company Limited | Image processing method and device, computer apparatus, and storage medium |
| WO2020180755A1 (en) * | 2019-03-01 | 2020-09-10 | Sri International | Apparatuses and methods involving multi-modal imaging of a sample |
| CN111669492A (zh) * | 2019-03-06 | 2020-09-15 | 青岛海信移动通信技术股份有限公司 | 一种终端对拍摄的数字图像进行处理的方法及终端 |
| CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
| CN111881786A (zh) * | 2020-07-13 | 2020-11-03 | 深圳力维智联技术有限公司 | 门店经营行为管理方法、装置及存储介质 |
| CN111833328A (zh) * | 2020-07-14 | 2020-10-27 | 汪俊 | 基于深度学习的飞机发动机叶片表面缺陷检测方法 |
| CN112365514A (zh) * | 2020-12-09 | 2021-02-12 | 辽宁科技大学 | 基于改进PSPNet的语义分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| BOWEN CHENG等: ""A Simple Non-i.i.d. Sampling Approach for Efficient Training and Better Generalization"", 《COMPUTER SCIENCE》, 31 October 2020 (2020-10-31), pages 1 - 10 * |
| 林少丹等: "基于Mask R-CNN的钢筋混凝土裂缝识别及测量算法的研究", 《计算机应用研究》 * |
| 林少丹等: "基于Mask R-CNN的钢筋混凝土裂缝识别及测量算法的研究", 《计算机应用研究》, 30 June 2020 (2020-06-30), pages 370 - 373 * |
| 陈浩楠: ""基于光照一致化和上下文感知的人脸活体检测算法研究"", 《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》, 15 January 2021 (2021-01-15), pages 34 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052106B (zh) | 2022-11-04 |
| US20220315243A1 (en) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052106B (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| Wang et al. | Scene classification of high-resolution remotely sensed image based on ResNet | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN113743417B (zh) | 语义分割方法和语义分割装置 | |
| CN113034444A (zh) | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 | |
| CN111738113A (zh) | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
| CN114998566A (zh) | 一种可解释的多尺度红外弱小目标检测网络设计方法 | |
| CN112766409A (zh) | 一种遥感图像目标检测的特征融合方法 | |
| Li et al. | An aerial image segmentation approach based on enhanced multi-scale convolutional neural network | |
| CN111104850A (zh) | 一种基于残差网络的遥感影像建筑物自动提取方法和系统 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN116597326A (zh) | 一种基于改进YOLOv7算法的无人机航拍小目标检测方法 | |
| CN115527096A (zh) | 一种基于改进YOLOv5的小目标检测方法 | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
| CN113610032A (zh) | 基于遥感影像的建筑物识别方法和装置 | |
| CN116543165B (zh) | 一种基于双通道复合深度网络的遥感图像果树分割方法 | |
| CN116563553B (zh) | 一种基于深度学习的无人机图像分割方法和系统 | |
| CN117788817A (zh) | 一种基于边缘特征增强的遥感影像语义分割方法 | |
| CN117496154A (zh) | 基于概率图表征边缘的高分辨率遥感影像语义分割方法 | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
| CN116778169A (zh) | 基于混合特征提取的遥感图像语义分割方法、装置和设备 | |
| CN116758005A (zh) | 一种面向pet/ct医学图像的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |