CN110490802A - 一种基于超分辨率的卫星影像飞机目标型号识别方法 - Google Patents

一种基于超分辨率的卫星影像飞机目标型号识别方法 Download PDF

Info

Publication number
CN110490802A
CN110490802A CN201910723192.1A CN201910723192A CN110490802A CN 110490802 A CN110490802 A CN 110490802A CN 201910723192 A CN201910723192 A CN 201910723192A CN 110490802 A CN110490802 A CN 110490802A
Authority
CN
China
Prior art keywords
resolution
network
super
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910723192.1A
Other languages
English (en)
Other versions
CN110490802B (zh
Inventor
汪磊
喻金桃
郭海涛
王翰晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guanwei Technology Co Ltd
Original Assignee
Beijing Guanwei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guanwei Technology Co Ltd filed Critical Beijing Guanwei Technology Co Ltd
Priority to CN201910723192.1A priority Critical patent/CN110490802B/zh
Publication of CN110490802A publication Critical patent/CN110490802A/zh
Application granted granted Critical
Publication of CN110490802B publication Critical patent/CN110490802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于超分辨率的卫星影像飞机目标型号识别方法，包括：对获取的卫星影像进行超分辨率重建，得到超分辨率重建图像；将超分辨率重建图像经过区域筛选网络处理，得到候选框图像；将候选框图像输入到预先训练好的超分辨率重建目标识别网络中进行目标识别，得到目标识别结果；其中超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习方法不断优化得到。将超分辨率对抗生成网络与分类识别网络进行交替训练，并利用增量式学习思路不断优化识别模型，获取泛化能力强的目标识别网络，提高识别网络的适用范围和识别准确率。

Description

一种基于超分辨率的卫星影像飞机目标型号识别方法
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于超分辨率的卫星影像飞机目标型号识别方法。
背景技术
近年来，随着航空航天技术的进步，卫星影像获取的手段日益成熟，影像的分辨率，包括时间分辨率、空间分辨率、辐射分辨率和光谱分辨率正在不断提高。目前，遥感已突破数据获取的瓶颈，正在走向全面应用的新阶段，为飞机目标型号识别奠定了数据基础。
随着计算机视觉和人工智能技术的迅猛发展，图像目标检测和识别技术成为研究的热点，广泛应用于生活和工作的各个方面。尤其在军事领域，战场态势瞬息万变，迅速精准的检测和识别敌方目标成为现代战争成败的关键因素，因此目标检测和识别技术必将是未来部队战斗力提升的核心环节。基于卫星影像的飞机目标检测和型号识别对于现代信息化战争中侦查敌方军力部署，预测作战意图，有效打击飞机目标具有重要意义。
目前并没有完善的大规模飞机目标识别数据集，无法直接利用现有的数据和数据处理方法对基于深度学习的飞机目标识别模型进行训练。现有的卫星影像目标识别算法主要分为传统方法和基于深度学习的方法。
传统方法中飞机目标识别步骤如下：(1)图像预处理；(2)飞机目标特征提取；(3)目标类型判别。传统方法需要利用专家的先验知识来设计特征，并采用小规模的训练样本来训练机器学习分类器对区域进行判别得到最终的检测结果。另外传统方法中的检测和识别是两个独立的过程且无法同时进行，需要使用目标识别算法对目标检测的结果作进一步的判别才能得到最终的检测和识别结果。
目前采用的基于深度学习的目标检测识别方法主要采用只采用单一分类模型如AlexNet，ZFNet，vggNet，GoogleNet等网络。这些方法利用深度学习网络直接预测出输入目标图像的类别。其主要过程如下：(1)固定大小影像数据输入。(2)直接对输入目标图像进行卷积特征提取，并采用分类层进行分类。(3)采用随机梯度下降、Relu、Dropout、BatchNorm等技术优化网络。
现有飞机目标型号识别方法的不足主要包括：
(1)采用传统方法需要人工设计特征，不同型号需要不一样的特征，算法复杂且适应性较差，因此难以取得广泛的适用性。
(2)现有深度学习算法针对样本数据不足以及数据不均衡问题，主要采用旋转、缩放、色调以及饱和度调整等常规数据增广方法。
(3)飞机目标尺度较小，在较低分辨率影像上往往只有几个或者是几个像素，无法检测或者识别飞机，限制了深度学习识别算法的应用；在现有高分辨率卫星影像上，飞机目标轮廓、边界不清晰，因此飞机目标型号识别准确率有待进一步提高。
因此，如何提供一种提高飞机目标型号识别准确率的方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于超分辨率的卫星影像飞机目标型号识别方法，交替训练超分辨率对抗生成网络与分类识别网络，并利用增量式学习思路不断优化识别模型，泛化能力更强，准确率更高。
为了实现上述目的，本发明采用如下技术方案：
一种基于超分辨率的卫星影像飞机目标型号识别方法，包括：
对获取的卫星影像进行超分辨率重建，得到超分辨率重建图像；
将超分辨率重建图像经过区域筛选网络处理，得到候选框图像；
将候选框图像输入到预先训练好的超分辨率重建目标识别网络中进行目标识别，得到目标识别结果；
其中超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习方法不断优化得到。
优选的，超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习思路不断优化得到具体包括：
基于第一训练数据，固定超分辨率对抗生成网络损失函数，分类识别网络作为骨干网络，利用迁移学习方法训练分类识别网络；
基于第二训练数据，固定分类识别网络损失函数，对超分辨率对抗生成网络进行训练，获取多尺度高分辨率图像；
固定超分辨率对抗生成网络损失函数，将获取的多尺度高分辨率图像作为新增数据加入第一训练数据，继续训练分类识别网络，重复上述步骤不断交替训练，最终得到超分辨率重建目标识别网络。
优选的，所述第一训练数据是基于标注好的高分辨率卫星影像进行数据生成和数据增广步骤得到；
其中，所述数据生成步骤包括:对标注好的高分辨率卫星影像按照标注区域进行裁剪，并根据不同的类别存放在不同文件夹，目标类别作为该文件夹名，得到分类识别网络数据集；
所述数据增广步骤包括：对分类识别网络数据集进行多角度旋转，并利用标注得到的XML文件更新旋转后的XML文件，并根据更新后的XML文件进行裁剪，得到目标图像，对目标图像进行翻转、亮度对比调整操作，得到第一训练数据；
所述第二训练数据是基于标注好的高分辨率图像进行数据生成得到，具体包括：对标注好的高分辨率卫星影像按照标注区域进行裁剪，对裁剪得到的图像进行降采样，形成高分辨率和低分辨率数据对，得到第二训练数据。优选的，超分辨率对抗生成网络损失函数和分类识别网络损失函数组成整体飞机型号识别损失函数：
Lossreg＝αLosssr+βLosscls (1)
其中，Lossreg表示飞机型号识别损失函数，Losssr表示超分辨率对抗生成网络损失函数，α为超分辨率对抗生成网络损失函数的权重因子，如公式(2)所示，Losscls表示分类识别网络损失函数，β为分类识别网络损失函数的权重因子；比如固定超分辨率网络时，α为0，β为1。其中，
其中，表示MSE损失，α1为其权重因子，计算方法如公式(3)，表示超分辨率对抗生成网络的vgg损失，α2为其权重因子，计算方法如公式(4)，表示超分辨率对抗生成网络的对抗生成损失，α3为其权重因子，计算方法如公式(5)；
其中，IHR表示高分辨率影像，ILR是该高分辨率影像的对应低分辨率影像，是通过IHR高斯滤波下采样获得，采样因子为r；W，H分别为高分辨率影像的宽和高，采样获取的影像宽高分别为rW，rH，φi,j为vgg网络中获取的特征图，N为第二训练数据的数量，DθD(GθG(ILR))表示重构图像GθG(ILR)是高分辨率图像的概率，DθD表示判别模型。
优选的，超分辨率对抗生成网络的训练方法包括：
首先将SRResnet网络迭代训练，之后用SRResnet网络的参数去训练以MSE为损失函数的SRGAN网络，之后再用MSE损失函数训练获取的SRGAN网络参数去训练以vgg为损失函数的SRGAN网络，得到训练好的超分辨率对抗生成网络。
优选的，所述区域筛选网络采用MTCNN模型中的Pnet网络训练得到。
优选的，多尺度高分辨率图像包括：原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于超分辨率的卫星影像飞机目标型号识别方法，将超分辨率对抗生成网络与分类识别网络进行交替训练，并利用增量式学习思路不断优化识别模型，获取泛化能力强的目标识别网络，提高识别网络的适用范围，此外，检测时对卫星影像进行超分辨率重建，提高检测影像的分辨率，提高识别准确率，对于较低分辨率影像也可以进行飞机目标型号识别。
此外，本发明采用超分辨率对抗生成网络生成多尺度高分辨率图像，用于扩充训练样本数据，降低模型对图像分辨率的要求，提高模型泛化能力；针对大场景卫星影像采用MTCNN的Pnet网络进行候选区域筛选，不采用滑动窗口整幅影像滑动，加快搜索速度。
综上，本发明提供的方法能够适用多种分辨率飞机型号识别，特别对于中低分辨率影像也能进行飞机目标型号识别，泛化能力更强；同时通过提高检测影像分辨率，识别的准确率也更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于超分辨率的卫星影像飞机目标型号识别方法的示意图；
图2为本发明提供的SRGAN模型的网络结构；
图3为本发明提供的MTCNN模型Pnet模块网络结构图；
图4为本发明提供的飞机型号识别效果对比图；
其中，图4(a)为基于低分辨影像的识别结果；
图4(b)为生成原始低分辨率的2倍分辨率影像的识别结果；
图4(c)为低分辨率图像4倍分辨率的原始高分辨率影像的识别结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种基于超分辨率的卫星影像飞机目标型号识别方法，包括：
对获取的卫星影像进行超分辨率重建，得到超分辨率重建图像；
将超分辨率重建图像经过区域筛选网络处理，得到候选框图像；
将候选框图像输入到预先训练好的超分辨率重建目标识别网络中进行目标识别，得到目标识别结果；
其中超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习方法不断优化得到。
为了进一步优化上述技术方案，超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习思路不断优化得到具体包括：
基于第一训练数据，固定超分辨率对抗生成网络损失函数，分类识别网络作为骨干网络，利用迁移学习方法训练分类识别网络；
基于第二训练数据，固定分类识别网络损失函数，对超分辨率对抗生成网络进行训练，获取多尺度高分辨率图像；
固定超分辨率对抗生成网络损失函数，将获取的多尺度高分辨率图像作为新增数据加入第一训练数据，继续训练分类识别网络，重复上述步骤不断交替训练，最终得到超分辨率重建目标识别网络。
为了进一步优化上述技术方案，所述第一训练数据是基于标注好的高分辨率卫星影像进行数据生成和数据增广步骤得到；
其中，所述数据生成步骤包括:对标注好的高分辨率卫星影像按照标注区域进行裁剪，并根据不同的类别存放在不同文件夹，目标类别作为该文件夹名，得到分类识别网络数据集；
所述数据增广步骤包括：对分类识别网络数据集进行多角度旋转，并利用标注得到的XML文件更新旋转后的XML文件，并根据更新后的XML文件进行裁剪，得到目标图像，对目标图像进行翻转、亮度对比调整操作，得到第一训练数据；
所述第二训练数据是基于标注好的高分辨率图像进行数据生成得到，具体包括：对标注好的高分辨率卫星影像按照标注区域进行裁剪，对裁剪得到的图像进行降采样，形成高分辨率和低分辨率数据对，得到第二训练数据。为了进一步优化上述技术方案，超分辨率对抗生成网络损失函数和分类识别网络损失函数组成整体飞机型号识别损失函数：
Lossreg＝αLosssr+βLosscls (1)
其中，Lossreg表示飞机型号识别损失函数，Losssr表示超分辨率对抗生成网络损失函数，α为超分辨率对抗生成网络损失函数的权重因子，如公式(2)所示，Losscls表示分类识别网络损失函数，β为分类识别网络损失函数的权重因子；其中，
其中，表示MSE损失，α1为其权重因子，计算方法如公式(3)，表示超分辨率对抗生成网络的vgg损失，α2为其权重因子，计算方法如公式(4)，表示SRGAN的对抗生成损失，α3为其权重因子，计算方法如公式(5)；
其中，IHR表示高分辨率影像，ILR是该高分辨率影像的对应低分辨率影像，是通过IHR高斯滤波下采样获得，采样因子为r，W，H分别为高分辨率影像的宽和高，采样获取的影像宽高分别为rW，rH，φi,j为vgg网络中获取的特征图，N为第二训练数据的数量，DθD(GθG(ILR))表示重构图像GθG(ILR)是高分辨率图像的概率，DθD表示判别模型。
为了进一步优化上述技术方案，超分辨率对抗生成网络的训练方法包括：
首先将SRResnet网络迭代训练，之后用SRResnet网络的参数去训练以MSE为损失函数的SRGAN网络，之后再用MSE损失函数训练获取的SRGAN网络参数去训练以vgg为损失函数的SRGAN网络，得到训练好的超分辨率对抗生成网络。
为了进一步优化上述技术方案，所述区域筛选网络采用MTCNN模型中的Pnet网络训练得到。
为了进一步优化上述技术方案，多尺度高分辨率图像包括：原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
本发明提供的技术方案利用超分辨率对抗生成网络生成高分辨率影像，并将对抗生成的高分辨率影像作为样本数据优化识别模型，生成多种分辨率影像使得识别模型适应多种分辨率影像，泛化能力更强；设计了超分辨率目标识别网络以及超分辨率目标识别损失函数，交替训练超分辨率对抗生成网络和分类识别网络，便于新获取数据训练与新型号数据训练。本发明提供的方法为端到端飞机目标型号识别，并且检测时采用区域筛选网络替代滑动窗口，加快识别速度。相比现有方法，本发明提供的方法能够适应多种分辨率飞机型号识别，特别是对于中低分辨率影像也能进行飞机目标型号识别，泛化能力更强；同时，通过提高检测影像分辨率，飞机型号识别准确率更高。
下面结合各个步骤中的具体实现细节对本发明的技术方案做进一步阐述。
1.数据集制作
1.1数据标注
对于超分辨率网络，以网络需要特定大小的矩形框在高分辨率卫星影像上进行标注，标注区域包括一个或多个飞机目标以及其他背景信息，并将卫星影像中所有标注好的区域信息以XML文件的格式存储到本地。对于每个目标，存储其矩形框的中心点位置、长宽等信息。
对于识别网络和区域筛选网络，利用标注工具对高分辨率卫星影像中的飞机目标进行矩形框标注，并将卫星影像中所有标注好的目标信息以XML文件的格式存储到本地。对于每个目标，存储其矩形框的中心点位置、长宽以及飞机类别等信息。
1.2数据生成和数据增广
(1)数据生成
对于超分辨率网络，按照标注的区域对标注好的高分辨率卫星影像进行裁剪，对裁剪获取的高分辨率影像数据进行降采样(2倍、4倍)处理，形成高分辨率和低分辨率数据对，以此作为超分辨率对抗生成网络的训练数据。
对于识别网络以及区域筛选网络，将标注好的高分辨率卫星影像按照xml文件的矩形框坐标信息进行裁剪，并根据不同的类别存放在不同文件夹，目标类别作为该文件夹名称，形成识别网络和区域筛选数据集。
(2)数据增广
1)对大场景高分辨率卫星影像进行多角度旋转，以适应飞机停驻多方向性的特点，并利用原始标注的xml文件更新旋转之后的xml文件，采用新的xml文件裁剪获取目标图像。
2)对目标图像进行翻转、亮度对比度调整等操作，对训练和验证数据进一步增广。其中，验证数据是指训练时，为了测试模型准确率的数据。
3)对上述数据进行超分辨率对抗生成，生成高分辨率影像数据，形成多种尺度(不同分辨率，原始影像2倍和4倍分辨率)的影像数据，实现样本数据的增广，并结合增量式学习方法，将该类增广数据用于识别模型优化，提高识别模型的准确率。
这里需要解释的是，实际上本发明从两个角度对数据进行了增广处理，首先，进行了翻转、亮度对比度调整等增广处理，在之后的训练过程中，将生成的多尺度分辨率影像数据作为新增的训练数据进行识别模型的训练，实际上也可以理解为一种数据增广处理。
2.高精度识别网络结构设计
训练阶段主要包括超分辨率对抗生成网络、GoogLeNet分类网络以及检测时所需的区域筛选网络三部分。本发明按照如下方式设计飞机目标型号高精度识别网络：将超分辨率对抗生成网络与GoogLeNet识别网络进行网络连接，将多种分辨率卫星影像数据作为训练样本进行训练，增强识别模型的泛化能力，在检测时先对影像进行超分辨重建，获取更高分辨率影像用于型号识别，实现高精度目标识别。
下面分别对各个网络的训练做进一步说明：
2.1超分辨率对抗生成网络
超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，超分辨对抗生成技术(SRGAN)将生成式对抗网络(GAN)用于超分辨率重建。
参见附图2，生成对抗网络基于博弈模型，由生成模型(Generator)和判别模型(Discriminator)组成，其中生成模型与其对手判别模型竞争。生成模型尝试了解真实数据样本的特征分布,并生成新的数据样本。判别模型是一个二分类器,判别输入是真实数据还是生成的样本。优化过程是极小极大博弈问题,优化目标是达到纳什均衡，即直到判别模型无法识别生成模型生成的假样本是真是假。
SRGAN将生成对抗网络用于超分辨率问题，将低分辨率图像作为生成网络的输入，生成高分辨率影像，判别网络将生成高分辨率影像与原始高分辨率影像作为输入，判别生成影像与原始影像判别结果。生成网络期望生成的高分辨率影像判别网络无法判别其为生成影像，判别网络期望生成网络生成的高分辨率影像均能判别出来，生成网络与判别网络相互对抗，直到判别网络无法判别生成图像和原始高分辨率影像为止，SRGAN使用的生成网络和判别网络如图2所示。
2.2基于迁移学习的目标分类
卷积神经网络模型训练需要顾及上百万个参数，因此CNN训练需要使用大量的标记样本，在小样本集上，采用迁移学习方法：将从大数据集上学习的CNN当作目标集的底层和中层特征提取器，修改最后一层全连接层为自适应特征层，训练时，只训练自适应特征层。将自然图像的分类模型迁移到卫星影像飞机目标分类中，本发明采用GoogLeNet分类网络作为骨干网络进行迁移学习训练飞机型号识别模型。
具体步骤如下：
(1)选择GoogLeNet分类网络模型，获取大数据集下预训练的分类模型；
(2)修改配置网络结构和网络参数；
(3)飞机目标型号数据处理，创建训练和测试数据集，转换成lmdb格式；
(4)修改GoogLeNet网络全连接层输出类别数，同时修改相应层名称；
(5)模型迁移学习，训练飞机目标分类器。
2.3区域筛选网络
检测所用的区域筛选网络为MTCNN模型的Pnet网络，网络结构如图3所示。MTCNN模型由三个不同尺度的小型卷积神经网络组成，分别为PNet、RNet和ONet。PNet为区域建议网络，用来生成侯选目标。PNet是一个浅层的全卷积网络，包含三个卷积层和一个池化层，输入图像大小为12像素×12像素。全卷积神经网络不含全连接层，可以满足任意大小的图像输入，因此可以实现大范围卫星影像的目标搜索。PNet本质上是一种利用GPU加速的滑动窗口法，在选取侯选窗口的同时对每个侯选窗口进行分类判断。
3.损失函数设计
本发明采用的超分辨率重建与分类识别损失函数如公式(1)所示。损失函数包含两个部分，第一部分是超分辨率重建损失函数，将MSE损失与vgg损失一起作为超分辨率对抗生成网络的内容损失，第二部分是分类损失函数。
Lossreg＝αLosssr+βLosscls (1)
其中，Lossreg表示飞机型号识别损失函数，Losssr表示SRGAN损失函数，如公式(2)所示，Losscls表示GoogLeNet分类网络损失函数。
其中，表示MSE损失，计算方法如公式(3)，表示SRGAN的vgg损失计算方法如公式(4)，表示SRGAN的对抗生成损失，计算方法如公式(5)。
其中，IHR表示高分辨率影像，ILR是该高分辨率影像的对应低分辨率影像，是通过IHR高斯滤波下采样获得，采样因子为r，W，H分别为高分辨率影像的宽和高，采样获取的影像宽高分别为rW，rH。φi,j为vgg网络中获取的特征图，DθD(GθG(ILR))表示重构图像GθG(ILR)是高分辨率图像的概率，DθD表示判别模型。
4.超分辨率重建识别网络训练测试策略
训练时，将超分辨率对抗生成网络与分类识别网络进行交替训练，区域筛选网络单独训练，测试时，将超分辨率重建、区域筛选以及分类识别连接形成一体化流程，形成端到端的识别。
4.1超分辨率对抗生成网络训练
SRGAN首先将SRResnet网络迭代训练100万次，然后用SRResnet的参数去训练以MSE为损失的SRGAN网络，最后再用MSE损失训练获取的SRGAN参数去训练以vgg为损失的SRGAN网络，得到超分辨率对抗生成模型，用于生成高分辨率影像。
MSE损失虽然会产生图像高频细节缺失的问题，但是可以得到很高的信噪比，因此，本发明将MSE损失和vgg损失一起作为内容损失函数训练超分辨率对抗生成网络。
4.2超分辨率重建目标识别网络训练
本发明将超分辨率对抗生成网络与分类识别网络进行连接，构建超分辨率重建目标识别网络，同时训练两个模型，便于目标识别网络检测使用，将超分辨率对抗生成网络与分类识别网络进行交替训练，并利用增量式学习思路不断优化识别模型，获取泛化能力强的目标识别网络。详细过程如下：
(1)首先，固定超分辨率对抗生成网络损失函数，GoogLeNet分类网络作为骨干网络，利用迁移学习技术训练飞机型号识别网络。
(2)固定分类网络损失函数，超分辨率对抗生成网络按照超分辨率对抗网络训练方式训练高分辨率图像生成模型，获取高分辨率影像。
(3)固定超分辨率对抗生成网络损失函数，将超分辨对抗生成网络获取的高分辨率(低分辨率2倍和4倍，即多尺度分辨率影像)影像作为新增数据加入分类识别网络，扩充多分辨训练数据，继续训练识别网络。新获取数据以及新增型号数据按照上述步骤不断交替进行训练，不断优化识别网络。
(4)检测时使用的区域筛选网络采用MTCNN训练方式训练即可。
4.3超分辨率重建目标识别网络检测
检测时将超分辨率重建、区域筛选网络以及优化后的识别网络级联形成一个整体，输入一张卫星影像，首先进行超分辨率重建获取更高分辨率的影像，将该影像直接放入区域筛选网络获取目标候选区域，最后通过优化的识别网络进行目标识别。飞机型号识别效果对比如图4所示。
通过附图4可知，通过本发明提供的方法在超分辨率生成网络生成的2倍分辨率影像识别结果与直接利用高分辨率图像(低分辨率4倍分辨率影像)得到的识别结果十分接近，充分说明本发明所提供方法的识别有效性和准确性，若采用生成4倍分辨率影像识别效果更佳。
综上所述，本发明提供的识别方法主要有如下创新：
(1)采用超分辨率对抗生成网络生成2倍、4倍分辨率的多尺度高分辨率影像，用于扩充训练样本数据，降低模型对影像分辨率要求，提升模型泛化能力；
(2)本发明设计了一种超分辨率飞机目标型号识别网络，构建一体化损失函数，采用交替训练策略训练超分辨率对抗生成网络与识别网络。首先，固定识别模型的损失，训练超分辨率对抗生成网络，然后，固定超分辨率模型损失，将生成的2倍、4倍高分辨率影像与其他识别数据集一起训练识别模型，在训练过程中，采用增量式学习思路，可以将新获取数据按照上述方法对识别模型进行优化，提高识别模型的适应范围。
(3)检测时，对检测影像进行超分辨率重建，提高检测影像的分辨率，可以增加识别准确率，同时较低分辨率影像也可以进行飞机目标型号识别。此外，针对大场景卫星影像采用MTCNN的PNet网络进行候选区域筛选，不采用滑动窗口整幅影像滑动，加快搜索速度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，包括：
对获取的卫星影像进行超分辨率重建，得到超分辨率重建图像；
将超分辨率重建图像经过区域筛选网络处理，得到候选框图像；
将候选框图像输入到预先训练好的超分辨率重建目标识别网络中进行目标识别，得到目标识别结果；
其中超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习方法不断优化得到。
2.根据权利要求1所述的一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，超分辨率重建目标识别网络通过将超分辨率对抗生成网络和分类识别网络进行交替训练，并利用增量式学习思路不断优化得到具体包括：
基于第一训练数据，固定超分辨率对抗生成网络损失函数，分类识别网络作为骨干网络，利用迁移学习方法训练分类识别网络；
基于第二训练数据，固定分类识别网络损失函数，对超分辨率对抗生成网络进行训练，获取多尺度高分辨率图像；
固定超分辨率对抗生成网络损失函数，将获取的多尺度高分辨率图像作为新增数据加入第一训练数据，继续训练分类识别网络，重复上述步骤不断交替训练，最终得到超分辨率重建目标识别网络。
3.根据权利要求2所述的一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，所述第一训练数据是基于标注好的高分辨率卫星影像进行数据生成和数据增广步骤得到；
其中，所述数据生成步骤包括:对标注好的高分辨率卫星影像按照标注区域进行裁剪，并根据不同的类别存放在不同文件夹，目标类别作为该文件夹名，得到分类识别网络数据集；
所述数据增广步骤包括：对分类识别网络数据集进行多角度旋转，并利用标注得到的XML文件更新旋转后的XML文件，并根据更新后的XML文件进行裁剪，得到目标图像，对目标图像进行翻转、亮度对比调整操作，得到第一训练数据；
所述第二训练数据是基于标注好的高分辨率图像进行数据生成得到，具体包括：对标注好的高分辨率卫星影像按照标注区域进行裁剪，对裁剪得到的图像进行降采样，形成高分辨率和低分辨率数据对，得到第二训练数据。
4.根据权利要求3所述的一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，超分辨率对抗生成网络损失函数和分类识别网络损失函数组成整体飞机型号识别损失函数：
Lossreg＝αLosssr+βLosscls (1)
其中，Lossreg表示飞机型号识别损失函数，Losssr表示超分辨率对抗生成网络损失函数，α为超分辨率对抗生成网络损失函数的权重因子，如公式(2)所示，Losscls表示分类识别网络损失函数，β为分类识别网络损失函数的权重因子；其中，
其中，表示MSE损失，α1为其权重因子，计算方法如公式(3)，表示超分辨率对抗生成网络的vgg损失，α2为其权重因子，计算方法如公式(4)，表示超分辨率对抗生成网络的对抗生成损失，α3为其权重因子，计算方法如公式(5)；
其中，IHR表示高分辨率影像，ILR是该高分辨率影像的对应低分辨率影像，是通过IHR高斯滤波下采样获得，采样因子为r；W，H分别为高分辨率影像的宽和高，采样获取的影像宽高分别为rW，rH，φi,j为vgg网络中获取的特征图，N为第二训练数据的数量，DθD(GθG(ILR))表示重构图像GθG(ILR)是高分辨率图像的概率，DθD表示判别模型。
5.根据权利要求4所述的一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，超分辨率对抗生成网络的训练方法包括：
首先将SRResnet网络迭代训练，之后用SRResnet网络的参数去训练以MSE为损失函数的SRGAN网络，之后再用MSE损失函数训练获取的SRGAN网络参数去训练以vgg为损失函数的SRGAN网络，得到训练好的超分辨率对抗生成网络。
6.根据权利要求1所述的一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，所述区域筛选网络采用MTCNN模型中的Pnet网络训练得到。
7.根据权利要求2所述的一种基于超分辨率的卫星影像飞机目标型号识别方法，其特征在于，多尺度高分辨率图像包括：原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
CN201910723192.1A 2019-08-06 2019-08-06 一种基于超分辨率的卫星影像飞机目标型号识别方法 Active CN110490802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910723192.1A CN110490802B (zh) 2019-08-06 2019-08-06 一种基于超分辨率的卫星影像飞机目标型号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910723192.1A CN110490802B (zh) 2019-08-06 2019-08-06 一种基于超分辨率的卫星影像飞机目标型号识别方法

Publications (2)

Publication Number Publication Date
CN110490802A true CN110490802A (zh) 2019-11-22
CN110490802B CN110490802B (zh) 2021-01-19

Family

ID=68549943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910723192.1A Active CN110490802B (zh) 2019-08-06 2019-08-06 一种基于超分辨率的卫星影像飞机目标型号识别方法

Country Status (1)

Country Link
CN (1) CN110490802B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111080524A (zh) * 2019-12-19 2020-04-28 吉林农业大学 基于深度学习的植物病虫害识别方法
CN111145202A (zh) * 2019-12-31 2020-05-12 北京奇艺世纪科技有限公司 模型生成方法、图像处理方法、装置、设备及存储介质
CN111178401A (zh) * 2019-12-16 2020-05-19 上海航天控制技术研究所 一种基于多层对抗网络的空间目标分类方法
CN111310578A (zh) * 2020-01-17 2020-06-19 上海优加利健康管理有限公司 一种心搏数据样本分类网络的生成方法和装置
CN111340754A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111368790A (zh) * 2020-03-18 2020-07-03 北京三快在线科技有限公司 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN111524135A (zh) * 2020-05-11 2020-08-11 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111539337A (zh) * 2020-04-26 2020-08-14 上海眼控科技股份有限公司 车辆姿态矫正方法、装置及设备
CN112101282A (zh) * 2020-09-25 2020-12-18 北京瞰天科技有限公司 水上目标识别方法、装置及电子设备和存储介质
CN112509384A (zh) * 2021-02-03 2021-03-16 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯
CN113157760A (zh) * 2020-01-22 2021-07-23 阿里巴巴集团控股有限公司 目标数据确定方法及装置
CN113223059A (zh) * 2021-05-17 2021-08-06 浙江大学 基于超分辨率特征增强的弱小空域目标检测方法
CN113344110A (zh) * 2021-06-26 2021-09-03 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113538247A (zh) * 2021-08-12 2021-10-22 中国科学院空天信息创新研究院 超分辨率生成与条件对抗网络遥感影像样本生成方法
CN113780476A (zh) * 2021-10-09 2021-12-10 中国铁建重工集团股份有限公司 一种岩渣特征检测模型训练方法、装置、设备及介质
CN114782801A (zh) * 2022-03-01 2022-07-22 泰瑞数创科技(北京)有限公司 一种基于机器学习的控制点自动布设方法及装置
CN116681731A (zh) * 2023-08-02 2023-09-01 北京观微科技有限公司 目标物体追踪方法、装置、电子设备及存储介质
WO2024066044A1 (zh) * 2022-09-27 2024-04-04 深圳先进技术研究院 基于超分辨率重建的危险行为识别方法、系统及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361075A1 (en) * 2000-11-06 2014-12-11 Nant Holdings Ip, Llc Image Capture and Identification System and Process
US20160041300A1 (en) * 2014-08-07 2016-02-11 Lockheed Martin Corporation System and method for gravimetry without use of an inertial reference
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109615652A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种深度信息获取方法及装置
CN109630905A (zh) * 2019-01-25 2019-04-16 电子科技大学 一种基于无人机遥感和深度学习的油气管道全智能巡检系统
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN109949219A (zh) * 2019-01-12 2019-06-28 深圳先进技术研究院 一种超分辨率图像的重构方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140361075A1 (en) * 2000-11-06 2014-12-11 Nant Holdings Ip, Llc Image Capture and Identification System and Process
US20160041300A1 (en) * 2014-08-07 2016-02-11 Lockheed Martin Corporation System and method for gravimetry without use of an inertial reference
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN109615652A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种深度信息获取方法及装置
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109949219A (zh) * 2019-01-12 2019-06-28 深圳先进技术研究院 一种超分辨率图像的重构方法、装置及设备
CN109630905A (zh) * 2019-01-25 2019-04-16 电子科技大学 一种基于无人机遥感和深度学习的油气管道全智能巡检系统
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐贤伦 等: "基于条件深度卷积生成对抗网络的图像识别方法", 《自动化学报》 *
赛博智能: "基于条件生成对抗网络的遥感图像飞机型号识别", 《URL:HTTPS://KUAIBAO.QQ.COM/S/20181221G0JL5P00?REFER=SPIDER》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178401B (zh) * 2019-12-16 2023-09-12 上海航天控制技术研究所 一种基于多层对抗网络的空间目标分类方法
CN111178401A (zh) * 2019-12-16 2020-05-19 上海航天控制技术研究所 一种基于多层对抗网络的空间目标分类方法
CN111080524A (zh) * 2019-12-19 2020-04-28 吉林农业大学 基于深度学习的植物病虫害识别方法
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111145202B (zh) * 2019-12-31 2024-03-08 北京奇艺世纪科技有限公司 模型生成方法、图像处理方法、装置、设备及存储介质
CN111145202A (zh) * 2019-12-31 2020-05-12 北京奇艺世纪科技有限公司 模型生成方法、图像处理方法、装置、设备及存储介质
CN111310578B (zh) * 2020-01-17 2023-05-02 上海乐普云智科技股份有限公司 一种心搏数据样本分类网络的生成方法和装置
CN111310578A (zh) * 2020-01-17 2020-06-19 上海优加利健康管理有限公司 一种心搏数据样本分类网络的生成方法和装置
CN111340754A (zh) * 2020-01-18 2020-06-26 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN111340754B (zh) * 2020-01-18 2023-08-25 中国人民解放军国防科技大学 一种基于飞机蒙皮表面缺陷检测和分类的方法
CN113157760A (zh) * 2020-01-22 2021-07-23 阿里巴巴集团控股有限公司 目标数据确定方法及装置
CN111368790A (zh) * 2020-03-18 2020-07-03 北京三快在线科技有限公司 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN111539337A (zh) * 2020-04-26 2020-08-14 上海眼控科技股份有限公司 车辆姿态矫正方法、装置及设备
CN111524135A (zh) * 2020-05-11 2020-08-11 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111524135B (zh) * 2020-05-11 2023-12-26 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN112101282B (zh) * 2020-09-25 2024-04-26 北京瞰天科技有限公司 水上目标识别方法、装置及电子设备和存储介质
CN112101282A (zh) * 2020-09-25 2020-12-18 北京瞰天科技有限公司 水上目标识别方法、装置及电子设备和存储介质
CN112509384A (zh) * 2021-02-03 2021-03-16 深圳协鑫智慧能源有限公司 一种基于智慧路灯的飞行器管制方法及智慧路灯
CN113223059A (zh) * 2021-05-17 2021-08-06 浙江大学 基于超分辨率特征增强的弱小空域目标检测方法
CN113344110A (zh) * 2021-06-26 2021-09-03 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113344110B (zh) * 2021-06-26 2024-04-05 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113538247A (zh) * 2021-08-12 2021-10-22 中国科学院空天信息创新研究院 超分辨率生成与条件对抗网络遥感影像样本生成方法
CN113780476A (zh) * 2021-10-09 2021-12-10 中国铁建重工集团股份有限公司 一种岩渣特征检测模型训练方法、装置、设备及介质
CN114782801B (zh) * 2022-03-01 2023-01-10 泰瑞数创科技(北京)股份有限公司 一种基于机器学习的控制点自动布设方法及装置
CN114782801A (zh) * 2022-03-01 2022-07-22 泰瑞数创科技(北京)有限公司 一种基于机器学习的控制点自动布设方法及装置
WO2024066044A1 (zh) * 2022-09-27 2024-04-04 深圳先进技术研究院 基于超分辨率重建的危险行为识别方法、系统及相关设备
CN116681731A (zh) * 2023-08-02 2023-09-01 北京观微科技有限公司 目标物体追踪方法、装置、电子设备及存储介质
CN116681731B (zh) * 2023-08-02 2023-10-20 北京观微科技有限公司 目标物体追踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110490802B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN110490802A (zh) 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN107437092B (zh) 基于三维卷积神经网络的视网膜oct图像的分类方法
CN109948693A (zh) 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN105184309B (zh) 基于cnn和svm的极化sar图像分类
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
CN108171698A (zh) 一种自动检测人体心脏冠脉钙化斑块的方法
CN108921058A (zh) 基于深度学习的鱼类识别方法、介质、终端设备及装置
CN108765408A (zh) 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109741331A (zh) 一种图像前景物体分割方法
CN106940816A (zh) 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN109801292A (zh) 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN107316066A (zh) 基于多通路卷积神经网络的图像分类方法及系统
CN110298231A (zh) 一种用于篮球比赛视频进球判定的方法及系统
CN110097145A (zh) 一种基于cnn和特征金字塔的交通违禁品识别方法
CN107463954B (zh) 一种模糊异谱图像的模板匹配识别方法
CN110516605A (zh) 基于级联神经网络的任意方向舰船目标检测方法
CN108717524A (zh) 一种基于双摄手机和人工智能系统的手势识别系统及方法
CN110443763A (zh) 一种基于卷积神经网络的图像阴影去除方法
CN111062441A (zh) 基于自监督机制和区域建议网络的场景分类方法及装置
CN110222604A (zh) 基于共享卷积神经网络的目标识别方法和装置
CN108229576A (zh) 一种跨倍率病理图像特征学习方法
CN110363770A (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN108460758A (zh) 肺结节检测模型的构建方法
CN112417990A (zh) 一种考试学生违规行为识别方法及系统
CN110533113A (zh) 一种数字图像中树状结构的分支点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Wang Lei

Inventor after: Yu Jintao

Inventor after: Wang Hanchen

Inventor before: Wang Lei

Inventor before: Yu Jintao

Inventor before: Guo Haitao

Inventor before: Wang Hanchen

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant