CN112651329B - 一种双流特征学习生成对抗网络的低分辨率船舶分类方法 - Google Patents

一种双流特征学习生成对抗网络的低分辨率船舶分类方法 Download PDF

Info

Publication number
CN112651329B
CN112651329B CN202011536094.6A CN202011536094A CN112651329B CN 112651329 B CN112651329 B CN 112651329B CN 202011536094 A CN202011536094 A CN 202011536094A CN 112651329 B CN112651329 B CN 112651329B
Authority
CN
China
Prior art keywords
low
image
resolution
ship
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011536094.6A
Other languages
English (en)
Other versions
CN112651329A (zh
Inventor
王栋
郗岳
寇雅楠
郑江滨
李学仁
潘勃
李秋妮
孙曜
范晓宸
刘德阳
冯军美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Engineering University of PLA
Original Assignee
Air Force Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Engineering University of PLA filed Critical Air Force Engineering University of PLA
Priority to CN202011536094.6A priority Critical patent/CN112651329B/zh
Publication of CN112651329A publication Critical patent/CN112651329A/zh
Application granted granted Critical
Publication of CN112651329B publication Critical patent/CN112651329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种双流特征学习生成对抗网络的低分辨率船舶分类方法，包括步骤：一、建立船舶图像训练集；二、构建并训练集高频和低频图像分解器为一体的双流通道图像分解器；三、优化基于特征学习的生成对抗网络；四、训练船舶分类器；五、低分辨率船舶图像的高低频分量分解、增强、拼接及分类。本发明针对低分辨率船舶图像信息匮乏的问题，提出了双流特征学习生成对抗网络的船舶图像分类方法，解决了船舶图像在降采样过程中高频分量和低频分量损失不一致的问题，通过高分辨率图像引导，构建双流通道图像分解器，生成增强的图像特征，通过图像拼接，保留几乎所有的输入图像内容，完成低分辨率船舶分类任务,分类效果好。

Description

一种双流特征学习生成对抗网络的低分辨率船舶分类方法
技术领域
本发明属于低分辨率船舶分类技术领域，具体涉及一种双流特征学习生成对抗网络的低分辨率船舶分类方法。
背景技术
深度学习技术极大地促进了目标识别的发展，例如ResNet，DenseNet和SeNet。对感兴趣区域进行抽象的表示并进行分类。这类模型能够处理具有丰富细节的图像，然而在处理分辨率极低的对象时表现欠佳。但是，在许多计算机视觉的应用中，远距离的物体十分普遍的存在，包括卫星地视观测，无人机视频监控系统，以及隐私保护的视频分析。
低分辨率船舶分类就是对低分辨率的船舶图像进行分类。该任务通常被认为是一项非常具有挑战性的任务，因为低分辨率图像本身的信息量十分匮乏，深度学习算法很难对该类图像提取有效的特征。相关工作表明，32×32分辨率的人脸区域是有效识别的最小尺寸。总之，高分辨率图像分类可以达到较高的分类精度，低分辨率物体识别的性能较低，解决方案仍然很欠缺。
目前，低分辨率图像的分类研究主要在低分辨率行为识别与人脸识别中展开。分类方法尝试通过使用判别学习，来识别低分辨率图像的人脸。还有提出蒸馏知识的模型，这个模型由高分辨率图像的教师网络和低分辨率图像的学生网络组成，有选择地提取最有信息的表示以改善低分辨率图像的特征。在保护隐私的人体行为识别方面，有人提出了全耦合双流时空架构，以提取时空特征，然后将其聚合为鲁棒的特征，用于人体行为识别。还有人提出了一种基于双流multi-Siamese的CNNs，将多分辨率的图像嵌入到相同的特征空间中，用于人体行为识别。
目前已有的低分辨率图像分类方法有两类。第一类，基于超分辨率重建的低分辨率物体识别方法；第二类，基于特征变换的低分辨率物体识别方法。第一类分类方法在识别或者分类之前，基于图像重建的方法尝试重建高分辨率图像的感兴趣区域。在这类模型中的每一个，都提出了基于关系的超分辨率重建技术，并且它学习了高分辨率图像空间与低分辨率图像空间之间的关系。还有提出了一种跨域图像超分网络，用来恢复图像细节，并增强低分辨率图像的质量。还有从低分辨率图像生成了逼真的高分辨图像，用于分类任务的图像。但是，该技术的主要缺点是上述方法是重建出来的超分辨率图像可能包含严重的失真区域，尤其是当原始低分辨率图像分辨率十分低的时候。也就是说，低分辨率图像中严重的信息损失，使基于CNNs的分类器无法从低分辨率图像提取可以识别特征。此外，这类方法通常会导致大量的计算和内存消耗。另外，他们未针对识别进行优化。
第二类分类方法直接将低分辨率图像特征与相应的高分辨率图像特征同时映射至公共子空间中，最小化两个特征图之间的距离。有人提出了通过多尺度共享特征的判别学习，用来解决低分辨率图像的行人重识别的问题。有人使用深度学习，来解决极低分辨率图像的识别问题。有人提出了一种深度耦合的ResNet，该方法通过在枝干网络中不同分辨率下的人脸图像，提取了判别式。有人提出了一种通过耦合学习稀疏图像变换的算法，来学习高分辨率图像和低分辨率图像空间的图像对的稀疏图像变换。还有人建议多任务深度模型，可同时学习人脸超分辨率和人脸使用生成对抗网络进行面部关键部位定位的训练。该类方法的缺陷在于如何构造有效的公共子空间，使得投影后的样本的相对距离与原始空间接近。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种双流特征学习生成对抗网络的低分辨率船舶分类方法，通过根据高分辨率图像的引导，构建并训练双流通道图像分解器，完成低分辨率船舶分类任务，通过恢复降采样过程中分别在高频分量和低频分量丢失的信息，生成增强的图像特征，解决高频分量和低频分量不一致问题，最后通过实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接，保留几乎所有的输入图像内容，从而可以有效的进行后期的分类任务，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于，该方法包括以下步骤：
步骤一、建立船舶图像训练集：在HRSC数据集中选取多种不同类型船型的多张高分辨率船舶图像组成高分辨率船舶图像集，所述高分辨率船舶图像集中图像数量不少于500张，对高分辨率船舶图像集中每张高分辨率船舶图像进行低分辨率处理，得到每张高分辨率船舶图像对应的低分辨率船舶图像，多张高分辨率船舶图像和其对应的低分辨率船舶图像构成船舶图像训练集；
所述船舶图像训练集中每张高分辨率船舶图像和其对应的低分辨率船舶图像组成一组船舶图像训练组；
步骤二、构建并训练双流通道图像分解器，过程如下：
步骤201、构建集高频图像分解器和低频图像分解器为一体的双流通道图像分解器φ，同时构建对高频分量进行重构的高频解码器
Figure BDA0002853537840000031
和对低频分量进行重构的低频解码器
Figure BDA0002853537840000032
并对双流通道图像分解器φ、高频解码器
Figure BDA0002853537840000033
和低频解码器
Figure BDA0002853537840000034
进行初始化；
其中，双流通道图像分解器φ、高频解码器
Figure BDA0002853537840000035
和低频解码器
Figure BDA0002853537840000036
构成双流通道图像分解模型；
步骤202、调取船舶图像训练集中的图像，先将每张图像送入双流通道图像分解器φ中对其进行分解，得到每张图像对应的高频图像hH和低频图像hL；再利用高频解码器
Figure BDA0002853537840000037
对每张图像对应的高频图像hH进行重构，利用低频解码器
Figure BDA0002853537840000038
对每张图像对应的低频图像hL进行重构；
步骤203、根据公式ξ＝λ1ξrec+λ2ξe，计算双流通道图像分解模型的损失目标函数ξ，其中，ξrec为最小化重构损失函数且
Figure BDA0002853537840000041
x为船舶图像训练集中的任一图像的像素矩阵，x'H为x的高频分量重构像素矩阵，x'L为x的低频分量重构像素矩阵，||·||2为二范数；ξe为能量损失函数且
Figure BDA0002853537840000042
λ1为ξrec的权重系数，λ2为ξe的权重系数且λ1+λ2＝1；
步骤204、当ξ的值落入损失目标阈值区间内时，双流通道图像分解模型训练完成，获取训练好的双流通道图像分解器φ；
步骤三、优化基于特征学习的生成对抗网络，过程如下：
步骤301、第i组船舶图像训练组的分解，过程如下：
步骤3011、调取第i组船舶图像训练组，利用训练好的双流通道图像分解器φ对其中的高分辨率船舶图像进行分解，得到高分辨率高频分量船舶图像pH和高分辨率低频分量船舶图像pL；其中，i为船舶图像训练组编号且i＝1，2，…，I，I为船舶图像训练集中船舶图像训练组的总组数；
利用训练好的双流通道图像分解器φ对其中的低分辨率船舶图像进行分解，得到低分辨率高频分量船舶图像qH和低分辨率低频分量船舶图像qL；将低分辨率高频分量船舶图像qH送入到生成对抗网络的高频生成器
Figure BDA0002853537840000043
中，得到低分辨率高频分量船舶图像qH的训练增强图像，其中，生成对抗网络的高频生成器
Figure BDA0002853537840000044
的权重参数集合为θ1；将低分辨率低频分量船舶图像qL送入到生成对抗网络的低频生成器
Figure BDA0002853537840000045
中，得到低分辨率低频分量船舶图像qL的训练增强图像，其中，生成对抗网络的低频生成器
Figure BDA0002853537840000046
的权重参数集合为θ2；
生成对抗网络的高频生成器
Figure BDA0002853537840000047
和生成对抗网络的低频生成器
Figure BDA0002853537840000048
均依次由9×9的卷积层、1×1的卷积层、多个残差块和平均池化层构成；
步骤3012、将高分辨率高频分量船舶图像pH和低分辨率高频分量船舶图像qH的训练增强图像送入到生成对抗网络的高频判别器
Figure BDA0002853537840000049
中，获取高分辨率高频分量船舶图像pH的真伪值和低分辨率高频分量船舶图像qH的训练增强图像的真伪值，其中，生成对抗网络的高频判别器
Figure BDA00028535378400000410
的权重参数集合为θ3；
将高分辨率低频分量船舶图像pL和低分辨率低频分量船舶图像qL的训练增强图像送入到生成对抗网络的低频判别器
Figure BDA0002853537840000051
中，获取高分辨率低频分量船舶图像pL的真伪值和低分辨率低频分量船舶图像qL的训练增强图像的真伪值，其中，生成对抗网络的低频判别器
Figure BDA0002853537840000052
的权重参数集合为θ4；
生成对抗网络的高频判别器
Figure BDA0002853537840000053
和生成对抗网络的低频判别器
Figure BDA0002853537840000054
均由多个卷积块构成；
步骤302、计算双参数损失目标函数：
根据公式
Figure BDA0002853537840000055
计算高频分量船舶图像的双参数损失目标函数
Figure BDA0002853537840000056
Figure BDA0002853537840000057
为高分辨率高频分量船舶图像pH的期望，
Figure BDA0002853537840000058
为低分辨率高频分量船舶图像qH的期望；
根据公式
Figure BDA0002853537840000059
计算低频分量船舶图像的双参数损失目标函数
Figure BDA00028535378400000510
Figure BDA00028535378400000511
为高分辨率低频分量船舶图像pL的期望，
Figure BDA00028535378400000512
为低分辨率低频分量船舶图像qL的期望；
步骤303、更新权重参数集合：将高频分量船舶图像的双参数损失目标函数
Figure BDA00028535378400000513
和低频分量船舶图像的双参数损失目标函数
Figure BDA00028535378400000514
分别送入优化器，对步骤四中的对抗网络的高频生成器
Figure BDA00028535378400000515
的权重参数集合θ1、生成对抗网络的低频生成器
Figure BDA00028535378400000516
的权重参数集合θ2、生成对抗网络的高频判别器
Figure BDA00028535378400000518
的权重参数集合θ3、生成对抗网络的低频判别器
Figure BDA00028535378400000517
的权重参数集合为θ4进行更新；
步骤304、调取新的船舶图像训练组，循环步骤301至步骤303，直至高分辨率高频分量船舶图像pH的真伪值和高分辨率低频分量船舶图像pL的真伪值满足第一真伪值阈值范围要求，低分辨率高频分量船舶图像qH的训练增强图像的真伪值和低分辨率低频分量船舶图像qL的训练增强图像的真伪值满足第二真伪值阈值范围要求，此时，确定对抗网络的高频生成器
Figure BDA0002853537840000061
的权重参数集合θ1的训练结果和生成对抗网络的低频生成器
Figure BDA0002853537840000062
的权重参数集合θ2的训练结果，进而确定对抗网络的高频生成器
Figure BDA0002853537840000063
的训练结果和生成对抗网络的低频生成器
Figure BDA0002853537840000064
的训练结果；
步骤四、训练船舶分类器：利用船舶图像训练集训练船舶分类器；
步骤五、低分辨率船舶图像的高低频分量分解、增强、拼接及分类，过程如下：
步骤501、低分辨率船舶图像的高低频分解及其增强：利用训练好的双流通道图像分解器φ对低分辨率船舶图像进行分解，得到实际低分辨率高频分量船舶图像和实际低分辨率低频分量船舶图像；将实际低分辨率高频分量船舶图像送入到训练好的生成对抗网络的高频生成器
Figure BDA0002853537840000065
中，得到实际低分辨率高频分量船舶图像的训练增强图像，将实际低分辨率低频分量船舶图像送入到训练好的生成对抗网络的低频生成器
Figure BDA0002853537840000066
中，得到实际低分辨率低频分量船舶图像的训练增强图像；
步骤502、实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接；
步骤503、低分辨率船舶图像分类：将拼接后的图像送入训练好的船舶分类器中对低分辨率船舶图像进行分类。
上述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：所述船型包括游轮、货船、集装箱船、油船、客船。
上述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：步骤四中，所述船舶分类器包括AlexNet分类器、ResNet分类器、GoogleNet分类器、DenseNet分类器。
上述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：步骤204中，损失目标阈值区间为0～0.01。
上述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：步骤304中，第一真伪值阈值范围为0.9～1；第二真伪值阈值范围为0～0.1。
上述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：所述残差块包含依次运算的卷积、第一激活函数、批规范化操作；所述第一激活函数包括PReLU激活函数。
上述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：所述卷积块包含依次运算的卷积、第二激活函数；所述第二激活函数包括LeakyReLU激活函数。
本发明与现有技术相比具有以下优点：
1、本发明通过对高分辨率船舶图像集中每张高分辨率船舶图像进行低分辨率处理，得到每张高分辨率船舶图像对应的低分辨率船舶图像，将多张高分辨率船舶图像和其对应的低分辨率船舶图像构成船舶图像训练集，所述船舶图像训练集中每张高分辨率船舶图像和其对应的低分辨率船舶图像组成一组船舶图像训练组，解决数据库创建具有合理船舶个数和精细化类别标注的数据集难获取的障碍，便于推广使用。
2、本发明通过根据高分辨率图像的引导，构建并训练双流通道图像分解器，完成低分辨率船舶分类任务，通过恢复降采样过程中分别在高频分量和低频分量丢失的信息，生成增强的图像特征，解决高频分量和低频分量不一致问题，可靠稳定，使用效果好。
3、本发明方法步骤简单，通过生成对抗网络的高频判别器
Figure BDA0002853537840000071
训练对抗网络的高频生成器
Figure BDA0002853537840000072
通过生成对抗网络的低频判别器
Figure BDA0002853537840000073
训练生成对抗网络的低频生成器
Figure BDA0002853537840000074
最后通过实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接，保留几乎所有的输入图像内容，从而可以有效的进行后期的分类任务，便于推广使用。
综上所述，本发明通过根据高分辨率图像的引导，构建并训练双流通道图像分解器，完成低分辨率船舶分类任务，通过恢复降采样过程中分别在高频分量和低频分量丢失的信息，生成增强的图像特征，解决高频分量和低频分量不一致问题，最后通过实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接，保留几乎所有的输入图像内容，从而可以有效的进行后期的分类任务，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
具体实施方式
如图1所示，本发明的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，包括以下步骤：
步骤一、建立船舶图像训练集：在HRSC数据集中选取多种不同类型船型的多张高分辨率船舶图像组成高分辨率船舶图像集，所述高分辨率船舶图像集中图像数量不少于500张，对高分辨率船舶图像集中每张高分辨率船舶图像进行低分辨率处理，得到每张高分辨率船舶图像对应的低分辨率船舶图像，多张高分辨率船舶图像和其对应的低分辨率船舶图像构成船舶图像训练集；
所述船舶图像训练集中每张高分辨率船舶图像和其对应的低分辨率船舶图像组成一组船舶图像训练组；
本实施例中，所述船型包括游轮、货船、集装箱船、油船、客船。
需要说明的是，通过对高分辨率船舶图像集中每张高分辨率船舶图像进行低分辨率处理，得到每张高分辨率船舶图像对应的低分辨率船舶图像，将多张高分辨率船舶图像和其对应的低分辨率船舶图像构成船舶图像训练集，所述船舶图像训练集中每张高分辨率船舶图像和其对应的低分辨率船舶图像组成一组船舶图像训练组，解决数据库创建具有合理船舶个数和精细化类别标注的数据集难获取的障碍。
步骤二、构建并训练双流通道图像分解器，过程如下：
步骤201、构建集高频图像分解器和低频图像分解器为一体的双流通道图像分解器φ，同时构建对高频分量进行重构的高频解码器
Figure BDA0002853537840000091
和对低频分量进行重构的低频解码器
Figure BDA0002853537840000092
并对双流通道图像分解器φ、高频解码器
Figure BDA0002853537840000093
和低频解码器
Figure BDA0002853537840000094
进行初始化；
其中，双流通道图像分解器φ、高频解码器
Figure BDA0002853537840000095
和低频解码器
Figure BDA0002853537840000096
构成双流通道图像分解模型；
步骤202、调取船舶图像训练集中的图像，先将每张图像送入双流通道图像分解器φ中对其进行分解，得到每张图像对应的高频图像hH和低频图像hL；再利用高频解码器
Figure BDA0002853537840000097
对每张图像对应的高频图像hH进行重构，利用低频解码器
Figure BDA0002853537840000098
对每张图像对应的低频图像hL进行重构；
步骤203、根据公式ξ＝λ1ξrec+λ2ξe，计算双流通道图像分解模型的损失目标函数ξ，其中，ξrec为最小化重构损失函数且
Figure BDA0002853537840000099
x为船舶图像训练集中的任一图像的像素矩阵，x'H为x的高频分量重构像素矩阵，x'L为x的低频分量重构像素矩阵，||·||2为二范数；ξe为能量损失函数且
Figure BDA00028535378400000910
λ1为ξrec的权重系数，λ2为ξe的权重系数且λ1+λ2＝1；
步骤204、当ξ的值落入损失目标阈值区间内时，双流通道图像分解模型训练完成，获取训练好的双流通道图像分解器φ；
本实施例中，步骤204中，损失目标阈值区间为0～0.01。
需要说明的是，通过根据高分辨率图像的引导，构建双流通道图像分解器并训练双流通道图像分解器，完成低分辨率船舶分类任务，通过恢复降采样过程中分别在高频分量和低频分量丢失的信息，生成增强的图像特征，解决高频分量和低频分量不一致问题。双流通道图像分解器φ、高频解码器
Figure BDA00028535378400000911
和低频解码器
Figure BDA00028535378400000912
构成双流通道图像分解模型；双流通道图像分解模型使用中，经过图像分解过程后，该模型必须保留原始输入图像的大部分内容，高频解码器
Figure BDA00028535378400000913
和低频解码器
Figure BDA00028535378400000914
重构原始输入图像。
步骤三、优化基于特征学习的生成对抗网络，过程如下：
步骤301、第i组船舶图像训练组的分解，过程如下：
步骤3011、调取第i组船舶图像训练组，利用训练好的双流通道图像分解器φ对其中的高分辨率船舶图像进行分解，得到高分辨率高频分量船舶图像pH和高分辨率低频分量船舶图像pL；其中，i为船舶图像训练组编号且i＝1，2，…，I，I为船舶图像训练集中船舶图像训练组的总组数；
利用训练好的双流通道图像分解器φ对其中的低分辨率船舶图像进行分解，得到低分辨率高频分量船舶图像qH和低分辨率低频分量船舶图像qL；将低分辨率高频分量船舶图像qH送入到生成对抗网络的高频生成器
Figure BDA0002853537840000101
中，得到低分辨率高频分量船舶图像qH的训练增强图像，其中，生成对抗网络的高频生成器
Figure BDA0002853537840000102
的权重参数集合为θ1；将低分辨率低频分量船舶图像qL送入到生成对抗网络的低频生成器
Figure BDA0002853537840000103
中，得到低分辨率低频分量船舶图像qL的训练增强图像，其中，生成对抗网络的低频生成器
Figure BDA0002853537840000104
的权重参数集合为θ2；
生成对抗网络的高频生成器
Figure BDA0002853537840000105
和生成对抗网络的低频生成器
Figure BDA0002853537840000106
均依次由9×9的卷积层、1×1的卷积层、多个残差块和平均池化层构成；
本实施例中，所述残差块包含依次运算的卷积、第一激活函数、批规范化操作；所述第一激活函数包括PReLU激活函数。
需要说明的是，残差块中卷积的卷积核为3×3，生成对抗网络的高频生成器
Figure BDA0002853537840000107
和生成对抗网络的低频生成器
Figure BDA0002853537840000108
中平均池化层重新调整残差块的输出尺寸，使得和输入图像尺寸保持一致。最终，生成器将输入的特征增强，用于最终的低分辨率船舶分类。
步骤3012、将高分辨率高频分量船舶图像pH和低分辨率高频分量船舶图像qH的训练增强图像送入到生成对抗网络的高频判别器
Figure BDA0002853537840000109
中，获取高分辨率高频分量船舶图像pH的真伪值和低分辨率高频分量船舶图像qH的训练增强图像的真伪值，其中，生成对抗网络的高频判别器
Figure BDA00028535378400001010
的权重参数集合为θ3；
将高分辨率低频分量船舶图像pL和低分辨率低频分量船舶图像qL的训练增强图像送入到生成对抗网络的低频判别器
Figure BDA00028535378400001011
中，获取高分辨率低频分量船舶图像pL的真伪值和低分辨率低频分量船舶图像qL的训练增强图像的真伪值，其中，生成对抗网络的低频判别器
Figure BDA0002853537840000111
的权重参数集合为θ4；
生成对抗网络的高频判别器
Figure BDA0002853537840000112
和生成对抗网络的低频判别器
Figure BDA0002853537840000113
均由多个卷积块构成；
本实施例中，所述卷积块包含依次运算的卷积、第二激活函数；所述第二激活函数包括LeakyReLU激活函数。
步骤302、计算双参数损失目标函数：
根据公式
Figure BDA0002853537840000114
计算高频分量船舶图像的双参数损失目标函数
Figure BDA0002853537840000115
Figure BDA0002853537840000116
为高分辨率高频分量船舶图像pH的期望，
Figure BDA0002853537840000117
为低分辨率高频分量船舶图像qH的期望；
根据公式
Figure BDA0002853537840000118
计算低频分量船舶图像的双参数损失目标函数
Figure BDA0002853537840000119
Figure BDA00028535378400001110
为高分辨率低频分量船舶图像pL的期望，
Figure BDA00028535378400001111
为低分辨率低频分量船舶图像qL的期望；
步骤303、更新权重参数集合：将高频分量船舶图像的双参数损失目标函数
Figure BDA00028535378400001112
和低频分量船舶图像的双参数损失目标函数
Figure BDA00028535378400001113
分别送入优化器，对步骤四中的对抗网络的高频生成器
Figure BDA00028535378400001114
的权重参数集合θ1、生成对抗网络的低频生成器
Figure BDA00028535378400001115
的权重参数集合θ2、生成对抗网络的高频判别器
Figure BDA00028535378400001116
的权重参数集合θ3、生成对抗网络的低频判别器
Figure BDA00028535378400001117
的权重参数集合为θ4进行更新；
步骤304、调取新的船舶图像训练组，循环步骤301至步骤303，直至高分辨率高频分量船舶图像pH的真伪值和高分辨率低频分量船舶图像pL的真伪值满足第一真伪值阈值范围要求，低分辨率高频分量船舶图像qH的训练增强图像的真伪值和低分辨率低频分量船舶图像qL的训练增强图像的真伪值满足第二真伪值阈值范围要求，此时，确定对抗网络的高频生成器
Figure BDA0002853537840000121
的权重参数集合θ1的训练结果和生成对抗网络的低频生成器
Figure BDA0002853537840000122
的权重参数集合θ2的训练结果，进而确定对抗网络的高频生成器
Figure BDA0002853537840000123
的训练结果和生成对抗网络的低频生成器
Figure BDA0002853537840000124
的训练结果；
本实施例中，步骤304中，第一真伪值阈值范围为0.9～1；第二真伪值阈值范围为0～0.1。
需要说明的是，通过生成对抗网络的高频判别器
Figure BDA0002853537840000125
训练对抗网络的高频生成器
Figure BDA0002853537840000126
通过生成对抗网络的低频判别器
Figure BDA0002853537840000127
训练生成对抗网络的低频生成器
Figure BDA0002853537840000128
最后通过实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接，保留几乎所有的输入图像内容，从而可以有效的进行后期的分类任务。
步骤四、训练船舶分类器：利用船舶图像训练集训练船舶分类器；
本实施例中，步骤四中，所述船舶分类器包括AlexNet分类器、ResNet分类器、GoogleNet分类器、DenseNet分类器。
步骤五、低分辨率船舶图像的高低频分量分解、增强、拼接及分类，过程如下：
步骤501、低分辨率船舶图像的高低频分解及其增强：利用训练好的双流通道图像分解器φ对低分辨率船舶图像进行分解，得到实际低分辨率高频分量船舶图像和实际低分辨率低频分量船舶图像；将实际低分辨率高频分量船舶图像送入到训练好的生成对抗网络的高频生成器
Figure BDA0002853537840000129
中，得到实际低分辨率高频分量船舶图像的训练增强图像，将实际低分辨率低频分量船舶图像送入到训练好的生成对抗网络的低频生成器
Figure BDA00028535378400001210
中，得到实际低分辨率低频分量船舶图像的训练增强图像；
步骤502、实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接；
步骤503、低分辨率船舶图像分类：将拼接后的图像送入训练好的船舶分类器中对低分辨率船舶图像进行分类。
需要说明的是，步骤五中低分辨率船舶图像是指实际获取的低分辨率船舶图像，本发明通过根据高分辨率图像的引导，构建并训练双流通道图像分解器，完成低分辨率船舶分类任务，通过恢复降采样过程中分别在高频分量和低频分量丢失的信息，生成增强的图像特征，解决高频分量和低频分量不一致问题，最后通过实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接，保留几乎所有的输入图像内容，从而可以有效的进行后期的分类任务。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于，该方法包括以下步骤：
步骤一、建立船舶图像训练集：在HRSC数据集中选取多种不同类型船型的多张高分辨率船舶图像组成高分辨率船舶图像集，所述高分辨率船舶图像集中图像数量不少于500张，对高分辨率船舶图像集中每张高分辨率船舶图像进行低分辨率处理，得到每张高分辨率船舶图像对应的低分辨率船舶图像，多张高分辨率船舶图像和其对应的低分辨率船舶图像构成船舶图像训练集；
所述船舶图像训练集中每张高分辨率船舶图像和其对应的低分辨率船舶图像组成一组船舶图像训练组；
步骤二、构建并训练双流通道图像分解器，过程如下：
步骤201、构建集高频图像分解器和低频图像分解器为一体的双流通道图像分解器φ，同时构建对高频分量进行重构的高频解码器
Figure FDA0002853537830000011
和对低频分量进行重构的低频解码器
Figure FDA0002853537830000012
并对双流通道图像分解器φ、高频解码器
Figure FDA0002853537830000013
和低频解码器
Figure FDA0002853537830000014
进行初始化；
其中，双流通道图像分解器φ、高频解码器
Figure FDA0002853537830000015
和低频解码器
Figure FDA0002853537830000016
构成双流通道图像分解模型；
步骤202、调取船舶图像训练集中的图像，先将每张图像送入双流通道图像分解器φ中对其进行分解，得到每张图像对应的高频图像hH和低频图像hL；再利用高频解码器
Figure FDA0002853537830000017
对每张图像对应的高频图像hH进行重构，利用低频解码器
Figure FDA0002853537830000018
对每张图像对应的低频图像hL进行重构；
步骤203、根据公式ξ＝λ1ξrec+λ2ξe，计算双流通道图像分解模型的损失目标函数ξ，其中，ξrec为最小化重构损失函数且
Figure FDA0002853537830000019
x为船舶图像训练集中的任一图像的像素矩阵，x'H为x的高频分量重构像素矩阵，x'L为x的低频分量重构像素矩阵，||·||2为二范数；ξe为能量损失函数且
Figure FDA0002853537830000021
λ1为ξrec的权重系数，λ2为ξe的权重系数且λ1+λ2＝1；
步骤204、当ξ的值落入损失目标阈值区间内时，双流通道图像分解模型训练完成，获取训练好的双流通道图像分解器φ；
步骤三、优化基于特征学习的生成对抗网络，过程如下：
步骤301、第i组船舶图像训练组的分解，过程如下：
步骤3011、调取第i组船舶图像训练组，利用训练好的双流通道图像分解器φ对其中的高分辨率船舶图像进行分解，得到高分辨率高频分量船舶图像pH和高分辨率低频分量船舶图像pL；其中，i为船舶图像训练组编号且i＝1，2，…，I，I为船舶图像训练集中船舶图像训练组的总组数；
利用训练好的双流通道图像分解器φ对其中的低分辨率船舶图像进行分解，得到低分辨率高频分量船舶图像qH和低分辨率低频分量船舶图像qL；将低分辨率高频分量船舶图像qH送入到生成对抗网络的高频生成器
Figure FDA0002853537830000022
中，得到低分辨率高频分量船舶图像qH的训练增强图像，其中，生成对抗网络的高频生成器
Figure FDA0002853537830000023
的权重参数集合为θ1；将低分辨率低频分量船舶图像qL送入到生成对抗网络的低频生成器
Figure FDA0002853537830000024
中，得到低分辨率低频分量船舶图像qL的训练增强图像，其中，生成对抗网络的低频生成器
Figure FDA0002853537830000025
的权重参数集合为θ2；
生成对抗网络的高频生成器
Figure FDA0002853537830000026
和生成对抗网络的低频生成器
Figure FDA0002853537830000027
均依次由9×9的卷积层、1×1的卷积层、多个残差块和平均池化层构成；
步骤3012、将高分辨率高频分量船舶图像pH和低分辨率高频分量船舶图像qH的训练增强图像送入到生成对抗网络的高频判别器
Figure FDA0002853537830000028
中，获取高分辨率高频分量船舶图像pH的真伪值和低分辨率高频分量船舶图像qH的训练增强图像的真伪值，其中，生成对抗网络的高频判别器
Figure FDA0002853537830000029
的权重参数集合为θ3；
将高分辨率低频分量船舶图像pL和低分辨率低频分量船舶图像qL的训练增强图像送入到生成对抗网络的低频判别器
Figure FDA00028535378300000210
中，获取高分辨率低频分量船舶图像pL的真伪值和低分辨率低频分量船舶图像qL的训练增强图像的真伪值，其中，生成对抗网络的低频判别器
Figure FDA0002853537830000031
的权重参数集合为θ4；
生成对抗网络的高频判别器
Figure FDA0002853537830000032
和生成对抗网络的低频判别器
Figure FDA0002853537830000033
均由多个卷积块构成；
步骤302、计算双参数损失目标函数：
根据公式
Figure FDA0002853537830000034
计算高频分量船舶图像的双参数损失目标函数
Figure FDA0002853537830000035
Figure FDA0002853537830000036
为高分辨率高频分量船舶图像pH的期望，
Figure FDA0002853537830000037
为低分辨率高频分量船舶图像qH的期望；
根据公式
Figure FDA0002853537830000038
计算低频分量船舶图像的双参数损失目标函数
Figure FDA0002853537830000039
Figure FDA00028535378300000310
为高分辨率低频分量船舶图像pL的期望，
Figure FDA00028535378300000311
为低分辨率低频分量船舶图像qL的期望；
步骤303、更新权重参数集合：将高频分量船舶图像的双参数损失目标函数
Figure FDA00028535378300000312
和低频分量船舶图像的双参数损失目标函数
Figure FDA00028535378300000313
分别送入优化器，对步骤四中的对抗网络的高频生成器
Figure FDA00028535378300000314
的权重参数集合θ1、生成对抗网络的低频生成器
Figure FDA00028535378300000315
的权重参数集合θ2、生成对抗网络的高频判别器
Figure FDA00028535378300000316
的权重参数集合θ3、生成对抗网络的低频判别器
Figure FDA00028535378300000317
的权重参数集合为θ4进行更新；
步骤304、调取新的船舶图像训练组，循环步骤301至步骤303，直至高分辨率高频分量船舶图像pH的真伪值和高分辨率低频分量船舶图像pL的真伪值满足第一真伪值阈值范围要求，低分辨率高频分量船舶图像qH的训练增强图像的真伪值和低分辨率低频分量船舶图像qL的训练增强图像的真伪值满足第二真伪值阈值范围要求，此时，确定对抗网络的高频生成器
Figure FDA00028535378300000318
的权重参数集合θ1的训练结果和生成对抗网络的低频生成器
Figure FDA00028535378300000319
的权重参数集合θ2的训练结果，进而确定对抗网络的高频生成器
Figure FDA00028535378300000320
的训练结果和生成对抗网络的低频生成器
Figure FDA00028535378300000321
的训练结果；
步骤四、训练船舶分类器：利用船舶图像训练集训练船舶分类器；
步骤五、低分辨率船舶图像的高低频分量分解、增强、拼接及分类，过程如下：
步骤501、低分辨率船舶图像的高低频分解及其增强：利用训练好的双流通道图像分解器φ对低分辨率船舶图像进行分解，得到实际低分辨率高频分量船舶图像和实际低分辨率低频分量船舶图像；将实际低分辨率高频分量船舶图像送入到训练好的生成对抗网络的高频生成器
Figure FDA0002853537830000041
中，得到实际低分辨率高频分量船舶图像的训练增强图像，将实际低分辨率低频分量船舶图像送入到训练好的生成对抗网络的低频生成器
Figure FDA0002853537830000042
中，得到实际低分辨率低频分量船舶图像的训练增强图像；
步骤502、实际低分辨率高频分量船舶图像的训练增强图像和实际低分辨率低频分量船舶图像的训练增强图像的图像拼接；
步骤503、低分辨率船舶图像分类：将拼接后的图像送入训练好的船舶分类器中对低分辨率船舶图像进行分类。
2.按照权利要求1所述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：所述船型包括游轮、货船、集装箱船、油船、客船。
3.按照权利要求1所述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：步骤四中，所述船舶分类器包括AlexNet分类器、ResNet分类器、GoogleNet分类器、DenseNet分类器。
4.按照权利要求1所述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：步骤204中，损失目标阈值区间为0～0.01。
5.按照权利要求1所述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：步骤304中，第一真伪值阈值范围为0.9～1；第二真伪值阈值范围为0～0.1。
6.按照权利要求1所述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：所述残差块包含依次运算的卷积、第一激活函数、批规范化操作；所述第一激活函数包括PReLU激活函数。
7.按照权利要求1所述的一种双流特征学习生成对抗网络的低分辨率船舶分类方法，其特征在于：所述卷积块包含依次运算的卷积、第二激活函数；所述第二激活函数包括LeakyReLU激活函数。
CN202011536094.6A 2020-12-23 2020-12-23 一种双流特征学习生成对抗网络的低分辨率船舶分类方法 Active CN112651329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011536094.6A CN112651329B (zh) 2020-12-23 2020-12-23 一种双流特征学习生成对抗网络的低分辨率船舶分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011536094.6A CN112651329B (zh) 2020-12-23 2020-12-23 一种双流特征学习生成对抗网络的低分辨率船舶分类方法

Publications (2)

Publication Number Publication Date
CN112651329A CN112651329A (zh) 2021-04-13
CN112651329B true CN112651329B (zh) 2022-10-11

Family

ID=75360307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536094.6A Active CN112651329B (zh) 2020-12-23 2020-12-23 一种双流特征学习生成对抗网络的低分辨率船舶分类方法

Country Status (1)

Country Link
CN (1) CN112651329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538615B (zh) * 2021-06-29 2024-01-09 中国海洋大学 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于WGAN单帧人脸图像超分辨率算法;周传华等;《计算机技术与发展》;20200910(第09期);全文 *

Also Published As

Publication number Publication date
CN112651329A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
Jiao et al. A survey on the new generation of deep learning in image processing
Zhu et al. Deep learning meets SAR: Concepts, models, pitfalls, and perspectives
Zhu et al. Deep learning in remote sensing: A comprehensive review and list of resources
CN109754015B (zh) 用于画作多标签识别的神经网络及相关方法、介质和设备
CN110210422B (zh) 一种基于光学图像辅助的舰船isar像识别方法
CN113240047A (zh) 基于部件解析多尺度卷积神经网络的sar目标识别方法
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN109492610B (zh) 一种行人重识别方法、装置及可读存储介质
CN111325766A (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
Deepthi et al. Detection and classification of objects in satellite images using custom CNN
Li Image semantic segmentation method based on GAN network and ENet model
CN112651329B (zh) 一种双流特征学习生成对抗网络的低分辨率船舶分类方法
CN114972904A (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
Li et al. Image decomposition with multilabel context: Algorithms and applications
Kaur et al. A systematic review of object detection from images using deep learning
Melo et al. A fully convolutional network for signature segmentation from document images
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN112132145A (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
Song et al. HDTFF-Net: Hierarchical deep texture features fusion network for high-resolution remote sensing scene classification
Li et al. Fully convolutional SVM for car detection in UAV imagery
Jin et al. Improving the performance of deep learning model-based classification by the analysis of local probability
CN112597925B (zh) 手写字迹的识别/提取、擦除方法及擦除系统、电子设备
Nanthini et al. A Survey on Data Augmentation Techniques
Huang et al. Rotation and scale-invariant object detector for high resolution optical remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant