CN114202017A - 基于条件生成对抗网络的sar光学图像映射模型轻量化方法 - Google Patents

基于条件生成对抗网络的sar光学图像映射模型轻量化方法 Download PDF

Info

Publication number
CN114202017A
CN114202017A CN202111429672.0A CN202111429672A CN114202017A CN 114202017 A CN114202017 A CN 114202017A CN 202111429672 A CN202111429672 A CN 202111429672A CN 114202017 A CN114202017 A CN 114202017A
Authority
CN
China
Prior art keywords
network
image
sar
convolution
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111429672.0A
Other languages
English (en)
Inventor
余天柱
周建江
黄帆
蒋凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111429672.0A priority Critical patent/CN114202017A/zh
Publication of CN114202017A publication Critical patent/CN114202017A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，采用配对的SAR光学图像数据集在设计好的生成对抗网络进行充分训练，得到一个能将SAR图像映射到光学图像的生成网络，并将该生成网络作为教师网络，为学生网络提供先验知识；将教师网络的生成网络中残差映射模块的标准卷积替换为深度可分离卷积，将其作为包含所有子网结果的超网，采用知识蒸馏的方法进行充分训练，得到预蒸馏超网；采用权重共享的方式训练预蒸馏超网中所有子网，更新各个子网的参数；采用遗传算法搜索出超网中最佳子网结构；将最佳的子网结构在数据集上进行微调。本发明解决了SAR图像和光学图像间差异过大，生成对抗网络训练不稳定的问题。

Description

基于条件生成对抗网络的SAR光学图像映射模型轻量化方法
技术领域
本发明属于模型压缩领域，具体涉及一种基于条件生成对抗网络的SAR光学图像映射模型轻量化方法。
背景技术
近几年来遥感技术不断发展，合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种重要的对地观测手段被不断应用，得益于其采用微波波段，可以全天时全天候探测，然而由于其特殊的成像机理，获得的SAR图像难以辨认；光学遥感虽然受制于天气与光照，但其成像结果易于识别，因此能将易获取的SAR图像映射到易识别的光学图像将会有重大意义。
生成对抗网络(GAN)在多个领域取得成果，现在以及成为生成任务的首选方法。正如生成对抗网络的名称所示，该方法是生成模型，主要用于生成符合目标分布的数据；对抗二字指的是该方法所包含的生成器与鉴别器相互博弈，生成器要生成更好的数据，鉴别器要更好的判别生成数据的真实性，二者相互对抗，相互促进，以此来获得更好的生成目标数据。但是，常规生成对抗网络忽略了SAR图像与普通光学图像间巨大的特征差异以及SAR图像中包含的大量高频乘性噪声，往往不能取得满意的结果。
条件生成对抗网络在SAR图像到光学图像映射任务中取得了良好的表现，其网络结构的参数量较大，仅考虑其生成器的情况下计算量比一些实际部署使用目标识别网络高出一个数量级。由于生成对抗网络包含生成器和鉴别器，训练过程相较于常规卷积神经网络不稳定以及SAR图像本身的特殊性，直接采用卷积神经网络的常用压缩方法会得到较差的结果。本专利采用神经架构搜索进行通道剪枝，并辅以知识蒸馏操作来解决差异过大以及训练不稳定的问题。
发明内容
发明目的：本发明提出一种基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，采用神经架构搜索进行通道剪枝，并辅以知识蒸馏操作，解决SAR图像和光学图像间差异过大，生成对抗网络训练不稳定等问题，在不损失性能情况下压缩参数的方法。
技术方案：本发明所述的一种基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，包括以下步骤：
(1)构建包括鉴别网络和生成网络的生成对抗网络，采用配对的SAR光学图像数据集对生成对抗网络进行训练，得到一个能将SAR图像映射到光学图像的生成网络，并将该生成网络作为教师网络，为学生网络提供先验知识；
(2)将生成网络中残差映射模块的标准卷积替换为深度可分离卷积，将其作为包含所有子网结果的超网，超网将作为学生网络接收教师网络的知识，采用知识蒸馏的方法进行充分训练，得到预蒸馏超网；
(3)采用权重共享的方式训练预蒸馏超网中所有子网，更新各个子网的参数，使得各个子网都能有良好性能；
(4)采用遗传算法搜索出超网中最佳子网结构；
(5)将最佳的子网结构在数据集上进行微调，加载原先训练参数，针对该结构进一步训练，提升生成对抗网络性能。
进一步地，步骤(1)所述生成网络包括编码模块、解码模块和残差映射模块；所述编码模块由五个相同结构的子单元构成，每个单元由卷积、实例标准化、修正整流单元构成，输入图像经过四次下采样后获得图像特征张量；所述残差映射模块结合了残差学习机制，加深网络深度，获得更好的特征表示；所述解码模块将映射模块完成的光学特征解码为生成图像，包含了四个转置卷积模块与一个卷积模块；所述转置卷积对输入张量进行上采样，经过四次转置卷积操作，达到与输入图像相同的长宽；所述鉴别网络采用了多尺度鉴别器与PatchGAN技术，多尺度鉴别器包含结构相同的高分辨率鉴别器与低分辨率鉴别器，原输入图像与下采样图像分别送入二者，然后得到高分辨率图像与低分辨率图像的鉴别结果；PatchGAN技术表现去掉常规鉴别器的全连接层，对图像中每个N×N大小的区域独立的真实性来取代整体的判决结果。
进一步地，步骤(1)所述生成对抗网络的损失函数由以下公式描述：
minGmaxDL(D,G)＝minGmaxD(LGAN+λVGGLVGG+λDCTLDCT)
其中，LGAN，LVGG，LDCT分别为对抗损失函数，神经网络特征匹配函数，离散余弦损失函数，λVGG和λDCT分别为神经网络特征匹配函数，离散余弦损失函数的权重；
所述对抗损失函数描述为：
LGAN(X,Y)＝E(X,Y)[logD(X,Y)]+EX[log(1-D(X,G(X)))]
其中，X为输入SAR图像，Y为真实光学图像，G(·)为生成器，D(·)为鉴别器，E代表了求其数学期望；
所述，神经网络特征匹配函数可以由以下公式描述
Figure BDA0003379793300000031
其中，φi(·)为VGG19网络为第i个最大池化层的输出特征图，λi，Hi，Wi，Ci分别为第i个最大池化输出的权重值以及长、宽以及通道数，||·||1代表L1范数；
所述离散余弦损失函数描述为：
LDCT(X,Y)＝||DCT(G(X))-DCT(Y)||1
其中，DCT(·)为离散余弦变换。
进一步地，步骤(2)所述的知识蒸馏过程为：
Figure BDA0003379793300000032
其中，x为网络输入，即为输入SAR图像，fk为第k个通道转化卷积模块，
Figure BDA0003379793300000037
为学生网络第k个中间特征输出，
Figure BDA0003379793300000036
为教师网络第k个中间特征输出，同时采用了L2范数来拉近学生网络与教师网络的中间层输出特征距离；
故生成对抗网络训练整体的损失函数为：
minGmaxDL(D,G)＝minGmaxD(LGAN+λVGGLVGG+λDCTLDCT+λdistilLdistil)
其中，Ldistil为知识蒸馏损失函数，λdistil为知识蒸馏损失函数的权重系数。
进一步地，所述步骤(3)实现过程如下：
超网中包含了所有子网参数，子网间的差异仅存在于各个卷积层的通道数，是所有子网构成的集合；若超网的第一个卷积层的通道数为C1，任意子网对应卷积层通道数为
Figure BDA0003379793300000033
那么
Figure BDA0003379793300000034
且超网对应的卷积层的前
Figure BDA0003379793300000035
个通道权重为该子网的权重；每次训练时随机采样一个子网进行前向推理与反向传播，仅更新该子网参数；由于子网间参数存在耦合，其他子网的部分参数也会随之更新。
进一步地，所述步骤(4)实现过程如下：
(41)从超网所包含所有子网结构中随机选取P个子网作为第一个种群；
(42)采用FID图像质量评价指标作为适应度函数，来评估种群中所有子网生成图像的质量，并选出其中表现最好的S个子网结构，其中S小于P，作为下个种群的父母，淘汰性能未过关的结构；
(43)在S个选取出的子网结构中随机选取数对父母产生后代，加入种群；
(44)在新种群中随机选择数个子网进行变异操作，产生的新结构加入种群；
(45)重复步骤(42)到(44)直到完成预设的终止条件，然后从最终的种群中选取表现最好的子网作为最终结果。
有益效果：与现有技术相比，本发明的有益效果：本发明针对SAR图像的物理特性，生成对抗网络结构特性，采用神经架构搜索进行通道剪枝，并辅以知识蒸馏操作，可以解决SAR图像和光学图像间差异过大，生成对抗网络训练不稳定等问题，最终在不损失性能情况下压缩网络参数。
附图说明
图1是基于条件生成对抗网络的SAR-光学图像映射模型轻量化模型框架；
图2是本发明中逐深度卷积内部结构示意图；
图3是本发明中知识蒸馏结构示意图；
图4是本发明中共享权重训练结构示意图；
图5是本发明中遗传算法流程图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
本发明基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，主要包含预训练，预蒸馏，权值共享训练，搜索子结构和微调子网过程，如图1所示，具体过程如下：
步骤1：构建包括鉴别网络和生成网络的生成对抗网络，采用配对的SAR光学图像数据集对生成对抗网络进行训练，得到一个能将SAR图像映射到光学图像的生成网络，并将该生成网络作为教师网络，为学生网络提供先验知识。
其中采用了针对SAR图像特征机制而设计的损失函数，具体的可由以下公式描述：
minGmaxDL(D,G)＝minGmaxD(LGAN+λVGGLVGG+λDCTLDCT)
其中，LGAN，LVGG，LDCT分别为对抗损失函数，神经网络特征匹配函数，离散余弦损失函数，λVGG和λDCT分别为神经网络特征匹配函数，离散余弦损失函数的权重。
对抗损失函数可以由以下公式描述：
LGAN(X,Y)＝E(X,Y)[logD(X,Y)]+EX[log(1-D(X,G(X)))]
其中，X为输入SAR图像，Y为真实光学图像，G(·)为生成器，D(·)为鉴别器，E代表了求其数学期望。
神经网络特征匹配函数可以由以下公式描述：
Figure BDA0003379793300000051
其中，φi(·)为VGG19网络为第i个最大池化层的输出特征图，λi，Hi，Wi，Ci分别为第i个最大池化输出的权重值以及长、宽以及通道数，||·||1代表L1范数。
离散余弦损失函数可以描述为：
LDCT(X,Y)＝||DCT(G(X))-DCT(Y)||1
其中，DCT(·)为离散余弦变换。
生成网络包含编码，解码和映射三个模块。编码模块由五个相同结构的子单元构成，每个单元由卷积，实例标准化(Instance Normalization)，修正整流单元(ReLU)构成。输入图像经过四次下采样后获得获得图像特征张量。残差映射模块9个相同的子单元，结合了残差学习机制，加深网络深度，获得更好的特征表示。解码模块将映射完成的光学特征解码为生成图像，它包含了四个转置卷积模块与一个卷积模块。转置卷积模块除了将卷积操作替换为转置卷积外，结构与编码模块的子单元相同。转置卷积对输入张量进行上采样，经过四次转置卷积操作，最后达到与输入图像相同的长宽。
鉴别网络采用了多尺度鉴别器与PatchGAN技术，多尺度鉴别器包含结构相同的高分辨率鉴别器与低分辨率鉴别器，原输入图像与下采样图像分别送入二者，然后得到高分辨率图像与低分辨率图像的鉴别结果；PatchGAN技术表现去掉常规鉴别器的全连接层，对图像中每个N×N大小的区域独立的真实性来取代整体的判决结果。
最终得到的模型将会被作为教师网络在蒸馏过程中为学生网络提供高维特征知识。
步骤2：将生成网络中残差映射模块的标准卷积替换为深度可分离卷积，将其作为包含所有子网结果的超网，超网将作为学生网络接收教师网络的知识，采用知识蒸馏的方法进行充分训练，得到预蒸馏超网。
深度可分离卷积先后包含逐深度卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)两个操作。在标准卷积中，对于输入特征图需要与输入通道数个数的卷积核进行卷积，然后将得到的结果相加，这样就构成了输出特征图中的其中一个通道，这样重复输出通道数的次数，就构成了输出特征图。如图2所示，逐深度卷积对于特征图的单一通道仅与单个卷积核进行卷积，中间没用加权相加的操作，然后将所有等到的通道拼接成输出特征图。逐深度卷积在减少计算量的同时也带来两个问题：标准卷积中输出通道数由卷积核个数决定，但在逐深度卷积中输出通道数始终等于输入通道数，意味着逐深度卷积无法改变输出通道数；与此同时，由于逐深度卷积特殊的卷积方式，特征图各个通道间缺少交互，信息只在当前通道流通。为了解决这些问题，在逐深度卷积后通常会采用逐点卷积。逐点卷积的本质为1×1的标准卷积。逐点卷积在能自由改变通道数的同时也促进了通道间特征融合。最终得到了可大幅减少参数量但保持卷积容量的超网模型。
在预蒸馏过程中，为了辅助小规模网络的训练，采用知识蒸馏是有效的手段。如图3所示，采用了基于教师网络中间层特征输出的知识蒸馏方式。生成对抗网络的中间层包含更高的维度，可以提供更多高维信息，以达到提升学生模型的生成图像质量的目的。生成器的中间特征输出即为残差映射模块的中间输出，残差映射模块共包含9个残差子模块，因此将每间隔三个模块的中间特征作为输出特征。由于教师网络与学生网络训练过程中存在着通道数不一致的问题，需要引入通道转换卷积模块。通道转换卷积模块的本质为1×1的标准卷积，可以将学生网络中间输出特征升维到与教师网络中间特征相同的维度，在训练的过程中，通道转换模块也随之更新参数，以达到更高的转化效率，不损失教师网络的高维信息。整个知识蒸馏的过程可以写作以下公式：
Figure BDA0003379793300000071
其中，x为网络输入，即为输入SAR图像，fk为第k个通道转化卷积模块，
Figure BDA0003379793300000072
为学生网络第k个中间特征输出，
Figure BDA0003379793300000073
为教师网络第k个中间特征输出，同时采用了L2范数来拉近学生网络与教师网络的中间层输出特征距离。针对SAR图像的特性，整体的损失函数采用的离散余弦损失函数与神经网络特征匹配损失函数，再加上条件生成对抗网络的对抗损失损失函数，最终的优化目标为：
minGmaxDL(D,G)＝minGmaxD(LGAN+λVGGLVGG+λDCTLDCT+λdistilLdistil)
其中，Ldistil为知识蒸馏损失函数，λdistil为知识蒸馏损失函数的权重系数。
步骤3：采用权重共享的方式训练预蒸馏超网中所有子网，更新各个子网的参数，使得各个子网都能有良好性能。
在采用权值共享的方式训练子网过程中，超网中包含了所有子网参数，是所有子网构成的集合。如图4所示，假设超网的第一个卷积层的通道数为C1，任意子网对应卷积层通道数为
Figure BDA0003379793300000074
那么
Figure BDA0003379793300000075
且超网对应的卷积层的前
Figure BDA0003379793300000076
个通道权重为该子网的权重，每次训练时，随机采样子网通道数，通过反向传播来更新对应子网的权重。可以看到子网中的权重存在着大量重叠，通道数靠前的权重会被大量子网共享，这表明这些权重在网络中起着更重要的作用。每次训练时随机采样一个子网进行前向推理与反向传播，仅更新该子网参数。由于子网间参数存在耦合，其他子网的部分参数也会随之更新。随着训练过程中的不断随机采样，虽然很多子网没有被采样，但其参数的一直在更新，各个子网在数据集上都能有良好的表现。
步骤4：采用遗传算法搜索出超网中最佳子网结构。如图5所示，遗传算法的过程主要包含初始化条件，适用度评估，筛选，交叉，变异等过程。具体的，搜索算法的过程为：
(1)从超网所包含所有子网结构中随机选取P个子网作为第一个种群；
(2)采用FID图像质量评价指标作为适应度函数，来评估种群中所有子网生成图像的质量，并选出其中表现最好的S个子网结构，其中S小于P，作为下个种群的父母，淘汰性能未过关的结构；
(3)在S个选取出的子网结构中随机选取数对父母产生后代，加入种群；
(4)在新种群中随机选择数个子网进行变异操作，产生的新结构加入种群；
(5)重复步骤(2)到(4)直到完成预设的终止条件，然后从最终的种群中选取表现最好的子网作为最终结果。
步骤5：将最佳的子网结构在数据集上进行微调，加载原先训练参数，针对该结构进一步训练，提升其性能，最终获得一个轻量化但几乎不损失性能的网络结构。最终结果如表1所示。
在经优选SEN1-2部分数据集上，可以看到了模型压缩后参数量变为原三分之一左右，但其生成图像在FID评价指标上没有损失，其中FID值越小代表质量越好。
表1原模型与压缩后模型结果对比
模型 参数量 FID
原模型 182.44M 140.85
压缩后 65.79M 138.66
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，其主要包含以下步骤：
(1)构建包括鉴别网络和生成网络的生成对抗网络，采用配对的SAR光学图像数据集对生成对抗网络进行训练，得到一个能将SAR图像映射到光学图像的生成网络，并将该生成网络作为教师网络，为学生网络提供先验知识；
(2)将生成网络中残差映射模块的标准卷积替换为深度可分离卷积，将其作为包含所有子网结果的超网，超网将作为学生网络接收教师网络的知识，采用知识蒸馏的方法进行充分训练，得到预蒸馏超网；
(3)采用权重共享的方式训练预蒸馏超网中所有子网，更新各个子网的参数，使得各个子网都能有良好性能；
(4)采用遗传算法搜索出超网中最佳子网结构；
(5)将最佳的子网结构在数据集上进行微调，加载原先训练参数，针对该结构进一步训练，提升生成对抗网络性能。
2.根据权利要求1所述的基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，其特征在于，步骤(1)所述生成网络包括编码模块、解码模块和残差映射模块；所述编码模块由五个相同结构的子单元构成，每个单元由卷积、实例标准化、修正整流单元构成，输入图像经过四次下采样后获得图像特征张量；所述残差映射模块结合了残差学习机制，加深网络深度，获得更好的特征表示；所述解码模块将映射模块完成的光学特征解码为生成图像，包含了四个转置卷积模块与一个卷积模块；所述转置卷积对输入张量进行上采样，经过四次转置卷积操作，达到与输入图像相同的长宽；所述鉴别网络采用了多尺度鉴别器与PatchGAN技术，多尺度鉴别器包含结构相同的高分辨率鉴别器与低分辨率鉴别器，原输入图像与下采样图像分别送入二者，然后得到高分辨率图像与低分辨率图像的鉴别结果；PatchGAN技术表现去掉常规鉴别器的全连接层，对图像中每个N×N大小的区域独立的真实性来取代整体的判决结果。
3.根据权利要求1所述的基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，其特征在于，步骤(1)所述生成对抗网络的损失函数由以下公式描述：
minGmaxDL(D,G)＝minGmaxD(LGAN+λVGGLVGG+λDCTLDCT)
其中，LGAN，LVGG，LDCT分别为对抗损失函数，神经网络特征匹配函数，离散余弦损失函数，λVGG和λDCT分别为神经网络特征匹配函数，离散余弦损失函数的权重；
所述对抗损失函数描述为：
LGAN(X,Y)＝E(X,Y)[logD(X,Y)]+EX[log(1-D(X,G(X)))]
其中，X为输入SAR图像，Y为真实光学图像，G(·)为生成器，D(·)为鉴别器，E代表了求其数学期望；
所述，神经网络特征匹配函数可以由以下公式描述
Figure FDA0003379793290000021
其中，φi(·)为VGG19网络为第i个最大池化层的输出特征图，λi，Hi，Wi，Ci分别为第i个最大池化输出的权重值以及长、宽以及通道数，||·||1代表L1范数；
所述离散余弦损失函数描述为：
LDCT(X,Y)＝||DCT(G(X))-DCT(Y)||1
其中，DCT(·)为离散余弦变换。
4.根据权利要求1所述的基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，其特征在于，步骤(2)所述的知识蒸馏过程为：
Figure FDA0003379793290000022
其中，x为网络输入，即为输入SAR图像，fk为第k个通道转化卷积模块，
Figure FDA0003379793290000023
为学生网络第k个中间特征输出，
Figure FDA0003379793290000024
为教师网络第k个中间特征输出，同时采用了L2范数来拉近学生网络与教师网络的中间层输出特征距离；
故生成对抗网络训练整体的损失函数为：
minGmaxDL(D,G)＝minGmaxD(LGAN+λVGGLVGG+λDCTLDCT+λdistilLdistil)
其中，Ldistil为知识蒸馏损失函数，λdistil为知识蒸馏损失函数的权重系数。
5.根据权利要求1所述的基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，其特征在于，所述步骤(3)实现过程如下：
超网中包含了所有子网参数，子网间的差异仅存在于各个卷积层的通道数，是所有子网构成的集合；若超网的第一个卷积层的通道数为C1，任意子网对应卷积层通道数为
Figure FDA0003379793290000031
那么
Figure FDA0003379793290000032
且超网对应的卷积层的前
Figure FDA0003379793290000033
个通道权重为该子网的权重；每次训练时随机采样一个子网进行前向推理与反向传播，仅更新该子网参数；由于子网间参数存在耦合，其他子网的部分参数也会随之更新。
6.根据权利要求1所述的基于条件生成对抗网络的SAR光学图像映射模型轻量化方法，其特征在于，所述步骤(4)实现过程如下：
(41)从超网所包含所有子网结构中随机选取P个子网作为第一个种群；
(42)采用FID图像质量评价指标作为适应度函数，来评估种群中所有子网生成图像的质量，并选出其中表现最好的S个子网结构，其中S小于P，作为下个种群的父母，淘汰性能未过关的结构；
(43)在S个选取出的子网结构中随机选取数对父母产生后代，加入种群；
(44)在新种群中随机选择数个子网进行变异操作，产生的新结构加入种群；
(45)重复步骤(42)到(44)直到完成预设的终止条件，然后从最终的种群中选取表现最好的子网作为最终结果。
CN202111429672.0A 2021-11-29 2021-11-29 基于条件生成对抗网络的sar光学图像映射模型轻量化方法 Pending CN114202017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111429672.0A CN114202017A (zh) 2021-11-29 2021-11-29 基于条件生成对抗网络的sar光学图像映射模型轻量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111429672.0A CN114202017A (zh) 2021-11-29 2021-11-29 基于条件生成对抗网络的sar光学图像映射模型轻量化方法

Publications (1)

Publication Number Publication Date
CN114202017A true CN114202017A (zh) 2022-03-18

Family

ID=80649407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111429672.0A Pending CN114202017A (zh) 2021-11-29 2021-11-29 基于条件生成对抗网络的sar光学图像映射模型轻量化方法

Country Status (1)

Country Link
CN (1) CN114202017A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742779A (zh) * 2022-04-01 2022-07-12 中国科学院光电技术研究所 基于深度学习的高分辨力自适应光学图像质量评价方法
CN114821432A (zh) * 2022-05-05 2022-07-29 杭州电子科技大学 基于离散余弦变换的视频目标分割对抗攻击方法
CN115272140A (zh) * 2022-09-29 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 红外图像量化和增强方法、系统及存储介质
CN117456561A (zh) * 2023-12-22 2024-01-26 华侨大学 一种基于部件量子学习的行人再辨识方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742779A (zh) * 2022-04-01 2022-07-12 中国科学院光电技术研究所 基于深度学习的高分辨力自适应光学图像质量评价方法
CN114821432A (zh) * 2022-05-05 2022-07-29 杭州电子科技大学 基于离散余弦变换的视频目标分割对抗攻击方法
CN114821432B (zh) * 2022-05-05 2022-12-02 杭州电子科技大学 基于离散余弦变换的视频目标分割对抗攻击方法
CN115272140A (zh) * 2022-09-29 2022-11-01 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 红外图像量化和增强方法、系统及存储介质
CN117456561A (zh) * 2023-12-22 2024-01-26 华侨大学 一种基于部件量子学习的行人再辨识方法
CN117456561B (zh) * 2023-12-22 2024-03-12 华侨大学 一种基于部件量子学习的行人再辨识方法

Similar Documents

Publication Publication Date Title
CN114202017A (zh) 基于条件生成对抗网络的sar光学图像映射模型轻量化方法
CN106991646B (zh) 一种基于密集连接网络的图像超分辨率方法
CN112488924B (zh) 一种图像超分辨率模型训练方法、重建方法及装置
CN112085677A (zh) 一种图像处理方法、系统和计算机存储介质
CN110009565A (zh) 一种基于轻量化网络的超分辨率图像重建方法
CN111932461B (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN109785249A (zh) 一种基于持续性记忆密集网络的图像高效去噪方法
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN103546759A (zh) 一种基于小波包和矢量量化相结合的图像压缩编码方法
CN113538234A (zh) 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
CN115660955A (zh) 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质
CN115239564A (zh) 一种结合语义信息的矿井图像超分辨率重建方法
CN114897690A (zh) 一种基于串行高频注意力的轻量化图像超分辨率方法
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质
CN108550152B (zh) 基于深度特征感知推理的全参考图像质量客观评价方法
CN114067819A (zh) 基于跨层相似性知识蒸馏的语音增强方法
CN110223224A (zh) 一种基于信息过滤网络的图像超分辨实现算法
CN103903232A (zh) 在小波域利用进化规划进行图像去噪和增强的方法
CN117593199A (zh) 一种基于高斯先验分布自注意力的双流遥感图像融合方法
CN117079019A (zh) 一种轻量级Transformer的高光谱图像分类方法及装置
CN116777745A (zh) 一种基于稀疏自适应聚类的图像超分辨率重建方法
CN114897757B (zh) 一种基于nsst和参数自适应pcnn的遥感图像融合方法
CN104394412B (zh) 一种基于转换压缩的最大误差图像压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination