CN113554671A - 基于轮廓增强的sar图像到可见光图像的转换方法及装置 - Google Patents

基于轮廓增强的sar图像到可见光图像的转换方法及装置 Download PDF

Info

Publication number
CN113554671A
CN113554671A CN202110699420.3A CN202110699420A CN113554671A CN 113554671 A CN113554671 A CN 113554671A CN 202110699420 A CN202110699420 A CN 202110699420A CN 113554671 A CN113554671 A CN 113554671A
Authority
CN
China
Prior art keywords
visible light
light image
image
contour
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110699420.3A
Other languages
English (en)
Other versions
CN113554671B (zh
Inventor
杨曦
曹梦晴
杨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110699420.3A priority Critical patent/CN113554671B/zh
Publication of CN113554671A publication Critical patent/CN113554671A/zh
Application granted granted Critical
Publication of CN113554671B publication Critical patent/CN113554671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轮廓增强的SAR图像到可见光图像的转换方法及装置，该方法包括：根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；对可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；利用轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。本发明通过对轮廓信息的强监督，提升了复杂纹理SAR图像到伪可见光图像的转换质量。

Description

基于轮廓增强的SAR图像到可见光图像的转换方法及装置
技术领域
本发明属于图像转换技术领域，具体涉及一种基于轮廓增强的SAR图像到可见光图像的转换方法。
背景技术
图像转换(Image Translation)是利用计算机视觉技术实现将源域图像转换为目标域图像的技术。SAR图像到可见光图像的转换问题中，SAR图像即为源域图像，可见光图像即为目标域图像。合成孔径雷达(Synthetic Aperture Radar，SAR)具有远距离、能穿透云雾植被、全天候对地观测的特点，在遥感、军事、水文、地矿等领域有着广泛应用。由于合成孔径雷达的成像原理，SAR图像均为灰度图，其灰度值取决于回波信号的强度。色彩信息的缺乏以及散斑噪声的干扰使得SAR图像的语义信息很不明确，一般人不能读懂SAR图像，因此一般依靠专家来解译SAR图像。而纹理复杂的光学图像对应的SAR图像看上去全是噪声，更为难以理解。因此，利用算法实现SAR图像到可见光图像的转换，计算机代替人工的解译能够大大降低SAR图像解译的成本。此外，已有研究表明，将SAR图像转换为光学图像后，有助于图像分类任务中分类精度的提高。SAR图像到可见光图像的转换具有很高的实用价值。
现有的SAR图像到可见光图像的转换方法主要以生成对抗网络(GenerativeAdversarial Networks，GAN)为基本框架，大多数采用cycleGAN或Pix2Pix作为基本网络模型。其中，cycleGAN在不成对匹配的SAR图像和可见光图像的转换中应用广泛，而Pix2Pix主要在成对匹配的SAR图像和可见光图像的转换中应用较多。两个网络模型的共同点在于都是基于生成对抗网络的方法，其都由生成器和判别器构成，二者进行博弈对抗，使得生成图像越来越接近目标域的真实图像。
然而，现有的SAR图像到可见光图像的转换方法仅能够解决纹理较为简单的SAR图像到可见光图像的转换，对于复杂纹理的SAR图像到可见光图像的转换任务的实现效果并不好。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于轮廓增强的SAR图像到可见光图像的转换方法及装置。本发明要解决的技术问题通过以下技术方案实现：
一种基于轮廓增强的SAR图像到可见光图像的转换方法，包括：
根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；
对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；
根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；
利用所述轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。
在本发明的一个实施例中，所述根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练，包括：
根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像；
根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练。
在本发明的一个实施例中，根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像，包括：
将SAR图像输入到生成器中进行特征提取，得到伪可见光图像；
将所述伪可见光图像输入到判别器中进行判别，并计算生成器的对抗损失；
利用所述生成器的对抗损失对生成器的参数进行更新，以提高生成的伪可见光图像的质量。
在本发明的一个实施例中，根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练，包括：
将所述伪可见光图像分别输入到第一判别器和第二判别器中，并将输出的特征图和全0阵进行拉近，以减小其欧几里得距离；
将所述可见光图像真值分别输入到第一判别器和第二判别器中，并将输出的特征图和全1阵进行拉近，以减小其欧几里得距离；
其中，所述第一判别器为原尺度判别器，所述第二判别器为1/2尺度判别器。
在本发明的一个实施例中，对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取，包括：
根据空域微分方法对所述可见光图像真值进行梯度运算，得到图像各个像素的梯度值；
根据所述梯度值设置返回像素的值，以提取可见光图像真值的边缘轮廓信息；
采用同样的方法提取伪可见光图像的轮廓信息。
在本发明的一个实施例中，根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失，包括：
计算所述可见光图像真值的轮廓信息和伪可见光图像的轮廓信息的归一化互相关系数；
计算像素级以可见光图像真值的轮廓图像像素值为加权的权重系数；
将所述权重系数与所述归一化互相关系数相乘，得到轮廓重建损失。
在本发明的一个实施例中，所述轮廓重建损失的表达式为：
Figure BDA0003129190940000041
其中，Lcon表示轮廓重建损失，NCC表示归一化的互相关系数，GTcon表示可见光图像真值的轮廓图，Fcon表示伪可见光图像的轮廓图，AvgPool表示核大小为8×8平均池化。
在本发明的一个实施例中，利用所述轮廓重建损失对Pix2PixHD网络进行优化，包括：
将所述轮廓重建损失增加到Pix2PixHD网络生成器的目标函数中，使得Pix2PixHD网络中生成器向着生成伪可见光图像轮廓信息损失更小的方向进行优化。
在本发明的一个实施例中，在利用所述轮廓重建损失对Pix2PixHD网络进行优化的同时，还包括：
利用所述伪可见光图像和所述可见光图像真值的L1距离作为损失以对生成器进行约束；
利用感知损失缩小所述伪可见光图像和所述可见光图像真值的人眼感知差距；
利用多尺度判别器对所述伪可见光图像和所述可见光图像真值的判别特征进行提取，并使用L1距离进行损失度量。
本发明的另一个实施例还提供了一种基于轮廓增强的SAR图像到可见光图像的转换装置，包括：
网络训练模块，用于根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；
轮廓提取模块，用于对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；
计算模块，用于根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；
优化模块，用于利用所述轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。
本发明的有益效果：
1、本发明提供的SAR图像到可见光图像的转换方法通过对可见光图像和生成的伪可见光图像进行轮廓信息提取，并利用重建损失优化网络，加强了网络对轮廓信息的约束，提高了复杂纹理SAR图像到伪可见光图像的转换质量；
2、本发明采用Pix2PixHD网络为基本框架，使用多个尺度的判别器，并结合轮廓重建损失、特征匹配损失、感知损失等多种损失函数对Pix2PixHD网络进行联合训练优化，进一步提升了复杂纹理下SAR图像的解译质量。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于轮廓增强的SAR图像到可见光图像的转换方法流程示意图；
图2是本发明实施例提供的基于轮廓增强的SAR图像到可见光图像的转换方法的总体框架图；
图3是本发明实施例提供的经过信息熵筛选和不放回的随机采样得到的复杂纹理场景下的SAR图像；
图4是图3对应的可见光图像真值示意图；
图5是本发明实例提供的基于轮廓增强的Pix2PixHD网络生成的伪可见光图像；
图6是本发明实施例提供的提取到可见光图像真值的轮廓信息示意图；
图7是本发明实施例提供的基于轮廓增强的Pix2PixHD网络生成伪可见光图像的轮廓信息示意图；
图8是本发明实施例提供的在复杂纹理场景下，本发明及其他方法生成的伪可见光图像结果对比示意图；
图9是本发明实施例提供的一种基于轮廓增强的SAR图像到可见光图像的转换装置结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的一种基于轮廓增强的SAR图像到可见光图像的转换方法流程示意图，包括：
步骤一：根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练。
首先，构建Pix2PixHD网络。其包括生成器和判别器，其中，生成器用于根据SAR图像生成可见光图像，为了便于描述，本实施例将网络训练过程中生成器生成的图像称为伪可见光图像。判别器主要通过计算判别损失判断图像是生成器生成的还是可见光图像的真值。
进一步地，请参见图2，图2是本发明实施例提供的基于轮廓增强的SAR图像到可见光图像的转换方法的总体框架图。具体地，对Pix2PixHD网络进行训练包括：
1)根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像。
1a)将SAR图像输入到生成器中进行特征提取，得到伪可见光图像。
具体地，在生成器G的训练中，首先将SAR图像使用4个步长为2的卷积层进行下采样，以充分提取SAR图像的特征。
然后，将下采样得到的特征图经过9个ResNet块以对SAR图像的深层语义特征进行提取，此处ResNet中的卷积层的步长均为1，即不改变特征图的尺寸。
最后，将提取到的特征图通过4个反卷积层进行上采样，输出和输入图像相同尺寸的目标域伪图像，即伪可见光图像。
1b)将伪可见光图像输入到判别器中进行判别，并计算生成器的对抗损失。
在本实施例中，采用多尺度的判别器对图像进行判别。其包括第一判别器D1和第二判别器D2，其中，第一判别器D1为原尺度判别器，第二判别器D2为1/2尺度判别器。
将生成的伪可见光图像输入到第一判别器D1中，将伪可见光图像缩小为原始尺寸的1/2后输入到第二判别器D2中，将两个判别器输出的特征图分别和与之尺寸相同的全1阵拉近，即缩小欧几里得距离。此距离即为生成器的对抗损失。
具体地，生成器的对抗损失的计算公式为：
Figure BDA0003129190940000081
其中，x指输入的源域图像，在本实施例中指SAR图像，G(·)指生成器，D(·)指判别器。
1c)利用生成器的对抗损失对生成器的参数进行更新，以提高生成的伪可见光图像的质量。
具体地，将上面得到的生成器的对抗损失值增加到生成器的参数中，以使生成器向着生成质量更好的伪可见光图像进行优化。
2)根据伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练。
在本实施例中，对判别器的训练包括：将伪可见光图像分别输入到第一判别器和第二判别器中，并将输出的特征图和全0阵进行拉近，以减小其欧几里得距离；将可见光图像真值分别输入到第一判别器和第二判别器中，并将输出的特征图和全1阵进行拉近，以减小其欧几里得距离。
具体地，首先将伪可见光图像输入到由5个卷积层组成的第一判别器D1中，将最后一层输出的特征图向相同尺寸的全0阵拉近，即减小该特征图和全0阵的欧几里得距离。
然后将可见光图像真值输入到第一判别器D1中，将最后输出的特征图和全1阵进行拉近，减小其欧几里得距离。
进一步将伪可见光图像缩小为原尺寸的1/2，即128×128。将缩小后的图像输入到由5个卷积层组成的第二判别器D2中，得到的输出特征图和全0阵拉近。
最后，将可见光图像缩小为原尺寸的1/2，即128×128。将缩小后的图像输入到第二判别器D2中，减小输出特征图和全1阵的欧几里得距离。
接着，计算判别器的对抗损失，并利用该对抗损失对判别器进行训练，使得判别器则向着更能区分出伪可见光图像和可将光图像真值优化。
其中，判别器的对抗损失的计算公式为：
Figure BDA0003129190940000091
其中，x指输入的源域图像，在本实施例中指SAR图像，G(·)指生成器，D(·)指判别器。
步骤二：对可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取。
在本实施例中，采用轮廓提取算法分别对可见光图像真值和伪可见光图像的轮廓信息进行提取。
具体地，对于可见光图像真值的轮廓信息提取方法如下：
首先，根据空域微分方法对可见光图像真值进行梯度运算，得到图像各个像素的梯度值。
在本实施例中，空域微分主要指梯度模运算，图像的梯度模值包含了边界及细节信息。梯度的模(幅值)就是最大变化率方向的单位距离所增加的量。由梯度的计算可知，在图像灰度变化较大的边沿区域其梯度值大，在灰度变化平缓的区域梯度值较小，而在灰度均匀的区域其梯度值为零。
然后，根据梯度值设置返回像素的值，以提取可见光图像真值的边缘轮廓信息。
具体地，根据得到的梯度值来返回像素的值，将梯度值大的像素设置成白色，梯度值小的设置为黑色，这样就将轮廓边缘提取出来了。加强梯度值大的像素灰度值即突出了可见光图像的细节，达到了轮廓信息提取的目的。
在本实施例中，对于伪可见光图像的轮廓信息的提取方法与可将光图像真值的轮廓信息提取方法相同，即先对伪可见光图像进行梯度计算，根据得到的梯度值来返回轮廓信息像素的值，将梯度值大的像素设置成白色，梯度值小的设置为黑色，这样即提取出了伪可见光图像的轮廓边缘信息。
需要说明的是，在Pix2PixHD网络训练过程中，生成器会不断地生成伪可见光图像。因此，本实施例对于伪可见光图像的轮廓信息的提取操作也是在网络训练过程中进行。
步骤三：根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失，具体包括：
首先，计算可见光图像真值的轮廓信息和伪可见光图像的轮廓信息的归一化互相关系数。此归一化互相关系数反映了可见光图像真值和伪可见光图像的轮廓信息的相似度。
在本实施例中，为进一步加强网络中轮廓信息的监督，设计了一种以可见光图像真值的轮廓信息加权的归一化互相关系数。
具体地，为了尽可能提高算法运行速度，将可见光图像真值和伪可见光图像的轮廓信息分别通过核大小为8×8的平均池化进行信息压缩，压缩后的信息进行像素级点乘，得到每个像素位置的以轮廓信息加权的归一化互相关系数。
然后，计算像素级以可见光图像真值的轮廓图像像素值为加权的权重系数。
最后，将权重系数与归一化互相关系数相乘，得到轮廓重建损失。
具体地，累加各像素值的互相关系数得到图像级互相关系数，再和轮廓信息累加和作比，即得到可见光图像真值和伪可见光图像的轮廓信息之间归一化的轮廓加权的互相关系数，该系数即定义为轮廓重建损失，表示为：
Figure BDA0003129190940000111
其中，Lcon表示轮廓重建损失，NCC表示归一化的互相关系数，GTcon表示可见光图像真值的轮廓图，Fcon表示伪可见光图像的轮廓图，AvgPool表示核大小为8×8平均池化。
步骤四：利用轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。
具体地，将轮廓重建损失增加到Pix2PixHD网络生成器的目标函数中，使得Pix2PixHD网络中生成器向着生成伪可见光图像轮廓信息损失更小的方向进行优化。优化完成后，再利用优化好的网络实现SAR图像到可见光图像的转换。
本实施例提供的SAR图像到可见光图像的转换方法通过对可见光图像和生成的伪可见光图像进行轮廓信息提取，并利用重建损失优化网络，加强了网络对轮廓信息的约束，提高了复杂纹理SAR图像到伪可见光图像的转换质量。
此外，在本实施例中，除了采用轮廓重建损失对Pix2PixHD网络进行优化，以增强生成器对图像轮廓的拟合能力的同时，还结合了特征匹配损失、感知损失等多种损失函数对Pix2PixHD网络进行联合训练优化，以进一步提升了复杂纹理下SAR图像的解译质量。具体包括：
利用伪可见光图像和可见光图像真值的L1距离作为损失来对生成器进行约束，使得生成器生成的为可见光图像更加接近可见光图像真值。
利用感知损失缩小伪可见光图像和可见光图像真值的人眼感知差距；在ImageNet上预训练的VGG网络提取伪可见光图像和可见光图像的多层特征，并对逐层的特征进行损失的度量。
利用多尺度判别器对伪可见光图像和可见光图像真值的判别特征进行提取，并使用L1距离进行损失度量，从判别特征层面加强Pix2PiHD网络生成更加接近可见光图像真值的伪可见光图像的能力。
本实施例通过采用Pix2PixHD网络为基本框架，使用原尺度和2倍下采样后的尺度两个尺度的判别器，结合轮廓重建损失函数、对抗损失和感知损失等损失对Pix2PixHD网络进行联合训练，提升了复杂纹理的SAR图像到可见光图像的转换质量。
实施例二
下面通过仿真试验，对本发明提供的基于轮廓增强的SAR图像到可见光图像的转换方法的效果进行验证说明。
试验条件：
本实施例通过计算SEN1-2数据集中春季和夏季两个季节的可见光图像的信息熵，筛选信息熵大于7的可见光图像作为复杂纹理的可见光图像，同时，根据筛选出的可见光图像找到与之一一对齐的SAR图像，再从中不放回的随机抽样5000对SAR-可见光图像作为训练集，1500对SAR-可见光图像作为测试集。
请参见图3-4，图3是本发明实施例提供的经过信息熵筛选和不放回的随机采样得到的复杂纹理场景下的SAR图像，图4是图3对应的可见光图像真值示意图。根据图4，可以清晰地认知图像的语义信息，包括地物类别、场景等。
试验内容：
本实施例利用空域微分法提取可见光图像的轮廓信息，将可见光图像真值的轮廓图像作为监督信息输入到判别器中，对轮廓边缘等信息进行了增强。利用训练集对Pix2PixHD网络进行训练直至网络收敛，使其生成高质量的伪可见光图像，从而实现对测试集中的SAR图像转换为伪可见光图像。然后与现有的两种图像转换方法生成的伪可见光图像的图像质量，其中，现有的两种图像转换方法分别为Pix2Pix和加入SSIM损失的条件生成对抗网络cGAN方法。
实验结果及分析：
请参见图5-8，图5是本发明实例提供的基于轮廓增强的Pix2PixHD网络生成的伪可见光图像；图6是本发明实施例提供的提取到可见光图像真值的轮廓信息示意图；图7是本发明实施例提供的基于轮廓增强的Pix2PixHD网络生成伪可见光图像的轮廓信息示意图；图8是本发明实施例提供的在复杂纹理场景下，本发明及其他方法生成的伪可见光图像结果对比示意图。其中，最左侧一列为输入的源域图像SAR图像，自左向右第二列为SAR图像对应的目标域图像可见光图像真值，第三列为Pix2Pix方法生成的伪可见光图像，第四列为加入SSIM损失的cGAN方法生成的伪可见光图像，最后一列为本发明实施例生成的伪可见光图像。
由图8可知，对于复杂纹理的可见光图像和SAR图像的转换，Pix2Pix生成的伪可见光图像很模糊，且图像中建筑物等地物的轮廓也非常模糊，使得人们不能轻易分辨地物的类别，这导致了对SAR图像解译的干扰。此外，Pix2Pix方法生成的伪可见光图像在相同的位置处都存在相似的噪点，而可见光图像真值中并不存在此噪点，噪点的出现也大大干扰了SAR图像的解译工作。加入SSIM损失的cGAN方法的生成效果比Pix2Pix方法要好一些，但还是可以很明显地看出其分辨率较低，图像质量较差，对于地物的轮廓不能实现清晰地重建。而本发明的图像转换方法生成的伪可见光图像的分辨率较高，在视觉上十分接近可见光图像真值，且其轮廓边缘的重建效果也很好，可以清晰地分辨地物类别、场景，很好地达到了SAR图像解译的目的。
实施例三
在上述实施例一的基础上，本实施例提供了一种基于轮廓增强的SAR图像到可见光图像的转换装置，请参见图9，图9是本发明实施例提供的一种基于轮廓增强的SAR图像到可见光图像的转换装置结构示意图，具体包括：
网络训练模块1，用于根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；
轮廓提取模块2，用于对可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；
计算模块3，用于根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；
优化模块4，用于利用轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。
本实施例提供的装置可以实现上述实施例一提供的基于轮廓增强的SAR图像到可见光图像的转换方法，详细过程在此不再赘述。
以上内容是结合具体地优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，包括：
根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；
对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；
根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；
利用所述轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。
2.根据权利要求1所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，所述根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练，包括：
根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像；
根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练。
3.根据权利要求2所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，根据SAR图像和可见光图像真值对Pix2PixHD网络的生成器进行训练，得到伪可见光图像，包括：
将SAR图像输入到生成器中进行特征提取，得到伪可见光图像；
将所述伪可见光图像输入到判别器中进行判别，并计算生成器的对抗损失；
利用所述生成器的对抗损失对生成器的参数进行更新，以提高生成的伪可见光图像的质量。
4.根据权利要求2所述的基于轮廓增强的SAR图像到可见光图像的转换方法，根据所述伪可见光图像和可见光图像真值对Pix2PixHD网络的多尺度判别器进行训练，包括：
将所述伪可见光图像分别输入到第一判别器和第二判别器中，并将输出的特征图和全0阵进行拉近，以减小其欧几里得距离；
将所述可见光图像真值分别输入到第一判别器和第二判别器中，并将输出的特征图和全1阵进行拉近，以减小其欧几里得距离；
其中，所述第一判别器为原尺度判别器，所述第二判别器为1/2尺度判别器。
5.根据权利要求1所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取，包括：
根据空域微分方法对所述可见光图像真值进行梯度运算，得到图像各个像素的梯度值；
根据所述梯度值设置返回像素的值，以提取可见光图像真值的边缘轮廓信息；
采用同样的方法提取伪可见光图像的轮廓信息。
6.根据权利要求5所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失，包括：
计算所述可见光图像真值的轮廓信息和伪可见光图像的轮廓信息的归一化互相关系数；
计算像素级以可见光图像真值的轮廓图像像素值为加权的权重系数；
将所述权重系数与所述归一化互相关系数相乘，得到轮廓重建损失。
7.根据权利要求6所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，所述轮廓重建损失的表达式为：
Figure FDA0003129190930000031
其中，Lcon表示轮廓重建损失，NCC表示归一化的互相关系数，GTcon表示可见光图像真值的轮廓图，Fcon表示伪可见光图像的轮廓图，AvgPool表示核大小为8×8平均池化。
8.根据权利要求1所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，利用所述轮廓重建损失对Pix2PixHD网络进行优化，包括：
将所述轮廓重建损失增加到Pix2PixHD网络生成器的目标函数中，使得Pix2PixHD网络中生成器向着生成伪可见光图像轮廓信息损失更小的方向进行优化。
9.根据权利要求8所述的基于轮廓增强的SAR图像到可见光图像的转换方法，其特征在于，在利用所述轮廓重建损失对Pix2PixHD网络进行优化的同时，还包括：
利用所述伪可见光图像和所述可见光图像真值的L1距离作为损失以对生成器进行约束；
利用感知损失缩小所述伪可见光图像和所述可见光图像真值的人眼感知差距；
利用多尺度判别器对所述伪可见光图像和所述可见光图像真值的判别特征进行提取，并使用L1距离进行损失度量。
10.一种基于轮廓增强的SAR图像到可见光图像的转换装置，其特征在于，包括：
网络训练模块(1)，用于根据SAR图像及可见光图像真值对Pix2PixHD网络进行训练；
轮廓提取模块(2)，用于对所述可见光图像真值和Pix2PixHD网络训练过程中产生的伪可见光图像进行轮廓信息提取；
计算模块(3)，用于根据提取到的可见光图像真值的轮廓信息和伪可见光图像的轮廓信息计算轮廓重建损失；
优化模块(4)，用于利用所述轮廓重建损失对Pix2PixHD网络进行优化，并利用优化好的网络实现SAR图像到可见光图像的转换。
CN202110699420.3A 2021-06-23 2021-06-23 基于轮廓增强的sar图像到可见光图像的转换方法及装置 Active CN113554671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110699420.3A CN113554671B (zh) 2021-06-23 2021-06-23 基于轮廓增强的sar图像到可见光图像的转换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110699420.3A CN113554671B (zh) 2021-06-23 2021-06-23 基于轮廓增强的sar图像到可见光图像的转换方法及装置

Publications (2)

Publication Number Publication Date
CN113554671A true CN113554671A (zh) 2021-10-26
CN113554671B CN113554671B (zh) 2024-06-14

Family

ID=78130854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110699420.3A Active CN113554671B (zh) 2021-06-23 2021-06-23 基于轮廓增强的sar图像到可见光图像的转换方法及装置

Country Status (1)

Country Link
CN (1) CN113554671B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082288A (zh) * 2022-05-16 2022-09-20 西安电子科技大学 基于偏微分方程启发的sar图像到光学图像的转换方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN111462012A (zh) * 2020-04-02 2020-07-28 武汉大学 一种基于条件生成对抗网络的sar图像仿真方法
CN112330562A (zh) * 2020-11-09 2021-02-05 中国人民解放军海军航空大学 一种异构遥感图像变换方法及系统
WO2021028650A1 (en) * 2019-08-13 2021-02-18 University Of Hertfordshire Higher Education Corporation Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
WO2021028650A1 (en) * 2019-08-13 2021-02-18 University Of Hertfordshire Higher Education Corporation Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region
CN111462012A (zh) * 2020-04-02 2020-07-28 武汉大学 一种基于条件生成对抗网络的sar图像仿真方法
CN112330562A (zh) * 2020-11-09 2021-02-05 中国人民解放军海军航空大学 一种异构遥感图像变换方法及系统
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082288A (zh) * 2022-05-16 2022-09-20 西安电子科技大学 基于偏微分方程启发的sar图像到光学图像的转换方法
CN115082288B (zh) * 2022-05-16 2023-04-07 西安电子科技大学 基于偏微分方程启发的sar图像到光学图像的转换方法

Also Published As

Publication number Publication date
CN113554671B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN107239751B (zh) 基于非下采样轮廓波全卷积网络的高分辨sar图像分类方法
Yang et al. Review of pixel-level image fusion
CN110826428A (zh) 一种高速的sar图像中船只检测方法
CN114120176A (zh) 远红外与可见光视频图像融合的行为分析方法
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
CN117079117A (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN117726540A (zh) 一种增强门控Transformer的图像去噪方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN113554671B (zh) 基于轮廓增强的sar图像到可见光图像的转换方法及装置
Liu et al. High-resolution remote sensing image information extraction and target recognition based on multiple information fusion
CN113781311A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
Kiran Optimization of Decomposition Techniques for Hybrid Wavelet based Image Fusion Algorithm using NSCT and DTCWT
CN113792746B (zh) 基于Yolo V3的探地雷达图像目标检测方法
Ayub et al. CNN and Gaussian Pyramid-Based Approach For Enhance Multi-Focus Image Fusion
CN116189160A (zh) 一种基于局部对比度机制的红外弱小目标检测方法
CN115689958A (zh) 一种基于深度学习的合成雷达图像去噪方法
CN112926383B (zh) 一种基于水下激光图像的目标自动识别系统
Yan et al. Infrared and visible image fusion based on NSST and RDN
Gong et al. An adaptive multi-scale gaussian co-occurrence filtering decomposition method for multispectral and SAR image fusion
CN115511722A (zh) 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant