CN117611644A - 一种可见光图像到sar图像的转换方法、装置、介质及设备 - Google Patents

一种可见光图像到sar图像的转换方法、装置、介质及设备 Download PDF

Info

Publication number
CN117611644A
CN117611644A CN202410089905.4A CN202410089905A CN117611644A CN 117611644 A CN117611644 A CN 117611644A CN 202410089905 A CN202410089905 A CN 202410089905A CN 117611644 A CN117611644 A CN 117611644A
Authority
CN
China
Prior art keywords
image
sar
target
background
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410089905.4A
Other languages
English (en)
Other versions
CN117611644B (zh
Inventor
肖晖
杨炎泰
盛庆红
王博
李俊
凌霄
贺小伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202410089905.4A priority Critical patent/CN117611644B/zh
Priority claimed from CN202410089905.4A external-priority patent/CN117611644B/zh
Publication of CN117611644A publication Critical patent/CN117611644A/zh
Application granted granted Critical
Publication of CN117611644B publication Critical patent/CN117611644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可见光图像到SAR图像的转换方法、装置、介质及设备，属于图像翻译及仿真技术领域。所述方法包括：获取待处理图像；将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。本发明能够完成可见光图像到SAR图像的转换，提升SAR图像的质量。

Description

一种可见光图像到SAR图像的转换方法、装置、介质及设备
技术领域
本发明涉及一种可见光图像到SAR图像的转换方法、装置、介质及设备，属于图像翻译及仿真技术领域。
背景技术
SAR图像又称合成孔径雷达图像，是利用合成孔径雷达（Synthetic ApertureRadar）技术生成的图像，合成孔径雷达技术通过向地面发射雷达波并接收其回波信号来生成图像。
SAR图像仿真的应用方向多种多样，例如雷达图像分类的算法研究，SAR图像的目标检测算法研究等。这些不同领域的应用场景有不同的背景和目标特性要求。
现有的SAR图像生成手段大体分为两种，第一种是传统图像仿真器，第二种是基于神经网络的SAR图像仿真。
传统图像仿真器不考虑真实环境中各种不确定的随机性，同时计算过程中可能存在近似处理，会导致仿真SAR图像与真实图像数据之间存在较大的差异，影响仿真SAR图像的使用效果。
基于神经网络的SAR图像仿真，利用神经网实现图像风格迁移，对SAR图像场景中的纹理合成较好，但由于神经网络难以分辨目标区域（如坦克，车辆，舰船等）和背景在SAR图像中的表现差异，会发生目标和背景一样黑或是背景纹理被判定成目标等问题，对于包含目标区域的SAR图像仿真表现不佳。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种可见光图像到SAR图像的转换方法、装置、介质及设备，能够完成可见光图像到SAR图像的转换，提升SAR图像的质量。为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种可见光图像到SAR图像的转换方法，包括：
获取待处理图像；
将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；
将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；
基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
结合第一方面，可选地，所述目标转换模型和所述背景转换模型的训练包括：
获取用于训练的图像样本，所述图像样本包括对应同一片区域的成对的可见光图像和SAR图像，所述可见光图像和SAR图像的分辨率相同；
将所述用于训练的图像样本切分为小块图像；
对所述小块图像进行人工目视解译，将小块图像中包含目标的图像放入目标数据集，将小块图像中不包含目标的图像放入背景数据集。
结合第一方面，可选地，所述目标转换模型的训练还包括：利用所述目标数据集，训练预先构建的条件循环生成对抗网络得到所述目标转换模型，其中，所述预先构建的条件循环生成对抗网络为在循环生成对抗网络基础上，在两个判别器和生成器前增加条件处理模块和基于域的特征提取器；
所述训练预先构建的条件循环生成对抗网络得到所述目标转换模型，包括：
获取所述目标数据集，基于已知的可见光图像和SAR图像的目标特征，制作信息标签；
将所述信息标签输入预先构建的条件循环生成对抗网络的条件处理模块，将所述目标数据集输入预先构建的条件循环生成对抗网络的特征提取模块，训练预先构建的条件循环生成对抗网络中生成器和判别器的权重和偏置，得到所述目标转换模型。
结合第一方面，可选地，所述背景转换模型的训练还包括：利用所述背景数据集，训练预先构建的Unet网络得到所述预先训练的背景转换模型，其中，所述预先构建的Unet网络为在现有Unet网络基础上，增加信息标签处理模块；所述训练预先构建的Unet网络得到所述背景转换模型，包括：
获取所述背景数据集，基于已知的可见光图像和SAR图像的背景特征，制作信息标签；
将所述信息标签输入预先构建的Unet网络的信息标签处理模块，将所述背景数据集输入入预先构建的Unet网络，迭代训练得到所述背景转换模型。
结合第一方面，可选地，所述预先得到的目标加权融合系数和背景加权融合系数，通过以下步骤得到：
利用预先构建的基于卷积神经网络的特征提取融合网络，从所述SAR目标图像中提取目标特征，从所述SAR背景图像中提取背景特征；
利用所述基于卷积神经网络的特征提取融合网络，计算得到特征融合时目标特征的加权融合系数和背景特征的加权融合系数。
结合第一方面，可选地，所述预先构建的基于卷积神经网络的特征提取融合网络，包括：
三路特征提取卷积模块：用于将输入的带有SAR目标的图像、SAR目标图像和SAR背景图像，分别送入不同的特征提取卷积层，学习SAR目标的特征、SAR背景的特征以及融合后的图像特征；
深度自适应空洞残差模块：包括执行相同操作的第一基本层和第二基本层以及LeakyReLU激活函数；所述LeakyReLU激活函数用于处理第一基本层和第二基本层输出的特征图；
多路特征融合模块：用于将输入的特征图分为三路进行特征提取，对三路输出的特征图进行逐像素加权平均，输出融合后的特征图；
融合参数生成层：用于将融合后的特征图映射到融合系数的空间，输出融合系数X1和X2；
生成器：用于通过融合系数X1和X2分别融合目标图像和背景图像，表示为A*X1+B*X2=C，其中A为SAR目标图像，X1为SAR目标图像的融合系数，B为SAR图像背景；X2为SAR背景图像的融合系数；C为合成的SAR图像；
判别器：用于对合成的SAR图像和真实的带有SAR目标的图像进行相似度比较，根据判断结果对所述融合参数生成层和所述三路特征提取卷积模块进行调节。
结合第一方面，可选地，所述生成器和判别器通过对合成的SAR图像和真实的带有SAR目标的图像进行图像质量和整体相似度评估得出损失函数，并根据损失函数调整生成器和判别器的参数；所述损失函数，通过下式表示：
(1)
式（1）中，为总损失，/>为生成器，/>为判别器；
式（1）中，对抗损失在总损失函数中相对重要性的权重，/>为对抗损失，通过下式表示：
（2）
式（2）中，x为真实的带有SAR目标的图像，为真实图像的概率分布，/>为判别器对真实图像x是真实的概率评估，/>为从真实图像的概率分布/>中抽取的真实图像样本x计算出的期望值；/>为噪声，/>为噪声数据的概率分布，/>为生成器使用噪声生成的数据样本；/>为判别器对于合成的图像是真实的概率评估；为噪声数据的概率分布/>中抽取的噪声z计算出的期望值；
式（1）中，为均方误差损失在总损失函数中相对重要性的权重，/>为均方误差损失，通过下式表示：
（3）
式（3）中，为图像中的像素数量，/>为图像编号，/>为生成器合成的图像，/>为第/>个真实的带有SAR目标的图像；
式（1）中，为结构相似性损失在总损失函数中相对重要性的权重，/>为结构相似性损失，通过下式表示：
（4）
式（4）中，为结构相似性指数，取值范围为[-1,1]，1表示两个图像完全相同，0表示两个图像完全不同。
第二方面，本发明提供了一种可见光图像到SAR图像的转换装置，包括：
图像获取模块：用于获取待处理图像；
第一处理模块：用于将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；
第二处理模块：用于将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；
融合模块：用于基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的可见光图像到SAR图像的转换方法。
第四方面，本发明提供一种设备，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述设备执行实现如第一方面所述的可见光图像到SAR图像的转换方法的操作。
与现有技术相比，本发明实施例所提供的一种可见光图像到SAR图像的转换方法、装置、介质及设备所达到的有益效果包括：
本发明基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换；本发明能够完成可见光图像到SAR图像的转换，提升SAR图像的质量；
本发明利用目标数据集，训练预先构建的条件循环生成对抗网络得到所述目标转换模型，预先构建的条件循环生成对抗网络为在循环生成对抗网络基础上，在两个判别器和生成器前增加条件处理模块和基于域的特征提取器；条件处理模块能够增强目标特定性，使网络更好地理解和处理光学目标和SAR目标之间图像特性的联系，结合基于域的特征提取器，提高训练的效率和效果，减少了无关特征的干扰；能够有效提升模型的鲁棒性；
本发明利用背景数据集，训练预先构建的Unet网络得到所述背景转换模型，预先构建的Unet网络为在现有Unet网络基础上，增加信息标签处理模块，提供了额外的指导信息，有助于在训练过程中更快地收敛，并减少过拟合的风险，提高分割和转换的准确性。
附图说明
图1是本发明实施例1提供的一种可见光图像到SAR图像的转换方法的流程图；
图2是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中Unet网络的结构图；
图3是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中条件循环生成对抗网络的条件处理模块的示意图；
图4是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中基于卷积神经网络的特征提取融合网络的流程图；
图5是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中基于卷积神经网络的特征提取融合网络的深度自适应空洞残差模块的示意图；
图6是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中包含目标的可见光图像的示意图；
图7是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中不包含目标的背景可见光图像的示意图；
图8是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中SAR目标图像的示意图；
图9是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中SAR背景图像的示意图；
图10是本发明实施例1提供的一种可见光图像到SAR图像的转换方法中带有目标的SAR图像的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1：
如图1所示，本实施例提供了一种可见光图像到SAR图像的转换方法，包括：
获取待处理图像；
将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；
将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；
基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
其中，预先训练的目标转换模型由预先构建的条件循环生成对抗网络训练得到，预先训练的背景转换模型由预先构建的Unet网络训练得到。
目标转换模型和背景转换模型的训练包括：
步骤1：获取用于训练的图像数据集。
步骤1.1：获取用于训练的图像样本。
用于训练的图像样本为真实图像，图像样本包括对应同一片区域的成对的可见光图像和SAR图像。可见光图像和SAR图像的分辨率相同。
步骤1.2：将用于训练的图像样本切分为小块图像。
步骤1.3：对所述小块图像进行人工目视解译，将小块图像中包含目标的图像放入目标数据集，将小块图像中不包含目标的图像放入背景数据集。
步骤2：利用所述目标数据集，训练预先构建的条件循环生成对抗网络得到所述目标转换模型。
预先构建的条件循环生成对抗网络为在循环生成对抗网络基础上，在两个判别器和生成器前增加条件处理模块和基于域的特征提取器。
具体的，条件处理模块的输出结果作为两个判别器和生成器的输入。基于域的特征提取器作为两个判别器和生成器的前端。
步骤2.1：获取所述目标数据集，基于已知的可见光图像和SAR图像的目标特征，制作信息标签。
步骤2.2：将所述信息标签输入预先构建的条件循环生成对抗网络的条件处理模块。
具体的，如图3所示，信息标签通过全连接层嵌入到一个连续的向量空间，再依次通过1x1的卷积层和3x3的卷积层，输出通道数和目标特征图通道数相同的标签向量。将标签向量拓展为两个与目标特征图相同的空间维度的二维特征图。通过条件归一化层在目标特征图相应位置的生成缩放因子gamma和偏移因子beta的值，对二维特征图进行空间条件归一化，使得条件归一化层根据信息标签动态调整预先构建的条件循环生成对抗网络中生成器和判别器的权重和偏置。
步骤2.3：将所述目标数据集输入预先构建的条件循环生成对抗网络的特征提取模块。
将所述条件处理模块处理信息标签和所述目标数据集，输入预先构建的条件循环生成对抗网络的基于域的特征提取器进行特征提取，通过反向传播调整条件处理模块的子网络。
步骤2.4：迭代训练预先构建的条件循环生成对抗网络中生成器和判别器的权重和偏置，得到所述目标转换模型。
在本实施例中，条件处理模块能够增强目标特定性，使网络更好地理解和处理光学目标和SAR目标之间图像特性的联系，结合基于域的特征提取器，提高训练的效率和效果，减少了无关特征的干扰；能够有效提升模型的鲁棒性。
步骤3：利用所述背景数据集，训练预先构建的Unet网络得到所述背景转换模型。
如图2所示，预先构建的Unet网络为在现有Unet网络基础上，增加信息标签处理模块，能够增加可见光图像到SAR图像背景转换的先验知识，指导图像生成，提升生成SAR背景图像质量。
步骤3.1：获取所述背景数据集，基于已知的可见光图像和SAR图像的背景特征，制作信息标签。
步骤3.2：将信息标签输入预先构建的Unet网络的信息标签处理模块，将背景数据集输入预先构建的Unet网络，迭代训练得到所述背景转换模型。
在本实施例中，信息标签处理模块提供了额外的指导信息，有助于在训练过程中更快地收敛，并减少过拟合的风险，提高分割和转换的准确性。
采用如图1所示的一种可见光图像到SAR图像的转换方法进行可见光图像到SAR图像的转换，具体包括：
步骤1：获取待处理图像。
步骤1.2：将待处理图像切分为小块图像。
步骤1.3：对小块图像进行人工目视解译，将小块图像分为中包含目标的待处理图像（如图6所示）和不中包含目标的待处理图像（如图7所示）。
步骤2：将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像。
具体的，得到如图8所示的SAR目标图像。
步骤3：将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像。
具体的，得到如图9所示的SAR背景图像。
步骤4：基于预先得到的目标加权融合系数和背景加权融合系数，融合SAR目标图像和SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
其中，预先得到的目标加权融合系数和背景加权融合系数，通过以下步骤得到：
步骤4.1：利用预先构建的基于卷积神经网络的特征提取融合网络，从SAR目标图像中提取目标特征，从SAR背景图像中提取背景特征。
步骤4.2：利用所述基于卷积神经网络的特征提取融合网络，计算得到特征融合时目标特征的加权融合系数和背景特征的加权融合系数。
具体的，得到如图10所示的带有目标的SAR图像。
具体的，预先构建的基于卷积神经网络的特征提取融合网络包括：三路特征提取卷积模块、深度自适应空洞残差模块、多路特征融合模块、融合参数生成层、生成器和判别器。
三路特征提取卷积模块用于将输入的带有SAR目标的图像、SAR目标图像和SAR背景图像，分别送入不同的特征提取卷积层，学习SAR目标的特征、SAR背景的特征以及融合后的图像特征。
深度自适应空洞残差模块如图5所示，包括执行相同操作的第一基本层和第二基本层以及LeakyReLU激活函数。LeakyReLU激活函数用于处理第一基本层和第二基本层输出的特征图。
具体的，深度自适应空洞残差模块包括结构相同的第一基本层和第二基本层。
第一基本层包括主路径和另一路径。
第一基本层的主路径依次为两个大小为3x3的卷积层和点卷积层。
两个大小为3x3的卷积层分别采用自适应空洞卷积和深度可分离卷积，自适应空洞卷积的输出，进入深度可分离卷积和点卷积层，深度可分离卷积的输出进入点卷积层。
采用自适应空洞卷积，不同于普通的空洞卷积，自适应空洞卷积通过条件模块使得网络自动学习最佳的空洞率。采用深度可分离卷积，对于每个通道，都使用一个3x3的卷积核进行卷积操作，这样每个通道都会得到一个独立的特征图。
另一路径为跳跃连接，输入特征图直接进入点卷积层。
点卷积层使用1x1的卷积核将两个路径得到的所有特征图进行组合，输出新的特征图。
第二基本层的主路径：第一基本层点卷积层的输出，进入第二基本层的自适应空洞卷积，第二基本层的自适应空洞卷积的输出，进入第二基本层的深度可分离卷积和第二基本层的点卷积层，第二基本层的深度可分离卷积的输出，进入第二基本层的点卷积层。
第二基本层的另一路径为跳跃连接，输入特征图直接进入第二基本层的点卷积层。
第二基本层的点卷积层输出的特征图输入LeakyReLU激活函数，进行低级和高级特征的融合，能够更好地捕获SAR图像中的目标细节和大范围背景结构的融合细节。
多路特征融合模块：用于将输入的特征图分为三路进行特征提取，对三路输出的特征图进行逐像素加权平均，输出融合后的特征图。
在本实施例中，三路包括分支A、分支B和分支C。分支A中，直接传递特征图，不做任何处理，保留原始尺度的分支A特征。分支B中，首先通过大小为2x2的最大池化层进行下采样，再经过一个大小为3x3的卷积层进行特征提取，最后使用双线性插值进行上采样，得到原始尺度的分支B特征。分支C中，使用3x3的显著性分组卷积层进行特征提取，得到原始尺度的分支C特征。分支C中使用3x3的显著性分组卷积层进行特征提取，能够扩大感受野。
融合参数生成层：用于将融合后的特征图映射到融合系数的空间，输出融合系数X1和X2。
在本实施例中，全连接层部分分别使用256和128个神经元全连接层，将特征映射到融合系数的空间，激活函数为ReLU。输出层部分使用2个神经元，使用sigmoid激活函数，输出范围为[0,1]，两个神经元分别代表融合系数X1和X2。
生成器：用于通过融合系数X1和X2分别融合目标图像和背景图像，表示为A*X1+B*X2=C，其中A为SAR目标图像，X1为SAR目标图像的融合系数，B为SAR图像背景；X2为SAR背景图像的融合系数；C为合成的SAR图像。
判别器：用于对合成的SAR图像和真实的带有SAR目标的图像进行相似度比较，根据判断结果对所述融合参数生成层和所述三路特征提取卷积模块进行调节。
在本实施例中，生成器和判别器通过对合成的SAR图像和真实的带有SAR目标的图像进行图像质量和整体相似度评估得出损失函数，并根据损失函数调整生成器和判别器的参数。
损失函数，通过下式表示：
(1)
式（1）中，为总损失，/>为生成器，/>为判别器；
式（1）中，对抗损失在总损失函数中相对重要性的权重，/>为对抗损失，通过下式表示：
（2）
式（2）中，x为真实的带有SAR目标的图像，为真实图像的概率分布，/>为判别器对真实图像x是真实的概率评估，/>为从真实图像的概率分布/>中抽取的真实图像样本x计算出的期望值；/>为噪声，/>为噪声数据的概率分布，/>为生成器使用噪声生成的数据样本；/>为判别器对于合成的图像是真实的概率评估；为噪声数据的概率分布/>中抽取的噪声z计算出的期望值；
式（1）中，为均方误差损失在总损失函数中相对重要性的权重，/>为均方误差损失，通过下式表示：
（3）
式（3）中，为图像中的像素数量，/>为图像编号，/>为生成器合成的图像，/>为第/>个真实的带有SAR目标的图像；
式（1）中，为结构相似性损失在总损失函数中相对重要性的权重，/>为结构相似性损失，通过下式表示：
（4）
式（4）中，为结构相似性指数，取值范围为[-1,1]，1表示两个图像完全相同，0表示两个图像完全不同。
如图4所示，利用预先构建的基于卷积神经网络的特征提取融合网络得到的目标加权融合系数和背景加权融合系数，包括：
步骤a：将输入的SAR背景图像和SAR目标图像通过普通卷积层，卷积核大小为3x3，步长为1，保证了输出和输入大小一致，对SAR背景图像和SAR目标图像分别进行特征提取，输出背景图像特征图和目标图像特征图。
步骤b：将步骤a输出的背景图像特征图和目标图像特征图依次通过多路特征融合模块和一个最大池化层，进行4倍下采样，输出背景图像特征融合图和目标图像特征融合图。
具体的，背景图像特征融合图中的背景图像特征，为带有SAR目标的背景图像特征。
步骤c：将步骤b的背景图像特征融合图和目标图像特征融合图进行相加，通过四个深度自适应空洞残差模块，输出第一合成特征图。
步骤d：将步骤b输出的背景图像特征融合图和目标图像特征融合图与步骤c输出的第一合成特征图进行通道连接，再通过一个普通卷积层进行特征提取，输出第二合成特征图。
步骤e：将步骤a输出的背景图像特征图和目标图像特征图与步骤d输出的第二合成特征图进行通道连接，通过反卷积层进行上采样，再通过全连接层输出特征融合时目标特征的加权融合系数和背景特征的加权融合系数。
本实施例基于预先得到的目标加权融合系数和背景加权融合系数，融合SAR目标图像和SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。本实施例能够完成可见光图像到SAR图像的转换，提升SAR图像的质量。
实施例2
本实施例提供一种可见光图像到SAR图像的转换装置，包括：
图像获取模块：用于获取待处理图像；
第一处理模块：用于将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；
第二处理模块：用于将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；
融合模块：用于基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
实施例3
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现实施例1所述的可见光图像到SAR图像的转换方法。
实施例4
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现实施例1所述的可见光图像到SAR图像的转换方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种可见光图像到SAR图像的转换方法，其特征在于，包括：
获取待处理图像；
将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；
将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；
基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
2.根据权利要求1所述的可见光图像到SAR图像的转换方法，其特征在于，所述目标转换模型和所述背景转换模型的训练包括：
获取用于训练的图像样本，所述图像样本包括对应同一片区域的成对的可见光图像和SAR图像，所述可见光图像和SAR图像的分辨率相同；
将所述用于训练的图像样本切分为小块图像；
对所述小块图像进行人工目视解译，将小块图像中包含目标的图像放入目标数据集，将小块图像中不包含目标的图像放入背景数据集。
3.根据权利要求2所述的可见光图像到SAR图像的转换方法，其特征在于，所述目标转换模型的训练还包括：利用所述目标数据集，训练预先构建的条件循环生成对抗网络得到所述目标转换模型，其中，所述预先构建的条件循环生成对抗网络为在循环生成对抗网络基础上，在两个判别器和生成器前增加条件处理模块和基于域的特征提取器；
所述训练预先构建的条件循环生成对抗网络得到所述目标转换模型，包括：
获取所述目标数据集，基于已知的可见光图像和SAR图像的目标特征，制作信息标签；
将所述信息标签输入预先构建的条件循环生成对抗网络的条件处理模块，将所述目标数据集输入预先构建的条件循环生成对抗网络的特征提取模块，训练预先构建的条件循环生成对抗网络中生成器和判别器的权重和偏置，得到所述目标转换模型。
4.根据权利要求2所述的可见光图像到SAR图像的转换方法，其特征在于，所述背景转换模型的训练还包括：利用所述背景数据集，训练预先构建的Unet网络得到所述预先训练的背景转换模型，其中，所述预先构建的Unet网络为在现有Unet网络基础上，增加信息标签处理模块；
所述训练预先构建的Unet网络得到所述背景转换模型，包括：
获取所述背景数据集，基于已知的可见光图像和SAR图像的背景特征，制作信息标签；
将所述信息标签输入预先构建的Unet网络的信息标签处理模块，将所述背景数据集输入入预先构建的Unet网络，迭代训练得到所述背景转换模型。
5.根据权利要求1所述的可见光图像到SAR图像的转换方法，其特征在于，所述预先得到的目标加权融合系数和背景加权融合系数，通过以下步骤得到：
利用预先构建的基于卷积神经网络的特征提取融合网络，从所述SAR目标图像中提取目标特征，从所述SAR背景图像中提取背景特征；
利用所述基于卷积神经网络的特征提取融合网络，计算得到特征融合时目标特征的加权融合系数和背景特征的加权融合系数。
6.根据权利要求5所述的可见光图像到SAR图像的转换方法，其特征在于，所述预先构建的基于卷积神经网络的特征提取融合网络，包括：
三路特征提取卷积模块：用于将输入的带有SAR目标的图像、SAR目标图像和SAR背景图像，分别送入不同的特征提取卷积层，学习SAR目标的特征、SAR背景的特征以及融合后的图像特征；
深度自适应空洞残差模块：包括执行相同操作的第一基本层和第二基本层以及LeakyReLU激活函数；所述LeakyReLU激活函数用于处理第一基本层和第二基本层输出的特征图；
多路特征融合模块：用于将输入的特征图分为三路进行特征提取，对三路输出的特征图进行逐像素加权平均，输出融合后的特征图；
融合参数生成层：用于将融合后的特征图映射到融合系数的空间，输出融合系数X1和X2；
生成器：用于通过融合系数X1和X2分别融合目标图像和背景图像，表示为A*X1+B*X2=C，其中A为SAR目标图像，X1为SAR目标图像的融合系数，B为SAR图像背景；X2为SAR背景图像的融合系数；C为合成的SAR图像；
判别器：用于对合成的SAR图像和真实的带有SAR目标的图像进行相似度比较，根据判断结果对所述融合参数生成层和所述三路特征提取卷积模块进行调节。
7.根据权利要求6所述的可见光图像到SAR图像的转换方法，其特征在于，所述生成器和判别器通过对合成的SAR图像和真实的带有SAR目标的图像进行图像质量和整体相似度评估得出损失函数，并根据损失函数调整生成器和判别器的参数；
所述损失函数，通过下式表示：
(1)
式（1）中，为总损失，/>为生成器，/>为判别器；
式（1）中，对抗损失在总损失函数中相对重要性的权重，/>为对抗损失，通过下式表示：
（2）
式（2）中，x为真实的带有SAR目标的图像，为真实图像的概率分布，/>为判别器对真实图像x是真实的概率评估，/>为从真实图像的概率分布/>中抽取的真实图像样本x计算出的期望值；/>为噪声，/>为噪声数据的概率分布，/>为生成器使用噪声生成的数据样本；/>为判别器对于合成的图像是真实的概率评估；为噪声数据的概率分布/>中抽取的噪声z计算出的期望值；
式（1）中，为均方误差损失在总损失函数中相对重要性的权重，/>为均方误差损失，通过下式表示：
（3）
式（3）中，为图像中的像素数量，/>为图像编号，/>为生成器合成的图像，/>为第/>个真实的带有SAR目标的图像；
式（1）中，为结构相似性损失在总损失函数中相对重要性的权重，/>为结构相似性损失，通过下式表示：
（4）
式（4）中，为结构相似性指数，取值范围为[-1,1]，1表示两个图像完全相同，0表示两个图像完全不同。
8.一种可见光图像到SAR图像的转换装置，其特征在于，包括：
图像获取模块：用于获取待处理图像；
第一处理模块：用于将包含目标的待处理图像输入预先训练的目标转换模型，得到SAR目标图像；
第二处理模块：用于将不包含目标的待处理图像输入预先训练的背景转换模型，得到SAR背景图像；
融合模块：用于基于预先得到的目标加权融合系数和背景加权融合系数，融合所述SAR目标图像和所述SAR背景图像，生成带有目标的SAR图像，完成可见光图像到SAR图像的转换。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-7中任一所述的可见光图像到SAR图像的转换方法。
10.一种设备，其特征在于，包括：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述设备执行实现如权利要求1-7任一项所述的可见光图像到SAR图像的转换方法的操作。
CN202410089905.4A 2024-01-23 一种可见光图像到sar图像的转换方法、装置、介质及设备 Active CN117611644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410089905.4A CN117611644B (zh) 2024-01-23 一种可见光图像到sar图像的转换方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410089905.4A CN117611644B (zh) 2024-01-23 一种可见光图像到sar图像的转换方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN117611644A true CN117611644A (zh) 2024-02-27
CN117611644B CN117611644B (zh) 2024-05-28

Family

ID=

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN113393410A (zh) * 2021-07-26 2021-09-14 浙江大华技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
US20210295483A1 (en) * 2019-02-26 2021-09-23 Tencent Technology (Shenzhen) Company Limited Image fusion method, model training method, and related apparatuses
CN113674190A (zh) * 2021-08-20 2021-11-19 中国人民解放军国防科技大学 基于密集连接生成对抗网络的图像融合方法和装置
CN116310634A (zh) * 2023-02-07 2023-06-23 北京邮电大学 面向多源遥感数据的融合图像模型训练方法、生成方法及装置
CN116452469A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN117036875A (zh) * 2023-07-11 2023-11-10 南京航空航天大学 一种基于融合注意力gan的红外弱小移动目标生成算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636742A (zh) * 2018-11-23 2019-04-16 中国人民解放军空军研究院航空兵研究所 基于对抗生成网络的sar图像和可见光图像的模式转换方法
US20210295483A1 (en) * 2019-02-26 2021-09-23 Tencent Technology (Shenzhen) Company Limited Image fusion method, model training method, and related apparatuses
CN113393410A (zh) * 2021-07-26 2021-09-14 浙江大华技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
CN113674190A (zh) * 2021-08-20 2021-11-19 中国人民解放军国防科技大学 基于密集连接生成对抗网络的图像融合方法和装置
CN116310634A (zh) * 2023-02-07 2023-06-23 北京邮电大学 面向多源遥感数据的融合图像模型训练方法、生成方法及装置
CN116452469A (zh) * 2023-06-20 2023-07-18 深圳市欧冶半导体有限公司 一种基于深度学习的图像去雾处理方法及装置
CN117036875A (zh) * 2023-07-11 2023-11-10 南京航空航天大学 一种基于融合注意力gan的红外弱小移动目标生成算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李晖晖;郭雷;刘航;: "基于互补信息特征的SAR与可见光图像融合研究", 计算机科学, no. 04, 25 April 2006 (2006-04-25) *
陈卓;方明;柴旭;付飞蚺;苑丽红;: "红外与可见光图像融合的U-GAN模型", 西北工业大学学报, no. 04, 15 August 2020 (2020-08-15) *

Similar Documents

Publication Publication Date Title
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN112183788B (zh) 一种域自适应设备运检系统和方法
CN113962858B (zh) 一种多视角深度获取方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN111583276B (zh) 基于cgan的空间目标isar图像部件分割方法
CN111784560A (zh) 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN112802078A (zh) 深度图生成方法和装置
Liu et al. RB-Net: Training highly accurate and efficient binary neural networks with reshaped point-wise convolution and balanced activation
CN113792641A (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
CN114549537A (zh) 基于跨模态语义增强的非结构化环境点云语义分割方法
CN116468995A (zh) 一种联合slic超像素和图注意力网络的声呐图像分类方法
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN112148906A (zh) 基于修正的CycleGAN模型的声纳图像库构建方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115713632A (zh) 一种基于多尺度注意力机制的特征提取方法及装置
CN113139573A (zh) 一种基于条件双分支注意力机制的鲁棒声纳图像生成方法
CN117611644B (zh) 一种可见光图像到sar图像的转换方法、装置、介质及设备
CN115860113B (zh) 一种自对抗神经网络模型的训练方法及相关装置
CN116863285A (zh) 多尺度生成对抗网络的红外与可见光图像融合方法
Huang et al. Steganography Embedding Cost Learning with Generative Multi-Adversarial Network
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
CN116958782A (zh) 一种红外与可见光特征融合的弱小目标检测方法及装置
CN117611644A (zh) 一种可见光图像到sar图像的转换方法、装置、介质及设备
Alhamazani et al. 3DCascade-GAN: Shape completion from single-view depth images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant