CN115471516A - 基于生成网络的光学-雷达isar图像转换方法及装置 - Google Patents
基于生成网络的光学-雷达isar图像转换方法及装置 Download PDFInfo
- Publication number
- CN115471516A CN115471516A CN202211110499.2A CN202211110499A CN115471516A CN 115471516 A CN115471516 A CN 115471516A CN 202211110499 A CN202211110499 A CN 202211110499A CN 115471516 A CN115471516 A CN 115471516A
- Authority
- CN
- China
- Prior art keywords
- image
- isar
- optical
- network
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims description 59
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 65
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于生成网络的光学‑雷达ISAR图像转换方法及装置。所述方法包括：通过基于对ISAR图像的目标物理特性分析与建模，以深度学习网络为主要技术手段将ISAR散射点分布特点引入网络训练的损失函数中，最终实现将目标的光学图像转换至对应的ISAR图像。其中将ISAR原图像以及ISAR重构图像分别提取的散射点位置矩阵相等这一约束条件加入损失函数中，使得深度学习网络能够生成更为真实的ISAR图像。
Description
技术领域
本申请涉及雷达图像智能处理与计算机智能技术领域，特别是涉及一种基于生成网络的光学-雷达ISAR图像转换方法及装置。
背景技术
图像翻译技术是人工智能研究中的主要方向之一，用以解决任务目标在不同图像域下的风格表达。该技术通过对不同图像域的数据进行学习，挖掘其内在的数据分布特征，然后通过生成模型来实现从原图像域得到任务目标在任务目标域的表达。现有的图像翻译技术主流方法是通过训练生成对抗网络获得生成模型来实现数据的转换与生成。目前在航空遥感领域中基于生成对抗网络的图像翻译技术已有不少应用，主要集中在光学-合成孔径(Synthetic Aperture Radar，SAR)图像的匹配以及SAR图像到光学图像的转换生成方面。
在现有技术中，卫星虽然能够实时对指定场景进行监测，但由于卫星需绕轨道运行，每一颗卫星监测指定场景的时间往往只有几分钟。同时，虽然同一区域会有许多轨道重合的卫星经过，但每颗卫星使用的监测装置并不相同，需要一种能够跨域、跨模态转换生成的方法将每颗卫星监测数据进行统一表示。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现图像域统一的基于生成网络的光学-雷达ISAR图像转换方法及装置。
一种基于生成网络的光学-雷达ISAR图像转换方法，所述方法包括：
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
在其中一实施例中，分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取时，根据最大类间方差法以及网络法对ISAR图像的散射点进行提取。
在其中一实施例中，所述根据最大类间方差法以及网络法对ISAR图像的散射点进行提取包括：
根据所述最大类间方差法计算出所述ISAR图像的灰度阈值，根据该灰度阈值对ISAR图像进行分割得到的前景和后景分离度最高；
再根据网络法以及灰度阈值对ISAR图像的散射点进行提取。
在其中一实施例中，所述根据网络法以及灰度阈值对ISAR图像的散射点进行提取包括：
对所述ISAR图像划分为多个大小尺寸相同的网络；
分别在各网络中提取幅度值大于所述灰度阈值的像素点作为散射点，并记录各所述散射点的对应坐标以及幅度值；
根据记录的各所述散射点的对应坐标按照原坐标的顺序进行重构得到散射点位置矩阵。
在其中一实施例中，所述生成网络采用CycleGAN网络，还包括ISAR图像域的判别器以及光学图像域的判别器，其中所述第一生成器以及第二生成器采用CNN结构实现，两个所述判别器采用PatchGAN结构实现。
在其中一实施例中，所述原损失函数为：
在其中一实施例中，所述最终的损失函数为：
在上式中，λscatter表示拉格朗日乘子，ρscatter表示罚函数项系数。
在其中一实施例中，根据所述最终的损失函数对所述生成网络进行训练，得到训练好的生成网络还包括：
对所述最终的损失函数进行梯度计算，根据计算结果方向修正生成网络中的第一生成器以及第二生成器的参数，直至收敛，得到训练好的生成网络。
一种基于生成网络的光学-雷达ISAR图像转换装置，所述装置包括：
训练集获取模块，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
图像域转换模块，用于将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
散射点位置矩阵重构模块，用于分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
损失函数重构模块，用于将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
网络训练模块，用于根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
光学-雷达ISAR图像转换模块，用于获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
上述基于生成网络的光学-雷达ISAR图像转换方法及装置，通过基于对ISAR图像的目标物理特性分析与建模，以深度学习网络为主要技术手段并将ISAR散射点分布特点引入网络训练的损失函数中，最终实现将目标的光学图像转换至对应的ISAR图像。其中将ISAR原图像以及ISAR重构图像分别提取的散射点位置矩阵相等这一约束条件加入损失函数中，使得深度学习网络能够生成更为真实的ISAR图像。
附图说明
图1为一个实施例中基于生成网络的光学-雷达ISAR图像转换方法的流程示意图；
图2为一个实施例中基于生成网络中算法的流程示意图；
图3为一个实施例中ISAR图像散射点提取的结果示意图；
图4为一个实施例中生成网络训练过程中损失函数收敛情况示意图；
图5为一个实施例中采用本方法的光学-ISAR图像转换结果示意图；
图6为一个实施例中采用本方法的多方向下光学-ISAR图像转换结果示意图；
图7为一个实施例中采用本方法的对陌生卫星目标进行光学-ISAR图像转换的结果示意图；
图8为一个实施例中基于生成网络的光学-雷达ISAR图像转换装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，针对现有技术中跨模态数据统一的表征问题，提供了一种基于生成网络的光学-雷达ISAR图像转换方法，包括以下步骤：
步骤S100，获取图像训练集，该图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
步骤S110，将图像训练集中的ISAR原图像以及光学图像输入生成网络，ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，光学图像由第二生成器转化为伪ISAR图像，再由第一生成器件将伪ISAR图像转化为光学重构图像；
步骤S120，分别对ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
步骤S130，将第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将该约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
步骤S140，根据最终的损失函数对生成网络进行训练，得到训练好的生成网络；
步骤S150，获取待转换光学目标图像，利用训练好的生成网络中的第二生成器对待转换光学目标图像进行转换，得到对应的ISAR转换图像。
在步骤S100中，获取以相同类别为目标的ISAR原图像以及光学图像，其中目标类别可以是空天目标(在本文中以空天目标为例)，或舰船等。
在本实施例中，对生成网络采用非监督训练，也就是说输入到生成网络中的ISAR原图像以及光学图像不需要一一对应。
在步骤S110中，生成网络采用循环生成对抗网络(CycleGAN)，该网络中还包括ISAR图像域的判别器以及光学图像域的判别器。在对其进行训练时，ISAR原图像以及光学图像在网络中的处理流程如图2所示，在进行训练时，ISAR原图像以及光学图像分别从第一生成器以及第二生成器输入，得到对应的伪光学图像以及伪ISAR图像，再分别通过第二生成器以及第一生成器得到ISAR重构图像以及光学重构图像。
如图2所示，生成器G，表示ISAR图像域到光学图像域的映射；生成器F，表示光学图像域到ISAR图像域的映射；DX、DY分别表示ISAR图像域的判别器与光学图像域的判别器。
在其中一实施例中，生成器G、F使用基于上采样下采样的CNN实现，两生成器的网络结构相同；判别器则使用基于PatchGAN进行实现。
具体的，在CycleGAN中各个网络可定义为：
对于生成器G、F有：
G＝CNN(x,θG) (1)
F＝CNN(y,θF) (2)
对于判别器DX、DY则可表示为：
在公式(1)-(4)中，x表示输入的ISAR原图像，y表示输入的光学图像，θ表示生成器或者判别器的网络参数。
在本实施例中，分别对ISAR原图像以及ISAR重构图像进行散射点的提取，并将其加入损失函数中，在原循环一致性损失的基础上引入ISAR散射点分布模型的一致性约束，使得生成网络在原本的输入输出以像素点的数据一致性基础上，额外增加了输入输出的ISAR图像在散射点分布这一特征空间上也需要满足一致性，从而实现了指导生成网络对于如何学习ISAR散射点分布这一能力的形成。
在步骤S120中，分别对ISAR原图像以及对应ISAR重构图像的散射点进行提取时，根据最大类间方差法(OSTU)以及网络法对ISAR图像的散射点进行提取。其中，根据最大类间方差法计算出ISAR图像的灰度阈值，根据该灰度阈值可以对ISAR图像进行分割得到的前景和后景分离度最高，再根据网络法以及灰度阈值对ISAR图像的散射点进行提取。
具体的，在根据最大类间方差法计算出ISAR图像的灰度阈值包括：对于灰度图像I，假设图像共有N个像素点，图像灰度级为L，灰度级为i的像素点数为ni，则图像的直方图分布为：
按照灰度级用阈值T将图像划分为两类：前景(目标)C0与背景C1。其中属于前景占整幅图像的比例为ω0，平均灰度值为μ0；属于后景像素点比例为ω1，平均灰度值为μ1。相关公式表述如下：
因此，图像的平均灰度值μT可以表示为：
定义图像中前景和后景所对应样本点的类间方差
为：
采用OSTU方法的目标就是找到合适的阈值T，使得根据T对图像进行分割可以得到的前后景分离度最高，即类间方差最大。最后通过遍历图像灰度值寻找阈值T。
进一步的，根据网络法以及灰度阈值对ISAR图像的散射点进行提取包括：对ISAR图像划分为多个大小尺寸相同的网络，分别在各网络中提取幅度值大于灰度阈值T的像素点作为散射点，并记录各散射点的对应坐标以及幅度值。根据记录的各散射点的对应坐标按照原坐标的顺序进行重构得到散射点位置矩阵。
具体的，首先在大小为256×256的ISAR图像上划分出大小为2×2的网格。然后利用ISAR图像中散射点强度的幅度值作为衡量标准，通过OSTU方法设置阈值。在此基础上对划分好的所有网格区域中分别提取幅度值大于阈值的点作为散射点，然后记录这些点对应坐标与幅度值，将提取出的散射点坐标按照原坐标的顺序来进行重构。
通过OSTU法和网格法对ISAR图像进行散射点提取后，最终得到大小为256×256的位置矩阵U。位置矩阵U中每个元素的值处于[0,1]的区间内，其中元素值不为零的点表示提取出的散射点，如图3所示，为采用OSTU法和网格法进行散射点提取的散射点位置矩阵示意图。图3表明，基于OSTU与网格法能提取出ISAR图像中的散射点，且能将飞机的轮廓提取出来。同时，原ISAR图像本身具有十字旁瓣噪声，且旁瓣噪声幅度强度较大，为了保证转换图像的真实性，也提取出旁瓣噪声，这对于网络训练是有益的。
设输入的ISAR图像为x，用Q(x)函数表示OSTU计算图像阈值的过程，同时网格法提取散射点可理解为将ISAR图像进行软阈值处理，该过程也可等效于对ISAR矩阵进行变换。因此第一散射点位置矩阵U表示为：
U＝soft(x/Q(x),0) (13)
在步骤S130中，在对ISAR原图像以及ISAR重构图像提取出散射点位置矩阵后，再将提取的散射点分布进行数学建模后作为约束条件加入网络训练的损失函数。在本实施例中，输入的ISAR原图像以及ISAR重构图像经过散射点提取后，也就是第一散射点位置矩阵以及第二散射点位置矩阵应当一致，由此可构建约束条件：
U＝U′ (14)
在公式(14)中，U'表示ISAR重构图像经过散射点提取后得到的第二散射点位置矩阵，U'具体的数学形式表示为：
U'＝soft(F(G(x))/Q(F(G(x))),0) (15)
在上式中，G(·)表示ISAR图像域到光学图像域的变换，F(·)则表示光学图像域到ISAR图像域的变换。
而生成网络的原损失函数为：
在公式(16)中，LGAN(G,DY,X,Y)表示生成器G和判别器DY的对抗性损失，LGAN(F,DX,Y,X)表示生成器F和判别器DX的对抗性损失，和λcycLcyc(G,F)表示由光学图像以及光学重构图像之间的重构损失函数，x表示输入的ISAR原图像，y表示输入的光学图像。在应用上述的原损失函数对生成网络进行训练时，以第一散射点位置矩阵以及第二散射点位置矩阵一致作为训练目标，也就是当U＝U'时，则停止训练。
在本实施例中，为了保证问题的凸性，减少求解难度，将约束条件通过增广拉格朗日算子的形式加入损失函数中，也就是将约束条件作为罚函数项加入优化问题中，得到最终的损失函数：
在公式(17)中，λscatter表示拉格朗日乘子，ρscatter表示罚函数项系数。改良后的损失函数仍旧可导，其中增广拉格朗日函数中的U'是经过生成器G、F得到，也就是第二散射点位置矩阵，包含两生成器的网络参数，因此能够通过梯度反传进行网络参数更新。
因此在对应用最终的损失函数对生成网络进行训练，得到训练好的生成网络还包括：对最终的损失函数进行梯度计算，根据计算结果方向修正生成网络中的第一生成器以及第二生成器的参数，直至收敛，得到训练好的生成网络。如图4所示，为训练生成网络过程中损失函数的收敛情况示意图。从图4中可以清晰地看出，增加ISAR散射点分布约束后，模型的收敛速度更快，收敛得到的精度更高，验证了所添加的物理特性约束有效约束了模型参数优化的解空间。
具体的，基于Adam优化算法对生成网络参数进行更新。使得生成网络生成的ISAR重构图像与读入的ISAR原图像在经过散射点提取后，散射点物理特性模型保持一致。从而实现将ISAR物理特性先验嵌入网络参数的优化中，保证由光学输入生成的ISAR图像具备散射点分布特性。
在对生成网络进行不断的迭代训练后，最终得到的第二生成器具有将光学图像转换为具有物理特性意义的ISAR图像的能力。
需要进行说明的是，在本实施例中，对生成网络进行训练的时候采用的是为监督训练，也就是说输入到生成网络中的ISAR原图像以及光学图像并不是一一对应的。
在步骤S150中，在采用已训练好的生成网络对待转换光学图像进行转换时，将待转换光学图像输入第二生成器中，输出得到与待转换光学图像对应ISAR转换图像。如图5所示，为运用本方法得到的光学-ISAR图像转换结果示意图。从图5中可以看出，加入散射点提取的物理信息后，转换出的伪ISAR具有了一定的真实性，能生成与原ISRA图像相近的十字旁瓣噪声。证明引入散射点模型取得了一定效果，尤其在光学图像-ISAR图像的转换生成中，模型不再是简单地按照光学图像轮廓进行均匀的散射点生成，而是一定程度上在学习如何根据目标的姿态和方位对散射点分布进行规划，使得生成的ISAR图像能够满足散射点物理特性方面的真实性要求。
在本实施例中，还提供了采用本方法在多方向下光学-ISAR图像转换，如图6所示，结果证明，光学图像到ISAR图像转换已取得初步成效。但是，由于光学图像的中飞机目标方向的变化并不能表示真实的飞机目标俯仰角、方位角变化的情况，因此所得出的伪ISAR图像仍旧不能完全真实反映现实雷达ISAR成像结果，缺乏对散射中心强度特性与不同姿态角下分布特性以及不同的学习。
在本实施例中，还提供了采用本方法对陌生卫星目标从光学-ISAR图像的转换，如图7所示，图中展示了将卫星目标数据集上训练的生成模型在陌生卫星仿真光学图像上进行ISAR数据生成的结果。可以看出，基于配对训练数据集得到的模型，在同类型目标下，数据生成能力表现较好，能够完整地呈现出卫星目标的散射点分布，尤其是整个太阳能帆板和主要部件上的密集散射点分布特征。
上述基于生成网络的光学-雷达ISAR图像转换方法中，通过将提取的ISAR图像散射点引入循环生成对抗网络的训练中，使其具备将光学图像转换为具有物理特性意义的ISAR图像的能力，该方法能够提供一定可信度的ISAR图像数据，为其提供数据支撑，并且该生成网络具有一定泛化性能，能够针对陌生光学目标进行转换。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种基于生成网络的光学-雷达ISAR图像转换装置，包括：训练集获取模块200、图像域转换模块210、散射点位置矩阵重构模块220、损失函数重构模块230、网络训练模块240和光学-雷达ISAR图像转换模块250，其中：
训练集获取模块200，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
图像域转换模块210，用于将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
散射点位置矩阵重构模块220，用于分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
损失函数重构模块230，用于将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
网络训练模块240，用于根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
光学-雷达ISAR图像转换模块250，用于获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
关于基于生成网络的光学-雷达ISAR图像转换装置的具体限定可以参见上文中对于基于生成网络的光学-雷达ISAR图像转换方法的限定，在此不再赘述。上述基于生成网络的光学-雷达ISAR图像转换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于生成网络的光学-雷达ISAR图像转换方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.基于生成网络的光学-雷达ISAR图像转换方法，其特征在于，所述方法包括：
获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
2.根据权利要求1所述的光学-雷达ISAR图像转换方法，其特征在于，分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取时，根据最大类间方差法以及网络法对ISAR图像的散射点进行提取。
3.根据权利要求2所述的光学-雷达ISAR图像转换方法，其特征在于，所述根据最大类间方差法以及网络法对ISAR图像的散射点进行提取包括：
根据所述最大类间方差法计算出所述ISAR图像的灰度阈值，根据该灰度阈值对ISAR图像进行分割得到的前景和后景分离度最高；
再根据网络法以及灰度阈值对ISAR图像的散射点进行提取。
4.根据权利要求3所述的光学-雷达ISAR图像转换方法，其特征在于，所述根据网络法以及灰度阈值对ISAR图像的散射点进行提取包括：
对所述ISAR图像划分为多个大小尺寸相同的网络；
分别在各网络中提取幅度值大于所述灰度阈值的像素点作为散射点，并记录各所述散射点的对应坐标以及幅度值；
根据记录的各所述散射点的对应坐标按照原坐标的顺序进行重构得到散射点位置矩阵。
5.根据权利要求4所述的光学-雷达ISAR图像转换方法，其特征在于，所述生成网络采用循环生成对抗网络，还包括ISAR图像域的判别器以及光学图像域的判别器，其中所述第一生成器以及第二生成器采用CNN结构实现，两个所述判别器采用PatchGAN结构实现。
6.根据权利要求5所述的光学-雷达ISAR图像转换方法，其特征在于，所述原损失函数为：
7.根据权利要求6所述的光学-雷达ISAR图像转换方法，其特征在于，所述最终的损失函数为：
在上式中，λscatter表示拉格朗日乘子，ρscatter表示罚函数项系数。
8.根据权利要求7所述的光学-雷达ISAR图像转换方法，其特征在于，根据所述最终的损失函数对所述生成网络进行训练，得到训练好的生成网络还包括：
对所述最终的损失函数进行梯度计算，根据计算结果方向修正生成网络中的第一生成器以及第二生成器的参数，直至收敛，得到训练好的生成网络。
9.基于生成网络的光学-雷达ISAR图像转换装置，其特征在于，所述装置包括：
训练集获取模块，用于获取图像训练集，所述图像训练集中包括具有相同目标类别的多张ISAR原图像以及光学图像；
图像域转换模块，用于将所述图像训练集中的ISAR原图像以及光学图像输入生成网络，所述ISAR原图像由所述生成网络中的第一生成器从ISAR图像域映射至光学图像域转化为对应的伪光学图像，再由第二生成器件所述伪光学图像从光学图像域映射ISAR图像域转化为对应的ISAR重构图像，同时，所述光学图像由所述第二生成器转化为伪ISAR图像，再由所述第一生成器件将所述伪ISAR图像转化为光学重构图像；
散射点位置矩阵重构模块，用于分别对所述ISAR原图像以及对应ISAR重构图像的散射点进行提取，得到ISAR原图像的第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵；
损失函数重构模块，用于将所述第一散射点位置矩阵以及ISAR重构图像的第二散射点位置矩阵相等作为约束条件，并基于增广拉格朗日算子的形式将所述约束条件作为罚函数项加入原损失函数中对其进行重构得到最终的损失函数；
网络训练模块，用于根据最终的所述损失函数对所述生成网络进行训练，得到训练好的生成网络；
光学-雷达ISAR图像转换模块，用于获取待转换光学目标图像，利用所述训练好的生成网络中的第二生成器对所述待转换光学目标图像进行转换，得到对应的ISAR转换图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211110499.2A CN115471516A (zh) | 2022-09-13 | 2022-09-13 | 基于生成网络的光学-雷达isar图像转换方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211110499.2A CN115471516A (zh) | 2022-09-13 | 2022-09-13 | 基于生成网络的光学-雷达isar图像转换方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115471516A true CN115471516A (zh) | 2022-12-13 |
Family
ID=84333288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211110499.2A Pending CN115471516A (zh) | 2022-09-13 | 2022-09-13 | 基于生成网络的光学-雷达isar图像转换方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471516A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116908852A (zh) * | 2023-09-06 | 2023-10-20 | 中国人民解放军国防科技大学 | 一种雷达目标语义信息快速标注方法、系统及装置 |
-
2022
- 2022-09-13 CN CN202211110499.2A patent/CN115471516A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116908852A (zh) * | 2023-09-06 | 2023-10-20 | 中国人民解放军国防科技大学 | 一种雷达目标语义信息快速标注方法、系统及装置 |
| CN116908852B (zh) * | 2023-09-06 | 2023-12-08 | 中国人民解放军国防科技大学 | 一种雷达目标语义信息快速标注方法、系统及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | Multisource image fusion method using support value transform | |
| CN111814875B (zh) | 基于样式生成对抗网络的红外图像中舰船样本扩充方法 | |
| Dong et al. | Nonlocal image restoration with bilateral variance estimation: A low-rank approach | |
| CN111199206A (zh) | 三维目标检测方法、装置、计算机设备及存储介质 | |
| CN110782395B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| Liu et al. | Climate downscaling using YNet: A deep convolutional network with skip connections and fusion | |
| Qian et al. | Deep magnification-flexible upsampling over 3d point clouds | |
| Al Najar et al. | Satellite derived bathymetry using deep learning | |
| Gavriil et al. | Void filling of digital elevation models with deep generative models | |
| CN115471516A (zh) | 基于生成网络的光学-雷达isar图像转换方法及装置 | |
| Yang et al. | Underwater image enhancement with latent consistency learning‐based color transfer | |
| Tarasiewicz et al. | Multitemporal and multispectral data fusion for super-resolution of Sentinel-2 images | |
| Cherian et al. | A Novel AlphaSRGAN for Underwater Image Super Resolution. | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
| Wang et al. | Neural implicit dictionary learning via mixture-of-expert training | |
| Lee et al. | Robust image translation and completion based on dual auto-encoder with bidirectional latent space regression | |
| Li et al. | Model-informed Multi-stage Unsupervised Network for Hyperspectral Image Super-resolution | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 | |
| Youk et al. | Transformer-based synthetic-to-measured SAR image translation via learning of representational features | |
| CN115830462B (zh) | 基于循环一致性对抗网络的sar图像重构方法及装置 | |
| Zhang et al. | SFA-GAN: structure–frequency-aware generative adversarial network for underwater image enhancement | |
| Wu et al. | Hyperspectral superresolution reconstruction via decomposition of low-rank and sparse tensor | |
| CN116503685A (zh) | 基于层次域先验的光学-isar图像转换方法及装置 | |
| Chitturi | Building detection in deformed satellite images using mask r-cnn | |
| Liu et al. | MRISNet: Deep-learning-based Martian instance segmentation against blur |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |