CN115311185B - 机动目标isar散焦图像高分辨重聚焦方法 - Google Patents

机动目标isar散焦图像高分辨重聚焦方法 Download PDF

Info

Publication number
CN115311185B
CN115311185B CN202211027066.0A CN202211027066A CN115311185B CN 115311185 B CN115311185 B CN 115311185B CN 202211027066 A CN202211027066 A CN 202211027066A CN 115311185 B CN115311185 B CN 115311185B
Authority
CN
China
Prior art keywords
layer
convolution
image
complex
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211027066.0A
Other languages
English (en)
Other versions
CN115311185A (zh
Inventor
张云
袁浩轩
李宏博
冀振元
魏晨曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211027066.0A priority Critical patent/CN115311185B/zh
Publication of CN115311185A publication Critical patent/CN115311185A/zh
Application granted granted Critical
Publication of CN115311185B publication Critical patent/CN115311185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

机动目标ISAR散焦图像高分辨重聚焦方法，属于ISAR图像处理领域。为了解决现有的机动目标ISAR图像存在的散焦问题。本发明首先将ISAR散焦图像进行分割，然后将分割后的ISAR散焦图像以复数的形式送入CVPHD网络进行处理，CVPHD网络为基于复数域Pix2pixHD结构，其包含一个复数的卷积单元、一个复数的残差单元、一个复数的反卷积单元、一个实数卷积单元；实数卷积单元输出虚假生成图像，即聚焦后的图像。本发明用于机动目标ISAR散焦图像的高分辨重聚焦。

Description

机动目标ISAR散焦图像高分辨重聚焦方法
技术领域
本发明涉及一种机动目标ISAR散焦图像高分辨重聚焦方法，属于ISAR图像处理领域。
背景技术
逆合成孔径雷达(ISAR)是一种有效的目标检测方法。然而，对于机动目标，目标上任意散射体产生的多普勒频率是时变的，这将导致ISAR图像的散焦，并给进一步的识别过程带来困难。ISAR图像的重新聚焦需要克服强非线性问题。近年来，生成对抗网络在图像翻译方面取得了巨大的成功。然而，当前的重聚焦模型忽略了数据实部和虚部之间关系中包含的高阶项信息。因此依然存在ISAR图像散焦的问题。
为此，本发明提出了一种端到端的重聚焦网络，称为Complex-valued Pix2pixHD(CVPHD)，用于学习从散焦到聚焦的映射，该网络直接将复数ISAR图像作为输入。应用创新性的复数实例归一化层，通过计算复杂部分的协方差来挖掘复杂部分之间的深层关系，并加速训练。随后，提出了一种创新的自适应加权损失函数，以提高整体再聚焦效果。
发明内容
针对机动目标ISAR图像的散焦问题，本发明提供一种基于复数域Pix2pixHD网络的机动目标ISAR散焦图像高分辨重聚焦方法。
机动目标ISAR散焦图像高分辨重聚焦方法，包括以下步骤：
首先将ISAR散焦图像进行分割，然后将分割后的ISAR散焦图像以复数的形式送入CVPHD网络进行处理，所述的CVPHD网络为基于复数域Pix2pixHD结构，其包含一个复数的卷积单元、一个复数的残差单元、一个复数的反卷积单元、一个实数卷积单元；其中，
所述的复数卷积单元包多个卷积模块，每个卷积模块包含一个复数卷积层，复数卷积层之后接有复数IN层和复数ReLU激活层；复数IN层通过计算实部和虚部的协方差，将复数数据标准化为正态复数分布；
第l层的输入的复数数据
Figure GDA0004225896280000011
复数IN层CV_IN如下：
Figure GDA0004225896280000012
其中，
Figure GDA0004225896280000013
表示复数域，i表示特征图的顺序，B表示批次大小，N是样本数，D是特征图的宽度和高度；/>
Figure GDA0004225896280000014
是虚部单位，/>
Figure GDA0004225896280000015
和/>
Figure GDA0004225896280000016
分别表示CV数据的实部和虚部；E[·]表示在特征图维度中计算数据的平均值；协方差矩阵Vl表示为
Figure GDA0004225896280000021
Figure GDA0004225896280000022
所述的复数残差单元包含多个残差模块，每个残差模块都含有两个部分：第一个部分包含一个复数卷积层，一个复数IN层，以及一个复数ReLU激活层；第二个部分只有一个复数卷积层和一个复数IN层；
所述的复数反卷积单元共包含多个反卷积模块，每个模块都包含一个复数反卷积层，一个复数IN层，以及一个复数ReLU激活层；
所述的实数卷积单元包含一个实数卷积层核一个Tanh激活函数层；输出虚假生成图像，即聚焦后的图像。
进一步地，所述构建复数域反卷积层：
在pix2pixHD网络结构中，转置卷积层用于找到一组核和特征图，以无监督的方式重建高分辨率图像；我们将其扩展到CVPHD框架中的复数域；反卷积层(第l层)网络的输出特征图
Figure GDA0004225896280000023
通过前一层的输出特征图/>
Figure GDA0004225896280000024
和一系列的滤波器/>
Figure GDA0004225896280000025
的反卷积得到，其中k表示卷积核的顺序；上述过程表示为
Figure GDA0004225896280000026
其中，字符
Figure GDA0004225896280000027
表示反卷积运算，/>
Figure GDA0004225896280000028
表示反卷积层中的偏差。
进一步地，所述的CVPHD网络还包括一个判别器，所述判别器单元包括两个并行的判别模块；
第一个判别模块包含五个部分：
第一个部分包含一个卷积层和一个Leaky ReLU层；
第二个部分包含一个卷积层，一个IN层和一个Leaky ReLU层；
第三个部分包含一个卷积层，一个IN层和一个Leaky ReLU层；
第四个部分包含一个卷积层，一个IN层和一个Leaky ReLU层；
第五个部分只包含一个卷积层；
第二个判别模块包含一个平均池化层以及与第一个模块具有相同的配置五个部分。
进一步地，CVPHD网络训练时，生成器最终损失函数为：
L＝Lgan+Lfeature+Lvgg
其中，Lfeature为自适应加权损失，Lgan是复数域散焦图像和虚假生成图像组合后经过判别器得到的特征图和全1矩阵的MSE损失，Lvgg是真实聚焦标签和虚假生成图像分别经过VGG网络提取的特征图间的L1损失；
所述自适应加权损失Lfeature的确定过程如下：
判别器中第一个判别模块中的第一层卷积的特征图FM1和判别器中第一个判别模块中的第二层卷积的特征图FM2对应的权重系数为a，判别器中第二个判别模块中的第一层卷积的特征图FM3和判别器中第二个判别模块中的第二层卷积的特征图FM4对应的权重系数为2a，将这两个权重系数也作为训练变量加入到优化器中，计算得到权重的更新偏移量：
判别器中第一个判别模块中的第一层卷积的特征图FM1和判别器中第一个判别模块中的第二层卷积的特征图FM2对应的偏移量如下：
Figure GDA0004225896280000031
其中，η是学习率，L是最终的损失值；
判别器中第二个判别模块中的第一层卷积的特征图FM3和判别器中第二个判别模块中的第二层卷积的特征图FM4对应的偏移量如下：
Figure GDA0004225896280000032
计算聚焦标签和散焦图像对应的FM1与散焦图像和虚假生成图像对应的FM1之间的MSE损失，然后将MSE损失乘以权重(a+Δi)得到判别器中第一个判别模块中的第一层卷积的特征图损失；
针对FM2、FM3、FM4，以相同的方式得到损失，然后加和得到自适应加权损失Lfeature。
进一步地，训练CVPHD网络的训练集中通过以下方式获得：
基于三维空间目标模型与距离多普勒算法仿真获得机动目标的ISAR运动空间样本，将空间目标模型的旋转加速度设为0rad/s2，再使用距离多普勒RD算法仿真得到的就是ISAR聚焦图像，也即聚焦标签图像；将目标模型的旋转加速度设为5rad/s2，再使用距离多普勒RD算法仿真得到的就是ISAR散焦图像。
进一步地，对ISAR散焦图像进行分割时，将图像分割为128×128的图像块。
进一步地，所述的复数卷积单元包5个卷积模块；
所述的复数残差单元包含9个残差模块；
所述的复数反卷积单元共包含4个反卷积模块。
进一步地，所述的复数卷积单元的卷积模块中，第一个卷积层中卷积核大小为7×7像素，步长为1像素，共64个卷积核；第二个卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第三个卷积层中卷积核大小为3×3像素，步长为2像素，共256个卷积核；第四个卷积层中卷积核大小为3×3像素，步长为2像素，共512个卷积核；第五个卷积层中卷积核大小为3×3像素，步长为2像素，共1024个卷积核；
所述的复数残差单元的残差模块中，每个卷积层的中卷积核大小为3×3像素，步长为1像素，共1024个卷积核；
所述的复数反卷积单元的反卷积模块中，第一个反卷积层中卷积核大小为3×3像素，步长为2像素，共512个卷积核；第二个反卷积层中卷积核大小为3×3像素，步长为2像素，共256个卷积核；第三个反卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第四个反卷积层中卷积核大小为3×3像素，步长为2像素，共64个卷积核。
进一步地，所述判别器输入的图像为虚假生成图像、聚焦标签图像分别与散焦图像的组合，分别记为图像A和图像B，图像A和图像B通道数为3，因为虚假生成图像和聚焦标签图像为1个通道，散焦图像为2个通道。
进一步地，所述判别器的判别过程包括以下步骤：
将图像A分别输入到第一个判别模块和第二个判别模块，或者将图像B分别输入到第一个判别模块和第二个判别模块；
其中，第一个判别模块处理如下：
第一个卷积层将输入的特征图进行处理后输出64个65×65像素大小的特征图，经Leaky_ReLU处理后，将特征图记为FM1，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出128个33×33像素大小的特征图，经IN和Leaky_ReLU处理后，将特征图记为FM2，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出256个17×17像素大小的特征图，经IN和Leaky_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出512个18×18像素大小的特征图，经IN和Leaky_ReLU处理后，送入第五个卷积层；
第五个卷积层将输入的特征图进行处理后输出1个19×19像素大小的特征图；
第二个判别模块处理如下：
池化层输出3个64×64像素大小的特征图，送入第一个卷积层；
第一个卷积层将输入的特征图进行处理后输出64个33×33像素大小的特征图，经Leaky_ReLU处理后，将特征图记为FM3，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出128个17×17像素大小的特征图，经IN和Leaky_ReLU处理后，将特征图记为FM4，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出256个9×9像素大小的特征图，经IN和Leaky_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出512个10×10像素大小的特征图，经IN和Leaky_ReLU处理后，送入第五个卷积层；
第四个卷积层将输入的特征图进行处理后输出1个11×11像素大小的特征图。
本发明的有益效果：
本发明提出了一个名为CVPHD的图像转换框架，用于对机动目标的ISAR散焦图像进行重新聚焦。首先，该方法训练端到端的重新聚焦模型，聚焦速度快，操作简单，精度高。并且，本发明提出了一种创新的复数实例归一化层，通过计算输入的实部和虚部的协方差来充分挖掘它们之间的深层关系，从而使重聚焦效果更好。此外，本发明提出了一种自适应加权损失策略来改进训练并加速重聚焦。
本发明利用深度学习技术，更好的满足不同成像场景下的机动目标的ISAR散焦图像的重聚焦需求，网络对输入图像的视角变化、仿射变换、噪声保持一定程度的稳定性。
附图说明
图1是自适应加权损失函数的示意图。
图2是本发明提出的CVPHD框架的整体结构图。
图3是仿真ISAR图像时机动目标和稳定目标的成像几何关系图。
图4是仿真ISAR图像的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图4说明本实施方式，
本实施方式为一种机动目标ISAR散焦图像高分辨重聚焦方法，包括以下步骤：
S1、基于三维空间目标模型与距离多普勒算法仿真获得机动目标的ISAR运动空间样本，ISAR运动空间样本大小为512×512，ISAR运动空间样本包括ISAR散焦图像序列样本和ISAR聚焦图像序列样本；将ISAR散焦图像简记为散焦图像，将ISAR聚焦图像简记为聚焦图像；
将ISAR运动空间样本数据集分为训练样本库与测试样本库；训练样本库中包括散焦图像序列样本和聚焦图像序列样本，其中聚焦图像序列样本作为聚焦标签图像；
实际上将空间目标模型的旋转加速度设为0rad/s2，再使用距离多普勒RD算法仿真得到的就是ISAR聚焦图像，也即聚焦标签图像；将目标模型的旋转加速度设为5rad/s2，再使用距离多普勒RD算法仿真得到的就是ISAR散焦图像；仿真ISAR图像时机动目标和稳定目标的成像几何关系图如图3所示。
如图4所示，ISAR运动空间样本的获得过程包括：空间目标三维建模、电磁参数设置与ISAR成像三部分。
空间目标三维建模负责生成所仿真空间目标的三维模型；电磁参数设置根据模型的大小设置生成网格的频率，网格线在目标模型上的角点作为三维散射点的空间坐标；ISAR成像部分利用目标的散射点三维信息，根据设置的雷达参数和目标运动参数，进行ISAR成像仿真，得到ISAR运动空间目标图像；再进行仿真得到目标的图像构成仿真样本库。
将每个ISAR运动空间样本图像分割为16个128×128的图像块，由于复数域的对抗生成网络的参数量巨大，并且有些图像块不包含关键信息，所以分割的步骤是非常必要的；
S2、构建基于复数域Pix2pixHD结构的重聚焦网络(Complex-valued Pix2pixHD)，记为CVPHD，其包含创新性的复数域Instance normalization(IN)层，复数域反卷积层以及面向重聚焦的自适应加权损失函数；本发明的的特点是利用复数域来处理ISAR散焦图像，这样使得在判别器处理时，输入的通道数量就变成了3通道；同时本发明在计算损失函数时还构建面向重聚焦的自适应加权损失函数。
2.1构建复数域(CV)的Instance normalization(IN)层CV_IN：
在从ISAR散焦图像到聚焦图像的变换生成模型中，IN的方法比Batchnormalization(BN)更合适，因为聚焦图像的生成更依赖于散焦图像的当前实例，而不是整个批次的样式。在CVPHD框架中使用IN不仅可以加快模型收敛，而且可以保持每个散焦图像之间的独立性，从而减少过拟合。实数域的IN过程忽略了数据中实部和虚部之间的相关性，这对重新聚焦有不利影响。为此，在CVPHD框架中提出了一个复数域的IN层，该层可以通过计算实部和虚部的协方差，将复数数据标准化为正态复数分布。
对于网络中第l层的输入的复数(CV)数据
Figure GDA0004225896280000071
CV_IN可以表示为公式(1)：
Figure GDA0004225896280000072
其中，
Figure GDA0004225896280000073
表示复数域，i表示特征图的顺序，B表示批次大小，N是样本数，D是特征图的宽度和高度。/>
Figure GDA0004225896280000074
是虚部单位，/>
Figure GDA0004225896280000075
和/>
Figure GDA0004225896280000076
分别表示CV数据的实部和虚部。E[·]表示在特征图维度中计算数据的平均值。协方差矩阵Vl可以表示为
Figure GDA0004225896280000077
Figure GDA0004225896280000078
其中，W、H为图像的宽和高；
2.2构建复数域反卷积层：
在pix2pixHD网络结构中，转置卷积层用于找到一组核和特征图，以无监督的方式重建高分辨率图像。我们将其扩展到CVPHD框架中的复数域。反卷积层(第l层)网络的输出特征图
Figure GDA0004225896280000079
通过前一层的输出特征图/>
Figure GDA00042258962800000710
和一系列的滤波器/>
Figure GDA00042258962800000711
的反卷积得到，其中k表示卷积核的顺序。上述过程可以表示为
Figure GDA00042258962800000712
其中，字符
Figure GDA00042258962800000713
表示反卷积运算，/>
Figure GDA00042258962800000714
表示反卷积层中的偏差。
2.3构建面向重聚焦的自适应加权损失函数：
在pix2pixHD架构中，将特征匹配损失添加到网络中，以使训练更稳定。这种损失可以使生成器生成的伪图像提取的特征尽可能接近聚焦标签图像(真实背景图像)的特征。在本文提出的CVPHD框架中，我们将此损失变换为自适应加权损失。自适应算法可以加快网络的收敛速度，更重要的是，由于ISAR散焦图像上的像素具有较大的偏移量，我们将池化后的特征图对应的初始权重系数定义为池化前特征图对应权重系数的2倍，以使图像更专注于整体结构的重聚焦，这样网络学习到的映射关系更接近整体结构的变化。该部分的示意图如图1所示，具体方式如下：初始化池化前特征图(判别器中第一个判别模块中的第一层卷积的特征图FM1和判别器中第一个判别模块中的第二层卷积的特征图FM2)对应的权重系数为a，初始化池化后特征图(判别器中第二个判别模块中的第一层卷积的特征图FM3和判别器中第二个判别模块中的第二层卷积的特征图FM4)对应的权重系数为2a，将这两个权重系数也作为训练变量加入到优化器中，下面公式为计算得到的权重的更新偏移量，其中Δa是优化器计算得到的关于权重系数a的更新偏移量，η是学习率，L是最终的损失值。
判别器中第一个判别模块中的第一层卷积的特征图FM1和判别器中第一个判别模块中的第二层卷积的特征图FM2对应的偏移量如下：
Figure GDA0004225896280000081
判别器中第二个判别模块中的第一层卷积的特征图FM3和判别器中第二个判别模块中的第二层卷积的特征图FM4对应的偏移量如下：
Figure GDA0004225896280000082
计算聚焦标签和散焦图像对应的FM1与散焦图像和虚假生成图像对应的FM1之间的MSE损失，然后将MSE损失乘以权重(a+Δi)得到判别器中第一个判别模块中的第一层卷积的特征图损失；
针对FM2、FM3、FM4，以相同的方式得到损失，然后加和得到自适应加权损失Lfeature；
生成器最终损失组成为：
L＝Lgan+Lfeature+Lvgg
其中Lfeature为自适应加权损失，Lgan是复数域散焦图像和虚假生成图像组合后经过判别器得到的特征图和全1矩阵的MSE损失，Lvgg是真实聚焦标签和虚假生成图像分别经过VGG网络提取的特征图间的L1损失。
本发明在自适应加权损失中使用了判别器中第一个判别模块和第二个判别模块对应的损失，可以在保证精度的基础上减少计算量。
2.4构建CVPHD网络结构
聚焦的目的主要是帮助后端的识别任务，因此有必要学习从散焦点到聚焦点的高分辨率映射关系。同时，引起模糊的信号相位中的高阶项信息包含在复数ISAR散焦图像的实部和虚部之间的关系中。此外，当ISAR图像转换为实值域时，它们将丢失重要的相位信息。因此，本文提出了一种复数CVPHD框架，该框架使用复数的ISAR散焦图像直接作为网络的输入。
CVPHD框架的示意图如图2所示。CVPHD网络包含一个复数的卷积单元，一个复数的残差单元，一个复数的反卷积单元，一个实数卷积单元和一个实数的判别器，其中，除了判别器以外的网络部分用于生成虚假生成图像，也就是生成器；
复数的卷积单元共有5个卷积模块，每个卷积模块包含一个卷积层，卷积层之后接有复数IN层和复数ReLU激活层；第一个卷积层中卷积核大小为7×7像素，步长为1像素，共64个卷积核，图2中的符号k7n64s1表示复数卷积层，其内核大小为7×7，卷积核数为64，步长为1；第二个卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第三个卷积层中卷积核大小为3×3像素，步长为2像素，共256个卷积核；第四个卷积层中卷积核大小为3×3像素，步长为2像素，共512个卷积核；第五个卷积层中卷积核大小为3×3像素，步长为2像素，共1024个卷积核；
复数的残差单元共包含9个残差模块，每个残差模块都含有两个部分：第一个部分包含一个复数卷积层，一个复数IN层，以及一个复数ReLU激活层；第二个部分只有一个复数卷积层和一个复数IN层。在残差模块中，模块的输出和它的输入相加再一起传入到下一个模块中，这样可以避免梯度的丢失。残差模块中每个卷积层的中卷积核大小为3×3像素，步长为1像素，共1024个卷积核；
复数的反卷积单元共包含4个反卷积模块，每个模块都包含一个复数反卷积层，一个复数IN层，以及一个复数ReLU激活层；第一个反卷积层中卷积核大小为3×3像素，步长为2像素，共512个卷积核；第二个反卷积层中卷积核大小为3×3像素，步长为2像素，共256个卷积核；第三个反卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第四个反卷积层中卷积核大小为3×3像素，步长为2像素，共64个卷积核；
实数的卷积单元包含一个实数卷积层核一个Tanh激活函数层；输出虚假生成图像，在实际使用时直接得到虚假生成图像即可，在训练时为了训练整个网络，因此需要将虚假生成图像送入判别器进行判别，从而根据判别结果进一步训练。
判别器共包含两个并行的判别模块，判别器将虚假生成图像、聚焦标签图像(真实背景图像)分别与散焦图像组合，记为图像A和图像B，图像A和图像B通道数为3，因为虚假生成图像和聚焦标签图像为1个通道，散焦图像为2个通道(复数)；将图像A分别输入到第一个判别模块和第二个判别模块，同样的将图像B分别输入到第一个判别模块和第二个判别模块；
第一个判别模块包含五个部分：
第一个部分包含一个卷积层和一个Leaky ReLU层，其中卷积层中卷积核大小为4×4像素，步长为2像素，共64个卷积核；
第二个部分包含一个卷积层，一个IN层和一个Leaky ReLU层，其中卷积层中卷积核大小为4×4像素，步长为2像素，共128个卷积核；
第三个部分包含一个卷积层，一个IN层和一个Leaky ReLU层，其中卷积层中卷积核大小为4×4像素，步长为2像素，共256个卷积核；
第四个部分包含一个卷积层，一个IN层和一个Leaky ReLU层，其中卷积层中卷积核大小为4×4像素，步长为1像素，共512个卷积核；
第五个部分只包含一个卷积层，其中卷积层中卷积核大小为4×4像素，步长为1像素，共1个卷积核；
第二个判别模块包含一个平均池化层以及与第一个模块具有相同的配置五个部分，第二个模块的平均池化层，池化核大小为3×3像素，步长为2像素。
在CVPHD框架中，包含实部和虚部的双通道输入被发送到复数域的生成器，并且生成器输出与输入大小相同的单通道数据。因此，在每个卷积层中，需要在输入的每一侧适当填充零，以保持特征图的大小固定。然后，使用初始输入图像、输出图像和鉴别器输出的特征图来计算均方损失。
采用散焦的训练样本对基于复数域Pix2pixHD的重聚焦网络CVPHD进行训练，CVPHD网络中每批次训练样本数为4，共训练20000批次，学习率全连接层之前为0.0002，优化方法为Adam；得到训练模型；
利用训练得到的重聚焦网络CVPHD模型对测试散焦图像进行测试，得到测试图像重聚焦的结果。
CVPHD中生成器的输入是训练集(训练阶段)或验证集(测试阶段)中散焦的图像，输出虚假的聚焦图像；判别器输入是虚假的聚焦图像，输出是图像对应的特征图，通过此特征图可以计算判别损失。
结合图1中自适应损失的示意图创建损失函数，对CVPHD网络进行训练：
ISAR图像输入到复数卷积模块后，传递至第一个卷积层；
第一个卷积层将输入的图像进行处理后输出两份64个128×128像素大小的特征图，其中一份是实部，一份是虚部，下同，经CV_IN和CV_ReLU处理后，送入第二个卷积层；
第二个卷积层输出两份128个64×64像素大小的特征图，经CV_IN和CV_ReLU处理后，送入第三个卷积层；
第三个卷积层输出两份256个32×32像素大小的特征图，经CV_IN和CV_ReLU处理后，送入第四个卷积层；
第四个卷积层输出两份512个16×16像素大小的特征图，经CV_IN和CV_ReLU处理后，送入第五个卷积层；
第五个卷积层输出两份1024个8×8像素大小的特征图，经CV_IN和CV_ReLU处理后，送入残差模块；
残差模块不改变特征图的大小和个数，还是输出两份1024个8×8像素大小的特征图，送入复数的反卷积模块后，传递至第一个卷积层；
第一个卷积层将输入的图像进行处理后输出两份512个16×16像素大小的特征图，经CV_IN和CV_ReLU处理后，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出两份256个32×32像素大小的特征图，经CV_IN和CV_ReLU处理后，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出两份128个64×64像素大小的特征图，经CV_IN和CV_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出两份64个128×128像素大小的特征图，经CV_IN和CV_ReLU处理后，送入一个实数的卷积层；
这个实数的卷积层将输入的128×128×128特征图进行处理后输出128×128的虚假生成图像；
判别器的第一个判别模块的参数和处理过程如下：
第一个卷积层将输入的特征图进行处理后输出64个65×65像素大小的特征图，经Leaky_ReLU处理后，将特征图记为FM1，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出128个33×33像素大小的特征图，经IN和Leaky_ReLU处理后，将特征图记为FM2，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出256个17×17像素大小的特征图，经IN和Leaky_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出512个18×18像素大小的特征图，经IN和Leaky_ReLU处理后，送入第五个卷积层；
第五个卷积层将输入的特征图进行处理后输出1个19×19像素大小的特征图；
判别器的第二个判别模块的参数和处理过程如下：
池化层输出3个64×64像素大小的特征图，送入第一个卷积层；
第一个卷积层将输入的特征图进行处理后输出64个33×33像素大小的特征图，经Leaky_ReLU处理后，将特征图记为FM3，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出128个17×17像素大小的特征图，经IN和Leaky_ReLU处理后，将特征图记为FM4，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出256个9×9像素大小的特征图，经IN和Leaky_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出512个10×10像素大小的特征图，经IN和Leaky_ReLU处理后，送入第五个卷积层；
第四个卷积层将输入的特征图进行处理后输出1个11×11像素大小的特征图；
判别器得到的特征图通过与全0矩阵进行MSE损失计算，得到虚假概率，从而进行生成对抗操作。
所述CVPHD网络架构的目标类型估计包括训练和测试两部分。训练部分选取ISAR散焦图像样本的全部仿真样本中的80％作为训练样本，输入到CVPHD架构中进行训练，得到图像映射关系的训练模型；再把测试数据集中的散焦图像输入到模型中获得聚焦结果，方法运行结束。
虽然在本发明中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本发明中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (8)

1.机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，包括以下步骤：
首先将ISAR散焦图像进行分割，然后将分割后的ISAR散焦图像以复数的形式送入CVPHD网络进行处理，所述的CVPHD网络为基于复数域Pix2pixHD结构，其包含一个复数的卷积单元、一个复数的残差单元、一个复数的反卷积单元、一个实数卷积单元；其中，
所述的复数的卷积单元包多个卷积模块，每个卷积模块包含一个复数卷积层，复数卷积层之后接有复数IN层和复数ReLU激活层；复数IN层通过计算实部和虚部的协方差，将复数数据标准化为正态复数分布；
第l层的输入的复数数据
Figure QLYQS_1
复数IN层CV_IN如下：
Figure QLYQS_2
其中，
Figure QLYQS_3
表示复数域，i表示特征图的顺序，B表示批次大小，N是样本数，D是特征图的宽度和高度；/>
Figure QLYQS_4
是虚部单位，/>
Figure QLYQS_5
和/>
Figure QLYQS_6
分别表示CV数据的实部和虚部；Ε[·]表示在特征图维度中计算数据的平均值；协方差矩阵Vl表示为
Figure QLYQS_7
Figure QLYQS_8
其中，W、H为图像的宽和高；
所述的复数的残差单元包含多个残差模块，每个残差模块都含有两个部分：第一个部分包含一个复数卷积层，一个复数IN层，以及一个复数ReLU激活层；第二个部分只有一个复数卷积层和一个复数IN层；
所述的复数的反卷积单元共包含多个反卷积模块，每个模块都包含一个复数反卷积层，一个复数IN层，以及一个复数ReLU激活层；
所述的实数卷积单元包含一个实数卷积层核一个Tanh激活函数层；输出虚假生成图像，即聚焦后的图像；
所述的CVPHD网络还包括一个判别器，所述判别器包括两个并行的判别模块；
第一个判别模块包含五个部分：
第一个部分包含一个卷积层和一个Leaky ReLU层；
第二个部分包含一个卷积层，一个IN层和一个Leaky ReLU层；
第三个部分包含一个卷积层，一个IN层和一个Leaky ReLU层；
第四个部分包含一个卷积层，一个IN层和一个Leaky ReLU层；
第五个部分只包含一个卷积层；
第二个判别模块包含一个平均池化层以及与第一个模块具有相同的配置五个部分；
CVPHD网络训练时，生成器最终损失函数为：
L＝Lgan+Lfeature+Lvgg
其中，Lfeature为自适应加权损失，Lgan是复数域散焦图像和虚假生成图像组合后经过判别器得到的特征图和全1矩阵的MSE损失，Lvgg是真实聚焦标签和虚假生成图像分别经过VGG网络提取的特征图间的L1损失；
所述自适应加权损失Lfeature的确定过程如下：
判别器中第一个判别模块中的第一层卷积的特征图FM1和判别器中第一个判别模块中的第二层卷积的特征图FM2对应的权重系数为a，判别器中第二个判别模块中的第一层卷积的特征图FM3和判别器中第二个判别模块中的第二层卷积的特征图FM4对应的权重系数为2a，将这两个权重系数也作为训练变量加入到优化器中，计算得到权重的更新偏移量：
判别器中第一个判别模块中的第一层卷积的特征图FM1和判别器中第一个判别模块中的第二层卷积的特征图FM2对应的偏移量如下：
Figure QLYQS_9
其中，η是学习率，L是最终的损失值；
判别器中第二个判别模块中的第一层卷积的特征图FM3和判别器中第二个判别模块中的第二层卷积的特征图FM4对应的偏移量如下：
Figure QLYQS_10
计算聚焦标签和散焦图像对应的FM1与散焦图像和虚假生成图像对应的FM1之间的MSE损失，然后将MSE损失乘以权重a+Δi得到判别器中第一个判别模块中的第一层卷积的特征图损失；
针对FM2、FM3、FM4，以相同的方式得到损失，然后加和得到自适应加权损失Lfeature。
2.根据权利要求1所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，所述复数反卷积层如下：
第l层的反卷积层网络的输出特征图Ok l通过前一层的输出特征图
Figure QLYQS_11
和一系列的滤波器/>
Figure QLYQS_12
的反卷积得到，其中k表示卷积核的顺序；上述过程表示为
Figure QLYQS_13
其中，字符
Figure QLYQS_14
表示反卷积运算，/>
Figure QLYQS_15
表示反卷积层中的偏差。
3.根据权利要求1所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，训练CVPHD网络的训练集中通过以下方式获得：
基于三维空间目标模型与距离多普勒算法仿真获得机动目标的ISAR运动空间样本，将空间目标模型的旋转加速度设为0rad/s2，再使用距离多普勒RD算法仿真得到的就是ISAR聚焦图像，也即聚焦标签图像；将目标模型的旋转加速度设为5rad/s2，再使用距离多普勒RD算法仿真得到的就是ISAR散焦图像。
4.根据权利要求1、2或3所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，对ISAR散焦图像进行分割时，将图像分割为128×128的图像块。
5.根据权利要求4所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，
所述的复数的卷积单元包5个卷积模块；
所述的复数的残差单元包含9个残差模块；
所述的复数的反卷积单元共包含4个反卷积模块。
6.根据权利要求5所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，所述的复数的卷积单元的卷积模块中，第一个卷积层中卷积核大小为7×7像素，步长为1像素，共64个卷积核；第二个卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第三个卷积层中卷积核大小为3×3像素，步长为2像素，共256个卷积核；第四个卷积层中卷积核大小为3×3像素，步长为2像素，共512个卷积核；第五个卷积层中卷积核大小为3×3像素，步长为2像素，共1024个卷积核；
所述的复数的残差单元的残差模块中，每个卷积层的中卷积核大小为3×3像素，步长为1像素，共1024个卷积核；
所述的复数的反卷积单元的反卷积模块中，第一个反卷积层中卷积核大小为3×3像素，步长为2像素，共512个卷积核；第二个反卷积层中卷积核大小为3×3像素，步长为2像素，共256个卷积核；第三个反卷积层中卷积核大小为3×3像素，步长为2像素，共128个卷积核；第四个反卷积层中卷积核大小为3×3像素，步长为2像素，共64个卷积核。
7.根据权利要求6所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，所述判别器输入的图像为虚假生成图像、聚焦标签图像分别与散焦图像的组合，分别记为图像A和图像B，图像A和图像B通道数为3，因为虚假生成图像和聚焦标签图像为1个通道，散焦图像为2个通道。
8.根据权利要求7所述的机动目标ISAR散焦图像高分辨重聚焦方法，其特征在于，所述判别器的判别过程包括以下步骤：
将图像A分别输入到第一个判别模块和第二个判别模块，或者将图像B分别输入到第一个判别模块和第二个判别模块；
其中，第一个判别模块处理如下：
第一个卷积层将输入的特征图进行处理后输出64个65×65像素大小的特征图，经Leaky_ReLU处理后，将特征图记为FM1，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出128个33×33像素大小的特征图，经IN和Leaky_ReLU处理后，将特征图记为FM2，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出256个17×17像素大小的特征图，经IN和Leaky_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出512个18×18像素大小的特征图，经IN和Leaky_ReLU处理后，送入第五个卷积层；
第五个卷积层将输入的特征图进行处理后输出1个19×19像素大小的特征图；
第二个判别模块处理如下：
池化层输出3个64×64像素大小的特征图，送入第一个卷积层；
第一个卷积层将输入的特征图进行处理后输出64个33×33像素大小的特征图，经Leaky_ReLU处理后，将特征图记为FM3，送入第二个卷积层；
第二个卷积层将输入的特征图进行处理后输出128个17×17像素大小的特征图，经IN和Leaky_ReLU处理后，将特征图记为FM4，送入第三个卷积层；
第三个卷积层将输入的特征图进行处理后输出256个9×9像素大小的特征图，经IN和Leaky_ReLU处理后，送入第四个卷积层；
第四个卷积层将输入的特征图进行处理后输出512个10×10像素大小的特征图，经IN和Leaky_ReLU处理后，送入第五个卷积层；
第四个卷积层将输入的特征图进行处理后输出1个11×11像素大小的特征图。
CN202211027066.0A 2022-08-25 2022-08-25 机动目标isar散焦图像高分辨重聚焦方法 Active CN115311185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027066.0A CN115311185B (zh) 2022-08-25 2022-08-25 机动目标isar散焦图像高分辨重聚焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211027066.0A CN115311185B (zh) 2022-08-25 2022-08-25 机动目标isar散焦图像高分辨重聚焦方法

Publications (2)

Publication Number Publication Date
CN115311185A CN115311185A (zh) 2022-11-08
CN115311185B true CN115311185B (zh) 2023-07-11

Family

ID=83864586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211027066.0A Active CN115311185B (zh) 2022-08-25 2022-08-25 机动目标isar散焦图像高分辨重聚焦方法

Country Status (1)

Country Link
CN (1) CN115311185B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723875A (zh) * 2020-07-16 2020-09-29 哈尔滨工业大学 基于CV-RefocusNet的SAR三维转动舰船目标重聚焦方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363215B (zh) * 2019-05-31 2020-07-28 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN112560795B (zh) * 2020-12-30 2022-07-26 南昌航空大学 一种基于cn-gan与cnn的sar图像目标识别算法
CN112782695B (zh) * 2021-01-27 2023-05-30 西安电子科技大学 基于isar图像和参数优化的卫星姿态和尺寸估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723875A (zh) * 2020-07-16 2020-09-29 哈尔滨工业大学 基于CV-RefocusNet的SAR三维转动舰船目标重聚焦方法

Also Published As

Publication number Publication date
CN115311185A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN110335290B (zh) 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN107358626B (zh) 一种利用条件生成对抗网络计算视差的方法
CN110910391B (zh) 一种双模块神经网络结构视频对象分割方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN113361566B (zh) 用对抗性学习和判别性学习来迁移生成式对抗网络的方法
CN111368769A (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN111310609A (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN111986126A (zh) 一种基于改进vgg16网络的多目标检测方法
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN115171074A (zh) 一种基于多尺度yolo算法的车辆目标识别方法
CN111781599A (zh) 基于CV-EstNet的SAR运动舰船目标速度估算方法
CN111179272A (zh) 一种面向道路场景的快速语义分割方法
CN113902095A (zh) 一种无线通信自动调制识别方法、装置与系统
CN115311185B (zh) 机动目标isar散焦图像高分辨重聚焦方法
CN116958548A (zh) 基于类别统计驱动的伪标签自蒸馏语义分割方法
CN115760603A (zh) 一种基于大数据技术的干涉阵列宽带成像方法
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法
CN115294182A (zh) 一种基于双交叉注意力机制的高精度立体匹配方法
CN111931412A (zh) 一种基于生成式对抗网络的水中目标噪声lofar谱图仿真方法
CN111899284A (zh) 一种基于参数化esm网络的平面目标跟踪方法
CN117611644B (zh) 一种可见光图像到sar图像的转换方法、装置、介质及设备
CN118096836B (zh) 基于旋转等变网络与三重注意力机制目标跟踪方法与系统
CN112991394B (zh) 基于三次样条插值和马尔科夫链的kcf目标跟踪方法
WO2023100215A1 (en) Training apparatus, classification apparatus, training method, and classification method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant