CN114114262A - 基于CV-ConvGRU的SAR三维转动目标重聚焦方法 - Google Patents

基于CV-ConvGRU的SAR三维转动目标重聚焦方法 Download PDF

Info

Publication number
CN114114262A
CN114114262A CN202111417477.6A CN202111417477A CN114114262A CN 114114262 A CN114114262 A CN 114114262A CN 202111417477 A CN202111417477 A CN 202111417477A CN 114114262 A CN114114262 A CN 114114262A
Authority
CN
China
Prior art keywords
sar
convgru
refocusing
image
gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111417477.6A
Other languages
English (en)
Other versions
CN114114262B (zh
Inventor
张云
化青龙
冀振元
姜义成
李宏博
徐丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111417477.6A priority Critical patent/CN114114262B/zh
Priority claimed from CN202111417477.6A external-priority patent/CN114114262B/zh
Publication of CN114114262A publication Critical patent/CN114114262A/zh
Application granted granted Critical
Publication of CN114114262B publication Critical patent/CN114114262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9004—SAR image acquisition techniques
    • G01S13/9019—Auto-focussing of the SAR signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

基于CV‑ConvGRU的SAR三维转动目标重聚焦方法，涉及图像处理技术领域，针对现有技术中由于海浪、风、自身航行等因素的影响导致SAR成像模糊的问题，本申请提出了一种CV‑ConvGRU，CV‑ConvGRU将包括卷积层、激活函数、更新门、重置门在内的整个网络扩展到复杂域中，并在此基础上，推导出一种用于CV‑ConvGRU训练的反向传播算法。本申请基于CV‑ConvGRU设计了CV‑SSRN架构，进行SAR三维转动目标重聚焦，将SAR重聚焦任务转换为一个图像回归问题，并加入编码器与解码器，来实现目标重新聚焦，聚焦精度显着提高，避免了SAR成像模糊的问题。本申请利用SAR成像原理、复数域深度学习技术，更好的满足复杂SAR重聚焦需求，对视角变化、仿射变换、噪声保持一定程度的稳定性。

Description

基于CV-ConvGRU的SAR三维转动目标重聚焦方法
技术领域
本发明涉及图像处理技术领域，具体为基于CV-ConvGRU的SAR三维转动目标重聚焦方法。
背景技术
合成孔径雷达(Synthetic aperture radar，SAR)在军事侦察、地理测绘和资源测量等领域有着无可争辩的优势，因为它提供具有全天候和全天监视能力的观测场景的高分辨率图像。由于海浪、风、自身航行等因素的影响，海上舰船目标一般处于复杂的三维摆动状态。传统的SAR成像算法是为静态场景成像而设计的，所以采用基于匹配滤波的方法获得的SAR图像中，目标的复杂运动会导致图像模糊。良好的成像质量是后续分类与识别处理的前提，因此，在进行SAR图像处理时，首先应该进行重聚焦处理以消除目标复杂运动造成的模糊散焦。
发明内容
本发明的目的是：针对现有技术中由于海浪、风、自身航行等因素的影响导致SAR成像模糊的问题，提出基于CV-ConvGRU的SAR三维转动目标重聚焦方法。
本发明为了解决上述技术问题采取的技术方案是：
基于CV-ConvGRU的SAR三维转动目标重聚焦方法，包括以下步骤：
步骤一：获取目标原始检测图像；
步骤二：根据SAR参数对SAR回波进行距离向压缩与方位向压缩，然后利用SAR检测目标得到散焦的SAR目标切片；
步骤三：将散焦的SAR目标切片输入CV-SSRN网络中，得到重聚焦后的SAR图像；
步骤四：利用目标原始检测图像和重聚焦后的SAR图像得到损失函数，并根据复数域反向传播算法进行权值更新，进而得到训练好的CV-SSRN网络；
步骤五：利用训练好的CV-SSRN网络完成重聚焦；
所述CV-SSRN网络包括输入层、编码器、CV-ConvGRU模块、解码器和输出层，
所述输入层的输入为三维复数域散焦SAR图像，维度为H×W×C，
其中，H为SAR图像高，W为图像宽，C为图像通道数，
所述编码器用于提取散焦SAR图像的浅层特征，编码器级联四个复数域卷积模块，输入特征图的大小逐层降低，
所述CV-ConvGRU模块将三个CV-ConvGRU子网络级联，用于深度提取编码器输出的浅层特征，得到深层特征，
所述解码器用于融合浅层特征与深层特征，进而实现从特征到图像的重建，并在重建的过程中完成图像的重聚焦，
所述输出层在给定输入样本及其对应标签的情况下，通过最小化训练数据的损失函数，以监督的方式学习CV-SSRN的参数。
进一步的，所述CV-ConvGRU子网络包括前向传播和反向传播。
进一步的，所述前向传播的具体步骤为：
步骤1：初始化当前时刻t＝1、更新门权值矩阵Wz与Uz、更新门偏置bz、重置门权值矩阵Wr与Ur、重置门偏置br、隐藏状态权值矩阵
Figure BDA0003375718610000021
与
Figure BDA0003375718610000022
隐藏状态偏置
Figure BDA0003375718610000023
步骤2：将当前时刻t的输入信息Xt、前一隐层输出Ht-1分别与各自权值矩阵进行卷积，然后加上偏置量bz得激活前中间变量
Figure BDA0003375718610000024
Figure BDA0003375718610000025
经复数域激活函数σR-I(·)激活后，得到更新门输出结果zt，更新门输出结果zt表示为：
Figure BDA0003375718610000026
其中，
Figure BDA0003375718610000027
分别代表实部与虚部，j为虚数单位，*代表卷积，
Figure BDA0003375718610000028
表示更新门激活前输出结果，σR-I(·)表示对实部和虚部分别激活，Wz表示更新门连接输入Xt的权值矩阵，Uz表示更新门连接输入前一时刻的隐藏状态信息Ht-1的权值矩阵，复数域激活函数σR-I(·)分别激活实部和虚部，激活过程表示为：
Figure BDA0003375718610000029
更新门的激活函数σ(·)为sigmoid函数；
步骤3：将当前时刻t的输入信息Xt、前一隐层输出Ht-1分别与各自权值矩阵Wr、Ur进行卷积，然后再加上偏置量br得激活前中间变量
Figure BDA00033757186100000210
Figure BDA00033757186100000211
经复数域激活函数σR-I(·)激活后，得到遗忘门输出结果rt，遗忘门输出结果rt表示为；
Figure BDA0003375718610000031
其中，Wr、Ur是权值矩阵，br是偏置；
步骤4：先使用rt得到重置后的数据，再将重置后的数据与输入数据Xt进行拼接得到
Figure BDA0003375718610000032
通过一个Ctanh函数将数据缩放到-1-1j～1+1j的范围得到隐藏状态
Figure BDA0003375718610000033
Figure BDA0003375718610000034
表示为：
Figure BDA0003375718610000035
其中，
Figure BDA0003375718610000036
是权值矩阵，
Figure BDA0003375718610000037
是偏置，ο代表卷积Hadamard积，
根据
Figure BDA0003375718610000038
和zt，并结合隐藏状态更新公式得到隐藏状态输出Ht，
隐藏状态更新公式设计如下：
Figure BDA0003375718610000039
步骤5：判断当前时刻t是否为最大时间长度，若t为最大时间长度，则转到步骤6，否则令t＝t+1，转到步骤2；
步骤6：将所有时刻的隐藏状态输出Ht合并输出。
进一步的，所述反向传播的具体步骤为：
S1：初始化当前时刻t等于最大时间长度，并计算t时刻的误差项δt，t时刻的误差项δt表示为：
Figure BDA00033757186100000310
其中，E为网络所有输出层节点的误差平方和，
Figure BDA00033757186100000311
为求偏导；
S2：根据t时刻的误差项δt计算更新门的误差项δzt，δzt表示为：
Figure BDA0003375718610000041
S3：根据δzt计算重置门的误差项δrt，δrt表示为：
Figure BDA0003375718610000042
S4：根据δt计算隐藏状态误差项
Figure BDA0003375718610000043
Figure BDA0003375718610000044
表示为：
Figure BDA0003375718610000045
S5：计算t-1时刻误差项δt-1；
S6：判断t是否等于1，若t＝1，则转到S 7，否则令t＝t-1，转到S5；
S7：根据δzt、δrt和
Figure BDA0003375718610000046
计算CV-ConvGRU权值矩阵Wz、Wr、
Figure BDA0003375718610000047
的梯度分别为：
Figure BDA0003375718610000048
Figure BDA0003375718610000049
其中，
Figure BDA00033757186100000410
S8：根据δzt和δrt计算CV-ConvGRU权值矩阵Uz、Ur的梯度分别为：
Figure BDA00033757186100000411
Figure BDA00033757186100000412
其中，l＝z,r；
S9：根据
Figure BDA00033757186100000413
和rt计算CV-ConvGRU权重
Figure BDA00033757186100000414
的梯度为
Figure BDA0003375718610000051
Figure BDA0003375718610000052
S10：计算CV-ConvGRU偏置项bz、
Figure BDA0003375718610000053
的梯度分别为：
Figure BDA0003375718610000054
S11：完成CV-ConvGRU权值更新：
Figure BDA0003375718610000055
Figure BDA0003375718610000056
Figure BDA0003375718610000057
其中，η为学习率。
进一步的，所述H与W大小为128。
进一步的，所述步骤二中还包括对SAR目标切片进行数据标准化。
进一步的，所述编码器包括四个卷积层，卷积核尺寸为4×4，步长为2，激活函数为Ctanh，四个卷积层的卷积核个数分别为64，128，256，512。
进一步的，所述CV-ConvGRU子网络的卷积核尺寸大小均为3×3，三个CV-ConvGRU子网络卷积核个数均为512。
进一步的，所述解码器包括四个反卷积层，反卷积核尺寸为4×4，步长为2，前三个反卷积层的激活函数为Ctanh，最后一个反卷积层无激活函数，直接输出重聚焦后的SAR图像，四个反卷积层的卷积核个数分别为256，128，64，C，解码器级联四个复数域反卷积模块。
本发明的有益效果是：本申请提出了一种CV-ConvGRU，CV-ConvGRU将包括卷积层、激活函数、更新门、重置门在内的整个网络扩展到复杂域中，并在此基础上，推导出一种用于CV-ConvGRU训练的反向传播算法。本申请基于CV-ConvGRU设计了CV-SSRN架构，进行SAR三维转动目标重聚焦，将SAR重聚焦任务转换为一个图像回归问题，并加入编码器与解码器，来实现目标重新聚焦，聚焦精度显着提高，避免了SAR成像模糊的问题。本申请利用SAR成像原理、复数域深度学习技术，更好的满足复杂SAR重聚焦需求，对视角变化、仿射变换、噪声保持一定程度的稳定性。
附图说明
图1是CV-ConvGRU基本单元结构示意图；
图2是CV-SSRN架构图；
图3是编码器架构图；
图4是解码器架构图；
图5是Conv Block与CV-Conv Block基本单元示意图1；
图6是Conv Block与CV-Conv Block基本单元示意图2；
图7是CV-ConvGRU前向传播流程图；
图8是CV-ConvGRU反向传播流程图；
图9是CV-SSRN重聚焦应用流程图；
图10是CV-SSRN仿真重聚焦成像结果仿真原图；
图11是CV-SSRN仿真重聚焦成像结果重聚焦结果；
图12是CV-SSRN实测重聚焦成像结果高分三SAR舰船目标原图1；
图13是CV-SSRN实测重聚焦成像结果高分三SAR舰船目标原图2；
图14是CV-SSRN实测重聚焦成像结果高分三SAR舰船目标原图3；
图15是CV-SSRN实测重聚焦成像结果高分三SAR舰船目标原图4；
图16是CV-SSRN实测重聚焦成像结果重聚焦结果1；
图17是CV-SSRN实测重聚焦成像结果重聚焦结果2；
图18是CV-SSRN实测重聚焦成像结果重聚焦结果3；
图19是CV-SSRN实测重聚焦成像结果重聚焦结果4。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，包括以下步骤：
步骤一：获取目标原始检测图像；
步骤二：根据SAR参数对SAR回波进行距离向压缩与方位向压缩，然后利用SAR检测目标得到散焦的SAR目标切片；
步骤三：将散焦的SAR目标切片输入CV-SSRN网络中，得到重聚焦后的SAR图像；
步骤四：利用目标原始检测图像和重聚焦后的SAR图像得到损失函数，并根据复数域反向传播算法进行权值更新，进而得到训练好的CV-SSRN网络；
步骤五：利用训练好的CV-SSRN网络完成重聚焦；
所述CV-SSRN网络包括输入层、编码器、CV-ConvGRU模块、解码器和输出层，
所述输入层的输入为三维复数域散焦SAR图像，维度为H×W×C，
其中，H为SAR图像高，W为图像宽，C为图像通道数，
所述编码器用于提取散焦SAR图像的浅层特征，编码器级联四个复数域卷积模块，输入特征图的大小逐层降低，
所述CV-ConvGRU模块将三个CV-ConvGRU子网络级联，用于深度提取编码器输出的浅层特征，得到深层特征，
所述解码器用于融合浅层特征与深层特征，进而实现从特征到图像的重建，并在重建的过程中完成图像的重聚焦，
所述输出层在给定输入样本及其对应标签的情况下，通过最小化训练数据的损失函数，以监督的方式学习CV-SSRN的参数，
所述CV-SSRN网络中的全部元素均为复数，CV-SSRN中直接将SAR复图像的实部和虚部作为整体输入到网络中。
本发明针对SAR三维转动重聚焦应用提出了一种基于复数域卷积门控循环单元(Complex-valued Convolutional Gated Recurrent Unit，CV-ConvGRU)的方法。所提出的方法将SAR重聚焦任务转换为一个图像回归问题中。所提CV-ConvGRU将包括卷积层、激活函数、更新门、重置门在内的整个网络扩展到复杂域中。在此基础上，本发明推导出一种用于CV-ConvGRU训练的反向传播算法，并基于CV-ConvGRU设计复数域SAR目标重聚焦网络(Complex-valued SAR Ship Refoucs Network，CV-SSRN)架构用于重聚焦实验。CV-SSRN网络的核心是CV-ConvGRU，同时加入编码器与解码器。编码器用于提取浅层特征，CV-ConvGRU用于提取深层特征，解码器用于重建图像。经过训练的CV-SSRN能够将重新聚焦SAR三维转动运动目标。
基于CV-ConvGRU的SAR三维转动目标重聚焦方法中的CV-ConvGRU前向传播部分的具体步骤为：
(1)初始化t＝1、更新门权值矩阵Wz与Uz、更新门偏置bz、重置门权值矩阵Wr与Ur、重置门偏置br、隐藏状态权值矩阵
Figure BDA0003375718610000081
与
Figure BDA0003375718610000082
隐藏状态偏置
Figure BDA0003375718610000083
(2)计算当前时刻t的更新门输出：当前时刻t的输入信息Xt、前一隐层输出Ht-1分别与各自权值矩阵卷积，再加上偏置量bz得激活前中间变量
Figure BDA0003375718610000084
Figure BDA0003375718610000085
经复数域激活函数σR-I(·)激活后，得到更新门输出结果zt：
Figure BDA0003375718610000086
其中，
Figure BDA0003375718610000087
分别代表实部与虚部，j为虚数单位，
Figure BDA0003375718610000088
表示更新门激活前输出结果。σR-I(·)表示对实部和虚部分别激活，Wz是更新门连接输入Xt的权值矩阵，Uz是更新门连接输入前一时刻的隐藏状态信息Ht-1的权值矩阵。复数域激活函数σR-I(·)分别激活实部和虚部，激活过程可以表述为：
Figure BDA0003375718610000089
需要注意的是更新门的激活函数σ(·)一般为sigmoid函数。
(3)计算当前时刻t的重置门输出：当前时刻t的输入信息Xt、前一隐层输出Ht-1分别与各自权值矩阵Wr、Ur卷积，再加上偏置量br得激活前中间变量
Figure BDA00033757186100000810
Figure BDA00033757186100000811
经复数域激活函数σR-I(·)激活后，得到遗忘门输出结果rt：
Figure BDA00033757186100000812
其中。Wr、Ur是权值矩阵，br是偏置。
(4)计算当前时刻t的隐藏状态输出：先使用rt来得到“重置”后的数据，再将其与输入数据Xt进行拼接得到
Figure BDA0003375718610000091
通过一个Ctanh函数将数据缩放到-1-1j～1+1j的范围得到
Figure BDA0003375718610000092
计算公式如下：
Figure BDA0003375718610000093
其中。
Figure BDA0003375718610000094
是权值矩阵，
Figure BDA0003375718610000095
是偏置。
为了实现更新门zt的设计初衷，兼具遗忘保留两个功能，本发明将隐藏状态更新公式设计如下：
Figure BDA0003375718610000096
(5)若t等于最大时间长度，则转到步骤(6)；否则令t＝t+1，转到步骤(2)
(6)将所有时刻的隐藏状态输出Ht合并输出。
在图1和图8中，基于CV-ConvGRU的SAR三维转动目标重聚焦方法中的CV-ConvGRU反向传播部分的具体步骤为：
(1)初始化t等于最大时间长度，计算t时刻的误差项δt为：
Figure BDA0003375718610000097
其中，E为网络所有输出层节点的误差平方和。
(2)计算更新门的误差项δzt为：
Figure BDA0003375718610000098
(3)计算重置门的误差项δrt为：
Figure BDA0003375718610000101
(4)计算隐藏状态误差项
Figure BDA0003375718610000102
为：
Figure BDA0003375718610000103
(5)计算t-1时刻误差项δt-1(初始化当前时刻t等于最大时间长度。然后t逐渐减小，计算各个时刻的误差项，直到t＝1时，开始更新梯度。所以起始t(也就是最大时间长度)是大于等于2的)
(6)若t＝1，则转到步骤(7)；否则令t＝t-1，转到步骤(5)
(7)计算CV-ConvGRU权值矩阵Wz、Wr、
Figure BDA0003375718610000104
的梯度分别为：
Figure BDA0003375718610000105
Figure BDA0003375718610000106
其中
Figure BDA0003375718610000107
(8)计算CV-ConvGRU权值矩阵Uz、Ur的梯度分别为：
Figure BDA0003375718610000108
Figure BDA0003375718610000109
其中l＝z,r。
(9)计算CV-ConvGRU权重
Figure BDA00033757186100001010
的梯度为：
Figure BDA00033757186100001011
Figure BDA0003375718610000111
(10)计算CV-ConvGRU偏置项bz、
Figure BDA0003375718610000112
的梯度分别为：
Figure BDA0003375718610000113
(11)完成CV-ConvGRU权值更新：
Figure BDA0003375718610000114
Figure BDA0003375718610000115
Figure BDA0003375718610000116
其中η为学习率。
在图2、3、4、5、6中，基于CV-ConvGRU的SAR三维转动目标重聚焦方法中的CV-SSRN架构具体设计细节为：
CV-SSRN具体分为五个部分：输入层，编码器，CV-ConvGRU子网络，解码器，输出层。CV-SSRN是一个端到端的网络模型，其中的全部元素均为复数。
(1)CV-SSRN架构的输入层：CV-SSRN架构的输入数据为三维复数域散焦SAR图像，维度为H×W×C，H为SAR图像高，W为图像宽，C为图像通道数。本发明取H与W大小为128。CV-SSRN中直接将SAR复图像的实部和虚部作为整体输入到网络中。
(2)CV-SSRN架构的编码器：编码器用于提取散焦SAR图像的浅层特征，包含四个卷积层。卷积核尺寸为4×4，步长为2，激活函数为Ctanh。四个卷积层的卷积核个数分别为64，128，256，512。编码器级联四个复数域卷积模块(CV-Conv Block)，输入特征图的大小逐层降低，从而扩大特征提取的视野，而输出特征图越来越多，特征被层层抽象，解构了特征在空间上的联系。
复数域卷积模块(CV-Conv Block)是由实数域卷积模块(Conv Block)向复数域扩展而来。在Conv Block中，输入特征图X经过一次卷积操作，再经过tanh激活即可得到输出Y。在CV-Conv Block中，由于复数运算的特殊性，输入特征图X需要进行四次卷积运算、两次相加运算和两次tanh激活才能得到出Y。
(3)CV-SSRN架构的CV-ConvGRU子网络：CV-SSRN将三个CV-ConvGRU级联以深度提取编码器输出浅层特征。三个CV-ConvGRU子网络的卷积核尺寸大小均为3×3，三个CV-ConvGRU子网络卷积核个数均为512。级联的CV-ConvGRU子网络可以使不同通道的特征图产生相关性，有利于深度特征的提取。
(4)CV-SSRN架构的解码器：解码器用于融合浅层特征与深层特征，实现从特征到图像的重建，并在重建的过程中完成图像的重聚焦。解码器包含四个反卷积层，反卷积核尺寸为4×4，步长为2。值得注意的是，前三个反卷积层的激活函数为Ctanh，最后一个反卷积层无激活函数，直接输出重聚焦后的SAR图像。四个反卷积层的卷积核个数分别为256，128，64，C。解码器级联四个复数域反卷积模块(CV-Deconv Block)。
复数域反卷积模块(CV-Deconv Block)是由实数域反卷积模块(Deconv Block)向复数域扩展而来。在CV-Deconv Block中，输入特征图需要进行四次反卷积运算、两次相加运算和两次tanh激活才能得到出输出特征图。
(5)CV-SSRN架构的输出层：CV-SSRN最后一个反卷积层直接输出重聚焦后的SAR图像，该层无激活函数。在给定输入样本及其对应标签的情况下，通过最小化训练数据的损失函数，以监督的方式学习CV-SSRN的参数。以输入SAR图像数据维度H×W×C＝128×128×1，CV-ConvGRU子网络包含三个CV-ConvGRU模块为例，CV-SSRN总参数量为26.73M×2，即参数量实部和虚部的各26.73M。
在图2和图9中，基于CV-ConvGRU的SAR三维转动目标重聚焦方法中的CV-SSRN重聚焦应用的具体步骤为：
(1)预处理阶段：在重聚焦部分的预处理阶段，根据SAR参数对SAR回波进行距离向压缩与方位向压缩，然后检测目标得到散焦的SAR目标切片。
(2)CV-SSRN训练阶段：在重聚焦部分的CV-SSRN训练阶段，用构建的CV-SSRN得到重聚焦后的SAR图像，与相应标签计算损失函数，根据复数域反向传播算法进行权值更新，训练完全部数据即可得到基于CV-SSRN的SAR重聚焦模型。
(3)CV-SSRN重聚焦阶段：在重聚焦部分的CV-SSRN重聚焦阶段，将SAR图像输入到训练好的CV-SSRN中，即可完成SAR图像重聚焦任务。仿真与实测重聚焦效果如图10和图11所示。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (9)

1.基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于包括以下步骤：
步骤一：获取目标原始检测图像；
步骤二：根据SAR参数对SAR回波进行距离向压缩与方位向压缩，然后利用SAR检测目标得到散焦的SAR目标切片；
步骤三：将散焦的SAR目标切片输入CV-SSRN网络中，得到重聚焦后的SAR图像；
步骤四：利用目标原始检测图像和重聚焦后的SAR图像得到损失函数，并根据复数域反向传播算法进行权值更新，进而得到训练好的CV-SSRN网络；
步骤五：利用训练好的CV-SSRN网络完成重聚焦；
所述CV-SSRN网络包括输入层、编码器、CV-ConvGRU模块、解码器和输出层，
所述输入层的输入为三维复数域散焦SAR图像，维度为H×W×C，
其中，H为SAR图像高，W为图像宽，C为图像通道数，
所述编码器用于提取散焦SAR图像的浅层特征，编码器级联四个复数域卷积模块，输入特征图的大小逐层降低，
所述CV-ConvGRU模块将三个CV-ConvGRU子网络级联，用于深度提取编码器输出的浅层特征，得到深层特征，
所述解码器用于融合浅层特征与深层特征，进而实现从特征到图像的重建，并在重建的过程中完成图像的重聚焦，
所述输出层在给定输入样本及其对应标签的情况下，通过最小化训练数据的损失函数，以监督的方式学习CV-SSRN的参数。
2.根据权利要求1所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述CV-ConvGRU子网络包括前向传播和反向传播。
3.根据权利要求2所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述前向传播的具体步骤为：
步骤1：初始化当前时刻t＝1、更新门权值矩阵Wz与Uz、更新门偏置bz、重置门权值矩阵Wr与Ur、重置门偏置br、隐藏状态权值矩阵
Figure FDA0003375718600000011
与
Figure FDA0003375718600000012
隐藏状态偏置
Figure FDA0003375718600000013
步骤2：将当前时刻t的输入信息Xt、前一隐层输出Ht-1分别与各自权值矩阵进行卷积，然后加上偏置量bz得激活前中间变量
Figure FDA0003375718600000014
Figure FDA0003375718600000015
经复数域激活函数σR-I(·)激活后，得到更新门输出结果zt，更新门输出结果zt表示为：
Figure FDA0003375718600000021
其中，
Figure FDA0003375718600000022
分别代表实部与虚部，j为虚数单位，*代表卷积，
Figure FDA0003375718600000023
表示更新门激活前输出结果，σR-I(·)表示对实部和虚部分别激活，Wz表示更新门连接输入Xt的权值矩阵，Uz表示更新门连接输入前一时刻的隐藏状态信息Ht-1的权值矩阵，复数域激活函数σR-I(·)分别激活实部和虚部，激活过程表示为：
Figure FDA0003375718600000024
更新门的激活函数σ(·)为sigmoid函数；
步骤3：将当前时刻t的输入信息Xt、前一隐层输出Ht-1分别与各自权值矩阵Wr、Ur进行卷积，然后再加上偏置量br得激活前中间变量
Figure FDA0003375718600000025
Figure FDA0003375718600000026
经复数域激活函数σR-I(·)激活后，得到遗忘门输出结果rt，遗忘门输出结果rt表示为；
Figure FDA0003375718600000027
其中，Wr、Ur是权值矩阵，br是偏置；
步骤4：先使用rt得到重置后的数据，再将重置后的数据与输入数据Xt进行拼接得到
Figure FDA0003375718600000028
通过一个Ctanh函数将数据缩放到-1-1j～1+1j的范围得到隐藏状态
Figure FDA0003375718600000029
Figure FDA00033757186000000210
表示为：
Figure FDA00033757186000000211
其中，
Figure FDA00033757186000000212
是权值矩阵，
Figure FDA00033757186000000213
是偏置，
Figure FDA00033757186000000214
代表卷积Hadamard积，
根据
Figure FDA00033757186000000215
和zt，并结合隐藏状态更新公式得到隐藏状态输出Ht，
隐藏状态更新公式设计如下：
Figure FDA0003375718600000031
步骤5：判断当前时刻t是否为最大时间长度，若t为最大时间长度，则转到步骤6，否则令t＝t+1，转到步骤2；
步骤6：将所有时刻的隐藏状态输出Ht合并输出。
4.根据权利要求3所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述反向传播的具体步骤为：
S1：初始化当前时刻t等于最大时间长度，并计算t时刻的误差项δt，t时刻的误差项δt表示为：
Figure FDA0003375718600000032
其中，E为网络所有输出层节点的误差平方和，
Figure FDA0003375718600000033
为求偏导；
S2：根据t时刻的误差项δt计算更新门的误差项δzt，δzt表示为：
Figure FDA0003375718600000034
S3：根据δzt计算重置门的误差项δrt，δrt表示为：
Figure FDA0003375718600000035
S4：根据δt计算隐藏状态误差项
Figure FDA0003375718600000036
Figure FDA0003375718600000037
表示为：
Figure FDA0003375718600000038
S5：计算t-1时刻误差项δt-1；
S6：判断t是否等于1，若t＝1，则转到S7，否则令t＝t-1，转到S5；
S7：根据δzt、δrt和
Figure FDA0003375718600000041
计算CV-ConvGRU权值矩阵Wz、Wr、
Figure FDA0003375718600000042
的梯度分别为：
Figure FDA0003375718600000043
Figure FDA0003375718600000044
其中，
Figure FDA0003375718600000045
S8：根据δzt和δrt计算CV-ConvGRU权值矩阵Uz、Ur的梯度分别为：
Figure FDA0003375718600000046
Figure FDA0003375718600000047
其中，l＝z,r；
S9：根据
Figure FDA0003375718600000048
和rt计算CV-ConvGRU权重
Figure FDA0003375718600000049
的梯度为
Figure FDA00033757186000000410
Figure FDA00033757186000000411
S10：计算CV-ConvGRU偏置项bz、
Figure FDA00033757186000000412
的梯度分别为：
Figure FDA00033757186000000413
S11：完成CV-ConvGRU权值更新：
Figure FDA00033757186000000414
Figure FDA00033757186000000415
Figure FDA0003375718600000051
其中，η为学习率。
5.根据权利要求4所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述H与W大小为128。
6.根据权利要求5所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述步骤二中还包括对SAR目标切片进行数据标准化。
7.根据权利要求6所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述编码器包括四个卷积层，卷积核尺寸为4×4，步长为2，激活函数为Ctanh，四个卷积层的卷积核个数分别为64，128，256，512。
8.根据权利要求1所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述CV-ConvGRU子网络的卷积核尺寸大小均为3×3，三个CV-ConvGRU子网络卷积核个数均为512。
9.根据权利要求1所述的基于CV-ConvGRU的SAR三维转动目标重聚焦方法，其特征在于所述解码器包括四个反卷积层，反卷积核尺寸为4×4，步长为2，前三个反卷积层的激活函数为Ctanh，最后一个反卷积层无激活函数，直接输出重聚焦后的SAR图像，四个反卷积层的卷积核个数分别为256，128，64，C，解码器级联四个复数域反卷积模块。
CN202111417477.6A 2021-11-25 基于CV-ConvGRU的SAR三维转动目标重聚焦方法 Active CN114114262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111417477.6A CN114114262B (zh) 2021-11-25 基于CV-ConvGRU的SAR三维转动目标重聚焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111417477.6A CN114114262B (zh) 2021-11-25 基于CV-ConvGRU的SAR三维转动目标重聚焦方法

Publications (2)

Publication Number Publication Date
CN114114262A true CN114114262A (zh) 2022-03-01
CN114114262B CN114114262B (zh) 2024-07-02

Family

ID=

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957453A (zh) * 2018-07-23 2018-12-07 航天恒星科技有限公司 一种基于多目标跟踪的高精度动目标成像及识别方法
CN111723875A (zh) * 2020-07-16 2020-09-29 哈尔滨工业大学 基于CV-RefocusNet的SAR三维转动舰船目标重聚焦方法
CN111781599A (zh) * 2020-07-16 2020-10-16 哈尔滨工业大学 基于CV-EstNet的SAR运动舰船目标速度估算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108957453A (zh) * 2018-07-23 2018-12-07 航天恒星科技有限公司 一种基于多目标跟踪的高精度动目标成像及识别方法
CN111723875A (zh) * 2020-07-16 2020-09-29 哈尔滨工业大学 基于CV-RefocusNet的SAR三维转动舰船目标重聚焦方法
CN111781599A (zh) * 2020-07-16 2020-10-16 哈尔滨工业大学 基于CV-EstNet的SAR运动舰船目标速度估算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
O. RONNEBERGER ET AL.: "U-Net: Convolutional networks for biomedical image segmentation", PROC. MICCAI. SPRINGER, 31 December 2015 (2015-12-31) *
王培兵;彭圆;: "深度学习在水声目标识别中的应用研究", 数字海洋与水下攻防, no. 01, 15 February 2020 (2020-02-15) *

Similar Documents

Publication Publication Date Title
Zhu et al. Deep learning meets SAR: Concepts, models, pitfalls, and perspectives
Fracastoro et al. Deep learning methods for synthetic aperture radar image despeckling: An overview of trends and perspectives
CN112434745B (zh) 基于多源认知融合的遮挡目标检测识别方法
Armanious et al. An adversarial super-resolution remedy for radar design trade-offs
Yang et al. An enhanced SiamMask network for coastal ship tracking
Qu et al. Hyperspectral and panchromatic image fusion via adaptive tensor and multi-scale retinex algorithm
Zuo et al. A SAR-to-optical image translation method based on PIX2PIX
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN117392545B (zh) 一种基于深度学习的sar图像目标检测方法
CN110706253A (zh) 基于表观特征和深度特征的目标跟踪方法、系统、装置
Soğanlı et al. Low-rank sparse matrix decomposition for sparsity-driven SAR image reconstruction
Lu et al. Heterogeneity-aware recurrent neural network for hyperspectral and multispectral image fusion
CN113850189A (zh) 一种应用于机动平台的嵌入式孪生网络实时跟踪方法
Xiao et al. U-ADMMNet: A mdel-based deep learning method for sparse aperture ISAR imaging
CN109948571B (zh) 一种光学遥感图像船舶检测方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN110751061B (zh) 基于sar网络的sar图像识别方法、装置、设备和存储介质
Dietrich-Sussner et al. Synthetic glacier SAR image generation from arbitrary masks using pix2pix algorithm
CN114114262A (zh) 基于CV-ConvGRU的SAR三维转动目标重聚焦方法
CN116664596A (zh) 港口区域遥感图像的分割方法、装置、电子设备和介质
CN114114262B (zh) 基于CV-ConvGRU的SAR三维转动目标重聚焦方法
CN111047525A (zh) Sar遥感图像到光学遥感图像的翻译方法
Tu et al. A novel HRRP target recognition method based on LSTM and HMM decision-making
CN114863164A (zh) 一种面向小目标超分辨重建图像的目标识别模型构建方法
Zhang et al. Ship detection based on improved YOLO algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant