CN114442092B - 一种分布式无人机sar深度学习三维成像方法 - Google Patents
一种分布式无人机sar深度学习三维成像方法 Download PDFInfo
- Publication number
- CN114442092B CN114442092B CN202111669699.7A CN202111669699A CN114442092B CN 114442092 B CN114442092 B CN 114442092B CN 202111669699 A CN202111669699 A CN 202111669699A CN 114442092 B CN114442092 B CN 114442092B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- sar
- imaging
- unmanned aerial
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 127
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000008602 contraction Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 8
- 230000006855 networking Effects 0.000 claims description 8
- 108091028732 Concatemer Proteins 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 238000007781 pre-processing Methods 0.000 abstract 2
- 238000004364 calculation method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003325 tomography Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
- G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
- G01S13/9021—SAR image post-processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种分布式无人机SAR深度学习三维成像方法，用于解决传统SAR高精度成像方法超参数选择难，算法复杂性高的问题。首先基于分布式无人机集群建立二维成像模型，利用快速分解后向投影算法获取二维SAR图像，并进行二维SAR图像配准，完成数据预处理。然后通过建立三维成像高度向模型，仿真生成训练数据，训练整个级联式智能三维成像网络，完成网络模型的预训练。最后将数据预处理后的数据输入智能三维成像网络中，获取整个成像场景的三维SAR图像。所提方法旨在提供一种高智能、高精度、高效率的分布式无人机SAR三维成像解决方案，可应用于分布式无人机三维高效高分辨成像等领域。
Description
技术领域
本发明属于SAR三维成像领域，特别涉及一种分布式无人机SAR深度学习三维成像方法。
背景技术
合成孔径雷达(SAR)三维成像[1]是传统二维SAR成像技术在雷达精细信息获取与感知领域的重要发展，其在传统的距离向、方位向之外，沿高度方向形成新的合成孔径维度，可分辨重叠于二维SAR图像中同一像素的多个目标，能有效解决叠掩失真问题。SAR三维成像可满足起伏地形及城市建筑环境下高精度成像需求，是SAR成像技术的重要发展方向。
三维SAR成像的主要实现方式分为两种：层析SAR[2]和阵列SAR[3]，主要区别是高度向合成孔径的形成方式不同，各具特点。分布式无人机SAR深度学习三维成像是一种层析SAR三维成像体制。通过无人机组网获取沿高度向分布的各基线雷达回波数据，形成高度向合成孔径，具有成像系统简单、基线配置灵活的优势。分布式无人机层析SAR成像构型是利用分布式无人机组成无人机集群，采用多发多收模式雷达，形成的一种三维成像构型，可以充分利用无人机平台组成尽可能多的基线，增大三维成像的不模糊高度，改善成像质量。
然而对于层析SAR来说，其面临着非均匀基线的高度向孔径常呈非均匀分布，相参处理复杂度高，高度维瑞利分辨率通常不满足成像需求，需采用非线性超分辨成像方法，例如压缩感知稀疏重构算法，在较高信噪比条件下，可实现1.5-25倍超分辨能力[4]。但此类算法通常需求解病态的参数反演问题，设计复杂矩阵求逆、迭代优化等处理环节，具有复杂度高、时效性差等问题。
近年来关于人工智能的深入研究表明，深度学习方法具有强大的非线性问题求解能力，在确定数学模型的基础上，通过大量的仿真或实测数据训练，可实现高效高精度大规模非线性复杂问题快速求解[5]。这为解决非线性超分辨成像方法存在的问题提供了新的思路。
然而，直接利用深度学习网络，如卷积神经网络(CNN)，无法自动学习所要求解问题的稀疏特性。另一方面，神经网络性能极大地依赖于网络的训练数据，但是对于层析SAR三维成像领域，三维数据少，标注难，难以满足网络的训练数据需求，导致网络泛化能力差。
为此，本发明提出了一种SAR深度学习三维成像方法，该方法是一种信号处理与深度学习网络联合驱动下的一种混合架构。该架构将DNN结构的深度神经网络SVD-BatchNorm-ISTA-Net、CNN结构的深度神经网络MS-Net以及一个参数估计信号处理模型进行级联。一方面使得该网络架构既可以自动学习超参数，解决人工选择超参数难得问题；又可以利用网络非线性得求解优势，提高三维成像得成像效率。另一方面，所提SVD-Batchnorm模块，利用信号处理的方法，对训练数据以及测试数据进行规范化，提高了网络的泛化能力。
本发明成果可应用于包括但不限于分布式无人机SAR体制的三维SAR成像中。为高效率获得高分辨、高可靠的三维SAR图像提供了方法指导。
以下给出检索的相关文献：
[1]皮亦鸣,杨建宇,付毓生,等.合成孔径雷达成像原理[M].成都:电子科技大学出版社,2007,44-65
[2]D.C.Munson Jr,J.D.O'Brien,W.K.Jenkins.A tomographic formulation ofspotlight-mode synthetic aperture radar[J].Proceedings of the IEEE,1983,71(8):917-925.
[3]J.Klare,A.R.Brenner,J.Ender,et al.A new Airborne Radar for 3DImaging-Image Formation using the ARTINO Principle[J].2006
[4]Zhu X X,Bamler R.Super-resolution power and robustness ofcompressive sensing for spectral estimation with application to spacebornetomographic SAR[J].IEEE Transactions on Geoscience and Remote Sensing,2011,50(1):247-258.
[5]Goodfellow I,Bengio Y,Courville A,et al.Deep learning[M].Cambridge:MIT press,2016.
[6]Z.Jian and G.Bernard,"ISTA-Net:Interpretable Optimization-InspiredDeep Network for Image Compressive Sensing",IEEE International Conference onComputer Vision and Pattern Recognition,2018.
发明内容
为了克服原有技术的缺陷，解决传统高分辨率层析SAR三维成像方法计算复杂度高、超参数选择难的问题，本发明提出了一种基于深度神经网络的三维SAR成像技术，可以应用于分布式无人机SAR三维成像等领域。具体实施流程图见图1。
本发明方法是通过下述步骤实现的：
步骤一、通过分布式无人机协同构型，分析并计算多发多收模型下分布式无人机等效基线情况。
步骤二、根据分布式无人机层析SAR二维成像模型和步骤一计算所得的等级基线情况，对观测场景进行二维SAR成像，获取分布式无人机层析SAR实测数据二维SAR复图像数据，并选取主图像，进行图像配准，获取配准后的实测数据二维SAR图像。
步骤三、根据步骤一所得的分布式无人机基线情况，建立分布式无人机层析SAR三维成像模型，将随机生成的标签g输入三维高度向成像模型得到高度维数据矢量s，所述的s由相同的斜距-方位单元的数据构成，长度为M，表示如下：
s＝{s1,s2,...,sM}。
步骤四、根据步骤三得到的仿真数据预训练所提深度学习三维成像网络。
步骤五、将步骤二生成的配准后的二维SAR图像数据输入到深度学习三维成像网络中获得层析SAR三维图像。
本发明的优点在于：
(1)本发明将SAR三维成像的高度向恢复问题建模成深度学习回归模型，利用深度学习网络进行求解。提出了一个DNN结构的深度神经网络SVD-BatchNorm-ISTA-Net用以进行回归模型的粗求解，并解决传统ISTA方法参数选择难问题；一个CNN结构的深度神经网络MS-Net用于进行粗求解后结果的精求解，以提高三维SAR成像的分辨率。
(2)本发明将两个网络以及一个信号处理模型进行了端对端的混合架构级联，解决了传统三维成像方法成像效率低下问题，所提网络化方法避免了复杂的迭代运算，与传统的高分辨成像算法SL1MMER算法相比，可以提高三维成像处理效率一个数量级。
本发明提供了一种高智能、高精度、高效率的分布式无人机SAR三维成像解决方案，有效提升了三维SAR成像精度与成像效率。
附图说明
图1深度学习三维成像方法流程框图
图2 FFBP算法的流程图
图3 SAR三维成像空间几何构型图
图4深度学习三维成像网络模块示意图
图5 SVD-BatchNorm-ISTA-Net结构图
图6 MS-Net网络结构图
图7实施例子一中三维SAR成像仿真实验场景图
图8实施例子一中仿真实验的各航迹下二维成像结果
图9实施例子一中仿真实验配准后的相关系数图
图10实施例子一中仿真实验的三维成像结果图
具体实施方式
下面结合附图和实施例对本发明方法的实施方式做详细说明。
本发明是一种基于分布式无人机SAR的深度学习三维成像方法，流程图如图1所示，其具体步骤包括：
步骤一、通过分布式无人机协同构型，分析并计算多发多收模型下分布式无人机等效基线情况。
假设组网无人机数为N架次，由于各架次无人机组成多发多收模型，则可计算获得基线Bn_all共：
假设无人机a成像孔径中心到目标点距离为R1，无人机b成像孔径中心到目标点距离为R2，可得到无人机a与无人机b所构成的双基地组网无人机的等效斜距为：
根据该斜距、目标的位置坐标(xtarget,ytarget,0)、无人机的位置坐标(xUAV,yUAV,Bs_ab)可以按照传统垂直基线计算方法，推算出无人机a与无人机b所构成的等效垂直基线矢量如下式所示。
其中Bs_a为无人机a对应的基线矢量，Bs_b为无人机b对应的基线矢量。
按上述步骤完成每对分布式组网无人机的等效基线计算，得到分布式无人机组网的全部基线，记得到的全部组网无人机的等效基线矢量为Bs_all。
步骤二、根据分布式无人机层析SAR二维成像模型和步骤一计算所得的等级基线情况，对观测场景进行二维SAR成像，获取分布式无人机层析SAR实测数据二维SAR复图像数据。并选取主图像，进行图像配准，获取配准后的实测数据二维SAR图像。
首先根据实际场景中的无人机层析SAR成像几何模型和步骤一计算所得的等效基线，通过快速分解后向投影(FFBP)成像算法对成像场景内目标进行二维SAR成像，获取分布式无人机等效基线下的实测数据二维SAR图像。
该步骤均采用现有技术，下面进行FFBP算法流程介绍：
快速分解后向投影(FFBP)算法是目前最快的时域成像方法，基于回波数据进行二维成像。FFBP算法的基本原理是在完成各个子孔径极坐标网格的子图像的重建后，先进行各个子孔径的递归融合操作，最终在极坐标网格上形成了一个具有距离高分辨和角度高分辨的图像，再进行极坐标系到直角坐标系的转换，从而将位于极坐标网格的图像投影到地距平面的成像网格上。FFBP算法的实施步骤如图2所示。
FFBP算法的实施步骤可以分为三个阶段。第一个阶段将整个孔径划分为若干个子孔径，并将已经完成距离向脉冲压缩后的回波数据投影到以各个子孔径中心为极点而建立的极坐标网格上，得到极坐标子图像。在第二个阶段中，将位于极坐标网格上的相邻的两个子图像进行基-2递归融合，直至得到一个距离高分辨和角度高分辨的且位于极坐标网格上的图像。在最后一个阶段，进行极坐标到直角坐标的转换。将位于极坐标网格的图像投影到位于地距平面的成像网格上。然后对全孔径进行划分。
其次利用相关系数法进行二维SAR图像配准，获取配准后的各基线下的实测数据二维SAR图像。
相关系数配准方法介绍如下：
由于观测几何和非理想因素影响，经过二维成像后的SAR图像的地物在主从两幅图像中的位置存在偏移，需要将其对齐，这是是后续进行高度向散射参数估计步骤的基础。因此，需要对各轨迹下的SAR图像进行图像配准。当配准精度达到0.1个像素分辨单元时，其影响可忽略不计。
使用相干系数法进行像素级配准，通过滑动窗口的方式进行配准。在主图像中选定一个目标区域，于从图像中计算相干系数确定同名点，根据确定的若干同名点进行多项式拟合，得到全图的偏移量分布，完成像素级配准。相干系数的公式如下：
其中s1和s2表示两幅SAR图像，M和N代表滑动窗口大小，u和v代表窗口的滑动位置。实际应用中也可以构造新的相干系数，对高相干度的点进行对比度拉伸，扩大动态范围。
完成像素级配准后，先对主从图像进行双线性插值，间隔为十分之一个像素，相当于十倍的升采样，之后同样使用相关系数配准方法进行亚像素级配准，完成偏移量拟合，获取配准后的实测SAR复图像数据。
步骤三、根据步骤一所得的分布式无人机基线情况，建立分布式无人机SAR三维高度向成像模型，将随机生成的标签g输入三维高度向成像模型得到高度维数据矢量s，所述的s由相同的斜距-方位单元的数据构成，长度为M，表示如下：
s＝{s1,s2,...,sM}；
针对SAR三维成像对场景中高度向的稀疏观测建立层析SAR三维高度向成像模型。具体机理与模型如下：
SAR三维成像几何构型如图3所示，根据步骤一的分析计算，可以得到全部基线的等效基线矢量Bs_all，记Bs_all(m)为第m条基线对应的等效基线矢量，全部等效基线矢量共M条。则相同的斜距-方位单元的数据可以构成长度为M的高度维数据矢量s：
s＝{s1,s2,...,sM} (5)
其中，s中的每个元素sm可表达为
sm＝∫g(v)exp(-j2πξmv)dv,(m＝1,2,...,M) (6)
其中，ξm＝-2Bs_all(m)/λr，Bs_all(m)代表第m条基线对应的基线矢量；λ表示发射信号波长；r对应步骤一中的双基地组网无人机的等效斜距；g代表场景高度维目标散射信息参数；v表示散射信息成像投影矩阵。
由于观测场景中的散射目标分布一般而言是稀疏的，因此基于高度维目标分布的稀疏特性，本发明采用压缩感知模型进行三维高度向成像模型的构建。将高度离散化，可得如下的成像模型表达式：
s＝Ag (7)
其中，A为M×N的观测矩阵,A(m)表示A的第m行向量，即第m条基线对应的观测矩阵，计算公式为A(m)＝exp(-j2πξmv)。
首先根据位置随机、强度随机的、噪声随机的随机化方法生成数据标签glabel，然后根据数据标签glabel与观测矩阵A，根据式(7)所得到的观测模型生成若干组训练数据。
步骤四、根据步骤三得到的仿真数据预训练深度学习三维成像网络。
1、网络组成
深度学习三维成像网络，包括所提的一个SVD-BatchNorm-ISTA-Net的深度神经网络(DNN)、一个模型阶数选择网络MS-Net、两个信号处理模块组成，如图4所示。其中所提的SVD-BatchNorm-ISTA-Net网络用来进行稀疏模型的解算，得到三维成像的初步结果，网络结构中基于SVD的BatchNorm模块是一个信号处理模块，用于对输入网络中的数据进行规范化，以增强网络的泛化能力，如图5所示。MS-Net利用神经网络的非线性拟合能力学习基于信号处理的模型阶数选择方法，以提高模型选择算法效率，如图6所示。
网络以及信号处理模块具体组成介绍如下：
(1)SVD-BatchNorm-ISTA-Net网络
所述SVD-BatchNorm-ISTA-Net网络包括SVDBatchNorm模块和ISTA-Net网络两部分，其中，训练时，SVDBatchNorm模块的输入为步骤三得到的训练数据s，实测时，SVDBatchNorm模块的输入为经过步骤二处理得到的实测数据，具体模型如下：
[ssignal,snoise]＝Decompose_SVD(s)
s*＝Norm(ssignal,paranorm)+Norm(snoise,paranorm)
其中，Decompose_SVD(·)代表基于SVD的空间分解，paranorm代表归一化参数提取，ρ表示归一化参数，一般设置为‘1’，Norm(·)表示基于对象的归一化操作，ssignal表示信号空间分量，snoise表示噪声空间分量，snoise(m)表示噪声空间分量矩阵中的第m个元素，s*表示SVDBatchNorm的模块输出；
所述的ISTA-Net网络有K层，ISTA-Net网络的输入为SVDBatchNorm的模块输出s*，其中第k层表示如下：
其中，ηλ/ζ(·)是软阈值函数，其中W1 k、训练权重初始化为/> A为M×N的观测矩阵,A＝{A(1)、…、A(m)、…、A(M)}，A(m)＝exp(-j2πξmv)，v表示散射信息成像投影矩阵，gk表示第k层ISTA-Net的网络的输出，ISTA-Net根据不同优化器改变每一次迭代的参数，初始重构解向量g0初始化为单位矩阵。
ISTA-Net网络具体原理介绍如下：
若优化目标函数为如式(7)所示三维成像高度向观测模型，则对于SAR三维成像高度向恢复问题，可以通过贝叶斯公式、最大似然估计转化为目标函数F(g)
其中，λ为正则化约束参数，控制g的稀疏度。
设为数据拟合的误差项，可计算其梯度h
根据梯度下降法，可以得到对于g的更新步骤
gk＝gk-1-ukhk-1＝gk-1-ukAT(Agk-1-s) (12)
其中，uk为迭代的步长，可控制梯度下降的速度。令
上述迭代问题可表示为
结合对F(x)的优化问题，得到以下迭代求解问题
令t＝λ/ζ，对于向量中的元素而言，则有
由式(10)到式(15)可以得到
根据gk和ak之间的关系，可以得到
gk＝threshold(ak-1)＝ηλ/ζ(ak) (18)
其中，threshold(·)和ηλ/ζ()是软阈值函数，在网络中实际上是充当了激活函数的地位，λ是正则化系数，ξ一般取ATA的最大特征值。由此可见，当前时刻的重构输出gk不仅仅与输入的观测信号s有关，也与上一次的输入gk-1有关，这是一个典型的RNN结构，将上述的式子可以建模成RNN模型，即可得到式(9)所示的网络结构表达式
神经网络所学到参数蕴含在层与层之间的权重和阈值中，在ISTA-Net的多层结构中，可以学习的参数为
对于每一层的W1 k,W2 k分别是输入和上一时刻状态的权重矩阵，而λ/ξ是软阈值函数的阈值。
(2)MS-Net网络
MS-Net利用神经网络的非线性拟合能力学习基于信号处理的模型阶数选择方法。MS-Net的具体结构如图6所示：
MS-Net网络包括扩展路径和收缩路径，扩展路径由四个扩展路径模块级联而成，其中每一个扩展路径模块从前到后依次为一维卷积层(图中conv1d)、激活函数层(图中relu)、批归一化层(图中batchnorm)、一维卷积层(图中conv1d)、激活函数层(图中relu)、批归一化层(图中batchnorm)；MS-Net网络的收缩路径由三个收缩路径模块级联而成，每一个收缩路径模型从前到后为特征拼接层(图中merge)、一维卷积层(图中conv1d)、激活函数层(图中relu)、批归一化层(图中batchnorm)、一维卷积层(图中conv1d)、激活函数层(图中relu)、批归一化层(图中batchnorm)，工作过程为：将SVD-BatchNorm-ISTA-Net网络的输出结构输入第一扩展路径模块，依次经过第一至四层扩展路径模块后，将第四扩展路径模块的输出与第三扩展路径模块的输出进行concate融合并送至第一收缩路径模块，将第二扩展路径模块的输出与第一收缩路径模块的输出进行concate融合并送至第二收缩路径模块，将第一扩展路径模块的输出与第二收缩路径模块的输出进行concate融合并送至第三收缩路径模块，第三收缩路径模块输出MS-Net网络输出的观测场景散射目标的位置估计向量结果。
(3)基于模型阶数选择模块的信号处理模块
该模块主要作用是对输入数据进行信号处理，生成网络训练策略中第二部分所需要的数据标签。
通过引入惩罚项，将模型阶数选择步骤建模成一个最优化问题求解模型，高度维目标数量K可通过下式估计得到
该式分为两部分。第一部分为似然项，在高斯白噪声的假设下，有
第二部分为惩罚项，其中，C(K)为惩罚项参数。结合高度维粗估计结果中给出的目标位置信息，可求解该优化问题，生成数据标签。(4)基于最小二乘参数估计的信号处理模块二
基于最小二乘参数估计的信号处理模块用于对MS-Net输出结果，进行基于信号处理的散射参数估计，得到最终成像场景的目标散射信息具体如下：
其中，g为MS-Net输出的观测场景散射目标的位置估计向量结果，A(g)表示通过g稀疏变换后的的观测矩阵，A(g)＝exp(-j2πξ(g)v)，其中ξ(g)＝-2Bs_all(g)/λr，当训练时，代表输入网络的仿真数据s，当实测时，/>代表输入网络的实测数据。
2、训练策略
利用步骤三所得的仿真数据训练整个三维成像网络，整个网络的训练策略一共分为三部分，具体如下：
(1)首先，将依据步骤三得到的仿真数据与标签输入SVD-BatchNorm-ISTA-Net中进行网络的训练。计算Loss1，并对SVD-BatchNorm-ISTA-Net进行反向传播，更新网络。
Loss1＝MSE(glabel-g)+MSE(s-Ag) (23)
其中，g代表SVD-BatchNorm-ISTA-Net输出结果，glabel代表步骤三生成的数据标签，MSE(·)代表Loss计算采用基于最小均方误差的损失函数
(2)其次，在SVD-BatchNorm-ISTA-Net训练结束后，将该网络的参数冻结，接着进行下一层MS-Net的训练，MS-Net的输入数据为SVD-BatchNorm-ISTA-Net的结果，MS-Net的反向传播的数据标签为基于模型阶数选择模块的信号处理模块生成的标签MSlabel，计算Loss2，通过Loss2的反向传播，更新MS-Net网络。
其中，MSout表示MS-Net网络的输出结果，Module_1(·)为经过信号处理模块1的信号输出，MSE(·)代表Loss计算采用基于最小均方误差的损失函数。
(3)最后，将SVD-BatchNorm-ISTA-Net的网络参数解冻，使用较小的学习率(一般小于初始学习率的10％)，进行整个所述深度学习三维成像网络的训练，标签采用步骤三生成的标签，计算Loss3，通过Loss3的反向传播，更新整个深度学习网络。
其中，gout表示信号处理模块2输出结果，Module_2(·)为经过信号处理模块2的信号输出，MSE(·)代表Loss计算基于最小均方误差的损失函数。
步骤五、将步骤二生成的配准后的二维SAR图像数据输入到深度学习三维成像网络中获得层析SAR三维图像。
将步骤二生成的配准后的二维SAR图像进行数据格式转换，使得数据形式与步骤三生成的网络训练数据格式相符合。转换完成后，将数据输入深度学习三维成像网络中，即可进行各目标点高度向目标估计，获取层析SAR三维图像。
计算机仿真模拟X波段分布式无人机集群的层析SAR系统构型。其中SAR数据获取几何与目标分布如图7所示，总使用6架无人机组成集群，六架无人机在分布在高度向位置分别为2.5806m，5.1613m，10.3226m，18.0645m，30.9677m，51.6129m，组成多发多收分布式无人机集群，首先根据步骤一的方法，计算可得基线共21条。
雷达发射信号中心频率为10GHz(X波段),高度向基线总长度设置为40m，共生成21轨数据。信号带宽为500MHz，雷达距离观测场景中心最短斜距为1Km，信噪比SNR设置为10dB，图7中散射点的位置信息分布如表1所示。
表1仿真设置散射点位置坐标
| 散射点序号 | 坐标/(x,y,z) | 散射点序号 | 坐标/(x,y,z) |
| A | (0,0,0) | E | (0,2,1) |
| B | (-2,0,0) | F | (0,2,1.5) |
| C | (-2,0,2) | G | (2,3,2) |
| D | (-2,0,4) | H | (2,3,4) |
根据步骤二的方法得到该场景下的目标的二维成像模型，使用后向投影算法进行二维SAR成像获取21条基线下的二维成像结果，如图8所示。
根据基线去相关原则，选取第十条航迹的二维成像图作为主图像利用步骤一所提的相关系数法进行图像配准，各配准后子图像与主图像的相关系数如图9所示。
根据步骤三的方法，对目标所在的场景进行高度向建模分析，获取高度向成像模型，如下式所示：
sm＝∫g(v)exp(-j2πξmv)dv,(m＝1,2,...,M) (26)
其中sm为接收到的回波信号，ξm＝-2Bs_all(m)/λr，Bs_all(m)代表第m条基线对应的基线矢量，λ表示发射信号波长，r对应步骤一中的双基地组网无人机的等效斜距。
依据上述模型生成高度向成像仿真数据约10万组，其中8万组用作训练集，2万组用作测试集。
按步骤四进行深度学习三维成像网络的搭建，并进行网络的预训练，获取得到深度学习三维成像网络预训练模型。
最后，按照步骤五将仿真配准后的各基线下的二维SAR成像结果输入深度学习三维成像模型获取得到三维成像结果图，如图10所示。
Claims (7)
1.一种分布式无人机SAR深度学习三维成像方法，其特征在于：该方法基于一种信号处理与深度学习网络联合驱动下的一种混合架构，该架构将DNN结构的深度神经网络SVD-BatchNorm-ISTA-Net、CNN结构的深度神经网络MS-Net以及基于最小二乘参数估计的信号处理模块进行级联，该网络架构自动学习超参数，
具体包括以下步骤：
步骤一、通过分布式无人机协同构型，分析并计算多发多收模型下分布式无人机等效基线情况，包括双基地组网无人机的等效斜距以及全部基线的等效基线矢量；
步骤二、根据分布式无人机层析SAR二维成像模型和步骤一计算所得的等效基线情况，对观测场景进行二维SAR成像，获取分布式无人机层析SAR实测数据二维SAR复图像数据，并选取主图像，进行图像配准，获取配准后的实测数据二维SAR图像；
步骤三、根据步骤一所得的分布式无人机基线情况，建立分布式无人机层析SAR三维高度向成像模型，将随机生成的标签g输入三维高度向成像模型得到高度维数据矢量s，所述的s由相同的斜距-方位单元的数据构成，长度为M，M即为全部等效基线矢量总数，表示如下：
s＝{s1,s2,...,sM}；
步骤四、将步骤三得到的高度维数据矢量s作为仿真数据预训练深度学习三维成像网络；
步骤五、将步骤二生成的配准后的二维SAR图像数据输入到深度学习三维成像网络中获得层析SAR三维图像。
2.根据权利要求1所述的一种分布式无人机SAR深度学习三维成像方法，其特征在于：步骤三所述的分布式无人机层析SAR三维高度向成像模型如下，
sm＝∫g(v)exp(-j2πξmv)dv,(m＝1,2,...,M)
其中，ξm＝-2Bs_all(m)/λr，Bs_all(m)代表第m条基线对应的基线矢量，λ表示发射信号波长，r对应步骤一中的双基地组网无人机的等效斜距，g为随机生成的标签，代表场景高度维目标散射信息参数，v表示散射信息成像投影矩阵。
3.根据权利要求1所述的一种分布式无人机SAR深度学习三维成像方法，其特征在于：所述的深度学习三维成像网络包括一个SVD-BatchNorm-ISTA-Net的深度神经网络、一个模型阶数选择网络MS-Net、基于模型阶数选择模块的信号处理模块，以及基于最小二乘参数估计的信号处理模块组成，其中，SVD-BatchNorm-ISTA-Net的深度神经网络用于进行SAR三维粗成像；模型阶数选择网络MS-Net用于SAR三维精成像；基于模型阶数选择模块的信号处理模块一仅在深度学习三维成像网络训练时使用，用于生成MS-Net的训练数据；基于最小二乘参数估计的信号处理模块二用于对MS-Net输出的观测场景散射目标的位置估计向量进行散射参数估计；具体工作过程如下，将数据输入SVD-BatchNorm-ISTA-Net的深度神经网络得到SAR三维粗成像结果，然后，将SAR三维粗成像结果输入MS-Net得到观测场景散射目标的位置估计向量结果，最后将MS-Net的输出结果输入基于最小二乘参数估计的信号处理模块，最终获得SAR三维精成像。
4.根据权利要求3所述的一种分布式无人机SAR深度学习三维成像方法，其特征在于：所述SVD-BatchNorm-ISTA-Net网络包括SVDBatchNorm模块和ISTA-Net网络两部分，其中，训练时，SVDBatchNorm模块的输入为步骤三得到的训练数据s，实测时，SVDBatchNorm模块的输入为经过步骤二处理得到的实测数据，具体模型如下：
其中，Decompose_SVD(·)代表基于SVD的空间分解，paranorm代表归一化参数提取，ρ表示归一化参数，一般设置为‘1’，Norm(·)表示基于对象的归一化操作，ssignal表示信号空间分量，snoise表示噪声空间分量，snoise(m)表示噪声空间分量矩阵snoise中的第m个元素，s*表示SVDBatchNorm的模块输出；
所述的ISTA-Net网络有K层，ISTA-Net网络的输入为SVDBatchNorm的模块输出s*，其中第k层表示如下：
其中，ηλ/ζ(·)是软阈值函数，其中W1 k、训练权重初始化为/> A为M×N的观测矩阵，A＝{A(1)、...、A(m)、...、A(M)}，A(m)＝exp(-j2πξmv)，v表示散射信息成像投影矩阵，gk表示第k层ISTA-Net的网络的输出，ISTA-Net根据不同优化器改变每一次迭代的参数，初始重构解向量g0初始化为单位矩阵。
5.根据权利要求3所述的一种分布式无人机SAR深度学习三维成像方法，其特征在于：所述的MS-Net网络包括扩展路径和收缩路径，扩展路径由四个扩展路径模块级联而成，其中每一个扩展路径模块从前到后依次为一维卷积层、激活函数层、批归一化层、一维卷积层、激活函数层、批归一化层；MS-Net网络的收缩路径由三个收缩路径模块级联而成，每一个收缩路径模型从前到后为特征拼接层、一维卷积层、激活函数层、批归一化层、一维卷积层、激活函数层、批归一化层，工作过程为：将SVD-BatchNorm-ISTA-Net所得粗估计结果输入第一扩展路径模块，依次经过第一至四层扩展路径模块后，将第四扩展路径模块的输出与第三扩展路径模块的输出进行concate融合并送至第一收缩路径模块，将第二扩展路径模块的输出与第一收缩路径模块的输出进行concate融合并送至第二收缩路径模块，将第一扩展路径模块的输出与第二收缩路径模块的输出进行concate融合并送至第三收缩路径模块，第三收缩路径模块输出为MS-Net网络输出结果。
6.根据权利要求3所述的一种分布式无人机SAR深度学习三维成像方法，其特征在于：
所述的基于模型阶数选择模块的信号处理模块表示如下：
当该模型达到最小值时所对应的K即为数据标签，用于MS-Net训练时使用；
其中， 代表噪声估计系数，利用信号信噪分析方法求得；s为输入仿真数据；/>为SVD-BatchNorm-ISTA-Net输出结果；C(K)为惩罚项参数，为人为根据BIC或AIC准则选取。
7.根据权利要求3所述的一种分布式无人机SAR深度学习三维成像方法，其特征在于：
基于最小二乘参数估计的信号处理模块用于对MS-Net输出结果，进行基于信号处理的散射参数估计，得到最终成像场景的目标散射信息具体如下：
其中，g为MS-Net输出的观测场景散射目标的位置估计向量结果，A(g)表示通过g稀疏变换后的观测矩阵，A(g)＝exp(-j2πξ(g)v)，其中ξ(g)＝-2Bs_all(g)/λr，当训练时，代表输入网络的仿真数据s，当实测时，/>代表输入网络的实测数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111669699.7A CN114442092B (zh) | 2021-12-31 | 2021-12-31 | 一种分布式无人机sar深度学习三维成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111669699.7A CN114442092B (zh) | 2021-12-31 | 2021-12-31 | 一种分布式无人机sar深度学习三维成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114442092A CN114442092A (zh) | 2022-05-06 |
| CN114442092B true CN114442092B (zh) | 2024-04-12 |
Family
ID=81365116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111669699.7A Active CN114442092B (zh) | 2021-12-31 | 2021-12-31 | 一种分布式无人机sar深度学习三维成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114442092B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114720984B (zh) * | 2022-03-08 | 2023-04-25 | 电子科技大学 | 一种面向稀疏采样与观测不准确的sar成像方法 |
| CN114998524B (zh) * | 2022-06-21 | 2024-07-23 | 电子科技大学 | 一种多基合成孔径雷达三维成像基线设计方法 |
| CN116381689B (zh) * | 2023-06-07 | 2023-08-01 | 中国科学院空天信息创新研究院 | 一种无人机载多站干涉sar探测系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201911577D0 (en) * | 2019-08-13 | 2019-09-25 | Univ Of Hertfordshire Higher Education Corporation | Method and apparatus |
| CN111077523A (zh) * | 2019-12-13 | 2020-04-28 | 南京航空航天大学 | 一种基于生成对抗网络的逆合成孔径雷达成像方法 |
| CN111781598A (zh) * | 2020-07-10 | 2020-10-16 | 西安电子科技大学 | 基于dsn的高分辨二维isar成像方法 |
-
2021
- 2021-12-31 CN CN202111669699.7A patent/CN114442092B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201911577D0 (en) * | 2019-08-13 | 2019-09-25 | Univ Of Hertfordshire Higher Education Corporation | Method and apparatus |
| CN111077523A (zh) * | 2019-12-13 | 2020-04-28 | 南京航空航天大学 | 一种基于生成对抗网络的逆合成孔径雷达成像方法 |
| CN111781598A (zh) * | 2020-07-10 | 2020-10-16 | 西安电子科技大学 | 基于dsn的高分辨二维isar成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| 合成孔径雷达参数化成像技术进展;曾涛等;雷达学报;20210311;全文 * |
| 图像匹配方法研究综述;贾迪;朱宁丹;杨宁华;吴思;李玉秀;赵明远;;中国图象图形学报;20190516(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114442092A (zh) | 2022-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114442092B (zh) | 一种分布式无人机sar深度学习三维成像方法 | |
| CN113128134B (zh) | 一种矿区生态环境演变驱动因子权重量化分析方法 | |
| Wang et al. | TPSSI-Net: Fast and enhanced two-path iterative network for 3D SAR sparse imaging | |
| CN106355151B (zh) | 一种基于深度置信网络的三维sar图像目标识别方法 | |
| CN112099008B (zh) | 基于cv-admmn的sa-isar成像与自聚焦方法 | |
| CN107193003B (zh) | 一种稀疏奇异值分解扫描雷达前视成像方法 | |
| Cha et al. | Improving SAR automatic target recognition using simulated images under deep residual refinements | |
| CN102645651A (zh) | 一种sar层析超分辨成像方法 | |
| CN105652271B (zh) | 一种增广拉格朗日实波束雷达角超分辨处理方法 | |
| CN112946601B (zh) | 基于Gauss-Seidel的高效分布式目标相位优化方法 | |
| CN111948652B (zh) | 一种基于深度学习的sar智能参数化超分辨成像方法 | |
| Li et al. | A computational efficient 2-D block-sparse ISAR imaging method based on PCSBL-GAMP-Net | |
| CN107607945A (zh) | 一种基于空间嵌入映射的扫描雷达前视成像方法 | |
| CN113050083A (zh) | 一种基于点云的超宽带雷达人体姿态重构方法 | |
| CN116310852A (zh) | 双时相遥感影像无监督分类与变化检测方法及系统 | |
| CN107479055B (zh) | 一种高轨星载sar的自聚焦方法和装置 | |
| CN102542547A (zh) | 一种基于光谱约束的高光谱图像融合方法 | |
| CN110231625B (zh) | 一种基于多尺度融合的综合孔径成像方法 | |
| Jiang et al. | Translational Motion Compensation Method for ISAR Imaging of Air Maneuvering Weak Targets Based on CV-GRUNet | |
| Yuan et al. | Adaptive regularized sparse representation for weather radar echo super-resolution reconstruction | |
| CN115902886A (zh) | 基于Renyi熵的ITR-DTV雷达前视超分辨成像方法 | |
| CN113238229B (zh) | 一种geo星机双基sar无模糊成像方法 | |
| CN114879188B (zh) | 模型自适应的深度学习sar三维成像方法 | |
| CN110780273A (zh) | 一种混合正则化方位超分辨成像方法 | |
| Song et al. | A sparse Bayesian learning 3d imaging methodology based on polarimetric energy maximum in urban area for pol-array-insar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |