CN112285709B - 基于深度学习的大气臭氧遥感激光雷达数据融合方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的大气臭氧遥感激光雷达数据融合方法，本发明基于深度学习(D L)思想，对激光雷达数据进行特征分析，统一定义数据格式.以条带模式为例，构建卷积神经网络SAR(CNN‑SAR)信号重建网络，得到重建的SAR激光雷达数据，将雷达回波数据的仿真结果和性能与距离多普勒算法进行了比较。结果表明，在全采样率条件下，两种方法都能达到较好的重建效果，但CNN‑SAR对恢复弱目标有较好的效果，CNN‑SAR成像所需时间较少，振幅误差和相位误差较小。在相同的欠采样速率下，该方法性能更好。因此，本研究的结果为大气臭氧遥感全景成像提供了可能，具有一定的理论和实践意义。

Description

基于深度学习的大气臭氧遥感激光雷达数据融合方法

技术领域

本发明涉及遥感技术领域，尤其涉及一种基于深度学习的大气臭氧遥感激光雷达数据融合方法。

背景技术

随着人类活动的加剧，生态环境的破坏越来越严重，如臭氧层的破坏、日益严重的温室效应和极地冰川的融化，影响着动物、植物和人类的生存。因此，世界各国逐渐将重点放在保护气候和环境上。通过监测大气臭氧的变化，掌握其变化规律，可以做出相应的警告和处理..激光雷达是目前发展最迅速，应用最广泛的遥感探测技术，是监测大气臭氧环境的重要手段..然而，由于激光雷达在很大程度上依赖于技术人员的操作和系统参数的设置，激光雷达数据存在一定的差异，影响了大气臭氧环境的分析。基于此，数据和全景图像处理技术可用于绘制激光雷达数据，并显示大气臭氧参数的变化趋势。

同时，随着科学技术的不断发展，雷达成像技术逐渐成熟。雷达不再局限于目标定位，而是更多地应用于区分和识别特定目标。目前，应用最广泛的雷达成像技术是SAR，SAR是成像雷达的主要组成部分，是一种用于二维成像的移动检测装置。然而，SAR系统的映射带宽、高数据采集率、复杂程序和大数据量不利于硬件实现、数据处理、成像等操作。随着人工智能和机器学习的到来，这些棘手的问题可以得到解决。DL是一种用于信息处理和通信的神经系统模型.与传统的机器学习方法相比，DL可以提取数据特征，并将其自动学习为高阶抽象特征。

因此，在本研究中，基于DL的思想，对激光雷达数据的特性进行了分析，并对数据格式进行了统一定义。借助全景图像处理技术，根据不同移动设备对雷达的不同需求，以条形模式为例，介绍合成孔径成像模型和SAR的成像原理和步骤..构建CNN-SAR信号重构网络，获取重构的SAR激光雷达数据..并将雷达回波数据的仿真结果和性能与RD算法进行了比较..希望本研究能为大气臭氧遥感全景成像提供相关参考，具有一定的理论和实践意义；

外国研究进展：

吉本斯等人利用多维DL从欠采样空间数据集Q中生成精确的突起取向扩散和密度成像(NODDI)和广义分数各向异性(G FA)参数映射，用于脑卒中成像。结果表明，该网络具有显著的性能优势，提高了交叉图像质量指数。桑基等人(2018年)展示了无人飞行器激光雷达和高光谱图像(HS I)的应用和融合，发现在激光雷达数据中，仅HSI分类就能实现7276％的总体精度。Ashraf等人(2017)将激光雷达数据与高光谱摄像机、雷达和其他传感器集成在一起，以提高数据质量，添加光谱信息，并将包含强度数据的雷达三维点云转换为二维强度图像。

国内研究进展

徐等人采用DL方法研究了HSI与雷达数据的分类融合CNN，并开发了一个双通道CNN框架，从HIS中提取光谱空间特征。设计了带级联块的CNN从雷达或高分辨率视觉图像中提取特征..实验结果表明，与现有的一些方法相比，所提出的两个CNN分支可以获得更好的分类性能。Yang等人。提出了一种从激光雷达数据中自动提取参考基准潮汐基准的二值图像方法，以获得空间中详细、连续的海岸线。该方法不适用于任何滤波器，它可以有效地识别对象、删除伪造对象和检测边缘区域。廖等人(2018年)使用DL融合雷达数据进行分类，并整合来自HSI和雷达数据的补充信息。结果表明，与单一数据源体系结构相比，该方法提高了总体分类准确率82.21％至87.10％，平均分类准确率76.71％至83.45％。

综上所述，可以观察到激光雷达数据，图像成像，DL等方面的研究取得了显著进展，但大气臭氧环境研究尚未取得重大突破..因此，在本研究中，在DL的基础上，借助全景图像处理技术，构建CNN-SAR信号重建网络，获得重建的SAR大气臭氧激光雷达数据，并进行了仿真实验，验证了该方法的成像结果和性能。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于深度学习的大气臭氧遥感激光雷达数据融合方法。

本发明通过以下技术方案来实现上述目的：

本发明激光雷达数据的格式可以定义如下：

激光雷达数据被表示为数据的集合：

D＝{H(t₁),H(t₂),...,H(t_m)}H(t_i)＝{H₁(t₁),H₂(t₂),...,H_n(t_m)}

其中：H_j(ti)表示一定高度和探测时间下激光雷达回波强度的大小，其中探测高度为j(j＝1，2，3，...，n)，数据采集时间为t_i(i＝1，2，3，.，m)；采样距离间隔r是激光雷达的距离分辨率；

Dj(ti)和Dj(ti+1)是两个相邻的数据点，激光雷达数据是一个二维结构的数据集

雷达的距离分辨率表示如下：

其中，Δf_r表示发送信号的频带，c表示监视距离；为了提高距离分辨率，应增加发射信号的带宽；

天线波束角宽表示为雷达工作波长λ与天线孔径宽度D_a的比值；实际孔径雷达的方位分辨率可以表示如下：

其中，R_S表示目标与天线之间的距离；提高方位分辨率，天线孔径必须达到一定宽度，为了避免天线孔径引起的方位分辨率降低，在成像领域引入了合成孔径；

高分辨率，SAR的距离分辨率单元可以通过径向的宽带信号压缩到亚米级，通过雷达设备平台在方位的移动，在空间上形成线性阵列，SAR利用信号处理技术处理主动发射和接收信号，实现小孔径虚拟大孔径，并对目标进行高分辨率全景成像；

瞬时斜率距离k(t._mk₀目标A可表示如下；

在现实中，通过调频，线性调频(LFM)信号可以得到一个大的时间带宽宽度乘积，易于产生和处理；信号表示如下..

式中，T_p表示脉冲宽度f_c表示载波频率，γ表示调制频率；调制连续波的复信封为，解调后，目标接收的延时回波信号如下..

其中，τ表示延迟，可以用下列方程计算..

如果是点目标，则接收点的目标回波的基频信号在距离快时位慢时域(

域)可以表示如下：

式中，a_r()表示雷达LFM信号的窗口函数，距离窗口函数为..

a_a()表示方位窗口函数，σ_n表示目标的反射系数；

基于DL的CNN-SAR信号重建网络包括一个随机稀疏观测层，同时，在特征提取映射部分，将全连接替换为局部连接，以减少网络参数，通过多个卷积层和池层形成深度卷积重建网络；

原始SAR回波数据通过随机稀疏观测输出随机欠采样回波数据；式中a和N_r表示方位角和距离方向的奈奎斯特采样点，而N_sa和N_sr表示下采样后方位角和距离方向的采样点，经过对卷积层和池化层的编码和重构，得到重构的SAR回波数据..

雷达回波数据作为一种复杂的数据类型，可以看作是一种双通道图像..第一通道数据为实部数据，第二通道为虚部数据，可以表示为..待下采样数据经过5×5×128的卷积层后，进行非线性特征映射..后进行5×5×128的卷积层和Relu的非线性特征映射，得到高阶特征..

然后通过具有2×2的池窗口的池层，执行上述操作以获得重建信号；再进行实数和复数的转换，即以重构信号的第一通道为实部，以第二通道为虚部，最后得到重构的SAR回波数据；

多层次卷积池化后，网络后端获得的数据特征仍然是抽象的..减少数据重构带来的误差，将第四层池前的输出特性加入到卷积层5×5×128之前的网络后端，使网络后端能够学习数据的初级和高级抽象特性，有利于信号恢复。

本发明的有益效果在于：

本发明是一种基于深度学习的大气臭氧遥感激光雷达数据融合方法，与现有技术相比，本发明基于深度学习(D L)思想，对激光雷达数据进行特征分析，统一定义数据格式..以条带模式为例，构建卷积神经网络SAR(CNN-SAR)信号重建网络，得到重建的SAR激光雷达数据，将雷达回波数据的仿真结果和性能与距离多普勒算法进行了比较。结果表明，在全采样率条件下，两种方法都能达到较好的重建效果，但CNN-SAR对恢复弱目标有较好的效果，CNN-SAR成像所需时间较少，振幅误差和相位误差较小。在相同的欠采样速率下，该方法性能更好。因此，本研究的结果为大气臭氧遥感全景成像提供了可能，具有一定的理论和实践意义。

附图说明

图1是激光雷达数据原理图；

图2是合成孔径成像模型图；

图3是SAR成像原理图；

图4是合成孔径雷达成像的步骤图；

图5是SAR信号重建网络的结构图；

图6是实验仿真数据示意图；

图7是成像效果的比较图；

图7中：(a)为CNN-SAR(2)为RD。

具体实施方式

下面结合附图对本发明作进一步说明：

如图1所示：激光雷达数据包括回波数据，地理位置，探测距离，信号强度，测量时间等信息，在实际应用中，通常使用与特定时间和信号波长对应的点坐标和强度等信息。与其他类型的数据相比，激光雷达数据具有以下特点；

a空间和时间分布：激光雷达与目标物体之间有一定的探测距离，目标反射波的数据在空间上呈现分辨率分布，在时间上呈现等间隔分布..

b离散分布：在不同的检测和扫描方法下，数据显示了时空方向的离散分布。

c激光雷达数据通常是连续检测，时间和仰角之间的间隔往往根据监测对象和其他要求设置，导致间隔分布不均匀。同时，随着数据采集频率的不同，回波数据的范围分辨率也不同。

d数据量大：数据采集频率不变，时间间隔和距离分辨率越小，数据量越大。

e范围很广：激光雷达数据回波信号强度范围宽..

f多点监测：单点激光雷达数据可以获得单个信息，不能深入获取大气参数的变化，信息有限。因此，需要多个监测站进行监测和获取数据，并可结合其时空变化对大气总体参数进行分析。

g无法繁殖：激光雷达数据反映大气参数变化的动态信息，具有一定的时间特征，而时间具有不可恢复性，这也决定了激光雷达数据的不可恢复性。

h异质性：激光雷达设备的研发来源不同，系统的参数也不同，这使得激光雷达数据具有很大的差异，如探测高度、探测时间、距离分辨率等，从而导致异质性。

激光雷达数据的特点使其具有一定的缺陷..仅从回波数据无法分析大气臭氧参数的分布和变化趋势。因此，可以利用数据和全景图像处理技术对激光雷达数据进行处理，绘制图表，以显示大气臭氧参数的变化，并对数据进行合理、正确的解释。

激光雷达数据是一个不均匀和有序的收集按时间顺序排列。激光雷达数据的格式可以定义如下：

激光雷达数据被表示为数据的集合，

其中：D＝{H(t₁),H(t₂),...,H(t_m)}H(t_i)＝{H₁(t₁),H₂(t₂),...,H_n(t_m)}

h_j(t)_i表示一定高度和探测时间下激光雷达回波强度的大小，其中探测高度为j(j＝1，2，3，...，n)，数据采集时间为t_i(i＝1，2，3，.，m)。采样距离间隔r是激光雷达的距离分辨率，

Dj(ti)和Dj(ti+1)是两个相邻的数据点，激光雷达数据是一个二维结构的数据集；

合成孔径雷达成像：

SAR可以通过在移动平台上加载雷达设备、发射电磁波和接收目标反射波来获取目标信息。由于不同移动设备对雷达的需求不同，将SAR分为不同的工作模式，其中典型的是带状模式和束流模式，如表1所示：

表1.SAR的工作模式

雷达的距离分辨率表示如下：.

其中，Δf_r表示发送信号的频带，c表示监视距离。为了提高距离分辨率，应增加发射信号的带宽。

天线波束角宽表示为雷达工作波长λ与天线孔径宽度D_a的比值，实际孔径雷达的方位分辨率可以表示如下：

式中，R_S表示目标与天线之间的距离。提高方位分辨率，天线孔径必须达到一定宽度..为了避免天线孔径引起的方位分辨率降低，在成像领域引入了合成孔径。

高分辨率，SAR的距离分辨率单元可以通过径向的宽带信号压缩到亚米级，通过雷达设备平台在方位的移动，在空间上形成线性阵列..SAR利用信号处理技术处理主动发射和接收信号，实现小孔径虚拟大孔径，并对目标进行高分辨率全景成像。成像模型如图2所示；

图3显示了带材模式下SAR的空间几何形状。平行于雷达飞行方向的方向称为方位方向，而垂直于雷达飞行方向的方向称为距离方向..方位方向的时间为慢时间t._m在距离方向上的时间是快速的。

雷达利用快，慢时间的记录获取各目标的回波数据，快时间记录目标斜距，慢时间记录阵列单元的位置信息..从位置可以得到回波相位随慢时间的变化，进而得到多普勒频率..在图3中，A是监测目标，它在中心线上，v代表雷达设备的飞行速度，M代表中心线与A所在平面的交点，θ_w表示光束宽度，k₀表示从雷达到目标的最近斜距离和x₀表示目标A在方位角和原点O之间的距离。瞬时斜率距离k(t_m；k₀)目标A可表示如下。

在现实中，通过调频，线性调频(L FM)信号可以得到一个大的时间带宽宽度乘积，易于产生和处理。信号表示如下..

式中，T_p表示脉冲宽度f_c表示载波频率，γ表示调制频率。调制连续波的复信封为，解调后，目标接收的延时回波信号如下

其中，τ表示延迟，可以用下列方程计算：

如果是点目标，则接收点的目标回波的基频信号在距离快时位慢时域(

域)可以表示如下：

式中，a_r()表示雷达LFM信号的窗口函数，距离窗口函数为；

a_a()表示方位窗口函数，σ_n表示目标的反射系数。

SAR图像是对监测目标参数的直观反映，成像步骤如图4所示..然而，一般情况下，SAR数据相对较大，处理复杂，难以进行实时处理。

基于DL的CNN-SAR成像网络

基于DL的CNN-SAR信号重建网络结构如图4所示，包括一个随机稀疏观测层..同时，在特征提取映射部分，将全连接替换为局部连接，以减少网络参数，通过多个卷积层和池层形成深度卷积重建网络。

原始SAR回波数据通过随机稀疏观测输出随机欠采样回波数据。a和N_r表示方位角和距离方向的奈奎斯特采样点，而N_sa和N_sr表示下采样后方位角和距离方向的采样点..经过对卷积层和池化层的编码和重构，得到重构的SAR回波数据..

雷达回波数据作为一种复杂的数据类型，可以看作是一种双通道图像..第一通道数据为实部数据，第二通道为虚部数据，可以表示为..待下采样数据经过5×5×128的卷积层后，进行非线性特征映射..后进行5×5×128的卷积层和Relu的非线性特征映射，得到高阶特征..

然后通过具有2×2的池窗口的池层，执行上述操作以获得重建信号。再进行实数和复数的转换，即以重构信号的第一通道为实部，以第二通道为虚部，最后得到重构的SAR回波数据；

多层次卷积池化后，网络后端获得的数据特征仍然是抽象的..减少数据重构带来的误差，将第四层池前的输出特性加入到卷积层5×5×128之前的网络后端，使网络后端能够学习数据的初级和高级抽象特性，有利于信号恢复；

结果

实验条件：

由于难以获得真实数据，本研究采用仿真数据获取仿真代码..为了测量网络在压缩和重建未见数据方面的性能，测试的样本数据没有经过训练。仿真场景面积大小为1024×1024m，成像平台飞行速度为150m/s，高度为5000m，雷达方位分辨率为2.5m，距离分辨率为3.0164m，雷达回波数据部分仿真参数见表2；

表2雷达回波数据的仿真参数.

载波频率	波长	脉宽	信号带宽	斜角
					5.6千兆赫	5.73米	2.5我们	50兆赫	0°
线性频率	脉冲重复频率	取样频率	天线孔径	低视角
					2.3赫兹/秒	94.28赫兹/米/秒	3.5兆赫	3.5米	85°

图6显示了几组实验模拟数据。以上三张图片展示了雷达回波数据的仿真幅度图，以下三张图片展示了采用RD算法的成像效果图；

成像结果：

分别比较和分析了基于DL的CNN-SAR成像网络和RD成像的性能；全采样率的结果如图7所示；从图中可以观察到，在全采样率条件下，这两种方法都能达到较好的重建效果，但CNN-SAR对恢复弱目标有较好的效果；

表3显示了CNN-SAR成像和RD成像在振幅差、相位差和时间消耗方面的性能比较。从表中数据可以看出，CNN-SAR成像需要较短的时间，其振幅误差和相位误差均小于RD成像。在相同的欠采样速率下，CNN-SAR成像可以在不锻造假目标的情况下准确地重建目标的位置和状态。

表3业绩比较

	振幅差	相位差	很费时
				cnn-sar	5.34	1.57	2.1
RD	9.62	1.94	-

与标准人工神经网络的深度不同，深层神经网络模型采用顺序计算代替并行计算..降低了负荷，具有更强的表达能力，提取更抽象的数据特征，也准确估计了实测值与未知数的关系..本研究为实现大气臭氧遥感激光雷达数据融合，基于DL思想，借助全景图像处理技术，以条带模式为例，介绍合成孔径成像模型及SAR的成像原理和步骤..构建CNN-SAR信号重建网络，并通过仿真实验验证了该方法的成像效果和性能..发现在全采样率条件下，该方法对恢复弱目标效果较好，成像时间较短，振幅误差和相位误差较小，性能较好，与实验前的预期结果基本一致..同样，合成孔径激光雷达可以有效地改善大气图像的聚焦效果，提高成像分辨率。本研究为大气臭氧遥感全景成像提供了可能，具有一定的理论和实践意义；

结论

在本研究中，基于DL的思想，对激光雷达数据的特性进行了分析，并对数据格式进行了统一定义。借助全景图像处理技术，针对不同移动设备对雷达的不同需求，在本研究中引入了SAR的两种不同的工作模式，以条带模式为例，介绍合成孔径成像模型和SAR的成像原理和步骤，构建CNN-SAR信号重建网络，得到重建的SAR激光雷达数据，通过该方法和RD算法进行仿真实验，比较雷达回波数据的成像结果和性能..在全采样率条件下，两种方法都能达到较好的重建效果，但CNN-SAR在恢复弱目标方面效果较好，CNN-SAR成像所需时间较少，振幅误差和相位误差较小，在相同的欠采样速率下，该方法性能更好。本研究结果为大气臭氧遥感全景成像提供了可能，具有一定的理论和实践意义..然而，本研究中描述的方法的成像性能在一定程度上依赖于传统的成像方法，其性能仍有很大的改进空间。在今后的研究中，将进一步研究如何构建深度网络模型，从原始回波数据中直接恢复全景图像。

以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于深度学习的大气臭氧遥感激光雷达数据融合方法，其特征在于：

激光雷达数据的格式可以定义如下：

激光雷达数据被表示为数据的集合：

D＝{H(t₁),H(t₂),...,H(t_m)}H(t_i)＝{H₁(t₁),H₂(t₂),...,H_n(t_m)}

其中：H_j(t_i)表示一定高度和探测时间下激光雷达回波强度的大小，其中探测高度为j(j＝1，2，3，...，n)，数据采集时间为t_i(i＝1，2，3，.，m)；采样距离间隔r是激光雷达的距离分辨率；

H_i＜H_j，Dj(ti)和Dj(ti+1)是两个相邻的数据点，激光雷达数据是一个二维结构的数据集

雷达的距离分辨率表示如下：

其中，Δf_r表示发送信号的频带，c表示监视距离；为了提高距离分辨率，应增加发射信号的带宽；

天线波束角宽表示为雷达工作波长λ与天线孔径宽度D_a的比值；实际孔径雷达的方位分辨率可以表示如下：

其中，R_s表示目标与天线之间的距离；提高方位分辨率，天线孔径必须达到一定宽度，为了避免天线孔径引起的方位分辨率降低，在成像领域引入了合成孔径；

高分辨率，SAR的距离分辨率单元可以通过径向的宽带信号压缩到亚米级，通过雷达设备平台在方位的移动，在空间上形成线性阵列，SAR利用信号处理技术处理主动发射和接收信号，实现小孔径虚拟大孔径，并对目标进行高分辨率全景成像；

瞬时斜率距离k(t_m；k₀)目标A可表示如下；

在现实中，通过调频，线性调频(LFM)信号可以得到一个大的时间带宽宽度乘积，易于产生和处理；信号表示如下：

式中，T_p表示脉冲宽度f_c表示载波频率，γ表示调制频率；调制连续波的复包络线为，解调后，目标接收的延时回波信号如下：

其中，τ表示延迟，可以用下列方程计算：

如果是点目标，则接收点的目标回波的基频信号在距离快时位慢时域(

域)可以表示如下：

式中，a_r()表示雷达LFM信号的窗口函数，距离窗口函数为：

， a_a()表示方位窗口函数，σ_n表示目标的反射系数；

基于DL的CNN-SAR信号重建网络包括一个随机稀疏观测层，同时，在特征提取映射部分，将全连接替换为局部连接，以减少网络参数，通过多个卷积层和池层形成深度卷积重建网络；

原始SAR回波数据通过随机稀疏观测输出随机欠采样回波数据；式中a和N_r表示方位角和距离方向的奈奎斯特采样点，而N_sa和N_sr表示下采样后方位角和距离方向的采样点，经过对卷积层和池化层的编码和重构，得到重构的SAR回波数据：

雷达回波数据作为一种复杂的数据类型，可以看作是一种双通道图像：第一通道数据为实部数据，第二通道为虚部数据，可以表示为：待下采样数据经过5×5×128的卷积层后，进行非线性特征映射：后进行5×5×128的卷积层和Relu的非线性特征映射，得到高阶特征：

然后通过具有2×2的池窗口的池层，执行上述操作以获得重建信号；再进行实数和复数的转换，即以重构信号的第一通道为实部，以第二通道为虚部，最后得到重构的SAR回波数据；

多层次卷积池化后，网络后端获得的数据特征仍然是抽象的；减少数据重构带来的误差，将第四层池前的输出特性加入到卷积层5×5×128之前的网络后端，使网络后端能够学习数据的初级和高级抽象特性，有利于信号恢复。

Images