CN115390047B - 星载光子计数激光雷达数据去噪滤波方法及装置 - Google Patents

星载光子计数激光雷达数据去噪滤波方法及装置 Download PDF

Info

Publication number
CN115390047B
CN115390047B CN202211321823.5A CN202211321823A CN115390047B CN 115390047 B CN115390047 B CN 115390047B CN 202211321823 A CN202211321823 A CN 202211321823A CN 115390047 B CN115390047 B CN 115390047B
Authority
CN
China
Prior art keywords
photon
data
training
model
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211321823.5A
Other languages
English (en)
Other versions
CN115390047A (zh
Inventor
张博
陈博伟
张丽
闫敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202211321823.5A priority Critical patent/CN115390047B/zh
Publication of CN115390047A publication Critical patent/CN115390047A/zh
Application granted granted Critical
Publication of CN115390047B publication Critical patent/CN115390047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G01J2001/4413—Type
    • G01J2001/442—Single-photon detection or photon counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开实施例公开了一种星载光子计数激光雷达数据去噪滤波方法及装置，所述方法包括：对星载光子计数激光雷达数据集在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；基于多个窗口中目标窗口内任意一个激光雷达数据的高度以及目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；从所述子数据集中随机抽取多个光子对应的光子特征以及噪声对应的光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子。

Description

星载光子计数激光雷达数据去噪滤波方法及装置
技术领域
本公开涉及雷达技术领域，具体涉及一种星载光子计数激光雷达数据去噪滤波方法及装置。
背景技术
一般而言，激光雷达发射和接收信号的工作模式有两种，一种是脉冲模拟检测法（即全波形记录的激光雷达），另一种是微脉冲光子计数法，这两种工作模式各有其优缺点，分别介绍如下：
脉冲模拟检测法首先发射能量较高，持续时间较长的信号（4~8 ns），然后激光接收器累积一定时间间隔内所有返回光子的能量，通过对累积能量的时间序列进行数模转换，得到激光雷达的全波形记录。基于脉冲模拟检测法的激光器需要发射高能量的脉冲，并通过在短间隔时间内累积大量光子能量的方式来保持接收信号较高的信噪比，该方法限制了仪器的发射频率，加快了仪器的损耗速率，制约着仪器的寿命，一般采用多个激光器件备份的方式实现长时间观测。
微脉冲光子计数激光雷达发射信号能量较低、持续时间较短（1 ns）的激光脉冲（微脉冲），并仅需记录返回的数以万计光子中的一个或几个。微脉冲光子计数方法与脉冲模拟检测方法不同之处是前者发射的脉冲能量更低，频率更高，并且记录返回信号时不进行光子能量累积、模拟信号波峰提取等过程，而是直接记录了光子坐标。光子计数能够更真实地记录地表信息，降低了脉冲模拟检测式激光雷达波形分解及离散点云记录的不确定性。
微脉冲光子计数技术采用更加灵敏的探测技术，能够做到单光子级别的探测。仪器发射脉冲的展宽小，且发射频率高，能充分利用激光雷达数据获取更高密度、更真实的数据，并可延长激光器的寿命。光子计数激光雷达作为未来的发展趋势具有很大的研究前景和价值，但由于微脉冲光子计数方法检测的是弱信号，故相比脉冲模拟检测式激光雷达，其受噪声的影响更大。仪器在探测有效信息时也记录了大量的太阳背景噪声和仪器噪声等，尤其是白天观测时受太阳光干扰和大气噪声的影响很大。
目前，现有的三维机载点云滤波算法如不规则三角网滤波、坡度滤波、移动曲面滤波等均不能直接应用在星载光子计数激光雷达数据处理中。因此，如何开发出一种解决微脉冲机理造成的强烈背景噪声的快速去噪滤波方法，是目前亟待解决的问题。
发明内容
本公开实施例提供一种星载光子计数激光雷达数据去噪滤波方法及装置。
第一方面，本公开实施例中提供了一种星载光子计数激光雷达数据去噪滤波方法，包括：
获取星载光子计数激光雷达数据集；所述星载光子计数激光雷达数据集包括激光雷达数据的空间地理信息以及所述激光雷达数据中的每个空间地理信息对应信号光子还是噪声光子的原始标签信息；
对所述星载光子计数激光雷达数据集E在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；
对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；
基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；
从所述子数据集中随机抽取多个光子对应的所述光子特征以及噪声对应的所述光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；
利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子；所述堆栈预测模型包括多个子机器学习模型。
其中，基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征，包括：
利用如下公式计算所述激光雷达数据的光子特征：
Figure 976982DEST_PATH_IMAGE001
其中，
Figure 290151DEST_PATH_IMAGE002
为第m k 个窗口内第i个数据的光子特征，
Figure 865489DEST_PATH_IMAGE003
为第m k 窗口内第i个光子信号的高度，
Figure 936213DEST_PATH_IMAGE004
为第m k 窗口内所有光子信号高度的集合，
Figure 458462DEST_PATH_IMAGE005
为第m k 窗口内所有光子信号沿卫星运行轨道距离的集合，f为光子统计特征函数。
其中，所述光子统计特征函数对应的光子统计特征包括如下一种或多种的组合：平均高度H mean 、中值高度H median 、高度分位数H px 、高度标准差H sd 、高度方差H var 、最低高度H min 、最高高度H max 、高度分布范围H range 、平均绝对偏差H mad 、变动系数H cv 、四分位间距H iqr 、冠层突出比H crr 、峰度H kurtosis 、偏度H skewness 、kNN邻近距离H kNN-X 。
其中，利用所述训练数据训练堆栈预测模型，包括：
利用所述训练数据分别训练所述堆栈预测模型包括的多个子机器学习模型；
基于训练后的所述多个子机器学习模型对验证集中光子特征的识别准确率，确定所述多个子机器学习模型的权重；其中所述堆栈预测模型对数据的预测结果基于所述多个子机器学习模型的预测结果以及所述权重得到。
其中，利用所述训练数据训练堆栈预测模型，包括：
构建C个子机器学习模型组成的集合M；
设定重复训练次数N、交叉验证次数K和模型堆叠层数L；
从L个模型堆叠层选择未装入模型的模型堆叠层l，作为集成本次训练模型的模型堆叠层；
开始第t次重复训练，将训练集随机分割成多个独立数据块；
选择训练集的第j个独立数据块参与模型的训练；
在集合M中选择未参与训练的子机器学习模型开始训练，计算得到子机器学习模型的交叉验证结果
Figure 298242DEST_PATH_IMAGE006
；
返回在集合M中选择未参与训练的子机器学习模型开始训练的步骤，直到遍历集合M中所有子机器学习模型为止；
返回选择训练集的第j个独立数据块参与模型的训练的步骤，直到遍历完训练集中的K个独立数据块为止；
重复训练次数t加1，并返回开始第t次重复训练的步骤，直到满足N次重复训练次数为止；
计算当前训练的子机器学习模型的权重，并将训练完成的所述子机器学习模型和对应的权重装载至第l个堆叠层中；
若未装载满L个模型堆叠层，模型对叠层l加1，并返回从L个模型堆叠层选择未装入模型的模型堆叠层l的步骤，若已装载完全部的L个模型堆叠层，则得到利用所述子数据集训练得到的所述堆栈预测模型。
第二方面，本公开实施例中提供了一种星载光子计数激光雷达数据去噪滤波装置，其特征在于，包括：
第一获取模块，被配置为获取星载光子计数激光雷达数据集；所述星载光子计数激光雷达数据集包括激光雷达数据的空间地理信息以及所述激光雷达数据中的每个空间地理信息对应信号光子还是噪声光子的原始标签信息；
第一分割模块，被配置为对所述星载光子计数激光雷达数据集E在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；
第二分割模块，被配置为对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；
计算模块，被配置为基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；
抽取模块，被配置为从所述子数据集中随机抽取多个光子对应的所述光子特征以及噪声对应的所述光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；
训练模块，被配置为利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子；所述堆栈预测模型包括多个子机器学习模型。
所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
第三方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。
第五方面，本公开实施例提供了一种计算机程序产品，其包含计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
本发明提供的星载光子计数激光雷达数据去噪滤波方法通过基于自动机器学习模型进行光子信号的提取。该方法可以在有限训练样本条件下保证运算的速度，节约系统运行成本；该方法通过完整的评估系统对超参数与模型设计空间进行有效采样，提高模型的先进性能与模型压缩的质量，从而获取性能最优的模型进行光子信号提取，极大提高了运算的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的星载光子计数激光雷达数据去噪滤波方法的流程图；
图2示出根据本公开一实施方式的星载光子计数激光雷达数据集E按照比例随机选取训练样本的示意图；
图3示出根据本公开一实施方式中模型训练的验证过程示意图；
图4示出根据本公开一实施方式的低信噪比去噪标签
Figure 106798DEST_PATH_IMAGE007
结果图；
图5示出根据本公开一实施方式的高信噪比去噪标签
Figure 664818DEST_PATH_IMAGE007
结果图；
图6示出根据本公开一实施方式的星载光子计数激光雷达数据去噪滤波装置的结构框图；
图7是适于用来实现根据本公开一实施方式的星载光子计数激光雷达数据去噪滤波方法的电子设备的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
本发明公开了一种星载光子计数激光雷达数据去噪滤波的方法，该方法采用有监督的分类思想，基于自动机器学习模型进行光子信号的提取。该方法通过目视解译、ICESat-2卫星光子产品或粗分类算法等途径构建光子分类准样本；构造多种通用型光子统计特征；通过多种机器学习模型（如随机森林模型、梯度增强模型、广义线性模型、极端随机森林模型、极端梯度增强模型）压缩与集成，构建堆栈预测模型Stacking k ；通过堆栈预测模型Stacking k 预测光子信号与噪声标签，从而提取光子信号。
该方法可以在有限训练样本条件下保证运算的速度，节约系统运行成本；该方法通过完整的评估系统对超参数与模型设计空间进行有效采样，提高模型的先进性能与模型压缩的质量，从而获取性能最优的模型进行光子信号提取，极大提高了运算的精度。故该方法可在星载光子计数激光雷达数据去噪滤波中保证较高的速度与准确性。
下面通过具体实施例详细介绍本公开实施例的细节。
图1示出根据本公开一实施方式的星载光子计数激光雷达数据去噪滤波方法的流程图。如图1所示，该星载光子计数激光雷达数据去噪滤波方法包括以下步骤：
在步骤S101中，获取星载光子计数激光雷达数据集；所述星载光子计数激光雷达数据集包括激光雷达数据的空间地理信息以及所述激光雷达数据中的每个空间地理信息对应信号光子还是噪声光子的原始标签信息；
在步骤S102中，对所述星载光子计数激光雷达数据集E在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；
在步骤S103中，对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；
在步骤S104中，基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；
在步骤S105中，从所述子数据集中随机抽取多个光子对应的所述光子特征以及噪声对应的所述光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；
在步骤S106中，利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子；所述堆栈预测模型包括多个子机器学习模型。
激光雷达数据的空间地理信息包括信号的纬度、经度和高度。
在本实施例的一个可选实现方式中，基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征，包括：
利用如下公式计算所述激光雷达数据的光子特征：
Figure 521915DEST_PATH_IMAGE008
其中，
Figure 419464DEST_PATH_IMAGE009
为第m k 个窗口内第i个数据的光子特征，
Figure 71025DEST_PATH_IMAGE010
为第m k 窗口内第i个光子信号的高度，
Figure 381921DEST_PATH_IMAGE011
为第m k 窗口内所有光子信号高度的集合，
Figure 777130DEST_PATH_IMAGE012
为第m k 窗口内所有光子信号沿卫星运行轨道距离的集合，f为光子统计特征函数。
在本实施例的一个可选实现方式中，所述光子统计特征函数对应的光子统计特征包括如下一种或多种的组合：平均高度H mean 、中值高度H median 、高度分位数H px 、高度标准差H sd 、高度方差H var 、最低高度H min 、最高高度H max 、高度分布范围H range 、平均绝对偏差H mad 、变动系数H cv 、四分位间距H iqr 、冠层突出比H crr 、峰度H kurtosis 、偏度H skewness 、kNN邻近距离H kNN-X 。
在本实施例的一个可选实现方式中，利用所述训练数据训练堆栈预测模型，包括：
利用所述训练数据分别训练所述堆栈预测模型包括的多个子机器学习模型；
基于训练后的所述多个子机器学习模型对验证集中光子特征的识别准确率，确定所述多个子机器学习模型的权重；其中所述堆栈预测模型对数据的预测结果基于所述多个子机器学习模型的预测结果以及所述权重得到。
在本实施例的一个可选实现方式中，利用所述训练数据训练堆栈预测模型，包括：
构建C个子机器学习模型组成的集合M；
设定重复训练次数N、交叉验证次数K和模型堆叠层数L；
从L个模型堆叠层选择未装入模型的模型堆叠层l，作为集成本次训练模型的模型堆叠层；
开始第t次重复训练，将训练集随机分割成多个独立数据块；
选择训练集的第j个独立数据块参与模型的训练；
在集合M中选择未参与训练的子机器学习模型开始训练，计算得到子机器学习模型的交叉验证结果
Figure 653820DEST_PATH_IMAGE013
；
返回在集合M中选择未参与训练的子机器学习模型开始训练的步骤，直到遍历集合M中所有子机器学习模型为止；
返回选择训练集的第j个独立数据块参与模型的训练的步骤，直到遍历完训练集中的K个独立数据块为止；
重复训练次数t加1，并返回开始第t次重复训练的步骤，直到满足N次重复训练次数为止；
计算当前训练的子机器学习模型的权重，并将训练完成的所述子机器学习模型和对应的权重装载至第l个堆叠层中；
若未装载满L个模型堆叠层，模型对叠层l加1，并返回从L个模型堆叠层选择未装入模型的模型堆叠层l的步骤，若已装载完全部的L个模型堆叠层，则得到利用所述子数据集训练得到的所述堆栈预测模型。
下面通过一种实现方式详细介绍本公开。
本公开提供了一种星载光子计数激光雷达数据去噪滤波方法，其包括以下步骤：
S1：将数据集E中的激光雷达数据进行空间降维处理，将光子经度Lon、纬度Lat归一化为沿卫星运行轨道距离D，归一化过程如下：
将WGS-84坐标系转化为UTM投影坐标系，计算得到UTM投影坐标系下的经度Lon UTM 与纬度Lat UTM ；并按照如下公式计算得到第n个光子的沿卫星运行轨道距离D n ：
Figure 7440DEST_PATH_IMAGE014
其中，min(Lon UTM )表示数据集E中所有光子信号的最小经度；min(Lat UTM )表示数据集E中所有光子信号的最小纬度。
本实施例中，星载光子计数激光雷达数据集E例如可以是源自ICESat-2 卫星ATL03产品中经度、纬度、高度信息与ATL08产品中待进一步分类的光子信息，数据集E中的激光雷达数据对应有原始标签信息，原始标签信息用于标识数据集E中的激光雷达数据是信号光子还是噪声光子。但是原始标签信息可能存在较大误差，因此需要做进一步分类，将数据集E中的激光雷达数据划分为信号光子和噪声光子。数据格式例如可以为科学数据格式HDF5或文本格式数据，这两种均是目前主流的光子计数激光雷达数据格式。
S2：设定分割距离d set ，对星载光子计数激光雷达数据集E在沿卫星运行方向上的地面轨道进行分割，每隔d set 距离对数据集E分割一次，将数据集E分割为p个子数据集；
在一些实施例中，以d set 为10000米，进行数据集的分割处理。在其他实施例中，d set 可以根据实际情况设定为其他数值，不以上述10000米为限制，d set 的设定范围可以在5000-15000米之间。
S3：选定一个未处理的子数据集E k ，设定滑动窗口距离d win 将子数据集在沿卫星运行轨道方向上分割为多个窗口；
在一些实施例中，d win 值为10。在其他实施例中，d win 的值可以根据实际情况设定为其他数值，d win 的值设定可以为10-20之间的整数。
S4：根据
Figure 477736DEST_PATH_IMAGE015
得出第m k 个窗口内第i个数据的光子特征
Figure 676636DEST_PATH_IMAGE016
，
Figure 345515DEST_PATH_IMAGE017
为第m k 窗口内第i个光子信号的高度，
Figure 932354DEST_PATH_IMAGE018
为第m k 窗口内所有光子信号高度的集合，
Figure 952263DEST_PATH_IMAGE019
为第m k 窗口内所有光子信号沿卫星运行轨道距离的集合，f为光子统计特征函数，其中光子的统计特征包括平均高度H mean 、中值高度H median 、高度分位数H px 、高度标准差H sd 、高度方差H var 、最低高度H min 、最低高度H max 、高度分布范围H range 、平均绝对偏差H mad 、变动系数H cv 、四分位间距H iqr 、冠层突出比H crr 、峰度H kurtosis 、偏度H skewness 、kNN邻近距离H kNN-X ，最后计算得出
Figure 892537DEST_PATH_IMAGE020
。
Figure 415922DEST_PATH_IMAGE021
与
Figure 111346DEST_PATH_IMAGE022
、
Figure 87392DEST_PATH_IMAGE023
共同组成第m k 个窗口内第i个光子信号的特征，其中
Figure 955991DEST_PATH_IMAGE024
为第m k 窗口内第i个光子信号的沿卫星运行轨道距离。下面给出所有光子统计特征函数计算方式：
Figure 599462DEST_PATH_IMAGE025
，n为第m k 窗口内的所有光子信号的个数；
Figure 200207DEST_PATH_IMAGE026
Figure 929129DEST_PATH_IMAGE027
，
Figure 211206DEST_PATH_IMAGE028
，θ x 为总体高度
Figure 709183DEST_PATH_IMAGE029
的x分位数，P为高度概率密度分布函数；
Figure 480830DEST_PATH_IMAGE030
Figure 697048DEST_PATH_IMAGE031
，θ 0.75为总体高度
Figure 907449DEST_PATH_IMAGE032
的 75分位数，θ 0.25为总体高度
Figure 525512DEST_PATH_IMAGE033
的25分位数；
Figure 671323DEST_PATH_IMAGE034
Figure 374837DEST_PATH_IMAGE035
其中min x 为计算
Figure 795454DEST_PATH_IMAGE036
欧式距离中最小的x个距离，
Figure 595920DEST_PATH_IMAGE037
；
本实施例中的
Figure 443790DEST_PATH_IMAGE038
式中可以设定高度百分位x为0.05,0.1,0.15,……,0.95，min x 中x值为5,10。在其他实施例中，min x 可以根据实际情况设定为其他数值，min x 的值设定为3-30之间的整数。
S5：预设随机抽取光子比例Q，对子数据集E k 对应的特征集F k 进行随机抽取，基于原始标签信息分别抽取Q比例的信号光子特征与Q比例的噪声光子特征，随机抽取的信号光子特征与噪声光子特征共同组成子数据集E k 的训练特征集X k ，同时得到与训练特征集对应的原始标签信息集Y k （从数据集E k 中获取），X k 与Y k 共同组成训练集A k 。
本实施例中原始标签信息集Y k 源自 ICESat-2 卫星ATL08产品中待分类的光子标签信息。图2示出根据本公开一实施方式的星载光子计数激光雷达数据集E按照比例随机选取训练样本的示意图。如图2所示，本实施例中的Q比例为10%，进行随机训练样本的抽取。在其他实施例中，Q比例可以根据实际情况设定为其他数值，不以上述10%为限制，设定范围在5%-30%之间。
S6：本方法采用堆栈预测模型Stacking k ，堆栈预测模型需集成多个具备优异表现性能（如良好的准确性、稳定性等）的子机器学习模型，从而提升整体模型表现性能。训练模型前需设定如下参数：构建C个机器学习模型组成的集合M；设定重复训练次数N；设定交叉验证次数K；设定模型堆叠层数L。
下面举例说明模型具体训练步骤：
本实施例中的C为5，集合M包含分布式随机森林模型（DRF）、梯度增强模型（GBM）、广义线性模型（GLM）、极端随机森林模型（XRT）、极端梯度增强模型（XGB），N为3，K为20，L为5。在其他实施例中，C、M、N、K、L不以上述设定为限制，设定参数时需综合考量模型训练的速度与准确性。
S7：在L个模型堆叠层中，每次模型经过训练后装入一个堆叠层内，因此模型训练前需选择未装入待训练模型的堆叠层l，作为集成本次训练模型的堆叠层；
S8：开始第t次重复训练，将训练集A k 随机分割成K个独立数据块；
S9：选择训练集A k 的第j个独立数据块
Figure 634600DEST_PATH_IMAGE039
参与模型的训练；
S10：在集合M中选择未参与训练的模型开始训练，计算得到模型的交叉验证结果
Figure 858908DEST_PATH_IMAGE040
；
在S10步骤中，本实施例中模型参数调整方法采用参数空间平均采样法，并遍历所有采样结果自由组合的情况，从而获取稳定、客观的训练结果。同时不以本实施例模型参数调整方法为限制，也可根据专家先验知识自行调整。本实施例采用监督学习标准精度评价方法，将混淆矩阵（误差矩阵）中F 1得分作为验证结果指标
Figure 389246DEST_PATH_IMAGE041
。
Figure 673597DEST_PATH_IMAGE042
TP为被判定为信号的光子，实际为信号；FP为被判定为信号的光子，实际为噪声；FN为被判定为噪声的光子，实际为信号。
S11：返回S10步骤，直到遍历集合M中所有模型类型为止；
S12：返回S9步骤，直到遍历A k 的K个独立数据块为止；
S13：返回S8步骤，直到满足N次重复试验次数为止；
S14：计算
Figure 351703DEST_PATH_IMAGE043
，并将训练模型与模型权重
Figure 442019DEST_PATH_IMAGE044
装载入第l个堆叠层；
图3示出根据本公开一实施方式中模型训练的验证过程示意图。如图3所示，本实施例中验证模型性能指标为F 1得分。在其他实施例中，验证模型性能指标可以根据实际情况设定，不以上述为限制。
S15：若未装载满L个堆叠层，则返回S7步骤。若已装载全部堆叠层，则得到子数据集E k 的堆栈预测模型Stacking k ；
S16：将特征集F k 分别输入到堆栈预测模型Stacking k 的L个子机器学习模型中，再根据模型权重对子机器学习模型预测结果进行加权，得到子数据集E k 的预测标签
Figure 889181DEST_PATH_IMAGE045
；
S17：返回S3步骤，直到预测完全部子数据集为止；
S18：获取全部预测标签集合
Figure 344433DEST_PATH_IMAGE046
，筛选去除噪声标签光子，最终提取到信号光子；
图4示出根据本公开一实施方式的高信噪比去噪标签
Figure 713097DEST_PATH_IMAGE007
结果图；图5示出根据本公开一实施方式的低信噪比去噪标签
Figure 279208DEST_PATH_IMAGE007
结果图。
本公开提供的星载光子计数激光雷达数据去噪滤波方法通过基于自动机器学习模型进行光子信号的提取。该方法可以在有限训练样本条件下保证运算的速度，节约系统运行成本；该方法通过完整的评估系统对超参数与模型设计空间进行有效采样，提高模型的先进性能与模型压缩的质量，从而获取性能最优的模型进行光子信号提取，极大提高了运算的精度。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图6示出根据本公开一实施方式的星载光子计数激光雷达数据去噪滤波装置的结构框图。该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，该星载光子计数激光雷达数据去噪滤波装置包括：
第一获取模块601，被配置为获取星载光子计数激光雷达数据集；所述星载光子计数激光雷达数据集包括多个激光雷达数据以及每个激光雷达数据是信号光子还是噪声光子的原始标签信息；
第一分割模块602，被配置为对所述星载光子计数激光雷达数据集E在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；
第二分割模块603，被配置为对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；
计算模块604，被配置为基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；
抽取模块605，被配置为从所述子数据集中随机抽取多个光子对应的所述光子特征以及噪声对应的所述光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；
训练模块606，被配置为利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子；所述堆栈预测模型包括多个子机器学习模型。
本实施例中的星载光子计数激光雷达数据去噪滤波装置与上文中的星载光子计数激光雷达数据去噪滤波方法对应一致，具体细节可参见上文对星载光子计数激光雷达数据去噪滤波方法的描述，在此不再赘述。
图7是适于用来实现根据本公开一实施方式的星载光子计数激光雷达数据去噪滤波方法的电子设备的结构示意图。
如图7所示，电子设备700包括处理单元701，其可实现为CPU、GPU、FPGA、NPU等处理单元。处理单元701可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行本公开上述任一方法的实施方式中的各种处理。在RAM703中，还存储有电子设备700操作所需的各种程序和数据。处理单元701、ROM702以及RAM703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种星载光子计数激光雷达数据去噪滤波方法，其特征在于，包括：
获取星载光子计数激光雷达数据集；所述星载光子计数激光雷达数据集包括激光雷达数据的空间地理信息以及所述激光雷达数据中的每个空间地理信息对应信号光子还是噪声光子的原始标签信息；
对所述星载光子计数激光雷达数据集在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；
对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；
基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；
从所述子数据集中随机抽取多个信号光子对应的所述光子特征以及噪声光子对应的所述光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；
利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子；所述堆栈预测模型包括多个子机器学习模型。
2.根据权利要求1所述的方法，其特征在于，基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征，包括：
利用如下公式计算所述激光雷达数据的光子特征：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为第m k 个窗口内第i个数据的光子特征，
Figure DEST_PATH_IMAGE006
为第m k 窗口内第i个光子信号的高度，
Figure DEST_PATH_IMAGE008
为第m k 窗口内所有光子信号高度的集合，
Figure DEST_PATH_IMAGE010
为第m k 窗口内所有光子信号沿卫星运行轨道距离的集合，f为光子统计特征函数。
3.根据权利要求2所述的方法，其特征在于，所述光子统计特征函数对应的光子统计特征包括如下一种或多种的组合：平均高度H mean 、中值高度H median 、高度分位数H px 、高度标准差H sd 、高度方差H var 、最低高度H min 、最高高度H max 、高度分布范围H range 、平均绝对偏差H mad 、变动系数H cv 、四分位间距H iqr 、冠层突出比H crr 、峰度H kurtosis 、偏度H skewness 、kNN邻近距离H kNN-X 。
4.根据权利要求1或2所述的方法，其特征在于，利用所述训练数据训练堆栈预测模型，包括：
利用所述训练数据分别训练所述堆栈预测模型包括的多个子机器学习模型；
基于训练后的所述多个子机器学习模型对验证集中光子特征的识别准确率，确定所述多个子机器学习模型的权重；其中所述堆栈预测模型对数据的预测结果基于所述多个子机器学习模型的预测结果以及所述权重得到。
5.根据权利要求1或2所述的方法，其特征在于，利用所述训练数据训练堆栈预测模型，包括：
构建C个子机器学习模型组成的集合M；
设定重复训练次数N、交叉验证次数K和模型堆叠层数L；
从L个模型堆叠层选择未装入模型的模型堆叠层l，作为集成本次训练模型的模型堆叠层；
开始第t次重复训练，将训练数据随机分割成K个独立数据块；
选择训练数据的第j个独立数据块参与模型的训练；
在集合M中选择未参与训练的子机器学习模型开始训练，计算得到子机器学习模型的交叉验证结果
Figure DEST_PATH_IMAGE012
；
返回在集合M中选择未参与训练的子机器学习模型开始训练的步骤，直到遍历集合M中所有子机器学习模型为止；
返回选择训练数据的第j个独立数据块参与模型的训练的步骤，直到遍历完训练数据中的K个独立数据块为止；
重复训练次数t加1，并返回开始第t次重复训练的步骤，直到满足N次重复训练次数为止；
计算当前训练的子机器学习模型的权重，并将训练完成的所述子机器学习模型和对应的权重装载至第l个堆叠层中；
若未装载满L个模型堆叠层，模型堆叠层l加1，并返回从L个模型堆叠层选择未装入模型的模型堆叠层l的步骤，若已装载完全部的L个模型堆叠层，则得到利用所述子数据集训练得到的所述堆栈预测模型。
6.一种星载光子计数激光雷达数据去噪滤波装置，其特征在于，包括：
第一获取模块，被配置为获取星载光子计数激光雷达数据集；所述星载光子计数激光雷达数据集包括激光雷达数据的空间地理信息以及所述激光雷达数据中的每个空间地理信息对应的是信号光子还是噪声光子的原始标签信息；
第一分割模块，被配置为对所述星载光子计数激光雷达数据集E在沿卫星运行方向上的地面轨道进行分割，得到多个子数据集；
第二分割模块，被配置为对于任意一个子数据集，在沿卫星运行轨道方向上分割为多个窗口；
计算模块，被配置为基于所述多个窗口中目标窗口内任意一个激光雷达数据的高度以及所述目标窗口内所有激光雷达数据的光子统计特征计算得到所述任意一个激光雷达数据的光子特征；
抽取模块，被配置为从所述子数据集中随机抽取多个信号光子对应的所述光子特征以及噪声光子对应的所述光子特征，随机抽取的光子特征以及对应的所述原始标签信息形成训练数据；
训练模块，被配置为利用所述训练数据训练堆栈预测模型，训练完成的所述堆栈预测模型用于识别星载光子计数激光雷达数据中的噪声光子；所述堆栈预测模型包括多个子机器学习模型。
7.一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-5任一项所述的方法。
CN202211321823.5A 2022-10-27 2022-10-27 星载光子计数激光雷达数据去噪滤波方法及装置 Active CN115390047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211321823.5A CN115390047B (zh) 2022-10-27 2022-10-27 星载光子计数激光雷达数据去噪滤波方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211321823.5A CN115390047B (zh) 2022-10-27 2022-10-27 星载光子计数激光雷达数据去噪滤波方法及装置

Publications (2)

Publication Number Publication Date
CN115390047A CN115390047A (zh) 2022-11-25
CN115390047B true CN115390047B (zh) 2023-01-13

Family

ID=84128744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211321823.5A Active CN115390047B (zh) 2022-10-27 2022-10-27 星载光子计数激光雷达数据去噪滤波方法及装置

Country Status (1)

Country Link
CN (1) CN115390047B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115859007B (zh) * 2023-02-17 2023-05-12 广东石油化工学院 一种石化仪表采样数据滑窗约束容错滤波降噪方法和装置
CN118296361B (zh) * 2024-06-06 2024-10-01 中国地震局地球物理研究所 哨声波传播参数自动提取方法、系统、设备及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799494A (zh) * 2017-11-17 2019-05-24 中国林业科学研究院资源信息研究所 一种星载光子计数激光雷达数据快速去噪滤波方法
CN111766600A (zh) * 2020-09-02 2020-10-13 中国地质大学（武汉） 一种光子计数激光雷达自适应噪声判断、滤波方法及装置
US11448765B2 (en) * 2020-02-06 2022-09-20 China University Of Geosciences Adaptive filtering method of photon counting lidar for bathymetry
CN115222949A (zh) * 2022-09-21 2022-10-21 自然资源部第一海洋研究所 一种基于激光卫星数据的浅海区域光子去噪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11448778B2 (en) * 2017-12-08 2022-09-20 Rensselaer Polytechnic Institute Neural network-based corrector for photon counting detectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799494A (zh) * 2017-11-17 2019-05-24 中国林业科学研究院资源信息研究所 一种星载光子计数激光雷达数据快速去噪滤波方法
US11448765B2 (en) * 2020-02-06 2022-09-20 China University Of Geosciences Adaptive filtering method of photon counting lidar for bathymetry
CN111766600A (zh) * 2020-09-02 2020-10-13 中国地质大学（武汉） 一种光子计数激光雷达自适应噪声判断、滤波方法及装置
CN115222949A (zh) * 2022-09-21 2022-10-21 自然资源部第一海洋研究所 一种基于激光卫星数据的浅海区域光子去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
The Comparison of Denoising Methods for Photon Counting Laser Altimeter Data;Dan Ye 等;《 IGARSS 2019 - 2019 IEEE International Geoscience and》;20190802;全文 *
基于随机森林的光子计数激光雷达点云滤波;陈博伟 等;《地球信息科学》;20190630;第21卷(第6期);全文 *
星载激光雷达的发展与测绘应用前景分析;胡国军 等;《测绘技术装备》;20150630;第17卷(第2期);全文 *

Also Published As

Publication number Publication date
CN115390047A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN115390047B (zh) 星载光子计数激光雷达数据去噪滤波方法及装置
Ferro et al. Automatic detection and reconstruction of building radar footprints from single VHR SAR images
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN109344812B (zh) 一种改进的基于聚类的单光子点云数据去噪方法
CN111428625A (zh) 一种基于深度学习的交通场景目标检测方法及系统
CN101908138A (zh) 基于噪声独立成分分析的合成孔径雷达图像目标识别方法
CN111665517B (zh) 一种基于密度统计的单光子激光测高数据去噪方法及装置
CN111402299B (zh) 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置
Bain et al. A summary of National Oceanic and Atmospheric Administration Space Weather Prediction Center proton event forecast performance and skill
Jadhav et al. Improving significance of binary black hole mergers in Advanced LIGO data using deep learning: Confirmation of GW151216
CN113284369B (zh) 一种基于ads-b实测航路数据的预测方法
CN108062767A (zh) 基于时序sar图像的统计同分布空间像素选择方法
CN111401168A (zh) 一种无人机的多层雷达特征提取与选择方法
CN115774248A (zh) 基于图多特征的海面小目标检测方法及系统
CN105184829A (zh) 一种紧密空间目标检测和高精度质心定位方法
US11754704B2 (en) Synthetic-aperture-radar image processing device and image processing method
Cromwell et al. Lidar cloud detection with fully convolutional networks
CN111812670B (zh) 一种单光子激光雷达空间变换噪声判断、滤波方法及装置
Münchmeyer et al. Learning the deep and the shallow: Deep‐learning‐based depth phase picking and earthquake depth estimation
CN108764112A (zh) 一种遥感图像目标物检测方法及设备
Ferro et al. A novel approach to the automatic detection of subsurface features in planetary radar sounder signals
Li et al. Graph-based micro-seismic signal classification with an optimised feature space
Woolford et al. Convergent data sharpening for the identification and tracking of spatial temporal centers of lightning activity
Yip et al. Efficient and effective tropical cyclone eye fix using genetic algorithms
Zébiri et al. Rain nowcasting from multiscale radar images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant