CN116165635A - 多级滤波算法的日间条件下不同波束光子云数据去噪方法 - Google Patents
多级滤波算法的日间条件下不同波束光子云数据去噪方法 Download PDFInfo
- Publication number
- CN116165635A CN116165635A CN202310304232.5A CN202310304232A CN116165635A CN 116165635 A CN116165635 A CN 116165635A CN 202310304232 A CN202310304232 A CN 202310304232A CN 116165635 A CN116165635 A CN 116165635A
- Authority
- CN
- China
- Prior art keywords
- photon
- denoising
- algorithm
- cloud data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 237
- 238000001914 filtration Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 34
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000006698 induction Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000011160 research Methods 0.000 description 28
- 230000003044 adaptive effect Effects 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000008276 ice cloud Substances 0.000 description 4
- 238000004451 qualitative analysis Methods 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 238000012896 Statistical algorithm Methods 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及多级滤波算法的日间条件下不同波束光子云数据去噪方法,包括:通过读取光子点云数据并转换为沿轨距离‑高程的形式,基于RANSAC算法进行第一级粗去噪,并对去噪处理后的所述光子云数据进行点云特征分析获取其水平方向连续性参数,从而自适应的改进第二级精去噪算法,即OPTICS算法和RANSAC算法结合的多级滤波算法的搜索域参数,并给出三种滤波方向方案,即水平方向、组内统一方向和各光子自适应方向应用于第二级滤波算法处理,对第二级结果进行判断,如若为弱波束则进行异常数据处理,完成光子云数据去噪。本发明能够更好实现日间高背景噪声光子云数据精确去噪,适用性更强。
Description
技术领域
本发明涉及数据去噪技术领域,特别是涉及多级滤波算法的日间条件下不同波束光子云数据去噪方法。
背景技术
激光雷达(Light Detection and Ranging,LiDAR)作为主动式遥感探测技术,通过计算激光能量脉冲在传感器与目标之间的往返时间,能够快速准确获取地表三维数据。基于搭载平台不同,可分为地基激光雷达、机载激光雷达和星载激光雷达,其中星载激光雷达具有运行轨道高、观测范围广及免费获取等优点,因而在获取大区域地表三维数据方面具有独特的优势。冰云陆地高程卫星-2(Ice,cloud,and land elevation satellite-2,ICESat-2)作为目前唯一的光子体制激光测高卫星,通过搭载先进地形激光高度计系统(Advanced Topographic Laser Altimeter System,ATLAS)激光测高仪,采用微脉冲多波束光子技术激光雷达,可以获取光斑更小密度更高的光子点云数据,具有高灵敏、高重频的特点。但光子计数激光雷达发射的激光脉冲为弱信号,受噪声影响相对较大,而系统却无法在硬件层面对其进行区分,因而只能将噪声信号也一起记录到的光子事件生成点云,从而导致光子计数点云包含大量的噪声点。因此如何有效区分噪声与有用信号是后续光子激光雷达数据应用的关键。
目前,针对光子激光雷达数据的去噪处理方法包括粗去噪和精去噪两部分,其中粗去噪所用方法主要有辅助数据法、极值法、网格法等,此类方法大都基于光子密度及空间分布特征寻找信号点云的大致所在并设定阈值,以剔除明显的噪声点,从而减少滤波处理计算工作量,提高处理效率。而精去噪则是对数据进行精确滤波,主要采用以下三类方法:1)采用点云栅格化的方式利用图像处理算法进行滤波;2)采用密度聚类算法进行滤波;3)采用局部参数统计算法进行滤波。其中,点云栅格化法虽能较好的实现噪声信号去除,但光子点云在栅格化的过程中会导致信号的丢失。而密度聚类和局部参数统计算法则是基于信号与噪声空间分布特征进行去噪处理,不仅能够较好的保留饿信号的信息,而且能够较好实现去噪效果,因此此类算法及其改进算法在光子云数据去噪方法中得到广泛应用。现有技术表明虽然对此类算法进行改进可以有效提升算法的去噪精度以及适应性,但只采用单级滤波算法其去噪能力有限,因而逐渐发展成将多个单级滤波算法结合的多级滤波算法,以期能够综合各单级滤波算法的优势,从而达到‘1+1>2’的效果。
综上所述可知,多级滤波算法可以实现光子点云数据的精确去噪,其中所用粗去噪算法原理及性能大同小异,只要能在保留有用信号的同时减少噪声量即可,因而多级滤波算法的性能主要体现在精去噪部分,而目前大多数方法采用基于密度聚类与局部参数统计的方法进行多级组合滤波,但基于密度聚类和局部参数统计相组合的多级滤波算法大都受参数选择和研究区环境复杂程度的影响,因此针对两类算法的改进多集中于以下两个方面:1)如何降低算法对输入参数的敏感性以提高算法的适用性;2)如何改进搜索域的形状大小及方向以提高算法在地形复杂区域的精度。然而先前方法多针对其中一个方面进行改进,很少综合考虑二者进行一同改进。与此同时,由于强/弱波束激光强度不同,导致其光子分布特征也不完全一致,因此在对算法进行改进的同时需要结合强/弱波束数据各自特征分别进行去噪处理以进一步提高数据去噪结果。然而,先前方法多是对强/弱光子云数据进行统一处理,而未对强/弱光子云数据分别进行去噪处理,并对去噪结果进行分别统计以验证滤波算法对强/弱光子去噪结果的差异。因夜间数据受噪声影响相对较小,因而通常采用单级滤波器即可实现较高的去噪精度,相对而言,日间数据因受强烈的太阳噪声影响,去噪难度更大,因此本发明仅针对受噪声影响较大的日间条件下强\弱波束光子云数据进行去噪处理。
发明内容
本发明的目的是提供了多级滤波算法的日间条件下不同波束光子云数据去噪方法,能够更好实现日间高背景噪声光子云数据精确去噪,适用性更强。
为实现上述目的,本发明提供了如下方案:
多级滤波算法的日间条件下不同波束光子云数据去噪方法,包括:
步骤1:输入日间光子点云数据,读取其经纬度、高程信息,将数据转化为沿轨距离-高程的形式,基于RANSAC算法进行第一级去噪,即粗去噪;
步骤2:基于粗去噪后的所述日间光子云数据,进行点云特征分析,获取各窗口下的水平方向连续性参数,并以所述水平方向连续性参数为参考依据,自适应的改进第二级去噪算法,即精去噪,搜索域的形状、大小和方向参数;
步骤3:基于OPTICS密度聚类算法和RNR-KNNB算法组合的多级滤波算法对粗去噪后的所述日间光子云数据进行第二级去噪,并获取可达距离排序和局部距离统计值,采用最大类间方差的方法对所述可达距离排序和所述局部距离统计值进行阈值分割,根据阈值分割结果设定去噪阈值,基于所述去噪阈值,去除噪声光子,并对第二级去噪后的所述日间光子云数据进行判定;
步骤4:判定输入数据是否为日间弱波束数据,如若是则对步骤3精去噪结果采用RANSAC算法进行异常数据去除,当第二级去噪后的所述光子云数据判断为日间强光束时,则对所述光子云数据不做处理。
可选地,所述步骤1包括如下步骤:
步骤1.1:光子云数据读取,采用NASA所发布的ICESat-2/ATLAS数据产品中的ATL03和ATL08,其中:ATL03数据提供了每个光子的时间,经纬度以及高程信息;ATL08数据则是基于ATL03数据通过NASA官方算法进行去噪分类后的产品,两数据格式均为HDF5格式;
其中,针对ATL03数据确定滤波方向并进行滤波处理,ATL08数据则是作为官方结果进行精度对比,所述日间光子点云数据可通过HDFView、PhoReal软件或者自行编程读取,并将数据转化为沿轨距离-高程的形式;
步骤1.2:基于RANSAC算法对步骤数据1.1所读取数据进行第一级去噪包括:
S1.通过等沿轨距离的方法对所述日间光子云数据进行分窗口处理,将所述光子云数据转化为沿轨距离-高程的形式,并按预设沿轨距离间隔进行划分;
S2.随机从各窗口内选择不重复的点作为子集,根据所述子集进行模型拟合,获取模型参数并建立三参数曲线拟合模型;
S3.基于所述三参数曲线拟合模型对所有点进行检查,并更新所述模型参数及所述模型参数对应的内点个数;
S4.重复S1-S3,直到满足预设最大迭代次数,统计各个所述三参数曲线拟合模型所获取到的内点个数,将内点数量最多的所述三参数曲线拟合模型记为最优模型并输出。
可选地,所述步骤2包括:
步骤2.1:将目标点作为原点,以所述目标点的横坐标作为X轴,所述目标点的纵坐标作为Y轴,将第一级去噪后的所述光子云数据数据划分成四个象限,分别在四个象限内找到与所述目标点最邻近的点作为邻近点,最后统计所述邻近点与所述目标点连线与水平方向的夹角;
步骤2.2:对所述夹角进行归纳统计,对归纳统计后的所述夹角进行去除垂直方向处理,剔除垂直方向并进行归一化处理,对归一化处理后的所述夹角进行计算,获取所述水平方向连续性参数;
步骤2.3:将算法搜索域改进为椭圆形状,并基于该水平方向连续性参数,自适应改进第二级滤波算法的搜索域大小参数,以目标点为圆心建立搜索域,通过旋转的方式获取各方向下的点云密度,设定搜索域方向参数。
可选地,获取所述模型参数并建立所述三参数曲线拟合模型的方法为:
y=A*eBx+C
其中,x和y分别表示光子点沿轨距离和高程值,A、B、C为模型拟合参数,e为自然常数。
可选地,基于该水平方向连续性参数,自适应改进第二级滤波算法的搜索域大小参数的方法为:
其中,t为方向参数,a、b分为椭圆搜索域长、短轴。
可选地,对归一化处理后的所述夹角进行计算的方法为:
其中,t为方向参数,θ为方向角,r(θ)代表方向角度数为θ的占比。
可选地,针对ATL03数据确定滤波方向并进行滤波处理包括:
步骤3.1水平方向,即各光子均基于水平方向建立搜索域进行第二级的算法处理;
步骤3.2各光子自适应方向,即各光子基于旋转所获取到的最大光子密度方向建立搜索域进行第二级滤波算法处理;
步骤3.3组内统一方向,基于步骤3.2获取窗口内各光子最大光子密度方向进行统计,如若出现单峰且峰值方向处于预设范围内,则采用峰值方向对组内数据进行处理,如果统计结果出现双峰或单峰且峰值不处于预设范围,则采用水平方向进行滤波处理。
可选地,基于OPTICS密度聚类算法和RNR-KNNB算法组合的多级滤波算法对粗去噪后的所述日间光子云数据进行第二级去噪包括:
步骤4.1.基于OPTICS密度聚类算法,通过输入领域半径和领域最小点数计算各光子点的核心距离和可达距离,并对所述可达距离进行排序;
步骤4.2基于RNR-KNNB算法,引入相对领域关系,根据所述滤波方向下的新坐标系计算各光子点的相对领域关系以及与邻近点之间的距离,在通过局部距离加权计算得到目标点的局部加权距离均值;
步骤4.3根据所述可达距离的排序结果和所述局部加权距离均值建立频数分布直方图,采用最大类间方差的方法进行阈值分割,根据阈值分割结果去除噪声光子。
可选地,对第二级去噪后的所述日间光子云数据进行判定包括:
步骤5.1预设判断阈值,根据所述判断阈值对第二级去噪后的所述光子云数据进行强弱光束判断;
步骤5.2当第二级去噪后的所述光子云数据判断为弱光束时,则对所述光子云数据基于滑动重叠窗口的RANSAC算法进行异常值去除,当第二级去噪后的所述光子云数据判断为强光束时,则对所述光子云数据不做处理。
本发明的有益效果为:
(1)本发明所提出的多级滤波算法能够实现高背景噪声下日间光子云数据精去噪,且具有良好的适应性,其中,基于RANSAC算法能够在高背景噪声下准确找到信号光子所在,实现日间光子云数据粗去噪,而基于OPTICS算法与RNR-KNNB算法的组合算法能够较好实现光子云数据精去噪,同时上述两种算法均对输入参数不敏感,因而算法具有更高的适用性,因此可将本发明提出的多级滤波算法在多种场景下进行推广应用。
(2)本发明基于强弱波束各自光子云特征改进算法搜索参数,并提出三种不同滤波方法分别对强弱波束光子云数据进行去噪,进而得到强弱波束光子云的最优滤波方向和去噪算法,该发明可为后续强弱波束光子云数据精去噪提供技术与方法指导,从而推进ICESat-2光子云数的广泛应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的多级滤波算法的日间条件下不同波束光子云数据去噪方法流程图;
图2为本发明实施例的点云连续方向角度计算示意图;其中,(a)为原定义是查找目标点最邻近的三个点并计算其与目标点之间连线与水平方向的夹角并进行统计,(b)为当最邻近点全都位于目标点的同一方位时就会导致该目标点所计算到的三的方向角差别较小,(c)为统计四个点与目标点连线与水平方向的夹角;
图3为本发明实施例的粗去噪结果;其中,(a)为研究区1/强波束,(b)为研究区1/弱波束,(c)为研究区2/强波束,(d)为研究区2/弱波束;
图4为本发明实施例的研究区1下强波束光子点云精去噪结果图;其中,(a)为机载DTM、DSM提取信号光子结果,(b)为ATL08算法去噪结果,(c)为水平方向OPTICS去噪结果,(d)为水平方向RNR-KNNB去噪结果,(e)为组内统一方向OPTICS去噪结果,(f)为组内统一方向RBR-KNNB去噪结果,(g)为各光子自适应方向OPTICS去噪结果,(h)为各光子自适应方向RNR-KNNB去噪结果;
图5为本发明实施例的研究区2下强波束光子点云精去噪结果图;其中,(a)为机载DTM、DSM提取信号光子结果,(b)为ATL08算法去噪结果,(c)为水平方向OPTICS去噪结果,(d)为水平方向RNR-KNNB去噪结果,(e)为组内统一方向OPTICS去噪结果,(f)为组内统一方向RBR-KNNB去噪结果,(g)为各光子自适应方向OPTICS去噪结果,(h)为各光子自适应方向RNR-KNNB去噪结果;
图6为本发明实施例的强波束数据多级滤波算法精度对比图;其中,(a)为研究区1,(b)为研究区2;
图7为本发明实施例的研究区1下弱波束光子点云精去噪结果对比;其中,(a)为机载DSM、DTM提取信号光子结果,(b)为ATL08算法去噪结果,(c)为水平方向OPTICS去噪结果,(d)为水平方向RNR-KNNB去噪结果,(e)为RANSAC去噪结果,(f)为组内统一方向OPTICS去噪结果,(g)为组内统一方向RNR-KNNB去噪结果,(h)为RANSAC去噪结果,(i)为各光子自适应方向OPTICS去噪结果,(j)为各光子自适应方向RNR-KNNB去噪结果,(k)为RANSAC去噪结果;
图8为本发明实施例的研究区2下强波束光子点云精去噪结果图;其中,(a)为机载DSM、DTM提取信号光子结果,(b)为ATL08算法去噪结果,(c)为水平方向OPTICS去噪结果,(d)为水平方向RNR-KNNB去噪结果,(e)为RANSAC去噪结果,(f)为组内统一方向OPTICS去噪结果,(g)为组内统一方向RNR-KNNB去噪结果,(h)为RANSAC去噪结果,(i)为各光子自适应方向OPTICS去噪结果,(j)为各光子自适应方向RNR-KNNB去噪结果,(k)为RANSAC去噪结果;
图9为本发明实施例的弱波束数据多级滤波算法精度对比图;其中,(a)为研究区1,(b)为研究区2。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
冰云陆地高程卫星-2(ICESat-2)因搭载先进地形激光高度计系统(ATLAS)能够实现对地高精度探测,但因其低脉冲能量和高灵敏性的特征使其在获取数据的同时也会受到噪声的影响,如何对数据进行精确去噪是后续处理及应用的关键。因此,本发明提出多级滤波算法的日间条件下不同波束光子云数据去噪方法,首先,采用RANSAC算法对日间高背景噪声光子云数据进行粗去噪,通过建立信号点云缓冲区以去除大部分噪声点;其次,根据粗去噪后的光子云数据计算水平方向连续性参数,并以该参数为依据自适应改进后续精去噪算法搜索域形状大小参数;最后,提出三种滤波方向(水平方向、组内统一方向和各光子自适应方向),分别在三种滤波方向上利用OPTICS密度聚类和RNR-KNNB算法相结合的算法对光子云数据进行精确去噪,并单独对弱波束精去噪光子云数据利用基于滑动重叠窗口的RANSAC算法进行异常值去除。结果对于强波束而言,在三种滤波方向上多级滤波算法的去噪结果精度相近(Rs优于0.96,F值优于0.67),且均优于ATL08算法去噪结果精度,Rs/Rn/P/F分别为0.85/0.67/0.52/0.64;而对于弱波束而言,采用水平方向和组内统一方向的多级滤波算法去噪结果精度相近(Rs为0.92,F值为0.69),且优于采用各光子自适应方向去噪结果和ATL08算法去噪结果,Rs/Rn/P/F分别为0.94/0.84/0.51/0.65、0.88/0.87/0.55/0.67。结果表明本发明所提多级滤波算法能够较好实现日间高背景噪声光子云数据精确去噪,且三种不同滤波方向对强/弱波束光子云数据去噪结果影响不同,可为后续光子云数据滤波处理提供技术与方法指导。
如图1所示,本发明提出多级滤波算法的日间条件下不同波束光子云数据去噪方法,首先,采用RANSAC算法对日间高背景噪声光子云数据进行粗去噪,之后根据粗去噪后的光子云数据计算水平方向连续性参数,并以该参数为依据自适应改进后续精去噪算法搜索域形状大小参数;最后,分别在三种滤波方向上利用OPTICS密度聚类和RNR-KNNB算法相结合的算法对光子云数据进行精确去噪,并单独对弱波束精去噪光子云数据利用基于滑动重叠窗口的RANSAC算法进行异常值去除,以期提高日间条件下强/弱波束光子云数据各自的去噪精度,为后续光子云数据滤波处理及应用提供技术与方法指导。
本发明分别选取两个不同地区为研究区。其中,研究区1属副热带湿润气候,年均降水量为2450mm,年均气温为10℃,海拔范围为365-708m,主要植被覆盖类型为常绿森林、草地及灌木,平均冠层高度为34m;研究区2属亚热带湿润气候,降水量全年分布均匀,年均降水量为1308mm,年均气温为19.2℃,海拔范围为47-55m,主要植被覆盖类型为栽培作物、落叶林、常绿林、混交林,平均冠层高度为27m。
ICESat-2/ATLAS数据
ICESat-2/ATLAS激光脉冲发射频率为10khz,通过衍射光学元件将单束激光再分裂为3组6波束激光,每组跨轨间距与组内跨轨间距约为3.3km与90m,每组激光束都有指定的强光束与弱光束,强弱波束能量比为4:1,能够获取沿轨道间隔约0.7m、直径约17m的重叠光斑,且其平面定位精度优于6.5m,数据可通过https://search.earthdata.nasa.gov/免费获取。本发明分别选取两个区域的ATL03地形高程数据与ATL08植被冠层高度与地表高程数据,具体如表1研究区所用ICESat-2/ATLAS数据信息所示。其中,ATL03数据提供了每个光子的时间,经纬度以及高程信息;ATL08数据则是基于ATL03数据采用差分、回归和高斯自适应最近邻算法进行去噪,再通过NASA官方分类算法对去噪后光子进行分类,分为噪声光子、地面光子、冠层光子以及冠层顶部光子;
其中,ICESat-2/ATLAS数据按ATL01~ATL21命名,其中ATL03为地形高程数据,ATL08为基于ATL03数据采用官方算法进行去噪及分类处理所得。而文中所提到的日间光子点云数据则为在白天获取的ATL03数据,由于该数据存在大量太阳等噪声影响,更能考验去噪算法的性能,因而选取该数据进行实验,并与ATL08算法进行了对比。
表1
机载激光雷达数据
为对ICESat-2/ATLAS数据去噪结果进行精度评价,研究采用机载LiDAR数据衍生DTM和DSM产品(空间分辨率为1m),此数据由ALTM Gemini激光雷达传感器收集,工作波长为1064nm,脉冲重复频率为100kHz,水平定位精度和垂直精度分别优于0.4m和0.36m,可从https://data.neonscience.org/data-products/explore免费获取,具体信息如表2研究区NEON数据详细信息所示。
表2
为实现日间条件下强/弱波束光子云数据的精确去噪,研究提出多级滤波算法的日间条件下不同波束光子云数据去噪方法,即通过采用RANSAC算法拟合信号光子分布趋势以剔除大部分噪声,之后基于粗去噪后的光子云数据计算水平方向连续性参数,并以该参数为依据自适应改进后续精去噪算法搜索域形状大小参数;最后,分别在三种滤波方向上利用OPTICS密度聚类和RNR-KNNB算法相结合的算法对光子云数据进行精确去噪,并针对弱波束容易出现去噪后仍存在较多异常数据的情况采用RANSAC算法进行异常点剔除,如图1所示。
第一级去噪,即粗去噪
本发明采用RANSAC算法通过拟合信号光子分布趋势对数据进行粗去噪,其基本原理是采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。假设数据中包含正确数据(信号光子)和异常数据(噪声光子),正确数据记为内点,异常数据则记为外点。对于日间高背景噪声光子云数据而言,该算法可准确的拟合出信号光子分布趋势,去除大部分噪声干扰。算法流程如下:
1)采用等沿轨距离的方法对数据进行分窗口处理。将光子云数据转化为沿轨距离-高程的形式并按按沿轨距离间隔100m进行划分;
2)确定初始模型。本发明选初始化模型为三参数曲线拟合模型,其方程见式(1)。而后随机从各窗口内随机选择3个不重复的点作为一个子集,利用该子集进行模型拟合从而得到所需模型的各个参数;
y=A*eBx+C (1)
其中,x和y分别表示光子点沿轨距离和高程值,A、B、C为模型拟合参数。
3)划分内点和外点。利用所得到的模型检查所有点,检查方法为计算所有点到该模型的垂直方向的距离,当该距离小于设定阈值时标记为内点并记录其个数,否则则标记为外点;
4)更新最优模型参数及其对应的内点个数;
5)最优模型确定。重复上述1-4步,直到满足最大迭代次数,统计各模型获取到的内点数,将内点数量最多的模型记为最优模型并输出。
第二级去噪,即精去噪
经过粗去噪处理,仅确定了信号光子的范围,无法对信号附近的噪声进行剔除,要想获取高精度的地表结构参数,必须对光子数据进行进一步去噪处理。本发明采用OPTICS密度聚类和RNR局部距离统计算法及RANSAC算法对粗去噪数据进行多级处理,具体步骤如下:
1)数据切分。沿用粗去噪步骤中对数据进行的窗口划分,不同的是在精去噪采取的是密度聚类与局部距离统计的方式进行去噪,考虑到边界效应的影响,精去噪所处理的各组数据在左右两侧加入了50m的数据作为缓冲区数据,从而获取到了一组0-200m区段的光子云数据,但最后仅保留处理后50-150区段数据;
2)水平方向参数计算。由于光子计数激光雷达独特的数据获取模式,通常点云在水平方向呈现出更强的连续性,但由于昼夜变化、植被类型以及季节变化等因素的影响,点云数据的水平方向连续性也呈现出不同的特征,因此引入水平方向连续性参数用来评价该特征。原定义是查找目标点最邻近的三个点并计算其与目标点之间连线与水平方向的夹角并进行统计,如图2(a)。但当最邻近点全都位于目标点的同一方位时就会导致该目标点所计算到的三的方向角差别较小,从而使得该目标点的水平连续性难以评价,如图2(b)所示。因此研究对该参数定义进行了改进,则将目标点作为原点,以目标点横坐标作为X轴,纵坐标作为Y轴,将数据划分成四个象限,分别在四个象限内找到与目标点最邻近的一个点,最后统计这四个点与目标点连线与水平方向的夹角,如图2(c)所示。图3中,红点为目标点,蓝 点为各区间内目标点的最邻近点,以右上方区间为例,该区间内最邻近点与目标点的方向角的计算公式如式(2)所示。
其中,θ为目标点与邻近点之间的方向角,x、y分别为最邻近点横、纵坐标。
对各目标点的四个方向角进行归纳统计,方向角为0和180度时表示与目标点高程相同,为90度时则表示与目标点沿轨距离相同。由于光子计数雷达探测器特性,当探测反射率较高的目标时会接收到较大的回波能量导致同一目标多个光子属性,因此会出现统计到的方向角总是90度占比最大,因此需要进行去除垂直方向处理。剔除垂直方向并进行归一化处理后,方向参数定义为大于45度的方向角与其权重的乘积减去小于45度方向角与其权重的乘积,如式(3)所示。
其中,t为方向参数,θ为方向角,r(θ)代表方向角度数为θ的占比。
3)算法搜索域参数确定。研究选择将算法搜索域改进为椭圆,其搜索域参数有搜索域长轴、短轴和旋转角度。根据各窗口所得方向参数去调整搜索域形状参数,t值越大则表示数据水平方向连续性越强,反之则更弱,因此需要根据不同波束数据以及不同窗口的方向参数去设置搜索域的形状参数,见式(4);
其中,t为方向参数,a、b分为椭圆搜索域长、短轴(弱波束长轴设置为2a,b>=1)。
本发明提出了三种不同的光子点滤波方向确定的方法并分别应用于日间强弱数据去噪处理,分别是:(1)水平方向;(2)各光子自适应方向,即以目标为圆心建立搜索域,通过旋转的方式获取各光子密度最大方向;(3)组内同一方向,基于第二种方法采取统计的手段获取到该段窗口的所有光子密度最大方向的峰值所在,峰值符合条件则采用,反之则采用水平滤波方向,具体为:
采用水平方向对数据进行滤波;采用各光子自适应方向进行滤波,以目标点为中心建立搜索域,通过间隔10度的方式遍历0-180度,并统计个方向在搜索域范围内的光子点云密度,最后将最大光子密度方向作为目标点的滤波方向,如式(5)所示;采用组内内统一方向进行滤波,该方法是基于第二种各光子自适应方向滤波的对其进行统计分析,如若出现单峰且峰值方向处(0-40,140-180)范围内的则采用峰值方向对组内数据进行处理,如果出现双峰或单峰峰值处于(40-140)范围内,则表示可能组内存在较大方向差异或组内数据水平方向特征不清晰,(本发明提供了三种滤波方向可供选择,并在日间强/弱波束下分别展开了实验,对于日间强波束数据三种方向去噪精度接近,各光子自适应方向会趋向于保留更多的信号及其周遭的噪声;而对于日间弱波束而言,则会导致更多噪声的保留,因此在该观测条件下,不推荐采用该滤波方向),则采用水平方向进行滤波,反之则,采用水平方向进行统一处理。
其中,α为滤波方向;x为沿轨距离;y为高程;(xq,yq)表示点q坐标;(xp,yp)表示点p坐标;(x'q,y'q)表示新坐标系下点q相对于点p的新坐标;为新坐标系下两点之间的距离,且当/>平方小于1时表明点q在点p搜索域范围内。
3)OPTICS密度聚类和RNR-KNNB算法。将三种滤波方向分别应用于密度聚类以及局部距离统计算法,OPTICS密度聚类算法通过输入领域半径(ε)和领域最小点数(Minpts)计算各光子点的核心距离和可达距离(由于光子点可能存在多个可达距离,因此将各点最小可达距离设置为该点的最优可达距离),具体见式(6)-(7);
其中,q*表示满足领域最小点数时最外层的点;N(q)表示目标点q在点p搜索域内的光子个数,CD(q)为点q的核心距离,RD(q)为点q的可达距离,UNDEFINED为无效值。
RNR-KNNB算法则引入相对领域关系,根据滤波方向下的新坐标系计算各光子点的相对领域关系以及与邻近点之间的距离,在通过局部距离加权计算得到目标点的局部加权距离均值,如式(8)-(10)。
其中,为点q与点p之间的RNR值;K为局部距离所统计的光子邻近点个数;dq p p为目标点p(即点q的第p个近邻)与其第p个邻近点之间的距离;ηq为点q的距离权重,当点q的RNR值小于等于0时为1,大于0时则为/>与/>的比值;Sq为点q的局部距离加权统计值的均值。
最后根据OPTICS密度聚类算法所得到的可达距离排序结果和RNR-KNNB算法得到的各光子局部距离统计均值所建立频数分布直方图,采用最大类间方差的方法进行阈值分割。可达距离和局部统计均值小于阈值的为信号光子,反之为噪声光子;
4)异常数据去除。因数据已经完成多级滤波处理其噪声影响较小信号更为明显,为较大程度保留信号以及去除异常数据,需减小窗口大小并采用滑动重叠窗口的方式对数据进行处理(改为沿轨50m大小,40m间距向前推进),并根据最大树高作为参考降低算法阈值(设定为25m,即保留50m宽度的数据),即可进一步完成异常数据去除。
评价方法
为实现多级滤波算法各层级去噪结果精度评价,本发明分别采用定性和定量两种评价方法,其中,定性评价主要是通过目视判定从整体上判断去噪算法结果的优劣;定量评价则是采用机载激光雷达数据的DTM和DSM产品来作为光子云去噪精度的评价标准,以“DTM-0.5m”和“DSM+0.5m”分别作为地面边界和冠层顶部边界,处在两边界之内的点为信号光子,处在边界外的点为噪声光子,所用评价指标主要包括:召回率(Recall,R)、准确率(Precision,P)和综合评价指数F值,召回率又分为信号光子召回率(Rs)和噪声光子召回率(Rn),具体计算公式见式(11)-(14)。
其中,TP表示被正确识别的信号光子数,TN表示被正确识别的噪声光子数,FP表示被错分为信号光子的光子数,FN表示被错分为噪声光子的光子数。
结果与讨论
基于RANSAC算法日间条件下强\弱波束光子云数据粗去噪结果如图4所示。
由图3(a)-图3(d)所示结果可知,基于RANSAC算法能够有效去除大部分明显的噪声点,但仍存在较多的噪声点,仍需完成进一步精去噪。由于粗去噪只是建立了信号光子的缓冲区得到了一个粗略信号光子范围区间,因此仅采用信号召回率和噪声召回率对其进行定量评价,结果具体见表3粗去噪精度评价结果。
表3
从表3中可以看出,无论是强波束数据还是弱波束数据其信号召回率均为1且噪声召回率均大于0.29,表明RANSAC算法能够准确拟合出信号分布趋势并未造成信号光子丢失,并且能够去除大部分噪声。对比研究区1和研究区2强/弱波束其Rs和Rn(分别为0.61/0.70,0.29/0.53)可知,弱波束的噪声召回率均大于强波束,主要是因为强波束其能量更高,从而受到噪声的影响也更大。因此采用RANSAC算法进行粗去噪保留等间隔信号范围的时候,强波束其噪声密度更高使得其噪声召回率低于弱波束。
日间条件下强\弱波束光子云数据精去噪结果
由上述分析可知粗去噪去除了大部分明显的噪声,但仍需对粗去噪结果进行进一步处理以完成数据精去噪。针对强波束数据精去噪,研究采用三种滤波方向下OPTICS密度聚类和RNR-KNNB算法结合的多级滤波算法,研究区1和研究区2的各级滤波算法的精去噪结果分别如图4和图5(a)-5(h)所示。
由图4(a)-图4(h)所示结果可知,强波束数据经过三种搜索域方向OPTICS密度聚类算法处理后均能去除大部分噪声光子,其中水平方向与组内统一方向结果相似且滤波后信号光子条带宽度小于各光子自适应方向所得结果,但仍存在离群的光子簇,而各光子自适应方向结果其剩余噪声多分布在信号周遭。而经过RNR-KNNB算法去噪处理后,水平方向和组内统一方向所得结果均能够将上级滤波器残留离群噪声光子簇以及信号光子周遭的噪声光子去除,而采用各光子自适应方向滤波也够能较好的去除信号光子周遭噪声信号。由图4(b)所示结果可知,在地形复杂坡度较大区域(沿轨距离2000-4000m区段内),ATL08去噪算法无法正确识别信号光子导致信号大量丢失,而本发明所提出的多级滤波算法无论是采用何种滤波方向均能够对信号光子进行有效识。
为了定量分析本研究多级滤波算法各级滤波结果精度,本发明将两个研究区下多级滤波算法各级滤波结果与ATL08去噪算法滤波结果进行了精度对比,具体如图6所示。
由图6(a)-图6(b)可知,经单级水平方向、组内统一方向和各光子自适应方向OPTICS算法处理后,在研究区1下的去噪精度相比ATL08算法均表现出更高的Rs和F值,在研究区2下的去噪精度相比ATL08算法均表现出更高的Rs和相同及更高F值,结果表明经过单级OPTICS密度聚类算法处理后的结果,相比ATL08算法能够更大程度上的保留信号光子和能获得更高的去噪精度。对比OPTICS滤波结果精度评价指标可知,采用各方向RNR-KNNB滤波算法均能在上次滤波算法的基础上获得更高的Rn、P和F值,而Rs有较小幅度的下降且仍高于ATL08去噪算法,表明经过二级RNR-KNNB滤波后能够在较大程度上保留信号光子的同时加强了对噪声信号的识别,能获取更高的去噪精度。
两个研究区下多级滤波算法各级去噪精度与ATL08算法去噪精度均值如表4强波束去噪精度所示。
表4
由表4可知,采用水平方向、组内统一方向各光子自适应方向采用OPTICS密度聚类单级滤波的去噪精度(Rs/Rn/P/F)分别为0.99/0.60/0.51/0.67、0.99/0.61/0.51/0.67和0.99/0.60/0.50/0.65,采用RNR-KNNB算法的去噪精度分别为0.97/0.65/0.54/0.69、0.96/0.65/0.54/0.68和0.98/0.63/0.52/0.67,其中采用水平方向和组内统一方向的多级滤波中各级的去噪精度相似,其中RNR-KNNB滤波结果相比上级OPTICS滤波结果其Rs均有较小幅度下降,Rn、P和F值均得到了提高。而采用个光子自适应方向下的RNR-KNNB滤波结果与其上级OPTICS滤波结果相比,在保持Rs不变的情况下同样取得了前两者相近的Rn、P和F值。由此可知,采用各光子自适应方向的RNR-KNNB算法在处理强波束数据时能够更大程度的保留信号光子同时精确的识别噪声信号。相比于ATL08算法的去噪精度0.85/0.67/0.52/0.64,可以得出,本发明提出的三种方向的OPTICS密度聚类算法单级滤波后的Rs与F值均优于ATL08算法。而经过RNR-KNNB算法处理后获取到了更高的Rn、P以及F值,相比ATL08算法拥有更高的Rs、P以及F值。
综上所述,本发明所提出三种方向多级滤波算法在日间强波束条件下的去噪精度均优于ATL08算法,其中水平方向和组内统一方向从定性与定量分析可以看出两者去噪结果相近,各光子自适应方向从定性分析的角度可以发现其相对于前两者会更多的保留信号光子周遭噪声,但不存在明显的离群噪声。这可能是因为强波束对地表的描绘程度更为完整所致,采用水平方向和组内统一方向进行滤波可能会导致少部分噪声也能获取到光子密度最大的滤波方向,而信号光子的滤波方向并非是最佳方向,使得信号光子与噪声光子之间的统计差异缩小,因此导致了少部分离群噪声的存在。通过搜索最大密度方向采用各光子自适应方向进行滤波,无论是信号光子还是噪声光子均能获取到各自最佳的滤波方向(即密度最大方向)。但是,对于林区点云数据而言,位于冠层顶端附近的信号点在高程方向同样具有一点的连续性,采用各光子自适应方向可能会将冠层附近的噪声误判为信号。并且在通过精去噪部分二级滤波器RNR-KNNB算法处理后,无论采用何种滤波方向均能有效的去除离群噪声以及信号光子周遭噪声。这是因为引入了RNR定义对光子间的相对领域关系进行了描绘,在进行局部距离统计的时候会根据RNR值对两光子间的距离进行了加权计算,使得信号光子与噪声光子之间的统计差异放大,从而更利于噪声和信号的有效区分。
弱波束光子云数据精去噪结果
与强波束光子云数据精去噪不同,研究在采用三种滤波方向下的OPTICS算法和RNR-KNNB算法处理的基础上对弱波束光子云数据多增加了一级异常点检测,即采用RANSAC算法对精去噪处理后的数据进行异常点检测,研究区1和研究区2弱波束的各级滤波结果分别如图7(a)所示-如图7(k)所示和如图8(a)所示-如图8(k)所示。
对图7所示结果进行分析可知,经过水平方向和组内统一方向OPTICS密度聚类算法滤波效果整体相近均能去除大部分噪声,而采用各光子自适应方向进行滤波仍存在较多噪声信号无法滤除。由图7所得,采用水平方向和组内统一方向RNR-KNNB算法能够在一定程度上去除残留信号光子周遭和离群噪声光子,但结果仍存在一些明显的离群噪声光子,而采用各光子自适应方向所得结果仍存在较多噪声,三种方向所得滤波结果仍需进行进一步去噪处理。采用RANSAC算法对三种方向滤波结果进行异常数据去除结果如图7所示,可以看出RANSAC算法对离群的异常数据具有较好的剔除效果。由图7(b)所示,在沿轨距离2000-4000m区段内ATL08去噪算法并不能有效识别信号光子从而导致信号丢失,与上一节强波束相同沿轨距离区段出现的情况一致,由此可知,无论是强波束还是弱波束,ATL08去噪算法在地形复杂区域均无法正确识别信号光子,而研究所提出的算法均能够对信号光子进行有效保留。
两研究区弱波束数据各级滤波结果与ATL08算法去噪结果对比如图9(a)-图9(b)所示。
由图9所示结果可知,经单级水平方向、组内统一方向和各光子自适应方向OPTICS密度聚类处理后,在两个研究区下的去噪精度相比于ATL08去噪结果拥有更高的Rs,但其余精度指标均低于ATL08去噪算法。由此可知,经过本发明单级OPTICS聚类算法滤波处理后虽然能够保留更多的信号光子,但对噪声光子的识别度较低,整体去噪精度弱于ATL08去噪算法。经过三种滤波方向RNR-KNNB算法去噪处理后,通过对比研究区1的去噪精度和ATL08去噪算法精度可知,水平方向和组内统一方向下的去噪精度均拥有更高的Rs和F值以及相近的Rn与P值,而采用各光子自适应方向的去噪精度拥有更高的Rs,但其余指标均低于ATL08算法。在研究区2下,对比三种滤波方向和ATL08算法的去噪精度可知,水平方向和组内统一方向下的去噪精度均拥有相近的精度指标,而各光子自适应方向下的滤波精度的各项精度指标均低于ATL08算法。由此可知,采用水平方向和组内统一方向下的RNR-KNNB算法相较于上级滤波算法其Rs稍有下降其余指标均得到了提升,相比于ATL08算法拥有相近甚至更高的去噪精度,而采用各光子自适应方向下的RNR-KNNB算法其去噪精度相较上一次滤波算法虽有一定程度的提升,但是仍弱于ATL08算法。采用RANSAC算法对数据进行异常数据去除后,相比于上级滤波去噪结果,研究区1下的去噪精度在保持Rs不变的情况下其余指标均得到了较大提升,水平方向和组内统一方向下的去噪精度相较于ATL08算法各项精度指标均更高,而采用各光子自适应方向下的去噪精度则拥有更高的Rs及相近的F值,其余指标低于ATL08算法。研究区2下水平方向和组内统一方向去噪精度保持不变均拥有相近的精度指标,而各光子自适应方向下的滤波精度的各项精度指标均低于ATL08算法。由此可知,采用RANSAC算法能够有效的保留信号光子并且剔除滤波算法所保留的异常噪声数据。
两研究区下多级滤波算法各级去噪精度与ATL08去噪精度均值对比结果如表5弱波束光子多级滤波算法去噪精度与ATL08去噪精度均值对比统计结果所示。
表5
对表5所示结果进行分析可知,采用水平方向、组内统一方向各光子自适应方向采用OPTICS密度聚类单级滤波的去噪精度(Rs/Rn/P/F)分别为0.97/0.80/0.47/0.63、0.97/0.79/0.46/0.62和0.95/0.75/0.41/0.55,采用RNR-KNNB算法的去噪精度分别为0.92/0.87/0.55/0.68、0.92/0.87/0.55/0.68和0.94/0.80/0.45/0.59,经过RANSAC去除异常数据后去噪精度分别为0.92/0.88/0.57/0.69、0.92/0.87/0.56/0.69和0.94/0.84/0.51/0.65。相比于ATL08算法的去噪精度0.88/0.87/0.55/0.67,可以得出,采用OPTICS密度聚类算法单级滤波后仅有Rs值高于ATL08算法去噪精度,整体去噪效果不佳。而经过RNR-KNNB算法获取到了更高的Rn、P以及F值,水平方向和组内统一方向去噪结果均优于AT08算法,而各光子自适应方法去噪精度仅有Rs高于前两种滤波方向算法与ATL08算法,但Rn、P和F值均低于这三者,表现出更差的去噪精度。经过RANSAC算法进行异常数据剔除后,水平方向和组内统一方向表现出了全面优于ATL08算法的去噪精度,而各光子自适应方向去噪精度在保持Rs不变的基础上,其余精度指标均得到提升,但仍低于ATL08算法,结合定性分析可知,在采用各光子自适应方向下RNR-KNNB算法处理后仍存在较多噪声并未去除,因此在经过RANSAC算法进行异常数据去除后,采用各光子自适应方向下的去噪结果在信号光子周遭的残留噪声信号相对于水平方向和组内统一方向会更多,因而表现出较差的去噪精度。
综上所述,采用水平方向和组内统一方向从定性和定向角度分析,两者去噪结果相近且去噪精度全面优于ATL08算法。而采用各光子自适应方向从定性角度分析可知,经前两级滤波后仍存在较多噪声信号,并且结合定量分析可知,各光子自适应方向最终去噪精度仅有Rs高于ATL08算法,但其余各项精度指标均低于ATL08算法和采用水平方向及组内统一方向算法的去噪精度。造成此类现象的原因是,弱波束相对于强波束其激光强度较弱,在日间高强度的背景噪声环境下信号光子与噪声光子之间的密度差异并不明显,因此,采用各光子自适应方向对日间弱波束数据进行滤波处理,不仅仅是信号光子周遭的噪声会存在误判的可能,整个区段内的噪声光子误判可能性均会增大。并且,日间情况下太阳光的噪声会分布于整个研究区上空于地面下,而且沿轨方向的光子云密度与垂轨方向光子点云密度差异很大,但从整体上看,光子点在沿轨方向表现出更高的点云密度与连续性。因此,采用水平方向与组内统一方向进行滤波能够取得较好的结果,而采用各光子自适应方向进行滤波则会导致信号光子与噪声光子之间的统计差异更小,从而也就导致去噪结果较差,由此可知,采用各光子自适应方向滤波对于日间弱波束数据并不适用。
结论
为实现ICESat-2/ATLAS日间条件下强/弱波束光子云数据精确去噪,本研究提出一种新的多级滤波算法分别对强/弱波束光子云数据进行去噪处理,所得结论主要如下:
(1)整体而言,本发明提多级滤波算法能够较好实现日间条件下ICESat-2/ATLAS光子云数据精确去噪,整体精度及适应性均优于ATL08算法。
(2)对于日间强波束而言,在本发明提三种滤波方向上多级滤波算法均能取得较好的去噪结果且均优于ATL08算法去噪结果精度,同时滤波方向对多级滤波算法去噪结果影响不明显。
(3)对于日间弱波束而言,采用水平方向和组内统一方向的多级滤波算法去噪结果精度相近,且优于采用各光子自适应方向去噪结果和ATL08算法去噪结果,因而在未来的相关研究中不推荐采用各光子自适应方向多级滤波算法对ICESat-2/ATLAS日间弱波束光子云数据进行去噪处理。
本发明所提多级滤波算法虽能较好实现日间高背景噪声光子云数据精确去噪,且三种不同滤波方向对强/弱波束光子云数据去噪结果影响不同,可为绝大多数情况下的ICESat-2/ATLAS光子云数据去噪提供可靠的技术与方法指导。然而,随着森林郁闭度及研究区地形复杂度的不断增加,算法的去噪精度可能会出现一定程度的下降,因此未来应协同利用光学立体影像,如高分七号立体影像,及三维地形数据,提出去噪精度更高、适用性更强的去噪算法以进一步提高复杂地形条件下ICESat-2/ATLAS光子云数据的去噪精度。
以上所述的实施例仅是对本发明优选方式进行的描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (9)
1.多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,包括:
步骤1:输入日间光子点云数据,读取其经纬度、高程信息,将数据转化为沿轨距离-高程的形式,基于RANSAC算法进行第一级去噪,即粗去噪;
步骤2:基于粗去噪后的所述日间光子云数据,进行点云特征分析,获取各窗口下的水平方向连续性参数,并以所述水平方向连续性参数为参考依据,自适应的改进第二级去噪算法,即精去噪,搜索域的形状、大小和方向参数;
步骤3:基于OPTICS密度聚类算法和RNR-KNNB算法组合的多级滤波算法对粗去噪后的所述日间光子云数据进行第二级去噪,并获取可达距离排序和局部距离统计值,采用最大类间方差的方法对所述可达距离排序和所述局部距离统计值进行阈值分割,根据阈值分割结果设定去噪阈值,基于所述去噪阈值,去除噪声光子,并对第二级去噪后的所述日间光子云数据进行判定;
步骤4:判定输入数据是否为日间弱波束数据,如若是则对步骤3精去噪结果采用RANSAC算法进行异常数据去除,当第二级去噪后的所述光子云数据判断为日间强光束时,则对所述光子云数据不做处理。
2.根据权利要求1所述的多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,所述步骤1包括如下步骤:
步骤1.1:光子云数据读取,采用NASA所发布的ICESat-2/ATLAS数据产品中的ATL03和ATL08,其中:ATL03数据提供了每个光子的时间,经纬度以及高程信息;ATL08数据则是基于ATL03数据通过NASA官方算法进行去噪分类后的产品,两数据格式均为HDF5(.h5)格式;
其中,针对ATL03数据确定滤波方向并进行滤波处理,ATL08数据则是作为官方结果进行精度对比,所述日间光子点云数据可通过HDFView、PhoReal软件或者自行编程读取,并将数据转化为沿轨距离-高程的形式;
步骤1.2:基于RANSAC算法对步骤数据1.1所读取数据进行第一级去噪包括:
S1.通过等沿轨距离的方法对所述日间光子云数据进行分窗口处理,将所述光子云数据转化为沿轨距离-高程的形式,并按预设沿轨距离间隔进行划分;
S2.随机从各窗口内选择不重复的点作为子集,根据所述子集进行模型拟合,获取模型参数并建立三参数曲线拟合模型;
S3.基于所述三参数曲线拟合模型对所有点进行检查,并更新所述模型参数及所述模型参数对应的内点个数;
S4.重复S1-S3,直到满足预设最大迭代次数,统计各个所述三参数曲线拟合模型所获取
到的内点个数,将内点数量最多的所述三参数曲线拟合模型记为最优模型并输出。
3.根据权利要求2所述的多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,所述步骤2包括:
步骤2.1:将目标点作为原点,以所述目标点的横坐标作为X轴,所述目标点的纵坐标作为Y轴,将第一级去噪后的所述光子云数据数据划分成四个象限,分别在四个象限内找到与所述目标点最邻近的点作为邻近点,最后统计所述邻近点与所述目标点连线与水平方向的夹角;
步骤2.2:对所述夹角进行归纳统计,对归纳统计后的所述夹角进行去除垂直方向处理,剔除垂直方向并进行归一化处理,对归一化处理后的所述夹角进行计算,获取所述水平方向连续性参数;
步骤2.3:将算法搜索域改进为椭圆形状,并基于该水平方向连续性参数,自适应改进第二级滤波算法的搜索域大小参数,以目标点为圆心建立搜索域,通过旋转的方式获取各方向下的点云密度,设定搜索域方向参数。
4.根据权利要求2所述的多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,获取所述模型参数并建立所述三参数曲线拟合模型的方法为:
y=A*eBx+C
其中,x和y分别表示光子点沿轨距离和高程值,A、B、C为模型拟合参数,e为自然常数。
7.根据权利要求2所述的多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,针对ATL03数据确定滤波方向并进行滤波处理包括:
步骤3.1水平方向,即各光子均基于水平方向建立搜索域进行第二级的算法处理;
步骤3.2各光子自适应方向,即各光子基于旋转所获取到的最大光子密度方向建立搜索域进行第二级滤波算法处理;
步骤3.3组内统一方向,基于步骤3.2获取窗口内各光子最大光子密度方向进行统计,如若出现单峰且峰值方向处于预设范围内,则采用峰值方向对组内数据进行处理,如果统计结果出现双峰或单峰且峰值不处于预设范围,则采用水平方向进行滤波处理。
8.根据权利要求2所述的多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,基于OPTICS密度聚类算法和RNR-KNNB算法组合的多级滤波算法对粗去噪后的所述日间光子云数据进行第二级去噪包括:
步骤4.1.基于OPTICS密度聚类算法,通过输入领域半径和领域最小点数计算各光子点的核心距离和可达距离,并对所述可达距离进行排序;
步骤4.2基于RNR-KNNB算法,引入相对领域关系,根据所述滤波方向下的新坐标系计算各光子点的相对领域关系以及与邻近点之间的距离,在通过局部距离加权计算得到目标点的局部加权距离均值;
步骤4.3根据所述可达距离的排序结果和所述局部加权距离均值建立频数分布直方图,采用最大类间方差的方法进行阈值分割,根据阈值分割结果去除噪声光子。
9.根据权利要求1所述的多级滤波算法的日间条件下不同波束光子云数据去噪方法,其特征在于,对第二级去噪后的所述日间光子云数据进行判定包括:
步骤5.1预设判断阈值,根据所述判断阈值对第二级去噪后的所述光子云数据进行强弱光束判断;
步骤5.2当第二级去噪后的所述光子云数据判断为弱光束时,则对所述光子云数据基于滑动重叠窗口的RANSAC算法进行异常值去除,当第二级去噪后的所述光子云数据判断为强光束时,则对所述光子云数据不做处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310304232.5A CN116165635B (zh) | 2023-03-27 | 2023-03-27 | 多级滤波算法的日间条件下不同波束光子云数据去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310304232.5A CN116165635B (zh) | 2023-03-27 | 2023-03-27 | 多级滤波算法的日间条件下不同波束光子云数据去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116165635A true CN116165635A (zh) | 2023-05-26 |
CN116165635B CN116165635B (zh) | 2024-06-14 |
Family
ID=86422073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310304232.5A Active CN116165635B (zh) | 2023-03-27 | 2023-03-27 | 多级滤波算法的日间条件下不同波束光子云数据去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116165635B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117494549A (zh) * | 2023-10-12 | 2024-02-02 | 青岛市勘察测绘研究院 | 一种三维地理信息系统的信息仿真展示方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200041624A1 (en) * | 2018-08-02 | 2020-02-06 | Uber Technologies, Inc. | Lidar system design to mitigate lidar cross-talk |
CN112986964A (zh) * | 2021-02-26 | 2021-06-18 | 北京空间机电研究所 | 基于噪声邻域密度的光子计数激光点云自适应去噪方法 |
CN113466827A (zh) * | 2021-07-19 | 2021-10-01 | 上海海洋大学 | 一种基于改进局部稀疏算法的去噪方法 |
CN115222625A (zh) * | 2022-07-15 | 2022-10-21 | 桂林理工大学 | 一种基于多尺度噪声的激光雷达点云去噪方法 |
-
2023
- 2023-03-27 CN CN202310304232.5A patent/CN116165635B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200041624A1 (en) * | 2018-08-02 | 2020-02-06 | Uber Technologies, Inc. | Lidar system design to mitigate lidar cross-talk |
CN112986964A (zh) * | 2021-02-26 | 2021-06-18 | 北京空间机电研究所 | 基于噪声邻域密度的光子计数激光点云自适应去噪方法 |
CN113466827A (zh) * | 2021-07-19 | 2021-10-01 | 上海海洋大学 | 一种基于改进局部稀疏算法的去噪方法 |
CN115222625A (zh) * | 2022-07-15 | 2022-10-21 | 桂林理工大学 | 一种基于多尺度噪声的激光雷达点云去噪方法 |
Non-Patent Citations (1)
Title |
---|
李凯;张永生;童晓冲;杨伟铭;董鹏;: "单光子激光雷达数据去噪与滤波算法", 导航与控制, no. 01, 5 February 2020 (2020-02-05) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117494549A (zh) * | 2023-10-12 | 2024-02-02 | 青岛市勘察测绘研究院 | 一种三维地理信息系统的信息仿真展示方法及系统 |
CN117494549B (zh) * | 2023-10-12 | 2024-05-28 | 青岛市勘察测绘研究院 | 一种三维地理信息系统的信息仿真展示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116165635B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109031344B (zh) | 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法 | |
CN110427857B (zh) | 一种基于遥感数据融合的输电线路地质灾害分析方法 | |
FI112402B (fi) | Menetelmä puustotunnusten määrittämiseksi sekä tietokoneohjelma menetelmän suorittamiseksi | |
KR101258668B1 (ko) | 한반도 통합형 기상 레이더 품질 관리 시스템 및 그 방법 | |
CN109738910A (zh) | 一种基于三维激光雷达的路沿检测方法 | |
CN109804232A (zh) | 一种基于红外热像图分析的沥青路面裂缝发育程度检测方法 | |
US20060125680A1 (en) | Method and system for detecting an object using a composite evidence grid | |
CN111898688B (zh) | 一种基于三维深度学习的机载LiDAR数据树种分类方法 | |
CN111665517B (zh) | 一种基于密度统计的单光子激光测高数据去噪方法及装置 | |
CN116165635B (zh) | 多级滤波算法的日间条件下不同波束光子云数据去噪方法 | |
Panagiotidis et al. | Detection of fallen logs from high-resolution UAV images | |
CN114355367A (zh) | 一种基于星载单光子激光雷达数据测量浅海水深的方法 | |
CN114779215A (zh) | 一种植被覆盖区星载光子计数激光雷达数据去噪方法 | |
CN113281782A (zh) | 一种基于无人驾驶车的激光雷达雪点滤除方法 | |
CN115690081A (zh) | 一种树木计数方法、系统、存储介质、计算机设备及终端 | |
CN116203537A (zh) | 基于星载光子计数激光雷达的森林冠层高度提取方法 | |
CN114299318A (zh) | 一种快速点云数据处理和目标图像匹配的方法及系统 | |
CN113256990A (zh) | 基于聚类算法的雷达采集道路车辆信息的方法及系统 | |
CN116758049A (zh) | 一种基于主被动卫星遥感的城市洪涝立体监测方法 | |
CN114863064A (zh) | 一种汽车轮廓曲面模型构建方法及系统 | |
Sun et al. | Objects detection with 3-D roadside LiDAR under snowy weather | |
CN112380994A (zh) | 一种基于时序分类与空间分析的人工林空间模式识别方法 | |
CN117576394A (zh) | 一种利用全局信息提升地类语义分割的方法 | |
Rutzinger et al. | Detection of high urban vegetation with airborne laser scanning data | |
Morsy et al. | Clustering of multispectral airborne laser scanning data using Gaussian decomposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |