CN114299318A - 一种快速点云数据处理和目标图像匹配的方法及系统 - Google Patents

一种快速点云数据处理和目标图像匹配的方法及系统 Download PDF

Info

Publication number
CN114299318A
CN114299318A CN202111596263.XA CN202111596263A CN114299318A CN 114299318 A CN114299318 A CN 114299318A CN 202111596263 A CN202111596263 A CN 202111596263A CN 114299318 A CN114299318 A CN 114299318A
Authority
CN
China
Prior art keywords
points
point cloud
point
digital elevation
elevation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111596263.XA
Other languages
English (en)
Inventor
余剑桥
吕海峰
梁琨
柯莎莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111596263.XA priority Critical patent/CN114299318A/zh
Publication of CN114299318A publication Critical patent/CN114299318A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供了一种快速点云数据处理和目标图像匹配的方法及系统,属于软件算法技术领域,解决现有技术中的激光雷达所成的图像分辨率较低,无法获取对象的彩色信息的问题。本发明包括对点云数据中的太阳背景噪声点进行去除;去噪后后进行地面点和非地面点的分类;根据分类后的点云数据,用规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列建立数字高程模型;对数字高程模型平滑去噪处理,得到去噪后的三维数字高程模型;基于分别提取去噪后的三维数字高程模型和其对应区域的二维可见光图像的特征点将二维可见光图像中的颜色信息对应赋值到三维数字高程模型中,得到最终的目标图像。本发明用于点云数据和可见光图像的融合。

Description

一种快速点云数据处理和目标图像匹配的方法及系统
技术领域
一种快速点云数据处理和目标图像匹配的方法及系统,用于点云数据和可见光图像的融合,属于软件算法技术领域。
背景技术
三维成像激光雷达一般采用线性探测体制,利用激光测距仪将距离信息和方位坐标融合,生成具有详细距离信息的目标三维点云数据。星载三维激光成像雷达是激光雷达系统的典型应用,其可以在有限时间内获取大范围、区域广阔的高精度三维地形数据,而且激光脉冲能部分地穿透植被遮挡,从而获取地面高程并重建出地表三维地形,甚至可以反演出地表植被演化,相比传统测绘具有十分巨大的优势。然而在高灵敏度和远距离探测、海洋和大气探测、潮间带水深探测等测绘领域,传统线性探测激光雷达受限于目标本身反射率较低或系统激光能量和探测器灵敏度较低,导致回波信号强度极弱,探测能力达不到测绘要求。
与传统的探测技术相比,单光子探测技术具有微脉冲、高重频、多波束、小足印、高效率、轻量化等显著优势,已成为未来主动式对地观测激光测高的发展趋势。在对地观测任务中,线性模式的激光测高仪能够分辨地表多个高程层次的高程信息,在植被高度测量及生物量估计中得到了有效的利用,但是传统的线性体制受限于激光的发射频率及波束数量,足印点的覆盖面难以满足1:5万和更大比例尺的立体测图需求。微脉冲光子计数激光雷达采用阵列推扫方式,加之较高的重频,足印密度呈数量级的提升。通过重复观测,高程精度十分可观。而且在记录返回的目标信号时,也只需要记录返回的光子中的一个或者多个的坐标,并不需要累积光子数量,也并不需要提取波峰,就可以记录下地面信息,大大降低了波形分解和离散点云记录的不确定性。目前,单光子计数星载激光雷达一般采用多波束测量,单波束能量为微焦级,回波能量在几个光子之间,满足单光子计数测量的动态范围之内,能够很好实现对陆地的地形,植被测量。
激光雷达利用光的传播与反射特性获取目标表面点的角度、距离数据来获取其三维位置坐标,进而提取目标的多种信息并对其场景进行三维重建。一些重要的信息例如测量对象的轮廓、距离、材质等数据都可以通过激光雷达获取,然后获取的信息以数据矩阵的形式量化表示出来,得到高分辨率的点云图像。但由于成像速率慢及加工工艺等原因,但激光雷达所成的图像与光学系统所成的可见光彩色图像相比,分辨率较低,而且无法获取对象的彩色信息。与之相比,普通的可见光成像系统所成的图像具有较高的分辨率,并且其图像中包含对象的丰富的颜色信息,这对对象的识别极为重要。
发明内容
针对上述研究的问题,本发明的目的在于提供一种快速点云数据处理和目标图像匹配的方法及系统,解决现有技术中的激光雷达所成的图像分辨率较低,无法获取对象的彩色信息的问题。
为了达到上述目的,本发明采用如下技术方案:
一种快速点云数据处理和目标图像匹配的方法,包括如下步骤:
步骤1:基于直方图统计对激光雷达所成的目标区域的点云数据中的太阳背景噪声点进行去除;
步骤2:采用局部区域曲线拟合的方法对去噪后的点云数据进行地面点和非地面点的分类;
步骤3:根据分类后的非地面点的点云数据,用规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列,划分后得到的每个行号和列号表示的是相邻网格点之间的空间关系,再基于空间关系来建立数字高程模型;
步骤4:对数字高程模型平滑去噪处理,得到去噪后的三维数字高程模型;
步骤5:分别提取去噪后的三维数字高程模型和其对应区域的二维可见光图像的特征点,并基于特征点得到透视投影矩阵,以将二维可见光图像中的颜色信息对应赋值到三维数字高程模型中,得到融合后的最终目的图像。
进一步,所述步骤1的具体步骤为:
步骤1.1:对激光雷达所成的点云数据进行标号,标号后计算点云数据内的每一个点云到其最邻近的k个点的距离和;
步骤1.2:对步骤1.1得到的距离和用高斯函数拟合,拟合后计算出高斯函数的均值和方差,以均值与2倍方差之和作为阈值,将距离和大于阈值的点作为噪声点并去除。
进一步,所述步骤2的具体步骤为:
步骤2.1:按照去噪后的点云数据的沿轨距离方向,以30m为间距获取局部点云数据,将沿轨距离的点云数据分成若干段,若出现10m以上的数据段中的地面点缺失,则依据附近±10m内的点云数据,用插值法修改此缺失数据段的间距,得到缺失数据段的多段局部点云数据,最终基于各段局部点云数据获得对应段最低点,即局部最低点;
步骤2.2:重新按照沿轨距离方向,以30m为间距获取单个数据段的点云数据,获取步骤2.1中查找到的局部最低点,然后对局部最低点采用邻近搜索,结合与其沿轨距离方向邻近的4个局部最低点,以最小二乘的方法做二阶曲线拟合,即进行局部区域曲线拟合,得到多个局部区域内拟合的曲线;
步骤2.3:根据实验数据选取合适的自适应阈值,将地面点与非地面点通过阈值进行区分,即根据步骤2.2中得到的多个局部区域内拟合的曲线,将目标点的坐标带入局部区域曲线拟合得到的方程,得到目标点的拟合高程值,用目标点的初始高程值与拟合高程值做差,求得高差,若高差比自适应阈值小,则判定目标点为地面点;
步骤2.4:逐段进行点云分类,即利用步骤2.2中各个局部区域内拟合的曲线,求解得到沿轨距离方向上各点的理论地形的实际高程值,用实际高程数值减去拟合高程值得到两者的高程差值,若此高程差值大于步骤2.3中的自适应阈值,则该点被判定为非地面点,相反则判定为地面点。
进一步,所述步骤3中得到的数字高程模型的函数为:
D=(Xi,Yi,Zi)(i=1,2,3,...n)
其中,Xi,Yi表示的第i点云的横坐标和纵坐标,即表示相邻网格点之间的空间关系, Zi表示的是的第i点云的高程值,n表示第n个点云。
进一步,所述步骤4的具体步骤为:
步骤4.1:对于数字高程模型中每个像素点,分别得到其上、下、左、右的高程值,并求得最大值zmax和最小值zmin,若像素点缺失上、下、左或右数据时,则只求得存在数值的最大值和最小值;
步骤4.2:当前高程值小于最小值zmin,或者大于最大值zmax,则将高程值改为 (zmax+zmin)/2;
步骤4.3:若数字高程模型中每个像素点都已遍历,则结束去噪处理,得到去噪后的三维数字高程模型,否则转到步骤4.1继续对下一个像素点进行处理。
进一步,所述步骤5的具体步骤为:
步骤5.1:利用Harris角点检测分别提取三维数字高程模型和二维可见光图像的特征点,即用移动的窗口在三维数字高程模型或二维可见光图像中计算灰度变化值,三维数字高程模型或二维可见光图像中亮度变化剧烈的点或图像边缘曲线上曲率极大值的点提取为特征点;
步骤5.2:通过三维数字高程模型和二维可见光图像的特征点匹配求得透视投影矩阵;
透视投影矩阵的变换公式为:
Figure RE-GDA0003529202700000031
其中,[picx,picy,[R,G,B]]是二维可见光图像中的像素点位置和RGB值, [pcl_x,pcl_y,[R,G,B]]是三维数字高程模型中目标像素点位置和RGB值,a为变换矩阵;
变换矩阵
Figure RE-GDA0003529202700000041
由四个部分组成,其中,
Figure RE-GDA0003529202700000042
表示线性变换,[a31a32]用于平移变换,[a13 a23]T产生透视变换,为了保证变换后RGB值的不变性,[a33]的值为1;
步骤5.3:基于步骤5.2求得的透视投影矩阵,将三维数字高程模型中的坐标点和二维可见光图像的像素点相匹配,找到变换后的图像中对应位置的RGB值,并赋值给三维数字高程模型中的各点,即得到融合后的最终目的图像。
进一步,所述步骤5.3还可用插值方法提高三维数字高程模型的精度,再与二维可见光图像相匹配。
一种快速点云数据处理和目标图像匹配的系统,包括:
背景去噪单元:基于直方图统计对激光雷达所成的目标区域的点云数据中的太阳背景噪声点进行去除;
分类单元:采用局部区域曲线拟合的方法对去噪后的点云数据进行地面点和非地面点的分类;
建模单元:根据分类后的非地面点的点云数据,用规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列,划分后得到的每个行号和列号表示的是相邻网格点之间的空间关系,再基于空间关系来建立数字高程模型;
模型去噪单元:对数字高程模型平滑去噪处理,得到去噪后的三维数字高程模型;
融合单元:分别提取去噪后的三维数字高程模型和其对应区域的二维可见光图像的特征点,并基于特征点得到透视投影矩阵,以将二维可见光图像中的颜色信息对应赋值到三维数字高程模型中,得到融合后的最终目的图像。
进一步,所述背景去噪单元的具体实现步骤为:
步骤1.1:对激光雷达所成的点云数据进行标号,标号后计算点云数据内的每一个点云到其最邻近的k个点的距离和;
步骤1.2:对步骤1.1得到的距离和用高斯函数拟合,拟合后计算出高斯函数的均值和方差,以均值与2倍方差之和作为阈值,将距离和大于阈值的点作为噪声点并去除;
所述分类单元的具体实现步骤为:
步骤2.1:按照去噪后的点云数据的沿轨距离方向,以30m为间距获取局部点云数据,将沿轨距离的点云数据分成若干段,若出现10m以上的数据段中的地面点缺失,则依据附近±10m内的点云数据,用插值法修改此缺失数据段的间距,得到缺失数据段的多段局部点云数据,最终基于各段局部点云数据获得对应段最低点,即局部最低点;
步骤2.2:重新按照沿轨距离方向,以30m为间距获取单个数据段的点云数据,获取步骤2.1中查找到的局部最低点,然后对局部最低点采用邻近搜索,结合与其沿轨距离方向邻近的4个局部最低点,以最小二乘的方法做二阶曲线拟合,即进行局部区域曲线拟合,得到多个局部区域内拟合的曲线;
步骤2.3:根据实验数据选取合适的自适应阈值,将地面点与非地面点通过阈值进行区分,即根据步骤2.2中得到的多个局部区域内拟合的曲线,将目标点的坐标带入局部区域曲线拟合得到的方程,得到目标点的拟合高程值,用目标点的初始高程值与拟合高程值做差,求得高差,若高差比自适应阈值小,则判定目标点为地面点;
步骤2.4:逐段进行点云分类,即利用步骤2.2中各个局部区域内拟合的曲线,求解得到沿轨距离方向上各点的理论地形的实际高程值,用实际高程数值减去拟合高程值得到两者的高程差值,若此高程差值大于步骤2.3中的自适应阈值,则该点被判定为非地面点,相反则判定为地面点。
进一步,所述建模单元中得到的数字高程模型的函数为:
D=(Xi,Yi,Zi)(i=1,2,3,...n)
其中,Xi,Yi表示的第i点云的横坐标和纵坐标,即表示相邻网格点之间的空间关系, Zi表示的是的第i点云的高程值,n表示第n个点云;
所述模型去噪单元的具体实现步骤为:
步骤4.1:对于数字高程模型中每个像素点,分别得到其上、下、左、右的高程值,并求得最大值zmax和最小值zmin,若像素点缺失上、下、左或右数据时,则只求得存在数值的最大值和最小值;
步骤4.2:当前高程值小于最小值zmin,或者大于最大值zmax,则将高程值改为 (zmax+zmin)/2;
步骤4.3:若数字高程模型中每个像素点都已遍历,则结束去噪处理,得到去噪后的三维数字高程模型,否则转到步骤4.1继续对下一个像素点进行处理;
所述融合单元的具体实现步骤为:
步骤5.1:利用Harris角点检测分别提取三维数字高程模型和二维可见光图像的特征点,即用移动的窗口在三维数字高程模型或二维可见光图像中计算灰度变化值,三维数字高程模型或二维可见光图像中亮度变化剧烈的点或图像边缘曲线上曲率极大值的点提取为特征点;
步骤5.2:通过三维数字高程模型和二维可见光图像的特征点匹配求得透视投影矩阵;
透视投影矩阵的变换公式为:
Figure RE-GDA0003529202700000061
其中,[picx,picy,[R,G,B]]是二维可见光图像中的像素点位置和RGB值, [pcl_x,pcl_y,[R,G,B]]是三维数字高程模型中目标像素点位置和RGB值,a为变换矩阵;
变换矩阵
Figure RE-GDA0003529202700000062
由四个部分组成,其中,
Figure RE-GDA0003529202700000063
表示线性变换,[a31a32]用于平移变换,[a13 a23]T产生透视变换,为了保证变换后RGB值的不变性,[a33]的值为1;
步骤5.3:基于步骤5.2求得的透视投影矩阵,将三维数字高程模型中的坐标点和二维可见光图像的像素点相匹配,找到变换后的图像中对应位置的RGB值,并赋值给三维数字高程模型中的各点,即得到融合后的最终目的图像。
本发明同现有技术相比,其有益效果表现在:
一、本发明提供了一种快速点云数据处理和目标图像匹配算法,将依据以光子的时间序列顺序和对应的高程信息为主要研究对象,采用基于直方图统计对太阳背景噪声点进行去除,并采用局部分块曲线拟合的方法对样本点云数据去噪后的点云进行地面点和非地面点的分类,再利用规则网络将数据点云可视化,并对数字高程模型进行了噪声剔除处理,既能保证点云数据的精度,确保精简后的点云数据能较好地表达细节特征,又能较好的保留特征点,达到精简点云的效果;
二、本发明将来自不同成像系统或者同一成像系统不同时间、空间拍摄的图像所包含的信息进行匹配融合,使其对同一目标的表述更加准确全面,图像融合可以将无用的信息从大量的数据中滤除掉,进行数据压缩,另一方面通过利用图像包含的不同目标信息,可以获取目标更为全面的信息,极大的发挥两者的优势,提高融合了二维可见光图像后的三维数字高程模型的整体性能;
三、本发明具有快速点云数据特征点提取和目标图像匹配优势,即可在大量场景图片 (二维可见光图像)中快速提取特征点并与点云数据的特征点匹配,可连续高速进行广域三维场景建模和还原,即得到三维数字高程模型,同时在精度方面,尽可能保持了二维可见光图像携带的流畅度,可依据场景还原程度需要对三维数字高程模型精度进行调整,从而提升建模效率;
四、本发明可以在达到1:5000比例尺精度要求的情况下,快速处理点云数据,生成数字高程模型并与目标图像相匹配,且得到最终的目标图像显示效果佳;
五、本发明在局部区域同时存在地面点和非地面点时,只选取非地面点的点云数据建立数字高程模型,以此大大精简了点云数据。
附图说明
图1为本发明中三维数字高程模型和二维可见光图像融合的流程示意图;
图2为本发明中三维数字高程模型和二维可见光图像从不同角度融合的三维示意图,其中,三维数字高程模型根据实际二维可见光图像赋予了相应的RGB颜色数据,图中是以黑白来表示的。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明将依据以光子的时间序列顺序和对应的高程信息为主要研究对象,采用基于直方图统计对太阳背景噪声点进行去除,并采用局部分块曲线拟合的方法对样本点云数据去噪后的点云进行地面点和非地面点的分类。利用规则网络将数据点云可视化后,对数字高程模型进行了噪声剔除处理,并且将来自不同成像系统或者同一成像系统不同时间、空间拍摄的图像所包含的信息进行匹配融合,使其对同一目标的表述更加准确全面。图像融合可以将无用的信息从大量的数据中滤除掉,进行数据压缩,另一方面通过利用图像包含的不同目标信息,可以获取目标更为全面的信息。
一种快速点云数据处理和目标图像匹配的方法,包括如下步骤:
步骤1:基于直方图统计对激光雷达所成的目标区域的点云数据中的太阳背景噪声点进行去除;
具体步骤为:
步骤1.1:对激光雷达所成的点云数据进行标号,标号后计算点云数据内的每一个点云到其最邻近的k个点的距离和;其中,k值的选取具有一定的重要性,它是计算距离和的核心参数,实际上也是一个平滑因子,当k值过小时,平滑的作用并不显著,它的频数直方图可能会表现出是多个高斯分布的累加;当k值过大时,又平滑了点云中非噪声点和噪声点之间的空间差异性,难以再对点云数据进行去噪;通过本次实验选取的实验区域以及数据的特性,对同一地物类型进行了实验分析后,选择k=50作为经验值;
步骤1.2:对步骤1.1得到的距离和用高斯函数拟合,拟合后计算出高斯函数的均值和方差,以均值与2倍方差之和作为阈值,将距离和大于阈值的点作为噪声点并去除。
步骤2:采用局部区域曲线拟合的方法对去噪后的点云数据进行地面点和非地面点的分类;
具体步骤为:
步骤2.1:按照去噪后的点云数据的沿轨距离方向,以30m为间距(根据实际情况也可选用其它间距)获取局部点云数据,将沿轨距离的点云数据分成若干段,若出现10m以上的数据段中的地面点缺失,则依据附近±10m内的点云数据,用插值法修改此缺失数据段的间距,得到缺失数据段的多段局部点云数据,最终基于各段局部点云数据获得对应段最低点,即局部最低点;
步骤2.2:重新按照沿轨距离方向,以30m为间距获取单个数据段的点云数据,获取步骤2.1中查找到的局部最低点,然后对局部最低点采用邻近搜索,结合与其沿轨距离方向邻近的4个局部最低点,以最小二乘的方法做二阶曲线拟合,即进行局部区域曲线拟合,得到多个局部区域内拟合的曲线;
步骤2.3:根据实验数据选取合适的自适应阈值,将地面点与非地面点通过阈值进行区分,即根据步骤2.2中得到的多个局部区域内拟合的曲线,将目标点的坐标带入局部区域曲线拟合得到的方程,得到目标点的拟合高程值,用目标点的初始高程值与拟合高程值做差,求得高差,若高差比自适应阈值小,则判定目标点为地面点;
步骤2.4:逐段进行点云分类,即利用步骤2.2中各个局部区域内拟合的曲线,求解得到沿轨距离方向上各点的理论地形的实际高程值,用实际高程数值减去拟合高程值得到两者的高程差值,若此高程差值大于步骤2.3中的自适应阈值,则该点被判定为非地面点,相反则判定为地面点。
步骤3:根据分类后的点云数据,用规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列,划分后得到的每个行号和列号表示的是相邻网格点之间的空间关系,再基于空间关系来建立数字高程模型;
数字高程模型的函数为:
D=(Xi,Yi,Zi)(i=1,2,3,...n)
其中,Xi,Yi表示的第i点云的横坐标和纵坐标,即表示相邻网格点之间的空间关系, Zi表示的是的第i点云的高程值,n表示第n个点云。
步骤4:对数字高程模型平滑去噪处理,得到去噪后的三维数字高程模型;
具体步骤为:
步骤4.1:对于数字高程模型中每个像素点,分别得到其上、下、左、右的高程值,并求得最大值zmax和最小值zmin,若像素点缺失上、下、左或右数据时,则只求得存在数值的最大值和最小值;
步骤4.2:当前高程值小于最小值zmin,或者大于最大值zmax,则将高程值改为 (zmax+zmin)/2;
步骤4.3:若数字高程模型中每个像素点都已遍历,则结束去噪处理,得到去噪后的三维数字高程模型,否则转到步骤4.1继续对下一个像素点进行处理。
步骤5:分别提取去噪后的三维数字高程模型和其对应区域的二维可见光图像的特征点,并基于特征点得到透视投影矩阵,以将二维可见光图像中的颜色信息对应赋值到三维数字高程模型中,即得到融合后的最终目的图像。
具体步骤为:
步骤5.1:利用Harris角点检测分别提取三维数字高程模型和二维可见光图像的特征点,即用移动的窗口在三维数字高程模型或二维可见光图像中计算灰度变化值,三维数字高程模型或二维可见光图像中亮度变化剧烈的点或图像边缘曲线上曲率极大值的点提取为特征点根据本次实验数据,Harris响应函数k为0.04,阈值为0.01;
步骤5.2:通过三维数字高程模型和二维可见光图像的特征点匹配求得透视投影矩阵;
透视投影矩阵的变换公式为:
Figure RE-GDA0003529202700000091
其中,[picx,picy,[R,G,B]]是二维可见光图像中的像素点位置和RGB值, [pcl_x,pcl_y,[R,G,B]]是三维数字高程模型中目标像素点位置和RGB值,a为变换矩阵;
变换矩阵
Figure RE-GDA0003529202700000092
由四个部分组成,其中,
Figure RE-GDA0003529202700000093
表示线性变换,[a31a32]用于平移变换,[a13 a23]T产生透视变换,为了保证变换后RGB值的不变性,[a33]的值为1;
步骤5.3:基于步骤5.2求得的透视投影矩阵,将三维数字高程模型中的坐标点和二维可见光图像的像素点相匹配,找到变换后的图像中对应位置的RGB值,并赋值给三维数字高程模型中的各点,即得到融合后的最终目的图像。还可用插值方法提高三维数字高程模型的精度,再与二维可见光图像相匹配。
实施例
本发明提供了一种快速点云数据处理和目标图像匹配的方法,对巫山县区域的点云数据进行了处理,并与光学系统所成的可见光彩色图像(即指上述所述的可见光图像)匹配融合。对于点云数据,通过规则的正方形或者矩形来表示数字高程模型,每个格网单元表示一个数值,在数学上用一个矩阵表示,在计算机上用一个数组来表示,每个数组对应一个高程值。规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列,每个行列号表示的是相邻网格点之间的空间关系。
原始点云数据中,x方向的距离一共631米,y方向共571米,z方向共296米。规则网格高程模型选择的2000*2000个网格点。因此,网格点之间代表的距离约为0.32米,即格网单元或格网点的距离约为0.32米。按照人眼分辨率为0.1mm作为网格点间的间隔,则数字高程模型的比例尺为1:3200,比例尺精度为0.32。由于x方向和z方向的距离比约为 2:1,因此z方向选取了1000个网格点,高程比例尺为1:2960,比例尺精度为0.296。规则格网模型的数据存储着格网点处的高程值、起算点的位置坐标和格网点的间距。对于数字高程模型中的每个格网点,如果高程值比其上下左右的点都大或者都要小,则认定是一个噪声点,高程值用周围的最大值和最小值的均值来替换。经过多次平滑处理之后,就可以去除大量噪声点,得到去噪后的三维数据高程模块。
可见光彩色图像和激光雷达所成的点云数据之间存在一定的映射关系,通过提取特征点匹配求得透视投影矩阵,将来自不同成像系统或者同一成像系统不同时间、空间拍摄的图像所包含的信息进行融合,使其对同一目标的表述更加准确全面。将可见光图像与去噪后的三维数据高程模块融合,为三维数字高程模型中的每一个高度数据都附加上真实RGB值。
全景照片的分辨率为8357*9234。为了提高分辨率,可以用插值方法,将三维数字高程模型的分辨率提高,再匹配可见光彩色图像的分辨率。由于建筑、道路等情况,其高度在局部内保持不变,因此用最近邻插值方法比较合适。用插值法将三维数字高程模型扩大4.3 倍,此时,三维数字高程模型的网格点数目为8600*8600,网格点间距约0.073米。从俯视图上看,三维数字高程模型分辨率和原始照片分辨率非常接近,精度差距约为4.16%。
因此,快速准确地将可见光图像与激光雷达所成的三维点阵图像融合,是一项很有应用前景的技术,可以极大的发挥两者的优势,提高系统的整体性能。
以上仅是本发明众多具体应用范围中的代表性实施例,对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案,均落在本发明权利保护范围之内。

Claims (10)

1.一种快速点云数据处理和目标图像匹配的方法,其特征在于,包括如下步骤:
步骤1:基于直方图统计对激光雷达所成的目标区域的点云数据中的太阳背景噪声点进行去除;
步骤2:采用局部区域曲线拟合的方法对去噪后的点云数据进行地面点和非地面点的分类;
步骤3:根据分类后的非地面点的点云数据,用规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列,划分后得到的每个行号和列号表示的是相邻网格点之间的空间关系,再基于空间关系来建立数字高程模型;
步骤4:对数字高程模型平滑去噪处理,得到去噪后的三维数字高程模型;
步骤5:分别提取去噪后的三维数字高程模型和其对应区域的二维可见光图像的特征点,并基于特征点得到透视投影矩阵,以将二维可见光图像中的颜色信息对应赋值到三维数字高程模型中,得到融合后的最终目的图像。
2.根据权利要求1所述的一种快速点云数据处理和目标图像匹配的方法,其特征在于:所述步骤1的具体步骤为:
步骤1.1:对激光雷达所成的点云数据进行标号,标号后计算点云数据内的每一个点云到其最邻近的k个点的距离和;
步骤1.2:对步骤1.1得到的距离和用高斯函数拟合,拟合后计算出高斯函数的均值和方差,以均值与2倍方差之和作为阈值,将距离和大于阈值的点作为噪声点并去除。
3.根据权利要求2所述的一种快速点云数据处理和目标图像匹配的方法,其特征在于:所述步骤2的具体步骤为:
步骤2.1:按照去噪后的点云数据的沿轨距离方向,以30m为间距获取局部点云数据,将沿轨距离的点云数据分成若干段,若出现10m以上的数据段中的地面点缺失,则依据附近±10m内的点云数据,用插值法修改此缺失数据段的间距,得到缺失数据段的多段局部点云数据,最终基于各段局部点云数据获得对应段最低点,即局部最低点;
步骤2.2:重新按照沿轨距离方向,以30m为间距获取单个数据段的点云数据,获取步骤2.1中查找到的局部最低点,然后对局部最低点采用邻近搜索,结合与其沿轨距离方向邻近的4个局部最低点,以最小二乘的方法做二阶曲线拟合,即进行局部区域曲线拟合,得到多个局部区域内拟合的曲线;
步骤2.3:根据实验数据选取合适的自适应阈值,将地面点与非地面点通过阈值进行区分,即根据步骤2.2中得到的多个局部区域内拟合的曲线,将目标点的坐标带入局部区域曲线拟合得到的方程,得到目标点的拟合高程值,用目标点的初始高程值与拟合高程值做差,求得高差,若高差比自适应阈值小,则判定目标点为地面点;
步骤2.4:逐段进行点云分类,即利用步骤2.2中各个局部区域内拟合的曲线,求解得到沿轨距离方向上各点的理论地形的实际高程值,用实际高程数值减去拟合高程值得到两者的高程差值,若此高程差值大于步骤2.3中的自适应阈值,则该点被判定为非地面点,相反则判定为地面点。
4.根据权利要求3所述的一种快速点云数据处理和目标图像匹配的方法,其特征在于:所述步骤3中得到的数字高程模型的函数为:
D=(Xi,Yi,Zi)(i=1,2,3,...n)
其中,Xi,Yi表示的第i点云的横坐标和纵坐标,即表示相邻网格点之间的空间关系,Zi表示的是的第i点云的高程值,n表示第n个点云。
5.根据权利要求4所述的一种快速点云数据处理和目标图像匹配的方法,其特征在于:所述步骤4的具体步骤为:
步骤4.1:对于数字高程模型中每个像素点,分别得到其上、下、左、右的高程值,并求得最大值zmax和最小值zmin,若像素点缺失上、下、左或右数据时,则只求得存在数值的最大值和最小值;
步骤4.2:当前高程值小于最小值zmin,或者大于最大值zmax,则将高程值改为(zmax+zmin)/2;
步骤4.3:若数字高程模型中每个像素点都已遍历,则结束去噪处理,得到去噪后的三维数字高程模型,否则转到步骤4.1继续对下一个像素点进行处理。
6.根据权利要求5所述的一种快速点云数据处理和目标图像匹配的方法,其特征在于:所述步骤5的具体步骤为:
步骤5.1:利用Harris角点检测分别提取三维数字高程模型和二维可见光图像的特征点,即用移动的窗口在三维数字高程模型或二维可见光图像中计算灰度变化值,三维数字高程模型或二维可见光图像中亮度变化剧烈的点或图像边缘曲线上曲率极大值的点提取为特征点;
步骤5.2:通过三维数字高程模型和二维可见光图像的特征点匹配求得透视投影矩阵;
透视投影矩阵的变换公式为:
Figure FDA0003431278860000021
其中,[picx,picy,[R,G,B]]是二维可见光图像中的像素点位置和RGB值,[pcl_x,pcl_y,[R,G,B]]是三维数字高程模型中目标像素点位置和RGB值,a为变换矩阵;
变换矩阵
Figure FDA0003431278860000031
由四个部分组成,其中,
Figure FDA0003431278860000032
表示线性变换,[a31 a32]用于平移变换,[a13 a23]T产生透视变换,为了保证变换后RGB值的不变性,[a33]的值为1;
步骤5.3:基于步骤5.2求得的透视投影矩阵,将三维数字高程模型中的坐标点和二维可见光图像的像素点相匹配,找到变换后的图像中对应位置的RGB值,并赋值给三维数字高程模型中的各点,即得到融合后的最终目的图像。
7.根据权利要求6所述的一种快速点云数据处理和目标图像匹配的方法,其特征在于:所述步骤5.3还可用插值方法提高三维数字高程模型的精度,再与二维可见光图像相匹配。
8.一种快速点云数据处理和目标图像匹配的系统,其特征在于,包括:
背景去噪单元:基于直方图统计对激光雷达所成的目标区域的点云数据中的太阳背景噪声点进行去除;
分类单元:采用局部区域曲线拟合的方法对去噪后的点云数据进行地面点和非地面点的分类;
建模单元:根据分类后的非地面点的点云数据,用规则格网把空间区域划分为规则间隔的正方形格网或者经纬阵列,划分后得到的每个行号和列号表示的是相邻网格点之间的空间关系,再基于空间关系来建立数字高程模型;
模型去噪单元:对数字高程模型平滑去噪处理,得到去噪后的三维数字高程模型;
融合单元:分别提取去噪后的三维数字高程模型和其对应区域的二维可见光图像的特征点,并基于特征点得到透视投影矩阵,以将二维可见光图像中的颜色信息对应赋值到三维数字高程模型中,得到融合后的最终目的图像。
9.根据权利要求8所述的一种快速点云数据处理和目标图像匹配的系统,其特征在于:所述背景去噪单元的具体实现步骤为:
步骤1.1:对激光雷达所成的点云数据进行标号,标号后计算点云数据内的每一个点云到其最邻近的k个点的距离和;
步骤1.2:对步骤1.1得到的距离和用高斯函数拟合,拟合后计算出高斯函数的均值和方差,以均值与2倍方差之和作为阈值,将距离和大于阈值的点作为噪声点并去除;
所述分类单元的具体实现步骤为:
步骤2.1:按照去噪后的点云数据的沿轨距离方向,以30m为间距获取局部点云数据,将沿轨距离的点云数据分成若干段,若出现10m以上的数据段中的地面点缺失,则依据附近±10m内的点云数据,用插值法修改此缺失数据段的间距,得到缺失数据段的多段局部点云数据,最终基于各段局部点云数据获得对应段最低点,即局部最低点;
步骤2.2:重新按照沿轨距离方向,以30m为间距获取单个数据段的点云数据,获取步骤2.1中查找到的局部最低点,然后对局部最低点采用邻近搜索,结合与其沿轨距离方向邻近的4个局部最低点,以最小二乘的方法做二阶曲线拟合,即进行局部区域曲线拟合,得到多个局部区域内拟合的曲线;
步骤2.3:根据实验数据选取合适的自适应阈值,将地面点与非地面点通过阈值进行区分,即根据步骤2.2中得到的多个局部区域内拟合的曲线,将目标点的坐标带入局部区域曲线拟合得到的方程,得到目标点的拟合高程值,用目标点的初始高程值与拟合高程值做差,求得高差,若高差比自适应阈值小,则判定目标点为地面点;
步骤2.4:逐段进行点云分类,即利用步骤2.2中各个局部区域内拟合的曲线,求解得到沿轨距离方向上各点的理论地形的实际高程值,用实际高程数值减去拟合高程值得到两者的高程差值,若此高程差值大于步骤2.3中的自适应阈值,则该点被判定为非地面点,相反则判定为地面点。
10.根据权利要求9所述的一种快速点云数据处理和目标图像匹配的系统,其特征在于:所述建模单元中得到的数字高程模型的函数为:
D=(Xi,Yi,Zi)(i=1,2,3,...n)
其中,Xi,Yi表示的第i点云的横坐标和纵坐标,即表示相邻网格点之间的空间关系,Zi表示的是的第i点云的高程值,n表示第n个点云;
所述模型去噪单元的具体实现步骤为:
步骤4.1:对于数字高程模型中每个像素点,分别得到其上、下、左、右的高程值,并求得最大值zmax和最小值zmin,若像素点缺失上、下、左或右数据时,则只求得存在数值的最大值和最小值;
步骤4.2:当前高程值小于最小值zmin,或者大于最大值zmax,则将高程值改为(zmax+zmin)/2;
步骤4.3:若数字高程模型中每个像素点都已遍历,则结束去噪处理,得到去噪后的三维数字高程模型,否则转到步骤4.1继续对下一个像素点进行处理;
所述融合单元的具体实现步骤为:
步骤5.1:利用Harris角点检测分别提取三维数字高程模型和二维可见光图像的特征点,即用移动的窗口在三维数字高程模型或二维可见光图像中计算灰度变化值,三维数字高程模型或二维可见光图像中亮度变化剧烈的点或图像边缘曲线上曲率极大值的点提取为特征点;
步骤5.2:通过三维数字高程模型和二维可见光图像的特征点匹配求得透视投影矩阵;
透视投影矩阵的变换公式为:
Figure FDA0003431278860000051
其中,[picx,picy,[R,G,B]]是二维可见光图像中的像素点位置和RGB值,[pcl_x,pcl_y,[R,G,B]]是三维数字高程模型中目标像素点位置和RGB值,a为变换矩阵;
变换矩阵
Figure FDA0003431278860000052
由四个部分组成,其中,
Figure FDA0003431278860000053
表示线性变换,[a31 a32]用于平移变换,[a13 a23]T产生透视变换,为了保证变换后RGB值的不变性,[a33]的值为1;
步骤5.3:基于步骤5.2求得的透视投影矩阵,将三维数字高程模型中的坐标点和二维可见光图像的像素点相匹配,找到变换后的图像中对应位置的RGB值,并赋值给三维数字高程模型中的各点,即得到融合后的最终目的图像。
CN202111596263.XA 2021-12-24 2021-12-24 一种快速点云数据处理和目标图像匹配的方法及系统 Pending CN114299318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111596263.XA CN114299318A (zh) 2021-12-24 2021-12-24 一种快速点云数据处理和目标图像匹配的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111596263.XA CN114299318A (zh) 2021-12-24 2021-12-24 一种快速点云数据处理和目标图像匹配的方法及系统

Publications (1)

Publication Number Publication Date
CN114299318A true CN114299318A (zh) 2022-04-08

Family

ID=80969703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111596263.XA Pending CN114299318A (zh) 2021-12-24 2021-12-24 一种快速点云数据处理和目标图像匹配的方法及系统

Country Status (1)

Country Link
CN (1) CN114299318A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115128609A (zh) * 2022-09-01 2022-09-30 中国科学院空天信息创新研究院 星载sar三维产品生成方法及装置
CN115546266A (zh) * 2022-11-24 2022-12-30 中国铁路设计集团有限公司 基于局部法向相关的多条带机载激光点云配准方法
CN117036633A (zh) * 2023-08-24 2023-11-10 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 大场景三维模型数据的高效、批量属性挂接方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103529455A (zh) * 2013-10-21 2014-01-22 中铁第四勘察设计院集团有限公司 一种基于机载激光雷达三维的危岩落石调查方法
CN105783878A (zh) * 2016-03-11 2016-07-20 三峡大学 一种基于小型无人机遥感的边坡变形检测及量算方法
CN107886101A (zh) * 2017-12-08 2018-04-06 北京信息科技大学 一种基于rgb‑d的场景三维特征点高效提取方法
CN108090960A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种基于几何约束的目标重建方法
CN108596860A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于三维激光雷达的地面点云分割方法
CN110335352A (zh) * 2019-07-04 2019-10-15 山东科技大学 一种机载激光雷达点云的双基元多分辨率层次滤波方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
US20200175251A1 (en) * 2018-11-29 2020-06-04 International Business Machines Corporation Estimating a height of a cloud depicted in an image
US20210166475A1 (en) * 2017-12-08 2021-06-03 Asia Air Survey Co., Ltd. Feature height-based colored image generating apparatus and feature height-based colored image generating program
CN113034689A (zh) * 2021-04-30 2021-06-25 睿宇时空科技(重庆)有限公司 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质
CN113192179A (zh) * 2021-04-28 2021-07-30 沈阳工业大学 一种基于双目立体视觉的三维重建方法
CN113223145A (zh) * 2021-04-19 2021-08-06 中国科学院国家空间科学中心 用于行星表面探测的亚像素测量多源数据融合方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103529455A (zh) * 2013-10-21 2014-01-22 中铁第四勘察设计院集团有限公司 一种基于机载激光雷达三维的危岩落石调查方法
CN105783878A (zh) * 2016-03-11 2016-07-20 三峡大学 一种基于小型无人机遥感的边坡变形检测及量算方法
CN107886101A (zh) * 2017-12-08 2018-04-06 北京信息科技大学 一种基于rgb‑d的场景三维特征点高效提取方法
US20210166475A1 (en) * 2017-12-08 2021-06-03 Asia Air Survey Co., Ltd. Feature height-based colored image generating apparatus and feature height-based colored image generating program
CN108090960A (zh) * 2017-12-25 2018-05-29 北京航空航天大学 一种基于几何约束的目标重建方法
CN108596860A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于三维激光雷达的地面点云分割方法
US20200175251A1 (en) * 2018-11-29 2020-06-04 International Business Machines Corporation Estimating a height of a cloud depicted in an image
CN110335352A (zh) * 2019-07-04 2019-10-15 山东科技大学 一种机载激光雷达点云的双基元多分辨率层次滤波方法
CN110415342A (zh) * 2019-08-02 2019-11-05 深圳市唯特视科技有限公司 一种基于多融合传感器的三维点云重建装置与方法
CN113223145A (zh) * 2021-04-19 2021-08-06 中国科学院国家空间科学中心 用于行星表面探测的亚像素测量多源数据融合方法及系统
CN113192179A (zh) * 2021-04-28 2021-07-30 沈阳工业大学 一种基于双目立体视觉的三维重建方法
CN113034689A (zh) * 2021-04-30 2021-06-25 睿宇时空科技(重庆)有限公司 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI WANG等: "TerrainFusion: Real-time Digital Surface Model Reconstruction based on Monocular SLAM", 2019 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), pages 1 - 8 *
孟杨瑞: "无人机地面目标识别与地貌图像更新研究", 中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑, pages 031 - 506 *
武继广;: "基于机载激光雷达和遥感影像融合的地物探测方法研究", 首都师范大学学报(自然科学版), no. 04, pages 6 - 11 *
艾三维技术: "Descartes | 从点云、断裂线、光栅数字高程模型中生成三维可缩放模型", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/372845785> *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115128609A (zh) * 2022-09-01 2022-09-30 中国科学院空天信息创新研究院 星载sar三维产品生成方法及装置
CN115128609B (zh) * 2022-09-01 2022-12-06 中国科学院空天信息创新研究院 星载sar三维产品生成方法及装置
CN115546266A (zh) * 2022-11-24 2022-12-30 中国铁路设计集团有限公司 基于局部法向相关的多条带机载激光点云配准方法
CN115546266B (zh) * 2022-11-24 2023-03-17 中国铁路设计集团有限公司 基于局部法向相关的多条带机载激光点云配准方法
CN117036633A (zh) * 2023-08-24 2023-11-10 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 大场景三维模型数据的高效、批量属性挂接方法及系统
CN117036633B (zh) * 2023-08-24 2024-03-26 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 大场景三维模型数据的高效、批量属性挂接方法及系统

Similar Documents

Publication Publication Date Title
CN114299318A (zh) 一种快速点云数据处理和目标图像匹配的方法及系统
Alharthy et al. Heuristic filtering and 3D feature extraction from LIDAR data
CN107085710B (zh) 一种基于多光谱LiDAR数据的单木自动提取方法
CN111046776B (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
Allouis et al. Stem volume and above-ground biomass estimation of individual pine trees from LiDAR data: Contribution of full-waveform signals
Hui et al. Automatic DTM extraction from airborne LiDAR based on expectation-maximization
CN111898688B (zh) 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN108109139B (zh) 基于灰度体元模型的机载lidar三维建筑物检测方法
Jin et al. A point-based fully convolutional neural network for airborne lidar ground point filtering in forested environments
CN110794424B (zh) 基于特征选择的全波形机载激光雷达地物分类方法及系统
Wu et al. 3D Tree reconstruction from simulated small footprint waveform lidar
CN110988909B (zh) 基于tls进行高寒脆弱区沙地植被的植被盖度测定方法
CN108074232B (zh) 一种基于体元分割的机载lidar建筑物检测方法
CN114355367A (zh) 一种基于星载单光子激光雷达数据测量浅海水深的方法
CN116817869B (zh) 一种利用激光雷达数据的海底光子信号确定方法
Zaletnyik et al. LIDAR waveform classification using self-organizing map
Che et al. Vo-SmoG: A versatile, smooth segment-based ground filter for point clouds via multi-scale voxelization
Momm et al. Methods for gully characterization in agricultural croplands using ground-based light detection and ranging
Wang et al. Point cloud classification and accuracy analysis based on feature fusion
CN112766032A (zh) 一种基于多尺度和超像素分割的sar图像显著图生成方法
Wang et al. Banana pseudostem width detection based on kinect V2 depth sensor
Lian et al. Denoising algorithm based on local distance weighted statistics for photon counting LiDAR point data
Pagán et al. 3D modelling of dune ecosystems using photogrammetry from remotely piloted air systems surveys
Guo et al. Unmanned Vehicle 3D Lidar Point Cloud Segmentation
Dowman Automatic feature extraction for urban landscape models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination