一种利用无人机图像优化激光扫描点云数据的方法及系统
技术领域
本发明涉及测绘技术领域,具体涉及一种利用无人机图像优化激光扫描点云数据的方法及系统。
背景技术
地面移动激光扫描仪(MLS)是一种利用发射和接收激光信号进行测量的测绘仪器,在测绘、矿业、城市、水利、文保等领域广泛使用,能从地面视角快速生产大量的点云数据。
移动激光扫描仪是将激光扫描仪、定位定向装置安装在一个移动平台上的组合测量系统,由它产生的点云数据精度会受系统误差和随机误差的影响。通常情况,严格检校激光传感器系统可排除系统集成带来的系统误差影响,此时,定位定向系统的精度对最终点云数据的质量具有决定作用。由点云解算方程可知,定位定向系统提供高频率的位置和方向信息,通过时间同步,定位定向系统误差将会直接传播到最终的激光点云坐标中去。因此,GPS失锁问题将会严重影响移动激光扫描数据的质量,这种情况在城市区域经常发生。
GPS失锁可能由浓密的树木、高大的建筑物以及隧道等地物的遮挡引起,通常持续时间较短,但由此引起的在水平方向和垂直方向上的位置偏移可以达到几米。为了提高点云数据精度,满足行业应用要求,需要利用传统方法人工测绘大量的地面控制点,然后将这些地面控制点输入到激光扫描处理软件中来调整点云数据和轨线,这需要花费大量的人力物力。
无人机(UAV)也是一种快速发展的测量工具,广泛应用于从高空视角 收集地形地物影像。通常,无人机系统配备的是可见光传感器(如相机)和低精度的定位定向装置。现在,较便宜的定位定向装置已可以达到分米级的精度,还不能满足很多测绘应用对地理定位厘米级精度的要求。通过额外少量的高精度的地面控制点,计算出的坐标精度理论上可以达到厘米级。
发明内容
本发明所要解决的技术问题是提供一种利用无人机图像优化激光扫描点云数据的方法及系统,将无人机图像和激光扫描点云数据整合,利用无人机图像对激光扫描点云数据进行校正,提高激光扫描点云数据的精度。
本发明解决上述技术问题的技术方案如下:
一方面,本发明提供了一种利用无人机图像优化激光扫描点云数据的方法,所述方法包括:
S1、从激光扫描点云数据中提取出路域信息;
S2、利用插值算法对所述提取的路域信息进行处理,生成灰度栅格图像;
S3、利用Harris角点提取算法在所述灰度栅格图像中识别特征点;
S4、采用基于边界的模板匹配算法将所述识别的特征点在无人机图像中进行同名点匹配,获得在无人机图像中的同名匹配点;
S5、使用RANSAC算法剔除所述同名匹配点中的异常点,得到同名匹配点中的正常点;
S6、采用三次保形插值方法计算出平滑的激光扫描轨道调整参数,对激光扫描点云数据进行调整优化。
另一方面,本发明提供了一种利用无人机图像优化激光扫描点云数据的系统,所述系统包括:
路域信息提取模块,用于从激光扫描点云数据中提取出路域信息;
灰度图像生成模块,用于利用插值算法对所述提取的路域信息进行处 理,生成灰度栅格图像;
特征点识别模块,用于利用Harris角点提取算法在所述灰度栅格图像中识别特征点;
同名点匹配模块,用于采用基于边界的模板匹配算法将所述识别的特征点在无人机图像中进行同名点匹配,获得在无人机图像中的同名匹配点;
异常点剔除模块,用于使用RANSAC算法剔除所述同名匹配点中的异常点,得到同名匹配点中的正常点;
点云数据匹配点优化模块,用于采用三次保形插值方法计算出平滑的激光扫描轨道调整参数,对激光扫描点云数据进行调整优化。
本发明提供了一种利用无人机图像优化激光扫描点云数据的方法及系统,将无人机图像和激光扫描点云数据整合,由于无人机图像的精度要比激光扫描点云数据的精度高,因此通过融合无人机图像,自动对激光扫描点云数据进行校正,以提高激光扫描点云数据的精度,减少校正激光扫描点云数据需要的地面控制点,节约人力、物力等。
附图说明
图1为本发明实施例1的一种利用无人机图像优化激光扫描点云数据的方法流程图;
图2为本发明实施例1中激光扫描点云数据与无人机图像融合过程的示意图;
图3为本发明实施例1利用RANSAC算法剔除同名匹配点中的异常点的原理示意图;
图4为本发明实施例1中利用邻近点偏移一致性剔除同名匹配点中的异常点示意图;
图5为本发明实施例1中与扫描点云数据的特征点匹配的无人机图像区 域示意图;
图6为本发明实施例1中校正前点云数据检测点与地面控制点的偏差示意图;
图7为本发明实施例1中校正前点云数据检测点与地面控制点的偏差示意图;
图8为本发明实施例2的一种利用无人机图像优化激光扫描点云数据的系统示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例1、一种利用无人机图像优化激光扫描点云数据的方法。下面结合图1-图7对本实施例提供的方法进行详细说明。
参见图1,S1、从激光扫描点云数据中提取出路域信息。
具体的,地面移动激光扫描仪(MLS)能从街面视角快速扫描生产大量的点云数据,称为激光扫描点云数据。参见图2,首先对激光扫描点云数据进行预处理,利用地面点滤波算法剔除激光扫描点云数据中的非地形点。在剔除非地形点的过程中,可以假设激光扫描系统距离地面有一个非常稳定的相对高度,根据这个假设,取航迹线上相邻节点的平均高度作为一个阈值,在这两个航迹线节点间的点云数据,如果它们距离地面的高度大于这个阈值高度,则认为这些点云为非地形点,将其移除,得到激光扫描点云数据中的地形点。然后从剔除非地形点后的激光扫描点云数据中提取路域信息。
S2、利用插值算法对提取的路域信息进行处理,生成灰度栅格图像和高程图像。
具体的,激光扫描点云数据中每一个点都拥有三位坐标(x,y,z)以及 一个灰度值i,对路域信息中的灰度数据进行内插,生成灰度栅格图像,本实施例可以采用0.04米的分辨率,这与激光扫描点云数据的平均密度是一致的。为了便于计算机处理和提高计算效率,点云数据可以被划分为多个数据块,比如划分为80m*80m的小块,对于每一个80m*80m的数据块,灰度图像Ixy={i/(x,y)}包含2000*2000个像素。高程图像Zxy={z/(x,y)}也可以由插值算法得到。
另外,对无人机图像进行空中三角测量,首先,利用IWitness软件对相机进行检校;其次,对获取的影像数据进行校正,消除镜头畸变对影像的影响;最后,用MICMAC软件获取影像精确的外方位参数,即可以获得无人机图像的每张图像的位置和姿态。
S3、利用Harris角点提取算法在所述灰度栅格图像中识别特征点。
具体的,步骤S2对路域信息进行处理生成了灰度栅格图像,本步骤从生成的灰度栅格图像中识别特征点,由于地面标志拥有稳定可靠的角点信息特征,因此这些角点可以作为特征点。本实施例利用基于曲线拟合方法的精确的Harris角点提取算法可以从灰度栅格图像中快速识别特征点(角点),如图3所示,十字标志的点即为该算法识别出来的特征点(角点)。
S4、采用基于边界的模板匹配算法将所述识别的特征点在无人机图像中进行同名点匹配,获得在无人机图像中的同名匹配点。
具体的,利用Harris角点提取算法从灰度栅格图像中提取出特征点,利用一种基于边界的模板匹配方法将提取出的特征点在无人机图像中进行匹配。利用经典的Canny边界检测器提取特征点(角点)的边界信息,根据该特征点的边界信息在无人机图像中进行搜索,并采用基于边界的模板匹配算法进行匹配,获得无人机图像中与该特征点匹配的同名匹配点(该同名特征点有多个)。
具体的同名点匹配过程为:从灰度图像中,选取一个种子特征点p(Xi,Yi), 用预先确定好尺寸的窗口从灰度图像中裁剪出一个小的模板图像,现在需要在无人机图像中寻找同名点。大多数情况下,激光扫描点云数据GPS的定位误差小于一个限值,种子特征点在无人机图像中的同名点一般会出现在满足位置约束条件的图像块内。这样,借助于设定的GPS误差限制,就可以从无人机图像中找到同名点,可以假定这个误差限值为2m。
为了简化匹配过程中的计算,现从无人机图像空间中开始同名匹配。在无人机图像中选取出一个种子匹配点q(xi,yi),对应的模板图像为I,对应m个相关联的邻接图像J={Ij|j=1,2...m}。借助于高程图像,灰度图像中种子特征点的对应点p(Xi,Yi,Zi)可以计算出来。由于无人机图像的每一张图像都有位置和方向参数,借助于地面点p(Xi,Yi,Zi)以及摄影测量共线方程,可以从相关联图像组J中找到一组点这组点中所有点将作为候选点与地面种子特征点进行匹配。对于每一个点,都要从无人机图像和灰度图像中截取对应的图像块。在这个过程中,多重立体图像被应用于种子点匹配,可以提高数据精度和处理稳定性。
在进行同名点匹配的过程中,将提取出的三维灰度边界转化成了图像空间以简化计算,边界匹配在图像空间中进行。这样,边界匹配就变成了两个点集合匹配的问题,由转化后的灰度图像中的目标点集合St和无人机图像中的匹配点集合Sm表示:
其中,St是由N个边界点组成的灰度图像中的目标点集合,Sm由M个边界点组成的无人机图像中的匹配点集合。
点集合St到点集合Sm的距离可以表述为:
这里是点(点结合St中的点)到点集合Sm的距离,可以表述为:
这里是点到点的空间距离,其中,为点集合St中的点,为点集合Sm中的点。
此外,本实施例定义了一个描述两个点集合中点的概率分布相似性的参数,叫做“点数比”,用公式表述为rtm=number(sm)/number(St)。
在同名点匹配过程中,分别计算和rtm这两个参数。这两个参数计算出来后,将rtm和结合在一起组成一个二维特征量vtm来评估匹配质量。这两个值和vtm都服从高斯分布。因此,概率密度函数f(vtm)被定义为一个二维分布的高斯函数这个函数用来描述一个随机变量元组的相关性。一种理想的情况是,平均距离最小化为0而点数比rtm取值为1,这意味着f(vtm)表示每次匹配测试的可接受性。对于每一步匹配测试,模板图像中心沿着待匹配图像作简单移动,可接受性值f(vtm)也被计算出来。
S5、使用RANSAC算法剔除所述同名匹配点中的异常点,得到同名匹配点中的正常点。
具体的,前述步骤从无人机图像中找到灰度图像中特征点的同名匹配点,其中,该同名匹配点有多个,每个同名匹配点均对应一张无人机图像。面对多个同名匹配点,有些同名匹配点存在较大误差,为异常点,因此需要将同名匹配点中的异常点剔除。本实施例采用反投影误差判别准则的RANSAC算法剔除同名匹配点中的异常点。
可以参见图3,图3描述了RANSAC异常值剔除算法的基本思想。首先,在众多个匹配的无人机图像中随机挑选出两张无人机图像和在这两张图像中的对应的同名匹配点。根据所挑选出来的图像的内、外参数信息和对应的同名匹配点,通过前方交会可以计算出地面点G。用地面点G向剩余图像作 反向投影,得到在相应图像中的投影点,计算出匹配点与投影点之间的偏差ti,ti代表投影点和匹配点的之间的空间距离。
详细步骤如下:
1、随机在匹配的无人机图像中选取一对点
2、根据相关的内、外参数以及所选点对,通过前方交会计算出地面点G。
3、利用该地面点以及其它影像的内、外参数,通过共线方程计算出每张图像空间中与匹配点一致的反投影点。
4、反投影点与匹配点之间的偏差距离ti与给定的阈值进行比较,判断偏差是否为异常值,若偏差距离ti大于给定的阈值,则该匹配点为异常点,反之,匹配点为正常点。
5、重复步骤1至4,直到判断完所有的同名匹配点,得到其中的正常点。
最后,用最小二乘法拟合出地面点(X′i,Y′i,Z′i)。此外,异常值剔除过程将点的图像坐标转化为了几何坐标。这样,通过激光扫描点云数据的特征点(Xi,Yi,Zx)以及它们的匹配对应点(X′i,Y′i,Z′i),计算出了一系列的连接点。
另外,在局部区域内,连接点的偏差应该有相似的大小和方向,基于这一点,本实施例提出一种相邻一致性约束条件来进一步优化匹配结果。图4描述了这种优化思想,在这张图中,点P1的偏差向量P1P′1与其它相邻点偏差向量的大小和方向都不同,所以点P1被识别为错误的匹配。对于每一个匹配点,采集与它相邻的匹配点对,这些匹配点对的偏差作为向量vi被计算出来。这些向量的大小和方向都被计算出来作为一个二元组随机变量,最后,使用一个相关性函数来识别错误匹配,而不是用给定的距离和方向阈值。与模板匹配过程类似,利用一个期望值为uv,标准差为σv的高斯函数f(v)=N(uv,σv)来描述这种相关性,具有较小相关性的点对将被认为是错误匹配。
通过前述方法在无人机图像中得出与灰度图像中特征点匹配的正常的同名匹配点,根据这些正常的同名匹配点,利用最小二乘法拟合出地面点。
S6、采用三次保形插值方法计算出平滑的激光扫描轨道调整参数,对激光扫描点云数据进行调整优化。
具体的,定位定向系统的位置误差具有时间相关性,经过异常值剔除过程,获得了一系列的匹配点对,比如,激光扫描点云数据中的地面点与前述利用最小二乘法拟合出的地面点,每组点对的不同代表在某一特定时刻的坐标偏差。图5为无人机影影像示意图,由于无人机图像的精度高于激光点云数据的精度,因此将无人机图像中匹配点用来作为调整点云数据的控制点,且这些点沿着激光扫描系统的轨道是不均匀分布的,每个点都有独立的偏差向量。本实施例采用三次保形插值方法计算出平滑的轨道调整参数。
定义在时刻t,M个控制点对的坐标偏差[Δx,Δy,Δz]组成的集合为S={(Δxi,Δyi,Δzi,ti),i=1,2,...,M}。由于在X,Y以及Z方向上偏差是不相关的,因此可以用三次保形插值法分别调整它们。
举例来说,在X方向上,有M个点对{(ti,Δxi),i=1,...,M},对于每一段时间间隔ti<t<ti+1,一维插值可以由下式得到:
其中,αi,j,i=1,...,M为三次多项式的系数,对于M-1个时间间隔,有4*(M-1)个系数。得到这4*(M-1)个系数的条件是每个中间节点的一阶导数相等,可以表述如下:
P1(t1)=Δx1,P1(t2)=P2(t2)=Δx2,P2(t3)=P3(t3)=Δx3,...,PM-1(tM)=ΔxM;
P′1(t1)=d1,P′1(t2)=P′2(t2)=d2,P′2(t3)=P′3(t3)=d3,...,P′M-1(tM)=dM。
其中,dj(j=2,3,...,M-1)由每一个中间节点得到,为了进行平滑插值,如果δj-1*δj≤0,则将dj设置为0,这里,δj=(yj+1-yj)/(xj+1-xj);否则,dj由带权参数wj表述为:
其中,wj=(xj+1-xj)/(xj+1-xj-1),j=1和j=M是导数公式的两个端点。时间误差模型函数在X、Y、Z方向上可以分别生成,利用GPS时间戳t,每个点的位置观察误差(ΔX(t),ΔY(t),ΔZ(t))可以被内插出来,经过改正后的新坐标(X′(t),Y′(t),Z′(t))可以计算如下:
其中,X(t)是t时刻X方向上的原始坐标,ΔX(t)和X′(t)是改正值和反投影点坐标,在Y和Z方向上,处理过程类似。
可以参见图6,图6为校正前的点云数据检测点与地面控制点的偏差示意图,而图7为校正前的点云数据检测点与地面控制点的偏差示意图,由图6和图7的示意图容易看出,校正后的点云数据的精度比校正前的点云数据的精度有明显提高。
实施例2、一种利用无人机图像优化激光扫描点云数据的系统。下面结合图8对本实施例提供的系统进行详细说明。
参见图8,本实施例提供的系统包括非地形点剔除模块801、路域信息提取模块802、灰度图像生成模块803、特征点识别模块804、边界信息识别模块805、同名点匹配模块806、异常值剔除模块807和点云数据匹配点优化模块808,其中,异常点剔除模块807包括点对选取模块8071、地面点计算模块8072、反投影点计算模块8073、异常点剔除模块8074和匹配点优化模块8075。
非地形点剔除模块801用于利用地面点滤波算法剔除激光扫描点云数据中的非地形点。
路域信息提取模块802用于从剔除非地形点后的激光扫描点云数据中提 取路域信息。
灰度图像生成模块803用于利用插值算法对路域信息提取模块802提取的路域信息进行处理,生成灰度栅格图像。
特征点识别模块804用于利用Harris角点提取算法从灰度图像生成模块803生成的灰度栅格图像中识别出特征点。
边界信息识别模块805用于利用Canny边界检测器提取特征点识别模块804识别的特征点的边界信息。
同名点匹配模块806用于根据边界信息识别模块805识别的特征点的边界信息在无人机图像中进行搜索,并采用基于边界的模板匹配算法进行匹配,获得无人机图像中与该特征点匹配的同名匹配点。
异常点剔除模块807用于使用RANSAC算法剔除同名点匹配模块806匹配出的同名匹配点中的异常点,得到同名匹配点中的正常点。
其中,异常点剔除模块807具体还包括:
点对选取模块8071,具体用于在同名点匹配模块806匹配出的同名匹配点中随机选取一点对。
地面点计算模块8072,具体用于根据点对选取模块8071所选点对及所选点对的内、外参数信息,通过前方交会计算出地面点。
反投影点计算模块8073,具体用于利用地面点计算模块8072计算出的地面点以及其它影像的内、外参数信息,通过共线方程计算出每张图像中与所述该张图像中的同名匹配点一致的反投影点。
异常点剔除模块8074,具体用于计算反投影点计算模块8073计算得出的反投影点与对应的同名匹配点之间的偏差距离,并将该偏差距离与预定的阈值进行比较,根据比较结果判断该同名匹配点是否为异常点。
匹配点优化模块8075,具体用于利用相邻一致性约束条件进一步对异常点剔除模块8074剔除异常点后的同名匹配点中的正常点进行优化。
点云数据匹配点优化模块808,用于采用三次保形插值方法计算出平滑的激光扫描轨道调整参数,对激光扫描点云数据进行调整优化。
本发明提供的一种利用无人机图像优化激光扫描点云数据的方法及系统,将无人机图像与激光扫描点云数据融合,由于无人机图像的精确度高于激光扫描点云数据的精确度,因此利用无人机图像提供地面控制信息来优化激光扫描点云数据。
另外,本发明利用了Harris角点检测方法识别灰度图像中的角点提高了角点检测的准确性;利用基于边界的模板匹配算法进行同名点匹配,提高了匹配准确性;利用RANSAC算法以及相邻点一致性特性剔除同名匹配点中的异常点,保证了同名匹配点的准确性。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。