CN112767459A - 基于2d-3d转换的无人机激光点云与序列影像配准方法 - Google Patents
基于2d-3d转换的无人机激光点云与序列影像配准方法 Download PDFInfo
- Publication number
- CN112767459A CN112767459A CN202011620678.1A CN202011620678A CN112767459A CN 112767459 A CN112767459 A CN 112767459A CN 202011620678 A CN202011620678 A CN 202011620678A CN 112767459 A CN112767459 A CN 112767459A
- Authority
- CN
- China
- Prior art keywords
- registration
- image
- point cloud
- mvs
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000009616 inductively coupled plasma Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 12
- 238000011160 research Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 101710150402 Mastin Proteins 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000751 eop Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Abstract
本发明提出了一种基于2D‑3D模型转换的无人机激光点云与序列影像配准方法,以无人机MMS成像数据为研究对象,针对其数据特点,制定两步法配准模型应用策略,具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法,完成无人机MMS成像数据的配准。该方法可以较好解决初始配准误差较大或无初始配准参数条件下的无人机MMS采集的LiDAR点云数据与序列影像的配准问题。
Description
技术领域
本发明属于无人机测量数据融合中自动数据配准的应用,提出一种全新的激光点云与序列影像自动配准方法。
背景技术
无人机移动测量系统实现了中低空遥感数据的覆盖,是传统摄影测量与遥感手段的有效补充,提供了包括高分辨率LiDAR(Light Detection and Ranging,激光测距)点云、航空影像等多种对地观测数据,在高精度地图构建、森林生物量估计、电力巡检等方面得到广泛应用。无人机平台由于载荷与成本的限制,携带轻小型或无POS系统,直接地理定向数据精度有限或无直接地理定向数据。无人机移动测量多在无地面控制点条件下进行数据采集,少有地面控制场对LiDAR点云与影像数据成果进行精度控制。同时,移动测量系统多传感器数据之间存在固有的配准误差,直接导致无人机MMS(Mobile Mapping System,移动测量系统)采集的LiDAR点云数据与序列影像之间不能直接配准融合,只能单源使用,进而降低无人机MMS成像数据的可用性。
近年来,部分学者(例如,Habib等人,2005年;Mastin等人,2009年;Mitishita等人,2008年;Parmehr等人,2014年)在激光雷达数据和卫星拍摄的光学图像之间的配准方面做了许多研究。然而,由于使用小型无人机进行激光扫描仍是一项新的研究领域,因此人们对小型无人机拍摄的激光雷达数据和光学图像的配准工作关注较少。另一方面,由于小型无人机的传感器精度和重量之间的权衡,使用直接地理参照数据与现有的ALS数据和图像的配准方法可能会导致配准失败。此外,小型无人机的低飞行高度和产生的相对较高分辨率的图像增大了配准偏差,这种偏差可能达到几十个或几百个像素,导致小型无人机激光雷达数据和图像之间难以实现精确配准。
目前主流的配准方法主要分为两大类,基于区域的配准方法和基于特征的配准方法。基于区域的方法通过最大限度地提高激光雷达数据和光学图像中相应图像区域的统计或灰度相似性来优化光学图像的EoPs。共轭区域匹配是这类方法的关键步骤。局部或全局相似度通常采用互有信息测量,利用待配准数据之间的统计依赖关系,得出相似度测量值。由于其非线性联合概率特性,互有信息作为一种异构数据的配准技术已被广泛采用(LeMoigne等,2011;Suri和Reinartz,2010)。Mastin等(2009)通过最大化灰度编码高度或回波脉冲强度与光学影像之间的相互信息,将航空影像配准到LiDAR点云上。然而,在激光雷达数据和微型无人机影像的情况下,使用基于区域的方法可能会导致配准失败。
基于特征的方法通过从图像和激光雷达数据中提取特征来执行配准任务,以建立相机姿势估计的对应关系。各种类型的标量变量或几何基元可用于形成共轭特征。根据和Haggrén(2012),使用人工特征的配准精度高于使用自然特征(如树冠)的配准精度。Palenichka和Zaremba(2010)结合强度描述符、区域形状特征和坐标,从LiDAR数据以及自然景观和带有人造物体的结构化场景的图像中自动提取控制点。局部尺度不变的图像特征,如尺度不变特征变换(SIFT)(Lowe,2004)也被广泛用于解决异构数据配准问题。和Becker(2007)利用SIFT特征检测器来匹配重飞图像和图像之间的相应特征点。其次,LiDAR数据边缘的离散采样点的线性特征也被用来配准LiDAR数据和图像。Habib等(2005)提出了一种利用线段对的激光雷达数据和影像的联合配准框架。
一般来说,基于区域的方法在很大程度上依赖于强度图像的质量和正确性,而强度图像的质量和正确性是由强度校准效果决定的。然而,微型无人机载激光雷达系统中的回波脉冲强度校准仍然是一个持续的研究问题。基于特征的配准方法旨在提取和匹配场景内的物理几何基元,使两个数据集对齐。在LiDAR数据和图像中寻找共轭特征是一项复杂的任务。不匹配的对应特征可能会导致配准结果的精度和鲁棒性降低。
因此,本专利以无人机MMS成像数据为研究对象,针对其数据特点,制定两步法配准模型应用策略,具体化距离成像与可见光成像数据两步法配准模型中定义的配准基元提取与匹配、由粗到精的配准算法,完成无人机MMS成像数据的配准。
发明内容
针对小型无人机激光点云数据与序列影像之间配准方法的欠缺和不足,本发明提出新的一种基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法。
为了解决上述技术问题,本发明采用如下的技术方案:
一种基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法,包括以下步骤:
步骤1,通过运动结构恢复方法恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素,进而通过多视立体匹配的方法由序列影像生成MVS影像密集点云;
步骤2,在LiDAR点云中进行建筑物屋顶配准基元提取,并通过激光提取结果引导序列影像中的配准基元的提取,最终形成同名角点匹配集合;
步骤3,根据同名角点匹配集合,解算2D-3D粗配准模型,获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系;
步骤4,将粗配准解算获得的空间坐标转换关系作为初始值,使用ICP算法变种,实现MVS影像密集点云与LiDAR点云之间的最优配准,获得序列影像的精确配准参数。
进一步的,步骤2的具体实现包括如下子步骤,
步骤2.1,选用标记点过程的方法实现LiDAR点云数据中的建筑物点云的提取,并且使用Recursive Minimum Bounding Rectangle算法进行建筑物外边界多边形提取与规则化,得到建筑物外框;
步骤2.2,将POS提供的定姿定位数据转换为相机外方位元素值,使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上,由于反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移,需要进行进一步的修正,具体修正方法如下,
(1)对反投影区域R1建立缓冲区,缓冲区宽度视区域内初始反投影误差定,在此区域内进行张量梯度统计,对于一张多通道影像f=(f1,f2,...,fn)T,n为影像通道数,其结构张量定义为:
其中,(ˉ)表示高斯核卷积运算,fx,fy表示水平与垂直方向上的梯度;对于彩色无人机影像f=(R,G,B)T,进行空间求导运算后,张量G的两个特征值按式2与式3计算:
其主方向按式4计算
λ1表示在主方向上的局部衍生能量,λ2表示在垂直主方向上的局部衍生能量,将张量G的主方向作为张量梯度方向(θ),其对应的λ1进行非局部最大值抑制后作为张量梯度的大小;
通过上述方法计算出R1缓冲区内每个像素点的张量梯度大小与方向,并得出缓冲区内张量梯度统计直方图,将所有的LiDAR建筑物外框反投影到序列影像上,分析反投影缓冲区区域内的张量梯度统计图,对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除,保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1’;
(2)旋转反投影区域R1’到张量梯度方向统计峰值的垂直方向,即建筑物长边方向,得到旋转后的R2区域;以R2区域为核,构建缓冲区,在R2的主方向与垂直主方向上进行缓冲区滑动,统计R2与其缓冲区构成的区域内的张量梯度大小的和,在局部极大响应处停止滑动,将此区域作为进行序列影像建筑物基元提取的最优选区R3;使用基于全局对比度显著性检测的分割方法,在R3区域内进行建筑序列物影像的分割,对分割结果进行轮廓提取,并使用RMBR算法进行规则化,即可得到规则化的序列影像建筑物配准基元;
步骤2.3,对于区域R3的外多边形角点和序列影像配准基元规则化后获得的外多边形角点,计算两个外多边形角点之间在像平面上的空间距离,并依据空间邻近性准则生成同名角点;同时,根据序列影像中选择的同名角点,获取MVS影像密集点云与LiDAR点云的同名角点匹配集合。
进一步的,步骤3的具体实现包括如下子步骤,
步骤3.1,使用同名角点匹配集合解算2D-3D配准模型,即公式(5),令序列影像的关键帧中一个建筑物外多边形角点的像空间坐标为m=(u,v,f)Tm=(u,v,f)T,其对应的建筑物角点在LiDAR数据中的坐标为Mlas=(X,Y,Z)T,则两角点之间的共线关系可表述为:
spnpm=A[Rpnp|tpnp]Mlas (5)
其中,A为已知的相机内参数矩阵,spnp为比例参数,Rpnp,tpnp组成相机的外参数矩阵,使用EPnP算法对其进行线性求解;
步骤3.2,根据MVS影像密集点云与LiDAR点云中的同名角点匹配集合,分别得到其在LiDAR参考坐标系和MVS影像密集点云所在的摄影测量坐标系中的点坐标,并解算三维空间相似变换;令在摄影测量坐标系(Cmvs)中的建筑物规则化外边界多边形角点为Mmvs,其对应角点在LiDAR参考坐标系(Cw)中的坐标为Mlas,则其之间的转换关系定义为Mlas=λRMmvs+T,其中λ,R,T分别为尺度、旋转与平移参数;对于n个同名角点对中的每3个同名角点对使用抗差SVD方法即可解算出一组(λ,R,T)。
进一步的,步骤4中的精配准过程分为两个子步骤,即粗配准模型参数到精配准模型初值的转换以及迭代最邻近点优化解算,具体实现如下,
步骤4.1,使用同名角点匹配集合完成粗配准后,通过最小化MVS点云与LiDAR点云之间的距离实现配准参数精化,其配准几何模型可表示为:
Mlas=λRMmvs+T (6)
2D-3D模型初值转换:令一像点为m,其在Cmvs中对应点为MMVS,在Cw中对应点为Mlas,则共线性关系可表达为:
sbundlem=A[Rbundle|tbundle]Mmvs (7)
其中sbundle为比例参数,[Rbundle|tbundle],[Rpnp|tpnp]分别为SfM与EPnP计算获得的影像外参数矩阵;将2D-3D模型中得到的影像外参数矩阵转换到式(6)中的R变量,实现2D-3D的转换,联立式(5)至(7)可得:
其中,R为旋转参数,表示Rpnp的逆,Rpnp表示EPnP计算获得的相机外参数矩阵,Rbundle表示SfM计算的影像外参数;令Ppnp(Xi,Yi,Zi)t,Pbundle(xi,yi,zi)t为相机在Cw与Cmvs中的坐标重心化后的相机位姿,则其尺度参数可通过式(9)计算,平移参数通过式(10)计算:
T=Ppnp-λRPbundle (10)
由公式(8)至(11)可知,一张粗配准影像对应一种Cw与Cmvs之间的空间旋转关系,多张配准影像则可实现对全部空间转换参数(λ,R,T)的求解;
步骤4.2,采用刚体空间相似变换模型作为MVS影像密集点云与LiDAR点云之间的配准模型,使用点到面距离差作为点对误差,则误差方程可表示为:
其中,mi,Mi分别为MVS影像密集点云与LiDAR点云,wi为点对权,ηi为Mi点法向量,(λ3d-3d,R3d-3d,T3d-3d)表示需要求解的最小化MVS影像密集点云与LiDAR点云点距离的空间相似变换,使用两步法配准模型中定义的ICP算法实现对式(11)的求解;基于最优摄影测量与LiDAR参考系之间的坐标转换(λ3d-3d,R3d-3d,T3d-3d),修正后的序列影像外方位元素(Rcam,Tcam)可表示为:
进一步的,步骤4.1中,进行全部空间转换参数(λ,R,T)的求解时,采用投票聚类的方法实现参数的稳健估计。
与现有技术相比,本发明具有以下优点和有益效果:
本发明可以较好解决初始配准误差较大或无初始配准参数条件下的无人机MMS采集的LiDAR点云数据与序列影像的配准问题,为后续的数据融合等处理提供较高的数据精度。
附图说明
图1为基于2D-3D模型转换的无人机激光点云数据与序列影像的配准方法流程图。
图2为序列影像生成的密集点云的示意图。
图3为LiDAR点云数据配准基元提取的示意图。
图4为LiDAR点云建筑物提取结果反投影到影像的示意图。
图5为激光建筑物外框提取先验知识引导下的影像建筑物区域确定的示意图。
图6为R3区域内的建筑物轮廓检测的示意图。
具体实施方式
以下结合附图和实施例对本发明技术方案进行说明。
选择武汉大学测绘遥感信息工程国家重点实验室研制的低空无人机多传感器采集系统Heli-Mapper得到的点云数据和序列影像对本发明提出的方法进行具体说明。参见图1,本发明实施例包含以下步骤:
步骤1,利用SfM方法(Structure from Motion,运动结构恢复)恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素,并且通过多视立体匹配方法得到由序列影像生成的MVS影像密集点云(图2)。
步骤2,在LiDAR点云中进行建筑物屋顶配准基元提取,并通过激光提取结果引导序列影像中的配准基元的提取,最终形成同名角点匹配集合。
上述步骤2进一步包含以下步骤:
步骤2.1,选用标记点过程的方法(Yang et al.,2013)实现LiDAR点云数据中的建筑物点云的提取,并且使用RMBR(Recursive Minimum Bounding Rectangle)算法(Kwak,2013)进行建筑物外边界多边形提取与规则化,得到建筑物外框,如图3所示。
步骤2.2,将POS提供的定姿定位数据转换为相机外方位元素值,使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上(图4)。但由于POS数据质量以及系统标定、传感器同步误差,反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移(图5(a)),需要进行进一步的修正。
具体修正方法如下:使用R1缓冲区域内的张量梯度统计,确定建筑物在序列影像中所在的区域。对反投影区域R1建立缓冲区,缓冲区宽度视区域内初始反投影误差定(经验值50-200像素),在此区域内进行张量梯度统计。对于一张多通道影像f=(f1,f2,...,fn)T,n为影像通道数,其结构张量定义为:
其中,(ˉ)表示高斯核卷积运算,fx,fy表示水平与垂直方向上的梯度。结构张量描述了影像的局部差分结构,多见其在影像角点、边缘检测中的研究。对于彩色无人机影像f=(R,G,B)T。进行空间求导运算后,张量G的两个特征值按式2与式3计算:
其主方向按式4计算
λ1表示在主方向上的局部衍生能量(Derivative Energy.),λ2表示在垂直主方向上的局部衍生能量。将张量G的主方向作为张量梯度方向(θ),其对应的λ1进行非局部最大值抑制(Non-Maximum Suppression)后作为张量梯度的大小。
通过上述方法即可计算出R1缓冲区内每个像素点的张量梯度大小与方向,并得出缓冲区内张量梯度统计直方图。将所有的LiDAR建筑物外框反投影到序列影像上,分析反投影缓冲区区域内的张量梯度统计图,对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除,保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1。
通过以下步骤进一步对建筑物区域范围精化:旋转反投影区域R1到张量梯度方向统计峰值的垂直方向,即建筑物长边方向,得到旋转后的R2区域(图5(b));以R2区域为核,构建缓冲区,在R2的主方向与垂直主方向上进行缓冲区滑动,统计R2与其缓冲区构成的区域内的张量梯度大小的和,在局部极大响应处停止滑动,将此区域作为进行序列影像建筑物基元提取的最优选区(R3,其中半透明部分为缓冲区区域,图5(c))。在确定序列影像建筑物所处区域后,此局部区域(图6(a))内建筑物呈现高全局显著性。使用基于全局对比度显著性检测的分割方法(RCC,Region Contrast Cut),在R3区域内进行建筑物序列影像的分割(图6(b))。对分割结果进行轮廓提取(图6(c)),并使用RMBR算法进行规则化即可得到规则化的序列影像建筑物配准基元(图6(d))。
步骤2.3,将LiDAR点云配准基元进行反投影(图4)获得区域R3(图5c)的外多边形角点,序列影像配准基元规则化后获得的外多边形角点(图6d)。计算两个外多边形角点之间在像平面上的空间距离,并依据空间邻近性准则生成同名角点。同时,根据序列影像中选择的同名角点,获取密集点云与Lidar点云的同名角点匹配集合。
步骤3,基于同名角点匹配集合进行粗配准,获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系,具体包含以下步骤:
步骤3.1,使用同名角点匹配集合解算2D-3D配准模型,即公式(5)。令序列影像的关键帧中一个建筑物外多边形角点的像空间坐标为m=(u,v,f)T,其对应的建筑物角点在LiDAR数据中的坐标为Mlas=(X,Y,Z)T,则两角点之间的共线关系可表述为:
spnpm=A[Rpnp|tpnp]Mlas (5)
其中,A为已知的相机内参数矩阵,spnp为比例参数,[Rpnp|tpnp]为EPnP计算获得的相机外参数矩阵。式(5)描述了一个物点与像点的共线问题,本文使用EPnP算法(Lepetitet al.,2009)对其进行线性求解。建筑物规则化外多边形同时提供了共线、共面等几何特性,可以作为约束条件对EPnP结果进行迭代优化,例如(Lepetit et al.,2009)提出的线对共面约束配准算法。具体可参考:
LEPETIT V,MORENO-NOGUER F,FUA P.EPnP:An Accurate O(n)Solution to thePnP Problem[J].International Journal of Computer Vision,2009,81(2):155-166.
HABIB A,GHANMA M,MORGAN M,et al.Photogrammetric and LiDAR dataregistration using linear features[J].Photogrammetric engineering and remotesensing,2005,71(6):699-707.
步骤3.2,根据MVS影像密集点云与LiDAR点云中的同名角点匹配集合,分别得到其在LiDAR参考坐标系和MVS影像密集点云所在的摄影测量坐标系中的点坐标,并解算三维空间相似变换;令在摄影测量坐标系(Cmvs)中的建筑物规则化外边界多边形角点为Mmvs,其对应角点在LiDAR参考坐标系(Cw)中的坐标为Mlas,则其之间的转换关系定义为Mlas=λRMmvs+T,其中λ,R,T分别为尺度、旋转与平移参数;对于n个同名角点对中的每3个同名角点对使用抗差SVD方法即可解算出一组(λ,R,T)。
步骤4,包含粗配准模型的初值转换和精配准计算。
步骤4.1,精配准模型初值转换。
使用配准基元对完成粗配准后,通过最小化MVS点云与LiDAR点云之间的距离实现配准参数精化,其配准几何模型可表示为:
Mlas=λRMmvs+T (6)
精配准过程分为两个步骤,即粗配准模型参数到精配准模型初值的转换以及迭代最邻近点优化解算。在本步骤中需要对2D-3D模型中得到的影像外参数矩阵转换到式(6)中的R变量,实现2D-3D的转换。
2D-3D模型初值转换:令一像点为m,其在Cmvs中对应点为MMVS,在Cw中对应点为Mlas,则共线性关系可表达为:
sbundlem=A[Rbundle|tbundle]Mmvs (7)
其中sbundle为比例参数,[Rbundle|tbundle]为SfM计算获得的影像外参数矩阵;将2D-3D模型中得到的影像外参数矩阵转换到式(6)中的R变量,实现2D-3D的转换,联立式(5)至(7)可得:
其中R为旋转参数,表示Rpnp的逆,Rpnp表示EPnP计算获得的相机外参数矩阵,Rbundle表示SfM计算的影像外参数,Ppnp(Xi,Yi,Zi)t,令Pbundle(xi,yi,zi)t为相机在Cw与Cmvs中的坐标重心化后的相机位姿,则其尺度参数可通过式(9)计算,平移参数通过式(10)计算:
T=Ppnp-λRPbundle (10)
由公式(8)至(10)可知,一张粗配准影像对应一种Cw与Cmvs之间的空间旋转关系,多张配准影像则可实现对全部空间转换参数(λ,R,T)的求解;
为实现(λ,R,T)的稳健,采用投票聚类的方法实现参数的稳健估计(Fernandesand Oliveira,2008)。
FERNANDES L A F,OLIVEIRA M M.Real-time line detection through animproved Hough transform voting scheme[J].Pattern Recognition,2008,41(1):299-314.
步骤4.2,迭代最近邻点模型参数优化。无人机LiDAR点云数据范围覆盖小,作业时间短,在进行激光点云航带平差后,其内部的非线性变形幅度可忽略不计,可以认为其不存在非刚体形变。故采用刚体空间相似变换模型作为MVS影像密集点云与LiDAR点云之间的配准模型。使用点到面距离差作为点对误差,则误差方程可表示为:
其中,mi,Mi分别为MVS影像密集点云与LiDAR点云,wi为点对权,ηi为Mi点法向量,(λ3d-3d,R3d-3d,T3d-3d)表示需要求解的最小化MVS影像密集点云与LiDAR点云点距离的空间相似变换,使用两步法配准模型中定义的ICP算法(RUSINKIEWICZ S,LEVOY M.Efficientvariants of the ICP algorithm[C].Third International Conference on 3-DDigital Imaging and Modeling,Quebec City,Canada.,2001:145-152.)实现对式(11)的求解;基于最优摄影测量与LiDAR参考系之间的坐标转换(λ3d-3d,R3d-3d,T3d-3d),修正后的序列影像外方位元素(Rcam,Tcam)可表示为:
下面将结合具体实例应用进一步说明本发明的技术方案及有益效果。
利用Heli-Mapper采集到的梁子湖区域的数据集,经过本发明方法处理之后,其配准平均误差为0.075m(水平方向)和0.072m(竖直方向)。说明本发明可提供较高精度的激光点云与序列影像的配准结果。
具体实施时,本发明提供的流程可采用软件技术实现自动运行。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (5)
1.基于2D-3D转换的无人机激光点云与序列影像配准方法,其特征在于,包括如下步骤:
步骤1,通过运动结构恢复方法恢复标定相机采集的序列影像在摄影测量坐标系中的外方位元素,进而通过多视立体匹配的方法由序列影像生成MVS影像密集点云;
步骤2,在LiDAR点云中进行建筑物屋顶配准基元提取,并通过激光提取结果引导序列影像中的配准基元的提取,最终形成同名角点匹配集合;
步骤3,根据同名角点匹配集合,解算2D-3D粗配准模型,获得摄影测量坐标系与LiDAR参考坐标系之间的初始转换关系;
步骤4,将粗配准解算获得的空间坐标转换关系作为初始值,使用ICP算法变种,实现MVS影像密集点云与LiDAR点云之间的最优配准,获得序列影像的精确配准参数。
2.如权利要求1所述的基于2D-3D转换的无人机激光点云与序列影像配准方法,其特征在于:步骤2的具体实现包括如下子步骤,
步骤2.1,选用标记点过程的方法实现LiDAR点云数据中的建筑物点云的提取,并且使用Recursive Minimum Bounding Rectangle算法进行建筑物外边界多边形提取与规则化,得到建筑物外框;
步骤2.2,将POS提供的定姿定位数据转换为相机外方位元素值,使用共线方程将步骤2.1中提取到的建筑物外框反投影到所有序列影像上,由于反投影后的建筑物外框与真实的影像建筑物位置之间存在严重的位置和方向偏移,需要进行进一步的修正,具体修正方法如下,
(1)对反投影区域R1建立缓冲区,缓冲区宽度视区域内初始反投影误差定,在此区域内进行张量梯度统计,对于一张多通道影像f=(f1,f2,...,fn)T,n为影像通道数,其结构张量定义为:
其中,(ˉ)表示高斯核卷积运算,fx,fy表示水平与垂直方向上的梯度;对于彩色无人机影像f=(R,G,B)T,进行空间求导运算后,张量G的两个特征值按式2与式3计算:
其主方向按式4计算
λ1表示在主方向上的局部衍生能量,λ2表示在垂直主方向上的局部衍生能量,将张量G的主方向作为张量梯度方向(θ),其对应的λ1进行非局部最大值抑制后作为张量梯度的大小;
通过上述方法计算出R1缓冲区内每个像素点的张量梯度大小与方向,并得出缓冲区内张量梯度统计直方图,将所有的LiDAR建筑物外框反投影到序列影像上,分析反投影缓冲区区域内的张量梯度统计图,对于不具备矩形、L形张量梯度方向统计特性的区域进行剔除,保留区域内存在单峰、双峰张量梯度方向特性的反投影区域R1’;
(2)旋转反投影区域R1’到张量梯度方向统计峰值的垂直方向,即建筑物长边方向,得到旋转后的R2区域;以R2区域为核,构建缓冲区,在R2的主方向与垂直主方向上进行缓冲区滑动,统计R2与其缓冲区构成的区域内的张量梯度大小的和,在局部极大响应处停止滑动,将此区域作为进行序列影像建筑物基元提取的最优选区R3;使用基于全局对比度显著性检测的分割方法,在R3区域内进行建筑序列物影像的分割,对分割结果进行轮廓提取,并使用RMBR算法进行规则化,即可得到规则化的序列影像建筑物配准基元;
步骤2.3,对于区域R3的外多边形角点和序列影像配准基元规则化后获得的外多边形角点,计算两个外多边形角点之间在像平面上的空间距离,并依据空间邻近性准则生成同名角点;同时,根据序列影像中选择的同名角点,获取MVS影像密集点云与LiDAR点云的同名角点匹配集合。
3.如权利要求1所述的基于2D-3D转换的无人机激光点云与序列影像配准方法,其特征在于:步骤3的具体实现包括如下子步骤,
步骤3.1,使用同名角点匹配集合解算2D-3D配准模型,即公式(5),令序列影像的关键帧中一个建筑物外多边形角点的像空间坐标为m=(u,v,f)Tm=(u,v,f)T,其对应的建筑物角点在LiDAR数据中的坐标为Mlas=(X,Y,Z)T,则两角点之间的共线关系可表述为:
spnpm=A[Rpnp|tpnp]Mlas (5)
其中,A为已知的相机内参数矩阵,spnp为比例参数,Rpnp,tpnp组成相机的外参数矩阵,使用EPnP算法对其进行线性求解;
步骤3.2,根据MVS影像密集点云与LiDAR点云中的同名角点匹配集合,分别得到其在LiDAR参考坐标系和MVS影像密集点云所在的摄影测量坐标系中的点坐标,并解算三维空间相似变换;令在摄影测量坐标系(Cmvs)中的建筑物规则化外边界多边形角点为Mmvs,其对应角点在LiDAR参考坐标系(Cw)中的坐标为Mlas,则其之间的转换关系定义为Mlas=λRMmvs+T,其中λ,R,T分别为尺度、旋转与平移参数;对于n个同名角点对中的每3个同名角点对使用抗差SVD方法即可解算出一组(λ,R,T)。
4.如权利要求3所述的基于2D-3D转换的无人机激光点云与序列影像配准方法,其特征在于:步骤4中的精配准过程分为两个子步骤,即粗配准模型参数到精配准模型初值的转换以及迭代最邻近点优化解算,具体实现如下,
步骤4.1,使用同名角点匹配集合完成粗配准后,通过最小化MVS点云与LiDAR点云之间的距离实现配准参数精化,其配准几何模型可表示为:
Mlas=λRMmvs+T (6)
2D-3D模型初值转换:令一像点为m,其在Cmvs中对应点为MMVS,在Cw中对应点为Mlas,则共线性关系可表达为:
sbundlem=A[Rbundle|tbundle]Mmvs (7)
其中sbundle为比例参数,[Rbundle|tbundle],[Rpnp|tpnp]分别为SfM与EPnP计算获得的影像外参数矩阵;将2D-3D模型中得到的影像外参数矩阵转换到式(6)中的R变量,实现2D-3D的转换,联立式(5)至(7)可得:
其中,R为旋转参数,表示Rpnp的逆,Rpnp表示EPnP计算获得的相机外参数矩阵,Rbundle表示SfM计算的影像外参数;令Ppnp(Xi,Yi,Zi)t,Pbundle(xi,yi,zi)t为相机在Cw与Cmvs中的坐标重心化后的相机位姿,则其尺度参数可通过式(9)计算,平移参数通过式(10)计算:
T=Ppnp-λRPbundle (10)
由公式(8)至(11)可知,一张粗配准影像对应一种Cw与Cmvs之间的空间旋转关系,多张配准影像则可实现对全部空间转换参数(λ,R,T)的求解;
步骤4.2,采用刚体空间相似变换模型作为MVS影像密集点云与LiDAR点云之间的配准模型,使用点到面距离差作为点对误差,则误差方程可表示为:
其中,mi,Mi分别为MVS影像密集点云与LiDAR点云,wi为点对权,ηi为Mi点法向量,(λ3d-3d,R3d-3d,T3d-3d)表示需要求解的最小化MVS影像密集点云与LiDAR点云点距离的空间相似变换,使用两步法配准模型中定义的ICP算法实现对式(11)的求解;基于最优摄影测量与LiDAR参考系之间的坐标转换(λ3d-3d,R3d-3d,T3d-3d),修正后的序列影像外方位元素(Rcam,Tcam)可表示为:
5.如权利要求4所述的基于2D-3D转换的无人机激光点云与序列影像配准方法,其特征在于:步骤4.1中,进行全部空间转换参数(λ,R,T)的求解时,采用投票聚类的方法实现参数的稳健估计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011620678.1A CN112767459A (zh) | 2020-12-31 | 2020-12-31 | 基于2d-3d转换的无人机激光点云与序列影像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011620678.1A CN112767459A (zh) | 2020-12-31 | 2020-12-31 | 基于2d-3d转换的无人机激光点云与序列影像配准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112767459A true CN112767459A (zh) | 2021-05-07 |
Family
ID=75698498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011620678.1A Pending CN112767459A (zh) | 2020-12-31 | 2020-12-31 | 基于2d-3d转换的无人机激光点云与序列影像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767459A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658190A (zh) * | 2021-06-29 | 2021-11-16 | 桂林理工大学 | 张量投票的面特征航带平差方法 |
CN114757983A (zh) * | 2022-04-27 | 2022-07-15 | 四川大学 | 一种无人机和三维激光扫描联合监测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103017739A (zh) * | 2012-11-20 | 2013-04-03 | 武汉大学 | 基于激光雷达点云与航空影像的真正射影像的制作方法 |
-
2020
- 2020-12-31 CN CN202011620678.1A patent/CN112767459A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103017739A (zh) * | 2012-11-20 | 2013-04-03 | 武汉大学 | 基于激光雷达点云与航空影像的真正射影像的制作方法 |
Non-Patent Citations (2)
Title |
---|
陈驰 等: "《车载MMS激光点云与序列全景影像自动配准方法》", 《测绘学报》 * |
陈驰 等;: "《低空UAV激光点云和序列影像的自动配准方法》", 《测绘学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658190A (zh) * | 2021-06-29 | 2021-11-16 | 桂林理工大学 | 张量投票的面特征航带平差方法 |
CN114757983A (zh) * | 2022-04-27 | 2022-07-15 | 四川大学 | 一种无人机和三维激光扫描联合监测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
Yang et al. | Automatic registration of UAV-borne sequent images and LiDAR data | |
CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模系统 | |
Abayowa et al. | Automatic registration of optical aerial imagery to a LiDAR point cloud for generation of city models | |
CN106780712B (zh) | 联合激光扫描和影像匹配的三维点云生成方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
CN112465849B (zh) | 一种无人机激光点云与序列影像的配准方法 | |
CN111046776A (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
CN112465732A (zh) | 一种车载激光点云与序列全景影像的配准方法 | |
JP4058293B2 (ja) | レーザスキャナデータと空中写真画像を用いた高精度都市モデルの生成方法及び高精度都市モデルの生成システム並びに高精度都市モデルの生成のプログラム | |
CN103839286B (zh) | 一种对象语义约束的真正射影像优化采样方法 | |
CN112767461A (zh) | 激光点云与序列全景影像自动配准方法 | |
Karsli et al. | Automatic building extraction from very high-resolution image and LiDAR data with SVM algorithm | |
CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
Nagy et al. | SFM and semantic information based online targetless camera-LIDAR self-calibration | |
Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
Zhang et al. | Lidar-guided stereo matching with a spatial consistency constraint | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
Zhao et al. | Alignment of continuous video onto 3D point clouds | |
CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
CN116883590A (zh) | 一种三维人脸点云优化方法、介质及系统 | |
CN107784666B (zh) | 基于立体影像的地形地物三维变化检测和更新方法 | |
Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
Chen et al. | True orthophoto generation using multi-view aerial images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |
|
RJ01 | Rejection of invention patent application after publication |