CN103426165A

CN103426165A - 一种地面激光点云与无人机影像重建点云的精配准方法

Info

Publication number: CN103426165A
Application number: CN2013102646502A
Authority: CN
Inventors: 吴立新; 沈永林
Original assignee: Individual
Current assignee: Individual
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2013-12-04

Abstract

本发明涉及一种地面激光点云(地基)与无人机影像重建点云(空基)的精配准方法，该方法在影像三维重建及点云粗配准的基础上，生成地面激光点云与无人机影像重建点云的重叠区；然后遍历重叠区内的地基影像，利用特征点提取算法提取地基影像特征点，并搜索各特征点对应地基点云邻域范围内的空基点云，取出与之匹配的空基影像特征点，从而建立同名特征点集；根据提取的地基影像和空基影像的同名特征点集，以及坐标系统间的转换关系式，估计出两种点云的坐标转换矩阵，实现精配准处理。本发明通过提取地面激光点云所对应影像与无人机影像重建点云对应影像的同名特征点，间接获取两种点云数据的转换参数，从而提高点云配准的精度和可靠度。

Description

一种地面激光点云与无人机影像重建点云的精配准方法

技术领域

本发明涉及地球空间信息协同观测技术领域，具体涉及一种空地三维点云数据的精配准方法。

背景技术

多视角三维重建及空地联合监测可为城市化管理、资源调查、减灾应急等提供决策支持。现实物体的三维模型获取方法主要分为主动方法和被动方法。其中，主动方法以激光探测和测距技术(Light Detection And Ranging，LiDAR)为代表；被动方法则指基于二维立体影像的三维重建方法。通常，地面LiDAR系统(地面激光扫描系统)可直接获取地面三维点云数据，并附带影像纹理数据和测站GPS位置信息。而基于影像的三维重建技术具有低成本、灵活和能够直接获取彩色纹理等特点。联合地面激光扫描系统(地基)和无人机影像获取平台(空基)，结合三维点云数据的主动和被动获取方式，将大大拓展大场景三维模型的应用领域。当前，基于影像三维重建技术取得了突出进展，在图像特征提取、特征匹配、相机标定、重建方法等方面也都获得了令人瞩目的成果，比如，针对城市级大场景影像三维重建，美国华盛顿大学利用并行计算技术实现了“一日罗马”影像三维重建；美国北卡罗莱纳大学则利用单台家用计算机结合4张图形加速卡(GPU)完成该项工作；瑞士洛桑联邦理工大学将影像与已有基础地理数据配准实现动态、稳健的大场景影像三维重建。由于地面激光点云获取的是致密、侧视、局部地面实体的三维信息，而无人机影像重建点云则获取的是相对稀疏、俯视、大场景地面三维信息，故这两种点云数据的精配准成为空地联合监测的瓶颈问题。

地面激光点云与无人机影像重建点云存在以下3个比较大的差异：1)具有不同的点云密度，即地面激光点云致密，而无人机影像重建点云相对稀疏；2)具有不同的数据获取视角，即地面激光点云为侧视，而无人机影像重建点云为俯视；3)具有不同的数据获取关注范围，即地面激光点云关注于地面局部实体三维信息的扫描，而无人机影像重建点云则关注于大场景、大范围地面三维信息的数据获取。目前，对于地面激光点云与无人机影像重建点云的配准，大多采用直接从点云数据中提取点、线、面等特征，寻找两种点云的同名匹配，实现点云转换参数的估计。然而，此类方法的难点在于很难从两种点云中找到相匹配的点、线、面特征，且需要过多的人工干预。由于地面激光扫描系统在获取点云数据的同时，也采集了与之相对应的影像数据，故通过提取空基和地基点云各自对应影像的同名特征点，可间接获取空基和地基点云的转换参数，实现地面激光点云和无人机影像重建点云的配准。该思路的难点在于，地基影像和空基影像的拍摄角度相差较大，常规SIFT、PCA-SIFT、SURF等影像特征点提取算法很难提取出匹配的同名特征点。虽然仿射尺度不变特征检测算法(Affine ScaleInvariant Feature Transform，ASIFT)的出现改变了角度相差较大影像自动匹配的窘境，但由于单景空基和地基影像涵盖的地物内容相差很大，即地基影像获取的是局部实体的信息，而无人机影像包含更为丰富的地物内容，地面激光点云与无人机影像重建点云配准的难度依然很大。对于该难题，利用地面激光扫描系统自身的GPS信息和无人机飞控数据(提供无人机地理坐标、高度以及飞行姿态信息)各自的地理位置信息，实现地面激光点云与无人机影像重建点云的粗配准至关重要。该处理可减小点云邻域搜索范围、减少迭代次数、降低算法的复杂度、提升地面激光点云与无人机影像重建点云配准的效率和准确度。

空地联合监测是国家十二五规划中重点关注的内容，无人机系统和地面激光扫描系统以其各自的优势在监测应用中发挥作用。作为空地联合监测一部分，地面激光点云与无人机影像重建点云的配准方法研究刻不容缓，且是一项很具有挑战性的技术领域。本方法通过提取地面激光点云所对应影像与无人机影像重建点云对应影像的同名特征点，间接获取两种点云数据的转换参数，实现地面激光点云所对应影像与无人机影像重建点云的精配准。这将使空地点云数据的快速、稳健的精配准成为可能，也将为空地联合监测、三维重建、变化检测等提供技术支持。

参考文献：

[1]Agarwal，S.，N.Snavely，et al.Building Rome in a Day.International Conference on ComputerVision.2009，Kyoto，Japan.

[2]Frahm，J.-M.，P.Georgel，et al.Building Rome on a Cloudless Day.ECCV2010，2010.

[3]Strecha，C.，T.Pylvanainen，et al.Dynamic and Scalable Large Scale Image Reconstruction.Proceedings of23rd IEEE Conference on Computer Vision and Pattern Recognition，2010.

[4]沈永林，刘军，吴立新，李发帅，王植.基于无人机影像和飞控数据的灾场重建方法研究.地理与地理信息科学，27(6)：13-17，2011.

[5]Morel，J.M.and Yu，G.ASIFT：A New Framework for Fully Affine Invariant Image Comparison.SIAM Journal on Imaging Sciences.2009，2(2)：438-469.

发明内容

本发明的目的是针对空地协同观测而设计的一种地面激光扫描点云(地基)与无人机影像重建点云(空基)的精配准方法。该方法通过提取空基和地基点云所对应影像的同名特征点，间接获取空基和地基点云的转换参数，实现地面LiDAR与无人机影像重建点云的精配准。通常地面LiDAR与无人机影像重建点云配准的过程中存在以下3个方面的问题：1)分辨率不一致，即地面LiDAR数据稠密、分辨率高，而无人机影像重建点云相对稀疏、分辨率较低；2)数据获取的角度相差较大，即地面LiDAR为侧视扫描，而无人机为俯视获取地面影像；3)单景影像涵盖的地物内容相差较大，即地面激光扫描系统影像获取的是局部实体的信息，而无人机影像包含更为丰富的地物内容。这些因素不可避免的增加了地面LiDAR与无人机影像重建点云配准的难度。

为了解决上述问题，本发明提供了一种地面激光点云与无人机影像重建点云的精配准方法。所述方法包括以下几个步骤：

S1：利用地基(地面LiDAR系统)GPS信息和空基(无人机影像获取平台)飞控数据(提供无人机地理坐标、高度以及飞行姿态信息)各自的地理位置信息，实现地面激光点云与无人机影像重建点云的粗配准，并划分出两种点云的重叠区；

S2：遍历重叠区内的地面激光点云，搜索与之对应的地基影像，并利用特征点提取算法提取地基影像特征点；搜索地基点云邻域范围内的空基点云，找到相应的空基影像集，取出与地基影像特征点匹配的空基影像特征点，从而建立同名特征点集；

S3：根据提取的地基影像和空基影像同名特征点集，利用相关坐标系间(图像坐标系、成像平面坐标系、摄像机坐标系、激光扫描仪自身坐标系、工程坐标系和地理坐标系)的转换关系式，估计出地面激光点云与无人机影像重建点云的坐标转换矩阵，从而实现两种点云的精配准。

其中，所述方法在步骤S1之前还包括步骤：

SA：搭载相机的内标定，以确定空基相机和地基相机的内参数；

SB：空基影像的三维重建，即利用ASIFT算法提取影像特征点，建立影像匹配描述子、利用SfM(运动恢复结构)方法实现空基影像三维重建，并利用飞控数据实现重建点云数据的地理注册。

其中，所述方法的步骤S1中，通过分别构建地基点云与空基点云的外凸包多边形，结合矢量运算布尔准则提取重叠区；

其中，所述方法的步骤S1中，特征点地理坐标由相机的内标定参数、数据获取时得到的影像与点云转换参数、GPS位置信息等计算得到；

其中，所述方法的步骤S2中，地基影像遍历过程是互不干扰的，故可采用并行化计算，提升配准的效率；

其中，所述方法的步骤S2中，所关联的空基影像，由利用GPS误差设定的缓冲区半径和转换参数共同确定；

其中，所述方法的步骤S2中，特征描述子字典中的地基特征点与空基特征点是一对多的关系；

其中，所述方法的步骤S2中，同名点字典中地基特征点与空基特征点是一对一的关系；

其中，所述方法的步骤S3中，利用RANSAC算法解决基本矩阵中误匹配问题。

利用本发明提供的方法，通过提取地基影像和空基影像同名点的方式，间接地建立地基点云和空基点云的转换参数，可以完成地面LiDAR与无人机影像重建点云的精配准。先利用空基和地基所提供的GPS位置信息实现地理粗配准，可提升配准的精度和效率；采用ASIFT算法可以有效解决空基和地基多角度观测问题；利用GPS定位精度确定搜索范围，可降低影像匹配算法的复杂度，为大场景空地联合观测提供支撑。

附图说明

图1为本发明提供的一种地面激光点云与无人机影像重建点云的精配准方法流程图；

图2为本发明实施例中用于空基与地基坐标系转换的示意图；

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

1.定义

1.1.坐标系统定义

PXCS：图像坐标系(pixel coordinate system)，以图像像素为单位的二维直角坐标系；

RTCS：成像平面坐标系(retinal coordinate system)，以像主点为原点，以摄像机物理单位度量的成像平面坐标系；

CMCS：摄像机坐标系(camera coordinate system)，以摄像机光心为原点，摄像机光轴方向为Z方向，平行于成像平面为X-Y面的空间直角坐标系；

SOCS：激光扫描仪自身坐标系(scanner′s own coordinate system)；以激光器为原点，旋转平面为X-Y面，扫描方向为Z方向的空间直角坐标系；

PRCS：工程坐标系(project coordinate system)；由用户所定义的局部坐标系；

GOCS：地理坐标系(geographic coordinate system)，全局坐标系；

1.2.符号定义

I_G：地面LiDAR系统获取的影像；

V_G：地面LiDAR系统获取的点云数据；

P_G：地面LiDAR系统获取的GPS站位信息；

I_A：无人机系统获取的影像；

V_A：无人机影像重建点云；

P_A：无人机系统自身的飞控数据；

地基图像坐标系PXCS与成像平面坐标系RTCS的转换参数；

地基成像平面坐标系RTCS与摄像机坐标系CMCS的转换参数；

地基摄像机坐标系CMCS与激光扫描仪自身坐标系SOCS的转换参数；

地基激光扫描仪自身坐标系SOCS与工程坐标系PRCS的转换参数；

地基工程坐标系PRCS与地理坐标系GOCS的转换参数；

空基图像坐标系PXCS与成像平面坐标系RTCS的转换参数；

空基成像平面坐标系RTCS与摄像机坐标系CMCS的转换参数；

空基摄像机坐标系CMCS与工程坐标系PRCS的转换参数；

空基工程坐标系PRCS与地理坐标系GOCS的转换参数；

V_G与V_A间的转换参数，即精配准参数。

2.数据获取及预处理

2.1硬件平台及设备校验

硬件设备由空基和地基两部分组成。其中，空基平台涵盖无人机平台(固定翼或多旋翼)、飞控或POS系统、数码相机等；地基平台主要为地面LiDAR系统(包括地面激光扫描仪、数码相机、GPS等)。

在地面LiDAR系统仪器校验的过程中，可获得从图像坐标系PXCS至成像平面坐标系RTCS的转换参数

获得从成像平面坐标系RTCS至摄像机坐标系CMCS的转换矩阵

在无人机系统相机标定的过程中，可获得从PXCS至RTCS的转换参数

从RTCS至CMCS的转换矩阵

2.2数据获取

通过空地联合观测，无人机系统获取影像数据I_A和飞控数据P_A；地面LiDAR系统获取致密点云V_G、对应的影像I_G，以及扫描站点位置信息P_G。

在地面LiDAR数据获取的过程中，同样可获得V_G与I_G间的转换矩阵

通过多站点拼接处理可获得从激光扫描仪自身坐标系SOCS至工程坐标系PRCS的转换参数

结合扫描站点位置信息P_G，可获得从工程坐标系PRCS至地理坐标系GOCS的转换参数

2.3针对I_A的影像三维重建

利用ASIFT算法实现影像特征提取与匹配，生成三维点云数据。其中，特征点提取与匹配过程中均可采用GPU并行化处理，提高数据处理的效率。在影像三维重建的过程中，可获得从摄像机坐标系CMCS至工程坐标系PRCS的转换矩阵

利用无人机系统自身的飞控数据P_A实现点云数据的地理注册，从而获得从工程坐标系PRCS至地理坐标系GOCS的转换参数

详细的实现方法可参考文献[1]和[2]。至此，图1中所有实线标示的转换参数，均通过设备校验、数据获取、影像三维重建的过程中获得。接下来的操作目的是获取I_A与I_G间的同名点(HPs)、V_G与V_A间的转换参数

2.4V_G与V_A的粗配准

利用粗精度的地面LiDAR系统GPS站位信息P_G和无人机飞控提供的位置信息P_A，可实现空基点云V_G与地基点云V_A的粗匹配。

3.V_G与V_A的精配准

3.1点云重叠区提取

根据V_G与V_A粗配准结果，分别构建V_G与V_A的外凸包多边形，然后利用矢量布尔运算计算出两点云的重叠区，记作OL。后续操作仅针对重叠区OL进行。

3.2I_A与I_G的特征点匹配

I_A与I_G的同名点提取采用以下步骤：

1)假设地基影像I_G集包含有N_G张影像，第m张影像记作其中m＝1，...，N_G；利用ASIFT算法提取

上的仿射尺度不变特征点；特征点个数为S个；构成的特点点集记作其中

F_{m}^{G} = {F_{m}^{G} (1), . . ., F_{m}^{G} (S)};

2)利用已知的

和转换参数，计算特征点所处GOCS下的坐标，记作

其中i＝1，...，S；

3)判断是否在重叠区OL内。若不在OL区域内，则返回步骤2)处理下一特征点

否则执行下一步操作；

4)确定以

为中心，缓冲区R范围内(通常，R的大小以2倍GPS单点定位的精度来确定，比如R＝10m)所包含的空基点云数据集，记作G_A，并记点个数为K；

5)G_A集的第j个空基点云数据，记作G^A(j)，其中j＝1，...，K。根据V_A与I_A的关联性，可检索出G^A(j)所对应的空基影像集I′_A，集合内元素的个数为N′_A，第n张影像记作其中n＝1，...，N′_A。G^A(j)在第n张影像中对于的ASIFT特征描述子记为

6)计算ASIFT描述子

与

的向量欧氏距离，并存入“特征描述子字典”D_m中。特征描述子字典采用列表的方式，记录地基图像的序列号、特征点位置及对应的地理坐标、空基图像的序列号、特征点位置及对应的地理坐标、欧氏距离等；

7)返回步骤5)，处理第n+1张影像。重复第5)和6)步操作，直至N′_A张图像遍历完毕。

8)返回步骤5)，处理第j+1个空基点云数据。重复第5)、6)和7)步操作，直至缓冲区R范围内的K个空基点云数据遍历完毕；

9)对“特征描述子字典”D_m，根据欧氏距离的大小进行排序，找出最小距离的同名点对。若该点对的欧氏距离小于给定阈值th，那么将该同名点对存入“同名点字典”D中；“同名点字典”D同样采用列表的方式，记录地基图像的序列号、特征点位置及对应的地理坐标、空基图像的序列号、特征点位置及对应的地理坐标等；

10)重复1)～9)步骤，直至N_G张影像遍历完毕。

其中，1)～10)遍历的过程中，可采用并行的方式，提高算法计算的效率。根据上述操作，我们获取到I_A与I_G的“同名点字典”D，即图1标示HPs的参数。根据“同名点字典”D记录的同名点空基和地基地理坐标，利用随机抽样一致性算法(RANSAC算法)，排除转换参数

计算过程中的异质点，提高参数计算的精度。最后，根据转换参数

便可实现地面LiDAR与无人机影像重建点云的精配准。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由其权利要求限定。

Claims

1.一种地面激光点云与无人机影像重建点云的精配准方法，其特征在于，所述方法包括以下步骤：

S1：利用地基(地面激光扫描系统)GPS信息和空基(无人机影像获取平台)飞控数据(提供无人机地理坐标、高度以及飞行姿态信息)各自的地理位置信息，实现地面激光点云与无人机影像重建点云的粗配准，并划分出两种点云的重叠区；

2.如权利要求1所述的一种地面激光点云与无人机影像重建点云的精配准方法，其特征在于，所述方法在步骤S1之前还包括步骤：

3.如权利要求1所述的一种地面激光点云与无人机影像重建点云的精配准方法，其特征在于，所述步骤S1中，通过分别构建地基点云与空基点云的外凸包多边形，结合矢量运算布尔准则提取重叠区。

4.如权利要求1所述的一种地面激光点云与无人机影像重建点云的精配准方法，其特征在于，所述步骤S2中，邻域搜索范围的设置依据GPS设备的定位精度。

5.如权利要求1所述的一种地面激光点云与无人机影像重建点云的精配准方法，其特征在于，所述步骤S2中，地基影像特征点和空基影像特征点的同名判断准则，是以特征点ASIFT描述子的欧氏距离相关的。

6.如权利要求1所述的一种地面激光点云与无人机影像重建点云的精配准方法，其特征在于，所述步骤S3中，通过获得地基和空基影像同名点，间接的求取地面激光点云与无人机影像重建点云的空间转换参数。