CN112767460B - 空间指纹图配准基元特征描述与匹配方法 - Google Patents

Abstract

本发明提出一种空间指纹图配准基元特征描述与匹配方法，使用配准基元集合内各个元素之间的空间关系构建空间指纹图，从而对配准基元集合整体分布特征进行描述。采用GED(Graph Edit Distance，图编辑距离)度量异源空间指纹图之间的相似性，将局部与全局相似性作为匹配测度，查找最优配准基元空间指纹图匹配关系，实现共轭配准基元对的生成，用于后续模型参数的解算。

Description

空间指纹图配准基元特征描述与匹配方法

技术领域

本发明属于三维激光点云数据与二维影像的配准融合领域的应用，提出一种空间指纹图配准基元特征描述与匹配方法。

背景技术

三维激光点云数据和二维光学影像自动配准方法研究是摄影测量与遥感领域的一个长期研究热点。国内外学者针对有人机载、星载、地面固定站激光扫描数据与影像的配准方法开展了大量的研究，但在无人机/车载MMS序列框幅式/全景影像与激光点云的自动配准方面，国内外鲜有研究成果报告。不局限于数据类型与采集平台，现有的配准方法主要分为四类，即：①多传感器标定的方法；②几何特征匹配的2D-3D配准算法；③互信息最大化的2D-3D配准算法；④影像密集点云与激光点云配准的3D-3D配准算法。其中第一类多传感器标定与部分第二类几何特征匹配的2D-3D配准算法属半自动配准算法。为保证研究现状的论述完备性，下文对现有配准算法进行总结，分析了各方法的优缺点与适用范围。

(1)多传感器标定的方法

多传感器标定的方法主要用于消除同一系统中不同遥感传感器之间的安置误差带来的数据配准误差，是传统摄影测量与遥感传感器平台上常用的数据配准方法，主要通过实验室标定与室外检校场标定相结合的方法解算多传感器之间的安置位置参数(Pfeifer and Briese,2007)。无地面检校场多传感器安置误差半自动检校方法近年来亦得到广泛研究(钟良,2011,陈洁et al.,2015)，但由于无人机/车载MMS误差来源多样，尚未见无地面检校场的多传感器标定方法在其多传感器检校中应用。目前，多数商用车载移动测量系统，如Google Street View、NavTEQ TRUE均采用硬件标定与同步方式在专设定标场内对两类传感器进行时间同步与安置标定，实现数据配准且配准模型非公开。多传感器标定算法可较好解决同机数据配准问题，但是长时间作业颠簸以及弱GPS信号状态下IMU数值的漂移均会导致全景影像的外方位元素的真实值发生改变，进而导致多时相、分次采集的激光点云与框副式/全景影像配准与融合错误。采用专用标定场对两类数据进行重配准费时耗力，已远远不能满足移动测量系统实际作业的需要，且在数据标定配准后配准差依然存在(Wang et al.,2012)，故迫切需要从算法角度发展两者间高精度配准方法，实现优势互补。

(2)几何特征匹配的2D-3D配准方法

几何特征匹配的2D-3D配准方法是Palenichka配准方法分类法中基于特征的配准算法中的代表算法。该类方法的基本原理是利用激光点云与二维光学影像中共轭的几何特征求解影像的外方位元素实现两者间的配准。点、线、面、体等多种几何基元均可以作为配准基元，形成共轭配准基元对。

and Haggrén(2012)研究成果表明，使用人工构筑物(Artificial Features)进行数据配准融合精度高于使用自然地物(例如：树冠)。因此，下文所论述的相关研究工作均以人工构筑物作为配准基元。

特征匹配的2D-3D配准算法，如基于线对的半自动配准方法(Habib et al.,2005)，目前已成功应用于传统遥感平台LiDAR点云与影像的配准。但该类方法，需要较为准确的影像外方位元素初值与正确的匹配对保证平差的正确收敛，且特征选取难以自动化。同时，由于激光点云本质上的三维离散采样特性，严格意义上讲，不存在扫描完整、定位准确的几何基元。故任何直接自激光点云数据进行的几何基元自动提取与拟合的算法都存在几何基元提取完整性与角点定位精度的问题。在配准过程中，自动拟合线或是角点等几何基元的不确定性，如激光线特征提取完整度与线段端点精度，均会对数据配准精度产生影响。

R NNHOLM P,HAGGR N H.Registration of Laser Scanning Point Clouds andAerial Images Using either Artificial or Natural Tie Features[J].ISPRSAnn.Photogramm.Remote Sens.Spatial Inf.Sci.,2012,I-3:63-68.

HABIB A,GHANMA M,MORGAN M,et al.Photogrammetric and LiDAR dataregistration using linear features[J].Photogrammetric engineering and remotesensing,2005,71(6):699-707.

(3)互信息最大化的2D-3D配准方法

MI(Mutual Information，互信息)由于其非线性联合概率特性，多被用于异源数据配准(Suri and Reinartz,2010,Le Moigne et al.,2011,Hahn et al.,2010)。互信息最大化的2D-3D配准方法是Palenichka配准方法分类法中基于区域的配准算法的代表。此类算法通过最大化LiDAR数据与影像数据统计特征，最优求解影像的外方位元素。一般而言，首先通过自LiDAR点云数据生成距离影像或使用三维激光点反射强度生成强度影像。生成这两类2D类影像数据之后，LiDAR与影像数据的配准被降维，自2D到3D配准问题转换为2D到2D配准问题。

考虑到算法效率及其收敛性，MI配准方法在2D-2D配准模型解算过程中，多采用Powell’s Optimisation(鲍威尔优化算法)(Press,2007)等局部最优解方法，需要较高精度的初始配准参数方能实现数据的稳健配准。同时，该类方法依赖于标定后的激光点云的强度信息。激光点反射强度与距离成二次函数倒数关系，被测距离的变化对强度值会造成二次函数关系的影响。在城市街景或者低空作业环境下，环境内地物高度变化对相应的激光强度值造成较大影响，未标定的强度值为无效强度值，进而导致互信息相似性测度不准确的情况。虽有大航空LiDAR系统的标定已日益成熟(Roncat et al.,2014)，然而，无人机载/车载激光强度标定目前鲜见相关研究，故该方法难以直接应用于移动测量激光点云数据与影像的严格配准中。

(4)影像密集点云与激光点云的3D-3D配准方法

影像密集点云与激光点云的3D-3D配准方法属于Palenichka融合方法分类法中基于特征的配准融合算法。该类方法采用密集匹配方法自序列影像生成影像密集三维点云，通过POS系统输出值计算影像与激光点云的空间转换初始值，继而使用ICP(IterativeClosest Point，迭代最邻近点)算法(Besl and McKay,1992,Chen and Medioni,1991)配准影像密集匹配点云与LiDAR点云(Zhao et al.,2005,杜全叶,2010,Swart et al.,2011)，从而间接解决影像与点云的配准问题。其原理是将二维影像与三维点云的配准转化为两组三维点云之间的配准，使用3D-3D点基元配准方法解决激光点云与影像数据的配准问题，避免了在点云数据、影像数据中提取几何特征，保证算法的稳健性。但其核心3D-3D的ICP算法对初始配准转换参数的近似值要求较高(Rusinkiewicz and Levoy,2001)。由于无人机/车载MMS系统自身POS精度限制，或是GPS信号存在遮挡、系统同步标定误差等因素引起的直接地理定向精度较差条件下，初始配准参数不能满足ICP方法对较为精确初始配准位置的基本要求，进而导致该方法不能正确收敛(Zhao et al.,2005,Yang and Chen,2015)，配准鲁棒性不足。

发明内容

本发明针对现有技术的不足，提出一种新的空间指纹图配准基元特征描述与匹配方法。

本发明的技术方案采用指纹图配准基元特征描述与匹配方法，包含以下步骤：

步骤1，全景影像预处理；通过虚拟成像方法，利用全景图像结构特征的自动恢复方法，将无人机和车载MMS球面展开成像模型的全景影像转换为虚拟框幅式影像，进而在无全景变形的虚拟影像上进行配准基元的提取；

步骤2，在无人机MMS数据集中提取建筑物的顶面作为配准基元；

步骤3，在车载MMS数据集中提取建筑物天际线作为配准基元；

步骤4，为了实现点云配准基元和虚拟影像配准基元的配准，将激光点云与影像共轭配准基元查找的问题转化为异源图匹配问题，提出一种以三角形为生成核，节点到核三角形距离最短的图集合构建算法，构建配准基元空间指纹图；

步骤5，提出一种最小GED图编辑距离空间指纹图匹配算法，实现空间指纹图匹配。

进一步的，步骤2的具体实现方式如下；

首先采用多标记点过程的方法从无人机LiDAR点云数据中提取建筑物点云，并且采用RMBR算法进行建筑物外边界多边形提取与规则化，得到建筑物外框；并依据此点云建筑物提取结果作为先验知识，利用激光点云先验知识引导的影像建筑物顶面提取算法，使用点云数据建筑物提取结果对虚拟框幅式影像上的配准基元提取进行引导，使得初始反投影区域沿张量梯度方向不断优化，最后扩展基于全局对比度显著性检测的分割方法到影像局部区域，结合规则化算法，实现影像建筑物配准几何基元的生成。

进一步的，步骤3的具体实现方式如下；

采用一种改进GrabCut的天际线分割方法，从虚拟影像中提取建筑物上边线与角点，再结合应用层次化城市场景目标提取方法与RMBR算法界规则化算法自车载LiDAR点云中实现建筑物立面的提取，确定其上边线，完成影像天际线配准基元提取。

进一步的，步骤4中以三角形为生成核，节点到核三角形距离最短的图集合构建算法，构建配准基元空间指纹图，SFG空间指纹图集合GC生成分为两个步骤：核三角形生成与非核三角形边的图边连接；

对于无人机MMS数据，选择提取到的n个建筑物顶面配准基元重心组成图节点集合E₁，对于车载MMS数据，选择提取到的n个天际线配准基元角点组成图节点集E₂，下面以E来指代上述两个图节点集E₁和E₂，来说明核三角形的生成，选取集合E中的任意3个顶点组合为三角形，作为图G的生成核，则集合E可能构成的图集合GC可表示为：

其中Root(E)为核三角形，N为顶点集合E的顶点个数，V(Root(E))为以Root(E)核三角形顶点为自变量的图边集合，V(·)为单调边集合构成函数；图的边连接规则，即边集合构成函数定义为：对于核三角形顶点，直接连接构成完全图；对于非核三角形顶点，则计算该顶点到核三角形三个顶点的距离，将最短长度的边作为连接边；核三角形的边与非核三角形的边共同组成了图的边集合，与图顶点共同构成配准基元空间指纹图。

进一步的，步骤5的具体实现方式如下；

设E_image,V_image分别是影像配准基元SFG空间指纹图的顶点集合与边集合，同理E_las,V_las为激光点云配准基元SFG空间指纹图的顶点集合与边集合，使用GED度量影像配准基元SFG空间指纹图G_image＝(E_image,V_image)与激光点云SFG空间指纹图G_las＝(E_las,V_las)，在局部核三角形匹配对定义的图转换矩阵T下的全局图边相似度；T是将G_image匹配到G_las的变换矩阵，指经过核三角形匹配后获得的初始图匹配位置，即将最优图匹配的问题转化为最小图编辑距离查找问题，其计算公式如下：

其中RootMatch(rm₁,..rm_k)表示核三角形中的匹配过程中产生的核三角形局部匹配集；k为将G_image经过修改之后完全匹配G_las所需要的操作步骤数量，所述操作包括添加、删除、替换；G_las与G_image之间的GED定义为：

其中cost(op,T)为将G_image经过修改之后完全匹配G_las所需要的k步操作所对应的图编辑代价函数，该代价函数为旋转图边差，length(·)为图边长度累加函数。

与现有技术相比，本发明具有以下优点和有益效果：

1.本发明以空间分布特征作为配准基元的空间指纹并利用相似性进行匹配，解决几何定位不精确、非单射异源配准基元集合中同名基元查找的难点。

2.本发明采用自配准基元集合自身空间分布特性完成匹配，且不要求匹配与待匹配几何基元严格一致，解决了异源、异维配准基元集匹配的难点问题。

附图说明

图1为本发明的模型流程示意图。

图2为本发明全景影像虚拟成像过程示意图。

图3为配准基元空间指纹图的构建。

图4为最小图编辑距离准则全局最优共轭基元匹配。

图5为基于图匹配的共轭配准基元生成算法流程。

具体实施方式

以下结合附图和实施例对本发明技术方案进行说明。

参照图1，本发明实施例提供的一种空间指纹图配准基元特征描述与匹配方法，包括以下步骤：

步骤1，全景影像预处理，通过虚拟成像方法，利用全景图像结构特征的自动恢复方法，将无人机/车载MMS球面展开成像模型的全景影像转换为虚拟框幅式影像，进而在无全景变形的虚拟影像上进行配准基元的提取。

参照图2，本步骤的具体操作如下：

车载、无人机载MMS对地观测方向各不相同，其采集到的场景地物显著性与完整度有较大差异。本课题在无人机MMS数据配准中采用显著性较高的建筑物顶面作为配准基元，在车载MMS数据配准中采用不易被遮挡且完整度高的建筑物上边缘(天际线)作为配准基元。

步骤2，无人机MMS数据提取，以建筑物顶面为配准基元，提取建筑物点云并生成影像建筑物配准几何基元。

本步骤的具体操作如下：

建筑物顶面在无人机载LiDAR点云与影像中均具有较好的可区分性，并且蕴含丰富的结构信息(点、线、面)，因此，选择建筑物屋顶作为几何配准基元，并选用多标记点过程的方法实现LiDAR点云数据中的建筑物点云的提取。

使用RMBR(Recursive Minimum Bounding Rectangle)算法进行建筑物外多边形提取与规则化。

依据激光建筑物提取结果作为先验知识，提出一种激光先验知识引导的影像建筑物顶面提取算法，使用LiDAR点云数据建筑物提取结果对影像上的配准基元提取进行引导，使得初始反投影区域沿张量梯度方向不断优化，最后扩展基于全局对比度显著性检测的分割方法(RCC，Region Contrast Cut)(Cheng et al.,2015)到影像局部区域，结合规则化算法，最终实现影像建筑物配准几何基元的生成。

步骤3，车载MMS数据提取，以建筑物上边线为配准基元，利用层次化方法对车载点云建筑物立面进行提取，实现影像天际线提取与角点识别。

车载移动测量激光点云与影像数据中含有大量的边界线状目标(建筑物边界、道路边界等)且上述目标具有较好的可区分性。天际线即建筑物上边线受地物遮挡影响较小，因此，选择天际线作为配准基元。

提出一种改进GrabCut的天际线分割方法，GrabCut算法(Rother et al.,2004)是一种基于图割(Graph Cuts)的图像分割算法，能同时考虑到像素的颜色分布以及空间邻近像素之间的同属关系，但需要人工指定初始前景/背景分割。改进后可使用直方图阈值化分割得到的天际线初始位置作为GrabCut算法的初始分割，优化地物前景与天空背景的分割结果，提高天际线提取质量，从而自影像提取建筑物上边线与角点。

结合应用层次化城市场景目标提取方法与RMBR算法，边界规则化算法自点云中实现建筑物立面的提取，确定其上边线，完成SFGM配准模型中几何配准基元的提取。

步骤4，针对上述无人机MMS数据集点云配准基元和虚拟影像配准基元，以及车载MMS数据集点云配准基元和虚拟影像配准基元。本发明将激光点云与影像共轭配准基元查找的问题转化为异源图匹配问题，提出构建SFG空间指纹图描述提取到的几何配准基元集合的空间分布特征，继而自图结构全局空间相似性实现匹配。

本步骤具体操作如下：

首先构建SFG空间指纹图，参照图3，本发明提出一种以三角形为生成核，节点到核三角形距离最短的图集合构建算法，构建配准基元空间指纹图。SFG空间指纹图集合(GC)生成分为两个步骤：核三角形生成与非核三角形边的图边连接。

对于无人机MMS数据，选择提取到的n个建筑物顶面配准基元重心组成图节点集合E₁。对于车载MMS数据，选择提取到的n个天际线配准基元角点组成图节点集E₂。下面以E来代指上述两个图节点集E₁和E₂，来说明核三角形的生成，选取集合E中的任意3个顶点组合为三角形，作为图G的生成核，则集合E可能构成的图集合GC可表示为：

其中Root(E)为核三角形，N为顶点集合E的顶点个数，V(Root(E))为以Root(E)核三角形顶点为自变量的图边集合，V(·)为单调边集合构成函数。图的边连接规则，即边集合构成函数定义为：对于核三角形顶点，直接连接构成完全图；对于非核三角形顶点，则计算该顶点到核三角形三个顶点的距离，将最短长度的边作为连接边。参照图3，核三角形的边与非核三角形的边共同组成了图的边集合，与图顶点共同构成配准基元空间指纹图。

步骤5，提出一种最小GED图编辑距离空间指纹图匹配算法，实现激光点云、影像配准基元无向连通简单图匹配。

参照图4，具体实现步骤如下：

E_image,V_image分别是影像配准基元SFG空间指纹图的顶点集合与边集合。同理E_las,V_las为激光点云配准基元SFG空间指纹图的顶点集合与边集合。使用GED度量影像配准基元SFG空间指纹图G_image＝(E_image,V_image)与激光点云SFG空间指纹图G_las＝(E_las,V_las)，在局部核三角形匹配对定义的图转换矩阵T下的全局图边相似度。T是将G_image匹配到G_las的变换矩阵，在本算法中指经过核三角形匹配后获得的初始图匹配位置。即将最优图匹配的问题转化为最小图编辑距离查找问题，其计算公式如下：

其中RootMatch(rm₁,..rm_k)表示核三角形中的匹配过程中产生的核三角形局部匹配集。k为将G_image经过修改之后完全匹配G_las所需要的操作步骤(添加、删除、替换)数量。G_las与G_image之间的GED定义为：

其中cost(op,T)为将G_image经过修改之后完全匹配G_las所需要的k步操作(添加、删除、替换)所对应的图编辑代价函数，本发明设置该代价函数为旋转图边差，length(·)为图边长度累加函数。GED最小匹配过程分为核三角形局部匹配与图编辑距离全局匹配两个步骤：首先，核三角形局部匹配过程采用三角形相似性即内角值邻近性准则进行匹配，使用KD树(Zhou et al.,2008)对所有的核三角形内角值三维点坐标数据构建索引，提高匹配效率；其次，遍历核三角形匹配集计算各个核三角形匹配对应图转换的GED，并进行排序，将最小GED对应的T作为最佳匹配。

具体实施时，本发明提供的流程可采用软件技术实现自动运行。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种空间指纹图配准基元特征描述与匹配方法，其特征在于，包含以下步骤：

步骤1，全景影像预处理；通过虚拟成像方法，利用全景图像结构特征的自动恢复方法，将无人机和车载MMS球面展开成像模型的全景影像转换为虚拟框幅式影像，进而在无全景变形的虚拟影像上进行配准基元的提取；

步骤2，在无人机MMS数据集中提取建筑物的顶面作为配准基元；

步骤3，在车载MMS数据集中提取建筑物天际线作为配准基元；

步骤4，为了实现点云配准基元和虚拟影像配准基元的配准，将激光点云与影像共轭配准基元查找的问题转化为异源图匹配问题，提出一种以三角形为生成核，节点到核三角形距离最短的图集合构建算法，构建配准基元空间指纹图；

步骤4中以三角形为生成核，节点到核三角形距离最短的图集合构建算法，构建配准基元空间指纹图，SFG空间指纹图集合GC生成分为两个步骤：核三角形生成与非核三角形边的图边连接；

对于无人机MMS数据，选择提取到的n个建筑物顶面配准基元重心组成图节点集合E₁，对于车载MMS数据，选择提取到的n个天际线配准基元角点组成图节点集E₂，下面以E来指代上述两个图节点集E₁和E₂，来说明核三角形的生成，选取集合E中的任意3个顶点组合为三角形，作为图G的生成核，则集合E可能构成的图集合GC可表示为：

其中Root(E)为核三角形，N为顶点集合E的顶点个数，V(Root(E))为以Root(E)核三角形顶点为自变量的图边集合，V(·)为单调边集合构成函数；图的边连接规则，即边集合构成函数定义为：对于核三角形顶点，直接连接构成完全图；对于非核三角形顶点，则计算该顶点到核三角形三个顶点的距离，将最短长度的边作为连接边；核三角形的边与非核三角形的边共同组成了图的边集合，与图顶点共同构成配准基元空间指纹图；

步骤5，提出一种最小GED图编辑距离空间指纹图匹配算法，实现空间指纹图匹配，具体实现方式如下；

设E_image,V_image分别是影像配准基元SFG空间指纹图的顶点集合与边集合，同理E_las,V_las为激光点云配准基元SFG空间指纹图的顶点集合与边集合，使用GED度量影像配准基元SFG空间指纹图G_image＝(E_image,V_image)与激光点云SFG空间指纹图G_las＝(E_las,V_las)，在局部核三角形匹配对定义的图转换矩阵T下的全局图边相似度；T是将G_image匹配到G_las的变换矩阵，指经过核三角形匹配后获得的初始图匹配位置，即将最优图匹配的问题转化为最小图编辑距离查找问题，其计算公式如下：

其中RootMatch(rm₁,..rm_k)表示核三角形中的匹配过程中产生的核三角形局部匹配集；k为将G_image经过修改之后完全匹配G_las所需要的操作步骤数量，所述操作包括添加、删除、替换；G_las与G_image之间的GED定义为：

其中cost(op,T)为将G_image经过修改之后完全匹配G_las所需要的k步操作所对应的图编辑代价函数，该代价函数为旋转图边差，length(·)为图边长度累加函数。

2.根据权利要求1所述的一种空间指纹图配准基元特征描述与匹配方法，其特征在于：步骤2的具体实现方式如下；

首先采用多标记点过程的方法从无人机LiDAR点云数据中提取建筑物点云，并且采用RMBR算法进行建筑物外边界多边形提取与规则化，得到建筑物外框；并依据此点云建筑物提取结果作为先验知识，利用激光点云先验知识引导的影像建筑物顶面提取算法，使用点云数据建筑物提取结果对虚拟框幅式影像上的配准基元提取进行引导，使得初始反投影区域沿张量梯度方向不断优化，最后扩展基于全局对比度显著性检测的分割方法到影像局部区域，结合规则化算法，实现影像建筑物配准几何基元的生成。

3.根据权利要求1所述的一种空间指纹图配准基元特征描述与匹配方法，其特征在于：步骤3的具体实现方式如下；

采用一种改进GrabCut的天际线分割方法，从虚拟影像中提取建筑物上边线与角点，再结合应用层次化城市场景目标提取方法与RMBR算法界规则化算法自车载LiDAR点云中实现建筑物立面的提取，确定其上边线，完成影像天际线配准基元提取。

Images