CN102411778B - 一种机载激光点云与航空影像的自动配准方法 - Google Patents

一种机载激光点云与航空影像的自动配准方法 Download PDF

Info

Publication number
CN102411778B
CN102411778B CN 201110212476 CN201110212476A CN102411778B CN 102411778 B CN102411778 B CN 102411778B CN 201110212476 CN201110212476 CN 201110212476 CN 201110212476 A CN201110212476 A CN 201110212476A CN 102411778 B CN102411778 B CN 102411778B
Authority
CN
China
Prior art keywords
straight
image
line
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN 201110212476
Other languages
English (en)
Other versions
CN102411778A (zh
Inventor
张永军
熊小东
沈翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN 201110212476 priority Critical patent/CN102411778B/zh
Publication of CN102411778A publication Critical patent/CN102411778A/zh
Application granted granted Critical
Publication of CN102411778B publication Critical patent/CN102411778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种机载激光点云与航空影像的自动配准方法。在不需要对激光点云进行内插的情况下，直接从点云中提取建筑物轮廓线，通过轮廓线规则化获得作为配准基元的建筑物角特征，在航空影像近似外方位元素的辅助下进行点云与影像间同名角特征的自动匹配，采用光束法区域网平差和循环迭代策略，实现航空影像与点云数据的整体最优配准。具有如下优点：在不需要对激光点云进行内插的情况下，直接从激光点云中提取建筑物轮廓线，进而获得作为配准基元的建筑物角特征，避免了内插误差的引入，提高了配准精度；采用光束法区域网平差求解影像外方位元素，同时采用循环迭代的配准策略，可以实现航空影像和机载激光点云间整体最佳配准。

Description

一种机载激光点云与航空影像的自动配准方法
技术领域
本发明涉及一种多源数据配准方法，尤其是涉及一种机载激光点云与航空影像的自动配准方法。
背景技术
机载激光探测与测距（机载LiDAR）是一项地形数据快速获取的重要技术，目前已成为城市三维信息获取的重要手段。当前的机载LiDAR系统通常配备有数码相机，可在获取激光点云的同时获得高分辨率彩色航空影像。由于激光点云和影像数据之间具有很强的互补性，二者的集成在道路提取、建筑物提取与建模以及正射影像制作等领域有着广泛的应用。由于数码相机安置误差等原因，获得的航空影像外方位元素一般存在较大误差，导致航空影像与激光点云之间无法很好地套合，因此在二者集成应用之前，需要将它们纳入到统一的坐标系中，即进行航空影像与激光点云的配准。
现有的航空影像与激光点云配准方法大致可分为三类：（1）将激光点云内插生成图像（强度图像或距离图像），然后在点云图像和航空影像之间进行配准。根据所采用的配准基元，可以分为两类：基于灰度区域的配准和基于特征的配准。基于灰度区域的方法如利用影像的互信息进行配准，然而点云图像与航空影像在成像机理上差异显著，特别是在航空摄影这样复杂的场景下很难取得较好的配准效果。基于特征的配准主要是在点云图像和航空影像间匹配同名点、线特征用于配准，由于成像方式、分辨率的巨大差异，在二者间自动匹配同名点特征具有相当的难度，线特征的提取与匹配相对容易实现，然而在点云内插的过程中会引入内插误差，使得提取的线特征坐标精度降低，影响最终配准精度；（2）将航空影像密集匹配为摄影测量点云，然后以两点集之间距离最近为原则计算激光点云和摄影测量点云之间的坐标变换关系，实现激光点云与航空影像的配准。该类方法需要较好的初值，而且航空影像密集匹配生成的点云高程精度一般低于激光点云的高程精度，会降低配准精度；（3）直接在激光点云和航空影像之间进行配准。主要是通过在激光点云和航空影像之间寻找同名特征实现配准。常用的特征主要有直线特征和平面特征。其关键技术是如何从点云数据中准确地提取出直线特征和平面特征，以及如何正确地确定点云和影像间同名特征的对应关系。现有的方法在点云中提取特征以及确定同名特征的对应关系时都完全依靠人工操作实现，无法实现两种数据的自动配准。
发明内容
本发明的目的之一是解决现有技术在配准激光点云与航空影像时，需将激光点云内插成点云图像，降低了激光点云数据精度进而降低配准精度的问题。提供了一种直接从激光点云中提取建筑物轮廓线，进而通过对轮廓线规则化获得作为配准基元的建筑物角特征，避免了点云内插误差的引入，提高了配准精度的一种机载激光点云与航空影像的自动配准方法。
本发明的目的之二是解决由于激光点云与航空影像两种数据在获取机理上存在巨大差异，导致自动地在二者之间提取并匹配同名特征进行配准存在相当的难度的问题；提供了一种机载激光点云与航空影像的自动配准方法。采用由两条直线段组成的角特征作为配准基元，自动地在点云中提取角特征，在影像上提取直线段边缘。并针对角特征的特点，设计了相应的点云与影像间同名角特征的自动匹配方法。与现有算法中采用点、直线作为配准基元相比，由两条直线组成的角特征更为复杂、更具有独特性，有助于获得可靠的同名特征匹配结果。
一种机载激光点云与航空影像的自动配准方法，其特征在于，包括以下步骤：
步骤1，在每张航空影像上进行影像直线段特征提取；然后在激光点云中，进行点云角特征的提取；
步骤2，结合步骤1获取的影像直线段特征以及点云角特征进行点云角特征的同名影像角特征的匹配；
步骤3，根据步骤2获取的匹配后的同名影像角特征对步骤1 的航空影像作光束法区域网平差，获得改正后的影像外方位元素；
步骤4，设置一个限差及最大迭代次数，并计算外方位元素的三个角元素改正值，根据三个角元素改正值的绝对值与设置的限差比较结果选择执行：
若三个角元素改正值的绝对值均小于设置限差或已达到最大迭代次数，则执行步骤5；
否则，若三个角元素改正值的绝对值均大于等于设置限差且未达到最大迭代次数，则更新影像外方位元素，返回步骤2进行迭代；
步骤5，输出最后一次迭代中区域网平差获得的影像外方位元素作为配准结果。
在上述的一种机载激光点云与航空影像的自动配准方法，所述的步骤1中，进行影像直线段特征提取时通过Canny算子检测并提取建筑物直线边缘，具体方法为：
步骤1.1，采用现有的边缘检测算子Canny算子对航空影像进行处理，可获得影像上的边缘特征，每条边缘由一系列相连的边缘像素点组成；
步骤1.2，对于上一步中提取出的边缘，根据边缘点的连接性对每一条边缘进行跟踪，获得一条条相互分离的边缘线；
步骤1.3，对上一步中提取出的每一条边缘线进行拆分，采用首点和尾点拟合直线段，计算边缘线上其他点到该直线段的距离，如果最大距离超出给定的阈值，则根据该最大距离对应的点将边缘线分为两条子边缘线，对每一子边缘线重复进行上述拆分操作直至无法继续拆分，所述的阈值一般可设定为三个像素；
步骤1.4，对于上一步中进行拆分处理获得的每一条子边缘线，如果其长度超过阈值                                                
Figure 421144DEST_PATH_IMAGE001
，则根据其中的边缘点通过最小二乘法拟合直线段，获得建筑物直线段边缘，所述边缘线长度指包含的边缘像素点个数，所述阈值由建筑物一般尺寸
Figure 2011102124768100002DEST_PATH_IMAGE002
和影像分辨率
Figure 448323DEST_PATH_IMAGE003
计算，
Figure 139067DEST_PATH_IMAGE001
=。
在上述的一种机载激光点云与航空影像的自动配准方法，所述的步骤1中，在点云中提取角特征时，首先剔除高程值明显大于邻域内其它点的粗差点，然后对点云按1.5倍的点云平均间距划分格网，在每个格网内剔除高程值与最高点的差异大于一倍点云高程精度值的墙面点，采用二维Delaunay方法对点云构建不规则三角网进行点云角特征的提取，具体方法包括以下步骤：
步骤2.1，遍历三角网中的有效三角形，直至找到一个满足特征三角形条件的三角形，将其设置为当前三角形，设此三角形中特征线段为AB，其两个端点分别为A和B，将点A设为当前点，依次存储点B、A到线特征的点队列，所述的特征三角形指在构建三角网时在建筑物墙面处由于高程突变形成的具有两条长边的倒三角形，假设其两个位置较高的顶点A、B为位于建筑物边缘上的激光点，而位置较低的那个顶点C为位于墙脚附近的地面上的激光点，由于建筑物屋顶具有一定的高度且屋顶相对较平滑，故该三角形中三个点A、B、C的高程应该满足
Figure 440736DEST_PATH_IMAGE005
、
Figure 2011102124768100002DEST_PATH_IMAGE006
、
Figure 988260DEST_PATH_IMAGE007
这三个条件，即位于屋顶上相邻的两个激光点的高程应该相近，而位于屋顶上的激光点的高程应该远大于位于地面的激光点的高程，其中、
Figure 2011102124768100002DEST_PATH_IMAGE008
和
Figure 313062DEST_PATH_IMAGE009
分别为三个顶点之间的高程差，分别为
Figure 2011102124768100002DEST_PATH_IMAGE010
，
Figure 869815DEST_PATH_IMAGE011
，
Figure 2011102124768100002DEST_PATH_IMAGE012
，阈值
Figure 885044DEST_PATH_IMAGE013
表示屋顶上两相邻激光点之间高程差的限差，一般可设置为激光点云的高程精度值，阈值表示屋顶上激光点与地面上激光点之间高程差的限差，由建筑物高度决定，由于一般建筑物高度至少有3.0 m，考虑到地面植被等干扰，可将
Figure 2011102124768100002DEST_PATH_IMAGE014
设置为1.5 m，以上三个条件称为特征三角形条件，满足特征三角形条件的三角形称为特征三角形，三角形中位于屋顶边缘上的两点A、B连接成的线段称为特征线段；
步骤2.2，在除了当前三角形以外的所有以当前点为顶点的三角形中，根据特征三角形判定条件寻找所有包含特征线段、且特征线段的一端点为当前点的特征三角形：若仅有一个符合条件的三角形，设该三角形中特征线段为，将该三角形设置为当前三角形，将点
Figure 2011102124768100002DEST_PATH_IMAGE016
设置为当前点，将当前点与点B比较，如果它们为同一点，则线特征闭合，执行步骤2.3，否则存储点
Figure 228618DEST_PATH_IMAGE016
，并重复执行本步骤；如果符合条件的三角形的个数不等于1，则线特征在此处中断，执行步骤2.3；
步骤2.3，对于闭合的线特征，如果总点数大于阈值Num，阈值Num根据LiDAR点云间距dis及建筑物的一般尺寸L设定，Num = L/dis，保存该线特征，进入步骤2.4，否则直接进入步骤2.4；对于未闭合的线特征，则转到步骤2.2，以点B为当前点进行反向搜索，将搜索到的线特征点插入队列之前，直至步骤2.2执行终止，如果此时线特征上点数大于阈值Num，保存该未闭合的线特征，进入步骤2.4，否则直接进入步骤2.4；
步骤2.4，返回至步骤2.1继续搜索特征线直至所有三角形均已无效，此时得到多条建筑物轮廓线特征，其中在步骤2.1到步骤2.3，每当一个三角形判断完毕后，就将其设置为无效；
步骤2.5，在获得建筑物轮廓线后，可根据现有算法将其进行规则化获得建筑物直线边缘，并将相互垂直的相邻边求交，以交点与两直线段距交点远的两个端点的连线组合成本方法中作为配准基元的建筑物角特征，假设边缘AB与CD相交于点E，其中B、C点距交点E较近，则点A、E、D的连线组合成角特征AED。
在上述的一种机载激光点云与航空影像的自动配准方法，所述的步骤2中，进行同名影像角特征的匹配的具体方法如下：
步骤4.1，对于每一个点云角特征，利用当前的影像外方位元素近似值将其投影到每张影像上，得到投影角特征，第一次迭代时使用输入的外方位元素近似值，以后每次迭代使用上一次迭代计算出来的影像外方位元素结果，假设折线ABC为点云角特征在影像上的投影角特征，其中BA、BC为角特征的两直线段，B为角特征的角点，并在影像上提取了一系列直线段如
Figure 589061DEST_PATH_IMAGE017
、
Figure 2011102124768100002DEST_PATH_IMAGE018
、EF、GH等；
步骤4.2，以投影角特征的角点B为中心作一个半径为阈值r的圆；然后，将所有与圆面相交的影像直线段取出作为候选直线段；
步骤4.3，在候选直线段中，根据两直线段间距离、两直线段长度比和两直线段对应的向量夹角这三个直线段匹配测度分别为角特征的BA和BC两条线段寻找同名的影像直线段和，
Figure 726147DEST_PATH_IMAGE017
和
Figure 437751DEST_PATH_IMAGE018
组成点云角特征的同名影像角特征
Figure 302939DEST_PATH_IMAGE019
，其步骤如下：
步骤4.3.1，对于候选直线段，与投影角特征的直线段进行两直线段长度比匹配，两直线段长度比用来限定同名直线段的长度差距，理论上在点云中提取的建筑物直线边缘和影像上提取的同一条直线边缘应该具有相同的长度，考虑到实际提取的边缘可能不完整，限定两同名直线段的长度比不能超过两倍，即在0.5~2之间；
步骤4.3.2，对于符合步骤4.3.1中条件的候选直线段，与投影角特征的直线段进行两直线段对应的向量间的夹角的计算，投影角特征ABC中，定义B为起点，A、C为的终点，从起点到终点构成一个代表线段的向量，在影像上的候选直线段中，离点B近的端点作为起点，另一端点作为终点，同样也可以构成一个起点到终点的向量，同名直线段对应的向量的方向应相同，即两向量夹角小于阈值90°；
步骤4.3.3，对于符合步骤4.3.1和步骤4.3.2中条件的候选直线段，与投影角特征的直线段进行两直线段之间的距离匹配，假设AB为投影到影像上的直线段，
Figure 628747DEST_PATH_IMAGE017
为影像上提取的直线段，点
Figure 2011102124768100002DEST_PATH_IMAGE020
到直线AB的距离为
Figure 149858DEST_PATH_IMAGE021
，点
Figure 2011102124768100002DEST_PATH_IMAGE022
到直线AB的距离为
Figure 586524DEST_PATH_IMAGE023
，则直线段
Figure 509481DEST_PATH_IMAGE017
到直线段AB的距离d定义为
                          
为剔除粗差匹配结果，根据外方位元素的精度设定一个直线段间距离阈值
Figure 819240DEST_PATH_IMAGE025
，选择与投影角特征的直线段距离最近，且距离小于距离阈值
Figure 76915DEST_PATH_IMAGE025
的候选直线段作为投影角特征的直线段的同名影像直线段；
步骤4.4，将匹配得到的两影像直线段组合成点云角特征的同名影像角特征，具体方法与权利3的步骤2.5中的方法类似。
在上述的一种机载激光点云与航空影像的自动配准方法，所述的步骤3中，获得改正后的影像外方位元素的具体方法是：以点云角特征的角点作为地面控制点，以其同名影像角特征的角点为该控制点的像点；保留所有具有两个及以上像点的控制点，以当前的影像近似外方位元素作为初值，对航空影像作光束法区域网平差，获得改正后的影像外方位元素。
在上述的一种机载激光点云与航空影像的自动配准方法，所述的步骤4中，根据上一次迭代和本次迭代计算出的外方位元素的三个角元素值，通过将分别将它们求差再求绝对值，分别计算本次迭代中外方位元素三个角元素改正数绝对值
Figure 2011102124768100002DEST_PATH_IMAGE026
，
Figure 68004DEST_PATH_IMAGE027
，
Figure 2011102124768100002DEST_PATH_IMAGE028
，其中，
Figure 94735DEST_PATH_IMAGE029
，
Figure 2011102124768100002DEST_PATH_IMAGE030
，
Figure 513078DEST_PATH_IMAGE031
，其中，，
Figure 2011102124768100002DEST_PATH_IMAGE032
，
Figure 992470DEST_PATH_IMAGE033
为第i次迭代中计算出的外方位元素角元素值；每一次迭代中，根据步骤3中所述的获得改正后的影像外方位元素的方法根据匹配的同名角特征计算新的外方位元素，每一次迭代计算获得新的航空影像外方位元素以后，将新的外方位元素带入下一次迭代过程中，且每迭代一次，逐步减小同名角特征匹配过程中圆半径阈值r和距离阈值
Figure 849567DEST_PATH_IMAGE025
直至分别达到设定的最小值
Figure 2011102124768100002DEST_PATH_IMAGE034
和
Figure 481537DEST_PATH_IMAGE035
，逐步减小幅度分别为：（r-
Figure 133098DEST_PATH_IMAGE034
）/N和（
Figure 365365DEST_PATH_IMAGE025
- ）/N ，其中，N为步骤4中设定的最大迭代次数，其中，
Figure 247051DEST_PATH_IMAGE034
可设置为在影像上提取的最短直线段长度的一半，根据激光点云中建筑物边缘的提取精度设定，可取为点云平面精度与影像地面分辨率的比值。
因此，本发明具有如下优点：1. 在不需要对点云图像进行内插的情况下，直接从激光点云中提取建筑物轮廓线，进而获得作为配准基元的建筑物角特征，避免了内插误差的引入，提高了配准精度； 2.航空影像和激光点云间提取和匹配同名特征完全自动化进行，提高了配准效率；3. 采用光束法区域网平差求解影像外方位元素，同时采用循环迭代的配准策略，可以实现航空影像和机载激光点云间整体最佳配准。
附图说明
附图 1为本发明的工作流程图。
附图 2为本发明实施例中建筑物点云不规则三角网局部图。
附图 3为本发明实施例中特征三角形示意图。
附图 4 为本发明实施例中同名角特征匹配示意图。
附图 5 为本发明实施例中直线段之间的距离示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
一种机载激光点云与航空影像的自动配准方法，如附图1所示，包括以下步骤：
1.步骤1，在每张航空影像上进行影像直线段特征提取；然后在激光点云中，进行点云角特征的提取；
首先，进行影像直线段特征提取，通过Canny算子检测并提取建筑物直线边缘，具体方法为：
步骤1.1.1，采用现有的边缘检测算子Canny算子对航空影像进行处理，可获得影像上的边缘特征，每条边缘由一系列相连的边缘像素点组成；
步骤1.1.2，对于上一步中提取出的边缘，根据边缘点的连接性对每一条边缘进行跟踪，获得一条条相互分离的边缘线；
步骤1.1.3，对上一步中提取出的每一条边缘线进行拆分，采用首点和尾点拟合直线段，计算边缘线上其他点到该直线段的距离，如果最大距离超出给定的阈值，则根据该最大距离对应的点将边缘线分为两条子边缘线，对每一子边缘线重复进行上述拆分操作直至无法继续拆分，所述的阈值一般可设定为三个像素；
步骤1.1.4，对于上一步中进行拆分处理获得的每一条子边缘线，如果其长度超过阈值
Figure 335092DEST_PATH_IMAGE001
，则根据其中的边缘点通过最小二乘法拟合直线段，获得建筑物直线段边缘，所述边缘线长度指包含的边缘像素点个数，所述阈值
Figure 726759DEST_PATH_IMAGE001
由建筑物一般尺寸
Figure 925660DEST_PATH_IMAGE002
和影像分辨率
Figure 515910DEST_PATH_IMAGE003
计算，=。
然后，在点云中提取角特征时，首先剔除高程值明显大于邻域内其它点的粗差点，然后对点云按1.5倍的点云平均间距划分格网，在每个格网内剔除高程值与最高点的差异大于一倍点云高程精度值的墙面点，采用二维Delaunay方法对点云构建不规则三角网，将三角网中所有三角形设置为有效，然后进行点云角特征的提取，具体方法包括以下步骤：
步骤1.2.1，遍历三角网中的有效三角形，直至找到一个满足特征三角形条件的三角形，将其设置为当前三角形，设此三角形中特征线段为AB，其两个端点分别为A和B，将点A设为当前点，依次存储点B、A到线特征的点队列，所述的特征三角形指在构建三角网时在建筑物墙面处由于高程突变形成如附图2所示的具有两条长边的倒三角形，在附图3中，假设其两个位置较高的顶点A、B为位于建筑物边缘上的激光点，而位置较低的那个顶点C为位于墙脚附近的地面上的激光点，由于建筑物屋顶具有一定的高度且屋顶相对较平滑，故该三角形中三个点A、B、C的高程应该满足
Figure 203877DEST_PATH_IMAGE005
、
Figure 914213DEST_PATH_IMAGE006
、这三个条件，即位于屋顶上相邻的两个激光点的高程应该相近，而位于屋顶上的激光点的高程应该远大于位于地面的激光点的高程，其中
Figure 2011102124768100002DEST_PATH_IMAGE036
、和
Figure 985440DEST_PATH_IMAGE009
分别为三个顶点之间的高程差，分别为，，，阈值
Figure 630682DEST_PATH_IMAGE013
表示屋顶上两相邻激光点之间高程差的限差，一般可设置为激光点云的高程精度值，阈值
Figure 896447DEST_PATH_IMAGE014
表示屋顶上激光点与地面上激光点之间高程差的限差，由建筑物高度决定，由于一般建筑物高度至少有3.0 m，考虑到地面植被等干扰，可将
Figure 394425DEST_PATH_IMAGE014
设置为1.5 m，以上三个条件称为特征三角形条件，满足特征三角形条件的三角形称为特征三角形，三角形中位于屋顶边缘上的两点A、B连接成的线段称为特征线段；
步骤1.2.2，在除了当前三角形以外的所有以当前点为顶点的三角形中，根据特征三角形判定条件寻找所有包含特征线段、且特征线段的一端点为当前点的特征三角形：若仅有一个符合条件的三角形，设该三角形中特征线段为
Figure 900493DEST_PATH_IMAGE015
，将该三角形设置为当前三角形，将点
Figure 54393DEST_PATH_IMAGE016
设置为当前点，将当前点与点B比较，如果它们为同一点，则线特征闭合，执行步骤1.2.3，否则存储点
Figure 147287DEST_PATH_IMAGE016
，并重复执行本步骤；如果符合条件的三角形的个数不等于1，则线特征在此处中断，执行步骤1.2.3；
步骤1.2.3，对于闭合的线特征，如果总点数大于阈值Num，阈值Num根据LiDAR点云间距dis及建筑物的一般尺寸L设定，Num = L/dis，保存该线特征，进入步骤1.2.4，否则直接进入步骤1.2.4；对于未闭合的线特征，则转到步骤1.2.2，以点B为当前点进行反向搜索，将搜索到的线特征点插入队列之前，直至步骤1.2.2执行终止，如果此时线特征上点数大于阈值Num，保存该未闭合的线特征，进入步骤1.2.4，否则直接进入步骤1.2.4；
步骤1.2.4，返回至步骤1.2.1继续搜索特征线直至所有三角形均已无效，此时得到多条建筑物轮廓线特征，其中在步骤1.2.1到步骤1.2.3，每当一个三角形判断完毕后，就将其设置为无效；
步骤1.2.5，在获得建筑物轮廓线后，可根据现有算法将其进行规则化获得建筑物直线边缘，并将相互垂直的相邻边求交，以交点与两直线段距交点远的两个端点的连线组合成本方法中作为配准基元的建筑物角特征，假设边缘AB与CD相交于点E，其中B、C点距交点E较近，则点A、E、D的连线组合成角特征AED。
2.步骤2，结合步骤1获取的影像直线段特征以及点云角特征进行点云角特征的同名影像角特征的匹配；进行同名影像角特征的匹配的具体方法如下：
步骤2.1，对于每一个点云角特征，利用当前的影像外方位元素近似值将其投影到每张影像上，得到投影角特征，第一次迭代时使用输入的外方位元素近似值，以后每次迭代使用上一次迭代计算出来的影像外方位元素结果，如附图4所示，假设折线ABC为点云角特征在影像上的投影角特征，其中BA、BC为角特征的两直线段，B为角特征的角点，并在影像上提取了一系列直线段如、
Figure 499771DEST_PATH_IMAGE018
、EF、GH等；
步骤2.2，以投影角特征的角点B为中心作一个半径为阈值r的圆；然后，将所有与圆面相交的影像直线段取出作为候选直线段；
步骤2.3，在候选直线段中，根据两直线段间距离、两直线段长度比和两直线段对应的向量夹角这三个直线段匹配测度分别为角特征的BA和BC两条线段寻找同名的影像直线段
Figure 442319DEST_PATH_IMAGE017
和
Figure 817937DEST_PATH_IMAGE018
，
Figure 238554DEST_PATH_IMAGE017
和
Figure 898074DEST_PATH_IMAGE018
组成点云角特征的同名影像角特征
Figure 683627DEST_PATH_IMAGE019
，其步骤如下：
步骤2.3.1，对于候选直线段，与投影角特征的直线段进行两直线段长度比匹配，两直线段长度比用来限定同名直线段的长度差距，理论上在点云中提取的建筑物直线边缘和影像上提取的同一条直线边缘应该具有相同的长度，考虑到实际提取的边缘可能不完整，限定两同名直线段的长度比不能超过两倍，即在0.5~2之间；
步骤2.3.2，对于符合步骤2.3.1中条件的候选直线段，与投影角特征的直线段进行两直线段对应的向量间的夹角的计算，投影角特征ABC中，定义B为起点，A、C为的终点，从起点到终点构成一个代表线段的向量，在影像上的候选直线段中，离点B近的端点作为起点，另一端点作为终点，同样也可以构成一个起点到终点的向量，同名直线段对应的向量的方向应相同，即两向量夹角小于阈值90°；
步骤2.3.3，对于符合步骤2.3.1和步骤2.3.2中条件的候选直线段，与投影角特征的直线段进行两直线段之间的距离匹配，如附图5所示，假设AB为投影到影像上的直线段，
Figure 608858DEST_PATH_IMAGE017
为影像上提取的直线段，点
Figure 833166DEST_PATH_IMAGE020
到直线AB的距离为
Figure 347193DEST_PATH_IMAGE021
，点
Figure 569227DEST_PATH_IMAGE022
到直线AB的距离为
Figure 168704DEST_PATH_IMAGE023
，则直线段
Figure 931124DEST_PATH_IMAGE017
到直线段AB的距离d定义为
Figure 50390DEST_PATH_IMAGE024
                          
为剔除粗差匹配结果，根据外方位元素的精度设定一个直线段间距离阈值
Figure 505642DEST_PATH_IMAGE025
，选择与投影角特征的直线段距离最近，且距离小于距离阈值
Figure 592415DEST_PATH_IMAGE025
的候选直线段作为投影角特征的直线段的同名影像直线段；
步骤2.4，将匹配得到的两影像直线段组合成点云角特征的同名影像角特征。
3.步骤3，根据步骤2获取的匹配后的同名影像角特征对步骤1 的航空影像作光束法区域网平差，获得改正后的影像外方位元素；获得改正后的影像外方位元素的具体方法是：以点云角特征的角点作为地面控制点，以其同名影像角特征的角点为该控制点的像点；保留所有具有两个及以上像点的控制点，以当前的影像近似外方位元素作为初值，对航空影像作光束法区域网平差，获得改正后的影像外方位元素。
4.步骤4，设置一个限差及最大迭代次数，并计算外方位元素的三个角元素改正值，根据三个角元素改正值的绝对值与设置的限差比较结果选择执行：
若三个角元素改正值的绝对值均小于设置限差或已达到最大迭代次数，则执行步骤5；
否则，若三个角元素改正值的绝对值均大于等于设置限差且未达到最大迭代次数，则更新影像外方位元素，返回步骤2进行迭代；值得注意的是：根据上一次迭代和本次迭代计算出的外方位元素的三个角元素值，通过将分别将它们求差再求绝对值，分别计算本次迭代中外方位元素三个角元素改正数绝对值
Figure 158526DEST_PATH_IMAGE026
，
Figure 194615DEST_PATH_IMAGE027
，，其中，
Figure 332521DEST_PATH_IMAGE029
，
Figure 374427DEST_PATH_IMAGE030
，
Figure 530601DEST_PATH_IMAGE031
，其中，
Figure 514607DEST_PATH_IMAGE037
，
Figure 123443DEST_PATH_IMAGE032
，为第i次迭代中计算出的外方位元素角元素值；每一次迭代中，根据步骤3中所述的获得改正后的影像外方位元素的方法根据匹配的同名角特征计算新的外方位元素，每一次迭代计算获得新的航空影像外方位元素以后，将新的外方位元素带入下一次迭代过程中，且每迭代一次，逐步减小同名角特征匹配过程中圆半径阈值r和距离阈值
Figure 245300DEST_PATH_IMAGE025
直至分别达到设定的最小值和
Figure 496338DEST_PATH_IMAGE035
，逐步减小幅度分别为：（r-
Figure 942363DEST_PATH_IMAGE034
）/N和（
Figure 10813DEST_PATH_IMAGE025
-
Figure 149670DEST_PATH_IMAGE035
）/N ，其中，N为步骤4中设定的最大迭代次数，其中，
Figure 857732DEST_PATH_IMAGE034
可设置为在影像上提取的最短直线段长度的一半，
Figure 294399DEST_PATH_IMAGE035
根据激光点云中建筑物边缘的提取精度设定，可取为点云平面精度与影像地面分辨率的比值。
5.步骤5，输出最后一次迭代中区域网平差获得的影像外方位元素作为配准结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种机载激光点云与航空影像的自动配准方法，其特征在于，包括以下步骤： 
步骤1，在每张航空影像上进行影像直线段特征提取；然后在激光点云中，进行点云角特征的提取； 
步骤2，结合步骤1获取的影像直线段特征以及点云角特征进行点云角特征的同名影像角特征的匹配；其中，进行同名影像角特征的匹配的具体方法如下： 
步骤2.1，对于每一个点云角特征，利用当前的影像外方位元素近似值将其投影到每张影像上，得到投影角特征，第一次迭代时使用输入的外方位元素近似值，以后每次迭代使用上一次迭代计算出来的影像外方位元素结果，假设折线ABC为点云角特征在影像上的投影角特征，其中BA、BC为角特征的两直线段，B为角特征的角点，并在影像上提取了一系列直线段； 
步骤2.2，以投影角特征的角点B为中心作一个半径为阈值r的圆；然后，将所有与圆面相交的影像直线段取出作为候选直线段； 
步骤2.3，在候选直线段中，根据两直线段间距离、两直线段长度比和两直线段对应的向量夹角这三个直线段匹配测度分别为角特征的BA和BC两条线段寻找同名的影像直线段A′B′和B′C′，A′B′和B′C′组成点云角特征的同名影像角特征A′B′C′，其步骤如下： 
步骤2.3.1，对于候选直线段，与投影角特征的直线段进行两直线段长度比匹配，两直线段长度比用来限定同名直线段的长度差距，理论上在点 云中提取的建筑物直线边缘和影像上提取的同一条边缘应该具有相同的长度，考虑到实际提取的边缘可能不完整，限定两同名直线段的长度比不能超过两倍，在0.5~2之间； 
步骤2.3.2，对于符合步骤2.3.1中条件的候选直线段，与投影角特征的直线段进行两直线段对应的向量间的夹角的计算，投影角特征ABC中，定义B为起点，A、C为的终点，从起点到终点构成一个代表线段的向量，在影像上的候选直线段中，离点B近的端点作为起点，另一端点作为终点，同样也可以构成一个起点到终点的向量，同名直线段对应的向量的方向应相同，两向量夹角小于阈值90°； 
步骤2.3.3，对于符合步骤2.3.1和步骤2.3.2中条件的候选直线段，与投影角特征的直线段进行两直线段之间的距离匹配，假设AB为投影到影像上的直线段，A′B′为影像上提取的直线段，点A′到直线AB的距离为d1，点B′到直线AB的距离为d2，则直线段A′B′到直线段AB的距离d定义为 
                                      d=(d1+d2)/2 
为剔除粗差匹配结果，根据外方位元素的精度设定一个直线段间距离阈值Δd，选择与投影角特征的直线段距离最近，且距离小于距离阈值Δd的候选直线段作为投影角特征的直线段的同名影像直线段； 
步骤2.4，将匹配得到的两影像直线段组合成点云角特征的同名影像角特征； 
步骤3，根据步骤2获取的匹配后的同名影像角特征对步骤1的航空影像作光束法区域网平差，获得改正后的影像外方位元素； 
步骤4，设置一个限差及最大迭代次数，并计算外方位元素的三个角元 素改正值，根据三个角元素改正值的绝对值与设置的限差比较结果选择执行： 
若三个角元素改正值的绝对值均小于设置限差或已达到最大迭代次数，则执行步骤5； 
否则，若三个角元素改正值的绝对值并非均小于设置限差且未达到最大迭代次数，则更新影像外方位元素，返回步骤2进行迭代； 
步骤5，输出最后一次迭代中区域网平差获得的影像外方位元素作为配准结果。 
2.根据权利要求1所述的一种机载激光点云与航空影像的自动配准方法，其特征在于，所述的步骤1中，进行影像直线段特征提取时通过Canny算子检测并提取建筑物直线边缘，具体方法为： 
步骤1.1，采用现有的边缘检测算子Canny算子对航空影像进行处理，可获得影像上的边缘特征，每条边缘由一系列相连的边缘像素点组成； 
步骤1.2，对于上一步中提取出的边缘，根据边缘点的连接性对每一条边缘进行跟踪，获得一条条相互分离的边缘线； 
步骤1.3，对上一步中提取出的每一条边缘线进行拆分，采用首点和尾点拟合直线段，计算边缘线上其他点到该直线段的距离，如果最大距离超出给定的阈值，则根据该最大距离对应的点将边缘线分为两条子边缘线，对每一子边缘线重复进行上述拆分操作直至无法继续拆分，所述的阈值设定为三个像素； 
步骤1.4，对于上一步中进行拆分处理获得的每一条子边缘线，如果其长度超过阈值Ln，则根据其中的边缘点通过最小二乘法拟合直线段，获得 建筑物直线段边缘，所述边缘线长度指包含的边缘像素点个数，所述阈值Ln由建筑物尺寸S和影像分辨率R计算，Ln=S/R。 
3.根据权利要求1所述的一种机载激光点云与航空影像的自动配准方法，其特征在于，所述的步骤1中，在点云中提取角特征时，首先剔除高程值明显大于邻域内其它点的粗差点，然后对点云按1.5倍的点云平均间距划分格网，在每个格网内剔除高程值与最高点的差异大于一倍点云高程精度值的墙面点，采用二维Delaunay方法对点云构建不规则三角网，将三角网中所有三角形设置为有效，然后进行点云角特征的提取，具体方法包括以下步骤： 
步骤1.1，遍历三角网中的有效三角形，直至找到一个满足特征三角形条件的三角形，将其设置为当前三角形，设此三角形中特征线段为AB，其两个端点分别为A和B，将点A设为当前点，依次存储点B、A到线特征的点队列，所述的特征三角形指在构建三角网时在建筑物墙面处由于高程突变形成的具有两条长边的倒三角形，假设其两个位置较高的顶点A、B为位于建筑物边缘上的激光点，而位置较低的那个顶点C为位于墙脚附近的地面上的激光点，由于建筑物屋顶具有一定的高度且屋顶相对较平滑，故该三角形中三个点A、B、C的高程应该满足|ΔZAB|<dZ1、ΔZAC>dZ2、ΔZBC>dZ2这三个条件，即位于屋顶上相邻的两个激光点的高程应该相近，而位于屋顶上的激光点的高程应该远大于位于地面的激光点的高程，其中ΔZAB、ΔZAC和ΔZBC分别为三个顶点之间的高程差，分别为ΔZAB=ZA-ZB，ΔZAC=ZA-ZC，ΔZBC=ZB-ZC，阈值dZ1表示屋顶上两相邻激光点之间高程 差的限差，设置为激光点云的高程精度值，阈值dZ2表示屋顶上激光点与地面上激光点之间高程差的限差，由建筑物高度决定，由于一般建筑物高度至少有3.0m，考虑到地面植被干扰，将dZ2设置为1.5m，以上三个条件称为特征三角形条件，满足特征三角形条件的三角形称为特征三角形，三角形中位于屋顶边缘上的两点A、B连接成的线段称为特征线段； 
步骤1.2，在除了当前三角形以外的所有以当前点为顶点的三角形中，根据特征三角形判定条件寻找所有包含特征线段、且特征线段的一端点为当前点的特征三角形：若仅有一个符合条件的三角形，设该三角形中特征线段为AA1，将该三角形设置为当前三角形，将点A1设置为当前点，将当前点与点B比较，如果它们为同一点，则线特征闭合，执行步骤1.3，否则存储点A1，并重复执行本步骤；如果符合条件的三角形的个数不等于1，则线特征在此处中断，执行步骤1.3； 
步骤1.3，对于闭合的线特征，如果总点数大于阈值Num，阈值Num根据LiDAR点云间距dis及建筑物的一般尺寸L设定，Num=L/dis，保存该线特征，进入步骤1.4，否则直接进入步骤1.4；对于未闭合的线特征，则转到步骤1.2，以点B为当前点进行反向搜索，将搜索到的线特征点插入队列之前，直至步骤1.2执行终止，如果此时线特征上点数大于阈值Num，保存该未闭合的线特征，进入步骤1.4，否则直接进入步骤1.4； 
步骤1.4，返回至步骤1.1继续搜索特征线直至所有三角形均已无效，此时得到多条建筑物轮廓线特征，其中在步骤1.1到步骤1.3，每当一个三角形判断完毕后，就将其设置为无效； 
步骤1.5，在获得建筑物轮廓线后，根据现有算法将其进行规则化获得 建筑物直线边缘，并将相互垂直的相邻边求交，以交点与两直线段距交点远的两个端点的连线组合成本方法中作为配准基元的建筑物角特征，假设边缘AB与CD相交于点E，其中B、C点距交点E较近，则点A、E、D的连线组合成角特征AED。 
4.根据权利要求1所述的一种机载激光点云与航空影像的自动配准方法，其特征在于，所述的步骤3中，获得改正后的影像外方位元素的具体方法是：以点云角特征的角点作为地面控制点，以其同名影像角特征的角点为该控制点的像点；保留所有具有两个及以上像点的控制点，以当前的影像近似外方位元素作为初值，对航空影像作光束法区域网平差，获得改正后的影像外方位元素。 
5.根据权利要求1所述的一种机载激光点云与航空影像的自动配准方法，其特征在于，所述的步骤4中，根据上一次迭代和本次迭代计算出的外方位元素的三个角元素值，通过将分别将它们求差再求绝对值，分别计算本次迭代中外方位元素三个角元素改正值绝对值
Figure FDA00003097651100061
其中， 
Figure FDA00003097651100062
|Δω|=|ωi-ωi-1|，|Δκ|=|κi-κi-1|,其中，
Figure FDA00003097651100063
ωi，κi为第i次迭代中计算出的外方位元素角元素值；每一次迭代中，根据步骤3中所述的获得改正后的影像外方位元素的方法根据匹配的同名角特征计算新的外方位元素，每一次迭代计算获得新的航空影像外方位元素以后，将新的外方位元素带入下一次迭代过程中，且每迭代一次，逐步减小同名角特征匹配过程中圆半径阈值r和距离阈值Δd直至分别达到设定的最小值rmin和Δdmin，逐步减小幅度分别为：（r-rmin）/N和（Δd-Δdmin）/N，其中，N为步骤4中 设定的最大迭代次数，其中，rmin设置为在影像上提取的最短直线段长度的一半，Δdmin根据激光点云中建筑物边缘的提取精度设定，取为点云平面精度与影像地面分辨率的比值。 
CN 201110212476 2011-07-28 2011-07-28 一种机载激光点云与航空影像的自动配准方法 Active CN102411778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110212476 CN102411778B (zh) 2011-07-28 2011-07-28 一种机载激光点云与航空影像的自动配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110212476 CN102411778B (zh) 2011-07-28 2011-07-28 一种机载激光点云与航空影像的自动配准方法

Publications (2)

Publication Number Publication Date
CN102411778A CN102411778A (zh) 2012-04-11
CN102411778B true CN102411778B (zh) 2013-08-14

Family

ID=45913844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110212476 Active CN102411778B (zh) 2011-07-28 2011-07-28 一种机载激光点云与航空影像的自动配准方法

Country Status (1)

Country Link
CN (1) CN102411778B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930540B (zh) * 2012-10-26 2015-06-10 中国地质大学（武汉） 城市建筑物轮廓检测的方法及系统
CN103020342B (zh) * 2012-12-04 2015-07-15 南京大学 一种从地面LiDAR数据中提取建筑物轮廓和角点的方法
CN103020966B (zh) * 2012-12-04 2015-08-26 南京大学 一种基于建筑物轮廓约束的航空与地面LiDAR数据自动配准方法
CN103093466B (zh) * 2013-01-21 2016-05-25 武汉大学 基于LiDAR点云和影像的建筑物三维变化检测方法
CN103426165A (zh) * 2013-06-28 2013-12-04 吴立新 一种地面激光点云与无人机影像重建点云的精配准方法
CN103489197B (zh) * 2013-10-18 2016-03-09 武汉大学 一种城市地区航空影像角特征匹配方法
CN103729846B (zh) * 2013-12-23 2017-01-11 西安电子科技大学 基于不规则三角网的LiDAR点云数据边缘检测方法
CN103886555A (zh) * 2014-03-12 2014-06-25 北京昊峰东方科技有限公司 一种基于海量三维激光扫描点云数据的处理方法
CN103927731B (zh) * 2014-05-05 2017-01-11 武汉大学 无需pos辅助的低空遥感影像快速自动拼接方法
CN104063860A (zh) * 2014-06-12 2014-09-24 北京建筑大学 一种激光点云边缘精细化的方法
CN104090945B (zh) * 2014-06-30 2015-03-25 武汉大学 一种地理空间实体构建方法及系统
CN104123730B (zh) * 2014-07-31 2016-09-14 武汉大学 基于道路特征的遥感影像与激光点云配准方法及系统
CN105758386B (zh) * 2014-12-15 2018-12-04 广州蓝图地理信息技术有限公司 一种激光点云与航空影像集成的建筑物三维建模方法
CN104599272B (zh) * 2015-01-22 2018-05-15 中国测绘科学研究院 面向可移动靶标球的机载LiDAR点云与影像联合配准方法
CN105160702B (zh) * 2015-08-20 2017-09-29 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN105844707B (zh) * 2016-03-15 2019-04-16 南京大学 基于城墙断面从LiDAR点云数据自动提取古城墙数据的方法
CN107220987A (zh) * 2016-03-22 2017-09-29 嘉兴博海信息科技有限公司 一种基于主成分分析的建筑物屋顶边缘快速检测方法
CN107301659B (zh) * 2017-05-25 2018-11-02 环境保护部卫星环境应用中心 一种高分辨率影像与gis数据配准方法及装置
CN107316325B (zh) * 2017-06-07 2020-09-22 华南理工大学 一种基于图像配准的机载激光点云与影像配准融合方法
CN107564046A (zh) * 2017-07-17 2018-01-09 山东新汇建设集团有限公司 一种基于点云与uav影像二次配准的建筑物轮廓精确提取方法
CN107784666B (zh) * 2017-10-12 2021-01-08 武汉市工程科学技术研究院 基于立体影像的地形地物三维变化检测和更新方法
CN107885701B (zh) * 2017-11-07 2021-02-09 中国科学院电子学研究所 基于变分法的共轭梯度法光束法区域网平差方法
CN109813335B (zh) * 2017-11-21 2021-02-09 武汉四维图新科技有限公司 数据采集系统的标定方法、装置、系统及存储介质
CN108416785B (zh) * 2018-03-26 2020-08-11 北京进化者机器人科技有限公司 面向封闭空间的拓扑分割方法及装置
CN109255008B (zh) * 2018-09-28 2020-09-25 贵州省水利水电勘测设计研究院有限公司 一种数据处理方法、系统及电子设备
CN109727278B (zh) * 2018-12-31 2020-12-18 中煤航测遥感集团有限公司 一种机载LiDAR点云数据与航空影像的自动配准方法
CN110136182B (zh) * 2019-05-28 2021-06-04 北京百度网讯科技有限公司 激光点云与2d影像的配准方法、装置、设备和介质
CN110443837B (zh) * 2019-07-03 2021-09-24 湖北省电力勘测设计院有限公司 一种直线特征约束下的城区机载激光点云与航空影像配准方法和系统
CN112669388B (zh) * 2019-09-30 2022-06-21 上海禾赛科技有限公司 激光雷达与摄像装置的标定方法及装置、可读存储介质
CN111508015B (zh) * 2020-03-03 2022-07-12 宝略科技(浙江)有限公司 一种基于三维实景数据的建筑物高度提取方法及其装置
CN111598823B (zh) * 2020-05-19 2023-07-25 北京数字绿土科技股份有限公司 多源移动测量点云数据空地一体化融合方法、存储介质
CN112465849B (zh) * 2020-11-27 2022-02-15 武汉大学 一种无人机激光点云与序列影像的配准方法
CN112950683B (zh) * 2021-02-25 2022-08-30 武汉大学 基于点特征的航空影像和机载点云配准优化方法及系统
CN112991368B (zh) * 2021-03-16 2023-08-15 追觅创新科技(苏州)有限公司 目标对象的检测方法及装置、存储介质及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126639A (zh) * 2007-09-18 2008-02-20 武汉大学 快速进行低空遥感影像自动匹配与空中三角测量方法

Also Published As

Publication number Publication date
CN102411778A (zh) 2012-04-11

Similar Documents

Publication Publication Date Title
CN102411778B (zh) 一种机载激光点云与航空影像的自动配准方法
CN108303103B (zh) 目标车道的确定方法和装置
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN102930525B (zh) 基于仿射不变特征与单应矩阵的线匹配方法
CN110487216A (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
US10165262B2 (en) Image processing device and markers
CN103955920A (zh) 基于三维点云分割的双目视觉障碍物检测方法
CN102750537A (zh) 一种高精度图像自动配准方法
CN109410264A (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN110910498B (zh) 一种利用激光雷达和双目相机构建栅格地图的方法
CN105606123B (zh) 一种低空航空摄影测量自动纠正数字地面高程模型的方法
CN104408772A (zh) 一种基于网格投影的自由曲面三维重建方法
Zhang et al. Automatic registration of urban aerial imagery with airborne LiDAR data
Stucker et al. ResDepth: Learned residual stereo reconstruction
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
CN105225233B (zh) 一种基于两类膨胀的立体影像密集匹配方法及系统
CN104376328A (zh) 基于坐标的分布型编码标志识别方法及系统
CN103489197B (zh) 一种城市地区航空影像角特征匹配方法
CN103489183A (zh) 一种基于边缘分割和种子点的局部立体匹配方法
CN110443837B (zh) 一种直线特征约束下的城区机载激光点云与航空影像配准方法和系统
CN107578429B (zh) 基于动态规划和全局代价累积路径的立体影像密集匹配方法
CN113012196B (zh) 一种基于双目相机与惯导传感器信息融合的定位方法
CN111127474B (zh) 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统
CN104574333B (zh) 模型直线约束下的lidar点云拼接方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant