CN109671109A - 密集点云生成方法及系统 - Google Patents

Abstract

本发明公开了一种密集点云生成方法及系统，方法包括：读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于同名特征和同名像点进行特征点匹配，获取相应的匹配点对信息；采用光束法平差原理，根据匹配点对信息，利用多视几何原理求解出各个影像的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；基于恢复得到的无人机影像立体像对在空间坐标系中的位置姿态信息，将基准影像上像点反算至重叠影像并寻找同名像点，利用同名像点通过空间前方交会生成相应的密集点云。其有效解决了传统的无人机数据处理方式运算效率较低，不能实现快速高效的数据处理的问题。

Description

密集点云生成方法及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种密集点云生成方法及系统。

背景技术

在信息化时代，地理空间态势瞬息万变，各类目标千差万别，传统的遥感 成像和测绘手段难以适应日趋复杂的技术要求。现代社会发展需要具备动态测 绘的能力，但是目前成熟的卫星遥感和航空遥感技术难以满足动态测绘即时保 障的客观需求。受飞行地域、航高和不可回避的人力成本的制约，常规有人驾 驶航空遥感测绘平台实施动态测绘保障极为不易，而基于无人机平台的动态测 绘保障却可满足该需求。因此，基于无人机飞行平台在测绘领域的应用具有重 大经济和社会效益。

基于无人机飞行平台的无人机摄影测量通常包含两方面的含义：一方面是 数据动态获取的能力，另一方面则是数据的近实时处理能力。目前来看，这两 方面能力的发展是不均衡的，无人机数据处理能力发展速度明显滞后于数据动 态获取的能力。传统的数据处理方式运算效率较低，对于获取到的数据不能实 现快速高效的处理。

发明内容

基于此，有必要针对传统的无人机数据处理方式运算效率较低，不能实现 快速高效的数据处理的问题，提供一种密集点云生成方法及系统。

基于上述目的，本发明提供的一种密集点云生成方法，包括如下步骤：

读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特 征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相 应的匹配点对信息；

采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述 匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基 于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态 信息；

基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态 信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名 像点通过空间前方交会生成相应的密集点云。

在其中一个实施例中，所述读取无人机拍摄采集到的多张影像，通过GPU 由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像 点进行特征点匹配，获取相应的匹配点对信息，包括如下步骤：

读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像 的特征描述符；

根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对 信息；

采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误 配点对信息。

在其中一个实施例中，所述采用光束法平差原理，以共线条件方程式作为 平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述 影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对 在空间坐标系中的位置姿态信息，包括如下步骤：

读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各 个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联 合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置 姿态信息。

在其中一个实施例中，所述根据读取到的所述匹配点对信息和所述相机参 数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影 像的相对方位元素，包括如下步骤：

判断当前正在处理的影像中是否存在控制点或GPS数据；

若是，则利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定 向处理后，再执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处 理，以及多视角联合平差处理的步骤；

若否，则直接执行所述对求解得到的所述相对方位元素进行粗差探测与剔 除处理，以及多视角联合平差处理的步骤。

在其中一个实施例中，所述基于恢复得到的所述无人机影像立体像对在空 间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所 述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云，包括 如下步骤：

根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用 GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合， 获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹 配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果 中包含所述同名像点信息；

通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为 辅，将所有的匹配点云进行融合，得到相应的密集点云。

相应的，基于同一发明构思，本发明还提供了一种密集点云生成系统，包 括稀疏匹配模块、平差处理模块和点云生成模块；

其中，所述稀疏匹配模块，用于读取无人机拍摄采集到的多张影像，通过 GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同 名像点进行特征点匹配，获取相应的匹配点对信息；

所述平差处理模块，用于采用光束法平差原理，以共线条件方程式作为平 差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影 像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在 空间坐标系中的位置姿态信息；

所述点云生成模块，用于基于恢复得到的所述无人机影像立体像对在空间 坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述 同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云。

在其中一个实施例中，所述稀疏匹配模块包括特征描述符建立子模块、特 征点匹配子模块和剔除误配点对子模块；

所述特征描述符建立子模块，用于读取无人机拍摄采集到的多张影像，使 用GPU并行计算方式建立每张影像的特征描述符；

所述特征点匹配子模块，用于根据建立的所述特征描述符进行特征点匹配 处理，获得多个所述匹配点对信息；

所述剔除误配点对子模块，用于采用RANSAC方法由多个所述匹配点对中 获取最优匹配点对信息，剔除误配点对信息。

在其中一个实施例中，所述平差处理模块包括信息参数读取子模块、相对 定向处理子模块、粗差探测处理子模块和多视角联合平差处理子模块；

所述信息参数读取子模块，用于读取匹配点对信息以及用于拍摄采集多张 影像的相机参数；

所述相对定向处理子模块，用于根据读取到的所述匹配点对信息和所述相 机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所 述影像的相对方位元素；

所述粗差探测处理子模块，用于对求解得到的所述相对方位元素进行粗差 探测与剔除处理；

所述多视角联合平差处理子模块，用于所述粗差探测处理子模块对求解得 到的所述相对方位元素进行粗差探测与剔除处理后，再进行多视角联合平差处 理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置 姿态信息。

在其中一个实施例中，所述平差处理模块还包括判断子模块和绝对定向处 理子模块；

其中，所述判断子模块，用于所述相对定向处理子模块利用多视几何原理 对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素后， 判断当前正在处理的影像中是否存在控制点或GPS数据；

所述绝对定向处理子模块，用于当所述判断子模块判断出存在所述控制点 或所述GPS数据时，利用所述控制点或所述GPS数据对所述相对方位元素进行 绝对定向处理后，再跳转至所述粗差探测剔除子模块和所述多视角联合平差处 理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别 执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视 角联合平差处理的步骤；

所述判断子模块，还用于在判断出不存在所述控制点或所述GPS数据时， 直接跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所 述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解 得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理 的步骤。

在其中一个实施例中，所述点云生成模块包括单面点云获取子模块、接边 点云获取子模块和点云融合子模块；

其中，所述单面点云获取子模块，用于根据所述无人机影像立体像对在空 间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体 的顶面信息点云和多个侧面信息点云；

所述接边点云获取子模块，用于以预设的基准影像为基准，分别将其他各 个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹 配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像 的接边点云；其中，初始匹配结果中包含所述同名像点信息；

所述点云融合子模块，用于通过空间分析方法，以单镜头多视匹配点云为 主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集 点云。

上述密集点云生成方法，通过读取无人机拍摄采集到的多张影像，采用GPU 由多张影像中提取出同名特征和同名像点，并基于提取出的同名特征和同名像 点进行特征点匹配获取相应的匹配点对信息后，采用光束法平差原理，以共线 条件方程式作为平差的基础方程，根据获取到的匹配点对信息，利用多视几何 原理求解出各个影像的相对方位元素，并基于相对方位元素恢复得到无人机影 像立体像对在空间坐标系中的位置姿态信息；同时，基于恢复得到的位置姿态 信息将基准影像上的像点反算至重叠影像并寻找同名像点，利用同名像点通过 空间前方交会生成相应的密集点云。其综合利用了计算机视觉和数字摄影测量 领域中的多视角数字影像密集匹配方法，既能够充分利用影像数据的精确定位 信息，快速计算出重叠影像及其搜索范围，同时还能够利用特征点辅助多视匹 配的方法，缓解影像匹配过程中的特征重复、纹理单一、集合变形严重、成像 比例不一、光照差异和遮挡等难点问题，有效提高了无人机数据的处理效率， 最终解决了传统的无人机数据处理方式运算效率较低，不能实现快速高效的数 据处理的问题。

附图说明

图1为本发明的密集点云生成方法的一具体实施例的流程图；

图2为本发明的密集点云生成方法的一具体实施例中建立特征描述符的过 程示意图；

图3为本发明的密集点云生成方法的一具体实施例中对无人机影像进行区 域网平差处理的流程示意图；

图4为本发明的密集点云生成方法的一具体实施例中基于多视密集匹配的 点云生成流程示意图；

图5为采用本发明的密集点云生成方法对某矿坑地区航拍图进行处理时， 所读取到的影像数据的控制点标志位置图；

图6为采用本发明的密集点云生成方法对某矿坑地区航拍图进行处理后所 生成的密集点云结果图；

图7为在图6所示的密集点云结果图中进行控制点标记后的密集点云图；

图8为本发明的密集点云生成系统的一具体实施例的结构示意图。

具体实施方式

为使本发明技术方案更加清楚，以下结合具体实施例对本发明做进一步详 细说明。其中，应当说明的是，以下描述包括帮助理解的各种具体细节，但是 这些细节将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不 脱离本公开的范围和精神的情况下，可对本文所述的各种实施例进行各种改变 和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。

以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由 发明人用来使本公开能够被清晰和一致地理解。因此，对于本领域技术人员而 言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的， 而非限制由所附权利要求及其等同物限定的本公开的目的。

应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因 此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。

参见图1，作为本发明的密集点云生成方法的一具体实施例，其首先包括步 骤S100，读取无人机拍摄采集到的多张影像，通过GPU(Graphic Pracessing Unit， 图形处理器)由多张影像中提取出同名特征和同名像点，并基于同名特征和同 名像点进行特征点匹配，获取相应的匹配点对信息。

此处，应当说明的是，基于特征的影像匹配是通过在不同的影像上同时提 出点、线等几何特征，进行几何特征描述并进行特征参数化，通过对几何特征 参数的匹配，提取特征参数相同的特征作为同名特征和同名像点。其中，用于 描述同名特征和同名像点的尺度不变量特征变换(Scale Invariant Feature Transform)也称SIFT算子。其对图像的缩放、旋转、光照强度和探测器观察视 角的改变以及噪声扰动具有很好的稳定性。但是，SIFT特征的提取和匹配运算 量较大，传统的仅仅依靠CPU的计算不能适应摄影测量中高分辨率、大数据量 的特点。因此，在本发明的密集点云生成方法中，进行同名特征和同名像点(即， SIFT算子)的提取和匹配采用了基于GPU的并行处理算法。

具体的，其首先包括步骤S110，读取无人机拍摄采集到的多张影像，使用 GPU并行计算方式建立每张影像的特征描述符。即，首先进行建立特征描述符 的步骤。然后，再执行步骤S120，根据建立的特征描述符进行特征点匹配处理， 获得多个匹配点对信息。即，进行特征点匹配。最后，再通过步骤S130，采用 RANSAC方法由多个匹配点对中获取最优匹配点对信息，剔除误配点对信息。

其中，在步骤S110，建立特征描述符的过程中，可通过多个步骤使用GPU 并行计算的方式进行。具体包括：输入彩色图像的灰度转换，对输入图像的降 采样和升采样；创建高斯图像金字塔(灰度、梯度、差分高斯图像)；关键点检 测(亚像素和亚尺度级定位)；采用GPU直方图约简产生压缩特征列表；计算 特征方向和描述子。但是，并不是所有计算都在GPU上运行更快。参见图2， 本发明的密集点云生成方法的一具体实施例中，其并未将所有的建立特征描述 符的计算过程全部进行GPU并行化改造，而是为每一步骤设计最合适的处理方 式。

具体的，参见图2，首先，通过无人机拍摄采集到的图像输入后，利用GPU 分布高斯卷积片段程序加速高斯金字塔的构建，并将图像灰度、梯度和高斯差 分金字塔存储在RGBA纹理存储器内，以便于利用片段程序进行并行向量计算。 随后，在图形硬件内对高斯差分金字塔所有的像素进行并行计算，检测局部极 值，确定关键点，计算关键点的主曲率，通过一个2*2的hessian矩阵计算特征 比率值，检测关键点主曲率是否超过设定的阈值，通过二值位图精确标记关键 点的位置、尺度。运行另一个片段程序将二值位图压缩变成RGBA数据，随后 被读回到CPU，并同时进行解码。

其中，关键点位置和尺度将在CPU中恢复。由于将存储在纹理存储器的梯 度金字塔读回到CPU需要花费大量时间，因此随后的过程在GPU上也同时运 行。关键点附近的梯度向量在另一个片段程序进行高斯加权累积建立直方图。 随后，方向直方图被读回到CPU，并且检测直方图的峰值，确定关键方向。这 是因为在GPU上检测直方图的峰值并确定关键方向所花费的时间超过通过一个 小的回读把数据传递到CPU上进行计算时间。

最后，计算128位的SIFT描述符，这些由16*16组成的图像数据块根据关 键点的尺度、位置和方向建立SIFT描述符的过程全部在GPU上进行不能够达 到最好的效率。因此，将这一步骤在CPU和GPU之间进行分割。重采样每个 特征的梯度向量块，在GPU上对其进行高斯加权，采样和加权的梯度向量被传 递到CPU，随后计算描述符。

当通过上述步骤实现特征描述符的建立后，即可执行步骤S120，进行特征 点匹配。其中，需要指出的是，生成两幅图像的SIFT特征点向量后，特征匹配 过程包含两个步骤：第一步，计算不同特征点描述符的欧式距离：对两张待匹 配影像上的不同特征点，计算其描述符的差平方和测度作为匹配的相似性测度， 以测度最小的点对作为候选匹配点对。第二步，确定匹配点对：对每个待匹配 特征点，通过K-D树优先搜索得到与其描述符的欧氏距离最邻近和次邻近的两 个特征点，将最近邻和次近邻的欧式距离之比与阈值比较，剔除不可靠的点对。

进一步的，匹配完成之后，可能会出现一些误配点对信息，因此为了保证 匹配结果的准确性和可靠性，其还包括步骤S130，剔除误配点对信息的过程。 即，采用RANSAC方法来取得最优匹配点对，进而剔除误配。具体的，首先， 从已求得的匹配点对中抽取几对配准点，计算变换矩阵，并将这几对点记录为 “内点”继续寻找匹配点对中的非内点，若这些匹配点对符合矩阵，则将其添 加到内点。当内点中的点对数大于样本总点对的25％时，则判定此矩阵为精确 的变换矩阵。依照以上方法，随机采样N次，选取内点数最大集合，剔除非内 点等误配点对。

参见图1，当通过上述步骤完成基于GPU的SIFT稀疏匹配后，即可执行区 域网平差处理步骤。即，步骤S200，采用光束法平差原理，以共线条件方程式 作为平差的基础方程，根据匹配点对信息，利用多视几何原理求解出各个影像 的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空间坐 标系中的位置姿态信息。

其中，区域网平差处理主要采用光束法平差原理，以共线条件方程式作为 平差的基础方程，根据连接点自动匹配的信息，利用多视几何原理，求解出各 影像的相对方位元素，并完成粗差探测与剔除，然后按非线性最小二乘准则实 现对外参数的优化，若有控制点或GPS数据，则可利用此数据进行七参数绝对 定向，最终精确地获得无人机影像立体像对在空间坐标系中的位置姿态信息。 该处理流程主要包括相对定向、绝对定向、粗差探测与剔除和多视角联合平差 四部分。

具体的，参见图3，其首先包括步骤S210，读取匹配点对信息以及用于拍 摄采集多张影像的相机参数。然后，执行步骤S220，根据读取到的匹配点对信 息和相机参数，利用多视几何原理对各个影像进行相对定向处理，求解出各个 影像的相对方位元素。

此处，应当指出的是，作为本发明的优选实施例，其在求解出各个影像的 相对方位元素后，为了保证最终获得的位置姿态信息的精确度，其还包括步骤 S230，判断当前正在处理的影像中是否存在控制点或GPS数据。当判断出存在 控制点或GPS数据时，则执行步骤S240，利用控制点或GPS数据对相对方位 元素进行七参数绝对定向处理，以便于最终精确的恢复得到无人机影像立体像 对在空间坐标系中的位置姿态信息。当判断出不存在控制点或GPS数据时，则 直接执行步骤S250，对求解得到的所述相对方位元素进行粗差探测与剔除处理， 以及多视角联合平差处理。进而执行步骤S260，输出相应的平差结果。其中，平差结果包括无人机影像立体像对在空间坐标系中的位置姿态信息。无人机影 像立体像对在空间坐标系中的位置姿态信息包括七个外方位元素。

此处，需要指出的是，绝对定向就是利用地面控制点确定相对定向中的模 型点的大地坐标。由于大地坐标系是左手系，它的坐标轴与对应摄影测量坐标 系的坐标轴之间的夹角不是小角度，不便于二者之间直接换算。因此，在绝对 定向之前，应先将控制点的大地坐标换算成地面摄影测量坐标；然后利用这些 控制点，在摄影测量坐标系和地面摄影测量坐标系之间的绝对定向，计算出模 型点的地面摄影测量坐标；最后，将模型点的地面摄影测量坐标换算为大地坐 标。实际上，绝对定向的主要工作是把模型点的摄影测量坐标变换成地面摄影 测量坐标。

它们之间的空间相似变换可以用下式表示：

其中，(X_p,Y_p,Z_p)为模型点的摄影测量坐标，(X_tp,Y_tp,Z_tp)为对应的地面摄影测 量坐标，λ为缩放系数，(a_i,b_i,c_i)为角元素φ,ω,κ的函数组成的方向余弦， (ΔX,ΔY,ΔZ)为坐标原点的平移量。绝对定向就是根据控制点的地面摄影测量坐 标和对应的模型坐标，解算出上述7个绝对定向参数，再用这7个参数把待定 点的摄影测量坐标换算成地面摄影测量坐标。

通过上述步骤即可实现对多张无人机影像的整体区域的校正。待完成上述 校正后，即可执行步骤S300,基于恢复得到的无人机影像立体像对在空间坐标 系中的位置姿态信息，将基准影像上像点反算至重叠影像并寻找同名像点，利 用同名像点通过空间前方交会生成相应的密集点云。其中，在“将基准影像上 像点反算至重叠影像并寻找同名像点”时，可以利用立体像对的位置姿态信息， 根据基准影像上的像点计算出其匹配对应点在另外一张影像上的大概位置，缩 小匹配时的搜索空间，加快匹配速度。其通过利用精确地位置姿态信息辅助密 集匹配，可以提升匹配效果，缓解影像匹配过程中因特征重复、纹理单一、几 何变形严重、成像比例尺不一、光照差异、遮挡等问题导致的匹配失败。

此处，还需要说明的是，在数字摄影测量领域，多视角立体影像匹配流程 大致为：首先对多视角立体影像进行区域网平差处理，以提高影像的定位精度； 随后利用基于物方空间的约束方法，将基准影像上像点反算至重叠影像并寻找 同名像点，最后通过空间前方交会生成稠密点云。由此，为了从无人机影像中 快速恢复出真实、精致的目标区三维模型，在本发明的密集点云生成方法的一 具体实施例中，当通过上述步骤实现对无人机影像的区域网平差处理后，即可 进行基于多视密集匹配的点云生成处理。

具体的，其首先包括步骤S310，根据无人机影像立体像对在空间坐标系中 的位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云 和多个侧面信息点云。即，参见图4，首先以单个镜头获取的重叠影像为对象， 利用多基线匹配技术，在物方空间约束下(即，根据无人机影像立体像对在空 间坐标系中的位置姿态信息)，利用GPU并行加速手段，快速获取目标区空间 物体的顶面和多个侧面信息点云。其中，顶面信息点云即正视匹配点云，多个 侧面信息点云则包括前侧面匹配点云、后侧面匹配点云、左侧面匹配点云和右 侧面匹配点云等。

然后，执行步骤S320，以预设的基准影像为基准，分别将其他各个影像与 基准影像进行组合，获取相应的初始匹配结果，并以初始匹配结果为初值，通 过分析和调整匹配参数，得到基准影像与其他各个影像的接边点云；其中，初 始匹配结果中包含所述同名像点信息。参见图4，在该步骤中，首先执行步骤 S321，以垂直摄影的影像为基准，分别将各个倾斜摄影的影像与其组合，利用 ASIFT等特征点匹配方法，获取精确的、稀疏的初始匹配结果。然后，再通过 步骤S322，利用初始匹配结果作为初值，通过分析和调整匹配参数，利用基于 物方空间约束的多视匹配方法，丰富匹配结果，得到垂直影像与倾斜影像接边 点云。如：分别计算垂直—前视影像的接边点云、垂直—后视影像的接边点云、 垂直—左视影像的接边点云、垂直—右视影像的接边点云等。

最后，再通过步骤S330，通过空间分析方法，以单镜头多视匹配点云为主， 并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

由此，本发明以实现无人机影像自动化处理为目标，通过SIFT稀疏匹配和 多视密集匹配，提出了一种密集点云生成方法。与现有方法相比，本发明综合 利用了计算机视觉和数字摄影测量领域中的多视角数字影像密集匹配方法，既 能够充分利用影像数据的精确定位信息，快速计算出重叠影像及其搜索范围， 又能够利用特征点辅助多视匹配的方法，缓解影像匹配过程中的特征重复、纹 理单一、几何变形严重、成像比例尺不一、光照差异、遮挡等难点问题。

更进一步的，为了更加清楚的说明本发明的密集点云生成方法的技术方案 以及所产生的技术效果，以下以瑞士某矿坑航拍图为例对本发明的密集点云生 成方法做更进一步的说明和验证。

参见图5，实验在Intel E5 2.40GHz CPU，16GB RAM的工作站上采用 VS2010编程实现。使用数据为pix4Dmapper软件中的倾斜影像 mining_quarry_switzerland(7GCP)，该组数据为瑞士某矿坑地区航拍图，共127 张图片，照片大小为4000*3000。在该组数据中，控制点共有7个，其位置如图 5所示，具体坐标如表1所示。

表1控制点列表

首先，使用本发明算法进行连接点自动匹配处理，共提取到40839个稀疏 匹配点，其中有8001个匹配影像对，耗时2230s。接着，利用同名特征点对影 像进行相对定向，加密点相对定向精度如表2所示，中误差约为0.471084个像 素，优于1个像素。

表2加密点相对精度/pixel

下面进行绝对定向，控制点9001、9002、9004、9011参与绝对定向，控制 点9012、9016、9017作为检查点。通过多片前方交会得到的控制点坐标的测量 值与控制点坐标的大地量测值进行比较，得到控制点、检查点的绝对精度如表3 和表4所示。

表3控制点绝对精度/m

点标号	X	Y	Z
				9001	-0.127172	-0.145938	0.049185
9002	0.056171	0.153886	-0.042131
				9004	0.040234	0.043507	-0.239051
9011	0.030770	-0.051442	0.232016
				中误差	0.073982	0.111263	0.169684

表4检查点绝对精度/m

点标号	X	Y	Z
				9012	0.180840	-0.333445	0.763101
9016	-0.210096	-0.073539	-1.012477
				9017	0.015870	0.029328	0.614661
中误差	0.160307	0.197867	0.813478

最后，采用本发明中的多视角密集匹配技术生成的密集点云如图6所示。 同时，对点云数据的高程精度进行统计，根据控制点坐标位置在点云数据中刺 点，如图7所示。将控制点在点云数据中的坐标与实际坐标对比，统计高程误 差如表5所示。由表可知，在有控制点的情况下，高程精度为0.229米，优于1 米。

表5有控高程误差统计/m

在不使用控制点的情况下，重新运行试验数据，生成密集点云，统计控制 点处高程误差如表6所示。由表可知，在无控制点的情况下，高程精度为7.581 米，优于10米。

表6无控高程误差统计/m

由此，通过上述实际场景的点云生成实验结果显示本发明方法在有控制点 的情况下，高程精度优于1米，在无控制点的情况下，高程精度优于10米，精 度良好，且该算法不需要任何初始信息，可以适用于复杂大场景的密集点云生 成，具有较大的实际应用价值。

相应的，为了实现上述任一种密集点云生成方法，本发明还提供了一种密 集点云生成系统。由于本发明提供的密集点云生成系统的工作原理与本发明的 密集点云生成方法的原理相同或相似，因此重复之处不再赘述。

参见图8，作为本发明的密集点云生成系统100的一具体实施例，其包括稀 疏匹配模块110、平差处理模块120和点云生成模块130。其中，稀疏匹配模块 110，用于读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出 同名特征和同名像点，并基于同名特征和同名像点进行特征点匹配，获取相应 的匹配点对信息。平差处理模块120，用于采用光束法平差原理，以共线条件方 程式作为平差的基础方程，根据匹配点对信息，利用多视几何原理求解出各个 影像的相对方位元素，并基于相对方位元素恢复得到无人机影像立体像对在空 间坐标系中的位置姿态信息。点云生成模块130，用于基于恢复得到的无人机影 像立体像对在空间坐标系中的位置姿态信息，将基准影像上像点反算至重叠影 像并寻找同名像点，利用同名像点通过空间前方交会生成相应的密集点云。

其中，优选的，稀疏匹配模块110包括特征描述符建立子模块、特征点匹 配子模块和剔除误配点对子模块(图中未示出)。其中，特征描述符建立子模块， 用于读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像 的特征描述符。特征点匹配子模块，用于根据建立的特征描述符进行特征点匹 配处理，获得多个匹配点对信息。剔除误配点对子模块，用于采用RANSAC方 法由多个匹配点对中获取最优匹配点对信息，剔除误配点对信息。

进一步的，平差处理模块120包括信息参数读取子模块、相对定向处理子 模块、粗差探测处理子模块和多视角联合平差处理子模块(图中未示出)。其中， 信息参数读取子模块，用于读取匹配点对信息以及用于拍摄采集多张影像的相 机参数。相对定向处理子模块，用于根据读取到的匹配点对信息和相机参数， 利用多视几何原理对各个影像进行相对定向处理，求解出各个影像的相对方位 元素。粗差探测处理子模块，用于对求解得到的相对方位元素进行粗差探测与 剔除处理。多视角联合平差处理子模块，用于粗差探测处理子模块对求解得到 的相对方位元素进行粗差探测与剔除处理后，再进行多视角联合平差处理，得 到并输出相应的平差结果。其中，平差结果包括无人机影像立体像对在空间坐 标系中的位置姿态信息。

更进一步的，平差处理模块120还包括判断子模块和绝对定向处理子模块 (图中未示出)。其中，判断子模块，用于相对定向处理子模块利用多视几何原 理对各个影像进行相对定向处理，求解出各个影像的相对方位元素后，判断当 前正在处理的影像中是否存在控制点或GPS数据。绝对定向处理子模块，用于 当判断子模块判断出存在控制点或GPS数据时，利用控制点或GPS数据对相对 方位元素进行绝对定向处理后，再跳转至粗差探测剔除子模块和多视角联合平 差处理子模块，由粗差探测剔除子模块和多视角联合平差处理子模块分别执行 对求解得到的相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处 理的步骤。判断子模块，还用于在判断出不存在控制点或GPS数据时，直接跳 转至粗差探测剔除子模块和多视角联合平差处理子模块，由粗差探测剔除子模 块和多视角联合平差处理子模块分别执行对求解得到的相对方位元素进行粗差 探测与剔除处理，以及多视角联合平差处理的步骤。

另外，还需要说明的是，在本发明的密集点云生成系统100的另一具体实 施例中，点云生成模块130包括单面点云获取子模块、接边点云获取子模块和 点云融合子模块(图中未示出)。其中，单面点云获取子模块，用于根据无人机 影像立体像对在空间坐标系中的位置姿态信息，利用GPU并行加速手段，获取 目标空间物体的顶面信息点云和多个侧面信息点云。接边点云获取子模块，用 于以预设的基准影像为基准，分别将其他各个影像与基准影像进行组合，获取 相应的初始匹配结果，并以初始匹配结果为初值，通过分析和调整匹配参数， 得到基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含同名像点信息。点云融合子模块，用于通过空间分析方法，以单镜头多视匹配点云为 主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集 点云。

本发明的密集点云生成系统100，通过SIFT稀疏匹配和多视密集匹配，综 合利用了计算机视觉和数字摄影测量领域中的多视角数字影像密集匹配方法， 既能够充分利用影像数据的精确定位信息，快速计算出重叠影像及其搜索范围， 又能够利用特征点辅助多视匹配的方法，缓解影像匹配过程中的特征重复、纹 理单一、几何变形严重、成像比例尺不一、光照差异、遮挡等难点问题。

另外，还需要说明的是，以上所述实施例的各技术特征可以进行任意的组 合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行 描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记 载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域 的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和 改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附 权利要求为准。

Claims (10)

1.一种密集点云生成方法，其特征在于，包括如下步骤：

读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息；

采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；

基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云。

2.根据权利要求1所述的密集点云生成方法，其特征在于，所述读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息，包括如下步骤：

读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符；

根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息；

采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息。

3.根据权利要求1所述的密集点云生成方法，其特征在于，所述采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息，包括如下步骤：

读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置姿态信息。

4.根据权利要求3所述的密集点云生成方法，其特征在于，所述根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素，包括如下步骤：

判断当前正在处理的影像中是否存在控制点或GPS数据；

若是，则利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定向处理后，再执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤；

若否，则直接执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

5.根据权利要求1至4任一项所述的密集点云生成方法，其特征在于，所述基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云，包括如下步骤：

根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息；

通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。

6.一种密集点云生成系统，其特征在于，包括稀疏匹配模块、平差处理模块和点云生成模块；

其中，所述稀疏匹配模块，用于读取无人机拍摄采集到的多张影像，通过GPU由多张影像中提取出同名特征和同名像点，并基于所述同名特征和所述同名像点进行特征点匹配，获取相应的匹配点对信息；

所述平差处理模块，用于采用光束法平差原理，以共线条件方程式作为平差的基础方程，根据所述匹配点对信息，利用多视几何原理求解出各个所述影像的相对方位元素，并基于所述相对方位元素恢复得到无人机影像立体像对在空间坐标系中的位置姿态信息；

所述点云生成模块，用于基于恢复得到的所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，将基准影像上像点反算至重叠影像并寻找所述同名像点，利用所述同名像点通过空间前方交会生成相应的密集点云。

7.根据权利要求6所述的密集点云生成系统，其特征在于，所述稀疏匹配模块包括特征描述符建立子模块、特征点匹配子模块和剔除误配点对子模块；

所述特征描述符建立子模块，用于读取无人机拍摄采集到的多张影像，使用GPU并行计算方式建立每张影像的特征描述符；

所述特征点匹配子模块，用于根据建立的所述特征描述符进行特征点匹配处理，获得多个所述匹配点对信息；

所述剔除误配点对子模块，用于采用RANSAC方法由多个所述匹配点对中获取最优匹配点对信息，剔除误配点对信息。

8.根据权利要求6所述的密集点云生成系统，其特征在于，所述平差处理模块包括信息参数读取子模块、相对定向处理子模块、粗差探测处理子模块和多视角联合平差处理子模块；

所述信息参数读取子模块，用于读取匹配点对信息以及用于拍摄采集多张影像的相机参数；

所述相对定向处理子模块，用于根据读取到的所述匹配点对信息和所述相机参数，利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素；

所述粗差探测处理子模块，用于对求解得到的所述相对方位元素进行粗差探测与剔除处理；

所述多视角联合平差处理子模块，用于所述粗差探测处理子模块对求解得到的所述相对方位元素进行粗差探测与剔除处理后，再进行多视角联合平差处理，得到并输出相应的平差结果；

其中，所述平差结果包括所述无人机影像立体像对在空间坐标系中的位置姿态信息。

9.根据权利要求8所述的密集点云生成系统，其特征在于，所述平差处理模块还包括判断子模块和绝对定向处理子模块；

其中，所述判断子模块，用于所述相对定向处理子模块利用多视几何原理对各个所述影像进行相对定向处理，求解出各个所述影像的相对方位元素后，判断当前正在处理的影像中是否存在控制点或GPS数据；

所述绝对定向处理子模块，用于当所述判断子模块判断出存在所述控制点或所述GPS数据时，利用所述控制点或所述GPS数据对所述相对方位元素进行绝对定向处理后，再跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤；

所述判断子模块，还用于在判断出不存在所述控制点或所述GPS数据时，直接跳转至所述粗差探测剔除子模块和所述多视角联合平差处理子模块，由所述粗差探测剔除子模块和所述多视角联合平差处理子模块分别执行所述对求解得到的所述相对方位元素进行粗差探测与剔除处理，以及多视角联合平差处理的步骤。

10.根据权利要求6至9任一项所述的密集点云生成系统，其特征在于，所述点云生成模块包括单面点云获取子模块、接边点云获取子模块和点云融合子模块；

其中，所述单面点云获取子模块，用于根据所述无人机影像立体像对在空间坐标系中的所述位置姿态信息，利用GPU并行加速手段，获取目标空间物体的顶面信息点云和多个侧面信息点云；

所述接边点云获取子模块，用于以预设的基准影像为基准，分别将其他各个影像与所述基准影像进行组合，获取相应的初始匹配结果，并以所述初始匹配结果为初值，通过分析和调整匹配参数，得到所述基准影像与其他各个影像的接边点云；其中，初始匹配结果中包含所述同名像点信息；

所述点云融合子模块，用于通过空间分析方法，以单镜头多视匹配点云为主，并以多镜头接边点云为辅，将所有的匹配点云进行融合，得到相应的密集点云。