CN113392879A - 一种航空影像多视图匹配方法 - Google Patents

Abstract

本发明公开了一种航空影像多视图匹配方法，包括以下步骤：S1通过点线特征提取与匹配技术恢复出场景中的点线信息；S2采用视图层全局视图选择方法，为每张包含所述点线信息的参考图像选择邻域视图集合，将多视密集匹配简化成双目密集匹配，选择出初始图像；S3使用改进的PatchMatch多视密集匹配算法来计算所述初始图像的深度图；S4对深度图上的同名点对的深度进行加权平均，计算融合后的深度值；S5采用基于可见性的多视深度图融合的点云生成方法，根据深度值和相机模型信息得到场景的三维点云。本发明有益效果在于，在匹配代价、深度信息初始化和深度信息随机搜索中充分应用了预选获取的点线信息，尽可能避免随机数带来的不确定性。

Description

一种航空影像多视图匹配方法

技术领域

本发明涉及航空影像三维重建多视图匹配技术领域，特别涉及一种航空影像多视图匹配方法。

背景技术

近年来，随着航空摄影技术的快速发展，基于航空影像多视图匹配的三维重建成为摄影测量的研究热点。多视图密集匹配是三维重建的关键技术之一，在已知相机位姿信息的前提下，通过计算影像间像素的对应关系重建场景表面稠密三维点云。密集匹配算法总体上可以分为体素法、表面演化法、特征点生长法和深度图合并法4类。何豫航等使用CMVS\PMVS密集匹配方法,通过匹配、膨胀、过滤三个步骤,在局部光度一致性和全局可见性约束下完成密集匹配。闫利等使用影像重叠关系构建立体相对，并引入导向中值滤波改进了SGM算法。王竞雪等提出对像方特征点和物方平面元进行集成的密集匹配算法。Campbell提出基于离散的MRF模型来选择最终的深度估计值的方法。其中，基于深度图的方法已证明更适合大尺度场景的多视图密集匹配。

PatchMatch多视密集匹配即基于深度图进行场景重建。最初作为一种在图像块间快速寻找近似最邻近匹配的方法而被提出。Bleye将其引入到双目立体视觉，可以在校正图像对的视差空间图像找到每个像素的近似最优支持平面。Shen基于深度图融合法将其引入多视密集匹配中，实现了大规模三维重建；Galliani使用GPU提高了该算法的重建效率。PM算法通过深度信息随机初始化和深度信息优化两步，计算所有影像的深度信息后，深度信息进行融合即可得到密集点云。然而，在应用中发现，采用PatchMatch多视密集匹配算法进行重建过程中，在匹配代价、深度信息初始化和深度信息随机搜索中采用随机数，会导致匹配结果存在不确定性，影响三维重建成果质量。

发明内容

本发明的目的在于，为了解决现有技术中采用随机数进行重建，导致匹配结果存在不确定性，影响三维重建成果质量的问题，提供一种航空影像多视图匹配方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种航空影像多视图匹配方法，包括以下步骤：

S1，根据航空影像和航空影像位姿信息，通过点线特征提取与匹配技术恢复出场景中的点线信息；

S2，采用视图层全局视图选择方法，为每张包含所述点线信息的参考图像选择邻域视图集合，并根据所述参考图像及其邻域视图集合，将多视密集匹配简化成双目密集匹配，并根据匹配结果获取初始图像；

S3，使用改进的PatchMatch多视密集匹配算法来计算所述初始图像的深度图，所述改进的PatchMatch多视密集匹配算法是指在匹配代价、深度信息初始化和深度信息随机搜索中应用了所述点线信息；并且所述改进的PatchMatch多视密集匹配算法还采用金字塔红黑板并行传播算法进行深度信息传播；

S4，对深度图上的同名点对的深度进行加权平均，计算融合后的深度值；

S5，采用基于可见性的多视深度图融合的点云生成方法，根据深度值和相机模型信息得到场景的三维点云。

作为本发明的优选方案，步骤S1具体包括以下步骤：

S11，根据航空影像和航空影像位姿信息，通过核线约束的特征匹配，用三角化和光束法平差恢复点信息；

S12，根据所述点信息，从航空影像上提取线段，基于所述核线约束，获取线匹配对；

S13，通过聚类的方式从匹配对中恢复出符合多视图几何的匹配对，得到线三维信息；

S14，利用光束法平差对所述线三维信息进行优化，得到优化后的线三维信息，所述点信息和所述优化后的线三维信息为恢复出的所述场景中的点线信息。

作为本发明的优选方案，步骤S2具体包括以下步骤：

S21，以每张影像为参考图像，为所述参考图像选择若干相邻影像，将所述参考图像与所述若干相邻影像做双目密集匹配，得到多个匹配结果；

S22，将所述多个匹配结果进行融合，得到所述参考图像对应的初始图像。

作为本发明的优选方案，所述步骤S21中，实现所述双目密集匹配依据评分函数来确定，所述评分函数定义为：

其中，F_V是在图像V上观察到的特征点，F_R是在图像R上观察到的特征点，w_N是邻域视图集合N的权重函数，w_S是图像R和V在特征点f处分辨率的相似度权重函数。

作为本发明的优选方案，所述邻域视图集合N的权重函数w_N定义如下：

式中，w_a(f,V_i,V_j)＝min((a/a_max)²,1)，α是图像V_i和图像V_j到特征点f的视线间的夹角，α_max是夹角最大值。

作为本发明的优选方案，所述图像R和V在特征点f处分辨率的相似度权重函数w_S定义如下：

式中，r＝s_R(f)/s_V(f)，s_R，s_V表示以特征点f为中心的球投影到图像R和图像V上，作为一个像素时，其对应的球的直径大小。

作为本发明的优选方案，步骤S3中匹配代价计算公式为

其中，CNCC是影像I上像素p与相邻影像I₁间的匹配代价；像素q是像素p窗口内的一个像素；

和

表示像素块的灰度均值；w_c＝w_r·w_n·w_d是对应的加权值；

w_r表示q到p的欧式距离，w_d用于通过q和p的深度差异来刻画共面假设的合理性，w_n用于通过q和p的法向量差异来描述共面假设的合理性。

作为本发明的优选方案，步骤S3中深度信息初始化的具体步骤包括：

S31，将当前影像的可见的点和线段投影到影像平面上，记录投影深度，然后在影像平面上用点进行Delaunay构网，并根据线段与Delaunay三角网的交点，将线段嵌入到三角网中；

S32，根据投影时的深度信息，将二维平面三角网反投影成三维空间中的三维三角网；

S33，计算三维三角网的三角面在影像上投影范围内的像素的深度和法向量，完成深度信息初始化。

作为本发明的优选方案，步骤S3中采用金字塔红黑板并行传播算法进行深度信息传播主要包括以下步骤：

第一步，在初始图像上构建红黑板，像素按照相邻关系分为“红”像素和“黑”像素；

第二步，依次构建金字塔红黑板，在金字塔红黑板中，每层的像素数量仅有上一层1/2的像素，并且像素间的距离也越来越远；

第三步，在进行并行传播时，从金字塔红黑板的高层到低层逐层进行深度信息传播；其中，偶数层红黑板使用上下左右四个相邻像素向当前像素传播深度信息，奇数层红黑板使用对角线方向上四个相邻像素向当前像素传播深度信息。

作为本发明的优选方案，步骤S3中深度信息随机搜索主要是指利用所述点线信息调节随机搜索的范围，得到修正后的随机搜索范围，并且通过随机搜索所述修正后的随机搜索范围，在当前像素的深度信息附近寻找更优解，所述改正后的随机搜索范围δ_r的计算公式为：

其中，min{distance(p，F∩L)}表示像素p到点线投影区域F∩L的最近距离，Width是图像的宽度，Δ是最低的随机搜索范围，δ是原始的随机搜索范围。

与现有技术相比，本发明的有益效果：

1、本发明的有益效果是采用采用视图层全局视图选择方法，为每张参考图像选择合适的邻域视图集合，将多视密集匹配简化成双目密集匹配，使得图像选择更加合理。

2、在匹配代价、深度信息初始化和深度信息随机搜索中充分应用了预选获取的点线信息，尽可能避免随机数带来的不确定性。

3、在改进的PatchMatch多视密集匹配算法中使用了金字塔红黑板并行传播算法，由粗到细地进行深度信息传播，在不增加计算量的同时提高并行传播效率，使多视图密集匹配获得稳健重建结果的同时，提高计算效率。

附图说明：

图1为本发明实施例1中的一种航空影像多视图匹配方法流程图；

图2为本发明实施例1中的采用金字塔红黑板并行传播算法进行深度信息传播示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

本发明公开了一种航空影像多视图匹配方法，流程图如图1所示，包括以下步骤：

S1，根据航空影像和航空影像位姿信息，通过点线特征提取与匹配技术恢复出场景中的点线信息。

S2，采用视图层全局视图选择方法，为每张包含所述点线信息的参考图像选择邻域视图集合，将多视密集匹配简化成双目密集匹配，选择出初始图像。

S3，使用改进的PatchMatch多视密集匹配算法来计算所述初始图像的深度图，所述改进的PatchMatch多视密集匹配算法是指在匹配代价、深度信息初始化和深度信息随机搜索中应用了所述点线信息；所述改进的PatchMatch多视密集匹配算法中采用金字塔红黑板并行传播算法进行深度信息传播。

S4，对深度图上的同名点对的深度进行加权平均，计算融合后的深度值。并采用基于可见性的多视深度图融合的点云生成方法，根据深度值和相机模型信息得到场景的三维点云。

步骤S1中的根据航空影像和航空影像位姿信息，通过点线特征提取与匹配技术恢复出场景中的点线信息，具体步骤包括：

(1)通过核线约束的特征匹配，用三角化和光束法平差恢复点信息。

(2)从航空影像上提取线段，基于核线约束获取所有线匹配对，再通过聚类的方式从所有匹配对中恢复出符合多视图几何的匹配对，恢复出的线三维信息利用光束法平差进行优化。

步骤S2图像选择具体的步骤包括：

通过视图选择为每张影像选择一定数量的相邻影像，将参考图像与每一个相邻影像做双目密集匹配，然后再将多个匹配结果进行融合，即可实现将多视密集匹配简化成双目密集匹配。为了合理的选择图像，全局视图选择为每张参考图像选择合适的邻域视图集合。全局视图选择时考虑场景内容和尺度以及图像间重叠度信息。对每个参考图像R，全局视图选择可以确认R的邻域视图集合N。N中的每个图像V的评分函数g_R定义如下：

F_x是在图像X上观察到的特征点，即F_V F_R为图像V和R观察到的特征点，权重函数w_N为邻域视图集合N中所有图像对的积，使相邻图像间有更好的视差范围。w_N定义如下：

式中，w_a(f,V_i,V_j)＝min((a/a_max)²,1)，α是从V_i和V_j到特征点f的视线间的夹角，α_max可以依据情况设置常数值。

权重函数w_S衡量图像R和V在特征点f处分辨率的相似度，使图像间有更相近的分辨率。w_S定义如下：

式中,r＝s_R(f)/s_V(f)，s_R，s_V表示以特征点f为中心的球当投影到图像R和V上为一个像素时，其对应的球的直径大小。

步骤S3的深度图计算，主要步骤包括使用改进的PM算法来计算图像的深度图，分为初始化，传播和随机搜索等过程。

(1)匹配代价

匹配代价是多视密集匹配中衡量深度信息质量的量化标准。与传统方法使用归一化互相关作为匹配代价，仅考虑影像纹理，没有引入先验信息不同，提出利用点线信息进行加权的约束归一化互相关(CNCC)匹配代价方法。影像I上像素p与相邻影像I₁间的匹配代价计算公式。

其中，像素q是像素p窗口内的一个像素；

和

表示像素块的灰度均值；w_c＝w_r·w_n·w_d是对应的加权值。

w_r直接计算q到p的欧式距离,保证越近的像素具有越大的权重，其中R(p)表示像素坐标，W是窗口半径，σ_r是权重因子。

w_d基于q离先验点越近时深度越可靠的前提，通过q和p的深度差异来刻画共面假设的合理性，其中D(p)表示像素对应的深度值，D_max表示窗口内最大的深度差异，F是I可见点在成像平面投影的集合，f∈F，R_d是q到f距离阈值，σ_d是权重因子。

w_n基于线通常位于边缘的基础，通过q和p的法向量差异来描述共面假设的合理性。其中N(p)表示像素对应的法向量，N_max表示窗口内最大的法向量差异，L是I可见线在成像平面投影的集合，l∈L，σ_n是权重因子。

(2)深度信息初始化

深度信息初始化利用点线信息，步骤如下：①将当前影像的可见的点和线投影到影像平面上，记录投影深度，然后在影像平面上先用点进行Delaunay构网，然后根据线段与Delaunay三角网交点，将线段嵌入到三角网中。②根据投影时的深度信息，将二维平面三角网反投影成三维空间中，成为三维三角网。③由于三维三角网中的三角面可以用ax+by+cz+1＝0表示，三角面在影像上投影范围内的像素的深度和法向量可以用以下公式计算；遍历所有三角面就可以完成深度信息初始化。

(3)改进的PM算法主要包括了金字塔红黑板并行深度信息传播

金字塔红黑板并行传播算法，由粗到细的进行深度信息传播，能在不增加计算量的同时，提高并行传播效率。在构造金字塔红黑板时，首先在原始影像上构建红黑板，像素按照相邻关系分为“红”像素和“黑”像素；然后依次构建金字塔红黑板，在金字塔红黑板中，每层的像素数量仅有上一层1/2的像素，并且像素间的距离也越来越远。在进行并行传播时，从金字塔红黑板的高层到低层，逐层进行深度信息传播；在每一层中，依次进行“红”像素和“黑”像素的深度信息并行传播。偶数层红黑板使用上下左右四个相邻像素向当前像素传播深度信息，奇数层红黑板使用对角线方向上四个相邻像素向当前像素传播深度信息。

在图2中展示L3→L0进行深度信息更新时，某个“黑”像素相邻的4个“红”像素向当前像素传播深度信息。在金字塔的底层深度信息传播较近，而在金字塔高层深度信息传播较远。

假如记影像长宽为a和b。算法如仅使用2层金字塔，一次完整的金字塔迭代需要6ab次传播，最多能将一个像素的深度信息传播到60个不同的像素上，并且随着金字塔层数的增加，传播效率还能进一步提高。

(4)基于点线信息的随机搜索

深度信息随机搜索的核心思路是通过随机搜索方式，在当前像素的深度信息附近寻找更优解；改进算法通过利用点线先验信息调节随机搜索的范围，像素p与点线信息的投影点距离越近，搜索范围越小，计算公式如下：

其中，min{distance(p，F∩L)}表示像素p到点线投影的最近距离，Width是照片的宽度，Δ是最低的随机搜索范围，δ是原始的随机搜索范围，δ_r是改正后的随机搜索范围。

步骤S4具体包括以下步骤：

通过金字塔红黑板并行传播和基于点线信息的随机搜索优化深度信息，同时使用CNCC评价深度信息的质量，经过一定次数迭代后即可获取深度信息，算法流程参考图1。在完成所有影像的深度信息计算后，采用基于可见性的多视深度图融合的点云生成方法，对不同角度深度图上的同名点对的深度进行加权平均，计算融合后的深度值，对像素深度中偏离超过一定阈值的，则认为是异常值。由深度信息和相机模型信息即可得到场景的三维点云。

上诉步骤的执行顺序是本发明方法其中的一种实施例，并不限定只能按照该顺序执行，但是基于本发明的方法思路，虽然执行顺序改变，也在本发明的保护范围之内。

Claims (10)

1.一种航空影像多视图匹配方法，其特征在于，包括以下步骤：

S1，根据航空影像和航空影像位姿信息，通过点线特征提取与匹配技术恢复出场景中的点线信息；

S2，采用视图层全局视图选择方法，为每张包含所述点线信息的参考图像选择邻域视图集合，并根据所述参考图像及其邻域视图集合，将多视密集匹配简化成双目密集匹配，并根据匹配结果获取初始图像；

S3，使用改进的PatchMatch多视密集匹配算法来计算所述初始图像的深度图，所述改进的PatchMatch多视密集匹配算法是指在匹配代价、深度信息初始化和深度信息随机搜索中应用了所述点线信息；并且所述改进的PatchMatch多视密集匹配算法还采用金字塔红黑板并行传播算法进行深度信息传播；

S4，对深度图上的同名点对的深度进行加权平均，计算融合后的深度值；

S5，采用基于可见性的多视深度图融合的点云生成方法，根据深度值和相机模型信息得到场景的三维点云。

2.如权利要求1所述的一种航空影像多视图匹配方法，其特征在于，步骤S1具体包括以下步骤：

S11，根据航空影像和航空影像位姿信息，通过核线约束的特征匹配，用三角化和光束法平差恢复点信息；

S12，根据所述点信息，从航空影像上提取线段，基于所述核线约束，获取线匹配对；

S13，通过聚类的方式从匹配对中恢复出符合多视图几何的匹配对，得到线三维信息；

S14，利用光束法平差对所述线三维信息进行优化，得到优化后的线三维信息，所述点信息和所述优化后的线三维信息为恢复出的所述场景中的点线信息。

3.如权利要求1所述的一种航空影像多视图匹配方法，其特征在于，步骤S2具体包括以下步骤：

S21，以每张影像为参考图像，为所述参考图像选择若干相邻影像，将所述参考图像与所述若干相邻影像做双目密集匹配，得到多个匹配结果；

S22，将所述多个匹配结果进行融合，得到所述参考图像对应的初始图像。

4.如权利要求3所述的一种航空影像多视图匹配方法，其特征在于，所述步骤S21中，实现所述双目密集匹配依据评分函数来确定，所述评分函数定义为：

其中，F_V是在图像V上观察到的特征点，F_R是在图像R上观察到的特征点，w_N是邻域视图集合N的权重函数，w_S是图像R和V在特征点f处分辨率的相似度权重函数。

5.如权利要求4所述的一种航空影像多视图匹配方法，其特征在于，所述邻域视图集合N的权重函数w_N定义如下：

式中，w_a(f,V_i,V_j)＝min((a/a_max)²,1)，α是图像V_i和图像V_j到特征点f的视线间的夹角，α_max是夹角最大值。

6.如权利要求4所述的一种航空影像多视图匹配方法，其特征在于，所述图像R和V在特征点f处分辨率的相似度权重函数w_S定义如下：

式中，r＝s_R(f)/s_V(f)，s_R，s_V表示以特征点f为中心的球投影到图像R和图像V上，作为一个像素时，其对应的球的直径大小。

7.如权利要求1所述的一种航空影像多视图匹配方法，其特征在于，步骤S3中匹配代价计算公式为

其中，CNCC是影像I上像素p与相邻影像I₁间的匹配代价；像素q是像素p窗口内的一个像素；

和

表示像素块的灰度均值；w_c＝w_r·w_n·w_d是对应的加权值；

w_r表示q到p的欧式距离，w_d用于通过q和p的深度差异来刻画共面假设的合理性，w_n用于通过q和p的法向量差异来描述共面假设的合理性。

8.如权利要求1所述的一种航空影像多视图匹配方法，其特征在于，步骤S3中深度信息初始化的具体步骤包括：

S31，将当前影像的可见的点和线段投影到影像平面上，记录投影深度，然后在影像平面上用点进行Delaunay构网，并根据线段与Delaunay三角网的交点，将线段嵌入到三角网中；

S32，根据投影时的深度信息，将二维平面三角网反投影成三维空间中的三维三角网；

S33，计算三维三角网的三角面在影像上投影范围内的像素的深度和法向量，完成深度信息初始化。

9.如权利要求1所述的一种航空影像多视图匹配方法，其特征在于，步骤S3中采用金字塔红黑板并行传播算法进行深度信息传播主要包括以下步骤：

第一步，在初始图像上构建红黑板，像素按照相邻关系分为“红”像素和“黑”像素；

第二步，依次构建金字塔红黑板，在金字塔红黑板中，每层的像素数量仅有上一层1/2的像素，并且像素间的距离也越来越远；

第三步，在进行并行传播时，从金字塔红黑板的高层到低层逐层进行深度信息传播；其中，偶数层红黑板使用上下左右四个相邻像素向当前像素传播深度信息，奇数层红黑板使用对角线方向上四个相邻像素向当前像素传播深度信息。

10.如权利要求1所述的一种航空影像多视图匹配方法，其特征在于，步骤S3中深度信息随机搜索主要是指利用所述点线信息调节随机搜索的范围，得到修正后的随机搜索范围，并且通过随机搜索所述修正后的随机搜索范围，在当前像素的深度信息附近寻找更优解，所述改正后的随机搜索范围δ_r的计算公式为：

其中，min{distance(p,F∩L)}表示像素p到点线投影区域F∩L的最近距离，Width是图像的宽度，Δ是最低的随机搜索范围，δ是原始的随机搜索范围。

Images