CN110942102B - 一种概率松弛核线匹配方法及系统 - Google Patents

Abstract

本发明属于立体影像密集匹配技术领域，公开了一种概率松弛核线匹配方法及系统，包括降采样左右影像、提取稳定特征点、插值计算初始视差图；逐窗口提取目标点，统计窗口灰度均值、方差；根据初始视差图确定目标点的密集匹配视差搜索范围；计算相关系数和搜索范围内的备选点；附加地形条件约束的概率松弛迭代，得出密集匹配结果；对结果进行后处理优化。本发明解决了现有技术中对于复杂地形匹配结果不理想的问题，可以更快速、更准确地完成匹配，对于不同类型的地物地貌具有更好的适应性。

Description

一种概率松弛核线匹配方法及系统

技术领域

本发明涉及立体影像密集匹配技术领域，尤其涉及一种概率松弛核线匹配方法及系统。

背景技术

立体影像密集匹配技术是基于二维影像恢复三维信息的关键技术之一。密集匹配的概念最早在摄影测量领域提出，用于解决数字航空摄影测量自动化测图的问题。同时影像匹配也是计算机视觉领域的重要问题，关系到三维模型构建、三维场景构建和在此基础上进行的机器人导航和定位等。

密集匹配通过对两幅不同视点得到的目标物体影像建立匹配对应关系，以恢复物体的三维信息，关键在于利用影像匹配获取可靠同名点。从二维影像中重建三维场景本身就是病态问题，纹理匮乏区域以及视差不连续将导致误匹配的问题一直得到全面解决。为取得更好的匹配结果，需要合理纳入更多的先验条件作为约束。比如，基于区域灰度的匹配方法，利用影像局部信息改善窗口匹配，同时利用金字塔分层匹配等策略提高匹配稳定性和正确率。然而这种方法的匹配窗口往往较大，导致匹配结果难以保证对影像局部细节的恢复。还有一些方法使用如Graph Cut的技术作影像分割，将分割结果用作约束，因而对于分割结果有很强的依赖性。总之，传统的密集匹配方法大多需要用各种约束条件减小视差搜索范围，对于先验约束条件的依赖性过强、要求先验条件比较可靠，否则容易产生误匹配。

近年来，出现了一些通过改进代价积聚方法来实现匹配的研究，例如：采用自适应代价积聚方法改善局部窗口匹配方法，采用多尺度代价积聚方法解决重复纹理的匹配问题，采用半全局代价积聚方法解决视差不连续的匹配问题。这些方法的都是在代价矩阵中实现各自的约束，但由于纳入的约束不够充分，因此也难以全面地解决误匹配问题。最大的问题在于，这些采用半全局代价积聚的方法计算量非常巨大，在效率上无法满足当前测绘生产需求，速度上也满足不了实时性需求。

发明内容

本申请实施例通过提供一种概率松弛核线匹配方法及系统，解决了现有技术中对于复杂地形匹配结果不理想的问题。

本申请实施例提供一种概率松弛核线匹配方法，包括以下步骤：

步骤1、获取核线改正后的左影像和右影像；

步骤2、对左影像、右影像分别进行降采样处理；

步骤3、在降采样后的左影像上提取稳定特征点；

步骤4、设置初始视差搜索范围，对降采样后的左影像、降采样后的右影像构成的影像对进行初始匹配，获得稳定特征点的视差值，并插值生成初始视差图；

步骤5、按照预设窗口尺寸对左影像进行特征提取获得目标点，并计算目标点所属窗口的灰度均值、灰度方差；

步骤6、将每个目标点向初始视差图映射，确定密集匹配视差搜索范围；

步骤7、针对每个目标点，根据该目标点的密集匹配视差搜索范围在右影像中移动窗口，计算密集匹配视差搜索范围内每个窗口的灰度相关系数，获得备选点；

步骤8、综合灰度均值、灰度方差、灰度相关系数计算备选点选为匹配点的概率，取最大概率点为最佳匹配点，得到密集匹配结果；

步骤9、对密集匹配结果进行后处理。

优选的，所述步骤4的具体实现方式为：设置初始视差搜索范围后，用最小二乘相关对步骤3提取的稳定特征点进行初始匹配；对初始匹配结果作高斯滤波消除异常值；以降采样后的右影像为基准影像，降采样后的左影像为匹配影像再次匹配，得到每个目标点的视差值；对两次初始匹配结果进行左右一致性检验，剔除矛盾点，剩余的点认为是可靠特征点；

其中，左右一致性检验公式为：

dP_{i left}+dP_{i right}＜T

式中，dP_{i left}为左影像稳定特征点i的视差值，dP_{i right}为i在右影像同名点的视差值，T为检验阈值，T取1，即：

dP_{i left}+dP_{i right}＜1

完成后，使用可靠特征点视差值插值得到初始视差图。

优选的，所述步骤5中，在左影像中提取Harris特征点作为目标点，并允许判定不存在特征点。

优选的，所述步骤6的具体实现方式为：求出当前目标点在初始视差图的对应点，使用以这一对应点为中心的窗口内的所有视差值为依据计算密集匹配视差搜索范围。

优选的，所述步骤6中，所述密集匹配视差搜索范围为[k₁Min-1,k₁Max+1]；其中，Max为最大视差值，Min为最小视差值，k₁为比例系数。

优选的，所述步骤7的具体实现方式为：在右影像搜索范围中移动窗口，采用窗口的灰度相关系数度量相似性，相关系数根据如下公式计算：

其中，u，v分别表示左右影像上待计算相关系数的两个点；R(u，v)表示u，v两点的相关系数；M，N表示计算相关系数的左右匹配窗口的宽、高；

分别表示左右匹配窗口中位置为(j,k)的像素的灰度值；

分别表示左右匹配窗口的灰度均值。

优选的，所述步骤8中，附加地形条件约束的概率松弛迭代，得到密集匹配结果；其中，所述地形条件约束包括平面约束、二次曲面约束和三次曲面约束。

优选的，所述步骤8中，概率松弛迭代的公式如下：

式中，

为迭代过程中第i点和第k点的相似性测度，n为备选点的数量，

为第i点的第k个备选点在第r次迭代的匹配概率；C_ijkl为第i点第的k个备选点(视差值为dx_ik)与第j点的第l个备选点(视差值为dx_jl)之间的相容系数，为视差较差的函数；β为相容系数的调整参数；c₀、c₁为松弛系数；N_i为第i点的邻域；

根据窗口之间方差和均值的相似性定权w，对(1)作出修改：

式中，w_j为权重，由下式确定：

其中，var(j)、var(i)分别代表第j、i点为中心窗口的方差。

本申请实施例提供一种概率松弛核线匹配系统，用于实现上述概率松弛核线匹配方法的步骤，系统包括：

初始视差图生成模块，用于根据左影像和右影像获得初始视差图；

目标点提取模块，用于按照预设窗口尺寸对左影像进行特征提取获得目标点，并计算目标点所属窗口的灰度均值、灰度方差；

搜索范围计算模块，用于将每个目标点向初始视差图映射，确定密集匹配视差搜索范围；

灰度匹配模块，用于针对每个目标点，根据该目标点的密集匹配视差搜索范围在右影像中移动窗口，计算密集匹配视差搜索范围内每个窗口的灰度相关系数，获得备选点；

概率松弛迭代模块，用于综合灰度均值、灰度方差、灰度相关系数计算备选点选为匹配点的概率，取最大概率点为最佳匹配点，得到密集匹配结果；

匹配结果优化模块，用于对密集匹配结果进行后处理。

优选的，所述初始视差图生成模块包括：

降采样子模块，用于对左影像、右影像分别进行降采样处理；

初始匹配子模块，用于对降采样后的左影像、降采样后的右影像构成的影像对进行初始匹配，获得初始视差图。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，提供一种改进的概率松弛核线匹配方法，包括降采样左右影像、提取稳定特征、插值计算初始视差图；逐窗口提取左影像Harris特征点作为匹配目标点，统计窗口灰度均值、方差；根据初始视差图确定目标点视差搜索范围；计算相关系数和搜索范围内的备选同名点；附加地形条件约束的概率松弛迭代，得出最优匹配结果；对结果进行后处理优化。本发明由于利用了航空影像之间的几何关系——核线约束，可以极大缩小视差搜索范围，提高匹配速度；同时也对传统的概率松弛迭代进行了改进加强，增加了匹配的相似性约束，增加了窗口灰度均值、方差相似性测度定权；并根据方差自动适应局部地形，选择合适的平滑模型，可以有效改善匹配结果的细节。本发明针对航空影像匹配在效率和结果精度之间寻找平衡，可以更快速、更准确地完成匹配；同时与其他密集匹配方法相比，对于不同类型的地物地貌有更好适应性。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种概率松弛核线匹配方法的总体流程图；

图2为本发明实施例提供的一种概率松弛核线匹配方法中降采样的示意图；

图3为本发明实施例提供的一种概率松弛核线匹配方法中在左影像提取Harris特征点的示意图；

图4为本发明实施例提供的一种概率松弛核线匹配方法中将目标点映射回初始视差图的示意图；

图5为本发明实施例提供的一种概率松弛核线匹配方法中根据灰度相关系数选出备选点的示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本发明技术方案提供一种概率松弛核线匹配方法，如图1所示，包括以下步骤：

步骤1，获取立体像对，利用这两幅影像的相对位置姿态信息和相机内参数作核线改正，得到纠正后的左右影像；或者直接使用核线改正后的影像对作为输入。

步骤2，将左右影像按一定比例k₀降采样到某一大小(如512×512)，以便简化计算初始视差图。本领域技术人员也可以采用影像金字塔策略以便逐级传递初始视差图。例如，可按k₀＝3进行降采样处理，如图2所示。

步骤3，在降采样后的左影像上提取一定数量均匀分布的显著、稳定特征点，可以采用SIFT、SURF等算法。若提取的特征点数量太少则需要调整特征检测策略(如判定是否为特征点的阈值)。

步骤4，设置初始视差搜索范围(可记为第一视差搜索范围)，例如设置初始视差搜索范围为降采样后的左影像宽度的1/2，用最小二乘相关对上一步提取的特征点进行初始匹配。

一般认为初始视差搜索范围足够大，即不存在极高建筑物。随即对初始匹配结果作高斯滤波消除异常值。

为了提高匹配结果的可靠性，还要以降采样后的右影像为基准影像，降采样后的左影像为匹配影像再次匹配，得到每个目标点的视差值。注意，这次匹配中将降采样后的右影像作为基准影像而不再对其进行特征提取，使用之前稳定特征点的匹配结果作为其目标点。对这两次初始匹配结果进行左右一致性检验，剔除矛盾点，剩余的点认为是可靠特征点。检验公式为：

dP_{i left}+dP_{i right}＜T

其中，dP_{i left}为左影像稳定特征点i的视差值，dP_{i right}为i在右影像同名点的视差值，T为检验阈值，T一般取1，即：

dP_{i left}+dP_{i right}＜1

完成后，使用这些可靠特征点视差值插值得到降采样后的左影像视差图，也即初始视差图。具体的，插值采用“离散格网迭代插值”，速度快效果好。

步骤5，按照设定的窗口大小M×N(例如5×7或5×5)在左影像中提取Harris特征点作为目标点，允许判定不存在特征点(即可以有提取失败)；如果存在特征点，则同时计算特征点所属窗口的灰度均值和方差，作为特征点属性存储。因为窗口大小相对影像尺寸很小，个别窗口不存在特征点也不会对结果产生实质性影响，可参见附图3。

步骤6，为每个目标点确定密集匹配视差搜索范围(可记为第二视差搜索范围)：求出当前目标点在初始视差图的对应点，使用以这一对应点为中心的3×3或5×5窗口内的所有视差值为依据计算密集匹配视差搜索范围：最大视差值Max和最小视差值Min为视差搜索的上下界。为了防止边缘情况，可采用[k₁Min-1,k₁Max+1]作为搜索范围，k₁为比例参数，参考附图4。

步骤7，针对每个目标点，根据该目标点的密集匹配视差搜索范围在右影像中移动窗口，计算视差搜索范围内每个窗口的灰度相关系数，获得备选点。

在右影像搜索范围中移动M×N窗口，采用窗口的灰度相关系数度量相似性，例如选出前五个极值点作为备选点，示意如图5。相关系数根据如下公式计算：

其中，u，v分别表示左右影像上待计算相关系数的两个点；R(u，v)表示u，v两点的相关系数；M，N表示计算相关系数的左右匹配窗口的宽、高；

分别表示左右匹配窗口中位置为(j,k)的像素的灰度值；

分别表示左右匹配窗口的灰度均值。

步骤8，综合灰度均值和方差以及相关系数计算备选点选为匹配点的概率。

基本原则是：属性值越相似，是正确匹配点的概率就越高。对每个特征点和它的八邻域(或更多附近的)特征点加地形条件约束，根据地形的平滑性，正确的备选点应能获得较大的邻域支持，而错误的备选点的邻域支持较小。在松弛迭代过程中,正确的备选点的概率值在迭代中增大，相反，错误的备选点的概率值在迭代中不断减小。迭代若干次后，正确的备选点概率值收敛到1，错误的备选点几乎收敛到0，从而得到正确的匹配。

地形条件约束主要指：平面约束、二次曲面约束和三次曲面约束，分别适应平坦地面、起伏地形和树林地。地形条件约束模型的选择依据是目标窗口方差，理论上灰度方差大代表着地形起伏较大。例如，窗口大小为5×5时，给出判断阈值经验值为150和400。

概率松弛迭代公式如下：

式中，

为迭代过程中第i点和第k点的相似性测度，n为备选点的数量，

为第i点的第k个备选点在第r次迭代的匹配概率；C_ijkl为第i点第的k个备选点(视差值为dx_ik)与第j点的第l个备选点(视差值为dx_jl)之间的相容系数，为视差较差的函数；β为相容系数的调整参数；c₀、c₁为松弛系数；N_i为第i点的邻域。

根据窗口之间方差和均值的相似性定权w，对(1)作出修改：

式中，w_j为权重，由下式确定：

其中，var(j)、var(i)分别代表第j、i点为中心窗口的方差。

步骤9，对步骤8结果进行后处理。

密集匹配结果的通病有异常值(匹配错误)和空洞(匹配失败)。选择合适的滤波方法作平滑、去除局外值；并处理匹配失败点。其中，失败点的比例因为十分微小而可以忽略，在结果中剔除这些点即可。一般有两种手段：剔除或插值。输出匹配结果。

本发明相应提供一种概率松弛核线匹配系统，包括以下模块：

1.初始视差图生成模块：包括两大子模块。

(a)降采样子模块：将基准影像(左影像)和待匹配影像(右影像)降采样到较小尺寸(推荐512×512)，并记录降采样比例k；

(b)初始匹配子模块：对降采样后的左右影像构成的影像对进行粗略匹配(提供多种稳定特征提取方式)，插值生成初始视差图。其中，初始视差图的尺寸即为降采样后的左影像尺寸。

2.目标点提取模块：用于将基准影像(左影像)按照预设窗口尺寸(推荐值5×5)对影像进行特征提取(Harris角点)，形成密集的目标点；如果窗口中存在目标点，目标点提取模块同时统计该目标点对应窗口的灰度均值和方差。

3.搜索范围计算模块：以初始视差图为参考，将当前处理的目标点映射到初始视差图中，取映射点的八邻域或更大邻域为统计单元。统计最大视差Max、最小视差Min，确定搜索范围。为避免搜索范围过小引起不稳定，搜索范围可取[k₁Min-1,k₁Max+1]。

4.灰度匹配模块：用于对每个目标点，根据该目标点的密集匹配视差搜索范围在右影像中移动窗口，计算搜索范围内每个窗口的相关系数。以搜索范围为横轴，相关系数为纵坐标，选出前N(推荐值为5)个极值点作为备选点。

5.概率松弛迭代模块：用于为每个目标点选出最佳匹配点。

综合灰度均值和方差以及相关系数计算备选点选为最佳匹配点的概率。对每个特征点和它的八邻域(或更多附近的)特征点加地形条件约束，根据地形的平滑性，正确的备选点应能获得较大的邻域支持，而错误的备选点的邻域支持较小。在松弛迭代过程中，正确的备选点的概率值在迭代中增大，相反，错误的备选点的概率值在迭代中不断减小。迭代若干次后，正确的备选点概率值收敛到1，错误的备选点几乎收敛到0，从而得到正确的匹配。

6.匹配结果优化模块：用于对得到的密集匹配结果进行去毛刺、平滑处理，对匹配失败点进行剔除或是插值补充，以及左右一致性检验。

灰度匹配模块中，灰度相关匹配采用左右匹配窗口灰度的标准化的协方差作为相关系数，根据如下公式计算：

其中，u，v分别表示左右影像上待计算相关系数的两个点；R(u，v)表示u，v两点的相关系数；M，N表示计算相关系数的左右匹配窗口的宽、高；

分别表示左右匹配窗口中位置为(j,k)的像素的灰度值；

分别表示左右匹配窗口的灰度均值。

而且，在概率松弛迭代模块中，用到的概率初值由下式得出：

其中，m是实际使用的匹配窗口大小；

是第i点第k个备选点的相关系数。

迭代使用到如下公式：

式中，

为迭代过程中第i点和第k点的相似性测度，n为备选点的数量，

为第i点的第k个备选点在第r次迭代的匹配概率；C_ijkl为第i点第的k个备选点(视差值为dx_ik)与第j点的第l个备选点(视差值为dx_jl)之间的相容系数，为视差较差的函数；β为相容系数的调整参数；c₀、c₁为松弛系数；N_i为第i点的邻域。

概率松弛核线匹配系统中的具体模块实现概率松弛核线匹配方法中的各步骤，本发明不予赘述。

本发明实施例提供的一种概率松弛核线匹配方法及系统至少包括如下技术效果：

本发明由于利用了航空影像之间的几何关系——核线约束，可以极大缩小视差搜索范围，提高匹配速度；同时也对传统的概率松弛迭代进行了改进加强，增加了匹配的相似性约束，增加了窗口灰度均值、方差相似性测度定权；并根据方差自动适应局部地形，选择合适的平滑模型，可以有效改善匹配结果的细节。因此，本发明针对航空影像尤其是面阵相机影像可以更快速、更准确地完成匹配，在效率和结果精度之间寻找平衡，满足实际生产需要；同时与其他密集匹配方法相比，对于不同类型的地物地貌有更好适应性，解决了弱纹理局部地貌(如小面积植物)在匹配中被忽略或结果失真的问题。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种概率松弛核线匹配方法，其特征在于，包括以下步骤：

步骤1、获取核线改正后的左影像和右影像；

步骤2、对左影像、右影像分别进行降采样处理；

步骤3、在降采样后的左影像上提取稳定特征点；

步骤4、设置初始视差搜索范围，对降采样后的左影像、降采样后的右影像构成的影像对进行初始匹配，获得稳定特征点的视差值，并插值生成初始视差图；

步骤5、按照预设窗口尺寸对左影像进行特征提取获得目标点，并计算目标点所属窗口的灰度均值、灰度方差；

步骤6、将每个目标点向初始视差图映射，确定密集匹配视差搜索范围；

步骤7、针对每个目标点，根据该目标点的密集匹配视差搜索范围在右影像中移动窗口，计算密集匹配视差搜索范围内每个窗口的灰度相关系数，获得备选点；

步骤8、附加地形条件约束的概率松弛迭代，综合灰度均值、灰度方差、灰度相关系数计算备选点选为匹配点的概率，取最大概率点为最佳匹配点，得到密集匹配结果；所述地形条件约束包括平面约束、二次曲面约束和三次曲面约束；

概率松弛迭代的公式如下：

式中，

为迭代过程中第i点和第k点的相似性测度，n为备选点的数量，

为第i点的第k个备选点在第r次迭代的匹配概率；m为实际使用的匹配窗口大小；C_ijkl为第i点的第k个备选点与第j点的第l个备选点之间的相容系数，第i点的第k个备选点的视差值为dx_ik，第j点的第l个备选点的视差值为dx_jl，C_ijkl为视差较差的函数；β为相容系数的调整参数；c₀、c₁为松弛系数；N_i为第i点的邻域；

根据窗口之间方差和均值的相似性定权w，对(1)作出修改：

式中，w_j为权重，由下式确定：

其中，var(j)、var(i)分别代表第j、i点为中心窗口的方差；

步骤9、对密集匹配结果进行后处理。

2.根据权利要求1所述的概率松弛核线匹配方法，其特征在于，所述步骤4的具体实现方式为：设置初始视差搜索范围后，用最小二乘相关对步骤3提取的稳定特征点进行初始匹配；对初始匹配结果作高斯滤波消除异常值；以降采样后的右影像为基准影像，降采样后的左影像为匹配影像再次匹配，得到每个稳定特征点的视差值；对两次初始匹配结果进行左右一致性检验，剔除矛盾点，剩余的点认为是可靠特征点；

其中，左右一致性检验公式为：

dP_ileft+dP_iright＜T

式中，dP_ileft为左影像稳定特征点i的视差值，dP_iright为i在右影像同名点的视差值，T为检验阈值，T取1，即：

dP_ileft+dP_iright＜1

完成后，使用可靠特征点视差值插值得到初始视差图。

3.根据权利要求1所述的概率松弛核线匹配方法，其特征在于，所述步骤5中，在左影像中提取Harris特征点作为目标点，并允许判定不存在特征点。

4.根据权利要求1所述的概率松弛核线匹配方法，其特征在于，所述步骤6的具体实现方式为：求出当前目标点在初始视差图的对应点，使用以这一对应点为中心的窗口内的所有视差值为依据计算密集匹配视差搜索范围。

5.根据权利要求1所述的概率松弛核线匹配方法，其特征在于，所述步骤6中，所述密集匹配视差搜索范围为[k₁Min-1,k₁Max+1]；其中，Max为最大视差值，Min为最小视差值，k₁为比例系数。

6.根据权利要求1所述的概率松弛核线匹配方法，其特征在于，所述步骤7的具体实现方式为：在右影像搜索范围中移动窗口，采用窗口的灰度相关系数度量相似性，相关系数根据如下公式计算：

其中，u，v分别表示左右影像上待计算相关系数的两个点；R(u，v)表示u，v两点的相关系数；M，N表示计算相关系数的左右匹配窗口的宽、高；

分别表示左右匹配窗口中位置为(j,k)的像素的灰度值；

分别表示左右匹配窗口的灰度均值。

7.一种概率松弛核线匹配系统，其特征在于，用于实现如权利要求1-6中任一所述的概率松弛核线匹配方法的步骤，系统包括：

初始视差图生成模块，用于根据左影像和右影像获得初始视差图；

目标点提取模块，用于按照预设窗口尺寸对左影像进行特征提取获得目标点，并计算目标点所属窗口的灰度均值、灰度方差；

搜索范围计算模块，用于将每个目标点向初始视差图映射，确定密集匹配视差搜索范围；

灰度匹配模块，用于针对每个目标点，根据该目标点的密集匹配视差搜索范围在右影像中移动窗口，计算密集匹配视差搜索范围内每个窗口的灰度相关系数，获得备选点；

概率松弛迭代模块，用于综合灰度均值、灰度方差、灰度相关系数计算备选点选为匹配点的概率，取最大概率点为最佳匹配点，得到密集匹配结果；

匹配结果优化模块，用于对密集匹配结果进行后处理。

8.根据权利要求7所述的概率松弛核线匹配系统，其特征在于，所述初始视差图生成模块包括：

降采样子模块，用于对左影像、右影像分别进行降采样处理；

初始匹配子模块，用于对降采样后的左影像、降采样后的右影像构成的影像对进行初始匹配，获得初始视差图。

Images