CN113344989B - 一种NCC和Census的最小生成树航拍图像双目立体匹配方法 - Google Patents

Abstract

本发明公开了一种NCC和Census的最小生成树航拍图像双目立体匹配方法，该方法首先对原图像使用Sobel算子进行边缘检测，再对边缘图像进行Census变换得到匹配代价值，然后和原图像直接进行NCC变换的匹配代价进行非线性融合，得到最终的匹配代价；使用最小生成树算法进行代价聚合；使用胜者为王策略获取初始视差图。通过左右一致性方法进行视差优化得到最终的视差图。本发明可以提高重复纹理区域、弱纹理区域的匹配效果，提高了算法的精度。

Description

一种NCC和Census的最小生成树航拍图像双目立体匹配方法

技术领域

本发明涉及计算机视觉和图像处理技术领域，特别涉及一种Census和NCC的组合匹配代价算法。

背景技术

立体视觉匹配技术是计算机视觉领域里最重要的研究方向之一，立体视觉匹配的主要目标是从两个或多个同一场景的图像中找到对应点，进而生成参考图像视差图。基于立体匹配生成的视差图，结合空间几何关系转换就可以生成用于三维重建的深度图。而立体匹配的精度直接决定了三维重建的效果。

Scharstein和Szel iski研究了一些典型的立体匹配算法，依据视差最优化计算方法的差异，可将立体匹配算法分为两类:基于求解全局能量函数最优化问题的全局立体匹配算法及局部立体匹配算法。全局立体匹配算法通过最小化全局能量函数得到最优估计视差值，全局算法得到的视差图错误率低，但是时间复杂度非常高，不适合实时应用系统。局部立体匹配算法计算过程较为简单，时间复杂度低，但是因为局部立体匹配中不具备平滑函数，因此在遮挡区域，边缘深度不连续区域，弱纹理和无纹理区域都会造成误匹配问题。

局部算法常使用固定窗口、自适应窗口和自适应权重计算聚合值，然而,选择一个合适的聚合窗口并不容易,其大小直接影响匹配精度。较大的窗口能包含更多像素变化信息,得到更可靠的匹配关系,但在图像边缘区域易产生误匹配；较小的窗口能减小深度不连续区域像素点的误匹配率,但在低纹理区域，易陷入局部最优而产生误匹配。Q.Yang 提出了一种具有全局特点的算法：最小生出树算法来进行代价聚合。该方法将图像视为一个无向图，将像素点作为节点构建最小树。这种算法不仅能够独立处理像素点的匹配关系，同时也能将像素的支持区域扩展到整个图像，使得每个像素点获得其他像素点的支撑，得到更为丰富的匹配信息

发明内容

有鉴于此，本发明的目的是提供一种基于NCC和Census的最小生成树的航拍图像双目立体匹配方法，能够提高匹配的准确度。

本发明的目的是通过以下技术方案实现的：

一种NCC和Census的最小生成树航拍图像双目立体匹配方法，包括以下步骤：

步骤S1：计算NCC和Census的匹配代价值：使用Sobel算子对航拍双目图像进行边缘检测获取2张边缘图，然后再进行Census变换，再对原图像进行NCC变换；最后，将这2个的匹配代价进行非线性融合最终的匹配代价；

步骤S2：计算代价聚合值：把图像中的每个像素值当做一个节点，上下左右相连，获得一个四连通无向图，根据权重值构建最小生成树，权重值是相邻像素点之间的灰度差，然后沿着最小生成树的路径对步骤(2)获得的每一个像素点的匹配代价值进行代价聚合；

步骤S3：计算初始视差图：使用“胜者为王”算法获得初始视差图，这个算法是在视差范围内通过选择最小的聚合后的匹配代价值所对应的视差值做为最终视差值，获得初始视差图；

步骤S4：视差细化：使用左右一致性方法对初始视差图进行视差优化。

进一步，步骤S1的具体步骤如下：

Census变换是一种非参数变换，它是将像素p和以它为中心的窗口映射为一个比特流，用该比特流作为中心像素点的Census变换码。传统的Census变换映射关系如(1) 式所示：

式中：I(p)、I(q)表示像素点p、q的值。Census变换中对应像素点的比特流由上式得到，其定义如下：

N_p是以像素p的变换窗口，表示将窗口内的二进制值连接成比特串

对于在左图中像素点p以及右图中视差为d对应的像素点q，在分别得到 Census变换后的比特串census(p)和census(p，d)，基于Census变换的匹配代价即为 2串比特串之间的汉明距离。则基于Census变化的匹配代价可表示为：

Ccen(p，d)＝Ham min g(cen(p)，cen(p，d))    (3)

Census仅仅利用了图像灰度信息进行变换计算，在处理图像重复纹理区域表现效果不佳，因此将边缘信息加入到Census变换中，从而增强匹配代价计算的鲁棒性。

Sobel算子是一种常用的梯度计算方法。通过Sobel算子检测出像素点的边缘信息后，会得到两张边缘图。根据边缘信息对边缘图进行Census变换。计算公式如下：

C₁(p，d)＝H(edge(p)，edge(d))    (4)

归一化互相关NCC匹配代价的计算公式如下：

式中，C₂(p，d)就是相似性的度量值，这个值越接近1，代表两个匹配窗口的相似程度越大。p点表示左图I_l的待匹配像素坐标(p_x，p_y)，d表示在右图I₂被查询像素与p点在水平方向的距离，w_p表示以p点为中心的匹配窗口。

将Census的匹配代价和NCC匹配代价非线性融合，可以进一步增强匹配代价的鲁棒性和准确性，融合后的匹配代价公式为：

C(p，d)＝p(C₁(p，d)，λ₁)+p(C₂(p，d)，λ₂)  (6)

p(C，λ)＝1-exp(-C(p，d)/λ)

                                                  (7)

C(p，d)表示视差平面d在像素点p的最终匹配代价值；λ₁、λ₂是Census变换和NCC 匹配代价的控制参数；p(C，λ)是算法的鲁棒参数，这样可以将计算结果归一化。

进一步，步骤S2的具体步骤如下：

算法将视差计算的图像视为一个连通的加权无向图，表示为

G＝(V，E)  (8)

其中顶点V是所有像素点的集合。连接相邻顶点s和r的边权值为：

w[s，r]＝w(r，s)＝|I(s)-I(r)|(9)

一旦最小生成树构建完毕，在代价聚合过程中，有边连接的两个节点之间的相互影响是最直接的。即便没有直接连接在一起，节点对之间也能间接地通过连接彼此的路径相互影响。顶点p和q之间的相似性为：

式中，σ是一个常数，用来衡量2个节点的相似程度。故对于像素p，聚合后的匹配代价为：

经过两次遍历即可得到全图所有像素的聚合值。

进一步，步骤S3的具体步骤如下：

选取最小匹配代价对应的视差值为像素点最终的视差，视差可表示为：

D(p)为p点的最终视差值，Disp为候选视差空间值集合，范围从0到dmax之间的离散视差，C^A(p，d)为最小生成树聚合后的聚合匹配代价。

进一步，步骤S4的具体步骤如下：

因获得的初始视差图必然会存在遮挡点和误匹配点，对其进行优化也是提高精度的重要一步。这里使用左右一致性检测策略进行视差优化，具体做法为：获取左右两个视差图。对左图中的一个像素p，它的视差值是dL，那么在右图中的对应点坐标应该是(p-d_L)，视差值为d_R，若：

|d_L-d_R|≤T  (13)

T为视差阈值。

进一步，满足上面公式的点是稳定点，否则就是误匹配点，误匹配点需要进行修正。修正的过程如下：对一个异常点p_out，在水平方向上分别往左和往右各找到第一个稳定点 p_1L和p_2R，然后将其替换成其中较小的那一个视差值。公式如下：

d_out＝min[d(p_1L)，d(p_2R)]  (14)

其中，d_out是修正后的视差值。

本发明的目的之二是提供一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前所述的方法。

本发明的第三方面的目的是提供一种计算机可读存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。

本发明的有益效果是：本发明通过将Census和NCC匹配代价非线性融合，提高了算法在重复纹理、深度不连续区域的效果。采用最小生成树的非局部代价聚合方法，在整个图像上进行代价聚合，保证了每个像素点都对其他像素点有相应的权值贡献。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和前述的权利要求书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1是本发明的流程图；

图2是本发明的最小生成树的代价聚合过程示意图。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

如图1所示，一种NCC和Census的最小生成树航拍图像双目立体匹配方法,包括以下几个步骤：

步骤S1：计算归一化互相关NCC和Census的匹配代价值：使用Sobel算子对图像进行边缘检测获取2张边缘图，然后再进行Census变换，再对原图像进行NCC变换；最后，将这2个的匹配代价进行非线性融合得到最终的匹配代价；

步骤S2：计算代价聚合值，把图像中的每个像素值当做一个节点，上下左右相连，获得一个四连通无向图，根据权重值构建最小生成树,权重值是相邻像素点之间的灰度差，然后沿着最小生成树的路径对步骤(1)获得的每一个像素点的匹配代价值进行代价聚合；

步骤S3：计算初始视差图，使用“胜者为王”算法获得初始视差图，这个算法是在视差范围内通过选择最小的聚合后的匹配代价值所对应的视差值做为最终视差值，获得初始视差图；

步骤S4：视差细化:使用左右一致性检测方法对初始视差图进行视差优化。

其中，所述步骤S1具体包括以下步骤：

Census变换是一种非参数变换，它是将像素p和以它为中心的窗口映射为一个比特流，用该比特流作为中心像素点的Census变换码。传统的Census变换映射关系如下式所示：

式中：I(p)、I(q)表示像素点p、q的值。Census变换中对应像素点的比特流由上式得到，其定义如下：

N_p是以像素p的变换窗口，表示将窗口内的二进制值连接成比特串

对于在左图中像素点p以及右图中视差为d对应的像素点q，在分别得到 Census变换后的比特串census(p)和census(p，d)，基于Census变换的匹配代价即为 2串比特串之间的汉明距离。则基于Census变化的匹配代价可表示为

Ccen(p，d)＝Ham min g(cen(p)，cen(p，d))

Census仅仅利用了图像灰度信息进行变换计算，在处理图像重复纹理区域表现效果不佳，因此将边缘信息加入到Census变换中，从而增强匹配代价计算的鲁棒性。

Sobel算子是一种常用的梯度计算方法。通过Sobel算子检测出像素点的边缘信息后，会得到两张边缘图。根据边缘信息对边缘图进行Census变换。计算公式如下：

C₁(p，d)＝H(edge(p)，edge(d))

局部立体匹配算法使用的代价函数主要有绝对值平方和(SAD)，绝对值平方差(SSD)，归一化互相关(NCC)等。其中NCC系数能够比SAD与SSD包含更多的信息，因此以NCC系数作为匹配的代价函数相比于SAD、SSD等可以获得更准确地匹配结果，归一化互相关系数NCC匹配代价的计算公式如下：

式中，C₂(p，d)就是相似性的度量值，这个值越接近1，代表两个匹配窗口的相似程度越大。p点表示左图I_l的待匹配像素坐标(p_x，p_y)，d表示在右图I₂被查询像素与p点在水平方向的距离，w_p表示以p点为中心的匹配窗口。

将Census的匹配代价和NCC匹配代价非线性融合，可以进一步增强匹配代价的鲁棒性和准确性，融合后的匹配代价公式为：

C(p，d)＝p(C₁(p，d)，λ₁)+p(C₂(p，d)，λ₂)

p(C，λ)＝1-exp(-C(p，d)/λ)

C(p，d)表示视差平面d在像素点p的最终匹配代价值。λ₁、λ₂是Census变换和NCC 匹配代价的控制参数。p(C，λ)是算法的鲁棒参数，这样可以将计算结果归一化。

步骤S2具体步骤是：使用最小生成树算法对匹配代价进行聚合。如图2所示，图2(a)是从叶节点往根节点代价聚合，图2(b)是从根节点往叶节点代价聚合，算法将视差计算的图像视为一个连通的加权无向图，表示为：

G＝(V，E)

其中顶点V是所有像素点的集合。连接相邻顶点s和r的边权值为：

w[s，r]＝w(r，s)＝|I(s)-I(r)|

一旦最小生成树构建完毕，在代价聚合过程中，有边连接的两个节点之间的相互影响是最直接的。即便没有直接连接在一起，节点对之间也能间接地通过连接彼此的路径相互影响。顶点p和a之间的相似性为：

式中，σ是一个常数，用来衡量2个节点的相似程度。故对于像素p，聚合后的匹配代价为：

整个过程可以按如下两个步骤进行：

(1)自底向上聚合，即由最小生成树的叶子节点向根节点方向对初始匹配代价进行聚合，用表示节点v^(v∈V)在视差d处的代价聚合结果，则可表示为：

其中p(vi)表示节点vi的父节点，S(v，vi)用于估量节点vi和它的父节点v之间的相似度，σ为一常数，目的是对节点间的相似度进行调整。在这个过程中，若节点v恰好为最小生成树的叶子节点，则有

(2)自顶向下聚合，自根节点起往叶节点方向对上一步得到的代价聚合结果进行二次聚合，并将所得到的结果作为代价聚合的最终结果，用表示：

聚合过程只用了一个参数来控制两点间的相似度，这是由于最小生成树上的节点间本身就带有距离信息，而且，在得到的最小生成树中，相似度体现在两点之间边的权值上，相似度越高，权值越小，这一特点恰恰与最小生成树的构造过程相呼应。

本实施例中，步骤S3具体过程是；通过胜者为王策略完成视差计算。选取最小匹配代价对应的视差值为像素点最终的视差，视差可表示为：

D(p)为p点的最终视差值，Disp为候选视差空间值集合，范围从0到dmax之间的离散视差，C^A(p，d)为最小生成树聚合后的聚合匹配代价。

本实施例中，步骤S4具体过程是：因获得的初始视差图必然会存在遮挡点和误匹配点，对其进行优化也是提高精度的重要一步。这里使用左右一致性检测策略进行视差优化，具体做法为：获取左右两个视差图。对左图中的一个像素p，它的视差值是dL，那么在右图中的对应点坐标应该是(p-d_L)，视差值为d_R，若：

|d_L-d_R|≤T

T为视差阈值。满足上面公式的点是稳定点，否则就是误匹配点，误匹配点需要进行修正。修正的过程如下：对一个异常点p_out，在水平方向上分别往左和往右各找到第一个稳定点p_1L和p_1R，然后将其替换成其中较小的那一个视差值。公式如下：

d_out＝min[d(p_1L)，d(p_2R)]

其中，d_out是修正后的视差值。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种NCC和Census的最小生成树航拍图像双目立体匹配方法，其特征在于，包括以下步骤:

步骤S1：计算NCC和Census的匹配代价值：使用Sobel算子对航拍双目图像进行边缘检测获取2张边缘图，然后再进行Census变换，再对原图像进行NCC变换；最后，将这两个的匹配代价进行非线性融合获得最终的匹配代价；

步骤S2：计算代价聚合值:把图像中的每个像素值当做一个节点，上下左右相连，获得一个四连通无向图，根据权重值构建最小生成树,权重值是相邻像素点之间的灰度差，然后沿着最小生成树的路径对步骤S1获得的每一个像素点的匹配代价值进行代价聚合；

步骤S3：计算初始视差图：使用“胜者为王”算法获得初始视差图，这个算法是在视差范围内通过选择最小的聚合后的匹配代价值所对应的视差值作为最终视差值，获得初始视差图；

步骤S4：视差细化:使用左右一致性方法对初始视差图进行视差优化。

2.根据权利要求1所述的NCC和Census的最小生成树航拍图像双目立体匹配方法,其特征在于：步骤S1的具体步骤如下：

Census变换是一种非参数变换，它是将像素p和以它为中心的窗口映射为一个比特流，用该比特流作为中心像素点的Census变换码，传统的Census变换映射关系如(1)式所示：

式中：I(p)、I(q)表示像素点p、q的灰度值大小，Census变换中对应像素点的比特流由上式得到，其定义如下：

N_(p)是以像素p的变换窗口，表示将窗口内的二进制值连接成比特串；

对于在左图中像素点p以及右图中视差为d对应的像素点q,在分别得到Census变换后的比特串cen(p)和cen(p,d),基于Census变换的匹配代价即为2串比特串之间的汉明距离，则基于Census变化的匹配代价可表示为:

Ccen(p,d)＝H(cen(p),cen(p,d))                 (3)

通过Sobel算子检测出像素点的边缘信息后，会得到两张边缘图，根据边缘信息对边缘图进行Census变换，计算公式如下：

C₁(p,d)＝H(edge(p),edge(d))                        (4)

归一化互相关NCC匹配代价的计算公式如下：

式中，C₂(p,d)就是相似性的度量值，这个值越接近1，代表两个匹配窗口的相似程度越大，p点表示左图I_l的待匹配像素坐标(p_x,p_y)，d表示在右图I₂被查询像素与p点在水平方向的距离，w_p表示以p点为中心的匹配窗口；

将Census的匹配代价和NCC匹配代价非线性融合，融合后的匹配代价公式为：

C(p,d)＝p(C₁(p,d),λ₁)+p(C₂(p,d),λ₂)               (6)

p(C,λ)＝1-exp(-C(p,d)/λ)

                             (7)

C(p,d)表示视差平面d在像素点p的最终匹配代价值；λ₁、λ₂是Census变换和NCC匹配代价的控制参数；p(C,λ)是算法的鲁棒参数，这样可以将计算结果归一化。

3.根据权利要求1所述的一种NCC和Census的最小生成树航拍图像双目立体匹配方法,其特征在于：步骤S2的具体步骤如下：

算法将视差计算的图像视为一个连通的加权无向图,表示为

G＝(V,E)                                (8)

其中顶点V是所有像素点的集合，连接相邻顶点s和r的边权值为:

w[s,r]＝w(r,s)＝|I(s)-I(r)|              (9)

一旦最小生成树构建完毕，在代价聚合过程中，有边连接的两个节点之间的相互影响是最直接的，即便没有直接连接在一起，节点对之间也能间接地通过连接彼此的路径相互影响，顶点p和q之间的相似性为：

式中，σ是一个常数,用来衡量2个节点的相似程度，故对于像素p，聚合后的匹配代价为：

经过两次遍历即可得到全图所有像素的聚合值。

4.根据权利要求1所述的一种NCC和Census的最小生成树航拍图像双目立体匹配方法,其特征在于：步骤S3的具体步骤如下：

选取最小匹配代价对应的视差值为像素点最终的视差，视差可表示为：

D(p)为p点的最终视差值，Disp为候选视差空间值集合，范围从0到dmax之间的离散视差，C^A(p,d)为最小生成树聚合后的聚合匹配代价。

5.根据权利要求1所述的一种NCC和Census的最小生成树航拍图像双目立体匹配方法,其特征在于：步骤S4的具体步骤如下：

使用左右一致性检测策略进行视差优化,具体做法为:获取左右两个视差图，对左图中的一个像素p，它的视差值是d_L,那么在右图中的对应点坐标应该是(p-d_L)，视差值为d_R,若：

|d_L-d_R|≤T     (13)

T为视差阈值；

满足公式(13)的点是稳定点，否则就是误匹配点，误匹配点需要进行修正，修正的过程如下：对一个异常点p_out,在水平方向上分别往左和往右各找到第一个稳定点p_1L和p_2R，然后将其替换成其中较小的那一个视差值，公式如下：

d_out＝min[d(p_1L),d(p_2R)]     (14)

其中，d_out是修正后的视差值。

6.一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的方法。

7.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。

Images