CN103810690A - 立体匹配方法和装置 - Google Patents

Abstract

公开了一种立体匹配方法和装置。其中，该立体匹配方法包括：检测当前帧与前一帧之间是否存在场景变化；在当前帧与前一帧之间不存在场景变化的情况下，利用当前帧与前一帧之间的相似度、以及前一帧的视差图对当前帧的视差空间图像中的每个像素的匹配代价聚集值进行更新；以及利用当前帧的更新后的视差空间图像获取述前帧的视差图。利用根据本发明的立体匹配方法和装置，可以消除在不考虑时间一致性的情况下得出的视差图中的抖动。

Description

立体匹配方法和装置

技术领域

本发明涉及图像处理领域，更具体地涉及一种立体匹配方法和装置。

背景技术

立体匹配是对某一场景拍摄两个以上图像，通过精确地找出图像间的匹配像素来估计该场景的三维(3D)模型，并且将这些图像间的匹配像素的二维(2D)位置转换为3D深度的处理。在简单的成像配置(例如，两只眼睛或两个相机向前直视的成像配置)中，两只眼睛或两个相机之间的视差与该两只眼睛或两个相机与观察对象之间的距离(即，观察对象在所拍摄的图像中的立体深度)成反比。所以，视差图通常被用来描述所拍摄图像中的像素的立体深度。

在传统的立体匹配方法中，通常将分别由两个眼睛或两个相机获取的两个图像中的一个图像作为参考图像、另一个图像作为目标图像，并且输出目标图像相对于参考图像的视差图。在简单的成像配置中，立体匹配的目的就是找出分别由左、右两只眼睛或者两个相机获取的左、右两个图像中的对应像素点。具体地，对于目标图像中的某个像素点，其对应像素点是通过在参考图像中的一定范围内进行搜索找出的。在传统的立体匹配方法中，如果不考虑获取目标图像和参考图像的时间一致性，则所得出的视差图中很容易出现抖动。

发明内容

鉴于以上问题，本发明提供了一种能够消除视差图中的抖动的立体匹配方法和装置。

根据本发明实施例的立体匹配方法包括：检测当前帧与前一帧之间是否存在场景变化；在当前帧与前一帧之间不存在场景变化的情况下，利用当前帧与前一帧之间的相似度、以及前一帧的视差图对当前帧的视差空间图像中的每个像素的匹配代价聚集值进行更新；以及利用当前帧的更新后的视差空间图像获取述前帧的视差图。

根据本发明实施例的立体匹配装置包括：场景变化检测单元，用于检测当前帧与前一帧之间是否存在场景变化；空间图像更新单元，用于在当前帧与前一帧之间不存在场景变化的情况下，利用当前帧与前一帧之间的相似度、以及前一帧的视差图对当前帧的视差空间图像中的每个像素的匹配代价聚集值进行更新；以及视差图像(disparity image)获取单元，用于利用当前帧的更新后的视差空间图像获取当前帧的视差图。

根据本发明实施例的立体匹配方法和装置可以消除在不考虑获取目标图像和参考图像的时间一致性的情况下得出的视差图中很容易出现的抖动。另外，根据本发明实施例的立体匹配方法和装置可以被简单地结合在现有的立体视觉系统中，并可以实现在线处理。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出了根据本发明实施例的立体匹配装置的框图。

图2示出了根据本发明实施例的立体匹配方法的流程图。

图3示出了估计当前帧中的像素p与前一帧中的与像素p处于相同位置的像素的周围区域N(p)中的每个像素q之间的相似度的处理的示意图。

图4示出了利用当前帧与前一帧的相似度以及前一帧的视差图来修正当前帧的DSI的处理的示意图。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

传统的立体匹配方法一般包括以下步骤：匹配代价计算步骤、匹配代价聚集步骤、视差获取步骤、以及视差优化步骤。其中：

匹配代价计算步骤用于计算与预先规定的最小视差值(d_min)到最大视差值(d_max)之间的每个视差值相对应的目标图像和参考图像之间的相似性度量代价(具体地，是计算在每个视差值下目标图像中的每个像素与参考图像中的相应像素之间的相似性代价度量)。这里，从d_min到d_max之间的所有视差值和与这些视差值相对应的所有相似性度量代价形成了目标图像的粗视差空间图像(DSI)。具体地，粗DSI中的各个平面是与从d_min到d_max之间的各个视差值相对应的匹配代价平面，而每个匹配代价平面(例如，与视差值d相对应的匹配代价平面)中的每个像素表示的是在视差值为d的情况下目标图像中的每个像素与参考图像中的相应像素之间的相似性度量代价。例如，视差空间图像中的与视差值d相对应的匹配代价平面上的任意一个像素(u，v，d)表示的是目标图像中的像素(u，v)与参考图像中的像素(u-d，v)之间的相似性度量代价。这里，为了简单，相似性度量代价也被称为匹配代价。

匹配代价聚集步骤用于通过对目标图像的粗DSI中的每个匹配代价平面上的匹配代价进行聚集计算，来获得与每个匹配代价平面上的每个像素相对应更可靠的匹配代价(该最可靠的匹配代价在下文中也被称为匹配代价聚集值)，进而获得目标图像的细DSI。最常用的代价聚集方法是对匹配代价平面上的匹配代价支持窗口中的匹配代价进行平均。例如，对于目标图像的粗DSI中的与视差值d相对应的匹配代价平面上的任意一个像素(u，v，d)，通过对该匹配代价平面上的位于像素(u-m，v，d)和像素(u+n，v，d)之间的所有像素(包括这两个像素在内)的匹配代价进行平均来得到像素(u，v，d)的更可靠的匹配代价。在针对目标图像的粗DSI中的所有匹配代价平面中的所有像素完成上述匹配代价聚集处理后，即可得到目标图像的细DSI。需要说明的是，对于特定的目标图像，匹配代价支持窗口(例如，m+n-1)的尺寸是固定的。当然，上述匹配代价聚集方法只是示例性的而不用于限制本发明，并且可以利用已知的或者将来开发的任何匹配代价聚集方法。

视差获取步骤用于根据目标图像的细DSI来获取目标图像的视差图(具体地，获取目标图像中每个像素的视差值)。通常，对于目标图像上的某个像素，选择与该像素相关联的最小匹配代价聚集值所对应的视差值作为该像素的视差值。目标图像的视差图上的每个像素表示目标图像的相应像素的视差值，即目标图像上的每个像素的视差值构成了目标图像的视差图。

视差优化步骤用于对视差计算步骤所获取的视差图进行后处理(即，视差获取步骤中获取的目标图像中的每个像素的视差值进行优化)，并且进一步包括子像素优化步骤、遮挡检测步骤、以及遮挡填充步骤。这里，优化后的视差图上的每个像素表示目标图像的每个像素的最终视差值。在本发明的实施例中，可以使用现有的或者将来开发的任何视差优化方法。

在以上所述的立体匹配方法中，如果不考虑获取目标图像和参考图像的时间一致性，则所得出的视差图中很容易出现抖动。所以，本发明提出了一种能够减少或者消除视差图中的抖动的立体匹配方法和装置。

图1示出了根据本发明实施例的立体匹配方法的流程图，其中根据本发明实施例的立体匹配方法区别于传统的立体匹配方法的部分被用阴影表示出来。

如图1中所示，在根据本发明实施例的立体匹配方法中，首先需要执行场景变化检测步骤S102以检测当前帧(例如，帧t)和前一帧(例如，帧(t-1))之间是否存在场景变化。如果当前帧和前一帧之间存在场景变化，则前一帧的视差图不会影响当前帧的视差图的计算，这意味着可以通过传统的立体匹配方法来获取当前帧的视差图。如果当前帧和前一帧之间不存在场景变化，则需要在传统的立体匹配方法中加入相似度估计步骤S108和匹配代价更新步骤S110，以减少或者消除很容易出现在通过空间域的立体匹配方法得出的视差图中的抖动。

具体地，图1中所示的匹配代价计算步骤S104、匹配代价聚集步骤S106、视差获取步骤S112、以及视差优化步骤S114用于执行以上所述的传统的立体匹配方法中的相应步骤的处理。需要指出的是，与传统的立体匹配方法不同的是，由匹配代价聚集步骤S 106获取的目标图像的细DSI不是直接输出到视差获取步骤S112，而是要经过匹配代价更新步骤S110的进一步处理后才输出到视差获取步骤S112以供获取目标图像的视差图。下面为了描述方便，也将目标图像的细DSI称为目标图像的DSI。

图2示出了根据本发明实施例的立体匹配装置的框图。如图2所示，根据本发明实施例的立体匹配装置包括场景变化检测单元202、匹配代价计算单元204、匹配代价聚集单元206、相似度估计单元208、匹配代价更新单元210、视差获取单元212、以及视差优化单元214。这里，相似度估计单元208和匹配代价更新单元210构成了以上所述的空间图像更新单元，并且视差获取单元212和视差优化单元214构成了以上所述的视差图获取单元。

其中，场景变化检测单元202用于执行场景变化检测步骤S102，匹配代价计算单元S204用于执行匹配代价计算步骤S104，匹配代价聚集单元206用于执行匹配代价聚集步骤S106，相似度估计单元208用于执行相似度估计步骤S108，匹配代价更新单元210用于执行匹配代价更新步骤S110，视差图获取单元212用于执行视差图获取步骤S112，视差图优化单元214用于执行视差图优化步骤S114。

下面详细描述根据本发明实施例的立体匹配方法中的场景变化检测步骤S102、相似度估计步骤S108、和匹配代价更新步骤S110。

S102，场景变化检测步骤

这里，使用一种简单的方法来检测当前帧和前一帧之间是否存在场景变化。具体地，首先根据以下等式计算当前帧与紧挨着当前帧的前一帧中的相同位置的像素值之间的差值之和(也就是说，计算当前帧与前一帧之间的差异度量)：

$S_t=\underset{x}{\mathrm{\Σ}}\left|\right|I_t\left(x\right)-I_{t-1}\left(x\right)\left|\right|/3$

其中，I_t(x)和I_t-1(x)分别表示当前帧t和前一帧(t-1)中的位置x处的像素值。需要说明的是，由于当前帧和前一帧中的每个像素具有R、G、B三个颜色通道的像素值，所以上式可以更具体地写为：

$S_t=\underset{x}{\mathrm{\Σ}}\left(\right||I_t\left(x\right)-I_{t-1}\left(x\right)||R+||I_t\left(x\right)-I_{t-1}\left(x\right)||G+||I_t\left(x\right)-I_{t-1}\left(x\right)|\left|B\right)/3$

然后，对于S_t和S_t-1，计算以下比值：

$R_t=\frac{S_t}{S_{t-1}+\mathrm{\ϵ}}$

其中，ε是常数0.0001。R_t被用来判断当前帧t和前一帧(t-1)之间是否存在场景变化。具体地，如果R_t＞2，则认为当前帧和前一帧之间存在场景变化，否则认为当前帧和前一帧之间不存在场景变化。

S108，相似度估计步骤

图3示出了估计当前帧中的任意一个像素p与前一帧中的与像素p处于相同位置的像素p’的周围区域N(p)(即，运动搜索窗)中的每个像素q之间的相似度的处理。具体地，根据以下等式计算像素p与前一帧中的像素p’的周围区域N(p)中的每个像素q之间的相似度：

$P_t(p,q)=\frac{e^{-B_t(p,q)}}{\underset{q\∈N\left(p\right)}{\mathrm{\Σ}}{e}^{-B_t(p,q)}}$

$B_t(p,q)=\underset{p_i\∈M\left(p\right),q_i\∈M\left(q\right)}{\mathrm{\Σ}}\left(\right||I_t\left(p_i\right)-I_{t-1}\left(q_i\right)||/3\×\mathrm{\α}+||\▿I_t\left(p_i\right)-\▿I_{t-1}\left(q_i\right)||/2\×(1-\mathrm{\α}))$

其中，P_t(p，q)表示像素p和像素q之间的相似度，B_t(p，q)表示像素p和像素q之间的块匹配度量，_It(p_i)表示当前帧t中的像素p的块匹配窗口M(p)中的像素p_i的像素值，I_t-1(q_i)表示前一帧(t-1)中的像素p’的周围区域N(p)中的像素q的块匹配窗M(q)中的像素q_i的像素值，

表示与当前帧t相对应的灰度图像中的像素p_i的灰度梯度值，

表示与前一帧(t-1)相对应的灰度图像中的像素q_i的灰度梯度值。

同样，由于当前帧和前一帧中的每个像素具有R、G、B三个颜色通道的像素值，所以求解B_t(p，q)的公式可以更具体地写为：

$B_t(p,q)=\underset{p_i\∈M\left(p\right),q_i\∈M\left(q\right)}{\mathrm{\Σ}}(\left(\right||I_t\left(p_i\right)-I_{t-1}\left(q_i\right)||R+||I_t\left(p_i\right)-I_{t-1}\left(q_i\right)||G+||I_t\left(p_i\right)-I_{t-1}\left(q_i\right)|\left|B\right)/3\×\mathrm{\α}+||{}_{}\▿I_t\left(p_i\right)-\▿I_{t-1}\left(q_i\right)||/2\×(1-\mathrm{\α}))$

从以上等式中可以看出，可以利用当前帧t中的像素p_i和前一帧(t-1)中的像素q_i的像素值和灰度梯度值来计算像素p的块匹配度量B_t(p，q)，α用于对像素p_i和q_i的颜色和梯度项进行平衡。在本发明的实施例中，块匹配窗M(q)和M(p)的半径均为5，α取值0.6，运动搜索窗N(p)的半径是应用相关的，并且对于大多数场景而言默认其半径为5。这里，将针对当前帧中的每个像素计算出的相似度统称为当前帧与前一帧的相似度。

S110，匹配代价更新步骤

对于每个视差值d，传统的立体匹配方法执行当前帧的匹配代价计算和匹配代价聚集，然后得到当前帧的视差空间图像(DSI)C_t(d)。如果当前帧与前一帧之间不存在场景变化，则当前帧中每个像素与前一帧中的多个像素之间的相似度以及前一帧的视差图将被用来更新当前帧的DSI。图4示出了利用当前帧中的每个像素与前一帧中的多个像素之间的相似度以及前一帧的视差图来更新当前帧的DSI的过程的示意图。其中，匹配代价更新公式如下：

${C^{\′}}_t(d,p)=\frac{C_t(d,p)}{1+{\mathrm{\μ}}_t{F}_t(d,p)}$

其中，C_t(J，p)表示在视差值为d的情况下当前帧t中的像素p的匹配代价聚集值，C′_t(J，p)表示在视差值为d的情况下当前帧t中的像素p的更新后的匹配代价聚集值，Δd表示当前帧和前一帧中相同位置的像素的视差变化范围并且用于控制视差图的时间平滑度，d_t(p)表示当前帧t的DSI中的与视差值d对应的匹配代价平面中的像素p的匹配代价聚集值，d_t-1(q)表示前一帧(t-1)的视差图中的像素q的视差值。μ_t是随时间变化的权重因子代表连续帧之间的场景相似度。在本发明的实施例中，Δd被设置为2，并且μ_t被定义如下：

${\mathrm{\μ}}_t=5e^{-R_t}$

从以上求解F_t(J，p)的公式中可以看出，是利用当前帧t中的像素p与前一帧(t-1)中的视差值处于(d-Δd)和(J+Δd)之间的每个像素的相似度来计算用于当前帧的DSI中的与视差值d相对应的匹配代价平面上的像素p的更新系数F_t(J，p)的。

根据本发明实施例的立体匹配方法和装置可以消除在不考虑获取目标图像和参考图像的时间一致性的情况下得出的视差图中很容易出现的抖动。另外，根据本发明实施例的立体匹配方法和装置可以被简单地结合在现有的立体视觉系统中，并可以实现在线处理。再者，在根据本发明实施例的立体匹配方法和装置中，可以通过改变输入参数(Δd)来处理存在大的运动的图像，并且可以很好地处理动态场景。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (14)

1.一种立体匹配方法，包括：

检测当前帧与前一帧之间是否存在场景变化；

在所述当前帧与所述前一帧之间不存在场景变化的情况下，利用所述当前帧与所述前一帧之间的相似度、以及所述前一帧的视差图对所述当前帧的视差空间图像中的每个像素的匹配代价聚集值进行更新；以及

利用所述当前帧的更新后的视差空间图像获取所述当前帧的视差图。

2.根据权利要求1所述的立体匹配方法，其特征在于，利用所述当前帧中的任意一个像素p与所述前一帧中的与所述像素p处于相同位置的像素周围的多个像素之间的相似度、以及所述前一帧的视差图，对所述视差空间图像中的任意一个匹配代价平面上的与所述像素p处于相同位置的像素的匹配代价聚集值进行更新。

3.根据权利要求2所述的立体匹配方法，其特征在于，在更新所述视差空间图像的处理中，所述前一帧的视差图被用来从所述前一帧中选择与所述像素p处于相同位置的像素周围的多个像素。

4.根据权利要求2所述的立体匹配方法，其特征在于，在对所述视差空间图像中的与任意一个视差值d相对应的匹配代价平面上的与所述像素p处于相同位置的像素的匹配代价聚集值进行更新时，利用根据所述前一帧的视差图、所述视差值d、以及预定的视差值变化范围从所述前一帧中选择与所述像素p处于相同位置的像素周围的多个像素。

5.根据权利要求2所述的立体匹配方法，其特征在于，根据以下等式获取所述当前帧中的所述像素p与所述前一帧中的与所述像素p处于相同位置的像素的运动搜索窗N(p)中的任意一个像素q之间的相似度：

$P_t(p,q)=\frac{e^{-B_t(p,q)}}{\underset{q\∈N\left(p\right)}{\mathrm{\Σ}}{e}^{-B_t(p,q)}}$

$B_t(p,q)=\underset{p_i\∈M\left(p\right),q_i\∈M\left(q\right)}{\mathrm{\Σ}}\left(\right||I_t\left(p_i\right)-I_{t-1}\left(q_i\right)||/3\×\mathrm{\α}+||\▿I_t\left(p_i\right)-\▿I_{t-1}\left(q_i\right)||/2\×(1-\mathrm{\α}))$

其中，P_t(p，q)表示所述像素p与所述像素q之间的相似度，B_t(p，q)表示所述像素p与所述像素q之间的块匹配度量，I_t(p_i)表示所述像素p的块匹配窗口M(p)中的任意一个像素p_i的像素值，I_t-1(q_i)表示所述前一帧中的与所述像素p处于相同位置的像素的运动搜索窗N(p)中的任意一个像素q的块匹配窗口M(q)中的任意一个像素q_i的像素值，

表示与所述当前帧相对应的灰度图像中的处于所述块匹配窗口M(p)中的任意一个像素p_i的灰度梯度值，

表示与所述前一帧相对应的灰度图像中的处于所述块匹配窗口M(q)中的任意一个像素q_i的灰度梯度值，α取值0.6。

6.根据权利要求1所述的立体匹配方法，其特征在于，检测所述当前帧与所述前一帧之间是否存在场景变化的处理包括：

计算所述当前帧与所述前一帧之间的差异度量S_t；

计算所述前一帧与所述前一帧之前的一帧之间的差异度量S_t-1；以及

如果

大于预定阈值，则判定所述当前帧与所述前一帧之间存在场景变化，否则判定所述当前帧与所述前一帧之间不存在场景变化。

7.根据权利要求5所述的立体匹配方法，其特征在于，更新所述视差空间图像的处理包括：

根据以下等式计算用于所述视差空间图像中的每个像素的更新系数：

其中，Δd表示预定的视差值变化范围，F_t(J，p)表示用于所述视差空间图像中的与任意一个视差值d相对应的匹配代价平面中的与所述像素p处于相同位置的像素的更新系数，d_t-1(q)表示所述前一帧的视差图中的处于所述运动搜索窗N(p)中的任意一个像素q的视差值，P_t(p，q)表示所述像素p与所述像素q之间的相似度；

利用计算得出的用于所述视差空间图像中的每个像素的更新系数对所述视差空间图像中的每个像素的匹配代价聚集值进行更新，以获取所述当前帧的更新后的视差空间图像：

${C^{\′}}_t(d,p)=\frac{C_t(d,p)}{1+{\mathrm{\μ}}_t{F}_t(d,p)}$

其中，μ_i是根据所述当前帧与所述前一帧之间的差异度量、以及所述前一帧与所述前一帧之前的一帧之间的差异度量计算得出的因数，C_t(J，p)表示所述视差空间图像中的与所述视差值d相对应的匹配代价平面中的与所述像素p处于相同位置的像素的匹配代价聚集值，C′_t(J，p)表示所述更新后的视差空间图像中的与所述视差值d相对应的匹配代价平面中的与所述像素p处于相同位置的像素的匹配代价聚集值。

8.一种立体匹配装置，包括：

场景变化检测单元，用于检测当前帧与前一帧之间是否存在场景变化；

空间图像更新单元，用于在所述当前帧与所述前一帧之间不存在场景变化的情况下，利用所述当前帧与所述前一帧之间的相似度、以及所述前一帧的视差图对所述当前帧的视差空间图像中的每个像素的匹配代价聚集值进行更新；以及

视差图像获取单元，用于利用所述当前帧的更新后的视差空间图像获取所述当前帧的视差图。

9.根据权利要求8所述的立体匹配装置，其特征在于，所述空间图像更新单元利用所述当前帧中的任意一个像素p与所述前一帧中的与所述像素p处于相同位置的像素周围的多个像素之间的相似度、以及所述前一帧的视差图，对所述视差空间图像中的任意一个匹配代价平面上的与所述像素p处于相同位置的像素的匹配代价聚集值进行更新。

10.根据权利要求9所述的立体匹配装置，其特征在于，所述前一帧的视差图被用来从所述前一帧中选择与所述像素p处于相同位置的像素周围的多个像素。

11.根据权利要求9所述的立体匹配装置，其特征在于，所述空间图像更新单元在对所述视差空间图像中的与任意一个视差值d相对应的匹配代价平面上的与所述像素p处于相同位置的像素的匹配代价聚集值进行更新时，利用根据所述前一帧的视差图、所述视差值d、以及预定的视差值变化范围从所述前一帧中选择与所述像素p处于相同位置的像素周围的多个像素。

12.根据权利要求9所述的立体匹配装置，其特征在于，所述空间图像更新单元根据以下等式获取所述当前帧中的所述像素p与所述前一帧中的与所述像素p处于相同位置的像素的运动搜索窗N(p)中的任意一个像素q之间的相似度：

$P_t(p,q)=\frac{e^{-B_t(p,q)}}{\underset{q\∈N\left(p\right)}{\mathrm{\Σ}}{e}^{-B_t(p,q)}}$

$B_t(p,q)=\underset{p_i\∈M\left(p\right),q_i\∈M\left(q\right)}{\mathrm{\Σ}}\left(\right||I_t\left(p_i\right)-I_{t-1}\left(q_i\right)||/3\×\mathrm{\α}+||\▿I_t\left(p_i\right)-\▿I_{t-1}\left(q_i\right)||/2\×(1-\mathrm{\α}))$

其中，P_t(p，q)表示所述像素p与所述像素q之间的相似度，B_t(p，q)表示所述像素p与所述像素q之间的块匹配度量，I_t(p_i)表示所述像素p的块匹配窗口M(p)中的任意一个像素p_i的像素值，I_t-1(q_i)表示所述前一帧中的与所述像素p处于相同位置的像素的运动搜索窗N(p)中的任意一个像素q的块匹配窗口M(q)中的任意一个像素q_i的像素值，

表示与所述当前帧相对应的灰度图像中的处于所述块匹配窗口M(p)中的任意一个像素p_i的灰度梯度值，

表示与所述前一帧相对应的灰度图像中的处于所述块匹配窗口M(q)中的任意一个像素q_i的灰度梯度值，α取值0.6。

13.根据权利要求8所述的立体匹配装置，其特征在于，所述场景变化检测单元通过以下处理检测所述当前帧与所述前一帧之间是否存在场景变化：

计算所述当前帧与所述前一帧之间的差异度量S_t；

计算所述前一帧与所述前一帧之前的一帧之间的差异度量S_t-1；以及

如果

大于预定阈值，则判定所述当前帧与所述前一帧之间存在场景变化，否则判定所述当前帧与所述前一帧之间不存在场景变化。

14.根据权利要求12所述的立体匹配装置，其特征在于，所述空间图像更新单元通过以下处理更新所述视差空间图像：

根据以下等式计算用于所述视差空间图像中的每个像素的更新系数：

其中，Δd表示预定的视差值变化范围，F_t(d，p)表示用于所述视差空间图像中的与任意一个视差值d相对应的匹配代价平面中的与所述像素p处于相同位置的像素的更新系数，d_t-1(q)表示所述前一帧的视差图中的处于所述运动搜索窗N(p)中的任意一个像素q的视差值，P_t(p，q)表示所述像素p与所述像素q之间的相似度；

利用计算得出的用于所述视差空间图像中的每个像素的更新系数对所述视差空间图像中的每个像素的匹配代价聚集值进行更新，以获取所述当前帧的更新后的视差空间图像：

${C^{\′}}_t(d,p)=\frac{C_t(d,p)}{1+{\mathrm{\μ}}_t{F}_t(d,p)}$

其中，μ_t是根据所述当前帧与所述前一帧之间的差异度量、以及所述前一帧与所述前一帧之前的一帧之间的差异度量计算得出的因数，C_t(J，p)表示所述视差空间图像中的与所述视差值d相对应的匹配代价平面中的与所述像素p处于相同位置的像素的匹配代价聚集值，C′_t(J，p)表示所述更新后的视差空间图像中的与所述视差值d相对应的匹配代价平面中的与所述像素p处于相同位置的像素的匹配代价聚集值。

Images