CN101347000A - 用于确定立体视觉中密集差异区的方法 - Google Patents

Abstract

在包括从不同的位置拍摄同一个场景的两个照相机(T1，T2)的立体视觉系统中，执行用于确定在由照相机拍摄的数字图像之间的密集差异区的方法，包括以下步骤：获取场景的第一和第二图像(IM1，IM2)，和对于第二图像的每个像素，确定从第一图像上的点到第二图像的这样的像素的、使得光流目标函数最小化的位移；其中光流目标函数包括，对于第二图像的每个像素，以单调增加的方式依赖于在与这样的像素有关的对极线和第一图像的以上的点之间的距离的项，这样的项取决于两个照相机的校准参数和根据校准数据的不确定性被加权。

Description

用于确定立体视觉中密集差异区的方法

技术领域

本发明总的涉及用于自动分析立体视觉(stereo vision)图像的方法，具体地涉及当已知几何对极几何(epipolar geometry)时，用于确定密集差异区(dense disparity field)的方法。

背景技术

当自动分析图像时经常要解决的问题是确定差异，其描述在用一个或多个照相机从不同的观看点获取的、显示同一个场景的两个帧之间存在的差别。差异代表在两个帧中同一个场景元素的位置的差别。有用来计算每个图像像素的差异的算法，以及还有限于它的子集--即相关特性组--的其它算法。在前一种情形下，这些被称为密集差异区，在后者的情形下，这些被称为稀疏差异区。本发明涉及第一种类别。

用于比较两个图像和确定在其中所包含的像素之间的对应关系的已知的技术是光流技术。现有技术提供通过考虑摄像机校准参数进行计算的这样的技术的各个版本。

US2003/0086590例如公开了一种通过考虑所谓的对极约束条件计算光流的技术，它假设施加光流两次：第一次以“稀疏”方式(即，仅仅用于图像像素组)，以便识别具有高信息内容的某些点的运动，因此计算几何对极几何的基本矩阵，而第二次以通过使用从这样的基本矩阵得到的对极约束条件的“密集”方式。实际上，在第二步骤中使用的各个对极线(epipolar line)是从基本矩阵得到的，它通过以下公式识别：

a_x，y(x-u_x，y)+b_x，y(y-v_x，y)+c_x，y＝0，

其中a_x，y，b_x，y，和c_x，y表示与在点(x，y)处计算的对极线有关的系数，u_x，y和v_x，y表示所考虑的点的运动的量。这样的公式是对于求解以下熟知的光流方程的约束条件：

I_xu+I_yv+I_t＝0

其中I_x，I_，y和I_t表示在所考虑的点处图像强度的空间-时间偏导数。这样，运动指向处在对极线上的位置。

US05764871公开了一种用于合成在立体视觉中的中间图像的方法。中间观看点是通过使用光流技术计算的。然而，运动限制于纯粹沿水平方向的平移运动，因此得到平行对极线。为了不失一般性，在获取的帧的垂直对准过程之前进行光流计算。

发明内容

本申请人看到，在前面引述的文件中描述的技术有问题，虽然在光流技术中几何对极几何施加的约束条件的引入允许改进在两个图像之间的差异区的计算。

具体地，这样的技术限制光流方程的解处在对极线上。这样的强加，在计算对极线时的误差的情形下，典型地由于照相机校准不精确，使得计算的解对于拍摄的场景不是最佳的。因此受限于对极线的估计会提供不可接受的解，尤其是当在帧中存在轮廓线和强的不连续性时。

本申请人发现，如果把可变影响分配给照相机校准，而不是把校准看作为绝对约束条件，则有可能改进提取的差异区的质量，这是因为有可能按志愿来影响处理过程，以便补偿系统校准误差。这是通过添加新的项到要被最小化的函数以便解决光流问题而得到的。在这样的修改后的光流目标函数中的附加项涉及到与照相机结构有关的几何。

实际上，在获取同一个场景的两个图像后，考虑到对于第二图像的每个像素，在第一图像上有相应的点(不一定是像素)(如果像素涉及到也是在第一图像中获取的场景的元素)，本发明的方法通过确定使得包括考虑对极约束条件的项的光流目标函数最小化的运动而允许计算在两个图像之间的差异区，即，从第一图像上的点到第二图像上的相关的像素的位移组。具体地，对于第二图像的每个像素，这样的项取决于在第一图像上的相应的点和与这样的像素有关的对极线之间的距离。更具体地，这样的项正比于在这样的点与这样的线之间的距离的平方。按照本发明的第一方面，所以，本发明涉及一种用于确定在数字图像中的密集差异区的方法，包括以下步骤：

·从与同一个场景有关的两个不同的位置，获取同一个场景的第一和第二图像；以及

·对于第二图像的每个像素，确定从第一图像上的点到第二图像的这样的像素的、使得光流目标函数最小化的运动；

其中光流目标函数包括，对于第二图像的每个像素，以单调增加的方式依赖于在与这样的像素有关的对极线和第一图像的以上的点之间的距离的项。

优选地，第一和第二图像分别通过第一和第二照相机被获取，以及以上的项取决于两个照相机的校准参数。可替换地，第一和第二图像可以由例如被安装在围绕场景本身旋转的平台上的、相对于要被拍摄的场景移动的、单个照相机获取。

以上的项可以根据照相机校准数据的不确定性而被加权。

而且，以上的项优选地正比于在与第二图像的以上的像素有关的对极线和在第一图像上的以上的点之间的距离的平方。

使得光流目标函数最小化的位移可以有可能代表剩余位移分量；在这种情形下，方法包括，在确定这样的剩余位移分量之前，确定剩余分量必须被加到的以前的位移分量的步骤。

以前的位移分量可以通过以下步骤被确定：

-识别第一图像中的特性；

-确定这样的特性在第二图像上的位移；

-在第二图像上内插这样的相关点的位移。

可替换地，以前的位移分量可以通过至少一次使得以上的光流目标函数最小化而被确定。所以，方法可包括用于使得这样的目标函数最小化的迭代过程。

按照另一个可能的替换例，第一和第二图像可包括至少一个具有较低分辨率的版本和具有较高分辨率的版本；在这种情形下，确定以前的位移分量的步骤包括使得用于具有较低分辨率的版本的光流目标函数最小化，和确定剩余位移分量的步骤包括使得用于具有较高分辨率的版本的光流目标函数最小化。

优选地，光流目标函数包括通过对于两个图像的亮度改变约束方程(BCCE)进行泰勒展开而得到的第一项。

而且，光流目标函数优选地包括通过强使以上的位移的空间分量的二阶导数接近零而得到的第二项。

本发明的技术例如可被使用于合成立体视觉的中间图像。

本发明还涉及立体视觉系统，包括至少一个照相机，优选地两个照相机，适于从两个不同的位置拍摄至少两个图像；以及处理单元，适于接收两个图像，这样的处理单元被配置成按照前面描述的方法处理这样的图像。

附图说明

下面参照显示本发明的非限制性实施例的公开附图描述本发明。具体地：

-图1示意地显示视频获取系统，该系统包括两个照相机和组成在本发明中描述的处理过程的块；以及

-图2示意地显示按照本发明的方法、为得到差异区而执行的处理流程。

具体实施方式

参照图1，S表示整体地，具有几个照相机的视频获取系统。具体地，系统S适于从同一个场景的不同的位置拍摄，和确定在由此获得的图像之间的密集差异区。

系统S包括第一照相机T₁和第二照相机T₂，适于生成同一个场景的各个数字图像(或帧)IM₁，IM₂。两个照相机T₁，T₂可以互相平行地或互相倾斜地朝向场景。

系统S还包括处理单元PU，被连接到两个照相机T₁，T₂，以及适于处理从两个照相机T₁，T₂接收的数字图像IM₁和IM₂，以便按照下面描述的方法得到密集差异区。而且，系统包括照相机校准模块CM，优选地在处理单元PU中或在分开的单元中(如在图1的例子中)存在的软件模块，适于给处理单元PU提供校准数据，以便使用于按照本发明的方法的处理。

在视频序列中，接连的帧常常是类似的，虽然由于场景的某些目标或照相机的运动，它们常常是不同的。在这些情形下，帧可以变形，以近似在以前的或以后的时刻的帧。这种观察是运动估计技术的基础。

相同的观察对于同时显示同一个场景和拍摄的一对帧是有效的。两个帧是类似的条件在于，两个照相机被放置成互相足够靠近，以及他们看见场景的相同的部分。

再次考虑以后的帧属于同一个视频序列的情形，熟知的、用于图像亮度改变的约束方程(“亮度改变约束方程”，BCCE)假设，在序列中的两个接连的帧，下面用g_t和g_t+δt表示，由于空间失真而是不同的。换句话说，有可能识别“运动区”u和v，其适于按以下的方式变换坐标：

g(x，y，t+δt)＝g(x-u(x，y)，y-v(x，y)，t)    (1)

相同的方程可被使用于从被安排在不同的位置处的两个照相机同时获取的帧，而不是被使用于由单个照相机拍摄的、在时间上以后的帧。在这种情形下，BCCE涉及帧g₁，g₂，并成为：

g₂(x，y)＝g₁(x-u(x，y)，y-v(x，y))    (2)

在本上下文中，运动区也称为“差异区”。按照BCCE，在两个帧之间出现改变，就象开始帧g₁被印在可变形的弹性的衣服上那样。所以，不预期图像元素出现和消失，而且也没有预见明亮改变。因此，BCCE是没有绝对有效性的近似。不管这一点，这些公式对于几个差异估计技术是基本的。例如，当差异区u和v在正方形或矩形区域内是恒定时，一种技术具有“块匹配”情形，这是在视频编码领域中广泛使用的技术。

通过使BCCE公式(1)的泰勒展开线性化，得到以下公式：

g_xu+g_yv＝-g_t，    (3)

其中g_x，g_，y和g_t分别为对于x，y和t的偏导数。在离散图像的实际情形下，偏导数g_x和g_，y根据相邻的像素的亮度差值进行计算，而时间导数可以用差值g_t＝g₂-g₁近似。

公式(3)是对于帧的每个像素定义的。有可能例如通过垂直堆叠组成它的各个列，排序列向量中的帧像素组。这样，有可能以矩阵形式排序公式(3)的组，把偏导数

和未知的差异区数值

和

放置在列向量中。用于线性BCCE项的公式因此变为：

$\left[\begin{array}{cc}\mathrm{diag}\left({\stackrel{\→}{g}}_x\right)& \mathrm{diag}\left({\stackrel{\→}{g}}_y\right)\end{array}\right]\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=-{\stackrel{\→}{g}}_t.---\left(4\right)$

在这样的表示式中，算子diag(·)把向量(帧)变换为在对角线上具有向量元素(帧像素)的矩阵。其它矩阵元素等于零。

如果简略地，包含两条对角线的矩阵用符号G表示，则得到以下的公式：

$G\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=-{\stackrel{\→}{g}}_t---\left(5\right)$

它的解是使得模值(norm)最小化的差异区 $\stackrel{\→}{p}=\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right],$ 其被表示为：

$\stackrel{\→}{p}={\arg \min }_{u,v}{\left|\right|G\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]+{\stackrel{\→}{g}}_t\left|\right|}^2---\left(6\right)$

由公式(6)表示的这个问题是不确定的，经典的补救办法是通过强使差异区u和v具有接近于零的它们的二阶导数而执行规则化(regularization)。为了做到这一点，加上以下的方程：

$u_{x^2}=0---\left(7\right)$

$u_{y^2}=0$

$v_{x^2}=0$

$v_{y^2}=0$

其中

表示两个差异区的二阶空间导数。这样的二阶导数可被表示为实现(或近似)它们的矩阵：

$D_{x^2}=\frac{{\∂}^2}{{\∂x}^2},$

$D_{y^2}=\frac{{\∂}^2}{{\∂y}^2}$

如果再次概略地，进行以下替换：

$H=\left[\begin{array}{cc}{D}_{x^2}& \\ D_{y^2}& \\ & D_{x^2}\\ & D_{y^2}\end{array}\right]$

则二阶导数接近于零的准则(7)被表示为：

$H\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=0---\left(8\right)$

方程(8)的解满足以下条件：

$\stackrel{\→}{p}={\arg \min }_{u,v}{\left|\right|H\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]\left|\right|}^2---\left(9\right)$

由公式(9)表示的准则可以通过把它与由公式(6)(从BCCE推导的)表示的准则相加而被组合。有可能关联公式(9)中的项相对于公式(6)中的项的相对重要性，把算子H乘以被称为规则化因子的因子λ。这样，差异区由以下方程的解给出：

$\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]={\arg \min }_{u,v}\{{\left|\right|G\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]+{\stackrel{\→}{g}}_t\left|\right|}^2+{\mathrm{\λ}}^2{\left|\right|H\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]\left|\right|}^2\}---\left(10\right)$

公式(10)中要被最小化的函数是光流目标函数。

必须指出，参数λ必须事先确定。有几种试探方法用于这一用途。简单的方法包含改变在某些测试中的数值，确定保证良好的结果和保证唯一解的一组数值。由于解相对于参数λ的变化的稳定性，这是可能的。

通过求解在光流系统中通过排序方程(6)和(9)而得到的线性方程组，可以找到方程(10)的解。

$\left[\begin{array}{c}G\\ \mathrm{\λH}\end{array}\right]\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=\left[\begin{array}{c}-{\stackrel{\→}{g}}_t\\ 0\end{array}\right]---\left(11\right)$

这个系统是超定的，通常它可以用最小平方近似求解。解被给出为：

$\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=-{(G^{T}G+{\mathrm{\λ}}^2{H}^{T}H)}^{-1}{G}^T{\stackrel{\→}{g}}_t---\left(12\right)$

通过考虑由两个照相机拍摄同一个场景，在由此拍摄的帧之间的关系通过几何对极几何被表示。在两个照片中可见的每个场景元素被投影在位置遵循简单的方程的二个帧中。这样的方程的系数被包含在由3x3元素组成的所谓的基本矩阵F中。基本矩阵描述在与同一个场景有关的两个图像之间，在几何对极几何方面，存在的关系，从而考虑描述视觉系统的参数(即，照相机特性和位置)。它可以通过照相机校准过程被计算。场景的同一个元素在各帧上被投影到两个像素中，它们可以在均匀坐标中按以下方式被表示：

$m_1=\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$

和

$m_2=\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]$

这样的坐标必须遵循方程：

$m_2^T{\mathrm{Fm}}_1=0---\left(13\right)$

所以，在给定两个帧的第一帧中的像素m₁后，第二帧中的像素m₂必须处在直线上，它的系数由乘积Fm₁确定。对称地，在给定第二帧中的像素m₂后，像素m₁必须处在其系数被包含在乘积m₂ ^TF中的直线上。这些直线被称为对极，以及以上的关系是完全由基本矩阵F表示的几何对极几何的表示式。

下面描述的技术允许计算描述在同一个场景的两个照片之间存在的差别的差异区，利用几何对极几何，由此改进可以得到的精度。然而，由于基本矩阵受到估计误差的影响，使用被包含在其中的信息作为绝对约束条件可能是不正确的，所以，本发明的技术以相对方式使用基本矩阵，从而把花费与由此代表的几何对极几何的偏差相联系。

本发明具体地允许从对极信息得到花费项。这样的项通过其它传统的光流项(在公式(10)中表示的)加入，由此修改目标函数。由于每个项的影响可以通过规则化因子被设置，对于与基本矩阵相关的相对值的要求被满足。

实际上，本发明的技术允许给出对于偏离对极几何的惩罚，然而不禁止这样的偏离。为此，必须考虑像素离直线的距离的表示式。直线可以通过以下向量被参数化：

$l=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$

这样，在直线上的任何点m＝[x y 1]^T遵循以下方程：

l^Tm＝ax+by+c＝0         (14)

因此，直线由以下的集组成：

L＝{m：l^Tm＝0}          (15)

一般的点w＝[x’y’1]^T离直线的距离等于：

$\mathrm{\ρ}(w,L)=\frac{{\mathrm{ax}}^{\′}+{\mathrm{by}}^{\′}+c}{\sqrt{a^2+b^2}}---\left(16\right)$

正如已阐述的，差异估值允许找出在两个帧中的点之间的对应关系。经典的光流方程提供可以容易地被最小化的准则，用于比较两个点的直接邻近和用于保持差异区平滑。几何对极几何提供可以作为补充加到光流目标函数的附加信息。

典型地，具有均匀坐标的每个像素z₂＝[x₂ y₂ 1]^T必须与在第一帧中的、最好地满足目标函数的像素(或更一般地，点)z₁＝[x₁ y₁ 1]^T相联系。这样的联系是指差异向量d＝z₂-z₁，它的两个分量是u和v。这里的主要关心点是像素z₁离与像素z₂相关的对极线的距离，被表示为z₁＝z₂-d。

代表在包含z₁的帧中的对极线的系数是：

$\left[\begin{array}{ccc}a& b& c\end{array}\right]=z_2^{T}F$

考虑公式(16)，点z₂-d离对极线的距离可被表示为：

$\mathrm{\ρ}(z_2-d,L)=\frac{a(x_2-u)+b(y_2-v)+c}{\sqrt{a^2+b^2}}---\left(17\right)$

其中

$z_2=\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]$

是开始点，

$d=\left[\begin{array}{c}u\\ v\\ 0\end{array}\right]$

是差异向量，以及

$\left[\begin{array}{ccc}a& b& c\end{array}\right]=z_2^{T}F$

是对极线的系数。

在z₂-d与对极线之间的距离将被称为对极误差。

为了把对极误差插入到光流方程中的规则化项中，必须把在所有的像素中的误差表示为差异区的线性函数。考虑表达式(17)中的所有的变量是坐标x，y的函数，得到以下公式：

$\mathrm{\ρ}(z(x,y)-d(x,y),L(x,y))=\frac{a(x,y)\·(x-u(x,y))+b(x,y)\·(y-v(x,y))+c(x,y)}{\sqrt{a{(x,y)}^2+b{(x,y)}^2}}---\left(18\right)$

差异区u，v可被排序为列向量，正如对于光流方程已完成的那样。其余的系数可以以相同的方式排序为：

$\stackrel{\→}{p}=\left[\begin{array}{c}\·\\ \·\\ \·\\ \frac{a(x,y)}{\sqrt{a{(x,y)}^2+b{(x,y)}^2}}\\ \·\\ \·\\ \·\end{array}\right],$

$\stackrel{\→}{q}=\left[\begin{array}{c}\·\\ \·\\ \·\\ \frac{b(x,y)}{\sqrt{a{(x,y)}^2+b{(x,y)}^2}}\\ \·\\ \·\\ \·\end{array}\right],$

以及

$\stackrel{\→}{r}=\left[\begin{array}{c}\·\\ \·\\ \·\\ \frac{a(x,y)x+b(x,y)y}{\sqrt{a{(x,y)}^2+b{(x,y)}^2}}\\ \·\\ \·\\ \·\end{array}\right],$

其中每个元素相应于具有唯一的坐标对x，y的像素。

这样，包含所有的像素的对极误差的向量变为

$\left[\begin{array}{c}\·\\ \·\\ \·\\ \mathrm{\ρ}(z(x,y)-d(x,y),L(x,y))\\ \·\\ \·\\ \·\end{array}\right]=\stackrel{\→}{r}-\left[\begin{array}{cc}\mathrm{diag}\left(\stackrel{\→}{p}\right)& \mathrm{diag}\left(\stackrel{\→}{q}\right)\end{array}\right]\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]---\left(19\right)$

通过把两个对角线的矩阵称为：

$E=\left[\begin{array}{cc}\mathrm{diag}\left(\stackrel{\→}{p}\right)& \mathrm{diag}\left(\stackrel{\→}{q}\right)\end{array}\right],$

有可能重写公式(19)的右面部分为

$\stackrel{\→}{r}-E\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]$

这个向量的模值提供通过施加差异区而得到的对极误差的测度。在本发明中，这个模值的平方被加到由公式(10)表示的光流目标函数，由此得到：

$\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]={\arg \min }_{u,v}\{{\left|\right|G\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]+{\stackrel{\→}{g}}_t\left|\right|}^2+{\mathrm{\λ}}^2{\left|\right|H\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]\left|\right|}^2+{\mathrm{\μ}}^2{\left|\right|E\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]-\stackrel{\→}{r}\left|\right|}^2\}.---\left(20\right)$

因子μ确定目标函数中对极误差的相对权因子。正如在其它规则化因子λ的情形下，μ也必须事先被确定。这个因子可以试探地确定，也取决于被分配给基本矩阵的可靠度。和值的新引入的第三项正比于在相关的点与对极线之间的距离的平方，由此随这样的距离单调增加。

为了解决最小化问题，该系数在系统中被排序，

$\left[\begin{array}{c}G\\ \mathrm{\λH}\\ \mathrm{\μE}\end{array}\right]\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=\left[\begin{array}{c}-{\stackrel{\→}{g}}_t\\ 0\\ \mathrm{\μ}\stackrel{\→}{r}\end{array}\right]---\left(21\right)$

这是因为模值

${\left|\right|\left[\begin{array}{c}G\\ \mathrm{\λH}\\ \mathrm{\μE}\end{array}\right]\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]-\left[\begin{array}{c}-{\stackrel{\→}{g}}_t\\ 0\\ \mathrm{\μ}\stackrel{\→}{r}\end{array}\right]\left|\right|}^2$

对于在公式(20)中被最小化的目标函数是相同的。按照本发明修改的光流方程的解(最好的近似)被给出为：

$\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]={(G^{T}G+{\mathrm{\λ}}^2{H}^{T}H+{\mathrm{\μ}}^2{E}^{T}E)}^{-1}({\mathrm{\μ}}^2{E}^T\stackrel{\→}{r}-G^T{\stackrel{\→}{g}}_t)---\left(22\right)$

以上修改的光流技术可被应用于其中使用光流和其中关于几何对极几何的信息是可得到的任何情况。因此，本发明的技术又可以在目的为改进可以通过光流，诸如，例如被称为“光流初始化”、“迭代解”和“多分辨率”得到的结果的过程中使用。

在所有的列出的过程中，光流从实际上是必须被改进的差异区的、以前的解开始被应用。

在初始化的情形下，可以利用通过与光流不同的方法产生的差异区。在已知的方法中，确定稀疏的差异区，即，识别特征点和在帧之间的它们的踪迹，正如例如在同一个申请人的专利申请05WO-IB003598中公开的。通过内插，从跟踪的点的运动，有可能构建密集区，即，对于每个像素规定的区。这样的区是最佳差异的粗近似，以及允许减小仍旧要通过光流被确定的差异的偏移。因此光流通过这样的密集区被初始化，以得到最后的差异区。

在迭代解的情形下，由光流生成的差异区被用作为以后的光流应用的初始化区。这个过程可以重复许多次直至满足中断准则为止，例如当最后的迭代时确定的增加区具有低于给定的阈值的能量时。

最后，在多分辨率的情形下，光流，从最小的尺寸开始，被分级施加到帧的缩减版本，正如例如在同一个申请人的专利申请05WO-IB002920中公开的。以一个分辨率估计的差异区被适当地放大，并被应用于以更高的分辨率初始化计算。

在所描述的三种情形的每种情形下，最终得到的区可以表示为两个区的和值。第一项是以前确定的区，而第二项是必须被计算的剩余部分。换句话说，对于(第二图像的)每个像素。有通过以上三种技术的一种技术得到的以前的差异分量，和通过使得如在公式(22)中描述的光流目标函数最小化而得到的剩余差异分量，然而，通过下面描述的修改方案被适当地调整。

以前确定的区可被表示为：

$\left[\begin{array}{c}{\stackrel{\→}{u}}_{\mathrm{pred}}\\ {\stackrel{\→}{v}}_{\mathrm{pred}}\end{array}\right]$

以及要通过光流计算的剩余部分可被表示为：

$\left[\begin{array}{c}\mathrm{\δ}\stackrel{\→}{u}\\ \mathrm{\δ}\stackrel{\→}{v}\end{array}\right]$

然后，结果可被表示为它们的和值：

$\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]=\left[\begin{array}{c}{\stackrel{\→}{u}}_{\mathrm{pred}}\\ {\stackrel{\→}{v}}_{\mathrm{pred}}\end{array}\right]+\left[\begin{array}{c}\mathrm{\δ}\stackrel{\→}{u}\\ \mathrm{\δ}\stackrel{\→}{v}\end{array}\right]---\left(23\right)$

通过把由此分解的差异区插入到用于对极误差的公式(17)中，对于各个像素得到以下结果：

$\mathrm{\ρ}(z_2-d,L)=\frac{a(x_2-u_{\mathrm{pred}}-\mathrm{\δu})+b(y_2-v_{\mathrm{pred}}-\mathrm{\δv})+c}{\sqrt{a^2+b^2}}---\left(24\right)$

这是指向量

的修改，它变为：

$\stackrel{\→}{r}=\left[\begin{array}{c}\·\\ \·\\ \·\\ \frac{a(x,y)(x-u_{\mathrm{pred}}(x,y))+b(x,y)(y-v_{\mathrm{pred}}(x,y))}{\sqrt{a{(x,y)}^2+b{(x,y)}^2}}\\ \·\\ \·\\ \·\end{array}\right]$

以及向量

的修改，它变为在帧g₂与通过使用图像变形算子M应用以前确定的区

而被修改的开始帧g₁之间的差值，

$M(g,\stackrel{\→}{u},\stackrel{\→}{v})(x,y)=g(x-u(x,y),y-v(x,y)),$

这样，

$g_t=g_2-M(g_1,{\stackrel{\→}{u}}_{\mathrm{pred}},{\stackrel{\→}{v}}_{\mathrm{pred}})---\left(25\right)$

算子M可以对于其坐标(x-u(x，y)，y-v(x，y))应当处在帧外面的像素使用适当的规则通过双线性，双立方或其它内插而被实现。在这种情形下，例如，算子可以提供最靠近规定的坐标和属于图像的像素的彩色。

目标函数的最小化由此产生剩余部分：

$\left[\begin{array}{c}\mathrm{\δ}\stackrel{\→}{u}\\ \mathrm{\δ}\stackrel{\→}{v}\end{array}\right]={(G^{T}G+{\mathrm{\λ}}^2{H}^{T}H+{\mathrm{\μ}}^2{E}^{T}E)}^{-1}({\mathrm{\μ}}^2{E}^T\stackrel{\→}{r}-G^T{\stackrel{\→}{g}}_t)---\left(26\right)$

在多分辨率计算的情形下，还必须调整基本矩阵适于不同的图像尺寸。如果尺寸随乘法因子s被改变，则基本矩阵必须按以下方式被修改：

$F\left(s\right)=\left[\begin{array}{ccc}{s}^2{F}_{11}& s^2{F}_{12}& s{F}_{13}\\ s^2{F}_{21}& s^2{F}_{22}& {\mathrm{sF}}_{23}\\ s{F}_{31}& {\mathrm{sF}}_{32}& F_{33}\end{array}\right]---\left(27\right)$

以及在规则化项中使用的系数a，b，c随之被修改。

下面参照图2的流程图概述用于计算差异区的步骤序列。将考虑新描述的一般情形，其中本发明的修改的光流技术被应用到通过不同的技术或通过相同的迭代的光流技术得到的以前的解(修改的光流技术的各个应用是这样的一般技术的微不足道的情形，因为它是与零(null)差异区的初始化一致的)。

处理过程从通过照相机T₁和T₂获取两个同时的帧g₁和g₂，根据用于照相机T₁和T₂的校准参数计算基本矩阵F，和确定(或获取)以前的差异区

$\left[\begin{array}{c}{\stackrel{\→}{u}}_{\mathrm{pred}}\\ {\stackrel{\→}{v}}_{\mathrm{pred}}\end{array}\right]$

开始(步骤100)。

校准参数(固有的参数，如焦距和投影中心，和非本征参数，如旋转-平移矩阵)在用于照相机T₁，T₂的校准过程中事先被计算。

然后通过应用区

和算子M，确定(步骤200)开始帧g₁的变形。

然后，过程提供(步骤300)按照公式(26)对于剩余差异区的计算

$\left[\begin{array}{c}\mathrm{\δ}\stackrel{\→}{u}\\ \mathrm{\δ}\stackrel{\→}{v}\end{array}\right]$

然后把以前的差异区和剩余的差异区的两个分量相加(步骤400)，以便得到总的差异区 $\left[\begin{array}{c}\stackrel{\→}{u}\\ \stackrel{\→}{v}\end{array}\right]$ 作为输出(步骤500)。

Claims (12)

1.一种用于确定在数字图像之间的密集差异区的方法，包括以下步骤：

·获取同一个场景的第一和第二图像，所述第一和第二图像是从与所述场景有关的两个不同的位置处获取的；

·对于第二图像的每个像素，确定从第一图像上的点到第二图像的所述像素的、使得光流目标函数最小化的差异；

其特征在于光流目标函数包括，对于第二图像的所述像素的每个像素，以单调增加的方式依赖于在与所述像素相关的对极线和第一图像的所述点之间的距离的项。

2.按照权利要求1的方法，其中所述第一和第二图像分别通过第一和第二照相机被获取，以及所述项取决于所述第一和第二照相机的校准参数。

3.按照权利要求2的方法，其中所述项根据照相机校准数据的不确定性被加权。

4.按照前述权利要求的任一项的方法，其中所述项正比于在与所述像素相关的对极线和第一图像的所述点之间的距离的平方。

5.按照前述权利要求的任一项的方法，其中使得光流目标函数最小化的所述差异代表剩余差异分量，以及该方法包括，在确定所述剩余差异分量之前，确定所述剩余分量被加到的以前的差异分量的步骤。

6.按照权利要求5的方法，其中确定所述以前的差异分量包括以下步骤：

-识别第一图像上的特征点；

-确定在第二图像上所述特征点的位移；

-在第二图像上内插所述特征点的位移。

7.按照权利要求5的方法，其中确定所述以前的差异分量包括至少一次使得所述光流目标函数最小化。

8.按照权利要求5的方法，其中所述第一和第二图像包括至少一个具有较低分辨率的版本和一个具有较高分辨率的版本，以及其中确定所述先前的差异分量包括使得用于具有较低分辨率的所述版本的所述光流目标函数最小化，和确定所述剩余差异分量包括使得用于具有较高分辨率的所述版本的所述光流目标函数最小化。

9.按照前述权利要求的任一项的方法，其中光流目标函数包括通过亮度改变约束方程(BCCE)的泰勒展开而得到的第一项。

10.按照前述权利要求的任一项的方法，其中光流目标函数包括通过强迫所述差异的空间分量的二阶导数接近零而得到的第二项。

11.一种立体视觉系统，包括至少一个照相机，适于从同一个场景的两个不同的位置拍摄至少两个图像，以及处理单元，适于接收两个图像，所述处理单元被配置成按照权利要求1到10的任一项处理这样的图像。

12.按照权利要求11的系统，包括被安排在不同的位置的两个照相机。

Images