CN1582460A

CN1582460A - 用于在外极约束下计算光流的方法

Info

Publication number: CN1582460A
Application number: CNA028218477A
Authority: CN
Inventors: M·特拉科维
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-11-05
Filing date: 2002-10-02
Publication date: 2005-02-16
Also published as: EP1444656A1; WO2003041015A1; KR20040060970A; US20030086590A1; US7031497B2

Abstract

通过稀疏光流计算来识别在一个图像序列内的图像之间的点匹配，以用于计算该外极几何的基本矩阵，接着使用该外极几何来导出用于为所述图像序列计算稠密光流的外极几何约束。该外极几何约束可以进一步与局部试探性限制或增强统计学方法结合。使用外极几何约束实现了计算光流中的精度和性能上的改善。

Description

用于在外极约束下计算光流的方法

背景技术

本发明一般涉及处理图像序列，以便进行内容的建模或对该图像序列内的场景的透视图进行修改，更具体说，本发明涉及通过以单独或与试探性约束相结合的方式，施加一个全局的、非试探性的几何约束来计算光流。

对于诸如在视频显示中存在的连续图像序列，光流是使一幅图像变形成另一幅(通常非常相似的)图像的速度场。光流是用下面著名的光流等式计算的：

I_xu+I_yv+I_t＝0 (1)式中，I_x，I_y和I_t表示在一个给定点A的图像密度(image intensity)(都是已知的)的空间-时间导数而(u，v)表示在同一点上跨越图像序列的(未知的)图像速度。由等式(1)定义的系统显然是非约束性的，因为需要至少一个以上的约束才能来唯一地求解出图像速度(u，v)。应该注意，等式(1)定义了(u，v)空间中的一条线，如图5A所示。

已经使用或建议了各种方法用来决定为获得方程(1)的系统的唯一解所需要的第二个约束。然而，用于引入该第二约束的许多不同方法的共同特征是该第二约束是局部的和试探性的。例如，一种技术假定图像速度(u，v)是局部均匀的，并且通过使在点A中的总误差为最小化来决定速度，所述最小化例如是通过求出使下述表达式为最小的图像速度(u，v)而实现的：

\underset{Ω}{Σ} {(I_{x} u + I_{y} v + I_{t})}^{2} - - (2)

式中，Ω表示一个区域，在该区域内图像速度假定为恒定的。这一(最小平方)最小化问题的几何解释示于图5B。基本上，矢量(u，v)作为一个距线I₁、I₂、I₃、…、I_n有最小总距离的点而被求出。

这一方法的主要缺点在于：(1)因为图像速度是要对每一点计算的，因此该方法计算量极大；和(2)如果图像速度或在顺序图像之间的变化很小的话(亦即I_x≈I_y≈0)，则图像速度要么不能决定，或者它对噪声非常灵敏。另外，在图像点(x，y)的附近存在强噪声和/或多重运动的情况下会出现特殊的问题，如图5C所示。

为克服这些缺点，称为“稀疏光流”计算的一类方法被引入。这种方法通常使用两个步骤执行：(1)在图像中找出具有高信息内容(通常在I_x，I_y中有高的变化)的点；和(2)通过使用在连续图像帧之间的点匹配从而在这些点处计算光流(这里术语“稀疏光流”和“点匹配”可以互换使用)。虽然这些方法比“稠密”光流方法更快和更可靠，但是其缺点在于：仅对少数点计算光流。

因此在本技术领域中需要一种能够组合稠密和稀疏光流的优点而不产生各自缺点的方法。

为克服上述现有技术中的缺点，本发明的主要目的是提供一种用于视频系统的、通过施加一个全局的、非试探性的几何约束来为图像序列计算光流的方法。通过稀疏光流计算来标识图像序列内的图像之间的点匹配，并且该点匹配被用于计算该外极(epipolar)几何的一个基本矩阵，该矩阵又被用来导出外极几何约束以便计算该图像序列的稠密光流。该外极几何约束可以进一步与局部的、试探性的约束或者增强的统计学方法结合。使用该外极几何约束可以在计算光流中实现精度和性能两者方面的改善。

上述内容已经相当概括地勾画出本发明的特征和技术优点，以便本技术领域的熟练人员可以更好地理解下面对本发明的详细说明。本发明的另外的特征和优点将在后面说明，它们形成了本发明的权利要求的主题。本技术领域的熟练人员将理解，它们可以容易地使用这里公开的概念和特定实施例作为基础，来修改和设计为执行本发明的同样目的的其它结构。本技术领域的熟练人员还认识到，这种等价的结构不离开本发明在其最宽的形式上的精神和范围。

在开始叙述下面的“具体实施方式”之前，叙述在该专利文件中通篇使用的一些词语或短语也许是有利的：术语“包括”和“由…组成”及其派生词意味着包括但不限制；术语“或”是包容性的，意味着和/或；短语“与…关联”和“与其关联”及其派生词可以意味着包括、被包括在…之内、与…互连、包含、被包含在…之内、与…联系、连接到、可与…联系的、与…合作、交织、并置、接近、与…结合、具有、具有…特性、等等；术语“控制器”意味着控制至少一种操作的任何设备、系统或其部分，而不管这种设备是以硬件、固件、软件或其至少两种的某些组合实现的。应该注意，与任何特定控制器关联的功能可以是集中的或者分散的，也不管是在本地还是在远程的。在该专利文件的通篇提供为一定词语和短语的定义，本技术领域的熟练人员将理解这种定义可以适用于这种定义的词语和短语的先前和将来的使用的许多情况，如果不是大多数情况的话。

附图说明

为更全面理解本发明及其优点，要结合附图并参考下面的说明，图中相似的号码指明相似的物体，其中：

图1表示根据本发明的一个实施例使用在外极几何约束下计算光流的方法的一个视频系统的方框图；

图2表示根据本发明的一个实施例在外极几何约束下计算光流中使用的图像数据；

图3表示在主题图像点(subject image point)附近存在强噪声和/或多重运动下使用根据本发明的一个实施例在外极几何约束下的增强的统计方法计算光流的几何表示；

图4是根据本发明的一个实施例在外极几何约束下计算光流的处理的高层流程图；

图5A到图5C是各种光流问题的几何解释；

图5D和图5E表示用于计算外极几何的模型。

具体实施方式

下面要讨论的图1到图4和在本专利文件中用于说明本发明的原理使用的各个实施例仅是为了说明，而不应该理解为以任何方式限制本发明的范围。本技术领域的熟练人员应理解，本发明的原理可以以任何适当安排的设备实现。

图1表示根据本发明的一个实施例使用在外极几何约束下计算光流的方法的一个视频系统的方框图。视频系统100包括视频接收机，它可以是计算机或其它数据处理系统；卫星、地面或者有线广播电视接收机；机顶盒；或视频游戏单元。视频接收机101具有一个输入102，用于接收图像序列，和一个可选的输出103，用于例如向显示器或记录设备传输处理后的图像数据。

在示范实施例中的视频接收机101包括一个为接收的图像序列计算光流的图像处理器104，这在下面将进一步详细说明。视频接收机101可以任选地包括存储器105和显示器106，所述存储器用于存储所接收的图像序列、所计算的光流信息或其它数据，所述显示器106用于显示使用计算的光流信息而修改的图像或图像序列。例如，视频处理器可用于下述操作：深度重构、本体建模、用于三维(3D)电视的图像变形，并且可以根据接收的图像序列产生改变过的图像序列，以便从不同的视角显示一个场景。

本技术领域的熟练人员将会看出，视频接收机的完整的结构和操作不在这里表示或说明。而代之为只在附图中显示和说明视频接收机中对本发明是独特的或为理解本发明所必须的结构和操作。虽然在本发明中视频接收机要为接收的图像序列计算光流信息(这在下面将进一步详细说明)，合适的视频接收机的其余的结构和操作可以是常规的。

图2表示根据本发明的一个实施例在外极几何约束下计算光流中使用的图像数据。在根据本发明的计算光流中，视频接收机101接收图像序列200，并且或者接收或者计算(通过使用例如图像处理器104)在该图像序列内的图像之间相应的图像像素的点匹配的表格201。

在本发明中，对于接收的图像序列200的光流是通过首先执行上述稀疏光流计算而计算的。也就是说，带有最丰富的信息内容(例如在I_x、I_y处，诸如各个拐角，有急剧变化)的图像(或多个图像)中的点被识别，并在该序列内的图像之间进行匹配。然后这些被识别的点匹配被用来计算用基本矩阵F描述的有关连续帧之间的视图的外极几何。通常至少需要7个点匹配来计算有关该图像序列中的两幅图像之内所有像素的基本矩阵F。

在计算基本矩阵时，对于第一视图/帧使用图5D所示针孔摄影机模型以便定义在一个图像点m在摄影机参考帧内的位置(x，y，和z，其中z是光轴)，所述图像点m表示一条包含三维世界点(threedimensional world point)W和摄影机的光学中心C的线与一个图像平面R的交点。如图5E所示，外极(epipole)e是表示第二视图/帧的一个类似的针孔摄影机的光学中心C’在第一摄影机或视图/帧的图像平面R上的投影，而e’类似地是光学中心C在第二摄影机或视图/帧的图像平面R’上的投影。图像点m(由坐标x，y定义)和m’(由坐标x’，y’定义)分别表示世界点W对图像平面R和R’的投影，这两个图像点组成一个共轭对，并可以按照现有技术根据至少7个图像点匹配来计算关于这种共轭对的基本矩阵。(例如参见R.Hartley & A.Zisserman的“Epipolar Geometry and the Fundamental Matrix(外极几何学与基本矩阵)”，Multiple View Geometry in ComputerVision(计算机视觉中的多视图几何学)第219-242页(剑桥大学出版社，2000)，在此引用作为参考)另外，外极e和e’以及图像点m形成一个平面，它与图像平面R的交线是外极线L，相似地，外极e和e’与图像点m’形成一个平面，它与图像平面R’的交线是外极线L’。

返回来参考图2，基本矩阵F对点匹配(x，y)和(x’，y’)施加一个全局约束，用下式表示：

[\begin{matrix} x & y & 1 \end{matrix}] F [\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = 0 - - - - (3)

这一约束的几何解释是：对在坐标(x，y)的点的点匹配(x’，y’)必须位于外极线L’上。通过代入x’＝x+u和y＝y’+v，等式(3)可以写为：

a_x，yu+b_x，yv+c_x，y＝0 (4)式中，a_x，y、b_x，y和c_x，y(或者可选地只用a、b和c)从基本矩阵F和点坐标(x，y)获得。因此可以从等式(1)和(4)的组合计算光流。因为这两个等式都是线性的，因此光流可以完全被决定。因此使用等式(4)的外极几何约束结合基本光流等式(1)可以容易地计算稠密光流(亦即在两个图像中的至少一个之内的每一像素位置的光流)。

另外，可以使用由等式(4)定义的外极几何约束通过任何已知的方法来改善光流的计算，所述方法包括例如上述的最小化方法。将等式(2)和(4)组合起来，可以通过u最小化下列表达式来计算光流：

\underset{x, y &Element; Ω}{Σ} {(({bI}_{x} - a I_{y}) u + c I_{y} - b I_{t})}^{2}

然后求出v：

v = \frac{c - au}{b}

外极几何约束的另一个有用性的例子涉及使用增强统计学的光流计算。返回来参考示于图5A到图5C的等式(1)和(2)的几何解释，在点(x，y)附近存在强噪声和/或多重运动所产生的问题妨碍了有效使用最小平方最小化方法来获得运动矢量(u，v)。需要增强统计学方法，诸如最小平方中值(LMeS)、随机采样一致性(RANdom SampleConsensus：RANSAC)等。然而，这种增强统计学方法通常在搜索空间的尺度上是指数型的，因此对于搜索空间尺度大于1的情况不容易实现。光流计算包括的搜索空间的尺度为2，亦即u和v。

图3表示在主题图像点的附近存在强噪声和/或多重运动的场合根据本发明的一个实施例在外极几何约束下使用增强统计学方法的光流计算的几何解释。通过施加等式(4)的外极几何约束，通过在光流约束线I₁、I₂、I₃、…、I_n和由等式(4)定义的外极线之间的交点来决定光流矢量(u，v)。因此，通过使用诸如最小平方中值等增强统计学方法通过下面的步骤可以容易地决定光流：(1)为每一线I_i求出相应的线与外极线e的交点(u_i，v_i)；求出对于该光流矢量(当最小平方中值的

\underset{i = 1, . . ., n}{u = median} (u_{i})

)的水平(或垂直，或任何其它参数化表示)分量；然后求出该光流矢量的垂直分量，为：

v = \frac{c - au}{b} .

上述讨论假定，图像内的物体没有发生相对于参考的图像帧的运动，并且运动仅由摄影机或视图的运动所引起。然而，如果图像包含运动的物体(可以假定尽管有该运动，但计算的基本矩阵的有效性仍是精确的，如果该图像是由对于该运动物体的静止背景所支配的话，因为在这种场合下可以使用现有技术中公知的增强统计学方法)，则可以评估根据导出的光流应该匹配的各像素的相似性，和给每一像素分配一个信赖度。在这种场合与运动物体关联的像素将接收到低的信赖度，而与背景相关的像素将收到高的信赖度。然后可以舍弃具有高信赖度的像素，并且使用剩余的像素(假定与运动物体相关)计算单独的几何以便来计算这些像素的稠密光流。

图4是用于根据本发明的一个实施例在外极几何约束下计算光流的处理的高层流程图。该处理400从接收需要其光流信息的图像序列开始(步骤401)。首先使用稀疏光流计算来计算在该图像序列内的图像之间的点匹配(步骤402)，并且将点匹配用于决定在该图像序列内的图像之间相关性的基本矩阵(步骤403)。

接着使用该基本矩阵导出用于光流计算的外极几何约束，并在该外极几何约束下为至少一个图像内的每一像素计算光流(步骤404)。在该外极几何约束下的光流的计算也可以包括使用局部的试探性约束，诸如最小平方最小化或增强统计学方法。然后该处理成为空运行(步骤405)，直到接收到用于计算光流信息的另一个图像序列。

本发明通过在基本光流等式上施加一个从用于基础图像序列的外极几何导出的全局的、非试探性的几何约束来计算光流。该外极几何约束可以与试探性约束结合。无论在哪种情况，在光流矢量的计算中都可以得到精度和性能的改善。

重要的是要注意，虽然本发明是在全功能系统的环境中说明的，但是本技术领域的熟练人员将理解，本发明机理的至少一部分可以以包含各种形式的指令的机器可用介质的形式来配置(distribute)，且本发明不管用于实际执行这种配置的信号承载介质是何种特定类型都同样适用。机器可用介质的例子包括：非易失、硬编码类型介质(诸如只读存储器(ROM)或可擦可电编程只读存储器(EEPROM))、可记录型介质诸如软盘、硬盘驱动器和光盘只读存储器(CD-ROM)或数字通用盘(DVD)，以及传输型介质诸如数字和模拟通信链路。

虽然详细说明了本发明，但是本技术领域的熟练人员将理解，对这里公开的本发明可以进行各种改变、替换、变化、增强、细微差别、分级、较少的形式、修改、修订、改进和删减而不离开本发明在其最宽的形式上的精神和范围。

Claims

1.一种用于计算在图像序列(200)内的图像之间的光流的系统(100)，包括：

处理图像序列(200)的图像处理器(104)，其中，该图像处理器(104)用于：

从图像之间的点匹配(201)导出图像的外极几何；和

在从该外极几何导出的约束下计算至少一个图像中的每一像素计算光流。

2.根据权利要求1的系统(100)，其中，图像处理器(104)在导出图像的外极几何中计算图像之间的稀疏光流(201)。

3.根据权利要求1的系统(100)，其中，图像处理器(104)在计算至少一个图像中的每一像素的光流中，使用从图像之间的基本矩阵导出的约束。

4.根据权利要求1的系统(100)，其中，图像处理器(104)使用从外极几何导出的约束，结合最小平方最小化来计算至少一个图像中的每一像素的光流。

5.根据权利要求1的系统(100)，其中，图像处理器(104)使用从外极几何导出的约束，结合增强统计学方法来计算至少一个图像中的每一像素的光流。

6.根据权利要求1的系统(100)，其中，图像处理器(104)根据I_xu+I_yv+I_t＝0和a_x，yu+b_x，yv+c_x，y＝0来计算至少一个图像中的每一像素的光流u、v，式中I_x、I_y、和I_t分别是在至少一个图像中的每一像素处的图像密度的已知空间-时间导数，a_x，y、b_x，y、和c_x，y是从图像之间的基本矩阵F导出的。

7.根据权利要求1的系统(100)，其中，图像处理器(104)计算图像之间的稠密光流。

8.一种系统(100)，用于计算在一个图像序列(200)内的图像之间的光流，包括：

视频接收机(101)，它包括用于接收图像序列(200)的输入端(102)；

在视频系统(101)内用于处理图像序列(200)的图像处理器(104)，其中，该图像处理器(104)用于：

从图像之间的点匹配(201)导出图像的外极几何；

在从该外极几何导出的约束下，计算至少一个图像中的每一像素的光流。

9.根据权利要求8的系统(100)，其中，图像处理器(104)在导出图像的外极几何中计算图像之间的稀疏光流(201)。

10.根据权利要求8的系统(100)，其中，图像处理器(104)在计算至少一个图像中的每一像素的光流中，使用从图像之间的基本矩阵导出的约束。

11.根据权利要求8的系统(100)，其中，图像处理器(104)使用从外极几何导出的约束，结合最小平方最小来计算至少一个图像中的每一像素的光流。

12.根据权利要求8的系统(100)，其中，图像处理器(104)使用从外极几何导出的约束，结合增强统计学方法来计算至少一个图像中的每一像素的光流。

13.根据权利要求8的系统(100)，其中，图像处理器(104)根据I_xu+I_yv+I_t＝0和a_x，yu+b_x，yv+c_x，y＝0来计算至少一个图像中的每一像素的光流u、v，式中I_x、I_y、和I_t分别是在至少一个图像中的每一像素处的图像密度的已知空间-时间导数，a_x，y、b_x，y、和c_x，y是从图像之间的基本矩阵F导出的。

14.根据权利要求8的系统(100)，其中，图像处理器(104)计算图像之间的稠密光流。

15.一种用于计算在图像序列(200)内的图像之间的光流的方法，包括：

从图像之间的点匹配(201)导出为图像的外极几何；和

在从该外极几何导出的约束下为在至少一个图像中的每一像素计算光流。