CN101401127A - 用于运动分析的系统 - Google Patents

Abstract

一种计算机系统，用于运动矢量的实时确定，包括：图像处理器，其将图像处理滤波器用于第一图像帧的归一化帧要素，产生经滤波的帧要素，其具有相关的经滤波的像素值；像素选择器，其从经滤波的帧要素之中选择具有经滤波的像素值中的最高值的第一参考像素；光流模块，其确定在第一参考像素位置上应用的第一光流；模式匹配模块，其在所述归一化帧要素和第二图像帧的归一化帧要素中的归一化像素值之间执行模式匹配，产生多个模式匹配得分；以及运动矢量确定器，基于模式匹配得分中的最低得分来确定运动矢量。还说明了相关的设备和方法。

Description

用于运动分析的系统

技术领域

本发明涉及成像在视频图像帧的流中的物体的运动矢量的高效计算。

背景技术

通常用专用硬件，或者用需要强化处理的软件来执行成像在视频图像帧的流中的物体的运动矢量的实时计算。

现有技术的运动场估计很大程度上专门用于特定应用的硬件，这些特定应用例如流体度量和目标跟踪。这些应用通常需要昂贵的设备或精确的估计。当前没有产品实现了光流概念的“轻型”实时实施。

使用相连的相机和运动检测以便提供交互式游戏的系统例如是SonyPlaystation

。Sony产品称为EyeToy^TM，在名称EyeToy^TM上的其它变化例如EyeToy：Play 2^TM。可以在万维网(World Wide Web)的www.us.playstation.com/pressreleases.aspx?id＝283上找到对Sony EyeToy^TM的实例参考文件。

以下参考也被认为是代表了现有技术：

Iu等人的美国专利6,658,059；

Griessl等人的美国专利6,370,196；

Konolige的美国公开专利申请2005/0100207；

SRI Iternational的PCT公开专利申请WO98/03021；

Dynapel Systems Inc.的PCT公开专利申请WO01/96982；

Queen Mary & Westfield College的PCT公开专利申请WO05/006762；

Sony Corporation的欧洲专利申请No.EP 0 557 007；和

GMD-Forschungszentrum Informationstechnik Gmbh的欧洲专利EP0 966727。

上述全部参考文件的公开内容及本说明书的全文，以及在这些参考文件中提及的全部参考文件的公开内容由此合并于此作为参考。

发明内容

本发明设法提供一种改进的系统和方法，用于实时确定成像在视频图像帧的流中的物体的运动矢量。

在本发明的优选实施例中，本发明使应用程序以高效计算方式来确定物体的运动矢量。为了实时的执行计算，在相对弱的CPU型机顶盒上利用了光学原理、模式匹配和物体运动的随机情况之间的结合。

通过以原始方式结合不同的计算方法、收敛于实时执行的运动矢量的估计值，在低成本硬件上，例如具有标准处理器的机顶盒上，简化了运动矢量的确定。

研发了本发明的优选实施例，用于在命名为“PILOTIME”的机顶盒上运行。可以从法国的THOMSON，46 quai Alphonse Le Gallo，92100Boulogne-Billancourt商业购买到该“PILOTIME”机顶盒。在PILOTIME机顶盒上的实现展示了在相对常用、相对便宜的设备上的光流概念的实时实施。

根据本发明的优选实施例，按如下确定运动矢量：

首先，选择在第一图像帧中的区域，这个区域优选地包括运动的物体。将该区域再分为块，其在此称为帧要素(frame element)。所述帧要素包括具有相关像素值的多个像素。在每一个帧要素中，优选地相对于每一个帧要素来归一化像素值，以避免在第一图像帧中的亮度变化影响。

注意到，为第一图像中的每一个帧要素分别确定运动矢量。为描绘运动物体的帧要素确定的运动矢量优选地会基本上等于物体的运动矢量，而没有描绘运动物体的帧要素优选地会具有背景的运动矢量。

其次，通常在每一个归一化帧要素中选择一个或多个参考像素。

第三，为每一个参考像素计算光流，产生光流线和与光流线有关的误差范围。光流线和误差范围定义了一区域。

第四，第一图像帧的每一个归一化帧要素都执行模式匹配步骤，模式匹配是在第一图像帧的归一化帧要素与第二(通常是之后紧接着的)图像帧的归一化测试帧要素之间进行的。优选地，将归一化测试帧要素相对于第一图像帧的归一化帧要素的位移限制为在上述的区域内。模式匹配的结果是模式匹配得分和位移矢量，它们与测试帧要素的相应位移相关联。

选择最低模式匹配得分，其与具有最佳配合的位移相对应，使用该相应的位移矢量来计算物体的运动矢量，从而确定运动矢量。

在本发明的优选实施例中，本发明通常使用对二次方程的逼近，以便简化计算。

在本发明的优选实施例中，本发明的典型用途是实时估计在由连接到机顶盒的网络摄像机产生的景象中的物体的运动矢量，例如但不限于：增强交互式游戏应用程序，诸如Pong-Classic和Arkanoid之类的游戏。

本发明的优选实施例能够用低成本的硬件为有关运动的、娱乐性教育和健康的游戏应用实现以高端特征来丰富用户-STB交互。

在本说明书和权利要求书全文中交替使用了所有语法形式的术语“图像”和“数字图像”及其相应的语法形式。

由此，提供了根据本发明优选实施例，一种计算机系统，用于实时确定在视频图像帧的流中的图像帧内的帧要素的运动矢量，所述流至少包括第一图像帧和第二图像帧，所述系统包括多个可操作地相连的元件，包括：图像流接收器，其接收所述图像帧的流；图像分解器，其将每一个所述图像帧分解为多个帧要素，每一个所述帧要素都包括多个像素和多个相关的像素值；图像归一化器，其归一化每一个所述图像帧的帧要素中的像素值，从而产生多个归一化帧要素，所述归一化帧要素具有多个相关的归一化像素值；图像处理器，其将图像处理滤波器应用于所述第一图像帧中的一个归一化帧要素，产生经滤波的帧要素，所述经滤波的帧要素具有多个相关的经滤波的像素值；像素选择器，其从所述经滤波的帧要素中选择第一参考像素，以使得该第一参考像素具有所述经滤波的像素值之中的最高值；光流模块，其基于在所述第一参考像素的位置上应用的光流方程，来确定第一光流；模式匹配模块，其在以下所述第一图像帧的所述一个归一化帧要素与所述第二图像帧的作为测试帧要素的归一化帧要素中的归一化像素值之间执行模式匹配，产生多个模式匹配得分，每一个所述测试帧要素都具有一个所述模式匹配得分，其中，执行所述模式匹配，以使得对于每一个所述测试帧要素，在所述一个归一化帧要素的位置与所述一个测试帧要素的位置之间的位移矢量受限于一区域，该区域至少部分地基于所述第一光流；以及运动矢量确定器，其至少部分地基于与所述测试帧要素之中具有所述模式匹配得分中最低得分的测试帧要素相关的位移矢量，来确定运动矢量。

此外，根据本发明的优选实施例，所述视频图像帧的流是彩色图像帧的流，且对于每一个所述像素，相关的一个所述像素值是与所述一个像素相关的亮度分量的值。

再此外，根据本发明的优选实施例，所述图像处理滤波器是对比度增强滤波器。

另外，根据本发明的优选实施例，所述对比度增强滤波器是Sobel滤波器。

而且，根据本发明的优选实施例，所述模式匹配模块基于在所述一个归一化帧要素的归一化像素值与所述一个测试帧要素的相应归一化像素值之间的差值的绝对值之和，来计算所述模式匹配得分。

此外，根据本发明的优选实施例，所述模式匹配模块将所述区域定义为由第一线和第二线来限定，以便：所述第一线与所述第二线在一交点相交；第三线平分在所述第一线与所述第二线之间的角；所述第三线的方向至少部分地基于所述第一光流的方向；并且所述第三线和所述第一线包夹着角度ε。

再此外，根据本发明的优选实施例，所述模式匹配模块独立于所述第一光流来确定所述角度ε。

另外，根据本发明的优选实施例，所述像素选择器进一步从所述经滤波的帧要素中选择第二参考像素；所述光流模块进一步基于在所述第二参考像素的位置上应用的所述光流方程来确定第二光流；并且所述模式匹配模块用于执行一致性检查，该一致性检查包括：检查在所述第二光流与所述第三线之间的角度差小于或等于所述角度ε。

而且，根据本发明的优选实施例，所述像素选择器进一步从所述经滤波的帧要素中选择第二参考像素，以使得所述第二参考像素具有所述经滤波的像素值之中的第二最高值，并且其中，所述光流模块进一步基于在所述第二参考像素的位置上应用的所述光流方程来确定第二光流。

此外，根据本发明的优选实施例，所述模式匹配模块基于在所述第一光流与所述第二光流之间的角度差来确定所述角度ε。

再此外，根据本发明的优选实施例，所述像素选择器进一步从所述经滤波的帧要素之中选择第三参考像素，以使得所述第三参考像素具有所述经滤波的像素值之中的第三最高值，并且其中，所述光流模块进一步基于在所述第三参考像素的位置上应用的所述光流方程来确定第三光流。

另外，根据本发明的优选实施例，所述模式匹配模块至少部分地基于在确定所述第一图像帧的先前的归一化帧要素的运动矢量时使用的角ε的值，来确定所述角度ε。

而且，根据本发明的优选实施例，所述模式匹配模块用于执行一致性检查，该一致性检查包括：检查在所述第三光流与所述第一光流之间的角度差小于或等于所述角度ε。

此外，根据本发明的优选实施例，所述模式匹配模块限制所述区域，以使得在所述交点与所述区域内的任何位置之间的距离都小于一最大值。

再此外，根据本发明的优选实施例，所述最大值是图像帧的最小尺度的四分之一。

另外，根据本发明的优选实施例，包括：通过将最大物理速度转换为相应的位移来确定所述最大值，所述转换至少部分地基于所述视频图像帧的流的帧速率和至少一个光学特性。

而且，根据本发明的优选实施例，所述模式匹配模块基于所述第一图像帧的先前的帧要素的最大值和所述第一图像帧的该先前帧要素的运动矢量，来确定所述最大值。

此外，根据本发明的优选实施例，所述模式匹配模块将距离计算为水平位移的绝对值与垂直位移的绝对值之和。

再此外，根据本发明的优选实施例，如果所述模式匹配得分中的最低得分大于第一目标得分，则所述运动矢量确定器就确定所述运动矢量具有0量值。

另外，根据本发明的优选实施例，一旦产生了小于第二目标得分的模式匹配得分，所述模式匹配模块就停止模式匹配。

而且，根据本发明的优选实施例，所述模式匹配模块将所述第二目标得分确定为所述第一图像帧的所述一个归一化帧要素之中的像素值的平均值的5％。

此外，根据本发明的优选实施例，所述位移矢量包含开头和结尾，所述位移矢量的开头在所述交点处，并且所述模式匹配模块在所述位移矢量的结尾在所述交点处的情况下执行与第一个所述测试帧要素的第一模式匹配；并且通过使所述位移矢量的结尾扫描通过所述区域，来执行与其它测试帧要素的其它模式匹配。

根据本发明的另一个优选实施例还提供了一种方法，用于由处理器实时确定在视频图像帧的流中的图像帧内的帧要素的运动矢量，所述流至少包括第一图像帧和第二图像帧，该方法包括：接收所述图像帧的流；将每一个所述图像帧分解为多个帧要素，每一个所述帧要素都包括多个像素和多个相关的像素值；归一化每一个所述图像帧的帧要素中的像素值，从而产生多个归一化帧要素，所述归一化帧要素具有多个相关的归一化像素值；将图像处理滤波器用于所述第一图像帧的一个所述归一化帧要素，产生经滤波的帧要素，所述经滤波的帧要素具有多个相关的经滤波的像素值；从所述经滤波的帧要素中选择第一参考像素，以使得该第一参考像素具有所述经滤波的像素值之中的最高值；基于在所述第一参考像素的位置上应用的光流方程，确定第一光流；在所述第一图像帧的所述一个归一化帧要素与所述第二图像帧的作为测试帧要素的归一化帧要素中的归一化像素值之间执行模式匹配，产生多个模式匹配得分，每一个所述测试帧要素都具有一个模式匹配得分，其中，执行所述模式匹配，以使得对于每一个所述测试帧要素，在所述一个归一化帧要素的位置与所述一个测试帧要素的位置之间的位移矢量受限于一区域，该区域至少部分地基于所述第一光流；并且至少部分地基于与所述测试帧要素之中具有所述模式匹配得分中最低得分的测试帧要素相关的位移矢量，来确定运动矢量。

此外，根据本发明的优选实施例，所述模式匹配包括：基于在所述一个归一化帧要素的归一化像素值与所述一个测试帧要素的相应归一化像素值之间的差值的绝对值之和，来计算所述模式匹配得分。

再此外，根据本发明的优选实施例，所述区域由第一线和第二线来限定，所述第一线与所述第二线在一交点相交；第三线平分在所述第一线与所述第二线之间的角；所述第三线的方向至少部分地基于所述第一光流的方向；所述第三线和所述第一线包夹着角度ε。

另外，根据本发明的优选实施例，包括：从所述经滤波的帧要素中选择第二参考像素；基于在所述第二参考像素的位置上应用的所述光流方程，确定第二光流；并且执行一致性检查，该一致性检查包括：检查在所述第二光流与所述第三线之间的角度差小于或等于所述角度ε。

而且，根据本发明的优选实施例，包括：从所述经滤波的帧要素中选择第二参考像素，以使得所述第二参考像素具有所述经滤波的像素值之中的第二最高值；基于在所述第二参考像素的位置上应用的所述光流方程，确定第二光流；从所述经滤波的帧要素中选择第三参考像素，以使得所述第三参考像素具有所述经滤波的像素值之中的第三最高值；基于在所述第三参考像素的位置上应用的所述光流方程，确定第三光流；并且执行一致性检查，该一致性检查包括：检查在所述第三光流与所述第一光流之间的角度差小于或等于所述角度ε。

此外，根据本发明的优选实施例，包括限制所述区域，以使得在所述交点与所述区域内的任何位置之间的距离都小于一最大值。

再此外，根据本发明的优选实施例，包括将所述距离计算为水平位移的绝对值与垂直位移的绝对值之和。

另外，根据本发明的优选实施例，包括如果所述模式匹配得分的最低得分大于第一目标得分，则将所述运动矢量确定为具有0量值。

而且，根据本发明的优选实施例，一旦产生小于第二目标得分的模式匹配得分，所述模式匹配就停止。

此外，根据本发明的优选实施例，所述位移矢量包含开头和结尾，所述位移矢量的开头在所述交点处，并且：在所述位移矢量的结尾在所述交点处的情况下执行与第一个所述测试帧要素的第一模式匹配；并且通过使所述位移矢量的结尾扫描通过所述区域，来执行与其它测试帧要素的其它模式匹配。

附图说明

由以下结合附图的详细说明，会更充分的明白和理解本发明，其中：

图1是根据本发明的优选实施例构建及操作的系统的简化图示说明；

图2A是描绘运动物体的图像的简化图示说明；

图2B是描绘图2A的运动物体和由图1的系统确定的该运动物体的运动矢量的图像的简化图示说明；

图3是图1的系统的优选操作方法的简化流程图说明；

图4是由图1的系统所选择的多个参考像素的简化图示说明；

图5是由图1的系统产生的多个光流线的简化图示说明；

图6是第一图像帧的归一化帧要素，第二图像帧的位移的归一化测试帧要素，及对于由图1的系统所用的位移的扫描模式的简化图示说明；

图7A和7B是在限制图1的系统所用的扫描模式时所使用的线的简化的图示说明；及

图8A-8C是由图1的系统执行的、在不同位移上的模式匹配的简化图示说明。

具体实施方式

现在参考图1，它是根据本发明的优选实施例构建及操作的系统10的简化图示说明。

图1以典型实例设定描绘了系统10。优选地在机顶盒15内实现系统10。机顶盒15通常可操作地连接到视频显示器20，例如但不限于，电视显示器。机顶盒15优选地可操作地连接到网络摄像机25。然而，本领域普通技术人员会意识到可以将机顶盒15连接到任何适合的数字视频源，例如但不限于，广播节目，视频图像帧流的点对点传输，及记录的回放。在图1的实例中，布置了网络摄像机25来提供抛接运动物体120的人110的视频图像帧的流。

系统10优选地包括以下功能模块：

图像流接收器30，优选地用于从数字视频源接收视频图像帧的流；

图像分解器35，通常用于将从图像流接收器30接收的图像分解为N个像素乘以N个像素的子图像，也称为帧要素(frame element)；

归一化器40，通常用于归一化由图像分解器35产生的帧要素，如以下参考图3更详细说明的；

图像滤波器45，优选地用于将图像处理滤波器应用于由归一化器40产生的归一化的帧要素，如以下参考图3更详细说明的；

像素选择器55，通常用于基于由图像滤波器45产生的经滤波的帧要素选择作为参考像素或“所关注的位置”的像素，如以下参考图3和图4更详细说明的；

光流模块60，通常用于为由像素选择器55选择的参考像素中的至少一部分像素计算光流，如以下参考图3和图5更详细说明的；

模式匹配模块62，优选地用于在第一图像帧的归一化的帧要素与第二图像帧的归一化的测试帧要素之间执行模式匹配，产生模式匹配得分，如以下参考图3、6、7A-7B和8A-8C更详细说明的；及

运动矢量确定器65，通常用于基于来自模式匹配模块62的模式匹配得分来确定运动矢量。

现在参考图2A和2B。图2A是描绘运动物体120的图像帧200的简化图示说明。图2B是图2A的描绘运动物体120及由图1的系统10确定的运动物体120的运动矢量240的图像230简化图示说明。

图2A示出了视频图像帧的流的第一图像帧200，在该视频图像帧的流中，人110正抛接物体120。

图2B示出了第二图像帧230，其来自该视频图像帧的流中稍后的位置，优选地是紧接着的下一个图像。在图2B中物体120的位置已经相对于图2A中物体120的位置移动了。

运动矢量240通过示出物体120由图像200中物体120的位置到图像230中物体120的位置的位移来指明物体120的运动。

为了确定成像在视频图像帧的流中的物体120的运动矢量240，优选地执行以下步骤。

将视频图像帧的流提供给图1的系统10。

现在参考图3，它是图1的系统10的优选操作方法的简化流程图说明。同样参考图1。

优选地由图像流接收器30接收视频图像帧的流，该流至少包括第一图像帧200(图2A)和第二图像帧230(图2B)。由图像流接收器30选择(步骤300)第一图像帧200和第二图像帧230，第二图像帧230优选地紧接着第一图像帧200之后。

分解器35优选地将第一图像帧200和第二图像帧230分解为N个像素乘以N个像素大小的帧要素(步骤305)。

分解器35优选地仅分解第一图像帧200和第二图像帧230内的所关注区域，以便在局部图像就足够的情况下，不对整个图像执行不必要的处理。所述所关注区域通常是专用的。作为一个非限制性实例，对于Pong-Classic游戏而言，系统10通常仅搜索靠近第一图像帧200和第二图像帧230的两个对边的运动，从而使在两个对边附近分解第一图像帧200和第二图像帧230成为必要的。

图像的每一个帧要素都由N×N方阵来定义。例如，将第p个帧要素定义为：

    (方程1)

其中I_x，y是在帧要素坐标(x，y)上、图像的单个像素的值。以下说明像素的值。

现在，第一图像帧200的每一个帧要素与第二图像帧230的每一个要素通常都是独立于其它帧要素来处理的(步骤310)。优选地，执行归一化以避免在图像中的亮度变化影响，例如但不限于，阴影、照明和/或噪声。通过将每一个像素值除以指定给正被处理的帧要素的归一化因子，来产生归一化的帧要素(步骤320)。优选地，由以下的方程2定义第p个帧要素的归一化因子‖Norm_p‖：

$\left|\right|{\mathrm{Norm}}_p\left|\right|=\frac{1}{n^2}\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{I}_{x,y}$     (方程2)

如本领域公知的，对于灰度图像，在从黑到白的范围内，单个像素的像素值通常是单一的亮度值。

对于彩色图像而言，每一个像素通常包括三个一组的值。在不限制前述的普遍性的情况下，这三个值通常用各种颜色空间，诸如例如红、绿、蓝(RGB)颜色空间；以及色调、亮度、饱和度颜色空间，定义了像素的颜色和其他像素特性。对于彩色图像而言，如果需要，优选地将彩色像素的这三个值变换到包含亮度的颜色空间中。随后将亮度值用作所述像素值。

优选地，分别为图像200中的每一个帧要素确定物体的运动矢量(步骤325)。在物体大于帧要素的情况下，通常将物体与多个运动矢量相关联，优选地将每一个运动矢量唯一性地与某个帧要素相关联。在物体小于帧要素的情况下，通常只有一个帧要素产生与物体的运动相对应的运动矢量，而其它帧要素通常不产生物体的任何显著运动的运动矢量，或者产生与其它物体的运动相对应的运动矢量。

帧要素的尺寸通常是专用的，通常取决于以下的一个或多个因素：数字视频源的分辨率，物体的大小和图像帧的尺寸。作为一个非限制性实例，对于VGA帧(640像素×480像素)，每一个帧要素的尺寸都是8个像素×8个像素，对于高清晰TV(HDTV)，每一个帧要素的尺寸都是16个像素×16个像素。

在规一化之后，通常将对比度增强滤波器，优选地是Sobel滤波器，应用于第一图像帧200的每一个归一化帧要素(步骤330)，产生第一图像帧200的滤波的归一化帧要素。本领域普通技术人员会意识到可以使用任何适合的对比度增强滤波器，例如但不限于，高通滤波器和偏差滤波器(deviationfilter)。

用以下方程来确定归一化帧要素p的第p个经滤波的归一化帧要素Sp：

S_p＝NormalizedElement_p·F_sobel    (方程3)，

在此，运算对象NormalizedElement_p和F_sobel分别是图像的第p个归一化帧要素和Sobel滤波器，·运算符号表明将滤波器用于帧要素的操作，如本领域公知的。

作为一个非限制性实例，在本发明的优选实施例中所使用的Sobel滤波器是：

$F_{\mathrm{sobel}}=\left(\begin{array}{ccc}-1/\sqrt{2}& -1& -1/\sqrt{2}\\ -1& 4(1+1/\sqrt{2})& -1\\ -1/\sqrt{2}& -1& -1/\sqrt{2}\end{array}\right)$              (方程4)

方程3和方程4进一步的扩展提供了：

$S(x,y)=4(1+1/\sqrt{2})I\′(x,y)-I\′(x-1,y)-I\′(x+1,y)-I\′(x,y+1)-I\′(x,y-1)$

$-1/\sqrt{2}(I\′(x+1,y+1)+I\′(x-1,y-1)+I\′(x-1,y+1)+I\′(x+1,y-1)$

                                               (方程5)

在此，I’(x，y)是在第一图像帧200的归一化帧要素中、坐标(x，y)上的像素的归一化值。

在第一图像帧200的每一个经滤波的归一化帧要素内，优选地选择经滤波的像素值的局部极大值的位置(步骤335)，产生所选像素的位置，称为“参考像素”。现在参考图4更详细的说明图3的步骤335。

现在参考图4，它是由图1的系统10选择的多个参考像素420的简化图示说明。

图4示出了图2A的第一图像帧200，及在第一图像帧200内的帧要素410。帧要素410被描绘为具有8个像素×8个像素的尺寸。在帧要素410内，示出了几个参考像素420。参考像素420位于包括经滤波的归一化像素值的局部极大值的像素的位置上。参考像素420通常位于帧要素410中高对比度的位置。

像素选择器55(图1)优选地选择三个参考像素420，这三个参考像素具有该经滤波的归一化帧要素的三个最高像素值。然而，根据本发明的可选优选实施例，可以使用一个或多个参考像素，如以下参考图7A和7B所述的。

现在参考图5，它是由图1的系统10产生的多个光流线的简化图示说明。此外还参考图3。图5是标记为视图V的区域的放大图。

图5示出来帧要素410，其包括第一参考像素510，第二参考像素520，第三参考像素530和附加参考像素540。

三个参考像素，即参考像素510、520、530具有帧要素410中三个最高的经滤波的归一化像素值。第一参考像素510具有最高的经滤波的归一化像素值。第二参考像素520具有第二高的经滤波的归一化像素值。第三参考像素530具有第三高的经滤波的归一化像素值。与参考像素510、520和530相似，附加参考像素540所具有经滤波的归一化像素值也是局部极大值。附加参考像素540例示了在经滤波的归一化帧要素410中可以存在多于三个的参考像素。

光流模块60优选地通过分别在每一个参考像素510、520、530的位置上应用光流方程(以下的方程6)，来为所选择的参考像素510、520、530产生光流515、525、535(图3的步骤340)。以下参考方程6提供了对于光流模块60如何产生光流515、525、535的更详细说明。光流515、光流525和光流535分别与水平参考方向包夹着角α₁ 517，角α₂ 527和角α₃537。

以下给出由光流模块60(图1)所优选使用的光流方程：

$\frac{\mathrm{dI}\′(\mathrm{xi},\mathrm{yi})}{\mathrm{dt}}=0\⇔$

$\frac{\∂I\′(\mathrm{xi},\mathrm{yi})}{\∂t}+\frac{\∂I\′(\mathrm{xi},\mathrm{yi})}{\∂x}\·\frac{\∂x}{\∂t}+\frac{\∂I\′(\mathrm{xi},\mathrm{yi})}{\∂y}\·\frac{\∂y}{\∂t}=0$ (方程6)，

在此，I’(xi，yi)是在图像中位置i的坐标(x，y)上的图像的像素的归一化值。

当

和

较小时，会意识到以上的公式是非常准确的。在视频图像帧的流的情况下，例如：当

与在连续图像帧之间的时间间隔基本相等时，通常将

认为是很小的；当

和

与一个像素的尺寸基本相等时，通常将

和

认为是很小的。

方程6的术语

和

分别表示运动矢量V的x分量V_x和y分量V_y。

优选地，通过将在第一图像帧200与第二图像帧230之间的时间差定义为一个时间单位，以致于 $\∂t=1,$ 从而简化方程6。

将V_x和V_y以及 $\∂t=1$ 代入方程6给出了直线的方程，如下：

V_y(i)＝a(i)V_x(i)+b(i)                (方程7)

在此，a(i)和b(i)分别是通过将光流方程7用于在位置i上的图像而产生的直线的斜率和截距系数。

会意识到，方程7是具有两个未知数V_x和V_y的方程。

现在分别为a(i)和b(i)来对方程7求解：

$b\left(i\right)=\frac{I_1\′(\mathrm{xi},\mathrm{yi})-I_2\′(\mathrm{xi},\mathrm{yi})}{I_2\′(\mathrm{xi},\mathrm{yi})-I_2\′(\mathrm{xi},\mathrm{yi}-1)}$              (方程8)

$a\left(i\right)=\frac{{I\′}_2(\mathrm{xi},\mathrm{yi})-{I\′}_2(\mathrm{xi}+1,\mathrm{yi})}{{I\′}_2(\mathrm{xi},\mathrm{yi}+1)-{I\′}_2(\mathrm{xi},\mathrm{yi})}$               (方程9)

在此，I’₁(xi，yi)优选地是在坐标(xi，yi)的第一图像的像素的归一化值；I’₂(xi，yi)优选地是在坐标(xi，yi)的第二图像帧的像素的归一化值；I’₂(xi，yi-1)优选地是在坐标(xi，yi-1)的第二图像帧的像素的归一化值，就是说是具有比I’₂(xi，yi)的y坐标小1的y坐标的位置。本领域普通技术人员会意识到，用相对于坐标值的适当修改，以基本相同的方式来定义方程8和9的其它项。

作为一个非限制性实例，I’₁(xi，yi)优选地是第一图像帧200的第一参考像素510的归一化值，I’₂(xi，yi)优选地是第二图像帧230的位于第一参考像素510的位置上的像素的归一化值，I’₂(xi，yi-1)优选地是第二图像帧230的位于第一参考像素510下面的位置上的像素的归一化值，以此类推。本领域普通技术人员会意识到，用相对于坐标值的适当修改，以基本相同的方式来举例说明了方程8和9的其它项。

因此，优选地，通过将方程8和方程9分别在参考像素510、520、530上应用于第一图像帧200的归一化帧要素410，来产生每一个光流线515、525、535，从而为每一个参考像素510、520、530确定a(i)和b(i)。优选地，为每一个参考像素510、520、530将计算值a(i)和b(i)代入方程7，以便分别确定光流线515、525、535。

应注意，用于确定光流515、525、535的斜率a(i)和截距b(i)的方程7-9为每一个参考像素510、520、530定义了直线。然而，通常不知道光流510、520、530的量值。

因此，一般而言，通常仅由图像帧的边缘来限制光流线。

现在参考图6，它是第一图像帧200的归一化帧要素410，第二图像帧230(图2B)的位移的归一化测试帧要素650，及由图1的系统10所使用的对于位移的扫描模式629的简化图示说明。此外还参考图1和3。

作为介绍，模式匹配模块62优选地执行在第一图像帧200的归一化帧要素410与第二图像帧230的归一化测试帧要素650之间的模式匹配。因此，模式匹配模块62优选地指示：

分解器35产生第二图像帧230的测试帧要素；及

归一化器40，按照在模式匹配过程中所需的，归一化测试帧要素，产生在相对于第一图像帧200的帧要素410的不同位移上的第二图像帧230的归一化测试帧要素650。

优选地将位移一次递增一个像素。作为一个非限制性实例，由位移矢量660示出了一个这种位移，其从第一图像帧200的帧要素410的位置延伸到第二图像帧230的归一化测试帧要素650的位置。

优选地，通过仅在预期得到良好的匹配的区域625内执行模式匹配来增加效率，从而减少不必要的计算。以下参考图6、7A和7B更详细的说明确定区域625。

图6示出了归一化帧要素410，及两条线，第一线610和第二线620，它们在交点630相交。通常将上述的位移测量为从交点630计算的位移。以下参考图7A和7B更详细的说明用于确定第一线610和第二线620的方法。

会意识到，通常相对于帧要素内的预定像素来定义帧要素410的位置和测试帧要素650的位置。该固定像素优选地是特定的拐角(corner)，这个拐角在两个帧要素中是相同的拐角。交点630优选地位于归一化帧要素410的位置上。

模式匹配模块62执行在测试帧要素650与帧要素410之间的模式匹配，如以下参考方程15更详细说明的，产生模式匹配得分(图3的步骤345)。

图6还示出了多个矢量，其是绘制在第一线610与第二线620之间的有向线段。这些矢量说明了扫描模式629，在该扫描模式629中，测试帧要素650通常从交点630开始位移。模式匹配模块62(图1)在与交点630相对应的位移为0处开始扫描。模式匹配模块通常借助于沿着矢量631以一个像素的增量来改变所述位移，随后沿着矢量632，随后沿着矢量633，随后沿着矢量634，以此类推，来持续进行扫描，直到已经达到停止条件为止。所述停止条件通常包括以下之一：已获得足够良好的匹配；及已经扫描了整个区域625。以下参考图8A-8C更详细的说明所述停止条件。

模式匹配模块62通常指示图像分解器35在扫描模式中的每次位移时产生第二图像帧230的测试帧要素650。模式匹配模块62通常还指示归一化器40归一化该测试帧要素650，产生归一化测试帧要素650。模式匹配模块62随后执行模式匹配，如以下参考图8A-8C更详细说明的。模式匹配模块62产生模式匹配得分，并将该模式匹配得分与和测试帧要素650的该位移相对应的位移矢量660相关联。

根据本发明的最优选实施例，除了在限于两条线之间的区域625中进行扫描之外，还对区域625可以从交点630开始延伸的距离加以限制。该限制(或者距离的最大值)通常至少在起始是图像帧的四分之一的距离。由于图像帧通常是矩形，因此该限制就通常是图像帧的较小尺度的四分之一的距离。

根据本发明的最优选实施例，当为先前视频图像帧确定运动矢量时，模式匹配模块62通常记录与该运动矢量有关的位移矢量660的值。当使用从视频图像帧的流中稍后取得的第一图像帧200和第二图像帧230执行后续的确定时，所述限制通常是位移矢量的先前记录值的两倍。

会意识到，对区域625进行限制极大的节省了计算量。

根据本发明的另一个优选实施例，将扫描限于一个距离，该距离优选地基于：用于第一图像帧200的先前帧要素的扫描限制；以及与为该先前帧要素确定的运动矢量相对应的位移。因此，可以基于先前的扫描限制来调整该扫描限制，并依据到先前“最适合”的测试帧的实际距离来修改该扫描限制。

如何按上述的来限制扫描的一个非限制性实例是： $L_p=\frac{(L_{p-1}+D_{p-1})}{2}*1.2,$ 在此：L_p是用于帧要素p的扫描限制；L_p-1是来自之前紧邻的帧要素p-1的扫描限制；D_p-1是与为帧要素p-1确定的运动矢量相对于的位移。典型的扫描限制和位移是：

 

p	1	2	3	4	5	6	7
								Lp[像素]	100(初始值)	63	41	31	28	32	34
Dp-1[像素]	5	5	10	15	25	25	25

会意识到，对于与第一帧要素相对应的p＝1而言，将初始值选择作为扫描限制L₁。典型的扫描限制显示出，即使是在位移改变时(从5个像素到25个像素)，扫描限制也会迅速地收敛于接近位移的值。因此，扫描限制很大的节省了计算量，同时保持了足够大的区域用于确定位移。

优选地，按以下所述来确定D。

优选地，使用优化来计算距离D。由于需要计算测试帧要素650的位移，并将其与扫描限制相比较，因此优化距离D的计算通常是有益的。优选地，将在图像帧中的两个像素p₁和p₂之间的距离D计算为D＝|x₁-x₂|+|y₁-y₂|，在此x₁是像素p₁的x坐标；x₂是像素p₂的x坐标；y₁是像素p₁的y坐标；y₂是像素p₂的y坐标。

根据本发明可选优选实施例，将距离D计算为：

$D=\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}$

对于计算距离D的优选方法的优化极大地削减了计算工作量，因为计算绝对值和加法的运算比乘法和计算平方根的运算在计算强度上要小。

会意识到，对于每一个位移矢量，都存在相应的运动矢量。由于位移除以时间等于速度，因此将位移矢量660除以在第一图像帧200与第二图像帧230之间的时间，产生了运动矢量，其单位是像素每单位时间。运动矢量通常是现实世界中物体的实际运动的表示，并服从于物理约束。通常要求与速度相对应的运动矢量的量值在物理上可能的速度范围以内。

方程10以下定义对于运动矢量的典型量值约束：

$\sqrt{{V_x}^2+{V_y}^2}\≤V_{\max }$           (方程10)

其中V_max是对于每一个应用而言，对于运动矢量的实际上限。通常，V_max与上述的最大物理可能速度相对应。例如，在打算用于网球比赛的应用中的最大物理可能速度通常是网球比赛中网球的最大速度。可选的，V_max可以与一个速度相对应，这个速度等于在一个帧间时间周期中四分之一帧的位移。

作为一个非限制性实例，针对在距网络摄像机约4米距离上的人抛接的物体、以VGA的分辨率、按照每秒20帧的速率成像的系统所测量的典型运动矢量，被测量为约每1/20秒10个像素。

本领域公知的是：基于光学特性，例如摄像机镜头类型和物体距摄像机镜头的距离，将物理速度V_max转换为运动矢量的最大值，以及基于视频图像帧的流的帧速率，将运动矢量的最大值转换为位移。因此，优选地，通过将最大物理速度转换为相应的位移来确定扫描限制(或者扫描的距离的最大值)，其中，该转换通常是基于视频图像帧的流的帧速率和网络摄像机25的光学特性。

已知视频图像帧的流的帧速率，而根据相应的运动矢量来确定位移矢量也是本领域公知的，且反之亦然。

根据本发明的优选实施例，通常通过使不满足以上方程10的约束的位移矢量无效来优化该得分处理。

现在参考图7A和7B，它是用于约束由图1的系统10使用的扫描模式的多个线的简化图示说明。同时还参考图1和图5。

图7A示出了第一线610和第二线620，及交点630。如参考图6所述的，第一线610和第二线620定义了区域625，在区域625的内部执行模式匹配。图7A还示出了第三线720，其平分在第一线610与第二线620之间的角度，产生在第一线610与第三线720之间的角度ε730，及在第二线620与第三线720之间的角度ε 730。图7A另外还示出了穿过交点630绘制的第一光流线515、第二光流线525和第三光流线535，以及依据水平参考线710所测量的相应的角度α₁ 517、α₂ 527和α₃ 537。

因此，依据第三线720、角度ε 730和交点630的位置来确定区域625，以使得第一线610和第二线620穿过交点630，且每一条线610、620都与第三线720偏移角度ε 730。

模式匹配模块62优选地：将第三线720计算为三个光流线515、525和535的平均值；将角度ε 730确定为光流线515、525和535围绕第三线720的方向的可变性的测量值；并且将交点630的位置确定为对应于与帧要素410的位置是0位移的位置。

现在以下说明确定所述可变性的测量值。

会意识到是，作为经验数据的a(i)和b(i)(由方程9和8计算的)包括除了别的原因之外由数字化误差和第一图像帧200和第二图像帧230内的伪像所引起的某种可变性。因此，根据本发明的最优选实施例，使用一个设置步骤来执行可变性的测量。指示由可操作地连接到系统10的网络摄像机25所成像的用户执行移动。系统10进行用于确定运动矢量的过程，在该过程期间，光流模块60产生光流线，且模式匹配模块62确定在光流线之间的可变性，并使用该可变性来确定角度ε。

可选的，如果不在该设置步骤内执行对可变性的测量，就对a和b的可变性使用默认值。以下在方程11和12中显示了用于a和b的可变性的默认值。

         (方程11)

         (方程12)

其中，a_i和b_i是第i个光流线的a和b分量，并且a和b是n条光流线的平均a和b分量，n是在该计算中所包括的光流线的数量。通常在这三条光流线515、525和535之间测量可变性。

根据本发明的可替换优选实施例，如下所示，在方程13和14中优选地将优化用于计算可变性。

           (方程13)

           (方程14)

其中，按方程11和12来定义变量。

仅作为一个实例，经验数据显示按照每秒20-25个图像帧的帧速率，在距成像视频摄像机约4米的距离处人抛接物体，b的可变性通常是±10°。可变性通常与帧速率成反比。

根据特定的应用，可变性的默认值可能会改变。例如且在不限制前述的普遍性的情况下，在希望运动矢量仅具有垂直分量的应用中，例如Pong-Classic，优选地将第三线720定义为具有0水平分量，且在水平方向上通常不考虑任何可变性。

现在参考图7B。根据本发明的另一个优选实施例，模式匹配模块62如下来定义区域625：

第二光流线525定义区域625的一个边界；

第一光流线515平分区域625(图6)；

将角度ε 730定义为在第一光流线515与第二光流线525之间的角度；并且

将第二线620定义为在与第二光流线525相反的一侧上，与第一光流线515之间的夹角为角度ε 730之处。第二线620由此定义了区域625的第二边界。

可选的，通过模式匹配模块62将在第三光流线535和第一光流线515之间的角度ε₁与角度ε相比较来执行一致性检查。如果角度ε₁小于或等于角度ε 730，那么模式匹配模块62通常就确定光流线是一致的。如果第三光流线正好在大于角度ε 730的角度ε₂上，如由与更低的线740之间的角度ε₂所示，那么模式匹配模块62通常就确定光流线是不一致的。

本领域普通技术人员会意识到，可以对参考图7A所述的区域625执行以上的一致性检查。作为一个非限制性实例，模式匹配模块比较由光流线515、525和535中至少一个与第三线720所包夹的角度，如果这个包夹的角度大于角度ε，那么模式匹配模块62通常就确定光流线是不一致的。

现在参考图8A-8C，它是由图1的系统10执行的、在不同位移上的模式匹配的简化图示说明。同时参考图1、图2和图3。

图8A示出了在第一图像帧200中的人110、物体120和包含物体120的一部分的帧要素410。

图8B示出了在第二图像帧230中的人110和物体120。图8B的物体120在第二图像帧230内的位置与在图8A的第一图像帧200内的物体120的位置不同。图8B示出了图8A的帧要素410的位置和测试帧要素810，测试帧要素810位于从帧要素410位移了一个位移矢量815的位置处。

会意识到，由模式匹配模块62产生的模式匹配得分是位移了位移矢量815的测试帧要素810与基础图像230适合度有多好的测量值。

优选地，通常使用方程15，基于在第一帧要素410的归一化像素值与测试帧要素810的相应归一化像素值之间的差值的平方和，来计算模式匹配得分：

${\mathrm{Score}}_p(\mathrm{Vx},\mathrm{Vy})=$

$\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{(({I\′}_{1p}(x,y)-|\left|{\mathrm{Norm}}_{1p}\right|\left|\right)-({I\′}_{2p}(x+\mathrm{Vx},y+\mathrm{Vy})-|\left|{\mathrm{Norm}}_{2p}(x+\mathrm{Vx},y+\mathrm{Vy})\right|\left|\right))}^2$

                                                (方程15)。

在方程15中，使用了以下符号：

V_x和V_y是位移矢量815的x和y分量；

||Norm_2p(x+Vx，y+Vy)‖是用于作为第二图像帧230的测试帧要素810的帧要素p的归一化因子(方程2)，其中，测试帧要素810相对于第一帧要素410在x方向上位移了Vx并在y方向上位移了Vy；

I′_2p(x+Vx，y+Vy)是在第二图像帧230的测试帧要素810的坐标x+Vx，y+Vy处的像素值；

‖Norm_1p‖是用于第一图像帧200的帧要素410的帧要素p的归一化因子(方程2)；并且

I’_1p(x，y)是在第一图像帧200的帧要素410的坐标x，y处的像素值。

根据本发明另一个优选实施例，优选地，通常使用方程16，基于在第一帧要素410的归一化像素值与测试帧要素810的相应归一化像素值之间的差值的绝对值之和，来计算该模式匹配得分：

${\mathrm{Score}}_p(\mathrm{Vx},\mathrm{Vy})=$

$\underset{x=1}{\overset{n}{\mathrm{\Σ}}}\underset{y=1}{\overset{n}{\mathrm{\Σ}}}{|({I\′}_{1p}(x,y)-|\left|{\mathrm{Norm}}_{1p}\right|\left|\right)-({I\′}_{2p}(x+\mathrm{Vx},y+\mathrm{Vy})-|\left|{\mathrm{Norm}}_{2p}(x+\mathrm{Vx},y+\mathrm{Vy})\right|\left|\right)|}^{}$

                                                 (方程16)

用于方程16的符号与用于方程15的符号相同。

模式匹配得分通常反比于在第一图像帧200的归一化帧要素410与第二图像帧230的归一化测试帧要素810之间的相似性程度。模式匹配得分越低，在第一图像帧200中的归一化帧要素410就与在第二图像帧230中的归一化测试帧要素810越相似。在图8B中，物体120部分位于测试帧要素810内。另外，在图8B中，物体120相对于测试帧要素810的位置与图8A的物体120相对于图8A的帧要素410的位置类似。因此，在归一化帧要素410与归一化测试帧要素810之间的相似性较高，模式匹配模块62优选地产生低分。

图8C示出了在第二图像帧230中的人110和物体120。图8C的物体120位于与图8B的物体120相同的图像坐标处。图8C示出了图8A的帧要素410的位置和测试帧要素820，测试帧要素820位于从帧要素410的位置位移了位移矢量825的位置。在图8C中，物体120在测试帧要素810之内，但位置与图8A的帧要素410中的物体120颇有不同。相似性较低，模式匹配模块62(图1)通常产生高分。

在图8A-8C的实例中，会意识到，图8C的位移矢量825收到的得分高于图8B的位移矢量825收到的得分，因为位移后的测试帧要素820与图像230及位移后的测试帧要素810不相配。

一旦计算了与测试帧要素的位移相对应的模式匹配得分，模式匹配模块62优选地选择具有最低模式匹配得分的位移矢量815(图3的步骤350)。运动矢量确定器65随后基于位移矢量815，通过将位移矢量815除以在第一图像帧200与第二图像帧230之间的时间来确定运动矢量(步骤355)。

如果模式匹配模块产生的模式匹配得分全都大于第一目标得分，则运动矢量确定器65就优选地确定0量值的运动矢量。第一目标得分通常等于第一图像帧200的第一帧要素410的归一化像素值的平均值的15％。

另外，优选地，一旦产生了小于第二目标得分的模式匹配得分，模式匹配模块62就停止扫描，并且运动矢量确定器65优选地基于产生小于第二目标得分的模式匹配得分的第一位移来确定运动矢量。第二目标得分通常等于第一图像帧200的第一帧要素410的归一化像素值的平均值的5％。

上述方法优选地用于使用第一图像帧200和第二图像帧230确定第一运动矢量，并再次用于使用第三图像和第四图像来确定第二运动矢量。如果第一运动矢量和第二运动矢量基本相等，就优选地认为运动矢量的值是一致的。反之，则优选地执行额外的运动矢量确定，直到对于不同图像对的两个连续的运动矢量确定基本相等。

作为一个非限制性实例，再次考虑已参考图6和图7A说明的以上实例应用。该实例应用包括图1的系统10，其成像在距网络摄像机约4米距离的人抛接的物体。在该实例应用中，当 $2*\frac{\mathrm{Len}(V_1-V_2)}{\mathrm{Len}(V_1+V_2)}<30\%$ 时，图1的系统10将第一运动矢量定义为基本等于第二运动矢量，在此，V₁是第一运动矢量，V₂是第二运动矢量，Len是用于测量矢量长度的函数。将这个函数Len(V)定义为：

Len(V)＝|V_x|+|V_y|。

会意识到，可以通过将第一次确定中的第二图像帧230用作第二次确定中的第一图像帧200，并将第三图像用作第二次确定中的第二图像帧230，来进行使用第三图像和第四图像来确定第二运动矢量的操作。

作为一个非限制性实例，运动矢量确定器65通常以像素每秒为单位来确定运动矢量。本领域公知的是，基于数字视频源的光学和物理数据，可以容易地将运动矢量进一步转换为其它单位，作为一个非限制性实例，例如为米每秒。

会意识到，如果需要，则可以以ROM(只读存储器)的形式来实现本发明的软件组件。如果需要，通常可以用常规技术使用硬件来实现这些软件组件。

会意识到，也可以在单个实施例中以组合的形式提供出于清楚而在各个实施例背景下说明的本发明的各种特点。与此相反，也可以在分别或在任何适合的子组合中提供出于简洁而在单个实施例背景下说明的本发明的各种特点。

本领域技术人员会意识到本发明不限于上文中已经具体示出并说明的内容。相反，本发明的范围仅由附带的权利要求来定义。

Claims (32)

1、一种计算机系统，用于实时确定在视频图像帧的流中的图像帧内的帧要素的运动矢量，所述流至少包括第一图像帧和第二图像帧，所述系统包括多个可操作地相连的元件，包括：

图像流接收器，其接收所述图像帧的流；

图像分解器，其将每一个所述图像帧分解为多个帧要素，每一个所述帧要素都包括多个像素和多个相关的像素值；

图像归一化器，其归一化每一个所述图像帧的帧要素中的像素值，从而产生多个归一化帧要素，所述归一化帧要素具有多个相关的归一化像素值；

图像处理器，其将图像处理滤波器应用于所述第一图像帧中的一个归一化帧要素，产生经滤波的帧要素，所述经滤波的帧要素具有多个相关的经滤波的像素值；

像素选择器，其从所述经滤波的帧要素中选择第一参考像素，以使得该第一参考像素具有所述经滤波的像素值之中的最高值；

光流模块，其基于在所述第一参考像素的位置上应用的光流方程，来确定第一光流；

模式匹配模块，其在以下归一化帧要素的归一化像素值之间执行模式匹配：

所述第一图像帧的所述一个归一化帧要素；与

所述第二图像帧中的作为测试帧要素的归一化帧要素，产生多个模式匹配得分，每一个所述测试帧要素都具有一个所述模式匹配得分，其中，执行所述模式匹配，以使得对于每一个所述测试帧要素，在所述一个归一化帧要素的位置与所述一个测试帧要素的位置之间的位移矢量受限于一区域，该区域至少部分地基于所述第一光流；以及

运动矢量确定器，其至少部分地基于与所述测试帧要素之中具有所述模式匹配得分中最低得分的测试帧要素相关的位移矢量，来确定运动矢量。

2、如权利要求1所述的系统，其中，所述视频图像帧的流是彩色图像帧的流，且对于每一个所述像素，相关的一个所述像素值是与所述一个像素相关的亮度分量的值。

3、如权利要求1或2所述的系统，其中，所述图像处理滤波器是对比度增强滤波器。

4、如权利要求3所述的系统，其中，所述对比度增强滤波器是Sobel滤波器。

5、如权利要求1-4任意一项所述的系统，其中，所述模式匹配模块基于在所述一个归一化帧要素的归一化像素值与所述一个测试帧要素的相应归一化像素值之间的差值的绝对值之和，来计算所述模式匹配得分。

6、如权利要求1-5任意一项所述的系统，其中，所述模式匹配模块将所述区域定义为由第一线和第二线来限定，以便：

所述第一线与所述第二线在一交点相交；

第三线平分在所述第一线与所述第二线之间的角；

所述第三线的方向至少部分地基于所述第一光流的方向；并且

所述第三线和所述第一线包夹着角度ε。

7、如权利要求6所述的系统，其中，所述模式匹配模块独立于所述第一光流来确定所述角度ε。

8、如权利要求6或7所述的系统，其中：

所述像素选择器进一步从所述经滤波的帧要素中选择第二参考像素；

所述光流模块进一步基于在所述第二参考像素的位置上应用的所述光流方程来确定第二光流；并且

所述模式匹配模块用于执行一致性检查，该一致性检查包括：检查在所述第二光流与所述第三线之间的角度差小于或等于所述角度ε。

9、如权利要求6所述的系统，其中，所述像素选择器进一步从所述经滤波的帧要素中选择第二参考像素，以使得所述第二参考像素具有所述经滤波的像素值之中的第二最高值，并且其中，所述光流模块进一步基于在所述第二参考像素的位置上应用的所述光流方程来确定第二光流。

10、如权利要求9所述的系统，其中，所述模式匹配模块基于在所述第一光流与所述第二光流之间的角度差来确定所述角度ε。

11、如权利要求9或10所述的系统，其中，所述像素选择器进一步从所述经滤波的帧要素之中选择第三参考像素，以使得所述第三参考像素具有所述经滤波的像素值之中的第三最高值，并且其中，所述光流模块进一步基于在所述第三参考像素的位置上应用的所述光流方程来确定第三光流。

12、如权利要求6或7所述的系统，其中，所述模式匹配模块至少部分地基于在确定所述第一图像帧的先前的归一化帧要素的运动矢量时使用的角ε的值，来确定所述角度ε。

13、如权利要11或12所述的系统，其中，所述模式匹配模块用于执行一致性检查，该一致性检查包括：检查在所述第三光流与所述第一光流之间的角度差小于或等于所述角度ε。

14、如权利要求6-13中任意一项所述的系统，其中，所述模式匹配模块限制所述区域，以使得在所述交点与所述区域内的任何位置之间的距离都小于一最大值。

15、如权利要求14所述的系统，其中，所述最大值是图像帧的最小尺度的四分之一。

16、如权利要求14所述的系统，还包括：通过将最大物理速度转换为相应的位移来确定所述最大值，所述转换至少部分地基于所述视频图像帧的流的帧速率和至少一个光学特性。

17、如权利要求14所述的系统，其中，所述模式匹配模块基于所述第一图像帧的先前的帧要素的最大值和所述第一图像帧的该先前帧要素的运动矢量，来确定所述最大值。

18、如权利要求14-17任意一项所述的系统，其中，所述模式匹配模块将所述距离计算为水平位移的绝对值与垂直位移的绝对值之和。

19、如权利要求1-18任意一项所述的系统，其中，如果所述模式匹配得分中的最低得分大于第一目标得分，则所述运动矢量确定器就确定所述运动矢量具有0量值。

20、如权利要求1-18任意一项所述的系统，其中，一旦产生了小于第二目标得分的模式匹配得分，所述模式匹配模块就停止模式匹配。

21、如权利要求20所述的系统，其中，所述模式匹配模块将所述第二目标得分确定为所述第一图像帧的所述一个归一化帧要素之中的像素值的平均值的5％。

22、如权利要求1-21任意一项所述的系统，其中，所述位移矢量包含开头和结尾，所述位移矢量的开头在所述交点处，并且所述模式匹配模块：在所述位移矢量的结尾在所述交点处的情况下执行与第一个所述测试帧要素的第一模式匹配；并且通过使所述位移矢量的结尾扫描通过所述区域，来执行与其它测试帧要素的其它模式匹配。

23、一种方法，用于由处理器实时确定在视频图像帧的流中的图像帧内的帧要素的运动矢量，所述流至少包括第一图像帧和第二图像帧，该方法包括：

接收所述图像帧的流；

将每一个所述图像帧分解为多个帧要素，每一个所述帧要素都包括多个像素和多个相关的像素值；

归一化每一个所述图像帧的帧要素中的像素值，从而产生多个归一化帧要素，所述归一化帧要素具有多个相关的归一化像素值；

将图像处理滤波器用于所述第一图像帧的一个所述归一化帧要素，产生经滤波的帧要素，所述经滤波的帧要素具有多个相关的经滤波的像素值；

从所述经滤波的帧要素中选择第一参考像素，以使得该第一参考像素具有所述经滤波的像素值之中的最高值；

基于在所述第一参考像素的位置上应用的光流方程，确定第一光流；

在以下两个归一化帧要素的归一化像素值之间执行模式匹配：

所述第一图像帧的所述一个归一化帧要素；与

所述第二图像帧的作为测试帧要素的归一化帧要素，

产生多个模式匹配得分，每一个所述测试帧要素都具有一个模式匹配得分，其中，执行所述模式匹配，以使得对于每一个所述测试帧要素，在所述一个归一化帧要素的位置与所述一个测试帧要素的位置之间的位移矢量受限于一区域，该区域至少部分地基于所述第一光流；并且

至少部分地基于与所述测试帧要素之中具有所述模式匹配得分中最低得分的测试帧要素相关的位移矢量，来确定运动矢量。

24、如权利要求23所述的方法，其中，所述模式匹配包括：基于在所述一个归一化帧要素的归一化像素值与所述一个测试帧要素的相应归一化像素值之间的差值的绝对值之和，来计算所述模式匹配得分。

25、如权利要求23或24所述的方法，其中：

所述区域由第一线和第二线来限定，所述第一线与所述第二线在一交点相交；

第三线平分在所述第一线与所述第二线之间的角；

所述第三线的方向至少部分地基于所述第一光流的方向；

所述第三线和所述第一线包夹着角度ε。

26、如权利要求25所述的方法，还包括：

从所述经滤波的帧要素中选择第二参考像素；

基于在所述第二参考像素的位置上应用的所述光流方程，确定第二光流；并且

执行一致性检查，该一致性检查包括：检查在所述第二光流与所述第三线之间的角度差小于或等于所述角度ε。

27、如权利要求25所述的方法，还包括：

从所述经滤波的帧要素中选择第二参考像素，以使得所述第二参考像素具有所述经滤波的像素值之中的第二最高值；

基于在所述第二参考像素的位置上应用的所述光流方程，确定第二光流；

从所述经滤波的帧要素中选择第三参考像素，以使得所述第三参考像素具有所述经滤波的像素值之中的第三最高值；

基于在所述第三参考像素的位置上应用的所述光流方程，确定第三光流；并且

执行一致性检查，该一致性检查包括：检查在所述第三光流与所述第一光流之间的角度差小于或等于所述角度ε。

28、如权利要求25-27任意一项所述的方法，还包括限制所述区域，以使得在所述交点与所述区域内的任何位置之间的距离都小于一最大值。

29、如权利要求28所述的方法，还包括将所述距离计算为水平位移的绝对值与垂直位移的绝对值之和。

30、如权利要求23-29任意一项所述的方法，还包括如果所述模式匹配得分的最低得分大于第一目标得分，则将所述运动矢量确定为具有0量值。

31、如权利要求23-29任意一项所述的方法，其中，一旦产生小于第二目标得分的模式匹配得分，所述模式匹配就停止。

32、如权利要求23-31任意一项所述的方法，其中，所述位移矢量包含开头和结尾，所述位移矢量的开头在所述交点处，并且：在所述位移矢量的结尾在所述交点处的情况下执行与第一个所述测试帧要素的第一模式匹配；并且通过使所述位移矢量的结尾扫描通过所述区域，来执行与其它测试帧要素的其它模式匹配。

Images