CN1848949A - 在视频监视系统中提取对象的设备和方法 - Google Patents

Abstract

本发明涉及区别照相机运动和对象运动，及在基于对象运动检测侵入者的视频监视系统中提取对象的设备和方法。设备和方法区别由于对象运动的实际侵入者检测和由于照相机运动或晃动的错误的侵入者检测。在由于对象运动的实际侵入者检测的情况中，提取相应对象。以这种方式，从输入动态图像获得光流，并转换为角度值并分类。如果角度值超过预先确定的临界值，这确定检测到对象运动。如果角度值不超过预先确定的临界值，确定检测到照相机运动或晃动。在对象运动的情况中，通过关于对象的光流的X－Y投影从对象中只提取运动的区域，然后划分对象。这在跟踪运动对象通路的连续的帧中实现。

Description

在视频监视系统中提取对象的设备和方法

技术领域

本发明涉及区别照相机运动和对象运动，及在基于对象运动检测侵入者的视频监视系统中提取对象的设备和方法，更特别的，涉及区别由于对象运动的实际侵入者检测和由于照相机运动或晃动的错误的侵入者检测的设备和方法，和万一由于对象运动的实际侵入者检测提取相应对象的设备和方法。

背景技术

通常，检测对象运动的视频监视系统根据下面的方法实现：使用两帧和运动矢量之间的差分图像信号。

设计使用差分图像信号的方法从在前面帧中的对应点的像素值减除当前帧中坐标点的像素值，因此当前面帧和当前帧之间存在微小的运动时，像素显示不同于“0”的值。

当此像素具有一个或多个预置参考值时，此方法检测像素值的变化，从而确定存在侵入者。

使用运动矢量的方法采用完全的搜索技术，该方法检测前面帧和当前帧之间的运动矢量，当检测的运动矢量是一个或多个预置参考值时，确定有侵入者。

上面使用差分图像信号的方法采用简单的计算处理，那么，能方便地确定在快速的时间段是否有任何运动。然而，存在的缺点是对照明和噪声敏感。此外，当照相机平稳没有运动时，所有像素的差分值成为“0”。任何运动和晃动的照相机会放大像素值的变化，因此对象的实际运动不能由照相机的运动和晃动引起的任何运动来区别。

至于运动矢量方法的优点，相比于差分图像信号的方法对照明的变化或噪声的变化敏感性是较小的，该方法能够检测运动对象的运动方向。然而，这种方法也不能区分由于对象运动和由于照相机的矢量。

除了上面描述的方法，通过输入图像信号跟踪运动的对象的其它有代表性的方法，可包括相关方法(使用块匹配算法)，扰动映射方法，彩色分布方法，光流方法等。

在韩国专利申请10-2000-22818中公开了运动对象的多重跟踪和监视系统，通过使用并组合这些方法，这已接近商业应用。

虽然，在上面专利文件中公开的技术显示极好的对象提取能力，此技术采用照相机校准算法，因为本质上需要根据照相机运动的图像校准。结果，这增加了系统要处理的数据量，因此，降低它的处理速度。此外，保证正确的图像校准也是困难的。

此外，使用上面专利文件公开的技术中的块匹配算法存在一定的缺点，当运动对象改变它的大小，形状，亮度等时，它的跟踪能力降低，在各个帧中的跟踪误差累积到对象偏离匹配参考块的范围。

发明内容

本发明的目的是提供一种区别照相机运动和对象运动，及在基于对象运动检测侵入者的视频监视系统中提取对象的设备和方法，此设备和方法区别由于对象运动的实际侵入者检测和由于照相机运动或晃动的错误的侵入者检测，和由于对象运动的实际侵入者检测提取相应对象。

根据实现上面目标的本发明的一方面，提供区别照相机运动和对象运动，及在视频监视系统中提取对象的设备，设备包括：光流提取器，提取当前输入图像帧和前面图像帧之间的光流的运动矢量；角度直方图产生器，产生光流提取器提取的光流的运动矢量的角度直方图；控制器，基于角度直方图产生器产生的角度直方图，确定照相机运动和对象运动，在对象运动的情况中，提取运动对象。

本发明的设备还包括：从当前和前面图像帧滤波噪声的装置，然后向光流提取器提供清除噪声的当前和前面图像帧，噪声滤波装置包括清除高斯噪声的高斯滤波器。

优选的，采用角度直方图产生器将光流提取器提取的光流的运动矢量转换为角度，因此产生光流运动矢量的角度直方图。

在此情况中，优选的在-π到+π的弧度值转换为0到360度角度值后产生角度直方图，然后角度值归一化为0到35。

优选的，当照相机运动和对象运动同时发生时，控制器从当前和前面图像帧之间的整个光流中去除对应最大运动角度的光流，并施加X-Y投影到对应剩余角度的光流上，以便提取运动对象。

根据本发明实现上面目的的另一方面，提供区别照相机运动和对象运动，及在视频监视系统中提取对象的方法，方法包括步骤：提取当前输入图像帧和前面图像帧之间的光流的运动矢量；产生光流提取器提取的光流的运动矢量的角度直方图；基于角度直方图产生器产生的角度直方图，确定照相机运动和对象运动，在对象运动的情况中，提取运动对象。

附图说明

结合附图，参考下面的详细描述，本发明的更完全的了解和它的许多伴随的优点会是显而易见的，附图中同样的参考数字表示同样的或相似的部件。

图1是说明根据本发明的区别照相机运动和对象运动，及在视频照相机监视系统中提取对象的设备的框图；

图2A到2C是说明前面和当前帧图像和区别在前面和预置帧之间的光流分布的图；

图3A是说明前面帧图像的图，图3B是说明当前帧图像的图，图3C是说明其中有固定的照相机仅对象是运动的光流分布的图，图3D是说明其中仅对象是运动的光流分布的角度直方图；

图4A是说明前面帧图像的图，图4B是说明当前帧图像的图，图4C是说明其中仅照相机是通过镜头移动或倾斜运动没有任何对象运动的光流分布的图，图4D是说明其中照相机是通过镜头移动或倾斜运动的光流分布的角度直方图；

图5A是说明前面帧图像的图，图5B是说明当前帧图像的图，图5C是说明其中仅照相机是晃动的本质上没有对象运动的光流分布的图，图5D是说明其中照相机是晃动的光流分布的角度直方图；

图6A到6D是说明当仅出现对象运动没有任何照相机运动时提取对象的过程的图；

图7是说明根据本发明区别照相机运动和对象运动，及在视频监视系统中提取对象的过程的流程图。

具体实施方式

结合附图，下面详细描述提出区别照相机运动和对象运动，及在视频监视系统中提取对象的设备和方法。

图1是说明根据本发明的区别照相机运动和对象运动，及在视频照相机监视系统中提取对象的设备的框图。

如在图1中显示的，视频照相机监视系统包括图像输入单元100，噪声滤波器110，光流提取器120，角度直方图产生器130，控制器140和对象提取器150。

图像输入单元100发送能镜头移动和倾斜的照相机摄取的当前图像的图像帧到噪声滤波器110。

噪声滤波器110滤波从图像输入单元100输入的当前图像帧和前面图像帧的噪声。噪声滤波器110可包括实现高斯噪声低通滤波的高斯滤波器。

光流提取器120提取由噪声滤波器110清除高斯噪声的前面和当前帧之间的光流的运动矢量。这里术语“光流”意味着在由亮度图案逐渐变化建立的图像中明显的运动的矢量分布，并可由前面和当前帧之间的运动矢量表示。

角度直方图产生器130适于转换由光流提取器120检测和提取的光流矢量值为角度值。当产生角度直方图时，角度直方图产生器130归一化角度直方图，因此它的角度值从0到360度转换为0到36度。

为了根据预置规则确定是否由对象运动或照相机运动(例如，镜头移动或倾斜和晃动)引起图像的任何像素值变化，控制器140使用角度直方图产生器130产生的角度直方图。下面描述根据预置规则区别对象运动和照相机运动的方法。

如果控制器140确定图像的像素值变化由对象运动引起，对象提取器150在X-Y方向投影由光流检测器120检测的光流的矢量值，以便从背景图像专门地提取对象。

现在根据有前面描述的结构的本发明的区别照相机运动和对象运动，在视频监视系统中提取对象的设备的运行做详细的参考。

首先，噪声滤波器110使用高斯滤波器，从图像输入单元100输入的当前图像帧和前面帧去除高斯噪声，然后提供清除噪声的当前和前面帧到光流提取器120。

光流检测器120检测由噪声滤波器110清除噪声的前面和当前帧之间的光流。

光流技术是相似于运动矢量的技术的方法。有利地，此技术可测量每个像素的运动方向，并有比全面搜索技术更快的检测速度。这里，作为检测光流的方法，本发明采用Horn和Schunck提出的光流检测处理。

此技术假设在预先确定的区域光流是常量，并联立在八个邻近方向上的单个像素的光流约束方程，基于最小二乘法计算满足约束条件的最小值，因此产生光流。在图2A到2C中说明此技术产生的光流的结果，在图2A中显示前面帧图像，图2B显示当前帧图像，图2C显示关于前面和当前帧之间的光流检测结果的帧图像。在这些图中，看到根据脸部的运动在帧图像的脸部发生光流的变化。

通过上面的过程检测前面和当前帧之间的任何光流，提供检测的光流的运动矢量值到角度直方图产生器130。

角度直方图产生器130转换光流检测器120检测的光流的运动矢量为弧度值。

当为了估计弧度值X轴位移dx和Y轴位移dy作用到函数弧度＝atan²(dx，dy)时，获得在-π到+π范围的值，根据下面的方程1转换此值为角度值D，如果结果的角度值D是负的，根据下面的方程2执行重新计算：

D＝弧度×(180/π)    方程1

D＝180+(D×(-1))     方程2

在此情况中，涉及光流的所有运动矢量值转换为从0到360范围的值，为了便于分析将该值归一化为0到35。

例如，0到9范围的值转换为“0”，从10到19范围的值转换为“1”。

在图3D，图4D和图5D中公布转换光流的运动矢量为角度值获得的结果。

这里，图3A说明前面帧图像，图3B说明当前帧图像，图3C说明其中有固定的照相机仅对象是运动的光流分布，图3D说明其中仅对象是运动的光流分布的角度直方图，图4A说明前面帧图像，图4B说明当前帧图像，图4C说明其中仅照相机是通过镜头移动或倾斜运动没有任何对象运动的光流分布，图4D是说明其中照相机是通过镜头移动或倾斜运动的光流分布的角度直方图。

此外，图5A说明前面帧图像，图5B说明当前帧图像，图5C说明其中照相机是晃动的本质上没有对象运动的光流分布，图5D是说明其中照相机是晃动的光流分布的角度直方图。

如在图3C中显示的，当有对象运动无照相机运动时，光流局域的发生在图像特定的范围。另一方面，当发生如在图4C和5C中显示的照相机运动(例如，镜头移动或倾斜)时，能看到在整个图像区域的光流。

关于照相机运动，“镜头移动”意味着固定的照相机水平的移动视点，而“倾斜”意味着固定的照相机垂直的移动视点。在照相机镜头移动或倾斜的情况中，如在图4D中显示的角度直方图中，大的值主要存在于水平或垂直角度。另一方面，照相机晃动在整个角度显示相同的值。基于这些特征，可检测照相机运动(例如，镜头移动，倾斜和晃动)。

如在图1中显示的，控制器10的作用就是通过分析角度直方图产生器130产生的角度直方图来确定对象运动和/或照相机运动。

即，当由角度直方图产生器130产生角度直方图时，控制器140产生调节(下面讨论)，然后区别对象运动与照相机运动。此外，控制器140能区别照相机的晃动，镜头移动和倾斜。

首先，控制器140分析角度直方图，使得控制器140根据以下的规则1首先只检测对象运动和照相机运动。

规则1：对象运动和照相机运动

对象运动有在图像中产生本地光流的特征，那么根据以下的方程3检测：

$\mathrm{\θ}=\frac{\mathrm{Mv}}{\mathrm{TMv}}---\left(3\right)$

如果θ＜0.3，对象运动，

如果θ0.3，照相机运动；

其中Mv意味着实际建立的光流数量，TMv意味着可发生光流的全部像素的数量。当有光流的像素数量低于30％时，这确定是对象运动。

即，例如，如果θ小于在上面的方程3中的临界值0.3(30％)，那么，控制器140确定只发生对象运动，没有照相机运动。如果θ是临界值0.3(30％)或更大，控制器140确定只发生照相机运动，没有对象运动。

如果θ小于在上面的方程3中的预置临界值。即，实际光流产生的数量小于全部像素的30％，控制器140确定只发生对象运动，并提供光流检测图像到检测运动对象的对象提取器150。

对象提取器150在X-Y轴上投影前面和当前帧之间的光流建立区域，基于投影的直方图值产生对象的垂直和水平坐标值，以便提取对象区域。在图6A到6D中说明提取对象的过程。

图6A到6D是说明当仅出现对象运动没有任何照相机运动时提取对象的过程。总结对象提取的过程，如在图6A中显示的，检测输入图像的光流(即，前面和当前帧)，实现关于检测的光流区域的X-Y轴投影，基于投影的直方图值产生对象的垂直和水平坐标值，以便提取对象的区域。

同时，如果θ等于或大于根据上面规则1的方程3的临界值，控制器140确定只发生照相机运动，没有对象运动。

然而，此照相机运动也必须分类为镜头移动，倾斜和晃动等。

因此，为了分类照相机运动，控制器140应用下面的规则2

规则2：区分照相机的镜头移动，倾斜和晃动的规则

照相机晃动根据显示在图5D中的角度通常建立一致的直方图值，照相机镜头移动和倾斜引起照相机在一个垂直或水平方向的运动，因此，如在图4D中显示的建立一个角度的直方图轮廓突起。

因此，控制器140利用此特性并应用下面的方程4，以便区别照相机的镜头移动，倾斜和晃动：

$b=\max \left(H\right),{\mathrm{\θ}}_a=\frac{\sqrt{\underset{v=0}{\overset{35}{\mathrm{\Σ}}}{({\mathrm{\θ}}_b-{\mathrm{\θ}}_v)}^2}}{N}---\left(4\right)$

如果θ_a＜T，镜头移动，倾斜

如果θ_aT，照相机晃动；

其中b指出在角度直方图(H)中有最大累积数的角度，θ_b指出在b处的最大累积数。此外，θ_b指出在角度v的直方累积数。T指出区分照相机运动与其它因素的临界值。

基于照相机镜头移动或倾斜引起照相机在一个方向上运动的此考虑产生上面的方程4，因此在有小的标准偏移值的一个角度上建立直方图轮廓突起，然而照相机晃动引起照相机同时在几个方向上而不是在一个方向上的运动，因此有相对大的标准偏移值。通常，根据方程4，存在于0到1和34到35范围中的b指出照相机镜头移动，存在于17到19和26到27范围中的b指出照相机倾斜。

此外，控制器140可检测与照相机镜头移动，倾斜和晃动同时发生对象运动。

在此情况中，控制器140可应用下面的规则3检测在照相机镜头移动，倾斜和晃动同时发生对象运动。

规则3：与照相机的晃动，镜头移动或倾斜同时发生对象运动

当在照相机镜头移动或倾斜的中间时期发生对象运动时，必须区分它与其它因素。因此，当照相机镜头移动或倾斜发生时，根据上面在规则1中的方程3和上面在规则2中的方程4，显示在图1中的控制器140应用在规则1中的方程3到除了最大累积数角度b以外的角度直方图(H)的直方图值中。以此方式，如果规则1的方程3超过临界值，它确定对象运动与照相机的镜头移动或倾斜同时发生。

在检测对象运动和照相机运动后，仅需要基于对象运动提取对象的处理。

为了从背景中提取对象，首先在X-Y轴上投影光流提取器120检测的光流区域，基于投影的直方图值，产生对象的垂直和水平坐标值，因此提取对象区域。在图6A到6D中说明此过程。

然后，当对象运动与照相机镜头移动或倾斜同时发生时，通过X-Y轴投影从总的光流减去对应最大运动角度b的光流对象区域提取对象区域并使用剩余的光流。

参考图7，现在描述根据本发明的区别照相机运动和对象运动，及在视频监视系统中提取对象的方法。后者对应根据本发明的区别照相机运动和对象运动，及在视频监视系统中提取对象的设备的运作。

图7是说明根据本发明的区别照相机运动和对象运动，及在视频照相机监视系统中提取对象的过程。

如在图7中显示的，当在S101通过照相机输入图像时，在S102和S103中使用高斯滤波器滤除来自输入图像的当前帧的高斯噪声。

在S104和S105中也用高斯滤波器清除前面帧图像的噪声。

在S106中，如在图2中显示的提取清除噪声的前面和当前帧图像之间的光流。这里，光流技术相似于运动矢量技术，但考虑到检测速度，能有利地比全面搜索技术检测速度更快的测量每个像素的运动方向。作为检测光流的方法，本发明采用Horn和Schunck提出的检测处理。此处理假设在预先确定的区域光流是常量，并联立在八个邻近方向上的单个像素的光流约束方程，基于最小二乘法计算满足约束条件的最小值，因此产生光流。

当检测前面和当前帧图像的光流时，在S107中产生关于检测的光流矢量值的角度直方图。因为前面详细的描述产生角度直方图的过程，这里不作描述。

当产生角度直方图时，在S108中基于上面在规则1中的方程3讨论的，互相区别照相机运动和对象运动。

即，在S109中方程3的θ与临界值比较。如果θ小于临界值。即，实际光流建立量在全部像素的30％以下，确定只发生对象运动，在S115中在X-Y轴上投影前面和当前帧之间的光流区域。那么，在S116中基于投影的直方图值产生对象的垂直和水平坐标值，使得提取对象区域。在图6A到图6D中说明提取对象的此过程。

总结对象提取过程，如在图6A中显示的，检测光流作输入图像(即，前面和当前帧)，关于检测的光流区域实现X-Y轴投影，基于投影的直方图值产生对象的垂直和水平坐标值，使得提取对象的区域。

在S109中如果θ等于或大于根据上面规则1的方程3的预置临界值，确定只发生照相机运动，没有对象运动。

然而，此照相机运动也必须分类为镜头移动，倾斜和晃动等。

因此，为了区分照相机运动类型，在S110和S111中应用上面的规则2的方程4。

即，照相机晃动通常根据显示在图5D中的角度建立一致的直方图值，因此照相机镜头移动和倾斜引起照相机在一个垂直或水平方向运动，因此，如在图4D中显示的建立在一个角度的直方图轮廓突起。

因此，应用方程4区分照相机的晃动，镜头移动和倾斜。

基于照相机镜头移动或倾斜引起照相机在一个方向上运动的事实的此考虑产生上面的方程4，因此在有小的标准偏移值的一个角度上建立直方图轮廓突起，然而照相机晃动引起照相机同时在几个方向上而不是在一个方向上的运动，因此有相对大的标准偏移值。通常，根据方程4，存在于0到1和34到35范围中的b指出照相机镜头移动，存在于17到19和26到27范围中的b指出照相机倾斜。

此外，对象运动可与照相机镜头移动，倾斜和晃动同时发生。

在此情况中，在S112中可应用上面的规则3检测与照相机镜头移动，倾斜和晃动同时发生的任何对象运动。

即，如果对象运动发生在照相机镜头移动或倾斜的中间时期，必须区分此与其它因素。因此，当根据上面的规则1的方程3和上面的规则2的方程4，显示在图1中的控制器140应用上面讨论的规则1的方程3到除了角度直方图(H)中的最大累积数角度b以外的直方图值。以此方式，如果规则1的方程3超过临界值，它确定对象运动与照相机的镜头移动或倾斜同时发生。

在检测到对象运动和照相机运动后，仅需要基于对象运动提取对象的处理。

为了从背景中提取对象，首先在X-Y轴上投影由光流提取器120检测的光流区域，基于检测的投影的直方图值，产生对象的垂直和水平坐标值，因此提取对象区域。在图6A到6D中说明此过程。

那么，如果对象运动与照相机镜头移动或倾斜同时发生，在S113，S114，S115和S116中，通过从总的光流减去对应最大运动角度b的光流的X-Y轴投影，并使用剩余的光流，提取对象区域。

如上面描述的，根据本发明的区别照相机运动和对象运动，及在基于对象运动检测侵入者的视频监视系统中提取对象的设备和方法采取区别由于对象运动的实际侵入者检测和由于照相机运动或晃动的错误的侵入者检测，和万一由于对象运动的实际侵入者检测，提取相应对象。这样，从输入动态图像获得光流并转换为角度值，这确定检测的对象运动。如果角度值不超过预先确定的临界值，确定检测照相机运动或晃动。在对象运动的情况中，通过关于对象的光流的X-Y投影从对象中只提取运动的区域，然后划分对象。这在跟踪运动对象的通路的连续的帧中实现。

此外，为了检测侵入者，本发明可用于在Ubiquitous Robot Companion(URC)系统中的没有命名的的机器人监视照相机。常规运动检测方法仅仅在照相机固定的条件下利用差分图像。然而，因为监控机器人应该连续的运动和漫游监控地点，要求能区别根据机器人运动的照相机的像素值变化与根据对象运动的像素值变化。因此，本发明能区别实际的对象运动与其它的运动，那么当用于URC监控系统时检测和跟踪对应的对象。

结合优选的实例显示和描述了本发明，同时可作不偏离本发明的所附权利要求规定的各种修改，这对本领域的技术人员是显而易见的。

Claims (24)

1.一种区别照相机运动和对象运动并在视频监视系统中提取对象的设备，包括：

光流提取器，用于提取当前输入图像帧和前面图像帧之间的光流的运动矢量；

角度直方图产生器，用于产生光流提取器提取的光流的运动矢量的角度直方图；

控制器，基于角度直方图产生器产生的角度直方图区别照相机运动和对象运动，在对象运动的情况中，提取运动对象。

2.根据权利要求1所述的设备，其特征在于还包括装置，用于从当前和前面图像帧滤波噪声，并向光流提取器提供清除噪声的当前和前面图像帧。

3.根据权利要求2所述的设备，其特征在于噪声滤波装置包括清除高斯噪声的高斯滤波器。

4.根据权利要求1所述的设备，其特征在于角度直方图产生器将光流提取器提取的光流的运动矢量转换为角度，因此产生光流运动矢量的角度直方图。

5.根据权利要求4所述的设备，其特征在于在-π到+π的弧度值转换为0到360度的角度值后，产生角度直方图，然后角度值归一化为0到35。

6.根据权利要求1所述的设备，其特征在于当方程1的结果小于预先确定的临界值时，控制器确定对象运动，当方程1的结果至少是预先确定的临界值时，控制器确定照相机运动，没有对象运动，其中方程1是：

$\mathrm{\θ}=\frac{\mathrm{Mv}}{\mathrm{TMv}}$

如果θ＜临界值，对象运动，

如果θ临界值，照相机运动；

其中Mv指出实际建立的光流数量，TMv指出可发生光流的全部像素的数量。

7.根据权利要求6所述的设备，其特征在于预先确定的临界值是全部像素的30％(0.3)的实际光流建立的数量。

8.根据权利要求6所述的设备，其特征在于控制器包括对象提取器，当发生对象运动没有照相机运动时，对象提取器通过关于光流检测器检测的光流的X-Y投影提取运动对象。

9.根据权利要求1所述的设备，其特征在于控制器根据如下的方程2区分包括晃动，镜头移动和倾斜的照相机运动的类型：

b＝max(H)， ${\mathrm{\θ}}_{\mathrm{\σ}}=\frac{\sqrt{\underset{v=0}{\overset{35}{\mathrm{\Σ}}}{({\mathrm{\θ}}_b-{\mathrm{\θ}}_v)}^2}}{N}$

如果θ_σ＜T，镜头倾斜，倾斜

如果θ_σT，照相机晃动；

其中b指出在角度直方图(H)中有最大累积数的角度，θ_b指出在b的最大累积数，并指出在角度v的直方累积数。T指出区分照相机运动与其它因素的临界值。

10.根据权利要求9所述的设备，其特征在于当b存在于范围在0到1和34到35时控制器确定照相机镜头移动，当b存在于范围在17到19和26到27时确定照相机倾斜。

11.根据权利要求9所述的设备，其特征在于在根据方程2确定照相机运动类型后，当除了最大累积数的角度b以外的角度直方图(H)的剩余角度(θ)直方图值至少是方程1的临界值0.3时，控制器确定对象运动与照相机运动同时发生。

12.根据权利要求11所述的设备，其特征在于当对象运动和照相机运动同时发生时，控制器从前面和当前帧之间的全部光流中去除对应最大运动的角度的光流，应用X-Y投影到对应剩余角度的光流中，以便提取运动对象。

13.一种区别照相机运动和对象运动并在视频监视系统中提取对象的方法，方法包括步骤：

(a)提取当前输入图像帧和前面图像帧之间的光流的运动矢量；

(b)产生由步骤(a)提取的光流的运动矢量的角度直方图；

(c)基于在步骤(b)中产生的角度直方图，区别照相机运动和对象运动，在对象运动的情况中，提取运动对象。

14.根据权利要求13所述的方法，其特征在于步骤(a)包括从当前和前面图像帧滤波噪声，然后提取清除噪声的当前和前面图像帧之间的光流。

15.根据权利要求14所述的方法，其特征在于用高斯滤波器清除噪声。

16.根据权利要求13所述的方法，其特征在于步骤(b)包括将提取的光流的运动矢量转换为角度，然后产生光流运动矢量的角度直方图。

17.根据权利要求16所述的方法，其特征在于在-π到+π的弧度值转换为0到360度角度值后，产生角度直方图，然后角度值归一化为0到35。

18.根据权利要求13所述的方法，其特征在于步骤(c)包括当方程1的结果小于预先确定的临界值时，确定对象运动，当方程1的结果至少是预先确定的临界值时，确定照相机运动，没有对象运动，其中方程1如下：

$\mathrm{\θ}=\frac{\mathrm{Mv}}{\mathrm{TMv}}$

如果θ＜临界值，对象运动，

如果θ临界值，照相机运动；

其中Mv指出实际建立的光流数量，TMv指出可发生光流的全部像素的数量。

19.根据权利要求18所述的方法，其特征在于预先确定的临界值是全部像素的30％(0.3)的实际光流建立数量。

20.根据权利要求13所述的方法，其特征在于步骤(c)包括当确定发生对象运动没有照相机运动时，通过关于检测的光流的X-Y投影提取运动对象。

21.根据权利要求13所述的方法，其特征在于步骤(c)包括根据如下的方程2区分包括晃动，镜头移动和倾斜的照相机运动的类型：

b＝max(H)， ${\mathrm{\θ}}_{\mathrm{\σ}}=\frac{\sqrt{\underset{v=0}{\overset{35}{\mathrm{\Σ}}}{({\mathrm{\θ}}_b-{\mathrm{\θ}}_v)}^2}}{N}$

如果θ_σ＜T，镜头倾斜

如果θ_σT，照相机晃动；

其中b指出在角度直方图(H)中有最大累积数的角度，θ_b指出在b的最大累积数。并指出在角度v的直方图累积数。T指出区分照相机运动与其它因素的临界值。

22.根据权利要求21所述的方法，其特征在于步骤(c)包括当b存在于范围在0到1和34到35时控制器确定照相机镜头移动，当b存在于范围在17到19和26到27时确定照相机倾斜。

23.根据权利要求21所述的方法，其特征在于步骤(c)包括在根据方程2确定照相机运动类型后，当除了最大累积数角度b以外的角度直方图(H)的剩余角度(θ)直方图值是至少方程1的临界值0.3时，控制器确定对象运动与照相机运动同时发生。

24.根据权利要求23所述的方法，其特征在于步骤(c)包括当对象运动和照相机运动同时发生时，从前面和当前帧之间的全部光流中去除对应最大运动的角度的光流，应用X-Y投影到对应剩余角度的光流中，以便提取运动对象。

Images