CN101727673A - 用于基于差异直方图进行运动检测的方法和单元 - Google Patents
用于基于差异直方图进行运动检测的方法和单元 Download PDFInfo
- Publication number
- CN101727673A CN101727673A CN200910204225A CN200910204225A CN101727673A CN 101727673 A CN101727673 A CN 101727673A CN 200910204225 A CN200910204225 A CN 200910204225A CN 200910204225 A CN200910204225 A CN 200910204225A CN 101727673 A CN101727673 A CN 101727673A
- Authority
- CN
- China
- Prior art keywords
- value
- difference
- current picture
- reference picture
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于基于差异直方图进行运动检测的方法和单元。用于相对于参考画面(RP)在当前画面(CP)中进行运动检测的方法,其中针对当前画面(CP)中的多个位置确定各差值(|D|)(B100)。各差值是基于第一值与第二值之间的差来确定的,其中第一值描述当前画面(CP)中的位置之一的光度度量,并且第二值描述参考画面(RP)中对应位置的光度度量。基于差值来确定直方图(B102)。将直方图用作确定(B104)阈值(T1,T2,T3)的基础。在当前画面(CP)中的各位置处,通过将阈值(T1,T2,T3)与各位置的差值(|D|)进行比较来检测运动。
Description
技术领域
本发明涉及用于相对于参考画面(picture)在当前画面中进行运动检测的方法和单元。本发明还涉及图像捕捉设备。本发明还涉及图像显示设备和计算机程序产品。
背景技术
当前,在许多电子和消费者设备中,为了提供信息或多媒体娱乐,使用了成像技术。为了确保对所传送的图像信息的高质量再现,通常使用降噪方法。
用于图像序列中的时域(temporal)降噪的传统技术会遇到生成运动伪像(artifact)的问题,对于高噪声图像(例如在低亮度条件下以高灵敏度捕捉的图像)尤其如此。在最后所得的低对比度图像中,算法无法区分期望图像内容和噪声干扰。作为结果,可能例如在示出了运动对象的图像序列的区域中引起运动伪像。噪声水平越高(例如由于摄像机灵敏度高的缘故),传统技术所遇到的问题就越严重。
除了避免运动伪像以外,例如当显示运动对象时,在图像序列中保持自然感也是一个难题。
发明内容
本发明的目的在于避免这样的问题。
通过根据权利要求1的运动检测方法、根据权利要求13的运动检测单元、根据权利要求18的图像捕捉设备、根据权利要求19的图像显示设备以及根据权利要求20的计算机程序产品来实现该目的。从属权利要求中限定了进一步的实施例。
附图说明
为了提供对实施例的进一步的理解而提供了附图,并且附图被并入了该说明书并且构成该说明书的一部分。附图示出了实施例并且与其描述一起用于阐释实施例的原理。附图的元素不一定是彼此成比例绘制的。同样的附图标记表示对应的相似部件。
图1是示出了运动检测方法的一个实施例的框图。
图2是本发明的实施例的框图。
图3是本发明的另一实施例的框图。
图4是本发明的又一实施例的框图。
图5A和5B示出了将由本发明的实施例进行分析的当前画面和参考画面。
图6示出了就图5A和5B中所示的当前画面和参考画面而言的差异画面。
图7示出了基于差异画面的直方图(histogram)分析。
图8示出了分析结果,其中标记了包含运动的位置。
图9示出了通过本发明的实施例所生成的另一直方图。
图10示出了对图9中所示的直方图的斜率进行分析。
图11示出了运动检测单元的实施例。
图12示出了运动检测单元的另一实施例。
图13示出了运动检测单元的又一实施例。
图14示出了运动检测单元的再一实施例。
图15示出了根据本发明的实施例的显示设备。
图16示出了根据本发明的实施例的图像捕捉设备。
具体实施方式
以下,描述了本发明的实施例。十分重要的是,应当注意到可以以任意方式将所描述的全部实施例以及它们的特性和技术特征进行组合,即,并未限制特定的所描述的实施例、特性以及技术特征不可以与其他所描述的实施例、特性以及技术特征进行组合。
图1是示出了用于相对于参考画面在当前画面中进行运动检测的方法的一个实施例的框图。
在块B100处,将当前画面与参考画面进行比较。
当前画面和参考画面可以属于一个画面序列、系列或集合,就其而言可以定义时间次序。例如,画面序列可以包括可能已经由作为图像捕捉设备的摄影机或用于拍摄停止图像的数码照相机所拍摄的图像帧或场。
在这种情况下,这两个画面属于随时间改变的画面序列。参考画面可以位于当前画面之前,例如,紧接在当前画面之前。可替换地,还可以将序列中在当前画面之后出现的画面用作参考画面。此外,可能的是,参考画面和/或当前画面可能不形成画面序列的一部分。如果例如根据以支撑不动的摄影机捕捉的一系列画面,人工地生成背景画面并将其用作参考画面,将出现这种情况。
以下,假定当前画面可以包括相对于参考画面的运动。
为了解释运动的概念,举例而言,可以假定在当前画面中描绘的可见对象还可以在参考画面中被识别。对象可以与真实世界对象相关,或者可以由在当前画面和/或参考画面的位置处可见的图案形成,所述图案可以与真实世界对象无关。如果当前画面中可见的图像之一或这样的图像的一部分还可以在参考画面中被识别,但其在参考画面中的位置不同,那么以下将把该对象看作运动对象。然而,如果在参考画面中在对应位置处描绘了该对象或其所有部分,那么以下将把该对象看作保持(persisting)对象。
扩展运动的概念,还可以假定,如果当前画面的位置的任意属性与参考画面的对应位置处的属性不同,则相对于参考画面,在当前画面的该位置处可能引起了运动。
为了识别当前画面或参考画面中的位置,举例而言,可以在画面上叠加诸如笛卡尔坐标系之类的坐标系,并通过指示对应的坐标来识别位置。例如,在数字成像中,传统上,用排列在规则二维网格中的像素来描述画面,并用点、方块(square)等来表示画面。在这种情况下,二维网格可以用于以网格坐标来标识像素,并且可以用属于各位置的像素的像素坐标来描述位置。在这种情况下,位置还可以对应于单个像素。此外,位置还可以对应于包括一组像素的块(block),在块中,与块相关联的各像素可以被相邻定位,即在二维网格中相邻。作为示例,块可以包括位于画面中的10x10像素或100x100像素,其坐标差在网格的两个维度中任一维内分别小于10或小于100。
如果参考画面中的一个位置在参考画面中所处的地方基本上与当前画面中的该位置在当前画面中所处的地方相同,则参考画面的该位置可以被看作与当前画面中的位置相对应。例如,如果可以向两个画面叠加坐标系,并且可以使用对应的坐标来描述对应的位置,则将出现这种情况。在这两个画面-当前画面和参考画面包括以类似方式在空间中分布的像素的情况下,如果包含具有对应的网格坐标的像素,则画面中的位置可以被看作是对应的。
当前画面和/或参考画面中的每个位置可以具有可以用光度度量(measure)表示的属性。所述属性可以与可由光度度量反映的、对于观察者而言可见的画面方面(如亮度或色度)相关。
亮度可以反映发光强度。色度可以包括颜色信息,并且可以例如用两个色差分量(如蓝色亮度和红色亮度)来表示,或者可以被表示为HSV空间的色调值和/或饱和值或YUV-色空间的Cb-或Cr-色度值或描述相同测量类别的另一值。
光度度量所反映的位置的属性可以例如与位置相关联。如果位置包括像素,则可以将光度度量的对应值存储为像素的值。
当在B100处将当前画面与参考画面进行比较时,可以针对当前画面和参考画面的位置来确定差值。差值可以基于对应位置的光度度量的差异。为此,可以针对当前画面中的多个位置确定各差异。
可以基于第一值和第二值来确定这些差异。第一值与当前画面中的位置之一相关,可以描述与该位置相关联的光度度量。另一方面,第二值可以描述参考画面中对应位置的光度度量。因此,举例而言,可以确定当前画面和参考画面中对应位置的亮度或色度值的差异。
在B102处,基于在B100处计算的差值来确定直方图。直方图可以反映所有潜在差值出现的概率。例如,其可以在二维坐标系中显示观测频率,在所述二维坐标系中将观测频率绘制为横坐标区间上的纵坐标值。因此,在直方图中,可以绘制当前画面和参考画面的所观测到的差值。
作为横坐标上的区间,可以使用将横坐标划分为区间的对横坐标的任意划分,包括结合所有潜在差值进行划分。
可以根据各区间的宽度来调整直方图的纵坐标值。例如,纵坐标值可以被选择为使得直方图的面积反映属于各区间的差值的观测频率。
因此,在直方图中,同很少出现的差值相比,观测频率高的差值与纵坐标上较高的值相关联。换言之,如果对于当前画面中的许多位置,相对于参考画面的对应位置出现特定差值,那么该差值的观测频率将比较高,并将引起与作为直方图中横坐标值的差值相关联的比较高的纵坐标值。
例如,如果相对于参考画面,在当前画面中观察到在背景上运动的运动对象,则该运动对象可能使得依赖运动对象和背景的属性的特征差值发生在许多位置,从而将使得特征差值在直方图中具有高的观测和描绘频率。
另一方面,例如由于属于背景或保持对象,基本保持不变的画面中的位置的差值可能具有0附近的相对小的值。因此,如果仅有少数对象是运动的,或者如果仅有少数位置与运动对象相关,则对于许多位置而言将确定出相对小的差值。
作为结果,与保持对象或背景相关的大量位置将引起小的差值,从而引起在直方图横坐标上的0值附近的直方图值的局部极大值。
因此,可以根据直方图的形状(例如,根据与0附近的小值相关联的直方图值)得到可用于相对于参考画面检测当前画面中的位置处的运动的阈值。
这在B104处被示出,其中基于直方图来确定阈值,并且在B106处示出了通过将在B104处确定的阈值与各位置的差值进行比较来检测当前画面中各位置处的运动。
例如,可以确定阈值,以使得比较大量的位置具有小于该阈值的差值,并且使得只有比较小量的位置具有大于该阈值的差值。在这种情况下,可以假定该阈值适于通过确定各差值是否大于阈值来识别可能属于运动对象的位置。另一方面,可以假定具有较小差值的位置属于背景或保持对象。
基于在B106处获得的运动检测的结果,可以相对于参考画面来降低当前画面中的时域噪声。为了降低时域噪声,可以使用诸如帧堆积(frame piling)或用平均像素值来替换像素值之类的常规方法。
这些传统技术可以被应用于未检测到运动的位置。对于已经被识别为可能包含运动的位置,即可能与运动对象相关的位置,没有可以应用的时域降噪。这使得可以抑制运动伪像,所述运动伪像可能是由对包含运动的位置应用传统时域降噪技术而引起的。
因此,通过应用图1所示的方法,可以区分期望图像内容和噪声干扰。由于该方法独立于噪声特性,无需确定噪声特性,并且可以在独立于噪声特性和图像内容的情况下应用该方法。当被用作决定是否应在一位置中应用时域降噪的方法时,该方法允许抑制运动伪像。
如上所述,可以对包括与画面中的位置相对应的、并存储了相关光度度量的像素的当前画面和参考画面应用图1所示的方法。在这种情况下,可以基于当前画面和参考画面的对应像素的光度度量来确定差值。接着,根据已通过逐像素计算所确定的差值来确定直方图。
可替换地或另外,如前所述,可以将空间上部署在当前画面或参考画面中相邻位置中的像素分配至块。在图1中所示的方法中,在这种情况下位置可以包括块,并且可以基于当前画面中各块的像素值与参考画面中对应块的像素值之间的差来确定块的差值。
如果对应块包括对应像素,则例如可以通过将包含在该块内的当前画面中的像素的像素值与参考画面的对应像素的像素值之间的绝对差进行求和来确定差值。因此,可以确定逐块差值,从而反映了包含在各块中的像素值的差。
差值的逐块确定允许例如容易地、以比较少的计算量来确定直方图,并且与逐像素确定差值相比基本上不改变差值的分布和直方图的形状。因此,可以以较少的计算量执行运动检测。
图2是示出了本发明的另一实施例的框图。在该实施例中,分别对当前画面和参考画面应用空间降噪。可以对例如强噪声的画面应用通过应用空间降噪进行的空间预滤波,以降低噪声水平。
接着,在如图1中的B100处所描述的那样,在DIFF处计算针对当前画面和参考画面中的位置的差值。此外,如在ABS处所示,在该实施例中,可以使用当前画面和参考画面的光度度量的差的绝对值来代替带正负符号的差。可以将差的绝对值看作差值,并用作确定直方图的基础。
为了估计直方图的形状,可以计算直方图的斜率。为此,可以例如通过应用平滑滤波器来对直方图进行平滑,以得到可微函数。可替换地,可以通过将对应于直方图中两相邻横坐标值的纵坐标值的差除以横坐标值的差来确定斜率,从而计算连接纵坐标或直方图值的直线的陡度。
斜率可以被用于分析直方图中观测频率的分布和/或直方图的形状。例如,可以使用斜率来定位与可能属于背景或保持对象或包含运动的位置相对应的直方图中的局部极大值。因此,可以基于斜率来确定阈值。
通过分析斜率,可以研究接近于横坐标值0的直方图的形状。为此,可以确定直方图中的第一横坐标值和第二横坐标值,并基于第一横坐标值和第二横坐标值来确定阈值,对于所述第一横坐标值,达到了斜率的局部极小值,对于所述第二横坐标值,达到了后续的斜率的局部极大值。例如,可以从在第一横坐标值与第二横坐标值之间延伸的区间中选择阈值。
因此,在图2中所示的实施例中,可以基于直方图的斜率来确定阈值。
可以通过将阈值与各位置的差值进行比较来应用阈值以检测运动。在图2的实施例中,如果阈值小于针对各位置计算的绝对差,则可以将该位置识别为可能包含运动。此外,如果阈值大于针对各位置计算的绝对差,则可以将该位置识别为可能不包含运动。
在该实施例中,确定二进制图(binary map),其中可以识别可能包含运动的位置。
在图3中,用框图示出了本发明的另一实施例。可以假定与图2中所示的那些相对应的块具有相似的功能。
除了图2所示的实施例,在图3的实施例中,可以确定平坦区域(flat area)。接着,可以基于确定平坦区域的结果来执行阈值确定。因此,可以确定不同的阈值,并根据各位置是否属于平坦区域来将不同的阈值应用于各位置。同非平坦区域相比,对于平坦区域,可以选择较大的阈值,从而实现对时域噪声的有效识别。
为了确定平坦区域,可以例如通过滑动或静态块构建,来将当前画面和参考画面划分成块。对于每个块,可以确定块的均匀性(homogeneity)。基于块的均匀性,可以确定阈值。对于具有比较高的均匀性的块,可以假定该块属于平坦区域。然而,对于较不均匀的块,可以假定该块不属于平坦区域。
为了确定块的均匀性,可以基于像素差值来确定块内直方图。为了确定块内直方图,可以针对包含在块内的多个像素来确定各像素差值。可以基于第一像素值与第二像素值之间的像素差来确定像素差值。第一像素值可以描述属于当前画面的块的像素之一的光度度量,并且第二像素值可以描述参考画面中对应像素的光度度量。在块内直方图中,绘出了像素差值的观测频率。可以基于块内直方图的宽度来确定块的均匀性。例如,可以通过分析块内直方图的数学特性来确定宽度。还可以在分析块内直方图之前应用平滑滤波器。
在图4中,绘出了示出本发明的另一实施例的框图。该实施例结合了根据上述实施例的检测运动的各种方法。
在该实施例中,可以生成当前画面和参考画面的实体,每个实体把包含在当前画面和参考画面内的信息简化为与多个光度度量中的至少一个相关的信息。
例如,如图4的上分支(thread)TR1所示,可以将当前画面和参考画面简化为它们的亮度分量。对最后所得的实体应用空间降噪。之后,根据图3所示的实施例来处理实体。一方面,如上半分支TR1所示,基于像素值来执行处理。另一方面,如上所述以及如下半分支TR1所示,根据基于块的差计算来执行处理。在这两种方法中,确定阈值,并将阈值应用于绝对差画面。
此外,如图3的下分支TR2所示,可以通过将信息简化为诸如Yuv-色空间的Cb-Cr-色度值之类的色度信息,来生成当前画面和参考画面的实体。可以对这些实体应用空间降噪。接着,通过将当前画面的实体的对应像素的像素值与参考画面的实体的对应像素值相减来计算差值。为此,可以基于被简化为同种信息的实体(即被简化为Cb-色度值或Cr-色度值的那些)来计算差异。这在DIFF处示出。接着,可以取这些差异的绝对值,并将它们相加,如ABS处所示。例如,如果属于当前画面中的相同像素,则可以将绝对值相加,如SUM处所示。基于该累加绝对值,可以确定和估计另一直方图,以便确定另一阈值。如上所述,例如对于图3所示的实施例,可以将该另一阈值应用于当前画面。
基于如图4中所示的那样确定的三个不同的阈值,可以执行运动检测。例如,可以通过将每个阈值与各差值进行比较,将位置确定为可能包含运动。如果至少一个差值大于相应阈值,则可以将相应位置识别为可能包含运动。可替换地,如果图4中所计算的全部差值都大于相应阈值,才可以将相应位置确定为可能包含运动。应当注意的是,基于不同的光度度量来组合运动检测的结果可以以任意方式(例如通过任意的表决算法)来进行组合。
可以使用针对各种光度度量来执行运动检测,以便即使在当前和/或参考画面中的可变亮度或色度条件下,提高结果的健壮性。
在图5A中,示出了显示对象O的参考画面RP的亮度。在背景中,亮度被设置为值100,而对于对象O,亮度被设置为0。
图5B示出了相对于参考画面RP的当前画面CP。在当前画面CP中,对象O已经移向右上角。如图5A中所示,根据对象O的位置来设置亮度。
图6示出了当前画面CP相对于参考画面RP的差异画面DP。在区域602中,由于在RP和CP的对应位置中的亮度条件的缘故,绝对差|D|为0。在区域604以及区域606中,由于由对象O引起的相对于RP在CP中的运动的缘故,绝对差|D|等于100。然而,在区域608中,由于在该区域中在当前画面CP和参考画面RP中亮度条件均为0,所以绝对差|D|为0。
在图7中,示出了基于图6的差异画面DP中的绝对差|D|的直方图。直方图被示出于由横坐标ABSC和纵坐标ORD所扩展的坐标系中。
位于横坐标ABSC上的0处的第一直方图值H1指示,较大数量的、差异画面DP中绝对差|D|=0的像素。较小的直方图值H2指示,较少数量的、图6的差异画面DP中绝对差|D|=100的像素。
当确定斜率时,如上所述,基于连接属于相邻横坐标值(如直方图中的自然数)的纵坐标值的直线,在0与1之间斜率可以被确定为负值,在1与99之间为0,在99与100之间的区间内为正值,在100与101之间的区间内为负值。
如上所述,第一阈值T1可以被任意设置在从0延伸的斜率为负值的区间中。另外或可替换地,另一阈值T2可以被设置在斜率为正值的区间中。
接着,可以使用阈值T1和T2来识别可能属于运动对象或可能属于背景或保持对象的位置。具体地,第一阈值T1可适用于通过识别绝对差|D|小于T1的位置,来识别背景位置和保持对象。另一方面,阈值T2可适用于识别属于运动对象的位置。
图8示出了基于图7所示的直方图的运动检测结果,图8示出了运动识别画面MIP,其中由边界B标识了可能属于运动对象的区域MA1和MA2。边界B可能是通过将来自图6所示的差异画面DP的绝对差|D|与阈值T1、T2之一进行比较而得到的。在该例中,这两个阈值都引起由边界B可视化表示的相同运动检测结果。对于更复杂的包含各种像素值的画面,阈值T1可适用于识别属于背景的位置,而阈值T2可适用于区分运动对象。
阈值T1被设置得越大,被识别为属于背景的位置就越多,并且例如可以对越多的像素进行时域降噪。另一方面,阈值T2被设置得越大,被识别为属于运动对象的位置就越少。因此,阈值T2的选择可能引起对运动对象的不同程度精度的识别。
图9示出了在本发明的实施例中确定的另一直方图。在横坐标900上,绘出了差值的绝对值。在纵坐标902上,绘出了差值的绝对值的频率。为了实现对直方图特性的容易分析,已经对直方图进行了平滑滤波,从而产生了连续的直方图函数。直方图函数包括与904、906、908和910相对应的横坐标值附近的若干局部极大值。在904附近达到全局极大值。
在图10中,在由横坐标1000和纵坐标1002所扩展的坐标系中示出了图9所绘出的直方图函数的斜率。在1004附近,近似达到斜率的全局极小值。因此,可以将0附近的对应横坐标值选为第一横坐标值。
在1006处,达到后续的斜率的局部极大值。因此,可以将对应的横坐标值选作第二横坐标值。在本发明的该实施例中,接着,可以基于第一横坐标值和第二横坐标值,例如从以第一横坐标值和第二横坐标值作为边界的区间中,选择阈值T3
如果根据图10中所示的实施例选择阈值T3,并将其设置为对于小横坐标值而言接近于斜率的全局极小值的值,那么阈值T3可用于识别可能属于背景或保持对象的位置。
图11示出了用于相对于参考画面在当前画面中检测运动的运动检测单元1100。当前画面和参考画面可以由处理器1102接收并被存储在存储器1104中。处理器1102可以在接收到当前画面和参考画面时执行运动检测。可替换地,可以从存储器1104中获取当前画面和参考画面。
处理器1102可以被配置为确定与当前画面和参考画面中的位置相关的差值的直方图。可以基于与各位置相关的差值和差值的直方图,来检测当前画面中各位置处的运动。
此外,可以在存储器1104中存储包含程序代码的计算机程序产品。程序代码可以被配置为,在被加载到处理器1102中时,执行根据上述实施例之一的运动检测方法。
图12示出了包括处理器1102和存储器1104的运动检测单元1100的另一实施例。在该实施例中,处理器1102还包括:差异分析机制,被配置为通过确定描述与各位置相关的光度度量的第一值与第二值之间的差,来分析与当前画面中的位置相关的差值。
此外,处理器1102包括:直方图分析机制,被配置为例如根据图7和9中所示的实施例之一来生成并分析差值的直方图。
此外,处理器1102包括:运动检测机制,被配置为基于直方图分析机制和差异分析机制的结果,来检测当前画面中各位置处的运动。
直方图分析机制还可以被配置为,基于直方图来确定阈值。在这种情况下,运动检测机制可以被配置为,基于由直方图分析机制所确定的阈值和差异分析机制所确定的差值,来检测运动。
在图13中示出了,处理器1102还可以包括:平坦区域检测机制,被配置为基于直方图分析机制所确定的块内差值的块内直方图,来检测当前画面和/或参考画面中的平坦区域。可以根据图3中所示的实施例来确定块内直方图。在该实施例中,可以基于平坦区域检测机制的结果来检测运动。
在图14中,示出了运动检测单元1100的另一实施例,其中处理器1102还包括时域降噪机制。时域降噪机制可以被配置为,基于运动检测机制的结果,相对于参考画面来降低当前画面中的时域噪声。为此,可以对已检测到没有运动的位置应用时域降噪方法。这使得可以避免运动伪像,否则可能因对包含运动的位置应用了时域降噪而导致运动伪像。
在图15中,示出了根据本发明实施例的图像显示设备1500。图像显示设备1500包括:显示器1502,用于显示诸如当前画面或参考画面之类的画面和/或显示诸如视频流等之类的画面序列。可以将待显示的画面存储在存储器1504中。还可以包含集成电路1506。集成电路1506可以被配置为执行在存储器1504中存储的、根据上述方法中任一个的、用于相对于参考画面对当前画面进行运动检测的方法。此外,集成电路1506可以包括例如与图14所示的机制类似的时域降噪机制。因此,采用集成电路1506,可以以降低的时域噪声将诸如视频流之类的画面序列显示在显示器1502上,同时可以避免运动伪像。因此,可以将集成电路1506看作运动检测单元。
在图16中,示出了图像捕捉设备1600。图像捕捉设备1600包括:光学机构(optical setup)1602,被配置为将当前画面和参考画面捕捉作为例如视频流的一部分。此外,图像捕捉设备1600可以包括例如在集成电路1604上实现的运动检测单元,其被配置为执行根据上述实施例中任一个的运动检测方法。此外,可以包括用于将当前画面和参考画面存储作为例如视频序列的一部分的芯片1606。因此,芯片1606可以被看作用于存储视频流的存储器。
虽然以上已经说明和描述了特定实施例,但所属领域技术人员将会理解,可以在不背离本发明的范围的情况下,用多种可替换和/或等效的实施方式来替代所示出和描述的特定实施例。本申请意在涵盖此处讨论的特定实施例的任意适配或变型。因此,本发明旨在仅由权利要求及其等价物来限定。
Claims (20)
1.用于相对于参考画面在当前画面中进行运动检测的方法,包括:
-基于第一值与第二值之间的差,针对当前画面中的多个位置确定各差值,其中第一值描述当前画面中的位置之一的光度度量,并且第二值描述参考画面中对应位置的光度度量;
-基于差值来确定直方图;
-基于直方图来确定阈值;
-通过将阈值与各位置的差值进行比较,来检测当前画面中各位置处的运动。
2.根据权利要求1所述的方法,还包括:
-确定直方图的斜率;
-确定获得斜率的局部极小值的第一横坐标值以及获得后续的斜率的局部极大值的第二横坐标值;以及
-基于第一横坐标值和第二横坐标值来选择阈值。
3.根据权利要求1或2所述的方法,其中当前画面和参考画面的位置中的至少一个对应于像素。
4.根据权利要求1所述的方法,其中当前画面和参考画面的位置中的至少一个对应于块,所述块包括在空间上置于相邻位置的多个像素。
5.根据权利要求4所述的方法,其中块的各差值通过将包含在所述块内的当前画面的像素的像素值与参考画面的对应像素的像素值之间的绝对差求和来确定,所述像素值描述各像素的光度度量。
6.根据权利要求4或5所述的方法,还包括:
-确定块的均匀性;以及
-基于块的均匀性来确定阈值。
7.根据权利要求6所述的方法,其中确定块的均匀性包括:
-基于第一像素值与第二像素值之间的像素差,针对包含在所述块内的多个像素,确定各像素差值,其中第一像素值描述当前画面中的像素之一的光度度量,并且第二像素值描述参考画面中对应像素的光度度量;
-基于像素差值来确定块内直方图;以及
-确定块内直方图的宽度。
8.根据权利要求1所述的方法,其中针对至少两个光度度量来确定各阈值,并且其中基于各阈值来执行当前画面中各位置处的运动检测。
9.根据权利要求1所述的方法,其中所述光度度量是亮度和/或色度。
10.根据权利要求1所述的方法,其中确定差值包括计算第一值与第二值之间的差的绝对值。
11.根据权利要求1所述的方法,还包括:
-降低当前画面和/或参考画面中的空间噪声。
12.根据权利要求1所述的方法,还包括:
-基于在各位置中检测运动的结果,降低当前画面的各位置中的时域噪声。
13.用于相对于参考画面在当前画面中检测运动的运动检测单元,包括:
-存储器,被配置为存储当前画面和参考画面;以及
-处理器,被配置为确定与当前画面和参考画面中的位置相关的差值的直方图,并且基于相关差值和差值的直方图来检测当前画面中各位置处的运动。
14.根据权利要求13所述的运动检测单元,其中所述处理器包括:
-差异分析机制,被配置为通过确定第一值与第二值之间的差来分析与当前画面中的位置相关的差值,第一值描述与当前画面中各位置相关的光度度量,并且第二值描述参考画面中对应位置的光度度量;
-直方图分析机制,被配置为生成并分析差值的直方图;
-运动检测机制,被配置为基于与位置相关的直方图分析装置的结果以及直方图分析机制的结果来检测当前画面中各位置处的运动。
15.根据权利要求14所述的运动检测单元,其中所述直方图分析机制还被配置为确定阈值,并且其中运动检测机制被配置为基于阈值来检测运动。
16.根据权利要求15所述的运动检测单元,还包括:平坦区域检测机制,其被配置为基于通过直方图分析机制所确定的块内差值的块内直方图来检测当前画面和/或参考画面中的平坦区域,并且其中所述阈值是基于平坦区域检测机制的结果来确定的。
17.根据权利要求14或15所述的运动检测单元,其中所述处理器还包括:时域降噪机制,其被配置为基于运动检测机制的结果,相对于参考画面降低当前画面中的时域噪声。
18.图像捕捉设备,包括:
光学机构,被配置捕捉当前图像和参考图像;以及
根据权利要求13所述的运动检测单元。
19.图像显示设备,包括:
显示器;以及
根据权利要求13所述的运动检测单元。
20.包含程序代码的计算机程序产品,所述程序代码被配置为当被加载到处理器中时执行根据权利要求1所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08017968.2 | 2008-10-14 | ||
EP08017968A EP2178289B1 (en) | 2008-10-14 | 2008-10-14 | Method and unit for motion detection based on a difference histogram |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101727673A true CN101727673A (zh) | 2010-06-09 |
Family
ID=40344487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910204225A Pending CN101727673A (zh) | 2008-10-14 | 2009-10-14 | 用于基于差异直方图进行运动检测的方法和单元 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8208030B2 (zh) |
EP (1) | EP2178289B1 (zh) |
CN (1) | CN101727673A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930325A (zh) * | 2010-07-22 | 2010-12-29 | 明基电通有限公司 | 定位方法及显示系统 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4858609B2 (ja) * | 2007-02-27 | 2012-01-18 | 日本電気株式会社 | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム |
CN101859440A (zh) * | 2010-05-31 | 2010-10-13 | 浙江捷尚视觉科技有限公司 | 基于块的运动区域检测方法 |
JP5962594B2 (ja) * | 2013-06-14 | 2016-08-03 | 株式会社デンソー | 車載表示装置およびプログラム |
US9330306B2 (en) | 2014-06-11 | 2016-05-03 | Panasonic Intellectual Property Management Co., Ltd. | 3D gesture stabilization for robust input control in mobile environments |
KR102289261B1 (ko) | 2014-10-30 | 2021-08-12 | 한화테크윈 주식회사 | 움직임 영역 검출 장치 및 방법 |
CN111932586B (zh) * | 2020-08-03 | 2021-10-08 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜的帧率调节系统和方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2769733B1 (fr) * | 1997-10-15 | 2000-01-07 | Jeffrey Horace Johnson | Procede d'extraction automatique d'inscriptions imprimees ou manuscrites sur un fond, dans une image numerique multiniveaux |
US6298144B1 (en) * | 1998-05-20 | 2001-10-02 | The United States Of America As Represented By The National Security Agency | Device for and method of detecting motion in an image |
US6809758B1 (en) * | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
WO2004099773A1 (en) * | 2003-04-30 | 2004-11-18 | Pfizer Products Inc. | Automated in vitro cellular imaging assays for micronuclei and other target objects |
US7880769B2 (en) * | 2004-02-13 | 2011-02-01 | Qualcomm Incorporated | Adaptive image stabilization |
EP1924097A1 (en) * | 2006-11-14 | 2008-05-21 | Sony Deutschland Gmbh | Motion and scene change detection using color components |
-
2008
- 2008-10-14 EP EP08017968A patent/EP2178289B1/en not_active Not-in-force
-
2009
- 2009-09-15 US US12/560,015 patent/US8208030B2/en not_active Expired - Fee Related
- 2009-10-14 CN CN200910204225A patent/CN101727673A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930325A (zh) * | 2010-07-22 | 2010-12-29 | 明基电通有限公司 | 定位方法及显示系统 |
CN101930325B (zh) * | 2010-07-22 | 2012-05-30 | 明基电通有限公司 | 定位方法及显示系统 |
Also Published As
Publication number | Publication date |
---|---|
EP2178289B1 (en) | 2012-06-27 |
US8208030B2 (en) | 2012-06-26 |
US20100091126A1 (en) | 2010-04-15 |
EP2178289A1 (en) | 2010-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8280106B2 (en) | Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof | |
CN101727673A (zh) | 用于基于差异直方图进行运动检测的方法和单元 | |
US7982798B2 (en) | Edge detection | |
US9444977B2 (en) | Method and device for adaptive noise measurement of a video signal | |
CN102348128B (zh) | 具有摄像机异常检测装置的监视用摄像机系统 | |
US8355079B2 (en) | Temporally consistent caption detection on videos using a 3D spatiotemporal method | |
JPH07302328A (ja) | 背景差分による動物体領域抽出方法 | |
GB2358098A (en) | Method of segmenting a pixelled image | |
AU2008200966A1 (en) | Stationary object detection using multi-mode background modelling | |
JPH10164598A (ja) | シーン変化検出方式 | |
JP5060264B2 (ja) | 人物検出装置 | |
GB2458934A (en) | Detection of linear boundary between image border and picture regions based on pixel spatial gradients | |
US9147257B2 (en) | Consecutive thin edge detection system and method for enhancing a color filter array image | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
JP5059855B2 (ja) | 大域的動き推定方法 | |
JP2009116686A (ja) | 撮像対象検出装置および方法 | |
JP2001126192A (ja) | 駐車場の駐車スペースの駐/空車判定方法 | |
US7791673B2 (en) | Method and system for polarity change count | |
KR101793400B1 (ko) | 후보영역에서의 차량의 하단선 검출방법 | |
Farin et al. | Misregistration errors in change detection algorithms and how to avoid them | |
US8902360B2 (en) | Method for detecting image sequences having linewise repeated data | |
CN101399968B (zh) | 单色监视相机中阴影和高光检测方法 | |
WO2000034918A9 (en) | Interactive edge detection markup process | |
US20120045148A1 (en) | Image processing apparatus | |
CN111325804A (zh) | 一种确定yuv图像显示参数的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20160406 |
|
C20 | Patent right or utility model deemed to be abandoned or is abandoned |