CN100385936C - 检测背景运动向量的方法和装置 - Google Patents

检测背景运动向量的方法和装置 Download PDF

Info

Publication number
CN100385936C
CN100385936C CNB2003801091525A CN200380109152A CN100385936C CN 100385936 C CN100385936 C CN 100385936C CN B2003801091525 A CNB2003801091525 A CN B2003801091525A CN 200380109152 A CN200380109152 A CN 200380109152A CN 100385936 C CN100385936 C CN 100385936C
Authority
CN
China
Prior art keywords
motion vector
motion
image
model
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003801091525A
Other languages
English (en)
Other versions
CN1742486A (zh
Inventor
R·B·维特布鲁德
G·德哈安
R·洛德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32748939&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN100385936(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1742486A publication Critical patent/CN1742486A/zh
Application granted granted Critical
Publication of CN100385936C publication Critical patent/CN100385936C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

用于从为一个图像所计算的运动向量组中选择在该像素的封闭区域中的像素的背景运动向量的选择器(502)包括:计算装置(510),用于根据在图像的运动向量域(400)的一部分(402-436)的基础上确定的运动模型来计算像素的基于模型的运动向量;比较装置(511),用于把基于模型的运动向量与运动向量组中的每个运动向量进行比较;以及选择装置(512),用于根据该比较来选择运动向量组中的特定的运动向量以及用于把该特定的运动向量指定为背景运动向量。

Description

检测背景运动向量的方法和装置
技术领域
本发明涉及用于从为一个图像所计算的一组运动向量中选择在该图像的封闭区域中的像素的背景运动向量的选择器。
本发明还涉及用于根据输入图像序列计算在输出图像的封闭区域中的像素值的上变换单元,该上变换单元包括:
-运动估计单元,用于估计图像的运动向量,这些运动向量形成运动向量域;
-检测单元,用于根据运动向量来检测图像的封闭区域;
-运动模型确定单元,用于根据运动向量域的一部分来确定运动模型;
-内插单元,用于根据背景运动向量借助于时间的内插来计算像素值;以及
-该选择器如上所述用于选择该像素的背景运动向量。
本发明还涉及图像处理设备,它包括:
-接收装置,用于接收相应于输入图像序列的信号;以及
-如上所述的上变换单元。
本发明还涉及用于从为一个图像所计算的一组运动向量中选择在该图像的封闭区域中的像素的背景运动向量的方法。
本发明还涉及要被计算机设备装载的计算机程序产品,包括用于从为一个图像所计算的一组运动向量中选择在图像的封闭区域中的该像素的背景运动向量的指令。
背景技术
在从运动补偿图像速率变换器得到的图像中,在运动物体的边界处可以看到伪像,这时会出现对背景的遮盖或未遮盖。这些人工产物通常被称为光晕。对于这些光晕的出现有两个原因。第一个较为无足轻重的原因是,运动向量域的分辨率。通常,其上可得到运动向量的网格的密度远小于像素网格的密度。例如,如果运动向量是针对8×8像素的块而得到的,则运动的物体的轮廓在向量网格中只能粗略地近似,导致块状的光晕效应。第二个不是那么无足轻重的原因是,运动估计单元在其中出现遮盖或未遮盖的区域不能很好地执行对在视频序列的两个接连的图像之间运动的估计,因为对于这些区域而言通常背景信息只出现在两个图像的任一个图像中。
而且,上变换单元通常通过使用错误地估计的运动向量来组合来自两个图像的信息(即双向内插)以便创建上变换的图像。因为这些图像之一由于封闭而不包含正确的信息,所以上变换的图像对于封闭区域是不正确的。
为了解决这些问题,上变换单元应当能够检测封闭区域,检测在这些区域中存在的封闭的类型(即,遮盖或未遮盖),确定用于这些区域的正确的运动向量,以及执行上变换。G.de Haan的著作“Videoprocessing for multimedia systems(用于多媒体系统的视频处理)”,University Press Eindhoven,2000,ISBN 90-9014015-8的第4章描述了用于检测封闭区域和用于遮盖/未遮盖分类的方法。所以,留下了确定在封闭区域中的正确的运动向量的需求。
发明内容
本发明的目的是提供一个用于容易地确定在封闭区域中的适当的运动向量的选择器。
本发明的目的是这样达到的,该选择器包括:
-计算装置,用于根据在图像的运动向量域的一部分的基础上所确定的运动模型来计算像素的基于模型的运动向量;
-比较装置,用于把基于模型的运动向量与运动向量组中的每个运动向量进行比较;以及
-选择装置,用于根据所述比较来选择运动向量组中的特定的运动向量以及用于把该特定的运动向量指定为背景运动向量。
典型地,为封闭区域所计算的运动向量组包括一个相应于前景运动的运动向量(即前景运动向量)和一个相应于背景运动的运动向量(即背景运动向量)。然而,并不直接知道运动向量组中哪个运动向量相应于背景。这个背景运动向量可相应于零向量,即,无运动。然而,应当指出,在许多情形下,要移动摄影机以跟踪场景的主要对象。这意味着,前景运动向量相应于零向量而背景运动向量不等于零向量。
为了从运动向量组中选择背景运动向量,使用图像的背景的全局运动模型。根据该模型,针对特定的像素来确定基于模型的运动向量。运动向量组的各个运动向量与基于模型的运动向量进行比较。拟合得最好的运动向量被选择为背景运动向量。
优选地,全局运动模型是基于运动向量域各边界的运动向量的。换句话说,为了确定运动模型而应用的运动向量域的这一部分对应于针对图像边界的邻域中的像素组而估计的运动向量。这些运动向量对应于边界的概率是相当高的。
在按照本发明的选择器的实施例中,比较单元被安排来计算在基于模型的运动向量与运动向量组中的各相应运动向量之间的差值,以及选择单元被安排成如果相应的差值是所述差值中的最小差值,则选择该特定的运动向量。该差值可以是L1-范数,即要被比较的运动向量的各分量的绝对差的和值。替换地,该差值是L2-范数,即要被比较的运动向量的分量的平方差的和值。
在按照本发明的选择器的实施例中,运动模型包括平移(translation)和图像缩放(zoom)。这样的模型的参数是相对较容易计算的,而同时模型是坚固的。通过这样的总体缩放(pan-ZOOM)模型,可以描述视频图像内的最常见的几何运算。通过这个总体缩放模型,基于模型的特定的像素的运动向量D可被确定为:
D → b = t x + z x x t y + z y y - - - ( 1 )
其中tx和ty规定平移,zx和zy规定图像缩放,以及x和y规定图像中的位置。在US 6,278,736和G.de Haan等,“A efficient true-motion estimator using candidate vectors from a parametricmotion model(使用来自参数运动模型的候选向量的有效的真实运动估计器)”,IEEE Transactions on circuits and systems for videotechnology,Vol.8,No.1,pp.85-91,March 1998中描述如何根据运动向量域的一部分构建运动模型。
本发明的另一个目的是提供在开头段落中描述的那种上变换单元,它包括用于容易地确定在封闭区域中的适当的运动向量的选择器。
本发明的这个目的是这样达到的,即用于选择像素的背景运动向量的选择器是如权利要求1中要求的。
本发明的另一个目的是提供在开头段落中描述的那种图像处理设备,它包括用于容易地确定在封闭区域中的适当的运动向量的选择器。
本发明的这个目的是这样达到的,即用于选择像素的背景运动向量的选择器是如权利要求1中要求的。
图像处理设备可包括附加部件,例如,用于显示输出图像的显示设备。图像处理设备可支持一种或多种以下类型的图像处理:
-视频压缩,即,例如按照MPEG标准的编码或译码;
-去隔行扫描:隔行扫描是用于交替地发送图像的奇数或偶数行的通用视频广播过程。去隔行扫描试图恢复全部垂直分辨率,即使得每个图像同时可得到奇数或偶数行。
-图像速率变换:根据原先的输入图像系列计算更多的系列的输出图像。输出图像暂时被放置在两个原始的输入图像之间;以及
-时间噪声减小:这也可牵涉到空间处理,导致空间-时间噪声减小。
图像处理设备可以是电视机、机顶盒、VCR(盒式磁带录像机)播放器、卫星调谐器、DVD(数字通用盘)播放器或记录器。
本发明的再一个目的是提供一种用于容易地确定在封闭区域中的适当的运动向量的方法。
本发明的这个目的是用这样的方法达到的,该方法包括:
-根据在图像的运动向量域的一部分的基础上所确定的运动模型来计算像素的基于模型的运动向量;
-把基于模型的运动向量与运动向量组中的每个运动向量进行比较;以及
-根据比较结果选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
本发明的再一个目的是提供在开头段落中描述的那种计算机程序产品,它用于容易地确定在封闭区域中的适当的运动向量。
本发明的这个目的是这样达到的,即计算机程序产品在被装载后为处理装置提供实行以下步骤的能力:
-根据在图像的运动向量域的一部分的基础上所确定的运动模型来计算像素的基于模型的运动向量;
-把基于模型的运动向量与运动向量组中的每个运动向量进行比较;以及
-根据该比较来选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
选择器的修正方案及其变例可以相应于所描述的选择器、方法、上变换单元、图像处理设备和计算机程序产品的修正和变化。
附图说明
按照本发明的方法、上变换单元、图像处理设备和计算机程序产品的这些和其它方面将按照此后所叙述的实现和实施例并参考附图而变得明显并解释清楚,在这些图中:
图1示意地显示包含运动的球的图像序列;
图2示意地显示图1所示的情形的2-D(二维)图像;
图3A和3B示意地显示在现有技术的运动补偿中使用的双向匹配;
图4示意地显示运动向量域的哪个部分被使用来确定按照本发明的运动模型;
图5示意地显示按照本发明的上变换单元;以及
图6示意地显示按照本发明的图像处理设备的实施例。
在所有图上相同的标注数字被使用来表示相似的部件。
具体实施方式
考虑图1的情形。两个接连的原始(即输入)的图像100和104分别在第一时间点n-1和在第二时间点n处被给出。这些图像100和104示意地显示一个球106从左向右移动。中间图像102在n-α处产生,其中0<α<1。中间图像102是根据原先的两个图像100和104而构建的。时间量相应于轴108。垂直坐标相应于轴110和水平坐标相应于轴112。假设球具有
Figure C20038010915200081
的速度以及背景是静止的,即 b → g = 0 → .
图2示意地显示图1所示的情形的2D(二维)图像。应当指出,图2相对于图1是旋转了的。仅仅显示了时间108和水平112轴。球106现在由灰色矩形表示。球106和背景的运动轨迹分别由箭头114和116表示。在n-α处的输出图像102是通过使用在n-α处被估计为正确的运动向量经过运动补偿的内插而建立的。下面将讨论在按照现有技术的运动估计单元和内差器所造成光晕的问题。
总的来说,运动补偿单元通过从一组候选运动向量中选择最佳匹配的运动向量而确定用于像素组的运动向量。匹配误差通常是通过从在n-1处的输入图像中获取像素以及把这些像素与使用候选运动向量从在n处的输入图像所获取的像素进行比较而得到的一个绝对差的和值(SAD),即:
ϵ ( D → , X → , n ) = Σ x ‾ ∈ B ( X → ) | F ( x → - ( 1 - α ) D → , n - 1 ) - F ( x → + α D → , n ) | - - - ( 2 )
这里
Figure C20038010915200092
是运动向量,B
Figure C20038010915200093
是位于块位置
Figure C20038010915200094
处的块,是像素位置,F(
Figure C20038010915200096
n)是亮度帧,n是图像号以及α是相对位置。图3A上给出一个例子。运动向量
Figure C20038010915200097
指向两个图像上的相同的信息,因此它具有低的匹配误差。运动向量
Figure C20038010915200098
指向在时间n-1处的图像100中的信息,它与在时间n处的图像104中的信息不同。其结果是一个高的匹配误差。
问题出现在封闭区域中。在这些区域中,没有一个运动向量会导致正确的匹配,因为在这两个帧的一个帧中不存在信息。在未遮盖的情形下,出现了新的信息,所以这个信息在时间n-1处的图像100中不存在。在覆盖的情况下,信息不出现,因此在时间n处这个信息不存在于图像104中。这导致的结果是运动向量域在封闭区域中是错误的。图3B以灰色显示这些有问题的区域118和120。黑色点122和124代表必须对它们估计运动向量的像素。黑色点122和124位于背景中,但因为在时间n-1处的图像100或在时间n处的图像104中背景被遮盖,所以不存在描述这些图像部分的运动的运动向量。
在已知的上变换单元中,通常,来自两个图像F(n)和F(n-1)的像素值信息都要用于内插。例如,对运动补偿取平均值使用了来自在时间n-1处的图像100的运动补偿的像素和来自在时间n处的图像104的运动补偿的像素:
F ( x → , n - α ) = F ( x → - ( 1 - α ) D → , n - 1 ) + F ( x → + α D → , n ) 2 - - - ( 3 )
即使使用了正确的运动向量,在封闭区域中的结果仍旧是错误的,因为来自在时间n-1处的图像100的像素和来自在时间n处的图像104的像素是错误的。
光晕问题的解决方案包括至少两个动作。首先,调整在封闭区域中的可能是错误的运动向量,以使得在上变换时使用正确的运动向量。其次,通过使用正确的运动向量,从正确的图像中获取像素值信息,即,使用单向获取而不是双向获取。
然而有某些困难。为了执行第一个动作,必须知道哪些地方是封闭区域。因此需要封闭检测和前景/背景运动检测。
为了执行第二个动作,必须知道有哪种类型的封闭区域。如果它是遮盖的,则必须获取来自在时间n-1处的图像的像素值信息。如果它是未遮盖的,则必须获取来自在时间n处的图像的像素值信息。因此需要遮盖/未遮盖检测。在G.de Haan的著作“Video processing formultimedia systems(用于多媒体系统的视频处理)”,UniversityPress Eindhoven,2000,ISBN 90-9014015-8,第4章描述了用于封闭区域的检测和用于遮盖/未遮盖分类的方法。
下面描述按照本发明的前景/背景运动检测。图4示意地显示运动向量域400的哪个部分用于按照本发明来确定背景的全局运动模型。假设在图像的各个边界存在背景运动。因此,属于在图像边界处(即在运动向量域的边界处)的像素块的多个运动向量被使用来确定图像的背景的运动模型。确定运动模型的方法在专利说明书US 6,278,736和G.de Haan等,“A efficient true-motion estimator usingcandidate vectors from a parametric motion model(使用来自参数运动模型的候选向量的有效的真实运动估计器)”,IEEETransactions on circuits and systems for video technology,Vol.8,No.1,pp.85-91,March 1998中详细地描述。这个方法根据成对的块的运动向量确定总体图像缩放模型并采取按部件方式的中值作为全局总体图像缩放模型。按照本发明的方法与在所引用的文章中提到的方法之间的差别在于对块的选择。在按照本发明的方法中,使用来自图像的边界的各个块。优选地,使用来自顶部边界的5个块402-410、来自底部边界的5个块412-420、来自左面边界的4个块422-428、和来自右面边界的4个块430-436。这表示总共18个块。通过这个总体图像缩放模型,对特定的像素的基于模型的运动向量
Figure C20038010915200111
可以借助于公式(1)被确定。
为了确定位置
Figure C20038010915200112
的背景运动向量,在封闭区域中需要由运动估计单元确定的运动向量组。典型地,运动向量组包括两个运动向量。第一个运动向量是由运动估计单元502针对位置
Figure C20038010915200113
估计的运动向量: D → c = D → ( x → ) 以及在邻域中针对位置确定的运动向量中的另一个运动向量 D → a = D → ( x → + δ ) . 一般来说,这些运动向量中的一个相应于前景运动向量而另一个相应于背景运动向量。为了确定该另一个运动向量
Figure C20038010915200117
要估算从多个像素(典型地δ=16)的位置到当前位置的左
Figure C20038010915200118
和右
Figure C20038010915200119
的运动向量。与当前的向量差别最大的运动向量被选择为该另一个运动向量
Figure C200380109152001110
D → l = D → ( x → - ( 16,0 ) ) - - - ( 4 )
D → r = D → ( x → + ( 16,0 ) )
Figure C200380109152001113
其中
Figure C200380109152001114
是向量域。(也参阅US 5,777,682)
为了将运动向量
Figure C200380109152001115
Figure C200380109152001116
分类成前景和背景,把这些运动向量与根据针对图像的背景的运动模型而被计算的运动向量进行比较。实际的背景向量是具有到
Figure C200380109152001118
的最小距离的运动向量,即:
如果 | D &RightArrow; c - D &RightArrow; b | < | D &RightArrow; a - D &RightArrow; b | &DoubleRightArrow; b &RightArrow; g = D &RightArrow; c f &RightArrow; g = D &RightArrow; a - - - ( 6 )
如果 | D &RightArrow; c - D &RightArrow; b | &GreaterEqual; | D &RightArrow; a - D &RightArrow; b | &DoubleRightArrow; b &RightArrow; g = D &RightArrow; a f &RightArrow; g = D &RightArrow; c - - - ( 7 )
图5示意地显示按照本发明的上变换单元500。上变换单元被安排成根据输入图像的序列来计算在输出图像的封闭区域中的像素值。上变换单元包括:
-运动估计单元504,用于估计图像的运动向量。运动向量形成运动向量域。运动估计单元例如是在G.de Haan等,“True-motionEstimation with 3-D Recursive Search Block Matching(通过三维递归搜索块匹配的真实运动估计器)”,IEEE Transactions oncircuits and systems for video technology,Vol.3,No.5,October 1993,pp.368-379中规定的。
-检测单元508,用于根据运动向量来检测图像中的封闭区域。这个检测单元508是在G.de Haan著作的书“Video processing formultimedia systems(用于多媒体系统的视频处理)”,UniversityPress Eindhoven,2000,ISBN 90-9014015-8,第4章中更详细地规定的。
-运动模型确定单元505,用于根据运动向量域的一部分确定运动模型。这个运动模型确定单元505是如结合图4所描述的。
-内插单元506,用于根据背景运动向量借助于时间的内插计算输出图像102的像素值;以及
-选择器502,如上所述,用于为像素选择背景运动向量。这个选择器包括:
-运动向量计算单元510,用于根据在图像的运动向量域400的一部分402-436的基础上所确定的运动模型来计算像素的基于模型的运动向量
Figure C20038010915200121
-比较单元511,用于比较基于模型的运动向量与运动向量组中的每个运动向量
Figure C20038010915200123
Figure C20038010915200124
-选择器单元512,用于根据该比较来选择运动向量组中的特定的运动向量以及把特定的运动向量指定为背景运动向量。
运动估计单元504、检测单元508、运动模型确定单元505、内插单元506、和选择器502可以通过使用一个处理器来实施。通常,这些功能是在软件程序产品的控制下执行的。在执行期间,软件程序产品通常被装载在存储器如RAM中,然后由那里被执行。程序可以从诸如ROM、硬盘、或磁和/或光贮存装置的后援存储器被装载,或可以经由诸如互联网那样的网络被装载。任选地,由专用集成电路提供所公开的功能。
上变换单元500的工作情形为如下。在输入连接器514处提供代表一系列输入图像100和104的信号。上变换单元500被安排成在输出连接器516处提供一系列输出图像,包括输入图像100和104以及中间图像,例如102。运动估计单元504被安排成根据输入图像100和104计算用于中间图像的运动向量域400。内插单元506被安排成根据输入图像100和104的像素值524和根据运动向量522来计算中间图像102的像素值。在原理上,这是借助对像素值的双向获取而完成的。然而,如上所述,这导致封闭区域中的伪像。正因为如此,按照本发明的上变换单元500被安排成对于这些封闭区域执行一种可替代的内插。
上变换单元500包括检测单元508,用于检测图像中的封闭区域和用于控制内插单元506。检测单元508被安排成对封闭的类型进行区分,如在专利申请EP 1048170中所描述的。区分是基于对相邻的运动向量进行比较。区分类是如下地进行的:
Figure C20038010915200131
Figure C20038010915200132
(左运动向量的x-分量)与
Figure C20038010915200133
(右运动向量的x-分量)进行比较。检测单元508把一组运动向量518提供给选择器502。典型地,这组运动向量包括两个运动向量。选择器502被安排成确定这些运动向量中哪个运动向量相应于背景运动以及这些运动向量中哪个运动向量相应于前景运动。内插单元506被安排成根据背景运动向量526获取在适当的图像中相应的像素值:
-在遮盖的情形下,背景运动向量用来获取在时间n-1处图像中的像素值;以及
-在未遮盖的情形下,背景运动向量用来获取在时间n处图像中的像素值;
任选地,根据另一个运动向量还要获取在以前的和以后的图像中的附加像素值。借助于滤波运算,例如像取中值的顺序统计运算,计算中间图像的最后的像素值。
总之,光晕减小将如下地进行。光晕减小从确定封闭区域开始。仅仅在封闭区域中,上变换不同于正常的上变换,运动补偿的取均值,如公式3规定的。在封闭区域中,运动向量域是不正确的。所以,要测试另外的运动向量
Figure C20038010915200134
是否比由运动估计单元504对当前的像素所作估计的运动向量
Figure C20038010915200135
更好。这两个运动向量(当前的
Figure C20038010915200136
和另外的
Figure C20038010915200137
运动向量)被提供到被安排成用于确定背景运动向量的选择器502。根据适当的运动向量,从以前的或以后的图像获取适当的像素值。
图6示意地显示按照本发明的图像处理设备的实施例,包括:
-接收装置602,用于接收代表输入图像的信号。信号可以是经由天线或电缆接收的广播信号,但也可以是来自诸如VCR(视频盒式磁带录像机)或数字通用盘(DVD)的贮存装置的信号。信号被提供在输入连接器608处;
-如结合图5描述的上变换单元;以及
-显示设备606,用于显示上变换单元500的输出图像。
图像处理设备600可以是例如电视机。替换地,图像处理设备600不包括任选的显示设备606,但提供输出图像到一个包括显示设备606的设备。这样,图像处理设备600可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。任选地,图像处理设备600包括贮存装置,如硬盘或用于在可拆卸的媒体上贮存的装置,例如光盘。图像处理设备600也可以是电影制作室或广播电台所应用的系统。
应当指出,上述的实施例是显示而不是限制本发明,以及本领域技术人员将能够在不背离所附权利要求的范围的条件下设计替换的实施例。在权利要求中,被放置在括号之间的标注数字不应当看作为限制权利要求。单词“包括”不排除未在权利要求中列出的单元或步骤的存在。在单元前面的字“一个”并不排除多个这样的单元的存在。本发明可以借助于包括几个不同的元件的硬件和借助于适当的编程的计算机来实施。在枚举几个装置的单元权利要求中,几个这样的装置可被体现为同一个硬件项。

Claims (9)

1.一种选择器(502),用于从为一个图像所计算的运动向量组中选择在该图像的封闭区域中的像素的背景运动向量,选择器(502)包括:
-计算装置(510),用于根据在图像的运动向量域(400)的一部分(402-436)的基础上所确定的运动模型来计算像素的基于模型的运动向量;
-比较装置(511),用于把基于模型的运动向量与运动向量组中的每个运动向量进行比较;以及
-选择装置(512),用于根据所述比较来选择运动向量组中的特定的运动向量以及用于把该特定的运动向量指定为背景运动向量。
2.如权利要求1中要求的选择器(502),其中运动向量域(400)的一部分相应于为在图像的边界的邻域中的像素组而进行估计的运动向量。
3.如权利要求1中要求的选择器(502),其中比较单元被安排来计算在基于模型的运动向量与该运动向量组的各相应运动向量之间的差值,以及选择单元被安排成如果相应的差值是所述差值中的最小差值的话就选择该特定的运动向量。
4.如权利要求1中要求的选择器(502),其中运动模型包括平移和缩放。
5.一种上变换单元(500),用于根据输入图像序列计算在输出图像的封闭区域中的像素值,上变换单元(500)包括:
-运动估计单元(504),用于估计图像的各运动向量,这些运动向量形成运动向量域(400);
-检测单元(508),用于根据各运动向量,检测图像的封闭区域;
-运动模型确定单元(505),用于根据运动向量域(400)的一部分(402-436),确定运动模型;
-内插单元(506),用于根据背景运动向量,借助于时间的内插来计算像素值;以及
-所述选择器(502)用于如权利要求1中要求地选择像素的背景运动向量。
6.一种图像处理设备(600),包括:
-接收装置(602),用于接收相应于输入图像序列的信号;以及
-如权利要求5中要求的用于计算输出图像的封闭区域中的像素值的上变换单元(500)。
7.如权利要求6中要求的图像处理设备(600),其特征在于,还包括用于显示输出图像的显示设备(606)。
8.如权利要求7中要求的图像处理设备(600),其特征在于,它是电视机。
9.一种用于从为一个图像所计算的一组运动向量中选择在该图像的封闭区域中的像素的背景运动向量的方法,该方法包括:
-根据在图像的运动向量域(400)的一部分(402-436)的基础上确定的运动模型来计算像素的基于模型的运动向量;
-把基于模型的运动向量与运动向量组中的每个运动向量进行比较;以及
-根据该比较来选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
CNB2003801091525A 2003-01-23 2003-12-16 检测背景运动向量的方法和装置 Expired - Fee Related CN100385936C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100134 2003-01-23
EP03100134.0 2003-01-23

Publications (2)

Publication Number Publication Date
CN1742486A CN1742486A (zh) 2006-03-01
CN100385936C true CN100385936C (zh) 2008-04-30

Family

ID=32748939

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801091525A Expired - Fee Related CN100385936C (zh) 2003-01-23 2003-12-16 检测背景运动向量的方法和装置

Country Status (7)

Country Link
US (1) US7519230B2 (zh)
EP (1) EP1590957A1 (zh)
JP (1) JP2006513661A (zh)
KR (1) KR100973429B1 (zh)
CN (1) CN100385936C (zh)
AU (1) AU2003285682A1 (zh)
WO (1) WO2004066624A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
JP2008521324A (ja) * 2004-11-22 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カバーリング及びアンカバーリングを扱う動きベクトル場の投影
KR100677562B1 (ko) * 2005-02-03 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 장치
EP1949338A1 (en) * 2005-10-12 2008-07-30 Active Optics Pty Ltd. Image processing method and system
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
CN101496063A (zh) * 2006-04-19 2009-07-29 Nxp股份有限公司 用于创建内插图像的方法和系统
EP1855474A1 (en) * 2006-05-12 2007-11-14 Sony Deutschland Gmbh Method for generating an interpolated image between two images of an input image sequence
JP2008042659A (ja) * 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
US20080101469A1 (en) * 2006-10-31 2008-05-01 Motorola, Inc. Method and apparatus for adaptive noise filtering of pixel data
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
JP5029112B2 (ja) * 2007-04-13 2012-09-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5138031B2 (ja) * 2007-05-11 2013-02-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深度関連情報を処理する方法、装置及びシステム
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
US20090094173A1 (en) * 2007-10-05 2009-04-09 Adaptive Logic Control, Llc Intelligent Power Unit, and Applications Thereof
WO2009085205A1 (en) * 2007-12-20 2009-07-09 Integrated Device Technology, Inc. Image interpolation with halo reduction
CN101946514B (zh) * 2007-12-20 2014-06-04 高通股份有限公司 使用自适应搜索范围的真实运动矢量估计
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置
EP2224738A1 (en) * 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
EP2237560A1 (en) * 2009-03-30 2010-10-06 Vestel Elektronik Sanayi ve Ticaret A.S. Halo reducing motion-compensated interpolation
ES2586333T3 (es) 2009-03-30 2016-10-13 Vestel Elektronik Sanayi Ve Ticaret A.S. Estimación de movimiento de fondo basada en reducción del halo
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
JP5691374B2 (ja) * 2010-10-14 2015-04-01 富士通株式会社 データ圧縮装置
CN103416064A (zh) 2011-03-18 2013-11-27 索尼公司 图像处理设备、图像处理方法和程序
US9350972B2 (en) * 2011-04-28 2016-05-24 Sony Corporation Encoding device and encoding method, and decoding device and decoding method
JP6412819B2 (ja) 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997046020A2 (en) * 1996-05-24 1997-12-04 Philips Electronics N.V. Motion vector processing
CN1206299A (zh) * 1997-07-19 1999-01-27 大宇电子株式会社 对二进制图象进行轮廓运动估计的方法和装置
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SK399692A3 (en) * 1990-09-20 1995-01-05 British Broadcasting Corp Method of determination of suitable motion vector
DE69602818T2 (de) * 1995-03-14 1999-12-16 Koninkl Philips Electronics Nv Bewegungskompensierte interpolation
WO1997046022A2 (en) * 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation
JP2001507552A (ja) * 1997-10-29 2001-06-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 隠れた/露出した像部分の動きベクトル予測及び検知
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
WO2003041416A1 (en) * 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997046020A2 (en) * 1996-05-24 1997-12-04 Philips Electronics N.V. Motion vector processing
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
CN1206299A (zh) * 1997-07-19 1999-01-27 大宇电子株式会社 对二进制图象进行轮廓运动估计的方法和装置

Also Published As

Publication number Publication date
KR100973429B1 (ko) 2010-08-02
US7519230B2 (en) 2009-04-14
US20060072790A1 (en) 2006-04-06
KR20050089886A (ko) 2005-09-08
AU2003285682A1 (en) 2004-08-13
EP1590957A1 (en) 2005-11-02
WO2004066624A1 (en) 2004-08-05
CN1742486A (zh) 2006-03-01
JP2006513661A (ja) 2006-04-20

Similar Documents

Publication Publication Date Title
CN100385936C (zh) 检测背景运动向量的方法和装置
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
CN1853416B (zh) 运动矢量场的再定时
US7949205B2 (en) Image processing unit with fall-back
US20050180506A1 (en) Unit for and method of estimating a current motion vector
US7382899B2 (en) System and method for segmenting
US20050226462A1 (en) Unit for and method of estimating a motion vector
EP1958451B1 (en) Motion vector field correction
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
WO2003073757A1 (en) Method and apparatus for field rate up-conversion
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090109

Address after: Holland Ian Deho Finn

Patentee after: NXP B.V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090109

ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST)CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100819

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, NETHERLANDS TO: CAYMAN ISLANDS, GRAND CAYMAN ISLAND

TR01 Transfer of patent right

Effective date of registration: 20100819

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident microsystem (Far East) Co.,Ltd.

Address before: Holland Ian Deho Finn

Patentee before: NXP B.V.

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: California, USA

Patentee after: ENTROPIC COMMUNICATIONS, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident microsystem (Far East) Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080430

CF01 Termination of patent right due to non-payment of annual fee