CN101322409B - 运动矢量场校正单元和校正方法以及图像处理设备 - Google Patents

运动矢量场校正单元和校正方法以及图像处理设备 Download PDF

Info

Publication number
CN101322409B
CN101322409B CN200680044420.3A CN200680044420A CN101322409B CN 101322409 B CN101322409 B CN 101322409B CN 200680044420 A CN200680044420 A CN 200680044420A CN 101322409 B CN101322409 B CN 101322409B
Authority
CN
China
Prior art keywords
motion vector
image
enclosed region
neighborhood
correction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200680044420.3A
Other languages
English (en)
Other versions
CN101322409A (zh
Inventor
鲁伊·F·C·格雷罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Trident Microsystems Far East Ltd Cayman Islands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trident Microsystems Far East Ltd Cayman Islands filed Critical Trident Microsystems Far East Ltd Cayman Islands
Publication of CN101322409A publication Critical patent/CN101322409A/zh
Application granted granted Critical
Publication of CN101322409B publication Critical patent/CN101322409B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种用以校正运动矢量场的运动矢量校正单元(200)，该运动矢量场包括图像的各个区域的运动矢量。该运动矢量校正单元包括：分析器(210)，用于分析图像的闭合区域的图像内容和闭合区域的邻域中的多个非闭合区域的图像内容，并获取该闭合区域和非闭合区域的各个图像属性值；评估器(220)，其评估基于闭合区域的图像属性值和另外各个非闭合区域的图像属性值的相似度值；选择器(230)，其基于对应的相似度值，从所述多个非闭合区域中选择一个特定非闭合区域；和矢量替换单元(240)，其用被选的特定非闭合区域的运动矢量来替换闭合区域的运动矢量。该运动矢量校正单元可以利用图像序列的两个连续图像来校正运动矢量场。

Description

运动矢量场校正单元和校正方法以及图像处理设备
技术领域
本发明涉及运动矢量校正单元，其用于校正包括图像各个区域的运动矢量的运动矢量场。
本发明还涉及包括这种运动矢量校正单元的图像处理设备，涉及校正包括图像各个区域的运动矢量的运动矢量场的方法，并且涉及由计算机装置所装载的计算机程序产品，其包括用以校正包括图像各个区域的运动矢量的运动矢量场的指令。
背景技术
区域的运动矢量通常指示一个图像序列中从一个图像到下一个图像或从下一个图像到前一个图像的区域的运动的方向和大小。包括一组运动矢量的运动矢量场用于实质性地限定输入图像中的所有运动。该运动矢量场对从图像序列的前一个图像预测下一个图像是有用的，所述图像序列涉及在场景(例如，视频序列)中的物体的运动。当有比背景物体更靠近摄像机的前景物体的运动时，背景物体的一些区域被覆盖，而背景物体的其它一些区域没有被覆盖。覆盖和未覆盖的区域通常被称为闭合区域。
从G.de.Haan等人所著的论文“True-motion estimation with3D-recursive Search Block Matching”in IEEE Transactions on Circuitsand Systems for Video Technology，vol.3，no.5，October 1993，pages368-379中，可以知道基于对成对图像的像素值所进行的比较，设计由运动估计单元所进行的运动矢量场的估计，来估计运动矢量。其它的运动矢量估计单元也是可行的。对在视频序列的两个连续图像之间的运动进行估计的运动估计单元不能在闭合区域中很好地执行，这是由于对于这些区域，通常在两个图像中的任何一个中都可以获得一部分背景信息的区域。因此，被估计的运动矢量场可能包括由覆盖和/ 或非覆盖区域引起的错误的运动矢量。
对非闭合区域估计和分配运动矢量，即，校正图像的运动矢量场，是主动搜索区域。通过正确地分配运动矢量，意味着，对前一个图像中的覆盖区域分配背景物体的运动矢量和对下一个图像中的非覆盖区域分配背景物体的运动矢量。对前一个图像中的非覆盖区域分配前景物体的运动矢量和对下一个图像中的覆盖区域分配前景物体的运动矢量，也可以被认为是正确分配。当从前一个图像或两个连续图像之间的插入图像中预测下一个图像，例如用于时序上变换时，错误地分配运动矢量可以导致诸如在物体边界的“光圈效应”之类的伪像。
通过选择从当前图像到前一个图像和从当前图像到下一个图像所估计的合适的运动矢量，确定当前图像的闭合区域中的正确运动矢量的方法和单元已经是现有技术。在专利申请公开WO 03/067523中描述了这种方法的一个实施例。在该专利申请中，描述了一种方法，该方法用于为当前图像中的覆盖区域分配从当前图像到前一个图像所估计的运动矢量，以及用于向当前图像中的未覆盖区域分配从当前图像到下一个图像所估计的运动矢量。因此，向图像的闭合区域分配正确的运动矢量，需要三个连续的图像，相比较于用两个连续图像的运动估计和校正，这将导致较高的等待时间。在一些声音必须和视频流同步的消费者应用(例如电视)中，不希望出现较高的等待时间。
发明内容
本发明的一个目的是为了提供一种在开篇中提到的运动矢量校正单元，相比较于在现有技术中描述的单元，该单元的等待时间减小了。
为了实现该目的，该运动矢量校正单元包括：
分析器，其用于分析图像的闭合区域的图像内容和闭合区域的邻域中的多个非闭合区域的图像内容，获得闭合区域和非闭合区域的各个图像属性值；
评估器，其评估基于闭合区域的图像属性值和另外各个非闭合 区域的图像属性值的相似度值；
选择器，其基于对应的相似度值，从所述多个非闭合区域中选择一个特定非闭合区域；
矢量替换单元，其用被选的特定非闭合区域的运动矢量来替换闭合区域的运动矢量。
根据本发明的运动矢量校正单元能够利用两个连续的图像来校正所估计的运动矢量场。关于校正运动矢量，意味着用最可能正确的运动矢量，来替换之前分配给闭合区域的错误运动矢量。换句话说，校正运动矢量场意味着用前一个图像中的背景物体的运动矢量来替换覆盖区域的运动矢量，以及用当前图像中的背景物体的运动矢量来替换未覆盖区域的运动矢量。在当前图像中出现覆盖区域的情况下，必须分配前景图像的运动矢量。在根据本发明的运动矢量校正单元的输入处可以得到所估计的具有已检测到的闭合区域的运动矢量场。在G.de.Haan所著的“Video processing for multimedia systems”，University Press Eindhoven，2000，ISBN，90-9014015-8一书的第四章中，描述了用于检测闭合区域和被优选使用的覆盖/未覆盖分类的方法。然而，还可以采用其它文献中公布的从两个连续图像估计运动矢量场的其它方法。
为闭合区域计算的运动矢量通常包括对应于前景运动的运动矢量(即前景运动矢量)和对应于背景运动的运动矢量(即背景运动矢量)。然而，最初并不知道哪一个运动矢量对应于背景物体，哪一个运动矢量对应于前景物体。通过提供分析器来分析闭合区域和闭合区域的邻域中的多个非闭合区域的图像内容来提取每个区域的图像属性值，本发明提供了对这个问题的解决方案。基于闭合区域的图像属性值，评估器计算与每一个非闭合区域的相似度值。选择器基于所述相似度值来选择最匹配的非闭合区域。矢量替换单元用由选择器选择的特定的非闭合区域的运动矢量来替换闭合区域的错误的运动矢量。
本发明基于这样的认识：图像的覆盖区域的图像内容与前一个图像的背景物体的图像内容大体上匹配，未覆盖区域的图像属性与当前图像的背景区域大体上匹配。从而，可以在闭合区域的预定邻域内 选择匹配得最好的非闭合区域。矢量替换单元用选定的非闭合区域的运动矢量来替换闭合区域的运动矢量。以这种方式，根据本发明的运动矢量校正单元正确地将背景运动矢量分配给前一个图像中的覆盖区域，将背景运动矢量分配给当前图像中的未覆盖区域。可以在成对的图像上进行运动矢量估计、闭合检测和分类。从而，运动矢量校正单元通常需要图像序列中的两个连续图像，并从而以相对于需要三个连续图像的现有技术的单元减小的等待时间工作。
在根据本发明的运动矢量校正单元的一个实施例中，分析器用于获得作为图像属性值的纹理参数。
通过分析区域的内容，可以获得指示区域纹理测量结果的图像属性值。基于图像的纹理内容的相似度值是一种用以将区域与选择的匹配区域的目标进行比较的有用的量度指标。诸如DCT系数、Hadamard变换系数之类的纹理属性量度指标或诸如平均值、方差、密度峰值和/或检测边缘的强度中的任何一个都可以优选地作为相似度值。
在根据本发明的运动矢量校正单元的一个实施例中，分析器用于获得作为图像属性值的亮度参数。
可以从容易地从区域中计算出基于像素亮度值的图像属性值。以诸如RGB、HIS或YUV之类的已知格式的一种表示的像素的亮度值可以用于比较。区域的简单有用的亮度属性是平均色调和/或色彩饱和度。
在根据本发明的运动矢量校正单元的一个实施例中，邻域是空间邻域。
选择作为候选区域的闭合区域的邻域中的一组非闭合区域，以利于正确的运动矢量。在闭合区域的空间邻域中发现最相似的非闭合区域是非常可能的。
在根据本发明的运动矢量校正单元的一个实施例中，基于闭合区域的运动矢量和闭合区域的另一个运动矢量的组合，运动矢量校正单元用于定位闭合区域的空间邻域中的多个非闭合区域中的一个，用以分析、评估和选择特定的非闭合区域。
考虑到闭合区域来对运动矢量进行的选择包括背景运动矢量和前景运动矢量V1和V2。根据本发明的运动矢量校正单元用于利用这些运动矢量来选择邻域中的多个非闭合区域。从闭合区域开始，投射背景运动矢量和前景运动矢量的组合，例如，作为第一组合的Vc1＝V1-V2和作为第二组和的Vc2＝V2-V1，通常，可以选择两个非闭合区域，以对图像内容做进一步的分析。组合这些运动矢量，并将它们投射回图像，有助于方便地对闭合区域外的邻域进行容易地识别。
在根据本发明的运动矢量校正单元的一个实施例中，邻域指的是时间邻域。
关于时间邻域，意味着在图像中所认为的邻域是在时间上邻近于被考察的图像。这意味着，图像序列中的前一个图像或下一个图像。考虑来自一个时间邻域的图像的多个非闭合区域。显然，在相同坐标处不能获得非闭合区域，但是由于运动，在时间图像的空间邻域中可以得到非闭合区域。希望这种区域的图像特性充分接近于被考察的区域的图像特性。
在根据本发明的运动矢量校正单元的实施例中，基于闭合区域的运动矢量，运动矢量校正单元用于在包括该图像和另一个图像的时间邻域的多个非闭合区域中定位一个非闭合区域，该图像和另一个图像是图像序列中的连续图像，以对特定非闭合区域进行分析、评估和选择。
通常对闭合区域所计算的背景运动矢量和前景运动矢量V1和V2 被投射回时间上临近的图像，以选择时间邻域。从而，满足对闭合区域外的区域进行选择的需要，该区域是闭合区域的时间邻域。通常，可在时间图像的空间邻域中发现所选择的区域。
在根据本发明的运动矢量校正单元中的一个实施例中，基于来自选择器的请求，评估器用于更进一步地评估相似度值，相似度值基于闭合区域的第二图像属性值和各个非闭合区域的对应图像属性值。
可能发生以下情况：两个或多个相似度值基本相等，并且选择器不能选择匹配得最好的非闭合区域。如果基于图像属性值的一组相似度值不足以辨别和选择特定的非闭合区域，则选择器向评估器发送 一个信号，以基于第二图像属性值来计算第二组相似度值。这种方法的优点是，如果该组相似度值由于基本相等的值而不足以选择特定的非闭合区域，则可以由系统计算出第二组相似度值，从而避免特定非闭合区域的选择的不明确性。
本发明的另一个目的是为了提供在开篇中提到的那种图像处理设备，其包括运动矢量校正单元，用减小了的等待时间来校正所估计的运动矢量场中的闭合区域的运动矢量。为了实现了本发明的目的，该图像处理设备包括：
接收器，其接收表示包括一个图像的一个图像序列的信号；
运动估计器，其估计所述图像的运动矢量场；
闭合检测器，其检测所述图像的闭合区域；
运动矢量校正单元，其校正根据本发明的所估计的运动矢量场；以及
运动补偿图像处理单元，其基于校正的运动矢量场，对图像进行运动补偿。
根据本发明的运动矢量校正单元接收一个图像序列的两个连续图像，分析与闭合区域的邻近的多个非闭合区域的图像内容，提取图像属性值，并基于从图像属性值中计算出的相似度值，选择非闭合区域。选择的非闭合区域的运动矢量被分配给闭合区域，从而校正所估计的运动矢量场。基于被校正的运动矢量场，图像处理设备对图像序列执行运动补偿处理。
图像处理设备可以被用于支持下列图像处理类型中的一个或多个：
去交织：交织表示用以交替地传输奇数或偶数图像线的普通视频广播格式。去交织意味着试图恢复全垂直分辨率，即，计算每个图像同时可用的偶数线和奇数线。
图像速率的上变换：从一系列原始输入图像中计算更大系列的输出图像。输出图像时间上位于两个原始输入图像之间。发生图像序列的时间上变换。
多视图图像变换：从2D输入图像序列计算3D图像序列。这些 3D图像被插入了与由输入图像序列所表示的3D场景的多个定位的摄像机位置相对应的视图。
降噪：对输入图像的原始序列进行降噪处理。处理这些图像，以降低空间-时间噪声。
该图像处理设备可以包括其它的组件，该组件用以，例如，显示输出图像的显示装置，或者它可以向连接的显示器提供图像。通过合并其它的设施，该图像处理设备可以支持下列类型的消费者设备和专业设备中的一种或几种：TV、机顶盒、VCR/VCP、卫星调谐器、DVD播放器/刻录机。可选择地，该图像处理设备包括类似硬盘的存储设施或用以在诸如光盘之类的可移除介质上存储的设施。该图像处理设备还可以是电影制片厂或广播电台或转播发射机所采用的系统。
本发明的另一个目的是为了提供一种以减小了的等待时间来对运动矢量场进行校正的方法。为了实现本发明的这个目的，提供校正图像的运动矢量场的方法，所述运动矢量场包括图像的各个区域的运动矢量，该方法包括：
分析图像的闭合区域的图像内容和闭合区域的邻域中的多个非闭合区域的图像内容，并获得闭合区域和非闭合区域的各个图像属性值；
评估相似度值，相似度值基于闭合区域的图像属性值和各个非闭合区域的另外的图像属性值；
基于对应的相似度值，从所述多个非闭合区域中选择特定的非闭合区域；
用选择的特定的非闭合区域的运动矢量来替换闭合区域的运动矢量。
根据本发明的方法校正了来自被考察图像的运动矢量场。对于估计运动矢量场、发现闭合区域并对它们进行分类，通常可以采用两个连续的图像。从而，该方法通常可采用两个图像来执行运动矢量校正处理，并从而以相比较于现有技术的方法的减小了的等待时间工作。
本发明的另一个目的是为了提供在开篇中描述了的那种计算机 程序产品，该程序产品包括校正运动矢量场的指令，这些矢量场包括一个图像的各个区域的运动矢量，在被装载之后，该计算机程序产品提供了所述的处理手段，这些处理手段具有执行下列功能的能力：
分析图像的闭合区域的图像内容和该闭合区域的邻域中的多个非闭合区域的图像内容，并获得闭合区域和非闭合的各个图像属性值；
评估相似度值，所述相似度值基于闭合区域的图像属性值和各个非闭合区域的另外的图像属性值；
基于对应的属性值，从多个非闭合区域中选择特定的非闭合区域；以及
用选择的特定的非闭合区域的运动矢量来替换闭合区域的运动矢量。
运动矢量校正单元的修改以及它的变型可以对应于描述的图像处理设备、方法和计算机程序产品的修改和变型。
附图说明
相对于下文描述的实现和实施例，并参考附图，根据本发明的运动矢量校正单元、方法、图像处理设备以及计算机程序产品的这些和其它一些方面将变得清楚并得到说明。
图1A示意性地示出了包括运动物体的一对连续图像；
图1B示意性地示出了在图1A中描述的情景的2D表示；
图2示意性地示出了根据本发明的运动矢量校正单元的一个实施例；
图3示意性地示出了闭合区域的空间邻域中的非闭合区域示图；
图4示意性地示出了闭合区域的时间邻域中的非闭合区域示图；
图5示意性地示出了根据本发明的方法的概念；并且
图6示意性地示出了根据本发明的图像处理设备的实施例。
具体实施方式
图1A示意性地示出了一对包括连续的运动物体的图像100、 102。示出了两个连续的输入图像100、102，其具有椭圆形物体104，该物体分别在时间点n-1位于第一点，在时间点n位于随后的点。纵坐标与轴110一致，横坐标与轴130一致。还示出了对应于时间的时间轴120。如轨迹124所指示，椭圆形物体104在前景中从左移动至右。同时，背景以箭头126所指示的相对方向移动。
图1B示意性地示出了在图1A中描述的情景的2D表示。旋转图1B，以便可以看到时间轴120和横轴130。在图像100和102中，以黑色的长方形示出了移动的前景物体104。背景物体矢量126被分配了速度V1，前景物体矢量124被分配了速度V2。对图像100和图像102分别计算了运动矢量场Mn和Mn-1。由于背景和前景物体的运动，导致出现了被示为灰色三角形的闭合区域。在这些区域中，由于这些信息没有出现在两个图像的一个中，通常运动矢量是不正确的。在未覆盖区域Ru中，在时刻n，在图像102中出现了新的信息，而在时刻n-1，这个信息并没有在图像100中出现。在覆盖区域Rc中，在时刻n-1出现在图像100中的信息在时刻n在图像102中消失了。在这两种情况下，在闭合区域中的运动矢量场Mn是错误的。将闭合区域检测和分类为覆盖区域和未覆盖区域。
图2示意性地示出了根据本发明的运动矢量校正单元的一个实施例。该运动矢量校正单元200包括分析器210、评估器220、选择器230以及运动矢量替换单元240。在连接器201处施加了一个图像序列。在输入端201处还对各个区域施加了运动矢量场和已分类的闭合区域。通常，通过比较两个图像的区域，可以估计像素群或区域的运动矢量场。在G.de.Haan等人所著的文章“True-motion estimationwith 3D-recursive Search Block Matching”in IEEE Transactions onCircuits and Systems for Video Technology，vol.3，no.5.October 1993，pages 368-379中描述了这样一种运动估计单元。运动矢量属于被考察的像素的区域或块。
在G.de.Haan所著的“Video processing for multimedia systems”，University Press Eindhoven，2000，ISBN，90-9014015-8一书的第四章中，描述了一种用以用于检测闭合区域和可以优选使用的覆盖/未覆 盖分类的方法。对于每一个闭合区域而言，通常计算一组包括例如前景运动矢量和背景运动矢量的运动矢量。然而，并不能直接知道哪一个组对应于前景或背景。提供了根据本发明的运动矢量校正单元来检测背景运动矢量，将它分配给对应的区域，例如，在前一个图像中的覆盖区域，并检测背景运动矢量，将它分配给对应的区域，例如，在当前图像中的未覆盖区域。可以获得估计的运动矢量场和分类的闭合区域，作为根据本发明的运动矢量校正单元的输入。在一些情况下，在估计运动矢量的递归搜索中，一些区域不可能收敛于特定的运动矢量。本发明可以在这种情况下用于解决最可能正确的运动矢量的分配问题。
分析器210用于分析闭合区域的图像内容和该闭合区域的邻域中的多个非闭合区域的图像内容，并计算各个区域的图像属性值。从空间域或诸如频域之类的转换域中的像素值来计算图像属性值。图像属性可以是纹理参数或亮度参数。可以从一个或多个在以某些标准格式(例如RGB、HIS或YUV)表示的区域的像素的强度值的分量中导出亮度参数。可以从一个或多个强度值(例如，Y、U和V分量的一个或多个的平均值，或Y或U或V的方差)中导出图像属性量度。可以从Y或YUV、离散余弦变换系数或傅立叶变换系数的直方图比较中获得基于纹理的相似度值。计算纹理参数的另一方法是：利用统计模型并估计模型的参数，来对区域中的纹理进行建模。
评估器220用于接收各个区域的图像属性值，并计算闭合区域的图像属性值与每一个非闭合区域的图像属性值的相似度量度。评估器220可以采用匹配方法或差值方法来获得相似度值。每个区域的多个图像属性值的选择可用于评估一个区域的相似度值。如果多个图像属性值用于相似度值的计算，那么，可能是诸如绝对差值的和或平方差的和之类的比较量度。
基于对应的相似度值，选择器230选择与闭合区域匹配得最好的特定的非闭合区域。如果相似度值是基于错误量度的，则相似度量度的最小值对应于匹配得最好的非闭合区域。如果相似度量度是诸如矢量点积之类的匹配记分，则最大值对应于匹配得最好的非闭合区 域。如果选择器不能发现与可用相似度值匹配得最好的非闭合区域，则它发送请求250，基于评估器的另一个图像属性量度，对一组新的相似度值进行再次计算。
矢量替换单元240用所选择的特定的非闭合区域的运动矢量来替换闭合区域的运动矢量。该运动矢量属于被考察的像素的区域或块。在输出连接器241处提供了输入图像的校正的运动矢量场，用以控制更进一步的处理。
图3示意性地示出了闭合区域的空间邻域中的多个非闭合区域的图示说明。示出了在时间n-1和n时刻的具有运动物体104的图像100和图像102。示出了作为V2的前景物体速度124，示出了作为V1 的背景物体速度126。在检测到闭合区域之后，一个闭合区域(例如R0)可以具有分配给它的矢量V2或者闭合区域R1还被分配了备选矢量V1和V2中的一个。通常，当评估运动矢量时，两个运动矢量可以成为单个区域的有力竞争者，迭代过程可以不收敛。本发明适于解决这种冲突情况。关于闭合区域选择空间邻域，该空间邻域包括明显落在闭合区域R0之外的区域和在图像边界内的区域。选择这种空间邻域的一种方法是组合闭合区域R0可用的两个运动矢量V1和V2，并将该组合投射回两个非闭合区域被选为备选区域以对内容进行分析的图像。换句话说，将矢量V2投射回图像100中的背景区域R3，从背景区域中识别另一矢量V1。利用矢量V1，将区域R2识别为一个备选区域，其运动矢量可以用来替换错误分配给区域R0的矢量。存在组合这两个矢量以抵达图像102中的两个不同区域的两种可能性，如下所示：
Vc1＝V1-V2                    (1)
Vc2＝V2-V1                    (2)
如图3所示，例如，V1-V2组合识别区域R2，V2-V1组合识别区域R1，以进行更进一步的分析。在这个例子中，R1碰巧是前景区域。分析这两个区域，计算图像属性值，并选择与闭合区域匹配得最好的区域。在这个例子中，匹配得最好的区域可能是(例如)区域R2。因此，区域R2的运动矢量是背景运动矢量，其取代了未覆盖区域R0的错误的 运动矢量。虽然在这个示图中描述了图像102中未覆盖区域的运动矢量的校正，但是，相同的方案还可以适用于校正图像100中的覆盖区域的运动矢量。遵循相同的步骤，技术人员可以将正确的(例如)背景运动矢量分配给前一个图像中的覆盖区域。它还遵循，在覆盖区域出现在当前图像中的情况下，通过类似的方案，可以分配前景运动矢量。
图4示意性地示出了位于闭合区域的时间邻域中的非闭合区域的示图。示出了在时刻n和时刻n-1的运动物体的图像102和100。在时间邻域中的非闭合区域可以被认为是对图像内容的分析。区域R0是闭合区域。最初，区域R0被错误地分配了矢量V2，或者在估计的时候，可以识别出两个备选矢量V1和V2，但由于不确定，而没有分配这两个中的一个。利用V1和V2，可以识别图像100中的备选区域。将运动矢量V1和V2投射回图像100，以识别时间邻域中的两个区域，即，R1和R2。图像是时间图像，但这些区域是空间相邻的。分析R0、R1 和R2的图像内容，计算各个图像属性值，并且计算相似度值，以选择未覆盖区域R0的匹配非闭合区域。希望区域R2的图像属性值与R0的图像属性值匹配良好。这样，可以实现识别备选区域的一个可替换实施例。
当闭合区域与在空间邻域或时间邻域中的非闭合区域基本相似时，存在选择器选择了错误的非闭合区域的可能性。在一些情况下，相似度值彼此可能基本相等，选择器在选择特定的非闭合区域时可能遇到问题。该运动矢量校正单元提供了两种方案来解决这种不明确的情况。在第一种方案中，选择器向评估器220发送反馈信号250，以基于每一个闭合区域和非闭合区域的其它的图像属性量度，来评估一组新的相似度值。期望这组新的相似度值具有更好的辨别力，以决定匹配得最好的非闭合区域。在第二种方案中，通过扩展前景矢量和背景矢量，来选择一组新的非闭合区域。对每个矢量增加其各个值的一个预定分量。矢量中的这种增大将产生不同的组的非闭合区域，其可以被选择为备选区域。这种增大要尽可能地小，以保持空间相关性，但要足够大，以便可以识别出新的非闭合区域，其中，期望计算出的 图像属性值可以给出一个更好分辨和选择的相似度值。可以对矢量进行迭代增大，直到获得有差别的相似度值。如果增大的次数超过了预先分配的数值，则用以替换闭合区域的运动矢量的矢量校正单元240可以采用之前选择的非闭合区域。相似地，在覆盖区域出现在当前图像中的情况下，遵循相似的步骤，执行最可能正确的(例如)前景运动矢量的分配。
图5示意性地示出了根据本发明的图像处理设备的示图，其包括：
接收器510，其接收表示图像序列的信号，该图像序列包括一个图像；
运动估计器520，其估计图像的运动矢量场；
闭合检测器530，其检测图像的闭合区域；
运动矢量校正单元540，其基于闭合和非闭合区域的图像内容的分析，校正所估计的运动矢量场，基于图像属性值，评估相似度值，基于相似度值，选择特定的非闭合区域，用所选择的特定的非闭合区域的运动矢量来替换闭合区域的错误的运动矢量；
运动补偿图像处理单元550，其基于校正的运动矢量场，对图像进行运动补偿。将作为输入的图像序列提供到输入连接器501处的设备，从输出连接器551获得用于其它用途的输出。
图6示意性地示出了根据本发明的方法。在方法600中，在分析步骤610中，接收连同图像运动矢量场的图像序列，并对闭合区域进行分类。分析步骤610的输出包括各个闭合区域和非闭合区域的图像属性值，这些值用于计算相似度值的评估步骤620中。在选择步骤630中，基于相似度值来选择匹配得最好的非闭合区域。在矢量替换步骤640中，用所选择的特定的非闭合区域的运动矢量来替换闭合区域的运动矢量。在相似度值没有足够的分辨力来选择特定值的情况下，选择器630向评估器发送请求650，以基于各个区域的第二图像属性值，来评估第二组相似度值。
在标准包含的存储器或可分离的存储器(例如在闪存或硬盘中)中操作计算机程序产品。该计算机程序产品可以作为嵌入式软件被嵌 入在诸如集成电路或计算机器中，或者被从一个标准存储器或存储器装置中预装载或装载。该计算机程序产品可以以任何一种已知代码表示，例如机器级代码或汇编语言或高级语言中，可以工作在任何一种可获得的平台上，例如手持装置或个人计算机或服务器上。
应当注意的是，上述实施例只是为了对本发明进行说明而不是为了对本发明进行限制，在不脱离附属权利要求的范围的情况下，本领域技术人员可以设计出可替换的实施例。在这些权利要求中，任何在括号中的参考标号不应当被解释为对权利要求的限制。词“包括”不排除没有在权利要求中列出的元件的出现。在元件之前的词“一个”或“一种”不排除多个这种器件的出现。通过被适当编程的计算机可以实现本发明。在单元权利要求中枚举了一些装置，这些装置中的一些可以由一个和硬件相同的项目实现。

Claims (15)

1.一种运动矢量校正单元(200)，其用于校正运动矢量场(Mn)，该运动矢量场(Mn)包括图像(100)的各个区域的运动矢量，该运动矢量校正单元包括：
分析器(210)，用于分析图像(100)的闭合区域(R0)的图像内容和该闭合区域的邻域中的多个非闭合区域(R1，R2)的图像内容，并获取该闭合区域和非闭合区域(R0，R1，R2)的各个图像属性值，其中所述邻域是空间邻域或是时间邻域上的空间邻域；
评估器(220)，其评估相似度值，所述相似度值基于闭合区域(R0)的图像属性值和其它各个非闭合区域(R1，R2)的图像属性值；
选择器(230)，其基于对应的相似度值，从所述多个非闭合区域(R1，R2)中选择一个与闭合区域匹配得最好的特定的非闭合区域(R2)；以及
矢量替换单元(240)，其用被选的特定的非闭合区域(R2)的运动矢量来替换闭合区域(R0)的运动矢量。
2.根据权利要求1所述的运动矢量校正单元(200)，其中，所述分析器(210)用于获得作为图像属性值的纹理参数。
3.根据权利要求1所述的运动矢量校正单元(200)，其中，所述分析器(210)用于获得作为图像属性值的亮度参数。
4.根据权利要求1所述的运动矢量校正单元(200)，其中，所述邻域是空间邻域。
5.根据权利要求4所述的运动矢量校正单元(200)，其中，基于闭合区域(R0)的运动矢量(V1)和闭合区域(R0)的另一个运动矢量(V2)，运动矢量校正单元(200)对闭合区域(R0)的空间邻域中的多个非闭合区域(R1，R2)中的一个进行定位，以对特定的非闭合区域进行分析、评估和选择。
6.根据权利要求1所述的运动矢量校正单元(200)，其中，所述的邻域是时间邻域上的空间邻域。
7.根据权利要求6所述的运动矢量校正单元(200)，其中，基于闭合区域(R0)的运动矢量(V1，V2)，所述运动矢量校正单元(200)对在包括图像(102)和另一个图像(100)的时间邻域上的空间邻域中的多个非闭合区域(R1，R2)中的一个进行定位，以对特定的非闭合区域进行分析、评估和选择，图像(102)和另一个图像(100)是一个图像序列中的连续图像。
8.根据权利要求1所述的运动矢量校正单元(200)，其中，基于来自选择器(230)的请求，评估器(220)用于评估其它的相似度值，所述其它的相似度值基于闭合区域(R0)的第二图像属性值和各个非闭合区域(R1，R2)的对应的图像属性值。
9.一种图像处理设备(500)，其包括：
接收器(510)，其接收一个表示图像序列的信号，该图像序列包括一个图像；
运动估计器(520)，其估计所述图像的运动矢量场；
闭合检测器(530)，其检测图像的闭合区域；
如权利要求1-8中的任何一项中所述的运动矢量校正单元(540)，其校正所估计的运动矢量场；以及
运动补偿图像处理单元(550)，其基于校正的运动矢量场，对图像进行运动补偿。
10.根据权利要求9所述的图像处理设备(500)，其中，所述运动补偿图像处理单元(550)基于已校正的运动矢量场，对接收到的图像序列进行去交织。
11.根据权利要求9所述的图像处理设备(500)，其中，所述运动补偿图像处理单元(550)基于已校正的运动矢量场，对接收到的图像序列进行时间上变换。
12.根据权利要求9所述的图像处理设备(500)，其中，所述运动补偿图像处理单元(550)基于已校正的运动矢量场，将图像序列变换为多视图图像。
13.根据权利要求9所述的图像处理设备(500)，其中，所述运动补偿图像处理单元(550)基于已校正的运动矢量场，来减小接收到的图像序列中的噪声。
14.根据权利要求9-13中的任何一项权利要求所述的图像处理设备(500)，其还包括显示运动补偿了的图像的显示装置。
15.一种校正图像的运动矢量场的方法(600)，该图像包括图像各个区域的运动矢量，所述方法包括：
对图像(102)的闭合区域(R0)的图像内容和闭合区域(R0)的邻域中的多个非闭合区域(R1，R2)的图像内容进行分析(610)，获得闭合区域和非闭合区域(R0，R1，R2)的各个图像属性值，其中所述邻域是空间邻域或是时间邻域上的空间邻域；
评估(620)相似度值，所述相似度值基于闭合区域(R0)的图像属性值和其它各个非闭合区域(R1，R2)的图像属性值；
基于对应的相似度值，从所述多个非闭合区域(R1，R2)中选择(630)与闭合区域匹配得最好的特定的非闭合区域(R2)；以及
用选择的特定的非闭合区域(R2)的运动矢量替换(640)闭合区域(R0)的运动矢量。
CN200680044420.3A 2005-11-30 2006-11-24 运动矢量场校正单元和校正方法以及图像处理设备 Expired - Fee Related CN101322409B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05111497 2005-11-30
EP05111497.3 2005-11-30
PCT/IB2006/054422 WO2007063465A2 (en) 2005-11-30 2006-11-24 Motion vector field correction

Publications (2)

Publication Number Publication Date
CN101322409A CN101322409A (zh) 2008-12-10
CN101322409B true CN101322409B (zh) 2011-08-03

Family

ID=38007133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680044420.3A Expired - Fee Related CN101322409B (zh) 2005-11-30 2006-11-24 运动矢量场校正单元和校正方法以及图像处理设备

Country Status (5)

Country Link
EP (1) EP1958451B1 (zh)
JP (1) JP2009533887A (zh)
CN (1) CN101322409B (zh)
ES (1) ES2460541T3 (zh)
WO (1) WO2007063465A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008032744A1 (fr) * 2006-09-15 2008-03-20 Panasonic Corporation Dispositif de traitement vidéo et procédé de traitement vidéo
US8208065B2 (en) * 2008-07-30 2012-06-26 Cinnafilm, Inc. Method, apparatus, and computer software for digital video scan rate conversions with minimization of artifacts
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
JP2011223493A (ja) * 2010-04-14 2011-11-04 Canon Inc 画像処理装置および画像処理方法
ITTO20121073A1 (it) * 2012-12-13 2014-06-14 Rai Radiotelevisione Italiana Apparato e metodo per la generazione e la ricostruzione di un flusso video
EP3343923B1 (en) 2015-08-24 2021-10-06 Huawei Technologies Co., Ltd. Motion vector field coding method and decoding method, and coding and decoding apparatuses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2279531A (en) * 1993-06-24 1995-01-04 Sony Uk Ltd Motion compensated image interpolation
CN1628326A (zh) * 2002-02-05 2005-06-15 皇家飞利浦电子股份有限公司 通过考虑闭塞估算像素组的运动矢量

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130803A (ja) * 1995-10-27 1997-05-16 Fujitsu Ltd 背景画像復元方法および装置
JP2000270337A (ja) * 1999-03-18 2000-09-29 Telecommunication Advancement Organization Of Japan 動き検出装置及び方法
WO2001088852A2 (en) * 2000-05-18 2001-11-22 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensared picture rate up-conversion
JP4070104B2 (ja) * 2002-10-16 2008-04-02 独立行政法人情報通信研究機構 動画像符号化復号方法及び動画像符号化装置並びに動画像復号装置
US7536031B2 (en) * 2003-09-02 2009-05-19 Nxp B.V. Temporal interpolation of a pixel on basis of occlusion detection
EP1665806A1 (en) * 2003-09-17 2006-06-07 Koninklijke Philips Electronics N.V. Motion vector field re-timing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2279531A (en) * 1993-06-24 1995-01-04 Sony Uk Ltd Motion compensated image interpolation
CN1628326A (zh) * 2002-02-05 2005-06-15 皇家飞利浦电子股份有限公司 通过考虑闭塞估算像素组的运动矢量

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GB 2279531 A,全文.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN103685866B (zh) * 2012-09-05 2016-12-21 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置

Also Published As

Publication number Publication date
WO2007063465A3 (en) 2007-11-15
EP1958451A2 (en) 2008-08-20
CN101322409A (zh) 2008-12-10
WO2007063465A2 (en) 2007-06-07
JP2009533887A (ja) 2009-09-17
ES2460541T3 (es) 2014-05-13
EP1958451B1 (en) 2014-03-19

Similar Documents

Publication Publication Date Title
CN101322409B (zh) 运动矢量场校正单元和校正方法以及图像处理设备
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
KR100840133B1 (ko) Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
US7949205B2 (en) Image processing unit with fall-back
US20050180506A1 (en) Unit for and method of estimating a current motion vector
US20050226462A1 (en) Unit for and method of estimating a motion vector
US7382899B2 (en) System and method for segmenting
KR100924906B1 (ko) 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치
US8350966B2 (en) Method and system for motion compensated noise level detection and measurement
CN100588253C (zh) 跟踪快速移动的小物体的运动矢量场求精法
Zhang et al. An edge and color oriented optical flow estimation using block matching
Günyel et al. Multi-resolution motion estimation for motion compensated frame interpolation
Li et al. Scrolling Subtitle Processing of Frame Rate Up-Conversion Based on Global Text Motion Estimation
Lu An Edge and Color Oriented Optical Flow Estimation Using Block Matching

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20101111

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, NETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20101111

Address after: Grand Cayman, Cayman Islands

Applicant after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130510

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130510

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110803

Termination date: 20171124

CF01 Termination of patent right due to non-payment of annual fee