CN1266948C - 用于遮断区检测的遮断检测器和遮断区检测方法 - Google Patents

用于遮断区检测的遮断检测器和遮断区检测方法 Download PDF

Info

Publication number
CN1266948C
CN1266948C CNB028220307A CN02822030A CN1266948C CN 1266948 C CN1266948 C CN 1266948C CN B028220307 A CNB028220307 A CN B028220307A CN 02822030 A CN02822030 A CN 02822030A CN 1266948 C CN1266948 C CN 1266948C
Authority
CN
China
Prior art keywords
motion
vector
pixel
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028220307A
Other languages
English (en)
Other versions
CN1582582A (zh
Inventor
M·J·W·梅坦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8181202&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1266948(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1582582A publication Critical patent/CN1582582A/zh
Application granted granted Critical
Publication of CN1266948C publication Critical patent/CN1266948C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

用于检测图象(100)中遮断区(108,110)的遮断检测器(200,201,203,205,207)包括移动向量选择器(202),选择器从一组移动向量中选择至少两个移动向量(118,120)。它还包括象素数值比较器(206),用来计算图象(100)之特定象素(112)的特定数值与另一图象(102)之第二象素(116)的第二数值以及第三象素(114)的第三数值之间的第一象素数值差和第二象素数值差。遮断检测器(200,201,203,205,207)还包括判定单元(204),其分别通过检验第一和第二象素数值差是否大于第一预定阈值和第二预定阈值来决定该特定象素(112)是否属于遮断区(108,110)其中之一。

Description

用于遮断区检测的遮断检测器和遮断区检测方法
本发明涉及到遮断检测器,其根据一组移动向量来检测第一图象中的遮断区,第一图象属于一系列连续图象。
本发明还涉及到根据一组移动向量来检测第一图象中遮断区的方法,第一图象属于一系列连续图象。
本发明还涉及到移动估算器,其包括:
-移动向量估算器,用来计算一组移动向量;
-遮断检测器,根据该移动向量组对第一图象中的遮断区进行检测,第一图象属于一系列连续图象;及
-移动向量分配单元,根据遮断检测器的输出将一特定移动向量分配给一特定象素。
本发明进一步涉及到图象处理设备,其包括:
-接收装置,用来接收代表要显示第一图象的信号;
-移动估算器,其包括根据一组移动向量对第一图象中遮断区进行检测的遮断检测器,第一图象属于一系列连续图象;及
-移动补偿图象处理单元。
遮断区是指与正在拍摄的一部分景物相应的区域,该区域在一系列连续图象的某一图象中是可见的,但在下一个或前一个图象中是看不见的。这是由于比背景对象处于更靠近照相机的景物中前景对象能够覆盖部分背景对象而引起的。在移动的情况下,例如前景对象移动的情况下,背景对象的某些部分就被遮断,而背景对象的其他部分则显露出来。
遮断区可能在临时插入中引起一些非有意安排的东西。例如,在向上转换的情况下。遮断区能够引起所谓的晕轮。那么,就要对移动向量进行估算以便借助临时插入来计算向上转换的输出图象。对于临时插入而言,要从连续图象中取出若干象素。这些象素最好涉及到同一个对象。在遮断区的情况下,不能直接做到这一点,因为在连续图象中找不到相关的象素。需要有其他的插入策略。
从WO 0011863了解到开头一段中所说的那种遮断检测器的一个实施方案。按照WO 0011863中说明的遮断检测器是用来根据在正对该图象计算的移动向量场中所检测到的边缘来识别图象中的问题区,即遮断区。不过结果是非常粗略的。第一,粗略性是由下述事实所造成的:即,尽管前景对象边缘的位置通常是知道的,但是晕轮区的范围是不知道的。第二,移动向量场本身可能产生位移。这一位移甚至可能会如此之大以致能出现遗漏和伪假的遮断边缘。
本发明的第一个目的是提供在开头一段中所说明的那种象素基本准确的遮断检测器。
本发明的第二个目的是提供开头一段中所说的那种遮断区的检测方法,该方法使检测的遮断区具有基本的象素准确度。
本发明的第三个目的是提供开头一段中所说的那种移动估算器。其包括遮断检测器,遮断检测器为象素基本准确的遮断检测器。
本发明的第四个目的是提供开头一段中所说的那种图象处理设备,其包括含遮断检测器的移动估算器,遮断检测器为象素基本准确的遮断检测器。
实现本发明第一目的的遮断检测器包括:
-移动向量选择器,其根据第一移动向量与第二移动向量之间的基本向量差从移动向量组中选出第一移动向量和第二移动向量;
-象素数值比较器,其用来计算第二图象第一象素第一数值与第三图象第二象素第二数值之间的第一象素数值差,第一象素与第二象素之间的第一关系由第一移动向量给出,其还用来计算第二图象第三象素第三数值与第三图象第四象素第四数值之间的第二象素的值差,第三象素与第四象素之间的第二关系由第二移动向量给出;及
-判定单元,通过检查是否第一象素数值差大于第一预定阈值和第二象素数值差大于第二预定阈值来确定与第一移动向量和第二移动向量交叉点相对应的第一图象某一特定象素是否属于遮断区的其中之一。
在移动估算方面,匹配准则常常是以使连续图象相应象素数值间的差值最小为基础,而相应象素之间的关系则由移动向量给出。为计算这些差值,将某一图象的一组象素与另一图象的多组象素加以比较。根据本发明的遮断检测器,不是使象素数值间的差最小,而是确定象素数值间的差是否大于预定阈值,即是否第一象素数值差大于第一预定阈值及第二象素数值差大于第二预定阈值。对某一遮断区来说,不可能通过将该区被遮断,即被遮盖的某一图象的多组象素与该区不被遮断的另一图象的多组象素进行比较来直接地计算出正确的移动向量。换句话说,不可能使在此图象中可见而其在另一图象中不可见的东西实现匹配,反过来也是一样。因此,对一组象素所估算的、部分或基本上与遮断区相对应的移动向量,其是错误移动向量的概率高。根据本发明的遮断检测器用来检验某一特定象素的至少两个估算出的相关移动向量。检验装置将象素数值差与预定阈值进行比较。如果差值大于阈值,那么就假定移动向量对该特定象素来说是不正确的,而将此特定象素标记为遮断区的一部分。第一预定阈值和第二预定阈值可以彼此相等。
使用根据本发明的遮断检测器,能够根据照相机所得到的图象通过临时插入来检测正在计算或将要计算的图象中的遮断区。例如,首先得到第二图象,后面跟随第三图象。第一图象必须通过第二和第三图象的临时插入来计算。但是,使用根据本发明的遮断检测器还能够检测由照相机所得到的图象中的遮断区。那么第一和第二图象就是同一图象,而该特定象素则与第一象素和第三象素相一致。下面,将利用这一情况来阐述根据本发明的遮断检测器的工作。
根据本发明的遮断检测器工作情况可以通过监测应用的简单实例予以说明。假定一个图象表示出一个房间及在此房间内第一位置的一个人,而下一个图象则表示出同一房间以及同一个人,但人在第二位置。在拍摄这两幅图象期间,拍摄这两幅图象的照相机没有移动。变焦镜头也未调节。这样就有理由假定只存在有两个移动向量,即移动向量组只包括两个移动向量:与房间象素相关的背景移动向量和与人物象素相关的前景移动向量。但是,对处在遮断区中的象素来说。这两个移动向量中没有一个是正确的。象素数值差将比较大。
在上述实例中,假定只有两个移动向量。不过,必须是假定,例如由于噪声而在移动向量组中有多个前景移动向量。那么,必须通过比较向量差,即比较该组移动向量之间在长度和方向上的差来选定第一和第二移动向量。为了选择第一和第二移动向量,最好这些差值比较大。要不然也可以选择与一个对象,例如本实例中的人物相对应的两个移动向量。最好是,第一移动向量与背景前的对象相对应,而第二移动向量与背景相对应,或者反过来也可以。
根据本发明的遮断检测器的主要优点是它能够使向上转换中象素准确的晕轮减少。但是,检测遮断区以使控制图象放大,例如提高在检测到遮断的区域中的图象放大水平,也是令人感兴趣的。
在根据本发明遮断检测器的一个实施方案中,移动向量选择器用来根据该特定象素与另一象素间的距离来选出第一移动向量,而此另一象素属于第一移动向量所对应的特定象素组。一组象素可以形成一个象素块或其可以与任意形状的对象相对应。在上述具有房间和人物的实例中,移动向量组有两个元素,即有两个移动向量。但是,如果移动向量组有不止两个移动向量,那么得到选择第一和第二移动向量的准则就很重要。特定象素与另一象素之间的空间距离就是这样的准则。特定象素与另一个象素间的空间距离比较小就意味着,与另一象素所属的特定象素组相对应的移动向量是相关的。最好是从特定象素所属象素组的相邻象素组中选择移动向量。另外,特定象素所属象素组的移动向量也是进行选择的很好的候选向量。
在根据本发明遮断检测器的一个实施方案中,移动向量选择器用来确定移动向量组中移动向量的出现频率并根据此出现频率选出第一移动向量。选择第一移动向量和第二移动向量的准则是出现频率。如果一个图象的象素组比较少,已经用特定数值,例如长度和方向对移动向量作了估算。那么移动向量是相关的概率就比较高,应当选择出来。可以确定某一图象的移动向量直方图或部分该图象的移动向量直方图。在后一种情况下,最好这部分图象在特定象素的附近。
在根据本发明遮断检测器的一个实施方案中,象素数值比较器用来计算第一数值与第二数值间的绝对差值。还可以计算例如均方差。计算绝对差值的优点是计算比较顺利。
在根据本发明遮断检测器的一个实施方案中,移动向量选择器用来从移动向量组中选出第一移动向量,该组包括对第一图象和第三图象各象素组所估算出的移动向量。移动向量组可能包括已经为第一图象各象素组所估算的移动向量。但是,移动向量组还可能包括对其他图象,例如,第三图象各象素组所估算的移动向量。
在根据本发明遮断检测器的一个实施方案中,遮断检测器包括测量单元来测量第一预定阈值。这一实施方案的优点是遮断的检测可以调整得适合于图象的内容。
遮断检测器的修改及其变动可以与所说的移动估算器的修改及其变动,与遮断区检测方法的修改及其变动,以及与图象处理设备的修改及其变动相一致。图象处理设备可以包括附加的部件,例如显示处理图象的显示装置。移动补偿图象处理单元可以支持一种或多种下述类型的图象处理:
-去除隔行扫描:隔行扫描是交替地传输图象的奇数和偶数行的通用电视广播程序。去除隔行扫描试图恢复全垂直分辨率,即使得可同时得到每个图象的奇数行和偶数行;
-向上转换:根据一系列原输入图象计算出更大系列的输出图象。输出图象暂时处在两个原输入图象之间;及
-暂时噪声减小。这可能还涉及空间处理,使得空间的暂时噪声减小。
在图象压缩方面,高质量的移动向量和遮断检测也是重要的。因此,检测遮断区对图象压缩应用来说也是相关的。
根据本发明遮断检测器、移动估算器、遮断区检测方法以及图象显示设备的上述特点和其他特点,从以下所述实施方法和实施方案并参照附图将会变得显而易见并将对其予以说明,其中:
图1A表示出有遮断区的两个图象,以便大略地说明根据本发明遮断检测器的工作情况;
图1B表示图1A所示移动向量与象素之间的一维关系;
图1C表示出在三个图象情况下移动向量与象素间的一维关系;
图2A概略地表示出遮断检测器的实施方案;
图2B概略地表示出遮断检测器的实施方案,遮断检测器包括计算象素间距离的装置;
图2C概略地表示出遮断检测器的实施方案,遮断检测器包括计算移动向量出现频率的装置;
图2D概略地表示出遮断检测器的实施方案,遮断检测器包括确定第一预定阈值的测量单元;
图2E概略地表示出遮断检测器的实施方案,遮断检测器包括关闭间隙滤波器;
图3概略地表示出移动估算器的实施方案;及
图4概略地表示出图象处理设备的实施方案。
在所有的图中,相同的参考数字具有同一含义。
图1A表示出具有遮断区108,110的两个图象100,102,以便概略地说明根据本发明遮断检测器200的工作情况。图象100表示出有人物104的房间,人物在房间内的第一位置,另一图象102表示出有同一人物104的同一房间,但人物在第二位置。拍摄这两幅图象100,102的照相机没有移动。变焦镜头也未调节。只存在有两个移动向量118,120,即移动向量组只包括两个移动向量:与房间之象素有关的背景移动向量120和与人物104之象素有关的前景移动向量118。为了计算背景移动向量120,使用一组象素122。注意,所画箭头的长度与背景移动向量120的长度无关,后者等于零。对位于遮断区108,110中的象素来说,这两个移动向量118,120都是不正确的。这是在下述测试已完成之后得出的结论。第一,将象素111的亮度值与象素114的亮度值之差与第一预定阈值加以比较。象素111和114的象素坐标彼此相等,因为所用的移动向量为等于零的背景移动向量120。亮度差大于第一预定阈值的概率高:象素111属于房间,象素114属于人物104。第二,将象素111的亮度值与象素116的亮度值之差与第二预定阈值加以比较。象素111和114的象素坐标不同:所用的移动向量是背景移动向量118,其与人物第一和第二位置之间的空间距离有关。亮度差大于第二预定阈值的概率高:象素111属于房间,象素116属于房间的另一部分。根据这些比较结果,假定象素111处于遮断区。第一预定阈值和第二预定阈值可以彼此相等。
图1B表示出图1A所示移动向量118,120与象素111,114及116之间的一维关系。图1C表示出在三个图象100,101,102,其中两个为拍摄图象100,102,一个为内插图象101的情况下,移动向量118,120与象素112-116之间的一维关系。将图1B与图1C进行比较,显然图1A所描述的实例是一种特殊情况:第一图象101和第二图象100为同一个图象;象素111,113及115也是同一个象素。在图2A中,所描述的遮断检测器200也工作于这种情况。
在图1C中,概略地说明了后继图象象素之间的关系。它与向上转换的情况相对应:内插图象101根据至少两个原图象100,102借助暂时内插进行计算。根据本发明的遮断检测器200用来确定这一内插图象101的象素是否处在遮断区。遮断检测器200包括:
一移动向量选择器202,其根据第一移动向量118与第二移动向量120之间的基本向量差从移动向量组中选出第一移动向量118和第二移动向量120;
-象素数值比较器206,其用来计算第一原图象100第一象素115第一数值与第二原图象102第二象素116第二数值之间的第一象素数值差,第一移动向量118从第一象素115到第二象素116,其还用来计算第一原图象100第三象素113第三数值与第二原图象102第四象素114第四数值之间的第二象素数值差,第二移动向量120从第三象素113到第四象素114;及
-判定单元204,其通过检验是否第一象素数值差大于第一预定阈值以及第二象素数值差大于第二预定阈值来确定与第一移动向量118和第二移动向量120交叉点相对应的内插图象101的特定象素112是否属于遮断区的其中之一。
象素112-116之间的关系由第一移动向量118和第二移动向量120给出。第一原图象100与内插图象101间的时间差T1以及第二原图象102与内插图象101间的时间差T2是非常重要的。例如,第一移动向量118指出了第一原图象100与第二原图象102象素之间的垂直偏移Vy(T1+T2)和水平偏移Vx(T1+T2),即在时间T1+T2期间的移动。假定T1=T2,那么就能够很容易计算出第一原图象100与内插图象101象素之间的垂直偏移Vy(T1)和水平偏移Vx(T1)为:Vy(T1)=Vy(T1+T2)/2;Vx(T1)=Vx(T1+T2)/2。对其他数值的T1和T2,可以进行类似的计算。因此,给定某一图象中某一象素的坐标,借助移动向量和时间差值就能够计算另一图象中另一象素的坐标。直接地应用移动向量或计算分偏移就可以做到这点。
例如:
-将移动向量118应用到第一原图象100的象素115上,就能直接求出第二原图象102的象素116;
-将移动向量118的倒数应用到第二原图象102的象素116上,能够直接求出第一原图象100的象素115;
-根据移动向量118和时间差T1及T2对分偏移进行计算,用内插图象101的已知象素112能够计算出第一原图象100中的象素115;
-根据移动向量118和时间差T1及T2对分偏移进行计算,用内插图象101的已知象素112能够计算出第二原图象102中的象素116。
移动向量可从一象素开始,并在该象素终止或与其相交。如果两个移动向量从一个象素开始或在一个象素终止,这种情况也可视为交叉。如果已经计算了适当象素的坐标,那么可以取出相应的象素数值以便计算第一象素数值差和第二象素数值差。然后将这两个象素数值差与预定阈值进行比较。
图2A概略地表示出遮断检测器200的实施方案,遮断检测器200包括:
-移动向量选择器202,其根据第一移动向量118和第二移动向量120之间的基本向量差从移动向量组中选出第一移动向量118和第二移动向量120;
-象素数值比较器206,其用来计算图象100特定象素111特定数值与另一图象102第二象素116第二数值之间的第一象素数值差,特定象素111与第二象素116之间的第一关系由第一移动向量118给出,其还用来计算图象100特定象素111特定数值与另一图象102第三象素114第三数值之间的第二象素数值差,特定象素111与第三象素114之间的第二关系由第二移动向量120给出;
-判定单元204,其通过检验是否第一象素数值差大于第一预定阈值以及第二象素数值差大于第二预定阈值来确定特定象素111是否属于遮断区108,110的其中之一。
在第一输入连接端210提供图象,例如图象100,102。在第二连接端208通过移动估算器(见图3)提供移动向量,例如118,120。在输出连接端212通过遮断检测器提供表示图象100各象素的二进制标记,而不管它属于遮断区,例如108,还是不属于这一遮断区。遮断检测器200的工作情况如关于图1A的说明。
图2B概略地表示出遮断检测器201的实施方案,遮断检测器201包括计算象素间距离的计算装置214。移动向量选择器202根据特定象素111,112与另一象素117间的距离来选择第一移动向量118,象素117属于第一移动向量118所对应的特定象素组123。根据同样原理进行第二移动向量120的选择。如果提供的移动向量组有几个移动向量,那么得到选择第一移动向量118和第二移动向量的选择准则就很重要。特定象素111,112与另一象素117之间的空间距离就是这样的准则。特定象素111,112与另一象素117间的空间距离比较小意味着,与特定象素组123相对应的移动向量118是相关的。许多移动估算器,例如估算器300,是以块为基础的。这就意味着将图象100分成为若干个块,例如有8×8象素的块。对这些块中的每一块都要估算出各自的移动向量。在以块为基础的移动估算器向遮断检测器201提供移动估算器组的情况下,就从特定象素111,112所属块的相邻块中选出第一移动向量118和/或第二移动向量120。另外,从特定象素111,112所属块中选出移动向量的概率也非常高。
图2C概略地表示出遮断检测器203的实施方案,遮断检测器203包括计算移动向量,例如移动向量118,120出现频率的计算装置216。遮断检测器203用来确定移动向量组中移动向量的出现频率并根据出现频率来选择第一移动向量118。第二移动向量120也根据同样的原理选择。计算出现频率的计算装置216计算出一个二维的移动向量直方图,其中一个维度对应于第一方向上,例如水平方向上的转换,而另一维度对应于与第一方向交叉的第二方向上的转换。二维移动向量直方图中的第一局部最大值对应于第一移动向量118,二维移动向量直方图中的第二局部最大值对应于第二移动向量120。计算象素间距离的计算装置214为可选装置,但是最好是考虑与象素组相应的象素之间的距离。这点在二维移动向量直方图包括不止两个局部最大值的情况下特别重要。选择的不是与局部最大值相对应的移动向量,而是其数值与对应于局部最大值之移动向量数值相接近的移动向量也是可能的。
图2D概略地表示出遮断检测器205的实施方案,遮断检测器205包括确定第一预定阈值的测量单元218。第一预定阈值和第二预定阈值受遮断检测器218的灵敏度的影响。假定在第二输入连接端208提供的移动向量根据象素的亮度值进行计算,而且亮度值范围在0-255。那么第一预定阈值也在0-255范围内。如果第一预定阈值比较低,那么,不在遮断区108,110的象素被错误地标记成在遮断区108,110的概率就高。另一方面,如果第一预定阈值比较高,那么,在遮断区的象素被错误地标记成在遮断区的概率就高。通过测量例如图象100的噪声水平,或对比度或频率特性,可以推导出第一预定阈值的适当数值。同样,可以推导出第二预定阈值的适当数值。测量可以以必须对其遮断区108,110进行检测的图象100为基础。对其图象,例如图象102也能够进行这些测量。计算象素数值的标准偏差或快速傅里叶变换可以用来得到第一和第二预定阈值。计算出现频率的装置216和计算象素间距离的装置214为了选装置。
图2E概略地表示出遮断非检测器207的实施方案,遮断检测器207包括关闭间隙滤波器220。判定单元204的输出为二进制标记,其对图象100的每个象素指示出该象素是否属于遮断区,例如遮断区108,还是不属于这一遮断区。这个二进制标记用关闭间隙滤波器220进行后处理。关闭间隙滤波器220工作情况如下。属于遮断区的象素定值为1,不属于遮断区的象素定值为0。定值为1的象素被关闭间隙滤波器220保留。如果在高层为H,宽度为W的感兴趣区域内,在“0定值”象素的左侧和右侧至少有9个数值为1的象素,那么关闭间隙滤波器220就把“0定值”象素改成“1定值”象素。
图3概略地表示出根据本发明移动估算器300的实施方案,移动估算器300包括:
-移动向量估算器302,用来计算某一图象,例如图象100的各象素组的移动向量组;
-遮断检测器314,其根据移动向量组来检测图象100中的遮断区;及
-移动向量分配单元304,其根据遮断检测器200,201,203,205,207的输出将特定移动向量分配给特定象素111,112。
移动向量估算器302的工作情况,例如,如G.de.Hann等人的文章“使用3-D递回搜索块匹配的真移动估算”中所述。该文在IEEE学报关于电视技术的电路和系统部分,1993.10第3卷,第5期,368-379页。其他移动估算器也是可能的。遮断检测器314的工作情况分别如关于图2A,2B,2C,2D,2E描述。移动向量分配单元304包括前景/背景检测器,例如,如在申请号EP0104647(代理人附案号PHNL 010095EEP)下提出的国际专利申请文件中所说明的或D.Gao,J.Zhou和L.Xin在ICIP学报2001年395-398页的文章“自适应背景估算的新算法”中所说明的前景/背景检测器。移动向量分配单元304要确定标记成为部分遮断区108,110的象素是处在下一图象102中将被遮盖的区域108还是处在下一图象102中将被显露的区域110。这分别相应于属于背景或前景。由后一种分类型式所决定,移动向量分配单元304将移动向量分配给被标记成为是部分遮断区108,110的象素。这一移动向量可能是例如第一移动向量118或第二移动向量120。注意,虽然已经确定了第一移动向量118和第二移动向量120是不正确的,但是它们对进一步的处理还是合适的。它们不正确,因为它们不代表实际的物理事件:某事为另一事所取代。移动向量是同一对象移动的表示。第一移动向量118或第二移动向量120可能是合适的,因为通过利用这两个移动向量其中的一个向量就可以计算出基本正确的重新定时象素,例如在向上转换的情况下就是如此。
图4概略地表示出图象处理设备400的元件,该设备包括:
-接收装置401,用来在已完成某种处理之后接收代表要显示图象的信号。信号可以是通过无线或电线接收的广播信号,但也可以是来自存储装置像VCR(盒式录像机)或数字视频光盘(DVD)的信号。在输入端407提供信号。
-移动估算器单元300,如关于图3所述;
-移动补偿图象处理单元403;及
-显示装置405,用来显示处理过的图象。此显示装置为可选装置。
移动补偿图象处理单元403要求图象和移动向量作为其输入。
应当指出,上述实施方案说明的不是对本发明的限制,本领域中的熟练技术人员将能够设计出其他的实施方案而又不偏离所附权利要求的范围。在权利要求中,置于括号内的任何参考符号都不构成对权利要求的限制。词语“包括”并不排除未列在权利要求中之元件或步骤的存在。元件前面的词语“一个”并不排除多个这类元件的存在。本发明通过包括几个不同元件的硬件以及适合的编程计算机来实现。在列举几个装置的单元权利要求中,这几个装置可以由同一个硬件来体现。某些功能分配在几个装置上也是可能的。例如可能有两个象素数值比较器而不是一个。

Claims (9)

1.遮断检测器(200,201,203,205,207),根据一组移动向量(118,120)来检测第一图象(101)中的遮断区(110),其中第一图象(101)属于一系列连续的图象(100,101,102),其特征在于遮断检测器(200,201,203,205,207)包括:
-移动向量选择器(202),其根据第一移动向量(118)与第二移动向量(120)之间的基本向量差从移动向量组中选出第一移动向量(118)和第二移动向量(120);
-象素数值比较器(206),其用来计算第二图象(100)的第一象素(115)的第一数值与第三图象(102)的第二象素(116)的第二数值之间的第一象素数值差,其中第一象素(115)与第二象素(116)之间的第一关系由第一移动向量(118)给出,其还用来计算第二图象的第三象素(113)的第三数值与第三图象(102)的第四象素(114)的第四数值之间的第二象素数值差,其中第三象素(113)与第四象素(114)之间的第二关系由第二移动向量(120)给出;及
-判定单元(204),其通过检验是否第一象素数值差大于第一预定阈值及第二象素数值差大于第二预定阈值来确定对应于第一移动向量(118)与第二移动向量(120)交叉点的第一图象(101)的特定象素(112)是否属于遮断区(108,110)的其中之一。
2.按权利要求1中所要求的遮断检测器(201),其特征在于,移动向量选择器(202)根据特定象素(112)与另一象素(117)间的距离来选择第一移动向量(118),象素(117)属于第一移动向量(118)所对应的特定象素组(123)。
3.权利要求1所要求的遮断检测器(203),其特征在于,移动向量选择器(202)用来确定移动向量组中的移动向量的出现频率并根据出现频率选出第一移动向量(118)。
4.按权利要求1中所要求的遮断检测器,其特征在于,象素数值比较器(206)用来计算第一数值与第二数值间的绝对差值。
5.按权利要求1中所要求的遮断检测器(200,201,203,205,207),其特征在于移动向量选择器(202)用来从移动向量组中选出第一移动向量(118),其中移动向量组包括对第一图象和第三图象各自象素组所估算的移动向量。
6.按权利要求1中所要求的遮断检测器(205),其特征在于,遮断检测器(205)包括确定第一预定阈值的测量单元(218)。
7.根据一组移动向量(118,120)检测第一图象(101)中遮断区(108,110)的方法,其中第一图象(101)属于一系列连续图象(100,101,102),其特征在于,该方法包括:
-移动向量选择步骤(202),其根据第一移动向量(118)与第二移动向量(120)之间的基本向量差从移动向量组中选出第一移动向量(118)和第二移动向量(120);
-象素数值比较步骤(206),其用来计算第二图象(100)的第一象素(115)的第一数值与第三图象(102)的第二象素(116)的第二数值之间的第一象素数值差,其中第一象素(115)与第二象素(116)之间的第一关系由第一移动向量(118)给出,其还用来计算第二图象的第三象素(113)的第三数值与第三图象(102)的第四象素(114)第四数值之间的第二象素数值差,其中第三象素(113)与第四象素(114)之间的第二关系由第二移动向量(120)给出;及
-判定步骤(204),其通过检验是否第一象素数值差大于第一预定阈值和第二象素数值差大于第二预定阈值来确定对应于第一移动向量(118)与第二移动向量(120)交叉点的第一图象的特定象素(112)是否属于遮断区(108,110)的其中之一。
8.移动估算器(300),包括:
-移动向量估算器(302),用来计算移动向量组;
-遮断检测器(200,201,203,205,207),其根据移动向量组来检测第一图象(101)中的遮断区(108,110);及
-移动向量分配单元(304),其根据遮断检测器(200,201,203,205,207)的输出将特定移动向量分配给特定象素(112),
其特征在于,遮断检测器(200,201,203,205,207)包括:
-移动向量选择器(202),其根据第一移动向量(118)与第二移动向量(120)之间的基本向量差从移动向量组中选出第一移动向量(118)和第二移动向量(120);
-象素数值比较器(206),其用来计算第二图象(100)的第一象素(115)的第一数值与第三图象(102)的第二象素(116)的第二数值之间的第一象素数值差,其中第一象素(115)与第二象素(116)之间的第一关系由第一移动向量(118)给出,其还用来计算第二图象的第三象素(113)的第三数值与第三图象(102)的第四象素(114)的第四数值之间的第二象素数值差,其中第三象素(113)与第四象素(114)之间的第二关系由第二移动向量(120)给出;及
-判定单元(204),其通过检验是否第一象素数值差大于第一预定阈值和第二象素数值差大于第二预定阈值来确定对应于第一移动向量(118)与第二移动向量(120)交叉点的第一图象的特定象素(112)是否属于遮断区(108,110)的其中之一。
9.图象处理设备(400),包括:
-接收装置(401),其接收代表要显示第一图象(101)的信号;
-移动估算器(300),其包括根据移动向量组(118,120)来检测第一图象(101)中遮断区(108,110)的遮断检测器(200,201,203,205,207),其中第一图象(101)属于一系列连续图象(100,101,102);及
-移动补偿图象处理单元(403),
其特征在于,遮断检测器(200,201,203,205,207)包括:
-移动向量选择器(202),其根据第一移动向量(118)与第二移动向量(120)之间的基本向量差从移动向量组中选出第一移动向量(118)和第二移动向量(120);
-象素数值比较器(206),其用来计算第二图象(100)的第一象素(115)的第一数值与第三图象(102)的第二象素(116)的第二数值之间的第一象素数值差,其中第一象素(115)与第二象素(116)之间的第一关系由第一移动向量(118)给出,其还用来计算第二图象的第三象素(113)的第三数值与第三图象(102)的第四象素(114)的第四数值之间的第二象素数值差,其中第三象素(113)与第四象素(114)之间的第二关系由第二移动向量(120)给出;及
-判定单元(204),其通过检验是否第一象素数值差大于第一预定阈值和第二象素数值差大于第二预定阈值来确定对应于第一移动向量(118)与第二移动向量(120)交叉点的第一图象的特定象素(112)是否属于遮断区(108,110)的其中之一。
CNB028220307A 2001-11-07 2002-10-24 用于遮断区检测的遮断检测器和遮断区检测方法 Expired - Fee Related CN1266948C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01204272 2001-11-07
EP01204272.7 2001-11-07

Publications (2)

Publication Number Publication Date
CN1582582A CN1582582A (zh) 2005-02-16
CN1266948C true CN1266948C (zh) 2006-07-26

Family

ID=8181202

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028220307A Expired - Fee Related CN1266948C (zh) 2001-11-07 2002-10-24 用于遮断区检测的遮断检测器和遮断区检测方法

Country Status (8)

Country Link
US (1) US7995793B2 (zh)
EP (1) EP1444837B1 (zh)
JP (1) JP4213035B2 (zh)
KR (1) KR100924906B1 (zh)
CN (1) CN1266948C (zh)
AT (1) ATE320143T1 (zh)
DE (1) DE60209773T2 (zh)
WO (1) WO2003041416A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980759A (zh) * 2014-04-09 2015-10-14 联发科技股份有限公司 侦测遮挡区域的方法以及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924906B1 (ko) 2001-11-07 2009-11-03 엔엑스피 비 브이 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치
EP1481546A1 (en) * 2002-02-28 2004-12-01 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
KR100973429B1 (ko) * 2003-01-23 2010-08-02 엔엑스피 비 브이 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
EP1665808B1 (en) 2003-09-02 2016-05-25 Entropic Communications, Inc. Temporal interpolation of a pixel on basis of occlusion detection
EP1589763A2 (en) 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
US8086036B2 (en) * 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US20080278633A1 (en) * 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US8254444B2 (en) * 2007-05-14 2012-08-28 Samsung Electronics Co., Ltd. System and method for phase adaptive occlusion detection based on motion vector field in digital video
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
US9220549B2 (en) 2011-09-27 2015-12-29 Steven Glickel Distal radius volar locking plate with extension for ulnar volar fragment
KR101908388B1 (ko) 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
US9563960B2 (en) 2014-04-09 2017-02-07 Mediatek Inc Method for detecting foreground
CN112929778B (zh) * 2021-02-10 2022-11-22 歌尔科技有限公司 一种无线耳机控制方法、装置、电子设备及无线耳机

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4944082A (en) 1989-04-27 1990-07-31 Hewlett Packard Co. Method of providing a sheet metal housing with precisely positioned mounting references
WO1992005662A1 (en) 1990-09-20 1992-04-02 British Broadcasting Corporation Video image processing
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5550685A (en) * 1993-10-22 1996-08-27 Syquest Technology, Inc. Applying an adaptive feed-forward algorithm as a frequency selective filter in a closed loop disk drive servo system in order to compensate for periodic perturbations which otherwise appear in the servo system position error signal
US5471252A (en) * 1993-11-03 1995-11-28 Matsushita Electric Industrial Corporation Of America Method and apparatus for estimating motion vector fields by rejecting local outliers
US5442407A (en) * 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
JP3266416B2 (ja) * 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
US5500689A (en) 1994-10-26 1996-03-19 Thomson Consumer Electronics, Inc. System for detecting a video signal image intensity gradient
US5612745A (en) * 1995-07-24 1997-03-18 Motorola, Inc. Method and apparatus for detecting occlusion
DE19548452C1 (de) * 1995-12-22 1997-02-20 Siemens Ag Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
WO1999022520A2 (en) 1997-10-29 1999-05-06 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
WO2000011863A1 (en) 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
WO2001088852A2 (en) * 2000-05-18 2001-11-22 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensared picture rate up-conversion
WO2001089225A2 (en) 2000-05-18 2001-11-22 Koninklijke Philips Electronics N.V. Image foreground/background velocity detector
US6810081B2 (en) * 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
DE60212417T2 (de) * 2001-09-07 2007-02-01 Koninklijke Philips Electronics N.V. Bildprozessor und anzeigegerät mit einem solchen bildprozessoren
KR100924906B1 (ko) 2001-11-07 2009-11-03 엔엑스피 비 브이 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치
KR100474848B1 (ko) * 2002-07-19 2005-03-10 삼성전자주식회사 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법
CN1922873A (zh) * 2004-02-23 2007-02-28 皇家飞利浦电子股份有限公司 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980759A (zh) * 2014-04-09 2015-10-14 联发科技股份有限公司 侦测遮挡区域的方法以及装置
US9917988B2 (en) 2014-04-09 2018-03-13 Mediatek Inc. Method for detecting occlusion areas
CN104980759B (zh) * 2014-04-09 2018-05-22 联发科技股份有限公司 侦测遮挡区域的方法以及装置

Also Published As

Publication number Publication date
DE60209773D1 (de) 2006-05-04
EP1444837B1 (en) 2006-03-08
ATE320143T1 (de) 2006-03-15
EP1444837A1 (en) 2004-08-11
CN1582582A (zh) 2005-02-16
US7995793B2 (en) 2011-08-09
JP4213035B2 (ja) 2009-01-21
US20040252763A1 (en) 2004-12-16
JP2005509230A (ja) 2005-04-07
DE60209773T2 (de) 2006-11-30
KR100924906B1 (ko) 2009-11-03
WO2003041416A1 (en) 2003-05-15
KR20040058271A (ko) 2004-07-03

Similar Documents

Publication Publication Date Title
CN1266948C (zh) 用于遮断区检测的遮断检测器和遮断区检测方法
CN1303818C (zh) 运动估计和/或补偿
KR100840133B1 (ko) Mc 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
US8849054B2 (en) Digital image stabilization
US20120250945A1 (en) Method for analyzing object motion in multi frames
CN1211878A (zh) 数字视频的淡变检测器
US8401318B2 (en) Motion vector detecting apparatus, motion vector detecting method, and program
EP1932117A2 (en) Method and apparatus for determining automatically the shot type of an image (close-up shot versus long shot)
CN1488123A (zh) 确定第二区段的分割单元和方法以及图像处理设备
CN109714530B (zh) 一种航空相机图像调焦方法
JP2012018014A (ja) 測距装置及び撮像装置
US20110216831A1 (en) Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
KR100217485B1 (ko) 동영상 부호기 또는 복호기에서 이동보상방법
US20110085026A1 (en) Detection method and detection system of moving object
CN1628326A (zh) 通过考虑闭塞估算像素组的运动矢量
WO2007063465A2 (en) Motion vector field correction
CN101727673A (zh) 用于基于差异直方图进行运动检测的方法和单元
WO2007129591A1 (ja) 遮蔽物映像識別装置及び方法
CN110062150B (zh) 一种自动对焦方法及装置
CN1198245C (zh) 降低运动向量传输成本的运动估计方法
CN1181668C (zh) 检测视频信号中的文本的方法和设备
CN100588253C (zh) 跟踪快速移动的小物体的运动矢量场求精法
CN110896469B (zh) 用于三摄的解像力测试方法及其应用
JP2018138875A (ja) 物体接近検知装置および物体接近検知方法
WO2004054256A1 (en) Recognizing film and video occurring in parallel in television fields

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090109

Address after: Holland Ian Deho Finn

Patentee after: NXP B.V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090109

ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST)CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100819

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, NETHERLANDS TO: CAYMAN ISLANDS, GRAND CAYMAN ISLAND

TR01 Transfer of patent right

Effective date of registration: 20100819

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident microsystem (Far East) Co.,Ltd.

Address before: Holland Ian Deho Finn

Patentee before: NXP B.V.

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: California, USA

Patentee after: ENTROPIC COMMUNICATIONS, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident microsystem (Far East) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180704

Address after: American Minnesota

Patentee after: Dynamic data technology LLC

Address before: California, USA

Patentee before: Entropic Communications, Inc.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060726

Termination date: 20211024

CF01 Termination of patent right due to non-payment of annual fee