CN1636406A - 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备 - Google Patents

移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备 Download PDF

Info

Publication number
CN1636406A
CN1636406A CNA028139232A CN02813923A CN1636406A CN 1636406 A CN1636406 A CN 1636406A CN A028139232 A CNA028139232 A CN A028139232A CN 02813923 A CN02813923 A CN 02813923A CN 1636406 A CN1636406 A CN 1636406A
Authority
CN
China
Prior art keywords
segmentation
pixel value
mobile
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028139232A
Other languages
English (en)
Other versions
CN100385953C (zh
Inventor
G·A·伦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8180623&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1636406(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1636406A publication Critical patent/CN1636406A/zh
Application granted granted Critical
Publication of CN100385953C publication Critical patent/CN100385953C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

移动估计单元(100)包括第一求和装置(106),用于计算第一图像(118)的分段(116)的若干候选移动矢量的匹配误差。具有最小匹配误差的移动矢量可以被分配给分段(116)作为被估计的移动矢量。该匹配误差是以分段(116)的像素值与第二图像(120)的像素值之间的绝对差值和为基础的。为了估计被估计的移动矢量从实际移动矢量的偏移,即,移动矢量误差(130),则移动估计单元(100)还包括:第二求和装置(108),用于通过对分段(116)的像素值之间的绝对差值求和来计算方差参数;以及估计装置(110),用于通过比较匹配误差与方差参数来估计一个移动矢量误差(130)。

Description

移动估计的单元和方法以及装备 有此类移动估计单元的图像处理设备
本发明涉及一种用于产生移动矢量的移动估计单元,每一移动矢量与第一图像的各自分段相应,所述移动估计单元包括一个第一求和装置,用于通过累加该分段的像素值和第二图像的像素值之间的绝对差值来计算该分段移动矢量的匹配误差。
本发明还涉及一种产生移动矢量的方法,每一移动矢量与第一图像的各自分段相应,所述方法包括第一求和步骤,通过累加该分段的像素值和第二图像的像素值之间的绝对差值来计算该分段移动矢量的匹配误差。
本发明还涉及一种图像处理设备,包括:
一个用于产生移动矢量的移动估计单元,每一移动矢量与第一图像的各自分段相应,所述移动估计单元包括一个第一求和装置,用于通过累加该分段的像素值和第二图像的像素值之间的绝对差值来计算该分段移动矢量的匹配误差;和
一个移动补偿图像处理单元。
从关于视频技术的电路和系统的IEEE学报(第5次,第3卷,1993年,10月,第368-379页)中G.deHaan等人的文章”True-MotionEstimation with 3-D Recursive Search Block Matching”(具有3-D递归搜索块匹配的实际移动估计)中可了解在开头段落中描述的那种方法的一个实施例。
对于视频信号处理中的许多应用,需要知道图像序列的明显速度场,即通常所说的光流。这种光流被给定为一个时间变化矢量场,即,每一图像有一个矢量场。在引用的文章中,通过把图像划分成块来估计这种移动矢量场。对于每一块的一组候选移动矢量,计算出一个匹配误差并且将其使用在一个最小化程序中以便从该块的候选移动矢量组中找到最适当的移动矢量。该匹配误差对应于SAD:在一个图像块中的像素和移动矢量移位的下一图像中的一个块像素之间的绝对亮度差之和:
SAD ( x , y , d x , d y , n ) : =
Σ i = 0 N Σ j = 0 M | Y ( x + i , y + j , n ) - Y ( x + d x + i , y + d y + j , n + 1 ) | - - - ( 1 )
在这里(x,y)是块的位置,(dx,dy)是一个移动矢量,n是图像编号,N和M是块的宽度和高度,而Y(x,y,n)是在图像n中位置(x,y)处的一个像素亮度值。
所估计的移动矢量可以偏离实际的移动矢量,即,可以有一个移动矢量误差。SAD的值只可作为一个相对的量度被使用于比较中。计算出的SAD未给出移动矢量精确度的一个可靠指示,即移动矢量误差。这是现有技术方法的一个缺点。
本发明的第一个目的是提供在开头段落中描述的那种移动估计单元,其被安排来计算一个移动矢量误差。
本发明的第二个目的是提供一个在开头段落中描述的那种方法,在该方法中计算一个移动矢量误差。
本发明的第三个目的是提供一个在开头段落中描述的那种图像处理设备,其被安排来计算一个移动矢量误差。
本发明的第一个目的被实现,其中所述移动估计单元还包括:
一个第二求和装置,用于通过累加在所述分段的像素值和所述第一图像的像素值之间的绝对差值来计算一个方差参数;和
一个估计装置,用于通过把所述匹配误差与所述方差参数进行比较来估计一个移动矢量误差。
利用所述第二求和装置,可以计算出作为所述块中详细级别测量值的一个方差参数。一个块是一种分段。不规则形状的分段的移动估计也很平常。本发明也适用于不规则形状的分段。如果在块中有许多细节,即,导致一个相对高的方差参数值,那么匹配误差的值也可以具有一个相对高的数值。一个相对低的方差参数值结合一个相对高的匹配误差值表示估计的移动矢量可能是错误的。
根据本发明的移动估计单元的一个优点是:所述移动估计单元提供一个移动矢量误差,因为在许多应用中人们对移动矢量误差值很感兴趣。例如,当移动矢量足够优良时,不必花时间来试图改善它。由此改良了效率和矢量场的一致性。一个移动矢量误差还可以被用来估计移动矢量场的整体质量,以便决定当何时使用落后选项、何时使用产生较少人工产物的改进算法。它还可以被用来查找与目标边缘有重叠的那些块,从而可以以一种更适当的方式处理这些块。
在EP 0 549 681 B2中已经建议了一个相关的思想,其中描述了一个移动估计器单元,其在至少四个图像上操作以便确定一个移动矢量。在那个专利说明书中,建议通过分配误差的最小化来估计移动矢量,所述分配误差通过把在后续图像的像素值之间的差值除以一个所谓的梯度来计算出。此梯度是通过求二次项差值的平方根所计算出的。在根据本发明的移动估计单元和在EP 0 549 681 B2中描述的移动估计单元之间的下列主要区别为:
本发明的移动估计单元的方差参数和匹配误差是以一个等效测量,绝对差值之和,为基础的。在EP 0 549 681 B2中描述的移动估计单元中,两个不同的测量值被计算:一个差值和二次项差值的一个平方根。使用绝对差值之和两次的优点是:移动矢量误差可以提供有关估计的移动矢量从实际的移动矢量偏移的质量甚至数量的信息。证明这个事实的实验已经完成。在下文中关于图3到图7描述这些试验的结果。使用绝对差值之和两次的另外一个优点是:它计算不复杂。
方差参数可使用于本发明的移动估计单元中用于所有候选移动矢量的匹配误差的标准化。然而,这不是必需的,因为对于一个分段的所有候选移动矢量,方差参数是一个恒量。只要对于估计的移动矢量(即,候选移动矢量组中出来的一个)计算出移动矢量误差就足以确定该估计的移动矢量是否可能是实际移动的一个适当值,在EP 0 549681 B2中描述的移动估计单元中,对于所有候选移动矢量执行一个标准化。
在本发明的移动估计单元的一个实施例中,第二求和装置被设计来通过把下面两个数值相加从而计算方差参数:
在该分段的像素值和与该分段在第一方向上偏移至少一个像素对应的第二分段的像素值之间的绝对差值;和
在分段的像素值和与该分段在第二方向上偏移至少一个像素对应的第三分段的像素值之间的绝对差值,所述第一方向与所述第二方向交叉。
方差参数测量的目的是预测由一个已知移动矢量偏移所引起的绝对差值之和。因为不知道实际的移动矢量,所以靠在同一图像中稍微移动(即,偏移)的分段来匹配一个分段。因为误差方向未知,所以产生在两个方向上的一个平均值。换言之,通过把两个测量值进行比较,即比较匹配误差与方差参数(两者都是一个转换的一个测量值),则可导出移动矢量误差,它与估计的移动矢量和实际的移动矢量之间的差值相关。匹配误差是以在后续图像之间的块转换为基础的,而方差参数是以一个图像内的块转换为基础的。被应用到块上用于计算方差参数的所述偏移值与方差参数随机相关。如果被应用到块上用于计算方差参数的偏移增加,则方差参数也将增加的可能性相对大。借助于方差参数,可以关于匹配误差值的分配作为移动矢量误差的一个函数进行一个陈述。
在本发明的移动估计单元实施例的一种修改中,第二求和装置被设计来还要相加在分段的像素值和第四分段的像素值之间的绝对差值,其中第四分段与该分段在第一方向上偏移至少一个像素以及在第二方向上偏移至少一个像素对应。此实施例的优点是:当移动估计单元在工作中时作为第一和第二方向上的对角线的方向也被考虑。
本发明的移动估计单元的一个实施例被设计来产生作为像素块的分段的移动矢量。基于像素块的一个移动估计单元的优点是它的设计简明性。本发明的移动估计单元的另一实施例被设计来处理不规则形状的分段。
本发明的移动估计单元的一个实施例被设计来基于作为像素值的亮度值来产生该分段的移动矢量。亮度是移动估计的一个合适量。本发明的移动估计单元的另一实施例被计划来关于色度值进行操作。
本发明的第二个目的被实现,其中所述方法还包括:
第二求和步骤,通过累加在该分段的像素值和第一图像的像素值之间的绝对差值来计算一个方差参数;和
一个估计步骤,用于通过把所述匹配误差与所述方差参数进行比较来估计一个移动矢量误差。
本发明的第三个目的被实现,其中所述图像处理设备的移动估计单元还包括:
一个第二求和装置,用于通过累加在所述分段的像素值和所述第一图像的像素值之间的绝对差值来计算一个方差参数;和
一个估计装置,用于通过把所述匹配误差与所述方差进行比较来估计一个移动矢量误差。
图像处理设备的修改及其变型可以对应于所述移动估计器单元的修改和变形。该图像处理设备可以包括另外的组件,例如用于接收一个表示图像的信号的接收装置和用于显示已处理图像的一个显示装置。移动补偿图像处理单元可以支持一个或多个下列类型的图像处理:
解交织:交织是用于交替地发射奇数或偶数编号的图像扫描线的通用视频广播程序。解交织试图恢复完整的垂直分辨率,即,对于每个图像,同时使单或双线路可用;
上变换:从一串原始输入图像中计算出较大串的输出图像。输出图像暂时位于两个原始输入图像之间;和
暂时噪音减弱。
从在下文中描述的实现和实施例中,如本发明所述的移动估计单元、方法以及图像处理设备的这些以及其它方面将变得显而易见,并且将相对于在下文中描述的实现和实施例并参考附图说明之,附图中:
图1示意性地示出了移动估计单元的一个实施例;
图2示意性地示出了图像处理设备的一个实施例;
图3示出了使用于1500的固定VAR、1像素的VE和最佳高斯匹配的实验中的一个测试序列的SAD值之柱状图;
图4A示出了对于一个测试序列,μ作为VE=0时VAR的函数的关系;
图4B示出了对于一个测试序列,σ作为VE=0时VAR的函数的关系;
图5A示出了对于一个测试序列,μ作为VE=1时VAR的函数的关系;
图5B示出了对于一个测试序列,σ作为VE=1时VAR的函数的关系;
图6示出了对于一个测试序列,关于VE在 SAD = ℵ ( αVAR , αVAR , 3.0 ) 中恒量a的关系;和
图7示出了P(VE=e|SAD=x,VAR=v)作为各个x/v值时e的函数的曲线。
在所有附图中相应的参考数字具有相同的意义。
图1示意性地示出了移动估计单元100的一个实施例,包括:
产生装置102,用于产生第一图像118的分段116的一组候选移动矢量;
第一求和装置106,用于通过累加在分段116的像素值和与第二图像120的像素值之间的绝对差值来计算分段116的候选移动矢量的匹配误差;
第二求和装置108,用于通过累加在所述分段116的像素值和所述第一图像118的像素值之间的绝对差值来计算一个方差参数;
估计装置110,用于通过把一个特定的匹配误差与该方差参数进行比较来估计一个移动矢量误差130;和
选择装置104,用于根据匹配误差从候选移动矢量组中选择一个特定移动矢量126。
移动估计器单元100的输入包括图像并且被提供在输入连接器112处。移动估计器单元100的输出是包括分段(例如116)的移动矢量的移动矢量场(例如124)。在一个输出连接器114处提供移动估计器单元100的输出。移动估计器单元100的特征表现如下。首先,产生装置102为一个分段116(例如像素块)产生一组候选者移动矢量。然后,第一求和装置106为这些候选移动矢量计算匹配误差。然后,选择装置104根据这些匹配误差从候选移动矢量组中选择一个特定移动矢量126。这个特定的移动矢量126被选定,因为它的匹配误差具有最小值。第二求和装置108计算分段116的方差参数。对于特定的移动矢量126并且作为选择对于候选组的其它移动矢量,根据匹配误差和方差参数计算出移动矢量误差,例如130。一个移动矢量误差例如130对应于实际的移动矢量128和使用于计算匹配误差中的移动矢量126之间的差值矢量的长度。为选择装置104输入这些移动矢量误差,例如130。如果特定移动矢量126的移动矢量误差130的数值低于一个预定门限值,那么该特定移动矢量126被分配给分段116。选择装置104被安排来在特定移动矢量126的移动矢量误差130的数值比预定门限值高时触发产生装置102来产生新的候选移动矢量组。估计装置110通知选择装置104移动矢量误差也已经被计算出的那个移动矢量是否可能对于其它分段是适当的候选者。
由第一求和装置106计算出的匹配误差对应于SAD:在图像的一个特定块中的像素和与移动矢量移位特定块相应的下一图像中的一个块像素之间的绝对亮度差之和:
SAD ( x , y , d x , d y , n ) : =
Σ i = 0 N Σ j = 0 M | Y ( x + i , y + j , n ) - Y ( x + d x + i , y + d y + j , n + 1 ) | - - - ( 1 )
在这里(x,y)是块的位置,(dx,dy)是一个移动矢量,n是图像编号,N和M是块的宽度和高度,而Y(x,y,n)是在图像n中位置(x,y)处的一个像素亮度值。
由第二求和装置108计算出的方差参数对应于VAR:在图像的一个特定块中的像素和同一图像中但是偏移了一个预确定像素量的块像素之间的绝对亮度差之和。为了定义方差参数,函数DIFF被引入。
DIFF ( x 1 , y 1 , x 2 , y 2 , n 1 , n 2 ) : = Σ i = 0 N Σ j = 0 M | Y ( x 1 + i , y 1 + j , n 1 ) - Y ( x 2 + i , y 2 + j , n 2 ) | - - - ( 2 )
在此,同样N和M是块的宽度和高度。根据此函数,即,替代等式(1)中的等式(2),SAD变成:
SAD(x,y,dx,dy,n)=DIFF(x,y,x+dx,y+dy,n,n+1)    (3)
方差参数VAR可以被定义如下:
VAR ( x , y ) : = 1 2 ( DIFF ( x , y , x + 1 , y , n , n ) + DIFF ( x , y , x , y + 1 , n , n ) ) - - - ( 4 )
这对于1个像素的一个移动矢量误差给出了匹配误差SAD的期望值。在这种情况下,方差参数是以在两个不同方向上的平均值为基础的。
计算方差参数的另一方式是还考虑对角线方向:
VAR 4 ( x , y ) : = 1 4 DIFF ( x , y , x + 1 , y , n , n ) + DIFF ( x , y , x , y + 1 , n , n ) + DIFF ( x , y , x + 1 , y + 1 , n , n ) / 2 + DiFF ( x , y , x + 1 , y + 1 , n , n ) / 2 - - - ( 5 )
计算方差参数的另一方式是使用更大的偏移,例如2个像素:
VAR 2 ( x , y ) : = 1 2 1 2 DIFF ( x , y , x + 2 , y , n , n ) + 1 2 DIFF ( x , y , x , y + 2 , n , n ) - - - ( 6 )
偏移的尺寸与块尺寸相关。VAR4测量值是其他的两倍那么昂贵。VAR2测量值对噪声不及VAR那么灵敏。
图2示意性地示出了图像处理设备200的元件,包括:
接收装置201,用于接收一个信号,该信号表示在已经完成某些处理之后要被显示的图像。可以是通过天线或电缆接收的广播信号,但是,也可以是从像VCR(录影机)或数字万用光盘(DVD)之类的存储装置中来的信号。在输入连接器206处提供该信号。
有关于图1来描述的一个移动估计器单元100;
一个移动补偿图像处理单元202;和
一个显示装置204或者显示该处理的图像。
移动补偿图像处理单元20 202可选择地支持一个或多个下列类型的图像处理:
解交织:交织是用于交替地发射奇数或偶数编号的图像扫描线的通用视频广播程序。解交织试图恢复完全的垂直分辨率,即对于每个图像同时使单或双线路可用;
上变换:从一串原始输入图像中计算出较大串的输出图像。输出图像暂时位于两个原始输入图像之间;和
暂时噪音减弱。
移动补偿图像处理单元202需要图像和移动矢量作为它的输入。
研究方差参数VAR、匹配误差SAD和移动矢量误差VE之间关系的实验已经完成。基于这些实验,采用关于这些关系的假说。第一VE和VAR被使用作为自变量,而SAD被使用作为因变量。第二SAD和VAR被使用作为自变量,而VE被使用作为因变量。后一种关系最恰当。它能够鉴定一个移动矢量并且甚至把该移动矢量误差量化到某一个程度上。结果是:一个被估计的移动矢量可以被分类如下:
该被估计的移动矢量基本上等于具有一个预确定小数目的实际移动矢量:SAD<α*VAR。
该被估计的移动矢量从实际的移动矢量大约偏离e个像素,即该移动矢量误差的大小近乎等于e个像素。这只可对于一个移动矢量误差值的范围而被指示,例如0≤e≤3像素:SAD>b,(3/5)SAD/VAR<e个[像素],具有某个预确定小门限值b。
该被估计的移动矢量基本上不等于实际的移动矢量:
SAD>b,(3/5)SAD>3*VAR。
在被估计的移动矢量和实际的移动矢量之间的差值是未知的:保持情况。
实验的建立如下。对于若干具有简单移动的图像序列,即,没有或者很少的堵塞(occlusions),现有技术的3DRS移动估计器被用来收敛到高精度,即0.25像素。为了获得子像素精确度,使用双线性的内插法。被估计的移动矢量与”实际的”移动矢量一致。然后”实际的”矢量在任意方向上偏移一个固定量。换言之,利用移动矢量误差来修改″实际的”移动矢量。与结果的移动矢量相应的SAD值然后相对VAR值而被放进一个2D柱状图中。实验表明,对于固定的VE和VAR,SAD值的分配可以由一个高斯分布很好地近似。这似乎对于任意的VAR并且对于在0到大约3像素范围中的VE似乎都是这样。
N=M=8像素的块尺寸被使用。图3示出了使用于1500的固定VAR、1像素的VE和最佳高斯匹配的实验中的一个测试序列的SAD值之柱状图。基于实验结果,对于固定的VE和VAR,SAD值的分配由一个高斯分布很好近似的假设被接受。
SAD ≈ ℵ ( μ ( VAR , VE ) , σ ( VAR , VE ) ) - - - ( 7 )
概率密度函数给出为:
Aexp(-(x-μ)2/2σ2)    (8)
μ和α相对于VAR和VE的关系式通过使2D适合柱状图的ID部分适合于最小二乘法来分析。关于VAR的μ和α的线性关系的比例常数很明显取决于VE。对于VE=0,0.5,1,1.5,2和3像素估计这些常数。这似乎是:在范围0<VE<3像素中,作为VAR的函数的μ的相关性为很好的线性,而关于VAR的α的相关性当VE变成较大时开始偏离一个线性相关。一个线性相关仍然象是一个到大约VE=3像素的适当的近似。VE=0,作为VAR的函数的结果测量值已经被绘制在图4A和图4B中。图4A示出了对于一个测试序列,VE=0时作为VAR的函数的μ的相关性,而图4B示出了对于一个测试序列,VE=0时作为VAR的函数的α的相关性。注意:即使对于VE=0,线路也未经过原点,与剩余的SAD相应。对于此,存在几个原因:在”实际的”移动场中的矢量误差、0.25像素矢量精确度和子像素内插误差,命名为三。图5A示出了对于一个测试序列,VE=1时作为VAR的函数的μ的相关性,而图5B示出了对于一个测试序列,VE=1时作为VAR的函数的α的相关性。
图6示出了,在μ=αVAR中比例常数α和VE的相关性被示出。关于VE的此相关性在0<VE<3像素范围中是大概线性的。一个最小乘方拟合产生:
μ=(0.7+1.5VE)VAR  (9)
σ=(0.2+0.5VE)VAR  (10)
这可以被简化为α=μ/3。
因此,给定VE和VAR的SAD值的一个条件概率分布已经被导出。给定VAR和VE,根据概率分布分配SAD。
P ( SAD = x | VE = e , VAR = v ) = 1 2 π σ e , v exp ( - ( x - μ e , v ) 2 / 2 σ e , v 2 ) - - - ( 11 )
在此,μe,v=(0.7+1.5e)v和σe,v=μe,v/3.0。
在上面描述了SAD如何取决于自变量VE和VAR。在根据本发明的一个移动估计单元中,SAD和VAR可以被直接计算出。接下来将描述如何基于SAD和VAR来估计VE。使用Bayes规则,可以计算给定SAD和VAR的VE的概率分布:
P ( VE = e | SAD = x , VAR = v ) = P ( SAD = x | VE = e , VAR = v ) P ( VE = e | VAR = v ) P ( SAD = x | VAR = V ) - - - ( 12 )
由于现有技术中关于VE分配什么也不知道,所以一个均匀分布被选择。像素的有关范围从0到3像素,如果0<e<3,则P(VE=e|VAR=v)=1/3,否则为0。实验结果表明预期的SAD与VAR成线性比例。由于现有技术中什么其他的也不知道,所以如果0<x<cv,则选定P(SAD=x|VAR=v)=1/cv,否则为0,在此c是一个任意的相对大的比例因子。这产生:
P ( VE = e | SAD = x , VAR = v ) = c 3 v 2 π σ e , v exp ( - ( x - μ e , v ) 2 / 2 σ e , v 2 ) - - - ( 13 )
在图7中,已经为好几个x/v值绘制了概率密度函数。按照这些分布的VE之期望值E(VE)和标准偏差SD(VE)如表1所示。表1:
SAD/VAR     0.5     1.0     2.0     3.0     4.0     5.0
E(VE)     0.4     0.5     1.2     1.9     2.5     3.0
SD(VE)     0.6     0.6     0.7     0.7     0.7     0.7
在一个有效范围上,这些结果可以被总结为:
E ( VE ) ≈ 3 5 SAD VAR - - - ( 14 )
SD(VE)≈0.7    (15)
利用方程式(14),如果方差参数VAR和匹配误差SAD的值已知,则一个移动矢量误差的期望值可以被估计。为如表1中指出的范围保存方程式(14)。注意:实际上,人们将加一个小数字到VAR以便使方程式(14)对噪声不太敏感并且避免被零除。对于在上面提到的测量值VAR4和VAR2,也已经执行了上述的分析。结果非常类似。
应当指出,上述实施例说明了本发明而不是限制了本发明,本领域技术人员将能够设计替换实施例而不偏离附加权利要求的范围。在权利要求中,放置在括弧内的任何参考符号不应该构成为限制权利要求的范围。单词′包括′不排除在一个权利要求中未列出的元件或步骤的存在。在一个元件前面使用冠词”一个”不排除多个这种元件的存在。通过包括好几个不同元件的硬件并且通过一个适当编程的计算机可以实现本发明。在列举好几个装置的部分权利要求中,好几个这些装置可以被同一项硬件具体表达。

Claims (12)

1.一种用于产生移动矢量的移动估计单元(100),每一移动矢量(100)与第一图像(118)的各自分段(116)相应,所述移动估计单元(100)包括第一求和装置(106),用于通过累加分段(116)的像素值和第二图像(120)的像素值之间的绝对差值来计算该分段(116)的移动矢量(126)的匹配误差,其特征在于,还包括:
第二求和装置(108),用于通过累加所述分段(116)的像素值和所述第一图像(118)的像素值之间的绝对差值来计算一个方差参数;和
估计装置(110),用于通过把所述匹配误差与所述方差进行比较来估计一个移动矢量误差(130)。
2.如权利要求1所述的移动估计单元(100),其特征在于:所述第二求和装置(108)被设计来把下面两个数值相加从而计算方差参数:
分段(116)的像素值和与该分段(116)在第一方向上偏移至少一个像素对应的第二分段(119)的像素值之间的绝对差值;和
分段(116)的像素值和与该分段(116)在第二方向上偏移至少一个像素对应的第三分段(115)的像素值之间的绝对差值,所述第一方向与所述第二方向正交。
3.如权利要求2所述的移动估计单元(100),其特征在于:所述第二求和装置(108)被设计来还要相加在分段(116)的像素值和与分段(116)在第一方向上偏移至少一个像素以及在第二方向上偏移至少一个像素对应的第四分段(117)的像素值之间的绝对差值。
4.如权利要求1所述的移动估计单元(100),其特征在于:被设计来产生所述分段(116)的所述移动矢量(126),分段(116)是像素的一块。
5.如权利要求1所述的移动估计单元(100),其特征在于:它被设计来基于作为像素值的亮度值而产生所述分段(116)的所述移动矢量(126)。
6.一种产生移动矢量的方法,每一移动矢量与第一图像(118)的各自分段(116)相应,所述方法包括:第一求和步骤,通过累加该分段(116)像素值和第二图像(120)的像素值之间的绝对差值来计算该分段(116)的移动矢量(126)的匹配误差,其特征在于在还包括:
第二求和步骤,通过累加分段(116)的像素值和第一图像(118)的像素值之间的绝对差值来计算一个方差参数;和
一个估计步骤,用于通过把所述匹配误差与所述方差参数进行比较来估计一个移动矢量误差(130)。
7.如权利要求6所述的方法,其特征在于:在第二求和步骤中,所述方差参数通过把下面两个数值相加来被计算出:
分段(116)的像素值和与该分段(116)在第一方向上偏移至少一个像素对应的第二分段(119)的像素值之间的绝对差值;和
分段(116)的像素值和与该分段(116)在第二方向上偏移至少一个像素对应的第三分段(115)的像素值之间的绝对差值,所述第一方向与所述第二方向交叉。
8.如权利要7所述的方法,其特征在于:所述第二步骤还要相加分段(116)的像素值和与分段(116)在第一方向上偏移至少一个像素以及在第二方向上偏移至少一个像素对应的第四分段(117)的像素值之间的绝对差值。
9.一种图像处理设备(200),包括:
一个用于产生移动矢量的移动估计单元(100);每一移动矢量(100)与第一图像(118)的各自分段(116)相应,所述移动估计单元(100)包括一个第一求和装置(106),用于通过累加分段(116)的像素值和第二图像(120)的像素值之间的绝对差值来计算该分段(116)的移动矢量(126)的匹配误差,和
一个移动补偿图像处理单元(202),其特征在于所述移动估计单元(100)还包括:
第二求和装置(108),用于通过累加所述分段(116)的像素值和所述第一图像(118)的像素值之间的绝对差值来计算一个方差参数;和
一个估计装置(110),用于通过把所述匹配误差与所述方差进行比较来估计一个移动矢量误差(130)。
10.如权利要求9所述的图像处理设备(200),其特征在于:所述移动补偿图像处理单元(202)被设计来减少第一图像(118)中的噪声。
11.如权利要求9所述的图像处理设备(200),其特征在于:所述移动补偿图像处理单元(202)被设计来对第一图像(118)进行解交织。
12.如权利要求9所述的图像处理设备(200),其特征在于:所述移动补偿图像处理单元(202)被设计来执行一个上变换。
CNB028139232A 2001-07-10 2002-06-21 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备 Expired - Fee Related CN100385953C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01202641 2001-07-10
EP01202641.5 2001-07-10

Publications (2)

Publication Number Publication Date
CN1636406A true CN1636406A (zh) 2005-07-06
CN100385953C CN100385953C (zh) 2008-04-30

Family

ID=8180623

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028139232A Expired - Fee Related CN100385953C (zh) 2001-07-10 2002-06-21 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备

Country Status (7)

Country Link
US (1) US8406302B2 (zh)
EP (1) EP1440581B1 (zh)
JP (1) JP4299123B2 (zh)
KR (1) KR100913846B1 (zh)
CN (1) CN100385953C (zh)
ES (1) ES2526340T3 (zh)
WO (1) WO2003007618A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534445B (zh) * 2009-04-15 2011-06-22 杭州华三通信技术有限公司 一种视频处理方法和系统以及解交织处理器
CN104639863A (zh) * 2013-11-12 2015-05-20 安纳帕斯股份有限公司 计算运动矢量的不连续性的方法和利用其的回退执行方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100573696B1 (ko) 2003-07-31 2006-04-26 삼성전자주식회사 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법
US7346226B2 (en) 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
CN100405818C (zh) * 2003-12-23 2008-07-23 创世纪微芯片公司 在数字视频序列中执行时间运动矢量滤波的方法
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7499494B2 (en) 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
JP4375080B2 (ja) * 2004-03-29 2009-12-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
TWI280798B (en) * 2004-09-22 2007-05-01 Via Tech Inc Apparatus and method of adaptive de-interlace of image
KR100692600B1 (ko) * 2005-02-22 2007-03-13 삼성전자주식회사 움직임 추정 장치 및 방법
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
GB2444991A (en) * 2006-12-21 2008-06-25 Tandberg Television Asa Method of selecting quantizer values in video compression systems
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US20110176000A1 (en) * 2010-01-21 2011-07-21 Utah State University System and Method for Counting People

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4028191A1 (de) * 1990-09-05 1992-03-12 Philips Patentverwaltung Schaltungsanordnung zum erkennen eines menschlichen gesichtes
SK399692A3 (en) * 1990-09-20 1995-01-05 British Broadcasting Corp Method of determination of suitable motion vector
DE69230115T2 (de) 1991-05-23 2000-04-20 Japan Broadcasting Corp Auswertungsvorrichtung und Methode verwendbar für ein Gerät zur Detektion von Bewegungsvektoren
US5349070A (en) 1991-06-21 1994-09-20 Han Byung H Salicylic acid-maltol conjugates
DE69422876T2 (de) 1993-10-11 2000-06-15 Thomson Multimedia Sa Verfahren und Gerät zur Korrektur von Bewegungsvektoren
EP0647919B1 (en) 1993-10-11 2000-02-02 THOMSON multimedia Method and apparatus for correcting motion vectors
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
DE69421404T2 (de) 1994-12-30 2000-02-10 Daewoo Electronics Co Ltd Blockübereinstimmungsbewegungsauswertung mit einer gewichteten Funktion
EP0735747B1 (en) * 1995-03-31 1999-11-03 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
GB2311184A (en) 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
JP2001245303A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
US6847406B2 (en) * 2000-12-06 2005-01-25 Koninklijke Philips Electronics N.V. High quality, cost-effective film-to-video converter for high definition television
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
JP2005506626A (ja) * 2001-10-25 2005-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534445B (zh) * 2009-04-15 2011-06-22 杭州华三通信技术有限公司 一种视频处理方法和系统以及解交织处理器
CN104639863A (zh) * 2013-11-12 2015-05-20 安纳帕斯股份有限公司 计算运动矢量的不连续性的方法和利用其的回退执行方法
US9998754B2 (en) 2013-11-12 2018-06-12 Anapass Inc. Method of calculating discontinuity of motion vector and fallback performing method using the same
CN104639863B (zh) * 2013-11-12 2019-01-01 安纳帕斯股份有限公司 计算运动矢量的不连续性的方法和利用其的回退执行方法
US10271066B2 (en) 2013-11-12 2019-04-23 Anapass Inc. Method of calculating discontinuity of motion vector and fallback performing method using the same

Also Published As

Publication number Publication date
WO2003007618A2 (en) 2003-01-23
EP1440581A2 (en) 2004-07-28
US20040190623A1 (en) 2004-09-30
CN100385953C (zh) 2008-04-30
KR20030029966A (ko) 2003-04-16
ES2526340T3 (es) 2015-01-09
EP1440581B1 (en) 2014-10-08
KR100913846B1 (ko) 2009-08-26
WO2003007618A3 (en) 2004-05-27
JP2004537112A (ja) 2004-12-09
JP4299123B2 (ja) 2009-07-22
US8406302B2 (en) 2013-03-26

Similar Documents

Publication Publication Date Title
CN1636406A (zh) 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备
CN100342401C (zh) 基于段的运动估计
US6782054B2 (en) Method and apparatus for motion vector estimation
US8149915B1 (en) Refinement of motion vectors in hierarchical motion estimation
CN1956547A (zh) 运动矢量检测装置及运动矢量检测方法
US20020064310A1 (en) Image matching
CN1157060C (zh) 图像内插系统和图像内插方法
CN1311409C (zh) 用于分割的系统和方法
CN1272747A (zh) 测定帧图像间主运动的方法
CN1917642A (zh) 迭代计算全局运动参数集的方法和设备
US20030161400A1 (en) Method and system for improved diamond motion search
CN1647113A (zh) 运动估计单元和估计运动矢量的方法
CN1565118A (zh) 用于运动估计的装置和方法
US8594199B2 (en) Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
CN1627825A (zh) 用于运动图像编码的运动估计方法
US20030231711A1 (en) Interlaced video motion estimation
CN1198245C (zh) 降低运动向量传输成本的运动估计方法
CN105263026A (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
US20140126639A1 (en) Motion Estimation Method
US6542547B1 (en) Efficient heuristic based motion estimation method for video compression
JP3537616B2 (ja) ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法
CN1875633A (zh) 跟踪快速移动的小物体的运动矢量场求精法
CN113453016B (zh) 一种用于图像流文件压缩的运动矢量自选择方法
CN1529874A (zh) 特征点选择
CN101365133B (zh) 一种dct域插值舍入误差补偿方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Free format text: FORMER NAME OR ADDRESS: ROYAL PHILIPS ELECTRONICS CO., LTD.

CP03 Change of name, title or address

Address after: Holland Ian Deho Finn

Patentee after: Koninklijke Philips Electronics N.V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090116

Address after: Holland Ian Deho Finn

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090116

ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST)CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100819

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, NETHERLANDS TO: CAYMAN ISLANDS, GRAND CAYMAN ISLAND

TR01 Transfer of patent right

Effective date of registration: 20100819

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080430

Termination date: 20170621

CF01 Termination of patent right due to non-payment of annual fee