CN1680978B - 确定对应于图像影像范围的运动矢量的方法和装置 - Google Patents

确定对应于图像影像范围的运动矢量的方法和装置 Download PDF

Info

Publication number
CN1680978B
CN1680978B CN200510064816.1A CN200510064816A CN1680978B CN 1680978 B CN1680978 B CN 1680978B CN 200510064816 A CN200510064816 A CN 200510064816A CN 1680978 B CN1680978 B CN 1680978B
Authority
CN
China
Prior art keywords
main
motion vector
block
sub
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200510064816.1A
Other languages
English (en)
Other versions
CN1680978A (zh
Inventor
马克乌斯·舒
克里斯蒂·图斯切恩
马考·哈恩
吉多·科尔迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Entropic Communications LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34895508&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1680978(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Entropic Communications LLC filed Critical Entropic Communications LLC
Publication of CN1680978A publication Critical patent/CN1680978A/zh
Application granted granted Critical
Publication of CN1680978B publication Critical patent/CN1680978B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明涉及一种用于确定对应于一个图像的各个影像范围(AxBx)的运动矢量(Vaxbx)的方法和装置。该方法包括:利用第一块光栅(R1)将图像(Px)分割为多个第一主块(Ax),并执行第一种估计方法,以便为每个第一块(Ax;A1)提供一个运动矢量(Vax;Va1),并利用其位置相对于第一块光栅(R1)偏移的另一个块光栅(R2)将图像至少一次分割为多个其他主块(Bx),执行另一种估计方法,以便为每个其他主块(Bx)提供一个运动矢量(Vbx),根据对应于相应子块(AxBx)的主块(Ax,Bx)的运动矢量(Vax,Vbx),为由至少两个光栅(R1,R2)的主块的重叠区域构成的每个子块(AxBx)生成一个运动矢量(Vaxbx)。

Description

确定对应于图像影像范围的运动矢量的方法和装置
技术领域
本发明涉及一种用于确定分别对应于一个图像中各个影像范围的运动矢量的方法和装置。
背景技术
在图像处理中已知,分别为图像序列中一个图像的各个影像范围分配运动矢量,所述运动矢量规定了这个影像范围的位置相对于图像序列的在先或随后的图像中这个影像范围的位置的移动。由此得到的运动信息例如用于在生成一个或多个在时间上位于图像序列的各图像之间的中间图像时,以便校正在中间图像中运动对象的位置,即能够在运动方面正确地显示运动对象。另外,关于在多个连续图像中运动的对象或影像范围的运动信息也可以被用于压缩存储连续图像的图像信息。
产生这样的运动矢量的多种方法中的一种可能的方法是例如在Blume,H.的“Nichtlineare fehlertolerante Interpolation vonZwischenbildern”,Fortschrittberichte VDI,1997,第57页之后,第5.1.3章中介绍的所谓的块匹配(Blockmatching)方法。在该方法中,一个图像序列的当前图像被划分成多个相同大小的块。对于这些块中的每一个,在块的在先或随后图像中搜索其图像内容与当前图像的各个块的内容最相符的块。于是,当前图像的这个块和与当前图像的这个块最相符的在先或随后图像的块之间的移动矢量构成当前图像的这个块的运动矢量。
在所谓的完全搜索算法(Full-Search-Algorithmus)中,将当前图像的每个块与在先或随后图像的每个块进行比较,以便确定单个区域的运动矢量。此外,为了降低完全搜索算法中所需的巨大计算量,已知采用预计估计方法,其中在确定一个块的运动矢量时考虑来自在先运动估计的运动信息。
借助于块估计方法的运动估计的质量主要取决于块分辨率,即单个块的大小。其中,单个的块越小,即单个块中图像的分辨率越好,并因此为每个图像确定了较多的运动矢量,则质量越好。但是反过来,当块变越小时增加了计算量。当然,当块变小时,对估计误差来说更容易出错。因此,最优的块大小在4×8(行×像素)以上。由此产生在图像处理中可明显识别的块结构。
为了在确定运动矢量时提高分辨率,由US5,148,269已知,将图像分割为预定数量的主块并首先进行块估计,以便为这些主块中的每一个分配一个运动矢量。然后,每个单个的主块被分割成分别对应于一个运动矢量的多个子块。此时,为了产生子块的运动矢量,要考虑各个主块的运动矢量以及与该主块相邻的其他主块的运动矢量。
发明内容
本发明的目的是提供一种确定运动矢量的方法,其中该方法在可接受的计算量额外开销下提高了分辨率,并且提供了一种执行上述方法的装置。
这个任务通过以下所述的方法和装置来完成。
用于确定对应于一个图像的各个影像范围的运动矢量的方法,包括以下方法步骤:
-利用第一个光栅将图像分割为多个第一主块,并执行第一种估计方法,以便为每个第一主块提供一个运动矢量,
-利用其位置相对于第一个光栅偏移的一个其他光栅将图像一次分割为多个尺寸相同的其他主块,或者利用其位置相对于第一个光栅偏移且彼此位置偏移的多个其他光栅将图像多次分割为多个尺寸相同的其他主块;并执行另一种估计方法,以便为每个其他主块提供一个运动矢量,
-将图像分割为多个子块,其中每个子块由第一主块中的一个与所述一个其他光栅分割而成的主块中的一个之间的重叠区域构成,或者每个子块由第一主块中的一个与所述多个其他光栅中的每一个其他光栅的分割而成的主块中的一个之间的重叠区域构成,并且
-根据对应于相应子块的主块的运动矢量生成每个子块的运动矢量。
其中,对于第一种估计方法和其他估计方法,可以采用适于为图像的各个影像范围确定运动矢量的任何常规块估计方法。因为与完全搜索方法相比具有较少的计算开销,所以优选地选用预计估计方法。
根据本发明的方法的优点在于,在执行具有两个相互偏移的块光栅的块估计方法时,已经将该方法的分辨率提高了一个因数,即在方法结束时分别为其提供运动矢量的块的大小比为其执行块估计方法的主块的大小要小一个因数。一般而言,如果为每个块估计方法使用用于将图像分割为主块的其他光栅,则矢量场的分辨率,即每个图像确定的运动矢量的数量,随着执行的块估计方法的数量呈指数增长。而计算开销则随着执行的块估计方法的数量基本上呈线性增加。
由第一个和至少一个其他光栅所构成的主块的大小最好总是相等的。
最好这样实现至少一个其他光栅相对于第一光栅的偏移,使得每次产生具有相同大小的子块。在利用第一光栅和相对于第一光栅偏移的第二光栅执行两次连续块估计方法的方法中,这意味着,第二光栅在水平方向上相对于第一光栅偏移一个主块的水平尺寸的一半,并且第二光栅在垂直方向上相对于第一光栅偏移一个主块的垂直尺寸的一半。
如果为了进一步提高矢量场的分辨率,分割n个光栅,其中n>2,以便将图像分割为相同大小的主块,则这样选择各个光栅,使得子块的尺寸在水平和垂直方向上分别是主块在水平和垂直方向上尺寸的1/n。
利用各个子块分别位于其重叠区域中的主块的运动矢量构成子块的运动矢量。这可以用不同方式来实现,其中最好选择对应于子块的主块的运动矢量作为子块的运动矢量。
为了选择一个主块的运动矢量,可以考虑在估计方法期间对应于每个运动矢量的品质值(Gütemaβ)。正如开始所解释的那样,在确定当前图像的影像范围的运动矢量的块估计方法中,将当前图像的这个影像范围与在先或随后的图像的一个影像范围进行比较。为了比较影像范围,例如通过分别计算位于要比较的影像范围内的各个相同位置上的各个像点的图像信息值的差,将要比较的影像范围的像点的图像信息值(例如亮度或色度值)逐个像点地相互比较。其中,各个运动矢量的品质值构成了所有这些差值的绝对值的和或者所有这些差值的平方和。其中,这个值越小,矢量的品质因数越大。
其中,可以使用具有“较好”品质值的主块运动矢量作为一个子块的运动矢量。
另外也存在这样的可能性,即为一个主块的每个运动矢量分配用于每个子块的品质值。通过为各个子块逐块地将各个像点的图像信息值的绝对值或平方进行累加,这个品质值可能在块估计方法期间已经被确定。其中最好选择对于各个子块具有最佳品质值的主块的运动矢量作为一个子块的运动矢量。
另一种可能性在于,借助于统计排列的滤波器(例如中值滤波器)由覆盖子块的主块的矢量确定一个子块的运动矢量。
在另一种实施方式中规定,在将主块的一个运动矢量分配给子块时,使用主块运动矢量的收敛判据。例如,如果一个运动矢量与一个相邻主块的运动矢量的偏差小于一个预定的差矢量,则认为该运动矢量收敛。
在本发明所述方法的一种实施方式中规定,从分配给一个子块的至少两个运动矢量中选出一个收敛的运动矢量。如果多个运动矢量收敛,则可以考虑用品质值作为进一步的选择标准,或者考虑借助于统计排列的滤波器进行上述滤波。
用于确定对应于一个图像的各个影像范围的运动矢量的装置,包括:
-利用第一个光栅将图像分割为多个第一主块的装置,以及用于执行第一种估计方法、以便为每个第一主块提供一个运动矢量的装置,
-利用其位置相对于第一个光栅偏移的一个其他光栅将图像一次分割为多个尺寸相同的其他主块或者利用其位置相对于第一个光栅偏移且彼此位置偏移的多个其他光栅将图像多次分割为多个尺寸相同的其他主块的装置,以及用于执行另一种估计方法、以便为每个所述其他主块提供一个运动矢量的装置,
-将图像分割为多个子块的装置,其中每个所述子块由第一主块中的一个与所述一个其他光栅分割而成的主块中的一个之间的重叠区域构成,或者每个子块由第一主块中的一个与所述多个其他光栅中的每一个其他光栅的分割而成的主块中的一个之间的重叠区域构成,以及
-根据对应于相应子块的主块的运动矢量为每个子块生成一个运动矢量的装置。
附图说明
以下借助于附图详细描述本发明。
图1示意性地表示利用两个相互偏移的光栅分割成主块的图像。
图2表示根据图1的图像的放大截面图。
图3表示利用三个块光栅分割成主块的图像的一个截面图。
图4表示用于执行根据本发明的确定运动矢量的方法的装置。
具体实施方式
图1示意性地示出了一个图像序列中的一个图像Px,所述图像序列以未详细表示的方式包括时间上连续的、多个分别具有相同构造的图像。图像Px例如是一系列电视或视频图像中的一个图像。
为了执行运动估计,使用一个第一光栅R1将图像Px分割成多个相同大小的主块Ax,在图1中用虚线标出了其中的一个。为第一光栅R1的这些主块Ax中的每一个分配一个运动矢量。这个运动矢量以基本已知的方式描述了由各个主块Ax代表的图像内容相对于图像序列的在先或随后的图像中具有相同图像内容的一个主块的位置的偏移。为了将运动矢量分配给第一光栅R1的各个主块,可以采用任意的块估计方法,尤其是如在上述的Blume参考文献中介绍的那种块估计方法。
根据本发明,利用其位置相对于第一光栅R1的位置偏移的第二光栅R2将图像Px分割成其他主块Bx,在图1中用虚线标出了其中一个。第二光栅R2的主块Bx的尺寸最好与第一光栅R1的主块Ax的尺寸一致。
第一光栅R1的一个主块Ax与第二光栅R2的一个主块Bx发生重叠的影像范围构成了图像Px的子块。在图1中用附图标记AxBx表示一个这样的子块,它由第一光栅R1的用阴影线表示的主块与第二光栅R2的用阴影线表示的主块相重叠而构成。
为这些子块AxBx中的每一个分配一个适当的、与构成各个子块AxBx的主块Ax、Bx的运动矢量Vax、Vbx相关的运动矢量Vaxbx。由于光栅R1、R2相互偏移设置,子块AxBx小于两个光栅R1、R2的主块Ax、Bx,使得通过为每个子块AxBx分配一个适当的运动矢量Vaxbx提高了运动估计分辨率。其中,两个光栅R1、R2最好这样相互偏移,使得各个子块大小相同。在两个光栅R1、R2的主块Ax、Bx大小相同的情况下,这意味着两个光栅R1、R2在图像的水平方向上相互偏移一个主块水平宽度l1的一半,并且在垂直方向上相互偏移一个主块垂直宽度l2的一半。
为了借助于构成子块的主块Ax、Bx的运动矢量Vax、Vbx生成子块AxBx的运动矢量Vaxbx,可以有不同的方法,以下借助于图2详细介绍。
图2示出了在主块中使用两个相互偏移的块光栅R1、R2而分割的图像的截面。其中,附图标记A1表示由第一光栅R1构成的主块,而附图标记B1-B4分别表示由第二光栅构成的主块,它分别与第一光栅R1的主块A1部分重叠。下面主块A1被称为第一光栅R1的“第一主块”,而主块B1-B4被称为第二光栅R2的“第一到第四主块”。为第一光栅R1的第一主块A1分配一个借助于主块估计方法所确定的第一运动矢量Va1。相应地,为第二光栅R2的第一到第四主块B1-B4分配借助于块估计方法所确定的运动矢量Vb1-Vb4。
第一光栅R1的第一主块A1被分割成四个子块A1B1、A1B2、A1B3、A1B4,它们分别由这个第一主块A1与第二光栅R2的第一到第四主块中一个相重叠而构成。为了提高运动估计的分辨率,为这些子块A1B1-A1B4中的每一个分配一个适当的运动矢量Va1b1-Va1b4,该运动矢量是利用构成各个子块的两个主块的运动矢量而得到的。也就是说,第一子块A1B1的运动矢量Va1b1是第一光栅R1的第一主块A1的运动矢量Va1与第二光栅R2的第一主块B1的运动矢量Vb1的函数,即满足:
Va1b1=f(Va1,Vb1)             (1a)
相应地,对于其他子块的运动矢量满足:
Va1b2=f(Va1,Vb2)             (1b)
Va1b3=f(Va1,Vb3)             (1c)
Va1b4=f(Va1,Vb4)             (1d)
在根据本发明所述方法的一种实施方式中,为了产生子块的运动矢量,建议分别选择构成各个子块的主块的运动矢量中的一个。即满足:
Va1b1=Va1或Vb1             (2a)
Va1b2=Va1或或Vb2             (2b)
Va1b3=Va1或Vb3             (2c)
Va1b4=Va1或Vb4             (2d)
为了选择主块的运动矢量中一个,存在这样的可能性,即为一个主块的每个运动矢量分配一个品质值,并且选择具有“较好”品质值的运动矢量作为子块的运动矢量。以下借助于第一光栅R1的第一主块A1来说明产生这样的品质值的过程。
以下假设,主块A1具有m×n个像点,并且A1(x,y)表示构成主块A1的像点A1(1,1)至A1(m,n)中任意一个。在下面A1-Va1表示在时间上处于具有主块A1的图像之先或之后的图像中的第一光栅R1的一个主块,其中在先或随后的图像中的这个主块A1-Va1的位置相对于当前图像的主块A1的位置偏移运动矢量Va1。通过将各个像点A1(x,y)与A1-Val(x,y)逐点地相互比较,为偏移矢量Va1分配一个品质值Ga1。由此计算出各个像点的差,并且将这些差的绝对值或平方累加,即满足:
Ga 1 = Σ x = 1 m Σ y = 1 n | A 1 ( x , y ) - A 1 - Va 1 ( x , y ) | - - - ( 3 )
除了绝对值差之外,也可以累加像点差的平方,以计算品质值Ga1,因此满足:
Ga 1 = Σ x = 1 m Σ y = 1 n [ A 1 ( x , y ) - A 1 - Va 1 ( x , y ) ] 2 - - - ( 4 )
在这两种情况下,品质值Ga1越小,即主块A1的图像内容与偏移运动矢量Va1的主块A1-Va1的图像内容之间的差别越小,则运动矢量Va1的“品质”越好。
对应于产生第一光栅R1的第一主块A1的一个品质值Ga1,计算第二光栅R2的主块B1-B4的品质值Gb1-Gb2。其中从构成一个子块的主块中选择具有最好品质值的主块运动矢量作为子块的运动矢量。
品质值Ga1、Gb1通常在块估计期间在确定对应于一个主块的运动矢量的过程中已经被求得,并且能够直接从块估计中得到。
在另一种实施方式中规定,为每个主块运动矢量分配一个用于每个子块的品质值。参考图2中的例子,这意味着,为第一主块A1的运动矢量Va1分配四个品质值,即第一子块A1B1的品质值Ga1B1、用于第二子块A1B2的第二品质值Ga1B2、用于第三子块A1B3的第三品质值Ga1B3、以及用于第四子块A1B4的第四品质值Ga1B4。假设子块A1B1-A1B4分别包括i×j个像点。于是,各个对应于子块A1B1-A1B4的品质值Ga1B1-Ga1B4满足:
Ga 1 B 1 = Σ x = 1 i Σ y = 1 j | A 1 ( x , y ) - A 1 - Va 1 ( x , y ) | - - - ( 5 a )
Ga 1 B 2 = Σ x = 1 i Σ y = 1 j | A 1 ( x + i , y ) - A 1 - Va 1 ( x + i , y ) | - - - ( 5 b )
Ga 1 B 3 = Σ x = 1 i Σ v = 1 j | A 1 ( x , y + j ) - A 1 - Va 1 ( x , y + j ) | - - - ( 5 c )
Ga 1 B 4 = Σ x = 1 i Σ y = 1 j | A 1 ( x + i , y + j ) - A 1 - Va 1 ( x + i , y + j ) | - - - ( 5 d )
取代各个像点差的绝对值,相应的等式(4)当然也可以产生各个差值的平方,以产生各自的品质值。对应于为第一光栅R1的第一主块A1的运动矢量Va1产生品质值Ga1B1,生成一个相应的品质值Gb1A1,它表示用于第一子块A1B1的第二光栅R2的第一主块B1的运动矢量Vb1的品质值。将这两个品质值相互比较,以便用具有“较好”品质值的运动矢量作为这个第一子块A1B1的运动矢量。其中在根据等式(5a)-(5d)为主块计算品质值时,满足其品质值具有最小绝对值的运动矢量为“较好”。
除了利用品质值之外,还存在这样的可能性,即在选择对应于子块的主块运动矢量时利用收敛判据。其中,如果一个主块的运动矢量与相邻主块运动矢量之间的差矢量的绝对值小于一个预定极限值,则认为这个主块运动矢量为收敛的。为了说明这种收敛判据的应用,观察第一光栅R1的第一主块A1的运动矢量Va1以及与第一主块A1相邻的主块A2的运动矢量Va2。其中,如果满足
|Va1-Va2|<Δmax              (6),
则认为第一主块的运动矢量Va1为收敛。其中|·|表示差矢量Va1-Va2的绝对值。
优选地,为了评估一个主块的一个运动矢量是否收敛,观察两个相邻的主块。对于第一光栅R1的主块,最好根据处理方向分别观察事先水平相邻的主块以及事先已垂直处理的位于上方的主块,使得如果满足以下条件:
|Va1-Va2|<Δmax           (7a)
|Va1-Va3|<Δmax             (7b),
则认为运动矢量Va1收敛,其中Va3表示位于主块A1上方的主块A3的运动矢量。
为了评估第二光栅R2的一个主块的运动矢量是否收敛,最好观察位于相应主块右侧的主块以及位于该主块下方的主块。于是,例如如果满足:
|Vb1-Vb2|<Δmax             (8a)
|Vb1-Vb3|<Δmax             (8b),
则第二光栅R2的第一主块B1的运动矢量Vb1被视为收敛。
如果对应于一个子块的两个主块运动矢量中只有一个收敛,则选择收敛的那个主块运动矢量作为相应的子块的运动矢量。如果这两个主块运动矢量都收敛,则用其他选择标准(例如上述品质值)来选择主块运动矢量中的一个。
根据本发明的方法当然并不局限于只有两个空间上相互偏移的、分别限定图像主块的光栅的应用。
图3示出了一个图像截面,该图像利用三个在空间上相互偏移的光栅R1、R2、R3被分割成主块。其中A1表示第一光栅R1的一个主块,B1表示第二光栅R2的一个主块,而C1表示第三光栅R3的一个主块。这三个主块A1、B1、C1在构成一个子块A1B1C1的区域内重叠,并且根据本发明,根据三个主块的运动矢量Va1、Vb1、Vc1为其分配一个运动矢量。
在根据本发明的方法中,在使用n个在空间上相互偏移的光栅时(这些光栅被这样相互偏移地设置,使得产生相同大小的子块),相对于只使用一个光栅时的矢量场分辨率,将矢量场分辨率提高了一个因数2n。为各个子块计算运动矢量的开销基本上只提高了因数n,这是因为用于确定主块运动矢量的大多数计算开销都得到了利用。在求得这些主块的运动矢量之后,为了选择对应于一个子块的主块运动矢量中的一个作为这个子块的运动矢量,其余的计算开销相对很小。用于确定主块运动矢量的运动估计可以并行地或者连续地实现。
为了借助于构成子块A1B1C1的主块A1、B1、C1的运动矢量Va1、Vb1、Vc1生成这个子块A1B1C1的运动矢量Va1b1c1,除了前面所述的方法外,也可以使用借助于所谓的统计排列滤波器来进行的滤波方法。这样的统计排列滤波器的一个例子是中值滤波器。要生成的子块运动矢量Va1b1c1和主块A1、B1、C1的运动矢量Va1、Vb1、Vc1分别包括下面用矢量的x-和y-分量来表示的水平和垂直分量。
在一种生成子块的方法中规定,借助于统计排列滤波器对主块运动矢量Va1、Vb1、Vc1逐个分量地进行滤波,并且滤波器结果对应于子块的各个分量。在使用中值滤波器时,满足:
Va1b1c1x=Median(Va1x,Vb1x,Vc1x)             (9a)
Va1b1c1y=Median(Va1y,Vb1y,Vc1y)             (9b)
其中,.x.y表示各个矢量的x-和y-分量。
在这个方法中,可以根据滤波结果由不同主块运动矢量的分量共同构成子块运动矢量Va1b1c1=(Va1b1c1x,Va1b1c1y)。
在另一个方法中规定,对主块运动矢量Va1、Vb1、Vc1的矢量绝对值进行中值滤波,并且选择其绝对值作为滤波结果给出的主块运动矢量作为子块运动矢量。
图3示意性地示出了用于确定子块的运动矢量Vaxbx的装置,其中同时进行用于生成主块运动矢量的运动估计。该装置包括一个输入端,用于引入代表一个图像序列中的连续图像的图像信号S1。该装置包括一个第一运动估计装置1,它使用一个第一光栅R1提供第一主块运动矢量Ax。另外,该装置包括一个第二运动估计装置2,它使用第二光栅R2为一个图像的主块提供一组第二主块运动矢量。这些主块运动矢量Vax、Vbx被传送到选择装置3,它分别为子块从构成相应子块的主块的运动矢量中选择一个运动矢量Vaxbx。这个单元3例如将从运动估计装置1、2馈送到单元3的主块运动矢量的品质值和/或收敛判据作为选择标准。
附图标记列表
A1、B1、C1       主块
A1B1-A1B4        子块
A1B1C1           子块
Ax、Bx           主块
AxBx             子块
Px              一个图像序列中的图像
R1、R2、R3      光栅
Vax、Vbx        主块的运动矢量
Vaxbx           子块的运动矢量
1、2            用于进行逐块运动估计的装置
3               用于由主块运动矢量确定子块运动矢量的装置

Claims (11)

1.用于确定对应于一个图像的各个影像范围(AxBx)的运动矢量(Vaxbx)的方法,包括以下方法步骤:
-利用第一个光栅(R1)将图像(Px)分割为多个第一主块(Ax;A1),并执行第一种估计方法,以便为每个第一主块(Ax;A1)提供一个运动矢量(Vax;Va1),
-利用其位置相对于第一个光栅(R1)偏移的一个其他光栅(R2)将图像一次分割为多个尺寸相同的其他主块(Bx;B1-B4),或者利用其位置相对于第一个光栅(R1)偏移且彼此位置偏移的多个其他光栅(R2,R3)将图像多次分割为多个尺寸相同的其他主块;并执行另一种估计方法,以便为每个其他主块(Bx;B1-B4)提供一个运动矢量(Vbx;Vb1-Vb4),
-将图像分割为多个子块(AxBx;A1B1-A1B4),其中每个子块(AxBx;A1B1-A1B4)由第一主块(Ax;A1)中的一个与所述一个其他光栅(R2)分割而成的主块(B1-B4)中的一个之间的重叠区域构成,或者每个子块由第一主块中的一个与所述多个其他光栅(R2,R3)中的每一个其他光栅分割而成的主块中的一个之间的重叠区域构成,并且
-根据对应于相应子块(AxBx;A1B1-A1B4)的主块(Ax,Bx;A1,B1-B4)的运动矢量(Vax,Vbx;Va1,Vb1-Vb4)生成每个子块(AxBx;A1B1-A1B4)的运动矢量(Vaxbx;Va1b1-Va1b4)。
2.根据权利要求1的方法,其中图像被一次分割为多个其他主块,其中所述一个其它光栅(R2)相对于第一个光栅(R1)在图像水平方向上的偏移为一个主块(Ax,Bx)在水平方向上尺寸(11)的一半,而且所述一个其它光栅(R2)相对于第一个光栅(R1)在图像垂直方向上的偏移为一个主块(Ax,Bx)在垂直方向上尺寸(l2)的一半。
3.根据权利要求1或2的方法,其中为了确定子块(AxBx;A1B1-A1B4)的运动矢量(Vaxbx;Va1b1-Va1b4),选择对应于子块(AxBx;A1B1-A1B4)的主块(Ax,Bx;A1,B1-B4)中一个的运动矢量。
4.根据权利要求3的方法,其中在估计方法中,为每个主块(A1)的运动矢量(Va1)确定一个品质值(Ga1),其中为了确定子块(A1B1-A1B4)的运动矢量,根据所述品质值(Ga1)以从形成该子块的主块(A1,B1-B4)中选择一个主块的运动矢量。
5.根据权利要求3的方法,其中对于每个主块(A1)的运动矢量(Va1),为对应于该主块的子块确定一个品质值(Ga1B1,Ga1B2,Ga1B3,Ga1B4),其中为了确定子块的运动矢量(Va1b1-Va1b4),根据该子块的各个品质值(Ga1B1,Ga1B2,Ga1B3,Ga1B4)从形成该子块的主块(A1,B1-B4)中选择一个主块的运动矢量。
6.根据权利要求3的方法,其中为每个主块(A1,B1-B4)的运动矢量(Va1,Vb1-Vb4)确定至少一个收敛判据,其中,如果一个主块的运动矢量与一个相邻主块的运动矢量的偏差小于一个预定的差矢量,则认为该主块的运动矢量收敛,其中为了确定子块(A1B1-A1B4)的运动矢量(Va1b1-Va1b4),当根据所述至少一个收敛判据确定形成该子块的主块(A1,B1-B4)中的一个主块的运动矢量收敛时,选择该主块的运动矢量。
7.根据权利要求6的方法,其中通过将一个主块(A1)的运动矢量(Va1)与在同一光栅中至少一个和该主块(A1)相邻的主块(A2,A3)的运动矢量(Va3,Va3)进行比较而确定该主块运动矢量是否收敛。
8.根据权利要求6的方法,其中通过将对应于一个主块(A1)的运动矢量(Va1)与对应于一个和所述主块(A1)的左侧相邻的主块(A2)以及对应于一个在所述主块(A1)上方相邻的主块(A3)的运动矢量(Va2,Va3)进行比较,来确定第一个光栅(R1)的主块(A1)的运动矢量是否收敛,并且其中通过将对应于一个主块(B1)的运动矢量(Vb1)与对应于一个和所述主块(B1)的左侧相邻的主块(B3)以及对应于一个在所述主块下方相邻的主块的运动矢量(Vb2,Vb3)进行比较,来确定其他光栅(R2)的主块的运动矢量是否收敛。
9.根据权利要求1的方法,其中利用中值滤波从对应于子块(AxBx;A1B1-A1B4)的主块(A1,B1,C1)的运动矢量的相应矢量分量中选择子块(A1B1C1)的运动矢量(Va1b1c1)的矢量分量。
10.根据权利要求3的方法,
-其中确定对应于子块(A1B1C1)的主块的运动矢量(Va1,Vb1,Vc1)的矢量绝对值,
-其中对矢量绝对值进行中值滤波,以得到滤波后的矢量绝对值,将矢量绝对值中的一个作为滤波结果给出,并且
-其中选择其矢量绝对值作为滤波结果生成的主块的运动矢量作为子块的运动矢量。
11.用于确定对应于一个图像的各个影像范围的运动矢量的装置,包括:
-利用第一个光栅(R1)将图像分割为多个第一主块(Ax)的装置(1),以及用于执行第一种估计方法、以便为每个第一主块(Ax)提供一个运动矢量(Vax)的装置,
-利用其位置相对于第一个光栅(R1)偏移的一个其他光栅(R2)将图像(Px)一次分割为多个尺寸相同的其他主块(Bx)或者利用其位置相对于第一个光栅(R1)偏移且彼此位置偏移的多个其他光栅(R2,R3)将图像多次分割为多个尺寸相同的其他主块的装置(2),以及用于执行另一种估计方法、以便为每个所述其他主块(Bx)提供一个运动矢量(Vbx)的装置,
-将图像分割为多个子块(Ax,Bx)的装置,其中每个所述子块由第一主块中的一个与所述一个其他光栅分割而成的主块中的一个之间的重叠区域构成,或者每个子块由第一主块中的一个与所述多个其他光栅(R2,R3)中的每一个其他光栅分割而成的主块中的一个之间的重叠区域构成,以及
-根据对应于相应子块(AxBx)的主块(Ax,Bx)的运动矢量(Vax,Vbx)为每个子块(AxBx)生成一个运动矢量(Vaxbx)的装置。
CN200510064816.1A 2004-04-07 2005-04-06 确定对应于图像影像范围的运动矢量的方法和装置 Expired - Fee Related CN1680978B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004017145A DE102004017145B4 (de) 2004-04-07 2004-04-07 Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
DE102004017145.9 2004-04-07

Publications (2)

Publication Number Publication Date
CN1680978A CN1680978A (zh) 2005-10-12
CN1680978B true CN1680978B (zh) 2014-01-22

Family

ID=34895508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200510064816.1A Expired - Fee Related CN1680978B (zh) 2004-04-07 2005-04-06 确定对应于图像影像范围的运动矢量的方法和装置

Country Status (5)

Country Link
US (1) US7933332B2 (zh)
EP (1) EP1585059A3 (zh)
JP (1) JP2005302021A (zh)
CN (1) CN1680978B (zh)
DE (1) DE102004017145B4 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005051091A1 (de) 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
US20070140529A1 (en) * 2005-12-21 2007-06-21 Fujifilm Corporation Method and device for calculating motion vector between two images and program of calculating motion vector between two images
JP2007189441A (ja) * 2006-01-12 2007-07-26 Fujifilm Corp 動き検出方法及びその装置
JP4793070B2 (ja) * 2006-04-12 2011-10-12 ソニー株式会社 動きベクトル探索方法及び装置
CN101325647B (zh) * 2007-06-12 2010-06-02 东友科技股份有限公司 影像成像方法
EP2188978A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
US8600189B2 (en) 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization
US7949683B2 (en) * 2007-11-27 2011-05-24 Cavium Networks, Inc. Method and apparatus for traversing a compressed deterministic finite automata (DFA) graph
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
EP2104356A1 (en) * 2008-03-18 2009-09-23 Deutsche Thomson OHG Method and device for generating an image data stream, method and device for reconstructing a current image from an image data stream, image data stream and storage medium carrying an image data stream
EP2277317B1 (en) * 2008-05-19 2021-01-27 Citrix Systems, Inc. Systems and methods for enhanced image encoding
JP5149861B2 (ja) * 2009-05-01 2013-02-20 富士フイルム株式会社 中間画像生成装置およびその動作制御方法
KR101382367B1 (ko) * 2013-11-13 2014-04-09 주식회사 아나패스 움직임 추정 방법 및 이를 이용한 영상 처리 장치
CN111970516B (zh) * 2020-07-22 2022-02-18 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及电子设备、存储装置
US11875516B2 (en) 2020-12-28 2024-01-16 Waymo Llc Systems, apparatus, and methods for retrieving image data of image frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148269A (en) * 1990-07-20 1992-09-15 U.S. Philips Corporation Motion vector processing device
US5703650A (en) * 1994-10-31 1997-12-30 Vistek Electronics Ltd. Method of and device for estimating motion in a video signal
CN1319995A (zh) * 2000-03-31 2001-10-31 松下电器产业株式会社 计算运动矢量的方法与设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69423166T2 (de) * 1993-09-08 2000-07-06 Thomson Consumer Electronics Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
WO1996008114A1 (en) * 1994-09-02 1996-03-14 David Sarnoff Research Center, Inc. Method and apparatus for global-to-local block motion estimation
WO1997046022A2 (en) * 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation
US6489995B1 (en) * 1998-10-22 2002-12-03 Sony Corporation Method and apparatus for motion vector concealment
EP1152621A1 (en) * 2000-05-05 2001-11-07 STMicroelectronics S.r.l. Motion estimation process and system.
KR100994768B1 (ko) * 2003-12-08 2010-11-16 삼성전자주식회사 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148269A (en) * 1990-07-20 1992-09-15 U.S. Philips Corporation Motion vector processing device
US5703650A (en) * 1994-10-31 1997-12-30 Vistek Electronics Ltd. Method of and device for estimating motion in a video signal
CN1319995A (zh) * 2000-03-31 2001-10-31 松下电器产业株式会社 计算运动矢量的方法与设备

Also Published As

Publication number Publication date
CN1680978A (zh) 2005-10-12
JP2005302021A (ja) 2005-10-27
US20050238101A1 (en) 2005-10-27
DE102004017145B4 (de) 2006-02-16
US7933332B2 (en) 2011-04-26
DE102004017145A1 (de) 2005-11-03
EP1585059A2 (de) 2005-10-12
EP1585059A3 (de) 2007-08-15

Similar Documents

Publication Publication Date Title
CN1680978B (zh) 确定对应于图像影像范围的运动矢量的方法和装置
US20070236601A1 (en) Iterative method of interpolating image information values
EP0293644B1 (de) Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
JP3299263B2 (ja) ビデオ信号における運動内容推定方法
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
US6240211B1 (en) Method for motion estimated and compensated field rate up-conversion (FRU) for video applications and device for actuating such method
CN103081476B (zh) 利用深度图信息转换三维图像的方法和设备
US8149915B1 (en) Refinement of motion vectors in hierarchical motion estimation
DE602005001717T2 (de) Bildverarbeitungsvorrichtung und -verfahren, Speichermedium und Programm
EP2067359A2 (de) Verfahren zur datenkompression in einer videosequenz
DE102010046259A1 (de) Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation
DE102010053087A1 (de) Auf bidirektionaler, lokaler und globaler Bewegungseinschätzung basierende Bildfrequenzumwandlung
DE60307935T2 (de) Bildverarbeitungsverfahren, -programm und -vorrichtung
US6930728B2 (en) Scan conversion apparatus
CN102939747A (zh) 用于运动补偿的视频内插的方法和装置
CN101427283A (zh) 从视频序列中产生全景图像的方法和设备
DE602005000425T2 (de) Verfahren und Anordnung zur Erzeugung von Kandidatenvektoren für Bildinterpolierungssysteme, die Bewegungsabschätzung und -kompensation verwenden
US5953079A (en) Machine method for compensating for non-linear picture transformations, E.G. zoom and pan, in a video image motion compensation system
EP1605405B1 (de) Verfahren zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind
US6154578A (en) Method for motion compensation of a moving image using two dimensional triangle patch wireframe model
DE19548451C1 (de) Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz
US8416344B2 (en) Iterative method for interpolating video information values
US8385421B2 (en) Method for estimating the motion in image processing
US20120163720A1 (en) Image processing apparatus and method thereof
Martins et al. True-motion estimation and compensation with multitemporal block-matching search

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TREDENTVY SYSTEM(FAR EAST ) CO., LTD.

Free format text: FORMER OWNER: MACSNA CO.,LTD.

Effective date: 20091225

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20091225

Address after: Cayman Islands (UK) Grand Cayman

Applicant after: Trident Microsystems (Far East) Ltd.

Address before: Freiburg, Federal Republic of Germany

Applicant before: Meikenas Co.

ASS Succession or assignment of patent right

Owner name: ENTROPIC COMMUNICATIONS, INC.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20131108

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20131108

Address after: American California

Applicant after: Entropic Communications, Inc.

Address before: Cayman Islands (UK) Grand Cayman

Applicant before: Trident Microsystems (Far East) Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140122

Termination date: 20170406

CF01 Termination of patent right due to non-payment of annual fee