CN1105996C - 移动目标窗口的块匹配方法 - Google Patents

移动目标窗口的块匹配方法 Download PDF

Info

Publication number
CN1105996C
CN1105996C CN98106235A CN98106235A CN1105996C CN 1105996 C CN1105996 C CN 1105996C CN 98106235 A CN98106235 A CN 98106235A CN 98106235 A CN98106235 A CN 98106235A CN 1105996 C CN1105996 C CN 1105996C
Authority
CN
China
Prior art keywords
target window
frame
motion vector
reference block
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN98106235A
Other languages
English (en)
Other versions
CN1196542A (zh
Inventor
姜相旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1196542A publication Critical patent/CN1196542A/zh
Application granted granted Critical
Publication of CN1105996C publication Critical patent/CN1105996C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及运动画面压缩系统，为了解决现有技术方法的估计运动向量的局限性问题，公开了一种移动目标窗口的块匹配方法。此方法包括步骤：划分当前帧Fn，选出参考块Bm；确定目标窗口Wm的中心点作为参考块Bm的中心点(Xn，Yn)；求得相应的运动向量(Dxn，Dyn)；选取下一参考块Bm+1；确定当前帧Fn是否有复杂运动，若有，用预定方法求得运动向量值，若没有，确定对应于前一帧Fn-1中Bm+1的用于估计运动的目标窗口WWm+1的中心为(Xn+1+Dxn，Yn+Dyn)；确定该目标窗口WWm+1是否在前一帧Fn-1的边界内；若在，求得一运动向量(DDxn+1，DDYn)；若不在，将目标窗口WWm+1中心限制在前一帧Fn-1的边界内，求得一运动向量(DDxn+1，DDyn)。利用本发明的方法，可以估计出更好的运动向量值并获得更好的性能。

Description

移动目标窗口的块匹配方法
                         技术领域
本发明涉及一种运动画面压缩系统，更具体地，涉及利用移动目标窗口估计运动向量值的一种块匹配方法。
                         背景技术
通常，为压缩一个运动画面要去掉运动画面的冗余信息。在当前使用的大多数运动画面压缩系统，诸如MPEG和H.261中，用一种运动估计方法来去掉冗余信息。通过下面的过程运动向量可指示参考块和匹配块之间的位置差：将当前帧分成许多小的参考块，在给定搜索区中将每一参考块和前一帧的不同搜索区块比较，计算各搜索区块不同于相应参考块的差值，并找出有最小差值的块(下文称作匹配块)。然后，再传送上面的运动向量以及匹配块和参考块之间的象素差。
广泛应用于运动画面压缩的块匹配算法(BMA)，基于均方差来计算下一图像帧的哪一块与当前图像帧的预定大小的块最为相关。利用BMA算法，当目标窗口变大并有更多的搜索点时，可以找到接近最优的变量值。但是，这需要大量计算，它使得编码难以实时进行。
一般地，运动画面的背景是屏幕的一部分，其中的大部分准确的运动向量可估计出来。这是因为块并不复杂，且BMA算法基于这样一个事实，就是一个运动向量的值和它相邻的运动向量的值没有太大差异。也就是说，目标窗口不变。在拍摄全景时，很容易出现物体在同一方向上移动(背景屏幕通常不动)的情况。特别是，在电视电话的图像中只有一个运动物体。考虑到相邻变量值之间的这种相关，可以实现更好的估计。但是，由于上述的BMA方法获得运动向量时没有考虑相邻运动向量是相关的，所以在估计运动向量上有局限性。
关于本发明背景技术的描述，可以参照日本特开平4-323780号公报、特开平2-20988号公报及美国专利文献US 5,661,524等。
                          发明内容
本发明的目的是提供一个移动目标窗口的块匹配方法，它在估计一个BMA的运动向量值时，考虑到相邻变量值的相关，通过适当移动一目标窗口，利用该同样大小的目标窗口即需要等量计算，可以估计出更好的运动向量值。
为实现上述目的，这里提供了一种移动目标窗口的块匹配方法，包括以下步骤：(a)将当前帧Fn按预定的大小分开，从中挑出一个参考块Bm；(b)将前一帧Fn-1按预定的大小分开，确定用于估计运动的目标窗口Wm的中心点作为参考块Bm的中心点(Xn，Yn)；(c)利用该目标窗口，求得参考块Bm的一个运动向量(Dxn，Dyn)；(d)选择参考块Bm后的下一个参考块Bm+1，其中心点的坐标在当前帧Fn中为(Xn+1，Yn)；(e)确定当前帧Fn是否有复杂运动；(f)若当前帧Fn有复杂运动，用预定的通用块匹配方法得到一个运动向量值；(g)若当前帧Fn没有复杂运动，则对应于前一帧Fn-1的Bm+1，确定用于估计运动的一目标窗口WWm+1的中心为(Xn+1+Dxn，Yn+Dyn)；(h)确定目标窗口WWm+1是否在前一帧Fn-1的边界里；(I)若目标窗口WWm+1在前一帧Fn-1的边界中，求得一运动向量(DDxn+1，DDyn)；(j)若目标窗口WWm+1不在前一帧Fn-1的边界中，则在将目标窗口WWm+1的中心限制在前一帧Fn-1边界中后，求得一运动向量(DDxn+1，DDyn)；以及，(k)对当前帧的所有块执行步骤(d)到(j)。
若步骤(e)中当前帧Fn没有复杂运动，则在步骤(g)中确定前一帧Fn-1中用于估计运动的目标窗口WWm+1的中心点Om+1(XX，YY)，中心点Om+1的x坐标XX的值是通过将Xn加到邻接于参考块Bm的三个块的x轴方向上的运动变量值的平均值得到的，即XX＝(Dxn-1，Dxn-2，Dxn-3)的均值+Xn，而中心点Om+1的y坐标YY是通过将Yn加到邻接于参考块Bm的三个块的y轴方向上的运动变量值的平均值得到的，即YY＝(Dyn-1，Dyn-2，Dyn-3)的均值+Yn。
采用本发明的块匹配方法，可得到一个更好的运动画面压缩性能。此方法比含有同样大小的目标窗口区域的传统BMA方法更有效。运动向量本身有差分编码的效果，所以在编码运动向量时可以实现更好的压缩率。
                         附图说明
本发明的上述目的和优点通过参考附图详细描述一个优选实施例将变得更加明确，附图中：
图1示意本发明的第一搜索过程；
图2示意传统块匹配；
图3和4解释根据本发明移动目标窗口的块匹配方法；
图5是描述移动目标窗口的块匹配方法的实施例的操作的流程图；和
图6显示了邻接于前一块(Bm)的块Bm-1，Bm-2和Bm-3。
                       具体实施方式
下文将参考附图对本发明进行详细地描述。在图1中，帧Fn跟在前一帧Fn-1之后。确定Fn中有多少块移开了它们在Fn-1中的位置。在帧Fn中选择一块Bm并在目标窗口Wm区域中找出哪一块最相似于Bm。此处，任何块匹配算法都可以用。所找到的最接近于Bm的块的一个运动向量值设为(Dxn，Dyn)。
在传统方法中，上述运动向量值(Dxn，Dyn)根本不会影响下一块的搜索处理。图2给予了描述。在帧Fn中可以给另一块Bm+1估计另一个运动向量值(Dxn+1，Dyn+1)并且相应于块Bm+1找出在目标窗口Wm+1区域中与Bm+1相似的一块。
根据本发明，将参考图3到6对移动目标窗口的块匹配方法的一个实施例进行详细描述。
如图1中所示，从帧Fn中选出参考块Bm(步骤500)。前一帧Fn-1中目标窗口的中心点被确定为参考块Bm的中心点(步骤505)。用一个通用算法得到相应于上述参考块Bm的运动向量(Dxn，Dyn)(步骤510)。
如图3所示，在帧Fn中选择参考块Bm之后的下一个参考块Bm+1(步骤515)。根据邻接于下一参考块Bm+1的变量值找出一个与下一个参考块Bm+1最相似的块，还可估计出另一运动向量值(DDxn+1，DDyn+1)。这一块是在帧Fn-1的目标窗口WWm+1中找出的。这一处理的重要方面是确定目标窗口WWm+1的规则。在传统方法中，目标窗口的中心是与参考块中心相同的点(Xn+1，Yn)。
本发明中要确定帧Fn是否有复杂运动(步骤520)。如果帧Fn有复杂运动，则用一个通用块匹配算法得到有关于帧Fn的全部块的运动向量(步骤525)。
同时，如果确定帧Fn没有复杂运动，帧Fn的中心被确定为如图4所示的(Xn+1+Dxn，Yn+Dyn+1)而且如前面相同大小的目标窗口WWm+1区域被设置在中心周围(步骤530)。也就是说，相应块在目标窗口中的概率增加了，从而搜索到当前块时，通过参考邻接的运动向量值，提高了编码的效率。这是因为在三维图像的全景拍摄与压缩时，以及在大多数通常的运动画面中，在含有许多表现出一致运动的部分的电视电话的图像中，一个物体的运动与邻接块很相关。在设定了窗口位置后，检查目标窗口WWm+1是否定位在帧Fn-1的边界之中(步骤535)。如果目标窗口WWm+1不在帧Fn-1的边界之中，此帧的边界就限制目标窗口在边界外不得移动。也就是说，限制目标窗口WWm+1的中心的移动以使得目标窗口WWm+1在帧Fn-1之中(步骤540)。在这种情况下，窗口的大小不变。
然后，在目标窗口WWm+1中得到有关于Bm+1的运动向量值(步骤545)。由此，得到了相对于帧Fn中所有块的运动向量值。
如图4所示在步骤530中仅参考前一块Bm的变量值(Dxn-1，Dyn-1)已确定下一块的窗口的中心位置。但是，当有许多邻接块可参考时，如图6所示，可以估计出比用仅与一个块变量值相关更加逼真的当前目标窗口的位置。也就是说，相应于块Bm的目标窗口的中心位置Om+1表示为下面的公式1。
[公式1]
Om+1＝((Dxn-1，Dxn-2，Dxn-3)的均值+Xn，(Dyn-1，Dyn-2，Dyn-3)的均值+Yn)其中，Dxn-1，Dxn-2和Dxn-3分别为Bm-1，Bm-2和Bm-3的在x轴方向上的运动变量值，Dyn-1，Dyn-2和Dyn-3分别为Bm-1，Bm-2和Bm-3的在y轴方向上的运动变量值。
用于参考的块变量值的数目根据一个运动物体的运动的复杂度变化。通常，在一个有简单运动的图像中邻接运动向量之间的相关性高，在一个有复杂运动的图像中邻接运动向量之间的相关性低。而且，对于包含一个有十分复杂运动的物体的图像中，如果上述方法无效，则与传统的方法一样，仅参考当前块的中心来设置目标窗口的中心位置。这通过将公式1中的均值设置为0来实现。
如果一个运动向量被确定为目标窗口中心到相应块中心的向量，而非帧Fn中块Bm中心到相应目标窗口中一块的中心的向量，向量值将变小。因此，新的变量值如下。
(Xn+1+Dxn+1，Yn+Dyn+1)的向量-Om+1的向量

Claims (2)

1.一种移动目标窗口的块匹配方法，包括如下步骤：
(a)按预定大小划分当前帧Fn，从该当前帧Fn中选出一个参考块Bm；
(b)确定通过按预定大小划分前一帧Fn-1获得的用于估计运动的目标窗口Wm的中心点作为参考块Bm的中心点(Xn，Yn)；
(c)利用该目标窗口，求得相应于参考块Bm的运动向量(Dxn，Dyn)；
(d)选取跟在参考块Bm之后的下一个参考块Bm+1，其中心点坐标在当前帧Fn为(Xn+1，Yn)；
(e)确定当前帧Fn是否含有复杂运动；
(f)若当前帧Fn有复杂运动，利用一个预定的通用块匹配方法求得一运动向量值；
(g)若当前帧Fn没有复杂运动，确定对应于前一帧Fn-1中Bm+1的用于估计运动的目标窗口WWm+1的中心为(Xn+1+Dxn，Yn+Dyn)；
(h)确定该目标窗口WWm+1是否在前一帧Fn-1的边界之内；
(I)若目标窗口WWm+1在前一帧Fn-1的边界内，求得一运动向量(DDxn+1，DDyn)；y
(j)若目标窗口WWm+1不在前一帧Fn-1的边界内，在将目标窗口WWm+1的中心限制在前一帧Fn-1的边界内之后，求得一运动向量(DDxn+1，DDyn)；和
(k)对该当前帧的所有块执行步骤(d)到(j)。
2.如权利要求1所述的方法，其中在步骤(g)中，若在步骤(e)中当前帧Fn没有复杂运动，确定前一帧Fn-1中用于估计运动的目标窗口WWm+1的中心点Om+1(XX，YY)，作为中心点Om+1的x坐标的XX，是通过将Xn加到三个邻接于参考块Bm的块在x轴方向上的运动变量值的平均值而得到的值，即XX＝(Dxn-1，Dxn-2，Dxn-3)的均值+Xn，而作为中心点Om+1的y坐标的YY，是通过将Yn加到三个邻接于参考块Bm的块在y轴方向上的运动变量值的平均值而得到的值，即yy＝(Dyn-1，Dyn-2，Dyn-3)的均值+Yn。
CN98106235A 1997-04-15 1998-04-09 移动目标窗口的块匹配方法 Expired - Fee Related CN1105996C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR13874/97 1997-04-15
KR13874/1997 1997-04-15
KR1019970013874A KR100234264B1 (ko) 1997-04-15 1997-04-15 타겟윈도우 이동을 통한 블록 매칭방법

Publications (2)

Publication Number Publication Date
CN1196542A CN1196542A (zh) 1998-10-21
CN1105996C true CN1105996C (zh) 2003-04-16

Family

ID=19502857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98106235A Expired - Fee Related CN1105996C (zh) 1997-04-15 1998-04-09 移动目标窗口的块匹配方法

Country Status (5)

Country Link
US (1) US6304603B1 (zh)
JP (1) JP3230804B2 (zh)
KR (1) KR100234264B1 (zh)
CN (1) CN1105996C (zh)
GB (1) GB2324431B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
JP3997749B2 (ja) * 2001-10-22 2007-10-24 ソニー株式会社 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
KR100455119B1 (ko) * 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7408989B2 (en) * 2003-01-16 2008-08-05 Vix5 Systems Inc Method of video encoding using windows and system thereof
EP1480170A1 (en) * 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
US7324596B2 (en) * 2003-07-15 2008-01-29 Lsi Logic Corporation Low complexity block size decision for variable block size motion estimation
EP1585326A1 (en) * 2004-03-30 2005-10-12 Matsushita Electric Industrial Co., Ltd. Motion vector estimation at image borders for frame rate conversion
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
KR100668319B1 (ko) * 2004-12-07 2007-01-12 삼성전자주식회사 오디오 신호의 변환방법 및 장치와 오디오 신호에적응적인 부호화방법 및 장치, 오디오 신호의 역변환 방법및 장치와 오디오 신호에 적응적인 복호화 방법 및 장치
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
CN101320471B (zh) * 2007-06-08 2013-03-20 致伸科技股份有限公司 辨识具有不同区块排列方式的多个图像的方法
CN103841427B (zh) * 2012-11-27 2016-12-21 炬芯（珠海）科技有限公司 一种搜索窗的滑动方法及其装置
DE102016104732A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0599345A2 (en) * 1992-11-27 1994-06-01 Fuji Photo Film Co., Ltd. Method for adjusting positions of radiation images
EP0655712A2 (en) * 1993-11-29 1995-05-31 Canon Kabushiki Kaisha Image processing method and apparatus
CN1131881A (zh) * 1994-12-13 1996-09-25 汤姆森多媒体公司 选择运动矢量的方法及实现该方法的图象处理装置
CN1133535A (zh) * 1995-04-08 1996-10-16 大宇电子株式会社 分割与估算移动目标的运动的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0220988A (ja) 1988-07-08 1990-01-24 Fujitsu Ltd 動画像符号化装置における動ベクトル検出方式
JP3020299B2 (ja) 1991-04-24 2000-03-15 沖電気工業株式会社 動きベクトル検出装置
JP3529432B2 (ja) * 1994-06-30 2004-05-24 株式会社東芝 動画像符号化／復号化装置
EP0702485A3 (en) * 1994-09-19 1997-05-28 Graphics Communication Lab Motion estimation device
US5818969A (en) * 1995-05-12 1998-10-06 Intel Corporation Intelligent start for motion estimation search
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0599345A2 (en) * 1992-11-27 1994-06-01 Fuji Photo Film Co., Ltd. Method for adjusting positions of radiation images
EP0655712A2 (en) * 1993-11-29 1995-05-31 Canon Kabushiki Kaisha Image processing method and apparatus
CN1131881A (zh) * 1994-12-13 1996-09-25 汤姆森多媒体公司 选择运动矢量的方法及实现该方法的图象处理装置
CN1133535A (zh) * 1995-04-08 1996-10-16 大宇电子株式会社 分割与估算移动目标的运动的方法

Also Published As

Publication number Publication date
CN1196542A (zh) 1998-10-21
KR19980076957A (ko) 1998-11-16
KR100234264B1 (ko) 1999-12-15
GB2324431A (en) 1998-10-21
GB9805400D0 (en) 1998-05-06
JP3230804B2 (ja) 2001-11-19
GB2324431B (en) 1999-03-03
JPH10341439A (ja) 1998-12-22
US6304603B1 (en) 2001-10-16

Similar Documents

Publication Publication Date Title
CN1105996C (zh) 移动目标窗口的块匹配方法
US7457361B2 (en) Block motion estimation method
CN110087087B (zh) Vvc帧间编码单元预测模式提前决策及块划分提前终止方法
US7099392B2 (en) Motion vector searching method using plural search areas
US8837591B2 (en) Image block classification
CN1107415C (zh) 分割与估算移动目标的运动的方法
TW200401569A (en) Method and apparatus for motion estimation between video frames
JP2004530367A (ja) 動きベクトル予測方法及び動きベクトル予測装置
CN112614159A (zh) 一种面向仓库场景的跨摄像头多目标跟踪方法
CN1656515A (zh) 估计当前运动矢量的单元和方法
CN1656514A (zh) 估计运动矢量的单元和方法
KR100408294B1 (ko) 저전송율 동영상 부호화에 적합한 움직임 추정 방법
CN1181691C (zh) 视频运动估计方法
Mirante et al. A fast image segmentation algorithm using color and depth map
JP4443767B2 (ja) 動きベクトルの伝送コスト低減のための動き推定の方法
US6912296B2 (en) Motion estimation method
US20070047643A1 (en) Video data compression
CN1308892C (zh) 用于分割的装置和方法
CN1529874A (zh) 特征点选择
JP3213105B2 (ja) 映像の構図自動決定処理方法
CA2412471A1 (en) A framework and a system for semantic content extraction in video sequences
Kundu Modified block matching algorithm for fast block motion estimation
CN1166206C (zh) 像元匹配运动测定方法及采用该方法的发信机
JPH05314391A (ja) 一連のディジタル影像中の影像の登録方法と登録装置
Salih et al. Dynamic scene change detection in video coding

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1048451

Country of ref document: HK

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030416

Termination date: 20100409