CN1196542A - 移动目标窗口的块匹配方法 - Google Patents

移动目标窗口的块匹配方法 Download PDF

Info

Publication number
CN1196542A
CN1196542A CN98106235A CN98106235A CN1196542A CN 1196542 A CN1196542 A CN 1196542A CN 98106235 A CN98106235 A CN 98106235A CN 98106235 A CN98106235 A CN 98106235A CN 1196542 A CN1196542 A CN 1196542A
Authority
CN
China
Prior art keywords
target window
motion
block
frame
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98106235A
Other languages
English (en)
Other versions
CN1105996C (zh
Inventor
姜相旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1196542A publication Critical patent/CN1196542A/zh
Application granted granted Critical
Publication of CN1105996C publication Critical patent/CN1105996C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种移动目标窗口的块匹配方法。此方法在估计一个块匹配算法的运动向量值时,考虑到相邻变量值的相关性,通过适当移动一目标窗口,利用该同样大小的目标窗口即需要等量计算,可以估计出更好的运动向量值并获得更好的性能。

Description

移动目标窗口的块匹配方法
本发明涉及一个运动画面压缩系统，更具体地，涉及利用移动目标窗口估计运动向量值的一种块匹配方法。
通常，为压缩一个运动画面要去掉运动画面的冗余信息。在当前使用的大多数运动画面压缩系统，诸如MPEG和H.261中，用一种运动估计方法来去掉冗余信息。通过下面的过程运动向量可指示参考块和匹配块之间的位置差：将当前帧分成许多小的参考块，在给定搜索区中将每一参考块和前一帧的不同搜索区块比较，计算各搜索区块不同于相应参考块的差值，并找出有最小差值的块(下文称作匹配块)。然后，再传送上面的运动向量以及匹配块和参考块之间的象素差。
广泛应用于运动画面压缩的块匹配算法(BMA)，基于均方差来计算下一图象帧的哪一块与当前图象帧的预定大小的块最为相关。利用BMA算法，当目标窗口变大并有更多的搜索点时，可以找到接近最优的变量值。但是，这需要大量计算，它使得编码难以实时进行。
一般地，运动画面的背景是屏幕的一部分，其中的大部分准确的运动向量可估计出来。这是因为块并不复杂，且BMA算法基于这样一个事实，就是一个运动向量的值和它相邻的运动向量的值没有太大差异。也就是说，目标窗口不变。在拍摄全景时，很容易出现物体在同一方向上移动(背景屏幕通常不动)的情况。特别是，在电视电话的图象中只有一个运动物体。考虑到相邻变量值之间的这种相关，可以实现更好的估计。但是，由于上述的BMA方法获得运动向量时没有考虑相邻运动向量是相关的，所以在估计运动向量上有局限性。
本发明的目的是提供一个移动目标窗口的块匹配方法，它在估计一个BMA的运动向量值时，考虑到相邻变量值的相关，通过适当移动一目标窗口，利用该同样大小的目标窗口即需要等量计算，可以估计出更好的运动向量值。
为实现上述目的，这里提供了一种移动目标窗口的块匹配方法，包括以下步骤：(a)将当前帧Fn按预定的大小分开，从中挑出一个参考块Bm；(b)将前一帧Fn-1按预定的大小分开，确定用于估计运动的目标窗口Wm的中心点作为参考块Bm的中心点(Xn，Yn)；(c)利用该目标窗口，求得参考块Bm的一个运动向量(Dxn，Dyn)；(d)选择参考块Bm后的下一个参考块Bm+1，其中心点的坐标在当前帧Fn中为(Xn+1，Yn)；(e)确定当前帧Fn是否有复杂运动；(f)若当前帧Fn有复杂运动，用预定的通用块匹配方法得到一个运动向量值；(g)若当前帧Fn没有复杂运动，则对应于前一帧Fn-1的Bm+1，确定用于估计运动的一目标窗口WWm+1的中心为(Xn+1+Dxn，Yn+Dyn)；(h)确定目标窗口WWm+1是否在前一帧Fn-1的边界里；(I)若目标窗口WWm+1在前一帧Fn-1的边界中，求得一运动向量(DDxn+1，DDYn)；(j)若目标窗口WWm+1不在前一帧Fn-1的边界中，则在将目标窗口WWm+1的中心限制在前一帧Fn-1边界中后，求得一运动向量(DDxn+1，DDyn)；以及，(k)对当前帧的所有块执行步骤(d)到(I)。
若步骤(e)中当前帧Fn没有复杂运动，则在步骤(g)中确定前一帧Fn-1中用于估计运动的目标窗口WWm+1的中心点Om+1(XX，YY)，中心点Om+1的x坐标XX的值是通过将Xn加到邻接于参考块Bm的多于两块的x轴方向上的运动变量值的平均值得到的，而中心点Om+1的y坐标YY是通过将Yn加到邻接于参考块Bm的多于两块的y轴方向上的运动变量值的平均值得到的。
本发明的上述目的和优点通过参考附图详细描述一个优选实施例将变得更加明确，附图中：
图1示意本发明的第一搜索过程；
图2示意传统块匹配；
图3和4解释根据本发明移动目标窗口的块匹配方法；
图5是描述移动目标窗口的块匹配方法的实施例的操作的流程图；和
图6显示了邻接于前一块(Bm)的块Bm-1，Bm-2，和Bm-3。
下文将参考附图对本发明进行详细地描述。在图1中，帧Fn跟在前一帧Fn-1之后。确定Fn中有多少块移开了它们在Fn-1中的位置。在帧Fn中选择一块Bm并在目标窗口Wm区域中找出哪一块最相似于Bm。此处，任何块匹配算法都可以用。所找到的最接近于Bm的块的一个运动向量值设为(Dxn，Dyn)。
在传统方法中，上述运动向量值(Dxn，Dyn)根本不会影响下一块的搜索处理。图2给予了描述。在帧Fn中可以给另一块Bm+1估计另一个运动向量值(Dxn+1，Dyn+1)并且相应于块Bm+1找出在目标窗口Wm+1区域中与Bm+1相似的一块。
根据本发明，将参考图3到6对移动目标窗口的块匹配方法的一个实施例进行详细描述。
如图1中所示，从帧Fn中选出参考块Bm(步骤500)。前一帧Fn-1中目标窗口的中心点被确定为参考块Bm的中心点(步骤505)。用一个通用算法得到相应于上述参考块Bm的运动向量(Dxn，Dyn)(步骤510)。
如图3所示，在帧Fn中选择参考块Bm之后的下一个参考块Bm+1(步骤515)。根据邻接于下一参考块Bm+1的变量值找出一个与下一个参考块Bm+1最相似的块，还可估计出另一运动向量值(DDxn+1，DDyn+1)。这一块是在帧Fn-1的目标窗口WWm+1中找出的。这一处理的重要方面是确定目标窗口WWm+1的规则。在传统方法中，目标窗口的中心是与参考块中心相同的点(Xn+1，Yn)。
本发明中要确定帧Fn是否有复杂运动(步骤520)。如果帧Fn有复杂运动，则用一个通用块匹配算法得到有关于帧Fn的全部块的运动向量(步骤525)。
同时，如果确定帧Fn没有复杂运动，帧Fn的中心被确定为如图4所示的(Xn+1+Dxn，Yn+Dyn+1 )而且如前面相同大小的目标窗口WWm+1区域被设置在中心周围(步骤530)。也就是说，相应块在目标窗口中的概率增加了，从而搜索到当前块时，通过参考邻接的运动向量值，提高了编码的效率。这是因为在三维图象的全景拍摄与压缩时，以及在大多数通常的运动画面中，在含有许多表现出一致运动的部分的电视电话的图象中，一个物体的运动与邻接块很相关。在设定了窗口位置后，检查目标窗口WWm+1是否定位在帧Fn-1的边界之中(步骤535)。如果目标窗口WWm+1不在帧Fn-1的边界之中，此帧的边界就限制目标窗口在边界外不得移动。也就是说，限制目标窗口WWm+1的中心的移动以使得目标窗口WWm+1在帧Fn-1之中(步骤540)。在这种情况下，窗口的大小不变。
然后，在目标窗口WWm+1中得到有关于Bm+1的运动向量值(步骤545)。由此，得到了相对于帧Fn中所有块的运动向量值。
如图4所示在步骤530中仅参考前一块Bm的变量值(Dxn-1，Dyn-1)已确定下一块的窗口的中心位置。但是，当有许多邻接块可参考时，如图6所示，可以估计出比用仅与一个块变量值相关更加逼真的当前目标窗口的位置。也就是说，相应于块Bm的目标窗口的中心位置Om+1表示为下面的公式1。[公式1]Om+1＝((Dxn-1，Dxn-2，Dxn-3)的均值+Xn，(Dyn-1，Dyn-2，Dyn-3)的均值+yn)其中，Dxn-1，Dxn-2，和Dxn-3分别为Bm-1，Bm-2，和Bm-3的在x轴方向上的运动变量值，Dyn-1，Dyn-2，和Dyn-3分别为Bm-1，Bm-2，和Bm-3的在y轴方向上的运动变量值。
用于参考的块变量值的数目根据一个运动物体的运动的复杂度变化。通常，在一个有简单运动的图象中邻接运动向量之间的相关性高，在一个有复杂运动的图象中邻接运动向量之间的相关性低。而且，对于包含一个有十分复杂运动的物体的图象中，如果上述方法无效，则与传统的方法一样，仅参考当前块的中心来设置目标窗口的中心位置。这通过将公式1中的均值设置为0来实现。
如果一个运动向量被确定为目标窗口中心到相应块中心的向量，而非帧Fn中块Bm中心到相应目标窗口中一块的中心的向量，向量值将变小。因此，新的变量值如下。
(Xn+1+Dxn+1，Yn+Dyn+1)的向量-Om+1的向量
采用本发明的块匹配方法，可得到一个更好的运动画面压缩性能。此方法比含有同样大小的目标窗口区域的传统BMA方法更有效。运动向量本身有差分编码的效果，所以在编码运动向量时可以实现更好的压缩率。

Claims (2)

1.一种移动目标窗口的块匹配方法，包括如下步骤：
(a)按预定大小划分当前帧Fn，从该当前帧Fn中选出一个参考块Bm；
(b)确定通过按预定大小划分前一帧Fn-1获得的用于估计运动的目标窗口Wm的中心点作为参考块Bm的中心点(Xn，Yn)；
(c)利用该目标窗口，求得相应于参考块Bm的运动向量(Dxn，Dyn)；
(d)选取跟在参考块Bm之后的下一个参考块Bm+1，其中心点坐标在当前帧Fn为(Xn+1，Yn)；
(e)确定当前帧Fn是否含有复杂运动；
(f)若当前帧Fn有复杂运动，利用一个预定的通用块匹配方法求得一运动向量值；
(g)若当前帧Fn没有复杂运动，确定对应于前一帧Fn-1中Bm+1的用于估计运动的目标窗口WWm+1的中心为(Xn+1+Dxn，Yn+Dyn)；
(h)确定该目标窗口WWm+1是否在前一帧Fn-1的边界之内；
(I)若目标窗口WWm+1在前一帧Fn-1的边界内，求得一运动向量(DDxn+1，DDYn)；
(j)若目标窗口WWm+1不在前一帧Fn-1的边界内，在将目标窗口WWm+1的中心限制在前一帧Fn-1的边界内之后，求得一运动向量(DDxn+1，DDyn)；和
(k)对该当前帧的所有块执行步骤(d)到(I)。
2.如权利要求1所述的方法，其中在步骤(g)中，若在步骤(e)中当前帧Fn没有复杂运动，确定前一帧Fn-1中用于估计运动的目标窗口WWm+1的中心点Om+1(XX，YY)，作为中心点Om+1的x坐标的XX，是通过将Xn加到多于两个邻接于参考块Bm的块在x轴方向上的运动变量值的平均值而得到的值，而作为中心点Om+1的y坐标的YY，是通过将Yn加到多于两个邻接于参考块Bm的块在y轴方向上的运动变量值的平均值而得到的值。
CN98106235A 1997-04-15 1998-04-09 移动目标窗口的块匹配方法 Expired - Fee Related CN1105996C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR13874/1997 1997-04-15
KR1019970013874A KR100234264B1 (ko) 1997-04-15 1997-04-15 타겟윈도우 이동을 통한 블록 매칭방법
KR13874/97 1997-04-15

Publications (2)

Publication Number Publication Date
CN1196542A true CN1196542A (zh) 1998-10-21
CN1105996C CN1105996C (zh) 2003-04-16

Family

ID=19502857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN98106235A Expired - Fee Related CN1105996C (zh) 1997-04-15 1998-04-09 移动目标窗口的块匹配方法

Country Status (5)

Country Link
US (1) US6304603B1 (zh)
JP (1) JP3230804B2 (zh)
KR (1) KR100234264B1 (zh)
CN (1) CN1105996C (zh)
GB (1) GB2324431B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100359535C (zh) * 2003-01-16 2008-01-02 Vixs系统公司 用于运动估计的视频帧相关
CN100365661C (zh) * 2001-10-22 2008-01-30 索尼公司 信号处理方法及设备
CN100405820C (zh) * 2004-03-30 2008-07-23 松下电器产业株式会社 改进的图像边界处的运动向量估计
CN101320471A (zh) * 2007-06-08 2008-12-10 致伸科技股份有限公司 图像分析方法
CN101263713B (zh) * 2005-09-16 2010-06-23 索尼电子有限公司 采用不规则形状进行运动补偿的方法和装置
CN1787383B (zh) * 2004-12-07 2012-02-29 三星电子株式会社 变换、编码、逆变换和解码音频信号的方法和设备
CN103841427B (zh) * 2012-11-27 2016-12-21 炬芯（珠海）科技有限公司 一种搜索窗的滑动方法及其装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
KR100455119B1 (ko) * 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
EP1480170A1 (en) * 2003-05-20 2004-11-24 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for processing images
US7324596B2 (en) * 2003-07-15 2008-01-29 Lsi Logic Corporation Low complexity block size decision for variable block size motion estimation
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
DE102016104732A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0220988A (ja) 1988-07-08 1990-01-24 Fujitsu Ltd 動画像符号化装置における動ベクトル検出方式
JP3020299B2 (ja) 1991-04-24 2000-03-15 沖電気工業株式会社 動きベクトル検出装置
DE69331982T2 (de) * 1992-11-27 2003-01-23 Fuji Photo Film Co., Ltd. Verfahren zur Lageanpassung von Röntgenbildern
JPH07152895A (ja) * 1993-11-29 1995-06-16 Canon Inc 画像処理方法及び装置
JP3529432B2 (ja) * 1994-06-30 2004-05-24 株式会社東芝 動画像符号化／復号化装置
US5585862A (en) * 1994-09-19 1996-12-17 Graphics Communication Laboratories Motion estimation apparatus
FR2728091B1 (fr) * 1994-12-13 1997-01-31 Thomson Consumer Electronics Procede de selection de vecteurs mouvement et dispositif de traitement d'images mettant en oeuvre ledit procede
KR0181036B1 (ko) * 1995-04-08 1999-05-01 배순훈 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법
US5818969A (en) * 1995-05-12 1998-10-06 Intel Corporation Intelligent start for motion estimation search
US5661524A (en) * 1996-03-08 1997-08-26 International Business Machines Corporation Method and apparatus for motion estimation using trajectory in a digital video encoder
US5796434A (en) * 1996-06-07 1998-08-18 Lsi Logic Corporation System and method for performing motion estimation in the DCT domain with improved efficiency

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100365661C (zh) * 2001-10-22 2008-01-30 索尼公司 信号处理方法及设备
CN100359535C (zh) * 2003-01-16 2008-01-02 Vixs系统公司 用于运动估计的视频帧相关
CN100405820C (zh) * 2004-03-30 2008-07-23 松下电器产业株式会社 改进的图像边界处的运动向量估计
CN1787383B (zh) * 2004-12-07 2012-02-29 三星电子株式会社 变换、编码、逆变换和解码音频信号的方法和设备
CN101263713B (zh) * 2005-09-16 2010-06-23 索尼电子有限公司 采用不规则形状进行运动补偿的方法和装置
CN101320471A (zh) * 2007-06-08 2008-12-10 致伸科技股份有限公司 图像分析方法
CN101320471B (zh) * 2007-06-08 2013-03-20 致伸科技股份有限公司 辨识具有不同区块排列方式的多个图像的方法
CN103841427B (zh) * 2012-11-27 2016-12-21 炬芯（珠海）科技有限公司 一种搜索窗的滑动方法及其装置

Also Published As

Publication number Publication date
JP3230804B2 (ja) 2001-11-19
CN1105996C (zh) 2003-04-16
KR100234264B1 (ko) 1999-12-15
US6304603B1 (en) 2001-10-16
GB2324431A (en) 1998-10-21
GB9805400D0 (en) 1998-05-06
GB2324431B (en) 1999-03-03
KR19980076957A (ko) 1998-11-16
JPH10341439A (ja) 1998-12-22

Similar Documents

Publication Publication Date Title
JP4074062B2 (ja) ベクトル画像シーケンスにおける意味対象物の追跡
JP3612360B2 (ja) 移動物体分割法を用いた動画像の動き推定方法
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
CN1196542A (zh) 移动目标窗口的块匹配方法
JP3847827B2 (ja) 動きベクトル検出方法
US20130271666A1 (en) Dominant motion estimation for image sequence processing
CN113269682B (zh) 一种结合帧间信息的非均匀运动模糊视频复原方法
KR100950617B1 (ko) 이미지 시퀀스에서의 도미넌트 모션을 추정하는 방법
CN107483960B (zh) 一种基于空间预测的运动补偿帧率上转换方法
EP0972407A2 (en) Motion or depth estimation
CN117934308A (zh) 一种基于图卷积网络的轻量化自监督单目深度估计方法
CN112750154A (zh) 一种基于双目视觉的立体匹配方法
CN110322476B (zh) 一种改进stc和surf特征联合优化的目标跟踪方法
US20050129312A1 (en) Unit for and method of segmentation
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
Neumann et al. Adaptive multistage 2D image motion field estimation
Lin et al. A neural fuzzy system for image motion estimation
CN119991782A (zh) 一种基于亮度一致及单应性约束的自监督单目视觉里程计方法
Wang et al. Robust video stabilization based on motion decomposition
KR100955044B1 (ko) 서브 픽셀 해상도의 옵티컬 플로우 추정 장치 및 방법
Yamada et al. Motion segmentation with census transform
JPH11331851A (ja) 低ビットレート動画符号化装置
CN119832029A (zh) 一种基于多模态协同优化的隐式图像增强与光流估计方法
Chien et al. Fast disparity estimation algorithm for mesh-based stereo image/video compression with two-stage hybrid approach
Jianwei Video Stablelization Based on Grid Wariping and Moving Gaussian Filter

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1048451

Country of ref document: HK

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030416

Termination date: 20100409