CN1152577C - 用于数字输入视频信号的运动估计方法 - Google Patents

用于数字输入视频信号的运动估计方法 Download PDF

Info

Publication number
CN1152577C
CN1152577C CNB001297155A CN00129715A CN1152577C CN 1152577 C CN1152577 C CN 1152577C CN B001297155 A CNB001297155 A CN B001297155A CN 00129715 A CN00129715 A CN 00129715A CN 1152577 C CN1152577 C CN 1152577C
Authority
CN
China
Prior art keywords
pixel
estimation
pixels
search
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB001297155A
Other languages
English (en)
Other versions
CN1293518A (zh
Inventor
迈诺尔夫・布拉瓦
迈诺尔夫·布拉瓦
・温特
马尔科·温特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
German Thomson Co.
Thomson Holding Germany
Thomson Licensing SAS
InterDigital VC Holdings Inc
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of CN1293518A publication Critical patent/CN1293518A/zh
Application granted granted Critical
Publication of CN1152577C publication Critical patent/CN1152577C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

与最低匹配误差相关的候选运动矢量被选择作为运动矢量。列和/或行的二次抽样可以用于减小计算的储存要求。但是，隔行信号需要特别的考虑，因为这会严重地损害运动矢量的质量。因此，输入信号(IP)被水平和垂直低通滤波(HVF)并且以因子2执行水平二次抽样(HSUB)。利用2像素的水平搜索步长以及利用1像素的垂直搜索步长对所得视频信号进行运动矢量搜索，从而仅仅估算每第二个像素和行来对参考块中的成本函数或块匹配误差进行计算。

Description

用于数字输入视频信号的运动估计方法
本发明涉及利用块匹配和二次抽样法的用于数字输入视频信号的运动估计方法。
可以把块匹配法用于运动估计。要被编码的图像被分割为块，并且这些参考块中的每一个与在前或后续图像中的搜索窗内的相同尺寸的候选块相比较。对每个候选矢量位置计算在参考块的像素值与候选块的相应像素值之间的差的绝对值的总和。其结果称为“成本函数”。然后，与最低总和值(即，成本函数的最小值)有关的候选运动矢量被取作为当前参考块的运动矢量。一些运动估计方法利用在参考块和在搜索区域中的所有像素(全像素全搜索)，以查找最佳运动矢量。但是，这些方法要求非常快而且昂贵的硬件。
为了减小所要求的计算能力，在块匹配方法中引入对角像素二次抽样方法。
对于预定的下采样级别，通过利用五点梅花形下采样取代正交下采样可以明显减小错误确定的运动矢量的数目。在五点梅花形下采样中，分别在先前行或列中省略的位置处的像素分别用于每个如下行或列中。固定五点梅花形二次抽样可以应用于参考块或存储区域。欧洲专利EP-A-0 732 670中公开使用这种五点梅花形二次抽样的块匹配。
利用分级块匹配可以减小计算要求，但是仍然保持高矢量精度。M.Bierling，“利用分级块匹配估计的位移估计”，汉诺威大学，第三届关于视频通信和图像处理的SPIE(摄影光学仪器工程师学会)学术讨论会，1988年11月9-11日，剑桥，美国，该文中描述了以低通滤波和二次抽样搜索窗为开始，基于在具有不同空间分辨率的搜索窗中的运动矢量搜索的分级运动估计方法。
欧洲专利EP-A＝0 661 667公开了仅仅利用像素值的MSB(最高有效位)的块匹配方法。
如上文所述，可以执行参考块和搜索窗区域的二次抽样，以减小计算和存储要求。但是，由于如果具有实际最小成本函数值的正确候选运动矢量位于省略的行或列中，则有可能找不到该运动矢量，因此列和/或行(正交下采样)的省略可能导致不理想的结果。由于在一些需要运动矢量的精度甚至要大于±1像素的情况下(例如，要求±1/2像素)，这是个严重的缺点。
上述情况对于逐行和隔行视频信号来说基本上正确。但是，隔行视频信号需要特别的考虑，因为它们已经被垂直二次抽样，并且在运动估计方法中进一步应用垂直二次抽样可能严重地降低运动矢量的质量。
本发明的一个目的是提供一种块匹配运动估计方法，其减小计算和存储要求，但是具有高矢量精度，其特别适合于隔行视频信号。该目的是通过在权利要求1中所公开的方法而实现的。
按照因子2对输入信号进行水平和垂直低通滤波和垂直二次抽样。利用2像素的水平搜索步长或分辨率以及利用1像素的垂直搜索步长或分辨率(这两个都用原始信号像素图案间距表达)对所得视频信号进行运动矢量搜索，从而仅仅估算每第二个像素和行(这两者都用原始信号像素图案间距来表达)，以对参考块中的成本函数或块匹配误差进行计算。
在可选的第二块匹配阶段，根据水平和垂直半像素间距插值的五点梅花形像素图案执行精细运动估计，最终导致半像素分辨率的运动矢量(以原始信号像素图案来表达)。
原则上，本发明方法关于数字输入视频信号的运动估计，并且利用参考像素块与在搜索窗中的相应像素块的块匹配以及二次抽样，其包括如下步骤：
-对输入视频信号进行水平和垂直低通滤波，以及对该滤波的视频信号进行水平1∶2二次抽样；
-利用2像素的水平搜索步长或分辨率以及1像素的垂直搜索步长或分辨率对当前参考块执行运动矢量搜索，该搜索对滤波和水平二次抽样后的视频信号进行，其中为了计算当前块匹配误差或成本函数值，仅仅对每第二个像素和每个第二行进行估算，其中用于所述估算的所述搜索步长和像素间距是用原始视频信号像素图案间距来表达的。
有利的是随后根据水平和垂直半像素间距插值的五点梅花形图案执行精确运动估计，这最终导致用原始信号像素图案间距表达的半像素分辨率运动矢量。
本发明方法的优选附加实施例公开在各个从属权利要求中。
下面将参照附图具体描述本发明的实施例，其中：
图1为二次抽样处理方法；
图2为在第一运动估计阶段中涉及的像素；
图3为在矢量指向点附近的具有中间像素位置的帧；
图4为第二运动估计阶段中涉及的像素；
图5为隔行扫描信号所需的运动矢量。
实施例
如图1所示，运动估计处理以每帧具有原始有效像素(例如720×576)的输入图像IP的水平垂直低通滤波HVF为开始。在水平或在水平垂直低通滤波之后，以因子2执行水平二次抽样HSUB。输出图像例如具有360×576有效像素/帧，其中参考宏块可以具有8像素×16行的大小。
图2示出参考宏块的8像素和16行。用于块匹配中的搜索窗可以具有水平±32(二次抽样的)像素和垂直±32行的大小。根据这些附图，相应的参考块与在搜索窗中的相应像素在65像素×65行＝4225个候选块位置相比较。候选块搜索步长和在第一运动估计阶段(即运动估计阶段)计算所得的矢量精度是水平±2(原始)像素和垂直±1(原始)行。为了减小计算量，以如下方式执行运动估计：
其中，i＝水平下标，j＝垂直下标，
4P＝例如在参考块中的像素值的四个最高有效位，
4p＝例如在预测帧的块中的像素值的四个最高有效位。
用于成本函数累计的像素在图2中示出为黑点，而白点像素被忽略。例如在八位每像素值中低四位是忽略位DCB。
计算的成本函数的最小值的空间位置通常仍然与正确的运动矢量位置具有偏差。该偏差可以利用后续阶段的精确运动估计来最小化。
在精确运动估计阶段中的运算也基于在参考帧中的原始像素之间附加像素的内插值。这些内插值可以利用[1，2，1]滤波器从原始像素值中推导出。图3示出在粗略矢量CVEC的指向点附近中的具有中间像素位置的参考帧。该附近(暗区域)包括相邻原始像素FP、水平插值半像素IHPH、垂直插值半像素IHPV、以及对角插值半像素IHPD，总共34个像素位置。一般，对于在预测帧中的每个宏块，在参考帧内的参考宏块附近进行搜索，这意味着在34个块位置中搜索最小匹配误差。
还可以在预测帧中搜索相应块位置的参考图像参考块的位置，这意味着对预测图像计算插值像素值。
在精确运动估计阶段，块尺寸例如是16(原始)像素×16(原始)行，如图4中所示。QPAT表示在计算中涉及的黑点像素值的五点梅花形图案。搜索步长是水平1/2(原始)像素以及垂直1/2(原始)行。再次，例如对于八位每像素值仅仅有四个最高有效位可以用于成本函数累计，而剩余位是忽略位DCB。
精确运动估计是以如下方式执行的：
成本函数
mae = Σ i = 0 15 Σ j = 0 15 | 4 P 2 i + mod ( j , 2 ) , j - 4 p 2 i + mod ( j , 2 ) , j |
mae＝绝对平均误差，i＝在半像素光栅中的水平下标，j＝在半像素光栅中的垂直下标，如果j是偶数，则mod(j，2)＝0；如果j是奇数，则mod(j，2)＝1。
本发明的运动估计提高了主观图像质量，特别是对于隔行扫描图像。图5示出来自一个隔行扫描图像序列的顶部参考区域TREFF、顶部参考区域BREFF、顶部预测区域TPDF、以及顶部预测区域BPDF。图5示出从预测区域到参考区域的精确运动估计矢量。在每个区域中的块可以利用来自两个随后区域中的每一个的矢量来预测。
在粗略运动估计和在精确运动估计中的搜索方向是可以随意掉换的。

Claims (8)

1.一种用于数字输入视频信号(IP)的运动估计的方法，其利用参考像素块与在搜索窗口中的相应像素块之间的块匹配，从而利用二次抽样，其特征在于如下步骤：
-对输入视频信号(IP)进行水平和垂直低通滤波(HVF)，以及对该滤波的视频信号进行水平1∶2二次抽样(HSUB)；
-利用2像素的水平搜索步长或分辨率以及1像素的垂直搜索步长或分辨率对当前参考块执行运动矢量(CVEC)搜索，该搜索对滤波和水平二次抽样后的视频信号(OP)进行，其中为了计算当前块匹配误差或成本函数值，仅仅对每第二个像素和每个第二行进行估算，其中用于所述估算的所述搜索步长和像素间距是用原始视频信号像素图案间距来表达的。
2.根据权利要求1所述的方法，其特征在于，随后根据水平和垂直半像素间距插值的五点梅花形图案(QPAT)执行精确运动估计，这最终导致用原始信号像素图案间距表达的半像素分辨率运动矢量。
3.根据权利要求1或2所述的方法，其特征在于，所述输入视频信号(IP)是隔行视频信号。
4.根据权利要求3所述的方法，其特征在于，利用相应相邻帧的顶部和底部区域块(TPDF、BPDF)，计算用于顶部区域块(TREFF)和/或底部区域块(BREFF)的运动矢量。
5.根据权利要求1或2所述的方法，其特征在于，在运动估计阶段或在附加的精确运动估计阶段中，针对匹配误差或成本函数值计算中涉及的多个像素值，每个象素值的一些最低有效位(DCB)不被考虑，其中，涉及所述象素的精确运动估计阶段是基于在位于参考帧中的原始象素之间的附加象素的，以及根据原始象素值内插所述附加象素值。
6.根据权利要求4所述的方法，其特征在于，在运动估计阶段或在附加的精确运动估计阶段中，针对匹配误差或成本函数值计算中涉及的多个像素值，每个象素值的一些最低有效位(DCB)不被考虑，其中，涉及所述象素的精确运动估计阶段是基于在位于参考帧中的原始象素之间的附加象素的，以及根据原始象素值内插所述附加象素值。
7.根据权利要求5所述的方法，其特征在于，利用如下成本函数的平均绝对误差执行运动估计：
Figure C0012971500031
其中，i＝水平下标，j＝垂直下标，4P＝例如在参考块中的像素值的四个最高有效位，4p＝例如在预测帧的块中的像素值的四个最高有效位。
8.根据权利要求5所述的方法，其特征在于，利用如下成本函数的平均绝对误差MAE执行精确运动估计：
MAE = Σ i = 0 15 Σ j = 0 15 | 4 P 2 i + mod ( j , 2 ) , j - 4 p 2 i + mod ( j , 2 ) , j |
其中，i＝在半像素光栅中的水平下标，j＝在半像素光栅中的垂直下标，如果j是偶数，则mod(j，2)＝0；如果j是奇数，则mod(j，2)＝1。
CNB001297155A 1999-10-19 2000-10-09 用于数字输入视频信号的运动估计方法 Expired - Lifetime CN1152577C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP99250368.0 1999-10-19
EP99250368A EP1094671A1 (en) 1999-10-19 1999-10-19 Method of motion estimation for a digital input video signal

Publications (2)

Publication Number Publication Date
CN1293518A CN1293518A (zh) 2001-05-02
CN1152577C true CN1152577C (zh) 2004-06-02

Family

ID=8241163

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001297155A Expired - Lifetime CN1152577C (zh) 1999-10-19 2000-10-09 用于数字输入视频信号的运动估计方法

Country Status (4)

Country Link
EP (1) EP1094671A1 (zh)
JP (1) JP2001169296A (zh)
CN (1) CN1152577C (zh)
DE (1) DE60039097D1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1361541B1 (en) * 2002-04-09 2011-06-22 STMicroelectronics Srl Process and device for global motion estimation in a sequence of images, for instance for optical mice
EP1515152A1 (de) * 2003-09-12 2005-03-16 Leica Geosystems AG Verfahren zur Richtungsbestimmung zu einem zu vermessenden Objekt
CN100353768C (zh) * 2003-11-26 2007-12-05 联发科技股份有限公司 在视频压缩系统中进行运动估测的方法及相关装置
CN101754012B (zh) * 2004-10-14 2012-06-20 英特尔公司 采用自适应搜索策略的快速多帧运动估计方法
EP2528019A1 (en) * 2011-05-26 2012-11-28 Axis AB Apparatus and method for detecting objects in moving images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3924541A1 (de) * 1989-07-25 1991-01-31 Bosch Gmbh Robert Schaltungsanordnung zur schaetzung von bewegung in einem aufgenommenen bild
JPH03256485A (ja) * 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
DE4342305A1 (de) * 1993-12-11 1995-06-29 Thomson Brandt Gmbh Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
DE4344924A1 (de) * 1993-12-30 1995-08-10 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bewegungsschätzung
JP3908793B2 (ja) * 1994-02-04 2007-04-25 ソニー株式会社 画像照合方法および装置
DE19509418A1 (de) * 1995-03-16 1996-09-19 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zur Unterabtastung bei Bewegungsschätzung
US5712799A (en) * 1995-04-04 1998-01-27 Chromatic Research, Inc. Method and structure for performing motion estimation using reduced precision pixel intensity values
JPH1051793A (ja) * 1996-08-05 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ブロックマッチング装置
JPH11239354A (ja) * 1998-02-23 1999-08-31 Mitsubishi Electric Corp 動きベクトル検出器

Also Published As

Publication number Publication date
DE60039097D1 (de) 2008-07-17
CN1293518A (zh) 2001-05-02
JP2001169296A (ja) 2001-06-22
EP1094671A1 (en) 2001-04-25

Similar Documents

Publication Publication Date Title
USRE39278E1 (en) Method for determining motion compensation
JP2897763B2 (ja) 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
EP0393906B1 (en) Video signal interpolation
EP0395265B1 (en) Motion dependent video signal processing
US6999128B2 (en) Stillness judging device and scanning line interpolating device having it
JP2611591B2 (ja) 動き補償装置
EP0474287B1 (en) Method and apparatus for processing a picture signal
EP0488795A2 (en) Motion vector detection and band compression apparatus
KR19990035896A (ko) 모션 벡터를 추정하는 방법, 장치 및 그 장치를 포함하는 비디오 디스플레이 장치
EP0474276B1 (en) Video image motion vector estimation with asymmetric update region
EP0654946A1 (en) Apparatus for determining motion vector
WO2003013143A2 (en) Methods and apparatus for sub-pixel motion estimation
Fujiwara et al. Motion-compensated frame rate up-conversion based on block matching algorithm with multi-size blocks
EP0508706B1 (en) Motion-vector detecting apparatus
KR100232113B1 (ko) 동벡터검출장치
CN1152577C (zh) 用于数字输入视频信号的运动估计方法
EP1104970A1 (en) Method and device for converting number of frames of image signals
US6574370B1 (en) Image encoding system
USRE39280E1 (en) Method for determining motion compensation
EP1094669B1 (en) Method of motion estimation for a digital input video signal
JPH06326980A (ja) 動き補償映像信号処理方式
Biswas et al. A novel de-interlacing technique based on phase plane correlation motion estimation
CN1139041C (zh) 用于半象素绝对差值和产生的方法和装置
EP0639926A1 (en) Method and apparatus for motion vector estimation using block matching
JP3022977B2 (ja) テレビジョン信号内挿方式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: German villingen schwenningen

Patentee after: German Thomson Co.

Address before: German villingen schwenningen

Patentee before: Thomson holding Germany

Address after: German villingen schwenningen

Patentee after: Thomson holding Germany

Address before: German villingen schwenningen

Patentee before: Thomson-Brant GmbH, Germany

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20191204

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: Cesson sevini, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20191204

Address after: Cesson sevini, France

Patentee after: THOMSON LICENSING

Address before: German villingen schwenningen

Patentee before: German Thomson Co.

TR01 Transfer of patent right
CX01 Expiry of patent term

Granted publication date: 20040602

CX01 Expiry of patent term