CN101179731A - 获得基于块的运动估计中的运动向量 - Google Patents

获得基于块的运动估计中的运动向量 Download PDF

Info

Publication number
CN101179731A
CN101179731A CN200710186102.7A CN200710186102A CN101179731A CN 101179731 A CN101179731 A CN 101179731A CN 200710186102 A CN200710186102 A CN 200710186102A CN 101179731 A CN101179731 A CN 101179731A
Authority
CN
China
Prior art keywords
vector
subregion
macro block
divided
child partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200710186102.7A
Other languages
English (en)
Inventor
A·R·哈盖特
D·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ERISSON
Original Assignee
Tandberg Television AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tandberg Television AS filed Critical Tandberg Television AS
Publication of CN101179731A publication Critical patent/CN101179731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在基于块的运动估计中为宏块分区获得运动向量的方法，其通过将各宏块划分成分区并为每个分区确定分区运动向量来实现。最好的向量是从分区的分区运动向量和从相邻宏块的分区的向量中为每个分区选择的。

Description

获得基于块的运动估计中的运动向量
技术领域
本发明涉及获得视频信号压缩的基于块的运动估计中的运动向量的方法。
背景技术
诸如MPEG2和H264的视频压缩标准通过根据一个或多个之前编码的画面的部分来预测一个画面中的宏块，从而实现压缩。对于尺寸为16×16像素的典型宏块，存在用于找出最佳向量的已知方法，该最佳向量描述之前的编码画面的部分到当前画面中宏块的变换。例如，给定x和y向量(二者可以是相关的；搜索区域的形状并不必须是矩形的)的最大范围，已知的绝对差值之和(SAD)的方法为搜索区域内的每个可能匹配点计算宏块中的像素与之前编码帧中的相应像素之间的绝对差值之和，并搜索最小的SAD，其可被认为对应于最优向量。还已知有诸如搜索最大的互相关系数的其它方法。
诸如H264的一些视频压缩标准允许用更小的块，已知为宏块的划分(以及子分区)，来预测图像，这些更小的块中的每个都可用不同向量来预测。理论上，这允许以低得多的残差(residual)来预测宏块内有多于一个运动的区域。视频压缩标准，包括H264，指定了视频是如何用语法(例如，块尺寸和向量语法)来描述的。它们并不指定如何执行编码，例如，在每个点确定最优的块尺寸的方法，或如何从源视频序列获得向量。根据H264标准存在许多种对图像的任意给定序列进行编码的方式；视频编码的技术是选择较好的一个。
已经观察到，对于即使尺寸为16×16的块，基于块的搜索有时可能产生与现实世界的运动不相关且似乎是随机的向量。这通常发生在诸如由相对于草坪运动场(grass sports pitch)移动的相机所产生的图像上。尽管块向量计分(block vector score)确保了将残差编码的成本最小化，但向量自身是随机的，因此它们具有较高的熵和较高的编码成本。这有效地增加了对于相同视频质量的比特速率。
在块尺寸减小时这个问题变得更加尖锐；通过基于块的搜索方法找出匹配现实世界的运动的4×4子分区不能可靠地进行。这是因为4×4的块搜索是仅仅基于16个像素的差值进行的，而与其相比16×16的块是基于256个像素的。对于更小的块，图像中的随机噪声或其它细节将更有可能产生“错误”匹配。
发明内容
本发明的目的是至少改善现有技术中的前述缺点。
根据本发明的第一方面，提供了在基于块的运动估计中为宏块分区获得运动向量的方法，其包括：为宏块并且为可得的相邻宏块确定向量；将宏块划分成分区；为每个分区确定候选运动向量的集合，其包括来自宏块和在可能时来自至少两个相邻宏块的向量；对于集合中的每个候选运动向量计算分区的块向量计分，并从具有最好计分的集合中选择候选运动向量作为每个分区的向量。
方便的是，该方法包括：用16×16的块执行块匹配运动搜索；将16×16的块划分成8×8的分区并从父宏块(parent)或相邻的16×16宏块选择最好的向量。
替换的，该方法包括将每个8×8分区划分成4×4子分区并从父分区和相邻分区选择最好的向量。
可选的，该方法包括将每个4×4子分区划分成2×2子分区并从父子分区和相邻子分区选择最好的向量。
可选的，该方法包括将每个2×2子分区划分成像素，并从父2×2子分区和相邻2×2子分区选择最好的向量。
方便的是，块向量计分是绝对差值之和。
方便的是，该方法还包括检查是否有足够的宏块分区具有相同的向量或将能被更有效地编码为更大分区的分区的向量。
方便的是，该方法还包括允许候选向量的扰动(perturbation)以平滑图像中不同运动的区域之间的过渡。
有益的是，宏块被划分成多个分区，以在预定编码成本内获得对分区合计的最好计分。
根据本发明的第二方面，提供了包括代码装置的计算机程序产品，该代码装置用于当在一个或多个计算机上运行程序时执行权利要求1至6中的任一项的方法的所有步骤。
根据本发明的第三方面，提供了如上所述的计算机程序产品，其包含在计算机存储介质中。
附图说明
现在，将参考附图通过举例的方式来描述本发明。
图1显示了划分成宏块的源图像；
图2显示了对于图1的源图像的参考图像，利用根据现有技术的最好匹配宏块向量来从参考图像重构源图像；
图3显示了按照图2的最好匹配宏块向量来移动宏块的结果；
图4显示了对于图1的源图像的参考图像，利用根据本发明的最好匹配分区的宏块向量来从参考图像重构源图像；
图5显示了按照图4的最好匹配分区的宏块向量移动划分的宏块的结果；
图6是根据本发明的流程图。
在各图中，相似的附图标记表示相似的部分。
具体实施方式
参考图1，源图像包括相对于随机星形121的背景12的不规则的白色前景对象11。覆盖线13、14表示源图像被划分成的宏块网格。
图2显示了参考图像，其中白色不规则的对象11比在源图像中更靠右。正方形表示对图1中每个宏块的最好匹配的图像区域，还带有相应的向量，其用间断的带箭头的线21、22、25来显示。由于不规则的对象11在参考图像中比在源图像中更靠右，所以需将不规则的对象11向左移动以从参考图像产生源图像。中间宏块23和下部中间宏块24并没匹配好并具有伪运动向量(spurious motion vector)21、22。
图3显示了当按图2所示那样预测宏块时的重构。中间顶部宏块31、中间中部宏块24和中间底部宏块23与图1的源图像相比都在不同位置。
图4显示了根据本发明划分宏块获得的结果。中间和中间底部宏块23、24每个都已经被分成四个分区231-234和241-244。这些分区的主要部分都采取了附近宏块的向量而不是父宏块23、24的向量，使得它们的运动与相邻宏块相一致。
图5显示了根据以上图4产生的预测。预测的图像比使用现有技术的未划分的宏块的图3中的之前预测更像图1中的源图像。
这样，在本发明的方法中，每个宏块被划分成分区。对于每个分区，块向量计分被计算，如果使用之前计算的向量从至少一个邻接宏块以及父宏块预测该分区，则获得该块向量计分，其中各分区是从父宏块中划分出来的。该处理要求在能够开始该步骤以前，对于编码序列中的当前宏块之后的宏块的宏块向量必须是已知的。
来自邻接宏块的候选向量和父宏块的向量当中的最好块向量计分被找到，并被选择作为这个分区的最好向量。
已经为这种水平的划分找到了2m乘2n的向量场，该场可用相同的方法被再次分割，以产生更精细的分辨率图像。
在每个水平上，还可能检查是否有足够的宏块分区具有相同向量或将被更有效地编码为更大分区的分区的向量。
此外，候选向量的小扰动可被允许，即，可在提出的向量周围执行小搜索，以便提供图像中不同运动区域之间的更平滑的过渡。
以上参考块向量计分搜索描述了本方法。因为可以理解本方法无论应用什么样的根据其进行最小化的成本函数，在每个水平上应用的成本函数都不必要与在任何其它水平上应用的成本函数相同。然而，将理解绝对差值之和(SAD)的计分是用在本发明中的简便的块向量计分。
图6显示了分散处理的流程图。
图6中的输出1至5表示在不同水平的块划分处的向量场。输出5表示每个像素的向量。
通常，相邻块被限制为两个最近相邻体。这样，远离特定水平的块网格边缘的块的左侧顶部分区将具有来自块上方的向量和从块到左侧的向量作为候选向量，替换匹配是根据候选向量计算的。
这会起作用是因为对于每个分区仅有几个，通称为三或四个，候选向量，所以由于随机噪声而找出更好的匹配的可能性会非常小。在实行中，每个宏块被划分，并且来自一个宏块的分区被附加到另一个宏块上，使得通过为分区分配与相邻宏块相同的向量而使分区与另一个宏块一起移动到它们被附加的宏块。
将理解的是在图像边缘处，对于根据其选择向量以便与父向量相比较的宏块，仅有一个或没有相邻宏块。
尽管已经讨论过将宏块等分成四个分区，宏块也可以替换地例如被竖直或水平划分成两半，或者以其他方式划分。
宏块可以这样的方式划分成分区，以便能在预定可接受的编码成本内获得对所有分区合计的最好计分。
在流程图的任意点或多个点处可引进一个或多个细化阶段，以便允许向量在半个或四分之一个像素尺度上。

Claims (10)

1.一种在基于块的运动估计中为宏块的分区获得运动向量的方法，其包括：
a.为所述宏块和可得的相邻宏块确定向量；
b.将所述宏块划分成分区；
c.为每个分区确定候选运动向量的集合，其包括来自所述宏块的以及可得的至少两个相邻宏块的向量；
d.为所述集合的每个候选运动向量计算所述分区的块向量计分；
e.从所述集合中选出具有最好的计分的候选运动向量作为每个分区的向量；以及
f.检查是否有足够的宏块分区具有相同的向量，或者具有将被更有效地编码为更大分区的分区的向量。
2.如权利要求1所述的方法，其包括：
a.使用16×16的块执行块匹配运动搜索；以及
b.将所述16×16的块划分成8×8的分区，并且从所述父宏块和相邻的16×16的宏块中选择最好的向量。
3.如权利要求2所述的方法，包括将每个8×8的分区划分成4×4的子分区，并且从所述父分区和相邻分区选择最好的向量。
4.如权利要求3所述的方法，其包括将每个4×4的子分区划分成2×2的子分区，并且从所述父子分区和相邻子分区选择最好的向量。
5.如权利要求4所述的方法，其包括将每个2×2的子分区划分成像素，并且从所述父2×2的子分区和相邻2×2的子分区选择最好的向量。
6.如权利要求1所述的方法，其中所述块向量计分是绝对差值之和。
7.如权利要求1所述的方法，还包括允许所述候选向量的扰动来平滑图像中不同运动区域之间的过渡。
8.如权利要求1所述的方法，其中所述宏块被划分成分区，以在预定编码成本内获得对所述分区合计的最好计分。
9.一种包括代码装置的计算机程序产品，其用于在所述程序运行在一个或多个计算机上时执行权利要求1至8中任一项所述的方法的所有步骤。
10.如权利要求9所述的计算机程序产品，其被包含在计算机存储介质中。
CN200710186102.7A 2006-11-10 2007-11-12 获得基于块的运动估计中的运动向量 Pending CN101179731A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0622489.3 2006-11-10
GB0622489A GB2443667A (en) 2006-11-10 2006-11-10 Obtaining a motion vector for a partition of a macroblock in block-based motion estimation

Publications (1)

Publication Number Publication Date
CN101179731A true CN101179731A (zh) 2008-05-14

Family

ID=37594736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710186102.7A Pending CN101179731A (zh) 2006-11-10 2007-11-12 获得基于块的运动估计中的运动向量

Country Status (4)

Country Link
US (1) US20080112631A1 (zh)
EP (1) EP1921865A3 (zh)
CN (1) CN101179731A (zh)
GB (1) GB2443667A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176747A (zh) * 2011-03-28 2011-09-07 广州视睿电子科技有限公司 基于智能网络电视的视频监控系统
WO2012075612A1 (en) * 2010-12-10 2012-06-14 Technicolor (China) Technology Co., Ltd. Method and device for determining a motion vector for a current block of a current video frame
CN106254885A (zh) * 2015-06-08 2016-12-21 想象技术有限公司 利用共位块进行运动估计

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165209B2 (en) * 2007-09-24 2012-04-24 General Instrument Corporation Method and apparatus for providing a fast motion estimation process
CN103703780B (zh) * 2011-07-22 2016-12-07 株式会社日立制作所 运动图像解码方法及图像编码方法
US10123036B2 (en) * 2014-06-27 2018-11-06 Microsoft Technology Licensing, Llc Motion vector selection for video encoding
JP2023030745A (ja) * 2021-08-24 2023-03-08 富士通株式会社 計算機および計算方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2651399B1 (fr) * 1989-08-29 1996-05-15 Thomson Consumer Electronics Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images.
EP0466981B1 (en) * 1990-07-20 1997-02-26 Koninklijke Philips Electronics N.V. Motion vector processing device
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
EP0648052B1 (en) * 1993-09-08 2000-03-01 THOMSON multimedia Method and apparatus for motion estimation using block matching
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
EP0735746B1 (en) * 1995-03-31 1999-09-08 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
US5748247A (en) * 1996-04-08 1998-05-05 Tektronix, Inc. Refinement of block motion vectors to achieve a dense motion field
US6295377B1 (en) * 1998-07-13 2001-09-25 Compaq Computer Corporation Combined spline and block based motion estimation for coding a sequence of video images
US6594397B1 (en) * 2000-03-03 2003-07-15 Tektronix, Inc. Adaptive multi-modal motion estimation for video compression
EP2096872B1 (en) * 2001-09-14 2014-11-12 NTT DoCoMo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US7471725B2 (en) * 2003-03-26 2008-12-30 Lsi Corporation Segmented motion estimation with no search for small block sizes

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012075612A1 (en) * 2010-12-10 2012-06-14 Technicolor (China) Technology Co., Ltd. Method and device for determining a motion vector for a current block of a current video frame
CN102176747A (zh) * 2011-03-28 2011-09-07 广州视睿电子科技有限公司 基于智能网络电视的视频监控系统
CN106254885A (zh) * 2015-06-08 2016-12-21 想象技术有限公司 利用共位块进行运动估计
US11277632B2 (en) 2015-06-08 2022-03-15 Imagination Technologies Limited Motion estimation using collocated blocks
CN106254885B (zh) * 2015-06-08 2022-05-24 想象技术有限公司 数据处理系统、执行运动估计的方法
US11539976B2 (en) 2015-06-08 2022-12-27 Imagination Technologies Limited Motion estimation using collocated blocks

Also Published As

Publication number Publication date
GB0622489D0 (en) 2006-12-20
EP1921865A3 (en) 2010-04-21
US20080112631A1 (en) 2008-05-15
EP1921865A2 (en) 2008-05-14
GB2443667A (en) 2008-05-14

Similar Documents

Publication Publication Date Title
JP6835448B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
JP2022051733A (ja) 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読記録媒体
CN106067981B (zh) 帧内预测装置
CN104363457B (zh) 图像处理设备和方法
CN103190151B (zh) 帧间预测编码方法
KR101563834B1 (ko) 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR101529452B1 (ko) 동영상 복호 장치 및 동영상 복호 방법
KR102021257B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
KR102005007B1 (ko) 픽쳐 예측 방법 및 관련 장치
CN101179731A (zh) 获得基于块的运动估计中的运动向量
TWI489878B (zh) 影像編碼方法、影像解碼方法、影像編碼裝置、影像解碼裝置及該等之程式
KR20130076879A (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
CN109379594B (zh) 视频编码压缩方法、装置、设备和介质
KR20120135828A (ko) 고속 화면내 예측 방법
CN102572424A (zh) 图像处理设备、方法和程序
CN102075751B (zh) 一种基于宏块运动状态的h264快速模式选择方法
CN101867822B (zh) 用于运动估计的自适应模板图像处理方法
KR101005382B1 (ko) 완전 탐색 기반의 적응적 탐색 영역을 이용한 움직임 추정 방법
US11528485B2 (en) Encoding apparatus and program
CN104796725A (zh) 具有帧内预测预处理的视频编码器及与其一起使用的方法
Li et al. Fast mode decision based on human noticeable luminance difference and rate distortion cost for H. 264/AVC
Pan et al. Fast motion estimation and edge information inter-mode decision on H. 264 video coding
Segall et al. Parallel intra prediction for video coding
CN116647676A (zh) 基于屏幕内容区域特性的cu划分快速选择
WO2013035452A1 (ja) 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: L.M. ERICSSON CO., LTD.

Free format text: FORMER OWNER: TANDBERG TELEVISION

Effective date: 20090605

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090605

Address after: Stockholm

Applicant after: Erisson

Address before: Oslo

Applicant before: Tandberg Television ASA

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080514