CN1656704A - 估算视频序列内后向运动矢量的方法 - Google Patents

估算视频序列内后向运动矢量的方法 Download PDF

Info

Publication number
CN1656704A
CN1656704A CN03811727.4A CN03811727A CN1656704A CN 1656704 A CN1656704 A CN 1656704A CN 03811727 A CN03811727 A CN 03811727A CN 1656704 A CN1656704 A CN 1656704A
Authority
CN
China
Prior art keywords
motion vector
backward motion
frame
macro block
imn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN03811727.4A
Other languages
English (en)
Other versions
CN100521789C (zh
Inventor
欧阳强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN1656704A publication Critical patent/CN1656704A/zh
Application granted granted Critical
Publication of CN100521789C publication Critical patent/CN100521789C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种加速后向运动矢量估算值(38)的计算的方法，该后向运动矢量估算值从基于最接近邻域标准可从前向运动矢量估算值(36)得到的场中导出。本方法允许产生多帧后向运动矢量(10和12)。用于估算后向运动矢量的本方法发明特别适合与MPEG－2视频标准(36和38)配合使用。

Description

估算视频序列内后向运动矢量的方法
发明领域
本发明一般来讲涉及视频序列内的运动估算，更具体地讲，涉及从前向运动矢量估算后向运动矢量的方法。
背景技术说明
对视频编码和解码时可具有的效率对于许多视频系统的节省成本的实现是关键的，特别是那些要求对视频实时编码或解码的应用。图1分割成多个宏块来举例说明视频帧图，为简单起见，作为举例，只表示了九个。各宏块包括许多像素，例如用于帧运动矢量的MPEG-2里使用的16×16像素宏块。用于视频信号的MPEG-2编码的使用一直在稳定地增长。
可以理解，估算例如编码成MPEG-2格式的视频序列内的运动是一个计算密集的过程。以CCIR 601视频为例，用于ISO MPEG-2的编码器中所需计算的大约90％是用于估算运动。将视频编码所需的时间可能是将给定视频序列解码所需时间的许多倍。具体地，作为基于测试模型5(TM5)的ISO MPEG-2技术报告编码器实现的编码器，在Ultra-SPARC 80上对具有+/-63个像素的水平搜索范围以及+/-32个像素的垂直搜索范围的视频序列编码需要的CPU执行时间为在相应解码过程中所需时间的大约100倍。结果，尽管MPEG-2视频的实时解码已经变得可行，但实时编码仍形成挑战。
为理解计算密集性，应认识到MPEG-2是利用消除包含在空间域和时域中的冗余信息以实现压缩的帧内编码和帧间编码的混合类型的有损编码方案。帧内编码是在空间域中对图像数据执行以产生I-图像、也称为帧内图像的压缩。帧间编码是在时域执行的产生预测图像、即P-图像以及双向预测图像、即B-图像的压缩。用于B-图像的运动矢量只可在计算用于在前的P-图像和I-图像的前向和后向运动矢量之后产生。I-图像编码时独立于其它相邻图像，例如帧信号或场信号，而P-图像将预测的和内插的运动进行编码来响应来自前面I-图像和P-图像的元素的运动。B-图像作为所预测或内插的运动的差异信号进行编码，其编码考虑了前面或即将到来的图像里的运动，只能在考虑前面I-图像和P-图像的运动相关性之后进行编码。在前向、反向以及前向和反向模式中选择提供最低预测差错率的编码模式用于B-图像。通常，根据MPEG-2使用的图像结构遵循模式I、B、B、P、B、B、P，其中一个例子示于图2中并参照这里宏块矢量图。
例如在MPEG-2标准内，视频序列内的帧、图像组合在一起而形成图像组(GOP)。在MPEG-2测试模型5(TM4)中说明的流行GOP结构由整数M和N指定。在TM5，数值N表示GOP中的图像数量，而M-1是两个连续I或P帧之间的B帧数量。如表示宏块1和宏块3的图2所示，M可采用的一个典型值为3，它对应于在连续I或P图像之间具有两个B图像。
在帧序列的前向或后向运动中宏块可能移位。图3说明当前帧10和后续帧12，其中，通过后向运动矢量16，从后续帧中的位置18移动当前帧10中的宏块14。在图4，相应运动矢量表示为B1、B2、B3、B4。图5说明当前帧10和前一帧20的帧图，其中，通过前向运动矢量24，当前帧10中的宏块22从前一帧20中的位置26移动。图6是与图5所示帧相关的常规单帧距离前向运动矢量的宏块矢量图。
在TM5中M＝3的情况下，编码器需要计算运动矢量B1、B2。如果编码器使用H×V个像素的搜索窗口来寻找运动矢量B2，而且假定搜索窗口尺寸随两个图像之间的帧距而缩放，则利用完全搜索的运动矢量B1和B2的计算复杂度大约为H×V+4(H×V)＝5(H×V)，而存储复杂度大约为4(H×V)。
已经设计了许多运动估算方法来加快编码过程内的计算。通常这些方法必须结合使用来获得对于提供足够图像质量的实时编码所必要的性能增益。例如，如果方法“A”可按5倍加快计算，而方法“B”可按2倍加快计算，而计算方法是正交的，则组合方法可产生10倍的速度增加。可以理解利用非正交方法的组合将减少可达到的速度增加。
因此，需要可有益用于与其它运动估算增强组合的加快运动估算速度的方法。本发明满足这些要求以及其它要求，并克服以前开发的运动估算方法的不足。
发明简介
提供一种运动估算方法，当连续场之间的前向运动矢量场可用时，该方法消除大量与后向运动估算相关的计算。
计算前向和后向矢量通常在编码过程中执行。本发明认识到在各相应的前向和后向运动矢量之间存在一般平行关系，并提供一种在前向运动矢量可用时简化后向运动矢量计算的方法，从而减少总计算开销。而且，本方法保持与当前速度增强方法一般正交，其中可获得技术的全部速度优势。
根据最接近邻域标准的使用以及一个图像中对象的相对前向运动与其在前一帧中的相对后向运动平行的事实，断定本发明中的后向运动的估算。所以通过分析前向运动矢量，常常可更容易地估算反向运动矢量。
本发明的一个目的是利用关于所计算的前向运动矢量的信息，提供快速后向运动矢量计算。
本发明的另一个目的是提供与常规矢量计算速度增强方法正交的后向运动矢量估算方法。
本发明的另一个目的是提供加快用于各种MPEG-2和其它编码和解码操作的后向运动矢量计算的速度以及使实时MPEG-2编码可行的方法。
本发明的另一个目的是为可链接到多帧视频序列内的连续帧的宏块提供估算后向运动矢量的方法。
本发明的其它目的和优点将在说明书以下部分说明，其中，详细说明是为了充分公开本发明的最佳实施例，而未在其上设置限制。
附图简介
通过参照以下只用于说明的附图将更完全理解本发明：
图1是表示可将帧分割成多个宏块的视频帧图，在MPEG-2中，各个宏块包括16×16个像素。
图2是说明在连续I/P图像之间两个B图像的常规可用性的宏块矢量图。
图3是表示通过后向运动矢量从后续帧中的一个位置移动当前帧中的宏块的视频帧图。
图4是表示例如用于图3的后向运动矢量集的宏块矢量图。
图5是表示通过前向运动矢量从前一帧中的一个位置移动当前帧中宏块的帧图。
图6是常规单帧距离前向运动矢量的宏块矢量图。
图7是宏块矢量图，说明根据本发明的一个方面，将前向运动矢量分配给当前帧中的最接近宏块来形成相同大小、但与前向运动矢量方向相反的后向运动矢量。
图8是宏块矢量图，说明根据本发明的一个方面，基于最接近宏块标准，从单帧距离前向运动矢量导出单帧距离后向运动矢量。
图9是宏块矢量图，说明根据本发明的一个方面，链接单帧后向运动矢量以形成多帧后向运动矢量。
图10是宏块矢量图，说明根据本发明，当后向运动矢量、如b3和b4不能从前向运动矢量得出时的情况。
图11是根据本发明的一个实施例的通用后向估算方法的流程图。
发明详细说明
更具体地参考附图，为说明目的，总体上在图7至图11所示的装置中实施本发明。可以理解，只要未脱离这里所公开的基本概念，装置在配置和部件细节上可变化，而方法在具体步骤和顺序上可变化。
如图6所示，当连续帧之间可获得前向运动矢量场时，通过利用本发明的方法，可大量减少产生后向运动矢量所涉及的计算。如图7和图8所示，通过从最接近邻域单帧距离前向运动矢量导出单帧距离后向运动矢量，接着如图9所示，通过链接单帧距离后向运动矢量到多帧距离后向运动矢量，来达到这种减少。
如图7所示，当前帧10的单帧距离后向运动矢量从后面部分的下一帧12的单帧距离前向运动矢量获得。令下一帧12中的宏块40的给定整数像素(pel)前向运动矢量38为两维矢量(u，v)。而且，令宏块40的左上部像素位于(x，y)。因此，宏块40按照前向运动矢量(u，v)从位于当前帧中的(x+u，y+v)处的16×16像素32移动。
因为运动是相对的，说明16×16像素32按照后向运动矢量(-u，-v)从当前帧中的位置(x+u，y+v)移到下一帧的位置(x，y)。但是，位置(x+u，y+v)不一定位于宏块的左上角。为了获得宏块的后向运动矢量，分配后向运动矢量(-u，-v)给左上角(xm，ym)最接近(x+u，y+v)的宏块。因此，
xm＝16*((x+u+8)/16)，
ym＝16*((y+v+8)/16)，
这里“*”是整数乘法，而“/”是如C编程语言中定义的带舍位的整数除法。
分配过程的副作用是不能保证当前帧中的各宏块分配到一个且只有一个后向运动矢量。一些宏块可能被分配了多个后向运动矢量，而一些宏块可能根本未分配到任何后向运动矢量。例如在图8，帧B2的宏块1未分配到任何后向运动矢量。因此，本发明提供用于检测哪些宏块尚未分配到任何后向运动矢量的方法。通过任何便利装置，例如通过利用常规后向运动矢量计算，后向运动矢量接着可分配给这些未被分配的宏块。另外，当对相同宏块进行了多个分配时，提供用于选择后向运动矢量之一的方法。
图9表示后向运动矢量，其中，运动矢量b2实际上是b31。通过将b31和b32相加获得运动矢量b1的近似值。选择矢量b31是因为它与运动矢量b1源自相同的位置，而选择运动矢量b32是因为b32的起点在帧B2中所有单帧距离后向运动矢量之中离矢量b31的终点最近。通过选择从形成b1的矢量b31+b32起在+/-2水平时间+/-1像素之内使绝对差之和(SAD)最小的运动矢量，进一步改进b2的近似值。
如前所述，利用本方法，并非可以确定每个宏块的每个有效后向运动矢量。例如，不能确定图10中的矢量b3和b4，因为构建它们的运动矢量b23无效，因而不能利用。通过以上方法，当不能确定宏块的有效后向运动矢量时，不应使用后向运动矢量来将该宏块编码，而它们可通过任何便利装置产生。而且，要记住，帧中的各宏块可能分配有多个后向运动矢量。其中可选择后向运动矢量之一来使用，例如最接近地逼近结果位置的后向运动矢量，或者可计算和使用矢量的组合并将其分配给宏块。
一个检测未被分配的宏块的方法是通过在后面迭代过程之前，给所有宏块预分配无效运动矢量，例如指向帧外部，其中可容易检测到未被分配的宏块。接着对下一帧内的各宏块执行确定后向运动矢量的迭代过程。
对于在下一帧中(x，y)处的每个宏块，它的前向运动矢量(u，v)被转换成新的后向运动矢量(-u，-v)。接着使用新的后向运动矢量代替当前帧中(xm，ym)处的宏块的旧后向运动矢量。结果在任一时刻对于当前帧中每个宏块，只保留了一个可能有效或无效的后向运动矢量。
一旦找到后，可使用单帧距离后向运动矢量产生多帧后向运动矢量。令bim为第m帧到第(m+1)帧的第i宏块的单帧距离后向运动矢量。令bimn为第m帧到第n帧的第i宏块的后向运动矢量。因此，得到bim＝bim(m+1)。
在本发明中，通过在连续帧之间链接运动矢量，可利用迭代链接过程来找到第m帧到第n帧的第i宏块的多帧后向运动矢量bimn。令第m帧的第i宏块位于(xim，yim)。
从前向运动矢量确定后向运动矢量之前，首先将迭代过程初始化。获得单帧距离运动矢量bim并标记为bim(m+1)，接着k初始化为k＝(m+1)。如果bim为无效运动矢量，则继续迭代过程。如果bim不是无效运动矢量，则把无效矢量分配给bimn并终止链接过程。
迭代地求出多帧距离后向运动矢量bimn。一旦求出有效bimk＝(uimk，vimk)，通过利用第k帧的第j宏块的单帧距离后向运动矢量bjk，从bimk构建运动矢量bim(k+1)，这里第j宏块位于(xjk，yjk)以及
    xjk＝16*((xim+uimk+8)/16)，
    yjk＝16*((yim+vimk+8)/16)，而“*”是整数乘法，“/”是C编程语言中定义的带舍位的整数除法。如果bjk是无效运动矢量，则分配无效矢量给bimn并终止过程。如果bjk是有效运动矢量，则分配
    bim(k+1)＝bimk+bjk
数值k按1递增，而以上迭代过程一直重复到分配bimn。然后分配bimn后，即如果bimn为有效运动矢量，则通过从bimn起在+/-2水平时间+/-1像素之内使绝对差之和(SAD)最小的运动矢量代替它以使它进一步改进。如果bimn不是有效运动矢量，则不应使用后向运动矢量来将相应宏块编码。
图11说明根据本发明的一般步骤。为了提供在迭代过程中检测后向运动矢量是否被有效地分配的简单装置，如块100所示，预定无效运动矢量首先分配给所有宏块。例如，在用于MPEG-2的本实现中，无效运动矢量可包括指向帧外部的运动矢量。可以理解，并非对于每个应用都需要检测过程，而当使用时，它可采用对本领域的普通技术人员显而易见的许多方法来实现。
在下一帧中的(x，y)处选择前面未选定的宏块，而且按照块102获得它的两维前向运动矢量(u，v)。宏块可为任何大小，例如包括16×16像素的宏块。如块104所示，从当前帧中选择最接近位置(x+u，y+v)的宏块。接着如块106所示，最接近(x+u，y+v)的宏块的后向运动矢量可用(-u，-v)代替。可以理解，当多个相应前向运动矢量可用时，可以采用替换方法，例如选择最接近的一个，或者在计算中组合矢量以得到后向运动矢量。接着迭代执行如块102、104、106所示的以上步骤，直至已经选择下一帧中的宏块，如块108所示。如所述与多帧视频序列配合使用时，可对后向运动矢量进行链接。
因此，可以看出，用于从前向运动矢量估算后向运动矢量的本发明方法可通过对本领域的技术人员来说显而易见的许多变型来实现。可以理解，只要未脱离如权利要求所述的本发明的理论，本领域的普通技术人员通过许多替代方法可实现具体步骤和步骤次序。
尽管以上说明包含许多特征，但这些不应视为限制本发明的范围，而仅仅是提供本发明的一些当前最佳实施例的说明。因此，可以理解，本发明的范围完全包括本领域技术人员可能想到的其它实施例，因此本发明的范围仅受所附权利要求的限制，其中除非明确说明，引用单数元素不是要表示“一个且只有一个”，而是表示“一个或多个”。本领域的普通技术人员已知的上述最佳实施例的元素的所有结构的、化学的和功能的等效物通过引用明确地结合在这里，并要由本权利要求涵盖。而且，一种装置或方法不一定针对本发明设法解决的每一个问题，因为它由本权利要求涵盖。而且，本公开中没有任何元素、组件或方法步骤要对公众作出贡献，而不管该元素、组件或方法步骤是否在权利要求中明确引述。这里没有任何权利要求元素被视为符合美国法典第35章第112款第6节的规定，除非使用短语“用来…的装置”明确地引用该元素。

Claims (30)

1.一种在视频帧序列中估算多帧后向运动矢量的方法，包括：
对于任何帧，从最接近邻域前向运动矢量推导后向运动矢量；以及
将所述后向运动矢量链接到视频序列内的多帧后向运动矢量。
2.如权利要求1所述的方法，其特征在于，推导所述后向运动矢量的所述步骤包括：
识别当向后移动时产生给定宏块的前一帧的区域；以及
将所述区域的后向运动矢量分配给最接近所述区域的宏块。
3.如权利要求2所述的方法，其特征在于还包括：
检测与无法从前向运动矢量产生的任何后向运动矢量相关联的宏块，并以常规方式产生所述后向运动矢量。
4.如权利要求1所述的方法，其特征在于，
所述链接包括迭代链接，通过链接连续帧之间的运动矢量，求出第m帧到第n帧的第i宏块的后向运动矢量bimn；
bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；以及
bimn表示第m帧到第n帧的第i宏块的后向运动矢量。
5.如权利要求4所述的方法，其特征在于，所述链接包括：
将迭代过程初始化；
将后向运动矢量bim标记为bim(m+1)；
如果bim不是无效的，则向bimn分配无效后向运动矢量并终止所述链接过程；
把k初始化为k＝(m+1)；
继续所述迭代过程，直至求出有效后向运动矢量bimk＝(uimk，vimk)；
当求出有效bimk时，通过利用第k帧的第j宏块的后向运动矢量bjk，从bimk构建后向运动矢量bim(k+1)，这里第j宏块位于(xjk，yjk)以及yjk＝16*((yim+vimk+8)/16)，xjk＝16*((xim+uimk+8)/16)；
如果bjk为无效后向运动矢量，则给bimn分配无效后向运动矢量并终止链接过程；
如果bjk为有效后向运动矢量，则分配后向运动矢量bim(k+1)＝bimk+bjk；
增大k值和重复以上迭代过程，直至分配后向运动矢量bimn；
其中bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；
其中bimn表示第m帧到第n帧的第i宏块的后向运动矢量；
其中bim＝bim(m+1)；
其中第m帧的第i宏块位于(xim，yim)。
6.如权利要求4所述的方法，其特征在于还包括：
通过用使绝对差之和(SAD)最小的后向运动矢量代替有效后向运动矢量bimn来改进有效后向运动矢量bimn。
7.如权利要求6所述的方法，其特征在于还包括：
从bimn起在+/-2水平时间+/-1像素之内使绝对差之和(SAD)最小。
8.一种从连续帧之间的可用前向运动矢量场来估算后向运动矢量的方法，包括：
(a)识别当向后移动时产生给定宏块的前一帧的区域；以及
(b)将所述区域的后向运动矢量分配给最接近所述区域的宏块。
9.如权利要求8所述的方法，其特征在于还包括：
对于下一帧中的各宏块重复步骤(a)和(b)来估算帧的后向运动矢量。
10.如权利要求9所述的方法，其特征在于还包括：
检测与无法从前向运动矢量产生的任何后向运动矢量相关联的宏块，并以常规方式产生所述后向运动矢量。
11.如权利要求10所述的方法，其特征在于，检测与无法从前向运动矢量产生的任何后向运动矢量相关联的宏块的所述步骤包括：
在确定后向运动矢量之前，将预定的非法后向运动矢量分配给当前帧中的每个宏块，其中未被分配的宏块保留所述非法后向运动矢量并可被检测到。
12.如权利要求8所述的方法，其特征在于还包括：
将后向运动矢量链接到多帧距离后向运动矢量。
13.如权利要求12所述的方法，其特征在于，
所述链接包括迭代链接，通过在连续帧之间链接运动矢量，求出第m帧到第n帧的第i宏块的后向运动矢量bimn；
bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；
bimn表示第m帧到第n帧的第i宏块的后向运动矢量。
14.如权利要求12所述的方法，其特征在于，所述链接包括：
将迭代过程初始化；
将后向运动矢量bim标记为bim(m+1)；
如果bim不是无效的，则将无效后向运动矢量分配给bimn并终止所述链接过程；
将k初始化为k＝(m+1)；
继续以上迭代过程，直至求出有效后向运动矢量bimk＝(uimk，vimk)；
当求出有效bimk时，通过利用第k帧的第j宏块的后向运动矢量bjk，从bimk构建后向运动矢量bim(k+1)，这里第j宏块位于(xjk，yjk)以及yjk＝16*((yim+vimk+8)/16)，xjk＝16*((xim+uimk+8)/16)；
如果bjk为无效后向运动矢量，则给bimn分配无效后向运动矢量并终止所述链接过程；
如果bjk为有效后向运动矢量，则分配后向运动矢量bim(k+1)＝bimk+bjk；以及
递增k值并重复以上迭代过程，直至分配后向运动矢量bimn；
其中bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；
其中bimn表示第m帧到第n帧的第i宏块的后向运动矢量；
其中bim＝bim(m+1)；
其中第m帧的第i宏块位于(xim，yim)。
15.一种从在连续帧之间的前向运动矢量场估算后向运动矢量的方法，包括：
(a)对于任何帧，选择在下一帧中的位置(x，y)处的先前未选定的宏块，并获得前向运动矢量(u，v)；
(b)在当前帧中选择最接近(x+u，y+v)的宏块；以及
(c)为最接近(x+u，y+v)的宏块分配后向运动矢量为矢量(-u，-v)。
16.如权利要求15所述的方法，其特征在于还包括对于下一帧中的各宏块重复步骤(a)到(c)。
17.如权利要求15所述的方法，其特征在于还包括：
检测与无法从前向运动矢量产生的任何后向运动矢量相关联的宏块，并按常规方式产生所述后向运动矢量。
18.如权利要求17所述的方法，其特征在于，检测与无法从前向运动矢量产生的任何后向运动矢量相关联的宏块的所述步骤包括：
在确定后向运动矢量之前，将预定的非法后向运动矢量分配给当前帧中的每个宏块，其中未被分配的宏块保留所述非法后向运动矢量。
19.如权利要求15所述的方法，其特征在于还包括：
将后向运动矢量链接到多帧后向运动矢量。
20.如权利要求19所述的方法，其特征在于，
所述链接包括迭代链接，通过在连续帧之间链接运动矢量，求出第m帧到第n帧的第i宏块的后向运动矢量bimn；
bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；以及
bimn表示第m帧到第n帧的第i宏块的后向运动矢量。
21.如权利要求19所述的方法，其特征在于，所述链接包括：
将迭代过程初始化；
将后向运动矢量bim标记为bim(m+1)；
如果bim不是无效的，则将无效后向运动矢量分配给bimn并终止所述链接过程；
将k初始化为k＝(m+1)；
继续所述迭代过程，直至求出有效后向运动矢量bimk＝(uimk，vimk)；
当求出有效bimk时，通过利用第k帧的第j宏块的后向运动矢量bjk，从bimk构建后向运动矢量bim(k+1)，这里第j宏块位于(xjk，yjk)以及yjk＝16*((yim+vimk+8)/16)，xjk＝16*((xim+uimk+8)/16)；
如果bjk为无效后向运动矢量，则将无效后向运动矢量分配给bimn并终止所述链接过程；
如果bjk为有效后向运动矢量，则分配后向运动矢量bim(k+1)＝bimk+bjk；以及
增加k值并重复以上迭代过程，直至分配后向运动矢量bimn；
其中bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；
其中bimn表示第m帧到第n帧的第i宏块的后向运动矢量；
其中bim＝bim(m+1)；
其中第m帧的第i宏块位于(xim，yim)。
22.如权利要求20所述的方法，其特征在于还包括通过用使绝对差之和(SAD)最小的运动矢量代替有效运动矢量bimn以改进有效运动矢量bimn。
23.如权利要求22所述的方法，其特征在于还包括从bimn起在+/-2水平时间+/-1像素之内使绝对差之和(SAD)最小。
24.一种在视频序列中估算多帧后向运动矢量的方法，包括：
对于包含所述帧和前一帧的帧序列中的任何帧，识别当向后移动时产生给定宏块的前一帧的区域；以及
将所述区域的后向运动矢量分配给最接近所述区域的宏块；以及
将所述后向运动矢量链接到多帧后向运动矢量。
25.如权利要求24所述的方法，其特征在于，
所述链接包括迭代链接，通过在连续帧之间链接运动矢量，求出第m帧到第n帧的第i宏块的后向运动矢量bimn；
bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；以及
bimn表示第m帧到第n帧的第i宏块的后向运动矢量。
26.如权利要求25所述的方法，其特征在于还包括通过用使绝对差之和(SAD)最小的运动矢量代替有效后向运动矢量bimn以改进有效后向运动矢量bimn。
27.如权利要求26所述的方法，其特征在于还包括从bimn起在+/-2水平时间+/-1像素之内使绝对差之和(SAD)最小。
28.一种估算多帧后向运动矢量的方法，包括：
对于包含所述帧和前一帧的帧序列中的任何帧，识别当向后移动时产生给定宏块的前一帧的区域；以及
将所述区域的后向运动矢量分配给最接近所述区域的宏块；
通过迭代链接将所述后向运动矢量链接到多帧后向运动矢量，从而通过在连续帧之间链接后向运动矢量而求出第m帧到第n帧的第i宏块的后向运动矢量bimn；
其中bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；以及
其中bimn表示第m帧到第n帧的第i宏块的后向运动矢量。
29.一种估算多帧后向运动矢量的方法，包括：
选择在下一帧中的位置(x，y)处未选定的宏块并获得相关的前向运动矢量(u，v)；
在当前帧中选择最接近(x+u，y+v)的宏块；以及
为最接近(x+u，y+v)的宏块分配后向运动矢量为矢量(-u，-v)；
通过迭代链接将所述后向运动矢量链接到多帧后向运动矢量，从而通过在连续帧之间链接后向运动矢量而求出第m帧到第n帧的第i宏块的后向运动矢量bimn；
其中bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；以及
其中bimn表示第m帧到第n帧的第i宏块的后向运动矢量。
30.一种估算多帧后向运动矢量的方法，包括：
选择在下一帧中的位置(x，y)处的未选定宏块并获得它的前向运动矢量(u，v)；
在当前帧中选择最接近(x+u，y+v)的宏块；以及
为最接近(x+u，y+v)的宏块分配后向运动矢量为矢量(-u，-v)；
通过将迭代过程初始化，将所述后向运动矢量链接到多帧后向运动矢量；
将后向运动矢量bim标记为bim(m+1)；
如果bim不是无效的，则将无效后向运动矢量分配给bimn并终止所述链接过程；
将k初始化为k＝(m+1)；
继续所述迭代过程，直至求出有效后向运动矢量bimk＝(uimk，vimk)；
当求出有效bimk时，通过利用第k帧的第j宏块的后向运动矢量bjk，从bimk构建后向运动矢量bim(k+1)，这里第j宏块位于(xjk，yjk)以及yjk＝16*((yim+vimk+8)/16)，xjk＝16*((xim+uimk+8)/16)；
如果bjk是无效后向运动矢量，则将无效后向运动矢量分配给bimn并终止所述链接过程；
如果bjk是有效后向运动矢量，则分配后向运动矢量bim(k+1)＝bimk+bjk；以及
增大k值并重复以上迭代过程，直至分配后向运动矢量bimn；
其中bim表示第m帧到第(m+1)帧的第i宏块的后向运动矢量；
其中bimn表示第m帧到第n帧的第i宏块的后向运动矢量；
其中bim＝bim(m+1)；
其中第m帧的第i宏块位于(xim，yim)。
CNB038117274A 2002-03-29 2003-01-14 估算视频序列内后向运动矢量的方法 Expired - Fee Related CN100521789C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/112,623 2002-03-29
US10/112,623 US7027510B2 (en) 2002-03-29 2002-03-29 Method of estimating backward motion vectors within a video sequence
PCT/US2003/001255 WO2003085990A2 (en) 2002-03-29 2003-01-14 Method of estimating backward motion vectors within a video sequence

Publications (2)

Publication Number Publication Date
CN1656704A true CN1656704A (zh) 2005-08-17
CN100521789C CN100521789C (zh) 2009-07-29

Family

ID=28453388

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038117274A Expired - Fee Related CN100521789C (zh) 2002-03-29 2003-01-14 估算视频序列内后向运动矢量的方法

Country Status (9)

Country Link
US (1) US7027510B2 (zh)
EP (1) EP1490982A4 (zh)
JP (1) JP4394958B2 (zh)
KR (1) KR20040099379A (zh)
CN (1) CN100521789C (zh)
AU (1) AU2003210532A1 (zh)
DE (1) DE10392466T5 (zh)
GB (1) GB2402834B (zh)
WO (1) WO2003085990A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100734314B1 (ko) * 2006-02-11 2007-07-02 삼성전자주식회사 움직임 보상 기반의 영상 압축 시스템에서의 영상 신호의공간 해상도 변환 방법
KR100763917B1 (ko) * 2006-06-21 2007-10-05 삼성전자주식회사 고속으로 움직임을 추정하는 방법 및 장치
CN101641956B (zh) * 2007-03-09 2011-10-12 杜比实验室特许公司 来自压缩视频源的多帧运动外插的方法和设备
US8160141B2 (en) * 2008-03-17 2012-04-17 Sony Corporation Advanced video coded pictures—reduced cost computation of an intra mode decision in the frequency domain
US8189677B2 (en) * 2008-04-15 2012-05-29 Sony Corporation Estimation of P frame average rate quantization parameter (QP) in a group of pictures (GOP)
US8199823B2 (en) * 2008-04-15 2012-06-12 Sony Corporation Estimation of B frame average rate quantization parameter (QP) in a group of pictures (GOP)
US8199814B2 (en) * 2008-04-15 2012-06-12 Sony Corporation Estimation of I frame average rate quantization parameter (QP) in a group of pictures (GOP)
EP2237560A1 (en) * 2009-03-30 2010-10-06 Vestel Elektronik Sanayi ve Ticaret A.S. Halo reducing motion-compensated interpolation
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
US20230300341A1 (en) * 2022-01-31 2023-09-21 Apple Inc. Predictive video coding employing virtual reference frames generated by direct mv projection (dmvp)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2991833B2 (ja) 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法
GB9401989D0 (en) * 1994-02-02 1994-03-30 British Broadcasting Corp Video motion estimation
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
JP2671820B2 (ja) 1994-09-28 1997-11-05 日本電気株式会社 両方向予測方法及び両方向予測装置
KR0171145B1 (ko) * 1995-03-20 1999-03-20 배순훈 이미지 부호화 시스템용 움직임 보상 장치
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
WO1999022520A2 (en) * 1997-10-29 1999-05-06 Koninklijke Philips Electronics N.V. Motion vector estimation and detection of covered/uncovered image parts
WO2001033864A1 (en) * 1999-10-29 2001-05-10 Koninklijke Philips Electronics N.V. Video encoding-method

Also Published As

Publication number Publication date
DE10392466T5 (de) 2005-02-24
GB2402834A (en) 2004-12-15
JP2005521977A (ja) 2005-07-21
WO2003085990A2 (en) 2003-10-16
GB0421329D0 (en) 2004-10-27
US20030185304A1 (en) 2003-10-02
KR20040099379A (ko) 2004-11-26
GB2402834B (en) 2005-08-17
WO2003085990A3 (en) 2004-01-22
US7027510B2 (en) 2006-04-11
AU2003210532A8 (en) 2003-10-20
AU2003210532A1 (en) 2003-10-20
CN100521789C (zh) 2009-07-29
JP4394958B2 (ja) 2010-01-06
EP1490982A4 (en) 2010-12-22
EP1490982A2 (en) 2004-12-29

Similar Documents

Publication Publication Date Title
CN1130921C (zh) 对视频信息预测编码的方法和装置
CN1115879C (zh) 利用逐个象素运动估算与帧抽取的图象处理系统
CN1314272C (zh) 用于视频编码器的预测方法、装置
FI117535B (fi) Kuvasignaalin koodausjärjestelmä
CN1108062C (zh) 使用基于特征点的运动估算编码及解码视频信号的方法和装置
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
JP2012513179A (ja) 符号化ユニットの映像符号化時に局所的多重仮説予測を行う方法および装置
CN1925614A (zh) 快速运动估计方法
KR20070026317A (ko) 비디오 코딩에 사용되는 코딩단/디코딩단의 양방향예측방법
CN102077599B (zh) 用于视频编码器中的高质量帧内模式预测的设备和方法
CN1977539A (zh) 生成编码画面数据和对编码画面数据进行解码的方法和设备
AU2005228239A1 (en) Method for encoding interlaced digital video data
EP2283658A2 (en) Apparatus and method for computationally efficient intra prediction in a video coder
JP2006025429A (ja) 符号化方法およびこの方法を実施するための回路装置
CN102017626B (zh) 编码和解码方法、编码器和解码器
CN1774933A (zh) 确定视频编码器中的自适应运动矢量的搜索范围的方法及设备
US20110188576A1 (en) Motion estimation and compensation process and device
CN1656704A (zh) 估算视频序列内后向运动矢量的方法
EP2034742A2 (en) Video coding method and device
Kubasov et al. Mesh-based motion-compensated interpolation for side information extraction in distributed video coding
CN1604650A (zh) 用于分级运动估计的方法
KR100393063B1 (ko) 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
CN1159236A (zh) 用于再生紧凑运动矢量场的方法与装置
CN1263309C (zh) 用于视频编码的运动矢量预测方法
CN1193867A (zh) 通过亮度估算进行编码的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090729

Termination date: 20160114

CF01 Termination of patent right due to non-payment of annual fee