CN103026707B - 使用用于视频编码的高级运动模型的参考处理 - Google Patents

使用用于视频编码的高级运动模型的参考处理 Download PDF

Info

Publication number
CN103026707B
CN103026707B CN201180035727.8A CN201180035727A CN103026707B CN 103026707 B CN103026707 B CN 103026707B CN 201180035727 A CN201180035727 A CN 201180035727A CN 103026707 B CN103026707 B CN 103026707B
Authority
CN
China
Prior art keywords
region
motion model
picture
reference picture
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180035727.8A
Other languages
English (en)
Other versions
CN103026707A (zh
Inventor
贺玉文
叶琰
亚历山德罗斯·图拉皮斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN103026707A publication Critical patent/CN103026707A/zh
Application granted granted Critical
Publication of CN103026707B publication Critical patent/CN103026707B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了对参考图片的处理。参考处理单元使得能够用信令表示诸如运动模型参数、插值滤波器参数、强度补偿参数和去噪滤波器参数等参数。还讨论了用于估计各种参数的方法。处理在将参考图片用于后续图片的预测之前改善了参考图片的质量，由此改善了预测。

Description

使用用于视频编码的高级运动模型的参考处理
相关申请的交叉引用
本申请要求2010年7月21日提交的美国临时专利申请第61/366,517号的优先权，其全部内容通过引用包含于此。
技术领域
本公开主要涉及图像处理和视频处理。更具体地，其涉及使用用于视频编码的高级运动模型的参考处理。
背景技术
在基于运动补偿预测的视频编码方案中，视频编码方案使用的参考图片的质量可能显著地影响编码效率。也就是说，质量越高的参考图片（其也与源图片越相关）通常产生改善的编码优势。编码优势包括诸如提高的编码效率、降低的复杂度和更容易并行化的因素。
图1示出了传统视频编码系统的实现。在诸如图1所示的传统视频编码系统等传统视频编码系统中，从参考图片缓冲器(100)中检索参考图片，而通常不对参考图片应用任何附加处理。参考图片通常还用于后续图片的预测。
任何附加处理的缺失出现在许多编码脚本中。这些编码脚本包括用于静态视频序列或者用于以恒定的直线运动移动的序列的编码。然而，可以通过在使用参考图片用于后续图片的预测之前对参考图片进行预处理，来实现改善的编码优势。使用了预处理的一种脚本是立体或者多点视频编码应用，其中，在预测其它视图/层时利用特定视图/层，并且可以以彼此不同的角度捕获其它视图/层。
下面的情况通过引用包含于此：2010年4月20日提交的国际专利申请第PCT/US2010/031762号(2010年10月28日公布的国际公布第WO/2010/123909号)；2010年6月30日提交的国际专利申请第PCT/US2010/040545号(2011年1月13日公布的国际公布第WO/2011/005624号)；2011年1月5日提交的国际专利申请第PCT/US2011/020163号(尚未公布)。
附图说明
包含在本说明书中、构成本说明书的一部分的附图，示出了本公开的一个或更多个实施例，并且与对示例实施例的描述一起，用于解释本公开的原理和实现。
图1示出了传统视频编码系统的实现。
图2示出了利用参考处理单元的视频编码系统的实现。
图3示出了利用参考处理单元的立体视频编码系统的实现。
图4示出了被分割为不重叠区域的参考图片。
图5示出了被分割为重叠区域的参考图片。
图6示出了编码器侧的运动模型估计处理的示例性实施例。
图7示出了快速运动模型选择处理的示例性实施例。
图8示出了插值滤波器选择和强度补偿估计处理的示例性实施例。
图9示出了像素对称的第一示例。
图10示出了像素对称的第二示例。
图11示出了用信令表示显式插值滤波器的处理的实施例。
图12示出了解码器侧的参考处理单元的框图。
具体实施方式
本公开的实施例涉及图像处理和视频处理。
根据本公开的第一实施例，提供一种用于对参考图片进行处理的方法，包括：i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计；ii)进一步处理经运动估计后的图片，以获得进一步处理后的参考图片估计值；以及对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
根据本公开的第二实施例，提供一种用于当在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动模型参数，所述方法包括：i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估计，以提供运动模型参数；iii)根据所述运动模型参数执行扭曲，以获得扭曲图片；以及对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
根据本公开的第三实施例，提供一种迭代法，用于当在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动模型参数，所述方法包括：i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估计，以提供运动模型参数；iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
根据本公开的第四实施例，提供一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包括：i)对输入图片执行扭曲，以获得第一处理图片；以及ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。
A.参考图片处理
图2示出了利用下文中称为RPU的参考处理单元(200)的视频编码系统的实现。RPU(200)允许诸如滤波器参数、运动补偿参数和其它建模参数的处理参数的信令。可以对已经在参考图片缓冲器(205)中可使用的参考图片应用该信令，以生成新的参考图片。这些新的参考图片通常与需要处理的后续图片更相关。如果期望，可以以区域水平、而不是全局水平来操作信令，这使得能够进行更细致的控制并且在编码优势方面获得进一步的改善。
引入参考处理单元(200)的使用的两个示例性参考文献是2009年4月20日提交的标题为“Directed Interpolation and Post-Processing”的美国临时申请第61/170,995号，以及2009年7月4日提交的标题为“Encoding andDecoding Architectures for Format Compatible3D Video Delivery”的美国临时申请第61/223,027号。这两个参考文献的全部内容通过引用包含于此。
通过在视频编码系统中利用RPU(200)，已经实现了支持立体和多点视频编码的应用。通过选择高级运动模型和滤波机制，以在使用每个参考图片以预测后续增强层图片之前应用到来自前一层图片的每个参考图片来实现这些应用。
在帧兼容3D传递方法和2D兼容3D传递方法两者中，应用涉及针对每个参考图片选择适当的高级运动模型(包括但不限于：平移、缩放、旋转、仿射和立体透视变换)和滤波机制(包括但不限于：双线性、双三次、米切尔-奈特拉瓦利(Mitchell-Netravali)、兰克泽斯(Lanczos)和用户指定的插值滤波器)的技术。这些3D传递方法与当前由MPEG-4AVC/H.264的多视点视频编码(MVC)扩展支持的方法类似。与其中对后续增强层的预测考虑未经过处理的、来自前一层的参考图片的MVC不同，RPU(200)使得能够在将来自前一层的参考图片用于后续增强层的预测之前将它们进行改进。改进通常改善编码优势。
本公开的几个实施例集中于2D兼容多层3D编码方法。也可以在帧兼容3D编码方法中以及在诸如通用可扩展2D编码等其它应用中使用所呈现的编码方法。另外，可以在与智能和自适应插值滤波、强度补偿方法以及去块/去噪滤波器的组合中，使用所呈现的编码方法。
继续参考示出了利用RPU(200)的视频编码系统的图2，在将参考图片存储在参考图片缓冲器(205)中或者从参考图片缓冲器(205)中检索到参考图片之后，对来自参考图片缓冲器(205)的参考图片进行处理。与不对参考图片进行处理的情况相比，通过对参考图片进行处理，参考图片可以提供对后续视频图片更准确的预测。这些处理方法通常包括通过使用运动模型的运动补偿方法。稍后将在本公开中描述运动模型的具体类别。
对参考图片进行处理的一种示例性方式是对参考图片应用特定全局或局部化运动模型。在与运动补偿方法的组合中，通过线性或者非线性滤波器进行的处理也可以用于分数位置插值、去噪、伪影(artifact)减少(例如去块)和图像增强。
图3示出了参考图片处理技术在多视点或者多层视频编码系统中的使用。参考图3，该系统包括基本视点(300)和第二视点(305)。另外，该系统包括视点间RPU(310)。基本视点(300)和第二视点(305)具有对应的基本视点参考图片缓冲器(315)和第二视点参考图片缓冲器(325)。基本视点参考图片缓冲器(315)与基本视点RPU(320)连接，第二视点参考图片缓冲器(325)与第二视点RPU(330)连接。视点间RPU(310)与两个图片缓冲器(315、325)连接。虽然图3示出了两个视点或者两层视频编码系统，但是也可以考虑具有用于每个视点或者层的附加RPU的附加视点或者层以及附加视点间或者层间RPU。
继续参考图3，由相应的RPU(320、330)对基本和第二视点(300、305)内的参考图片进行处理。另外，在从基本视点(300)向第二视点(305)发送参考图片之前，视点间RPU(310)对从基本视点参考图片缓冲器(315)接收到的参考图片进行处理。由视点间RPU(310)进行的处理通常出现在将所有参考图片存储在每个视点专用的参考图片缓冲器(315、325)中之后，或者针对后续图片的预测考虑特定参考图片时(例如在敏锐的RPU处理中)。例如，可以根据指定运动模型使用于基本视点(300)的参考图片扭曲，以生成可以在基本视点(300)、第二视点(305)或者两个视点(300、305)中用于后续图片的预测的新的参考图片。
使用每个缓冲器(315、325)中的原始参考图片，来生成用于相同视点(300、305)或者用于另一视点(300、305)的附加参考图片。在给出诸如运动模型、插值滤波器和强度补偿参数等新的处理参数（它们可能特定用于要处理的后续图片）的情况下，可以对原始参考图片或者新生成的参考图片再次进行处理。例如，对于视点间参考处理(310)，运动模型信息可以表示视点(300、305)之间的差异，诸如用来捕获每个视点(300、305)的不同的照相机位置和角度。运动模型信息不仅可以包括运动扭曲信息，还可以包括例如指示使用哪个插值滤波器以生成子像素位置的附加信息以及强度补偿信息。处理模型可以包含诸如高斯和/或可分离线性滤波器等去噪滤波器、诸如中值或者分阶滤波器等非线性滤波器等。还可以使用可以跨区域指定的去块方法。
在通常的情况下，由视频编码系统处理的视点/层的数量可以远多于图3所示的两个视点/层的视频编码系统。通常，可以对特定视点/层的参考图片进行处理，以生成另一视点/层的另外的参考图片。另外，可以对特定视点/层的参考图片进行处理，以生成用于特定视点/层本身的增强参考图片。
在参数估计处理方面，可以基于使用适当的扭曲参数的运动模型，在编码器侧估计或者选择运动模型信息。扭曲参数可以取决于单个指定标准或者其它标准中的诸如的视觉质量、算法复杂度、位率等指定标准的组合。可选地，可以基于使用适当的插值滤波器参数、强度补偿参数或者去块/去噪参数的运动模型，在编码器侧估计或者选择运动模型信息。另外，可以基于迄今为止未列出的其它参数中的所使用的扭曲参数、插值滤波器参数、强度补偿参数和去块参数的适当的组合，在编码器侧估计或者选择运动模型信息。通过除了使用高级运动模型之外还将线性和非线性滤波进行组合(级联或者组合)，可以获得附加好处。
图12示出了解码器侧的参考处理单元的示例性实施例。可以将包括但不限于扭曲参数、插值滤波器参数、强度补偿参数和去块/去噪参数的所有运动模型信息封装在参考处理单元的有效载荷中，并且发送到解码器(1200)。换句话说，RPU的有效载荷包含直接用于对参考图片进行处理的运动模型信息。与有效载荷相反，RPU还可以包含附加头信息，附加头信息可以对有效载荷以及需要如何对有效载荷进行处理或使用以对信号进行重构和显示进行描述。
RPU的解码器包括解析单元(1205)，解析单元(1205)对RPU的有效载荷进行解析，并且使用从有效载荷中提取的信息来恢复与由RPU的编码器(在图12中未示出)使用的处理参数一致或者几乎一致的处理参数。具体地，图12所示的实施例从有效载荷中获得关于由编码器使用的运动模型参数(1210)、插值滤波器参数(1210)、强度补偿参数(1215)和去噪滤波器参数(1220)的信息。
在对重构参考图片(1225)进行处理时，利用这些参数(1210、1215、1220)。重构参考图片(1225)可以是原始参考图片或者先前RPU处理过的参考图片。原始参考图片是指从参考图片缓冲器(例如图2所示的参考图片缓冲器(205))直接取得的未经过任何处理的参考图片。相反，由于可以级联多个RPU，因此先前RPU处理过的参考图片是来自参考图片缓冲器的经过一个RPU或者多个RPU处理的参考图片。因此，所考虑的当前RPU编码器/解码器可以将原始参考图片或者来自前一层或者前一编码/解码步骤的先前RPU处理过的参考图片取作输入参考图片。
再次参考图12，原始参考图片或者先前RPU处理过的参考图片用作对于所考虑的当前RPU解码器的输入参考图片（被称为重构参考图片(1225)）。作为一系列步骤示出了对重构参考图片(1225)的处理，该一系列步骤包括利用从编码器获得的参数(1210、1215、1220)执行的图片扭曲(1230)、强度补偿(1235)和噪声去除(1240)。处理的结果是处理后的参考图片(1245)。在考虑中的当前RPU解码器的处理后的参考图片(1245)可以用作到后续RPU解码器的输入参考图片和/或用作用来进行后续图片的预测的图片。由于解码器恢复了与编码器使用的处理模型类似的处理模型，因此处理后的参考图片(1245)经过了与在编码器处进行的处理类似的处理。
为了进一步提高编码效率，可以将不同的参考图片处理有效载荷信息发送到重构参考图片(1225)的不同区域。换句话说，可以将重构参考图片(1225)分割为多个区域，每个区域可以具有其自己的最佳处理参数。这可以允许要应用于每个具体区域的更准确的运动模型参数和滤波参数。
图4示出了根据每个区域内的运动的同质性将参考图片分割为许多区域的第一示例。另外，这许多区域是不重叠的。类似地，图5示出了根据运动的同质性将参考图片分割为许多区域的第二示例。然而，图5中的这许多区域是重叠的。在图4和5两者中，可以使用单独的参数集合来描述每个区块。
在一个参考图片中存在具有不同运动参数的多个运动区域或者在一个参考图片中存在不同的模糊和焦点特性的情况下，基于区域的RPU信令将可能产生更高的编码效率。区域可以是矩形的，如图4和5所示，但是区域也可以具有任何任意形状。区域可以如在图4中是不重叠的，或者如在图5中是重叠的。
另外，区域可以包含单个或多个处理参数。例如，特定区域可以不仅仅由单个运动模型来表示。例如，可以对同一区域以信令通知缩放运动模型和仿射运动模型两者以及诸如强度补偿参数等其它参数。注意，区域的重叠部分通常具有对其应用的多个运动模型。通过使用每个运动模型估计的运动矢量的平均或者加权平均，将获得基于本参考图片的区域对后续图片上的区域的预测。作为示例而非限制，基于特定区域和其邻接区域的运动矢量之间的相似和不同，可以以信令告知或者可以确定具体平均方法。
可以跨区域应用去块方法，这可以包括基于像素的方法和/或其它频域(例如超完备去噪)方法。对跨区域应用多少滤波进行量化的去块强度，可以基于在相邻区块中使用的运动模型或者预测方法的不同以及相邻区块之间的运动模型参数的不同。
在两个区域使用相同预测方法以及相同或类似运动模型的特定情况下，不进行去块滤波。如果通过应用不同运动模型获得的所有运动矢量的绝对差低于某一预定定义的阈值或者阈值的集合，则认为运动模型类似。另一方面，如果使用不同的运动模型，或者运动矢量之间的差很明显(差大于阈值或者阈值的集合)，则应用强去块。参考图片中的一些区域可能需要较多滤波，而其它区域需要较少滤波。对任意特定区域应用的滤波的量，取决于特定区域的运动模型和预测方法、以及该特定区域的运动模型和预测方法与该特定区域的邻接区块的运动模型和预测方法之间的关系。另外，对区域应用的滤波的量可能受特定区域内的纹理特性的影响。
虽然基于区域的RPU可能需要较高的比特开销，但是编码器可以应用基于率失真的决策，来找到最佳区域分割以及用于每个区域的最佳运动模型和预测方法。
作为示例，视频编码系统可以检查使用用于对具有单个区块的参考图片进行处理的RPU的性能，而不检查使用用于对具有M×N个区块的参考图片进行处理的RPU的性能。可以在进行编码之前进行关于区域分割、运动模型和预测方法的最佳组合的决定。例如，可以仅通过将生成的参考图片的参数与要编码的源图片的参数进行比较来进行决定。还可以通过考虑RPU中的全部、部分或者仿真编码来进行决定。例如，使用较低分辨率的图片表示来进行仿真编码。例如，可以基于编码方面的性能来选中选择要以信令通知的方法。可以使用诸如给定了特定拉格朗日乘子的组合率失真性能的特定标准来评价性能。
B.运动模型
在视频编码系统的实施例中，由于不同的运动模型提供多种可选实现，因此考虑几种不同的运动模型，每种实现需要不同的复杂度和运动范围。考虑的运动模型包括其它模型中的平移、缩放、仿射、立体透视、各向同性和多项式模型。如早前所讨论的，这些运动模型的组合也是可以的。
这些运动模型通常可以准确地描述可能存在于3D真实世界场景中的复杂运动。然而，虽然诸如立体透视运动模型的运动模型可以准确地描述3D运动，但是这些运动模型的估计可能在计算上十分复杂。另外，与这些运动模型相对应的估计处理可能对噪声敏感。在估计处理对噪声敏感的这些情况下，预滤波或者更鲁棒的估计器可以改善模型估计处理。可以对参考图片、原始图片或者参考或原始图片的运动矢量进行预滤波。鲁棒估计器的示例是利用Levenberg-Marquadet方法的估计器。此外，需要在解码器处应用的针对这些运动模型的运动补偿处理本身可能很复杂。
另一方面，诸如平移模型等较简单的运动模型趋于更容易进行估计，并且对噪声更鲁棒。因此，在本实施例的视频编码系统中具有考虑针对参考图片处理具有不同复杂度和性能特性的多个不同的运动模型的灵活性，这允许在设计编码器并且控制需要与编码器一起工作的解码器的复杂度时更简单地考虑不同的复杂度和性能折衷。如早前所讨论的，也可以使用诸如平移和缩放模型的组合等不同运动模型的组合来改善性能。
针对参考图片的每个区域的运动模型的选择，取决于诸如失真要求、比特率预期和运动模型复杂度的多种条件。另外，更复杂的模型可以取决于诸如率失真(RD)成本和率失真复杂度(RDC)成本的条件。例如，可以使用拉格朗日最优化方法在方程式(1)中来计算运动模型的RD成本：
RD(m)＝D(Warp(m，R)，O)+λ*(R(motion_model)+R(filier)+R(intensit y_comp)) (1)
在上面的方程式(1)中看到的函数Warp(m,I)是用于运动补偿的扭曲函数。Warp(m,I)函数取决于诸如在表1中列出的那些运动模型等所应用的运动模型。具体地，Warp(m,I)是作为运动模型的m和作为输入图像的I的函数。在上面的方程式(1)中还看到的函数R(t)给出针对处理工具t对边信息进行编码的速率。函数D(x,O)是诸如方差和(SSE)等失真度量函数。具体地，D(x,O)是作为处理后的信号的x和作为原始信号的O的函数。
更高级的方法例如不仅可以考虑扭曲图片和原始图片之间的失真，还可以考虑视频编码系统内部的使用扭曲图片的最终编码效率。如果考虑失真和最终编码在计算上太复杂，则可以使用不同的估计。例如，可以仅使用基于块的运动估计。可选地，这些估计可以任选地考虑用于估计处理的编解码器内的诸如时间基准的任意可用基准的作用。还可以通过考虑二次采样版本的扭曲图片和原始图片来进行估计。还可以通过使用例如基于层级的运动估计方法，使用不同的分辨率图像来进行估计。如下给出基于层级的运动估计的示例。可以从最低分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数(运动模型参数、插值滤波器参数等)的估计。可以从较高分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数的进一步估计。该进一步估计以及任意后续估计进一步改进了各种RPU参数的值。
这同样适用于速率考虑，其中，代替仅考虑对各种RPU参数(运动模型参数、插值滤波器参数等)进行编码所需的速率，还考虑对整个图片进行编码所需的速率。在考虑对RPU参数进行编码所需的速率和对整个图片进行编码所需的速率两者的情况下，可以选择不同的拉格朗日参数以在RPU信令参数（其相对于针对图片的编码用信令表示的实际位）之间使用。简化可以包括诸如可以潜在地用来对图片进行编码的运动和参考索引等局部参数的考虑。特别地，不对整个图片进行编码；而仅进行局部化运动估计。
下面示出的表1列出了各种运动模型。
表1.运动模型
表1的最后一列是指定义每个运动模型的变换方程式。特别地，如下给出针对每个模型的方程式。
u x ′ = u x + h 0 x u y ′ = u y + h 0 y - - - ( 2 )
u x ′ = h 1 x u x + h 0 x u y ′ = h 1 y u y + h 0 y - - - ( 3 )
u x ′ = h 1 y u y + h 1 x u x + h 0 x u y ′ = h 1 x u y + h 1 y u x + h 0 y - - - ( 4 )
u x ′ = h 2 x u y + h 1 x u x + h 0 x u y ′ = h 2 y u y + h 1 y u x + h 0 y - - - ( 5 )
u x ′ = ( h 2 x u y + h 1 x u x + h 0 x ) / ( 1 + h 3 y u y + h 3 x u x ) u y ′ = ( h 2 y u y + h 1 y u x + h 0 y ) / ( 1 + h 3 y u y + h 3 x u x ) - - - ( 6 )
u x ′ = h 5 x u y 2 + h 4 x u x u y + h 3 x u x 2 + h 2 x u y + h 1 x u x + h 0 x u y ′ = h 5 y u y 2 + h 4 y u x u y + h 3 y u x 2 + h 2 y u y + h 1 x u x + h 0 y - - - ( 7 )
从方程式(2)到方程式(7)定义了变换方程式。在这些方程式中，(ux,uy)是源位置，而是由特定运动模型(如由形式的各种参数定义)变换后的源位置(ux,uy)的相应位置。下面在表2中示出了参数。表2提供对每个运动模型提供哪种类型的运动/变形的了解。
表2.运动模型参数的含义
从表2可以看出，平移模型仅提供平移范围，缩放模型包括平移模型的平移参数和缩放参数，各向同性模型采用跨两个维度的相等的缩放和旋转等。多项式模型是表1和2所示的运动模型中最复杂的模型。然而，与在这些表中呈现的其它模型相比，该模型可以提供更全面的运动/变形范围。使用多假设方法，这些模型的组合也是可以的，其中，可以用信令表示每个区域的多个运动模型，可以对每个运动模型单独进行基于扭曲的运动补偿，然后可以对多个假设进行平均或者加权平均，以生成针对后续图片的预测的最终假设。
B.1运动模型估计和编码
存在几种运动模型估计方法。一些常用方法包括像素水平运动估计、基于频率/相位相关的运动估计和运动场估计(motion field estimation)(例如光流场(optical flow field))。像素水平运动估计可能在计算上很复杂，并且容易受噪声和诸如发光条件等其它图像特性影响。另一方面，频率/相位相关方法和光流方法可以针对大多数应用提供足够的结果。
例如，可以彼此结合地利用相位相关方法和光流方法。相位相关方法通过对参考和源图片的变形，使得能够得到平移参数以及对旋转和缩放参数的估计。可以针对相位相关方法尚未估计的其余参数利用光流方法；换句话说，光流方法实质上是较简单的模型。光流方法可以在考虑或者不考虑强度参数的情况下利用基于块的运动估计方法。
可以使用基于块的运动估计方法和频率/相位相关方法来估计光流信息。例如，代替使用实际光流信息来表示图片的运动场，可以使用基于块的运动估计方法来得出不同块区块的运动，其中，块区块可以具有任意大小M×N。大小例如可以是8×8、2×2、4×2或者甚至1×1。另外，区块不一定是矩形的，它们可以具有任何形状。
通常，运动矢量可以具有任何精度。作为示例、而非限制，运动矢量可以具有整数、半个像素(pel)、四分之一pel或者浮点精度。给定运动矢量的信息，则可以使用梯度下降法来估计运动模型参数。梯度下降法可以使用诸如Newton Raphson和Levenberg-Marquadet迭代法的拟合法(参见参考文献[6])或者最小二乘估计器。
图6示出了编码器侧的参考图片单元的运动模型参数估计处理(600)。实质上，运动模型参数估计处理是迭代估计处理。参考图6所示的运动模型参数估计处理(600)的实施例，估计处理(600)利用需要进行编码的原始源图片(605)、重构参考图片(610)和处理后的参考图片(615)。
与图12中的RPU解码器类似，图6中的RPU编码器的重构参考图片(610)是原始参考图片或者先前RPU处理过的参考图片。原始参考图片是指任何RPU处理之前的参考图片。由于可以级联多个RPU编码器，因此先前RPU处理过的参考图片是由一个RPU或者多个RPU处理过的参考图片。因此，在考虑中的当前RPU编码器可以将原始参考图片或者来自前一层或者前一编码步骤的先前RPU处理过的参考图片，取作输入参考图片。当前RPU编码器的处理后的参考图片(615)可以用作对后续RPU编码器和/或到RPU解码器的输入参考图片。
使用三个图片(605、610、615)中的每一个，来获得用于实现基于块的运动参数估计(620)、运动模型参数估计(625)、插值滤波器参数估计(630)、强度补偿参数估计(630)和去噪滤波器参数估计(640)的信息。当将处理后的参考图片(615)通过反馈环(645)反馈到估计处理(600)中时，出现估计处理(600)的迭代方面。对重构参考图片(610)进行扭曲(635)。图片扭曲(635)根据来自块620和625的估计的运动参数以及来自块630的估计的插值滤波器参数和强度补偿参数，进行图片变形。在图片扭曲(635)之后，通过将扭曲的参考图片与原始源图片(605)进行比较，来实现去噪滤波器参数估计(640)。反馈环(645)通过估计处理(620、625、630、640)和图片扭曲(635)发送回处理后的参考图片(615)，以获得由块620、625、630和640估计的每个参数的更改进的值。
注意，不对原始源图片(605)本身进行处理。仅在编码器中使用原始源图片(605)，来得出生成处理后的参考图片(615)所需的参数。根据图6，参数是基于块的运动参数、运动模型参数、插值滤波器参数、强度补偿参数和去噪滤波器参数。具体地，使用这些参数来生成处理后的参考图片(615)，从而它们与原始源图片(605)紧密匹配。虽然参考图6示出的参数估计进行了前面的讨论，但是前面的讨论通常应用于RPU中的参数估计。
与在图12中示出了实施例的RPU的解码器侧相关，如图6所示的原始源图片(605)对于解码器不可用。然而，如前面所讨论的，图6所示的参数估计提供以RPU有效载荷的形式发送到解码器的参数的值。解码器对关于参数(图12中的1210、1215、1220)的信息的有效载荷进行解析(1205)。使用这些估计的参数(1210、1215、1220)对解码器侧的重构参考图片(1225)进行处理，以获得处理后的参考图片(1245)。
虽然在图6中未示出，但是该处理还可以考虑来自先前经过处理和编码的图片或者甚至同一图片内的先前经过处理的区域的运动参数，假设在后一情况下，在区域水平发生信令处理。可以使用先前经过处理和编码的图片的运动模型来将运动估计处理初始化，但是还可以使用运动模型，通过将运动估计值应用于当前参考图片，来生成新的“假设”参考。然后，可以使用新的假设参考来进行后续运动估计。可以将最终运动模型与原始假设运动模型组合，以创建用于后续图片的预测的最终运动模型。
在编码器侧的运动模型估计处理(600)的不同实施例中，生成了多个最终假设，从中可以选择一个最终假设。给出关于原始假设或者可能使用不同的运动估计处理已经生成的另一假设的一些标准，可以进行最终假设的选择。不同的运动估计处理例如可能需要在不使用任何预测器或者使用不同的预测器的情况下直接进行运动估计。选择最符合给定标准的假设作为最终假设。在不同的系统中，可以选择、以信令表示并使用多个假设。
继续参考图6，考虑使用单个运动模型用于整个原始源图片(605)时的情况。在计算单个运动模型的运动模型参数之后，对重构参考图片(610)应用图片扭曲(635)，以获得将作为用于后续运动模型估计的参考图片使用的处理后的参考图片(615)。
考虑重构参考图片(610)具有具备不同运动模型和/或参数的多个区域时的可选情况。可以在考虑重构参考图片(610)的运动模型和参数中的每一个之后，生成处理后的参考图片(1245)。为了避免邻接区域之间断开，还可以考虑重叠。区域可以重叠，并且可以使用多个运动模型和运动模型参数预测处理后的参考图片(1245)的一些像素。
如早前所讨论的，区域的重叠部分可能具有不同的运动模型和/或应用于它们的运动模型参数。例如，参考图5，考虑在第一区域(500)的底部和第二区域(505)的顶部之间存在重叠(510)部分。还考虑对第一和第二区域(500、505)应用不同的运动模型。根据第一区域(500)的运动模型参数获得重叠部分(510)的预测像素的第一集合。根据第二区域(505)的运动模型参数获得重叠部分(510)的预测像素的第二集合。可以通过对预测像素的第一集合和预测像素的第二集合取平均或者加权平均，来生成重叠部分(510)的处理后的参考图片(615)的预测像素。
将如根据对重叠区域的预测的平均或者加权平均获得的结果像素，称为最终像素。等同地，这些最终像素用作将在预测后续图片时利用的信息。给定每个像素与每个区块的中心的距离，可以以信令通知或者自动选择在加权平均中应用的权重。作为可选项，如早前所讨论的，还可以跨区域边界应用去块，以避免断开。
即使针对大的运动场，也可以估计准确的运动模型参数。扭曲处理(635)针对不同的运动模型而不同，原始图片(605)中的不同区域可能具有不同的运动模型和/或运动模型参数。因此，在图片内的区域之间以及在编码器侧和解码器侧之间，存在不同的编码效率。同时，效率可能显著地受到在应用运动模型参数时使用的插值滤波器的精度影响。
提高编码效率的一种方式是使用简单插值滤波器，例如利用双线性或者像素复制方法的插值滤波器。然而，也可以使用较复杂的插值滤波器来提高编码效率。理想地，如图6所示，除了仅以信令表示运动模型，还以信令表示要用于每个区块的不同的插值方法(630)。可以指定在重构参考图片(610)中的各个区块中使用的每个插值滤波器具有不同的性能行为。通常在选择用于信令和编码的适当运动模型之前，进行对每个插值滤波器的性能的评价。
可以通过考虑一些客观或者甚至主观标准来进行运动模型的选择。客观标准可以基于率失真和计算复杂度考虑。例如，选择的运动模型可以是使定义的成本最小化的运动模型。更特别地，试图最小化的定义的成本可以是如在方程式(1)中定义的RD成本。
在利用拉格朗日最优化计算RD成本的特定实施例中，可以执行强力选择方法。强力选择方法将包括对所有运动模型的评价和比较。对运动模型的评价可以潜在地包括考虑运动模型支持的所有插值方法。在本示例中，所选择的运动模型将具有最小RD成本。
然而，强力选择方法可能太慢。为了加速运动模型选择处理，可以使用诸如修剪评价方法等快速选择方法。具体地，针对修剪评价方法，可以将支持的视频编码系统的组划分为子组。认为支持的组包括在表1中列出的6个运动模型。在特定实施例中，如在表1的第二列中给出的，定义了5个组。通常基于运动模型的复杂度来确定组。对于表1，通过模型参数的数量来对组进行分组。因此，由于缩放运动模型和各向同性运动模型各自具有4个模型参数，因此它们形成一个子组。表1中的其它运动模型中的每个是其自己的子组。
图7示出了示例性快速运动模型选择算法(700)。该选择算法(700)选择具有最小RD成本的运动模型。对RD成本的评价从组0开始(705)。将Min_Cost参数设置为视频系统可以支持的最大值。例如，如果系统仅支持8位整数，则最大值是255。在第二步骤(710)中，对组0的RD成本进行评价。在第三步骤(715)中，将组0的RD成本与Min_Cost参数进行比较。如果组0的RD成本低于Min_Cost参数，则第四步骤(720)进行检查来看是否存在任意更多组进行评价。如果存在更多组，则第五步骤(725)将下一组、在这种情况下为组1进行评价。重复进行第二至第五步骤(710、715、720、725)，直到对所有组进行了评价，或者每当第三步骤(715)确定当前RD成本不小于Min_Cost参数时为止。针对于每个组的评价，对属于该组的每个运动模型进行评价。对于图7所示的运动模型选择算法(700)，将选择具有最小RD成本的运动和/或处理模型。
图7示出了基于最小RD成本的快速运动模型选择算法。如早前所讨论的，诸如率失真复杂度成本和运动模型参数信令的比特开销等其它编码标准也可以用来选择运动和/或处理模型。
快速运动模型选择算法(700)的附加实施例可以考虑先前的参考图片和邻接空间和/或时间区域。另外，考虑到已经针对任意特定区域考虑了使用哪个运动模型，因此也可以甚至进一步加速选择处理(700)。
作为示例，考虑到邻接区域选择了模型0，并且针对该模型邻接区域具有与当前区域类似的运动参数。在这种情况下，模型0可能是对于当前区域适当的模型。因此，可以立即选择模型0。可选地，可以将评价限制于考虑类似运动模型的那些其它运动模型。例如，如果缩放模型(表1中组索引为1)是最可能用于邻接区域的运动模型，则将各向同性模型(表1中组索引也为1)视为类似运动模型。
另外，可以对跨邻接区域的基于块的运动参数进行比较。这些比较用来确定区域之间的相似程度，这产生可以用来甚至进一步加速选择处理(700)的信息。
在附加实施例中，如果不同区域中的所有运动模型具有相同或非常类似的运动模型参数，则可以立即进行最终运动模型的确定，而不进行任何进一步改进。也可以考虑诸如阈值方法等其它方法。阈值方法例如可以考虑特定运动模型的预测失真和邻接区域之间的预测失真。当运动模型参数的差小时，可以确定多个邻接区域之间相似。阈值方法通常计算各个运动模型参数之间的绝对差的和(SAD)或者方差的和。
通常，运动模型参数可以取任何精度，包括浮点精度。然而，为了便于编码，应当执行将得到的运动模型参数转换到整数精度。特别地，如下由方程式(8)给出了任意特定运动模型参数从浮点精度到整数精度的示例性转换：
Pint＝Floor(Pfloor*s+r) (8)
其中，Pint是取整数精度的运动模型参数，Pfloor是取浮点精度的运动模型参数，s是解码器已知的缩放因数，r是舍入移位。Floor(x)运算选择小于或等于x的最大整数。缩放因数s的值可以针对不同的运动模型参数而不同。
如下面在表3中列出的，可以将运动模型参数分类为三个组：
表3.运动模型参数类别
通常，阶数越高的参数需要越高的精度进行准确的表示。另外，精度越高产生越大的缩放因数s的值。
假设许多区块可以具有类似的运动模型，则可以利用某些预测方法来提供附加压缩好处。例如，如果多个区域使用相同的运动模型，则在这些区块外部，可以以更高的电平用信令表示单个运动模型，从而可以使用该单个运动模型的区块内的信令，而不必需要在RPU内多次用信令表示相同的单个模型。
同样可以针对多个运动模型的情况，考虑预测处理。特别地，在表4中列出了考虑多个运动模型的预测器得出方法。对于该方法，预测可以使用来自全局运动模型参数的单个集合的信息，或者在不使用预测信息的情况下用信令表示所有运动参数。
表4.存在全局运动模型的情况下的全局运动模型预测
预测器索引 预测器
0 无
1 默认运动(零运动)
另一方面，通过利用一些或所有邻接区块，可以考虑更简单的预测方法。预测方法例如可以使用诸如在MPEG-4AVC中使用的中值方法等中值方法，来得到用于预测的运动模型参数。可选地，预测方法可以仅考虑利用相同运动模型的邻接区块。如果将不同的模型组合，则通常在考虑使用其运动矢量用于预测之前，执行从不同的运动模型到当前考虑的运动模型的转换。
在可选实施例中，可以使用使得能够用信令表示预测机位置的更全面的方法，来代替暗示或者根据邻接区块得到预测器位置。下面在表5和表6中示出该方法。
表5.存在全局运动模型的情况下的区块的运动模型预测
预测器索引 预测器
0 无
1 全局运动
2 左部区块
3 上部区块
4 左上部区块
5 右上部区块
其它 Partition_Idx=Current_Partition_Idx-(predictor_index-5)
表6.不存在全局运动模型的情况下的区块的运动模型预测
预测器索引 预测器
0 无
1 左部区块
2 上部区块
3 左上部区块
4 右上部区块
其它 Partition_Idx=Current_Partition_Idx-(predictor_index-4)
表5假设存在单个全局运动模型。然而，可以将区块的运动模型预测扩展为支持在用信令表示区块之前的用信令表示的多个全局运动模型。
可选地，表6考虑没有任何全局运动模型参数的情况下的区块的运动模型预测。还可以使用暗示和明确指定的方法的组合。用于任意特定区块的暗示方法例如可以基于根据来自邻接区块的信息的预测处理。例如，如果特定区块的邻接区块全部使用反射运动模型，并且全部具有相同的参数，则特定区块也使用相同的运动模型和相同的参数的可能性高。因此，在该简化的示例中，该特定区块将非常可能使用仿射运动模型和与邻接区域的参数相同的参数。
此外，预测结果可能暗示在不用信令表示任何附加改进信息的情况下正确地预测了整个运动矢量。这例如在满足运动估计处理的成本标准时出现。即使在这种情况下，也可以任选地用信令表示附加改进信息。可以将该改进信息添加到与如下面所示出的在方程式(9)中定义的处理类似的预测的运动模型上。注意，预测也可以显著影响每个RPU区域的解码并行化，可能在设计使用这些技术的系统时需要考虑预测。
M → int = Scale _ Down ( Scale _ Up ( P → int ) + r → int ) - - - ( 9 )
其中，矢量是解码的运动模型参数，矢量是预测的运动模型参数，矢量是编码残差。所有参数通常具有固定点精度。Scale_Down和Scale_Up函数是在转换中使用的缩放函数。
如方程式(8)所示，考虑缩放因数s。讨论缩放因数的三种可能的信令方法。对于整个编码处理，该缩放因数可能是暗示并且固定的；换句话说，可以针对所有区块用信令表示缩放因数。可以基于来自邻接区块的信息来用信令表示(或者不用信令表示)缩放因数。作为第一示例，如果确定缩放因数对于所有区块相同，则仅需要用信令表示一次缩放因数。可选地，可以用信令表示特定区块的缩放因数和邻接区块的缩放因数之间的差。还可以依据针对每个区域指定的标志来用信令表示缩放因数。例如，如果标志被设置为1，则用信令表示缩放因数。否则，不用信令表示缩放因数，并且解码器使用默认值。
C.插值滤波
在运动扭曲之后，可以使用各种插值滤波，来获得分数位置的像素值。可以作为运动模型参数的信令的一部分，来指示用来获得分数位置（fractional position）处的像素值的插值滤波方法。作为示例而非限制，可以使用下面示出的表7中指定的6种插值滤波器中的任意一个，来获得分数位置的像素值。
表7.插值滤波器
索引 滤波器 滤波器标签的数量
0 双线性 2
1 Lanczos_2 4
2 双三次 4
3 Mitchell-Netravali 4
4 Lanczos_3 6
5 显式滤波器 4或者6
在显式滤波器(表7中的滤波器索引为5)的情况下，可能需要将滤波器系数作为位流的一部分发送到解码器。与运动模型参数的信令类似，也可以预测滤波器系数。例如，可以通过信令处理或者通过先前编码的区块，与先前编码的区块和当前区块的运动模型是类似的还是不同无关地，实现对滤波器系数的预测。
表7中的所有其它滤波器(滤波器索引0-4)是固定滤波器，也称为隐式滤波器。对于固定滤波器，滤波器系数是预先确定的，因此仅需要向解码器用信令通知滤波器索引。然后，解码器将能够例如通过使用查找表来确定系数。在固定滤波器中，如果不进行系数量化，则固定滤波器系数可能具有浮点精度。使用浮点精度需要对应地使用浮点精度处理。
可选地，在插值滤波器的另一实施例中，可以将滤波器系数量化为具有固定点精度。固定点精度通常降低实现复杂度。另外，固定点精度消除了漂移的可能。漂移是通过使用不同的平台(例如不同的操作系统)获得不同结果的效果。漂移可能是由于使用了不同精度的浮置数表示(例如具有不同尾数和指数大小的数)以及在不同平台上进行的运算。
在又一实施例中，可以将滤波器系数量化，从而可以使用16位运算。例如，可以如下如表8至表11所示，针对每个滤波器(滤波器索引1-4)将滤波器系数量化。注意，不需要事先对双线性滤波器系数(滤波器索引为0)进行量化，因为可以以敏锐的固定点精度容易地计算双线性滤波器系数。如表8至表11所示的滤波器允许针对8位输入视频信号使用16位运算。量化的滤波器系数仅可以进行直到1/32像素精度的插值。然而，当由插值滤波器进行的运动扭曲处理使用高于1/32的像素精度时，可以使用第二级双线性滤波器或者任何其它滤波器来获得更高像素精度的值。
表8.用于具有1/32像素精度的Lanczos_2滤波器(滤波器索引1)的插值滤波器系数
表9.用于具有1/32像素精度的双三次滤波器(滤波器索引2)的插值滤波器系数
表10.用于具有1/32像素精度的Mitchell-Netravali滤波器(滤波器索引3)的插值滤波器系数
位置索引 Coeff_0 Coeff_1 Coeff_2 Coeff_3
0 4 56 4 0
1 3 56 5 0
2 2 56 6 0
3 1 56 7 0
4 0 55 9 0
5 0 54 10 0
6 -1 53 13 -1
7 -1 52 14 -1
8 -2 50 17 -1
9 -2 48 19 -1
10 -2 47 20 -1
11 -2 45 23 -2
12 -2 43 25 -2
13 -2 41 27 -2
14 -2 38 30 -2
15 -2 36 32 -2
16 -2 34 34 -2
17 -2 32 36 -2
18 -2 30 38 -2
19 -2 27 41 -2
20 -2 25 43 -2
21 -2 23 45 -2
22 -1 20 47 -2
23 -1 19 48 -2
24 -1 17 50 -2
25 -1 14 52 -1
26 -1 13 53 -1
27 0 10 54 0
28 0 9 55 0
29 0 7 56 1
30 0 6 56 2
31 0 5 56 3
表11.用于具有1/32像素精度的Lanczos_3滤波器(滤波器索引4)的插值滤波器系数
位置索引 Coeff_0 Coeff_1 Coeff_2 Coeff_3 Coeff_4 Coeff_5
0 0 0 64 0 0 0
1 0 -2 64 2 0 0
2 1 -3 63 4 -1 0
3 1 -4 63 5 -1 0
4 1 -5 62 8 -2 0
5 2 -6 61 10 -3 0
6 2 -7 60 12 -3 0
7 2 -8 59 15 -4 0
8 2 -9 57 17 -4 1
9 2 -9 55 20 -5 1
10 2 -9 53 23 -6 1
11 2 -9 51 25 -6 1
12 2 -9 49 28 -7 1
13 2 -9 46 31 -7 1
14 2 -9 44 34 -8 1
15 2 -9 42 36 -8 1
16 2 -9 39 39 -9 2
17 1 -8 36 42 -9 2
18 1 -8 34 44 -9 2
19 1 -7 31 46 -9 2
20 1 -7 28 49 -9 2
21 1 -6 25 51 -9 2
22 1 -6 23 53 -9 2
23 1 -5 20 55 -9 2
24 1 -6 17 57 -9 2
25 0 -4 15 59 -8 2
26 0 -3 12 60 -7 2
27 0 -3 10 61 -6 2
28 0 -2 8 62 -5 1
29 0 -1 5 63 -4 1
30 0 -1 4 63 -3 1
31 0 0 2 64 -2 0
注意，插值滤波器可以考虑非线性插值机制。可以通过诸如基于小波或者扁带的插值、基于运动补偿时间滤波(MCTF)的插值等技术，来实现非线性插值。
可以针对色度(chroma)样本和亮度(luma)样本使用不同的插值滤波器和/或插值机制。亮度样本包含关于图片的亮度的信息；换句话说，亮度样本处置图片的无色信息。相反，色度样本包含图片的颜色信息。
通常基于特定标准或者多个标准来选择插值滤波器。如早前所讨论的，这些标准可以包括对失真、率失真、失真复杂度、联合率失真复杂度等的要求。
图8示出了示例性联合插值滤波器选择和强度补偿估计处理(800)。该示例性选择处理(800)估计强度信息，并且从滤波器池中选择具有最低RD成本的插值滤波器。第一步骤(805)包括从滤波器池中选中当前插值滤波器。第二步骤(810)包括用第一步骤(805)的插值滤波器扭曲参考图片。第三步骤(815)包括用于在计算RD成本时使用的强度补偿估计。第四步骤(820)包括计算RD成本。第五步骤(825)包括将当前滤波器的RD成本与迄今评价的所有插值滤波器的最小RD成本进行比较。如果当前滤波器具有比当前最小RD成本更低的RD成本，则将最小RD成本设置为当前滤波器的RD成本。第六步骤(830)包括判断是否对来自滤波器池的所有插值滤波器进行了评价。如果没有，则对下一个插值滤波器重复进行第二步骤(810)至第六步骤(830)。一旦对所有插值滤波器进行了评价，则选择具有最低RD成本的插值滤波器。
与图7所示的快速运动模型选择算法(700)的情况相同，图8所示的插值滤波器选择算法(800)也利用RD成本作为其标准。仅作为示例来使用利用RD成本的标准，本领域普通技术人员知道同样可以使用其它预先定义的编码标准。这些标准包括率失真复杂度成本，并且还可以使用用于运动模型参数信令的比特开销来选择运动模型。
对于如在表7中分类的具有滤波器索引0-4的滤波器，滤波器系数是预先定义的，因此仅需要用信令向解码器通知滤波器索引。对于显式滤波器(滤波器索引为5)，需要估计滤波器系数。例如，可以使用最小二乘估计器，基于运动模型参数估计显式滤波器的滤波器系数。然后，用信令向解码器通知这些滤波器系数。也可以使用其它方法来加速滤波器选择处理。例如，如刚才所讨论的图8，在同一处理内进行插值滤波器选择和强度补偿估计。可选地，可以在分离的处理中进行插值滤波器选择和强度补偿估计。另外，还可以实现图8的选择处理和运动模型参数估计处理之间的迭代。
考虑固定滤波器信令的实施例。具体地，考虑进行高达第一像素精度水平的插值的第一固定滤波器和进行用于比第一像素精度水平高的其余像素精度水平的插值的第二固定滤波器。可以针对高达第一像素精度水平的所有像素精度水平信令对应于第一固定滤波器的第一像素索引。可以针对高于第一像素精度水平的其余像素精度水平用信令表示对应于第二固定滤波器的第二像素索引。
一些方法可以考虑邻接区块(邻接空间区块或者邻接时间区块)。作为示例，编码器可以测试全局水平的特定插值滤波器以及区域水平的多个插值滤波器。然后，编码器可以基于诸如率失真成本或者率失真复杂度成本的预先定义的标准，选择是否利用全局或者区域水平的插值滤波。另外，一些方法可以包括早终止，其中，特定方法例如可以包括考虑“复杂度”开支。复杂度开支可以由编码器定义，其中，编码器可以简化或者结束变得过于复杂的最优化处理。编码器还可以在进行最优化处理时考虑解码复杂度。
另外，显式滤波器由于滤波器系数信令的附加开销，可以或者不能产生更好的性能。通常，编码器基于诸如在图8中给定的选择处理的选择处理，生成关于是否使用显式或者固定滤波器的决定。
C.1显式滤波器信令
当使用显式插值滤波器(表1中的滤波器索引为5)时，滤波器系数信令可能招致高比特开销。由于该原因，通常使用某些类型的像素对称和系数对称，来减少需要用信令表示的唯一的滤波器系数的数量。
使用像素和系数对称进行处置来减少唯一滤波器系数的数量的示例性参考文献，是2010年1月14日提交的标题为“Buffered Adaptive Filters”的美国临时申请第61/295,034号。该参考文献的全部内容通过引用，包含于此。
图9示出了像素对称的第一示例。特别地，图9利用1/4像素精度，因此示出了标记为像素“A”至“O”的15个分数像素位置以及标记为“INT”的全像素位置。在图9中，假设共享相同的阴影图案的分数像素位置也共享相同集合的滤波器参数；然而，它们的插值滤波器是彼此的转置和/或翻转(flipped)版本。因此，使用如图9所示的像素对称，仅需要用信令表示用于15个像素位置中的5个的插值滤波器。特别地，分数像素“A”、“C”、“D”和“L”共享第一集合的滤波器系数，“B”和“H”共享第二集合的滤波器系数，“E”、“G”、“M”和“O”共享第三集合的滤波器系数，“J”具有第四集合的滤波器系数。因此，通过使用像素对称，滤波器系数的数量减少，因此用于滤波器系数信令的比特开销减少。
图10示出了像素对称的第二示例。仅用信令表示分数位置“A”和“B”的水平插值滤波器以及分数位置“D”和“H”的垂直插值滤波器。分数位置“C”和“L”分别共享与分数位置“A”和“D”相同的集合的滤波器。首先，使用水平插值滤波器对2D像素位置(即“E”、“F”、“G”、“I”、“J”、“K”、“M”、“N”和“O”、)中的每个进行插值，然后使用垂直插值滤波器进行滤波(或者相反)。为了进一步减少用于滤波器系数信令的比特开销，可以强制水平插值滤波器和垂直插值滤波器共享相同集合的滤波器系数，从而“A”、“C”、“D”和“L”共享一个集合的滤波器系数，“B”和“H”共享另一个集合的滤波器系数。
更具体地，考虑分数位置“A”、“C”和“D”的像素对称。通过利用像素对称，分数位置“A”和“C”可以共享相同集合的滤波器系数，但是它们的滤波器是彼此的转置版本(旋转180°)。分数位置“A”和“D”也共享相同的系数，但是水平地应用“A”的滤波器，而垂直地应用“D”的滤波器，因此“D”的滤波器相对于“A”的滤波器呈现90°。虽然插值滤波器本身在分数位置“A”、“C”和“D”中的任意一个之间不相同，但是因为可以使用这些分数位置中的任意一个的插值滤波器来得到另外两个的插值滤波器，因此用信令表示这些分数位置中的任意一个的滤波器系数就足够了。因此，使用像素对称获得了比特开销节省。还可以利用先前列出的其它对称来实现比特开销节省。
图9和图10仅仅是像素对称的两个示例。也可以使用其它类型的像素对称，来减少滤波器系数信令开销。编码器可以选择最佳像素对称，并且作为RPU有效载荷的一部分用信令向解码器通知像素对称。除了参考图片的像素对称之外，还可以实施诸如系数对称的其它对称，来进一步减少滤波器信令开销。例如，像素位置“B”和“H”的插值滤波器可以是对称滤波器。
在由插值滤波器进行的运动扭曲处理期间，通常使用较高的分数像素精度。分数像素精度越高，则产生质量越好的扭曲参考图片。然而，分数像素精度越高，也导致需要信令的滤波器的数量越大，从而产生高比特开销。即使当强制某一类型的像素对称时，随着像素精度增加，实质上比特开销可能仍然增加。
考虑使用图9中的像素对称的第一示例，如先前所讨论的，其中，使用1/4像素精度，并且需要用信令表示5个插值滤波器。代替考虑使用1/2m像素精度来代替1/4像素精度。需要用信令表示的插值滤波器的数量将是(2m-2+1)(2m-1+1)-1，这意味着如果使用1/32像素精度(m=5)，则需要用信令表示152个滤波器。
考虑使用图10中的像素对称的第二示例，如先前所讨论的，其中，使用1/4像素精度，并且需要用信令表示4个插值滤波器。代替考虑使用1/2m像素精度。如果允许水平和垂直插值滤波器不同，则需要用信令表示的插值滤波器的数量将是2m，而如果强迫水平和垂直插值滤波器相同，则需要用信令表示的插值滤波器的数量将是2m-1。为了解决需要用信令表示太多滤波器的问题，可以用信令表示显式滤波器仅到某一精度1/2n，n≤m，其中，m是编码器基于诸如率失真成本的标准选择的参数。对于高于1/2n的任意精度，可以使用固定插值滤波器(表7中索引为0至4的滤波器)。
例如，图11描述了显式滤波器信令(1100)的实施例。图11中的处理从通常为1/2像素精度的最低插值精度开始(1105)。在针对当前精度用信令表示了所有显式滤波器(1100)之后，处理判断是否用信令表示了所有精度(1115)。如果块1115的决定为“是”，则不需要用信令表示其它插值滤波器。否则，如果1115的决定为“否”，则用信令表示在图11中作为“stop_flag”示出的一位标志(1120)，以指示接着是否进一步信令显式滤波器。如果“stop_flag”的值是1(1125)，则不用信令表示更多显式滤波器。否则，如果“stop_flag”的值是0(1125)，则递增当前像素精度(1130)，并且进一步继续用信令表示显式插值滤波器(重复块1110、1115、1120和1125)。
在用信令表示了所有显式滤波器之后，处理判断是否用信令表示了所有精度水平的显式滤波器(1135)。如果块1135的决定为“是”，则不需要进行进一步信令表示。否则，如果块1135的决定为“否”，则处理将针对所有其余精度水平用信令表示一个固定滤波器索引(1140)；从该滤波器索引可以推断所有这些其余精度水平的相应插值滤波器。最后，可以应用使用的类型的像素对称(先前已信令，在图11中未示出)，从而在所有精度水平针对所有像素位置获得插值滤波器(1145)。
D.强度补偿
虽然在表1中呈现的运动模型可以使用参考图片提供关于存在于区域内的运动的准确信息，但是运动模型通常不提供关于可能存在于场景内的强度改变、特别是亮度和对比度改变的太多信息。因此，将运动模型参数和附加强度补偿模型组合，可以在多视点、可缩放或者2D编解码系统中提供编码效率的进一步提高。强度补偿需要在信令强度补偿参数之前得出强度补偿参数的集合。可以通过诸如直方图匹配、最小二乘估计、DC减法和比率考虑的多种方法，得到强度补偿参数。可以根据亮度和色度分量得出不同的强度补偿参数。可选地，强度补偿参数的得出可以基于一个分量，而其它可以通过简单的投射方法来得出。例如，可以仅基于亮度分量来得出一些强度补偿参数。可以使用来自根据亮度分量得出的参数的信息，来估计其余强度补偿参数、即通过根据色度分量获得的强度补偿参数。
可以使用包括诸如在高动态范围应用中使用的非线性方法的非线性方法的多种方法，来表示对参考图片应用的强度补偿。在特定实施例中，为了简单，强度补偿可以使用如下面的方程式(10)所示的线性格式：
I′＝w*I+o (10)
其中，I′是进行像素补偿之后的最终像素，I是进行像素补偿之前的原始像素，w是指示强度补偿的权重的参数，o是强度补偿的移位。
通常在编码中使用之前，将参数w和o量化。根据需要的像素值的精度可能还需要限制最终像素I′。通常以整数形式或者固定点形式表示强度参数，以简化编码处理和计算处理。因此，可以将缩放因数w和o从浮点精度转换为整数精度或者固定点精度。先前在方程式(8)中定义了这些转换。
强度补偿参数估计可以基于不进行任何运动考虑的原始图片以及运动调整/补偿图片。在基于运动调整/补偿的情况下，可以改善强度补偿参数估计。
另外，可以利用迭代法用于强度补偿参数估计。如下给出示例性迭代法。在得出初步运动模型参数之后，可以根据初步运动模型参数得出初始强度补偿参数。给定这些初始强度补偿参数，则可以改进初步运动模型参数。换句话说，通过利用强度参数，可以重新估计所有运动模型参数，由此产生第二集合的运动模型参数。使用第二运动模型参数，之后可以进行强度补偿参数的第二次改进。可以重复进行该迭代处理，直到观察到运动模型参数和强度参数的可忽略的改变为止。可选地，可以重复进行该迭代处理，直到强度补偿的性能对于特定应用足够为止。作为另一可选项，可以将该迭代处理重复进行预先定义的迭代次数。
还可以考虑检测淡入淡出(fade)和交叉淡入淡出(cross-fade)，来加速该迭代处理。例如，可以使用简化方法，使得如果在参考图片中没有检测到淡入淡出和交叉淡入淡出，则完全跳过强度参数的检测。另一方面，如果检测到了淡入淡出和交叉淡入淡出，则编码器可以附加进行照度参数的估计，并且在估计对于编码处理有益的情况下，向解码器信令照度参数。
如早前所提及的，强度参数可能在RPU内是任选的。强度参数的信令表示可以基于用来用信令表示每个区域的标志。可选地，强度参数的信令表示也可以基于任意或者所有邻接区块是否也用信令表示强度参数。换句话说，可以在基于邻接区域的预测处理中利用邻接区块。基于邻接区域的预测处理例如可以使用多数投票，其中，将使用邻接区块中的强度参数来判断是否针对特定区域用信令表示这些相同的强度参数。也就是说，如果所有或者大多数邻接区块使用相同的强度参数，则预测使用那些相同的强度参数。对强度参数的编码还可以基于邻接参数的强度参数的值。与早前讨论的运动预测模型的情况类似，编码还可以考虑全局预测方法。如早前所提及的，还可以针对移位o和权重w或者针对不同的颜色分量，用信令表示不同的标志。
在位流中不用信令表示的强度参数的情况下，使用默认集合的强度参数。为了在编码器和解码器两者处生成新的参考图片，可以根据下面示出的方程式(11)进行强度补偿：
I′＝Floor(((wint*I)*so+oint*sw+r)/(sw*so)) (11)
其中，r是舍入移位，wint和oint是如从位流中解码的具有整数精度的强度参数(特别地分别是权重和移位参数)，sw和so分别是用于权重和移位参数的缩放因数。除了方程式(11)对照度参数应用缩放因数sw和so之外，方程式(11)等同于方程式(10)。
E.去噪滤波器
作为参考处理的示例性实施例的最后的步骤，可以对运动补偿图像应用去噪滤波器、通常也称为伪影减少滤波器，以进一步改善处理后的参考图片的质量。可以使用去噪滤波器，来进一步减少在编码和/或扭曲处理期间引入的噪声和伪影以及已经存在于原始源中的噪声和伪影。通过进一步减少噪声和伪影，去噪滤波器进一步改善参考图片的质量，由此改善参考图片的作为预测信号的功能。
在许多实施例中，可以在编码器侧使用最小二乘估计器或者任意其它最优化处理来获得去噪滤波器。可以在RPU内使用适当句法，用信令向解码器通知获得的去噪滤波器。
如早前所提及的，图12描绘了解码器侧的框图。特别地，图12示出了解码器侧的RPU内部的各种部件。当在RPU内部使用去噪滤波器时，编码器可以使去噪滤波器与RPU中的诸如运动模型和相应的运动模型参数、插值滤波器、强度补偿等其它部件一起联合最优化。换句话说，编码器可以在图8所示的选择环内部考虑去噪滤波器最优化。
可以以硬件、软件、固件或者其组合实现在本公开中描述的方法和系统。可以一起(例如在诸如集成逻辑器件的逻辑器件中)或者单独(例如作为单独连接的逻辑器件)实现作为块、模块或者部件描述的特征。本公开的方法的软件部分可以包括计算机可读介质，计算机可读介质包括指令，当执行时，指令至少部分执行上述方法。计算机可读介质例如可以包括随机存取存储器(RAM)和/或只读存储器(ROM)。可以由处理器(例如数字信号处理器(DSP)、专用集成电路(ASIC)或者场可编程逻辑阵列(FPGA))执行指令。
因此，本发明的实施例可以涉及下面描述的一个或更多个示例实施例。
相应地，可以以这里描述的形式中的任意一个来实施本发明，包括、但不限于下面的描述本发明的一些部分的结构、特征和功能的枚举示例实施例(EEE)：
EEE1.一种用于对参考图片进行处理的方法，包括：
i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计；
ii)进一步处理经运动估计后图片，以获得进一步处理后的参考图片估计值；以及
对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
EEE2.根据枚举示例实施例1所述的方法，其中，所述进一步处理包括：用于获得运动模型参数的进一步运动估计以及估计插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个；以及对所述重构参考图片应用所述运动模型参数及所述插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个。
EEE3.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
ii)执行进一步运动估计，以提供运动模型参数；以及
iii)根据所述运动模型参数来执行扭曲，以获得扭曲图片；以及
对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
EEE4.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
ii)执行进一步运动估计，以提供运动模型参数；
iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；
iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及
对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
EEE5.根据枚举示例实施例3所述的方法，在迭代之前还包括：
iv)对所述扭曲图片进行滤波，以获得处理后的参考图片，
其中，所述迭代还对iv)进行迭代，由此对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
EEE6.根据枚举示例实施例4所述的方法，在迭代之前还包括：
v)对所述扭曲图片进行滤波，以获得处理后的参考图片，
其中，所述迭代还对iv)和v)进行迭代，由此对i)-v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
EEE7.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中，所述重构参考图片是未经过处理的所述参考图片缓冲器中的原始参考图片。
EEE8.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中，所述重构参考图片是先前处理过的参考图片。
EEE9.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中，先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。
EEE10.根据枚举示例实施例9所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
EEE11.根据枚举示例实施例9所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
EEE12.根据包含性的枚举示例实施例1-2或5-11中的任一项所述的方法，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。
EEE13.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其中，所述运动估计包括基于块的运动估计。
EEE14.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其中，所述运动估计包括频率相关方法或者相位相关方法。
EEE15.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其中，所述运动估计包括像素水平运动估计方法。
EEE16.根据包含性的枚举示例实施例2-15中的任一项所述的方法，其中，所述进一步运动估计是梯度下降估计法。
EEE17.根据枚举示例实施例16所述的方法，其中，所述梯度下降估计法利用从由Newton Raphson迭代法、Levenberg-Marquadet迭代法和最小二乘估计器构成的组中选择的拟合法。
EEE18.根据包含性的枚举示例实施例2-17中的任一项所述的方法，其中，所述进一步运动估计利用单个运动模型。
EEE19.根据包含性的枚举示例实施例2-17中的任一项所述的方法，其中，所述进一步运动估计利用多个运动模型。
EEE20.根据包含性的枚举示例实施例18或19所述的方法，其中，从由平移、缩放、旋转、各向同性、仿射、立体透视和多项式运动模型构成的组中，选择所述单个运动模型或者所述多个运动模型。
EEE21.根据包含性的枚举示例实施例2-20中的任一项所述的方法，其中，所述运动模型参数来自先前经过编码或者处理的图片。
EEE22.根据包含性的枚举示例实施例2-20中的任一项所述的方法，其中，所述运动模型参数来自相同图片的先前经过处理的区域。
EEE23.根据包含性的枚举示例实施例2-22中的任一项所述的方法，其中，将所述重构参考图片划分为多个重叠区域。
EEE24.根据包含性的枚举示例实施例2-22中的任一项所述的方法，其中，将所述重构参考图片划分为多个不重叠区域。
EEE25.根据枚举示例实施例16-24中的任一项所述的方法，其中，通过插值滤波器选择和强度补偿估计对所述运动模型参数的处理，还基于所述要被编码的原始图片和所述重构参考图片。
EEE26.根据包含性的枚举示例实施例5-25中的任一项所述的方法，其中，所述滤波包括去噪滤波。
EEE27.根据包含性的枚举示例实施例5-26中的任一项所述的方法，其中，基于所述重构参考图片执行所述扭曲。
EEE28.根据包含性的枚举示例实施例3或4所述的方法，其中，基于所述扭曲图片选择所述运动模型参数。
EEE29.根据包含性的枚举示例实施例5或6所述的方法，其中，基于所述处理后的参考图片选择所述运动模型参数。
EEE30.根据包含性的枚举示例实施例2-26中的任一项所述的方法，其中，基于失真成本、率失真成本、失真复杂度或者率失真复杂度，选择所述运动模型参数。
EEE31.根据包含性的枚举示例实施例3-22中的任一项所述的方法，其中，通过对叠加或者不叠加区域的分析，来进行图片的区域的运动模型参数估计。
EEE32.根据枚举示例实施例31所述的方法，其中，所述分析包括进行平均。
EEE33.根据枚举示例实施例31所述的方法，其中，所述分析包括进行加权平均。
EEE34.根据枚举示例实施例31所述的方法，其中，所述分析包括：对所述叠加或者不叠加区域中的任意一个应用多个运动模型，并且基于所述多个运动模型中的每个运动模型的贡献获得平均值。
EEE35.根据枚举示例实施例31所述的方法，其中，所述分析包括：对所述叠加或者不叠加区域中的任意一个应用多个运动模型，并且基于所述多个运动模型中的每个运动模型的贡献获得加权平均值。
EEE36.根据枚举示例实施例35所述的方法，其中，用信令向所述解码器通知所述加权平均的权重。
EEE37.根据枚举示例实施例31所述的方法，其中，所述分析包括跨区域边界执行去块。
EEE38.根据枚举示例实施例37所述的方法，其中，在执行去块时使用基于像素的方法。
EEE39.根据枚举示例实施例37所述的方法，其中，在执行去块时使用频域方法。
EEE40.根据枚举示例实施例25所述的方法，其中，基于扭曲和率失真考虑，执行插值滤波器选择。
EEE41.根据枚举示例实施例25所述的方法，其中，用信令向所述解码器通知插值滤波器选择。
EEE42.根据包含性的枚举示例实施例5或6所述的方法，其中，从所述运动模型参数获得插值滤波器参数，并且该插值滤波器参数进一步依赖于来自多个独立插值滤波器的滤波器参数的插值滤波器参数。
EEE43.根据枚举示例实施例42所述的方法，其中，所述多个独立插值滤波器属于多个像素精度水平。
EEE44.根据枚举示例实施例43所述的方法，其中，所述多个独立插值滤波器包括多个固定滤波器，其中，由固定滤波器索引标识每个固定滤波器。
EEE45.根据枚举示例实施例43所述的方法，其中，所述多个独立插值滤波器包括至少一个固定滤波器和至少一个显式滤波器。
EEE46.根据枚举示例实施例44所述的方法，其中，通过使用与所述多个固定滤波器中的每个固定滤波器相对应的所述固定滤波器索引，用信令向所述多个固定滤波器表示与所述多个固定滤波器相对应的所有精度水平。
EEE47.根据枚举示例实施例44所述的方法，其中，
所述多个固定滤波器包括第一固定滤波器和第二固定滤波器，
由第一固定滤波器索引标识所述第一固定滤波器，并且由第二固定滤波器索引标识所述第二固定滤波器，以及
所述固定滤波器执行直到第一像素精度水平的插值，所述第二固定滤波器执行用于高于所述第一像素精度水平的其余像素精度水平的插值。
EEE48.根据枚举示例实施例47所述的方法，其中，通过使用所述第一固定滤波器索引，用信令向所述第一固定滤波器表示与所述第一固定滤波器相对应的所有像素精度水平，并且使用所述第二固定滤波器索引，用信令向所述第二固定滤波器表示与所述第二固定滤波器相对应的所有像素精度水平。
EEE49.根据枚举示例实施例43所述的方法，其中，所述独立插值滤波器被适配为通过16位运算使用。
EEE50.根据包含性的枚举示例实施例44或45所述的方法，其中，所述独立插值滤波器被适配为通过16位运算使用。
EEE51.根据枚举示例实施例45所述的方法，其中，用信令向所述至少一个显式滤波器通知与所述至少一个显式滤波器相对应的所有像素精度水平。
EEE52.根据枚举示例实施例50所述的方法，其中，使用与所述至少一个固定滤波器相对应的所述固定滤波器索引，用信令向所述至少一个固定滤波器通知与所述至少一个固定滤波器相对应的所有像素精度水平。
EEE53.根据枚举示例实施例50所述的方法，其中，用信令向所述至少一个显式滤波器通知与所述至少一个显式滤波器相对应的所有像素精度水平。
EEE54.根据枚举示例实施例43所述的方法，其中，根据使用的插值滤波器的类型，推断每个像素精度水平和要在所述精度水平使用的其相应的插值滤波器之间的关系。
EEE55.根据枚举示例实施例43所述的方法，其中，在位流中用信令向所述解码器通知每个像素精度水平和要在所述精度水平使用的其相应的插值滤波器之间的关系。
EEE56.根据包含性的枚举示例实施例42或43所述的方法，其中，从由双线性、Lanczos、双三次、Mitchell-Netravali、基于小波、基于扁带、基于运动补偿时间滤波和显式插值滤波器构成的组中选择独立插值滤波器。
EEE57.根据包含性的枚举示例实施例2或26所述的方法，其中，使用最小二乘估计器获得用于执行去噪滤波的去噪滤波器。
EEE58.根据包含性的枚举示例实施例2或26所述的方法，其中，与所述运动模型参数、所述插值滤波器参数和所述强度补偿参数中的至少一个的估计处理联合获得用于执行去噪滤波的去噪滤波器。
EEE59.根据包含性的枚举示例实施例2或26所述的方法，其中，在完成所述运动模型参数、所述插值滤波器参数和所述强度补偿参数的估计处理之后，获得用于执行去噪滤波的去噪滤波器。
EEE60.根据包含性的枚举示例实施例2、26、58或59中的任一项所述的方法，其中，从由高斯滤波器、中值滤波器和分阶滤波器构成的组中选择用于执行去噪滤波的去噪滤波器。
EEE61.一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包括：
i)对输入图片执行扭曲，以获得第一处理图片；以及
ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。
EEE62.根据枚举示例实施例61所述的方法，还包括：
iii)对所述第二处理图片进行滤波，以获取处理后的参考图片。
EEE63.根据包含性的枚举示例实施例61或62所述的方法，其中，基于所述重构参考图片执行扭曲。
EEE64.根据包含性的枚举示例实施例61-63中的任一项所述的方法，其中，基于运动模型参数和插值滤波器参数执行扭曲。
EEE65.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其中，基于强度补偿参数执行强度补偿。
EEE66.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其中，基于去噪滤波器参数执行去噪滤波。
EEE67.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其中，基于去块滤波器参数执行去块滤波。
EEE68.根据包含性的枚举示例实施例61或62所述的方法，其中，所述重构参考图片是未经过处理的所述参考图片缓冲器中的原始参考图片。
EEE69.根据包含性的枚举示例实施例61或62所述的方法，其中，所述重构参考图片是先前处理过的参考图片。
EEE70.根据包含性的枚举示例实施例61或62所述的方法，其中，所述先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。
EEE71.根据枚举示例实施例70所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
EEE72.根据枚举示例实施例70所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
在本说明书中提及的所有专利和公布可以指示本公开所涉及的本领域技术人员的技术水平。像通过引用单独包含每个参考文献的全部内容一样的程度，通过引用包含在本公开中引用的所有参考文献。
应当理解，本公开不限于特定方法或者系统，特定方法或者系统当然可以变化。还应当理解，这里使用的术语仅用于描述特定实施例的目的，而不旨在进行限制。如在本说明书和所附权利要求中所使用的，除非内容另外清楚地指出，否则单数形式“一”、“一个”和“该”包括复数指代。除非另外定义，否则这里使用的所有科技术语具有与本公开所涉及的本领域普通技术任意通常所理解的相同的含义。
提供上面叙述的示例，以向本领域普通技术任意给出对如何作出并使用本公开的参考处理方法的实施例的完全公开和描述，而不旨在限制发明人视为其公开的内容的范围。视频领域技术人员可以使用上述本公开的实施方式的变形，这些变形旨在所附权利要求的范围内。
描述了本公开的多个实施例。尽管如此，应当理解，可以进行各种变形，而不脱离本公开的精神和范围。相应地，其它实施例在所附权利要求的范围内。
参考文献列表
[1]Advanced video coding for generic audiovisual services,http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent =T-REC-H.264,March2010.
[2]SMPTE421M,“VC-1Compressed Video Bitstream Format andDecoding Process,”April2006.
[3]G.J.Sullivan and T.Wiegand,“Rate-distortion optimization for videocompression,”IEEE Signal Processing Magazine,vol.15,issue6,November1998.
[4]Y. He,B.Feng,S.Yang,Y.Zhong,“Fast Global Motion Estimation forGlobal Motion Compensation Coding,”2001IEEE InternationalSymposium on Circuits and Systems(ISCAS'2001),May2001,Page(s):233-236vol.2.

Claims (38)

1.一种用于对参考图片进行处理的方法，包括：
i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计，以提供运动模型参数；
ii)进一步处理经运动估计后的图片，以获得进一步处理后的参考图片估计值；以及
对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片，
其中：
将所述重构参考图片划分为多个区域，
所述运动估计的执行对所述多个区域提供运动模型参数，以及
对于所述多个区域中的所述重构参考图片的至少一个区域，所述运动估计的执行包括：
对所述重构参考图片的所述至少一个区域应用多个运动模型，以提供与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型；及
根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
2.根据权利要求1所述的方法，其中，所述进一步处理包括：进一步运动估计以及估计插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个；以及对所述重构参考图片应用所述运动模型参数及所述插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个。
3.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
ii)执行进一步运动估计，以提供运动模型参数；以及
iii)根据所述运动模型参数来执行扭曲，以获得扭曲图片；以及
对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片，
其中：
将所述重构参考图片划分为多个区域，
所述进一步运动估计的执行对所述多个区域提供运动模型参数，以及
对于所述多个区域中的所述重构参考图片的至少一个区域，所述进一步运动估计的执行包括：
对所述重构参考图片的所述至少一个区域应用多个运动模型，以提供与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型；及
根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
4.根据权利要求3所述的方法，在迭代之前还包括：
iv)对所述扭曲图片进行滤波，以获得处理后的参考图片，
其中，所述迭代还对iv)进行迭代，由此对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
5.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
ii)执行进一步运动估计，以提供运动模型参数；
iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；
iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及
对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片，
其中：
将所述重构参考图片划分为多个区域，
所述进一步运动估计的执行对所述多个区域提供运动模型参数，以及
对于所述多个区域中的所述重构参考图片的至少一个区域，所述进一步运动估计的执行包括：
对所述重构参考图片的所述至少一个区域应用多个运动模型，以提供与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型；及
根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
6.根据权利要求5所述的方法，在迭代之前还包括：
v)对所述扭曲图片进行滤波，以获得处理后的参考图片，
其中，所述迭代还对iv)和v)进行迭代，由此对i)-v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
7.一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包括：
i)对输入图片执行扭曲，以获得第一处理图片，其中，所述扭曲至少基于从所述编码器接收到的运动模型参数；以及
ii)基于强度补偿参数对所述第一处理后图片应用强度补偿，以获得第二处理图片，
其中：
将所述重构参考图片划分为多个区域，
对于所述多个区域中的所述重构参考图片的至少一个区域，通过对所述重构参考图片的所述至少一个区域应用多个运动模型，在所述编码器处获得从所述编码器接收到的、与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型，根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
8.根据权利要求7所述的方法，还包括：
iii)对所述第二处理图片进行滤波，以获取处理后的参考图片。
9.根据权利要求1-6中的任一项所述的方法，其中，所述重构参考图片包括从参考图片缓冲器中检索到的、在从所述参考图片缓冲器中被检索到之后并且在执行运动估计之前未经任何处理的原始参考图片。
10.根据权利要求1-6中的任一项所述的方法，其中，所述重构参考图片包括先前处理过的参考图片，所述先前处理过的参考图片是在从参考图片缓冲器中被检索到之后并且在执行运动估计之前经过了处理的参考图片。
11.根据权利要求10所述的方法，其中，所述先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。
12.根据权利要求11所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
13.根据权利要求11所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
14.根据权利要求1-6或者权利要求11中的任一项所述的方法，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。
15.根据权利要求1-6或者权利要求11-12中的任一项所述的方法，其中，所述运动估计包括下列中的至少一个：
基于块的运动估计；
频率相关运动估计；
相位相关运动估计；
像素水平运动估计；或者
梯度下降估计。
16.根据权利要求1-8中的任一项所述的方法，其中，对所述重构参考图片的所述至少一个区域应用多个运动模型包括：
对所述至少一个区域应用第一运动模型，以生成第一集合的运动模型参数；以及
对所述至少一个区域应用第二运动模型，以生成第二集合的运动模型参数，
其中，通过所述第一集合的运动模型参数与所述第二集合的运动模型参数的平均值或者加权平均值，获得与所述至少一个区域相关联的运动模型参数。
17.根据权利要求1-8中的任一项所述的方法，其中，通过所述重构参考图片的所述多个区域中的至少第一区域和第二区域的重叠，形成所述重构参考图片的所述至少一个区域，以及其中，对所述重构参考图片的所述至少一个区域应用多个运动模型包括：
对所述第一区域应用第一运动模型，以生成第一集合的运动模型参数；以及
对所述第二区域应用第二运动模型，以生成第二集合的运动模型参数，由此对所述重构参考图片的所述至少一个区域应用所述第一运动模型和所述第二运动模型，
其中，通过所述第一集合的运动模型参数与所述第二集合的运动模型参数的平均值或者加权平均值，获得与所述至少一个区域相关联的运动模型参数。
18.根据权利要求2或权利要求5-8中的任一项所述的方法，其中，仅基于亮度分量得出所述强度补偿参数中的至少一个。
19.根据权利要求2或权利要求5-8中的任一项所述的方法，其中，仅基于亮度分量得出第一强度补偿参数，并且基于所述第一强度补偿参数得出第二强度补偿参数。
20.一种用于对参考图片进行处理的设备，包括：
i)用于基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计以提供运动模型参数的装置；
ii)用于进一步处理经运动估计后的图片以获得进一步处理后的参考图片估计值的装置；以及
用于对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片的装置，
其中：
将所述重构参考图片划分为多个区域，
所述运动估计的执行对所述多个区域提供运动模型参数，以及
对于所述多个区域中的所述重构参考图片的至少一个区域，所述运动估计的执行包括：
对所述重构参考图片的所述至少一个区域应用多个运动模型，以提供与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型；及
根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
21.根据权利要求20所述的设备，其中，所述用于进一步处理经运动估计后的图片以获得进一步处理后的参考图片估计值的装置包括：用于进一步运动估计以及估计插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个的装置；以及用于对所述重构参考图片应用所述运动模型参数及所述插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个的装置。
22.一种迭代设备，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述设备包括：
i)用于基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计的装置；
ii)用于执行进一步运动估计，以提供运动模型参数的装置；以及
iii)用于根据所述运动模型参数来执行扭曲，以获得扭曲图片的装置；以及
用于对i)-iii)中的处理进行迭代的装置，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片，
其中：
将所述重构参考图片划分为多个区域，
所述进一步运动估计的执行对所述多个区域提供运动模型参数，以及
对于所述多个区域中的所述重构参考图片的至少一个区域，所述进一步运动估计的执行包括：
对所述重构参考图片的所述至少一个区域应用多个运动模型，以提供与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型；及
根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
23.根据权利要求22所述的设备，在迭代之前还包括：
iv)用于对所述扭曲图片进行滤波，以获得处理后的参考图片的装置，其中，所述迭代还对iv)中的处理进行迭代，由此对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
24.一种迭代设备，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述设备包括：
i)用于基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计的装置；
ii)用于执行进一步运动估计，以提供运动模型参数的装置；
iii)用于对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个的装置；
iv)用于根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片的装置；以及
用于对i)-iv)中的处理进行迭代的装置，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片，
其中：
将所述重构参考图片划分为多个区域，
所述进一步运动估计的执行对所述多个区域提供运动模型参数，以及
对于所述多个区域中的所述重构参考图片的至少一个区域，所述进一步运动估计的执行包括：
对所述重构参考图片的所述至少一个区域应用多个运动模型，以提供与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型；及
根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
25.根据权利要求24所述的设备，在迭代之前还包括：
v)用于对所述扭曲图片进行滤波，以获得处理后的参考图片的装置，其中，所述迭代还对iv)和v)中的处理进行迭代，由此对i)-v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
26.一种解码设备，所述解码设备用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述设备包括：
i)用于对输入图片执行扭曲以获得第一处理图片的装置，其中，所述扭曲至少基于从所述编码器接收到的运动模型参数；以及
ii)用于基于强度补偿参数对所述第一处理后图片应用强度补偿，以获得第二处理图片的装置，
其中：
将所述重构参考图片划分为多个区域，
对于所述多个区域中的所述重构参考图片的至少一个区域，通过对所述重构参考图片的所述至少一个区域应用多个运动模型，在所述编码器处获得从所述编码器接收到的、与所述重构参考图片的所述至少一个区域相关联的运动模型参数，其中，对所述重构参考图片的所述至少一个区域单独应用所述多个运动模型中的每个运动模型，根据失真要求对于所述至少一个区域确定一个或多个运动模型，其中，当对于所述处理后的参考图片的区域确定两个或更多个运动模型时，通过使用所确定的两个或更多个运动模型中的每一个运动模型估计的运动矢量的平均值或者加权平均值，生成基于所述处理后的参考图片的所述区域对后续图片的所述区域的预测。
27.根据权利要求26所述的设备，还包括：
iii)用于对所述第二处理图片进行滤波，以获取处理后的参考图片的装置。
28.根据权利要求20-25中的任一项所述的设备，其中，所述重构参考图片包括从参考图片缓冲器中检索到的、在从所述参考图片缓冲器中被检索到之后并且在执行运动估计之前未经任何处理的原始参考图片。
29.根据权利要求20-25中的任一项所述的设备，其中，所述重构参考图片包括先前处理过的参考图片，所述先前处理过的参考图片是在从参考图片缓冲器中被检索到之后并且在执行运动估计之前经过了处理的参考图片。
30.根据权利要求29所述的设备，其中，所述先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。
31.根据权利要求30所述的设备，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
32.根据权利要求30所述的设备，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
33.根据权利要求20-25或者权利要求30中的任一项所述的设备，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。
34.根据权利要求20-25或者权利要求30-31中的任一项所述的设备，其中，所述运动估计包括下列中的至少一个：
基于块的运动估计；
频率相关运动估计；
相位相关运动估计；
像素水平运动估计；或者
梯度下降估计。
35.根据权利要求20-27中的任一项所述的设备，其中，对所述重构参考图片的所述至少一个区域应用多个运动模型包括：
对所述至少一个区域应用第一运动模型，以生成第一集合的运动模型参数；以及
对所述至少一个区域应用第二运动模型，以生成第二集合的运动模型参数，
其中，通过所述第一集合的运动模型参数与所述第二集合的运动模型参数的平均值或者加权平均值，获得与所述至少一个区域相关联的运动模型参数。
36.根据权利要求20-27中的任一项所述的设备，其中，通过所述重构参考图片的所述多个区域中的至少第一区域和第二区域的重叠，形成所述重构参考图片的所述至少一个区域，以及其中，对所述重构参考图片的所述至少一个区域应用多个运动模型包括：
对所述第一区域应用第一运动模型，以生成第一集合的运动模型参数；以及
对所述第二区域应用第二运动模型，以生成第二集合的运动模型参数，由此对所述重构参考图片的所述至少一个区域应用所述第一运动模型和所述第二运动模型，
其中，通过所述第一集合的运动模型参数与所述第二集合的运动模型参数的平均值或者加权平均值，获得与所述至少一个区域相关联的运动模型参数。
37.根据权利要求21或权利要求24-27中的任一项所述的设备，其中，仅基于亮度分量得出所述强度补偿参数中的至少一个。
38.根据权利要求21或权利要求24-27中的任一项所述的设备，其中，仅基于亮度分量得出第一强度补偿参数，并且基于所述第一强度补偿参数得出第二强度补偿参数。
CN201180035727.8A 2010-07-21 2011-07-20 使用用于视频编码的高级运动模型的参考处理 Expired - Fee Related CN103026707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36651710P 2010-07-21 2010-07-21
US61/366,517 2010-07-21
PCT/US2011/044755 WO2012012582A1 (en) 2010-07-21 2011-07-20 Reference processing using advanced motion models for video coding

Publications (2)

Publication Number Publication Date
CN103026707A CN103026707A (zh) 2013-04-03
CN103026707B true CN103026707B (zh) 2016-11-09

Family

ID=44453784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180035727.8A Expired - Fee Related CN103026707B (zh) 2010-07-21 2011-07-20 使用用于视频编码的高级运动模型的参考处理

Country Status (5)

Country Link
US (1) US9241160B2 (zh)
EP (2) EP2596636A1 (zh)
JP (1) JP5606625B2 (zh)
CN (1) CN103026707B (zh)
WO (1) WO2012012582A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
WO2013009716A2 (en) 2011-07-08 2013-01-17 Dolby Laboratories Licensing Corporation Hybrid encoding and decoding methods for single and multiple layered video coding systems
FR2980942A1 (fr) * 2011-09-30 2013-04-05 France Telecom Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US9729870B2 (en) * 2012-01-31 2017-08-08 Apple Inc. Video coding efficiency with camera metadata
WO2013144144A1 (en) * 2012-03-30 2013-10-03 Panasonic Corporation Syntax and semantics for adaptive loop filter and sample adaptive offset
US9031357B2 (en) * 2012-05-04 2015-05-12 Microsoft Technology Licensing, Llc Recovering dis-occluded areas using temporal information integration
CN103686194B (zh) * 2012-09-05 2017-05-24 北京大学 基于非局部均值的视频去噪方法和装置
SG11201500311XA (en) * 2012-09-28 2015-02-27 Intel Corp Inter-layer pixel sample prediction
US10334259B2 (en) 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9596465B2 (en) * 2013-01-04 2017-03-14 Intel Corporation Refining filter for inter layer prediction of scalable video coding
US20140244798A1 (en) * 2013-02-27 2014-08-28 Cisco Technology, Inc. TCP-Based Weighted Fair Video Delivery
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
AU2013213660A1 (en) * 2013-08-06 2015-02-26 Canon Kabushiki Kaisha Method for printing an upscaled image
CN105874789B (zh) * 2014-01-29 2019-10-29 联发科技股份有限公司 利用自适应运动向量精度的方法
WO2015131387A1 (en) * 2014-03-07 2015-09-11 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
US9275468B2 (en) * 2014-04-15 2016-03-01 Intel Corporation Fallback detection in motion estimation
CN104010114B (zh) * 2014-05-29 2017-08-29 广东威创视讯科技股份有限公司 视频去噪方法和装置
KR20170035832A (ko) * 2014-07-18 2017-03-31 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 콘텐츠 전송 방법
US20160080771A1 (en) * 2014-09-17 2016-03-17 Mediatek Inc. Motion compensation apparatus having at least one processing circuit shared by normal mode and resized reference frame mode and related motion compensation method
US10102613B2 (en) * 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
EP3259920A1 (en) 2015-02-19 2017-12-27 Magic Pony Technology Limited Visual processing using temporal and spatial interpolation
GB201604672D0 (en) * 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN108600749B (zh) 2015-08-29 2021-12-28 华为技术有限公司 图像预测的方法及设备
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
WO2017087751A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
US10194170B2 (en) 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
US10257449B2 (en) * 2016-01-05 2019-04-09 Nvidia Corporation Pre-processing for video noise reduction
JP6727902B2 (ja) * 2016-04-22 2020-07-22 日本放送協会 参照フレーム生成装置、動き推定装置、及びプログラム
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
US10225573B1 (en) * 2017-01-31 2019-03-05 Google Llc Video coding using parameterized motion models
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
US11917128B2 (en) 2017-08-22 2024-02-27 Google Llc Motion field estimation based on motion trajectory derivation
JP6905093B2 (ja) * 2017-08-22 2021-07-21 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 映像コーディングにおける動き補償予測のオプティカルフロー推定
US11284107B2 (en) * 2017-08-22 2022-03-22 Google Llc Co-located reference frame interpolation using optical flow estimation
US10659788B2 (en) 2017-11-20 2020-05-19 Google Llc Block-based optical flow estimation for motion compensated prediction in video coding
CN116744018A (zh) 2017-08-29 2023-09-12 Sk电信有限公司 视频编码方法、视频解码方法和传输比特流的方法
KR102580910B1 (ko) * 2017-08-29 2023-09-20 에스케이텔레콤 주식회사 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US11025950B2 (en) * 2017-11-20 2021-06-01 Google Llc Motion field-based reference frame rendering for motion compensated prediction in video coding
CN109922347A (zh) * 2017-12-13 2019-06-21 财团法人工业技术研究院 视频编译码方法及其图像处理装置
US20190246114A1 (en) 2018-02-02 2019-08-08 Apple Inc. Techniques of multi-hypothesis motion compensation
US11924440B2 (en) 2018-02-05 2024-03-05 Apple Inc. Techniques of multi-hypothesis motion compensation
US11477474B2 (en) * 2018-06-08 2022-10-18 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
EP3888363B1 (en) * 2018-12-28 2023-10-25 Huawei Technologies Co., Ltd. Method and apparatus of sharpening interpolation filtering for predictive coding
JP7176094B2 (ja) * 2019-03-11 2022-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び符号化方法
EP3709648A1 (en) * 2019-03-12 2020-09-16 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with subblock based local illumination compensation
CN117459718A (zh) 2019-04-01 2024-01-26 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN117395411A (zh) 2019-08-20 2024-01-12 北京字节跳动网络技术有限公司 用于视频处理的方法、装置以及计算机可读存储介质
US11343495B2 (en) * 2020-06-03 2022-05-24 Tencent America LLC Methods of simplification of temporal filtering

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720730A (zh) * 2002-12-04 2006-01-11 汤姆森许可贸易公司 利用加权预测对视频交叉衰落进行编码

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703350A (en) * 1985-06-03 1987-10-27 Picturetel Corporation Method and apparatus for efficiently communicating image sequences
JPH09224252A (ja) * 1996-02-16 1997-08-26 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法・復号方法および符号化装置・復号装置
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP2914448B2 (ja) * 1997-06-25 1999-06-28 日本電信電話株式会社 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体
US20040091047A1 (en) * 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
US9532069B2 (en) * 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US8160144B1 (en) * 2006-05-10 2012-04-17 Texas Instruments Incorporated Video motion estimation
CN101491099B (zh) * 2006-07-11 2011-09-21 汤姆森特许公司 使用虚拟参考画面的方法及装置
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
EP2094625A1 (en) 2006-12-21 2009-09-02 Hammersmith Imanet, Ltd Radiolabelling methods
DE102007015998A1 (de) 2007-04-03 2008-10-09 Zf Friedrichshafen Ag Anordnung eines Zahnrades auf einer Hauptwelle eines Getriebes
KR20090095012A (ko) 2008-03-04 2009-09-09 삼성전자주식회사 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
GB2459272A (en) 2008-04-15 2009-10-21 Element Six Diamond enhanced carbide type materials
CN102160384A (zh) 2008-09-24 2011-08-17 索尼公司 图像处理设备和方法
US20100215104A1 (en) * 2009-02-26 2010-08-26 Akira Osamoto Method and System for Motion Estimation
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US9369712B2 (en) 2010-01-14 2016-06-14 Dolby Laboratories Licensing Corporation Buffered adaptive filters
HUE026534T2 (en) * 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720730A (zh) * 2002-12-04 2006-01-11 汤姆森许可贸易公司 利用加权预测对视频交叉衰落进行编码

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Motion and aliasing-compensated prediction using a Two-Dimensional Non-Separable Adaptive Wiener Interpolation Filter;VATIS Y ET AL;《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》;20050911;第2卷;全文 *
MOTION AND ILLUMINATION VARIATION ESTIMATION USING A HIERARCHY OF MODELS:APPLICATION TO IMAGE SEQUENCE CODING;NICOLAS H ET AL;《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》;19951201;第6卷(第4期);第306-316页 *

Also Published As

Publication number Publication date
CN103026707A (zh) 2013-04-03
JP2013535901A (ja) 2013-09-12
JP5606625B2 (ja) 2014-10-15
WO2012012582A1 (en) 2012-01-26
US20130121416A1 (en) 2013-05-16
US9241160B2 (en) 2016-01-19
EP2596636A1 (en) 2013-05-29
EP2675163A1 (en) 2013-12-18

Similar Documents

Publication Publication Date Title
CN103026707B (zh) 使用用于视频编码的高级运动模型的参考处理
Liang et al. Vrt: A video restoration transformer
US11240496B2 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
US9781443B2 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
CN101379827B (zh) 基于边缘的时空滤波方法和装置
CN102450009A (zh) 在视频应用中用于视频预处理的滤波器选择
US8526488B2 (en) Video sequence encoding system and algorithms
CN102714726B (zh) 使用元数据的用于时间缩放的边缘增强
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
CN103210645B (zh) 使用运动补偿的基于实例的超分辨率的视频解码
CN108293125A (zh) 一种数字图像处理系统和方法
JP2014523698A (ja) 画像の輝度成分を用いて画像の色差成分を予測する方法及び予測装置
CN110741640A (zh) 用于视频代码化中的运动补偿预测的光流估计
CN102598660A (zh) 用于多层视频传输的自适应内插滤波器
US20150189276A1 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs therefor
CN108289224B (zh) 一种视频帧预测方法、装置及自动补偿神经网络
CN104081436A (zh) 用于针对视觉数据压缩的像素预测的方法和设备
CN101674478B (zh) 基于压缩域的视频超分辨率方法
KR20140010174A (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램
Murn et al. Improved CNN-based learning of interpolation filters for low-complexity inter prediction in video coding
CN110100437A (zh) 用于有损视频编码的混合域协作环路滤波器
US11330269B2 (en) Moving image coding device, moving image coding method and moving image coding program
Zhu et al. Deep inter prediction via reference frame interpolation for blurry video coding
Sinha et al. Deep Video Compression using Compressed P-Frame Resampling
JP4763241B2 (ja) 動き予測情報検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180627

Address after: No. 18, Wu Sha seashore road, Changan Town, Dongguan, Guangdong

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: California, USA

Patentee before: DOLBY LABORATORIES LICENSING Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109