CN102742269A - 使用非对称样本的用于图像和视频增强的滤波 - Google Patents

使用非对称样本的用于图像和视频增强的滤波 Download PDF

Info

Publication number
CN102742269A
CN102742269A CN2011800080227A CN201180008022A CN102742269A CN 102742269 A CN102742269 A CN 102742269A CN 2011800080227 A CN2011800080227 A CN 2011800080227A CN 201180008022 A CN201180008022 A CN 201180008022A CN 102742269 A CN102742269 A CN 102742269A
Authority
CN
China
Prior art keywords
group
image
sample
filtering
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800080227A
Other languages
English (en)
Other versions
CN102742269B (zh
Inventor
佩沙拉·V·帕哈拉瓦达
亚历山德罗斯·图拉皮斯
阿萨纳西奥斯·莱昂塔里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102742269A publication Critical patent/CN102742269A/zh
Application granted granted Critical
Publication of CN102742269B publication Critical patent/CN102742269B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Abstract

描述了用较高质量的图像或图像序列对较低质量的图像或图像序列进行滤波的方法及设备。

Description

使用非对称样本的用于图像和视频增强的滤波
对相关申请的交叉引用
本申请要求于2010年2月1日提交的美国专利临时申请No.61/300,115的优先权，其全部内容通过引用合并到本申请中。
技术领域
本公开涉及图像和视频滤波领域。更具体地，本公开涉及使用非对称样本的用于图像和视频增强的滤波。本公开的可能应用包括被开发用于可分级和不可分级全分辨率三维（3D）立体视频传输的产品。本公开的教导还可以用在可以包括空间或时间可分级性的产品中，包括对隔行扫描素材进行编码的系统。
附图说明
图1示出了多层3D视频编码系统。
图2示出了后处理模块的输入和输出。
图3示出了非对称质量视频编码系统中的使用由编码器传输的可选滤波器信息的后处理的实施方式。
图4示出了当增强层包含具有与基本层的样本质量不同的质量的样本时或当基本层和/或基本层自身具有不同质量的样本时，用于交织的图像的后处理的实施方式。
图5示出了环路（in-loop）非对称样本滤波器的示例。
图6示出了用于处理非对称质量样本的多假设滤波器和组合器的示例。
图7示出了用于对非对称质量样本进行滤波的频域方法。
图8示出了针对时间可分级性应用的后处理。
图9示出了针对时间可分级性应用的基于MCTF的后处理。
图10与图11示出了应用于两个或更多个不同组样本的单个编码处理的示例。
具体实施方式
根据第一方面，提供了一种用于处理图像或图像序列的样本的方法，包括：通过第一编码处理对第一组样本进行编码；通过第二编码处理对第二组样本进行编码；以及将第一组的已编码样本与来自第二组的已编码样本的信息进行组合，以增强第一组的已编码样本。
根据第二方面，提供了一种用于处理图像或图像序列的样本的方法，包括：通过第一编码处理对第一组样本进行编码；通过第二编码处理对第二组样本进行编码；对第一组的已编码样本进行解码；对第二组的已编码样本进行解码；以及将第一组的已解码样本与来自第二组的已解码样本的信息进行组合，以增强第一组的已解码样本。
根据第三方面，提供了一种用于在解码之后对图像或图像序列进行后处理的方法，包括：提供多个已解码图像或图像序列；以及使用来自所述多个已解码图像或图像序列中的其他已解码图像或图像序列的信息来增强所述多个已解码图像或图像序列中的一个或更多个已解码图像或图像序列。
根据第四方面，提供了一种用于处理图像的方法，包括：对第一组图像进行编码；对第二组图像进行编码，其中，第一组和第二组与图像特征相关联，第二组的图像特征具有与第一组的图像特征的值不同的值；以及使用来自第二组的已重构图像对第一组中的已重构图像进行滤波。
根据第五方面，提供了一种对已解码图像进行后处理的方法，包括：提供具有第一图像特征的第一组已解码图像；提供具有不同于第一图像特征的第二图像特征的第二组已解码图像；对第二组进行滤波；以及将第一组与经滤波的第二组进行组合。
根据第六方面，提供了一种用于处理图像的方法，包括：对具有第一图像特征的第一组图像进行编码；对具有优于第一图像特征的第二图像特征的第二组图像进行编码；对已编码第一组图像和已编码第二组图像进行频率变换；使用来自经频率变换的一组已编码图像的信息来对经频率变换的另一组已编码图像进行标准化；将标准化的经频率变换的一组已编码图像与经频率变换的另一组已编码图像进行组合；以及对组合的所述各组图像进行逆变换。
根据第七方面，提供了一种用于在时域处理图像的方法，包括：提供与具有第二质量的第二组图像在时间上交织的具有第一质量的第一组图像，其中，第二质量高于第一质量；以及通过使用第二组的图像中的一个或更多个图像对第一组的图像进行滤波来增强第一组的图像。
根据第八方面，提供了一种用于处理图像或图像序列的样本的方法，包括：通过第一处理对第一组样本进行处理；通过第二处理对第二组样本进行处理；对经处理的样本进行编码；以及将第一组的已编码样本与来自第二组的已编码样本的信息进行组合，以增强第一组的已编码样本。
根据第九方面，提供了一种用于处理图像或图像序列的样本的方法，包括：将样本分成两个或更多个区域；对样本进行编码，以使得不同区域中的样本包含不同的特征；以及组合已编码样本，以使得使用来自一个或更多个区域的信息来增强其他区域的已编码样本。
在本申请的说明书、附图和权利要求中，提供了本公开的另外的实施方式。
在图像和视频压缩中，许多情况都可以导致压缩内容的不同样本之间的非对称质量的状态。可分级视频传输、隔行扫描视频编码和3D或多视点视频编码是导致以下处理的一些示例应用：在该处理中，压缩图像或序列的一些样本的质量可以明显地不同于同一图像或序列的其他样本的质量。
本公开的实施方式涉及用于在图像或序列的非对称质量样本之间进行滤波以使得通过滤波或后处理使用来自图像或序列中的其他较高质量样本的信息来增强较低质量样本的方法。换言之，通过使用来自较高质量样本的信息进行滤波来改善较低质量的样本。根据本公开的另外的实施方式，还公开了如下滤波方法：其中，对于包含有特定数量的期望或选择的特征（如，频率）的样本，使用包含有不同（通常较高）数量的上述期望或选择的特征来进行滤波。
如果需要，可以测量质量（或更一般的信息）。例如，存在大量的可以用于测量图像/视频质量的客观质量度量标准。可替代地，可以通过发信号与分析的组合来通过信号通知或提供该信息。作为示例，信号可以提供关于以下的信息：非对称性确切地是什么并且如何可以对其进行测量；以及什么是待增强的区域等。例如，在给定什么是区域的一些粗略的定义的情况下，可以测量浓淡不均（blockiness）或一些其他失真，然后可以确定样本之间的差别或非对称性以及要如何处理这样的信息。
在可分级视频传输[见J.R.Ohm,″Advances in Scalable VideoCoding,″Proc.of the IEEE,vol.93,no.1,January 2005，其全部内容通过引用合并到本申请中]中，基本层比特流通常是以较低的质量/分辨率/视点数量（在多视点编码中）/位深等进行编码的。然后，添加一个或更多个增强层比特流，使得取决于所使用的可分级性的类型在信噪比（SNR）、分辨率、视点数量或位深方面提高视频的总体质量。在一些情况下，增强层比特流可以包含没有包含在基本层中的样本的信息。例如，如果将一个或更多个增强层用于时间分辨率增强，则每个新的增强层可以给图像序列添加一个或更多个新的图片，同时还维持现有的基本层样本。此外，一般地，每个增强层可以包含样本的信息，以使得：当被解码时，来自每个增强层的已解码样本的质量（在SNR、分辨率等方面）可以明显地不同于已解码序列的基本层和其他层的样本质量。
根据本公开的一种实施方式，提供了用于在可分级图像/视频编解码中的不同层的样本之间进行滤波的方法，其中，使用来自以较高质量编码的层的信息来增强以较低质量编码的层。
在本公开的另外的实施方式中，在隔行扫描视频编码中采用了非对称质量样本之间的滤波。在该情况下，已编码图像序列包括以帧速率的两倍的速率进行交变的场，其中，例如，每个场在不同的时刻对应于原始全分辨率图像的奇数行或偶数行。然后，在回放或显示设备上对图像进行“去隔行扫描”。以下是可能的：视频编解码器可以选择使用不同的编码参数对奇数/偶数场进行编码，这导致了场之间的非对称质量。在该情况下，可以使用如在本公开中描述的那些滤波方法来增强视频的较低质量场或最终的去隔行扫描后的图像。因此，处理和增强可以仅发生在较低质量样本上，或可以发生在较低质量样本和较高质量样本两者上。
除了与2D图像的偶数/奇数行对应的场，可以将与上述概念类似的概念应用于3D或多视点视频编码，其中，每个场在给定时刻包括来自一个视点的信息。在另外的实施方式中，可以使用帧兼容性的交织格式来对3D或多视点图像进行编码，作为交织图像。例如，棋盘式、逐行式、并排式、上下式是将两个立体3D视点交织成一个左/右交织图像用于传输的一些技术。再次，在这些情况中的每种情况下，视点之间可能出现类似情况的非对称质量。
本公开的另外的实施方式属于3D立体或多视点视频的可分级传输的领域。在该情况下，可以对来自每个视点的原始全分辨率图像进行子采样，然后，可以对子采样的视点进行交织以形成“帧兼容性”基本层图像以用于通过现有视频传输管道来传送和显示的目的[见2009年7月4日提交的题为“Encoding And Decoding Architectures For Format Compatible 3DVideo Delivery”的美国临时申请No.61/223,027”，其全部内容通过引用合并到本申请中]。
在该情况下，可以通过添加可以提供帮助重构基本层的缺失样本的信息的一个或更多个增强层，来使得能够传输全分辨率视频（见图1）。如在图1中所示，可能需要在进行子采样以创建每个层的较低分辨率样本之前对原始全分辨率图像进行滤波，以减小如混淆等失真并且提高压缩效率。但是，在每个阶段使用的滤波器可以是不同的。例如，由于可以通过传统的显示设备将基本层样本插值成全分辨率，所以对于基本层，可能需要更加有力（aggressive）的滤波。因为增强层可以利用已经编码的基本层，所以每个阶段的视频编码参数也可以不同[见2009年4月20日提交的题为“Directed Interpolation And Data Post-Processing”的美国临时申请No.61/170,995，其全部内容通过引用合并到本申请中]。从而，在编码失真、频率特性和视觉质量方面，每个层的样本可以是不对称的。
根据本公开的一种实施方式，图像质量增强可以作为应用于视频解码器的已解码图像的后处理而发生。图2示出了根据本实施方式的示例性后处理模块的基本输入和输出。来自处理0,1，...N的输入图像样本可以是，作为示例而非限制，来自可分级比特流中的不同层、隔行扫描比特流中的不同场或多视点编码比特流中的不同视点的已解码图像。在一种实施方式中，后处理模块还可以将如滤波器类型和滤波器参数等作为输入附加信息用于后处理。可以在以下级别指定参数与滤波器：序列或图像级；区域级，如像素块、图像片段等；或在极端情况下，像素级。该附加信息可以是特定于处理的并且来自具体的处理0,1，…N，或可以是非特定于处理的。该附加信息可以在编码器处生成并且连同编码比特流一起传送。
图3示出了本公开的另外的实施方式，其中，图像序列在进行后处理之前经历多个不同的预处理和编码阶段。每个阶段可以应用于该序列的不同的空间区域或时间区域。但是，取决于所进行的编码的类型，每个阶段的空间和时间区域还可以交叠。如图3中所示，可以在每个编码阶段生成附加信息，其可以辅助后处理器来确定待应用的滤波的类型，以增强已解码视频的最终质量。该附加信息可以是关于滤波器类型、待使用的滤波器参数、待滤波的区域等的详细信息，其可以有助于减小后处理模块的复杂度。在另一种实施方式中，该附加信息可以是关于在编码的每个阶段所使用的编码参数的信息，比如使用的量化步长、运动估计的精度（如，半像素，四分之一像素）、是否使用环路滤波如解块等。然后，后处理器可以使用该附加信息来确定需要对已解码图像执行的滤波的类型和数量。更一般地，将包含有某种信息的样本与包含有不同种类的信息的样本进行组合。在组合之前，可以进行第一组、第二组或两组样本的滤波。
例如，在如图1所示的可分级性3D视频编码的情况下，后处理器可以从被子采样的基本层和增强层接收已解码图像作为输入，并且在对来自每层的样本进行滤波后输出全分辨率图像。在该情况下，基本层被左/右交织，并且可以使用第一增强层来重构为了创建基本层而丢弃的像素。例如，在逐行交织的情况下，可以将左视点的偶数行和右视点的奇数行编码在基本层中，而将左视点的奇数行和右视点的偶数行编码在第一增强层中。在棋盘式交织的情况下，可以对其行与列求和为偶数（左视点）对奇数（右视点）的像素进行与在逐行交织的情况下相同的处理。在并排的情况下，基本层可以包含左视点的偶数列和右视点的奇数列，增强层可以包含左视点的奇数列和右视点的偶数列，以及在上/下的情况下，可以对图像的行进行与在并排情况下相同的处理。注意，上述样本位置是示例性方案，并且，在上面交织情况中的每种情况下还可以使用其他采样方法。在不同的实施方式中，可以对原始样本进行滤波，以使得基本层包含来自原始数据的低频信息并且增强层包含高频信息。在一些其他实施方式中，预处理阶段可以在每个层对跨越多个视点的样本进行滤波。在所有这些情况下，增强层编码器可以使用来自基本层的信息，以提高增强层比特流的压缩效率。还可以在基本层和增强层编码器处生成可以给后处理模块提供附加信息的附加数据。例如，关于区域的信息可以包括：用于对各区域进行编码的编码参数；它们之间的区别是什么；如何最佳地进行后处理；运动的规律等。这样的信息还可以包括后处理元数据，如关于区域的信息、它们之间的区别是什么以及如何最佳地进行后处理等。在可分级2D应用中也可以考虑类似的处理。
如图4中所示，针对具有一个增强层的并排格式化立体对的具体实施方式，用作后处理模块的非对称质量样本滤波器将L+/R-交织的已解码基本层和L-/R+交织的已解码增强层作为输入。图4的后处理模块包括使用已解码增强层样本来生成与基本层样本协同定位的一组已处理值的移相器。然后，组合基本层样本和已处理的增强层样本，以形成新增强的基本层。具体地，发送给组合器的参数可以用来确定布置在每组样本中的置信度，其又可以用于确定用于组合基本层样本和已处理的增强层样本的权重/系数。该组合可以取决于增强层与基本层之间的关系。例如，如果应用并排3D，则通过水平地交织样本来进行组合。如果应用行交织或上下3D，则竖直地交织样本。然后，可以对已处理的基本层和已解码的增强层进行复合，以生成全分辨率左视点和右视点输出，其中，已经通过使用相邻的增强层样本作为引导来对与基本层位置对应的样本进行了进一步的处理。本领域的技术人员应当理解，相同的概念可以应用于在使用已处理的基本层样本来进一步提高增强层的质量的情况。此外，该概念可以应用于非立体空间可分级应用，其中，基本层包含以较低分辨率采样的图像或序列，增强层包含有助于将图像提升至全分辨率的样本。相同的概念还可以用在可使用不止一个增强层的情况下以及使用隔行扫描编码而非可分级编码的情况下。尽管图4的实施方式对相移做出了具体的提及，但是本领域的技术人员应当理解，可以使用其他类型的滤波，比如平滑、锐化、相移、频域滤波等。
在本公开的另一种实施方式中，可以执行非对称样本之间的滤波作为编码回路的一部分（见图5）。在该情况下，可以以低质量对一组样本进行编码（见编码处理0），并且，可以以较高质量对另一组样本进行编码（见编码处理1）。然后，可以使用非对称质量滤波器来组合每组中的已重构样本。然后，作为另一个编码处理，可以对非对称质量滤波器的输出进行编码（如，可以对来自非对称质量滤波器的已重构样本与原始样本之间的残差进行编码，见编码处理2），并且将其传送给解码器。如果期望，则可以将附加于已编码图像的信息比如滤波器参数、区域信息等传送给解码器。该信息可以以外部信号的形式来传送，作为基本流的一部分（如，作为辅助增强信息消息）嵌入在比特流中、嵌入在输送流中或甚至可以以图像/视频水印的形式隐藏在比特流中。该方案例如可以用在如图1所示的可选第二增强层中。在该情况下，可以基于用于每个层使用的编码参数和已重构图像的特性来使用非对称质量滤波器对基本层和第一增强层的输出进行滤波。然后，可以对来自非对称质量滤波器的滤波输出与原始图像样本之间的残差进行编码，作为可选的第二增强层。
图6示出了另一种的实施方式，其中，使用多假设滤波器和组合器，以便使用来自一组较高质量样本的信息来增强一组样本的质量。多假设滤波器是可以生成N个不同的可替选滤波器输出或假设的滤波器，随后可以选择N个不同的可替选滤波器输出或假设中的一个或更多个。滤波器F1、…、FN可以具有不同的类型，并且可以包括：水平、竖直或对角线滤波器；使用相邻样本的不可分滤波器；双边滤波器等。可以在这种情况下使用在变换域中进行滤波的超完备方法。参见例如O.G.Guleryuz,″Weighted Averaging for Denoising with Overcomplete Dictionaries,″IEEE Trans，on Image Processing,vol.16,no.12,2007,pp.3020-3034，其全部内容通过引用合并到本申请中。在给定内容特性和交叠关系的情况下，超完备方法进行不同的交叠区域的变换，然后对所有变换的区域的频率信息进行检查、找出关系并且在所有区域范围内进行滤波。这些滤波器用来使用包含在较高质量样本中的信息来生成单独的经滤波的样本组。
根据一些实施方式，可以将经滤波的样本生成为与较低质量样本协同定位。在该情况下，可以使用来自高质量样本的信息来获得对位于每个位置处的样本的估计，上述每个位置当前被使用低质量编码处理来编码的样本占据。然后，可以将该估计与现有低质量样本进行组合，以形成输出。根据其他实施方式，包含有一种信息的样本不与包含有其他种类信息的样本协同定位（如，处于稍微不同的相位）。例如，在如图4中示出的系统的情况下，滤波器可以是尝试使用高质量层中的可用样本来重构该层中缺失的样本的插值滤波器。在一种实施方式中，可以将多假设滤波器中待使用的该组滤波器或滤波器参数作为附加数据通过信号通知给非对称质量样本滤波器。
此外，可以将从其他插值方案生成的样本用作多假设滤波器中的假设，上述其他插值方案比如：在2008年12月25日提交的题为“ContentAdaptive Sampling Rate Conversion For Interleaving And DeinterleavingOf Images”的美国临时申请No.61/140,886中描述的方法，其全部内容通过引用合并到本申请中；图像修复（见T.F.Chan和J.Shen,″Mathematical models for local nontexture inpaintings″，SIAM Journalof Applied Mathematics,vol.62,no.3,pp.1019-1043,2002，其全部内容通过引用合并到本申请中）；小波；轮廓波（Contourlet）；以及Bandlet上采样技术（参见S.Mallat和G.Peyre,″A review of bandlet methods forgeometrical image representation,″Numerical Algorithms,vol.44,no.3,pp.205-234，其全部内容通过引用合并到本申请中）。
此外，在一种实施方式中，可以提供用于对亮度样本进行滤波的一组滤波器和用于对色度样本进行滤波的另一组滤波器。在相关的方案中，虽然不同，但是色度滤波器参数可以从亮度滤波器的参数中推断出来。例如，如果相比亮度而言色度是以较低的分辨率采样的，则可以将具有类似特性但不同支持度（support）的滤波器用于亮度与色度分量。
除了经滤波的样本值以外，在图6中示出的多假设设计中的每个滤波器还可以确定经滤波的样本的置信度值。例如，可以测量置信度，作为经滤波的样本与在滤波器支持度比如滤波器长度或抽头内的样本之间的差测量值。在一种实施方式中，差测量值可以是均方差，或者，在另一种实施方式中，可以使用平均绝对差来减小计算复杂度。差测量值可以在源内容的原始颜色空间中计算，或基于不同的颜色空间如显示器的颜色空间来计算，或基于两者的组合。在一种实施方式中，位于支持度内的所有样本都可以用于测量置信度，或者，在另一种实施方式中，可以对支持区域进行子采样，并且，可以使用子采样的值来计算上述差。
此外，在另一种实施方式中，可以针对不同的样本对距离测度不同地进行加权。例如，相比较与经滤波的样本紧邻的样本，可以较小地加权离经滤波的样本更远的样本。在另一种实施方式中，在对图像的多个色度和亮度分量进行了滤波后，可以组合如上述计算的置信度，以形成用于滤波器的组合置信度值。在另一种实施方式中，可以基于所求得的在先前滤波的亮度或色度分量中具有高置信度的滤波器，来预测用于图像的具体的亮度或色度分量的滤波器组或滤波器参数组。例如，可以使用更加复杂的边缘自适应滤波器来生成用于图像的第一分量的假设。然后，基于所求得的在第一分量中具有最高置信度的边缘方向（如，使得经滤波的值与滤波器支持度之间的差测量值的和最小的方向），可以将沿着位于在第一分量中求得的给定的边缘最大角度内的方向进行插值的较不复杂的方向滤波器用作对于其他分量的多假设滤波器组。
图6的组合器使用经滤波的值和每个经滤波的值中的置信度连同低质量已解码样本值一起来确定样本位置的输出值。在一种实施方式中，组合可以是已解码低质量样本值与具有大于阈值T1的置信度的所有经滤波的值的加权组合，其中，可以基于低质量样本相对于高质量样本的编码质量来对低质量样本进行加权。可以基于编码参数来确定低质量样本与高质量样本之间的质量差，上述编码参数如：用于生成样本的量化步长；对编码器的输入进行的预处理的量；对每组样本进行的后处理如解块的量；以及运动矢量的像素精度等。运动信息的规律以及运动矢量长度还可以用作样本的时域质量的量度。
此外，每组样本的锐化分析或更复杂的客观质量（低质量与高质量）测量可以有助于确定每组样本的相对视觉质量，由此确定为每组样本设置的加权。在另一种实施方式中，可以使用低质量样本与具有最大置信度的经滤波的值之间的加权平均。在另一种实施方式中，仅可以使用位于距低质量样本值±d范围内的经滤波的值。
非对称质量样本之间的滤波还可以在变换域进行。这在以下应用中尤为有用：不同的编码处理经历在频域产生非对称失真的不同的预处理阶段。例如，相比较增强层样本而言，可以对可分级系统的基本层样本进行更加有力的滤波。这可以发生以提高基本层的压缩效率，或在从较低分辨率的显示器观看时可以提高基本层的视觉质量。还可以使用偏爱特定频率并且又偏爱某一层超过另一层的量化矩阵。
图7示出了可以用来提高较低质量编码处理的性能的频域滤波方案。在该情况下，使用DCT、FFT、小波变换等中的任何一种来将在每个编码处理之后输出的已重构图像变换到频域中。然后，可以对较高质量编码处理的变换系数进行标准化，以更好地匹配较低质量编码处理中对应的系数。例如，在傅里叶变换或小波变换的情况下，这可以包括能量标准化或相移。然后，将先前以较高质量编码的样本的标准化系数与先前以较低质量编码的样本的变换系数进行组合。这可以包括匹配系数的加权组合，或较低质量编码处理的系数的子集的调整，以匹配来自较高质量编码处理的对应系数的能量。接着，逆变换重新得到较低质量编码处理的增强的输出。应当注意，还可以将该频域技术用作如在前面的段落中讨论的多假设方法的一部分。在该情况下，还可以使用交叠的变换来生成用于经滤波的样本的多个频域假设，然后，可以使用多个频域和空间域假设的线性或非线性组合来生成经后处理的样本。
图7的实施方式描述了高质量样本的标准化。更一般地，可以处理具有不同信息的两个不同的组，并且可以通过组合一个组与来自另一个组的信息来加强该组，这可能通过一个组、另一个组或两者的另外的滤波来实现。此外，可以通过交叠和差的初步确定来获得两个不同的组，以使得包含有第一种信息的图像（或区域）独立于包含有第二种信息的图像（或区域）来成组。
非对称质量样本之间的滤波还可以在时域进行。在该情况下，可以使用运动自适应方法和运动补偿的时间滤波来对在时间上相邻的区域中的非对称质量样本进行滤波。这些方法还可以扩展到时间可分级视频编码系统。
图8示出了非对称样本质量增强概念对于时间可分级视频的应用。为了清楚起见，考虑原始序列按时间分辨率减半并且基本层包括具有索引0、2、n-2、n、n+2、...等图片的情况。注意，相同的技术可以用于时间可分级性的其他级别和隔行扫描编码。增强层包括具有索引1、3、...、n-1、n+1、...等的剩余图片。然后，可以使用来自n-N、n-1、n+1、n+N处的增强层图片的信息通过滤波来增强时间索引n处的基本层图片。可以使用运动估计方法来跟踪序列内的像素区域的运动并且使得滤波成为运动补偿的滤波处理（图9），上述运动估计方法比如是增强的预测式区域搜索（EPZS）（见H.-Y.C.Tourapis和A.M.Tourapis,″Fast motion estimationwithin the H.264codec,″Proceedings of the International Conference onMultimedia and Expo,vol.3,pp.517-520,2003，其全部内容通过引用合并到本申请中）。在时间滤波的情况下，除了增强层图片外，先前经滤波的基本层图片（保存在缓存1和缓存2中）也可以用于当前基本层图片的滤波。
在另一种实施方式中，本公开的教导可以应用在以下情况下：使用相同的编码处理，但是编码处理的输入来自非对称质量源或不同地预处理的源。例如，在3D立体情况下，输入可以是并排格式化立体对，其中，相比较一个视点而言，在下采样之前较为有力地对另一个视点进行滤波。在该情况下，被视为后处理方案的一部分，可以使用来自被较不有力地滤波的视点的信息来增强被有力地滤波的视点的质量。
图10示出了编码器（1005）的输入包括列隔行扫描图像（1010）的示例实施方式，其中，阴影列（1015）包含具有不同于无阴影列（1020）的信息的样本。在样本的编码（1005）和重构（1025）之后，对已重构图像（1035）进行非对称滤波（1030），以组合来自不同地处理的输入样本的信息。如图中所示，非对称样本滤波器可以使用基于应用于编码器的输入样本的预处理的知识的先验信息（1040）来确定滤波的方法和滤波器参数。此外，注意，尽管图中的示例涉及空间上非对称的输入样本，然而，同样可以应用于时间上非对称的样本和内容，其中，一组输入样本包含与另一组输入样本的频率特性不同的频率特性。还注意到，还可以在作为环路滤波器的一部分的编码器内应用非对称滤波。
在另一种实施方式中，相同的编码处理可以用于所有的样本，但是，在编码处理期间，可以不同地处理一组样本与另一组样本。例如，变换系数的量化可以使得一些系数比其他系数保持较高精度。此外，针对宏块模式决策和运动参数估计决策的失真估计可以以相对于一组样本偏向另一组样本的方式来进行。例如，可以使用相比一组样本而言较高地对另一组样本进行加权的加权PSNR测度。这些操作还可以引起已解码图像的样本之间的非对称质量。可以在这样的实施方式中使用本公开的教导，以增强由于这种非对称编码处理而恶化的样本的质量。
图11示出了一种处理，其中，在“非对称”编码处理（1105）期间，对奇数列中的样本与偶数列中的样本进行不同的处理。然后，已重构图像（1110）可以包含非对称质量样本，在给定关于编码处理的信息的情况下，可以对上述非对称质量样本进行滤波以获得更好质量的已重构图像。再次，如前所述，可以对样本的区域之间的时域与频域差进行相同的处理，并且还可以在作为环路滤波器的一部分的编码器内应用该处理。
总之，如果图像或视频的某些区域或分量相比该图像或视频的其他区域或分量而言具有较好的总体质量，则本公开的教导可以用于增强该图像和视频的质量。
本公开中描述的方法和系统可以用硬件、软件、固件或其组合来实施。可以一起（如，在逻辑器件比如集成的逻辑器件中）实施或分立地（如，如分立连接的逻辑器件）实施被描述为块、模块或部件的特征。本公开的方法的软件部分可以包括计算机可读介质，上述计算机可读介质包括在被执行时至少部分地执行所述方法的指令。计算机可读介质可以包括如随机存取存储器（RAM）和/或只读存储器（ROM）。上述指令可以用处理器（如，数字信号处理器（DSP）、专用集成电路（ASIC）或现场可编程逻辑阵列（FPGA））来执行。
本说明书中提到的所有专利和出版物可以表示与本公开有关的领域的技术人员的技术水平。本公开中引用的所有参考文献通过引用合并到本申请中，使得好像单独地将每个参考文献的全部内容通过引用合并到本申请中。
应当理解，本公开不限于当然可以变化的具体方法或系统。还应当理解，本文中使用的术语仅出于描述具体实施方式的目的，并不意在限制。如在本说明书和所附权利要求中使用的，除非内容清楚地另行指定，单数形式“一个”、“一种”和“该”包括多个指代物。除非内容清楚地另行指定，术语“多个”包括两个或更多个指代物。除非另有定义，否则在本文中使用的所有技术与科学术语具有跟与本公开相关的领域中的普通技术人员通常所理解的含义相同的含义。
以上阐述的示例向本领域普通技术人员提供了对如何做出与使用本公开的用于速率失真最优化量化的加速技术的实施方式的完整的公开以及描述，并且不意在限制发明人认为是其公开的内容的范围。视频领域的普通技术人员可以使用用于执行本公开的上述模式的修改，并且这些修改意在在所附权利要求的范围内。
已经描述了本公开的多种实施方式。然而，应当理解，可以在不背离本公开的范围和实质的情况下作出各种修改。从而，其他实施方式在所附权利要求的范围内。

Claims (56)

1.一种用于处理图像或图像序列的样本的方法，包括：
通过第一编码处理对第一组样本进行编码；
通过第二编码处理对第二组样本进行编码；以及
将所述第一组的已编码样本与来自所述第二组的已编码样本的信息进行组合，以增强所述第一组的所述已编码样本。
2.根据权利要求1所述的方法，其中，所述第一组样本和所述第二组样本是从可分级视频传输应用的不同层获得的。
3.根据权利要求2所述的方法，其中，一组样本是从基本层比特流获得的，而另一组样本是从增强层获得的。
4.根据权利要求1所述的方法，其中，所述第一组样本和所述第二组样本是从隔行扫描图像序列的不同场或者交织的三维或多视点图像序列的不同视点获得的。
5.根据权利要求4所述的方法，其中，所述第一组的样本对应于所述隔行扫描或交织图像序列的偶数场，且所述第二组的样本对应于所述隔行扫描或交织图像序列的奇数场，或者，所述第一组的样本对应于所述隔行扫描或交织图像序列的奇数场，且所述第二组的样本对应于所述隔行扫描或交织图像序列的偶数场。
6.根据权利要求4所述的方法，其中，所述隔行扫描或交织图像序列是三维图像序列，所述第一组的样本对应于所述隔行扫描或交织图像序列的左立体视点，而所述第二组的样本对应于所述隔行扫描或交织图像序列的右立体视点，或者，所述第一组的样本对应于所述隔行扫描或交织图像序列的右立体视点，而所述第二组的样本对应于所述隔行扫描或交织图像序列的左立体视点。
7.根据权利要求4所述的方法，其中，所述隔行扫描或交织图像序列是多视点图像序列，所述第一组的所述样本对应于与所述隔行扫描或交织图像序列的第一视点有关的图像，而所述第二组的所述样本对应于与所述隔行扫描或交织图像序列的第二视点有关的图像。
8.根据权利要求1至7中的任一项所述的方法，其中，所述第一组的所述已编码样本具有与所述第二组的所述已编码样本的特征不同的特征。
9.根据权利要求8所述的方法，其中，所述第一组的所述已编码样本具有与所述第二组的所述已编码样本的质量不同的质量。
10.根据权利要求9所述的方法，其中，与所述第二组的所述已编码样本相比，所述第一组的所述已编码样本具有较低的质量。
11.一种用于处理图像或图像序列的样本的方法，包括：
通过第一编码处理对第一组样本进行编码；
通过第二编码处理对第二组样本进行编码；
对所述第一组的已编码样本进行解码；
对所述第二组的已编码样本进行解码；以及
将所述第一组的已解码样本与来自所述第二组的已解码样本的信息进行组合，以增强所述第一组的所述已解码样本。
12.根据权利要求11所述的方法，其中，所述第一组的所述已解码样本具有与所述第二组的所述已解码样本的特征不同的特征。
13.根据权利要求12所述的方法，其中，所述第一组的所述已解码样本具有与所述第二组的所述已解码样本的质量不同的质量。
14.根据权利要求13所述的方法，其中，与所述第二组的所述已解码样本相比，所述第一组的所述已解码样本具有较低的质量。
15.一种用于在解码之后对图像或图像序列进行后处理的方法，包括：
提供多个已解码图像或图像序列；以及
使用来自所述多个已解码图像或图像序列中的其他已解码图像或图像序列的信息来增强所述多个已解码图像或图像序列中的一个或更多个已解码图像或图像序列。
16.根据权利要求15所述的方法，其中，增强还使用不同于所述其他已解码图像或图像序列的附加信息。
17.根据权利要求16所述的方法，其中，所述附加信息选自滤波类型信息、参数信息和待滤波区域信息。
18.根据权利要求16所述的方法，其中，所述附加信息包括来自先前对所述已解码图像或图像序列进行的编码和/或解码处理的滤波信息。
19.根据权利要求15所述的方法，其中，所述多个已解码图像或图像序列包括已解码基本层图像和已解码增强层图像，并且，其中，通过使用来自所述已解码增强层图像的信息来增强所述已解码基本层图像。
20.根据权利要求19所述的方法，其中，通过对所述已解码增强层图像进行滤波并且将所述已解码基本层图像与对应的经滤波的已解码增强层图像进行组合，来增强所述已解码基本层图像。
21.根据权利要求20所述的方法，其中，滤波选自平滑、锐化、相移和频域滤波。
22.根据权利要求15至21中的任一项所述的方法，其中，所述增强是质量增强。
23.根据权利要求15至22中的任一项所述的方法，其中，所述图像或图像序列是从二维应用、三维应用或多视点应用中选择的应用的一部分。
24.一种用于处理图像的方法，包括：
对第一组图像进行编码；
对第二组图像进行编码，
其中，所述第一组和所述第二组与图像特征相关联，所述第二组的图像特征具有与所述第一组的图像特征的值不同的值；以及
使用来自所述第二组的已重构图像对所述第一组的已重构图像进行滤波。
25.根据权利要求24所述的方法，还包括：
进一步对所述第一组的经滤波的已重构图像进行编码；以及
将所述第一组的进一步编码的已重构图像传送给解码器。
26.根据权利要求25所述的方法，其中，将所述第一组的所述经滤波的已重构图像编码为残余图像的一部分，所述残余图像包含所述第一组的原始图像与所述第一组的经滤波的已重构图像之间的差。
27.根据权利要求25或26所述的方法，还包括：
向所述解码器传送附加于所述第一组的所述进一步编码的已重构图像的信息。
28.根据权利要求24所述的方法，其中，所述第一组图像是可分级视频应用的基本层的一部分，而所述第二组图像是所述可分级视频应用的增强层的一部分。
29.根据权利要求25所述的方法，其中：
所述第一组图像是可分级视频应用的基本层的一部分，
所述第二组图像是所述可分级视频应用的第一增强层的一部分，以及
所述进一步编码的经滤波的已重构图像是所述可分级视频应用的第二增强层的一部分。
30.根据权利要求24所述的方法，其中，所述图像特征是图像质量。
31.一种用于对已解码图像进行后处理的方法，包括：
提供具有第一图像特征的第一组已解码图像；
提供具有不同于所述第一图像特征的第二图像特征的第二组已解码图像；
对所述第二组进行滤波；以及
将所述第一组与经滤波的所述第二组进行组合。
32.根据权利要求31所述的方法，其中，对所述第二组进行滤波包括将所述第二组划分成子组并且使用单独的滤波器对每个子组进行滤波。
33.根据权利要求31或32所述的方法，其中，对所述第二组进行滤波还包括提供经滤波的所述组或所述子组的置信度值。
34.根据权利要求33所述的方法，其中，滤波是多假设滤波，并且，所述置信度值是经滤波的样本与位于滤波器支持度内的样本之间的差。
35.根据权利要求34所述的方法，其中，所述差是加权差。
36.根据权利要求31所述的方法，其中，在将所述第一组与所述经滤波的第二组进行组合之前，对所述第一组进行加权。
37.根据权利要求36所述的方法，其中，加权基于所述第二组图像相对于所述第一组图像的编码质量的编码质量。
38.根据权利要求31至37中的任一项所述的方法，其中，所述第一图像特征和所述第二图像特征是图像质量。
39.一种用于处理图像的方法，包括：
对具有第一图像特征的第一组图像进行编码；
对具有优于所述第一图像特征的第二图像特征的第二组图像进行编码；
对已编码第一组图像和已编码第二组图像进行频率变换；
使用来自经频率变换的一组已编码图像的信息来对经频率变换的另一组已编码图像进行标准化；
将标准化的经频率变换的一组已编码图像与经频率变换的另一组已编码图像进行组合；以及
对组合的所述各组图像进行逆变换。
40.一种用于在时域处理图像的方法，包括：
提供与具有第二质量的第二组图像在时间上交织的具有第一质量的第一组图像，所述第二质量高于所述第一质量；以及
通过使用所述第二组的图像中的一个或更多个图像对所述第一组的图像进行滤波来增强所述第一组的图像。
41.根据权利要求40所述的方法，其中，所述滤波是运动补偿滤波。
42.一种用于处理图像或图像序列的样本的方法，包括：
通过第一处理对第一组样本进行处理；
通过第二处理对第二组样本进行处理；
对经处理的所述样本进行编码；以及
将来自所述第二组的已编码样本的信息与所述第一组的已编码样本进行组合，以增强所述第一组的已编码样本。
43.根据权利要求42所述的方法，其中，所述组合依赖于基于所述第一处理和所述第二处理的知识的信息。
44.根据权利要求42或43所述的方法，其中，所述第一组样本关于所述第二组样本在空间上不对称。
45.根据权利要求42或43所述的方法，其中，所述第一组样本关于所述第二组样本在时间上不对称。
46.根据权利要求42或43所述的方法，其中，所述第一组样本的频率特性不同于所述第二组样本的频率特性。
47.根据权利要求42至46中的任一项所述的方法，其中，所述组合步骤是所述编码步骤的一部分。
48.根据权利要求42至47中的任一项所述的方法，其中，所述第一处理是第一滤波处理，而所述第二处理是第二滤波处理。
49.一种用于处理图像或图像序列的样本的方法，包括：
将所述样本分成两个或更多个区域；
对所述样本进行编码，以使得不同区域中的样本包含不同的特征；以及
组合已编码样本，以使得使用来自一个或更多个区域的信息来增强其他区域的所述已编码样本。
50.根据权利要求49所述的方法，其中，一个区域的样本关于另一个区域的样本在空间上不对称。
51.根据权利要求49所述的方法，其中，一个区域的样本关于另一个区域的样本在时间上不对称。
52.根据权利要求49所述的方法，其中，一个区域的样本具有与另一个区域的样本的频率特性不同的频率特性。
53.根据权利要求49至52中的任一项所述的方法，其中，所述组合步骤是所述编码步骤的一部分。
54.一种用于根据上述权利要求1至53中的任一项所述的方法来处理视频信号的装置。
55.根据上述权利要求1至53中的任一项所述的方法的用于处理视频信号的用途。
56.一种包含有一组指令的计算机可读介质，所述一组指令使计算机执行根据权利要求1至53中的一项或更多项所述的方法。
CN201180008022.7A 2010-02-01 2011-01-07 处理图像或图像序列的样本、后处理已解码图像的方法 Expired - Fee Related CN102742269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30011510P 2010-02-01 2010-02-01
US61/300,115 2010-02-01
PCT/US2011/020461 WO2011094047A1 (en) 2010-02-01 2011-01-07 Filtering for image and video enhancement using asymmetric samples

Publications (2)

Publication Number Publication Date
CN102742269A true CN102742269A (zh) 2012-10-17
CN102742269B CN102742269B (zh) 2016-08-03

Family

ID=43638646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008022.7A Expired - Fee Related CN102742269B (zh) 2010-02-01 2011-01-07 处理图像或图像序列的样本、后处理已解码图像的方法

Country Status (5)

Country Link
US (1) US9503757B2 (zh)
EP (1) EP2532162B1 (zh)
JP (1) JP5619918B2 (zh)
CN (1) CN102742269B (zh)
WO (1) WO2011094047A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763545A (zh) * 2014-01-02 2014-04-30 青岛海信电器股份有限公司 一种自由立体图像处理方法及装置、电子设备
CN104335587A (zh) * 2012-07-04 2015-02-04 英特尔公司 对于三维视频译码的视图间滤波器参数重复使用
CN106952314A (zh) * 2017-03-01 2017-07-14 西安电子科技大学 基于频域方向滤波器的递归预测图像压缩方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8948488B2 (en) * 2009-07-31 2015-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
WO2012020358A1 (en) * 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
US9247261B2 (en) 2011-03-04 2016-01-26 Vixs Systems, Inc. Video decoder with pipeline processing and methods for use therewith
US9088800B2 (en) 2011-03-04 2015-07-21 Vixs Systems, Inc General video decoding device for decoding multilayer video and methods for use therewith
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
JP5813236B2 (ja) * 2011-09-16 2015-11-17 ドルビー ラボラトリーズ ライセンシング コーポレイション フレーム互換なフル解像度立体視３ｄ圧縮および復元
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
EP2761877B8 (en) * 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
KR20130086911A (ko) * 2012-01-26 2013-08-05 삼성전자주식회사 3차원 비디오를 위한 영상 처리 방법 및 장치
WO2013189257A1 (en) * 2012-06-20 2013-12-27 Mediatek Inc. Method and apparatus of bi-directional prediction for scalable video coding
WO2014107255A1 (en) * 2013-01-02 2014-07-10 Dolby Laboratories Licensing Corporation Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
WO2015050553A1 (en) * 2013-10-03 2015-04-09 Capso Vision, Inc. Robust storage and transmission of capsule images
US20160057428A1 (en) * 2014-08-21 2016-02-25 Facebook, Inc. Systems and methods for blurriness bounding for videos
CN104683660A (zh) * 2015-01-29 2015-06-03 乐视网信息技术（北京）股份有限公司 一种视频去噪方法及装置
US11200633B2 (en) * 2017-08-01 2021-12-14 Datalogic IP Tech, S.r.l. Systems and methods for watermarking digital images
WO2019142163A1 (en) * 2018-01-19 2019-07-25 Interdigital Vc Holdings, Inc. Processing a point cloud
US11323730B2 (en) * 2019-09-05 2022-05-03 Apple Inc. Temporally-overlapped video encoding, video decoding and video rendering techniques therefor
ES2963550T3 (es) * 2019-10-25 2024-04-01 V Nova Int Ltd Incorporación de datos dentro de coeficientes transformados usando operaciones de reparto de bits
CN117178550A (zh) * 2021-03-30 2023-12-05 瑞典爱立信有限公司 组合环路滤波

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0644695A2 (en) * 1993-09-21 1995-03-22 AT&T Corp. Spatially scalable video encoding and decoding
US20040022318A1 (en) * 2002-05-29 2004-02-05 Diego Garrido Video interpolation coding
JP2005513969A (ja) * 2001-12-28 2005-05-12 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 多重ディスプレイ方式をサポートする立体動画符号化及び復号化装置並びにその方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2670201B2 (ja) * 1991-08-30 1997-10-29 富士写真フイルム株式会社 画像データ圧縮符号化装置および方法
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
EP1455534A1 (en) * 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
KR100565308B1 (ko) * 2003-11-24 2006-03-30 엘지전자 주식회사 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화 장치
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US9131247B2 (en) 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
US20080013623A1 (en) * 2006-07-17 2008-01-17 Nokia Corporation Scalable video coding and decoding
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
WO2008140656A2 (en) * 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
WO2009011492A1 (en) 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
DK2371138T3 (da) 2008-12-25 2012-12-17 Dolby Lab Licensing Corp Rekonstruktion af de-interleaved billeder ved anvendelse af adaptiv interpolation baseret på disparitet mellem billederne til op-sampling
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9078008B2 (en) 2009-04-20 2015-07-07 Dolby Laboratories Licensing Corporation Adaptive inter-layer interpolation filters for multi-layered video delivery
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8711938B2 (en) * 2009-09-04 2014-04-29 Sharp Laboratories Of America, Inc. Methods and systems for motion estimation with nonlinear motion-field smoothing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0644695A2 (en) * 1993-09-21 1995-03-22 AT&T Corp. Spatially scalable video encoding and decoding
JPH07162870A (ja) * 1993-09-21 1995-06-23 At & T Corp ビデオ信号符号化装置
JP2005513969A (ja) * 2001-12-28 2005-05-12 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 多重ディスプレイ方式をサポートする立体動画符号化及び復号化装置並びにその方法
CN1618237A (zh) * 2001-12-28 2005-05-18 韩国电子通信研究院 支持多显示模式的立体视频编码/译码装置及其方法
US20040022318A1 (en) * 2002-05-29 2004-02-05 Diego Garrido Video interpolation coding

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335587A (zh) * 2012-07-04 2015-02-04 英特尔公司 对于三维视频译码的视图间滤波器参数重复使用
US9769450B2 (en) 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
CN104335587B (zh) * 2012-07-04 2018-06-19 英特尔公司 对于三维视频译码的视图间滤波器参数重复使用
CN103763545A (zh) * 2014-01-02 2014-04-30 青岛海信电器股份有限公司 一种自由立体图像处理方法及装置、电子设备
CN103763545B (zh) * 2014-01-02 2015-12-30 青岛海信电器股份有限公司 一种自由立体图像处理方法及装置、电子设备
CN106952314A (zh) * 2017-03-01 2017-07-14 西安电子科技大学 基于频域方向滤波器的递归预测图像压缩方法
CN106952314B (zh) * 2017-03-01 2019-06-21 西安电子科技大学 基于频域方向滤波器的递归预测图像压缩方法

Also Published As

Publication number Publication date
US20120293620A1 (en) 2012-11-22
CN102742269B (zh) 2016-08-03
EP2532162B1 (en) 2017-08-30
JP5619918B2 (ja) 2014-11-05
US9503757B2 (en) 2016-11-22
EP2532162A1 (en) 2012-12-12
JP2013518517A (ja) 2013-05-20
WO2011094047A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
CN102742269A (zh) 使用非对称样本的用于图像和视频增强的滤波
JP5044057B2 (ja) フィルタを選択する方法及び装置
CN103262532B (zh) 用于经采样复用的图像和视频数据的增强方法
CN102598660B (zh) 用于多层视频传输的自适应内插滤波器
JP5606625B2 (ja) ビデオ符号化のための高度な動きモデルを使った参照処理
CN104885457B (zh) 用于视频信号的向后兼容编码和解码的方法和装置
RU2355126C2 (ru) Основывающиеся на множестве слоев способ кодирования/декодирования и видеокодер/декодер, в которых используется сглаживающее предсказание
CN104054338B (zh) 位深和颜色可伸缩视频编码
CN103999466B (zh) 多层交错帧相容增强分辨率视频传输
KR101253156B1 (ko) 영상 신호의 인코딩/디코딩 방법
US8160160B2 (en) Bit-rate reduction for multimedia data streams
WO2012096150A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN104159060B (zh) 预处理器方法及设备
CN105721876A (zh) 图像解码方法
JP2014504459A (ja) 参照ピクチャー処理のための最適化されたフィルタ選択
EP2092752A2 (en) Adaptive interpolation method and system for motion compensated predictive video coding and decoding
CN1801939A (zh) 基于空间分辨率变换的视频转换编码方法
KR102111437B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
Varadarajan et al. Rgb and depth intra-frame cross-compression for low bandwidth 3d video
Zhao et al. Content-adaptive upsampling for scalable video coding
Coezijn Motion compensated blocking artefact repair on low bit rate block transform coded video
Bharanitharan et al. Super resolution video by using classified multi-filter up-sampling algorithm
KR100700515B1 (ko) 디코더 루프에서 메모리 감소를 통한 ｍｐｅｇ 엔코딩고화질 시퀀스의 저해상도로의 다운 변환 방법 및 장치
Fujiwara et al. Motion-compensated frame rate up-conversion based on block matching algorithm
Li Improved motion-compensated temporal filtering (mctf) for scalable video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160803

Termination date: 20190107