CN101711481A - 使用预测数据精选进行视频编码的方法和装置 - Google Patents

使用预测数据精选进行视频编码的方法和装置 Download PDF

Info

Publication number
CN101711481A
CN101711481A CN200780039114A CN200780039114A CN101711481A CN 101711481 A CN101711481 A CN 101711481A CN 200780039114 A CN200780039114 A CN 200780039114A CN 200780039114 A CN200780039114 A CN 200780039114A CN 101711481 A CN101711481 A CN 101711481A
Authority
CN
China
Prior art keywords
data
prediction
image
region
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780039114A
Other languages
English (en)
Other versions
CN101711481B (zh
Inventor
谢伊·哈-诺伊
奥斯卡·迪沃拉埃斯科达
尹澎
克里斯蒂娜·戈米拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101711481A publication Critical patent/CN101711481A/zh
Application granted granted Critical
Publication of CN101711481B publication Critical patent/CN101711481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种使用预测数据精选来进行视频编码的方法和装置。一种装置包括：编码器(300)，用于对图片的图像区域进行编码。所述编码器(300)具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器(333)。所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。

Description

使用预测数据精选进行视频编码的方法和装置
对相关申请的交叉引用
本申请要求于2006年10月18日提交的美国临时申请序列号60/852,529的优先权，其全部内容通过引用而被合并于此。本申请还要求于2007年4月13日提交的美国临时申请序列号60/911,536的优先权，其全部内容也通过引用而被合并于此。
技术领域
本原理一般涉及视频编码和解码，更具体而言，涉及使用预测数据精选(prediction data refinement)进行视频编码的方法和装置。
背景技术
视频编码技术可以使用基于预测的编码，以便效率较高。以块为基础，根据已经解码的数据来预测给定帧的数据，也可以根据其他参考帧(“帧间”预测)或根据同一帧内已经解码的数据(“帧内”预测)来预测该数据。然后，典型地变换、量化和编码残差，其中，从原始数据中减去预测后生成的残差。适当选择在给定帧的给定空间位置使用的预测类型，以便最终编码尽可能高效。该选择依赖于失真率(rate distortion)测量的优化。事实上，通常在所有可能的预测模式中选择具有最低比特率且引起最低失真的预测器。
在某些情况下，就失真率而言的最佳预测器可能不能给出精确的预测数据，然后产生必须进行编码的大量残差。不精确性可能是由于导致预测器选择在比特率成本和失真之间做出折衷的等级约束，或者可能仅仅是因为可用的预测模式不太合适。国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟电信标准局(ITU-T)H.264标准(此后，称为“MPEG-4 AVC标准”)中的帧内预测是其中在给定块内、利用来自其解码的相邻块的信息、使用低通算子来预测数据的例子。然而，这样的预测器不能处理高频和纹理数据。
例如，在诸如遵从MPEG-4 AVC标准的那些视频编码器/解码器的本领域视频(art video)编码器/解码器的某些情况下，在编码/解码过程中利用使用所谓的“去块滤波器”的预测精选。可以通过对重构帧进行操作来作为编码环中的最后一步的滤波器来减少由基于变换的残差编码而引入的编码不精确性。已提出了其他环内(in-loop)滤波器以克服MPEG-4 AVC标准去块滤波器的限制。通常，这些滤波器被应用于重构的图片上。
重构之后的环内滤波允许恢复在残差编码中的量化步骤期间丢失的部分信息。然而，当其被应用到重构图像上时，不期望帮助减少当前图片中要被编码的信息量。为了减少要被编码的信息量，可以改进预测信号。传统上，这已通过包含日益精密复杂的预测模型而进行了。
其中的某些可以被称作“修补(inpainting)算法”的用于估计遗失数据的算法，可能基于例如扩散原理和/或纹理生长、或者非线性稀疏分解去噪。这些算法可能试图基于已知的相邻数据来估计遗失数据的值。事实上，人们可以想象在图片内具有遗失块，并且通过根据在某个相邻块内可获得的数据来估计遗失块而恢复该遗失块。这些算法通常假设不具备关于遗失的数据的知识，即，它们仅依赖于相邻可获得的数据来估计遗失数据。
转到图1，由参考数字100来一般地指示能够依据MPEG-4 AVC标准执行视频编码的视频编码器。
视频编码器100包括帧排序(ordering)缓冲器110，该帧排序缓冲器110具有与组合器185的非反相输入进行信号通信的输出。组合器185的输出连接到变换器和量化器125的第一输入以进行信号通信。变换器和量化器125的输出连接到熵编码器145的第一输入以及反向变换器和反向量化器150的第一输入以进行信号通信。熵编码器145的输出连接到组合器190的第一非反相输入以进行信号通信。组合器190的输出连接到输出缓冲器135的第一输入以进行信号通信。
编码器控制器105的第一输出连接到帧排序缓冲器110的第二输入、反向变换器和反向量化器150的第二输入、图片类型判定模块115的输入、宏块类型(MB-类型)判定模块120的输入、帧内预测模块160的第二输入、去块滤波器165的第二输入、运动补偿器170的第一输入、运动估计器175的第一输入以及参考图片缓冲器180的第二输入以进行信号通信。
编码器控制器105的第二输出连接到补充增强信息(SEI)插入器130的第一输入、变换器和量化器125的第二输入、熵编码器145的第二输入、输出缓冲器135的第二输入以及序列参数集(SPS)和图片参数集(PPS)插入器140的输入以进行信号通信。
图片类型判定模块115的第一输出连接到帧排序缓冲器110的第三输入以进行信号通信。图片类型判定模块115的第二输出连接到宏块类型判定模块120的第二输入以进行信号通信。
序列参数集(SPS)和图片参数集(PPS)插入器140的输出连接到组合器190的第三非反相输入以进行信号通信。
反向量化器和反向变换器150的输出连接到组合器119的第一非反相输入以进行信号通信。组合器119的输出连接到帧内预测模块160的第一输入和去块滤波器165的第一输入以进行信号通信。去块滤波器165的输出连接到参考图片缓冲器180的第一输入以进行信号通信。参考图片缓冲器180的输出连接到运动估计器175的第二输入以进行信号通信。运动估计器175的第一输出连接到运动补偿器170的第二输入以进行信号通信。参考图片缓冲器180的输出连接到运动补偿器170的第三输入以进行信号通信。运动估计器175的第二输出连接到熵编码器145的第三输入以进行信号通信。
运动补偿器170的输出连接到切换器197的第一输入以进行信号通信。帧内预测模块160的输出连接到切换器197的第二输入以进行信号通信。宏块类型判定模块120的输出连接到切换器197的第三输入以进行信号通信。切换器197的第三输入确定切换器的“数据”输入(与控制输入、即第三输入比较)是由运动补偿器170提供的还是由帧内预测模块160提供的。切换器197的输出连接到组合器119的第二非反相输入和组合器185的反相输入以进行信号通信。
帧排序缓冲器110和编码器控制器105的输入可用作编码器100的输入，用于接收输入图片101。此外，补充增强信息(SEI)插入器130的输入可用作编码器100的输入，用于接收元数据。输出缓冲器135的输出可用作编码器100的输出，用于输出比特流。
转到图2，由参考数字200一般地指示能够依据MPEG-4 AVC标准执行视频解码的视频解码器。
视频解码器200包括输入缓冲器210，该输入缓冲器210具有连接到熵解码器245的第一输入以进行信号通信的输出。熵解码器245的第一输出连接到反向变换器和反向量化器250的第一输入以进行信号通信。反向变换器和反向量化器250的输出连接到组合器225的第二非反相输入以进行信号通信。组合器225的输出连接到去块滤波器265的第二输入和帧内预测模块260的第一输入以进行信号通信。去块滤波器265的第二输出连接到参考图片缓冲器280的第一输入以进行信号通信。参考图片缓冲器280的输出连接到运动补偿器270的第二输入以进行信号通信。
熵解码器245的第二输出连接到运动补偿器270的第三输入和去块滤波器265的第一输入以进行信号通信。熵解码器245的第三输出连接到解码器控制器205的输入以进行信号通信。解码器控制器205的第一输出连接到熵解码器245的第二输入以进行信号通信。解码器控制器205的第二输出连接到反向变换器和反向量化器250的第二输入以进行信号通信。解码器控制器205的第三输出连接到去块滤波器265的第三输入以进行信号通信。解码器控制器205的第四输出连接到帧内预测模块260的第二输入、运动补偿器270的第一输入以及参考图片缓冲器280的第二输入以进行信号通信。
运动补偿器270的输出连接到切换器297的第一输入以进行信号通信。帧内预测模块260的输出连接到切换器297的第二输入以进行信号通信。切换器297的输出连接到组合器225的第一非反相输入以进行信号通信。
输入缓冲器210的输入可用作解码器200的输入，用于接收输入比特流。去块滤波器265的第一输出可用作解码器200的输出，用于输出输出图片。
发明内容
本原理解决了现有技术的这些和其他缺点和劣势，其中本原理旨在使用预测数据精选进行视频编码的方法和装置。
根据本原理的一个方面，提供了一种装置。该装置包括用于对图片的图像区域进行编码的编码器。所述编码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器。所述预测精选滤波器使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
根据本原理的另一个方面，提供了一种方法。该方法包括通过使用预测精选滤波器来精选关于图像区域的帧内预测和帧间预测中的至少一个以编码所述图像区域。所述预测精选滤波器使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
根据本原理的另一方面，提供了一种装置。该装置包括用于对图片的图像区域进行解码的解码器。所述解码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器。所述预测精选滤波器使用先前解码的数据来精选关于图像区域的帧间预测，所述先前解码的数据对应于关于所述图像区域的相邻区域内的像素值。
根据本原理的另一方面，提供了一种方法。该方法包括通过使用预测精选滤波器来对关于图像区域的帧内预测和帧间预测中的至少一个进行精选以解码图片的图像区域。所述预测精选滤波器使用先前解码的数据来精选关于图像区域的帧间预测，所述先前解码的数据对应于关于所述图像区域的相邻区域内的像素值。
通过结合附图阅读下面对示范性实施例进行的详细描述，本原理的这些和其他方面、特征和优点将变得显而易见。
附图说明
通过依据以下附图将可以更好地理解本原理，其中：
图1示出了能够依据MPEG-4 AVC标准执行视频编码的视频编码器的框图；
图2示出了能够依据MPEG-4 AVC标准执行视频解码的视频解码器的框图；
图3示出了根据本原理的实施例的、为使用本原理而修改和/或扩展的、能够依据MPEG-4 AVC标准执行视频编码的视频编码器的框图；
图4示出了根据本原理的实施例的、为使用本原理而修改和/或扩展的、能够依据MPEG-4 AVC标准执行视频解码的视频解码器的框图；
图5A示出了根据本原理的实施例的、正在编码的当前帧内4×4块和用作预测精选的参考的相关因果(causal)邻域的图；
图5B示出了根据本原理的实施例的、正在编码的当前帧内4×4块和用作预测精选的参考的相关非因果邻域的图；
图6示出了根据本原理的实施例的、使用预测精选来编码图像数据的方法的流程图；
图7示出了根据本原理的实施例的、使用预测精选来解码图像数据的方法的流程图；
图8示出了根据本原理的实施例的、用于提供具有精选的预测的示范性装置的框图；
图9示出了根据本原理的实施例的、用于生成精选预测的示范性方法的流程图；以及
图10示出了根据本原理的实施例的、精选下的宏块中的同心像素层的示范性集合的图。
具体实施方式
本原理旨在使用预测数据精选进行视频编码的方法和装置。
本说明示出了本原理。虽然在这里并未明确描述或示出，但是本领域技术人员显然因此能够设计出具体化本原理且包括在其精神和范围内的各种布置。
这里所阐述的所有示例和条件性语言意欲为了帮助读者理解发明人做出的本原理和概念，以便促进技术，并且将所述示例和条件性语言构造为无需限制这样特定阐述的示例和条件。
此外，这里阐述原理、本原理的方面和实施例的所有记载及其特定示例意欲涵盖其结构性和功能性等价物二者。另外，这样的等价物意欲包括当前已知的等价物以及未来开发的等价物，即执行相同功能而开发的任何元素，而无论其结构如何。
因此，例如对本领域技术人员来说显然的是，这里所呈现的框图呈现了用于具体化本原理的示意性电路的概念性视图。类似地，显而易见的是，任何流程图、流图、状态转移图、伪代码等表示可以在计算机可读媒体中充分表现并因此可以由计算机或处理器执行的各种过程，而不管是否明确示出了这样的计算机或处理器。
在图中示出的各种元素的功能可以通过使用专用硬件以及能够执行与自适应软件相关的软件的硬件来提供。当由处理器来提供时，可以通过单个专用处理器、单个共享处理器或其中的某些可以共享的多个独立的处理器来提供。此外，明确使用的术语“处理器”或“控制器”不应当被构造为排他性地单指能够执行软件的硬件，而是可以隐含地、无限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。
也可以包括其他传统和/或常规硬件。类似地，在图中示出的任何切换器仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至是手动来执行它们的功能，可由实施者基于对上下文的更特定的理解选择的具体技术。
在其权利要求中，被表述为用于执行特定功能的手段的任何元素意欲涵盖执行该功能的任何方式，例如包括：a)执行该功能的电路元素的组合；或者b)任何形式的软件，从而包括与用于执行软件以执行功能的自适应电路组合的固件、微代码等。由这样的权利要求限定的本原理具备这样的事实，即由各种所阐述的手段提供的功能性被组合，并以权利要求所要求的方式而被组合到一起。因此，认为能够提供那些功能性的任何手段等价于这里所示出的内容。
说明书中参考本原理的“一个实施例”或“实施例”是指与实施例相关描述的特定特征、结构、特点等等包括在本原理的至少一个实施例中。因此，在说明书通篇的各处出现的短语“在一个实施例中”或“在一实施例中”不必全指同一实施例。
如这里所使用的，“高级句法”是指存在于分等级驻留在宏块层之上的比特流中的句法。例如，如这里所使用的，高级句法可以指、但不限于处于时间片(slice)首部级别、补充增强信息(SEI)级别、图片参数集级别、序列参数集级别和NAL单元首部级别的句法。
短语“图像数据”意欲指与任何静止图像和运动图像(即包括运动的图像序列)对应的数据。
术语“修补(inpainting)”指使用相邻的可用数据来估计、插入和/或预测图像中部分或全部丢失的数据和/或数据的构成的技术。
短语“基于稀疏的修补”是指“修补”技术的特定实施例，其中使用基于稀疏的原理来估计、插入和/或预测图像中部分或全部丢失的数据和/或数据的构成。
短语“因果数据邻域”和“非因果数据邻域”分别指根据规则扫描次序在图片中包括先前处理的数据的数据邻域(例如，MPEG-4 AVC标准中的光栅扫描和/或之字形扫描)、以及根据规则扫描次序包括来自位于关于当前数据的较晚位置的区域的至少某些数据的数据邻域(例如，H.264/AVC中的光栅扫描和/或之字形扫描)。关于图5A提供了因果扫描次序的例子。关于图5B提供了非因果扫描次序的例子。
应当显然的是，术语“和/或”的使用(例如在“A和/或B”的情况下)意欲涵盖第一所列项(A)的选择、第二所列项(B)的选择、或者选项(A和B)二者的选择。作为进一步的例子，在“A、B和/或C”的情况下，这样的短语意欲涵盖第一所列项(A)的选择、第二所列项(B)的选择、第三所列项(C)的选择、第一和第二所列项(A和B)的选择、第一和第三所列项(A和C)的选择、第二和第三所列项(B和C)的选择、或者所有三项(A和B和C)的选择。如本领域和相关领域普通技术人员所易于明白的，这可以扩展到许多列出项。
此外，显而易见的是，虽然这里关于MPEG-4 AVC标准来描述本原理的一个或多个实施例，但是本原理不单限于这个标准，因此，可以在保持本原理的精神的同时，对于其他视频编码标准、方针及其扩展来应用本原理，包括诸如多视角(和非多视角)的扩展、MPEG-4 AVC标准的扩展。
此外，显然的是，本原理可以用于使用预测的任何视频编码策略，包括但不限于预测性视频编码、多视角视频编码、可缩放视频编码等。
转到图3，由参考数字300来一般地指示为使用本原理而修改和/或扩展的、能够依据MPEG-4 AVC标准执行视频编码的视频编码器。
视频编码器300包括帧排序缓冲器310，该帧排序缓冲器310具有与组合器385的非反相输入进行信号通信的输出。组合器385的输出连接到变换器和量化器325的第一输入以进行信号通信。变换器和量化器325的输出连接到熵编码器345的第一输入以及反向变换器和反向量化器350的第一输入以进行信号通信。熵编码器345的输出连接到组合器390的第一非反相输入以进行信号通信。组合器390的输出连接到输出缓冲器335的第一输入以进行信号通信。
编码器控制器305的第一输出连接到帧排序缓冲器310的第二输入、反向变换器和反向量化器350的第二输入、图片类型判定模块315的输入、宏块类型(MB-类型)判定模块320的输入、帧内预测模块360的第二输入、去块滤波器365的第二输入、运动补偿器370的第一输入、运动估计器375的第一输入、参考图片缓冲器380的第二输入以及预测精选滤波器333的第一输入以进行信号通信。
编码器控制器305的第二输出连接到补充增强信息(SEI)插入器330的第一输入、变换器和量化器325的第二输入、熵编码器345的第二输入、输出缓冲器335的第二输入以及序列参数集(SPS)和图片参数集(PPS)插入器340的输入以进行信号通信。
图片类型判定模块315的第一输出连接到帧排序缓冲器310的第三输入以进行信号通信。图片类型判定模块315的第二输出连接到宏块类型判定模块320的第二输入以进行信号通信。
序列参数集(SPS)和图片参数集(PPS)插入器340的输出连接到组合器390的第三非反相输入以进行信号通信。
反向量化器和反向变换器350的输出连接到组合器319的第一非反相输入以进行信号通信。组合器319的输出连接到帧内预测模块360的第一输入、去块滤波器365的第一输入和预测精选滤波器333的第二输入以进行信号通信。去块滤波器365的输出连接到参考图片缓冲器380的第一输入以进行信号通信。参考图片缓冲器380的输出连接到运动估计器375的第二输入和运动补偿器370的第三输入以进行信号通信。运动估计器375的第一输出连接到运动补偿器370的第二输入以进行信号通信。运动估计器375的第二输出连接到熵编码器345的第三输入以进行信号通信。
运动补偿器370的输出连接到切换器397的第一输入以进行信号通信。帧内预测模块360的输出连接到切换器397的第二输入以进行信号通信。宏块类型判定模块320的输出连接到切换器397的第三输入以进行信号通信。切换器397的第三输入确定切换器的“数据”输入(与控制输入、即第三输入比较)是由运动补偿器370提供的还是由帧内预测模块360提供的。切换器397的输出连接到预测精选滤波器333的第三输入以进行信号通信。预测精选滤波器333的第一输出连接到组合器319的第二非反相输入以进行信号通信。预测精选滤波器333的第二输出连接到组合器385的反相输入以进行信号通信。
帧排序缓冲器310和编码器控制器305的输入可用作编码器300的输入，用于接收输入图片301。此外，补充增强信息(SEI)插入器330的输入可用作编码器300的输入，用于接收元数据。输出缓冲器335的输出可用作编码器300的输出，用于输出比特流。
转到图4，由参考数字400来一般地指示为使用本原理而修改和/或扩展的、能够依据MPEG-4 AVC标准执行视频解码的视频解码器。
视频解码器400包括输入缓冲器410，该输入缓冲器410具有连接到熵解码器445的第一输入以进行信号通信的输出。熵解码器445的第一输出连接到反向变换器和反向量化器450的第一输入以进行信号通信。反向变换器和反向量化器450的输出连接到组合器425的第二非反相输入以进行信号通信。组合器425的输出连接到去块滤波器465的第二输入、帧内预测模块460的第一输入和预测精选滤波器433的第三输入以进行信号通信。去块滤波器465的第二输出连接到参考图片缓冲器480的第一输入以进行信号通信。参考图片缓冲器480的输出连接到运动补偿器470的第二输入以进行信号通信。
熵解码器445的第二输出连接到运动补偿器470的第三输入、去块滤波器465的第一输入和预测精选滤波器433的第四输入以进行信号通信。熵解码器445的第三输出连接到解码器控制器405的输入以进行信号通信。解码器控制器405的第一输出连接到熵解码器445的第二输入以进行信号通信。解码器控制器405的第二输出连接到反向变换器和反向量化器450的第二输入以进行信号通信。解码器控制器405的第三输出连接到去块滤波器465的第三输入以进行信号通信。解码器控制器405的第四输出连接到帧内预测模块460的第二输入、运动补偿器470的第一输入、参考图片缓冲器480的第二输入以及预测精选滤波器433的第一输入以进行信号通信。
运动补偿器470的输出连接到切换器497的第一输入以进行信号通信。帧内预测模块460的输出连接到切换器497的第二输入以进行信号通信。切换器497的输出连接到预测精选滤波器433的第二输入以进行信号通信。预测精选滤波器433的输出连接到组合器425的第一非反相输入以进行信号通信。
输入缓冲器410的输入可用作解码器400的输入，用于接收输入比特流。去块滤波器465的第一输出可用作解码器400的输出，用于输出输出图片。
如上所注意到的，本原理旨在使用预测数据精选来进行视频编码的方法和装置。
在一实施例中，自适应滤波器被用于预测性视频编码和/或解码。可以在编码和/或解码环中实施该自适应滤波器，以增强和/或精选预测数据。在一实施例中，我们在预测阶段之后且残差生成之前应用该自适应滤波器。
在一个实施例中，可以使用基于稀疏的修补技术，以便于对在预测步骤生成的数据进行滤波。在任何可能的预测模式生成足够精确(例如，每个预定标准)的预测的情形下，依据本原理的实施例的、使用已解码的数据并应用于所选预测的滤波器可以精选预测数据，以便生成更小的残差，从而潜在减少需要残差编码的信息的量，并/或增加预测数据的逼真度。
在视频编码的现有技术中，在模式选择期间和视频编码器/解码器范例的预测阶段预测的数据被直接用于预测残差的生成中。此外，恢复丢失的图像区域(例如，修补)的现有技术建议出于这样的目的可以使用某些去噪技术。然而，在本原理的实施例中，我们提出在生成预测残差之前对预测数据使用滤波器，以对其进行进一步的精选，所述生成预测残差可以是用于恢复部分丢失数据的基于去噪的技术。在一实施例中，所提出的方案可以用于增强/精选根据预测模式获得的预测。在一实施例中，提出对于视频编码算法在预测后(且在生成残差之前)使用精选滤波器。
本原理利用了在接收器处可用的解码的数据(例如，来自相邻块、帧和/或图片)可以在产生残差之前被用于精选预测数据的事实。
帧内预测精选
现在将描述旨在帧内预测的实施例(此后称之为“帧内预测实施例”)。显然的是，这里描述帧内预测实施例是为了说明的目的，并且因此，如果给出了这里所提供的本原理的教导，则本领域和相关领域普通技术人员可以在保持本原理的精神的同时，预期到与帧内预测相关的本原理的各种修改和变型。
所提出的关于帧内预测的方案涉及环内帧内编码精选过程，其改进了现有帧内编码模式的预测精确度。典型地固有地为低通操作的标准帧内编码方法通常不能有效地预测高频内容。在实施例中，我们考虑对周围块的采样来精选通过标准帧内预测获得的现有预测。在经典帧内预测中，如在MPEG-4AVC标准中所使用的，仅使用来自相邻块的像素的第一层来计算当前块内的像素预测。这意味着不能使用相邻块中关于信号的结构或纹理的信息来进行预测。因此，例如，人们不能根据这样的邻域信息来预测当前块的可能的纹理或者可能的亮度梯度。在一实施例中，使用来自周围(即相邻)块的比与MPEG-4 AVC标准对应的预测中涉及的像素数更多的像素。因为其能够考虑例如与纹理有关的信息，所以这允许改进当前块中的预测。结果，所提出的帧内预测精选过程能够增强当前块中的高频或者结构内容的预测。
新的帧内预测精选方法在预测模式选择处理和残差计算之间插入精选步骤。对于帧内预测的宏块，本原理的实施例可以涉及下述步骤：
(1)使用所有可用的帧内预测模式(例如4×4、8×8和16×16)来执行帧内预测，并选择最好的帧内预测模式(例如，从失真率的角度)；
(2)使用预测结果来初始化预测精选算法；
(3)应用预测精选算法；
(4)确定精选处理是否改进了当前块的预测(例如，从失真率的角度)；
(5)如果存在改进，则对于那个模式和块使用在精选算法的输出处获得的预测来代替根据MPEG-4 AVC标准的“经典”帧内预测。
可以使用例如能够被嵌入在诸如子宏块、宏块上的句法或者更高级别的句法将关于帧内预测精选处理的必要信息发送给解码器。
作为对于上述方法的增强，我们使得精选适应于相邻解码数据的可用性。例如，在针对MPEG-4 AVC标准的实施例中，考虑解码的邻域的因果特性。例如，在4×4预测模式的情况下，用于精选当前块的预测的邻域是当前块周围的因果邻域(参见图5B)。
转到图5B，由参考数字500来一般地指示正在编码的当前帧内4×4块和用于修补的相关邻域的图。具体地，由参考数字510指示当前4×4块，由参考数字520指示相关邻域块，并且由参考数字530指示非相关邻域块。
可以将预测精选方案描述为包括下述。
预测精选方案涉及确定和/或导出起始阈值T0。这可以基于周围的解码数据和/或邻域中的像素的某些统计值、和/或可以基于在编码过程期间使用的编码质量或量化步骤来隐含地导出。此外，可以使用句法级别将起始阈值明确发送给解码器。事实上，可以使用宏块级别或高级别的句法来安置这样的信息。
预测精选方案还涉及确定最终阈值Tf和/或对于最高精选性能对每个块要执行的迭代的最大次数。可以基于周围的解码邻域的某些统计值和/或基于在编码过程期间使用的编码质量或量化步骤来导出该阈值和/或迭代的最大次数。例如可以使用高级别句法将最终阈值发送给解码器。例如，高级别句法可以被置于宏块、时间片、图片和/或序列级别。
在预测精选使能的视频编码器和/或解码器的实施例中，人们可以使用去噪算法来执行预测精选。预测精选滤波器的特定实施例可以涉及下述步骤：
1)T＝Ｔ0；
2)将当前块分解为L层；
3)对于当前块利用帧内预测的值来初始化层像素；
4)当T＞Tf和/或执行的迭代次数＜最大值时，
a)对于i＝1，...，L(L是最内层)
i.找到与层1，...，L重叠50％或以下、但不是0％的所有离散余弦变换(DCT)块
ii.使用阈值T对系数进行硬限值
iii.通过对与层的相关部分重叠的全部反向变换进行平均来反向变换并更新层i中的像素
b)T＝T-ΔT。
该特定实施例本质上是迭代。然而，应当显然的是，可以实施本原理的其他实施例以运行于单次迭代。
于是，在一实施例中，提出图像修补技术以用作视频压缩应用的环内精选部分。在一实施例中，为了增强的编码性能提出预测之后(且在残差生成之前)的精选步骤。在一实施例中，对于这样的预测精选提出使用基于去噪的修补技术。
帧间预测精选
给出这里所提供的本原理的教导，则对于本领域及相关领域普通技术人员来说明显的是，在保持本原理的精神的同时，很容易将上述帧内预测精选方案扩展到在帧间预测精选中使用。应当进一步明显的是，帧间预测精选可以涉及依据根据运动补偿模式和/或运动补偿数据(运动矢量、参考帧)及其相关相邻块的运动补偿预测模式和/或运动补偿(MC)预测数据(例如，阈值适配和/或迭代次数设置和/或精选使能)来调整精选过程。
在一实施例中，在所有宏块已进行了第一编码处理之后，可以将精选步骤应用于帧内数据，以作为对于所选块或宏块的第二通过精选步骤。当编码帧间块时可以考虑上述过程。在一实施例中，在第二编码过程期间，所选块、宏块和/或区域可以使用利用非因果数据邻域(如果需要)的预测精选的额外步骤(参见图5A)。转到图5B，由参考数字550一般地指示正在编码的当前帧内4×4块和用于修补的相关非因果邻域的图。具体地，参考数字560指示当前4×4块，参考数字570指示相关邻域块。
精选步骤可以被应用于图片的任何区域形状或大小，例如子块、宏块或由子块和/或宏块的结合组成的混合区域。于是，考虑对于预测的额外的精选步骤而生成最终要被编码的残差。
在表1中示出了依据本原理的实施例的示范性宏块首部。
表1
macroblock_layer(){   C   描述符
  mb_type   2   ue(v)|ae(v)
…
  prediction_refinement_flag   u(1)
if(prediction_refinement_flag&&mb_type＝＝Intra4×4){
    4×4subblock_level_adaptation_flag   u(1)
    if(4×4subblock_level_adaptation_flag){
      for(i＝1；i＜total_subblocks；1++){
       4×4subblock_adaptation_flag[1]   u(1)
      }
    }
  }
 …
转到图6，由参考数字600一般地指示使用预测精选来编码图像数据的方法。在图6示出的特定实施例中，出于简单的目的而仅考虑宏块方式对于是否使用预测精选的适应性。
方法600包括对功能块610传递控制的起始块605。功能块610执行帧内预测并选择最好的帧内预测模式，将失真的测量记录为D_intra，并将控制传递到功能块615。功能块615对帧内预测数据执行预测精选，将失真测量记录为D_refinement，并将控制传递到判定块620。判定块620确定D_refinement加上帧内模式的编码成本(intra_cost)及精选选择成本(refinement_cost)的测量的和是否小于D_intra加上帧内模式的编码成本的测量(intra_cost)。如果小于，则控制被传递到功能块625。否则，控制被传递功能块630。
功能块625将prediction_refinement_flag(预测精选标记)设置为等于1，并将控制传递到功能块635。
功能块630将prediction_refinement_flag(预测精选标记)设置为等于0，并将控制传递到功能块632。
功能块632放弃所获得的预测的精选，并将控制传递到功能块635。
功能块635计算残差，对当前宏块进行熵编码，并将控制传递到结束块699。
转到图7，由参考数字700一般地指示使用预测精选来解码图像数据的方法。
方法700包括将控制传递到功能块710的起始块705。功能块710解析比特流，获得(确定)帧内预测模式和prediction_refinement_flag，并将控制传递到功能块715。功能块715执行帧内预测，并将控制传递到判定块720。判定块720确定prediction_refinement_flag是否等于1。如果等于，则控制被传递到功能块725。否则，控制被传递到功能块730。
功能块725对帧内预测数据执行预测精选，并将控制传递到功能块730。
功能块730加和残差，重构当前宏块，并将控制传递到结束块799。
转到图8，由参考数字800来一般地指示用于提供具有精选的预测的示范性装置。装置800可以被实现为分别包括例如图3和图4的预测精选滤波器333和/或预测精选滤波器433。
装置800包括帧内预测模块805，该帧内预测模块805具有连接到预测选择器和/或混合器(blender)815的第一输入的输出，以进行信号通信。预测选择器和/或混合器815的输出连接到精选计算器820的第一输入、预测选择器和/或混合器825的第一输入、初始阈值估计器830的第一输入和最终阈值估计器835的第一输入以进行信号通信。精选计算器820的输出连接到预测选择器和/或混合器825的第二输入以进行信号通信。
帧间预测模块810的输出连接到预测选择器和/或混合器815的第二输入以进行信号通信。
初始阈值估计器830的输出连接到精选计算器820的第二输入和迭代次数计算器840的第一输入以进行信号通信。
最终阈值估计器835的输出连接到迭代次数计算器840的第二输入和精选计算器820的第三输入以进行信号通信。
迭代次数计算器840的输出连接到精选计算器820的第四输入以进行信号通信。
帧内预测模块805的输入、初始阈值估计器830的输入、和最终阈值估计器835的输入可以被用作装置800的输入，用于接收当前图像中已解码的数据。
帧间预测模块810的输入、初始阈值估计器830的第二输入和最终阈值估计器835的第二输入可以被用作装置800的输入，用于接收已解码的图片。
初始阈值估计器830的第四输入、最终阈值估计器835的第四输入和迭代次数计算器840的第三输入可以被用作装置800的输入，用于接收控制参数。
预测选择器和/或混合器825的输出可以被用作装置800的输出，用于输出精选的预测。
精选计算器820、初始阈值估计器830、最终阈值估计器835、迭代次数计算器840和预测选择器和/或混合器825是精选模块877的一部分，精选模块877进而是装置800的一部分。
转到图9，由参考数字900一般地指示用于生成精选预测的示范性方法。可以认为方法900包括由功能块910表示的预测部分和由块915至970表示的精选部分。也由参考数字966来指示精选部分。
方法900包括将控制传递到功能块910的起始块905。功能块910例如基于MPEG-4AVC标准执行预测步骤(或多个步骤)，并将控制传递到判定块915。判定块915确定对于预测是否使用精选。如果使用，则控制被传递到功能块920。否则，控制被传递到结束块999。
功能块920在像素层上执行将当前预测块分解，并将控制传递到有限循环块925。有限循环块925对当前块的每层i执行循环，并将控制传递到功能块930。功能块930将阈值T设置为等于T_start，并将控制传递到有限循环块935。有限循环块935执行关于每个迭代的循环，并将控制传递到功能块940。功能块940利用已解码的空间邻域生成具有较好重叠(如这里所使用的，“较好重叠”指至少重叠50％)的那些变换的变换系数，并将控制传递到功能块945。功能块945对系数执行限值(thresholding)操作(例如，保留具有大于给定阈值的幅值的那些系数，并将其幅值低于这样的阈值的系数设置为0)，并将控制传递到功能块950。功能块950利用已解码的空间邻域反向变换具有较好重叠的那些变换的阈值系数，并将控制传递到功能块955。功能块955恢复解码像素，以使得限值操作不影响解码像素，并将控制传递到功能块960。功能块960降低阈值T，并将控制传递到有限循环块965。有限循环块965结束对每个迭代的循环，并将控制传递到有限循环块970。有限循环块970结束对当前预测块的每层i的循环，并将控制传递到结束块999。
转到图10，由参考数字1000一般地指示在精选下的宏块中的同心像素层的示范性集合。宏块1010具有宏块的非因果邻域1020。
现在将对本发明的许多伴随优点/特征中的一些给出描述，其中的某些在上面已经提到。例如，一个优点/特征是具有用于对图片的图像区域进行编码的编码器的装置。该编码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器。所述预测精选滤波器使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中所述图像区域是块、宏块、块的组合和宏块的组合中的至少一个。
另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中所述预测精选滤波器是线性型和非线性型中的至少一个。
另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，所述图像区域对应于下述中的任意一个：关于同一或类似场景的多视角视频内容、单视角视频内容、以及来自同一场景的一组可缩放层的可缩放层。
此外，另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，关于迭代噪声减少方法和非迭代噪声减少方法应用所述预测精选滤波器。
此外，另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，关于迭代丢失数据估计方法和非迭代丢失数据估计方法应用所述预测精选滤波器。
此外，另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，根据与图像区域和邻域中的至少一个对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器。
此外，另一优点/特征是具有如上所述适应性地使能或禁止的预测精选滤波器的编码器的装置，其中，所述数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。
此外，另一优点/特征是具有如上所述适应性地使能或禁止的预测精选滤波器的编码器的装置，其中，确定关于所述预测精选滤波器的使能信息或禁止信息，以使得最小化失真测量和编码成本测量中的至少一个。
此外，另一优点/特征是具有如上所述适应性地使能或禁止的预测精选滤波器的编码器的装置，其中使用子块级句法元素、块级句法元素、宏块级句法元素和高级句法元素中的至少一个来对关于所述预测精选滤波器的使能信息或禁止信息发出信号。
此外，另一优点/特征是具有其中如上所述使用子块级句法元素、块级句法元素、宏块级句法元素和高级句法元素中的至少一个来对关于所述预测精选滤波器的使能信息或禁止信息发出信号的预测精选滤波器的编码器的装置，其中，至少一个高级句法元素被安置在时间片首部级别、补充增强信息(SEI)级别、图片参数集级别、序列参数集级别和网络抽象层单元首部级别中的至少一个处。
此外，另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，所述编码器发送边信息(side information)以适应性地指示与图像块对应的预测精选滤波器的参数，以子宏块级别、宏块级别、时间片级别、图片级别和序列级别中的至少一个来发送所述边信息。
此外，另一优点/特征是具有其中如上所述编码器发送边信息的预测精选滤波器的编码器的装置，其中，至少部分地基于与图像区域和邻域中的至少一个对应的数据特征和数据统计中的至少一个来适应性地指示所述预测精选滤波器的参数。
此外，另一优点/特征是具有其中如上所述适应性地指示所述预测精选滤波器的参数的预测精选滤波器的编码器的装置，其中，数据特征和数据统计中的至少一个包括编码模式、运动数据、重构数据和残差数据中的至少一个。
此外，另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，所述预测精选滤波器被选择性地应用于图片的第二通过编码中，而不应用于图片的第一通过编码中。
此外，另一优点/特征是具有如上所述的预测精选滤波器的编码器的装置，其中，所述预测精选滤波器使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧内预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
基于这里的教导，本领域的一个普通技术人员可以容易地确定本原理的这些和其他特征和优点。应当明白，可以以硬件、软件、固件、专用处理器及其组合的各种形式来实现本原理的教导。
最优选地，将本原理的教导实现为硬件和软件的组合。此外，软件可以被实现为被有形地具体化在程序存储单元上的应用程序。该应用程序可以被上载到、或由包括任何自适应架构的机制来执行。优选地，该机制被实现在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口的硬件的计算机平台上。该计算机平台也可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是能够由CPU执行的微指令代码的一部分或者应用程序的一部分、或者其的任意组合。此外，各种其他的外围单元可以被连接到计算机平台，诸如附加数据存储单元和打印单元。
应当进一步明白的是，因为优选地以软件来实现在附图中示出的一些构成系统组件和方法，所以系统组件或处理功能块之间的实际连接可以根据拟定本原理的方式而有所不同。这里给出本教导，从而所属技术领域的一个普通技术人员将能够设想本原理的这些和类似实现方式或者配置。
虽然这里已经参照附图描述了示意性实施例，但是应当明白，本原理不限于那些具体的实施例，并且在不背离本原理的范围或精神的情况下，所述技术领域的一个普通技术人员可以在这里实现各种改变和修改。所有这样的改变和修改意欲被包括在由所附权利要求书所限定的本原理的范围内。

Claims (25)

1.一种装置，包括：
编码器(300)，用于对图片的图像区域进行编码，所述编码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器(333)，
其中，所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
2.根据权利要求1所述的装置，其中，所述图像区域对应于关于同一或类似场景的多视角视频内容、单视角视频内容、以及来自同一场景的一组可缩放层的可缩放层的任意一个。
3.根据权利要求1所述的装置，其中，根据与图像区域和相邻区域中的至少一个对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器(333)。
4.根据权利要求3所述的装置，其中，所述数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。
5.根据权利要求1所述的装置，其中，所述预测精选滤波器(333)被选择性地应用于图片的第二通过编码中，而不应用于图片的第一通过编码中。
6.一种方法，包括：
通过使用预测精选滤波器(333)来精选关于图像区域的帧内预测和帧间预测中的至少一个来编码图片图片的图像区域，
其中，所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
7.根据权利要求6所述的方法，其中，图像块对应于关于同一或类似场景的多视角视频内容、单视角视频内容、以及来自同一场景的一组可缩放层的可缩放层的任意一个。
8.根据权利要求6所述的方法，其中，根据与图像块(820、830、835、840)对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器。
9.根据权利要求8所述的方法，其中，所述数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。
10.根据权利要求6所述的方法，其中，所述预测精选滤波器被选择性地应用于图片的第二通过编码中，而不应用于图片的第一通过编码中。
11.一种装置，包括：
解码器(400)，用于对图片的图像区域进行解码的，所述解码器具有用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器(433)，
其中，所述预测精选滤波器(333)使用先前解码的数据来精选关于图像区域的帧间预测，所述先前解码的数据对应于关于所述图像区域的相邻区域内的像素值。
12.根据权利要求11所述的装置，其中，根据与图像块对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器(433)。
13.根据权利要求12所述的装置，其中，根据至少一个高级句法元素来解码关于所述预测精选滤波器(433)的使能信息或禁止信息。
14.根据权利要求13所述的装置，其中，所述至少一个高级句法元素位于时间片首部级别、补充增强信息(SEI)级别、图片参数集级别、序列参数集级别和网络抽象层单元首部级别中的至少一个处。
15.根据权利要求11所述的装置，其中，所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和所述先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
16.一种方法，包括：
通过使用预测精选滤波器(433)来对关于图像区域的帧内预测和帧间预测中的至少一个进行精选以解码图片的图像区域，
其中，所述预测精选滤波器(333)使用先前解码的数据来精选关于图像区域的帧间预测，所述先前解码的数据对应于关于所述图像区域的相邻区域内的像素值。
17.根据权利要求16所述的方法，其中，关于迭代丢失数据估计方法和非迭代丢失数据估计方法(966)应用所述预测精选滤波器(333)。
18.根据权利要求16所述的方法，其中，根据与图像块对应的数据特征和数据统计中的至少一个来适应性地使能或禁止所述预测精选滤波器。
19.根据权利要求18所述的方法，其中，所述数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。
20.根据权利要求16所述的方法，其中，所属解码步骤还包括：解码边信息，以适应性地确定与图像块对应的预测精选滤波器的参数，以宏块级别、时间片级别、图片级别和序列级别中的至少一个来解码所述边信息。
21.一种其上具有编码的视频信号数据的存储媒体，包括：
使用用于对关于图像区域的帧内预测和帧间预测中的至少一个进行精选的预测精选滤波器(333)进行编码的图片的图像区域，
其中，所述预测精选滤波器(333)使用先前解码的数据和先前编码的数据中的至少一个来精选关于图像区域的帧间预测，所述先前解码的数据和先前编码的数据对应于关于所述图像区域的相邻区域内的像素值。
22.根据权利要求21所述的存储媒体，其中，所述图像区域是块、宏块、块的组合和宏块的组合中的至少一个。
23.根据权利要求21所述的存储媒体，其中，所述图像区域对应于关于同一或类似场景的多视角视频内容、单视角视频内容、以及来自同一场景的一组可缩放层的可缩放层中的任意一个。
24.根据权利要求23所述的存储媒体，其中，数据特征和数据统计中的至少一个包括编码模式、运动数据和残差数据中的至少一个。
25.根据权利要求23所述的存储媒体，其中，确定关于所述预测精选滤波器(333)的使能信息或禁止信息，以使得最小化失真测量和编码成本测量中的至少一个。
CN2007800391145A 2006-10-18 2007-10-11 使用预测数据精选进行视频编码的方法和装置 Active CN101711481B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US85252906P 2006-10-18 2006-10-18
US60/852,529 2006-10-18
US91153607P 2007-04-13 2007-04-13
US60/911,536 2007-04-13
PCT/US2007/021811 WO2008048489A2 (en) 2006-10-18 2007-10-11 Method and apparatus for video coding using prediction data refinement

Publications (2)

Publication Number Publication Date
CN101711481A true CN101711481A (zh) 2010-05-19
CN101711481B CN101711481B (zh) 2013-01-09

Family

ID=39314602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800391145A Active CN101711481B (zh) 2006-10-18 2007-10-11 使用预测数据精选进行视频编码的方法和装置

Country Status (6)

Country Link
US (1) US8542736B2 (zh)
EP (1) EP2082585A2 (zh)
JP (2) JP2010507335A (zh)
KR (1) KR101566557B1 (zh)
CN (1) CN101711481B (zh)
WO (1) WO2008048489A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141106A (zh) * 2010-09-30 2013-06-05 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN103548356A (zh) * 2011-04-12 2014-01-29 韩国电子通信研究院 使用跳跃模式的图像编码方法及使用该方法的装置
CN103843338A (zh) * 2011-10-04 2014-06-04 汤姆逊许可公司 帧内编码图像块的自适应量化
CN107277512A (zh) * 2009-07-06 2017-10-20 汤姆逊许可证公司 用于空间变化残差编码的方法和设备
CN109565590A (zh) * 2016-08-08 2019-04-02 联发科技股份有限公司 用于视频编解码的基于模型的运动向量推导
CN112204966A (zh) * 2018-03-27 2021-01-08 株式会社Kt 视频信号处理方法和装置
CN113301334A (zh) * 2015-11-17 2021-08-24 华为技术有限公司 视频编码样本自适应滤波的方法和装置
CN113632477A (zh) * 2019-03-24 2021-11-09 北京字节跳动网络技术有限公司 转换后的单向预测候选的推导
CN113841397A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像编码和解码方法及装置
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
KR101378338B1 (ko) * 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
JP5400133B2 (ja) * 2008-04-15 2014-01-29 オランジュ 線形形状の画素区画にスライスされた画像または画像シーケンスの符号化および復号
PL2288163T3 (pl) * 2008-05-07 2015-11-30 Lg Electronics Inc Sposób i urządzenie do dekodowania sygnału wideo
EP2953353B1 (en) * 2008-05-07 2017-02-08 LG Electronics, Inc. Method and apparatus for decoding video signal
JP2012502552A (ja) * 2008-09-04 2012-01-26 トムソン ライセンシング 暗黙的な動き予測を使用した予測精緻化のための方法及び装置
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
FR2955730A1 (fr) * 2010-01-25 2011-07-29 Thomson Licensing Procedes de codage et de decodage
US9736486B2 (en) 2010-02-08 2017-08-15 Nokia Technologies Oy Apparatus, a method and a computer program for video coding
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
EP2398240A1 (en) * 2010-06-16 2011-12-21 Canon Kabushiki Kaisha A method and device for encoding and decoding a video signal
US9313523B2 (en) * 2010-07-16 2016-04-12 Sharp Laboratories Of America, Inc. System for low resolution power reduction using deblocking
US20120014447A1 (en) * 2010-07-16 2012-01-19 Sharp Laboratories Of America, Inc. System for low resolution power reduction with high resolution deblocking
US20120140829A1 (en) * 2010-12-06 2012-06-07 Shantanu Rane Signal Coding Using Spatial Statistical Dependencies
CN102547270B (zh) * 2010-12-31 2014-03-19 联芯科技有限公司 当前块的相邻块可用性获取方法及系统
US9930366B2 (en) 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
EP3090547A4 (en) * 2014-01-01 2017-07-12 LG Electronics Inc. Method and apparatus for encoding, decoding a video signal using an adaptive prediction filter
CN104954788B (zh) * 2014-03-27 2018-09-04 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
CN108028926B (zh) 2015-08-20 2021-08-24 日本放送协会 图像编码装置、图像解码装置
WO2017195914A1 (ko) * 2016-05-11 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10791340B2 (en) * 2016-11-15 2020-09-29 Sony Corporation Method and system to refine coding of P-phase data
WO2018124818A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
EP3777192A1 (en) * 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Refined block-based predictive coding and decoding of a picture
CN116320402A (zh) * 2018-04-04 2023-06-23 日本放送协会 预测图像校正装置、图像编码装置、图像解码装置以及程序
EP3811620A1 (en) * 2018-06-21 2021-04-28 InterDigital VC Holdings, Inc. Refinement mode processing in video encoding and decoding
EP3627837A1 (en) * 2018-09-21 2020-03-25 InterDigital VC Holdings, Inc. Refinement mode processing in video encoding and decoding
FR3081657A1 (fr) * 2018-06-27 2019-11-29 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
WO2020017840A1 (ko) * 2018-07-16 2020-01-23 엘지전자 주식회사 Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
US11159789B2 (en) * 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
WO2020192085A1 (zh) * 2019-03-25 2020-10-01 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
WO2022026888A1 (en) * 2020-07-30 2022-02-03 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for affine motion-compensated prediction refinement
CN116171576A (zh) * 2020-08-06 2023-05-26 北京达佳互联信息技术有限公司 用于仿射运动补偿预测细化的方法和装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3090763B2 (ja) 1992-02-06 2000-09-25 富士通株式会社 動画像符号化装置
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US6041145A (en) 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
JP3392307B2 (ja) 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
EP1064790A1 (en) * 1999-01-15 2001-01-03 Koninklijke Philips Electronics N.V. Coding and noise filtering an image sequence
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
US6669783B2 (en) * 2001-06-28 2003-12-30 Lam Research Corporation High temperature electrostatic chuck
JP3964391B2 (ja) * 2001-06-29 2007-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR100804902B1 (ko) * 2001-09-12 2008-02-20 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
KR100846774B1 (ko) * 2002-05-03 2008-07-16 삼성전자주식회사 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
EP1659803A4 (en) * 2003-08-19 2008-10-29 Matsushita Electric Ind Co Ltd METHOD FOR ENCODING AND DECODING A MOVING IMAGE
DE102004043857B3 (de) * 2004-09-10 2006-03-30 Infineon Technologies Ag DRAM-Zellenpaar und DRAM-Speicherzellenfeld mit Stack- und Trench-Speicherzellen sowie Verfahren zur Herstellung eines DRAM-Speicherzellenfeldes
US7634148B2 (en) * 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
KR100760334B1 (ko) 2005-09-16 2007-09-20 주식회사 엘지화학 패널 조립세트 및 이의 시공방법
DE102005052442A1 (de) * 2005-11-03 2007-06-28 Cognis Ip Management Gmbh Strukturierte Lipidgemische
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
EP2001239B1 (en) * 2006-03-27 2017-09-13 Sun Patent Trust Picture coding apparatus and picture decoding apparatus
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
JP5219498B2 (ja) 2007-12-26 2013-06-26 トーヨーコーケン株式会社 荷役機械及びその制御方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277512A (zh) * 2009-07-06 2017-10-20 汤姆逊许可证公司 用于空间变化残差编码的方法和设备
CN105516723B (zh) * 2010-09-30 2018-07-27 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
CN103141106B (zh) * 2010-09-30 2016-03-16 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN105516723A (zh) * 2010-09-30 2016-04-20 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
CN103141106A (zh) * 2010-09-30 2013-06-05 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN103548356A (zh) * 2011-04-12 2014-01-29 韩国电子通信研究院 使用跳跃模式的图像编码方法及使用该方法的装置
CN107623857B (zh) * 2011-04-12 2021-01-05 韩国电子通信研究院 视频编码/解码方法、设备以及生成和存储比特流的方法
CN107623857A (zh) * 2011-04-12 2018-01-23 韩国电子通信研究院 视频编码/解码方法、设备以及生成和存储比特流的方法
CN103843338B (zh) * 2011-10-04 2017-07-11 汤姆逊许可公司 帧内编码图像块的自适应量化
CN103843338A (zh) * 2011-10-04 2014-06-04 汤姆逊许可公司 帧内编码图像块的自适应量化
CN113301334B (zh) * 2015-11-17 2023-11-03 华为技术有限公司 视频编码样本自适应滤波的方法和装置
CN113301334A (zh) * 2015-11-17 2021-08-24 华为技术有限公司 视频编码样本自适应滤波的方法和装置
US11902515B2 (en) 2015-11-17 2024-02-13 Huawei Technologies Co., Ltd. Method and apparatus for video coding
CN109565590A (zh) * 2016-08-08 2019-04-02 联发科技股份有限公司 用于视频编解码的基于模型的运动向量推导
CN112204966A (zh) * 2018-03-27 2021-01-08 株式会社Kt 视频信号处理方法和装置
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
CN113632477A (zh) * 2019-03-24 2021-11-09 北京字节跳动网络技术有限公司 转换后的单向预测候选的推导
CN113841397A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像编码和解码方法及装置

Also Published As

Publication number Publication date
JP2010507335A (ja) 2010-03-04
JP5801363B2 (ja) 2015-10-28
CN101711481B (zh) 2013-01-09
EP2082585A2 (en) 2009-07-29
KR101566557B1 (ko) 2015-11-05
KR20090079894A (ko) 2009-07-22
US8542736B2 (en) 2013-09-24
WO2008048489A3 (en) 2008-07-17
US20090238276A1 (en) 2009-09-24
WO2008048489A2 (en) 2008-04-24
JP2013258771A (ja) 2013-12-26

Similar Documents

Publication Publication Date Title
CN101711481B (zh) 使用预测数据精选进行视频编码的方法和装置
JP2022172145A (ja) ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
KR101665547B1 (ko) 비디오 인코더 및 디코더에 대한 암묵적 및 반-암묵적 인트라 모드의 신호 발신을 위한 방법 및 장치
JP6158802B2 (ja) 復号装置および復号方法
KR100957754B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN102090062B (zh) 用于位移帧内预测和模板匹配的去块滤波
CN102484706B (zh) 使用自适应几何划分进行视频编码和解码的方法及装置
CN102550026B (zh) 视频编码和解码中色度分量的预测像素的自适应滤波的方法和装置
CN103200402B (zh) 清除解块人为噪声的方法
CN103348651A (zh) 具有降低复杂性的变换单元分割的方法及装置
US20120250769A1 (en) Hybrid video coding
CN102812706A (zh) 用于视频编码和解码的隐式自适应运动向量预测值选择的方法和装置
CN102742268A (zh) 视频编码和解码的自适应模版匹配预测的方法和装置
CN103380622A (zh) 帧内预测模式编码/解码方法和用于其的设备
JP2011501566A (ja) ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置
CN101911704A (zh) 使用基于多格稀疏性的滤波来进行去伪像滤波的方法和设备
CN104811719A (zh) 用于视频编码器和解码器的方法和装置
CN102484701A (zh) 用于空间变化残差编码的方法和设备
CN102204254A (zh) 使用隐式运动预测进行预测精细化的方法及装置
CN102648628A (zh) 视频编码和解码中针对帧间帧的改进色度变换的方法和装置
CN102271257A (zh) 图像处理设备和方法及程序和计算机可读介质
JP2010534015A (ja) 画像処理方法及び対応する電子装置
CN102577382A (zh) 用于视频编码器和解码器的有效自适应滤波的方法和装置
CN104754337A (zh) 视频编码方法
CN102196253B (zh) 一种帧类型自适应选择的视频编码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Billancourt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190219

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190219

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right