CN103024373A - 预测尺寸单元根据视频编码的信令 - Google Patents

Abstract

本发明涉及预测尺寸单元根据视频编码的信令。根据视频编码，可执行各种二值化。根据与不同的切片（例如，I、P、B切片）相关的编码，一个或多个二叉树可用于进行各种相应的操作（例如，编码单元（CU）预测和预测单元（PU）分割模式操作）。在一个实施方式中，针对P切片和B切片，共同的或单个的二叉树用于用单个语法元素对CU预测和PU分割模式共同编码。即，在这种实施方式中，代替将不同的二叉树用于至少这些不同的处理/操作，共同的或单个的二叉树可用于CU预测和PU分割模式。可在编码器/发射器装置和解码器/接收器装置之间进行适当的协作，以确保适当地处理视频编码的各个不同阶段。

Description

预测尺寸单元根据视频编码的信令

相关专利/专利申请的交叉引用

本申请要求2011年9月27日提交的美国临时专利申请第61/539,948号和2012年6月14日提交的美国专利申请第13/523,822号的优先权。

技术领域

本发明大体涉及数字视频处理；更具体地说，本发明涉及根据这种数字视频处理的信令。

背景技术

已经连续多年研究了用于传送数字媒介（例如，图像、视频、数据等等）的通信系统。相对于使用某种形式的视频数据的这种通信系统，以某个帧速率（例如，每秒帧）输出或显示大量的数字图像，以便实现适合于输出和消耗的视频信号。在使用视频数据进行操作的多个这种通信系统内，在吞吐量（例如，可从第一位置发送到第二位置的图像帧的数量）和最终要输出或显示的信号的视频和/或图像质量之间可进行平衡。现有技术未充分或可接受地提供一种装置，通过该装置，随着提供充分的或可接受的视频和/或图像质量，可将视频数据从第一位置传送至第二位置，从而确保与通信相关联的费用相对较低、在通信链路的各个端部的通信装置的复杂性相对较低等。

发明内容

根据本发明的一实施方式，提供了一种设备，包括：视频编码器，用于对输入视频信号进行编码，以生成输出比特流；并且其中：视频编码器使用单个二叉树用于随着生成输出比特流处理至少一个P切片和至少一个B切片；视频编码器针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用第一语法元素对编码单元（CU）预测进行编码；以及视频编码器针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用第二语法元素对预测单元（PU）分割模式进行编码。

此外，根据该实施方式，第一语法元素表示帧内预测处理或帧间预测处理；以及第二语法元素表示CU分割形状。

此外，根据该实施方式，视频编码器随着生成输出比特流而在第一时间或在第一时间期间执行帧内预测处理；以及视频编码器随着生成输出比特流而在第二时间或在第二时间期间执行帧间预测处理。

此外，根据该实施方式，设备为第一通信装置；并且进一步包括：第二通信装置，经由至少一个通信信道与第一通信装置进行通信，包含：输入端，用于接收输出比特流；以及视频解码器，用于对输出比特流进行解码，以生成与输入视频信号相对应的输出视频信号；并且其中：第二通信装置为计算机、膝上型计算机、高清晰度（HD）电视、标准清晰度（SD）电视、手持式媒介设备、机顶盒（STB）、以及数字视频光盘（DVD）播放器中的至少一个。

此外，根据该实施方式设备为在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作的通信装置。

根据本发明的另一实施方式，还提供了一种设备，包括：视频编码器，用于对输入视频信号进行编码，以生成输出比特流；并且其中：视频编码器使用单个二叉树，用于随着生成输出比特流来处理至少一个P切片和至少一个B切片。

此外，根据该另一实施方式，视频编码器针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用单个语法元素对编码单元（CU）预测和预测单元（PU）分割模式共同编码，。

此外，根据该另一实施方式，视频编码器针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用第一语法元素对编码单元（CU）预测进行编码；以及视频编码器针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用第二语法元素对预测单元（PU）分割模式进行编码。

此外，根据该另一实施方式，第一语法元素表示帧内预测处理或帧间预测处理；以及第二语法元素表示CU分割形状。

此外，根据该另一实施方式，视频编码器随着生成输出比特流而在第一时间或在第一时间期间执行帧内预测处理；以及视频编码器随着生成输出比特流而在第二时间或在第二时间期间执行帧间预测处理。

此外，根据该另一实施方式，设备为第一通信装置；并且进一步包括：第二通信装置，经由至少一个通信信道与第一通信装置进行通信，包含：输入端，接收输出比特流；以及视频解码器，对输出比特流进行解码，以生成与输入视频信号相对应的输出视频信号。

此外，根据该另一实施方式，第二通信装置为计算机、膝上型计算机、高清晰度（HD）电视、标准清晰度（SD）电视、手持式媒介设备、机顶盒（STB）、以及数字视频光盘（DVD）播放器中的至少一个。

此外，根据该另一实施方式，设备为在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作的通信装置。

根据本发明的又一实施方式，提供了一种用于操作通信装置的视频编码器的方法，方法包括：操作视频编码器，用于对输入视频信号进行编码以生成输出比特流；以及在视频编码器内使用单个二叉树，用于随着生成输出比特流来处理至少一个P切片和至少一个B切片。

此外，根据该又一实施方式，在视频编码器内针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用单个语法元素对编码单元（CU）预测和预测单元（PU）分割模式共同编码。

此外，根据该又一实施方式，该方法还包括：针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用第一语法元素对编码单元（CU）预测进行编码；以及针对至少一个P切片和至少一个B切片使用单个二叉树，以随着生成输出比特流用第二语法元素对预测单元（PU）分割模式进行编码。

此外，根据该又一实施方式，第一语法元素表示帧内预测处理或帧间预测处理；以及第二语法元素表示CU分割形状。

此外，根据该又一实施方式，该方法还包括：随着生成输出比特流而在第一时间或在第一时间期间执行帧内预测处理；以及随着生成输出比特流而在第二时间或在第二时间期间执行帧间预测处理。

此外，根据该又一实施方式，该方法还包括：操作另一通信装置，另一通信装置通过以下项经由至少一个通信信道与第一通信装置进行通信：接收输出比特流；以及操作视频解码器以对输出比特流进行解码，从而生成与输入视频信号相对应的输出视频信号，其中，另一通信装置为计算机、膝上型计算机、高清晰度（HD）电视、标准清晰度（SD）电视、手持式媒介设备、机顶盒（STB）、以及数字视频光盘（DVD）播放器中的至少一个。

此外，根据该又一实施方式，通信装置在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作。

附图说明

图1和图2示出了通信系统的各种实施方式；

图3A示出了计算机的一个实施方式；

图3B示出了膝上型计算机的一个实施方式；

图3C示出了高清晰度（HD）电视的一个实施方式；

图3D示出了标准清晰度（SD）电视的一个实施方式；

图3E示出了手持式媒介设备的一个实施方式；

图3F示出了机顶盒（STB）的一个实施方式；

图3G示出了数字视频光盘（DVD）播放器的一个实施方式；

图3H示出了通用数字图像和/或视频处理装置的一个实施方式；

图4、图5和图6是示出了视频编码结构的各种实施方式的示图；

图7是示出了帧内预测处理的实施方式的示图；

图8是示出了帧间预测处理的实施方式的示图；

图9和图10是示出了视频解码架构的各种实施方式的示图；

图11示出了递归编码单元（CU）结构的实施方式；

图12示出了预测单元（PU）模式的实施方式；

图13示出了针对在一个实现方式中进行P切片编码并且在另一实现方式中进行P切片和B切片编码所采用的二叉树的一个实施方式，包括二叉树的修改；

图14示出了可针对在一个实现方式中进行B切片编码以及在另一实现方式中进行P和B切片编码所采用的二叉树的实施方式；

图15示出了针对P切片编码和可针对与图12所执行的B切片编码相结合所采用的二叉树的实施方式；

图16A、图16B、图17A以及图17B示出了根据视频编码（例如，在一个或多个通信装置内）执行的方法的各种实施方式。

具体实施方式

在使用数字媒介（例如，数字视频）的多个装置内，使用像素表示这些装置各自的图像，这些图像实质上为数字图像。在某些通信系统内，可将数字媒介从第一位置发送到第二位置，在该位置可输出或显示这种媒介。数字通信系统（包括操作以便传送数字视频的那些通信系统）的目的在于将数字数据从一个位置或子系统中发送到没有误差或具有较低的可接受的误差率的另一个位置或子系统中。如图1中所示，在各种通信系统内，通过各种通信信道可发送数据：磁性媒介、以及有线、无线、光纤、铜和/或其他类型的媒介。

图1和图2分别为示出了通信系统100和200的各种实施方式的示图。

参考图1，通信系统100的这个实施方式为通信信道199，该通信信道将位于通信信道199的一端的通信装置110（包括具有编码器114的发射器112和具有解码器118的接收器116）通信地耦接至位于通信信道199的另一端的另一通信装置120（包括具有编码器128的发射器126和具有解码器124的接收器122）。在某些实施方式中，通信装置110和120中的任一个可仅包括发射器或接收器。存在几种不同的媒介，通过该媒介，可使用通信信道199（例如，使用碟形卫星天线（satellite dish）132和134的卫星通信信道130、使用塔142和144和/或本地天线152和154的无线通信信道140、有线通信信道150、和/或使用电光（E/O）接口162和光电（O/E）接口164的光纤通信信道160）。此外，可使用一种以上的媒介，并将其结合在一起，从而形成通信信道199。

要注意的是，在不背离本发明的范围和精神的情况下，这种通信装置110和/或120可为固定或移动式。例如，通信装置110和/或120可在固定的位置内使用，或者可为移动通信装置，能够一个以上的网络接入点相关联和/或连通（例如，包括一个或多个无线局域网（WLAN）的移动通信系统中的各个不同的接入点（AP）、包括一个或多个卫星的移动通信系统中的各个不同的卫星、或者通常为包括一个或多个网络接入点的移动通信系统中的各个不同的网络接入点，通过这些接入点，通信装置110和/或120可实现通信）。

为了减少通信系统内不期望产生的传输误差，通常使用误差校正和信道编码方案。通常，这些误差校正和信道编码方案包括在通信信道199的发射器端使用编码器以及在通信信道199的接收器端使用解码器。

在任何这种所需要的通信系统（例如，包括图1中所述的那些变化）、任何信息储存装置（例如，硬盘驱动器（HDD）、网络信息储存装置和/或服务器等等）、或需要进行信息编码和/或解码的任何应用程序中，可使用上述各种ECC代码中的任何一个代码。

一般而言，考虑使用将视频数据从一个位置或子系统传送到另一个位置或子系统的通信系统时，通常可将视频数据编码视为在通信信道199的发射端进行编码，并且通常可将视频数据解码视为在通信信道199的接收端进行解码。

同样，尽管示图的实施方式示出了能够在通信装置110和120之间进行双向通信，但要注意的是，在某些实施方式中，通信装置110可仅包括视频数据编码能力，通信装置120可仅包括视频数据解码能力，反之亦然（例如，在单向通信实施方式中，例如根据视频广播实施方式）。

参考图2的通信系统200，在通信信道199的发射端，将信息比特201（例如，尤其与一个实施方式中的视频数据相对应）提供给发射器297，该发射器可用于使用解码器和符号映射器（symbol mapper）220（分别可视为不同的功能块222和224）对这些信息比特201进行编码，从而生成提供给发射驱动器230的一系列离散值调制符号203，该发射驱动器使用DAC（数模变换器）232生成连续时间发射信号204并且使用发射滤波器234生成过滤的连续时间发射信号（transmit signal）205，该发射信号与通信信道299基本上一致。在通信信道299的接收端，将连续时间接收信号206提供给AFE（模拟前端）260，该模拟前端包括接收滤波器262（生成过滤的连续时间接收信号207）以及ADC（模数变换器）264（生成离散时间接收信号208）。度量发生器270计算度量209（例如，根据符号和/或比特），解码器280使用该度量，最佳地估计在其内进行编码的离散值调制符号和信息比特210。

在每个发射器297和接收器298内，各种元件、模块、功能块、电路可在其内以任何所需要的方式进行结合。例如，该示图显示了处理模块280a，包括编码器和符号映射器220以及其内所有相关的相应元件，并且显示了处理模块280b，包括度量发生器270和解码器280以及其内所有相关的相应元件。这种处理模块280a和280b可为各自的集成电路。当然，在不背离本发明的范围和精神的情况下，可交替地执行其他界限和集聚。例如，发射器297内的所有元件可包含在第一处理模块或集成电路内，并且接收器298内的所有元件可包含在第二处理模块或集成电路内。或者，在其他实施方式中，可对每个发射器297和接收器298内的元件进行任何其他组合。

与上述实施方式一样，这种通信系统200可用于传送视频数据，将视频数据从一个位置或子系统中传送到另一个位置或子系统中（例如，通过通信信道299从发射器297传送至接收器298）。

以下图3A至图3H中所述的任何不同装置可进行数字图像和/或媒介的数字图像和/或视频处理，从而允许用户观看这种数字图像和/或视频。这些不同的装置不包括详细的装置清单，在该清单内，可实行本文中所述的图像和/或视频处理，并且要注意的是，在不背离本发明的范围和精神的情况下，可使用任何通用数字图像和/或视频处理装置，以便进行本文中所述的处理。

图3A示出了计算机301的一个实施方式。计算机301可为台式计算机、或主机的企业储存装置（例如服务器），主机连接到储存阵列，例如，独立磁盘冗余阵列（RAID）、储存路由器、边界路由器、储存开关和/或储存导向器。用户能够依然使用计算机301观看数字图像和/或视频（例如，一系列数字图像）。通常，计算机301上包含各种图像和/或视频查看程序和/或媒介播放器程序，从而允许用户观看这种图像（包括视频）。

图3B示出了膝上型计算机302的一个实施方式。这种膝上型计算机302可位于并且用于任何多种环境中。近年来，随着膝上型计算机内处理能力和功能的日益增长，在本应使用先前高端的并且更强大的台式计算机的多种情况下，使用膝上型计算机。与计算机301一样，膝上型计算机302可包括各种图像查看程序和/或媒介播放器程序，从而允许用户观看这种图像（包括视频）。

图3C示出了高清晰度（HD）电视303的一个实施方式。很多HD电视303包括集成调谐器，从而允许接收和处理其上的媒介内容（例如，电视广播信号）并且对其解码。或者，有时，HD电视303从另一个源中接收媒介内容，例如，接收和处理电缆和/或卫星电视广播信号并且将其解码的数字视频光盘（DVD）播放器、机顶盒（STB）。无论是否进行特定的使用，都可使用HD电视303，从而如本文中所述，进行图像和/或视频处理。一般而言，HD电视303能够显示HD媒介内容，并且通常用作具有16：9的宽屏纵横比。

图3D示出了标准清晰度（SD）电视304的一个实施方式。当然，SD电视304与HD电视303略相似，至少一个差别在于，SD电视304不能显示HD媒介内容，并且SD电视304通常用作具有4：3的全屏纵横比。尽管如此，甚至可使用SD电视304，进行本文中所述的图像和/或视频处理。

图3E示出了手持式媒介设备305的一个实施方式。手持式媒介设备305可用于提供通用储存或图像和/或视频内容信息储存，例如，联合图像专家组（JPEG）文件、标记图像文件格式（TIFF）、位图、运动图像专家组（MPEG）文件、Windows Media（WMA/WMV）文件、为用户回放的MPEG4文件等其他类型的视频内容、和/或可储存在数字格式内的任何其他类型的信息。过去，这种手持式媒介设备主要用于储存和回放音频媒介；然而，这种手持式媒介设备305可用于储存和回放任何虚拟的媒介（例如，音频媒介、视频媒介、摄影媒介等等）。而且，这种手持式媒介设备305也可包括其他功能，例如集成通信电路，用于进行有线和无线通信。这种手持式媒介设备305可用于进行本文中所述的图像和/或视频处理。

图3F示出了机顶盒（STB）306的一个实施方式。如上所述，有时，STB 306可用于接收和处理提供给任何合适的显示功能装置（例如，SD电视304和/或HD电视303）的电缆和/或卫星电视广播信号并且将其解码。这种STB 306可单独操作或与这种显示功能装置共同操作，从而进行本文中所述的图像和/或视频处理。

图3G示出了数字视频光盘（DVD）播放器307的一个实施方式。在不背离本发明的范围和精神的情况下，这种DVD播放器可为蓝光DVD播放器、HD功能DVD播放器、SD功能DVD播放器、上采样功能DVD播放器（例如，从SD到HD等等）。DVD播放器可将信号提供给任何合适的显示功能装置，例如，SD电视304和HD电视303。DVD播放器305可用于进行本文中所述的图像和/或视频处理。

图3H示出了通用数字图像和/或视频处理装置308的一个实施方式。再次，如上所述，上述这些不同的装置不包括详细的装置清单，在该清单内，可实行本文中所述的图像和/或视频处理，并且要注意的是，在不背离本发明的范围和精神的情况下，可使用任何通用数字图像和/或视频处理装置308，以便进行本文中所述的图像和/或视频处理。

图4、图5和图6为分别示出视频编码结构的各种实施方式400、500和600的示图。

参考图4的实施方式400，该图中可见，输入视频信号由视频编码器接收。在某些实施方式中，输入视频信号包括编码单元（CU）或宏块（MB）。这种编码单元或宏块的尺寸可不同，并且可包括通常设置为方形的多个像素。在一个实施方式中，这种编码单元或宏块的尺寸为16×16像素。然而，通常要注意的是，宏块的可具有任何所需要的尺寸，例如，N×N像素，其中N为整数。当然，虽然在优选的实施方式中使用方形编码单元或宏块，但是某些实施方式可包括非方形编码单元或宏块。

输入视频信号通常可与原始帧（或画面）图像数据对应。例如，原始帧（或画面）图像数据可进行处理，从而生成亮度和色度样品。在某些实施方式中，宏块内的这组亮度样品具有一个特定的设置（例如，16×16），并且这组色度样品具有一个不同的特定的设置（例如，8×8）。根据本文中所述的实施方式，视频编码器逐块处理这种样品。

然后，输入视频信号进行模式选择，通过该选择，输入视频信号选择性地进行帧内和/或帧间预测处理。一般而言，输入视频信号沿着压缩路径进行压缩。未使用反馈（例如，未根据帧间预测或帧内预测）进行操作时，通过压缩路径提供输入视频信号，从而进行变换操作（例如，根据离散余弦变换（DCT））。当然，可选的实施方式中也可使用其他的变换，在该操作模式中，压缩输入视频信号本身。在进行压缩时，压缩路径可利用人眼缺乏高频率敏感度这一事实。

然而，通过选择性使用帧间或帧内预测视频编码，可沿着压缩路径使用反馈。根据反馈或预测的操作模式，该压缩路径在（能量较低）剩余物（例如，差值）上进行操作，从当前宏块中减去当前宏块的预测值，得出该剩余物。根据在指定的情况下使用哪种形式的预测，基于这种帧（或画面）的至少一部分或基于至少一个其他帧（或画面）的至少一部分，生成当前宏块和该宏块的预测值之间的剩余物或差值。

然后，所生成的修改视频信号沿着压缩路径进行变换操作。在一个实施方式中，离散余弦变换（DCT）在一组视频样品（例如，亮度、色度、剩余物等等）上进行操作，从而计算预定数量的基础模式中每个模式各自的系数值。例如，一个实施方式包括64个基函数（例如，用于8×8样品）。一般而言，不同的实施方式可使用不同数量的基函数（例如，不同的变换）。各个基函数（包括其合适的和选择性的加权）的任意组合可用于表示指定的一组视频样品。在与视频编码相关的技术文献（包括如上所述通过引用并入的那些标准/草案标准）中，描述与进行变换操作的各种方法相关的额外的细节。变换处理的输出包括各自的这种系数值。将该输出提供给量化器。

一般而言，大部分图像块通常会产生系数（例如，在根据离散余弦变换（DCT）进行操作的一个实施方式中的DCT系数），从而最相关的DCT系数具有更低的频率）。正因如此，并且由于人眼对高频视觉效果具有较差的敏感度，所以量化器可操作，从而将大部分不太相关的系数变换成零值。即，根据量化过程，可消除相对贡献低于某个预定值（例如，某个阈值）的那些系数。量化器也可操作，从而将重要的系数变换成可编码的值，与变换过程中获得的那些系数相比，该变换更有效。例如，由整数值分割每个系数并且丢弃任何剩余物，从而该量化过程可进行操作。在普通的编码单元或宏块上进行操作时，这种步骤通常产生数量较少的非零系数，然后，根据反馈路径，可将这些非零系数传送给熵编码器，以便进行无损编码和使用，根据视频编码，该反馈路径可选择帧内预测和/或帧间预测处理。

熵编码器根据无损压缩编码处理进行操作。相比之下，量化操作通常有损。熵编码处理在量化处理所提供的系数上进行操作。那些系数可表示各种特征（例如，亮度、色度、剩余物等等）。熵编码器可使用各种编码。例如，熵编码器可进行基于上下文的自适应二进制算术编码（CABAC）和/或基于上下文的自适应可变长编码（CAVLC）。例如，根据至少一部分熵编码方案，将数据变换成（列、行）配对（例如，数据14、3、0、4、0、0、-3会变换成各个（列、行）对（0，14），（0，3），（1，4），（2，-3））。可提前准备表格，为值对分配可变的长度编码，所以将较短的长度编码分配给比较常见的值对，并且将较长的长度编码分配给不太常见的值对。

读者会理解的是，反量化和反变换操作分别对应于量化和变换操作。例如，在变换操作内使用DCT的实施方式中，反DCT（IDCT）用于反变换操作内。

图像缓冲器或者称为数字图像缓冲器或DPB，从IDCT模块中接收信号；图像缓冲器进行操作，从而储存当前帧（或图像）和/或一个或多个其他的帧（或图像），例如根据帧内预测和/或帧间预测操作可使用这些帧，根据视频编码可进行这种预测操作。要注意的是，根据帧内预测，较小的储存量足以，这是因为，无需在帧（或图像）序列内储存当前帧（或图像）或任何其他的帧（或图像）。根据视频编码进行帧间预测时，可使用这种储存的信息，进行运动补偿和/或运动估计。

在一个可能的实施方式中，为了进行运动估计，在帧（或图像）序列内，将当前帧（或图像）的各组亮度样品（例如，16×16）与其他帧（或图像）内各个缓冲的对应物进行比较（例如，根据帧间预测）。在一个可能的实施方式中，定位最近的匹配区域（例如，预测参考），并且产生向量偏移（例如，运动向量）。在单个帧（或图像）内，可具有多个运动向量，并且并非所有的运动向量需要指向相同的方向。根据运动估计所进行的一个或多个操作进行操作，从而生成一个或多个运动向量。

运动弥补进行操作，从而使用一个或多个运动向量，根据运动估计可生成这些运动向量。识别并传输预测参考样品组，希望试图生成比较（例如，理想地，非常地）低的残余能量时，从原始输入视频信号中减去预测参考样品组。如果这种操作不会产生更低的残余能量，那么不需要进行运动补偿，并且变换操作可仅仅在原始输入视频信号上进行操作，而不在剩余物上进行操作（根据以下操作模式：将输入视频信号直接提供给变换操作，从而不进行帧内预测或帧间预测），或者可使用帧内预测，并且在帧间预测产生的剩余物上进行变换操作。同样，如果运动估计和/或运动补偿操作成功，那么可将运动向量与相应的剩余物的系数一起发送给熵编码器，用于进行无损熵编码。

整个视频编码操作的输出为输出比特流。要注意的是，通过生成可通过通信信道发送的连续时间信号，这种输出比特流当然可进行某种操作。例如，某些实施方式在无线通信系统内进行操作。在这种情况下，输出比特流可进行适当的数模变换、频率变换、缩放、过滤、调制、符号映射、和/或无线通信装置内的任何其他的操作，进行这些操作，以便生成通过通信信道能够发送的连续时间信号，等等。

参考图5的实施方式500，在该图中可见，输入视频信号由视频编码器接收。在某些实施方式中，输入视频信号包括编码单元或宏块（和/或可分成编码单元（CU））。这种编码单元或宏块的尺寸可不同，并且可包括通常设置为方形的多个像素。在一个实施方式中，这种编码单元或宏块的尺寸为16×16像素。然而，通常要注意的是，宏块的可具有任何所需要的尺寸，例如，N×N像素，其中N为整数。当然，虽然在优选的实施方式中使用方形编码单元或宏块，但是某些实施方式可包括非方形编码单元或宏块。

输入视频信号通常被认为可与原始帧（或画面）图像数据对应。例如，原始帧（或画面）图像数据可进行处理，从而生成亮度和色度样品。在某些实施方式中，宏块内的亮度样品组（a set ofluma sample）具有一个特定的设置（例如，16×16），并且这组色度样品具有一个不同的特定的设置（例如，8×8）。根据本文中所述的实施方式，视频编码器逐块处理这种样品。

然后，输入视频信号进行模式选择，通过该选择，输入视频信号选择性地进行帧内和/或帧间预测处理。一般而言，输入视频信号沿着压缩路径进行压缩。未使用反馈（例如，未根据帧间预测或帧内预测）进行操作时，通过压缩路径提供输入视频信号，从而进行变换操作（例如，根据离散余弦变换（DCT））。当然，可选的实施方式中也可使用其他的变换，在该操作模式中，压缩输入视频信号本身。在进行压缩时，压缩路径可利用人眼缺乏高频率敏感度这一事实。

然而，通过选择性使用帧间或帧内预测视频编码，可沿着压缩路径使用反馈。根据反馈或预测的操作模式，该压缩路径在（能量较低）剩余物（例如，差值）上进行操作，从当前宏块中减去当前宏块的预测值，得出该剩余物。根据在指定的情况下使用哪种形式的预测，基于这种帧（或画面）的至少一部分或基于至少一个其他帧（或画面）的至少一部分，生成当前宏块和该宏块的预测值之间的剩余物或差值。

然后，所生成的修改视频信号沿着压缩路径进行变换操作。在一个实施方式中，离散余弦变换（DCT）在一组视频样品（例如，亮度、色度、剩余物等等）上进行操作，从而计算预定数量的基础模式中每个模式各自的系数值。例如，一个实施方式包括64个基函数（例如，用于8×8样品）。一般而言，不同的实施方式可使用不同数量的基函数（例如，不同的变换）。各个基函数（包括其合适的和选择性的加权）的任意组合可用于表示指定的一组视频样品。在与视频编码相关的技术文献（包括如上所述通过引用并入的那些标准/草案标准）中，描述与进行变换操作的各种方法相关的额外的细节。变换处理的输出包括各自的这种系数值。将该输出提供给量化器。

一般而言，大部分图像块通常会产生系数（例如，在根据离散余弦变换（DCT）进行操作的一个实施方式中的DCT系数），从而最相关的DCT系数具有更低的频率）。正因如此，并且由于人眼对高频视觉效果具有较差的敏感度，所以量化器可操作，从而将大部分不太相关的系数变换成零值。即，根据量化过程，可消除相对贡献低于某个预定值（例如，某个阈值）的那些系数。量化器也可操作，从而将重要的系数变换成可编码的值，与变换过程中获得的那些系数相比，该变换更有效。例如，由整数值分割每个系数并且丢弃任何剩余物，从而该量化过程可进行操作。在普通的编码单元或宏块上进行操作时，这种步骤通常产生数量较少的非零系数，然后，根据反馈路径，可将这些非零系数传送给熵编码器，以便进行无损编码和使用，根据视频编码，该反馈路径可选择帧内预测和/或帧间预测处理。

熵编码器根据无损压缩编码处理进行操作。相比之下，量化操作通常有损。熵编码处理在量化处理所提供的系数上进行操作。那些系数可表示各种特征（例如，亮度、色度、剩余物等等）。熵编码器可使用各种编码。例如，熵编码器可进行基于上下文的自适应二进制算术编码（CABAC）和/或基于上下文的自适应可变长编码（CAVLC）。例如，根据至少一部分熵编码方案，将数据变换成（列、行）配对（例如，数据14、3、0、4、0、0、-3会变换成各个（列、行）对（0，14），（0，3），（1，4），（2，-3））。可提前准备表格，为值对分配可变的长度编码，所以将较短的长度编码分配给比较常见的值对，并且将较长的长度编码分配给不太常见的值对。

读者会理解的是，反量化和反变换操作分别对应于量化和变换操作。例如，在变换操作内使用DCT的实施方式中，反DCT（IDCT）用于反变换操作内。

在某些可选的实施方式中，将解除闭塞滤波器的输出提供给一个或多个其他的环路内滤波器（例如，根据样品自适应偏置（SAO）滤波器、自适应环路滤波器（ALF）、和/或任何其他的滤波器类型进行使用），使用这些滤波器处理反变换模块的输出。

例如，这种自适应环路滤波器（ALF）可用于处理解除闭塞滤波器的输出，或者这种ALF可用于处理首先从解除闭塞滤波器中接收输出的样品自适应偏置（SAO）滤波器的输出。储存在画面缓冲器（有时称为DPB、数字画面缓冲器）内之前，这种自适应环路滤波器（ALF）可用于解码的画面中。自适应环路滤波器（ALF）可用于减少解码画面的编码噪音，并且无论是否逐片或逐块使用自适应环路滤波器（ALF），都可逐片地将其过滤选择性用于亮度和色度中。使用自适应环路滤波器（ALF）时，可使用二维2-D有限脉冲响应（FIR）。在编码器处可逐块设计滤波器的系数，并且然后，将这种信息用信号发送给解码器（从包括视频编码器（或者称为编码器）的发射器通信装置中用信号发送到包括视频解码器（或者称为解码器）的接收器通信装置中）。

一个实施方式进行操作，根据Wiener过滤设计，生成系数。此外，无论是否进行过滤，都在编码器处逐块使用，并且然后，根据四叉树结构，将这种决定用信号发送给解码器（例如，从包括视频编码器（或者称为编码器）的发射器通信装置用信号发送到包括视频解码器（或者称为解码器）的接收器通信装置中），其中，根据率失真优化，决定该块体的尺寸。要注意的是，使用这种2-D过滤进行实施，通过编码和解码，会产生一定程度的复杂性。例如，根据和使用自适应环路滤波器（ALF），使用2-D过滤，在发射器通信装置内使用的编码器以及在接收器通信装置内使用的解码器内，会稍微增大复杂性。

相对于一种环路内滤波器，使用自适应环路滤波器（ALF），可根据这种视频处理，提供大量的改进，包括通过随机去除量化噪音，由峰值信噪比（PSNR）提高客观质量测量。此外，通过亮度补偿，可实现随后编码的视频信号的主观质量，通过根据自适应环路滤波器（ALF）进行偏置处理和缩放处理（例如，通过应用增益），可产生这种亮度补偿。

图像缓冲器或者称为数字图像缓冲器或DPB，从ALF中接收信号输出；图像缓冲器进行操作，从而储存当前帧（或图像）和/或一个或多个其他的帧（或图像），例如根据帧内预测和/或帧间预测操作可使用这些帧，根据视频编码可进行这种预测操作。要注意的是，根据帧内预测，较小的储存量足以，这是因为，无需在帧（或图像）序列内储存当前帧（或图像）或任何其他的帧（或图像）。根据视频编码进行帧间预测时，可使用这种储存的信息，进行运动补偿和/或运动估计。

在一个可能的实施方式中，为了进行运动估计，在帧（或图像）序列内，将当前帧（或图像）的各组亮度样品（例如，16×16）与其他帧（或图像）内各个缓冲的对应物进行比较（例如，根据帧间预测）。在一个可能的实施方式中，定位最近的匹配区域（例如，预测参考），并且产生向量偏移（例如，运动向量）。在单个帧（或图像）内，可具有多个运动向量，并且并非所有的运动向量需要指向相同的方向。根据运动估计所进行的一个或多个操作进行操作，从而生成一个或多个运动向量。

运动弥补进行操作，从而使用一个或多个运动向量，根据运动估计可生成这些运动向量。识别并传输预测参考样品组，希望试图生成比较（例如，理想地，非常地）低的残余能量时，从原始输入视频信号中减去预测参考样品组。如果这种操作不会产生更低的残余能量，那么不需要进行运动补偿，并且变换操作可仅仅在原始输入视频信号上进行操作，而不在剩余物上进行操作（根据以下操作模式：将输入视频信号直接提供给变换操作，从而不进行帧内预测或帧间预测），或者可使用帧内预测，并且在帧间预测产生的剩余物上进行变换操作。同样，如果运动估计和/或运动补偿操作成功，那么可将运动向量与相应的剩余物的系数一起发送给熵编码器，用于进行无损熵编码。

整个视频编码操作的输出为输出比特流。要注意的是，通过生成可通过通信信道发送的连续时间信号，这种输出比特流当然可进行某种操作。例如，某些实施方式在无线通信系统内进行操作。在这种情况下，输出比特流可进行适当的数模变换、频率变换、缩放、过滤、调制、符号映射、和/或无线通信装置内的任何其他的操作，进行这些操作，以便生成通过通信信道能够发送的连续时间信号，等等。

参考图6的实施方式600，该图描述了视频编码器的可选实施方式，这种视频编码器执行预测、变换以及编码处理，从而产生压缩的输出比特流。这种视频编码器可根据一个或多个视频编码协议、标准和/或推荐做法例如，ISO/IEC 14496-10–MPEG-4部分10，AVC（高级视频编码），可选地被称为H.264/MPEG-4部分10或AVC（高级视频编码）、ITUH.264/MPEG4-AVC，进行操作并且与它们相符。

应注意的是，相应的视频解码器例如在通信信道的另一端位于装置内，其用于进行解码、反变换和重新构成的补偿处理，从而产生各个解码的视频序列，该视频序列（理想地）表示输入视频信号。

该图中可见，可使用可选的装置和结构，用于进行视频编码。一般而言，编码器处理输入视频信号（例如，在单位上通常由编码单元或宏块构成，通常为方形并且其内包括N×N像素）。视频编码根据先前编码的数据确定当前宏块的预测。这个先前编码的数据可来自当前帧（或图像）本身（例如，根据帧内预测）或来自已经编码的（例如，根据帧间预测）一个或多个其他帧（或图像）。视频编码器减去当前宏块的预测，从而构成剩余物。

一般而言，帧内预测进行操作，从而使用一个或多个特定尺寸（例如，16×16、8×8或4×4）的块体尺寸，在相同帧（或图像）内从周围先前编码的像素中预测当前宏块。一般而言，帧间预测进行操作，以便使用一系列块体尺寸（例如，16×16向下到4×4），从选自一个或多个先前编码的帧（或画面）内的区域中，预测当前帧（或图像）内的像素。

对于变换和量化操作，剩余样品的块体可使用特定的变换（例如，4×4或8×8）进行变换。这种变换的一个可能实施方式根据离散余弦变换（DCT）进行操作。变换操作输出一组系数，从而每个系数对应于与变换相关的一个或多个基函数的各个权重值。进行变换之后，将变换系数的块体量化（例如，每个系数可由整数值分割，并且可丢弃任何相关的剩余物，或者可乘以整数值）。量化处理通常本质上有损，并且根据量化参数（QP）可降低变换系数的精度。通常，与指定宏块相关的多个系数为零，并且仅仅剩下一些非零系数。通常，较高的QP设置进行操作，以便产生更大比例的零值系数以及更小幅度的非零值系数，在解码的图像质量较差的情况下，具有较高的压缩（例如，较低的编码比特率）；较低的QP设置进行操作，从而允许量化后具有更多的非零系数以及更大幅度的非零系数，导致在具有较好的解码图像质量时，具有较低的压缩（例如，较高的编码比特率）。

视频编码处理产生大量的值，将这些值进行编码，从而形成压缩的比特率。这种值的实例包括量化的变换系数、解码器用于重新产生适当的预测的信息、有关编码过程中使用的压缩数据和压缩工具的结构的信息、有关整个视频序列的信息等。在根据CABAC、CAVLC或某个其他的熵编码方案进行操作的熵编码器内，这种值和/或参数（例如，语法元素）可进行编码，以便产生可存储、发射的输出比特流（例如，进行适当的处理，生成与通信信道一致的连续时间信号之后）等。

在使用反馈路径进行操作的一个实施方式中，变换和量化输出进行反量化和反变换。根据视频编码，可进行帧内预测和/或帧间预测。同样，根据这种视频编码，可进行运动补偿和/或运动估计。

将从反量化和反变换（IDCT）块体中输出的信号路径提供给帧内预测块体，同样也提供给解除闭塞滤波器。将解除闭塞滤波器的输出提供给一个或多个其他环路内滤波器（例如，根据自适应环路滤波器（ALF）、样品自适应偏置（SAO）滤波器、和/或任何其他的滤波器类型进行使用），使用这些滤波器处理反变换模块的输出。例如，在一个可能的实施方式中，储存在画面缓冲器（再次，有时可选地称为DPB、数字画面缓冲器）内之前，ALF可用于解码的画面中。该ALF可用于减少解码画面的编码噪音，并且无论是否逐片或逐块使用ALF，都可逐片地将其过滤选择性用于亮度和色度中。使用ALF时，可使用二维2-D有限脉冲响应（FIR）。在编码器处可逐块设计滤波器的系数，并且然后，将这种信息用信号发送给解码器（从包括视频编码器（或者称为编码器）的发射器通信装置用信号发送到包括视频解码器（或者称为解码器）的接收器通信装置中）。

一个实施方式根据Wiener过滤设计，生成系数。此外，无论是否进行过滤，都在编码器处逐块使用，并且然后，根据四叉树结构，将这种决定用信号发送给解码器（例如，从包括视频编码器（或者称为编码器）的发射器通信装置用信号发送到包括视频解码器（或者称为解码器）的接收器通信装置中），其中，根据率失真优化，决定该块体的尺寸。要注意的是，使用这种2-D过滤进行实施，通过编码和解码，会产生一定程度的复杂性。例如，根据和使用ALF，使用2-D过滤，在发射器通信装置内使用的编码器以及在接收器通信装置内使用的解码器内，会稍微增大复杂性。

如其他实施方式中所述，使用ALF，可根据这种视频处理，提供大量的改进，包括通过随机去除量化噪音，由峰值信噪比（PSNR）提高客观质量测量。此外，通过亮度补偿，可实现随后编码的视频信号的主观质量，通过根据ALF进行偏置处理和缩放处理（例如，根据应用增益的FIR过滤），可产生这种亮度补偿。

对于用于生成输出比特流的任何视频编码器结构而言，要注意的是，在多个通信装置内的任何装置内，可使用这种结构。输出比特流可进行额外的处理，包括误差校正码（ECC）、向前纠错（FEC）等等，从而生成其内具有额外冗余协议的经修改的输出比特流。同样，这种数字信号可理解的是，通过生成适合于或适用于通过通信信道进行传输的连续时间信号，可进行任何适当的处理。即，在通信装置内可使用这种视频编码器结构，该通信装置进行操作，以便通过一个或多个通信信道传输一个或多个信号。在这种视频编码器结构所生成的输出比特流上，可进行额外的处理，从而生成连续时间信号，可将该信号发送到通信信道内。

图7是示出了帧内预测处理的一个实施方式700的示图。从该图中可看出，视频数据的当前块体（例如，通常为方形并且通常包括N×N像素）进行处理，从而估计其内的各个像素。根据这种帧内预测，使用位于当前块体的上面以及左边的先前编码的像素。从某些角度来看，可将帧内预测视为与向量对应，该向量从当前像素延伸到位于当前块体的上面以及左边的参考像素。在相应的标准内规定用于根据H.264/AVC进行编码的帧内预测的细节（例如，国际电信联盟，ITU-T,TELECOMMUNICATIONSTANDARDIZATION SECTOR OF ITU,H.264(03/2010),SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS，视听业务的基础设施-移动视频编码，为通用视听业务进行高级视频编码，Recommendation ITU-TH.264，也或者称为International Telecomm ISO/IEC 14496-10–MPEG-4第10部分，AVC（高级视频编码），H.264/MPEG-4第10部分或AVC（高级视频编码），ITU H.264/MPEG4-AVC，或等同物），上面通过引用包含该标准。

该剩余物为当前像素和参考或预测像素之间的差值，将该剩余物进行编码。从该图中可见，在共同帧（或图像）内，帧内预测使用像素进行操作。当然要注意的是，指定的像素可具有与其相关的不同的元件，并且可具有不同的几组样品，用于每个元件。

图8是示出了帧间预测处理的一个实施方式800的示图。与帧内预测相比，帧间预测进行操作，从而在当前帧（或画面）内根据当前的一组像素以及在帧（或画面）序列内根据一个或多个其他帧（或画面）内的一组或多组参考或预测像素，识别运动向量（例如，帧间预测方向）。可见，运动向量在帧（或画面）序列内从当前帧（或画面）延伸到另一帧（或画面）。帧间预测可使用子像素插值，从而预测像素值对应于参考帧或图像内多个像素的函数。

虽然这种剩余物与根据帧内预测处理计算的剩余物不同，但是根据帧间预测处理可计算剩余物。根据帧内预测处理，每个像素处的剩余物再次对应于当前像素和预测的像素值之间的差值。然而，根据帧间预测处理，当前像素和参考或预测像素不位于相同的帧（或图像）内。虽然该图显示了一个或多个先前帧或画面使用的帧间预测，但是要注意的是，使用与当前帧之前和/或之后的帧对应的参考，可选的实施方式可进行操作。例如，根据适当的缓冲和/或存储器管理，可储存大量的帧。在指定帧上进行操作时，通过该指定帧之前和/或之后的其他帧，可生成参考。

与CU耦合，基本单元可用于预测分割模式，即，预测单元或PU。还要注意的是，限定PU，仅仅用于最后一个深度CU，并且其尺寸限于该CU的尺寸。

图9和图10为分别示出了视频解码结构的各种实施方式900和1000的示图。

一般而言，这种视频解码结构在输入比特流上进行操作。当然，要注意的是，通过通信装置从通信信道中接收的信号，可生成这种输入比特流。在从通信信道中接收的连续时间信号上，可进行各种操作，包括数字取样、解调制、缩放、过滤等等，例如，通过生成输入比特流，这些操作可适合。而且，在某些实施方式中，可执行一种或多种误差校正码（ECC）、向前纠错（FEC）等，这些实施方式可根据这种ECC、FEC等等进行适当的解码，从而生成输入比特流。即，在某些实施方式中，通过生成相应的输出比特流（例如，可从发射器通信装置或从收发器通信装置的发射器部分发送的输出比特流），可产生额外的冗余，通过生成输入比特流，可进行适当的处理。总之，这种视频解码结构用于处理输入比特流，从而生成输出视频信号，该信号尽可能密切地并且在理想的情况下完全地与原始输入视频信号对应，用于输出到一个或多个视频显示功能装置中。

参考图9的实施方式900，一般而言，通过执行在视频编码器结构内执行的编码互补处理，熵解码器等解码器（根据CABAC、CAVLC等等可执行的解码器）处理输入比特流。输入比特流尽可能密切地并且在理想的情况下完全地可视为视频编码器结构所生成的压缩输出比特流。当然，在实际应用中，在通过一个或多个通信链路发送的信号内可能产生某些误差。熵解码器处理输入比特流并且获取合适的系数，例如DCT系数（例如，表示色度、亮度等信息），并且将这种系数提供给反量化和反变换块体。使用DCT变换时，反量化和反变换块体可用于进行反DCT（IDCT）操作。然后，A/D闭塞滤波器用于生成与输出视频信号相应的各个帧和/或画面。这些帧和/或画面可提供给画面缓冲器或数字画面缓冲器（DPB），用于执行其他操作，包括运动补偿。一般而言，这种运动补偿操作可视为对应于与视频编码相关的帧间预测。同样，也可在反量化和反变换块体中输出的信号上进行帧内预测。与视频编码相似，通过将输入比特流解码，在未对其进行帧内预测或帧间预测、对其进行帧内预测或进行帧间预测之间，这种视频解码器结构可用于执行模式选择，从而生成输出视频信号。

参考图10的实施方式100，在某些优选的实施方式中，根据用于生成输出比特流的视频编码，可使用一个或多个环路内滤波器（例如，根据样品自适应偏置（SAO）滤波器、自适应环路滤波器（ALF）、和/或任何其他的滤波器类型进行使用），并且在视频解码器结构内相应地使用一个或多个环路内滤波器。在一个实施方式中，在解除闭塞之后，适当地使用一个或多个这种环路内滤波器。

图11示出了递归编码单元（CU）结构的一个实施方式1100。高性能视频编码（HEVC）为目前正在研发的下一代视频压缩标准。在某些业内人士看来，HEVC标准似乎是H.264/MPEG4-AVC（或者称为AVC）的延续，参考上文并且通过引用的方式包含在上文中。通过根据目前正在研发的HEVC标准进行视频编码，使用编码单元或CU进行操作，作为基本单元，该基本单元通常具有方形，并且根据AVC，其对等物为宏块（MB）。从某些角度来看，CU与MB以及AVC内相应的子宏块（SMB）具有类似的操作目的和作用。然而，进行视频编码所使用的这两个元件之间具有至少一个不同之处，CU可具有多个不同尺寸中的任一个尺寸，各个尺寸没有特别的区别。相对于CU，即，最大的编码单元（LCU）和最小的容量单元（SCU），将根据目前正在研发的HEVC标准执行的视频通话术语限定为特定的术语。

根据视频编码，使用多个非重叠的LCU表示画面。由于假设将CU限制为方形，所以LCU内的CU结构可表示成递归树示图，如图11中所示。即，CU的特征在于在LCU内具有该LCU所属的相应LCU尺寸和分级深度。

一旦在图11中检测了树分裂处理，则为未进一步分离的每个CU规定不同的预测编码方法。换言之，CU分级树可包括多个叶节点，每个叶节点对应于各个树分离处理，该处理用于与画面对应的各个CU。根据视频编码，尤其相对于P和B切片，通过视频编码，每个CU可使用帧内预测或帧间预测。例如，如下图以及图7和图8中所述，帧间预测编码进行操作，从而参考相邻帧，而帧内预测编码进行操作，从而参考空间上相邻的像素或共同定位的彩色元件。

图12示出了预测单元（PU）模式的实施方式1200。图12尤其示出了PU分割模式，分别用于具有尺寸2N×2N的CU。N×N PU与其他PU模式不同，并且仅存在于SCU内或最小的CU内。

根据目前正在研发的HEVC标准，使用不同的切片类型，即，I切片、P切片、以及B切片。一般而言，I帧进行操作使得例如根据预测，仅相对于该特定的帧进行处理（例如，I帧仅仅相对于其本身进行预测）。

P切片使用仅一个参考列表而非各个参考列表进行操作。一般而言，对于P切片而言，根据运动补偿，在帧序列的仅一个方向或单方向上进行预测。可在任何方向上根据P切片进行这种预测，但是在指定的时间仅仅使用一个方向。同样，再次在帧序列的任一个方向，每次仅对一个帧进行P切片的预测。

一般而言，相对于B切片，可根据沿帧序列的两个方向进行预测。可在帧序列的两个方向同时使用例如根据运动补偿的预测，使得除了当前帧，根据这种运动补偿，还可使用至少两个帧的信息。例如，考虑在先前帧1和后面的帧3之间插入当前帧2：先前帧1可视为过去的帧，然而，后面的帧3可视为未来的帧或当前帧2之前的帧（例如，相对于帧序列）。可从先前帧1和/或后面的帧3中获取信息，用于处理当前帧2。同样，通过处理当前帧2，从那两个其他的帧中，可插入或混合某些信息（例如，先前帧1的信息可插入或混合以下帧3的信息中）。同样，相对于B切片，B切片可使用各个参考列表。通过使用B切片进行操作，使用单个语法元素（例如，如图15中所示），可将PU分割模式内的CU预测模式共同进行编码。根据当前CU是否为最小的CU、SCU，使用二值化。例如，如果未使用最小的CU或SCU，则通过使用下面的图13中所述的修改的二叉树，可使用该二值化。

对于所使用的PU模式，将该信息发送给解码器，从而可适当地了解信号块体如何分割并且适当地处理根据这个特定的PU模式编码的视频信号。例如，根据将视频信号进行编码时所使用的特定的PU模式，将该信息提供给解码器，从而该解码器可适当地处理所接收的视频信号并将其解码。

图13示出了针对在一个实现方式中进行P切片编码并且在另一实现方式中进行P切片和B切片编码所采用的二叉树的一个实施方式，包括二叉树的修改。从该图中可见，示出了表示二值化和PU分割符号的二叉树。例如，与2N×2N对应的分割使用单个数位的码字，即，1。与2N×N对应的分割使用两个数位的码字，即，01。与2N×N对应的分割使用三个数位的码字，即，001，并且与N×N对应的分割使用三个数位的码字，即，000。应当注意的是，可根据Huffman编码来实施这种编码，所以具有相应更低的概率的那些值具有较长的码字，而具有相应更高的概率的那些值具有较短的码字。可理解的是，根据这种Huffman编码进行操作的系统可有效地使用较短的码字，用于更频繁发生的以及具有更大优势的值。

在某些实施方式中，不特别使用与N×N对应的分割，并且同样，与表示Ms.的二叉树相关的码本可修改为仅包括三个条目。例如，在这种修改过的二叉树内，与2N×2N对应的分割使用单个数位的码字，即，1。同样，与2N×N对应的分割使用两个数位的码字，即，01。与2N×N对应的分割使用两个数位的码字，即，00。可见，通过使用这种修改过的二叉树，Huffman码本可具有更高的使用效率。此外，如上所述，对于B切片而言，B切片可使用各个参考列表。通过使用B切片进行操作，使用一个语法元素对PU分割模式内的CU预测模式共同进行编码（例如，如图11中所示）。根据当前CU是否为最小的CU、SCU，使用二值化。例如，如果未使用最小的CU或SCU，则通过使用下面图13中所述的修改过的二叉树，可使用该二值化。

在可选的实施方式中，图13中所示的二叉树用于B切片和P切片。即，在这种实施方式中，相同的二叉树用于B切片和P切片。这种实施方式中可理解的是，B切片和P切片使用同一个二叉树，可实现非常有效的实施方式，这是因为，仅单个码本可用于处理B切片和P切片。换言之，在某些实施方式中，使用图13中所示的二叉树，可进行B切片编码和P切片编码（例如，同一个二叉树用于B切片和P切片）。换言之，图13的二叉树主要用于在一个实施方式中进行P切片编码，该二叉树在可选的实施方式中可用于进行B切片编码和P切片编码。

在这种实施方式中，单独的语法元素可用于CU预测模式（进行帧间预测或帧内预测）以及PU分割模式。例如，第一语法元素可用于表示帧内预测处理或帧间预测处理，第二语法元素可用于表示CU分割形状（例如，表示如何进行CU分裂和分割）。

图14示出了可用于在一个实施方式中进行B切片编码以及在另一个实施方式中进行P和B切片编码的二叉树的实施方式1400。如上所述，对于B切片而言，B切片可使用各个参考清单。通过使用B切片进行操作，使用单个语法元素将PU分割模式内的CU预测模式共同进行编码（例如，如图14中所示）。

在一个实施方式中，图14中所示的二叉树用于B切片，并且图13和图15的右手部分所示的修改过的二叉树用于P切片。可理解的是，在这种实施方式中，与图13的左手边所示的PU分割的二叉树相比，通过更有效地使用修改过的二叉树（例如，图13和图15的右手部分），以较低的费用可更有效地进行视频编码。可理解的是，在该实施方式中，两个不同的单独的码本分别用于B切片（例如，图13和图15的右手部分）以及P切片（例如，图14）。

在可选的实施方式中，图14中所示的二叉树用于B切片和P切片。即，在这种实施方式中，同一个二叉树用于B切片和P切片。这种实施方式中可理解的是，使用用于B切片和P切片的同一个二叉树，可实现非常有效的实施方式，这是因为，仅仅单个码本可用于处理B切片和P切片。换言之，在某些实施方式中，使用图14中所示的二叉树，可进行B切片编码和P切片编码（例如，同一个二叉树用于B切片和P切片）。换言之，图14的二叉树主要用于在一个实施方式中进行B切片编码，该二叉树在可选的实施方式中可用于进行B切片编码和P切片编码。

图15示出了可用于与图9中一样进行P切片编码以及B切片编码的二叉树的实施方式1500。为了便于对读者进行说明，图15中再次用图示出图13的右手部分所示的修改过的二叉树。在使用两个不同的单独的码本的实施方式中，可使用这种修改过的二叉树，这两个码本分别用于B切片（例如，图13和图15的右手部分）以及P切片（例如，图14）。

本文中所述的各种实施方式和/或示图中可理解的是，由于允许与N×N对应的分割仅仅用于最小的CU或SCU，所以各个分割不需要分别在底部水平和中间水平用于那些特定的CU中。对于P切片而言，码字分配（或二叉树结构/设计）用于与N×N对应的特定分割以及与N×N进入同一个分支内的分割尺寸（例如，在图13内与N×2N对应的分割中可见），该码字分配应取决于其水平。如果当前的CU并非明确地为最小的CU或SCU，那么图13和图15的右手部分所示的修改过的二叉树应适当地并且有效地与各个不同的PU分割的码字一致。因此，图13的左手边所示的二叉树需要仅仅用于P切片内最小的CU或SCU中。即，对于未明确地在P切片上进行操作的其他处理而言，可有效地减少和修改图13的左手边所示的二叉树，从而生成图13以及图15的右手部分所示的修改过的二叉树。

同样，也如上所述，根据目前正在研发的HEVC标准，B切片和P切片分别使用不同的码字，用于不同的PU模式。根据P切片上的操作，使用单独的语法元素，对CU预测模式（无论是执行帧间预测还是帧内预测）和PU分割模式进行编码。然而，根据B切片上的操作，使用单个语法元素，对CU预测模式和PU分割模式共同进行编码。在某些情况下，根据在其上操作P切片还是B切片，这个不同的处理可对语法分析造成额外的负担。同样，如上所述，使用二叉树执行一个可能的实施方式，如图14中所示，用于B切片和P切片。即，在这种实施方式中，同一个二叉树用于B切片和P切片。这种实施方式中可理解的是，B切片和P切片使用同一个二叉树，可实现非常有效的实施方式，这是因为，仅单个码本可用于处理B切片和P切片。例如，这种实施方式仅仅使用同一个二叉树进行操作，从而在这个特定的情况下统一处理B切片和P切片，并且也使用相同的方法发送CU预测模式和PU分割模式。可执行一个可能的实施方式，从而CU预测模式（无论是执行帧间预测还是帧内预测）和PU分割模式分别在单独的语法元素内进行编码，用于P切片和B切片。可执行另一个可能的实施方式，从而CU预测模式（无论是执行帧间预测还是帧内预测）和PU分割模式共同在单独的语法元素内进行编码，用于P切片和B切片。

本文中的各种实施方式和/或示图中可理解的是，可使用特定的应用程序中需要的各种不同的实施方式。在某些情况下，使用图14中所述的共同的二叉树，统一进行处理，用于P切片和B切片。在其他情况下，两个单独实施的以及不同的二叉树和码本分别用于B切片和P切片时，并且尤其在未使用最小的CU或SCU（例如，当前的CU，而非SCU）时，图13和图15的右手部分所示的修改过的二叉树可用于P切片，而图14中所示的二叉树可用于B切片。

图16A、16B、图17A以及图17B示出了通过视频编码所执行的方法的各种实施方式（例如，在一个或多个通信装置内）。

参考图16A的方法1600，该方法1600通过操作视频编码器开始，以对输入视频信号编码，从而生成输出比特流，如方框1610内所示。方法1600继续，根据生成输出比特流而在视频编码器内使用单个二叉树，以处理至少一个P切片和至少一个B切片，如方框1620内所示。

参考图16B的方法1601，该方法1601通过操作视频编码器开始，以对输入视频信号编码，从而生成输出比特流，如方框1611内所示。

然后，方法1601进行操作，根据生成输出比特流在视频编码器内针对至少一个P切片和至少一个B切片使用单个二叉树，以用单个语法元素对编码单元（CU）预测和预测单元（PU）分割模式共同编码，如方框1621内所示。

参考图17A的方法1700，该方法1700开始，操作视频编码器，以便对输入视频信号编码，从而生成输出比特流，如方框1710内所示。方法1700继续，根据生成输出比特流在视频编码器内针对至少一个P切片和至少一个B切片使用单个二叉树，以用第一语法元素对编码单元（CU）预测进行编码，如方框1720内所示。

然后，方法1700进行操作，根据生成输出比特流在视频编码器内针对至少一个P切片和至少一个B切片使用单个二叉树，以用第二语法元素对预测单元（PU）分割模式进行编码，如方框1730内所示。如本文中的其他实施方式和/或示图所述，单独的语法元素可用于CU预测模式（无论是执行帧间预测还是帧内预测）以及PU分割模式。例如，第一语法元素可用于表示帧内预测处理或帧间预测处理，第二语法元素可用于表示CU预测形状（例如，表示如何执行CU分裂和分割）。

参考图17A的方法1701，该方法1701开始，操作视频编码器，以便将输入视频信号编码，从而生成输出比特流，如方框1711内所示。

方法1701继续，通过通信信道，将输出比特流或输出比特流中生成的或与输出比特流对应的信号发送给视频解码器，如方框1721内所示。例如，在通信信道的发射器端，在某些实施方式中，输出比特流可进行各种操作（例如，任何需要的模拟和/或数字操作，包括过滤、缩放、频移、频率变换、舍入、数模变换等等），从而生成适合于和适用于通过通信信道传输的信号。即，输出比特流可进行多种发射器前端处理操作（例如，在模拟前端（AFE）内），包括调制、连续式时间信号生成等等，以便生成实际上通过通信信道发送的信号。在其他实施方式中，无需进行修改，实际上就可通过通信信道发送输出比特流本身。

然后，方法1701进行操作，操作视频解码器，从而将输入比特流解码（例如，穿过通信信道之后，输出比特流或由输出比特流生成的或对应于输出比特流的信号），以便生成输出视频信号（例如，重新生成输入视频信号），如方框1731内所示。例如，同样，在通信信道的发射器端，在某些实施方式中，要注意的是，在所接收的信号上可进行任何额外的处理（例如，任何需要的模拟和/或数字操作，包括过滤、缩放、频移、频率变换、舍入、模数变换等），从而生成进行视频解码的信号（例如，输入比特流）。即，从通信信道中所接收的实际信号可进行多种接收器前端处理操作（例如，在模拟前端（AFE）内），包括调制等，以便生成进行视频解码的信号（例如，输入比特流）。当然，在某些可选的实施方式中，未进行修改，实际上通过通信信道发送输出比特流本身时，不需要进行任何这种接收器前端处理操作。

也要注意的是，在通信装置内可执行各种方法中所述的各种操作和功能，例如使用基带处理模块和/或其内执行的处理模块和/或其内的其他模块。

本文中可使用的术语“大致”和“大约”为其相应的术语提供工业上可接受的容差和/或物品之间的相关性。这种工业上可接受的容差的范围从不到1%到50%，并且对应于但不限于元件值、集成电路处理变化、温度变化、升降时间和/或热噪声。物品之间的这种相关性的范围从几个百分比的差别到大幅的差别。本文中也可使用的术语“可操作地耦合到”、“耦合到”、和/或“耦合”包括物品之间的直接耦合和/或物品之间通过中间物品（例如，物品包括但不限于元件、部件、电路和/或模块）进行间接耦合，其中，对于间接耦合而言，中间物品未修改信号信息，但是可调整其电流电平、电压电平和/或功率电平。本文中可进一步使用的推断耦合（例如，一个部件与另一个部件通过推断耦合）包括在两个物品之间进行直接和间接耦合，其方式与“耦合到”相同。本文中甚至可进一步使用的术语“可操作到”或“可操作地耦合到”表示物品包括一个或多个功率连接、输入、输出等等，以便在激活时，执行一个或多个其相应的功能，并且可进一步包括推断耦合到一个或多个其他的物品。本文中依然可进一步使用的术语“相关联”表示单独的物品和/或嵌入另一个物品内的一个物品进行直接和/或间接耦合。本文中可使用的术语“有利地比较”表示两个或多个物品、信号等等之间的比较提供所需要的关系。例如，所需要的关系为信号1的幅度比信号2的幅度更大时，信号1的幅度比信号2的幅度更大或信号2的幅度比信号1的幅度更小时，可进行有利的比较。

本文中也可使用的术语“处理模块”、“模块”、“处理电路”、和/或“处理单元”（例如，包括可操作、执行和/或用于编码、解码、用于进行基带处理等等的各种模块和/或电路），可为一个处理装置或多个处理装置。这种处理装置可为微处理器、微控制器、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机、逻辑电路、模拟电路、数字电路、和/或根据电路的硬编码和/或操作指令操纵（模拟或数字）信号的任何装置。处理模块、模块、处理电路和/或处理单元可具有相关的存储器和/或集成存储器部件，可为单个存储器装置、多个存储器装置、和/或处理模块、模块、处理电路和/或处理单元的嵌入式电路。这种存储器装置可为只读存储器（ROM）、随机存取存储器（RAM）、易失性存储器、非易失性存储器、状态机、动态存储器、闪速存储器、高速存储器、和/或储存数字信息的任何装置。要注意的是，如果处理模块、模块、处理电路和/或处理单元包括一个以上的处理装置，那么可集中定位（例如，通过有线和/或无线总线结构直接耦合在一起）或分布定位（例如，通过局域网和/或广域网进行间接耦合，从而进行云计算）这些处理装置。而且，要注意的是，如果处理模块、模块、处理电路和/或处理单元通过状态机、模拟电路、数字电路、和/或逻辑电路执行一个或多个功能，那么储存相应的操作指令的存储器和/或存储器部件可嵌入包括状态机、模拟电路、数字电路、和/或逻辑电路的电路内或位于该电路的外部。依然要注意的是，存储器部件可储存并且处理模块、模块、处理电路和/或处理单元执行硬编码的和/或操作的指令，这些指令与一个或多个图中所述的至少一些步骤和/或功能相应。这种存储器装置或存储器部件可包含在制品内。

上面已经借助于示出特定功能和其关系的性能的方法步骤，描述了本发明。为了便于描述，在本文中已经任意地限定了这些功能性构件和方法步骤的界限和顺序。只要适当地执行所规定的功能和关系，就可限定替代的界限和顺序。任何这种替代的界限和顺序因此在所要求的本发明的范围和精神内。而且，为了便于描述，已经任意地限定了这些功能性构件的界限。只要适当地执行某些重要的功能，就可限定替代的界限。同样，在本文中也已经任意地限定了方块流程图，以便示出某些重要的功能。在某种使用的程度上，可另外限定方块流程图的界限和顺序，并且依然执行某个重要的功能。功能性构件和方块流程图的这种可选的定义因此在所要求的本发明的范围和精神内。本领域的技术人员也会认识到，如图所示，或通过离散元件、专用集成电路、执行适当的软件等等的处理器、或其任意组合，可执行其内的功能性构件以及其他示出性方块、模块和元件。

在一个或多个实施方式中，也已经至少部分描述了本发明。本发明的一个实施方式在本文中用于示出本发明、本发明的一个方面、其功能、其概念、和/或其实例。设备、制品、机器、和/或体现本发明的处理的物理实施方式可包括一个或多个方面、功能、概念、和/或实例，在本文中所讨论的一个或多个实施方式中进行了描述。而且，在所有图中，这些实施方式可包含具有相同或相似名称的功能、步骤、模块等等，可使用相同或不同的参考数字，同样，这些功能、步骤、模块等等可为相同或相似的或不同的功能、步骤、模块等等。

除非明确规定相反，否则在本文中所示的任何一幅图中，发送给部件的信号、从部件中发送的信号、和/或部件之间的信号可为模拟或数字、连续时间离散时间、以及单端或差分信号。例如，如果将信号路径显示为单端路径，那么该信号路径也表示差分信号路径。同样，如果将信号路径显示为差分路径，那么该信号路径也表示单端信号路径。本领域的技术人员会认识到，在本文中描述一个或多个特定的结构的同时，也可使用其他结构，这些结构使用未明确显示的一个或多个数据总线、部件之间的直接连接、和/或其他部件之间的间接耦合。

在描述本发明的各种实施方式时，使用术语“模块”。模块包括功能块，通过硬件使用该功能块，从而执行一个或多个模块功能，例如处理一个或多个输入信号，以便产生一个或多个输出信号。执行模块的硬件本身可结合软件和/或固件进行操作。本文中所使用的模块可包含一个或多个子模块，这些子模块本身为模块。

在本文中已经明确描述本发明的各种功能和特征的特定组合的同时，这些特征和功能也能具有其他组合。本发明不受到本文中所公开的特定实例的限制，并且明确包含这些其他的组合。

Claims (10)

1.一种设备，包括：

视频编码器，用于对输入视频信号进行编码，以生成输出比特流；并且其中：

所述视频编码器使用单个二叉树用于随着生成所述输出比特流处理至少一个P切片和至少一个B切片；

所述视频编码器针对所述至少一个P切片和所述至少一个B切片使用所述单个二叉树，以随着生成所述输出比特流用第一语法元素对编码单元（CU）预测进行编码；以及

所述视频编码器针对所述至少一个P切片和所述至少一个B切片使用所述单个二叉树，以随着生成所述输出比特流用第二语法元素对预测单元（PU）分割模式进行编码。

2.根据权利要求1所述的设备，其中：

所述第一语法元素表示帧内预测处理或帧间预测处理；以及

所述第二语法元素表示CU分割形状。

3.根据权利要求1所述的设备，其中：

视频编码器随着生成所述输出比特流而在第一时间或在第一时间期间执行帧内预测处理；以及

视频编码器随着生成所述输出比特流而在第二时间或在第二时间期间执行帧间预测处理。

4.根据权利要求1所述的设备，其中：

所述设备为第一通信装置；并且进一步包括：

第二通信装置，经由至少一个通信信道与所述第一通信装置进行通信，包含：

输入端，用于接收所述输出比特流；以及

视频解码器，用于对所述输出比特流进行解码，以生成与所述输入视频信号相对应的输出视频信号；并且其中：

所述第二通信装置为计算机、膝上型计算机、高清晰度（HD）电视、标准清晰度（SD）电视、手持式媒介设备、机顶盒（STB）、以及数字视频光盘（DVD）播放器中的至少一个。

5.根据权利要求1所述的设备，其中：

所述设备为在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作的通信装置。

6.一种设备，包括：

视频编码器，用于对输入视频信号进行编码，以生成所述输出比特流；并且其中：

所述视频编码器使用单个二叉树，用于随着生成所述输出比特流来处理至少一个P切片和至少一个B切片。

7.根据权利要求6所述的设备，其中：

所述视频编码器针对所述至少一个P切片和所述至少一个B切片使用所述单个二叉树，以随着生成所述输出比特流用单个语法元素对编码单元（CU）预测和预测单元（PU）分割模式共同编码，。

8.一种用于操作通信装置的视频编码器的方法，所述方法包括：

操作视频编码器，用于对输入视频信号进行编码以生成输出比特流；以及

在所述视频编码器内使用单个二叉树，用于随着生成所述输出比特流来处理至少一个P切片和至少一个B切片。

9.根据权利要求8所述的方法，还包括：

在视频编码器内针对至少一个P切片和至少一个B切片使用所述单个二叉树，以随着生成所述输出比特流用单个语法元素对编码单元（CU）预测和预测单元（PU）分割模式共同编码。

10.根据权利要求8所述的方法，还包括：

针对所述至少一个P切片和所述至少一个B切片使用所述单个二叉树，以随着生成所述输出比特流用第一语法元素对编码单元CU）预测进行编码；以及

针对所述至少一个P切片和所述至少一个B切片使用所述单个二叉树，以随着生成所述输出比特流用第二语法元素对预测单元PU）分割模式进行编码。

Images