CN108134931B - 视频解码方法、视频编码方法和非暂时性计算机可读媒体 - Google Patents

Abstract

本申请涉及视频解码方法、视频编码方法和非暂时性计算机可读媒体。视频编码或解码方法中，亮度样本及色彩样本依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测，这些色彩样本具有较这些亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；该方法包括：针对一组当前待预测样本检测一相关于第一宽高比的第一栅格而限定的第一预测方向；及将方向映射应用于该预测方向以产生相关于不同宽高比的第二栅格而限定的第二预测方向。

Description

视频解码方法、视频编码方法和非暂时性计算机可读媒体

本申请是申请号为201380022426.0的进入国家阶段的PCT申请的分案申请。

相关申请的交叉引用

本申请要求分别于2012年6月29日、2012年6月22日和2012年4月26日向英国知识产权局提交的GB1211619.0、GB1211075.5和GB1207459.7的先前提交日期的权益，上述申请的全部内容通过引用被结合在本文中。

技术领域

本公开有关数据编码及解码。

背景技术

文中所提出的「背景技术」描述为了一般性地呈现本公开的背景的目的。目前具名的发明人的工作（达其在此先前技术段落中所描述的程度、以及其无法另合格为申请时的习知技术的描述的形态）不被明确地或暗示性地承认为对抗本公开的习知技术。

有数种视频数据编码及解码系统，其涉及将视频数据变换为频域表示、将频域系数量化及接着将某形式的熵（entropy）编码应用至已量化的系数。如此可获得视频数据的压缩。相应的解码或解压缩技术被应用以恢复原始视频数据的已重建版本。

诸如那些于H.264/MPEG-4高阶视频编码（AVC）中所使用的当前的视频编解码器（编码器-解码器）主要藉由仅将介于连续视频帧之间的差异编码来获得数据压缩。这些编解码器使用所谓宏区块的规律数组，其每个被使用为与先前视频帧中的相应宏区块的比较区，且宏区块内的图像区接着依据介于视频序列中的相应的当前与先前宏区块间、或者介于视频序列的单一帧内的相邻宏区块间所发现的移动等级（level）而被编码。

高效率视频编码（HEVC），亦已知为H.265或MPEG-H Part 2，是H.264/MPEG-4 AVC的一种已提议的后继者。期望HEVC得以增进质量及加倍数据压缩比（相较于H.264），并期望其可缩放从128×96至7680×4320像素分辨率，约略等于从128 kbit/s至800 Mbit/s的比特率。

于HEVC中，一种所谓的4：2：0区块结构被提议给消费者设备，其中各色度（chroma）频道中所使用的数据的量为亮度（luma）频道中所使用的四分之一。这是因为主观地人类对于亮度变化较颜色变化更为敏感，而因此得以使用较大的压缩及/或较少的数据于颜色频道中而不会有主观的质量丧失。

HEVC以一种基于编码单元（CU，其为可变尺寸结构）的更有弹性技术来取代现存H.264及MPEG标准中所发现的宏区块。

因此，当编码视频帧中的图像数据时，CU尺寸可响应于明显的图像复杂度或检测的移动等级而被选择，以取代使用均匀分布的宏区块。结果，可获得明显较大的压缩于具有少量移动于帧之间的区中以及具有少量变化于帧之内的区中，而同时可保留较佳的图像质量于高帧间移动或图像复杂度的区域中。

各CU含有：图像内或图像间预测类型的任一者的一个以上可变区块尺寸的预测单元（PU）、及其含有针对空间区块变换及量化的系数的一个以上变换单元（TU）。

再者，PU和TU区块被提供给三个频道的每一个：亮度（Y），其为亮度或亮度频道、且其可被视为灰阶频道；及两颜色差异或色彩（色度）频道Cb和Cr。这些频道提供亮度频道的灰阶图像的颜色。术语Y、亮度（luminance）及亮度被交替地使用于本说明书中，而类似的术语Cb和Cr、色彩（chrominance）及色度被适当地交替使用，注意其色彩或色度通常可被用于Cr和Cb的一者或两者；而当讨论特定色彩频道时其将由术语Cb或Cr来识别。

一般而言，PU被视为频道独立的，除了其PU具有亮度部分及色度部分。一般而言，此表示形成各频道的PU的部分的样本代表图像的相同区，以致有固定的关系介于三个频道间的PU之间。例如，针对4：2：0视频，亮度之8×8PU永远具有色度的相应的4×4PU，其PU的色度部分代表如亮度部分的相同区域，但由于4：2：0视频中相较于亮度数据的4：2：0色度数据之次取样本质而含有较少数的像素。两色度频道共享预测内信息；而三个频道共享预测间信息。类似地，TU结构亦具有固定关系于三个频道之间。

然而，针对专业的广播及数字剧院设备，希望具有较少的压缩（或较多的信息）于色度频道中，且此可影响当前及已提议的HEVC处理将如何运作。

发明内容

本公开应对或减缓由此处理所发生的问题。

本公开的形态及特征限定于后附申请专利范围中。

应理解之前的一般性描述及之后的详细描述为本技术的范例性的，而非限制性的。

附图说明

本公开的更完整的理解以及许多其伴随的优点将随着其藉由参考以下的详细描述（当配合后附图形而考虑时）变得更为了解而被轻易地获得，其中：

图1概略地阐明一种使用视频数据压缩及解压缩的音频/视频（A/V）数据传输及接收系统；

图2概略地阐明一种使用视频数据解压缩的视频显示系统；

图3概略地阐明一种使用视频数据压缩及解压缩的音频/视频储存系统；

图4概略地阐明一种使用视频数据解压缩的视频相机；

图5提供视频数据压缩及解压缩设备的概略概视图；

图6概略地阐明预测图像的产生；

图7概略地阐明最大编码单元（LCU）；

图8概略地阐明一组四个编码单元（CU）；

图9和10概略地阐明将图8的编码单元次分割为较小的编码单元；

图11概略地阐明预测单元（PU）的数组；

图12概略地阐明变换单元（TU）的数组；

图13概略地阐明部分编码图像；

图14概略地阐明一组可能的预测内方向；

图15概略地阐明一组预测模式；

图16概略地阐明笔直对角扫描；

图17概略地阐明视频压缩设备；

图18A和18B概略地阐明可能的区块尺寸；

图19概略地阐明来自色度及亮度区块的共置信息的使用；

图20概略地阐明一种情况，其中来自一色度频道的共置信息被用于另一色度频道；

图21概略地阐明用于LM-CHROMA模式的像素；

图22概略地阐明一组亮度预测方向；

图23概略地阐明图22的方向，如应用于水平上稀疏的色度频道；

图24概略地阐明映射至矩形色度像素数组的图22的方向；

图25-28概略地阐明亮度及色度像素内插；

图29A和29B各自的概略地阐明4：2：0及4：2：2的量化参数表；

图30和31概略地阐明量化变异表；及

图32概略地阐明用以修改角度步进的配置；

图33概略地阐明角度步进的修改；

图34和35概略地阐明扫描型态；

图36概略地阐明依据预测模式的扫描型态的选择；

图37概略地阐明依据预测模式的扫描型态的选择，针对矩形色度区块；

图38概略地阐明用以选择扫描型态的配置；

图39概略地阐明用以选择频率分离变换的配置；

图40概略地阐明CABAC编码器；

图41A-41D概略地阐明先前提议的邻近分配(allocation)；及

图42A至45概略地阐明依据本公开的实施例的背景可变分配。

具体实施方式

现在参考图形，图1-4被提供以给出利用压缩及/或解压缩设备的设备或系统的概略图标，以供配合本公开的实施例而描述于下。

所有将描述于下的数据压缩及/或解压缩可被实施以硬件、以运作在诸如通用计算机等通用数据处理设备上的软件，当成诸如特定应用集成电路（ASIC）或场可编程门阵列（FPGA）等可编程硬件或当成这些的组合。于其中实施例藉由软件及/或固件来实施的情况下，应理解此类软件及/或固件、及藉以储存或提供此类软件及/或固件的非瞬时数据储存媒体被视为本公开的实施例。

图1概略地阐明一种使用视频数据压缩及解压缩的音频/视频数据传输及接收系统。

输入音频/视频信号10被供应至视频数据压缩设备20，其压缩音频/视频信号10的至少视频成分以供传输沿着传输路由30，诸如缆线、光纤、无线链路等等。已压缩信号由解压缩设备40所处理以提供输出音频/视频信号50。针对返回路径，压缩设备60压缩音频/视频以供传输沿着传输路由30而至解压缩设备70。

压缩设备20及解压缩设备70可因此形成传输链路的一节点。解压缩设备40及压缩设备60可形成传输链路的另一节点。当然，于其中传输链路为单向的例子中，仅有节点之一需要压缩设备而另一节点仅需要解压缩设备。

图2概略地阐明一种使用视频数据解压缩的视频显示系统。特别地，已压缩音频/视频信号100由解压缩设备110所处理以提供其可被显示于显示器120上的解压缩信号。解压缩设备110可被实施为显示器120的部分，例如被提供于与显示设备相同的外壳内。另一方面，解压缩设备110可被提供为（例如）所谓得机顶盒（STB），注意：用词「机上」并非暗示机盒需设置相对于显示器120之任何特定方位或位置；其仅为用以指示可连接至显示以当作周边装置之装置的本技术中所使用的术语。

图3概略地阐明一种使用视频数据压缩及解压缩的音频/视频储存系统。输入音频/视频信号130被供应至压缩设备140，其产生已压缩信号以供由储存装置150所储存，诸如磁盘装置、光盘装置、磁带装置、固态储存装置（如半导体内存或其他储存装置）。为了播放，已压缩数据被读取自储存装置150并传递至解压缩设备160以供解压缩，以提供输出音频/视频信号170。

应理解：已压缩或已编码信号、及储存该信号之储存媒体被视为本公开的实施例。

图4概略地阐明一种使用视频数据解压缩的视频相机。于图4中，图像捕获设备180，诸如电荷耦合装置（CCD）图像电感器及相关的控制和读出电子电路，产生视频信号，其被传递至压缩设备190。一麦克风（或复数麦克风）200产生一音频信号以供被传递至压缩设备190。压缩设备190产生已压缩音频/视频信号210以便被储存及/或传输（通常显示为储存及/或传输220）。

将描述于下的技术主要有关于视频数据压缩及解压缩。应理解：许多现有的技术可配合将被描述的视频数据压缩技术而被用于音频数据压缩，以产生已压缩音频/视频信号。因此，将不提供音频数据压缩之各自的讨论。亦应理解：与视频数据（特别是广播质量视频数据）相关的数据率一般是极高于与音频数据相关的数据率（无论已压缩或未压缩）。因此应理解：未压缩音频数据可伴随已压缩视频数据以形成已压缩音频/视频信号。应进一步理解：虽然目前的范例（图1-4中所显示者）有关音频/视频数据，但以下将描述的技术可发现其应用于仅处理（亦即，压缩、解压缩、储存、显示及/或传输）视频数据的系统。换言之，实施例可应用于视频数据压缩而不一定具有任何相关的音频数据处置。

图5提供视频数据压缩及解压缩设备的概略概视图。

控制器343控制设备的整体操作及；特别当针对压缩模式时，控制试验编码程序（将描述于下）以选择诸如CU、PU和TU区块尺寸的操作的各种模式。

输入视频信号300的连续图像被供应至相加器310及图像预测器320。图像预测器320将参考图6而被更详细地描述于下。相加器310事实上执行相减（负相加）操作，其中其输入视频信号300于「+」输入上及图像预测器320的输出于「-」输入上，以致从输入图像减去预测图像。结果为产生代表介于实际与预测图像间的差异的所谓残留图像信号330。

残留图像信号为何被产生的一原因说明如下。将描述的数据编码方案（亦即将应用于残留图像信号的技术）倾向于更有效率地作用在当待编码的图像中有较少「能量」时。于此，术语「有效率地」指的是少量已编码数据的产生；针对特定图像质量等级，希望产生实际上尽可能少的数据。残留图像中所谓「能量」是有关残留图像中所含有的信息量。假如预测图像将全同于实际图像，则两者之间的差异（亦即，残留图像）将含有零信息（零能量）且将极易于编码成少量的已编码数据。通常，假如可使预测程序合理地作用良好，则预期残留图像数据将含有较输入图像更少的信息（较少能量）而因此将较易于编码成少量的已编码数据。

残留图像信号330被耦合至变换单元340，其产生残留图像数据的离散余弦变换（DCT）表示。DCT技术本身是众所周知的且将不会详细地描述于此。然而，仍有将被更详细地描述于下的本设备中所使用的技术的形态，特别是有关于可应用DCT操作的不同区块的数据的选择。这些将参考图7-12而被描述于下。于一些实施例中，不同的频率分离变换可被选择性地使用以取代DCT，于一种已知为MDDT（模式取决的方向性变换）的系统中，其将被描述于下。现在，将假设DCT变换正使用中。

变换单元340的输出（亦即，针对图像数据的各变换区块的一组DCT系数）被供应至量化器350。各种量化技术为视频数据压缩之领域中所已知的，范围涵盖从藉由量化标度因子的简单相乘直至复杂查找表之应用，于量化参数的控制下。一般目标是两倍。首先，量化程序减少已变换数据之可能值的数目。其次，量化程序可增加其已变换数据为零的值的可能性。这两者可使得熵编码程序（将描述于下）更有效率地作用于产生少量的已压缩视频数据。

由扫描单元360施加一数据扫描程序。扫描程序的目的为重新排列量化的已变换数据以将尽可能多的非零已量化已变换系数收集在一起，而当然因而将尽可能多的零值系数收集在一起收集。这些特征可容许有效率地施加所谓的运行长度编码或类似技术。因此，扫描程序涉及从已量化已变换数据选择系数，且特别是从相应于一已依据「扫描顺序」而被变换并量化的图像数据的区块的系数的区块，以致：（a）所有系数当作扫描的部分而被选择一次；及（b）扫描常提供所欲的重新排列。一种可常提供有用结果的范例扫描顺序是一种所谓的笔直对角扫描顺序。于一些实施例中，可使用一种所谓的MDCS（模式取决的系数扫描）系统，以致扫描型态可随区块而改变。此类配置将被更详细地描述于下。现在，假设其使用笔直对角扫描。

已扫描系数被接着传递至熵编码器（EE）370。再次地，可使用各种类型的熵编码。两个范例是所谓的CABAC（背景适应二进制算术编码）系统的变异及所谓的CAVLC（背景适应可变长度编码）系统的变异。一般而言，CABAC被视为提供较佳的效率，且于某些研究中已显示出针对相当图像质量（相较于CAVLC）之已编码输出数据的量提供10-20％的减少。然而，CAVLC被视为代表相较于CABAC之复杂度更低甚多的等级（依照其实施方式）。注意：扫描程序及熵编码程序被显示为分离的程序，但事实上可被结合或一起处理。亦即，数据之读入熵编码器可发生以扫描顺序。相应的考虑适于以下将描述的各自的反向程序。注意：本案申请时于考虑下的当前的HEVC文件不再包括CAVLC系数编码器之可能性。

熵编码器370的输出，连同额外数据（以上所提及/或以下所讨论），例如限定其中预测器320产生预测图像的方式，提供已压缩的输出视频信号380。

然而，亦提供返回路径，因为预测器320本身的操作取决于已压缩输出数据的解压缩版本。

此特征之原因如下。于适当阶段，在解压缩程序（以下将描述）中，产生残留数据的解压缩版本。此已解压缩的残留数据需被加至预测图像以产生输出图像（因为原始残留数据为介于输入图像与预测图像之间的差异）。为了使此程序是相当的，如介于压缩侧与解压缩侧之间，则由预测器320所产生的预测图像应是相同的于压缩程序期间及于解压缩程序期间。当然，在解压缩时，设备对于原始输入图像不具有存取权，而仅对于解压缩图像有。因此，于压缩时，预测器320以压缩图像的解压缩版本为其预测（至少，针对图像间编码）的基础。

由熵编码器370所执行的熵编码程序被视为「无损」，也就是说其可被反转以达成与其被首先供应至熵编码器370的完全相同的数据。因此，返回路径可被实施在熵编码阶段之前。确实，由扫描单元360所执行的扫描程序亦被视为无损的，但于本实施例中，返回路径390是从量化器350的输出至一互补反向量化器420的输入。

一般而言，熵解码器410、反转扫描单元400、反向量化器420及反向变换单元430提供熵编码器370、扫描单元360、量化器350及变换单元340之各自的反向功能。现在，将继续遍及压缩程序的讨论；用以解压缩输入已压缩视频信号的程序将被分离地讨论于下。

于压缩程序中，扫描系数由返回路径390从量化器350传递至反向量化器420，其执行扫描单元360之反向操作。反向量化及反向变换程序由单元420、430所执行以产生压缩解压缩的残留图像信号440。

图像信号440被加（于相加器450）至预测器320的输出以产生重建的输出图像460。此形成图像预测器320的输入，如以下将描述者。

现在回到用以解压缩一接收的已压缩视频信号470的程序，信号被供应至熵解码器410并从该处至反转扫描单元400、反向量化器420及反向变换单元430之链，在藉由相加器450而被加至图像预测器320的输出以前。明确地，相加器450的输出460形成输出的解压缩视频信号480。实际上，可在信号被输出之前施加进一步过滤。

因此，图5及6的设备可作用为压缩设备或解压缩设备。两种类型的设备的功能非常大量地重迭。扫描单元360及熵编码器370未被使用于解压缩模式，而预测器320（其将被详细地描述于下）及其他单元的操作依循所接收的已压缩比特流中所含有的或者与其关联的模式及参数，而非产生其本身的此类信息。

图6概略地阐明预测图像的产生，及更明确地为图像预测器320的操作。

有两种预测的基本模式：所谓的图像内预测及所谓的图像间（或运动补偿（MC））预测。

图像内预测基于来自相同图像内的数据以执行图像的一区块的内容的预测。这相应于其他视频压缩技术中的所谓的I帧编码。相对于I帧编码（其中整个图像均被内编码），于本实施例中，可以逐区块的方式来进行介于内-与间-编码之间的选择，虽然于本公开的其他实施例中仍以逐图像的方式进行选择。

运动补偿预测为图像间预测的范例且利用其尝试限定将被编码于当前图像中的图像细节的来源（于另一邻接或附近图像中）的运动信息。因此，于一理想范例中，于预测图像中的图像的一区块的内容可极简单被编码为一参考（运动向量），其指向一相邻图像中位于相同或稍微不同位置上的相应区块。

回到图6，显示两个图像预测配置（相应于图像内及图像间预测），其结果为于模式信号510的控制下由多任务器500所选择以提供预测图像的区块，以便供应至相加器310及450。其选择的进行根据哪个选择提供最低「能量」（其，如上所讨论，可被视为需要编码的信息内容），且该选择被发送给编码器于已编码输出数据流之内。图像能量（于本文中）可被检测，例如，藉由从输入图像执行预测图像之两版本的区域的试验相减、将差异图像的各像素值平方、加总平方值、及识别两版本的哪个为导致相关于该图像区域的差异图像的较低均方根值。

于内编码系统中，实际预测基于其被接收为信号460的部分的图像区块来进行，换言之，预测基于已编码-已解码图像区块，以致可于解压缩设备上进行完全相同的预测。然而，数据可由内模式选择器520获取自输入视频信号300，以控制图像内预测器530的操作。

针对图像间预测，运动补偿（MC）预测器540使用运动信息，诸如由运动估计器550从输入视频信号300所取得的运动向量。这些运动向量。那些运动向量藉由运动补偿预测器540而被施加至重建图像460之已处理版本，以产生图像间预测的区块。

现在将描述施加至信号460的处理。首先，信号由过滤器单元560所过滤，其将被更详细地描述于下。此涉及应用「除区块」过滤器以移除或至少尝试减少由变换单元340所执行的区块为基的处理及后续操作。亦可使用样本调适补偿（SAO）过滤器（进一步描述于下）。同时，应用一种使用藉由处理重建信号460及输入视频信号300所取得的系数的样本回路过滤器。调适回路过滤器是一种过滤器类型，其（使用已知的技术）将调适过滤器系数应用于待过滤的数据。亦即，过滤器系数可根据各种因子而改变。定义应使用哪些过滤器系数的数据被包括为已编码输出数据流的部分。

调适过滤代表用于图像复原的回路内过滤。LCU可由高达16个过滤器过滤，其针对LCU内的各CU取得过滤器的选择及ALF开/关状态。目前控制在于LCU等级，而非CU等级。

来自过滤器单元560的已过滤输出实际上形成输出视频信号480，当设备操作为压缩设备时。其亦被缓冲于一个以上图像或帧储存570中；连续图像之储存为运动补偿预测处理的必要条件，且特别是运动向量的产生。为了节省储存需求，图像储存570中的储存图像可被保持以压缩形式并接着解压缩以用于产生运动向量。为了此特定目的，可使用任何已知的压缩/解压缩系统。储存图像被传递至内插过滤器580，其产生已储存图像之较高分辨率版本；于此范例中，中间样本（次样本）被产生以致：由内插过滤器580所输出的内插图像的分辨率为针对4：2：0的亮度频道而储存于图像储存570中的图像的分辨率的4倍（于各维度）；以及为针对4：2：0之色彩频道而储存于图像储存570中的图像的分辨率的8倍（于各维度）。内插图像被传递为送至运动估计器550及亦送至运动补偿预测器540的输入。

于本公开的实施例中，提供进一步的可选择阶段，其使用乘法器600而将输入视频信号的数据值乘以四的因子（效果上仅将数据值向左移两位）；及使用除法器或右移器610而施加一相应的除法操作（右移两位）于设备的输出处。因此，左移及右移纯粹针对设备的内部操作而改变数据。此处置可提供较高的计算准确度于设备内，当作减少任何数据舍入误差的效果。

现在将描述其中图像针对压缩处理而被分割的方式。于基本等级上，一待压缩图像被视为样本的区块的数组。针对本讨论的目的，考虑下的最大此类区块是所谓的最大编码单元（LCU）700，其代表通常为64×64样本的方形数组（LCU尺寸可由编码器配置，高达诸如由HEVC文件所定义的最大尺寸）。于此，讨论有关亮度样本。根据色彩模式，诸如4：4：4、4：2：2、4：2：0或4：4：4：4（GBR＋密钥数据），将有相应于亮度区块的不同数目的相应色彩样本。

将描述三种基本的区块类型：编码单元、预测单元及变换单元。一般而言，LCU的递归次划分容许输入图像被分割成使得区块尺寸及区块编码参数（诸如预测或残留编码模式）可依据待编码图像的特定特性而被设定。

LCU可被次划分为所谓的编码单元（CU）。编码单元总是方形的且具有介于8×8样本与LCU 700的完整尺寸间的尺寸。编码单元可被配置为一种树状结构，以致第一次划分可发生如图8中所示者，给定32×32样本的编码单元710；后续次划分可接着依选择性方式而发生，以给定16×16样本之某些编码单元720（图9）及8×8样本的潜在的某些编码单元730（图10）。总之，此程序可提供CU区块的内容调适的编码树状结构，其每一者可如LCU一般大或者如8×8样本一般小。输出视频数据的编码基于编码单元结构而发生，也就是说一LCU被编码、及接着该程序移至下一LCU，依此类推。

图11概略地阐明预测单元（PU）的数组。预测单元为一基础单元，用以携载关于图像预测程序的信息、或者（换言之）被加至熵编码残留图像数据以形成来自图5的设备的输出视频信号的额外数据。一般地，预测单元不限于形状为方形。其可具有其他形状，特别是形成方形编码单元之一的一半的矩形形状（例如，8×8CU可具有8×4或4×8PU）。利用其匹配图像特征之PU并非HEVC系统之强制部分，但一般目标将是容许良好的编码器匹配相邻预测单元的边界以吻合（尽可能地）图像中的实际物体的边界，以致不同的预测参数可被应用于不同的实际物体。各编码单元可含有一个以上预测单元。

图12概略地阐明变换单元（TU）的数组。变换单元为变换和量化程序的基础单元。变换可或不可为方形并得以具有4×4至32×32样本的尺寸。各编码单元可含有一个以上变换单元。图12中的缩写SDIP-P表示一种所谓的短距离内预测分割。于此配置中，仅使用一维变换，所以4×N区块被传递通过N变换，其中这些变换的输入数据基于当前SDIP-P内之先前解码的相邻区块及先前解码的相邻线。在本案提出申请时SDIP-P尚未被包括于HEVC中。

如上所述，编码以一LCU、接着下一LCU的方式进行，依此类推。于LCU内，编码以CU接CU地被执行。于CU内，编码的针对一TU、接着下一TU地执行，依此类推。

现在将讨论内预测程序。一般而言，内预测涉及从相同图像中之先前编码及解码的样本产生样本的当前区块的预测（预测单元）。图13概略地阐明部分编码图像800。于此，图像基于LCU而从左上至右下被编码。部分透过完整图像之处置而编码的范例LCU被显示为区块810。区块810的左上半的阴影区820已被编码。区块810的内容的图像内预测可利用阴影区820的任一个但无法利用其下方的无阴影区域。然而，注意其针对当前LCU内之各自的TU，以上所讨论的编码的阶层顺序（CU接CU然后TU接TU）表示可能有于当前LCU中并可用于的该TU的编码的先前已编码样本，其为（例如）该TU的右上或左下。

区块810代表LCU；如以上所讨论，针对内图像预测处理的目的，此可被次划分为一组较小的预测单元及变换单元。当前TU 830的一范例被显示于LCU 810内。

内图像预测考虑在考虑当前TU之前被编码的样本，诸如那些当前TU的上方及/或左方的那些。来源样本（从这些样本预测所需样本）可被置于不同位置上或者相对于当前TU的方向。为了决定哪个方向适于当前预测单元，一样本编码器的模式选择器520可测试各候选方向的可用TU结构的所有组合并选择具有最佳压缩效率之PU方向及TU结构。

图像 也可被编码以「片（slice）」为基础。于一范例中，一片为一水平相邻族群的LCU。但更一般而言，完整残留图像可形成一片，或者一片可为单一LCU，或者一片可为一列LCU，依此类推。片可提供对误差的韧性，因为其被编码为独立单元。编码器及解码器被完全地重设于片边界。例如，内预测不被执行跨越片边界；片边界被视为针对此目的的图像边界。

图14概略地阐明一组可能的（候选）预测方向。整组34个候选方向可用于8×8、16×16、32×32样本的预测单元。4×4及64×64样本的预测单元尺寸的特殊情况具有其可用的一减少组的候选方向（各自的为17个候选方向及5个候选方向）。这些方向由相对于当前区块位置的水平及垂直位移所决定，但被编码为预测「模式」，其一组被显示于图15中。注意：所谓的DC模式代表周围的上及左边样本之简单算术平均值。

图16概略地阐明所谓的笔直对角扫描，其为可由扫描单元360所应用的范例扫描型态。于图16中，该型态被显示针对一范例区块的8×8DCT系数，以其DC系数被置于该区块的左上位置840上，且增加水平和垂直空间频率由在朝下及朝向左上位置840增加距离时的系数所表示。可取代地使用其他替代的扫描顺序。

区块配置和CU、PU及TU结构的变化将被讨论如下。这些将被讨论以图17的设备的背景，其在许多方面类似于如上讨论的图5及6中所阐明者。确实，已使用了许多相同的参考数字，且将不进一步地讨论这些部分。

针对图5及6的主要显著差异关于过滤器560（图6），其在图17中被更详细地显示为包括除区块过滤器1000及相关的编码决定区块1030、样本调适补偿（SAO）过滤器1010及相关的系数产生器1040、和调适回路过滤器（ALF）1020及相关的系数产生器1050。

除区块过滤器1000尝试减少失真并增进视觉质量和预测性能，藉由使其当使用区块编码方案时可形成于CU、PU与TU边界之间的尖锐边缘平顺化。

SAO过滤器1010将重建的像素分类为不同的范畴并接着尝试藉由仅为各范畴的像素增加补偿以减少失真。像素强度及边缘性质被用于像素分类。为了进一步增进编码效率，一图像可被划分为用于补偿参数之局部化的区。

ALF 1020尝试复原已压缩图像，以致介于重建的与来源帧之间的差异被减至最小。ALF的系数以帧为基础来计算及传输。ALF可被应用于整个帧或者局部区域。

如上所述，已提议的HEVC文件使用已知为4：2：0技术的特定的色度取样技术。4：2：0方案可被用于本地/消费者设备。然而，数种其他技术亦为可能的。

特别地，一种所谓的4：4：4方案将适于专业广播、主控（mastering）及数字剧院，且理论上将具有最高的质量及数据率。

类似地，一种所谓的4：2：2方案可被用于具有某些保真度丧失的专业广播、主控及数字剧院。

这些技术及其相应可能的PU和TU区块结构被描述如下。

此外，其他的技术包括4：0：0单色技术。

于4：4：4方案中，三个Y、Cb及Cr频道的每一个均具有相同的样本率。因此，原则上，于此技术中将有如亮度数据的两倍般多的色度数据。

因此于HEVC中，于此技术中，三个Y、Cb及Cr频道的每一个将具有其为相同尺寸的相应的PU和TU区块；例如，8×8亮度区块将具有针对两个色度频道的每一个的相应的8×8色度区块。

因此，于此技术中，通常将有直接的1：1关系于各频道中的区块尺寸之间。

于4：2：2方案中，两个色度成分被取样以亮度的取样率的一半（例如，使用垂直或水平次取样，但为了本说明的目的，假设为水平次取样）。因此，原则上，于此技术中将有如亮度数据一般多的色度数据，虽然色度数据将被分开于两个色度频道之间。

因此于HEVC中，于此技术中，Cb及Cr频道将具有针对亮度频道的不同尺寸的PU和TU区块；例如，8×8亮度区块将具有针对各色度频道的相应的宽4×高8色度区块。

因此，应注意：于次技术中，色度区块可为非方形的，即使其相应于方形亮度区块。

于当前已提议的HEVC 4：2：0方案中，两个色度成分被取样以亮度的取样率的四分之一（例如，使用垂直及水平次取样）。因此，原则上，于此技术中将有如亮度数据的一半的色度数据，色度数据将被分裂于两个色度频道之间。

因此于HEVC中，于此技术中，再次地Cb及Cr频道将具有针对亮度频道的不同尺寸的PU和TU区块。例如，8×8亮度区块将具有针对各色度频道的相应的4×4色度区块。

上述技术于本技艺中口语地已知为「频道比」，如以「4：2：0频道比」；然而，从以上描述应理解：事实上此并非永远表示其Y、Cb及Cr频道以该比例被压缩或者被提供。因此虽称之为频道比，此不应被假设为照字面的。事实上，4：2：0技术的正确比例为4：1：1（4：2：2方案和4：4：4技术的比例是事实上正确的）。

在参考图18A和18B以讨论特定的配置前，将概述或重述一些一般性术语。

最大编码单元（LCU）是根图像标的。通常，其涵盖相当于64×64亮度像素的区域。其被递归地分裂以形成树状阶层的编码单元（CU）。一般而言，三个频道（一亮度频道及二色度频道）具有相同的CU树状阶层。然而，如此一来，根据频道比，一特定的亮度CU可包括针对相应色度CU的不同数目的像素。

于数状阶层的末端上的CU，亦即，得自递归分裂程序的最小CU被接着分裂为预测单元（PU）。三个频道（一亮度频道及二色度频道）具有相同的PU结构，除了当色度频道的相应PU将具有太少样本时，于此情况下该频道仅有一PU可用。此为可配置的，但常见地一内PU的最小尺寸为4样本；一间PU的最小尺寸为4亮度样本（或针对4：2：0为2色度样本）。针对任何频道的至少一PU最小CU尺寸的限制总是够大的。

叶CU亦被分裂为变换单元（TU）。TU可以，及当其为太大时（例如，超过32×32样本）时必须，被分裂为进一步的TU。加诸一限制以致TU可被向下分裂至最大的树状深度，目前配置为2层。亦即，针对各CU不得有多于16个TU。一例示性的最小可容许TU尺寸为4×4样本及最大可容许TU尺寸为32×32样本。再次，只要有可能则三个频道具有相同的TU结构，但假如由于尺寸限制而使TU无法被分裂为针对既定频道的特定深度，则其保持于较大尺寸。所谓的非方形四倍树状变换配置（NSQT）是类似的，但分裂为四个TU的方法无需为2×2而可为4×1或1×4。

参考图18A及18B，针对CU、PU及TU区块概述可能的不同区块尺寸，以「Y」指称亮度区块而「C」一般性地指称色度区块的一代表者，及数字指称像素。「间」指称帧间预测PU（相对于帧内预测PU）。于许多情况下，仅显示亮度区块的区块尺寸。相关色度区块的相应尺寸关于依据频道比的亮度区块尺寸。因此，针对4：4：4，色度频道具有如图18A和18B中所示的亮度区块般的相同区块尺寸。针对4：2：2及4：2：0，色度区块将各具有较相应亮度区块更少的像素，依据频道比。

图18A和18B中所示的配置考虑四种可能的CU尺寸：64×64、32×32、16×16及8×8亮度像素，各自地。这些CU的每一个均具有PU选项（显示于行1140中）及TU选项（显示于行1150中）的一相应列。针对如上所限定的可能CU尺寸，这些列选项各自被参照为1100、1110、1120及1130。

注意：64×64为当前的最大CU尺寸，但此限制可能会改变。

于各列1100…1130中，不同的PU选项被显示可应用于该CU尺寸。可应用于那些PU配置的TU选项被显示水平地与各自的PU选项对齐。

注意：于数种情况下，提供多重PU选项。如以上所讨论，设备选择PU配置的目标在于匹配（尽可能地接近）图像中之真实对象的边界，以致不同的预测参数可被应用于不同的真实对象。

区块尺寸和形状及PU是基于编码器的决定，于控制器343的控制下。当前方法涉及针对许多方向进行许多TU树状结构的试验、取得各等级上的最佳「成本」。于此，成本可被表示为得自各区块结构之失真、或噪声、或误差、或比特率的测量。因此，编码器可尝试在以上所讨论之树状结构和阶层下所容许者之内的区块尺寸和形状之两个以上（或及甚至所有可能的）排列，在选择其针对某所需的质量测量提供最低比特率、或针对所需的比特率提供最低失真（或误差、或噪声、或这些测量的组合）、或这些测量的组合的试验之一以前。

给定特定PU配置的选择，则各种等级的分裂可被应用以产生相应的TU。参考列1100，于64×64PU的情况下，此区块尺寸针对使用为TU是太大的，而因此第一等级的分裂（从「等级0」（未分裂）至「等级1」）是必要的，其导致四个32×32亮度TU的数组。这些的每一个可接受树状阶层中的进一步分裂（从「等级1」至「等级2」）如所需，以其分裂在变换或量化该TU被执行前被履行。TU树中之等级的最大数目由HEVC文件所限制（举例而言）。

其他的选项被提供给PU尺寸及形状于64×64亮度像素CU的情况。这些被限制仅使用以内编码图像，以及（于某些情况下）以所谓的AMP选项启用。AMP指的是非对称运动分割并容许PU被非对称地分割。

类似地，于某些情况下，选项被提供给TU尺寸及形状。假如NQST（非方形四倍树状变换，基本上容许非方形TU）被启用，则分裂为等级1及/或等级2可被执行如所示，而假如NQST未被启用，则TU尺寸依循该CU尺寸的各自的最大TU的分裂形态。

类似的，选项被提供给其他CU尺寸。

除了图18A和18B中所示的图形表示以外，相同信息的数字部分被提供于后续表中，虽然图18A和18B中的表示被视为限定性的。「n/a」指示其不容许的模式。水平像素尺寸被首先引述。假如第三数字被提供，则其有关该区块尺寸的例子的数目，如于（水平）×（垂直）×（例子数）区块。N为整数。

4：2：0、4：2：2及4：4：4区块结构变异

已理解其4：2：0及4：4：4方案两者均具有方形PU区块以供内预测编码。此外，目前4：2：0方案允许4×4像素PU及TU区块。

于本公开的实施例中，因此提议其针对4：4：4方案，针对CU区块的递归被允许向下至4×4像素而非8×8像素，因为如上所述：于4：4：4模式中，亮度与色度区块将为相同尺寸（亦即，色度数据未被次取样）而因此针对4×4CU并无PU或TU将需为少于4×4像素之已容许的最小值。

类似地，于4：4：4方案中，于本公开的一实施例中，每一Y、Cr、Cb频道（或者Y与两个Cr、Cb频道一起）可具有各自的CU树状阶层。一旗标可接着被用以告知应使用哪个阶层或阶层的配置。此方式亦可被用于4：4：4RGB颜色空间技术。然而，替代地，色度和亮度之树状阶层可为独立的。

于4：2：0技术的8×8CU的范例中，如此导致四个4×4亮度PU及一个4×4色度PU。因此于4：2：2方案中，具有色度数据的两倍之多，一选项于此情况下具有两个4×4色度PU，其中（例如）底部色度区块将于位置上相应于底部左边亮度区块。然而，已理解于此情况下使用一个非方形4×8亮度PU将更为对齐4：2：0色度格式的配置。

于4：2：0方案中，原则上有一些非方形TU区块允许于间预测编码之某些类型，但非于内预测编码。然而，于间预测编码时，当非方形四倍树状变换（NSQT）被禁止（其为4：2：0技术的当前默认值）时，所有TU均为方形的。因此效果上4：2：0方案目前强制为方形TU。例如，16×16 4：2：0亮度TU将相应与各自的Cb&Cr8×8 4：2：0色度TU。

然而，如先前所述，4：2：2方案可具有非方形PU。因此于本公开的一实施例中，提议针对4：2：2方案容许非方形。

例如，虽然16×16 4：2：2亮度TU可相应与两个各自的Cb及Cr 8×8 4：2：2色度TU，于此实施例中，其可替代地相应与各自的Cb及Cr 8×16 4：2：2色度TU。

类似地，四个4×4 4：2：2亮度TU可相应与两个各自的4×4 Cb+Cr 4：2：2 TU，或者于此实施例中可替代地相应与各自的4×8 Cb及Cr 4：2：2 TU。

具有非方形色度TU（而因此较少的TU）可为更有效率的，因为其可能含有较少的信息。然而，此可能影响此类TU的变换及扫描程序，如将描述于后。

针对4：4：4，有可能于本公开的实施例中防止亮度区块向下分裂为（例如）4×4区块，假如其为进行中的色度区块以外的进一步分裂。此可导致更有效率的编码。

最后，针对4：4：4方案，可最好是使TU结构为频道独立的、可选择于序列、图片、片或更细的等级。

如上所述，NSQT目前被禁止于HEVC的4：2：0方案。然而，假如针对图像间预测，NSQT被启用且非对称运动分割（AMP）被允许，此容许PU被非对称地分割；因此例如16×16 CU可具有4×16 PU及12×16 PU。于这些情况下，针对4：2：0及4：2：2方案的每一个，区块结构的进一步考虑是重要的。

针对4：2：0方案，于NSQT中，TU的最小宽度/高度可被限制于4个亮度/色度样本：

因此，于非限制性范例中，16×4/16×12亮度PU结构具有四个16×4亮度TU及四个4×4色度TU，其中亮度TU以1×4垂直区块配置而色度TU以2×2区块配置。

于其中分割为垂直而非水平之一类似配置中，4×16/12×16亮度PU结构具有四个4×16亮度TU及四个4×4色度TU，其中亮度TU以4×1水平区块配置而色度TU以2×2区块配置。

针对4：2：2方案，于NSQT中，当作一非限制性范例，4×16/12×16亮度PU结构具有四个4×16亮度TU及四个4×8色度TU，其中亮度TU以4×1水平区块配置；色度TU以2×2区块配置。

然而，已理解其不同结构可被考虑于某些情况。因此于本公开的一实施例中，于NSQT中，当作一非限制性范例，16×4/16×12亮度PU结构具有四个16×4亮度TU及四个8×4色度TU，但现在亮度和色度TU以1×4垂直区块配置，与PU布局（相对于四个4×8色度TU的4：2：0型配置于2×2区块配置）对齐。

类似地，32×8 PU可具有四个16×4亮度TU及四个8×4色度TU，但现在亮度和色度TU以2×2区块配置。

因此，更一般地，针对4：2：2方案，于NSQT中，TU区块尺寸被选择以对齐非对称PU区块布局。因此，NSQT有用地容许TU边界对齐PU边界，其减少否则可能发生之高频人为因素（artefacts）

一般而言，本公开的实施例可相关于一种可针对4：2：2格式视频信号而操作的视频编码方法、设备或程序，待编码图像被划分为编码单元、预测单元及变换单元以供编码，编码单元为亮度样本及相应的色彩样本的方形数组，有一个以上预测单元于一编码单元中，且有一个以上变换单元于一编码单元中；其中预测单元为预测的基本单元以致单一预测单元内的所有样本使用共同预测技术而被预测，而变换单元为变换和量化的基础单元。

非方形变换模式（诸如NSQT模式）被启用以容许非方形预测单元。选择性地，非对称运动分割被启用以容许相应于单一编码单元的两个以上预测单元之间的非对称。

控制器343控制变换单元区块尺寸的选择以对齐预测单元区块布局，例如，藉由检测相应于一PU的图像的部分中的图像特征并针对该PU选择TU区块尺寸以使TU边界对齐图像的部分中的图像特征的边缘。

以上所讨论的规则规定区块尺寸的哪些组合是可用的。编码器可尝试不同的组合。如以上所讨论，试验可包括两个以上直到所有可得的选项。试验编码程序可被执行依据成本函数度量（metric）及依据成本函数之估计所选择的结果。

假定有三个等级的变异，依据CU尺寸及形状、PU尺寸及形状和TU尺寸及形状，则此可导致待试验编码之大量的排列。为了减少此变异，系统可藉由使用各CU尺寸可容许之PU/TU配置的任意选定一者以针对CU尺寸试验编码；接着，已选定了CU尺寸，则可藉由试验编码不同的PU（其各具有单一任意选定的TU配置）以选择PU尺寸和形状。接着，已选定了CU和PU，系统可尝试所有可应用的TU配置以选择一最终TU配置。

另一可能性是某些编码器可使用区块配置之固定选择，或者可容许以上讨论中所设定的组合的有限子集。

内预测

4：2：0内预测

现在回到图22，针对内预测，HEVC容许角度色度预测。

经由介绍，图22阐明35个可应用于亮度区块的预测模式，其中33个指明用以参照当前预测样本位置110的样本的方向。剩余的两模式为模式0（平面）及模式1（dc）。

HEVC容许色度具有DC、垂直、水平、平面、DM_CHROMA及LM_CHROMA模式。

DM_CHROMA指示其待使用的预测模式相同于共同位置的亮度PU的预测模式（亦即，图22中所示的35个之一）。

LM_CHROMA（线性模式色度）指示其共同位置的亮度样本（适当地向下取样至频道比）被用以取得预测的色度样本。于此情况下，假如亮度PU（DM_CHROMA预测模式将从该亮度PU取得）选择DC、垂直、水平或平面，则色度预测列中的该条目使用模式34而被取代。于LM_CHROMA模式中，亮度像素（色度像素从这些亮度像素所预测）依据亮度与色度之间的线性关系而被定标（且适当的话应用补偿）。此线性关系被取自周围的像素，且该取得可依区块接区块的方式被执行，以解码器在持续移动至下一个之前解码一区块。

值得注意的：预测模式2-34系取样从45度至225度的角度范围；换言之，方形的对角线的一半。此可用于4：2：0技术的情况，其（如上所述）仅使用方形色度PU于图像内预测。

4：2：2内预测变异

然而，同样如上所述，4：2：2方案可具有矩形（非方形）色度PU，即使当亮度PU为方形时。或确实地，其相反可为真：矩形亮度PU可相应于方形亮度PU。其差异之原因在于：于4：2：2中，色度被水平地次（相对于亮度）取样而非垂直地。所以亮度区块与相应色度区块的宽高比将预期为不同的。因此，4：2：2格式代表一视频格式的一范例（且有诸如4：2：0的其他范例），其他色彩样本具有较亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率的比不同于亮度垂直分辨率相对于色彩垂直分辨率的比，以致亮度样本的区块具有与色彩样本的相应区块不同的宽高比。

结果，于本公开的一实施例中，有关对于相应亮度区块具有不同宽高比的色度PU，可能需要针对该方向的映射表。假设（例如）针对矩形色度PU之1至2宽高比，则例如模式18（当前以135度的角度）可被重新映射至123度。替代地，当前模式18的选择可被重新映射至当前模式22的选择，至几乎相同的效果。

因此，更一般地，针对非方形PU，介于参考样本的方向与选定的内预测模式之间的不同映射可被提供以比较与方形PU的映射。

又更一般地，任何这些模式（包括非方向性模式）亦可根据经验证据而被重新映射。

有可能此映射将导致多对一的关系，使得模式的完整集合的规格对于4：2：2色度PU而言是多余的。于此情况下，例如，可能仅有17个模式（相应于角度分辨率的一半）是需要的。替代地或另加地，这些模式可被角度地分布以非均匀方式。

类似地，用于参考样本（当预测样本位置上的像素时）上之平滑过滤器可被不同地使用；于4：2：0方案中，其仅被用于平顺化亮度像素，而非色度像素。然而，于4：2：2及4：4：4方案中，此过滤器亦可被用于色度PU。于4：2：2方案中，再次地过滤器可响应于PU的不同宽高比而被修改，例如仅被用于接近水平模式的子集。模式的范例子集最好是2-18及34；或更理想的7-14。于4：2：2中，仅有参考样本的左边字段的平顺化可被执行于本公开的实施例中。

一般而言，于即将描述的实施例中，第一预测方向被限定相关于第一宽高比的第一栅格，关于一组待预测的当前样本；且一方向映射被应用于预测方向以产生一相关于不同宽高比的第二栅格而限定的第二预测方向。第一预测方向可被限定关于包括当前亮度样本的亮度样本的方形区块；且第二预测方向可被限定关于包括当前色彩样本的色彩样本的矩形区块

这些配置被更详细地讨论于后。

4：4：4内预测变异

于4：4：4方案中，色度和亮度PU为相同尺寸，而因此色度PU的内预测模式可相同于共同位置的亮度PU（因此藉由无需编码分离的模式而节省比特流中之某些额外负担）、或者替代地，其可被独立地选择。

因此，于后者的情况下，于本公开的一实施例中，可具有1、2或3个不同的预测模式，针对CU中的每一PU。

于第一范例中，Y、Cb及Cr PU可全使用相同的内预测模式。

于第二范例中，Y PU可使用一个内预测模式，而Cb及Cr PU可均使用另一独立地选择的内预测模式。

于第三范例中，Y、Cb及Cr PU各使用各自独立地选择的内预测模式。

应理解：针对多数色度频道（或各色度频道）具有独立的预测模式将增进颜色预测准确性。但此需要附加的数据额外负担以将独立的预测模式传递为已编码数据的部分。

为了减轻此负担，模式数目的选择可被指示以高阶语法（例如，以序列、图像、或片等级）。替代地，独立模式数目可被取得自视频格式；例如，GBR可具有高达3，而YCbCr可被限制于高达2。

除了独立地选择模式之外，可用的模式可被容许于4：4：4方案中不同于4：2：0方案。

例如，当亮度和色度PU为相同尺寸于4：4：4中时，色度PU可由于对所有可得的35 +LM_CHROMA + DM_CHROMA方向的存取权而受惠。因此，针对各具有独立预测模式之Y、Cb及Cr的情况，则Cb频道可具有对DM_CHROMA & LM_CHROMA的存取权，而Cr频道可具有对DM_CHROMA_Y、DM_CHROMA_Cb、LM_CHROMA_Y及LM_CHROMA_Cb的存取权，其中这些以对Y或Cb色度频道的参考来取代对亮度频道的参考。

当亮度预测模式藉由取得大部分可携模式的列表并传送该列表的指标而被告知时，则假如色度预测模式为独立的，其可能必须针对各频道取得大部分可携模式的独立列表。

最后，以一类似于如上针对4：2：2情况所述的方式，于4：4：4方案中，当预测样本位置上的像素时使用于参考样本上的平滑过滤器可以类似于亮度PU的方式被用于色度PU。目前，[1,2,1]低通过滤器可在内预测之前被应用于参考样本。此仅被用于亮度TU，当使用某些预测模式时。

可用于色度TU的内预测模式之一为将预测样本基于共同位置的亮度样本。此一配置被概略地阐明于图19中，其显示由Cb、Cr及Y频道中之小方形所代表的TU 1200的数组（来自一来源图像的一区），其显示于Cb和Y频道中及于Cr和Y频道中的图像特征（概略地由暗和亮阴影方块1200所表示）之间的特殊对齐。于此范例中，有利的是迫使色度TU将预测样本基于共同位置的亮度样本。然而，并非总是其图像特征于三个频道之间对应的情况。事实上，某些特征可能仅出现于频道之一或二中，且通常三个频道的图像可能不同。

于本公开的实施例中，针对Cr TU，LM_Chroma可选择性地基于来自Cb频道的共同位置的样本（或者，于其他实施例中，其相关性可为反向的）。此一配置被显示以概略形式于图20中。于此，空间对齐的TU被显示介于Cr、Cb和Y频道之间。标示为「来源」的另一组TU为彩色图像的概略表示（整体所见）。来源图像中所见的图像特征（左上方三角形及右下方三角形）事实上不代表亮度的改变，而仅为介于两三角区之间的亮度的改变。于此情况下，使Cr之LM_Chroma基于亮度样本将产生不佳的预测，但使其基于Cb样本则可提供较佳的预测。

有关应使用哪个LM_Chroma模式的决定可由控制器343及/或模式控制器520来做出，基于不同选项的试验编码（包括使LM_Chroma基于共同位置的亮度或共同位置的色度样本的选项），其有关应选择哪个模式的决定藉由针对不同试验编码以存取成本函数（类似于上述者）而做出。成本函数的范例为噪声、失真、误差率、或比特率。来自接受其提供一个以上这些成本函数的最低者的试验编码之那些中的模式被选择。

图21概略地阐明用于获得本公开的实施例中的内预测的参考样本模式的方法。于观看图21时，应注意其编码依据扫描型态而被执行，以致（一般而言）当前待编码区块的左上方的区块的已编码版本可用于编码程序。有时候使用左下或右上的样本，假如其已被事先编码为当前LCU内的其他已编码TU的部分。举例而言，参考如上所述的图13。

阴影区域1210代表当前TU，亦即，当前正被编码的TU。

于4：2：0及4：2：2中，紧接于当前TU的左边的像素行不含共同位置的亮度样本及色彩样本，由于水平次取样。换言之，这是因为4：2：0及4：2：2格式具有如亮度像素的一半的色彩像素（于水平方向），因此并非每一亮度样本位置具有共同位置的色彩样本。因此，虽然亮度样本可出现在紧接于TU的左边的像素行中，色彩样本并未出现。因此，于本公开的实施例中，位于当前TU左边两样本的行被使用以提供参考样本给LM_Chroma。注意：情况在4：4：4中是不同的，其中紧接于当前TU的左边的行确实含有共同位置的亮度及色度样本。此行因而可被用以提供参考样本。

参考样本被使用如下。

于LM_Chroma模式下，预测的样本依据线性关系而被取自重建的亮度样本。因此，一般而言，可以说于TU内的预测的色彩值由下式提供：

P_C = a + bP_L

其中P_C为色彩样本值，P_L为于该样本位置上的重建的亮度样本值，及a和b为常数。这些常数针对特定区块而得，藉由检测就在该区块上方的行中以及就在该区块左方的列中的重建亮度样本与色度样本之间的关系，这些为已被编码的样本位置（参见上述）。

于本公开的实施例中，常数a和b被求得如下：

a = R(P_L’, P_C’) / R(P_L’, P_L’)

其中R代表线性（最少方形）回归函数，而P_L’及P_C’为各自地来自相邻列及行的亮度样本及色彩样本，如以上所讨论，以及：

b = mean (P_C’) – a.mean (P_L’)

针对4：4：4，P_L’及P_C’值被取自紧接在当前TU左方的列、及紧接在当前TU上方的行。针对4：2：2，P_L’及P_C’值被取自紧接在当前TU上方的行及在离开当前TU的左边缘两个样本位置的列。针对4：2：0（其被垂直地及水平地次取样），P_L’及P_C’值将理想地被取自当前TU上方两列的行，但实际上是被取自当前TU上方一个样本位置的相邻区块中的行、以及在离开当前TU的左边缘两个样本位置的相邻区块中的列。其原因是为了避免必须维持数据的额外的整列于内存中。因此于此方面，4：2：2及4：2：0被处置以类似的方式。

因此，这些技术适用于具有色彩预测模式的视频编码方法，其中代表图像的一区的色彩样本的当前区块藉由取得并编码色彩样本相对于代表图像的相同区的一共同位置区块的亮度样本（诸如重建的亮度样本）的关系而被编码。此关系（诸如线性关系）藉由比较来自相邻已编码区块的共同位置的（另表达为相应位置的）亮度样本及色彩样本。色彩样本依据该关系而被取得自亮度样本；而介于预测色彩样本与实际色彩样本之间的差异被编码为残留数据。

有关第一取样分辨率（诸如4：4：4），其中色彩样本具有与亮度样本相同的取样率，共同位置的样本为邻近当前区块的样本位置中的样本。

有关第二取样分辨率（诸如4：2：2或4：2：0），其中色彩样本具有较亮度样本低的取样率，来自相邻已编码区块的共同位置的亮度和色彩样本的最近行或列被用以提供共同位置的样本。或者其中，于第二取样分辨率为4：2：0取样分辨率的情况下，相应位置的样本为邻近当前区块的相应列的样本以及相应位置的亮度和色彩样本的最近行或列，来自相邻已编码区块。

图22概率地阐明亮度样本的可用的预测角度。当前像素被预测为显示于图形的中央为像素1220。较小的点1230代表相邻像素。那些位于当前像素之上或左侧者可用为用以产生预测的参考样本，因为其已被先前地编码。其他像素当前为未知（于预测像素1220的时刻）且本身将于适当时机被预测。

各已编号的预测方向指向其被用以产生当前预测像素的当前区块的上或左边缘上的来自一群候选参考样本的参考样本1230。于较小区块的情况下，其中预测方向指向介于参考样本之间的位置，则使用介于相邻参考样本之间的线性内插（样本位置的任一侧由当前预测模式所指示的方向来指向）。

现在回到色度样本的角度内预测，针对4：2：0，由于色度样本的相对稀少而有较少的预测方向可得。然而，假如选择了DM_CHROMA模式则当前色度区块将使用如共同位置亮度区块的相同预测方向。于是，此表示内预测的亮度方向亦可用于色度。

然而，针对4：2：2中的色度样本，可视为反本能地使用如亮度的相同预测算法（当选择DM_CHROMA时），假定色度区块现在具有与亮度区块不同的宽高比。例如，方形亮度数组的样本的45度线仍应映射至色度样本的45度线，虽然具有矩形尺寸样本的数组。将矩形栅格迭置于方形栅格之上指示其45度线将接着实际上映射至26.6度线。

图23概略地阐明如应用于4：2：2中的色度像素的亮度内预测方向，针对待预测的当前像素1220。注意：水平上有垂直上一半的像素，因为4：2：2具有在色度频道一半的水平取样率（相较于亮度频道）。

图24概略地阐明4：2：2色度像素的变换或映射至方形栅格，及因而阐明此变换如何改变预测方向。

亮度预测方向被显示为虚线1240。色度像素1250被再映射至方形栅格，其提供相应亮度数组的宽度1260的一半的矩形数组（诸如图22中所显示者）。图23中所示的预测方向已被再映射至矩形数组。可看出针对一些方向对（一对为一亮度方向及一色度方向），有重迭或接近关系的任一个。例如，于亮度数组中的方向2实质上位于色度数组中的方向6之上。然而，亦将注意：某些亮度方向（大约其一半）并无相应的色度方向。一范例为编号3的亮度方向。同时，某些色度方向（2-5）无相等物于亮度数组中，而某些亮度方向（31-34）无相等物于色度数组中。但一般地，图24中所示的迭置展现其将不适于使用相同角度于亮度及色度频道两者。

图33概略地阐明一种用以修改一限定预测方向的「角度步进」的配置（其可被实施为控制器343的功能的部分）。于图33中，角度步进被供应至一修改器1500，藉由利用诸如由输入角度步进所指引的查找表等支持数据1510、映射输入角度步进至输出角度步进、或数据限定一预定的修改算法或函数，修改器1500将输入角度步进所限定的方向映射至输出角度步进所限定的方向上。

但在详细地讨论图33的操作前，将提供关于预测角度（及特别是「角度步进」）的取得的一些进一步背景。

如以所讨论，于内预测操作中，当前区块内的样本可被预测自一个以上参考样本。这些被选自一群候选参考样本，其形成当区块1560上方的行及当前区块左边的列。图33概略地阐明候选参考样本的此一列1520及行1530。

于候选参考样本内，将用于特定预测操作的实际样本由预测方向所指向。此被表达为「角度步进」。针对一明显垂直的预测方向（其于本文背景中为一将处理列1520中的参考样本者），角度步进为偏移至一样本位置1540（其被垂直地移位于所预测的当前样本的位置1550上方）的左边或右边。针对一明显水平的预测方向（其于本文背景中为一将处理行1530中的参考样本者），角度步进为偏移至一样本位置1570（其被水平地移位于所预测的当前样本的位置1550左边）的上方或下方。

因此应理解其角度步进可为零（于纯水平或纯垂直预测方向的情况下），或者可代表任一意思（上/下/左/右）中的移位。

事实上，为了本公开的实施例内的计算的目的，行1530及列1520可被视为提供一组候选参考样本的单一线性数组，从行1530的底部开始并前进至列1520的右端。于本公开的实施例中，线性数组被过滤（藉由一过滤器，其形成预测器530的部分）以沿着线性数组应用一平顺化或低通过滤操作。适当平滑过滤器的一范例为标称化的1-2-1过滤器，其也就是说过滤器取代一特定样本（仅为了作用为参考样本的目的）以左边样本（于线性数组中）的1/4、该样本的1/2及右边样本（于线性数组中）的1/4的总和。平滑过滤器可被应用于所有数组或者应用于数组的子集（诸如从列或行开始的样本）。

为了取得色度的适当预测角度，当（a）DM_CHROMA被选择及（b）目前使用中的DM_CHROMA模式指示其色度预测方向应为共同位置的亮度区块的方向时，则下列程序由修改器1500所应用以修改角度步进值。注意：该程序指的是角度步进（step）的反数。此值可被使用为执行以产生预测的计算的便利特征，但其为本说明书中很重要的角度步进的变异。

（i）依据亮度方向以取得内预测角度步进（及选择性地，其反数）。

（ii）假如亮度方向是显著地垂直的（亦即，例如，编号从18至34内的模式），则内预测角度步进被减半且其反数被乘两倍。

（iii）否则，假如亮度方向是显著地水平的（亦即，例如，编号从2至17内的模式），则内预测角度步进被乘两倍且其反数被减半。

这些计算代表藉由预定算法的修改器1500以修改角度步进值的应用的范例，以将关于样本位置的亮度栅格所取得的方向映射至一可应用于4：2：2或样本位置的其他子取样色度栅格的方向。可藉由修改器1500替代地参考一个将输入角度步进映射至输出角度步进的查找表而获得类似的结果。

因此，于这些实施例中，预测方向限定相对于一群候选参考样本的样本位置，该群候选参考样本包括各自的置于该组当前待预测样本的上方及左边的水平行及垂直列样本。预测器530实施过滤操作，其（如上所述）将该群候选参考样本排列为参考样本的一线性数组；并将一平滑过滤器应用于该线性数组参考样本以一沿着该线性数组的方向。

执行映射的程序可被执行（例如）相关于角度步进，其中以一相关的角度步进限定当前样本的预测方向；相对于被垂直地移位自当前样本的该列中的样本位置，针对一明显垂直预测方向的角度步进为一沿着该群候选参考样本的样本位置的水平行的补偿；相对于被水平地移位自当前样本的该行中的样本位置，针对一明显水平预测方向的角度步进为一沿着该群候选参考样本的样本位置的垂直列的补偿；且沿着由补偿所指示的水平行或垂直列的样本位置提供了对于将使用于当前样本的预测的样本位置的指针。

于一些实施例中，应用方向映射的步骤可包括对相应于第一预测方向的角度步进的预定函数。此一函数的范例被描述如上，亦即：

依据第一预测方向以取得角度步进；及

（i）假如第一预测方向是明显垂直的，则将各自的角度步进减半以产生第二预测方向的角度步进；或

（ii）假如第一预测方向是明显水平的，则将各自的角度步进加倍以产生第二预测方向的角度步进。

于本公开的实施例中，假如角度步进（诸如以上所取得的已修改步骤）不是整数，则角度步进被用以限定用于内插的该群候选参考样本内的一群两个以上样本位置（例如，于该方向所指出的位置的任一边的两个样本），以提供当前样本的预测。

于本公开的其他实施例中，应用方向映射的步骤包括使用第一预测方向以索引一查找表，该表提供第二预测方向的相应值。

依据本公开的实施例，检测第一预测方向的步骤可包括：于编码操作的情况下，依据两个以上候选预测方向的试验以选择预测方向；或者于解码操作的情况下，检测其限定一与待解码视频数据关联的预测方向的信息。亦即，区别编码与解码系统的实施例的一般要点如下：于解码器中，某些参数被提供于已编码数据或者与其关联者中。于一编码器中，此类参数被产生以供将已编码数据传递至解码器。

于本公开的实施例中，第一预测方向被用于一组样本的亮度样本的预测；而由该应用步骤从第一预测方向所取得的第二预测方向被用于该组样本的色彩样本的预测。

本公开的实施例可提供一种视频编码或解码方法，其中亮度成分样本及第一色彩成分样本和第二色彩成分样本依据与一待预测样本关联的预测模式而被预测，此方法包括从第一色彩成分的样本预测第二色彩成分的样本。

本公开的实施例可提供一种视频编码或解码方法，其中依据与一待预测样本关联的预测方向以从其他各自的参考样本预测复数组样本，该预测方向限定一样本位置，相对于一群相对于该组当前待预测样本而配置的候选参考样本，该方法包括：

将该组候选参考样本排列为参考样本的线性数组；及

将平滑过滤器应用于参考样本的线性数组的子集，依沿着线性数组的方向。

本公开的实施例可提供一种视频编码或解码方法，其中图像的亮度样本及色彩样本依据一关联于待预测样本的预测方向而被预测自从相同图像所取得的其他各自的参考样本，色彩样本具有较亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比，色彩样本代表第一色彩成分及第二色彩成分；

此方法包括：

选择一预测模式，其限定用以预测第一色彩成分的当前色彩样本的一个以上参考样本或值的选择；及

选择一不同的预测模式，其限定用以预测第二色彩成分的当前色彩样本（与第一色彩成分的当前色彩样本共同放置）的一个以上参考样本或值的不同选择。

本公开的实施例可提供一种视频编码或解码方法，其中亮度样本及色彩样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，色彩样本具有较亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比，此方法包括：

根据宽高比的差异以将一不同的各自的预测算法应用于亮度样本及色彩样本。

图33显示使用中的此技术的范例。角度步进1580依据亮度栅格而被取得。（有可能其亦被使用关于亮度样本预测，但针对其依据亮度栅格及程序而被取得的本讨论是足够的。换言之，其实际上无法被用于亮度预测）。4：2：2色度样本1580的数组被显示为相同栅格上的双倍宽度；但使用相同的预测方向1590指向不同的参考样本（来自垂直定位样本1540的不同补偿）于此一情况下。因此，角度步进依据上述程序而被修改以提供修改的角度步进1600，其指向正确的色度参考样本，以代表色度栅格中的相同预测方向。

因此，本公开的这些实施例有关视频编码或解码方法、设备或程序，其中亮度样本及色彩样本依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测。于诸如4：2：2的模式中，色彩样本具有较亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比。简言之，此表示亮度样本的区块具有与色彩样本的相应区块不同的宽高比。

帧内预测器530（例如）可操作为检测器以针对一组当前待预测样本检测一相关于第一宽高比的第一栅格而限定的第一预测方向；并操作为方向映射器以将方向映射应用于该预测方向以产生相关于不同宽高比的第二栅格的第二预测方向。因此，预测器530代表方向映射器的范例。预测器540可提供另一相应范例。

于本公开的实施例中，用以检测第一预测方向的第一栅格针对亮度样本或色彩样本之一的样本位置而被限定，及用以检测第二预测方向的第二栅格针对亮度样本或色彩样本的另一的样本位置而被限定。于本说明书所讨论的特定范例中，亮度预测方向可被修改以提供色彩预测方向。但亦可使用相反的方式。

此技术特别可应用于内预测，以致参考样本为取得自（例如，重建自取得自如下的压缩数据）如待预测样本的相同各自的图像的样本。

于至少某些配置中，第一预测方向针对亮度样本（包括当前亮度样本）的方形区块而被限定；及第二预测方向针对色彩样本（包括当前色彩样本）的矩形区块而被限定。

得以提供独立的预测模式给两个色彩成分。于此一配置中，色彩样本包括第一色彩成分及第二色彩成分的样本，及该技术包括针对该第一色彩成分（诸如Cb）以应用以上步骤所讨论的方向映射；及针对该第二色彩成分（诸如Cr）以提供不同的预测模式。

视频数据可为4：2：2格式，举例而言。

在解码或解码方法的情况下，所述预测方向可通过检测编码视频数据中限定预测方向的数据来检测。

一般而言，本公开的实施例可提供独立的预测模式给色彩成分（例如，分别地给亮度及色彩成分的每一个）。这些实施例有关视频编码方法，其中图像的亮度样本及色彩样本依据一关联于待预测样本的预测方向而被预测自其取得自该相同图像的其他各自的参考样本，色彩样本具有较亮度样本更低的水平及/或垂直取样率以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的区块具有与色彩样本的相应区块不同的宽高比，而色彩样本代表第一及第二色彩样本。

帧内模式选择器520选择一预测模式，其限定一个以上参考样本的选择以供预测第一色彩成分（诸如Cb）的当前色彩样本。其亦选择一不同的预测模式，其限定一个以上参考样本的不同选择以供预测第二色彩成分（诸如Cr）的当前色彩样本，其与第一色彩成分的当前色彩样本位于相同位置。

一参考样本过滤器可选择性地被应用于水平样本或垂直样本（或两者）。如以上所讨论，过滤器可为3分接头标称化的「1 2 1」过滤器，当前应用于除了左下及右上之外的所有亮度参考样本（N×N区块的样本被集合在一起以形成尺寸2N+1的单一1D数组，并接着被选择性地过滤）。于本公开的实施例中，其仅被应用于4：2：2的第一（左手边缘）或最后（顶部边缘）N+1色度样本，但注意其左下、右上及左上于是将不被调整；或是针对4：2：2及4：4：4的所有色度样本（如同亮度）。

本公开的实施例亦可提供视频编码或解码方法、设备或程序，其中亮度成分样本及第一色彩成分样本和第二色彩成分样本依据一关联于待预测样本的预测模式而被预测（例如，自其他各自的参考样本或值），其涉及来自第一色彩成分的样本的第二色彩成本。于一些实施例中，与待预测样本关联的预测模式可指示一预测方向，其限定该样本所将被预测自之一个以上其他各自的参考样本。

本公开的实施例亦可提供视频编码或解码方法、设备或程序，其中亮度成分样本及第一色彩成分样本和第二色彩成分样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，其涉及过滤参考样本。

如参考图19及20所讨论，有可能其不同的预测模式包括一模式，藉由该模式第二色彩成分的样本被预测自第一色彩成分的样本。

注意：模式0及1并非角度预测模式而因此未被包括于此程序中。如上所示的程序的效果用以将色度预测方向映射至图24中的亮度预测方向上。

针对4：2：0，当纯水平预测模式（亮度模式10）或纯垂直预测模式（亮度模式26）被选择时，则所预测的TU之上或左边缘接受仅针对亮度频道之过滤。针对水平预测模式，顶部列被过滤于垂直方向。针对垂直预测模式，左边行被过滤于水平方向。

于水平方向过滤一行样本可被理解为将水平定向的过滤器应用于该样本行顺序中的各样本。因此，针对一独立样本，其值将由过滤器的运动所修改，基于从该样本及水平方向上移开自该样本的样本位置上的一个以上其他样本的当前值所产生的已过滤值（亦即，相关的该样本的左及/或右边的一个以上其他样本）。

于垂直方向过滤一列样本可被理解为将垂直定向的过滤器应用于该样本列顺序中的各样本。因此，针对一独立样本，其值将由过滤器的运动所修改，基于从该样本及垂直方向上移开自该样本的样本位置上的一个以上其他样本的当前值所产生的已过滤值（亦即，相关的该样本的上及/或下方的一个以上其他样本）。

上述边缘像素过滤程序的一目的在于用以减少预测中基于边缘效果的区块，藉此用以减少残留图像数据中的能量。

于本公开的实施例中，一相应的过滤程序亦被提供给4：4：4及4：2：2中的色度TU。考虑水平次取样，一提议是仅过滤4：2：2中的色度TU的顶部列，而非过滤4：4：4中之顶部列及左边行两者（适当地，依据选定的模式）。被认为适当的是仅于这些区中过滤以避免将太多有用的细节过滤掉，其（假如过滤掉的话）将导致残留数据的增加的能量。

针对4：2：0，当DC模式被选择时，预测的TU的顶部及/或左边缘便接受仅针对亮度频道的过滤。

过滤可为致使于DC模式中，过滤器进行一针对两边缘上的所有样本的(1×相邻外部样本+3*边缘样本)/4平均化运算。然而，针对左上方，过滤器函数为(2×当前样本+1×上样本+1×左样本)/4。

H/V过滤器为介于相邻外部样本与边缘样本之间的平均。

于本公开的实施例中，此过滤程序亦被提供给4：4：4及4：2：2中的色度TU。再次地，考虑水平次取样，于本公开的某些实施例中，仅有色度样本之顶部列针对4：2：2而被过滤，但色度TU之顶部列及左边行针对4：4：4而被过滤。

因此，此技术可应用于有关视频编码或解码方法、设备或程序，其中于4：4：4格式或4：2：2格式中的亮度样本及色彩样本依据一关联于待预测样本的区块的预测方向而被预测自其他各自的样本。

于本技术的实施例中，预测方向关于待预测当前区块而被检测。色彩样本的预测区块依据由预测方向所限定的其他色彩样本而被产生。假如测得的预测方向为实质上垂直的（例如，于其中n为（例如）2的完全垂直模式的+/- n角度内模式），则左边行样本被过滤（例如，于水平方向）于色彩样本的预测区块。或者，假如测得的预测方向为实质上水平的（例如，于其中n为（例如）2的完全水平模式的+/- n角度内模式），则顶部列样本被过滤（例如，于垂直方向）于色彩样本的预测区块。接着介于已过滤的预测色彩区块与实际色彩区块的间的差异被编码（例如）为残留数据。替代地，此测试可针对完全垂直或水平模式而非实质上垂直或水平模式。+/- n之容限可被应用于这些测试之一（垂直或水平）而非另一。

间预测

注意：HEVC中的间预测已容许矩形PU，因此4：2：2模式及4：4：4模式已兼容与PU间预测处理。

视频图像的各帧为实际景象的离散取样，而因此各像素为颜色和亮度之真实世界梯度的步进近似。

有鉴于此，当从先前视频帧中的值预测新视频帧中之Y、Cb或Cr值时，该先前视频帧中的像素被内插以产生原始真实世界梯度的较佳估计，以容许新像素的亮度或颜色的更准确选择。因此，用以指向视频帧之间的运动向量不限于整数像素分辨率。反之，其可指向内插图像内的子像素位置。

4：2：0间预测

现在参考图25及26，于如上所述的4：2：0方案中，通常8×8亮度PU 1300将关联于Cb及Cr 4×4色度PU 1310。因此，为了内插亮度及色度像素直到相同的有效分辨率，不同的内插过滤器被使用。

例如，针对8×8 4：2：0亮度PU，内插为1/4像素，而因此8分接头×4过滤器被首先水平地应用，且接着相同的8分接头×4过滤器被垂直地应用，以致亮度PU被有效地伸展4次于各方向，以形成如图25中所示的内插数组1320。同时，相应的4×4 4：2：0色度PU被1/8像素内插以产生相同的最终分辨率，而因此4分接头×8过滤器被首先水平地应用，接着相同的4分接头×8过滤器被垂直地应用，以致4：2：0色度PU被有效地伸展8次于各方向，以形成如图26中所示的数组1330。

4：2：2间预测

现在将参考图27及28以描述4：2：2之类似配置，其阐明亮度PU 1350及一对相应的色度PU 1360。

参考图28，如先前所述，于4：2：2方案中，色度PU 1360可为非方形的，而针对8×84：2：2亮度PU的情况，每一Cb及Cr频道通常将为宽4×高8的4：2：2色度PU。注意：色度PU被描绘（为了图28的目的）为非方形像素的方形形状数组，但一般而言，可注意其PU 1360为4（水平）×8（垂直）像素数组。

虽然其可能因此使用现存的8分接头×4亮度过滤器垂直地于色度PU上，于本公开的实施例中，其已被理解该现存的4分接头×8色度过滤器将满足垂直内插如实际上，仅有兴趣于内插色度PU之甚至小部分位置。

因此，图27显示如前内插以8分接头×4过滤器之8×8 4：2：2亮度PU 1350、及内插以4分接头×8色度过滤器的4×8 4：2：2色度PU 1360，于水平及垂直方向，但仅以其用于形成垂直方向上的内插图像的甚至小部分结果。

这些技术可应用于使用图像间预测以编码输入视频数据的视频编码或解码方法、设备或程序，其中各色彩成分具有亮度成分的水平分辨率的1/Mth及亮度成分的垂直分辨率的1/Nth，其中M及N为等于1或更大的整数。例如，针对4：2：2，M=2、N=1。针对4：2：0，M=2、N=2。

帧储存570可操作以储存当前图像前之一个以上图像。

内插过滤器580可操作以内插已储存图像的预测单元的更高分辨率版本，以致一已内插的预测单元具有该已储存图像的相应部分的P倍的水平分辨率及该已储存图像的相应部分的Q倍的垂直分辨率，其中P及Q为大于1的整数。于当前范例中，P＝Q＝4以致内插过滤器580可操作以产生具1/4样本分辨率之已内插图像。

运动估计器550可操作以检测介于当前图像与一个以上已内插储存图像之间的图像间运动，以产生介于当前图像的预测单元与一个以上先前图像的区域之间的运动向量。

运动补偿预测器540可操作以产生当前图像的预测单元的运动补偿预测，针对由各自的运动向量所指出的已内插储存图像。

回到内插过滤器580的操作的讨论，此过滤器的实施例可操作以将xR水平及xS垂直内插过滤器应用于一储存图像之色彩成分，以产生已内插色彩预测单元，其中R等于(U×M×P)而S等于(V×N×Q)，U及V为等于1或更大的整数；并次取样该已内插色彩预测单元，以致其水平分辨率被除以U的因子且其垂直分辨率被除以V的因子，藉此获致MP×NQ样本的区块。

因此，于4：2：2的情况下，内插过滤器580将x8内插应用于水平及垂直方向，但接着以2的因子垂直地次取样，例如藉由使用已内插输出中的每第二个样本。

此技术因此容许相同（例如，x8）过滤器被使用于4：2：0及4：2：2，但于4：2：2情况下需要次取样的进一步步骤。

于本公开的实施例中，如先前的讨论，该已内插色彩预测单元具有其使用相同的xR及xS内插过滤器所内插的4：2：0格式预测单元的样本的两倍高度。

使用这些技术可避免或减轻提供不同过滤器的需求，而特别是藉由使用相同的xR水平及xS垂直内插过滤器，针对4：2：0输入视频数据及4：2：2输入视频数据。

如以上的讨论，次取样该已内插色彩预测单元的步骤包括使用垂直方向上该已内插色彩预测单元的每第V个样本，及/或使用垂直方向上该已内插色彩预测单元的每第U个样本。

本公开的实施例可涉及取得一预测单元的亮度运动向量；并独立地取得该预测单元之一个以上色彩运动向量。

于本公开的某些实施例中，R与S的至少一者等于2或更大，且于本公开的实施例中，xR水平及xS垂直内插过滤器亦被应用于储存图像的亮度成分。

4：4：4间预测变体

藉由延伸，仅使用现存4分接头×8色度过滤器的甚至小部分结果的相同原理可垂直地暨水平地应用于8×8 4：4：4色度PU。

进一步针对这些范例，x8色度过滤器可被用于所有内插，包括亮度。

进一步间预测变体

于运动向量（MV）的一实施方式中，一向量被产生给P片中之一PU以及二向量被产生给B片中之一PU（其中P片从先前帧取得预测，而B片从先前及后续帧取得预测，以一种类似于MPEG P及B帧的方式）。值得注意的，于4：2：0技术的此实施方式中，向量对于所有频道是共同的，而此外，色度数据无需被用以计算运动向量。换言之，所有频道使用一基于亮度数据的运动向量。

于本公开的一实施例中，于4：2：2方案中，色度向量可被取得以独立自亮度（亦即，用于Cb和Cr频道的单一向量可被分离地取得），且于4：4：4方案中，色度向量可进一步针对Cb和Cr频道的每一个为独立的。

本公开的实施例可提供一种视频编码或解码方法，其中图像的亮度样本及色彩样本依据一关联于待预测样本的预测模式而被预测自从相同图像所取得的其他各自的参考样本，色彩样本代表第一及第二色彩样本；此方法包括：针对至少一些样本，选择相同的预测模式给相应于一图像区的每一亮度及色彩成分。

本公开的实施例可提供一种视频编码或解码方法，其中图像的亮度样本及色彩样本依据一关联于待预测样本的预测模式而被预测自从相同图像所取得的其他各自的参考样本，色彩样本代表第一及第二色彩样本；此方法包括：针对至少一些样本，选择不同的各自的预测模式给相应于一图像区的每一亮度及色彩成分。

于任一情况下，相同预测模式或不同的各自的预测模式的任一个可被用于相应于一图像区的每一亮度及色彩成分，依据图像顺序、图像、或图像的区而做出选择。

为了于一编码操作中选择一预测模式技术，实施例可（例如）使用针对亮度及色彩成分的相同预测模式以执行图像区的第一试验编码；使用针对亮度及色彩成分的不同的各自的预测模式以执行该图像区的第二试验编码；及根据由第一和第二试验编码所编码的数据以选择相同预测模式或不同的各自的预测模式的任一个来用于图片序列、图片、或图片的区。

试验结果的处理可（于本公开的实施例中）涉及检测由第一和第二试验编码所编码的数据的一个以上预定的性质；及根据所检测的一个以上性质以选择相同预测模式或不同的各自的预测模式的任一个来用于图片序列、图片、或图片的区。这些一个以上性质可（例如）包括选自以下所构成的组的性质：图像噪声、图像失真、及图像数据量。该选择可针对单独的图像片或图像区块而做出。本公开的实施例可操作以将信息关联于已编码视频信号（例如，当作已编码数据流的部分、当作数据流内的一个以上数据旗标），其指示：是否使用相同预测模式或不同预测模式；以及于其使用相同预测模式的情况下，指示单一预测模式的识别；或者于其使用不同各自的预测模式的情况下，指示那些不同各自的预测模式的识别，例如使用关于预测模式之本申请案中所讨论的编号技术。

针对执行解码操作的实施例，此方法可包括：检测与用于解码的视频数据关联的信息，该信息限定相同预测模式或不同预测模式是否与该用于解码的视频数据关联。假如此信息（例如，在关于数据流的预定位置上的一位旗标）指示其相同预测模式被使用，则解码器将关于一成分（诸如亮度）所限定的预测模式信息应用于其他成分（诸如色度）的解码。否则，解码器便将单独指明的预测模式应用于各成分。

于本公开的实施例中，如以上所讨论，图像形成4：2：2或4：4：4视频信号的部分。

变换

于HEVC中，大部分图像从先前编码/解码的帧被编码为运动向量，以其运动向量告知解码器从（于这些其他已解码帧中）何处复制当前图像之良好近似。其结果为当前图像之近似版本。HEVC接着编码所谓的残留，其为介于近似版本与正确图像之间的误差。此残留需要甚少于直接指明实际图像的信息。然而，一般而言仍最好是压缩此残留信息以进一步减少整体比特率。

于包括HEVC的许多编码方法中，此类数据使用整数余弦变换（ICT）而被为变换为空间频率领域，且通常某压缩接着藉由保留低空间频率数据并丢弃较高空间频率数据而获得，依据所欲的压缩位准。

4：2：0变换

HEVC中所使用的空间频率变换传统上是产生4的幂次的系数（例如，64个频率系数），因为此为特别能接受共同量化/压缩方法。4：2：0方案中的方形TU均为4的幂次而因此为直接可获得。

假如NSQT选项被启用，一些非方形变换可用于非方形TU（诸如4×16），但再次值得注意地，这些导致64个系数（亦即，再次4的幂次）。

4：2：2及4：4：4变换变体

4：2：2方案可导致其并非4的幂次的非方形TU；例如，4×8 TU具有32个像素，而32并非4的幂次。

于本公开的一实施例中，因此，可使用针对非4数字的幂次的系数的非方形变换，已知其需要对后续量化程序进行修改。

替代地，于本公开的一实施例中，非方形TU被分裂为具有用于变换的4区域的幂次的方形区块，且接着所得的系数可被交错。

例如，针对4×8区块，奇数/偶数垂直样本可被分裂为两方形区块。替代地，针对4×8区块，顶部4×4像素及底部4×4像素可形成两方形区块。替代地，再次地，针对4×8区块，哈尔（Haar）小波分解可被用以形成较低及较高频率4×4区块。

这些选项的任一者可变为可用的，且特定替代方式的选择可由解码器通知或取得。

其他变换模式

于4：2：0方案中，有一建议旗标（所谓的「qpprime_y_zero_transquant_bypass_flag」），其容许残留数据被无损地包括于比特流中（亦即，未被变换、量化或进一步过滤）。于4：2：0方案中，该旗标应用于所有频道。

因此，此类实施例代表视频编码或解码方法、设备或程序，其中亮度样本及色彩样本被预测且介于样本与各自的预测样本之间的差异被编码，利用一种指示器，其被被配置为指示亮度差异数据是否被无损地包括于输出比特流中；并独立地指示色彩差异数据是否无损地被包括于比特流中。

于本公开的一实施例中，已提议其用于亮度频道之旗标对于色度频道是分离的。因此，针对4：2：2方案，此类旗标应被分离地提供给亮度频道及给色度频道，而针对4：4：4方案，此类旗标应被分离地提供给亮度及色度频道；或者一旗标被提供给该三个频道的每一个。如此认知其关联于4：2：2及4：4：4技术的增加的色度数据率，并启用（例如）无损的亮度数据连同压缩的色度数据。

针对预测内编码，模式取决的方向性变换（MDDT）容许针对一TU的水平或垂直ICT（或两ICT）被取代以整数正弦变换，根据内预测方向。于4：2：0方案中，此未被应用于色度TU。然而，于本公开的一实施例中，提议将其应用于4：2：2及4：4：4色度TU，注意其IST目前仅被定义于4样本变换维度（水平地或垂直地），而因此目前无法被垂直地应用于4×8色度TU。MDDT将被进一步讨论如下。

于视频编码的方法中，本公开的各种实施例可被配置以指示亮度差异数据是否被无损地包括于输出比特流中；并独立地指示色彩差异数据是否被无损地包括于比特流中、及编码或包括相关数据于由此类指示所定义的形式中。

量化

于4：2：0方案中，针对色彩的量化计算相同于针对亮度的量化计算。仅有量化参数（QP）有差异。

针对色彩的QP被计算自亮度QP如下：

其中定标表（scaling table）被定义如图29A或29B中所见者（各自针对4：2：0及4：2：2），且「chroma_qp_index_offset」及「second_chroma_qp_ index_offset」被定义于图形参数组中且针对Cr及Cb为相同的或不同的。换言之，方形括号中的值于各情况下将一「指标」定义入定标表（图29A和B）且定标表接着给定Qp（「值」）的修订值。

注意：「chroma_qp_index_offset」及「second_chroma_qp_index_offset」可另被各自地称为cb_qp_offset及cr_qp_offset。

色彩频道通常含有较亮度更少的信息，而因此具有较小值的系数；此对于色彩QP的限制可防止所有色彩细节丧失在大量的量化等级下。

4：2：0中的QP除数关系是对数关系，以致QP的6的增加相当于除数的两倍（本说明书别处所讨论的量化步进尺寸，虽然注意到其可在使用前由Q矩阵所进一步修改）。因此在51-39=12的定标表中的最大差异代表除数的4的因子的改变。

然而，于本公开的一实施例中，针对4：2：2方案，其潜在地含有4：2：0方案中的色度信息的两倍，定标表中的最大色彩QP值可被升高至45（亦即，除数的一半）。类似地针对4：4：4方案，定标表中的最大色彩QP值可被升高至51（亦即，相同的除数）。于此情况下，定标表在效果上是多余的，但可仅被保留以供操作上效益（亦即，以致系统以针对各方案的相同方式参考表而工作）。因此，更一般地，于本公开的一实施例中，色度QP除数响应于编码方案（相对于4：2：0方案）中的信息量而被修改。

因此，本公开的实施例应用于一种视频编码或解码方法，其可操作以依据一定义量化步进尺寸的选定的量化参数而量化4：4：4或4：2：2格式之频道变换的亮度和色彩成分视频数据的区块。量化参数关联（诸如，例如，图29A或29B中的适当表格）被定义于亮度与色彩量化参数之间，其中该关联使得最大色彩量化步进尺寸小于针对4：2：2格式（例如45）的最大亮度量化步进尺寸，但等于针对4：4：4格式（例如51）的最大亮度量化步进尺寸。量化程序操作以使得频率变换的数据的各成分被除以从各自的量化步进尺寸所取得的各自的值，且其结果被舍入至整数值，以产生已量化空间频率数据的相应区块。

应理解其除法及舍入步骤指示一般性量化阶段的范例，依据各自的量化步进尺寸（或从其取得的数据，例如，藉由Q矩阵之应用）。

本公开的实施例包括选择用以量化空间频率系数的量化参数或指数（亮度的QP）的步骤，该量化参数作用为依据可应用于亮度数据的QP表之一组量化步进尺寸的各自的参考。定义量化参数关联的程序于是可包括：针对色彩成分，依据选定量化参数以参考已修改量化参数的表（诸如图29A和29B的表），其因而可涉及（i）针对第一色彩成分，将第一补偿（诸如chroma_qp_index_offset）加至量化参数并选择相应于该条目（于该表中）的已修改量化指数，针对量化指数加上第一补偿；及（ii）针对第二色彩成分，将第二补偿（诸如second_chroma_qp_index_offset）加至量化参数并选择相应于该条目（于该表中）的已修改量化指数，针对量化指数加上第二补偿；及依据亮度数据及第一和第二色彩成分的第一和第二已修改量化指数以参考该组中之各自的量化步进尺寸。以不同方式来看，此为一涉及选择用以量化空间频率系数的量化参数的程序的范例，该量化参数作用为对于一组量化步进尺寸的各自的参考；且其中定义步骤包括：针对色彩成分，依据选定量化参数以参考已修改量化参数的表，参考步骤包括：针对各色彩成分，将各自的补偿加至量化参数并选择相应于该条目（于该表中）的已修改量化指数，针对量化指数加上各自的补偿；及依据亮度数据及第一和第二色彩成分的第一和第二已修改量化参数以参考该组中的各自的量化步进尺寸。

这些技术特别可应用于其中该组中的量化步进尺寸的连续值为对数相关的配置，以致m（其中m为整数）的量化参数的改变代表具有p（其中p为大于1的整数）的因子的量化步进尺寸的改变。于本实施例中，m = 6而p = 2。

于本公开的实施例中，如以上所讨论，最大亮度量化参数针对4：2：2格式为45；而最大色彩量化参数针对4：4：4格式为51。

于本公开的实施例中，第一和第二补偿可关联于已编码视频数据而被传递。

于4：2：0中，变换矩阵A被初始地产生（藉由变换单元340）自那些真实正规化的N×N DCT A’，其使用：

其中i和j指示矩阵中的位置。此相对于正规化变换矩阵的定标提供了精确度之增加，避免分数计算的需求并增加内部精确度。

忽略由于Aij之舍入的差异，因为X被乘以A及A^T（矩阵A的换位）两者，故所得的系数不同于真实正规化的M×N（M＝高度；N＝宽度）DCT之那些系数，藉由以下共同定标因子：

注意：共同定标因子可不同于此范例。亦注意：矩阵乘以A及A^T两者可被执行以各种方式，诸如所谓的蝴蝶（Butterfly）方法。重要的事实是：其被执行的操作是否等同于传统的矩阵相乘，而非其是否被履行以一特定的传统操作顺序。

此定标因子等同于二元左移位元操作以位transformShift的数目，因为于HEVC中此导致2的幂次：

为了减少对于内部位精确度之要求，这些系数被右移（使用正舍入）两次于变换程序期间：

结果，这些系数（随着其离开前向变换程序并进入量化器）被有效地左移以：

于4：2：0中，由频率变换所产生的频率分离（例如，DCT）系数为（2^{resultingShift}）的因子大于其正规化DCT所将生成的系数。

于本公开的某些实施例中，区块为方形的或者为具有2：1宽高比的矩形的。因此，针对N×M的区块尺寸，任何：

N=M，于此情况下，resultingShift为整数且S=N=M=sqrt(NM)；或者

0.5N=2M或2N=0.5M，于此情况下resultingShift仍为整数且S=sqrt(NM)

这些系数被接续地量化，其中量化除数依据量化参数QP而被取得。

注意：resultingShift等同于一整数，所以共同定标因子为2的整数幂次，变换程序的整体左移「resultingShift」亦被考虑于此阶段，藉由应用一相等但相反的右移「quantTransformRightShift」。

此位移位操作是可能的，因为resultingShift为一整数。

同时注意：除数-QP（量化参数或指数）关是依循基于2幂次曲线，如以上所述，其中QP增加6具有除数变两倍的效果，而QP增加3具有增加除数sqrt(2)（2之平方根）的因子的效果。

由于4：2：2的色度格式，有更大的TU宽度：高度（N：M）比：

N=M(来自先前) 其中S=N=M=sqrt(NM) (resultingShift为整数

0.5N=2M及2N=0.5M（来自先前） 其中S=sqrt(NM)（resultingShift为整数

N=2M 其中S =sqrt(NM)

2M=N 其中S =sqrt(NM)

4N=0.5M 其中S =sqrt(NM)

于这后三者情况下，resultingShift不是整数。例如，此可适用于其中视频数据样本的至少一些区块包括M×N样本，其中N/M之平方根不等于2的整数幂次。此类区块尺寸可针对色度样本而发生于某些本实施例中。

因此，于此类例子中，下列技术是相关的，亦即，于视频编码或解码方法、设备或程序，其可操作以藉由在视频数据样本上履行频率变换而产生已量化空间频率数据的区块，使用一包括各针对正规化变换矩阵（藉由取决于变换矩阵之维度的量）的各自的值而被定标的整数值数组之变换矩阵；及依据选定量化步进尺寸以量化空间频率数据，其具有藉由对区块进行矩阵乘法乘以变换矩阵以及变换矩阵的换位而进行频率变换的步骤，来产生各以共同定标因子（例如，resultingShift）大于空间频率系数（其将得自视频数据样本的区块的正规化频率变换）的已定标空间频率系数的区块。

因此在量化阶段，一适当的位移位操作无法被使用来取消该操作以简单的方式。

针对此提议一解决方式如下：

在量化器阶段，应用右移：

quantTransformRightShift = 15 – log2 (S’) – bitDepth

其中值S’被取得以致

resultingShift- quantTransformRightShift = +½

quantTransformRightShift为整数

介于½的移位之间的差异等同于乘以sqrt(2)，亦即，在此时刻，系数为大于其应该者的sqrt(2)倍，使得该位移位为整数字元移位。

对于量化程序，应用(QP+3)的量化参数，表示量化除数被有效率地增加sqrt(2)的因子，因而从先前步骤消除sqrt(2)定标因子。

因此，这些步骤可被总结，于视频编码或解码方法（或者相应的设备或程序）的背景，其可操作以藉由在视频数据样本的区块上履行频率变换而产生已量化空间频率数据的区块，使用一包括各针对正规化变换矩阵之各自的值而被定标的整数值数组之变换矩阵；及依据选定量化步进尺寸以量化空间频率数据，其涉及藉由对区块进行矩阵乘法乘以变换矩阵以及变换矩阵的换位而频率变换视频数据样本的区块，来产生各以共同定标因子大于空间频率系数（其将得自视频数据样本的区块的正规化频率变换），如下：选择用以量化空间频率系数的量化步进尺寸；应用n位移位（例如，quantTransformRightShift）以将已定标空间频率系数的每一个除以2ⁿ的因子，其中n为整数；及检测残留定标因子（例如，resultingShift -quantTransformRightShift），其为除以2ⁿ之共同定标因子。例如，于以上所讨论的情况下，量化步进尺寸于是依据残留定标因子以产生修改的量化步进尺寸；且区块中之已定标空间频率系数的每一者被除以一取决于已修改量化步进尺寸的值并将该结果舍入至整数值，以产生已量化空间频率数据的区块。如以上所讨论，量化步进尺寸的修改可仅藉由将一补偿加至QP而被执行，以选择不同的量化步进尺寸，当QP被映射入量化步进尺寸的表时。

系数现在是原始QP的正确大小。

变换矩阵可包括整数值的数组，其各针对正规化变换矩阵之各自的值而被定标以一取决于该变换矩阵之维度的量。

可得知其S’的所需值可总是被取得如下：

S’= sqrt(2*M*N)

当作一替代提议，S’可被取得以致：

resultingShift- quantTransformRightShift = -½

于此情况下，S’= sqrt(½*M*N)，且已应用的量化参数为(QP-3)。

于这些情况的任一者下，（将3加至QP或从QP减去3），选择量化步进尺寸的步骤包括选择量化指数（例如，QP），量化指数定义量化步进尺寸的表中的各自的条目，而修改步骤包括改变量化指数以选择不同的量化步进尺寸，以致不同量化步进尺寸相对于原始选择的量化步进尺寸的比实质上等于残留定标因子。

此特别地良好工作于其中（如于本实施例中）该表中的量化步进尺寸的值为对数相关的，以致m的量化指数（例如，QP）的改变代表量化步进尺寸的改变以p的因子（其中p为大于1的整数）。于本实施例中，m=6而p=2，以致QP的6的增加代表所应用的量化步进尺寸的两倍，而QP的6的减少代表所得量化步进尺寸的一半。

如以上所讨论，修改可藉由：选择关于亮度样本的量化指数（例如，基础QP）；针对色彩成分的每一个或两者的样本产生量化指数补偿（相对于针对亮度样本所选择的量化指数）；依据残留定标因子以改变量化指数补偿；及传递与已编码视频数据相关的量化指数补偿。于HEVC的实施例中，针对两色度频道的QP补偿被传送于比特流中。这些步骤相应于一系统，其中+/-3的QP补偿（以因应残留定标因子）可被结合入这些补偿内，或者当用于取得色度QP时其可被递增/递减。

注意：假如使用不同形状区块的话QP补偿不一定要是+/-3；只是+/-3代表一可应用于以上关于4：2：2视频（举例而言）所讨论的区块形状及宽高比的补偿。

于某些实施例中，n（如所应用的位移位）被选择以致2ⁿ大于或等于共同定标因子。于其他实施例中，n被选择以致2ⁿ小于或等于共同定标因子。于本公开的实施例（使用这些配置的任一个）中，位移位n可被选择以成为次接近（于任一方向）于共同定标因子，以致残留定标因子代表一具有小于2的大小的因子。

于其他实施例中，量化步进尺寸的修改可仅藉由将量化步进尺寸乘以一取决于残留定标因子的因子来履行。亦即，此修改无需涉及指数QP的修改。

亦注意：所讨论的量化步进尺寸不一定是已变换样本所被分割的实际量化步进尺寸。以此方式所取得的量化步进尺寸可被进一步修改。例如，于某些配置中，量化步进尺寸由值的矩阵（Q矩阵）中的各自的条目所进一步修改，以致不同的最终量化步进尺寸被用于系数之已量化区块中的不同系数位置上。

亦值得注意的：于4：2：0方案中，最大色度TU为16×16，而针对4：2：2方案则16×32TU是可能的；以及针对4：4：4方案，32×32色度TU是可能的。因此，于本公开的一实施例中，提议针对32×32色度TU的量化矩阵（Q矩阵）。类似地，Q矩阵应被定义给非方形TU，诸如16×32 TU，以其一实施例为较大方形Q矩阵之次取样

Q矩阵可由下列的任一个来定义：

栅格中的值（针对4×4及8×8 Q矩阵）；

空间地内插自较小或较大的矩阵；

- 于HEVC中，较大的Q矩阵可被取得自较小参考者的系数的各自的族群，或者较小的矩阵可被次取样自较大的矩阵。注意：此内插或次取样可被执行于一频道比之内─例如，针对一频道比的较大矩阵可被内插自针对该频道比的较小者。

相对于其他Q矩阵（亦即，差异值、或差量）；

- 因此仅有这些差量需被传送。

仅为阐明的目的举一小范例，针对一频道比的特定矩阵可被定义，诸如关于4：2：0的4×4矩阵

( a b )

( c d )

其中a, b, c及d为各自的系数。此作用为参考矩阵。

本公开的实施例可接着针对关于另一频道比之类似尺寸矩阵定义一组差异值：

(diff1 diff2)

(diff3 diff4)

以致为了产生针对其他频道比之Q矩阵，差异的矩阵被矩阵相加至参考矩阵。

取代差异，多重因子的一矩阵可针对其他频道比而被定义，以使得（i）多重因子的矩阵被矩阵相乘与参考矩阵而产生针对其他频道比之Q矩阵，或（ii）参考矩阵中的各系数被独立地乘以各自的因子以产生针对其他频道比之Q矩阵。

当作另一Q矩阵的函数；

- 例如，相对于另一矩阵的定标比（以致上述范例中之a, b, c及d的每一个被乘以相同的因子，或者具有加入该数的相同差异）。如此减少用以传输差异或因子数据的数据需求。

- 因此，仅有这些函数的系数需被传送（诸如定标比），

当作一等式/函数（例如，块状线性曲线、指数、多项式）；

- 因此，仅有这些等式的系数需被传送以取得该矩阵，

或者任何上述的组合。例如，a, b, c及d的每一个可事实上由一函数所定义，该函数可包括根据该矩阵内的系数位置（i, j）的相关性。（i, j）可代表（例如）从左至右的系数位置，接续以从矩阵之顶部至底部的系数位置。一范例为：

系数_i,j = 3i + 2j

注意：Q矩阵可被称为HEVC环境内的定标表列。于其中在扫描程序后施加等化的实施例中，扫描数据可为连续数据样本的线性流。于此类例子中，Q矩阵的概念仍适用，但矩阵（或扫描表列）可被视为1×N矩阵，以致1×N矩阵内之N数据值的顺序相应于扫描样本（各自的Q矩阵值将被应用于这些样本）之顺序。换言之，扫描数据（一具扫描型态的空间频率）中的数据顺序与1×N Q矩阵中的数据顺序之间有1：1的关系。

注意：于某些实施方式中，有可能越过或省略DCT（频率分离）阶段，但保持量化阶段。

其他有用的信息包括这些值关于哪些其他矩阵的选择性指示器，亦即，先前频道或第一（主要）频道；例如，针对Cr的矩阵可为针对Y（或针对Cb）的矩阵的已定标因子，如所示者。

因此，本公开的实施例可提供一种视频编码或解码方法（及一种相应的设备或计算机程序），其可操作以产生已量化的空间频率的区块，藉由（选择性地）对视频数据样本履行频率变换并量化视频数据（诸如空间频率数据），依据选定的量化步进尺寸及一修改用于样本之一依序区块（诸如频率变换样本之依序区块）内的不同各自的位置上的量化步进尺寸的数据的矩阵，此方法可关于至少两不同色彩次取样格式而操作。

针对色彩次取样格式的至少一者，一个以上量化矩阵被定义为关于一个以上针对色彩次取样格式之一参考者所定义的参考量化矩阵之一个以上预定的修改。

于本公开的实施例中，定义步骤包括将一个以上量化矩阵定义为各内插自一参考量化矩阵之各自的复数值的值的矩阵。于其他实施例中，定义步骤包括将一个以上量化矩阵定义为各次取样自一参考量化矩阵的值的值的矩阵。

于本公开的实施例中，定义步骤包括将一个以上量化矩阵定义为关于一参考量化矩阵的相应值的差异的矩阵。

于本公开的实施例中，定义步骤包括将一个以上量化矩阵定义为一参考量化矩阵的值的预定函数。于此类例子中，预定函数可为多项式函数。

于本公开的实施例中，提供下列之一或两者，例如，当作已编码视频数据的部分或关联于已编码视频数据：（i）参考指示器数据，用以指示（关于已编码视频数据）参考量化矩阵；及（ii）修改指示器数据，用以指示（关于已编码数据值）一个以上预定修改。

这些技术特别可用于其中色彩次取样格式的两者为4：4：4及4：2：2格式。

对于各变换尺寸：3其HEVC 4：2：0中之Q矩阵的数目当前为6（针对相应的频道），且一组针对内及一组针对间。于4：4：4 GBR技术的情况下，应理解其量化矩阵的任一组可被用于所有频道，或者量化矩阵之三个各自的组可被使用。

于本公开的实施例中，这些矩阵的至少一者为1×N矩阵。此将为其中这些矩阵之一个以上者事实上为定标表列等等的情况（如文中所述者），其为线性1×N阶的系数数组。

已提议的解决方式涉及递增或递减已应用的QP。然而，此可被达成以数个方式：

于HEVC中，两个色度频道的QP补偿被传送于比特流中。+/- 3可被结合入这些补偿中，或者其可被递增/递减在当其被用以取得色度QP时。

如以上所讨论，于HEVC中，（亮度QP＋色度补偿）被使用为对于一用来取得色度QP的表的指标。此表可被修改以结合+/- 3（亦即，藉由将原始表的值递增/递减3）。

在色度QP已被取得的后，有关正常HEVC程序，其结果可接着被递增（或递减）3。

当作修改QP之替代方式，sqrt(2)或1/ sqrt(2)可被用以修改量化系数。

针对前向/反向量化，除/乘程序藉由使用（QP % 6）为对于一表的指标而实施，来获得量化系数或量化步进尺寸，inverseQStep/scaledQstep。（于此，QP % 6表示QP模数6）。注意：如以上所讨论，此可不代表其被应用于已变换数据的最终量化步进尺寸；其可在使用前由Q矩阵进一步修改。

HEVC中的预设表为长度6，涵盖值之倍数（双倍）。此仅为减少储存需求之手段；这些表针对实际使用而被延伸，藉由依据QP之模数（mod 6）以选择表中的条目并接着乘以或除以2的适当幂次，取决于来自预定基础值的差异（QP – QP模数6）。

此配置可被改变以容许QP值中的+/- 3的补偿。该补偿可被应用于表查找程序，或者以上所讨论之模数程序可使用已修改QP而取代地被执行。假设补偿被应用于表查找上，然而，该表中的额外条目可被提供如下：

一替代方式为将这些表延伸3个条目，其中新的条目为如下（针对6-8的指数值）。

图30中所示的范例表将由[(QP % 6) + 3]来索引（一种「QP递增方法」），其中代号QP % 6系表示「QP模数6」。

图31中所示的范例表将由[(QP % 6) - 3]来索引（一种「QP递减方法」），其具有针对-1至-3的指针值的额外条目。

熵编码

基本熵编码包括将码字指定给输入数据符号，其中最短可用码字被指定给输入数据中的最可携符号。平均而言，此结果为输入数据的无损但更小得多的表示。

基本技术可被进一步改良，藉由得知其符号机率经常对于最近先前数据是条件性的，而因此让该指定程序为内容调适的。

于此一技术中，内容变量（CV）被用以判定各自的机率模型的选择，且此类CV被提供于HEVC 4：2：0方案。

为了延伸对4：2：2方案的熵编码，其例如针对8×8亮度TU将使用4×8色度TU而非4×4 TU，选择性地其内容变量可仅藉由垂直地重复同等CV选择而被提供。

然而，于本公开的一实施例中，CV选择并未针对左上系数（亦即，高能量、DC及/或低空间频率系数）而重复，而替代地取得新的CV。于此情况下，例如，映射可被取得自亮度图。此方式亦可被用于4：4：4方案。

于编码期间，于4：2：0方案中，一种所谓的曲折扫描从高至低频率依序地扫描这些系数。然而，再次注意4：2：2方案中的色度TU可为非方形的，而因此于本公开的一实施例中，提议一种不同的色度扫描，其扫描的角度被倾斜以使其更为水平，或更一般地，响应于TU的宽高比。

类似地，重要性图CV选择的附近及大于一和大于二CV选择之c1/c2系统可因此被调适。

同样地，于本公开的一实施例中，最低有效系数位置（其变为解码期间之开始点）亦可针对4：4：4而调整，其色度TU的最低有效位置不同于共同位置亮度TU中的最低有效位置而被编码。

系数扫描亦可变为取决于某TU尺寸的预测模式。因此不同扫描顺序可根据内预测模式而被用于某些TU尺寸。

于4：2：0方案中，模式取决的系数扫描（MDCS）仅被应用于4×4/8×8亮度TU及4×4色度TU，针对内预测。MDCS根据内预测模式而被使用，考虑从水平及垂直+/-4的角度。

于本公开的一实施例中，提议于4：2：2方案中，MDCS被应用于4×8及8×4色度TU，针对内预测。类似地，提议于4：4：4方案中，MDCS被应用于8×8及4×4色度TU。针对4：2：2之MDCS仅可被进行于水平或垂直方向，且角度范围可不同针对4：4：4色度vs. 4：4：4亮度vs.4：2：2色度vs. 4：2：2亮度vs. 4：2：0亮度。

回路内过滤器

除区块（deblocking）

除区块被应用于所有CU、PU及TU边界，而CU/PU/TU形状不列入考虑。过滤器强度及尺寸取决于局部统计，而除区块具有8×8亮度像素的粒度。

因此，预期应用于4：2：0技术的当前除区块亦应可应用于4：2：2及4：4：4方案。

样本调适补偿

于样本调适补偿（SAO）中，各频道是完全独立的。SAO使用四倍树以分裂各频道的图像数据，且所得的区块尺寸为至少一LCU。叶区块被对齐于LCU边界且各叶可运作于三个模式之一，如由编码器所决定者（「中央频带补偿」、「侧边频带补偿」或「边缘补偿」）。各叶分类其像素，且编码器针对16个类别的每一个取得补偿值，藉由将SAO输入数据比较与源数据。这些补偿被传送至解码器。针对已解码像素之类别的补偿被加至其值以将其与来源之偏移最小化。

此外，SAO被启用或禁用于图形等级；假如针对亮度而启用，其亦可针对各色度频道而被分离地启用。SAO因此将被应用于色度仅于其被应用于亮度的话。

因此，此程序对于重要的区块技术是极透明的且预期应用于4：2：0技术的当前SAO亦应可应用于4：2：2及4：4：4方案。

调适回路过滤

于4：2：0方案中，调适回路过滤（ALF）是预设为禁用的。然而，理论上（亦即，假如容许的话）则ALF将被应用于色度之整个图形。

于ALF中，亮度样本可被分类为数个类别之一，如由HEVC文件所判定者；各类别使用不同之威能（Wiener）为基的过滤器。

反之，于4：2：0中，色度样本未被分类-仅有一个威能为基的过滤器用于Cb，及一个用于Cr。

因此，于本公开的一实施例中，由于4：2：2及4：4：4方案中之增加的色度信息，提议其色度样本被分类，例如K类别于4：2：2及J类别于4：4：4。

虽然于4：2：0方案中ALF可使用ALF控制旗标而针对亮度被禁用以每CU的基础（向下至其由ALF控制深度所指明的CU等级），但其仅可针对色度被禁用以每图形的基础。注意：于HEVC中，此深度目前被限制仅于LCU等级。

因此，于本公开的一实施例中，4：2：2及4：4：4方案被提供以针对色度之一或二频道特定的ALF控制旗标。

语法

于HEVC中，语法已提出以指示4：2：0、4：2：2或4：4：4方案，且被指示于序列等级。然而，于本公开的一实施例中，提议亦指示4：4：4 GBR编码于此等级。

MDDT及MDCS

现在将描述模式取决的方向性变换及模式取决的系数扫描之使用。注意：两者可被实施于相同系统中，或者一者可被使用而另一者不被使用，或者两者可均不使用。

将首先描述MDCS，参考图34至38。

一种所谓的笔直对角扫描型态参考图16而被描述于上。扫描型态被使用以取得一顺序，该顺序为频率分离的系数（诸如DCT系数）所被处理的顺序。笔直对角型态为扫描型态的一范例，但其他型态亦可得。两个进一步范例被概略地显示于图34及35，此次为使用4×4区块的范例。这些是：水平扫描型态（图34），及垂直扫描型态（图35）。

于MDCS中，扫描型态被选自一群取决于使用中预测模式之两个以上候选扫描型态。

本范例有关一群三个候选扫描型态、笔直对角型态、水平型态及垂直型态。但亦可使用一不同群的两个以上候选扫描型态。

参考图36，垂直扫描型态被用于模式6至14，其为水平（明显水平）之临限角度（或模式编号）内的模式。水平扫描型态被用于模式22至30，其为垂直（明显垂直）之临限角度（或模式编号）内的模式。笔直对角扫描（于图36中仅称为「对角扫描」）被用于其他模式。

图37概略地阐明两候选扫描型态（垂直及水平）对其可应用于色度样本的矩形数组的方向性预测模式之可能映射。该型态不同于针对亮度样本所使用的型态（图36）。

图38概略地阐明用以选择扫描型态的配置。此可形成控制器343的功能的部分，举例而言。

选择器1620响应于当前区块的预测模式及一将预测模式映射至扫描型态的查找表1630。选择器1620输出其指示选定的扫描型态的数据。

MDCS可被启用于4：2：2及4：4：4。扫描型态对预测模式的映射针对4：2：0可为相同 的，或者可为不同的。各频道比可具有各自的映射（于该情况下选择器1620亦可响应于频道 比）或者映射可涵盖频道比均为恒定的。MDCS可仅被应用于某些区块尺寸，例如，不大于临 限区块尺寸。例如，MDCS所应用的最大TU尺寸可为：

格式	亮度	色度
			4：2：0	8×8	4×4
4：2：2	8×8	4×8
			4：4：4	8×8	8×8

针对色度，MDCS可被禁用，仅限于4×4（亮度）TU或限于仅使用水平或垂直扫描之TU。MDCS特征之实施方式。MDCS特征之实施方式可随着频道比而改变。

本公开的实施例因此提供一种编码4：2：2或4：4：4视频数据的方法，其中介于预测的与原始的样本之间的差异被频率分离并编码，包括：依据与待预测样本关联的预测模式以从其取得自相同图像的其他各自的参考样本预测图像的亮度及/或色彩样本，该预测模式针对复数样本区块的每一个而被选择，自一组两个以上候选预测模式；检测介于这些样本与各自的预测的样本之间的差异；

使用频率分离变换以频率分离针对样本的一区块所测得的差异，来产生一相应组的频率分离系数；从一组两个以上候选扫描型态选择一扫描型态，各扫描型态限定编码该组频率分离系数之顺序，根据样本的该区块的预测模式，其使用一介于扫描型态与预测模式之间的映射，针对至少4：4：4格式该映射介于不同者之间，如介于色彩与亮度样本之间（因此，换言之，该映射针对4：4：4色度及4：4：4亮度数据是不同的，且可或不可为不同的如介于4：2：2亮度及4：2：2色度数据之间）；及依据选定的扫描型态而依频率分离系数的顺序以编码频率分离的差异数据。

映射可针对4：2：2亮度及色彩数据为不同的。

映射可针对4：2：2及4：4：4视频数据为不同的。

于本公开的实施例中，亮度样本的当前区块为4×4或8×8样本。替代地，本公开的实施例包括从一组候选尺寸选择样本的当前区块的尺寸；及假如选定的区块尺寸为该组候选尺寸的预定子集之一则应用选择扫描型态的步骤。以此方式，映射程序可被应用于某些区块尺寸而非其他尺寸。映射可仅被应用（针对4：2：2）于亮度样本。

于本公开的实施例中，该组候选扫描型态针对用于亮度样本及色彩样本是不同的。

选择步骤可被被配置为选择关于一组明显水平预测模式的水平扫描型态；选择关于一组明显垂直预测模式的垂直扫描型态；及选择关于其他预测模式的对角扫描型态。

本公开的实施例亦提供一种编码4：2：2或4：4：4视频数据的方法，其中介于预测的与原始的样本之间的差异被频率分离并编码，包括：依据与待预测样本关联的预测模式以从其取得自相同图像的其他各自的参考样本预测图像的亮度及/或色彩样本，该预测模式针对复数样本区块的每一个而被选择，自一组两个以上候选预测模式；从一组两个以上候选扫描型态选择扫描型态，各扫描型态限定编码该组频率分离系数之顺序，根据样本的该区块的预测模式，其使用一介于扫描型态与预测模式之间的映射，针对至少4：4：4格式该映射介于不同者之间，如介于色彩与亮度样本之间（因此，换言之，该映射针对4：4：4色度及4：4：4亮度数据是不同的，且可或不可为不同的如介于4：2：2亮度及4：2：2色度数据之间）；及解码频率分离的差异数据，其代表指示介于待解码样本与各自的预测样本间的差异的数据之频率分离版本，依据选定的扫描型态而依频率分离系数的顺序。

关于MDDT，图39概略地阐明一种依据预测模式以选择频率分离变换的配置。此配置可形成控制器之变换单元的功能的部分。

选择器1700接收其限定当前预测模式的数据并根据该模式以选择一变换（从一组两个以上候选变换）。该变换由变换引擎1710所应用以将图像样本转换为频率变换的系数，根据其储存在变换数据储存中指示所需变换的数据。

候选变换的范例包括离散余弦变换（DCT）、离散正弦变换（DST）、Karhunen-Loeve变换、及由用于矩阵乘以样本的当前区块的各自的列和行矩阵所限定的变换。

MDDT可被启用（例如）于4：4：4系统中的4×4色度区块。然而，于本公开的实施例中，MDDT被启用于4：2：2数据。

因此，本公开的实施例可提供一种编码4：2：2或4：4：4视频数据的方法，包括：依据与待预测样本关联的预测模式以从其取得自相同图像的其他各自的参考样本预测图像的亮度及/或色彩样本，该预测模式针对复数样本区块的每一个而被选择，自一组两个以上候选预测模式；检测介于样本与各自的预测的样本之间的差异；依据与样本的当前区块关联的预测模式以从两个以上候选频率分离变换选择一频率分离变换，其使用一介于变换与预测模式之间的映射，针对至少4：4：4格式该映射介于不同者之间，如介于色彩与亮度样本之间（因此，换言之，该映射针对4：4：4色度及4：4：4亮度数据是不同的，且可或不可为不同的如介于4：2：2亮度及4：2：2色度数据之间）；及藉由频率分离这些差异以编码这些测得的差异，其使用选定的频率分离变换。

候选变换可包括选自由以下组成的列表的两个以上变换：离散余弦变换、离散正弦变换、Karhunen-Loeve变换、及由用于矩阵乘以样本的当前区块的各自的列和行矩阵所限定的变换（以致，例如，变换由TXT^T所限定，其中T为变换矩阵，上标T代表矩阵之转置（transpose），而X代表矩阵形式中的样本的区块）。

如前所述，于本公开的实施例中，与待预测样本的区块关联的预测模式指示一预测方向，其限定该区块的各样本所将被预测自之一个以上其他各自的参考样本，或者可指示（例如）dc预测模式。

于本公开的实施例中，提供于预测模式与频率分离变换之间的映射可针对4：2：2格式而不同于亮度与色彩数据之间。

于本公开的实施例中，亮度样本的当前区块的尺寸为4×4样本。替代地，此方法可包括：从一组候选尺寸选择样本的当前区块的尺寸；及假如选定的区块尺寸为该组候选尺寸的预定子集之一则应用选择频率分离变换的步骤，以致MDDT仅被用于某些而非所有区块（例如，TU）尺寸。

于本公开的实施例中，编码这些测得的差异的步骤包括从一组两个以上候选扫描型态选择一扫描型态，各扫描型态限定将该组频率分离系数编码的顺序，根据样本的该区块的预测模式；及依据选定的扫描型态而依频率分离系数的顺序以编码频率分离的差异数据。换言之，此代表一使用MDCS及MDDT两者的系统。

已编码区块旗标

已编码区块旗标（CBF）被用以指示-针对亮度TU-该TU是否含有任何非零的系数。其提供容许该编码程序跳过不具有待编码数据的区块的简单是/否答案。

于某些配置中，CBF被用于色度数据，但被提供于各分裂等级。这是因为色度成分常具有较少量的信息，而因此相较于相应亮度区块所被发现不含数据的等级，色度区块可在较高的分裂等级上被发现含有零数据。

然而，于某些实施例中，色度被处理成完全相同于亮度，以供分配CBF旗标的目的。

CABAC编码及背景建模

图40概略地阐明CABAC熵编码器的操作。

CABAC编码器操作于二元数据，亦即，仅由两个符号0与1所代表的数据。编码器利用一种所谓的背景建模程序，其根据先前编码的数据以选择后续数据之「背景」或机率模型。背景的选择被执行以一种确定性方式，以致相同的决定（根据先前解码的数据）可被履行于该解码器上而无需进一步数据（指明该背景）被加至其传递至该解码器的已编码数据流。

参考图40，待编码输入数据可被传递至二元转换器1900（假如其尚未于二元形式）；假如该数据已于二元形式，则转换器1900被旁通（由示意开关1910）。于目前实施例中，转换至二元形式藉由将量化的DCT（或其他频率分离的）系数数据表达为一连串二元「映图」而被实际执行，其将被进一步描述于下。

二元数据接着可由两处理路径之一所处理：「一般」及「旁通」路径（其被概略地显示为分离的路径，但于以下所讨论之本公开的实施例中，其可实际上由相同的处理阶段来实施，仅使用稍微不同的参数）。旁通路径利用一种所谓的旁通编码器1920，其不一定利用以如一般路径的相同形式的背景模拟。于CABAC编码的某些范例中，假如有需要特别快速地处理一批次数据时则可选择此旁通路径，但于目前实施例中，注意到所谓的「旁通」数据之两个特征：第一，旁通数据由CABAC编码器（1950、1960）所处理，仅使用一代表50％机率之固定背景模型；及第二，旁通数据有关数据之某些类别，一特别的范例为系数符号数据。否则，一般路径由示意开关1930、1940所选择。此涉及由背景建模器（context modeller）1950（接续以编码引擎1960）所处理的数据。

图40中所示的熵编码器将数据（亦即，例如，相应于有关残留图像的区块的系数的区块的数据）的区块编码为单一值，假如该区块完全由零值数据所形成时。针对非落入此类别的各区块，亦即，含有至少某些非零数据区块，准备「重要性映图」。重要性映图指示（针对待编码的数据的区块中的各位置）该区块中的相应系数是否为非零的。重要性映图数据（其为二元形式）为本身CABAC编码的。重要性映图之使用以压缩来协助，因为无任何数据需针对一具有其重要性映图指示为零之大小的系数来被编码。同时，重要性映图可包括一用以指示区块中的最终非零系数的特殊码，以致所有最终高频/落后零系数可被省略自编码。重要性映图被接续（于已编码比特流中）以其限定由重要性映图所指明之非零系数的值之数据。

映图数据的进一步等级亦被准备且被CABAC编码。一范例为一映图，其由二元值（1＝是，0＝否）限定于其重要性映图已指示为「非零」的映图位置上的系数数据是否实际上具有「一」的值。另一映图指明于其重要性映图已指示为「非零」的映图位置上的系数数据是否实际上具有「二」的值。进一步映图（针对那些其中重要性映图已指示其系数数据为「非零」的映图位置）指示该数据是否具有「大于二」的值。另一映图（再次针对识别为「非零」的数据）指示数据值之符号（使用预定的二元标号，诸如针对+为1、针对-为0，或当然反之亦可）。

于本公开的实施例中，重要性映图及其他映图被产生自量化的DCT系数，例如由扫描单元360，并接受锯齿扫描程序（或一种选自那些以上所讨论者的扫描程序），在接受CABAC编码之前。

一般而言，CABAC编码涉及针对待编码的下一位预测背景、或机率模型，根据其他先前编码的数据。假如下一位相同于由机率模型所识别为「最可能」的位，则其「下一位符合机率模型」的信息的编码可被编码以极佳的效率。较无效率的是编码其「下一位不符合机率模型」，因此背景数据之取得对于编码器之良好操作是重要的。术语「调适性」指的是背景或机率模型被调适、或改变于编码期间，以尝试提供与（如仍未编码者）下一数据的良好匹配。

使用简单的模拟，于所书写的英文语言中，字母「U」是相对不常见的。但于紧接在字母「Q」之后的字母位置中，则确实为极常见的。因此，机率模型可将「U」之机率设为极低的值，但假如当前字母为「Q」，则针对「U」为下一字母的机率模型可被设为极高的机率值。

于本配置中，CABAC编码被使用于至少重要性映图及其指示非零值为一或二的映图。旁通处理─其于这些配置中相同于CABAC编码，但针对其机率模型被固定于1与0的相等（0.5：0.5）机率分布上的事实，被用于至少符号数据及指示值是否>2的映图。针对那些识别为>2的数据位置，一分离的所谓逃脱数据编码可被使用以编码数据的实际值。此可包括Golomb-Rice编码方案。

CABAC背景建模及编码程序被更详细地描述于WD4：Working Draft 4 of High-Efficiency Video Coding, JCTVC-F803_d5, Draft ISO/IEC 23008-HEVC; 201x(E)2011-10-28。

背景变量被重设于处理一片的结束时。

现在将参考一种视频数据编码的方法，包括：从其他各自的参考样本或值预测一图像的亮度及/或色彩样本的区块；检测介于一区块中的样本与各自的预测的样本之间的差异；频率分离关于各区块的测得差异以产生频率分离系数的相应数组，其依据由系数所代表之递增空间频率来排列；及使用背景调适性算术码以熵编码这些频率分离系数，该背景调适性算术码将关于其指示具有特定系数值的系数的机率的背景变量的系数编码；其中熵编码步骤包括：将各数组分割为两个以上系数群，这些群为非方形子数组；及选择一背景变量以编码一系数，其依据由该系数所代表的空间频率并根据于该数组中或者于一相应于样本的相邻区块的数组中的系数的一个以上邻近群中的系数的值。

此有时已知为邻近背景变量分配，其容许对于系数位置的背景变量的分配型态被设于一子数组上，以依据是否有任何非零系数于邻近子数组中之子数组基础（子数组为系统的区块的部分）。配合频率分离数据的使用所选择的扫描型态可为相关的，以致熵编码步骤包括依一顺序来编码一数组的系数，该顺序取决于一选自一组一个以上候选扫描型态的扫描型态。系数的各子数组可被视为一连续组的n系数，依其由可应用于该数组的扫描型态所限定的顺序，其中n为该数组中的系数数目的整数因子。例如，n可为16。

图41A至41D概略地阐明先前所提议的邻近配置的情况。

于本公开的实施例中，选择步骤将一群中的系数分配给一组候选背景变数之一以致（于各群中）依扫描顺序的连续子集的系数被分配给候选背景变量之各自的一者。于图42A至43B所示的范例中，使用垂直扫描顺序并以该顺序进行分配。于图44中，使用水平扫描顺序并以该顺序进行分配。

如前所述，选择步骤根据邻近系数是否具有零值。针对各群系数可能有两个候选背景变量。

现在回到图42A、42B、43B、43B及44，所示的图式的格式为这些系数被排列于一数组内，以致水平空间频率于该数组中从左至右增加而垂直空间频率于一数组中从顶部至底部增加。

针对如何处理遗失数据（例如，于图片或片的边缘上的数据、或尚未被编码的数据）有两个选择。于一选择中（图42A），假如一当前群附近的一群系数尚未被频率分离，则选择步骤将零指定给该群以供选择该当前群中之一系数的背景变量的目的。于另一选择中（图42B），假如一当前群附近的一第一群系数尚未被频率分离，但一当前群附近的一第二群已被频率分离，则选择将该第二群的值指定给该第一群以供选择该当前群中的一系数的背景变量的目的。

参考图42A至42B，假如当前群的右边及底下的两群均含有非零系数数据，则一背景变量藉由选择步骤而被分配给依扫描顺序的该当前群的前m个系数，而另一背景变数被分配给该当前群之剩余系数。假如当前群的右边的群具有非零数据但当前群之底下的群没有，则一背景变量藉由选择步骤而被分配给该当前群的上半部，而另一背景变数被分配给该当前群之剩余系数。假如当前群之底下的群具有非零数据但当前群的右边的群没有，则一背景变量藉由选择步骤而被分配给依扫描顺序的该当前群的前p个系数，而另一背景变数被分配给该当前群之剩余系数。假如当前群之底下的群具有非零数据但当前群的右边的群没有，则一背景变量藉由选择步骤而被分配给该当前群的左半部，而另一背景变数被分配给该当前群之剩余系数。于所示的范例中，m及p为整数，且m不等于p。特别地，于所示的范例中，当前群包括8×2或2×8系数之子数组；且m = 13及p = 6。

所示的方法可应用于其具有至少8个样本的尺寸于至少一维的样本的区块。一范例为8×8区块或更大。

无论至少某些样本的区块（TU）是否为方形或至少某些样本的区块（TU）是否为非方形，此技术均为可用的。

现在参考图45，本公开的实施例亦提供一种视频数据编码的方法，包括：从其他各自的参考样本或值预测一图像的亮度及/或色彩样本的区块；检测介于一区块中的样本与各自的预测的样本之间的差异；频率分离关于各区块的测得差异以产生频率分离系数的相应数组，其依据由系数所代表之递增空间频率来排列，这些系数之一代表该区块的一dc值；及使用背景调适性算术码以熵编码这些频率分离系数，该背景调适性算术码将关于其指示具有特定系数值的系数的机率的背景变量的系数编码；其中熵编码步骤包括：将各数组分割为两个以上系数群，这些群为非方形子数组；及产生背景变量的分配以将依据由该系数所代表之这些空间频率而关于非方形子数组所产生的各自的系数编码，藉由位置重复其可应用于方形子数组的这些背景变量分配，但不位置重复其对于该dc系数的背景变量的分配。如图45中所示，针对8×16子数组之分配型态为从8×8子数组分配型态所取得的值重复的型态，但dc分配（如所示的左上角落）不是值重复的。换言之，分配给dc系数的背景变量未被分配给任何其他系数。

数据信号

应理解其由以上讨论的编码设备的变异所产生的数据信号（及携载此类信号之储存或传输媒体）被视为代表本公开的实施例。

虽然以上讨论了处理、编码或解码的方法，应理解其被配置为履行此类方法的设备亦被考虑以代表本公开的实施例。亦应理解其结合此类技术的视频储存、传输、撷取及/或显示设备被视为代表本公开的实施例。

在本公开的实施例已被描述为（至少部分地）由软件控制的数据处理设备所实施的范围内，应理解其携载此类软件（诸如光盘、磁盘、半导体内存等）亦被视为代表本公开的实施例。

很清楚的本公开的各种修改及变异根据上述教导是可能的。因此应了解在后附申请专利范围的范围内，此技术可被实行以如文中所明确描述者之外的方式。

各个实施例由下列标号的条款限定：

1.一种视频解码方法，其中，亮度样本及色彩样本依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；

所述方法包括：

针对一组当前待预测样本检测一相关于第一宽高比的第一栅格而限定的第一预测方向；及

将方向映射应用于所述预测方向以产生相关于不同宽高比的第二栅格而限定的第二预测方向。

2.根据条款1所述的方法，其中，第一预测方向针对亮度样本或色彩样本的一个的样本位置而被限定，以及第二预测方向针对亮度样本或色彩样本的另一个而被限定。

3.根据条款1所述的方法，其中，所述参考样本为从与所述待预测样本相同的各自的图像的样本。

4.根据条款1至3中任一项所述的方法，其中：

所述第一预测方向针对包括当前亮度样本的亮度样本的方形区块而被限定；及

所述第二预测方向针对包括当前色彩样本的色彩样本的矩形区块而被限定。

5.根据前述任一项条款所述的方法，其中，所述色彩样本包括第一色彩成分及第二色彩成分的样本，并且所述方法包括：

针对所述第一色彩成分应用所述方向映射步骤；

针对所述第二色彩成分提供不同的预测模式。

6.根据条款5所述的方法，包括：

提供不同的各自的预测模式给所述亮度成分及所述色彩成分的每一个。

7.根据条款5或6所述的方法，其中，一不同的预测模式包括一模式，所述第二色彩成分的样本藉由所述模式而被预测自所述第一色彩成分的样本。

8.根据条款6所述的方法，其中，所述第一色彩成分为Cb成分，而所述第二色彩成分为Cr成分。

9.根据前述任一项条款所述的方法，包括过滤参考取样的步骤。

10.根据前述任一项条款所述的方法，包括提供所述亮度样本及所述色彩样本为4：2：2格式视频信号的步骤。

11.根据前述任一项条款所述的方法，其中，应用所述方向映射的所述步骤包括下列步骤：

（i）依据亮度方向以取得内预测角度步进和其反向；

（ii）假如亮度方向是明显垂直的，则将内预测角度步进减半并将其反向加倍；及

（iii）或者，假如亮度方向是明显水平的，则将内预测角度步进加倍并将其反向减半。

12.一种视频编码或解码方法，其中，亮度成分样本及第一色彩成分样本和第二色彩成分样本依据与一待预测样本关联的预测模式而被从其他各自的取样预测，所述方法包括从所述第一色彩成分的样本预测所述第二色彩成分的样本。

13.一种视频编码或解码方法，其中，亮度成分样本及第一色彩成分样本和第二色彩成分样本依据与一待预测样本关联的预测模式而被从其他各自的取样预测，所述方法包括过滤参考样本的步骤。

14.一种视频编码或解码方法，其中，图像的亮度样本及色彩样本依据一关联于待预测样本的预测方向而被预测自从相同图像所取得的其他各自的参考样本，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比，所述色彩样本代表第一色彩成分及第二色彩成分；

所述方法包括：

选择一预测模式，其限定用以预测所述第一色彩成分的当前色彩样本的一个以上参考样本或值的选择；及

选择一不同的预测模式，其限定用以预测所述第二色彩成分的当前色彩样本的一个以上参考样本或值的不同选择，所述第二色彩成分的当前色彩样本与所述第一色彩成分的当前色彩样本共同放置。

15.一种视频编码或解码方法，其中，亮度样本及色彩样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；所述方法包括：

根据宽高比的差异以将一不同的各自的预测算法应用于所述亮度样本及所述色彩样本。

16.一种计算机软件，当由计算机执行时所述计算机软件使所述计算机执行依据前述条款中任一项所述的方法。

17.一种机器可读式非暂时性存储媒体，其储存依据条款16所述的软件。

18.一种数据信号，其包括依据条款1至15中任一项所述的方法所产生的编码数据。

19.一种视频编码或解码设备，其中，亮度样本及色彩样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；

所述设备包括：

检测器，被配置为针对一组当前待预测样本检测一相关于第一宽高比的栅格而限定的第一预测方向；及

方向映射器，被配置为针对一组当前待预测样本将方向映射应用于所述预测方向以产生相关于不同宽高比的栅格而限定的第二预测方向。

20.一种视频编码或解码设备，其中，图像的亮度样本及色彩样本依据一关联于待预测样本的预测方向而被预测自从相同图像所取得的其他各自的参考样本，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比，所述色彩样本代表第一色彩成分及第二色彩成分；

所述设备包括：

选择器，被配置为选择限定用以预测所述第一色彩成分的当前色彩样本的一个以上参考样本的选择的一预测模式；及选择限定用以预测所述第二色彩成分的一个以上参考样本的不同选择的一不同的预测模式，所述第二色彩成分的当前色彩样本与所述第一色彩成分的当前色彩样本共同放置。

21.一种视频编码或解码设备，其中，亮度样本及色彩样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；所述设备包括：

预测器，被配置为根据宽高比的差异以将一不同的各自的预测算法应用于所述亮度样本及所述色彩样本。

22.一种视频编码或解码设备，其中，亮度成分样本及第一色彩成分样本和第二色彩成分样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，所述设备包括被配置为从所述第一色彩成分的样本预测所述第二色彩成分的样本的预测器。

23.一种视频编码或编码设备，其中，亮度样本及色彩样本依据一关联于待预测样本的预测方向而被从其他各自的参考样本预测，所述设备包括被配置为过滤参考样本的过滤器。

Claims (38)

1.一种视频解码方法，其中：

4:2:2格式视频信号的亮度样本及色彩样本依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；

所述视频解码方法还包括：

针对一组当前待预测样本，通过电路检测一相关于第一宽高比的第一栅格而限定的第一预测方向；及

将方向映射应用于所述预测方向以产生相关于不同宽高比的第二栅格而限定的第二预测方向，

其中，用以检测所述第一预测方向的所述第一栅格针对亮度样本的样本位置而被限定，以及用以产生所述第二预测方向的所述第二栅格针对色彩样本的样本位置而被限定。

2.根据权利要求1所述的视频解码方法，其中，所述预测方向为内预测方向，而所述参考样本为从与所述待预测样本相同的各自的图像被取得的样本。

3.根据权利要求1所述的视频解码方法，其中：

所述第一预测方向针对包括当前亮度样本的亮度样本的方形区块而被限定；及

所述第二预测方向针对包括当前色彩样本的色彩样本的形成方形的一半的矩形区块而被限定。

4.根据权利要求1所述的视频解码方法，其中，所述色彩样本包括第一色彩成分及第二色彩成分的样本，并且所述视频解码方法包括：

针对所述第一色彩成分应用所述方向映射的步骤；

针对所述第二色彩成分提供不同的预测模式，并且

其中，一不同的预测模式包括一模式，所述第二色彩成分的样本藉由所述模式而被预测自所述第一色彩成分的样本。

5.根据权利要求1所述的视频解码方法，其中，所述色彩样本包括第一色彩成分及第二色彩成分的样本，并且所述视频解码方法包括：

针对所述第一色彩成分应用所述方向映射的步骤；

针对所述第二色彩成分提供不同的预测模式，并且

其中，所述第一色彩成分为Cb成分，而所述第二色彩成分为Cr成分。

6.根据前述权利要求中任一项所述的视频解码方法，其中，所述预测方向限定相对于一群候选参考样本的样本位置，所述群候选参考样本包括各自地配置于所述组当前待预测样本的上方及左边的水平行及垂直列的样本。

7.根据权利要求2所述的视频解码方法，其中，当所述视频解码方法被应用到4:2:0格式视频信号时，内预测以与所述4:2:2格式视频信号不同的方式限定。

8.根据权利要求7所述的视频解码方法，其中，4:2:0格式视频信号的内预测是相对于方形宽高比的栅格限定的。

9.一种视频编码方法，其中：

亮度样本及色彩样本依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；

所述视频编码方法包括：

提供所述亮度样本和所述色彩样本作为4:2:2格式视频信号；

针对一组当前待预测样本，通过电路检测一相关于第一宽高比的第一栅格而限定的第一预测方向；及

将方向映射应用于所述预测方向以产生相关于不同宽高比的第二栅格而限定的第二预测方向，

其中，用以检测所述第一预测方向的所述第一栅格针对亮度样本的样本位置而被限定，以及用以产生所述第二预测方向的所述第二栅格针对色彩样本的样本位置而被限定。

10.一种非暂时性计算机可读媒体，其包括计算机程序指令，当所述计算机程序指令被计算机执行时，使所述计算机执行根据权利要求1所述的视频解码方法。

11.一种非暂时性计算机可读媒体，其包括计算机程序指令，当所述计算机程序指令被计算机执行时，使所述计算机执行根据权利要求9所述的视频编码方法。

12.一种视频解码设备，包括电路，所述电路被配置为：

处理4:2:2格式视频信号的亮度样本及色彩样本，所述亮度样本及所述色彩样本是通过电路依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测的，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；

针对一组当前待预测样本检测一相关于第一宽高比的第一栅格而限定的第一预测方向；及

将方向映射应用于所述预测方向以产生相关于不同宽高比的第二栅格而限定的第二预测方向，

其中，用以检测所述第一预测方向的所述第一栅格针对亮度样本的样本位置而被限定，以及用以产生所述第二预测方向的所述第二栅格针对色彩样本的样本位置而被限定。

13.根据权利要求12所述的视频解码设备，其中，所述预测方向为内预测方向，而所述参考样本为从与所述待预测样本相同的各自的图像被取得的样本。

14.根据权利要求13所述的视频解码设备，其中，当4:2:0格式视频信号的亮度样本及色彩样本被从其他各自的参考样本预测时，内预测以与所述4:2:2格式视频信号不同的方式限定。

15.根据权利要求14所述的视频解码设备，其中，4:2:0格式视频信号的内预测是相对于方形宽高比的栅格限定的。

16.一种视频编码设备，包括电路，所述电路被配置为：

处理亮度样本及色彩样本，所述亮度样本及所述色彩样本是依据一关联于当前待预测样本的预测方向而被从其他各自的参考样本预测的，所述色彩样本具有较所述亮度样本更低的水平及/或垂直取样率，以致亮度水平分辨率相对于色彩水平分辨率之比不同于亮度垂直分辨率相对于色彩垂直分辨率之比，以致亮度样本的一区块具有与色彩样本的相应区块不同的宽高比；

接收所述亮度样本和所述色彩样本作为4:2:2格式视频信号；

针对一组当前待预测样本检测一相关于第一宽高比的第一栅格而限定的第一预测方向；及

将方向映射应用于所述预测方向以产生相关于不同宽高比的第二栅格而限定的第二预测方向，

其中，用以检测所述第一预测方向的所述第一栅格针对亮度样本的样本位置而被限定，以及用以产生所述第二预测方向的所述第二栅格针对色彩样本的样本位置而被限定。

17.一种视频捕获设备，包括视频压缩电路、显示器、以及根据权利要求12所述的视频解码设备，所述视频捕获设备被配置为将解码的视频输出至所述显示器。

18.一种视频捕获设备，包括图像传感器和根据权利要求16所述的视频编码设备。

19.一种视频接收器，包括根据权利要求12所述的视频解码设备。

20.一种视频解码方法，用于解码4:2:0和4:2:2格式视频信号，所述视频信号包括从相同图像取得的其他参考样本预测的亮度样本及色彩样本，所解码的亮度样本及色彩样本要从所述相同图像预测，其中：

对于4:2:0格式视频信号，从各个参考样本取得的亮度样本及色彩样本的预测基于在方形的对角线一半的180度的范围内具有预测方向的角度预测模式；并且

对于4:2:2格式视频信号，从参考样本取得的亮度样本的预测基于在方形的对角线一半的180度的范围内具有预测方向的角度预测模式，并且从参考样本取得的色彩样本的预测模式与第一宽高比的栅格相关，方向映射被应用至所述与第一宽高比的栅格以生成与不同的第二宽高比的栅格相关的、修改所述色彩样本的预测模式第二预测模式，

其中，对于4:2:2格式视频信号，与所述第一宽高比的栅格相关的预测模式用于预测一组样本的亮度样本，并且所述第二预测模式用于预测该组样本的色彩样本。

21.根据权利要求20所述的视频解码方法，其中，所述第一宽高比的栅格是相对于亮度样本的方形区块限定的。

22.根据权利要求20或21所述的视频解码方法，其中，所述第二宽高比的栅格是相对于色彩样本的形成方形的一半的矩形区块限定的。

23.根据权利要求20或21中任一项所述的视频解码方法，其中，修改所述色彩样本的预测模式是修改所述色彩样本的预测方向。

24.根据权利要求23所述的视频解码方法，其中，所述预测模式的修改降低了至少一些色彩样本的预测方向的角度。

25.根据权利要求20或21中任一项所述的视频解码方法，其中，对于4:2:0和4:2:2格式视频信号，从其他参考样本的预测还包括使用非方向性模式的预测。

26.根据权利要求20或21中任一项所述的视频解码方法，其中，所述预测方向限定相对于一群候选参考样本的样本位置，所述一群候选参考样本包括分别布置在待预测的当前一组样本的上方及左侧的水平行及垂直列的样本。

27.根据权利要求20或21中任一项所述的视频解码方法，其中，应用所述方向映射的步骤包括使用与所述第一宽高比的栅格相关的预测模式以索引查询表，所述查询表向所述第二预测模式提供对应值。

28.一种非暂时性计算机可读媒体，包括计算机程序指令，当所述计算机程序指令由计算机执行时，使所述计算机执行根据权利要求20至27中任一项所述的方法。

29.一种视频解码装置，用于解码4:2:0和4:2:2格式视频信号，所述视频信号包括从相同图像取得的其他参考样本预测的亮度样本及色彩样本，所解码的亮度样本及色彩样本要从所述相同图像预测，所述装置包括：

检测器，被配置为对于4:2:0格式视频信号检测基于在方形的对角线一半的180度的范围内具有预测方向的角度预测模式的从各个参考样本取得的亮度样本及色彩样本的预测；并且其中，

所述检测器被配置为对于4:2:2格式视频信号检测基于在方形的对角线一半的180度的范围内具有预测方向的角度预测模式的从参考样本取得的亮度样本的预测，并且从参考样本取得的色彩样本的预测模式与第一宽高比的栅格相关，方向映射被方向映射器应用至所述与第一宽高比的栅格以生成与不同的第二宽高比的栅格相关的、修改所述色彩样本的预测模式第二预测模式，

其中，对于4:2:2格式视频信号，与所述第一宽高比的栅格相关的预测模式用于预测一组样本的亮度样本，并且所述第二预测模式用于预测该组样本的色彩样本。

30.根据权利要求29所述的视频解码装置，其中，所述第一宽高比的栅格是相对于亮度样本的方形区块限定的。

31.根据权利要求29或30所述的视频解码装置，其中，所述第二宽高比的栅格是相对于色彩样本的形成方形的一半的矩形区块限定的。

32.根据权利要求29或30中任一项所述的视频解码装置，其中，修改所述色彩样本的预测模式是修改所述色彩样本的预测方向。

33.根据权利要求32所述的视频解码装置，其中，所述预测模式的修改降低了至少一些色彩样本的预测方向的角度。

34.根据权利要求29或30中任一项所述的视频解码装置，其中，对于4:2:0和4:2:2格式视频信号，从其他参考样本的预测还包括使用非方向性模式的预测。

35.根据权利要求29或30中任一项所述的视频解码装置，其中，所述预测方向限定相对于一群候选参考样本的样本位置，所述一群候选参考样本包括分别布置在待预测的当前一组样本的上方及左侧的水平行及垂直列的样本。

36.根据权利要求29或30中任一项所述的视频解码装置，其中，所述方向映射器使用与所述第一宽高比的栅格相关的预测模式以索引查询表，所述查询表向所述第二预测模式提供对应值。

37.视频接收器装置，包括根据权利要求29至36中任一项所述的视频解码装置。

38.视频捕获装置，包括图像传感器、视频编码器和显示器以及根据权利要求29至36中任一项所述的视频解码装置，其中，所解码的视频信号通过所述显示器输出。

Images