CN107734330A - 视频译码方法和设备、视频编码方法和设备与储存介质 - Google Patents

Abstract

本发明涉及视频译码方法和设备、视频编码方法和设备与储存介质。一种用于译码表示预测间视频的信号的方法，包括：通过利用插补滤波器垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以具有相同有效的分辨率，并且通过选择由插补滤波器生成的插补的取样的子集来获得相同有效的分辨率。

Description

视频译码方法和设备、视频编码方法和设备与储存介质

本申请是申请日为2013年4月26日，申请号为2013800224237(国际申请号PCT/GB2013/051076)，发明创造名称为“产生用于不同的颜色取样格式的子像素值”的发明专利申请的分案申请。

相关申请的交叉引用

本申请案分别主张2012年6月22日、2012年6月22日及2012年4月26日在英国知识产权局所申请之GB 1211072.2、GB 1211073.0及GB 1207459.7的在先申请日期之权益，该等申请案的全部内容是结合于本文以参考。

技术领域

此发明涉及数据编码及译码。

背景技术

在此所提供的〝背景〞说明系用于一般性地呈现本发明的背景之目的。在此背景段落，以及在申请时可能不被认定为现有技术的说明观点中所述范围内之目前所指名发明人的著述，并未被明确地或暗示地认可做为相对本发明之现有技术。

存在有若干视频数据编码及译码系统，其转换视频数据成为频域表示、量化频域系数、且然后施加某一形式的熵编码至所量化的系数。此可达成视频数据的压缩。对应之译码或解压缩系施加用以恢复原始视频数据的重现型式。

诸如使用于H.264/MPEG-4先进视频编码(AVC)中之该视频编码译码器的现行视频编码译码器(编码器-译码器)主要通过仅编码连续视频帧间之差异，而达成数据压缩。该编码译码器使用所谓巨区块之规则性数组，其各者系使用做为与前一视频帧中的对应巨区块之比较的区域，且然后，在巨区块内的影像区系依据视频顺序中之对应的目前及前一巨区块间，或视频顺序中之单一帧内的邻接巨区块间所发现之移动的程度，而予以编码。

亦公知为H.265或MPEG-H第二部之高效率视频编码(HEVC)系针对H.264/MPEG-4AVC所提议的接任者。对于HEVC而言，其系打算要相较于H.264而增进视频质量及使数据压缩比加倍，且要变成可自128×96缩放至7680×4320像素分辨率，而约略等效于范围自128k位/秒至800M位/秒的比特率。

在HEVC中，所谓4:2:0区块结构系提出用于顾客装备，其中使用于各彩色频道中之数据量系亮度频道中之数据量的四分之一。此系因为，在主观上，人类对亮度变化比对彩色变化更灵敏，且因此，可使用更大的压缩及/或更少的信息于彩色频道中，而无质量之主观上的损失。

HEVC根据可变尺寸结构之编码单元(CU)而以更挠性的方案，取代现有H.264及MPEG中所出现的巨区块。

因此，当编码视频帧之中的影像数据时，则可响应外观的影像复杂度或所侦测的移动位准而选择CU尺寸，以取代使用均匀分布的巨区块。因而，可在具有很少移动于帧间及具有很少变化于帧内之区域中获得极大的压缩，而在高的帧间移动或影像复杂度之区域中保存较佳的影像质量。

各CU包含图像内或图像间预测类型之一或多个可变区块尺寸预测单元(PU)及一或多个转换单元(TU)，该转换单元(TU)包含用于空间区块转换及量化的系数。

此外，PU及TU系提供用于三个频道之各者；亮度(Y)，系光亮度或亮度频道，且其可被视为灰度频道，以及两个色差或色度(彩色)频道；Cb及Cr，该频道提供彩色以供亮度频道的灰度频道之用。光亮度及亮度(Y)之用语系可互换地使用于此说明中，且同样地，色度及彩色(Cb及Cr)之用语亦可予以适当互换地使用，注意的是，色度或彩色可统称地使用于〝Cr及Cb的其中一者或二者〞，而当特定的色度频道正被讨论时，则其将通过Cb或Cr之用语而予以辨识。

通常，PU系视为频道独立的，除了PU具有亮度部件及彩色部件之外。大致地，此意指的是，用于各频道之PU的取样形成部件表示影像的相同区域，以致使三个频道间的PU之间具有固定的关系。例如，对于4:2:0视频，用于亮度之8×8PU一直具有用于彩色之4×4PU，而PU的彩色部件表示与亮度部件相同的区域，但因为相较于4:2:0视频中的亮度资料之4:2:0彩色数据的子取样性质而包含较少数目的像素。(在4:4:4中，采样率系相同的，且因此，可使用相同的PU结构于亮度及彩色取样)。该两个彩色频道分享预测内信息；且该三个频道分享预测间信息。同样地，TU结构亦具有固定的关系于该三个频道之间。

然而，对于职业广播及数字电影装备而言，在彩色频道中具有更少的压缩(或更多的信息)系所欲的，且此可影响到目前的及所提议之HEVC的处理如何操作。

发明内容

本发明解决或减轻由此处理所产生的问题。

一种用于译码表示预测间视频的信号的方法，包括：通过利用插补滤波器垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，并且通过选择由所述插补滤波器生成的插补的取样的子集来获得所述相同有效的分辨率。

一种用于译码表示预测间视频的信号的视频译码设备，包括：插补滤波器，被配置为通过垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，所述视频译码设备进一步被配置为通过选择垂直插补的取样的子集来获得所述相同有效的分辨率。

一种用于编码表示预测间视频的信号的方法，包括：通过利用插补滤波器垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，并且通过选择由所述插补滤波器生成的插补的取样的子集来获得所述相同有效的分辨率。

一种用于编码表示预测间视频的信号的视频编码设备，包括：插补滤波器，被配置为通过垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，视频译码设备进一步被配置为通过选择垂直插补的取样的子集来获得所述相同有效的分辨率。

一种计算机可读取之非瞬时储存介质，储存计算机软件，所述计算机软件在由计算机执行时，使所述计算机执行以上所述方法之一。

一种视频译码设备，关于空间频率数据的区块进行操作，以通过应用生成相对于将由所述空间频率数据的区块的常态化频率转换所产生的视频数据取样而各自地缩放共同缩放因子的视频数据取样的区块的频率转换来执行频率转换，并且根据量化步阶尺寸进行解量化，所述视频译码设备包括：移位器，被配置为施加n位偏移以将由所述视频译码设备处理的数据除以2ⁿ的因子，其中，n是整数；检测器，被配置为检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；数据修正器，被配置为根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；乘法器，被配置为将用于解量化的各数据取样乘以取决于所述修正的量化步阶尺寸的值；以及频率转换器，用以应用所述频率转换。

一种视频编码设备，可操作为通过对视频数据取样的区块执行频率转换而产生空间频率数据的区块并且根据所选择的量化步阶尺寸进行量化，所述视频编码设备包括：频率转换器，被配置为频率转换视频数据取样的区块以产生空间频率系数的区块，所述空间频率系数相对于将由所述视频数据取样的区块的常态化频率转换所产生的空间频率系数而各自地缩放共同缩放因子；选择器，被配置为选择用于量化的量化步阶尺寸；移位器，被配置为施加n位偏移以除以2ⁿ的因子，其中，n是整数；检测器，被配置为检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；数据修正器，被配置为根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；以及除法器，被配置为将用于量化的各数据值除以取决于所述修正的量化步阶尺寸的值并且将结果四舍五入为整数值。

一种视频译码方法，关于空间频率数据的区块进行操作，以通过应用生成相对于将由所述空间频率数据的区块的常态化频率转换所产生的视频数据取样而各自地缩放共同缩放因子的视频数据取样的区块的频率转换来执行频率转换，并且根据量化步阶尺寸进行解量化，所述视频译码方法包括：施加n位偏移以将处理的数据除以2ⁿ的因子，其中，n是整数；检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；将用于解量化的各数据取样乘以取决于所述修正的量化步阶尺寸的值；并且应用所述频率转换。

一种视频编码方法，可操作为：通过对视频数据取样的区块执行频率转换以产生空间频率系数从而产生空间频率数据的区块，所述空间频率系数相对于将由所述视频数据取样的区块的常态化频率转换所产生的系数而各自地缩放共同缩放因子；并且根据选择的量化步阶尺寸进行量化，所述视频编码方法包括：频率转换视频数据取样的区块；选择用于量化的量化步阶尺寸；施加n位偏移以除以2ⁿ的因子，其中，n是整数；检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；并且将用于量化的各个数据值除以取决于所述修正的量化步阶尺寸的值并且将结果四舍五入为整数值。

一种机器可读非临时性储存介质，储存有计算机软件，所述计算机软件在由计算机执行时，使得所述计算机实施以上所述的方法之一。

将了解的是，上述概括说明及下文详细说明系代表性的，且并未限制本技术。

附图说明

本发明之更完整的理解及其许多伴随的优点将通过参照详细说明而立即获得，因为当连同附图一起考虑时，其将变成被优选地了解，其中：

图1概略地描绘使用视频数据压缩及解压缩之音频/视频(A/V)数据传输及接收系统；

图2概略地描绘使用视频资料解压缩之视频显示系统；

图3概略地描绘使用视频数据压缩及解压缩之音频/视频储存系统；

图4概略地描绘使用视频数据压缩之摄影机；

图5提供视频数据压缩及解压缩设备的概略总览；

图6概略地描绘预测影像的产生；

图7概略地描绘最大编码单元(LCU)；

图8概略地描绘四个编码单元(CU)之组；

图9及图10概略地描绘被细分为较小编码单元之图8的该单元；

图11概略地描绘预测单元(PU)之数组；

图12概略地描绘转换单元(TU)之数组；

图13概略地描绘部分编码的影像；

图14概略地描绘一组可能的内预测方向；

图15概略地描绘一组预测模式；

图16概略地描绘右上方对角线扫描；

图17概略地描绘视频压缩设备；

图18A和图18B概略地描绘可能的区块尺寸；

图19概略地描绘来自彩色及亮度区块的协同定位之信息的使用；

图20概略地描绘其中来自一彩色频道的协同定位之信息系相对于另一彩色频道而使用的情势；

图21概略地描绘使用于LM-CHROMA模式之像素；

图22概略地描绘一组亮度预测方向；

图23概略地描绘当被施加至水平稀疏彩色频道时之图22的方向；

图24概略地描绘被映像至矩形彩色像素数组之图22的方向；

图25至图28概略地描绘亮度及彩色像素插补；

图29A和图29B概略地分别描绘用于4:2:0及4:2:2的量化参数表；以及

图30及图31概略地描绘量化变化表。

具体实施方式

现请参阅附图，图1至图4系提供用以给定将与本技术的实施例相关连而被叙述于下文之使用压缩及/或解压缩设备的设备或系统之概略图解。

在下文将被叙述之所有的数据压缩及/或解压缩设备可以以硬件、以运转于诸如通用型计算机之通用型数据处理设备上的软件，予以实施成为诸如应用特定集成电路(ASIC)或可场编程门阵列(FPGA)之可编程硬件或成为其结合。在其中实施例系由软件及/或固件所实施的情况中，将理解的是，该软件及/或固件、以及其中该软件及/或固件系通过其而予以储存或提供的非瞬时数据储存器，系视为本技术之实施例。

图1概略地描绘使用视频数据压缩及解压缩之音频/视频数据传输及接收系统。

输入的音频/视频信号10系供应至视频数据压缩设备20，其至少压缩音频/视频信号10的视频成分，以供沿着诸如电缆、光纤、无线链路、或其类似者之传输路由30的传输之用。所压缩的信号系由解压缩设备40所处理，用以提供输出的音频/视频信号50。对于返回路径而言，压缩设备60压缩音频/视频信号以供沿着对解压缩设备70之传输路由30的传输之用。

因此，压缩设备20及解压缩设备70可形成传输链路的一节点。解压缩设备40及解压缩设备60可形成该传输链路的另一节点。当然在其中传输链路系单向性的情况中，仅该节点的其中一者将需要压缩设备，且另一节点将仅需要解压缩设备。

图2概略地描绘使用视频资料解压缩的视频显示系统。特别地，压缩的音频/视频信号100系由解压缩设备110所处理，用以提供可被显示于显示器120上之解压缩的信号。可将解压缩设备110实施成为显示器120的必要部件，例如，设置于与显示设备相同的壳体内。选择性地，可将解压缩设备110设置成为(例如)所谓机顶盒(STB)，注意的是，〝机上〞的表示并不意指该盒需以相对于显示器120之任何特殊的取向或位置予以设置；其仅系使用于本项技艺中之用语，用以指示可连接至显示器做为周边装置的装置。

图3概略地描绘使用视频数据压缩及解压缩的音频/视频储存系统。输入的音频/视频信号130系施加至压缩设备140而产生压缩的信号，用于由储存装置150所储存，该储存装置150系例如，磁盘装置、光盘装置、磁带装置诸如半导体内存之固态储存装置、或其他储存装置。对于重放而言，压缩的数据系读取自储存装置150，且传递至解压缩设备160，以供解压缩之用，用以提供输出的音频/视频信号170。

将理解的是，压缩的或编码的信号及储存该信号的储存媒体系视为本技术之实施例。

图4概略地描绘使用视频数据压缩的摄影机。在图4中，诸如电荷耦合装置(CCD)影像传感器及相关联的控制以及读出电子装置的影像捕获装置180产生被传递至压缩设备190的视频信号。微音器(或复数个微音器)200产生将被传递至压缩设备190的音频信号。压缩设备190产生将被储存及/或传送(一般性地显示成为示意级220)之压缩的音频/视频信号210。

将被叙述于下文之技术主要关于视频数据压缩及解压缩。将理解的是，许多现有的技术可连同将被叙述的视频数据压缩技术，而予以使用于音频数据压缩，用以产生压缩的音频/视频信号。因而，将不提供音频数据压缩的个别讨论。而且，将理解的是，与视频数据，尤其与广播质量视频数据相关联的数据速率系通常极高于与音频数据相关联的数据速率(无论是否被压缩或未被压缩)。因此，将理解的是，未被压缩的音频数据可伴随压缩的视频数据，而形成压缩的音频/视频信号。进一步将理解的是，虽然该实例(在图1至图4中所示者)有关音频/视频资料，但将被叙述于下文的技术可发现单纯涉及视频数据之系统中的使用(也就是说，压缩、解压缩、储存、显示及/或传送)。换言之，实施例可应用至视频数据压缩，而丝毫无需具有任何相关联的音频数据处理。

图5提供视频数据压缩及解压缩设备的概略总览。

控制器343控制设备的全面操作，且特别地，当引用至压缩模式时，可通过扮演选择器的角色，用以选择诸如CU、PU、及TU区块尺寸之各种模式的操作，而控制尝试编码处理(将予以叙述于下)，且不论视频资料是否将被无损失地编码。

输入的视频信号300之连续影像系供应至加法器310且至影像预测器320。影像预测器320将参照图6而被更详细叙述于下文。事实上，加法器310执行减法(负的加法)运算，其中其接收输入的视频信号300于〝+〞输入上及影像预测器320的输出于〝-〞输入上，以致使预测的影像自输入的影像减法。结果在于产生所谓剩余影像信号330，而表示实际的及投影的影像间之差异。

何以产生剩余影像信号的一理由系如下。将被叙述的数据编码技术，亦即，将被施加至剩余影像信号的该技术易于当在将予以编码的影像中具有较少的〝能量〞时，更有效率地工作。在此，〝有效率地〞意指小量的编码数据之产生；对于特殊的影像质量位准，尽量少地产生实用的数据系所欲的(且视为〝有效率地〞)。对剩余影像中之〝能量〞的指示有关包含于剩余影像中之信息的总量。若预测的影像系将与真实的影像一致时，则在该两者之间的差异(也就是说，剩余影像)将包含零信息(零能量)，且将系很容易编码成为小量的编码数据。通常，若可使预测处理适当合理地工作时，则可预期的是，剩余影像数据将包含比输入的影像更少之信息(更少之能量)，且因此，将更容易编码成为小量的编码数据。

现将叙述扮演编码器角色之剩余设备(用以编码剩余或差异影像)。剩余影像数据330系供应至转换单元340，而产生该剩余影像数据的离散余弦转换(DCT)表示。DCT技术本身系公知的，且将不再予以详细叙述于此。然而，具有使用于本设备中之技术的观点，特别地，有关将施加DCT操作之资料的不同区块之选择，其将被更详细叙述于下文。将参照图7至图12而加以讨论该者于下文。

转换单元340的输出，亦即，用于影像数据之各转换区块的DCT系数之组系供应至量化器350。各种量化技术系公知于视频数据压缩的领域中，范围自通过量化缩放因子之简单的乘法至量化参数的控制下之复杂查表的应用。概括的目标有两部分。首先，量化处理降低所转换数据之可能的值之数目。其次，量化处理可增加所转换数据为零的可能性。该二者可使下文将被叙述之熵编码处理在产生小量的压缩视频资料中，更有效率地工作。

数据扫描处理系由扫描单元360所施加。扫描处理之目的在于记录量化的转换数据，以便尽量多地聚集非零量化的转换系数在一起，且因此，当然尽量多地聚集零值的系数在一起。该等特性可允许所谓运转长度编码或相似技术被有效率地施加。因此，扫描处理包含依据〝扫描顺序〞而自量化的转换数据，且特别地，自对应已被转换及量化之影像数据的区块之系数的区块，选择系数，以致使(a)所有的系数被选择一次做为扫描的一部分，以及(b)扫描易于提供所欲的记录。可易于给定有用结果之一实例的扫描顺序系所谓右上方对角线扫描顺序。

然后，将扫描的系数传递至熵编码器(EE)370。而且，可使用各种类型的熵编码。两个实例系所谓CABAC(上下文适应性二元算术编码)系统的变化例，及所谓CAVLC(上下文适应性可变长度编码)系统的变化例。在一般性的观点中，CABAC被认为提供较佳的效率，且在若干研究中，已显示在相较于CAVLC之用于可比较的影像质量之编码输出数据数量中提供10至20％的降低。然而，CAVLC系视为表示比CABAC极更低的复杂度位准(自其实施之角度)。注意的是，扫描处理及熵编码处理系显示为个别的处理，但实际上，可予以结合或在一起处理。也就是说，至熵编码器内的数据之读取可以以扫描顺序发生。对应考虑可施加至将被叙述于下文之个别的逆处理。注意的是，在申请专利时的考虑下之现时的HEVC文献不再包含CAVLC系数编码器的可能性。

熵编码器370的输出与例如，用以界定其中预测器320产生预测影像之方式的额外数据(上述及/或下文将讨论的)一起提供压缩的输出视频信号380。

然而，因为预测器320本身之操作根据压缩的输出数据之解压缩型式而定，所以亦设置返回路径。

用于此特性的理由系如下。在解压缩处理(将叙述于下文)中之适当的级处，系产生剩余数据的解压缩型式。此解压缩的剩余数据必须被添加至预测的影像，用以产生输出的影像(因为原始的剩余数据系输入的影像与预测的影像之间的差异)。为了要使此处理可比较，于压缩处理期间及解压缩处理期间，在压缩侧与解压缩侧间之由预测器320所产生的预测影像应系相同的。当然在解压缩时，设备不具有对原始的输入影像之存取，而是仅对解压缩的影像。因此，在压缩时，预测器320之其预测(至少，针对影像间之编码)系根据压缩影像的解压缩型式而定。

由熵编码器370所执行的熵编码处理被认为系〝无损失的〞，亦即，其可反转到达最先所供应至熵编码器370之真正相同的数据。因此，返回路径可在熵编码级之前，予以实施。实际上，由扫描单元360所执行的扫描处理亦系视为无损失的，但在本实施例中，返回路径390系自量化器350的输出至互补之逆量化器420的输入。

在一般性的观点中，熵译码器410、逆扫描单元400、逆量化器420、及逆转换单元430提供熵编码器370、扫描单元360、量化器350、及转换单元340之个别的逆功能。现将透过压缩处理而继续讨论；用以解压缩输入的压缩视频信号之处理将分别讨论于下文。

在压缩处理中，扫描的系数系通过返回路径390而自量化器350传递至逆量化器420，而执行扫描单元360的逆操作。逆量化及逆转换处理系由单元420、430所执行，用以产生压缩解压缩的剩余影像信号440。

影像信号440系在加法器450添加至预测器320的输出，用以产生重现的输出影像460。此形成对影像预测器320的一输入，如下文将叙述地。

现将转至用以解压缩接收的压缩视频信号470所施加之处理，在通过加法器450而被添加至影像预测器320的输出之前，该信号系供应至熵译码器410且自该处至逆扫描单元400、逆量化器420、及逆转换单元430的链路。因此，在译码器侧，译码器重现剩余影像的型式，且然后，施加此(通过加法器450)至影像的预测型式(一区块一区块地为基础)，以便解碼各区块。在直接观点中，加法器450的输出460形成输出的解压缩视频信号480。实用上，可在输出该信号之前，施加进一步的滤波。

因此，图5及图6之设备扮演压缩设备或解压缩设备的角色。该两类型之设备的功能系极大比重地重迭。扫描单元360及熵编码器370并未被使用于解压缩模式中，且预测器320的操作(将详细叙述于下文)及其他单元跟随包含于所接收的压缩比特流中之模式及参数信息，而非产生该信息本身。

图6概略地描绘预测影像的产生，且特别地，影像预测器320的操作。

具有由影像预测器320所执行之预测的两个基本模式：所谓影像内之预测及所谓影像间，或移动补偿(MC)之预测。在编码器侧，各包含侦测相对于将被预测之目前区块的预测方向，以及依据其他取样(在相同(影像内)或另一(影像间)影像中)而产生预测区块之取样。凭借单元310或450，在预测区块与实际区块之间的差异被编码或施加，以便分别编码或译码该区块。

影像内之预测根据来自相同影像内之数据而预测影像之区块的内容。此对应其他视频压缩技术中之所谓I帧编码。对照于其中整个影像系内编码之I帧编码，在本实施例中，于内与编码之间的选择可以以一区块一区块地为基础予以做成，虽然在其他实施例中，该选择仍系以一影像一影像地为基础予以做成。

移动补偿之预测系影像间之预测的实例，且使用另一邻接或毗邻影像中的移动信息，而尝试要界定将被编码于目前影像中之影像细节的来源。因而，在理想的实例中，可将预测影像中之影像数据的区块之内容极简易地编码，做为指示邻接影像中之相同的或稍为不同的位置处之对应区块的参考(移动向量)。

现请翻阅图6，系显示两个影像预测配置(对应影像内及影像间之预测)，其结果系在模式信号510的控制下，由多任务器500所选择，以便提供预测影像之区块，以供供应至加法器310及450之用。选择系根据给定最低〝能量〞之选择而做成(其可如上述地被视为需要编码的信息内容)，且该选择系在编码输出的数据流内，信令至编码器。关于此点，例如，影像能量可通过执行来自输入影像的两型式预测影像之区块的尝试减法、使不同影像之各像素值开平方、合计该平方值、及辨识该两型式的何者产生与该影像区域相关联之不同影像的较低均方值，而予以侦测出。

在内编码系统中，实际预测系以所接收为信号460之一部分的影像区块为基础予以做成，亦即，预测系根据编码译码之影像区块，以便使真正相同的预测可在解压缩设备做成。无论如何，数据可通过模式内选择器520而自输入之视频信号300导出，用以控制影像内预测器530的操作。

对于影像内之预测，移动补偿(MC)预测器540使用诸如移动向量之通过移动估算器550而自输入之视频信号300所导出的移动信息。该移动向量系通过移动补偿预测器540而施加至重现影像460之经处理的型式，用以产生影像内之预测的区块。

因而，单元530及540(与估算器550一起操作)各扮演侦测器的角色，用以侦测出相对于将被预测之目前区块的预测方法，且扮演产生器的角色，用以依据由该预测方向所界定的其他取样而产生取样之预定区块(形成传递至单元310及450之预测的一部分)。

现将叙述所施加至信号460之处理。首先，信号系由滤波器单元560所滤波，该滤波器单元560将被更详细地叙述于下文。此包含施加〝解区块〞滤波器，用以去除或至少有助于降低由转换单元340及其后之操作所执行的以区块为基础之处理的效应。取样适应性偏置(SAO)滤波器(将进一步叙述于下文)亦可被使用。而且，适应性循环滤波器系使用通过处理重现之信号460及输入之视频信号300所导出的系数，而予以施加。该适应性循环滤波器系使用已知技术之类型的滤波器，其施加适应性滤波器系数至将被滤波的资料。也就是说，滤波器系可根据各种因子而变化。界定要使用那些滤波器系数的数据系包含做为编码的输出数据流之一部分。

适应性滤波表示用于影像恢复的循环内滤波。LCU可由直至16个滤波器所滤波，而滤波的选择及ALF开/关状态(适应性循环滤波器-请参阅下文)系相对于LCU内之各CU而予以导出。一般地，该控制系在LCU层次，而非CU层次。

实际上，当设备系操作成为压缩设备时，来自滤波器单元560之滤波的输出形成输出之视频信号480。而且，其系缓冲于一或多个影像或帧储存器570中；连续影像的储存系移动补偿之预测处理，且尤其，移动向量之产生的必要条件。为了要在储存需要上节约，在影像储存器570中之储存的影像可保持于压缩形式中，且然后，予以解压缩以供产生移动向量之用。对于此特殊之目的，可使用任何已知的压缩/解压缩系统。储存的影像系传递至插补滤波器580，其产生该储存的影像之较高分辨率版；在此实例中，系产生中间取样(子取样)，以致使通过插补滤波器580而输出的插补之影像的分辨率系影像储存器570中所储存之影像的4倍(在各维中)分辨率用于4:2:0之亮度频道，且系影像储存器570中所储存之影像的8倍(在各维中)分辨率用于4:2:0之彩色频道。该插补之影像传递至移动估算器550且亦至移动补偿预测器540，做为输入。

在实施例中，系提供进一步之选用的级，其系用以使用乘法器600而以4的因子相乘输入之视频信号的数据值(有效地稍微左移数据值两位)，且用以使用除法器或右移器610而施加对应除法运算(右移两位)于设备的输出处。因此，左移及右移单纯地改变数据以供设备的内部运算之用。此措施可在设备内提供较高的计算准确性，因为可降低环绕误差之任何资料的效应。

现将叙述其中划分影像以供压缩处理的方式。在基本层次处，将被压缩的影像系视为取样之区块的数组。针对本讨论之目的，在考虑中之最大该区块系所谓最大编码单元(LCU)700(图7)，其表示典型地，64×64取样之方阵列(LCU尺寸系由编码器所配置，直至诸如由HEVC文献所界定之最大尺寸)。在此，该讨论有关亮度取样。根据诸如4:4:4、4:2:2、4:2:0、或4:4:4:4(GBR加上关键数据)之彩色模式，将具有对亮度区块之不同数目的对应彩色取样。

将叙述三个基本类型的区块:编码单元、预测单元、及转换单元。在一般性的观点中，LCU的递归细分允许输入的图像以此方式被划分，使得区块尺寸及区块编码参数(诸如预测或剩余编码模式)可依据将被编码之影像的特定特征而予以设定。

LCU可被细分成所谓编码单元(CU)。编码单元一直系正方形的，且具有8×8取样与LCU 700的全尺寸之间的尺寸。该编码单元可被配置成为一种树状结构，以致使第一细分可如图8中所示地发生，而给定32×32取样之编码单元710；接着，随后的细分可以以选择性为基础而发生，以便给定16×16取样之若干编码单元720(图9)，且潜在地，8×8取样之若干编码单元730(图10)。就整体而言，此处理可提供CU区块之内容适应编码树状结构，其各可如LCU一样地大或如8×8取样一样地小。输出之视频数据的编码系以编码单元结构为基础而发生，亦即，一LCU被编码，且然后，该处理移至下一个LCU，等等。

图11概略地描绘预测单元(PU)之数组。预测单元系用以承载与影像预测处理相关联之信息，或换言之，承载所添加至熵编码剩余影像数据用以自图5之设备形成输出的视频信号之额外数据的基本单元。通常，预测单元并未在形状中受限于正方形。其可采取其他形状，特别地，矩形形状，用以形成正方形编码单元之其中一者的一半(例如，8×8CU具有8×4或4×8PU)。使用与影像特征配向之PU并非HEVC系统之强制性的部分，且一般之目的将系在于允许适当的编码器使邻接之预测单元的边界配向，用以匹配(尽量靠近)图像中之实体的边界，使得可施加不同的预测参数至不同的实体。各编码单元可包含一或多个预测单元。

图12概略地描绘转换单元(TU)之数组。转换单元系转换及量化处理的基本单元。转换单元可系或可非正方形的，且可采取4×4直至32×32取样的尺寸。各编码单元可包含一或多个转换单元。在图12中之头字语SDIP-P表示所谓短距离内预测划分。在此配置中，系使用仅一维的转换，因此，4×N区块系透过N个转换以与对该转换输入之数据一起传递，而该转换系根据目前SDIP-P内之在前解碼的相邻区块及在前解碼的相邻列而定。SDIP-P系并未在目前于申请本申请案时，包含于HEVC中。

如上述，编码系按一LCU而发生，然后，下一个LCU，等等。在LCU内，编码系一个CU一个CU地执行。在CU内，编码系针对一TU而执行，然后，下一个TU，等等。

现将讨论内预测之处理。在一般性的观点中，内预测包含自相同影像中之在前所编码的及所译码的取样而产生目前区块的预测(预测单元)。图13概略地描绘部分所编码之影像800。在此，影像系以LCU为基础，自左下方至右下方地予以编码。透过整个影像的操纵而予以部分地编码之实例LCU系显示成为区块810。在区块810之上面且至其左边的遮影区820系已被编码。区块810之内容的影像内之预测可使用任何该遮影区820，但无法使用其下面之未遮影区。然而，请注意的是，对于在目前LCU内之个别的TU，上述之编码的阶层顺序(一个CU一个CU地，然后，一个TU一个TU地)意指的是，可具有在前所编码的取样于目前LCU中，且可用于该TU之编码，例如，该取样系在该TU的右上方或左下方。

区块810表示LCU；如上述地，针对影像内之预测处理的目的，可将此细分成一组较小的预测单元及转换单元。目前TU 830之实例系显示于LCU 810之内。

影像内之预测斟酌在将被考虑的目前TU之前所编码的取样，诸如在目前TU之上面及/或至左边的该等者。所需之取样系自其所预测来源取样可位在相关于目前TU之不同位置或方向处。为决定何者方向适用于目前预测单元，实例编码器的模式选择器520可测试可用之TU结构的所有组合以供各候选方向之用，且以最佳压缩效率选择PU方向及TU结构。

图像亦可以以〝切片〞为基础予以编码。在一实例中，切片系LCU之水平邻接组群。但在更普通的观点中，整个剩余影像可形成切片，或切片可系单一的LCU，或切片可系一列LCU，等等。当切片被编码成为独立单元时，其可给予误差若干弹性。编码器及译码器状态系完全地重设于切片边界处。例如，内预测系不跨越切片边界而予以执行；为此目的，切片边界系视为影像边界。

图14概略地描绘一组可能的(候选的)预测方向。34个侯选方向的全组系可用于8×8、16×16、或32×32取样之预测单元。4×4及64×64取样之预测单元尺寸的特别情况具有可用于它们之候选方向减少的组合(分别地，17个候选方向及5个候选方向)。该方向系由相对于目前区块位置之水平及垂直的位移所决定，但系编码成为预测模式，其一组系显示于图15中。注意的是，所谓DC模式表示包围之上方及左手边取样之简单的算术平均值。

在一般性的观点中，于侦测出相对于各预测单元的预测方向之后，该系统系可操作用以根据由预测方向所界定之其他取样，而产生预测区块之取样。

图16概略地描绘所谓右上方对角线扫描，其系可由扫描单元360所施加之实例扫描图案。在图16中，图案系显示用于8×8DCT系数之实例区块，而DC系定位于区块之左上方位置840处，且渐增的水平及垂直空间频率系由向下且至该左上方位置840之右边的渐增矩离处之系数所表示。取代地可使用其他选择性的扫描顺序。

将讨论区块配置以CU、PU、及TU结构的变化例于下文。该者将以图17之设备的情况予以讨论，其系在许多方面与上述图5及图6中所描绘的设备相似。确实地，已使用许多相同的参考符号，且该部件将不予以进一步讨论。

相对于图5及图6之主要的实质差异有关滤波器560(图6)，其系在图17中更详细地显示为包含解区块滤波器1000及相关联的编码决定区块1030、取样适应性偏置(SAO)滤波器1010及相关联的系数产生器1040、以及适应性循环滤波器(ALF)1020及相关联的系数产生器1050。

解区块滤波器1000尝试要通过使尖锐边缘平滑而降失真且改善视觉质量及预测性能，该尖锐边缘可当使用区块编码技术时，形成于CU、PU、及TU边缘之间。

SAO滤波器1010分类重现的像素成为不同种类，且然后，尝试要通过添加偏置用于各种类的像素而降低失真。像素强度及边缘性质系使用于像素分类。为了要进一步增进编码效率，可将图像划分成为用于偏置参数之局部化的区域。

ALF 1020尝试要恢复压缩之图像，使得重现与来源帧之间的差异最小化。ALF之系数系以帧为基础予以计算及传送。ALF可被施加至整个帧或至局部区域。

如上述，所提议之HEVC文献使用公知为4:2:0方案之特殊彩色取样方案。该4:2:0方案可使用于家庭/顾客装备。然而，若干其他的方案系可能的。

尤其，所谓4:4:4方案将适用于职业广播、母带后期处理、及数字影片，且原则上，将具有最高的质量及数据速率。

同样地，所谓4:2:2方案可使用于具有若干传真度损失之联业广播、母带后期处理、及数字影片中。

下文将叙述该等方案及其对应之可能的PU及TU区块结构。

此外，其他方案包含4:0:0单色方案。

在4:4:4方案中，Y、Cb及Cr三个频道之各者具有相同的采样率。因此，原则上，在此方案中，将具有如亮度数据两倍之更多的彩色数据。

因而，在HEVC中，于此方案中，Y、Cb及Cr三个频道之各者将具有对应之相同尺寸的PU及TU区块；例如，8×8亮度区块将具有用于该两个彩色频道之各者的对应8×8彩色区块。

因此，在此方案中，大致地，将具有直接之1:1关系于各频道中的区块尺寸之间。

在4:2:2方案中，该两个彩色成分系以亮度之采样率的一半予以取样(例如，使用垂直或水平子取样，但针对本说明之目的，系假定子取样)。因此，原则上，在此方案中，将具有如亮度数据一样多的彩色数据，虽然该彩数据将在该两个彩色频道之间被分割。

因而，在HEVC中，于此方案中，Cb及Cr频道将具有与亮度频道不同尺寸的PU及TU区块；例如，8×8亮度区块可具有用于各彩色频道之对应的4(宽)×8(高)彩色区块。

因此，显著地，在此方案中，该彩色区块可系非正方形的，虽然它们对应正方形的亮度区块。

在目前所提议的HEVC 4:2:0方案中，该两个彩色成分系以亮度之采样率的四分之一予以取样(例如，使用垂直及水平子取样)。因此，原则上，在此方案中，具有如亮度数据一半之彩色数据，该彩色数据在该两个彩色频道之间被分割。

因而，在HEVC中，于此方案中，Cb及Cr频道再具有与亮度频道不同尺寸的PU及TU区块。例如，8×8亮度区块将具有用于各彩色频道之对应的4×4彩色区块。

上述方案系在本项技艺中通俗地公知为〝频道比〞，如在〝4:2:0频道比〞中一样地；然而，将从上述说明理解的是，实际上，此并非总是意指Y、Cb及Cr频道系以该比例予以压缩或提供。因此，虽然称为频道比，但不应将此假定成为照文义的。事实上，用于4:2:0方案之正确比例系4:1:1(实际地，用于4:2:2方案及4:4:4方案之比例系正确的)。

在参照图18A及图18B而讨论特殊配置之前，将概述及重访若干通用之术语。

最大编码单元(LCU)系根图像对象。典型地，其覆盖相等于64×64亮度像素之区域。其被递归地分割，用以形成树状阶层之编码单元(CU)。在一般性的观点中，该三个频道(一个亮度频道及两个彩色频道)具有相同的CU树状阶层。然而，如上述，根据频道比，特殊的亮度CU可包含与对应彩色CU不同数目的像素。

在树状阶层的末端处之CU，亦即，由递归分割处理所产生之最小CU(其亦称为叶状CU)系接着分割成为预测单元(PU)。该三个频道(亮度及两个彩色频道)具有相同的PU结构，除了当用于彩色频道之对应PU将具有太少的取样之外，在该情况中，可仅用一PU以供该频道之用。此系可配置的，但PU内之最小尺寸一般系4个取样；PU间之最小尺寸系4个亮度取样(或用于4:2:0之两个彩色取样)。在最小CU尺寸上的限制应大到足可供任何频道之至少一PU之用。

叶状CU亦被分割成为转换单单元(TU)。可将该TU，且当它们太大时(例如，超过32×32取样)，必须将它们分割成为进一步的TU。限制系施加使得TU可被向下分割至目前被配置成为2层次之最大树状深度，亦即，它们不可超过各CU 16个TU。描绘性之最小可允许的TU尺寸系4×4取样，且最大可允许的TU尺寸系32×32取样。再者，无论何时，该三个频道可具有相同的TU结构，但若由于尺寸限制而无法将TU分割至特殊深度以供给定频道之同时，则将其保持在最大尺寸处。所谓非正方形四个树状转变配置(NSQT)系相似的，但分割成为四个TU的方法无需系2×2，且系4×1或1×4。

现请参阅图18A及图18B，将概述用于CU、PU、及TU区块之可能的不同区块尺寸，而〝Y〞表示亮度区块，且〝C〞在一般意义中表示彩色区块之代表者，以及数目表示像素。〝间〞表示帧间预测PU(例如，与帧内预测PU相反)。在许多情况中，仅显示用于亮度区块之区块尺寸。相关联的彩色区块之对应尺寸系依据频道比，而与亮度区块尺寸相关联。

因此，对于4:4:4，该彩色频道具有与图18A及图18B中所示之亮度区块相同的区块尺寸。因而，彩色PU结构反射出(或系分别相同于)亮度PU结构于所有所分割的层次处(其中〝所分割的层次〞意指CU尺寸选用的选择，以及在CU尺寸内，PU尺寸及彩状选用的选择)。虽然将可使用同组之可能的区块尺寸及形状，但为了要允许不同者(不同于该组者)相对于CU之亮度及彩色成分而被选择，在本发明之若干实施例中，PU区块尺寸及形状系选择用于对应CU之彩色及亮度成分。因此，无论何者PU尺寸及形状被选择用于亮度CU，相同尺寸及形状PU系选择用于该CU的彩色部分。注意的是，如下文所讨论地，区块尺寸及形状以及PU之选择系在控制器343的控制下，以编码器为基础之决定。在该配置中，亮度及彩色成分系在4:4:4格式中，且系配置成为复数个编码单元，各包含亮度及彩色取样的区块；以及预测方向系相对于目前预测单元而予以侦测出，目前预测单元系表示个别编码单元的至少一子集之亮度或彩色取样的区块。对于特殊的编码单元，各包含来自该编码单元的亮度及彩色取样之一或多个预测单元的尺寸及形状系做成(例如，通过控制器343)，以致使用于亮度取样及用于彩色取样之预测单元尺寸及形状的选择相同。

对于4:2:2及4:2:0，依据频道比，彩色区块将各具有比对应亮度区块更少的像素。

在图18A及图18B中所示的配置分别有关四个可能的CU尺寸：64×64、32×32、16×16、及8×8亮度像素。该等CU的各者具有对应列之PU选用(显示于行1140中)及TU选用(显示于行1150中)。对于上文所界定之可能的CU尺寸，该等选用之列系分别表示成为1100、1110、1120、及1130。

请注意的是，目前，64×64系最大CU尺寸，但此限制可改变。

在各列1100…1130之内，不同的PU选用系显示可应用至该CU尺寸。可应用至该等PU组态的TU选用系显示与个别的PU选用水平地配向。

注意的是，在若干情况中，系提供多重PU选用。如上述，在选择PU组态中之设备的目的在于匹配(尽量靠近)图像中之实体的边界，以致使不同的预测参数可被施加至不同的实体。

区块尺寸及形状以及PU系在控制器343的控制下，以编码器为基础之决定。目前方法包含执行许多方向之许多TU树状结构的尝试，用以取得各层次之最优〝成本〞。在此，该成本可表示为产生自各区块结构之失真、或噪声、或误差、或比特率的测量。因此，在选择该尝试的其中一者而给予某一所需质量测量最低比特率，或所需比特率最低失真(或误差、或噪声、或该等测量的组合)、或该等测量的组合之前，编码器可在上述之树状结构及阶层下所允许的该等者之内，尝试二或更多个(或甚至所有可用的)区块尺寸及形状之排列。

当给定特殊PU组态的选择时，可施加各种层次之分割，用以产生对应TU。请参阅列1100，在64×64P的情况中，对于使用做为TU而言，此区块尺寸系太大，且因此，第一层次之分割(自〝层次0〞(不分割)至〝层次1〞)系强制性的，用以造成四个32×32亮度TU之数组。该等者各可视需要地接受在树状阶层中之进一步的分割(自〝阶层1〞至〝阶层2〞)，而该分割系在执行TU的转换或量化之前被执行。在TU树状中之层次的最大数目系由(例如)HEVC文献所限制。

其他的选用系在64×64亮度像素CU的情况中，设置用于PU尺寸及形状。该等者系受限于仅只在编码之图像间，且在若干情况中，仅与所谓AMP选用致能一起使用。AMP意指非对称移动划分，且允许用于将被非对称划分之PU。

同样地，在若干情况中，选用系设置用于TU尺寸及形状，若NQST(非正方形四树状转换，基本地允许非正方形TU)被致能时，则可如图标地执行对层次1及/或层次2的分割，而若NQST未被致能时，则TU尺寸顺从用于该CU尺寸之个别最大TU的分割图案。

相似的选用系设置用于其他的CU尺寸。

除了图18A及图18B中所示的图形表示之外，相同信息之符号系提供于下表中，虽然在图18A及图18B图的表示系视为决定性的。〝n/a〞指示不被允许的模式。首先，将叙述水平像素尺寸。若给定第三图形时，则例如，在(水平)×(垂直)×(情况之数目)区块中，其有关该区块尺寸之情况的数目。N系整数。

4:2:0、4:2:2、及4:4:4区块结构变化例

已理解的是，4:2:0及4:4:4方案二者具有用于内预测之编码的正方形PU区块。此外，目前4:2:0方案准许4×4像素PU及TU区块。

因而，在实施例中，所提议的是，对于4:4:4方案，用于CU区块之递归系准许向下至4×4像素，而非8×8像素，因为如上述，在4:4:4模式中，亮度及彩色区块将系相同尺寸(亦即，彩色数据不被子取样)，且所以，对于4×4CU，PU或TU将需小于已允许之最小的4×4像素。因此，此系用于特殊编码单元之自该编码单元的至少一子集选择各包含亮度或彩色取样之一或多个预测单元的尺寸及形状的实例，该预测单元尺寸及形状之选择系相同用于亮度取样及用于彩色取样。

同样地，在4:4:4方案中，于实施例中，Y、Cr、Cb频道之各者，或Y及Cr、Cb二频道一起地，可具有个别的CU树状阶层。然后，可使用旗标用以信令将使用何者阶层或阶层的配置。此方法亦可使用于4:4:4RGB彩色空间方案。然而，取代地，在选择例中，用于彩色及亮度的树状阶层可系独立的。

在4:2:0方案中之8×8CU的实例中，此造成四个4×4亮度PU及一个4×4彩色PU。因此，在4:2:2方案中，具两倍彩色数据，于此情况中之一选用在于具有两个4×4彩色PU，其中(例如)底部彩色区块将在位置中对应底部左边亮度区块。然而，已理解的是，使用一个非正方形4×8彩色PU于此情况将与用于4:2:0彩色格式的配置更一致。

在4:2:0方案中，原则上，具有若干非正方形TU区块被允许用于某些种类的预测间之编码，且并非用于内预测之编码。然而，在预测内之编码中，当使非正方形四树状转换(NSQT)失能时(其系用于4:2:0方案之目前的缺设)，则所有的TU系正方形。因此，实际上，目前4:2:0方案实施正方形TU。例如，16×16 4:2:0亮度TU将与个别的Cb及Cr 8×8 4:2:0彩色TU相互对应。

然而，如上述，4:2:2方案可具有非正方形PU。因此，在实施例中，所提议的在于允许非正方形TU用于4:2:2方案。

例如，虽然16×16 4:2:2亮度TU可与两个个别的Cb及Cr 8×8 4:2:2彩色TU相互对应，但在此实施例中，取代地，其可以与个别的Cb及Cr8×16 4:2:2彩色TU相互对应。

同样地，四个4×4 4:2:2亮度TU可与两个个别的4×4Cb+Cr 4:2:2TU相互对应，或在此实施例中，取代地，可以与个别的4×8Cb及Cr 4:2:2TU相互对应。

当具有非正方形彩色TU，且因此，更少的TU时，则可更有效率，因为其可包含更少的信息。然而，此可影响该TU的转换及扫描处理，如稍后将叙述地。

最后，对于4:4:4方案，可优选地使TU结构频道独立且可以以顺序、图像、切片、或更精密的位准选择。

如上述，在HEVC的4:2:0方案中，目前系使NQST失能。然而，若用于图像间之预测时，则使NSQT致能且准许非对称移动划分(AMP)，此允许用于将被非对称划分的PU；因而，例如，16×16CU可具有4×16PU及12×16PU。在该等情况中，对于4:2:0及4:2:2方案而言，区块结构之进一步考虑系重要的。

对于4:2:0方案，在NQST中，可将TU之最小宽度/高度限制至4亮度/彩色取样。

因此，在非限制的实例中，16×4/16×12亮度PU结构具有四个16×4亮度TU及四个4×4彩色TU，其中亮度TU系在1×4垂直区块配置中以及彩色TU系在2×2区块配置中。

在其中划分系垂直而非水平之相似的配置中，4×16/12×16亮度PU结构具有四个4×16亮度TU及四个4×4彩色TU，其中亮度TU系在4×1水平区块配置中以及彩色TU系在2×2区块配置中。

对于4:2:2方案，在做为非限制实例的NSQT中，4×16/12×16亮度PU结构具有四个4×16亮度TU及四个4×8彩色TU，其中亮度TU系在4×1水平区块配置中；彩色TU系在2×2区块配置中。

然而，已理解的是，可针对若干情况而考虑不同的结构。因此，在实施例中，于做为非限制实例的NSQT中，16×4/16×12亮度PU结构具有四个16×4亮度TU及四个8×4彩色TU，但现在，亮度及彩色TU系在1×4垂直区块配置中，而随着PU布局配置(例如，与在2×2区块配置中之四个4×8彩色TU的4:2:0样式配置相反)。

同样地，32×8PU可具有四个16×4亮度TU及四个8×4彩色TU，但现在，亮度及彩色TU系在2×2区块配置中。

因此，更概括地，对于4:2:2方案，在NSQT中，TU区块尺寸系选择用以随着非对称之PU区块布局配向。因而，NSQT有效地允许TU边界与PU边界对齐，而降低可能发生的高频人工产物。

在一般性的观点中，本发明之实施例可有关可相对于4:2:2格式视频信号而操作的视频编码方法、设备、或程序。将被编码的影像系划分成为编码单元、预测单元、及转换单元以供编码之用，编码单元系亮度取样及对应彩色取样的正方形数组，而在编码单元中具有一或多个预测单元，且在编码单元中具有一或多个转换单元；其中预测单元系预测的基本单元，以致使单一预测单元内的所有取样使用共同的预测技术而予以预测，以及转换单元系转换及量化的基本单元。

非正方形转换模式(诸如NSQT模式)系致能以便允许非正方形预测单元。选用地，非对称移动划分系致能以便允许对应单一编码单元之二或多个预测单元间的非对称。

例如，控制器343通过侦测对应PU之影像的部分中之影像特征，且选择相对于该PU的TU区块尺寸，而控制转换单元区块尺寸的选择，用以与预测单元区块布局配向，以便使TU边界与该影像的该部分中之影像特征的边缘对齐。

上文所讨论的规则说明那些区块尺寸的组合可用。编码器可适当地尝试不同的组合。如上述，尝试可包含二或多个，直至所有可用的选用。该尝试编码处理可依据成本函数计量及依据该成本函数之估算所选择的结果，而予以执行。

假定具有依据CU尺寸及形状、PU尺寸及形状、以及TU尺寸及形状之三层次的变化，则此可导致将被尝试编码之很多的排列。为了要降低此变化，系统可通过使用可允许用于各CU尺寸之PU/TU组态的所任意选择者而对CU尺寸尝试编码；然后，当已选择CU尺寸时，则PU尺寸及形状可通过各以单一任意选择的TU组态尝试编码不同的PU选用，而予以选择。接着，当已选择CU及PU时，则系统可尝试所有可应用的TU组态，用以选择最终的TU组态。

另一可能性在于若干编码器可使用区块组态的固定选择，或可允许上述讨论中所限定的该组合之受限的子集。

内预测

4:2:0内预测

现请翻阅图22，对于内预测，HEVC考虑角彩色预测。

当做介绍，图22描绘可应用至亮度区块的35个预测模式，其之33个指明方向用以参考目前预测之取样位置110的取样。剩余的两个模式系模式0(平面)及模式1(dc)。

HEVC允许彩色具有DC、垂直、水平、平面DM_CHROMA、及LM_CHROMA模式。

DM_CHROMA指示将被使用的预测模式系与协同定位之亮度PU的该者相同(亦即，图22中所示的35个之一)。

LM_CHROMA(线性模式彩色)指示协同定位之亮度取样(相对于频道比适当地下行取样)系使用以导出预测彩色取样。在此情况中，若其中将采取DM_CHROMA预测模式的亮度PU选择DC、垂直、水平、或平面时，则在彩色预测列表中之该登录系使用模式34予以置换。在LM_CHROMA模式中，其中预测彩色像素的亮度像素系依据亮度与彩色之间的线性关系而予以缩放(且具有所适当施加的偏置)。此线性关系系导出自周围的像素，且该导出可以以一区块一区块为基础予以执行，而在移动至下一者之前，译码器完成译码一区块。

值得注意的是，预测模式2至34取样45度至225度之角范围；也就是说，正方形之一对角线的半部。此系有用于4:2:0方案的情况中，如上述地，该方案仅使用正方形彩色PU以供图像内预测之用。

4:2:2内预测之变化例

然而，亦如上述地，4:2:2方案可具有矩形(非正方形)彩色PU，即使当亮度PU系正方形时。或确实地，反之亦然：矩形亮度PU可对应正方形彩色PU。差异的理由系在4:2:2中，彩色系水平地子取样(相对于亮度)，而非垂直地。所以，亮度区块及对应彩色区块的纵横比将被预测为不同的。

因而，在实施例中，对于具有与对应亮度区块不同纵横比的彩色PU，需要映像表以供指向之用。假定(例如)1对2纵横比之矩形彩色PU，则例如，模式18(目前在135度的角度)可被重映射至123度。选择性地，目前模式18的选择可被相同地重映像至模式22的选择。

因此，更概括性地，对于非正方形PU，在参考取样的方向与所选择的内预测模式间之不同的映射可与用于正方形PU之该者相较地予以设置。

仍更概括性地，包含非指向性模式的任何模式亦可根据实验之证据而予以重映射。

该映射将可产生多对一之关系，而使全组模式的规格冗余以供4:2:2彩色PU之用。在此情况中，例如，可仅17个模式(对应角分辨率的一半)系必要的。选择性地或此外，该等模式可以以非对称方式予以成角度地分布。

同样地，当预测取样位置处之像素时所使用于参考取样上的平滑滤波器可予以不同地使用；在4:2:0方案中，其仅系使用以使亮度像素平滑，但非彩色者。然而，在4:2:2及4:4:4方案中，此滤波器亦可被使用于彩色PU。在4:2:2方案中，该滤波器可再响应PU之不同的纵横比而予以修正，例如，仅被使用于近水平模式之子集。优选地，模式之实例子集系2至18及34，或更优选地，7至14。在4:2:2中，于实施例中，可仅执行参考取样之左栏的平滑。

该等配置将于稍后予以更详细地讨论。

4:4:4内预测之变化例

在4:4:4方案中，彩色及亮度PU系相同尺寸，且因此，用于彩色PU之内预测模式可与协同定位的亮度PU相同(由于不必编码个别模式，所以在比特流中节省若干架空)，或选择性地，其可被独立地选择。

因此，在此后者的情况中，于实施例中，系统可具有1、2、或3个不同的预测模式以供CU中的各PU之用。

在第一实例中，Y、Cb、及Cr之PU均可使用相同的内预测模式。

在第二实例中，Y之PU可使用一内预测模式，以及Cb及Cr之PU二者使用另一独立选择的内预测模式。

在第三实例中，Y、Cb、及Cr之PU各使用个别独立选择的内预测模式。

将理解的是，具有用于该等彩色频道(或各彩色频道)之独立的预测模式将增进彩色预测准确度。但此系以额外数据架空做为编码之数据的一部分为代价，用以联络该等独立的预测模式。

为了要减轻此，模式之数目的选择可以以高阶造句法予以指示(例如，以顺序、图像、或切片位准)。选择性地，独立模式的数目可自视频路格式导出；例如，GBR可具有直至3个，而YCbCr可受限为直至2个。

除了独立选择模式之外，可允许可用的模式以使在4:4:4方案中与4:2:0方案不同。

例如，当亮度及彩色PU系在4:4:4中相同尺寸时，彩色PU可享用对所有35+LM_CHROMA+DM_CHROMA方向的存取。因此，对于各具有独立预测模式之Y、Cb、及Cr的情况，则Cb频道可具有对DM_CHROMA及LM_CHROMA之存取，而Cr频道可具有对DM_CHROMA_Y、DM_CHROMA_Cb、LM_CHROMA_Y、及LM_CHROMA_Cb之存取，其中该等以对Y或Cb彩色频道之参考取代对亮度频道之参考。

当亮度预测模式系由导出最可能模式的列表及传送用于该列表之索引所信令时，则若彩色预测模式系独立时，其可能必须要导出最可能模式的独立列表以供各频道之用。

最后，以与上述用于4:2:2情况所示方式相似之方式，在4:4:4方案中，当预测取样位置处之像素时所使用于

参考取样上的平滑滤波器可以以与亮度PU相似之方式被使用于彩色PU。目前，可在内预测之前，将[1,2,1]低通滤波器施加至参考取样。此仅系当使用某些预测模式时，使用于亮度TU。

可用于彩色TU之内预测模式的其中一者系以协同定位的亮度取样之预测取样为基础。该配置系概略地描绘于图19中，其显示由Cb、Cr、及Y频道中的小正方形所表示之TU1200的数组(来自来源影像之区域)，而显示出Cb及Y频道中以及Cr及Y频道中之影像特征间的特别配向(由深及浅阴影格子1200所概略指示)。在此实例中，其系有益于迫使彩色TU以协同定位的亮度取样之其预测取样为基础。然而，并非一直系影像特征在三个频道之间对应的情况。实际上，某些特征可仅出现在该等频道的其中一者或二者之中，且通常，三个频道的影像内容可不同。

在实施例中，对于Cr TU，LM_Chroma可选用地根据来自Cb频道之协同定位的取样(或者，在其他实施例中，相依性可系近似的其他方式)。该配置系以概略形式显示于图20中。在此，空间配置的TU系描绘于Cr、Cb、及Y频道之间。就整体而言，如所示地，称为〝来源〞之进一步之组的TU系彩色图像之概略表示。在来源影像之中所示的影像特征(左上方三角形及右下方三角形)实际上并未显示亮度中的改变，而仅该两个三角形区域间之彩色中的改变。在此情况中，根据亮度取样之用于Cr的LM_Chroma将产生不充分的预测，但根据Cb取样之其可给予较佳的预测。

关于将使用那一个LM_Chroma模式的决定可根据不同选用之尝试编码(包含根据协同定位的亮度或协同定位的彩色取样之选用)，而由控制器343及/或模式控制器520所做成，而关于选择那一个模式的决定则系与上述该者相似地通过评估相对于不同尝试编码之成本函数予以做成。该成本函数的实例系噪声、失真、误差率、或比特率。来自接受尝试编码的该等者之中而给予该成本函数之最低的任一者或多者之模式被选择。

图21概略地描绘实施例中所使用以获得用于内预测之参考取样的方法。在观察图21中，应注意的是，编码系依据扫描图案而予以执行，以致在一般性的观点中，于将被编码之目前区块的上方及左边之该区块的编码型式系可用于编码处理。偶而，可使用左下方或右上方之取样，若其已于先前被编码成为目前LCU内之其他已编码妥的TU之一部分时。例如，请参阅如上述之图13。

阴影区1210表示目前TU，也就是说，目前正被编码的TU。

在4:2:0及4:2:2中，因为水平的子取样，所以正好在目前TU之左边的像素之行并不包含协同定位的亮度及彩色取样。换言之，此系因为4:2:0及4:2:2格式具有如亮度像素之一半一样多的彩色像素，所以并非每个亮度取样位置均具有协同设置的彩色取样。因此，虽然亮度取样可呈现于正好在TU左边之像素的行中，但彩色取样并不存在。因此，在若干实施例中，设置两个取样至目前TU之左边的行系使用以提供用于LM_Chroma的参考取样。注意的是，在4:4:4中之情势系不同的，其中正好在目前TU之左边的行确实包含协同定位的亮度及彩色取样。因此，可使用此行以提供参考取样。

该参考取样被如下地使用。

在LM_Chroma模式中，预测的彩色取样依据线性关系而导出自重现的亮度取样。所以，在一般性的观点中，可称TU内之预测的彩色值系由下式所给定：

P_C＝a+bP_L

其中P_C系彩色取样值，P_L系在该取样位置处之重现的亮度取样，以及a及b系常数。该等常数系针对特殊区块，而通过侦测正好在该区块上方之列中，及正好在该区块左边之行中(该等者系已被编码之取样位置(请参阅上文))的重现亮度取样与彩色取样之间的关系，予以导出。

在若干实施例中，常数a及b系如下地导出：

a＝R(P_L’，P_c')/R(P_L',P_L’)

其中R表示线性(最小平方)递归函数，以及P_L’及P_C’分别系来自如上述之邻接列及行的亮度及彩色取样，且：

b＝mean(P_c，)-a，mean(P_L’)

对于4:4:4，P_L’及L_C’值系取自正好在目前TU之左边的行、及正好在目前TU之上方的列。对于4:2:2，P_L’及P_C’值系取自正好在目前TU之上方的列，及离开目前TU之左缘的两个取样位置之邻接区块中的行。对于4:2:0(其系垂直及水平地子取样)，P_L’及P_C’将被理想地取自目前TU之上方的两列，但实际地取自目前TU之上方的一取样位置之邻接区块中的列，及离离目前TU之左缘的两个取样位置之邻接区块中的行。理由在于避免必须维持额外的整列数据于内存中。所以，关于此点，4:2:2及4:2:0系以相似方式处理。

从而，该等技术施加至具有彩色预测模式的视频编码方法，其中表示影像之区域的彩色取样之目前区块系通过导出及编码彩色取样相对于表示影像之相同区域的亮度取样(诸如重现的亮度取样)之协同设置的区块之关系，而予以编码。该关系(诸如线性关系)系通过比较来自邻接之已被编码的区块之协同设置的(或述说为对应设置的)亮度及彩色取样，而予以导出。彩色取样系依据该关系而导出自亮度取样；以及在预测的彩色取样与实际的彩色取样之间的差异系编码成为剩余数据。

关于其中彩色取样具有与亮度取样相同的采样率之第一取样分辨率(诸如4:4:4)，协同设置的取样系在邻接目前区块之取样位置中的取样。

关于其中彩色取样具有比亮度取样之采样率更低的采样率之第二取样分辨率(诸如4:2:2或4:2:0)，距离邻接之已被编码的区块最近的行或列之协同设置的亮度及彩色取样系使用以提供协同设置的取样。或者，在其中第二取样分辨率系4:2:0取样分辨率的情况中，对应设置的取样系邻接目前区块之取样的列，及距离邻接之已被编码的区块最近的行或列之对应设置的亮度及彩色取样。

图22概略地描绘用于亮度取样之可用的预测角度。将被预测的目前像素系显示于附图中心，成为像素1220。较小的点1230表示邻接像素。位于目前像素的顶部或左侧上之该等者系可用作参考取样用以产生预测，因为它们已被先前地编码。其他像素系目前未知的(在预测像素1220时)，且其将被顺序地预测。

各个编号的预测方向指示目前区块之顶部或左缘上的参考取样1230，其系使用以产生预测的像素。在其中预测方向指示参考取样间的位置之更小区块的情况中，系使用线性插补于邻接的参考取样之间。

将朝向用于彩色取样的内角度预测，对于4:2:0，因为彩色取样之相对缺少，所以较少的预测方向可用。然而，若选择DM_CHROMA模式时，则目前的彩色区块将使用与协同定位的亮度区块相同的预测方向。依序地，此意指用于内预测之亮度方向亦可用于彩色。

然而，对于4:2:2中的彩色取样，假设彩色区域现具有与亮度区块之纵横比不同的纵横比时，则当选择DM_CHROMA时，可违反直觉地考虑使用与亮度相同的预测演算及方向。例如，用于正方形亮度取样之数组的45度线应仍映像至用于彩色取样的45度线，虽然具有矩形尺寸之取样数组。实际上，覆盖矩形格栅至正方形上指出的是，45度线将映射至26.6度线。

图23概略地描绘当被施加至4:2:2中的彩色像素时之关于将被预测的目前像素1220之亮度内预测的方向。注意的是，因为4:2:2具有当与亮度频道相较时之一半的水平取样率于彩色频道中，所以具有垂直像素一半的水平像素。

图24概略地描绘4:2:2彩色像素对正方形格栅之转换或映射，以及接着，此转换如何改变预测方向。

亮度预测方向系显示成为断续线1240。彩色像素1250系重映像至正方形格栅，而给定对应亮度数组(诸如图22中所示之该者)的一半宽度1260之矩形数组。在图23中所示之预测方向已被重映像至矩形数组。可发现到的是，对于某些方向对(一对系亮度方向及彩色方向)，具有重迭或靠近关系。例如，在亮度数组中之方向2实质地压在彩色数组中的方向6之上。然而，亦将注意的是，约略亮度方向之一半的若干亮度方向不具有对应的彩色方向。实例系编号3的亮度方向。而且，若干彩色方向(2至5)并不具有在亮度数组中之对等者，以及若干亮度方向(31至34)亦不具有在彩色数组中之对等者。但大致地，如图24中之重迭说明的是，使用相同的角度以供亮度及彩色频道二者之用将系不适当的。

因而，为了要当(a)DM_CHROMA被选择及(b)目前所使用之DM_CHROMA模式指出彩色预测方向应系协同定位之亮度区块的该者时，导出用于彩色的适当预测角度，可施加以下程序：

(i)依据通常之HEVC规则而导出内预测角度步阶及依据亮度方向之其倒数；

(ii)若亮度方向系主要地垂直时(亦即，例如，编号为18至34(包含18及34)之模式)，则内预测角度步阶减半，且其倒数加倍；

(iii)否则，若亮度方向系主要地水平时(亦即，例如，编号为2至17(包含2及17)之模式)，则内预测角度步阶加倍，且其倒数减半。

因而，该等实施例有关视频编码或译码方法，设备或程序，其中亮度及彩色取样系依据与将被预测之取样相关联的预测方向而预测自其他个别的参考取样。在诸如4:2:2的模式中，彩色取样具有比亮度取样更低的水平及/或垂直采样率，以致使亮度水平分辨率对彩色水平分辨率的比例系与亮度垂直分辨率对彩色垂直分辨率的比例不同。简言之，此意指的是，亮度取样的区块具有与彩色取样之对应区块不同的纵横比。

例如，帧内预测器530系可操作以侦测第一预测方向，而该第一预测方向系与相对于将被预测之一组目前取样的第一纵横比之格栅相关联所界定；以及施加映像至该预测方向之方向以便产生第二预测方向，而该第二预测方向系与相对于将被预测之同一组目前取样的不同纵横比之取样格栅相关联所界定。

在实施例中，第一预测方向系相对于亮度或彩色取样之其中一者而予以界定，以及第二预测方向系相对于亮度或彩色取样之另一者而被界定。在本说明中所讨论的特殊实例中，可修正亮度预测方向以提供彩色预测方向。惟，相近之其他方式可予以使用。

特别地，该技术系可应用至内预测，使得参考取样系与将被预测之取样相同的个别影像之取样。

在至少若干配置中，第一预测方向系相对于包含目前亮度取样之亮度取样的正方形区块而予以界定；以及第二预测方向系相对于包含目前彩色取样之彩色取样的矩形区块而被界定。

可提供独立的预测模式以供该两个彩色成分之用。在该配置中，彩色取样包含第一及第二彩色成分之取样，且该技术包含相对于第一彩色成分(诸如Cb)而施加上述步骤所讨论之方向映像；以及相对于第二彩色成分(诸如Cr)而提供不同的预测模式。

例如，视频数据可系4:2:2格式或4:4:4格式。

在一般性的观点中，本发明之实施例可提供用于彩色成分之独立预测模式(例如，分别用于亮度及彩色成分之各者)。该等实施例有关视频编码方法，其中影像的亮度及彩色取样系依据与将被预测之取样相关联的预测方向而预测自相同影像之其他个别的参考取样，彩色取样具有比亮度取样更低的水平及/或垂直采样率，以致使亮度水平分辨率对彩色水平分辨率的比例系与亮度垂直分辨率对彩色垂直分辨率的比例不同，使得亮度取样的区块具有与彩色取样之对应区块不同的纵横比，以及彩色取样表示第一及第二彩色成分。

帧内模式选择器520选择界定一或多个参考取样之选择的预测模式，用以预测第一彩色成分(诸如Cb)的目前彩色取样。其亦选择不同的预测模式，用以界定一或多个参考取样之不同的选择，以供预测第二彩色成分(诸如Cr)的目前彩色取样之用，而与该第一彩色成分的目前彩色取样协同设置。

参考取样滤波器可被选用地施加至例如，水平取样或垂直取样(或二者)，做为帧储存器570及/或预测器530、540之操作的一部分，而扮演滤波器配置之角色。该滤波器可系3抽头〝1 2 1〞滤波器，而一般被施加至除了底部左边及顶部右边之外的所有亮度参考取样(N×N区块之取样系聚集在一起以形成尺寸2N+1的单一1D数组，且然后，被选用地滤波)。在该技术的实施例中，其仅系施加至4:2:2的第一(左侧边缘)或最后(顶部边缘)的N+1彩色取样(但应注意的是，底部左边、顶部右边、及顶部左边则将不予以调整)；或4:2:2及4:4:4的所有彩色取样(如用于亮度一样地)。

实施例亦可提供视频编码或译码方法，设备或程序，其中亮度以及第一及第二彩色成分之取样系依据与将被预测之取样相关联的预测方向而被预测自其他个别的参考取样，包含自第一彩色成分的取样而预测第二彩色成分的取样。

实施例亦可提供视频编码或译码方法，设备或程序，其中亮度以及第一及第二彩色成分之取样系依据与将被预测之取样相关联的预测方向而被预测自其他个别的参考取样，包含滤波该等参考取样。

如参照图19及图20所讨论地，不同预测模式可包含其中第二彩色成分的取样系自第一彩色成分的取样而予以预测之模式。

注意的是，模式0及1并非角预测模式，且因此，不包含于此程序中。上文所示之该程序的功效在于映像彩色预测方向至图24中之亮度预测方向上。

对于4:2:0，当选择纯粹水平预测模式(亮度模式10)或纯粹垂直预测模式(亮度模式26)时，则预测TU之顶部或左缘系仅受到用于亮度频道的滤波。对于水平预测模式，顶部列系以垂直方向滤波。对于垂直预测模式，左侧行系以水平方向滤波。

以水平方向滤波一行取样可被了解为依序地施加水平取向的滤波器至该行取样之各取样。因此，对于个别的取样，其值将通过滤波器的作用，而根据来自该取样及以水平方向位移自该取样之取样位置处的一或多个其他取样(亦即，所讨论之取样的左边及/或右边之一或多个其他取样)之目前值所产生的滤波值，来加以修正。

以垂直方向滤波一列取样可被了解为依序地施加垂直取向的滤波器至该列取样之各取样。因此，对于个别的取样，其值将通过滤波器的作用，而根据来自该取样及以垂直方向位移自该取样之取样位置处的一或多个其他取样(亦即，所讨论之取样的上面及/或下面之一或多个其他取样)之目前值所产生的滤波值，来加以修正。

上述之边缘像素滤波处理之一目的在于降低预测中之以区块为主的边缘效应，而藉以减少剩余影像数据之中的能量。

在实施例中，对应之滤波处理亦系提供用于4:4:4及4:2:2中的彩色TU。当考虑水平子取样时，一提议系仅滤波4:2:2中之彩色TU的顶部列。但滤波4:4:4中的顶部列及左侧行(适当地依据选择之模式)。可适当地考虑仅在该等区域之中滤波，以避免滤除太多有用的细节，而导致剩余数据之能量增加。

对于4:2:0，当选择DC模式时，则预测TU之顶部及/或左缘的其中一者或二者系仅受到用于亮度频道的滤波。在此，此系其中亮度取样表示亮度成分以及个别的彩色取样表示两个彩色成分，滤波步骤系施加至该三个成分的子集，而该子集系该三个成分的其中一者或二者之情况的实例。该子集可由亮度成分所组成。该滤波可包含滤波预测区块的取样中之取样的左侧行，及预测区块的取样中之取样的顶部列之其中一者或二者。

该滤波可在DC模式中，使得滤波器做成(1×毗邻外部取样+3*边缘取样)/4之平均运算，以供两边缘上的所有取样之用。然而，对于顶部左边，滤波器功能系(2×目前取样+1×上面取样+1×左边取样)/4。此系其中，在其中预测取样系产生成为周围取样之简单算术平均值的DC模式中，滤波步骤包含滤波预测区块的取样中之取样的左侧行，及滤波预测区块的取样中之取样的顶部列之运算的实例。

H/V滤波器系毗邻外部取样与边缘取样之间的平均器。

在若干实施例中，此滤波处理亦系提供用于4:4:4及4:2:2中的彩色TU。而且，在若干实施例中，当考虑水平子取样时，仅滤波4:2:2之彩色取样的顶部列，但滤波4:4:4之彩色TU的顶部列及左侧列。

因而，此技术可相对于视频编码或译码方法，设备或程序而应用，其中在(例如)4:4:4格式或4:2:2格式中之亮度及彩色取样系依据与将被预测之取样的区块相关联之预测方向，而被预测自其他个别的取样。

在该技术的实施例中，预测方向系相对于将被预测的目前区块而予以侦测。彩色取样的预测区块系依据该预测方向所界定之其他彩色取样而产生。若所侦测的预测方向系实质地垂直时(例如，系在其中n系(例如)2之真正垂直模式的+/-n角度模式之内)，则在彩色取样的预测区块中滤波取样的左行(例如，在使用水平取向滤波器的水平方向中)。或者，若所侦测的预测方向系实质地水平时(例如，系在其中n系(例如)2之真正水平模式的+/-n角度模式之内)，则在彩色取样的预测区块中滤波取样的顶部列(例如，在使用垂直取向滤波器的垂直方向中)。在各自情况中，操作可分别地仅施加至左行或顶部列。然后，编码所滤波的预测彩色区块与实际的彩色区块之间的差异，例如，做为剩余数据。选择性地，测试可用于真正垂直或水平模式，而非实质垂直或水平模式。+/-n的公差可被施加至该等测试(垂直或水平)的其中一者，且非另一者。在本发明的实施例中，可仅滤波预测区块的左行或顶部列，且该滤波可通过水平取向滤波器或垂直取向滤波器而予以分别地执行。

该滤波可通过扮演关于此点之滤波器角色的个别预测器520、530，而予以执行。

在滤波处理之后，该技术之实施例编码所滤波的预测彩色区块与实际的彩色区块之间的差异(在编码器处)，或施加译码之差异至所滤波的预测彩色区块，以便编码该区块(在译码器处)。

间预测

请注意的是，在HEVC中的间预测已允许矩形PU，所以4:2:2及4:4:4模式系已与PU间预测处理可兼容。

视须影像之各帧系实际场景的分离取样，且因而，各像素系彩色及亮度中之现实世界梯度的逐步近似。

为彰显此，当自前一视频帧中之值而预测新的视频帧中之像素的Y、Cb或Cr值时，则插补该前一视频帧中之像素用以产生原始之现实世界梯度的较佳估算，而允许亮度或彩色之更准确的选择以供新的像素之用。因此，所使用以在视频帧之间指示的移动向量并未受限于整数像素分辨率。而是，它们可指示所插补之影像内的子像素位置。

4:2:0间预测

现请参阅图25及图26，在如上述之4:2:0方案中，典型地，8×8亮度PU 1300将与Cb及Cr 4×4彩色PU 1310相关联。因此，为了要插补亮度及彩色像素数据直至相同有效的分辨率，将使用不同的插补滤波器。

例如，对于8×8 4:2:0亮度PU，插补系1/4像素，且因此，8抽头×4滤波器系首先水平地施加， 以及接着，相同的8抽头×4滤波器系垂直地施加，以致使亮度PU在各方向中被有效地展开4次，而形成如图25中所示之插补的数组1320。另一方面，对应之4×4 4:2:0彩色PU系1/8像素插补，用以产生相同的最终分辨率，且因此，4抽头×8滤波器系首先水平地施加，接着，相同的4抽头×8滤波器系垂直地施加，以致使4:2:0彩色PU在各方向中被有效地展开8次，而形成如图26中所示之数组1330。

4:2:2间预测

现将参照图27及图28而叙述用于4:2:2之相似的配置，其描绘亮度PU 1350及一对对应彩色PU 1360。

请参阅图28，如上述，在4:2:2方案中，彩色PU 1360可系非正方形，且对于8×8 4:2:2亮度PU之情况，将典型地系4(宽)×8(高)4:2:2彩色PU用于Cb及Cr频道的各者。注意的是，针对图28之目的，彩色PU系绘制成为非正方形像素之正方形形状的数组，但在一般性的观点中，请注意的，PU 1360系4(水平)×8(垂直)像素数组。

虽然可因此而垂直地使用现有8抽头×4亮滤波器于彩色PU上，但在本发明之实施例中，已被理解的是，当实际上仅对插补的彩色PU之甚至微少位置感兴趣时，则现有4抽头×8彩色滤波器将足以供垂直插补之用。

因此，图27显示如之前以8抽头×4滤波器所插补的8×8 4:2:2亮度PU 1350，以及以现有4抽头×8彩色滤波器所插补的4×8 4:2:2彩色PU 1360于水平及垂直方向中，且仅具有甚至微少结果用以在垂直方向中形成插补的影像。

该等技术系可应用至使用影像间预测以编码输入之视频数据的视频编码或译码方法，设备或程序，其中各彩色成分具有亮度成分之1/M水平分辨率，及亮度成分之1/N垂直分辨率，其中M及N系等于1或更大的整数。例如，对于4:2:2，M＝2，N＝1。对于4:2:0，M＝2，N＝2。

帧储存器570系可操作以储存目前影像之前的或一或多个影像。

插补滤波器580系可操作以插补储存影像之较高分辨率版的预测单元，以致使插补的预测单元之亮度成分具有储存影像的对应部分之水平分辨率P倍的水平分辨率，以及储存影像的对应部分之垂直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数。在目前之实例中，P＝Q＝4，以致使插补滤波器580可操作以产生1/4取样分辨率之插补的影像。

移动估算器550系可操作以侦测目前影像与一或多个插补的储存影像间的影像间之移动，以便产生目前影像的预测单元与该一或多个在前之影像的区域之间的移动向量。

移动补偿预测器540系可操作以相对于由个别移动向量所指出之插补的储存影像之区域，而产生目前影像之预测单元的移动补偿预测。

现请返回至插补滤波器580之操作的讨论，此滤波器的实施例系可操作以施加xR水平及xS垂直插补滤波器至储存影像的彩色成分，用以产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于(V×N×Q)，U及V系等于1或更大的整数；以及子取样插补的彩色预测单元，以致使其水平分辨率系除以U之因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

因此，在4:2:2的情况中，插补滤波器580施加x8插补于水平及垂直方向中，且然后，通过2之因子，例如，通过使用插补输出中之每第二个取样，而垂直地子取样。用以达成此之一方式系通过使索引值加倍于取样的数组内。所以，考虑其系8取样之取样数组中的数组方向(诸如在此实例中的垂直方向)，则编索引为0..7。在子取样的范围中之所需的取样系编索引于范围0..3中。因此，使此索引加倍将给定0、2、4、及6之值，其可接着被使用以在原始数组中存取取样，以致使每交变之取样被使用。此系选择插补的彩色预测单元之取样的子集之实例。

因此，此技术允许相同的(例如，x8)滤波器相对于4:2:0及4:2:2而被使用，但具有其中伴随4:2:2所需之子取样的进一步步骤。

在实施例中，如所讨论地，插补的彩色预测单元具有取样中之高度，该取样中之高度系使用相同的xR及xS插补滤波器所插补之4:2:0格式预测单元的该者之两倍。

提供不同滤波器之需要可通过使用该等技术，且尤其，通过使用相对于4:2:0输入的视频数据及4:2:2输入的视频数据之相同的xR水平及xS垂直插补滤波器，而予以避免或减轻。

如所讨论地，子取样插补的彩色预测单元之步骤包含使用垂直方向中之插补的彩色预测单元之每第N个取样，及/或使用垂直方向中之插补的彩色预测单元之每第U个取样。更通常地，子取样可包含选择插补的彩色预测单元之取样的子集。

实施例可包含导出用于预测单元的亮度移动向量；以及独立地导出用于该预测单元之一或多个彩色移动向量。

在若干实施例中，R及S的至少一者系2或更大；且在若干实施例中，该xR水平及xS垂直插补滤波器亦系施加至储存影像的亮度成分。

应注意，相同的插补技术可被用于编码器中和解码器中。

4:4:4间预测变化例

通过引申，仅使用甚至微少结果以供现有的4抽头x8彩色滤波器之用的相同原理可被垂直及水平地施加用于8×8 4:4:4彩色PU。

进一步地对该等实例，可使用该x8彩色滤波器以供所有插补之用，包含亮度。

进一步的间预测变化例

在移动向量(MV)导出的一实施例中，一向量系产生用于P切片中之PU(且两个向量用于B切片中之PU(其中P切片自前一帧取得预测，以及B切片自前一及后一帧取得预测，其均系以与MPEG P及B帧相似之方式))。明显地，在4:2:0方案中之此实施例中，该向量系共享于所有频道，且此外，彩色数据无需被使用以计算移动向量。换言之，所有频道使用根据亮度数据的移动向量。

在实施例中，于4:2:2方案中，可导出彩色向量以与亮度无关联(亦即，可分离地导出用于Cb及Cr之单一向量)，且在4:4:4方案中，彩色向量可进一步独立用于Cb及Cr频道之各者。

转换

在HEVC中，大多数影像系由在前所编码/译码的帧而被编码成为移动向量，该移动向量告知译码器，在该其他译码的帧之何处可拷贝目前影像的良好近似数据。结果系目前影像的近似版。然后，HEVC编码所谓的剩余数据，其系该近似版与正确影像之间的误差。此剩余数据需要比直接指明实际影像更少的信息。然而，其仍可大致优选地压缩此剩余信息，而进一步降低全面的比特率。

在包含HEVC之许多编码方法中，该数据系使用整数余弦转换(ICT)而被转换成为空间频域，且然后，典型地，一些压缩系通过保持低空间频率数据及抛弃较高空间频率数据而依据所欲之压缩位准予以达成。

4:2:0转换

使用于HEVC中之空间频率转换系以4之乘方而产生系数(例如，64个频率系数)之习知者，因为此系特别地适合一般的量化/压缩方法。在4:2:0方案中之正方形TU均系4的乘方，且因此，此系直接达成。

若致能NSQT选用时，则某些非正方形转换系可用于诸如4×16之非正方形TU，但再次明显地，该者产生64个系数，亦即，再次地，4之乘方。

4:2:2及4:4:4转换变化

4:2:2方案可产生非正方形TU，其并非4之乘方；例如，4×8TU具有32个像素，且32并非4之乘方。

因此，在实施例中，可使用用于非4数目之乘方的系数之非正方形转换，而承认随后的量化处理可能需要修要。

选择性地，在实施例中，非正方形TU系分割成为具有4区域之乘方的正方形区域，且生成之系数可加以交织。

例如，对于4×8区块奇数/偶数垂直取样，可予以分割成为两个正方形区块。选择性地，对于4×8区块，顶部4×4像素及底部4×4像素可形成两个正方形区块。再选择性地，对于4×8区块，可使用哈尔(Haar)小波分解以形成下方及上方频率4×4区块。

可使该等选用之任何者可用，且可将特殊选用之选择信令至译码器或由译码器所导出。

其他转换模式

在4:2:0方案中，具有提议的旗标(所谓〝qpprime_y_zero_transquant_bypass_flag〞)，而允许剩余数据被无损失地包含于比特流中(亦即，无需被转换、量化、或进一步地滤波)。在4:2:0方案中，旗标应用至所有频道。

因而，该等实施例表示视频编码或译码方法，设备或程序，其中预测亮度及彩色取样，且编码取样与个别预测取样之间的差异，并使用指示器，该指示器被配置以指示亮度差异数据是否将被无损失地包含于输出比特流中；以及独立地指示彩色差异数据是否将被无损失地包含于比特流中。该旗标或该等旗标(或分别地，该指示器或等该指示器)可通过例如，控制器343而予以插入。

在实施例中，所提议的是，用于亮度频道之旗标系与彩色频道分离。因此，对于4:2:2方案，该等旗标应被分离地设置用于亮度频道及用于彩色频道，且对于4:4:4方案，该等旗标应被分离地设置用于亮度及彩色频道，或一旗标系设置用于该三个频道之各者。此认可与4:2:2及4:4:4方案相关联之增加的彩色数据速率，且使例如，无损失的亮度数据能与压缩之彩色数据在一起。

对于内预测编码，模式相依之方向性转换(MDDT)允许用于TU之水平或垂直ICT(或二者ICT)根据内预测方向，而以整数正弦转换允以置换。在4:2:0方案中，此并未被施加至彩色TU。然而，在实施例中，所提议的在于施加其至4:2:2及4:4:4彩色TU，而请注意的是，IST仅系目前界定用于4取样转换尺寸(水平地或垂直地)，且因此，目前无法被垂直地施加至4×8彩色TU。

在视频编码的方法中，可配置各种实施例以便指示亮度差异数据是否将被无损失地包含于输出比特流中；以及独立地指示彩色差异数据是否将被无损失地包含于比特流中，且以该等指示所界定的形式编码或包含相关联的数据。

量化

在4:2:0方案中，用于彩色之量化计算系与用于亮度相同。惟，量化参数(QP)系不同。

用于彩色之QP系如下地计算自亮度QP：

Qp_Cr＝缩放表[Qp_亮度+second_chroma_qp_index_offset]

其中该缩放表系如图29A或图29B(分别用于4:2:0及4:2:2)中所示地界定，以及〝chroma_qp_index_offset〞及〝second_chroma_qp_index_offset〞系界定于图像参数值之中，且可相同或不同以供Cr及Cb之用。换言之，在中括号之中的值于各情况中界定〝索引〞至缩放表之内(图29A或图29B)，且缩放表接着给予QP(〝值〞)之校正值。

注意的是，取代地，〝chroma_qp_index_offset〞及〝second_chroma_qp_index_offset〞可被分别称为cb_qp_offset及cr_qp_offset。

彩色频道典型地包含比亮度更少的信息，且因此，具有更小规模的系数；在彩色QP上之此限制可防止所有彩色细节在比重大的量化位准处损失。

在4:2:0中之QP-除数关系系对数者，以致使QP中之6的增加相等于除数之加倍(在此说明书中之其他处所讨论之量化步阶尺寸，注意的是，虽然其可在使用前通过Q_矩阵而予以进一步修正)。因此，在51-39＝12之缩放表中的最大差异表示除数中之4的因子之改变。

然而，在实施例中，对于潜在包含4:2:0方案之两倍彩色信息的4:2:2方案，于缩放表中之最大彩色QP值可上升至45(亦即，除数减半)。相似地，对于4:4:4方案，在缩放表中之最大彩色QP值可上升至51(亦即，与除数相同)。在此情况中，实际上，该缩放表系冗余的，但可被单纯地保持以供运算效率之用(亦即，使得系统以相同方式参照用于各方案之表而工作)。所以，更一般性地，在实施例中，彩色QP除数系响应相对于4:2:0方案之编号方案中之信息总量，而予以修正。

因而，实施例应用至视频编码或译码方法，其可操作以依据界定量化步阶尺寸之选择的量化参数，而量化4:4:4或4:2:2格式中之频率转换的亮度及彩色成分数据之区块。量化参数关联(诸如例如，图29A或图29B中之适当的表)系界定亮度与彩色量化参数之间，其中该关联系使得对于4:2:2格式，最大彩色量化步阶尺寸小于最大亮度量化步阶尺寸(例如，45)，但对于4:4:4格式则相等于最大亮度量化步阶尺寸(例如，51)。量化处理操作以产生量化之空间频率数据的对应区块，其中频率转换之数据的各成分系通过导出自个别量化步阶之个别值而予划分，以及结果被修整为整数值。

将理解的是，划分及修整步骤指示依据个别量化步阶尺寸(或导出自其之数据，例如，通过Q矩阵之施加)之一般性量化阶段的实例。

实施例包含选择量化参数或索引(用于亮度之QP)用以使空间频率系数量化，该量化参数依据可应用至亮度数据的QP表而对一组量化步阶之个别者扮演参考值的角色。然后，界定量化参数关联的处理可包含：对于彩色成分，参考依据所选择的量化参数之修正量化参数的表(诸如图29A或图29B之表)，其依序包含(i)对于第一彩色成分，添加第一偏置(诸如chroma_qp_index_offset)至量化参数，且在表中，选择对应于登录之修正的量化索引，用以使该量化索引增加该第一偏置；以及(ii)对于第二彩色成分，添加第二偏置(诸如second_chroma_qp_index_offset)至量化参数，且在表中，选择对应于输入之修正的量化索引，用以使该量化索引增加该第二偏置；以及参考依据用于亮度数据之量化参数和用于第一及第二彩色成分之第一及第二修正的量化索引之该组中的个别量化步阶尺寸。当以不同方式观察时，此系包含选择量化参数用以使空间频率系数量化之处理的实例，该量化参数对一组量化步阶之个别者扮演参考值的角色；且其中界定步骤包含：对于彩色成分，参考依据所选择的量化参数之修正量化参数的表，该参考步骤包含：对于各彩色成分，添加个别的偏置至量化参数，且在表中，选择对应于登录之修正的量化参数，用以使该量化参数增加个别之偏置；以及参考依据依据用于亮度数据之量化参数和用于第一及第二彩色成分之第一及第二修正的量化参数之该组中的个别量化步阶尺寸。

该等技术系特别可应用至其中在该组中之该等量化步阶尺寸的连续值系对数地相关联之配置，以致使m(其中m系整数)之量化参数中的改变表示通过p之因子(其中p系大于1的整数)的量化步阶尺寸中的改变。在本发明实施例中，m＝6及p＝2。

在实施例中，如上述，最大亮度量化参数系51；对于4∶2∶2格式，最大彩色量化参数系45；以及对于4∶4∶4格式，最大彩色量化参数系51。

在实施例中，第一及第二偏置可以与编码之视频数据相关联而被连系。

在4∶2∶0中，最初，转换矩阵A系使用：

而由真正常态化之N×N DCT A’的该等者所产生(通过转换单元340)，其中i及j指示矩阵内之位置。相对于常态化之转换矩阵的此缩放提供精确度中的增加，避免分次计算之需，以及增加内部精准度。

当忽略由于A_ij之修整的差异时，因为X系乘以A及A^T二者(矩阵A之移项)，所以生成之系数与通过：

的共同缩放因子之真正常态化M×N(M＝高度、N＝宽度)的该等者不同。

注意的是，该一般缩放因子可与此实例不同。而且，请注意的是，矩阵乘以A及A^T二者可以以各种方式加以执行，诸如蝶形方法(Butterfly method)。表明的事实在于所执行之该运算是否相等于传统的矩阵乘法，而非其是否以特殊传统的运算序列予以执行。

此缩放因子系等效于通过若干位转换偏移(transformShift)之二元左移位元运算，因为在HEVC中，此产生2的乘方：

transformShift＝(12+0.5log₂(N)+0.5log₂(M))

为了要降低内部位精准度上之需求，该等系数系在转换处理期间右移两次(使用正修整)：

shift1＝log₂(N)+bitDepth-9

shift2＝log₂(M)+6

因而，当该等系数离开顺向转换过程且进入量化器时，它们系通过下式而有效地左移：

resultingShift(全面偏移)＝(12+0.5log₂(NM))-(shift1+shift2)

＝(12+0.5log₂(N)+0.5log₂(M))-(log₂(N)+bitDepth-9+log₂(M)+6)

＝15-(0.5log₂(N)+0.5log₂(M)+bitDepth)

在4∶2∶0中，由频率转换所产生之频率分离(例如，DCT)系(2^{resultingShift})之因子，其大于常态化DCT将产生之该等者。

在若干实施例中，该等区块系具有2∶1纵横比之正方形或矩形。因此，对于N×M之区块大小：

N＝M，在该情况中，resultingShift系整数且S＝N＝M＝sqrt(NM)；或

0.5N＝2M或2N＝0.5M，在该情况中，resultingShift仍系整数且S＝sqrt(NM)

resultingShift＝15-(0.5log₂(N)+0.5log₂(M)+bitDepth)＝15-(log₂(S)+bitDepth)

随后，将该等系数量化，其中量化除数系根据量化参数QP而加以导出。

注意的是，resultingShift系等于整数，所以共同缩放因子系2的整数乘方，该转换过程之全面左移〝resultingShift〞亦系通过施加相等但相反的右移〝quantTransformRightShift〞而在此阶段被说明。

因为resultingShift系整数，所以位偏移操作系可能的。

而且，请注意的是，如上述，除数-QP(量化参数或索引)关系遵循2之基的乘方曲线，其中在QP中增加6具有使除数加倍之功效，而在QP中增加3则具有增加除数sqrt2(2之平方根)之因子的功效。

由于在4∶2∶2中之彩色格式，所以具有更多的TU宽度：高度(N∶M)比：

N＝M(根据前文)其中S＝N＝M＝sqrt(NM)(resultingShift系整数)

0.5N＝2M及2N＝0.5M(根据前文)其中S＝sqrt(NM)(resultingShift系整数)

N＝2M 其中S＝sqrt(NM)

2M＝N 其中S＝sqrt(NM)

4N＝0.5M 其中S＝sqrt(NM)

resultingShift＝15-(log₂(S)+bitDepth)

在该等后者之三个情势中，resultingShift并非整数。例如，此可应用于其中视频数据取样的区块之至少若干者包含M×N取样，其中N/M的平方根并不等于2的整数方。该区块尺寸可在若干本发明实施例中，相对于彩色取样而发生。

因而，在该等情况中，以下技术系与视频编码或译码方法，设备或程序相关联，也就是说，其系可操作用以通过使用包含整数值数组之转换矩阵而执行频率转换于视频数据取样的区块上，该等整数值系相对于常态化转换矩阵之个别的值而各自地缩放相依于该转换矩阵之尺寸的数量；以及用以根据选择的量化步阶尺寸而量化空间频率数据，其具有通过以转换矩阵矩阵相乘区块及转换矩阵之移项而频率转换视频数据取样之区块的步骤，用以通过共同缩放因子(例如，resultingShift)而产生缩放之空间频率系数的区块，该等系数系大于将由视频数据取样之该区块的常态化频率转换所产生之空间频率系数。

因此，在量化阶段，无法使用适当的位偏移操作而以简单方式抵销该操作。

对此之解决方法系提议如下：

在量化器阶段，施加右移：

quantTransformRightShift＝15-log2(S’)-bitDepth

其中该值S’系导出使得

resultingShift-quantTransformRightShift＝+1/2

quantTransformRightShift是整数

在1/2之位移间的差异系相等于通过sqrt(2)的乘法，亦即，在此点，该等系数系大于它们应有之sqrt(2)倍，而使位偏移整数个位偏移。

对于量化过程，施加(QP+3)之量化参数意指的是，量化除数系有效地增加sqrt(2)之因子，而藉以抵消来自前一步骤的sqrt(2)缩放因子。

因而，可概述该等步骤(在视频编码或译码方法(或对应之设备或程序)的情况中，其系可操作用以通过使用包含整数值数组之转换矩阵而执行频率转换于视频数据取样的区块上，该等整数值系相对于常态化转换矩阵之个别的值而各自地缩放相依于该转换矩阵之尺寸的数量；以及用以根据选择的量化步阶尺寸而量化空间频率数据，其包含通过以转换矩阵矩阵相乘区块及转换矩阵之移项而频率转换视频数据取样之区块，用以通过共同缩放因子而产生缩放之空间频率系数的区块，该等系数系大于将由视频数据取样之该区块的常态化频率转换所产生之空间频率系数)如下：选择量化步阶尺寸，用以量化空间频率系数；施加n位偏移(例如，quantTransformRightShift)，用以通过2ⁿ之因子而除所缩放之空间频率系数之各者，其中n系整数；以及侦测剩余缩放因子(例如，resultingShift-quantTransformRightShift)系由2ⁿ所除之共同缩放因子。例如，在上述情势中，量化步阶尺寸系接着依据剩余缩放因子而产生修正之量化步阶尺寸；以及在区块中之缩放的空间频率之各者系除以依据修正之量化步阶尺寸及修正结果为整数值的值，用以产生量化之空间频率数据的区块。如所讨论地，量化步阶尺寸之修正可通过添加偏置至QP而予以简单地执行，以便当映射QP至量化步阶尺寸的表之内时，选择不同的量化步阶尺寸。

现在，该等系数系用于原始QP之正确大小。

转换矩阵可包含整数值之数组，该等整数值系相对于常态化转换矩阵之个别的值而缩放相依于转换矩阵之尺寸的数量。

其跟随的是，用于S’之所需的值常可被导出如下：

S’＝sqrt(2＊M＊N)

做为选择性之提议，S’可被导出使得：

resultingShift-quantTransformRightShift＝-1/2

在此情况中，S’＝sqrt(1/2*M*N)，且所施加之量化参数系(QP-3)。

在该等情况的各者中(添加3至QP或自QP减3)，选择量化步阶尺寸的步骤包含选择量化索引(例如，QP)，该量化索引界定量化步阶尺寸之表中的个别登录，以及修正步骤包含改变量化索引，以便选择不同的量化步阶尺寸，使得不同的量化步阶尺寸对原始所选择的量化步阶尺寸之比例系实质地相等于剩余缩放因子。

此工作得特别良好，其中，如在本发明之实施例中，在表中之量化步阶尺寸的连续值系对数地相关联，以致使m(其中m系整数)之量化索引(例如，QP)中改变表示量化步阶尺寸改变p之因子(其中p系大于1的整数)。在本发明之实施例中，m＝6及p＝2，以致使QP中之6的增加表示所施加之量化步阶尺寸的加倍，以及在QP中之6的减少表示生成之量化步阶尺寸的减半。

如上述，该修正可通过选择相对于亮度取样的量化索引(例如，QP基)；产生与选择用于亮度取样之量化索引相关联的量化索引偏置，以供彩色成分的各者或二者之用；依据剩余缩放因子而改变量化编置；以及与编码之视频数据相关联而传达该量化索引偏置，而予以执行。在HEVC的实施例中，用于该二彩色频道的QP偏置系以比特流而加以传送。该等步骤对应其中可将+/-3之QP偏置(为说明剩余缩放因子)结合至该等偏置之内，或当使用该等偏置以导出彩色QP时，可将它们增量/减量的系统。

注意的是，若使用不同形状的区块时，QP偏置无需一定要系+/-3；而+/-3仅系表示可应用至上述相对于例如，4:2:2视频之区块形状及纵横比的偏置。

在若干实施例中，n(如所施加之位偏移)系选择使得2ⁿ大于或等于共同缩放因子。在其他实施例中，n系选择使得2ⁿ小于或等于共同缩放因子。在实施例(使用该等配置之任一者)中，可选择位偏移n以便成为最靠近(在任一方向中)共同缩放因子之下一者，使得剩余缩放因子表示具有小于2之大小的因子。

在其他实施例中，量化步阶尺寸之修正可通过使该量化步阶尺寸乘以相依于剩余缩放因子之因子，而予以简单地执行。也就是说，该修正无需包含修正索引QP。

而且，请注意的是，如上述之量化步阶尺寸无需一定要系其中转换的取样系由其所划分之实际量化步阶尺寸。以此方式所导出之量化步阶尺寸可予以进一步修正。例如，在若干配置中，该量化步阶尺寸系通过值之矩阵(Q矩阵)中之个别的登录而予以进一步修正，以致使不同的最终量化步阶尺寸系使用于系数之量化区块之不同的系数位置处。

而且，值得注意的是，在4:2:0方案中，最大的彩色TU系16×16，而对于4:2:2方案，16×32TU系可能的，且对于4:4:4，32×32彩色TU系可能的。因此，在实施例中，系提议用于32×32彩色TU之量化矩阵(Q矩阵)。同样地，Q矩阵应被界定用于诸如16×32TU之非正方形TU，而一实施例系较大正方形Q矩阵的子取样。

Q矩阵可通过以下之任一者而加以界定：

在格栅中之值(关于4×4及8×8Q矩阵)；

空间地插补自个别之较小或较大的矩阵；

-在HEVC中，较大的Q矩阵可由较小参考者之系数的个别组群所导出，或较小的矩阵可被子取样自较大的矩阵。注意的是，此插补或子取样可在频道比之内被执行-例如，用于频道比之较大矩阵可通过用于该频道比之较小者而予以插补。

与其他Q矩阵有关者(亦即，不同的值，或差量)；

-因此，仅需传送该等差量。

仅取小的实例以供描绘性目的之用，诸如相对于4:2:0的4×4矩阵之用于一频道比的特殊矩阵可被界定：

(a b)

(c d)

其中a，b，c，及d系个别系数。此扮演参考矩阵之角色。

本发明之实施例可接着相对于另一频道比而界定一组不同的值，以供相似尺寸的矩阵之用：

(diff1 diff2)

(diff3 diff4)

使得为了要产生用于其他频道比之Q矩阵，差值之矩阵被矩阵相加至该参考矩阵。

取代差值，可界定乘法因子的矩阵以供其他频道比之用，使得(i)乘法因子之矩阵系与参考矩阵矩阵相乘，用以产生用于其他频道比之Q矩阵，或(ii)在参考矩阵中之各系数系由个别因子所分别地相乘，用以产生用于其他频道比的Q矩阵。

做为另一Q矩阵之函数；

-例如，与另一矩阵相关联之缩放比(使得上述实例中之a、b、c、及d之各者系乘以相同的因子，或具有相同的差值被添加至其)。此降低用以传输差值或因子数据之资需求。

-因此，仅需传送该等函数之系数(诸如缩放比)。

做为方程式/函数(例如，每件之线性曲线、指数、多项式)；

-因此，仅需传送该等方程式之系数，用以导出该矩阵，

或上述之任何组合。例如，实际上，a、b、c、及d之各者可由函数所界定，该函数可包含在矩阵内之系数位置(i，j)上之相依性。例如，(i，j)可表示矩阵之自左至右的系数位置，紧随着自顶部至底部的系数位置。实例系：

系数_ij＝3i+2j

注意的是，可将Q矩阵称为HEVC环境内之缩放列表。在其中量化系在扫描处理之后施加的实施例中，所扫描的数据可系连续数据取样的线性流。在该等情况中，Q矩阵的概念仍施加，但矩阵(或扫描列表)可被视为1×N矩阵，使得在1×N矩阵内之N个数据值顺序对应其中个别的Q矩阵值将被施加之扫描取样的顺序。换言之，具有1:1的关系于扫描数据中的数据顺序、依据扫描图案的空间频率、及在1×N Q矩阵中的数据顺序之间。

注意的是，在若干实施例中，可旁路或省略DCT(频率分离)阶段，但要保持量化阶段。

其他有用的信息包含其中该等值系与其他矩阵相关联选用指示器，亦即，前一频道或第一(初始)频道；例如，如所示地，用于Cr之矩阵可系用于Y、或用于Cb之矩阵的缩放因子。

因而，本发明之实施例可提供视频编码或译码方法(及对应之设备或计算机程序)，其系可操作通过(选用地)执行频率转换于视频数据取样的区块上，且依据选择的量化步阶尺寸及修正该量化步阶尺寸之数据的矩阵以供使用于取样之有序区块(诸如频率转换取样之有序区块)内之不同的个别区块位置之用，用以量化该视频数据(诸如空间频率数据)，而产生量化之空间频率数据的区块，该方法系可相对于至少两个不同的彩色子取样格式而操作。

对于该等彩色子取样的至少一者，一或多个量化矩阵系相对于一或多个参考量化矩阵而被界定为一或多个预订的修正，该等参考量化矩阵系界定用于彩色子取样格式的参考者。

在本发明之实施例中，界定步骤包含界定一或多个量化矩阵做为值之矩阵，而该等值之各者系由参考量化矩阵之个别的复数个值所插补。在其他实施例中，界定步骤包含界定一或多个量化矩阵做为值之矩阵，而该等值的各者系子取样自参考量化矩阵的值。

在本发明之实施例中，界定步骤包含相对于参考量化矩阵的对应值而界定一或多个量化矩阵做为差值之矩阵。

在本发明之实施例中，界定步骤包含界定一或多个量化矩阵做为参考量化矩阵之值的预定函数。在该等情况中，该预定函数可系多项式函数。

在本发明之实施例中，以下之一者或二者系提供做为例如，编码之视频数据的一部分或与编码之视频数据相关联：(i)参考指示器之数据，用以相对于编码之视频数据而指示参考量化矩阵；以及(ii)修正指示器之数据，用以相对于编码之视频数据而指示一或多个预定的修正。

该等技术系特别地可应于其中该等彩色子取样的二者系4:4:4及4:2:2格式。

在HEVC 4:2:0中之Q矩阵的数目系现行地6用于各转换尺寸：3用于对应频道，以及一组用于帧内及用于帧间。在4:4:4GBR方案的情况中，将理解的是，可使用量化矩阵的任一组以供所有频道之用，或可使用量化矩阵之三个个别的组。

在本发明之实施例中，该等矩阵之至少一者系1×N矩阵。此将系其中一或多个矩阵实际系缩放列表或其类似者的情况(如在此所述地)，而成为系数之线性1×N有序数组。

所提议之解决方法包含减量或增量所施加之QP。然而，此可以以若干方式予以达成。

在HEVC中，用于该二彩色频道之QP偏置系传送于比特流中。该+/-3可结合至该等偏置之内，或当使用该等偏置以导出彩色QP时，可将该等偏置增量/减量。

如上文所讨论地，(亮度QP+彩色偏置)系使用做为表之索引，以便导出彩色QP。此表可被修正用以结合该+/-3(亦即，通过以3增量/减量原始之表的值)。

在已导出彩色QP之后，依照正常HEVC处理，可接着将结果增量(或减量)3。

做为用以修正QP之选择列，可使用sqrt(2)或1/sqrt(2)之因子以修正量化系数。

对于顺向/反向量化，除法/乘法处理系通过使用(QP％6)做为表之索引而予以实施，用以获得量化系数或量化步阶尺寸，反向Q步阶/缩放Q步阶。在此，QP％6意指QP模6)。注意的是，如上述，此并不表示所施加至转换数据之最终的量化步阶尺寸；而是可在使用前，通过Q矩阵将其予以进一步修正。

在HEVC中的缺设表示系长度6，涵盖倍频(加倍)之值。此系单纯降低储存需求之意义；该等表系通过依据QP之模数(模6)选择表中之登录，且然后，乘以或除以2之适当乘方，根据来自预定基值之(QP-QP模6)的差值，而予以扩展以供实际使用之用。

此配置可加以变化，而允许用于QP值中之+/-3的偏置。该偏置可在表之对照处理中被施加，或上述之模数处理可使用修正之QP而予以取代地执行。然而，假设偏置系在表对照时施加，则可如下地提供额外的登录于表之中：

一选择例系以3个登录扩展该表，其中该等新的登录系如下(用于6至8之索引值)。

在图30中所示的实例表将由[(QP％6)+3]所索引(〝QP增量方法〞)，其中记号QP％6表示〝QP模6〞。

在图31中所示的实例表将由[(QP％6)-3]所索引(〝QP减量方法〞)，具有用于-1至-3之索引值的额外登录。

熵编码

基本的熵编码包含指定码字至输入的数据符号，其中最短的可用码字系指定至该输入的数据之最可能的符号。平均而言，结果系无损失，但更小地表示输入的数据。

此基本方案可通过辨识出最近在前之数据上的符号机率常系条件性，而予以进一步地改善，且因此，使该指定处理上下文适应。

在该方案中，上下文变量(CV)系使用以决定个别之机率模型的选择，且该等CV系提供用于HEVC 4:2:0方案中。

为了要扩展熵编码至4:2:2方案，而该方案将使用例如，4×8彩色TU而非用于8×8亮度TU之4×4TU，可通过简单地垂直重复等效之CV选择而选用地提供该等上下文变量。

然而，在本发明之实施例中，CV选择并不重复用于顶部左边系数(亦即，高能量、DC、及/或低空间频率系数)，且取代地，新的CV被导出。在此情况中，例如，可将映像导出自亮度映像。此方式亦可使用于4:4:4方案。

在编码期间，于4:2:0方案中，所谓z字形扫描自高至低频率顺序地扫描该等系数。然而，请再注意的是，在4:2:2方案中之彩色TU可系非正方形，且因此，在本发明之实施例中，不同的彩色扫描系以倾斜而使其更水平，或更一般地，回应TU之从横比的扫描角度予以提议。

相似地，对于效映像之CV选择的附近以及用于大于1及大于2之CV选择的c1/c2系统可一致地适应。

同样地，在本发明之实施例中，最后有效系数位置(其在译码期间变成起始点)亦可被调整用于4:4:4方案，而用于彩色TU之最后有效位置系微分编码自协同定位的亮度TU之最后有效位置。

该系数扫描亦可被做成相依于某些TU尺寸之预测模式。因此，不同的扫描序列可根据内预测模式而使用于一些TU尺寸。

在4:2:0方案中，模式相依之系数扫描(MDCS)仅系施加用于4×4/8×8亮度TU及4×4彩色TU，以供内预测之用。MDCS系根据内预测模式，考虑距离水平及垂直+/-4之角度而予以使用。

在本发明之实施例中，所提议的是，在4:2:2方案中，MDCS系施加至4×8及8×4彩色TU，以供内预测之用。相似地，所提议的是，在4:4:4方案中，MDCS系施加至8×8及4×4彩色TU。用于4:2:2之MDCS仅可在水平或垂直方向做成，以及4:4:4彩色对4:4:4亮度对4:2:2彩色对4:2:2亮度对4:2:0亮度之角度范围可系不同的。

循环内滤波器

解区块

解区块系施加至所有的CU、PU、及TU边界，且CU/PU/TU形状并不予以考虑。滤波器长度及尺寸系根据局部统计而定，且解区块具有8×8亮度像素之颗粒度。

因此，可预期的是，所施加用于4:2:0方案之目前的解区块亦应可应用于4:2:2及4:4:4方案。

取样适应性偏置

在取样适应性偏置(SAO)中，各频道系完全地独立。SAO使用四分树(quad-tree)而分割影像数据用于各频道，且生成之区块系在尺寸上至少一LCU。该等叶状区块系配向至LCU边界，且各叶状物可如编码器所决定地延伸于三模式之一者(〝中央带偏置〞，〝侧带偏置〞，或〝边缘偏置〞)。各叶状物分类其之像素，且编码器通过比较SAO输入数据与源数据而导出用于16个分类之各者的偏置值。该等偏置系传送至译码器。用于解码之像素种类的偏置系添加至其值，用以使来源之偏差最小化。

此外，SAO系致能或使失能于图像位准；若致能用于亮度时，则其亦可被分别致能用于各彩色频道。因此，SAO将仅在被施加至亮度时，才会被施加至彩色。

因而，该处理系大大地简易于根本之区块方案，且可预期的是，目前所施加用于4:2:0方案之SAO亦应可应用于4:2:2及4:4:4方案。

适应性循环滤波

在4:2:0方案中，适应性循环滤波(ALF)系通过缺设而使失能。然而，原则上(亦即，若允许时)，则ALF将被施加至用于彩色的整个图像。

在ALF中，取样可如HEVC文献所决定地被分类为若干种类的其中一者；各种类使用不同的维纳为主(Wiener-based)滤波器。

对照地，在4:2:0中，彩色取样并未被分类-仅具有-维纳为主滤波器用于Cb，以及一用于Cr。

因此，在本发明之实施例中，依照4:2:2及4:4:4方案中所增加之彩色信息，所提议的是，将彩色取样分类；例如，以K种类用于4:2:2以及以J种类用于4:4:4:。

虽然在4:2:0方案中，可使用ALF控制旗标而以每CU为基础(向下至ALF控制深度所指明之CU位准)使ALF失能，但对于彩色，仅可以以每图像为基础使其失能。注意的是，在HEVC中，目前之此深度仅受限于LCU位准。

因而，在本发明之实施例中，4:2:2及4:4:4方案系以一或两个两频道特定ALF控制旗标提供用于彩色。

句法

在HEVC中，句法系已存在用于指示4:2:0、4:2:2、或4:4:4方案，且系以关联位准予以指示。然而，在本发明之实施例中，所提议的是，亦以此位准指示4:4:4GBR编码。

数据信号

将理解的是，由上述编码设备的变化例所产生之数据信号，及承载该等信号之储存或传输媒体系视为表示本发明之实施例。

通过以下编号条款来限定各个实施例的特征

1.一种视频编码方法，相对于4:2:2格式视频信号的影像操作，包括：

将被编码的影像划分成为编码单元、预测单元、及转换单元以供编码之用，编码单元系亮度取样及对应彩色取样的正方形数组，而在编码单元中具有一或多个预测单元，且在编码单元中具有一或多个转换单元；其中预测单元系预测的基本单元，以致使单一预测单元内的所有取样使用共同的预测技术而予以预测，以及转换单元系转换及量化的基本单元；

致能非正方形转换以便允许非正方形预测单元；并且

选择转换单元区块尺寸以与预测单元区块布局对齐。

2.根据条款1所述的方法，包括：

致能非对称移动划分以允许对应单一编码单元之二或多个预测单元间的非对称。

3.根据条款1或条款2所述的方法，其中选择转换单元区块尺寸的步骤包括：

侦测对应于预测单元的影像的各部分中的影像特征；并且

选择相对于该PU的TU区块尺寸，以便使TU边界与该影像的该部分中之影像特征的边缘对齐。

4.根据条款3所述的方法，其中选择转换单元区块尺寸的步骤包括：

依据相对于各个预测单元的尺寸限定的除数(division)的树状结构，选择转换单元区块尺寸用于从编码单元导出的一个或多个变换单元。

5.根据上述任一项条款所述的方法，其中选择转换单元区块尺寸的步骤包括：根据所选择的编码单元和预测单元的组态从以下表中选择转换单元区块尺寸：

其中层次0、层次1和层次2表示除数的树状结构中的连续层次，n/a表示未允许的模式，各区块的大小由(水平尺寸)×(垂直尺寸)×(情况之数目，如果适用)的符号表示，并且N是大于1的整数。

6.根据条款1至4中任一项所述的方法，其中选择转换单元区块尺寸的步骤包括：根据所选择的编码单元和预测单元的组态从以下表中选择转换单元区块尺寸：

其中层次0、层次1和层次2表示除数的树状结构中的连续层次，n/a表示未允许的模式，各区块的大小由(水平尺寸)×(垂直尺寸)×(情况之数目，如果适用)的符号表示，并且N是大于1的整数。

7.根据前述条款任一项所述的方法，包括：在转换或量化该转换单元之前将非正方形转换单元分割成多个正方形单元。

8.一种计算机软件，在由计算机执行时，致使该计算机执行根据上述条款中的任一项所述的方法。

9.一种计算机可读取之非瞬时储存介质，其储存根据条款8所述的方法。

10.一种数据信号，包含编码之数据，系根据条款1至7中的任一项所述之方法而予以产生。

11一种视频编码设备，相对于4:2:2格式视频信号的影像操作，包括：

控制器，被配置为将被编码的影像划分成为编码单元、预测单元、及转换单元以供编码之用，编码单元系亮度取样及对应彩色取样的正方形数组，而在编码单元中具有一或多个预测单元，且在编码单元中具有一或多个转换单元；其中预测单元系预测的基本单元，以致使单一预测单元内的所有取样使用共同的预测技术而予以预测，以及转换单元系转换及量化的基本单元；致能非正方形转换以便允许非正方形预测单元；并且选择转换单元区块尺寸以与预测单元区块布局对齐。

通过以下编号条款限定进一步的各个实施例：

1.一种视频译码方法，系使用影像间之预测而编码输入的视频数据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N垂直分辨率，其中M及N系等于1或更大的整数，该方法包含：

储存目前影像之前的一或多个影像；

插补该等储存影像的较高分辨率版之预测单元，以致使该等插补的预测单元之该等亮度成分具有该等储存影像的对应部分之水平分辨率P倍的水平分辨率，及该等储存影像的该等对应部分之垂直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；

侦测目前影像与该一或多个插补的储存影像间的影像间之移动，以便产生该目前影像的预测单元与该一或多个在前之影像的区域之间的移动向量；以及

相对于由个别移动向量所指出之该等插补的储存影像的区域，而产生该目前影像的该预测单元之移动补偿预测，

其中该插补步骤包含：

施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色成分，用以产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

2.根据条款1之方法，其中M＝2以及N＝1。

3.根据条款2之方法，其中该输入的视频数据系4:2:2格式。

4.根据条款3之方法，其中该等插补的彩色预测单元具有取样中之高度，该取样中之高度系使用相同的xR及xS插补滤波器所插补之4:2:0格式预测单元的该者之两倍。

5.根据条款2之方法，该方法系相对于4:2:0输入的视频数据及4:2:2输入的视频数据，而可使用相同的xR水平及xS垂直插补滤波器分别地操作。

6.根据前述条款中任一项之方法，其中P＝4。

7.根据前述条款中任一项之之方法，其中Q＝4。

8.根据前述条款中任一项之之方法，其中子取样该等插补的彩色预测单元之该步骤包含使用垂直方向中之该等插补的彩色预测单元之每第V个取样。

9.根据前述条款中任一项之之方法，其中子取样该等插补的彩色预测单元之该步骤包含使用垂直方向中之该等插补的彩色预测单元之每第U个取样。

10.根据前述条款中任一项之之方法，包含：

导出亮度移动向量用于预测单元；以及

独立导出一或多个彩色移动向量用于该预测单元。

11.根据前述条款中任一项之之方法，其中R及S的至少一者系等于2或更大。

12.根据前述条款中任一项之之方法，包含施加xR水平及xS垂直插补滤波器至该等储存影像的该等亮度成分。

13.根据前述条款中任一项之之方法，其中该子取样包含选择该等插补的彩色预测单元之取样的子集。

14.一种视频编码方法，系使用影像间之预测而编码输入的视频数据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N垂直分辨率，其中M及N系等于1或更大的整数，该方法包含：

储存目前影像之前的一或多个影像；

插补该等储存影像的较高分辨率版之预测单元，以致使该等插补的预测单元之该等亮度成分具有该等储存影像的对应部分之水平分辨率P倍的水平分辨率，及该等储存影像的该等对称部分之垂直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；

侦测目前影像与该一或多个插补的储存影像间的影像间之移动，以便产生该目前影像的预测单元与该一或多个在前之影像的区域之间的移动向量；以及

相对于由个别的移动向量所指出之该等插补的储存影像的区域，而产生该目前影像之该预测单元之移动补偿预测，

其中该插补步骤包含：

施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色成分，而产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

15.一种计算机软件，当由计算机所执行时，其致使该计算机执行如条款1至14中任一项之方法。

16.一种计算机可读取之非瞬时储存媒体，其储存如条款15之软件。

17.一种数据信号，包含编码之数据，系依据条款1至14中任一项之方法而予以产生。

18.一种视频译码设备，系使用影像间之预测而编码输入的视频数据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N垂直分辨率，其中M及N系等于1或更大的整数，该设备包含：

影像储存器，系组构用以储存目前影像之前的一或多个影像；

插补器，系组构用以插补该等储存影像的较高分辨率版之预测单元，以致使该等插补的预测单元之该等亮度成分具有该等储存影像的对应部分之水平分辨率P倍的水平分辨率，及该等储存影像的该等对应部分之垂直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；

侦测器，系组构用以侦测目前影像与该一或多个插补的储存影像间的影像间之移动，以便产生该目前影像的预测单元与该一或多个在前之影像的区域之间的移动向量；以及

产生器，系组构用以相对于由个别的移动向量所指出之该等插补的储存影像的区域，而产生该目前影像的该预测单元之移动补偿预测，

其中，该插补器系组构：

用以施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色成分，而产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

19.一种视频编码设备，系使用影像间之预测而编码输入的视频数据，其中各彩色成分具有亮度成分的1/M水平分辨率及该亮度成分的1/N垂直分辨率，其中M及N系等于1或更大的整数，该设备包含：

影像储存器，系组构用以储存目前影像之前的一或多个影像；

插补器，系组构用以插补该等储存影像的较高分辨率版之预测单元，以致使该等插补的预测单元之该等亮度成分具有该等储存影像的对应部分之水平分辨率P倍的水平分辨率，及该等储存影像的该等对应部分之垂直分辨率Q倍的垂直分辨率，其中P及Q系大于1的整数；

侦测器，系组构用以侦测目前影像与该一或多个插补的储存影像间的影像间之移动，以便产生该目前影像的预测单元与该一或多个在前之影像的区域之间的移动向量；以及

产生器，系组构用以相对于由个别的移动向量所指出之该等插补的储存影像的区域，而产生该目前影像的该预测单元之移动补偿预测，

其中该插补器系组构：

用以施加xR水平及xS垂直插补滤波器至该等储存影像的该等彩色成分，而产生插补的彩色预测单元，其中R系相等于(U×M×P)且S系相等于(V×N×Q)，U及V系等于1或更大的整数；以及

子取样该等插补的彩色预测单元，以致使其水平分辨率系除以U之因子且其垂直分辨率系除以V之因子，而藉以产生MP×NQ个取样的区块。

20.一种视频捕获、显示、传输、接收及/或储存设备，包含条款18或19之设备。

Claims (43)

1.一种用于译码表示预测间视频的信号的方法，包括：

通过利用插补滤波器垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，并且

通过选择由所述插补滤波器生成的插补的取样的子集来获得所述相同有效的分辨率。

2.根据权利要求1所述的方法，其中，用于亮度和色度的所述取样数组具有不同大小。

3.根据权利要求1或者2所述的方法，其中，所述插补的取样表示所述数组内的插补位置。

4.根据权利要求1至3中任一项所述的方法，其中，所述相同有效的分辨率是子像素分辨率。

5.根据权利要求1至4中任一项所述的方法，其中，所述预测间视频包括4:2:2子取样格式的视频。

6.根据权利要求1至5中任一项所述的方法，其中，所述子像素分辨率对于亮度取样数组是1/4，并且对于色度取样数组中的至少一部分色度取样是1/8。

7.根据权利要求1至6中任一项所述的方法，其中，所述插补的取样的子集是替变值。

8.根据权利要求1至7中任一项所述的方法，其中，所述插补的取样的子集是偶数子像素位置。

9.根据权利要求1至8中任一项所述的方法，其中，所述插补滤波器是4抽头滤波器，所述4抽头滤波器被用于水平地和垂直地插补色度取样数组。

10.根据权利要求9所述的方法，其中，所述4抽头滤波器是x8滤波器。

11.根据权利要求1至8中任一项所述的方法，其中，不同的滤波器被用于亮度取样数组和色度取样数组。

12.根据权利要求11所述的方法，其中，用于色度取样的所述插补滤波器是以2的因子进行子取样的x8滤波器，并且用于亮度子取样的所述插补滤波器是x4滤波器。

13.根据权利要求1至8中任一项所述的方法，其中，所述色度取样数组以8进行垂直地插补，然后以2的因子进行子取样。

14.根据权利要求1至8中任一项所述的方法，其中，移动向量指出所述数组的子像素位置。

15.根据权利要求1至8中任一项所述的方法，其中，使用所述插补滤波器插补色度频道及彩色频道两者的数组。

16.一种用于译码表示预测间视频的信号的视频译码设备，包括：

插补滤波器，被配置为通过垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，所述视频译码设备进一步被配置为通过选择垂直插补的取样的子集来获得所述相同有效的分辨率。

17.根据权利要求16所述的视频译码设备，其中，所述插补滤波器是4抽头滤波器，所述4抽头滤波器用于水平地和垂直地插补色度取样数组。

18.根据权利要求17所述的视频译码设备，其中，所述4抽头滤波器是x8滤波器。

19.一种用于编码表示预测间视频的信号的方法，包括：

通过利用插补滤波器垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，并且

通过选择由所述插补滤波器生成的插补的取样的子集来获得所述相同有效的分辨率。

20.一种用于编码表示预测间视频的信号的视频编码设备，包括：

插补滤波器，被配置为通过垂直地插补色度取样数组，将用于亮度和色度的取样数组插补至子像素分辨率以致具有相同有效的分辨率，视频译码设备进一步被配置为通过选择垂直插补的取样的子集来获得所述相同有效的分辨率。

21.一种计算机可读取之非瞬时储存介质，储存计算机软件，所述计算机软件在由计算机执行时，使所述计算机执行根据权利要求1至15及19中的任一项所述的方法。

22.一种视频译码设备，关于空间频率数据的区块进行操作，以通过应用生成相对于将由所述空间频率数据的区块的常态化频率转换所产生的视频数据取样而各自地缩放共同缩放因子的视频数据取样的区块的频率转换来执行频率转换，并且根据量化步阶尺寸进行解量化，所述视频译码设备包括：

移位器，被配置为施加n位偏移以将由所述视频译码设备处理的数据除以2ⁿ的因子，其中，n是整数；

检测器，被配置为检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；

数据修正器，被配置为根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；

乘法器，被配置为将用于解量化的各数据取样乘以取决于所述修正的量化步阶尺寸的值；以及

频率转换器，用以应用所述频率转换。

23.根据权利要求22所述的视频译码设备，包括选择量化索引的选择器，所述量化索引界定量化步阶尺寸的表中的个别登录。

24.根据权利要求23所述的视频译码设备，其中，所述数据修正器被配置为改变所述量化索引，以便选择不同的量化步阶尺寸，使得所述不同的量化步阶尺寸对原始选择的量化步阶尺寸的比例实质上等于所述剩余缩放因子。

25.根据权利要求24所述的视频译码设备，其中：

所述选择器被配置为选择相对于亮度取样的量化索引，并且产生与选择用于所述亮度取样的量化索引相关联的量化索引偏置，以供色度成分的各者或二者的取样之用；

所述数据修正器被配置为根据所述剩余缩放因子改变所述量化索引偏置。

26.根据权利要求23至25中任一项所述的视频译码设备，其中，在所述表中的所述量化步阶尺寸的连续值对数地相关联，使得量化索引m的改变表示量化步阶尺寸改变了p的因子，其中，m是整数，p是大于1的整数。

27.根据权利要求26所述的视频译码设备，其中，m＝6以及p＝2。

28.根据权利要求27所述的视频译码设备，其中，所述数据修正器被配置为以+/-3来修正所述量化索引。

29.根据权利要求27或者28所述的视频译码设备，其中，所述量化索引Index按照包括1.5m个登录的一个或多个表与量化步阶scaledQstep及其逆量化步阶inverseQstep相关联。

30.根据权利要求29所述的视频译码设备，其中，所述量化索引Index按照以下表中的一个或两个与所述量化步阶scaledQstep及其逆量化步阶inverseQstep相关联：

。

31.根据权利要求22至30中任一项所述的视频译码设备，所述视频译码设备被配置为选择n，使得2ⁿ大于或等于所述共同缩放因子。

32.根据权利要求22至30中任一项所述的视频译码设备，所述视频译码设备被配置为选择n，使得2ⁿ小于或等于所述共同缩放因子。

33.根据权利要求22所述的视频译码设备，其中，所述数据修正器被配置为将所述量化步阶尺寸乘以取决于所述剩余缩放因子的因子。

34.根据权利要求22至33中任一项所述的视频译码设备，其中，所述视频数据取样的区块中的至少一部分区块包括MxN取样，其中，N/M的平方根不等于2的整数幂。

35.根据权利要求34所述的视频译码设备，其中，所述至少一部分区块是色度取样的区块。

36.根据权利要求35所述的视频译码设备，其中，所述视频数据取样是4:2:2格式。

37.根据权利要求22至36中任一项所述的视频译码设备，其中：

所述频率转换器被配置为通过转换矩阵及转换矩阵的移项来矩阵相乘空间频率数据的区块，其中，所述转换矩阵包含整数值的数组，所述整数值相对于常态化转换矩阵的个别的值而各自地缩放所述共同缩放因子。

38.根据权利要求37所述的视频译码设备，其中，所述转换矩阵包含整数值的数组，所述整数值相对于常态化转换矩阵的个别的值而各自地缩放取决于所述转换矩阵的尺寸的数量。

39.根据权利要求22至38中任一项所述的视频译码设备，其中：

所述解量化被配置为相对于量化空间频率数据的区块进行操作以产生解量化的空间频率数据的区块；并且

所述频率转换器被配置为相对于所述解量化的空间频率数据的区块进行操作以产生视频数据取样的区块。

40.一种视频编码设备，可操作为通过对视频数据取样的区块执行频率转换而产生空间频率数据的区块并且根据所选择的量化步阶尺寸进行量化，所述视频编码设备包括：

频率转换器，被配置为频率转换视频数据取样的区块以产生空间频率系数的区块，所述空间频率系数相对于将由所述视频数据取样的区块的常态化频率转换所产生的空间频率系数而各自地缩放共同缩放因子；

选择器，被配置为选择用于量化的量化步阶尺寸；

移位器，被配置为施加n位偏移以除以2ⁿ的因子，其中，n是整数；

检测器，被配置为检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；

数据修正器，被配置为根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；以及

除法器，被配置为将用于量化的各数据值除以取决于所述修正的量化步阶尺寸的值并且将结果四舍五入为整数值。

41.一种视频译码方法，关于空间频率数据的区块进行操作，以通过应用生成相对于将由所述空间频率数据的区块的常态化频率转换所产生的视频数据取样而各自地缩放共同缩放因子的视频数据取样的区块的频率转换来执行频率转换，并且根据量化步阶尺寸进行解量化，所述视频译码方法包括：

施加n位偏移以将处理的数据除以2ⁿ的因子，其中，n是整数；

检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；

根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；

将用于解量化的各数据取样乘以取决于所述修正的量化步阶尺寸的值；并且

应用所述频率转换。

42.一种视频编码方法，可操作为：通过对视频数据取样的区块执行频率转换以产生空间频率系数从而产生空间频率数据的区块，所述空间频率系数相对于将由所述视频数据取样的区块的常态化频率转换所产生的系数而各自地缩放共同缩放因子；并且根据选择的量化步阶尺寸进行量化，所述视频编码方法包括：

频率转换视频数据取样的区块；

选择用于量化的量化步阶尺寸；

施加n位偏移以除以2ⁿ的因子，其中，n是整数；

检测剩余缩放因子，所述剩余缩放因子是除以2ⁿ的所述共同缩放因子；

根据所述剩余缩放因子修正所述量化步阶尺寸以产生修正的量化步阶尺寸；并且

将用于量化的各个数据值除以取决于所述修正的量化步阶尺寸的值并且将结果四舍五入为整数值。

43.一种机器可读非临时性储存介质，储存有计算机软件，所述计算机软件在由计算机执行时，使得所述计算机实施根据权利要求41或42所述的方法。