CN110447225A - 视频编解码变换 - Google Patents

Abstract

在视频数据中定义的图像被分割成包括亮度(luma)变换区块和色度(chroma)变换区块的区块。关于图片的一个或多个限制是由高级语法元素决定的，且若不满足限制，则不允许变换跳过亮度变换区块和色度变换区块两者中之一者。响应于被跳过的变换，将在比特流中的视频数据连同一个指示一起编码，所述指示表示亮度变换区块或色度变换区块的变换被跳过。

Description

视频编解码变换

交叉引用

本申请案主张于2017年3月23日提交的美国临时申请号62/475,245、发明名称为“Methods and Apparatus for Transform Coding”的权利，且上述申请整体以引用方式并入本文中。

技术领域

本申请涉及视频的编解码，尤其涉及视频编解码变换。

背景技术

高效率视频编解码(HEVC)是由视频编码联合协作小组(JCT-VC)开发的最新视频编解码标准，其结合了国际电信联盟(ITU)和国际标准化组织/国际电工委员会(ISO/IEC)的专业。与在其之前的高级视频编解码(AVC)一样，HEVC使用高级语法(high-levelsyntax，HLS)组件来定义输出比特流的结构并提供适用于多个图像或一帧内的多个编码区块区域的信息。根据哪些视频数据被编码并随后解码，HLS组件可被携带在包含控制信息的参数集中。

除其他之外，参数集包括强制各种编码/解码操作被覆盖或绕过的信息。举例而言，在常规编解码操作中，对数据区块执行变换以将区块中包含的样本数据转换为其频率表示。虽然这可以提高具有某些特性(举例而言，如高度可变的图形内容)的区块的编解码效率，但是如果省略了变换操作，则可以实现一些区块的更高编解码效率。因此，在HEVC中，视频数据区块可以在没有变换操作(被称为变换跳过)的情况下被编解码，并由HLS组件transform_skip_flag来指示变换操作。当transform_skip_flag等于一(1)时，关联数据区块在变换跳过模式下被编解码。否则，变换将被应用于关联的区块。

发明内容

本发明构思涵盖透过控制视频编解码系统中的变换跳过模式来提高效率的技术。在视频数据中定义的图像被分割成包括亮度(luma)变换区块和色度(chroma)变换区块的区块。与图像有关的一个或多个限制是根据高级语法元素决定，而如不满足限制，则不允许变换跳过亮度变换区块和色度变换区块两者中之一者。视频数据与一个指示一起被编码为比特流，响应正被跳过的变换该指示表明亮度变换区块或色度变换区块的变换被跳过。

附图说明

图1为可以实现本发明构思的范例系统的概要方块图。

图2为可以实现本发明构思的可以实现参数集的范例数据结构图。

图3为可以实现本发明构思的范例编码器的概要方块图。

图4为可以实现本发明构思的范例视频数据分割图。

图5为可以实现本发明构思的又一范例视频数据分割图。

图6为可以用于实现本发明构思的范例矩形方块分割图。

图7为可以实现本发明构思的另一范例视频数据分割技术。

图8为可以实现本发明构思的范例变换跳过流程的流程图。

图9为可以实现本发明构思的另一范例变换跳过流程的流程图。

图10A为可以实现本发明构思的亮度与区块处理的流程图。

图10B为可以实现本发明构思的另一范例变换跳过流程的流程图。

图11为可以实现本发明构思的另一范例变换跳过流程的流程图。

图12为可以实现本发明构思的范例解码器的概要方块图。

具体实施方式

透过某些实施例可以最佳地描述本发明的构思，其在本文中结合附图详细描述，其中相同的附图标记将通篇表示相同的特征。当在本文中使用术语“发明”时，应理解为本文旨在于指涉下面所述的实施例的基础发明构思，而不仅仅是实施例本身。应进一步理解，本发明的总体构思并不限于下面描述的说明性实施例，并且应该以此种方式阅读以下描述。

此外，在此使用词语“范例性”来表示“作为范例、实例或说明”。本文中指定为范例性的任何构造、流程、设计、技术等的实施例不一定被解读为优于或比其他这样的实施例有利。本文中作为示范表示的实例的特定质量或适用性既非既定的，也不应被推断。

图1为可以实现本发明构思的范例系统100的概要方块图。系统100可包括透过通信网络150在通信上耦合的一个或多个服务器装置110和一个或多个客户端装置140。服务器装置110可包括存储电路112、处理电路114和通信电路116，其可用于实现编码器120。类似地，客户端装置140可包括存储电路142、处理电路144和通信电路146，其可以用于实现解码器130。应理解的是，实现编码器120和解码器130的电路可以为通用微处理器或类似装置，或者可以在专用处理电路中实现。编码器120和解码器130可以遵循视频编解码标准(举例而言，高效视频编解码(HEVC)或任何其他视频编解码标准)来处理视频数据。服务器装置110可以被建构或以其他方式配置为透过网络150将视频内容传送至客户端装置140。

如图1所示，示范性编码器120将视频数据处理为比特流125。在一些实施例中，比特流125可透过数据传输接口(举例而言，网络存取层(NAL)单元127中的网络150)被转发。NAL单元127可以被分类为视频编解码层(video coding layer，VCL)NAL单元和非VCL NAL单元。VCL NAL单元包含表示视频图像样本的数据，而非VCL NAL单元包含任何相关的附加信息，如参数集和补充增强信息(可增强解码视频信号的可用性，但是对于解码视频图像中样本的值并非必需的定时信息和其他补充数据)。在一些其他实施例中，比特流125可以使用任何其他数据传输接口来传输、或者可以被存储在存储媒体中。

图2为可以实现参数集机制的范例数据结构图。视频数据的编码和解码的各个方面根据高级语法(HLS)组件进行，高级语法(HLS)组件包含在建立对图像层级处理的控制的图像参数集(picture parameter set，PPS)220、建立对图像序列层级的处理的控制的序列参数集(sequence parameter set，SPS)230、以及建立对视频编解码处理的数据层和/或多视点方面的控制的视频参数集(video parameter set，VPS)240当中。此种HLS组件向编码器120和解码器130的各种组件发信号以通知如何处理视频数据。

参数集机制从编解码图像样本的传输中解耦不频繁变化的信息。每个VCL NAL单元(如VCL NAL单元210)包含参考相关PPS 220内容的PPS索引212，每个PPS 220包含参考相关SPS 230内容的SPS索引224，而每个SPS 230包含参考相关VPS 240的内容的VPS索引234。以这种方式，可以使用少量数据(即索引)来参考更大量的信息，即PPS数据224、SPS数据234和VPS数据244所携带的参数集，而不需在每个VCL NAL单元210内重复该信息。视频、序列和图像参数集可以远在它们所应用的VCL NAL单元之前被发送，并且可以被重复发送以提供防止资料遗失的稳健性。在某些应用中，参数集可以在传送VCL NAL单元的信道中发送(称为“带内”传输)。在其他应用中，使用比视频信道本身更可靠的传输机制来“带外”来传送参数集可能是有利的。

图3为执行编码器120的功能的视频编码器300的概要方块图。熟知视频技术领域的技术人员将从以下总体概述中认识到编解码器300的许多功能是常规的，并且将在不需具体实施细节的情况下完全理解其操作。为了简洁起见，这样的实施细节将因此被省略，除非这些细节将增强对本发明的理解。然而，应该理解的是，本发明不限于特定的编解码器结构或用于执行编码器300的操作的特定组件。上述技术人员将认识到各种编解码器配置，可以在浏览本文所揭露的内容后实现本发明。在图3中，位于边界380内的电路执行重建，其功能类似于解码器130。

视频输入数据302被提供给分割组件305，其可以根据图4中所示的四叉树表示440来分割视频图像。在HEVC中，已编码图像400是由多个已编码切片表示，以切片410来代表说明。每一切片410被分割为非重迭编解码树单元(CTU)，以CTU 420来代表说明。CTU的尺寸由语法元素指定(如SPS 230中的语法元素)，且在主文档中的范围为16x16至64x64。CTU可以被进一步分割为一个或多个编解码单元(CU)430以适应变化的局部统计特性。四叉树数据结构440的叶处的数目是对应于在各个CU 430中指示的数目，并定义了CU 430的编码顺序。

如图5所示，每个CU 505可以被进一步分割为一个或多个预测单元(PU)510。PU510作为一个基本操作单元，用于预测区块区域中的样本值。CU可以被进一步分割成包含变换区块(TB)的变换单元(TU)520。TB代表应用了二维变换的颜色组件的样本区块。举例而言，将亮度CB分割为亮度TB，是基于在四叉树方法递归地执行的结果。与之对应的结构，又被称为残余四叉树(RQT)530，以相应的不相交亮度TB的结合覆盖了整个相关的亮度CB的方式来为每个在RQT根处的亮度CB决定RQT的叶处的亮度TB的集合。

本发明不限于方形区块；矩形区块也可以用于下面描述的编解码。矩形区块分区的范例如图6所示。事实上，国际电信联盟(ITU)和国际标准化组织/国际电工委员会(ISO/IEC)的联合视频专家小组(JVET)目前正在研究下一代的国际视频编解码标准。在第五联合探勘测试模型(JEM5)中，如图7所示，四叉树加二叉树(QTBT)700结构是用于将CTU 710分割为一个或多个CU。每个CU仅包含一个PU且仅包含一个TU。所得到的TB尺寸的范围是介于128×128到2×2之间，并且可以为正方形或矩形形状。在内部切片中，每个CTU可以被分割为两个独立的编解码树，分别用于一个亮度组件和两个色度组件。

应该理解，本发明不限于特定的分割技术。前述分割技术表示可以结合本发明使用的某些可能的分区，而不偏离其精神和预期的范围。

现在回到图3，分区视频数据被提供给求和组件307，在该求和组件307处还提供了重建的图像数据(即先前编码和解码的图像数据)。从当前图像数据中减去从先前处理的图像数据导出的预测图像数据，以产生残余信号309。将TB 309的残余信号提供给变换跳过组件310，其确定是否将由变换组件315执行的变换处理应用至TB。作为编码流程的一部分，编码器300可以测试许多不同的编解码情形以确定产生期望的速率-失真折衷的情形。作为测试这些各种情形的一部分，编码器300可以，举例而言，测试包括以变换模式对一些TB进行编码的情形，而在其他情形中，这些TB可以在变换跳过模式下进行编码。变换跳过组件310可以根据TB的特性以及HLS组件中提供的限制及其他控制信息来作出如此的决定(诸如下面描述的那些)。如果要执行变换，则可以将TB的残余信号309提供给变换组件315。在变换组件315中，将TU进行变换，例如使用那些熟知视频编解码技术的人所习知的有限精度近似离散余弦变换。透过变换系数来表示经变换的数据，然后可以在量化组件320处对量化的系数进行量化。接着可以透过熵编解码组件320将量化的系数熵编码成比特流125。量化的系数还可以被提供给重建电路380，其首先将在逆量化组件335处的系数进行逆量化。接着，假设变换跳过组件340决定待详细审查(under scrutiny)的数据将会被逆变换，可以提供逆量化的系数给变换跳过组件340，然后提供给逆变换组件345跳过。反向变换的资料可以被提供给求和组件347，在求和组件347中被添加到预测区块资料。然后透过环路滤波器350对重建的区块进行滤波，环路滤波器350可以包括熟悉视频编解码技术的人已知的去区块和采样自适应偏移功能。经滤波的数据为重建的视频图像，并被提供给已解码图像缓冲器355，其中该数据作为参考图像。

如图3所示，当前图像数据也可以被提供给运动估计组件360。运动估计组件360可以被配置为根据视频序列的预定模式来确定用于视频切片的预测模式，即帧内预测或帧间预测。运动估计单元360可产生指示视频区块中的运动的运动向量。运动向量，举例而言，可以指示当前视频帧或帧内的视频区块的PU相对于参考帧内的预测区块的位移。预测区块是与要编解码的视频区块的PU紧密匹配的区块。运动估计组件360可以执行相对于完整像素位置和局部像素位置的运动搜索，并输出具有局部像素精度(fractional pixelprecision)的运动向量。运动估计组件360透过比较PU的位置与参考图像的预测区块的位置来计算内部编解码(inter-coded)片段中的视频区块的PU的运动向量。参考图像可以从标识存储在已解码图像缓冲器355中的一个或多个参考图像的参考图像列表中选择。

帧间预测组件365可基于由运动估计组件360决定的运动向量来产生预测性区块，可能是透过对于子像素精度执行内插。在接收到当前视频区块的PU的运动向量时，帧间预测组件365可以定位运动向量在多个参考图像列表中的一个中所指向的预测区块。帧间预测组件365决定是否在特定区块上使用正向和双向预测。

帧内预测组件370可决定帧内预测模式以用于编码当前区块。帧内预测组件370可使用各种帧内预测模式(如透过执行多次编码测试)来编码当前区块，且帧内预测组件370可从测试模式中选择适当的帧内预测模式以供使用。举例而言，帧内预测组件370可以使用针对各种测试的帧内预测模式的速率-失真分析来计算速率-失真值，并且选择在测试模式中具有最佳速率-失真特性的帧内预测模式。一般而言速率-失真分析决定已编码区块与经编码以产生已编码区块的原始未编码区块之间的失真(或错误)量，以及用于产生已编码区块的比特率(即比特数)。帧内预测组件370可以根据各种已编码区块的失真和速率来计算比率，以决定哪个帧内预测模式展现出该区块的最佳速率-失真值。

选择器组件367选择帧间预测或帧内预测并且提供对应的预测区块给求和组件307。求和组件307透过从当前正被编解码的视频区块的像素值减去预测区块的像素值，来形成残差视频区块，形成像素差值。像素差值形成区块的残差数据，并可包括亮度和色度差组件。

来自量化组件320的量化系数被提供给逆量化组件335，然后再提供给变换跳过组件340，如下文进一步所描述。如果要执行(不跳过)逆变换，则将逆量化的变换系数提供给逆变换组件345。

图12为执行解码器130功能的视频编码器1200的概要方块图。在解码器电路1200处，首先透过熵解码组件1230对比特流125进行熵解码。熵解码组件1230提供由编码器120传输的信息，使得解码器130适当地在视频输出1282上重建出视频。此类信息除其他本领域技术人员已知的信息，还包括帧内模式信息1212、帧间模式信息1214、样本自适应偏移(SAO)信息1215、残差1216和变换跳过信息1218。如图12所示且为本领域技术人员所知的，帧内模式信息1212被提供给帧内预测组件1270以用于帧内解码，帧间模式信息1214被提供给用于帧间解码的运动补偿组件1265，SAO信息1215被提供给环路滤波器1250以用于环路滤波，而变换跳过信息1218则提供给逆变换组件1245以用于变换跳过，如下所述。

残差1216由逆量化组件1335逆量化，然后提供给逆变换组件1245。在比特流125中编码为变换跳过信息1218的transform_skip_flag的状态标示变换跳过操作是否在编码器处执行，其中，transform_skip_flag＝1指示逆变换组件1245绕过逆变换操作，如上所述，而transform_skip_flag＝0指示逆变换组件1245执行逆变换操作。被提供给逆变换组件1245并且不被变换跳过的逆量化变换系数由此被转换成其空间域TB的对应物，并在重建组件1210处与预测样本1272组合。求和数据可透过环路滤波器1250进行滤波，作为视频输出1282，以及提供给参考图像缓冲器1255，参考图像缓冲器1255处重建图像被用于预测解码。

如上所述，变换区块可以在没有变换操作的情况下被编解码。在HEVC中，其是由传输非空变换区块(具有至少一个编解码的非零样本值)的语法元素transform_skip_flag所指示。此TB编解码模式的高阶控制是由PPS语法元素transform_skip_enabled_flag和log2_max_transform_skip_block_size_minus2来标示。当transform_skip_enabled_flag等于1时，针对区块宽度小于或等于1<<(log2_max_transform_skip_block_size_minus2+2)的每个非空变换区块，transform_skip_flag被编解码。当transform_skip_flag等于1时，关联变换区块在变换跳过模式下被编解码。否则，将变换应用于关联的变换区块。当未编解码时，语法元素transform_skip_flag被推断为等于0。

图8为可以实现本发明构思的示范性变换跳过流程800的流程图。在操作805中，将视频数据分割为包含分离的颜色组件的相对应的CTB的CTU。在操作810中，CTU被分割成包含分离的颜色组件的相对应的CB的CU。在操作815中，CU被进一步分割成PU，对其执行帧内/帧间预测处理。在操作820中，计算在原始图像的CU与编码器300中产生的重建图像的CU之间残差。在操作825中，CU的残余信号被分割成TU，其中TU包括含有分离的颜色组件的TB。应该理解，操作805、810、815和825的分割可以根据上面讨论的JEM5进行，在这种情况下，每个CU仅包含一个PU和一个TU，并且不执行进一步的分割。

在操作827中，评估高级语法元素以确定要对变换跳过实施什么限制。在操作830中，决定是否在指定限制下启用变换跳过模式。若否，则流程800可以转变到操作845，由此在TB上执行变换。如果变换跳过被启用，则流程800可以转变到操作835，由此评估处于详细审查中的TB以确定变换是否被跳过并且向编码器发信号。在操作840中，根据对操作835的评估确定是否为TB选择变换跳过。如果是，则在操作850中跳过变换。否则，在操作845中执行变换。

在本发明的某些实施例中，在最小变换区块尺寸上添加限制以启用变换跳过模式。透过这种方式，将不对小的变换区块采取变换跳过模式和传输变换跳过模式以节省复杂性和比特成本。在一个实施例中，使用高级语法元素以传输可以启用变换跳过模式的最小变换区块尺寸。举例而言，PPS语法元素log2_min_transform_skip_block_size可传输参考PPS的编解码图像中可应用变换跳过模式的最小变换区块大小。HLS组件log2_min_transform_skip_block_size可以指定区块样本数量中的最小变换区块大小等于1<<(log2_min_transform_skip_block_size<<1)。在另一范例中，当参考PPS的编解码图像中当前区块宽度或高度小于log2_min_transform_skip_block_size时，禁用变换跳过模式。HLS组件可以存在于语法结构SPS、PPS、片段标头或CTU中。

图9为范例变换跳过评估流程900的流程图。在操作905中，决定在详细审查中的TB是否满足最小大小限制，举例而言，可透过决定区块样本的数量是否等于或大于1<<(log2_min_transform_skip_block_size<<1)。如果是，则流程900可以转变到操作915，其中TB被指示为符合关于最小尺寸限制的资格的变换跳过。如果TB不符合最小尺寸限制，则操作900可以转变到操作910，透过操作910在详细检查后认定TB不适合变换跳过。

在另一实施例中，当相关信息没有在比特流中被明确地传输时，预先定义的值会包含在TB维度限制中。可以为不同的颜色组件定义不同的限制值。在一范例中，所有颜色组件的最小变换区块大小被设置为等于16个样本。在另一范例中，最小变换区块大小被设置为亮度组件为16个样本且两个色度组件为64个样本。

在本发明的实施例中，实现高级语法元素以支持分别针对不同颜色组件传输变换跳过模式的控制设置。在此方式下，对于具有不同样本统计分布的不同颜色组件，可以更有效地控制变换跳过模式的使用。在一个实施例中，采用两个PPS语法元素luma_transform_skip_enabled_flag和chroma_transform_skip_enabled_flag来指示变换跳过模式是否可分别应用于参考PPS的编解码图像中的亮度变换区块和色度变换区块。可以采用两个PPS语法元素luma_log2_max_transform_skip_block_size和chroma_log2_max_transform_skip_block_size来分别传输用于亮度组件和两个色度组件的最大变换区块大小，用于启用参考PPS的编解码图像中的变换跳过模式。添加另一个PPS语法元素transform_skip_chroma_present_flag以指示与色度组件相关的语法元素是否被单独传输。如果transform_skip_chroma_present_flag等于0，则将色度组件的语法值设置为对应的亮度语法元素的值。否则，色度组件的语法值独立于亮度组件的语法值。高级语法元素可以存在于语法结构SPS、PS、片段标头和CTU中。

图10A为可以实现本发明的范例独立区块处理决定流程1000的流程图。在操作1005中，传输亮度变换限制，而在操作1010中，决定色度限制是否也存在。如果是，则流程1000可以转变至操作1015，由此来发信号(举例而言，可透过transform_skip_chroma_present_flag)通知色度限制存在，以及色度变换跳过限制独立于亮度变换跳过限制被传输。否则，流程1000可以转变到操作1020，透过操作1020传输色度限制并不存在，且色度变换跳过HLS组件被设置为与亮度HLS组件相同。

图10B为示范变换跳过评估流程1050的流程图，其中色度区块变换跳过独立于亮度区块变换跳过。如流程1000所决定的，如果决定亮度和色度变换跳过是由独立HLS组件所控制，则流程1050开始于操作1055，由此，诸如透过对chroma_transform_skip_enabled_flag进行评估，决定是否为色度区块启用变换跳过。如果对色度区块启用变换跳过，则处理1050可转变到操作1060，透过该操作1060确定色度区块是否满足最大尺寸限制，诸如透过对chroma_log2_max_transform_skip_block_size进行评估。如果是，则流程1050可以转变到操作1065，透过该操作认定在审查中的TB适用于变换跳过。否则，流程1050可以转变到操作1080，透过该操作认定TB不适用于变换跳过。响应于在操作1055中色度区块不启用变换跳过的决定，处理1050还可转变到操作1080。

在操作1070，举例而言可透过评估luma_transform_skip_enabled_flag，来决定是否对于亮度区块启用变换跳过。如果对亮度区块启用变换跳过，则流程1050可以转变至操作1075，透过该操作1075来确定亮度区块是否满足最大大小限制，举例而言，可透过对于luma_log2_max_transform_skip_block_size进行评估。如果是，则流程1050可以转变到操作1065，透过该操作认定在审查中的TB适用于变换跳过。否则，流程1050可以转变到操作1080，透过该操作认定TB不适用于变换跳过。流程1050也可以转变到操作1080，以响应在操作1070决定亮度区块未启用变换跳过的决定。

在某些实施例中，实现高级语法元素以支持对于如瓦片、切片或CTU之类的图像区域(相对于整个图像)中的变换跳过模式的控制设置的进一步修改。在此方式下，考虑到当前帧内容以及比特率和复杂性限制，获得对使用变换跳过模式的更有效的控制。在一实施例中，片段标头语法元素slice_transform_skip_present_flag用于指示在PPS语法结构中被传输的变换跳过模式的控制设置是否可以在当前片段中修改或替换。当slice_transform_skip_present_flag等于0时，将在PPS语法结构中被传输的变换跳过模式的控制设置应用于当前片段。否则，可以在当前片段中修改变换跳过模式的控制设置，并进一步在当前片段标头中传输修改的控制设置。透过参考PPS的控制设置，可以预测或限制在片段标头中被传输的修改的控制设置。举例而言，可在修改操作中采用语法元素slice_luma_log2_max_transform_skip_block_size_diff以指示用于启用当前片段中的变换跳过模式的最大变换区块大小。对区块样本的数量中的最大亮度变换区块大小的修改的限制可以被设置为等于1<<((luma_log2_max_transform_skip_block_size_cache_luma_log2_max_tra nsform_skip_block_size_diff)<<1)。

PPS语法元素pps_slice_transform_skip_adaptive_flag可用于指示在PPS语法结构中被传输的变换跳过模式的控制设置是否可在参考PPS的片段标头中被修改。如果pps_slice_transform_skip_adaptive_flag等于0，则推断slice_transform_skip_present_flag等于0，且在PPS中被传输的变换跳过模式的控制设置被应用于参考PPS的编解码的片段。

图11为示范变换跳过评估流程1100的流程图。在操作1105中，切片所参考的PPS参照为HLS组件。在操作1110中，可透过例如评估pps_slice_transform_skip_adaptive_flag来确定变换跳过模式是否可以在切片中修改。如果是，则在操作1115中决定变换跳过模式是否可以在详细审查下进行片段修改，如透过对slice_transform_skip_present_flag进行评估。否则，流程1100可以转变到操作1130，此操作不允许修改变换跳过。如果在操作1110确定变换跳过模式对于切片不得修改，则流程1100也可以转变至操作1130。

如果在操作1115决定变换跳过模式在切片层级是可修改的，则流程1100可转变到操作1125，透过该操作1125，例如对大小限制luma_log2_max_transform_skip_block_size调整量slice_luma_log2_max_transform_skip_block_size_diff的修改，可在切片标头指示。

应该理解，上述HLS组件的名称是为了解释的目的，而非有意作出限制。也就是说，如果要实现本文描述的相关功能，亦可以使用其他语法元素名称来实现相同的结果。

考虑复杂性和效率之间的折衷，对于输入的视频数据，HLS限制可以透过实验决定。限制还可以透过依照解码顺序评估先前帧中的编解码数据来动态调整，来评估码率－失真效率。

系统100可以实现于客户端-服务器系统、数据库系统、虚拟桌面系统、分布式计算机系统、云端系统、丛集数据库、数据中心、存储局域网络(SAN)或任何其它合适的系统，如设计用于提供视频或其他内容的系统中。

本文中所描述的存储区域和存储电路，可以透过任何数量、任何类型的常规或内存或其他存储装置来实现，并且可以是具挥发性的(如随机存取内存RAM、高速缓存cache、闪存flash等)或非挥发性的(如只读存储器ROM、硬盘hard-disk、光存储optical storage等)，并包括任何合适的存储容量。

在此描述的处理电路，举例而言，为一个或多个数据处理装置，如微处理器、微控制器、系统单芯片(SOC)或其他固定或可编程逻辑，其执行存储在内存中处理逻辑的指令。处理器本身可以为多处理器，且具有多个CPU、多个核心、包括多个处理器的多个裸晶等。

客户端装置140可以为任何传统或其他计算机系统或装置，如精简客户端、计算机终端机或工作站、个人桌面计算机、笔记本电脑、小笔电、平板计算机、移动电话、网络电视或其他能够扮演客户端角色的装置。

服务器装置110和客户端装置140彼此在通信上连接，如透过网络150，该网络150代表被配置为经由任何合适的通信媒介(如WAN、LAN、因特网、内部网络路、有线网络、无线网络等)来传送信息的任何硬件和/或软件，并且可以包括路由器、集线器、交换机、网关或其它可以任何合适的形式或布置的任何合适的组件。系统的各种组件可以包括任何传统或其他通信装置，以透过任何常规或其他协议透过网络进行通信，并可以利用任何类型的连接(如有线、无线等)来存取网络。

系统可以包括附加的服务器、客户端和未示出的其他装置，且系统的各个组件可以单独或者多个发生，或举例而言，各种组件的功能可以被组合成单个装置或者分裂在多个装置中。应理解的是，系统的各种组件中的任何组件可以为彼此位于同一地点，或者也可以经由任何合适的手段远程，且以一个或多个其他零件进行通信，举例而言，所述的任何合适的手段可以为WAN、LAN、因特网、内部网络路、移动无线网络等。

使用者界面160和179可以包括在此所述的处理电路的控制下的图形用户界面(GUI)。处理电路，举例而言可以为数据处理装置，如微处理器、微控制器，系统单芯片(SOC)或其他固定或可编程的逻辑，其执行存储在存储电路中的处理逻辑的指令。显示器渲染硬件可以为处理电路的一部分，或者可以为，举例而言，独立的图形处理器(GPU)。

服务器装置110和客户端装置140可以分别以处理系统的形式来实现，或者可以以软件的形式来实现。它们分别可以透过任何数量的常规或其他计算机系统或装置来实现，举例而言，刀锋(blade)计算机或刀锋服务器、精简客户端、计算机终端机或工作站、个人计算机、移动电话、个人资料助理(PDA)或任何其他合适的装置。处理系统可以包括任何可用的操作系统和任何可用的软件(如浏览器软件、通信软件、字处理软件等)。这些系统可以包括处理器、内存、内部或外部通信装置(如调制解调器、网络卡等)、显示器和输入设备(如物理键盘、触控屏幕、鼠标、用于语音识别的麦克风等)。如果体现在软件中(如作为虚拟图像)，它们可以在可记录媒介(如磁性、光学、软盘、DVD、CD、其他非暂时性媒介等)上或者透过通信媒介(举例而言公告板，网络，LAN，WAN，内部网络，因特网，移动无线等)从来源以载波或信号来进行下载。

如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各个方面可以采取全硬件实施例、全软件实施例(包括固件、常驻软件、微指令等)、或是组合软件和硬件方面的实施例的形式。这些实施例在此通常可以被称为“电路”、“模块”或“系统”。此外，本发明的各方面可以采取体现在一个或多个其上包含有计算机可读程序代码的计算机可读媒介中的计算机程序产品的形式。

可以使用任何一个或多个计算机可读媒介的组合。计算机可读媒介可以为计算机可读取信号媒介或计算机可读存储媒体。计算机可读媒介可以为，举例而言，但不限于：电子、磁、光学、电磁、红外线或半导体系统、仪器或装置、或前述的任何合适的组合。计算机可读存储媒体的更具体的例子(非穷尽性列举)包括以下：具有一个或多个电线的电子连接、便携计算机磁盘、软盘、固态磁盘、随机存取内存(RAM)、只读存储器(ROM)、电子抹除式可复写只读存储器(EPROM或闪存)、光纤、可携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置、相变内存存储装置、或前述的任何适当组合。在本文件的上下文中，计算机可读存储媒体可以为任何包含或存储由指令执行系统、仪器或装置使用或与其结合使用的程序的有形媒介。

计算机可读信号媒介可包括具有计算机可读程序代码的传播数据信号，其中包含，举例而言，在基频中或者作为载波的一部分。这样的传播信号可以采取多种形式中的任何形式，包括但不限于电磁、光学或其他任何适当的组合。计算机可读信号媒介可以为任何非计算机可读存储媒介，并且可以通信、传播或传输程序以供执行的系统、仪器或装置使用或与其结合使用的程序的计算机可读媒介。实施在计算机可读媒介上的程序代码可以使用任何适当的媒介来传输，所述媒介包括但不限于无线、有线、光纤缆线、RF等，或前述的任何适当组合。

用于执行本发明的各个方面的操作的计算机程序码可以以一种或多种程序设计语言的任意组合来编写，举例而言，面向对象的程序语言，如：Java、Smalltalk、C++等、或常规程序程序语言，如「C」程序语言或类似的程序语言。程序代码可以完全位于用户的计算机上、部分位于用户的计算机上，作为独立的软件包、部分位于用户的计算机上，部分位于远程计算机上、或者完全位于远程计算机或服务器上执行。在后者的情形下，远程计算机可以透过任何类型的网络连接到用户的计算机，包括局域网络(LAN)或广域网(WAN)，或者可以连接到外部计算机(举例而言，透过因特网服务提供商来使用因特网)。

应理解的是，用于本发明实施例的计算机系统的软件可以以任何期望的计算机语言来实现，并且可以由计算机领域的普通技术人员基于说明书中包含的功能描述以及附图中所示的流程图来开发。仅作为范例，软件可以用C++、Java、P1/1、Fortran或其他程序语言来实现。此外，此处对执行各种功能的软件的任何引用，通常是指在软件控制下执行那些功能的计算机系统或处理器。

本发明实施例的计算机系统，可以替代地由任何类型的硬件和/或其他处理电路来实现。计算机系统的各种功能可以以任何方式分布在任何数量的软件模块或单元、处理或计算机系统和/或电路中，其中计算机或处理系统可以彼此被本地或远程地布置，并且经由任何合适的通信媒介(如LAN、WAN、内部网络路、因特网、直接布线、调制解调器联机、无线网络等)。

本发明的各方面是参考根据本发明实施例的方法、仪器(系统)和计算机程序产品的流程图和/或方块图的描述。应理解的是，流程图和/或方块图中的每个方块、以及流程图和/或方块图中的方块的组合可以透过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令能够创建用于实现在流程图和/或方块图的一个或多个方块中指定的功能/动作的方法。

这些计算机程序指令还可以存储在计算机可读媒介中，该计算机可读媒介可以指示计算机、其他可编程数据处理装置或其他装置以特定方式运行，使得存储在计算机可读媒介中的指令产生包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令的制造品。计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他装置上，以形成在计算机、其他可编程装置或其他装置上执行一系列操作步骤，以产生计算机实现的流程，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或框图的一个或多个框中指定的功能/动作的流程。

适合于存储和/或执行程序代码的处理系统可以由任何常规或其他计算机或处理系统来实现，所述计算机或处理系统优选配备有显示器或监视器、基座(举例而言，包括处理器、存储器和/或内部或外部通信装置(如调制解调器、网络卡等)和可选输入设备(如键盘、鼠标或其他输入设备))。该系统可以包括至少一个透过系统总线直接或间接耦合到内存组件的处理器。内存组件可以包括在程序代码的实际执行期间使用的本地内存、大容量存储器和提供至少一些程序代码的临时存储的高速缓存，以减少在执行期间必须从大容量存储器取得程序代码的次数。输入/输出或I/O装置(包括但不限于键盘、屏幕、指向装置等)可直接或透过中间I/O控制器耦合至系统。网络卡也可以耦合到系统，以使系统能够透过中间私人或公共网络耦合至其他处理系统、远程打印机或存储装置。调制解调器、电缆调制解调器和以太网络卡只是当前可用类型的网络卡中的几个。

附图中的流程图和方块图示出了根据本发明的各种实施例的系统、方法和计算机程序产品可能实现的架构、功能和操作。就这点而言，流程图或方块图中的每个方块可以表示包括用于实现指定逻辑功能的一个或多个可执行指令的模块、分段或部分程序代码。还应注意的是，在一些替代实施方式中，方块中提到的功能可以不按照附图中表示的顺序发生。举例而言，取决于所涉及的功能，连续表示的两个方块实际上可以实质上同时执行、或者方块有时可以相反的顺序执行。还须注意的是，方块图和/或流程图表示的每个方块、以及方块图和/或流程图中表示的方块组合，可以由执行指定的功能或动作的专用的基于硬件的系统来实现，或专用硬件和计算机指令的组合来实现。

这里使用的术语仅用于描述特定实施例的目的，而非有意限制本发明。如本文所使用的，除非上下文另外清楚地指出，否则单数形式“一”、“一个”和“所述”也有意包括复数形式。应进一步理解的是，当在使用本说明书中时，术语“包括”和/或“包含”指定所陈述的特征、整体、步骤、操作、组件和/或组件的存在，但不排除存在或添加一个或多个特征、整体、步骤、操作、组件、组件和/或其组合。

以下专利申请范围中的所有装置或步骤加功能组件的对应结构、材料、动作及同等手段，有意包括用于与具体要求保护的其他要求保护的组件组合执行功能的任何结构、材料或动作。本发明的描述系基于说明和描述的目的所展现，但并非意图做为穷尽性列举的或者以所公开的形式限制本发明。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域的通常技术人员是显而易见的。选择和描述所述实施例是为了最佳地解释本发明的原理和实际应用，并且使本领域的其他通常技术人员能够理解具有各种修改的各种实施例的本发明，以符合于预期的特定用途。

以上描述旨在于表现出本发明构思的可能实作，而非限制性的。在阅读本揭露内容后，本领域技术人员将会明白许多变化、修改和替换为显而易见的。举例而言，与所表现和描述的组件等同的组件可以被替换，因此，单独描述的组件和方法可以被组合，而被描述为离散的组件可以分布在许多组件上。因此，本发明的范围不应参照上面的描述来确定，而是参照所附权利要求以及它们全部范围的等同物来决定。

Claims (15)

1.一种方法，包括：

接收编码于比特流中的视频数据的图像区块的变换跳过信息，所述变换跳过信息是由编码器基于所述图像区块上的最小尺寸限制所建立；

解码所述比特流以获得所述图像区块；以及

基于所述变换跳过信息选择性地对所述图像区块执行逆变换。

2.根据权利要求1所述的方法，其特征在于，所述图像区块与包含所述最小尺寸限制的多个高级语法元素相关联。

3.一种方法，包括：

接收编码于比特流中的视频数据的亮度图像区块及色度图像区块的变换跳过信息，所述变换跳过信息是由编码器基于所述亮度图像区块的多个限制所建立，所述亮度图像区块的所述限制独立于所述色度图区块的多个限制；

解码所述比特流以获得所述亮度图像区块和所述色度图像区块；以及

基于所述变换跳过信息选择性地对所述亮度图像区块和所述色度图像区块执行逆变换。

4.根据权利要求3所述的方法，其特征在于，所述限制包括对所述亮度图像区块的最大尺寸限制，所述亮度图像区块的所述最大尺寸限制独立于所述色度图像区块上的最大尺寸限制。

5.根据权利要求4所述的方法，其特征在于，所述亮度图像区块及所述色度图像区块与包含各自最大尺寸限制的多个高级语法元素相关联。

6.一种由编码器对视频数据进行编解码的方法，所述方法包括：

将在所述视频数据中定义的图像分割为包括亮度变换区块及色度变换区块的多个区块；

从多个高级语法元素中决定与所述图像相关的一个或多个限制；

若在参考所述高级语法元素的多个图像区域中不满足所述限制，则不允许所述亮度变换区块及所述色度变换区块中的一个执行变换跳过；以及

响应于被跳过的所述变换，将在比特流中的所述视频数据连同一指示一起编码，所述指示表示所述亮度变换区块或所述色度变换区块的所述变换被跳过。

7.根据权利要求6所述的方法，进一步包括：

从所述高级别语法元素决定是否可以跳过所述亮度变换区块的所述变换，且独立于是否可以跳过所述色度区块的所述变换。

8.根据权利要求6所述的方法，并进一步包括：

根据所述高级语法元素决定对所述亮度变换区块的最大尺寸限制，所述亮度变换区块的所述最大尺寸限制独立于与所述色度变换区块上的所述最大尺寸限制。

9.根据权利要求1所述的方法，并进一步包括：

将在所述比特流中的所述视频数据连同跳过所述亮度变换区块的所述变换的指示一起编码，所述指示独立于跳过所述色度变换区块的所述变换的指示。

10.根据权利要求1所述的方法，并进一步包括：

将所述视频数据分割为包括所述亮度变换区块及所述色度变换区块的图像区域；

从所述高级语法元素决定是否可以为所述切片修改关于所述图像的所述限制；

连同所述修改的指示将所述比特流中的所述视频数据进行编码。

11.一种解码器装置，包括：

处理器，其被配置为：

接收编码在比特流中的视频数据的图像区块的变换跳过信息，所述变换跳过信息是由编码器基于所述图像区块上的最小尺寸限制所建立；

解码所述比特流以获得所述图像区块；以及

基于所述变换跳过信息选择性地对所述图像区块执行逆变换。

12.一种解码器装置，包括：

处理器，其被配置为：

接收编码在比特流中的视频数据的亮度图像区块及色度图像区块的变换跳过信息，所述变换跳过信息是由编码器基于对所述亮度图像区块上的多个限制所建立，所述亮度图像区块的所述限制独立于所述色度图区块上的多个限制；

解码所述比特流以获得所述亮度图像区块及所述色度图像区块；以及

基于所述变换跳过信息选择性地对所述亮度图像区块及所述色度图像区块执行逆变换。

13.一种编码器装置，包括：

存储电路，用于存储在视频数据中定义的图像；以及

处理电路，其被配置为：

将所述图像分割成包括亮度变换区块及色度变换区块的多个区块；

从多个高级语法元素决定与所述图像相关的一个或多个限制；

若在参考所述高级语法元素的多个图像区域中不满足所述限制，则不允许所述亮度变换区块及所述色度变换区块中的一个执行变换跳过；以及

响应于被跳过的所述变换，将在比特流中的所述视频数据连同指示一起编码，所述指示表示所述亮度变换区块或所述色度变换区块的所述变换被跳过。

14.一种编码有多个处理器指令的计算机可读媒介，所述处理器指令在由处理器执行时，迫使所述处理器：

接收编码在比特流中的视频数据的图像区块的变换跳过信息，所述变换跳过信息是由编码器基于所述图像区块上的一最小尺寸限制所建立；

解码所述比特流以获得所述图像区块；以及

基于所述变换跳过信息选择性地对所述图像区块执行逆变换。

15.一种编码有多个处理器指令的计算机可读媒介，所述处理器指令在由处理器执行时，迫使所述处理器：

接收编码在比特流中的视频数据的亮度图像区块及色度图像区块的变换跳过信息，所述变换跳过信息是由编码器基于对所述亮度图像区块的多个限制所建立，所述亮度图像区块的所述限制独立于对所述色度图区块的多个限制；

解码所述比特流以获得所述亮度图像区块及所述色度图像区块；以及

基于所述变换跳过信息选择性地对所述亮度图像区块及所述色度图像区块执行逆变换。