CN106105047A - 具有颜色空间可缩放性的视频压缩 - Google Patents

Abstract

图像解码器包括使用颜色空间预测技术来对编码的视频流的至少一部分进行解码的基本层。

Description

具有颜色空间可缩放性的视频压缩

相关申请的交叉引用

无

技术领域

本公开总体涉及视频编码，更具体地讲，涉及用于视频编码的颜色空间预测。

背景技术

许多系统包括实现视频编码标准并且压缩视频数据的视频编码器，以便于在具有有限带宽和/或有限存储容量的信道上进行传输。为了更有效地对帧进行编码，这些视频编码标准可包括多个编码阶段，例如帧内预测、从空间域到频域的变换、从频域到空间域的逆变换、量化、熵编码、运动估计和运动补偿。

可通过视频编码标准国际电信联盟无线电通信部门(ITU-R)建议BT.709所描述的格式来表示传统数字高清(HD)内容，其定义了视频内容的分辨率、色域、伽马(gamma)和量化位深。随着例如ITU-R超高清电视(UHDTV)的更高分辨率的视频标准的出现，基于较低分辨率HD内容的许多传统系统可能无法使用压缩的UHDTV内容，更高分辨率的视频标准与BT.709相比，除了具有更高分辨率以外，还可具有更宽的色域和增加的量化位深，。维持这些传统系统的可用性的当前解决方案之一包括分别联播压缩的HD内容和压缩的UHDTV内容二者。尽管接收联播的传统系统具有解码的能力并使用压缩的HD内容，但是压缩并联播具有相同的下层内容的多个比特流是对处理、带宽和存储资源的低效使用。

结合附图，通过考虑以下对本发明的详细描述，本发明的前述和其它目的、特征和优点将更容易理解。

附图说明

图1是视频编码系统的框图示例。

图2是示出BT.709视频标准中和UHDTV视频标准中支持的色域的示例曲线图200。

图3A和图3B和图3C是图1所示的视频编码器的框图示例。

图4是图3A和图3B所示的颜色空间预测器的框图示例。

图5A和图5B和图5C是图1所示的视频解码器的框图示例。

图6是图5A和图5B所示的颜色空间预测器的框图示例。

图7是图1所示的视频编码器中的颜色空间预测的示例操作流程图。

图8是图1所示的视频解码器中的颜色空间预测的示例操作流程图。

图9是图1所示的视频解码器中的颜色空间预测的另一示例操作流程图。

图10示出第0阶指数哥伦布(Golomb)码。

定义

下列算术运算符定义如下：

+ 加法

- 减法(作为两变元运算符)或负(作为一元前缀运算符)

* 乘法，包括矩阵乘法

x^y 求幂。表示x的y次方。在其它情况下，这种记号用于不适合解释为求幂的上标。

/ 整除，结果朝零舍入。例如，7/4和-7/-4被舍入为1，-7/4和7/-4被舍入为-1。

÷ 用于表示数学式中的除法，其中不打算舍入或取整。

用于表示数学式中的除法，其中不打算舍入或取整。

f(i)求和，其中i取从x直至y(含)的所有整数值。

x％y求模。x除以y的余数，仅针对整数x和y定义，并且x>＝0和y>0。

下列逻辑运算符定义如下：

x&&y x和y的布尔逻辑“与”。

x||y x和y的布尔逻辑“或”。

！ 布尔逻辑“非”。

x？y:z 如果x为真或不等于0，求y的值；否则，求z的值。

下列关系运算符定义如下：

> 大于。

>＝ 大于或等于。

< 小于。

<＝ 小于或等于.

＝＝ 等于。

！＝ 不等于。

下列按位运算符定义如下：

& 按位“与”。当在整数变元上运算时，在整数值的二进制补码表示上运算。当在相比于另一变元包含较少比特的二进制变元上运算时，通过增加更多等于0的有效比特来扩展较短的变元。

| 按位“或”。当在整数变元上运算时，在整数值的二进制补码表示上运算。当在相比于另一变元包含较少比特的二进制变元上运算时，通过增加更多等于0的有效比特来扩展较短的变元。

^ 按位“异或”。当在整数变元上运算时，在整数值的二进制补码表示上运算。当在相比于另一变元包含较少比特的二进制变元上运算时，通过增加更多等于0的有效比特来扩展较短的变元。

x>>y 将x的二进制补码整数表示算术右移y个二进制数位。此函数仅针对y的非负整数值定义。作为右移结果移进最高有效比特(MSB)的比特具有等于移位运算之前的x的MSB的值。

x<<y 将x的二进制补码整数表示算术左移y个二进制数位。此函数仅针对y的非负整数值定义。作为左移结果移进最低有效比特(LSB)的比特具有等于0的值。

下列算术运算符定义如下：

＝ 赋值运算符。

++ 增量，即，x++等同于x＝x+1；当被用于数组索引中时，求增量运算之前的变量的值。

-- 减量，即，x--等同于x＝x-1；当被用于数组索引中时，求减量运算之前的变量的值。

+＝ 按照指定的量增量，即，x+＝3等同于x＝x+3，x+＝(-3)等同于x＝x+(-3)。

-＝ 按照指定的量减量，即，x-＝3等同于x＝x-3，x-＝(-3)等同于x＝x-(-3)。

下列数学函数被定义为：

$Abs\left(x\right)=\left\{\begin{array}{cc}x;& x>=0\\ -x;& x<0\end{array}\right.$

Ceil(x)大于或等于x的最小整数

Clip1_Y(x)＝Clip3(0,(1<<BitDepth_Y)-1,x)

Clip1_C(x)＝Clip3(0,(1<<BitDepth_C)-1,x)

Floor(x) 小于或等于x的最大整数。

Log2(x) x的以2为底的对数。

Log10(x) x的以10为底的对数。

$Min(x,y)=\left\{\begin{array}{cc}x;& x<=y\\ y;& x>y\end{array}\right.$

$Max(x,y)=\left\{\begin{array}{cc}x;& x>=y\\ y;& x<y\end{array}\right.$

Round(x)＝Sign(x)*Floor(Abs(x)+0.5)

$Sign\left(X\right)=\left\{\begin{array}{cc}1;& x>0\\ 0;& x=0\\ -1;& x<0\end{array}\right.$

$Sqrt\left(x\right)=\sqrt{x}$

Swap(x,y)＝(y,x)

指数哥伦布码(即，EGk)是参数化的结构化的代码，其对非负整数(含零)编码。对于正整数I，第k阶指数哥伦布码生成以下形式的二进制码字

EG_k(I)＝[(L’-1)零][β(I)+1的最高有效(L-k)比特][β(I)的最后k比特]＝[(L’-1)零][β(1+I/2^k)][β(I)的最后k比特]，

其中β(I)是I的beta码，对应于I的自然二进制表示，其将各个二进制字解释为正整数，L是二进制码字β(I)的长度，L’是二进制码字β(1+I/2^k)的长度，β(1+I/2^k)对应于取β(I)的前(L-k)比特并且算术上加1。对于I>0，长度L可被计算为L＝([Log2(I)]+1)，其中[.]表示向最近的较小整数取整，其中优选I＝0则L＝1。类似地，长度L’可被计算为L’＝([Log2(1+I/2^k)]+1)。可通过首先读取并计数直至遇到1的前面的0比特来解码第k阶指数哥伦布码。令所计数的0的数量为N。然后通过如下步骤获得二进制码字β(I)：读取1比特之后的接下来的N比特，将这些所读取的N比特附到1后面以便形成二进制beta码字，从所形成的二进制码字减去1，然后读取并附上最后的k比特。所获得的β(I)码字被转换为其对应的整数值I。

参照图10，示出了示例性第0阶指数哥伦布码。确定一组输入值1030。针对对应的输入值1030示出了对应的一组输入符号1032。前缀1034指示与各个输入值对应的信息比特数，优选利用一系列“1”值来编码该信息比特数。标志列1036指示信息比特数的结束，优选利用“0”值来编码该信息比特数的结束以将它与前缀比特1034相区别。后缀列1038指示信息比特，其指示输入值。需要注意的是，后缀1038中的比特数与前缀1034中的1的数量相同。码字的总长度1040指示对应码字的对应总长度，即，前缀1034+标志列1036+后缀1038。码字数量1042指示可针对图10的行内的前缀1034、标志1036和后缀1038的组合表示的码字的对应数量。码字累积数量1044指示可使用图10的行以上(含)的前缀1034、标志1036和后缀1038的组合表示的码字的对应累积数量。

下列描述符指定了各个语法元素的分析过程：

–ae(v)：上下文自适应算术熵编码的语法元素。

–b(8)：具有任何图案的比特串(8比特)的字节。针对此描述符的解析过程由函数read_bits(8)的返回值来指定。

–f(n)：(从左至右)编写的使用n比特的固定图案比特串，左比特在先。针对此描述符的解析过程由函数read_bits(n)的返回值来指定。

–se(v)：带符号整数第0阶指数哥伦布编码的语法元素，左比特在先。

–u(n)：使用n比特的无符号整数。当n是语法表中的“v”时，比特数按照取决于其它语法元素的值的方式来变化。针对此描述符的解析过程由函数read_bits(n)的返回值来指定，最高有效比特先编写，函数read_bits(n)的返回值被解释为无符号整数的二进制表示。

–ue(v)：无符号整数第0阶指数哥伦布编码的语法元素，左比特在先。

具体实施方式

图1是视频编码系统100的框图示例。视频编码系统100可包括视频编码器300，以接收被标准化为BT.2020的视频流(例如，超高清电视(UHDTV)视频流102)和BT.709视频流104，并且基于所述视频流生成编码的视频流112。视频编码器300可将编码的视频流112发送给视频解码器500。视频解码器500可将编码的视频流112解码以生成解码的UHDTV视频流122和/或解码的BT.709视频流124。

与BT.709视频流104相比，UHDTV视频流102可具有不同的分辨率、不同的量化位深，并且表示不同的色域。例如，UHDTV或BT.2020视频标准具有可支持4k(3840×2160像素)或8k(7680×4320像素)的分辨率以及10或12位的量化位深的格式建议。BT.709视频标准具有可支持2k(1920×1080像素)的分辨率和8或10位的量化位深的格式建议。相比于BT.709格式建议UHDTV格式建议还可支持更宽的色域。以下将参照图2更详细地示出并描述UHDTV视频标准与BT.709视频标准之间的色域差的实施例。

视频编码器300可包括增强层编码器302和基本层编码器304。基本层编码器304可例如利用实现运动图像专家组(MPEG)-2标准等的编解码器实现高清(HD)内容的视频编码。增强层编码器302可实现UHDTV内容的视频编码。在一些实施例中，增强层编码器302可通过根据在基本层编码器302中编码的BT.709图像帧使用运动补偿预测、帧内预测和缩放颜色预测而生成对UHDTV图像帧的至少一部分的预测，来对UHDTV视频帧进行编码。视频编码器300可利用该预测来生成预测残差——例如，预测与UHDTV图像帧之差，并且将预测残差编码在编码的视频流112中。

在一些实施例中，当视频编码器300利用根据BT.709图像帧的缩放颜色预测时，视频编码器300可将颜色预测参数114发送给视频解码器500。颜色预测参数114可包括视频编码器300用来生成缩放颜色预测的参数。例如，视频编码器300可通过独立颜色通道预测或者基于仿射矩阵的颜色预测来生成缩放颜色预测，独立颜色通道预测和基于仿射矩阵的颜色预测各自具有不同的参数，例如每通道的增益参数或者每通道的增益参数和偏移参数。颜色预测参数114可包括与视频编码器300所利用的独立颜色通道预测或者基于仿射矩阵的颜色预测对应的参数。在一些实施例中，编码器300可将颜色预测参数114包括在编码的视频流112的规范部分中，例如序列参数集(SPS)、图片参数集(PPS)或者编码的视频流112的规范部分的另一下级段中。在一些实施例中，视频编码器300可利用可以在视频解码器500中预设的默认颜色预测参数114，从而使得视频编码器300免于不得不将颜色预测参数114发送给视频解码器500。将在下面更详细地描述视频编码器300的实施例。

视频解码器500可包括增强层解码器502和基本层解码器504。基本层解码器504可例如利用实现运动图像专家组(MPEG)-2标准等的编解码器实现高清(HD)内容的视频解码，并且对编码的视频流112进行解码以生成解码的BT.709视频流124。增强层解码器502可实现UHDTV内容的视频解码，并且对编码的视频流112进行解码以生成解码的UHDTV视频流122。

在一些实施例中，增强层解码器502可将编码的视频流112的至少一部分解码为UHDTV视频帧的预测残差。增强层解码器502可生成对视频编码器300在编码处理期间生成的UHDTV图像帧的相同或相似的预测，然后将该预测与预测残差组合以生成解码的UHDTV视频流122。增强层解码器502可通过根据在基本层解码器504中解码的BT.709图像帧使用运动补偿预测、帧内预测或缩放颜色预测来生成UHDTV图像帧的预测。将在下面更详细地描述视频编码器400的实施例。

尽管图1示出了利用视频编码器300和视频解码器500的UHDTV视频流和BT.709视频流的基于颜色预测的视频编码，但是在一些实施例中，可利用基于颜色预测的视频编码来对表示不同色域的任何视频流进行编码或解码。

图2是示出BT.709视频标准中和UHDTV视频标准中支持的色域的示例曲线图200。参照图2，曲线图200示出了国际照明委员会(CIE)1931色度xy图格式中的色域的二维表示。曲线图200包括标准观测者色域210，其表示由CIE在1931中确定的标准人类观测者能够看见的颜色范围。曲线图200包括UHDTV色域220，其表示UHDTV视频标准所支持的颜色范围。曲线图200包括比UHDTV色域220窄的BT.709色域230，其表示BT.709视频标准所支持的颜色范围。该曲线图还包括表示白色240的点，其被包括在标准观测者色域210、UHDTV色域220和BT.709色域230中。

图3A和图3B和图3C是图1所示的视频编码器300的框图示例。将理解，任何合适类型的视频编码器可用于任何合适类型的视频内容。将理解，任何合适类型的视频解码器可用于任何合适类型的视频内容。还将理解，视频内容可以为任何期望的格式。另外，将理解，基本层和增强层可以是任何类型的层，未必表示较低和较高的分辨率图像。另外，如果需要，基本层可以遵循高效视频编码(HEVC)。另外，如果需要，增强层可遵循HEVC的可缩放扩展(SHVC)和HEVC的多视角扩展(MV-HEVC)。HEVC规范可包括B.Bross、W-J.Han、J-R Ohm、G.J.Sullivan和T.Wiegand的“高效视频编码(HEVC)文本规范草案10”(JCTVC-L1003，日内瓦，2013年1月)，其整体通过引用并入本文；多视角规范可包括G.Tech、K.Wegner、Y.Chen、M.Hannuksela、J.Boyce的“MV-HEVC草案文本6(ISO/IEC 23008-2:201x/PDAM2)”(JCT3V-F1004，日内瓦，2013年11月)，其整体通过引用并入本文；多视角规范可包括G.Tech、K.Wegner、Y.Chen、M.Hannuksela、J.Boyce的“MV-HEVC草案文本7”(JCT3V-G1004，圣何塞，2014年1月)，其整体通过引用并入本文；可缩放规范可包括J.Chen、J.Boyce、Y.Ye、M.Hannuksela的“SHVC草案4”(JCTVC-O1008，日内瓦，2013年11月)，其整体通过引用并入本文；可缩放规范可包括J.Chen、J.Boyce、Y.Ye、M.Hannuksela、Y.K.Wang的“高效视频编码(HEVC)可缩放扩展草案5”(JCTVC-P1008，圣何塞，2014年1月)，其整体通过引用并入本文。

参照图3A，视频编码器300可包括增强层编码器302和基本层编码器304。基本层编码器304可包括视频输入362以接收具有HD图像帧的BT.709视频流104。基本层编码器304可包括编码预测回路364以对从视频输入362接收的BT.709视频流104进行编码，并且将BT.709视频流的重构的帧存储在参考缓冲器368中。参考缓冲器368可将重构的BT.709图像帧重新提供给编码预测回路364以用于对BT.709视频流104的相同帧或其它帧的其它部分进行编码。参考缓冲器368可存储由编码预测回路364编码的图像帧。基本层编码器304可包括熵编码功能366以对来自编码预测回路364的BT.709视频流的编码版本执行熵编码操作，并且将经熵编码的流提供给输出接口380。

增强层编码器302可包括视频输入310以接收具有UHDTV图像帧的UHDTV视频流102。增强层编码器302可生成UHDTV图像帧的预测并且利用该预测来生成预测残差，例如，利用组合功能315确定的该预测与UHDTV图像帧之差。在一些实施例中，组合功能315可包括例如线性加权的加权，以根据UHDTV图像帧的预测生成预测残差。增强层编码器302可利用变换和量化功能320对预测残差进行变换和量化。熵编码功能330可对变换和量化功能320的输出进行编码，并且将经熵编码的流提供给输出接口380。输出接口380可将来自熵编码功能366和330的熵编码的流复用，以生成编码的视频流112。

增强层编码器302可包括颜色空间预测器400、运动补偿预测功能354和帧内预测器356，其中每一个可生成UHDTV图像帧的预测。增强层编码器302可包括预测选择功能350，以选择将提供给组合功能315的、由颜色空间预测器400、运动补偿预测功能354和/或帧内预测器356生成的预测。

在一些实施例中，运动补偿预测功能354和帧内预测器356可基于先前已由增强层编码器302编码和解码的UHDTV图像帧来生成它们各自的预测。例如，在预测残差被变换和量化之后，变换和量化功能320可将变换和量化的预测残差提供给缩放和逆变换功能322，其结果可在组合功能325中与用于生成预测残差的预测进行组合并生成解码的UHDTV图像帧。组合功能325可将解码的UHDTV图像帧提供给去块功能351，去块功能351可将解码的UHDTV图像帧存储在参考缓冲器340中，参考缓冲器340保存解码的UHDTV图像帧以供运动补偿预测功能354和帧内预测器356使用。在一些实施例中，去块功能351可对解码的UHDTV图像帧进行滤波，例如以平滑与解码的UHDTV图像帧对应的宏块之间的图像中的锐边。

运动补偿预测功能354可从参考缓冲器340接收一个或多个解码的UHDTV图像帧。运动补偿预测功能354可基于来自参考缓冲器340的所述一个或多个解码的UHDTV图像帧与UHDTV图像帧之间的图像运动来生成当前UHDTV图像帧的预测。

帧内预测器356可从参考缓冲器340接收当前UHDTV图像帧的第一部分。帧内预测器356可至少基于先前已由增强层编码器302编码和解码的当前UHDTV图像帧的第二部分来生成与当前UHDTV图像帧的第一部分对应的预测。

颜色空间预测器400可基于先前已由基本层编码器304编码的BT.709图像帧来生成UHDTV图像帧的预测。在一些实施例中，基本层编码器304中的参考缓冲器368可将重构的BT.709图像帧提供给分辨率上调(upscaling)功能370，其可将重构的BT.709图像帧的分辨率缩放至与UHDTV视频流102对应的分辨率。分辨率上调功能370可将上调的重构的BT.709图像帧的分辨率版本提供给颜色空间预测器400。颜色空间预测器可基于上调的重构的BT.709图像帧的分辨率版本来生成UHDTV图像帧的预测。在一些实施例中，颜色空间预测器400可将上调的重构的BT.709图像帧的分辨率版本的YUV颜色空间缩放为对应于UHDTV视频流102所支持的YUV表示。在一些实施例中，上调和颜色预测联合进行。基本层编码器304中的参考缓冲器368可将重构的BT.709图像帧提供给联合的上调器颜色预测器。联合的上调器颜色预测器375生成UHDTV图像帧的上调预测和颜色预测。组合的上调器和颜色预测功能使得复杂度能够降低，并且避免了由分离的上调器和颜色预测模块之间的有限位深导致的精度损失。

颜色空间预测器400有若干种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频流102所支持的颜色空间，例如独立通道预测和仿射混合通道预测。独立通道预测可包括将BT.709图像帧的YUV颜色空间的各个部分分别转换成UHDTV图像帧的预测。Y部分或亮度可根据式1来缩放：

Y_UHDTV＝g₁·Y_BT.709+o₁

U部分或色度部分之一可根据式2来缩放：

U_UHDTV＝g₂·U_BT.709+o₂

V部分或色度部分之一可根据式3来缩放：

V_UHDTV＝g₃·V_BT.709+o₃

增益参数g1、g2和g3以及偏移参数o1、o2和o3可基于BT.709视频编码标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器304可例如经由输出接口380将颜色空间预测器400用来生成UHDTV图像帧的预测的增益参数g1、g2和g3以及偏移参数o1、o2和o3输出给视频解码器500，以作为颜色预测参数114。

在一些实施例中，独立通道预测可包括增益参数g1、g2和g3以及零参数。Y部分或亮度可根据式4来缩放：

Y_UHDTV＝g₁·(Y_BT.709-Yzero_BT.709)+Yzero_UHDTV

U部分或色度部分之一可根据式5来缩放：

U_UHDTV＝g₂·(U_BT.709-Uzero_BT.709)+Uzero_UHDTV

V部分或色度部分之一可根据式6来缩放：

V_UHDTV＝g₃·(V_BT.709-Vzero_BT.709)+Vzero_UHDTV

增益参数g1、g2和g3可基于BT.709视频编码标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器304可例如经由输出接口380将颜色空间预测器400用来生成UHDTV图像帧的预测的增益参数g1、g2和g3输出给视频解码器500，以作为颜色预测参数114。由于视频解码器500可预载有零参数，所以视频编码器300可生成并向视频解码器500发送较少的颜色预测参数114，例如，三个，而非六个。

在一些实施例中，式4-6中所使用的零参数可基于相关颜色空间和颜色通道的位深来定义。例如，在表1中，零参数可如下定义：

YzeroBT.709＝0	YzeroUHDTV＝0
		UzeroBT.709＝(1＜＜bitsBT.709)	UzeroUHDTV＝(1＜＜bitsUHDTV)
VzeroBT.709＝(1＜＜bitsBT.709)	VzeroUHDTV＝(1＜＜bitsUHDTV)

表1

仿射混合通道预测可包括例如通过矩阵乘法功能，通过混合BT.709图像帧的YUV通道来转换BT.709图像帧的YUV颜色空间以生成UHDTV图像帧的预测。在一些实施例中，BT.709的颜色空间可根据式7来缩放：

${\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)}_{UHDTV}=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right)\&CenterDot;{\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)}_{BT.709}+\left(\begin{array}{c}{o}_1\\ o_2\\ o_3\end{array}\right)$

矩阵参数m11、m12、m13、m21、m22、m23、m31、m32和m33以及偏移参数o1、o2和o3可基于BT.709视频格式建议和UHDTV视频格式建议所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器304可例如经由输出接口380将颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500，以作为颜色预测参数114。

在一些实施例中，BT.709的颜色空间可根据式8来缩放：

${\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)}_{UHDTV}=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ 0& m_{22}& 0\\ 0& 0& m_{33}\end{array}\right)\&CenterDot;{\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)}_{BT.709}+\left(\begin{array}{c}{o}_1\\ o_2\\ o_3\end{array}\right)$

矩阵参数m11、m12、m13、m22和m33以及偏移参数o1、o2和o3可基于BT.709视频编码标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器304可例如经由输出接口380将颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500，以作为颜色预测参数114。

通过用零代替矩阵参数m21、m23、m31和m32，UHDTV图像帧预测的亮度通道Y可与BT.709图像帧的颜色通道U和V混合，但是UHDTV图像帧预测的颜色通道U和V可不与BT.709图像帧的亮度通道Y混合。选择性的通道混合可允许更精确的预测UHDTV图像帧预测的亮度通道，同时减少发送给视频解码器500的预测参数114的数量。

在一些实施例中，BT.709的颜色空间可根据式9来缩放：

${\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)}_{UHDTV}=\left(\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ 0& m_{22}& m_{23}\\ 0& m_{32}& m_{33}\end{array}\right)\&CenterDot;{\left(\begin{array}{c}Y\\ U\\ V\end{array}\right)}_{BT.709}+\left(\begin{array}{c}{o}_1\\ o_2\\ o_3\end{array}\right)$

矩阵参数m11、m12、m13、m22、m23、m32和m33以及偏移参数o1、o2和o3可基于BT.709视频标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。增强层编码器304可例如经由输出接口380将颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500，以作为颜色预测参数114。

通过用零代替矩阵参数m21和m31，UHDTV图像帧预测的亮度通道Y可与BT.709图像帧的颜色通道U和V混合。UHDTV图像帧预测的U和V颜色通道可与BT.709图像帧的U和V颜色通道混合，而不与BT.709图像帧的亮度通道Y混合。选择性的通道混合可允许更精确的预测UHDTV图像帧预测的亮度通道，同时减少发送给视频解码器500的预测参数114的数量。

颜色空间预测器400可基于每序列(帧间)、每帧或每片(帧内)来对预测选择功能350生成缩放的颜色空间预测，并且视频编码器300可基于每序列(帧间)、每帧或每片(帧内)来发送与缩放的颜色空间预测对应的预测参数114。在一些实施例中，用于生成缩放的颜色空间预测的粒度可在颜色空间预测器400中预设或固定，或者可由视频编码器300基于编码功能或UHDTV图像帧的内容来动态地调节。

视频编码器300可在编码的视频流112的规范部分中，例如序列参数集(SPS)、图片参数集(PPS)或者编码的视频流112的规范部分的另一下级段中发送颜色预测参数114。在一些实施例中，可利用语法来将颜色预测参数114插入到编码的视频流112中，该语法允许视频解码器500识别在编码的视频流112中存在颜色预测参数114，该语法将识别参数的精度或大小——例如，用于表示各个参数的比特数，并且将识别视频编码器300的颜色空间预测器400用来生成颜色空间预测的颜色空间预测类型。

在一些实施例中，编码的视频流112的规范部分可包括可通告编码的视频流112中包括颜色空间参数114的标志(use_color_space_prediction)，例如一个或多个比特。编码的视频流112的规范部分可包括可识别用于表示各个参数的比特数或精度的大小参数(color_predictor_num_fraction_bits_minus1)，例如一个或多个比特。编码的视频流112的规范部分可包括可识别视频编码器300用来生成颜色空间预测的颜色空间预测类型的预测器类型参数(color_predictor_idc)，例如一个或多个比特。颜色空间预测类型可包括独立通道预测、仿射预测、其各种实现方式等。颜色预测参数114可根据视频编码器300所使用的预测类型而包括增益参数、偏移参数和/或矩阵参数。

参照图3B，视频编码器301可类似于上面在图3A中示出并描述的视频编码器300，其中有下列不同。视频编码器301可将颜色空间预测器400与分辨率上调功能370切换。颜色空间预测器400可基于先前已由基本层编码器304编码的BT.709图像帧来生成UHDTV图像帧的预测。

在一些实施例中，基本层编码器304中的参考缓冲器368可将编码的BT.709图像帧提供给颜色空间预测器400。颜色空间预测器可缩放编码的BT.709图像帧的YUV颜色空间以对应于UHDTV视频格式所支持的YUV表示。颜色空间预测器400可将颜色空间预测提供给分辨率上调功能370，分辨率上调功能370可将编码的BT.709图像帧的颜色空间预测的分辨率缩放至与UHDTV视频格式对应的分辨率。分辨率上调功能370可将上调了分辨率的颜色空间预测提供给预测选择功能350。

图4是图3A所示的颜色空间预测器400的框图示例。参照图4，颜色空间预测器400可包括颜色空间预测控制装置410，以例如经由分辨率上调功能370从基本层编码器304接收重构的BT.709视频帧402，并且选择用于生成颜色空间预测406的预测类型和时序。在一些实施例中，颜色空间预测控制装置410可将重构的BT.709视频帧402传递给独立通道预测功能420、仿射预测功能430或跨颜色预测功能440中的至少一个。预测功能420、430和440中的每一个可例如通过将BT.709图像帧的颜色空间缩放至UHDTV图像帧的颜色空间，来根据重构的BT.709视频帧402生成UHDTV图像帧(或其一部分)的颜色空间预测。

独立颜色通道预测功能420可分别缩放编码的BT.709视频流402的YUV分量，例如，如上面式1-6中所示。仿射预测功能430可利用矩阵乘法来缩放重构的BT.709视频帧402的YUV分量，例如，如上面式7中所示。跨颜色预测功能440可利用修改的矩阵乘法来缩放编码的BT.709视频流402的YUV分量，所述修改的矩阵乘法可在生成UHDTV图像帧的U和V分量时从编码的BT.709视频流402中消除Y分量的混合，例如，如上面式8或9中所示。

在一些实施例中，颜色空间预测器400可包括选择装置450，以从独立颜色通道预测功能420、仿射预测功能430和跨颜色预测功能440中选择输出。选择装置450还可输出用于生成颜色空间预测406的颜色预测参数114。颜色预测控制装置410可例如通过控制选择装置450的定时和输出，来控制生成颜色空间预测406的定时和生成颜色空间预测406所执行的操作的类型。在一些实施例中，颜色预测控制装置410可通过选择性地将编码的BT.709视频流402提供给独立通道预测功能420、仿射预测功能430和跨颜色预测功能440中的至少一个，来控制生成颜色空间预测406的定时和生成颜色空间预测406所执行的操作的类型。将理解，如果需要，可使用任何颜色空间预测。

图5A和图5B和图5C是图1所示的视频解码器500的框图示例。参照图5A，视频解码器可包括接口510，以例如从视频编码器300接收编码的视频流112。接口510可将编码的视频流112解复用，并且将编码的UHDTV图像数据提供给视频解码器500的增强层解码器502，以及将编码的BT.709图像数据提供给视频解码器500的基本层解码器504。基本层解码器504可包括熵解码功能552和解码预测回路554，以将从接口510接收的编码的BT.709图像数据解码，并且将解码的BT.709视频流124存储在参考缓冲器556中。参考缓冲器556可将解码的BT.709视频流124重新提供给解码预测回路554以用于对编码的BT.709图像数据的相同帧或其它帧的其它部分进行解码。基本层解码器504可输出解码的BT.709视频流124。在一些实施例中，来自解码预测回路554的输出以及至参考缓冲器556的输入可以是残差帧数据，而非重构的帧数据。

增强层解码器502可包括熵解码功能522、逆量化功能524、逆变换功能526和组合功能528，以对从接口510接收的编码的UHDTV图像数据进行解码。去块功能541可对解码的UHDTV图像帧进行滤波，例如以平滑与解码的UHDTV图像帧对应的区域之间的图像中的锐边，并且将解码的UHDTV视频流122存储在参考缓冲器530中。在一些实施例中，编码的UHDTV图像数据可对应于预测残差，例如，由视频编码器300确定的预测与UHDTV图像帧之差。增强层解码器502可生成UHDTV图像帧的预测，组合功能528可将UHDTV图像帧的预测与已经历熵解码、逆量化和逆变换的编码的UHDTV图像数据相加，以生成解码的UHDTV视频流122。在一些实施例中，组合功能528可包括例如线性加权的加权，以生成解码的UHDTV视频流122。

增强层解码器502可包括颜色空间预测器600、运动补偿预测功能542和帧内预测器544，其中的每一个均可生成UHDTV图像帧的预测。增强层解码器502可包括预测选择功能540，以选择将提供给组合功能528的、由颜色空间预测器600、运动补偿预测功能542和/或帧内预测器544生成的预测。

在一些实施例中，运动补偿预测功能542和帧内预测器544可基于先前已由增强层解码器502解码并被存储参考缓冲器530在中的UHDTV图像帧来生成其相应的预测。运动补偿预测功能542可从参考缓冲器530接收一个或多个解码的UHDTV图像帧。运动补偿预测功能542可基于来自参考缓冲器530的所述一个或多个解码的UHDTV图像帧与UHDTV图像帧之间的图像运动来生成当前UHDTV图像帧的预测。

帧内预测器544可从参考缓冲器530接收当前UHDTV图像帧的第一部分。帧内预测器544可至少基于先前已由增强层解码器502解码的当前UHDTV图像帧的第二部分来生成与当前UHDTV图像帧的第一部分对应的预测。

颜色空间预测器600可基于由基本层解码器504解码的BT.709图像帧来生成UHDTV图像帧的预测。在一些实施例中，基本层解码器504中的参考缓冲器556可将解码的BT.709视频流124的一部分提供给分辨率上调功能570，分辨率上调功能570可将编码的BT.709图像帧的分辨率缩放为与UHDTV视频格式对应的分辨率。分辨率上调功能570可将上调的编码的BT.709图像帧的分辨率版本提供给颜色空间预测器600。颜色空间预测器可基于上调的编码的BT.709图像帧的分辨率版本生成UHDTV图像帧的预测。在一些实施例中，颜色空间预测器600可缩放上调的编码的BT.709图像帧的分辨率版本的YUV颜色空间以对应于UHDTV视频格式所支持的YUV表示。

在一些实施例中，上调和颜色预测联合进行。基本层解码器504中的参考缓冲器556可将重构的BT.709图像帧提供给联合的上调器颜色预测器575。联合的上调器颜色预测器生成UHDTV图像帧的上调预测和颜色预测。组合的上调器和颜色预测功能使得复杂度能够降低，并且避免了由分离的上调器和颜色预测模块之间的有限位深导致的精度损失。上调和颜色预测的组合的示例可由一组式定义。传统上通过可分离的滤波计算实现升采样以及随后进行独立颜色预测。以下由式10、11和12以三步示出示例计算。

如式10中，为得到中间值y_i，j，在一个方向上通过抽头a_k对输入样本x_i，j进行滤波。与偏移O₁相加，使结果右移值S₁：

$y_{i,j}=(\underset{k}{\&Sigma;}{a}_k\&CenterDot;x_{i-k,j}+o_1)>>s_1$

然后如式11中，为得到样本Z_i，j，通过抽头b_k对中间样本y_i，j进行滤波，并且与第二偏移O₂相加，使结果右移第二值S₂：

$z_{i,j}=(\underset{k}{\&Sigma;}{b}_k\&CenterDot;y_{i,j-k}+o_2)>>s_2$

然后通过颜色预测来处理升采样处理的结果Z_i，j，以生成预测样本p_i，j。应用增益，然后与偏移O₃相加，最后移位颜色预测处理在式12中描述为：

p_i，j＝(gain·Z_i，j+O₃)＞＞S₃

可通过将颜色预测计算与第二可分离的滤波计算组合来降低复杂度。式11的滤波器抽头b_k与式12的增益组合以产生新的抽头c_k＝gain·b_k，式11和式12的移位值被组合以得到新的移位值S₄＝S₂+S₃。式12的偏移被修改为O₄＝O₃＜＜S₂。式11和式12的各个计算在单个结果式13中定义为：

$p_{i,j}=\left(\left(\underset{k}{\&Sigma;}{c}_k\&CenterDot;y_{i,j-k}\right)+o_4\right)>>s_4$

式13的组合计算与式11和式12相比具有这样的优点：通过使用单个移位而非两个分离的移位减少了计算，并且通过将滤波器抽头与增益值预相乘，减少了相乘次数。

在一些实施例中，可能可取的是在式10和式11中使用相等的抽头a_k＝b_k来实现可分离的滤波计算。组合的上调预测和颜色预测的直接应用不再需要这种抽头相等，因为值b_k被组合值c_k代替。替代实施例将维持这种抽头相等。增益被表示为由因子e对值r的平方移位，形式为gain＝(r·r)＜＜e。其中利用m比特来表示值r。

式10和式13的结果可被一对式14和式15代替：

$y_{i,j}=\left(\underset{k}{\&Sigma;}r\&CenterDot;a_k\&CenterDot;x_{i-k,j}+o_5\right)>>s_5$

$p_{i,j}\left(\left(\underset{k}{\&Sigma;}r\&CenterDot;a_k\&CenterDot;y_{i,j-k}\right)+o_6\right)>>s_6$

根据式10和式13中的值推导式15和式16中所使用的偏移和移位，增益值的表示如式16所示：

O₅＝O₁＜＜m

S₅＝S₁+m

O₆＝O₄＜＜(m+e)

S₆＝S₄+m+e

式15和式16中的滤波计算使用相等的抽头值r·a_k。指数因子e的使用允许通过增大e的值以r的较小值来近似的较大的增益值。

颜色空间预测器600可通过例如利用独立通道预测、仿射混合通道预测或者跨颜色通道预测将BT.709视频编码标准所支持的颜色空间缩放为UHDTV视频格式所支持的颜色空间，类似于视频编码器300中的颜色空间预测器400来操作。然而，颜色空间预测器600可至少部分地基于从视频编码器300接收到的颜色预测参数114选择待生成的颜色空间预测的类型。颜色预测参数114可明确地识别颜色空间预测的具体类型，或者可例如通过颜色预测参数114的量和/或排列来隐含地识别颜色空间预测的类型。

如上所述，在一些实施例中，编码的视频流112的规范部分可包括可通告编码的视频流112中包括颜色空间参数114的标志(use_color_space_prediction)，例如一个或多个比特。编码的视频流112的规范部分可包括可识别用于表示各个参数的比特数或精度的大小参数(color_predictor_num_fraction_bits_minus1)，例如一个或多个比特。编码的视频流112的规范部分可包括可识别视频编码器300用来生成颜色空间预测的颜色空间预测类型的预测器类型参数(color_predictor_idc)，例如一个或多个比特。颜色空间预测的类型可包括独立通道预测、仿射预测、其各种实现方式等。颜色预测参数114可根据视频编码器300所使用的预测类型而包括增益参数、偏移参数和/或矩阵参数。

颜色空间预测器600基于标志(use_color_space_prediction)来识别视频编码器300是否在生成编码的视频流112中利用了颜色空间预测。当编码的视频流112中存在颜色预测参数114时，颜色空间预测器600可解析颜色预测参数114，以基于预测器类型参数(color_predictor_idc)以及参数的大小或精度(color_predictor_num_fraction_bits_minus1)识别编码的视频所利用的颜色空间预测的类型，并且定位将用于生成颜色空间预测的颜色空间参数。

例如，视频解码器500可基于下面表2中的示例代码来确定编码的视频流112中是否存在颜色预测参数114，并且解析颜色预测参数114：

表2

将理解，可使用任何技术来对颜色预测参数进行编码和/或解码。

表2中的示例代码可允许视频解码器500基于use_color_space_prediction标志来识别编码的视频流112中是否存在颜色预测参数114。视频解码器500可基于大小参数(color_predictor_num_fraction_bits_minus1)识别颜色空间参数的精度或大小，并且可基于类型参数(color_predictor_idc)识别视频编码器300所利用的颜色空间预测的类型。表2中的示例代码可允许视频解码器500基于识别的颜色空间参数的大小以及识别的视频编码器300所利用的颜色空间预测的类型来从编码的视频流112中解析颜色空间参数，其可识别颜色空间参数的数量、语义和位置。尽管表2中的示例代码示出了包括9个矩阵参数和3个偏移参数的仿射预测，但是在一些实施例中，颜色预测参数114可包括更少的矩阵和/或偏移参数，例如，当矩阵参数的子集为零时，示例代码可被相应地修改以解析颜色预测参数114。

这里描述了以信令发送的颜色预测参数的替代方法。HEVC的图片参数集(PPS)的结构示出于下表3中：

表3

当pps_extension_flag被设定为等于1时增加承载颜色预测数据的附加字段。

pps_extension_flag等于0指定在PPS RBSP语法结构中不存在pps_extension_data_flag语法元素。

在扩展数据中以信令发送下列信息：

在当前图片上使用颜色预测的标志

用于以信令发送增益和偏移值的颜色预测模型的指示符。

颜色预测模型	索引
		比特增量	0
固定增益偏移	1
		图片自适应增益偏移	2

表4

对于各个模型，以信令发送或推导下列值：用于各个颜色分量的number_gain_fraction_bits、gain[]和offset[]值。

比特增量(BI)模型：片段比特数为零，增益值相等并且基于基本层与增强层之间的位深差异，即，1<<(bit_depth_EL-bit-depth_BL)，所有偏移值为零。

固定增益偏移模型：以信令发送指示使用参数集合的索引x，先前例如在传输外或者通过预定义的参数值表以信令发送该参数集合。此索引指示先前定义的值的集合，包括：所有分量的片段比特数、增益和偏移值。这些值没有被以信令发送，而是参考预定义的集合。如果仅预定义了单个参数集合，则不发送索引，并且当使用固定增益偏移模型时使用此集合。

图片自适应增益偏移模型：通过以下字段在比特流中以信令发送参数值。片段比特数作为预定义范围(即，0-5)内的整数被以信令发送。对于各个通道增益和偏移值作为整数被以信令发送。可选方法是以信令发送固定增益偏移模型与图片自适应增益偏移模型的参数值之间的差异。

各个层将可具有独立地指定的颜色空间，例如使用具有指示颜色信息的存在的colour_description_present_flag的HEVC视频可用性信息(VUI)。作为示例，可通过不同的序列参数集对各个层指定单独的VUI字段。

colour_description_present_flag等于1指定存在基色、转移特性和矩阵系数。colour_description_present_flag等于0指定不存在基色、转移特性和矩阵系数。

颜色空间预测器600可基于每序列(帧内)、每帧或每片(帧间)来对预测选择功能540生成颜色空间预测。在一些实施例中，颜色空间预测器600可以固定或预设的定时或者响应于从视频编码器300接收到颜色预测参数114而动态地生成颜色空间预测。

参照图5B，视频解码器501可类似于上面图5A中示出并描述的视频解码器500，其中有下列不同。视频解码器501可将颜色空间预测器600与分辨率上调功能570切换。颜色空间预测器600可基于来自基本层解码器504的解码的BT.709视频流124的部分来生成UHDTV图像帧的预测。

在一些实施例中，基本层解码器504中的参考缓冲器556可将解码的BT.709视频流124的所述部分提供给颜色空间预测器600。颜色空间预测器600可缩放解码的BT.709视频流124的所述部分的YUV颜色空间以对应于UHDTV视频标准所支持的YUV表示。颜色空间预测器600可将颜色空间预测提供给分辨率上调功能570，分辨率上调功能570可将颜色空间预测的分辨率缩放为与UHDTV视频标准对应的分辨率。分辨率上调功能570可将上调了分辨率的颜色空间预测提供给预测选择功能540。

图6是图5A所示的颜色空间预测器600的框图示例。参照图6，颜色空间预测器600可包括颜色空间预测控制装置610，以例如经由分辨率上调功能570从基本层解码器504接收解码的BT.709视频流122，并且选择用于生成颜色空间预测606的预测类型和定时。颜色空间预测器600可至少部分地基于从视频编码器300接收到的颜色预测参数114选择待生成的颜色空间预测的类型。颜色预测参数114可明确地识别颜色空间预测的具体类型，或者可例如通过颜色预测参数114的量和/或排列来隐含地识别颜色空间预测的类型。在一些实施例中，颜色空间预测控制装置610可将解码的BT.709视频流122和颜色预测参数114传递给独立通道预测功能620、仿射预测功能630或跨颜色预测功能640中的至少一个。预测功能620、630和640中的每一个可例如通过基于颜色空间参数114将BT.709图像帧的颜色空间缩放至UHDTV图像帧的颜色空间，来根据解码的BT.709视频流122生成UHDTV图像帧(或其一部分)的颜色空间预测。将理解，如果需要，可使用任何合适的颜色空间和/或表示。

独立颜色通道预测功能620可分别缩放解码的BT.709视频流122的YUV分量，例如，如上面式1-6中所示。仿射预测功能630可利用矩阵乘法来缩放解码的BT.709视频流122的YUV分量，例如，如上面式7中所示。跨颜色预测功能640可利用修改的矩阵乘法来缩放解码的BT.709视频流122的YUV分量，所述修改的矩阵乘法可在生成UHDTV图像帧的U和V分量时从解码的BT.709视频流122中消除Y分量的混合，例如，如上面式8或9中所示。

在一些实施例中，颜色空间预测器600可包括选择装置650，以从独立颜色通道预测功能620、仿射预测功能630和跨颜色预测功能640选择输出。颜色预测控制装置610可例如通过控制选择装置650的定时和输出，来控制生成颜色空间预测606的定时和生成颜色空间预测606所执行的操作的类型。在一些实施例中，颜色预测控制装置610可通过选择性地将解码的BT.709视频流122提供给独立颜色通道预测功能620、仿射预测功能630和跨颜色预测功能640中的至少一个，来控制生成颜色空间预测606的定时和生成颜色空间预测606所执行的操作的类型。

图7是视频编码器300中的颜色空间预测的示例操作流程图。参照图7，在第一方框710，视频编码器300可对具有第一图像格式的第一图像进行编码。在一些实施例中，第一图像格式可对应于BT.709视频标准，视频编码器300可包括编码BT.709图像帧的基本层。

在方框720，视频编码器300可将根据第一图像格式的第一图像的颜色空间缩放到与第二图像格式对应的颜色空间。在一些实施例中，视频编码器300可在BT.709视频标准和与第二图像格式对应的超高清电视(UHDTV)视频标准之间缩放颜色空间。

对于视频编码器300存在若干种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频格式所支持的颜色空间，例如独立通道预测和仿射混合通道预测。例如，独立颜色通道预测可分别缩放编码的BT.709图像帧的YUV分量，例如，如上面式1-6中所示。仿射混合通道预测可利用矩阵乘法缩放编码的BT.709图像帧的YUV分量，例如，如上面式7-9中所示。

在一些实施例中，视频编码器300可将根据第一图像格式的第一图像的分辨率缩放到与第二图像格式对应的分辨率。例如，UHDTV视频标准可支持4k(3840×2160像素)或8k(7680×4320像素)的分辨率以及10或12位的量化位深。BT.709视频标准可支持2k(1920×1080像素)的分辨率以及8或10位的量化位深。视频编码器300可将编码的第一图像从与BT.709视频标准对应的分辨率缩放到与UHDTV视频标准对应的分辨率。

在方框730，视频编码器300可至少部分地基于第一图像的缩放的颜色空间来生成颜色空间预测。颜色空间预测可以是根据对应的编码的BT.709图像帧的颜色空间的UHDTV图像帧(或其部分)的预测。在一些实施例中，视频编码器300可至少部分地基于第一图像的缩放的分辨率来生成颜色空间预测。

在方框740，视频编码器300可至少部分地基于颜色空间预测对具有第二图像格式的第二图像进行编码。视频编码器300可将编码的第二图像以及用于缩放第一图像的颜色空间的颜色预测参数输出给视频解码器。

图8是视频解码器500中的颜色空间预测的示例操作流程图。参照图8，在第一方框810，视频解码器500可对编码的视频流进行解码以生成具有第一图像格式的第一图像。在一些实施例中，第一图像格式可对应于BT.709视频标准，视频解码器500可包括解码BT.709图像帧的基本层。

在方框820，视频解码器500可将与第一图像格式对应的第一图像的颜色空间缩放到与第二图像格式对应的颜色空间。在一些实施例中，视频解码器500可在BT.709视频标准与对应于第二图像格式的超高清电视(UHDTV)视频标准之间缩放颜色空间。

对于视频解码器500存在若干种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频标准所支持的颜色空间，例如独立通道预测和仿射混合通道预测。例如，独立颜色通道预测可分别缩放编码的BT.709图像帧的YUV分量，例如，如上面式1-6中所示。仿射混合通道预测可利用矩阵乘法缩放编码的BT.709图像帧的YUV分量，例如，如上面式7-9中所示。

视频解码器500可选择颜色空间缩放的类型，以基于视频解码器500从视频编码器300接收到的通道预测参数来执行诸如独立通道预测或者多种仿射混合通道预测之一。在一些实施例中，视频解码器500可执行解码的BT.709图像帧的默认或预设颜色空间缩放。

视频解码器500可预先确定待执行的颜色预测的类型。可基于BT.709图像帧中的对应像素值来确定待用于所选择的颜色预测的确切参数。在示例实施例中，BT.709颜色空间可被分割成区域，各个区域可对应于待用于所选择的颜色预测的参数值。BT.709图像帧中的对应像素值对应于区域，该区域继而对应于待用于所选择的颜色预测的参数。可在比特流中以信令发送与BT.709区域的各个分区对应的参数值，例如，在片头或其扩展中、在图片参数集或其扩展中、在序列参数集或其扩展中、在视频参数集或其扩展中。在一些实施例中，与BT.709区域的分区对应的所有参数或其子集可被推断(或者基于过去的数据推导)并且不被明确地以信令发送。

对于某一N值编码树块为样本的N×N块，使得将组分变成编码树块的划分是分区。

编码树单元是亮度样本的编码树块、具有三个样本阵列的图片的色度样本的两个对应编码树块、或者单色图片或者使用三个单独的颜色平面以及用于对样本进行编码的语法结构编码的图片的样本的编码树块。

切片头是包含属于以切片段表示的第一或所有编码树单元的数据元素的编码切片段的一部分。

切片头是独立切片段的切片段头，该独立切片段为当前切片段或者按照解码顺序在当前所依赖的切片段前面的最近独立切片段。

序列参数集(SPS)是包含应用于零个或者更多完整编码视频序列(CVS)的语法元素的语法结构，其由PPS中所找到的语法元素的内容确定，PPS被各个切片段头中所找到的语法元素参考。

图片参数集(PPS)是包含应用于零个或者更多完整编码图片的语法元素的语法结构，其由各个切片段头中所找到的语法元素确定。

视频参数集(VPS)是包含应用于零个或者更多完整CVS的语法元素的语法结构，其由SPS中所找到的语法元素的内容确定，SPS被PPS中所找到的语法元素参考，PPS被各个切片段头中所找到的语法元素参考。

下面表5中所列的是切片头中的(待用于颜色预测)示例性区域性参数信令。此示例中所使用的颜色预测类型对应于式7(需要注意的是，所描述的技术也应用于任何替代类型的颜色预测)。当语法元素infer_parameters[r]取值1时；具有索引r的区域的参数被设定为预定值。当语法元素infer_parameters[r]取值0时；具有索引r的区域的参数在比特流中被明确地以信令发送。语法元素cross_color_predictor_gain[r][i][j]和color_predictor_offset[r][i]表示分别与式7的m_ij和o_i对应的值。参数m_ij(以及cross_color_predictor_gain[r][i][j])也可被称作跨颜色增益参数，参数o_i(以及color_predictor_offset[r][i])也可被称作偏移参数。

表5

使得减少用于在比特流中以信令发送与颜色空间区域r对应的颜色预测参数的比特的技术如下：作为第一步骤，以信令发送各个颜色预测参数(跨颜色增益或偏移)值可包括在预测值集合中选择使用哪一(哪些)值作为参考。作为第二步骤，可以信令发送作为相对于所选择的参考值的差别的颜色预测参数(跨颜色增益或偏移)值。例如，在解码期间，可使用一个或更多个颜色预测参数值基于预测按照顺序方式确定颜色预测参数值，例如5(第一跨颜色增益值或第一颜色预测参数)、7(第二跨颜色增益值或第二颜色预测参数)、10(第三跨颜色增益值或第三颜色预测参数)、12(第一偏移值或第四颜色预测参数)、20(第四跨颜色增益值或第五颜色预测参数)、50(第五跨颜色增益值或第六颜色预测参数)、90(第六跨颜色增益值或第七颜色预测参数)、22(第二偏移值或第八颜色预测参数)、64(第七跨颜色增益值或第九颜色预测参数)、55(第八跨颜色增益值或第十颜色预测参数)、44(第九跨颜色增益值或第十一颜色预测参数)、33(第三偏移值或第十二颜色预测参数)。因此，可基于一个或更多个先前的颜色预测参数，例如，由cross_color_predictor_gain[r][1][0]指示的第五颜色预测参数(第四跨颜色增益)值，来预测第六颜色预测参数(第五跨颜色增益值)。然后，与第五颜色预测参数(第四跨颜色增益)对应的diff_cross_color_predictor_gain[r][1][1]将与cross_color_predictor_gain[r][1][0]组合使用以预测cross_color_predictor_gain[r][1][1]。在一些减少存储器要求或者以信令发送pred_parameter_index[i]的比特数的情况下，可用颜色预测参数值的列表可被截断为小于预定值集合的列表，例如4。在一些情况下，因为既不存在列表也由于第一值不是不同于零的差别而不需要diff_cross_color_predictor_gain[r][0][0]，所以颜色预测参数cross_color_predictor_gain[r][0][0]不需要对应的pred_parameter_index[i]；结果，所述差别将对应于待以信令发送的原始参数值。在一些减少存储器要求或者以信令发送pred_parameter_index[i]的比特数的情况下，因为列表中仅存在一个索引，所以第二颜色预测参数不需要pred_parameter_index[i]。与该示例一致的在比特流中以信令发送颜色预测参数的示例性方式可如表6所示：

表6

对于表6中的示例性信令，具有索引r的颜色空间区域的颜色预测参数值可被确定如下：

颜色空间区域的总数等于number_of_region。

使得减少用于在比特流中以信令发送与颜色空间区域r对应的颜色预测参数的比特的另一技术如下：第一步骤可包括发送用于颜色预测参数值的预测器，例如min_color_prediction_parameter。用于颜色预测参数值的预测器可减小1。用于颜色预测参数值的预测器可按照某种方式基于一系列颜色预测参数值，例如最小颜色预测参数值、最大颜色预测参数值、平均颜色预测参数值、均值颜色预测参数值等。例如，对于颜色预测参数值集合{50,70,100,150 57,70,60,55}，最小颜色预测参数值可为50或者最小颜色预测参数值减1可为49。可提供预测器，例如，最小颜色预测参数值，即，min_color_prediction_parameter。第二步骤可包括使用任何适合的技术对颜色预测参数进行编码。例如，颜色预测参数值相对于预测器值50的差别可被编码为{0,20,50,100,7,20,10,5}。第二步骤可包括与第k阶指数哥伦布码组合，根据基于预测器的编码技术发送所有颜色预测参数值，即，diff_cross_color_predictor_gain[r][i][j]和diff_color_predictor_offset[r][i]。可按照任何合适的方式来选择“k”的值。需要注意的是，对于较大的参数值，“k”越大得到相应越短的码字。还需要注意的是，对于较小的参数值，“k”越大得到相应越长的码字。因此，可按照适合于减少以信令发送颜色预测参数值所需的比特数，同时仍维持计算上有效的技术的方式来修改“k”的值。例如，可基于下列项中的所有或子集来修改“k”：先前以信令发送的颜色预测参数值、量化参数、切片类型、正在编码的视频内容的空间特性、空间邻居所选择的“k”值。与该示例一致的在比特流中以信令发送颜色预测参数的一个示例性方式可如表7所示：

表7

对于表7中的示例性信令，用于颜色空间区域r的颜色预测参数值可被确定如下：

颜色空间区域的总数等于number_of_region。

使得减少用于在比特流中以信令发送与颜色空间区域r对应的颜色预测参数的比特的另一技术如下：第一可选步骤可包括发送用于颜色预测参数值的预测器，例如min_color_prediction_parameter。用于颜色预测参数值的预测器可减小1。用于颜色预测参数值的预测器可按照某种方式基于一系列颜色预测参数值，例如最小颜色预测参数值、最大颜色预测参数值、平均颜色预测参数值、均值颜色预测参数值等。例如，对于颜色预测参数值集合{50,70,100,150,57,70,60,55}，最小颜色预测参数值可为50，或者最小颜色预测参数值减1可为49。可提供预测器，例如，最小颜色预测参数值，即，min_color_prediction_parameter。第二步骤可包括针对商数和余数使用任何合适的技术对预测的颜色预测参数值进行编码。例如，在表达式a/b＝c和a％b＝d中，a被称作被除数，b被称作除数，c被称作商数，d被称作余数。这样，各个预测的颜色预测参数值除以给定除数，因此所得商数和余数优选在比特流中被发送。可基于任何合适的特性来确定除数，例如切片类型、量化参数、图像内容、颜色预测参数值的数量、图像的分辨率等。在一个实施例中，除数由编码器选择并且被发送至解码器。第二步骤可包括基于任何合适的技术发送所有预测的颜色预测参数值的商数和余数，例如固定长度码字和/或可变长度码字。余数的范围可从“0”至除数-1。与该示例一致的在比特流中以信令发送颜色预测参数值的一个示例性方式示出于表8中：

表8

对于表8中的示例性信令，除数为(1<<7)；跨颜色增益和偏移参数的商数分别为cross_color_predictor_gain_q[r][i][j]和color_predictor_offset_q[r][i]；跨颜色增益和偏移参数的余数分别为cross_color_predictor_gain_r[r][i][j]和color_predictor_offset_r[r][i]；以及跨颜色增益和偏移参数的符号分别由cross_color_predictor_gain_s[r][i][j]和color_predictor_offset_s[r][i]指示。当不以信令发送与符号对应的语法元素时，其值被推断为0。符号语法元素的值0表示正的颜色预测参数值，1表示负的颜色预测参数值。然后用于颜色空间区域r的颜色预测参数值可被确定如下：

可针对不同的除数值来适当地修改上述信令和推导。颜色空间区域的总数等于number_of_region。

使得减少用于在比特流中以信令发送与颜色空间区域r对应的颜色预测参数的比特的另一技术如下：可选的第一步骤可包括发送用于颜色预测参数值的预测器，例如min_color_prediction_parameter。用于颜色预测参数值的预测器可减小1。用于颜色预测参数值的预测器可按照某种方式基于一系列颜色预测参数值，例如最小颜色预测参数值、最大颜色预测参数值、平均颜色预测参数值、均值颜色预测参数值、预测的颜色预测参数值集合等。例如，对于颜色预测参数值集合{50,70,100,150,57,70,60,55}，最小颜色预测参数值可为50，或者最小颜色预测参数值减1可为49。可提供预测器，例如，最小颜色预测参数值，即，min_color_prediction_parameter。第二步骤可包括发送用于对预测的颜色预测参数进行解码的除数。可按照编码的方式来发送该除数，例如2的幂减1(即，除数＝2^z，其中发送“z-1”)。一般来讲，除数可按照任何方式来编码，例如，z-2、z+1。除数的信令可在任何可取的位置中，例如在切片头或其扩展中、在图片参数集或其扩展中、在序列参数集或其扩展中、在视频参数集或其扩展中。第三步骤可包括使用任何合适的技术一起使用除数、商数和余数对预测的颜色预测参数进行编码。这样，各个颜色预测参数除以给定的除数，因此限定商数与余数之间的关系。可基于任何合适的技术来发送用于颜色预测参数的商数和余数，例如固定长度码字和/或可变长度码字。例如，系统可利用特定可变长度码字来以信令发送除数，利用固定长度码字来以信令发送余数，其中由z确定长度。可通过进一步优化除数的选择来实现编码效率的增加。余数的范围可从“0”至除数-1。与该示例一致的在比特流中以信令发送颜色预测参数值的一个示例性方式示出于表9中：

表9

对于表9中的示例性信令，除数为：

Dv＝(1<<(divisor_power_of_two_minus1+1))；

跨颜色增益和偏移参数的商数分别为cross_color_predictor_gain_q[r][i][j]和color_predictor_offset_q[r][i]；跨颜色增益和偏移参数的余数分别为cross_color_predictor_gain_r[r][i][j]和color_predictor_offset_r[r][i]；跨颜色增益和偏移参数的符号分别由cross_color_predictor_gain_s[r][i][j]和color_predictor_offset_s[r][i]指示。当不以信令发送与符号对应的语法元素时，其值被推断为0。符号语法元素的值0表示正的颜色预测参数值，1表示负的颜色预测参数值。然后用于颜色空间区域r的颜色预测参数值可被确定如下：

可针对不同的除数值来适当地修改上述信令和推导。颜色空间区域的总数等于number_of_region。

可按照其它方式来以信令发送cross_color_predictor_gain_q参数、cross_color_predictor_gain_r参数和/或cross_color_predictor_gain_s参数。例如，可通过一组索引值r、i和j来以信令发送这些参数。具体地讲，可以信令发送索引值i和j以使得它们仅以信令发送匹配对[0][0]、[1][1]、[2][2]，而通过一定范围的值来以信令发送r。如果需要，同样可使用信令的其它组合。如果需要，同样可使用参数的其它范围。如果需要，不被明确以信令发送(或被推断为某一值)的那些组合可被推断为预定值(例如0)。这样，信令量可减少，或者降低了系统的复杂度。

可被用来在比特流中以信令发送与颜色空间区域r对应的颜色预测参数的另一技术可包括使用已经确定的先前颜色空间区域的颜色预测参数。例如，颜色空间区域A可具有已经被确定的颜色预测参数值T1、T2、T3和T4，颜色空间区域B可具有还未被确定的颜色预测参数S1、S2、S3和S4。那么，可基于颜色空间区域A的颜色空间预测参数T1至T4中的一个或更多个来预测颜色空间区域B的颜色预测参数S1至S4中的一个或更多个。在以信令发送Tn的示例性实施例中，可在比特流中以信令发送Tn-Sn，其中n对应于颜色预测参数索引。

在一些实施例中，视频解码器500可将根据第一图像格式的第一图像的分辨率缩放到与第二图像格式对应的分辨率。例如，UHDTV视频标准可支持4k(3840×2160像素)或8k(7680×4320像素)的分辨率以及10或12位的量化位深。BT.709视频标准可支持2k(1920×1080像素)的分辨率以及8或10位量化位深。视频解码器500可将解码的第一图像从与BT.709视频标准对应的分辨率缩放到与UHDTV视频标准对应的分辨率。

在方框830，视频解码器500可至少部分地基于第一图像的缩放的颜色空间来生成颜色空间预测。颜色空间预测可以是根据对应的解码的BT.709图像帧的颜色空间的UHDTV图像帧(或其部分)的预测。在一些实施例中，视频解码器500可至少部分地基于第一图像的缩放的分辨率来生成颜色空间预测。

在方框840，视频解码器500可至少部分地基于颜色空间预测将编码的视频流解码为具有第二图像格式的第二图像。在一些实施例中，视频解码器500可利用颜色空间预测来与来自视频编码器300的预测残差所对应的编码的视频流的一部分组合。颜色空间预测和解码的预测残差的组合可对应于解码的UHDTV图像帧或其部分。

图9是视频解码器500中的颜色空间预测的另一示例操作流程图。参照图9，在第一方框910，视频解码器500可对编码的视频流的至少一部分进行解码以生成具有第一格式的第一残差帧。第一残差帧可以是与两个图像帧之差对应的数据帧。在一些实施例中，第一格式可对应于BT.709视频标准，视频解码器500可包括解码BT.709图像帧的基本层。

在方框920，视频解码器500可将与第一格式对应的第一残差帧的颜色空间缩放到与第二格式对应的颜色空间。在一些实施例中，视频解码器500可在BT.709视频标准与对应于第二格式的超高清电视(UHDTV)视频标准之间缩放颜色空间。

对于视频解码器500存在若干种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频标准所支持的颜色空间，例如独立通道预测和仿射混合通道预测。例如，独立颜色通道预测可分别缩放编码的BT.709图像帧的YUV分量，例如，如上面式1-6中所示。仿射混合通道预测可利用矩阵乘法缩放编码的BT.709图像帧的YUV分量，例如，如上面式7-9中所示。

视频解码器500可选择颜色空间缩放的类型，以基于视频解码器500从视频编码器300接收到的通道预测参数来执行诸如独立通道预测或者多种仿射混合通道预测之一。在一些实施例中，视频解码器500可执行解码的BT.709图像帧的默认或预设颜色空间缩放。

在一些实施例中，视频解码器500可将根据第一格式的第一残差帧的分辨率缩放到与第二格式对应的分辨率。例如，UHDTV视频标准可支持4k(3840×2160像素)或8k(7680×4320像素)的分辨率以及10或12位的量化位深。BT.709视频标准可支持2k(1920×1080像素)的分辨率以及8或10位量化位深。视频解码器500可将解码的第一残差帧从与BT.709视频标准对应的分辨率缩放到与UHDTV视频标准对应的分辨率。

在方框930，视频解码器500可至少部分地基于第一残差帧的缩放的颜色空间来生成颜色空间预测。颜色空间预测可以是根据对应的解码的BT.709图像帧的颜色空间的UHDTV图像帧(或其部分)的预测。在一些实施例中，视频解码器500可至少部分地基于第一残差帧的缩放的分辨率来生成颜色空间预测。

在方框940，视频解码器500可至少部分地基于颜色空间预测将编码的视频流解码为具有第二格式的第二图像。在一些实施例中，视频解码器500可利用颜色空间预测来与来自视频编码器300的预测残差所对应的编码的视频流的一部分组合。颜色空间预测和解码的预测残差的组合可对应于解码的UHDTV图像帧或其部分。

上述系统和设备可使用专用处理器系统、微控制器、可编程逻辑器件、微处理器或其组合，以执行本文所述的一些或全部操作。上述一些操作可在软件中实现，其它操作可在硬件中实现。本文所述的任何操作、处理和/或方法可由基本上与本文以及参照所示附图描述的那些相似的设备、装置和/或系统来执行。

处理装置可执行存储在存储器中的指令或“代码”。存储器也可存储数据。处理装置可包括但可不限于模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。处理装置可以是集成的控制系统或者系统管理器的一部分，或者可作为便携式电子装置被提供，便携式电子装置被配置为本地地或者经由无线传输远程地与联网的系统交互。

处理器存储器可与处理装置集成在一起，例如设置在集成电路微处理器等内的RAM或FLASH存储器。在其它示例中，存储器可包括诸如外部盘驱动器、存储阵列、便携式FLASH密钥卡等的独立装置。存储器和处理装置可例如通过I/O端口、网络连接等在操作上耦合在一起或者彼此通信，并且处理装置可读取存储在存储器上的文件。关联的存储器可凭借权限设置被设计为“只读”(ROM)的，或不为只读的。存储器的其它示例可包括但可不限于WORM、EPROM、EEPROM、FLASH等，其可被实现于固态半导体装置中。其它存储器可包括诸如已知的旋转盘驱动器的移动部件。所有此类存储器均可以是“机器可读”的，并且可由处理装置读取。

操作指令或命令可以存储的计算机软件(也称作“计算机程序”或“代码”)的有形形式被实现或实施。程序或代码可被存储在数字存储器中并且可由处理装置读取。“计算机可读存储介质”(或者可替换地，“机器可读存储介质”)可包括所有上述类型的存储器以及未来的新技术，只要存储器能够至少临时地以计算机程序或其它数据的本质来存储数字信息并且只要存储的信息可被适当的处理装置“读取”。术语“计算机可读”可不限于意指完整的主机、微型计算机、台式或者甚至膝上型计算机的“计算机”的历史用法。相反，“计算机可读”可包括可由处理器、处理装置或者任何计算系统读取的存储介质。此类介质可以是可由计算机或处理器本地和/或远程访问的任何可用介质，并且可包括易失性和非易失性介质以及可移除和不可移除介质或其组合。

存储在计算机可读存储介质中的程序可包括计算机程序产品。例如，存储介质可用作存储或传输计算机程序的方便手段。为了方便起见，操作可被描述成各种互联或耦合的功能方框或示图。然而，可存在这些功能方框或示图可等效地聚合成边界不明的单个逻辑装置、程序或操作的情况。

本领域技术人员将认识到，可针对具体应用按照许多其它方式调整本文所教导的概念。具体地讲，本领域技术人员将认识到，所示的示例仅是许多可替换实现方式之一，这将在阅读本公开时变得显而易见。

尽管本说明书在若干地方可能提及“一个”、“另一”或“一些”示例，但这未必意味着各个此类提及是指同一示例或者特征仅应用于单个示例。

在上述说明书中已经采用的术语和表达在本文中用作描述的术语，而非限制的术语，在使用这些术语和表达时并不意在排除所示出和描述的特征或其部分的等同物，将认识到，本发明的范围仅由随后的权利要求书限定和限制。

Claims (12)

1.一种由解码器对视频的比特流进行解码的方法，所述方法包括步骤：

(a)接收所述比特流内的颜色参数；

(b)其中所述颜色参数包括利用所述比特流提供的残差系数除数值；

(c)其中所述颜色参数包括利用所述比特流提供的残差系数商数值；

(d)其中所述颜色参数包括利用所述比特流提供的残差系数余数值；

(e)其中所述颜色参数包括利用所述比特流提供的残差系数符号，其中只有当所述残差系数商数值或所述残差系数余数值为非零时才以信令发送所述残差系数符号；

(f)基于在所述比特流中接收到的所述残差系数除数值、所述残差系数商数值、所述残差系数余数值和所述残差系数符号来对所述视频进行解码。

2.根据权利要求1所述的方法，其中，颜色参数涉及所述比特流的不同层之间的映射。

3.根据权利要求1所述的方法，其中，如果不以信令发送所述残差系数符号，则所述残差系数符号被推断为0。

4.根据权利要求3所述的方法，其中，所述残差系数符号的所述值0表示正的残差系数值，所述残差系数符号的值1表示负的残差系数值。

5.根据权利要求4所述的方法，其中，通过将所述残差系数商数与所述残差系数除数相乘，并且将结果与所述残差系数余数相加，并且基于所述残差系数符号的值确定符号，来确定所述残差系数值。

6.根据权利要求1所述的方法，还包括：接收用于所述颜色参数的预测器。

7.根据权利要求1所述的方法，其中，基于在所述比特流中以信令发送的数据来推断用于所述颜色参数的预测器。

8.根据权利要求1所述的方法，其中，基于用于所述颜色参数的预测器和所述残差系数值来确定颜色参数值。

9.根据权利要求7所述的方法，还包括：基于所述颜色参数值对所述视频进行解码。

10.根据权利要求5所述的方法，其中，基于用于所述颜色参数的预测器和所述残差系数值来确定颜色参数值。

11.根据权利要求5所述的方法，还包括：接收用于所述颜色参数的预测器。

12.根据权利要求5所述的方法，其中，基于在所述比特流中以信令发送的数据来推断用于所述颜色参数的预测器。