CN105594215B

CN105594215B - 颜色信息和色度信令

Info

Publication number: CN105594215B
Application number: CN201480053696.2A
Authority: CN
Inventors: 萨钦·G·德施潘德
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-10-11
Filing date: 2014-10-09
Publication date: 2019-04-23
Anticipated expiration: 2034-10-09
Also published as: HK1224469A1; EP3056007A1; WO2015052935A1; JP6472441B2; US20160227227A1; EP3056007A4; CN105594215A; JP2016538753A

Abstract

本发明涉及一种用于解码视频的方法，包括：(a)接收编码的画面的视频比特流，其中，所述视频比特流包括多个层；以及(b)接收与所述视频比特流有关的色度信息，其中，所述色度信息包括(1)关于所述视频信号的信息的一个或更多个集合、(2)关于所述视频信号的所述信息的所述集合的数量、(3)关于所述视频信号的所述信息的索引以及(4)指示所述数量和所述索引是否存在的标志。

Description

颜色信息和色度信令

技术领域

本公开总体涉及视频编码，更具体地讲，涉及用于视频编码的颜色信息和色度信令。

背景技术

许多系统包括视频编码器以实现视频编码标准并且压缩视频数据以便于利用有限带宽和/或有限存储容量经由信道传输。这些视频编码标准可包括诸如帧内预测、从空间域变换到频域、从频域逆变换到空间域、量化、熵编码、运动估计和运动补偿的多个编码阶段，以便更有效地对帧进行编码。

发明内容

技术问题

传统数字高清(HD)内容可按照视频编码标准国际电信联盟无线电通信组(ITU-R)建议BT.709所描述的格式来表示，该标准定义了视频内容的分辨率、色域、伽马和量化位深。随着更高分辨率的视频标准(例如ITU-R超高清电视(UHDTV)，其与BT.709相比除了具有更高分辨率以外，还可具有更宽的色域和增加的量化位深)的出现，基于较低分辨率的HD内容的许多传统系统可能无法使用压缩的UHDTV内容。目前维持这些传统系统的可用性的解决方案之一包括分离地联播压缩的HD内容和压缩的UHDTV内容二者。尽管接收到该联播的传统系统能够解码并使用压缩的HD内容，但是压缩并联播具有相同的基本内容的多个比特流无法有效使用处理、带宽和存储资源。

问题的解决方案

根据本发明，提供一种将视频解码的方法，包括：(a)接收编码的画面的视频比特流，其中，所述视频比特流包括多个层；以及(b)接收与所述视频比特流有关的色度信息，其中，所述色度信息包括(1)视频信号信息的集合；(2)所述视频信号信息的所述集合的数量；(3)所述视频信号信息的索引；以及(4)指示所述数量和所述索引是否存在的标志。

通过考虑以下结合附图进行的对本发明的详细描述，本发明的以上和其它目的、特征和优点将更容易理解。

附图说明

图1是视频编码系统的框图示例。

图2是示出BT.709视频标准中和UHDTV视频标准中所支持的色域的示例曲线图200。

图3A是图1所示的视频编码器的框图示例。

图3B是图1所示的视频编码器的框图示例。

图4是图3A和图3B所示的颜色空间预测器的框图示例。

图5A是图1所示的视频解码器的框图示例。

图5B是图1所示的视频解码器的框图示例。

图6是图5A和图5B所示的颜色空间预测器的框图示例。

图7是图1所示的视频编码器中的颜色空间预测的示例操作流程图。

图8是图1所示的视频解码器中的颜色空间预测的示例操作流程图。

图9是图1所示的视频解码器中的颜色空间预测的另一示例操作流程图。

图10A是包括颜色位深缩放的视频编码器的框图示例。

图10B是包括颜色位深缩放的视频编码器的框图示例。

图11是是包括位深缩放的编码方法的流程图

图12A是包括颜色位深缩放的视频解码器的框图示例。

图12B是包括颜色位深缩放的视频解码器的框图示例。

图13是包括位深缩放的解码方法的流程图。

图14A示出示例性vps_extension()句法。

图14B示出示例性vps_extension()句法。

图15示出示例性vps_vui()句法。

图16A示出示例性seq_parameter_set_rbsp()句法。

图16B示出示例性seq_parameter_set_rbsp()句法。

图16C示出示例性seq_parameter_set_rbsp()句法。

图17示出示例性vui_parameters()句法。

图18示出示例性video_signal_info()句法。

图19示出示例性video_signal_info()句法。

图20示出示例性video_signal_info()句法。

图21示出示例性video_signal_info()句法。

具体实施方式

图1是视频编码系统100的框图示例。视频编码系统100可包括视频编码器300，其接收按BT.2020标准化的视频流，例如超高清电视(UHDTV)视频流102，和BT.709视频流104，并且基于所述视频流生成编码的视频流112。视频编码器300可将编码的视频流112发送给视频解码器500。视频解码器500可将编码的视频流112解码以生成解码的UHDTV视频流122和/或解码的BT.709视频流124。

与BT.709视频流104相比，UHDTV视频流102可具有不同的分辨率、不同的量化位深并且表示不同的色域。例如，UHDTV或BT.2020视频标准具有可支持4k(3840x2160像素)或8k(7680x4320像素)分辨率和10或12比特量化位深的格式建议。BT.709视频标准具有可支持2k(1920x1080像素)分辨率和8或10比特量化位深的格式建议。UHDTV格式建议还可支持比BT.709格式建议更宽的色域。UHDTV视频标准域BT.709视频标准之间的色域差异的实施方式将在下面参照图2更详细地示出和描述。

视频编码器300可包括增强层编码器302和基本层编码器304。基本层编码器304可例如利用实现运动图像专家组(MPEG)-2标准等的编解码器实现对高清(HD)内容的视频编码。增强层编码器302可实现对UHDTV内容的视频编码。在一些实施方式中，增强层编码器302可通过从基本层编码器302中编码的BT.709图像帧利用运动补偿预测、帧内预测和缩放颜色预测生成UHDTV图像帧的至少一部分的预测来对UHDTV视频帧进行编码。视频编码器300可利用所述预测来生成预测残差，例如预测与UHDTV图像帧之间的差异，并且将所述预测残差编码在编码的视频流112中。

在一些实施方式中，当视频编码器300使用从BT.709图像帧的缩放颜色预测时，视频编码器300可将颜色预测参数114发送给视频解码器500。颜色预测参数114可包括由视频编码器300用来生成缩放颜色预测的参数。例如，视频编码器300可通过独立颜色信道预测或者基于仿射矩阵的颜色预测来生成缩放颜色预测，独立颜色信道预测或者基于仿射矩阵的颜色预测各自具有不同的参数，例如每信道的增益参数或者每信道的增益参数和偏移参数。颜色预测参数114可包括视频编码器300所使用的与独立颜色信道预测或者基于仿射矩阵的颜色预测对应的参数。在一些实施方式中，编码器300可将颜色预测参数114包括在编码的视频流112的规范部分中，例如序列参数集(SPS)、画面参数集(PPS)或者编码的视频流112的规范部分的另一低级区段中。在一些实施方式中，视频编码器300可利用默认颜色预测参数114，这些默认颜色预测参数可存在于视频解码器500中，从而使得视频编码器300不必向视频解码器500发送颜色预测参数114。视频编码器300的实施例将在下面更详细地描述。

视频解码器500可包括增强层解码器502和基本层解码器504。基本层解码器504可例如利用实现运动图像专家组(MPEG)-2标准等的编解码器来实现对高清(HD)内容的视频解码，并且将编码的视频流112解码以生成解码的BT.709视频流124。增强层解码器502可实现对UHDTV内容的视频解码并且将编码的视频流112解码以生成解码的UHDTV视频流122。

在一些实施方式中，增强层解码器502可将编码的视频流112的至少一部分解码为UHDTV视频帧的预测残差。增强层解码器502可生成视频编码器300在编码期间所生成的UHDTV图像帧的相同或相似的预测，然后将所述预测与预测残差组合以生成解码的UHDTV视频流122。增强层解码器502可从基本层解码器504中解码的BT.709图像帧通过运动补偿预测、帧内预测或缩放颜色预测生成UHDTV图像帧的预测。视频编码器400的实施方式将在下面更详细地描述。

尽管图1示出利用视频编码器300和视频解码器500对UHDTV视频流和BT.709视频流的基于颜色预测的视频编码，在一些实施方式中，可利用基于颜色预测的视频编码对表示不同色域的任何视频流进行编码或解码。

图2是示出BT.709视频标准中和UHDTV视频标准中所支持的色域的示例曲线图200。参照图2，曲线图200示出国际照明委员会(CIE)1931色度xy图格式的色域的二维表示。曲线图200包括标准观测者色域210以表示由CIE在1931确定的标准人观测者可看到的颜色范围。曲线图200包括UHDTV色域220以表示UHDTV视频标准所支持的颜色范围。曲线图200包括BT.709色域230以表示BT.709视频标准所支持的颜色范围，它比UHDTV色域220窄。该曲线图还包括表示白色240的点，其包括在标准观测者色域210、UHDTV色域220和BT.709色域230中。

图3A和图3B是图1所示的视频编码器300的框图示例。参照图3A，视频编码器300可包括增强层编码器302和基本层编码器304。基本层编码器304可包括视频输入362以接收具有HD图像帧的BT.709视频流104。基本层编码器304可包括编码预测环路364以对从视频输入362接收的BT.709视频流104进行编码，并且将BT.709视频流的重构的帧存储在参考缓冲器368中。参考缓冲器368可将重构的BT.709图像帧返回提供给编码预测环路364以用于对BT.709视频流104的相同帧的其它部分或其它帧进行编码。参考缓冲器368可存储由编码预测环路364编码的图像帧。基本层编码器304可包括熵编码功能366以对来自编码预测环路364的BT.709视频流的编码版本执行熵编码操作，并且将熵编码的流提供给输出接口380。

增强层编码器302可包括视频输入310以接收具有UHDTV图像帧的UHDTV视频流102。增强层编码器302可生成UHDTV图像帧的预测并且利用该预测来生成预测残差，例如利用组合功能315确定的预测与UHDTV图像帧之间的差异。在一些实施方式中，组合功能315可包括例如线性加权的加权以从UHDTV图像帧的预测生成预测残差。增强层编码器302可利用变换和量化功能320对预测残差进行变换和量化。熵编码功能330可对变换和量化功能320的输出进行编码，并且将熵编码的流提供给输出接口380。输出接口380可将来自熵编码功能366和330的熵编码的流复用以生成编码的视频流112。

增强层编码器302可包括颜色空间预测器400、运动补偿预测功能354和帧内预测器356，其各自可生成UHDTV图像帧的预测。增强层编码器302可包括预测选择功能350以选择由颜色空间预测器400、运动补偿预测功能354和/或帧内预测器356生成的预测以提供给组合功能315。

在一些实施方式中，运动补偿预测功能354和帧内预测器356可基于先前由增强层编码器302编码和解码的UHDTV图像帧来生成其相应的预测。例如，在预测残差已被变换和量化之后，变换和量化功能320可将变换和量化的预测残差提供给缩放和逆变换功能322，其结果可在组合功能325中与用于生成预测残差的预测组合并生成解码的UHDTV图像帧。组合功能325可将解码的UHDTV图像帧提供给解块功能351，解块功能351可将解码的UHDTV图像帧存储在参考缓冲器340中，该参考缓冲器340保存解码的UHDTV图像帧以便于运动补偿预测功能354和帧内预测器356使用。在一些实施方式中，例如，解块功能351可对解码的UHDTV图像帧进行滤波，以使图像中与解码的UHDTV图像帧对应的宏块之间的锐边平滑。

运动补偿预测功能354可从参考缓冲器340接收一个或更多个解码的UHDTV图像帧。运动补偿预测功能354可基于来自参考缓冲器340的一个或更多个解码的UHDTV图像帧与UHDTV图像帧之间的图像运动来生成当前UHDTV图像帧的预测。

帧内预测器356可从参考缓冲器340接收当前UHDTV图像帧的第一部分。帧内预测器356可至少基于先前由增强层编码器302编码和解码的当前UHDTV图像帧的第二部分来生成与当前UHDTV图像帧的第一部分对应的预测。

颜色空间预测器400可基于先前由基本层编码器304编码的BT.709图像帧来生成UHDTV图像帧的预测。在一些实施方式中，基本层编码器304中的参考缓冲器368可将重构的BT.709图像帧提供给分辨率升频(upscaling)功能370，该分辨率升频功能370可将重构的BT.709图像帧的分辨率缩放至与UHDTV视频流102对应的分辨率。分辨率升频功能370可将重构的BT.709图像帧的分辨率升频版本提供给颜色空间预测器400。颜色空间预测器可基于重构的BT.709图像帧的分辨率升频版本来生成UHDTV图像帧的预测。在一些实施方式中，颜色空间预测器400可将重构的BT.709图像帧的分辨率升频版本的YUV颜色空间缩放为与UHDTV视频流102所支持的YUV表示对应。

颜色空间预测器400有多种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频流102所支持的颜色空间，例如独立信道预测和仿射混合信道预测。独立信道预测可包括将用于BT.709图像帧的YUV颜色空间的各个部分分别转换为UHDTV图像帧的预测。可根据式1来缩放Y部分或亮度：

Y_UHDTV＝g₁·Y_BT.709+o₁

可根据式2来缩放U部分或色度部分之一：

U_UHDTV＝g₂·U_BT.709+o₂

可根据式3来缩放V部分或色度部分之一：

V_UHDTV＝g₃·V_BT.709+o₃

增益参数g1、g2和g3以及偏移参数o1、o2和o3可基于BT.709视频编码标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。例如，增强层编码器304可经由输出接口380将由颜色空间预测器400用来生成UHDTV图像帧的预测的增益参数g1、g2和g3以及偏移参数o1、o2和o3输出给视频解码器500作为颜色预测参数114。

在一些实施方式中，独立信道预测可包括增益参数g1、g2和g3以及零(zero)参数。可根据式4来缩放Y部分或亮度：

Y_UHDTV＝g₁·(Y_BT.709-Yzero_BT.709)+Yzero_UHDTV

可根据式5来缩放U部分或色度部分之一：

U_UHDTV＝g₂·(U_BT.709-Uzero_BT.709)+Uzero_UHDTV

可根据式6来缩放V部分或色度部分之一：

V_UHDTV＝g₃·(V_BT.709-Vzero_BT.709)+Vzero_UHDTV

增益参数g1、g2和g3可基于BT.709视频编码标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。例如，增强层编码器304可经由输出接口380将由颜色空间预测器400用来生成UHDTV图像帧的预测的增益参数gl、g2和g3输出给视频解码器500作为颜色预测参数114。由于视频解码器500可被预载零参数，所以视频编码器300可生成并向视频解码器500发送较少颜色预测参数114，例如三个而非六个。

在一些实施方式中，式4-6中所使用的零参数可基于颜色信道和相关颜色空间的位深来定义。例如，在表1中，零参数可如下定义：

[表1]

Yzero<sub>BT.709</sub>＝0	Yzero<sub>UHDTV</sub>＝0
		Uzero<sub>BT.709</sub>＝(1＜＜bits<sub>BT.709</sub>)	Uzero<sub>UHDTV</sub>(1＜＜bits<sub>UHDTV</sub>)
Vzero<sub>BT.709</sub>＝(1＜＜bits<sub>BT.709</sub>)	Vzero<sub>UHDTV</sub>(1＜＜bits<sub>UHDTV</sub>)

表1

仿射混合信道预测可包括通过例如经由矩阵乘法功能将BT.709图像帧的YUV信道混合来转换用于BT.709图像帧的YUV颜色空间以生成UHDTV图像帧的预测。在一些实施方式中，可根据式7来缩放BT.709的颜色空间：

矩阵参数m11、m12、m13、m21、m22、m23、m31、m32和m33以及偏移参数o1、o2和o3可基于BT.709视频格式建议和UHDTV视频格式建议所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。例如，增强层编码器304可经由输出接口380将由颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500作为颜色预测参数114。

在一些实施方式中，可根据式8来缩放BT.709的颜色空间：

矩阵参数m11、m12、m13、m22和m33以及偏移参数o1、o2和o3可基于BT.709视频编码标准和UHDTV视频标准所支持的颜色空间的差异，并且可根据各个BT.709图像帧和UHDTV图像帧的内容而变化。例如，增强层编码器304可经由输出接口380将由颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500作为颜色预测参数114。

通过用零取代矩阵参数m21、m23、m31和m32，UHDTV图像帧预测的亮度信道Y可与BT.709图像帧的颜色信道U和V混合，但是UHDTV图像帧预测的颜色信道U和V可能没有与BT.709图像帧的亮度信道Y混合。选择性信道混合可在减少发送给视频解码器500的预测参数114的数量的同时，允许亮度信道UHDTV图像帧预测的更精确的预测。

在一些实施方式中，可根据式9来缩放BT.709的颜色空间：

矩阵参数m11、m12、m13、m22、m23、m32和m33以及偏移参数o1、o2和o3可基于BT.709视频标准和UHDTV视频标准所支持的颜色空间的差异，并且根据各个BT.709图像帧和UHDTV图像帧的内容而变化。例如，增强层编码器304可经由输出接口380将由颜色空间预测器400用来生成UHDTV图像帧的预测的矩阵和偏移参数输出给视频解码器500作为颜色预测参数114。

通过用零取代矩阵参数m21和m31，UHDTV图像帧预测的亮度信道Y可与BT.709图像帧的颜色信道U和V混合。UHDTV图像帧预测的U和V颜色信道可与BT.709图像帧的U和V颜色信道混合，但是未与BT.709图像帧的亮度信道Y混合。选择性信道混合可在减少发送给视频解码器500的预测参数114的数量的同时，允许亮度信道UHDTV图像帧预测的更精确的预测。

颜色空间预测器400可基于每序列(帧间)、每帧或每切片(帧内)来为预测选择功能350生成缩放的颜色空间预测，并且视频编码器300可基于每序列(帧间)、每帧或每切片(帧内)发送与缩放的颜色空间预测对应的预测参数114。在一些实施方式中，用于生成缩放的颜色空间预测的粒度可在颜色空间预测器400中预设或固定，或者可由视频编码器300基于编码功能或者UHDTV图像帧的内容来动态地调节。

视频编码器300可在编码的视频流112的规范部分中，例如在序列参数集(SPS)、画面参数集(PPS)或者编码的视频流112的规范部分的另一低级区段中发送颜色预测参数114。在一些实施方式中，可利用句法将颜色预测参数114插入编码的视频流112中，该句法允许视频解码器500识别编码的视频流112中存在颜色预测参数114，识别参数的精度或大小，例如用于表示各个参数的比特数，并且识别用来生成颜色空间预测的视频编码器300的颜色空间预测器400的颜色空间预测的类型。

在一些实施方式中，编码的视频流112的规范部分可包括标志(use_color_space_prediction)，例如一个或更多个比特，该标志可通告编码的视频流112中包括颜色空间参数114。编码的视频流112的规范部分可包括大小参数(color_predictor_num_fraction_bits_minus1)，例如一个或更多个比特，该参数可标识用于表示各个参数的比特数或精度。编码的视频流112的规范部分可包括预测器类型参数(color_predictor_idc)，例如一个或更多个比特，该参数可标识由视频编码器300用来生成颜色空间预测的颜色空间预测的类型。颜色空间预测的类型可包括独立信道预测、仿射预测、其各种实现方式等。根据视频编码器300所使用的预测的类型，颜色预测参数114可包括增益参数、偏移参数和/或矩阵参数。

参照图3B，视频编码器301可类似于上面图3A中示出并描述的视频编码器300，不同之处如下。视频编码器301可利用分辨率升频功能370来切换颜色空间预测器400。颜色空间预测器400可基于先前由基本层编码器304编码的BT.709图像帧来生成UHDTV图像帧的预测。

在一些实施方式中，基本层编码器304中的参考缓冲器368可将编码的BT.709图像帧提供给颜色空间预测器400。颜色空间预测器可将编码的BT.709图像帧的YUV颜色空间缩放为与UHDTV视频格式所支持的YUV表示对应。颜色空间预测器400可将颜色空间预测提供给分辨率升频功能370，该分辨率升频功能370可将编码的BT.709图像帧的颜色空间预测的分辨率缩放至与UHDTV视频格式对应的分辨率。分辨率升频功能370可将分辨率升频的颜色空间预测提供给预测选择功能350。

图4是图3A所示的颜色空间预测器400的框图示例。参照图4，颜色空间预测器400可包括颜色空间预测控制装置410，以经由分辨率升频功能370例如从基本层编码器304接收重构的BT.709视频帧402，并且选择用于颜色空间预测406的生成的预测类型和定时。在一些实施方式中，颜色空间预测控制装置410可将重构的BT.709视频帧402传递给独立信道预测功能420、仿射预测功能430或跨颜色预测功能440中的至少一个。预测功能420、430和440中的每一个可例如通过将BT.709图像帧的颜色空间缩放至UHDTV图像帧的颜色空间，来从重构的BT.709视频帧402生成UHDTV图像帧(或其部分)的颜色空间预测。

例如，独立颜色信道预测功能420能够分离地缩放编码的BT.709视频流402的YUV分量，如上面的式1-6中所示。例如，仿射预测功能430可利用矩阵乘法来缩放重构的BT.709视频帧402的YUV分量，如上面的式7中所示。例如，跨颜色预测功能440可利用修改的矩阵乘法来缩放编码的BT.709视频流402的YUV分量，该修改的矩阵乘法可在生成UHDTV图像帧的U和V分量时消除来自编码的BT.709视频流402的Y分量的混合，如上面的式8或9中所示。

在一些实施方式中，颜色空间预测器400可包括选择装置450以从独立颜色信道预测功能420、仿射预测功能430和跨颜色预测功能440选择输出。选择装置450还可输出用于生成颜色空间预测406的颜色预测参数114。例如，颜色预测控制装置410可通过控制选择装置450的定时和输出来控制颜色空间预测406的生成的定时以及为生成颜色空间预测406而执行的操作的类型。在一些实施方式中，颜色预测控制装置410可通过选择性地将编码的BT.709视频流402提供给独立颜色信道预测功能420、仿射预测功能430和跨颜色预测功能440中的至少一个来控制颜色空间预测406的生成的定时以及为生成颜色空间预测406而执行的操作的类型。

图5A和图5B是图1所示的视频解码器500的框图示例。参照图5A，该视频解码器可包括接口510以例如从视频编码器300接收编码的视频流112。接口510可将编码的视频流112解复用并且将编码的UHDTV图像数据提供给视频解码器500的增强层解码器502，将编码的BT.709图像数据提供给视频解码器500的基本层解码器504。基本层解码器504可包括熵解码功能552和解码预测环路554以将从接口510接收的编码的BT.709图像数据解码，并且将解码的BT.709视频流124存储在参考缓冲器556中。参考缓冲器556可将解码的BT.709视频流124返回提供给解码预测环路554以用于对编码的BT.709图像数据的相同帧的其它部分或者其它帧进行解码。基本层解码器504可输出解码的BT.709视频流124。在一些实施方式中，从解码预测环路554的输出以及至参考缓冲器556的输入可以是残差帧数据，而非重构的帧数据。

增强层解码器502可包括熵解码功能522、逆量化功能524、逆变换功能526和组合功能528，以将从接口510接收的编码的UHDTV图像数据解码。例如，解块功能541可对解码的UHDTV图像帧进行滤波，以使图像中与解码的UHDTV图像帧对应的宏块之间的锐边平滑，并且将解码的UHDTV视频流122存储在参考缓冲器530中。在一些实施方式中，编码的UHDTV图像数据可对应于预测残差，例如由视频编码器300确定的预测与UHDTV图像帧之间的差异。增强层解码器502可生成UHDTV图像帧的预测，组合功能528可将UHDTV图像帧的预测与经历了熵解码、逆量化和逆变换的编码的UHDTV图像数据相加，以生成解码的UHDTV视频流122。在一些实施方式中，组合功能528可包括例如线性加权的加权以生成解码的UHDTV视频流122。

增强层解码器502可包括颜色空间预测器600、运动补偿预测功能542和帧内预测器544，其各自可生成UHDTV图像帧的预测。增强层解码器502可包括预测选择功能540以选择由颜色空间预测器600、运动补偿预测功能542和/或帧内预测器544生成的预测以提供给组合功能528。

在一些实施方式中，运动补偿预测功能542和帧内预测器544可基于先前由增强层解码器502解码并存储在参考缓冲器530中的UHDTV图像帧来生成其相应的预测。运动补偿预测功能542可从参考缓冲器530接收一个或更多个解码的UHDTV图像帧。运动补偿预测功能542可基于来自参考缓冲器530的一个或更多个解码的UHDTV图像帧与UHDTV图像帧之间的图像运动来生成当前UHDTV图像帧的预测。

帧内预测器544可从参考缓冲器530接收当前UHDTV图像帧的第一部分。帧内预测器544可至少基于先前由增强层解码器502解码的当前UHDTV图像帧的第二部分来生成与当前UHDTV图像帧的第一部分对应的预测。

颜色空间预测器600可基于由基本层解码器504解码的BT.709图像帧来生成UHDTV图像帧的预测。在一些实施方式中，基本层解码器504中的参考缓冲器556可将解码的BT.709视频流124的一部分提供给分辨率升频功能570，该分辨率升频功能570可将编码的BT.709图像帧的分辨率缩放至与UHDTV视频格式对应的分辨率。分辨率升频功能570可将编码的BT.709图像帧的分辨率升频版本提供给颜色空间预测器600。颜色空间预测器可基于编码的BT.709图像帧的分辨率升频版本来生成UHDTV图像帧的预测。在一些实施方式中，颜色空间预测器600可将编码的BT.709图像帧的分辨率升频版本的YUV颜色空间缩放为与UHDTV视频格式所支持的YUV表示对应。

颜色空间预测器600可类似于视频编码器300中的颜色空间预测器400，通过例如利用独立信道预测、仿射混合信道预测或跨颜色信道预测将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频格式所支持的颜色空间来操作。然而，颜色空间预测器600可至少部分地基于从视频编码器300接收的颜色预测参数114来选择要生成的颜色空间预测的类型。颜色预测参数114可明确地标识特定类型的颜色空间预测，或者可例如通过颜色预测参数114的数量和/或布置方式来隐含地标识颜色空间预测的类型。

如上所述，在一些实施方式中，编码的视频流112的规范部分可包括标志(use_color_space_prediction)(例如，一个或更多个比特)，该标志可通告编码的视频流112中包括颜色空间参数114。编码的视频流112的规范部分可包括大小参数(color_predictor_num_fraction_bits_minus1)，例如一个或更多个比特，该参数可标识用于表示各个参数的比特数或精度。编码的视频流112的规范部分可包括预测器类型参数(color_predictor_idc)，例如一个或更多个比特，该参数可标识由视频编码器300用来生成颜色空间预测的颜色空间预测的类型。颜色空间预测的类型可包括独立信道预测、仿射预测、其各种实现方式等。颜色预测参数114可根据视频编码器300所使用的预测的类型包括增益参数、偏移参数和/或矩阵参数。

颜色空间预测器600基于标志(use_color_space_prediction)来识别视频编码器300是否在生成编码的视频流112时使用颜色空间预测。当编码的视频流112中存在颜色预测参数114时，颜色空间预测器600可解析颜色预测参数114以基于预测器类型参数(color_predictor_idc)以及参数的大小或精度(color_predictor_num_fraction_bits_minus1)来识别编码的视频所使用的颜色空间预测的类型，并且定位用于生成颜色空间预测的颜色空间参数。

例如，视频解码器500可基于表2中的以下示例代码来确定编码的视频流112中是否存在颜色预测参数114并且解析颜色预测参数114：

[表2]

表2

表2中的示例代码可允许视频解码器500基于use_color_space_prediction标志来识别编码的视频流112中是否存在颜色预测参数114。视频解码器500可基于大小参数(color_predictor_num_fraction_bits_minus1)来识别颜色空间参数的精度或大小，并且可基于类型参数(color_predictor_idc)来识别视频编码器300所使用的颜色空间预测的类型。表2中的示例代码可允许视频解码器500基于所识别的颜色空间参数的大小和所识别的视频编码器300所使用的颜色空间预测类型来从编码的视频流112解析颜色空间参数，其可识别颜色空间参数的数量、语义和位置。尽管表2中的示例代码示出包括9个矩阵参数和3个偏移参数的仿射预测，在一些实施方式中，例如当矩阵参数为零时，颜色预测参数114可包括更少的矩阵和/或偏移参数，并且示例代码可被相应地修改以解析颜色预测参数114。

颜色空间预测器600可基于每序列(帧间)、每帧或每切片(帧内)来为预测选择功能540生成颜色空间预测。在一些实施方式中，颜色空间预测器600可按照固定或预设的定时或者响应于从视频编码器300接收到颜色预测参数114动态地生成颜色空间预测。

参照图5B，除了以下不同以外，视频解码器501可类似于上面在图5A中示出并描述的视频解码器500。视频解码器501可利用分辨率升频功能570来切换颜色空间预测器600。颜色空间预测器600可基于来自基本层解码器504的解码的BT.709视频流124的部分来生成UHDTV图像帧的预测。

在一些实施方式中，基本层解码器504中的参考缓冲器556可将解码的BT.709视频流124的部分提供给颜色空间预测器600。颜色空间预测器600可将解码的BT.709视频流124的所述部分的YUV颜色空间缩放为与UHDTV视频标准所支持的YUV表示对应。颜色空间预测器600可将颜色空间预测提供给分辨率升频功能570，该分辨率升频功能570可将颜色空间预测的分辨率缩放至与UHDTV视频标准对应的分辨率。分辨率升频功能570可将分辨率升频的颜色空间预测提供给预测选择功能540。

图6是图5A所示的颜色空间预测器600的框图示例。参照图6，颜色空间预测器600可包括颜色空间预测控制装置610以经由分辨率升频功能570例如从基本层解码器504接收解码的BT.709视频流122，并且选择用于颜色空间预测606的生成的预测类型和定时。颜色空间预测器600可至少部分地基于从视频编码器300接收的颜色预测参数114来选择要生成的颜色空间预测的类型。颜色预测参数114可明确地标识特定类型的颜色空间预测，或者可例如通过颜色预测参数114的数量和/或布置方式来隐含地标识颜色空间预测的类型。在一些实施方式中，颜色空间预测控制装置610可将解码的BT.709视频流122和颜色预测参数114传递给独立信道预测功能620、仿射预测功能630或跨颜色预测功能640中的至少一个。预测功能620、630和640中的每一个可例如通过基于颜色空间参数114将BT.709图像帧的颜色空间缩放至UHDTV图像帧的颜色空间，来从解码的BT.709视频流122生成UHDTV图像帧(或其部分)的颜色空间预测。

例如，独立颜色信道预测功能620可分离地缩放解码的BT.709视频流122的YUV分量，如上面的式1-6中所示。例如，仿射预测功能630可利用矩阵乘法来缩放解码的BT.709视频流122的YUV分量，如上面的式7中所示。例如，跨颜色预测功能640可利用修改的矩阵乘法来缩放解码的BT.709视频流122的YUV分量，该修改的矩阵乘法可在生成UHDTV图像帧的U和V分量时消除来自解码的BT.709视频流122的Y分量的混合，如上面的式8或9中所示。

在一些实施方式中，颜色空间预测器600可包括选择装置650以从独立颜色信道预测功能620、仿射预测功能630和跨颜色预测功能640选择输出。颜色预测控制装置610可例如通过控制选择装置650的定时和输出来控制颜色空间预测606的生成的定时以及为了生成颜色空间预测606而执行的操作的类型。在一些实施方式中，颜色预测控制装置610可通过选择性地将解码的BT.709视频流122提供给独立颜色信道预测功能620、仿射预测功能630和跨颜色预测功能640中的至少一个来控制颜色空间预测606的生成的定时以及为了生成颜色空间预测606而执行的操作。

图7是视频编码器300中的颜色空间预测的示例操作流程图。参照图7，在第一方框710处，视频编码器300可对具有第一图像格式的第一图像进行编码。在一些实施方式中，第一图像格式可对应于BT.709视频标准，视频编码器300可包括基本层以对BT.709图像帧进行编码。

在方框720处，视频编码器300可将第一图像的颜色空间从第一图像格式缩放为与第二图像格式对应的颜色空间。在一些实施方式中，视频编码器300可在BT.709视频标准与对应于第二图像格式的超高清电视(UHDTV)视频标准之间缩放颜色空间。

视频编码器300有多种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频格式所支持的颜色空间，例如独立信道预测和仿射混合信道预测。例如，例如，独立颜色信道预测可分离地缩放编码的BT.709图像帧的YUV分量，如上面的式1-6中所示。例如，仿射混合信道预测可利用矩阵乘法来缩放编码的BT.709图像帧的YUV分量，如上面的式7-9中所示。

在一些实施方式中，视频编码器300可将第一图像的分辨率从第一图像格式缩放为与第二图像格式对应的分辨率。例如，UHDTV视频标准可支持4k(3840x2160像素)或8k(7680x4320像素)分辨率以及10或12比特量化位深。BT.709视频标准可支持2k(1920x1080像素)分辨率以及8或10比特量化位深。视频编码器300可将编码的第一图像从与BT.709视频标准对应的分辨率缩放为与UHDTV视频标准对应的分辨率。

在方框730处，视频编码器300可至少部分地基于缩放的第一图像的颜色空间来生成颜色空间预测。颜色空间预测可以是从对应编码的BT.709图像帧的颜色空间的UHDTV图像帧(或其部分)的预测。在一些实施方式中，视频编码器300可至少部分地基于缩放的第一图像的分辨率来生成颜色空间预测。

在方框740处，视频编码器300可至少部分地基于颜色空间预测来对具有第二图像格式的第二图像进行编码。视频编码器300可将用于缩放第一图像的颜色空间的编码的第二图像和颜色预测参数输出给视频解码器。

图8是视频解码器500中的颜色空间预测的示例操作流程图。参照图8，在第一方框810处，视频解码器500可将编码的视频流解码以生成具有第一图像格式的第一图像。在一些实施方式中，第一图像格式可对应于BT.709视频标准，视频解码器500可包括基本层以将BT.709图像帧解码。

在方框820处，视频解码器500可将与第一图像格式对应的第一图像的颜色空间缩放为与第二图像格式对应的颜色空间。在一些实施方式中，视频解码器500可在BT.709视频标准与对应于第二图像格式的超高清电视(UHDTV)视频标准之间缩放颜色空间。

视频解码器500有多种方式来将BT.709视频编码标准所支持的颜色空间缩放至UHDTV视频标准所支持的颜色空间，例如独立信道预测和仿射混合信道预测。例如，独立颜色信道预测可分离地缩放编码的BT.709图像帧的YUV分量，例如如上面的式1-6中所示。例如，仿射混合信道预测可利用矩阵乘法来缩放编码的BT.709图像帧的YUV分量，如上面的式7-9中所示。

视频解码器500可基于视频解码器500从视频编码器300接收的信道预测参数来选择要执行的颜色空间缩放的类型，例如独立信道预测或者各种仿射混合信道预测中的一个。在一些实施方式中，视频解码器500可执行解码的BT.709图像帧的默认或预设的颜色空间缩放。

在一些实施方式中，视频解码器500可将第一图像的分辨率从第一图像格式缩放为与第二图像格式对应的分辨率。例如，UHDTV视频标准可支持4k(3840x2160像素)或8k(7680x4320像素)分辨率以及10或12比特量化位深。BT.709视频标准可支持2k(1920x1080像素)分辨率以及8或10比特量化位深。视频解码器500可将解码的第一图像从与BT.709视频标准对应的分辨率缩放至与UHDTV视频标准对应的分辨率。

在方框830处，视频解码器500可至少部分地基于缩放的第一图像的颜色空间来生成颜色空间预测。颜色空间预测可以是从对应解码的BT.709图像帧的颜色空间的UHDTV图像帧(或其部分)的预测。在一些实施方式中，视频解码器500可至少部分地基于缩放的第一图像的分辨率来生成颜色空间预测。

在方框840，视频解码器500可至少部分地基于颜色空间预测来将编码的视频流解码为具有第二图像格式的第二图像。在一些实施方式中，视频解码器500可利用颜色空间预测来与对应于来自视频编码器300的预测残差的编码的视频流的一部分组合。颜色空间预测与解码的预测残差的组合可对应于解码的UHDTV图像帧或其部分。

图9是视频解码器500中的颜色空间预测的另一示例操作流程图。参照图9，在第一方框910处，视频解码器500可将编码的视频流的至少一部分解码以生成具有第一格式的第一残差帧。第一残差帧可以是与两个图像帧之间的差异对应的数据帧。在一些实施方式中，第一格式可对应于BT.709视频标准，视频解码器500可包括基本层以对BT.709图像帧进行解码。

在方框920处，视频解码器500可将与第一格式对应的第一残差帧的颜色空间缩放为与第二格式对应的颜色空间。在一些实施方式中，视频解码器500可在BT.709视频标准与对应于第二格式的超高清电视(UHDTV)视频标准之间缩放颜色空间。

在一些实施方式中，视频解码器500可将第一残差帧的分辨率从第一格式缩放为与第二格式对应的分辨率。例如，UHDTV视频标准可支持4k(3840x2160像素)或8k(7680x4320像素)分辨率以及10或12比特量化位深。BT.709视频标准可支持2k(1920x1080像素)分辨率以及8或10比特量化位深。视频解码器500可将解码的第一残差帧从与BT.709视频标准对应的分辨率缩放为与UHDTV视频标准对应的分辨率。

在方框930处，视频解码器500可至少部分地基于缩放的第一残差帧的颜色空间来生成颜色空间预测。颜色空间预测可以是从对应的解码的BT.709图像帧的颜色空间的UHDTV图像帧(或其部分)的预测。在一些实施方式中，视频解码器500可至少部分地基于缩放的第一残差帧的分辨率来生成颜色空间预测。

在方框940处，视频解码器500可至少部分地基于颜色空间预测来将编码的视频流解码为具有第二格式的第二图像。在一些实施方式中，视频解码器500可利用颜色空间预测来与对应于来自视频编码器300的预测残差的编码的视频流的一部分组合。颜色空间预测与解码的预测残差的组合可对应于解码的UHDTV图像帧或其部分。

颜色位深缩放可提供视频压缩中的颜色编码和解码的增强，例如高效视频编码(HEVC)、当前正在开发并且以草案形式公布的视频编码标准或者其它视频压缩系统。位深缩放改进诸如HD BT.709和UHDTV BT.2020的不同数字视频格式中所采用的不同颜色特性(例如，分辨率、量化位深和色域)的处理，例如，特别是在解码期间。以下描述参照HEVC(即，可缩放HEVC扩展的公开定义的测试模型)进行，但是类似地适用于其它相似视频压缩系统。例如，B.Bros、W-J.Han、J-R、Ohm、G.J.Sullivan和T.Wiegand的“高效视频编码(HEVC)测试规范草案10”(JCTVC-L1003，日内瓦，2013年1月)描述了示例性HEVC视频系统标志；G.Tech、K.Wegner、Y.Chen、M.Hannuksela、J.Boyce的“MV-HEVC草案文本5(ISO/IEC 23008-2：201x/PDAM2)”(JCT3V-E1004，维也纳，2013年8月)描述了多视图视频系统标志；例如，J.Chen、J.Boyce、Y.Ye、M.Hannuksela的“SHVC草案3”(JCTVC-N1008，维也纳，2013年8月)描述了可缩放视图视频系统标志；其各自整体以引用方式并入本文。

图3A和图3B的编码器300和301提供HD和UHDTV视频流的编码，并且各自包括颜色空间预测器400，该颜色空间预测器400可基于重构的BT.709图像帧(或画面)的分辨率升频版本生成UHDTV图像帧(或画面)的预测。如上所述，在一些实施方式中，颜色空间预测器400可将重构的BT.709图像帧的分辨率升频版本的YUV颜色空间缩放为与UHDTV视频流102所支持的YUV表示对应。

图10A和图10B是视频编码器1000和1001的框图示例，视频编码器1000和1001分别类似于编码器300和301并且包括由相同的标号指示的对应元素。另外，编码器1000和1001各自包括位深缩放功能1010，而非颜色空间预测器400，以提供帧或画面的增强颜色位深缩放，包括参考画面的位深缩放。

视频编码器1000和1001在处理视频流的画面时参考存储在参考缓冲器340和368中的参考画面(或帧)。

图11是视频编码方法1100的简化流程图，该方法包括由功能1010执行的位深缩放并且参照HEVC编码来描述。

关于当前画面CurrPic，步骤1110提供对画面样本值的采样处理，该处理使用亮度样本阵列rsPicSampleL、分量Cb的色度样本阵列rsPicSampleCb和分量Cr的色度样本阵列rsPicSampleCr作为输入并且提供亮度样本阵列rlPicSampleL、分量Cb的色度样本阵列rlPicSampleCb和分量Cr的色度样本阵列rlPicSampleCr作为输出。

步骤1120提供对参考画面的采样处理以从作为输入的视频画面输入rlPic获得采用的层间参考画面rsPic。可在对当前画面CurrPic的第一P或B切片的编码处理开始的时候调用步骤1120。

步骤1125提供层间参考画面的位深的缩放。

步骤1130提供层间参考画面集的编码以获得层间画面的列表，其包括采样位深缩放的层间参考画面rsbPic。步骤1140提供单元树编码层的编码。步骤1150提供切片片段层的编码，包括对各个P或B切片的编码处理以及针对各个P或B切片构造参考画面列表。步骤1160提供网络抽象层(NAL)单元或分组的编码。

图5A和图5B的解码器500和501提供可对应于HD和UHDTV视频流的编码的视频流的解码。解码器500和501各自包括颜色空间预测器600，如上所述，该颜色空间预测器600可基于由基本层解码器504解码的BT.709图像帧来生成UHDTV图像帧(或画面)的预测。

图12A和图12B是视频解码器1200和1201的框图示例，视频解码器1200和1201分别类似于解码器500和501并且包括由相同标号指示的对应元件。另外，解码器1200和1201各自包括位深缩放功能1210，而非解码器500和501的颜色空间预测器600，以利用帧或画面的位深缩放。视频解码器1200和1201提供编码的视频流的解码，其包括具有编码的画面(或帧)的切片的网络抽象层单元(或分组)。所述解码获得并使用参考画面和层间参考画面集来获得视频流的连续画面的画面样本值。

图13是解码方法1300的一个实现方式的流程图，该方法包括由功能1210执行的位深缩放处理并且参照HEVC解码来描述。关于当前画面CurrPic，步骤1310提供网络抽象层(NAL)单元或分组的解码。步骤1320提供关于切片片段层的解码，包括对各个P或B切片的解码处理以及为各个P或B切片构造参考画面列表。步骤1330提供关于单元树编码层的解码。步骤1340提供关于层间参考画面集的解码以获得层间画面的列表，其包括得出重采样的位深缩放的层间参考画面rsbPic。

步骤1350提供对参考画面的重采样处理以从作为输入的解码的画面rlPic获得重采样的层间参考画面rsPic。可在对当前画面CurrPic的第一P或B切片的解码处理开始的时候调用步骤1350。步骤1360提供对画面样本值的重采样处理，该处理使用亮度样本阵列rlPicSampleL、分量Cb的色度样本阵列rlPicSampleCb和分量Cr的色度样本阵列rlPicSampleCr作为输入并且提供亮度样本阵列rsPicSampleL、分量Cb的色度样本的阵列rsPicSampleCb和分量Cr的色度样本阵列rsPicSampleCr作为输出。

步骤1310-1360通常对应于传统的HEVC解码，不同的是在步骤1340中得出重采样的位深缩放的层间参考画面rsbPic。方法1300包括：步骤1370，提供对参考画面的位深缩放处理；和步骤1380，提供对画面样本值的位深缩放处理。

步骤1370的对参考画面的位深缩放对作为输入的重采样的层间参考画面rsPic进行操作，并且提供重采样的位深缩放的层间参考画面rsbPic作为输出。重采样的位深缩放的层间参考画面rsbPic的益处在于，它适应于从不同位深的画面形成层间参考。步骤1370使用：变量nBdbY和nBdbC，其指定当前画面CurrPic的亮度阵列的样本的位深和色度阵列的样本的位深；以及变量nBdY和nBdC，其指定亮度阵列的样本的位深和重采样的参考层画面rsPic的色度阵列的样本的位深。步骤1370如下利用位深缩放来得出重采样的位深缩放的层间参考画面rsbPic。

如果nBdY等于nBdbY并且nBdC等于nBdbC

-rsbPic被设定为rsPic，

否则，通过以下得出rsPic：

利用rsPicSample的重采样的样本值作为输入并且利用rsbPicSample的重采样的位深缩放的样本值作为输出来调用步骤1380的位深缩放。步骤1380的对画面样本值的位深缩放处理对以下输入进行操作：

具有位深nBdY的亮度样本的(ScaledW)x(ScaledH)阵列rsPicSampleL，

具有位深nBdC的分量Cb的色度样本的(ScaledW/2)x(ScaledH/2)阵列rsPicSampleCb，以及

具有位深nBdC的分量Cr的色度样本的(ScaledW/2)x(ScaledH/2)阵列rsPicSampleCr，

并且提供以下输出：

具有位深nBdbYI的亮度样本的(ScaledW)x(ScaledH)阵列rsbPicSampleL，

具有位深nBdbCI的分量Cb的色度样本的(ScaledW/2)x(ScaledH/2)阵列rsbPicSampleCb，以及

具有位深nBdbC的分量Cr的色度样本的(ScaledW/2)x(ScaledH/2)阵列rsbPicSampleCr。

这些输出阵列对应于用于对增强层画面进行编码的参考画面。画面样本的位深缩放的益处是适应于具有在不同位深处的样本的画面之间的预测。

步骤1380的对画面样本值的位深缩放处理如下操作。对于亮度样本阵列rsPicSampleLl中的各个亮度样本位置(xP＝0..ScaledW-1，yP＝0..ScaledH-1)，对应亮度样本值被得出为：

rsbPicSampleL[xP,yP]＝rsPicSampleL[xP,yP]＜＜(nBdbY-nBdY).

对于分量Cb的色度样本阵列rsPicSampleCb中的各个色度样本位置(xP＝0..ScaledW/2-1，yP＝0..ScaledH/2-1)，对应色度样本值被得出为

rsbPicSampleCb[xP，yP]＝rsPicSampleCb[xP,yP]＜＜(nBdbC-nBdC)

对于分量Cr的色度样本阵列rsPicSampleCr中的各个色度样本位置(xP＝0..ScaledW/2-1，yP＝0..ScaledH/2-1)，对应色度样本值被得出为：

rsbPicSampleCr[xP,yP]＝rsPicSampleCr[xP,yP]＜＜(nBdbC-nBdC).

这些式针对基本层与增强层之间的样本位深差异补偿参考画面。

将理解，上述位深缩放可在各种另选实施方式中实现。例如，步骤1370和1380中所使用的位深变量可用于生成色域可缩放(CGS)增强层。在一个实现方式中，位深缩放可要求通过如同作为基本层画面(例如，重采样和位深缩放的)的预测器一样使用单一预测利用加权预测来进行对色域可缩放(CGS)增强层画面的运动补偿。这种实现方式的益处在于，可利用现有HEVC基本规范中所定义的加权预测处理来执行颜色空间预测。

在另一实施方式中，每当层i是CGS增强层时，对于j＜i-l，direct_dependency_flag[i][i-1]可被设定为等于1，并且direct_dependency_flag[i][j]可等于0。这意味着仅具有索引i-1的层可以是具有索引i的层的直接参考层，从而用于约束在使用此色域可缩放编码时的层依赖信令。约束层依赖信令的益处在于，参考画面列表被简化。作为另一另选方式，每当层i是CGS增强层时，则：

结果，具有索引i的层可仅具有来自其它层的一个直接参考层。约束层依赖信令的益处在于参考画面列表被简化。

在另一实现方式中，对CGS增强层画面的各个切片的解码处理可从关于表示稍后用于创建列表RefPicList0的临时参考画面列表RefPicListTemp0中的条目的数量的变量NumRpsCurrTempList0如下得出参考画面列表RefPicList0开始：

将NumRpsCurrTempList0设定为等于

Max(num_ref_idx_10_active_minus1+1,NumPocTotalCurr)，

其中num_ref_idx_10_active_minus1+1和NumPocTotalCurr分别是临时变量，然后如下构造列表RefPicList0。

for(rIdx＝0；rldx＜＝num_ref_idx_l0_active_minusl；rldx++)

RefPicList0[rldx]＝ref_pic_list_modification_flag_l0？

RefPicSetInterLayer[list_entry_l0[rldx]]：RefPicSetlnterLayer[rldx]

还可要求当层i是CGS增强层时，num_ref_idx_10_active_minus1可等于0。

诸如HEVC和前身视频压缩标准H.264/MPEG-4AVC的视频压缩系统采用视频参数集(VPS)结构，其中视频参数集，包括视频参数集的扩展，包含可用于将编码的视频的多个区域解码的信息。例如，当前HEVC包括用于扩展vps_extension()下的视频参数集的句法，如表3中所阐述：

[表3]

表3

如表3中所阐述的，HEVC中的vps_extension()下的传统视频参数集仅提供编码的视频格式的颜色特性的有限特性。相比之下，表4中所阐述的扩展的vps_extension()包括关于编码的视频格式的颜色特性的特定属性，从而在vps扩展中用信号通知关于增强层的色域可缩放性和位深信息。关于各个层的亮度和色度分量的位深以及关于各个层的源原色的色度坐标的信息可用于会话协商以允许终端装置基于其位深和颜色支持能力选择要解码的层。

[表4]

表4

扩展的vps_extension()集包括以下属性：

“bit_depth_layer_luma_minus8[id]+8”，其可指定具有层id id的层的亮度阵列的样本的位深，如下所指定：

BitDepthLy[id]＝8+bit_depth_layer_luma_minus8[id],

其中bit_depth_layer_luma_minus8在0至6(含)的范围内，根据或指示在8至14范围内的视频的亮度分量的位深。

“bit_depth_layer_chroma_minus8[id]+8”，其可指定具有层id id的层的色度阵列的样本的位深，如下所指定：：

BitDepthLc[id]＝8+bit_depth_layer_chroma_minus8[id]，

其中bit_depth_layer_chroma_minus8在0至6(含)的范围内，根据或指示在8至14范围内的视频的色度分量的位深。

“layer_color_gamut[id]”被设定为等于1以指定层id的源原色的色度坐标按照建议ITU-R BT.2020来定义，并且layer_color_gamut[id]被设定为等于0以指定指定层id的源原色的色度坐标按照建议ITU-RBT.709来定义。

在另选实施方式中，针对色度分量Cb和Cr可用信号通知单独的位深。在另一另选实施方式中，还可针对基本层用信号通知bitdepth_colorgamut_info()。在这种情况下，vps_extension中的for循环索引可从i＝0开始，而非i＝1。在另一另选实施方式中，例如，可通过与在HEVC草案的视频可用性信息(VUI)中用信号通知的colour_primaries句法元素类似的句法元素指示除BT.709和BT.2020以外的原色，可针对各个层用信号通知以指示其原色。

画面参数集(“PPS”)承载逐画面有效的数据。因此，PPS是包含句法元素的句法结构，所述句法元素应用于由诸如见于各个切片片段头中的句法元素确定的零个或更多个完整编码画面。

序列参数集(“SPS”)可用于承载对整个视频序列有效的数据。因此，SPS是包含句法元素的句法结构，所述句法元素应用于由见于PPS中的句法元素的内容确定的零个或更多个完整编码视频序列(“CVS”)，所述PPS被诸如见于各个切片片段头中的句法元素参考。

视频参数集(“VPS”)可用于承载对整个视频序列有效的数据。因此，VPS是包含句法元素的句法结构，所述句法元素应用于由见于SPS中的句法元素的内容确定的零个或更多个完整编码视频序列，所述SPS被见于PPS中的句法元素参考，所述PPS被见于各个切片片段头中的句法元素参考。

表5中示出在视频参数集VPS内用信号通知的视频参数集扩展(vps_extension())的修改的句法。

[表5]

表5

在VPS扩展中用信号通知max_one_active_ref_layer_flag。max_one_active_ref_layer_flag等于1可指定至多一个画面用于CVS中的各个画面的层间预测。max_one_active_ref_layer_flag等于0可指定不止一个画面可用于CVS中的各个画面的层间预测。

nuh_layer_id可指定层的标识符。

Vps_max_layers_minus1加1可指定CVS中可存在的层的最大数量，其中，层可以是例如空间可缩放层、质量可缩放层、纹理视图或深度视图。

layer_id_in_nuh[i]可指定第i层的VCL NAL单元中的nuh_layer_id句法元素的值。对于在0至vps_max_layers_minus1(含)的范围内的i，当不存在时，layer_id_in_nuh[i]的值可被推断为等于i。当i大于0时，layer_id_in_nuh[i]可大于layer_id_in_nuh[i-1]。对于在0至vps_max_layers_minus1(含)的范围内的i，变量LayerIdxInVps[layer_id_in_nuh[i]]可被设定为等于i。

vps_num_rep_formats_minus1加1可指定VPS中随后的rep_format()句法结构的数量。具有i＝0的第一报告格式句法结构rep_format()提供适用于nuh_layer_id等于0的层的信息。比特流一致性要求对于i＝0，chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8或bit_depth_vps_chroma_minus8的rep_format()的值可分别不小于nuh_layer_id等于0的CVS中的任何SPS中的chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8或bit_depth_chroma_minus8句法元素。

在一些实施方式中，项表示格式可用于包括SPS中的句法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8或bit_depth_chroma_minus8和/或VPS中的句法元素chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8，或bit_depth_vps_chroma_minus8。在一些实施方式中，表示格式信息可被称为源格式信息。

在一些实施方式中，可能需要与nuh_layer_id等于0的层的格式对应地发送包括亮度样本的位深、色度样本的位深和颜色色度信息的第一表示格式信息。在一些情况下，nuh_layer_id等于0的层可以是基本层。在一些实施方式中，以第一表示格式发送的源格式信息可为nuh_layer_id等于0的活动SPS的对应源信息SPS句法元素值提供有意义的上界。

vps_rep_format_idx[i]可在VPS中的rep_format()句法结构的列表中指定应用于nuh_layer_id等于layer_id_in_nuh[i]的层的rep_format()句法结构的索引。当i等于0或者vps_num_rep_formats_minus1等于0时，vps_rep_format_idx[i]的值被推断为等于0。vps_rep_format_idx[i]的值可在0至vps_num_rep_formats-1(含)的范围内。

表6中示出rep_format()的句法结构。

[表6]

表6

对于参考VPS的各个SPS，chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8和bit_depth_vps_chroma_minus8分别用于推断SPS句法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8的值。

对于这些句法元素中的每一个，适用于对应SPS句法元素的值的所有约束(如果有的话)也适用。

layer_color_gamut等于1可指定依照建议ITU-R BT.2020来定义源原色的色度坐标。layer_color_gamut[id]等于0可指定依照建议ITU-R BT.709来定义源原色的色度坐标。

下表7中示出序列参数集(SPS)的句法结构。

[表7]

表7

sps_video_parameter_set_id可指定活动VPS的vps_video_parameter_set_id的值。vps_video_parameter_set_id识别用于由其它句法元素参考的VPS。

sps_max_sub_layers_minus1加1可指定参考SPS的各个CVS中可存在的时间子层的最大数量。sps_max_sub_layers_minus1的值可在0至6(含)的范围内。时间子层是由时间标识符为特定值的视频编码层网络抽象(VCL NAL)单元和关联的非VCL NAL单元组成的时间可缩放比特流的时间可缩放层。

当sps_max_sub_layers_minus1大于0时，sps_temporal_id_nesting_flag可指定是否针对参考SPS的CVS另外限制帧间预测。当sps_max_sub_layers_minus1等于0时，sps_temporal_id_nesting_flag可等于1。

句法元素sps_temporal_id_nesting_flag可用于指示在CVS中总是可进行时间向上切换，即，从直至任何TemporalId tIdN的解码到直至大于tIdN的任何TemporalId tIdM的解码的切换。

sps_seq_parameter_set_id提供用于由其它句法元素参考的SPS的标识符。sps_seq_parameter_set_i的值可在0至15(含)的范围内。

chroma_format_idc可指定相对于亮度采样的色度采样。chroma_format_idc的值可在0至3(含)的范围内。

separate_colour_plane_flag等于1可指定4:4:4色度格式的三个颜色分量被分开编码。separate_colour_plane_flag等于0可指定颜色分量没有被分开编码。当separate_colour_plane_flag不存在时，它可被推断为等于0。当separate_colour_plane_flag等于1时，编码的画面可由三个单独的分量组成，各个分量可由一个颜色平面(Y、Cb或Cr)的编码样本组成并且可使用单色编码句法。在这种情况下，各个颜色平面可与特定colour_plane_id值关联。

根据separate_colour_plane_flag的值，变量ChromaArrayType的值可被如下指派：

如果separate_colour_plane_flag等于0，则ChromaArrayType可被设定为等于chroma_format_idc。

否则(separate_colour_plane_flag等于1)，ChromaArrayType可被设定为等于0。

pic_width_in_luma_samples可以亮度样本为单位指定各个解码的画面的宽度。pic_width_in_luma_samples可不等于0并且可以是变量MinCbSizeY的整数倍。

pic_height_in_luma_samples可以亮度样本为单位指定各个解码的画面的高度。pic_height_in_luma_samples可不等于0并且可为整数。

bit_depth_luma_minus8可如下指定亮度阵列BitDepthY的样本的位深和亮度量化参数范围偏移QpBdOffsetY的值：

BitDepthY＝8+bit_depth_luma_minus8

QpBdOffsetY＝6*bit_depth_luma_minus8

bit_depth_luma_minus8可在0至6(含)的范围内。bit_depth_chroma_minus8可如下指定色度阵列BitDepthC的样本的位深和色度量化参数范围偏移QpBdOffsetC的值：

BitDepthC＝8+bit_depth_chroma_minus8

QpBdOffsetC＝6*bit_depth_chroma_minus8

bit_depth_chroma_minus8可在0至6(含)的范围内。

update_rep_format_flag等于1可指定当SPS的nuh_layer_id大于0时，在SPS中明确地用信号通知句法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8并且参考该SPS的nuh_layer_id大于零的所有层使用这些值，而非在VPS中用信号通知的那些。update_rep_format_flag等于0可指定没有在SPS中用信号通知句法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8并且参考该SPS的所有层使用在VPS中用信号通知的值。当不存在时，update_rep_format_flag的值被推断为等于1。因此，对于基本层或者nuh_layer_id等于0的层，update_rep_format_flag可被推断为等于1并且在nuh_layer_id等于0的该SPS中明确地用信号通知句法元素chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8。

当nuh_layer_id layerIdCurr大于0的当前画面参考SPS时，chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8的值可被如下推断或约束：

如果活动层SPS的nuh_layer_id等于0，

-如果j等于LayerIdxInVps[layerIdCurr]的活动VPS中的vps_rep_format_idx[j]等于0，则chromaJformat_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8的值可被推断为等于来自活动层SPS的相应值。

-如果j等于LayerIdxInVps[layerIdCurr]的活动VPS中的vps_rep_format_idx[j]不等于0，则chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chromaminus8的值可被推断为分别等于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_rep_format_idx[j]个rep_format()句法结构的chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8和bit_depth_vps_chroma_minus8，并且活动层SPS的chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8的值可被忽略。

否则，当活动层SPS的nuh_layer_id大于零时，以下可用于推断各种值：

-如果update_rep_format_flag等于0，则chroma_format_idc、separatc_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8和bit_depth_chroma_minus8的可值被推断为分别等于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_rep_format_idx[j]个rep_format()句法结构的chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8和bit_depth_vps_chroma_minus8。

-否则(update_rep_format_flag等于1)，比特流一致性可能要求chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8或bit_depth_chroma_minus8的值可分别小于或等于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_rep_format_idx[j]个rep_format()句法结构的chroma_format_vps_idc、separate_colour_plane_vps_flag、pic_width_vps_in_luma_samples、pic_height_vps_in_luma_samples、bit_depth_vps_luma_minus8或bit_depth_vps_chroma_minus8。

在一些实施方式中，当SPS承载表示格式信息时的参数更新推断可允许从基本层的SPS更新更高层的表示格式信息。在一些实施方式中，更高层可以是nuh_layer_id大于零的层。在一些实施方式中，基本层可以是nuh_layer_id等于0的层。因此，在一些实施方式中，当SPS承载表示格式信息时的参数更新推断可允许从nuh_layer_id等于0的层的SPS更新nuh_layer_id大于零的层的表示格式信息。nuh_layer_id等于零的SPS可以是nuh_layer_id大于或等于0的层的活动SPS。

接下来描述用信号通知rep_format()和相关的句法元素的更多几个实施方式。这些是表5的进一步的变型。

表8中示出了在视频参数集VPS内用信号通知的视频参数集扩展(vps_extension())修改的句法。这是表5中的句法的变型。

[表8]

表8

rep_format_idx_present_flag等于1指示可存在句法元素vps_num_rep_formats_minus1和vps_rep_format_idx[i]。rep_format_idx_present_flag等于0指示不存在句法元素vps_num_rep_formats_minus1和vps_rep_format_idx[i]。在这种情况下，对于i＝0、...、vps_max_layers_minus1中的每一个，vps_num_rep_formats_minus1被推断为等于vps_max_layers_minus1，vps_rep_format_idx[i]被推断为等于i。

其它句法元素可具有与表5中相同的语义。

表9A和表9B中示出在视频参数集VPS内用信号通知的视频参数集扩展(vps_extension())的两个修改的句法。这是表5中的句法的变型。

[表9A]

表9A

[表9B]

表9B

vps_num_rep_formats指定VPS中随后的rep_format()句法结构的数量。如果vps_num_rep_formats等于0，则在VPS中没有用信号通知表示格式信息。在这种情况下，rep_format_idx_present_flag可被设定为1。

其它句法元素可具有与表5中相同的语义。

表10中示出在视频参数集VPS内用信号通知的视频参数集扩展(vps_extension())的修改的句法。这是表5中的句法的变型。

[表10]

表10

vps_rep_format_information_present_flag等于1指示可存在句法元素vps_num_rep_formats_minus1和vps_rep_format_idx[i]。vps_rep_format_information_present_flag等于0指示不存在句法元素vps_num_rep_formats_minus1和vps_rep_format_idx[i]。

其它句法元素可具有与表5中相同的语义。

参照图14A和图14B，作为序列参数集的一部分的示例性vps_extension()句法被示出为包括在J.Chen、J.Boyce、Y.Ye、M.Hannuksela的“SHVC草案3”(JCTVC-N1008，第1版，维也纳，2013年八月)中，其通过引用并入本文。参照图15，作为序列参数集的一部分的vps_extension()所参考的示例性vps_vui()句法被示出为包括在J.Chen、J.Boyce、Y.Ye、M.Hannuksela的“SHVC草案3”(JCTVC-N1008，第1版，维也纳，2013年八月)中，其通过引用并入本文。附加句法结构可被包括在所述句法结构内的任何合适的位置中，优选vps_extension()句法或vps_vui()句法内，其包括与颜色信息和色度信息有关的合适的信息，以及用于在其它句法结构之间共享其此类信息的技术。

可取的是基于关于可缩放比特流中的层的其它颜色信息以及关于颜色色度的知识来选择要解码的层，其还可基于客户端装置能力。可用于会话协商的修改的技术优选在VPS中用信号通知此类信息。

例如，UHDTV装置和内容可使用与传统装置不同的色域。高清装置可使用ITU-RBT.709建议，而UHDTV装置可使用ITU-R BT.2020建议。UHDTV的色域显著大于HD。另外，使用BT.709的消费应用可具有8比特样本位深，而BT.2020仅定义了10比特和12比特样本位深。因此，在VPS中合适地用信号通知颜色色度和其它颜色信息允许在会话协商期间确定使用ITU-R BT.2020的UHDTV层。

修改的vps_extension()句法可如表11中所示。

[表11]

表11

在另一实施方式中，可在VPS扩展的vps_vui()区段内用信号通知修改的vps_extension()句法，如表11A所示。

[表11A]

表11A

video_signal_info_idx_present_flag等于1指示存在句法元素vps_num_video_signal_info_minus1、video_signal_info()和vps_video_signal_info_idx[i]。video_signal_info_idx_present_flag等于0指示不存在句法元素vps_num_video_signal_info_minus1、video_signal_info()和vps_video_signal_info_idx[i]。当video_signal_info_idx_present_flag等于0时，对于i＝0、...、vps_max_layers_minus1中的每一个，vps_num_video_signal_info_minus1被推断为等于vps_max_layers_minus1，vps_video_signal_info_idx[i]被推断为等于i。vps_num_video_signal_info_minus1加1指定VPS中随后的video_signal_info()句法结构的数量。当不存在时，vps_num_video_signal_info_minus1的值被推断为等于vps_max_layers_minus1。

比特流一致性可能要求第0video_signal_info()中的video_vps_format、video_full_range_vps_flag、colour_primaries_vps、transfer_characteristics_vps和matrix_coeffs_vps的值就能力而言分别不低于存在于nuh_layer_id等于零并且参考此VPS的任何活动SPS中的video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs的值。vps_video_signal_info_idx[i]指定应用于nuh_layer_id等于layer_id_in_nuh[i]的层的video_signal_info()句法结构在VPS中的video_signal_info()句法结构列表中的索引。当i等于0或者vps_num_video_signal_info_minus1等于0时，vps_video_signal_info_idx[i]的值被推断为等于0。vps_video_signal_info_idx[i]的值可在0至vps_num_video_signal_info_minus1(含)的范围内。

表11所示的vps_extension()内的video_signal_info()可参考与视频信号有关的句法和语义。例如，表12中示出了video_signal_info()句法和语义。

[表12]

表12

对于参考VPS的各个SPS，video_vps_format、video_full_range_vps_flag、colour_primaries_vps、transfer_characteristics_vps、matrix_coeffs_vp分别用于推断SPS VUI句法元素video_format、video_full_range_flag、colour_primaries、transfer_characteristics、matrix_coeffs的值。对于这些句法元素中的每一个，适用于对应SPS句法元素的值的所有约束(如果有的话)也可适用。

“video_format_vps”指示在根据此规范编码之前，如表E-2中所指定的画面的表示。当不存在video_format_vps句法元素时，video_format值被推断为等于5。video_format的值6和7被预留给ITU-T|ISO/IEC未来使用，并且将不存在于符合此规范的这一版本的比特流中。解码器将把video_format的值6和7解释为等同于值5。

[表13]

表13：视频格式vps的含义

video_format_vps	含义
		0	分量
1	PAL
		2	NTSC
3	SECAM
		4	MAC
5	未指定的视频格式

“video_full_range_vps_flag”指示从E′_Y、E′_PB和E′_PR或者E′_R、E′_G和E′_B实值分量信号得出的亮度和色度信号的黑色电平和范围。

当不存在video_full_range_vps_flag句法元素时，video_full_range_flag的值被推断为等于0。

“colour_primaries_vps”指示就ISO 11664-1中所指定的x和y的CIE 1931定义而言，如表14中所指定的源原色的色度坐标。

当不存在colour_primaries_vps句法元素时，colour_primaries的值被推断为等于2(色度未指定或者由应用确定)。在表14中被识别为预留的colour_primaries_vps的值被预留给ITU-T|ISO/IEC未来使用，并且将不存在于符合此规范的这一版本的比特流中。解码器将把colour_primaries的预留值解释为等同于值2。

[表14]

表14：原色

“transfer_characteristics_vps”指示作为具有0至1的标称实值范围的线性光强输入Lc的函数，表15中所指定的源画面的光电传递特性。

当不存在transfer_characteristics_vps句法元素时，transfer_characteristics的值被推断为等于2(传递特性未指定或者由应用确定)。在表15中被识别为预留的transfer_characteristics_vps的值被预留给ITU-T|ISO/IEC未来使用，并且将不存在于符合此规范的这一版本的比特流中。解码器将把transfer_characteristics的预留值解释为等同于值2。

[表15]

表15：传递特性

“matrix_coeffs_vps”描述从绿、蓝和红原色得出亮度和色度信号时所使用的矩阵系数，如表16中所指定的。

matrix_coeffs_vps应不等于0，除非以下条件中的一个或更多个为真：

BitDepthc等于BitDepth_Y，

chroma_format_idc等于3(4:4:4)。

在所有其它条件下等于0的matrix_coeffs的使用规范被预留给ITU-T|ISO/IEC未来使用。

matrix_coeffs将不等于8，除非以下条件之一为真：

BitDepthc等于BitDepth_Y，

BitDepthc等于BitDepth_Y+1并且chroma_format_idc等于3(4:4:4)。

在所有其它条件下等于8的matrix_coeffs的使用规范被预留给ITU-T|ISO/IEC未来使用。

当不存在matrix_coeffs句法元素时，matrix_coeffs的值被推断为等于2(未指定)。

matrix_coeffs与colour_primaries和transfer_characteristics一起的解释由下面的式指定。

E_R、E_G和E_B被定义为在应用传递特征函数之前基于所指示的原色的“线性域”实值信号。传递特征函数的应用由变元x的(x)′表示。信号E′_R、E′_G和E′_B通过应用传递特征函数来如下确定：

E′_R＝(E_R)′ (E-1)

E′_G＝(E_G)′ (E-2)

E′_B＝(E_B)′ (E-3)

E′_R、E′_G和E′_B的范围指定如下：

如果transfer_characteristics不等于11或12，则E′_R、E′_G和E′_B是具有0至1(含)范围内的值的实数。

否则(transfer_characteristics等于11(IEC 61966-2-4)或12(建议ITU-RBT.1361扩展色域系统))，E′_R、E′_G和E′_B是具有此规范中未指定的更大范围的实数。

标称白色被指定为具有等于1的E′_R、等于1的E′_G的和等于1的E′_B。

标称黑色指定为具有等于0的E′_R、等于0的E′_G和等于0的E′_B。

matrix_coeffs的解释被指定如下：

-如果video_full_range_flag等于0，则应用以下：

-如果matrix_coeffs等于1、4、5、6、7、9或10，则应用下式：

Y＝Clip1_Y(Round((1＜＜(BitDepth_Y-8))*(219*E′_Y+16))) (E-4)

Cb＝Clip1_C(Round((1＜＜(BitDepth_C-8))*(224*E′_PB+128))) (E-5)

Cr＝Clip1_C(Round((1＜＜(BitDepth_C-8))*(224*E′_PR+128))) (E-6)

-否则，如果matrix_coeffs等于0或8，则应用下式：

R＝Clip1_Y((1＜＜(BitDepth_Y-8))*(219*E′_R+16)) (E-7)

G＝Clip1_Y((1＜＜(BitDepth_Y-8))*(219*E′_G+16)) (E-8)

B＝Clip1_Y((1＜＜(BitDepth_Y-8))*(219*E′_B+16)) (E-9)

-否则，如果matrix_coeffs等于2，则matrix_coeffs句法元素的解释未知或者由应用确定。

-否则(matrix_coeffs不等于0、1、2、4、5、6、7、8、9或10)，matrix_coeffs句法元素的解释被预留给ITU-T|ISO/IEC的未来定义。

-否则(video_full_range_flag等于1)，则应用以下：

-如果matrix_coeffs等于1、4、5、6、7、9或10，则应用下式：

Y＝Clip1_Y(Round(((1＜＜BitDepth_Y)-1)*E′_Y)) (E-10)

Cb＝Clip1_C(Round(((1＜＜(BitDepth_C)-1)*E′_PB+(1＜＜(BitDepth_C-1)))) (E-11)

Cr＝Clip1_C(Round(((1＜＜(BitDepth_C)-1)*E′_PR+(1＜＜(BitDepth_C-1)))) (E-12)

-否则，如果matrix_coeffs等于0或8，则应用下式：

R＝Clip1_Y(((1＜＜BitDepth_Y)-1)*E′_R)

G＝Clip1_Y(((1＜＜BitDepth_Y)-1)*E′_G)

B＝Clip1_Y(((1＜＜BitDepth_Y)-1)*E′_B)

-否则(matrix_coeffs不等于0、1、2、4、5、6、7、8、9或10)，则matrix_coeffs句法元素的解释被预留给ITU-T|ISO/IEC的未来定义。matrix_coeffs的预留值将不存在于符合此规范的这一版本的比特流中。解码器将把matrix_coeffs的预留值解释为等同于值2。

变量E′_Y、E′_PB和E′_PR(对于不等于0或8的matrix_coeffs)或者Y、Cb和Cr(对于等于0或8的matrix_coeffs)被指定如下：

-如果matrix_coeffs不等于0、8或10，则应用下式：

E′_Y＝K_R*E′_R+(1-K_R-K_B)*E′_G+K_B*E′_B

E′_PB＝0.5*(E′_B-E′_Y)÷(1-K_B) (E-17)

E′_PR＝0.5*(E′_R-E′_Y)÷(1-K_R) (E-18)

E′_Y是具有与标称黑色关联的值0以及与标称白色关联的值1的实数。E′_PB和E′_PR是具有与标称黑色和标称白色二者关联的值0的实数。当传递特性不等于11或12时，E′_Y是具有0至1(含)范围内的值的实数。当transfer_characteristics不等于11或12时，E′_PB和E′_PR具有-0.5至0.5(含)范围内的值的实数。当transfer_characteristics等于11(IEC61966-2-4)或12(ITU-R BT.1361扩展色域系统)时，E′_Y、E′_PB和E′_PR是具有此规范中未指定的更大范围的实数。

-否则，如果matrix_coeffs等于0，则应用下式：

Y＝Round(G) (E-19)

Cb＝Round(B) (E-20)

Cr＝Round(R) (E-21)

-否则，如果matrix_coeffs等于8，则应用以下：

-如果BitDepth_C等于BitDepth_Y，则应用下式：

Y＝Round(0.5*G+0.25*(R+B)) (E-22)

Cb＝Round(0.5*G-0.25*(R+B))+(1＜＜(BitDepth_C-1)) (E-23)

Cr＝Round(0.5*(R-B))+(1＜＜(BitDepth_C-1)) (E-24)

为了表E-5中所使用的YCgCo命名法，式E-23和E-24的Cb和Cr可分别被称作Cg和Co。上面三个式的逆转换应该被计算为：

t＝Y-(Cb-(1＜＜(BitDepth_C-1))) (E-25)

G＝Clip1_Y(Y+(Cb-(1＜＜(BitDepth_C-1)))) (E-26)

B＝Clip1_Y(t-(Cr-(1＜＜(BitDepth_C-1)))) (E-27)

R＝Clip1_Y(t+(Cr-(1＜＜(BitDepth_C-1)))) (E-28)

-否则(BitDepth_C不等于BitDepth_Y)，则应用下式：

Cr＝Round(R)-Round(B)+(1＜＜(BitDepth_C-1)) (E-29)

t＝Round(B)+((Cr-(1＜＜(BitDepth_C-1)))＞＞1) (E-30)

Cb＝Round(G)-1+(1＜＜(BitDepth_C-1)) (E-31)

Y＝t+((Cb-(l＜＜(BitDepth_C-1)))＞＞1) (E-32)

为了表E-5中所使用的YCgCo命名法，式E-31和E-29的Cb和Cr可分别被称作Cg和Co。上面四个式的逆转换应该被计算为：

t＝Y-((Cb-(1＜＜(BitDepth_C-1)))＞＞1) (E-33)

G＝Clip1_Y(t+(Cb-(1＜＜(BitDepth_C-1)))) (E-34)

B＝Clip1_Y(t-((Cr-(1＜＜(BitDepth_C-1)))＞＞1)) (E-35)

R＝Clip1_Y(B+(Cr-(1＜＜(BitDepth_C-1)))) (E-36)

-否则(matrix_coeffs等于10)，则应用下式：

E_Y＝K_R*E_R+(1-K_R-K_B)*E_G+K_B*E_B (E-37)

E′_Y＝(E_Y)′

在这种情况下，E_Y在应用传递特征函数之前从E_R、E_G和E_B的“线性域”信号定义，然后应用传递特征函数以生成信号E′_Y。E_Y和E′_Y类似地具有与标称黑色关联的值0以及与标称白色关联的值1。

E′_PB＝(E′_B-E′_Y)÷1.9404对于-0.9702＜＝E′_B-E′_Y＜＝0 (E-39)

E′_PB＝(E′_B-E′_Y)÷1.5816对于0＜E′_B-E′_Y＜＝0.7908 (E-40)

E′_PR＝(E′_R-E′_Y)÷1.7184对于-0.8592＜＝E′_R-E′_Y＜＝0 (E-41)

E′_PR＝(E′_R-E′_Y)÷0.9936对于0＜E′_R-E′_Y＜＝0.4968 (E-42)

[表16]

表16：矩阵系数

参照图16A至图16C，示出了示例性seq_parameter_set_rbsp()句法和语义。具体地讲，图16A至图16C的SPS句法和语义包括vui_parameters()。参照图17，示出了示例性vui_parameters()，其包括指示根据它是基本层还是增强层将所选择的视频信息定位于何处的标志(nuh_layer_id＞0)。

当SPS的nuh_layer_id大于0时，update_video_signal_info_flag等于1指定在SPS中明确地用信号通知句法元素video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs，并且参考该SPS的nuh_layer_id大于零的所有层使用这些值，而非在VPS中用信号通知的那些。

update_video_signal_info_flag等于0指定在SPS中没有用信号通知句法元素video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs，并且参考该SPS的所有层使用在VPS中用信号通知的值。当不存在时，update_video_signal_info_flag的值被推断为等于1。

当nuh_layer_id layerIdCurr大于0的当前画面参考SPS时，video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs的值可如下被推断或约束：

如果活动层SPS的nuh_layer_id等于0，则video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs的值被推断为分别等于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_video_signal_info_idx[j]个video_signal_info()句法结构的video_vps_format、video_full_range_vps_flag、colour_primaries_vps、transfer_characteristics_vps和matrix_coeffs_vps，并且活动层SPS的video_format,、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs的值被忽略。当活动非基本层参考也被基本层使用的SPS时，从VPS推断所述值，在这种情况下SPS具有等于0的nuh_layer_id。对于活动基本层，应用活动SPS中的值。

否则(活动层SPS的nuh_layer_id大于零)，可应用以下。如果update_video_signal_info_flag等于0，则video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs的值被推断为分别等于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_video_signal_info_idx[j]个video_signal_info()句法结构的video_vps_format、video_full_range_vps_flag、colour_primaries_vps、transfer_characteristics_vps和matrix_coeffs_vps。否则(update_video_signal_info_flag等于1并且活动层SPS的nuh_layer_id大于零)，比特流一致性要求video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs的值在能力方面将分别低于或等于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_video_signal_info_idx[j]个video_signal_info()句法结构的video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs。在另一实施方式中，否则(update_video_signal_info_flag等于1并且活动层SPS的nuh_layer_id大于零)，比特流一致性要求video_format、video_full_range_flag、colour_primaries、transfer_characteristics和matrix_coeffs中的至少一个的值将分别不同于j等于LayerIdxInVps[layerIdCurr]的活动VPS中的第vps_video_signal_info_idx[j]个video_signal_info()句法结构的video_vps_format、video_full_range_vps_flag、colour_primaries_vps、transfer_characteristics_vps和matrix_coeffs_vps的值。

参照图18，在另一实施方式中，标志colour_description_present_flag被进一步包括在video_signal_info()中并在VPS中用信号通知，video_signal_info()中的一些句法元素基于其值来决定。

参照图19，在另一实施方式中，关于色度的信息(chroma_loc_info_present_flag、chroma_sample_loc_type_top_field、chroma_sample_loc_type_bottom_field)被进一步包括在video_signal_info()中并在VPS中用信号通知。在这种情况下，在使用VPS进行SPS共享时，这些句法元素可不在SPS中用信号通知。

参照图20，在另一实施方式中，关于帧/字段的信息(field_seq_flag、frame_field_info_present_flag)被进一步包括在video_signal_info()中并在VPS中用信号通知。在这种情况下，在使用VPS进行SPS共享时，这些句法元素可不在SPS中用信号通知。

参照图21，在另一实施方式中，关于默认窗口的信息(default_display_window_flag、def_disp_win_left_offset、def_disp_win_right_offset、def_disp_win_top_offset、def_disp_win_bottom_offset)被进一步包括在video_signal_info()中并在VPS中用信号通知。在这种情况下，在使用VPS进行SPS共享时，这些句法元素可不在SPS中用信号通知。

在另一实施方式中，如所建议的，video_signal_info()可在VPS中用信号通知，但是SPS可在不变的情况下用信号通知，因此对于在video_signal_info()中用信号通知的元素，不使用VPS来进行SPS共享。

在另一实施方式中，可利用不同的句法元素名称来用信号通知一个或更多个句法元素。

在另一实施方式中，代替u(v)代替ue(v)，可利用已知的固定比特数来用信号通知一个或更多个句法元素。例如，可利用u(8)或u(16)或u(32)或u(64)等来用信号通知它们。

在另一实施方式中，代替例如u(v)编码的固定比特数，可利用ue(v)或者一些其它编码方案来用信号通知这些句法元素中的一个或更多个。

在另一实施方式中，与所描述的句法和语义相比，可通过增加plus1或plus2或者通过减去minus1或minus2来更改各种句法元素的名称及其语义。

在另一实施方式中，可在比特流中的任何地方依照画面来用信号通知各种句法元素。例如，可在切片片段头、pps/sps/vps/或者任何其它参数集或者比特流的其它规范部分中用信号通知它们。

上述系统和设备可使用专用处理器系统、微控制器、可编程逻辑器件、微处理器或者其任何组合，来执行本文所描述的一些或全部操作。上述一些操作可被实现于软件中，其它操作可被实现于硬件中。本文所述的任何操作、处理和/或方法可由基本上类似于本文中参照所示的附图描述的那些设备、装置和/或系统来执行。

处理装置可执行存储在存储器中的指令或“代码”。存储器也可存储数据。处理装置可包括(但不限于)模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。处理装置可以是集成控制系统或系统管理器的一部分，或者可作为被配置为经由无线传输本地地或者远程地与联网的系统接口连接的便携式电子装置提供。

处理器存储器可与处理装置集成在一起，例如设置在集成电路微处理器等内的RAM或FLASH存储器。在其它示例中，存储器可包括独立装置诸如外部盘驱动器、存储阵列、便携式FLASH遥控钥匙等。存储器和处理装置可在操作上耦合在一起，或者彼此通信，例如通过I/O端口、网络连接等，并且处理装置可读取存储在存储器中的文件。根据权限设定，关联的存储器可为有意“只读的”(ROM)。存储器的其它示例可包括但不限于WORM、EPROM、EEPROM、FLASH等，其可被实现于固态半导体装置中。其它存储器可包括移动部件，例如已知的旋转盘驱动器。所有这些存储器可为“机器可读的”并且可由处理装置读取。

操作指令或命令可按照存储的计算机软件(也称作“计算机程序”或“代码)的有形形式来实现或具体实施。程序或代码可被存储在数字存储器中，并且可由处理装置读取。“计算机可读存储介质“(或者另选地，机器可读存储介质”)可包括所有上述类型的存储器以及未来的新技术，只要存储器能够至少临时地存储具有计算机程序或其它数据的性质的数字信息，并且只要所存储的信息可被适当的处理装置“读取”即可。术语“计算机可读”可必须“计算机”的历史用法以暗指完整主机、微型计算机、台式或者甚至膝上型计算机。相反，“计算机可读”可包括可由处理器、处理装置或者任何计算系统读取的存储介质。此类介质可以是可由计算机或处理器本地地和/或远程地访问的任何可用介质，并且可包括易失性和非易失性介质以及可移除和不可移除介质，或者其任何组合。

存储在计算机可读存储介质中的程序可包括计算机程序产品。例如，存储介质可用作存储或运输计算机程序的方便手段。为了方便起见，操作可被描述成各种互连的或耦合的功能块或图。然而，可能存在这些功能块或图可在没有清晰边界的情况下被等效地聚集到单个逻辑器件、程序或操作中的情况。

本领域技术人员将认识到，本文所教导的概念可按照许多其它方式被调整以适应特定应用。具体地讲，本领域技术人员将认识到，所示的示例仅是将通过阅读本公开而变得显而易见的许多可选实现方式中的一种。

尽管说明书可能在若干地方提及了“一个”、“另一”或“一些”示例，这未必意指每一此类提及均指相同的示例，或者所述特征仅应用于单个示例。

将理解，权利要求书不限于上面所示的精确配置和组件。在不脱离权利要求书的范围的情况下，可对本文所述的系统、方法和设备的布置方式、操作和细节进行各种修改、改变和变化。

Claims

1.一种用于解码视频的方法，所述方法包括：

(a)接收多个编码的画面的视频比特流，其中，所述视频比特流包括多个层；以及

(b)接收与所述视频比特流有关的视频参数集(VPS)视频可用性信息(VUI)，

所述VPS VUI包括

(1)视频信号信息的集合；其中，所述视频信号信息是(1)video_vps_format元素；(2)video_full_range_vps_flag元素；(3)colour_primaries_vps元素；(4)transfer_characteristics_vps元素；和(5)matrix_coeffs_vps元素中的至少一个；

(2)指示在所述VPS VUI中(a)指示所述视频信号信息的所述集合的数量的句法以及(b)所述视频信号信息的所述集合的索引存在或不存在的标志；其中所述索引提供关于哪个视频信号信息的集合应用于所述多个层中的哪个的信息；

(3)当所述标志指示存在时所述视频信号信息的所述集合的索引；以及

(4)当所述标志指示存在时指示所述视频信号信息的所述集合的数量的所述句法；

其中，在所述标志指示不存在所述索引的情况下，推断所述索引；并且

其中，在所述标志指示不存在所述句法的情况下，推断所述句法。

2.根据权利要求1所述的方法，其中，所述标志等于1指示所述句法和所述索引存在，并且所述标志等于0指示所述句法和所述索引不存在。

3.根据权利要求1所述的方法，其中，所述集合参考与所述视频比特流有关的句法和语义。

4.根据权利要求1所述的方法，其中，对于参考视频参数集扩展句法的各个SPS，所述video_vps_format元素、所述video_full_range_vps_flag元素、所述colour_primaries_vps元素、所述transfer_characteristics_vps元素和所述matrix_coeffs_vps元素分别用于推断SPS VUI句法元素video_format、video_full_range_flag、colour_primaries、transfer_characteristics、matrix_coeffs的值。

5.根据权利要求1所述的方法，其中，所述索引在应用于所述多个层中的一个的视频参数集(VPS)视频可用性信息(VUI)中的所述视频信号信息的列表中。