CN110754085A - 用于非4:4:4格式视频内容的颜色重映射 - Google Patents

Abstract

视频解码器经配置以重构当前图片的第一版本；通过将第一矩阵应用于包括第一、第二及第三分量的样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；将所述第一、第二及第三分量的所述经变换样本包含在所述当前图片的第二版本中；基于所述第一、第二及第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

Description

用于非4:4:4格式视频内容的颜色重映射

本申请案主张2017年7月5日申请的美国临时专利申请案62/528,722及2018年7月3日申请的美国专利申请案16/027,185的权益，所述申请案的全部内容特此以引用的方式并入。

技术领域

本发明涉及经配置以执行视频编码及视频解码的装置。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些技术。视频装置可通过实施这些视频压缩技术而更高效地传输、接收、编码、解码及/或存储数字视频信息。

发明内容

本发明描述用于视频编码及视频解码的技术。更特定来说，本发明描述与颜色-空间转换译码相关的技术。用于对例如4:2:0或4:2:2视频的非4:4:4视频执行颜色-空间转换的现有技术包含：在第一颜色空间中将所述视频向上转换到4:4:4格式；在所述4:4:4格式中将所述视频转换到第二颜色空间；及在所述第二颜色空间中将所述视频数据从所述4:4:4格式向下转换到所述非4:4:4格式。本发明的技术以使视频编码及视频解码装置能够省略从4:2:0到4:4:4的上取样及从4:4:4到4:2:0的下取样步骤的方式，允许所述视频编码及视频解码装置针对4:2:0内容执行颜色重映射。由于上取样及下取样通常需要相当多的存储器及处理资源，且本发明的所述颜色-空间转换技术可允许视频编码及视频解码装置获得基于颜色-空间的译码工具的益处，而无现有颜色-空间转换技术所需的所述上取样及下取样所产生的硬件资源的高代价负担。

在一个实例中，一种处理视频数据的方法包含：接收包括所述视频数据的经编码表示的位流；基于所述位流重构所述视频数据的当前图片的第一版本，其中：所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本；通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中；基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

根据另一实例，一种用于处理视频数据的装置包含：存储器，其经配置以存储包括所述视频数据的经编码表示的位流；及一或多个处理器，其经配置以进行以下操作：基于所述位流重构所述视频数据的当前图片的第一版本，其中所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本；通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中；基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

根据另一实例，一种计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时使所述一或多个处理器进行以下操作：接收包括视频数据的经编码表示的位流；基于所述位流重构所述视频数据的当前图片的第一版本，其中所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本；通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中；基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

根据另一实例，一种用于处理视频数据的装置包含：用于接收包括所述视频数据的经编码表示的位流的装置；用于基于所述位流重构所述视频数据的当前图片的第一版本的装置，其中所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本；用于通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本的装置；用于将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中的装置；用于基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本的装置，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及用于将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中的装置。

下文在附图及具体实施方式中阐述了本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从具体实施方式、附图及权利要求书显而易见。

附图说明

图1为绘示可使用本发明中所描述的一或多种技术的实例视频编码及解码系统的框图。

图2展示图片中的4:2:0亮度样本及色度样本的标称竖直及水平位置的实例。

图3A至3C为绘示译码单元的亮度分量及色度分量的不同颜色样本格式的概念图。

图4展示由颜色重映射信息(CRI)补充增强信息(SEI)消息使用的颜色重映射信息/过程的结构。

图5为绘示被应用于呈YCbCr 4:2:0格式的视频数据的RGB域滤波的流程图。

图6为绘示可实施本发明中所描述的一或多种技术的实例视频编码器的框图。

图7为绘示可实施本发明中所描述的一或多种技术的实例视频解码器的框图。

图8为绘示本发明中所描述的实例视频解码技术的流程图。

具体实施方式

本发明描述用于视频编码及视频解码的技术。最近定案的高效视频译码(HEVC)标准的扩展及后续标准正被设计成潜在地支持高位深度(例如超过8位)、广色域(WCG)及/或高色度取样格式，且因此，正被设计成包含未包含在基本HEVC标准中的新译码工具。

一种此类译码工具为颜色-空间转换译码。在颜色-空间转换译码中，视频编码器可将残差数据从第一颜色空间转换到第二颜色空间，以便实现较佳译码质量(例如较佳速率-失真权衡)。各种其它译码工具还利用颜色-空间转换在不同于原始视频数据的颜色空间的颜色空间中执行映射、剪裁、滤波及其它此类过程。用于对例如4:2:0或4:2:2视频的非4:4:4视频执行颜色-空间转换的现有技术包含：在第一颜色空间中将视频向上转换到4:4:4格式；在4:4:4格式中将视频转换到第二颜色空间；及在第二颜色空间中将视频数据从4:4:4格式向下转换到非4:4:4格式。两个颜色空间可例如为YCbCr颜色空间及RGB颜色空间，或可为具有第一动态范围的YCbCr颜色空间及具有第二动态范围的YCbCr颜色空间。

本发明的技术以使视频编码及视频解码装置能够省略从4:2:0到4:4:4的上取样及从4:4:4到4:2:0的下取样步骤的方式，通过例如将3×3矩阵乘法应用于4:2:0内容，允许视频编码及视频解码装置执行颜色重映射。由于上取样及下取样通常需要相当多的存储器及处理资源，且本发明的颜色-空间转换技术可允许视频编码及视频解码装置获得基于颜色-空间的译码工具的益处，而无现有颜色-空间转换技术所需的上取样及下取样所产生的硬件资源的昂贵负担。

图1为绘示可利用本发明的技术的实例视频编码及解码系统10的框图。如图1所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将经编码视频数据提供到目的地装置14。源装置12及目的地装置14可为广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”手机的电话手机、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些状况下，源装置12及目的地装置14经装备用于无线通信。因此，源装置12及目的地装置14可为无线通信装置。可将本发明中所描述的技术应用于无线及/或有线应用。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。

图1的所绘示系统10仅是一个实例。用于处理视频数据的技术可由任何数字视频编码及/或解码装置执行。在一些实例中，所述技术可由视频编码器/解码器(通常称为“编解码器”)执行。源装置12及目的地装置14为源装置12产生经译码视频数据用于传输到目的地装置14的此类译码装置的实例。在一些实例中，源装置12及目的地装置14以大致上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如用于视频流式处理、视频回放、视频广播或视频电话。

在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体19、视频编码器20及输出接口22。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30及显示装置32。在其它实例中，源装置12及目的地装置14可包含其它组件或布置。举例来说，源装置12可从外部视频源(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。

视频源18为视频数据的源。视频数据可包含一系列图片。视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频存档及/或用以从视频内容提供者接收视频数据的视频馈送接口。在一些实例中，视频源18产生基于计算机图形的视频数据或实况视频、经存档视频及计算机产生的视频的组合。存储媒体19可经配置以存储视频数据。在每一状况下，所捕获、所预捕获或计算机产生的视频可由视频编码器20编码。

输出接口22可将经编码视频信息输出到计算机可读媒体16。输出接口22可包含各种类型的组件或装置。举例来说，输出接口22可包括无线发射器、调制解调器、有线联网组件(例如以太网卡)或另一物理组件中的一或多者。在输出接口22包含无线发射器的实例中，输出接口22可经配置以传输根据例如4G、4G-LTE、高级LTE、5G等等的蜂窝通信标准调制的数据，例如经编码视频数据。在输出接口22包含无线发射器的一些实例中，输出接口22可经配置以传输根据其它无线标准调制的数据，例如经编码视频数据，所述标准是例如IEEE802.11规范、IEEE 802.15规范(例如ZigBee^TM)、Bluetooth^TM标准等等。在一些实例中，输出接口22的电路集成在源装置12的视频编码器20及/或其它组件的电路中。举例来说，视频编码器20及输出接口22可为系统单芯片(SoC)的部分。SoC还可包含其它组件，例如通用微处理器、图形处理单元等等。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可为能够将经编码视频数据从源装置12移动目的地装置14的任何类型的媒体或装置。在一些实例中，计算机可读媒体16可为允许源装置12实时地将经编码视频数据直接传输到目的地装置14的通信媒体。通信媒体可为任何无线或有线通信媒体或其组合，例如射频(RF)频谱及/或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。目的地装置14可包含经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。

在一些实例中，输出接口22可将例如经编码视频数据的数据输出到中间装置，例如存储装置。类似地，目的地装置14的输入接口26可从中间装置接收经编码数据。中间装置可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、Blu-ray^TM光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在一些实例中，中间装置对应于文件服务器。文件服务器的实例包含网页服务器、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。

目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。此连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。从存储装置的经编码视频数据传输可为流式处理传输、下载传输或其组合。

计算机可读媒体16可包含：暂时性媒体，例如无线广播或有线网络传输；或存储媒体(例如非暂时性存储媒体)，例如硬盘、闪存驱动器、紧密光盘、数字视频光盘、Blu-ray^TM光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据，且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可被理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口26从计算机可读媒体16接收数据。输出接口26可包含各种类型的组件或装置。举例来说，输出接口26可包含无线接收器、调制解调器、有线联网组件(例如以太网卡)或另一物理组件。在输入接口26包含无线接收器的实例中，输入接口26可经配置以接收根据蜂窝通信标准(例如4G、4G-LTE、高级LTE、5G等等)调制的数据，例如位流。在输入接口26包含无线接收器的一些实例中，输入接口26可经配置以接收根据例如IEEE 802.11规范、IEEE 802.15规范(例如ZigBee^TM)、Bluetooth^TM标准等等的其它无线标准调制的数据，例如位流。在一些实例中，输入接口26的电路可集成在目的地装置14的视频解码器30及/或其它组件的电路中。举例来说，视频解码器30及输入接口26可为SoC的部分。SoC还可包含其它组件，例如通用微处理器、图形处理单元等等。

存储媒体28可经配置以存储经编码视频数据，例如由输入接口26接收的经编码视频数据(例如位流)。显示装置32将经解码视频数据显示给用户。显示装置32可为多种显示装置的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20及视频解码器30各自可被实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储在合适非暂时性计算机可读媒体中，且可使用一或多个处理器在硬件中执行所述指令，以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。

在一些实例中，视频编码器20及视频解码器30根据视频译码标准或规范编码及解码视频数据。举例来说，视频编码器20及视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)(包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展)或另一视频译码标准或规范而编码及解码视频数据。在一些实例中，视频编码器20及视频解码器30根据高效视频译码(HEVC)(其被称为ITU-T H.265)、其范围及屏幕内容译码扩展、其3D视频译码扩展(3D-HEVC)、其多视图扩展(MV-HEVC)或其可缩放扩展(SHVC)而编码及解码视频数据。HEVC已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发。

ITU-T VCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)现在正研究对于将具有显著超过当前HEVC标准(包含其当前扩展及针对屏幕内容译码及高动态范围译码的近期扩展)的压缩能力的未来视频译码技术标准化的潜在需要。所述专家组正共同致力于联合合作工作(被称为联合视频探索小组(JVET))中的此探索活动，以评估由此领域中的专家建议的压缩技术设计。

JVET在2015年10月19日到21日期间第一次会面。包含算法描述的JVET参考软件的一个版本阐述于J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce在2017年1月JVET-E1001“Algorithm Description of Joint Exploration Test Model 5(JEM 5)”的文献联合探索模型5(JEM 5)中。JVET参考软件的另一版本描述于J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce在2017年4月JVET-F1001“Algorithm description ofJoint Exploration Test Model 6(JEM 6)”的文献联合探索模型6(Jem 6)中。JVET参考软件的另一版本描述于J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce在2017年7月JVET-G1001“Algorithm description of Joint Exploration Test Model 7(JEM 7)”的文献联合探索模型7(JEM 7)中。

本发明的某些技术可参考H.264及/或HEVC进行描述以辅助理解，但所述技术描述并不限于H.264或HEVC，且可结合另一译码标准及另一译码工具使用。例如设想到，本文中所描述的技术可与当前处于开发中的H.266标准及其扩展一起使用。

本发明通常可指“用信号发送”某一信息，例如语法元素。术语“用信号发送”通常可指用于解码经编码视频数据的语法元素及/或其它数据的传达。此通信可实时地或近乎实时地发生。替代地，可历时一时间跨度而发生此通信，例如此通信可在以下时候发生：在编码时，将位流中的语法元素存储到计算机可读存储媒体，所述语法元素随后可在存储在此媒体之后由解码装置在任何时间进行检索。

在HEVC及其它视频译码规范中，视频数据包含一系列图片。图片也可被称为“帧”。图片可包含一或多个样本阵列。图片的每一相应样本阵列可包含相应颜色分量的样本阵列。图片可包含三个样本阵列，被指示为S_L、S_Cb及S_Cr。S_L为亮度样本的二维阵列(即，块)。S_Cb为Cb色度样本的二维阵列。S_Cr为Cr色度样本的二维阵列。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。

作为编码视频数据的部分，视频编码器20可编码视频数据的图片。换句话说，视频编码器20可产生视频数据的图片的经编码表示。图片的经编码表示在本文中可被称作“经译码图片”或“经编码图片”。

为产生图片的经编码表示，视频编码器20可编码图片的块。视频编码器20可将视频块的经编码表示包含在位流中。在一些实例中，为编码图片的块，视频编码器20执行帧内预测或帧间预测以产生一或多个预测性块。此外，视频编码器20可产生用于块的残差数据。残差块包含残差样本。每一残差样本可指示所产生的预测性块中的一者的样本与块的对应样本之间的差。视频编码器20可将变换应用于残差样本的块以产生变换系数。此外，视频编码器20可量化变换系数。在一些实例中，视频编码器20可产生一或多个语法元素以表示变换系数。视频编码器20可熵编码表示变换系数的语法元素中的一或多者。

更具体地说，当根据HEVC或其它视频译码规范编码视频数据时，为产生图片的经编码表示，视频编码器20可将图片的每一样本阵列分割成译码树块(CTB)且编码CTB。CTB可为图片的样本阵列中的样本的N×N块。在HEVC主规范中，CTB的大小可在16×16到64×64的范围内(尽管技术上可支持8×8CTB大小)。

图片的译码树单元(CTU)可包含一或多个CTB且可包含用以编码所述一或多个CTB的样本的语法结构。举例来说，每一CTU可包含亮度样本的CTB、色度样本的两个对应CTB，及用以编码CTB的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包含单一CTB及用以编码CTB的样本的语法结构。CTU也可被称作“树块”或“最大译码单元”(LCU)。在本发明中，“语法结构”可被定义为按指定次序一起在位流中呈现的零或多个语法元素。在一些编解码器中，经编码图片为含有图片的所有CTU的经编码表示。

为编码图片的CTU，视频编码器20可将CTU的CTB分割成一或多个译码块。译码块为样本的N×N块。在一些编解码器中，为编码图片的CTU，视频编码器20可对CTU的译码树块递归地执行四叉树分割以将CTB分割成译码块，因此命名为“译码树单元”。译码单元(CU)可包含一或多个译码块及用以编码一或多个译码块的样本的语法结构。举例来说，CU可包含具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的译码块，及色度样本的两个对应译码块，及用于对所述译码块的样本进行编码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包含单一译码块及用于译码所述译码树块的样本的语法结构。

另外，视频编码器20可编码视频数据的图片的CU。在一些编解码器中，作为编码CU的部分，视频编码器20可将CU的译码块分割成一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包含CU的一或多个预测块，及用以预测所述一或多个预测块的语法结构。举例来说，PU可包含亮度样本的预测块、色度样本的两个对应预测块，及用以对预测块进行预测的语法结构。在单色图片或包括三个单独颜色平面的图片中，PU可包含单一预测块及用于对所述预测块进行预测的语法结构。

视频编码器20可产生用于CU的PU的预测块(例如亮度、Cb及Cr预测块)的预测性块(例如亮度、Cb及Cr预测性块)。视频编码器20可使用帧内预测或帧间预测以产生预测性块。如果视频编码器20使用帧内预测以产生预测性块，那么视频编码器20可基于包含CU的图片的经解码样本产生预测性块。如果视频编码器20使用帧间预测以产生当前图片的PU的预测性块，那么视频编码器20可基于参考图片(即，除了当前图片之外的图片)的经解码样本产生PU的预测性块。

视频编码器20可产生用于CU的一或多个残差块。举例来说，视频编码器20可产生用于CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生用于CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块的中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。

此外，视频编码器20可将CU的残差块分解成一或多个变换块。举例来说，视频编码器20可使用四叉树分割以将CU的残差块分解成一或多个变换块。变换块为应用相同变换的样本的矩形(即，正方形或非正方形)块。CU的变换单元(TU)可包含一或多个变换块。举例来说，TU可包含亮度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有亮度变换块、Cb变换块以及Cr变换块。TU的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包含单一变换块及用于对所述变换块的样本进行变换的语法结构。

视频编码器20可将一或多个变换应用于TU的变换块，以产生TU的系数块。系数块可为变换系数的二维阵列。变换系数可为标量。在一些实例中，一或多个变换将变换块从像素域转换到频域。因此，在这些实例中，变换系数可为被视为在频域中的标量。变换系数水平是表示在缩放变换系数值的运算之前与解码过程中的特定2维频率索引相关联的值的整数量。

在一些实例中，视频编码器20跳过对变换块的变换应用。在这些实例中，视频编码器20可以与变换系数相同的方式处理残差样本值。因此，在视频编码器20跳过变换应用的实例中，变换系数及系数块的以下论述可适用于残差样本的变换块。

在产生系数块之后，视频编码器20可量化系数块以可能地减少用以表示系数块的数据的量，潜在地提供进一步压缩。量化通常是指值的范围被压缩为单一值的过程。举例来说，可通过将值除以常数且接着舍入到最接近的整数进行量化。为量化系数块，视频编码器20可量化系数块的变换系数。量化可减小与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数降值舍入到m位变换系数，其中n大于m。在一些实例中，视频编码器20跳过量化。

视频编码器20可产生指示一些或所有潜在经量化变换系数的语法元素。视频编码器20可熵编码指示经量化变换系数的语法元素中的一或多者。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。因此，经编码块(例如经编码CU)可包含指示经量化变换系数的经熵编码语法元素。

视频编码器20可输出包含经编码视频数据的位流。换句话说，视频编码器20可输出包含视频数据的经编码表示的位流。视频数据的经编码表示可包含视频数据的图片的经编码表示。举例来说，位流可包含形成视频数据及相关联数据的经编码图片的表示的位的序列。在一些实例中，经编码图片的表示可包含图片的块的经编码表示。

在一些实例中，位流可包含网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示及含有所述数据的呈按需要穿插有仿真阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者可包含NAL单元标头且可封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。

视频解码器30可接收由视频编码器20产生的位流。如上文所提及，位流可包含视频数据的经编码表示。视频解码器30可解码位流以重构视频数据的图片。作为解码位流的部分，视频解码器30可从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。重构视频数据的图片的过程可与由视频编码器20执行以编码图片的过程大体上互逆。

举例来说，作为解码视频数据的图片的部分，视频解码器30可使用帧间预测或帧内预测以产生预测性块。此外，视频解码器30可基于从位流获得的语法元素确定变换系数。在一些实例中，视频解码器30反量化经确定变换系数。反量化将经量化值映射到经重构值。举例来说，视频解码器30可通过确定值乘以量化步长而反量化所述值。此外，视频解码器30可对经确定变换系数应用反变换以确定残差样本的值。视频解码器30可基于残差样本及所产生的预测性块的对应样本重构图片的块。举例来说，视频解码器30可将残差样本与所产生的预测性块的对应样本相加以确定块的经重构样本。

更具体地说，视频解码器30可使用帧间预测或帧内预测以产生当前CU的每一PU的一或多个预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构当前CU的TU的变换块。基于当前CU的PU的预测性块的样本及当前CU的TU的变换块的残差样本，视频解码器30可重构当前CU的译码块。在一些实例中，通过将当前CU的PU的预测性块的样本与当前CU的TU的变换块的对应经解码样本相加，视频解码器30可重构当前CU的译码块。通过重构图片的各CU的译码块，视频解码器30可重构图片。

颜色视频在多媒体系统中发挥主要作用，其中各种颜色空间用以高效地表示颜色。颜色空间使用多个分量利用数字值指定颜色。常用颜色空间为RGB颜色空间，其中将颜色表示为三原色分量值(即，红色、绿色及蓝色)的组合。对于颜色视频压缩，YCbCr颜色空间已被广泛用作描述于1998年8月伦敦威斯敏斯特大学技术报告A.Ford及A.Roberts的“Colour space conversions”中。YCbCr可经由线性变换从RGB颜色空间转换。YCbCr颜色空间中不同分量之间的冗余(即，交叉分量冗余)可显著减少。YCbCr的另一优点是Y信号传达亮度信息时的与黑白电视的后向兼容性。另外，可通过在4:2:0色度取样格式中子取样Cb及Cr分量来缩减色度带宽。相比RGB颜色中的子取样，YCbCr颜色空间中的子取样通常对视频质量产生显著的不太主观的影响。由于这些优点，YCbCr已为视频压缩中的主要颜色空间。还存在可用于视频压缩的其它颜色空间，例如YCoCg。本发明描述参考YCbCr颜色空间的技术，但本文中所描述的技术还可与其它颜色空间一起使用。

色度子取样格式通常被表示为三部分比率J:a:b(例如4:4:4、4:2:2、4:2:0)，其描述J像素宽且2像素高的概念区中的亮度及色度样本的数目。“J”表示水平取样参考(即，概念区的宽度)，其在HEVC中通常为4。“a”表示第一行J像素中的色度样本(Cr,Cb)的数目，且“b”表示第一行与第二行J像素之间的色度样本(Cr,Cb)的变化的数目。

图2展示图片中的4:2:0亮度及色度样本的标称竖直及水平位置的实例。在4:2:0取样中，两个色度阵列中的每一者的高度及宽度为亮度阵列的高度及宽度的一半，其中高度及宽度是按照样本的数目进行测量。因此，如在图2中的子块100的实例可见，在4:2:0取样格式中，1×1色度样本块对应于2×2亮度样本块，意味着在4:2:0取样格式中，色度块的分辨率为其对应亮度块的分辨率的四分之一。

图3A至3C为绘示译码单元的亮度分量(Y)及色度分量(U及V)的不同颜色样本格式的概念图。图3A为绘示4:2:0样本格式的概念图。如图3A中所绘示，对于4:2:0样本格式，色度分量(U 104及V106)为亮度分量(Y 102)的大小的四分之一。因此，对于根据4:2:0样本格式而格式化的CU，对于针对色度分量的每一样本来说存在四个亮度样本。图3B为绘示4:2:2样本格式的概念图。如图3B中所绘示，对于4:2:2样本格式，色度分量(U 110及V112)为亮度分量(Y 108)的大小的二分之一。因此，对于根据4:2:2样本格式而格式化的CU，对于针对色度分量的每一样本来说存在两个亮度样本。图3C为绘示4:4:4样本格式的概念图。如图3C中所绘示，对于4:4:4样本格式，色度分量(U 116及V118)与亮度分量(Y 114)具有相同大小。因此，对于根据4:4:4样本格式进行格式化的CU，对于色度分量的每一样本来说存在一个亮度样本。视频编码器20及视频解码器30可经配置以在4:2:0、4:2:2或4:4:4样本格式中的任一者中对视频数据进行译码。

在各种译码标准及其各种扩展中，补充增强信息(SEI)含有对来自VCL NAL单元的经译码图片的样本进行解码时可能不需要的信息。这些SEI信息包含在各种SEI消息中。一种此类消息为颜色重映射信息(CRI)SEI消息，其用以传递用以将一个颜色空间中的图片映射到另一颜色空间的信息。CRI SEI消息的语法可包含三个部分：第一组三个1-D查找表(预LUT)，随后为3×3矩阵，接着第二组三个1-D查找表(后LUT)。对于每一颜色分量(例如R、G、B或Y、Cb、Cr)，针对预LUT及后LUT两者界定独立的LUT。

图4展示颜色重映射过程的实例，包含预LUT过程120、颜色-空间转换过程122及后LUT过程124。颜色-空间转换过程可利用如本发明中所描述的3×3矩阵。执行颜色重映射处理所需的信息可在CRI SEI消息中用信号发送。一组三个预LUT的应用可被称为DRA(动态范围调整)，但DRA还可指使用查找表(例如分段线性或以其它方式)映射内容以将码字值重布在范围内的普通想法。在一些实例中，可应用预LUT过程120及后LUT过程124将来自一个动态范围的内容映射到另一动态范围，或基于某些特性(例如峰亮度)适应内容。预LUT过程120及后LUT过程124的使用为在CRI SEI消息中用信号发送的过程的实例，且为可在颜色-空间转换过程122前后发生的过程的实例。

应理解，可能不会始终应用预LUT过程120及后LUT过程124，这取决于CRI消息得以设计的应用。举例来说，如果内容已位于线性空间中且使用3×3矩阵在线性空间中进行颜色-空间转换，那么可能不会应用LUT过程120。在另一实例中，如果由3×3矩阵进行的映射定义于线性空间中且内容为非线性空间，那么可在颜色-空间转换过程122之前使用预LUT过程120将非线性内容转换到线性内容(即，应用3×3矩阵)。在此实例中，可在通过颜色-空间转换过程122应用3×3矩阵转换之后，应用后LUT过程124将内容带回到非线性空间中。在其它实例中，预LUT过程120及后LUT过程124可由其它视频处理算法替换，且可使用不同机制应用3×3矩阵以供转换。如果此机制利用使用上取样且随后使用下取样进行的内容到4:4:4格式的转换，那么本文中所揭示的技术可有助于降低处理复杂性。

CRI SEI消息的语法可为如下：

CRI SEI消息的语义描述于ITU-T H.265，H系列：视听与多媒体系统：视听服务的基础结构—移动视频译码：高效视频译码(12/2016)中，下文中被称为H.265,H系列、H.265,H系列表述：

颜色重映射信息的SEI消息提供用以启用输出图片的经重构颜色样本的重映射的信息。颜色重映射信息可直接应用于经解码样本值，而不管其是否在亮度域及色度域或RGB域中。在颜色重映射信息SEI消息中使用的颜色重映射模型由以下各者构成：应用于每一颜色分量(由本文中的语法元素的“预”集合指定)的第一分段线性函数、应用于三个颜色分量的三乘三矩阵，及应用于每一颜色分量(由本文中的语法元素的“后”集合指定)的第二分段线性函数。

注解1—输出图片的颜色重映射以供显示是任选的，且并不影响本规范中所指定的解码过程。

根据H.265,H系列，语法元素“colour_remap_id”含有可用以识别颜色重映射信息的目的的识别编号。colour_remap_id的值可在0到2³²-2的范围内(包含端点)。可使用从0到255及从512到2³¹-1的colour_remap_id的值，如由本申请案所确定。保留从256到511(包含端点)及从2³¹到2³²-2(包含端点)的colour_remap_id的值以供ITU-T|ISO/IEC未来使用。解码器可忽略含有在256到511的范围内(包含端点)或在2³¹到2³²-2的范围内(包含端点)的colour_remap_id的值的颜色重映射信息SEI消息，且位流可能不含有这些值。H.265，H系列表述：

注解2—colour_remap_id可用以支持适合于不同显示情境的不同颜色重映射过程。举例来说，colour_remap_id的不同值可对应于由显示器支持的不同的经重映射颜色空间。

……

根据H.265，H系列，语法元素“colour_remap_matrix_coefficients”与条款E.3.1中针对matrix_coeffs语法元素所指定的具有相同语义，除了colour_remap_matrix_coefficients指定重映射经重构图片的颜色空间，而非用于经译码逐层视频序列的颜色空间。当不存在时，推断colour_remap_matrix_coefficients的值等于matrix_coeffs的值。

根据H.265，H系列，出于解释颜色重映射信息SEI消息的目的，语法元素“colour_remap_input_bit_depth”指定相关联图片的亮度分量及色度分量或RGB分量的位深度。当存在colour_remap_input_bit_depth的值不等于经译码亮度及色度分量的位深度或经译码RGB分量的位深度的任何颜色重映射信息SEI消息时，SEI消息是指经执行以将经译码视频转换成位深度等于colour_remap_input_bit_depth的经转换视频的转码操作的假设结果。colour_remap_input_bit_depth的值可在8到16的范围内(包含端点)。保留从0到7(包含端点)及从17到255(包含端点)的colour_remap_input_bit_depth的值以供ITU-T|ISO/IEC未来使用。解码器可忽略含有在0到7的范围内(包含端点)或在17到255的范围内(包含端点)的colour_remap_input_bit_depth的所有颜色重映射SEI消息，且位流可能不含有这些值。

根据H.265，H系列，语法元素“colour_remap_bit_depth”指定由颜色重映射信息SEI消息描述的颜色重映射功能的输出的位深度。colour_remap_bit_depth的值可在8到16的范围内(包含端点)。保留从0到7(包含端点)及从17到255(包含端点)的colour_remap_bit_depth的值以供ITU-T|ISO/IEC未来使用。解码器可忽略含有从0到7(包含端点)或在17到255的范围内(包含端点)的colour_remap_bit_depth的值的颜色重映射SEI消息。

根据H.265，H系列，语法元素“pre_lut_num_val_minus1[c]”的值加1指定第c个分量的分段线性重映射函数中的枢轴点的数目，其中c等于0是指亮度或G分量，c等于1是指Cb或B分量，且c等于2是指Cr或R分量。对于第c个分量，当pre_lut_num_val_minus1[c]等于0时，输入值的默认端点为0与2^{colour_remap_input_bit_depth}-1，且输出值的对应默认端点为0与2^{colour_remap_bit_depth}-1。在符合H.265，H系列规范的位流中，pre_lut_num_val_minus1[c]的值可在0到32的范围内(包含端点)。

根据H.265，H系列，语法元素“pre_lut_coded_value[c][i]”指定第c个分量的第i个枢轴点的值。位的数目用于表示pre_lut_coded_value[c][i]为((colour_remap_input_bit_depth+7)>>3)<<3。

根据H.265，H系列，语法元素“pre_lut_target_value[c][i]”指定第c个分量的第i个枢轴点的值。位的数目用于表示pre_lut_target_value[c][i]为((colour_remap_bit_depth+7)>>3)<<3。

根据H.265，H系列，语法元素“colour_remap_matrix_present_flag”等于1指示对于在0到2的范围内(包含端点)的c及i，语法元素log2_matrix_denom及colour_remap_coeffs[c][i]存在。colour_remap_matrix_present_flag等于0指示对于在0到2的范围内(包含端点)的c及i，语法元素log2_matrix_denom及colour_remap_coeffs[c][i]不存在。

根据H.265，H系列，语法元素“log2_matrix_denom”针对所有矩阵系数指定分母的以2为底的对数。log2_matrix_denom的值将在范围0到15内(包含端点)。当不存在时，推断log2_matrix_denom的值等于0。

根据H.265，H系列，语法元素“colour_remap_coeffs[c][i]”指定三乘三颜色重映射矩阵系数的值。colour_remap_coeffs[c][i]的值可在-2¹⁵到2¹⁵-1的范围内(包含端点)。当colour_remap_coeffs[c][i]不存在时，其在c等于i的情况下推断为等于1，否则推断为等于0。当colour_remap_matrix_present_flag等于0时，颜色重映射矩阵被推断为等于大小3×3的单位矩阵。

H.265，H系列进一步表述：

如下导出变量matrixOutput[c]，其中c＝0、1及2：

roundingOffset＝log2_matrix_denom＝＝0？0:1<<(log2_matrix_denom-1)

matrixOutput[c]＝Clip3(0,(1<<colour_remap_output_bit_depth)-1,

(colour_remap_coeffs[c][0]*matrixInput[0]+colour_remap_coeffs[c][1]*matrixInput[1]

+colour_remap_coeffs[c][2]*matrixInput[2]+roundingOffset)>>log2_matrix_denom)(D-50)

其中matrixInput[c]为第c颜色分量的输入样本值，且matrixOutput[c]为第c颜色分量的输出样本值。

……

post_lut_num_val_minus[]、post_lut_coded_value[][]及post_lut_target_value[][]的语义分别类似于pre_lut_num_val_minus[]、pre_lut_coded_value[][]及pre_lut_target_value[][]的语义；用以表示post_lut_coded_value[][]及post_lut_target_value[][]的位的数目等于colour_remap_bit_depth。

下一代视频应用预期用表示具有高动态范围(HDR)及WCG的所捕获景物的视频数据操作。当前针对AVC及HEVC在SEI消息中用信号发送CRI。SEI并非为必选的，意味着即使未接收SEI或忽略SEI，也可解码视频数据。然而，已观察到，在编码器之前适当应用CRI/DRA及在解码器之后适当应用对应反向CRI/DRA可帮助改进HDR/WCG内容(或大体上，不具有典型最大到最小亮度比率的内容)的译码效率。因此，我们预期，类似CRI及/或DRA的技术可变为下一代视频编解码器的标称部分，意味着CRI及DRA可为压缩过程的部分。因此，对CRI及DRA的改进可促成整体压缩改进。

用于CRI的当前机制允许3×3矩阵仅仅应用于4:4:4内容。例如HEVC规范具有以下限制：

除非由本规范中未指定的一些手段另外规定，否则当颜色重映射三乘三矩阵系数存在于SEI消息中，且chroma_format_idc等于1(4:2:0色度格式)或2(4:2:2色度格式)时，在视需要将(未指定)上取样转换过程应用于4:4:4颜色取样格式之后，所指示重映射过程的输入为经解码样本值的集合。

此方法因为到3×3矩阵的输入为每一颜色分量的样本(其为YCbCr或RGB或其它者)而得以开发。所述矩阵被应用于共置样本(例如Yi、Cbi及Cri)的三元组，如以下等式所展示。

所述等式定义3×3矩阵及如何将3×3矩阵应用于视频内容的三个分量。应用上取样及下取样以将4:2:0色度格式转换成4:4:4色度格式涉及相当大的处理(例如多抽头滤波)及存储器要求。因此，在“较小”色度格式(例如4:2:0、4:2:2)中执行3×3矩阵乘法可为优选的，尤其是在系统的输入及输出也处于较小色度格式中的情况下。

在4:2:0视频的状况下，针对每一色度样本存在四个亮度样本，因此无法应用相同机制，这是因为不存在与对应亮度样本分组在一起的足够的色度样本。过程可反向可为有益的，使得原始样本(或原始样本的未经压缩版本)可恢复。大体来说，3×3矩阵是可反向的。在以下实例中，I3×3表示M3×3的反向矩阵。因此，I3x3*M3x3＝Identity。随后，达到量化误差，输入样本(Yi,Cbi,Cri)可恢复如下：

适用于4:2:0色度格式的许多问题还适用于其它格式(例如4:2:2色度格式)。

本发明描述允许3×3矩阵被应用于4:2:0内容的技术。因此，当实施本发明的技术时，视频编码器20及视频解码器30可以类似于矩阵当前如何应用于4:4:4内容的方式将矩阵应用于4:2:0内容，同时仍考虑并非每一亮度样本均具有唯一对应色度样本的事实。此外，本发明的技术是可倒转的，意味着可用输出样本及3×3矩阵恢复前向过程的输入样本(达到量化/压缩误差)。通过实施本发明的技术，视频编码器20及视频解码器30在执行颜色-空间转换时潜在地避免从4:2:0到4:4:4的上取样及从4:4:4到4:2:0的下取样的高代价过程。类似于下文所描述的系统的系统也可应用于4:2:2内容或其它色度格式。

对于4:2:0色度格式内容，视频编码器20可实施前向过程。视频编码器20可如由等式4所示，针对亮度样本Yi及对应/共置Cbi及Cri样本应用前向3×3矩阵。对于等式4，Yi可对应于四个亮度样本中与色度样本Cbi及Cri相关联的左上样本。

对于四个亮度样本中的其它三个样本，视频编码器20可如同等式5中仅仅应用3×3矩阵的第一行：

Yo＝a11*Yi+a12*Cbi+a13*Cri (5)

以此方式，视频编码器20使用3×3矩阵产生4:2:0输出。

视频解码器30可将反向过程应用于视频编码器20所应用的过程。为恢复Cbi及Cri，视频解码器30将反向3×3矩阵I3×3应用于共置Y样本(或4个亮度样本中与色度相关联的左上样本)。I3×3可由视频解码器30推断或在视频数据的位流中用信号发送。

视频解码器30可用反向3×3矩阵计算共置Y样本。对于Y分量的其它三个样本，可如下针对亮度分量使用前向向量(这还可应用于共置亮度样本)：

前向3×3矩阵(3×1ForVec)的第一行可由视频解码器30计算，或为避免确定前向3×3矩阵的第一行所需的计算，视频解码器30可基于在视频数据的位流中所接收的信号发送对前向3×3矩阵的第一行进行解码。如果视频解码器30基于在视频数据的位流中所接收的信号发送对前向3×3矩阵的第一行进行解码，那么可能不需要用信号发送反向3×3矩阵的第一行。

应理解，上文针对视频编码器20及视频解码器30所描述的操作可能不会如上文所描述的始终耦合，且视频编码器20(或将应用前向处理的任何装置)或视频解码器30(或将应用反向处理的任何装置)可应用替代过程。

在一些实例中，例如使用7×7矩阵(针对4:2:0状况)将矩阵计算应用于2×2亮度样本块及对应色度样本(4:2:0域中的一个Cb、一个Cr样本，及4:2:2域中的两个Cb、两个Cr样本)，且在解码器侧用信号发送(完全或部分地)或导出反向矩阵以恢复输入域中的样本。在一些实例中，当使用3×3矩阵以将颜色-空间转换应用于4:4:4内容时，可将3×3矩阵应用于每一Y-Cb-Cr三元组，且可通过导出可应用于六元组(sextuplet)Y1-Y2-Y3-Y4-Cb-Cr的不同矩阵(例如6×6矩阵)而将其应用于4:2:0内容，其中Y1-Y2-Y3-Y4表示四个亮度样本，且Cb及Cr表示对应色度样本分量。可使用预定算法从3×3矩阵导出此6×6矩阵，且可单独地指定所述矩阵。此矩阵的反向矩阵可被用信号发送到解码器，且在解码器处导出。以此方式，YCbCr样本无需进行上取样，且可直接在4:2:0域中处理。

视频解码器30可经配置以执行Cbi及Cri重构。为恢复Cbi及Cri，视频解码器30可将反向3×3矩阵应用于共置Y样本(或4个亮度样本中与色度相关联的左上样本)。以下代码说明视频解码器30可如何实施此技术的实例。

Cbi[j*widthC+i]＝iClip((3x3Mat[1][0]*Yo[2*j*width+2*i]+3x3Mat[1][1]*Cbo[j*widthC+i]+3x3Mat[1][2]*Cro[j*widthC+i]+rOffset)>>log2Den,0,max_v)；

Cri[j*widthC+i]＝iClip((3x3Mat[2][0]*Yo[2*j*width+2*i]+3x3Mat[2][1]*Cbo[j*widthC+i]+3x3Mat[2][2]*Cro[j*widthC+i]+rOffset)>>log2Den,0,max_v)；

其中3×3Mat[3][3]为CRI的整数反向3×3矩阵，>>为向右移位位操作，且iClip为第一自变量到第二自变量所给定的最小值及第三自变量所给定的最大值的剪裁函数。在上文实例中，widthC为色度样本中的图片的宽度，且width为亮度样本中的图片的宽度。

视频解码器30可应用舍入偏移以获得较佳效能。视频解码器30可如下计算舍入偏移：

rOffset＝0；

if(log2Den>0){

rOffset＝1<<(log2Den-1)；

}

其中log2Den为3×3矩阵的分母的log2。max_v(剪裁操作中的最大值)为输入/输出位深度与递增位深度(inc_bd)的函数，以供获得较佳精确度，可如下：

inc_bd＝4；

max_v＝(1<<(inputBitdepth+inc_bd))-1；

如上文所介绍，视频解码器30可计算前向3×3矩阵的第一行。以下代码说明视频解码器30如何实施此用于计算“非共置”亮度样本的前向3×3矩阵系数(3×1ForVec)的技术的实例。向量(3×1ForVec)对应于前向3×3矩阵的第一行。

c1＝3x3Mat[1][1]*3x3Mat[2][2]-3x3Mat[2][1]*3x3Mat[1][2]；

c2＝3x3Mat[0][1]*3x3Mat[2][2]-3x3Mat[2][1]*3x3Mat[0][2]；

c3＝3x3Mat[0][1]*3x3Mat[1][2]-3x3Mat[1][1]*3x3Mat[0][2]；

offset＝1<<(2*log2Den-1)；

d＝(3x3Mat[0][0]*c1-3x3Mat[1][0]*c2+3x3Mat[2][0]*c3+offset)>>(2*log2Den)；

3x1ForVec[0]＝floor(c1/d+0.5)；

3x1ForVec[1]＝-floor(c2/d+0.5)；

3x1ForVec[2]＝floor(c3/d+0.5)；

其中floor(.)为向下舍入操作。

视频解码器30可经配置以恢复亮度样本。以下代码说明视频解码器30可如何实施从‘经重构’色度样本(Cbi,Cri)恢复亮度样本的此技术的实例，即，在应用反向3×3矩阵及前向3×3矩阵的第一行之后的色度样本。

Yi[(2*j)*width+(2*i)]＝iClip((Y0-3x1ForVec[1]*Cb-3x1ForVec[2]*Cr)/3x1ForVec[0],0,max_v)；

Yi[(2*j)*width+(2*i+1)]＝iClip((Y1-3x1ForVec[1]*Cb-3x1ForVec[2]*Cr)/3x1ForVec[0],0,max_v)；

Yi[(2*j+1)*width+(2*i)]＝iClip((Y2-3x1ForVec[1]*Cb-3x1ForVec[2]*Cr)/3x1ForVec[0],0,max_v)；

Yi[(2*j+1)*width+(2*i+1)]＝iClip((Y3-3x1ForVec[1]*Cb-3x1ForVec[2]*Cr)/3x1ForVec[0],0,max_v)；

其中，

Y0＝Yo[(2*j)*width+(2*i)]<<log2Den；

Y1＝Yo[(2*j)*width+(2*i+1)]<<log2Den；

Y2＝Yo[(2*j+1)*width+(2*i)]<<log2Den；

Y3＝Yo[(2*j+1)*width+(2*i+1)]<<log2Den；

且

Cb＝Cbi[j*widthC+i]

Cr＝Cri[j*widthC+i]

且width为亮度样本中的图片的宽度。

本发明的所提议技术可用于在不同于输入数据的原始颜色空间的颜色空间中进行处理的算法中。

在一些实例中，呈YCbCr 4:2:0表示的视频数据的动态范围剪裁/固定可应用于RGB4:4:4表示中。因此，首先应用色度上取样到4:4:4，继之以3×3矩阵，其中强调RGB 4:4:4表示中的剪裁/固定，继之以反向3×3矩阵及从4:4:4表示到4:2:0的下取样。本发明的实例可允许省略上取样及下取样处理。

在一些实例中，可将利用滤波(例如去噪声)、调整大小或重缩放的某些过程应用于RGB 4:4:4表示中。因此，首先应用于4:4:4的色度上取样，继之以3×3矩阵，其中强调RGB4:4:4表示中的滤波，继之以反向3×3矩阵及从4:4:4表示到4:2:0的下取样。本发明的实例可允许省略上取样及下取样处理，且在经子取样RGB域中实现滤波。具有从ITU-R BT.709的YCbCr到RGB的转换的这些过程的实例在图3中描绘，用于针对以下矩阵定义的前向及反向转换：

M3x3＝[1.000000 0.000000 1.574800；1.000000 -0.187330 -0.468130；1.000000 1.8556300 0.000000]；

I3x3＝[0.212600 0.715200 0.072200；-0.114572 -0.385428 0.500000；0.500000 -0.454153 -0.045847]；

应注意，例如SDR到HDR转换的不同类型的转换可利用不同矩阵值。

图5为绘示被应用于呈YCbCr 4:2:0格式的视频数据的RGB域滤波的流程图。尽管图5及相关联描述总体上描述解码器侧处理，但应理解，还可由视频编码装置应用相同技术。在图5的实例中，描绘YCbCr及RGB的数据块的不同大小反映空间分辨率的差。举例来说，Y数据具有Cb及CR数据的四倍分辨率，且G数据具有B及R数据的四倍分辨率。类似地，Y'数据具有Cb'及Cr'数据的四倍分辨率，且G'数据具有B'及R'数据的四倍分辨率。根据图5的技术，视频处理装置使用本发明的技术接收Y、Cb及Cr视频数据(130)，且对数据执行前向转换(132)。在执行前向转换之后，视频处理装置输出R、G及B数据(134)。视频处理装置对R、G及B数据执行滤波(136)，且输出经滤波R、G及B数据(138)，在图5中表示为R'、G'及B'。滤波可例如包含去噪声、修匀、锐化或其它类型的滤波中的一或多者。视频处理装置对经滤波R、G及B数据执行反向转换(140)，且输出经滤波Y、Cb及Cr视频数据，在图5的实例中表示为Y'、Cb'及Cr'。

根据本发明的一个实例技术，视频编码器20或与视频编码器20结合的预处理或后处理装置可经配置以产生视频数据的当前图片的第一版本。当前图片的第一版本可根据例如4:2:0取样格式的取样格式进行格式化，在所述取样格式中，第一分量(例如第一色度分量)及第二分量(例如第二色度分量)相比第三分量(例如亮度分量)具有较少样本。当前图片的第一版本可包含第一分量的样本(例如上文介绍的Cbi)、第二分量的样本(例如上文介绍的Cri)及第三分量的样本(例如上文介绍的Yi)。第一分量的样本(例如Cbi)及第二分量的样本(例如Cri)可共置，且第三分量的样本(例如Yi)可对应于第一分量的样本(例如Cbi)及第二分量的样本(例如Cri)。

视频编码器20可使用上文等式4，通过将矩阵(例如上文介绍的M3×3)应用于三元组(例如Yi,Cbi,Cri)，来确定例如第一分量的经变换样本(例如上文介绍的Cbo)、第二分量的经变换样本(例如上文介绍的Cro)及第三分量的经变换样本(例如上文介绍的Yo)。视频编码器20可将第一分量的经变换样本(例如Cbo)、第二分量的经变换样本(例如Cro)及第三分量的经变换样本(例如Yo)包含在当前图片的第二版本中。视频编码器20可使用上文等式5，例如基于第一分量的经变换样本(例如Cbo)、第二分量的经变换样本(例如Cro)、第三分量的经变换样本(例如Yo)及矩阵的第一行(例如上文介绍的3×1ForVec)，确定第三分量的一组经变换样本(例如一组Yo样本)。第三分量的一组经变换样本(一组Yo样本)可包含第三分量(例如亮度分量)中的位于第三分量的第一经变换样本(例如Yo)右方、正下方及右下方的样本。视频编码器20可将第三分量的一组经变换样本包含在当前图片的第二版本中。

根据本发明的另一实例技术，视频解码器30或与视频解码器30结合的预处理或后处理装置可经配置以接收包含视频数据的经编码表示的位流。视频解码器30可基于所述位流重构视频数据的当前图片的第一版本。当前图片的第一版本可根据例如4:2:0取样格式的取样格式进行格式化，在所述取样格式中，第一分量(例如第一色度分量)及第二分量(例如第二色度分量)相比第三分量(例如亮度分量)具有较少样本。当前图片的第一版本可包含第一分量的样本(例如上文介绍的Cbo)、第二分量的样本(例如上文介绍的Cro)及第三分量的样本(例如上文介绍的Yo)，且第三分量的样本(例如Yo)可对应于第一分量的样本(例如Cbo)及第二分量的样本(例如Cro)。

视频解码器30可使用上文等式3，通过将第一矩阵(例如上文介绍的I3×3)应用于三元组(例如Yo、Cbo及Cro)，来确定例如第一分量的经变换样本(例如上文介绍的Cbi)、第二分量的经变换样本(例如上文介绍的Cri)及第三分量的经变换样本(例如上文介绍的Yi)。视频解码器30可将第一分量的经变换样本(Cbi)、第二分量的经变换样本(Cri)及第三分量的经变换样本(Yi)包含在当前图片的第二版本中。视频解码器30可使用上文等式6，基于第一分量的经变换样本(Cbi)、第二分量的经变换样本(Cri)、第三分量的经变换样本(Yi)及第二矩阵(例如上文介绍的3×1ForVec)的第一行，确定第三分量的一组经变换样本(一组Yi样本)。第三分量的一组经变换样本(一组Yi样本)可包含第三分量(例如亮度分量)的紧邻第三分量的经变换样本(Yi)的样本。视频解码器30可将第三分量的一组经变换样本包含在当前图片的第二版本中。

图6为绘示可实施本发明的技术的实例视频编码器20的框图。出于阐释的目的而提供图6，且不应将其视为对如本发明中广泛示范及描述的技术的限制。本发明的技术可应用于各种译码标准或方法。

处理电路包含视频编码器20，且视频编码器20经配置以执行本发明中所描述的实例技术中的一或多者。举例来说，视频编码器20包含集成电路，且图6中所绘示的各种单元可形成为与电路总线互连的硬件电路块。这些硬件电路块可为单独电路块或所述单元中的两者或两者以上可组合为共同硬件电路块。硬件电路块可形成为电力组件的组合，所述电力组件形成例如算术逻辑单元(ALU)、基本功能单元(EFU)的操作块，以及例如AND、OR、NAND、NOR、XOR、XNOR及其它类似逻辑块的逻辑块。

在一些实例中，图6中所绘示的单元中的一或多者可为在处理电路上执行的软件单元。在这些实例中，用于这些软件单元的对象代码存储在存储器中。操作系统可使视频编码器20检索对象代码并执行对象代码，这使视频编码器20执行实施实例技术的操作。在一些实例中，软件单元可为视频编码器20在启动时执行的固件。因此，视频编码器20为具有执行实例技术的硬件或具有在硬件上执行以特化执行所述实例技术的硬件的软件/固件的结构性组件。

在图6的实例中，视频编码器20包含预测处理单元200、视频数据存储器201、颜色重映射单元203、残差产生单元202、变换处理单元204、量化单元206、反量化单元208、反变换处理单元210、重构单元212、滤波器单元214、经解码图片缓冲器216及熵编码单元218。预测处理单元200包含帧间预测处理单元220及帧内预测处理单元226。帧间预测处理单元220可包含运动估计单元及运动补偿单元(未展示)。

视频数据存储器201可经配置以存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器201中的视频数据。经解码图片缓冲器216可为存储参考视频数据以供用于视频编码器20例如在帧内或帧间译码模式中编码视频数据的参考图片存储器。视频数据存储器201及经解码图片缓冲器216可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器201及经解码图片缓冲器216可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器201可与视频编码器20的其它组件一起在芯片上，或相对于那些组件来说在芯片外。视频数据存储器201可与图1的存储媒体19相同或是所述存储媒体的部分。

颜色重映射单元203重映射颜色信息。举例来说，颜色重映射单元203可应用本发明中所描述的技术，用于在无从4:2:0到4:4:4格式的上取样的情况下将颜色重映射应用于4:2:0内容。尽管在图6的实例中展示为视频编码器20的部分，但颜色重映射单元203的功能性还可由不同于视频编码器20的视频处理装置实施。

视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与大小相等的亮度CTB及图片的对应CTB相关联。作为编码CTU的部分，预测处理单元200可执行分割以将CTU的CTB分割成逐渐较小的块。所述较小块可为CU的译码块。举例来说，预测处理单元200可根据树结构分割与CTU相关联的CTB。

视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元200可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与亮度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。

帧间预测处理单元220可产生用于PU的预测性数据。作为产生用于PU的预测性数据的部分，帧间预测处理单元220对PU执行帧间预测。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。取决于PU是在I切片、P切片还是B切片中，帧间预测处理单元220可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元220并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用空间预测从相同帧内的先前经编码的相邻块而形成。如果PU在P切片中，那么帧间预测处理单元220可使用单向帧间预测以产生PU的预测性块。如果PU在B切片中，那么帧间预测处理单元220可使用单向或双向帧间预测以产生PU的预测性块。

帧内预测处理单元226可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元226可对I切片、P切片及B切片中的PU执行帧内预测。

为对PU执行帧内预测，帧内预测处理单元226可使用多个帧内预测模式来产生用于PU的多组预测性数据。帧内预测处理单元226可使用来自相邻PU的样本块的样本以产生用于PU的预测性块。对于PU、CU及CTU，假定从左到右、从上而下的编码次序，那么所述相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元226可使用各种数目个帧内预测模式，例如33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区的大小。

预测处理单元200可从由帧间预测处理单元220针对PU产生的预测性数据或由帧内预测处理单元226针对PU产生的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元200基于多组预测性数据的速率/失真度量而选择用于CU的PU的预测性数据。选定预测性数据的预测性块在本文中可被称作选定预测性块。

残差产生单元202可基于CU的译码块(例如亮度、Cb及Cr译码块)及CU的PU的选定预测性块(例如预测性亮度块、预测性Cb块及预测性Cr块)而产生CU的残差块(例如亮度、Cb及Cr残差块)。举例来说，残差产生单元202可产生CU的残差块，使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。

在一些实例中，变换处理单元204将CU的残差块分割成CU的TU的变换块。举例来说，变换处理单元204可执行四叉树分割以将CU的残差块分割成CU的TU的变换块。因此，TU可与亮度变换块及两个色度变换块相关联。CU的TU的亮度变换块及色度变换块的大小及定位可或可不基于CU的PU的预测块的大小及定位。被称为“残差四叉树”(RQT)的四叉树结构可包含与区中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。在一些实例中，CU的残差块不分割成TU。在这些实例中，CU的变换块与CU的残差块共同延伸。

变换处理单元204可通过将一或多个变换应用于残差数据(例如TU的变换块)来产生变换系数块。变换处理单元204可将各种变换应用于变换块。举例来说，变换处理单元204可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元204不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。

量化单元206可将系数块中的变换系数量化。量化单元206可基于量化参数(QP)值量化系数块。视频编码器20可通过调整QP值，来调整应用于系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比原始变换系数低的精度。

反量化单元208及反变换处理单元210可分别将反量化及反变换应用于系数块，以从系数块重构残差块。重构单元212可将经重构残差块与来自由预测处理单元200产生的一或多个预测性块的对应样本相加，以产生与TU相关联的经重构变换块。通过以此方式重构变换块，视频编码器20可重构CU的译码块。

滤波器单元214可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。经解码图片缓冲器216可在滤波器单元214对经重构译码块执行一或多个解块操作之后，存储经重构译码块。帧间预测处理单元220可使用含有经重构译码块的参考图片，以对其它图片的PU执行帧间预测。另外，帧内预测处理单元226可使用经解码图片缓冲器216中的经重构译码块来对与CU位于相同图片中的其它PU执行帧内预测。

熵编码单元218可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元218可从量化单元206接收系数块且可从预测处理单元200接收语法元素。熵编码单元218可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元218可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元218所产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的变换系数的值的数据。

图7为绘示经配置以实施本发明的技术的实例视频解码器30的框图。出于阐释的目的而提供图7，且其并不限制如本发明中所广泛示范及描述的技术。出于阐释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。

处理电路包含视频解码器30，且视频解码器30经配置以执行本发明中所描述的实例技术中的一或多者。举例来说，视频解码器30包含集成电路，且图7中所绘示的各种单元可形成为与电路总线互连的硬件电路块。这些硬件电路块可为单独电路块或所述单元中的两者或两者以上可组合为共同硬件电路块。硬件电路块可形成为电力组件的组合，所述电力组件形成例如算术逻辑单元(ALU)、基本功能单元(EFU)的操作块，以及例如AND、OR、NAND、NOR、XOR、XNOR及其它类似逻辑块的逻辑块。

在一些实例中，图7中所绘示的单元中的一或多者可为在处理电路上执行的软件单元。在这些实例中，用于这些软件单元的对象代码存储在存储器中。操作系统可使视频解码器30检索对象代码并执行对象代码，这使视频解码器30执行实施实例技术的操作。在一些实例中，软件单元可为视频解码器30在启动时执行的固件。因此，视频解码器30为具有执行实例技术的硬件或具有在硬件上执行以特化执行所述实例技术的硬件的软件/固件的结构性组件。

在图7的实例中，视频解码器30包含熵解码单元250、视频数据存储器251、预测处理单元252、反量化单元254、反变换处理单元256、重构单元258、滤波器单元260、经解码图片缓冲器262及颜色重映射单元263。预测处理单元252包含运动补偿单元264及帧内预测处理单元266。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频数据存储器251可存储待由视频解码器30的组件解码的经编码视频数据(例如经编码视频位流)。可例如从计算机可读媒体16、例如从例如相机的本地视频源，经由视频数据的有线或无线网络通信，或通过存取物理数据存储媒体来获得存储在视频数据存储器251中的视频数据。视频数据存储器251可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器262可为存储参考视频数据以供用于视频解码器30在例如帧内或帧间译码模式中解码视频数据，或以供输出的参考图片存储器。视频数据存储器251及经解码图片缓冲器262可由多种存储器装置中的任一者形成，例如动态DRAM，包含SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器251及经解码图片缓冲器262可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器251可与视频解码器30的其它组件一起在芯片上，或相对于那些组件来说在芯片外。视频数据存储器251可与图1的存储媒体28相同或为其部分。

视频数据存储器251接收并存储位流的经编码视频数据(例如NAL单元)。熵解码单元250可从视频数据存储器251接收经编码视频数据(例如NAL单元)，且可解析NAL单元以获得语法元素。熵解码单元250可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元252、反量化单元254、反变换处理单元256、重构单元258及滤波器单元260可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元250可执行与熵编码单元218的过程大体上互逆的过程。

除了从位流获得语法元素之外，视频解码器30还可对CU执行重构操作。为对CU执行重构操作，视频解码器30可重构CU的残差块。作为执行重构操作的部分，反量化单元254可将系数块反量化(即，解量化)。在反量化单元254将系数块反量化之后，反变换处理单元256可将一或多个反变换应用于系数块以便产生残差块。举例来说，反变换处理单元256可将反DCT、反整数变换、反卡洛南-洛伊(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。

如果例如PU的块使用帧内预测进行编码，那么帧内预测处理单元266可执行帧内预测以产生块的预测性块。帧内预测处理单元266可使用帧内预测模式来基于空间相邻块中的样本产生块的预测性块。帧内预测处理单元266可基于从位流获得的一或多个语法元素确定块的帧内预测模式。

如果例如PU的块使用帧间预测进行编码，那么熵解码单元250可确定块的运动信息。运动补偿单元264可基于块的运动信息而确定一或多个参考块。运动补偿单元264可基于一或多个参考块产生块的预测性块(例如预测性亮度、Cb及Cr块)。

重构单元258可使用残差块(例如亮度、Cb及Cr残差块)及预测性块(例如亮度、Cb及Cr块)来重构CU的译码块(例如亮度、Cb及Cr译码块)。举例来说，重构单元258可将所述残差块的样本与所述预测性块的对应样本相加以重构CU的译码块。

滤波器单元260可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储在经解码图片缓冲器262中。经解码图片缓冲器262可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器262中的块对其它CU的PU执行帧内预测或帧间预测操作。

颜色重映射单元263可将颜色重映射应用于经重构图片。举例来说，颜色重映射单元263可应用本发明中所描述的技术，用于在无从4:2:0到4:4:4格式的上取样的情况下将颜色重映射应用于4:2:0内容。尽管在图7的实例中展示为视频解码器30的部分，但颜色重映射单元263的功能性还可由不同于视频解码器30的视频处理装置实施。

图8为绘示本发明中所描述的实例视频解码技术的流程图。将参考通用视频处理装置描述图8的技术，例如但不限于视频解码器30或位于视频解码器30外部的颜色映射单元。

在图8的实例中，视频处理装置接收包含视频数据的经编码表示的位流(302)。视频处理装置基于位流重构视频数据的当前图片的第一版本(304)。当前图片的第一版本可根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少。取样格式可例如为4:2:0格式。当前图片的第一版本可包含第一分量的样本、第二分量的样本及第三分量的样本。第一分量的样本及第二分量的样本可共置，且第三分量的样本可对应于第一及第二分量的样本。

视频处理装置通过将第一矩阵应用于包含第一分量的样本、第二分量的样本及第三分量的样本的三元组确定第一分量的经变换样本、第二分量的经变换样本及第三分量的经变换样本(306)。视频处理装置将第一分量的经变换样本、第二分量的经变换样本及第三分量的经变换样本包含在当前图片的第二版本中(308)。视频处理装置基于第一分量的经变换样本、第二分量的经变换样本、第三分量的经变换样本及第二矩阵的第一行确定第三分量的一组经变换样本(310)。第三分量的一组经变换样本可包含第三分量中位于第二颜色分量的第一经变换样本右方、正下方及右下方的样本。第一矩阵可为反向矩阵，且第二矩阵可为前向矩阵，其中反向矩阵为前向矩阵的反量。视频处理装置将第三分量的一组经变换样本包含在当前图片的第二版本中(312)。

出于说明的目的，本发明的某些方面已经关于HEVC标准的扩展而描述。然而，本发明中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。

如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，适用时，视频译码可指视频编码或视频解码。在本发明中，短语“基于”可指示仅仅基于、至少部分地基于，或以某一方式基于。本发明可使用术语“视频单元”或“视频块”或“块”以是指一或多个样本块及用以译码样本的一或多个块的样本的语法结构。实例视频单元类型可包含CTU、CU、PU、TU、宏块、宏块分割区等等。在一些情形中，PU的论述可与宏块或宏块分割区的论述互换。视频块的实例类型可包含译码树块、译码块及其它类型的视频数据块。

本发明的技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、互联网流式处理视频传输(例如经由HTTP的动态自适应流式处理(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如并非所有所描述动作或事件为实践所述技术所必要)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非按顺序执行动作或事件。在本发明中，例如“第一”、“第二”、“第三”等等的序数术语未必为次序内的指示符，而是可仅仅用以区分同一事物的不同实例。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含例如根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理电路存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

以实例说明而非限制，这些计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、快闪存储器、高速缓冲存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体中的一或多者。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源来传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘用激光以光学方式重现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

本发明中所描述的功能性可由固定功能及/或可编程处理电路执行。举例来说，指令可由固定功能及/或可编程处理电路执行。此处理电路可包含一或多个处理器，例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供在经配置用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。处理电路可以各种方式耦合到其它组件。举例来说，处理电路可经由内部装置互连、有线或无线网络连接或另一通信媒体耦合到其它组件。

本发明的技术可实施于广泛多种装置或设备中，包含无线手机、集成电路(IC)或一组IC(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合在编解码器硬件单元中，或由互操作性硬件单元的集合而结合合适软件及/或固件来提供，所述硬件单元包含如上文所描述的一或多个处理器。

各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (20)

1.一种处理视频数据的方法，所述方法包括：

接收包括所述视频数据的经编码表示的位流；

基于所述位流重构所述视频数据的当前图片的第一版本，其中：

所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，

所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且

所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本，

通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；

将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中；

基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及

将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

2.根据权利要求1所述的方法，其中所述第一分量包括第一色度分量，所述第二分量包括第二色度分量，且所述第三分量包括亮度分量。

3.根据权利要求1所述的方法，其中所述第一分量的所述样本及所述第二颜色分量的所述样本与所述第三分量的所述样本共置。

4.根据权利要求1所述的方法，其进一步包括：

计算所述第二矩阵的所述第一行。

5.根据权利要求1所述的方法，其进一步包括：

接收所述位流中的指示所述第二矩阵的所述第一行的数据。

6.根据权利要求1所述的方法，其中所述第一矩阵及所述第二矩阵为3×3矩阵，且其中所述第二矩阵为所述第一矩阵的反量。

7.根据权利要求1所述的方法，其中所述当前图片的所述第一版本处于YCbCr颜色空间中，且所述当前图片的所述第二版本处于RGB颜色空间中。

8.根据权利要求1所述的方法，其中所述当前图片的所述第一版本处于具有第一动态范围的YCbCr颜色空间中，且所述当前图片的所述第二版本处于具有第二动态范围的YCbCr颜色空间中。

9.根据权利要求1所述的方法，其中所述取样格式包括4:2:0格式。

10.一种用于处理视频数据的装置，所述装置包括：

存储器，其经配置以存储包括所述视频数据的经编码表示的位流；及

一或多个处理器，其经配置以进行以下操作：

基于所述位流重构所述视频数据的当前图片的第一版本，其中：

所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，

所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且

所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本，

通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；

将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中；

基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及

将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

11.根据权利要求10所述的装置，其中所述第一分量包括第一色度分量，所述第二分量包括第二色度分量，且所述第三分量包括亮度分量。

12.根据权利要求10所述的装置，其中所述第一分量的所述样本及所述第二颜色分量的所述样本与所述第三分量的所述样本共置。

13.根据权利要求10所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：

计算所述第二矩阵的所述第一行。

14.根据权利要求10所述的装置，其中所述一或多个处理器经进一步配置以进行以下操作：

接收所述位流中的指示所述第二矩阵的所述第一行的数据。

15.根据权利要求10所述的装置，其中所述第一矩阵及所述第二矩阵为3×3矩阵，且其中所述第二矩阵为所述第一矩阵的反量。

16.根据权利要求10所述的装置，其中所述当前图片的所述第一版本处于YCbCr颜色空间中，且所述当前图片的所述第二版本处于RGB颜色空间中。

17.根据权利要求10所述的装置，其中所述当前图片的所述第一版本处于具有第一动态范围的YCbCr颜色空间中，且所述当前图片的所述第二版本处于具有第二动态范围的YCbCr颜色空间中。

18.根据权利要求10所述的装置，其中所述装置包括无线通信装置，所述装置进一步包括经配置以接收所述视频数据的所述经编码表示的接收器。

19.根据权利要求18所述的装置，其中所述无线通信装置包括电话手机，且其中所述接收器经配置以根据无线通信标准解调包括所述经编码视频数据的信号。

20.一种计算机可读存储媒体，其存储指令，所述指令在由一或多个处理器执行时使所述一或多个处理器进行以下操作：

接收包括视频数据的经编码表示的位流；

基于所述位流重构所述视频数据的当前图片的第一版本，其中：

所述当前图片的所述第一版本是根据取样格式进行格式化，在所述取样格式中，第一分量及第二分量的样本相比第三分量的样本较少，

所述当前图片的所述第一版本包含所述第一分量的样本、所述第二分量的样本及所述第三分量的样本，且

所述第三分量的所述样本对应于所述第一分量的所述样本及所述第二分量的所述样本，

通过将第一矩阵应用于包括所述第一分量的所述样本、所述第二分量的所述样本及所述第三分量的所述样本的三元组确定所述第一分量的经变换样本、所述第二分量的经变换样本及所述第三分量的经变换样本；

将所述第一分量的所述经变换样本、所述第二分量的所述经变换样本及所述第三分量的所述经变换样本包含在所述当前图片的第二版本中；

基于所述第一分量的所述经变换样本、所述第二分量的所述经变换样本、所述第三分量的所述经变换样本及第二矩阵的第一行确定所述第三分量的一组经变换样本，所述第三分量的所述一组经变换样本包含所述第三分量的紧邻所述第三分量的所述经变换样本的样本；及

将所述第三分量的所述一组经变换样本包含在所述当前图片的所述第二版本中。

Images