CN107690808A - 可缩放视频译码中色域缩放性参数及表的推导 - Google Patents

可缩放视频译码中色域缩放性参数及表的推导 Download PDF

Info

Publication number
CN107690808A
CN107690808A CN201680032771.6A CN201680032771A CN107690808A CN 107690808 A CN107690808 A CN 107690808A CN 201680032771 A CN201680032771 A CN 201680032771A CN 107690808 A CN107690808 A CN 107690808A
Authority
CN
China
Prior art keywords
cut section
value
rectangular cubic
pixel value
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680032771.6A
Other languages
English (en)
Other versions
CN107690808B (zh
Inventor
阿达许·克里许纳·瑞玛苏布雷蒙尼安
李翔
罗哈斯 霍埃尔·索赖
马尔塔·卡切维奇
李圣远
德米特罗·鲁萨诺夫斯基
德内·布达伊哲·桑斯利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107690808A publication Critical patent/CN107690808A/zh
Application granted granted Critical
Publication of CN107690808B publication Critical patent/CN107690808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于将色域缩放性CGS参数及表用于可缩放视频译码SVC中来识别及减少视频中伪影的发生的技术。对色空间中的像素值的每一分割区执行CGS映射表的推导。将像素值域分裂成分割区，且独立地优化每一分割区。用于CGS的色彩预测技术可由视频编码器及/或视频解码器使用以在视频数据的较低层的色域不同于所述视频数据的较高层的色域时产生层间参考图片。当将映射值用作为用于增强层块的层间预测参考时，伪影可出现在序列的一些帧中。视频编码器可识别潜在地含有此些伪影的块，且停用那些经识别块中的层间预测。

Description

可缩放视频译码中色域缩放性参数及表的推导
相关申请案
本申请案要求2015年6月8日申请的美国临时申请案第62/172,779号的权益，所述申请案的全部内容特此以引用的方式并入。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能型电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及此些标准的扩展中所描述的技术。视频装置可通过实施此些视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块，视频块还可被称作树型块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)的切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量来编码，且残余数据指示经译码块与预测性块之间的差异。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。最初布置成二维阵列的经量化系数可经扫描以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说，本发明描述用于将色域缩放性(CGS)参数及表用于可缩放视频译码(SVC)中来识别及减少视频中伪影的发生的技术。对色空间(例如，YUV域)中的像素值的每一分割区可执行CGS映射表的推导。将像素色彩域(即，指定给定特定色彩容器的特定色彩的YUV或XYZ三色激励值的三维(3D)域)分裂成矩形立方体，且通过优化每一矩形立方体来获得CGS参数。每一立方体被独立地优化。属于两个邻近立方体且具有小的值差的两个像素值可具有所述两个像素值的CGS映射表中的映射值的大的差。用于CGS的色彩预测技术可由视频编码器及/或视频解码器使用以在用于视频数据的较低层的色域或动态范围不同于用于所述视频数据的较高层的色域或动态范围时产生层间参考图片。当将映射值用作为用于增强层块的层间预测参考时，伪影可出现在序列的一些帧中。根据本发明中所描述的所述技术，视频编码器可识别可能潜在地含有此些伪影的块，且停用那些经识别块中的层间预测。
在一个实例中，本发明涉及一种编码视频数据的方法。所述方法包括：接收包括多个视频块的视频数据，所述多个视频块包括色空间中的多个像素值；获得色域缩放性(CGS)参数，所述获得包括将所述色空间分裂成多个矩形立方体分割区，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值；识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块；对所述经识别块停用层间预测模式；及使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块。
在另一实例中，本发明描述一种用于处理数据的装置，所述装置包括：存储器，其经配置以存储视频数据；及一或多个处理器，所述一或多个处理器与所述存储器通信且经配置以进行以下操作：接收包括多个视频块的所述视频数据，所述多个视频块包括色空间中的多个像素值；经由所述色空间到多个矩形立方体分割区的分裂来获得色域缩放性(CGS)参数，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值；识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块；对所述经识别块停用层间预测模式；及使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块。
在另一实例中，本发明描述一种用于编码视频数据的装置，所述装置包括：用于接收包括多个视频块的视频数据的装置，所述多个视频块包括色空间中的多个像素值；用于获得色域缩放性(CGS)参数的装置，所述获得包括将所述色空间分裂成多个矩形立方体分割区，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；用于识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值的装置；用于识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块的装置；用于对所述经识别块停用层间预测模式的装置；及用于使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块的装置。
在另一实例中，本发明描述一种非暂时性计算机可读存储媒体，包含存储在其上的指令，所述指令在经执行时使其至少一个处理器进行以下操作：接收包括多个视频块的视频数据，所述多个视频块包括色空间中的多个像素值；经由所述色空间到多个矩形立方体分割区的分裂来获得色域缩放性(CGS)参数，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值；识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块；对所述经识别块停用层间预测模式；及使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块。
在以下随附图式及实施方式中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书显而易见。
附图说明
图1为说明可经配置以执行本发明的技术的实例视频编码及解码系统的框图。
图2为展示三个不同维度中的缩放性的实例的概念说明。
图3为展示可缩放视频译码位流的实例结构的概念说明。
图4为展示按位流次序的实例可缩放视频译码存取单元的概念说明。
图5为说明实例HEVC的可缩放视频译码扩展(SHVC)编码器的框图。
图6为说明关于样本视频序列的实例色域的曲线。
图7为说明从高清晰度(HD)色域BT.709到超高清晰度(UHD)色域BT.2020的转换的框图。
图8为说明包含色彩预测处理单元的色域可缩放译码器的框图，当基础层色域与增强层色域不同时，色彩预测处理单元可产生层间参考图片。
图9(a)及图9(b)为展示色域缩放性的实例3D查找表的概念说明。
图10为说明HDR数据的实例概念的概念图。
图11为说明实例视频编码器的框图，所述实例视频编码器可实施用于在将色域缩放性用于多层视频译码中时识别及消除伪影的技术。
图12为说明视频解码器的实例的框图，所述视频解码器可实施用于在将色域缩放性用于多层视频译码中时识别及消除伪影的技术。
图13为展示色空间的矩形立方体分割区的概念说明。
图14为展示基础层及增强层的色空间的矩形立方体分割区的概念说明。
图15为说明编码视频数据的实例操作的流程图。
图16为说明识别及减少经编码视频中的伪影的实例操作的流程图。
图17为说明识别及减少经编码视频中的伪影的实例操作的流程图。
图18为说明修改CGS映射的实例操作的流程图。
图19为说明修改CGS映射的实例操作的流程图。
图20为说明更改CGS分割区数目的实例操作的流程图。
具体实施方式
本发明描述用于改进色域缩放性(CGS)参数及表的推导的技术。在一些实例中，本发明描述编码器变化(例如某些类型块的检测及停用那些块中的层间预测)，且还描述CGS表中的分割区数目的更新。公开了在将色域缩放性的三维(3D)色彩预测用于多层视频译码中时的某些块中的伪影识别及伪影的减少。本发明的多层视频译码技术可符合高效率视频译码(HEVC)标准，其包含可缩放视频译码扩展、多视图视频译码扩展、3D视频译码(即，多视图视频译码加深度)扩展或HEVC的其它多层视频译码扩展中的任一个。然而，本发明的技术并非如此受限，且可与任何可缩放视频译码标准或系统结合使用。本发明的技术可由视频编码器及/或视频解码器使用以在视频数据的较低层的色域不同于视频数据的较高层的色域时产生层间参考图片。在一些实例中，还可在视频数据的较低层的位深度不同于视频数据的较高层的位深度时使用本发明的技术。
色域包括可针对图像再现(例如，在视频数据的图片、切片、块或层中)的色彩的完整范围。常规地，在多层视频译码中，视频数据的较低层(例如，基础层)及视频数据的较高层(例如，增强层)包含在同一色域(例如，高清晰度(HD)色域BT.709)中的色彩数据。在此状况下，视频编码器及/或视频解码器可产生视频数据的较高层的层间参考图片，作为视频数据的较低层的共置参考图片的增频采样版本。在一些实例中，视频数据的较低层的共置参考图片可直接用作视频数据的较高层的层间参考图片。
然而，在一些实例中，视频数据的较低层可包含第一色域(例如，BT.709色彩容器)中的色彩数据，且视频数据的较高层可包含不同的第二色域中(例如，色域BT.2020色彩容器中)的色彩数据。在这个实例中，为产生视频数据的较高层(例如，增强层)的层间参考图片，视频编码器及/或视频解码器可首先执行色彩预测，以将视频数据的较低层的第一色域中的参考图片的色彩数据转换到视频数据的较高层的第二色域。
视频编码器及/或视频解码器可使用色域缩放性的3D查找表来执行色彩预测。在一些实例中，可为色彩分量中的每一个，例如，亮度(Y)分量、第一色度(Cr)分量及第二色度(Cb)分量，产生单独的3D查找表。3D查找表中的每一个包含亮度(Y)维度、第一色度(Cr)维度及第二色度(Cb)维度，且使用三个独立色彩分量(Y,Cr,Cb)来索引。在本发明中，可互换使用术语“3D查找表”及“CGS映射表”来描述用于执行色域缩放性的色彩预测的查找表。
在某一实例中，3D查找表是对称的，使得3D查找表对于亮度分量、第一色度分量及第二色度分量具有相同大小。另外，3D查找表经平衡，使得3D查找表的每一维度的大小相同。此可导致具有高计算复杂度及高发信成本的大的表大小。举例来说，表大小可达到9×9×9或17×17×17。
在2014年10月10日申请的美国专利申请案第14/512,177号(代理人案号1212-712US01/140193)中，描述了使视频编码器及/或视频解码器能够产生不对称及/或不平衡3D查找表，使得3D查找表对于亮度分量具有与对于第一色度分量及第二色度分量不同的大小的技术。视频编码器及/或视频解码器可通过将亮度分量分割成与第一色度分量及第二色度分量不同的数目个片段来产生此不对称及/或不平衡3D查找表。在一实例中，3D表大小可达到8×2×2。
视频编码器可编码针对色域缩放性所产生的3D查找表的分割区信息及/或色值。视频解码器可解码分割区信息及/或色值以产生3D查找表，以便执行色域缩放性。3D查找表可包含不对称及/或不平衡的3D查找表。举例来说，视频解码器及/或视频编码器可通过以下操作而产生对第一色度分量及第二色度分量进行较粗糙分割及对亮度分量进行较精细分割的3D查找表：根据基础分割区值(例如，用于3D查找表的最大分裂深度)将色彩分量中的每一个分割成若干八分区，接着基于亮度分割区值而进一步分割亮度分量的八分区中的每一个。以此方式，将3D查找表的色度分量分割成较少八分区(即，进行较粗糙分割)，且将3D查找表的亮度分量分割成较多八分区(即，进行较精细分割)。
可基于基础分割区值或亮度分割区值中的一或多个将色彩分量中的每一个分割成三维色空间中的一或多个八分区。在本发明中，术语“八分区”经定义为包含八个顶点的三维区域。
另外，基于3D查找表的第一或第二色度分量中的至少一个被分割成多于一个八分区(即，基础分割区值大于一)，视频编码器可将用于色度分量中的一个的分割边界发信到视频解码器。分割边界界定色度分量中的一个到两个或更多个八分区的不均匀分割。换句话说，色度分量中的一个或两个可不分割成两个或更多个均匀或同等大小的八分区。在此情况下，对于色度分量中的给定分量，八分区中的至少一个具有与一或多个其它八分区不同的大小。在一实例中，视频编码器可基于色度分量中的一个被分割成多于一个八分区的条件而仅发信分割边界。否则，分割区边界是不必要的且未发信到视频解码器。
视频编码器及/或视频解码器可基于亮度、第一色度及第二色度色彩分量中的每一个的八分区数目及八分区中的每一个的色彩分量值而产生3D查找表。如上所述，在一些状况下，用于3D查找表的色彩分量中的至少一个的八分区数目还可由视频编码器发信到视频解码器。为了视频解码器确定3D查找表中的色值，用于3D查找表中的色值的线性色彩映射函数的色彩映射系数是由视频编码器发信到视频解码器。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域，且色彩映射系数为视频数据的较低层及较高层的色彩分量之间的加权因数。对于色彩分量中的每一个，色彩映射系数中的一个可为定义视频数据的较低层及较高层的相同色彩分量之间的加权因数的关键系数。
线性色彩映射函数的色彩映射系数可导出为浮点值。在于位流中发信色彩映射系数前，可将浮点值转换到整数值。虽然整数值可能比不上浮点值准确，但整数值更易于发信，且整数运算在计算代价上小于浮点运算。转换可基于3D查找表的输入位深度或输出位深度中的至少一个而使用整数值的位深度。另外，色彩映射系数的值可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一个的值而限于在给定范围内。
可预测色彩映射系数中的一或多个，使得色彩映射系数的原始值与色彩映射系数的预测值之间的残余值在位流中编码。举例来说，对于用于色彩分量中的每一个的第一八分区，可基于预定义的固定值来预测线性色彩映射函数的色彩映射系数。在一个实例中，可基于等于预定义的非零值的预测值来预测线性色彩映射函数的关键系数，且可基于等于零的预测值来预测任何剩余色彩映射系数。在这个实例中，可基于来自至少一个先前八分区(例如，第一八分区)的预测值来预测色彩分量中的每一个的任何剩余八分区的色彩映射系数。在一些状况下，可基于确定的量化值来量化色彩映射系数的残余值。视频编码器可发信确定的量化值以供视频解码器执行反量化以恰当地解码色彩映射系数。
本发明的技术涉及使用CGS映射表及参数来确定译码或预测性块是否有可能在于不同层(例如，基础层与增强层)之间使用层间预测的情况下具有伪影。编码器可使用此些层之间的层间预测，且可在翻译色彩像素的不同表示(例如，不同色域)之间的色值(即，色彩预测)时利用CGS映射(其可包含用于色域缩放性的3D查找表)。层间预测可包含译码单元(CU)层级合并、预测单元(PU)层级合并、跳过模式、与层间预测候选有关的残余预测。
为达成高译码效率，特定色彩预测或色彩映射在产生层间参考图片时有帮助。对色空间(例如，YUV域)中的像素色值的每一分割区执行由视频编码器进行的CGS映射表的推导。像素色值域—指定给定特定色彩容器的特定色彩的YUV或XYZ三色激励值的三维(3D)域—被分裂成矩形立方体，且通过最小化属于每一个立方体的像素色值的均方来获得CGS参数。像素色值域还可包含指定特定色彩的XYZ三色激励值。因此，可独立地优化每一立方体。此可在CGS映射表中创建映射，其中属于两个邻近分割区的两个像素色值彼此间具有小差异，但所述两个像素色值的映射值较大。如果编码器将使用此些像素值来执行层间预测，那么所得块可包含伪影，例如轮廓伪影。此些伪影可通常出现在可缩放经译码数据(SCD)中，其中增强层数据为高动态范围(HDR)数据，且基础层为从HDR内容进行人工分级的标准动态范围(SDR)数据。人工分级可用以指代通过配色师而非通过(例如)自动算法将HDR内容分级以占据较小体积的技术。在本发明中，可互换地使用术语“分割区”、“八分区”、“片段”及“立方体”来描述3D查找表的色彩分量的经分割区域。
根据本发明的技术，视频编码器可识别三维色空间中的邻近矩形立方体的一边界(或多个边界)上的像素色值(或多对值)。对于SCD增强层的每一块(例如，PU或CU)，视频译码装置可基于SCD基础层而检测块在使用层间预测进行编码的情况下是否将含有伪影。在检测到潜在伪影的情况下，视频译码装置可采取一或多个步骤来确保通过编码过程不会产生前述伪影。
根据一个实例，检测潜在地含有伪影的块，且在编码器速率-失真(RD)决策中停用层间预测。
根据另一实例，对于矩形立方体的任何分割区边界，定义临限x_a，且将处于所述分割区边界的临限像素值内的所有像素值收集在列表中。用于每一分割区边界，单独存储任一分割区中的像素。
在一些实例中，收集所有色彩分量(例如，YUV色彩域中的亮度及两个色度分量)中的所有分割区边界的像素。在另一实例中，可仅收集沿亮度轴线的分割区边界的像素。举例来说，如果亮度分割区出现在像素值127与128之间，且阈值(例如，x_a)为4，那么将属于第一分割区且具有位于范围[124,127]中的亮度值的所有像素收集在第一列表中，且将第二分割区中具有位于范围[128,131]中的亮度值的所有像素收集在第二列表中。在又一实例中，对于每一分割区边界，可将不同阈值(例如，x_a1及x_a2)用于共享分割区边界的分割区。
根据另一实例，定义两个阈值x_b及x_c，且对来自两个列表的分量像素色值的每一组合(即，来自第一列表的值k1及来自第二列表的值k2)，进行两次比较(像素值差检查)。如果k1与k2之间的差未超过x_b(指示基础层域中的像素值差相对较小)，且k1及k2的映射值之间的差(使用每一分割区的相应CGS表)超过x_c，那么将所述块标记为潜在地含有伪影。
在一些实例中，定义一或多对阈值(x_b及x_c)，且针对每一对阈值执行像素色值差检查。当检查的子集或(在其它实例中)所有检查得到满足时，将块标记为潜在地含有伪影。举例来说，可应用一对阈值来检测相对较大的差(例如，其中x_b及x_c相对较大)，且可应用另一对阈值来检测相对较小的变化(例如，其中x_b及x_c相对较小)。在另一实例中，定义像素色值对的临限数目t，使得仅在满足上文像素条件检查的对数目大于t时，将块标记为潜在地含有伪影。在又一实例中，针对分割区边界的子集仅仅执行像素色值差检查。举例来说，中间范围[256,384]中的亮度值中的伪影可特别明显，且在分割区边界处于此范围中时仅执行一些像素值检查。在另一实例中，在块的像素值的变化未超过某一阈值时，仅应用针对一对阈值(x_b,x_c)的像素值差检查。低像素变化可指示图像的相对平坦区域，其中伪影更可能可见。在相对较不平坦的区域中，伪影可能不太可见，其可通过具有高像素值差进行估计。
根据另一实例，修改用于分割区中的像素色值的CGS映射，从而使用对应于含有那个特定块中的最大数目个像素的分割区的CGS映射来映射块中的所有或大体上所有像素色值。
根据另一实例，更新CGS参数的估计，使得均方估计不包含作为离群值的像素色值。举例来说，可使用两遍估计方法，从而第一遍次基于分割区中的所有像素色值来进行所述分割区的CGS参数的估计。在第二遍次中，排除误差(例如，对应的映射值与原始增强层参考之间的差)超过特定阈值的所有像素色值，且仅使用分割区中的剩余像素色值来计算分割区的CGS参数。此实例可允许越加稳固的CGS参数估计。
根据另一实例，可越加积极地更新CGS参数，以便较佳地利用映射函数(由于较多分割区提供映射图片的较佳估计)来考虑CGS参数的位速率未超过某一值。基于CGS位预算来更新CGS分割区的数目—即，直到当前图片为止已发送的对应于CGS参数的位的数目与直到当前图片为止所发送的位的总数目的比。设计分割区数目的越加积极更新，从而在CGS位预算变成低于某一阈值时，基于经估计为用于先前图片的最佳数目的分割区的数目而增大分割区数目。在CGS位预算降到某一阈值以下时，例如，在用于先前图片的分割区数目小于或等于3的情况下，用于当前图片的分割区数目可增大(例如)2。在位预算下降较小量的情况下，分割区数目增大较小量，例如，增大1。类似地，在CGS位预算超过阈值时，基于用于先前图片的最佳分割区数目来减少分割区数目。另外，在CGS位预算落在此些两个阈值之间时，在基于目前是否存在大量(或少量)分割区而调整当前分割区的数目的情况下，例如，当分割区数目大于6时，数目减小1，及在分割区数目小于3的情况下，分割区数目增大1。在一些实例中，可使用用以推导分割区数目的变量来替代分割区数目。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还被称为ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
另外，已由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发出新的视频译码标准(即，高效率视频译码(HEVC))。最新的HEVC草案规范，在下文被称作HEVC WD，可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC-R1013-v6.zip获得。
HEVC的多视图扩展(即MV-HEVC)及更先进的3D视频译码(3D-HEVC)的HEVC扩展正在由JCT-3V开发，且同时，HEVC的可缩放视频译码扩展(即SHVC)正在由JCT-VC开发。HEVCWD还包含MV-HEVC及SHVC的最新规范。3D-HEVC的最新WD(在下文中被称作3D-HEVC WD1)可从http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/11_Geneva/wg11/JCT3V-K1001-v9.zip获得。
图1为说明实例视频编码及解码系统10的框图，所述实例视频编码及解码系统可将用于伪影检测及去除的技术用于基于3D查找表的色域缩放性视频译码过程中。如图1中所示，系统10包含源装置12，所述源装置提供稍后将由目的地装置14解码的经编码视频数据。特定地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能型”电话、所谓的“智能型”板)、电视机、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似装置。在一些状况下，可配备源装置12及目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。经编码视频数据可根据通信标准(例如，无线通信协议)进行调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可适用于有助于从源装置12到目的地装置14的通信的设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一个，例如，硬盘机、Blu-ray碟片、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在又一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据且将彼经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。从存储装置的经编码视频数据的发射可为流式传输发射、下载发射或其组合。
本发明的技术未必限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一个的视频译码，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持应用(例如，视频流式传输、视频播放、视频广播及/或视频电话)。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于平行地处理视频数据的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部摄影机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于平行地处理视频数据的技术可由任何数字视频编码及/或解码装置来执行。尽管本发明的技术一般由视频编码装置来执行，但所述技术还可由视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可由视频预处理器来执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据用于发射到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一个包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，(例如)用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前俘获的视频的视频存档及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、存档视频及计算机产生的视频的组合。在一些状况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的摄影机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一状况下，俘获、预先俘获或计算机产生的视频可由视频编码器20进行编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、紧密光盘、数字影音光盘、Blu-ray光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息(其还由视频解码器30使用)，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一个可包含在一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
在一些实例中，视频编码器20及视频解码器30根据例如以下视频压缩标准而操作：ISO/IEC MPEG-4Visual及ITU－T H.264(还被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的三维视频(3DV)扩展。在一些情况下，遵守基于MVC的3DV的任何位流始终含有与MVC配置文件(例如，立体声高配置文件)一致的子位流。此外，存在持续努力以产生H.264/AVC的3DV译码扩展，即基于AVC的3DV。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264、ISO/IEC Visual。
在图1的实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)定案的高效率视频译码(HEVC)标准而操作。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片还可被称作“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL为亮度样本的二维阵列(即，块)。SCb是Cb色讯样本的二维阵列。SCr是Cr色讯样本的二维阵列。色讯样本在本文中还可被称作“色度”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
视频编码器20可产生一组译码树型单元(CTU)。CTU中的每一个可包括亮度样本的译码树型块、色度样本的两个对应译码树型块及用以对译码树型块的样本进行译码的语法结构。在单色图片或具有三个单独彩色平面的图片中，CTU可包括单一译码树型块及用以对译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它视频译码标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”来指代样本的一或多个块，及用以对样本的一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU)，或其它视频译码标准中的宏块、宏块分割区等等。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可包括具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的译码块，及色度样本的两个对应译码块，及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独彩色平面的图片中，CU可包括单一译码块及用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为经应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的亮度样本的预测块、图片的色度样本的两个对应预测块，及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独彩色平面的图片中，PU可包括单一预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每一PU的亮度预测块、Cb预测块及Cr预测块的预测性亮度块、预测性Cb块及预测性Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。
如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于除相关联于PU的图片以外的一或多个图片的经解码样本而产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。
参考图片列表中的每一个可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0及RefPicList1中的任一个或两个中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分地基于对应于参考位置的样本而产生PU的预测性样本块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间移位的单一运动向量。为了指示PU的预测块与参考位置之间的空间移位，运动向量可包含指定PU的预测块与参考位置之间的水平移位的水平分量，且可包含指定PU的预测块与参考位置之间的垂直移位的垂直分量。
当使用双向预测编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置，及RefPicList1中的参考图片中的第二参考位置。视频编码器20可接着至少部分地基于对应于第一参考位置及第二参考位置的样本而产生PU的预测性块。此外，当使用双向预测编码PU时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间移位的第一运动，及指示PU的预测块与第二参考位置之间的空间移位的第二运动。
在视频编码器20产生CU的一或多个PU的预测性亮度块、预测性Cb块及预测性Cr块之后，视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每一样本指示CU的预测性亮度块中的一个中的亮度样本与CU的原始亮度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的明度残余块、Cb残余块及Cr残余块分解成一或多个明度变换块、Cb变换块及Cr变换块。变换块可为经应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。在单色图片或具有三个单独彩色平面的图片中，TU可包括单一变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于TU的亮度变换块，以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块，以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可反量化变换系数且将反变换应用于变换系数，以便重建图片的CU的TU的变换块。视频编码器20可使用CU的TU的重建的变换块及CU的PU的预测性块来重建CU的译码块。通过重建图片的每一CU的译码块，视频编码器20可重建图片。视频编码器20可将重建的图片存储在经解码图片缓冲器(DPB)中。视频编码器20可将DPB中的重建的图片用于帧间预测及帧内预测。
在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括网络抽象层(NAL)单元的序列。所述NAL单元中的每一个包含NAL单元标头且囊封原始字节序列酬载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封经译码切片的RBSP，第三类型的NAL单元可囊封补充增强信息(SEI)的RBSP等等。PPS为可含有适用于零或多个完整的经译码图片的语法元素的语法结构。囊封视频译码数据的RBSP(相反于参数集及SEI消息的RBSP)的NAL单元可被称作视频编码层(VCL)NAL单元。囊封经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。用于经译码切片的RBSP可包含切片标头及切片数据。
视频解码器30可接收位流。另外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分地基于从位流解码的语法元素而重建视频数据的图片。重建视频数据的过程可大体上与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。
另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重建与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中，以用于输出及/或用于解码其它图片。
在MV-HEVC、3D-HEVC及SHVC中，视频编码器可产生包括一系列网络抽象层(NAL)单元的多层位流。位流的不同NAL单元可与位流的不同层相关联。可将层定义为具有相同层识别符的视频译码层(VCL)NAL单元及相关联的非VCL NAL单元的集合。层可等效于多视图视频译码中的视图。在多视图视频译码中，层可含有具有不同时间实例的相同层的所有视图分量。每一视图分量可为属于特定时间实例的特定视图的视频场景的经译码图片。在3D视频译码中，层可含有特定视图的所有经译码深度图片或特定视图的经译码纹理图片。类似地，在可缩放视频译码的上下文中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。此些视频特性通常包含空间分辨率及质量等级(信噪比)。在HEVC及其扩展中，可在一个层内通过将具有特定时间等级的图片群组定义为子层来达成时间缩放性。
对于位流的每一相应层，可在不参考任何较高层中的数据的情况下解码较低层中的数据。在可缩放视频译码中，例如，可在不参考增强层中的数据的情况下解码基础层中的数据。NAL单元仅囊封单一层的数据。在SHVC中，如果视频解码器可在不参考任何其它层的数据的情况下解码视图中的图片，那么所述视图可被称作“基础层”。基础层可遵守HEVC基础规范。因此，可从位流去除囊封位流的最高剩余层的数据的NAL单元而不影响位流的剩余层中的数据的可解码性。在MV-HEVC及3D-HEVC中，较高层可包含额外视图分量。在SHVC中，较高层可包含信噪比(SNR)增强数据、空间增强数据及/或时间增强数据。
在一些实例中，可参考一或多个较低层中的数据来解码较高层中的数据。可将较低层用作参考图片以使用层间预测来压缩较高层。较低层的数据可经增频采样以具有与较高层相同的分辨率。一般来说，视频编码器20及视频解码器30可按与上述帧间预测类似的方式执行层间预测，只有以下除外：与一或多个相邻图片相比，可将一或多个增频采样的较低层用作参考图片。
视频编码器20可及/或视频解码器30可基于亮度色彩分量、第一色度色彩分量及第二色度色彩分量中的每一个的八分区数目及所述八分区中的每一个的色值，产生用于色域缩放性的3D查找表。在一些状况下，用于3D查找表的色彩分量中的至少一个的八分区数目还可由视频编码器20发信到视频解码器30以作为CGS参数。为使视频解码器30确定3D查找表中的色值，用于3D查找表中的色值的线性色彩映射函数的色彩映射系数是由视频编码器20经由CGS参数发信到视频解码器30。视频编码器20可导出用于色彩域(例如，YUV域)中的像素值的每一分割区的CGS映射表，从而将色彩域分裂为矩形立方体且相对于增强层图片的对应像素的值最小化属于每一矩形立方体的像素的映射值的均方误差。由于每一矩形立方体被独立地优化，因此伪影(例如，轮廓伪影)可出现在由视频编码器20编码且由视频解码器30解码的视频中。
视频编码器20可通过检测潜在伪影及作出最小化或防止此些伪影的译码决策而将此些伪影最小化。举例来说，视频编码器20可针对可通过视频解码器30解码的利用可形成伪影的像素值的每一块停用层间预测。
视频编码器20还可更改用于像素色值的CGS映射，使得对应于那个特定块中的含有最大数目个像素色值的分割区的CGS映射表被用以映射块中的所有像素色值。
视频编码器20还可使用经由CGS参数的较佳估计来避免伪影的多遍次方法。可更新CGS参数，使得均方估计不包含作为离群值的像素色值。举例来说，可使用两遍估计方法，使得在第一遍次中，视频编码器20基于分割区中的所有像素色值而进行分割区的CGS参数的估计。接着，在第二遍次中，排除误差超过特定阈值的所有像素色值，且仅使用分割区中的剩余像素值来计算分割区的CGS参数。
视频编码器20还可基于CGS位预算通过更新CGS分割区来更新CGS参数，从而利用映射函数。举例来说，在CGS位预算变成低于第一阈值时，可基于针对先前图片进行估计的分割区的数目而增大分割区数目。当CGS位预算超过第二阈值时，可基于用于先前图片的分割区数目而减少分割区数目。当CGS位预算落在此些两个阈值之间时，可基于分割区数目较大或较小而调整当前分割区的数目。
图2为展示三个不同维度中的缩放性的实例的概念说明。在可缩放视频译码结构中，在三个维度中实现缩放性。在图2的实例中，在空间(S)维度100、时间(T)维度102及信噪比(SNR)或质量(Q)维度104中实现缩放性。在时间维度102中，通过时间缩放性可支持(例如)7.5Hz(T0)、15Hz(T1)或30Hz(T2)的帧速率。当支持空间缩放性时，在空间维度100中实现不同分辨率，例如四分之一共同中间格式(QCIF)(S0)、共同中间格式(CIF)(S1)及4×CIF(4CIF)(S2)。对于每一特定空间分辨率及帧速率，可在SNR维度104中添加SNR层(Q1)以改进图片质量。额外分辨率格式包含16×CIF(16CIF)。CIF为用以标准化视频信号中的YCbCr序列的像素中的水平分辨率及垂直分辨率的格式。如所属领域的一般技术人员将理解的，可使用其它分辨率标准来替代CIF。
一旦以此可缩放方式编码视频内容，便可使用提取器工具来根据应用要求调适实际递送的内容，所述应用要求取决于(例如)客户端或传输信道。在图2中所示的实例中，每一立方体含有具有相同帧速率(时间等级)、空间分辨率及SNR层的图片。通过将立方体(即，图片)添加在维度100、102或104中的任一个中可达成较佳表示。当启用两个、三个或甚至更多缩放性时，支持组合式缩放性。
在可缩放视频译码标准(例如，H.264的SVC扩展或SHVC)中，具有最低空间及SNR层的图片与单层视频编解码器相容，且在最低时间等级的图片形成时间基础层，可通过较高时间等级的图片来增强时间基础层。除了基础层之外，还可添加若干空间及/或SNR增强层以提供空间及/或质量缩放性。每一空间或SNR增强层自身可为时间可缩放的，具有与基础层相同的时间缩放性结构。对于一个空间或SNR增强层来说，其依赖的较低层可被称作那个特定空间或SNR增强层的基础层。
图3为展示可缩放视频译码位流的实例结构110的概念说明。位流结构110包含：层0 112，其包含图片或切片I0、P4及P8；及层1 114，其包含图片或切片B2、B6及B10。另外，位流结构110包含：层2 116及层3 117，所述层各自包含图片0、2、4、6、8及10；及层4 118，其包含图片0到11。
基础层具有最低空间及质量层(即，具有QCIF分辨率的层0 112及层1 114中的图片)。在所述图片中，最低时间等级的那些图片形成时间基础层，如图3的层0 112中所示。可用较高时间等级(例如，具有15Hz的帧速率的层1 114，或具有30Hz的帧速率的层4 118)的图片来增强时间基础层(层0)112。
除了基础层112、114之外，可添加若干空间及/或SNR增强层以提供空间及/或质量缩放性。举例来说，具有CIF分辨率的层2 116可为基础层112、114的空间增强层。在另一实例中，层3 117可为基础层112、114及层2 116的SNR增强层。如图3中所示，每一空间或SNR增强层本身可为时间可缩放的，具有与基础层112、114相同的时间缩放性结构。另外，增强层可增强空间分辨率及帧速率两者。举例来说，层4 118提供4CIF分辨率增强层，其将帧速率从15Hz进一步增大到30Hz。
图4为按位流次序展示实例可缩放视频译码存取单元120A到120E(“存取单元120”)的概念说明。如图4中所示，同一时间实例中的经译码图片或切片按位流次序连续，且形成可缩放视频译码标准(例如，H.264的SVC扩展或SHVC)的情况下的一个存取单元。存取单元120接着遵循解码次序，解码次序可与显示次序不同且(例如)通过存取单元120之间的时间预测关系确定。
举例来说，存取单元120A包含来自层0 112的图片I0、来自层2 116的图片0、来自层3 117的图片0及来自层4 118的图片0。存取单元120B包含来自层0 112的图片P4、来自层2 116的图片4、来自层3 117的图片4及来自层4 118的图片4。存取单元120C包含来自层1114的图片B2、来自层2 116的图片2、来自层3 117的图片2及来自层4 118的图片2。存取单元120D包含来自层4 118的图片1，且存取单元120E包含来自层4 118的图片3。
图5为说明实例3层SHVC编码器122的框图。如图5所说明，SHVC编码器122包含基础层编码器124、第一增强层编码器125及第二增强层编码器126。在仅高级语法的SHVC中，与HEVC单层译码相比，不存在新的块层级译码工具。在SHVC中，仅切片及以上层级的语法改变，且允许例如图片滤波或增频采样的图片级操作。在一些实例中，使用可经自动或人工分级以便呈现在具有较低色彩体积的显示器中的视频版本，而非在将视频发送到编码器125及124之前将对视频进行降频采样。
为了减少层之间的冗余，可产生用于较低/基础层的经增频采样的同置型参考层图片且将所述图片存储在用于较高/增强层的参考缓冲器中，使得可用与单层内的帧间预测相同的方式达成层间预测。如图5中所说明，经重新采样的层间参考(ILR)图片128是从基础层编码器124中的参考图片产生且存储在第一增强层编码器125中。类似地，经重新采样的ILR图片129是从第一增强层编码器125中的参考图片产生且存储在第二增强层编码器126中。在SHVC WD3中，将ILR图片标记为用于增强层的长期参考图片。将与层间参考图片相关联的运动向量差限定到零。
使用超高清晰度电视(UHDTV)装置及内容可使用与旧版装置不同的色域。具体来说，SD及HD(与HDR相比)使用2010年12月的BT.709建议，ITU-R建议BT.709“Parametervalues for the HDTV standards for production and international programmeexchange”，而UHDTV使用2012年4月的BT.2020建议，ITU-R建议BT.2020“Parameter valuesfor UHDTV systems for production and international programme exchange”。色域包括图像的可再现(例如，在视频数据的图片、切片、块或层中)的色彩的完整范围。此些系统之间的一个不同之处为UHDTV的色域显著大于HD。确证，UHDTV提供越加生命化或实际的观看体验，其符合例如高分辨率的其它UHDTV特性。
在一些实例SVC代码中，增强层1及/或增强层2可利用与基础层不同或彼此不同的色域。举例来说，一个层可编码HD视频(使用BT.709色域)，而增强层可利用UHD视频(使用BT.2020色域)。如果编码器124、125及/或126利用HD视频与UHD视频之间的层间预测，那么可经由CGS映射表在两个色彩格式及色域之间翻译色彩信息。像素值域被分裂成矩形立方体分割区。HEVC编码器124、125及/或126可各自经由以下操作而导出CGS映射表：在色彩域(例如，YUV或YCbCr域)中将像素值域分裂成多个分割区(例如，矩形立方体)，且关于每一分割区相对于增强层(1及/或2)图片最小化属于每一立方体的像素的均方。由于每一分割区被独立地优化，因此无法保证对于属于两个邻近分割区的两个像素值(值的差异很小)，所述两个像素值的映射值的差不会很大。因此，当将此些映射值用作增强层图片/块的层间预测参考时，一些伪影出现在序列的某些帧中。此情况可通过编码器124、126及/或126最小化，方法为检测可能潜在地含有此些伪影的块，且对于可能潜在地含有伪影的块停用层间预测(基础层与一个或多个增强层1或2之间)。
图6为说明样本视频序列130的实例色域的曲线图。如图6中所示，将SWG1样本视频序列130指示为UHD色域BT.2020 132的线轮廓内的点的丛集。出于比较目的，HD色域BT.709134的轮廓和国际照明委员会(CIE)-XYZ线性色空间136的轮廓覆盖SWG1样本视频序列130。从图6容易观察到，UHD色域BT.2020 132比HD色域BT.709134大得多。应注意SWG1样本视频序列130中落在BT.709色域134外的像素的数目。
图7为说明从HD色域BT.709 134到UHD色域BT.2020 132的转换的框图。HD色域BT.709 134及UHD色域BT.2020 132两者定义亮度分量及色度分量(例如，YCbCr或YUV)中的色彩像素的表示。每一色域定义到及从CIE-XYZ线性彩色空间136的转换。此普通中间彩色空间可用以定义HD色域BT.709 134中的亮度及色度值到UHD色域BT.2020 132中的对应亮度及色度值的转换。
对基础层图片应用CGS映射以产生层间参考图片。在不使用CGS的情况下，如果基础层与增强层具有相同分辨率，那么基础图片将直接被用作层间参考图片。CGS映射为基于CGS参数定义的线性函数。用于CGS映射中的CGS参数是通过在编码器最小化经CGS映射的基础层图片与原始增强层图片之间的均方误差(例如，优化)而获得。此优化可通过默认出现在参考软件中，此是由于每一矩形立方体的CGS参数是在编码器处通过参考软件独立地进行估计。
关于图6中所说明的样本序列的色域及图7中所说明的色域转换的更多细节可在L.Kerofsky、A.Segall、S.-H.Kim、K.Misra的“Color Gamut Scalable Video Coding:NewResults”(JCTVC-L0334，瑞士日内瓦，2013年1月14日到23日(下文被称作“JCTVC-L0334”))中发现。
图8为说明包含色彩预测处理单元144的色域可缩放译码器140的框图，当基础层色域与增强层色域不同时，所述色彩预测处理单元可产生层间参考图片。色彩预测处理单元144可由视频译码器(例如，来自图1的视频编码器20或视频解码器30)使用以执行色域可缩放视频译码，其中基础层与增强层的色域不同。
在图8中所说明的实例中，基础层译码回路142执行包含第一色域(例如BT.709)中的色彩数据的图片的视频译码，且增强层译码回路146执行包含第二色域(例如BT.2020)中的色彩数据的图片的视频译码。色彩预测处理单元144执行色彩预测以将第一色域中的基础层参考图片的色彩数据映射或转换到第二色域，且基于基础层参考图片的映射的色彩数据而产生增强层的层间参考图片。
为达成高译码效率，色彩预测处理单元144经配置以在产生层间参考图片时执行特定色彩预测。如以下更详细地描述，色彩预测处理单元144可经配置以根据线性预测模型、分段线性预测模型或基于3D查找表的色彩预测模型中的任一个而执行色彩预测。
图9(a)及9(b)为展示用于色域缩放性的实例3D查找表150的概念说明。用于色域缩放性的3D查找表的原理描绘在图9(a)及9(b)中。3D查找表150可被视为第一3D色空间(例如，HD色域BT.709)的子采样，其中每一顶点与对应于第二3D色空间(即，预测)值，例如，UHD色域BT.2020)的色彩三重组(y,u,v)(或色彩三重组x,y,z)相关联。
一般来说，第一色域可在每一色彩维度(即，Y、U及V)中分割成八分区或立方体，且八分区的顶点与对应于第二色域的色彩三重组相关联且用以填入3D查找表150。每一色彩维度中的顶点或线段的数目指示3D查找表的大小。图9(a)说明每一色彩维度中的八分区的顶点或相交晶格点。图9(b)说明与顶点中的每一个相关联的不同色值。如所说明，在图9(a)中，每一色彩维度具有四个顶点，且在图9(b)中，每一色彩维度包含四个色值。
在一些实例中，单独3D查找表可针对色彩分量中的每一个，即亮度(Y)分量、第一色度(U)分量及第二色度(V)分量，产生。3D查找表中的每一个包含亮度(Y)维度、第一色度(U)维度及第二色度(V)维度，且使用三个独立的色彩分量(Y,U,V)来索引。
一般来说，基于3D查找表的色域缩放性导致经改进的译码性能。然而，3D查找表的大小可为关注所在，此是由于3D查找表通常存储在硬件实施方案中的高速缓存存储器中。在一些实例中，3D查找表是对称的，使得3D查找表对于亮度分量、第一色度分量及第二色度分量具有相同大小。另外，3D查找表可经平衡，使得3D查找表的每一维度的大小是相同的。此导致具有高计算复杂度及高发信成本的大的表大小。举例来说，表大小可达到9×9×9或17×17×17。
在一些状况下，用于色域缩放性的3D查找表的大小过大，此可导致实际实施方案中的困难。另外，大的表大小及用于3D查找表的三线性内插的使用导致高计算复杂度。
在一个实例中，本发明中所描述的所述技术可通过实现不对称分割区以使得3D查找表具有针对第一及第二色度(例如，Cb及Cr或U及V)分量的较粗糙分割及针对亮度(例如，Y)分量的较精细分割来提供3D查找表的色彩分量的更高效分割。所述技术还可通过发信除3D查找表的分割区的基数外的亮度分量的额外分割区的数目来提供用于3D查找表的分割区信息的更高效发信。在另一实例中，所述技术可通过实现第一及第二色度(例如，Cb及Cr或U及V)分量的联合分割来提供3D查找表的色彩分量的更高效分割。
一旦3D查找表的色彩分量中的每一个经分割成一或多个八分区时，本发明中所描述的所述技术即可提供3D查找表的色值的更高效发信。所述技术包含针对3D查找表的色彩分量中的每一个的每一八分区，发信八分区中的每一个的顶点的值或用于八分区中的每一个的线性色彩映射函数的色彩映射系数。在本发明中，可互换地使用术语“分割区”、“八分区”、“片段”及“立方体”来描述3D查找表的色彩分量的经分割区域。
色彩映射系数可使用预定义数目个位而从浮点值转换或量化到整数值。在一些状况下，可在位流中发信转换或量化信息。在其它状况下，转换或量化信息(即，用以表示值1的位数目)可取决于3D查找表的输入位深度或输出位深度中的至少一个。
视频编码器20及/或视频解码器30可通过执行第一及第二色度分量的联合分割来产生用于色域缩放性的3D查找表。在常规3D查找表中，亮度分量、第一色度分量及第二色度分量(即，Y、U及V)独立地进行分割。当将每一分量分裂成N个片段或八分区时，八分区的总数可为N×N×N，其导致大的3D查找表。举例来说，表大小可达到9×9×9或17×17×17。为减少八分区的数目，可执行在联合地分割第一及第二色度分量(即，U及V)同时对亮度(即，Y)分量进行独立分割。
视频编码器20及/或视频解码器30可产生用于色域缩放性的3D查找表，其对第一及第二色度分量(例如，Cb及Cr或U及V)具有较粗糙分割且对亮度(例如，Y)分量具有较精细分割。视频编码器20及/或视频解码器30可通过以下操作来产生此3D查找表：根据基础分割区值(例如，用于3D查找表的最大分裂深度)将色彩分量中的每一个分割成若干八分区，接着基于亮度分割区值进一步分割亮度分量的八分区中的每一个。在一个实例中，亮度分割区值可由视频编码器20在位流中发信到视频解码器30。在一些状况下，基础分割区值还可由视频编码器20在位流中发信到视频解码器30。在其它状况下，可在视频编码器20及视频解码器30两者处导出亮度分割区值，及/或基础分割区值可为视频编码器及视频解码器两者已知的预定义值。
在一个实例中，视频编码器20及/或视频解码器30首先按以下方式构建3D查表：反复且对称地分裂或分割色彩分量中的每一个(即，Y-U-V空间)，直到达到预定义或发信的分裂深度。分裂深度定义可分割3D查找表的所有色彩分量的最大次数。以此方式，基础分割区值可被定义为分裂深度。接着，视频编码器20及/或视频解码器30沿着亮度(即，Y)方向进一步均匀或不均匀地分裂每一最小立方体或八分区，使得亮度(即，Y)分量具有较精细分割，而色度(即，U及V)分量具有较粗糙分割。
在上述一个实例中，对于八分区或分割区中的每一个，视频编码器20可发信3D查找表中的色值的线性色彩映射函数的色彩映射系数。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域，且色彩映射系数为视频数据的较低层及较高层的色彩分量之间的加权因数。对于色彩分量中的每一个，色彩映射系数中的一个可为定义视频数据的较低层及较高层的相同色彩分量之间的加权因数的关键系数。
在视频编码器20及/或视频解码器30使用上述一或多个实例技术产生3D查找表后，可使用3D查找表如下所述地执行色彩预测。到色彩预测过程的输入为一个色空间(例如，用于视频数据的较低或基础层的第一色域)中的(y,u,v)三重组。色彩预测过程的输出为另一色空间(例如，用于视频数据的较高层或增强层的第二色域)中的三重组(Y,U,V)。涵盖输入三重组(y,u,v)的最小八分区或立方体位于3D查找表中。
下一代视频应用经预期与视频数据一起操作，视频数据表示具有HDR及宽色域(WCG)的所俘获景物。所利用的动态范围及色域的参数为视频内容的两个独立属性，且出于数字电视及多媒体服务的目的，所述参数的规范由若干国际标准来定义。举例来说，ITU-RRec.BT.709，“Parameter values for the HDTV standards for production andinternational programme exchange”定义用于高清晰度电视(HDTV)的参数，例如标准动态范围(SDR)及标准色域，且ITU-R Rec.BT.2020，“Parameter values for ultra-highdefinition television systems for production and international programmeexchange”指定例如HDR及WCG的超HDRV(UHDTV)参数。还存在其它标准开发组织(SDO)文件，所述文件指定其它系统中的动态范围及色域属性，例如，DCI-P3色域被定义在SMPTE-231-2(运动图片及电视工程师协会)中且HDR的一些参数被定义在STMPTE-2084中。在下文提供用于视频数据的动态范围及色域的简要描述。
动态范围通常经定义为视频信号的最小与最大明度(例如，亮度)之间的比。还可以“f光阑”为单位来测量动态范围，其中一个f光阑对应于信号动态范围的加倍。在MPEG的定义中，HDR内容为以大于16个f光阑的亮度变化为特征的内容。在一些术语中，10个f光阑与16个f光阑之间的等级被视为中间动态范围，但在其它定义中被视为HDR。在本发明的一些实例中，HDR视频内容可为相较于传统使用的具备标准动态范围的视频内容(例如，如ITU-R Rec.BT.709所指定的视频内容)具有较高动态范围的任何视频内容。
人类视觉系统(HVS)能够感知比SDR内容及HDR内容大很多的动态范围。然而，HVS包含适应机构，其将HVS的动态范围缩窄到所谓的同时范围。同时范围的宽度可取决于当前照明条件(例如，当前明度)。图10中展示出由HDTV的SDR提供的动态范围、UHDTV的预期HDR及HVS动态范围的视觉化。
当前视频应用及服务是由ITU Rec.709调节且提供SDR，从而通常支持约每m2 0.1到100烛光(cd)(常常被称作“尼特”)的明度(例如，亮度)范围，从而导致小于10f光阑。预期一些实例下代视频服务将提供达到16f光阑的动态范围。尽管此些内容的详细规范目前正在开发中，但一些初始参数已在SMPTE-2084及ITU-R Rec.2020中指定。“Call forEvidence(CfE)for HDR and WCG Video Coding”(MPEG文件M36131，瑞士，2015年2月)描述用于HDR的双层译码机制的实例，从而提供背景相容性。
图11为说明视频编码器20的实例的框图，所述实例视频编码器可实施用于在将色域缩放性用于多层视频译码中时识别及消除伪影的技术。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖空间预测以减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖时间预测以减少或去除视频序列的相邻帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一个。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一个。
如图11中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图11的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、分割单元48及色彩预测处理单元66。对于视频块重建，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。还可包含解块滤波器(图11中未图示)以对块边界进行滤波以从重建的视频去除块效应伪影。如果需要，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器外，还可使用额外滤波器(回路内或回路后)。为简洁起见未展示此些滤波器，但如果需要，此些滤波器可对求和器50的输出进行滤波(作为回路内滤波器)。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可为存储由视频编码器20在编码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器41及经解码图片缓冲器64可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器41及经解码图片缓冲器64。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码，以提供时间预测。帧内预测单元46可替代地执行接收的视频块相对于与待译码的块相同的帧或切片中的一或多个相邻块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于视频数据的每一块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说，分割单元48可初始地将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真优化)而将所述LCU中的每一个分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一个，且将所得经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据及提供到求和器62以重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割区信息及其它此语法信息)提供到熵编码单元56。
模式选择单元40可选择层间预测作为译码模式。层间预测允许基于不同层(例如，基础层或增强层)中的数据来重建块。利用色域缩放性，视频数据的较低层可包含第一色域(例如，BT.709色彩容器)中的色彩数据，且视频数据的较高层可包含不同的第二色域(例如，超高清晰度(UHD)色域BT.2020色彩容器)中的色彩数据。当执行层间预测时，可在色域之间翻译色值。可通过模式选择单元40(例如，经由色彩预测处理单元66)来推导三维CGS映射表，且针对色空间(例如，YUV域)中的像素值的每一分割区执行所述推导。像素色彩域(即，指定给定特定色彩容器的特定彩色的YUV或XYZ三色激励值的三维(3D)域)可由模式选择单元40(例如，经由色彩预测处理单元66)分裂成矩形立方体。通过独立地优化每一矩形立方体来获得CGS参数，所述CGS参数可造成矩形立方体的边界处的色彩映射的映射异常，其可导致重建的视频中出现伪影。根据本发明的技术，识别潜在伪影。在此些伪影经识别的情况下，可停用层间预测，以免在重建的视频块中形成伪影。
运动估计单元42及运动补偿单元44可高度集成，但为概念目的而分开来说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于关于当前块正在当前图片(或其它经译码单元)内译码的参考图片(或其它经译码单元)内的预测性块的移位。预测性块为依据像素差而被发现紧密地匹配待译码的块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差度量进行确定。在一些实例中，视频编码器20可计算存储在经解码图片缓冲器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，参考图片列表中的每一个识别存储在经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量而提取或产生预测性块。再次，在一些实例中，运动估计单元42及运动补偿单元44在功能上可集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一个中定位运动向量所指向的预测性块。求和器50通过从正译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42执行关于亮度分量的运动估计，且运动补偿单元44将基于亮度分量所计算的运动向量用于色度分量及亮度分量两者。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
如上所述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代，帧内预测单元46可对当前块进行帧内预测。确切地说，帧内预测单元46可确定待用以编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试的模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可使用对于各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式的中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位速率(即，位的数目)。帧内预测单元46可根据各种经编码块的失真及速率来计算比率以确定哪一帧内预测模式展现所述块的最佳速率-失真值。
在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于块的所选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所选择的帧内预测模式的信息。视频编码器20可在所传输的位流中包含以下：配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还被称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一个的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从正在译码的原始视频块减去来自模式选择单元40的预测数据来形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残余块，从而产生残余变换系数块。变换可将残余信息从像素值域变换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。
量化单元54量化变换系数以进一步减小位速率。量化过程可减少与一些或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56熵译码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于邻近块。在由熵译码单元56进行熵译码之后，可将经编码位流传输到另一装置(例如，视频解码器30)或加以存档以供稍后传输或检索。
反量化单元58及反变换单元60分别应用反量化及反变换，以在像素域中重建残余块，例如，以供稍后用作参考块。运动补偿单元44可通过将残余块加到经解码图片缓冲器64的帧中的一个的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建的残余块，以计算在运动估计中使用的次整数像素值。求和器62将经重建的残余块加到由运动补偿单元44产生的运动经补偿的预测块，以产生经重建的视频块以存储在经解码图片缓冲器64中。经重建的视频块可由运动估计单元42及运动补偿单元44用作参考块，以帧间译码后续视频帧中的块。
根据本发明中所描述的技术，视频编码器20经配置以在编码多层视频数据时执行基于3D查找表的色域缩放性。视频编码器20可根据SHVC扩展、MV-HEVC扩展及3D-HEVC扩展或其它多层视频译码扩展中的任一个来预测及编码多层视频数据。具体来说，当用于视频数据的较高层的色域与用于视频数据的较低层的色域不同时，视频编码器20的色彩预测处理单元66可产生用以预测视频数据的较高层的图片中的视频块的层间参考图片。
视频编码器20的色彩预测处理单元66可使用用于色域缩放性的3D查找表执行色彩预测，以将在用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。在一些实例中，色彩预测处理单元66可针对色彩分量中的每一个(即，亮度分量、第一色度分量及第二色度分量)产生单独的3D查找表。3D查找表中的每一个包含亮度维度、第一色度维度及第二色度维度，且使用三个独立的色彩分量进行索引。
视频编码器20可基于用于亮度色彩分量、第一色度色彩分量及第二色度色彩分量中的每一个的八分区的数目及用于八分区中的每一个的色值而产生3D查找表。如上所述，在一些状况下，视频编码器20可编码指示用于3D查找表的色彩分量中的至少一个的八分区的数目的至少一个语法元素。视频编码器20还可编码用于色彩分量中的每一个的八分区中的每一个的色值。举例来说，视频编码器20可编码3D查找表中的色值的线性色彩映射函数的色彩映射系数。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域。线性色彩映射函数的色彩映射系数为视频数据的较低层及较高层的色彩分量之间的加权因数。对于色彩分量中的每一个，色彩映射系数中的一个可为定义视频数据的较低层与较高层的相同色彩分量之间的加权因数的关键系数。
用于线性色彩映射函数的色彩映射系数可导出为浮点值。在编码色彩映射系数之前，视频编码器20的色彩预测处理单元66可将色彩映射系数的浮点值转换到整数值。转换可基于3D查找表的输入位深度或输出位深度中的至少一个而使用整数值的位深度。另外，色彩预测处理单元66可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一个的值而将色彩映射系数的值限制为在给定范围内。
在本发明的技术的一些实例中，色彩预测处理单元66可预测色彩映射系数中的一或多个，以便编码色彩映射系数的原始值与色彩映射系数的预测值之间的残余值。举例来说，对于用于色彩分量中的每一个的第一八分区，色彩预测处理单元66可基于预定义的固定值而预测线性色彩映射函数的色彩映射系数。在一个实例中，对于用于色彩分量中的每一个的第一八分区，色彩预测处理单元66可基于等于预定义的非零值的预测值而编码线性色彩映射函数的关键系数，且基于等于零的预测值而编码线性色彩映射函数的任何剩余色彩映射系数。在这个实例中，色彩预测处理单元66可基于来自至少一个先前经编码的八分区(例如，第一八分区)的预测值而编码用于色彩分量中的每一个的任何剩余八分区的色彩映射系数。
视频编码器20的熵编码单元56可接着熵编码用于色彩分量中的每一个的八分区中的每一个的线性色彩映射函数的色彩映射系数的残余值。在一些状况下，在熵编码之前，视频编码器20可基于确定的量化值而使用量化单元54来量化色彩映射系数的残余值。视频编码器20可编码确定的量化值。
在产生3D查找表后，色彩预测处理单元66使用3D查找表来执行对用于视频数据的较低层的参考图片的色彩预测，且基于经色彩预测的参考图片而产生用于视频数据的较高层的至少一个层间参考图片。在产生层间参考图片后，视频编码器20的运动补偿单元44可如上所述地操作，以基于使用3D查找表产生的层间参考图片来预测视频数据的较高层的图片中的视频块。视频编码器20可接着编码位流中的视频块的残余数据以用于传输到视频解码器30。
图12为说明视频解码器30的实例的框图，所述视频解码器可实施用于在将色域缩放性用于多层视频译码中时识别及消除伪影的技术。在图12的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、色彩预测处理单元86、反量化单元76、反变换处理单元78、经解码图片缓冲器82及求和器80。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图11)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧内预测处理单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。
视频数据存储器71可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而从计算机可读媒体16(例如，从本地视频源，例如摄影机)获得存储在视频数据存储器71中的视频数据。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为存储在由视频解码器30解码视频数据(例如，以帧内译码或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器71及经解码图片缓冲器82可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器71及经解码图片缓冲器82。在各种实例中，视频数据存储器71可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码所述位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测处理单元74可基于所发信的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素而产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一个内的参考图片中的一个产生。视频解码器30可基于存储在经解码图片缓冲器82中的参考图片使用默认构建技术来构建参考图片列表，列表0及列表1。运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于正在解码的当前视频块的预测性块。举例来说，运动补偿单元72使用接收的语法元素中的一些来确定用以译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多个的构建信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72还可执行基于内插滤波器的内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的次整数像素的内插值。在此状况下，运动补偿单元72可根据接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器产生预测性块。
反量化单元76反量化(即，解量化)位流中所提供且由熵解码单元70解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY以确定应所述应用的量化程度及(同样地)反量化程度。反变换处理单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素而产生当前视频块的预测性块之后，视频解码器30通过对来自反变换处理单元78的残余块与由运动补偿单元72产生的对应的预测性块求和来形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。如果需要，还可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。还可使用其它回路滤波器(在译码回路中或在译码回路之后)以使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，所述经解码图片缓冲器存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频，以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
根据本发明中所描述的技术的一些实例，视频解码器30经配置以在解码多层视频数据时执行基于3D查找表的色域缩放性。视频解码器30可根据SHVC扩展、MV-HEVC扩展、3D-HEVC扩展或HEVC的其它多层视频译码扩展中的任一个来解码及重建预测的多层视频数据。具体来说，当用于视频数据的较高层的色域与用于视频数据的较低层的色域不同时，视频解码器30的色彩预测处理单元86可产生用以预测视频数据的较高层的图片中的视频块的层间参考图片。
视频解码器30的色彩预测处理单元86可使用用于色域缩放性的3D查找表执行色彩预测，以将在用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。在一些实例中，色彩预测处理单元86可针对色彩分量中的每一个(即，亮度分量、第一色度分量及第二色度分量)产生单独的3D查找表。3D查找表中的每一个包含亮度维度、第一色度维度及第二色度维度，且使用三个独立色彩分量进行索引。
本发明的技术涉及用以产生用于色域缩放性的3D查找表的信息的发信。根据所述技术，视频解码器30可解码分割区信息及/或色值以产生3D查找表，以便执行色域缩放性。本发明中所描述的技术可特别适用于检测利用层间预测的增强帧图片/块中的潜在伪影。
视频解码器30的色彩预测处理单元86可产生3D查找表，其对第一及第二色度分量具有较粗糙分割且对亮度分量具有较精细分割。色彩预测处理单元86可通过以下操作来产生此3D查找表：根据基础分割区值(例如，用于3D查找表的最大分裂深度)将第一色度色彩分量、第二色度色彩分量及亮度色彩分量分割成第一数目个八分区，且接着基于亮度分割区值进一步分割亮度分量的所述第一数目个八分区中的每一个。以此方式，3D查找表的第一及第二色度分量中的每一个被分割成较少八分区(即，经较粗糙分割)，且3D查找表的亮度分量被分割成较多八分区(即，经较精细分割)。
在一些状况下，视频解码器30的熵解码单元70熵解码指示亮度分割区值的至少一个语法元素(例如，第一语法元素)。在其它状况下，亮度分割区值可在视频编码器20及视频解码器30两者处导出或已知。作为一个实例，色彩预测处理单元86可至少部分地基于基础分割区值而导出亮度分割区值。在一些状况下，熵解码单元70还可解码指示基础分割区值的至少一个语法元素(例如，第二语法元素)。在其它状况下，基础分割区值可为在视频编码器20及视频解码器30两者处已知的预定义值。色彩预测处理单元86使用预定义或发信的基础分割区值及导出或发信的亮度分割区值来产生3D查找表，其对第一及第二色度分量具有较粗糙分割且对亮度分量具有较精细分割，如上所述。
另外，视频解码器30可有条件地解码指示色度分量中的至少一个的分割边界的一或多个语法元素。分割边界界定色度分量中的一个到两个或更多个八分区的不均匀分割。根据本发明的技术，当色度分量中的至少一个经分割成多于一个八分区时，即，当基础分割区值大于一时，视频解码器30仅解码指示分割边界的语法元素。否则，解码分割区边界是不必要的。
在公开的技术的另一实例中，视频解码器30可基于用于亮度、第一色度及第二色度色彩分量中的每一个的八分区的数目及八分区中的每一个的色值而产生3D查找表。如上所述，在一些状况下，视频解码器30可解码指示用于3D查找表的色彩分量中的至少一个的八分区的数目的至少一个语法元素，或另外确定用于3D查找表的色彩分量中的每一个的八分区的数目。视频解码器30还可解码用于色彩分量中的每一个的八分区中的每一个的色值。举例来说，视频解码器30可解码3D查找表中的色值的线性色彩映射函数的色彩映射系数。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域。线性色彩映射函数的色彩映射系数为视频数据的较低层与较高层的色彩分量之间的加权因数。对于色彩分量中的每一个，色彩映射系数中的一个可为定义视频数据的较低层与较高层的相同色彩分量之间的加权因数的关键系数。
首先将用于线性色彩映射函数的色彩映射系数导出为浮点值。浮点值接着经转换或量化到整数值或作为整数值发信。转换可基于3D查找表的输入位深度或输出位深度中的至少一个而使用用于整数值的位深度。另外，色彩预测处理单元86可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一个的值而将色彩映射系数的值限制在给定范围内。
视频解码器30的熵解码单元70可熵编码用于色彩分量中的每一个的八分区中的每一个的线性色彩映射函数的色彩映射系数的残余值。在一些状况下，在熵解码之后且在重建之前，视频解码器30可基于确定的量化值使用反量化单元76来反量化色彩映射系数的残余值。视频解码器30可解码指示确定的量化值的语法元素。
根据本发明的技术，色彩预测处理单元86可预测色彩映射系数中的一或多个，以便基于色彩映射系数的残余值及色彩映射系数的预测值而重建色彩映射系数的值。举例来说，对于用于色彩分量中的每一个的第一八分区，色彩预测处理单元86可基于预定义的固定值而预测线性色彩映射函数的色彩映射系数。在一个实例中，对于用于色彩分量中的每一个的第一八分区，色彩预测处理单元86可基于等于预定义的非零值的预测值而解码线性色彩映射函数的关键系数，且基于等于零的预测值而解码线性色彩映射函数的任何剩余色彩映射系数。在这个实例中，色彩预测处理单元86可基于来自至少一个先前经解码八分区(例如，第一八分区)的预测值而解码用于色彩分量中的每一个的任何剩余八分区的色彩映射系数。
在产生3D查找表后，色彩预测处理单元86使用3D查找表执行对用于视频数据的较低层的参考图片的色彩预测，且基于色彩预测的参考图片而产生用于视频数据的较高层的层间参考图片。在产生层间参考图片后，视频解码器30的运动补偿单元72可如上所述地操作，以基于经解码残余数据及使用3D查找表产生的层间参考图片而重建视频数据的较高层的图片中的视频块。
图13为展示根据本发明的技术的色空间的矩形立方体分割区的概念说明。像素值域160被分割成矩形立方体分割区162A-D(总称为矩形立方体162)。像素值域可包含任何像素值域，包含YUV及YCbCr。每一矩形立方体分割区162A-D通过视频编码器20独立地优化。由于每一矩形立方体分割区162A-D经独立地优化，因此属于两个邻近分割区(例如，162A及162B；162A及162C)且彼此之间具有极小值差(例如，图13中的小距离)的两个像素色值在用于两个像素值的映射值上可具有相对较大的差。如果视频编码器20将层间预测参考用于增强层图片/块，那么序列的某些帧中可能出现一些伪影。此些伪影通常看起来像轮廓伪影，且通常在增强层(EL)为HDR数据且基础层(BL)为从HDR内容进行人工分级的SDR数据的情况下最明显。
通过视频编码器20检测(视频序列内)潜在地含有伪影的块。视频编码器20可关于潜在地含有伪影对视频序列的视频块内的像素中的一些或全部进行测试。对于任何分割区边界166、168及169，定义临限像素值164，x_a(个别地，临限像素值164A及164B)，且将处于分割区边界166的临限像素值164内的所有像素值收集在列表中。所述列表可用以标记某些块含有位于临限像素值164内的像素值。在一个实例中，对于每一分割区边界166、168及169，分别存储矩形立方体162中的像素。在另一实例中，收集所有三个分量(即，亮度及两个色度值)中的所有分割区边界166、168、169的像素。在另一实例中，仅仅收集沿亮度轴线的分割区边界166的像素值。如果亮度分割区出现在像素值127与128之间且临限像素值164为4，那么将属于第一分割区162A且具有在[124,127]范围内的亮度值的所有像素收集在第一列表中，且将位于第二分割区162B中且具有在[128,131]范围内的亮度值的所有像素收集在第二列表中。在又一实例中，可将不同阈值164A及164B用于共享分割区边界166的矩形立方体分割区162A、162B。
对于被识别为潜在地含有伪影的那些块(CU/PU)，可停用层间预测(例如，CU层级合并、PU层级合并、跳过模式、与层间预测候选有关的残余预测)。
图14为展示根据本发明的技术的基础层及增强层的色空间的矩形立方体分割区的概念说明。对于单一分量(例如，亮度或色度)，基础层分割区172A-D由视频编码器20映射到增强层分割区174A-D。如关于图13所描述，可用阈值x_a 164内的(来自视频块的)像素值形成两个列表，邻近分割区中的每一个的一个列表。针对来自两个列表的分量像素值的每一组合定义阈值x_b 176及阈值x_c 178。举例来说，来自第一列表的值k1及来自第二列表的值k2。在k1与k2及k1与k2的映射值之间进行两个比较的像素值差检查。第一比较为k1与k2之间的差是否未超过阈值x_b 176(即，|k1-k2|<x_b)，其指示基础层域(分割区172)中的像素值差相对较小。第二比较为k1的映射值(k1')与k2的映射值(k2')之间的差是否超过阈值x_c 178(即，|k1'-k2'|>x_c)(使用每一分割区的相应CGS表)，其指示增强层域(分割区174)中的像素值差相对较大。如果两个比较为真，那么将块标记为潜在地含有伪影。
在一实例中，定义一或多对阈值x_b 176及x_c 178，且针对每一对阈值执行像素值差检查。如果检查的一子集(或所有检查)得以满足，那么受试块由视频编码器20标记为潜在地含有伪影。举例来说，可应用一对阈值(针对阈值x_b 176及阈值x_c 178)来检测相对较大的差，且可应用另一对来检测相对较小的变化。在比较基础层像素值差时，像素值差检查可使用较小阈值，例如，阈值x_b 176。对于经CGS映射的基础层像素值差，像素值差检查可将较大阈值(例如，阈值x_c 178)。当块中的基础层像素值的像素差小于第一(较小)阈值，且增强层中的像素值差大于第二(较大)阈值时，伪影在使用层间预测的情况下可能可见。
在又一实例中，定义像素值对的某一临限数目t，以使得仅在满足像素值差检查的对的数目大于t时，将块标记为潜在地含有伪影。在另一实例中，针对分割区边界(分割区172A-D；174A-D之间)的子集仅执行像素值差检查。举例来说，中间范围[256,384]中的亮度值的伪影相对更加可见，其将意味着可在进行较少检查的情况下减少编码时间，同时具有较少可见伪影的大部分益处。在另一实例中，当块的像素值的变化未超过某一阈值时，一对阈值x_b 176及x_c 178的像素值差检查。
图15为说明编码视频数据的实例操作的流程图。图15的实例操作在本文中描述为由图11的视频编码器20执行。
根据本发明的技术，视频编码器20可接收包括多个视频块的视频数据(180)。所述多个视频块包括色空间中的多个像素值。视频编码器20可获得色域缩放性(CGS)参数(182)。获得CGS参数可包含将所述色空间分裂成多个矩形立方体分割区，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界。获得CGS参数可包含基于每一色彩分量的所述多个矩形立方体分割区而产生三维查找表、最小化属于所述多个矩形立方体分割区中的每一个的像素之间的均方值。
视频编码器20可识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值(184)。可使CGS参数产生伪影的特性包含邻近矩形立方体分割区中具有小的值差的多个像素对，其中所述对像素的映射值具有大的值差。可基于一或多个阈值来确定小的值差及大的值差。
视频编码器20可接着识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块(186)。视频编码器20可对所述经识别块停用层间预测模式(188)。视频编码器20可使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块(190)。编码所述多个视频块可包含，对于所述多个矩形立方体分割区中的每一个，编码用于所述三维查找表中的色值的线性色彩映射函数的CGS参数。由视频编码器20进行的编码可使用允用的预测模式。
可缩放视频译码过程可包含编码含有具有变化的质量层的一或多个子集位流的视频位流。举例来说，基础层具有最低空间及质量层，且增强层具有较高空间及/或质量层。经由可缩放视频译码过程编码的位流可包含相同时间实例中的经译码图片或切片，所述经译码图片或切片以位流次序连续且在可缩放视频译码标准(例如H.264的SVC扩展或SHVC)的情况下形成一个存取单元。存取单元可接着遵循解码次序，所述解码次序可不同于显示次序且(例如)通过存取单元之间的时间预测关系确定。
图16为说明识别及减少经编码视频中的伪影的实例操作的流程图。图16的实例操作在本文中描述为由图11的视频编码器20执行。
根据本发明的技术，视频编码器20可针对至少一个分割区边界定义像素值的阈值(200)。视频编码器20可将处于多个矩形立方体分割区中邻近于至少一个分割区边界的矩形立方体分割区的像素值的阈值内的所有像素值收集到像素值的列表中(202)。视频编码器20可识别含有列表上的像素值的块(204)。视频编码器20可阻止经识别块上的层间预测(206)。
此外，视频编码器20可收集所有色彩分量(例如，亮度值及色度值)上的所有分割区边界的像素信息。视频编码器20还可收集分割区边界的部分(例如，亮度轴线的一部分)的像素。举例来说，如果亮度分割区出现在像素值127与128之间，且阈值为4，那么将属于第一分割区且具有[124,127]范围内的亮度值的所有像素收集在第一列表上，且将第二分割区、具有[128,131]范围内的亮度值的所有像素收集在第二列表中。在又一实例中，可将不同阈值用于共享分割区边界的分割区。
图17为说明识别及减少经编码视频中的伪影的实例操作的流程图。图17的实例操作在本文中描述为由图11的视频编码器20执行。
根据本发明的技术，视频编码器20可定义第一矩形立方体分割区的像素值相对于分割区边界的阈值(210)。视频编码器20可将处于邻近于至少一个分割区边界的第一矩形立方体分割区的像素值的阈值内的所有像素值收集到像素值的第一列表中(212)。视频编码器20可将处于邻近于至少一个分割区边界的第二矩形立方体分割区的像素值的阈值内的所有像素值收集到像素值的第二列表中(214)。视频编码器20可确定第一列表上的第一像素值与第二列表上的第二像素值之间的第一差(216)。视频编码器20可确定第一像素值的第一CGS映射值与第二像素值的第二CGS映射值之间的第二差(218)。视频编码器20可接着在第一差小于第二阈值且第二差大于第三阈值时，对至少一个视频块停用层间预测模式。
此外，视频编码器20可定义一或多对阈值(x_b及x_c)，且对每一对阈值执行像素值差检查。当检查的子集(或在其它实例中，所有检查)得以满足时，视频编码器20可将块标记为潜在地含有伪影。举例来说，可应用一对阈值来检测相对较大的差(例如，其中x_b及x_c相对较大)，且可应用另一对阈值来检测相对较小的变化(例如，其中x_b及x_c相对较小)。在另一实例中，定义像素值对的临限数目t，以使得仅在满足上文像素条件检查的对的数目高于t时。视频编码器20可将块标记为潜在地含有伪影。在又一实例中，仅由视频编码器20对分割区边界的子集执行像素值差检查。举例来说，中间范围[256,384]中的亮度值中的伪影非常明显，且在分割区边界落在此范围中时，仅执行像素值检查中的一些。在另一实例中，在块的像素值的变化未超过某一临限时，通过视频编码器20仅应用一对阈值(x_b、x_c)的像素值差检查。
图18为说明修改CGS映射的实例操作的流程图。图18的实例操作在本文中描述为由图11的视频编码器20执行。
根据本发明的技术，视频编码器20可确定含有特定视频块的最大数目个像素的矩形立方体分割区(230)。视频编码器20可接着修改CGS映射以映射矩形立方体分割区中的块中的所有像素(232)。
图19为说明修改CGS映射的实例操作的流程图。图19的实例操作在本文中描述为通过图11的视频编码器20执行。
根据本发明的技术，视频编码器20可基于矩形立方体分割区中的所有像素值来估计矩形立方体分割区的CGS参数(240)。视频编码器20可计算CGS参数的每一映射值与原始增强层参考值之间的多个差值(242)。视频编码器20可在所述多个差值的差值超过阈值的情况下，排除矩形立方体分割区中的至少一个像素值(244)。视频编码器20可基于矩形立方体分割区中的未排除像素值来重新估计矩形立方体分割区的CGS参数(246)。
图20为说明更改CGS分割区数目的实例操作的流程图。图20的实例操作在本文中描述为由图11的视频编码器20执行。
根据本发明的技术，视频编码器20可积极地更新CGS参数，以便考虑位速率未超过某一值而利用较佳映射函数。此是由于较大分割区数目允许视频编码器20进行映射图片的较佳估计。视频编码器20可基于直到当前图片为止已发送的对应于CGS参数的位的数目与直到当前图片为止所发送的位的总数目的比来计算CGS位预算(250)。视频编码器20可确定位预算是否低于第一阈值(252)。如果是，那么视频编码器20可使矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的数目增大(254)。如果不是，那么视频编码器20可确定位预算是否高于第二阈值(256)。如果是，那么视频编码器20可使矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的数目减小。如果不是，那么视频编码器20可在分割区的先前数目较小时增大矩形立方体分割区的数目，且在分割区的先前数目较大时减小矩形立方体分割区的数目(260)。
类似地，视频编码器20可应用如同以下规则集合来确定分割区数目：
dBitCost＝m_nAccuFrameCGSBit/m_nAccuFrameBit，其中nAccuFrameCGSBit为直到当前图片为止用以发信位流中的CGS参数的总位，且nAccuFrameBit为直到当前图片为止在位流中发信的位的总数目。因此，dBitCost为用以指示CGS参数的位的数目与位的总数目的比。
dBitCostT为用于比较dBitCost的阈值。dBitCostT可为固定的或变化的，且可由视频编码器20设置。
nPartNumLog2为用以推导分割(即，立方体数目)的变量。一般来说，nPartNumLog2的值越大，立方体越多，但立方体数目并非随着nPartNumLog2的值单调增大。举例来说，如果Y空间中存在8个分割区，且U及V空间中分别存在2个分割区，那么nPartNumLog2的值等于log28+log22+log22，或3+1+1，其将为5个分割区。分割可首先在Y(亮度)轴线中发生。随后在(例如)nPartNumLog2的值仍准许的情况下，可分割色度轴线(U及V)。
前述码段在由(例如)视频编码器20执行时确定是否应增大或减小分割区的数目。码段以确定CGS参数位与位的总数目的比是否小于阈值的1/6开始。如果CGS参数位与位的总数目的比小于阈值的1/6，且分割区的数目小于三，那么添加两个分割区。如果CGS参数位与位的总数目的比小于阈值的1/6，且分割区的数目不小于三，那么添加一个分割区。
如果CGS参数位与位的总数目的比不小于阈值的1/6，但所述比大于或等于所述阈值，且分割区的数目大于或等于6，那么使分割区的数目减半。如果CGS参数位与位的总数目的比不小于阈值的1/6，但所述比大于或等于所述阈值，且分割区的数目不大于或等于6，那么使分割区的数目递减。
如果CGS参数位与位的总数目的比不小于阈值的1/6，且所述比也不大于或等于阈值：如果分割区的数目大于或等于6，那么使分割区数目递减。如果分割区的数目小于或等于3，那么使分割区的数目递增。在这个实例中，分割区的数目可由用以推导分割区的数目的变量替换。
在另一实例中，视频编码器20可将色空间分裂成多个矩形立方体分割区。视频编码器20可至少部分地基于直到当前图片为止已发送的对应于CGS参数的位的数目与直到当前图片为止所发送的位的总数目的比来计算CGS位预算。视频编码器20可在CGS位预算低于第一阈值时，使多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目增大第一值，所述第一值是基于多个矩形立方体分割区的所述数目而确定。视频编码器20可在CGS位预算高于第二阈值时，使多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目减小第二值，所述第二值是基于多个矩形立方体分割区的所述数目而确定。视频编码器20可在CGS位预算高于或等于第一阈值或低于或等于第二阈值时，使多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目改变第三值，所述第三值是基于多个矩形立方体分割区的所述数目而确定。
为了说明的目的，本发明的某些方面已关于HEVC标准的扩展而描述。然而，本发明中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指视频编码或视频解码(在适用时)。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如，并非所有所描述动作或事件为实践所述技术所需的)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时地而非顺序地执行动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体，或通信媒体，包含(例如)根据通信协议促进计算机程序从一位置传送另一位置的任何媒体。以此方式，计算机可读媒体大体可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。另外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源传输指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上组合还应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成式或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可提供在经配置用于编码及解码的专用硬件及/或软件模块内，或并入组合式编解码器中。此外，所述技术可完全实施在一或多个电路或逻辑元件中。
本发明的技术可以多种装置或设备来实施，所述装置或设备包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切来说，如上所述，可将各种单元组合在编解码器硬件单元中，或由互操作性硬件单元(包含如上所述的一或多个处理器)的集合结合合适的软件及/或固件来提供所述单元。
已描述各种实例。此些及其它实例在以下权利要求书的范围内。

Claims (30)

1.一种编码视频数据的方法，所述方法包括：
接收包括多个视频块的视频数据，所述多个视频块包括色空间中的多个像素值；
获得色域缩放性CGS参数，所述获得包括将所述色空间分裂成多个矩形立方体分割区，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；
识别所述多个矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值；
识别所述多个视频块中含有包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的所述像素值的块；
对所述经识别块停用层间预测模式；及
使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块。
2.根据权利要求1所述的方法，其中所述多个视频块包括译码单元或预测单元。
3.根据权利要求1所述的方法，其中所述至少一个分割区边界包括所述色空间中的像素分量的分割区边界。
4.根据权利要求3所述的方法，其进一步包括：
定义所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第一矩形立方体分割区的像素值的第一阈值；及
定义所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第二矩形立方体分割区的像素值的第二阈值，所述第二矩形立方体分割区不同于所述多个矩形立方体分割区中的所述第一矩形立方体分割区，
其中识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块包括：
收集处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的所述第一矩形立方体分割区的像素值的所述第一阈值内的所有像素值，及
收集处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的所述第二矩形立方体分割区的像素值的所述第二阈值内的所有像素值。
5.根据权利要求3所述的方法，其中所述像素分量包括所述色空间的亮度分量。
6.根据权利要求1所述的方法，其中识别所述矩形立方体分割区中的可使所述所获得CGS参数在解码所述多个视频块时产生伪影的像素值包括将处于像素值关于第一分割区边界的阈值内的所有像素值收集到像素值的第一列表中，及将处于像素值关于第二分割区边界的阈值内的所有像素值收集到像素值的第二列表中。
7.根据权利要求1所述的方法，其中所述CGS参数包括对应于所述多个矩形立方体分割区中包括所述多个视频块的第一视频块中的最大数目个像素的所述矩形立方体分割区的CGS映射，其用以映射所述第一视频块中的所有像素。
8.根据权利要求1所述的方法，其中获得CGS参数进一步包括：
基于所述多个矩形立方体分割区的矩形立方体分割区中的所有像素值来估计所述矩形立方体分割区的CGS参数；
计算所述CGS参数的每一映射值与原始增强层参考值之间的多个差值；
在所述多个差值中的所述差值超过阈值的情况下，排除所述矩形立方体分割区中的所述所有像素值的至少一个像素值；及
基于所述矩形立方体分割区中的未排除像素值来重新估计所述矩形立方体分割区的所述CGS参数。
9.根据权利要求1所述的方法，其中将所述色空间分裂成多个矩形立方体分割区包括：
至少部分地基于直到当前图片为止已发送的对应于CGS参数的位的数目与直到所述当前图片为止所发送的位的总数目的比来计算CGS位预算；
在所述CGS位预算低于第一阈值时，使所述多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目增大第一值，所述第一值是基于多个矩形立方体分割区的所述数目而确定；
在所述CGS位预算高于第二阈值时，使所述多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目减小第二值，所述第二值是基于多个矩形立方体分割区的所述数目而确定；及
在所述CGS位预算高于或等于所述第一阈值或低于或等于所述第二阈值时，使所述多个矩形立方体分割区的所述数目相比于先前图片的矩形立方体分割区的第二数目改变第三值，所述第三值是基于多个矩形立方体分割区的所述数目而确定。
10.根据权利要求1所述的方法，其进一步包括：
定义所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第一矩形立方体分割区的像素值的阈值，
其中识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块包括：
将处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的所述第一矩形立方体分割区的像素值的所述阈值内的所有像素值收集到像素值的第一列表中，及
将处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第二矩形立方体分割区的像素值的所述阈值内的所有像素值收集到像素值的第二列表中。
11.根据权利要求10所述的方法，其进一步包括：
确定所述第一列表上的第一像素值与所述第二列表上的第二像素值之间的第一差；及
确定所述第一像素值的第一CGS映射值与所述第二像素值的第二CGS映射值之间的第二差，
其中对所述经识别块停用所述层间预测模式包括：在所述第一差小于第二阈值且所述第二差大于第三阈值时，对所述多个视频块中的至少一个视频块停用所述层间预测模式。
12.根据权利要求10所述的方法，其进一步包括：
对所述第一列表及所述第二列表上的每一对像素值：
确定所述第一列表上的第一像素值与所述第二列表上的第二像素值之间的第一差；及
确定所述第一像素值的第一CGS映射值与所述第二像素值的第二CGS映射值之间的第二差，
其中对所述经识别块停用所述层间预测模式包括：在所述第一差小于第二阈值，且所述第二差大于第三阈值超出所述第一列表及所述第二列表上的像素值对的总数目的对的第四阈值时，对所述多个视频块中的至少一个视频块停用所述层间预测模式。
13.根据权利要求1所述的方法，其中所述色空间包括YUV或YCBCR色空间。
14.根据权利要求1所述的方法，其进一步包括：
定义像素值关于所述至少一个分割区边界的阈值，
其中识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块包括将处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的矩形立方体分割区的像素值的所述阈值内的所有像素值收集到像素值的列表中。
15.根据权利要求1所述的方法，其中：
获得色域缩放性CGS参数进一步包括：
基于每一色彩分量的所述多个矩形立方体分割区而产生三维查找表，及
最小化属于所述多个矩形立方体分割区中的每一个的像素之间的均方值，且编码所述多个视频块进一步包括：
对于所述多个矩形立方体分割区中的每一个，编码用于所述三维查找表中的色值的线性色彩映射函数的CGS参数。
16.一种用于处理数据的装置，所述装置包括：
存储器，其经配置以存储视频数据；及
一或多个处理器，所述一或多个处理器与所述存储器通信且经配置以进行以下操作：
接收包括多个视频块的所述视频数据，所述多个视频块包括色空间中的多个像素值；
经由所述色空间到多个矩形立方体分割区的分裂来获得色域缩放性CGS参数，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；
识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值；
识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块；
对所述经识别块停用层间预测模式；及
使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块。
17.根据权利要求16所述的装置，其中所述至少一个分割区边界包括所述色空间中的像素分量的分割区边界。
18.根据权利要求17所述的装置，其中所述一或多个处理器经进一步配置以：
定义所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第一矩形立方体分割区的像素值的第一阈值；及
定义所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第二矩形立方体分割区的像素值的第二阈值，所述第二矩形立方体分割区不同于所述多个矩形立方体分割区中的所述第一矩形立方体分割区，
收集处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的所述第一矩形立方体分割区的像素值的所述第一阈值内的所有像素值，及
收集处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的所述第二矩形立方体分割区的像素值的所述第二阈值内的所有像素值。
19.根据权利要求17所述的装置，其中所述像素分量包括所述色空间的亮度分量。
20.根据权利要求16所述的装置，其中所述一或多个处理器经进一步配置以：
将处于像素值关于第一分割区边界的阈值内的所有像素值收集到像素值的第一列表中，及将处于像素值关于第二分割区边界的阈值内的所有像素值收集到像素值的第二列表中。
21.根据权利要求16所述的装置，其中所述CGS参数包括对应于所述多个矩形立方体分割区中包括所述多个视频块的第一视频块中的最大数目个像素的所述矩形立方体分割区的CGS映射，其用以映射所述第一视频块中的所有像素。
22.根据权利要求16所述的装置，其中所述一或多个处理器经进一步配置以：
基于所述多个矩形立方体分割区的矩形立方体分割区中的所有像素值来估计所述矩形立方体分割区的CGS参数；
计算所述CGS参数的每一映射值与原始增强层参考值之间的多个差值；
在所述多个差值中的所述差值超过阈值的情况下，排除所述矩形立方体分割区中的所述所有像素值的至少一个像素值；及
基于所述矩形立方体分割区中的未排除像素值来重新估计所述矩形立方体分割区的所述CGS参数。
23.根据权利要求16所述的装置，其中所述一或多个处理器经进一步配置以：
至少部分地基于直到当前图片为止已发送的对应于CGS参数的位的数目与直到所述当前图片为止所发送的位的总数目的比来计算CGS位预算；
在所述CGS位预算低于第一阈值时，使所述多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目增大第一值，所述第一值是基于多个矩形立方体分割区的所述数目而确定；
在所述CGS位预算高于第二阈值时，使所述多个矩形立方体分割区的数目相比于先前图片的矩形立方体分割区的第二数目减小第二值，所述第二值是基于多个矩形立方体分割区的所述数目而确定；及
在所述CGS位预算高于或等于所述第一阈值或低于或等于所述第二阈值时，使所述多个矩形立方体分割区的所述数目相比于先前图片的矩形立方体分割区的第二数目改变第三值，所述第三值是基于多个矩形立方体分割区的所述数目而确定。
24.根据权利要求16所述的装置，其中所述一或多个处理器经进一步配置以：
定义所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第一矩形立方体分割区的像素值的阈值；
将处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的所述第一矩形立方体分割区的像素值的所述阈值内的所有像素值收集到像素值的第一列表中；及
将处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的第二矩形立方体分割区的像素值的所述阈值内的所有像素值收集到像素值的第二列表中。
25.根据权利要求24所述的装置，其中所述一或多个处理器经进一步配置以：
确定所述第一列表上的第一像素值与所述第二列表上的第二像素值之间的第一差；及
确定所述第一像素值的第一CGS映射值与所述第二像素值的第二CGS映射值之间的第二差；及
在所述第一差小于第二阈值且所述第二差大于第三阈值时，对所述多个视频块中的至少一个视频块停用所述层间预测模式。
26.根据权利要求24所述的装置，其中所述一或多个处理器经进一步配置以：对所述第一列表及所述第二列表上的每一对像素值；
确定所述第一列表上的第一像素值与所述第二列表上的第二像素值之间的第一差；
确定所述第一像素值的第一CGS映射值与所述第二像素值的第二CGS映射值之间的第二差；及
在所述第一差小于第二阈值，且所述第二差大于第三阈值超出所述第一列表及所述第二列表上的像素值对的总数目的对的第四阈值时，对所述多个视频块中的至少一个视频块停用所述层间预测模式。
27.根据权利要求16所述的装置，其中所述一或多个处理器经进一步配置以：
定义像素值关于所述至少一个分割区边界的阈值；及
将处于所述多个矩形立方体分割区中邻近于所述至少一个分割区边界的矩形立方体分割区的像素值的所述阈值内的所有像素值收集到像素值的列表中。
28.根据权利要求16所述的装置，其中所述一或多个处理器经进一步配置以：
基于每一色彩分量的所述多个矩形立方体分割区而产生三维查找表；
最小化属于所述多个矩形立方体分割区中的每一个的像素之间的均方值；及
编码用于所述三维查找表中的色值的线性色彩映射函数的CGS参数。
29.一种用于编码视频数据的装置，所述装置包括：
用于接收包括多个视频块的视频数据的装置，所述多个视频块包括色空间中的多个像素值；
用于获得色域缩放性CGS参数的装置，所述获得包括将所述色空间分裂成多个矩形立方体分割区，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；
用于识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值的装置；
用于识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块的装置；
用于对所述经识别块停用层间预测模式的装置；及
用于使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块的装置。
30.一种非暂时性计算机可读存储媒体，其包括存储在其上的指令，所述指令在经执行时使其至少一个处理器：
接收包括多个视频块的视频数据，所述多个视频块包括色空间中的多个像素值；
经由所述色空间到多个矩形立方体分割区的分裂来获得色域缩放性CGS参数，所述多个矩形立方体分割区中的每一个包括所述多个矩形立方体分割区之间的至少一个分割区边界；
识别所述矩形立方体分割区中的包括可使所述所获得CGS参数在解码所述多个视频块时产生伪影的特性的像素值；
识别所述多个视频块中含有可使所述所获得CGS参数在解码所述多个视频块时产生伪影的所述像素值的块；
对所述经识别块停用层间预测模式；及
使用具有所述所获得CGS参数的可缩放视频译码过程来编码所述多个视频块。
CN201680032771.6A 2015-06-08 2016-06-08 可缩放视频译码中色域缩放性参数及表的推导 Active CN107690808B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562172779P 2015-06-08 2015-06-08
US62/172,779 2015-06-08
US15/175,944 2016-06-07
US15/175,944 US10321162B2 (en) 2015-06-08 2016-06-07 Derivation of color gamut scalability parameters and tables in scalable video coding
PCT/US2016/036448 WO2016200940A1 (en) 2015-06-08 2016-06-08 Derivation of color gamut scalability parameters and tables in scalable video coding

Publications (2)

Publication Number Publication Date
CN107690808A true CN107690808A (zh) 2018-02-13
CN107690808B CN107690808B (zh) 2020-05-19

Family

ID=57452733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032771.6A Active CN107690808B (zh) 2015-06-08 2016-06-08 可缩放视频译码中色域缩放性参数及表的推导

Country Status (7)

Country Link
US (1) US10321162B2 (zh)
EP (1) EP3304903B1 (zh)
JP (1) JP2018522463A (zh)
KR (1) KR20180017019A (zh)
CN (1) CN107690808B (zh)
TW (1) TW201709743A (zh)
WO (1) WO2016200940A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015013685A1 (en) 2013-07-25 2015-01-29 Convida Wireless, Llc End-to-end m2m service layer sessions
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
US10225561B2 (en) * 2015-10-08 2019-03-05 Mediatek Inc. Method and apparatus for syntax signaling in image and video compression
WO2017196670A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10932276B2 (en) 2016-11-03 2021-02-23 Convida Wireless, Llc Frame structure in NR
CN116233416A (zh) * 2017-01-16 2023-06-06 世宗大学校产学协力团 影像编码/解码方法
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
US10924747B2 (en) * 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN110383848B (zh) 2017-03-07 2022-05-06 交互数字麦迪逊专利控股公司 用于多设备呈现的定制视频流式传输
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
KR20210066856A (ko) 2018-09-27 2021-06-07 콘비다 와이어리스, 엘엘씨 새로운 라디오의 비허가 스펙트럼들에서의 부대역 동작들
US10769150B1 (en) * 2019-12-26 2020-09-08 Snowflake Inc. Pruning indexes to enhance database query processing
CN117197048B (zh) * 2023-08-15 2024-03-08 力鸿检验集团有限公司 一种船舶水尺读数检测方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
US20140140399A1 (en) * 2012-11-21 2014-05-22 Qualcomm Incorporated Low-complexity support of multiple layers for hevc extensions in video coding
US20140161179A1 (en) * 2012-12-12 2014-06-12 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
WO2015057656A1 (en) * 2013-10-14 2015-04-23 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6330507B2 (ja) * 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
US20140140399A1 (en) * 2012-11-21 2014-05-22 Qualcomm Incorporated Low-complexity support of multiple layers for hevc extensions in video coding
US20140161179A1 (en) * 2012-12-12 2014-06-12 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
WO2015057656A1 (en) * 2013-10-14 2015-04-23 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding

Also Published As

Publication number Publication date
TW201709743A (zh) 2017-03-01
US20160360235A1 (en) 2016-12-08
EP3304903B1 (en) 2020-08-05
KR20180017019A (ko) 2018-02-20
JP2018522463A (ja) 2018-08-09
CN107690808B (zh) 2020-05-19
WO2016200940A1 (en) 2016-12-15
EP3304903A1 (en) 2018-04-11
US10321162B2 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
CN107690808A (zh) 可缩放视频译码中色域缩放性参数及表的推导
CN105814893B (zh) 在多层视频译码中信息用于色域可扩展性的3d查找表的发信分区
CN105659595B (zh) 多层视频译码中的基于三维查找表的色域可缩放性
CN105432085B (zh) 对多层视频译码的层间预测信令的优化
CN107690803B (zh) 用于高动态范围及广色域视频译码的自适应常量照度方法
CN105284113B (zh) 分量间滤波
CN106797479B (zh) 对于并行处理的帧内块复制预测限制
CN105359526B (zh) 用于视频译码的跨层并行处理与偏移延迟参数
CN104170380B (zh) 视频译码中的视差矢量预测
CN104704833B (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104885459B (zh) 用于多层译码的多分辨率经解码图片缓冲器管理
CN104904213B (zh) 可缩放及多视角视频译码中的高级残差预测
CN105637878B (zh) 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信
CN105814892B (zh) 视频编解码的方法、装置以及相应的计算机可读存储媒体
CN109691102A (zh) 跨分量滤波器
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN105027571B (zh) 三维视频译码中导出的视差向量
CN105075258B (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN110463202A (zh) 色彩分量当中的滤波器信息共享
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN109716765A (zh) 用于视频译码中的帧内预测的经改进内插滤波器
CN109196867A (zh) 在帧内预测中使用的参考线索引的隐式译码
CN108781296A (zh) 为视频译码中非方形块确定预测参数
CN109076228A (zh) 滤波信息的发信号
CN109964482A (zh) 视频译码中的双边滤波器使用的指示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant