CN105814892B - 视频编解码的方法、装置以及相应的计算机可读存储媒体 - Google Patents

视频编解码的方法、装置以及相应的计算机可读存储媒体 Download PDF

Info

Publication number
CN105814892B
CN105814892B CN201480067949.1A CN201480067949A CN105814892B CN 105814892 B CN105814892 B CN 105814892B CN 201480067949 A CN201480067949 A CN 201480067949A CN 105814892 B CN105814892 B CN 105814892B
Authority
CN
China
Prior art keywords
look
component
octant
video
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480067949.1A
Other languages
English (en)
Other versions
CN105814892A (zh
Inventor
李想
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105814892A publication Critical patent/CN105814892A/zh
Application granted granted Critical
Publication of CN105814892B publication Critical patent/CN105814892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明描述用于在多层视频译码中发信用以产生用于色域可扩展性的三维3D色彩查找表的信息的技术。视频数据的较低层可包含在第一色域中的色彩数据，且所述视频数据的较高层可包含在第二色域中的色彩数据。为了产生层间参考图像，视频编码器或视频解码器使用3D查找表执行色彩预测以将所述第一色域中的参考图像的所述色彩数据转换到所述第二色域。根据所述技术，视频编码器可编码针对色域可扩展性产生的3D查找表的分区信息及/或色彩值。视频解码器可解码所述分区信息及/或所述色彩值以产生所述3D查找表，以便执行色域可扩展性。

Description

视频编解码的方法、装置以及相应的计算机可读存储媒体
相关申请案
本申请案主张2013年12月17日申请的第61/917,228号美国临时申请案及2014年5月30日申请的第62/005,845号美国临时申请案的权利。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、便携式或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流装置及类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频译码技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分) 分割成视频块，其也可被称作树型块、译码单元(CU)及/或译码节点。图片的经帧内译码 (I)的切片中的视频块是使用关于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)片段中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致可接着进行量化的残余变换系数。可扫描一开始排列成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说，本发明描述用于发信于多层视频译码中用以产生用于色域可扩展性的三维(3D)色彩查找表的信息。用于色域可扩展性的色彩预测技术可由视频编码器及/或视频解码器用以当用于视频数据的较低层的色域不同于用于视频数据的较高层的色域时产生层间参考图片。举例来说，视频编码器及/或视频解码器可首先使用用于色域可扩展性的3D查找表执行色彩预测以将用于较低层的参考图片的色彩数据转换到用于较高层的色域，且接着基于转换的色彩数据产生层间参考图片。根据本发明中描述的技术，视频编码器可编码针对色域可扩展性产生的3D查找表的分区信息及/或色彩值。视频解码器可解码分区信息及/或色彩值以产生3D查找表，以便执行色域可扩展性。
在一个实例中，本发明是针对一种解码视频数据的方法，所述方法包括确定用于色域可扩展性的三维(3D)查找表的基础分区值；确定所述3D查找表的亮度分量的亮度分区值；及产生具有色度分量的较粗分割及所述亮度分量的较细分割的所述3D查找表，包含基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区。所述方法进一步包括解码所述视频数据的视频块的残余数据；及基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块。
在另一实例中，本发明是针对一种编码视频数据的方法，所述方法包括产生具有用于色度分量的较粗分割及用于亮度分量的较细分割的用于色域可扩展性的三维(3D)查找表，包含基于所述3D查找表的基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述3D查找表的所述亮度分量的亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区。所述方法进一步包括基于使用所述3D查找表产生的至少一个参考图片预测所述视频数据的视频块；及在位流中编码所述视频块的残余数据。
在再一实例中，本发明是针对一种视频解码装置，所述视频解码装置包括：存储器，其经配置以存储视频数据；及与所述存储器通信的一或多个处理器。所述一或多个处理器经配置以确定用于所述视频数据的色域可扩展性的三维(3D)查找表的基础分区值；确定所述3D查找表的亮度分量的亮度分区值；及产生具有色度分量的较粗分割及所述亮度分量的较细分割的所述3D查找表，所述一或多个处理器经配置以基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区。所述一或多个处理器经进一步配置以解码所述视频数据的视频块的残余数据，及基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块。
在另一实例中，本发明是针对一种视频编码装置，所述视频编码装置包括：存储器，其经配置以存储视频数据；及与所述存储器通信的一或多个处理器。所述一或多个处理器经配置以产生具有用于色度分量的较粗分割及用于亮度分量的较细分割的用于所述视频数据的色域可扩展性的三维(3D)查找表，所述一或多个处理器经配置以基于基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述3D查找表的所述亮度分量的亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区。所述一或多个处理器经进一步配置以基于使用所述3D查找表产生的至少一个参考图片预测所述视频数据的视频块，及在位流中编码所述视频块的残余数据。
在额外实例中，本发明是针对一种视频解码装置，其包括：用于确定用于色域可扩展性的三维(3D)查找表的基础分区值的装置；用于确定所述3D查找表的亮度分量的亮度分区值的装置；及用于产生具有色度分量的较粗分割及所述亮度分量的较细分割的所述3D查找表的装置，包含用于基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区的装置，及用于基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区的装置。所述视频解码装置进一步包括用于解码所述视频数据的视频块的残余数据的装置；及用于基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块的装置。
在再一实例中，本发明是针对一种计算机可读存储媒体，其存储用于解码视频数据的指令，所述指令当经执行时使一或多个处理器：确定用于色域可扩展性的三维(3D)查找表的基础分区值；确定所述3D查找表的亮度分量的亮度分区值；及产生具有色度分量的较粗分割及所述亮度分量的较细分割的所述3D查找表，所述指令使所述一或多个处理器基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区。所述指令进一步使所述一或多个处理器解码所述视频数据的视频块的残余数据；及基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块。
在另一实例中，本发明是针对一种解码视频数据的方法，所述方法包括：确定用于色域可扩展性的三维(3D)查找表的三个色彩分量中的每一者的八分区的数目；对于所述色彩分量中的每一者的所述八分区中的每一者，解码所述3D查找表中的色彩值的用以将用于所述视频数据的较低层的第一色域中的色彩数据转换到用于所述视频数据的较高层的第二色域的线性色彩映射函数的色彩映射系数；及基于所述色彩分量中的每一者的八分区的所述数目及所述八分区中的每一者的与所述色彩映射系数相关联的色彩值产生所述3D查找表。所述方法进一步包括解码所述视频数据的视频块的残余数据；及基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块。
在再一实例中，本发明是针对一种编码视频数据的方法，所述方法包括基于三个色彩分量中的每一者的八分区的数目及所述八分区中的每一者的色彩值产生用于色域可扩展性的三维(3D)查找表；及对于所述色彩分量中的每一者的所述八分区中的每一者，编码所述3D查找表中的所述色彩值的用以将用于所述视频数据的较低层的第一色域中的色彩数据转换到用于所述视频数据的较高层的第二色域的线性色彩映射函数的色彩映射系数。所述方法进一步包括基于使用所述3D查找表产生的至少一个参考图片预测所述视频数据的视频块；及在位流中编码所述视频块的残余数据。
在额外实例中，本发明是针对一种视频解码装置，所述视频解码装置包括：存储器，其经配置以存储视频数据；及与所述存储器通信的一或多个处理器。所述一或多个处理器经配置以确定用于所述视频数据的色域可扩展性的三维(3D)查找表的三个色彩分量中的每一者的八分区的数目；对于所述色彩分量中的每一者的所述八分区中的每一者，解码所述3D查找表中的色彩值的用以将用于所述视频数据的较低层的第一色域中的色彩数据转换到用于所述视频数据的较高层的第二色域的线性色彩映射函数的色彩映射系数；及基于所述色彩分量中的每一者的八分区的所述数目及所述八分区中的每一者的与所述色彩映射系数相关联的色彩值产生所述3D查找表。所述一或多个处理器经进一步配置以解码所述视频数据的视频块的残余数据，及基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块。
在再一实例中，本发明是针对一种视频编码装置，所述视频编码装置包括：存储器，其经配置以存储视频数据；及与所述存储器通信的一或多个处理器。所述一或多个处理器经配置以基于三个色彩分量中的每一者的八分区的数目及所述八分区中的每一者的色彩值产生用于所述视频数据的色域可扩展性的三维(3D)查找表；及对于所述色彩分量中的每一者的所述八分区中的每一者，编码所述3D查找表中的所述色彩值的用以将用于所述视频数据的较低层的第一色域中的色彩数据转换到用于所述视频数据的较高层的第二色域的线性色彩映射函数的色彩映射系数。所述一或多个处理器经进一步配置以基于使用所述3D查找表产生的至少一个参考图片预测所述视频数据的视频块，及在位流中编码所述视频块的残余数据。
在另一实例中，本发明是针对一种视频解码装置，其包括：用于确定用于色域可扩展性的三维(3D)查找表的三个色彩分量中的每一者的八分区的数目的装置；用于对于所述色彩分量中的每一者的所述八分区中的每一者，解码所述3D查找表中的色彩值的用以将用于所述视频数据的较低层的第一色域中的色彩数据转换到用于所述视频数据的较高层的第二色域的线性色彩映射函数的色彩映射系数的装置；及用于基于所述色彩分量中的每一者的八分区的所述数目及所述八分区中的每一者的与所述色彩映射系数相关联的色彩值产生所述3D查找表的装置。所述视频解码装置进一步包括：用于解码所述视频数据的视频块的残余数据的装置；及用于基于所述经解码残余数据及使用所述3D 查找表产生的至少一个参考图片重建所述视频数据的所述视频块的装置。
在额外实例中，本发明是针对一种计算机可读存储媒体，其存储用于解码视频数据的指令，所述指令当经执行时使一或多个处理器确定用于色域可扩展性的三维(3D)查找表的三个色彩分量中的每一者的八分区的数目；对于所述色彩分量中的每一者的所述八分区中的每一者，解码所述3D查找表中的色彩值的用以将用于所述视频数据的较低层的第一色域中的色彩数据转换到用于所述视频数据的较高层的第二色域的线性色彩映射函数的色彩映射系数；及基于所述色彩分量中的每一者的八分区的所述数目及所述八分区中的每一者的与所述色彩映射系数相关联的色彩值产生所述3D查找表。所述指令进一步使所述一或多个处理器解码所述视频数据的视频块的残余数据；及基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图片重建所述视频数据的所述视频块。
在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及附图以及从权利要求书显而易见。
附图说明
图1为说明可利用基于3D查找表的色域可扩展性技术的实例视频编码及解码系统的方块图。
图2为展示在三个不同维度上的可扩展性的实例的概念说明。
图3为展示可扩展视频译码位流的实例结构的概念说明。
图4为展示按位流次序的实例可扩展视频译码存取单元的概念说明。
图5为说明HEVC(SHVC)编码器的实例可扩展视频译码扩充的方块图。
图6为说明样本视频序列的实例色域的曲线图。
图7为说明从高清晰度(HD)色域BT.709到超高清晰度(UHD)色域BT.2020的转换的方块图。
图8为说明包含色彩预测处理单元的色域可扩展译码器的方块图，当基础层色域与增强层色域不同时，所述色彩预测处理单元可产生层间参考图片。
图9(a)及9(b)为展示用于色域可扩展性的实例3D查找表的概念说明。
图10为展示通过用于色域可扩展性的3D查找表的三线性内插的概念说明。
图11为展示通过用于色域可扩展性的3D查找表的四面内插的概念说明。
图12为展示用以涵盖待使用四面内插来内插的3D查找表的点P的四面体的六个实例的概念说明。
图13为展示具有独立分割的亮度分量及联合分割的色度分量的实例3D查找表的概念说明。
图14为说明可实施用于在多层视频译码中使用基于3D查找表的色域可扩展性的技术的视频编码器的实例的方块图。
图15为说明可实施用于在多层视频译码中使用基于3D查找表的色域可扩展性的技术的视频解码器的实例的方块图。
图16为说明编码3D查找表的色彩分量中的至少一者的分区信息的实例操作的流程图。
图17为说明解码3D查找表的色彩分量中的至少一者的分区信息的实例操作的流程图。
图18为说明编码3D查找表的色彩分量中的每一者的八分区中的每一者的色彩值的实例操作的流程图。
图19为说明解码3D查找表的色彩分量中的每一者的八分区中的每一者的色彩值的实例操作的流程图。
具体实施方式
本发明描述用于于多层视频译码中用于色域可扩展性的三维(3D)色彩预测技术。多层视频译码可根据高效率视频译码(HEVC)标准，包含可扩展视频译码扩充、多视图视频译码扩充、3D视频译码(即，多视图视频译码加深度)扩充或HEVC的其它多层视频译码扩充中的任一者。所述技术可由视频编码器及/或视频解码器用以当用于视频数据的较低层的色域不同于用于视频数据的较高层的色域时产生层间参考图片。在一些实例中，当视频数据的较低层的位深度不同于视频数据的较高层的位深度时，也可使用所述技术。
色域包括可针对图像再现(例如，在视频数据的图片、切片、块或层中)的完整色彩范围。按照惯例，在多层视频译码中，视频数据的较低层(例如，基础层)及视频数据的较高层(例如，增强层)包含在同一色域(例如，高清晰度(HD)色域BT.709)中的色彩数据。在此情况下，视频编码器及/或视频解码器可产生用于视频数据的较高层的层间参考图片，作为用于视频数据的较低层的同置型参考图片的经增加采样版本。
然而，在一些实例中，视频数据的较低层可包含第一色域(例如，BT.709)中的色彩数据，且视频数据的较高层可包含不同的第二色域(例如，超高清晰度(UHD)色域 BT.2020)中的色彩数据。在此实例中，为了产生用于视频数据的较高层的层间参考图片，视频编码器及/或视频解码器必须首先执行色彩预测以将用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。
视频编码器及/或视频解码器可使用用于色域可扩展性的3D查找表执行色彩预测。在一些实例中，可针对色彩分量中的每一者(即，亮度(Y)分量、第一色度(U)分量及第二色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第一色度 (U)维度及第二色度(V)维度，且使用三个独立色彩分量(Y,U,V)来索引。
按照惯例，3D查找表始终对称，使得3D查找表对于亮度分量、第一色度分量及第二色度分量具有相同大小。此外，按照惯例，3D查找表始终平衡，使得3D查找表的每一维度的大小始终相同。此可导致具有高计算复杂度及高发信成本的大的表大小。举例来说，表大小可高达9×9×9或17×17×17。
在2014年10月10日申请的第14/512,177号美国专利申请案(代理人案号 1212-712US01/140193)中，描述了使视频编码器及/或视频解码器能够产生不对称及/或不平衡3D查找表，使得3D查找表对于亮度分量的大小不同于对于第一色度分量及第二色度分量的大小的技术。视频编码器及/或视频解码器可通过将亮度分量分割成与第一及第二色度分量不同的数目个片段来产生此不对称及/或不平衡3D查找表。在此实例中，表大小可高达8×2×2。
本发明的技术是针对用以产生用于色域可扩展性的3D查找表的信息的发信。根据所述技术，视频编码器可编码针对色域可扩展性产生的3D查找表的分区信息及/或色彩值。视频解码器可解码分区信息及/或色彩值以产生3D查找表，以便执行色域可扩展性。本发明中描述的所述技术可特别适用于发信用以产生不对称及/或不平衡3D查找表的信息。
在揭示的技术的一个实例中，视频解码器及/或视频编码器可通过根据基础分区值 (例如，3D查找表的最大分裂深度)将色彩分量中的每一者分割成许多八分区且接着进一步基于亮度分区值分割亮度分量的八分区中的每一者来产生具有用于第一及第二色度分量的较粗分割及用于亮度分量的较细分割的3D查找表。以此方式，3D查找表的色度分量经分割成较小数目个或较少八分区(即，经较粗地分割)，且3D查找表的亮度分量经分割成较大数目个或较多八分区(即，经较细地分割)。
在一个实例中，亮度分区值可由视频编码器在位流中发信到视频解码器。在其它实例中，基础分区值也可由视频编码器在位流中发信到视频解码器。在其它情况下，亮度分区值可由视频编码器及视频解码器导出，及/或基础分区值可为在视频编码器及视频解码器两者处已知的预定义值。
兹举出一实例，基础分区值等于1，使得第一色度、第二色度及亮度色彩分量中的每一者经分割成单一八分区，且亮度分区值等于4，使得亮度分量的单一八分区经分割成四个八分区，其导致大小为4×1×1的3D查找表。兹举出另一实例，基础分区值等于 2，使得第一色度、第二色度及亮度色彩分量中的每一者经分割成两个八分区，且亮度分区值等于4，使得亮度分量的两个八分区中的每一者经分割成四个八分区，其导致大小为8×2×2的3D查找表。如可看出，较低分区值导致针对色彩分量的较粗分割(即，较小数目个八分区)。
根据所述技术，可基于基础分区值或亮度分区值中的一或多者将色彩分量中的每一者分割成一或多个八分区。在本发明中，术语“八分区”经定义为包含八个顶点的三维区域。在本发明中，术语“分区”、“八分区”、“片段”及“立方体”可互换地使用来描述3D查找表的色彩分量的经分割区域。
此外，基于3D查找表的第一或第二色度分量中的至少一者经分割成一个以上八分区(即，基础分区值大于一)，视频编码器可将色度分量中的所述一者的分割边界发信到视频解码器。分割边界界定色度分量中的所述一者到两个或两个以上八分区的不均匀分割。换言之，色度分量中的一或两者可未分割成两个或两个以上均匀或同等大小的八分区。在此情况下，对于色度分量中的给定色度分量，八分区中的至少一者具有与一或多个其它八分区不同的大小。根据本发明的技术，视频编码器仅基于色度分量中的一者经分割成一个以上八分区的条件发信分割边界。否则，分割边界为不必要的且未发信到视频解码器。
在所揭示的技术的另一实例中，视频编码器及/或视频解码器可基于亮度、第一色度及第二色度色彩分量中的每一者的八分区的数目及所述八分区中的每一者的色彩值产生3D查找表。如上所述，在一些情况下，3D查找表的色彩分量中的至少一者的八分区的数目也可由视频编码器发信到视频解码器。为了使视频解码器确定3D查找表中的色彩值，3D查找表中的色彩值的线性色彩映射函数的色彩映射系数由视频编码器发信到视频解码器。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域，且色彩映射系数为视频数据的较低层与较高层的色彩分量之间的加权因数。对于色彩分量中的每一者，色彩映射系数中的一者可为定义视频数据的较低层与较高层的相同色彩分量之间的加权因数的关键系数。
将线性色彩映射函数的色彩映射系数作为浮点值导出。在于位流中发信色彩映射系数前，可将浮点值转换到整数值。虽然整数值可比不上浮点值准确，但整数值更易于发信，且整数运算在计算上的代价比浮点运算低。转换可使用整数值的基于3D查找表的输入位深度或输出位深度中的至少一者的位深度。此外，色彩映射系数的值可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一者的值而限于一给定范围内。
可预测色彩映射系数中的一或多者，使得在位流中编码色彩映射系数的原始值与色彩映射系数的经预测值之间的残值。举例来说，对于色彩分量中的每一者的第一八分区，可基于预定义的固定值预测线性色彩映射函数的色彩映射系数。在一个实例中，可基于等于预定义非零值的经预测值预测线性色彩映射函数的关键系数，且可基于等于零的经预测值预测任何剩余色彩映射系数。在此实例中，可基于来自至少一个先前八分区(例如，第一八分区)的经预测值预测色彩分量中的每一者的任何剩余八分区的色彩映射系数。在一些情况下，可基于确定的量化值量化色彩映射系数的残值。视频编码器可发信确定的量化值以供视频解码器执行反量化以恰当地解码色彩映射系数。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IECMPEG-4AVC)，包含其可扩展视频译码(SVC)及多视图视频译码(MVC)扩充。
新视频译码标准(即，HEVC)的设计已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的关于视频译码的联合合作小组(JCT-VC)定案。布罗斯(Bross)等人的被称作HEVC工作草案10(WD10)的HEVC草案规范“高效率视频写码(HEVC)文字规范草案10(对于FDIS与最后呼叫)(High efficiency video coding(HEVC)text specificationdraft 10(for FDIS&Last Call))”(ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到 23日，JCTVC-L1003v34)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_ Geneva/wg11/JCTVC-L1003-v34.zip获得。定案的HEVC标准被称作HEVC版本1。
王(Wang)等人的瑕疵报告“高效率视频写码(HEVC)瑕疵报告(High efficiencyvideo coding(HEVC)Defect Report)”(ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8 月2日，JCTVC-N1003v1)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_ Vienna/wg11/JCTVC-N1003-v1.zip获得。定案的HEVC标准文件作为以下文件发表： ITU-TH.265，H系列：视听及多媒体系统、视听服务的基础设施——移动视频的译码、高效率视频译码(国际电信联合会(ITU)的电信标准化部门，2013年4月)。
HEVC的多视图扩充(MV-HEVC)及针对更高级3D视频译码的另一HEVC扩充 (3D-HEVC)正由JCT-3V开发。泰克(Tech)等人的被称作MV-HEVC工作草案5(WD5)的 MV-HEVC的草案规范“MV-HEVC草案文本5(MV-HEVC Draft Text 5)”(ITU-T SG16 WP3与ISO/IEC JTC1/SC29/WG11的关于3D视频译码扩充开发的联合合作小组 (JCT-3V)，第5次会议：奥地利维也纳，2013年7月27日到8月2日，JCT3V-E1004v6) 可从http://phenix.int-evry.fr/jct/ doc_end_user/documents/5_Vienna/wg11/JCT3V-E1004-v6.zip获得。被称作3D-HEVC工作草案1(WD1)且在泰克(Tech)等人的“3D-HEVC草案文本 1(3D-HEVC Draft Text 1)”(ITU-TSG16WP3与ISO/IEC JTC1/SC29/WG11的关于3D视频译码扩充开发的联合合作小组(JCT-3V)，第5次会议：奥地利维也纳，2013年7月27 日到8月2日，JCT3V-E1001v3)中描述的3D-HEVC的草案规范可从 http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/5_Vienna/wg11/JCT3V-E1001-v3.zip 获得。
HEVC的可扩展式扩充(SHVC)正由JCT-VC开发。陈(Chen)等人的被称作SHVC工作草案3(WD3)的SHVC的草案规范“SHVC草案3(SHVC Draft 3)”(ITU-T SG16WP3 与ISO/IECJTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8月2日，JCTVC-N1008v3)可从 http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1008-v3.zip 获得。
图1为说明可利用基于3D查找表的色域可扩展性技术的实例视频编码及解码系统10的方块图。如图1中所展示，系统10包含源装置12，其提供待在稍后时间由目的地装置14解码的经编码视频数据。详言之，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型(即，便携式)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏主机、视频流装置或类似者。在一些情况下，源装置12及目的地装置14可经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够即时地将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个实体发射线。通信媒体可形成基于分组的网络(例如，局域网、广域网或全球网络，例如，因特网)的部分。通信媒体可包含路由器、交换器、基站或可适用于有助于从源装置12到目的地装置14的通信的任一其它装备。
在一些实例中，可从输出接口22将经编码数据输出到存储装置。类似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一者，例如，硬盘机、Blu-ray光盘、DVD、CD-ROM、闪存存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适数字存储媒体。在再一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流或下载自存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据并将彼经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此可包含适于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的结合。从存储装置的经编码视频数据的发射可为流发射、下载发射或其组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流视频发射(例如，经由HTTP的动态自适应流(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10 可经配置以支持单向或双向视频发射以支持例如视频流、视频播放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于并列处理视频数据的技术。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置接口连接，而非包含集成显示装置。
图1的所说明系统10仅为一个实例。用于并列地处理视频数据的技术可由任一数字视频编码及/或解码装置执行。尽管本发明的技术一般由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称作“编码解码器”)执行。此外，本发明的技术也可由视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供发射到目的地装置14的这些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以(例如)用于视频流、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如，视频相机、含有先前俘获的视频的视频存档及/或用以从视频内容提供者接收视频的视频馈送接口。兹举出另一替代例，视频源18可产生基于计算机图形的数据，作为源视频，或实况视频、存档视频及计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中描述的技术一般可适用于视频译码，且可适用于无线及/或有线应用。在每一情况下，俘获、预先俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如，无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如，硬盘、随身盘、紧密光盘、数字影音光盘、Blu-ray 光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，其也由视频解码器30使用，其包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置 32将经解码视频数据显示给使用者，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且使用一或多个处理器在硬件中执行所述指令，以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可集成为各别装置中的组合式编码器/解码器(编码解码器)的部分。
在一些实例中，视频编码器20及视频解码器30根据例如以下各者的视频压缩标准操作：ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可扩展视频译码(SVC)扩充、多视图视频译码(MVC)扩充及基于MVC的三维视频 (3DV)扩充。在一些情况下，遵守基于MVC的3DV的任何位流始终含有与MVC简档(例如，立体声高简档)一致的子位流。此外，存在持续努力以产生H.264/AVC的3DV译码扩充，即，基于AVC的3DV。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264、ISO/IEC Visual。
在图1的实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家群组(VCEG)及ISO/IEC动画专家群组(MPEG)的关于视频译码的联合合作小组(JCT-VC)定案的高效率视频译码(HEVC)标准而操作。以上提及的HEVC草案规范被称作HEVC工作草案10(WD10)，且HEVC标准的定案版本被称作HEVC版本1。MV-HEVC及 3D-HEVC正由JCT-3V开发。MV-HEVC的最近草案规范被称作MV-HEVC WD5，且 3D-HEVC的最近草案规范被称作3D-HEVCWD1。SHVC正由JCT-VC开发。SHVC的最近草案规范被称作SHVC WD3。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL为亮度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度(Chrominance) 样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
视频编码器20可产生一组译码树状结构单元(CTU)。CTU中的每一者可包括亮度样本的译码树型块、色度样本的两个对应的译码树型块及用以对译码树型块的样本译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用于译码所述译码树型块的样本的语法结构。译码树型块可为样本的N×N块。CTU 也可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如 H.264/AVC的其它视频译码标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”来指样本的一或多个块，及用以译码样本的一或多个块中的样本的语法结构。视频单元的实例类型可包含CTU、CU、PU、 HEVC中的变换单元(TU)，或其它视频译码标准中的宏块、宏块分区等等。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，因此名称为“译码树型单元”。译码块为样本的N×N块。 CU可包括具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的译码块，及色度样本的两个对应的译码块，及用以译码所述译码块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用以译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的亮度样本的预测块，图片的色度样本的两个对应的预测块，及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可产生CU的每一PU的亮度、Cb及 Cr预测块的预测性亮度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测，以产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。
如果视频编码器20使用帧间预测以产生PU的预测性块，则视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本，产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。
参考图片列表中的每一者可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0及RefPicList1中的任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分基于对应于参考位置的样本产生PU的预测性样本块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间位移的单一运动向量。为了指示PU的预测块与参考位置之间的空间位移，运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量，且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
当使用双向预测编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置，及RefPicList1中的参考图片中的第二参考位置。视频编码器20可接着至少部分基于对应于第一及第二参考位置的样本产生PU的预测性块。此外，当使用双向预测编码PU时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间位移的第一运动，及指示PU的预测块与第二参考位置之间的空间位移的第二运动。
在视频编码器20产生CU的一或多个PU的预测性亮度块、Cb块及Cr块之后，视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU 的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割来将CU的亮度、Cb及Cr残余块分解成一或多个亮度、Cb及Cr变换块。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应的变换块及用以对变换块样本进行变换的语法结构。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于TU的亮度变换块，以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用到TU的Cb变换块，以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化通常指变换系数经量化以可能减少用以表示变换系数的数据量从而提供进一步压缩的过程。此外，视频编码器20可反量化变换系数，并将反变换应用到变换系数，以便重建图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重建的变换块及CU的PU的预测性块来重建CU的译码块。通过重建图片的每一CU 的译码块，视频编码器20可重建图片。视频编码器20可将经重建图片存储于经解码图片缓冲器(DPB)中。视频编码器20可将DPB中的经重建的图片用于帧间预测及帧内预测。
在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化的变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的一连串位的位流。位流可包括一连串网络抽象层(NAL)单元。NAL单元中的每一者包含NAL单元标头，且囊封原始位组序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。 RBSP可为含有囊封于NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP 包含零位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，第一类型的NAL单元可囊封图片参数集(PPS)的RBSP，第二类型的NAL单元可囊封经译码切片的RBSP，第三类型的NAL单元可囊封补充增强信息(SEI)的RBSP等等。PPS为可含有适用于零或零个以上完整经译码图片的语法元素的语法结构。囊封视频译码数据的RBSP(与参数集及SEI消息的RBSP相反)的NAL单元可被称作视频译码层(VCL)NAL单元。囊封经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。用于经译码切片的RBSP 可包含切片标头及切片数据。
视频解码器30可接收位流。此外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分基于从位流解码的语法元素重建视频数据的图片。重建视频数据的过程可与由视频编码器20执行的过程大体互逆。举例来说，视频解码器30 可使用PU的运动向量确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量产生PU的预测性块。
此外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30 可对系数块执行反变换，以重建与当前CU的TU相关联的变换块。通过将当前CU的 PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30 可重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。视频解码器30可将经解码图片存储于经解码图片缓冲器中，以用于输出及/或用于在解码其它图片的过程中使用。
在MV-HEVC、3D-HEVC及SHVC中，视频编码器可产生包括一系列网络抽象层 (NAL)单元的多层位流。位流的不同NAL单元可与位流的不同层相关联。可将层定义为具有相同层识别符的视频译码层(VCL)NAL单元及相关联的非VCL NAL单元的集合。层可相当于多视图视频译码中的视图。在多视图视频译码中，层可包括相同层的具有不同时间实例的所有视图分量。每一视图分量可为在特定时间实例属于特定视图的视频场景的经译码图片。在3D视频译码中，层可含有特定视图的所有经译码深度图片抑或特定视图的经译码纹理图片。类似地，在可扩展视频译码的上下文上下文中，层通常对应于具有不同于其它层中的经译码图片的视频特性的经译码图片。这些视频特性通常包含空间分辨率及质量等级(信噪比)。在HEVC及其扩充中，通过将具有特定时间级别的图片群组定义为子层，可在一个层内获得时间可扩展性。
对于位流的每一各别层，可在不参考任何较高层中的数据的情况下解码较低层中的数据。举例来说，在可扩展视频译码中，可在不参考增强层中的数据的情况下解码基础层中的数据。NAL单元仅囊封单一层的数据。在SHVC中，如果视频解码器可在不参考任何其它层的数据的情况下解码一视图中的图片，则所述视图可被称作“基础层”。基础层可遵守HEVC基础规范。因此，可从位流移除囊封位流的最高剩余层的数据的 NAL单元，而不影响位流的剩余层中的数据的可解码性。在MV-HEVC及3D-HEVC中，较高层可包含额外视图分量。在SHVC中，较高层可包含信噪比(SNR)增强数据、空间增强数据及/或时间增强数据。
在一些实例中，可参照一或多个较低层中的数据以解码较高层中的数据。可将较低层用作参考图片以使用层间预测来压缩较高层。较低层的数据可经增加采样以形成与较高层相同的分辨率。一般来说，视频编码器20及视频解码器30可按与以上所描述的帧间预测类似的方式执行层间预测，不同之处仅在于可将一或多个增加采样的较低层而非一或多个相邻图片用作参考图片。
图2为展示在三个不同维度上的可扩展性的实例的概念说明。在可扩展视频译码结构中，允许实现在三维中的可扩展性。在图2的实例中，允许实现在空间(S)维度100、时间(T)维度102及信噪比(SNR)或质量(Q)维度104中的可扩展性。在时间维度102中，具有(例如)7.5Hz(T0)、15Hz(T1)或30Hz(T2)的帧速率可由时间可扩展性支持。当支持空间可扩展性时，允许实现在空间维度100中的例如QCIF(S0)、CIF(S1)及4CIF(S2) 的不同分辨率。对于每一特定空间分辨率及帧速率，可在SNR维度104中添加SNR层 (Q1)以改良图片质量。
一旦以此可扩展方式编码视频内容，便可使用提取器工具来根据应用要求调适实际传递的内容，所述应用要求取决于(例如)订户端或发射信道。在图2中展示的实例中，每一立方体含有具有相同帧速率(时间级别)、空间分辨率及SNR层的图片。可通过在维度100、102或104中的任一者中添加立方体(即，图片)来达成较好表示。当允许实现两个、三个或甚至更多可扩展性时，支持组合的可扩展性。
在可扩展视频译码标准(例如，H.264的SVC扩充或SHVC)中，具有最低空间及SNR层的图片与单层视频编码解码器相容，且在最低时间级别处的图片形成时间基础层，可通过在较高时间级别处的图片来增强时间基础层。除了基础层之外，也可添加若干空间及/或SNR增强层以提供空间及/或质量可扩展性。每一空间或SNR增强层自身可为时间可扩展的，具有与基础层相同的时间可扩展性结构。对于一个空间或SNR增强层来说，其所取决于的较低层可被称作彼特定空间或SNR增强层的基础层。
图3为展示可扩展视频译码位流的实例结构110的概念说明。位流结构110包含：层0 112，其包含图片或切片I0、P4及P8；及层1 114，其包含图片或切片B2、B6及 B10。此外，位流结构110包含：层2 116及层3 117，其各包含图片0、2、4、6、8及 10；及层4 118，其包含图片0到11。
基础层具有最低空间及质量层(即，具有QCIF分辨率的层0 112及层1 114中的图片)。其中，最低时间级别的那些图片形成时间基础层，如在图3的层0 112中所展示。时间基础层(层0)112可通过较高时间级别的图片(例如，具有15Hz的帧速率的层1 114 或具有30Hz的帧速率的层4 118)增强。
除了基础层112、114之外，可添加若干空间及/或SNR增强层以提供空间及/或质量可扩展性。举例来说，具有CIF分辨率的层2 116可为基础层112、114的空间增强层。在另一实例中，层3 117可为基础层112、114及层2 116的SNR增强层。如图3中所展示，每一空间或SNR增强层自身可为时间可扩展的，其具有与基础层112、114相同的时间可扩展性结构。此外，增强层可增强空间分辨率及帧速率两者。举例来说，层4 118 提供4CIF分辨率增强层，其将帧速率从15Hz进一步增大到30Hz。
图4为按位流次序展示实例可扩展视频译码存取单元120A到120E(“存取单元120”) 的概念说明。如图4中所展示，同一时间实例中的经译码图片或切片按位流次序连续，且在可扩展视频译码标准(例如，H.264的SVC扩展或SHVC)的上下文上下文中形成一个存取单元。存取单元120接着遵循解码次序，解码次序可与显示次序不同且(例如)由存取单元120之间的时间预测关系确定。
举例来说，存取单元120A包含来自层0 112的图片I0、来自层2 116的图片0、来自层3 117的图片0及来自层4 118的图片0。存取单元120B包含来自层0 112的图片 P4、来自层2 116的图片4、来自层3 117的图片4及来自层4 118的图片4。存取单元 120C包含来自层1 114的图片B2、来自层2 116的图片2、来自层3 117的图片2及来自层4 118的图片2。存取单元120D包含来自层4 118的图片1，且存取单元120E包含来自层4 118的图片3。
图5为说明实例3层SHVC编码器122的方块图。如图5中所说明，SHVC编码器 122包含基础层编码器124、第一增强层编码器125及第二增强层编码器126。在仅高级语法的SHVC中，当与HEVC单层译码相比时，不存在新块层级的译码工具。在SHVC 中，仅切片及以上层级的语法改变，且允许例如图片滤波或增加采样的图片层级操作。
为了减少层之间的冗余，可产生用于较低/基础层的经增加采样的同置型参考层图片，且将其存储于用于较高/增强层的参考缓冲器中，使得可以与在单层内的帧间预测相同的方式达成层间预测。如图5中所说明，从基础层编码器124中的参考图片产生经重新采样的层间参考(ILR)图片128，且将其存储于第一增强层编码器125中。类似地，从第一增强层编码器125中的参考图片产生经重新采样的ILR图片129，且将其存储于第二增强层编码器126中。在SHVC WD3中，将ILR图片标记为增强层的长期参考图片。将与层间参考图片相关联的运动向量差异约束到零。
超高清晰度电视(UHDTV)装置及内容的即将到来的部署将使用与旧版装置不同的色域。具体来说，HD使用BT.709推荐——2010年12月的ITU-R推荐BT.709“针对演播及国际节目交换的HDTV标准的参数值(Parameter values for the HDTV standards forproduction and international programme exchange)”，而UHDTV将使用BT.2020推荐——2012年4月的ITU-R推荐BT.2020“针对演播及国际节目交换的UHDTV系统的参数值(Parameter values for UHDTV systems for production and internationalprogramme exchange)”。色域包括可针对图像再现(例如，在视频数据的图片、切片、块或层中)的完整色彩范围。这些系统之间的关键差异在于，UHDTV的色域显著大于HD。已宣称，UHDTV将提供更贴近生活或更现实的观看体验，其与例如高分辨率的其它UHDTV特性一致。
图6为说明样本视频序列130的实例色域的曲线图。如图6中所说明，将SWG1样本视频序列130指示为UHD色域BT.2020 132的线轮廓内的点丛集。出于比较目的， HD色域BT.709 134的轮廓及国际照明委员会(CIE)-XYZ线性色彩空间136的轮廓覆迭 SWG1样本视频序列130。自图6易于观测到，UHD色域BT.2020 132比HD色域BT.709 134大得多。注意SWG1样本视频序列130中落在BT.709色域134的外的像素的数目。
图7为说明从HD色域BT.709 134到UHD色域BT.2020 132的转换的方块图。HD 色域BT.709 134及UHD色域BT.2020 132皆定义亮度及色度分量(例如，YCbCr或YUV) 中的色彩像素的表示。每一色域定义到及从CIE-XYZ线性色彩空间136的转换。此共同中间色彩空间可用以定义HD色域BT.709 134中的亮度及色度值到UHD色域BT.2020 132中的对应亮度及色度值的转换。
关于图6中说明的样本序列的色域及图7中说明的色域转换的更多细节可在L.凯若夫斯葛(Kerofsky)、A.希格(Segall)、S.-H.开米(Kim)、K.米斯拉(Misra)的“色域可扩展视频译码：新结果(Color Gamut Scalable Video Coding:New Results)”(JCTVC-L0334，瑞士日内瓦，2013年1月14日到23日(下文被称作“JCTVC-L0334”))中发现。
图8为说明包含色彩预测处理单元144的色域可扩展译码器140的方块图，当基础层色域与增强层色域不同时，所述色彩预测处理单元可产生层间参考图片。色彩预测处理单元144可由视频译码器(例如，来自图1的视频编码器20或视频解码器30)用以执行色域可扩展视频译码，其中基础层与增强层的色域不同。
在图8中所说明的实例中，基础层译码环路142执行包含第一色域(例如，BT.709)中的色彩数据的图片的视频译码，且增强层译码环路146执行包含第二色域(例如，BT.2020)中的色彩数据的图片的视频译码。色彩预测处理单元144执行色彩预测以将第一色域中的基础层参考图片的色彩数据映射或转换到第二色域，且基于基础层参考图片的经映射色彩数据产生用于增强层的层间参考图片。
为了达成高译码效率，色彩预测处理单元144经配置以当产生层间参考图片时执行特定色彩预测。如以下更详细地描述，色彩预测处理单元144可经配置以根据线性预测模型、分段线性预测模型或基于3D查找表的色彩预测模型中的任一者执行色彩预测。
在以上参考的JCTVC-L0334中提议线性预测模型。通常，可将线性预测模型的色彩预测过程描述为增益及偏移模型。线性预测模型对个别色彩平面操作。为了有助于整数计算，参数使用参数numFractionBits描述在计算中使用的分数字元的数目。对于每一信道，指定增益[c]及偏移[c]。将线性预测模型定义如下：
Pred[c][x][y]＝(gain[c]*In[x][y]+(1<<(numFractionBits-1))>>numFractionBits+ offset[c]
在基于以上参考的JCTVC-L0334的C.Auyeung、K.Sato的“AHG14：利用逐段线性预测及移位偏移模型的色域可扩展视讯译码(AHG14:Color gamut scalable video codingwith piecewise linear predictions and shift-offset model)”(JCTVC-N0271，奥地利维也纳，2013年7月)中提议了分段线性预测模型。也可将分段线性预测模型的色彩预测过程描述为增益及偏移模型。将分段线性预测模型定义如下：
令d[c][x][y]＝In[c][x][y]-knot[c].
如果d[c][x][y]<＝0
Pred[c][x][y]＝(gain1[c]*d[c][x][y]+offset[c]+(1<<(numFractionBits-1)))>> numFractionBits
否则
Pred[c][x][y]＝(gain2[c]*d[c][x][y]+offset[c]+(1<<(numFractionBits-1)))>> numFractionBits
可在位流中编码预测参数knot[c]、offset[c]、gain1[c]及gain2[c]。
图9(a)及9(b)为展示用于色域可扩展性的实例3D查找表150的概念说明。在P.博尔戴斯(Bordes)、P.安德利翁(Andrivon)、F.海容(Hiron)的“AHG14:Color GamutScalable Video Coding using 3D LUT:New Results(AHG14：使用3D LUT之色域可扩展视频译码：新结果)”(JCTVC-N0168，奥地利维也纳，2013年7月(下文被称作“JCTVC-N0168”))中提议了基于3D查找表的色彩预测模型。用于色域可扩展性的3D查找表的原理描绘于图9(a)及9(b)中。可将3D查找表150考虑为第一3D色彩空间(例如，HD色域BT.709) 的子采样，其中每一顶点与对应于第二3D色彩空间(即，经预测)值(例如，UHD色域 BT.2020)的色彩三重组(y,u,v)相关联。
一般来说，第一色域可在每一色彩维度(即，Y、U及V)中分割成八分区或立方体，且八分区的顶点与对应于第二色域且用以填入3D查找表150的色彩三重组相关联。每一色彩维度中的顶点或片段的数目指示3D查找表的大小。图9(a)说明每一色彩维度中的八分区的顶点或相交格子点。图9(b)说明与顶点中的每一者相关联的不同色彩值。如所说明，在图9(a)中，每一色彩维度具有四个顶点，且在图9(b)中，每一色彩维度包含四个色彩值。
图10为展示通过用于色域可扩展性的3D查找表152的三线性内插的概念说明。对于第一色域中的给定基础层色彩样本，使用根据以下等式的三线性内插计算其用于增强层的在第二色域中的预测：
其中：
S0(y)＝y1-y且S1(y)＝y-y0
y0为劣于y的最接近的子采样的顶点的索引，
y1为优于y的最接近的子采样的顶点的索引。
图9中所说明的3D查找表及图10中所说明的通过3D查找表的三线性内插的更多细节可在以上参考的JCTVC-N0168中发现。
图11为展示通过用于色域可扩展性的3D查找表154的四面内插的概念说明。可使用四面内插替代以上描述的三线性内插以减小3D查找表的计算复杂度。
图12为展示用以涵盖待使用四面内插来内插的3D查找表的点P的四面体156A到156F(统称为“四面体156”)的六个实例的概念说明。在图12的实例中，考虑到顶点P0及P7必须包含在四面体中，存在确定含有3D查找表的八分区中的待内插的点P的四面体的六个选择。使用四面内插，替代检查每两个分量的关系(y及u、y及v、u及v)，可针对快速决策来设计3D查找表。
在一些实例中，可针对色彩分量中的每一者(即，亮度(Y)分量、第一色度(U)分量及第二色度(V)分量)产生单独的3D查找表。3D查找表中的每一者包含亮度(Y)维度、第一色度(U)维度及第二色度(V)维度，且使用三个独立色彩分量(Y,U,V)来索引。
在一个实例中，可基于3D查找表针对每一色彩分量来定义映射函数。用于亮度(Y)像素值的实例映射函数呈现在以下等式中：
YE＝LUTY(YB,UB,VB)*YB+LUTU(YB,UB,VB)*UB+LUTv(YB,UB,VB)*VB+ LUTC(YB,UB,VB)
在以上等式中，YE表示增强层中的亮度像素值，(YB,UB,VB)表示基础层像素值，且LUTY、LUTU、LUTV及LUTC分别表示针对每一色彩分量Y、U、V及常数的3D查找表。可针对增强层中的第一色度(U)像素值及第二色度(V)像素值定义类似映射函数。
一般来说，基于3D查找表的色域可扩展性导致良好译码效能。然而，3D查找表的大小可为关注的所在，此是由于3D查找表通常存储于硬件实施中的快取存储器中。按照惯例，3D查找表始终对称，使得3D查找表对于亮度分量、第一色度分量及第二色度分量具有相同大小。此外，按照惯例，3D查找表始终平衡，使得3D查找表的每一维度的大小始终相同。此导致具有高计算复杂度及高发信成本的大的表大小。举例来说，表大小可高达9×9×9或17×17×17。
在一些情况下，用于色域可扩展性的3D查找表的大小过大，其可导致实际实施中的困难。此外，大的表大小及将三线性内插用于3D查找表导致高计算复杂度。
在2014年10月10日申请的第14/512,177号美国专利申请案(代理人案号 1212-712US01/140193)中，提议以下方法，使得可降低基于3D查找表的色域可扩展性的发信成本及计算复杂度两者。
第一方法包含产生不对称3D查找表，使得亮度(Y)及色度(U及V)分量具有不同大小。在一些情况下，对于亮度分量，3D查找表可具有比对于第一及第二色度分量中的每一者较大的大小，即，较多的片段或八分区。在此情况下，色度分量可使用较粗略查找表，且亮度分量可使用更细化的查找表。举例来说，表大小可高达8×2×2。在其它情况下，对于色度分量中的一或两者，3D查找表可具有比对于亮度分量大的大小。
第二方法包含产生不平衡3D查找表(即，表[M][N][K])，使得取决于正将哪一色彩分量用作3D查找表的表索引，每一维度的大小不同。对于与用作表索引的色彩分量相关联的维度，3D查找表可具有较大大小。在此情况下，色彩映射可对于用作表索引的色彩分量较准确，而对于其它色彩分量，不太准确。
第三方法包含产生仅亮度分量3D查找表，且仅使用3D查找表执行亮度分量预测。一维(1D)线性映射或分段线性映射技术可用于色度分量。
本发明的技术是针对用以产生用于色域可扩展性的3D查找表的信息的发信。根据所述技术，视频编码器20可编码针对色域可扩展性产生的3D查找表的分区信息及/或色彩值。视频解码器30可解码分区信息及/或色彩值以产生3D查找表，以便执行色域可扩展性。揭示的技术提供3D查找表的色彩分量的高效分割及用于3D查找表的分区信息及/或色彩值的高效发信。以此方式，揭示的技术可降低用于产生3D查找表的发信成本及计算复杂度两者。本发明中描述的所述技术可特别适用于发信用以产生不对称及 /或不平衡3D查找表的信息。
在一个实例中，本发明中描述的所述技术可通过启用不对称分区使得3D查找表具有用于第一及第二色度(例如，Cb及Cr或U及V)分量的较粗分割及用于亮度(例如，Y) 分量的较细分割来提供3D查找表的色彩分量的更高效分割。所述技术也可通过除用于 3D查找表的分区的基数的外也发信用于亮度分量的额外分区的数目来提供用于3D查找表的分区信息的更高效发信。在另一实例中，所述技术可通过启用第一及第二色度(例如， Cb及Cr或U及V)分量的联合分割来提供3D查找表的色彩分量的更高效分割。
所述技术也可通过启用以下中的一或多者来提供用以产生用于色域可扩展性(CGS) 的3D查找表的信息的更高效发信。在第一实例中，可发信旗标或索引以指示在何处发信CGS色彩预测信息，例如，在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头或任一其它高级语法标头中。在第二实例中，可发信分区的数目以指示不对称及/或不平衡3D查找表的大小，即，片段或八分区的数目。在第三实例中，当联合分割色度分量时，可发信色度中心分区的范围。
在第四实例中，可从CGS色彩预测信息的较高层级(例如，PPS层级)参数预测性地译码CGS色彩预测信息的较低层级(例如，切片层级)参数。在第五实例中，可在位流中 (例如，在VPS、SPS、PPS或切片标头中)发信CGS色彩预测信息的语法表。当在位流中的不同位置处发信若干CGS色彩预测语法表时，涵盖待译码的图片的在最低层级处的语法表可用于所述图片。在第六实例中，可根据是否针对待译码的图片启用纹理预测来有条件地发信CGS色彩预测信息的语法表。当视频数据的较高层(即，增强层)具有多个纹理参考层时，可针对其色域与增强层不同的参考层中的所有者或一些发信CGS色彩预测语法表。在第七实例中，为了维持低复杂度，可进一步进行以下约束：至多针对每图片仅一个参考层来发信CGS色彩预测语法表。
在第八实例中，可针对第一及第二色度分量中的至少一者发信分割边界，以便在3D 查找表中获得沿着色度方向中的一者的不均匀分割。可有条件地在色度分量中的至少一者被沿着色度方向分割成两个或两个以上片段或八分区时发信分割边界信息。
一旦3D查找表的色彩分量中的每一者经分割成一或多个八分区时，本发明中描述的所述技术可提供3D查找表的色彩值的更高效发信。所述技术包含针对3D查找表的色彩分量中的每一者的每一八分区发信八分区中的每一者的顶点的值或用于八分区中的每一者的线性色彩映射函数的色彩映射系数。在本发明中，术语“分区”、“八分区”、“片段”及“立方体”可互换地使用来描述3D查找表的色彩分量的经分割区域。
在第一实例中，对于色彩分量中的每一者的每一八分区，可发信八分区的顶点。在此实例中，可发信给定顶点的经预测值与给定顶点的实际值之间的残值。在一些情况下，可进一步量化残值。量化步长信息(例如，量化值)可被发信或可为预定义值。可通过k 阶指数哥伦布译码来译码残值。阶数k可在位流中予以发信，或基于位流中的其它信息 (例如，残值的量值)适应性地导出。对于每一八分区或分区，并不需要发信所有顶点。举例来说，如果相邻八分区或立方体不共用顶点值，则可发信至少四个顶点。可使用至少四个顶点内插八分区或立方体中的所有值。
在第二实例中，对于色彩分量中的每一者的每一八分区，可发信3D查找表中的色彩值的线性色彩映射函数的色彩映射系数(即，a、b、c及d)，而非八分区的顶点。具有色彩映射参数的线性色彩映射函数可直接用以执行色域预测。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域，且色彩映射系数为视频数据的较低层与较高层的色彩分量之间的加权因数。在本发明中，术语“色彩映射系数”与“线性色彩预测系数”可互换地使用。此外，术语“线性色彩映射函数”、“线性色彩预测函数”与“3D线性方程”也可互换地使用。
在此实例中，可使用预定义数目个位将色彩映射系数(即，a、b、c及d)从浮点值转换或量化到整数值。在一些情况下，可在位流中发信转换或量化信息。在其它情况下，转换或量化信息(即，用以表示值1的位的数目)可取决于3D查找表的输入位深度或输出位深度中的至少一者。
对于色彩分量中的每一者，线性色彩映射函数的色彩映射系数中的一者可为定义正被预测的同一色彩分量的加权因数的关键系数。举例来说，当使用线性色彩映射函数 Ue＝a·Yb+b·Ub+c·Vb+d预测较高层的第一色度分量(即，Ue)时，b为关键系数，此是因为其为较低层的第一色度分量(即，Ub)与正被预测的较高层的第一色度分量(即，Ue) 之间的加权因数。关键系数的发信可不同于其它系数。在一些实例中，关键系数的预测可取决于预定义的非零值，而其它系数的预测可取决于等于零的经预测值。在其它实例中，关键系数的预测可取决于3D查找表的输入位深度或输出位深度中的至少一者。
用于高效分割及发信用于色域可扩展性的3D查找表的技术的以上描述的众多实例可单独或按任何组合使用，且不应限于本发明中描述的实例组合。以下提供用于3D查找表的色彩分量的高效分割及3D查找表的分区信息及/或色彩值的高效发信的揭示的技术的额外细节。
如上所述，在一个实例中，视频编码器20及/或视频解码器30可通过执行第一及第二色度分量的联合分割产生用于色域可扩展性的3D查找表。在习知3D查找表中，独立地分割亮度、第一色度及第二色度(即，Y、U及V)分量。当将每一分量分裂成N个片段或八分区时，八分区的总数可为N×N×N，其导致大的3D查找表。举例来说，表大小可高达9×9×9或17×17×17。为了减少八分区的数目，本发明的所述技术可提供对亮度(即，Y)分量的独立分割，同时联合分割第一与第二色度(即，U及V)分量。
举例来说，亮度分量可均匀地分裂成M个分区或八分区。第一及第二色度分量的2D U×V空间可接着分裂成两个分区，如下：
如果(2CBit-1-R<u<2CBit-1+R且2CBit-1-R<v<2CBit-1+R)
(u,v)→分区0
否则
(u,v)→分区1
其中(u,v)指示U及V分量的像素值，CBit表示色度分量的位深度，2CBit-1对应于色度像素的中心值，且R表示到中心值2CBit-1的距离。在一些情况下，R可为预定义的固定值；另外，R可为在位流中(例如，在VPS、SPS、PPS或切片标头中)发信的值。
图13为展示具有独立分割的亮度分量及联合分割的色度分量的实例3D查找表158的概念说明。在图13的所说明的实例中，根据分割线160A、160B及160C将亮度(即，Y)分量均匀地分割成四个部分。根据分区立方体162将色度(即，U-V)分量分割成两个区域。在此情况下，对于色度对像素值(u,v)，其在分区立方体162内部或分区立方体 162外部。在图13的实例中，将3D查找表158分割成4×2＝8个分区。
在另一实例中，联合地分割色度分量(即，U-V)，同时将亮度分量(即，Y)分裂成M个分区，但M个分区可能未必为相同大小。换言之，可不均匀地分割亮度分量，使得分区中的至少一者具有与其它分区不同的大小。举例来说，位置靠近亮度分量的中心值的分区可比位置更远离中心值的那些分区更细化(即，较小)。
在联合色度分量(即，U-V)分割的实例中，用于发信用于色域可扩展性(CGS)的线性色彩映射函数的色彩映射系数的语法表及有关语义可为如下在下表1-3中之者。对以上所引用的SHVC WD3的任何编辑、添加或更新由斜体文字指示。
表1：图片参数集(PPS)RBSP语法
cgs_enable_flag等于1指定启用色域可扩展性。cgs_enable_flag等于0指定停用色域可扩展性。当不存在时，推断cgs_enable_flag为0。
cgs_info_in_pps_flag等于1指定cgs_info_table存在于PPS中。cgs_info_in_pps_flag 等于0指定cgs_info_table不存在于PPS中，但存在于切片标头中。当不存在时，推断 cgs_info_in_pps_flag为0。
表2：色域可扩展性(CGS)色彩预测信息语法
cgs_uv_part_range_from_center语法元素指定从色度分量的中心值的色度分区的范围。当不存在时，推断cgs_uv_part_range_from_center为0。
cgs_y_part_num_log2语法元素指定CGS色彩预测中的色度分区的数目。当不存在时，推断cgs_y_part_num_log2为0。如下导出CGS_PART_NUM参数：CGS_PART_NUM ＝1<<(cgs_y_part_num_log2+1)。
cgs_color_pred_coeff_minus128语法元素及cgs_color_pred_coeff语法元素各指定用于CGS的线性色彩映射函数的色彩映射系数。当不存在时，将其推断为0。应注意，在一些实例中，可使用不同熵译码方法发信cgs_color_pred_coeff_minus128及 cgs_color_pred_coeff语法元素。在上表2中的实例中，使用se(v)的熵译码方法。替代地，可使用k阶指数哥伦布译码或固定长度译码。还应注意，cgs_color_pred_coeff_minus128 语法元素可将关键系数的经预测值指示为等于128的预定义固定数目，在此实例中，其为用以表示1.0的浮点值的整数值。
表3：切片标头语法
当启用色域可扩展性(例如，cgs_enable_flag＝1)且cgs_info_table不存在于PPS中(例如，cgs_info_in_pps_flag＝0)时，cgs_info_table不存在于PPS中，但存在于切片标头中。
如上所述，在另一实例中，视频编码器20及/或视频解码器30可产生用于色域可扩展性的3D查找表，其具有针对第一及第二色度(例如，Cb及Cr或U及V)分量的较粗分割及针对亮度(例如，Y)分量的较细分割。视频编码器20及/或视频解码器30可通过根据基础分区值(例如，3D查找表的最大分裂深度)将色彩分量中的每一者分割成许多八分区且接着进一步基于亮度分区值分割亮度分量的八分区中的每一者来产生此3D查找表。在一个实例中，亮度分区值可由视频编码器20在位流中发信到视频解码器30。在一些情况下，基础分区值也可由视频编码器20在位流中发信到视频解码器30。在其它情况下，可在视频编码器20及视频解码器30两者处导出亮度分区值，及/或基础分区值可为在视频编码器及视频解码器两者处已知的预定义值。
在一个实例中，视频编码器20及/或视频解码器30首先按以下方式建构3D查找表：反复且对称地分裂或分割色彩分量中的每一者(即，Y-U-V空间)，直到达到预定义或发信的分裂深度。分裂深度定义可分割3D查找表的所有色彩分量的最大次数。以此方式，基础分区值可为预定义的分裂深度。接着，视频编码器20及/或视频解码器30沿着亮度 (即，Y)方向进一步均匀或不均匀地分裂每一最小立方体或八分区，使得亮度(即，Y)分量具有较细分割，而色度(即，U及V)分量具有较粗分割。
举例来说，可如下表4中所述发信具有用于亮度分量的较细分割及用于色度分量的较粗分割的所提议的3D查找表。对以上所引用的SHVC WD3的任何编辑、添加或更新由斜体文字指示。
表4：3D查找表色彩数据语法
cur_octant_depth语法元素指示当前表的Y-U-V空间的最大分裂深度。换言之，cur_octant_depth语法元素指示3D查找表的基础分区值。
cur_y_part_num_log2语法元素指定最小立方体的Y分区的数目。替代地，cur_y_part_num_log2语法元素指定split_octant_flag等于0的立方体的Y分区的数目。换言之，cur_y_part_num_log2语法元素指示3D查找表的亮度分量的亮度分区值。在一个实例中，由cur_octant_depth指示的基础分区值等于1，使得将色彩分量中的每一者分割成单一八分区，且由cur_y_part_num_log2指示的亮度分区值等于4，使得将亮度分量的单一八分区分割成四个八分区，其导致大小4×1×1的3D查找表。兹举出另一实例，由cur_octant_depth指示的基础分区值等于2，使得将色彩分量中的每一者分割成两个八分区，且由cur_y_part_num_log2指示的亮度分区值等于4，使得将亮度分量的两个八分区中的每一者分割成四个八分区，其导致大小为8×2×2的3D查找表。
input_bit_depth_minus8语法元素指定3D查找表输入项的位深度。可如下计算InputBitDepth参数：InputBitDepth＝8+input_bit_depth_minus8。
ouput_bit_depth_minus8语法元素指定3D查找表输出的位深度。可如下计算OutputBitDepth参数：OutputBitDepth＝8+output_bit_depth_minus8。
res_quant_bit语法元素指定在量化3D查找表的每一色彩分量的每一八分区的顶点残值或色彩映射系数残值的过程中使用的位的数目。可通过将顶点残值或色彩映射系数残值右移res_quant_bit来达成残值的量化。
关于下表5更详细地描述coding_octant语法表。在于下表5中展示的coding_octant 语法表的实例中，仅进一步沿着亮度(即，Y方向)分裂最小八分区或立方体，使得亮度(即， Y)分量具有比色度(即，U及V)分量细的分割。在一些实例中，可沿着亮度方向分裂任一八分区或立方体。在此实例中，可在位流中发信是否沿着亮度方向进一步分裂八分区。
如上所述，在再一实例中，视频编码器20及/或视频解码器30可基于色彩分量中的每一者的八分区的数目及八分区中的每一者的色彩值产生3D查找表。在一些情况下， 3D查找表的色彩分量中的至少一者的八分区的数目可由视频编码器20发信到视频解码器30。为了使视频解码器30确定3D查找表的色彩分量中的每一者的每一八分区的色彩值，视频编码器20可发信八分区中的每一者的顶点或八分区中的每一者的色彩值的线性色彩映射函数的色彩映射系数。
在以上描述的一个实例中，对于八分区或分区中的每一者，视频编码器20可发信3D查找表中的色彩值的线性色彩映射函数的色彩映射系数。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域，且色彩映射系数为视频数据的较低层与较高层的色彩分量之间的加权因数。对于色彩分量中的每一者，色彩映射系数中的一者可为定义视频数据的较低层与较高层的相同色彩分量之间的加权因数的关键系数。
普通线性色彩映射函数可表示如下。
在此实例函数中，下标e及b分别表示亮度、第一色度及第二色度色彩分量(即，Y、U及V)中的每一者的较高层(即，增强层)及较低层(例如，基础层)。参数a、b、c及d 表示色彩映射系数。在一些实例中，色彩映射系数a00、b11及c22表示用于色彩分量中的每一者的关键系数，即，基础层与增强层的同一色彩分量之间的加权因数。虽然在本发明中这些系数被称作关键系数，但此名称不应被认为具有限制性，此是因为类似定义的系数可用其它名称来称呼。在一些实例中，用于给定八分区的线性色彩映射函数的色彩映射系数(即，a、b、c及d)可首先转换到给定八分区的顶点，且接着可在位流中译码顶点的值以表示3D查找表中的色彩值。
在一些实例中，将线性色彩映射函数的色彩映射系数(即，a、b、c及d)作为浮点值导出。在此实例中，视频编码器20可将色彩映射系数的浮点值转换或量化成整数值，且接着针对每一八分区将整数值编码到位流内。举例来说，色彩映射系数的整数值可在上表2中描绘的cgs_info_table中编码，或可在下表5中描绘的coding_octant表中编码。视频解码器30可接着使用色彩映射系数的整数值执行整数运算。
为了按合理的准确性表示色彩映射系数的浮点值，选择整数值表示浮点值1.0，例如，将256(8个位)用作整数值以表示浮点值1.0。视频编码器20可根据以下等式执行转换或量化：其中a表示待转换或量化的色彩映射系数的浮点值，A为经转换或经量化整数值，指示将参数x舍入到小于x的最大整数值的底限函数，且N指示转换或量化浮点值1.0所需的位的数目。以此方式，表示浮点值的整数值具有基于参数N的位深度(例如，8个位)。
在一个实例中，转换或量化可基于在以上等式的指数中的参数N，其经设定为预定义固定值，例如，8或10。在另一实例中，转换或量化可基于N值。所述N 值基于3D查找表的输入位深度(即，Bi)或输出位深度(即，Bo)中的至少一者确定。举例来说，转换或量化可基于根据以下等式中的一者确定的参数N。
N＝Bi，
N＝Bo，
N＝10+Bi-Bo，或
N＝8+Bi-Bo。
在一些实例中，视频编码器20及/或视频解码器30可预测色彩映射系数，且将色彩映射系数的残值译码为色彩映射系数的原始值与色彩映射系数的所预测值之间的差。举例来说，对于给定八分区，针对色彩映射系数中的至少一者(例如，关键系数中的一者) 的预测或预测的部分可基于等于预定义的固定值的经预测值。在一个实例中，可设定经预测值等于2N，其中N为以上描述的量化位值。兹举出另一实例，对于给定八分区，用于色彩映射系数中的至少一者(例如，关键系数中的一者)的预测或预测的部分可取决于 3D查找表的输入位深度(即，Bi)或输出位深度(即，Bo)中的至少一者。举例来说，预测或预测的部分可基于等于的经预测值。
兹举出一个实例，视频编码器20及/或视频解码器30可如下执行色彩映射系数的预测。对于色彩分量中的每一者的第一八分区，可基于预定义的固定值预测线性色彩映射函数的色彩映射系数。用于色彩分量中的每一者的关键系数可按与其它系数不同的方式预测。举例来说，可基于等于预定义的非零值的经预测值预测关键系数，且可基于等于零的经预测值来预测任何其余色彩映射系数。在此实例中，可基于来自至少一个先前八分区(例如，第一八分区)的经预测值来预测色彩分量中的每一者的任何剩余八分区的色彩映射系数。
兹举出色彩映射系数的预测的另一实例，对于色彩分量中的每一者的第一八分区，可设定所有色彩分量的关键系数的预测值等于且可设定其它系数的预测值等于0。在此实例中，色彩分量中的每一者的剩余八分区的系数可从先前八分区来预测。在再一实例中，可在色彩分量中的每一者的不同分区或八分区之间执行色彩映射系数的预测。替代地，可将一组色彩映射系数作为基础系数发信，例如，在SPS或PPS中。接着，可在图片或切片层级发信色彩映射系数的实际值与基础系数的值之间的差。
在一些情况下，可基于确定的量化值量化色彩映射系数的残值。视频编码器20可发信确定的量化值以供视频解码器30执行反量化以恰当地解码色彩映射系数。在一个实例中，确定的量化值可由关于上表4更详细地描述的res_quant_bit语法元素指示。
在此情况下，对于色彩分量中的每一者的八分区中的每一者，视频编码器20可基于色彩映射系数的原始值及色彩映射系数的经预测值计算色彩映射系数的残值，基于确定的量化值量化色彩映射系数的残值，且接着在位流中编码色彩映射系数的残值。视频编码器20也可编码res_quant_bit语法元素以指示确定的量化值。视频解码器30接着解码res_quant_bit语法元素及色彩映射系数的残值，基于确定的量化值反量化色彩映射系数的残值，及基于色彩映射系数的经解码残值及经预测值重建色彩映射系数。
此外，色彩映射系数的值可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一者的值而限于给定范围内。色彩映射系数(即，a、b、c及d) 的值可限于某一范围以减小产生3D查找表的计算复杂度。兹举出一个实例，所述值可限于-2M到2M-1(含)的范围中，其中设定M等于预定义的固定值(例如，10或12)。替代地，M的值可取决于量化位值N、3D查找表的输入位深度(即，Bi)或输出位深度(即，Bo)中的一或多者。
在以上描述的另一实例中，对于八分区或分区中的每一者，视频编码器20可发信八分区的顶点的值以指示3D查找表中的色彩值。在本发明中主要地关于发信八分区顶点的值描述可用以发信3D查找表的色彩值的coding_octant语法表。然而，此描述不应解释为具有限制性，因为可使用实质上类似的coding_octant语法表来发信用于每一八分区的线性色彩映射函数的色彩映射系数的值。
关于下表5描述包含于上表4中展示的3D查找表色彩数据语法中的coding_octant语法表。对以上所引用的SHVC WD3的任何编辑、添加或更新由斜体文字指示。
表5：译码八分区语法
split_octant_flag等于1指定为了顶点残余八分区译码的目的，将八分区分裂成在所有方向上具有一半大小的八个八分区。当不存在时，推断其等于0。
变数YPartNum被导出为YPartNum＝1<<cur_y_part_num_log2。
encoded_vertex_flag等于1指定存在具有索引[yIdx2+i][uIdx][vIdx][vertex]的顶点的残余。encoded_vertex_flag等于0指定不存在顶点的残余。当不存在时，推断所述旗标等于零。
如下导出变数yIdx。
yIdx＝(y+l*(length>>cur_y_part_num_log2))>>(InputBitDepth-cur_octant_depth- cur_y_part_num_log2)
如下导出变数uIdx。
uIdx＝u>>(InputBitDepth-cur_octant_depth)
如下导出变数vIdx。
vIdx＝v>>(InputBitDepth-cur_octant_depth)
resY[yIdx][uIdx][vIdx][vertex]、resU[yIdx][uIdx][vIdx][vertex]及resV[yIdx][uIdx] [vIdx][vertex]为具有索引[yIdx][uIdx][vIdx][vertex]的顶点的Y、U及V分量与此顶点的经预测Y、U及V分量值之间的差(即，残值)。当不存在时，推断这些差resY[yIdx][uIdx] [vIdx][vertex]、resU[yIdx][uIdx][vIdx][vertex]及resV[yIdx][uIdx][vIdx][vertex]等于0。
在发信3D查找表的每一八分区的线性色彩映射函数的色彩映射系数的实例技术中，coding_octant语法表可指示为八分区的线性色彩映射函数的色彩映射系数(即，a、b、c及d)与八分区的经预测的色彩映射系数值之间的差的残值，而非发信顶点残值 resY[yIdx][uIdx][vIdx][vertex]、resU[yIdx][uIdx][vIdx][vertex]及resV[yIdx][uIdx][vIdx] [vertex]。
返回到发信八分区顶点的值的实例技术，可如下导出3D查找表的每一输入项：
lutX[yIdx][uIdx][vIdx][vertex]＝(resX[yIdx][uIdx][vIdx][vertex]<<res_quant_bit)+ predX[yIdx][uIdx][vIdx][vertex]，
其中X指示色彩分量Y、U及V中的每一者，且根据下表6导出 predX[yIdx][uIdx][vIdx][vertex]。
表6：3D查找表中的八分区的顶点的经预测值
在一些情况下，可在关于上表6描述的预测过程的移位运算期间应用额外偏移。
在发信3D查找表的每一八分区的线性色彩映射函数的色彩映射系数的实例技术中，可使用类似等式通过反量化色彩映射系数的残值且将色彩映射系数的经反量化残值添加到色彩映射系数的经预测值来导出或重建用于3D查找表的线性色彩映射函数的色彩映射系数(即，lutY、lutU、lutV)。
在一些情况下，色彩映射系数lutY、lutU及lutV的值可限于某一范围以减小产生3D查找表的计算复杂度。兹举出一个实例，所述值可限于-2M到2M-1(含)的范围中，其中设定M等于预定义的固定值(例如，10或12)。替代地，M的值可取决于量化位值N、 3D查找表的输入位深度(即，Bi)或输出位深度(即，Bo)中的一或多者。
在视频编码器20及/或视频解码器30使用以上描述的一或多个实例技术产生3D查找表后，可如下使用3D查找表执行色彩预测。对色彩预测过程的输入为在一个色彩空间(例如，用于视频数据的较低层或基础层的第一色域)中的(y,u,v)三重组。色彩预测过程的输出为在另一色彩空间(例如，用于视频数据的较高层或增强层的第二色域)中的三重组(Y,U,V)。首先，使涵盖输入三重组(y,u,v)的最小八分区或立方体位于3D查找表中。如下导出立方体的起始顶点的索引中的每一者：
yIndex＝y>>(InputBitDepth-cur_octant_depth-cur_y_part_num_log2)
uIndex＝u>>(InputBitDepth-cur_octant_depth)
vIndex＝v>>(InputBitDepth-cur_octant_depth)
在一些实例中，可在索引计算期间应用额外偏移。接着，将八分区或立方体的另三个索引导出为(yIndex,uIndex+1,vIndex)；(yIndex,uIndex+1,vIndex+1)；及(yIndex+1,uIndex+1,vIndex+1)。这些四个顶点可对应于在图12中说明为四面体156D的第四情况四面内插(P0,P1,P3,P7)。接着通过内插四个顶点的3D查找值的四面内插获得输出三重组(Y,U,V)。在其它实例中，可使用四面内插的其它情况。替代地，可导出八分区或立方体的所有八个顶点。在此情况下，可使用三线性内插导出输出三重组(Y,U,V)。
在又一实例中，可在SPS或PPS中发信3D查找表。接着，在切片标头中，可发信额外旗标来指示是否将针对当前切片覆写3D查找表。替代地或/及另外，3D查找表可在SPS中加以发信且在PPS中加以更新。应注意，例如max_octant_depth、 max_y_part_num_log2、input_bit_depth及output_bit_depth的共同信息仅可在最高层级发信，例如，在SPS或PPS中。此处，max_octant_depth及max_y_part_num_log2表示3D 查找表的最大所支持的分区数目。在一些情况下，此信息可与简档及/或层级有关，而非在最高层级处发信。
如上所述，在额外实例中，视频编码器20可基于正被分割成一个以上八分区(即，基础分区值大于一)的3D查找表的色度分量(即，U或V)中的至少一者有条件地将色度分量中的至少一者的分割边界发信到视频解码器30。在一些情况下，可不均匀地分割色度分量中的一或两者。换言之，对于色度分量中的给定者，分区中的至少一者具有与其它分区不同的大小。分割边界界定色度分量中的一者到两个或两个以上八分区的不均匀分割。
按照惯例，始终发信用于每一色度分量的分割边界信息，而不管是否将色度分量均匀地分割成两个或两个以上片段或八分区。根据本发明的技术，在一个实例中，视频编码器20仅当色度分量中的至少一者(即，U或V)经分割成两个或两个以上部分时发信分割边界。否则，分割边界为不必要的且未发信到视频解码器。在另一实例中，视频编码器20仅当色度分量中的每一者(即，U及V)经分割成两个或两个以上部分时发信分割边界。
在关于下表7描述的实例中，条件是基于cur_octant_depth语法元素等于1。如上关于上表4所描述，cur_octant_depth语法元素将基础分区值指示为3D查找表的最大分裂深度。当cur_octant_depth语法元素等于1时，亮度分量、第一色度分量及第二色度分量中的每一者经分割成两个片段或八分区。在此情况下，色度分量中的两者(即，U及 V)必须分割成两个部分以满足用于发信分割边界信息的条件。对以上所引用的SHVC WD3的任何编辑、添加或更新由斜体文字指示。
表7：色彩映射表语法
cb_part_threshold_minus_center语法元素指定第一色度(即，Cb)分量的分割边界。当cb_part_threshold_minus_center语法元素不存在时，将其推断为0。
设定变数CbPartThreshold等于(1<<(cm_input_luma_bit_depth_minus8+ cm_input_chroma_bit_depth_delta+7))+cb_part_threshold_minus_center。
当Cb值小于或不大于变数CbPartThreshold时，Cb值属于第一Cb分区。否则，其属于第二Cb分区中。
cr_part_threshold_minus_center语法元素指定第二色度(即，Cr)分量的分割边界。当cr_part_threshold_minus_center语法元素不存在时，将其推断为0。
设定变数CrPartThreshold等于(1<<(cm_input_luma_bit_depth_minus8+ cm_input_chroma_bit_depth_delta+7))+cr_part_threshold_minus_center。
当Cr值小于或不大于变数CrPartThreshold时，Cr值属于第一Cr分区。否则，其属于第二Cr分区中。
应注意，cb_part_threshold_minus_center及cr_part_threshold_minus_center语法元素在译码前未经量化。
图14为说明可实施用于在多层视频译码中使用基于3D查找表的色域可扩展性的技术的视频编码器20的实例的方块图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减小或移除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。
如图14中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图14 的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40 又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46、分割单元48及色彩预测处理单元66。为了视频块重建，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。也可包含解块滤波器(图14中未展示)以滤波块边界，从而自经重建视频移除方块效应伪影。如果需要，则解块滤波器将通常滤波求和器62的输出。除了解块滤波器外，也可使用额外滤波器(环路中或环路后)。为简洁起见未展示这些滤波器，但如果需要，则这些滤波器可滤波求和器50的输出(作为环路内滤波器)。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。存储于视频数据存储器41中的视频数据可(例如)从视频源18获得。经解码图片缓冲器64可为参考图片存储器，其存储用于由视频编码器20在编码视频数据(例如，在帧内或帧间译码模式中)的过程中使用的参考视频数据。视频数据存储器41及经解码图片缓冲器64可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM (SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或分开的存储器装置提供视频数据存储器41及经解码图片缓冲器 64。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。运动估计单元42及运动补偿单元44执行接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码，以提供时间预测。帧内预测处理单元46 可替代地执行接收的视频块相对于在与待译码的块相同的帧或切片中的一或多个相邻块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次，(例如) 以选择用于视频数据的每一块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说，分割单元48可一开始将帧或切片分割成LCU，且基于速率-失真分析(例如，速率-失真最佳化)来将所述LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割为子CU的四分树数据结构。四分树的叶节点 CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于错误结果而选择译码模式(帧内或帧间)中的一者，且将所得经帧内译码块或经帧间译码块提供到求和器50以产生残余块数据，及提供到求和器62以重建经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分区信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但为概念目的而分开来说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。举例来说，运动向量可指示在当前视频帧或图片内的视频块的PU相对于在参考图片(或其它经译码单元)内的预测性块(其相对于在所述当前图片(或其它经译码单元)内正经译码的当前块)的位移。预测性块为就像素差来说被发现紧密地匹配待译码的块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储于经解码图片缓冲器64中的参考图片的次整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索并输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储于经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中找到运动向量所指向的预测性块的位置。求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值，从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42执行相对于亮度分量的运动估计，且运动补偿单元44将基于所述亮度分量所计算的运动向量用于色度分量与亮度分量两者。模式选择单元40也可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块的过程中使用。
如上文所描述，作为由运动估计单元42及运动补偿单元44所执行的帧间预测的替代，帧内预测处理单元46可帧内预测当前块。详言之，帧内预测处理单元46可确定帧内预测模式以用以编码当前块。在一些实例中，帧内预测处理单元46可(例如)在分开的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从所测试的模式选择要使用的适当帧内预测模式。
举例来说，帧内预测处理单元46可使用对于各种测试的帧内预测模式的速率-失真分析来计算速率-失真值，并在测试的模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位率(即，位的数目)。帧内预测处理单元 46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现所述块的最佳速率-失真值。
在选择用于块的帧内预测模式后，帧内预测处理单元46可将指示对于块选定的帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，其可包含以下各者：多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也被称作代码字映射表)；各种块的编码上下文的定义；及用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从正经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的所述组件。变换处理单元52将变换(例如，离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52 将变换应用于残余块，从而产生残余变换系数块。所述变换可将残余信息自像素值域转换到变换域，例如，频域。变换处理单元52可将所得变换系数发送到量化单元54。
量化单元54量化变换系数以进一步减小位率。所述量化过程可减小与所述系数中的一些或所有相关联的位深度。可通过调整量化参数来修改量化的程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56 可执行扫描。
在量化之后，熵编码单元56熵译码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码 (CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE) 译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30) 或存档以供日后发射或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重建残余块，例如，以供日后用作参考块。运动补偿单元44可通过将残余块添加到经解码图片缓冲器64的帧中的一者的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用到经重建的残余块以计算用于在运动估计中使用的次整数像素值。求和器 62将经重建的残余块添加到由运动补偿单元44产生的经运动补偿预测块以产生经重建的视频块以用于存储于经解码图片缓冲器64中。经重建的视频块可由运动估计单元42 及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
根据本发明中描述的技术，视频编码器20经配置以当编码多层视频数据时执行基于3D查找表的色域可扩展性。视频编码器20可根据SHVC扩充、MV-HEVC扩充及 3D-HEVC扩充或其它多层视频译码扩充中的任一者预测及编码多层视频数据。具体来说，当用于视频数据的较高层的色域与用于视频数据的较低层的色域不同时，视频编码器20的色彩预测处理单元66可产生用以预测视频数据的较高层的图片中的视频块的层间参考图片。
视频编码器20的色彩预测处理单元66可使用用于色域可扩展性的3D查找表执行色彩预测以将在用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。在一些实例中，色彩预测处理单元66可针对色彩分量中的每一者(即，亮度分量、第一色度分量及第二色度分量)产生单独的3D查找表。3D查找表中的每一者包含亮度维度、第一色度维度及第二色度维度，且使用三个独立色彩分量索引。
本发明的技术是关于用以产生用于色域可扩展性的3D查找表的信息的发信。在这些技术的一些实例中，视频编码器20可编码针对色域可扩展性产生的3D查找表的分区信息及/或色彩值。本发明中描述的所述技术可特别适用于发信用以产生不对称及/或不平衡3D查找表的信息。
在揭示的技术的一个实例中，视频编码器20的色彩预测处理单元66可产生具有用于第一及第二色度分量的较粗分割及用于亮度分量的较细分割的3D查找表。色彩预测处理单元66可通过根据基础分区值(例如，3D查找表的最大分裂深度)将第一色度、第二色度及亮度色彩分量中的每一者分割成第一数目个八分区，且接着基于亮度分区值进一步分割亮度分量的第一数目个八分区中的每一者来产生此3D查找表。以此方式，3D 查找表的第一及第二色度分量中的每一者经分割成较小数目个或较少八分区(即，较粗地分割)，且3D查找表的亮度分量经分割成较大数目个或较多八分区(即，较细地分割)。
兹举出一个实例，基础分区值等于1，使得色彩分量中的每一者经分割成单一八分区，且亮度分区值等于4，使得亮度分量的单一八分区经分割成四个八分区，其导致大小为4×1×1的3D查找表。兹举出另一实例，基础分区值等于2，使得色彩分量中的每一者经分割成两个八分区，且亮度分区值等于4，使得亮度分量的两个八分区中的每一者经分割成四个八分区，其导致大小为8×2×2的3D查找表。如可看出，较低分区值导致对于色彩分量的较粗分割(即，较小数目个八分区)。
在一些情况下，色彩预测处理单元66产生指示亮度分区值的至少一个语法元素(例如，第一语法元素)。在其它情况下，亮度分区值可经导出或在视频编码器20及视频解码器30两者处已知。兹举出一个实例，色彩预测处理单元66可至少部分基于基础分区值导出亮度分区值。在一些情况下，色彩预测处理单元66也可产生指示基础分区值的至少一个语法元素(例如，第二语法元素)。在其它情况下，基础分区值可为在视频编码器20及视频解码器30两者处已知的预定义值。视频编码器20的熵编码单元56可接着熵编码第一及/或第二语法元素。
此外，视频编码器20可有条件地编码指示色度分量中的至少一者的分割边界的一或多个语法元素。分割边界界定色度分量中的一者至两个或两个以上八分区的不均匀分割。根据本发明的技术的一些实例，视频编码器20仅当色度分量中的至少一者经分割成一个以上八分区时(即，当基础分区值大于一时)才编码指示分割边界的语法元素。否则，发信分割边界是不必要的。
在揭示的技术的另一实例中，视频编码器20可基于亮度、第一色度及第二色度色彩分量中的每一者的八分区的数目及八分区中的每一者的色彩值产生3D查找表。如上所述，在一些情况下，视频编码器20可编码指示3D查找表的色彩分量中的至少一者的八分区的数目的至少一个语法元素。视频编码器20也可编码色彩分量中的每一者的八分区中的每一者的色彩值。举例来说，视频编码器20可编码3D查找表中的色彩值的线性色彩映射函数的色彩映射系数。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域。线性色彩映射函数的色彩映射系数为视频数据的较低层与较高层的色彩分量之间的加权因数。对于色彩分量中的每一者，色彩映射系数中的一者可为定义视频数据的较低层与较高层的相同色彩分量之间的加权因数的关键系数。
可将线性色彩映射函数的色彩映射系数作为浮点值导出。在编码色彩映射系数前，视频编码器20的色彩预测处理单元66可将色彩映射系数的浮点值转换到整数值。转换可使用整数值的基于3D查找表的输入位深度或输出位深度中的至少一者的位深度。此外，色彩预测处理单元66可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一者的值将色彩映射系数的值限制于给定范围内。
在本发明的技术的一些实例中，色彩预测处理单元66可预测色彩映射系数中的一或多者，以便编码色彩映射系数的原始值与色彩映射系数的经预测值之间的残值。举例来说，对于色彩分量中的每一者的第一八分区，色彩预测处理单元66可基于预定义的固定值预测线性色彩映射函数的色彩映射系数。在一个实例中，对于色彩分量中的每一者的第一八分区，色彩预测处理单元66可基于等于预定义的非零值的经预测值编码线性色彩映射函数的关键系数，且基于等于零的经预测值编码线性色彩映射函数的任何剩余色彩映射系数。在此实例中，色彩预测处理单元66可基于来自至少一个先前编码的八分区(例如，第一八分区)的经预测值编码色彩分量中的每一者的任何剩余八分区的色彩映射系数。
视频编码器20的熵编码单元56可接着熵编码用于色彩分量中的每一者的八分区中的每一者的线性色彩映射函数的色彩映射系数的残值。在一些情况下，在熵编码前，视频编码器20可基于确定的量化值使用量化单元54量化色彩映射系数的残值。视频编码器20可编码确定的量化值。
在产生3D查找表后，色彩预测处理单元66即使用3D查找表执行用于视频数据的较低层的参考图片的色彩预测，且基于经色彩预测的参考图片产生用于视频数据的较高层的至少一个层间参考图片。在产生层间参考图片后，视频编码器20的运动补偿单元44即可如上所述操作以基于使用3D查找表产生的层间参考图片预测视频数据的较高层的图片中的视频块。视频编码器20可接着在位流中编码视频块的残余数据以用于发射到视频解码器30。
图15为说明可实施用于在多层视频译码中使用基于3D查找表的色域可扩展性进行确定的技术的视频解码器30的实例的方块图。在图15的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、色彩预测处理单元86、反量化单元76、反变换处理单元78、经解码图片缓冲器82及求和器 80。在一些实例中，视频解码器30可执行大体与关于视频编码器20(图14)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测处理单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
视频数据存储器71可存储待由视频解码器30的组件解码的视频数据，例如，经编码视频位流。可(例如)经由视频数据的有线或无线网络通信或通过存取实体数据存储媒体而从计算机可读媒体16(例如，从本地视频源，例如，相机)获得存储于视频数据存储器71中的视频数据。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为存储用于由视频解码器30 在解码视频数据(例如，在帧内或帧间译码模式中)的过程中使用的参考视频数据的参考图片存储器。视频数据存储器71及经解码图片缓冲器82可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM (MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或分开的存储器装置提供视频数据存储器71及经解码图片缓冲器82。在各种实例中，视频数据存储器71可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70 将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测处理单元74可基于发信的帧内预测模式及来自当前帧或图片的先前经解码块的数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，运动补偿单元72 基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。所述预测性块可从在参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于经解码图片缓冲器82中的参考图片使用预设建构技术建构参考图片列表——列表0及列表1。运动补偿单元72通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些确定用以译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如， B切片或P切片)、用于所述切片的参考图片列表中的一或多者的建构信息、用于所述切片的每一经帧间编码视频块的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72也可执行基于内插滤波器的内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的次整数像素的内插值。在此情况下，运动补偿单元72可从接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器产生预测性块。
反量化单元76反量化(即，解量化)位流中所提供且由熵解码单元70解码的经量化的变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY确定应应用的量化的程度及同样地反量化的程度。反变换处理单元 78对变换系数应用反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)，以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块后，视频解码器30通过将来自反变换处理单元78的残余块与由运动补偿单元72产生的对应的预测性块求和而形成经解码视频块。求和器80表示执行此求和运算的所述组件。如果需要，则也可应用解块滤波器来对经解码块滤波以便移除方块效应伪影。也可使用其它环路滤波器(在译码环路中或在译码环路之后)使像素转变平滑，或以其它方式改良视频质量。接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，经解码图片缓冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82也存储经解码视频，以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
根据本发明中所描述的技术的一些实例，视频解码器30经配置以当解码多层视频数据时执行基于3D查找表的色域可扩展性。视频解码器30可根据SHVC扩充、 MV-HEVC扩充、3D-HEVC扩充或对HEVC的其它多层视频译码扩充中的任一者解码及重建预测的多层视频数据。具体来说，当用于视频数据的较高层的色域与用于视频数据的较低层的色域不同时，视频解码器30的色彩预测处理单元86可产生用以预测视频数据的较高层的图片中的视频块的层间参考图片。
视频解码器30的色彩预测处理单元86可使用用于色域可扩展性的3D查找表执行色彩预测以将在用于视频数据的较低层的第一色域中的参考图片的色彩数据转换到用于视频数据的较高层的第二色域。在一些实例中，色彩预测处理单元86可针对色彩分量中的每一者(即，亮度分量、第一色度分量及第二色度分量)产生单独的3D查找表。 3D查找表中的每一者包含亮度维度、第一色度维度及第二色度维度，且使用三个独立色彩分量索引。
本发明的技术是关于用以产生用于色域可扩展性的3D查找表的信息的发信。根据所述技术，视频解码器30可解码分区信息及/或色彩值以产生3D查找表，以便执行色域可扩展性。本发明中描述的所述技术可特别适用于发信用以产生不对称及/或不平衡 3D查找表的信息。
在揭示的技术的一个实例中，视频解码器30的色彩预测处理单元86可产生具有用于第一及第二色度分量的较粗分割及用于亮度分量的较细分割的3D查找表。色彩预测处理单元86可通过根据基础分区值(例如，3D查找表的最大分裂深度)将第一色度、第二色度及亮度色彩分量中的每一者分割成第一数目个八分区，且接着基于亮度分区值进一步分割亮度分量的第一数目个八分区中的每一者来产生此3D查找表。以此方式，3D 查找表的第一及第二色度分量中的每一者经分割成较小数目个或较少八分区(即，较粗地分割)，且3D查找表的亮度分量经分割成较大数目个或较多八分区(即，较细地分割)。
兹举出一个实例，基础分区值等于1，使得色彩分量中的每一者经分割成单一八分区，且亮度分区值等于4，使得亮度分量的单一八分区经分割成四个八分区，其导致大小为4×1×1的3D查找表。兹举出另一实例，基础分区值等于2，使得色彩分量中的每一者经分割成两个八分区，且亮度分区值等于4，使得亮度分量的两个八分区中的每一者经分割成四个八分区，其导致大小为8×2×2的3D查找表。如可看出，较低分区值导致对于色彩分量的较粗分割(即，较小数目个八分区)。
在一些情况下，视频解码器30的熵解码单元70熵解码指示亮度分区值的至少一个语法元素(例如，第一语法元素)。在其它情况下，亮度分区值可经导出或在视频编码器 20及视频解码器30两者处已知。兹举出一个实例，色彩预测处理单元86可至少部分基于基础分区值导出亮度分区值。在一些情况下，熵解码单元70也可解码指示基础分区值的至少一个语法元素(例如，第二语法元素)。在其它情况下，基础分区值可为在视频编码器20及视频解码器30两者处已知的预定义值。色彩预测处理单元86使用预定义或发信的基础分区值及经导出或发信的亮度分区值产生具有用于第一及第二色度分量的较粗分割及用于亮度分量的较细分割的3D查找表，如上所述。
此外，视频解码器30可有条件地解码指示色度分量中的至少一者的分割边界的一或多个语法元素。分割边界界定色度分量中的一者到两个或两个以上八分区的不均匀分割。根据本发明的技术，视频解码器30仅当色度分量中的至少一者经分割成一个以上八分区时(即，当基础分区值大于一时)才解码指示分割边界的语法元素。否则，解码分割边界是不必要的。
在揭示的技术的另一实例中，视频解码器30可基于用于亮度、第一色度及第二色度色彩分量中的每一者的八分区的数目及八分区中的每一者的色彩值产生3D查找表。如上所述，在一些情况下，视频解码器30可解码指示3D查找表的色彩分量中的至少一者的八分区的数目的至少一个语法元素，或以其它方式确定3D查找表的色彩分量中的每一者的八分区的数目。视频解码器30也可解码色彩分量中的每一者的八分区中的每一者的色彩值。举例来说，视频解码器30可解码3D查找表中的色彩值的线性色彩映射函数的色彩映射系数。线性色彩映射函数用以将用于视频数据的较低层的第一色域中的色彩数据转换到用于视频数据的较高层的第二色域。线性色彩映射函数的色彩映射系数为视频数据的较低层与较高层的色彩分量之间的加权因数。对于色彩分量中的每一者，色彩映射系数中的一者可为定义视频数据的较低层与较高层的相同色彩分量之间的加权因数的关键系数。
首先将线性色彩映射函数的色彩映射系数作为浮点值导出。浮点值接着经转换或量化到整数值或作为整数值发信。转换可使用整数值的基于3D查找表的输入位深度或输出位深度中的至少一者的位深度。此外，色彩预测处理单元86可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一者的值将色彩映射系数的值限制于给定范围内。
视频解码器30的熵解码单元70可熵解码色彩分量中的每一者的八分区中的每一者的线性色彩映射函数的色彩映射系数的残值。在一些情况下，在熵解码后且在重建前，视频解码器30可基于确定的量化值使用反量化单元76反量化色彩映射系数的残值。视频解码器30可解码指示所确定的量化值的语法元素。
根据本发明的技术，色彩预测处理单元86可基于色彩映射系数的残值及色彩映射系数的经预测值预测色彩映射系数中的一或多者以便重建色彩映射系数的值。举例来说，对于用于色彩分量中的每一者的第一八分区，色彩预测处理单元86可基于预定义的固定值预测线性色彩映射函数的色彩映射系数。在一个实例中，对于色彩分量中的每一者的第一八分区，色彩预测处理单元86可基于等于预定义的非零值的经预测值解码线性色彩映射函数的关键系数，且基于等于零的经预测值解码线性色彩映射函数的任何剩余色彩映射系数。在此实例中，色彩预测处理单元86可基于来自至少一个先前解码的八分区(例如，第一八分区)的经预测值解码用于色彩分量中的每一者的任何剩余八分区的色彩映射系数。
在产生3D查找表后，色彩预测处理单元86即使用3D查找表执行用于视频数据的较低层的参考图片的色彩预测，且基于经色彩预测的参考图片产生用于视频数据的较高层的层间参考图片。在产生层间参考图片后，视频解码器30的运动补偿单元72即可如上所述操作以基于经解码残余数据及使用3D查找表产生的层间参考图片重建视频数据的较高层的图片中的视频块。
图16为说明编码3D查找表的色彩分量中的至少一者的分区信息的实例操作的流程图。图16的实例操作在本文中描述为由图14的视频编码器20的色彩预测处理单元66 执行。在其它实例中，所述操作可由图8的色彩预测处理单元144执行。
根据本发明的技术，视频编码器20的色彩预测处理单元66可产生具有用于第一及第二色度分量的较粗分割及用于亮度分量的较细分割的3D查找表。色彩预测处理单元 66可通过基于基础分区值将3D查找表的亮度、第一色度及第二色度分量中的每一者分割成第一数目个八分区来产生此3D查找表(180)。在一个实例中，基础分区值可为3D 查找表的最大分裂深度。色彩预测处理单元66接着基于亮度分区值将亮度分量的第一数目个八分区中的每一者进一步分割成第二数目个八分区(182)。
在一些情况下，视频编码器20可编码指示3D查找表的亮度分量的亮度分区值的至少一个语法元素(例如，第一语法元素)。在其它情况下，亮度分区值可经导出或在视频编码器20及视频解码器30两者处已知。在一些情况下，视频编码器20也可产生指示 3D查找表的基础分区值的至少一个额外语法元素(例如，第二语法元素)。在其它情况下，基础分区值可为在视频编码器20及视频解码器30两者处已知的预定义值。
此外，视频编码器20可有条件地编码指示色度分量中的至少一者的分割边界的一或多个语法元素。分割边界界定色度分量中的一者至两个或两个以上八分区的不均匀分割。根据本发明的技术，视频编码器20基于色度分量中的一者经分割成一个以上八分区(即，基础分区值大于一)编码指示色度分量中的至少一者的分割边界的语法元素。
视频编码器20也可编码色彩分量中的每一者的八分区中的每一者的色彩值。举例来说，视频编码器20可编码色彩分量中的每一者的八分区中的每一者的顶点的色彩值。兹举出另一实例，视频编码器20可编码3D查找表中的色彩值的线性色彩映射函数的色彩映射系数。以此方式，视频解码器(例如，来自图15的视频解码器30)可基于发信的分区信息及发信的色彩值产生3D查找表，以便执行色域可扩展性以解码多层视频数据。
图17为说明解码3D查找表的色彩分量中的至少一者的分区信息的实例操作的流程图。图17的实例操作在本文中被描述为由图15的视频解码器30的色彩预测处理单元 86执行。在其它实例中，所述操作可由图8的色彩预测处理单元144执行。
根据本发明的技术，视频解码器30确定3D查找表的基础分区值(186)。在一些情况下，视频解码器30可从接收的位流解码指示基础分区值的至少一个语法元素(例如，第二语法元素)。在其它情况下，基础分区值可为在视频编码器20及视频解码器30两者处已知的预定义值。视频解码器30还确定3D查找表的亮度分量的亮度分区值(188)。在一些情况下，视频解码器30可从接收的位流解码指示亮度分区值的至少一个语法元素(例如，第一语法元素)。在其它情况下，视频解码器30可导出亮度分区值。在一个实例中，视频解码器30可至少部分基于基础分区值导出亮度分区值。
视频解码器30的色彩预测处理单元86使用基础分区值及亮度分区值产生具有用于第一及第二色度分量的较粗分割及用于亮度分量的较细分割的3D查找表。色彩预测处理单元86可通过基于基础分区值将3D查找表的亮度、第一色度及第二色度分量中的每一者分割成第一数目个八分区来产生此3D查找表(190)。在一个实例中，基础分区值可为用于3D查找表的最大分裂深度。色彩预测处理单元86接着基于亮度分区值将亮度分量的第一数目个八分区中的每一者进一步分割成第二数目个八分区(192)。以此方式，亮度分量可经分割以具有比色度分量中的每一者数目大的八分区。
此外，视频解码器30可有条件地解码指示色度分量中的至少一者的分割边界的一或多个语法元素。分割边界界定色度分量中的一者到两个或两个以上八分区的不均匀分割。根据本发明的技术，视频解码器30基于色度分量中的一者经分割成一个以上八分区(即，基础分区值大于一)解码指示色度分量中的至少一者的分割边界的语法元素。
视频解码器30也可解码色彩分量中的每一者的八分区中的每一者的色彩值。举例来说，视频解码器30可解码色彩分量中的每一者的八分区中的每一者的顶点的色彩值。兹举出另一实例，视频解码器30可解码3D查找表中的色彩值的线性色彩映射函数的色彩映射系数。以此方式，视频解码器30可基于发信的分区信息及发信的色彩值产生3D 查找表，以便执行色域可扩展性以解码多层视频数据。
图18为说明编码3D查找表的色彩分量中的每一者的八分区中的每一者的色彩值的实例操作的流程图。图18的实例操作在本文中描述为由图14的视频编码器20的色彩预测处理单元66执行。在其它实例中，所述操作可由图8的色彩预测处理单元144执行。
根据本发明的技术，视频编码器20可基于亮度、第一色度及第二色度色彩分量中的每一者的八分区的数目及八分区中的每一者的色彩值产生3D查找表(200)。视频编码器20可编码色彩分量中的每一者的八分区中的每一者的色彩值。更具体来说，对于色彩分量中的每一者的八分区中的每一者，视频编码器20可编码3D查找表中的色彩值的线性色彩映射函数的色彩映射系数(202)。
在编码色彩映射系数前，视频编码器20的色彩预测处理单元66可使用基于3D查找表的输入位深度或输出位深度中的至少一者的位深度将色彩映射系数的浮点值转换到整数值。此外，色彩预测处理单元66可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一者的值将色彩映射系数的值限制于给定范围内。
色彩预测处理单元66可预测色彩映射系数中的一或多者以便编码色彩映射系数的原始值与色彩映射系数的经预测值之间的残值。举例来说，对于色彩分量中的每一者的第一八分区，色彩预测处理单元66可基于等于预定义的非零值的经预测值编码线性色彩映射函数的关键系数，且基于等于零的经预测值编码线性色彩映射函数的任何剩余色彩映射系数。在此实例中，色彩预测处理单元66可基于来自至少一个先前编码的八分区(例如，第一八分区)的经预测值编码色彩分量中的每一者的任何剩余八分区的色彩映射系数。在一些情况下，在编码色彩映射系数的残值前，视频编码器20可基于确定的量化值量化色彩映射系数的残值。
视频编码器20也可编码指示3D查找表的色彩分量中的至少一者的八分区的数目的至少一个语法元素。以此方式，视频解码器(例如，来自图15的视频解码器30)可基于发信的分区信息及发信的色彩值产生3D查找表，以便执行色域可扩展性以解码多层视频数据。
图19为说明解码3D查找表的色彩分量中的每一者的八分区中的每一者的色彩值的实例操作的流程图。图19的实例操作在本文中描述为由图15的视频解码器30的色彩预测处理单元86执行。在其它实例中，所述操作可由图8的色彩预测处理单元144执行。
根据本发明的技术的一些实例，视频解码器30确定3D查找表的亮度、第一色度及第二色度色彩分量中的每一者的八分区的数目(204)。在一些情况下，视频解码器30可从接收的位流解码指示3D查找表的色彩分量中的至少一者的八分区的数目的至少一个语法元素。视频解码器30还解码色彩分量中的每一者的八分区中的每一者的色彩值。更具体来说，对于色彩分量中的每一者的八分区中的每一者，视频解码器30可解码3D 查找表中的色彩值的线性色彩映射函数的色彩映射系数(206)。视频解码器30的色彩预测处理单元86接着基于亮度、第一色度及第二色度色彩分量中的每一者的八分区的数目及八分区中的每一者的与色彩映射系数相关联的色彩值产生3D查找表(208)。视频解码器30可使用3D查找表执行色域可扩展性以解码多层视频数据。
视频解码器30可接收色彩分量中的每一者的八分区中的每一者的线性色彩映射函数的色彩映射系数的残值。在一些情况下，在解码色彩映射系数的残值后，视频解码器30可基于确定的量化值反量化色彩映射系数的残值。色彩预测处理单元86可接着基于色彩映射系数的发信的残值及色彩映射系数的经预测值预测色彩映射系数中的一或多者以便重建色彩映射系数的值。举例来说，对于色彩分量中的每一者的第一八分区，色彩预测处理单元86可基于等于预定义的非零值的经预测值解码线性色彩映射函数的关键系数，且基于等于零的经预测值解码线性色彩映射函数的任何剩余色彩映射系数。在此实例中，色彩预测处理单元86可基于来自至少一个先前解码的八分区(例如，第一八分区)的经预测值解码色彩分量中的每一者的任何剩余八分区的色彩映射系数。
在解码色彩映射系数后，色彩映射系数可为使用基于3D查找表的输入位深度或输出位深度中的至少一者的位深度表示浮点值的整数值。色彩预测处理单元86可基于预定义的固定值或取决于3D查找表的输入位深度或输出位深度中的至少一者的值将色彩映射系数的值限制于给定范围内。
为了说明的目的，本已经关于HEVC标准的扩充而描述发明的某些态样。然而，本发明中所描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专属视频译码过程。
如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指视频编码或视频解码(在可适用时)。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行，可被添加、合并或完全省略所述动作或事件(例如，并非所有所描述动作或事件对于所述技术的实践皆为必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)，或包含有助于将计算机程式从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程式产品可包含计算机可读媒体。
借助于实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、 CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存存储器或可用以存储呈指令或数据结构的形式的所要的代码且可由计算机存取的任何其它媒体。又，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴线缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远端源发射指令，则同轴线缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及Blu-ray光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范畴内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、特殊应用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些态样中，本文中所描述的功能性可设在经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编码解码器中。又，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以多种装置或设备实施，所述装置或设备包含无线手机、集成电路 (IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能态样，但未必需要由不同硬件单元来实现。相反地，如上所述，可将各种单元组合于编码解码器硬件单元中，或由互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供所述单元。
已描述各种实例。这些及其它实例处于以下权利要求书的范畴内。

Claims (42)

1.一种解码视频数据的方法，所述方法包括：
确定用于色域可扩展性的三维3D查找表的基础分区值；
确定所述3D查找表的亮度分量的亮度分区值；
产生具有用于色度分量的较粗分割及用于所述亮度分量的较细分割的所述3D查找表，包含：
基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及
基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区，使得所述亮度分量的八分区的总数大于所述第一色度分量的八分区的总数且大于所述第二色度分量的八分区的总数；
解码所述视频数据的视频块的残余数据；及
基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图像重建所述视频数据的所述视频块。
2.根据权利要求1所述的方法，其中确定所述亮度分区值包括解码指示所述3D查找表的所述亮度分量的所述亮度分区值的至少一个语法元素。
3.根据权利要求1所述的方法，其中确定所述亮度分区值包括导出所述3D查找表的所述亮度分量的所述亮度分区值。
4.根据权利要求1所述的方法，其中确定所述基础分区值包括解码指示所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的所述基础分区值的至少一个语法元素。
5.根据权利要求1所述的方法，其中确定所述基础分区值包括将所述基础分区值确定为所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的预定义的分裂深度。
6.根据权利要求1所述的方法，其中用于所述色度分量的所述较粗分割在所述第一色度分量及所述第二色度分量中的每一者中包括比在所述亮度分量中数目小的八分区，且用于所述亮度分量的所述较细分割在所述亮度分量中包括比在所述第一色度分量及所述第二色度分量中的每一者中数目大的八分区。
7.根据权利要求1所述的方法，其进一步包括，基于所述第一色度分量或所述第二色度分量中的至少一者经分割成一个以上八分区，解码指示所述第一色度分量或所述第二色度分量中的所述至少一者的分割边界的一或多个语法元素，其中所述分割边界界定所述第一色度分量或所述第二色度分量中的所述至少一者到所述第一数目个八分区的不均匀分割。
8.根据权利要求1所述的方法，其中产生所述3D查找表进一步包含确定所述亮度分量、所述第一色度分量及所述第二色度分量中的每一者的所述八分区中的每一者的色彩值。
9.根据权利要求8所述的方法，其中所述色彩值包括所述八分区中的每一者的顶点的值，或用于所述八分区中的每一者的线性色彩映射函数的色彩映射系数的值。
10.根据权利要求1所述的方法，其进一步包括：
使用所述3D查找表执行色彩预测以将用于所述视频数据的较低层的第一色域中的参考图像的色彩数据转换到用于所述视频数据的较高层的第二色域；及
基于所述转换的色彩数据产生用于所述视频数据的所述较高层的至少一个层间参考图像，
其中重建所述视频数据的所述视频块包括基于所述经解码残余数据及使用所述3D查找表产生的所述至少一个层间参考图像重建在所述视频数据的所述较高层的图像中的视频块。
11.一种编码视频数据的方法，所述方法包括：
产生具有用于色度分量的较粗分割及用于亮度分量的较细分割的用于色域可扩展性的三维3D查找表，包含：
基于所述3D查找表的基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及
基于所述3D查找表的所述亮度分量的亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区，使得所述亮度分量的八分区的总数大于所述第一色度分量的八分区的总数且大于所述第二色度分量的八分区的总数；
基于使用所述3D查找表产生的至少一个参考图像预测所述视频数据的视频块；及
在位流中编码所述视频块的残余数据。
12.根据权利要求11所述的方法，其进一步包括编码指示所述3D查找表的所述亮度分量的所述亮度分区值的至少一个语法元素。
13.根据权利要求11所述的方法，其进一步包括导出所述3D查找表的所述亮度分量的所述亮度分区值。
14.根据权利要求11所述的方法，其进一步包括编码指示所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的所述基础分区值的至少一个语法元素。
15.根据权利要求11所述的方法，其进一步包括将所述基础分区值确定为所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的预定义的分裂深度。
16.根据权利要求11所述的方法，其中用于所述色度分量的所述较粗分割在所述第一色度分量及所述第二色度分量中的每一者中包括比在所述亮度分量中数目小的八分区，且用于所述亮度分量的所述较细分割在所述亮度分量中包括比在所述第一色度分量及所述第二色度分量中的每一者中数目大的八分区。
17.根据权利要求11所述的方法，其进一步包括，基于所述第一色度分量或所述第二色度分量中的至少一者经分割成一个以上八分区，编码指示所述第一色度分量或所述第二色度分量中的所述至少一者的分割边界的一或多个语法元素，其中所述分割边界界定所述第一色度分量或所述第二色度分量中的所述至少一者至所述第一数目个八分区的不均匀分割。
18.根据权利要求11所述的方法，其中产生所述3D查找表进一步包含确定所述亮度分量、所述第一色度分量及所述第二色度分量中的每一者的所述八分区中的每一者的色彩值。
19.根据权利要求18所述的方法，其中所述色彩值包括所述八分区中的每一者的顶点的值，或用于所述八分区中的每一者的线性色彩映射函数的色彩映射系数的值。
20.根据权利要求11所述的方法，其进一步包括：
使用所述3D查找表执行色彩预测以将用于所述视频数据的较低层的第一色域中的参考图像的色彩数据转换到用于所述视频数据的较高层的第二色域；及
基于所述转换的色彩数据产生用于所述视频数据的所述较高层的至少一个层间参考图像，
其中预测所述视频数据的所述视频块包括基于使用所述3D查找表产生的所述至少一个层间参考图像预测所述视频数据的所述较高层的图像中的视频块。
21.一种视频解码装置，其包括：
存储器，其经配置以存储视频数据；及
一或多个处理器，其与所述存储器通信且经配置以：
确定用于所述视频数据的色域可扩展性的三维3D查找表的基础分区值，
确定所述3D查找表的亮度分量的亮度分区值，
产生具有用于色度分量的较粗分割及用于所述亮度分量的较细分割的所述3D查找表，所述一或多个处理器经配置以基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区，使得所述亮度分量的八分区的总数大于所述第一色度分量的八分区的总数且大于所述第二色度分量的八分区的总数，
解码所述视频数据的视频块的残余数据，及
基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图像重建所述视频数据的所述视频块。
22.根据权利要求21所述的装置，其中，为了确定所述亮度分区值，所述一或多个处理器经配置以解码指示所述3D查找表的所述亮度分量的所述亮度分区值的至少一个语法元素。
23.根据权利要求21所述的装置，其中，为了确定所述亮度分区值，所述一或多个处理器经配置以导出所述3D查找表的所述亮度分量的所述亮度分区值。
24.根据权利要求21所述的装置，其中，为了确定所述基础分区值，所述一或多个处理器经配置以解码指示所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的所述基础分区值的至少一个语法元素。
25.根据权利要求21所述的装置，其中，为了确定所述基础分区值，所述一或多个处理器经配置以将所述基础分区值确定为所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的预定义的分裂深度。
26.根据权利要求21所述的装置，其中用于所述色度分量的所述较粗分割在所述第一色度分量及所述第二色度分量中的每一者中包括比在所述亮度分量中数目小的八分区，且用于所述亮度分量的所述较细分割在所述亮度分量中包括比在所述第一色度分量及所述第二色度分量中的每一者中数目大的八分区。
27.根据权利要求21所述的装置，其中，基于所述第一色度分量或所述第二色度分量中的至少一者经分割成一个以上八分区，所述一或多个处理器经配置以解码指示所述第一色度分量或所述第二色度分量中的所述至少一者的分割边界的一或多个语法元素，其中所述分割边界界定所述第一色度分量或所述第二色度分量中的所述至少一者至所述第一数目个八分区的不均匀分割。
28.根据权利要求21所述的装置，其中，为了产生所述3D查找表，所述一或多个处理器经进一步配置以确定所述亮度分量、所述第一色度分量及所述第二色度分量中的每一者的所述八分区中的每一者的色彩值。
29.根据权利要求28所述的装置，其中所述色彩值包括所述八分区中的每一者的顶点的值，或用于所述八分区中的每一者的线性色彩映射函数的色彩映射系数的值。
30.根据权利要求21所述的装置，其中所述一或多个处理器经配置以：
使用所述3D查找表执行色彩预测以将用于所述视频数据的较低层的第一色域中的参考图像的色彩数据转换到用于所述视频数据的较高层的第二色域；
基于所述转换的色彩数据产生用于所述视频数据的所述较高层的至少一个层间参考图像；及
基于所述经解码残余数据及使用所述3D查找表产生的所述至少一个层间参考图像重建所述视频数据的所述较高层的图像中的视频块。
31.一种视频编码装置，其包括：
存储器，其经配置以存储视频数据；及
一或多个处理器，其与所述存储器通信且经配置以：
产生具有用于色度分量的较粗分割及用于亮度分量的较细分割的用于所述视频数据的色域可扩展性的三维3D查找表，所述一或多个处理器经配置以基于基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及基于所述3D查找表的所述亮度分量的亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区，使得所述亮度分量的八分区的总数大于所述第一色度分量的八分区的总数且大于所述第二色度分量的八分区的总数，
基于使用所述3D查找表产生的至少一个参考图像预测所述视频数据的视频块，及
在位流中编码所述视频块的残余数据。
32.根据权利要求31所述的装置，其中所述一或多个处理器经配置以编码指示所述3D查找表的所述亮度分量的所述亮度分区值的至少一个语法元素。
33.根据权利要求31所述的装置，其中所述一或多个处理器经配置以导出所述3D查找表的所述亮度分量的所述亮度分区值。
34.根据权利要求31所述的装置，其中所述一或多个处理器经配置以编码指示所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的所述基础分区值的至少一个语法元素。
35.根据权利要求31所述的装置，其中所述一或多个处理器经配置以将所述基础分区值确定为所述3D查找表的所述亮度分量、所述第一色度分量及所述第二色度分量的预定义的分裂深度。
36.根据权利要求31所述的装置，其中用于所述色度分量的所述较粗分割在所述第一色度分量及所述第二色度分量中的每一者中包括比在所述亮度分量中数目小的八分区，且用于所述亮度分量的所述较细分割在所述亮度分量中包括比在所述第一色度分量及所述第二色度分量中的每一者中数目大的八分区。
37.根据权利要求31所述的装置，其中，基于所述第一色度分量或所述第二色度分量中的至少一者经分割成一个以上八分区，所述一或多个处理器经配置以编码指示所述第一色度分量或所述第二色度分量中的所述至少一者的分割边界的一或多个语法元素，其中所述分割边界界定所述第一色度分量或所述第二色度分量中的所述至少一者到所述第一数目个八分区的不均匀分割。
38.根据权利要求31所述的装置，其中，为了产生所述3D查找表，所述一或多个处理器经进一步配置以确定所述亮度分量、所述第一色度分量及所述第二色度分量中的每一者的所述八分区中的每一者的色彩值。
39.根据权利要求38所述的装置，其中所述色彩值包括所述八分区中的每一者的顶点的值，或用于所述八分区中的每一者的线性色彩映射函数的色彩映射系数的值。
40.根据权利要求31所述的装置，其中所述一或多个处理器经配置以：
使用所述3D查找表执行色彩预测以将用于所述视频数据的较低层的第一色域中的参考图像的色彩数据转换到用于所述视频数据的较高层的第二色域；
基于所述转换的色彩数据产生用于所述视频数据的所述较高层的至少一个层间参考图像；及
基于使用所述3D查找表产生的所述至少一个层间参考图像预测所述视频数据的所述较高层的图像中的视频块。
41.一种视频解码装置，其包括：
用于确定用于色域可扩展性的三维3D查找表的基础分区值的装置；
用于确定所述3D查找表的亮度分量的亮度分区值的装置；
用于产生具有用于色度分量的较粗分割及用于所述亮度分量的较细分割的所述3D查找表的装置，包含：
用于基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区的装置，及
用于基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区使得所述亮度分量的八分区的总数大于所述第一色度分量的八分区的总数且大于所述第二色度分量的八分区的总数的装置；
用于解码所述视频数据的视频块的残余数据的装置；及
用于基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图像重建所述视频数据的所述视频块的装置。
42.一种计算机可读存储媒体，其存储用于解码视频数据的指令，所述指令当经执行时使一或多个处理器：
确定用于色域可扩展性的三维3D查找表的基础分区值；
确定所述3D查找表的亮度分量的亮度分区值；
产生具有用于色度分量的较粗分割及用于所述亮度分量的较细分割的所述3D查找表，所述指令使所述一或多个处理器：
基于所述基础分区值将所述3D查找表的所述亮度分量、第一色度分量及第二色度分量中的每一者分割成第一数目个八分区，及
基于所述亮度分区值将所述亮度分量的所述第一数目个八分区中的每一者分割成第二数目个八分区，使得所述亮度分量的八分区的总数大于所述第一色度分量的八分区的总数且大于所述第二色度分量的八分区的总数；
解码所述视频数据的视频块的残余数据；及
基于所述经解码残余数据及使用所述3D查找表产生的至少一个参考图像重建所述视频数据的所述视频块。
CN201480067949.1A 2013-12-17 2014-12-17 视频编解码的方法、装置以及相应的计算机可读存储媒体 Active CN105814892B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361917228P 2013-12-17 2013-12-17
US61/917,228 2013-12-17
US201462005845P 2014-05-30 2014-05-30
US62/005,845 2014-05-30
US14/571,939 US10531105B2 (en) 2013-12-17 2014-12-16 Signaling partition information for 3D lookup table for color gamut scalability in multi-layer video coding
US14/571,939 2014-12-16
PCT/US2014/070910 WO2015095361A1 (en) 2013-12-17 2014-12-17 Signaling partition information for 3d lookup table for color gamut scalability in multi-layer video coding

Publications (2)

Publication Number Publication Date
CN105814892A CN105814892A (zh) 2016-07-27
CN105814892B true CN105814892B (zh) 2019-01-11

Family

ID=52302379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067949.1A Active CN105814892B (zh) 2013-12-17 2014-12-17 视频编解码的方法、装置以及相应的计算机可读存储媒体

Country Status (10)

Country Link
US (1) US10531105B2 (zh)
EP (1) EP3085092B1 (zh)
JP (1) JP6502357B2 (zh)
KR (1) KR102377386B1 (zh)
CN (1) CN105814892B (zh)
CA (1) CA2929986C (zh)
ES (1) ES2703343T3 (zh)
HU (1) HUE042752T2 (zh)
TW (1) TWI650004B (zh)
WO (1) WO2015095361A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948916B2 (en) 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US9756337B2 (en) 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding
US10448029B2 (en) 2014-04-17 2019-10-15 Qualcomm Incorporated Signaling bit depth values for 3D color prediction for color gamut scalability
CN104683713A (zh) * 2015-03-20 2015-06-03 北京京东方多媒体科技有限公司 视频信号无线发射器、接收器、传输系统和显示系统
KR20180063063A (ko) * 2015-09-30 2018-06-11 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2017065128A1 (ja) 2015-10-13 2017-04-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10516891B2 (en) * 2015-11-20 2019-12-24 Intel Corporation Method and system of reference frame caching for video coding
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
US20220191481A1 (en) * 2019-03-13 2022-06-16 Interdigital Vc Holdings, Inc. In-loop reshaping adaptive reshaper direction
CN113632481B (zh) * 2019-03-15 2023-12-26 寰发股份有限公司 色度残差缩放的延迟降低方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843465B1 (en) * 2007-05-31 2010-11-30 Zoran Corporation Method and apparatus for mapping a multi-dimensional signal from one space to another space
CN102119532A (zh) * 2008-07-10 2011-07-06 英特尔公司 色域可缩放性技术
CN105556943A (zh) * 2013-09-20 2016-05-04 Vid拓展公司 提供3d查找表编码以用于色域可伸缩性的系统和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288707A (ja) 1994-04-20 1995-10-31 Mitsubishi Electric Corp 色変換処理装置
US7199900B2 (en) * 2000-08-30 2007-04-03 Fuji Xerox Co., Ltd. Color conversion coefficient preparation apparatus, color conversion coefficient preparation method, storage medium, and color conversion system
KR100547812B1 (ko) 2002-06-24 2006-01-31 삼성전자주식회사 컬러 참조테이블을 사용하여 화소데이터의 컬러모델을변환하는 장치 및 방법
US7653133B2 (en) 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US20070247647A1 (en) 2006-04-21 2007-10-25 Daniel Pettigrew 3D lut techniques for color correcting images
KR101196975B1 (ko) 2006-07-17 2012-11-02 톰슨 라이센싱 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치
CN101796841B (zh) 2007-06-27 2012-07-18 汤姆逊许可公司 用增强层残差预测对视频数据编码/解码的方法和设备
US7684084B2 (en) * 2007-09-25 2010-03-23 Xerox Corporation Multiple dimensional color conversion to minimize interpolation error
US8208560B2 (en) 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
EP2051527A1 (en) 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
JP5115575B2 (ja) * 2010-03-15 2013-01-09 ブラザー工業株式会社 画像処理プログラム及び画像処理装置
US9848197B2 (en) * 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
CN104054338B (zh) 2011-03-10 2019-04-05 杜比实验室特许公司 位深和颜色可伸缩视频编码
CN103621084A (zh) 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
JP2017501599A (ja) 2013-10-07 2017-01-12 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理
US9948916B2 (en) 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
AU2014362246B2 (en) 2013-12-13 2018-01-25 Vid Scale, Inc. Color gamut scalable video coding device and method for the phase alignment of luma and chroma using interpolation
US9756337B2 (en) 2013-12-17 2017-09-05 Qualcomm Incorporated Signaling color values for 3D lookup table for color gamut scalability in multi-layer video coding
JP6322811B2 (ja) * 2014-07-28 2018-05-16 パナソニックＩｐマネジメント株式会社 部品実装装置および部品実装方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843465B1 (en) * 2007-05-31 2010-11-30 Zoran Corporation Method and apparatus for mapping a multi-dimensional signal from one space to another space
CN102119532A (zh) * 2008-07-10 2011-07-06 英特尔公司 色域可缩放性技术
CN105556943A (zh) * 2013-09-20 2016-05-04 Vid拓展公司 提供3d查找表编码以用于色域可伸缩性的系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHG14: Color Gamut Scalable Video Coding using 3D LUT: New Results;Philippe Bordes et al.;《 Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 14th Meeting, Vienna, 2013-07-24, JCTVC-N0168》;20130724;第2、4、4.1、4.2节，附图2、5，表8
Non-SCE4/AHG14: Combined bit-depth and color gamut conversion with 3D LUT for SHVC color gamut scalability;Yuwen He et al.;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15th Meeting, Geneva, JCTVC-O0161》;20131024;第1-2节
SCE4: Results on 5.3-test1 and 5.3-test2;Philippe Bordes et al.;《 Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15th Meeting, Geneva, JCTVC-O0159》;20131022;第1-2节

Also Published As

Publication number Publication date
EP3085092B1 (en) 2018-10-03
ES2703343T3 (es) 2019-03-08
HUE042752T2 (hu) 2019-07-29
TWI650004B (zh) 2019-02-01
TW201536030A (zh) 2015-09-16
JP2017507513A (ja) 2017-03-16
JP6502357B2 (ja) 2019-04-17
CA2929986A1 (en) 2015-06-25
EP3085092A1 (en) 2016-10-26
US10531105B2 (en) 2020-01-07
KR102377386B1 (ko) 2022-03-21
CN105814892A (zh) 2016-07-27
KR20160096180A (ko) 2016-08-12
BR112016014129A2 (pt) 2017-08-08
WO2015095361A1 (en) 2015-06-25
CA2929986C (en) 2022-06-07
US20150229934A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
CN105814893B (zh) 在多层视频译码中信息用于色域可扩展性的3d查找表的发信分区
CN105814892B (zh) 视频编解码的方法、装置以及相应的计算机可读存储媒体
CN105659595B (zh) 多层视频译码中的基于三维查找表的色域可缩放性
CN107690803B (zh) 用于高动态范围及广色域视频译码的自适应常量照度方法
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN105284113B (zh) 分量间滤波
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN107690808B (zh) 可缩放视频译码中色域缩放性参数及表的推导
CN110100436A (zh) 使用导出色度模式译码视频数据
CN109196867A (zh) 在帧内预测中使用的参考线索引的隐式译码
CN104885459B (zh) 用于多层译码的多分辨率经解码图片缓冲器管理
CN106233728B (zh) 视频数据的解码方法、编码方法、解码装置、编码装置及计算机可读存储媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant