CN108028935B - 用于高动态范围及广色域视频译码的补充增强信息(sei)消息 - Google Patents

用于高动态范围及广色域视频译码的补充增强信息(sei)消息 Download PDF

Info

Publication number
CN108028935B
CN108028935B CN201680054059.6A CN201680054059A CN108028935B CN 108028935 B CN108028935 B CN 108028935B CN 201680054059 A CN201680054059 A CN 201680054059A CN 108028935 B CN108028935 B CN 108028935B
Authority
CN
China
Prior art keywords
partitions
component
dynamic range
video data
offset value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680054059.6A
Other languages
English (en)
Other versions
CN108028935A (zh
Inventor
阿达许·克里许纳·瑞玛苏布雷蒙尼安
德米特罗·鲁萨诺夫斯基
霍埃尔·索莱·罗哈斯
李圣远
德内·布达伊哲·桑斯利
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108028935A publication Critical patent/CN108028935A/zh
Application granted granted Critical
Publication of CN108028935B publication Critical patent/CN108028935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及处理视频数据，包含处理通过HDR/WCG色彩表示来表示的视频数据。根据本发明的一或多个方面，一或多个补充增强信息SEI消息可用以发信语法元素及或其它信息，其允许视频解码器或视频后处理装置逆转本发明的动态范围调整DRA技术，以重构建所述视频数据的原始或原生色彩表示。动态范围调整DRA参数可根据本发明的一或多个方面而应用于视频数据以便更好地使用HDR/WCG色彩表示，且可包含将全局偏移值以及局部缩放值及偏移值用于色彩成分值的分割区。

Description

用于高动态范围及广色域视频译码的补充增强信息(SEI) 消息
本申请案要求2015年9月21日申请的美国临时申请案第62/221,586号及2015年10月2日申请的美国临时申请案第62/236,804号的权利，所述两个美国临时申请案的全部内容特此以引用的方式并入。
技术领域
本发明涉及视频处理。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放机、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265高效率视频译码(HEVC)所定义的标准及此些标准的扩展中所描述的那些技术。视频装置可通过实施此些视频译码技术来更有效率地传输、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以缩减或去除为视频序列所固有的冗余。对于基于块的视频译码，可将视频图块(例如，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。图片的经帧内译码(I)图块中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)图块中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生可随后进行量化的残余变换系数。最初布置成二维阵列的经量化变换系数可经扫描以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
可由色域来定义可以检索、译码及显示的色值的总数目。色域指装置可检索(例如，相机)或再现(例如，显示器)的色彩的范围。常常，色域在装置之间是不同的。针对视频译码，可使用视频数据的预定义色域，以使得视频译码过程中的每一装置可经配置以在同一色域中处理像素值。某些色域是用比传统上已用于视频译码的色域大的色彩范围进行定义。具有较大色彩范围的此些色域可被称作广色域(WCG)。
视频数据的另一方面是动态范围。动态范围通常经界定为视频信号的最大亮度与最小亮度(例如，明度)之间的比。认为过去所使用的常用视频数据的动态范围具有标准动态范围(SDR)。视频数据的其它实例规范定义具有较大的最大亮度与最小亮度的比的色彩数据。此视频数据可描述为具有高动态范围(HDR)。
发明内容
本发明涉及处理视频数据，包含处理由HDR/WCG色彩表示来表示的视频数据。根据本发明的一或多个方面，一或多个补充增强信息(SEI)消息可用以发信语法元素及或其它信息，其允许视频解码器或视频后处理装置逆转本发明的动态范围调整(DRA)技术，以重构建视频数据的原始或原生色彩表示。动态范围调整(DRA)参数可根据本发明的一或多个方面而应用于视频数据以便更好地使用HDR/WCG色彩表示，且可包含将全局偏移值以及局部缩放值及偏移值用于色彩成分值的分割区。
在本发明的一个实例中，一种解码已通过执行动态范围调整进行调整的视频数据的方法包括：接收经编码视频位流中的至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的全局偏移值；及根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值。
在本发明的另一实例中，一种编码视频数据的方法包括对所述视频数据执行动态范围调整以从所述视频数据产生经调整成分值，及在经编码视频位流中产生至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的全局偏移值。
在本发明的另一实例中，一种经配置以解码已通过执行动态范围调整进行调整的视频数据的设备包括：存储器，其经配置以存储所述视频数据；及经配置以进行以下操作的一或多个处理器：接收经编码视频位流中的至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的全局偏移值；及根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值。
在本发明的另一实例中，一种经配置以解码已通过执行动态范围调整进行调整的视频数据的设备包括：用于接收经编码视频位流中的至少一个补充增强信息(SEI)消息的装置，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的全局偏移值；及用于根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值的装置。
在本发明的另一实例中，一种用于解码已通过执行动态范围调整进行调整的视频数据的计算机程序产品包括存储有指令的计算机可读媒体。在执行时，所述指令使处理器进行以下操作：接收经编码视频位流中的至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的全局偏移值；及根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值。
在以下随附图式及描述中阐述一或多个实例的细节。其它特征、目标及优势从描述、图式及权利要求书将是显而易见的。
附图说明
图1为说明经配置以实施本发明的技术的实例视频编码及解码系统的框图。
图2为说明HDR数据的概念的概念图。
图3为说明实例色域的概念图。
图4为说明HDR/WCG表示转换的实例的概念图。
图5为说明HDR/WCG表示逆转换的实例的概念图。
图6为说明用于从感知均匀的码层级到线性明度的视频数据转换(包含SDR及HDR)的电光转移函数(EOTF)的实例的概念图。
图7为说明应用于单一色彩成分的色域转换过程的方面的概念图。
图8为说明根据本发明的技术操作的实例HDR/WCG转换设备的框图。
图9A到9C为说明根据本发明的一或多个方面的动态范围调整过程的方面的概念图。
图10为说明根据本发明的技术的实例HDR/WCG逆转换设备的框图。
图11为展示色彩重映射信息(CRI)过程的典型结构的概念图。
图12为说明可实施本发明的技术或可根据本发明的一或多个方面使用的视频编码器的实例的框图。
图13为说明可实施本发明的技术或可根据本发明的一或多个方面使用的视频解码器的实例的框图。
图14为说明根据本发明的技术的实例HDR/WCG转换过程的流程图。
图15为说明根据本发明的技术的实例HDR/WCG逆转换过程的流程图。
具体实施方式
本发明涉及对具有高动态范围(HDR)及广色域(WCG)表示的视频数据的处理及/或译码。更具体地说，本发明的技术包含应用于某些色彩空间中的视频数据以实现HDR及WCG视频数据的更有效压缩的发信及相关操作。根据本发明的一或多个方面，与此些操作相关的参数可经由一或多个SEI消息进行发信。本文中所描述的技术及装置可改进用于译码视频数据(包含HDR及WCG视频数据)的混合式视频译码系统(例如，H.265/HEVC、H.264/AVC等)的压缩效率。
包含混合式视频译码标准的视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还被称作ISO/IEC MPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。已由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)完成新的视频译码标准(即，高效率视频译码(HEVC，还称作H.265))的设计。Bross等人的被称作HEVC工作草案10(WD10)的HEVC草案规范“Highefficiency video coding(HEVC)text specification draft 10(for FDIS&Last Call)”(ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议：瑞士日内瓦，2013年1月14日到23日，JCTVC-L1003v34)可从http://phenix.int- evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。定案的HEVC标准被称作HEVC版本1。
Wang等人的瑕疵报告“High efficiency video coding(HEVC)Defect Report”(ITU-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8月2日，JCTVC-N1003v1)可从http:// phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003- v1.zip获得。定案的HEVC标准文件在2013年4月公布为“ITU-T H.265,Series H:Audiovisual and Multimedia Systems,Infrastructure of audiovisual services-Coding of moving video,High efficiency video coding,TelecommunicationStandardization Sector of International Telecommunication Union(ITU)”，且定案在HEVC标准的另一版本是在2014年10月公布。H.265/HEVC规范文本的复本可从http:// www.itu.int/rec/T-REC-H.265-201504-I/en下载。
图1为说明可利用本发明的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后时间将由目的地设备14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能型”电话)、所谓的“智能型”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似装置。在一些情况下，可装备源装置12及目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如有线或无线通信协议)进行调制，且传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在其它实例中，计算机可读媒体16可包含非暂时性存储媒体，例如硬盘、随身碟、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，经编码数据可由输入接口从存储装置存取。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一个，例如硬盘机、Blu-ray光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其一组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一个的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输从而支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频预处理器19、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频后处理器31、视频解码器30及显示装置32。根据本发明，源装置12的视频预处理器19可经配置以实施本发明的技术，包含应用于特定色彩空间中的视频数据以实现HDR及WCG视频数据的更高效压缩的发信及相关操作。在一些实例中，视频预处理器19可与视频编码器20分离。在其它实例中，视频预处理器19可为视频编码器20的部分。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于处理HDR及WCG视频数据的技术可由任何数字视频编码及/或视频解码装置来执行。此外，本发明的技术还可由视频预处理器及/或视频后处理器来执行。视频预处理器可为经配置以在编码(例如，在HEVC编码)之前对视频数据进行处理的任何装置。视频后处理器可为经配置以在解码(例如，在HEVC解码)之后对视频数据进行处理的任何装置。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以大体上对称的方式操作，以使得装置12、14中的每一个包含视频编码及解码组件，以及视频预处理器及视频后处理器(例如，分别为视频预处理器19及视频后处理器31)。因此，系统10可支持视频装置12、14之间的单向或双向视频传输，(例如)用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频检索装置，例如摄像机、含有先前检索的视频的视频存档及/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代，视频源18可产生基于计算机图形的数据以作为源视频，或实况视频、存档视频及计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可适用于视频译码及视频处理，一般来说，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器20编码所检索、预先检索或计算机产生的视频。可接着通过输出接口22将经编码视频信息输出到计算机可读媒体16上。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息(其还由视频解码器30使用)，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一个，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一种，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一个可包含在一或多个编码器或解码器中，编码器或解码器中的任一个可集成为相应装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
视频预处理器19及视频后处理器31可各自实施为多种合适的编码器电路中的任一个，例如一或多个微处理器、DSP、ASIC、FPGA、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。
在一些实例中，视频编码器20及视频解码器30根据例如以下各个的视频压缩标准而操作：ISO/IEC MPEG-4Visual及ITU-T H.264(还称为ISO/IEC MPEG-4AVC)，包含其可调式视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的三维视频(3DV)扩展。在一些情况下，遵守基于MVC的3DV的任何位流始终含有与MVC配置文件(例如，立体声高配置文件)一致的子位流。此外，存在持续努力以产生H.264/AVC的3DV译码扩展，即基于AVC的3DV。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264、ISO/IECVisual。在其它实例中，视频编码器20及视频解码器30可经配置以根据HEVC标准而操作。
根据本发明的一或多个方面，一或多个SEI消息可发信由视频预处理器19产生的一或多个参数。如下文将更详细地解释，在一些实例中，视频预处理器19及视频后处理器31可经配置以：接收与包括第一色彩容器的第一色彩表示相关的视频数据，所述第一色彩容器是由第一色域或第一集合或原色及第一色彩空间界定；导出一或多个动态范围调整参数，所述动态范围调整参数是基于所述视频数据的特性；且根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。视频编码器20可基于从视频预处理器19接收的一或多个参数而发信一或多个SEI消息。视频解码器30可接收且解码所述一或多个SEI消息，且将所述参数传递到视频后处理器31。
视频预处理器19及视频后处理器31可各自被实施为多种合适的编码器电路中的任一种，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。如上文所论述，视频预处理器19及视频后处理器31可分别地为与视频编码器20及视频解码器30分离的装置。在其它实例中，视频预处理器19可与视频编码器20集成在单一装置中，且视频后处理器31可与视频解码器30集成在单一装置中。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片还可被称作“帧”。图片可包含三个样本阵列，指示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb是Cb色讯样本的二维阵列。SCr为Cr色讯样本的二维阵列。色讯样本在本文中还可被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含明度样本的阵列。
视频编码器20可产生一组译码树单元(CTU)。CTU中的每一个可包括明度样本的译码树型块、色度样本的两个对应的译码树型块，及用以对译码树型块的样本译码的语法结构。在单色图片或具有三个单独色平面的图片中，CTU可包括单一译码树型块及用以对译码树型块的样本译码的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它视频译码标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。图块可包含在光栅扫描中连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”以指代样本的一或多个块，及用以对样本的一或多个块的样本译码的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU)，或其它视频译码标准中的宏块、宏块分割区等。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，之后命名为“译码树单元”。译码块为样本的NxN块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块及色度样本的两个对应的译码块，及用以对译码块的样本译码的语法结构。在单色图片或具有三个单独色平面的图片中，CU可包括单一译码块及用以对译码块的样本译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为经应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的明度样本的预测块、色度样本的两个对应预测块及用于预测预测块样本的语法结构。在单色图片或具有三个单独色平面的图片中，PU可包括单一预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测以产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。
如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本，产生PU的预测性块。帧间预测可为单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为执行单向预测或双向预测，视频编码器20可产生当前片段的第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。
参考图片列表中的每一个可包含一或多个参考图片。当使用单向预测时，视频编码器20可搜索RefPicList0及RefPicList1中的任一个或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可至少部分基于对应于参考位置的样本而产生PU的预测性样本块。此外，当使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间移位的单一运动向量。为了指示PU的预测块与参考位置之间的空间移位，运动向量可包含指定PU的预测块与参考位置之间的水平移位的水平成分且可包含指定PU的预测块与参考位置之间的垂直移位的垂直成分。
当使用双向预测编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置，及RefPicList1中的参考图片中的第二参考位置。视频编码器20可接着至少部分基于对应于第一及第二参考位置的样本产生PU的预测性块。此外，当使用双向预测编码PU时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间位移的第一运动，及指示PU的预测块与第二参考位置之间的空间位移的第二运动。
在视频编码器20产生CU的一或多个PU的预测性明度块、Cb块及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中的对应样本之间的差异。此外，视频编码器20可产生用于CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr剩余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块可为经应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用于对变换块样本进行变换的语法结构。在单色图片或具有三个单独色平面的图片中，TU可包括单一变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用到TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块以产生用于TU的Cr系数块。
在产生系数块((例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化通常指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可反量化变换系数，并将反变换应用到变换系数，以便重构建图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构建变换块，及CU的PU的预测性块，以重构建CU的译码块。通过重构建图片的每一CU的译码块，视频编码器20可重构建图片。视频编码器20可将经重构建图片存储在经解码图片缓冲器(DPB)中。视频编码器20可将DPB中的经重构建的图片用于进行帧间预测及帧内预测。
在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括网络抽象层(NAL)单元的序列。所述NAL单元中的每一个包含NAL单元标头且囊封原始位组序列酬载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个位组的语法结构。在一些情况下RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装图片参数集(PPS)的RBSP，第二类型的NAL单元可封装经译码图块的RBSP，第三类型的NAL单元可封装补充增强信息(SEI)的RBSP等等。PPS为可含有适用于零或多个完整经译码图片的语法元素的语法结构。囊封视频译码数据的RBSP(与参数集及SEI消息的RBSP相反)的NAL单元可被称作视频译码层(VCL)NAL单元。囊封经译码片段的NAL单元在本文中可被称作经译码片段NAL单元。用于经译码图块的RBSP可包含图块标头及图块数据。
视频解码器30可接收位流。此外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分基于从位流解码的语法元素重构建视频数据的图片。重构建视频数据的过程可大体上与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量，以确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。
此外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重构建与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本来重构建当前CU的译码块。通过重构图片的每一CU的译码块，视频解码器30可重构图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中，以用于输出及/或用于解码其它图片。
预期下一代视频应用操作表示具有HDR及WCG的经检索景物的视频数据。所利用动态范围及色域的参数为视频内容的两个独立属性，且出于数字电视及多媒体服务的目的，其规范由若干国际标准界定。举例来说，ITU-R Rec.BT.709：“Parameter values for theHDTV standards for production and international programme exchange”及/或ITU-RRec.BT.2020：“Parameter values for ultra-high definition television systemsfor production and international programme exchange,”分别定义用于高清晰度电视(HDTV)及超高清晰度电视(UHDTV)参数，例如标准动态范围(SDR)以扩展超出标准色域的色彩原色。Rec.BT.2100：“Image parameter values for high dynamic range televisionfor use in production and international programme exchange”定义用于HDR电视用途的转移函数及表示，包含支持广色域表示的原色。还存在其它标准开发组织(SDO)文献，其指定其它系统中的动态范围及色域属性，例如DCI-P3色域界定在SMPTE-231-2(运动图片及电视工程师协会)中且HDR的一些参数界定在STMPTE-2084中。以下提供视频数据的动态范围及色域的简单描述。
动态范围通常经界定为视频信号的最大亮度与最小亮度(例如，明度)之间的比。还可以“f光阑”为单位测量动态范围，其中一个f光阑对应于信号动态范围的加倍。在MPEG定义中，特征化相对于多于16f光阑的亮度变化的内容被称作HDR内容。在一些术语中，10f光阑与16f光阑之间的电平被视为中间动态范围，但在其它定义中被视为HDR。在本发明的一些实例中，HDR视频内容可为相较于传统使用的具备标准动态范围的视频内容(例如，如通过ITU-R Rec.BT.709指定的视频内容)具有较高动态范围的任何视频内容。
人类视觉系统(HVS)能够感知比SDR内容及HDR内容大很多的动态范围。然而，HVS包含适应机构，其将HVS的动态范围缩窄到所谓的同时范围。同时范围的宽度可取决于当前照明条件(例如，当前亮度)。由HDTV的SDR、UHDTV的预期HDR及HVS动态范围提供的动态范围的可视化展示在图2中，但精确范围可基于每一个人及显示器而改变。
当前视频应用及服务由ITU Rec.709调节，且提供SDR，从而通常支持约每m2 0.1到100烛光(cd)(常常被称作“尼特”)的亮度(例如，明度)范围，导致小于10f光阑。预期一些实例下代视频服务将提供达到16f光阑的动态范围。尽管用于此些内容的详细规格目前正在研发，但一些初始参数已在SMPTE-2084及ITU-R Rec.2020中予以指定。
除HDR以外，更逼真视频体验的另一方面是色彩维度。色彩维度通常由色域定义。图3为展示SDR色域(基于BT.709色彩原色的三角形100)及用于UHDTV的较广色域(基于BT.2020色彩原色的三角形102)的概念图。图3还描绘所谓的光谱轨迹(由舌片形状的区域104定界)，从而表示天然色的界限。如图3所说明，从BT.709(三角形100)移动到BT.2020(三角形102)，色彩原色旨在提供具有约多于70％的色彩的UHDTV服务。D65指定用于BT.709及/或BT.2020规范的实例白色。
用于DCI-P3、BT.709及BT.2020色彩空间的色域规范的实例展示在表1中。
表1-色域参数
Figure BDA0001599137930000131
如表1中可以看出，色域可通过白点的X及Y值及通过原色(例如，红色(R)、绿色(G)及蓝色(B))的x及y值界定。x及y值表示根据色彩的色度(X及Z)及亮度(Y)导出的正规化值，如CIE 1931色彩空间所界定。CIE 1931色彩空间定义纯色(例如，就波长来说)之间的连接及人眼如何感知此些色彩。
通常在每成分(甚至浮点)极高精度下(在4:4:4色度格式及极广色彩空间(例如，CIE XYZ)的情况下)获取及存储HDR/WCG视频数据。此表示以高精度为目标且在数学上几乎无损。然而，用于存储HDR/WCG视频数据的此格式可包含大量冗余且对于压缩用途来说可能非最优选的。具有基于HVS的假定的较低精确度格式通常用于目前先进技术的视频应用。
出于压缩的目的，典型视频数据格式转换由三个主要元素构成，如图4中所示。图4的技术可例如由视频预处理器17执行。所述三个元素包含用于动态范围压缩以使得量化引起的错误在明度值范围中在感知上(近似)均匀的非线性转移函数(TF)、到更紧凑或稳固的色彩空间的色彩转换及浮动到整数表示转换(量化)。因此，使用用于动态范围压缩的非线性转移函数(TF)来压缩线性RGB数据。举例来说，视频预处理器17可包含转移函数单元(TF)单元，其经配置以使用用于动态范围压缩以使得由量化引起的错误在明度值范围中在感知上(近似)均匀的非线性转移函数。经压缩的数据接着经历到更紧凑或稳固的色彩空间的色彩转换过程(例如，经由色彩转换单元)。接着使用浮动到整数表示转换(例如，经由量化单元)将数据量化以产生可传输到视频编码器20的视频数据(例如，HDR的数据)。
在图5中描绘解码器侧的逆转换。可由视频后处理器33执行图5的技术。举例来说，视频后处理器33可从视频解码器30接收视频数据，对数据进行反量化(例如，经由反量化单元)，执行反色彩转换(例如，经由反色彩转换单元)，且执行反非线性转移函数(例如，经由反TF单元)。此些元素的次序(例如，在图4及图5中)是作为一实例给出，且在现实世界应用中可改变。(例如，在图4中，色彩转换可先于TF模块(例如，TF单元)，以及额外处理(例如，空间次采样))可应用于色彩成分。
现将更详细地论述图4中所描绘的技术。一般来说，将转移函数应用数据(例如，HDR/WCG视频数据)以压缩数据的动态范围，以使得由量化引起的错误在明度值范围中在感知上(近似)均匀。此压缩允许用较少位来表示数据。在一个实例中，转移函数可为一维(1D)非线性函数且可反映最终用户显示器的电光转移函数(EOTF)的逆，例如，如Rec.709中针对SDR所指定。在另一实例中，转移函数可近似对亮度变换的HVS感知，例如，SMPTE-2084中针对HDR所指定的PQ转移函数。OETF的反向过程为电光转移函数(EOTF)，其将码层级映射回到明度。图6展示用作EOTF的非线性转移函数的若干实例。所述转移函数还可单独地应用于每一R、G及B成分。
在本发明的上下文中，术语“信号值”或“色值”可用以描述对应于图像元素的特定色彩成分(例如，R、G、B或Y)的值的明度电平。信号值通常表示线性光阶(明度值)。术语“码层级”或“数字码值”可指图像信号值的数字表示。通常，此数字表示表示非线性信号值。EOTF表示提供到显示装置(例如，显示装置32)的非线性信号值与由显示装置产生的线性色值之间的关系。
RGB数据通常被用作输入色彩空间，这是因为RGB是通常通过图像检索传感器产生的数据类型。然而，RGB色彩空间在其成分当中具有高冗余且对于紧密表示来说并非最优选的。为达成更紧凑且更稳固的表示，RGB成分通常经转换(例如，执行色彩变换)到更适合于压缩的更不相关色彩空间(例如，YCbCr)。YCbCr色彩空间分离不同的相关较少成分中的呈明度(Y)形式的亮度及色彩信息(CrCb)。在此上下文中，稳固表示可指在以受限位速率进行压缩时特征为较高阶错误弹性的色彩空间。
在色彩变换之后，仍然可以高位深度(例如，浮点准确度)来表示目标色彩空间中的输入数据。可例如使用量化过程将高位深度数据转换为目标位深度。某些研究展示，10位到12位准确度结合PQ转移足以提供具有低于恰可辨差异(JND)的失真的16f光阑的HDR数据。一般来说，JND是为了使差异可辨(例如，通过HVS)而必须改变的某物(例如，视频数据)的量。以10位准确度表示的数据可进一步通过大部分目前先进技术视频译码解决方案进行译码。此量化为有损译码的元素且为引入到经转换数据的不准确度的来源。
预期下一代HDR/WCG视频应用将对以HDR及CG的不同参数检索的视频数据进行操作。不同配置的实例可为具有高达1000尼特或高达10,000尼特的峰值亮度的HDR视频内容的检索。不同色域的实例可包含BT.709、BT.2020以及SMPTE指定的P3或其它色域。
还预期并有(或几乎并有)所有其它当前使用的色域的单一色彩空间(例如，目标色彩表示)将在未来使用。此目标色彩表示的一个实例是BT.2020。支持单一目标色彩表示将显著简化HDR/WCG系统的标准化、实施及部署，这是因为操作点的减小数目(例如，色彩容器、色彩空间、色彩转换算法等的数目)及/或所需算法的减小数目应由解码器(例如，视频解码器30)支持。
在此系统的一个实例中，所检索的具有不同于目标色彩表示(例如BT.2020)的天然色域(例如P3或BT.709)的内容可在处理之前(例如，在视频编码之前)转换到目标容器。以下为此转换的若干实例：
从BT.709到BT.2020色彩表示的RGB转换：
○R2020＝0.627404078626*R709+0.329282097415*G709+0.043313797587*B709
○G2020＝0.069097233123*R709+0.919541035593*G709+0.011361189924*B709
○B2020＝0.016391587664*R709+0.088013255546*G709+0.895595009604*B709
(方程式1)
从P3到BT.2020色彩表示的RGB转换：
○R2020＝0.753832826496*RP3+0.198597635641*GP3+0.047569409186*BP3
○G2020＝0.045744636411*RP3+0.941777687331*GP3+0.012478735611*BP3
○B2020＝-0.001210377285*RP3+0.017601107390*GP3+0.983608137835*BP3
(方程式2)
在此转换期间，由在P3或BT.709色域中检索的信号的每一成分(R、G、B)占用的值范围在BT.2020表示中可缩小。由于数据是以浮点准确度表示，因此无损失；然而，当与色彩转换(例如，从RGB到YCrCB的转换，在下文于方程式3中展示)及量化(下文方程式4中的实例)结合时，值范围的收缩引起输入数据的增加的量化错误。
Y'＝0.2627*R'+0.6780*G'+0.0593*B'；
Figure BDA0001599137930000161
(方程式3)
DY′＝(Round((1＜＜(BitDepthY-8))*(219*Y′+16)))
DCb＝(Round((1＜＜(BitDepthCr-8))*(224*Cb+128)))
DCr＝(Round((1＜＜(BitDepthCb-8))*(224*Cr+128)))
(方程式4)
在方程式(4)中，DY'是经量化的Y'成分，DCb是经量化的Cb，且DCr是经量化的Cr成分。项目<<表示逐位右移。BitDepthY、BitDepthCr及BitDepthCb分别为经量化成分的所要位深度。
另外，在现实世界译码系统中，利用缩小的动态范围对信号进行译码可导致经译码色度成分的准确度的显著损失，且可由观看者观察为译码伪影，例如，色彩失配及/或渗色。
图7为视频预处理器17可如何产生独特位序列的简化概念说明，所述独特位序列表示用于色彩表示中的色彩成分的值范围，其可不占用色彩表示中的成分的完全值范围，可翻译成目标色彩的值范围。展示出成分值的一维范围，包含码字的一维原生范围910，及码字的一维目标范围920。为简单起见，且出于说明的目的，假定图7的实例中的码字的原生范围(对应于码字范围910)具有1024个码字(例如，0到1023的范围)，且假定码字的目标范围(对应于码字范围920)具有更多数目个码字，例如2048个(例如，0到2047的范围)。
图7中说明了码字的原生范围910中的数个表示值910a，其中每一个可对应于码字的原生范围910中的以视频数据的样本表示的成分值。为简单起见，在图7的说明中，仅仅展示沿着码字范围910的几个表示值910a，但所述范围中的更多值910a可存在于视频数据的典型样本中。类似地，仅仅展示了码字范围920中的在转换到目标码字范围之后的对应成分值920a；在不同实例中，可表示码字范围920中的更多值920a。
在一些实例中，视频预处理器可将码字的原生范围910中的未调整成分值910a转换成码字的目标范围920的经调整值920a。出于说明的目的，可以图7的简化实例中所示的方式来说明此过程。举例来说，如果码字的原生范围中的明度值是由对应于图7中的码字的原生范围的值的一维表示910表示，那么明度值可具有码字的原生范围中的1024个可能值(0到1023)，其中视频数据的实际样本包含明度值910a。类似地，如果转换到码字的目标范围的那些相同明度值是由对应于码字的目标范围的值的码字的一维表示920表示，那么明度值可具有码字的目标范围中的2048个可能值(0到2047)，其中视频数据的样本包含转换之后的明度值920a。相应地，码字范围910中的表示值910a可经由转换过程翻译为码字范围920中的表示值920a，如图7中所示。在每一情况下，码字范围910中的值910a及码字范围920中的值920a将各自由对应于范围内的一个此值的二进制码字表示。
一般来说，在图7的简化实例中，在色域转换(及通过转移函数的动态范围压缩)之后，经转换成分值不可使用目标色彩表示中的所有可用码字。在图7的实例中，码字的目标范围具有的明度码字为码字的原生范围的两倍。视码字范围910中的成分值的分布而定，对码字范围910中的成分值所执行的转换及量化过程在一些情况下可导致在转换之后明显小于码字范围920中的全部2048个码字供明度值使用。换句话说，转换过程(例如，图7中所说明的转换过程)可以使色值相对于在码字范围920中以其它方式可获得的数个目标码字低效地分布，且结果，可能未高效地使用所有可能码字。相应地，转换及量化过程可导致相当大的准确度损失。此准确度损失对所得视频可能有不当影响，包含译码伪影、色彩失配及/或渗色。
为解决上述问题，可考虑其它技术。一个实例技术包含色域感知型视频编解码器。在此技术中，假想视频编码器经配置以估计输入信号的天然色域且调整译码参数(例如，用于经译码色度成分的量化参数)，以减少由减小的动态范围产生的任何失真。然而，此技术将不能够恢复可归因于以上方程式(4)中所进行的量化而发生的准确度损失，这是因为所有输入数据是以整数点准确度提供到典型编码解码器。
本发明描述用以执行动态范围调整(DRA)以补偿引入到HDR信号表示的动态范围变化的技术、方法及设备。动态范围调整可帮助阻止及/或减轻所引起的任何失真，包含色彩失配、渗色等。在本发明的一或多个实例中，在编码器侧的量化(例如，通过源装置12)之前及在解码器侧的反量化(例如，通过目的地装置14)之后，对目标色彩空间(例如，YCbCr)的每一色彩成分的值进行DRA。考虑到前述内容，本发明提出经由一或多个SEI消息发信与执行此动态范围调整相关的参数，此些参数包含与缩放及偏移、分割、全局偏移及局部缩放及偏移相关的信息。
图8为说明根据本发明的技术操作的实例HDR/WCG转换设备的框图。在图8中，实线指定数据流且虚线指定控制信号。本发明中所描述的一或多个技术可由源装置12的视频预处理器19执行。如上文所论述，视频预处理器19可为与视频编码器20分离的装置。在其它实例中，视频预处理器19可与视频编码器20并入到同一个装置中。
如图8所示，RGB原生CG视频数据200经输入到视频预处理器19。在通过视频预处理器19进行的视频预处理的情况下，RGB原生CG视频数据200是由输入色彩表示定义。输入色彩容器指定用以表示视频数据200的一组色彩原色(例如，BT.709、BT.2020、P3等)。在本发明的一个实例中，视频预处理器19可经配置以将RGB原生CG视频数据200的色彩容器及色彩空间两者转换到HDR的数据216的目标色彩容器及目标色彩空间。与输入色彩容器相同，目标色彩容器可指定用以表示HDR的数据216的一组或色彩原色。在本发明的一个实例中，RGB原生CG视频数据200可为HDR/WCG视频，且可具有BT.2020或P3色彩容器(或任何WCG)，且可在RGB色彩空间中。在另一实例中，RGB原生CG视频数据200可为SDR视频，且可具有BT.709色彩容器。在一个实例中，HDR的数据216的目标色彩容器可能已针对HDR/WCG视频经配置(例如，BT.2020色彩容器)且可使用对于视频编码更为最优选的色彩空间(例如，YCrCb)。
在本发明的一个实例中，CG转换器202可经配置以将RGB原生CG视频数据200的色彩容器从输入色彩容器(例如，第一色彩容器)转换到目标色彩容器(例如，第二色彩容器)。作为一个实例，CG转换器202可将RGB原生CG视频数据200从BT.709色彩表示转换到BT.2020色彩表示(其实例在下文展示)。
将RGB BT.709样本(R709,G709,B709)转换到RGB BT.2020样本(R2020,G2020,B2020)的过程可用两步转换来实施，所述两步转换涉及首先转换到XYZ表示，继而使用适当转换矩阵进行从XYZ到RGB BT.2020的转换。
X＝0.412391*R709+0.357584*G709+0.180481*B709
Y＝0.212639*R709+0.715169*G709+0.072192*B709 (方程式5)
Z＝0.019331*R709+0.119195*G709+0.950532*B709
从XYZ到R2020G2020B2020(BT.2020)的转换
R2020＝clipRGB(1.716651*X-0.355671*Y-0.253366*Z)
G2020＝clipRGB(-0.666684*X+1.616481*Y+0.015768*Z) (方程式6)
B2020＝clipRGB(0.017640*X-0.042771*Y+0.942103*Z)
类似地，单一步骤且建议的方法如下：
R2020＝clipRGB(0.627404078626*R709+0.329282097415*G709+0.043313797587*B709)
G2020＝clipRGB(0.069097233123*R709+0.919541035593*G709+0.011361189924*B709)
B2020＝clipRGB(0.016391587664*R709+0.088013255546*G709+0.895595009604*B709)
(方程式7)
CG转换之后的所得视频数据在图8中展示为RGB目标CG视频数据204。在本发明的其它实例中，输入数据及输出HDR的数据的色彩容器可相同。在此实例中，CG转换器202不必对RGB原生CG视频数据200执行任何转换。
接下来，转移函数单元206压缩RGB目标CG视频数据204的动态范围。转移函数单元206可经配置以应用转移函数以压缩动态范围，其方式与上文参看图4所述的相同。色彩转换单元208将RGB目标CG色彩数据204从输入色彩容器的色彩空间(例如，RGB)转换到目标色彩容器的色彩空间(例如，YCrCb)。如上文参看图4所解释，色彩转换单元208将经压缩数据转换到更紧密或稳固的色彩空间(例如，YUV或YCrCb色彩空间)中，所述色彩空间更适合于由混合式视频编码器(例如，视频编码器20)进行的压缩。
调整单元210经配置以根据通过DRA参数估计单元212导出的DRA参数来执行经色彩转换的视频数据的动态范围调整(DRA)。一般来说，在通过CG转换器202进行的CG转换及通过转移函数单元206进行的动态范围压缩之后，所得视频数据的实际色值可能不会使用特定目标色彩表示的分配的所有可获得码字(例如，表示每一色彩的独特位序列)。即，在某些情况下，RGB原生CG视频数据200从输入色彩表示到输出色彩表示的转换可将视频数据的色值(例如，Cr及Cb)过度压缩，以使得所得经压缩视频数据并不高效地使用所有可能色值。如上文所解释，利用色彩的缩小动态范围对信号进行译码可导致经译码色度成分的准确度的显著损失，且可由观看者观察为译码伪影，例如，色彩失配及/或渗色。
调整单元210可经配置以将DRA参数应用于视频数据(例如，动态范围压缩及色彩转换之后的RGB目标CG视频数据204)的色彩成分(例如，YCrCb)，以充分利用可用于特定目标色彩表示的码字。调整单元210可在像素层级将DRA参数应用于视频数据。一般来说，DRA参数定义将用以表示实际视频数据的码字扩展到尽可能多的可用于目标色彩表示的码字的功能。如下文进一步所描述，用于扩展用以表示实际视频的码字的过程可包含分割码字范围，及将缩放及偏移应用于每一此分割区。
在本发明的一个实例中，所述DRA参数包含应用于视频数据的成分的缩放值及偏移值。一般来说，视频数据的色彩成分的值范围越低，可使用的缩放因数越大。偏移参数可用以使色彩成分的值以用于目标色彩表示的可用码字的中心为中心。举例来说，如果目标色彩表示每个色彩成分包含1024个码字，那么可选择偏移值，以使得中心码字移动到码字512(例如，最中间的码字)。在其它实例中，偏移参数可用以提供输入码字到输出码字的优选映射，以使得目标色彩表示中的总体表示在对抗译码伪影时更有效。
在一个实例中调整单元210如下所述地将DRA参数应用于目标色彩空间(例如，YCrCb)中的视频数据：
-Y”＝scale1*Y'+offset1
-Cb”＝scale2*Cb'+offset2 (方程式8)
-Cr”＝scale3*Cr'+offset3
其中信号成分Y'、Cb'及Cr'为由RGB到YCbCr转换(方程式3中的实例)产生的信号。请注意，Y'、Cr'及Cr'还可为由视频解码器30解码的视频信号。Y”、Cb”及Cr”为DRA参数已应用于每一色彩成分之后的视频信号的色彩成分。如在以上实例中可见，每一色彩成分与不同的缩放及偏移参数相关。举例来说，scale1及offset1用于Y'成分，scale2及offset2用于Cb'成分，且scale3及offset3用于Cr'成分。应理解，此仅为实例。在其它实例中，相同的缩放值及偏移值可用于每个色彩成分。
如在以上实例中可见，调整单元210可将动态范围调整参数(例如缩放及偏移DRA参数)应用作为线性函数。因而，调整单元210并非必需在通过色彩转换单元208进行的色彩转换之后在目标色彩空间中应用DRA参数。这是因为色彩转换本身是线性过程。因而，在其它实例中，调整单元210可在任何色彩转换过程之前将DRA参数应用于原生色彩空间(例如，RGB)中的视频数据。在此实例中，色彩转换单元208将在调整单元210应用DRA参数之后应用色彩转换。
在其它实例中，且如下文关于图9A到9C进一步描述，每一色彩成分可与多个缩放及偏移参数相关联，且码字范围可划分成多个分割区。举例来说，Cr或Cb色彩成分的色度值的实际分布对于不同部分的码字可能不同，且在码字范围中可能不均匀。在此情形中(或在其它情形中)，将码字范围划分成多个分割区且将缩放及偏移应用于每一分割区可为有益的。一或多个全局偏移可应用于分割区中的一些或全部。
在一些实例中，调整单元210可如下所述地在目标色彩空间或原生色彩空间中应用DRA参数：
-Y”＝(scale1*(Y'-offsetY)+offset1)+offsetY；
-Cb”＝scale2*Cb'+offset2 (方程式9)
-Cr”＝scale3*Cr'+offset3
在此实例中，参数scale1、scale2、scale3、offset1、offset2及offset3具有如上所述的相同含义。参数offsetY为反映信号的亮度的参数，且可等于Y'的平均值。在其它实例中，类似于offset Y的偏移参数可应用于Cb'及Cr'成分，以更好地保留输入表示及输出表示中的中心值的映射。
在本发明的另一实例中，调整单元210可经配置以在除原始色彩空间或目标色彩空间以外的色彩空间中应用DRA参数。一般来说，调整单元210可经配置以如下所述地应用DRA参数：
-X'＝scale1*(X-offset1)+offset2+offset3；
-Y'＝scale2*(Y-offset4)+offset5+offset6 (方程式10)
-Z'＝scale3*(Z-offset7)+offset8+offset9
其中信号成分X、Y及Z为不同于目标色彩空间的色彩空间(例如，RGB或中间色彩空间)中的信号成分。值X、Y及Z可仅为变量或信号成分的参考，且不应与XYZ色彩空间混淆。
图9A为表示码字的原生范围中的色彩成分的一系列值的独特位序列可如何根据本发明的一或多个方面的通过图8的视频预处理器19转换成目标码字范围的一系列值的简化概念说明。图9A中展示出成分值的一维范围，包含对应于码字的原生范围的码字的一维原生范围1210，及对应于码字的目标范围的码字的一维目标范围1220。以类似于结合图7所描述的方式的方式，为简单起见且出于说明的目的，假定图9A的实例中的码字的原生范围(对应于范围1210)的成分值的范围具有1024个码字，且假定码字的目标范围(对应于范围1220)的成分值的范围具有2048个码字。举例来说，如果码字的一维原生范围1210表示明度值，那么在对应于码字的原生范围的码字范围1210中可存在1024个可能明度值。如果码字的一维目标范围1220表示码字的目标范围中的明度值，那么在对应于码字的目标范围的码字的范围1220中可存在2048个可能明度值。
图9A中说明了码字的原生范围1210中的数个表示值1210a，其各自对应于视频数据的样本在码字的原生范围1210中所表示的成分值。为简单起见，在图9A的说明中仅仅展示码字范围1210中的若干表示值1210a，但码字范围1210中的更多成分值1210a可存在于视频数据的典型样本中。
在一些情况下，视频数据的样本的值1210a在码字范围1210上可非均匀地散布，且可集中在码字范围1210内的相对少量局部中。尽管图9A中的说明为简化实例，但此非均匀表示在图9A中仍然显而易见，这是因为码字范围1210展示靠近码字范围1210的端部的数个成分值1210a，而大体上在范围中间(即，169与702之间的码字范围)没有值。
在一些实例中，在执行动态范围调整以将码字值范围1210中的未调整成分值1210a有效率地映射到成分值范围1220中的经调整成分值1220a时，视频预处理器19可将全局偏移值应用于图9A中的码字值范围1210。举例来说，在图9A中，视频预处理器19可选择码字的未调整范围1210中的第一全局偏移值119，其为码字范围1210中的成分值1210a中的一个。视频预处理器19可选择第二全局偏移值为0，在图9A的实例中，第二全局偏移值为当执行动态范围调整时第一全局偏移(119)映射到的码字范围1220中的经调整值。
在一些实例中，码字范围1210中可存在小于全局偏移值的未调整成分值。在图9A中的码字范围1210中，存在一个此成分值1210a(具有值60)。在一些实例中，视频预处理器19可忽略此值，特别在小于第一全局偏移的未调整成分值对经解码视频数据没有显著影响的情况下。在其它实例中，码字范围1210中小于第一全局偏移值(119)的任何成分值1210a可削减到第一全局偏移值(119)，或换句话说，视频预处理器19可假定所述值等于第一全局偏移值(119)。在此实例中，视频预处理器19可在执行动态范围调整之前修改未调整值60，使得所述值在码字范围1210内具有未调整成分值119，而非具有未调整成分值60。
预处理器19可选择适当缩放值以结合全局偏移值使用。相应地，在图9A的实例中，视频预处理器19可使用此些动态范围参数将码字范围1210中的未调整成分值1210a翻译成码字范围1220中的值1220a。在一些实例中，可选择此些动态范围调整参数，使得当将值1210a转换到码字范围1220时，码字范围1220中的可用码字以高效率方式使用。举例来说，视频预处理器19可基于如下假设来计算线性缩放值：动态范围调整将第一全局偏移(未调整值119)翻译成第二全局偏移(经调整值0)，且动态范围调整将码字范围1210中的最后未调整值1210a(具有未调整值852)转换成码字范围1210中的经调整值2047。基于图9A的简化实例中的此些假设，视频预处理器19可确定以下公式可用以将来自码字范围1210的未调整成分值1210a翻译成码字范围1220中的经调整成分值1220a：
A1220＝2.793*(U1210-119)+0 (方程式11)
在以上方程式中，A1220为码字范围1220中的经调整成分值，且U1210为码字范围1210中的未调整成分值。在此公式中，缩放值经计算为2.793，且第一全局偏移值为119，且第二全局偏移值为0。
通过视频预处理器19执行且在图9A中加以说明的动态范围调整的效应在于，码字范围1210中的值经转换成码字范围1220中的值，以使得经调整成分值在码字范围1220内散布以实际上使用码字范围1220中的更多码字。在一些实例中，视频预处理器19选择缩放及全局偏移值，使得视频数据中所表示的成分值(码字范围1210中的值1210a)沿着码字范围1220更有益地在码字中。在另外实例中，即使当对应于范围1210及1220的位深度及/或码字相同时，视频预处理器19还可能将值翻译成码字范围1220中的值，使得经调整成分值散布在码字范围1220内，以实际上使用码字范围1220中的更多码字。在一些实例中，可能的一种方式为将等于或小于全局偏移值的未调整值映射到码字范围1220中的第一值(例如，将值1210a映射到经调整值0)。
图9B为视频预处理器19可如何将表示码字的原生范围中的色彩成分的一系列值的独特位序列翻译成码字的目标范围的一系列值的另一简化概念说明。如同图9A，在图9B中展示出成分值的一维范围，包含对应于码字的原生范围的码字的一维原生范围1230，及对应于码字的目标范围的码字的一维目标范围1240。为简单起见，且出于说明的目的，假定图9B的实例中的原生色彩表示的成分值的范围(对应于码字范围1230)具有1024个码字，且假定码字的目标范围的成分值的范围(对应于码字范围1240)具有2048个码字。举例来说，以类似于图9A的方式，如果码字在一维原生范围1230表示明度值，那么在对应于码字的原生范围的码字范围1230中可存在1024个可能明度值。如果码字的一维目标范围1240表示码字的目标范围中的明度值，那么在对应于码字的目标范围的码字范围1240中可存在2048个可能明度值。
图9B中说明了码字的原生范围1230中的数个表示值1230a，其各自对应于视频数据的样本在码字的原生范围1230中所表示的成分值。为简单起见，在图9B的说明中仅仅展示码字范围1230中的若干表示值1230a，但码字范围1230中的更多成分值1230a可存在于视频数据的典型样本中。
如图9B中所说明，且在一些实例中，视频预处理器19可确定，通过将码字范围1230划分成多个分割区，可获得执行动态范围调整时的更高效率。视频预处理器19可确定用于每一分割区的缩放值及偏移值，视频预处理器19使用其将每一分割区中的未调整成分值1230a映射到成分值的范围1240中的经调整成分值1240a。如果视频预处理器19选择缩放参数及偏移参数以有效率地使用码字的目标范围1240的码字，那么有可能在码字的目标范围1240中有效率地表示视频数据，且还可导致较高质量的经解码视频数据。
举例来说，在图9B中，视频预处理器19将码字范围1230划分成五个分割区(1231、1232、1233、1234及1235)。分割区1231对应于码字范围1230中的码字0到118(包含0及118)，且包含仅一个表示成分值(成分值60)。分割区1232对应于码字119到168，且在图9B的简化实例中，由码字范围1210表示的视频样本包含分割区1232中的三个成分值1230a(成分值119、132及168)。分割区1233对应于码字169到702，且由码字范围1230表示的视频样本不包含此范围中的成分值。分割区1234对应于码字703到852，且由码字范围1230表示的视频样本包含此分割区中的三个成分值1230a(成分值703、767及852)。最终，第五分割区(分割区1235)范围在码字853到码字1023，且由码字范围1230表示的视频样本不包含此范围中的成分值。
视频预处理器19选择分割区及适当的缩放值及偏移值，使得对码字范围1230中所示的成分值执行动态范围调整将导致以高效方式使用码字范围1240中的可用码字。在图9B的实例中，视频预处理器19为包含值的分割区(例如，分割区1232及1234)分配码字范围1240的一部分，而视频预处理器19不为不包含值(分割区1231、1233、1225)分配码字范围1240的部分。类似地，视频预处理器19分配到分割区的范围1240的部分的大小取决于对应分割区1231、1232、1233、1234及1235的大小。为范围1230上的较大或较宽分割区分配范围1240的较大部分。
此外，在一些情况下，如先前关于图9A所描述，视频预处理器19可确定，省略或忽略码字范围1230中的特定值(例如，码字范围1230的极端处的值)可为有益的。关于此些值数目可能很少的情况，及/或在此些值对经解码视频数据没有实质影响的情况下，通过省略此些值可获得某些效率。举例来说，相对于图9B的实例中的分割区1211，在视频预处理器19忽略分割区1231中具有由视频数据表示的成分值60的单一码字的情况下，可获得某些效率，因此在图9B的实例中，视频预处理器19不为分割区1231分配码字范围1240的任何部分。
相应地，在图9B的实例中，视频预处理器19将码字范围1230中跨50个值或码字(119到168)的分割区1232翻译成跨码字范围1240的码字0到511的分割区1242。视频预处理器19将跨码字范围1230中的150个码字的分割区1234翻译成码字范围1240中跨码字512到2047的分割区1244。结果，码字范围1240中的分割区1242沿着码字范围1240跨512个码字，且码字范围1240中的分割区1244沿着码字范围1240跨1536个码字。分割区1244因此为分割区1242的大小的三倍。在图9B的实例中，视频预处理器19可以此方式来选择分割区大小，这是因为分割区1232及1234成类似缩放(即，分割区1234为分割区1232的大小的三倍)，由此在动态范围调整将那些分割区翻译成码字范围1240中的分割区1242及1244内的经调整成分值时维持分割区1232及1234的相对大小。在其它实例中，当将动态范围调整应用于码字范围1230中的值以将那些分割区翻译成码字范围1240中的值时，视频预处理器19可不以此方式维持沿着码字范围1230的分割区的缩放。在其它实例中，视频预处理器19可以不同道路维持沿着码字范围1230的分割区的缩放。
仍参考图9B的实例，视频预处理器19可以局部方式将缩放值及偏移值(例如，局部缩放及局部偏移)应用于码字值范围1230中的分割区中的每一个，以将那些分割区中的未调整成分值1230a翻译成沿着码字范围1240的分割区1242及1244中的经调整成分值1240a。举例来说，针对分割区1232，视频预处理器19可基于如下假设来计算线性缩放值及偏移值：分割区1232中的第一未调整值119映射到分割区1242中的经调整值0，且分割区1232中的最后未调整值168映射到分割区1242中的经调整值511。基于图9B的简化实例中的此些假设，视频预处理器19可确定，以下公式可用以将来自分割区1232的未调整成分值翻译成来自分割区1242的经调整成分值：
A1242＝10.429*U1232+-1241.1 (方程式12)
在以上方程式中，A1242为码字范围1240内的分割区1242中的经调整成分值，且U1232为码字范围1230内的分割区1232中的未调整成分值。在此公式中，用于分割区1232的局部缩放值为10.429，且用于分割区1232的局部偏移值为-1241.1。
类似地，视频预处理器19可基于如下假设来计算用于将分割区1234中的未调整成分值转换成分割区1244中的经调整成分值的线性缩放值及偏移值：分割区1234中的第一未调整值703对应于分割区1244中的经调整值512，且分割区1234中的最后未调整值852对应于分割区1244中的经调整值2047。基于此些假设，视频预处理器19可确定，以下公式可用以将来自分割区1234的未调整成分值翻译成分割区1244中的经调整成分值：
A1244＝10.302*U1234+-6730.3 (方程式13)
在以上方程式中，A1244为码字范围1240内的分割区1244中的经调整成分值，且U1234为码字范围1230内的分割区1234中的未调整成分值。在此公式中，用于分割区1234的局部缩放值为10.302，且用于分割区1234的局部偏移值为-6730.3。
在图9B的实例中，视频预处理器19不为分割区1231、1233及1235分配码字范围1240中的任一个，此可实现码字范围1240的更高效使用，且允许码字范围1240的更多码字用于视频数据包含更多值的分割区(例如，分割区1232及1234)。在此实例中，分割区1231、1233及1235可不具有码字范围1240中的任何对应分割区。在一些实例中，视频预处理器19可忽略或丢弃可能包含在对应于分割区1231、1233及1235的视频数据样本中的任何未调整成分值。在其它实例中，视频预处理器19可将可包含在分割区1231、1233及1235中的任何未调整成分值映射到其它分割区中的一个中的适当值，或视频预处理器19可将此些值映射到码字范围1240中所分配的分割区之间的边界上或附近的值，或视频预处理器19可将此些值映射到码字范围1240的两个末端中的一个。替代地，视频预处理器19可分配(或逻辑上分配)小分割区或大小为零的分割区，且视频预处理器19可应用此分割区的适当局部缩放值及偏移值，以将此些分割区的未调整成分值映射成码字范围1240中的经调整成分值。
图9B中所说明的动态范围调整的效应在于，视频预处理器19将码字范围1230中的值翻译成码字范围1240中的值，其方式为：分割区1232及1234中的值在码字范围1240内散布以实际上使用码字范围1240中的更多码字。在一些实例中，视频预处理器19针对每一分割区选择局部缩放值及局部偏移值，使得视频数据中所表示的值(如码字范围1230中的值1230a所表示)沿着码字范围1240在尽可能多的码字中展开。在一些情况下，例如在特定范围内存在大量值1230a的情况下，此调整可为有益的。在此情况下，视频预处理器19以类似于关于图9B所描述的方式的方式执行动态范围调整可导致防止或减少经译码成分组件的准确度的任何损失，且因此，可防止译码伪影(例如，色彩失配及/或渗色)由经解码视频数据的观看者观察到。
在一些实例中，视频预处理器19可通过选择可应用于图9B中的码字范围1230及1240的全局偏移值(选择方式类似于关于图9A所描述的方式)而获得更多效率。举例来说，在图9B中，视频预处理器19可选择全局偏移值119，使得码字范围1210中小于119的任何值可假定为未调整值119。在此实例中，视频预处理器19可假设分割区1231中的未调整成分值60具有值119(而非60)，且因此可包含在分割区1232中。在一些实例中，在执行动态范围调整之前对值进行修改的视频预处理器19可优选忽略所述值或不对所述值执行动态范围调整。
在图9B的实例中，视频预处理器19将用于未调整成分值119的全局偏移值翻译成沿着码字范围1240的经调整成分值0。以类似于关于图9A所描述的方式的方式，对应于用于未调整值119的全局偏移值的经调整值0本身可用作为第二全局偏移值。此第二全局偏移值可被视为对应于未调整值119的经调整值，或换句话说，第一全局偏移值(码字范围1230中的未调整成分值)可映射到第二全局偏移值(码字范围1240中的经调整成分值)。
先前描述的用于对分割区1212及1214中的值执行动态范围调整的方程式{12}及{13}可就根据此些上述全局偏移值重写。具体地说，视频预处理器19可确定，当使用一或多个全局偏移值时，不同关系可应用于分割区1232。相应地，可如下所述地重写方程式{12}：
A1242＝10.429*(U1232+-119)+0+0 (方程式14)
在以上方程式中，A1242为码字范围1240内的分割区1242中的经调整成分值，且U1232为码字范围1230内的分割区1232中的未调整成分值。在此公式中，用于码字范围1230中的未调整成分值的(第一)全局偏移值为-119，且用于码字范围1240中的经调整成分值的(第二)全局偏移值为0。用于分割区1232的缩放值为10.429，且用于分割区1232的偏移值为0。
类似地，视频预处理器19可确定，当使用一或多个全局偏移值时，不同关系可应用于分割区1234。相应地，可如下所述地重写方程式{13}：
A1244＝10.302*(U1234+-119)+0+-5504.4 (方程式15)
在以上方程式中，A1244为码字范围1240内的分割区1244中的经调整成分值，且U1234为码字范围1230内的分割区1234中的未调整成分值。在此公式中，用于码字范围1230中的未调整成分值的(第一)全局偏移值为-119，且用于码字范围1240中的经调整成分值的(第二)全局偏移值为0。用于分割区1234的缩放值为10.302，且用于所述分割区的偏移值为-5504.4。
图9C为视频预处理器19可如何将表示码字的原生范围中的色彩成分的一系列值的独特位序列翻译成码字的目标范围的一系列值的另一简化概念说明。如同图9A及图9B，在图9C中展示出成分值的一维范围，包含对应于码字的原生范围的码字的一维原生范围1250，及对应于码字的目标范围的码字的一维目标范围1260。在此实例中，假定码字的原生范围的成分值的范围(对应于码字范围1250)对应于2048个码字，且假定码字的目标范围的成分值的范围(对应于码字范围1260)对应于2048个码字。举例来说，如果码字的一维原生范围1250表示明度值，那么在对应于码字的原生范围的码字范围1250中可存在2048个可能明度值。如果码字的一维目标范围1260表示码字的目标范围中的明度值，那么在对应于码字的目标范围的码字范围1260中可存在2048个可能明度值。
图9C的实例说明，即使当码字的原生范围(对应于图9C中的码字范围1250)与码字的目标范围(对应于图9C中的码字范围1260)大小相同或大体上相同时，根据本发明的一或多个方面通过视频预处理器19执行的动态范围调整也可为有益的。图9C中说明了码字的原生范围1250中的数个表示值1250a。为简单起见，仅仅展示若干表示值1250a。
如图9C中所说明，视频预处理器19可将码字范围1250划分成多个分割区。视频预处理器19可计算用于每一分割区的缩放值及偏移值且使用所述值将每一分割区中的未调整成分值1250a映射到成分值范围1260中的经调整成分值1260a。视频预处理器19可选择动态范围调整参数以有效率地使用码字的目标范围1260的码字。举例来说，在图9C中，视频预处理器19可将码字范围1250划分成五个分割区(1251、1252、1253、1254及1255)。如同其它实例一样，在图9C的实例中，视频预处理器19将码字范围1260的一部分分配到包含值的那些分割区，而视频预处理器19可不将码字范围1260的任何部分分配到不包含值的那些分割区。类似地，视频预处理器19可将码字范围1260的较大部分分配到码字范围1250中比1250中的另一分割区宽或跨更多值的那些分割区。此外，关于图9C的实例中的分割区1251，视频预处理器19不将码字范围1260的任何部分分配到分割区1251，即使所述分割区包含成分值120。
相应地，在图9C的实例中，视频预处理器19将码字范围1250中跨100个值或码字(238到337)的分割区1252翻译成跨码字范围1260的码字0到511的分割区1262。视频预处理器19将跨码字范围1250中的300个码字的分割区1254翻译成码字范围1260中跨码字512到2047的分割区1264。
仍参考图9C的实例，视频预处理器19可计算缩放值及偏移值且以局部方式将所述值应用于码字值范围1250中的分割区中的每一个，以将那些分割区中的未调整成分值翻译成沿着码字范围1260的分割区1262及1264中的经调整成分值。举例来说，针对分割区1252，视频预处理器19可基于如下假设来计算线性缩放值及偏移值：分割区1252中的第一未调整值238映射到分割区1262中的经调整值0，且分割区1252中的最后未调整值337映射到分割区1262中的经调整值511。基于图9C的简化实例中的此些假设，视频预处理器19可确定，以下关系可用以将来自分割区1212的未调整成分值翻译成来自分割区1222的经调整成分值：
A1262＝5.162*(U1252+-238)+0+0 (方程式16)
在以上方程式中，A1262为码字范围1260内的分割区1262中的经调整成分值，且U1252为码字范围1250内的分割区1252中的未调整成分值。在此公式中，(第一)全局偏移值为-238，且(第二)全局偏移值为0。用于分割区1252的局部缩放值为5.162，且分割区1252的局部偏移值为0。
类似地，视频预处理器19可基于如下假设来计算用于将分割区1254中的未调整成分值转换成分割区1264中的经调整成分值的线性缩放值及偏移值：分割区1254中的第一未调整值1406对应于分割区1264中的经调整值512，且分割区1254中的最后未调整值1705对应于分割区1264中的经调整值2047。基于此些假设，视频预处理器19可确定，以下关系可用以将来自分割区1254的未调整成分值翻译成分割区1264中的经调整成分值：
A1264＝5.134*(U1254+-238)+0+-5484.5 (方程式17)
在以上方程式中，A1264为码字范围1260内的分割区1264中的经调整成分值，且U1254为码字范围1250内的分割区1254中的未调整成分值。在此公式中，(第一)全局偏移值为-238，且(第二)全局偏移值为0。用于分割区1254的局部缩放值为5.134，且用于分割区1254的局部偏移值为-5484.5。
同样，图9C中所说明的动态范围调整的效应在于，视频预处理器19将码字范围1250中的值翻译成码字范围1260中的值，其方式为：分割区1252及1254中的值在码字范围1260内散布以实际上使用码字范围1260中的更多码字。在一些实例中，视频预处理器19以类似于关于图9C所描述的方式的方式执行动态范围调整可导致防止或减少经译码成分组件的准确度的任何损失，且因此，可防止译码伪影(例如，色彩失配及/或渗色)由经解码视频数据的观看者观察到。
如下文进一步描述，且根据本发明的一或多个方面，一或多个新SEI消息可包含与上文所述的执行动态范围调整相关的参数及/或信息。动态范围调整参数或信息可由视频预处理器19产生，且由视频解码器30编码为SEI消息。此些SEI消息可包含足以使视频解码器30及/或视频后处理器31能够执行动态范围调整的逆转以重构建视频数据的信息。
在本发明的其它实例中，调整单元210可经配置以将线性转移函数应用于视频以执行DRA。此转移函数可不同于由转移函数单元206用以压缩动态范围的转移函数。类似于上文所定义的缩放及偏移术语，由调整单元210应用的转移函数可用以扩充色值且使色值以目标色彩表示中的可用码字为中心。应用转移函数以执行DRA的实例展示如下：
-Y”＝TF2(Y')
-Cb”＝TF2(Cb')
-Cr”＝TF2(Cr')
项TF2指定由调整单元210应用的转移函数。在一些实施例中，调整单元可将不同转移函数应用于成分中的每一个。
在本发明的另一实例中，调整单元210可经配置以在单一过程中与色彩转换单元208的色彩转换结合而应用DRA参数。即，可组合调整单元210及色彩转换单元208的线性函数。下面展示组合应用的实例，其中f1及f2为RGB到YCbCr矩阵及DRA缩放因数的组合：
Figure BDA0001599137930000291
在本发明的另一实例中，在应用DRA参数之后，调整单元210可经配置以执行剪裁过程，从而防止视频数据具有在针对特定目标色彩表示所指定的码字范围外的值。在某些情况下，由调整单元210应用的缩放及偏移参数可使某些色彩成分值超过可允许码字的范围。在此情况下，调整单元210可经配置以将超过范围的成分的值裁剪到范围中的最大值。
由调整单元210应用的DRA参数可由DRA参数估计单元212确定。DRA参数估计单元212用来更新DRA参数的频率及时间例项是灵活的。举例来说，DRA参数估计单元212可从时间层级上更新DRA参数。即，针对图片群组(GOP)或单一图片(帧)可确定新DRA参数。在此实例中，RGB原生CG视频数据200可为GOP或单一图片。在其它实例中，DRA参数估计单元212可从空间层级上(例如，在图块方块或块层级)更新DRA参数。在此上下文中，视频数据块可为宏块、编码树单元(CTU)、译码单元或任何其它大小及形状的块。块可为正方形、矩形或任何其它形状。相应地，可使用DRA参数以达成更加高效的时间及空间预测及译码。
在本发明的其它实例中，DRA参数估计单元212可经配置以导出DRA参数的值，以便将与预处理及/或编码视频数据相关联的特定成本函数减到最小。作为一个实例，DRA参数估计单元212可经配置以估计最小化上文由量化单元214引入的量化错误(例如，参见方程式(4))的DRA参数。DRA参数估计单元212可通过对已应用了DRA参数的不同集合的视频数据执行量化错误测试而将此错误减到最小。在另一实例中，DRA参数估计单元212可经配置而以感知方式估计将由量化单元214引入的量化错误减到最小的DRA参数。DRA参数估计单元212可基于对已应用了DRA参数的不同集合的视频数据的感知错误测试而将此错误减到最小。DRA参数估计单元212接着可选择产生最少量化错误的DRA参数。
在另一实例中，DRA参数估计单元212可选择将与由调整单元210执行的DRA及由视频编码器20执行的视频编码两者相关联的成本函数减到最小的DRA参数。举例来说，DRA参数估计单元212可利用DRA参数的多个不同集合来执行DRA及对视频数据进行编码。DRA参数估计单元212接着可通过形成由DRA及视频编码引起的位速率以及由此些两种有损过程引入的失真的加权总和来计算用于DRA参数的每一集合的成本函数。DRA参数估计单元212接着可选择将成本函数减到最小的DRA参数集合。
在针对DRA参数估计的以上技术中的每一个中，DRA参数估计单元212可使用关于成分的信息针对每一成分单独地确定DRA参数。在其它实例中，DRA参数估计单元212可使用交叉成分信息来确定DRA参数。举例来说，针对Cr成分导出的参数可用以导出用于Cb成分的DRA参数。
在利用加权预测的视频译码方案中，根据以权重(Wwp)及偏移(Owp)取得的参考图片Sr的样本(针对单向预测)来预测当前经译码图片Sc的样本，此将产生预测样本Sp：
Sp＝Sr*Wwp+Owp。
在利用DRA的一些实例中，可用使用不同参数(即，针对当前图片的{scale1cur,offset1cur}及针对参考图片的{scale1ref,offset1ref})的DRA对参考及当前经译码图片的样本进行处理。在此些实施例中，加权预测的参数可从DRA导出，例如：
Wwp＝scale1cur/scale1ref
Owp＝offset1cur-offset1ref
在调整单元210应用DRA参数之后，视频预处理器19接着可使用量化单元214将视频数据量化。量化单元214可以与上文参看图4所述的方式相同的方式操作。在量化之后，现在于HDR的数据216的目标色彩容器的目标色彩空间及目标原色中对视频数据进行调整。接着可将HDR的数据216发送到视频编码器20以供压缩。
图10为说明根据本发明的技术的实例HDR/WCG逆转换设备的框图。如图10所示，视频后处理器31可经配置以应用由图8的视频预处理器19执行的所述技术的逆转。在其它实例中，视频后处理器31的技术可并入视频解码器30中且通过视频解码器执行。
在一个实例中，视频解码器30可经配置以解码由视频编码器20编码的视频数据。接着将经解码视频数据(目标色彩容器中的HDR’的数据316)转送到视频后处理器31。反量化单元314对HDR的数据316执行反量化过程以逆转由图8的量化单元214执行的量化过程。
视频解码器30还可经配置以解码由图10的DRA参数估计单元212产生的一或多个语法元素中的任一个且将语法元素发送到视频后处理器31的DRA参数导出单元312。根据本发明的一或多个方面，DRA参数导出单元312可经配置以基于一或多个语法元素或SEI消息来确定DRA参数。在一些实例中，一或多个语法元素或SEI消息可显式地指示DRA参数。在其它实例中，DRA参数导出单元312经配置以使用来自语法元素或SEI消息的信息及/或使用供图10的DRA参数估计单元212使用的相同技术来导出DRA参数中的一些(或全部)。
可将由DRA参数导出单元312导出的参数发送到反调整单元310。反调整单元310使用所述参数执行由调整单元210执行的线性DRA调整的逆转。反调整单元310可应用上文针对调整单元210所描述的调整技术中的任一个的逆转。另外，如同调整单元210一样，反调整单元310可在任何反色彩转换之前或之后应用反DRA。因而，反调整单元310可对目标色彩表示或原生色彩表示中的视频数据应用DRA参数。在一些实例中，反调整单元还可在反量化单元之前应用。
反色彩转换单元308将视频数据从目标色彩空间(例如，YCbCr)转换到原生色彩空间(例如，RGB)。反转移函数306接着应用由转移函数206应用的转移函数的反转，以解压缩视频数据的动态范围。所得视频数据(RGB目标CG 304)仍使用目标原色来表示，但现在处于原生动态范围及原生色彩空间中。接下来，反CG转换器302将RGB目标CG 304转换到天然色域以重构建RGB原生CG 300。
在一些实例中，额外后处理技术可由视频后处理器31使用。应用DRA可使视频处于其实际天然色域外。由量化单元214及反量化单元314执行的量化步骤以及由调整单元210及反调整单元310执行的增频采样及降频采样技术可有助于原生色彩表示中的所得色值在天然色域外。当已知天然色域时(或如上所述，在发信情况下，实际最小内容原色)，那么可将额外过程应用于RGB原生CG视频数据304，以将色值(例如，RGB或Cb及Cr)变换回到预期色域中，如针对DRA的后处理。在其它实例中，此后处理可在量化之后或在DRA应用之后应用。
根据本发明的一或多个方面，且如下文进一步描述，视频解码器30可接收指示与由视频预处理器19执行的动态范围调整相关的参数及/或信息的一或多个SEI消息。视频解码器30可剖析及/或解码所述信息，且对所述信息作用及/或将所述信息传递到视频后处理器31。此些SEI消息可包含足以使视频解码器30及/或视频后处理器31能够执行动态范围调整的逆转以重构建视频数据的信息。
除推导DRA参数或DRA调整信息之外，图8的视频预处理器19(例如，DRA参数估计单元212)或视频编码器20还可经配置以在经编码位流中或通过其它手段(例如不同信道)发信DRA参数。图10的DRA参数导出单元312或视频解码器30可经配置以接收经编码位流中或来自其它手段(例如不同信道)的此发信。DRA参数估计单元212可直接发信指示DRA参数的一或多个语法元素，或可经配置以将一或多个语法元素提供到视频编码器20以供于发信。参数的此些语法元素可在位流中发信，以使得视频解码器30及/或视频后处理器31可执行视频预处理器19的过程的逆转，从而以原生色彩表示重构建视频数据。
视频编码器20或视频预处理器19可用来发信DRA调整参数或DRA调整信息的一个方法是经由SEI消息。补充增强信息(SEI)消息已被用于数个用途，且可包含在视频位流中，通常用来载运并非解码器对位流进行解码所必需的信息。此信息可用于改进经解码输出的显示或处理；例如，此信息可由解码器侧物理使用以改进内容的可视性。还有可能，特定应用标准可以授权此些SEI消息在位流中的存在，使得质量的改进能够到达符合应用标准的所有装置(针对帧兼容的平立体3DTV视频格式的帧填充SEI消息的载运，其中针对视频的每个帧载运SEI消息，例如，如以下各个中所描述：ETSI-TS 101547-2,Digital VideoBroadcasting(DVB)Plano-stereoscopic 3DTV；Part 2:Frame compatible plano-stereoscopic 3DTV；恢复点SEI消息的处置，例如，如以下各个中所描述：3GPP TS26.114v13.0.0,3rd Generation Partnership Project；Technical SpecificationGroup Services and System Aspects；IP Multimedia Subsystem(IMS)；MultimediaTelephony；Media handling and interaction(Release 13)；或DVB中拉移式扫描矩形SEI消息的使用，例如，如以下各个中所描述：ETSI-TS 101 154,Digital Video Broadcasting(DVB)；Specification for the use of Video and Audio Coding in BroadcastingApplications based on the MPEG-2Transport Stream。
根据本发明的一或多个方面，已使用的数个SEI消息在用于发信动态范围调整参数的一或多个方法中可能有缺陷。
举例来说，一个SEI消息为载频调映射信息SEI消息，其用以映射明度样本或RGB成分样本中的每一个。tone_map_id的不同值用以界定不同用途，且载频调映射SEI消息的语法还经过对应修改。举例来说，tone_map_id的值1允许作用于SEI消息的处理器将RGB样本裁剪到最小值及最大值。tone_map_id的值3允许或指示查找表以支点的形式发信。然而，在应用时，相同值被应用于所有RGB成分，或仅应用于明度成分。
另一实例为膝函数(knee function)SEI消息，其用以指示经解码图片的RGB成分在正规化线性域中的映射。还指示出输入及输出最大明度值，且查找表将输入明度值映射到输出明度值。可将同一查找表应用于所有三个色彩成分。
使用在HEVC标准中定义的色彩重映射信息(CRI)SEI消息来输送用以将一个色彩空间中的图片映射另一色彩空间的信息。图11展示CRI SEI消息所使用的色彩重映射信息过程的典型结构。在一个实例中，CRI SEI消息的语法包含三个部分：第一查找表(前LUT)1302，继之以指示色彩重映射系数的3×3矩阵1304，且继之以第二查找表(后LUT)1306。对于每一色彩成分(例如，R、G、B或Y、Cb、Cr)，定义独立的前LUT，且还定义独立的后LUT。CRISEI消息还包含称作colour_remap_id的语法元素，其不同值可用以指示SEI消息的不同用途。
在另一实例中，动态范围调整(DRA)SEI消息已在D.Bugdayci Sansli、A.K.Ramasubramonian、D.Rusanovskyy、S.Lee、J.Sole、M.Karczewicz的“Dynamic rangeadjustment SEI message”(m36330，MPEG会议，波兰华沙，2015年6月22日到26日)中予以描述。实例DRA SEI消息包含用以映射输入样本的缩放及偏移数目(scale and offsetnumbers)的一个集合的发信。SEI消息还允许针对不同成分发信不同查找表，且还允许当将相同缩放及偏移用于超过一个成分时的发信优化。缩放及偏移数字可以固定长度准确度进行发信。
本部分列出相关联于色彩重映射信息SEI消息及与缩放或映射视频内容相关的其它SEI消息的若干问题。先前段落中所描述的SEI消息具有以下缺陷中的一或多个：
存在与载频调映射SEI消息、膝函数SEI消息及CRI SEI消息相关联的若干问题。举例来说，载频调映射信息语法不允许指示用于色度成分Cb及Cr的缩放或提供关于其的任何指示。此外，指示查找表支点及其它语法元素所需的位的数目(例如，在CRI SEI消息中)多于可能需要的数目，且可能效率低下。当SEI消息应更频繁地(例如，每个帧)发信时，SEI消息简单且耗用较少位可为有益的。此外，适当时，许多SEI消息(例如，载频调映射信息、膝函数SEI消息)使得同一查找表应用于全部三种色彩成分。再此外，动态范围调整SEI消息针对每一成分仅发信一个缩放及一个偏移。
考虑到前述内容，且如下文进一步描述，本发明提议经由一或多个新SEI消息来发信与上文所述的执行动态范围调整相关的参数及/或信息。动态范围调整参数或信息可由视频解码器30及/或视频后处理器31使用以执行动态范围调整的逆转，从而重构建视频数据。在一些实例中，可显式地发信DRA参数或DRA信息。举例来说，一或多个SEI消息可包含各种全局偏移、局部偏移、分割区及缩放信息。
相应地，在一些实例中，视频编码器20可从视频预处理器19接收动态范围调整参数或信息，且可发信包含各种动态范围调整参数或动态范围调整信息的一或多个SEI消息。此信息可包含全局偏移、局部偏移、分割区及缩放参数，或足以推导此参数或信息或以其它方式足以描述动态范围调整如何应用于视频数据的信息。解码器30可接收此些SEI消息中的一或多个，剖析及/或解码所述SEI消息中的信息，且作用于此信息及/或将所述信息传递到视频后处理器31。
在一些实例中，视频编码器20可发信包含全局偏移值的一或多个SEI消息，对于每一成分，包含确定第一未调整成分值的第一偏移值，低于其的所有成分值在应用如本发明中所描述的动态范围调整之前被裁剪到第一成分值。解码器30可接收此些SEI消息中的一或多个，剖析及/或解码所述SEI消息中的信息，且将所述信息传递到视频后处理器31。
在一些实例中，对于每一成分，视频编码器20可发信包含第二偏移值的一或多个SEI消息，所述第二偏移值指定在动态范围调整之后第一偏移值映射到的经调整值。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在另一实例中，第一全局偏移值或第二全局偏移值均不在SEI消息中发信。实情为，解码器30假定第一全局偏移及第二全局偏移的值为解码器30根据序列确定或通过外部装置接收的恒定、预定或发信的值。在另一实例中，视频编码器20在SEI消息中发信第一全局偏移值，但不在SEI消息中发信第二全局偏移值。实情为，视频解码器30推断其值为解码器30根据序列确定或通过外部装置接收的恒定、预定或发信的值。在又一实例中，视频编码器20在SEI消息中发信第二全局偏移值，但不在SEI消息中发信第一全局偏移值。实情为，视频解码器30推断第一全局偏移值为解码器30根据序列确定或通过外部装置接收的恒定、预定或发信的值。
在一些实例中，视频编码器20可发信偏移值，所述偏移值由解码器30接收且供解码器30使用以导出其它全局或局部参数(包含全局及局部缩放值及偏移值两者)，以及一系列未调整值的分割区，及一系列经调整值的分割区。
在一些实例中，视频编码器20可发信一或多个SEI消息，其包含输入表示值(即，成分值)的范围在动态范围调整期间划分成的分割区的数目。在一个实例中，分割区的数目可限于2的幂(即，1、2、4、8、16等)，且分割区的数目是发信为对数(例如，8分割区发信为3＝log28)。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在一些实例中，用于色度成分的分割区的数目可不同于用于明度成分的分割区的数目。分割区的数目可限于2的幂+1且发信为对数且向负0舍位。以此方式，具有中性色度的像素可具有自身的值，且所述分割区的大小可小于其它分割区。在此实例中，中性色度可指中值(例如，当色度值范围在-0.5与0.5之间或在-512与511(在10位表示中)之间时为0)周围的色度的值。将分割区的数目限制为2的幂可使编码器20能够节约位，这是因为编码器20可能够以与整数值的实际值相比更少的位来表示值的对数。将分割区的数目限制为2的幂+1可确保至少一个分割区可专用于中性色度值，且在一些实例中，对应于中性色度值的分割区的宽度可小于其余部分。在其它实例中，此分割区可大于其它分割区中的一或多个。
在一些实例中，解码器30可使用发信的分割区的数目导出其它全局或局部参数(包含全局及局部缩放值及偏移值两者)，以及一系列未调整成分值的分割区的实际大小及/或一系列经调整成分值的分割区的大小。
在一些实例中，编码器20可发信一或多个SEI消息，其可包含用于每一分割区的局部缩放及局部偏移值，所述值指定一系列输入成分值及对应的映射输出成分值。在一些实例中，编码器20可发信SEI消息，其包含供语法元素使用以发信缩放及偏移的位的数目。在其它实例中，编码器20可发信SEI消息，其指示语法元素中用以表示缩放及偏移的分数部分的位的数目。在其它实例中，编码器20可发信一或多个SEI消息或语法元素，其指示缩放参数的整数部分是以有正负号表示进行发信。在一些实例中，有正负号表示是二的补码。在其它实例中，有正负号表示是有正负号量值表示。视频解码器30可接收此些SEI消息及/或语法元素，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在其它实例中，编码器20可相继使用每一偏移值来首先计算经调整成分或表示值的范围，接着使用缩放值来计算未调整表示中的对应范围。举例来说，一个偏移值可用以使用针对经调整成分导出或发信的全局偏移值的值来计算经调整成分中的第一分割区的范围，接着使用缩放值及经调整表示的第一分割区的范围导出未调整表示的对应分割区中的范围，且利用经调整表示的第一分割区及未调整表示的对应分割区的相应范围，导出针对经调整范围的第一分割区及指示分割区的边界的未调整表示的对应分割区导出的相应值。此后，另一偏移值可用以使用在前一步骤中导出的经调整中的第一分割区的边界值来计算经调整成分中的第二分割区的范围，接着使用缩放值及经调整表示的第二分割区的范围导出未调整表示的范围，且利用经调整表示的第二分割区及未调整表示的对应分割区的相应范围，导出针对经调整及未调整表示中指示相应表示的边界的分割区导出的相应值。可重复此方法，直到针对经调整及未调整表示中的所有分割区导出所有范围及边界。在另一实例中，编码器20可相继使用每一偏移值以首先计算未调整成分或表示值的范围，接着使用缩放值计算经调整表示中的对应范围。换句话说，经应用缩放值及偏移值的成分或表示可在未调整表示与经调整表示之间调换。
在一些实例中，供语法元素使用以发信缩放值及偏移值的位的数目可取决于成分。在其它实例中，定义位的默认数目且在此些数目未显式地发信时使用所述默认数目。
在一些实例中，编码器20可发信指示输出表示(即，输出成分)的分割区的长度是否相等的语法元素。在此实例中，对于一或多个分割区，编码器20可不发信偏移值。解码器30可推断偏移值在一些实例中相等。在另一实例中，解码器30可假设分割区具有相等长度且可不接收如此指示的语法元素。在一些实例中，解码器30可从发信的语法元素及表示的预定义总动态范围而导出每一分割区的大小。
在其它实例中，并非发信每一分割区的支点以及每一分割区的缩放值及偏移值，视频编码器20可发信指示每一分割区的导数或缩放值以及一或多个或所有分割区的大小的一或多个SEI消息。此方法可允许编码器20避免发信每一分割区的局部偏移值。实情为，在一些实例中，编码器20可能够在一或多个SEI消息中发信一或多个分割区的分割区大小及缩放值(或导数)。每一分割区或分割(其可能需要更高准确度)的局部偏移值可由解码器30确定或导出。
在一些实例中，编码器20可发信指示模式值的一或多个SEI消息，模式值指定特定分割区的偏移值及缩放值的若干默认值。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在一些实例中，编码器20可发信一或多个SEI消息，其指示定义SEI消息的持续以使得可定义成分的子集的持续且可更新成分的子集的成分缩放值的值。SEI消息的持续指示SEI的执行个体中所发信的值可应用于其的图片。在一些实例中，定义SEI消息的持续，以使得在SEI消息的一个执行个体中发信的值可相应地应用于经应用SEI消息的图片的所有成分。在其它实例中，定义SEI消息的持续，以使得在SEI消息的一个执行个体中发信的值可经指示为相应地应用于成分的子集，其中未应用SEI消息的执行个体中的值的成分可不具有可适用的值或可具有在SEI消息的另一执行个体中发信的可适用的值。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在一些实例中，编码器20可发信包含指示将对经解码输出执行的后处理步骤的语法元素的一或多个SEI消息。每一语法元素可与特定过程(例如，缩放成分、色彩变换、增频取向/降频采样滤波器等)相关联，且语法元素的每一值可指定将使用与处理相关联的参数的特定集合。在一些实例中，与过程相关联的参数是由视频编码器20使用SEI消息(所述消息为位流的部分或作为可经由其它装置传输之元数据数据)来发信。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在一些实例中，编码器20可发信语法元素或一或多个SEI消息，其可用于描述及/或构建用于将输入表示(即，输入成分值)映射到输出表示(即，输出成分值)的片段线性模型函数。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。在其它实例中，预定义假设可用于描述及/或构建用于将输入表示映射到输出表示的片段线性模型函数。
在一些实例中，编码器20可发信可包含一或多个语法元素的一或多个SEI消息，语法元素指示SEI消息中所发信的缩放及偏移参数表示作为第二成分的不同值的函数的待应用于第一成分的缩放的变化。
在一些实例中，编码器20可发信指示偏移参数的一或多个SEI消息，所述偏移参数作为第二成分的不同值的函数将或可与用于第一成分的缩放一起应用。在一些实例中，编码器20可发信可包含一或多个额外语法元素的一或多个SEI消息，额外语法元素指示作为第二成分的不同值的函数将或可与用于第一成分的缩放一起应用的偏移参数。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在一些实例中，编码器20可发信包含指示电光转移函数特性的第一集合的第一语法元素的一或多个SEI消息，以使得当在解码器侧使用电光转移函数特性时，SEI消息所应用的经发信的缩放、偏移及其它动态范围调整参数类似于电光转移函数特性的第一集合。
在另一实例中，编码器20可发信一或多个SEI消息，其指示当电光转移函数特性的第一集合或具有类似特性的函数供解码器30使用时，将应用SEI消息中的经发信的偏移、缩放及其它动态范围参数以实现HDR输出的最优选重构建。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在另一实例中，编码器20可发信一或多个SEI消息，其指示电光转移函数特性的第一集合，及当在解码器侧应用对应的反电光转移函数特性时，通过解码器30应用的经发信的缩放、偏移及其它动态范围调整参数。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在其它实例中，编码器20可发信条件，以使得当超过一个SEI消息呈现从而指示电光/光电(的)特性及可适用的当前图片的不同集合时，仅应用一个SEI消息。编码器可发信电光/光电特性的不同集合以满足不同类型的解码器或具有不同能力的解码器。举例来说，解码器侧处的某些显示器可应用PT EOTF，以将适当域中的经译码成分值转换到线性光，而其它显示器(例如，旧式显示器)可应用γEOTF以转换到线性光。编码器发送的具有特定特性的每一SEI对于特定类型的显示器可为适当或有益的，而对于其它类型的显示器并非适当或有益的，例如，具有PQ EOTF特性的SEI消息可适合于应用PQ EOTF以将经译码视频转换到线性光的显示器。解码器30确定将应用哪一SEI消息，且基于应用标准、基于最终用户装置、基于接收的信号或基于经由外部装置接收的另一指示而做出此选择。举例来说，解码器30可确定：应用于当前图片的第一SEI消息中的第一语法元素指示SEI消息将以反PQ OETF应用，且应用于当前图片的第二SEI消息中的第一语法元素指示SEI消息将以另一转移函数(例如BBC或PH)应用，解码器30或最终用户装置可选择应用第一SEI消息中的参数，这是因为装置使用PQ EOTF。在一些实例中，解码器符合的应用标准可指定具有特性的特定集合的SEI消息将被使用。
在其它实例中，编码器20可发信载运对应于多组转移特性的参数的SEI消息。在其它实例中，编码器20可发信不同SEI消息以用于所述目的。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在一些实例中，编码器20可信号包含指示SEI消息的适用性的语法元素的一或多个SEI消息。SEI消息的适用性可包含(但不限于)：(1)缩放及偏移将应用到的成分，(2)应用成分缩放的位置，及/或(3)是否发信额外缩放参数。
如所描述，编码器20可发信包含指示缩放及偏移应用到的成分的语法元素的一或多个SEI消息。以下列出此应用的若干实例。举例来说，语法元素的一个值可以指示第一成分索引的发信参数将应用于RGB成分。另一值可指示第一成分索引的发信参数将应用于明度成分，且第二及第三索引的发信参数将应用于Cb及Cr成分。另一值可指示第一成分索引的发信参数将应用于R、G及B成分，且第二及第三索引的发信参数将应用于Cb及Cr成分。另一值可指示前三个索引的发信参数将应用于明度、Cb及Cr成分，且对应于剩余索引的发信参数被应用于色彩校正。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
还如所描述，编码器20可发信包含指示应用成分缩放的位置的语法元素的一或多个SEI消息。若干过程在解码视频之后在解码器侧上及在视频后处理器31中发生。发信指示将应用与SEI相关联的过程的位置的语法元素(换句话说，指示与使用SEI中的信息相关联的过程的前述或接续操作的任何子集)对于视频解码器30或视频后处理器31处理视频将有帮助。举例来说，此语法元素可指示在增频采样之前或之后将成分缩放应用于(例如)YCbCr成分的位置。在另一实例中，语法元素可指示成分缩放是在量化之前应用于解码器侧。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
还如所描述，编码器20可发信包含指示是否发信缩放及参数的额外集合(例如针对色彩校正)的语法元素的一或多个SEI消息。参数的额外集合可用于色彩校正以映射色彩成分以配合特定色域，或在应用不同于VUI中的transfer_characteristics语法元素所指示的转移函数的转移函数时用于校正成分值。
在其它实例中，编码器20可发信不同语法元素以指示以上方面；例如，一个语法元素用以指示SEI应用于哪个(哪些)成分，一个语法元素用以指示SEI是否应用于HDR兼容的SDR兼容内容，且一个语法元素用以指示将应用成分缩放SEI消息的位置。
当成分缩放SEI消息参数应用到的成分的数目大于一时，编码器20可发信包含指示可基于成分的索引依序进行缩放及偏移参数的应用的语法元素的一或多个SEI消息。举例来说，可应用基于第一成分的缩放及偏移参数的映射，接着第二成分的映射(其例如使用针对第二成分发信的缩放及偏移)可取决于第一成分的值。在一些实例中，此(例如)通过指定应使用第一成分的映射值的语法元素来指示。视频解码器30可接收此些SEI消息，剖析及/或解码所述信息，且将所述信息传递到视频后处理器31。
在另一实例中，视频编码器20可限制一或多个SEI消息中或位流中所发信的值，以此方式使得HDR10接收器可解码及展示可视HDR视频，即使未应用SEI后处理。SEI消息可包含语法元素以指示情况如此(例如，位流是HDR10回溯兼容的位流)。
此部分包含使用根据本发明的一或多个方面公开的技术的若干实例。
实例1
在此实例中1，成分缩放函数发信为查找表，且还发信用以发信定义查找表的点的位的数目。对于不具有发信的明确点的样本值，基于相邻支点对值进行内插。
成分缩放SEI消息的语法
Figure BDA0001599137930000401
成分缩放SEI消息的语义
成分缩放SEI消息提供信息以对经解码图片的各种成分执行缩放操作。色彩空间及应加以执行缩放操作的成分是由SEI消息中所发信的语法元素的值确定。
comp_scale_id含有可用以识别成分缩放SEI消息的用途的识别数字。comp_scale_id的值应在0到232-2范围中(包含0及232-2)。comp_scale_id的值可用以指定成分缩放SEI消息所处的色彩空间，或成分缩放SEI消息是在线性或非线性域中应用。
如应用所确定，可使用0到255(包含0及255)及512到231-1(包含512及231-1)的comp_scale_id的值。保留256到511(包含256及511)及231到232-2(包含231及232-2)的comp_scale_id的值以供ITU-T|ISO/IEC未来使用。解码器应忽略含有256到511范围中(包含256及511)或231到232-2范围中(包含231及232-2)的comp_scale_id的值的所有缩放成分缩放信息SEI消息，且位流不应含有此些值。
注解1-comp_scale_id可用以支持适合于不同显示情境的成分缩放过程。举例来说，comp_scale_id的不同值可对应于不同显示位深度或缩放应用所在的不同色彩空间。
替代地，comp_scale_id还可用以识别针对与特定类型的显示或解码器(例如HDR、SDR)的兼容性是否执行缩放。
等于1的comp_scale_cancel_flag指示成分缩放信息SEI消息以应用于当前层的输出次序抵消任何先前成分信息SEI消息的持续。等于0的comp_scale_cancel_flag指示成分缩放信息跟随。
comp_scale_persistence_flag指定当前层的成分缩放信息SEI消息的持续。
等于0的comp_scale_persistence_flag指定成分缩放信息仅应用于当前经解码图片。
令picA为当前图片。等于1的comp_scale_persistence_flag指定成分缩放信息对于当前层按输出次序持续，直到以下条件中的任一个成立：
-当前层的新CLVS开始。
-位流结束。
-含有具有comp_scale_id的相同值且可适用于当前层的成分缩放信息SEI消息的存取单元中的当前层中的图片picB被输出，其中PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用用于针对picB的图片次序计数的解码过程之后的picB及picA的PicOrderCntVal值。
comp_scale_num_comps_minus1加1指定成分缩放函数经指定的成分的数目。comp_scale_num_comps_minus1应在0到2(包含0及2)的范围中。
当comp_scale_num_comps_minus1小于2且第c个成分的成分缩放参数未发信时，推断成分缩放参数等于第(c-1)个成分的那些参数。
替代地，当comp_scale_num_comps_minus1小于2且第c个成分的成分缩放参数未发信时，推断第c个成分的成分缩放参数等于默认值，以使得实际上不存在成分的缩放。
替代地，对成分缩放参数的推断可基于SEI消息所应用于的色彩空间来指定。
-当色彩空间为YCbCr且comp_scale_num_comps_minus1等于1时，成分缩放参数应用于Cb及Cr成分两者。
-当色彩空间为YCbCr且comp_scale_num_comps_minus1等于2时，第一及第二成分缩放参数应用于Cb及Cr成分两者。
在一个替代方案中，基于comp_scale_id的值或基于明确语法元素来指定不同推断。
替代地，添加如下所述的约束：
针对位流一致性的约束为，对于具有CLVS内的comp_scale_id的给定值的所有成分缩放SEI消息，comp_scale_num_comps_minus1的值应相同。
comp_scale_input_bit_depth_minus8加8指定用以发信语法元素comp_scale_input_point[c][i]的位的数目。comp_scale_input_bit_depth_minus8的值应在0到15(包含0及15)的范围中。
当将成分缩放SEI消息应用于在0.0到1.0的范围中的正规化浮点表示中的输入时，SEI消息指为了以等于(colour_remap_input_bit_depth_minus8+8)的位深度将输入视频转换到经转换视频表示所执行的量化操作的假想结果。
当将成分缩放SEI消息应用于具有不等于(comp_scale_input_bit_depth_minus8+8)的位深度的输入时，SEI消息指为了以等于(colour_remap_input_bit_depth_minus8+8)的位深度将输入视频表示转换到经转换视频表示所执行的转码操作的假想结果。
comp_scale_output_bit_depth_minus8加8指定用以发信语法元素comp_scale_output_point[c][i]的位的数目。comp_scale_output_bit_depth_minus8的值应在0到8范围中(包含0及8)。
当将成分缩放SEI消息应用于浮点表示中的输入时，SEI消息指为了将在处理成分缩放消息之后获得具有等于(colour_remap_output_bit_depth_minus8+8)的位深度的视频表示转换到范围0.0到1.0中的浮点表示所执行的反量化操作的假想结果。
替代地，用以发信comp_scale_input_point[c][i]及comp_scale_output_point[c][i]的位的数目分别发信为comp_scale_input_bit_depth及comp_scale_output_bit_depth，或换句话说，无需减去8。
comp_scale_num_points_minus1[c]加1指定用以定义成分缩放函数的支点的数目。comp_scale_num_points_minus1[c]应在0到(1<<Min(comp_scale_input_bit_depth_minus8+8,comp_scale_output_bit_depth_minus8+8))-1范围中(包含0及(1<<Min(comp_scale_input_bit_depth_minus8+8,comp_scale_output_bit_depth_minus8+8))-1)。
comp_scale_input_point[c][i]指定输入图片的第c个成分的第i个支点。comp_scale_input_point[c][i]的值应在0到(1<<comp_scale_input_bit_depth_minus8[c]+8)-1范围中(包含0及(1<<comp_scale_input_bit_depth_minus8[c]+8)-1)。comp_scale_input_point[c][i]的值应大于或等于comp_scale_input_point[c][i-1]的值，其中i在1到comp_scale_points_minus1[c]范围中(包含1及comp_scale_points_minus1[c])。
comp_scale_output_point[c][i]指定输出图片的第c个成分的第i个支点。comp_scale_output_point[c][i]的值应在0到(1<<comp_scale_output_bit_depth_minus8[c]+8)-1范围中(包含0及(1<<comp_scale_output_bit_depth_minus8[c]+8)-1)。comp_scale_output_point[c][i]的值应大于或等于comp_scale_output_point[c][i-1]的值，其中i在1到comp_scale_points_minus1[c]范围中(包含1及comp_scale_points_minus1[c])。
将映射输入信号表示x及输出信号表示y的过程指定如下，其中输入及输出两者的样本值分别在0到(1<<comp_scale_input_bit_depth_minus8[c]+8)-1范围中(包含0及(1<<comp_scale_input_bit_depth_minus8[c]+8)-1)及0到(1<<comp_scale_output_bit_depth_minus8[c]+8)-1范围中(包含0及(1<<comp_scale_output_bit_depth_minus8[c]+8)-1)。
Figure BDA0001599137930000431
在一个替代方案中，将输入及输出支点comp_scale_input_point[c][i]及comp_scale_output_point[c][i]译码为邻近值的差；例如，delta_comp_scale_input_point[][]及delta_comp_scale_output_point[][]，且使用指数哥伦布码来译码所述语法元素。
在另一替代方案中，通过其它内插方法(包含(但不限于)样条及立方内插)来指定映射输入及输出表示值的过程。
实例2
此实例2展示与实例1中所描述的SEI语法结构相比的不同语法结构。在此语法结构中，关于缩放及偏移(而非支点)来描述映射函数。
成分缩放SEI消息的语法
Figure BDA0001599137930000441
comp_scale_bit_depth_scale_val指定用以发信语法元素comp_scale_val[c][i]的位的数目。comp_scale_bit_depth_scale_val的值应在0到24范围中(包含0及24)。
comp_scale_log2_denom_scale_val指定缩放值的底数2分母。comp_scale_log2_denom_scale_val的值应在0到16范围中(包含0及16)。
comp_scale_global_offset_input_val[c]加1指定输入样本值，小于所述输入样本值的所有输入表示值被裁剪到CompScaleOffsetOutputVal[c][0]。用以定义成分缩放函数。comp_scale_num_points_minus1[c]应在0到(1<<comp_scale_input_bit_depth)-1范围中(包含0及(1<<comp_scale_input_bit_depth)-1)。用以表示comp_scale_global_offset_input_val[c]的位的数目为comp_scale_input_bit_depth。
comp_scale_global_offset_output_val[c]加1指定输出样本值，低于comp_scale_global_offset_input_val[c]的所有输入表示值将裁剪到所述输出样本值。comp_scale_num_points_minus1[c]应在0到(1<<comp_scale_output_bit_depth)-1范围中(包含0及(1<<comp_scale_output_bit_depth)-1)。用以表示comp_scale_global_offset_output_val[c]的位的数目为comp_scale_output_bit_depth。
comp_scale_num_points_minus1[c]加1指定用以定义成分缩放函数的支点的数目。comp_scale_num_points_minus1[c]应在0到(1<<Min(comp_scale_input_bit_depth,comp_scale_output_bit_depth)-1范围中(包含0及(1<<Min(comp_scale_input_bit_depth,comp_scale_output_bit_depth)-1)。
将映射输入信号表示x及输出信号表示y的过程指定如下，其中输入表示两者的样本值在0到(1<<comp_scale_input_bit_depth)-1范围中(包含0及(1<<comp_scale_input_bit_depth)-1)，且输出表示在及0到(1<<comp_scale_output_bit_depth)-1范围中(包含0及(1<<comp_scale_output_bit_depth)-1)。
Figure BDA0001599137930000451
comp_scale_offset_val[c][i]指定第c个成分的第i个样本值区的偏移值。用以表示comp_scale_offset_val[c]的位的数目等于comp_scale_input_bit_depth。
comp_scale_val[c][i]指定第c个成分的第i个样本值区点的缩放值。用以表示comp_scale_val[c]的位的数目等于comp_scale_bit_depth_scale_val。
如下所述地导出变量CompScaleOffsetOutputVal[c][i]及CompScaleOffsetInputVal[c][i]，其中i在0到comp_scale_num_points_minus1[c]范围中(包含0及comp_scale_num_points_minus1[c])。
Figure BDA0001599137930000452
Figure BDA0001599137930000461
在一个替代方案中，如下所述，使用comp_scale_offset_val[c][i]直接计算CompScaleOffsetOutputVal[][i]及间接计算CompScaleOffsetInputVal[][i]，其中i在0到comp_scale_num_points_minus1[c]范围中。
Figure BDA0001599137930000462
在一个替代方案中，未发信comp_scale_offset_val[c][i]，其中i在0到comp_scale_num_points_minus1[c]范围中(包含0及comp_scale_num_points_minus1[c])，且基于缩放经指定的comp_scale_num_points_minus1[c]等距分布的间隔来导出comp_scale_offset_val[c][i]的值。如下所述地导出comp_scale_offset_val[c][i]的值，其中i在0到comp_scale_num_points_minus1[c]-1范围中(包含0及comp_scale_num_points_minus1[c]-1)。
comp_scale_offset_val[c][i]＝((1<<comp_scale_output_bit_depth)-comp_scale_global_offset_output_val[c])÷comp_scale_num_points_minus1[c]
在另一替代方案中，如下所述地计算comp_scale_offset_val[c][i]，其中i在0到comp_scale_num_points_minus1[c]范围中(包含0及comp_scale_num_points_minus1[c])。
comp_scale_offset_val[c][i]＝(1<<comp_scale_output_bit_depth)÷comp_scale_num_points_minus1[c]÷
在一个替代方案中，替代发信comp_scale_num_points_minus1[c]，使用log2_comp_scale_num_points[c]来发信支点的数目，其中(1<<log2_comp_scale_num_points[c])指定第c个成分的支点的数目。
替代地，将comp_scale_offset_val[c][]及comp_scale_val[c][]中的每一个发信为浮点数字，或具有指数及尾数的两个语法元素。
在另一替代方案中，由comp_scale_output_point[c][i]来替代comp_scale_val[c][i]的发信。
语法元素的其余部分的语义类似于实例1中所描述的那些语义。
实例3
实例3中所描述的此方法类似于实例2中所描述的替代方案中的一个，以下情况除外：允许成分缩放函数独立地更新。
成分缩放SEI消息的语法
Figure BDA0001599137930000471
成分缩放SEI消息的语义
语义类似于实例2，以下语法元素除外。
comp_scale_num_scale_regions[c]指定用于针对第c个成分发信语法元素comp_scale_val[c][i]的区的数目。comp_scale_num_scale_regions[c]应在0到(1<<comp_scale_input_bit_depth)-1范围中(包含0及(1<<comp_scale_input_bit_depth)-1)。
等于0的comp_scale_persist_component_flag[c]指定用于第c个成分的成分缩放参数是显式地在SEI消息中发信。等于1的comp_scale_persist_component_flag[c]指定用于第c个成分的成分缩放参数未显式地在SEI消息中发信，且其按输出次序从应用于先前图片的成分缩放SEI消息的第c个成分的成分缩放参数持续。
位流一致性的一要求为：当成分缩放SEI消息存在于IRAP存取单元中时，comp_scale_persist_component_flag[c](如果存在)的值应等于0。
替代地，添加以下条件：
位流一致性的要求为：当成分缩放SEI消息存在于非IRAP存取单元的存取单元中且comp_scale_persist_component_flag[c]等于1时，那么存在按输出次序先于当前图片且按输出次序在按解码次序的先前IRAP图片之后的至少一个图片(包含性)，以使得所述一个图片与comp_scale_persistence_flag等于1的成分缩放SEI消息相关联。
comp_scale_persistence_flag指定当前层的成分缩放信息SEI消息的持续。
等于0的comp_scale_persistence_flag指定成分缩放信息仅应用于当前经解码图片。
令picA为当前图片。等于1的comp_scale_persistence_flag指定第c个成分在成分缩放信息对于当前层按输出次序持续，直到以下条件中的任一个成立：
-当前层的新CLVS开始。
-位流结束。
-含有具有comp_scale_id的相同值及comp_scale_persist_component_flag[c]等于0且可适用于当前层的成分缩放信息SEI消息的存取单元中的当前层中的图片picB被输出，其中PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用用于针对picB的图片次序计数的解码过程之后的picB及picA的PicOrderCntVal值。
实例4
在此实例4中，公开发信缩放区的不同方法。
成分缩放SEI消息语法的变化
Figure BDA0001599137930000481
Figure BDA0001599137930000491
成分缩放SEI消息语义的变化
所述语法元素的语义类似于先前实例中所描述的语义，以下除外：
comp_scale_offset_begin_val[c][i]指定缩放值comp_scale_val[c][i]可适用的样本值范围的开始。用以表示comp_scale_offset_begin_val[c]的位的数目等于comp_scale_input_bit_depth。
comp_scale_offset_end_val[c][i]指定缩放值comp_scale_val[c][i]可适用的样本值范围的结束。用以表示comp_scale_offset_end_val[c]的位的数目等于comp_scale_input_bit_depth。
针对comp_scale_offset_begin_val及comp_scale_offset_end_val未明确指定的区，推断那些区的comp_scale_value[c][i]等于0。
替代地，不发信comp_scale_offset_end_val[c][i]，而改为发信comp_scale_offset_end_val[c][i]与comp_scale_offset_begin_val[c][i]之间的差，且在解码器侧导出comp_scale_offset_end_val[c][i]的值。
在另一替代方案中，指定输出样本范围分成的区的总数目，且发信缩放区经显式地发信的区的数目。
Figure BDA0001599137930000492
Figure BDA0001599137930000501
comp_scale_tot_scale_regions[c]指定样本值分成的相等长度样本值范围的总数目。用以表示comp_scale_tot_scale_regions[c]的位的数目等于comp_scale_input_bit_depth。
在一个替代方案中，comp_scale_tot_scale_regions[c]样本值范围在长度上可能不完全相等而是几乎完全相等，以考虑区长度的整数准确度。
comp_scale_region_idx[c][i]指定缩放值comp_scale_val[c][i]所应用于的样本值范围的索引。语法元素comp_scale_region_idx[c]的长度为Ceil(Log2(comp_scale_tot_scale_regions[c]))个位。
替代方案
替代地，色度中值(对于10位数据为511)围绕的区具有较小大小，即其它区的大小的一半。
实例5
成分缩放SEI消息的语法
Figure BDA0001599137930000502
Figure BDA0001599137930000511
成分缩放SEI消息的语义
成分缩放SEI消息提供信息以对经解码图片的各种成分执行缩放操作。色彩空间及应加以执行缩放操作的成分是由SEI消息中所发信的语法元素的值确定。
comp_scale_id含有可用以识别成分缩放SEI消息的用途的识别数字。comp_scale_id的值应在0到232-2范围中(包含0及232-2)。comp_scale_id的值可用以指定成分缩放SEI消息所处的色彩空间，或成分缩放SEI消息是在线性或非线性域中应用。
在一些实例中，comp_scale_id可指定HDR重构建过程的配置。在一些实例中，comp_scale_id的特定值可与用于3个成分的缩放参数的发信相关联。第一成分的缩放将应用于R'G'B'色彩空间的样本，且应用随后2个成分的参数以用于缩放Cr及Cb。
对于又一comp_scale_id值，hdr重构建过程可利用用于3个成分的参数，且将缩放应用于明度、Cr及Cb色彩成分的样本。
在又一comp_scale_id值中，hdr重构建过程可利用针对4个成分的发信，所述成分中的3个将应用于明度、Cr及Cb缩放，且第4成分携带色彩校正的参数。
在一些实例中，comp_scale_id值的特定范围可与以SDR回溯兼容配置进行的HDR重构建相关联，而comp_scale_id值的另一范围可与进行到非回溯兼容配置的HDR重构建相关联。
如应用所确定，可使用0到255(包含0及255)及512到231-1(包含512及231-1)的comp_scale_id的值。保留256到511(包含256及511)及231到232-2(包含231及232-2)的comp_scale_id的值以供ITU-T|ISO/IEC未来使用。解码器应忽略含有256到511范围中(包含256及511)或231到232-2范围中(包含231及232-2)的comp_scale_id的值的所有成分缩放信息SEI消息，且位流不应含有此些值。
注解1-comp_scale_id可用以支持适合于不同显示情境的成分缩放过程。举例来说，comp_scale_id的不同值可对应于不同显示位深度或缩放应用所在的不同色彩空间。
替代地，comp_scale_id还可用以识别针对与特定类型的显示或解码器(例如HDR、SDR)的兼容性是否执行缩放。
等于1的comp_scale_cancel_flag指示成分缩放信息SEI消息以应用于当前层的输出次序抵消任何先前成分信息SEI消息的持续。等于0的comp_scale_cancel_flag指示成分缩放信息跟随。
comp_scale_persistence_flag指定当前层的成分缩放信息SEI消息的持续。
等于0的comp_scale_persistence_flag指定成分缩放信息仅应用于当前经解码图片。
令picA为当前图片。等于1的comp_scale_persistence_flag指定成分缩放信息对于当前层按输出次序持续，直到以下条件中的任一个成立：
-当前层的新CLVS开始。
-位流结束。
-含有具有comp_scale_id的相同值且可适用于当前层的成分缩放信息SEI消息的存取单元中的当前层中的图片picB被输出，其中PicOrderCnt(picB)大于PicOrderCnt(picA)，其中PicOrderCnt(picB)及PicOrderCnt(picA)分别为紧接在调用用于针对picB的图片次序计数的解码过程之后的picB及picA的PicOrderCntVal值。
comp_scale_scale_bit_depth指定用以发信语法元素comp_scale_scale_val[c][i]的位的数目。comp_scale_scale_bit_depth的值应在0到15范围中(包含0及15)。
comp_scale_offset_bit_depth指定用以发信语法元素comp_scale_global_offset_val[c]及comp_scale_offset_val[c][i]的位的数目。comp_scale_offset_bit_depth的值应在0到15范围中(包含0及15)。
comp_scale_scale_frac_bit_depth指定用以指示第c个成分的第i个分割区的缩放参数的分数部分的LSB的数目。comp_scale_scale_frac_bit_depth的值应在0到15范围中(包含0及15)。comp_scale_scale_frac_bit_depth的值应小于或等于comp_scale_scale_bit_depth的值。
comp_scale_offset_frac_bit_depth指定用以指示第c个成分的第i个分割区的偏移参数的分数部分的LSB的数目及第c个成分的全局偏移。comp_scale_offset_frac_bit_depth的值应在0到15范围中(包含0及15)。comp_scale_offset_frac_bit_depth的值应小于或等于comp_scale_offset_bit_depth的值。
comp_scale_num_comps_minus1加1指定成分缩放函数经指定的成分的数目。comp_scale_num_comps_minus1应在0到2(包含0及2)的范围中。
comp_scale_num_ranges[c]指定输出样本范围分割成的范围的数目。comp_scale_num_ranges[c]的值应在0到63范围中(包含0及63)。
等于1的comp_scale_equal_ranges_flag[c]指示：输出样本范围经分割成comp_scale_num_ranges[c]几乎相等的分割区，且未明确发信分割区宽度。等于0的comp_scale_equal_ranges_flag[c]指示：输出样本范围可分割成comp_scale_num_ranges[c]分割区，并非所有分割区具有相同大小，且明确发信分割区宽度。
comp_scale_global_offset_val[c]用以导出偏移值，所述偏移值用以映射第c个成分的有效输入数据范围的最小值。comp_scale_global_offset_val[c]的长度为comp_scale_offset_bit_depth个位。
comp_scale_scale_val[c][i]用以导出偏移值，所述偏移值用以导出第c个成分的第i个分割区的宽度。comp_scale_global_offset_val[c]的长度为comp_scale_offset_bit_depth个位。
如下所述地导出变量CompScaleScaleVal[c][i]：
Figure BDA0001599137930000531
comp_scale_offset_val[c][i]用以导出偏移值，所述偏移值用以导出第c个成分的第i个分割区的宽度。comp_scale_global_offset_val[c]的长度为comp_scale_offset_bit_depth个位。
当发信comp_scale_offset_val[c][i]时，如下所述地导出CompScaleOffsetVal[c][i]的值。
Figure BDA0001599137930000532
替代地，如下所述地导出变量CompScaleScaleVal[c][i]及CompScaleOffsetVal[c][i]。
Figure BDA0001599137930000533
当comp_scale_equal_ranges_flag[c]等于1时，不发信comp_scale_offset_val[c][i]，且如下所述地导出CompScaleOffsetVal[c][i]的值。
CompScaleOffsetVal[c][i]＝1÷comp_scale_num_ranges[c]
如下所述地导出变量CompScaleOutputRanges[c][i]及CompScaleOutputRanges[c][i]，其中i在0到comp_scale_num_ranges[c]范围中。
Figure BDA0001599137930000541
在一个替代方案中，如下所述地导出CompScaleOutputRanges[][]及CompScaleOutputRanges[][]的值。
Figure BDA0001599137930000542
如下所述地指定映射输入信号表示(其可用以涵盖整数以及浮点两者)x及输出信号表示y的过程，其中输入表示的样本值经正规化在0到1范围中，且输出表示在0到1范围中。
Figure BDA0001599137930000543
Figure BDA0001599137930000551
在一个替代方案中，基于准许的样本值范围来设定CompScaleOutputRanges[c][0]的值。
替代地，如下所述地定义将输入值valIn映射到输出值valOut的过程。
Figure BDA0001599137930000552
在一个替代方案中，对于第c个成分，m_offset2等于comp_scale_global_offset_val[c](1＜＜comp_scale_offset_frac_bit_depth)，m_pAtfScale[c][i]等于
CompScaleScaleVal[c][i]且m_pAtfDelta[i]等于CompScaleOffsetVal[c][i]，且pScale及pOffset为从m_AtfScale及m_pAtfDelta导出的缩放参数及偏移参数。
将相应地定义反操作。
实例6
在一些实例中，上文所述(例如，实例5中)的发信方法中的一些可如展示地用于以下伪过程码中。
m_atfNumberRanges为针对给定c的语法元素comp_scale_num_ranges[c]的项，其指定针对映射数据的动态范围分割的数目。
m_pAtfRangeIn为CompScaleInputRanges的项，为大小为m_atfNumberRanges+1的阵列，其包含指定两个串接分割区(例如，i及i+1)之间的边界的输入样本值。
m_pAtfRangeOut为CompScaleOutputRanges的项，为大小为m_atfNumberRanges+1的阵列，其包含指定两个串接分割区(例如，i及i+1)之间的边界的输出样本值。
m_pAtfScale2为变量CompScaleScaleVal[c]的项，为具有大小m_atfNumberRanges的阵列，其包含用于每一分割区的缩放值。
m_pAtfOffset2为阵列大小为m_atfNumberRanges的阵列，其包含用于每一分割区的偏移值。
m_offset2为针对comp_scale_global_offset_val的项目。
在此实例中，可根据语法元素确定片段线性模型的参数，如在算法1中。
算法1：
Figure BDA0001599137930000561
一旦确定，即可将片段线性模型应用于输入样本值inValue，以确定输出样本值outValue，如在算法2中：
算法2：
Figure BDA0001599137930000562
Figure BDA0001599137930000571
将进行逆过程，如在算法3中：
算法3：
Figure BDA0001599137930000572
在一些实例中，两个串接分割区i与i+1之间的边界样本值(m_pAtfRangeIn或m_pAtfRangeOut的输入项)可不同地解译为属于i+1分割区(而非属于i分割区)，这是因为其展示在算法2及3中。
在一些实例中，算法3中所展示的逆过程可通过利用乘以m_pAtfInverseScale2值(而非除以m_pAtfScale2[j])来实施。在此些实例中，预先根据m_pAtfScale2[j]来确定m_pAtfScale2[j]的值。
在一些实例中，m_pAtfInverseScale2[j]在解码器侧经确定为1/m_pAtfScale2[j]。
在一些实例中，m_pAtfInverseScale2[j]可在编码器侧进行计算，且经由位流发信。在此些实例中，算法1、2及3中给定的操作将予以相应调整。
各种实例
在一些实例中，建议的发信机制可用以模型化片段函数，其可用以实现针对输入信号的样本的动态范围调整，(例如)以改进视频译码系统的压缩效率。
在一些实例中，建议的发信机制可用以模型化片段函数，其可应用于通过OETF(例如，通过ST.2084的PQ TF或其它)产生的码字(RGB样本的非线性表示)。
在一些实例中，建议的发信机制可用以模型化可应用于YCbCr色彩的样本的片段函数。
在一些实例中，建议的发信机制可用以模型化可用以具有SDR兼容性的HDR/WCG解决方案的片段函数。
在一些实例中，建议的发信机制可用以模型化可应用于浮点表示的样本的片段函数。在另一实例中，建议的发信机制及所得函数可应用于整数表示(例如，10位)的样本。
在一些实例中，建议的发信机制可用以模型化可应用于查找表形式的样本的片段函数。在另一实例中，建议的发信机制可用以模型化可应用于乘法器形式的样本的函数。
组合及扩展
在以上实例中，针对每一区采用线性模型(即，缩放加偏移)；本发明的技术还可适用于高次多项式模型，例如，第2程度的多项式需要三个参数而非两个参数。将针对此情境适当地扩展发信及语法。
上述方面的组合是可能的且为本发明的技术的部分。
工具箱组合：存在可以与本发明中所描述的SEI的目的有些类似的目的为目标的若干HDR方法。为了适应其中超过一个的目标，但同时限制每个帧的可适用SEI处理的数目，建议将此些方法(中的一或多个)组合在单一SEI中。建议的语法元素将指示在各情况下应用的特定方法。举例来说，如果SEI中存在两种可能方法，那么语法元素将为指示待使用的方法的旗标。
实例7
在此实例中，修改缩放参数的发信，以使得可传输负缩放，且所发信的缩放参数指示针对各种成分的不同范围将应用的缩放的偏差。以下为相对于实例5的变化。
SEI消息的语法的变化
Figure BDA0001599137930000581
Figure BDA0001599137930000591
SEI消息的语义的变化
等于1的comp_scale_negative_scales_present_flag指定从comp_scale_scale_val[c][i]导出的缩放参数的整数部分表示为有正负号整数。等于0的comp_scale_negative_scales_present_flag指定从comp_scale_scale_val[c][i]导出的整数部分缩放参数表示为无正负号整数。
在一个替代方案中，将偏移参数的另一集合与comp_scale_scale_val一起发信，所述偏移参数用以定义与第一成分的缩放一起应用的偏移作为第二成分的值的函数。
有正负号整数表示包含(但不限于)二补码标记法且有正负号量值表示(一个位用于正负号且剩余位用于整数部分)。针对有正负号量值表示给出以下推导。对于其它形式的有正负号表示，可类似地定义推导。
如下所述地导出变量CompScaleScaleVal[c][i]：
Figure BDA0001599137930000592
位流一致性的要求为：当comp_scale_negative_scale_present_flag等于1时，comp_scale_scale_bit_depth的值应大于或等于comp_scale_scale_frac_bit_depth。
comp_scale_dependent_component_id指定缩放参数及偏移参数对视频的各种成分的应用。当comp_scale_dependent_component_id等于0时，使用语法元素comp_scale_global_offset_val[c]、comp_scale_scale_val[c][i]及comp_scale_offset_val[c][i]来识别第c个成分的输入值及输出值的映射。当comp_scale_dependent_component_id大于0时，comp_scale_dependent_component_id-1指定成分的索引，以使得语法元素comp_scale_global_offset_val[c]、comp_scale_scale_val[c][i]及comp_scale_offset_val[c][i]指定待应用于样本的第c个成分的缩放参数的映射为样本的第(comp_scale_dependent_component_id-1)个成分的值的函数。
语义的其余部分类似于实例5中所描述的那些语义。
实例8
在此实例中，ATF参数的位深度取决于成分。对于每一成分，语法元素的位深度被显式地发信。另外，对于那些语法元素，存在默认位深度。默认值是在位深度未显式地发信时指派。旗标可指示是否应用默认值或显式地发信默认值。
下表展示此些概念的实例。ATF参数的语法元素为缩放hdr_recon_scale_val[][]及范围hdr_recon_range_val[][]。指示对应位深度的语法元素(整数部分及分数部分)为以下各个：
●hdr_recon_scale_bit_depth[c]，
●hdr_recon_offset_bit_depth[c]，
●hdr_recon_scale_frac_bit_depth[c]，
●hdr_recon_offset_frac_bit_depth[c]，
其中c为成分索引。可将缩放及偏移(范围)的默认位深度设定为：
●hdr_recon_scale_bit_depth[c]＝8，
●hdr_recon_offset_bit_depth[c]＝8，
●hdr_recon_scale_frac_bit_depth[c]＝6，
●hdr_recon_offset_frac_bit_depth[c]＝8。
参数的准确度还可针对ATF参数及色彩调整参数而不同。并且，默认值可按成分且针对色彩调整参数而不同。在此实例中，假定默认值为相同的。
Figure BDA0001599137930000611
Figure BDA0001599137930000621
实例9
新HDR解决方案的所需性质为与先前HDR解决方案(如HDR10)回溯兼容。语法元素可指示情况如此。此指示位流的特性，且HDR解码器可决定在某些环境下不将计算资源耗费在反ATF处理上，如果非ATF版本已经可视。
在一个实例中，保留hdr_recon_id语法元素的某些值以指示HDR10回溯兼容性，或回溯兼容性的程度。
在另一实例中，旗标(hdr_recon_hdr10_bc)指示此情形。
在一个实例中，发信的HDR10回溯兼容性指示位流是可视的。替代地，其可指示发信值的某些特定性质：例如，发信值为保证此性质的一系列值。举例来说，约束可为缩放在0.9与1.1之间。
图12为说明可实施本发明的技术的视频编码器20的实例的框图。视频编码器20可执行目标色彩表示中已由视频预处理器19处理的视频图块内的视频块的帧内及帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一个。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一个。
如图12所示，视频编码器20接收待编码视频帧的当前视频块。在图12的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46及分割单元48。为了视频块重构建，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。还可包含解块滤波器(图12中未图示)以滤波块边界以从重构建视频去除块效应伪影。如果需要，解块滤波器通常将对求和器62的输出进行滤波。还可使用除解块滤波器以外的额外滤波器(回路中或回路后)。为简洁起见未展示此些滤波器，但如果需要，此些滤波器可对求和器50的输出进行滤波(作为回路中滤波器)。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可为存储用于由视频编码器20在编码视频数据(例如，以帧内或帧间译码模式)时使用的参考视频数据的参考图片存储器。视频数据存储器41及经解码图片缓冲器64可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器41及经解码图片缓冲器64。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或图块。帧或图块可划分成多个视频块。运动估计单元42及运动补偿单元44执行所接收的视频块相对于一或多个参考帧中的一或多个块的帧间预测性译码以提供时间预测。帧内预测处理单元46可替代地执行所接收视频块相对于在与待译码的块相同的帧或图块中的一或多个相邻块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，(例如)以选择用于每一视频数据块的适当译码模式。
此外，分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割成子块。举例来说，分割单元48可起初将帧或图块分割成LCU，并且基于速率-失真分析(例如，速率-失真优化)将LCU中的每一个分割成子CU。模式选择单元40可进一步产生指示将LCU分割为子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可(例如)基于误差结果而选择译码模式(帧内或帧间)中的一个，且将所得经帧内译码或经帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重构建用作参看帧的经编码块。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分区信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成，但为概念目的而分开说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。举例来说，运动向量可指示在当前视频帧或图片内的视频块的PU相对于在参考图片(或其它经译码单元)内的预测性块相对于在所述当前图片(或其它经译码单元)内正经译码的当前块的位移。预测性块为就像素差而言被发现紧密地匹配待译码块的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定。在一些实例中，视频编码器20可计算存储在经解码图片缓冲器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插所述参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算帧间译码图块中的视频块的PU的运动向量。所述参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一个识别存储在经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42所确定的运动向量来提取或产生所述预测性块。而且，在一些实例中，运动估计单元42及运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一个中定位运动向量所指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值，如下文所论述。一般来说，运动估计单元42相对于明度成分而执行运动估计，且运动补偿单元44将基于明度成分所计算的运动向量用于色度成分与明度成分两者。模式选择单元40还可产生与视频块及视频图块相关联的语法元素以供视频解码器30在解码视频图块的视频块过程中使用。
如上所述，作为由运动估计单元42及运动补偿单元44所执行的帧间预测的替代，帧内预测处理单元46可对当前块进行帧内预测。确切地说，帧内预测处理单元46可确定帧内预测模式以用以编码当前块。在一些实例中，帧内预测处理单元46可(例如)在分开的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中，模式选择单元40)可从所测试的模式选择使用的适当帧内预测模式。
举例来说，帧内预测处理单元46可使用针对各种所测试帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试模式间选择具有最优选速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位速率(即，位数目)。帧内预测处理单元46可从各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现所述块的最优选速率-失真值。
在选择块的帧内预测模式之后，帧内预测处理单元46可将指示块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20可在所传输的位流中包含以下各个：配置数据，其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一个的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何状况下，变换处理单元52将变换应用于残差块，从而产生残差变换系数块。所述变换可将残差信息从像素值域变换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。
量化单元54量化变换系数以进一步减小位速率。所述量化过程可减少与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。在一些实例中，量化单元54随后可执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56熵译码经量化的变换系数。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的状况下，上下文可基于邻近块。在由熵译码单元56进行熵译码之后，可将经编码位流传输到另一装置(例如，视频解码器30)或加以存档以供稍后传输或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块加到经解码图片缓冲器64的帧中的一个的预测性块而计算参考块。运动补偿单元44还可将一或多个内插滤波器应用到经重构建的残余块，以计算在运动估计中使用的子整数像素值。求和器62将经重构建的残余块添加到由运动补偿单元44所产生的经运动补偿预测块，以产生用于存储在经解码图片缓冲器64中的经重构建视频块。经重构建的视频块可由运动估计单元42及运动补偿单元44用作参考块以帧间译码在后续视频帧中的块。
图13为说明可实施本发明的技术的视频解码器30的实例的框图。确切地说，视频解码器30可将视频数据解码成目标色彩表示，其接着可由视频后处理器31进行处理，如上所述。在图13的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、反量化单元76、反变换处理单元78、经解码图片缓冲器82及求和器80。在一些实例中，视频解码器30可执行大体上与关于视频编码器20(图12)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70所接收的运动向量产生预测数据，而帧内预测处理单元74可基于从熵解码单元70所接收的帧内预测模式指示符产生预测数据。
视频数据存储器71可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而从计算机可读媒体16(例如，从本地视频源，例如相机)获得存储在视频数据存储器71中的视频数据。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为存储用于由视频解码器30在解码视频数据(例如，在帧内或帧间译码模式中)过程中使用的参考视频数据的参考图片存储器。视频数据存储器71及经解码图片缓冲器82可由多种存储器设备中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器设备。可由同一存储器装置或单独存储器装置提供视频数据存储器71及经解码图片缓冲器82。在各种实例中，视频数据存储器71可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频图块的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可接收视频片段层级及/或视频块层级的语法元素。
当视频图块经译码为经帧内译码(I)图块时，帧内预测处理单元74可基于经传信帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频图块的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)图块时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素而产生当前视频图块的视频块的预测性块。可从参考图片列表中的一个内的参考图片中的一个产生预测性块。视频解码器30可基于存储在经解码图片缓冲器82中的参考图片使用默认构建技术来构建参考图片列表(列表0及列表1)。运动补偿单元72通过剖析运动向量及其它语法元素来确定用于当前视频图块的视频块的预测信息，且使用所述预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些，以确定用以译码视频图块的视频块的预测模式(例如，帧内或帧间预测)、帧间预测图块类型(例如，B图块或P图块)、用于所述图块的参考图片列表中的一或多个的构建信息、用于所述图块的每一经帧间编码视频块的运动向量、用于所述图块的每一经帧间译码视频块的帧间预测状态及用以解码当前视频图块中的视频块的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器，以计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元76反量化(即，解量化)位流中所提供，并由熵解码单元70解码的经量化变换系数。反量化过程可包含使用由视频解码器30针对视频图块中的每一视频块计算的量化参数QPY以确定应进行应用的量化程度及(同样地)反量化程度。反变换处理单元78将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数，以便产生像素域中的残余块。
在运动补偿单元72基于运动向量及其它语法元素而产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码视频块。求和器80表示可执行此求和运算的组件或多个组件。如果需要，还可应用解块滤波器来对经解码块滤波以便去除块效应伪影。还可使用其它回路滤波器(在译码回路中或在译码回路之后)使像素转变平滑，或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，经解码图片缓冲器存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频，以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
图14为说明根据本发明的技术的实例HDR/WCG转换过程的流程图。图14的所述技术可由图1的源装置12(包含视频预处理器19及/或视频编码器20中的一或多个)执行。
在本发明的一个实例中，源装置12可经配置以编码视频。此装置可进行以下操作：对视频数据执行动态范围调整以从所述视频数据产生经调整成分值(1502)；及在一经编码视频位流中发信至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的一全局偏移值(1504)。在图14的实例中，视频数据为进行视频编码之前的输入视频数据。在一些其它实例中，源装置可在经编码视频位流中发信至少一个SEI消息，所述至少一个SEI消息指示指定所述反动态范围调整将由解码器应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间将分割成的多个分割区中的每一个的全局偏移值(1504)。
在一些实例中，所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，其中所述调整信息进一步包含第二全局偏移值，且其中对所述视频数据执行所述动态范围调整包含：将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
在其它实例中，所述调整信息进一步包含所述视频数据在所述动态范围调整期间所分割成的分割区的数目，及用于一或多个分割区的缩放及局部偏移值，且其中执行所述动态范围调整包含：根据分割区的所述数目及用于一或多个分割区的缩放及局部偏移而产生所述经调整成分值(1506)。
图15为说明根据本发明的技术的实例HDR/WCG逆转换过程的流程图。图15的所述技术可由图1的目的地装置14(包含视频后处理器31及/或视频解码器30中的一或多个)执行。
在本发明的一个实例中，目的地装置14可经配置以解码已通过执行动态范围调整进行调整的视频数据。此装置可进行以下操作：接收经编码视频位流中的至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含应用于所述视频数据在所述动态范围调整期间所分割成的多个分割区中的每一个的全局偏移值(1602)；及根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值(1604)。在图15的实例中，视频数据为经解码视频数据。在其它实例中，装置可进行以下操作：接收经编码视频位流中的至少一个补充增强信息(SEI)消息，所述至少一个SEI消息指示所述动态范围调整将如何应用于所述视频数据的调整信息，且其中所述调整信息包含应用于所述视频数据在所述反动态范围调整期间将分割成的多个分割区中的每一个的全局偏移值(1604)；及根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值(1604)。
在一些实例中，所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，其中所述调整信息进一步包含第二全局偏移值，且其中对所述视频数据执行所述反动态范围调整包含：将匹配所述第二全局偏移值的成分值映射到所述第一全局偏移值。
在其它实例中，所述调整信息进一步包含所述视频数据在所述动态范围调整期间所分割成的分割区的数目，及用于一或多个分割区的缩放及局部偏移值，且其中执行所述反动态范围调整包含：根据分割区的所述数目及用于一或多个分割区的所述缩放及偏移而产生所述未调整成分值(1606)。
出于说明目的，本发明的某些方面已经关于HEVC标准的扩展而描述。然而，本发明中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，如适用，视频译码可指视频编码或视频解码。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同序列执行、可添加、合并或完全省略(例如，并非所有所描述的动作或事件对于技术的实践是必要的)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时地(而非依序地)执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或过程码而存储在计算机可读媒体上或经由计算机可读媒体进行传输，且通过基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体或(例如)根据通信协议包含促进计算机程序从一位置到另一位置的传送的任何媒体的通信媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、过程码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储器、快闪存储器或可用以存储呈指令或数据结构形式的所要的过程码且可由计算机存取的任何其它媒体。而且，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及Blu-ray光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各个的组合还应包含在计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效积体或离散逻辑电路的一或多个处理器来执行指令。相应地，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可提供在经配置用于编码及解码的专用硬件及/或软件模块内，或并入在组合式编解码器中。再者，所述技术可完全实施在一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。相反地，如上所述，可将各种单元组合在编码解码器硬件单元中，或由互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供所述单元。
已描述各种实例。此些及其它实例可在以下权利要求书的范围内。

Claims (69)

1.一种解码已通过执行动态范围调整进行调整的视频数据的方法，所述方法包括：
从经编码视频位流接收至少一个语法结构，所述至少一个语法结构指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含：应用于所述视频数据在所述动态范围调整期间所分割成的一或多个分割区中的每一个的全局偏移值，以及所述视频数据在所述动态范围调整期间所分割成的分割区的数目；及
根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值，其中执行所述反动态范围调整包含根据分割区的所述数目而产生所述未调整成分值。
2.根据权利要求1所述的方法，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，
其中所述调整信息进一步包含第二全局偏移值；且
其中对所述视频数据执行所述反动态范围调整包含：
将匹配所述第二全局偏移值的成分值映射到所述第一全局偏移值。
3.根据权利要求1所述的方法，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，且
其中对所述视频数据执行所述反动态范围调整包含：
根据以下各个中的一或多个导出第二全局偏移值：元数据、视频可用性信息、视频参数集合、序列参数集合、图片参数、图块标头或CTU标头；及
将匹配所述第二全局偏移值的成分值映射到所述第一全局偏移值。
4.根据权利要求1所述的方法，
其中所述全局偏移值为第一全局偏移值，
其中对所述视频数据执行所述反动态范围调整包含：
根据以下各个中的一或多个导出第二全局偏移值：元数据、视频可用性信息、视频参数集合、序列参数集合、图片参数、图块标头或CTU标头，其中所述第二全局偏移值是在对所述视频数据执行所述动态范围调整之前由小于所述第二全局偏移值的未调整成分值取代的值，
将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
5.根据权利要求1所述的方法，其进一步包括：
根据至少所述全局偏移值而导出额外调整信息，所述额外调整信息进一步指定所述动态范围调整已应用于所述视频数据的方式。
6.根据权利要求1所述的方法，其中所述调整信息指定一个分割区，且其中所述一个分割区适用于所有成分。
7.根据权利要求1所述的方法，其中所述视频数据包含明度成分及色度成分，其中所述调整信息包含所述明度成分在所述动态范围调整期间所分割成的分割区的第一数目、所述色度成分的第一集合在所述动态范围调整期间所分割成的分割区的第二数目及所述色度成分的第二集合在所述动态范围调整期间所分割成的分割区的第三数目，且其中执行所述反动态范围调整包含：
根据分割区的所述第一数目而产生未调整明度成分值；
根据分割区的所述第二数目而产生对应于色度成分的所述第一集合的未调整色度成分值；及
根据分割区的所述第三数目而产生对应于色度成分的所述第二集合的未调整色度成分值。
8.根据权利要求7所述的方法，其中分割区的所述第二数目不同于分割区的所述第一数目，且其中所述第二数目个分割区中的一个是小于所述第二数目个分割区中的任何其它分割区的中性色度分割区。
9.根据权利要求1所述的方法，其中所述视频数据包含红色、绿色及蓝色成分，其中所述调整信息包含所述红色成分在所述动态范围调整期间所分割成的分割区的第一数目、所述绿色成分在所述动态范围调整期间所分割成的分割区的第二数目及所述蓝色成分在所述动态范围调整期间所分割成的分割区的第三数目，且其中执行所述反动态范围调整包含：
根据分割区的所述第一数目而产生未调整红色成分值；
根据分割区的所述第二数目而产生未调整绿色成分值；及
根据分割区的所述第三数目而产生未调整蓝色成分值。
10.根据权利要求1所述的方法，其中分割区的所述数目表示为分割区的所述数目的函数的对数。
11.根据权利要求1所述的方法，其进一步包括：
根据所述至少一个语法结构而导出额外调整信息，所述额外调整信息进一步指定所述动态范围调整已应用于所述视频数据的方式。
12.根据权利要求1所述的方法，其中对所述视频数据执行所述反动态范围调整包含：
针对所述视频数据的每一成分的每一输入样本而确定所述输入样本所属的分割区，及
针对所述分割区中的每一个而产生所述未调整成分值。
13.根据权利要求12所述的方法，其中所述调整信息进一步包含用于所述分割区中的每一个的局部偏移值及局部缩放值，且其中产生所述未调整成分值包含：
根据所述局部偏移值及所述局部缩放值而产生所述未调整成分值。
14.根据权利要求13所述的方法，其中用于所述分割区中的每一个的所述局部偏移值是由第一数目个位及第二数目个位来表示，其中所述第一数目个位用以表示所述局部偏移值的整数部分且所述第二数目个位用以表示所述局部偏移值的分数部分，其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据如所述第一数目个位及所述第二数目个位所表示的用于所述分割区中的每一个的所述局部偏移值而产生所述未调整成分值。
15.根据权利要求13所述的方法，其中用于所述分割区中的每一个的所述局部缩放值是由第一数目个位及第二数目个位来表示，其中所述第一数目个位用以表示所述局部缩放值的整数部分且所述第二数目个位用以表示所述局部缩放值的分数部分，其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据如所述第一数目个位及所述第二数目个位所表示的用于所述分割区中的每一个的所述局部缩放值而产生所述未调整成分值。
16.根据权利要求15的方法，其中所述缩放值的所述整数部分是用一带正负号量值格式或二补码标记法中的一个来表示。
17.根据权利要求13所述的方法，
其中用于所述分割区中的每一个的所述局部缩放值是用于所述分割区中的每一个的第一成分局部缩放值，
其中所述调整信息进一步包含用于所述分割区中的每一个的第二成分局部缩放值，
其中用于所述分割区中的每一个的所述第一成分局部缩放值是由第一数目个位来表示，其中用于所述分割区中的每一个的所述第二成分局部缩放值是由第二数目个位来表示，
其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，位的所述第二数目不同于位的所述第一数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据用于所述分割区中的每一个的所述第一成分局部缩放值而产生第一成分未调整成分值；及
根据用于所述分割区中的每一个的所述第二成分局部缩放值而产生第二成分未调整成分值。
18.根据权利要求13所述的方法，
其中用于所述分割区中的每一个的所述局部偏移值是用于所述分割区中的每一个的第一成分局部偏移值，
其中所述调整信息进一步包含用于所述分割区中的每一个的第二成分局部偏移值，
其中用于所述分割区中的每一个的所述第一成分局部偏移值是由第一数目个位来表示，其中用于所述分割区中的每一个的所述第二成分局部偏移值是由第二数目个位来表示，
其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，位的所述第二数目不同于位的所述第一数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据用于所述分割区中的每一个的所述第一成分局部偏移值而产生第一成分未调整成分值；及
根据用于所述分割区中的每一个的所述第二成分局部偏移值而产生第二成分未调整成分值。
19.根据权利要求1所述的方法，其中所述调整信息指示所述分割区是否具有相等大小。
20.根据权利要求1所述的方法，其中所述调整信息包含用于所述分割区中的每一个的缩放值及大小值。
21.根据权利要求1所述的方法，其进一步包括：
在显示装置上显示所述动态范围经调整的视频数据。
22.一种编码视频数据的方法，其包括：
对所述视频数据执行动态范围调整以从所述视频数据产生经调整成分值；及
在经编码视频位流中产生至少一个语法结构，所述至少一个语法结构指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含：应用于所述视频数据在所述动态范围调整期间所分割成的一或多个分割区中的每一个的全局偏移值，以及所述视频数据在所述动态范围调整期间所分割成的分割区的数目，并且其中执行所述动态范围调整包含根据分割区的所述数目而产生所述经调整成分值。
23.根据权利要求22所述的方法，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，
其中所述调整信息进一步包含第二全局偏移值；且
其中对所述视频数据执行所述动态范围调整包含：
将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
24.根据权利要求22所述的方法，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，且
其中对所述视频数据执行所述动态范围调整包含：
在以下各个中的一或多个中产生第二全局偏移值：元数据、视频可用性信息、视频参数集合、序列参数集合、图片参数、图块标头或CTU标头；及
将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
25.根据权利要求22所述的方法，
其中所述全局偏移值为第一全局偏移值，
其中对所述视频数据执行所述动态范围调整包含：
在以下各个中的一或多个中产生第二全局偏移值：元数据、视频可用性信息、视频参数集合、序列参数集合、图片参数、图块标头或CTU标头，其中所述第二全局偏移值是在对所述视频数据执行所述动态范围调整之前由小于所述第二全局偏移值的未调整成分值取代的值，
将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
26.根据权利要求22所述的方法，其进一步包括：
基于所述全局偏移值而产生额外调整信息，所述额外调整信息进一步指定所述动态范围调整已应用于所述视频数据的方式。
27.根据权利要求25所述的方法，其中所述调整信息指定一个分割区，且其中所述一个分割区适用于所有成分。
28.根据权利要求22所述的方法，其中所述视频数据包含明度成分及色度成分，其中所述调整信息包含所述明度成分在所述动态范围调整期间所分割成的分割区的第一数目、所述色度成分的第一集合在所述动态范围调整期间所分割成的分割区的第二数目及所述色度成分的第二集合在所述动态范围调整期间所分割成的分割区的第三数目，且其中执行所述动态范围调整包含：
根据分割区的所述第一数目而产生经调整明度成分值；
根据分割区的所述第二数目而产生对应于色度成分的所述第一集合的经调整色度成分值；及
根据分割区的所述第三数目而产生对应于色度成分的所述第二集合的经调整色度成分值。
29.根据权利要求28所述的方法，其中分割区的所述第二数目不同于分割区的所述第一数目，且其中所述第二数目个分割区中的一个是小于所述第二数目个分割区中的任何其它分割区的中性色度分割区。
30.根据权利要求22所述的方法，其中所述视频数据包含红色、绿色及蓝色成分，其中所述调整信息包含所述红色成分在所述动态范围调整期间所分割成的分割区的第一数目、所述绿色成分在所述动态范围调整期间所分割成的分割区的第二数目及所述蓝色成分在所述动态范围调整期间所分割成的分割区的第三数目，且其中执行所述动态范围调整包含：
根据分割区的所述第一数目而产生经调整红色成分值；
根据分割区的所述第二数目而产生经调整绿色成分值；及
根据分割区的所述第二数目而产生经调整蓝色成分值。
31.根据权利要求22所述的方法，其中分割区的所述数目表示为分割区的所述数目的函数的对数。
32.根据权利要求22所述的方法，其进一步包括：
基于分割区的所述数目而产生额外调整信息，所述额外调整信息进一步指定所述动态范围调整已应用于所述视频数据的方式。
33.根据权利要求25所述的方法，其中对所述视频数据执行所述动态范围调整包含：
针对所述视频数据的每一成分的每一输入样本而确定所述输入样本所属的分割区；及
针对所述分割区中的每一个而产生所述经调整成分值。
34.根据权利要求33所述的方法，其中所述调整信息进一步包含用于所述分割区中的每一个的局部偏移值及局部缩放值，且其中对所述视频数据执行所述动态范围调整包含：
根据所述局部偏移值及所述局部缩放值而产生所述经调整成分值。
35.根据权利要求34所述的方法，其中用于所述分割区中的每一个的所述局部偏移值是由第一数目个位及第二数目个位来表示，其中所述第一数目个位用以表示所述局部偏移值的整数部分且所述第二数目个位用以表示所述局部偏移值的分数部分，其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，且
其中对所述视频数据执行所述动态范围调整包含：
根据如所述第一数目个位及所述第二数目个位所表示的用于所述分割区中的每一个的所述局部偏移值而产生所述经调整成分值。
36.根据权利要求34所述的方法，其中用于所述分割区中的每一个的所述局部缩放值是由第一数目个位及第二数目个位来表示，其中所述第一数目个位用以表示所述局部缩放值的整数部分且所述第二数目个位用以表示所述局部缩放值的分数部分，其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，且
其中对所述视频数据执行所述动态范围调整包含：
根据如所述第一数目个位及所述第二数目个位所表示的用于所述分割区中的每一个的所述局部缩放值而产生所述经调整成分值。
37.根据权利要求36所述的方法，其中所述缩放值的所述整数部分是用带正负号量值格式或二补码标记法中的一个来表示。
38.根据权利要求34所述的方法，
其中用于所述分割区中的每一个的所述局部缩放值是用于所述分割区中的每一个的第一成分局部缩放值，
其中所述调整信息进一步包含用于所述分割区中的每一个的第二成分局部缩放值，
其中用于所述分割区中的每一个的所述第一成分局部缩放值是由第一数目个位来表示，其中用于所述分割区中的每一个的所述第二成分局部缩放值是由第二数目个位来表示，
其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，位的所述第二数目不同于位的所述第一数目，且
其中对所述视频数据执行所述动态范围调整包含：
根据用于所述分割区中的每一个的所述第一成分局部缩放值而产生第一成分经调整成分值；及
根据用于所述分割区中的每一个的所述第二成分局部缩放值而产生第二成分经调整成分值。
39.根据权利要求34所述的方法，
其中用于所述分割区中的每一个的所述局部偏移值是用于所述分割区中的每一个的第一成分局部偏移值，
其中所述调整信息进一步包含用于所述分割区中的每一个的第二成分局部偏移值，
其中用于所述分割区中的每一个的所述第一成分局部偏移值是由第一数目个位来表示，其中用于所述分割区中的每一个的所述第二成分局部偏移值是由第二数目个位来表示，
其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，位的所述第二数目不同于位的所述第一数目，且
其中对所述视频数据执行所述动态范围调整包含：
根据用于所述分割区中的每一个的所述第一成分局部偏移值而产生第一成分经调整成分值；及
根据用于所述分割区中的每一个的所述第二成分局部偏移值而产生第二成分经调整成分值。
40.根据权利要求22所述的方法，其中所述调整信息指示所述分割区是否具有相等大小。
41.根据权利要求22所述的方法，其中所述调整信息包含用于所述分割区中的每一个的缩放值及大小值。
42.一种经配置以解码已通过执行动态范围调整进行调整的视频数据的设备，所述设备包括：
存储器，其经配置以存储所述视频数据；及
经配置以进行以下操作的一或多个处理器：
接收经编码视频位流中的至少一个语法结构，所述至少一个语法结构指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含：应用于所述视频数据在所述动态范围调整期间所分割成的一或多个分割区中的每一个的全局偏移值，以及所述视频数据在所述动态范围调整期间所分割成的分割区的数目，及
根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值，其中执行所述反动态范围调整包含根据分割区的所述数目而产生所述未调整成分值。
43.根据权利要求42所述的设备，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，
其中所述调整信息进一步包含第二全局偏移值；且
其中对所述视频数据执行所述反动态范围调整包含：
将匹配所述第二全局偏移值的成分值映射到所述第一全局偏移值。
44.根据权利要求42所述的设备，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，且
其中对所述视频数据执行所述反动态范围调整包含：
根据以下各个中的一或多个导出第二全局偏移值：元数据、视频可用性信息、视频参数集合、序列参数集合、图片参数、图块标头或CTU标头；及
将匹配所述第二全局偏移值的成分值映射到所述第一全局偏移值。
45.根据权利要求42所述的设备，
其中所述全局偏移值为第一全局偏移值，
其中对所述视频数据执行所述反动态范围调整包含：
根据以下各个中的一或多个导出第二全局偏移值：元数据、视频可用性信息、视频参数集合、序列参数集合、图片参数、图块标头或CTU标头，其中所述第二全局偏移值是在对所述视频数据执行所述动态范围调整之前由小于所述第二全局偏移值的未调整成分值取代的值，
将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
46.根据权利要求42所述的设备，其中所述一或多个处理器经进一步配置以：
根据至少所述全局偏移值而导出额外调整信息，所述额外调整信息进一步指定所述动态范围调整已应用于所述视频数据的方式。
47.根据权利要求42所述的设备，其中所述调整信息指定一个分割区，且其中所述一个分割区适用于所有成分。
48.根据权利要求42所述的设备，其中所述视频数据包含明度成分及色度成分，其中所述调整信息包含所述明度成分在所述动态范围调整期间所分割成的分割区的第一数目、所述色度成分的第一集合在所述动态范围调整期间所分割成的分割区的第二数目及所述色度成分的第二集合在所述动态范围调整期间所分割成的分割区的第三数目，且其中执行所述反动态范围调整包含：
根据分割区的所述第一数目而产生未调整明度成分值；
根据分割区的所述第二数目而产生对应于色度成分的所述第一集合的未调整色度成分值；及
根据分割区的所述第三数目而产生对应于色度成分的所述第二集合的未调整色度成分值。
49.根据权利要求48所述的设备，其中分割区的所述第二数目不同于分割区的所述第一数目，且其中所述第二数目个分割区中的一个是小于所述第二数目个分割区中的任何其它分割区的中性色度分割区。
50.根据权利要求42所述的设备，其中所述视频数据包含红色、绿色及蓝色成分，其中所述调整信息包含所述红色成分在所述动态范围调整期间所分割成的分割区的第一数目、所述绿色成分在所述动态范围调整期间所分割成的分割区的第二数目及所述蓝色成分在所述动态范围调整期间所分割成的分割区的第三数目，且其中执行所述反动态范围调整包含：
根据分割区的所述第一数目而产生未调整红色成分值；
根据分割区的所述第二数目而产生未调整绿色成分值；及
根据分割区的所述第三数目而产生未调整蓝色成分值。
51.根据权利要求42所述的设备，其中分割区的第一数目表示为对数。
52.根据权利要求42所述的设备，其中所述一或多个处理器经进一步配置以：
根据所述至少一个语法结构而导出额外调整信息，所述额外调整信息进一步指定所述动态范围调整已应用于所述视频数据的方式。
53.根据权利要求42所述的设备，其中对所述视频数据执行所述反动态范围调整包含：
针对所述视频数据的每一成分的每一输入样本而确定所述输入样本所属的分割区，及
针对所述分割区中的每一个而产生所述未调整成分值。
54.根据权利要求53所述的设备，其中所述调整信息进一步包含用于所述分割区中的每一个的局部偏移值及局部缩放值，且其中对所述视频数据执行所述反动态范围调整包含：
根据所述局部偏移值及所述局部缩放值而产生所述未调整成分值。
55.根据权利要求54所述的设备，其中用于所述分割区中的每一个的所述局部偏移值是由第一数目个位及第二数目个位来表示，其中所述第一数目个位用以表示所述局部偏移值的整数部分且所述第二数目个位用以表示所述局部偏移值的分数部分，其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据如所述第一数目个位及所述第二数目个位所表示的用于所述分割区中的每一个的所述局部偏移值而产生所述未调整成分值。
56.根据权利要求54所述的设备，其中用于所述分割区中的每一个的所述局部缩放值是由第一数目个位及第二数目个位来表示，其中所述第一数目个位用以表示所述局部缩放值的整数部分且所述第二数目个位用以表示所述局部缩放值的分数部分，其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据如所述第一数目个位及所述第二数目个位所表示的用于所述分割区中的每一个的所述局部缩放值而产生所述未调整成分值。
57.根据权利要求56所述的设备，其中所述缩放值的所述整数部分是用一带正负号量值格式或二补码标记法中的一个来表示。
58.根据权利要求54所述的设备，
其中用于所述分割区中的每一个的所述局部缩放值是用于所述分割区中的每一个的第一成分局部缩放值，
其中所述调整信息进一步包含用于所述分割区中的每一个的第二成分局部缩放值，
其中用于所述分割区中的每一个的所述第一成分局部缩放值是由第一数目个位来表示，其中用于所述分割区中的每一个的所述第二成分局部缩放值是由第二数目个位来表示，
其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，位的所述第二数目不同于位的所述第一数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据用于所述分割区中的每一个的所述第一成分局部缩放值而产生第一成分未调整成分值；及
根据用于所述分割区中的每一个的所述第二成分局部缩放值而产生第二成分未调整成分值。
59.根据权利要求54所述的设备，
其中用于所述分割区中的每一个的所述局部偏移值是用于所述分割区中的每一个的第一成分局部偏移值，
其中所述调整信息进一步包含用于所述分割区中的每一个的第二成分局部偏移值，
其中用于所述分割区中的每一个的所述第一成分局部偏移值是由第一数目个位来表示，其中用于所述分割区中的每一个的所述第二成分局部偏移值是由第二数目个位来表示，
其中所述调整信息进一步包含位的所述第一数目及位的所述第二数目，位的所述第二数目不同于位的所述第一数目，且
其中对所述视频数据执行所述反动态范围调整包含：
根据用于所述分割区中的每一个的所述第一成分局部偏移值而产生第一成分未调整成分值；及
根据用于所述分割区中的每一个的所述第二成分局部偏移值而产生第二成分未调整成分值。
60.根据权利要求42所述的设备，其中所述调整信息指示所述分割区是否具有相等大小。
61.根据权利要求42所述的设备，其中所述调整信息包含用于所述分割区中的每一个的缩放值及大小值。
62.根据权利要求42所述的设备，其进一步包括显示器，所述显示器经配置以显示包括经解码视频数据的图片。
63.根据权利要求42所述的设备，其中所述设备包括相机、计算机、移动装置、广播接收器装置或机顶盒中的一或多个。
64.一种经配置以编码视频的设备，所述设备包括：
存储器，其经配置以存储视频数据；及
经配置以进行以下操作的一或多个处理器：
对所述视频数据执行动态范围调整以从所述视频数据产生经调整成分值，及
在经编码视频位流中产生至少一个语法结构，所述至少一个语法结构指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含：应用于所述视频数据在所述动态范围调整期间所分割成的一或多个分割区中的每一个的全局偏移值，以及所述视频数据在所述动态范围调整期间所分割成的分割区的数目，其中执行所述动态范围调整包含根据分割区的所述数目而产生所述经调整成分值。
65.根据权利要求64所述的设备，
其中所述全局偏移值为第一全局偏移值，所述第一全局偏移值在对所述视频数据执行所述动态范围调整之前由小于所述第一全局偏移值的未调整成分值取代，
其中所述调整信息进一步包含第二全局偏移值；且
其中对所述视频数据执行所述动态范围调整包含：
将匹配所述第一全局偏移值的成分值映射到所述第二全局偏移值。
66.根据权利要求64所述的设备，其进一步包括相机传感器，所述相机传感器经配置以检索包括所述视频数据的图片。
67.根据权利要求64所述的设备，其中所述设备包括相机、计算机、移动装置、广播接收器装置或机顶盒中的一或多个。
68.一种经配置以解码已通过执行动态范围调整进行调整的视频数据的设备，所述设备包括：
用于接收经编码视频位流中的至少一个语法结构的装置，所述至少一个语法结构指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含：应用于所述视频数据在所述动态范围调整期间所分割成的一或多个分割区中的每一个的全局偏移值，以及所述视频数据在所述动态范围调整期间所分割成的分割区的数目；及
用于根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值的装置，其中执行所述反动态范围调整包含根据分割区的所述数目而产生所述未调整成分值。
69.一种用于解码已通过执行动态范围调整进行调整的视频数据的计算机程序产品，所述计算机程序产品包括在其上存储有指令的计算机可读媒体，所述指令在经执行时使处理器进行以下操作：
接收经编码视频位流中的至少一个语法结构，所述至少一个语法结构指示指定所述动态范围调整已应用于所述视频数据的方式的调整信息，且其中所述调整信息包含：应用于所述视频数据在所述动态范围调整期间所分割成的一或多个分割区中的每一个的全局偏移值，以及所述视频数据在所述动态范围调整期间所分割成的分割区的数目；及
根据所述调整信息对所述视频数据执行反动态范围调整以从所述视频数据产生未调整成分值，其中执行所述反动态范围调整包含根据分割区的所述数目而产生所述未调整成分值。
CN201680054059.6A 2015-09-21 2016-09-20 用于高动态范围及广色域视频译码的补充增强信息(sei)消息 Active CN108028935B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562221586P 2015-09-21 2015-09-21
US62/221,586 2015-09-21
US201562236804P 2015-10-02 2015-10-02
US62/236,804 2015-10-02
US15/269,497 2016-09-19
US15/269,497 US10129558B2 (en) 2015-09-21 2016-09-19 Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
PCT/US2016/052640 WO2017053280A1 (en) 2015-09-21 2016-09-20 Supplemental enhancement information (sei) messages for high dynamic range and wide color gamut video coding

Publications (2)

Publication Number Publication Date
CN108028935A CN108028935A (zh) 2018-05-11
CN108028935B true CN108028935B (zh) 2021-09-17

Family

ID=58283606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054059.6A Active CN108028935B (zh) 2015-09-21 2016-09-20 用于高动态范围及广色域视频译码的补充增强信息(sei)消息

Country Status (14)

Country Link
US (2) US10129558B2 (zh)
EP (1) EP3354024B1 (zh)
JP (1) JP6840740B2 (zh)
KR (1) KR102642646B1 (zh)
CN (1) CN108028935B (zh)
AU (1) AU2016328639B2 (zh)
DK (1) DK3354024T3 (zh)
ES (1) ES2866180T3 (zh)
HU (1) HUE054203T2 (zh)
PL (1) PL3354024T3 (zh)
PT (1) PT3354024T (zh)
SI (1) SI3354024T1 (zh)
TW (1) TWI755363B (zh)
WO (1) WO2017053280A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
US20190132600A1 (en) * 2016-05-04 2019-05-02 Thomson Licensing Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
US10334277B2 (en) * 2016-09-02 2019-06-25 Qualcomm Incorporated Signaling target display parameters of color remapping information supplemental enhancement information messages
IL310366A (en) 2016-10-05 2024-03-01 Dolby Laboratories Licensing Corp Messaging information volume source color
US10477212B2 (en) * 2016-10-11 2019-11-12 Dolby Laboratories Licensing Corporation Adaptive chroma quantization in video coding for multiple color imaging formats
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
US10728559B2 (en) * 2017-07-07 2020-07-28 Qualcomm Incorporated Precision of computation and signaling of dynamic range adjustment and color remapping information
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US11153579B2 (en) * 2018-03-23 2021-10-19 Qualcomm Incorporated Deriving dynamic range adjustment (DRA) parameters for video coding
US11303912B2 (en) * 2018-04-18 2022-04-12 Qualcomm Incorporated Decoded picture buffer management and dynamic range adjustment
KR102533723B1 (ko) 2018-09-14 2023-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10630867B2 (en) 2018-09-17 2020-04-21 Samsung Electronics Co., Ltd. Perceptual hue preserved color-gamut transferring in non-uniform CIE-1931 color space
US11037481B1 (en) 2018-10-25 2021-06-15 Baylor University System and method for a multi-primary wide gamut color system
US11410593B2 (en) 2018-10-25 2022-08-09 Baylor University System and method for a multi-primary wide gamut color system
US11488510B2 (en) 2018-10-25 2022-11-01 Baylor University System and method for a multi-primary wide gamut color system
US10997896B2 (en) 2018-10-25 2021-05-04 Baylor University System and method for a six-primary wide gamut color system
US11475819B2 (en) 2018-10-25 2022-10-18 Baylor University System and method for a multi-primary wide gamut color system
US11341890B2 (en) 2018-10-25 2022-05-24 Baylor University System and method for a multi-primary wide gamut color system
US11030934B2 (en) 2018-10-25 2021-06-08 Baylor University System and method for a multi-primary wide gamut color system
US11289003B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11289000B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US10950162B2 (en) * 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US10950161B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US11315467B1 (en) 2018-10-25 2022-04-26 Baylor University System and method for a multi-primary wide gamut color system
US11587491B1 (en) 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US11062638B2 (en) 2018-10-25 2021-07-13 Baylor University System and method for a multi-primary wide gamut color system
US10607527B1 (en) 2018-10-25 2020-03-31 Baylor University System and method for a six-primary wide gamut color system
US11069279B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11403987B2 (en) 2018-10-25 2022-08-02 Baylor University System and method for a multi-primary wide gamut color system
US11189210B2 (en) 2018-10-25 2021-11-30 Baylor University System and method for a multi-primary wide gamut color system
US11532261B1 (en) 2018-10-25 2022-12-20 Baylor University System and method for a multi-primary wide gamut color system
US11069280B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11373575B2 (en) 2018-10-25 2022-06-28 Baylor University System and method for a multi-primary wide gamut color system
US11043157B2 (en) 2018-10-25 2021-06-22 Baylor University System and method for a six-primary wide gamut color system
CN113228656B (zh) 2018-12-21 2023-10-31 北京字节跳动网络技术有限公司 使用多项式模型的帧间预测
US11348553B2 (en) 2019-02-11 2022-05-31 Samsung Electronics Co., Ltd. Color gamut mapping in the CIE 1931 color space
US11533460B2 (en) * 2019-09-11 2022-12-20 Nbc Universal Media, Llc High dynamic range and wide colour gamut comfort measurement and feedback
US11558616B2 (en) * 2020-03-05 2023-01-17 Qualcomm Incorporated Methods for quantization parameter control for video coding with joined pixel/transform based quantization
WO2021202387A1 (en) 2020-03-30 2021-10-07 Bytedance Inc. Slice type in video coding
US11533512B2 (en) * 2020-04-10 2022-12-20 Qualcomm Incorporated Dynamic range adjustment parameter signaling and enablement of variable bit depth support
CR20230153A (es) 2020-05-22 2023-05-16 Ge Video Compression Llc Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video (divisional exp. n°2022-0589)
WO2021252995A1 (en) 2020-06-12 2021-12-16 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding in 4:4:4 color format
CN112132120B (zh) * 2020-11-24 2021-03-30 北京沃东天骏信息技术有限公司 用于视频结构化的方法及装置
CN114650449A (zh) * 2022-03-03 2022-06-21 京东科技信息技术有限公司 一种视频数据处理方法和装置
WO2023244670A1 (en) * 2022-06-15 2023-12-21 Innopeak Technology, Inc. Methods, systems, and apparatuses for point cloud coding
CN115174880B (zh) * 2022-09-08 2023-03-10 江西渊薮信息科技有限公司 一种提高色域的投影系统、投影仪及投影方法
US20240283926A1 (en) * 2023-02-21 2024-08-22 Tencent America LLC Adaptive Cross-Component Sample Offset Filtering Parameters
US20240348836A1 (en) * 2023-04-12 2024-10-17 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102333223A (zh) * 2011-10-25 2012-01-25 北京华兴宏视技术发展有限公司 视频数据编码方法、解码方法、编码系统和解码系统
CN103703777A (zh) * 2011-07-22 2014-04-02 高通股份有限公司 对具有深度范围变化的运动深度图进行译码
EP2819414A2 (en) * 2013-06-28 2014-12-31 Samsung Electronics Co., Ltd Image processing device and image processing method
CN104380738A (zh) * 2012-06-29 2015-02-25 索尼公司 图像处理装置及方法
CN104641639A (zh) * 2012-09-21 2015-05-20 高通股份有限公司 用于视频译码的参数集的指示及激活

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626474A (zh) 2004-04-01 2010-01-13 松下电器产业株式会社 影像声音处理用集成电路
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
CN103891294B (zh) * 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
CN103918274B (zh) 2011-11-01 2015-08-26 杜比实验室特许公司 对具有扩展动态范围的图像的分层编码中的自适应伪轮廓预防
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
US9319703B2 (en) * 2012-10-08 2016-04-19 Qualcomm Incorporated Hypothetical reference decoder parameter syntax structure
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
WO2014106692A1 (en) * 2013-01-07 2014-07-10 Nokia Corporation Method and apparatus for video coding and decoding
AU2013206815A1 (en) 2013-07-11 2015-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
WO2015007505A1 (en) * 2013-07-18 2015-01-22 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9277196B2 (en) 2014-02-19 2016-03-01 DDD IP Ventures, Ltd. Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
JP6617142B2 (ja) 2014-10-07 2019-12-11 トレリス・ユーロプ・ソチエタ・ア・レスポンサビリタ・リミタータＴＲＥＬＬＩＳ ＥＵＲＯＰＥ ＳｒＬ 改善されたビデオおよび画像符号化プロセス
CN105960802B (zh) 2014-10-08 2018-02-06 微软技术许可有限责任公司 切换色彩空间时对编码和解码的调整
JP6619813B2 (ja) 2014-12-11 2019-12-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 特定のディスプレイに対する高ダイナミックレンジ画像の最適化
US9942551B2 (en) * 2015-01-30 2018-04-10 Qualcomm Incorporated Palette index grouping for video coding
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
US10116938B2 (en) 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
US11228770B2 (en) * 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
US10574959B2 (en) * 2017-07-05 2020-02-25 Qualcomm Incorporated Color remapping for non-4:4:4 format video content
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US11095896B2 (en) * 2017-10-12 2021-08-17 Qualcomm Incorporated Video coding with content adaptive spatially varying quantization
US10681358B2 (en) * 2017-12-19 2020-06-09 Qualcomm Incorporated Quantization parameter control for video coding with joined pixel/transform based quantization
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703777A (zh) * 2011-07-22 2014-04-02 高通股份有限公司 对具有深度范围变化的运动深度图进行译码
CN102333223A (zh) * 2011-10-25 2012-01-25 北京华兴宏视技术发展有限公司 视频数据编码方法、解码方法、编码系统和解码系统
CN104380738A (zh) * 2012-06-29 2015-02-25 索尼公司 图像处理装置及方法
CN104641639A (zh) * 2012-09-21 2015-05-20 高通股份有限公司 用于视频译码的参数集的指示及激活
EP2819414A2 (en) * 2013-06-28 2014-12-31 Samsung Electronics Co., Ltd Image processing device and image processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dynamic Range Adjustment SEI Message;D.Bugdayci Sansli等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 21st Meeting: Warsaw, PL, 19–26 June 2015》;20150626;第1-6页 *

Also Published As

Publication number Publication date
KR102642646B1 (ko) 2024-02-29
TW201729594A (zh) 2017-08-16
EP3354024A1 (en) 2018-08-01
TWI755363B (zh) 2022-02-21
HUE054203T2 (hu) 2021-08-30
US10129558B2 (en) 2018-11-13
AU2016328639A1 (en) 2018-04-26
SI3354024T1 (sl) 2021-08-31
US20170085896A1 (en) 2017-03-23
PL3354024T3 (pl) 2021-08-30
US10595032B2 (en) 2020-03-17
JP6840740B2 (ja) 2021-03-10
AU2016328639B2 (en) 2020-06-25
CN108028935A (zh) 2018-05-11
WO2017053280A1 (en) 2017-03-30
DK3354024T3 (da) 2021-04-26
JP2018532322A (ja) 2018-11-01
KR20180056726A (ko) 2018-05-29
US20190045209A1 (en) 2019-02-07
EP3354024B1 (en) 2021-03-31
ES2866180T3 (es) 2021-10-19
PT3354024T (pt) 2021-05-04

Similar Documents

Publication Publication Date Title
CN108028935B (zh) 用于高动态范围及广色域视频译码的补充增强信息(sei)消息
CN108028936B (zh) 分量用于使用固定点计算实施动态范围调整的方法和设备
CN111567049B (zh) 用于针对视频编码的相等范围和其它dra参数的信令机制
CN109643531B (zh) 用于具有反馈信道的色域自适应的方法和装置
CN109155848B (zh) 用于高动态范围及宽色域视频译码的环路内样本处理
JP2018515018A (ja) 高ダイナミックレンジおよび広色域ビデオコーディングのためのダイナミックレンジ調整
CN110999299A (zh) 在视频译码中跨分量动态范围调整(cc-dra)的系统及方法
CN110933431A (zh) 针对视频译码处理高动态范围及广色域视频数据
JP2018525862A (ja) 高ダイナミックレンジ及び広色域のビデオコード化のための適応一定輝度アプローチ
CN111869210B (zh) 推导用于视频译码的动态范围调整(dra)参数
CN110832867B (zh) 处理视频数据的方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant