CN107439013A - 用于高动态范围和宽色域视频译码的动态范围调整 - Google Patents

用于高动态范围和宽色域视频译码的动态范围调整 Download PDF

Info

Publication number
CN107439013A
CN107439013A CN201680021281.6A CN201680021281A CN107439013A CN 107439013 A CN107439013 A CN 107439013A CN 201680021281 A CN201680021281 A CN 201680021281A CN 107439013 A CN107439013 A CN 107439013A
Authority
CN
China
Prior art keywords
video data
video
color
dynamic range
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680021281.6A
Other languages
English (en)
Inventor
德米特罗·鲁萨诺夫斯基
德内·布达伊哲·桑斯利
霍埃尔·索赖·罗哈斯
马尔塔·卡切维奇
李圣远
阿达许·克里许纳·瑞玛苏布雷蒙尼安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107439013A publication Critical patent/CN107439013A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)

Abstract

本发明涉及处理视频数据，包含处理视频数据以符合高动态范围/宽色域HDR/WCG色彩容器。如将在下文更详细地阐释，本发明的技术包含动态范围调整DRA参数并且将DRA参数应用于视频数据，以便更好地使用HDR/WCG色彩容器。本发明的所述技术还可包含用信号发送允许视频解码器或视频后处理装置使本发明的DRA技术逆向以重构所述视频数据的原始或固有色彩容器的语法元素。

Description

用于高动态范围和宽色域视频译码的动态范围调整
本申请案主张2015年4月17日申请的第62/149,446号美国临时申请案的权益，其全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频处理。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、手提或台式计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265、高效率视频译码(HEVC)定义的标准，以及此类标准的扩展。视频装置可通过实施此类视频译码技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中本机的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块，所述视频块也可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中相邻块的参考样本的空间预测，对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中相邻块的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测产生待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据，对经帧间译码块进行编码。根据帧内译码模式和残差数据，对经帧内译码块进行编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可接着量化所述残差变换系数。可扫描起初按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更大程度压缩。
可由色域定义能够捕获、译码和显示的色彩值的总数目。色域是指装置可捕获(例如，相机)或重现(例如，显示器)的色彩范围。通常，色域因装置不同而不同。对于视频译码来说，可使用视频数据的预定义色域，以使得视频译码过程中的每一装置可经配置以处理同一色域中的像素值。一些色域与传统上用于视频译码的色域相比被界定更大范围的色彩。此类具有较大范围色彩的色域可被称为宽色域(WCG)。
视频数据的另一方面是动态范围。动态范围通常定义为视频信号的最小亮度(例如，明度)与最大亮度之间的比率。将过去常用的视频数据的动态范围视为具有标准动态范围(SDR)。视频数据的其它实例规范定义在最小亮度与最大亮度之间具有较大比率的色彩数据。可将此类视频数据视为具有高动态范围(HDR)。
发明内容
本发明涉及处理视频数据，包含处理视频数据以符合HDR/WCG色彩容器。如将在下文更详细地阐释，本发明的技术将动态范围调整(DRA)参数应用于视频数据，以便更好地使用HDR/WCG色彩容器。本发明的技术还可包含用信号发送允许视频解码器或视频后处理装置使本发明的DRA技术逆向以重构视频数据的原始或本机色彩容器的语法元素。
在本发明的一个实例中，一种处理视频数据的方法包括：接收与第一色彩容器有关的视频数据，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；导出一或多个动态范围调整参数，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。
在本发明的另一实例中，提供一种经配置以处理视频数据的设备，所述设备包括：存储器，其经配置以存储所述视频数据；和一或多个处理器，其经配置以：接收与第一色彩容器有关的所述视频数据，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；导出一或多个动态范围调整参数，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。
在本发明的另一实例中，一种经配置以处理视频数据的设备包括：用于接收与第一色彩容器有关的视频数据的装置，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；用于导出一或多个动态范围调整参数的装置，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和用于根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整的装置。
在另一实例中，本发明描述一种计算机可读存储媒体，其存储在被执行时导致一或多个处理器进行以下操作的指令：接收与第一色彩容器有关的视频数据，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；导出一或多个动态范围调整参数，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。
下文在附图和描述中阐明一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。
附图说明
图1是说明经配置以实施本发明的技术的实例视频编码和解码系统的框图。
图2是说明HDR数据的概的概念图。
图3是说明实例色域的概念图。
图4是说明HDR/WCG表示转换的实例的流程图。
图5是说明HDR/WCG逆转换的实例的流程图。
图6是说明从在感知上为均匀的代码层级到线性照度的视频数据转换(包含SDR和HDR)的电光传递函数(EOTF)的实例的概念图。
图7A和7B是说明对两个实例色域中色彩分布的直观化的概念图。
图8是说明根据本发明的技术操作的实例HDR/WCG转换设备的框图。
图9是说明根据本发明的技术的实例HDR/WCG逆转换设备的框图。
图10是说明可实施本发明的技术的视频编码器的实例的框图。
图11是说明可实施本发明的技术的视频解码器的实例的框图。
图12是说明根据本发明的技术的实例HDR/WCG转换过程的流程图。
图13是说明根据本发明的技术的实例HDR/WCG逆转换过程的流程图。
具体实施方式
本发明涉及具有高动态范围(HDR)和宽色域(WCG)表示的视频数据的处理和/或译码。更具体来说，本发明的技术包含应用于特定色彩空间中的视频数据以实现HDR和WCG视频数据的更高效压缩的信号发送和相关操作。本文中描述的技术和装置可改进用于对HDR和WCG视频数据进行译码的混合式视频译码系统(例如H.265/HEVC、H.264/AVC等)的压缩效率。
视频译码标准(包含混合式视频译码标准)包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。ITU-T视频译码专家组(VCEG)和ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)已经完成新视频译码标准(即高效率视频译码(HEVC，也称作H.265))的设计。布洛斯(Bross)等人的被称为HEVC工作草案10(WD10)的HEVC草案规范“高效率视频译码(HEVC)文本规范草案10(针对FDIS和最后调用)(High efficiency videocoding(HEVC)text specification draft 10(for FDIS&Last Call))”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦第12次会议，2013年1月14日到23日，JCTVC-L1003v34)可从http://phenix.int-evry.fr/jct/doc_end_ user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。定案的HEVC标准被称为HEVC版本1。
Wang等人的缺陷报告“高效视频译码(HEVC)缺陷报告(High efficiency videocoding(HEVC)Defect Report)”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)，第14次会议：奥地利维也纳，2013年7月25日到8月2日，JCTVC-N1003v1)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/ wg11/JCTVC-N1003-v1.zip获得。定案的HEVC标准文件公布为ITU-T H.265，H系列：视听和多媒体系统、视听服务的基础架构——移动视频的译码、高效率视频译码(国际电信联盟(ITU)的电信标准化部门，2013年4月)，且在2014年10月公布定案的HEVC标准的另一版本。可从http://www.itu.int/rec/T-REC-H.265-201504-I/en下载H.265/HEVC规范文本的副本。
图1是说明可使用本发明的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置，包含台式计算机、笔记本式(例如，手提)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”平板、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。经编码视频数据可根据例如有线或无线通信协议的通信标准加以调制，且传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络(例如因特网))的部分。通信媒体可包含路由器、交换机、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
在其它实例中，计算机可读媒体16可包含非暂时性存储媒体，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未示出)可从源装置12接收经编码视频数据，并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
在一些实例中，可将经编码数据从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置可对应于可由保存源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置经由流式传输或下载来存取所保存的视频数据。文件服务器可以为能够存储经编码视频数据并将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此标准数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。
本发明的技术未必限于无线应用程序或设定。所述技术可以应用于视频译码并且支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如动态自适应HTTP流式传输(DASH))、将数字视频编码到数据存储媒体上、对存储在数据存储媒体上的数字视频进行解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话的应用程序。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、动态范围调整(DRA)单元19、视频解码器30和显示装置32。根据本发明，源装置12的DRA单元19可经配置以实施本发明的技术，包含应用于特定色彩空间中的视频数据以实现HDR和WCG视频数据的更高效压缩的信号发送和相关操作。在一些实例中，DRA单元19可与视频编码器20分离。在其它实例中，DRA单元19可为视频编码器20的部分。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而不是包含集成式显示装置。
图1的所说明的系统10仅为一个实例。用于处理HDR和WCG视频数据的技术可由任何数字视频编码和/或视频解码装置执行。此外，本发明的技术也可由视频预处理器和/或视频后处理器执行。视频预处理器可以是经配置以在编码之前(例如，在HEVC编码)之前处理视频数据的任何装置。视频后处理器可为经配置以在解码之后(例如，在HEVC解码之后)处理视频数据的任何装置。源装置12和目的地装置14仅是此类译码装置的实例，其中源装置12产生经译码视频数据以供传输到目的地装置14。在一些实例中，装置12、14可以大体上对称的方式操作，以使得装置12、14中的每一者包含视频编码和解码组件，以及视频预处理器和视频后处理器(例如，分别地DRA单元19和逆DRA单元31)。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以(例如)用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用以从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中描述的技术一般来说可能适用于视频译码和视频处理，且可应用于无线和/或有线应用程序。在每一情况下，捕获、预先捕获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的也供视频解码器30使用的语法信息，所述语法信息包含描述块和其它经译码单元(例如，图片群组(GOP))的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编码解码器)的部分。
DRA单元19和逆DRA单元31各自可实施为多种适合的编码器电路中的任一者，例如一或多个微处理器、DSP、ASIC、FPGA、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。
在一些实例中，视频编码器20和视频解码器30根据视频压缩标准操作，所述视频压缩标准例如为ISO/IEC MPEG-4 Visual和ITU-T H.264(也被称作ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展和基于MVC的三维视频(3DV)扩展。在一些情况下，符合基于MVC的3DV的任何位流始终含有顺应MVC配置文件(例如，立体声高配置文件)的子位流。此外，仍在致力于产生H.264/AVC的3DV译码扩展，即基于AVC的3DV。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual以及TU-T H.264,ISO/IECVisual。在其它实例中，视频编码器20和视频解码器30可经配置以根据HEVC标准操作。
如将在下文更详细地阐释，DRA单元19和逆DRA单元31可经配置以实施本发明的技术。在一些实例中，DRA单元19和/或逆DRA单元31可经配置以接收与第一色彩容器有关的视频数据，导出一或多个动态范围调整参数，并且根据所述一或多个动态范围调整参数对视频数据执行动态范围调整，其中第一色彩容器由第一色域和第一色彩空间定义，动态范围调整参数基于视频数据的特性。
DRA单元19和逆DRA单元31各自可实施为多种适合的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。如上文所论述，DRA单元19和逆DRA单元31可为分别独立于视频编码器20和视频解码器30的装置。在其它实例中，DRA单元19可与视频编码器20一起集成于单个装置中，并且逆DRA单元31可与视频解码器30一起集成于单个装置中。
在HEVC和其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，标示为SL、SCb和SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb彩度样本的二维阵列。SCr是Cr彩度样本的二维阵列。彩度样本在本文中也可被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个译码树块以及用以对所述译码树块的样本进行译码的语法结构。译码树块可为NxN样本块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可大体上类似于其它视频译码标准(例如，H.264/AVC)的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含光栅扫描中连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”来指代一或多个样本块以及用以对一或多个样本块的样本进行译码的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU)，或其它视频译码标准的宏块、宏块分区等等。
为了产生经译码CTU，视频编码器20可对CTU的译码树块以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是NxN样本块。CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块以及用以对所述译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为被应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的明度样本的预测块、图片的色度样本的两个对应的预测块，以及用以对预测块样本进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块和用以对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每一PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可以基于与PU相关联的图片的经解码样本产生PU的预测性块。
如果视频编码器20使用帧间预测产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本产生PU的预测性块。帧间预测可以是单向帧间预测(即，单向预测)或双向帧间预测(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可产生当前切片的第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。
参考图片列表中的每一者可包含一或多个参考图片。在使用单向预测时，视频编码器20可搜索RefPicList0和RefPicList1中的任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，在使用单向预测时，视频编码器可至少部分基于对应于参考位置的样本产生PU的预测性样本块。此外，在使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间位移的单个运动向量。为了指示PU的预测块与参考位置之间的空间位移，运动向量可包含指定PU的预测块与参考位置之间的水平位移的水平分量，并且可包含指定PU的预测块与参考位置之间的垂直位移的垂直分量。
在使用双向预测来对PU进行编码时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置以及RefPicList1中的参考图片中的第二参考位置。视频编码器20接着可至少部分基于对应于第一和第二参考位置的样本产生PU的预测性块。此外，在使用双向预测对PU进行编码时，视频编码器20可产生指示PU的样本块与第一参考位置之间的空间位移的第一运动，以及指示PU的预测块与第二参考位置之间的空间位移的第二运动。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb和Cr块之后，视频编码器20可产生CU的明度残差块。CU的明度残差块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中对应的样本之间的差异。另外，视频编码器20可以产生CU的Cb残差块。CU的Cb残差块中的每一样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可以指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb和Cr残差块分解成一或多个明度、Cb和Cr变换块。变换块可为被应用相同变换的样本的矩形块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块以及用以对变换块样本进行变换的语法结构。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可以与明度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。
视频编码器20可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以量化系数块。量化一般是指对变换系数进行量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可对变换系数进行逆量化且将逆变换应用于变换系数，以重构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构变换块以及CU的PU的预测性块来重构CU的译码块。通过重构图片的每一CU的译码块，视频编码器20可重构图片。视频编码器20可将重构的图片存储在经解码图片缓冲器(DPB)中。视频编码器20可使用DPB中的重构的图片进行帧间预测和帧内预测。
在视频编码器20对系数块进行量化之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码语法元素。
视频编码器20可输出包含形成经译码图片和相关联数据的表示的位元序列的位流。位流可包括网络抽象层(NAL)单元序列。所述NAL单元中的每一者包含NAL单元标头且封装原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位元。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装用于图片参数集(PPS)的RBSP，第二类型的NAL单元可封装用于经译码切片的RBSP，第三类型的NAL单元可封装用于补充增强信息(SEI)的RBSP，等等。PPS为可含有适用于零或多个完整经译码图片的语法元素的语法结构。封装视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称为视频编码层(VCL)NAL单元。封装经译码切片的NAL单元可在本文中被称作经译码切片NAL单元。经译码切片的RBSP可包含切片标头和切片数据。
视频解码器30可接收位流。另外，视频解码器30可解析位流以从位流解码语法元素。视频解码器30可至少部分地基于从位流解码的语法元素来重构视频数据的图片。重构视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量，以确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量产生PU的预测性块。
另外，视频解码器30可对与当前CU的TU相关联的系数块进行逆量化。视频解码器30可以对系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构当前CU的译码块。通过重构图片的每一CU的译码块，视频解码器30可重构图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中，以用于输出和/或用于对其它图片进行解码。
下一代视频应用程序预期与表示已捕获的具有HDR和WCG的景物的视频数据一起操作。所使用的动态范围和色域的参数是视频内容的两个独立属性，且其用于数字电视和多媒体服务目的的规范由数个国际标准定义。举例来说，ITU-R Rec.BT.709“用于制作和国际节目交换的HDTV标准的参数值(Parameter values for the HDTV standards forproduction and international programme exchange)”定义用于HDTV(高清电视)的参数，例如标准动态范围(SDR)和标准色域，且ITU-R Rec.BT.2020“用于制作和国际节目交换的超高清电视系统的参数值(Parameter values for ultra-high definitiontelevision systems for production and international programme exchange)”规定UHDTV(超高清电视)参数，例如HDR和WCG。还存在规定其它系统中的动态范围和色域属性的其它标准开发组织(SDO)文件，例如，在SMPTE-231-2(电影与电视工程师学会)中定义DCI-P3色域，且在SMPTE-2084中定义HDR的一些参数。在下文提供对视频数据的动态范围和色域的简要说明。
动态范围通常定义为视频信号的最小亮度(例如，照度)与最大亮度之间的比率。也可依据“f制光圈(f-stop)”来测量动态范围，其中一个f制光圈对应于信号的动态范围的双倍。在MPEG的定义中，HDR内容是以大于16个f制光圈表示亮度变化的特征的内含。在一些条款中，10与16个f制光圈之间的层级被视为中间动态范围，但其在其它定义中被视为HDR。在本发明的一些实例中，HDR视频内容可为与传统使用的具有标准动态范围的视频内容(例如，由ITU-R Rec.BT.709规定的视频内容)相比具有更高动态范围的任何视频内容。
人类视觉系统(HVS)能够感知比SDR内容和HDR内容大得多的动态范围。然而，HVS包含用以将HVS的动态范围变窄为所谓的同步范围的自适应机制。同步范围的宽度可取决于当前光照条件(例如，当前亮度)。在图2中示出对由HDTV的SDR提供的动态范围、UHDTV的期望HDR和HVS动态范围的直观化。
当前视频应用程序和服务受ITU Rec.709调控，并且提供SDR，通常支持每m2约0.1到100坎德拉(candela；cd)(通常称为“尼特(nit)”)的亮度(例如，照度)范围，从而导致小于10个f制光圈。期望一些实例的下一代视频服务提供高达16个f制光圈的动态范围。虽然此类内容的详细规范目前尚处于开发中，但是已在SMPTE-2084和ITU-R Rec.2020中规定一些初始参数。
除HDR以外更真实的视频体验的另一方面是色彩维度。色彩维度通常由色域界定。图3是展示SDR色域(基于BT.709色彩元的三角形100)以及用于UHDTV的更宽色域(基于BT.2020色彩的三角形102)的概念图。图3还描绘所谓的光谱轨迹(由舌形区104界定)，表示自然色彩的限值。如图3所说明，从BT.709(三角形100)移动到BT.2020(三角形102)，色彩元旨在提供具有约70％的更多色彩的UHDTV服务。D65规定针对BT.709和/或BT.2020规范的实例白色色彩。
在表1中展示针对DCI-P3、BT.709和BT.202色彩空间的色域规范的实例。
表1——色域参数
如在表1中可见，可由白色点的X和Y值以及原色(例如，红色(R)、绿色(G)和蓝色(B))的X和Y值来定义色域。如由CIE 1931色彩空间所定义，X和Y值表示色彩的色品(X)和亮度(Y)。CIE 1931色彩空间定义纯色(例如，关于波长)与人眼如何感知到此类色彩之间的联系。
通常以4:4:4色度子取样格式和极宽色彩空间(例如，CIE XYZ)在每分量极高精确度(均匀浮点)下获取和存储HDR/WCG视频数据。此表示旨在高精确度且几乎是数学上无损的。然而，用于存储HDR/WCG视频数据的此类格式可能包含大量的冗余，且对于压缩目的来说可能不是最佳的。基于HVS的假设的较低精确度格式通常用于当前技术发展水平的视频应用程序。
如图4中所示，出于压缩目的的视频数据格式转换过程的一个实例包含三个主要过程。图4的技术可由源装置12执行。线性RGB数据110可为HDR/WCG视频数据且可以浮点表示存储。可使用用于动态范围压缩的非线性传递函数(TF)112压缩线性RGB数据110。传递函数112可使用任何数目个非线性传递函数(例如，SMPTE-2084中定义的PQ TF)压缩线性RGB数据110。在一些实例中，色彩转换过程114将经压缩数据转换成更加紧密或稳固的色彩空间(例如，YUV或YCrCb色彩空间)，其更适用于由混合式视频编码器进行的压缩。接着使用浮点到整数表示量化单元116对此数据进行量化，以产生经转换的HDR'数据118。在此实例中，HDR'数据118以整数表示。HDR'数据目前所用格式更适用于由混合式视频编码器(例如，应用HEVC技术的视频编码器20)进行的压缩。图4中所描绘的过程的次序作为实例给出，且可在其它应用中发生变化。举例来说，色彩转换可在TF过程之前。另外，额外处理(例如空间子取样)可应用于色彩分量。
在图5中描绘解码器侧的逆转换。可由目的地装置14执行图5的技术。可在目的地装置14处通过使用混合式视频解码器(例如，应用HEVC技术的视频解码器30)对视频数据进行解码来获得经转换的HDR'数据120。接着可由逆量化单元122对HDR'数据120进行逆量化。接着可将逆色彩转换过程124应用于经逆量化的HDR'数据。逆色彩转换过程124可为色彩转换过程114的逆。举例来说，逆色彩转换过程124可将HDR'数据从YCrCb格式转换回到RGB格式。接下来，可将逆传递函数126应用于所述数据以反加传递函数112压缩的动态范围，从而重新产生线性RGB数据128。
现将更详细地论述图4中描绘的技术。一般来说，将传递函数应用于数据(例如，HDR/WCG视频数据)以压缩所述数据的动态范围。此类压缩允许以更少位表示所述数据。在一个实例中，传递函数可为一维(1D)非线性函数，且可反映最终用户显示器的电光传递函数(EOTF)的逆，例如Rec.709中针对SDR所规定。在另一实例中，传递函数可将HVS感知近似为亮度改变，例如，SMPTE-208中针对HDR规定的PQ传递函数。OETF的逆过程是EOTF(电光传递函数)，其将代码层级映射回到照度。图6展示用以压缩特定色彩容器的动态范围的非线性传递函数的数个实例。所述传递函数也可分别应用于每一R、G和B分量。
在本发明的上下文中，术语“信号值”或“色彩值”可用以描述对应于图像元素的特定色彩分量(例如R、G、B或Y)的值的照度层级。信号值通常表示线性光级(照度值)。术语“代码层级”或“数字代码值”可指图像信号值的数字表示。通常，此类数字表示用以表示非线性信号值。EOTF表示提供到显示装置(例如，显示装置32)的非线性信号值与由显示装置产生的线性色彩值之间的关系。
RGB数据通常用作输入色彩空间，这是由于RGB是通常由图像捕获传感器产生的数据类型。然而，RGB色彩空间在其分量当中具有高冗余并且对于紧密的表示来说并非最佳的。为了达成更紧密并且更稳固的表示，RGB分量通常转换(例如，执行色彩变换)为更适用于压缩的更不相关的色彩空间，例如YCbCr。YCbCr色彩空间将呈照度(Y)形式的亮度和色彩信息(CrCb)分离于不同的更低相关性分量中。在此上下文中，稳固表示可指在以受约束位率进行压缩时具有更高层级的错误恢复性的色彩空间。
在色彩变换之后，目标色彩空间中的输入数据仍可以高位深度(例如，浮点准确度)表示。举例来说，使用量化过程可将高位深度数据转换成目标位深度。某些研究展示10到12位准确度组合PQ传递足以提供具有低于最小可觉差(JND)的失真的16个f制光圈的HDR数据。一般来说，JND是为了(例如，由HVS)可察觉到差异，某事情(例如，视频数据)必须改变的程度。可用当前技术发展水平的视频译码解决方案中的大多数对以10位准确度表示的数据进行进一步译码。此量化是有损译码的元素并且是引入到经转换数据的不准确度的根源。
预期下一代HDR/WCG视频应用程序将与以HDR和CG的不同参数捕获的视频数据一起操作。不同配置的实例可为具有高达1000尼特或高达10,000尼特的峰值亮度的HDR视频内容的捕获。不同色域的实例可包含BT.709、BT.2020以及特定于P3的SMPTE，或其他。
还预期将在未来使用并入有全部其它目前使用的色域的单个色彩空间(例如，目标色彩容器)。此类目标色彩容器的一个实例是BT.2020。支持单个目标色彩容器将显著地简化HDR/WCG系统的标准化、实施和部署，这是由于解码器(例如，视频解码器30)应支持减小数目的操作点(例如，色彩容器、色彩空间、色彩转换算法等的数目)和/或减小数目的所需算法。
在此类系统的一个实例中，以不同于目标色彩容器(例如，BT.2020)的本机色域(例如，P3或BT.709)捕获的内容可在处理之前(例如，在视频编码之前)转换成目标容器。下文是此类转换的数个实例：
从BT.709到BT.2020色彩容器的RGB转换：
○R2020＝0.627404078626*R709+0.329282097415*G709+0.043313797587*B709
○G2020＝0.069097233123*R709+0.919541035593*G709+0.011361189924*B709
○B2020＝0.016391587664*R709+0.088013255546*G709+0.895595009604*B709(1)
从P3到BT.2020色彩容器的RGB转换：
○R2020＝0.753832826496*RP3+0.198597635641*GP3+0.047569409186*BP3
○G2020＝0.045744636411*RP3+0.941777687331*GP3+0.012478735611*BP3
○B2020＝-0.001210377285*RP3+0.017601107390*GP3+0.983608137835*BP3(2)
在此转换期间，可用BT.2020表示减小在P3或BT.709色域中捕获的信号的动态范围。由于以浮点准确度来表示数据，所以不存在损失；然而，当与色彩转换(例如，在下文方程式3中展示的从RGB到YCrCB的转换)和量化(下文方程式4中的实例)组合时，动态范围减小导致输入数据增加的量化误差。
○Y'＝0.2627*R'+0.6780*G'+0.0593*B'；
oDY′＝(Round((1＜＜(BitDepthY-8))*(219*Y′+16)))
oDCb＝(Round((1＜＜(BitDepthCr-8))*(224*Cb+128)))
oDCr＝(Round((1＜＜(BitDepthCb-8))*(224*Cb+128)))
(4)
在方程式(4)中，DY'是经量化Y'分量，DCb是经量化Cb，且DCr是经量化Cr分量。项<<表示逐位右移。BitDepthY、BitDepthCr和BitDepthCb分别是经量化分量的所要位深。
另外，在现实的译码系统中，对具有减小的动态范围的信号进行译码可导致经译码色度分量显著的准确度损失且将被查看者观察为译码伪影，例如色彩失配和/或色彩渗透。
还可在内容的色域与目标色彩容器的色域相同时出现问题，但所述内容不完全占用整个色彩容器的色域(例如，在一些帧中或针对一个分量)。在图7A和7B中显现此情况，其中在xy色彩平面中描绘HDR序列的色彩。图7A展示在本机BT.709色彩空间(三角形150)中捕获的“Tibul”测试序列的色彩。然而，测试序列的色彩(示出为圆点)不占用BT.709的全部色域。在图7A和7B中，BT.2020三角形152表示BT.2020色域。图7B展示具有P3本机色域(三角形154)的“拜克斯(Bikes)”HDR测试序列的色彩。如图7B中可见，所述色彩不占用xy色彩平面中整个范围的本机色域(三角形154)。
为了解决上文所描述的问题，可考虑以下技术。一个实例技术涉及在本机色彩空间下的HDR译码。在此类技术中，HDR视频译码系统将支持目前已知的各种类型的色域，并且允许视频译码标准的扩展以支持未来色域。此支持不仅是限于支持不同色彩转换变换(例如RGB到YCbCr)及其逆变换，而且还规定调整到所述色域中的每一者的变换函数。支持此类多种工具将是复杂且昂贵的。
另一实例技术包含色域感知视频编码解码器。在此类技术中，假想视频编码器经配置以估计输入信号的本机色域并且调整译码参数(例如，针对经译码色度分量的量化参数)，从而减少由减小的动态范围引起的任何失真。然而，此类技术将不能够恢复可能归因于在上文方程式(4)中进行的量化而发生的准确度损失，这是由于以整数点准确度将全部输入数据提供到典型编码解码器。
鉴于前述，本发明提出执行动态范围调整(DRA)以补偿由色域转换引入到HDR信号表示的动态范围改变的技术、方法和设备。动态范围调整可有助于阻止和/或减少由色域转换导致的任何失真，包含色彩失配、色彩渗透等。在本发明的一或多个实例中，在编码器侧(例如，由源装置12)的量化之前并且在解码器侧(例如，由目的地装置14)的逆量化之后，对目标色彩空间(例如，YCbCr)的每一色彩分量的值进行DRA。
图8是说明根据本发明的技术操作的实例HDR/WCG转换设备的框图。在图8中，实线表示数据流，且虚线表示控制信号。源装置12的DRA单元19可执行本发明的技术。如上文所论述，DRA单元19可为独立于视频编码器20的装置。在其它实例中，DRA单元19可并入到与视频编码器20相同的装置中。
如图8中所示，RGB本机CG视频数据200输入到DRA单元19。在由DRA单元19进行视频预处理的上下文中，由输入色彩容器定义RGB本机CG视频数据200。输入色彩容器进行以下两者：界定视频数据200的色域(例如，BT.709、BT.2020、P3等)，并且界定视频数据200的色彩空间(例如，RGB、XYZ、YCrCb、YUV等)。在本发明的一个实例中，DRA单元19可经配置以将RGB本机CB视频数据200的色域和色彩空间两者转换成HDR'数据216的目标色彩容器。类似于输入色彩容器，目标色彩容器可定义色域和色彩空间两者。在本发明的一个实例中，RGB本机CB视频数据200可为HDR/WCG视频，并且可具有BT.2020或P3色域(或任何WCG)，且处于RGB色彩空间中。在另一实例中，RGB本机CB视频数据200可为SDR视频，并且可具有BT.709色域。在一个实例中，HDR'数据216的目标色彩容器可经配置用于HDR/WCG视频(例如，BT.2020色域)并且可使用对于视频编码来说更佳的色彩空间(例如，YCrCb)。
在本发明的一个实例中，CG转换器202可经配置以将RGB本机CG视频数据200的色域从输入色彩容器(例如，第一色彩容器)的色域转换为目标色彩容器(例如，第二色彩容器)的色域。作为一个实例，CG转换器202可将RGB本机CG视频数据200从BT.709色彩表示转换为BT.2020色彩表示，在下文展示其实例。
可用涉及以下步骤的二步骤式转换实施将RGB BT.709样本(R709、G709、B709)转换为RGB BT.2020样本(R2020、G2020、B2020)的过程：首先转换为XYZ表示，接着是使用适当的转换矩阵从XYZ转换为RGB BT.2020。
X＝0.412391*R709+0.357584*G709+0.180481*B709
Y＝0.212639*R709+0.715169*G709+0.072192*B709 (5)
Z＝0.019331*R709+0.119195*G709+0.950532*B709
从XYZ到R2020G2020B2020(BT.2020)的转换
R2020＝clipRGB(1.716651*X-0.355671*Y-0.253366*Z)
G2020＝clipRGB(-0.666684*X+1.616481*Y+0.015768*Z) (6)
B2020＝clipRGB(0.017640*X-0.042771*Y+0.942103*Z)
类似地，单个步骤和推荐的方法如下：
R2020＝clipRGB(0.627404078626*R709+0.329282097415*G709+0.043313797587*B709)
G2020＝clipRGB(0.069097233123*R709+0.919541035593*G709+0.011361189924*B709) (7)
B2020＝clipRGB(0.016391587664*R709+0.088013255546*G709+0.895595009604*B709)
在CG转换之后所得的视频数据示出为图8中的RGB目标CG视频数据204。在本发明的其它实例中，输入色彩容器的色域与输出色彩容器的色域可为相同的。在此类实例中，CG转换器202无需对RGB本机CG视频数据200执行任何转换。
接下来，传递函数单元206压缩RGB目标CG视频数据204的动态范围。传递函数单元206可经配置以应用传递函数以与上文参考图4论述的相同的方式压缩所述动态范围。色彩转换单元208将RGB目标CG色彩数据204从输入色彩容器的色彩空间(例如，RGB)转换成目标色彩容器的色彩空间(例如，YCrCb)。如上文参考图4所阐释，色彩转换单元208将经压缩数据转换成更紧密或稳固的色彩空间(例如，YUV或YCrCb色彩空间)，其更适用于由混合式视频编码器(例如，视频编码器20)进行的压缩。
调整单元210经配置以根据由DRA参数估计单元212导出的DRA参数执行色彩经转换视频数据的动态范围调整(DRA)。一般来说，在由CG转换器202进行的CG转换以及由传递函数单元206进行的动态范围压缩之后，所得视频数据的实际色彩值可能并未使用经分配用于特定目标色彩容器的色域的全部可用码字(例如，表示每一色彩的唯一性位序列)。也就是说，在一些情况下，RGB本机CG视频数据200从输入色彩容器到输出色彩容器的转换可能过度压缩视频数据的色彩值(例如，Cr和Cb)，以致于所得的经压缩视频数据未高效使用全部可能的色彩表示。如上文所阐释，对就色彩来说具有减小的值范围的信号进行译码可导致经译码色度分量准确度显著损失，且将被查看者观察为译码伪影，例如色彩失配和/或色彩渗透。
调整单元210可经配置以在动态范围压缩和色彩转换之后将DRA参数应用于视频数据(例如，RGB目标CG视频数据204)的色彩分量(例如，YCrCb)，以实现可用于特定目标色彩容器的码字的完全使用。调整单元210可在像素层级将DRA参数应用于视频数据。一般来说，DRA参数定义如下函数：将用以表示实际视频数据的码字扩增为尽可能多的可用于目标色彩容器的码字。
在本发明的一个实例中，DRA参数包含应用于视频数据的分量的缩放和偏移值。一般来说，视频数据的色彩分量的值的动态范围越低，可使用的缩放因数越大。偏移参数用以将色彩分量的值的中心定为目标色彩容器的可用码字的中心。举例来说，如果目标色彩容器包含每色彩分量1024码字，那么偏移值可经选择以使得中心码字移动到码字512(例如，中间的最大码字)。
在一个实例中，调整单元210将DRA参数应用于目标色彩空间(例如，YCrCb)中的视频数据，如下：
-Y”＝scale1*Y'+offset1
-Cb”＝scale2*Cb'+offset2 (8)
-Cr”＝scale3*Cr'+offset3
其中信号分量Y'、Cb'和Cr'是由RGB到YCbCr转换(方程式3中的实例)产生的信号。应注意，Y'、Cr'和Cr'也可为由视频解码器30解码的视频信号。Y”、Cb"和Cr”是在DRA参数应用于每一色彩分量之后视频信号的色彩分量。如在以上实例中可见，每一色彩分量与不同的缩放和偏移参数有关。举例来说，scale1和offset 1用于Y'分量，scale2和offset2用于Cb'分量，且scale3和offset3用于Cr'分量。应理解，这仅是实例。在其它实例中，相同的缩放和偏移值可用于每个色彩分量。
在其它实例中，每一色彩分量可与多个缩放和偏移参数相关联。举例来说，Cr或Cb色彩分量的色度值的实际分布可针对码字的不同部分而不同。作为一个实例，与中心码字(例如，码字512)下方相比，可在中心码字上方使用更多的唯一性码字。在此类实例中，调整单元210可经配置以在中心码字上方(例如，具有大于中心码字的值)应用针对色度值的一个缩放和偏移参数集，并且在中心码字下方(例如，具有小于中心码字的值)应用针对色度值的不同的缩放和偏移参数集。
如在以上实例中可见，调整单元210应用缩放和偏移DRA参数作为线性函数。如此，调整单元210不必要在色彩转换单元208进行色彩转换之后在目标色彩空间中应用DRA参数。这是因为色彩转换本身就是线性过程。如此，在其它实例中，调整单元210可在任何色彩转换过程之前将DRA参数应用于本机色彩空间(例如，RGB)中的视频数据。在此实例中，色彩转换单元208将在调整单元210应用DRA参数之后应用色彩转换。
在本发明的另一实例中，调整单元210可将DRA参数应用于目标色彩空间或本机色彩空间中，如下：
-Y”＝(scale1*(Y'-offsetY)+offset1)+offsetY；
-Cb”＝scale2*Cb'+offset2 (9)
-Cr”＝scale3*Cr'+offset3
在此实例中，参数scale1、scale2、scale3、offset1、offset2和offset3与上文所描述的相同的意义。参数offsetY是反映信号亮度的参数，且可等于Y'的均值。
在本发明的另一实例中，调整单元210可经配置以将DRA参数应用于除本机色彩空间或目标色彩空间以外的色彩空间中。一般来说，调整单元210可经配置以应用DRA参数，如下：
-X'＝scale1*X+offset1；
-Y'＝scale2*Y+offset2 (10)
-Z'＝scale3*Z+offset3
其中信号分量X、Y和Z是不同于目标色彩空间的色彩空间(例如，RGB或中间色彩空间)中的信号分量。
在本发明的其它实例中，调整单元210经配置以将线性传递函数应用于视频以执行DRA。此类传递函数不同于传递函数单元206为压缩动态范围所使用的传递函数。类似于上文定义的缩放和偏移术语，调整单元210应用的传递函数可用以扩增色彩值并将其中心定为目标色彩容器中的可用码字。应用传递函数执行DRA的实例展示如下：
-Y”＝TF2(Y')
-Cb”＝TF2(Cb')
-Cr”＝TF2(Cr')
项TF2表示由调整单元210应用的传递函数。
在本发明的另一实例中，调整单元210可经配置以在单个过程中与色彩转换单元208的色彩转换共同地应用DRA参数。也就是说，可组合调整单元210和色彩转换单元208的线性函数。在下文展示组合式应用的实例，其中f1和f2是RGB到YCbCr矩阵与DRA缩放因数的组合：
在本发明的另一实例中，在应用DRA参数之后，调整单元210可经配置以执行截割过程以防止视频数据具有在针对特定目标色彩容器规定的码字范围之外的值。在一些情况下，调整单元210应用的缩放和偏移参数可致使一些色彩分量值超过可允许的码字范围。在此情况下，调整单元210可经配置以将超过所述范围的分量值截割所述范围内的最大值。
DRA参数估计单元212可确定调整单元210应用的DRA参数。DRA参数估计单元212每隔多久更新DRA参数是灵活的。举例来说，DRA参数估计单元212可在时间层级上更新DRA参数。也就是说，可确定用于图片群组(GOP)或单个图片(帧)的新DRA参数。在此实例中，RGB本机CG视频数据200可为GOP或单个图片。在其它实例中，DRA参数估计单元212可在空间层级上(例如，在切片图块或块层级下)更新DRA参数。在此上下文中，视频数据块可为宏块、译码树单元(CTU)、译码单元，或任何其它大小和形状的块。块可为正方形、矩形或任何其它形状。相应地，DRA参数可用于更高效的时间和空间预测及译码。
在本发明的一个实例中，DRA参数估计单元212可基于RGB本机CG视频数据200的本机色域和目标色彩容器的色域的对应关系，导出DRA参数。举例来说，给出特定本机色域(例如，BT.709)和目标色彩容器的色域(例如，BT.2020)，DRA参数估计单元212可使用一组预定义规则来确定缩放和偏移值。
举例来说，假设本机色域和目标色彩容器以xy空间中的色彩元坐标和白色点坐标形式定义。在下文表2中展示此类用于BT.709和BT.2020的信息的一个实例。
表2-RGB色彩空间参数
在一个实例中，BT.2020是目标色彩容器的色域，且BT.709是本机色彩容器的色域。在此实例中，调整单元210将DRA参数应用于YCbCr目标色彩空间。DRA参数估计单元212可经配置以估计DRA参数并将其转发到调整单元210，如下：
scale1＝1； offset1＝0；
scale2＝1.0698； offset2＝0；
scale3＝2.1735； offset3＝0；
作为另一实例，其中BT.2020是目标色域，且P3是本机色域，并且DRA应用于YCbCr目标色彩空间中，则DRA参数估计单元212可经配置以估计DRA参数，如下：
scale1＝1； offset1＝0；
scale2＝1.0068； offset2＝0；
scale3＝1.7913； offset3＝0；
在上文的实例中，给出特定本机色域和特定目标色域，DRA参数估计单元212可经配置以通过查阅指示将使用的DRA参数的查找表来确定上文列出的缩放和偏移值。在其它实例中，DRA参数估计单元212可经配置以从本机色域和目标色域的原色和白色空间值(例如，如表2中所示)计算DRA参数。
举例来说，考虑原色坐标(xXt、yXt)规定目标(T)色彩容器，其中X表示R、G、B色彩分量：
并且原色坐标(xXn、yXn)规定本机(N)色域，其中X表示R、G、B色彩分量：
两个色域的白色点坐标等于whiteP＝(xW、yW)。DRA参数估计单元212可依据原色坐标到白色点之间的距离导出DRA的scale2和scale3参数。在下文给出此类估计的一个实例：
rdT＝sqrt((primeT(1,1)-whiteP(1,1))^2+(primeN(1,2)-whiteP(1,2))^2)
gdT＝sqrt((primeT(2,1)-whiteP(1,1))^2+(primeN(2,2)-whiteP(1,2))^2)
bdT＝sqrt((primeT(3,1)-whiteP(1,1))^2+(primeN(3,2)-whiteP(1,2))^2)
rdN＝sqrt((primeN(1,1)-whiteP(1,1))^2+(primeN(1,2)-whiteP(1,2))^2)
gdN＝sqrt((primeN(2,1)-whiteP(1,1))^2+(primeN(2,2)-whiteP(1,2))^2)
bdN＝sqrt((primeN(3,1)-whiteP(1,1))^2+(primeN(3,2)-whiteP(1,2))^2)
scale2＝bdT/bdN
scale3＝sqrt((rdT/rdN)^2+(gdT/gdN)^2)
在一些实例中，DRA参数估计单元212可经配置以通过从RGB本机CG视频数据200中色彩值的实际分布(且不是从本机色域的预定义原色值)确定primeN中的原色坐标来估计DRA参数。也就是说，DRA参数估计单元212可经配置以分析存在于RGB本机CG视频数据200中的实际色彩，并且在上文所描述的函数中使用从此类分析确定的原色值和白色点来计算DRA参数。上文定义的一些参数的近似值可能用作DRA以便于计算。例如，scale3＝2.1735可近似为scale3＝2，这允许在一些架构中更容易实施。
在本发明的其它实例中，DRA参数估计单元212可经配置以不仅基于目标色彩容器的色域而且基于目标色彩空间来确定DRA参数。分量值的实际值分布可因色彩空间不同而不同。举例来说，与具有不恒定照度的YCbCr色彩空间相比，色度值分布对于具有恒定照度的YCbCr色彩空间可为不同的。DRA参数估计单元212可使用不同色彩空间的色彩分布确定DRA参数。
在本发明的其它实例中，DRA参数估计单元212可经配置以导出DRA参数的值，以便使与预处理和/或编码视频数据相关联的某些成本函数降到最低。作为一个实例，DRA参数估计单元212可经配置以估计使在上文量化单元214引入的量化误差(例如，参见方程式(4))降到最低的DRA参数。DRA参数估计单元212可通过对已被应用不同组的DRA参数的视频数据执行量化误差测试，使此类误差降到最低。DRA参数估计单元212接着可选择产生最低量化误差的DRA参数。
在另一实例中，DRA参数估计单元212可选择使与调整单元210执行的DRA和视频编码器20执行的视频编码两者相关联的成本函数降到最低的DRA参数。举例来说，DRA参数估计单元212可执行DRA，并且用多个不同组的DRA参数对视频数据进行编码。DRA参数估计单元212接着可通过形成由DRA和视频编码产生的位率以及这两个有损过程引入的失真的加权和，计算每一DRA参数集的成本函数。DRA参数估计单元212接着可选择使成本函数降到最低的DRA参数集。
在上文用于DRA参数估计的技术中的每一者中，DRA参数估计单元212可使用关于每一分量的信息来分别确定所述分量的DRA参数。在其它实例中，DRA参数估计单元212可使用跨分量信息确定DRA参数。举例来说，导出的用于Cr分量的DRA参数可用以导出用于CB分量的DRA参数。
除了导出DRA参数之外，DRA参数估计单元212可经配置以在经编码位流中用信号发送DRA参数。DRA参数估计单元212可用信号发送直接指示DRA参数的一或多个语法元素，或可经配置以将一或多个语法元素提供到视频编码器20以进行信号发送。可在位流中用信号发送所述参数的此类语法元素，使得视频解码器30和/或逆DRA单元31可执行DRA单元19的过程的逆，从而重构其本机色彩容器中的视频数据。在下文论述用于用信号发送DRA参数的实例技术。
在一个实例中，DRA参数估计单元212可在经编码视频位流中作为元数据、在补充增强信息(SEI)消息中、在视频可用信息(VUI)中、在视频参数集(VPS)中、在序列参数集(SPS)中、在图片参数集合中、在切片标头中、在CTU标头中，或在任何其它适用于指示针对视频数据的大小(例如，GOP、图片、块、宏块、CTU等)的DRA参数的语法结构中，用信号发送一或多个语法元素。
在一些实例中，一或多个语法元素显式地指示DRA参数。举例来说，一或多个语法元素可为用于DRA的各种缩放和偏移值。在其它实例中，一或多个语法元素可为到包含用于DRA的缩放和偏移值的查找表中的一或多个索引。在再一实例中，一或多个语法元素可为到规定用于DRA的线性传递函数的查找表中的索引。
在其它实例中，不显式地用信号发送DRA参数，而是，DRA单元19和逆DRA单元31两者经配置以使用相同的预定义过程使用可从位流辨别的视频数据的相同信息和/或特性导出DRA参数。作为一个实例，逆DRA单元31可经配置以指示视频数据的本机色彩容器以及经编码位流中的经编码视频数据的目标色彩容器。逆DRA单元31接着可经配置以使用与上文所定义的相同的过程从此类信息导出DRA参数。在一些实例中，在语法结构中提供识别本机和目标色彩容器的一或多个语法元素。此类语法元素可显式地指示色彩容器，或可索引到查找表。在另一实例中，DRA单元19可经配置以用信号发送指示色彩元的XY值和特定色彩容器的白色点的一或多个语法元素。在另一实例中，DRA单元19可经配置以基于DRA参数估计单元212执行的分析，用信号发送指示视频数据中色彩元和实际色彩值(内容原色和内容白色点)的白色点的XY值的一或多个语法元素。
作为一个实例，可能用信号发送含有内容中的色彩的最小色域的色彩元，且在视频解码器30和/或逆DRA单元31处，使用容器原色和内容原色两者导出DRA参数。在一个实例中，如上文所描述，可使用R、G和B的x和y分量用信号发送内容原色。在另一实例中，可用信号发送内容原色作为两个已知原色集之间的比率。举例来说，可用信号发送内容原色，作为BT.709原色和BT.2020原色之间的线性位置：xr_content＝alfar*xr_bt709+(1-alfar)*xr_bt2020(对于G和B分量，具有alfag和alfab的方程式是类似的)，其中参数alfar规定两个已知主要集之间的比率。在一些实例中，视频编码器20和/或视频解码器30可使用用信号发送的和/或导出的DRA参数以促进用于HDR/WCG视频数据的译码的基于加权预测的技术。
在使用加权预测的视频译码方案中，从参考图片Sr的样本(用于单向预测)以及权重(Wwp)和偏移(Owp)预测目前经译码图片Sc的样本，从而产生经预测样本Sp：
Sp＝Sr·*Wwp+Owp。
在使用DRA的一些实例中，可通过DRA使用不同参数(即，用于当前图片的{scale1cur、offset1cur}以及用于参考图片的{scale1ref、offset1ref})来处理参考样本和目前经译码图片的样本。在此类实施例中，可从DRA导出加权预测的参数，例如：
Wwp＝scale1cur/scale1ref
Owp＝offset1cur-offset1ref
在调整单元210应用DRA参数之后，DRA单元19接着可使用量化单元214量化视频数据。量化单元214可以与上文参考图4所描述的相同的方式操作。在量化之后，现在在HDR'数据316的目标色彩容器的目标色彩空间和目标色域中调整视频数据。接着可将HDR'数据316发送到视频编码器20以用于压缩。
图9是说明根据本发明的技术的实例HDR/WCG逆转换设备的框图。如图9中所示，逆DRA单元31可经配置以应用图8的DRA单元19执行的技术的逆。在其它实例中，逆DRA单元31的技术可并入于视频解码器30中，并且由视频解码器30执行。
在一个实例中，视频解码器30可经配置以解码由视频编码器20编码的视频数据。接着将经解码视频数据(目标色彩容器中的HDR'数据316)转发到逆DRA单元31。逆量化单元314对HDR'数据316执行逆量化过程，以使图8的量化单元214执行的量化过程逆向。
视频解码器30还可经配置以解码图8的DRA参数估计单元212产生的一或多个语法元素中的任一者并将其发送到逆DRA单元13的DRA参数推导单元312。如上文所描述，DRA参数推导单元312可经配置以基于一或多个语法元素确定DRA参数。在一些实例中，一或多个语法元素显式地指示DRA参数。在其它实例中，DRA参数推导单元312经配置以使用与图8的DRA参数估计单元212所使用的相同的技术导出DRA参数。
将DRA参数推导单元312导出的参数发送到逆调整单元310。逆调整单元310使用DRA参数执行调整单元210执行的线性DRA调整的逆。逆调整单元310可应用上文针对调整单元210所述的调整技术中的任一者的逆。另外，如同调整单元210一样，逆调整单元310可在任何逆色彩转换之前或之后应用逆DRA。如此，逆调整单元310可在目标色彩容器或本机色彩容器中的视频数据上应用DRA参数。
逆色彩转换单元308将视频数据从目标色彩空间(例如，YCbCr)转换到本机色彩空间(例如，RGB)。逆传递函数306接着应用传递函数206应用的传递函数的逆，以解压缩视频数据的动态范围。所得的视频数据(RGB目标CG 304)仍在目标色域中，但现在处于本机动态范围和本机色彩空间中。接下来，逆CG转换器302将RGB目标CG 304转换为本机色域，以重构RGB本机CG 300。
在一些实例中，逆DRA单元31可采用额外的后处理技术。应用DRA可将视频置于其实际本机色域外部。量化单元214和逆量化单元314执行的量化步骤以及调整单元210和逆调整单元310执行的向上和向下取样技术可促使本机色彩容器中所得的色彩值在本机色域外部。当已知本机色域(或如上文所描述，在经信号发送的情况下，实际最小内容原色)时，则作为用于DRA的后处理，额外过程可应用于RGB本机CG视频数据304以将色彩值(例如，RGB或Cb和Cr)变换回预期色域。在其它实例中，可在量化之后或在DRA应用程序之后应用此类后处理。
图10是说明可实施本发明的技术的视频编码器20的实例的框图。视频编码器20可执行对已经DRA单元19处理的目标色彩容器中的视频切片内的视频块的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的译码模式中的任一者。
如图10中所示，视频编码器20接收待编码视频帧内的当前视频块。在图10的实例中，视频编码器20包含模式选择单元40、视频数据存储器41、经解码图片缓冲器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46和分割单元48。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60和求和器62。解块滤波器(图10中未示出)也可包含到滤波器块的边界以从经重构视频去除成块效应假影。在需要时，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器外，还可使用额外滤波器(环路中或环路后)。为简洁起见，未示出此类滤波器，但是必要时，此类滤波器可以对求和器50(作为环路内滤波器)的输出进行滤波。
视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器41中的视频数据。经解码图片缓冲器64可为存储供视频编码器20在例如以帧内或帧间译码模式对视频数据进行编码时使用的参考视频数据的参考图片存储器。视频数据存储器41和经解码图片缓冲器64可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器41和经解码图片缓冲器64可由相同的存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器41可与视频编码器20的其它组件在芯片上，或相对于那些组件在芯片外。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可以划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行对所接收视频块的帧间预测性译码，以提供时间预测。帧内预测处理单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码，以提供空间预测。视频编码器20可执行例如多个译码遍次，以针对每一视频数据块选择适当的译码模式。
此外，分割单元48可以基于对前述译码遍次中的前述分割方案的评估，将视频数据块分割成子块。举例来说，分割单元48可起初将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)，将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可以包含一或多个PU和一或多个TU。
模式选择单元40可例如基于误差结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内或帧间译码块提供给求和器50从而产生残差块数据以及提供给求和器62以重构经编码块以用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。
运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。运动估计单元42执行的运动估计是产生运动向量的过程，其估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU关于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于经解码图片缓冲器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可从第一参考图片列表(列表0)或第二参考图片列表(列表1)选出，其中每一者识别存储在经解码图片缓冲器64中的一或多个参考图片。运动估计单元42将所计算出的运动向量发送到熵编码单元56和运动补偿单元44。
运动补偿单元44执行的运动补偿可涉及基于运动估计单元42确定的运动向量来提取或产生预测性区块。再次，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测性块。如下文所论述，求和器50通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残差视频块。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量和明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
如上文所描述，作为运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测处理单元46可对当前块进行帧内预测。确切地说，帧内预测处理单元46可确定将帧内预测模式用以对当前块进行编码。在一些实例中，帧内预测处理单元46可例如在独立的编码遍次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从所测试的模式选择将使用的适当帧内预测模式。
举例来说，帧内预测处理单元46可使用速率失真分析计算各种经测试帧内预测模式的速率失真值，并在所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位速率(也就是说，位数目)。帧内预测处理单元46可根据用于各种经编码块的失真和速率来计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式后，帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20在所传输的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)、对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表用于所述上下文中的每一者的指示。
视频编码器20通过从正被译码的原始视频块减去来自模式选择单元40的预测数据来形成残差视频块。求和器50表示执行此减法运算的一或多个组分。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换的变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数块。所述变换可将残差信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得的变换系数发送到量化单元54。
量化单元54对变换系数进行量化以进一步减小位速率。量化过程可以减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。在一些实例中，量化单元54接着可执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化后，熵编码单元56对经量化变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码来说，上下文可以基于相邻块。在熵编码单元56进行熵译码之后，可以将经编码位流传输到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后的传输或检索。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换以在像素域中重构残差块(例如)以供稍后用作参考块。运动补偿单元44可通过将残差块添加到经解码图片缓冲器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残差块以计算子整数像素值来用于运动估计。求和器62将经重构残差块添加到运动补偿单元44产生的运动补偿预测块，从而产生经重构视频块以用于存储在经解码图片缓冲器64中。运动估计单元42和运动补偿单元44可将所述经重构视频块用作参考块以对后续视频帧中的块进行帧间译码。
图11是说明可实施本发明的技术的视频解码器30的实例的框图。确切地说，如上文所描述，视频解码器30可将视频数据解码到目标色彩容器中，逆DRA单元31接着可处理所述目标色彩容器。在图11的实例中，视频解码器30包含熵解码单元70、视频数据存储器71、运动补偿单元72、帧内预测处理单元74、逆量化单元76、逆变换处理单元78、经解码图片缓冲器82和求和器80。视频解码器30可在一些实例中执行与相对于视频编码器20描述的编码遍次(图10)大体上互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测处理单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
视频数据存储器71可存储待由视频解码器30的组件进行解码的视频数据，例如经编码视频位流。可例如从计算机可读媒体16(例如，从本地视频源，例如相机)经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体，获得存储于视频数据存储器71中的视频数据。视频数据存储器71可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器82可为存储供视频解码器30例如以帧内或帧间译码模式对视频数据进行解码时使用的参考视频数据的参考图片存储器。视频数据存储器71和经解码图片缓冲器82可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器71和经解码图片缓冲器82可由相同的存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器71可与视频解码器30的其它组件在芯片上，或相对于那些组件在芯片外。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符以及其它语法元素。熵解码单元70将运动向量以及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测处理单元74可以基于用信号发送的帧内预测模式以及来自当前帧或图片的先前经解码块的数据，产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素，产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于经解码图片缓冲器82中的参考图片，使用默认构建技术，构建参考图片列表(列表0和列表1)。运动补偿单元72通过解析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收的语法元素中的一些确定用以对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多者的构建信息、用于切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，以及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可以基于内插滤波器执行内插。运动补偿单元72可以使用视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据所接收的语法元素来确定视频编码器20所使用的内插滤波器，并使用所述内插滤波器产生预测性块。
逆量化单元76对提供于位流中并且经熵解码单元70解码的经量化变换系数进行逆量化，即解量化。逆量化过程可包含将视频解码器30计算的量化参数QPY用于视频切片中的每一视频块，以确定量化的程度，以及同样地，应该应用的逆量化的程度。逆变换处理单元78将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便产生像素域中的残差块。
在运动补偿单元72基于运动向量和其它语法元素产生用于当前视频块的预测性块之后，视频解码器30通过对来自逆变换处理单元78的残差块与运动补偿单元72产生的对应预测性块求和来形成经解码视频块。求和器80表示执行此求和运算的一或多个组件。视需要，还可应用解块滤波器以对经解码块进行滤波，以便去除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，经解码图片缓冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。
图12是说明根据本发明的技术的实例HDR/WCG转换过程的流程图。图1的源装置12(包含DRA单元19和/或视频编码器20中的一或多者)可执行图12的技术。
在本发明的一个实例中，源装置12可经配置以：接收与第一色彩容器有关的视频数据，所述与第一色彩容器有关的视频数据是由第一色域和第一色彩空间定义(1200)；导出一或多个动态范围调整参数，所述动态范围调整参数是基于与第一色彩容器有关的视频数据的特性(1210)；以及根据所述一或多个动态范围调整参数，对视频数据执行动态范围调整(1220)。在图12的实例中，视频数据是在视频编码之前输入的视频数据，其中第一色彩容器是本机色彩容器，且其中第二色彩容器是目标色彩容器。在一个实例中，视频数据是以下各项中的一者：视频数据的图片群组、视频数据的图片、视频数据的宏块、视频数据块，或视频数据的译码单元。
在本发明的一个实例中，视频数据的特性包含第一色域。在一个实例中，源装置12经配置以基于第一色彩容器的第一色域与第二色彩容器的第二色域的对应关系导出一或多个动态范围调整参数，所述第二色彩容器是由第二色域和第二色彩空间定义。
在本发明的另一实例中，源装置12经配置以在经编码视频位流中依以下各项中的一或多者用信号发送指示第一色域和第二色彩容器的一或多个语法元素：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
在本发明的另一实例中，源装置12经配置以在经编码视频位流中依以下各项中的一或多者用信号发送显式地指示动态范围调整参数的一或多个语法元素：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
在本发明的另一实例中，视频数据的特性包含亮度信息，且源装置12经配置以基于视频数据的亮度信息导出一或多个动态范围调整参数。在本发明的另一实例中，视频数据的特性包含色彩值，且源装置12经配置以基于视频数据的色彩值导出一或多个动态范围调整参数。
在本发明的另一实例中，源装置12经配置以通过使与对视频数据进行量化相关联的量化误差或与对视频数据进行编码相关联的成本函数中的一者降到最低，来导出一或多个动态范围调整参数。
在本发明的另一实例中，一或多个动态范围调整参数包含用于视频数据的每一色彩分量的缩放和偏移，且源装置12进一步经配置以根据用于每一相应色彩分量的缩放和偏移的函数来调整视频数据的每一色彩分量。
在本发明的另一实例中，一或多个动态范围参数包含第一传递函数，且源装置12进一步经配置以将第一传递函数应用于视频数据。
图13是说明根据本发明的技术的实例HDR/WCG逆转换过程的流程图。图1的目的地装置14(包含逆DRA单元31和/或视频解码器30中的一或多者)可执行图13的技术。
在本发明的一个实例中，目的地装置14可经配置以：接收与第一色彩容器有关的视频数据，所述与第一色彩容器有关的视频数据是由第一色域和第一色彩空间定义(1300)；导出一或多个动态范围调整参数，所述动态范围调整参数是基于与第一色彩容器有关的视频数据的特性(1310)；以及根据所述一或多个动态范围调整参数，对视频数据执行动态范围调整(1320)。在图13的实例中，视频数据是经解码视频数据，其中第一色彩容器是目标色彩容器，且其中第二色彩容器是本机色彩容器。在一个实例中，视频数据是以下各项中的一者：视频数据的图片群组、视频数据的图片、视频数据的宏块、视频数据块，或视频数据的译码单元。
在本发明的一个实例中，视频数据的特性包含第一色域，且目的地装置14可经配置以基于第一色彩容器的第一色域与第二色彩容器的第二色域的对应关系导出一或多个动态范围调整参数，所述第二色彩容器是由第二色域和第二色彩空间定义。
在本发明的另一实例中，目的地装置14可经配置以接收指示第一色域和第二色彩容器的一或多个语法元素，并且基于所接收的一或多个语法元素导出一或多个动态范围调整参数。在本发明的另一实例中，目的地装置14可经配置以针对目前经译码图片和参考图片从一或多个动态范围调整参数导出加权预测的参数。在本发明的另一实例中，目的地装置14可经配置以接收显式地指示动态范围调整参数的一或多个语法元素。
在本发明的另一实例中，视频数据的特性包含亮度信息，且目的地装置14经配置以基于视频数据的亮度信息导出一或多个动态范围调整参数。在本发明的另一实例中，视频数据的特性包含色彩值，且目的地装置14经配置以基于视频数据的色彩值导出一或多个动态范围调整参数。
在本发明的另一实例中，一或多个动态范围调整参数包含用于视频数据的每一色彩分量的缩放和偏移，且目的地装置14进一步经配置以根据用于每一相应色彩分量的缩放和偏移的函数调整视频数据的每一色彩分量。
在本发明的另一实例中，一或多个动态范围参数包含第一传递函数，目的地装置14进一步经配置以将所述第一传递函数应用于视频数据。
出于说明的目的，已相对于HEVC标准的扩展描述了本发明的某些方面。然而，本发明中描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述，视频译码器可以指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，在适用时，视频译码可指视频编码或视频解码。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。
在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体的有形媒体，通信媒体包含例如根据通信协议促进将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用以存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波的无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合式编码解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件和/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种示例。这些和其它实例在所附权利要求书的范围内。

Claims (46)

1.一种处理视频数据的方法，所述方法包括：
接收与第一色彩容器有关的视频数据，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；
导出一或多个动态范围调整参数，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和
根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。
2.根据权利要求1所述的方法，其中所述视频数据的所述特性包含所述第一色域，所述方法进一步包括：
基于所述第一色彩容器的所述第一色域与第二色彩容器的第二色域的对应关系导出所述一或多个动态范围调整参数，所述第二色彩容器是由所述第二色域和第二色彩空间定义。
3.根据权利要求2所述的方法，其中所述视频数据是在视频编码之前输入的视频数据，其中所述第一色彩容器是本机色彩容器，且其中所述第二色彩容器是目标色彩容器。
4.根据权利要求3所述的方法，其进一步包括：
在经编码视频位流中依以下各项中的一或多者用信号发送指示所述第一色域和所述第二色彩容器的一或多个语法元素：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
5.根据权利要求2所述的方法，其中所述视频数据是经解码视频数据，其中所述第一色彩容器是目标色彩容器，且其中所述第二色彩容器是本机色彩容器。
6.根据权利要求5所述的方法，其进一步包括：
接收指示所述第一色域和所述第二色彩容器的一或多个语法元素；和
基于所接收的所述一或多个语法元素导出所述一或多个动态范围调整参数。
7.根据权利要求6所述的方法，其进一步包括：
针对目前经译码图片和参考图片从所述一或多个动态范围调整参数导出加权预测的参数。
8.根据权利要求2所述的方法，其进一步包括：
在经编码视频位流中依以下各项中的一或多者用信号发送显式地指示所述动态范围调整参数的一或多个语法元素：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
9.根据权利要求2所述的方法，其中导出所述一或多个动态范围调整参数包括：
接收显式地指示所述动态范围调整参数的一或多个语法元素。
10.根据权利要求1所述的方法，其中所述视频数据的所述特性包含亮度信息，所述方法进一步包括：
基于所述视频数据的所述亮度信息导出所述一或多个动态范围调整参数。
11.根据权利要求1所述的方法，其中所述视频数据的所述特性包含色彩值，所述方法进一步包括：
基于所述视频数据的所述色彩值导出所述一或多个动态范围调整参数。
12.根据权利要求1所述的方法，其进一步包括：
通过使与对所述视频数据进行量化相关联的量化误差或与对所述视频数据进行编码相关联的成本函数中的一者降到最低，来导出所述一或多个动态范围调整参数。
13.根据权利要求1所述的方法，其中所述一或多个动态范围调整参数包含用于所述视频数据的每一色彩分量的缩放和偏移，所述方法进一步包括：
根据用于每一相应色彩分量的所述缩放和所述偏移的函数来调整所述视频数据的每一色彩分量。
14.根据权利要求1所述的方法，其中所述一或多个动态范围参数包含第一传递函数，所述方法进一步包括：
将所述第一传递函数应用于所述视频数据。
15.根据权利要求1所述的方法，其中所述视频数据是以下各项中的一者：视频数据的图片群组、视频数据的图片、视频数据的宏块、视频数据块，或视频数据的译码单元。
16.一种经配置以处理视频数据的设备，所述设备包括：
存储器，其经配置以存储所述视频数据；和
一或多个处理器，其经配置以：
接收与第一色彩容器有关的所述视频数据，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；
导出一或多个动态范围调整参数，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和
根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。
17.根据权利要求16所述的设备，其中所述视频数据的所述特性包含所述第一色域，且其中所述一或多个处理器进一步经配置以：
基于所述第一色彩容器的所述第一色域与第二色彩容器的第二色域的对应关系导出所述一或多个动态范围调整参数，所述第二色彩容器是由所述第二色域和第二色彩空间定义。
18.根据权利要求17所述的设备，其中所述视频数据是在视频编码之前输入的视频数据，其中所述第一色彩容器是本机色彩容器，且其中所述第二色彩容器是目标色彩容器。
19.根据权利要求18所述的设备，其中所述一或多个处理器进一步经配置以：
在经编码视频位流中依以下各项中的一或多者用信号发送指示所述第一色域和所述第二色彩容器的一或多个语法元素：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
20.根据权利要求17所述的设备，其中所述视频数据是经解码视频数据，其中所述第一色彩容器是目标色彩容器，且其中所述第二色彩容器是本机色彩容器。
21.根据权利要求20所述的设备，其中所述一或多个处理器进一步经配置以：
接收指示所述第一色域和所述第二色彩容器的一或多个语法元素；和
基于所接收的所述一或多个语法元素导出所述一或多个动态范围调整参数。
22.根据权利要求21所述的设备，其中所述一或多个处理器进一步经配置以：
针对目前经译码图片和参考图片从所述一或多个动态范围调整参数导出加权预测的参数。
23.根据权利要求17所述的设备，其中所述一或多个处理器进一步经配置以：
在经编码视频位流中依以下各项中的一或多者用信号发送显式地指示所述动态范围调整参数的一或多个语法元素：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
24.根据权利要求17所述的设备，其中所述一或多个处理器进一步经配置以：
接收显式地指示所述动态范围调整参数的一或多个语法元素。
25.根据权利要求16所述的设备其中所述视频数据的所述特性包含亮度信息，且其中所述一或多个处理器进一步经配置以：
基于所述视频数据的所述亮度信息导出所述一或多个动态范围调整参数。
26.根据权利要求16所述的设备，其中所述视频数据的所述特性包含色彩值，且其中所述一或多个处理器进一步经配置以：
基于所述视频数据的所述色彩值导出所述一或多个动态范围调整参数。
27.根据权利要求16所述的设备，其中所述一或多个处理器进一步经配置以：
通过使与对所述视频数据进行量化相关联的量化误差或与对所述视频数据进行编码相关联的成本函数中的一者降到最低，来导出所述一或多个动态范围调整参数。
28.根据权利要求16所述的设备，其中所述一或多个动态范围调整参数包含用于所述视频数据的每一色彩分量的缩放和偏移，且其中所述一或多个处理器进一步经配置以：
根据用于每一相应色彩分量的所述缩放和所述偏移的函数来调整所述视频数据的每一色彩分量。
29.根据权利要求16所述的设备，其中所述一或多个动态范围参数包含第一传递函数，且其中所述一或多个处理器进一步经配置以：
将所述第一传递函数应用于所述视频数据。
30.根据权利要求16所述的设备，其中所述视频数据是以下各项中的一者：视频数据的图片群组、视频数据的图片、视频数据的宏块、视频数据块，或视频数据的译码单元。
31.一种经配置以处理视频数据的设备，所述设备包括：
用于接收与第一色彩容器有关的视频数据的装置，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；
用于导出一或多个动态范围调整参数的装置，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和
用于根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整的装置。
32.根据权利要求31所述的设备，其中所述视频数据的所述特性包含所述第一色域，所述设备进一步包括：
用于基于所述第一色彩容器的所述第一色域与第二色彩容器的第二色域的对应关系导出所述一或多个动态范围调整参数的装置，所述第二色彩容器是由所述第二色域和第二色彩空间定义。
33.根据权利要求32所述的设备，其中所述视频数据是在视频编码之前输入的视频数据，其中所述第一色彩容器是本机色彩容器，且其中所述第二色彩容器是目标色彩容器。
34.根据权利要求33所述的设备，其进一步包括：
用于在经编码视频位流中依以下各项中的一或多者用信号发送指示所述第一色域和所述第二色彩容器的一或多个语法元素的装置：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
35.根据权利要求32所述的设备，其中所述视频数据是经解码视频数据，其中所述第一色彩容器是目标色彩容器，且其中所述第二色彩容器是本机色彩容器。
36.根据权利要求35所述的设备，其进一步包括：
用于接收指示所述第一色域和所述第二色彩容器的一或多个语法元素的装置；和
用于基于所接收的所述一或多个语法元素导出所述一或多个动态范围调整参数的装置。
37.根据权利要求36所述的设备，其进一步包括：
用于针对目前经译码图片和参考图片从所述一或多个动态范围调整参数导出加权预测的参数的装置。
38.根据权利要求32所述的设备，其进一步包括：
用于在经编码视频位流中依以下各项中的一或多者用信号发送显式地指示所述动态范围调整参数的一或多个语法元素的装置：元数据、补充增强信息消息、视频可用信息、视频参数集、序列参数集、图片参数、切片标头或CTU标头。
39.根据权利要求32所述的设备，其中所述用于导出所述一或多个动态范围调整参数的装置包括：
用于接收显式地指示所述动态范围调整参数的一或多个语法元素的装置。
40.根据权利要求31所述的设备，其中所述视频数据的所述特性包含亮度信息，所述设备进一步包括：
用于基于所述视频数据的所述亮度信息导出所述一或多个动态范围调整参数的装置。
41.根据权利要求31所述的设备，其中所述视频数据的所述特性包含色彩值，所述设备进一步包括：
用于基于所述视频数据的所述色彩值导出所述一或多个动态范围调整参数的装置。
42.根据权利要求31所述的设备，其进一步包括：
用于通过使与对所述视频数据进行量化相关联的量化误差或与对所述视频数据进行编码相关联的成本函数中的一者降到最低，来导出所述一或多个动态范围调整参数的装置。
43.根据权利要求31所述的设备，其中所述一或多个动态范围调整参数包含用于所述视频数据的每一色彩分量的缩放和偏移，所述设备进一步包括：
用于根据用于每一相应色彩分量的所述缩放和所述偏移的函数来调整所述视频数据的每一色彩分量的装置。
44.根据权利要求31所述的设备，其中所述一或多个动态范围参数包含第一传递函数，所述设备进一步包括：
用于将所述第一传递函数应用于所述视频数据的装置。
45.根据权利要求31所述的设备，其中所述视频数据是以下各项中的一者：视频数据的图片群组、视频数据的图片、视频数据的宏块、视频数据块，或视频数据的译码单元。
46.一种计算机可读存储媒体，其存储在被执行时导致一或多个处理器进行以下操作的指令：
接收与第一色彩容器有关的视频数据，与所述第一色彩容器有关的所述视频数据是由第一色域和第一色彩空间定义；
导出一或多个动态范围调整参数，所述动态范围调整参数是基于与所述第一色彩容器有关的所述视频数据的特性；和
根据所述一或多个动态范围调整参数对所述视频数据执行动态范围调整。
CN201680021281.6A 2015-04-17 2016-04-15 用于高动态范围和宽色域视频译码的动态范围调整 Pending CN107439013A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562149446P 2015-04-17 2015-04-17
US62/149,446 2015-04-17
US15/099,256 US20160309154A1 (en) 2015-04-17 2016-04-14 Dynamic range adjustment for high dynamic range and wide color gamut video coding
US15/099,256 2016-04-14
PCT/US2016/027831 WO2016168652A1 (en) 2015-04-17 2016-04-15 Dynamic range adjustment for high dynamic range and wide color gamut video coding

Publications (1)

Publication Number Publication Date
CN107439013A true CN107439013A (zh) 2017-12-05

Family

ID=55863225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680021281.6A Pending CN107439013A (zh) 2015-04-17 2016-04-15 用于高动态范围和宽色域视频译码的动态范围调整

Country Status (15)

Country Link
US (1) US20160309154A1 (zh)
EP (1) EP3286920A1 (zh)
JP (1) JP2018515018A (zh)
KR (1) KR20170139016A (zh)
CN (1) CN107439013A (zh)
AU (1) AU2016249261A1 (zh)
BR (1) BR112017022248A2 (zh)
CA (1) CA2979075A1 (zh)
CL (1) CL2017002539A1 (zh)
CO (1) CO2017010504A2 (zh)
MX (1) MX370172B (zh)
PH (1) PH12017501656A1 (zh)
RU (1) RU2701961C2 (zh)
SG (1) SG11201707212UA (zh)
WO (1) WO2016168652A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261442A (zh) * 2020-10-19 2021-01-22 上海网达软件股份有限公司 一种用于视频hdr与sdr实时转码的方法及系统
CN112868242A (zh) * 2018-10-31 2021-05-28 超威半导体公司 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备
CN115714866A (zh) * 2019-11-01 2023-02-24 北京达佳互联信息技术有限公司 残差和系数编解码的方法和装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079137B (zh) * 2014-09-26 2019-08-13 杜比实验室特许公司 感知量化视频内容的编码和解码
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
JP2018525905A (ja) * 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーＡｒｒｉｓ Ｅｎｔｅｒｐｒｉｓｅｓ Ｌｌｃ 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
JP6986670B2 (ja) 2015-09-11 2021-12-22 パナソニックＩｐマネジメント株式会社 映像受信方法及び映像受信装置
KR20240108546A (ko) * 2015-09-11 2024-07-09 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
EP3349474A4 (en) * 2015-09-11 2018-07-25 Panasonic Intellectual Property Management Co., Ltd. Video reception method, video transmission method, video reception apparatus, and video transmission apparatus
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) * 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
WO2017135673A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US11228770B2 (en) 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
CN107995497B (zh) * 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6822123B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822121B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822122B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
CN108737877B (zh) 2017-04-21 2020-06-02 华为技术有限公司 图像处理的方法、装置和终端设备
US9986200B1 (en) * 2017-05-11 2018-05-29 Novatek Microelectronics Corp. Method and video conversion system of updating video setting
US11252401B2 (en) * 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
EP3477946A1 (en) 2017-10-31 2019-05-01 Thomson Licensing Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image
EP3484137A1 (en) 2017-11-09 2019-05-15 Thomson Licensing Method and device for generating a second image from a first image
US10681358B2 (en) 2017-12-19 2020-06-09 Qualcomm Incorporated Quantization parameter control for video coding with joined pixel/transform based quantization
US11153579B2 (en) * 2018-03-23 2021-10-19 Qualcomm Incorporated Deriving dynamic range adjustment (DRA) parameters for video coding
US11303912B2 (en) * 2018-04-18 2022-04-12 Qualcomm Incorporated Decoded picture buffer management and dynamic range adjustment
CN108882028B (zh) 2018-07-05 2019-06-14 华为技术有限公司 视频信号的处理方法及装置
CN108900823B (zh) 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
US10630867B2 (en) 2018-09-17 2020-04-21 Samsung Electronics Co., Ltd. Perceptual hue preserved color-gamut transferring in non-uniform CIE-1931 color space
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11348553B2 (en) 2019-02-11 2022-05-31 Samsung Electronics Co., Ltd. Color gamut mapping in the CIE 1931 color space
US11463737B2 (en) * 2020-02-21 2022-10-04 Qualcomm Incorporated Signaling of dynamic range adjustment parameters for decoded picture buffer management and dynamic range
US11558616B2 (en) * 2020-03-05 2023-01-17 Qualcomm Incorporated Methods for quantization parameter control for video coding with joined pixel/transform based quantization
WO2024078887A1 (en) * 2022-10-11 2024-04-18 Interdigital Ce Patent Holdings, Sas Method for reducing a quantization effect in a color gamut modification process applied to a video content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335439A1 (en) * 2012-06-18 2013-12-19 Samsung Display Co., Ltd. System and method for converting color gamut
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CN104365105A (zh) * 2012-06-01 2015-02-18 高通股份有限公司 视频译码中的外部图片
CN104380739A (zh) * 2013-04-05 2015-02-25 索尼公司 图像处理设备和图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2643531B1 (fr) * 1989-02-21 1996-04-26 Thomson Csf Procede et dispositif de compression de l'information destine au decodage compatible d'une famille de signaux de television de resolutions croissantes
US5528339A (en) * 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
RU2504011C2 (ru) * 2009-03-13 2014-01-10 Долби Лабораторис Лайсэнзин Корпорейшн Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой
KR101579831B1 (ko) * 2011-10-20 2015-12-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 등화를 위한 방법 및 시스템
JP2014033273A (ja) * 2012-08-01 2014-02-20 Nikon Corp 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法
KR101632598B1 (ko) * 2013-01-02 2016-06-22 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 동적 범위를 갖는 초고화질 비디오 신호들에 대한 하위 호환가능한 코딩
JP2014239277A (ja) * 2013-06-06 2014-12-18 株式会社リコー プロファイル検索システム、画像処理システム、検索方法およびプログラム
GB2516223A (en) * 2013-07-09 2015-01-21 Nokia Corp Method and apparatus for video coding and decoding
TWI646828B (zh) * 2013-09-03 2019-01-01 日商新力股份有限公司 解碼裝置及解碼方法、以及編碼裝置及編碼方法
US10390027B2 (en) * 2015-01-30 2019-08-20 Interdigital Vc Holdings, Inc. Method and apparatus of encoding and decoding a color picture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104365105A (zh) * 2012-06-01 2015-02-18 高通股份有限公司 视频译码中的外部图片
US20130335439A1 (en) * 2012-06-18 2013-12-19 Samsung Display Co., Ltd. System and method for converting color gamut
CN104380739A (zh) * 2013-04-05 2015-02-25 索尼公司 图像处理设备和图像处理方法
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112868242A (zh) * 2018-10-31 2021-05-28 超威半导体公司 用于内联到硬件编码器和解码器的hdr硬件处理器的方法和设备
CN115714866A (zh) * 2019-11-01 2023-02-24 北京达佳互联信息技术有限公司 残差和系数编解码的方法和装置
CN112261442A (zh) * 2020-10-19 2021-01-22 上海网达软件股份有限公司 一种用于视频hdr与sdr实时转码的方法及系统

Also Published As

Publication number Publication date
EP3286920A1 (en) 2018-02-28
MX2017013255A (es) 2018-02-09
SG11201707212UA (en) 2017-11-29
BR112017022248A2 (pt) 2018-07-10
CO2017010504A2 (es) 2017-10-20
CL2017002539A1 (es) 2018-04-13
WO2016168652A1 (en) 2016-10-20
RU2017134677A (ru) 2019-04-09
US20160309154A1 (en) 2016-10-20
CA2979075A1 (en) 2016-10-20
KR20170139016A (ko) 2017-12-18
RU2017134677A3 (zh) 2019-07-26
AU2016249261A1 (en) 2017-10-05
PH12017501656A1 (en) 2018-03-12
JP2018515018A (ja) 2018-06-07
MX370172B (es) 2019-12-04
RU2701961C2 (ru) 2019-10-02

Similar Documents

Publication Publication Date Title
CN107439013A (zh) 用于高动态范围和宽色域视频译码的动态范围调整
CN107211124B (zh) 用于译码视频数据的方法、装置和计算机可读存储媒体
CN105723707B (zh) 用于视频译码的色彩残差预测
CN105493507B (zh) 用于帧内块复制的残余预测
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN106105201B (zh) 使用像素距离的解块滤波
CN105960802B (zh) 切换色彩空间时对编码和解码的调整
CN105308959B (zh) 用于视频译码的自适应颜色变换
CN106797465B (zh) 一种解码视频数据的方法及装置
CN105379266B (zh) 停用帧内预测滤波
CN108028936A (zh) 视频译码中成分的范围调整的固定点实施
CN105637866B (zh) 自适应色彩分量间残差预测
CN105532007B (zh) 在视频译码中用于非亮度分量的自适应解块滤波
CN104303501B (zh) 用于视频译码的量化矩阵和解块滤波器
CN105659595B (zh) 多层视频译码中的基于三维查找表的色域可缩放性
CN110100439A (zh) 用于视频译码的帧内预测技术
CN105814893B (zh) 在多层视频译码中信息用于色域可扩展性的3d查找表的发信分区
CN109155848A (zh) 用于高动态范围及宽色域视频译码的环路内样本处理
CN107710758A (zh) 针对视频译码处理高动态范围及广色域视频数据
CN108028935A (zh) 用于高动态范围及广色域视频译码的补充增强信息(sei)消息
CN109643531A (zh) 具有反馈信道的色域自适应
CN110100436A (zh) 使用导出色度模式译码视频数据
CN109716765A (zh) 用于视频译码中的帧内预测的经改进内插滤波器
JP2018525862A (ja) 高ダイナミックレンジ及び広色域のビデオコード化のための適応一定輝度アプローチ
CN105814892B (zh) 视频编解码的方法、装置以及相应的计算机可读存储媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1241179

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171205

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1241179

Country of ref document: HK