CN104041036A - 指定视觉动态范围编码操作及参数 - Google Patents

指定视觉动态范围编码操作及参数 Download PDF

Info

Publication number
CN104041036A
CN104041036A CN201280066010.4A CN201280066010A CN104041036A CN 104041036 A CN104041036 A CN 104041036A CN 201280066010 A CN201280066010 A CN 201280066010A CN 104041036 A CN104041036 A CN 104041036A
Authority
CN
China
Prior art keywords
data
vdr
rpu
image
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280066010.4A
Other languages
English (en)
Other versions
CN104041036B (zh
Inventor
曲晟
尹鹏
叶琰
贺玉文
沃尔特·吉什
苏冠铭
袁玉斐
萨米尔·胡利亚尔卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN201711327187.6A priority Critical patent/CN107896332B/zh
Publication of CN104041036A publication Critical patent/CN104041036A/zh
Application granted granted Critical
Publication of CN104041036B publication Critical patent/CN104041036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Abstract

符合相同或不同VDR规范的编码语法可以以RPU数据单元形式以共用载体由上游编码设备如VDR编码器用信号通知给下游编码设备如VDR解码器。VDR编码操作和操作参数可以被指定为编码语法中的序列级、帧级或分区级语法元素。编码语法中的语法元素可以直接被编码在当前RPU ID下的一个或更多个当前RPU数据单元中，其从使用相同RPUID先前发送的其他分区/段/范围被预测，或从使用先前RPU ID先前发送的其他帧级或序列级语法元素被预测。下游设备可以基于所接收的编码语法对多层输入图像数据执行解码操作来构造VDR图像。

Description

指定视觉动态范围编码操作及参数
相关申请的交叉引用
本申请要求于2013年1月3日提交的美国临时申请No.61/582,614的优先权，在此通过引用将其公开内容整体合并到本文中。
技术领域
本申请一般涉及视频编码系统，更具体地涉及对视觉动态范围图像进行编码、解码及表示的系统。
背景技术
已经开发了支持基于具体视频格式来发送和呈现视频内容的显示技术。例如，MPEG视频编码器和解码器可以支持以MPEG视频格式编码的视频内容。其他视频编码器和解码器可以支持以不同视频格式编码的视频内容。
消费者设备如手持设备通常安装有或配置有一组有限的视频编码系统，其中每个视频编码系统可以支持一组有限的视频格式中的特定视频格式。因此，如果没有按照预期的视频格式对视频内容块进行编码和传送，则该设备将有可能无法找到合适的视频解码器来对视频内容进行解码和帮助呈现视频内容。即使呈现了视频内容，所呈现的视频内容也可能包括对所接收的视频内容的不正确的解释或表示，并且产生颜色和亮度值的可见伪影。
本部分中所描述的方法是可以实行的方法，但并不一定是先前已经构思或实行的方法。因此，除非另外指出，否则不应当仅仅因为被包括在本部分中就假设本部分中所描述的任何方法是现有技术。相似地，除非另外指出，否则不应基于本部分而假设关于一种或更多种方法而确定的问题已经在任何现有技术中被意识到。
附图说明
通过示例的方式而不是通过限制的方式示出了本发明，在附图的图中，相似的附图标记指代相似的元件，并且其中：
图1和图2示出示例实施方式中的基于按照一个或更多个视觉动态范围(VDR)规范的编码语法来生成参考处理单元(RPU)数据的VDR编码器；
图3示出示例实施方式中的包括NAL报头和原始字节序列有效载荷的NAL数据单元；
图4示出RPU数据报头的布局。图5示出示例实施方式中的RPU数据报头解析；
图6示出RPU数据有效载荷的布局，图7至图9示出示例实施方式中的RPU数据有效载荷解码；
图10示出示例实施方式中的从RPU数据解析编码语法的VDR解码器；
图11A和图11B示出根据本发明的示例实施方式的示例处理流；以及
图12示出根据本发明的实施方式的可以实现本文所描述的计算机或计算设备的示例硬件平台。
具体实施方式
本文描述了涉及使用分层VDR编解码器对视觉动态范围图像进行编码、解码及表示的示例实施方式。在下面的描述中，出于说明的目的，阐述了大量具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他实例中，为了避免不必要地封闭、模糊或混淆本发明，将不再详尽地描述公知的结构和设备。
在本文中根据下面的提纲描述示例实施方式：
1.总体概述
2.VDR编码器
3.RPU数据单元
4.RPU数据解码—序列级和/或帧级
5.RPU数据解码—分区级
6.RPU数据解码—色度映射
7.RPU数据解码的另外示例
8.示例处理流
9.实现机制—硬件概述
10.等同物、扩展、替代及其他事项
1.总体概述
本概述给出本发明的示例实施方式的一些方面的基本描述。应当注意的是，本概述不是示例实施方式的方面的广泛的或详尽的总结。此外，应当注意的是，本概述既不意在被理解为确定示例实施方式的任何特别显著的方面或元素，也不意在被理解为具体地描绘示例实施方式的任何范围、或一般地描述本发明的任何范围。本概述仅给出与扼要和简化形式的示例性实施方式相关的一些概念，并且应当被理解为接下来的示例实施方式的更详细的描述的概念性前序。
本文所描述的技术支持以共用载体将由不同视频编码系统生成的参考处理数据传送并且用信号通知给下游设备。如本文所使用的，术语“共用载体”可以指代被配置成携带基于多种视觉动态范围(VDR)规范中的任意一个规范生成的参考处理数据的共用参考处理单元(RPU)数据格式。如本文所使用的，共用载体中携带的参考处理数据提供包括多个语法元素的编码语法，其中语法元素指定在与参考处理数据相关联的视频数据的编码和解码中所使用的或要使用的操作和参数。本文所描述的语法元素能够描述对于一些或所有不同的VDR规范来说相同的操作或描述仅对不同的VDR规范中的一个或更多个规范而不是所有不同的规范而言特定的操作。可以例如在下游(例如，消费者)设备中实现共用的参考处理数据解码/解析处理以对编码语法或其中的语法元素进行解码，而不管该编码语法涉及哪个VDR规范。因此，下游设备不需要对于消费者设备被配置成或将被配置成支持的每个现有的或新的VDR规范来实现单独且不同的参考处理数据解码/解析处理。下游设备的供应商可能仅需要专注于为用于对按照现有的或新的VDR规范指定的媒体样本进行编码或解码的算法或操作提供支持。因为本文所描述的技术使用了共用载体来传送或用信号通知与根据不同的VDR规范生成的媒体样本相关联的参考处理数据，所以对于包括尚待开发的VDR规范的所有VDR规范可以重复使用或基本上重复使用相同的参考处理数据解码/解析处理。如本文所使用的，术语“媒体样本”指代这样的数据：当与参考处理数据组合时形成本文所描述的VDR数据。
多个层(或比特流)可以用于将VDR数据(媒体样本和参考处理单元数据)从上游设备如VDR编码器传送至下游设备。多个层中携带的VDR数据可以用于支持范围广泛的显示技术，这些技术可以包括但不仅限于向后兼容性显示技术和新的高动态范围(HDR)显示技术中的任意技术。如本文所使用的，术语“VDR”或“视觉动态范围”可以指代比标准动态范围更宽的动态范围，并且可以包括但不限于高达人类视觉可以瞬时感知的瞬时可感知的动态范围和色域的宽动态范围。如本文所使用的，术语“多层(multi-layer)”或“多个层(multiple layer)”可以指代两个或更多个比特流，包括携带具有(视频信号)彼此间的一种或更多种逻辑依赖关系的多个视频或图像信号的基本层(BL)、参考处理单元(RPU)层和增强层(EL)。
基本层可以携带由上游设备从SDR信号获得的或从VDR信号中的输入VDR数据映射的BL数据(基本层媒体样本)。一个或更多个增强层(EL)可以携带由上游设备至少部分地从VDR信号获得的EL数据(增强层媒体样本)。在一些实施方式中，为了利用均与相同的输入VDR数据相关的BL数据与EL数据之间的统计冗余，EL数据可以基于BL视频数据和输入VDR视频数据被(冗余)降低到包括预测值之间的残差值或差值。在一些实施方式中，VDR编码器可以被配置成应用准确预测算法，使得残差值被减小至零；因此，EL数据可以用于保存与准确预测算法相关的减小的层间参考图片集合而不保存无帮助的零残差值。可以不是针对单个VDR图像而是针对一组相关的输入VDR图像来生成无残差视频编码系统的层间参考图片。
在一些实施方式中，RPU层可以携带由上游设备生成的参考处理数据(或者表示为RPU数据)。上游设备如VDR编码器可以使用RPU数据将编码语法用信号通知给下游设备如VDR解码器。编码语法使得VDR解码器能够基于BL层和EL层中的BL数据和EL数据来重构VDR图像。
RPU数据中携带的语法元素的示例可以包括但不限于以下项中的任意项：层间预测系数、残差非线性去量化参数、色度重采样滤波器系数、颜色空间变换指示符或其他VDR语法元素(例如，由VDR编码器执行来生成BL数据和EL数据以及由VDR解码器执行来对BL数据和EL数据进行解码的函数和/或操作的标志和描述符)。RPU数据中的语法元素可以被分类为序列级、帧级、分区级或函数/操作级中之一。
输入VDR媒体内容(例如，HDR影片)可以被细分成序列(例如，对应于场景或场景的一部分等)、帧(或图像或图片)或分区(或图像的部分)。序列级、帧级或分区级处的语法元素可以明确地被编码在当前RPU数据中，或从相应的序列级、帧级或分区级处的先前发送的RPU数据预测。另外地、可选地或可替代地，语法元素可以在序列级、帧级或分区级中多于一级处出现。
可以通过不同的VDR编码系统实现本文所描述的包括分层编解码器结构(BL层、EL层和RPU层)的技术。例如，实现这些技术中的一些技术的第一VDR编码系统可以是基于残差的分层编解码器，其中基本层和增强层两者使用色度格式(例如，4:2:0)和低位深度(例如，8位)；实现这些技术中的一些技术的第二VDR编码系统可以是基于信号的分层编解码器，其中增强层使用比基本层(4:2:08位)的色度格式(例如，4:2:0)和位深度(例如，8位)更宽的色度格式(例如，4:4:4)和较高的位深度(例如，12位或更多)。具体地，本文所描述的RPU数据解码技术可以在最初支持一组一个或更多个不同VDR规范的VDR编码系统中实现，并且可以当随后支持另外的VDR规范时在VDR编码系统中很少变化或没有变化情况下被重复使用。
RPU层编码的比特流或其中的RPU数据可以与其他层中的编码的比特流，或其中的BL数据和EL数据同步。例如，可以按照显示顺序(例如，如H.264中指定的picture_order_count)通过图片显示编号来对RPU数据和BL/EL数据进行同步。
本文所描述的技术支持用于以下项中的多种操作：层间预测、逆映射、色度重采样、数据处理如分区的边界区域中的插值、空间缩放、非线性量化等。一些所支持的操作可能对于一些或所有不同的VDR规范来说是共用的，而一些其他所支持的操作可能对于一个或更多个规范而不是对于所有VDR规范是唯一的。例如，可以对于具有残差值的VDR规范如EL数据执行非线性量化/去量化。
本文所描述的技术支持由灵活的编码语法驱动的视频编码和视频解码。该方法例如使用改进的算法、实现成本、速度等使得编码器设计和解码器设计能够进行并行且持续的优化。利用当前RPU数据与先前发送的RPU数据之间的冗余，可以通过VDR编码器将编码语法连同分层VDR数据有效地发送和用信号通知给VDR解码器。编码语法为VDR解码器提供路线图(例如，完整的)来有效地执行例如逆数据流中的解码操作。
在一些实施方式中，本文所描述的机制形成媒体处理系统的一部分，媒体处理系统包括但不限于以下项中的任意项：手持设备、游戏机、电视机、笔记本电脑、上网本电脑、平板计算机、蜂窝无线电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机信息站或各种其他类型的终端和媒体处理单元。
对于本技术领域的技术人员而言，对本文所描述的优选实施方式以及一般原理和特征的各种修改将是显而易见的。因此，本公开内容并不意在限于所示出的实施方式，而是与符合本文所描述的原理和特征的最宽范围一致。
2.VDR编码器
VDR编码器可以使用符合一个或更多个不同VDR规范之一的编码语法来生成BL数据、EL数据和RPU数据。可以使用包括主要和/或次要版本号的不同组合的不同版本来标记或标识这些不同的VDR规范(可以类似地使用标识具体VDR规范的其他方式)。如本文所使用的，VDR规范可以提供可以包括在编码语法中的语法元素的规范，可以从上游设备如VDR编码器向下游设备如VDR解码器用信号通知该规范。
图1示出了基于符合一个或更多个VDR规范的编码语法来生成RPU数据的VDR编码器102。在一些实施方式中，VDR编码器102支持至少两个VDR规范，例如，分别标记有第一版本(“1.0”)或第二版本(“1.x”)。VDR编码器102可以被配置成根据符合VDR编码器102所支持的一个或更多个VDR规范的编码语法来对BL数据、EL数据、RPU数据、层间预测数据和中间媒体数据执行操作。这些不同的VDR规范可以包括但不限于：支持向后兼容性的第一版本和不支持向后兼容性的第二版本。如本文所使用的，术语“向后兼容性”指代BL数据是否包括被优化用于在SDR显示器上查看的SDR图像。可以使用一种或更多种计算设备来实现VDR编码器102。
在一种实施方式中，VDR编码器102被配置成接收(输入)VDR信号104并且从VDR信号104获得输入VDR图像。如本文所使用的，“输入VDR图像”可以包括用于对源图像的VDR版本进行解码的宽或高动态范围图像数据，源图像又可以是由高端图像采集设备捕获的原始图像。输入VDR图像可以是支持高动态范围色域的输入颜色空间中的高位深度(例如，10+位)图像。由本文所描述的VDR编码系统接收或处理的一个或更多个VDR信号的示例包括但不限于以下项中的任意项：12位P3D65RGB444信号、12位推荐(Rec.)709RGB444信号、12位DCDMX'Y'Z'444信号、16位TIFF文件格式的视频数据等。
在示例中，输入VDR图像中表示的每个像素包括针对颜色空间(例如，RGB颜色空间)定义的所有通道(例如，红色通道、绿色通道和蓝色通道)的像素值。每个像素可以可选地和/或可替代地包括颜色空间中的一个或更多个通道的上采样像素值或下采样像素值。应当注意的是，在一些实施方式中，除了三种基本颜色如红色、绿色和蓝色以外，例如，可以在本文所描述的颜色空间中同时使用不同的基本颜色，以支持宽色域；在这些实施方式中，本文所描述的图像数据包括这些不同基本颜色的另外的像素值，并且可以由本文所描述的技术同时来处理。
在一种实施方式中，VDR编码器102可以在映射颜色空间(YCbCr空间、RGB空间或其他颜色空间中之一)中执行层间预测相关操作。在一些实施方式中，如果输入颜色空间不同于映射颜色空间，则可以通过颜色空间转换单元将输入VDR图像从输入颜色空间转换至映射颜色空间。
在一种实施方式中，如图1所示，VDR编码器102可以被配置成接收(输入)SDR信号108并且从SDR信号108获得BL数据。由本文所描述的VDR编码系统接收的一个或更多个SDR信号的示例包括但不限于以下项中的任意项：8位YCbCr信号、8位YUV文件格式的视频数据等。
如本文所使用的，“BL数据”指代可以被优化或不可以被优化以用于在SDR显示器上查看的低位深度(例如，8位)图像数据。如本文所使用的，术语“低位深度”指代在具有低位深度的编码空间中被量化的图像数据；低位深度的示例包括8位，而术语“高位深度”指代在具有高位深度的编码空间中被量化的图像数据；高位深度的示例是10位、12位或更多位。具体地，术语“低位深度”或“高位深度”不指代像素值的最低有效位或最高有效位。
在第一示例中，BL数据包括被优化用于在SDR显示器上查看的SDR图像，并且可以与支持向后兼容性的第一版本的VDR规范相关联。SDR图像可以包括由着色师进行的使SDR图像在相对窄的或标准的动态范围内看起来尽可能逼真的颜色校正。例如，为了在标准动态范围内创建看起来逼真的图像，可以在SDR图像中改变或校正与产生输入VDR图像的源HDR图像中的一些或所有像素有关的色调信息。
在第二示例中，VDR编码器102被配置成将VDR-SDR(例如，色调)映射应用于输入VDR图像以获得BL数据，而不是从类似于图1的108的输入SDR信号获得BL数据。在该示例中，BL数据可以不被优化用于在SDR显示器上查看，并且可以与不支持向后兼容性的第二版本的VDR规范相关联。BL数据可以包括输入VDR图像的低位表示。例如，VDR-SDR映射可以基于以下项中的一项或更多项：全局量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、罗伊-最大值量化、基于分区的量化、感知量化、跨颜色通道/矢量量化或其他类型的量化。另外地、可选地、或替代地，例如，VDR-SDR映射可以包括以下处理中的零种或更多种处理：去噪处理、帧对准处理、颜色分级处理等。在该示例中，可以不优化BL数据以用于在标准动态范围内呈现看起来逼真的图像。相反地，BL数据可以要通过下游设备有效地与EL数据组合以构造与从图1的输入VDR信号获得的输入VDR图像对应的输出VDR图像。
在一种实施方式中，VDR编码器102或其中的基本层SDR编码器(116)被配置成将可以从SDR信号108或者从对从VDR信号104获得的输入VDR图像进行的映射操作获得的输入SDR图像编码成基本层比特流128。
在一种实施方式中，VDR编码器102采用混合视频编码模型如H.264/MPEG-4AVC(IS14496-10)、HEVC、MPEG-4部分2(IS14496-2)、MPEG-2(IS11138-2)、VP8、VC-1和/或其他。可以根据同一图像中的相邻样本(使用帧内预测)或来自属于相同基本层的过去经解码的图像的样本(帧间预测)来对要在基本层中编码的媒体样本进行预测。这些要用于预测的经解码的BL样本可以存储或缓存在(基本层的)参考图片存储114内。
在一种实施方式中，VDR编码器102还被配置成基于经解码的BL样本对要在增强层中编码的媒体样本执行层间预测。可以从参考图片存储114(可以是一种或更多种存储器缓冲区或其他形式的存储器空间)检索经解码的BL样本。
VDR编码器102或其中的VDR RPU110可以被配置成生成用于由VDR编码器102执行的编码相关操作的编码语法。这些编码相关操作包括被执行来生成要在增强层比特流124中传送的EL数据的操作。根据本文所描述的技术，由VDR编码器将用于编码相关操作的编码语法用信号通知给VDR解码器，使得VDR解码器使用相同的编码语法用于解码相关操作。在一些实施方式中，由VDR编码器用信号通知给VDR解码器的编码语法可以指定由VDR解码器单独执行而非由VDR编码器执行的一种或更多种另外的操作。这些另外的操作包括但不限于显示管理操作中的任意操作。
这些编码语法可以包括符合VDR编码器102所支持的具体VDR规范的多个语法元素，并且可以包括但不限于以下项中的任意项：层间预测系数、残差非线性去量化参数、色度重采样滤波器系数、颜色空间变换指示符或其他VDR语法元素(例如，由VDR编码器执行以生成BL数据和EL数据以及由VDR解码器执行以对BL数据和EL数据进行解码的函数和/或操作的标志和描述符)。
在一种实施方式中，RPU处理模块112被配置成基于编码语法执行一系列序列级、帧级和分区级操作(可以包括但不仅限于与预测相关的那些操作)。例如，RPU处理模块112可以执行如编码语法所指定的操作例如，诸如SDR-VDR映射的逆映射、色度上采样、一种或更多种视频数据处理操作(例如，滤波、插值、重新缩放等)或非线性量化(NLQ)。因此，可以由RPU处理模块112生成预测参考值。
在一种实施方式中，VDR编码器102可以执行一种或更多种操作来生成从输入VDR图像获得的(如果必要，从VDR信号104和经变换的颜色空间获得的)VDR图像数据与预测参考值之间的残差值(130)。在线性或对数域中残差值可能不同。在一种实施方式中，VDR编码器102或其中的残差下采样/重采样单元可以被配置成对残差值(130)执行一种或更多种下采样/重采样操作以生成经下采样的(例如，8位)残差值以用于进一步处理。在一种实施方式中，VDR编码器102或其中的残差非线性量化器(NLQ；118)可以被配置成对残差值(130)或经下采样的残差值执行一种或更多种非线性量化操作，并且将经非线性量化的残差值提供给VDR编码器102的其他单元以用于进一步处理。
在一种实施方式中，VDR编码器102或其中的增强层(仅出于说明的目的，8位/4:2:0)编码器(120)被配置成将残差值(在一些实施方式中可以被非线性量化和/或下采样)作为EL数据编码成增强层比特流124。
在其中VDR编码器102或增强层(仅出于说明的目的，8位/4:2:0)编码器(120)采用混合视频编码器模型的实施方式中，可以根据同一图像中的相邻残差值样本(使用帧内预测)或根据来自属于相同增强层的过去经解码的图像中的残差值样本(帧间预测)来预测残差值。在一种实施方式中，用于预测的相同层EL样本可以被存储或缓存在(增强层的)参考图片存储122内。
在一种实施方式中，VDR编码器102或其中的VDR RPU110被配置成将作为RPU数据的一部分的编码语法编码成VDR RPU比特流126。RPU数据可以包括但不限于以下项中的任意项：SDR-VDR映射参数、由应用于生成预测参考图像的预测方法所使用的多项式参数、NLQ参数、由VDR RPU(110)执行的一种或更多种视频数据处理操作所使用的参数。VDR RPU110可以在RPU数据单元中设置标志或报头字段来指示是否可以根据先前发送的用于先前序列、先前帧或先前分区的RPU数据来预测编码语法中的任意语法元素。
可以使用多种编解码器如H.264/MPEG-4AVC、HEVC、MPEG-2、VP8、VC-1和/或其他中的一个或更多个来实现BL编码器(116)和EL编码器(120)中之一或两者。
相应的VDR解码器(其实现图1所示的逆数据流并且支持VDR编码器102用来生成编码语法的相同VDR规范)可以用于对由VDR编码器102生成的BL数据流、EL数据流和RPU数据流进行解码，并且生成输入VDR图像的重构版本。
图2示出了生成与一个或更多个不同的VDR规范对应的RPU数据的VDR编码器(202)。VDR编码器202可以但不限于与可能不同于由VDR编码器102实现的第一版本或第二版本的第三版本(例如，表示为“2.0”)的VDR规范相关联。可以使用一种或更多种计算设备实现VDR编码器202。
在示例实施方式中，VDR编码器202被配置成接收(输入)VDR信号204并且从VDR信号204获得输入VDR图像。输入VDR图像可以包括支持高动态范围色域的输入颜色空间中的高位深度(例如，10+位)图像数据。
在一些实施方式中，如果输入颜色空间不同于VDR编码器202在其中执行预测操作的映射颜色空间，则可以通过颜色空间转换单元将输入VDR图像从输入颜色空间变换至映射颜色空间。
在一种实施方式中，如图2所示，VDR编码器202被配置成接收(输入)SDR信号208并且从SDR信号208获得BL数据。或者，VDR编码器202被配置成将VDR-SDR(例如，色调)映射应用于输入VDR图像来获得BL数据，而不是从SDR信号解码BL数据。BL数据可以包括可以被优化或不被优化用于在SDR显示器上查看的低位深度(例如，8位)图像数据。与VDR编码器202相关联的BL数据可以类似于或不类似于如上面所讨论的与VDR编码器102相关联的BL数据。
在一种实施方式中，VDR编码器202或其中的基本层SDR编码器(216)被配置成将BL数据编码成基本层比特流228，其中该BL数据可以从SDR信号208获得或者根据对从VDR信号204获得的输入VDR图像进行的映射操作获得。
在一种实施方式中，可以根据同一图像中的相邻样本(使用帧内预测)或根据来自属于相同的基本层的过去经解码的图像的样本(帧间预测)来预测由BL数据表示的媒体样本。这些样本可以存储或缓存在(基本层的)参考图片存储214内。
在一种实施方式中，VDR编码器202被配置成基于BL数据样本对与增强层相关的高位深度媒体样本执行层间预测。可以从一种或更多种存储器缓冲区或其他形式的存储器空间中的参考图片存储214中检索BL数据样本。在一些实施方式中，VDR解码器202被设计成基于使用层间参考图片和经解码的BL样本的准确预测算法执行一种或更多种操作来不生成高位深度媒体样本的残差值(或，即使生成，残差值也都为零)。因此，可以至少部分地基于层间参考图片和经解码的BL样本来准确预测高位深度媒体样本。
VDR编码器202或其中的VDR RPU210可以被配置成生成用于生成要在增强层比特流224中传送的EL数据(可以包括层间参考图片)的编码语法。编码语法可以包括符合由VDR编码器202支持的VDR规范的多个语法元素，并且可以包括但不限于下列项中任意项：层间预测系数、色度重采样滤波器系数、颜色空间变换指标、其他VDR语法元素(例如，由VDR编码器执行以生成BL数据和EL数据等的函数和/或操作的标志和描述符)等。
在一种实施方式中，RPU处理模块212被配置成基于编码语法执行一系列操作(可以包括但不仅限于与预测相关的那些操作)。例如，RPU处理模块212可以执行如编码语法所指定的操作，例如，诸如SDR-VDR映射的逆色调映射、色度上采样以及一种或更多种视频数据处理操作(例如，滤波、插值、重新缩放等)。在一种实施方式中，RPU处理模块212不生成残差值(或者由于由VDR编码器202或其中的RPU处理模块212执行的准确预测操作而使得所有的残差值为零)。在该实施方式中，由于增强层VDR编码器220处理像素数据，所以为了生成EL数据，RPU处理模块212不执行残差非线性量化(NLQ)。因此，由VDR RPU210生成的编码语法可以不具有与残差非线性量化(NLQ)相关的参数。
在一种实施方式中，RPU处理模块212被配置成基于编码语法生成层间参考图片。不需要对于每个输入VDR图像生成本文所描述的层间参考图片；可以对于从VDR信号204获得的一个或更多个连续的VDR图像的序列生成层间参考图片。来自层间参考图片的媒体样本可以被存储或缓存在(增强层的)参考图片存储222内。
在一种实施方式中，VDR编码器202或其中的增强层编码器(220)被配置成至少部分基于从VDR信号204获得的层间参考图片和/或输入VDR图像来将输出EL信号编码成增强层比特流224。
在一种实施方式中，VDR编码器202或其中的VDR RPU(210)被配置成将作为RPU数据的至少一部分的编码语法编码成VDR RPU比特流226。
可以使用多种编解码器如H.264/MPEG-4AVC、HEVC、MPEG-2、VP8、VC-1和/或其他中的一个或更多个来实现基本层编码器(216)和增强层编码器(220)中之一或两者。
相应的VDR解码器(其实现图2所示的逆数据流并且支持VDR编码器202用于生成编码语法的相同的VDR规范)可以用于对由第三版本的VDR编码器202生成的比特流进行解码，并且生成输入VDR图像的重构版本。
另外地、可选地或替代地，本文所描述的技术可以支持与VDR规范的其他版本对应的VDR编解码器(或编码系统)。
3.RPU数据单元
在一些实施方式中，可以在多个网络抽象层(NAL)数据单元中将由上游设备如VDR编码器(例如，图1的102或图2的202)生成的RPU数据提供给下游设备。在一种实施方式中，如图3所示，NAL数据单元包括NAL报头和原始字节序列有效载荷(RBSP)。仅出于说明的目的，当NAL数据单元中的RBSP用于封装RPU数据时，可以将NAL报头中的字段“NAL-unit-type”设置成25或不同于H.264/MPEG-4AVC规范(IS14496-10)中指定的那些NAL类型的其他标识号。
在一些实施方式中，NAL数据单元的RBSP中的RPU数据包括RPU数据报头和RPU数据有效载荷。RPU数据单元可以用作共用将RPU数据从上游设备递送至下游设备的共用载体，其中RPU数据可以与多个VDR规范(例如，不同版本)中的任一规范相关联。RPU数据报头可以包括用于标识(例如，3D编码系统或VDR编码器系统的)编解码器或编码系统类型以及多个不同的VDR规范中的具体VDR规范的报头字段。RPU数据报头还可以包括RPU数据单元中所携带的RPU数据的一个或更多个高级(例如，序列级或帧级)部分。
RPU数据有效载荷可以用于由上游设备将可以用于对多层视频信号进行解码和用于使用经解码的视频信号来重构VDR图像的标志集合的描述符(或语法描述)、操作和参数发送至下游设备。由RPU数据有效载荷所描述的用于重构VDR图像的一个或更多个标志、操作和参数可以与层间预测有关。用于本文所描述的层间预测的标志、操作和参数可以与逆映射、色度上采样和其他功能如显示管理中的一项或更多项有关。另外地、可选地或替代地，由RPU数据有效载荷所描述的用于重构VDR图像的一个或更多个标志、操作和参数可以与层间预测附属的，或甚至除了层间预测之外的数据处理有关。
图4示出了示例实施方式中的RPU数据报头的布局。在一个实施方式中，RPU数据报头包括多个报头字段。仅出于说明的目的，报头字段可以包括但不限于下列项中的任意项：“rpu_type”、“rpu_format”、“vdr_rpu_profile”、“vdr_rpu_level”、“vdr序列级信息”、“vdr帧级信息”等。
报头字段“rpu_type”可以用于标识RPU数据是否与3D编解码器(例如，当rpu_type＝0或1)或VDR编解码器(例如，当rpu_type＝2)有关。报头字段“rpu_type”可以用于适应尚待开发的另外的新视频编解码器。报头字段“rpu_format”可以用于标识RPU数据与其有关的一个或更多个VDR版本。仅出于说明的目的，报头字段“rpu_format”的最高有效位可以用于区分VDR编解码器的主要区别，而同一字段的最低有效位可以用于区分VDR编解码器的次要变化。例如，当报头字段“rpu_format”的最高有效位(例如，顶部3个)为0时，则RPU数据与VDR版本1.x流程有关；另一方面，当报头字段“rpu_format”的最高有效位(例如，顶部3个)为1时，则RPU数据与VDR版本2.0流程有关。
本文所描述的VDR编码系统可以支持一种或更多种不同的RPU属性。报头字段“vdr_rpu_profile”可以用于标识RPU数据与其有关的属性。例如，报头字段的值0指示指定映射颜色空间YCbCr、映射色度格式4:2:0、多项式映射方法和全局唯一映射分区的基线属性；报头字段的值1指示指定所有映射颜色空间、所有映射色度格式、所有映射方法和全局唯一映射分区的主属性；而报头字段的值2指示指定所有映射颜色空间、所有映射色度格式、所有映射方法和局部可以映射分区(全局分区或局部分区)的高属性。在一些实施方式中，可以保留待由正在开发或尚待开发的新属性使用的报头字段“rpu_profile”的其他可能值。报头字段“rpu_level”可以另外地和/或可选地用于进一步地区分使用RPU数据执行的RPU处理的复杂度的等级。
根据本文所描述的技术，包括符合VDR规范的一个或更多个语法元素的编码语法可以由VDR编码器以RPU比特流发送至/用信号通知给VDR解码器。语法元素可以指定在VDR编码操作和相应的VDR解码操作中使用的标志、操作和参数。语法元素中表示的参数可以具有不同的系数类型，并且可以被指定为具有不同精度、不同长度或字长等的逻辑值、整数(固定点)值或浮点值。
编码语法中的一些语法元素可以被分类为对于完整序列的连续图像保持不变的序列级信息。尽管应当注意相同的语法元素可以用作序列级或各种编码语法中的不同等级，但是序列级信息的示例包括但不限于以下项语法元素中的任意项：“chroma_sample_loc_type”、“vdr_color_primaries”、“vdr_chroma_format_idc”等。如图4所示，序列级信息被置于报头字段“vdr序列级信息”中，其可以是复杂的字段并且进而包括标志vdr_seq_info_present_flag以指示是否直接使用一个或更多个当前RPU数据单元对任何具体的序列级信息进行编码或者是否根据先前的RPU数据来预测序列级信息。
在一些实施方式中，出于发送效率的原因，对于每个图像(在本说明书的上下文中，其可以被互换地表示为帧)，可以不通过VDR编码器将序列级信息发送至VDR解码器。而是，可以对于每序列的连续帧发送一次序列级参数。然而，出于随机存取、纠错和鲁棒性的原因，本发明的实施方式不排除在同一序列内一次、两次等重复序列级参数。在一个示例中，在包括100个连续图像的序列中，在10帧、25帧、50帧等的切片后，可以在序列内重复序列级参数。在另一示例中，可以对于每个瞬时解码刷新(IDR)图片、每两个IDR图片等在序列内重复序列级参数。
编码语法中的一些语法元素可以被分类为对于全帧保持不变的帧级信息。在一些实施方式中，如图4所示，帧级信息被置于报头字段“vdr帧级信息”中。在一些实施方式中，可以根据在先的RPU数据单元中发送的帧级语法元素来预测一些或所有帧级信息。
例如，层间预测系数对于图片组(GOP)、场景、一序列帧等可以相同或相似。因此，没有必要对于每个帧重复帧级信息。对于具有相同RPU标识符(Id)的一个或更多个当前RPU数据单元，VDR编码器可以将RPU数据单元的RPU数据字段“vdr_rpu_id”中的RPU ID(或标识符)用信号通知给VDR解码器，以指示在当前RPU数据单元中直接对帧级信息进行编码(因此，在不参照由不同RPU ID标识的先前RPU数据的情况下可以直接对帧级信息进行检索)。
在一些实施方式中，可以将一个或更多个当前RPU数据单元中的标志“use_prev_vdr_rpu_flag”设置成向VDR解码器指示应当重新使用或使用一个或更多个先前发送的RPU数据单元中的帧级信息用于预测与一个或更多个当前RPU数据单元有关的帧级信息。可以在一个或更多个当前RPU数据单元中的RPU数据字段“prev_vdr_rpu_id”中标识先前发送的RPU数据单元。因此，可以避免在一个或更多个当前RPU数据单元中发送可预测的帧级语法元素。在一些实施方式中，由于当前RPU数据单元不直接携带经编码的帧级语法元素，因此还可以避免为当前RPU数据单元分配RPU ID。最大数量的RPU ID以及他们相应的帧级语法元素可以用于取决于比特流传输中的数据量减小与VDR解码器处的内存使用率增大之间的成本收益权衡的预测。
在一些实施方式中，本文所描述的技术支持将图像分成一个或更多个部分。可以用于指定编码语法的一些语法元素可以被分类为帧级语法元素，而一些其他语法元素可以被分类为分区级语法元素。
4.RPU数据解码—序列级和/或帧级
图5示出了可以用于对来自RPU数据单元的序列级和/或帧级语法元素进行解码(或解析)的RPU解码(或解析)处理。RPU解码/解析处理可以被配置成接收一个或更多个当前RPU数据单元，并且从一个或更多个当前RPU数据单元的一个或更多个RPU数据报头获得至少一些语法元素。首先，RPU解码/解析处理可以确定是否存在标志“use_prev_vdr_rpu_flag”，以及如果存在则确定该标志(语法元素)的值是多少。
如果确定该标志被设置为1(或“是”)，则RPU解码/解析处理继续进行以从所接收的RPU数据单元解码或解析出语法元素“prev_vdr_rpu_id”，其指向与一个或更多个先前发送的RPU数据单元中的先前发送的语法元素相关联的预测器(或先前的)RPU ID。基于预测器RPU ID，RPU解码/解析处理可以使用预测器RPU ID作为键从指定的RPU数据缓存中检索先前所发送的语法元素。该“use_prev_vdr_flag”被设置成1(或“是”)的处理路径可以用于根据来自RPU数据缓存的相同等级的先前发送的语法元素来预测编码语法的序列级、帧级和分区级的语法元素中的一些或全部。
另一方面，如果确定标志“use_prev_vdr_rpu_flag”为0(或“否”)，则RPU解码/解析处理进行以从所接收的RPU数据单元解码或解析出语法元素“vdr_rpu_id”，其被设置成分配给在一个或更多个当前RPU数据单元中直接编码的语法元素的当前RPU ID。仅出于说明的目的，这些语法元素可以包括但不限于：mapping_color_space”、“mapping_chroma_idc”、“chroma_resampling_filter_idc”、“num_pivots_minus2”、“pred_pivot_value[][]”、“nlq_method_idx”、“nlq_num_pivots_minus2”、“nlq_pred_pivot_value[][]”、“enable_residual_spatial_upsampling_flag”、“num_x_partition_minusl”、“num_y_partition_minusl”，“residual_resampling_filter_idc”、“overlapped_prediction_method”等。应当注意的是，在各种实施方式中，不同的语法元素和/或语法元素的不同名称可以被限定或用于实现本文所描述的技术。
这些语法元素中的一个或更多个可以是指示存在或不存在某些相应操作的标志。例如，标志“use_prev_vdr_rpu_flag”指示存在或不存在根据先前的RPU ID的所缓存的语法元素预测RPU数据的操作。类似地，标志“enable_residual_spatial_upsampling_flag”可以指示在基于所接收的BL数据和EL数据重构VDR图像时是否应当执行残差重采样滤波操作。指示符“chroma_resampling_filter_idc”可以指示在基于所接收的BL数据和EL数据重构VDR图像时应当使用哪个色度重采样滤波器。在RPU解码/解析处理本身中，这些标志中的每个也可以用于确定是否应当采取特定的处理路径。
RPU类型和版本信息(其可以指示例如RPU数据是否与对应的VDR规范的v1.x流程相关联和/或是否VDR规范实现无残差EL数据)可以用于确定图5所示的RPU解码/解析处理中的一些处理路径。
诸如语法元素“num_x_partition_minus1”和“num_y_partition_minus1”的参数还可以用于确定RPU解码/解析处理中的一些处理路径。例如，如果两个语法元素都具有零值，其指示全局唯一分区，则可以采取与全局唯一分区对应的处理路径。另一方面，如图5所示，如果这些语法元素中的任意一个或两者具有非零值，则可以采取不同的处理路径。
5.RPU数据解码—分区级
在一些实施方式中，在一个或更多个当前RPU数据单元(例如，一个或更多个RPU有效载荷)中，分区级语法元素可以由VDR编码器发送至VDR解码器。图6示出了示例性实施方式中的可以用于从一个或更多个当前RPU数据单元解码分区级语法元素的RPU数据有效载荷解码/解析处理。一个或更多个分区级语法元素可以与编码语法有关，或可以用于编码语法中来指定层间预测相关操作和/或其他处理操作。
在一些实施方式中，图6的RPU数据有效载荷解码/解析处理可以实现为函数“vdr_rpu_data_payload()”，例如，其可以被图5的RPU解码/解析处理调用。
在一些实施方式中，对于沿图像帧的x方向和y方向迭代的每个分区重复图6的若干步骤。如图6所示，首先对于每个分区可以调用函数“rpu_data_mapping(X，Y)”来解码对于多个不同VDR规范共用的分区级语法元素。随后，可以解码对于特定VDR规范而言更具体的语法元素。可以基于其他语法元素或例如已经从一个或更多个当前RPU数据单元解码的RPU信息来对更具体的语法元素进行解码。例如，基于(1)“rpu_format”字段和(2)从一个或更多个当前RPU数据单元的一个或更多个RPU数据报头解码的(版本号v1.x的VDR规范的)语法元素“mapping_chroma_idc”或(版本号v2.x的VDR规范的)语法元素“vdr_chroma_format_idc”和“sdr_chroma_format_idc”，图6的RPU数据有效载荷解码/解析处理可以确定是否应对所接收的符合版本“v1.x”或“v2.x”的VDR规范的BL数据和EL数据执行色度重采样操作。
如果确定VDR规范为版本v1.x并且标志“disable_residual_flag”为假，则可以对于每个分区调用RPU解码/解析函数“rpu_data_nlq(x,y)”。此外，如图6所示，当x分区索引和y分区索引两者为零时，则还可以调用其他解码/解析函数如帧级RPU解码/解析函数“rpu_data_residual_resampling(x,y)”。
在一些实施方式中，由VDR编码系统实现的VDR规范支持色度重采样、逆映射、基于预测的操作，基于预测的操作包括但不限于：基于重叠区域的预测、残差非线性量化/去量化、残差色度重采样、空间缩放、数据处理(例如，分区的边界区域的插值)等。
对于色度重采样，VDR规范可以支持固定滤波器和显式1D(2D可分离)滤波器和2D(非分离)滤波器两者，或使用其他亮度或色度通道信息的滤波器(跨通道重采样滤波器)等。语法元素“chroma_resampling_filter_idc”可以用于指定哪个上述滤波器作为编码语法的一部分。根据本文所描述的技术，不同的色度通道可以使用不同的滤波器。另外地、可选地或替代地，显式滤波器可以是对称的或非对称的。在一些实施方式中，本文所描述的一种或更多种滤波器可以被设计成将图片边界(图像边界)当作滤波操作中的特殊情况。例如，滤波器可以通过重复(如图6所示)或镜像来简单地填补图片边界。在一些实施方式中，本文所描述的一种或更多种滤波器被设计成跨不同分区执行操作，或以相同的方式将分区边界当作图片边界。不同的色度重采样滤波器可以用于同一图像的不同分区。另外地、可选地或替代地，滤波器可以应用于完整图像的所有分区。另外地、可选地或替代地，可以为完整图像指定特定类型的滤波器例如显式的滤波器；然而，可以在不同分区的编码语法中指定不同的系数。例如，可以在帧级用信号通知语法元素“chroma_resampling_filter_idc”来指示对于整个帧使用了特定类型的滤波器；然而，可以在分区级用信号通知帧内的不同分区的不同滤波器系数。另外地、可选地或替代地，可以直接对分区级滤波器系数进行编码，根据当前RPU ID从一个或更多个先前的分区预测分区级滤波器系数，或者根据先前RPU ID从一个或更多个RPU数据单元中的一个或更多个分区中预测分区级滤波器系数。可以对本文所描述的系数进行非差分编码或差分编码(例如，包括关于不同分区、图像或色度通道的值的差分值)。色度重采样滤波器也应当考虑色度采样位置。
对VDR分层编解码器而言，逆映射可以起重要的作用。本文所描述的VDR规范可以支持各种逆映射方法。逆映射方法的示例包括但不仅限于以下中的任意项：位移(bit-shift)、多项式、MMR、SOP、1D LUT、曲线拟合等。图8所示的解码/解析函数“rpu_data_mapping()”可以用于对与所指定的颜色空间中的每个颜色分量(亮度分量或色度分量)的逆映射有关的语法元素进行解码(或解析)。语法元素“syntax mapping_idc”可以用于指示选择了哪个逆映射方法。由于图像的不同区域可以包含不同的视觉内容，因此VDR规范可以允许不同分区(例如，不同区域)使用不同的映射方法。图像的每个通道的动态范围可以被划分成不同段(或块)并且每个动态范围段可以使用不同的映射方法。此外，每个不同分区中的每个动态范围可以使用不同的映射方法。这种方法可以用于逆映射，在逆映射中图像的媒体内容的中间动态范围是线性的并且可以使用线性映射进行处理，而暗亮范围是非线性的并且应当使用相对复杂的映射方法进行处理。在一种实施方式中，语法pivot_value用来指示动态范围段。另外地、可选地或替代地，映射主元值可以被差分编码(例如，由语法元素“pred_pivot_value”指示的)，或者以用信号通知给下游VDR解码器的一个或更多个当前RPU数据单元的编码语法直接编码。
在一些实施方式中，图像的多个分区中的至少一个可以使用多个不同的动态范围段。在一些实施方式中，图像的所有分区中的不同动态范围段的数量的最大者被确定或被设置为低于界限。在一些实施方式中，尽管不同分区中的动态范围可能可选地不同，但是图像的所有分区保持相同的数量的不同动态范围段。
对于线性映射，可以由VDR编码器使用编码语法中的一个或更多个语法元素来将多项式系数用信号通知下游VDR解码器。或者，编码语法中的一个或更多个语法元素可以用于用信号通知经映射的主元值用于在每个动态范围段中内插像素。可以使用语法元素(或标志)“linear_interp_flag”来用信号通知映射主元值的存在。在一个示例中，可以用信号通知1D LUT中数据点的一些值或全部值。在另一示例中，可以使用被用信号通知给下游VDR解码器的映射的主元值基于插值来创建1D LUT中的至少一些值。
用于分区的动态范围映射(例如，色调映射)的系数可以被直接编码，或替代地根据从相同的RPU数据单元获得的相邻分区中的映射动态范围段对其进行预测。另外地、可选地或替代地，可以根据从先前的RPU数据单元获得的映射块的分区中的映射动态范围段来预测分区的系数。例如，可以根据从先前的RPU数据单元获得的相同分区中的映射动态范围段来预测分区的系数。
本文所描述的技术支持使用不同于编码颜色空间(可以以序列级信息例如以RPU数据报头用信号通知)的映射颜色空间(例如，由语法元素“mapping_color_space”指示)。例如，编码颜色空间可以是YCbCr，而映射颜色空间可以是RGB。其他类型的颜色空间可以用作编码空间或映射空间的选择。对于不同的分区，映射颜色空间可以不同。或者，映射颜色空间可以对于所有的分区相同。对于映射颜色空间的不同通道，映射方法和元数据可以不同。或者，映射方法和元数据可以对于映射颜色空间的全部通道相同。在图像中使用多个分区的实施方式中，有可能存在沿分区边界的不连续性。在一种实施方式中，编码语法可以用于用信号通知边界映射方法，要通过以下方式执行该边界映射方法：通过对像素值或颜色值的基于加权的平均和/或通过使用线性或非线性方法融合分区边界来简单地平滑分区边界。在一种实施方式中，编码语法中的语法元素“overlapped_prediction_method”可以至少部分地用于用信号通知边界映射方法。
6.RPU数据解码—色度映射
图7示出了一个示例实施方式中的可以用于对与色度重采样有关的语法元素进行解码(或解析)的RPU数据解码(或解析)操作(例如，以rpu_data_chroma_resampling()函数的形式)。这些语法元素可以但不仅要求处于分区级。RPU数据编码操作可以被实现为例如可以由图6的解码/解析处理调用的解码/解析函数。在对于整个图像来说映射颜色空间相同的实施方式中，图7所示的语法元素可以可选地在编码语法中呈现为帧级语法元素。
在一些实施方式中，在分段映射操作中涉及的多个段可以对于所有分区保持相同。可以将与插值有关的一些语法元素在编码语法中呈现为帧级语法元素，而将与插值有关的其他一些语法元素在编码语法中呈现为分区级语法元素。
如图7所示，“rpu_data_chroma_resampling()”解码/解析函数可以对颜色空间中的多个颜色分量进行解码。针对每个颜色分量，可以重复若干步骤。
如果颜色分量的标志指示使用先前分区滤波系数，则解码/解析函数“rpu_data_chroma_resampling()”继续进行以获得颜色分量的预测器分区信息。预测器分区信息可以包括从先前的RPU ID的缓存的语法元素获得的分区滤波系数，或者从来自一个或更多个当前RPU数据单元的一个或更多个其他分区的已经解码的语法元素获得的分区滤波系数。
另一方面，如果颜色分量的标志指示没有使用先前分区滤波器系数，则解码/解析函数“rpu_data_chroma_resampling()”继续进行以从一个或更多个当前RPU数据单元获得分区滤波器系数。这些系数可以与2D显式滤波器、1D垂直显式滤波器、1D水平显式滤波器等有关。
如同动态范围映射中使用的系数，可以替代地根据从相同的一个或更多个当前RPU数据单元获得的相邻分区中的相似系数来预测分区的色度重采样或色度映射中的系数。另外地、可选地或替代地，根据从一个或更多个先前发送的RPU数据单元获得的映射块的分区中的相似系数可以预测分区的系数。例如，根据从一个或更多个先前所发送的RPU数据单元获得的相同分区中的相似系数可以预测分区的系数。
7.RPU数据解码的另外示例
图9示出了示例实施方式中的对与分区级中非线性量化/去量化有关的语法元素进行解码(或解析)的RPU数据解码(或解析)操作(例如，以rpu_data_nlq()函数的形式)。具体的VDR规范可以支持非线性量化/去量化。非线性量化/去量化的示例可以包括但不仅限于下列项中的任意项：那些基于线性盲区、μ律曲线、拉普拉斯算子曲线、S形曲线等的非线性量化/去量化。可以在语法元素“nlq_method_idc”中将非线性量化/去量化的具体方法用信号通知给下游VDR解码器。在一种实施方式中，对于图像的所有分区可以使用相同的方法(例如，语法元素“nlq_method_idc”可以作为RPU数据报头中的帧级别信息的一部分用信号通知)；然而，对于不同的分区，方法的系数可以相同或可以不同。非线性量化/去量化中涉及的数据范围可以被划分成多段；不同段可以具有相同方法的不同系数。
如同其他操作中所使用的其他系数，分区的非线性量化/去量化中的系数可以直接被编码，或者根据从相同RPU数据单元获得的相邻分区中的相同系数对其进行预测。另外地、可选地或替代地，可以根据从先前RPU数据单元获得的映射块的分区中的相似系数来预测分区的系数。例如，可以根据从先前RPU数据单元获得的相同分区中的相似系数来预测分区的系数。
在一些实施方式中，符合具体VDR规范的编码语法可以指定要对残差数据执行的色度重采样和/或空间上采样(例如，1:2)。在一些实施方式中，以与上面所讨论的色度重采样滤波器有关的操作的处理方式相类似的方式在编码语法中处理对残差数据执行的操作。
在一些实施方式中，不同的色度格式用于以BL信号和EL信号编码的图像数据。例如，BL信号可以使用与EL信号所使用的不同的色度格式、不同的色度采样和不同的位深度。另外地、可选地或替代地，BL信号和EL信号可以使用不同的颜色空间。
本文所描述的技术支持色度重采样、颜色空间变换和逆映射中的不同处理顺序。在一些实施方式中，VDR编码系统可以支持多个可能的处理顺序中的一个、两个或更多个。由VDR编码系统支持的一个或多于一个处理顺序可以被视为最佳。例如，在VDR编码器(例如，图2的202)的输出比特流(例如，图2的BL比特流228和EL比特流224)中的BL数据和EL数据两者的编码颜色空间是由VDR规范指定的YCbCr；映射颜色空间可以是RGB；输入SDR信号(例如，图2的208)是YCbCr4：2：0；输入VDR信号(例如，图2的204)是RGB4:4:412位。在该示例中，可以如下生成层间参考数据。首先，VDR编码器对从输入SDR信号获得的BL数据执行从4:2:0到4:4:4的色度重采样。接下来，可以对BL数据(现在以4:4:4的色度格式)执行从YCbCr到RGB的颜色变换。可以在映射颜色空间中对BL数据(现在以4:4:4的色度格式和与映射颜色空间中相同的映射颜色空间)执行逆映射来在映射颜色空间中生成层间预测值。出于生成EL数据的目的，可以对层间预测值执行从RGB到YCbCr的颜色变换。
8.示例处理流
图10示出了示例实施方式中的根据RPU数据对编码语法进行解码的VDR解码器。编码语法可以符合特定的VDR规范，其可以是例如图1的VDR编码器102所支持的第一版本(“1.0”)或第二版本(“1.x”)。VDR解码器可以被配置成根据编码语法对BL数据、EL数据、RPU数据、层间预测数据和中间媒体数据执行解码操作。可以使用一种或更多种计算装置、自定义和/或现成的硬件设备、可编程器件、上述项的任意组合等来实现图10的VDR解码器。
在一些实施方式中，图10的VDR解码器可以实现图5至图9所示的一种或更多种解码/解析处理以获得编码语法以及其中的语法元素。图10的VDR解码器可以将解码操作应用于BL数据、EL数据和RPU数据以构造与例如由VDR编码器(例如，图1的102)编码的输入VDR图像相对应的输出VDR图像。
图11A示出了根据本发明的示例实施方式的示例处理流。在一些示例实施方式中，一个或更多个计算装置或部件可以执行该处理流。在框1102中，多层VDR视频编码器(例如，图1的102或图2的202)接收输入视觉动态范围(VDR)图像以及与该输入VDR图像相关联的输入基本层(BL)图像。
在框1104中，多层VDR视频编码器生成包括序列级、帧级或分区级的多个语法元素的编码语法。
在框1106中，多层VDR视频编码器根据编码语法将输入BL图像和输入VDR图像转换成BL数据和增强层(EL)数据。
在框1108中，多层VDR视频编码器将编码语法转换成参考处理单元(RPU)数据。
在框1110中，多层VDR视频编码器以BL信号、EL信号、RPU信号输出BL数据、EL数据和RPU数据。
在一种实施方式中，多层VDR视频编码器还被配置成执行：至少部分地基于编码语法生成一个或更多个当前RPU数据单元；以及在一个或更多个当前RPU数据单元中确定编码语法符合的具体VDR规范。
在一种实施方式中，一个或更多个当前RPU数据单元中的至少一个包括能够支持多个不同的VDR规范中的任意一个的数据结构。
在一种实施方式中，多层VDR视频编码器还被配置成执行：在一个或更多个当前RPU数据单元中指示根据一个或更多个当前RPU数据单元中的一个或更多个其他分区可预测的编码语法中的多个语法元素中的至少一个语法元素。
在一种实施方式中，多层VDR视频编码器还被配置成执行：在一个或更多个当前RPU数据单元中指示根据先前输入VDR图像和与先前输入VDR图像相关联的先前输入BL图像的一个或更多个先前RPU数据单元可预测的编码语法中的多个语法元素中的至少一个语法元素。
在一种实施方式中，输入VDR图像和先前输入VDR图像属于输入VDR图像序列；该输入VDR图像序列共享序列级的语法元素的共用集合。
在一种实施方式中，输入VDR图像和先前输入VDR图像属于两个不同的输入VDR图像序列；两个不同的输入VDR图像序列中的第一序列共享序列级的语法元素的第一共用集合；两个不同的输入VDR图像序列中的第二序列共享序列级的语法元素的不同的第二共用集合。
在一种实施方式中，多个语法元素中的至少一个语法元素可用作序列级、帧级或分区级中的两个或更多个的语法元素。
在一种实施方式中，BL数据表示被优化用于在SDR显示器上查看的标准动态范围(SDR)图像。在一种实施方式中，BL数据不表示被优化用于在SDR显示器上查看的标准动态范围(SDR)图像。
在一种实施方式中，EL数据包括输入VDR图像与基于BL数据生成的预测VDR图像之间的残差值。在一种实施方式中，EL数据包括输入VDR图像序列中的两个或更多个输入VDR图像的层间参考图片；两个或更多个输入VDR图像包括输入VDR图像。
在一种实施方式中，多个语法元素包括一个或更多个参数、系数、主元值、指示存在或不存在与标志对应的操作的标志、或包括显示管理元数据的一个或更多个类型的元数据。
在一种实施方式中，输入VDR图像包括在输入颜色空间中编码的图像数据；EL数据包括在输出颜色空间中编码的图像数据；至少部分地基于映射数据生成EL数据；至少部分地基于BL数据生成映射数据；并且映射数据包括在映射颜色空间中编码的映射图像数据。
在一种实施方式中，输入颜色空间、输出颜色空间、和映射颜色空间中的至少两种不同。在一种实施方式中，输入颜色空间、输出颜色空间、和映射颜色空间中的至少两种相同。
在一种实施方式中，EL数据包括以第一色度格式编码的图像数据，BL数据包括以不同的第二色度格式编码的图像数据。在一种实施方式中，EL数据包括以色度格式编码的图像数据；BL数据包括以相同色度格式编码的图像数据。
在一种实施方式中，多个语法元素用信号通知下列操作中的一个或更多个：色度重采样操作、逆映射操作、基于非重叠区域的预测操作、基于重叠区域的预测操作、残差非线性量化和去量化操作、残差色度重采样操作、空间缩放操作、包括插值的数据处理操作、或显示管理操作。
在一种实施方式中，多层VDR视频编码器还被配置成执行：将使用一个或更多个输入视频信号表示、接收、发送或存储的一个或更多个输入VDR图像转换成使用一个或更多个输出视频信号表示、接收、发送或存储的一个或更多个输出VDR图像
在一种实施方式中，输入VDR图像包括以下列项之一编码的图像数据：高动态范围(HDR)图像格式、与电影艺术和科学研究院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字影院倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间、RGB颜色空间或YCbCr颜色空间。
图11B示出了根据本发明的示例实施方式的示例处理流。在一些示例实施方式中，一个或更多个计算设备或硬件部件可以执行该处理流。在框1152中，多层视频解码器(例如，如图10所示)以基本层(BL)信号、增强层(EL)信号和参考处理单元(RPU)信号接收BL数据、EL数据和RPU数据，BL数据、EL数据和RPU数据与共用视觉动态范围(VDR)源图像相关联。
在框1154中，多层视频解码器将RPU数据解码成包括序列级、帧级或分区级的多个语法元素的编码语法。
在框1156中，多层视频解码器根据编码语法将BL数据和EL数据转换成重构的VDR图像。
在框1158中，多层视频解码器输出重构的VDR图像。
在一种实施方式中，多层视频解码器还被配置成执行：从一个或更多个当前RPU数据单元确定编码语法符合的具体VDR规范；以及从一个或更多个当前RPU数据单元获得编码语法的至少一部分。
在一种实施方式中，多层视频解码器还被配置成执行：从一个或更多个当前RPU数据单元确定能够根据一个或更多个当前RPU数据单元中的一个或更多个其他分区来预测的编码语法中的多个语法元素中的至少一个语法元素。
在一种实施方式中，多层视频解码器还被配置成执行：从一个或更多个当前RPU数据单元确定能够根据与先前重构的VDR图像有关的一个或更多个先前RPU数据单元来预测的编码语法中的多个语法元素中的至少一个语法元素。
在一种实施方式中，重构的VDR图像和先前重构的VDR图像属于重构的VDR图像的序列；重构的VDR图像的序列共享序列级的语法元素的共用集合。
在一种实施方式中，重构的VDR图像和先前重构的VDR图像属于两个不同的重构VDR图像序列；两个不同的重构VDR图像序列中的第一序列共享序列级的语法元素的第一共用集合；以及两个不同的重构VDR图像序列中的第二序列共享序列级的语法元素的不同的第二共用集合。
在一种实施方式中，EL数据包括重构的VDR图像的序列中的两个或更多个重构的VDR图像的层间参考图片，并且两个或更多个重构的VDR图像包括重构的VDR图像。
在一种实施方式中，重构的VDR图像包括在第一颜色空间中编码的图像数据；EL数据包括在第二颜色空间中编码的图像数据；至少部分地基于从BL数据获得的映射数据来生成重构的VDR图像；并且映射数据包括在第三颜色空间中编码的映射图像数据。
在一种实施方式中，第一颜色空间、第二颜色空间和第三颜色空间中的至少两个不同。在一种实施方式中，第一颜色空间、第二颜色空间和第三颜色空间中的至少两个相同。
在一种实施方式中，多层视频解码器还被配置成执行：将使用一个或更多个输入视频信号表示、接收、发送或存储的图像数据转换成使用一个或更多个输出视频信号表示、接收、发送或存储的一个或更多个输出VDR图像。
在一种实施方式中，重构的VDR图像包括以下列项之一编码的图像数据：高动态范围(HDR)图像格式、与电影艺术和科学研究院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字影院倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间、RGB颜色空间或YCbCr颜色空间。
在各种示例性实施方式中，编码器、解码器、系统、装置或一个或更多个其他计算设备执行所描述的上述方法中的任意方法或部分。
9.实现机制—硬件概述
根据一种实施方式，可以通过一个或更多个专用计算设备来实现本文所描述的技术。专用计算设备可以被硬连接来执行技术，或者可以包括数字电子设备如永久被编程来执行本技术的一个或更多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程成依照固件、存储器、其他存储装置或组合中的程序指令来执行本技术的一个或更多个通用硬件处理器。这种专用计算设备也可以将自定义的硬布线逻辑、ASIC或FPGA与自定义编程组合来完成这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持设备、网络设备或合并硬连线和/或程序逻辑来实现本技术的任何其他设备。
例如，图12是示出计算机系统1200的框图，可以在计算机系统1200上实现本发明的示例实施方式。计算机系统1200包括总线1202或用于传送信息的其他通信机制，以及与总线1202耦合用于处理信息的硬件处理器1204。硬件处理器1204可以是例如通用微处理器。
计算机系统1200还包括耦合至总线1202的主存储器1206如随机存取存储器(RAM)或其他动态存储设备，用于存储信息和要由处理器1204执行的指令。主存储器1206还可以用于存储在执行要由处理器1204执行的指令期间的临时变量或其他中间信息。这种指令当被存储在可由处理器1204访问的非暂态存储介质中时使计算机系统1200呈现为被定制成执行指令中所指定的操作的专用机器。
计算机系统1200还包括用于存储处理器1204的静态信息和指令的、耦合至总线1202的只读存储器(ROM)1208或其他静态存储装置。提供了存储装置1210如磁盘或光盘并且其耦合至总线1202用于存储信息和指令。
计算机系统1200可以经由总线1202耦合至显示器1212如液晶显示器，用于向计算机用户显示信息。包括字母数字和其他键的输入装置1214耦合至总线1202用于将信息和命令选择传送至处理器1204。另一种类型的用户输入装置是光标控制1216如鼠标、轨迹球或光标方向键，用于将方向信息和命令选择传送至处理器1204以及用于控制显示器1212上的光标移动。该输入装置通常具有两个轴——第一轴(例如，x)和第二轴(例如，y)——上的两个自由度，使得该装置能够指定平面中的位置。
计算机系统1200可以使用以下项来实现本文所描述技术：定制的硬布线逻辑、一个或更多个ASIC或FPGA、结合计算机系统使计算机系统1200或将计算机系统1200编程为专用机器的固件和/或程序逻辑。根据一种实施方式，响应于处理器1204执行主存储器1206中包括的一个或更多个指令的一个或更多个序列，计算机系统1200执行本文中的技术。可以从其他存储介质如存储装置1210将这些指令读入主存储器1206。主存储器1206中包括的指令序列的执行使处理器1204执行本文所描述的处理步骤。在替选实施方式中，硬连线电路可以替代或结合软件指令来使用。
如本文所使用的，术语“存储介质”指代存储数据和/或使机器以特定方式进行操作的指令的任意非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘如存储装置1210。易失性介质包括动态存储器如主存储器1206。存储介质的常见形式包括例如软盘、软磁盘、硬盘、固态驱动器、磁带，或任何其他磁性数据存储介质、CD-ROM、任何其其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪存EPROM、NVRAM、任何其他存储芯片或盒式磁带。
存储介质与传输介质不同，但可以结合传输介质使用。传输介质参与存储介质之间传输信息。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线1202的导线。传输介质还可以采取如在无线电波和红外数据通信期间产生的声波或光波的形式。
在将具有一个或更多个指令的一个或更多个序列携带至处理器1204用于执行的过程中可以涉及各种形式的介质。例如，最初可以在远程计算机的磁盘或固态驱动器上携带指令。远程计算机可以将指令加载至其动态存储器中并且使用调制解调器通过电话线发送指令。本地计算机系统1200的调制解调器可以接收电话线上的数据并且使用红外发射器将该数据转换为红外信号。红外探测器可以接收红外信号中携带的数据，并且适当的电路可以将该数据置于总线1202上。总线1202将数据携带至主存储器1206，处理器1204从主存储器1206取回并执行指令。可选地，主存储器1206所接收的指令可以在被处理器1204执行之前或之后存储在存储装置1210上。
计算机系统1200还包括耦接至总线1202的通信接口1218。通信接口1218提供耦合至网络链接1220的双向数据通信，网络链接1220连接至本地网络1222。例如，通信接口1218可以是综合服务数字网(ISDN)卡、线缆调制解调器、卫星调制解调器或用于将数据通信连接提供给相应类型的电话线的调制解调器。作为另一示例，通信接口1218可以是将数据通信连接提供给兼容的局域网(LAN)的LAN卡。也可以实现无线链接。在任何这样的实现中，通信接口1218发送和接收携带有表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。
网络链接1220通常通过一个或更多个网络向其他数据设备提供数据通信。例如，网络链接1220可以通过本地网络1222向主机计算机1224或由因特网服务提供商(ISP)1226操作的数据设备提供连接。ISP1226又通过现在通常被称为“因特网”1228的全球分组数据通信网络提供数据通信服务。本地网络1222和因特网1228二者都使用携带数字数据流的电信号、电磁信号或光信号。向计算机系统1200携带数字数据以及从计算机系统1200携带数字数据的、通过各种网络的信号和网络链接1220上的信号以及通过通信接口1218的信号是传输介质的示例形式。
计算机系统1200可以通过网络、网络链接1220和通信接口1218发送消息和接收包括程序代码的数据。在因特网示例中，服务器1230可以通过因特网1228、ISP1226、本地网络1222和通信接口1218为应用程序发送所请求的代码。
当被接收时，所接收的代码可以由处理器1204执行，和/或存储在存储装置1210或其他非易失性存储器中用于后续执行。
10.等同物、扩展、替代和其他事项
在上述说明书中，已经参照因实现而异的多种具体细节来描述了本发明的示例实施方式。因此，本发明是什么并且申请人意在本发明是什么的唯一并且排他的指示是以其中包括任何后续改正的权利要求发布的具体形式的根据本申请发布的一组权利要求。关于权利要求中包括的术语的本文明确阐述的任何定义可以支配权利要求中所使用的这些术语的含义。因此，在权利要求中没有明确阐述的限制、元素、属性、特征、优点或特性不应当以任何方式限制权利要求的范围。因此，本说明书和附图被认为是说明性的，而非限制性意义。

Claims (47)

1.一种方法，包括：
接收输入视觉动态范围(VDR)图像以及与所述输入VDR图像相关联的输入基本层(BL)图像；
生成包括序列级、帧级或分区级中至少之一的多个语法元素的编码语法；
根据所述编码语法将所述输入BL图像和所述输入VDR图像转换成BL数据和增强层(EL)数据；
将所述编码语法元素转换成参考处理单元(RPU)数据；以及
以BL信号、EL信号和RPU信号输出所述BL数据、所述EL数据和所述RPU数据。
2.根据权利要求1所述的方法，还包括：
至少部分地基于所述编码语法来生成一个或更多个当前RPU数据单元；以及
在所述一个或更多个当前RPU数据单元中确定所述编码语法符合的特定VDR规范。
3.根据权利要求2所述的方法，其中，所述一个或更多个当前RPU数据单元中至少之一包括能够支持多个不同VDR规范中的任意一个规范的数据结构。
4.根据权利要求2所述的方法，还包括：在所述一个或更多个当前RPU数据单元中，将所述编码语法的所述多个语法元素中的至少一个语法元素指示为能够根据所述一个或更多个当前RPU数据单元的一个或更多个其他分区预测。
5.根据权利要求2所述的方法，还包括：在所述一个或更多个当前RPU数据单元中，将所述编码语法中的所述多个语法元素中的至少一个语法元素指示为能够根据先前输入VDR图像以及与所述先前输入VDR图像相关联的先前输入BL图像的一个或更多个先前RPU数据单元预测。
6.根据权利要求5所述的方法，其中，所述输入VDR图像和所述先前输入VDR图像属于输入VDR图像序列，并且其中所述输入VDR图像序列共享序列级的语法元素的共用集合。
7.根据权利要求5所述的方法，其中，所述输入VDR图像和所述先前输入VDR图像属于两个不同的输入VDR图像序列；其中所述两个不同的输入VDR图像序列中的第一序列共享序列级的语法元素的第一共用集合；并且其中所述两个不同的输入VDR图像序列中的第二序列共享序列级的语法元素的不同的第二共用集合。
8.根据权利要求1所述的方法，其中，所述多个语法元素中的至少一个语法元素能够用作序列级、帧级或分区级中的两种或更多种的语法元素。
9.根据权利要求1所述的方法，其中，所述BL数据表示被优化用于在SDR显示器上查看的标准动态范围(SDR)图像。
10.根据权利要求1所述的方法，其中，所述BL数据不表示被优化用于在SDR显示器上查看的标准动态范围(SDR)图像。
11.根据权利要求1所述的方法，其中，所述EL数据包括所述输入VDR图像与基于所述BL数据生成的预测VDR图像之间的残差值。
12.根据权利要求1所述的方法，其中，所述EL数据包括输入VDR图像序列中的两个或更多个输入VDR图像的层间参考图片，并且其中所述两个或更多个输入VDR图像包括所述输入VDR图像。
13.根据权利要求1所述的方法，其中，所述多个语法元素包括下列项中的一个或更多个：参数；系数；主元值；标志，其指示存在或不存在与所述标志相对应的操作；或者包括显示管理元数据的一个或更多个类型的元数据。
14.根据权利要求1所述的方法，其中，所述输入VDR图像包括在输入颜色空间中编码的图像数据，其中所述EL数据包括在输出颜色空间中编码的图像数据，其中至少部分地基于映射数据生成所述EL数据，其中至少部分地基于所述BL数据生成所述映射数据，并且其中所述映射数据包括在映射颜色空间中编码的映射图像数据。
15.根据权利要求14所述的方法，其中，所述输入颜色空间、所述输出颜色空间、所述映射颜色空间或编码颜色空间中的至少两个是不同的。
16.根据权利要求14所述的方法，其中，所述输入颜色空间、所述输出颜色空间、所述映射颜色空间或编码颜色空间中的至少两个是相同的。
17.根据权利要求1所述的方法，其中，所述EL数据包括以第一色度格式编码的图像数据，并且其中所述BL数据包括以不同的第二色度格式编码的图像数据。
18.根据权利要求1所述的方法，其中，所述EL数据包括以色度格式编码的图像数据，并且其中所述BL包括以相同色度格式编码的图像数据。
19.根据权利要求1所述的方法，其中，所述多个语法元素指定以下操作中的一个或更多个：色度重采样操作、逆映射操作、基于非重叠区域的预测操作、基于重叠区域的预测操作、残差非线性量化和去量化操作、残差色度重采样操作、残差空间上采样操作、包括插值的数据处理操作、或显示管理操作。
20.根据权利要求1所述的方法，还包括：将使用一个或更多个输入视频信号表示、接收、发送或存储的一个或更多个输入VDR图像转换成使用一个或更多个输出视频信号表示、接收、发送或存储的一个或更多个输出VDR图像。
21.根据权利要求1所述的方法，其中，所述输入VDR图像包括以以下格式之一编码的图像数据：高动态范围(HDR)图像格式、与电影艺术和科学研究院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字影院倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒体度量(RIMM/ROMM)标准、sRGB颜色空间、RGB颜色空间、或YCbCr颜色空间。
22.一种方法，包括：
以基本层(BL)信号、增强层(EL)信号和参考处理单元(RPU)信号接收BL数据、EL数据和RPU数据，所述BL数据、所述EL数据和所述RPU数据与共用的视觉动态范围(VDR)源图像相关联；
将所述RPU数据解码成包括序列级、帧级或分区级中至少之一的多个语法元素的编码语法；
根据所述编码语法将所述BL数据和所述EL数据转换成重构的VDR图像；以及
输出所述重构的VDR图像。
23.根据权利要求22所述的方法，还包括：
根据一个或更多个当前RPU数据单元确定所述编码语法符合的特定VDR规范；以及
根据所述一个或更多个当前RPU数据单元得出所述编码语法元素的至少一部分。
24.根据权利要求23所述的方法，其中，所述一个或更多个当前RPU数据单元的至少之一包括能够支持多个不同VDR规范中的任意一个规范的数据结构。
25.根据权利要求23所述的方法，还包括：根据所述一个或更多个当前RPU数据单元，将所述编码语法的所述多个语法元素中的至少一个语法元素确定为能够根据所述一个或更多个当前RPU数据单元的一个或更多个其他分区预测。
26.根据权利要求23所述的方法，还包括：根据所述一个或更多个当前RPU数据单元，将所述编码语法的所述多个语法元素中的至少一个语法元素确定为能够根据与先前重构的VDR图像有关的一个或更多个先前RPU数据单元预测。
27.根据权利要求26所述的方法，其中，所述重构的VDR图像和所述先前重构的VDR图像属于重构的VDR图像的序列，并且其中所述重构的VDR图像的序列共享序列级的语法元素的共用集合。
28.根据权利要求26所述的方法，其中，所述重构的VDR图像和所述先前重构的VDR图像属于两个不同的重构VDR图像序列；其中，所述两个不同的重构VDR图像序列中的第一序列共享序列级的语法元素的第一共用集合；并且其中所述两个不同的重构VDR图像序列中的第二序列共享序列级的语法元素的不同的第二共用集合。
29.根据权利要求22所述的方法，其中，所述多个语法元素中的至少一个语法元素能够用作序列级、帧级或分区级中的两种或更多种的语法元素。
30.根据权利要求22所述的方法，其中，所述BL数据表示被优化用于在SDR显示器上查看的标准动态范围(SDR)图像。
31.根据权利要求22所述的方法，其中，所述BL数据不表示被优化用于在SDR显示器上查看的标准动态范围(SDR)图像。
32.根据权利要求22所述的方法，其中，所述EL数据包括VDR图像与基于所述BL数据生成的预测VDR图像之间的残差值。
33.根据权利要求22所述的方法，其中，所述EL数据包括重构的VDR图像的序列中的两个或更多个重构的VDR图像的层间参考图片，并且其中所述两个或更多个重构的VDR图像包括所述重构的VDR图像。
34.根据权利要求22所述的方法，其中，所述多个语法元素包括下列项中的一个或更多个：参数；系数；主元值；标志，其指示存在或不存在与所述标志相对应的操作；或包括显示管理元数据的一个或更多个类型的元数据。
35.根据权利要求22所述的方法，其中，所述重构的VDR图像包括在第一颜色空间中编码的图像数据，其中所述EL数据包括在第二颜色空间中编码的图像数据，其中至少部分地基于从所述BL数据得出的映射数据来生成所述重构的VDR图像，并且其中所述映射数据包括在第三颜色空间中编码的映射图像数据。
36.根据权利要求35所述的方法，其中，所述第一颜色空间、所述第二颜色空间和所述第三颜色空间中的至少两个是不同的。
37.根据权利要求35所述的方法，其中，所述第一颜色空间、所述第二颜色空间和所述第三颜色空间中的至少两个是相同的。
38.根据权利要求22所述的方法，其中，所述EL数据包括以第一色度格式编码的图像数据，并且其中所述BL数据包括以不同的第二色度格式编码的图像数据。
39.根据权利要求22所述的方法，其中，所述EL数据包括以色度格式编码的图像数据，并且其中所述BL包括以相同色度格式编码的图像数据。
40.根据权利要求22所述的方法，其中，所述多个语法元素用信号通知以下操作中的一个或更多个：色度重采样操作、逆映射操作、基于非重叠区域的预测操作、基于重叠区域的预测操作、残差非线性量化和去量化操作、残差色度重采样操作、空间缩放操作、包括插值的数据处理操作、或显示管理操作。
41.根据权利要求22所述的方法，还包括：将使用一个或更多个输入视频信号表示、接收、发送或存储的图像数据转换成使用一个或更多个输出视频信号表示、接收、发送或存储的一个或更多个输出VDR图像。
42.根据权利要求22所述的方法，其中，所述重构的VDR图像包括以以下格式中之一编码的图像数据：高动态范围(HDR)图像格式、与电影艺术和科学研究院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字影院倡导联盟的P3颜色空间标准、参考输入媒体度量/参考输出媒体度量(RIMM/ROMM)标准、sRGB颜色空间、RGB颜色空间、或YCbCr颜色空间。
43.一种执行根据权利要求1至21所述的方法中的任意方法的编码器。
44.一种执行根据权利要求22至42所述的方法中的任意方法的解码器。
45.一种执行根据权利要求1至42所述的方法中的任意方法的系统。
46.一种系统，包括：
被配置成执行以下操作的编码器：
接收输入视觉动态范围(VDR)图像以及与所述输入VDR图像相关联的输入基本层(BL)图像；
生成包括序列级、帧级或分区级的多个语法元素的编码语法；
根据所述编码语法将所述输入VDR图像和所述输入BL图像转换成BL数据和增强层(EL)数据；
将所述编码语法转换成参考处理单元(RPU)数据；以及
以BL信号、EL信号和RPU信号输出所述BL数据、所述EL数据和所述RPU数据，
被配置成执行以下操作的解码器：
以所述BL信号、所述EL信号和所述RPU信号接收所述BL数据、所述EL数据和所述RPU数据；
将所述RPU数据解码成包括序列级、帧级或分区级的所述多个语法元素的所述编码语法；
根据所述编码语法将所述BL数据和EL数据转换成重构的VDR图像；以及
输出所述重构的VDR图像。
47.一种存储软件指令的非暂态计算机可读介质，当由一个或更多个处理器执行时，所述软件指令使得执行根据权利要求1至42所述的方法中的任意方法的步骤。
CN201280066010.4A 2012-01-03 2012-12-18 视频编码方法、视频解码方法、编码器、解码器以及系统 Active CN104041036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711327187.6A CN107896332B (zh) 2012-01-03 2012-12-18 用于生成高动态范围图像的解码器、方法以及存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261582614P 2012-01-03 2012-01-03
US61/582,614 2012-01-03
PCT/US2012/070397 WO2013103522A1 (en) 2012-01-03 2012-12-18 Specifying visual dynamic range coding operations and parameters

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711327187.6A Division CN107896332B (zh) 2012-01-03 2012-12-18 用于生成高动态范围图像的解码器、方法以及存储介质

Publications (2)

Publication Number Publication Date
CN104041036A true CN104041036A (zh) 2014-09-10
CN104041036B CN104041036B (zh) 2018-02-02

Family

ID=47436287

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280066010.4A Active CN104041036B (zh) 2012-01-03 2012-12-18 视频编码方法、视频解码方法、编码器、解码器以及系统
CN201711327187.6A Active CN107896332B (zh) 2012-01-03 2012-12-18 用于生成高动态范围图像的解码器、方法以及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711327187.6A Active CN107896332B (zh) 2012-01-03 2012-12-18 用于生成高动态范围图像的解码器、方法以及存储介质

Country Status (8)

Country Link
US (2) US10136162B2 (zh)
EP (1) EP2801192B1 (zh)
JP (2) JP5989800B2 (zh)
KR (2) KR101697149B1 (zh)
CN (2) CN104041036B (zh)
HK (2) HK1203013A1 (zh)
TW (2) TWI556629B (zh)
WO (1) WO2013103522A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079154A (zh) * 2014-11-05 2017-08-18 苹果公司 向后兼容的hdr视频多层压缩技术
CN107211152A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于对高动态范围（hdr）视频进行编码和解码的方法和装置
CN107211076A (zh) * 2015-01-19 2017-09-26 杜比实验室特许公司 高动态范围视频的显示管理
CN107211142A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 对彩色图像进行解码的方法和设备
CN107409210A (zh) * 2015-01-30 2017-11-28 汤姆逊许可公司 匹配不同动态范围的彩色图片之间的色彩的方法和设备
CN107852511A (zh) * 2015-07-16 2018-03-27 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备
CN113170156A (zh) * 2018-10-09 2021-07-23 V-诺瓦国际有限公司 利用多个分辨率的分层编码方案中的信号元素编码格式兼容性
CN113593500A (zh) * 2016-05-27 2021-11-02 杜比实验室特许公司 在视频优先级与图形优先级之间转换
CN113767424A (zh) * 2019-02-27 2021-12-07 3 形状股份有限公司 使用沙漏预测器生成对象的方法
CN113906749A (zh) * 2019-04-30 2022-01-07 北京达佳互联信息技术有限公司 色度残差联合编码方法和装置
WO2024000532A1 (zh) * 2022-06-30 2024-01-04 北京小米移动软件有限公司 一种ai模型的传输方法及其装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US20140307803A1 (en) * 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
TWI676389B (zh) * 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
TWI555392B (zh) 2013-07-30 2016-10-21 杜比實驗室特許公司 用於產生場景穩定的元資料之系統和方法
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
TWI646828B (zh) * 2013-09-03 2019-01-01 日商新力股份有限公司 解碼裝置及解碼方法、以及編碼裝置及編碼方法
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
KR102113710B1 (ko) * 2014-01-07 2020-05-21 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들을 인코딩하고, 디코딩하고, 표현하기 위한 기법들
US10123019B2 (en) 2014-02-13 2018-11-06 Dolby Laboratories Licensing Corporation Piecewise inter-layer prediction for signals with enhanced dynamic range
US11032553B2 (en) 2014-02-26 2021-06-08 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
US9948933B2 (en) * 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックＩｐマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
CN111654697B (zh) 2015-01-30 2022-07-19 交互数字Vc控股公司 对彩色画面进行编码和解码的方法和装置
US10148969B2 (en) * 2015-02-11 2018-12-04 Qualcomm Incorporated Of sample entry and operation point signalling in a layered video file format
KR101954851B1 (ko) 2015-02-16 2019-03-06 삼성전자주식회사 메타데이터 기반 영상 처리 방법 및 장치
JP6320644B2 (ja) * 2015-02-17 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション エンハンストダイナミックレンジを備える信号のための階層間予測
US20160286224A1 (en) * 2015-03-26 2016-09-29 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
EP3076669A1 (en) * 2015-04-03 2016-10-05 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding
JP6383116B2 (ja) * 2015-04-06 2018-08-29 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像符号化における、ループ内ブロックベース画像再構成
WO2016171510A1 (ko) * 2015-04-24 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US20180146190A1 (en) * 2015-06-08 2018-05-24 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
EP3104609A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
CN108353190B (zh) * 2015-11-02 2021-01-12 杜比实验室特许公司 用于生成视频数据的装置、方法和计算机可读存储媒体
GB2547934B (en) 2016-03-03 2021-07-07 V Nova Int Ltd Adaptive video quality
WO2017190995A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function.
WO2017190985A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
JP6769231B2 (ja) * 2016-10-17 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10609367B2 (en) * 2016-12-21 2020-03-31 Qualcomm Incorporated Low-complexity sign prediction for video coding
TWI723123B (zh) * 2017-01-23 2021-04-01 香港商斑馬智行網絡（香港）有限公司 圖像融合的方法、裝置和設備
KR20190118660A (ko) * 2017-04-06 2019-10-18 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN110868604B (zh) 2018-08-28 2023-04-11 北京字节跳动网络技术有限公司 与扩展四叉树相关的分割的二值化
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
WO2020156454A1 (en) * 2019-01-31 2020-08-06 Mediatek Inc. Method and apparatus of transform type assignment for intra sub-partition in video coding
CN113632481B (zh) * 2019-03-15 2023-12-26 寰发股份有限公司 色度残差缩放的延迟降低方法和装置
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN111337133B (zh) * 2020-03-02 2021-08-03 浙江大华技术股份有限公司 红外数据的生成方法及装置、解析方法及装置
EP4341903A1 (en) 2021-05-21 2024-03-27 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
WO2023033991A1 (en) 2021-08-30 2023-03-09 Dolby Laboratories Licensing Corporation Reshaper for learning-based image/video coding
KR20240056752A (ko) * 2021-09-09 2024-04-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 모바일 애플리케이션들에서의 hdr 비디오를 위한 텐서-곱 b-스플라인 예측

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622878A (zh) * 2007-01-10 2010-01-06 汤姆逊许可公司 用于实现位深度可分级性的视频编码方法和视频解码方法
CN101822055A (zh) * 2007-10-15 2010-09-01 汤姆森许可贸易公司 可缩放视频的层间残差预测的方法和设备
US20110090959A1 (en) * 2008-04-16 2011-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bit-depth scalability
US20110194618A1 (en) * 2009-03-13 2011-08-11 Dolby Laboratories Licensing Corporation Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video
US20110228855A1 (en) * 2006-12-25 2011-09-22 Yongying Gao Device for Encoding Video Data, Device for Decoding Video Data, Stream of Digital Data

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
JP2006135521A (ja) * 2004-11-04 2006-05-25 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US8867618B2 (en) * 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
WO2008019524A1 (en) 2006-07-17 2008-02-21 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
CN101507280B (zh) * 2006-08-25 2012-12-26 汤姆逊许可公司 用于降低分辨率划分的方法和装置
EP2084913B1 (en) 2006-10-25 2019-02-20 GE Video Compression, LLC Quality scalable coding
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
EP2418851A3 (en) * 2006-12-21 2012-05-23 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
WO2008130367A1 (en) * 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP4687918B2 (ja) * 2007-07-24 2011-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2009023091A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
KR101365596B1 (ko) 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
KR101365597B1 (ko) 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8542748B2 (en) * 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
CN102132562B (zh) * 2008-07-16 2014-10-22 西斯威尔国际有限公司 用于轨道和轨道子集归组的方法和设备
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
TW201032597A (en) * 2009-01-28 2010-09-01 Nokia Corp Method and apparatus for video coding and decoding
CN102388611B (zh) * 2009-02-11 2015-08-19 汤姆森特许公司 使用色调映射和反色调映射的比特深度可分级视频编码和解码的方法和装置
US20100226437A1 (en) * 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
US8787449B2 (en) 2010-04-09 2014-07-22 Sony Corporation Optimal separable adaptive loop filter
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US9282314B2 (en) * 2011-02-24 2016-03-08 Vixs Systems, Inc. Stereoscopic video processing with separable 2D filter
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228855A1 (en) * 2006-12-25 2011-09-22 Yongying Gao Device for Encoding Video Data, Device for Decoding Video Data, Stream of Digital Data
CN101622878A (zh) * 2007-01-10 2010-01-06 汤姆逊许可公司 用于实现位深度可分级性的视频编码方法和视频解码方法
CN101822055A (zh) * 2007-10-15 2010-09-01 汤姆森许可贸易公司 可缩放视频的层间残差预测的方法和设备
US20110090959A1 (en) * 2008-04-16 2011-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Bit-depth scalability
US20110194618A1 (en) * 2009-03-13 2011-08-11 Dolby Laboratories Licensing Corporation Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079154A (zh) * 2014-11-05 2017-08-18 苹果公司 向后兼容的hdr视频多层压缩技术
CN107079154B (zh) * 2014-11-05 2020-02-21 苹果公司 向后兼容的hdr视频多层压缩技术
US9961237B2 (en) 2015-01-19 2018-05-01 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
CN107211076A (zh) * 2015-01-19 2017-09-26 杜比实验室特许公司 高动态范围视频的显示管理
CN107211076B (zh) * 2015-01-19 2018-10-30 杜比实验室特许公司 用于高动态范围视频的显示管理的方法、装置和存储介质
CN107409210A (zh) * 2015-01-30 2017-11-28 汤姆逊许可公司 匹配不同动态范围的彩色图片之间的色彩的方法和设备
US11647213B2 (en) 2015-01-30 2023-05-09 Interdigital Vc Holdings, Inc. Method and device for decoding a color picture
CN107211142A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 对彩色图像进行解码的方法和设备
US10666990B2 (en) 2015-01-30 2020-05-26 Interdigital Vc Holdings, Inc. Method and device for matching colors between color pictures of different dynamic range
CN107211152A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于对高动态范围（hdr）视频进行编码和解码的方法和装置
CN107211142B (zh) * 2015-01-30 2020-10-02 交互数字Vc控股公司 对彩色图像进行解码的方法和设备
US11317108B2 (en) 2015-01-30 2022-04-26 Interdigital Vc Holdings, Inc. Method and device for decoding a color picture
CN107852511A (zh) * 2015-07-16 2018-03-27 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
US11800151B2 (en) 2015-07-16 2023-10-24 Dolby Laboratories Licensing Corporation Signal reshaping and coding for HDR and wide color gamut signals
CN113593500A (zh) * 2016-05-27 2021-11-02 杜比实验室特许公司 在视频优先级与图形优先级之间转换
CN113593500B (zh) * 2016-05-27 2024-02-13 杜比实验室特许公司 图形数据融合方法、数据映射方法、以及设备
CN113170156A (zh) * 2018-10-09 2021-07-23 V-诺瓦国际有限公司 利用多个分辨率的分层编码方案中的信号元素编码格式兼容性
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备
US11887209B2 (en) 2019-02-27 2024-01-30 3Shape A/S Method for generating objects using an hourglass predictor
CN113767424A (zh) * 2019-02-27 2021-12-07 3 形状股份有限公司 使用沙漏预测器生成对象的方法
CN113906749B (zh) * 2019-04-30 2023-05-23 北京达佳互联信息技术有限公司 色度残差联合编码方法和装置
CN113906749A (zh) * 2019-04-30 2022-01-07 北京达佳互联信息技术有限公司 色度残差联合编码方法和装置
WO2024000532A1 (zh) * 2022-06-30 2024-01-04 北京小米移动软件有限公司 一种ai模型的传输方法及其装置

Also Published As

Publication number Publication date
JP6219464B2 (ja) 2017-10-25
CN107896332B (zh) 2019-11-15
KR20140120320A (ko) 2014-10-13
US10587897B2 (en) 2020-03-10
HK1251970A1 (zh) 2019-05-10
HK1203013A1 (zh) 2015-10-09
US10136162B2 (en) 2018-11-20
EP2801192A1 (en) 2014-11-12
TWI556629B (zh) 2016-11-01
EP2801192B1 (en) 2018-09-26
US20170164008A1 (en) 2017-06-08
CN107896332A (zh) 2018-04-10
CN104041036B (zh) 2018-02-02
JP5989800B2 (ja) 2016-09-07
WO2013103522A1 (en) 2013-07-11
TWI606718B (zh) 2017-11-21
JP2016208542A (ja) 2016-12-08
KR20160029134A (ko) 2016-03-14
TW201347542A (zh) 2013-11-16
TW201642656A (zh) 2016-12-01
JP2015503873A (ja) 2015-02-02
US20140341305A1 (en) 2014-11-20
KR101697149B1 (ko) 2017-01-17

Similar Documents

Publication Publication Date Title
CN104041036A (zh) 指定视觉动态范围编码操作及参数
EP3334153B1 (en) Reference frame decoding method
AU2021240264B2 (en) Video picture prediction method and apparatus
JP7332703B2 (ja) クロマサブブロックのアフィンベースのインター予測のための方法及び装置
CN105052143A (zh) 对多层vdr译码中的感知量化的视频内容进行编码
US11677987B2 (en) Joint termination of bidirectional data blocks for parallel coding
CN103875245A (zh) 分层信号解码和信号重构
CN110754085B (zh) 用于非4:4:4格式视频内容的颜色重映射
CN111107367B (zh) 块分割方法和装置
JP7277586B2 (ja) モードおよびサイズに依存したブロックレベル制限の方法および装置
CN112637679B (zh) 视频编解码方法和装置、计算机设备和存储介质
CN113853791B (zh) 数字视频中的变换旁路编解码残差块
KR20210068542A (ko) 보간 필터를 사용하는 인트라 예측을 위한 방법 및 장치
KR20230149344A (ko) 비디오 픽처 디코딩 및 인코딩 방법 및 장치
WO2022171042A1 (zh) 一种编码方法、解码方法及设备
US11445181B2 (en) Method and apparatus for predicting most probable intra-modes
JP7286782B2 (ja) 幾何学的区分けモードのためのサンプルの距離の計算
CN111107378B (zh) 分割信息的信令通知
RU2814812C2 (ru) Выведение веса выборки цветности для геометрического режима разделения
KR20230111256A (ko) 비디오 인코딩 및 디코딩 방법과 시스템, 비디오 인코더및 비디오 디코더

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20140910

Assignee: Dongguan de video technology Co. Ltd. Kit

Assignor: Dolby International AB|Dolby Laboratories Licensing Corp.

Contract record no.: 2016990000507

Denomination of invention: Specifying visual dynamic range coding operations and parameters

License type: Common License

Record date: 20161216

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant