CN107211079A - 用于图像和视频的动态范围编码 - Google Patents

Abstract

为了获得良好又易于使用的照度动态范围转换，我们描述了一种包括图像颜色处理装置（200）的HDR视频解码器（250），所述图像颜色处理装置被布置为将输入图像（Im_in）的像素的输入颜色（Y’UV_LDR）变换成输出图像（Im_res;REC_HDR）的像素的红、绿和蓝色分量输出颜色（R’o,G’o,B’o），所述输入图像具有第一照度动态范围（DR_1），所述输出图像具有第二照度动态范围（DR_2），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度至多2倍低，或者反之，所述HDR视频解码器（250）包括被布置为应用三段明亮度重新分级曲线的粗糙映射单元（202；552），所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

Description

用于图像和视频的动态范围编码

技术领域

本发明涉及使能够将第一照度动态范围的图像或者图像的视频转换成第二照度动态范围（其在下面的实施例中的多数实施例中将是在编码侧低于输入图像的第一范围并且在解码侧高于输入图像的第一范围的）的图像或者视频的装置和方法和产生的例如是数据存储装置（例如，蓝光盘）或者传输产品或者信号这样的产品，特别地，所述转换从主高动态范围（HDR）图像（例如，1000 nit峰值明亮度，这是其关联的参考显示器的峰值明亮度）开始，这可以不是限制性的，例如是利用由颜色分级器定义的特定的颜色外表创造的主HDR分级或者为广播准备就绪的原始电视节目捕获等；并且然后经由第二动态范围图像或者特别地图像的集合（视频）进行编码和通信，第二动态范围图像或者特别地图像的集合（视频）是与输入主图像不同的另一个动态范围上被编码的，并且可以例如典型地被编码为标准动态范围图像（SDR；其通过旧有Rec. 709 OETF被定义；并且被分级以便在100 nit峰值明亮度（PB）参考监视器上看起来是最优的），或者还有任何LDR（低动态范围）图像编码；以及，在任何图像通信系统的另一侧处对应的图像或者视频解码器以产生例如适合于在接收侧可用的3000 nit PB的HDR显示器上渲染的经解码的图像。所述方法和装置实施例特别地适合于任何需要能够处置比旧有（LDR）视频编码（其在本文中也可以被称为标准SDR编码）高的照度需求的视频编码（分别地，解码）。SDR（LDR）视频编码将典型地利用Rec. 709 EOTF被编码，Rec. 709 EOTF与具有大约100 nit的标准值的峰值明亮度和0.1 nit的黑阶的典型LDR显示能力很好地匹配，并且我们将假设将利用那些标准值执行LDR分级。高动态范围图像是任何不可仅借助于旧有SDR编码（尽管工具和装置中的一些工具和装置如下面阐述的那样在合适的地方可以被重用）来编码的图像，因为它典型地具有较高图像质量特性，特别地，图像的峰值明亮度可能是更高的（是100 nit至少2倍高，但用于典型的更高质量的HDR图像，例如为1000 nit PB或者5000 nit PB等）。假设我们未提到关于照度动态范围的低端的任何进一步的细节，则心照不宣地假设，至少对于理解本申请的实施例，技术人员可以假设其是0 nit。

背景技术

最近，一些非常不同的显示器已出现在市场上，特别是具有非常不同的峰值明亮度的电视信号接收显示器（电视机）。而在过去，所谓的旧有低动态范围（LDR）显示器的峰值明亮度（PB）相差最多大约2倍（80与150 nits之间的某处），最近的向越来越高的峰值明亮度的倾向已导致产生所谓的1000 nit及以上的高动态范围（HDR）的电视机和5000 nit PB的显示器等，并且已假设不久各种这样的更高PB的显示器将上市。甚至在电影院中，人们正在考虑增大被观看者感知的极限明亮度动态范围的方法。相比于100 nit LDR标准旧有TV，例如，2000 nit显示器具有20倍之多的峰值明亮度，这总计多于4个额外的停止点可用，即，更多的用于渲染各种图像中的更明亮的对象的方法。另一方面，假设人们也使用新一代HDR图像生成或者捕获系统，这允许对HDR场景或者效果的好得多的渲染。例如，取代对建筑物或者车辆外部的阳光充足的世界进行（软）剪辑（如将在旧有LDR分级中发生的），人们可以使用HDR TV色域的照度轴上的额外的可用明亮度来显示明亮并且多彩的外部区域。这意味着我们将称为非限制性颜色分级机（但是他可以以各种方式被体现，例如，在实况电视制造中某人在某些时候或许仅调整影响某些颜色属性的单个表盘，这样的颜色属性特别地是编码的颜色属性）的内容创造者有余地来制作非常漂亮的专用HDR图像或者视频内容（典型地更明亮，可能更对比强烈，并且更多彩）。然而另一方面，这产生问题：LDR图像编码被相对设计为从白色开始并且根据18%反射的中等灰度被很好地照亮，这意味着典型地例如100 nit的相对低PB的5%以下的被显示器渲染的亮度将典型地由于难以辨别深灰色或者甚至取决于周围照度而被观看者看作不可辨别的黑色。在5000 nit显示器上，对于该最优地经分级的HDR图像将不存在任何问题：5000 nit的5%仍然有250 nit，因此这将例如看起来像正常的内部，并且像例如是灯、接近这样的灯的即被明亮地照亮的区域这样的照度范围的最高95%可以纯被用于HDR效果。但在LDR上，对该HDR分级的渲染将变成完全错误的（因为它也不是针对这样的显示器被创造的），并且观看者例如可能仅看见接近黑色的区域上的与最明亮的区域相对应的热点。

一般地，对于针对足够不同（PB上至少2倍不同）的显示器创造最优的图像需要重新分级。该情况将在以下两者时候发生：对用于较低动态范围显示器的图像进行重新分级以使它适合于在较高动态范围显示器上的渲染（这将是升级，例如，1000 nit参考显示器输入图像，即，其将在1000 nit PB实际显示器上看起来是最优的，其然后被进行颜色处理以便在5000 nit PB的实际显示器上进行渲染），作为相反方向，即，使图像降级以使得它将适合于在具有比与被编码为视频图像（并且，所述图像典型地以某种方式被传送到接收侧）的分级相关联的参考显示器低的PB的实际显示器上显示。出于简洁的考虑，我们将仅描述在其中一个或多个HDR图像将被降级到LDR的场景。

HDR技术（借此我们指应当能够处置至少某些HDR图像的技术，这样的HDR图像可以具有相当的复杂度，即，例如10000 nit的高峰值明亮度，但其也可以与LDR图像或者中等动态范围图像等一起工作）将渗入将需要能够以不同的方式处置各种方面的技术的消费者和专业两者用途（例如，照相机、像蓝光播放器、电视机、计算机软件、投影系统、安全性或者视频会议系统这样的数据处置设备等）的各种领域。

在Wo2013/144809（以及WO2014/056679）中，申请人一般地阐述了用于执行颜色处理的技术，其用于产生适合于不同于与输入图像（Im-in）相关联的参考显示器动态范围的另一个显示器动态范围（典型地，PB足够表征不同的显示器动态范围以及因此被最优地分级的图像的特性，因为对于若干场景，人们可以忽略黑点，并且务实地假设其是0）的图像（Im_res），即，其基本阐述了针对其图像被创造为看起来最优的显示器的PB，这形成在下面被阐明的用于对其进行改进的发明的良好的现有技术。我们在图1中再次简洁地重新阐述了所述原理。然而，读者应当理解，现有技术示例的属性中的一些属性是在本发明的实施例的上下文中相关的，并且一些不存在于一般HDR编码中，并且不是对本发明的实施例和教导的限制，因为可以与这样的各种HDR视频（或者图像）编解码器技术一起工作。

特别地，相关的是人们具有一个场景上的两个不同动态范围的外表，这两个是经由颜色变换与彼此相关的（例如，如图4阐明的，人们可以选择显著降低街道灯的照度或者等价地降低其亮度（其是在例如典型地10或者12 bit表示中对对应的亮度进行编码的代码），并且将全部这样的高照度图像对象塞进照度的LDR范围的小的子范围中）。尽管我们的实施例也可以在向任何接收侧传送主HDR图像的某种代码化的系统中工作，但我们在下面的阐明中将假设我们使用取代HDR图像而传送LDR分级但连同元数据的实施例，元数据对颜色变换函数（其中的一些可以在色度平面中工作，但我们主要聚焦于照度变换）进行编码，从而允许接收器重新计算HDR场景的主HDR经分级图像（Im_in_HDR）的最接近的重构。这允许具有HDR能力的接收器在被连接的HDR显示器上渲染HDR图像，但也允许为仍然具有LDRtv或者计算机监视器、投影器、便携式显示器等的人的对旧有LDR图像的渲染。

该原理一般地是适用的（可信赖的），即，不应当假设的是与输入图像或者输出图像或者颜色处理正在其中发生的颜色空间的颜色格式有关的任何特定的限制，特比地在现有技术提到一些具体的线性RGB处理的地方，对于本文，我们明确地声明，我们发明了并且描述一些非线性的颜色空间处理和基于其的编码策略。

输入图像Im_in的各种像素被颜色变换器100（在这里我们假设其位于视频编码器中，获得将被编码的HDR视频作为输入，并且输出LDR图像，然而LDR图像仍然最优地也包含HDR信息，但采用经重新分级的LDR的外表）连续地进行颜色处理（通过由乘法器104将它们的线性RGB值乘以乘法因子（a））以便获得输出图像Im_res中的像素的输出颜色RsGsBs。乘法因子是根据某个色调映射规范建立的，这样的色调映射规范典型地可以由人类颜色分级机创造，但也可以来自对图像的特性（例如，直方图或者像面部这样的特殊对象的颜色属性等）进行分析的自动转换算法。映射函数可以粗糙地是例如伽马类的，使得较暗的颜色被提升（其被需要以使它们变得更明亮并且更对比强烈以便在LDR显示器上渲染），代价是明亮区域的对比度降低，这将在LDR显示器上变成彩画的（pastelized）。分级机可能进一步已识别像面部这样的某个特殊对象，对于该特殊对象的照度，他已在曲线中创造增加了的对比度部分。具体地说，该曲线被曲线应用单元102（其可以廉价地是例如LUT，其可以典型地在已接收例如是伽马因子这样的对映射的函数形状进行编码的参数之后在执行颜色处理的接收侧处例如每图像镜头地被计算）应用于被称为M的每个像素的R、G和B颜色分量的最大值（由最大值评估单元101确定），但如果M是照度或者像例如是亮度或者照度的1/N次幂等这样的照度或者明亮度的某个非线性的表示，其中，N是例如某个整数，则相同的原理也可以工作。然后，乘法因子计算单元103对于每个当前被处理的像素计算合适的乘法因子。如果图像将在比方例如100 nit LDR显示器这样的第一目标显示器上被渲染，则这可以例如是被应用于M的色调映射函数F的输出即F(M)除以M。如果需要针对例如中间显示器的图像，这样的中间显示器例如是800 nit PB的（或者另一个值，可能高于HDR输入图像Im_in的参考显示器PB），则可以对F(M)/M应用进一步的函数G，其将输入颜色的乘法映射的量重新缩放到适合于该图像适合于的显示器动态范围的值（不论其被直接渲染在显示器上还是被传送或者存储在某个存储器中以便稍后使用）。这是将可能相当复杂的某种明亮度变换表示为乘法的方式。尽管我们为了阐明本发明的背景知识而提到的现有技术可以典型地乘以线性RGB分量，但我们强调，本发明的实施例也可以对例如是经Rec. 709 OETF变换的R’G’B’分量或者典型地具有例如是½这样的小于1的幂值的R、G和B的幂这样的非线性的典型地例如是RGB颜色表示这样的RGB分量起作用。

我们迄今为止已描述的部分构成全局颜色处理。这意味着，处理可以仅基于像素的连续集合的颜色（并且我们将仅聚焦于那些颜色的照度）的特定的值被完成。因此，如果人们仅从例如图像的圆形子选择内的像素的集合获得像素，则颜色处理可以根据上面阐述的原理被完成。然而，由于人类视觉是非常相对的，也是在空间上相对的，因此，关于图像中的其它对象的色度学属性对对象的颜色和明亮度进行评判（并且也是鉴于各种技术限制），更高级的HDR编码系统具有执行局部处理的选项。在某个（些）图像中，人们想要隔离像灯或者面部这样的一个或多个对象，并且对该对象执行专用的处理。然而，再次强调一点，在这里呈现的技术中，这构成对可以从主分级的像素的图像导出的至少一个另外的分级（这里，从HDR导出的LDR）的编码的部分，不仅是某种隔离的颜色处理。由于市场上的较简单的变型将不使用局部处理（尽管其是在概念上相似的，但导致缺席更复杂的集成电路），并且下面的原理可以在没有那些细节的情况下被阐述，我们将不进一步详述该方面。

主分级或者导出的分级可以作为对空间结构即被成像的场景的对象进行编码的图像被实际上传送到接收侧，并且如果对两个外表之间的关系进行编码的颜色变换函数也在元数据中被传送，则然后可以在接收侧处重新计算其它分级。即，假设HDR图像已被接收，则如果需要，例如需要通过对LDR图像进行解码来重构颜色处理，或者反之，假设LDR图像的外表的对已被传送或者存储，则需要HDR图像的重构。局部处理原理在编码技术中被使用的事实具有技术含义，特别是人们需要基本数学处理方法的简单集合，因为领域中的全部解码IC或者软件需要实施此，并且以可承担的价格为代价，需要能够理解编码并且创造解码器LDR图像。

在为各种图像或者视频使用市场设计实际上有用的编码技术时，技术限制在于，从IC角度（因为廉价的装置也可能需要简单的IC或者IC的区域部分或者软件）看，编码功能工具应当是很少的并且被智能地选择的，以便执行对于场景上的各种动态范围外表图像的创造和编码最被需要的操作（使得任何“分级机”或者任何内容创造变型中的内容创造者获得创造HDR/LDR图像外表对的期望的结果（足够接近他的期望）和用于其存储或者传送的对应的编码）。另一方面，伴随此的另一个问题在于，采用上面阐述的哲学的情况下，其中，例如人类颜色分级机指定如由例如LDR图像编码的重新分级和用于在任何接收侧接收器处重新分级为合适的HDR图像的函数，在针对给定的场景的特定的外表的最优参数的集合中，分级机必须还具有正确的分级/编码工具，并且按照正确的次序，使得他可以方便地与它们一起工作（他不仅需要获得期望的颜色外表的良好精度，他还需要利用尽可能少的操作完成此，以便快速并且高效地获得他想要的外表，因为时间也是至关重要的）。需要以优雅的方式规定约束的该双重对手集合。此外，假设LDR图像被传送到接收器，则甚至存在必须查看的第三准则，并且像下面这样的技术方案必须至少大体上满足，即，在已设计某个（些）LDR外表图像时，由接收器HDR解码器对HDR图像的重构必须仍然是具有足够的精度的，使得也具有产生的最优的技术装置单元对于通用HDR编码器和解码器的影响，如它们被发明的那样。

Hattori等人的“HLS: SEI message for Knee Function Information”，16.JCT-VC MEETING；9-1-2014，圣何塞，描述了一种用于基于一个或多个膝点指定多达例如场景白色水平的1200%（即，多达1200 nit的码）的输入动态范围上的输入HDR照度与LDR亮度之间的关系的新SEI消息。膝点是解决这样的问题的诀窍：数字传感器在根据平均灰色世界假设被照亮时，具有对仅比场景白明亮一些（其将是场景平均灰色亮大约5倍明亮）的场景对象进行硬剪辑的有问题的倾向。该想法将是这样的：如果人们具有更好的传感器，该传感器对于较暗的场景照度具有较少的噪声，则人们可以使场景有一些曝光不足，允许对例如多达4倍场景白的比场景白更明亮（例如，最优场景照射下的新娘的白礼服）的各种场景照度的辨别（而非直率地对例如1.2倍以上场景白的一切进行剪辑以便将白、亮度Y’=255编码在8比特中）。当然，在照相机传感器中准确地捕获这样的更明亮的场景照度仅是解决方案的一部分，因为在计算用于消费（例如，用于以良好的图像质量在SDR 100 nit PB显示器上渲染）的SDR图像时，人们仍然需要用于将实际的8比特亮度码分配给模拟传感器确定（相对于最大静止可记录场景照度或者1.0）的场景照度的诀窍。仅压缩SDR输出亮度轴上的全部颜色以便能够适应4倍或者甚至12倍上限将不是优雅的解决方案，因为然后也应当被充分曝光以便变得充分可见的较暗的对象可能对于良好的SDR图像质量来说是太暗的。因此，人们提出了这样的技术：保持较暗的亮度的经典（Rec. 709）亮度分配直至膝点并且在该膝点以上人们使用经更多压缩的、典型地对数的亮度码分配策略，使得取决于膝点的位置，输入照度的大得多的上限（例如，1倍场景白到4倍场景白的值域）可以被映射为例如上限10%的亮度码的上限（或者，假设人们想要将比场景白明亮很多的照度塞进SDR图像，则可以选择亮度范围的50%处的膝点，即，8比特中的128或者10比特中的512，但然后图像尽管仍然是可观看的，但其颜色外表可能开始显著地恶化）。Hattori介绍了一种用于向解码器快速传达全部所需信息的切实可行的技术和方式，解码器在接收SDR图像时需要该信息来基于一个或多个这样的膝点应用逆函数以便执行对HDR图像的重构。膝机制不是用于准确地控制SDR图像的外表的良好的方式。但其是一种简单的方式以利用简单快速的函数使较高动态范围（input_d_range）弯曲，该简单快速的函数连续地将较高明亮度子范围弯曲到SDR亮度的较小子范围中（假设这不会有问题，如果人们具有像例如可以具有漂亮明亮的灰色值的云这样的例如最明亮的区域中的重要的图像内容，则这不必为真，该重要的图像内容可能被膝函数的错误的简单对数部分破坏），特别是在指定场景白以上的多达多少倍照度应当仍然可编码的Kx因子不太高时（即，中等的高动态范围场景）。明显的是，本文档不教导简单的高度可用的粗糙分级函数，这样的函数特别在人类分级机想要精确地最优化图像的外表时是可用的（与Hattori相反，Hattori仅是对某种合理地工作的照度到亮度（luminance-to-luma）映射的数学上的指定，该数学指定可以被任何自动化装置盲目地使用，因为其唯一目的是仅对HDR外表图像进行编码，即在接收侧处是可重构的，而并不必要地并且在艺术上是最佳外表的SDR图像，申请人想要设计一种系统，尽管在某些实施例中也（半）自动地工作，但也应当以相同的编码原理迎合具有艺术上精确的迫切需要物的市场，这样的迫切需要物像由人类颜色分级机对好莱坞电影执行的准确的颜色分级）。更具体地，甚至在对HDR场景图像的精确的暗和明亮子区域的控制也不被教导时，明显不存在对抛物线中段的教导，Hattori也不启发做需要达到这样的实现的HDR研究。

US 2015/010059也包含作为SEI图像教导被传送的该相同的膝点曲线（模型3：轴点的数量），并且还包含对S曲线的教导，S曲线仅是另一种可能的HDR到SDR映射曲线，该曲线是与本申请的教导不相关的。

Zicong Mai等人：“Optimizing a Tone Curve for Backward-Compatible HighDynamic Range Image and Video Compression”，IEEE Transactions on imageprocessing，卷20，编号6，2011年6月，也是一种用于实际上作为SDR图像传送可重构的HDR图像的方式，但是是以非常不同的方式传送，即，通过计算图像最优的映射函数形状，该映射函数形状是基于输入图像的照度直方图确定的（以便不将太少的码分配给大区域，这可能引入条带，见图3）。

WO2014/178286再次也是膝型编码器（图3），允许在SDR码中包括比场景白稍微更明亮的场景照度（N倍）。这然后可以被用于在HDR显示器上渲染HDR图像（其恰当地使最明亮的对象明亮），该HDR显示器具有是SDR显示器N倍明亮的峰值明亮度，例如，在N是8或者10时（图7）。

WO 2014/128586也包含用于作为SDR图像传送HDR场景的HDR图像的各种技术教导，所述SDR图像可用于指导已被大量部署在观看者的场所处的旧有SDR显示器上的渲染。其教导，有时图像专用的经高度定制的照度映射曲线形状可能是有用的（图8），但不教导任何像这样的事情：本发明的粗糙函数在利用对应的经分级的SDR技术被协同传送的实际HDR中是特别有用的函数。

现有技术中没有任何一项技术甚至在本申请的优雅简单的HDR编码系统的方向上进行启发，本申请的优雅简单的HDR编码系统出于全部实践目的甚至允许关键的颜色分级机高效地达到良好质量的SDR图像。

发明内容

上面的具有一种在实践上可用的编码系统的问题被HDR视频解码器（250）解决，所述的编码系统既是对于IC以视频速度运行它在计算上足够简单的，而又是对于分级机指定用于在任何预期的显示器上（至少在HDR显示器上，以及另一个，典型地是旧有LDR显示器，但编码优选地在至少HDR外表针对其被编码的HDR显示器与LDR外表针对其被协同编码的LDR显示器之间的一系列的显示器上看起来良好，所述协同编码是借助于指定从HDR图像开始的功能性重新分级颜色变换的参数执行的，两者图像都典型被定义为被缩放到[0,1]的10比特字）显示的任何详细颜色外表足够通用并且便利的，所述HDR视频解码器（250）包括图像颜色处理装置（200），所述图像颜色处理装置（200）被布置为将输入图像（Im_in）的像素的输入颜色（Y’UV_LDR）变换成输出图像（Im_res; REC_HDR）的像素的红、绿和蓝色分量输出颜色（R’o, G’o, B’o），所述输入图像具有第一照度动态范围（DR_1），所述输出图像具有第二照度动态范围（DR_2），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至多二分之一低，或者反之，所述HDR视频解码器（250）包括被布置为应用三段明亮度重新分级曲线的粗糙映射单元（202；552），所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

例如是对所述参数进行调谐的人这样的创造侧可以确定所需的斜率，所述确定是取决于所述HDR场景或者其图像的属性的，并且其次视具体情况是取决于图像将以其被编码的编码的属性的。如果典型地编码的输出图像（是接收器以及它们包括的解码器将接收的输入图像）是Rec. 709 SDR编码的100 nit PB，则例如分级机（或者基于所测量的图像特性的自动化曲线确定算法）可以例如根据输入主HDR图像的PB（例如，5000 nit以及1000nit PB）确定曲线形状。但他还可以基于内容确定精确的形状。例如，如果存在许多像图4中的摩托车那样的暗内容，则分级机可能想要使那些内容作为在HDR显示器（例如，2000 nitPB）上渲染的HDR图像中的相对深的照度，但作为HDR场景的LDR图像编码中的被相对地高度明亮化的（其当在典型的SDR显示器上被渲染时必须看起来是可见的）。创造者还可以已将典型的LDR图像编码细节考虑在内，像例如例如HEVC编解码器将使用于对LDR图像进行编码的比特数。所述解码器的某些实施例可以自动地确定所述线性段之间的抛物线段，例如，总是输入亮度范围的固定的20%，或者是取决于所述两个段的斜率的百分比（例如，如果斜率的差别较大，则其更大），或者甚至是基于图像的当前的镜头的特性的，例如，暗范围以上的明亮度的中间范围中是否存在许多细节，或者是否存在平滑的梯度等。

然而，在其它实施例中，分级机或者一般地创造者可以指定抛物线区域的宽度，例如，他可以指定解码器可以建立的从某个预定义的点起的两个宽度（从哪个点起所述抛物线部分变成线性部分）W1和W2，例如，所述线性部分在被继续时将在哪里相交。或者，他可以作为单个宽度值传送此。唯一的必要的要求在于，所述解码器可以应用逆三段明亮度重新分级函数以便根据所接收的LDR图像获得HDR场景的经重构的HDR外表图像。在各种实施例中，人们可以发送如图2中所示的凹形向上弯曲的函数的参数（即，InvBet、InvAlph），或者类似地他可以发送降级曲线参数（alph、bet）。一个曲线可以被容易地转换成另一个曲线，例如，可以建立达到期望的精度的LUT，并且然后使轴互换，因此技术人员将理解，出于简化阐述的考虑，我们谈论实际实现中的两种可能。一般地，如果需要，可以存在两个另外的参数，例如，白偏移量Wh_o，其规定最明亮的HDR码落在输出LDR亮度码范围中的何处（或者典型地，在其它实施例中，其也可以在纵轴上根据HDR最明亮输入照度或者亮度来定义，在这种情况下，在LDR表示中对该值以上的HDR颜色进行剪辑，这可以取决于图像编码的特定应用而是有用的或者不可取的）。类似地，可以存在黑偏移量B_o，分级机可以基于其它原理确定其，因为显示器上的暗色渲染与明亮色渲染有差别。因此，在一般系统中具有提供5个参数alph、bet、W（=W1+W2，并且以预先协定的方式被定义，例如，交叉点303的任一侧上的50%）、B_o和Wh_o的编码器实施例可能是有用的。

简单的实施例将满足所述三段曲线。更高级的实施例可以应用进一步的颜色变换。例如，第一前置颜色变换单元224可以在应用所述三部分曲线之前应用变换，该变换例如可以例如针对人类观看者更均匀地分布图像的颜色。后置颜色变换单元203可以应用另一个颜色变换函数，例如，相比于由所述三部分曲线产生的明亮度外表分级机可以使所述亮度范围的某个特定的部分变暗。域颜色变换单元204可以执行进一步的颜色空间变换，例如，取代获得平方根或者Rec. 709域中的Y’o结果，可以类似地在例如在感知上被线性化的域等中执行计算。当然，输入和输出颜色域典型地可以影响所述三部分曲线的精确的形状以及如上面描述的其表征的2、3或者5个参数。最后，在已完成所需的颜色变换、利用PQ或者甚至线性R’o、G’o、B’o颜色分量指定产生例如Rec. 709、某个HDR亮度定义中的结果之后，颜色格式化单元226可以进一步指定适于直接驱动被连接的显示器的例如是Rd、Gd、Bd这样的最终的RGB颜色空间中的颜色，被连接的显示器典型地可以是例如典型地根据某种预先指定的光电转换函数（OETF）在其图像连接（电缆或者无线的）上预期某个HDR图像定义的HDR显示器，所述光电转换函数可以是标准的光电转换函数或者显示器专用的光电转换函数。定制的函数应用单元（203）允许人们可以基于该当前的HDR场景的需求（特别地，在小得多的LDR照度范围上将全部对象明亮度拼在一起有多复杂）设计非常专用的准确的函数，所述设计是在所述设计可以在其处被完成的地方（具有例如足够的时间、计算资源等）被执行的，即，典型地在创造侧处（并且该函数的形状的信息被传送给接收侧装置）。特别地，人类颜色分级机可以对非线性形状进行微调，以便在与起始图像的主要对象或者区域的照度相对应的全部合适的地方处使其弯曲。他可以因此如他期望的那样在导出的图像中使例如小的部分明亮化到任何照度。特别地，如果例如室内场景的大部分已经具有正确的照度，但通过窗口被看到的天空的某个小块太明亮或者太暗，则所述定制曲线CC可以被设计为使得仅对那些像素颜色进行颜色变换。对于某些特定的实施例，所述定制曲线可以甚至被设计为使得其梯度不在沿输入范围的任何地方处处在最小值以下。我们已将我们的系统设计为能够适应未来的市场中的各种种类的HDR图像或者视频处置系统（例如，通过现有的卫星信道的基于LDR的广播；以及互联网递送）和各种种类的内容（来自好莱坞的非常壮观的HDR艺术图像，以及碰巧具有它碰巧具有的动态范围的现场生产中的内容），因此我们的定制曲线单元允许对于图像的不论什么部分需要它，以及在各种实施方案中在创造侧具有这可能已经被以其实现的不论多么多或者多么少实施努力实施不论什么特定的照度（明亮度）行为。

以下的非详尽的实施例具有特定的效用。

一种如在权利要求1中要求保护的HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为对低动态范围亮度（Y’_LDR）应用所述三段曲线。其可以是对于在某些特定的域中（例如，两个分级中的一个分级的亮度域，例如，典型地SDR亮度）工作是有用的。

一种HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为作为应用所述三段曲线的结果产生与颜色的照度相关的输出亮度（Y’o），颜色的照度是通过具有幂1/N的幂函数对所述输入颜色应用所述三段曲线的输出结果，其中，N优选是2。。

一种HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为通过包括乘法器（225）确定所述输出颜色，所述乘法器（225）被布置为对当前被处理的像素的颜色的优选非线性的颜色表示（R’s、G’s、B’s）应用与作为乘法因子的输出亮度（Y’o）的乘法。

一种HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为获得由非线性函数根据线性R、G、B颜色分量在技术上定义的所述非线性的颜色表示（R’s, G’s, B’s），所述非线性函数在形状上接近平方根函数，并且优选是具有幂1/N的幂函数，其中，N是整数值。

一种包括读取单元（277）的HDR视频解码器（250），所述读取单元（277）被布置为从所接收的元数据中读取所述第一和第二斜率变量，并且被布置为将其提供给所述粗糙映射单元（202；552）。

一种HDR视频解码器（250），其中，所述读取单元（277）被进一步布置为从所接收的元数据中读取所述两个线性段之间的抛物线区域的宽度（W_par），并且被布置为将其提供给所述粗糙映射单元（202；552）。

一种用于产生连续的图像的解码器HDR视频的视频解码的方法，包括应用三段明亮度重新分级曲线，所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段，所述应用产生输出亮度（Y’o），所述输出亮度（Y’o）将被提供给与被进行颜色变换的所述输入颜色的优选非线性的RGB颜色表示（R’s,G’s’B’s）的乘法。

一种包括图像颜色处理装置（200）的HDR视频编码器（501），所述图像颜色处理装置被布置为将输入图像（Im_in）的像素的输入颜色变换成输出图像（IMED）的像素的输出颜色（Y’UV），所述输入图像具有第二照度动态范围（DR_2），所述输出图像具有第一照度动态范围（DR_1），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至多二分之一低，或者反之，所述HDR视频编码器（501）包括被布置为应用三段明亮度重新分级曲线的粗糙映射单元（503），所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

一种HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为对处在非线性域中的输入颜色的颜色表示应用所述三段曲线，其特征在于，它的颜色分量由非线性函数基于线性的红、绿、蓝加性颜色分量定义。

一种HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为对所述输入颜色的线性的红、绿和蓝颜色表示应用所述三段曲线。

一种HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为通过非线性函数确定包括非线性亮度（Y’o）的表示中的输出颜色，所述非线性亮度（Y’o）与所述输出颜色的照度相关。

一种HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为确定由标准动态范围视频编码定义的表示中的输出颜色，其特征在于，所述输出亮度（Y’o）颜色分量由Rec. 709光电转换函数或者平方根定义。

一种产生被编码在低动态范围图像中的图像的HDR集合的HDR视频编码的方法，包括：将输入图像（Im_in）的像素的输入颜色变换成输出图像（IMED）的像素的输出颜色（Y’UV），所述输入图像具有第二照度动态范围（DR_2），所述输出图像具有第一照度动态范围（DR_1），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度至多二分之一低，或者反之，所述方法包括应用三段明亮度重新分级曲线，所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

一种计算机可读存储器，其包括代码，所述代码在被处理器运行时将应用如在上面的方法权利要求中的任一项权利要求中定义的全部步骤，以及包括信息的位于存储器或者其它技术设备上的信号，所述信息允许接收器技术运作来解码和重构所接收的HDR（作为LDR）图像，所述解码和重构即是通过接收某些像素化的颜色分量数据和指定所述三段曲线的元数据实现的，所述元数据典型地即上面的至少两个或者优选5个参数（alph、bet、W、Wh_o、B_o）。

附图说明

根据本发明的方法和装置的任何变型的这些和其它的方面将从下文中描述的实施方案和实施例中是明显的，以及将参考下文中描述的实施方案和实施例并且参考附图被阐明，所述附图仅用作例示更一般的概念的非限制性的特定的图示，并且其中，虚线被用于指示构件是可选的，非虚线构件不必然是必要的。虚线还可以被用于指示被解释为必要的元素被隐藏在对象的内部，或者被用于诸如是对对象/区域的选择、图表中的值水平的指示等这样的无形的事物。

在附图中：

图1示意性地图示了之前由申请人发明并且取得专利的用于完成包括局部颜色处理的动态范围变换的可能的颜色处理装置，所述颜色处理将典型地包括至少变更输入图像中的对象的照度，其将阐明某些概念，然而，本发明的优选实施例将加以必要的变通后在非线性RGB颜色空间以及典型地它们对应的亮度Y’中被应用；以及

图2示意性地图示了系统的示例，所述系统被布置为对于能够以参数化的方式进行解码并且根据所接收的LDR图像产生HDR图像的系统进行动态范围变换，即，借此尽管HDR场景上的HDR外表也已经经由元数据被接收，所述元数据表征用于根据所接收的LDR外表图像导出HDR外表图像的颜色变换函数的特性，但仅LDR图像像素颜色被实际上传送到接收侧并且被接收；

图3示出了用于根据HDR图像像素颜色数据对LDR进行编码的一种典型的三段粗糙初始亮度映射的编码侧函数形状，其中，输入例如可以处于HDR线性照度域中，并且输出（纵轴）例如典型地处于LDR平方根LDR亮度域中；

图4利用两个示例澄清了哪些技术和艺术问题典型地是与需要在较低动态范围的显示器上、甚至旧有100 nit峰值明亮度（PB）SDR显示器的安装基础上可观看的HDR内容一起的；以及

图5示意性地进一步少许阐明了示例性视频编码系统，其中申请人的装置和方法实施例可以被有利地使用。

具体实施方式

图1示意性地示出了用于对（至少）两个经分级的图像（HDR，例如5000 nit PB，以及具有PB=100 nit的标准SDR LDR）进行编码以便在相当不同的动态范围（PB）的显示器上进行渲染的系统的一种可能的颜色变换，并且特别地，示出了其颜色变换核心单元。技术人员理解，该系统可以位于内容创造侧，其中，人类分级机将完成计算以便检查在经校准的显示器上他在根据他的品味指定编码函数工具集中的我们的分级函数的最优参数值的同时实际上正在制作哪些外表，以及位于接收侧，其中，所述装置可以例如被包括在像机顶盒、BD播放器或者计算机或者显示器自身或者电影院中的专业系统等这样的视频接收和颜色处理设备中。

我们将阐明接收侧，其中，我们已经具有指定两个分级（HDR和LDR，其可以然后通过进一步的计算被进一步最优化，所述进一步的计算是针对例如PB = 800 nit的任何中间动态范围MDR显示器的）的数据。

因此，根据我们的新颖的编码原理，接收装置实际上具有仅一个实际上被编码的图像（例如，传统地采用10 bit HEVC编码，尽管可理解地可解码为经归一化的[0,1]图像），Im_in_HDR，其例如在蓝光盘上或者经由与视频服务器的互联网连接或者通过来自某个其它装置的HDMI电缆等被接收。这然后必须被计算成LDR分级，例如因为LDR显示器被连接，并且需要被正确地分级的LDR图像（例如，观看者决定停止观看他的起居室HDR显示器，但在床上在他的便携式平板PC上继续观看）。

为了能够完成所述颜色处理，颜色变换装置还需要指定函数的参数（CF）。技术人员理解，例如抛物线可以由起始和结束点以及线性的起始斜率和曲率等指定。

典型地，可以涉及对于从HDR到LDR的映射以及还有至少影响输出对象的照度的映射的饱和度控制（尽管在数学上我们典型地通过用乘法缩放线性RGB颜色分量来应用该照度映射）。

图2更详细地示出了人们可以如何优选地完成照度重新分级。

我们假设SDR图像进来，即，Y’UV（或者Y’CbCr）被编码。它们可以被矩阵化为输入图像像素的经缩放的RGB分量R’sG’sB’s。我们假设这些处于例如平方根亮度域中（即，对应的线性颜色分量将通过取平方而出现）。对应的Y’_LDR亮度被从Y’UV表示中容易地分离出来。这些R’sG’sB’s值实际上是可以在图4B中看到的最终将被获得的HDR颜色分量（R’o，G’o，B’o）的某个经缩放的版本，在图4B中我们示出了被相同归一化到最大亮度 = 1.0的RGB色域（例如，Rec. 2020主等的）中的LDR和HDR分级两者的一种颜色。如果摩托车必须以与它在当利用HDR图像被驱动时的HDR显示器上将具有的绝对照度相同的绝对照度（5 nit）在当利用LDR图像被驱动时的LDR显示器上被渲染，这意味着其（相对的，被归一化为一，或者针对10 bit码的1023）LDR亮度必须是更高的。即，颜色分量R’o、G’o、B’o与R’s、G’s、B’s之间或者反之的颜色变换也与它们的对应的相应的照度或者亮度Y’_HDR（分别地，Y’_LDR）的缩放相对应，并且那是将被乘法器225实现的内容。在某些实施例中，可以根据输入Y’UV颜色表示直接计算R’s、G’s、B’s，尽管在其它实施例中，可能存在达到不同的R’s、G’s、B’s值被涉及的另外的颜色变换，其将被颜色变换器223应用（应当指出，图的全部虚线部分是可选的，这并非针对于市场上的较简单的实施例，而针对某些其它的实施例）。这可以应用进一步的明亮度和/或色度微调，例如，某些外表调整等。

读取单元（277）然后提供用于允许粗糙映射单元202应用合适的函数的数据，所述合适的函数被用于对HDR/LDR外表图像对进行协同编码、即还有如何根据所接收的LDR图像重构HDR图像，例如，它可以作为LUT传递所述参数或者提供所述函数。然后，从应用（至少）三段曲线被获得的经正确地缩放的亮度Y’o被用作输入乘数，以便与三个经缩放的颜色分量中的每个颜色相乘，产生正确的输出颜色，该输出颜色可以被颜色格式化单元226进一步变换成另一个颜色表示。

粗糙映射单元（202）的好的实施例将应用例如像图3中这样的函数。抛物线段的位置可以通过对起始和结束亮度值进行编码来确定，但抛物线也可以被编码为其宽度，如在图3中那样。在该非限制性的示例中，输入是线性RGB表示的照度，即，u_HDR_in，输出TU_LDR_out是可以在特定的使用系统中（如果需要）之后被单元203的定制形状的曲线微调或者否则被发送给乘法器以便获得该正在被处理的像素的正确的HDR颜色的内容。

在该实施例中，基本的“抛物线”色调映射曲线由3段组成：

-通过（0，0）的暗段，其受参数斜率bet或者bg（基础增益）的控制

-通过（u_max，TU_max）的明亮段，其具有斜率alph或者dg（差分增益）

-连接这两者的抛物线段，其具有宽度xp（x-宽度抛物线）

在没有抛物线的情况下，2个线性段在下面的点处连接

um = (TU_max – dg*u_max) / (bg – dg)，

TUm = bg * um = TU_max – (u_max – um) * dg。

我们通过添加以该（um, TUm）为中心的抛物线制作连续地可区分的曲线，并且其必须以斜率 = bg开始并且以斜率 = dg结束。根据数学计算，我们然后得出，剩下（3个中的）仅1个自由度：抛物线的宽度xp。

取决于所述宽度，针对u = um的y值从

针对up = 0的TU = TUm下降到

TU = TUm – delta_TU = TU – up * (bg – dg) / 8。

人们可以反转该关系以便根据delta_TU计算出：

up = 8 * delta_TU / (bg – dg)。

因此，典型地人们可以以up = 0开始，然后看哪个最大距离delta_TU位于弯曲的曲线与参考照度映射曲线（散点图）之间，并且根据此计算。

因此，在该实施例中，抛物线段的宽度（典型地在0.0与1.0之间）将是除了基础增益斜率（例如，具有针对明亮图像的0.5与针对暗图像的1.0之间的典型值）和最亮输入范围斜率（典型地在0.0与0.25之间）之外被传送给任何接收侧装置的指定该函数形状的第三个参数。

在图4中，我们看到未来的HDR系统（例如，被连接到1000 nit PB显示器的）可能需要能够正确地处置的许多可能的HDR场景的仅两个示例，所述处置即通过在最终将在不论任何被连接或者被设想将被连接的显示器上被渲染的图像中为图像中的全部对象/像素创造合适的照度。例如，ImSCN1是来自德克萨斯的牛仔电影播放的阳光充足的室外图像，并且ImSCN2是夜间图像。使HDR图像渲染不同于它在最近刚结束（或者实际上未来几年将在市场上开始）的LDR时代中经常的是，LDR具有如此有限的动态范围（大约PB=100 nit，并且黑阶+- 1 nit，或者在较明亮的观看环境中由于屏幕反射而甚至更高），使得通常对象的仅反光可以被显示（其将落在针对好白色的90%与针对好黑色的1%之间）。因此，人们必须独立于它们的光照地显示对象，并且不可以同时忠实地一切都很好地显示可能发生的场景的有时高度地对比强烈的光照。在实践中，那表示，高度明亮的阳光充足的场景必须被渲染为与阴暗的雨天场景相同的显示照度（0-100 nit）。并且甚至夜间场景不可以被渲染得太暗，或者观看者将不能够很好地辨别图像的最暗的部分，因此再一次地，将跨0与100 nit之间的范围渲染那些夜间明亮度。因此人们常规上必须为夜景着蓝色，使得观看者将理解他不是正在看日间场景。当然，现在在实际生活中，人类视觉也将适应光的可用的量，但没有那么多（多数人在实际生活中认识到，它在变暗）。因此，至少如果人们具有可用的HDR显示器时，人们想要渲染具有人们可以在其中在艺术上设计的全部壮观的局部照明效果的图像。

但那不改变事实：对于某些人来说，我们将仍然需要把极好的新HDR电影降级到该有限的LDR显示器（在图4的右边不是按精确的比例地示出了其范围）。

因此，在左边我们看到我们想要在5000 nit PB（即，针对在5000 nit PB显示器上进行渲染被最优化的）主HDR分级中看到哪些对象照度。如果我们想要传达不仅错视而还有处在明亮的阳光照射的环境中的牛仔的实际场景，则我们必须在例如500 nit附近指定并且渲染其照度。单独从这些示例中，人们可能已得到这样的感觉：将较小的LDR照度范围上的全部对象拼在一起理想地将不是简单的压缩的问题（例如，利用将HDR PB映射到LDR PB的线性函数，并且随此还有全部较低的照度）。相反地，我们给出不同的照度映射行为类的两个示例。对于日间场景，如果人们想要根据所接收的LDR图像计算HDR图像，则人们可以实际上应用拉伸函数，拉伸函数以特别地在18 nit的LDR中间灰度附近被渲染的牛仔映射到HDR中的500 nit（即，近似30倍明亮度提高）的方式对全部照度进行拉伸。但人们将不想要对夜间场景完成该操作，或者其将在HDR监视器上变得荒唐地明亮（实际上钻入细节，由于一些图像细节，甚至太明亮时大脑可能仍然想象它正在看夜景，但其被远离理想地渲染，如果人们实际想要壮观的并且高质量的HDR渲染，现在那已变成可能的）。对于该ImSCN2，人们想要夜间的全部暗对象的照度是在两个显示器（以及中间PB的全部显示器）上相同的。相反，它是灯杆光，并且可能是在HDR图像中被明亮化到更明亮的照度的月亮。因此，照度映射函数的形状将是非常不同的。人们可以想象，如果人们在一个图像中具有那两个原型图像方面，例如，在洞穴内进行，并且正在通过小孔看阳光充足的外部，则人们可能实际上想要设计复杂的照度映射曲线，以便根据人们的艺术期望获得LDR和HDR对象照度两者。这样的情形在LDR时代典型地如何发生在于，人们仅将洞穴外部的一切剪辑为白色。或者，因为在LDR时代中，人们仅将照相机捕获的内容看作相对照度，而不考虑它们的意义和那将对它们在不论什么显示器上的最终渲染暗示什么，所以图像的某些部分经常变得太暗。例如，如果人们走过走廊，并且看到阳光照进来，则这些阳光照射的点看起来非常明亮。走廊的其它部分是相对较暗的，但那不意味着在那里走的人看到它们比正常的暗（实际上，由于额外的照明，甚至阴影中的部分将看起来比如果太阳移到云后面时更明亮一些）。但将这些阳光充足的颜色放在白色附近的LDR渲染可以仅将走廊的阴影部分渲染得太暗，因为否则它可以在它的有限的范围上完成的仅有的事情是以合理的照度渲染阴影，但因而阳光中的一切在例如是255这样的最大亮度码以上剪辑，分别是被渲染的100 nit。

因此，这样的场景的最优的LDR渲染是复杂的设计问题，但至少现在通过HDR显示器，我们可以现实地即在特定的照度以上渲染阳光充足的部分。例如，如果观看环境大体上与200 nit相对应，则我们可以在200 nit附近渲染图像的阴影部分。并且我们可以取决于显示器的PB——例如在2000 nit处渲染阳光照射的部分。即使其不总是与实际生活中精确地相同的阴影照度以上的相对量，但至少其将看起来比太暗或者剪辑的走廊真实得多。

但读者理解，为什么该复杂度，特别是人们可能遇到的图像的许多种类以及至少一些较高质量HDR范围（例如，PB=10,000 nit）与SDR 100 nit范围之间的巨大差别，要求允许对各种像素颜色以及特别地它们的照度的精确指定的系统。并且特别地，申请人具有这样的哲学：人们应当允许内容创造者影响任何其它动态范围图像将如何根据所接收的图像被计算（至少对于那些期望如此的人），以及他们期望这样做的程度，以及他们最少需要指定的内容的程度。

图5示出了我们的基本照度变更装置（或者方法）在用于传送和消费HDR图像的某个典型的完整系统或者链中的可能的合并。技术人员将理解，例如，分级机可以如何使用UI构件来根据他的需求或者期望变更任何函数的形状，例如，它们的表征参数。我们想要强调，尽管我们将阐明模式-ii示例（其中，从内容创造者例如根据他的原始捕获制作的主HDR图像MAST_HDR被降级的LDR图像实际上被传送，并且然后在接收侧，在需要时被重构成MAST_HDR图像的接近的近似），但系统和我们的装置实施例也可以在模式-i操作中被使用，其中，MAST_HDR图像实际上被传送，并且假设LDR图像需要用于提供到SDR显示器，则所述装置在接收器中应用照度降级。那些被接收的LDR或者HDR图像中的每个图像也可以被转换成不同的动态范围的图像，例如，1499 nit PB。并且，所述装置实施例可以还被并入例如是编码器这样的创造侧装置中，例如用于允许颜色分级机检查什么将在接收侧发生，以及在给定的函数的情况下从MAST_HDR计算的LDR图像将看起来怎么样，并且所述装置和方法也可以在位于任何中间位置处的转码器中被使用，所述中间位置例如是局部内容分布器的观看摊位等。

本示例性方案中的视频编码器501经由输入509获得输入图像IM_IN，我们出于简化阐明的目的将假设输入图像IM_IN是已被艺术地创造的主HDR分级，但其也可以是来自某个原始图像馈入的HDR图像，其需要在几乎没有实时介入的情况下被最少地进行颜色处理，可能仅在捕获期间拨动几次旋钮等。

可能还存在被涉及的由色度处理单元在像素颜色上计算的色度处理，例如饱和度变更，其降低饱和度以使得在LDR转换中例如着色的玻璃窗的较明亮的颜色可以通过将它们推入接近白色的LDR色域的窄顶而被额外地明亮化，但我们将不解释那些细节。然后，照度映射单元503将完成如图2中所示的我们的装置实施例中的任何实施例完成的各种事情，例如，照度均匀化和然后的三部分曲线，以及在适用的情况下，针对图像的当前的集合被确定并且例如通过用户界面交互或者从对之前所确定的函数进行编码的元数据被载入的某个被最优地塑形的函数CC。某些实施例将通过让图像分析单元566对图像的特性进行分析来确定三部分曲线的形状，所述特性诸如是像素照度的多数位于何处、高亮斑块的大小和分散度等。函数输入设备508可以被读者理解为例如典型的颜色分级工具或者与存储至少一个函数的数据库的连接或者与远程人类分级机的连接等。然后，现在在该示例中是具有沿0-100 nit LDR范围分布的像素照度和它们的对应的Rec. 709亮度（例如，是被表示的Y’oUV）的LDR图像的该中间图像IMED被图像或者视频编码单元505利用例如像HEVC这样的典型旧有LDR编码技术进行编码。这是因为该“外表”像规则的LDR图像，至少对于下面的技术，像它将通过的图像分布管道，尽管它实际上是对HDR场景进行编码的HDR图像。我们通过也发送被用于根据主HDR图像生成LDR图像的颜色变换函数（或者它们的逆函数）将此告知任何接收器，其不仅告知接收器他实际上取代规则的LDR图像而接收HDR图像，而还允许接收器通过对所接收的LDR图像应用那些所接收的逆函数来重构MAST_HDR图像的接近的近似。因此，被编码的图像或者视频LDR_oenc实际上对于系统的剩余部分运作为正常的LDR视频，并且其将经过某个通信设备510，通信设备510例如可以是空中广播或者互联网连接或者被传输给不论什么消费者或者专业（例如，电影院）位置的物理存储器等。

在接收端，该被编码的输出图像（LDR_oenc）变成输入图像或者视频LDR_ienc（其仍然可能已经历进一步的变换，但我们出于解释的目的而假设其是循环通过的相同的图像）。我们应当简短地指出，如果我们在LDR_oenc中使用模式-Ihdr通信系统，则我们可能已使用与模式-ii下的不同的函数形状，给予图像不同的对象明亮度和统计数据，但是两者都将是经例如HEVC编码的。

视频解码器550经由其输入556获得图像和对函数进行编码的元数据MET(F)，所述函数特别地是在创造侧例如由颜色分级机或者像生活生产的技术指导者这样的某个其他人等选择的最优的定制曲线。图像或者视频解码单元（555）对HEVC视频进行解码，并且然后由体现我们的装置或者方法实施例中的任何实施例的照度映射器552对其进行颜色处理（即，应用用于至少近似地重构HDR图像的合适的逆三部分函数）。最后，正确地分级的REC_HDR，例如，5000 nit PB图像可以被发送给显示器580，例如，理想地5000 nit显示器（假设HDR内容与显示器之间的PB的失配，例如被嵌入在STB中的该视频解码器可能已通过到需要的例如2500 nit显示器PB的适当颜色变换对图像进行显示器调谐，或者显示器可以在内部通过具有我们教导的装置/方法的其自己的版本来完成此）。当然，如果旧有SDR 100 nit显示器将被提供有经恰当分级的内容，则视频解码器550可以向其提供LDR图像LDR_rnd，其在该示例中可以仅是解码器所接收的LDR图像，而不需要进一步的颜色变换，但假设在LDRHEVC容器中接收HDR图像，则视频解码器550仍然将根据我们的装置/方法实施例中的任何实施例完成合适的降级。

本文中公开的算法构件可以（整体上或者部分地）在实践中被实现为硬件（例如，专用IC的部分）或者在特殊数字信号处理器或者通用处理器上运行的软件等。它们在至少一些用户输入可以存在/已存在（例如，在工厂或者消费者输入或者其它人类输入中）的意义上可以是半自动化的。

对于本领域的技术人员应当能从我们的呈现中理解，哪些构件可以是可选的改进，并且可以结合其它构件被实现，以及方法的（可选的）步骤如何与装置的相应的设备相对应，以及反之亦然。在本发明中采用特定的关系（例如，在单个图中采用特定的配置）公开了某些构件的事实不意味着其它配置作为与在本文中被公开的用于获取专利的发明构思相同的发明构思下的实施例是不可能的。此外，出于实用的原因已描述了仅有限的范围的示例的事实不意味着其它变型不能落在权利要求的范围下。事实上，本发明的构件可以在沿任何使用链的不同的变型中被体现，例如，像编码器这样的创造侧的全部变型可以类似于或者对应于例如是解码器这样的经分解的系统的消费侧处的对应的装置，并且反之亦然。实施例的若干构件可以被编码为信号中的特定的信号数据，以用于在编码器与解码器之间采用任何传输技术的传输或者诸如是协调这样的进一步的使用等。术语“装置”在本申请中在其最宽泛的意义上被使用，即，允许实现特定的目标的设备的组，并且因此可以例如是IC（的小部分）或者专用家电（诸如具有显示器的家电）或者联网系统的部分等。“布置”或者“系统”也旨在在最宽泛的意义上被使用，因此其可以尤其包括单个物理的、可购买的装置、装置的一部分、协同运行的装置（的部分）的集合等。

计算机程序产品表示应当被理解为包括使通用或者专用处理器能够在一系列加载步骤（其可以包括中间转换步骤，诸如到中间语言和最终的处理器语言的转换）之后将命令输入处理器中以便执行发明的特性功能中的任何功能的命令的集合的任何物理的实现。特别地，计算机程序产品可以被实现为诸如例如是磁盘或者磁带这样的载体上的数据、存在于存储器中的数据、经由网络连接——有线的或者无线的——行进的数据或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以被体现为计算机程序产品。这样的数据可以（部分地）以任何方式被提供。

本发明或者像视频数据这样的根据本发明实施例的任何哲学可用的任何数据可以也被体现为数据载体上的信号，所述数据载体可以是像光盘、闪存、可移除硬盘、可经由无线设备写的便携式设备等这样的可移除存储器。

任何被呈现的方法的操作所必需的步骤中的一些步骤可以取代被描述在计算机程序产品或者任何单元中而已存在于处理器或者本发明的任何装置实施例的功能中，本文中描述的装置或者方法（具有本发明实施例的细节），诸如数据输入和输出步骤，众所周知地典型地合并诸如是标准显示器驱动等这样的处理步骤。我们还期望对于产生的产品和相似的产出的保护，像例如在方法的任何步骤处或者装置的任何子部分中被涉及的特定的新颖的信号，以及这样的信号的任何新用途或者任何相关的方法。

应当指出，上面提到的实施例图示而非限制本发明。在技术人员可以容易地实现被呈现的示例向权利要求的其它区域的映射的情况下，我们为简洁起见还未深入提到全部这些选项。除了如在权利要求中被组合的本发明的元素的组合之外，元素的其它组合是可能的。元素的任何组合可以在单个专用元素中被实现。

权利要求中的括号之间的任何附图标记不旨在用于限制权利要求，附图中的任何特定的符号也不旨在这样。词“包括”不排除未在权利要求中被列出的元素或者方面的存在。在元素前面的词“一个”或者“一个”不排除多个这样的元素的存在。

Claims (15)

1. 一种包括图像颜色处理装置（200）的HDR视频解码器（250），所述图像颜色处理装置被布置为将输入图像（Im_in）的像素的输入颜色（Y’UV_LDR）变换成输出图像（Im_res;REC_HDR）的像素的红、绿和蓝色分量输出颜色（R’o, G’o, B’o），所述输入图像具有第一照度动态范围（DR_1），所述输出图像具有第二照度动态范围（DR_2），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至多二分之一低或者反之，所述HDR视频解码器（250）包括被布置为应用三段明亮度重新分级曲线的粗糙映射单元（202；552），所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

2.根据权利要求1所述的HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为对低动态范围亮度（Y’_LDR）应用所述三段曲线。

3.根据以上权利要求中的一项权利要求所述的HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为作为应用所述三段曲线的结果产生与颜色的照度相关的输出亮度（Y’o），颜色的照度是通过具有幂1/N的幂函数对所述输入颜色应用所述三段曲线的输出结果，其中，N优选是2。

4. 根据以上权利要求中的一项权利要求所述的HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为通过包括乘法器（225）确定所述输出颜色，所述乘法器（225）被布置为对当前被处理的像素的颜色的优选非线性的颜色表示（R’s, G’s, B’s）应用与作为乘法因子的所述输出亮度（Y’o）的乘法。

5. 根据以上权利要求中的一项权利要求所述的HDR视频解码器（250），其中，所述图像颜色处理装置（200）被布置为获得由非线性函数根据线性R、G、B颜色分量在技术上定义的所述非线性的颜色表示（R’s, G’s, B’s），所述非线性函数在形状上接近平方根函数，并且优选是具有幂1/N的幂函数，其中，N是整数值。

6.根据以上权利要求中的一项权利要求所述的HDR视频解码器（250），包括读取单元（277），所述读取单元（277）被布置为从所接收的元数据读取第一和第二斜率变量，并且被布置为将其提供给所述粗糙映射单元（202；552）。

7.根据以上权利要求中的一项权利要求所述的HDR视频解码器（250），其中，所述读取单元（277）被进一步布置为从所接收的元数据中读取所述两个线性段之间的抛物线区的宽度（W_par），并且被布置为将其提供给所述粗糙映射单元（202；552）。

8. 一种用于产生连续的图像的解码器HDR视频的视频解码的方法，包括应用三段明亮度重新分级曲线，所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段，所述应用产生输出亮度（Y’o），所述输出亮度（Y’o）将被提供给与被进行颜色变换的输入颜色的优选非线性的RGB颜色表示（R’s, G’s’B’s）的乘法。

9.一种包括图像颜色处理装置（200）的HDR视频编码器（501），所述图像颜色处理装置被布置为将输入图像（Im_in）的像素的输入颜色变换成输出图像（IMED）的像素的输出颜色（Y’oUV），所述输入图像具有第二照度动态范围（DR_2），所述输出图像具有第一照度动态范围（DR_1），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至多二分之一低，或者反之，所述HDR视频编码器（501）包括被布置为应用三段明亮度重新分级曲线的粗糙映射单元（503），所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

10.根据以上编码器权利要求中的任一项权利要求所述的HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为对处在非线性域中的输入颜色的颜色表示应用所述三段曲线，所其特征在于，它的颜色分量由非线性函数基于线性的红、绿、蓝加性颜色分量定义。

11.根据权利要求9所述的HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为对所述输入颜色的线性的红、绿和蓝颜色表示应用所述三段曲线。

12.根据以上编码器权利要求中的任一项权利要求所述的HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为通过非线性函数确定包括非线性亮度（Y’o）的表示中的输出颜色，所述非线性亮度（Y’o）与所述输出颜色的照度相关。

13. 根据以上编码器权利要求中的任一项权利要求所述的HDR视频编码器（501），其中，所述图像颜色处理装置（200）被布置为确定由标准动态范围视频编码定义的表示中的输出颜色，其特征在于，所述输出亮度（Y’o）颜色分量由Rec. 709光电转换函数或者平方根定义。

14.一种产生被编码在低动态范围图像中的图像的HDR集合的HDR视频编码的方法，包括：将输入图像（Im_in）的像素的输入颜色变换成输出图像（IMED）的像素的输出颜色（Y’UV），所述输入图像具有第二照度动态范围（DR_2），所述输出图像具有第一照度动态范围（DR_1），借此，所述第一动态范围的峰值照度是所述第二动态范围的峰值照度的至多二分之一低，或者反之，所述方法包括应用三段明亮度重新分级曲线，所述曲线由以下各项组成：针对包括最暗的输入亮度值的输入图像颜色的亮度的范围的暗子范围（SR_d）的线性段，其是由斜率变量（InvBet）确定的；针对明亮子范围（SR_br）中的最亮的输入亮度值的第二线性段，其是受第二斜率变量（InvAlph）控制的；以及，所述两个线性段之间的抛物线段。

15.一种包括代码的计算机可读存储器，所述代码在被处理器运行时将应用如在上面的方法权利要求中的任一项权利要求中定义的全部步骤。