CN108781246A

CN108781246A - 用于动态范围映射的饱和度处理指定

Info

Publication number: CN108781246A
Application number: CN201780017465.XA
Authority: CN
Inventors: J·H·C·J·斯特森
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2016-03-14
Filing date: 2017-03-03
Publication date: 2018-11-09
Anticipated expiration: 2037-03-03
Also published as: CN108781246B; US10937135B2; WO2017158463A1; US20190073756A1; EP3430795A1; JP2019512953A

Abstract

为了服务在解码策略中的不同的动态范围的图像的高动态范围操纵和转换的新的不同的需要，发明人发明了图像编码器(201)，所述图像编码器用于编码针对至少一个时刻的至少一幅高动态范围图像(HDR_ORIG)以及针对相同时刻的具有第二亮度动态范围的至少一幅图像(Im_LDR_out)，所述第二亮度动态范围以至少因子二与所述高动态范围图像的亮度动态范围不同，所述图像编码器被布置为编码针对那两幅图像中的至少一幅图像的像素颜色的矩阵，所述图像编码器包括指定单元(212)，所述指定单元包括根据权利要求1所述的颜色饱和度修改装置(202)，以及饱和度指定单元(204)，所述饱和度指定单元被布置为将指定颜色相关饱和度变换的饱和度修改指定函数指定为针对像素颜色(Y’，Cb，Cr)的至少两个颜色差异值(R’‑Y’、B’‑Y’)中的最大一个颜色差异值的每个可能值的一组增益(g)，所述颜色差异值被定义为所述像素颜色的非线性RGB加性颜色分量的值减去所述像素颜色的亮度，并且所述图像编码器还包括格式化器(210)，所述格式化器被布置为在图像信号(S_im)中输出对包括像素颜色的所述矩阵的图像(Im_in_DCT)的编码以及作为元数据的所述一组增益(g)。

Description

用于动态范围映射的饱和度处理指定

技术领域

本发明涉及用于编码分别地解码图像或者视频(要连续地示出的多组静止图像)的方法和装置，其与旧有图像/视频编码技术相比较可以操纵增加的亮度动态范围，本发明具体地涉及指定根据第一动态范围图像导出的第二动态范围图像的颜色饱和度(两者在亮度动态范围中改变至少因子二，并且例如根据具有PB_C＝100尼特的接收到的标准动态范围SDR图像在接收侧装置中重建1000尼特的编码峰值明亮度PB_C的HDR图像)当导出具有其第二动态范围的第二图像时应该如何通过饱和度处理来偏离。本发明还涉及很好地调谐到涉及相当地不同的亮度动态范围的图像的映射的图像处理链的饱和度处理(至少因子2，但是可以仅是：需要以因子100减少动态范围，从10000尼特到100尼特图像，或者反之亦然)。

背景技术

饱和度是比得到故事的小部分的外行人看起来的那样更难的技术量。在精神视觉上，其是可以通过具有带三个不同的锥体类型的眼睛的大脑导出的(对象的)颜色的有意义的性质之一。在光度学/色度学上，其是颜色多么接近于相同色调的单色光谱或者换言之其距白色多么远的量度，并且其通常被称为纯度。在那里，其涉及这样的物理性质(如例如在对象的外部层中的着色剂的量)，例如，如果存在吸收蓝色和绿色波长而反射红色波长的许多着色剂，则我们具有强或纯的红色对象。在数学上，对于图像颜色处理技术，其涉及通过移动更接近或者更远离某种白色进行的一些颜色空间中的一些径向轴处理。而且，该处理必须建模自然如何生成纯度，并且更具体地，人类将如何感知其。此外，由于色彩依赖于亮度，因而大脑可以导出三种“饱和度”，其分别地被称为色彩度、色度和饱和度，但是在该文本中为了简单起见我们将使用词语饱和度，因为对于技术人员而言我们意指什么将是更清楚的。

“复杂性”的另一来源在于，饱和度处理(和定义)可以在所有种类的空间中完成(具有圆柱体，分别为锥体或者双锥形)，其中的一些固有地缩放到色域范围，但是与光的线性性质相比较具有变形关系，以及其他可以是简单的，但是可以导致削波(clipping)，尤其是由于3(或多)原色加性显示器的非线性帐篷形状。

现有技术已经得到一群一般饱和度教导，其大部分逻辑地涉及图像处理，通常为对图像的美化。如果人们对针对图像的人类偏好进行建模，那么突出的一件事情通常是人类常常偏好高度饱和图像。当然，去饱和的粉彩图像也可以是漂亮的，并且因此颜色技术也需要能够生产那些颜色。并且，这样做给定技术的细节，我们将假定此处(为了阐述的简单性，非限制性的)其为加性显示器的细节。这些技术不关心任何编码问题，例如，如果HDR图像被传递到接收器作为唯一HDR图像，则(一个或多个)HDR图像的重建质量应当具有最小条带、DCT分块伪影等。但是具体地，如果期望传递相同HDR场景的两个不同分级的外观，即例如1000尼特或者5000尼特PB_C HDR分级和SDR 100尼特PB_C分级，并且具体地如果人们想要接收实际上被传递作为SDR图像的HDR图像，人们应当在人们如何完成根据另一图像重建一幅图像所要求的处理的所有定义中是仔细的(其实际上是第二图像的功能编码，比如说例如1000尼特HDR(通过传递一组函数以变换实际上接收到的图像，例如，SDR图像))。

在相机捕获并且格式化标准图像格式(如例如PAL)的有限色域中的捕获的图像的领域中还存在特定现有技术。注意，所有饱和度相关现有技术将具有至少一些相似性，其然而不应当关于本发明的部分的其差异和对比度被混淆或者被误解。应当注意，由于饱和度从(零饱和度)亮度轴沿着向外方向在色度方面起作用，因而所有等式将可能具有类型颜色_分量减去不饱和_亮度_分量的特定形式。然而，具有例如两个特定色度尺度的特定坐标系对数学的特定三维指定之间的差异，并且尤其是线性对非线性颜色表示，以及那些相应空间中的颜色变换的操纵，可以具有非常不同的比色行为，即需要被小心预期，并且因此并非平凡地彼此变换。还应当理解，应用的数学变换可以是线性的(例如，颜色矩阵)，但是如果其被应用在非线性空间中，则最终比色行为关于潜在地不同的比色行为仍然是非线性的，其可以针对一些应用或者图像被忽视，但是对于其他重要。

EP0647069涉及一种系统，用于正确地格式化较高明亮度的区域中的相机输出，使得例如没有或者减少的面部褪色发生。这些相机具有亮度部件上的所谓的软削波器或者拐点电路(图1、2)，以减少但保持一些突出显示。还应当记住，基于扫描的较旧类型的相机可能已经具有稍微更多的非线性溢出行为，但是CCD相机将通常地具有很充分的限制，但是仍然，这样的拐点行为可以仍然帮助保持图像中的几个突出显示，同时不使关于操作符的主要部分变暗太多。依据该拐点系统行为，该专利然后添加影响饱和度的电路部分。首先，我们要注意，这些系统未实际上旨在最佳地操纵HDR场景，其可以具有比相机暴露在其上的主要明亮度区域亮10或者甚至50倍的更高的明亮度区域。保持软拐点，但是利用该电路无论如何将大多数实际上更亮的区域削波到白色。

DE19812526是另一颜色饱和度修改电路，其当然对颜色差异分量起作用，但是再次除了以上差异，如不允许人类可指定饱和度增益(更不用说其在创建侧和消费侧之间将是可通信的，或者其将形成编码不同动态范围外观的光谱的新颖基本原理的基础，能够用作对绘制图像的最佳，在现场具有不同的显示峰值明亮度PB_D输出的多个显示器)，该专利仅在两个颜色差异上以标准的方式起作用并且甚至从任何有用的教导朝向我们下面所描述的技术进一步移除。众所周知，这样的“UV”型饱和度电路先前地存在，因为在已经得到YUV视频作为输入的电视中(即，在转换到用于控制显示器的所要求的RGB之前)进行一些饱和度处理是非常便宜的方便的方式。

其次，最近已经搜索如何编码一组(一幅或多幅)HDR图像，尤其是以这样的方式：其还可以服务经典视频应用(视频是任何一组移动图像，即其要在时间演替中呈现，在这样的应用领域中作为例如有线电视、基于因特网的OTT视频供应、专业电影院和其他相关视频应用)。存在可以影响用于(一幅或多幅)HDR图像或者视频的好的编码技术的设计的多个特定要求。在WO2015180854中教导了申请人的编码技术的一个范例(关于允许这样的国家的可组合的教导将其整体内容被并入本文)。从中可以看到，可以存在得到HDR编码技术的各种方式(尤其取决于应用，例如，是否其用于电视节目的实时广播，或者用于离线电影通信)，因此我们不旨在比在本申请或其权利要求中必要的更多地限制我们自己。重要的是要理解该技术允许将第一动态范围的图像实际上作为第二动态范围的图像进行传递(假设没有限制，以便容易理解人类创建者已经制作了图像的主5000尼特PB_C表示，并手动将其重新分级为100尼特SDR表示或要实际传递的外观图像，并通过分级我们意指从第一HDR图像到第二HDR图像改变对象的颜色，并至少以某种方式改变它们的亮度，如期望地并可通过数学函数计算，其也要被传递)。在一些变型中，人们期望具有仅亮度变换，但是一般而言人们还可以期望颜色处理，并且尤其是很适于从第一亮度动态范围到第二亮度动态范围的变换的需要的饱和度处理，所述第二亮度动态范围通常是相当不同的(至少2x更高的PB_C，但是通常地5x、10x或甚至更多；注意，如果我们仅通过上点(即，最亮可表示的白色的峰值明亮度)指定动态范围，那么我们假定较低点是零，但是人们还可以传递编解码最小值，如果这样期望)。

由于其稍微是尚末很好地被理解为一般知识的新领域，因而我们在图6中指示与SDR图像对比HDR图像通常是什么。基本上，其是利用SDR编码未很好地可表示的所有图像。每颜色通道(例如，R、G和B，或者Y’CbCr的Y’亮度通道)的比特量不是动态范围的好的指示器，因为10比特图像可以包含SDR或者特定例如5000尼特PB_C HDR图像两者。代码的峰值明亮度是相关的，并且SDR图像被假定为仅表示达到100尼特的图像，并且在绝对显示参考编码中没有事物超过(即，我们假定其已经被分级用于典型的例如家庭电视查看，无论通过人类分级者还是自动算法)。通常，实质上较高的PB_C编码还需要用于将10比特亮度代码分配到表示的(和显示绘制的)亮度的另一代码分配功能，该所谓的OETF(光电传递函数)将用于HDR图像，其不是旧有Rec.709图像，而是例如SMPTEST.2084图像。甚至在相对表示中，其中，一个表示具有0.0与1.0之间的亮度或者明亮度的HDR和SDR图像两者，人们将通常地看到，与在SDR图像中相比，在DHR图像中，存在暗得多的像素，以及更暗的像素的更大的比例(例如，如经由亮度直方图可检查的)。例如，如果采取洞穴图像ImSCN3，则表示暗洞穴内部的像素将比通过窄洞穴入口看到的晴朗室外更暗得多，并且人们将通常地将此看作双峰直方图。在SDR图像中，模式将一起更加靠近得多，例如，几乎接触。HDR图像表示将通常能够表示具有达到1000尼特(或者在一些HDR图像和其编码中，甚至更高亮度)的像素明亮度的HDR场景图像。

因此，以下发明实施例特别地在新出现的高动态范围图像操纵的框架中作出(尤其是用于通过有线或无线视频通信网络发送到其他长距离或者短距离位置中的接收器(诸如家庭计算机、消费者TV、机顶盒、而且例如专业电影院视频接收装置等)的编码)。

对于HDR视频技术的该领域的要求与现成饱和度知识可以满足的不同。具体地，我们已经研发了HDR视频编码框架，其可以编码旨显示各种动态范围能力(尤其地比如5000尼特、1200尼特和200尼特的峰值明亮度)的多幅图像(针对演示的一个时间点)，图像编码的束需要实际上传送针对例如1500或者1000或者100尼特的参考动态范围的仅一幅图像(每时刻)，并且作为元数据传送多个功能，其使用在例如在机顶盒中的接收器侧处以计算至少一幅第二图像(例如，对于700尼特的连接显示而言)(参见WO2011/107905、WO2014/041471、WO2014/056679)。例如，考虑我们针对稍后使用传送或者存储由用于5000尼特高动态范围(HDR)参考显示器上的呈现的其创建者最佳地颜色分级的图像，该图像利用元数据颜色映射函数补充，以用于导出用于在低动态范围(LDR)显示器上绘制的100尼特图像。接收例如100尼特峰值明亮度的电视将向5000尼特HDR图像应用那些颜色映射函数以得到其适当的100尼特LDR图像。该LDR图像或者相反功能上编码其的元数据函数通常也由创建者进行颜色分级作为在LDR显示器上看起来合理的图像(例如，当然给定LDR显示器的限制，HDR显示器上的HDR图像绘制的紧密近似)。我们已详尽阐述了用于对具有不同的动态范围的两幅图像中的像素的亮度进行映射的多个亮度映射函数，因为主要动态范围映射是给出在可能的LDR亮度的范围中的例如HDR图像对应亮度中的对象的原始亮度的优化(围绕将LDR映射到HDR的另一个方式当然也是类似地可能的，其具有不同的映射函数)。动态范围映射是通用的颜色映射问题，其不仅涉及对亮度颜色分量的变换。例如，如上所述，对象的色彩度取决于其亮度，因此如果由于色域/动态范围技术限制或者艺术选择我们需要将第一图像中的对象的亮度映射为第二图像中的较暗的亮度，则创建者能够想要将这与对该对象的饱和度的提升组合。而且，由于(例如)3原色加性显示器的帐篷形色域相当复杂，并且作为亮度的函数被指出，因此如果颜色控制对于该优化也是可能的则其可能是有用的。如果人们关于亮度变换完成“什么都行”，则其可以是太多像素颜色在上RGB色域边界处削波(例如，要传递的SDR图像之一)，并且本实施例可以适合减轻或者解决该问题。

然而，尤其是在元数据需要被协同编码和传送时，存在导致将或多或少实用的解决方案的技术限制。因此，如果任何颜色处理方法或者装置必须是与潜在的远程被传递的颜色处理的指定一致的，则其必须符合那些限制。更多因为如此，需要HDR视频编码的各种不同的技术(例如，HDMI)中的视频通信模式中的一些视频通信模式可能涉及用于传送任何元数据的每图像的数据字的有限的带宽或者有限的数量。因此，人们必须巧妙地选择哪些函数被传送，因为在该框架中，其确定哪些图像可以被编码，而且确定接收侧集成电路因为其必须进行颜色映射而应当总是多么合理地或者不合理地复杂。此外，函数还形成允许分级者对他的图像内容的新的动态范围外观进行编码的函数的工具箱，因此那些工具不应当太少，也不应当太多，不应当太复杂，并且尤其是应当对图像的颜色变换有好的主要顺序影响，尤其是对动态范围变换而言大多需要的那些方面有好的主要顺序影响。

问题是，这样的经调整的颜色处理工具和足够地启示如何开发它们的知识不是通常可得到的，因此我们必须开发其。在WO2014128586中，我们介绍了作为如亮度的明亮度变量的函数的饱和度处理定义，但我们期望另一种有用的饱和度调整定义，并且将在下面描述实施例。

发明内容

我们下面所描述的实施例解决先前地不具有简单饱和度指定策略的大多数问题，其与亮度动态范围转换颜色处理能够处理足够地不同和/或足够地大的动态范围图像(例如，达到1000尼特或者甚至高于其的对象像素亮度)的需要很一致，尤其是借助于图像编码器(201)，所述图像编码器用于编码针对至少一个时刻的至少一幅高动态范围图像(HDR_ORIG)，以及具有第二亮度动态范围的针对相同时刻的至少一幅图像(Im_LDR_out)，所述第二亮度动态范围以至少因子二与高动态范围图像的亮度动态范围不同，所述图像编码器被布置为编码针对那两幅图像(HDR_ORIG、Im_LDR_out)中的至少一幅的像素颜色的矩阵，所述图像编码器包括指定单元(212)，所述指定单元包括饱和度指定单元(204)，所述饱和度指定单元被布置为将指定颜色相关饱和度变换的饱和度修改指定函数指定为针对像素颜色(Y’，Cb，Cr)的至少两个颜色差异值(R’-Y’、B’-Y’)中的最大一个的每个可能值的一组增益(g)，所述颜色差异值被定义为像素颜色的非线性RGB加性颜色分量的值减去像素颜色的亮度，并且图像编码器还包括格式化器(210)，所述格式化器被布置为在图像信号(S_im)中输出包括像素颜色的矩阵的图像(Im_in_DCT)的编码，以及作为元数据的一组增益(g)。

已知通过通常利用针对所有颜色的固定相同乘法因子(在RGB或者YCbCr色域中的任何地方)进行(两个)颜色差异的提升的饱和度处理，因为其与如在本专利申请的介绍中介绍的饱和度的定义紧密地链接，因此我们在我们的方法中再次看到颜色差异相关部分，但是以特定的方式找到沿着颜色色域的饱和度的简单的好的指定是困难的，所述指定实现快速并且强大的分级的需要，以节省分级者的宝贵时间，以及诸如例如平板型显示器的需要使用高动态范围图像的各种可能更便宜的装置中的解码IC的计算复杂度。应当指出的一个差别在于，经典的饱和度处理方法利用亮度或者明亮度作为第一轴以及定义像素颜色的色度分量的两个色度差异轴(其粗略地与色调和饱和度的实际心理印象相对应)来定义椎体或者圆柱体，而我们对三个颜色分量应用处理。当然，主要差异在于，我们的增益定义以与亮度轴定义正交的通常/预期的非常不同的方式被指定，或者通常仅为固定提升，其给定非常不同的比色行为，然而所述非常不同的比色行为更好地被调谐到动态范围转换的问题，其最复杂地在所有RGB色域的窄上部分中发生。该新饱和度处理方法适当地向那弯曲。介绍了出人意料的V-Y指数，其可以被用作编码如由内容创建侧期望的一些特定饱和度改变行为的任何FC(V-Y)函数(或者等效导函数，如FC/(V-Y))的输入坐标，这对于颜色技术中的技术人员而言是出人意料的，因为人们将认为该饱和度总是应当被定义实质上正交于非彩色亮度轴(至多亮度或者明亮度Y’的函数)，并且因此甚至当针对不同的实际像素亮度的变量时，指定饱和度策略的该方式将看起来对于比色技术专家乍看起来是非常反直观的，因为沿着所述非彩色轴V-Y处处是零，但是给定非彩色颜色不需要以任何方式被处理，该饱和度指定方法看起来实际上具有非常好的性质。因此，颜色分级者将指定他的最佳彩色颜色处理策略作为(通常针对恒定色调，但是当然人们可以针对某些应用将基本方法修改为更复杂的方法，例如还注意一些色调相关变型；但是对于大多数应用而言，我们的方法仅需要V-Y参数的函数)1维饱和度修改指定(其我们将假定是针对每个可能V’-Y’值的一组增益值，其可以作为在接收侧处的针对任何像素的计算结果发生，但是得到V’-Y’_out的输出函数的间接指定也可以仅被使用，即，被认为是相同的事物)，其基于针对颜色色域中的任何颜色的V-Y值而变化。因此，通过指定任何这样的函数F(V-Y)，分级者还指定针对输入图像的特定颜色饱和度修改行为，如在得到的输出图像中看到的。感兴趣的实际F(V-Y)指定仅具有几个(例如，2或3个)例如线性分段，例如在其中饱和度被提升的部分，并且在其中饱和度减少的范围的部分(以及颜色色域的对应的部分)，但是当然可以做出更复杂的指定以重新分级特别地复杂的HDR场景。通常，存在指定函数的机制，并且分级者可以然后选择他想要多么复杂地得到并且编码该函数。在典型的较大的系统中，分级者可以实际上视觉上看到他将指定什么(例如，经由图像通信接口208在LDR显示器上(例如，HDMI))，并且选择如艺术上期望的最终指定，例如因为其在特定种类的HDR输入的情况下给定适当的LDR图像外观(例如，利用达到10000尼特的亮度以原生格式编码的暗地下室的场景)。尽管这应当是对于技术读者清楚的，但我们想强调，该颜色处理在不论哪种实施例配置中(即，例如用于将与具有第一动态范围的显示器相关联的输入图像转换为适于驱动具有另一动态范围的显示器的图像)可以被用于从较高动态范围转换到较低动态范围或者相反地从较低动态范围转换到较高动态范围(例如，100尼特到不论什么编解码器或者显示器峰值明亮度)两者。但是，所述方法尤其有用于转换到(一个或多个)较低的动态范围，并且然后编码HDR场景的HDR外观图像作为这样的等价SDR图像，以被传递到任何接收侧(无论实时还是经由中间存储设备)。因此，该饱和度指定基于具有第二动态范围的第二图像形成具有第一动态范围的第一图像的定义的部分。因此，典型的HDR编码器装置还将包括颜色映射器202，所述颜色映射器被布置为应用我们的饱和度映射，使得人类分级者可以通过应用所述映射实时看到所述增益因子对应于什么(例如，他可以同时地查看HDR显示器上的主HDR图像，以及SDR显示器上的导出的SDR图像，并且检查他的选择对图像像素或者对象的明亮度和其饱和度两者的比色影响)。而且，人们可以指定所述函数，使得其增加或者减少所述饱和度，并且可能地不同地取决于颜色位于色域中何处。在针对指定的单元204和颜色映射单元202在不同的例如IC中的情况下，然后可以存在用于传递所述F(V-Y)的所述单元之间的总线289，并且在单个处理器等上的基于软件的版本中，这可以等价地通过流程调用等实现。

加性原色是可以通过混合每个原色的百分比来得到的跨颜色的色域的原色，由此，混合每个原色的100％给出预定义的白色，例如，D65。线性加性原色定义的颜色百分比表现为线性向量空间，如同原色指示原色的特定原色(实际上来自原色的特定的光谱)的多个光子。这具有例如与混合物中的色调的持久性等有关的特定的性质。应当将这与具有非常不同的颜色混合行为的非线性表示进行对比。这样的非线性坐标可以例如通过通常应用近似为平方根的函数来定义，即，我们将利用添加到颜色分量(例如，R’＝sqrt(R)等)的素数(描边)或者实际上线性加性颜色分量的任何其他非线性函数来指示这。但是，我们假定所述素数通常意指作为平方根或者接近于该函数形状(例如，Rec.709SDR亮度)的函数。当然，在数学上，人们也可以在这样的非线性颜色空间中定义任何颜色处理，如例如线性矩阵，但是以这样的非线性方式-例如饱和度修改处理-处理的任何一组颜色的色度外观将是与线性颜色处理不同的。颜色的亮度按照定义是原色的线性组合，其中，权重取决于选定的RGB坐标系，即，原色和所需的白色点。具有相同权重的非线性原色分量的对应的组合也存在，但其被称为亮度Y’，并且如所述的，那个颜色表示和其中的数学上的颜色变换具有非常不同的比色行为，并且不能被类似地加以必要的修改用于特定的比色任务。即，人们需要严肃地预期在哪种情况下使用哪种数学变换，并且能够需要更费力地需要预期如何例如在线性表示中模仿非线性表示中的特定颜色处理行为或者反之亦然。一些颜色变换(如在模拟电视的过去电路中)被设计有其他主要考虑(例如，比颜色准确度更受偏爱的计算简单性)，而不是能够需要什么目前技术。

各种连接或者分离的装置可以以各种方式指定这样的函数，其编码所述饱和度行为(根据我们的特定V-Y，或者优选地本发明的非线性V’-Y’基本原理)并且将其传递到所述颜色处理单元。具体地，这两者可以被包括在用于验证颜色变换的动作的装置中，诸如在图像或者视频编码装置中。通常，分级者将通过例如整形具有控制点的函数来指定至少一次，并且可能地许多次，直到他满意饱和度处理的颜色变换，尤其是(例如，LDR)输出图像的外观。但是，这还可以例如由相机操作者等完成。最后的函数FC可以然后被用于被存储在存储器中用于稍后处理的即将到来的实时处理，如例如当处理一批图像时，通过任何通信技术进行通信，以用于例如使得任何接收器能够进行所述图像处理等。技术人员将理解到哪些等价变型可以取决于情形而使用，例如标准可以保留多个整数或者实数占位符，以放在多个函数指定参数中，如例如单个增益，其可以是在增益变化的情况下的平均，第一系数包含例如V-Y输入轴上的分界线，其中，第一分段当在0处开始时结束，并且其可以是在这是线性分段的情况下的斜率数，并且在函数太复杂并且需要太多参数的情况下，相反地标准可以将FC数据存储在LUT中等。任何这样的饱和度操纵装置(例如，IC的部分、或者在IC上运行的软件)可以自己确定好的饱和度策略，即，甚至电视中的解码器可以确定其并且将其应用在例如自动转换策略中以得到更好的即将到来的图像的颜色。然而饱和度修改尤其地感兴趣作为技术的部分，其中，在其上相应的外观必须被绘制的显示器的各个动态范围的场景的各种外观具体地通过至少一个接收到的图像每呈现时刻的比色变换来编码，所述比色变换涉及饱和度处理。

通常，如果其利用来自人类分级者的输入，则用于确定编码的装置将具有至少一个函数F(V-Y)的基于UI的指定，将该饱和度指定函数供应到所述颜色处理器以完成所述颜色变换并且允许得到的输出图像由所述分级者检查，并且如果结果是满意的，则通过例如格式化与所述像素化图像编码相关联的元数据字段中的函数的所有描述数据结束基于分级的编码，并且其被存储或者被传送作为图像信号，这可以使任何接收器完成相同计算以获得较低和较高的动态范围的一对图像，或者如果所述饱和度变换在所述相同的动态范围内完成，则输出例如LDR图像。应当清楚的是，完成编码将看起来像什么的某种验证的任何编码器将包括本发明的基本饱和度处理核心。在任何情况下，任何解码器必须包括其，因为其需要改变图像外观以能够重新确定第二图像的该定义方式，所述即例如为LDR图像，其实际上未共同编码为像素化图像，而是仅作为指定的颜色变换以被应用到传递的HDR图像。以这种方式，与基于亮度的颜色变换一起，获得例如3x或者10x较低的动态范围(通常地，较低的峰值明亮度)的图像。

如所述的，所述饱和度处理对HDR图像处理情形尤其感兴趣。具体地，我们之前已发明了HDR编码框架，该框架不必对一个唯一的HDR外观(即，例如，要在5000尼特显示器上被呈现的图像，这意味着它将在该显示器上看起来更优，但是，尽管当然是仅一幅图像，但其也可以被直接绘制在具有较高峰值明亮度中的较低峰值明亮度的其他显示器上，但因为那些显示器不与美术上的意图相匹配，因此图像将不再看起来最优，例如，一些部分将看起来太暗)进行编码，但可以针对各种预期的显示器对一批这样的外观进行编码(我们将这称作显示器可调谐性)。在这样的技术中，范围/外观图像中的仅一幅图像实际上需要被编码和传送(对于视频的每个时刻T)，例如，1500尼特图像，并且其他图像然后在接收侧通过应用函数被计算。例如，第一函数将这映射为参考100尼特峰值明亮度动态范围，以及，第二组函数将其映射为5000尼特。而且，到3000尼特的映射也可以在接收端通过正确地插入全部接收到的信息来完成。在这样的编码策略中，人们想要指定在例如从1500尼特到达100尼特或者从1500尼特到达5000尼特时的饱和度改变，并且对此，当前饱和度修改实施例是高度有用的。因此，所述饱和度处理构成作为另一个外观(例如，之前得到的主HDR外观HDR_orig)的函数的对一个外观(例如，LDR lm_LDR_out)的功能定义的部分，并且可以被用于由接收器导出第二外观，不论两(组)图像中的哪个实际上被发送到接收侧，其中，元数据包括颜色变换函数定义。除了饱和度处理之外，将存在亮度方向颜色变换，其可以例如在所述饱和度处理之前或者之后被应用的所述第二图像的功能定义中。我们注意到，在HDR处理中，人们对于亮度码值的定义需要比伽马(gamma)2.2高的非线性度。如果人们想要使用兼任码分配功能的特定的良好外观的经分级的图像，则这样的应用中的非线性亮度变换可以甚至是高得多得非线性的，例如S曲线。例如，人们可以传送线性HDR场景的LDR非线性图像。

更高级的实施例可以允许更多调谐到图像的比色细节的不同的饱和度处理策略的指定，即指定单元(212)包括确定至少两个权重的集合(Wr、Wb)，并且格式化器(210)被布置为在图像信号(S_im)中输出那些权重。例如，可以存在如旋转拨号盘的用户接口模块，其被连接到允许人类分级者与所述饱和度处理函数的他的指定一起选择至少两个、或者三个、或者四个或更多个这样的权重的软件。他可以再次看到所有东西完成。在更简单的系统(例如，当其驻留例如在电视实况转播车中时的现实电视制作控制台)中，那些权重可以被预设到标准值(例如，基于生产商通常制作什么种类的节目的知识，例如，被设定在用于足球场中的足球节目创建的好的值处)，并且然后例如创意指导可以调节值(如果需要的话)。一些系统可以甚至基于所得到的图像的比色分析来自动地确定那些权重值(例如，对于饱和度函数的给定标准形状，或者甚至结合从若干可用形状选择最佳形状等)，例如分别地计算SDR图像的HDR中的选定的一组像素的色彩之间的差异量度等。

在传输或者创建侧先前地确定的所述信息的任何接收侧，所述新技术可以被使用在图像解码器(301)中。

即，图像解码器(301、701)被布置为能够接收图像(Im_in_DCT)并且根据其计算不同的亮度动态范围的图像(HDR_ORIG)，所述不同的动态范围具有编码峰值明亮度(PB_C)，其以至少为2.0的大小的乘法因子与接收到的所述图像(Im_in_DCT)的所述峰值明亮度不同，所述两个图像中的至少一个是高动态范围图像(HDR_ORIG)，所述解码器包括颜色映射器(304)，其被布置为通过执行接收到的所述图像的所述像素导出不同的亮度动态范围的所述图像：

-计算像素颜色(Y’，Cb_in，Cr_in)的至少两个颜色差异值(R’-Y’、B’-Y’)中的最大一个颜色差异值，所述颜色差异值被定义为所述像素颜色的非线性RGB加性颜色分量的值减去所述像素颜色的亮度；并且

-接收一组增益(ST_g)，所述一组增益表示针对至少两个颜色差异值(R’-Y’、B’-Y’)中的所述最大一个颜色差异值的每个可能值的对应的增益(g)；并且确定针对当前被处理的像素的颜色的增益(g)；并且

-将所述像素的蓝色色度(Cb)和红色色度(Cr)乘以所确定的增益，以获得输出颜色的色度。

该解码器是新的，不仅在于其能够进行该新饱和度处理(基于如何根据所述内容创建或者代码转换侧改变所述饱和度的接收到的指定)，而且在于其是获得基于所述颜色的这样的比色重新定义唯一地定义的不同的外观的方式(其通常可以在标准化坐标系中发生，其中，R、G、B和Y在0与1之间，但是该色域中的确切颜色位置确定特定HDR场景的任何外观或者分级的艺术适当性)。

因此，除通常作为图像处理有用之外，该特定饱和度处理通过发明人实现以尤其对于定义图像是有用的(即，来自接收到的图像的不同的动态范围的另外的图像)，如果人们具有其中人们需要编码HDR场景上的至少两个外观的技术，所述两个外观是旨在用于显著地不同的动态范围(例如，旧100尼特峰值明亮度和5000尼特或者1000尼特)的显示器的图像，并且由此人们将想要避免传递这两幅图像的像素纹理(或者至少，可能一些像素可以在第二图像中被发送，避免这两幅图像需要完全被传递到接收侧)。艺术分级的第二外观将然后通过从第一个数学地导出，其实际上被传递为包括多组像素的颜色的编码的图像，例如，通过基于DCT的编码，如JPEG或者MPEG变型等。具体地，在该框架中，考虑所述内容创建者的艺术期望，因为他将指定第二外观，其还实际上通过用于通信的颜色变换编码，但是同时还被指定，因为在编码侧他将选择如在FC(V-Y)中编码的最佳饱和度改变策略。在解码侧，该信息然后被用于能够根据传递的HDR图像唯一地确定第二外观图像(例如，非限制性地LDR图像)。还注意到，其可以首先对于颜色(即，饱和度修改)并且此后亮度传输部分是技术上有利的。例如，如果该色度变换创建在所述亮度方向上的一些设计的头上空间，那么可以应用不同种类的亮度变换，其可以有时在动态范围压缩中是关键的，例如当若干重要的明亮对象必须在RGB色域帐篷之上填入时转换为LDR。这可以对于一些种类的场景是特别感兴趣的，例如，包含着色的玻璃窗等。

感兴趣地，各种颜色操纵技术的实施例(如颜色处理器、解码器或者甚至编码器)可以被包括在显示装置(诸如电视或者电影院投影器等)中。

本发明还可以被实现在可传递的图像信号(S_im)中，其将编码不同的动态范围的至少两幅图像，所述图像中的至少一幅是高动态范围图像，所述图像信号包括所述至少两幅图像中的一组像素的编码，并且函数元数据指定颜色变换函数，所述颜色变换函数要应用于导出所述至少两幅图像中的另一幅，其特征在于，所述函数元数据包括指定用于差异值(V_in-Y)的各种值的增益的函数，所述差异值被定义为像素颜色(R、G、B)的通常地三个(但是潜在地还2个或超过三个)颜色差异(R-Y、G-Y、B-Y)中的最高一个的值，所述颜色差异被定义为所述像素颜色的相应加性原色分量的值减去所述像素颜色的亮度。该信号可以被存储、传送、使用等。该信号然后包括能够根据第一图像来解码第二外观或者分级图像的所有数据(即，两者通常具有显著地不同的亮度动态范围)，包括以下事实：发明人意识到新饱和度映射可以基于仅传送的实际像素化图像编码很好地使用在至少一幅其他动态范围图像的定义(即，共同编码)中。

在任何装置内部或者可拆开并且可分离地分布的任何存储器产品(299)包括用于数字数据位的存储器，其特征在于，所述存储器填充有编码特定简单饱和度修改策略的新颖图像信号(S_im)。

如技术读者将意识到的，所有实施例可以被实现为许多其他变型、方法、信号，无论通过网络连接传送还是存储的计算机程序等。

附图说明

参考下文中描述的实施方式和实施例并且参考附图，根据本发明的方法和装置的这些和其他的方面将变得显而易见并得到阐述，附图仅充当例示更一般的概念的非限制性的具体的图示，并且在附图中，使用虚线来指示部件是任选的，非虚线构件不必然是实质的。还可以使用虚线来指示这样的元素，所述元素被解释为是实质的、被隐藏在对象的内部或者针对无形的事物，所述无形的事物诸如是对对象/区域(并且它们可以如何被示出在显示器上)的选择。

在附图中：

图1示意性地图示了新饱和度处理装置的特定实施例，即，解码器的核心，或者当在编码装置中时其镜像，例如用于检查解码器将进行什么，或者确定在另一方向上的动态范围变换(例如，HDR到SDR变换，其中，接收器将基本上相反进行SDR到HDR重建)，其任选地被连接到亮度处理策略(两个颜色改变基本上是不相关的)；

图2示意性地图示了包括新颖的饱和度处理装置的实施例的HDR图像编码器可以如何实现的可能实施例；

图3示意性地图示了示范性HDR图像解码器(例如，连接到家庭环境中的显示器的STB中的解码器)的可能实施例，技术人员当然理解，与此类似的其他使用情形可以例如是医学系统、军事系统、超市中的广告系统、主题公园中的娱乐系统等；

图4示意地图示了人类分级者指定g(V-Y)饱和度指定的简单的方法的一种可能性；并且

图5示意性地图示了V-Y指定在RGB颜色色域中将看起来像什么，其中，RGB颜色色域具有R红色、G绿色和B蓝色加性显示器原色；

图6阐述了在第一亮度范围表示与第二亮度范围表示之间转换图像的一些方面(即，尤其是图像变换的亮度方面)；并且

图7示出了我们的基于V-Y的原理的优选的实施例，其与预期rec.709或者类似基本原理中的Y’CrCb处理的旧有系统(即，利用近似地或者实际上平方根的根据亮度定义亮度Y’的非线性)容易地可集成。

具体实施方式

图1示意地示出了根据本发明的基本颜色饱和度修改装置101的仅仅一个可能阐述实施例。我们仅使用该附图阐述我们的实施例的一些第一原理，并且如下文所示，还可以设计处理电路的其他拓扑结构。该装置101可以例如是用于颜色处理的IC的处理单元，例如我们将在以下示范性阐述中假定的，其被包括在用于HDR视频编码的编码器中或者用于HDR视频解码的解码器中。其得到具有我们将假定是线性红色、绿色和蓝色(RGB)颜色分量(针对如例如sRGB的特定颜色空间)的颜色的像素的输入图像。但是下面关于图7阐述了更优选的实施例，其工作更接近于更常用的基于非线性R’-Y’等的变型，其通常地使用在旧有SDR编码中(即，还在我们想要通过发送作为要转换为第二动态范围的图像的第一动态范围图像的旧有兼容SDR图像来使用我们的方法的情况下，第二动态范围的图像在该情形下通常是HDR图像；但是注意，我们的解码和处理还可以在另一方向上工作，例如以将较高的PB_CHDR图像降级到较低的一个，例如从5000尼特到1000尼特、或者1000尼特到100尼特等)。技术人员将理解，变型可以如何存在，例如如果MPEG编码图像的伽玛空间YCrCb像素颜色出现，则可以存在被连接(未示出)用于对该线性RGB颜色表示进行颜色转换的预处理单元。取决于使用的颜色空间的颜色原色，亮度计算单元102计算颜色的亮度。例如，其使用的等式可以是Y＝0.2126*R+0.7152*G+0.0722*B(针对Rec.709)或者Y＝0.2627*R+0.6780*G+0.0593*B(针对Rec.2020)，两者都用于D65白色点。

但是感兴趣地，在图7中，我们示出了基于(非线性)V’-Y’的基本原理可以在Y’CbCr类型颜色处理中如何优美地投影(即，代替于线性R-Y，利用R’-Y’等)。

减法器130导出线性颜色差异(例如，R-Y通过从其红颜色分量减去像素亮度来获得，等)。最大确定单元104评价3个颜色差异R-Y、G-Y、B-Y中的哪一个对于当前处理的像素而言是最高的，并且输出该值，例如，R-Y。我们将调用V’-Y’或者V-Y(对于线性较不优选的情况)，3个输入中的无论哪个是最高的。需要该值，因为我们的饱和度策略定义多少饱和度和去饱和度应当基于每个图像像素的V_in-Y值完成。(去)饱和度的量被指示为用于乘法的因子g，并且其通过函数F确定。该函数可以在飞行中计算，但是仅针对该范例，我们将假定其从查找表读取。具有指数V-Y和输出g的该查找表(或者通常用于使能评价函数所需要的无论什么数据)将通常地经由数据输入108(例如，经由由(一幅或多幅)那些图像的内容创建者先前地生成的与(一幅或多幅)图像Im_in(R，G，B)相关联的元数据)外部地接收。得到的增益通过乘法器106乘以颜色差异，从而得到针对像素的输出线性颜色差异(R-Y，G-Y，B-Y)_out。最后地，像素亮度再次由加法器107添加以得到输出像素颜色，以及具有这样的像素颜色的图像Im_out(R，G，B)，其具有针对像素的不同的饱和度。

我们同样已在图1中示出，并且一般地在本发明的饱和技术仅被用作图像重新着色功能时不存在，但通常存在于视频编码或者解码处理链中的是，保持颜色的色度(或者换句话说，其饱和度)恒定但改变像素的明亮度(brightness)或者亮度(luminance)的第二处理。具体地，亮度映射单元150可以通过利用乘法器153将输入RGB值乘以增益值gt沿可能的灰度值的范围对具有各种像素灰度值(或者实际上max(R，G，B)值)的像素给出不同的加亮(或者减暗)，所述增益值gt由增益值确定单元152作为输入R、G和B值中的最大值(由最大值确定单元151计算)(用V指代)的函数FT进行评价。给出最终的输出图像Im_out2(R，G，B)的该单元150实际上实施我们在WO2014056679中详细描述的内容。尽管该映射技术的各种使用是可想象的，诸如例如将经中间1000尼特编码的图像映射为2000尼特图像以用于在2000尼特显示器上显示，或者对特殊的100尼特图像进行升级，所述图像在100尼特显示器上看起来是合理的，但包含足够用于将其在功能上变换到高质量5000尼特图像中的HDR纹理信息，我们将利用将5000尼特主分级的HDR(HDR_ORIG)映射为适于驱动具有100尼特峰值明亮度或者该值附近的峰值明亮度的LDR显示器的100尼特LDR的示例来阐述所述处理。假设我们具有教堂的HDR捕获。教堂的内部不太明亮，即，有点微暗，但所有事物良好可见。通过着色的玻璃窗照射的阳光明媚的外部世界明亮得多，使那些颜色为内部的颜色的例如10倍或者更多倍明亮。但那在HDR图像中是可很好地表示的，因为其具有足够的动态范围。定义编码的意义(忽略亮度利用哪些电光传递函数已被分配给将在显示器上被绘制的亮度，并且只聚焦于仅那些亮度)可以通过查看它们在参考显示器上的绘制来完成。因此对于教堂，我们可以说其是被很好地颜色分级的，即，具有令人愉快的外观，如果在5000尼特显示器上，内部的颜色例如被映射在亮度的0-200子范围上，并且利用间隔350-5000尼特中的亮度绘制着色的玻璃窗。即使对于具有白色或者峰值明亮度的仅7％的亮度的蓝色，HDR显示器(以及其对应的经编码的HDR图像)可以显示这样的高值。即，有可能绘制(并且对应的HDR图像因此应当对那些进行编码)这样的颜色：其同时使所述颜色饱和和明亮。然而，在LDR显示器上，没有任何明亮且同时饱和的东西是可能的。或者我们保持颜色的饱和度，但然后其变得阴暗(例如，对于蓝色，最大为100尼特的7％＝70尼特)，或者我们尝试使其更明亮，但然后遭受颜色的饱和度的困扰，因为向上移动到色域的顶部中仅可以通过对颜色进行去饱和来完成。我们假设这是分级者的选择：“如果仅我可以将其模拟为明亮，则少量较不色彩丰富的窗口是更好的”。这将通过首先利用我们的单元101朝向非彩色亮度轴对颜色进行去饱和(具有恒定的亮度)来完成，并且然后，我们具有用于利用单元150对经去饱和的颜色(即，优选唯一地或者主要地针对图像的着色的玻璃部分，即，它们的颜色)的明亮度进行提高的色域顶部中的空间。如果我们利用单元150对原始的未去饱和的颜色进行处理，我们将快速撞上色域上边界，并且因此，很少或者不为窗口添加任何明亮度(亮度)。因此，这与向较低亮度动态范围的动态范围变换相关联的是典型的感兴趣的颜色处理变型，但是在将LDR图像变换为HDR图像时，相同的饱和处理可以被用于其他效果，例如，使图像的一些对象或者区域更富色彩。注意，在一些实施例中，去饱和度可以在亮度映射部分之后发生，但是基本原理仍然相同。通常，在编码器中，去饱和度可以在亮度变换之后发生，并且在解码器中，如果一个可以在具有正确色度(即，独立于亮度的饱和度)之后乘以适当的亮度(或者亮度)，则其可以是有用的。

技术人员将理解在实践中针对图像的各种颜色映射可以如何被实现(例如在每像素的单个处理链，或者对中间结果图像的不同的相继的计算等中)。

图2示出了我们的饱和度单元可以如何被包括在编码器中以用于得到HDR视频。其获得HDR分级图像(HDR_ORIG)作为输入。再次，我们利用分级者将制作对应的LDR图像的范例进行阐述，并且使用我们的饱和技术来确定该LDR图像的饱和度。颜色映射器202被布置为应用如图1中的我们的饱和度映射，并且得到LDR输出图像Im_LDR_out，可以在参考显示器220上研究其外观。现在，分级者可以指定他期望的饱和策略，例如，指定为如图4中的指定V_in-Y与V_out-Y之间的功能上的映射的多线性曲线或者其他。例如，他可以通过指定[0-1]，[0-1]坐标系中的8个控制点的x和y坐标来创建函数。此外，(图像或者视频)编码器201包括用户接口单元203。其可以实施各种用户接口功能，例如，以确定各种HDR图像灰度区域到LDR图像中的灰度区域中的亮度重新分配，例如，其可以允许用户从图像的剩余部分中指定要以不同的方式处理的图像的区域。但是，被包括的单元中的一个单元将是饱和度指定单元204。用户可以经由如颜色分级键盘和/或鼠标等的已知分级工具输入设备指定他的用户输入USRINP。例如，他可以绘制如图4a中的曲线。颜色映射器202然后可以应用全部指定的颜色变换，尤其是饱和度修改。如果分级者对LDR外观满意，则函数FC(V-Y)将是要在接收侧用于从接收到的HDR图像中重建合适的LDR外观图像的函数。否则，分级者可以尝试另一F(V-Y)指定。我们将假设纹理被编码在原始的HDR_ORIG中，但我们也可以传送例如LDR图像Im_LDR_out。编码器然后需要收集并且通过使用格式化器210格式化全部信息。其将把HDR-ORIG图像编码为MPEG-HEVC图像，即，将根据HDR EOTF函数计算亮度，计算如CbCr或者uv的特定彩色颜色坐标，对分量图像进行DCT变换，等等。元数据FC可以例如被保存在专用的SEI图像或者类似的元数据结构中。得到的包括图像数据Im_in_DCT和用于获得针对不同的动态范围显示器的至少一个其他外观图像的功能颜色映射元数据FC的图像信号S_im可以直接通过特定网络被发送，例如利用天线211被广播，或者在另一个实施例中可以被存储在例如是蓝光盘的存储器产品299上。等效地，当然，一组增益(即，函数g(V’-Y’)或者g(V-Y))可以被编码为例如LUT等。图2还示意地示出了蓝光盘包含的图像信号S_im/280，所述信号逻辑上包括至少图像数据281和功能元数据282。

作为许多可能性中的一种可能性，我们给出了范例，其中，格式化器210根据例如MPEG-HEVC的具有用于HDR亮度的10比特字的MPEG族视频压缩标准对图像和元数据进行编码和格式化。

图3示出了经编码的图像外观可以如何以镜像的方式被解码，并且不失一般性地，我们可以阐明这样的情况，其中，接收器应用完全相同的饱和策略FC，以基于接收到的图像信号S_im获得用于经由有线或者无线连接398被驱动的连接的例如100尼特显示器302的合适的图像，接收到的图像信号S_im包括对Im_in_DCT进行编码的例如5000尼特图像的HDR和用于将其变换为LDR图像的映射函数，两者是针对我们本发明的饱和度处理实施例中的一个实施例的颜色映射函数和作为V＝max(R，G，B)_in的函数被指定的亮度映射函数FT。解码器301将经由图像输入310得到其基本图像编码、以及用于色度和亮度调整的映射函数，其通常得到组合的图像数据+元数据图像信号，并且可以被连接到各种源，诸如例如DVB接收器、因特网、BD阅读器等。在诸如图像处理软件的独立应用中的饱和度处理功能的情况下，例如，作为(预先)内容生成方法，图像源可以位于计算机的硬盘等上。解码器301包括用于撤销MPEG解码并且最终得到Im_in_DCT的线性RGB表示的去格式化器303，其中，Im_in_DCT具有为计算上简单起见我们假设被归一化为1的颜色分量。颜色映射器304将计算所需的LDR图像，并且其包括如图1中的我们的颜色饱和度处理单元305。实际上，在该范例中，我们将进行与在编码器中指定的完全相同的函数FC，以完成分级者在显示器220上检查的相同的降级，但可以存在其他的实施例，其中，一个传送LDR图像，所述LDR图像是利用FC创建的，但需要利用逆函数FC^-1来升级，或者仅需要具有峰值明亮度的显示器的部分饱和度改变，所述峰值亮度处于被传送的图像的亮度与被应用的函数在被应用于传送的图像时得到的图像相对应的参考显示器的亮度之间等等。应指出，通常，颜色映射还可以包括针对LDR显示器(针对其，对LDR图像被分级)的RGB色域的色域映射，并且，饱和度处理将在该线性RGB空间中完成。包括我们的解码器301的接收侧解码装置可以是多种形式的，例如是为无源TV准备图像的机顶盒，或者，颜色变换可以在TV自身中被完成，并且解码装置可以为具有不同的峰值明亮度的若干连接的显示器生成最优的图像，等等。当然，解码器和编码器也可以位于若干中间装置中，例如用于将第一HDR图像或者视频格式变换成第二HDR图像或者视频格式，所述变换例如是在经由卫星进行传送之前或者在线缆系统的部分中或者在传送实况新闻馈送时等进行的。尽管我们描述了与人类颜色分级者调协的颜色映射的范例，但相同的技术也可以在自动转换颜色映射单元中完成，其中，FC例如通过对图像的性质进行分析在数学上被确定，诸如例如通过查看直方图或者否则确定哪些(多少、多大的……)对象处于总亮度范围的较亮或者较暗的子范围中被确定。实际完成(一个或多个)FC函数的生成的指定单元(212)可以在两种情形中不同。在用户生成的饱和度指定的情况下，其通常将包括用于指定函数的用户接口模块，例如，人们可以在上面绘制功能形状的图形，例如通过拖拽控制点，并且，在对输入图像应用函数之后，分级者将能够看到结果。在指定单元是自动转换类型的时，可以存在一个或多个图像分析单元(未示出)，但如果编码器示出(例如，单个或者多个主张)自动地生成的FC和/或FT，使得他可以例如通过点击好的按钮同意那些FC和/或FT的艺术品质，则其仍然可以是有利的。因此，被布置为指定对增益(g)进行编码的函数F(V-Y)的单元可以或者被布置成依靠自己完成数学指定，或者包括允许人类艺术家完成此的单元。或者，代替于准确地指定多分段饱和策略，颜色分级者可以仅转动一个单一转盘(甚至直接在相机上以得到合适的HDR视频输出)，所述转盘然后在数学上改变饱和度定义函数FC(V-Y)的形状。

在图4中，我们已经给出一个示范性的简单实施例，其中，分级者需要改变仅两个参数。为更好地理解这，读者可以首先查看图5，图5示出了RGB显示器的黄-蓝切片中的等同V-Y线或者编解码器色域(以亮度uv-色度表示示意性地示出)。我们看到，通过以不同的方式使V-Y线扫描通过颜色来操纵使基于亮度的饱和度变得困难的色域的不利的非对称性(针对被最大地驱动的纯蓝的7％最大亮度对针对黄色的93％)。黄色与较小的V-Y值相对应，并且，蓝色与较大的V-Y值相对应，达到针对最大值蓝色(B＝1，R＝G＝0)的0.93。现在再次采取着色的玻璃窗的范例。其可以包含蓝色和黄色。人们可以对黄色进行去饱和，但那将不会得到许多额外的亮度(理论上最大为7％)，而其将导致丑陋的经去饱和的颜色。因此，我们在明亮多彩对象的LDR的最优绘制的一个方面(即，明亮度)上未获胜，但我们已严重失去另一个方面，所述另一个方式是饱和度/色彩度。然而，通过对蓝色去饱和仅50％，在被看作非彩色亮度的百分比时，我们可以赢得大约50％的明亮度/亮度。对此进行描述的另一种方式是查看相比于我们当前具有的亮度而言哪个亮度提升可以仍然被完成(通常在第二亮度处理方框/阶段中)。假设我们以最大值蓝色(B＝1，R＝G＝0)开始或者在非线性情况下以必要的修正((B’＝1，G’＝R’＝0))开始，其具有V＝max(R，G，B)＝1和Y＝0.07(或者Y’)。在对该颜色进行半去饱和时，我们到达B＝0.535(R＝G＝0.035)。由于在该蓝色色调象限中，蓝色将总是最大的颜色分量，所以我们可以仍然通过将蓝色提升为最大的B＝1(对于该饱和度，即，例如保持R和G是相同的)来提升明亮度或者明亮度。通常，我们可以提升1/max(R，G，B)_desat，即，去饱和后的最大颜色分量。在将得到1/0.535＝1.87的该范例中，即，我们仍然可以提升87％。因此，如果窗口中存在相当大量的蓝色像素，则它将突然看起来亮得多了。而且，蓝色是强大的颜色，即使具有被去饱和的蓝色，着色的玻璃窗也将仍然看起来是多彩的。因此，分级者可以通过在围绕例如0.6的V-Y的区域中定义小于1的饱和度增益g来完成此。因此，我们示出了饱和度将如何表现的几个示例。如果对于具有0.012的V-Y值的半饱和明亮黄色，我们指定具有例如g＝0.9的去饱和策略501，则相同V-Y线上的较暗的更饱和的黄色将具有相同的策略502，即，被去饱和相同的量。但可以通过不同的策略503或者不同的量g2(Y-V)对另一个颜色进行(去)饱和。而且对于蓝色，我们可以定义又另一个饱和度量g3(504)。我们所描述的饱和策略不是如此感兴趣的，特别是对于动态范围转换，因为，与将对如黄色的明亮颜色去饱和太多的常规策略(对差异信号R-Y应用不变的增益等)相反，其可以最多地对如蓝色、红色和品红的暗颜色进行去饱和，这在明亮度-色彩度优化中给出最多的影响。而且，所述方法是可容易地逆转的(只要我们将饱和度函数设计为不具有太低的差分增益)，这使得在编码器(或者甚至解码器)侧根据FC计算FC-1对于将需要该计算的那些情形而言是简单和鲁棒的。

返回图4，分级者可以一般地指定饱和度提升情境(注意，V-Y通常也随亮度减小)，以及指定针对如是蓝色的自然地不发亮的并且需要被去饱和和提升的颜色的去饱和。他将把前者指定为例如1.3，上至Y-V_d1的所选择的控制点，并且然后对于明亮蓝色(具有高的V-Y值)使用在例如0.7的去饱和度值处结束的线性斜率。对于极端的HDR到LDR转换，我们将得到低得多的结束值，例如0.1。甚至这样的快速指定将给予他外观良好的LDR图像。上图形图4.a示出了颜色变换的函数V_out-Y和V_in-Y，并且下图形图4b示出了对应的增益。尽管我们阐述了具有g(V-Y)的元数据指定的经编码的图像信号，但是当然图5a的V_out指定可以加以必要的改变被使用。

图7示出了另一有用解码器实施例700的色度的彩色(饱和度)改变的核心计算部分。技术人员可以从该教导理解编码侧处的相同镜像拓扑(至于其他变型)。我们假定(在不损失一般性的情况下)SDR信号是输入(Y’，Cb_in，Cr_in)。根据Cb Cr分量，可以计算至少两个非线性颜色差异，并且在该范例中，仅阐述一般原理，我们假定我们确定4个差异。除可理解的R’-Y’等之外，第四个(或者另外的那些)可以被选择以实施特定典型的行为。例如，人们可以以这样的方式定义S方向：人们可以在例如蓝绿色的方向上控制期望的颜色行为，例如，如果人们考虑尤其是该蓝绿色方向上的颜色太色彩丰富，则人们可以确保蓝绿色S’-Y’分量是最高的并且是最大值的结果，并且创建侧(例如，分级者)将得到这样的饱和度曲线(FC，或者直接地一组增益ST_g)，使得对于这些蓝绿色而言，存在例如特定去饱和度，这使其不太色彩丰富。一些实施例可以在其穿过最大值计算单元(702)之前将4个(或者至少两个)分量乘以权重Wr、Wg、Wb、Ws，所述权重通常通过创建侧例如每图像或者场景或者总视频被优化，并且在另外的元数据(例如，SEI消息等)中被传递和接收。除基本系统之外，这是非常感兴趣的。以这种方式，创建侧还可以影响哪个颜色分量(作为各种像素颜色的特定方面，尤其是当前处理的像素之一)出现作为最大值，并且然后还为其特定值，其将是函数中的不同的输入坐标(例如，一组增益；其例如可以被传递为LUT，或者参数函数，在这种情况下，人们实际上在元数据中传递一组控制点等)，即，最后的饱和度变换和最终地图像的对之一的外观(通常地对应于主HDR图像的SDR图像的外观)。因此，例如在三个值作为最大值计算单元702的输入的情况下，代替于R’-Y’等，我们将得到Wr*(R’-Y’)、Wg*(G’-Y’)和Wb*(B’-Y’)中的最高一个作为输出V’-Y’，并且这将还取决于(针对不同的颜色，不同地)那些权重Wr、Wg、Wb的所选择的值，尤其是，因为其已经在创建侧处选择并且从其传递，这取决于电影或者视频中的该当前HDR场景的图像的该当前拍摄的细节(例如，针对在相同布置中发生的电视节目而言，这些权重可以针对全部程序保持相同，但是尽管如此其可以被优化，使得最佳HDR与SDR图像之间的颜色变换是最佳的)。

仅有用的范例可以是：

(R’–Y’)＝0.00000*Cb_in+1.75000*Cr_in(这会将红色去饱和)

(G’–Y’)＝–0.16455*Cb_in–0.57135*Cr_in(这会将绿色去饱和)

(B’–Y’)＝2.25000*Cb_in+0.00000*Cr_in(这会将蓝色去饱和)

(S’–Y’)＝0.00000*Cb_in–1.00000*Cr_in

但是总体上，人们可以使用任何一组8个转换常量，其还可以被预先同意并且固定，或者被传递作为另一元数据，例如在电影或者视频的开始处一次，或者在电视广播期间每几秒等。

这样的矩阵化单元701执行从Cb、Cr颜色分量到N个颜色差异的该矩阵化。最大值计算单元702确定这些N个值中的哪一个是最高的，并且将其放在其输出上，增益因子确定单元703确定对应于最大值V’-Y’值的增益值g(即，被处理的像素的颜色)，并且该值然后由两个乘法器(704、705)使用。这实质上是核心颜色处理。我们具有虚线添加的其他典型分量，因为其还可以通常地是亮度处理，但是这可以以各种方式发生。例如，亮度处理可以在该颜色处理核心之前发生，在该情况下Y’已经具有当前亮度行为(其可以例如在直方图中看到)，即，具有例如像素/对象亮度的HDR分布。在其他实施例中，亮度处理可以发生作为在饱和度处理之后的第二级处理，如我们关于图1阐述的。

在该阐述实施例中，我们已经实际上假定亮度处理单元750中的亮度改变行为的确定(其还可以被实施为Cb和Cr的修改，但是然后不仅那两个分量，而且所有三个分量Y’、Cb和Cr乘以相同常量M)与适用的增益因子g的确定并行完成，并且单个乘法颜色处理被完成。此外，可以包括最后增益因子确定单元751，其确定最后增益因子g2，其取决于什么被需要用于针对该颜色的亮度变换和特定饱和度调节两者。最后地，我们假定将存在最后颜色变换单元710，其生成输出颜色分量，例如R’o、G’o、B’o分量，其还可以在Rec.709/SQRT(或者Rec.1886)表示中，但是备选地定义的SMPTE ST.2084等，并且那些可以例如直接地被递送到显示器以用于在例如HDMI电缆上绘制等。用于读取元数据等的单元将由技术人员理解，因此不需要被用于阐述本发明。关于被布置为接收权重(780)的单元，技术读者将理解到那将如何被实现在各种实施例中，例如从如BD磁盘的便携式存储器的扇区读取元数据，经由因特网或者经由电视信号连接接收数据信号，并且原则上该数据可以甚至被包含在图像中(例如，在最后一行中)，并且通过如依据同意的方式进行解码计算以编码权重元数据等。

本文本中所公开的算法分量可以(全部地或者部分地)实际上被实现为硬件(例如，专用IC的部分)或者在专用数字信号处理器或者通用处理器等上运行的软件。存储器产品应当被理解为包括存储器的任何物理实现(尤其是可以购买的任何东西)，并且非限制性地覆盖这样的实施例作为例如光盘或者其他可拆开并且可携带的存储器产品，或者存储器的特定部分的内容可以从其下载的网络连接的服务器上的存储器段等。

对于技术人员来说，从我们的呈现中应当可理解，哪些构件可以是任选的改进并且可以结合其他构件被实现，并且方法的(任选的)步骤如何与装置的相应模块相对应，并且反之亦然。词语“装置”在本申请中在其最宽的意义上被使用，即，允许实现特定的目标的模块的组，并且因此可以例如是IC(的小型电路部分)或者专用器具(诸如，具有显示器的器具)或者已联网的系统的部分等。“布置”也旨在在最宽的意义上被使用，因此其尤其可以包括单个装置、装置的部分、协同操作的装置(的部分)的集合等。

计算机程序产品指代应当被理解为涵盖使通用或者专用处理器在一系列加载步骤(其可以包括中间转换步骤，诸如向中间语言和最终处理器语言的转换)之后能够向处理器中输入命令以及执行发明的特性功能中的任一项的命令的集合的任何物理实现。具体地，计算机程序产品可以被实现为诸如例如磁盘或者磁带的载体上的数据、存在于存储器中的数据、经由有线或者无线的网络连接行进的数据或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以被实现为计算机程序产品。

代替于在计算机程序产品中被描述的，方法的操作所需的步骤(诸如数据输入和输出步骤)中的一些步骤能够已存在于处理器的功能中。

应当注意，上面提到的实施例对本发明进行说明而非限制。在技术人员可以容易地实现所呈现的范例向权利要求的其他区域的映射的情况下，出于简洁性考虑，我们未深入地提到全部这些选项。除了如在权利要求中被组合的本发明的元素的组合之外，元素的其他的组合是可能的。元素的任何组合可以在单个专用元素中被实现。

权利要求中的括号之间的任何附图标记不旨在用于对权利要求进行限制。词“包括”不排除没有在权利要求中被列出的元素或者方面的存在。在元素之前的词“一”或者“一个”不排除多个这样的元素的存在。

Claims

1.一种图像编码器(201)，其用于编码针对至少一个时刻的至少一幅高动态范围图像(HDR_ORIG)以及针对相同时刻的至少一幅图像(Im_LDR_out)，所述至少一幅图像具有以至少因子二与所述高动态范围图像的亮度动态范围不同的第二亮度动态范围，所述图像编码器被布置为编码针对那两幅图像(HDR_ORIG、Im_LDR_out)中的至少一幅图像的像素颜色的矩阵，所述图像编码器包括指定单元(212)，所述指定单元包括饱和度指定单元(204)，所述饱和度指定单元被布置为将指定颜色相关饱和度变换的饱和度修改指定函数指定为针对像素颜色(Y’，Cb，Cr)的至少两个颜色差异值(R’-Y’、B’-Y’)中的最大一个颜色差异值的每个可能值的一组增益(g)，所述颜色差异值被定义为所述像素颜色的非线性RGB加性颜色分量的值减去所述像素颜色的亮度，并且所述图像编码器还包括格式化器(210)，所述格式化器被布置为在图像信号(S_im)中输出对包括像素颜色的所述矩阵的图像(Im_in_DCT)的编码以及作为元数据的所述一组增益(g)。

2.根据权利要求1所述的图像编码器，其中，所述指定单元(212)包括确定至少两个权重的集合(Wr、Wb)的单元，所述至少两个权重的集合用于通过所述图像信号(S_im)的任何接收器与所述至少两个颜色差异值(R’-Y’、B’-Y’)相乘，并且所述格式化器(210)被布置为在所述图像信号(S_im)中输出那些权重。

3.一种图像解码器(301、701)，其被布置为能够接收图像(Im_in_DCT)并且根据所述图像计算不同的亮度动态范围的图像(HDR_ORIG)，所述不同的动态范围具有编码峰值明亮度(PB_C)，所述编码峰值明亮度以至少为2.0的大小的乘法因子与接收到的图像(Im_in_DCT)的峰值明亮度不同，这两幅图像中的至少一幅图像是高动态范围图像(HDR_ORIG)，所述解码器包括颜色映射器(304)，所述颜色映射器被布置为通过针对所述接收到的图像的像素执行以下操作来导出不同的亮度动态范围的所述图像：

4.根据权利要求3所述的图像解码器(301、701)，包括接收至少两个权重(Wr、Wb)的单元(780)，并且其中，所述颜色映射器(304)被布置为在确定至少两个颜色差异值(R’-Y’、B’-Y’)中的所述最大一个颜色差异值之前将所述至少两个颜色差异值与相应权重相乘，从而得到Wr*(R’-Y’)和Wb*(B’-Y’)。

5.一种包括根据权利要求3或4所述的图像解码器的显示装置。

6.一种高动态范围图像编码的方法，包括：确定第二动态范围的图像(Im_LDR_out)，所述第二动态范围以至少因子二与所述高动态范围图像(HDR_ORIG)的动态范围不同；

-编码针对那两幅图像中的至少一幅图像的像素颜色的矩阵；

-将指定颜色相关饱和度变换的饱和度修改指定函数指定为针对像素颜色(Y’，Cb，Cr)的至少两个颜色差异值(R’-Y’、B’-Y’)中的最大一个颜色差异值的每个可能值的一组增益(g)，所述颜色差异值被定义为所述像素颜色的非线性RGB加性颜色分量的值减去所述像素颜色的亮度；并且

-在输出图像信号(S_im)中格式化对包括像素颜色的所述矩阵的图像(Im_in_DCT)的编码，以及作为元数据的所述一组增益(g)。

7.一种图像解码的方法，接收图像(Im_in_DCT)，所述方法包括：

-根据接收到的图像(Im_in_DCT)计算不同的亮度动态范围的图像(HDR_ORIG)，所述不同的动态范围具有编码峰值明亮度(PB_C)，所述编码峰值明亮度以至少为2.0的大小的乘法因子与所述接收到的图像(Im_in_DCT)的峰值明亮度不同，这两幅图像中的至少一幅图像是高动态范围图像(HDR_ORIG)，所述计算包括：

-将所述像素的蓝色色度(Cb_in)和红色色度(Cr_in)乘以所确定的增益，以获得输出颜色的色度(Cb_out、Cr_out)。

8.根据权利要求7所述的图像解码的方法，还包括接收至少两个权重(Wr、Wb)并且在计算至少两个颜色差异值(R’-Y’、B’-Y’)中的最大一个颜色差异值之前将所述至少两个颜色差异值与这至少两个权重中的相应一个权重相乘。