CN110612550B - 优化经解码的高动态范围图像饱和度 - Google Patents

Abstract

为了针对需要进行亮度动态范围转换的HDR图像处理系统实现更好的颜色控制并且特别是颜色饱和度控制，所述亮度动态范围转换例如是从SDR图像到为了在较高显示峰值明亮度和动态范围的显示器上绘制而优化的图像，发明人发明了一种装置(400)，其用于处理输入图像(Im_RLDR)的输入颜色(Y’L，C’bL，C’rL)的颜色饱和度(C’bL，C’rL)，以产生与输入图像相对应的输出图像(Im3000nit)的输出颜色(Y’M，Cb’M，Cr’M)，该输出图像是对输入图像的重新分级，其特征在于，输出图像的像素颜色具有与输入颜色的归一化亮度位置(Y1)相比不同的归一化亮度位置(Y2)的事实，归一化亮度被定义为像素的亮度除以图像的亮度表示的相应最大可编码亮度，由此输入图像的最大可编码亮度与输出图像的最大可编码亮度的比率至少为4或更大，或者为1/4或更小，该装置包括亮度处理器(401)，其被布置为应用显示调整后的亮度映射函数(F_L_da)以根据输入颜色的输入亮度(Y’L)来确定输出亮度(Y’M)，该装置还包括饱和度因子确定单元(402)，其被布置为基于初始饱和度处理策略(F_sat)并且基于次级亮度值(Y’_H)来计算最终饱和度处理策略(b；Bcorr)，该次级亮度值(Y’_H)基于亮度映射函数(F_L_s2h)通过应用亮度映射函数(F_M2H)而从输出亮度(Y’M)得出。

Description

优化经解码的高动态范围图像饱和度

技术领域

本发明涉及用于接收经编码的HDR图像(即，包括像素颜色代码并且特别是对亮度(luminance)编码的代码的图像，该亮度与由旧有的Rec.709标准或低动态范围编解码器可编码的亮度相比显著地更加明亮)并且优化图像的像素的颜色(并且特别是其饱和度)的方法和装置，本发明从作为输入的高动态范围场景的图像(特别是包括多个连续HDR图像的视频)开始，以用于获得具有特定的显示峰值明亮度(brightness)(PB_D)的显示器的正确艺术外观，尽管其典型地不是人类颜色分级员在创建图像内容时所排他地期望的。为了阐明高动态范围(HDR)图像的概念(其在目前对于视频技术领域的任何技术人员应该是可理解的，因为其被定义为能够对比标准最大100nit低动态范围编码峰值明亮度(PB_C)高几倍的像素亮度进行编码的图像编码)，可以这样陈述：这种HDR图像可以包含像素照度(luma)代码，该像素照度代码允许在HDR显示器上正确地绘制(render)典型地高达至少1000nit或者更高的对应像素亮度，该HDR显示器能够绘制这种像素亮度。该技术的优点是例如观看者针对晴天可以看到显著差异，例如，地中海图像在阴天时在SDR显示器上看起来相当阴暗，但是在以大约为1000nit或以上的像素亮度进行绘制时，该地中海图像传达原始的晴天外观。然而，随着许多具有不同的PB_D的不同的HDR显示器的出现，发生了问题，即并非所有图像内容都可以被简单地绘制，并且图像亮度到显示器能够显示的范围中的亮度的一些最优的重新分级是按顺序的。针对在接收侧的任何特定显示器的优化后的图像的这种经重新分级的最优外观与被分级为HDR参考显示(所谓的主HDR图像)的HDR图像的参考HDR外观相对应，HDR参考显示例如是高峰值明亮度主显示(比如PB_HDR_M＝5000nit)。当将编码峰值明亮度(PB_C)的图像在具有(大约)相同的显示峰值明亮度(PB_D)的显示器上进行绘制时，实际上实现了参考外观HDR图像的最优绘制。如果一个显示器具有可用的较小的动态范围，则该显示器必须实用地优化到看起来类似的图像，但是不能给出其在对应的(PB_D＝PB_C的)显示器上可以实现的最优HDR效果。在该内容中的重新分级意味着当根据输入图像来确定特定动态范围的优化后的图像时，对图像对象像素的颜色并且特别是各种图像对象的亮度(或明亮度表现)的改变，其特别地但不排他地由人类颜色分级员来完成(一些实施例可以排他地利用IC中的经烘烤的颜色运算来起作用)。本发明的实施例涉及当在具有峰值明亮度(PB_D)的任何实际显示器上绘制优化后的图像时对参考外观进行近似，该峰值明亮度(PB_D)与完成对HDR图像的分级相对应的参考显示器的明亮度(或者换言之：编码峰值明亮度PB_C)不相等。读者将理解，对应的外观不一定意味着对观看者来说完全相同的外观，因为具有较低峰值明亮度(或动态范围)的显示器实际上可能无法对在具有较高峰值明亮度的显示器上可绘制的所有图像外观完全相同地进行绘制，相反，对至少一些对象像素的颜色将会有一些折衷，从而使得这些像素看起来有些不同(例如，典型的是所成像的HDR场景的一些图像对象的明亮度)。但是，针对任何特定显示器计算优化后的图像的优化算法(我们可以称之为显示调整)可以例如尝试使得输入图像和重新分级的输出图像中的像素颜色的色调(hue)和饱和度与图像中的像素的至少大部分保持基本上相等。

HDR图像外观和/或从创建站点实际传送到任何接收器的图像的外观可能已经由人类颜色分级员使用用于定义图像颜色的技术工具来创建，或者由使用智能图像重新着色规则的自动算法来创建。在这个方面，读者应该理解，存在至少两种类型的方式来传送HDR图像：一种方式传送HDR图像本身(连同创建侧批准的功能一起，该功能用于指定去往较低的PB_D而不是图像的PB_C的最优重新分级)，或者向后兼容类型传送根据主HDR图像重新分级的SDR补充，而不是主HDR图像本身，并且以下实施例技术可以在两种情况下都起作用。要传送的图像可以直接来自相机(例如，消费类相机)或者来自诸如场景的计算机图形图像之类的其他来源。但是，在创建站点处创建的经编码的预期图像与在任何接收站点处可用的显示器上的实际绘制的图像将典型地看起来相似(只要显示器功能允许)。

背景技术

像素颜色的饱和度(或彩色度)是图像外观的重要方面。饱和度是对混合物中的纯色(其具有针对可见光谱的波长的特定子集的能量)的量以及对其他纯色的缺乏(针对波长的另一子集的低能量)的技术度量，或者简而言之是对颜色的纯度的度量，该纯度由高饱和度值对低饱和度颜色来指示，该低饱和度颜色具有全部波长的大致相等的量(即，在混合物中混合高比例的中性灰色)。在这样的外观图像中，对于人类观看者而言，对象的表现是颜色有多强(例如，强烈的红色相对淡粉色)，并且这典型地与自然属性(如动物或植物中的着色剂的量)相关。由于饱和度可以用于增加或减少图像的美感(观看者通常更喜欢饱和图像，尽管柔和的图像也具有吸引力)，因此各种装置(例如，电视电路)都已经具有饱和度影响颜色转换单元，通常称为颜色控制。不正确的饱和度可能看起来很古怪，例如，如果某些颜色太不饱和，则可能看起来被漂白过，但是过高的饱和度也可能看起来很古怪且卡通化，并且特别是对于在较暗(例如，夜间)场景中的较暗颜色看起来会很奇怪。

申请人的发明人已经开始在新开发的视频编码的框架中进行这项研究，新开发的视频编码能够处理比旧有的标准动态范围编码(SDR，具有固定的PB_C＝100nit，以为显示器供应正确分级的图像，该显示器在最近始终具有大约为PB_D＝100nit的相同的显示峰值明亮度，这使得事情变得简单)可能实现的要大得多的编码峰值明亮度(PB_C例如为5000nit)和亮度动态范围。尽管该HDR图像处理技术主要是关于针对像素创建所期望的适当的明亮度或亮度(系统将由亮度定义，但是技术人员可以理解，从技术上讲，实际上可以比照以素数指示的照度Y’进行操作，该照度Y’根据一些光电传递函数的亮度而被定义为Y’＝OETF(Y)，例如，平方根函数等)，当然，颜色是三维物理实体意味着还要求对饱和度的正确处理，并且可能期望，如果与SDR时代的实现方式相比，主要改变了处理(视频)图像的方式，则也可以相当显著地改变处理饱和度的方式，并且可能需要重新考虑明显的信念。

合理的是，如果构建如下的系统，则可能还需要一种机制来改变至少一些图像对象或像素的饱和度：该系统不但允许例如人类创建者/分级员定义，而且还能借助于新开发的HDR视频编码技术(申请人将使用该技术通过以下示例或类似示例来阐明本发明的概念)共同传送当需要对主HDR分级(即，在例如5000nit HDR参考显示器上为电影或视频制作的“最佳质量”的(多个)初始图像)进行颜色变换时，应当如何将图像对象的明亮度改变到例如SDR 100nit PB_C图像，以用于服务于已安装的旧有SDR显示器的已部署的市场。例如，可以想象，如果需要使得某些对象相对地变暗(例如，以在较小的SDR动态范围上为原始HDR场景中的较为明亮的对象腾出空间)，则至少可以使得这些对象稍微更加颜色鲜艳，以使得这些对象在SDR外观图像中更加有冲击力(仅作为该技术可能需要能够处理的迫切需求的示例)。另一方面，如果系统在技术上设计不当，则变暗的或变明亮的像素可以简单地“自动地”获得太高的饱和度。

图1给出了对饱和度作为概念的技术知识以及饱和度处理的简明总结，即，视频专家在考虑该概念时典型地想到的内容。

处理饱和度的一种好方法如图1A中所示，饱和度是圆柱体HLS空间(色调(h)，明度(lightness)(L)，饱和度(S))中的颜色分量，其中明度再次是可以被定义为L＝OETF2(Y)的度量，Y是亮度。利用明度，可以构成相同颜色的更亮的圆或更精确的色度(h，S)，该色度围绕圆柱体的中心中的明度轴径向分布。饱和度是简单的度量，介于零(明度轴上的无色或灰色)与圆形外围上的最大饱和度(其归一化为等于1.0)之间。因此，可以为所有颜色定义饱和度提升(b)，例如，示出的示例性颜色101，其通过将输入颜色移动到更靠近外围的结果颜色102来增加颜色饱和度。典型地，将使用以下类型的乘法饱和度改变函数：

S_out＝b*S_in，如果b>1，则该函数实现饱和度增加，并且如果b<1，则该函数实现去饱和度。对于纯色饱和度改变，任何颜色的色调和明度(L_c)在理想情况下都应保持不变。在这样的圆柱体颜色表示中，饱和度处理不需要是非常难的(除了这样的颜色空间可能不是完全均匀的事实之外)。然而，实际的加色系统(如RGB像素显示)在较高的亮度区域中偏离理想的圆柱体，如图7中以2D示意性示出的，并且这可能已经引入了很多复杂度。

如图1B中所示，另一个更为实用的饱和度改变在颜色空间的照度(Y’)、色度(Cb，Cr)版本中操作。这样的颜色空间尤其流行，因为这些颜色空间是SDR电视颜色编码的自然颜色空间，因此尽管事实上这些颜色空间仅被设计用于简单的可逆SDR图像编码中，但是可以决定在该颜色空间中执行任何颜色处理。通过乘法饱和度改变策略再次将颜色103移动远离灰色的无色轴(以及其对应的被注释的照度值Y’)到结果颜色104，现在将Cb和Cr分量两者相乘。对于该版本，可以将饱和度提升或降低追溯到1960年代的电视电路，其以类似的颜色表示(例如，PAL或NTSC的YIQ空间)工作。通过分别乘以常数B或1/B，这样的系统将使所有传入像素颜色的Cb和Cr分量提升或减弱。由此看来，至少在当今时代，如何进行饱和度修改似乎相当明确。

图2仅示出了用于引入一些概念的典型HDR视频编码和解码链，作为申请人发明的示例，对于该类型的技术，本发明将通过对该种类的HDR视频解码接收器的升级而有助于在接收侧创建最优外观图像。读者可以最初通过假设图像为无色(即，像素仅具有亮度、但是不具有色调和饱和度的灰度值图像)来研究系统。这种HDR视频编码技术在几年前出现，以填补这样的空白：如果使用Rec.709编解码器(其仅可以传送0.1nit到100nit之间的亮度)，则无法传送用于较高PB_D显示器的高质量图像。

现在进一步假设——为了简化理解，即，在不限制稍后的教导的情况下——实际上，一个或多个HDR图像作为SDR图像(其为100nit的LDR低动态范围图像)被传送，即，适合于在旧有的SDR电视、计算机监视器、投影仪、移动电话等上直接好看地显示。如果在100nitPB_D显示器上直接显示例如5000nit的PB_C图像，则会出现不好看的图像，根据旧有的SDR显示法则，该显示法则规定经编码的最白的白色(即，PB_C)将显示为最明亮的可显示的显示白色(即，在该示例中PB_D＝100nit)，并且所有其他亮度将按照其与PB_C的相对值在输入图像中的比例来进行显示(即，50％的5000nit被绘制为50nit)。然后，如果对5000nitPB_C图像中的站在暗处的人进行编码，其具有0.01nit到5nit之间的亮度，对于在5000nit的PB_D图像上显示该图像区域，这看起来是合理的亮度，然后当在100nit的SDR显示器上直接绘制这样的图像时，此人的所有像素将降到0.1nit以下，即，变为不可见的黑色。因此，将需要对图像的至少那些最暗的区域应用一些明亮化重新分级处理，以使得这些最暗的区域在所述(多个)SDR显示器上足够可见。使像素从(归一化)HDR图像实际上相对变明亮多少以获得SDR图像(50倍，或仅30倍，或70倍)可能是例如人类颜色分级员在创建针对主HDR图像的SDR未决图像时的偏好问题，但是读者应当很好地理解，尽管为了全面阐述生态系统而解释了该方面，但是这仅是当前对HDR技术的所做的贡献中的细节，无论恰好选择了哪种特定的变明亮功能，该HDR技术是用于正确地处理饱和度处理的框架。

读者应仔细考虑这一相对较新的最新发明的系统：该系统通过如下方式来实际上传送例如5000nit的PB_C图像(即，具有所有的各种很多像素亮度的图像，从而使得这些图像适合在5000nit的PB_D显示器上最优绘制，即，例如较暗的室内房间亮度最高为120nit，但是灯泡的像素亮度以及灯泡周围的像素亮度最高为5000nit)：不实际发送这5000nit的图像，但是通过实际上将SDR(100nit的PB_C)图像发送到任何接收器，这可以通过以元数据亮度变换函数(F_L，其为颜色变换函数F_ct的总体的一部分)以适合的方式共同传送来实现，该亮度变换函数使得接收器能够根据接收到的100nit的SDR图像来重构5000nit的主HDR图像(即，在所传送的SDR图像中，灯泡像素具有最大可能为100nit的亮度，但是利用针对该图像的亮度变换函数，接收器知道将这些像素重构为例如5000nit的HDR图像像素)。

然而，申请人还发明了另一种系统，该系统实际上经由任何图像传送手段(例如，有线网络、互联网连接或蓝光光盘等)将HDR图像连同作为元数据的颜色变换函数一起传送给接收器，该颜色变换函数用于将例如1000nit的PB_C主分级并编码的HDR图像降级到SDR图像，并且以下教导和实施例也将应用于该情况。

这些亮度变换函数或者通常的颜色变换函数F_ct可以由人类颜色分级员定义，以获得与HDR主图像MAST_HDR相对应的合理外观的SDR图像(Im_LDR)，虽然非常重要的是，同时确保通过使用反函数IF_ct，原始的主HDR(MAST_HDR)图像可以以足够的精度进行重构，作为接收站点处的经重构的HDR图像(Im_RHDR)(因此，这是双重标准，使得与旧有的视频编码有很大不同的这种方法非常重要)。

人类分级员可以例如通过转动拨盘直到图像外观符合他的偏好来确定颜色变换函数F_ct的(多个)亮度变换函数的形状(例如，在LUT表示中)或参数(在函数形状的参数定义中)，该颜色变换函数F_ct可以包含至少一个功能规范，以用于将输入MAST_HDR图像像素的亮度变换为输出SDR图像(Im_LDR)像素的亮度，反之亦然(为了简化理解，在本教导的其余部分中，可以假设该颜色变换函数F_ct为伽马曲线，但实际上当然获得与任何主图像相对应的最优中等动态范围(MDR)图像，这典型地包含更复杂的考虑因素)。

实际上，人们可能天真地认为动态范围仅关于最明亮的亮度除以最暗的亮度。虽然这可能是HDR显示器的一个很好的特性，但HDR图像要求更多的见解。动态范围还关于利用适当选择的功能对图像场景的某些区域进行重新照明，以及关于对象内和对象间对比度(例如，隐藏在雾中的人应该在所有重新分级的MDR图像中都充分地隐藏)。实际上，动态范围可以通常关于找到任何HDR场景的本质，并且确保在主图像的每个动态范围图像版本中都通过适当分配的亮度范围来最优地表示该本质。在某些情况下，该技术的一些用户(特别是内容创建者)可能具有简单的期望，并且在其他情况下，其他用户可能具有严格的期望，但是在理想情况下，一项技术应该能够应对所有这些期望，并且在理想情况下，以最实用的方式来应对(例如，通过具有已经根据需要设置主要区域间对比度的第一粗函数，并且基于该第一粗函数，在该预分级的图像中，此后使用第二函数来完成对某些特定图像对象的精确的亮度重新分级；即，这些函数可以针对N个连续图像的快照或甚至针对具体的单个图像进行调整)。当必须将HDR图像的对象亮度最优地转换为具有远低于HDR亮度范围DR_2的动态范围DR_1(典型的为50倍；并且还具有潜在不同的观看条件)的SDR图像的对象亮度时，图 3中示出了对这样的对象亮度的技术和/或艺术要求的几个示例。可以看出，可能存在各种场景，这些场景导致了不同的考虑因素，并且进而导致非常不同的亮度映射函数形状。例如，在较暗的SDR显示器上可以相对好地处理夜间场景(Im_SCN2)，并且可能决定在SDR图像编码中指定，利用与在5000nit的PB_D HDR显示器上的亮度基本相等的亮度在SDR显示器上对较暗的对象进行绘制，虽然针对SDR亮度范围(DR_1)的可用上部中的光亮度创建了一些最优分配。对于晴朗的西方图像(ImSCN1)，可能存在完全不同的考虑因素，例如，“将太阳映射到尽可能明亮的颜色，即，亮度为PB_LDR的白色”以及“将风景和场景对象的颜色分配为足够明亮的SDR颜色”，这会导致将该场景中的较暗颜色(例如，牛仔的棕色靴子)映射为25nit的某种亮度变换函数形状。然而，第一种映射具有更多的等亮度特性，第二种则具有更多的压缩性质，并且可以采用各种更复杂的策略。读者应该理解，任何图像处理系统，并且特别是将要确定最优饱和度(—最优颜色、特别是饱和度是比表面看起来更为复杂的事情—)的图像处理系统应该能够正确地应对各种所需的行为。读者应意识到，对HDR图像处理(编码和绘制)的一些主要概念的简化阐述非常不足以代表该新颖的高质量图像处理所存在的一些进一步的主要复杂度，但尝试使解释尽可能简单，因为它已经很复杂。除了仅指定HDR场景的这两个分级版本(SDR图像和主HDR图像)之外，MDR图像、甚至是超HDR图像之间可能会有各种迫切需要的东西，例如，可能总是希望将小太阳绘制为显示器可以做到的尽可能的明亮，但是可能总是希望对于任何高于5000nit的PB_D都以3000nit对街灯进行绘制。

读者应该认识到的是，与其在内容创建侧进行例如10种不同的MDR分级(例如，针对200nit、500nit、750nit、1300nit等的PB_D显示器)，内容创建者仅需要进行两个参考(或主)分级来实现本技术，两个分级可以典型的为例如5000nit的主HDR分级图像以及100nit的主SDR图像，并且然后内容接收侧可以自动地确定好看的、对应的、足够相似的重新分级MDR图像(不是通过接收两个图像，而是通过接收其中一个图像，并且颜色变换函数F_ct允许将一个分级变换成另一个分级，或者利用反函数或处理进行相反变换)。应当注意，MDR图像像素亮度将取决于在接收侧可用的显示器的特定显示峰值明亮度PB_D，并且该因素在创建侧也是未知的(这就是为什么在其他情况下内容创建者需要制作大量图像，从而浪费宝贵的时间)。

但是，可以存在接收侧显示调整算法实际上计算MDR亮度的各种方式(考虑到特定HDR场景图像的HDR内容的高度详细的细节，可以是较智能且较精确的，或者对于更喜欢简洁并且相关联的价格和IC复杂度优于最终准确性的客户而言，可以是较粗略的)，并且再次提及，该方面不是框架中的单个受限版本，而是在给定的任何选定的显示调整方法的情况下，框架可以迎合并解决问题的可变方面(并且在下面技术人员将学习如何实施)。

尽管到现在为止技术人员应该对HDR视频编码问题和技术有一定的了解，但是在某些读者可能不太熟悉显示调整的情况下，在图16中添加了另一说明性示例。

图16A示出了典型的HDR图像，其具有平均亮度区域(飞行踏板车1602中的机器人具有分布在200nit的平均常亮HDR亮度周围的像素亮度)、暗或超暗亮度区域(如暗房间中的窗户后面的人1601)、以及较高明亮度的区域或对象(例如，霓虹灯标志1604或黑影人1603，该黑影人1603是在右边和左边的建筑物之间的小巷中的明亮的雾中看到低对比度形状的人)。图16B示出了如何可以得出重新分级图像的亮度——例如，从x轴上的主HDR亮度开始——通过假设单个全局亮度映射函数形状将足够进行重新分级亮度变换(即，全局意味着无论图像中的空间位置是怎样的，都只需要获取该图像的HDR亮度，并且F_L_h2s函数将在y轴上产生未决的重新分级的对应SDR亮度)。应当注意，在y轴上实际上已经复制了x轴，因此可以指定任何亮度重新分级函数，甚至可以指定将主HDR 4000nit的PB_C亮度映射到4000nit的PB_D优化后的图像的函数，其明显地对应于恒等变换(即，点划线绘制的对角线)。在这样的绝对亮度表示中，可以理解，将通过落入在对角线以下的函数来完成到例如SDR图像的较低PB_C亮度集的映射。不应误解，当如下面所示地实际在归一化亮度系统中进行计算时(因为这创造了一些见解)，将归一化(！)HDR亮度映射到归一化(！)SDR亮度的函数将位于对角线上方(读者可以理解，这假设这样的亮度表示具有固定背光的显示器的LCD像素阀传输百分比，该背光显示用于打开的像素阀的PB_D nit：如果要在HDR显示器和SDR显示器两者上以假设相同的亮度1nit对黑暗中的人1601进行绘制，则需要将归一化HDR亮度变明亮50倍，以补偿50倍的调光器SDR显示器背光)。

在考虑阐述例如图7的颜色空间表示时也不应误解，尽管可以说“归一化0.0-1.0亮度Y*的一个唯一的集合”，但是为了易于理解将来自两个不同分级的图像的像素亮度(或来自特定物体(例如，黑暗中的人)的亮度的斑点和通常的3D颜色)叠加在相同的颜色表示上决不意味着这两个像素归一化亮度以完全相同的方式进行归一化：每一个均通过其自己的编码峰值明亮度进行归一化，因此绝对HDR图像像素亮度通过将那些绝对亮度除以(例如)PB_C_HDR＝5000nit而被归一化到低于1.0，而针对700nit的PB_D显示器优化后的图像的MDR亮度通过除以700而被归一化等等。但是可以在该通用归一化表示中进行颜色处理或具体的重新分级变换，并且然后通过将归一化值乘以(例如)700来最终转换为唯一定义的绝对亮度(和色度分量)。

图16B的函数F_L_h2s是亮度映射函数，其指定了针对4000nit的PB_C创建的主HDR图像的相关SDR亮度，并且该函数将典型的作为元数据连同例如SDR分级图像本身一起被共同传送到HDR视频信号的接收器。接收侧将通过其显示调整算法来确定次级亮度映射函数(显示调整后的亮度映射函数F_L_da)，该函数不是将HDR亮度映射到SDR亮度，而是在该示例中，将HDR亮度映射到1000nit的PB_C MDR亮度(读者可以假设通过首先将接收到的SDR视频图像解码为经重构的主HDR图像来进行显示调整，并且然后将函数F_L_da应用到这些L_HDR亮度，以最终获得优化后的MDR图像亮度L_MDR)。如何准确地确定该次级函数F_L_da如在本发明中所详细描述的(要插入在具有许多可能的替代变型的部件中)，并且为了理解，读者应该仅假设所述函数形状落在函数F_L_h2s与对角线之间的某处。当然，智能算法可能需要详细考虑大约3000nit的亮度映射，以使得黑影人总是恰好可见的(不是太清楚可见，也不是太模糊)，但是即使显示调整算法提出的函数不是很理想，下面的饱和度处理框架实施例也仍然可以使用这样的F_L_da函数(仅需要一些在任何L_HDR与对应的L_SDR之间建立关系的函数F_L_h2s、以及在第三L_MDR与原始主HDR图像的L_HDR之间建立关系的函数F_L_da，并且然后已经唯一地定义了这三种亮度，并且还可以根据L_SDR来计算L_MDR等)。因此，存在HDR场景的两个参考分级(其中亮度可以以多种方式表示：仅在Lmin_clip与Lmax_clip之间进行乘法缩放的曝光切片机制只是用于生成原始场景的不同图像表示的光谱的一种简单的方法，并且一般来说，如何在各种动态范围重新分级中的仅2种重新分级中最优地重新分配所有像素或图像对象亮度可能更为复杂)，对于每个特定像素，在SDR重新分级图像中分别具有对应的L_HDR和L_SDR，并且然后存在第三个MDR图像，对于该像素位置具有第三个对应的亮度：L_MDR(其是基于对中间亮度动态范围能力的重新分级需求进行重新量化而得出的，该重新分级需求是通过重新分级到最末端PB_C选择来指定的)。参考分级典型地在内容创建侧被创建，作为该特定类型的HDR场景的图像在理想情况下应如何被重新分级的“指南”，并且在接收侧典型地生成第三图像(及其(多个)像素亮度)，因为只有这样才知道哪个显示器需要被供应有优化后的MDR图像(基于该MDR显示器的能力，即，典型的至少是其PB_D，但在某些更高质量的显示调整算法中，该能力也是其最小可辨别黑色MB_D)。

因此，无论是由人指定，还是在电视节目的实时创建期间由自动算法指定(分析图像属性以指定颜色变换函数)，与本发明以下阐述的实施例有关的是，F_ct除了指定如何处理像素亮度外，还将包含至少一个颜色处理规范(例如，饱和度提升功能，并根据当前HDR图像或HDR场景的连续运行的图像的特定需求进行调整)，当将具有第一亮度动态范围的表示中的像素颜色变换为具有第二亮度动态范围的表示中的像素颜色时，无论亮度是升级还是降级，将假设该颜色处理规范为饱和度改变的规范。

返回图2，注意，除了依赖于接收侧将函数F_ct转换成IF_ct之外，还可以发送已经需要的函数以根据接收到的且经解码的SDR图像Im_RLDR来计算Im_RHDR。因此，颜色变换函数实际上是将HDR图像(MAST_HDR)中像素的亮度改变为LDR(或实际上是SDR)亮度，以使所有亮度在100nit的PB LDR动态范围DR_1中最优地适应(即，由此同时为SDR图像及其对象明亮度创建良好外观，并且，考虑到该函数(双重外观图像编码范例)中任何接收器的HDR图像的可重构性，确保了HDR到SDR范围压缩的可逆性)。

适合于在如图2中所示视频传送技术的现有或预先同意的部分中进行部署的典型编码链如下工作。一些图像源201(例如，其可以是提供最优分级图像的分级计算机，或者是给出HDR输出图像的相机(其由相机操作员利用某些拨盘和按钮进行调整)等)递送主HDR图像MAST_HDR，其通过图像或视频编码器221进行颜色变换和编码。颜色变换器202应用所确定的颜色变换(根据所选定的合适的颜色变换函数F_ct，将假设它们是至少一个亮度改变函数和一个色品(chrominance)或色度改变函数，典型的为一个接一个地，但是该顺序在若干实施例中可以互换，并且例如由人类颜色分级员来优化)，以例如用于亮度凸弯曲函数，为了简化说明，现在假设该亮度凸弯曲函数为具有系数gam＝1/k并且k大于2.0的伽马函数，并且对于色度处理，例如b＝0.9的去饱和度。当然，可以采用更复杂的亮度映射函数，并且实际上只要这些亮度映射函数具有足够的可逆性即可，例如，Im_RHDR图像具有可忽略或可接受的条带或其他颜色误差。通过应用至少包括亮度变换函数的这些颜色变换函数F_ct，获得输出图像Im_LDR。

该图像现在至少用于某些技术(例如，基于DCT的视频编码器)，就好像它是旧有的SDR图像一样，因为它可以由例如8位或10位Rec.709YCbCr像素颜色表征。作为第二步骤，这允许图像或图像集被压缩以与可能被潜在地修改的旧有LDR图像压缩器(203)通信，例如，预测差异的DCT-ed变换的量化表可能已经被优化，以更好地适合其中具有HDR对象的图像(尽管颜色变换通常可能典型地已经使Im_LDR的统计信息看起来与典型的HDR图像相比更像典型的LDR图像，其中HDR图像典型地具有相对多的亮度相对暗的像素，因为该范围的上部通常可能只包含小灯等)。例如，可以使用MPEG类型的压缩器，其被假设用于解释而不限于HEVC(H265)压缩器，从而产生经编码的SDR图像Im_COD。因此，该图像或视频压缩器203假装它仅获得正常的SDR图像，尽管不同之处在于，该图像或视频压缩器203现在还获得了允许重构主HDR图像的函数F_ct，即，高效地使得该图像或视频压缩器对SDR和HDR外观两者及其对应的图像集(分别为Im_RLDR和Im_RHDR)进行了双重共同编码。可能存在若干种方式来传送该元数据，该元数据包括函数F_ct的所有信息，例如，该元数据可以作为SEI消息被传送，该SEI消息也是先前在AVC或HEVC中开发的一种机制，其用于传送与视频图像有关的任何有用的附加信息。当然，对于以下教导而言，体现这些方面的方式并不重要，因此对于使得读者能够充分理解HDR图像处理的背景和全貌以及与之相关的新发明，仅给出一些典型示例。随后，传输格式化器204应用所有必要的变换以根据某种标准(例如，根据ATSC 3.0)对数据进行格式化以通过某种传输介质205(例如，卫星或电缆或互联网传输，或BD磁盘)，即，执行数据的打包、信道编码等的那些预先存在或将来版本的图像或视频传送技术所需要的操作。

在任何消费者或专业接收站点(例如，观看者家中的电视STB、视频会议、商业视频墙等)，可以合并到各种物理装置(例如，机顶盒、电视或计算机)中的接收器206通过包括被布置为应用取消格式化以及例如信道解码的取消格式器来取消信道编码。然后，视频解码器220的视频解压缩器207应用例如HEVC解压缩以产生经解码的LDR图像Im_RLDR(即，通过将颜色变换函数F_ct应用于(多个)MAST_HDR图像，Im_RLDR精确地具有在创建侧被分级的SDR外观)。然后，通过应用在编码侧使用的颜色变换F_ct的反颜色变换IF_ct，颜色变换器208被布置为将SDR图像变换为5000nit的原始主图像Im_RHDR的5000nit的PB_C重构图像Im_RHDR，以制作来自MAST_HDR的Im_LDR。

上面解释的系统可以是基本的HDR视频编码/解码链，但是通常对于专业系统，需要更多技术。

最近，已经出现了许多HDR视频编码技术。一些发明人认为仅对利用例如1000nit的固定PB_C来定义的HDR视频进行编码就足够了(仅将亮度转化为照度代码值应该是相当简单的事情，不会出现太多技术上的意外和问题)。这似乎确实是全部，因为可以在创建侧为像素定义0.1nit到1000nit之间的任何亮度，并且然后经由某种传送编码(或存储编解码器)机制传送视频图像，以便在接收侧可以绘制对应的0.1nit-1000nit的亮度。申请人的发明人意识到，良好的HDR体验不仅关于精确地绘制特定的物理亮度。特别地，仅具有这种编码和解码方法意味着安装了旧有的SDR显示器的用户(或者这些用户在家中可能有高质量的1000nit的PB_D显示器，但可能希望在他们不得不暂时走到另一个房间时切换到移动查看)无法在其显示器上简单地看到相当合理的图像。即，如果使用仅通过传送在假定为SDRHEVC图像代码容器中编码的(多个)HDR图像来传送HDR场景的任何技术(由此，读者应理解，位的量不是图像的动态范围的可靠的预测指标，因为10位照度平面可能包含SDR图像或任何PB_C HDR图像的照度，因为这只是在归一化到Y_max＝1.0时量化HDR亮度的问题，即，最大照度代码与哪个要被绘制的最大亮度PB_C相对应的问题)，这是唯一的HDR传送技术提供者所供应的，则SDR显示器需要如何处理该不合适的HDR图像是不清楚的。不管用于创建HDR照度的OETF是什么，以及无论这些被怎样解释(例如，利用错误的Rec.709EOTF)，这样的SDR观看者将典型地看到大部分的图像太暗，并且可能很难辨别(并且有时观看者甚至会看到较暗的区域中的大部分过于明亮，但是在任一情况下都是错误的，并且不清楚将要发生什么，并且电影的这种重要语义或情感方面(例如，暗示动作发生的傍晚时间，太阳在地平线下一定角度会导致某种黑暗的效果)典型地将会出错)。可以理解，即使转换为亮度并且然后例如完成典型的绘制(正如所想，作为可以想起的第一件事至少是相当合理的)，(总是)将图像中最明亮的内容映射到显示器可以产生的最明亮的白色(因此，PB_C到PB_D)。

旧有的SDR图像(即，在旧的视频专业技术下正确地准备)将使场景中最相关的颜色被很好地照亮，以具有漫反射场景白色的大约18％的亮度，这意味着大多数颜色将绘制有恰好低于最大明亮度显示颜色PB_D(对于旧有的显示器来说为100nit)的良好明亮度。对于普通的调光电视观看来说，这意味着颜色中的大多数都绘制出了很好的明亮度，实际上，该绘制甚至可能被视为有些自发光(与例如房间中的印刷海报相比具有灯箱效果)。人类视觉已经发展到能够看到区域中的对象的灰色或浅色(反射)，这在包含反射物体的自然场景中通常会被合理地均匀照亮。这意味着例如低于本地白色的+-5％(或至少低于1％)的颜色仅被视为黑色，并且典型地不是那么感兴趣。观看者可以使他的视觉系统适应电视的白色。然后发生的事情是，观看者以相当高质量的方式看到了真实场景的良好的(“示意性的”)绘制，因此在SDR图像观看的半个世纪之后，大多数人甚至没有意识到存在问题，更不用说HDR在技术上需要什么了。现在的问题是，由于成像场景的高动态范围，较暗的区域要比较为明亮的区域要暗得多。例如，HDR图像中最明亮的点可能是灯表面上的像素，其在HDR主分级中可以为5000nit，而夜间场景中其他物体的最明亮的像素可能例如仅为10nit。这里的因子为500(！)，这意味着如果将其以PB_C到PB_D理念在SDR显示器上绘制，则夜间场景中的每个感兴趣的事物都会落入深黑色，因此，一些校正措施是必须的。

对于具有比最初预期的减少更多(比主分级所预期的更多)的SDR观看情景的观看情况的任何观看者来说，也会出现类似的问题，例如，这是因为在观看环境中有明显的照明。只不过HDR视频编码器并未考虑这一因素，而这实际上是目前正在抱怨的问题。

基于SMPTE ST.2084EOTF的唯一HDR编码的好处在于，通过具有供颜色分级员使用的绝对框架以在现在在任何HDR场景上唯一地定义其外观，从而唯一地固定了有关HDR内容创建的视图：可以针对每个对象(甚至每个像素)在延伸的亮度范围(例如，向下延伸至0.005nit并且向上至5000nit)上指定其应具有的亮度，因此可以指定(并绘制，如果显示器能够做到的话)非常暗和非常明亮的图像对象。需要这样的参考框架(实际上是参考理论的显示器亮度范围)，以开始进一步的技术开发。然而，一个尚不容易被认识到的缺点是，这会在HDR编码和处理上创建一个相当严格的标准视图，因为这只是针对固定的绘制环境(分级室中0.005nit至5000nit的分级员的显示器)对亮度进行编码的一种方式，并且它并没有指定到底应如何使用这些图像，其中已知大多数人会在与内容分级员的观看情况明显不同的情况下看电视。真正重要的因素是后者，即对于最终观看者来说，这是一部高质量的电影或节目。

在过去的几年中，一些公司已开始研究并发布(参见WO2007082562[Max Planck]，具有残留层的两图像的方法(实际上是第二图像)的教导，以及WO2005104035[DolbyLaboratories])编码系统，这些编码系统允许传送同一HDR场景的两个不同的动态范围分级，即该场景的某些HDR图像(例如，具有PB_C＝10,000nit)以及旧有的SDR图像(PB_C＝100nit)，然后可以将其用于在旧有的SDR显示器上绘制HDR场景的良好等效的重新分级。读者可以轻松地理解，想象SDR图像(其可以利用Rec.709OETF仅编码1000：1的亮度动态范围)包含所有场景对象的表面颜色的编码，并且第二图像是一些提升图像，其包含对场景的不均匀的照明(例如，如果被“均匀照明”的对象被明亮地照亮，则每像素亮度提升的第二图像将包含例如50的值，并且如果该对象恰好在阴影中，则其亮度将乘以例如1/10)。这确实已经解决了这样的问题：如在前面提到的夜间场景的区域间对比度为500：1的图像可以在SDR显示器上被更好地绘制，因为可以将两个对象(灯和较暗的街道对象)在其相对亮度上移动得更近，这通常对应于进行SDR分级，使暗的街道颜色(例如，0到20nit之间)变明亮，并且将街灯仅变明亮一些(例如，PB_D＝100nit)(高效地将对象间对比度降低到5：1而不是500：1，但是与图像的其余部分相比，灯看上去仍然有些亮，因此该效果至少在PB_D＝100nit的显示器上被尽可能再现了一些)。

然而，申请人认为这种双重分级的图像传送(即，提供一个适合于5000nit的PB_DHDR显示器的图像以及另一个适合于旧有的100nit的PB_D显示器的SDR图像)对于通用的高质量HDR处理系统仍然是不够的(由于在理想情况下，希望通过对任何图像或视频内容的最优使用来为所有可能的显示场景(例如，在户外观看的便携式或大屏幕显示器、在博物馆或病房中的投影等)提供服务)，因此需要更多的技术部件作为解决方案。如所述的，不仅仅是能够将HDR亮度编码为例如10位照度代码，而是最终要能够将这些亮度最优地呈现给观看者，因为在其他情况下较高动态范围图像可能甚至比特别良好绘制的较低动态范围图像看起来更差。与简单的旧有SDR图像相比，现在具有HDR图像，即，其包含具有潜在的非常不同的亮度的高质量内容(即，像SDR图像一样尚未预先优化，但变化很大)，并且然后问题是应当如何最优地处理该内容，并且尤其是如何在绘制站点处出现的任何可能的显示器上绘制该内容，通常这也是内容相关的问题(因为在技术上和/或语义上存在非常不同的可能的HDR场景类型)。然而，引入更多这样的市场要求也将导致更多的技术复杂度以及新的问题的出现，为此必须发明合适的新技术解决方案。

申请人的发明人认识到，即使不考虑观看环境和在显示器周围但在观看者视野内的对象的亮度，这些情况中的大多数仍将具有实际可用显示器的显示峰值明亮度PB_D不等于图像编码峰值明亮度PB_C的问题(即，PB_C对应于理想参考显示器，该被传送的图像针对该理想参考显示器进行了颜色分级，并且在该显示器上看起来是最优的，而在偏离的显示器上，图像看起来是次优的，例如太暗)。因此，颜色变换器208将典型地不仅被布置为仅重构原始MAST_HDR的近似，而且还将具有颜色调整单元209，该颜色调整单元被布置为计算本文中称为中等动态范围图像(MDR)的图像，该MDR例如针对所连接的800nit的PB_D显示器(210)进行优化(以提供实际HDR场景的最公正的效果)，其中主HDR图像为PB_C＝5000nit，并且该主HDR图像作为这样的5000nit的PB_C编码图像或者PB_C＝100nit的SDR图像被传送。这是因为某些应用不需要重构原始的5000nit(主)HDR外观图像，因为这些应用可能例如无论如何仅在1500nit的PB_D显示器上显示，因此实际需要的是针对该显示器的所谓的显示调整后的(也就是显示适应的)图像。

在这两种情况下，实际传送的图像将用(多个)颜色变换函数F_ct来补充，该函数F_ct指定应该如何例如根据创建内容的艺术家在可能的显示峰值明亮度PB_D的范围内将内容至少从两个相距较远的动态范围情况中的一个(例如，SDR峰值明亮度和动态范围)重新分级为另一极端(HDR)。根据申请人的发明人的见解，这还将传达针对特定图像内容的在MDR图像之间的典型的重新分级期望(应当注意，中等动态范围这个名称不会降低也可以将其重新分级为那些相距较远的两个典型分级的范围之外的PB_D的能力，例如，对于在接收到5000nit的PB_C内容的情况下的7000nit的PB_D显示器)。并且这里没有创建侧，即，例如人类颜色分级员(或者自动亮度重新分级函数确定装置)需要针对PB_D MDR显示器重新分级之间的各种事物指定许多功能，因为接收侧将根据接收到的函数F_ct自身确定最优的MDR图像。

表面上看来，这仅仅是接收颜色变换函数(即，例如根据创建侧的主HDR图像创建实际传送的SDR图像的F_ct)并(对接收到的SDR图像)进行反颜色变换(以获得所需的最优MDR图像)的问题，但是，这仅在与F_ct元数据中实际接收到的亮度提升功能相比已经降低了(要在MDR图像计算中应用的)亮度提升功能之后，因为必须将100nit的SDR图像变明亮到例如800nit的MDR图像，而不是例如5000nit的HDR图像(尽管读者可以理解，在实践中调整可能比这里用于阐述原理的调整复杂得多，并且可能应用比这里用于阐述原理的计算过程要复杂得多的计算过程，因为显示器可能具有相当可变的能力，并且可以利用特定HDR图像的对象间对比度来优化对象内对比度，并且对于视频来说，甚至场景间对比度也能给出HDR场景的非常不同的属性——例如，根据天光与人造光之间的平衡来得出场景看起来应该是在傍晚的何时——可以使用相当复杂的亮度映射，而不是仅用于阐述一般发生了什么的简单的伽马)。或者可替代地，在MAST_HDR具有PB_C＝1000nit并且该数据实际上作为SDR照度或对应的亮度被传送的情况下，在相对色域的相对亮度轴上以归一化为1.0颜色空间来表达，该相对亮度轴将任何显示峰值明亮度设置为1.0，则需要通过对SDR图像对象中的大多数(例如，暗的夜晚对象)应用10倍的相对调光来将SDR相对亮度变换为HDR相对亮度，以在具有10倍更强的背光的1000nit的PB_D显示器上获得类似的外观(即，由于控制LCD像素传输的图像乘以背光值以获得最终的显示器绘制亮度，在使用LCD作为阐释模型的情况下，如果想要在SDR显示器上具有与10倍更明亮背光的HDR显示器上相同的外观，则必须将LCD像素传输百分比调暗10倍，或者调暗将要显示的驱动图像中的对应的亮度)。

因此(即使坚持用于阐释的简单的亮度映射函数F_L是简单的伽马函数)，可能认为只需要降低伽马函数以用于实现SDR到HDR预测(如以F_L函数形状所传送的)作为现在的SDR到MDR颜色变换，并且然后还应用共同指定的色度饱和度变换以用于在较低动态范围图像与较高动态范围图像之间进行变换，仅此而已。当具有无色的灰度图像时，可能仅此而已，但是涉及到彩色时则不是这么简单。

实际上，可能想到简单地应用旧的解码范例：“解码器只是撤消编码器以相反顺序进行的所有操作，以获得对原始(主HDR)输入图像(除了有损压缩的一些舍入误差之外)的重构”。因此，假设具有遵循图5A的颜色处理顺序的解码器，即，该解码器首先如所指示的进行亮度变换(通过接收到的亮度变换函数形状F_Lt，例如作为LUT被传送，在简单示例中仅为伽马函数)，以实现输出图像中所有像素的正确亮度，并且然后进行彩色校正，假设该彩色校正是饱和度提升/降低函数，并且再次在元数据中传送精确的所需功能F_sat。由于显示器的色域具有相当复杂的形状，因此通常要求在色域的下部(较深的颜色所在)与上部(其中色域朝向白色挤压)中的颜色行为不同，并且颜色较为明亮的显示器(甚至RGB编码)无法实现所有颜色，尤其是某些具有高饱和度的色度。因此，可以或多或少地采用复杂亮度相关的饱和度变换函数，如在Wo2014/128586图15a中所教导的，其教导了一种可以如何通过指定饱和度变换函数在色域中挤压颜色的通用方法。可以想象，如果升高图5B中由正方形T1所指示的过高的颜色，则最终会超出可实现的色域，然而，利用朝向无色轴进行适当的去饱和度后，输出颜色应该可以再次回到可实现的色域。这里应当注意，本身传送HDR图像且仅需要向下分级的系统与需要从接收到的SDR图像到主HDR图像的重构的可逆重构的系统之间存在差异。在前一种情况下，更严重的颜色误差可能是允许的。还应该理解，颜色映射并不是一门独特的精密科学，尤其是在色域的上部，无论如何都需要一些优化以及近似。因此，设计改进后的颜色算法并不一定要制作某种理论上可行的事物以给出零颜色误差，而是应该与其他HDR颜色处理进行比较，例如，HLG在色域的上部区域以及下部区域引入了严重的饱和度误差。

应当注意，如果输入图像和输出图像的RGB原色色度相同，则两个图像(即，尽管在其归一化中使用了其不同的PB_C)实际上将具有相同的归一化色域形状(这使得在某种程度上更容易理解发生了什么)。但是仍然存在问题，因为在HDR图像中可能相对暗淡的颜色(即，可能在RGB三角形中达到最大饱和度；即，颜色驻留在图5B的色域菱形的底部中)在SDR对应图像中可能较为明亮，因此，需要进行一些饱和度降低，因为在其他情况下，在峰值明亮度正下方的窄色域尖端中这种明亮的颜色是不可能的(并且MDR颜色也可能不像真实的)。通常，由于多种原因，例如另一种颜色处理会引入误差，或者由于某些颜色的不同饱和度会产生艺术上更令人愉悦的结果，因此可能还会对饱和度进行校正，但是就技术方面而言，读者可能假设仅存在一些颜色处理规范，典型的为乘数的集合，其可以在归一化亮度b[Ln]或归一化照度b[Yn]的范围内变化(其中仍应该谨慎考虑，该亮度或照度可能对应于以nit为单位的完全不同的绝对亮度，这取决于所谈论的是哪种图像表示)。

然后，这种解码方式将对应于镜像编码(只要编码器指定了解码器需要做的所有事情，图像就会正确显示出来，这种通用原理仍然始终是正确的)。在内容创建侧，例如人类分级员首先利用饱和度处理单元将颜色映射到一些合适的SDR色度，然后编写在(SEI)元数据中使用的饱和度函数。然后，对这些像素颜色的明亮度进行优化，并在另一条SEI消息中编写亮度映射函数形状。因此，接收器要重构HDR场景图像所需要做的唯一事情就是相反地应用两个接收到的颜色处理函数(首先是亮度变换，并且然后是重新饱和)。

然而，当实际上根据新颖的市场实用需求理念深入研究并设计这样的新颖系统时，人们偶然发现根本问题(通过首先看到事物完美地运行了很多次，然后突然不能运行了)：这还不是建立良好的HDR(解码)编码/处理系统的方式。

即，可以想象确实可以为亮度映射设计具有更好或更差的视觉质量的各种方法，但是如果有人想要进行一些色度(即饱和度)变换，则会出现问题(并且由于HDR内容的非常可变的类型，因此不必是快速发现的问题，更不用说理解了，因为某些类型的HDR场景图像在特定算法的处理下可能比其他算法表现得更令人愉悦和容忍)。更精确地，为了准确的SDR到HDR的重构指定了饱和度处理F_sat(万一不期望任何其他事情)，但这实际上不是针 对SDR到MDR调整要做的！具有逆解码范例的纯编码图像数据重构的理念可能是可以理解的，但是现在随着最优HDR图像处理的现状，突然遇到了另外的问题：对最优显示调整的需求与这样的事实有关：内容创建分级只有时间和期望利用那些对应的颜色变换函数来进行从所使用的任何参考HDR表示到SDR的一个具体的、标准化的重新分级。

因此，显然缺失了创建者指定外观的基本要素，并且无法在任一接收器侧显示器上进行实际绘制的同时开始要求分级员提供有关MDR PB_C＝800nit的外观图像的详情或需要的更多信息。希望再次强调这一重点：理想情况下，分级员将针对所有绘制动态范围情况制作图像，但出于实用的原因，HDR处理理念需要采取仅对两个(或至少几个)不同的动态范围图像进行分级的重要捷径。但是，还应该以某种方式使用显示如何重新分级到各种MDR情况的数据。这是一个主要问题并且对于许多人来说可能很难理解从SDR时代(其中“(所需要的)所有颜色信息都在图像像素的颜色三色组中”)到“如果元数据中的函数中没有更多的信息，则至少要有同等的关于实际HDR场景的信息”的转移。接收侧某种程度上需要最优地使用所有这些重新分级信息，以获得良好的MDR图像。作为比喻，可以想象HDR场景是3D图像，此时亮度方向表现得与深度的某些等同物一样，并且在这种场景中，读者将理解为什么确实向像素化图像添加了附加信息(即，深度图或类似的东西)，以使实际场景描述完整，以便在接收侧可以计算其他2D方向视图。

因此，在获得了有关编码和可用的亮度行为的所有教导后，仍然必须找到一些至少实用的解决方案，以能够进行高质量的显示调整，即，对于接收站点处任何可用的显示情况，根据如在接收到的颜色变换函数F_ct中定义的内容创建者，遵循依赖内容的语义适当的(对于该特定的HDR场景，例如，晴天的室外+变暗的室内图像)重新分级的艺术期望。申请人最近花费了相当多的时间来设计应该或者可以如何进行这样的亮度调整(也就是重新分级)，即，遵循多种技术原理，MDR图像(场景对象)的像素应具有什么样的亮度，因为这是(亮度)动态范围降低的主要对象，并且可以以及可能希望这样做，以作为应该将输入颜色转换为什么输出颜色的最重要的第一部分，并且用于各种图像区域的亮度分配的所有这些各种优化选择将导致以下处理部分的复杂度，特别是色度(非明亮度)处理。无需深入探讨新框架必须能够处理的各种情况的许多复杂细节，读者可以通过将MDR图像生成隐喻地看作需要站在中等大小盒子中的人来了解许多问题和可能性的一些构思：在大的HDR盒子中，他可以在没有任何麻烦的情况下站起来，并且假设SDR盒子很小，则他需要弯曲膝盖和头部。然而，对于某种MDR盒子，他然后可能伸长脖子或膝盖，因此可能需要进一步考虑以寻求最优选择。此外，在电路拓扑的一些实施例中，等效地需要这种色度后处理作为色度预处理，其通过变换例如SDR色度来优化MDR色度的分配，并且因此可以尝试各种事物(由于色度方向可以看作是很大程度上独立于明亮度尺寸及其要求的(尽管典型地并不完全独立)，因此可以具有各种方法)。在任何情况下，如果假设所有的动态范围图像中的颜色的色调通常都是相同的，则需要提出一些实用的(通常很简单，否则它可以或典型地不会包括在可负担的视频处理IC中)且普遍适用的技术以用于完成这种MDR图像所需的饱和度变换。这不是一项简单的任务，并且需要重新审视事物，尤其是在饱和度(或通常是色度，例如2D矩阵)处理方面。

读者还应该理解，可能存在(例如，客户要求的)需要以各种方式实际上进行处理：在各种颜色空间中，还有各种方式以通过颜色空间完成变换路径。存在某些变型，其中可以设计这样的一种变型，其对色度进行了一些预归一化，这在随后确定MDR亮度时仍然可以合理地工作，但是也存在一些会产生更多问题的场景，例如，在使用max(R,G,B)作为亮度的解码器中的随后的亮度处理在其在基于b[max(R,G,B)-Y]的饱和度处理行为之后的亮度处理中相关，这两个维度对于进行良好的颜色处理非常感兴趣，但是存在无法很好地正交化的问题(这意味着直到想要开始进行显示调整为止实际上一切事情都进展顺利，并且在其他变型中也会出现类似的问题)。

因此，对于该主要问题，需要一种通用的智能处理机制，该智能处理机制一旦已经确定了(显示调整后的)亮度处理，饱和度处理就不那么简单了，其不需要太多的照顾和创造性的新的处理框架。

应当注意，申请人的无关的、(不)相关的现有专利申请是WO2015/124754。这涉及对被称为蜡笔颜色空间的新颜色空间的定义以及其中的颜色处理，该颜色处理与图1的圆柱体颜色空间类似，除了朝向白色色度收缩的黑色的尖端。尽管可以在该颜色空间中进行饱和度处理，但没有给出有关如何在显示调整的情况下进行饱和度处理的相关教导(肯定没有考虑到下面呈现的用于确定全新的饱和度行为(特别是新的饱和度提升函数形状)的次级亮度)，造成这种情况的部分原因也是因为在蜡笔颜色空间中比在例如Y’CbCr空间中相对更简单地完成饱和度处理，如可以例如对尖端的部分中的颜色使用一些简单的色域映射启发(还取决于准备定义哪种颜色近似)。

发明内容

为了缓解针对显示调整场景计算良好颜色的上述问题，已经开发了一种非常有用的装置(400)，其用于处理输入图像(Im_RLDR)的输入颜色(Y’L，C’bL，C’rL)的颜色饱和度(C’bL，C’rL)，以产生与输入图像相对应的输出图像(Im3000nit)的输出颜色(Y’M，Cb’M，Cr’M)，该输出图像是对输入图像的重新分级，其特征在于其像素颜色具有与输入颜色的归一化亮度位置(Y1)相比不同的归一化亮度位置(Y2)的事实，该归一化亮度被定义为像素的亮度除以图像的亮度表示的相应最大可编码亮度，由此输入图像的最大可编码亮度与输出图像的最大可编码亮度的比率至少为4或更大，或者为1/4或更小，该装置包括：

-接收器(206)，其被布置为接收亮度映射函数(F_L_s2h)以及初始饱和度处理函数(F_sat)，该亮度映射函数(F_L_s2h)定义输入颜色的亮度(Y’L)与参考亮度(L’_HDR)之间的映射，该初始饱和度处理函数(F_sat)针对输入颜色的亮度(Y’L)的不同值来定义饱和度提升值(b)；

-显示调整单元(1009)，其被布置为基于亮度映射函数(F_L_s2h)以及显示峰值明亮度(PB_D)和最小可辨别黑色(MB_D)中的至少一个来计算显示调整后的亮度映射函数(F_L_da)；

-亮度处理器(401)，其被布置为应用显示调整后的亮度映射函数(F_L_da)以根据输入颜色的输入亮度(Y’L)来确定输出亮度(Y’M)，以及

-饱和度处理单元(410、411)，其被布置为基于为针对归一的亮度值(Y_norm)指定饱和度乘数的饱和度处理策略，将输入颜色饱和度(C’bL，C’rL)映射到输出颜色的颜色饱和度(Cb’M，Cr’M)；

其特征在于，装置还包括饱和度因子确定单元(402)，该饱和度因子确定单元(402)被布置为基于初始饱和度处理策略(F_sat)并且基于次级亮度值(Y’_H)来计算最终饱和度处理策略(b；Bcorr)，该次级亮度值(Y’_H)可以基于亮度映射函数(F_L_s2h)通过应用亮度映射函数(F_M2H)从输出亮度(Y’M)得出，并且其中，饱和度处理单元被布置为通过应用最终饱和度处理策略(b；Bcorr)来计算输出颜色的颜色饱和度(Cb’M，Cr’M)。

对该框架进行了调整，以允许用于计算显示调整后的亮度映射函数的各种技术上不同的标准(例如，随着显示峰值明亮度能力增加到100nit以上(例如，1000nit)，HDR外观和对应的场景对象的亮度分布会更快一些)，但是一旦已经固定了策略(例如，在电视中)，则在两个参考分级(HDR和SDR，如在内容创建侧所期望的那样被分级的)之间的原始亮度映射函数(F_L_s2h或F_L_h2s)之间的关系取决于这两个分级图像中的哪一个实际被传送给接收器，并且显示调整后的亮度映射函数F_L_da是固定的，因此根据任何实施例，可以根据本发明处理显示调整后的MDR图像的互补色品或色度优化的问题。通常，饱和度处理会将输入色品C’bL和C’rL(例如，其在归一化SDR色域中定义的HDR图像传送的SDR图像传送变型中)映射到MDR色品作为输出，并且然后在这种MDR和SDR需要的饱和度校正之间的功能关系是需要的，然而，创建侧仅传送了SDR到HDR饱和度策略。

如下面在各种示例性实施例中所示的，可以在接收器处计算次级亮度，该次级亮度是SDR、MDR和HDR亮度这三者中缺失的一个，并且(尽管这种对次级亮度的推导实际上用于SDR到MDR重新分级或HDR到MDR重新分级的颜色处理的色度处理部分)该HDR亮度将基于亮度本身之间的关系，即，以这种方式，(多个)该特定的HDR场景图像需要进行亮度重新分级，以通过元数据中的F_L_s2h或F_L_h2s函数形状从创建侧传送。

由此，可以计算亮度映射函数F_M2H，该亮度映射函数F_M2H给出了MDR亮度与所需的次级亮度之间的关系，该次级亮度是在输入亮度为SDR亮度的情况下的HDR亮度。如下所示，基于函数F_L_s2h的优选函数F_M2H是函数F_L_s2h本身，该函数F_L_s2h创建的HDR亮度比在创建侧建立的HDR亮度要暗一些。实施例的另一合理选择是使用原始HDR亮度，如在内容创建侧所建立的。技术人员应理解，如果可以建立显示调整函数以根据接收到的SDR亮度来计算MDR亮度，则在需要时能够如何确定互补函数以根据MDR亮度来创建(原始、参考)HDR亮度(其为显示调整函数的缩放后的进一步延续，参见图16B：不是在曲线F_L_da上将起始HDR亮度映射到MDR亮度的亮度乘数，而是在F_L_da曲线上的所述y坐标与F_L_h2s曲线上的y坐标的乘数，并且对应于以SDR亮度开始的反方向上的映射；实际示例可以快速地进行此计算，例如，如图10的A_L^(1-P)的示例，但是应该不难发现，如果对于任何给定的x坐标具有三个将三种亮度关联为三个相应的y坐标的曲线(即，同一性曲线以及F_L_s2h和F_L_da)，则技术人员可以制作包含乘数的LUT来计算三种亮度中的一种亮度(从另一个亮度开始计算)，如图7所阐述的)。

如上面所解释的，尽管表面上认为可以通过最多仅取决于一种亮度(典型的为要处理的像素的输入亮度，或者可替代地为与其相对应的亮度，即，典型的为当前被计算以优化其使用的图像的输出亮度，即，针对当前所连接的实际显示器绘制与HDR场景的原始内容创建侧的(多个)分级图像相对应的最佳图像)的饱和度处理来处理输入颜色的色度分量(即，色度或其对应的色品表示)以获得正确的输出颜色，然而，针对某些不同的分级情况得出正确的颜色(例如，得出具有峰值明亮度的MDR的最优图像，该图像在创建侧没有被分级)似乎是非常棘手的。

因此，典型地体现为饱和度因子确定单元(402)的饱和度处理部分作为计算在(例如，通过乘法器对色品Cb和Cr的)饱和度进行实际提升之前进行，其将需要考虑该像素的次级亮度值，该次级亮度值用作校正亮度，该校正亮度对于目前这种新的特殊情况将指示例如MDR显示峰值明亮度的饱和度提升规范要在多大程度上被改变，这在内容数据创建侧是未知的，即，饱和度处理策略F_sat永远不可能得到准确优化。然而，实际上确实证明了这种双亮度方法可以解决这些难题，并且不仅在其亮度方面、而且在其颜色饱和度方面都能产生正确的(或通常至少为相当近似合理的)MDR图像颜色(并且色调典型地在主图像的所有分级上基本相同)。

实施例将如何进行最终实施对正确的MDR色品的计算(或等效地，可以设计一种IC拓扑，其对其他颜色表示(例如，色度)的其他颜色坐标执行相同的操作，但YCbCr表示似乎是视频颜色处理领域中优选的)的乘法器410和411所需要的b因子的计算，例如：

装置(400)的特征还可以在于，次级亮度值(Y’_H)被用作接收到的初始饱和度处理函数(F_sat)的输入坐标，以获得乘法因子(b)作为所述函数针对该输入坐标的值。因此，在这种情况下，饱和度提升值函数在其输入时使用(在通用归一化亮度上，尽管在MDR图像计算场景中任何特定像素亮度的位置都可能是“错误的”)，即，具有其恰好已经被传送的形状F_sat[Y_norm]，但是用于查找针对该像素所需要的b因子的正确位置被确定为该HDR亮度，这对于某些计算拓扑是有用的。

可替代地，装置(400)的特征还可以在于，次级亮度值(Y’_H)被用于针对输入颜色的每种可能的归一化亮度(Y’L)计算最终饱和度处理策略(b；Bcorr)的新输出坐标。即，在该变型中，计算F_sat函数的新形状，其中针对每个输入的归一化亮度/x坐标具有不同的y坐标。这对于具有色度处理部件的实施例是有用的，该色度处理部件希望基于输入颜色的亮度直接地读出要向乘法器发送哪个饱和度提升因子，例如，图12的预加载示例。

在进一步研究之后，研究人员中的一位发现，当对具有较小的编码峰值明亮度PB_C的图像进行重新分级时可以应用于主要确定最明亮的颜色的良好亮度挤压的相同技术可以类似地用于改进暗色，例如，当观看者在相对明亮的观看环境中观看(多个)图像的情况下，这样的暗色需要变明亮。

实际上，虽然原则上可以根据相同的原理设计更复杂的饱和度或甚至色度处理实施例，但是将饱和度视为乘法提升(或变暗，这取决于图像的需求，尤其是是否需要将较高动态范围图像转换为较低动态范围图像，反之亦然)在实用上是有用的。然而，如研究所示，尽管可以完成对解决方案的这种表达，但是由于亮度动态范围重新分级的复杂度，这种乘法因子b可以典型地随归一化亮度而变化(由于RGB色域的复杂的尖的形状)，并且典型地以内容相关的方式变化(例如，在被染色的玻璃窗或彩色灯中是否存在明亮的饱和颜色)。即，饱和度规范F_sat将典型地从创建侧被传送(尽管原则上某些实施例可以在接收侧本身生成饱和度规范)，针对每个可能的归一化亮度具有合适的提升因子b[Y](例如，在SDR中间图像中，其亮度已经转换为其针对该MDR图像的合适的归一化值)。因此，确定最终饱和度处理策略的两个亮度中的第一个亮度将用作当前像素的明亮程度以及针对这种明亮度需要改变哪个饱和度的函数(假设例如体现为LUT)的输入或索引。但是如所述的，需要使用次级亮度作为确定亮度的情况校正，其确保最终针对该特定情况进行正确的饱和度提升(即，例如针对5lux观看环境计算1700nit的PB_D MDR图像，或者针对该相同的5lux观看环境或针对500lux环境等计算3000nit的PB_D MDR图像)。

如所解释的，典型的两个亮度中的一个是亮度映射(F_Lt)前亮度，并且两个亮度中的另一个是亮度映射后亮度，其中所述映射由执行亮度变换的不同的颜色处理子单元执行，并且可以在饱和度处理之前或之后(在此之前是亮度映射器中的输入亮度)按时间顺序、因此按处理流程顺序执行。这两个亮度是为了获得高动态范围场景的图像而对其颜色进行优化的像素的对应亮度，其中，前亮度和后亮度是该场景的两个图像的亮度，该场景的第一图像具有第一图像峰值明亮度(PB_HDR)，该第一图像峰值明亮度(PB_HDR)比另一个图像的第二图像峰值明亮度(PB_LDR)高至少两倍或低至少两倍。本概念在必须计算不同动态范围的图像的场景中特别有用。例如，输入100nit的图像(尽管该图像连同颜色处理函数F_Lt和F_sat一起包含了用于重构HDR图像或制作MDR图像的所有信息，如果正确完成的话)，但最终需要的是例如750nit的图像，因为连接了750nit的PB_D显示器。然后，要求该装置最优地利用所有信息，以使得所有图像对象的亮度在具有该能力的显示器上看起来最优(考虑到原始主HDR图像看起来如何，这在技术上是通过采用颜色映射函数连同输入图像像素颜色一起来实现的)，并且还使得像素颜色的色度方面(特别是其饱和度)看起来最优。动态范围非常不同的两个图像中的一个(其典型的特征在于两个图像中的一个在其动态范围上具有不同的峰值明亮度PB_C或最大可表示的亮度，典型的为至少两倍大或者至少小两倍，这取决于动态范围转换的方向(升级或降级))典型的为在(单元401的)亮度映射之前存在的图像，并且另一个图像是由该映射产生的。

有利地，装置(400)具有两个亮度中的第一亮度，该第一亮度是中等动态范围图像(Im3000nit)的像素的中等动态范围亮度(Y’_M)，该中等动态范围图像(Im3000nit)是峰值明亮度在主HDR图像的峰值明亮度与100nit的峰值明亮度之间的图像，该中等动态范围亮度(Y’_M)根据输入亮度由亮度处理器(401)计算，并且两个亮度中的第二亮度是主HDR图像的该像素的对应亮度。这是在实践上有用的实施例，因为然后可以根据MDR亮度来计算b因子作为F_sat LUT中的索引。

有利地，装置(400)具有两个亮度中的第一亮度作为输入亮度。以这种方式，一切都可以根据开始情况(即，输入亮度形成LUT中的索引)来计算(在使用索引校正的实施例中，该LUT可以通过次级亮度进行重置，但是该实施例变型对于校正F_sat函数形状并且将该索引保持为该输入图像亮度的实施例是有用的)。

有利地，在装置(400)中，两个亮度中的第一亮度是利用第一亮度映射函数(1401)计算的(例如，中等动态范围)亮度(Y’_M)，该第一亮度映射函数(1401)对接收侧显示器的输入图像的最暗颜色的第一绘制能力进行优化，并且两个亮度中的第二亮度是利用第二亮度映射函数(1402)计算的(例如，中等动态范围)亮度(Y’_M)，该第二亮度映射函数(1402)对实际接收侧显示器的输入图像(201)的最暗颜色的第二绘制能力进行优化。该原理不仅在需要针对不同的显示峰值明亮度PB_D计算新的MDR图像的情况下适用，而且在其他动态范围方面的计算中也都适用，尤其是在接收侧显示器可以很好地绘制最暗的黑色的情况下适用。

有利地，一种高动态范围图像计算装置，其包括上面所描述的变型中的一种的装置，其特征在于高动态范围图像计算装置被布置为输出具有至少为500nit的峰值明亮度的图像。

有利地，本发明可以被实现为一种处理输入图像(Im_RLDR)的输入颜色(Y’L，C’bL，C’rL)的颜色饱和度(C’bL，C’rL)以产生与输入图像相对应的输出图像(Im3000nit)的输出颜色(Y’M，Cb’M，Cr’M)的方法，该输出图像是对输入图像的重新分级，其特征在于，其像素颜色具有与输入颜色的归一化亮度位置(Y1)相比不同的归一化亮度位置(Y2)的事实，归一化亮度被定义为像素的亮度除以图像的亮度表示的相应最大可编码亮度，由此输入图像的最大可编码亮度与输出图像的最大可编码亮度的比率至少为4或更大，或者为1/4或更小，该方法包括：

-接收亮度映射函数(F_L_s2h)以及初始饱和度处理函数(F_sat)，该亮度映射函数(F_L_s2h)定义输入颜色的亮度(Y’L)与参考亮度(L’_HDR)之间的映射，该初始饱和度处理函数(F_sat)针对输入颜色的亮度(Y’L)的不同值来定义饱和度提升值(b)；

-基于亮度映射函数(F_L_s2h)以及显示峰值明亮度(PB_D)和最小可辨别黑色(MB_D)中的至少一个来计算显示调整后的亮度映射函数(F_L_da)；

-应用显示调整后的亮度映射函数(F_L_da)以根据输入颜色的输入亮度(Y’L)来确定输出亮度(Y’M)，以及

-基于针对归一化亮度值(Y_norm)指定饱和度乘数的饱和度处理策略，对输入颜色饱和度(C’bL，C’rL)进行映射以获得输出颜色的颜色饱和度(Cb’M，Cr’M)；

其特征在于，所述方法还包括基于初始饱和度处理策略(F_sat)并且基于次级亮度值(Y’_H)来计算最终饱和度处理策略(b；Bcorr)，该次级亮度值(Y’_H)可以基于亮度映射函数(F_L_s2h)通过应用亮度映射函数(F_M2H)从输出亮度(Y’M)得出，并且其中，通过应用最终饱和度处理策略(b；Bcorr)来计算输出颜色的颜色饱和度(Cb’M，Cr’M)。

有利地，该方法的特征还在于，在最终饱和度处理策略计算中所考虑的两个亮度中的一个(不是次级亮度)是用于获得乘法因子(b)的查找亮度。

有利地，该方法的特征还在于，两个亮度中的一个是亮度映射前(F_Lt)亮度，并且两个亮度中的另一个是亮度映射后亮度，并且这两个亮度是为了获得高动态范围场景的图像而对其颜色进行优化的像素的对应亮度，其中，前亮度和后亮度是该场景的两个图像的亮度，第一图像具有第一图像峰值明亮度(PB_HDR)，该第一图像峰值明亮度(PB_HDR)比另一个图像的第二图像峰值明亮度(PB_LDR)高至少两倍或低至少两倍。

有利地，该方法被进一步地实现，其中两个亮度中的第一亮度是中等动态范围图像(Im3000nit)的像素的中等动态范围亮度(Y’_M)，该中等动态范围图像(Im3000nit)是具有的峰值明亮度在主HDR图像的峰值明亮度(PB_HDR)与100nit的峰值明亮度之间的图像，该中等动态范围亮度(Y’_M)根据输入亮度来计算，并且两个亮度中的第二亮度是主HDR图像的该像素的对应亮度。

有利地，该方法被进一步地实现，其中两个亮度中的第一亮度是输入亮度。

因此，我们对HDR技术的贡献的基本属性是：基于例如SDR输入颜色的MDR颜色计算，以及元数据中的关于通常应如何对这种颜色进行重新分级的功能规范(特别是F_L＝F_L_s2h指定了在从SDR图像像素转换到例如4000nit的主HDR的对应像素时亮度必须如何变明亮，但是该函数还确定了如何必须经由显示调整算法和对应的函数F_L_da来对MDR图像像素亮度之间的任何亮度进行重新分级)；SDR到MDR或HDR到MDR颜色处理框架的色度部分利用各种可能的实施例示例教导了如何使用该亮度重新映射需求信息来正确地确定例如对应的SDR到MDR饱和度提升(b)，该饱和度提升(b)根据接收到的输入参考饱和度策略确定最终饱和度策略，并且使用除了三种亮度(SDRY、MDRY、HDRY)中的两种(例如输入SDR亮度和计算出的对应的MDR亮度)之外的、所述三种亮度中的第三种亮度(例如，HDR亮度)来确定要应用的所述正确的最终饱和度策略。这针对与在F_sat中传送的亮度相比的每个可能的输入归一化亮度计算了新的饱和度提升值。

附图说明

根据本发明的方法和装置的这些和其他方面根据下文所描述的实施方式和实施例以及附图将是显而易见的，并且参考下文所描述的实施方式和实施例并且参考附图来阐释根据本发明的方法和装置的这些和其他方面，读者应理解，附图仅作为非限制性的具体示例性说明，其例示了可以以其他方式实现的更一般的概念，并且其中虚线用于指示可选的部件，非虚线的部件不一定是必不可少的。虚线也可以用于指示被解释为必不可少的隐藏在对象内部的元件，或者用于指示无形的事物，例如，对对象/区域的选择(以及其如何在显示器上显示)。对于技术人员来说应该清楚的是——考虑到问题的复杂度和可能做出的各种替代实现方式——为了教导的简洁，仅在某些图像中示出了某些部件，但是这些部件也可以比照地添加到其他各种实施例中。还应该清楚的是，一些附图以任何更高级别的抽象度(例如，以技术框架级别)来描述实施例的多个方面。

在附图中：

图1示意性地示出了经典的现有技术的教导如何看待饱和度处理；

图2示意性地示出了具有编码器和解码器的HDR图像编码框架的示例，特别是通过还传送一个或多个函数(F_ct)以将接收侧接收到的(多个)SDR图像的像素颜色映射到原始主HDR图像像素颜色的足够接近的重构而实现了将高质量高峰值明亮度(例如，5000nit)的HDR图像实际上作为SDR图像进行传送的HDR图像编码框架；

图3示意性地示出了典型地出现在图像亮度动态范围重新映射(也就是重新分级)中的颜色映射中的一些，至少有关像素颜色的亮度方面；

图4示意性地示出了遵循本申请的一些原理的新的HDR图像解码器的实施例；

图5示意性地示出了总颜色转换的一些实施例如何可以首先进行亮度变换，然后进行色度颜色变换(特别是调整像素的饱和度的变换)，或者其他实施例如何可以以其他方式进行处理；

图6示意性地示出了将HDR图像实际上作为SDR图像进行传送的实施例，以及在基于相对色品的颜色空间中的典型颜色变化；

图7示出了在基于色度的颜色空间中的颜色映射，以及用于针对包括不同峰值明亮度的不同动态范围的显示器对图像进行优化可能典型地涉及的归一化亮度的改变；

图8尤其示出了需要在不同动态范围的显示器上具有对应外观的颜色如何可以落入可实现的色域之外，并且必须通过最优的饱和度校正策略来处理该颜色；

图9示意性地示出了饱和度与各种亮度之间的一些关系；

图10示意性地示出了用于重新分级为MDR峰值明亮度的双亮度优化的饱和度策略的另一可能的实施例，对于该MDR峰值明亮度没有传送具体的处理策略(即，针对该特定的PB_MDR的专用亮度和饱和度处理LUT)；

图11示意性地示出了当特定对象中的特定像素的亮度针对图像的三种具体的重新分级情况而得到优化后的颜色时的亮度之间的关系，该图像针对相应的3种不同的显示峰值明亮度而进行优化；

图12示意性地示出了根据本发明的原理的另一有用的解码器实施例；

图13示意性地示出了该实施例中涉及什么样的颜色处理，以及对于任何特定连接的MDR显示器，该颜色处理如何导致定义正确的F_sat LUT函数形状，该MDR显示器需要针对其PB_MDR进行优化的输出图像；

图14示意性地示出了还可能涉及的亮度处理，该亮度处理校正在绘制黑色时的缺陷，例如，显示器的大量泄漏光导致不清楚的黑色，以及在这种情况下可以如何调整基于双亮度优化的饱和度校正策略以使其起作用；

图15示意性地示出了针对示例性实施例的基于亮度的一些校正曲线；

图16示意性地阐释了如何完成显示调整，以及如何可以根据接收到的模板F_L_s2h亮度映射函数来计算显示调整后的函数F_L_da，当在可重新分级的函数的范围的两个极端(即，主HDR图像在最初创建时的参考分级以及其对应的SDR 100nit的PB_C图像)之间进行重新分级时，该函数F_L_da传送由内容创建者确定的针对该HDR图像的重新分级需求；以及

图17示意性地示出了HDR次级亮度如何可以产生良好的饱和度处理策略以将输入SDR色品变为良好的对应输出MDR色品的另一实施例。

具体实施方式

在深入研究(用于实施类似发明原理的若干种可能方式的)各种实施例细节之前，图5为读者指出了这样的事实——无论其他细节如何，例如在特定的视频传送系统中使用哪种饱和度定义和/或处理——一些实施例可以(例如，在解码侧；或者实际上可以如通用地描述的，在可以进行两部分明亮度/色度处理的任何装置中)在色度处理之前进行亮度处理，或者反之亦然。甚至可以设想某种并行处理。甚至可以设想一些“逆序”处理。例如，用于进行逐个像素处理的实际计算引擎(即，在覆盖例如4K像素的扫描线上依次处理像素的IC)首先进行色度处理，然后进行亮度处理(即，首先获得正确的饱和度，然后获得正确的亮度)。如果需要知道与尚未知道的特定亮度(或照度)(但是例如仅为来自输入的SDR图像的SDR亮度)相对应的提升因子s(Y_MDR)，则可能很难先验地知道接下来该如何进行饱和度处理。但是，有一些方式可以完成这一点。例如，在某些情况下，软件并行处理可以以某种方式确立当前类型的像素需要哪种饱和度修改。由于只需要测试应该针对例如1023种SDR亮度做什么，因此，例如在实际处理当前图像的像素之前，可以通过颜色计算链(例如，对于所有Y值，饱和度块均绕开因子1.0)发送1023种不同的SDR亮度，并且查看在预饱和度拓扑中针对1023种SDR像素会出现哪些MDR亮度、哪些亮度需要饱和以及需要哪种等效饱和。技术人员应当理解，对于相同的结果，也可以使用其他拓扑(例如，进行两次处理循环)。

一种感兴趣的变型是像素可能还不具有最终正确的(例如，HDR)亮度，但是仍然存在某种顺序，从而允许区分各种明亮度的像素，从而可以根据像素的正确类型(明亮度)进行色度预处理。如果可以在两个不同的动态范围表示中的像素亮度(即，它们的(例如HDR)亮度位置)之间进行一对一链接，从而实现它们特定需要的饱和度变化，则可以做到这一点。对于基本上可逆的系统，在SDR相对亮度与HDR相对亮度之间(由亮度映射链接)、以及SDR相对亮度与MDR亮度之间(由修改后的、接收侧确定的映射链接)至少大致具有某种关系，即，原则上可以针对例如对应的SDR图像像素表达例如MDR图像像素的饱和度提升所需要的关系。例如，如果输入像素在具有某些归一化RGB坐标以及亮度Y/Y_ref的某个归一化色域中进行归一化，即使Y_ref不是针对所有像素的固定值而是例如单调函数，也可以这样做。如下所示，然后可以调整饱和度函数形状以应用于色度或归一化色品(一旦所有像素都在相同的色域中，就可以通过除以通用的0.0-1.0的归一化亮度范围Y*来完成若干事情)。

图5A示出了(比如说解码器)对第一类型的亮度的颜色处理。输入第一动态范围(XDR)的图像，即，像素的亮度Y_XDR。在不希望失去一般性的情况下，可以想象这些亮度是SDR亮度或归一化亮度。亮度变换单元501应用一些亮度变换函数F_Lt，例如，示例性的伽马函数。这会得到另一动态范围的某些图像的亮度Y_ZDR(例如，100nit的SDR作为输入，以及1000nit的HDR作为输出)。这对于描述归一化色域中的变换通常是有用的。在那种情况下，XDR图像(其标记为具有动态范围为X的图像的简写，例如，0-PB_C＝X nit)和ZDR图像两者可以具有在相同色域形状中的亮度(在图5B中示出了菱形表示中的变换，该菱形表示对应于在亮度轴朝上的情况下线性RGB颜色块在其黑点尖端上倾斜；如果输入和输出的原色不同，则色度处理也可以考虑到这一点，但是这里将简化说明)。

因为对于同一个捕获的HDR场景，SDR图像将具有在菱形(归一化)编码或显示色域上扩散得更高的大量的像素颜色，并且HDR图像将具有大量的像素颜色，其中最多的(对应)颜色落入在相对色域中低得多的位置(在100/1000nit示例中，大约低10倍)并且仅某些颜色在色域中较高的位置(例如，分级员可能已经决定针对SDR和HDR分级图像两者对PB_C的最明亮的颜色(例如，太阳在金属表面上的一些镜面反射)进行映射，即，在菱形的顶部)，因此HDR图像与SDR图像之间的差异将是可察觉的。

然后，饱和度处理单元(502)应用饱和度改变处理，非限制性地，假设该饱和度改变处理的类型为s_out＝b(Y_ZDR)*s_in，其中s_out和s_in是在某些颜色空间(例如，基于Cr，Cb的颜色空间)中定义的饱和度，并且提升函数b(Y_ZDR)是规定饱和度的提升或减小的作为各种可能亮度的值的集合的某个函数(非限制性地，假设其为接收到的LUT，其中Y_ZDR值作为索引，并且填充的值为例如1/k或k，例如，0.03或1.5等)。以这种方式，不仅可以基于显示色域的限制来为饱和度塑形，还可以基于针对该特定图像或少量图像的需求(即，其像素亮度的实际分布，该像素亮度可以以许多不均匀的方式填充色域)来为饱和度塑形。如果输入为例如SDR，则在该示例中，输出颜色ColHDR为HDR颜色。应当注意，在更复杂的实施例中，饱和度提升函数可以更复杂，并且可以是更多图像方面的函数，例如，饱和度提升函数可以被定义为b’(max(R,G,B)-Y_ZDR)，但是这里将再次描述更简单的变型，以便于更简单的理解。因为该部分通过提升饱和度测量或等效坐标(例如，R-Y、G-Y、B-Y)来执行典型的饱和度，因此饱和度提升函数必须最终是“正确的”饱和度提升函数b(Y_ZDR)，即，由于教导了对初始饱和度策略或函数(在一些实施例中，其可能至少部分地在接收侧定义，但是这通常只是在与HDR图像编码信号相关联的元数据中接收到的、在创建侧的两个参考等级之间的最优饱和度处理的规范)的修改，因此必须使用所谓的最终提升函数(其对应于新的情况、特别是新的计算配置拓扑的规范)。

图5B示出了在(与其对应的编码或显示器的)归一化亮度色度色域510中的两个连续的颜色变换的操作，即，第一变换T1进行例如亮度增加，然后T2进行例如饱和度减少(对于解码器或编码器来说，这可能是将较高动态范围图像改变为较低动态范围图像的典型的颜色转换，例如，需要进行饱和度降低以将晴天的室外的像素挤压到色域中；对于进行SDR到HDR颜色变换的解码器，可能首先进行归一化亮度减少，并且然后饱和度提升)。

类似地，图5C示出了替代实施例，其中首先由饱和度处理单元521执行(预)饱和度处理，然后由亮度变换单元522执行亮度变换，从而在该示例中再次产生所要求的HDR颜色(ColHDR)。设计这样的优选解码拓扑可能是有原因的。应当注意Y_XDR的直接链接。图5D在归一化亮度/色度色域530中示出了该处理顺序将如何首先进行(预)饱和度(变换Ta1)以校正饱和度位置，然后进行期望的亮度变换(Ta2，例如解码器将针对该亮度变换Ta2得到亮度变换函数形状，如由例如人类分级员或自动分级员在创建侧所确定的，并且该亮度变换函数形状作为例如LUT Y_out＝F[Y_in]被传送)。现在示出了用于针对SDR亮度导出对应的归一化HDR图像亮度的典型处理，即，(在相同的色域菱形中示出的)归一化HDR亮度将更低。饱和度的位置已经是针对该HDR亮度的正确位置(尽管色品定义在此菱形色域中)。

实际上，考虑到通常的解码教导，技术设计师可能会认为这涉及图6中示意性示出的内容。在图6中，存在一种示例性的HDR场景图像(+共同传送的SDR分级)传送技术，该传送技术的类型为将HDR图像实际上作为SDR图像加上用于根据接收到的(多个)SDR图像计算HDR外观图像的函数F_ct的元数据进行传送，即，对与在创建侧(HDR_in)的主HDR图像相同的HDR图像RecHDR进行重构，除了可能由于量化、DCT编码、二次采样等导致的舍入误差。编码器600的亮度变换单元601将应用一些特定的亮度映射函数(例如，LUT F_L[Y])，如由例如该电影的人类分级员所期望的(或针对现实生活的电视节目正常工作的)。所得到的图像(SDR)中的输出亮度为SDR亮度(即使这些亮度以相同的归一化色域(即，Y_max＝1.0)表示)。这些颜色的色度并且特别是饱和度可能不是正确的，例如，在一些(中间)颜色表示中，这些色度可能是可以在编码器中表示但不能在兼容的YCbCr编码中表示的值(或者这些色度不具有可实现的RGB值，例如，某些像素可能具有负的R值，但是在某些中间计算实施例中仍然可以完成)。饱和度处理单元602被布置为通过所选定的饱和度修改函数b(Y_SDR)来如所期望的应用饱和度处理(这可能会在艺术上产生更好的颜色，和/或将颜色中的一些带入RGB色域内)，该饱和度修改函数b(Y_SDR)针对每个可能的归一化SDR亮度Y_SDR对饱和度乘法器进行编码。这产生了最终的、完全正确的SDR颜色(ColSDR)，这些SDR颜色(ColSDR)准备好用于视频压缩，以及通过某种传输技术610(例如，视频传送电缆或互联网连接，或用于显示例如在超市中预先存储的广告的专有视频网络等)进行传输。连同具有针对像素的SDR颜色(例如，典型的以YCbCr表示，尽管等效的表示形式(例如，直接RGB编码)可以等同地使用，只要对那些计算出的SDR颜色进行编码即可；例如，10位的HEVC压缩图像)的图像Im一起，将两个颜色处理函数的反函数(INVF_L和INVb)编码为元数据，以供解码器605直接使用。

解码器的饱和度处理器603将该反饱和度函数INVb应用于接收到的SDR图像(Im)的SDR亮度(Y_SDR)，从而产生具有已经校正的预饱和度的SDR图像(R_SDR)，以便随后成为HDR图像(如果将该SDR图像(R_SDR)用作在SDR电视或显示器上绘制的SDR图像，则像素的饱和度可能看起来不是最优的，因为它是中间图像)。随后，亮度变换器604利用反亮度映射函数INVF_L将SDR亮度转换为对应的HDR亮度，由此创建RecHDR图像。

该操作在图6B的菱形色域中示出。细线示出了编码器的操作，从而对HDR主图像进行SDR等效分级，并且粗线示出了解码器如何利用反函数几乎完美地反转该颜色操作，从而在接收者的RecHDR图像中产生基本上为创建侧的原始HDR图像颜色。所有这些都可以在任何动态范围Y_XDR的单个色域中示出，因为各种动态范围颜色可以在归一化色域中示出为已移动的对应颜色位置。

因此，这似乎是处理HDR图像的理想系统，而且确实如此，这也是申请人最初设计并且在多种HDR内容上在内部和外部使用的方式。然而，这混淆了问题。如果仅涉及一对(仅2个)分级(例如，仅需要根据接收到的SDR图像对原始的例如5000nit的主HDR图像进行重构的HDR绘制系统)，这是HDR处理的理想方式。如果如上面所提到的添加以下迫切需求，即有些观看者将不会在5000nit的HDR电视上观看其接收到的5000nit的电影，而是例如在2500nit的户外宣传面板(MDR显示器)上观看，则经过大量测试后，会发现问题，因为该问题不会立即显示出来。如所述的，该系统(例如，该户外面板)需要进行至少一些亮度分配以获得要在该面板上绘制的亮度。最好不要去掉2500nit以上的所有亮度，因为这样例如明亮的天空中的所有云朵可能会丢失。将5000nit编码白色转换为2500nit的显示峰值明亮度的仅线性亮度压缩可能也不是最优选择，因此必须应用一些更智能的优化方法。通常，会有一些亮度变换，这些亮度变换本身显示为颜色的偏移(即使这些颜色以HDR颜色而不是SDR颜色出现，即在接收侧降级为SDR)，其可以在如图5B或图6B所示的色域图中示出。

在进行深入探讨之前，最好以稍微不同的方式对待色域(即，基于色度的色域(其中圆柱体壁从黑色向上))，因为这样能够澄清菱形下部与上部之间的差异。尽管菱形色域形状是典型的技术图像和视频颜色表示中的一种，但是基于色度的颜色空间是指示理想情况下应该是哪种颜色以及在处理时会变为哪种颜色的一种更自然的方式。尽管颜色的色度可能会随亮度的增加而增加(例如，跟随菱形色域的下端的原色红色)，但下部中的颜色的饱和度可能会随着亮度的增加而保持不变(这对应于利用更多的光以一定的固有(因此为固定的)饱和度照明场景对象的自然原理)。这在图7中示出。这种亮度/色度色域(其改变了朝上的锥形，从黑点向外将色域的下部中的色域边界移动到圆柱体壁中，针对该编码或显示，该圆柱体壁可以等同于最大饱和度s＝1.0)对于显示实际问题是有用的，即，其中色域的上部(靠近白色)只能容纳有限的饱和颜色，或者换言之为柔和的颜色。尽管如此，对于较高的动态范围色域和较低的动态范围色域两者(即使在像SDR这么低的情况下)，若干HDR场景可能包含可制造的颜色，这是像素的饱和度问题可能会在一段时间内不引起注意的部分原因。示出了针对HDR主图像(HDR颜色云701)和较低动态范围的对应图像(MDR颜色云702)的实际图像颜色云，如果期望在两个显示器上显示相同的最终绘制亮度，则在理想情况下该实际图像颜色云对应于较高的归一化亮度(Y_norm)，但色度和饱和度相同(即，颜色的位置在色域中间指向远离无色轴)。最关键的问题将出现在色域的尖端，其中色域变薄，并且只能包含白色和接近白色的颜色(对于若干HDR图像，这不一定是问题，因为这可能是通常为白色的灯光和镜面反射驻留的位置)。但是对于较深的颜色，理论上可以存在针对SDR、MDR和HDR图像像素的具有适当色度的一些解决方案的事实并不意味着在实践中对于所有处理系统的计算都将被立即校正。即使在MDR图像中仅有一点错误，颜色仍然可能是错误的。

必须利用图7解释另一重要的背景概念，以使读者更好地理解后面的教导。如所述的，在MDR亮度Y2与HDR亮度之间的亮度映射可以是任何复杂的函数，例如，Y2＝a*Y1^3+b*Y1+c。但是，无论从Y1到Y2的映射(反之亦然)如何，从概念上讲，可以将该映射看作是利用某个值A的乘法缩放。A当然不是常数，而是对于所有可能的Y1值都是可变的，其中A值取决于所选定的亮度映射函数(即，A(Y1))的实际形状。同样，如果从SDR到HDR的映射对应于(对于Y1的某个值，例如，0.05)例如A＝0.1，则从逻辑上讲，到MDR亮度之间的任何值的映射将具有(即，针对HDR到MDR_500的映射)一些强度较小的乘数，即，对于小于1的乘数，则使用较高值的乘数，例如，A’＝0.4。应当注意，由于各种原因，考虑到显示器能力与当前图像内容需求之间的最优相关性，在具有各种可能的调整场景的情况下，这些中间的提升或调光可能相当复杂，但是该专利申请的一般要点是，对于给定的调整情况(例如，MDR峰值明亮度)，始终可以针对所有可能的起始亮度(无论是SDR亮度还是HDR亮度)来指定缩放因子A’的集合，以计算例如Y_MDR＝A’*Y1。技术人员从教导中不难理解并实现这一点：一旦具有HDR亮度与MDR亮度之间的重新分级函数(例如，如由人类分级员在创建侧为提供良好的视觉效果所创建的，并且作为SEI消息被传送)，就可以计算将其计算为乘数A(Y_HDR)的集合并在亮度处理IC部件中例如作为LUT来实施。关于亮度映射函数的显示调整也没有特别的问题。就本发明的一般原理而言，读者可以假设(按照图16)在PB_D位于100nit与主HDR分级的PB_C之间的中间位置的情况下，该函数会通过HDR到SDR参考亮度映射曲线F_L_h2s的任何Y_HDRx坐标位置的y坐标与对角线之间的中点，并且对于其他PB_D情况(例如，PB_C的90％＝4000nit)是类似的，并且对于显示调整的更高级的可能性，如果需要则可以查阅例如WO2017108906。并且，在希望使用自身的显示调整原理的情况下，读者应该具备将其数据转换为最终F_L_HDR到MDR或F_L_SDR到MDR的知识以便在框架中使用。因此，可能认为亮度映射LUT也可以指定为包含这样的乘法器的LUT，这将使图像颜色的云向上或向下移动，但是典型地以不均匀的方式进行(其中例如，图7中的云的顶端明显地被垂直挤压，但底瓣保持例如相同的大小和形状，这是为阐明而绘制的简单示例的一般情况，为简单起见，这仅仅是云形状的转换)。

仅一个示例将给出这样的想法：对亮度映射的这种乘法视图如何更容易地理解可能的调整算法，以用于根据SDR亮度或HDR亮度得出MDR亮度。假设较低的HDR颜色位于垂直高度Y＝0.1(或以1/10为单位的1)。SDR亮度Y2为0.5，因此，可以通过将HDR亮度乘以A＝5来根据HDR亮度计算出SDR亮度(或者类似地，可以通过将接收的SDR亮度除以5来重构HDR亮度，如图6所解释的)。MDR亮度将位于某个中间位置。对于最简单的调整实施例(假设将在类似的情况下(即典型的夜间观看电视的环境)具有两个不同的显示器，因此，为了阐明而忽略了可能还需要处理环绕照明和观看者适应性的所有调整专业技术)，中间位置将取决于MDR显示器的峰值明亮度(PB_D_MDR)，即，该中间位置落在可能的显示峰值明亮度的范围内，该范围介于最小的100nit与在另一端上的(多个)接收到的图像的可重构HDR图像的峰值明亮度PB_C_HDR之间。

如果HDR到SDR的乘法使SDR归一化亮度调暗了5倍，则可以使用例如一些幂函数，以得出用于HDR到MDR计算的A’，即：

如果要向具有HDR PB_D＝PB_C_HDR的显示器提供经调整的MDR图像(其之后应当为HDR主图像)，则可以对A’＝power(A，F(PB_D_MDR))进行统一变换，其中F(其典型地预先固定在系统中，但在某些实施例中，也可以在元数据中传送来自创建侧的选择)为PB_D_MDR的某些函数，并且在MDR显示器恰好连接到SDR显示器(即，其具有PB_D＝100nit)的情况下由分级员确定HDR到SDR变换。确切的函数形状可以用于设计MDR显示器能够多么迅速地开始表现得像HDR显示器那样，而不是随着移动到更高的PB_MDR值而给出更像SDR的图像外观。

例如，将使用正常工作的实施例来阐述以下内容，而不期望由此限制实施例的一般性：

在根据HDR计算MDR的情况下，A’＝A^ap，其中ap＝log(PB_MDR/PB_HDR)/log(PB_SDR/PB_HDR)，(其中PB_HDR是该图像编码的任何PB_C；PB_SDR典型的为100nit)。在根据SDR计算MDR图像时，比照类似的情况为ap＝log(PB_MDR/PB_SDR)/log(PB_HDR/PB_SDR)，其将应用于例如A＝1/5HDR——根据上面的SDR关系示例。例如，ap可以是log(5)/log(10)＝0.7，从而给出仅为0.32而不是0.2的调光，以根据接收到的SDR得出MDR。当然，申请人可以设想并已经开发出起到类似作用的若干更复杂的变型，但是无论如何，这些变型可以被公式化以针对Y值的A值给出一些A’，即，由此针对某些HDR场景的HDR与SDR分级之间的任何可能关系(即，A[Y_SDR]值)，实现经调整的情况的各种重新分级。

因此，这将实现显示调整输出，即，当获得SDR输入时，亮度变换器604将应用A’-LUT亮度变换函数而不是A-LUT来获得MDR图像(而不是经重构的HDR图像)。

然而问题是：饱和度现在还适用吗？可能已经由饱和度处理器603完成了处理，其中期望可以计算像素的HDR亮度，而不是非常不同的MDR亮度。

例如，在YCbCr颜色编码(以及饱和度处理策略)中，Cb和Cr由亮度定义，因为它们被定义为随亮度增加的非线性RGB坐标的差值。但是即使在基于色度的视图中也可以看到问题，该问题在图8中更清楚地说明。即使饱和度处理是第二处理步骤，在该第二处理块中也无法简单地应用接收包含各种提升/调光因子的sat[Y_SDR]LUT指示。利用图8解释另一种典型的场景，在该场景中接收器获得了经传送的HDR图像作为输入(例如，具有10位SMPTEST.2084定义的照度)，并且该接收器使用函数(F_Lt、F_sat)以针对具有100nit电视的观看者计算最优外观的SDR图像。(已经在内容创建侧)可以看到，如果不应用去饱和度，则仅将HDR亮度(落入斑点801中的图像颜色)转换为更高的(归一化！)SDR亮度(其在斑点802中)，就会创建在计算落入该内容的色域之外的颜色时的问题(其在问题区域ZP中)。作为示例，可以采用图16的霓虹灯标志，对于该霓虹灯标志，在SDR中将饱和的明亮的蓝色(或红色)灯表示为某种程度的不饱和的蓝色并不是那么关键(因为在观看SDR图像几十年后，观看者某种程度上期望灯的这种行为是在指示实际上该对象可能是灯，即使SDR不能真正编码或显示发光对象；并且甚至对于基于可逆SDR的编码系统，只要选择一种明智的去饱和度策略，就可以相当合理地重构原始HDR霓虹灯颜色)。色域外问题可以通过应用具有(SDR)亮度相关函数b(Y_SDR)的乘法饱和度提升(实际上在这种情况下是衰减)来解决(完全地解决或至少部分地解决，根据技术或市场要求所期望的)。读者还应该理解，任何实际的场景图像通常可能仅包含一个这样的关键对象(也许只有一个霓虹灯标志，并且所有其他像素都相对“容易”重新分级)，与必须同时处理所有色域问题的情况(对于这样的非常罕见的图像，实际上可能还是会决定要进行一定数量的颜色错误处理)相比，这可以放松技术。可以看到，在该HDR场景的图像斑点下方并且针对其最下部(仅具有高度不饱和的深色)，可以使用b＝1.0。对于饱和度较高的部分，即斑点部分向左突出，需要应用衰减的提升(例如，线性地从1.0下降到0.3)，使得然后SDR斑点802的颜色将很好地适合色域的尖端。

然而，如果想要对已经在MDR相对亮度范围内的颜色应用(后)饱和度(即，已经计算出MDR亮度，其将落入803斑点中，而不再是801斑点)，因为已经应用了亮度映射函数，因此不应该针对颜色Cx为该相对亮度高度应用饱和度提升，因为该相对亮度高度将会太小，从而导致太多的不饱和度。在此示例中，应采用的系数是1.0。已知该MDR斑点用作输出图像，即，类似于根据HDR输入图像计算出的SDR图像。还已知，针对该示例性解码器，编码器已经生成了亮度映射函数F_L和饱和度提升函数，该亮度映射函数F_L用于将HDR亮度映射到SDR亮度(现在使用的用于映射到MDR亮度的显示调整)，该饱和度提升函数用于将HDR色品去饱和度到SDR色品(现在变换成不同的饱和度函数)。并且在该示例中，将在编码器的亮度映射的归一化输出亮度位置(即归一化SDR亮度)的范围内定义b函数。因此，可以将斑点803视为SDR斑点，并且可以找到其相对应的低于斑点801的HDR斑点亮度。因为这两者——即MDR斑点和更深的HDR斑点——之间的映射都将位于色域的圆柱体部分内，可以确保(针对该bx位置的)b函数值为1.0。

为了确保读者没有误解，在图17中已经添加了另一示例。在该情况下，斑点801的颜色(仍然假设从HDR图像传送模式开始，因此在编码器和解码器处的处理相同)现在是如此明亮，以至于至少部分地驻留在色域的尖端中。这不仅具有由参考亮度映射F_Ls2h挤压的SDR斑点的饱和度更小的效果。而且，由某些显示调整后的亮度映射函数F_L_da(其可以具有示例以外的其他形状，但始终会在亮度范围内实施向色域顶端的挤压)根据接收到的HDR斑点计算出的MDR斑点803颜色现在显然需要去饱和度，因为如虚线斑点803所示，保持相同的饱和度在某种程度上将导致色域外问题(尽管在不需要进一步的计算的前向显示调整处理的情况下要求可逆性，但是如果某些颜色确实被色域裁剪，则这不是根本问题，但如果可以避免，则应该优选地不被裁剪)。因此，要计算所要求的去饱和度以将输入的HDR颜色斑点801变换为合适的斑点803，可以通过将所传送的(即未显示适应的)参考亮度映射F_L_s2h应用于MDR斑点803中的任何亮度Y_MDR以获得相关联的HDR斑点1701中的对应Y_HD，来确定另一个(第四)亮度Y_HD(其为HDR亮度)。该位置在最初传送的B(Y*n)_ini的提升值函数上产生了0.8的去饱和度值，即，应该将HDR颜色去饱和度为SDR颜色而不是MDR颜色，并且对于(在先前的亮度映射子块中已经完成相对亮度定位之后)从输入HDR斑点801获得MDR斑点803所需的去饱和度的量来说，效果出奇地好。当得到可以从概念上重新解释MDR块(尽管请记住，对于技术人员来说，这些是完全不同的颜色！)，就好像该MDR块是恰好在那里的SDR颜色块一样的见解时，也许并不令人惊讶。对于该情况，F_L_s2h的创建者将保证具有这种亮度和极高饱和度的这种颜色将很好地映射到其对应的“SDR”位置，该位置实际上是MDR斑点803位置(因此在该见解后，便可以忘记至少针对该饱和度处理的斑点801和802)。

尽管这可能是理论上的最优选择，但也可以做出其他实际上仍然有用的实施例，从而得出除MDR亮度之外的一些次级HDR亮度。如果像在主HDR图像中那样(并且在该示例中如接收到的那样，但是在SDR图像传送的示例中，如通过再次将F_L_s2h应用于斑点802而不是斑点803而根据SDR斑点802中的SDR像素所计算的)对该对象的像素使用原始HDR亮度Y_H1，则可以得到1/2的值。这可能生成有点过饱和的MDR斑点，然而，该MDR斑点仍然是可以很好使用的颜色，因为一方面不会发生色域外饱和(并且不会期望这发生，因为典型地需要减小函数B(Y*n)_ini以使颜色适合于色域尖端的较紧密的较高区域，如果较低的HDR位置Y_HD良好地工作，则可以预期b(Y_H1)值也应该不会太差，特别是对于典型地出现的HDR颜色中的大多数，因为最明亮的颜色典型地不是关键的灯或镜面高光像素)，并且另一方面，与使用在Y_MDR输入位置(在尚不了解本教导的情况下通常会使用的饱和度提升值函数中的输入位置，因为它来自第一亮度处理部分)上读取的极值1/5相比，这是更好的。

因此，技术人员已经了解到，在使用(作为新的饱和度策略的)该次级亮度作为输入(查找)值而不是主要Y_MDR值的相同原理下，可以根据偏好、根据Y_MDR(或类似地根据SDR亮度经由三者的数学关系)计算出两个可能的次级亮度值中的一个：经由逆显示调整后的亮度映射函数F_L_da计算出原始Y_H1，或者经由F_L_s2h计算出优选的Y_HD，从而实现了用于获得MDR颜色的更好的去饱和度函数。

当不根据不同的中间图像计算极端(即参考)动态范围分级对的结果图像时，同样的方面也将适用，但不适用于不是仅从重构中预期得到的图像(即，共同传送的两个分级中的另一个，例如，根据接收到的SDR预测的HDR，或反之亦然)，而是适用于具有仅在接受侧已知的PB_D的一些MDR图像。

图4给出了申请人的标准化动态范围处理装置400的示例。

该解码器中的输入是经SDR YCbCr编码的(例如，在MPEG解压缩之后)，即，亮度Y’L(实际上为照度，但是其等效于亮度；假设在亮度处理器401中发生归一化到1.0)。这似乎是亮度和色度的并行处理，但实际上由于中等动态范围亮度Y’M的输入，这是在亮度处理之后的色度/饱和度处理(可以看出，如果未在402中经由次级HDR亮度Y’H确定用于获得正确的最终b(Y*n)值的校正动作，则实际重新饱和处理部分(这里体现为乘法器410和411)将使用错误的b函数)。F_sat不会失去其他实施例的一般性，例如应该为包含提升因子b[Yx]的LUT的参数功能规范，其中Yx是归一化的亮度(并且应当注意，因为在401(在该说明性示例中，其通过将F_L_s2h函数而不是F_L_da函数作为F_Lt加载到401的LUT中而将SDR输入照度Y’L转换为HDR照度，以使得其在正常参考SDR到HDR的情况下运行)的亮度处理之后应用Yx，尽管起初认为Yx在示例中与HDR颜色相关联，但是实际上可以将其视为一般/唯一的归一化颜色，这就是为什么还引入了标记Y*n的原因，更不用说通过使用本专利申请中教导的原理)，即所有可能的亮度介于0到1.0之间，典型地采用某种子采样精度。但需要明确的是，b[Yx]输入的LUT将是根据输入的SDR颜色而不是MDR颜色得出HDR的原因，因为通常仍然必须由单元402得出正确的MDR LUT或色度处理策略(乘法器不在乎发生了什么，只需要向它们提供正确的值即可，即，至少给出合理的图像，即连续输入像素的每个Y’L的b值)。

现在，如果亮度处理器输出了HDR重构的亮度(即，Y’M＝Y’_H)，则可以简单地实现饱和度(因为这将在经重构的HDR颜色表示中发生，这也在用于确定最优HDR到SDR转换的饱和LUT的编码器侧使用)：

(R’out–Y’_H)＝b(Y_H)*(R’in–Y’_H)，并且类似地适用于G’和B’，或者由于：

Cb＝(128+)a*(B’-Y’_H)

Cr＝(128+)b*(R’-Y’_H)，其中a和b常数取决于编码系统的比色法(并且常数128用于具有8位表示的示例性实施例，其中类似的常数用于例如10或12位)，即，例如Rec.709原色，还可以将饱和度写为由乘法器410和411执行的Cb和Cr与适当的b(Y_H)的乘法。连同作为Y’H的Y’M，仅为了HDR重构，输出色品Cb’M和C’rM能够提供正确的HDR图像像素颜色。

然而，对于MDR图像计算，饱和度因子确定单元402中的输入404将不提供适当的缩放因子。

需要次级信息，以便能够确定用于MDR颜色计算的正确的饱和度乘法因子。在该实施例中，该次级信息将是输入405上的HDR亮度Y’_H(其是亮度处理部分完全不需要的，但是色度计算部分所需要的)。

因此，这是通常需要的首先阐述的示例(与在图8中对色域的解释一致，其已经形成了本发明的典型实施例的算法上足够的规范，但是在这里以典型的IC计算单元拓扑对其进行了描述)：而正常饱和度计算(如果尚未对所有Y*n使用常数因子b的话(其为计算不同饱和度视频颜色的常用方法))充其量取决于单个亮度(即，正在处理的颜色的亮度)，即使最终饱和度仍然由乘法器410和411应用于单对色品上，现在仍基于两个亮度确定适用的(最终)饱和度(下面是更多示例性实施例)。

以数学方式，这可以写为：

(R’out–Y’_H)＝b(Y’M，Y’_H)*(R’in–Y’_H)等，或其他颜色表示中的类似公式，或其他饱和度处理确定(已经删除了因子F_sat，其为从创建侧传送的期望的饱和度行为/配置文件)，因为该原理也可以被应用到例如计算不同亮度动态范围的图像的装置的颜色计算实施例，其中接收侧确定其自身的用于色度或具体地饱和度处理的策略，但是再次基于针对被处理的像素的两个亮度值。换言之，饱和度因子确定单元402将确定b*_out(Y*n)＝G(b_in(Yx)，Y’_H)，其中Y’_H是可以根据Yx＝Y_MDR计算出的，并且G函数如所解释地获得斑点上的对应所需饱和度，但是现在从Yx＝Y_MDR而不是Yx＝Y_HDR开始。如下面将变得显而易见的，在实践中存在实现相同的目的的两种等效的方法：一种方法计算新的x位置以从Y_MDR位置开始查找b(Yx)，或者一种方法等效地计算对应的重新计算的b*(Yx)函数形状，使得可以直接读取用于乘法器的正确的b值，但是然后是由亮度处理器401计算出的初始Y_MDR位置处的b值(技术人员将理解，仍然需要关于相同的Y’H值的知识)。不需要深入研究复杂的比色细节，某些变型(例如，下面的基于V-Y的变型)在实际实现中可能更优选一个选项。

进一步示出的是可选的颜色转换器412(其不是本申请的核心部分，仅出于完整性的考虑)，该颜色转换器412用于确定显示器期望的的颜色表示，例如，根据适合于将HDR信号传送到显示器420中的一些非线性OETF所指定的R”、G”和B”(可以存在各种方式，但是那些细节与这里的进一步研究无关)。注意，从输入亮度Y’L到单元402的虚线输入连接(箭头)指示要应用的最终饱和度(b)可以根据例如作为归一化索引输入到提升值LUT的SDR输入亮度、或者根据已经计算出的MDR亮度(Y’MDR)两者来确定，因为根据相同的基本技术原理(并且根据例如针对解码器的颜色处理部分做出了哪种技术选择)，这将仅涉及最终饱和度提升函数的不同计算。

图9以比色法示出了发生了什么。如果进行了纯HDR重构(即，还没有生成显示调整后的MDR图像)，则会发生以下情况。图像颜色的云，并且特别是饱和颜色(例如，女士的饱和蓝色连衣裙)在编码/发送/创建侧将是斑点901。依然在编码侧，例如人类颜色分级员确定云902将是外观最佳的SDR等效颜色。和以前一样，相对亮度较高，因为它们需要以比HDR显示器低的PB_D_SDR(典型的为100nit)显示在显示器上。理想情况下，色度应该相同，但这是不可能的，因为具有相对SDR颜色的云落在色域的窄的尖端中。因此，分级员已经选择了适当的饱和度调光Dx。实际上，可以为所有可能的Y’传送函数Dx[Y](记住，以这样的方式定义了编解码器理念：可以仅基于单调亮度函数F_Lt(作为可传输的)执行SDR<>HDR重新分级以及介于两者之间的任何操作，至少就明亮度行为而言与重新分级有关；因此，可以想象与此相对应地，可以定义对合理/最优的色度重新分级行为进行编码的类似Y相关函数)。传送逆(倒数)饱和度提升函数Rx[Y]可能更好，但这是实施方式细节。

解码器现在首先对接收到的SDR颜色进行亮度调整(注意，在该示例中，现在谈论的是接收到的归一化SDR颜色)以获得经适当拉伸(或有时为压缩的)的HDR颜色的云(云903)，但其尚未具有正确的色度(因为仅针对任何颜色执行了亮度处理(即，与A的乘法)，所以仍然具有接收到的SDR图像像素的SDR色度(注意，与该色度视图中使用的色度不同，色品会随亮度缩放，并且实际上，将1/b[Y]视为函数(1/Y_SDR)*bb[Y]通常很有用，后面的分量定义色域尖端行为))。通过接收饱和度提升函数1/b[Yi](在左侧给出了示例)，接收器/解码器现在可以针对像素的任何可能的亮度Yi应用正确的饱和度提升Rx(Rx＝b[Yi]，例如b[Yx]用于斑点的饱和颜色)。

然而，假设解码器现在确定了最优的MDR图像亮度(并且希望使用该计算拓扑，但是很明显，所有正确的函数都已被输入和/或确定)，然后斑点904将产生正在处理的图像中的所有颜色。明显地，如果希望MDR颜色看起来与HDR颜色相同(即，具有相同的色度，并且不会变得更不饱和，或者不会在其他情况下变得更饱和)，则需要应用相同的Rx因子，但是现在恰好具有亮度Yz的像素。或者不同地表述，不能使用提升因子b[Yz]，因为在该示例中颜色将变得太不饱和(或者通常是错误的)。需要以某种方式知道b[Yx]，或者换言之知道Yx(将在下面详细说明，存在实现通用原理的若干种实施例方式)。另外，可以基于这一原理来构建更复杂的饱和度处理，例如，考虑到针对色域使用优化的一些颜色误差。技术人员将理解这与上面解释的内容之间的相似之处，但是现在变换为一种系统，该系统在一方面从SDR输入开始工作，并且在另一方面在基于Y’CbCr的计算拓扑中工作(类似地使用其他教导)。

图10给出了第一类型的另一实施例(解码器中的后饱和，接收到的SDR，在正确的查找条目位置处对b的直接基于亮度的查找，但是现在有了另一种饱和度数学策略，该策略对于动态范围转换非常有用)。此处的不同之处在于，使用另一个量J’来量化像素的明亮度而不是亮度。通过明亮度计算单元1003来计算J’为J’＝max(a*R’，b*G’，c*B’，d*Y’)，其中a、b、c和d乘法常数可以被选择为从头开始是固定的，或者针对给定的(多个)HDR场景图像进行优化，并且从创建侧被传送。申请人已经对这种量以及其色度行为进行了研究，并且发现它们可以在色域中各种可能的色度上用作对恒定亮度的良好近似，但具有用于HDR重新分级的有利属性(例如，简洁性、良好的色域遍历控制行为等)，并且对这种J’明亮度测量的函数可以类似地应用于相关计算拓扑中的基于亮度的版本。例如，如果使用F*_Lt(max(R,G,B))明亮度映射，则控制色域外风险会变得更加容易，然而，可能需要设计不同的饱和度行为，但是关于其高电平属性并且特别是本教导的显示调整属性，该饱和度行为表现得与上面所描述的类似。

然后，明亮度映射器1004将亮度映射函数F_Lt应用于该明亮度变量J’，从而产生针对每个像素的输出明亮度度量J’o。由该实施例说明的另一点是亮度处理单元1001的亮度处理的乘法应用(如图7所阐述的)，即，除法器1005计算乘数A_L为J’o/J。然后，由显示调整单元1009确定显示调整策略，在该示例中，显示调整单元1009计算幂P(该明亮度重新确定实施例的技术也适用于其他调整策略)。最终乘法器计算单元1006通过将A_L提升到幂P来计算最终要应用的乘数A_L^P(目前假设P是固定的，并且是需要针对其计算MDR图像的显示峰值明亮度PB_D的函数；如果P＝0，则将应用等同的变换，因此输入图像和输出图像的相对亮度将是相同的，该亮度对应于服务于具有与输入图像PB_C的编码明亮度相同的显示峰值明亮度PB_D的显示器，并且如果P＝1，则进行全亮度变换以用于恢复两个参考等级中的另一个极端，例如，4000nit的PB_C HDR图像)。适当的MDR颜色(在该示例中表示为冗余四元组，其中也立即计算出Y’M)是通过将SDR输入颜色(R’G’B’Y’_S)与适当的乘数A_L^P相乘以计算所期望的MDR图像而获得的，该乘法过程由乘法器1007执行。有趣的是，亮度处理单元1001的另一输出是乘数A_L被提升另一个幂，即A_L^(1-P)。

图11中示出了是什么使其有用。如果例如HDR亮度1101和SDR亮度1102通过为乘法因子A(例如，10)的变换来链接，然后如果MDR亮度1103经由乘数A^P(P<1.0)与HDR颜色相关，则以下条件适用：通过使用因子A^(1-P)，可以根据MDR亮度而不是SDR亮度来计算HDR亮度。

感兴趣的是，这种行为不仅适用于(线性或非线性的)亮度，而且还适用于其他一些亮度相关的变量。返回图10，饱和度处理单元1002不应用策略Cb_out＝b[Y]*Cb_in。其基于可以针对色域中的所有颜色计算的量(称为V’-Y’)来确定要应用的饱和度提升，该V’-Y’由最大值计算单元1011计算为三元组(R’-Y’，G’-Y’，B’-Y’)的最大值。为了完整起见，应当注意，尽管利用实用的非线性R’G’B’(大约为线性R’G’B’的平方根，因为SDR图像典型地根据Rec.709OETF进行编码)阐明了本实施例，但该原理也适用于线性RGB和V-Y，并且甚至在最大值计算中使用了加权输入。在基于max(R’G’B’)值策略执行亮度映射的情况下确定饱和度常数，取决于该饱和度常数，色域中某处的颜色的V’-Y’值(而不是仅其亮度值)具有使颜色去饱和度的感兴趣的属性(尽管这仅是本发明的实施例细节，但是为完整性起见，在读者想要了解有关该技术的更多细节的情况下，请参考WO2016055178)，但是再次强调，该值应该为适当的V’-Y’值，该值也用于显示调整情况。在V’-Y’值在针对MDR图像(而不是例如5000nit的经重构的HDR图像，针对该经重构的HDR图像，b[V’-Y’]将给出适当的饱和度提升因子)的先前(亮度映射1001)阶段被确定的情况下，将饱和度应用于该V’-Y’值，并且将该V’-Y’_MDR索引输入到提升因子计算器1013中的F_sat LUT中将再次给出错误的饱和度提升，以及例如过饱和的暗色(确切的错误取决于F_sat函数的形状)。注意，在编码器侧上没有问题，因为首先在HDR归一化亮度颜色表示上确定正确的饱和度函数行为(Fsat或b[])，并且然后执行到SDR参考图像的亮度映射。

因此，(在解码器侧，针对显示调整后的MDR图像的PB_D相关的计算)必须确定值(V’-Y’)_c，该值是用于进行查找的校正后的V’-Y’值(即，在通用表达方式的实施例中为第二亮度值，也参见下文)。然后，这将给出正确的增强因子，以用于最终针对MDR图像像素颜色获得正确的输出色品Cbo、Cro(颜色转换器1014根据亮度处理阶段的MDR像素R’G’B颜色分量来计算输入色品Cb、Cr)。技术人员可以看出，由乘法器1012将(不正确的)MDR V’-Y’值与其余的乘法值A^(1-P)相乘将重新获得对应的正确的HDR对应的(V’-Y’)_c值(这是代表在编码侧定义的最优b函数的SDR和HDR参考颜色对的HDR亮度；即通用概念的次级亮度值，第一亮度是正常亮度Y’_M，除了进入饱和度处理之外，其还连同Cbo和Cro一起用作三种输出颜色坐标之一)。并且b因子确定也将典型地取决于P因子(在该实施例中，P因子为第二亮度的值表示)，因为色品的处理需要随着其亮度而缩放。例如，可以典型地使用：b＝F_sat[(V’-Y’)_c]^P。感兴趣的是，A_L^(1-P)值在这里用作HDR亮度(在无色轴上)的等效值，并且类似地能够针对V’＝max(R’，G’，B’)值或V’-Y值(Y’是色域中任何像素颜色的照度)针对任何特定色度来缩放这三种坐标，因此，这再次与如图4的更通用的示例中所示的Y’_H的额外输入相对应，尽管现在已经在J’/V’-Y’颜色处理框架中计算了比色法细节。

因此，除了正确的索引位置之外，LUT的内容还可以取决于中等动态范围情况，尤其是取决于L_MDR。

图12示出了具有显示调整能力的另一HDR图像或视频解码器实施例，并且现在首先进行饱和度处理，并且然后是亮度调整(针对归一化的正确饱和的颜色的最终正确亮度确定)，而不是如之前所解释的相反顺序。输入Y’SDR以及SDR图像像素的Cb和Cr色品分量(当获得Y’CbCr归一化的HDR颜色作为输入时，电路可以在向下分级模式中类似地工作)。可能已经可选地针对像素的颜色调整了SDR图像的亮度，其中校正取决于Cb和Cr(以使图像具有更好的艺术外观)，因此，在该情况下，必须由色度贡献计算器1202和加法器1201(其将a*Cb+b*Cr与Y’SDR相加)来撤消这种操作。结果将是像素的真实SDR照度，即，经由亮度映射可以轻松地与对应的HDR亮度(或照度)和MDR亮度相关的SDR照度。

饱和度提升因子计算器1203取决于索引Y(其为Y’CL值)以及其饱和度函数形状(其为Y的函数，即，编码侧确定并传送的b函数形状)来计算针对该当前像素颜色适用的饱和度提升因子。由乘法器1204将SDR输入色品与该b值相乘，从而产生针对MDR图像情况为正确的输出色品Cbo、Cro(参见下面的比色法解释)。这两个色品Cbo、Cro进入颜色转换器1205，以得到归一化的(亮度无关的)非线性R’G’B’分量，即R’/L’、G’/L’和B’/L’。然后，所需要做的就是利用乘法器1207将R’/L’、G’/L’和B’/L’与像素的适当亮度L’_HDR相乘，以获得正确的HDR R’G’B’值：R’G’B’_HDR(该装置可以这样表述，使得这些值可以在某个值定义中(例如，0-5000)，或者仍然在0-1.0表示中，但是重要的是，与(相对)SDR亮度相比正确地设置HDR相对亮度)。通过由亮度变换器1206执行的某些处理，再次根据SDR亮度来计算HDR亮度L’_HDR，这在实践中可以是一系列有用的函数(转换为在感知上均匀的域的转换函数、然后是粗略区域间对比度控制函数、对象精细分级函数等)，但是再次出于解释的目的在这里假设输入Y’CL和输出L’_HDR只是由一些(可变的、Y’CL相关的)乘法因子A链接的。

现在感兴趣的是，可以以各种方式在不同的实施例中使用针对动态范围转换过程的饱和度处理的两个相关的亮度值。

第一种方式是直接使用第二亮度：作为用于查找b值的正确的x坐标(即，如图9所阐述的：使用次级亮度位置Yx而不是主要位置Yz作为MDR图像的亮度；或者如图4所阐述的：使用次级亮度Y’_H，而不是根据SDR到MDR亮度计算通过输入404传入的主要亮度)。然而，实现相同目的的另一种方式是重新计算饱和度提升函数b[Y]，然后可以直接通过第一亮度对该函数b[Y]进行索引(但是饱和度处理方法将仍然需要次级亮度，以便能够计算该新的b函数形状)。然后，这也将利用次级亮度来完成，因此总的饱和度通常仍然取决于两个亮度。

图13对此进行了说明。

如所述的，在三个亮度之间将存在关系：(在图12的先前示例中)接收器用作输入的SDR亮度SDRY、遵循与接收到的SDR分级图像相对应的主HDR图像的重构的对应的HDR亮度HDRY(有教导说这两个亮度由在编码侧创建的两个参考图像分级唯一地固定，并且分别对应的F_L_s2h和F_L_h2s被共同传送作为用于相互计算的亮度映射函数；无论在输入图像中接收到哪一个)、以及MDR亮度MDRY(无论是从SDR升级还是从HDR配置降级，均可以通过调整算法进行计算并且与F_L_da相对应，并且如所解释的，F_L_da函数可以分别基于F_L_s2h和F_L_h2s函数得出)。该图阐述了在SDR色域尖端中所需要的挤压(由于归一化HDR颜色将需要在一定程度上变得相对明亮才能成为SDR颜色，因此在色域内进行映射需要一定的饱和度降低，尤其是针对基于使编码器的HDR到SDR颜色映射反转而工作的HDR图像通信方法)。HDR颜色(例如，在整个饱和度范围内)的饱和度将根据所选定的配置文件DSDR(例如，由人类颜色分级员所创建的，或查看所有颜色的统计信息的算法，以及例如红苹果中的某些饱和度裁剪与图像的其余部分的影响相比如何不好等等)降低到SDR色度饱和度。因此，由逆曲线BSDR给出饱和度提升因子b[SDRY]，以获得针对HDR图像像素(其为根据接收到的SDR图像像素所重构的)的正确饱和度。然而，现在的问题是，MDR图像像素需要哪种饱和度？这可以通过b[SDR到MDR]＝b[SDR到HDR]/b[MDR到HDR]获得(在图中示意性地绘制为bSDR/bMDR)。第一个b是函数BSDR中的一个，因为其是两个参考分级情况之间的饱和度改变，这在编码器侧也是已知的。由于HDR饱和度达到了完全范围(即使当MDR将投射到虚拟的较低HDR亮度时)，也可以从BSDR图读取第二bMDR，但是是在不同位置处(由水平虚线所指示)。为了清楚起见，利用数字示例：如果由因子(例如，7)将SDR饱和度提升到HDR(完全)饱和度，并且利用因子3将MDR亮度位置(即，在这样的位置中的饱和颜色)提升到HDR，则从SDR输入亮度位置移动到对应的MDR亮度位置所需要的提升将为7/3。该原理将产生Bcorr函数，该Bcorr函数可以直接在SDRY定义的色品与MDRY定义的颜色之间应用。

读者看到，这再一次遵循了(如所声明的)新技术的通用表述：想要正确的最终饱和度函数Bcorr，该函数Bcorr将SDRY作为LUT输入(因为这是从输入图像得到的亮度，并且属于输入Cb和Cr值，以通过新的饱和度策略被正确地饱和以获得MDR输出颜色，并且SDRY是通用原理的第一亮度)，但是为了能够确定该正确的Bcorr函数，需要次级亮度HDRY，以读取用于确定Bcorr所需要的b[SDR到HDR]值。

由于最终这仅取决于各种可能的颜色值(即，SDRY连同该输入颜色的色度一起确定整个关系)，因此可以由饱和度函数确定单元1220针对所有可能的SDRY值和最饱和的可能颜色计算一次。因此，技术人员应该理解，尽管新框架被设计为通用的，并且一般能够与多种显示调整专业技术一起工作，但是一旦在例如电视中定义了策略，则根据接收到的F_L_s2h函数形状唯一地定义F_L_da函数形状的得出，并且因此SDRY、MDRY和HDRY这三种亮度将从该三种亮度中的任何一个开始被唯一确定，因此用于得出Bcorr的所解释的方法是唯一定义的(该示例也可以用对应于如上所述被解释为SDR颜色的MDR颜色的更深的HDR亮度来表述)。

一旦(预)加载了该Bcorr函数，解码器1200的其余部分就可以利用正确的颜色处理数学算法在像素进入的时候逐个像素地进行处理。仅当例如在新的HDR场景的新的少量图像开始时重新分级技术改变的情况下才需要重新设置该情形(例如，当演员从室内移动到室外场景时，分别在HDR参考图像的较暗图像区域与SDR参考图像的较明亮图像区域之间需要不同的关系，即，新的F_L_s2h——以及同样典型的新的b[HDR到SDR]——这将重新开始由单元1220进行的上述计算，并且在该新场景的第一图像的第一像素需要改变为MDR颜色像素之前具有加载到1203中的新的Bcorr LUT或者一般的饱和度计算算法，因此可以针对当前正在处理的像素的亮度或照度Y_in_pixel建立b＝Bcorr[Y_in_pixel])。

利用图14，想要阐述基于双亮度的饱和度处理的最后一个示例，该示例在显示调整图像动态范围重新分级中也很典型。图14A示出了两个亮度映射函数。在MDR显示器的观看环境和显示黑色的能力与用于创建主HDR分级图像的参考显示器的观看环境和显示黑色的能力基本相同的情况下(即，至少就最暗的图像颜色而言，需要进行调整，并且可以显示如编码端所看到的那样的正常的HDR图像)，函数1402在其中接收器得到HDR输入图像(例如，其具有可能高达最大为PB_C_HDR＝5000nit的图像像素的亮度)并且需要针对例如PB_D＝700nit的MDR显示器计算最优亮度的场景中是适当的。然而，某些不同的接收侧技术因素可能会导致这样的事实：隐藏在黑暗中的犯罪分子在接收侧/观看侧的实际显示器上无法很好地看到。对此的解决方案可能是定义HDR到MDR亮度映射函数，该函数考虑了接收侧的不同实际黑色情况，该函数为第二亮度映射函数1401。该第二亮度映射函数1401针对最暗的图像颜色具有偏移量，例如，针对最暗的可编码颜色的DEL(注意，颜色和函数实际上并没有经过零，而是经过了小的亮度值，例如，0.0001nit)。因此，可以说函数1402是接收到的F_L_h2s函数(也可能有PB_D相关的显示适配，但是最简单的变型仅校正最暗的颜色，从而实现F_L_h2s中指定的针对较明亮颜色的HDR到SDR映射)，并且函数1401将是在接收侧计算的HDR到MDR亮度映射函数(现在不仅取决于显示峰值明亮度PB_D，而且在该示例中主要取决于最小可辨别黑色MB_D，在这里假设其等于DEL)。

现在的问题是，如果使用了例如图4中的处理(即，具有亮度相关的饱和度计算，但是不具有饱和度因子确定单元402的适当智能设计的算法)，则(单元401中的亮度处理的)输出亮度除以近似为零的输入亮度所得到的乘法因子(由于偏移DEL，所以与零有很大差异)将非常高。因此，乘法器410和411还将饱和度提升了过高的提升因子b，从而导致太过饱和的深色，并且总之是难看的MDR图像。

在图14B中示出了单元402如何可以更好地表现。在不进行黑色调整的情况下(即，根据函数1402计算时；亮度范围的较暗部分中只有两种示例颜色)，颜色1411和1412是两种MDR颜色。颜色1413和1414是通过将函数1401应用于对应的HDR输入颜色而导致的亮度偏移后的颜色。如果基于两个亮度Yb(具有黑色调整)和Yn(不具有黑色调整)来确定正确的饱和度，即，通过利用等于M＝Yn/Yb的乘数来校正饱和度提升因子，则可以应用该正确的饱和度。接收到的饱和度函数(F_sat，或换言之b[y])是理想情况下的函数，在该理想情况中对于与接收到的输入图像编码相对应的参考显示器的黑色而言很理想的接受侧显示器的黑色将乘以该因子M，以产生用于生成该特定所需的MDR图像的正确的饱和度处理。再次强调，这是符合所表述的一般原理并通过上面的其他示例例示的实施例。现在考虑到，较暗颜色的色品将落入色域的圆柱体部分，但仍需要按正确的Y值进行缩放。无论在编码侧选择了哪种饱和度改进b[Y_SDR](例如，如果在亮度映射之后由降级编码器和解码器应用了饱和度映射)，都应利用Y_MDR对其进行索引，此处Y_MDR是通过以量DEL移动而不是通过使用对应的次级亮度索引位置(Yn)(其对应于图4的Y’_H)而增加了明亮度的亮度。乘以两个亮度的分数是将B_init校正为Bcorr饱和度提升函数形状同时保持LUT中的输入查找位置不变的技术示例。应当注意，这仍然遵循核心原理，即Y被确定为来自亮度优化路径的正确的Y，其与要用于饱和度处理子电路的Y不同。

图15给出了针对若干种接收侧黑色绘制显示能力的这种校正将看起来如何的示例：1501是用于1nit的最小可绘制黑色的乘法校正函数(即，针对所有可能Y值的M因子，这里在x轴上为LUT条目)(读者可以出于它的理解而假设例如这是非常糟糕的LCD显示器，它将图像内容的较低值显示为无法辨认的泄漏光或在相对明亮的环境中的显示方式)。曲线1502对应于0.1nit的最小可绘制或可感知黑色，曲线1503对应于0.01nit的最小可绘制或可感知黑色，曲线1504对应于0.001nit的最小可绘制或可感知黑色，并且曲线1505对应于0.0001nit的最小可绘制或可感知黑色。水平轴是6位(0-64)索引，其(仅在实现它的示例中)指示在对数伽马感知表示中的亮度。再次发现这是依赖于两个亮度值的饱和度处理，即，亮度变换之前的Y值和亮度变换之后的Y值，并且这两个亮度值中只有一个在内容创建侧是已知的(必须确定最优饱和度处理策略，即F_sat)。即，乘法器要应用的饱和度提升因子为b_result＝M*b_in[Y_HDR]。

本文中公开的算法部件可以(全部或部分地)在实践中实现为硬件(例如，专用IC的部分)或实现为在特殊数字信号处理器或通用处理器等上运行的软件。存储器产品可以例如是便携式存储器(例如，蓝光光盘或固态存储棒)，但也可以是例如离线服务器中的存储器，可以从其中将视频或图像下载到使用视频或图像的远程位置。技术原理将在其他颜色处理实施例电路拓扑中和/或利用其他颜色定义等类似地工作。

技术人员根据描述可以理解，哪些部件可以是可选的改进并且可以与其他部件结合实现，以及方法的(可选)步骤如何对应于装置的相应模块，反之亦然。在本申请中，单词“装置”以其最宽泛的含义使用，即，允许实现特定目标的一组模块，并且因此可以为例如IC(的小电路部分)或者专用电器(例如，具有显示器的电器)或联网系统的部分等。“布置”也旨在以其最宽泛的含义使用，因此可以包括尤其是单个装置、装置的一部分、协作装置(的部分)的集合等。

在一系列加载步骤(其中可能包括中间转换步骤，例如翻译成中间语言和最终处理器语言)之后，计算机程序产品符号应被理解为包含启用通用或专用处理器的命令的集合的任何物理实现，以将命令输入处理器中，并执行本发明的特性功能中的任一项。特别地，计算机程序产品可以被实现为诸如磁盘或磁带之类的载体上的数据、存储器中存在的数据、经由(无线或有线)网络连接行进的数据、或纸上的程序代码。除了程序代码之外，程序所要求的特性数据也可以体现为计算机程序产品。

该方法的操作所要求的某些步骤可能已经存在于处理器的功能中，而不是如所描述地在计算机程序产品中，例如，数据输入和输出步骤。

应当注意，上面提到的实施例例示而非限制本发明。在技术人员可以容易地了解到所呈现的示例到权利要求的其他范围的映射的情况下，为了简洁起见而没有深度提及所有这些选项。除了如权利要求中所组合的本发明的元件的组合之外，元件的其他组合也是可能的。元件的任何组合可以在单个专用元件中实现。

权利要求中括号之间的任何附图标记都不旨在限制权利要求。单词“包括”不排除权利要求中未列出的元件或方面的存在。元件之前的单词“一”不排除多个这样的元件的存在。

Claims (5)

1.一种用于处理输入图像(Im_RLDR)的输入颜色的颜色饱和度，以产生与所述输入图像相对应的输出图像(Im3000nit)的输出颜色的装置(400)，所述输出图像是对所述输入图像的重新分级，其中，所述输出图像的所述输出颜色具有与所述输入颜色的归一化亮度不同的归一化输出亮度，

其中，所述输入图像的所述归一化亮度被定义为所述输入图像的任意像素的亮度除以所述输入图像的最大可编码亮度，

其中，所述输出图像的所述归一化输出亮度被定义为所述输出图像的任意像素的亮度除以所述输出图像的最大可编码亮度，

其中，所述输入图像的所述最大可编码亮度与所述输出图像的所述最大可编码亮度的比率大于或等于4，或者小于或等于1/4，

所述装置包括：

接收器(206)，其被布置为接收亮度映射函数(F_L_s2h)并且接收初始饱和度处理函数(F_sat)，所述亮度映射函数(F_L_s2h)定义所述输入颜色的输入亮度与参考亮度(L’_HDR)之间的映射，所述初始饱和度处理函数(F_sat)针对所述输入颜色的所述输入亮度的不同值来定义饱和度乘数；

显示调整单元(1009)，其被布置为基于所述亮度映射函数(F_L_s2h)以及显示峰值明亮度来计算显示调整后的亮度映射函数(F_L_da)；

亮度处理器(401)，其被布置为应用所述显示调整后的亮度映射函数(F_L_da)以根据所述输入颜色的所述输入亮度来确定输出亮度(Y’M)；以及

饱和度处理单元(410、411)，其被布置为基于针对归一化亮度的各个值指定相应饱和度乘数的饱和度处理函数，将所述输入颜色的颜色饱和度映射到所述输出颜色的颜色饱和度；

其特征在于，所述装置还包括饱和度因子确定单元(402)，所述饱和度因子确定单元(402)被布置为基于所述初始饱和度处理函数(F_sat)并且基于次级亮度值(Y’_H)来计算最终饱和度处理函数，所述次级亮度值(Y’_H)通过应用基于所述亮度映射函数(F_L_s2h)的另一亮度映射函数(F_M2H)而从所述输出亮度(Y’M)得出，并且

其中，所述饱和度处理单元被布置为通过应用所述最终饱和度处理函数来计算所述输出颜色的颜色饱和度。

2.根据权利要求1所述的装置(400)，其特征还在于，所述次级亮度值被用作接收到的所述初始饱和度处理函数的输入坐标，以获得所述最终饱和度处理函数的乘数，所述乘数为所述函数针对该输入坐标的值。

3.根据权利要求1所述的装置(400)，其特征还在于，所述次级亮度值被用于针对所述输入颜色的每种可能的归一化亮度计算所述最终饱和度处理函数的新输出坐标。

4.一种高动态范围图像计算装置，包括根据上述权利要求中的任一项所述的装置，其特征在于，所述高动态范围图像计算装置被布置为输出具有至少为500nit的峰值明亮度的图像。

5.一种用于处理输入图像(Im_RLDR)的输入颜色的颜色饱和度，以产生与所述输入图像相对应的输出图像(Im3000nit)的输出颜色的方法，所述输出图像是对所述输入图像的重新分级，其中，所述输出图像的所述输出颜色具有与所述输入颜色的归一化亮度不同的归一化输出亮度，

其中，所述输入图像的所述归一化亮度被定义为所述输入图像的任意像素的亮度除以所述输入图像的最大可编码亮度，

其中，所述输出图像的所述归一化输出亮度被定义为所述输出图像的任意像素的亮度除以所述输出图像的最大可编码亮度，

其中，所述输入图像的所述最大可编码亮度与所述输出图像的所述最大可编码亮度的比率大于或等于4，或者小于或等于1/4，

所述方法包括：

接收亮度映射函数(F_L_s2h)并且接收初始饱和度处理函数(F_sat)，所述亮度映射函数(F_L_s2h)定义所述输入颜色的输入亮度与参考亮度(L’_HDR)之间的映射，所述初始饱和度处理函数(F_sat)针对所述输入颜色的所述输入亮度的不同值来定义饱和度乘数；

基于所述亮度映射函数(F_L_s2h)以及显示峰值明亮度来计算显示调整后的亮度映射函数(F_L_da)；

应用所述显示调整后的亮度映射函数(F_L_da)以根据所述输入颜色的所述输入亮度来确定输出亮度(Y’M)；并且

基于针对归一化亮度的各个值指定相应饱和度乘数的饱和度处理函数，将所述输入颜色的颜色饱和度映射到所述输出颜色的颜色饱和度；

其特征在于，所述方法还包括基于所述初始饱和度处理函数(F_sat)并且基于次级亮度值(Y’_H)来计算最终饱和度处理函数，所述次级亮度值(Y’_H)通过应用基于所述亮度映射函数(F_L_s2h)的另一亮度映射函数(F_M2H)而从所述输出亮度(Y’M)得出，并且

其中，通过应用所述最终饱和度处理函数来计算所述输出颜色的颜色饱和度。