CN111386709A - 图形安全的hdr图像亮度重新分级 - Google Patents

Abstract

为了允许由被连接到最终显示器的装置务实地插入二次图像，我们发明了一种图像处理装置(301、501)，其具有输出图像连接部(506)和输入部(510)，所述输出图像连接部用于连接到显示器(550)，所述输入部用于接收输入图像(IM)和指定至少一个亮度映射函数(F_Lt)的元数据，所述亮度映射函数指定所述输入图像中的亮度与第二图像中的亮度之间的关系，所述第二图像中的最大亮度比所述输入图像中的最大亮度至少高6倍或者所述输入图像中的最大亮度比所述第二图像中的最大亮度至少高6倍，并且所述图像处理装置包括图形生成单元(502)和图像合成单元(504)，所述图形生成单元被布置为生成二次图像(IMG)，所述图像合成单元被布置为基于所述输入图像的像素颜色和所述二次图像的像素颜色来合成输出图像(IMC)，其特征在于，所述图像处理装置包括亮度函数选择单元(505)，所述亮度函数选择单元被布置为在没有二次图像的颜色与所述输入图像混合的情况下将所述至少一个亮度映射函数(F_Lt)的副本输出到元数据输出(507)，并且所述亮度函数选择单元被布置为在所述输出图像与所述输入图像因所述二次图像的一些像素颜色已经被用于改变所述输入图像的颜色而不相同的情况下输出预定亮度映射函数(F3)。

Description

图形安全的HDR图像亮度重新分级

技术领域

本发明涉及用于处理像素颜色的方法和装置，该像素颜色需要在亮度上从第一情况被调节到第二情况，第一情况通常例如是HDR图像的原始编码，而第二情况通常例如是该图像的最优化结果，该最优化结果用于呈现在具有动态范围(特别是显示器峰值光亮度PB_D)的显示器上，该峰值光亮度PB_D不同于在编码的HDR图像中呈现的峰值光亮度(PB_C)(也就是最大亮度)。

背景技术

直到几年前，所有视频和大多数静止图像都是根据所谓的低动态范围(LDR)原理(也被称为标准动态范围(SDR))进行编码的。这意味着：无论捕获的原始场景是什么，应当通过标准化定义的代码的最大值(通常为8位亮度Y'＝255，并且对于非线性近似平方根R'G'B'颜色分量而言都是类似情况)都对应于(即，呈现在)具有根据标准协议100尼特的显示器峰值光亮度PB_D(即，显示器能够呈现的最亮的白色)的显示器上。之所以这样做是因为所有显示器实际上在色度方面几乎都是相同的，即，它们(只)能呈现在0.1尼特至100尼特之间的亮度，而这正是得到任何所期望的图像的颜色的原因。对于系统的用户来说，几十年来，这似乎仍然可以以合理且令人信服的方式并以足够的色度或视觉质量显示可能出现或期望的任何图像。而且，这使事情变得简单，因为人拥有清晰的单色色域，在其中可以为任何场景甚至是原始的HDR场景(例如，洞穴)定义合理外观的图像及其颜色，例如通过使洞穴内部变亮并通常将外界像素剪裁为白色或明亮的柔和颜色来定义合理外观的图像及其颜色。

这样的显示器可以呈现出非常漂亮的图像，并且消费者不会抱怨图像质量，具体是因为自然对象的反射率范围大约在95％到0.5％之间，因此如果人仅在内容制作期间通过使场景合理地均匀化而处理场景的亮度，则最终观看者实际上至少可以很好地看到具有自然色彩和相对光亮度的所有对象。然而，如果必须自然地呈现(特别是使得观看者获得对整个场景中的不同光照方式的真实印象)包含亮光区域或暗阴影区的场景，则上述操作可能就不是很有效。

预期的和当前实现的能够呈现更亮的像素(通常对于高质量的HDR显示器，其光亮度要高出10倍，而高端HDR显示器的光亮度甚至要高出100倍)的高动态范围(HDR)显示器的出现还要求新的技术来对这样的HDR图像(即，可能包含比100尼特SDR白光亮得多的区域(例如，900尼特的明亮城市照明灯呈现)和/或较暗区域(在正确的观看环境下，OLED应当调暗至+－1/1000尼特)的图像)进行编码和处理。相机的动态范围也变得越来越好，但是为了理解本技术，读者可以简单地假定像素亮度是由计算机生成的(即，随意生成的)，但是当然要遵循所要求的技术原理(例如，特定HDR视频编解码器的具体情况)。读者应当理解，实际上，HDR视频能够用于(从消费者电视到安全性等)各种技术领域。

在本文中，假定当提到HDR图像或视频时，它具有针对最高亮度代码(或在RGB编码而不是YCbCr编码的情况下为等效的最高的R'值、G'值、B'值)的对应的编码峰值光亮度PB_C或最大亮度，其高于100尼特的SDR PB值，并且通常至少高6倍。因此，即使以编码发生数增多的方式，也能够存在以这样的明亮像素亮度(例如1000尼特而不是像在SDR图像/视频编码中那样被限制到100尼特)在HDR图像编码中编码的图像像素颜色信息。因此，要呈现的用于使HDR图像看起来最优的最大显示亮度可以是例如是1000尼特、5000尼特或10000尼特。注意，这不应与表面复杂概念相混淆，该表面复杂概念将在下面进行详细介绍，人能够将这样的HDR图像或视频实际编码为要被传送给接收器的某种SDR图像或视频，在这种情况下，SDR图像能直接在100尼特的显示器上呈现，但重要的是，这样传送的SDR图像还包含用于创建具有例如1000尼特的PB_C(并且因此具有如此高的HDR像素亮度(但是并非仅被直接编码为SDR亮度))的所有信息(当共同传送对应的相关联的元数据时，该元数据对用于从SDR图像像素亮度恢复HDR图像亮度的亮度转换进行编码)。

一旦转移到HDR视频编码(例如在典型的电视传送链或典型的电视信号处理装置(例如，BD播放器或机顶盒(STB))中)，人们就会发现必须重新开发许多现有技术并重新制定甚至经常重新发明SDR领域的普通技术理念。

因此，高动态范围主图像的高动态范围编码能够对要以例如最高1000尼特(或者在其他HDR图像编码中更高)的亮度显示的图像进行编码，以便能够显示高质量的HDR图像(其具有例如与所显示的周围场景相比更明亮的曝光)或者假日图片(其看上去阳光灿烂)等。

实际上，世界上有些场景能够具有很高的动态范围，其能够用亮度计来测量(例如，室内捕获的对象暗至1尼特或更小，而同时透过窗户看到外面在阳光下的对象的亮度高于10000尼特，从而给出＞＝10000:1的动态范围，这比1000:1的动态范围(DR)大10倍，并且甚至比100:1的动态范围大100倍；并且例如在观看电视时可能在一些典型情况(例如在阳光下观看)下DR小于30:1。

由于显示器变得越来越好(PB_D的光亮度比100尼特要高出几倍，自大约一年前就能够购买1000尼特的电视，并且从今年起甚至能够购买显示器，而且已经设想且已经出现了数千尼特的PB_D)，目标是能够越来越精美地对应呈现各种HDR场景的图像，虽然因诸如不同的观看条件这样的因素而与初始图像并不完全相同，但是至少是自然的或者至少是令人愉悦的。这需要SDR视频编码区所缺少的东西：一种用于对如何呈现这些图像进行编码的良好务实的HDR视频编码技术。但是，除了这种针对编码图像的良好处理方法之外，还有例如新颖的最优显示方法。编码还应尽可能满足市场中的各种参与者(例如，有线电视提供商、IC制造商、内容创建者等)的许多实际需求。

读者还应理解，由于观看者通常在不同的情况下观看内容(例如，晚上坐在光线昏暗的客厅中，或者在黑暗的家中或电影院剧院中，而不是实际站在所拍摄的明亮非洲风景中，因此明亮的对象可能会在较暗的观看情况下很亮地快速显现)，因此场景中的亮度与最终在电视(或其他显示器)上呈现的亮度之间没有同一性。相对或归一化亮度(即，所有场景亮度除以某个最大场景亮度)与显示器呈现的亮度除以PB_D(也在0-1.0的尺度上)之间甚至也没有同一性。因此，对于本讨论内容，读者可以通过忽略原始场景来开始学习，因为原始场景在相机捕获期间存在，并且只关注应当(例如在高质量参考显示器(例如5000尼特PB_D)上)显示的图像(作为实际HDR图像的表示)。能够通过让人类颜色分级者手动决定可用编码动态范围C_DR上的(即，相关联的参考显示器(例如PB_D＝5000尼特)的)最优颜色(例如通过规定场景中的太阳应以5000尼特(而不是其实际值10亿尼特(该实际值无法在任何显示器上呈现))被呈现在图像中)来处理与原始场景亮度和光亮度印象相对应的要被显示的最终HDR图像的形成。

这被称为内容的HDR主分级(并且结果得到的图像是主HDR图像或分级)，显然，如何实际执行内容的HDR主分级可能再次取决于各种实际因素，例如，是否将内容创建为正在播放的事件中的实况流等。例如，作为人工干预的替代方法，只要涉及该应用方面，自动算法就可以从例如原始相机捕获物转换到(通常)被称为(主)HDR分级的本文中的内容。这意味着人们能够(直接，无需进行进一步的色度法优化，因为其与所述5000尼特显示器相对应，因此当在这样的5000尼特显示器上进行呈现时也是最优的)在5000尼特PB_DHDR显示器上在可用位置处显示该主分级。自动亮度确定通常会发生在HDR视频传送的从最初的创建者到最终的消费者的技术处理链中的某个地方。

然而，与此同时，在未来几年中，将有大量安装基础的人使用传统的100尼特PB_D的SDR显示器，或者至少某种不能制造5000尼特的白光的显示器(例如因为它是便携式的)(例如具有显示峰值光亮度PB_D＝500尼特的动态范围)，并且这些人也需要能够以某种方式观看HDR电影，并且在理想情况下应尽可能最优地观看HDR电影(即，通常所有对象的光亮度看起来与HDR主图像中的光亮度合理地接近，使得至少能够维持例如图像的气氛或氛围)。因此，需要某种机制将同一场景的5000尼特PB_C HDR图像转换为100尼特SDR外观图像。

为了给读者带来便利并让读者在所涉及的某些方面快速入门，图1示出了许多可能的HDR场景的几个原型说明性示例。未来的HDR系统(例如被连接到1000尼特PB_D显示器)可能需要能够进行正确处理，即，通过为图像中的所有对象/像素呈现适当的亮度来进行正确处理。例如。ImSCN1是来自西方电影的阳光明媚的户外图像(大部分区域都是明亮的，在理想情况下应将其呈现得比100尼特显示器更亮一些，以提供比雨天看起来更晴朗的外观)，而ImSCN2是夜间图像。

是什么让这样的图像变得阳光明媚，而让另一幅图像变得暗淡？不必一定要使用相对亮度，至少在SDR范式中不用使用相对亮度。使HDR图像呈现与仅在几年前结束的SDR时代不同的是，SDR具有这样的有限的动态范围(大约PB＝100尼特，并且黑色水平大致为0.1尼特到1尼特)，在大多数情况下在SDR中只能示出对象的固有反射率(反射率将落在90％(对于良好的白色)至1％(对于良好的黑色)之间)。这对于在统一的技术控制的照明下识别对象(具有一定量的反射光亮度，当然还有其色度)是很有好处的，但是在自然场景中照明本身的美丽变化(这可能会影响观看者)却不是那么重要。可以将夜间图像在亮度直方图中调暗一些，但不要调暗太多，否则它会将图像呈现得太暗且太丑陋，而在100尼特的电视或100尼特的编码下，根本没有空间可用于任何过亮的地方。因此，必须示出与照明无关的对象，并且不能同时忠实地示出可能发生的场景中有时会出现的所有强烈对比的照明。实际上，这意味着必须以与阴沉的雨天场景大致相同的显示亮度(0-100尼特)来呈现高亮度的晴天场景。而且，即使夜间场景也不能被呈现得太暗，观看者也无法很好地区分图像的最暗部分，因此，那些夜间光亮度将再次被呈现在0尼特至100尼特之间的范围跨度上。对此，常规的解决方案是将夜景着色为蓝色，使得观看者了解他不是在看白天的场景。当然，现在在现实生活中，人的视力也会针对可用的光量而进行调整，但并不能调整太多(现实生活中的大多数人的确会意识到它正在变暗，或者他们处于更黑暗或相当明亮的环境中)。因此，人们希望使用能够在艺术上设计的所有壮观的局部和临时光照效果来呈现图像，从而得到至少在可以使用HDR显示器的情况下才能获得更为逼真的呈现图像。对于在暗室中的光剑来说，适当的亮度到底是多少，我们将留给颜色分级器来创建(一个或多个)主分级来决定(或广播中的着色器，或色彩处理自动算法等)，并且该应用将关注创建和处理这样的图像所需的技术可能性。

在图1的左轴上是对象亮度，就像人们希望在5000尼特PB主HDR分级中看到的那样(对于5000尼特PB_D显示器而言)(即，分级者制作图像而使得家用典型的高质量HDR TV会有5000尼特PB_D，并且他实际上可能坐在这样的家庭观看室的表示中，并且在这样的分级显示器上分级)。如果要传送的不仅是错觉，还想传送牛仔在明亮的阳光下的真实感觉，则必须指定并呈现那些像素亮度足够明亮(但是也不会令人讨厌地太亮，这是HDR图像创建和处理的典型缺陷)(例如，500尼特左右)。对于夜景，人们主要希望获得较暗的亮度，但摩托车的主要特征应是易于辨认的，即，不要太暗(例如，5尼特左右)，同时可能存在亮度很高的像素，例如，路灯的像素，其例如在5000尼特显示器上为3000尼特左右，或者在任何HDR显示器上在峰值光亮度左右(例如，1000尼特)。第三示例ImSCN3示出了现在在HDR显示器上还可以实现的功能：人能够同时呈现非常亮的像素和非常暗的像素。它示出黑暗的洞穴，上面有一个小开口，人通过它能够看到外面阳光明媚。对于该场景，人可能想要使像树这样的阳光照射的对象的亮度要比想要呈现明亮的阳光风景的场景的亮度低一些，例如，400尼特左右，这样应当更符合洞穴内部的黑暗特征。颜色分级者可能希望最优地协调所有对象的亮度(已经在PB_HDR＝5000尼特主HDR图像中)，使得任何东西看起来都不会不适当地过暗或过亮并且对比度良好。在这个洞穴中的黑暗中站立的人可能会在0.05尼特左右的主HDR分级图像中被编码(假定HDR呈现不仅能够呈现明亮的高光，而且还能呈现黑暗的区域)。

现在，其次，人们可能经常需要针对HDR图像的SDR重新分级图像，简单地说，可以总结如下：在HDR显示器上，具有以下功能(或者图像因此被编码为例如PB_C＝5000尼特的HDR图像)，人可以将对象亮度沿着较大的亮度范围散开到最优的观看亮度位置，在SDR亮度范围上，需要将它们挤压在一起以沿着较小的亮度范围进行拟合。仍然，优选以SDR图像仍能传送尽可能高的HDR外观的方式，这就是为什么我们现在假定从HDR主分级导出的二级分级仍然是颜色分级者进行的主分级。也就是说，针对SDR主分级，人们需要应用内容相关的最优亮度映射函数，当前也被称为动态元数据。读者能够理解，对于与主HDR图像相对应的任何动态范围(特别是峰值光亮度PB_C)的任何二次图像，或者通常而言从任何第一图像导出的动态范围完全不同的任何第二图像，获取所有像素/对象的最优亮度都可能涉及一些复杂性，但为简单起见，读者能够假定使用了简单的亮度函数，当变换到较低的动态范围时，该函数会使较暗的像素亮度(即，比对角线高1.0的斜率)相对变亮，并且在较低动态范围图像的亮度范围的上部压缩较亮的颜色(即，具有减小的斜率)(该图能够被形成在在输入输出图像的两个[0-1.0]归一化亮度轴上)。

所有对应的SDR图像像素/对象亮度被示出在图1中的右侧SDR亮度范围内。注意，在这两个分级图像之间，还能够计算具有不同编码峰值亮度PB_C的其他HDR图像，其也可以被称为中等动态范围(MDR)图像(例如，800尼特)。

能够理解，将所有这些类型大不相同的HDR场景的所有对象亮度映射到图1右侧所示的小得多的SDR动态范围(DR_1)中可用的最优亮度可能并不总是一件容易的事，这就是为什么优选由人类颜色分级者确定颜色变换(当在亮度代码上等效执行时，至少包括亮度变换；亮度变换在实践中可以包括表示在技术上感兴趣的子策略的若干函数，但是对于该应用，读者可以出于简化理解的目的将其视为单个函数L_out_SDR＝F_L(L_in_HDR))。然而，总是能够选择使用自动确定的转换，例如基于分析图像内容的颜色属性(例如，其亮度直方图)，并且这可以例如是较简单的种类的HDR视频的优选选项，或对于人类分级不太理想的应用(例如在实时内容制作中(在该专利申请中，假定没有限制，分级还可以涉及快速设置一些颜色变换功能参数，例如在开始捕获之前对整个制作过程进行快速设置))。

此外，仅为了说明一些技术视频编码可能性，为了阐明起见，我们描述了示例性HDR视频编码系统，申请人已经设计用于HDR图像编码，并且特别是HDR视频编码(由此读者应当理解，本发明的原理也适用于除了用于说明的示例性系统之外的其他系统)，该视频编码系统不仅能够处理针对该领域中的典型的单一种类的显示器的单个标准化HDR视频的传送(编码)(例如，用作定义针对编码的EOTF的亮度代码的10位感知量化器)(例如，假定每一个最终观看者都有1000尼特PB_D显示器的情况下，用PB_C＝1000尼特定义的图像)，而且也能够同时传送和处理针对具有该领域中的各种其他峰值光亮度的各种可能的其他显示器类型的具有最优外观/等级的视频(特别是针对100尼特PB_D SDR显示器的SDR图像)。

也就是说，虽然在这样的HDR视频传送系统中，人实际上仅传送一种类型的分级图像作为已传输的像素化图像，但是在该应用中通常不排除SDR图像(或替代地为HDR图像，其具有用于导出通常具有较低的PB_C的图像的像素亮度的亮度改变函数)，因为在我们的系统中，人还向元数据中添加了一个或多个函数，这一个或多个函数定义了HDR图像的像素颜色，特别是那些SDR图像的亮度，同时人还传送了针对该场景所看到的HDR图像(实际上不需要像双图像传送那样传送HDR图像，或者至少第二层像素化HDR图像数据)。我们想强调的是，这不仅是两幅图像的双重传送，而且还带来了一种新的关于图像的思维角度，该思维角度能够处理图像：通过传送外观，即，两幅相距较远的动态范围图像的各种像素亮度(即使实际上这两幅图像中只有一幅图像被传送到接收器作为像素化图像(例如，MPEG-HEVC图像)，内容创建者也传送他的艺术观点，即，对于特定场景，代表性图像(主HDR图像)中的各种场景对象像素的亮度应如何按亮度重新分级(即，实际上传送了一堆图像，或者至少是针对接收侧的关于如何根据主HDR图像中的外观或像素亮度对PB_D的任何显示器的任何期望图像进行重新分级的指令)。然而，在至少一些实际情况下，这种额外的益处是以增加复杂性为代价的。

仅对HDR图像在时间上的相继运行(即，利用正确的外观，例如针对在1000尼特HDR监视器上呈现的图像对象亮度)进行编码，这对于例如10位传统MPEG HEVC或类似的视频编码技术并不难。只需为具有相当大的动态范围的新的类型的图像建立最优的亮度代码分配函数(也被称为OETF)(光电传递函数)，即，与白色相对较暗的区域相比，在许多情况下都不会示出等级，然后计算所有像素/对象亮度的亮度代码。

然而，申请人设计了一种系统，该系统能够将HDR图像实际上作为SDR图像(根据标准动态范围，我们将传统的基于Rec.709OETF的编码称为100尼特PB参考显示器，通常在这种参考显示器上具有最优的颜色分级)进行传送，然后能够立即将其用于在传统的100尼特PB_D SDR显示器上呈现正确外观的SDR外观。

这意味着a)如此确定所有对象的相对亮度，使得它们在100尼特PB_D显示器上看起来正确或至少看起来合理，并且b)接收器能够假定用于创建这样的亮度的亮度由Rec.709OETF来定义，其大致是平方根函数。

以这种方式，针对相继的图像的特定拍摄中的每种HDR场景，每次都能够定义HDR图像像素亮度与LDR图像像素亮度之间的最优函数关系(函数形状，通常是为每个可能的L_in定义L_out的一维函数，例如，0.1/100<L_in<100/100)，使得能够在接收侧恢复的HDR图像和SDR图像看起来都将达到最优状态(例如，最优地提高洞穴内部的亮度，使得能够看到洞穴中的人，或者优化通过窗户看到的户外区域的亮度，使得无论显示器的DR功能如何，仍然能够进行足够的显示。

到此，定义了适当的可逆颜色变换函数F_ct的集合，如图2所示。为了说明基本概念，图2非限制性地示出了SDR传送类型的典型系统。这些函数可以由人类颜色分级者来定义，以获得与HDR主图像MAST_HDR相对应的合理外观的SDR图像(Im_LDR)，同时确保通过使用反函数IF_ct原始主HDR(MAST_HDR)图像能够以足够的准确度将其重建为重建的HDR图像(Im_RHDR)，或者，可以在内容创建侧使用自动分析算法来确定合适的这样的颜色变换函数F_ct。能够根据所传送的正向HDR到SDR映射F_ct函数来确定IF_ct函数，或者系统甚至可以直接传送(一个或多个)IF_ct函数。

颜色变换器202通常应用主HDR图像(MAST_HDR)像素的相对亮度的F_ct亮度映射，即，被标准化以使得最大亮度为1.0。为了以简单的方式理解本发明的概念，为了简单起见，可以假定它使用第4个功率亮度映射函数(L_out_SDR＝power(L_in_HDR；1/4))来导出100尼特PB_C SDR输出图像Im_LDR(即图1的右侧)的像素的归一化SDR输出亮度，即，这样的函数为场景的主HDR图像提供了对SDR分级的对应图像的合理外观(合理意指针对这方面的特定场景，大部分阴影区域不会显得阴暗，因为即使在SDR图像中，灯和其他发光对象与较暗的图像区域之间仍具有合理的区域间对比度，至少SDR亮度动态范围允许等；对于其他图像，其他因素也可能有贡献，但是这些细节不是必需的，也不是阐明本发明的技术部件的限制)。

由于接收器必须能够根据接收到的对应的SDR图像来重建主HDR图像，或者至少进行接近的重建，但是对于一些与压缩有关的伪像，除了实际的像素化图像之外，颜色映射函数也必须进入视频编码器203。没有限制，我们可以假定视频是用MPEG HEVC视频压缩器压缩的，并且函数被存储在元数据中，例如借助于SEI机制或类似技术来存储。

因此，在内容创建装置221的动作之后，从图像传送技术的角度来看，视频编码器203假装它获得了正常的SDR图像作为输入，并且更重要的是：按照Rec.709标准SDR亮度规范，输出在技术上是SDR图像。因此，另外的技术(例如，传输格式化器204应用所有必要的变换以格式化数据来通过某个传输介质205(例如，编码以存储在BD盘上，或频率编码以进行线缆传输等))能够仅应用所有典型步骤以用于在SDR编码范式中执行。

随后，例如根据ATSC3.0或DVB或任何视频信号传送原理，通过某种传输介质205(例如，卫星或线缆或互联网)将图像数据传输到(一个或多个)接收侧。

在任何消费者或专业方面，接收器206(其可以被并入各种物理装置(例如，机顶盒、电视或计算机)中)通过应用取消格式化和通道解码来解除通道编码。然后，视频解码器207应用例如HEVC解码，以产生经解码的SDR图像Im_RLDR和颜色变换函数元数据F_ct。然后，色彩变换器208被布置为将SDR图像变换为任何非SDR动态范围的图像。例如，可以通过应用在编码侧使用的颜色变换F_ct的颜色逆变换IF_ct来重建5000尼特的原始主图像Im_RHDR，以根据MAST_HDR来制作Im_LDR。或者，可以包括显示调谐单元209，显示调谐单元209将SDR图像Im_RLDR变换到不同的动态范围，例如，在显示器210是3000尼特PB显示器或者1500尼特或1000尼特PB图像等情况下，对im3000尼特进行最优分级。在我们的框架中，这种显示调谐或显示调整(其能够基于共同传送的亮度映射函数)通过计算要应用于解码图像的显示调谐亮度映射函数来优雅地导出，该显示调谐亮度映射函数是基于在F_ct中接收到的亮度映射函数和所连接的显示器的显示能力(否则需要提供图片)来计算的。

我们非限制性地假定视频解码器和颜色变换器处于单个视频重新确定装置220中。由经验的读者能够理解，能够类似地设计例如传送具有PB_C＝10000尼特的HDR图像的拓扑方法，并且颜色变换器输出具有例如PB_C＝2500尼特的HDR图像以用于对应的电视或监视器。

基本编码/解码之外的额外问题：

如果人在内容创建侧(参见例如广播电视台)进行例如SDR图像和SDR到HDR_10000亮度升级函数并且在任何接收侧仅应用这些函数以从接收到的SDR图像中解码HDR_10000图像(通常假定HDR电视中包括三个接收侧解码处理单元206、207和208)，则该系统将完美工作。这完全符合技术人员通常会想到的编码/解码框架，即：解码器仅很好地解除了编码器所做的工作，因为数学上的颜色变换会根据针对一些技术图像传送系统的任何主要需求来生成用于传送的最优图像。然而，在实际的视频传送链中，装置之间可能会存在一些装置(而实际上更糟的是，装置可能对装置在处理之前或之后的颜色处理行为或与硬件相连的视频处理系统链了解得不多，甚至根本不了解)，并且不便的是，装置之间的那些装置可能会改变图像特性，特别是(某幅或某些)图像中的至少一些像素的亮度。像素亮度于是对于亮度映射函数而言将不再是正确的，或者以不同的方式形成，亮度映射函数F_ct对于某些时刻的某些图像的至少一些部分来说突然不再是最优的(可能远离最优)。那么问题就来了：怎么办；如何优雅地处理这一重大问题？正如我们以下面总结的现有技术专利申请所例示的那样，这是一个蹦出的问题，并且可以以各种方式来处理。我们想强调的是，这个问题完全不会发生，因此在SDR视频时代被人们忽略了，因为每个人都在稳定的0.1-100尼特亮度范围框架内工作，而且没有人做过(形状各异的)亮度变换以用于至少在两个非常不同的亮度动态范围内表示图像(较高的动态范围通常可能比SDR动态范围大100倍，这意味着可能会出现非常烦人的视觉错误，甚至可能随时间闪烁等)。

WO2016074999A还解决了当涉及中间装置和最终显示装置进行亮度处理时将图形插入视频(其具有对应的亮度重新分级行为，该亮度重新分级行为被共同供应为能与视频图像共同接收的相关联的元数据中的亮度映射函数)的问题，中间装置和最终显示装置可能并不完全知道另一装置正在做什么，并且/或者可能无法充分协调所需的像素亮度处理行为，然而，这些问题的处理方式与这里提出的方式不同。

存在一些图形插入像素的事实(图形是亮度映射函数与之没有正确对应的某幅二次图像，并且通常是一些具有有限颜色集合的简单图形(例如，徽标，可能插入示出天气图表、字幕等的应用之类的东西)，这些图形插入像素由某种中间装置插入到内容的原始源(即，内容创建者的装置或至少是内容供应者的装置，例如，广播电视台)与最终使用该视频内容的装置(其通常是或包括显示器，通过将某种代码放入图像像素的例如RGB颜色代码的较低位中而被信号处理)之间。然后，终端装置(即，进行最终处理以获得其显示器的峰值光亮度的正确外观的图像的显示器)能够尝试在图形像素上使用比仅应用亮度映射函数(图6中的55，或图10中的1009)更安全的映射方法，这对于包围图形对象区域的视频是最优的，但是对于图形像素颜色是错误的。在图形合成的领域中存在各种类型的图形插入，因此教导了许多变体。它们大致分为两类。对于仅用图形像素替换视频像素(或在这样的框架中被重新形成为不透明混合，在混合中具有100％的图形和0％的视频)，将二进制代码放在最低位就足够了，如果像素是原始像素(例如，SDR视频像素)，则指示A＝0；而如果像素是字幕像素，则指示A＝1。然后，接收显示器能够将接收到的SDR到HDR亮度映射函数应用于视频像素，并且例如决定以其峰值光亮度的固定相对亮度百分比(例如，PB_D＝1000尼特的20％)来呈现字幕像素。更高级的实施例迎合了更困难的情况，在这些情况下，视频和图形输入像素的颜色以一定百分比进行混合，然后最低位的编码传送这种混合的某个方面，例如在最终的混合输出中保留多少百分比的视频亮度或色彩，然后接收显示器能够将其考虑在内，从而为图形区域设计更高级的亮度映射(例如，通过估计拆分的图形和视频来尝试解除混合，或者至少基于估计的混合信息或拆分信息来创建合理行为的亮度映射)。在任何情况下，除了对图形混合情况的方面进行编码的新颖的信号之外，所有变型都涉及将原始亮度映射函数(55)与尚未进行显示优化的图像(例如，已经接收的或至少在图形插入后重新编码的编码图像，即，仍然需要由例如HDMI链路的池来建立像素的最终亮度)一起传送到显示器，以使显示器确定最好的显示内容，或者至少确定更好的显示器优化处理。在下面的实施例中，发送侧(即，中间装置)负责判断更好的后处理方法。

WO2017089146A是一种更为先进的系统(以下实施例甚至能够在简单系统中工作)，所述系统处理两个不同输入信号的通用匹配，所述两个不同输入信号的动态范围可以大不相同，例如，将2000尼特PB_C HDR的第一图像与100尼特PB_C SDR图像进行协调，为此需要计算基本技术，即，确定混合图像内容表示的最优混合动态范围(其能够与这两幅输入图像的动态范围都大不相同，但是在若干情况下也不必是例如显示器将显示混合图像的最终动态范围)，以及各种代表性(HDR场景情况摘要)亮度锚定点的匹配，以及对用于将要混合的各幅图像中的亮度映射到混合动态范围上的输出亮度的最终总函数的确定。这项技术至少可以在某些方面与以下某些方面进行组合，但是系统和技术推理却截然不同。

US20150156469A是一组HDR教导，它们在一定程度上类似(即，还讨论了与图形的组合)，但也有许多差异。为了确保读者了解各种观点和不同之处，我们在图6中总结了这样的HDR方法。‘469的EDR(用于HDR的措辞)解码器是可缩放型，也就是2层型(基本层数据和增强层类型)，或者实际上是每个图像类型有两幅图像。最后一点意味着，与我们的典型实施例(在每个视频时刻只传送1幅图像)不同，‘469需要在每个时刻传送2幅图像。甚至不是HDR主分级和SDR分级本身(因为人可能会问“为什么不只发送那两幅图像呢？”)，而是从中导出的图像，它们通常无论如何都能够对这两个分级进行编码，并且可能使用较少的位(但是这两个图像变体确实需要在传送通道上提供更多数据，并且也会更复杂，如果需要进行显示调谐，这将变得特别有兴趣)。

为了确保完全理解不同的技术部件(和任务)，必须首先查看本专利申请的图6A。

这清楚地表明，HDR视频处理的处理链(或装置构造)可以涉及比技术人员通常考虑的编码和解码(至少来自LDR时代的框架和视野)更多的内容。解码器601(驻留在某个HDR视频信号接收装置中)(仅)在该示例中例如根据接收到的LDR图像(BL_LDR)来生成1000尼特HDR图像(Im_REF_H，这将是进一步显示优化的起点)。因此，通常将应用相当陡峭的亮度映射函数，如图所示，其主要增强输入图像BL_LDR的较亮像素。在对参考图像情况进行这种解码(通常是对在创建或传输侧创建的主HDR图像的重建)之后，必须在将最终的显示调整的图像Im_DA发送到所连接的显示器603之前对该图像(即，其所有像素亮度)进行优化，以由显示调整单元602实现所连接的显示器的动态范围功能。如果该显示器的PB_D为800尼特，则应使图像的最大编码峰值亮度为PB_C＝800尼特。由于这非常接近1000尼特中间参考图像Im_REF_H中的1000尼特，因此在该示例中，原则上能够跳过显示调整应并仅呈现1000尼特图像(从而将最大图像亮度PB_C映射到显示器的最大可显示亮度PB_D，即，应被显示为更亮的1000尼特像素变为更阴暗的800尼特像素)，考虑到亮度误差，如果要正确地做某事，则应当应用一些略微得到亮度校正的亮度映射曲线(如602的矩形所示)。

该全局方面与我们在高水平上的以下方法类似，但是显示调整可能完全不同，并且当然视频解码也可能完全不同，这将通过图6B中的现有技术可缩放HDR解码器的分解视图进行解释。‘469中的我们的显示调整(DA)等同于显示映射(DM)元数据。这是关于应当指导显示优化的情况的更一般的信息，例如通常基于颜色空间或色域信息[0025]等方面的通用色域映射。

信号S_HDR包括4种类型的数据(简化版本中可能为3种，但是我们解释该通用版本)：第一层基本图像(BL_LDR)，其将是可直接显示在传统的100尼特SDR显示器(被称为‘469中的VES1)上的LDR图像；第二增强层图像(Im2_ENH；VES2)，其由单独的例如解码器(例如，AVC视频解码器120)解码；与第一图像有关的元数据(MET(F_L2ImP))，其在一些实施例中通常可以是用于预测中间图像ImP的亮度映射函数；以及与第二增强图像(MET(DecEnh))有关的元数据。

图像和元数据中确切包含的内容取决于所使用的可缩放的HDR编码变体，因为存在若干变体(通常是乘法变体与加法变体的二元变体)。

较老的是乘法变体，它基于以下事实：一方面，第一HDR显示器包括可局部调制的2D背光灯(即，可以调暗或增强背后的各种LED并照亮一小部分LCD像素区域)，该2D背光灯照亮LCD面板，其像素用作阀门，该阀门使一定百分比的局部光通过。对于固定背光，旧的LCD面板会透过例如0.5％-100％的光，这将仅给出200:1的可显示动态范围。如果可以(例如通过将这些像素后面的LED光调暗10倍)将图像的暗区的0.5％的光输出降低到例如0.05％的光，并且另一方面，将较亮图像对象区域后面的LED增强10倍(这意味着LCD像素最多只能让100％的光通过，但现在让10倍的100％的局部光通过)，则一方面可以实现更好的20000:1的DR，另一方面可以达到1000尼特的PB_D(因为这就是现在能够针对最明亮的图像区域像素生成的亮度)，而不是通常的100尼特。因此，另一方面，将其与更一般的观看结果相耦合，在现实世界中，也能够将自对象斑点发出的亮度建模为可变的入射照度×对象反射率(约为0.5％-99％)，如果这是在显示器上生成“任意，更逼真的照明”对象像素所需要的，则能够利用编码来驱动它们，每个像素包括L_displayed[x,y]＝L_LDR[x,y]×I[x,y]，其中，L表示亮度，并且x和y是像素的空间坐标(并置在要显示的输出图像(即，解码图像)和构成双重图像HDR编码的两幅输入图像中：L_LDR是用于驱动LCD像素透射百分比的基本图像，并且I[x,y]是背光照明图像，它通过一些约定的定义来指定哪些I值应当对应于位置[x,y]后面的各种背光LED的增强或调暗的量)。在这种编码技术中能够节省数据压缩，因为不仅眼睛对变化的照明的空间分辨率不太敏感，而且这种类型的实际HDR显示器的LED背光矩阵的分辨率比例如2K HD LCD分辨率(当时OLED HDR显示器还未真正出现)的分辨率低。另一方面，该HDR编解码器变体的第二个元数据MET(DecEnh)的示例可以是，经由对数函数来定义所需的背光照明值I，并且需要该定义才能在接收侧确定需要多少百分比的LED调暗或增强的量才能显示出不错的HDR图像(无论是对主HDR图像的接近的重建，还是只是一些与LDR图像BL_LDR相对应的良好显示的HDR图像，很多人都是在家中用传统的LDR显示器看到这些图像)。

LDR图像BL_LDR将是以下情况：视频链例如以HDR相机捕获开始，该HDR相机捕获通常是通过将向下映射曲线应用于归一化的HDR亮度来生成的，该向下映射曲线是601中所示的逆曲线之一。

另一类是加法2图像HDR编码类，这似乎是最近比较流行的一种方法，并且在‘469的各种实施例中使用这种方法。

在这种情况下，传输器通过自由地应用一些(通常为凸形)HDR到LDR亮度映射函数来再次计算BL_LDR图像，将该BL_LDR图像动态调节为特定图像或至少单个HDR场景的相继图像的拍摄图像，并且针对这样的图像最优地传送HDR亮度作为LDR亮度所需的条件来进行调节。然后，第一基本层元数据通常将包含一些加法预测亮度映射函数，图像预测器610执行这些加法预测亮度映射函数以根据LDR输入图像亮度来计算中间预测图像(ImP)亮度。在适当解码并可能对其进行预处理之后，向校正单元611添加校正图像(VES2)。因此，两个图像加法HDR解码器的功能为L_HDR[x,y]＝F_L2ImP(BL_LDR[x,y])+Im2_ENH[x,y][公式1]。

并且，针对应用了上述公式的图像(目前仍然假定没有图形信息)，具有一种显示映射策略：L_disp[x,y]＝F_DM[L_HDR[x,y]]，因此，显示映射原则上能够是很多东西，例如，全局映射仅考虑位置[x,y]处的输入亮度L_HDR的局部值，或者更复杂的局部映射技术也可以基于位置[x,y]周围的对象的亮度而调谐用于显示的最终图像，在‘469中不会给出其详细信息。但是感兴趣的是，这样的基于图像属性的局部处理可以在显示器中调查是否存在图形方面，并且在其显示端最终显示映射策略中加以考虑，而其他技术变体可能无法做到这一点。

现在，基于2层HDR编码的基本知识，‘469描述了在这种编码情况下也具有图形时能够完成的工作原理。他们特别针对以下问题描述了这一点：两个连接的装置中的哪个是数字媒体播放器和显示器/电视应当执行以下各种所需处理中的哪一种：解码(和601的对应亮度映射)，显示映射，以及图形混合，以及还可能有按照哪种顺序。

为此，它们带来了两种解决方案类别教导(图2B、图3B和图4仅教导了后一种变体的特定实施例，其中，图形图像在第二图像占位符中传递，该第二图像占位符应当包含右眼视图图像，但是现在在2D应用中已经得到重新使用；这些细节与本申请无关)。

在[0019]中，他们建议在媒体播放器(即，通过例如卫星或互联网连接充当创建者的元数据的接收器的中间装置，以及通过例如HDMI将视频供应给显示器的供应者，即，该接收器例如是机顶盒)中进行部分解码(一方面通常涉及不要混淆的MPEG解压缩，另一方面要进行比色转换以获得最终或中间图像的正确亮度)播放器，并且在显示器中进行部分解码。实际上，在本段中，通过例如HDMI接口，以适当的形式发送所有信息，即，HDR视频图像信息、图形信息和元数据，因此在这种情况下并没有真正的问题，因为显示器能够在其终端决定如何最优地创建最终输出图像。实际上，它将首先将显示映射策略应用于解码的HDR图像，然后仅混合图形，因此它不仅能够选择如何混合图形(例如，调节亮度)，而且在任何情况下都会对因动态改变的映射亮度映射的应用而引起的混合图形不再出现而发生闪烁，因为在与图形混合之前已经预先应用了动态映射来确定优化的视频。当然，另一方面，在该系统中，不能保证显示器将按照机顶盒或BD播放器的要求进行实际的图形混合(例如，现在必须将该播放器的内部菜单一直传递到显示器，以便该显示器能够执行另一装置的接口功能)。而且，如果包括对所连接的显示器的PB_D进行视频优化在内的所有事情仅在视频播放器中完成，那么也没有问题，因为电视随后仅获得预先优化的图像，并且仅用作哑的监视器，仅进行显示而无需任何另外的处理。

在图1的版本1中，合成器125在接收器(例如，机顶盒)中执行根据上述公式1的HDR视频解码。他们在高质量的普通颜色空间(例如，12位YCbCr)中产生。HDMI上的输出信号137将包括混合器制作的混合视频和图形，以及一些(可能是静态的)显示管理数据。图形和显示管理似乎是在部件145中集成处理的。关于单元145的详细信息很少或根本没有，但是如果动态处理仍将在电视中进行(如果播放器中已经发生动态处理则可能不会发生)，则闪烁问题仍然存在(无论如何都不会提出朝我们的发明的任何方向进行处理)。

图2A中提出了更实际的解决方案(至少在未来几年中，可以假定昂贵的电视将具有更强大的HDR处理功能，而更便宜的播放器可能会进行一些初始管理(例如，通道调谐)，但将所有复杂的HDR计算留给电视，仅将所有需要的数据传递给电视；但是如果电视进行所有处理，则不协调问题将不再存在)。确实教导了所有数据仅是交织的，每个时刻的两幅图像都允许解码EDR图像(又被称为HDR图像)，并且图形图像(如果没有经由3D视频技巧传送的话)被传送为较高帧率视频([0028])的时间交织帧。还传送了所有元数据，包括关于如何按照播放器的要求混合图形的指令，即，α混合元数据。然后，在图3A中确实能够再次看到的是，电视能够选择正确的处理顺序，使得不会发生本发明的实施例中潜在的动态闪烁问题，即，电视将首先在合成器325中解码HDR图像，然后应用显示管理处理器330中的色域映射，然后才在单元340中进行与图形的混合。我们还要注意，它们的显示管理的不同，它们通常仅仅是基于图像的识别特性而仅由接收器侧确定的色域映射，并且仅是一些全局特性，例如，接收到的图像中的最大亮度(这与理论上可编码的最大亮度PB_C不同，因为读者可能会想到例如暗洞的场景，该场景将不包含5000尼特像素)，而不是我们导出的亮度映射函数的方式(这基于创建者的艺术亮度映射指导)。但是无论如何，装置之间的处理拓扑总是不同的，因此甚至不存在闪烁问题。

发明内容

为了实现对整个图像处理链的良好操作(即，在最终显示器上显示合理的图像)，发明人发明了一种图像处理装置(图3中的301和图5中的501)，所述图像处理装置具有输出图像连接部(506)和输入部(510)，所述输出图像连接部用于连接到显示器(550)，所述输入部用于接收输入图像(IM)和指定至少一个亮度映射函数(F_Lt)的元数据，所述亮度映射函数指定所述输入图像中的亮度与第二图像中的亮度之间的关系，所述第二图像中的最大亮度比所述输入图像中的亮度至少高6倍(或者所述输入图像中的亮度比所述第二图像中的最大亮度至少高6倍)，并且所述图像处理装置包括图形生成单元(502)和图像合成单元(504)，所述图形生成单元被布置为生成二次图像(IMG)，所述二次图像可以例如是CGI图像(例如，徽标或文本)，所述图像合成单元被布置为基于所述输入图像的像素颜色和所述二次图像的像素颜色来合成输出图像(IMC)，其特征在于，所述图像处理装置包括亮度函数选择单元(505)，所述亮度函数选择单元被布置为在没有二次图像的颜色与所述输入图像混合的情况下将所述至少一个亮度映射函数(F_Lt)的副本输出到(输出元数据中的)元数据输出(507)，并且所述亮度函数选择单元被布置为在所述输出图像与所述输入图像因所述二次图像的一些像素颜色已经被用于改变所述输入图像的颜色而不相同(即，针对这些像素，输出图像IMG中的颜色不同于输入图像或其解码IMD中的对应的相同位置的像素颜色，并且通常与输入图像或其解码IMD中的对应的相同位置的像素颜色有关)的情况下在所述输出元数据中输出预定亮度映射函数(F3)。

这样的装置在图像处理链或系统中将是位于来自内容创建侧的图像输入流(例如，直接广播电视等)与最终显示器(该显示器也将进行对动态范围转换的亮度映射(即，对接收到的图像进行重新定级)，以例如获得最适合其动态范围功能的最终图像(即，例如从SDR到2000尼特PB_C解码的HDR，再到1500尼特PB_D，或者一步从SDR到1500HDR))之间的中间图像处理装置(例如，BD播放器或机顶盒等)。中间装置可能无法确切地知道图像中的内容(即使在一些实施例中高端显示器可能具有图像属性的知识但较小的HDR TV，也无法确切地知道图像中的内容)，也确切地无法知道在最终显示器中谁将发生逐亮度处理，更不用说内容创建者的意图(其以亮度重新映射函数形状的形式进行编码)了。因此，务实的解决方案是有序进行。

装置/STB将知道的是：它能够在操作中改变一些像素颜色，特别是它们的亮度(例如通过用白色图形箭头像素替换黑暗的街道HDR场景图像像素或者通过将视频像素与白色进行α混合等来进行)，即，知道该事实(所做的事情，即，在其控制下发生的事情，例如，用户是否按下遥控器，从而在用户接口上开始对视频图像与二次图像(在该典型示例中为图形图像(IMG))的图像合成。然后，亮度函数选择单元(505)用作一种选择开关：在没有混合图形的情况下，将不会改变像素颜色(即，IMC＝IMD，其中，D是任选的解压缩图像(类似地，该过程能够作用于不需要解码或解压缩的图像)；在涉及MPEG视频压缩的情况下，则为IMC＝IM))，然后内容创建者的(一个或多个)原始亮度映射函数F_Lt对于所有图像的每个像素都是完全正确的，并且能够简单地传递到显示器(更高级的中间装置可能会计算自己的更好功能的版本，并且可能会计算具有不同像素亮度分布的新图像，但原理保持不变)。但是在图形被混合的情况下，装置501能够替代地在流中放入预定函数(F3)，该函数能够将自身预确定为针对当前或典型图形插入情况的安全函数，或者选择函数集合中的至少一个函数，甚至是先前确定的函数(例如，由装置的开发者在工厂内先前确定的函数)(例如，从存储器中加载1个函数或N个函数中的1个函数)，或者甚至内容创建者可能已经在其传送的常规动态亮度映射函数中添加了运行良好的预定固定亮度映射函数以用于典型的或非典型的图形混合情况(但要考虑当前HDR场景图像的亮度分布细节)，然后STB能够加载并使用创建者侧的预定函数并直接输出该预定函数，或者根据创建者侧的预定函数来确定它自己调节的预定函数(最终用于传送到显示器)。因此，原始内容创建者可能知道也可能不知道这一点(即，他可能没有对他的(一部或多部)电影指定运行良好的后备函数)，但是至少装置501能够选择运行良好的智能函数。智能程度在不同的实施例中也能够不同。简单的实施例可以仅使用单个简单函数，该单个简单函数在一般情况下对图形运行良好或者在至少一个原型图形的插入情况下运行良好(例如，对于白色字幕，该装置可以决定对那些字幕的最终亮度比对任何特定的HDR或SDR图像的各种图像像素的亮度映射行为更为关注。但是更高级的版本可能会调谐要使用的固定的预定亮度映射函数的功能，只要图形被混合或者至少在相当大的混合时间段内对图形与视频像素亮度或颜色之间的关系更为关注即可)。例如，该装置可以尝试在某种程度上遵循动态函数中传送的期望的亮度映射行为，例如，它可以保持亮度映射行为，即，针对最暗像素的函数形状与最初输入的动态亮度映射函数F_Lt的形状相同或相似，但是在提高较亮像素亮度等方面可能需要保持保守性。这通常会产生次优的HDR图像来显示，即，并不完全显示主HDR图像的内容，例如具有在某种程度上较暗的突出显示，例如，路灯(例如，仅增强4倍，即，400尼特，而不是1000尼特)，但是只要至少显示了UI，UI就会显示出合理的显示内容，并且通常HDR视频也仍然相当合理(而且很可能是观看者将专注于UI，同时阅读例如不是最终完美的HDR图像像素亮度的评论或菜单或关于某种视频的信息。装置501能够选择函数F3的形状，使得即使在不考虑最终显示的情况下，其UI颜色平均而言在大多数典型出现种类的HDR图像上看起来也不错(也许图像在较亮显示器上变得更亮，但是这种方法至少能够合理地控制原始视频像素亮度与图形修改的亮度之间的关系，即，例如白色箭头将比图像中的其他典型亮度要亮多少；即，甚至在不考虑最终显示和观看者的眼睛适应性的情况下，仅图像的亮度代码表示中的图形亮度与视频亮度之间的关系就已经很重要了，因此能够通过该装置的更高质量的实施例来更仔细地处理这种关系。

在一些实施例中，所述装置输出固定的预定亮度映射函数，所述固定的预定亮度映射函数的形状被预定为给出可接受的视觉结果，而与所连接的显示器(550)的最大亮度无关。因此，例如如果将字幕置于某个亮度参考水平(例如，100％白色)的90％处，则能够选择不会将视频中可能出现的最高亮度提高到例如150％或200％以上的函数形状。在高端高PB_D HDR显示器上，一些图形可能会变得非常明亮，但是至少由于肉眼能够看到的大量视频像素甚至更亮的关系，因此结果可能不会太令人反感。预定曲线也能够以绝对亮度表示而不是被归一化为1.0的表示(例如，以2000尼特结束其最亮像素(无论是视频还是图形)的映射曲线)来传送，然后，即使是10000尼特的显示器也无法呈现如此亮的图形，因此一些观看者可能会觉得讨厌。

其他实施例可以输出预定亮度映射函数，所述预定亮度映射函数的形状取决于所连接的显示器(550)的最大亮度。这对于相对表示可能是有用的，其中，STB首先简单地轮询显示器的峰值亮度，然后针对最明亮的亮度(例如，针对1000尼特PB_D显示器为输入SDR亮度或100％亮度(即，1.0)，针对2000尼特PB_D显示器为70％，针对3000尼特PB_D显示器为50％，依此类推，或者根据中间装置/STB的制造商所期望的任何分配)结束其映射函数。

所述图像处理装置(301、501)的替代实施例可以在所述输出元数据中传送指示符(FLG)给所述显示器，所述指示符例如为标志或函数类型号，所述指示符指示在显示器被连接并接收所述输出图像(IMC)时要由显示器使用的预定映射函数，所述预定映射函数用于将所述的连接的显示器接收的所述输出图像(IMC)转换为不同亮度动态范围的图像(通常为经显示调整的图像)。更智能的显示器对此很感兴趣。发送良好的预定函数能够服务于任何哑的显示器，任何哑的显示器只能应用其接收到的固定或动态元数据，即，无论装置输出了哪种元数据，更智能的显示器可能都希望自己执行流程的某个部分。通过仅获得对需要安全固定亮度映射的指示，在由相继的图像及其相关标志或其他类似元数据指示的某个时间量内，显示器能够从其自己的存储器中检索固定函数(相同的函数是被装载在装置中还是被装载在显示器中在原则上不是主要区别，然而，在需要更智能的函数确定(例如基于创建者的F_ct或图像属性)的情况下，可能会出现区别，并且还应牢记该装置和显示器能够由不同的制造商制造，因此一些变体可能会比其他变体更好，或者至少要有足够的有序协调)。这样的同步例如在装置和显示器是由同一制造商制造的情况下能够是有用的，因为该整数(使用预定的函数nr.1或nr.2等)能够被传送到显示器，以从其存储器中选择对应的函数，而不是从装置函数存储器中取回函数并将其进行传送(这仍然给出了对以下内容的相同的大致指示：关于装置内部的图形混合所发生的情况，要作为按照视觉质量对显示器内部进行亮度重新分级而应用哪个函数似乎是安全的或者更安全)。通过引用，这相当于函数传递。标志将在例如系统中起作用，这将发现在质量方面单个高度预防性函数就足够了。

一些装置实施例可以与哑的预先存在的HDR显示器一起工作。但也可以有对应的更智能的HDR显示器，例如：

包括动态元数据分析器(551)的显示器(550)，所述动态元数据分析器被布置为当根据本教导的变体中的任一种的图像处理装置被连接到所述显示器的图像输入部(552)时从接收的来自所述图像处理装置的输出元数据读取以下内容：所述图像处理装置已经传送了预定后备亮度映射函数(F3)而不是动态变化的亮度映射函数。如果通过任何机制(例如，标志)指示这种情况，或者通过将动态元数据函数而不是预定的固定函数(即，对于多幅相继的图像将保持固定形状)写入到接收到的视频信号的其他占位符中(例如通过在信号标准中保留代码PRED_FL，然后保留针对该函数的数据(例如，函数形状的多线性表示的坐标0＜[i,j]＜1等))，显示器无法仅应用该固定函数，但也知道该情况并且能够调节另外的行为(例如不进行过多的内部对比度拉伸等)。

显示器(550)识别出在所述输出元数据中存在为传送预定后备亮度映射函数而预定义的第一类型的元数据(MET_1)。

显示器(550)识别出在所述输出元数据中不存在为传送时变亮度映射函数而预定义的第二类型的元数据(MET_2)。这能够检查原始动态亮度映射函数是否不存在。

显示器(550)识别出在所述输出元数据中存在指示符(FLG)，所述指示符指示所述显示器将使用用于转换所述输出图像(IMC)的预定映射函数。

这些装置还具有对应的操作方法。

一种提供用于驱动显示器的高动态范围图像信号的方法，所述方法包括：接收输入图像(IM)和指定至少一个亮度映射函数(F_Lt)的元数据，所述亮度映射函数指定所述输入图像中的亮度与第二图像中的亮度之间的关系，所述第二图像中的最大亮度比所述输入图像中的最大亮度至少高6倍或者所述输入图像中的最大亮度比所述第二图像中的最大亮度至少高6倍，并且所述方法包括：生成二次图像(IMG)的步骤；以及基于所述输入图像的像素颜色和所述二次图像的像素颜色来合成输出图像(IMC)的后续步骤，其特征在于，所述方法包括选择亮度函数的步骤，所述选择的步骤被布置为在没有二次图像的颜色与所述输入图像混合的情况下将所述至少一个亮度映射函数(F_Lt)的副本输出到输出元数据中的元数据输出(507)，并且所述选择的步骤被布置为在所述输出图像与所述输入图像因所述二次图像的一些像素颜色已经被用于改变所述输入图像的颜色而不相同的情况下在所述输出元数据中输出预定亮度映射函数(F3)。

接收装置(例如，显示器(例如，电视))将使用预定亮度映射函数对该方法的输出图像信号中的图像进行转换以导出优化图像。这能够例如是通过使用与较暗亮度相比通常会增强输入图像中的较亮像素亮度的函数对接收到的SDR图像(其确实包含更高的动态范围的亮度信息，因为这样的图像允许大量的亮度拉伸以获得接近对应的HDR场景的原始HDR表示图像的图像)进行升级。但是，该函数也能够用于从接收到的(一幅或多幅)HDR图像降级(例如通过接收1000尼特PB_C图像并降级以获得(一幅或多幅)用于500尼特PB_D显示器的图像等)。

一种接收图像信号的方法，所述图像信号包括相继的像素化图像，所述像素化图像包括具有颜色的像素，所述颜色具有亮度，并且每幅图像具有至少一个亮度映射函数(F_Lt)，所述方法包括通过从接收的元数据读取以下内容来分析所述亮度映射函数(F_Lt)针对相继的图像是动态变化的还是预定且固定的：根据图像处理装置实施例中的一个所述的图像处理装置已经传送了预定后备亮度映射函数(F3)而不是动态变化的亮度映射函数，所述接收的元数据是来自耦合的所述图像处理装置的输出元数据。技术人员能够从我们的教导中找到灵感，从而在实践中能够以各种(通常是标准化的)方式来传送/协调该灵感，例如，某个描述符能够识别亮度映射函数是哪种类型(动态的或固定预定的)(通常针对多幅相继的图像，但是替代地也能够为相继的图像中的每幅图像发送函数和对应的描述，然后能够传送这种情况，而实际上不需要针对特定的固定预定函数的适用性的持续时间信息)，或者能够在图像信号的元数据中保留不同的占位符，例如，包含例如LUT定义的可变亮度映射函数的第一部分，以及实现传送根据应用的实施例中的任一个的预定函数的可能性的第二占位符(因此实际上传送图形或通常为二次图像“修改”情况)等。

附图说明

参考下文描述的实施方式和实施例并参考附图，根据本发明的方法和装置的这些方面和其他方面将是显而易见的，所述附图仅用作例示更多一般概念的非限制性特定图示，并且附图中的虚线用于指示部件是任选的，非虚线部件不一定是必不可少的。虚线也能够用于指示那些被解释为必不可少但隐藏在对象内部的元件，或者用于指示无形的事物，例如，选择对象/区域(以及它们被如何显示在显示器上)。

在附图中：

图1示意性地图示了当将高动态范围图像最优地映射到对应的最优颜色分级的且看起来相似的(第一动态范围DR_1与第二动态范围DR_2的差异是期望和可行的)低的或更精确的标准动态范围图像(在可逆性的情况下，该标准动态范围图像还对应于从对HDR场景进行编码的SDR图像到该场景的重建HDR图像的映射)时发生的许多典型的颜色变换；

图2示意性地图示了对高动态范围图像进行编码的技术的示例，高动态范围图像通常能够具有至少700尼特的亮度(即，SDR图像的PB_C的至少7倍)或更高(通常为1000尼特或更高)亮度，它是申请人最近开发的，其实际上将(一幅或多幅)HDR图像作为SDR图像加上元数据编码的颜色变换函数进行传送，该元数据编码的颜色变换函数至少包括适当确定的针对像素颜色的亮度变换，该元数据编码的颜色变换函数要由解码器使用以将(一幅或多幅)接收到的SDR图像转换成(一幅或多幅)HDR图像，这些图像是对在图像创建侧创建的(一幅或多幅)原始主HDR图像的忠实重建；

图3示出了一种系统，其中，能够进行图像处理以改变一些像素亮度的中间装置位于来自内容创建者的图像源与进行最终亮度映射以在显示器上获得漂亮的输出图像的显示器之间；

图4示意性地阐明了在任意混合例如具有视频的图形小图像(例如，UI窗口)时的一些问题，一方以后会应用随时间变化很大的亮度映射；

图5在一个概览视图中示出了根据本发明的一些可能的技术装置；并且

图6阐明了可缩放的两层类型的可能的现有技术HDR视频编码的一些概念。

具体实施方式

我们用图3来阐明本发明的一些方面。存在内容创建装置301，读者可以不受限制地认为内容创建装置301是创建并传送视频图像的转播车中的广播电视台的(一个或多个)视频装置，或者是计算机图形生成公司的(一个或多个)计算机等。所创建的编码视频图像IM(例如，Rec.709编码SDR图像；或者替代地是SMPTE 2084EOTF编码HDR图像等)和函数F_ct_or(“或”指示为原始的，因为根据基于函数的HDR图像编码，这是属于要输出的像素化图像的(一个或多个)函数，其能够在接收站点处计算不同动态范围的至少一幅图像)对亮度重新映射以获得不同动态范围的图像(例如在例如有线电视视频传送系统的接收侧处由通道传送和接收的SDR图像表示的情况下为对原始主HDR图像的重建)是必须的。该F_ct_or是由原始内容创建者指定的颜色变换或特定的亮度映射函数(其示出如何(例如通过接收侧计算)基于在亮度映射函数形状F_ct_or编码的特定亮度处理方向对内容创建者的内容进行亮度调整以获得看上去仍然最优的图像，该亮度映射函数形状F_ct_or指定应当如何将对应的特定HDR场景图像的亮度重新分级为例如100尼特SDR图像，在例如750尼特显示器峰值光亮度PB_D上呈现对应图像的多少亮度)，并且在视频传送介质302上传送元数据(例如由内容创建装置输出的SEI消息)。现在我们将假定该介质是便携式存储器，特别是蓝光光盘(BD)，但是熟悉的读者能够通过卫星电视连接或互联网连接等类似地呈现图像。

在BD上存储的视频将不会被直接输入到显示器305(例如，HDR TV)，而是会被输入到中间图像处理装置303，中间图像处理装置303通常在操作中经由第二视频传送接口304(例如，HDMI线缆或无线连接等)被连接到显示器(这引起了一个有趣的额外问题，即，中间装置能够进行一些图像处理操作，否则直接向显示器供电时，该显示器将发生任何操作)。在该BD示例中，中间图像处理装置303将是BD播放器，但是本领域技术人员能够理解，相同的技术如何能够类似地体现在STB或计算机等中。用虚线矩形形象地示出中间图像处理装置303通常位于与显示器(通常是最终观看者的房子)相同的位置的事实。

现在将利用图4来进一步说明这些问题。我们示出随时间变化的亮度映射的典型示例，它随视频图像的顺序相继拍摄而变化，对应于电影中的各个HDR场景的亮度特性的变化(有关更多信息，除了本申请中给出的简单说明之外，读者可参考WO2012035476)。有人可能认为SDR＜＞HDR转换相对简单，但是在这个简单的示例中，人们已经从亮度映射函数形状中发现动态范围重新映射具有通用性。

在图4A中，我们看到HDR场景的示例，根据该HDR场景将示出相继的图像。人从夜间街道的全景街道场景走进一间光线明亮的房屋，其中只示出内部构图框(通过窗户看到的外面的东西能够被剪成黑色)。或者，相关的问题会发生在人从白天中午的户外环境行走到室内较暗但仍不太暗的环境时。

在图4B中，我们给出在左侧轴上的HDR亮度L_HDR(假定典型的HDR10范围最大为PB_C＝10000尼特)与右侧轴上的(被标准化为1.0的)SDR亮度之间的亮度映射需求(即，对应的映射函数形状)的一些示例(例如，由内容创建者的颜色分级者决定的艺术性)。

例如，如果人类有白色衣服，则对于白色对象，他能够是很好的参考亮度对象(但是，当他在更暗的环境与更亮的环境之间行走时，该参考亮度会发生变化)。

在室内光线充足的情况下，人可能会遇到接近SDR的情况(实际上，如果房间光线充足，通常已知SDR表示效果很好，但是对于一些太暗的角落，它可能会映射到看不见的黑色或一些剪裁灯等，因此颜色表示和/或SDR中的显示错误都不太成问题。因此，人的亮度能够达到SDR白色水平，即，能够将人的衣服的白色映射为接近或确切为100尼特。那将是：在传送的SDR图像中为100尼特(并且如果照度也是如此而在HDR图像中也对应于100尼特的亮度水平，那么SDR图像似乎能够很好地表示HDR图像，至少对于部分当时的情况是如此)。

换句话说，在这种情况下，也可以使人的白衬衫像素在(可在接收侧重建，或者在创建侧管理)HDR图像中的亮度为+－100尼特，这碰巧是等亮度映射。在图4C的归一化函数规范中(即，亮度映射函数在归一化的SDR亮度和HDR亮度之间等效定义，最大能够达到1.0)，这种行为对应于第一映射函数420，第一映射函数420具有(相对)调暗字符。例如，如果HDR图像的PB_C为1000尼特(即，对应于1.0的实际亮度)，则对于所有可能的SDR输入亮度，第一映射函数420对应于调暗/10(因为100尼特白衬衫是1000尼特HDR图像PB_C的亮度的1/10)(这意味着在100尼特以上的HDR图像中没有任何东西，对于该示例来说，在0.1以上的HDR图像中没有任何东西；如果我们有动态范围不是太高的均匀照亮场景表示的HDR图像，则可能确实是上述情况；在实践中可能会有一些更明亮的离群值，但是这些值的映射可以取决于SDR图像如何表示它们(例如，裁剪))。在图4B中，用虚线的亮度重新分配箭头410示意性地表示白色人服装的对应映射。

然而，如果人走到外面，则夜间街道会同时具有非常暗的角落和例如路灯(和靠近它们的对象，如墙壁)的高亮度像素。因此，必须将亮度的这一较高动态范围压缩到同样小的0.1-100尼特SDR范围。人将需要将人在SDR范围内的相对亮度调暗(箭头411)，以便为路灯(箭头412)等较亮的对象获得空间。通常得到凸函数，该凸函数在解码侧(即，从接收到的SDR图像到HDR_1000图像的映射)是反函数，其看起来像是强烈增加的凹的第二亮度映射函数421(例如由针对最暗和最亮的像素的线段定义)。显然，这是一个形状完全不同的函数，具有相当不同的视觉行为，但是它对应于随时间相继拍摄的图像。

从场景对象的角度来看，内容创建者将优化这些函数，从而使整个电影看起来不仅是逐图像优化的，而且在时间连续上也是优化的。例如，如从针对第一函数420的HDR亮度范围的看似奇怪的低使用情况能够看到，这生成了与人在户外行走时相似的HDR像素亮度，然而，在SDR图像中，人非常明亮，并且对于室内图像和室外图像均可见。能够调谐这些函数以使人看起来类似，当他移动到SDR图像和HDR图像中的场景的较暗区域或较亮区域时，进行一定程度的调暗或调亮并进行协调，并且原则上内容创建者能够指定每个时刻所需的任何函数形状的能力，这能够满足这两个分级在艺术上需要的关系。因此，对于该视频内容，场景像素看起来是“完美的”。

然而，当中间图像处理装置303开始创建新的像素值时会发生问题，该创建过程能够智能地完成(例如，预期以后的典型或实际的亮度修改行为)，但是经常以固定的方式来完成，而对函数亮度重新分级的特定色度方面视而不见(通常，BD播放器可能想要改变SDR图像，但是只是将函数传递给显示器，以使该显示器进行所需的SDR到HDR转换或其他不同动态范围的图像的生成)。

假定BD播放器叠加指示其用户接口状态的图形元件402。为了简单起见，假定它只是像素替换，但是如果例如涉及透明度(例如α乘以图形亮度+(1-α)乘以基础HDR场景图像亮度的混合，甚至是诸如淡入淡出的时间效应)，则该过程会变得更为复杂。

通常UI设计者会将图形元件402中的箭头(即，小图像)例如给出为白色。当UI的设计者指定白色时，他隐含地想到了SDR白色(即，亮度255显示为100尼特，因此传送的SDR图像为1.0值，即，该人的衬衫至少在对应于一些照明区域的一些图像中)，他甚至可能都不知道在HDR图像编码或显示中可能会有几种完全不同的白色。在使用函数420的情况下，一切都会顺利进行，因为箭头将在重建的HDR图像上显示为100尼特。然而，如果F_Lt在另一时间点变为函数421，则显示器会将SDR图像中被定义为白色的所有颜色增强到HDR图像的峰值光亮度，即，1000尼特。对于HDR场景图像中的对应对象(例如，灯)，1000尼特可能是合理的值，但是箭头将开始过度发光。更令人不安的是，每次能动态改变的亮度映射函数形状改变时，它都会开始闪烁，变得更加明亮或暗淡，在该示例中已经是原来的10倍(并且可能不适用于例如用户接口菜单、字幕等，因为它不利于提高可读性)。

图5在一个整体系统配置中简要地示出了本发明构思的一些可能的实施例。

本发明能够仅在中间图像预处理装置(501)中实现，在这种情况下，能够连接标准例如HDR TV，这并没有意识到发生了什么特别事件的事实。然后，它将仅应用新的替代的亮度映射函数F3(即，代替通过随时间动态变化的，针对(一幅或多幅)当前图像的最优确定的亮度映射函数F_Lt，装置501传送(后备)函数F3，虽然对于当前的HDR场景图像不是最优的，但实际上已足够起作用；观看者可能正在查看菜单信息，因此对周围的视频亮度的要求不那么严格)。对于这个问题，将没有很好的理论解决方案，因为图形位置能够创建任何种类的亮度，对于相同的输入亮度值(图形内部)，图形位置需要另一输出亮度，而不是针对其中没有图形驻留的基础视频的类似值(例如人可能想提高灯的亮度，而不是白色箭头)的输入亮度的输出亮度(即无法通过一维亮度映射函数完美实现)。实际上，将需要设计复杂的新的亮度协调技术，例如在背景技术中描述的WO2017089146A，但这可能并不总是可行的，例如在制造商想要保持简单的装置中就是如此。但是装置501能够至少确保其(在至少一个元数据中)传送函数，该函数至少能够保证图形像素，即使将近100％的像素与基础视频(即，不透明)混合时也不会变得太亮，特别是图形像素的输出亮度不会随时间变化太大。例如。当参考图4时，显示器(或通常连接到中间装置501的装置)能够使用如下线性函数，该线性函数类似于函数420，但是高三倍，即，将1.0的SDR输入亮度(L_in_SDR)映射到HDR输出亮度L_out_HDR＝0.3。这样能够使SDR图像的HDR版本变得非常明亮。但不是带有令人讨厌的明亮图形元素，特别是由于该函数一直用于相继的图像，因此不会出现闪烁(视频亮度可能会有所变化，但是对于该图形显示场景而言，这不会那么令人讨厌，并且视频变化是自然的且仅预期的，因此现在显示的HDR外观要比理论上最优的HDR外观更好。更复杂的函数将具有像函数421一样的凹形形状，即，大多数情况下使图像的较亮像素变亮，但最大值不会映射为1.0，而是映射到例如0.3(至少对于1000尼特PB_D显示器)。

该函数能够例如具有带有两条线段的形状，从这两条线段的确定点(L_in_SDR_t)处开始增强突出显示。在一些实施例中，中间装置可以应用一定的智能性，例如当使用磁盘媒介时，它能够做一些先行检查以检查相继的(例如2分钟)图像需要哪种图像函数，并且基于此来使用一些平均函数作为预定函数，例如尝试使较暗的亮度保持合理呈现(不要太亮或太淡)，并且不要使较亮的亮度提升得过高，而且在对象间的对比度很小的情况下也不要太暗。或者它可以只使用制造商在实验室中预先设计的简单函数，已知该函数能够在视频情况下为所有或大多数图形提供合适的显示行为(该函数可能取决于图形类型，例如，小徽标相对于视频的大部分重叠的大窗口)。

对于取决于显示器的PB_D的函数，最暗像素段的角度能够取决于PB_D(并且在通过预先约定的算法确定的情况下，由于显示器已经知道它自己的PB_D和预先约定的算法，因此应当仅将以下标志传送到显示器：该标志指示必须将这样的函数应用于输出图像IMC以制作其HDR版本。

在一些情况下，显示器可以将其PB_D值传送给装置501以根据PB_D做出良好的后备函数，然后例如传送该函数的确切形状(例如能够通过在元数据中对LUT进行编码或者提供许多参数来唯一指定函数形状)。

图像处理装置(图3中的301和图5中的501)具有输出图像连接部(506)和输入部(510)，所述输出图像连接部用于连接到显示器(550)，所述输入部用于接收输入图像(IM)和指定至少一个亮度映射函数(F_Lt)的元数据，但是在一些实施例中，输出连接部也可以是双向的，以反馈来自显示器的信息(或者可以针对显示器的有第二输入)。通常(但是任选地)，输入图像可以以MPEG压缩(例如，HEVC)的形式出现，在这种情况下，HEVC解码器503将它们解码为带有具有像素亮度的像素颜色的普通像素图像(IMD)。如果输入来自BD，则已经在BD中刻录了亮度映射函数并从BD中读取了亮度映射函数等。在一些情况下，输出图像可能未被压缩，但是该原理也适用于将压缩图像传送到显示器。

图像处理装置(301、501)能够输出固定的预定亮度映射函数，所述固定的预定亮度映射函数的形状被预定为给出可接受的结果，而与所连接的显示器(550)的最大亮度无关。能够以绝对方式指定函数，并且该函数指示例如以1000尼特结束，甚至对于5000尼特显示器也是如此。

这可能意味着图像的对比度不是最优的，但是能够将函数设计为例如映射最暗的像素，使得其至少可见(例如将接收到的HDR图像降级为较低的动态范围)，或者，例如对最暗的像素使用等亮度方法(例如，最高为标准化SDR亮度的0.3)。该装置能够在无需看图像的情况下对在显示器应用其预定亮度映射函数F3时单独图形看起来是什么样的假定。

图像处理装置(301、501)能够替代地输出预定亮度映射函数，所述预定亮度映射函数的形状取决于所连接的显示器(550)的最大亮度。这有助于例如维持最暗图像区的较好暗度以及协调显示器上的UI外观的明亮程度等。

装置501将情况实际传送给显示器的方式有许多种，这取决于人希望对例如HDMI接口进行标准化的方式。例如，能够同意仅传送要应用的亮度映射函数(单个元数据)，然后显示器将盲目地应用它，并依靠装置501来安全地选择它。

或者，能够在两种不同类型的元数据中交替传送，MET_1用于预定后备函数，而MET_2用于传送动态变化的函数的情况，在这种情况下，显示器能够利用其动态元数据分析器(551)来检查情况，该动态元数据分析器被布置为识别连接到其图像输入部(552)的图像供应装置已经传送了预定后备亮度映射函数(F3)的情况。

这样的元数据分析器(551)还能够看到是否已经填写了指示符，该指示符指示应当应用预定后备亮度映射函数，即使没有传送该函数的形状而是显示器知道该函数的形状也是如此，因为普遍预先同意(由该指示符所指示，例如，Fallback_type_1)。

所要求保护的图像处理装置(301、501)能够额外地或替代地将诸如标志或函数类型号之类的指示符(FLG)传送到显示器(例如，预定函数形状中的三分之一，适用于一些类型的图像混合和/或原始视频亮度分布)，从而指示显示器将使用预定映射函数将其接收的输出图像(IMC)转换为不同亮度动态范围的图像。

但是，除了服务于转储显示器的中间装置之外，本发明的一些方面还能够得到更高级的显示，并且中间装置的实施例也能够被设计为与这样的更高级的显示器一起工作。这样的显示器(550)可以包括动态元数据分析器(551)，所述动态元数据分析器被布置为识别被连接到所述显示器的图像输入部(552)的图像供应装置已经传送了预定后备亮度映射函数(F3)的情况，例如，所述显示器可以识别出：为传送预定后备亮度映射函数已经被填充而预定义的第一类型的元数据(MET_1)，或者为传送时变亮度映射函数没有被填充(没有优化的元数据，意味着将有后备元数据)而预定义的第二类型的元数据(MET_2)。

注意，我们为了简化理解而教导函数，而在一些实施例中，还能够传送用于图像(时刻)的函数集合，这些函数能够串联使用，但这不会在很大程度上改变我们的新技术的本质。亮度是三维颜色特征的一个维度，因此可能会出现其他颜色处理方面，并且在不同的颜色表示形式中会有所不同，但是能够通过关注亮度行为来完全阐明本发明。装置501是否以亮度表示来混合其像素是与通用当前教导无关的任选细节，但是装置有时可能会通过连接(例如通过HDMI)向显示器发送未压缩的视频。如果装置通过根本不传送元数据来传送其后备情况，则显示器还可以通过应用固定的预定映射函数来理解这一点。

在实践中，本文中公开的算法部件可以(全部或部分)被实现为硬件(例如，专用IC的部分)或者被实现为在专用数字信号处理器或通用处理器上运行的软件等。

从我们的介绍中，本领域技术人员应当理解，哪些部件可以是任选的改进并且能够与其他部件结合实现，以及方法的(任选)步骤如何对应于装置的对应单元，反之亦然。在本申请中，词语“装置”以其最广泛的含义(即，一组允许实现特定目标的装置)来使用，因此能够例如是IC(的小电路部分)，或者能够是专用装置(例如，具有显示器的装置)，或者能够是联网系统的部分等。“布置”也应在最广泛的意义上使用，因此它可以具体包括单个装置、装置的部分、协作装置(的部分)的集合等。

应当将计算机程序产品符号理解为涵盖使得通用或专用处理器在一系列加载步骤(其中可能包括中间转换步骤(例如，翻译成中间语言和最终处理器语言))之后能够将命令输入到处理器中并运行本发明的特征函数中的任一种的命令集合的任何物理实现方式。特别地，该计算机程序产品可以被实现为载体(例如，磁盘或磁带)上的数据、存储器中存在的数据、经由有线或无线网络连接传输的数据或纸上的程序代码。除了程序代码之外，程序所需的特征数据也可以被体现为计算机程序产品。

该方法的操作所需的一些步骤可能已经存在于处理器的功能中，而不用在计算机程序产品中进行描述，例如，数据输入和输出步骤。

应当注意，上述实施例说明而非限制本发明。在技术人员能够容易地实现所呈现的示例到权利要求的其他区域的映射的情况下，为简洁起见，我们没有深度提及所有这些选项。除了如权利要求中组合的本发明的元件的组合之外，这些元件的其他组合也是可能的。元件的任何组合能够在单个专用元件中实现。

权利要求中的括号之间的任何附图标记都不旨在限制权利要求。词语“包括”并不排除权利要求中未列出的元件或方面的存在。元件之前的词语“一”或“一个”并不排除多个这样的元件的存在。

Claims (10)

1.一种图像处理装置(301、501)，具有输出图像连接部(506)和输入部(510)，所述输出图像连接部用于连接到显示器(550)，所述输入部用于接收输入图像(IM)和指定至少一个亮度映射函数(F_Lt)的元数据，所述亮度映射函数指定所述输入图像中的亮度与第二图像中的亮度之间的关系，所述第二图像中的最大亮度比所述输入图像中的最大亮度至少高6倍或者所述输入图像中的最大亮度比所述第二图像中的最大亮度至少高6倍，并且所述图像处理装置包括图形生成单元(502)和图像合成单元(504)，所述图形生成单元被布置为生成二次图像(IMG)，所述图像合成单元被布置为基于所述输入图像的像素颜色和所述二次图像的像素颜色来合成输出图像(IMC)，其特征在于，所述图像处理装置包括亮度函数选择单元(505)，所述亮度函数选择单元被布置为在没有二次图像的颜色与所述输入图像混合的情况下将所述至少一个亮度映射函数(F_Lt)的副本输出到输出元数据中的元数据输出(507)，并且所述亮度函数选择单元被布置为在所述输出图像与所述输入图像因所述二次图像的一些像素颜色已经被用于改变所述输入图像的颜色而不相同的情况下在所述输出元数据中输出预定亮度映射函数(F3)。

2.根据权利要求1所述的图像处理装置(301、501)，所述图像处理装置输出固定的预定亮度映射函数，所述固定的预定亮度映射函数的形状被预定为给出可接受的视觉结果，而与所连接的显示器(550)的最大亮度无关。

3.根据权利要求1所述的图像处理装置(301、501)，所述图像处理装置输出预定亮度映射函数，所述预定亮度映射函数的形状取决于所连接的显示器(550)的最大亮度。

4.根据前述权利要求中的一项所述的图像处理装置(301、501)，所述图像处理装置在所述输出元数据中传送指示符(FLG)，例如，标志或函数类型号，所述指示符指示在显示器被连接并接收所述输出图像(IMC)时要由所述显示器使用的预定映射函数，所述预定映射函数用于将所述的连接的显示器接收的所述输出图像(IMC)转换为不同亮度动态范围的图像。

5.一种显示器(550)，包括动态元数据分析器(551)，所述动态元数据分析器被布置为当根据前述权利要求中的一项所述的图像处理装置被连接到所述显示器的图像输入部(552)时从接收的来自所述图像处理装置的输出元数据读取以下内容：所述图像处理装置已经传送了预定后备亮度映射函数(F3)而不是动态变化的亮度映射函数。

6.根据权利要求5所述的显示器(550)，所述显示器识别出在所述输出元数据中存在为传送预定后备亮度映射函数而预定义的第一类型的元数据(MET_1)。

7.根据权利要求5所述的显示器(550)，所述显示器识别出在所述输出元数据中不存在为传送时变亮度映射函数而预定义的第二类型的元数据(MET_2)。

8.根据权利要求5所述的显示器(550)，所述显示器识别出在所述输出元数据中存在指示符(FLG)，所述指示符指示所述显示器将使用用于转换所述输出图像(IMC)的预定映射函数。

9.一种提供用于驱动显示器的图像信号的方法，所述方法包括：接收输入图像(IM)和指定至少一个亮度映射函数(F_Lt)的元数据，所述亮度映射函数指定所述输入图像中的亮度与第二图像中的亮度之间的关系，所述第二图像中的最大亮度比所述输入图像中的亮度至少高6倍或者所述输入图像中的亮度比所述第二图像中的最大亮度至少高6倍，并且所述方法包括：生成二次图像(IMG)的步骤；以及基于所述输入图像的像素颜色和所述二次图像的像素颜色来合成输出图像(IMC)的后续步骤，其特征在于，所述方法包括选择亮度函数的步骤，所述选择的步骤被布置为在没有二次图像的颜色与所述输入图像混合的情况下将所述至少一个亮度映射函数(F_Lt)的副本输出到输出元数据中的元数据输出(507)，并且所述选择的步骤被布置为在所述输出图像与所述输入图像因所述二次图像的一些像素颜色已经被用于改变所述输入图像的颜色而不相同的情况下在所述输出元数据中输出预定亮度映射函数(F3)。

10.一种接收图像信号的方法，所述图像信号包括相继的像素化图像，所述像素化图像包括具有颜色的像素，所述颜色具有亮度，并且每幅图像具有至少一个亮度映射函数(F_Lt)，所述方法包括通过从接收的元数据读取以下内容来分析所述亮度映射函数(F_Lt)针对相继的图像是动态变化的还是预定且固定的：根据前述图像处理装置权利要求中的一项所述的图像处理装置已经传送了预定后备亮度映射函数(F3)而不是动态变化的亮度映射函数，所述接收的元数据是来自耦合的所述图像处理装置的输出元数据。

Images