CN103891294B - 用于hdr图像编码和解码的装置与方法 - Google Patents

Abstract

为了允许改进高动态范围图像编码，我们描述了一种图像编码单元（551），该单元被设置为对高动态范围图像（IM_HDR‑in）进行编码，包括：‑第一接收器（901），其用于接收较低动态范围（SELR）；‑第一代码映射单元（904），其被设置为在第一图像（Im_1）中使用所述较低动态范围（SELR）内的亮度对所有高动态范围图像（IM_HDR‑in）像素进行编码；‑第二接收器（902），其用于接收最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1）中编码的亮度需要再次进行冗余编码的量；‑图像处理单元（903），其被设置为根据所述最大冗余（MAXRED）判定所述高动态范围图像（IM_HDR‑in）的哪些像素需要在第二图像（Im_2）中进行编码；‑第二代码映射单元（905），其被设置为在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像（IM_HDR‑in）的所述像素的亮度进行编码；以及‑格式器（906），其被设置为输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2），以及诸如代码转换器，解码器，信号等的相关实现。

Description

用于HDR图像编码和解码的装置与方法

技术领域

本发明涉及用于改善的图像编码的装置、方法以及诸如数据存储产品或编码信号之类的最终产品，尤其适合于HDR场景中的图像。

背景技术

图像/视频编码（不论已捕捉的场景还是计算机图片）已经有了新的发展，即，需要更好地捕捉本质上发生的对象亮度和颜色的整个范围，这称为HDR（高动态范围）编码。出于多种原因，至少在今后的数年内，我们可能需要某种形式的后向兼容性，这意味着所谓的低动态范围（LDR）编码的数据必须可用，具体是指以其一贯的方式可用。而且，本文将示出，这甚至可能在更长的时间内表现出其实用性。发明人认识到，具有LDR编码的基本原理是尽管涌现出不断增加的动态范围显示（高端），但是也存在大量低动态范围显示片段（例如，室外环境中的手机、投影等）。

HDR场景的捕捉和编码可以看上去非常直接，即，仅将诸如CCD或CMOS之类的线性图像传感器指向HDR场景，并且直接记录包括亮度信息的线性颜色信号（注意，在没有技术混淆的情况下，我们可以将亮度和颜色作为同义词使用，并且例如在亮度分量实际很高时称为亮色）。但是，HDR成像链更复杂，因为最终HDR图像数据必须在诸如电视之类的呈现设备上呈现（render），并且呈现与原始场景被极为复杂的精神性视觉人类视觉系统看到，这考虑了所有种类的图像、环境，甚至其它条件，例如观察者的心情、生物因素等。

从物理（色度）方面讲，室外场景的晴朗天空的亮度为6000 nit，该场景中的对象亮度为300 nit（对比度CR为20:1）。只有这样的对象才可“忠实地”呈现在如500 nit白的标准电视上（如果作为简单的忠实度标准，我们使用精确的亮度复制，但即便放弃呈现设备功能，此类亮度编码值或呈现策略本身基本毫无意义，因为还涉及人类视觉条件，即，尤其是观察环境，这些条件会赋予所呈现的特定亮度以各种实际的明暗感觉，这些感觉甚至依赖于诸如所呈现对象周围的图像像素颜色值之类的条件等）。人们在实践中实际寻求的一种规格稍低的呈现标准为“逼真度”（例如，也许如果晴朗的天空相对地在亮度为对象20倍的客厅电视上呈现，无论实际在显示器上呈现的实际绝对亮度是多少，图片都可被视为足够逼真）。现在，相同的场景还必须在电影院中以屏幕白度仅为25 nit并且对比度/动态范围为200:1（帧内）的条件逼真地呈现（即，被人脑拟真地解释为晴朗的室外场景）。

当捕捉到具有高对比度的HDR场景（例如，具有不同的子环境的复合场景）时，会令人关注。例如，由于室外亮度可以轻易达到室内亮度的100至1000倍（即，当摄像机被置于黑暗的长廊内，透过窗户观察外面晴朗的子环境），因此，相同的已捕捉场景图像像素表示4nit室内对象，以及4000 nit室外对象。这种对比度已经达到许多图像传感器所能线性捕捉的图像的极限（最大井（well）与噪声），但是肯定高于许多呈现技术的动态范围（例如，在光环绕下观看电视以及打印一般近似地具有40:1的动态范围）。另一方面，还可以想象例如人脑实际不会太多的注意光源是（精确地）场景中反射白对象的20倍还是1000倍，只要在呈现时能够可靠地看上去像亮光源即可。因此，在一方面的已捕捉场景端的简单线性光数学运算（注意，我们忽略伽马0.45之类的问题并且考虑在显示端的倒置视图上基本仍存在线性连接的信号链）与呈现端上用于人类观察的图像再现的复杂非线性本质之间存在张力或操作空间。这样也可以形成用于设计中间技术（例如，图像或视频编码技术、图像转换等，例如图像增强等）的操作空间。

除了如何捕捉所有可能的场景（在文本中忽略诸如遮蔽暗区记录的镜头光晕之类的问题等）之外，良好的图像编码需要“充分地”（即，逼真地，例如可靠地）表示所有这些本质的或人工产生的场景（图像可以具有许多类型，从低对比度水下场景到需要高精度的冰结构的捕捉，再到音乐会记录中的高辉度光和激光秀，甚至再到计算机产生的燃烧外星世界的图像，或科学方案的信息图等）。“充分地”表示至少表现场景对象的足够详细信息，以便逼真地呈现多数场景（即，根据诸如场景中的对象可轻易识别，或者场景传递特定心情等质量标准，至少对于场景的重要部分/对象，至少在呈现技术允许的程度上，使所呈现的场景看上去与原始场景极为相似）。并且优选地，对象信息进一步地编码在可轻松管理的结构中，例如，用于图像处理，或者在多个装置或应用之间共享等。

此外更具体地说，并非最优地单独编码HDR图像，需要针对相同场景中的低质量LDR表示（该LDR图像将在LDR呈现设备上按需要呈现，或者至少可接受地呈现）编码HDR图像。需要指出，在现有技术中，HDR图像实际上在几何方面具有与LDR图像相同的图像/捕捉，但是可以构想HDR编码机制仅编码有关相同场景（即，例如场景上不同视图之类的不同图像）的HDR信息。发明人认识到具有多个可用的场景编码变体，例如，LDR变体，允许在使用端更轻松地处理数据，例如更轻松地映射到LDR显示器的显示驱动值。

现有技术教授了基于一类可扩展编码概念的某些HDR编码技术，其中通过某种预测，细化LDR编码局部纹理的精度，或者更精确地说，投影到该纹理的HDR版本，然后将原始HDR图像与预测的差别联合编码为具有所需程度的增强图片。例如，可以通过除以8（不仅标准化为新范围，而且因而一般还降低精度），将HDR灰度值1168表示为值146。该HDR值可通过乘以8再次创建，但是由于值1169将量化为相同的基层值146，因此需要等于1的增强值能够重新创建高质量HDR信号。此类技术的实例在专利EP2009921 [Liu Shan等人所著的“Mitsubishi Electric: Method for inverse tone mapping (by scaling andoffset)”]中进行了描述。在这些编解码器的的理论中，反色调映射预测模型（它是标准乘法器的智慧型等价物）应该足够地精确以呈现非常精确的HDR外观，将对该外观应用细微的校正（实际上，如果使用非线性函数将一个范围内的可能值投射到另一范围，则除了精度问题之外，原始范围值应该都可恢复）。

当前的HDR编码的技术问题在于考虑到许多应用驱动的编码需求（不仅是具有少量描述性数据位与所有复杂场景对象纹理的高视觉质量的典型图像压缩标准，而且例如还可以在多种使用情形的至少一部分中简化编码数据的使用），需要不依赖于此类预测情形的编码。具体而言，具有以下特征的系统可能需要编码：其已有数据结构的本质类似于双图片编码（例如，蓝光或广播上的3D编码具有左图片和右图片）或者属于双图片编码类型。这些图片可以具有相同的结构（例如，1920x1080像素，8位等），或具有不同的结构（例如，第一图像具有1920x1080像素，8位，第二图像具有720x576像素，12位）。

发明内容

通过本发明的实施例概念，可以实现简单且易于使用的HDR图像编码，其中遵循有关图像编码单元（551）的原理，该单元被设置为对高动态范围图像信号（IM_HDR-in）进行编码，包括：

- 第一接收器（901），其用于接收较低动态范围（SELR）；

- 第一代码映射单元（904），其被设置为在第一图像（Im_1）中使用所述较低动态范围（SELR）内的亮度对所有高动态范围图像信号（IM_HDR-in）像素进行编码；

- 第二接收器（902），其用于接收最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1）中编码的亮度需要再次进行冗余编码的量；

- 图像处理单元（903），其被设置为根据所述最大冗余（MAXRED）判定所述高动态范围图像信号（IM_HDR-in）的哪些像素需要在第二图像（Im_2）中进行编码；

- 第二代码映射单元（905），其被设置为在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像信号（IM_HDR-in）的所述像素的亮度进行编码；以及

- 格式器（906），其被设置为输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2）。

尽管在由最大冗余所确定的两个图像中编码的亮度存在某种重叠，但是主要目的是第二代码映射单元905在Im_2中进行编码，并且主要对尚未在Im_1中编码的那些IM_HDR-in的亮度进行编码，或者至少对尚未精确编码的亮度进行编码，例如，因为场景捕捉或原始RAW HDR图像亮度的宽范围仅通过Im_1中很少的编码表示。基本上，由于亮度范围具有嵌套本质，因此亮度落在LDR亮度范围内的所有场景对象将已被编码。如果它们已被充分地编码，则无需再在HDR信息第二图像中进行编码，即，存在最大冗余。但是，具有两个可用的图像数据结构使得例如电影后期制作地点的调色者（grader）能够使用更多非常高级的功能。例如可以选择在LDR信号中非常粗糙地对场景中的阴暗部分进行编码（例如，通过调整（clip）或仅使用一些独特的编码值的粗糙表示），然后选择在第二图片中以改进度非常高的方式记录相同的场景对象或区域。分配可以针对其它原因，而非基础场景对象纹理的单纯信息技术存储，即，可以通过两种图像编码技术传递进一步的信息，例如，针对HDR显示器上特定的较暗或较亮区域的不同分级。但是，需要每个像素的单一亮度值的单个图像编码可能只包括特定场景区域的双汇编，例如，通过像素交错空间二次取样（subsample）方法（first_grade_luma，second_grade_luma，first_grade_luma, …），具有两个或更多个可用图片记忆来表示场景，可实现功能更多的编码策略以及对应的使用。最大冗余例如还可以是规定一对在两个图像中编码的特定关键亮度的结构，例如用于识别所包括的对象。

除了其它之外，包括本发明的教导的进一步实施例、变体和备选实现还包含：

图像编码单元，其中最大冗余（MAXRED）包括亮度等级规范，并且所述图像处理单元（903）被设置为将所述高动态范围图像（IM_HDR-in）的亮度与所述亮度等级规范进行比较并从中判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在所述第二图像（Im_2）中进行编码。

图像编码单元，其中所述第一代码映射单元（904）进一步被设置为优选地与范围判定单元（950）协作根据参考LDR显示器上的Im_1中编码的数据的呈现质量的质量标准（Qcrit），判定所述第一图像（Im_1）中的所述高动态范围图像（IM_HDR-in）的亮度编码。可以使用多种质量标准平衡以下问题：接收端上更好的呈现、效率更高的编码、更轻松的重新调色（regrading）等。

当然，对于HDR明/暗的进一步内容，可以根据进一步的质量标准（例如，有关HDR内容或外观的Qcrit2）考虑编码或省略哪些，以及如何其进行编码。例如，当针对特定技术系统执行编码时，可以考虑哪些类型的HDR效果可以被忠实地呈现在特定显示上，并且将其考虑在内来对第二图片进行编码。

图像编码单元，其中所述第二代码映射单元（905）进一步包括几何优化单元（960），该单元被设置为应用几何变换，以便在实现大小和/或发生频率小于所述第一图像（Im_1）的所述第二图像（Im_2）时对所述第二图像（Im_2）的数据进行编码。这样允许增加压缩。

图像编码单元，其中所述第一代码映射单元（904）和所述第二代码映射单元（905）被设置为应用各自的色调（tone）映射TMI1和TMI2，这两个映射根据编码效率和/或呈现的视觉质量进行优化。

图像编码单元，其中所述第一代码映射单元（904）被设置为创建每像素字长为8位的所述第一图像（Im_1），所述第二代码映射单元（905）被设置为创建每像素字长为4、5、6、7、8、9、10、11、12、13、14、15或16位，但优选地为8位的所述第二图像（Im_2）。如果第一（可用于LDR呈现）图像结构是经典结构，例如8位MPEG2，则非常有利，但是本发明的概念当然还兼容第一图像结构的其它定义（例如，可以选择在6位近似值，或在任何10位结构中对主要的LDR信息进行编码，无论是仅通过填充较低编码值、线性伸展、使用定义伽马函数的编码值等，可以使用任何方式创建附加的编码值，例如线性插值，将某些中间编码值留空，应用计算机图形纹理恢复函数等）。

本发明的实施例可与许多现有的容器格式结合使用以对图像进行编码，具体是指什么样的内存或数据链路允许容量明智（wise），例如，编码的HDR数据可以存储在系统中，这些系统具有例如已经针对3D应用规定的双图像编码结构。

图像编码单元，其中所述格式器（906）被设置为通过单独的通信通道发送所述第一图像（Im_1）和所述第二图像（Im_2），例如作为有线电视信号的Im_1，以及在因特网连接上按需发送的Im_2。

一种图像编码单元（1051），其被设置为对高动态范围图像（IM_HDR-in）进行编码，包括：

- 接收器（1075），其用于接收所述高动态范围图像（IM_HDR-in）和所述第一图像（Im_1_in），该第一图像以位于所述高动态范围图像（IM_HDR-in）的较高动态范围内的较低动态范围内编码亮度；

- 图像处理单元（1003），其被设置为判定最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1_in）中编码的亮度需要再次进行冗余编码的量，并且包括选择器（1033），其被设置为根据所述最大冗余（MAXRED）判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在所述第二图像（Im_2）中进行编码；

- 第二代码映射单元（1005），其被配置为在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像（IM_HDR-in）的所述像素的亮度进行编码；以及

- 格式器（906），其被配置为输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2）。

一种图像解码单元（651），其被设置为对高动态范围编码S（Im_1，Im_2）进行解码，并且借此Im_2包含位于在Im_1中编码的亮度范围之外的亮度数据，包括：

- 接收器（688），其用于从所述高动态范围编码S（Im_1，Im_2）中获取第一图像（Im_1）和第二图像（Im_2）；以及

- 颜色映射单元（612），其被设置为分别将第一反代码映射TMI1和第二反代码映射TMI2应用到在所述第一图像（Im_1）和所述第二图像（Im_2）中编码的亮度，从而获取解码的HDR输出图像（Im_d），借此所述第二反代码映射TMI2映射到位于所述第一反代码映射TMI1映射到的亮度范围之外的解码的HDR输出图像（Im_d）的亮度。

图像解码单元（651），其中所述接收器（688）被设置为从所述高动态范围编码S（Im_1，Im_2，MET）中编码的元数据（MET）中提取所述第一反代码映射TMI1或第二反代码映射TMI2的信息。

图像解码单元（651），包括几何映射单元（611），其被配置为在执行所述第二反代码映射TMI2之前，对Im_2中的数据应用几何变换。

图像解码单元（651），其中所述颜色映射单元（612）进一步被设置为将附加的色调映射独立地应用到在所述第一图像（Im_1）和所述第二图像（Im_2）中编码的亮度数据。

一种用于对高动态范围图像（IM_HDR-in）进行编码的图像编码方法，包括：

- 接收较低动态范围（SELR）；

- 在第一图像（Im_1）中使用所述较低动态范围（SELR）内的亮度对所有高动态范围图像（IM_HDR-in）像素进行编码；

- 接收最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1）中编码的亮度需要再次进行冗余编码的量；

- 根据所述最大冗余（MAXRED）判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在所述第二图像（Im_2）中进行编码；

- 在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像信号（IM_HDR-in）的所述像素的亮度进行编码；以及

- 输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2）。

一种用于对高动态范围编码S（Im_1，Im_2）进行解码的图像解码方法，并且借此Im_2包含位于在Im_1中编码的亮度范围之外的亮度数据，包括：

- 从所述高动态范围编码S（Im_1，Im_2）中获取第一图像（Im_1）和第二图像（Im_2）；以及

- 分别将第一反代码映射TMI1和第二反代码映射TMI2应用到在所述第一图像（Im_1）和所述第二图像（Im_2）中编码的亮度，从而获取解码的HDR输出图像（Im_d），借此所述第二反代码映射TMI2映射到位于所述第一反代码映射TMI1映射到的亮度范围之外的解码的HDR输出图像（Im_d）的亮度。

一种对高动态范围图像进行编码的图像结构，包括：

- 位于在第一图像（Im_1）中编码的高动态范围（Sel(L_sc)_HDR）的优选较窄的子范围（Sel(L_sc)_LDR）之内的亮度数据；以及

- 位于在第二图像（Im_2）中编码的所述高动态范围（Sel(L_sc)_HDR）的优选较窄的子范围（Sel(L_sc)_LDR）之外的亮度数据，

- 其中优选地选择所述优选较窄的子范围（Sel(L_sc)_LDR），以允许根据在参考低动态范围显示器上呈现Im_1中编码的数据的呈现质量的质量标准（Qcrit），在所述参考低动态范围显示器上高质量地呈现所述第一图像（Im_1）。

所述优选较窄的子范围（Sel(L_sc)_LDR）一般可以是调色者最优选择的范围（例如，当创建从数字主分级开始的DVD或BD版本时），但是还可以例如由代码转换器例如根据纯技术标准（例如，编码效率与视觉质量和影响）自动判定。在许多情况下，这是判定亮度范围的数字，下面实现编码结构（例如在一个或多个BD上编写或者通过通信通道发送）的方法的进一步部分然后使用该数字。

数据载体，包括根据所呈现的任一变体的图像编码。

计算机程序产品，包括允许计算单元执行所述任何方法的代码部件。

下面描述的实施例的许多进一步的变体当然也是可能的，并且本领域的技术人员将理解，这些实施例例如可以在不同的世界几何区域中的不同的装置中实现，从而在不同的时刻应用其部分功能，或者多次应用不同的功能，等等。

附图说明

根据本发明的方法和装置的这些和其它方面参考下面描述的实现和实施例以及参考附图进行阐述，并且根据此阐述变得显而易见，这些附图仅作为特定的非限制性图示，用于例证更广泛的概念，并且其中使用虚线指示可选的组件，非虚线的组件不一定是必要组件。虚线也可用于指示被认为为必要的元件、隐藏在对象内部的元件，或者指示无形的事物，例如对象/区域的选择（以及如何在显示器上示出它们）。在附图中：

图1示意性地示出具有高动态范围亮度的场景，用于解释某些问题以及显示下面的实施例如何处理这些问题；

图2示意性地示出该场景中亮度的直方图；

图3示意性地示出本发明的实施例如何将场景的不同部分分配给不同的编码图像；

图4示意性地示出场景亮度与不同编码图像的代码之间的色调映射；

图5示意性地示出例如可被调色者操作的编码端系统；

图6示意性地示出例如可以是消费类电视系统的解码端系统；

图7示意性地示出接收端系统如何将下面的实施例的编码信号的代码映射到高动态范围解码图像的范围；

图8示意性地示出如何设置信号及其数据结构的格式以传递允许下面的编码原理的信息；

图9示意性地示出可能的编码单元的更详细的内部构造；以及

图10示意性地示出另一可能的编码单元的更详细的内部构造。

具体实施方式

如果观察光信号（即，流入摄像机的信息），可以规定有关如何测量和表示这些信号的不同属性的不同规则。对于时间取样，惯性定律一般表明足够数量时刻上的等距取样应该足以合理地建立诸如行人之类的动态演变系统的模型。空间取样具有非常不同的性质。物质的碎形本质表明可以使用不断细化的分布样本（例如，从远处捕捉山脉的场景，呈现出山脉，当近看这些山脉时，需要针对诸如树叶之类的植被结构的中间像素，在这些植被上，具有叠加所关注细节的更细化的结构等）。但是，仍可通过“分层环境”将此类场景进行分组。例如，可能有人站在山上，我们可以根据这些人的大小（scale）捕捉环境。在这个以人为重点的环境中，仍可讨论需要多少空间细节来（不）令人满意地表示人脸上的所有皱纹，但是，即使使用适度的空间分辨率，仍有可能已经看到山上有人，这些人在做什么，他们的心情如何等（很明显，从正确的捕捉距离来看，通常可以使用诸如PAL之类的低分辨率信号忠实地反映这些内容）。在任何情况下，似乎存在使用4K，甚至8K分辨率的趋势。

生成一组可能值的类似等距取样范例被应用（因为二维函数的数学描述不会将函数的x轴与y轴做出任何不同的对待）到已捕捉的亮度（或颜色）值：它们通常落在一个范围内的某处（例如，EV 16值表示全日照中的白体）。但是，原则上可通过定义所需的最大值来扩大范围。借助最大值（一般被解释为“白度”（white）），只需使用预期的精度（也判定最低编码0以下的每个因素的黑等级）表示较低的值（线性地或非线性地）。

该范例非常流行。它描述了摄像机如何工作（假使这些摄像机根据其传感器能力定义了实用的最大白等级），还描述了如何定义光空间和颜色空间（例如，电视的RGB空间通过特定的白下行定义），并且还描述了如何构造SNR可扩展编码。后者指出如果接近像素的亮度值，则通常具有相当充分的信息，在信息仍被视为不足的情况下（例如，因为发生诸如条带之类的伪像），可将某些值微调到较高精度，其方式是添加量子化等级的位编码片断（即，编码微纹理图像）。

但是，可看到在HDR场景中出现新问题：什么是参考白度在典型的LDR成像中，可以轻易设置它，例如，利用亮暗调制约为8:1的光对电视演播室进行照明，并且使用反射率为90%的白体，这导致演播室对象的所有像素颜色/亮度很好的分布。但是，在HDR成像中，可以具有第一白度，这是诸如演播室中的白度之类的相关白度，透过窗户看到的外部子环境的第二白度，甚至可能是更（非常）亮的对象。选择最亮的白度不实际（具体而言，如果字长有限，例如亮度字长为8位，或者呈现能力有限，则许多相关对象的呈现质量会下降）。但是，选择中间级白度也很困难，因为存在两个问题，即：在何处选择白等级，以及对不可再现的较高亮度对象亮度产生什么影响。在状态良好的LDR场景中，这看起来不是什么问题，通过使用构想完善的照明，可以始终将该LDR场景构造为具有类似的本质，但是对于许多事实发生的HDR场景而言，会导致依情况而变化的问题。

但是，编码场景颜色似乎具有另一优异属性，该属性在某一程度上类似于上述空间分层环境（就像如果对山上人们的动作成像，不需要看到有关山脉或面部瑕疵的任何信息），即，可以定义颜色/亮度值方向上的“表示焦点子范围”（注意，与空间结构对照，环境的总亮度范围通常小很多，但是与当前的成像技术相比仍很大，需要更智慧的处理）。基本上，再次重申，必须（自动）曝光摄像机并从中导出（数字）信号，但是那些系统不能完美地处理其后出现问题。

我们进一步借助图1中的示例性HDR场景阐述概念，其中针对食品市场广告示出厨房环境。很明显，有一个对应于“优选的”像素亮度的主空间区域（区域101），该区域覆盖厨房中的多数对象。这样使其成令人关注的亮度子范围以聚焦表示。在示意性地（即，所有区域的计数/高度被标准化为类似的高度）示出图1中子区域的像素亮度L_sc的计数n(L_sc)的直方图的图2中，这对应于主瓣（lobe）201，该主瓣通常具有中间亮度（注意，由于我们互换地谈及图像像素亮度与场景对象点的亮度时，不会出现任何混淆，数字表示的图像像素亮度以大写字母Y表示）。在HDR场景中，例如，由于光照仅具有极少的实用性，因此还可能存在暗区（102，202），这些暗区要比主瓣201的最暗像素还暗，并且通常比可通过特定图像编码（至少忠实地）表示的区域暗（即，这些像素因为摄像机的限制通常具有非常噪的颜色值，并且只能落到一些最低亮度代码上，例如0、1和2）。实例区域是对应于暗瓣202的阴影区域102。但是，该区域一般不会太令人关注，即，那里没有任何重要的对象需要清晰地以高质量呈现出现。也可能存在亮度较高的区域，例如窗口外面的区域（高亮度区域103，对应于亮瓣203）。此类高亮度区域本质上不同于低亮度区域。首先，尽管它不包含任何特别令人关注的对象，但是仍需要尽可能逼真地呈现它。第二，这些较高辉度区域是较亮显示可以在呈现上与众不同的区域（与500 nit的显示器相比，5000 nit可以示出的太阳和图片中开启的灯，并不呆滞，就像涂上对象颜色一样）。HDR显示还可以呈现较暗的颜色，但是在某些较亮的观看环境中，这些颜色并非逼真呈现的第一焦点，因为它们与这些场景中的LDR显示并没有太大区别（尽管它们确实处于新的黑暗电影观看情形下，例如，当此类屏幕放在小影院或类似的环境中）。最后，可能存在非常亮的区域，就像光源105（光瓣205），该亮度不需要准确地编码或表示。尽管希望明亮地呈现该光源，但是该光源优选地要比其它所有图像对象都亮（因此，优选地通过更高亮度值进行编码，但是不一定必须这样做，只要接收端了解如何将光源像素解释为不同于其它图像区域的光源像素，并且了解如何处理它们，例如，最终呈现它们）。需要指出，这些直方图基本为概念图。它们可通过多种方式提取，例如，可涉及形态学操作。例如，在窗外场景部分中，尽管大多数像素非常亮，但是仍有一些像素的亮度稍微较低，甚至可能低于（多个）较暗区域（例如，主区）的某些像素。然后可通过以下方式构造直方图瓣：例如进行主要以二进制表示生成具有很小的隔离黑岛的白区的阈值处理，然后使用白值替换这些岛（即，使用部分的局部操作，而非纯粹的全局直方图操作，将它们添加到亮区中）。

因此，就像在所有图像当中，我们在该图像中看到具有一个关注度较高的对象区域，一个或多个关注度较低的对象区域。但是，根据成像系统的功能（编码或处理复杂度、可用内存、呈现质量、服务器-客户端业务模型等），可能希望依特定技术或应用的需要，或者以较高的逼真度表示所有这些区域，或者以较低的逼真度表示所有这些区域。在区域101的优选亮度背后，一般还存在进一步的技术原理。在该实例中，针对对象111（对象瓣211）周围的区域进行广告宣传。在摄影作品中，“主对象”的作用是众所周知的。在视频或电影制作中，通常该对象以优选地的方式照亮（通过光点112），并且一般将光点应用于其周围的环境。即，摄影导演（DOP）或类似的创作职责专门在关注的场景中选择，并且可以对其指示（即使通过在进行的摄像机工作，摄影师的唯一操作是判定令人关注的区域）。此外，最终希望该对象111和区域101可以最优地呈现，即，它们例如映射到的亮度是可在诸如电视之类的特定显示器上呈现的亮度的一半的发光体。通过这种方式，使得产品引人注目、夺人眼球并且漂亮完美。

实际上，在典型成像系统中，可以紧密结合这两个条件（光照+捕捉与呈现），其中一个条件不需要在新设计的HDR成像链中严格地保留（允许实现更多的功能性，例如，针对来自现场的及时报告）。目前，摄像机操作者已经在颜色空间（例如，RGB或MPEG2或MPEG4-10的相关的YcrCb）中执行操作，该颜色空间紧密结合最终的呈现电视（或显示器）颜色空间，他或其他创作人员一般还可以在摄像机端的参考图像监视器上查看信号，通过参考电视颜色空间信号监视器等研究该信号等。这表示摄影师（或DOP等）只需确定对象111被打光并且可被捕捉，例如，18%灰度之上的1个光圈（stop），因此在观看者/接收者一端的显示器上近似地呈现。尽管可能涉及某些非线性曲线，例如电视摄像机伽马曲线，但是应该理解，这最终只是两个颜色空间之间严格且相对缺乏弹性的线性一对一关系（场景颜色空间、并呈现颜色空间）。即使这些技术以再校准为目标，一般也使用单次变换（例如，颜色矩阵映射，该映射最大程度上尤其使LCD的颜色符合EBU荧光体的标准参考CRT）执行此操作。

虽然希望保留该简单系统的优良属性（以便兼容目前的实践），但是仍然需要这样一种技术：即，稍微放松此严格的条件，至少针对功能无法很好地满足的情形，即，HDR成像。

因此，一般可以讲，HDR场景通常包含具有主亮度（主瓣201）的主区域101。这个最重要的图像区域在当今存在许多不同显示类型的时代应当是指可在众多显示器（从高质量HDR、通过标准的LDR 8-位电视，到阳光下的低质量（SubLDR）移动装置显示屏）上最佳表示的区域。图像对象在不同的呈现情况下，可通过不同的质量呈现，但是以盲目的方式（例如，通过显示系统必须执行视频分析），高质量地（逼真地）呈现图像对象也并非那么不重要。可以更好的方式呈现图像对象，或者以图像在各种重要呈现情形下表现丑陋的方式（例如，HDR图像在LDR显示器上表现得如同卡通画）呈现图像对象。

主区域/亮度范围是摄影师在典型LDR成像中重点关注的区域，因此需要在成像链的其余部分中持续关注该区域，尤其是在任何HDR成像过程/链中对其进行特殊处理。我们首先以分析和解述的方式简短地解释在典型成像（其中，可以（几乎）是整个编码图像）中执行哪些操作来处理该主区域。照明组通常为厨房场景打光，以使直方图主瓣201不具有太大的动态范围（瓣201内的最大亮度除以最小亮度）。尤其是，如果最终输出是低动态范围（例如，低质量打印）的中间物，则可以有利地尽早考虑这一点。另外当捕捉真实场景时，在当前高端电视情形的场景中，多数正常打光的房间没有太大的对象像素亮度变化。对于具有双亮度子范围的场景（例如，从汽车内部看，在这种情况下需要做出关键选择）而言，情况并非如此。自然对象的反射百分比范围介于0.5%至99%之间，但是实际上，4-90%是更真实的值（即使有时电视节目中穿着仿白服装）。即，对于完美的均匀照明，图像对比度约等于25:1。这也是正常的电视系统应该能够呈现的对比度（当然，如果您的面部未反射阳光）。一般而言，场景的相关部分上的光调制应该低于10:1（例如，可使用关键照射（key-lighted）或填充照射（fill-lighted）部分的2:1调制为面部打光）。即，255代码值应该看上去能够更令人满意地对场景的该部分进行编码，即使编码呈线性（即，场景亮度与[0,255]图像代码值之间的线性映射）。

为了更好地理解数学运算，我们通过提供某些可能的线性映射再次体验这些可能性：

A）从黑度上行开始：

这种定义线性亮度编码的方式看上去很自然，因为它紧随在通过单步定义指定测量尺度之后（可以与摄氏温度计相比，该温度计明显不需要能够测量100度以上的温度）。可以将该线性场景亮度区的“理论”边界定义为例如最大白反射比（90%）乘以等于10（任意单位）的最大（可能的）照度，从而得出值Lw=900，而最小值可表示为类似数字4%*1（1是10:1调制的最小照度）或4（实际上，可针对这些边界使用很充分的（例如，CCD像素和最小水平）容量，例如考虑噪声，细节上已做必要的修改）。因此，这些边界应该是能够（采用合理的精度）编码的边界。围绕代码值0存在一些令人关注的问题，可将假设模拟的最黑度（Lbk=4）映射到0+db的数字输出值Y_out_lin，其中db是黑度偏移。最好可以简单地使db=1。然后双亮度8映射到双数字值2，并且一般场景亮度L_sc通过公式Y_out_lin = Q[scale*(L_sc/Lbk)]（其中scale =1、Lbk = 4，并且Q是量化或取整运算符）例如映射到最近整数值。

该映射具有这样的属性：即存在（相关）暗区的最小拒绝（rejection）。当然场景中可能存在比最小理论值4更暗的区域，但是它们将被通过Q运算符映射到1或0。总之，它们经常被摄像机或显示器（或打印机等）低质量地捕获或呈现。仍然有一些Y_out_lin值被留在例如8位可能编码范围上，高于最大理论值900的映射（900/4小于255），但是，场景的所有真正明亮的值将被赋予该对比缩放因数，此因数一般被调整或者至少在值255附近进行严重地软调整（但是，如果考虑代码足以识别“真正明亮”的区域，这就不是一个问题）。

该映射的另一属性是该编码（使黑等级为1）的缩放现在根据等于最小黑度Lbk的代码值变化赋予像素亮度不同的步长，Lbk通过使最大亮度近似地等于白度（Y_out_lin=255）来判定。更精确地说，从黑度开始，缩放比例=1的线性代码定义编码每个对象直到所需最大白等级所需的最大位数。如果将字长固定为8位，则如果场景中的总对比度小于255:1（对于900:4有效），则有效，否则，缩放因数必须调整，最简单的方法是通过改变黑度来调整（即，沿着整个范围丧失精度，对应于新黑度之下下面的调整）。这是代码的自然线性对比范围。此类方法可能存在一些问题，即某些区域未被充分呈现，然而在较亮区域附近，不需要此类小步长，尽管可以尝试使用非线性色调映射曲线解决此问题，该曲线沿着范围在需要的位置重新分布代码（例如，伽马函数、S形函数等）。

但是还可以在着重精确地编码较暗亮度的情况下固定黑等级。实际上，或者存在从黑度开始（用于在可用的[1,255]上分布模拟值，判定对应于数字单位变化的D_L_sc：在上面的实例中是D_L_sc = 4）的缩放数字步长（精度），或者指定模拟亮度步长（请参阅下文，白度情形），例如对应于单位变化的D_L_sc =3，然后以从下行白度开始的特定黑度结束。后面的白度固定策略通常更加令人关注，因此这是一种优选的方法，因为人们喜欢看到亮色图像，即，多数信息位于光线充足的区域中，总之黑度的清晰度较差，因此这些较低区域中的编码错误被更好地容忍。作为步长大小的指导，可以使它们基于理论的JND，考虑到在复杂变化的图像数据中多数时间步长不容易被看到（至少不像研究简单的渐变图像时那样清晰），因此采取实际上大很多的值，或者采取任何实际的步长值并采用任何（充分或不充分的）视觉质量结果。如果场景仅像在LDR成像中，则实际可从合理的白度（例如，稍高于反射白，从而至少允许用于某些高亮编码）开始，然后观察在何处以较暗的代码结束，这个位置通常很远。但是对于HDR成像，这些较暗区域中可能还有极为重要的信息，这些信息需要被很好地编码，因为它必须至少在某些系统上呈现（也许在使这些区域变亮的颜色变换之后，能够在给定观看环境中以明确区分暗纹理的标准呈现它们）。

可以这样总结：（例如，8位）系统通过黑度或白度判定，或者以另一种方式通过白度和缩放判定。当通过黑度和白度定义时，可以将黑度看作偏移，然后等距地在[1,255]上分布255个值。

然后，场景亮度与线性代码之间的关系如下所示（需要根据场景编码的内容，仍使用简单的直接线性模型）：

L_sc = Lbk + (Y_out_lin -1)*(Lw-Lbk)/254，或者

Y_out_lin = 254*(L_sc-Lbk)/(Lw-Lbk)+1。

因此，从这个观点来看，需要执行多项任务：

1) 定义最小黑度和缩放比例（例如，与场景中的黑度值相同或者具有更小的值，例如该黑度的2% ），然后查找必要的最大位数或字长以编码到所需的白等级（在该实例中，使用基于黑度的单位步长）。但是，如果固定字长，可导致调整高于最大可编码等级的白度，该等级太低，并不理想（即，太多高辉度区域被错误编码，例如，通常可在室外区域被完全调整为白度时看到这种现象，这在某些低质量情况下可能是半个图像，不会在HDR显示器上真正完美地呈现）。这可被称为“精度优先”。通常，相反地牺牲黑度，在下面的白度情形中可看出。在任何情况下，该情形都在LDR成像中经常发生：需要在平均灰度等级和面部周围具有高精度，然后（通过固定此类子范围上的编码，该范围还取决于所选的最优或非最优照度，例如，尤其可在HDR情形中可以使用在光线很差的较暗区域中的面部仍具有足够代码值的标准）在特定黑度以下和特定白度以上调整（通过不为这些亮度分配代码值，完全忽略它们）。

2) 定义最小黑度和白度。该“范围优先”情形更合理，尤其是对于实际沿着亮度范围具有重要对象的重要HDR场景（例如，阳光照射的明亮污染玻璃窗与教堂内部的黑暗角落）更合理，因为可以至少在不进行外部调整的情况下编码所有所需的值。但是，精度会严重受损，并且当呈现具有相当大的原始动态范围的场景时，可能会产生问题。例如，此类编码图像看上去类似卡通画，或者具有其它质量伪像。

当然还可固定白度、黑度和精度，但是根据这些因素，所需的位数随后会变化，这种方法并不容易实现，因为在许多应用中，例如当分配固定存储量时，可能需要固定字长（即使可从诸如8、10或12位之类的多个字长中选择），就像在标准化的电视信号清晰度（definition）中那样。需要指出，即使精度更强，使用错误对比度编码的图像仍可看上去类似卡通画。

另一可得出的结论是从黑度开始不是定义映射的最有用方式，因此我们像往常那样再次考虑上面的从白度开始（但是产生相同的数学结论）。

需要注意，在实际的8位编码中，也可以根据诸如处理期间发生溢流之类的其它原因在任意一端保留某些代码，但是目前可忽略偏移的重缩放，因为数学行为基本类似于此处所解释的行为。

令人关注的问题仍是当呈现时，这些线性步长对给定缩放/精度具有何种影响。具体而言，它们不仅可在例如100 nit显示器（可能对应于，也可能不对应于针对亮度900点的实际测量的场景亮度，但是对于该亮度，255个步长可导致相对无法检测的视差）上示出，而且该编码信号可直接应用于例如500 nit或5000 nit显示器，在这种情况下，所呈现的步长进一步分离（因为它们以显示白度加权），从而更容易发现（例如，渐变的条带），通常位于较暗区域（还取决于周围照度）中。

为了部分地弱化此问题，实际编码使用伽马0.45或类似的非线性映射（很大程度上遵循人类视觉系统的JND敏感性以获取Y值），并且该映射被倒置以获取显示输出亮度（CRT借助电子枪的物理现象或其它因素完成此操作）。

仍可忽略该中间非线性，因为可以将此成像链解释为以类似的方式执行粗糙的数学运算行为，就像上面简单描述的线性映射（可以构想代码在上述范围内以不同的方式重新分配，可以解释为可用编码缩放上实际图像的不同优选分级；或者换言之，可以看到可变刚度弹簧之类的简单的连续功能变换，但是如果将其固定为白度，则需要例如将黑度推到某处）。

使用非线性（具体是尝试最小化可注意到的不同效应）允许通过以不同的方式分配代码，编码更大范围的Lw-Lbk。例如，可将代码更稀疏地分配给较亮的范围，这样允许编码到较高的白度Lw*。

例如，如果代码对L_sc的平方根进行编码，则例如可定义以下函数：

L_sc=Lbk + alpha*( Y_out_lin-1)* ( Y_out_lin-1)，并且

Lw=Lbk + alpha*254*254。

如果在Y_out_lin = 1的黑度与下一灰度（亮度代码值Y=2）之间采取相同的亮度步长，如在线性情况下针对Lw=900和Lbk=4（即，896/254）那样，则上述编码公式可前往到白度Lw=227588。更具体地说，这表示通常将改变阿尔法缩放，并将较小的步长分配给较暗区域（或者在给定映射函数的情况下，仅从白度开始并查看在哪个黑度上结束，如下面的固定白度情形下所示）。还可使用此数学运算查看当例如将2位（10位亮度代码）添加到使用值255汇编Lw的8位代码时，可具有哪个附加的亮区亮度范围。总之，此类编码策略仍必须在精度与范围之间进行决策。即，亮度范围一端的小步长以丧失另一端（一般指白度）的大步长为代价，通过固定伽马变换定义的方式执行此操作（这是具有特定刚度分布的弹簧，不一定遵循对特定场景进行编码时最优需要的分布）。因此，如果不希望在场景中将亮光编码到5000 nit，则例如8位或7位代码的风险是丧失太多精度，即，至少在范围中的某处，可能存在被视为问题的错误（尽管对于其它场景，这样的错误是可接受的）。并且，如果在链中的某处执行进一步的处理，则该条带变得更为极端，例如电视中的辉度或对比度（局部）调整。而且，内容创作者可能希望更忠实地编码他的（原始或副本）信号，而非尝试使用某种最优或非最优的非线性映射将它填塞到如8位字中。

B）从白度下行开始：

还可以从分配“白度”开始，即将900映射到255（或者至少某一高值）。这是一种常用方法，其中可看到面向显示的编码。然后可以判定差别例如D_L_sc = 3（或者乘法因子，最大值（白度）的百分之3/900），接着减去该值，直到以代码1或以下的特定黑度结束。当然，差别优选地通过考虑瓣201的对比度（即出现的黑度等级）再次适当地选择。

再次，如果固定代码位数，则缩放固定仍可编码的黑度，或者备选地，黑度固定精度，这点适用于非线性函数，与线性情况类似，只是根据所选的函数，以不同的方式在总可编码范围周围分布。因此，可充分自由地将代码值分配给所发生的场景亮度（前提是，例如，作为内容创作者，例如未选择错误的伽马，或者，固定在某种图像通信标准中），仍然存在有限的连续功能分配（例如，定义编码的伽马，例如2.2伽马）不能最优地对场景进行编码，具体是指不能对高度复杂的HDR场景（即，多个高度不同的光照区中存在具有许多反射值的纹理）进行编码。

很重要地指出，DOP可选择制作或查找具有非常黑的黑度的场景，因此瓣201对比度远高于255:1，例如，在玄色电影拍摄中（甚至给定相同的白等级）。需要注意，为了简单起见，目前仅将重点放在上面的摄像机端（或根据它的编码），但是下面可看到在呈现端发生相同的映射问题，即，甚至该255:1设置可能对于某些呈现设备具有挑战性。

然而，如果对比度为1000:1，并且映射以4倍的粗糙度缩放（缩放比例=4）分配位，则具有只能获取一些描述令人关注的对象111的数字代码的风险。即，需要在这些考虑因素之间权衡。

如何准确地处理整个成像链中场景亮度映射取决于所使用的成像系统、成像类型（摄影、电视制作、电影制作…）等。

但是，一般可执行下面的操作。摄像机IC本身可以处理1000:1或更大的线性场景亮度比，例如，如果具有12或14位传感器（一般而言，还应在噪声引起反感时，以该数字集成等级）。借助摄像机的（自动）曝光设置（针对静物的光圈和快门时间），可通过移位选择主要的场景亮度范围Sel(L_sc)_LDR，该范围按惯例形成导出LDR（8位）编码的起点（例如，通过使用S型（sigmoidal）映射来映射线性摄像机信号）。需要指出，可能已经通过只改变摄像机的曝光来创建高动态范围， 但是那样它们将具有高时间动态范围（即，为了呈现而非编码的目的，如果要最优地对图像进行编码，这些图像中的每个可能具有较低的动态范围，但仍然可以选择在沿着较大公共范围的可变位置上对图像进行编码），但是真正的场景内/图片内动态范围成像目前例如通过以较短和较长曝光时间（几乎）同时曝光的摄像机完成，或者具有交错的不同灵敏度的摄像机像素矩阵，或不同的联合成像子传感器等。现在对于场景对象的理想表示，该包含范围Sel的主要信息通常涵盖（即，编码，可使用有限的精度）多数或所有的主瓣201（如果无法实现全范围，则可能除了最暗的部分，并且不是202之类的更暗的瓣），但是一般而言，也是例如高瓣203的一部分（但是几乎可调整为白度，只是因为RGB类色域的尖形接近白度）。需要指出，该范围Sel以符号绘制，因为例如，瓣205实际也肯定被捕捉到（它的光落在传感器像素上，从而产生输出信号，与实际比较，这是一个扭曲的光线），但是错误地调整到最大值255。即，Sel大体指示范围内的亮度相对忠实地被图像传感器捕捉到（被传感器线性地捕捉到，并且被图像代码伪线性地捕捉到）。

现在，一般而言，摄像机或摄像机操作者应用（作为色调映射TM_Cam）非线性摄像机曲线（通常在静止照相机中自动应用，在专业摄像机中具有有限的选择）以将较高的位范围（例如，14位线性范围）映射到8位信号，获取具有像素亮度Y_LDR的LDR图像Im_LDR。这是所有典型LDR成像所做的。例如，一般可应用S形曲线（或者黑调（black clip）情况下的近似S形曲线），其中内部区域可以稍微进行对比度拉伸（但是无论如何通过相对较多的值取样），并且外部区域通过S形曲线的水平倾斜部分进行软调整（soft-clip）（即，仍存在一些有关不同的黑/白等级的信息，但它们汇聚在一起成为在LDR显示器上呈现出像（几乎）相同的淡白色的颜色）。如上所述，对于暗区，这可能不是一个问题，但是并非总是希望通过窗口看到场景外部的淡色画面。

选择范围Sel的移位位置通常通过类似于专注x%灰阶x%G的某些程序判定。例如，根据灰度世界模型，场景的平均亮度应该接近18%灰度（并且类似地，非常重要的人类皮肤为36%灰度）。与所判定的100%场景白W*（一般是光线充足的区域中的反射白）相比，固定这些灰阶中的任一者类似于移位。实际上，摄影师还可查看优选对象，判定该对象应该在18%灰度以上被捕捉/被编码/被呈现1个光圈，并使用曝光值校正应用相同的过程。最后在某些场合下，摄影师可通过查看更多区域（通常稍微地）校正该程序，例如捕捉较暗的区域（例如，根据Zone理论原理），具体是通过查看特定关键区域中的纹理（例如，白云）。查看纹理发生什么变化，具体是指由于代码数量较少导致的纹理减少是实现高质量图像的重要方式。相关操作是查看局部对比度，例如，可判定至少局部辉度级，例如，通过查看白云中出现的结构有多暗（例如，在已捕捉图像的参考呈现下）。这也是传感器范围可能成为限制因素的地方，需要不方便的优化（面部太暗，或者已捕捉的白云质量太差），具体是指常规LDR链可能具有限制。

现在出现了可捕捉更多亮度值(Sel(L_sc)_HDR)的摄像机，例如，18个光圈或更多（对于详细地捕捉多数场景已足够）。例如，摄像机可将两个成像路径投射到具有严重不同的感应性的传感器，或者具有不同感应性的像素。因此，摄像机的一部分捕捉场景的较暗部分，另一部分捕捉场景的较亮部分，并且这些子图像然后可被组合。基本上（忽略成像系统的其它因素，例如镜头），例如具有一个传感器测量0.01 nit至100 nit的范围，而另一个传感器具有1000倍高的感应性（在两个范围中至少具有某些重叠），即，在10 nit与100000nit之间捕捉。并且此类摄像机对于所有场景表现优异。然后问题是是否应该应用相同的捕捉过程（例如，场景设计、摄像机校准等），或者至少应用相同的编码过程。尝试将整个18个光圈传感器输出（260000:1线性）置于8位信号内经常导致次最优结果（卡通化等）。可以构想通过再次将已使用的摄像机范围限制到Sel(L_sc)_LDR（例如，通过忽略无关值，例如，针对这些无关值结合使用色调映射TM_Cam和硬调整）来移回原有的情况，但是这样做似乎很蠢：那么质量更好的摄像机的实用性在哪里可以尝试查找中间解决方案，但是根据上述基本计算，8位似乎不是忠实地对实际发生的任何事物进行编码的有效方式。因此需要新的HDR编码。

本发明的实施例通过仍允许优选范围的规格，提供此解决方案，同时还以其它方式处理其他已捕捉的处于范围之外的亮度（至少在一端，例如，较亮端）。优选范围可表示依赖于系统的多种事物，例如，它可以是内容创作者经常用于工作的方式（可以是（早期）摄像机的动态范围（尤其是在对现有LDR内容进行HDR重新制作时），或者是表现场景主要部分的所需精度（如上所述，考虑对可编码的白度、黑度和中间灰度的精度的要求）。或者在有利的实施例中，它可以对应于LDR编码，该编码按需在特定的LDR参考监视器上呈现。

需要指出，这样引入了作为范例的新的处理两个（或更多个）范围的可能性。第一HDR范围Sel(L_sc)_HDR可以在可用场景亮度周围优选地选择（例如，通过集成多数可用亮度，其中包含大量可能进行非对称调整的非常亮的部分，或者通过已经将某些特定对象111亮度映射到HDR范围中的特定值x%G）。在该HDR范围内，可选择第二（优选）LDR范围，主要的场景亮度范围Sel(L_sc)_LDR，但是可以更有利地使用整个场景亮度范围优化HDR范围，可使用x%G分配定位LDR范围（即，在令人关注的对象周围完美地定位优选的范围，以便能够最优地协调它和它的环境，从而至少在可从该场景推导的LDR信号中开始）。

即，场景可以与HDR范围紧密一致地“自由”构造/打光（例如，可将HDR效应置入场景灯光中，其形成远超过对象反射亮度的鲜亮的闪光灯），但是还在多数令人关注的对象周围采取另一方式（点亮它们以便落入HDR的较低范围，这样在HDR显示器上呈现的亮度会降低，但是恰在使用LDR范围的LDR显示器的中间）。现在通过这种方式可以更好地控制场景构建，可以理解此类亮度范围分层（甚至可能具有更多子范围，无论这些子范围采取相互嵌套还是相互分离的方式）对于后期处理、呈现和其它用途也非常重要。也可能更自由地实现色调映射或其它图像处理功能，下面将进行描述。

在图3中，我们给出如何将HDR已捕捉的场景（Sel(L_sc)_HDR是图像传感器线性输出的范围）分配给对应于亮度子范围选集的两个图像的实例。简单的实施例可以仅通过标准映射将Sel(L_sc)_LDR放入一个图像内，或者同时通过选定的色调映射将所有或部分未编码的（即，位于Sel(L_sc)_LDR之外）亮度放入第二图像内。但是，我们将描述某种更复杂的情形，通过此描述，本领域的技术人员将理解多种类似的可能性。如果根据本发明理念的实施例不仅对第二图像（它最大程度上补充第一图像（通常为LDR，例如，用于直接在LDR显示器上呈现））中的信息进行编码，而且主要（或者最精确地）对HDR图像中的最相关的信息进行编码，则非常有用（例如，光瓣205颜色仍被牺牲，留下更多的空间以更好地对亮瓣203进行编码）。一旦丢弃了亮度编码的直接单调特性，便可在如何精确地将附加的HDR信息分配给第二图像Im_2的亮度代码Y_2方面具有极大的自由度，其中还考虑到HDR信息当然非常重要，但是重要性一般不及在第一图像Im_1上忠实编码的主区域101。

一般而言，选定LDR范围Sel(L_sc)_LDR（可根据在LDR显示器上忠实地呈现LDR图像或压缩目标之类的原则自动选择，例如，考虑了如果例如选定的范围较窄，则可以将更多信息写入Im_2，反之亦然）内的值按常规映射到（例如，针对基于MPEG或类似标准的存储或传输）常规的LDR图像Im_1。具体而言，优选地通过以下方式完成此操作：最终LDR图像可用于逼真地/最优地在LDR显示器（或具有较低动态范围的子LDR显示器）上呈现。但是，基本可根据本发明的至少某些实施例相对自由地选择该LDR范围（只要它近似地重叠最令人关注的区域，需要最佳的表示和呈现），即，可以在某种程度上降低该最优LDR编码标准，例如，可以使LDR范围稍窄以便使用高于正常LDR电视做法的精度进行编码。更一般地说，由于Im_1中的信息相对重要，因此，首先设计将选定子范围（通常为LDR）内场景亮度的映射TM1到第一图像Y_1的亮度代码（一般指示颜色代码，但是我们通过将重点放在亮度上来简化说明），并且从中判定针对其余场景信息的HDR编码策略，但是当然还可以根据HDR信息修改TM1，例如，以递归的方式，通过转码等。技术人员应该理解，该原理可应用于成像链中的任何位置，即，不仅通过RAW摄像机捕捉，而且例如还在重新分配装置内（例如，从18位HDR线性编码的信号开始），这是一种用于传输视频的并列版本的机制，例如某些用于网站中的PIP等。有利地，可选择第一色调映射TM1和范围Sel(L_sc)_LDR，以便已捕捉的场景最优地在LDR参考显示器上呈现（可在不进一步执行色调映射以恢复场景外观的情况下使用），但是备选地，调色者或设备也可定义Im_1编码，以便LDR呈现外观仍足够好，例如，在使用伽马函数或其它挤压函数挤压Im_1中的更多亮度之后（可以联合编码某些将应用于Im_1的校正色调映射函数，以便分离Im_1的编码和呈现）。

对于第二图像Im_2（针对该图像，为了简化教导，假设它与用于LDR编码的图像类似，即，通常也有8位，例如这是相同的AVC编码等；但是，如果需要较少的附加信息，它也可以是使用不同的格式编码的4位图像，或者它可以是高于8位精度的图像，它的空间分辨率可降低以使用降低的分辨率对HDR数据进行编码，或者针对Im_1的子区域，仅针对数量减少的瞬间等）的编码，不需要单独对尚未编码的亮度进行编码，就像往常一样，它包含某些其它亮度的选择。只要它不仅包含（几乎）所有（或多数）已在Im_1中（忠实地）编码的场景亮度（即，使Im_1和Im_2的编码彼此不相似到所需的程度）。可以将该Im_2解释为其余信息的第二伪LDR图像，该图像本身无法忠实地呈现，但是可用于生成HDR或中间呈现，并且可进行编码并进一步被视为像是正常的LDR图像。

在阐述某些发明理念的该优选实例中，考虑存在忠实的编码R_ff的Sel(L_sc)_LDR 的子范围。如上所述，部分相机sigmoid通常具有高密度亮度方向取样，因此该区域一般在（部分）LDR Im_1中充分地编码 ，对其进行二次编码不会有太多收获（尽管针对极为特殊的情况，可以选择使用稍微不同的方式对部分（通常在亮度和空间范围内均很小）已经编码的LDR范围进行编码）。后者可以非常有用，例如，作为接收端图像处理装置的指导，用于产生用于IDR呈现的中间范围（IDR）信号。但是，Sel(L_sc)_LDR的外部区域通常在LDR变形中严重压缩（瓣203的保留部分可能已使用[0,255]的4个最高代码进行编码），因此最好使用更好的方式重新对其进行编码。另外，可使用与光瓣205中的区域相同的代码值进行混淆地编码。在没有更好的编码信息的情况下，无法推导成像场景中的区域/对象的忠实呈现。

在许多情形下，仅编码高亮度区域103可能对于逼真的HDR编码足以，并且此方法然后可调整到该情形，就技术而言，此调整的成本非常低。在该实例中，我们考虑了对较暗的亮度（由于，例如HDR可以更好地呈现它们，或者应该启用某种可使它们变亮的再调映射）和较亮的亮度同时进行编码的基本原理。另外选择阴影范围R_SHAD中的亮度（如图所示，实际可以潜在地对某些已LDR编码的对象像素进行重新编码，即使在忠实的范围内（与R_ff重叠的R_SHAD））。另一方面，放弃/调整被传感器捕捉的那些最暗亮度，即使在HDR编码中（即，映射到Im_2中的0）。还选择光范围R_LGHT中的亮度（该范围进入瓣205以确保编码中仍存在某种灯具内部的图像结构；范围选择再次用符号表示：不将例如最低的4个灯具场景亮度分配给4个单独的代码，并且不将所有较高的灯具场景亮度分配给例如255，而是当然将这4个可用的最高代码在瓣205上分布，从而对灯具内不同场景亮度的所有结构进行编码，因此使用粗精度表示瓣205）。所有这些数据收集在第二图像Im_2中。

可以理解，通过（高度地非线性，废弃原有的简单、直接、连续的（“线性”）编码范例）自由地设计色调映射器TM2和TM3以将各个场景亮度映射到数字图像代码（Y_2），可以根据应用的需要（例如，为了节省位数，为了简化对需要进一步处理的场景的meta描述等）以非常灵活的方式对HDR场景进行编码，在这种简单的技术方式上，实际只需要色调映射。这些映射函数可以预定（例如，对于光范围，存在单个或多个可选的固定高指数幂函数），或者作为自身编码的函数（例如，可查找的LUT）或者一组函数的索引联合编码和传输（例如，按照拍摄的图像）。或者，映射函数甚至可以通过数学算法随时判定，这些算法基于某些输HDR输入图像（例如之前的时间点，或者HDR内容的任何粗略特性，例如基于粗直方图的当前场景或拍摄的表示）和/或已使用的LDR编码之类的考虑计算最优色调映射，可能还进一步考虑已判定的神经性视觉模型、观察环境特性、HDR效应模型等。例如可以考虑检测场景中光照的算法，无论是灯具的亮区还是所投射的光图案。

例如，第二8位图像Im_2中的代码[0, 80]，或者一般是指[0, Mx_S]可通过TM2针对R_SHAD映射分配，其余的代码[Mx_S+rx, Mx_L]（例如，[81, 255]）然后可用于范围R_LGHT。

这通过图4中场景亮度到代码的变换（即，还示出色调映射）来示意性地示出。

如果查看该曲线，可以发现一些与典型图像编码相比令人惊讶之处，通过对这些地方进行解释，可以理解所呈现的实施例背后的多种原理。首先，尽管场景亮度x轴像平常一样在所需的任何值（例如，具有多种感应性设置的摄像机可捕捉的任何亮度，或者计算机图形产生程序定义为最终亮度边界的任何亮度）之间线性地延伸。但是，给出图像中的对应代码值Y的y轴从0开始，然后延伸到80，然后在0处重新开始，延伸到255，再次在81处重新开始等。这是因为间断地映射到两个（或更多个）不同的图像（的不同亮度区域）（尽管存在某种再次引入某一连续性的重叠）。

色调映射函数使用虚线形成的曲线来表示，为简单起见，我们将某些曲线视为直线（但是当然这些直线可被弯曲以成为更佳的取样器，例如，与当前编码的视频部分的直方图属性对应，例如，根据经常出现的、非常重要的或者具有特殊颜色（例如，在亮区识别的人脸颜色）的瓣边界的当前场景）。有关该曲线在哪里映射到不同的编码图像的投影（更简单的映射中的偏移）通过虚线进一步明确示出。为了产生第一图像Im_1，在该实例中使用压缩的S形映射TM1，此映射很常见，此处不再赘述。当然，为了最优地使用本发明的实施例，该S形（例如，其中部的斜坡和边界）的形状可灵活地选择。然后低于由TM1在Im_1中的编码亮度的暗场景亮度被TMI2映射到第二图像Im_2_Pt1（代码亮度Y_2）的第一部分。在该实例中，假设只需某些较暗色的信息，不与Im_1代码重叠，例如，针对然后可根据这些Y_2像素值导出某些新值的应用（例如，使暗结构更容易看到），然而在其他情况下，这些应用将面临丢失所有场景信息的盲目调整。较亮的场景亮度被映射到Im_2的较高代码值（例如，其第二部分Im_2_Pt2，该部分通常包含亮瓣206中完整编码的场景亮度，例如图1中窗户之后的场景）。还可看到存在第二连续性，即，图3中在概念上提供的单色调映射TM3可再次分解为更进一步的最优子色调映射TM31（需要指出，它在TMI1的高端处重叠，即，发生Im_1和Im_2中的双编码）和TM32（在该实例中，对光瓣205的代码光范围R_205进行编码，并且非常粗糙）。因此，存在“无法”被编码的场景亮度区域R_NCOD，因为它无需编码。因为例如在发送者/创作端，算法发现在当前图像或图像集（例如，拍摄）中，没有任何需要编码的有用亮度，因此无需使用粗策略进行任何编码（实际上，可以反过来设计映射，以使得存在某些无论如何场景亮度可被映射到的点）。但是，在高很多的场景亮度（使用TM32映射）中，仍然存在令人关注的信息。

最后，还可以将一个或多个单点分配给各个代码（TM4）。在Im_2中留一些未使用的代码（例如，用于同步之类的进一步的用途），因为TM31从值84开始映射。该示例性编码将单点映射到Im_2中的82。下面说这样做的理由。尽管存在大量无需在Im_2中编码的场景区域/对象，但是仍需要做些什么。具体而言，解码算法很容易快速发现必须从Im_1检索（直接地或通过进一步的映射）这些像素。因此，例如可以为它们赋予0值，但是这些像素随后可能与真正的暗色混淆。在该实例中，来自R_ff中的所有颜色被视为似乎存在单点P1，并因此映射到Im_2中的值82（当然在Im_1中忠实地编码）。因此将Im_2中最相关的对象看做为单个灰泡（grey blob），它实际上是非常有效的编码解相关方式。当然，技术人员可以理解，许多应用将发现更需要使用不同的值（例如，10个代码：82、83、84等）在Im_2中对多个场景亮度子区域进行编码，以便至少粗略地表示Im_2中最重要的区域。这可以有用于具有手动干预的应用（例如，需要快速检查所处理的图像的操作人员可以更好地标识图像，如果图像并不主要由灰泡组成），以及自动图像分析（例如，可以进行结构映射，例如针对Im_1和Im_2中的对应区域进行运动评估，或者针对两个图像的（粗糙）直方图表示进行处理等）。

甚至可以在两个范围R_SHAD和R_LGHT的Im_2中颠倒亮度位置（即，为亮场景亮度提供低于暗场景亮度的代码值），或者可以颠倒Im_2的某些亮度范围以便进一步编码 – 例如可以使用254和255代码索引使用哪种类型的色调映射TM3（伽马、抛物线、线性_1、…，在这些情况下，可以至少针对例如这种灰泡中的某些像素，将这些值放在Im_2中而不是值82中）等。原则上，甚至可以针对Im_2中的不同子范围使用交错编码，如斐波那契集可以确定[0, 255]中的代码，这些代码可以通过某种算法等于L_SHAD的场景亮度L_sc或者其表示。

甚至可以针对图像的不同空间区域，改变Im_2编码的映射确定，例如可以在Im_1上定义阈值，并且黑暗的像素可以使用其中主要对暗亮度进行编码的Im_2编码，而对于Im_1的较亮部分，改变Im_2的定义，以便例如仅对明亮度进行编码（即，Im_2中的值0现在例如意指700 nit，而在较暗部分中意指0.01 nit）。

当接收者现在获得图像Im_1和Im_2时，他不仅“优化”这两个图像中的有用信息，而且还对该信息进行预先分类以便于进一步使用（第一最重要（“LDR”）、HDR质量改进nr.1、HDR质量改进nr.2…）。

需要指出，我们提供的各种方法允许处理多种情况，以便（最佳地）对第一图片中的LDR部分进行编码。例如，可以使用根据Land的retinex之类算法，这些算法不需要一定对绝对亮度或者其某种功能进行编码，但是通常可以使用区域算法对相对值进行编码。观念是眼睛对亮度差比绝对亮度更感兴趣。因此，例如可以增加两个相邻黑斑的亮度使其趋向中灰（以便它们的值变得更类似于例如白斑），然后通常增加其差（半局部对比度）。这可以是人们所看到的更好的图像结构表示，因此可能导致更高效的编码，这会产生代码的技术呈现使用问题。因为它减少了绝对亮度的信息（夸张地，可以想象为两个相邻黑斑提供与2个白斑几乎相同的亮度，这实际上可以在心理视觉实验（如错觉）中发生，但是然后有关黑与白的所有信息都消失），例如在用于获得最佳呈现的色调映射算法中变得更难以处理。在这种LDR编码中，然后可以例如再次在HDR第二图像中对某些黑斑或白斑进行重新编码，以便明确表达它们具有的确切原始亮度（即，同时进行绝对和相对编码）。例如，可以在第二图像中在对应于起始亮度500nit的代码和对应于12000nit的代码之间对亮斑进行编码。色调映射器然后可以使用这些信息单位产生最终最佳呈现。

下面是第一图像（以及因此协作的第二图像）如何可以对绝对或相对亮度进行编码的另一个实例。例如，考虑走廊中的爆炸。然后所有墙壁因爆炸而照亮。仅从编码效率的角度来看，对随着变化辉度一起移动的LDR图像进行编码可能有意义，例如获得平均亮度值的某些百分比。该信号更难以用于原有LDR系统，因为不会实际看到辉度变化，因为始终几乎对相同信号进行编码（调制已削减照明的某些反射百分比）。即，优选系统可以选择主要对LDR图像中的较暗或较亮代码进行编码，这对应于沿着该场景的原始亮度范围将图像固定在最佳位置。第二图像然后可以包括各种爆炸/照明图像。

本方法还处理基本的HDR问题：“什么是白度”，以及“什么是18%灰度”和“什么是36%灰度（面部颜色）”。这很重要，因为双重问题：应该如何呈现这种“特殊白度”（实际上，当最终呈现时，所有已捕捉颜色仅具有一种含义）。在传统的颜色空间和LDR图像生成中，色域从场景白度（这可能仅是照明的最亮场景部分）开始。从其中，通过消除更多的光（具体地说通过对象的吸收）构造颜色。在附加的RGB空间中，以相反方式对其进行建模，但是可以将它们解释为递增消除例如白谱的R光谱带的基本部分。但是，在通用的HDR场景中，可以具有多个白度。可以具有图片的较暗部分中的白度、较亮的外面部分中的白度，以及甚至较亮的对象。更重要的是，是否应该（以严格规定的方式）曝光站在较暗图像范围中的人的皮肤颜色有待商榷，例如，具体地说因为巨大的HDR成像范围允许对已捕捉颜色进行更多的后更正。换言之，HDR允许使面部的亮度有意变暗，以便例如实现令人恐怖的艺术效果。现在可以选择HDR范围以实现场景亮度范围（例如，灯具）的最大辉度，（尽管不需要真正白度，但是例如出于技术或艺术原因，仍然可以允许对较亮的亮度进行某种调整）。可以针对HDR场景的感兴趣的子环境，选择一个或多个LDR范围。需要指出，尽管我们的方法通常可以对场景中的各种LDR视图和部分补充（不相似）HDR剩余图像进行联合编码，但是鉴于上面解释的原理，通常两个图像应该足够，该原理是LDR图像已经包含最重要的场景组成部分的良好表示，并且（如果智能地对其它直方图瓣一起分组/编码）HDR补充第二图像Im_2通常足够实现可观的HDR信息范围。可以甚至进一步粗略估计HDR信息，例如，可以考虑使用减少的等级数量（例如，20）对窗户外部的高亮度区域103进行编码，这仍然远远好于使该区域全部变暗。具体地说，诸如因特网视频等某些应用可以仅对某些HDR对象或效果进行编码（可能甚至作为对Im_1的原始添加）。即，提供的方法允许最佳地对图像中需要的所有内容（具体地说，不同的HDR子环境，以及它们与基本LDR部分相关的方式）进行编码，具体地说通过选择正确的色调映射以便定义Im_2的子范围结构（即，例如以特定方式呈现窗户103的重要性取决于LDR部分中的确切内容，并且类似地，可以构造总的HDR编码层次结构以便提供表示阴影区域的某些位，从而有利于对亮瓣203进行更好地编码），此外，这种编码还轻松允许进一步使用不同的HDR场景组件，例如映射到特定显示环境。通常，编码如此之好（具有原始场景的足够精确编码的亮度信息），以便它可以用于多个应用情形，然而它也可能（至少在某种程度上）偏重于某些应用（例如，查看较亮的环境），在这种情况下，某些阴影区域的编码可以稍差。

除了对感兴趣的LDR范围和HDR补充图像进行编码之外，通常可能需要使用元数据MET补充这些图像，例如指示应该如何理想地呈现范围，即应该是什么样子（参见下面）。例如，可以在阴暗的雨天采取LDR范围（实际上是整个HDR场景）。自动曝光算法倾向于产生所有场景的类似的平面曝光，并且减少图像的照明特性。此外，这是显示器如何在其环境中呈现该信号的问题。通常，它所呈现的内部黑暗环境正如外部阳光充足的环境那样明亮，但是HDR呈现可能需要呈现两个场景的平均显示输出亮度的至少某些差异。此外，它通常通过较亮的外部呈现内部的夜晚场景，内部相对类似于阳光下的该场景（除非谨慎选择编码以便在代码中模拟该场景，否则编码端仍然不知道呈现器对这些代码执行什么操作，例如，如果给出增加辉度用户命令）。

如果例如指定LDR图片所属的场景亮度或照明类型（这是更精确地描述其白度和/或18%灰度的实例），则显示器可以在呈现时考虑这一点，以便将LDR部分放在这样的可显示亮度的范围内，从而真正模拟雨天。因此，这个最简单的元数据实例描述现在如何可以表达真正白度（例如，内部房间的墙壁的白度）。然后，呈现端如果从编码的白亮度元数据知道已捕捉夜晚场景，则可以将内部颜色强制为以下颜色：在呈现端看起来为更深的灰色而不是白色。如果未对任何内容进一步编码，则接收端已经知道最相关的场景白度在可重构HDR驱动信号范围中的位置（即，其将是Im_1的255点），并且甚至最简单的重构算法（其仅将Im_2直接放在Im_1之上）因此可以从使用的色调映射TM1、TM2、…确定该白度的线性光照呈现位置，以便对图像进行编码。但是，如果还在已捕捉场景中添加可选的元数据，该元数据描述该白度实际上例如为500 nit，则可以发生甚至改进的呈现（例如，显示驱动信号生成装置可以重新映射信号，以便将显示端注意事项考虑在内，从而更忠实地接近原始场景）。

另一种有用的元数据是有关面部的元数据。可以在本实施例中，并且通常作为HDR编码的有用属性，照亮（至少次要人物）面部，其照亮方式远不如LDR捕捉中精确。即，并非使用足够并且明暗差别不是特别强烈的光照亮它们，而是可以照亮某些面部，以便它们在HDR范围或者甚至整个范围（在高对比亮度的情况下，例如在使用强烈的闪光照亮部分面部时发生）的非常黑暗的区域中的某个位置结束。根据本实施例，可以在这些面部自己的子范围内对这些面部进行编码，具体地说如果它们是Im_2中的HDR额外信息的一部分。但是，如果将至少一个面部的灰度值的上限和下限值编码为元数据MET，则这已经非常有用。然后，呈现端可以在呈现面部时使用该信息，以使面部看起来更具吸引力、更好地隐藏等。对象瓣211（在这种情况下为面部瓣）中的x%G级别是其它元数据的另一个有用实例。通常，可以将具有特定意义的任何亮度级别（如范围边界）编码为元数据MET，但是当然也可以编码为进一步信息，例如范围意味着什么，如何处理它们（例如，当辉度补偿或对比度扩展时，具体地说在与场景中的其它区域协调时）等。

图5示出在电影创作系统中包含本发明某些概念的示例性系统。使用能够捕捉HDR范围Sel(L_sc)_HDR的大动态范围摄像机501捕捉HDR场景，并且可以在摄像机显示器503（也可优选地为HDR，然而它可以例如通过使用按比例缩放（sliding scale）来仿真HDR）上观看已捕捉图像。从摄像机显示器上，通过信号连接505（网络或无线（卫星）等）将图像发送到图像处理设备510。根据使用情形，对于实际广播，这可以是导演控制室或工作车中的装置，但是对于电影，它可以是（离线，在稍后）调色者520的调色装置。在前一种情况下，可以执行自动图像分析，但是在本实例中，我们假设在调色者520的指导下执行半自动处理。需要指出，可以在任何中间或进一步的步骤（例如，为新应用重新控制（remaster）先前分级的信号）中应用相同的原理。例如，在捕捉端，DOP 521可能已经在产生的图像Im_1和Im_2中（预先）指定场景的LDR/HDR组成部分，但是，调色者520可以重新指定。例如，他可以通过到中间32位表示的适当色调映射，移位（或复制）编码数据的某些亮度级别，例如从突出显示LDR Im_1到突出显示HDR Im_2或者反之亦然，从而获得修改的LDR和/或HDR编码图像。他通常可以例如通过切换或并行查看HDR参考显示器531上的HDR版本和LDR参考显示器530上的LDR版本，查看同一场景的多个调色和/或编码。因此，他可以优化典型类型的每个最终观看者将看到的内容，并且例如使用位预算平衡其中每个信号的质量。他可以将最终调色图像Im_1和Im_2存储在数据载体511上。他还可能存储描述Y代码含义的进一步元数据（例如，将至少某些元数据关联在一起或者与原始场景亮度相关，例如，对应于Im_1的白度代码255的实际场景亮度W*、LUT，或者用于对图像Im_1和Im_2进行编码使用的不同色调映射的公式等），或者存储可能的进一步功能，如可以应用于编码数据的色调映射（例如，如何针对参考LDR和HDR显示器之间的多个中间显示，合并或重新映射Im_1和Im_2中的数据）等。

图像处理设备510的内部是成像处理子单元，它们将执行实际的每像素计算工作，产生最终输出，并且指导和帮助调色者。当然，具有图像编码单元551，其被设置为根据摄像机输入信号CSI和调色者偏好（通常通过UI模块处理），导出编码图像Im_1、Im_2。通常，如果给出最感兴趣的HDR范围（从自动分析和/或操作人员那里获得）的选定较低动态范围SELR，则它将对Im_1进行编码。通常，图像编码单元551还接收预定的最大冗余MAXRED，其是描述已经在Im_1中编码的信息有多少可以在Im_2中进行冗余编码的规范结构。它可以如此简单，就像指定仅低于或高于在Im_1中编码的场景亮度的上限和下限的值可以进行编码或者低于或高于忠实编码范围R_ff的值可以进行编码。或者，可以在结构中指定更复杂的策略（例如，指定R_ff内的某些值），或者还对某些其它值进行编码（在某些Y_2值中）。MAXRED可以从操作人员那里获得，或者通过自动图像分析算法确定，例如分析要编码的图像的统计结构，并且还可能分析这些图像的几何结构。例如，如果仅更少的亮HDR范围必须编码，则该包含的算法可以确定用于Im_2中的可用代码，以便对已经在Im_1中编码的范围的更大部分进行冗余编码。

进一步，通常具有图像分析单元550，其分析帮助编码图像。例如，它可以建议考虑了CSI统计信息的第一色调映射TM1。它还可以从该映射中获得UI元数据，以便例如在LDR和HDR参考呈现的至少一个中显示像素与呈现对应的假色，从而帮助调色者进行修改。如果图像处理设备510已经接收LDR调色以及RAW CSI，则图像分析单元550可以分析映射TM1以便获得未精确编码的亮度，或者以许多其它方式比较调色和RAW以便为调色者提供最佳建议以在Im_1和Im_2中编码，或者甚至自动执行该操作而无需人为干预。

该实例的图像处理设备510（和调色者）还具有到原有内容580的访问链路581（当然，技术人员理解该功能可以包含在不同装置中，并且由不同调色者或计算机图形艺术家在成像链的不同阶段执行）。使用本实施例，调色者可以向旧的LDR电影中添加HDR效果，并且本实施例非常有用，因为LDR编码不需要改变（“损坏”），这是因为它可以编码为Im_1，并且所有效果可以编码为Im_2。还示出另一个输出582以便为另一个通信路径提供另一个“主要内容”编码Im_3，这可以是用于因特网584的非常低质量的编码Im_3。然后可以根据本实施例，通过图片的更正流Im_2*升级该编码，该更正流例如可以通过支付一定的费用而递送。Im_2*可以不同于Im_2，因为例如它仅对最主要的HDR效果进行编码，并且可能对在Im_1中编码的范围内的灰度值进行某些改进。

图6示出接收端的呈现系统的实例。它例如可以包括视频处理箱601（其例如可以是机顶盒或通用PC计算机等）以及显示器，在该实例中其是LED背光电视602，但是它还可以是OLED等。

视频处理箱601具有输入端616，其根据系统例如可以是磁盘读取器、存储卡的插槽和连接的存储管理单元、用于连接外部装置、天线和接收器与解调器的总线等。象征性地，我们还示出接收器688，其通常对接收的编码信号S(Im_1,Im_2)执行重新格式化以便获得适当格式的两个图像，并且尽管我们在该实例中将其选择为在视频处理箱601的外部，但是它还可以是601的一部分，例如包括在解码单元651中。

可以具有几何映射单元611，其例如可以被设置为以几何方式变换Im_2。例如，它例如可以在对Im_2图片进行二次取样之后产生对应于其中存在HDR其它信息的Im_1区域的图像。更高级的算法还可以考虑时间二次取样，例如可以针对场景中未在多个Im_1图片中忠实编码的HDR对象存在一个或多个Im_2空间区域，这些Im_1图片针对该场景的拍摄进行编码。然后，例如可以通过在一个Im_2中编码的朝向多个Im_1图像的对应位置的运动补偿对象，构造HDR图像（例如，用于直接驱动显示的驱动图像）。

当然，具有亮度或者通常为颜色映射单元612，其被设置为从Im_1 + Im_2编码获得HDR编码（通过图7描述其如何工作的实例）。它可以具有处理单元613，用于可以通过元数据分析器614确定的可配置算法。在简单的实施例中，元数据分析器614可以仅在处理单元613的处理中加载色调映射算法。

简单的实施例可以对色调映射进行编码，以便直接在Im_1范围之上编写代码，例如：

Y_final= Y_1（如果Y_2==k）以及

Y_final = Y_2+240（否则）。

通常，颜色映射单元612将应用两个逆代码映射TMI1和TMI2，它们在Im_1和Im_2中沿着解码HDR图像（例如，Im_d）的亮度范围在右边位置中定位编码亮度。这些映射可以具有部分前缀（例如，索引[0,10]可以指示在视频序列/电影的开头，其特定映射用于TMI1或TMI2），或者它们可以与编码数据一起共同指定（或者甚至在接收端（“动态”）部分确定）。需要指出，通常指定HDR到LDR映射在很大程度上类似于指定其对应的逆LDR到HDR映射，因此可以对任何一个进行共同编码，或者在这两种情况下都需要绝对精度。

更高级的实施例可以使用图像分析单元615，其可以分析图像以便获得几何、统计、大规模照明、文本等属性，并且从中建议更好的输出HDR图像（例如，考虑呈现端观看条件）、对所观看电影的心理视觉适应等。可以通过呈现意图配置器680进一步指定亮度/颜色处理以便获得最终呈现，无论是直接应用于输入Im_1和Im_2还是应用于中间图像表示，呈现意图配置器680可以连接到用户界面以便例如进行辉度设置等。

视频处理箱601通过网络链路650（例如，HDMI）生成其输出HDR图像，例如直接显示驱动图像Im_2。为了允许显示器进行自我调整（通过图像处理单元620），原始双编码的某些剩余部分可以作为新的双编码（例如，仅Im_2）传输（在这种情况下，可以使用该图像的子部分在显示器内部重新映射，例如通过远程控制640根据用户命令使HDR亮范围变暗）。用户例如可以使用其远程控制定义呈现偏好简档，例如，他可能需要使较亮的区域变暗，因为这些区域对他来说太刺目。这可以使用本实施例轻松实现，因为单独操作第二图像数据可以影响重新呈现和HDR效果，同时根据第一图像数据保护呈现。此外，例如可以在接收特定UI呈现命令时，发送新元数据MET_2，例如有关如何（重新）呈现视频的建议。

网络链路还可以被配置为接收返回的信息INfBck，例如，来自显示器的有关其要如何呈现的建议、对进一步数据（例如对应于特定Im_d代码的绝对场景亮度的编码）的请求、用于获得新Im_d*图像的参数等。

需要指出，此处在视频处理箱601中描述的示例性内容通常还可以包含在解码单元中。即，解码单元651通常可以包含格式读取器以便读取编码格式（解包等），以及一个或多个数据映射器，用于将两个或多个图像Im_1、Im_2的代码映射到HDR（中间）表示。更高级的编码器还可以包括用于分析元数据的单元，以及用于将进一步映射应用到亮度代码Y_1、Y_2或者中间HDR范围中的代码的单元。它们还可以包含几何映射单元，以便以几何方式匹配几何定义的Im_2编码，例如仅对本地HDR对象进行编码的100x100像素的子图像。

作为本实施例如何并且轻松使用用户界面执行重新呈现工作的实例，可以使用“信息感知辉度控制”（例如，按钮641）显示。并非盲目地向例如传输的Im_d中添加偏移，而是当按下该按钮时，视频处理箱601或电视可以应用新策略，该策略以不同方式将暗瓣202的信息重新映射到较低的Im_d区域，因此获得更好的暗对象可见性。

视频处理箱601还可以通过到例如便携式LDR查看装置（如Ipad，另一个用户可以将其用于在床上观看电影）的第二网络链路699（在实例中为无线），组成第二驱动图像。

本实施例在呈现端允许改进的用户界面命令。更智能适应的重新照明按钮642或更智能的对比度改进按钮643可以使用元数据，而且还使用编码子范围。例如，对比度按钮可以应用于在黑暗中未被很好照明的面部区域。它可以以“辉度增加”模式运行。该辉度增加可以考虑所有因素。例如，它可以具有在元数据中检查面部范围的上限和下限的算法，并且根据它们修改面部亮度。它可以检查与面部相关的进一步元数据，例如，指示面部应该“黑暗并隐藏”的规定，这不允许对该面部进行大范围照明。或者，它们可以是面部必须保持“高对比度”等的指示符，等。例如，应用于面部区域的修改伽马可以依赖元数据。

作为使用图像Im_1和Im_2的不同范围的实例，重新照明按钮例如可以用作整体亮度增加（无论全局还是几何照明模式）或者色温变化，但是以不同方式将它们应用于在Im_1中编码的主要对象和在Im_2中编码的部分。例如，如果给出瓣201的主要范围变化，则主要对象像素可以使其灰度值强烈增加，而仅改变HDR范围以便对于最终外观保持某种协调。

在任何情况下，对Im_1进行单独编码允许甚至在HDR显示器上最佳地呈现至少该范围。具体地说，中间范围显示将发现可以更轻松地平衡在Im_1中编码的主要范围与Im_2中的HDR部分的呈现，并且例如应用主要范围辉度减小以便节电，同时仍然针对在Im_2中编码的至少某些HDR效果允许某些动态余量（实际上，相反，它可以仅是为了节电而变暗的Im_2的数据）。所有这些操作可以考虑观看环境因素，例如在显示器周围测量的亮度等。

暗范围例如可以（大体上）丢弃，除非在黑暗环境中观看显示器。允许分离该信息的本实施例使其变成简单的操作。某些应用还可以仅在需要的情况下传输该信息，例如自适应家庭连网环境（例如，通过无线HDMI）可以仅在黑暗中观看显示器的情况下（这可以通过显示器传回），利用暗范围传输来自主页内容服务器的Im_2，否则重新确定Im_2的编码以便将全部可用数据用于对较亮范围进行编码（或者通过设置阈值非常简单地变换为更少的位，减少数据量）。

内容创建者还可以非常简单地指定通过其它元数据查找HDR范围。然而，例如使用多个函数和/或阈值，他可以指定忠实地进行编码的亮区域以刷白方式呈现。图8中示出这种呈现规范如何可以进行共同编码的实例。内容创建者可以指定呈现函数，在这种情况下是第一函数，其用于在Im_1范围之上针对在Im_2中编码的部分进行刷白。这种呈现例如可以指定将低于T1的所有Y_2值线性映射到低于减小的亮度的TS1，并且映射低于T2的所有值以使其低于TS2（TS2可以是高于TS1的一个值），以便实际裁剪这些值。这还描述了呈现端可以如何将完全不同的呈现/修改策略应用于场景的主要区域和其它区域。

图7示意性地示出呈现端的图像处理装置可以如何获得驱动信号以便在具有输出亮度范围R_dLDR和R_dHDR的两个显示器上进行最终呈现。技术人员应该了解驱动物理学、电子学、显示校准、优选呈现模式（例如，生动）等，因此我们不详细描述这些内容，而仅详细描述图像或视频的编码（现在为image_code_in）如何导致由显示器产生的最终亮度呈现。显示器通常使用显示知识DISPKNWLDG执行映射，例如显示白度和黑度如何与观看环境相关。因此，图像处理装置可以应用这些算法以便仅输出在Im_2_Pt1中编码的某些暗亮度，并且优选地以非线性方式例如为Im_2_Pt1的较高亮度提供更多视觉重点，增加对比度等。在Im_1中编码的中间范围的呈现通常可以稍亮于在参考LDR显示器上的呈现（如果具有非常亮的LDR显示器），然而还可以降低平均辉度（或者映射的主要范围R_main的位置，即，在映射出现在显示器和呈现系统的进一步组件中的一切事物之后，显示输出亮度），以便例如针对当前呈现的场景产生增强的HDR效果。但是，通常这些主要区域亮度将不会明亮呈现，并且当LDR显示器显示它们时，通常具有相当的平均辉度。在R_main之上，具有场景的HDR部分的范围，即HDR显示范围R_eff。此外，显示器可以确定其亮度程度，具体取决于例如心理视觉注意事项（如考虑了R_main中的主要呈现部分的HDR外观），或者节能等注意事项。本实例示出在亮范围R_lmp中映射的亮瓣205，其可以对应于接近最高的HDR显示驱动代码（例如，1019、1020、1021），但是不一定对应于最高1023。

类似地，可以针对LDR显示器构造驱动信号，其基本上使用Im_1代码进行驱动，但是例如可以因为呈现环境亮度而去掉某些较暗代码，并且从第二图像Im_2编码引入（映射）某些较亮颜色。如果LDR显示器或显示系统如此原始，它仅可以接收Im_1，当然它仅使用Im_1数据，但是具有可用Im_2数据的成像系统当然可以考虑Im_2的至少某些信息（例如，在其中编码的较亮范围的较低亮度），针对LDR显示器产生新LDR驱动信号。L_iHDR是在HDR范围中获得的亮度，它们可以是中间亮度（例如通过特定呈现端呈现意图进一步变换）或最终亮度（甚至显示驱动值）。

图8示意性地示出视频编码的实例。DAT_Im_1和DAT_Im_2可以是用于例如Im_1和Im_2的DCT块的数据结构。色调映射算子规范TM2指示如何一起映射DAT_Im_2和DAT_Im_1以便重新产生HDR图像（进一步，可以对色调映射进行编码以便产生中间图像）。它可以是LUT，或者多个预定映射策略的索引（例如，用于主要范围之上的宽范围与窄范围亮区域）。

还可以具有色调映射TRM2，其规定HDR显示器的某些不同呈现，例如，在用户界面控制下，要应用于亮瓣203部分的增强（boost）b1和b2。几何坐标(xs,ys,w,h)可以定义使用DAT_Im_2编码的矩形图像如何以几何方式映射到Im_1的矩形。还可以对诸如对应于DAT_Im_1的场景白亮度LW*的元数据进行编码，例如在AVC中，可以使用辅助增强信息。通常，可以对与Im_1的主要区域范围101相关的多个参数进行编码，例如（LDR）黑点、所需的对比度、HDR代码范围中的相对位置、色调映射TM1上的关键位置的参数、有关面部颜色或亮度的信息等。同样，可以对Im_2范围中的感兴趣的亮度或代码点进行编码，例如在哪里出现新类型或级别的对象，或者应该使用新的色调映射策略等。

需要指出，可以对（子）图像进一步进行编码，例如，针对中间动态范围显示提供不同的指定呈现意图等。

图9进一步详细示出示例性图像编码单元551。该单元将具有第一接收器901以便接收较低动态范围SELR（其通常指定为亮度的低值和高值或者类似的数量，如亮度），以及第二接收器902以便接收最大冗余MAXRED（通过个人、图像分析单元确定，或者事先预定等方式确定）。当然，该冗余不仅指定已经在Im_1中编码的哪些亮度值需要再次编码，而且还指定尚未编码的那些值（通常在编码范围之外），以便必须在Im_2中进行编码（可以将此视为“无冗余”或“仅外部代码”）。在最简单的变体中，MAXRED可以是包括亮度级别的结构，例如它可以体现为第一阈值，低于该阈值的是要在Im_2中（重新）编码的暗亮度，第二阈值，高于该阈值的是要（重新）编码的明亮度，以及一个或多个中间值亮度，这些亮度表示在第一和第二阈值之间的所有值（在仅有一个中间值亮度的情况下，不需要精确指定 – 仅它在Im_2中映射到的代码 – 但是可以指定为第一和第二阈值之间的中点）。可以与Sel(L_sc)_LDR的外部区域具有小部分重叠，或者没有重叠。备选地，可能需要例如对R_ff中的某个子范围（例如，面部）进行重新编码，然后MAXRED可以体现为包括两个进一步亮度范围边界，针对这些边界的Im_2映射继续在暗范围之上，或者针对该范围具有某个进一步色调映射。即，最大冗余可以用作一种选择器，根据其沿着不同指定范围的亮度值，选择是否仍然需要使用第二色调映射TM2在第二图像中对像素进行编码。

图像处理单元903通常接收输入高动态范围图像IM_HDR-in，将像素分组为分别要在第一Im_1和第二Im_2图像（或这两者）中编码的像素，并且向它们应用适当的编码。这通过第一代码映射单元904和第二代码映射单元905实现，它们通常被设置为分别接收映射定义TM1和TM2，这些定义可以通过分析图像、接收操作人员命令等的其它单元确定。它们将例如RAW摄像机信号或中间HDR表示的亮度或照度分别映射到第一和第二图像的亮度/颜色代码值，即，例如映射到[0,255]。

最后，格式化器906将一切事物格式化为编码的输出信号S(Im_1, Im_2)。格式化器906还可以具有输入端907以便接收进一步元数据METSPEC，例如从操作人员那里接收呈现指令以便包括在高动态范围编码S(Im_1, Im_2)中作为元数据MET。

可以具有连接的范围确定单元950，其例如根据在参考LDR显示器上在Im_1中编码的数据的呈现质量的（潜在）质量标准，确定应该使用哪个范围SELR，是否从个人那里或完全自动接收其它指导或规范数据。在自动确定的情况下，质量标准Qcrit可以是加载到存储器中的算法，其例如查看LDR编码图像并且确定诸如以下的因素：多个区域的半局部和局部对比度、某些颜色（例如深黑）的百分比、面部区域中的亮度精度和范围、（软）调整量等。操作人员可以仅在其参考显示器上直观评估质量。至少SELR，并且通常还与TM1一起影响这些参数，直到达到满意的质量级别（例如，通过应用更多的软调整和定义更小区域R_ff）。

可以构造第二代码映射单元905的实施例，以便不仅将亮度代码映射应用于产生类似大小的Im_2每个像素，而且还包含几何优化单元960，其可以向数据应用进一步变换，例如定义大小小于Im_1的仅应用某些位置和时间的时空子图像Im_2，通过将允许正确解码的以下描述性数据传输到格式化器进行共同编码：较小图片的数据Im_2所属的Im_1帧中的位置(xs,ys,w,h)、沿着Im_1的时间代码的时间点等。（可以使用进一步几何应用，例如二次取样、形状变换、基本函数分解等；需要指出，通常图像或者其部分当然可以编码为原始像素图像或DCT或其它变换等）

图10描述在很大程度上类似于551的图像编码单元1051（即，1005类似于905，1060、1006和1007也类似，因此不再描述它们，并且1001和1002可选，原因是它们仅可以提供用于SELR和MAXRED的指导，因为该图像编码单元1051本身可以确定这些指导）。现在区别不仅是输入高动态范围图像IM_HDR_in，而且还已经输入现有LDR图像Im_1_in （我们可以将此视为一种代码转换器，但是它还可以是用于升级现有Im_1的单元，因为IM_HDR_in可以通过连接的装置形成，该装置例如应用计算机图形效果以便产生或重新生成HDR对象或图像区域或范围）。接收器1075接收图像，并且管理将它们正确发送到进一步子单元（通常在进行逆CABAC、IDCT伽马映射等之后，以便图像采用正确的原生（通常为线性亮度）格式以进行处理）。现在图像处理单元1003可以被体现为包括比较器1031以比较Im_1_in和IM_HDR_in，并且评估哪些像素仍然需要在Im_2中编码以及如何编码（因此，通常图像处理单元1003还可以根据分析信息反馈以控制代码映射单元1060，例如要应用的代码映射（而不是它来自外部））。还可以具有调色分析单元1032，其可以查看从IM_HDR_in到Im_1_in的映射的外观，并且例如标识具有低斜率和很少使用的代码的区域，这些区域需要在Im_2中更好地进行重新编码。最后，选择器1003将选择IM_HDR_in的哪些像素需要由1005进一步编码到Im_2。需要指出，第一代码映射单元1004现在也稍有不同。如果Im_1_in仅复制到输出的Im_1，则可以不需要它，但是它还可以确定要输出的正确Im_1_cor，例如更好、明暗差别更强烈的LDR调色，无论通过图像编码单元1051本身确定还是通过从外部指定的映射TM1*确定。

本文中公开的算法组件可以在实践中（完全或部分）实现为硬件（例如，专用IC的部件），或者实现为在专用数字信号处理器或通用处理器等上运行的软件。它们可以是半自动的，因为至少某些用户输入可能存在/已经存在（例如，在工厂中，或者消费者输入，或者其它个人输入）。

技术人员应该从我们的描述中理解，哪些组件可以是可选改进并且可以与其它组件组合实现，以及（可选）方法步骤如何对应于装置的相应部件并且反之亦然。以某种关系（例如，在某个配置中的一个图中）在本发明中公开的某些组件的事实并不意味着在此处针对专利公开的相同发明思想下，其它配置不可能作为实施例。此外，由于实际原因仅描述有限范围的实例的事实并不意味着其它变体不能落入到权利要求的范围内。实际上，本发明的组件可以沿着任何使用链体现在不同变体中，例如，产生端（如编码器）的所有变体可以类似于或对应于分解系统的消费端（例如，解码器）的对应装置，并且反之亦然。实施例的多个组件可以在信号中编码为特定信号数据以便传输，或者进一步在编码器和解码器之间的任何传输技术中例如使用协调等。单词“装置”在本申请中用于其最广泛的意义，即允许实现特定目标的一组部件，因此例如可以是IC（一小部分），或者专用器具（例如具有显示器的器具），或者连网系统的一部分等。“设置”或“系统”也旨在用于最广泛的意义，因此其中可以包括一个可购买的物理装置、装置的一部分、协作装置（部分）集合等。

计算机程序产品表示应该理解为包含命令集合的任何物理实现，在一系列加载步骤（其可以包括中间转换步骤，例如转换为中间语言，以及最终处理器语言）之后，使得通用或专用处理器将命令输入到处理器，以便执行发明的任何特有功能。具体地说，计算机程序产品可以实现为载体（例如，磁盘或磁带）上的数据、存在于存储器中的数据、通过网络连接（有线或无线）传送的数据，或者纸张上的程序代码。除了程序代码之外，程序需要的特有数据还可以体现为计算机程序产品。可以以任何方式（部分）提供这种数据。

本发明或者根据本实施例的任何原理可用的任何数据（如视频数据）还可以体现为数据载体上的信号，数据载体可以是可移动存储器，如光盘、闪存、可移动硬盘、可通过无线部件写入的便携式器件等。

任何提供的方法的操作需要的某些步骤可能已经存在于本发明的处理器或任何装置实施例的功能中，而不是在此处描述的计算机程序产品或任何单元、装置或方法中描述（通过本发明实施例的细节），例如数据输入和输出步骤、通常包括的公知处理步骤（例如标准显示驱动等）。我们还需要保护结果产品和类似结果，例如在任何方法步骤或任何装置子部件中包含的特定新信号，以及这些信号或任何相关方法的任何新使用。

应该指出，上述实施例示出而不是限制本发明。其中技术人员可以轻松实现提供的实例到权利要求的其它范围的映射，为简洁起见，我们没有深入提及所有这些选项。除了在权利要求中组合的本发明的元素组合之外，可以实现其它元素组合。任何元素组合都可以在一个专用元件中实现。

权利要求中圆括号中的任何参考符号并非旨在限制权利要求，也不是附图中的任何特定符号。单词“包括”并不排除未在权利要求中列出的元素或方法的存在。在元素之前的单词“一”或“一个”并不排除多个这种元素的存在。

Claims (16)

1.一种图像编码单元（551），其被设置为对高动态范围图像（IM_HDR-in）进行编码，包括：

- 第一接收器（901），其用于接收较低动态范围（SELR）；

- 第一代码映射单元（904），其被设置为在第一图像（Im_1）中使用所述较低动态范围（SELR）内的亮度对所有高动态范围图像（IM_HDR-in）的像素进行编码；

- 第二接收器（902），其用于接收最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1）中编码的亮度需要再次进行冗余编码的量，该最大冗余是亮度等级规范集，其中包括至少一个亮度等级规范，指定所述高动态范围图像（IM_HDR-in）的亮度范围的至少一个亮度子范围；

- 图像处理单元（903），其被设置为根据所述最大冗余（MAXRED）判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在第二图像（Im_2）中进行编码；

- 第二代码映射单元（905），其被设置为在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像（IM_HDR-in）的所述像素的亮度进行编码；以及

- 格式器（906），其被设置为输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2），并且其中所述第一代码映射单元（904）和所述第二代码映射单元（905）被设置为应用各自的色调映射TM1和TM2，这两个映射根据编码效率和/或呈现的视觉质量进行优化。

2.根据权利要求1的图像编码单元，其中所述图像处理单元（903）被设置为将所述高动态范围图像（IM_HDR-in）的亮度与所述亮度等级规范进行比较并从中判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在所述第二图像（Im_2）中进行编码。

3.根据上述权利要求之一的图像编码单元，其中所述第一代码映射单元（904）进一步被设置为根据参考LDR显示器上的所述第一图像（Im_1）中编码的数据的呈现质量的质量标准（Qcrit），判定所述第一图像中的所述高动态范围图像（IM_HDR-in）的亮度编码。

4.根据权利要求1的图像编码单元，其中所述第二代码映射单元（905）进一步包括几何优化单元（960），该几何优化单元被设置为应用几何变换，以便在实现大小和/或发生频率小于所述第一图像（Im_1）的所述第二图像（Im_2）时对所述第二图像（Im_2）的数据进行编码。

5.根据权利要求1或2的图像编码单元，其中所述第一代码映射单元（904）被设置为创建每像素字长为8或10位的所述第一图像（Im_1），并且所述第二代码映射单元（905）被设置为创建每像素字长为4、5、6、7、8、9、10、11、12、13、14、15或16位的所述第二图像（Im_2）。

6.根据权利要求1或2的图像编码单元，其中所述第一代码映射单元（904）被设置为创建每像素字长为8或10位的所述第一图像（Im_1），并且所述第二代码映射单元（905）被设置为创建每像素字长为8位的所述第二图像（Im_2）。

7.根据权利要求1或2的图像编码单元，其中所述格式器（906）被设置为通过单独的通信通道发送所述第一图像（Im_1）和所述第二图像（Im_2）。

8.根据权利要求1或2的图像编码单元，其中所述格式器（906）被设置为将所述第一图像（Im_1）作为有线电视信号发送和通过因特网连接发送所述第二图像（Im_2）。

9.根据权利要求1或2的图像编码单元，其中所述第一代码映射单元（904）进一步被设置为与范围判定单元（950）协作地根据参考LDR显示器上的所述第一图像（Im_1）中编码的数据的呈现质量的质量标准（Qcrit），判定所述第一图像中的所述高动态范围图像（IM_HDR-in）的亮度编码。

10.一种图像编码单元（1051），其被设置为对高动态范围图像（IM_HDR-in）进行编码，包括：

- 接收器（1075），其用于接收所述高动态范围图像（IM_HDR-in）和第一图像（Im_1_in），该第一图像在位于所述高动态范围图像（IM_HDR-in）的较高动态范围内的较低动态范围中编码亮度；

- 图像处理单元（1003），其被设置为判定最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1_in）中编码的亮度需要再次进行冗余编码的量，该最大冗余是亮度等级规范集，其中包括至少一个亮度等级规范，指定所述高动态范围图像（IM HDR-in）的亮度范围的至少一个亮度子范围，并且包括选择器（1033），其被设置为根据所述最大冗余（MAXRED）判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在第二图像（Im_2）中进行编码；

- 第二代码映射单元（1005），其被配置为在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像（IM_HDR-in）的所述像素的亮度进行编码；以及

- 格式器（906），其被配置为输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2），并且其中所述第二代码映射单元（1005）被设置为应用色调映射TM2，该映射根据编码效率和/或呈现的视觉质量进行优化。

11.一种图像解码单元（651），其被设置为对高动态范围编码S（Im_1、Im_2）进行解码，并且借此第二图像（Im_2）包含位于在第一图像（Im_1）中编码的亮度范围之外的亮度数据，包括：

- 接收器（688），其用于从所述高动态范围编码S（Im_1，Im_2）中获取第一图像（Im_1）和第二图像（Im_2）；以及

- 颜色映射单元（612），其被设置为分别将第一反代码映射TMI1和第二反代码映射TMI2应用到分别在所述第一图像（Im_1）和所述第二图像（Im_2）中编码的亮度，从而获取解码的HDR输出图像（Im_d），借此所述第二反代码映射TMI2映射到位于所述第一反代码映射TMI1映射到的亮度范围之外的解码的HDR输出图像（Im_d）的亮度。

12.根据权利要求11的图像解码单元（651），其中所述接收器（688）被设置为从所述高动态范围编码S（Im_1，Im_2）中编码的元数据（MET）中提取所述第一反代码映射TMI1或第二反代码映射TMI2的信息。

13.根据权利要求11或12的图像解码单元（651），包括几何映射单元（611），其被配置为在执行所述第二反代码映射TMI2之前，对所述第二图像中的数据应用几何变换。

14.根据权利要求11或12的图像解码单元（651），其中所述颜色映射单元（612）进一步被设置为将附加的色调映射独立地应用到在所述第一图像（Im_1）和所述第二图像（Im_2）中编码的所述亮度数据。

15.一种用于对高动态范围图像（IM_HDR-in）进行编码的图像编码方法，包括：

- 接收较低动态范围（SELR）；

- 在第一图像（Im_1）中使用所述较低动态范围（SELR）内的亮度对该高动态范围图像（IM_HDR-in）的所有像素进行编码；

- 接收最大冗余（MAXRED），该最大冗余指定已在所述第一图像（Im_1）中编码的亮度需要再次进行冗余编码的量，该最大冗余是亮度等级规范集，其中包括至少一个亮度等级规范，指定所述高动态范围图像（IM HDR-in）的亮度范围的至少一个亮度子范围；

- 根据所述最大冗余（MAXRED）判定所述高动态范围图像（IM_HDR-in）的哪些像素需要在第二图像（Im_2）中进行编码；

- 在所述第二图像（Im_2）中对需要在所述第二图像（Im_2）中进行编码的所述高动态范围图像（IM_HDR-in）的所述像素的亮度进行编码；以及

- 输出所述第一和第二图像作为高动态范围编码S（Im_1，Im_2），并且其中第一代码映射单元（904）和第二代码映射单元（905）被设置为应用各自的色调映射TM1和TM2，这两个映射根据编码效率和/或呈现的视觉质量进行优化。

16.一种用于对高动态范围编码S（Im_1，Im_2）进行解码的图像解码的方法，并且借此第二图像（Im_2）包含位于在第一图像（Im_1）中编码的亮度范围之外的亮度数据，包括：

- 从所述高动态范围编码S（Im_1，Im_2）中获取第一图像（Im_1）和第二图像（Im_2）；以及

- 分别将第一反代码映射TMI1和第二反代码映射TMI2应用到在所述第一图像（Im_1）和所述第二图像（Im_2）中编码的亮度，从而获取解码的HDR输出图像（Im_d），借此所述第二反代码映射TMI2映射到位于所述第一反代码映射TMI1映射到的亮度范围之外的解码的HDR输出图像（Im_d）的亮度。