CN103888743A - 编码、解码和表现高动态范围图像 - Google Patents

Abstract

提供用于通过为亮度比和颜色残差值的形式的HDR重构数据编码和解码包含色调映射（TM）图像的图像数据的技术。在示例性的实施例中，基于高动态范围（HDR）图像和衍生色调映射（TM）图像在单独像素基础上产生亮度比值和颜色空间的颜色通道中的残差值，该衍生色调映射（TM）图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变。具有从亮度比值和颜色通道残差值导出的HDR重构数据的TM图像可在图像文件中被输出到例如用于解码、呈现和/或存储的下游装置。图像文件可被解码以产生被恢复的没有颜色改变的HDR图像。

Description

编码、解码和表现高动态范围图像

本申请是申请号为201280018609.0、申请日为2012年4月16日、发明名称为“编码、解码和表现高动态范围图像”的发明专利申请的分案申请。

对相关申请的交叉引用

本申请要求在2011年4月15日提交的美国临时专利申请No.61/476174和在2011年10月28日提交的美国专利临时申请No.61/552868的优先权，在这里通过引用并入它们的全部内容。

技术领域

本发明总体上涉及图像处理，特别是涉及编码、解码和表现高动态范围图像。

背景技术

由受让人以及其它人开发的显示器技术能够再现具有高动态范围（HDR）的图像。与常规的显示器相比，这种显示器可再现更忠实地表现真实世界场景的图像。

为了支持向后兼容性以及新的HDR显示技术，可通过具有包含灰度级亮度比的附加元数据的色调映射图像表现HDR图像。另一方面，色调映射图像可被用于表现正常动态范围图像（例如，在传统显示器上）。另一方面，附加元数据可与色调映射图像一起使用以产生、恢复或表现HDR图像（例如，通过HDR显示器）。

但是，色调映射图像可包含与操作图像的用户有关地或者与用于产生色调映射图像的特定色调映射操作器有关地出于各种原因而导致的一个或更多个颜色改变（color alteration）。例如，为了产生更具美感的图像，用户可改变与图像中的像素中的一些或全部有关的色调信息。另外，色调映射操作器可在各种颜色通道中执行不同的黑或白裁剪（clipping），并且可例如在图像的相对曝光不足或者曝光过度区域中引入颜色改变。在现有的技术中，当下游的解码器尝试从色调映射图像和伴随的灰度级亮度比重构HDR图像时，色调映射图像中的这些颜色改变是难以或者不能去除的。

在本部分中描述的方法是可探究的方法，但未必是以前已构想或探究的方法。因此，除非另外指示，不应假定在本部分中描述的方法中的任一个由于被包含于本部分就是被当作现有技术。类似地，除非另外指示，参照一个或更多个方法认识到的问题不应基于本部分假定为已在任何现有技术中被认识到。

附图说明

在附图中，作为例子而不是限制示出本发明，并且在附图中，相似的附图标记指的是相似的要素，并且，

图1示出根据本发明的一些可能的实施例的示例性HDR图像编码器；

图2示出根据本发明的一些可能的实施例的示例性HDR图像解码器；

图3A和图3B示出根据本发明的一些可能的实施例的示例性的处理流程；以及

图4示出根据本发明的一些可能的实施例的在其上可实现这里描述的计算机或计算装置的示例性硬件平台。

图5示出黑到白的梯度上的典型照相机中的不同的颜色传感器的变化的饱和度特性。

图6A和图6B示出将图像数据从照相机传感器颜色空间转换成执行事后白平衡的监视器颜色空间的本系统的实施例。

图7示出白平衡校正技术的实施例。

具体实施方式

在这里描述与图像处理技术有关的示例性的可能实施例。在以下的描述中，出于解释的目的，为了能够彻底地理解本发明，阐述大量的特定细节。但是，很明显，可以在没有这些特定的细节的情况下实现本发明。在其它的情况下，为了避免不必要地使本发明变得难解、模糊或者混乱，没有描述公知的结构和器件的详尽的细节。

这里，根据以下的概述来描述示例性实施例：

1.总体概述

2.HDR图像编码器

3.白平衡校正

4.HDR图像解码器

5.示例性处理流程

6.实现机构－硬件概述

7.等同、扩展、替代和混杂

1.总体概述

本概要给出本发明的可能的实施例的一些方面的基本描述。应当注意，本概要不是可能的实施例的各方面的广泛或详尽的概括。并且，应当注意，本概要不应被理解为标识可能的实施例的任何特别重要的方面或要素，也不是要特别地将可能的实施例的任何范围，也不是要一般地将本发明的任何范围划界。本概要仅以简洁的形式给出与示例性的可能的实施例有关的一些概念，并且应被理解为仅仅是以下给出的示例性的可能的实施例的更详细的描述的概念性的序言。

为了在各种图像呈现装置上显示图像，色调映射操作器（TMO）将输入HDR图像处理成色调映射（TM）基本图像。TM基本图像可包含相对于输入图像的颜色改变（例如，色调变化，颜色裁剪（colorclipping）、艺术风格等）。在一些技术中，TM基本图像连同亮度比一起被提供给下游的图像解码器，以重构等同于输入HDR图像的HDR图像。但是，下游的图像解码器不能根据TM基本图像和灰度级亮度比去除重构的HDR图像中的颜色改变。作为结果，颜色改变会在重构的HDR图像中保持明显。

相反，基于输入HDR图像和TM基本图像，根据这里描述的技术的HDR图像编码器不仅产生亮度比，而且产生颜色残差值（colorresidual value）。亮度比和颜色残差值可统一表示为HDR重构数据。可选地和/或附加地，亮度比被转换至对数域中以支持相对宽范围的亮度值。可选地和/或附加地，得到的对数亮度比和颜色残差值被量化。可选地和/或附加地，量化后的对数比和颜色残差值被存储于残差图像中。量化后的对数比和颜色残差值或一些实施例中的残差图像与TM基本图像一起被提供给下游的图像解码器。可选地和/或附加地，与量化后的对数比和颜色残差值有关的参数（例如，范围限度等）也与TM基本图像一起被提供。

这里的TMO可自由地对于具有低（黑）或高（白）亮度水平的各像素在颜色通道中执行颜色裁剪。并且，这里描述的TMO不需要保持在各像素处的色调。在这里描述的技术中，用户可自由地基于图像内容（例如，人像、室内图像、户外场景、夜景、黄昏等）或应用（例如，用于电影、海报、婚礼照片、杂志等中）选择TMO。可以有意且自由地使用颜色裁剪或修改以产生图像的艺术效果。这里的HDR图像编码器和解码器支持通过可引入宽范围的可能的颜色改变的不同类型的编辑软件和照相机制造商实现的TMO。在这里描述的技术中，HDR编码器向HDR解码器提供颜色残差值。HDR解码器又利用颜色残差值以防止在重构的HDR图像中存在颜色改变（或者使其最小化）。

在这里描述的技术中，可以使用位流和/或图像文件以存储并向下游的图像观察器或解码器提供TM基本图像和它们的各自的HDR重构数据以用于解码和/或呈现。在这里描述的技术中的图像格式支持通过不同类型的编辑软件和照相机制造商实现的TMO。这里描述的图像格式的例子可包含但不限于标准JPEG图像格式（包含例如JPEG（HDR）等。在示例性实施例中，JPEG-HDR图像格式被用于支持存储具有亮度比和颜色残差值的TM基本图像。可选地和/或附加地，存储于图像文件中的TM基本图像和残差图像中的一个或两者被压缩。可通过使用JPEG标准或不同的方法执行这里描述的压缩。

不支持这里描述的技术中的HDR图像处理的图像解码器或观察器简单地打开图像文件中的TM基本图像。另一方面，这里描述的技术中的HDR图像解码器被配置为将图像文件读取/解析为TM基本图像及其相应的亮度比和颜色残差值并且恢复/重构HDR图像。这里描述的重构的HDR图像没有在原输入HDR图像中不存在但通过TMO被引入到TM基本图像中的颜色改变。

在一些可能的实施例中，这里描述的机构形成图像编码器的一部分，该图像编码器包括但不限于手持装置、游戏机、剧院系统、家庭娱乐系统、电视、膝上型计算机、笔记本计算机、蜂窝式无线电电话、电子书阅读器、销售终端、台式计算机、计算机工作站、计算机售货亭和各种其它类型的终端及处理单元。

本领域技术人员将容易想到这里描述的优选实施例和总体原理和特征的各种修改。因此，本公开不是要局限于表示的实施例，而是要被赋予与这里描述的原理和特征一致的最宽的范围。

2.HDR图像编码器

图1示出根据本发明的一些可能的实施例的示例性HDR图像编码器。在一些可能的实施例中，图像编码器通过一个或更多个计算装置被实现，并配置有如下这样的软件和/或硬件部件，该软件和/或硬件部件实现用于将输入HDR图像编码成为基于标准的或专有的图像格式的具有HDR重构数据的TM图像的图像处理技术。

HDR图像编码器包含被配置为接收输入HDR图像的软件和/或硬件部件。如这里使用的那样，“输入HDR图像”指的是可包含浮点或定点高动态范围图像数据的任何HDR图像。输入HDR图像可以位于支持高动态范围色域的任何颜色空间中。在示例性实施例中，输入HDR图像是RGB颜色空间中的RGB图像（例如，图1所示的输入HDR RGB102）。在例子中，输入HDR图像中的各像素包含针对在颜色空间中限定的所有通道（例如，RGB颜色空间中的红色、绿色和蓝色颜色通道）的浮点像素值。在另一例子中，输入HDR图像中的各像素包含针对在颜色空间中限定的所有通道的定点像素值（例如，RGB颜色空间中的红色、绿色和蓝色颜色通道的16位或更高/更低的位数的定点像素值）。各像素可选地并且/或者作为替代地包含针对颜色空间中的通道中的一个或更多个的经下采样的像素值。

在示例性实施例中，HDR图像编码器包含被配置为执行多个预处理步骤的软件和/或硬件部件。可选地和/或作为替代地，预处理步骤包含但不限于输入HDR图像的零个或更多个完整性检查（santiycheck）等。例如，输入HDR图像可以包含或者可以不包含例如通过上游步骤或者通过在编码或传送中引入的局部数据损坏而引入的意味着负亮度值的像素值。为了防止底层的亮度值为负由此在随后的色调映射操作中导致问题，通过完整性检查（负亮度检查104）检查输入HDR图像中的底层的亮度值。如果像素的底层的亮度值不为正，那么像素的所有颜色通道的像素值可被设为零。

在不对于颜色空间中的像素直接给出亮度值的可能的实施例中，可（间接地）从颜色空间中的像素的像素值导出像素的亮度值。在示例性实施例中，像素的RGB颜色空间中的像素值R、G和B可被用于计算像素的亮度值Y如下：

Y=0.30078125*R+0.59765625*G+0.1015625*B    式（1）

在可以被或者可以不被预处理的输入HDR图像被提供给色调映射操作器（TMO106）之前，输入HDR图像通过白平衡操作器（105）。如后面更详细地讨论的那样，作为HDR编码的一部分以及在色调映射操作之前，校正和/或调整HDR图像中的白平衡可能是希望的。

在示例性实施例中，TMO106包含被配置为基于输入HDR图像（可被预处理）产生可在各种显示装置上呈现的色调映射（TM）图像的软件和/或硬件部件。在这里描述的技术中，TMO106被视为HDR图像编码器中的黑盒子。TMO106或使用TMO106以操作输入HDR图像的用户可自由地从TMO106引入影响输出TM图像的一些或所有部分的色相或色度性能的一个或更多个颜色改变。在这里描述的技术中，具有由TMO106或用户自由进行的颜色改变的TM图像可作为基本图像连同在这里描述的技术中产生的可被用于再现/呈现HDR图像的HDR重构数据一起被提供给下游的装置。HDR重构数据向接收下游装置提供足够的信息，以再现没有由TMO106进行的颜色改变的HDR图像。

可选地和/或作为替代方案，HDR图像编码器包含被配置为对TMO106的输出即TM图像（R′G′B′108）执行黑色修改（blackmodification）的软件或硬件部件（黑色修改110）。HDR图像编码器或其中的黑色修改110定位在TM图像（R′G′B′108）中的零像素值。在例子中，如果颜色通道的像素值是零，那么像素值被给予诸如1、2、10的小值或另一较大或较小的值。在另一例子中，如果像素的亮度值是零，那么一个或更多个颜色通道的像素值被给予诸如1、2、10的小值或其它的较大或较小的值。小的像素值（例如，小于10）不会在感觉上造成视觉差。

TM图像（R′G′B′108）可以是或者可以不是8位伽马校正图像。仅出于解释的目的，由TMO106输出的色调映射图像（R′G′B′108）已在TMO106内被伽马校正。可选地和/或作为替代方案，HDR图像编码器包含如下这样的软件和/或硬件部件（Inverse Gamma112），其被配置为在TMO106的输出参数或返回值指示已在TMO106内执行伽马校正的情况下将色调映射图像（R′G′B′108）转换成线性域中的中间色调映射图像（RGB_t）。用于伽马校正和/或用于伽马转换的伽马曲线可与可由TMO106通过使用一个或更多个输出参数或返回值指示的诸如sRGB或AdobeRGB的标准颜色空间有关。在示例性实施例中，RGB_t可被用于进一步导出这里描述的亮度比和残差值。

在示例性实施例中，可以计算输入HDR图像（RGB_h）中的亮度值（Y_h）和RGB_t中的亮度值（Y_t）。在一些可能的实施例中，Y_h、Y_t以及Y_h与Y_t之间的亮度比（r）可在单独像素的基础上被计算如下：

Y_h＝L(RGB_h)＝0.30078125*R_h+0.59765625*G_h+0.1015625*B_h

Y_t＝L(RGB_t)＝0.30078125*R_t+0.59765625*G_t+0.1015625*B_t

$r=\frac{Y_h}{Y_t}$    式（2）

这里，Y_h包含分别与输入HDR图像中的不同像素对应的多个亮度值，Yt包含分别与色调映射图像中的不同像素对应的多个亮度值，并且r包含分别被定义为Y_h中的亮度值与Y_t中的相应亮度值之间的比率的多个亮度比。在一些可能的实施例中，可通过相同维度的矩阵表达Y_h、Y_t和r。由行指数和列指数表示的这里描述的矩阵中的位置可指示图像（例如，输入HDR图像、色调映射图像或通过r形成的亮度比图像）中的像素。如果它们的位置共享矩阵中的相同的行指数和相同的列指数，那么来自Y_h和Y_t的亮度值以及来自r的亮度比相互对应。在替代性的实施例中，图1所示的用于基于Y_h和Y_t计算r的除法运算（Div116）作为对数域中的减法被计算。

在这里描述的技术中，通过使用包含由TMO106或用户执行的颜色改变操作的结果的色调映射图像（RGB_t），计算亮度比r。在式（2）中计算的亮度比当乘以色调映射图像时产生其亮度值匹配输入HDR图像的亮度值的图像。

如果通过TMO106保持颜色平衡或者如果不存在由TMO106或用户通过色调映射图像执行的颜色裁剪，那么由色调映射图像与亮度比r的乘法产生的组合图像逐个颜色地匹配输入HDR图像。

另一方面，如果色调映射图像包含颜色改变/畸变（例如，当通过TMO106在色调映射图像中改变输入HDR图像中的颜色平衡时），或者，如果在白平衡105或TMO106中发生颜色裁剪，那么通过色调映射图像与亮度比r的乘法产生的组合图像不逐个颜色地匹配输入HDR图像。在这里描述的技术中，在组合图像与输入HDR图像之间计算亮度通道以外的颜色通道中的差异，以产生包含于HDR重构数据中的残差值。在这里描述的技术中产生的HDR重构数据提供在白平衡105或TMO106中或者在由用户执行的操作中丢失的额外的颜色信息。当诸如HDR图像解码器或HDR呈现装置的下游装置接收具有颜色改变/畸变的TM图像和HDR重构数据时，通过HDR重构数据补偿TM图像中的颜色改变/畸变。

如这里使用的那样，裁剪指的是改变/修改颜色通道中的界外（out-of-band）像素值以使得得到的像素值处于被表现的范围内的一种颜色改变。裁剪可发生于任何颜色通道（例如，可在TM图像中裁剪HDR图像的某个部分中的RGB颜色空间中的R、G和B像素值）。裁剪量可以随或者可以不随颜色通道而改变（例如，绿色多裁剪，蓝色少裁剪等）。

使用亮度比r，输入HDR图像可被重新映射以产生其颜色平衡不变的中间重新映射图像（RGB_ht）。可通过除法运算（Div118）计算RGB_ht如下：

${\mathrm{RGB}}_{\mathrm{ht}}=\frac{{\mathrm{RGB}}_h}{r}$   式（3）

如以上解释的那样，如果通过TMO106保持颜色平衡或者不存在颜色裁剪，那么重新映射图像（RGB_ht）将与色调映射图像（RGB_t）相同。否则，将在这两个图像中存在差异。两个图像之间的差异是色调映射图像空间（例如，包含所有可能的色调映射图像的空间）中的残差值。在示例性实施例中，残差值（RGB_e）在线性域中通过减法（Sub132）被计算如下：

RGB_e＝RGB_ht-RGB_t              式（4）

残差值（RGB_e）可（通过图1所示的CSC134块）被转换至YC_bC_r颜色空间。在这里的技术中，色调映射图像（RGB_t）和重新映射图像（RGB_ht）具有相同的亮度值。这两个图像之间的亮度残差值均为零。YC_bC_r颜色空间中的残差值（RGB_e）仅包含需要被保存的色度信息（Diff C_bC_r154）。从RGB_e到Diff C_bC_r的转换可如下给出：

$\left[\begin{array}{c}{Y}_e\\ {\mathrm{Cb}}_e\\ {\mathrm{Cr}}_e\end{array}\right]=M_{\csc }*\left[\begin{array}{c}{R}_e\\ G_e\\ B_e\end{array}\right]$     式（5）

这里，M_csc及其逆M_csc ^-1可以为如下定义的3×3矩阵：

$M_{\csc }=\left[\begin{array}{ccc}0.30078125& 0.59765625& 0.1015625\\ -0.16739& -0.3326& 0.5\\ 0.5& -0.42737& -0.0726\end{array}\right]$

$M_{\csc }^{-1}=\left[\begin{array}{ccc}1.0& 0.0& 1.3984\\ 1.0& -0.3054& -0.7038\\ 1.0& 1.7969& 0.0\end{array}\right]$    式（6）

在这里描述的技术中，用于计算输入HDR图像和色调映射图像中的亮度值的转换系数与式（5）和式（6）中的M_csc中的那些完全相同。在这些技术中，RGB_e中的亮度残差值（Y_e）均为零，如下式所示：

$\begin{array}{c}{Y}_e=L\left({\mathrm{RGB}}_e\right)\\ =L({\mathrm{RGB}}_{\mathrm{ht}}-{\mathrm{RGB}}_t)\\ =L\left({\mathrm{RGB}}_{\mathrm{ht}}\right)-L\left({\mathrm{RGB}}_t\right)\\ =\frac{L\left({\mathrm{RGB}}_h\right)}{r}-L\left({\mathrm{RGB}}_t\right)\\ =\frac{Y_h}{r}-Y_t\\ =0\end{array}$     式（7）

在式（2）中计算的线性域中的亮度比r具有宽的范围，这是因为该亮度比承载输入图像的HDR信息。在示例性实施例中，出于高效量化的目的，如下式（8）所示，亮度比r被首先转换（例如，通过图1的log块130）至对数域。对数域中的最大和最小亮度比值可被用于确定上限和下限分别为lr_max和lr_min的对数范围（例如，通过图1的Min Max块）。对数亮度比然后可基于该对数范围被量化（例如，均匀地或者根据特定的曲线）（例如，通过图1的Quant8b136块）为8位值Log Y_t（或式（8）中的H）。在例子中，自然对数与对数域一起使用。在其它的例子中，具有自然对数以外的其它基底的对数与对数域一起使用。

lr＝log(r)

lr_min＝minlr

lr_max＝maxlr

$H=\left(\frac{\mathrm{lr}-{\mathrm{lr}}_{\min }}{{\mathrm{lr}}_{\max }-{\mathrm{lr}}_{\min }}\right)*255$     式（8）

在示例性YC_bC_r颜色空间中，Diff C_bC_r中的C_b和C_r残差值（在式（9）和（10）中由U和V表示）可通过类似的方式分别被量化为8位值（C_bC_r158）如下：

Cb_min＝minCb

Cb_max＝maxCb

$U=\left(\frac{\mathrm{Cb}-{\mathrm{Cb}}_{\min }}{{\mathrm{Cb}}_{\max }-{\mathrm{Cb}}_{\min }}\right)*255$    式（9）

Cr_min＝minCr

Cr_max＝maxCr

$V=\left(\frac{\mathrm{Cr}-{\mathrm{Cr}}_{\min }}{{\mathrm{Cr}}_{\max }-{\mathrm{Cr}}_{\min }}\right)*255$    式（10）

在示例性实施例中，在量化之后，HDR重构数据包含三组的二维数据H、U和V（图1中的Log Yt和C_bC_r 158）。HDR重构数据中的各组数据可保存/存储于包含（在示例性的YUV颜色空间的亮度通道中的）亮度比值和（在示例性的YUV颜色空间的色度差异通道中的）残差值的单个YC_bC_r容器144（例如，YUV图像）中，就好像它们形成（例如，YUV）图像那样。最后，可获得两个图像。一个是RGB颜色空间中的色调映射图像，另一个是YUV颜色空间中的HUV图像。在黑色修改（Black Mod 110）之后和/或通过可选的去饱和（例如，150），色调映射图像可以是TMO 106的输出（R′G′B′ 108）。色调映射图像和HUV图像两者均可包含8位数据，并且可例如通过使用JPEG标准压缩方法被压缩。HDR重构数据可在单个图像文件中的具有色调映射图像的应用段（APP SEG 146）中被输出。单个图像文件可以是基于标准的或者专有的图像文件格式（例如，JPEG-HDR）。应用段可以是（例如，由JPEG标准限定的）图像文件格式中的标记栏（例如，APP11标记）。在例子中，TM图像在JPEG压缩之后形成基本图像（RGB TM基本148），并且，HUV图像在诸如输出HDR（例如，156）图像文件中的APP11标记的应用段（APP SEG146）中附接于TM基本图像。

这里描述的技术可被用于处理浮点和定点HDR图像两者（例如，16位线性图像、14位伽马校正图像等）。

在示例性实施例中，TM基本图像和HUV图像根据可在商业上可从Dolby Laboratories,San Francisco California获得的JPEG-HDR技术下以标准JPEG格式被存储。TM基本图像存储于熵编码数据段中。具有参数和辅助数据的HUV图像根据JPEG-HDR存储于诸如APP11应用段的应用段中，具有适当的ID串（例如，“DD”）。

HUV中的量化值范围的最小值和最大值可存储于类型I段中。这些最小值和最大值包含对数域中的最大和最小亮度比值、C_b残差值的最大和最小值、以及C_r残差值的最大值和最小值。可选地和/或作为替代方案，在类型I段中包含规定基本图像颜色空间（例如，sRGB、AdobeRGB）和残差模式（例如，仅亮度比）的其它信息。如果残差模式仅是亮度比，那么C_b和C_r相关参数和数据可在后面的解码中被忽略。

在示例性实施例中，HUV图像被存储于类型II段中，并且，如果HUV图像的数据尺寸超过例如64k字节的一定尺寸，那么可被分成多个类型II段，在各段的头部中具有索引信息。

3.白平衡校正

常常地，用户用数字照相机捕获图像，并且希望呈现从捕获的图像导出的HDR图像。如果捕获图像的照相机的照相机RAW格式是已知的，那么可能能够产生具有高的色度保真度的HDR图像。但是，出于至少以下两种原因，可能难以通过使用标准JPEG执行事后（post-hoc）白平衡：（1）从呈现的颜色空间回到传感器颜色空间的确切映射是未知的；（2）箝位（clamping）已被不均等地应用于不同的颜色通道。在不知道如何得到与原始传感器值线性相关的颜色空间的情况下，不能很好地完成白平衡校正。

但是，如果照相机RAW格式是已知的，那么能够利用照相机RAW格式化以在事实之后（即，在通过照相机捕获图像之后）调整曝光和白平衡。虽然标准JPEG图像的亮度可被提升一定程度，但是不能恢复丢失的加亮部（highlights），并且，白平衡或者增加总图像亮度或者导致加亮部变得在一定程度上被着色。但是，本发明的一个实施例使得能够调整JPEG-HDR图像的曝光和白平衡并且可具有优于标准JPEG和（在许多情况下）照相机RAW图像编码的优点。

诸如JPEG或24位TIFF的标准图像编码实际上在与“白”对应的（255，255，255）的各通道中具有最大可表现值。只要照相机的曝光和白平衡被正确地设定，再现的图像对于正常的观察和打印目的就是可接受的。但是，如果图像被轻微地过曝光，或者由用户或照相机的固件不适当地设定白平衡，那么难以在后处理中校正图像。一旦初始值已被裁剪为255，那么用于恢复原始颜色的信息将会趋于丢失。

虽然没有广泛采用的用于照相机RAW的标准，但是大多数的这样的格式包含足以对于曝光和白平衡进行适当调整的各像素处的信息。通过记录原始传感器A/D输出值，能够获知拍摄图像时的照相机的几乎所有所为。特别地，能够告知各传感器什么时候饱和，这使得能够在捕获范围内调整曝光和白平衡。

事实上，如果照相机RAW文件是可用的，那么出于以下两种原因对于情况是有帮助的：（1）照相机RAW在各通道中在超出“白”之外几乎没有额外净空；（2）照相机RAW确切地告诉我们各通道什么时候裁剪，因此，能够注意在输出映射中不超出该最大值。因此，典型地，由于（1）线性传感器颜色空间和范围已知以及（2）对于箝位没有信息丢失，因此，事后白点校正对于照相机RAW起作用。可从照相机RAW数据得到在捕获时可得到的任何被呈现的白点。

事实上，如果在照相机RAW中执行白平衡，由于在固件中由照相机采取的步骤被重复（但可能在孤立的软件中被执行），因此得到的图像是原始图像。但是，对于可恢复多少加亮部信息存在限制。例如，在一些情况下，如果通道中的一个已达到其在该补丁中的最大值，那么RAW转换器可裁剪另外两个以确保中性结果。

由于传感器数据的全部范围已被折中，因此，即使我们知道如何到达线性值，将原色箝位为错误的白点也使得事后校正有问题。这种事后处理可通过将颜色去饱并且丢失在别处细节的方式结束新加亮部变色或图像亮度升高。

在图5中示出该情况。图5示出黑到白梯度中的捕获图像数据时的假定数字照相机的性能的曲线图。根据图5的曲线图，在绿色通道中捕获的数字图像在第一白亮度值（在数字值4095）饱和，然后，红色通道在较高的白亮度值饱和。但是，蓝色通道为了饱和取得大得多的白亮度值。在不知道各种颜色通道在该处饱和的这些点的情况下，适当的白平衡校正是特别复杂的。

JPEG-HDR的扩展

为了能够存储高动态范围图像，作为JPEG标准的扩展，产生JPEG-HDR。通过JPEG-HDR的现有格式，JPEG-HDR有效地具有实现白平衡校正的两个图像通道－即，基层（色调映射）JPEG图像和可用于恢复校准后的线性颜色空间的残差层－因此，赋予照相机RAW的许多优点。附加的动态范围事实上允许系统校正超出在基层中所呈现的那些颜色值的颜色值。但是，在捕获的范围不覆盖场景值的全范围的情况（甚至对于HDR也常常如此）下，可能希望添加一些附加的信息。

在一个实施例中，系统可在RGB颜色通道中的每一个中存储所捕获的HDR的上部传感器范围。这可采取2或3个白平衡缩放因子和产生在标称（例如，0～1）范围中的有效线性传感器值的矩阵（例如，3×3）的形式。“有效线性传感器值”可被解释为可在可从HDR捕获中的多次曝光合并的单次曝光中捕获的假定传感器的全范围。这些有效线性传感器值可被用于产生这种假定传感器的传感器颜色空间值。“白平衡缩放因子”（或“白平衡乘数”）可被用于通知系统原始白平衡设定在转换中是什么－即，用于得到当前输出的因子。

在另一实施例中，可改变JPEG-HDR以允许恢复的HDR图像的加亮部扩展超出通常的最大值以到达非白色值－在该处一个或更多个有效传感器值已达到它们的上限。由于这些像素可在色调映射基层中呈现为白色，因此，这里进一步描述的新的C_bC_r颜色残差通道可被利用。

当应用从JPEG-HDR文件请求重新组合的HDR图像时，可然后执行白色箝位。这可通过将HDR图像转换回“有效线性传感器值”并且应用（校正后的）白平衡乘数来实现。在一个实施例中，这些乘数可被规格化，使得三个通道乘数中的最小值刚好为1。然后可以是任何传感器*乘数值>1被箝位为1的箝位步骤。最后，修改后的各像素的有效传感器值可通过使用供给的传感器矩阵的逆矩阵转换回目标颜色空间。

在又一实施例中，优化可进行检查以查看HDR像素值是否足够大以接近箝位。如果像素处于捕获色域边界内，那么不需要进行箝位并且两个颜色转换和白色调整可被组合成一个转换。在原始白平衡不变的情况下，它将是单位矩阵。由于大多数的像素可处于捕获色域内，因此，这可减少该方法的计算需求。如果希望重新映射色调映射基层，那么由此产生的经校正和箝位的HDR可然后被用作用于重新计算色调映射图像的源。

为了说明以上的讨论中的一些，图6A表示这种方式的从照相机传感器颜色空间到监视器颜色空间的一组可能的映射操作。照相机传感器颜色空间602向颜色通道乘法器604发送图像数据。为了确保白点，在将这些值输入到颜色转换矩阵608中以用于呈现到目标监视器上之前进行到最小值606的箝位。图6B示出了一组可能的映射的不同的实施例。可以看出，如果捕获的图像为HDR格式，那么606处的箝位可被绕过（610），并且，值可被直接馈送到颜色转换矩阵608。通过图6A和/或图6B的实施例中的任一个，转换矩阵608的输出可被从图1中的白平衡操作器105沿HDR路径输出到Div118和Y_h块。

在一个实施例中，照相机可能能够猜测（可能通过或者不通过用户输入）捕获图像的环境照明条件以实现例如Tungsten白平衡或日光白平衡。这可被考虑用于颜色通道乘数的适当设定。作为替代方案，如果在照相机设定中不存在这种信息，那么用户在事后的基础上进行适当的猜测或者选择图像中的中性（灰度基准）表面可能是足够的。

4.HDR图像解码器

图2示出根据本发明的一些可能的实施例的示例性HDR图像解码器。在示例性实施例中，HDR图像解码器通过一个或更多个计算装置被实现，并配置有实现用于解码包含色调映射基本RGB图像和HDR重构数据的HDR图像数据（表示图中的HDR202）的图像处理技术的软件和/或硬件部件。在示例性实施例中，HDR重构数据指的是亮度比值、Cb和Cr残差值以及与前面的数据有关的参数和辅助数据。在示例性实施例中，将由HDR图像解码器解码的图像数据是在图像格式（例如，JPEG-HDR）的图像文件中。

HDR图像解码器可包含解析器（例如，204），该解析器被配置为接收HDR图像数据202（例如，用于除了亮度比以外还存储Cb和Cc残差值的增强格式的JPEG-HDR图像文件）并将HDR图像数据202解析为色调映射基本RGB图像（表示为图2中的基本图像206）和存储HDR重构数据的一个或更多个应用段（APP SEG208）。在示例性实施例中，解析器204是标准JPEG解码器。

在示例性实施例中，HDR图像解码器包含被配置为将一个或更多个应用段（APP SEG208）解析为亮度比图像（比图像210）以及量化的Cb和Cr残差值（CbCr残差212）的软件和/或硬件部件。亮度比图像（Ratio Image210）包含量化的对数亮度比。

在示例性实施例中，HDR图像解码器包含被配置为将量化的对数亮度比去量化为对数亮度比的去量化处理块（De-quant214）。HDR图像解码器包含被配置为将对数亮度比转换为非对数域中的亮度比的逆对数处理块（exp216）。

在示例性实施例中，HDR图像解码器包含被配置为将量化的Cb和Cr残差值去量化为Cb和Cr残差值的去量化处理块（De-quant218）。HDR图像解码器包含被配置为将Cb和Cr残差值转换为线性域中的RGB残差值的颜色空间转换处理块（CSC220）。

在示例性实施例中，可选地和/或附加地，如果通过编码器将色调映射基本图像去饱和，那么HDR图像解码器包含被配置为执行去饱和的逆过程的再饱和块（232）。在示例性实施例中，可选地和/或附加地，如果色调映射基本图像（基本图像206）被伽马编码，那么HDR图像解码器包含被配置为对色调映射基本RGB图像（基本图像206）执行伽马解码的伽马解码处理块（伽马解码224）。例如，类型I段的应用段的中的参数可表示色调映射基图像是伽马编码的RGB图像（例如，sRGB图像）。

伽马解码处理块（伽马解码224）的输出在单独像素的基础上乘以来自比图像的亮度比以在Mul处理块226中导出中间HDR图像，而RGB残差值在单独像素的基础上乘以来自比图像的相同的亮度比以在Mul处理块222（可与226相同）中导出RGB残差图像。中间HDR图像和RGB残差图像可通过求和处理块（Add228）在单独像素的基础上求和，以导出可以是图1中的输入HDR RGB图像的复原版本的HDR RGB图像（RGB230）。

在替代性实施例中，TM基本图像中的像素值和RGB残差值被首先求和。求和的结果然后乘以亮度比以导出HDR RGB图像。

在又一实施例中，可执行白平衡232以实现事后的白平衡校正。图7示出用于处理HDR图像数据并将数据调整到适当的白平衡的一个可能的实施例。在702中，系统输入具有任何可用的传感器颜色空间数据和白平衡乘数的JPEG-HDR图像数据。在704中，系统询问（例如，向用户或者可能嵌入到图像元数据中）对于当前的图像是否假定新的白点。如果是，那么计算新的白平衡乘数。否则，使用旧的白平衡乘数，并且在708，图像数据被变换回传感器颜色空间。对于各颜色通道，当前（新计算的或以前计算的）白平衡乘数被应用于图像数据。如果需要的话，在712，图像值被箝位为各通道值的最大值的最小值（即，minmax）。在714，图像数据被转换到监视器颜色空间中。然后，图像数据在716作为复原的HDR RGB输出处被输出。

在一个实施例中，编码器中的图1和图6A和/或图6B的白平衡操作以及解码器中的图2和图7的白平衡操作可实现为成对的操作，其中，编码器的白平衡操作工作以实现解码器的适当的白平衡校正。还应当理解，图7的处理仅加入在本部分中描述的特征中的一些，并且可以添加许多其它的特征和/或改进。

5.示例性处理流程

图3A示出根据本发明的可能的实施例的示例性处理流程。在一些可能的实施例中，诸如（例如，如图1所示的）HDR图像编码器的一个或更多个计算装置或部件可执行该处理流程。可通过向诸如JPEG图像编码器的基于标准的图像编码器添加一个或更多个新的处理块并且/或者修改其中的一个或更多个已有的处理块，实现HDR图像编码器。在块302中，HDR图像编码器接收高动态范围（HDR）图像。在示例性实施例中，HDR图像是定点图像或浮点图像中的一个。在示例性实施例中，HDR图像以JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或另一图像格式中的一种被编码。

在块304中，HDR图像编码器还接收基于HDR图像产生的色调映射（TM）图像。TM图像包含不可通过亮度比图像从TM图像恢复的一个或更多个颜色改变。在示例性实施例中，TM图像中的一个或更多个颜色改变中的至少一个是由一个或更多个像素处的色相的改变或裁剪（例如，以R、G或B像素值）中的一个导致的。

在块306中，HDR图像编码器通过在单独像素的基础上用TM图像的亮度值除HDR图像的亮度值，在单独像素的基础上计算亮度比值。

在块308中，图像编码器将该亮度比值应用于HDR图像，以产生重新映射图像。

在示例性实施例中，HDR图像编码器将重新映射图像和TM图像中的至少一个从一个颜色空间转换至不同的颜色空间。

在块310中，HDR图像编码器基于重新映射图像和TM图像，确定颜色空间的颜色通道中的残差值。如果原始颜色被改变，那么残差值中的至少一个为非零。在示例性实施例中，颜色空间是YCbCr颜色空间；颜色空间的颜色通道包含Cb颜色通道和Cr颜色通道。颜色空间的颜色通道中的残差值被计算为颜色通道中的从重新映射图像导出的第一像素值与颜色通道中的从TM图像导出的第二像素值之间的差值。

在块312中，HDR图像编码器输出具有HDR重构数据的TM图像的版本。HDR重构数据是从亮度比值和颜色通道残差值导出的。

在示例性实施例中，HDR重构数据包含具有从颜色空间的颜色通道中的残差值和亮度比值导出的量化值的残差图像。HDR重构数据还可包含规定量化值的范围的参数。

在示例性实施例中，HDR重构数据存储于如下这样的图像文件的应用段中，TM图像为该图像文件中的基本图像。在示例性实施例中，图像文件是JPEG-HDR格式。

在示例性实施例中，HDR图像编码器可例如在色调映射操作器（TMO）或用户操作HDR图像之前对HDR图像执行一个或更多个完整性检查。在示例性实施例中，HDR图像编码器用比阈值小的值替代TM图像中的零个、一个或更多个颜色通道零值。在各种可能的实施例中，该阈值可以是1、2、3、…、10、11等。

在示例性实施例中，在产生TM图像的过程中，可以执行对于TM图像中的任意数量的像素的任何颜色改变和/或通过任何TMO的任何色调映射操作。

在示例性实施例中，HDR图像编码器向HDR图像、TM图像或重新映射图像中的至少一个应用颜色空间转换。

在示例性实施例中，TM图像与重新映射图像之间的亮度残差值均为零。例如，在具有亮度通道（例如，Y）和两个颜色通道（例如，Cb和Cr）的颜色空间（例如，YUV）中，TM图像与重新映射图像（例如，已经在颜色空间中，或者替代性地在颜色空间转换之后）之间的亮度值差可以均为零。

图3B示出根据本发明的可能的实施例的示例性处理流程。在一些可能的实施例中，诸如HDR图像解码器（例如，如图2所示）的一个或更多个计算装置或部件可执行该处理流程。可通过向诸如JPEG图像解码器的基于标准的图像解码器施加一个或更多个新的处理块和/或修改其中一个或更多个已有的处理块，实现HDR图像解码器。在块322中，HDR图像解码器解析包含色调映射（TM）图像和HDR重构数据的图像文件。在示例性实施例中，TM基本图像包含对于任意数量的像素的任何颜色改变和/或通过任何色调映射操作器的任何色调映射操作的结果。在示例性实施例中，HDR重构数据包含颜色空间（YUV）的颜色通道（例如，Cb通道和Cr通道）中的量化残差值和量化亮度比值（例如，Y通道）。TM基本图像包含不可通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。在示例性实施例中，图像文件以JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或另一图像格式中的一种被编码。在示例性实施例中，通过例如JPEG解码器的基于标准的图像解码器来解析图像文件。

在块324中，HDR图像解码器提取与量化亮度比值和颜色空间的颜色通道中的量化的残差值有关的量化参数。

在块326中，HDR图像解码器至少部分地基于量化参数将量化亮度比值和量化残差值转换成亮度比值和颜色空间的颜色通道中的残差值。在示例性实施例中，量化亮度比和量化残差值存储于残差图像中。在示例性实施例中，残差图像和TM基本图像通过使用公共的过程被去量化和解压缩。

在块328中，HDR图像解码器通过使用TM基本图像和亮度比值以及颜色空间的颜色通道中的残差值重构HDR图像。HDR图像可以是定点或浮点图像。

在示例性实施例中，HDR图像解码器例如对于TM基本图像、残差图像、HDR图像或中间图像中的至少一个执行颜色空间转换、伽马编码、伽马解码、下采样或上采样的操作。

6.实现机构－硬件概述

根据一个实施例，通过一个或更多个专用计算装置实现这里描述的技术。专用计算装置可被硬接线以执行该技术，或者可包括被永久编程以执行该技术的诸如一个或更多个专用集成电路（ASIC）或场可编程门阵列（FPGA）的数字电子器件，或者可包含被编程为根据固件、存储器、其它的存储装置或组合中的程序指令执行该技术的一个或更多个通用硬件处理器。这种专用计算装置还可组合定制硬接线逻辑、ASIC或FPGA与定制编程，以实现该技术。专用计算装置可以是台式计算机系统、便携式计算机系统、手持装置、联网装置或结合硬接线和/或程序逻辑以实现该技术的任何其它的装置。

例如，图4是示出在其上可实现本发明的实施例的计算机系统400的框图。计算机系统400包含用于传送信息的总线402或其它的通信机构以及与总线402耦合的用于处理信息的硬件处理器404。硬件处理器404可以例如是通用微处理器。

计算机系统400还包括与总线402耦合的用于存储要由处理器404执行的信息和指令的诸如随机存取存储器（RAM）或其它的动态存储装置的主存储器406。主存储器406还可被用于存储在要通过处理器404执行的指令的执行期间的临时变量或其它的中间信息。当存储于可被处理器404访问的非暂态存储介质中时，这种指令使得计算机系统400成为被定制为执行在指令中规定的操作的专用机器。

计算机系统400还包括与总线402耦合的用于存储用于处理器404的静态信息和指令的只读存储器（ROM）408或其它静态存储装置。用于存储信息和指令的诸如磁盘或光盘的存储装置410被提供并与总线402耦合。

计算机系统400可通过总线402与用于向计算机用户显示信息的诸如液晶显示器的显示器412耦合。包含数字字母和其它键的输入装置414与总线402耦合以用于向处理器404传送信息和命令选择。另一类型的用户输入装置是用于向处理器404传送方向信息和命令选择并用于控制显示器412上的光标移动的光标控制器416，诸如鼠标、跟踪球或光标方向键。该输入装置典型地在两个轴（即第一轴（例如，x）和第二轴（例如，y））上具有两个自由度，这允许装置规定平面中的位置。

计算机系统400可通过使用与计算机系统组合以导致计算机系统400或者将其编程为专用机器的定制硬接线逻辑、一个或更多个ASIC或FPGA、固件和/或程序逻辑，实现在这里描述的技术。根据一个实施例，响应处理器404执行包含于主存储器406中的一个或更多个指令的一个或更多个序列，由计算机系统400执行这里的技术。这种指令可从诸如存储装置410的另一存储介质被读取到主存储器406中。包含于主存储器406中的指令的序列的执行导致处理器404执行这里描述的处理步骤。在替代性实施例中，作为软件指令的替代或者与其组合，可以使用硬接线电路。

这里使用的术语“存储介质”指的是存储导致机器以特定的方式操作的数据和/或指令的任何非暂态介质。这种存储介质可包含非易失性介质和/或易失性介质。非易失性介质包含例如光盘或磁盘，诸如存储装置410。易失性介质包含动态存储器，诸如主存储器406。存储介质的通常的形式包含例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它的磁数据存储介质、CD-ROM、任何其它的光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其它的存储器芯片或盒。

存储介质与传送介质相异但可结合它一起使用。传送介质参与在存储介质之间传递信息。例如，传送介质包含共轴电缆、铜线和光纤，包括包含总线402的导线。传送介质还可采取诸如在无线电波和红外线数据通信中产生的声波或光波的声波或光波的形式。

各种形式的介质可涉及将一个或更多个指令的一个或更多个序列携带到处理器404以供执行。例如，首先，可在磁盘或远程计算机的固态驱动器上携带指令。远程计算机可将指令加载到其动态存储器中并且通过使用调制解调器在电话线上发送指令。在计算机系统400本地的调制解调器可在电话线上接收数据并且使用红外线发射器以将数据转换成红外线信号。红外线检测器可接收在红外线信号中携带的数据，并且，适当的电路可将数据放在总线402上。总线402将数据携带到主存储器406，处理器404从该主存储器406检索并执行指令。由主存储器406接收的指令可任选地在被处理器404执行之前或之后存储于存储装置410上。

计算机系统400还可包含与总线402耦合的通信接口418。通信接口418提供与网络链接420耦合的双向数据通信，该网络链接420与局域网络422连接。例如，通信接口418可以是综合服务数字网络（ISDN）卡、电缆调制解调器、卫星调制解调器或向相应类型的电话线提供数据通信连接的的调制解调器。作为另一例子，通信接口418可以是用于向兼容的LAN提供数据通信连接的局部网络（LAN）卡。也可实现无线链接。在这种实现中，通信接口418发送和接收携带代表各种类型的信息的数字数据流的电气、电磁或光学信号。

网络链接420典型地通过一个或更多个网络向其它的数据装置提供数据通信。例如，网络链接420可提供通过局部网络422到主机计算机424或者由因特网服务提供商（ISP）426操作的数据设备的连接。ISP426又通过现在一般称为“因特网”428的世界范围信息包数据通信网络提供数据通信服务。局部网络422和因特网428均使用携带数字数据流的电气、电磁或光学信号。携带到达和来自计算机系统400的数字数据的通过各种网络的信号和网络链接420上以及通过通信接口418的信号是传送介质的示例性形式。

计算机系统400可通过网络、网络链接420和通信接口418发送消息并接收包含编程代码的数据。在因特网的例子中，服务器430可通过因特网428、ISP426、局部网络422和通信接口418传送被请求的应用程序的代码。

接收的代码可在被接收时被处理器404执行，并且/或者存储于存储装置410或其它的非易失性存储器中以供以后执行。

7.等同、扩展、替代和混杂

在前面的描述中，已经参照可以根据实现方式而变化的大量特定细节描述了本发明实施例。因此，作为本发明的以及申请人意图认为是本发明的唯一和排他的指示是从本申请发出的一组权利要求，该权利要求为发出权利要求的包括任何后续校正的特定形式。对于这些权利要求中包含的术语的在此明确地阐述的任何定义应决定权利要求中所使用的这些术语的意义。因此，权利要求中未明确地陈述的限制、要素、性质、特征、优点和属性不应以任何方式限制该权利要求的范围。相应地，说明书和附图被看作是说明性的而不是限制性的。

出于解释的目的，已经描述了在一些可能的实施例中，HDR重构数据包含量化亮度比以及量化的Cb和Cr残差值。在一些可能的实施例中，HDR重构数据可包含未被量化的亮度比和/或Cb和Cr残差值，它们可以是例如浮点或定点值。例如，图像文件中的一个或更多个应用段可存储这些未被量化的值。这里的技术中的HDR图像解码器可解析图像文件并检索未被量化的值。这些未被量化的值可被用于与从图像文件提取的色调映射基本图像组合以重构HDR图像。

出于解释的目的，已经描述了在一些可能的实施例中，可能的预处理可包含下采样。在一些可能的实施例中，出于保持正通过这里的技术被处理的HDR图像的颜色精度和/或图像细节的目的，这里的预处理可以不执行下采样。例如，可通过具有避免下采样的模式的JPEG图像编码器执行HUV残差图像的图像编码。

出于解释的目的，已经描述了在一些可能的实施例中，可以在HDR图像编码器和/或解码器中使用JPEG图像文件格式和/或JPEG编解码器。出于本发明的目的，可以在HDR图像编码器和/或解码器中使用JPEG编解码器以外的图像编解码器

出于解释的目的，已经描述了在一些可能的实施例中，输入HDR图像和色调映射基本图像是RGB图像。出于本发明的目的，可以使用其它类型的图像以存储HDR图像和这里的基于色调映射的图像。例如，作为RGB颜色空间中的HDR图像的替代，可以使用YUV颜色空间中的输入HDR图像。通过这里描述的技术，可以实现HDR图像编码或解码的处理中的零个、一个或更多个颜色空间转换。

出于解释的目的，已经描述了在一些可能的实施例中，YCbCr颜色空间中的HUV（或YUV）文件可被用于存储亮度比和亮度比以外的残差值。出于本发明的目的，可以使用其它类型的颜色空间和其它类型的图像文件存储与亮度比和残差值等同的信息。例如，亮度比和残差值可被转换成YCbCr颜色空间以外的不同的颜色空间。类似地，YUV文件以外的图像文件可被用于存储从亮度比和残差值转换的值。在一些可能的实施例中，可以使用可逆转换以执行这里描述的技术中的颜色空间转换或像素值转换。

在一些可能的实施例中，包含具有亮度比以及Cb和Cr残差值的色调映射基本图像的图像文件的文件大小与包含具有亮度比但没有Cb和Cr残差值的色调映射基本图像的另一图像文件的文件大小类似。在特定的实施例中，具有Cb和Cr残差值的图像平均仅比没有Cb和Cr残差值的对应图像大10%。

仅出于解释的目的，通过TMO产生色调映射图像。出于本发明的目的，可以一起使用多于一个的TMO以产生这里描述的色调映射图像。

现在，已经给出了示出本发明的原理的与附图一起阅读的本发明的一个或更多个实施例的详细描述。应当理解，本发明是关于这些实施例被描述的，但本发明不限于任何实施例。本发明的范围仅被权利要求限制，并且本发明包含大量的替代、修改和等同。在本说明书中阐述大量的特定细节以便提供本发明的透彻理解。提供这些细节是出于解释的目的，并且，可以在没有这些特定细节中的一些或全部的情况下根据权利要求实施本发明。仅出于清楚的目的，没有详细描述在本发明相关技术领域中已知的技术材料，使得不会不必要地混淆本发明。

Claims (42)

1.一种图像处理装置，包括处理器并被配置为：

接收高动态范围（HDR）图像；

接收基于所述HDR图像产生的色调映射（TM）图像，该TM图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变；

通过在单独像素的基础上用所述TM图像的亮度值除所述HDR图像的亮度值，在单独像素的基础上计算亮度比值；

将所述亮度比值应用于所述HDR图像以产生重新映射图像；

基于所述重新映射图像和所述TM图像，确定颜色空间的颜色通道中的残差值；以及

输出具有HDR重构数据的TM图像，该HDR重构数据是从所述亮度比值和所述残差值导出的。

2.根据权利要求1的装置，还被配置为将所述重新映射图像和TM图像中的至少一个从不同的颜色空间转换成所述残差值的颜色空间。

3.根据权利要求1的装置，其中，所述颜色空间是YCbCr颜色空间，并且其中，所述颜色空间的所述颜色通道包含Cb颜色通道和Cr颜色通道。

4.根据权利要求3的装置，其中，所述颜色空间的所述颜色通道中的残差值被计算为所述颜色通道中的从所述重新映射图像导出的第一像素值与所述颜色通道中的从TM图像导出的第二像素值之间的差值。

5.根据权利要求1的装置，其中，TM图像中的所述一个或更多个颜色改变中的至少一个是由在一个或更多个像素处的色调的箝位或修改中的一个导致的。

6.根据权利要求1的装置，其中，所述HDR重构数据包含具有从所述亮度比值导出的量化值和所述颜色空间的所述颜色通道中的所述残差值的残差图像。

7.根据权利要求6的装置，其中，所述HDR重构数据还包含规定所述量化值的范围的参数。

8.根据权利要求1的装置，其中，所述HDR重构数据存储于所述图像文件的应用段中，其中所述TM图像为所述图像文件中的基本图像。

9.根据权利要求1的装置，其中，所述图像文件是JPEG-HDR格式。

10.根据权利要求1的装置，还被配置为对于所述HDR图像执行一个或更多个完整性检查。

11.根据权利要求1的装置，还被配置为允许任何色调映射操作器的任何色调映射操作和/或TM图像中的任意数量的像素上的任何颜色改变。

12.根据权利要求1的装置，还被配置为用零或比阈值小的值替代TM图像中的零个、一个或更多个颜色通道零值。

13.根据权利要求1的装置，还被配置为向所述HDR图像、TM图像或重新映射图像中的至少一个应用颜色空间转换。

14.根据权利要求1的装置，其中，TM图像与重新映射图像之间的亮度残差值均为零。

15.根据权利要求1的装置，其中，HDR图像是定点图像或浮点图像中的一个。

16.根据权利要求1的装置，还被配置为对HDR图像执行色调映射操作器所要求的预处理操作，其中，预处理操作是颜色空间转换、伽马编码、伽马解码、下采样或上采样中的一个。

17.根据权利要求1的装置，还被配置为在确定颜色空间的颜色通道中的残差值之前，接收与在TM图像中执行的伽马编码有关的信息并对TM图像执行伽马编码的逆操作以产生中间TM图像。

18.根据权利要求1的装置，其中，HDR图像以JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或另一图像格式中的一种被编码。

19.一种图像处理装置，包括处理器并被配置为执行：

解析包含色调映射（TM）基本图像和HDR重构数据的图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变；

提取与量化亮度比值和颜色空间的颜色通道中的量化残差值有关的量化参数；

至少部分地基于量化参数将量化亮度比值和量化残差值转换成亮度比值和颜色空间的颜色通道中的残差值；以及

通过使用TM基本图像、亮度比值和颜色空间的颜色通道中的残差值重构HDR图像。

20.根据权利要求19的装置，其中，图像文件通过基于标准的图像解码器被解析。

21.根据权利要求19的装置，其中，量化亮度比和量化残差值存储于残差图像中，并且其中，残差图像和TM基本图像通过使用公共过程被解量化和解压缩。

22.根据权利要求19的装置，其中，TM基本图像包含任何色调映射操作器的任何色调映射操作和/或任意数量的像素上的任何颜色改变的结果。

23.根据权利要求19的装置，其中，HDR图像是定点图像或浮点图像中的一个。

24.根据权利要求19的装置，还被配置为执行颜色空间转换、伽马编码、伽马解码、下采样或上采样的操作。

25.根据权利要求19的装置，其中，图像文件是JPEG、JPEG-2000、MPEG、AVI、TIFF、BMP、GIFF或其它图像格式中的一种。

26.一种图像处理方法，包括：

将色调映射（TM）基本图像和HDR重构数据编码成图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。

27.一种图像处理方法，包括：

传送包含色调映射（TM）图像和HDR重构数据的图像文件，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。

28.一种图像处理方法，包括：

将图像文件解码成色调映射（TM）图像和HDR重构数据，HDR重构数据包含量化亮度比值和颜色空间的颜色通道中的量化残差值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变。

29.如权利要求26～28的方法，其中，图像文件是支持在应用段中存储颜色残差值的JPEG-HDR格式。

30.一种图像处理装置，包括处理器并被配置为执行如权利要求26、27和28中任一个所述的方法。

31.一种用于对于初始图像数据执行白平衡校正的装置，所述初始图像数据包含色调映射（TM）图像数据和残差图像数据，所述残差图像数据还包含高动态范围（HDR）图像数据、有效线性传感器值和白平衡乘数，所述装置包括处理器并被配置为：

从所述残差图像数据恢复有效线性传感器值和白平衡乘数；

从所述有效线性传感器值和所述初始图像数据产生传感器颜色空间值以形成第一中间图像数据；

对于各颜色通道，向所述第一中间图像数据应用白平衡乘数以产生第二中间图像数据；

如果不能从所述初始图像数据得到HDR图像数据，则将第二中间图像数据箝位为多个最大颜色通道值中的最小值，以形成第三中间图像数据；以及

如果未执行箝位，那么将所述第二中间图像数据变换至目标监视器颜色空间以形成最终图像数据；和

如果执行了箝位，那么将所述第三中间图像数据变换至目标监视器颜色空间以形成最终图像数据。

32.如权利要求31的装置，其中，所述初始图像数据以JPEG-HDR格式被格式化。

33.如权利要求32的装置，其中，在RGB颜色通道中的每一个中，所述初始图像数据包含被捕获的HDR的上部传感器范围。

34.如权利要求33的装置，其中，所述上部传感器范围包含白平衡乘数和阵列，所述矩阵还包含有效线性传感器值。

35.如权利要求34的装置，其中，所述最终图像数据被输入到图像编码器的HDR路径中。

36.一种用于处理初始图像数据的装置，所述装置包括处理器并被配置为：

输入所述初始图像数据；

输入传感器颜色空间数据和白平衡乘数；

如果采用用于所述图像数据的新白点，则计算新白平衡乘数以产生当前白平衡乘数；

对于所述图像数据中的各像素，将所述初始图像数据转换成返回到所述传感器颜色空间中的第一中间图像数据；

对于所述中间图像数据中的各颜色通道，应用当前白平衡乘数以产生第二中间图像数据；

将所述第二中间图像数据箝位为所有颜色通道最大值中的最小值量，以产生第三中间图像数据；和

将所述第三中间图像数据变换至希望的监视器颜色空间以产生第四中间图像数据。

37.如权利要求36所述的装置，其中，所述第四中间图像数据被输入到色调映射操作器中。

38.如权利要求36所述的装置，其中，所述初始图像数据通过图像捕获装置被捕获的，并且其中，所述图像捕获装置的照相机RAW数据是不可用的。

39.如权利要求38所述的装置，其中，所述图像捕获装置能够捕获多个颜色通道中的图像数据，并且其中，至少两个所述颜色通道在沿黑白梯度的不同亮度值处饱和。

40.一种图像处理方法，包括：

接收高动态范围（HDR）图像；

对于HDR数据处理白平衡校正；

接收基于HDR图像产生的色调映射（TM）图像，TM图像包含不能通过亮度比图像从TM图像恢复的一个或更多个颜色改变；

通过在单独像素的基础上用TM图像的亮度值除HDR图像的亮度值，在单独像素的基础上计算亮度比值；

对于HDR图像应用亮度比值，以产生重新映射图像；

基于重新映射图像和TM图像，确定颜色空间的颜色通道中的残差值；以及

输出具有HDR重构数据的TM图像，该HDR重构数据是从亮度比值和残差值导出的。

41.一种图像处理方法，包括：

解析图像文件，所述图像文件包含图像数据，所述图像数据还包含色调映射（TM）基本图像和HDR重构数据，HDR重构数据包含量化亮度比值、颜色空间的颜色通道中的量化残差值、白平衡乘数和有效线性传感器值，TM基本图像包含不能通过亮度比图像从TM基本图像恢复的一个或更多个颜色改变；

提取与量化亮度比值和颜色空间的颜色通道中的量化残差值有关的量化参数；

至少部分地基于白平衡乘数和有效线性传感器值校正图像数据的白平衡；

至少部分地基于量化参数将量化亮度比值和量化残差值转换成亮度比值和颜色空间的颜色通道中的残差值；和

通过使用TM基本图像、亮度比值和颜色空间的颜色通道中的残差值，重构HDR图像。

42.一种图像处理装置，包括处理器并被配置为执行如权利要求40或41所述的方法。

Images