CN102741883A

CN102741883A - 高动态范围图像生成和渲染

Info

Publication number: CN102741883A
Application number: CN2011800084641A
Authority: CN
Inventors: 孙式军
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-02-04
Filing date: 2011-01-16
Publication date: 2012-10-17
Anticipated expiration: 2031-01-16
Also published as: CA2786456C; CA2786456A1; AU2011213266A1; US8606009B2; TW201142754A; KR20160150650A; US20140079335A1; KR101764943B1; AU2014213524B2; JP2015122110A; WO2011097060A3; KR20120112709A; US9978130B2; AU2014213524A1; TWI518638B; EP2531978A4; CN102741883B; KR101831551B1; EP2531978A2; EP2531978B1

Abstract

本发明涉及用于高动态范围（HDR）图像渲染和生成的技术和工具。HDR图像生成系统对较低动态范围（LDR）图像的集合执行运动分析，并基于在运动分析中获得的信息来导出图像的相对曝光水平。当整合LDR图像以形成HDR图像时，使用这些相对曝光水平。HDR图像渲染器将HDR图像中的样本值色调映射至相应较低动态范围值，并计算局部对比度值。基于局部对比度来导出残差信号，并基于色调映射的样本值和残差信号来计算LDR图像的样本值。可以在HDR图像生成或渲染的各个阶段期间使用用户偏好信息。

Description

高动态范围图像生成和渲染

技术领域

本技术涉及生成和渲染数字图像，更具体地，涉及生成和渲染高动态范围数字图像。

背景技术

在视频和成像系统中，在具有三个或更多个通道的多维“颜色空间”中，一般将颜色表示为向量坐标。常见示例包括公知类别的RGB和YUV颜色空间。RGB颜色空间使用分别表示红、绿和蓝光的强度的坐标来指定像素值。YUV颜色空间使用表示亮度或色度值的坐标来指定像素值。

当前，许多图像捕获、处理和显示设备仅可以处理具有每通道256（2⁸）个离散值的小动态范围的像素值，这256个离散值由8个比特表示。可以将这些图像描述为具有8比特的“比特深度”。在红、绿和蓝色通道中具有每通道8比特（8 bpc）的典型RGB数字图像中，对于红、绿和蓝值中的每一个，仅256个不同值是可能的。其他值（例如，α或不透明值、亮度等）也可能受到低动态范围限制的约束。一些设备可以处理每通道最多10或12比特动态范围。然而，人类视觉系统可以检测14个数量级的较宽亮度范围，其转换至46比特左右。自然中的亮度值在明亮日光中可以如10⁸坎德拉/m²那样高，而在无月亮的夜晚在岩石的下侧可以如10^-6坎德拉/m²那样低。

高动态范围（HDR）成像呈现与人类视觉系统一致的更多功能且自然的图像表示。HDR图像可以呈现比传统8比特、10比特和12比特表示更高的动态范围，以实现高得多的图像质量。如果HDR图像格式与处理传统图像的相同类型的设备和软件工具兼容，则可以在该设备和软件中使用HDR图像。已经开发了多种HDR图像格式，并且，摄像机、计算机图形和显示设备已经开始产生、处理和显示具有增大的动态范围的图像。还可以从一系列更低动态范围图像构造HDR图像。参见Debevec等人所著, “Recovering High Dynamic Range Radiance Maps from Photographs,” SIGGRAPH ’97 (1997年8月)。

各种现有技术解决了与显示或处理高分辨率和/或高动态范围图像相关联的问题。

美国专利号 7,120,293描述了一种“交互式图像”，其中，将交互式图像中的每个像素位置指派给具有不同特性的多个代表性图像之一。采用图像处理技术来确定多个代表性图像中的哪一个表示与所选的像素位置有关的最佳曝光水平或调焦设置。

美国专利号 7,492,375描述了允许选择和显示HDR图像中所关注的一个或多具体区域的HDR观察器。在所关注的区域中，HDR观察器显示HDR图像的对应部分。对应部分可以以某种方式从原始HDR图像变化。例如，HRD图像中与所关注的区域相对应的部分可以色调映射至不同动态范围。

被称为HDR视图的公开可用的应用允许用户在更低动态范围显示器上打开HDR图像并在HDR图像的所选像素位置上shift单击（shift-click），以根据所选像素位置处的曝光水平来改变图像的曝光。HDR视图的描述可见于http://athens.ict.usc.edu/FiatLux/hdrview/。

工程师还使用压缩（也被称为译码（coding）或编码(encoding)）来减少表示数字媒体（例如，HDR或SDR数字图像）所需的比特量。压缩通过将数字图像转换为更低比特率形式来降低存储和传输该数字图像的成本。解压缩（也被称为解码）从压缩形式中重构原始图像的版本。“编解码器”是编码器/解码器系统。

编码或其他处理后数字图像中可感知的瑕疵有时被称为伪影，这是由于这些瑕疵由编码或其他处理引起并示出进行过编码或其他处理。这些伪影包括块状伪影、带状伪影和环状伪影。

由压缩引入且出现在重构图像中的块图案通常被称为块状伪影。块状伪影在平滑变化的梯度区域（例如，晴空的图像）中尤其明显。例如，块状伪影产生于将图像分割为块进行编码，其中，该编码包括块的AC系数的频率变换过程和量化。例如，当将图像中的样本值从高比特分辨率（例如，每样本值10个比特或12个比特）转换至较低比特分辨率（例如，每样本值8个比特）时，出现带状或轮廓伪影。当将样本值修剪至较低比特分辨率时，值的条带之间的步长可以变得可感知，尤其是在具有平滑改变的样本值（例如，从较亮至较暗的逐步过渡）的区域中。环状伪影可以作为离开伪影边缘去往画面背景的噪声的波浪图案或其他条带而出现。环状伪影可以产生于包括对象或对象的一部分的块的频率变换过程和量化。在编辑期间过度锐化也会在边缘处引入环状伪影。

一些用于控制伪影的后处理方案在解码之后处理图像，以缓和或以其他方式隐藏伪影。一些系统在块边界上自适应地滤波，以降低块状伪影的可见性。其他系统在后处理期间使用抖动，来调整重构画面的样本值。例如，抖动可以在锯齿边缘周围对值引入较小调整，使得观察人对这些值“求平均”并感知更平滑的边缘。

不论先前技术的优点如何，这些先前技术都不具有以下提出的技术和工具的优势。

发明内容

描述了用于高动态范围（HDR）图像渲染和生成的技术和工具。在多个所描述的实施例中，HDR图像生成系统对较低动态范围（LDR）图像的集合执行运动分析，并基于在运动分析中获得的信息来导出图像的相对曝光水平。当整合LDR图像以形成HDR图像时，使用这些相对曝光水平。在多个所描述的实施例中，HDR图像渲染器将HDR图像中的样本值色调映射至相应较低动态范围值，并计算局部对比度值。基于局部对比度来导出残差信号，并基于色调映射的样本值和残差信号来计算LDR图像的样本值。可以在HDR图像生成或渲染的各个阶段期间使用用户偏好信息。

在一个方面，相对于描绘场景的数字图像的集合中的参考图像，执行运动分析。可以选择参考图像（例如，基于用户偏好信息或图像中的检测到的曝光范围）。运动分析包括：确定集合中的一个或多个非参考图像中的每一个相对于参考图像的图像差异。至少部分地基于运动分析，针对每个非参考图像导出相对于参考图像的一个或多个相对曝光水平。例如，基于被转换为线性域的样本值和相应非参考图像的平均样本比率来导出相对曝光水平。至少部分地基于相对曝光水平，将多个数字图像的集合进行整合，以形成描绘该场景的HDR图像。可以基于相对曝光水平将样本值扩缩至归一化水平。可以执行预处理（例如，在运动分析之前），以移除被整合形成HDR图像的各图像中的图像伪影。

运动分析可以包括：使用归一化互相关，来确定相对于参考图像的图像差异。运动分析可以包括：选择非参考图像中的样本值的子集，以确定相对于参考图像的图像差异，所述子集是基于样本值是否落在曝光值的范围内来选择的。运动分析可以包括之后紧跟有局部运动改善的全局运动分析。运动分析可以包括：确定一个或多个非参考图像中的每一个中的一个或多个像素的运动向量。

整合可以包括：针对HDR图像中的每个样本位置，计算与参考图像中的该样本位置相对应的样本值和与每个非参考图像中的该样本位置相对应的扩缩样本值的加权平均。例如，基于置信水平、相对曝光值和正指数（例如，0.5）来计算加权平均中的每个样本值s的加权因子w。置信水平可以基于样本值而变化。例如，置信水平对于更极端（例如，非常亮或非常暗）的样本值来说更小。

在另一方面，将HDR图像渲染为LDR图像。将HDR图像中的样本值色调映射至相应较低动态范围值。针对色调映射的样本值中的每一个，计算局部对比度值。至少部分地基于相应局部对比度值，针对色调映射的样本值中的每一个，导出残差信号。例如，将每个色调映射样本值乘以相应局部对比度值。可以将扩缩和滤波应用于残差信号。扩缩可以包括：应用作为与相应残差信号相对应的色调映射样本值的函数的扩缩因子。至少部分地基于色调映射的样本值和相应的残差信号，针对LDR图像计算样本值。例如，可以通过将色调映射的样本值、残差信号和高频抖动信号进行组合并将其映射至0至255（包括边界）范围内的整数值，计算LDR图像的样本值。然后，可以以某种其他方式显示或处理LDR图像。在色调映射之前可以对HDR图像执行预处理（例如，画面大小调整、显式曝光调整、显式动态范围调整、色温调整、颜色增强）。

色调映射可以包括：生成全局色调映射查找表并针对HDR图像中的样本值标识LDR值，例如通过在查找表中执行查找。可以基于自适应伽马函数来生成全局色调映射查找表。可以将色调映射应用于HDR图像的较低分辨率预览版本或者HDR图像的全分辨率版本。例如，在保存最终图像时，可以将对图像的预览版本应用的色调映射应用于该图像的全分辨率版本。可以将修改后的色调映射参数应用于HDR图像的拷贝，并可以顺序地显示色调映射版本，例如，以产生动画效果。

在另一方面，提供了用于针对HDR图像渲染参数设置用户偏好的一个或多个用户偏好控制器。例如，可以经由作为图像编辑应用的一部分的用户界面来提供用户可调整控制器。从用户偏好控制器接收用户偏好信息。用户偏好信息与包含HDR图像的HDR图像文件的HDR图像渲染参数相对应。至少部分地基于用户偏好信息来渲染HDR数字图像。渲染包括：计算多个色调映射样本值中的每一个的局部对比度值；以及至少部分地基于相应色调映射样本值的局部对比度值，计算LDR图像的样本值。

可以将与单个用户或多个用户相关联的用户偏好信息作为元数据存储在图像文件中。例如，可以将用户身份信息与用户偏好信息一起存储，并可以将用户标识信息与相应用户相联系。将用户偏好信息存储为元数据可以便于在文件中保留原始HDR图像信息。用户偏好控制器可以包括例如信号扩缩控制器、信号滤波控制器、伽马控制器、颜色增强控制器、大小调整控制器、色温控制器和白点控制器。

本发明的以上和其他目的、特征和优势将从参照附图而作出的以下具体描述中变得更加明了。

附图说明

图1A示意了可实现多个所描述的实施例的合适计算环境100的概括示例。

图1B示意了可实现所描述的实施例的合适实现环境的概括示例。

图2是示出了根据一个或多个所描述的实施例的、包括HDR图像生成和HDR图像渲染的示例性数字HDR成像工作流程的图。

图3是示意了根据一个或多个所描述的实施例的概括HDR图像处理系统的图。

图4是示出了根据一个或多个所描述的实施例的用于从SDR图像的集合生成HDR图像的示例技术的流程图。

图5是示出了根据一个或多个所描述的实施例的HDR图像生成系统的示例实现的图。

图6是示出了根据一个或多个所描述的实施例的用于渲染HDR图像的示例技术的流程图。

图7是示出了根据一个或多个所描述的实施例的HDR图像渲染系统的示例实现的图。

图8是示出了根据一个或多个所描述的实施例的包括用于滤波操作的当前样本位置的轴的图。

图9是示出了根据一个或多个所描述的实施例的用于根据用户偏好信息处理HDR图像的示例技术的流程图。

图10是示出了根据一个或多个所描述的实施例的根据用户偏好信息生成或渲染HDR图像的HDR图像处理系统的示例实现的图。

具体实施方式

所描述的技术和工具涉及生成和渲染高动态范围（HDR）数字图像和相关用户界面特征的不同方面。

这里描述的实施方式的各种替换方式是可能的。例如，可以通过改变流程图中所示的阶段的排序，通过重复或省略特定阶段等等，来变更参照流程图描述的技术。作为另一示例，尽管参照具体数字媒体格式描述了一些实施方式，但是还可以使用其他格式。

可以组合地或独立地使用各种技术和工具。不同实施例实现所描述的技术和工具中的一个或多个。可以在具有用于处理数字静止图像的软件的计算机系统中或者在未具体限于处理数字静止图像的某种其他系统中使用这里描述的一些技术和工具。例如，这里描述的技术和工具可以用于处理数字视频。

I. 示例计算环境

图1A示意了可实现多个所描述的实施例的合适计算环境100的概括示例。计算环境（100）并不意在暗示对用途或功能的范围的任何限制，这是由于可以在多样的通用或专用计算环境中实现这里描述的技术和工具。

参照图1A，计算环境100包括至少一个CPU 110和关联的存储器120以及用于视频加速的至少一个GPU或其他协处理单元115和关联的存储器125。在图1A中，该最基本配置130被包括在虚线内。处理单元110执行计算机可执行指令并可以是实际或虚拟处理器。在多处理系统中，多个处理单元执行计算机可执行指令以提高处理能力。存储器120、125可以是易失性存储器（例如，寄存器、高速缓存、RAM）、非易失性存储器（例如，ROM、EEPROM、闪存等）或者这两者的某种组合。存储器120、125存储用于实现具有一个或多个所描述的技术和工具的系统的软件180。

计算环境可以具有附加特征。例如，计算环境100包括存储装置140、一个或多个输入设备150、一个或多个输出设备160以及一个或多个通信连接170。互连机构（未示出）（例如，总线、控制器或网络）将计算环境100的各组件进行互连。典型地，操作系统软件（未示出）提供了在计算环境100中运行的其他软件的操作环境，并协调计算环境100的各组件的活动。

存储装置140可以是可移除的或不可移除的，并包括磁盘、磁带或盒式磁带、CD-ROM、DVD、存储卡、或者可以用于存储信息且可以在计算环境100内访问的任何其他介质。存储装置140存储实现所描述的技术和工具的软件180的指令。

输入设备150可以是触摸输入设备，例如，键盘、鼠标、笔、轨迹球或触摸屏、语音输入设备、扫描设备、数码摄像机、或者提供计算环境100的输入的其他设备。对于视频，输入设备150可以是视频卡、TV调谐器卡、或者接受模拟或数字形式的视频输入的类似设备、或者将视频样本读取至计算环境100中的CD-ROM或CD-RW。输出设备160可以是显示器、打印机、扬声器、CD刻录机、或者提供计算环境100的输出的其他设备。

通信连接170通过通信介质来实现到其他计算实体的通信。通信介质传送诸如计算机可执行指令、音频或视频输入或输出或者调制数据信号中的其他数据之类的信息。调制数据信号是其特性中的一个或多个被设置或改变以在该信号中编码信息的信号。作为示例而非限制，通信介质包括利用电气、光学、RF、红外、声学或其他载体而实现的有线或无线技术。

可以在计算机可读介质的一般上下文中描述这些技术和工具。计算机可读介质是可在计算环境内访问的任何可用介质。作为示例而非限制，在计算环境100下，计算机可读介质包括存储器120、125、存储装置140和以上任一项的组合。

可以在计算机可执行指令（例如，包括在程序模块中、在计算环境中在目标实际或虚拟处理器上执行的那些指令）的一般上下文中描述这些技术和工具。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、组件、数据结构等。如各个实施例中所期望，可以在程序模块之间组合或分割程序模块的功能。可以在本地或分布式计算环境内执行程序模块的计算机可执行指令。

为了介绍，该具体描述使用诸如“选择”和“确定”之类的术语来描述计算环境中的计算机操作。这些术语是由计算机执行的操作的高级抽象，并且不应当与由人类执行的动作混淆。与这些术语相对应的实际计算机操作根据实施方式而变化。

II. 示例实现环境

图1B示意了可实现所描述的实施例、技术和科技的合适实现环境190的概括示例。

在示例环境190中，各种类型的服务（例如，计算服务）由云192提供。例如，云192可以包括一系列计算设备，这些计算设备可以是集中式或分布式定位的，其将基于云的服务提供给经由网络（例如互联网）而连接的各种类型的用户和设备。

在示例环境190中，云192给所连接的具有多种屏幕能力194A-N的设备提供服务。所连接的设备194A表示具有中尺寸屏幕的设备。例如，所连接的设备194A可以是个人计算机，例如台式计算机、膝上型电脑、笔记本、上网本等。所连接的设备194B表示具有小尺寸屏幕的设备。例如，所连接的设备194B可以是移动电话、智能电话、个人数字助理、平板计算机等。所连接的设备194N表示具有大屏幕的设备。例如，所连接的设备194N可以是电视（例如，智能电视）或者与电视或投影屏幕相连接的其他设备（例如，机顶盒或游戏控制台）。

多种服务可以由云192通过一个或多个服务提供商（未示出）提供。例如，云192可以将与HDR图像生成和渲染相关的服务提供给各种所连接的设备194A-N中的一个或多个。可以按照特定的所连接的设备（例如，所连接的设备194A-N）的屏幕尺寸、显示能力或其他功能来定制云服务。例如，可以通过考虑典型地与移动设备相关联的屏幕尺寸、输入设备和通信带宽限制，针对移动设备定制云服务。

III. 高动态范围成像——总览

尽管人类视觉系统能够检测非常宽的动态范围内的细节（尤其是就亮度而言），但是人类通常不会同时得到该动态范围的整个幅度内的细节。例如，人类难以同时得到非常亮的区域和非常暗的区域中的细节。然而，通过聚焦于场景中的各个局部区域，人类视觉系统可以非常快地适于局部区域中的明亮度，以便看到亮区域（例如，天空）以及较暗区域（例如，阴影）中的细节。

许多现有数码摄像机（包括大多数DSLR（数码单镜头反光）摄像机）缺少直接的HDR图像捕获能力，并仅能够在标准动态范围处从单一角度进行每次拍摄。因此，在人类可感知的细节的水平与可在SDR图像中表示的细节的水平之间存在较大缺口。该问题的切实可行的解决方案是高动态范围（HDR）成像。HDR图像可以捕获场景中的丰富信息，并且在被适当渲染时可以带来非常逼真的视觉体验。由于人类视觉系统的非线性和局部自适应特性，可以利用正常的打印件或现有的显示器来实现大多数HDR成像体验，从而使HDR图像的市场潜在地非常大。因此，HDR成像技术近来引起了用户的更多关注，这些用户包括专业摄影师和爱好者。

A. 色调映射

一种用于将HDR图像信息转换至较低动态范围（例如，用于为SDR显示器渲染HDR图像）的方式是：通过将色调映射应用于HDR图像信息。色调映射指代将图像样本值s映射至样本值g(s)的函数g。全局色调映射是将全局色调映射应用于给定图像I中的每个样本值的过程。例如，可以将全局色调映射应用于图像，以便如用户所期望的那样修改图像的明亮度和/或对比度质量，从而得到色调映射图像G(I)。局部色调映射指的是将图像I变换为色调映射图像L(I)的函数L。与全局色调映射一样，可以将局部色调映射应用于图像，以达到调整图像中的明亮度和对比度的目的。然而，局部色调映射可以允许在图像上不被均匀应用的局部调整。

可以出于不同目的将色调映射应用于图像。例如，色调映射可以涉及将HDR图像中的样本值映射至更窄的动态范围。这种色调映射的一个应用是：为了在不能够显示HDR图像的全部动态范围的监视器上显示而渲染HDR图像。这种色调映射的另一个应用是：准备HDR图像，以便以需要图像的更低比特深度表示的格式进行编码。

B. 示例性图像格式

这里描述的数字图像可以是彩色、灰度或其他类型的图像，并可以是以多种文件格式（例如，GIF、PNG、BMP、TIFF、TIFF Float32、JP2、HDR、OpenEXR、JPEG XR、Radiance RGBE和/或其他格式）表示的。本节提供了与可以与用于生成HDR图像并渲染HDR图像的所述技术和工具一起使用的一些图像格式有关的细节以及相关用户界面特征。例如，所述技术和工具可以以JPEG XR格式处理HDR图像。

JPEG XR是有益于对HDR图像进行编码的灵活且强大的格式，支持最多32比特浮点数。JPEG XR支持HDR图像编码，同时仅需要压缩和解压缩的整数运算（没有除法）。JPEG XR与用于存储图像数据和元数据的文件容器兼容，该元数据可以包括HD Photo元数据、XMP元数据和利用IFD标签的Exif元数据。与现有HDR格式（例如，TIFF Float、OpenEXR和Radiance RGBE）相比，JPEG XR格式在保持合理的图像质量的同时提供了高得多的压缩能力。JPEG XR文件格式是可扩展的，因此，可以在不改变图像比特流的情况下将附加元数据（专有的或标准的）插入到JPEG XR文件中。

Radiance RGBE是用于承载HDR图像数据的另一格式。在RGBE图像中，每个像素由32个比特表示：一个比特组（例如，一个字节）用于红尾数（R），一个比特组（例如，一个字节）用于绿尾数（G），一个比特组（例如，一个字节）用于蓝尾数（B），其余比特（例如，一个字节）用于对由R、G和B通道中的每一个的尾数表示的值应用的公共指数（E）。在RGBE中，有效像素值（fR、fG、fB）是浮点数，其中，fR = R*2^(E-128)；fG = G*2^(E-128)；以及fB = B*2^(E-128)。RGBE规则将最大8比特尾数限于范围[128, 255]内，而其他两个8比特尾数是无限制的（即，范围是[0, 255]）。因此，从RGB至RGBE的映射是唯一的。RGBE可呈现的动态范围是[2^-127, 2⁺¹²⁷]，大致为76个量级。从RGBE像素重构的RGB值是无符号的——所有非零值是正的。然而，由于这三个颜色分量共享相同指数，因此牺牲了两个较小分量的精度。E=0是特殊情况，指示对应的像素值为0。

Radiance RGBE (9:9:9:5)的一个变形将9个比特中指派给红、绿和蓝尾数通道，并将5个比特指派给指数，从而如上述8:8:8:8格式中那样以32个比特来表示每个像素。RGBE的其他表示也是可能的，其中，不同数目的比特被指派给尾数和指数。

通常在表示浮点图像数据时使用32比特浮点（“32比特浮点”）。定义32比特浮点图像的容器格式包括便携式浮点映射（“PFM”）和标签图像文件格式（“TIFF”）。IEEE 754 32比特单精度浮点数包括用于符号的1个比特（s）、用于指数的8个比特（e）和用于尾数的23个比特（m）。16比特浮点（也被称作“半”）具有一个符号比特、五个指数比特和十个尾数比特。由于16比特和32比特浮点表示除字段长度的具体差异外在结构上相同，因此它们可以被统称为“浮点”。

一些图像格式由国际标准指定。例如，JPEG和JPEG2000标准阐述了用于对分别以JPEG和JPEG2000格式编码的图像进行解码的解码器的要求。符合JPEG2000的编码器和解码器（“编解码器”）以良好的压缩效率提供了高质量图像。JPEG XR标准是从由微软公司开发的专有图像压缩格式视窗媒体相片（Windows Media Photo）和HD相片（HD Photo）开发的，作为视窗媒体技术族的一部分。JPEG XR是在国际标准ISO/IEC 29199-2:2009中描述的。

IV. 用于高动态范围图像生成和渲染的技术和工具

所描述的实施例包括用于生成HDR图像的技术和工具（例如，用于从具有各种曝光水平的SDR图像的集合生成HDR图像的算法）、用于渲染HDR图像的技术和工具（例如，用于将HDR图像渲染至SDR图像或显示器的算法）以及用于设置HDR图像处理的控制参数的技术和工具（例如，便于利于作为控制参数而嵌入的渲染参数的HDR图像编码的工具）。

如图2所示，示例性数字HDR成像工作流程200包括HDR图像生成210和HDR图像渲染220。在HDR图像生成210中，生成了HDR图像。例如，可以通过合成来自多个SDR图像（例如，在稍微不同的时刻处拍摄的相同场景的图像，其中每个时刻具有不同的曝光设置）的信息来生成HDR图像。还可以在不将多个图像进行组合的情况下直接生成HDR图像，例如通过利用能够捕获具有HDR比特深度的原始图像的图像捕获设备来捕获图像。HDR图像生成210可以包括用于移除不期望的图像伪影（例如，在压缩将要用于形成HDR图像的源图像时引入的伪影）的预处理（例如，手动或自动操作）。

在HDR图像渲染220中，将HDR图像信息转换为另一形式。例如，可以将HDR图像渲染为SDR图像（例如，JPEG图像）并显示在SDR显示器上。图像渲染可以涉及色调映射过程（例如，自动或半自动色调映射过程）。可以公布或存档所渲染的图像。然而，典型地，在将HDR图像转换为SDR图像时，图像数据丢失。因此，存档HDR图像的原始版本是有益的（例如，以便在稍后阶段执行对原始图像的进一步修改）。还可以在不重新映射至标准动态范围的情况下渲染HDR图像，例如，当显示器能够在不重新映射的情况下渲染HDR图像的全部动态范围时。

尽管示例性工作流程200示出了HDR图像生成210后跟HDR图像渲染220，但是HDR图像处理系统可以生成HDR图像而不渲染这些HDR图像，例如，当生成HDR图像以供存储或进一步处理但是不显示HDR图像时。HDR图像处理系统还可以渲染HDR图像渲染而不生成这些HDR图像，例如，当HDR图像处理系统在不先生成HDR图像的情况下从某其他源获得HDR图像信息（例如，经由通信介质）时。

在这里描述的示例中，SDR图像是具有每颜色通道8个比特（bpc）的图像，HDR图像是16 bpc图像或更多。更一般地，“标准动态范围”或SDR指代比HDR图像具有更窄或更低动态范围的显示、图像、格式等。（SDR图像还可以被称作较低动态范围或LDR图像。）类似地，“高动态范围”或HDR指代比SDR图像具有更宽或更高动态范围的显示、图像、格式等。例如，所描述的实施例可以用于从16bpc SDR图像生成32 bpc HDR图像，或者渲染32 bpc HDR图像以显示在16 bpc监视器上。

一般地，这里描述的数字图像可以由能够捕获数字图像的任何设备（例如，数字静止图像摄像机、数字视频摄像机、扫描仪或者具有图像捕获能力的多用途设备（例如，摄像机电话））或能够存储数字图像的任何介质（例如，易失性存储器或非易失性存储器，例如光盘或闪存）捕获或者可以存储在其上。

A. 概括的HDR成像系统

图3是示意了概括的HDR图像处理系统310的图。图3示出了系统310可接受的不同类型的图像输入。例如，图3示出了HDR图像320以及比HDR图像320具有更低动态范围（例如更小曝光范围）的SDR图像332、334、336和338的集合330。一般地，系统310的图像输入可以是单个图像、图像的集合（例如，具有用于构造HDR图像的变化动态范围的图像的集合或者多个HDR图像的集合）、和/或诸如与这些图像相关的元数据或用户偏好数据（未示出）之类的其他信息。元数据可以包括例如指示摄像机设置的信息。例如，用户偏好数据可以包括用于观察或修改图像的用户控制参数设置。元数据和用户偏好数据可以包含于图像文件内或者可以是分离地提供的。尽管在图3中示出了仅一个HDR图像，但是系统310可以接受多于一个HDR图像作为输入。

图3示出了可操作用于生成HDR图像的HDR图像生成器340和可操作用于渲染HDR图像以进行显示的HDR图像渲染器350。尽管系统310示出了HDR图像生成器340和HDR图像渲染器350，但是系统310可以执行HDR图像生成而不渲染，例如，当生成HDR图像以供存储或进一步处理但不显示HDR图像时。系统310也可以执行HDR图像渲染而不进行HDR图像生成，例如，当HDR图像处理系统从某其他源获得HDR图像信息（例如，经由通信介质）而不先生成HDR图像时。

在图3所示的示例中，HDR图像生成器340合成来自SDR图像集合330（例如，在稍微不同的时刻处拍摄的相同场景的图像，其中每个时刻具有不同的曝光设置）的信息。然后，HDR图像渲染器350可以将所生成的HDR图像映射至SDR图像，并准备SDR图像以在显示器360上输出。还可以在不重新映射至标准动态范围的情况下渲染HDR图像，例如，当显示器能够在不重新映射的情况下显示其全部动态范围内的HDR图像时。

系统310内的模块之间的关系指示了系统中的一般信息流；为了简明，未示出其他关系。典型地，特定实施例使用了概括系统310的变型或补充版本。根据实施方式和所期望的处理类型，可以添加系统的模块、省略系统的模块、将系统的模块分割为多个模块、将系统的模块与其他模块进行组合、和/或替换为类似的模块。在替换实施例中，具有不同模块和/或其他模块配置的系统执行一个或多个所描述的技术。

例如，系统310可以包括预处理器，该预处理器使用低通滤波器或其他滤波器来使输入数字图像平滑，以便选择性地移除高频分量。或者，预处理器执行其他预处理任务。系统310还可以包括一个或多个编码器，该一个或多个编码器对图像数据进行压缩，输出压缩后的数字图像信息的比特流。由编码器执行的精确操作可以根据压缩格式而变化。例如，编码器可以根据诸如JPEG XR之类的HDR图像格式来压缩HDR图像信息，或者，编码器可以根据JPEG之类的格式来压缩SDR图像信息。系统310还可以包括一个或多个解码器，该一个或多个解码器对压缩后的图像数据进行解压缩，输出解压缩后的数字图像信息的比特流。由解码器执行的精确操作可以根据压缩格式而变化。例如，符合JPEG XR的解码器可以对JPEG XR文件中的HDR图像信息进行解压缩，或者，符合JPEG的解码器可以对JPEG文件中的SDR图像信息进行解压缩。

B. 用于高动态范围图像生成的方案

1. 概括的技术

图4示出了用于从SDR图像的集合生成HDR图像的技术400，其中，基于运动分析，针对SDR图像导出相对曝光。诸如图3所示的HDR图像处理系统310之类的系统或其他系统执行技术400。

在410处，系统执行相对于示出场景的图像集合中的参考图像的运动分析。运动分析包括：确定集合中的非参考图像中的每一个相对于参考图像的图像差异。在一个实施方式中，系统通过确定集合中的哪个图像有最多样本值落在可接受曝光范围内并将该图像指定为参考图像，而从候选图像的集合中选择参考图像。可替换地，以某种其他方式将参考图像指定为参考图像。

在420处，系统至少部分地基于运动分析来导出相对于参考图像的曝光水平。例如，系统基于非参考图像的运动分析信息，导出每个非参考图像的相对曝光水平。

在430处，系统将多个数字图像的集合进行整合，以形成描绘该场景的HDR数字图像。该整合至少部分地基于相对曝光水平。例如，在已经针对每个非参考图像导出相对曝光水平的情况下，系统使用这些相对曝光水平来计算HDR数字图像的样本值。

2. 示例实现

该部分提供了用于从SDR图像的集合生成HDR图像的一组措施的示例实现的实现细节。

在图5中示出了HDR图像生成系统510的示例实现。在该示例中，HDR图像生成系统510将SDR图像信息520视作输入，SDR图像信息520包括SDR图像522、524、526、528的集合的图像信息，SDR图像522、524、526、528是具有一个或多个不同设置的场景的图像，其将在处理和整合图像时产生更高动态范围图像590。例如，SDR图像522、524、526、528是在具有不同曝光设置的不同时刻处拍摄的场景的图像。图5示出了实现各个处理阶段并产生HDR图像590作为输出的示例模块。

a. 运动分析

运动分析器530分析输入SDR图像522、524、526、528中的运动。例如，在SDR图像522、524、526、528表示场景在不同时刻处的视觉状态的情况下，运动分析器530分析在图像的序列中发生的运动。当在不同时刻处拍摄场景的图像时，在场景的不同拍摄之间非常有可能存在图像运动（全局的或局部的）。运动分析器530可以将各次拍摄时的图像纹理进行对准并对运动定量，使得可以在执行进一步处理时考虑这种运动。

运动分析器530执行相对于参考图像的运动分析。在图5所示的示例中，将图像524指定为参考图像。典型地，参考图像是具有中等曝光范围（即，不是输入图像的集合中最亮或最暗的曝光范围）的图像。在一个实施方式中，基于输入图像的集合中的哪个图像有最多样本值处于“正常范围”（即，不是太高（饱和）或太低（曝光不足）的范围）内来选择参考图像。对于正常曝光范围的限制以及确定正常范围的方式可以变化。例如，可以针对所有图像预先确定或者针对每个图像或输入图像集合（例如，基于图像信息和/或用户偏好）自适应地确定正常曝光范围。对参考图像的选择可以由运动分析器530（例如，基于图像信息和/或用户偏好信息）自动执行，或者，可以在将图像提供给运动分析器530之前将该图像指定为参考图像。

运动分析器530使用图像差异来对输入图像522、524、526、528中的运动进行建模。尽管已经开发了用于测量视频画面中的差异（例如，均方差、平方差之和）以分析视频中的运动的各种技术，但是示例实现使用了与将在典型视频应用中所使用的手段不同的用于分析静止图像中的运动的手段，这是由于期望解释不同拍摄中的曝光差异。在一个实施方式中，运动分析器530通过利用“归一化互相关性”度量计算样本值的差异，来测量图像差异。例如，一个图像t(x,y)与另一图像f(x,y)的归一化互相关性是：

其中，n是t(x,y)和f(x,y)中的像素的数目，σ表示标准差。可替换地，可以以另一种方式执行对图像差异的测量，例如通过消除每个画面中的平均样本值（

和

）的减法。

换句话说，将两个图像（或图像区域）定义为i1(x, y)和i2(x’, y’)，其中，(x, y)和(x’, y’)是相应样本的2D坐标。两个图像或图像区域（假定相同分辨率和大小）之间的差异（“diff”）可以被表示为：

其中，<i>表示相应图像或图像区域“i”的平均样本值，sd(i)表示相应数据集合的标准差（sqrt(<(i-<i>)²>)）。“corr”是在通过常量（例如，扩缩因子）来扩缩数据以调整曝光水平的情况下的不变量，即：

其中，S是表示扩缩因子的常量。这可以是用于测量具有不同曝光水平的图像之间的差异的有用测量，其中，曝光水平的差异可以被表示为表示扩缩因子的常量。对于颜色图像（例如，RGB图像），图像差异可以是颜色通道中的每一个的“corr”的平均值或者通道的加权平均值（例如，对于R、G和B通道，分别具有加权因子1/4、1/2和1/4）。

可替换地，可以以另一种方式执行对图像差异的测量，例如通过使用省略平均样本值（例如，以上等式（1）中的

和）的减法的等式。作为另一替换方案，可以在运动分析中应用其他度量，例如归一化相关系数。

运动分析器530搜索参考图像中的像素位置与非参考图像中的像素位置之间的匹配。在一个实施方式中，使用归一化互相关性度量来分析样本值并确定是否存在匹配。运动分析的细节（例如，针对什么内容构成匹配的准则）以及用于检测匹配的搜索模式可以根据实施方式而变化。例如，运动分析器530可以搜索附近像素位置处的匹配，然后逐步扩充（例如，以扩充螺旋模式）搜索区域，以将非参考图像中的像素与参考图像中的像素相匹配。

全局运动分析指代旨在对影响整个图像的运动（例如，横摇、颤动、旋转、变焦或其他移动）进行建模的分析。全局运动分析可以涉及：在与特定类型的全局运动一致的像素位置处寻找匹配样本值。例如，在非参考图像中寻找横摇运动可以涉及：在参考图像中沿主导水平方向搜索匹配样本值。局部运动分析指代旨在对图像的个别部分中的运动（例如，对象或人类目标的移动）进行建模的分析。

在检测到从特定像素位置至另一像素位置的运动之后，运动分析器530对运动定量。在一个实施方式中，运动分析器530计算图像中的每个像素相对于参考图像的运动向量。例如，运动向量可以指示水平维度上相对于参考图像的位移和垂直维度上相对于参考图像的位移。可以使用零运动向量来指示未对特定像素检测到运动。可替换地，运动分析器530以某种其他方式对运动定量。例如，运动分析器530可以对输入图像进行二次采样并计算二次采样的图像中的像素的运动向量。

在示例实施方式中，在运动分析中不考虑异乎寻常低的样本值或异乎寻常高的样本值，这是由于这些样本值通常不可靠；例如，高或低的样本值可以由于图像噪声而引起，或者由于图像捕获设备中的图像传感器的动态范围限制，使得该值可能不是精确测量。用在运动分析中的可接受样本值的范围以及确定该范围的方式可以变化。例如，可以针对所有图像预先确定或者针对每个图像或输入图像集合（例如，基于图像信息和/或用户偏好）自适应地确定在运动分析中使用的可接受样本值的范围。

用于执行全局和局部分析的特定技术可以根据实施方式而变化，用于全局运动分析的技术可以与用于局部运动分析的技术不同。

b. 伽马至线性转换

可以使用伽马至线性转换器540来转换不处于线性域中的输入图像信号。典型地，静止图像文件（例如，JPEG文件）中的数据包括伽马编码的值。在一个实施方式中，根据在每个图像中携带的颜色简档或HDR图像生成系统510中的缺省颜色简档，将所有R/G/B样本转换至线性域。这允许将伽马编码的样本值转换至线性域，其中，在将图像数据整合为HDR图像之前，可以扩缩样本值（如以下更详细描述）。可替换地，例如在不需要伽马至线性转换的情况下，可以省略伽马至线性转换器540。

c. 相对曝光水平的导出

相对曝光导出器550基于运动分析来导出输入SDR图像522、524、526、528的相对曝光。这样，在考虑运动的同时，可以相对于参考图像导出每个图像的相对曝光水平。例如，对于具有样本值的非参考图像中的像素，运动向量指示相对于参考图像的运动。运动向量指向具有其自身样本值的参考图像中的对应像素。样本值对的比率是样本比。这样，可以基于运动分析，针对每个样本值对，导出样本比。然后，可以通过找到样本比的平均值来计算相对曝光。在一个实施方式中，基于由伽马至线性转换器540提供的线性RGB域中的数据来导出相对曝光。可替换地，曝光导出器550以某种其他方式计算相对曝光水平。

d. 图像信号扩缩

图像信号扩缩器560基于相对曝光水平来扩缩样本值。在一个实施方式中，图像信号扩缩器560将每个非参考输入SDR图像522、526、528的样本值乘以与相应图像的相对曝光水平相对应的扩缩因子，但省略了对参考图像524的扩缩。扩缩将扩缩后的样本值置于相同（参考）归一化水平。在一个实施方式中，将扩缩操作应用于由伽马至线性转换器540提供的线性RGB数据，其中，在图像的所有R、G和B样本值上应用相同扩缩因子。可替换地，在运动分析之前执行扩缩，并可以对扩缩后的画面执行运动分析。然而，在这种情况下，运动分析可能较不可靠，这是由于运动分析是对扩缩后的样本值执行的。

c. 图像整合

图像整合器570将输入SDR图像522、524、526、528进行整合。当HDR图像生成系统510已将描绘场景的多个SDR图像视作输入时，针对场景中的每个样本位置存在多个样本值。图像整合器570将样本值进行整合，以形成HDR图像中的对应样本位置的样本值。

在一个实施方式中，图像整合器570计算包括每个样本位置的扩缩后的样本值在内的样本值的加权平均——将被扩缩至相同“参考”曝光水平的线性信号整合为加权平均。每个样本值的加权因子基于在扩缩和线性转换之前根据对应的原始样本值而确定的置信水平。加权因子与置信水平成比例；置信水平越高，则加权因子越高。置信水平根据原始值的极端程度而变化。例如，针对极端暗或饱和的区域，将置信水平设置为0。

以下示出了可以如何针对伽马域（而不是线性域）中的原始值的情况计算置信水平C(s)的一个示例。

等式（4）指示了零置信水平适用于太高或太低的值。可替换地，以某种其他方式计算置信水平。例如，将被指派给有零置信水平的值的范围的阈值可以根据实施方式而变化。

在一个实施方式中，加权因子还是曝光水平的函数。在计算加权平均时，对来自较高曝光拍摄的样本值的加权多于来自具有较低曝光的图像的样本值。这基于以下观察：统计上，当进入图像传感器的光子的数目越大时，样本趋于越精确。

作为示例，具有原始值“s”的样本的加权因子w（其中，s被归一化在范围[0, 1]内）可以被表示为：

其中，“e”是相对曝光值（例如，由相对曝光导出器550计算的相对曝光值），C(s)是置信水平。幂因子“a”的典型值处于0.25与1.0之间。在一个实施方式中，幂因子“a”被设置为0.5（即，e的平方根）。

当已经确定加权因子时，可以导出加权平均。例如，可以将加权平均计算为加权算术平均数或加权几何平均数。

f. 格式转换

格式转换器/编码器580将整合的图像转换至适当的像素格式。例如，格式转换器/编码器580采用由图像整合器570提供的整合像素数据，并对该数据进行编码，以创建JPEG XR图像文件。可替换地，格式转换器/编码器580处理该数据，以创建不同图像文件，例如，RGBE文件、“半浮点”文件或者适于表示HDR图像数据的其他文件。格式转换器/编码器580可以包括用于任何期望图像格式的编码模块。可以从HDR图像生成系统510中省略格式转换器/编码器580，例如，当原始HDR像素数据是期望的输出并且没有特殊格式或编码是必要的时。

g. 扩展和替换

系统510内的模块之间所示的关系指示了系统中的一般信息流；为了简明，未示出其他关系。根据实施方式和所期望的处理类型，可以添加系统的模块、省略系统的模块、将系统的模块分割为多个模块、将系统的模块与其他模块进行组合、和/或将系统的模块替换为类似的模块。在替换实施例中，具有不同模块和/或其他模块配置的系统执行一个或多个所描述的技术。

例如，系统510可以包括预处理器，该预处理器使用低通滤波器或其他滤波器来使输入数字图像平滑，以便选择性地移除高频分量。或者，预处理器执行其他预处理任务。例如，预处理器可以执行专用于减小图像伪影（例如，块状伪影、带状伪影、环状伪影、或者由图像捕获设备中的去马赛克操作引起的伪影）的任务。

B. 用于高动态范围图像渲染的方案

1. 概括的技术

图6是示出了用于渲染HDR图像的示例技术600的流程图。诸如图3所示的HDR图像处理系统310之类的系统或其他系统执行技术600。这里使用的术语“渲染”指代将HDR图像数据转换至不同形式。用于渲染HDR图像数据的应用的示例包括：准备HDR图像，以显示在具有较低动态范围的监视器上；或者转换HDR图像文件中的HDR图像数据，以存储在SDR图像文件中。

在示例技术600中，在610处，系统将HDR数字图像中的样本值色调映射至相应较低动态范围（LDR）值。例如，系统识别全局色调映射查找表中的相应LDR值，并将所识别的值存储在LDR图像缓冲器中。

在620处，系统计算色调映射的样本值中的每一个的局部对比度值。例如，系统基于线性域中的图像数据计算局部对比度值。

在630处，系统至少部分地基于相应局部对比度值，导出色调映射的样本值中的每一个的残差信号。例如，系统将LDR图像缓冲器中的样本值乘以对应的局部对比度值。

在640处，系统至少部分地基于色调映射的样本值和相应的残差信号，计算LDR数字图像的样本值。例如，系统将LDR缓冲器中的样本值、对应的残差信号和高频抖动信号加在一起。

2. 示例实现

该部分提供了用于渲染HDR图像的方案组的示例实现的实现细节。

图7是示出了HDR图像渲染系统710的示例实现的图。在图7所示的示例中，系统710将HDR图像720视作输入。图7示出了实现各个处理阶段并产生LDR图像790作为输出的示例模块。具体地，系统710示出了用于利用双边图像处理实现HDR渲染的模块。这里使用的“双边图像处理”指代使用原始HDR图像信息和色调映射较低动态范围信息二者的HDR图像处理。例如，系统710使用原始HDR图像信息和色调映射图像信息二者，在HDR图像渲染期间执行局部图像对比度计算。

a. 预处理

在图7所示的示例中，系统710包括预处理器722。预处理器722在预处理阶段中对来自HDR图像720的HDR图像数据执行数字信号处理（DSP）操作。可在预处理器722中执行的操作包括但不限于图像大小调整、显式曝光或动态范围控制、色温控制和颜色增强。可以执行预处理操作，以实现对图像质量的各种效果。例如，颜色增强可以用于提供对渲染后的画面的更有美感的观看。根据实施方式，可以以不同方式执行预处理操作。例如，可以通过加强色调饱和度强度（HIS）空间中的饱和度来实现颜色增强，或者作为更简单的替换，可以加强每个像素的主导颜色通道（例如，RGB颜色空间中的R、G和B）。可以基于用户偏好来调整或者开启或关闭预处理操作。

参照预处理器722描述的操作不限于在预处理阶段中形成，而是可以对渲染后的LDR图像（例如，LDR图像790）执行。然而，在预处理阶段中对HDR图像数据执行这些操作可以产生更精确的结果，这是由于典型地，在将HDR图像数据映射至较低动态范围时，一些图像数据丢失。

b. 色调映射

在图7所示的示例中，系统710包括色调映射器730。在一个实施方式中，对于线性域中的每个样本，色调映射器730使用LUT 732来识别对应的LDR值，并将对应值存储在LDR图像缓冲器中。在从线性域至伽马校正域的色调映射过程中，将线性样本值x转换为伽马（gamma）校正值x’，典型地，遵循等式x’ = x^gamma，其中，控制参数“gamma”实际上是一个常数。一旦生成了LUT 732，色调映射器730就在LUT 732中查找HDR图像样本值，以确定LDR样本值。针对HDR图像的样本值识别对应LDR值并将其存储在LDR图像缓冲器中的该过程可以被称作第一遍色调映射。如果应用于HDR图像的所有部分，则该过程可以被称作第一遍全局色调映射。

可以基于自适应伽马函数来生成LUT 732。自适应伽马函数生成用于生成LUT 732的自适应伽马参数。当伽马是线性样本值x的函数（自适应伽马函数）时，该情形一般可以被表示为x’ = x^gamma(x)。在一个实施方式中，伽马域中的样本值x的自适应伽马参数γ(x)是两个控制参数γ₀和γ₁的加权平均，如以下在等式（6）中所示。

在简化的情况下，可以将γ₀设置为2.2。可以在从伽马控制器734获得的信息中指定伽马控制参数，伽马控制器734可以用于获得与伽马参数相关的用户偏好信息。可替换地，省略伽马控制器734。

可以以不同方式实现加权函数w(x)。作为示例，函数w(x)可以被表示为w(x) =

，或者，为提供更高的灵活性，函数w(x)可以被表示为w(x) = x^b，其中“b”处于范围[0.2, 1.0]。可替换地，b被限制到不同范围，或者，以某种其他方式实现加权函数w(x)。

在第一遍色调映射（例如，第一遍全局色调映射）中，可以显著降低相对较亮区域中的图像对比度。然而，系统710中的其他模块可以用于将图像对比度带回到正常，或者甚至带回到视觉质量方面的增强水平。

c. 残差信号提取和相关的滤波

在图7所示的示例中，系统710包括残差信号提取器740。残差信号提取器740计算局部图像对比度。在一个实施方式中，残差信号提取器740基于线性域中的数据，针对每个样本使用低通滤波器，计算局部图像对比度，并且，在第一遍色调映射中获得的数据用于设置滤波的阈值T，因此，不会进一步增强较强的纹理。阈值T还可以是用户控制的参数（例如，基于从可选的滤波控制器742获得的用户偏好信息）。

残差信号提取器740使用双边图像处理来计算局部图像对比度。例如，阈值T基于第一遍全局色调映射结果，同时，在HDR数据空间中执行滤波器操作。在HDR空间中，滤波器的输出建立了“背景”。原始样本值与“背景”之间的相对增量是局部对比度值，如等式（7）中所示：

局部对比度 = （原始 - 背景）/背景（7）

然后，通过将局部对比度值乘以LDR缓冲器中的对应样本值来导出每个样本的残差信号。

在残差信号提取的滤波阶段中，系统710对图像的当前样本进行滤波。例如，系统沿包括当前样本在内的样本的一条或多条线中的每一条使用自适应阈值滤波器。或者，系统使用对应的二维滤波器。滤波的强度（例如，根据阈值而设置）可以根据第一遍色调映射结果、根据用户设置（例如，从可选的滤波器控制器742获得的用户偏好信息）和/或根据其他因素而变化。可替换地，系统使用另一滤波器。

在一个实施例中，对于输入图像中的位置(x, y)处的当前样本值s(x, y)，滤波可以表示如下：

在该等式中，w(i, j)表示具有归一化因子N的2D低通滤波器，K表示滤波器范围。因此，s’(x, y)表示滤波后的样本值。

2D滤波器可以被实现为2D窗口或者沿一个或多轴的1D滤波器的组合。图8示出了沿以下四个方向的轴：水平、垂直、左上至右下和左下至右上，每个方向包括当前样本位置810。不落在这些轴之一上的位置处的样本值未被给出权重（w(i, j) = 0）。确实落在这些轴之一上的位置处的样本值被给出全权重（w(i, j) = 1）并向归一化因子计数。可替换地，滤波器使用另一形状。

尺寸值K指示了使用滤波器进行滤波的可能程度。在一个实施方式中，K = 8，并且潜在地考虑在水平上和在垂直上相对于当前位置(x, y)从-8至+8的样本位置。该思想是：在低功滤波过程期间，仅使用与中点处的样本810接近的样本值。

在一些实施方式中，在窗口内，滤波器使用阈值来排除特定位置。不失一般性，以下规则示出了阈值如何自适应地改变哪些样本位置对在1D水平窗口中滤波作出贡献。位置偏移m表示1D窗口内的类似值移动离开当前位置(x, y)的程度。例如，将偏移m设置为满足以下约束的i的最小绝对值：

对于-K<i<K，其中，t(x, y)表示LDR缓冲器中的值。如果没有i值满足该约束，则m = K。为了简明，自适应滤波器是对称的；在每个方向上使用相同偏移m。可替换地，在远离当前位置的不同方向上使用不同偏移值。阈值T是滤波器阈值控制参数。相对于当前位置(x, y)的偏移m内的位置处的样本值是滤波中给定的权重，而1D窗口中的其他样本值不是滤波中给定的权重。

其中，对于1D水平窗口中的滤波，j = 0，并且-K<i<K。

考虑1D水平窗口中的样本值67、67、67、68、68、69、69、70、71、72、73、73、74、75、76的序列，其中，当前样本值t(x, y) = 70。如果T=3，则偏移值m=5，这是由于在偏移+5处，|74 - 70|>3。

类似地，对于沿1D垂直窗口的自适应阈值规则，当找到位置偏移m时，j从-K<i<K变化。对于沿对角线1D窗口的自适应阈值规则，i和j均可以在-K和K的界限内变化，其中i = j（对于图8所示的一条对角线）或者i = -j（对于图8所示的另一条对角线），以找到位置偏移m。对于2D窗口，可以考虑与-K和K的界限内的i和j的不同值处的位置的欧几里德距离，以找到位置偏移m。

不论是否应用自适应阈值规则，当设置了w(i, j)的值时，都确定归一化因子N。在一些实施方式中，为了简明，w(i, j)的抽头系数是0或1。归一化因子N仅是w(i, j)=1的位置的计数。更一般地，例如，w(i, j)的不同位置可以具有不同抽头值，以在当前位置处提供更多权重，或者实现双线性或双三次滤波器，在这种情况下，将对滤波作出贡献的位置的抽头值进行求和，以确定归一化因子N。

可以通过设置参数值T和K，有效地控制滤波的强度。增大K就增大了滤波的可能窗口尺寸，这潜在地得到更强的滤波。增大T往往使更多位置对滤波作出贡献，这是由于更多样本值满足相似性约束，这往往导致更强的滤波。

d. 残差信号滤波

在图7所示的示例中，系统710包括残差信号滤波器760。残差信号滤波器760使用低通滤波器来对从残差信号提取器740获得的残差信号进行滤波。在残差信号滤波器760中进行的滤波是除在残差信号提取器740中进行的滤波外的滤波，其中，在残差信号提取器740中进行的滤波是为了获得局部对比度值而执行的。

在残差信号滤波器760中，执行滤波以移除不期望的样本值。例如，残差信号滤波器760使用3x3矩形窗（boxcar）滤波器来移除作为异常值的样本值（例如，相对于其上下文太亮或太暗的样本值）并移除图像噪声。在该示例中，3x3矩形窗滤波器是在以要滤波的“当前”像素位置为中心的3x3矩阵中布置的9个样本的均等加权平均，并可以被表示为：{ {1/9, 1/9, 1/9}, {1/9, 1/9, 1/9}, {1/9, 1/9, 1/9} }。如果信号在低通滤波之后具有相反符号（例如，从正变为负），则将滤波后的值设置为“0”。滤波的强度可以根据用户设置（例如，从可选的滤波器控制器742获得的用户偏好信息）和/或根据其他因素而变化。可替换地，系统使用另一滤波器。作为另一替换，省略残差信号滤波器760。

c. 残差信号扩缩

在图7所示的示例中，系统710包括残差信号扩缩器700。残差信号扩缩器770扩缩残差信号（例如，从残差信号提取器740获得的残差信号）。可以基于用户控制来调整残差信号扩缩。例如，可以在从扩缩控制器772获得的参数中表示用户偏好。可替换地，省略了扩缩控制器772。

在一个实施例中，残差信号扩缩器770应用以下等式（11）中所示的扩缩函数：

其中，“x”是LDR图像缓冲器中的0至1范围内的样本值，“S”是用户控制的扩缩因子。用户控制的扩缩因子可以取不同值，并可以取缺省值（例如，4）。

由残差信号扩缩器770应用的扩缩因子可以是LDR图像缓冲器中的样本值的函数。例如，当LDR图像缓冲器中的对应样本值较低时，扩缩因子可以较低，或者，当LDR图像缓冲器中的对应样本值较高时，扩缩因子可以较高。应用依赖于样本值（例如，LDR图像缓冲器中的LDR样本值）的扩缩因子的扩缩可以被称为相对残差扩缩。

在一个实施例中，残差信号扩缩器对从残差信号滤波器760获得的滤波后的残差信号进行扩缩。可替换地，可以省略残差信号扩缩，或者在残差信号滤波之前应用残差信号扩缩。

f. 抖动

在图7所示的示例中，系统710选择性地将抖动信号782添加至样本值。例如，系统确定当前样本的位置的抖动偏移。

人类视觉系统对微小低频信号电平改变（尤其是在暗图像区域中）相对敏感，但对高频信号不是特别敏感。传统预处理移除了高频噪声。然而，当适当添加较高的空间-时间频率抖动信号时，人类视觉系统将抖动信号与图像信号进行“整合”。这有效地使抖动信号在感知上不明显，同时缓和了由图像或显示中的有限比特深度引起的可感知的带状伪影或其他伪影。例如，当从适当距离（例如，三个画面高度）观察时，所添加的抖动信号可以创建对整数值之间的样本值的感知，这是由于人类视觉系统将样本值与抖动整合在一起。

在一些实施方式中，在修剪至整数值（例如，8比特整数值）之前，在转换的最终舍入阶段中应用抖动信号。在其他实施方式中，在修剪之后应用抖动信号。抖动信号的强度取决于实施方式，并可以根据局部图像特性、数字图像的高通信号的特性或其他因素而自适应地变化。典型地，抖动信号的信号强度（或者标准差）完全处于整数水平内。

g. LDR图像生成

在图7所示的示例中，系统710包括LDR图像生成器780。LDR图像生成器780基于在其他处理阶段中获得的信息来生成输出LDR图像790的样本值。例如，对于LDR图像缓冲器中的每个样本值，LDR图像生成器780将样本值与残差信号和高频抖动信号进行组合。

在一个实施例中，LDR图像生成器将从LDR缓冲器获得的LDR样本值、残差信号和抖动信号加在一起，将结果四舍五入至整数，并将结果修整至8比特值（例如，以供图像显示在8 bpc彩色监视器上）。例如，LDR图像生成器780使用以下等式来确定输出LDR图像790的输出样本值：

输出 = Crop(Integer( LDR缓冲器值+残差+抖动+0.5), 0, 255) （12）

其中，从LDR图像缓冲器获得的样本值是8比特整数（表示基数10的值0-255），抖动信号是“蓝噪声”——值处于-0.5与+0.5之间——以便缓和舍入运算。在等式（12）中所示的示例中，加上0.5以四舍五入至最近的整数。可替换地，可以省略加上0.5。例如，如果抖动信号集中于0.5附近而不是0附近，则可以省略加上0.5以四舍五入。

h. 扩展和替换

系统710内的模块之间所示的关系指示了系统中的一般信息流；为了简明，未示出其他关系。根据实施方式和所期望的处理类型，可以添加系统的模块、省略系统的模块、将系统的模块分割为多个模块、将系统的模块与其他模块进行组合、和/或将系统的模块替换为类似的模块。在替换实施例中，具有不同模块和/或其他模块配置的系统执行一个或多个所描述的技术。

例如，系统710可以包括解码器，该解码器对压缩图像数据进行解压缩。解码器可以包括在系统中，使得预处理器可以对解压缩的HDR图像数据执行预处理操作。由解码器执行的精确操作可以根据压缩格式而变化。例如，符合JPEG XR的解码器可以对JPEG XR文件中的HDR图像信息进行解压缩，或者，符合JPEG的解码器可以对JPEG文件中的SDR图像信息进行解压缩。

系统710还可以包括一个或多个编码器，该一个或多个编码器对图像数据进行压缩，从而输出压缩的数字图像信息的比特流。由编码器执行的精确操作可以根据压缩格式而变化。例如，编码器可以根据诸如JPEG之类的格式来压缩LDR图像信息。

C. 用于用户交互和参数控制的方案

该部分描述了用于与生成或渲染HDR图像的系统进行用户交互的方案。例如，可以将用户偏好信息应用于HDR图像生成、HDR图像渲染、或者HDR图像生成和HDR图像渲染的组合。尽管这里描述的示例指代在调整与HDR图像渲染相关的参数时使用的用户可调整控制器，但是还可以使用在调整与HDR图像生成相关的参数时使用的用户可调整控制器。

1. 概括的技术

图9示出了用于根据用户偏好信息处理HDR图像的技术900。诸如图10所示的HDR图像处理系统1010之类的系统或其他系统执行技术900。

在910处，系统提供了用于设置对HDR图像生成参数或HDR图像渲染参数的用户偏好的一个或多个用户偏好控制器。在920处，系统接收与用户偏好控制器相关联的用户偏好信息。在930处，系统至少部分地基于用户偏好信息来生成或渲染HDR数字图像。在940处，如果进行了HDR图像处理，则该过程结束，或者系统可以从相同用户或从不同用户、从相同用户偏好控制器或从不同用户偏好控制器获得附加用户偏好信息，以便以不同方式生成或渲染HDR数字图像。例如，用户可以根据对伽马调整的用户偏好来观察HDR图像的LDR版本，然后根据对滤波的用户偏好来观察HDR图像的另一LDR版本。可以将原始HDR数字图像保存为数字负片，以允许基于原始图像数据的进一步修改。

2. 示例实现

该部分提供了用于根据用户偏好信息生成或渲染HDR图像的一组措施的示例实现的实现细节。

图10是示出了根据用户偏好信息生成或渲染HDR图像的HDR图像处理系统1010的示例实现的图。在图10所示的示例中，系统1010处理输入图像1020。系统1010处理输入HDR图像以供HDR图像渲染，或者处理输入LDR图像以供HDR图像生成。图10示出了实现各个处理阶段并产生输出图像1060的示例模块。具体地，系统710包括用于提供用户界面和/或解释用户输入1080的用户偏好模块1070。例如，用户可以在一个或多个用户输入设备（例如，鼠标、键盘、麦克风、眼球跟踪设备、触摸屏或某种其他设备）上执行操作。可替换地，HDR图像处理系统1010以某种其他方式确定用户偏好，例如通过接收图像文件中存储的用户偏好元数据。用户偏好模块1070根据要执行的处理的类型，将用户偏好信息提供给HDR图像生成器1040和/或HDR图像渲染器1050。

各个用户可以以多种方式处理图像，多个用户可以对相同图像设置用户偏好。可以在不变更图像数据的情况下将用户偏好信息作为元数据存储在图像文件中。这允许不同用户用其自身用户偏好施加到图像来共享图像，同时保存原始图像数据。用户偏好可以用于调整图像处理参数，例如，伽马控制参数、残差滤波器控制参数、残差扩缩控制参数、颜色增强参数、大小调整参数、色温控制参数和白点控制参数。还可以将用户标识信息与对应用户偏好信息一起保存。可以将元数据的多个集合存储在图像文件中，从而不同用户可以以各种方式在相同系统中渲染相同画面。

例如，用户偏好模块1070可以提供用户可调整控制器，以允许用户控制HDR图像渲染的参数。由用户偏好模块1070提供的具体控制器可以根据实施方式而变化。例如，再次参照图7，用于图像渲染的用户可调整控制器可以包括用于调整色调映射参数的控制器（例如，伽马控制器734）、滤波器控制器742和扩缩控制器772。

系统1010内的模块之间所示的关系指示了系统中的一般信息流；为了简明，未示出其他关系。根据实施方式和所期望的处理类型，可以添加系统的模块、省略系统的模块、将系统的模块分割为多个模块、将系统的模块与其他模块进行组合、和/或将系统的模块替换为类似的模块。在替换实施例中，具有不同模块和/或其他模块配置的系统执行一个或多个所描述的技术。

V. 扩展和替换

该部分记录了以上提出的技术和工具的其他扩展、替换和应用中的一些。

可以将用于HDR图像生成和渲染的所述技术和工具应用于HDR图像的下采样（即，较低分辨率）版本，以用于预览图像修改。例如，可以将色调映射控制参数和色调映射操作应用于HDR图像的下采样（即，较低分辨率）版本，以用于预览图像修改。然后，可以将相同参数或操作或者不同参数或操作应用于图像的全分辨率版本（例如，在生成该图像的最终版本时）。

可以将用于HDR图像生成和渲染的所述技术和工具应用于HDR图像存档动画或过渡效果，或者揭示图像中的不同信息。例如，可以将HDR图像渲染为一系列LDR图像，其中每个LDR图像具有不同的色调映射参数，以允许从低曝光设置至较高曝光设置的动画过渡，从而潜在地揭示了不同图像细节和不同曝光设置。

可以将用于HDR图像生成和渲染的所述技术和工具应用于视频或虚拟3D环境。

可以结合其他数字图像处理技术和工具使用用于HDR图像生成和渲染的所述技术和工具。例如，可以在数字照片编辑情形中使用用于HDR图像生成和渲染的所述技术和工具，以在计算机上编辑HDR图像，例如，通过允许用户预览图像修改，这些图像修改涉及改变HDR图像的不同部分中的色调映射参数。

参照所描述的实施例描述并示意了本发明的原理，将认识到，在不脱离这些原理的前提下，可以在布置和细节上修改所描述的实施例。应当理解，这里描述的程序、过程或方法不涉及或限于任何特定类型的计算环境，除非另有指示。各种类型的通用或专用计算环境可以与根据这里描述的教导的操作一起使用或者执行这些操作。可以以硬件实现以软件示出的所述实施例的元件，反之亦然。

鉴于可应用本发明的原理的许多可能实施例，本发明要求保护可落在权利要求及其等同替换的范围和精神内的所有这些实施例。

Claims

1.一种在计算机系统中生成高动态范围数字图像的方法，所述方法包括：

在描绘场景的多个数字图像的集合中相对于参考图像执行运动分析，所述运动分析包括：确定所述集合中的一个或多个非参考图像中的每一个相对于所述参考图像的图像差异；

至少部分地基于所述运动分析，针对每个非参考图像导出相对于所述参考图像的一个或多个相对曝光水平；以及

至少部分地基于所述一个或多个相对曝光水平，将多个数字图像的所述集合进行整合，以形成描绘所述场景的较高动态范围数字图像。

2.根据权利要求1所述的方法，还包括：

至少部分地基于所述一个或多个相对曝光水平，将每个非参考图像中的样本值扩缩至归一化水平；

其中，所述整合包括：针对较高动态范围数字图像中的每个样本位置，计算与所述参考图像中的该样本位置相对应的样本值和与每个非参考图像中的该样本位置相对应的扩缩样本值的加权平均。

3.根据权利要求1所述的方法，还包括：

通过确定候选图像的集合中的哪个图像有最多数目的样本值落在可接受曝光范围内，从候选图像的集合中选择所述参考图像。

4.根据权利要求1所述的方法，其中，所述运动分析包括：使用归一化互相关，以确定相对于所述参考图像的图像差异。

5.根据权利要求1所述的方法，其中，所述运动分析包括：选择非参考图像中的样本值的子集，以确定相对于所述参考图像的图像差异，所述子集是基于样本值是否落在曝光值的范围内来选择的。

6.根据权利要求1所述的方法，其中，所述运动分析包括：之后紧跟有局部运动改善的全局运动分析。

7.根据权利要求1所述的方法，其中，所述一个或多个相对曝光水平中的每一个是基于相应非参考图像的平均样本比来导出的。

8.一种或者多种其上存储了计算机可执行指令的计算机可读介质，所述计算机可执行指令使计算机执行包括以下步骤的方法：

将高动态范围数字图像中的多个样本值中的每一个色调映射至相应较低动态范围值；

计算色调映射的样本值中的每一个的局部对比度值；

导出色调映射的样本值中的每一个的残差信号，所述导出至少部分地基于相应局部对比度值；

至少部分地基于色调映射的样本值和相应残差信号，计算较低动态范围数字图像的样本值。

9.根据权利要求8所述的计算机可读介质，其中，色调映射包括：

生成全局色调映射查找表；以及

针对高动态范围数字图像中的多个样本值中的每一个识别较低动态范围值；

其中，所述识别包括：在所述全局色调映射查找表中查找所述多个样本值中的每一个。

10.根据权利要求9所述的计算机可读介质，其中，所述全局色调映射查找表是基于自适应伽马函数来生成的。

11.根据权利要求8所述的计算机可读介质，其中，所述导出色调映射的样本值中的每一个的残差信号包括：将每个色调映射样本值乘以相应局部对比度值。

12.根据权利要求8所述的计算机可读介质，其中，所述方法还包括：

对残差信号中的一个或多个应用扩缩，其中，所述扩缩包括：应用作为与所述相应残差信号相对应的色调映射样本值的函数的扩缩因子。

13.根据权利要求8所述的计算机可读介质，其中，所述较低动态范围数字图像的样本值中的每一个是通过将色调映射的样本值、残差信号和高频抖动信号进行组合来计算的。

14.根据权利要求8所述的计算机可读介质，其中，所述方法还包括：

针对所述高动态范围数字图像的较低分辨率预览版本中的多个样本值中的每一个识别较低动态范围值；

将所述较低分辨率预览版本中的多个样本值色调映射至所识别的相应较低动态范围值；

计算所述较低分辨率预览版本中的色调映射的样本值中的每一个的局部对比度值；

导出所述较低分辨率预览版本中的色调映射的样本值中的每一个的残差信号，所述导出至少部分地基于相应局部对比度值；

至少部分地基于所述较低分辨率预览版本中的色调映射的样本值和相应残差信号，计算预览图像的样本值。

15.一种计算设备，包括一个或多个处理器和一个或多个存储介质，所述一个或多个存储介质上存储了计算机可执行指令，所述计算机可执行指令使所述计算设备执行基于用户偏好信息渲染高动态范围图像的方法，所述方法包括：

提供用于设置对高动态范围图像渲染参数的用户偏好的一个或多个用户偏好控制器；

从所述用户偏好控制器接收与用户相关联的用户偏好信息，所述用户偏好信息与包含高动态范围数字图像的高动态范围数字图像文件的高动态范围图像渲染参数相对应；以及

至少部分地基于所述用户偏好信息来渲染所述高动态范围数字图像；

其中，所述渲染包括：

计算多个色调映射样本值中的每一个的局部对比度值；以及

至少部分地基于相应色调映射样本值的局部对比度值，计算较低动态范围数字图像的样本值。