CN103002225A - 多曝光高动态范围图像捕捉 - Google Patents

Abstract

提供多曝光高动态范围图像捕捉。具体地，提供用于根据以不同曝光水平捕捉的场景的图像的系列创建消费类数字照相机内的高动态范围(HDR)图像并且在照相机的内置显示器上显示HDR图像的技术。该方案采用混合系列的图像以结合场景阴影和高亮细节二者，并且去除在所混合的HDR图像中出现的由于在场景随着捕捉该系列图像的时间的运动产生的“重影”图像赝像。图像混合和重影去除处理操作的低计算资源利用连同在获取全部系列图像之前进行图像混合和重影去除的能力能够显著降低生成和显示色调映射的HDR图像所需的时间。

Description

多曝光高动态范围图像捕捉

相关申请的交叉引用

本申请根据35U.S.C.119(e)要求享有2011年4月20日递交的发明名称为“Multiple Exposure High Dynamic Range ImageCapture”的美国申请序列No.13/091，068的优先权。通过引用的方式结合上面引用的全部申请的全部内容。

技术领域

本申请涉及显示在物理场景中出现的灰度的全部范围的图像的获取和处理，该图像通常被称为“高动态范围”或者“HDR”图像。更具体地说，本申请涉及用于在诸如消费类数字照相机的数字图像捕捉设备中进行HDR图像的图像捕捉和处理的系统和方法。

背景技术

由数字照相机捕捉的图像最通常的是低动态范围(LDR)图像，其中每一个图像像素包括有限数量的每颜色数字比特。每像素数字比特的数量被称为数字像素比特宽度值。该数量通常是8比特。这样的8-比特像素能够被用于形成对于每一个像素位置处的每一个颜色具有256个不同灰度级的图像。在场景的LDR图像中，场景的阴影面积被描绘为完全黑色(黑饱和)，场景的明亮的阳光照射的面积被描绘为完全白色(白饱和)，并且其间的场景面积被表示为灰度范围。高动态范围(HDR)图像是具有大于8比特的数字像素比特宽度值的图像；每像素16比特是可能的值。在这样的图像中，在物理场景中出现的灰度的全部范围能够被显示。这些灰度提供LDR图像中丢失的存在于场景的阴影区域、高亮区域和中间色调区域中的图像细节。因而，在HDR图像中，场景细节存在于由于其邻近高建筑物并且位于树木下而位于阴影中的图像暗面积中，直接由明亮的阳光照明的亮面积中，以及在这两个极值之间被点亮的中间照明面积中。

通过获取以不同曝光水平捕捉的场景的多个LDR图像能够捕捉HDR图像。这些多个LDR图像被称为归类到一起的曝光图像系列。低曝光水平将正确地捕捉在由明亮的阳光充分照明的场景面积中的灰度，并且高曝光水平将正确地捕捉在由建筑物和树木完全遮挡太阳和天空的场景面积中的灰度。然而，在低曝光水平下，阴影中的场景面积将完全为黑色、处于黑饱和中、并且不显示细节，而且中间色调面积将丢失细节。进而，在高曝光水平下，场景的高亮部分将完全为白色、处于白饱和中、并且不显示细节，并且中间色调面积将再次丢失细节。因而，经常也获取正确捕捉中间水平灰度的第三、中间曝光水平图像。通过混合这三个LDR图像，能够生成描绘场景的全部灰度级范围的HDR图像。

根据被归类到一起的曝光图像系列推导HDR图像目前要求采用昂贵计算引擎的复杂实现。这是由于需要执行三个分离的处理操作以将被归类到一起的曝光图像系列正确地混合为单个HDR图像，以及第四个分离的处理操作以将现在由具有比8比特每颜色更大的数字像素比特宽度值的像素构成的所产生的图像转换为能够在通常可用于8比特每像素每颜色显示器上显示的图像。这四个处理操作是：

用于精确地将多个图像彼此对准的“图像注册”；

用于以正确的加权将多个图像混合到一起的“图像混合”；

用于去除由于场景对象随着获取多个图像的时间的移动而将在混合的HDR图像中出现的这些对象的位置偏移复制或者“重影”去除的“重影去除”；以及

用于制备用于在局限于显示8比特每像素每颜色图像像素的传统显示器上呈现的最终HDR图像的“色调映射”。

执行这四个处理操作要求在短时间段内大量浮点操作的性能，这能够通过浏览作者为Erik Reinhard、Sumanta Pattanaik、Greg Ward和Paul Debevec，由Morgan Kaufmann出版商出版并且是Elsevier，Inc.的版权2005的“High Dynamic Range Imaging Acquisition，Display，and Image-based Lighting”一书看出。对于图像混合和重影去除处理操作尤其如此。因而，需要使用强大而昂贵的计算引擎(中央处理单元或者CPU)。其昂贵性可能对于专业数字照相机使用尚能容忍，但是对于结合有限处理功率CPU的不太昂贵的“傻瓜”数字照相机，这代表不切实际的方案。

通过将由不太昂贵的数字照相机捕获的被归类到一起的曝光图像系列上传到诸如个人计算机(PC)的通用计算机，能够根据由该照相机捕捉的图像系列创建HDR图像。诸如Adobe Photoshop的图像处理应用能够用于在桌面上执行要求的复杂HDR图像组合处理。该方案不是很有效或者不方便并且不满足在其捕捉之后立即在照相机的内置显示器上重构HDR图像的要求。

因而需要能够使用有限处理功率的CPU、根据被归类到一起的曝光图像系列快速创建HDR图像并且在捕捉之后立即在照相机的内置显示器上对其进行显示的照相机内的方法和装置。

发明内容

公开了用于根据多个曝光创建高动态范围合成图像的系统、方法和计算机程序产品。

本发明的实施例可以检测基准图像和多个比较图像之间的局部运动，将相关像素聚集为补丁，从多个候选更换图像中选择更换图像作为用于更换补丁图像数据的源，更换合成图像中的补丁图像数据，以及将图像从初始格式转换到较低比特每像素格式以用于显示。

本发明可以实施为一种混合场景的多个数字图像的方法，包括以不同的曝光水平捕捉所述图像，彼此注册每一个图像的对等像素，对于每一个图像推导归一化的图像曝光水平，以及在图像混合处理中采用归一化的图像曝光水平。所述图像混合处理包括使用所述图像混合处理来混合第一选择的图像和第二选择的图像以生成中间图像，并且在所述多个图像由两个图像构成时，输出所述中间图像作为混合的输出图像。在所述多个图像由多于两个图像构成时，所述图像混合处理包括使用先前生成的中间图像代替所述第一选择的图像以及使用另一选择的图像代替所述第二选择的图像，重复所述图像混合处理直到混合了全部图像，并且输出最后生成的中间图像作为所述混合的输出图像。

所述方法还可以包括在使用所述图像混合处理之前选择性地将所述图像从较低比特每像素格式转换到较高比特每像素格式，并且然后选择性地将所述混合的输出图像转换为预定的较低比特每像素格式。

所述图像混合处理混合两个图像的对等像素并且包括对于第二选择的图像中的像素推导亮度值，使用第二选择的图像像素的亮度值作为到查找表的索引以获得数值零和整数1之间的加权值，使用所述加权值、所述第二选择的图像的所述归一化曝光水平以及所述第二选择的图像像素以生成处理的第二选择的图像像素，选择与所述第二选择的图像像素相对应的第一选择的图像像素，使用所述第一选择的图像像素以及从整数1减去所述加权值的结果以生成处理的第一选择的图像像素，将所述处理的第一选择的图像像素加到对等的处理的第二选择的图像像素以生成混合的图像像素，以及重复上面的处理序列直到每一个第二选择的图像像素与其对等的第一选择的图像像素进行了混合。

所述方法可以包括所获得的加权值随着用作到所述查找表的索引的亮度值增加而降低的特征。所述方法还可以包括对于每一个图像使用不同的查找表以用于获得所述加权值。所述方法还可以在所述多个图像的全部图像的捕捉之前发生所述图像混合。所述方法还可以在所述多个图像的所述第二图像的捕捉之后立即发生所述图像混合。

实施例进一步包括一种用于去除出现在混合图像中的场景对象的位置移位复制的方法，其中混合图像通过应用到以不同的曝光水平并且在不同的时刻获取的多个图像的数字图像混合处理而生成，所述图像具有彼此注册的对等像素。所述方法包括将所述图像的亮度值归一化到特定的标准偏差和均值，检测至少一个基准图像和至少一个比较图像之间的局部运动，将具有局部运动的比较图像像素聚集为补丁，从所述基准图像选择相对应的补丁，通过将根据特定的基准图像生成的补丁逻辑或到一起以生成二进制连接的图像，以及将混合的图像与所述基准图像混合，每一个基准图像由根据所述二进制连接的图像计算的加权值进行加权，以产生输出图像。

所述方法可以通过如下来检测局部运动：确定所述基准图像和所述比较图像的每一个像素之间的绝对亮度方差以产生差异图像，并且识别具有超出阈值的绝对亮度方差的差异图像区域。所述聚集可以包括使用形态学操作找到连接的识别图像团的集合，以及通过多边形设置每一个集合的边界。所选择的用作基准图像的图像可以包括具有最低曝光水平的图像、具有最高曝光水平的图像或者具有中间曝光水平的任意图像。可以在处理之前对要被处理的图像进行亮度值缩减。

一个实施例对于中间曝光值的候选基准图像通过计算饱和区域的面积的和以及饱和面积的和与总补丁面积的比值来选择基准图像，在所述比值小于或者等于例如0.03到1的参数值时，选择所述候选基准图像作为所述基准图像，并且在所述比值大于所述参数值时，选择小于中间曝光值的图像作为所述基准图像。

本发明还实施为以不同的曝光水平捕捉场景的多个数字图像的图像捕捉设备，其包括彼此注册所述多个图像的每一个图像的对等像素的图像注册处理器、组合所述多个图像的多个图像以生成单个图像的图像混合器。所述图像混合器可以包括对于每一个图像归一化所述图像曝光水平的图像归一化器，以及使用所归一化的曝光水平以混合第一选择的图像和第二选择的图像以生成中间图像并且在所述多个图像由两个图像构成时输出所述中间图像作为混合的输出图像的图像搅拌器。在所述多个图像由多于两个图像构成时，所述图像搅拌器可以重复混合先前生成的中间图像以代替所述第一选择的图像以及另一选择的图像以代替所述第二选择的图像，直到混合了全部图像，并且输出最后生成的中间图像作为所述混合的输出图像。

所述图像捕捉设备可以进一步包括去伽马(degamma)转换器，其在图像混合之前将所述图像选择性地从较低比特每像素格式转换到较高比特每像素格式，并且将所述混合的输出图像选择性转换到预定的较低比特每像素格式。

所述图像捕捉设备可以进一步包括输出输入像素的亮度值的亮度转换电路，对于输入亮度值输出位于数值零和整数1之间的加权值的查找表，获取根据所述亮度转换电路推导的对于所述第二选择的图像中的像素的亮度值、对于所推导的亮度值获得来自所述查找表的加权值以及根据所述第二选择的图像像素、所述第二选择的图像的归一化的曝光水平以及所述加权值生成处理的第二选择的图像像素的处理电路，接收从整数1中减去所述加权值的结果以及与所述第二选择的图像像素相对应的所述第一选择的图像像素作为输入并且生成处理的第一选择的图像像素的第二处理电路，以及将所述处理的第一选择的图像像素加到所述处理的第二选择的图像像素以生成混合的图像像素的加法器电路。

所述图像捕捉设备可以随着到所述查找表的所述输入亮度值增加而输出较低加权值。也可以使用用于所述第一选择的图像的第一查找表和用于所述第二选择的图像的第二查找表。所述图像捕捉设备可以在所述多个图像的全部图像的捕捉之前开始混合所述多个图像。其可以在所述多个图像的所述第二图像的捕捉之后立即开始混合所述多个图像。

本发明可以进一步实施为以不同的曝光水平并且在不同的时刻捕捉场景的多个数字图像的图像捕捉设备，其包括彼此注册每一个图像的对等像素的图像注册处理器、组合多个图像以生成混合的图像的图像混合器以及重影去除器。所述重影去除器去除在所述混合的图像中出现的场景对象的位置移位复制，并且可以包括将每一个图像的图像曝光水平归一化到特定的标准偏差和均值的图像归一化器，从所述图像中选择至少一个基准图像的基准图像选择电路，检测所述基准图像和至少一个比较图像之间的局部运动的局部运动检测器电路，将具有局部运动的比较图像像素聚集为补丁并且从所述基准图像中选择相对应的补丁的聚集电路，以及将根据特定基准图像生成的补丁逻辑或到一起的二进制连接的图像生成器电路，其中所述图像混合器在处理的最后级中将所述混合的图像与所述基准图像混合，每一个基准图像由根据所述二进制连接的图像计算的加权值加权，以生成输出图像。

所述局部运动检测器电路可以通过如下来检测局部运动：确定所述基准图像和所述比较图像的每一个像素之间的绝对亮度方差以产生差异图像，以及识别具有超出阈值的绝对亮度方差的差异图像区域。所述聚集电路可以通过使用形态学操作找到连接的图像团的集合并且通过多边形设置每一个集合的边界来聚集比较图像像素。所选择的用作基准图像的场景图像可以包括具有最低曝光水平的场景图像、具有最高曝光水平的场景图像或者具有中间曝光水平的任意场景图像。所述图像捕捉设备还可以包括缩减所述图像的亮度值的电路。对于具有中间曝光水平的候选基准图像，所述基准图像选择电路可以如下从场景图像中选择基准图像：计算饱和区域的面积的和以及所述饱和面积的和与总补丁面积的比值，在所述比值小于或者等于例如0.03到1的参数值时选择所述候选基准图像作为所述基准图像，并且在所述比值大于所述参数值时选择小于中间曝光值的图像作为所述基准图像。

另一实施例是以不同的曝光水平在不同的时刻捕捉场景的多个数字图像并且根据其生成色调映射的高动态范围图像的数字照相机。所述照相机可以包括彼此注册所述多个图像的每一个图像的对等像素的图像注册处理器、组合所述多个图像的多个图像以生成单个图像的图像混合器、去除在所述混合的图像中出现的场景对象的位置偏移复制的重影去除器以及将所处理的混合的图像像素映射到具有能够在内置数字照相机图像显示器上呈现的数字比特数量的显示器像素的色调映射处理器。

所述图像混合器可以包括对于每一个图像归一化图像曝光水平的图像归一化器，以及使用所归一化的曝光水平来混合第一选择的图像和第二选择的图像以生成中间图像，并且在所述多个图像由两个图像构成时输出所述中间图像作为所述混合的图像的图像搅拌器。在所述多个图像由多于两个图像构成时，所述图像混合器可以重复混合先前生成的中间图像以代替所述第一选择的图像以及另一选择的图像以代替所述第二选择的图像直到混合了全部图像，并且输出最后生成的中间图像作为所述混合的图像。

所述重影去除器可以包括将对于每一个图像的图像曝光水平归一化到特定的标准偏差和均值的图像归一化器、从所述图像中选择至少一个基准图像的基准图像选择电路、检测所述基准图像和至少一个比较图像之间的局部运动的局部运动检测器电路、将具有局部运动的比较图像像素聚集为补丁并且从所述基准图像选择相对应的补丁的聚集电路以及对根据特定的基准图像生成的补丁逻辑或到一起的二进制连接的图像生成器电路，其中所述图像混合器在处理的最终级中将所述混合的图像与所述基准图像组合，每一个基准图像由根据所述二进制连接的图像计算的加权值进行加权，以生成处理的混合的图像。

所述数字照相机可以通过使用至少一个可编程通用处理器或者至少一个可编程专用处理器或者至少一个固定功能专用处理器来实现所述图像注册处理器、所述图像混合器、所述重影去除器和/或所述色调映射处理器。

本发明可以实施为一种用于检测基准图像和多个比较图像之间的局部运动的方法。所述方法可以包括定义确定在其中选择特定的比较图像的一组基准图像亮度值范围的多个亮度阈值，所述亮度阈值的数量与比较图像的数量相对应，以及定义根据所述基准图像的亮度值设置阈值的差异阈值函数。然后，对于每一个特定的比较图像，所述方法可以包括通过向通过对所述基准图像和所述特定的比较图像进行比较而形成的差异图像应用所述阈值而产生指代所述基准图像和所述特定的比较图像之间的局部运动的中间检测图。最后，所述方法可以输出作为所述中间检测图的并集的最终检测图。所述方法可以在相对较高的基准图像亮度值范围中选择相对较低的亮度比较图像，并且反之亦然。所述亮度阈值的集合可以随着差异图像亮度值变化。所述中间检测图可以通过如下产生：考虑具有位于与所述特定的比较图像相对应的范围中的亮度值的像素、计算所考虑的像素的标准偏差和均值、归一化所考虑的像素以对于所述基准图像和所述特定的比较图像具有相同的标准偏差和均值、创建所考虑的像素的绝对差异图，以及对所述差异图使用所述差异阈值函数以识别局部运动检测。

本发明的另一实施例是一种用于将像素聚集为补丁的方法，包括：利用例如5×5方形结构元素对相关像素的二进制图像应用形态学膨胀操作、利用例如5×5方形结构元素对所述二进制图像应用形态学关闭操作、应用二进制标签算法以区分不同的补丁、通过边界多边形描述每一个补丁并且输出所述补丁描述。在该实施例中，所述相关像素可以共享可以包括根据至少一个图像比较的不一致亮度值或者检测的局部运动的识别属性。所述边界多边形可以是八边形。

在进一步实施例中，提供一种用于从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源的方法。所述方法可以包括：计算基准图像的特定补丁的边界面积像素的亮度值的加权直方图、根据由所述候选更换图像的相关曝光值确定的阈值将所述直方图划分为多个区域、对于每一个直方图区域计算评分函数、选择具有最大评分的区域并且输出相对应的候选更换图像。所述直方图加权可以增加过饱和和欠饱和亮度值的影响。在该实施例中，对于更换来自具有相对高曝光值的基准图像的补丁可以选择具有相对低曝光值的候选更换图像，并且反之亦然。所述基准图像可以是具有缩减的亮度值的中间曝光图像。对于特定的直方图区域的评分函数可以被定义为考虑所述特定的直方图区域的尺寸在所述特定的直方图区域中的像素数量与根据对于所述特定的直方图区域的模式亮度值的直方图条目的平均差值的比值。

此外，本发明可以实施为一种用于更换合成图像中的补丁图像数据的方法，包括：平滑补丁图像边界多边形、将所平滑的补丁图像升级到全图像分辨率，以及混合所述合成图像和所升级的平滑的补丁图像以产生输出图像。所述补丁图像边界多边形可以是八边形。可以以8比特格式表示所述补丁图像边界八边形并且应用例如7×7的低通滤波器。

另一实施例是一种用于将图像从初始格式转换到较低比特每像素格式的方法，包括：执行适于图像亮度值的色调映射并且输出进行了色调映射的图像。所述方法可以进一步包括执行非线性局部色调映射，其根据像素的相邻的平均亮度值将所述像素映射到分别由预定数量的比特代表的各个颜色分量。所述方法可以对于更加频繁的亮度值进一步分配附加灰度级。可以将图像转换到显示器格式，所述显示器格式的像素具有能够在内置数字照相机图像显示器上呈现的比特数量。所述方法还可以进一步定义局部映射查找表族和单个全局映射查找表，并且对于每一个图像转换操作使用选择的查找表，其中基于所述图像场景特性进行查找表选择。所述方法可以进一步包括构建合成图像的亮度直方图并且根据亮度值的分布来定义映射。可以使用用于形成所述合成图像的缩减的图像的直方图的组合来估计所述亮度直方图。直方图均衡化可以定义该映射。

本发明可以实施为一种用于检测基准图像和多个比较图像之间的局部运动的系统。所述系统可以包括处理器，所述处理器可以定义确定其中选择特定的比较图像的一组基准图像亮度值范围的多个亮度阈值，所述亮度阈值的数量与比较图像的数量相对应，并且定义根据所述基准图像的亮度值设置阈值的差异阈值函数。然后，对于每一个特定的比较图像，所述处理器可以通过向通过对所述基准图像和所述特定的比较图像进行比较而形成的差异图像应用所述阈值而产生指代所述基准图像和所述特定的比较图像之间的局部运动的中间检测图。最后，所述处理器可以输出作为所述中间检测图的并集的最终检测图。所述系统可以在相对较高的基准图像亮度值范围中选择相对较低的亮度比较图像，并且反之亦然。亮度阈值的集合可以随着差异图像亮度值变化。所述中间检测图可以通过如下产生：考虑具有位于与所述特定的比较图像相对应的范围中的亮度值的像素、计算所考虑的像素的标准偏差和均值、归一化所考虑的像素以对于所述基准图像和所述特定的比较图像具有相同的标准偏差和均值、创建所考虑的像素的绝对差异图，以及对所述差异图使用所述差异阈值函数以识别局部运动检测。

本发明的另一实施例是一种用于将像素聚集为补丁的系统，所述系统包括处理器，所述处理器可以利用例如5×5方形结构元素对相关像素的二进制图像应用形态学膨胀操作、利用5×5方形结构元素对所述二进制图像应用形态学关闭操作、应用二进制标签算法以区分不同的补丁、通过边界多边形描述每一个补丁，以及输出所述补丁描述。所述相关像素可以共享可以包括根据至少一个图像比较的不一致亮度值或者检测的局部运动的识别属性。所述边界多边形可以是八边形。

在另一实施例中，提供一种用于从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源的系统。所述系统可以包括处理器，所述处理器可以计算基准图像的特定补丁的边界面积像素的亮度值的加权直方图、根据由所述候选更换图像的相关曝光值确定的阈值将所述直方图划分为多个区域、对于每一个直方图区域计算评分函数、选择具有最大评分的区域并且输出相对应的候选更换图像。所述直方图加权可以增加过饱和和欠饱和亮度值的影响。在该实施例中，对于更换来自具有相对高曝光值的基准图像的补丁可以选择具有相对低曝光值的候选更换图像，并且反之亦然。所述基准图像可以是具有缩减的亮度值的中间曝光图像。对于特定的直方图区域的评分函数可以被定义为考虑所述特定的直方图区域的尺寸在所述特定的直方图区域中的像素数量与根据对于所述特定的直方图区域的模式亮度值的直方图条目的平均差值的比值。

此外，本发明可以实施为一种用于更换合成图像中的补丁图像数据的系统，包括处理器，所述处理器可以平滑补丁图像边界多边形、将所平滑的补丁图像升级到全图像分辨率，以及混合所述合成图像和所升级的平滑的补丁图像以产生输出图像。所述补丁图像边界多边形可以是八边形。可以以8比特格式表示所述补丁图像边界八边形并且应用例如7×7的低通滤波器。

另一实施例是一种用于将图像从初始格式转换到较低比特每像素格式的系统，包括执行适于图像亮度值的色调映射并且输出进行了色调映射的图像的处理器。所述系统可以进一步使处理器执行非线性局部色调映射，其根据像素的相邻的平均亮度值将所述像素映射到分别由预定数量的比特代表的各个颜色分量。所述系统可以进一步使处理器对于更加频繁的亮度值分配附加灰度级。所述系统可以将图像转换到显示器格式，所述显示器格式的像素具有能够在内置数字照相机图像显示器上呈现的比特数量。所述系统还可以包括：所述处理器定义局部映射查找表族和单个全局映射查找表，并且对于每一个图像转换操作使用选择的查找表，其中基于所述图像场景特性进行查找表选择。所述系统可以进一步包括：所述处理器构建合成图像的亮度直方图，并且根据亮度值的分布来定义映射。可以使用用于形成所述合成图像的缩减的图像的直方图的组合来估计所述亮度直方图。直方图均衡化可以定义所述映射。

附图说明

不旨在按照比例绘制附图。在附图中，各个图中每一个相同或者接近相同的部件由类似的附图标记表示。出于清晰目的，并不是在每一个图中标注了每一个部件。在附图中：

图1是以不同的曝光水平并且在不同的时刻捕捉场景的多个数字图像并且将这些图像显示在照相机的内置图像显示器上的数字照相机或者其他图像捕捉装置的方框图；

图2是在数字照相机中实现的处理模块的高级方框图；

图3是根据本发明实施例的2图像混合引擎的方框图；

图4是说明根据本发明实施例的图像混合器处理方法的完整图像混合处理序列的流程图；

图4A详细说明了根据本发明实施例由图3的2图像混合引擎使用的处理；

图5是根据本发明实施例的重影去除器处理模块的方框图；

图6是说明重影去除器处理方法的处理序列的流程图；

图7是根据本发明实施例通过使用被顺序拍取并且被组合到一起的三个图片创建的具有重影的图片；

图8是根据本发明实施例在去除重影之后图7的图片；

图9是根据本发明实施例要求HDR处理的图片；

图10是根据本发明实施例与图9的图片相对应的具有标签的图片；

图11是根据本发明实施例与图9的图片相对应具有补丁选择的图片；

图12描绘了根据本发明实施例用于像素补丁的边界框；

图13描绘了根据本发明实施例用于像素补丁的边界菱形；

图14描绘了根据本发明实施例用于像素补丁的边界八边形；

图15是根据本发明实施例的HDR的处理说明；

图16是根据本发明实施例的HDR算法流的说明；

图17是根据本发明实施例的图像融合算法流的说明；

图18是根据本发明实施例用于加权查找表的分段线性函数的示例；

图19是根据本发明实施例的重影去除流的说明；以及

图20是描绘根据本发明实施例的中间图像直方图到三个不同区域的示例性划分的图示。

具体实施方式

现在将参照形成本发明一部分并且通过示例说明的方式示出可以实践本发明的特定实施例的附图更加充分地描述本发明。然而，本发明可以按照许多不同的形式实施并且不应该被理解为局限于这里阐述的实施例；而是提供这些实施例以使得本公开将全面而完整，并且将向本领域的普通技术人员充分传达本发明的范围。除其他之外，本发明可以实施为方法或者设备。因此，本发明可以采取模块或者电路形式的完全硬件实施例，在通用微处理器、专用微处理器处理器、通用数字信号处理器或者专用数字信号处理器上执行的软件形式的完全软件实施例，或者组合软件和硬件方面的实施例的形式。因而，在下面的描述中，术语“电路”和“模块”将被互换使用以表明处理元件对输入信号执行操作并且从其提供输出信号而与其实现的硬件或者软件形式无关。同样，术语“注册(动词)”、“注册(名词)”、“对准(动词)”和“对准(名词)”将被互换使用以表明使类似的对象彼此相对应并且在正确的调整中的处理，而与带来这样的对应关系所采用的机制以硬件或者软件形式实现无关。因此，并不在限制的意义上进行下面的详细描述。

贯穿整个说明书和权利要求书，下面的术语采取这里明确相关联的含义，除非上下文以其他方式清晰地表明。这里使用的短语“在一个实施例中”不必指代相同的实施例，尽管可以是相同的实施例。如这里使用的，术语“或者”是包括性的“或”操作符，并且等效于术语“和/或”，除非上下文以其他方式清晰地表明。术语“基于”不是排除性的并且允许以没有描述的附加因素为基础，除非上下文以其他方式清晰地表明。此外，贯穿整个说明书，“一”、“一个”、“和”以及“所述”的含义包括复数。“在......中”的含义包括“在......中”和“在......上”。而且，这里“包括”、“包含”、“具有”、“含有”、“涉及”及其变体的使用意味着包含之后所列出的项目及其等同物以及附加的项目。

图1示出了数字照相机或者其他图像捕捉装置，包括成像光学系统105、电子控制快门180、电子控制镜头光圈185、光学图像传感器110、模拟放大器115、模数转换器120、图像数据信号处理器125、图像数据存储单元130、图像显示器106以及照相机控制器165。图像数据存储单元可以是存储器卡或者内部非易失性存储器。由照相机捕捉的图像的数据可以被存储在图像数据存储单元130中。在该示例性实施例中，其也可以包括用于临时图像数据存储和中间图像处理结果的内部易失性存储器。该易失性存储器可以分布在独立的图像数据处理电路之间并且不需要在架构上位于诸如图像数据存储单元130的单个图像数据存储单元中。光学系统105可以是单个镜头，如图所示，但是其通常会是一组镜头。场景100的图像190形成在到图像传感器110的二维表面上的可视光学辐射中。传感器的电子输出195承载由扫描在其上投影图像190的传感器110的表面的各个光电探测器产生的模拟信号。在输出195中获得与撞击各个光电探测器的光的强度成正比的信号。模拟信号195经过放大器115利用放大器输出102施加到模数转换器120上。模数转换器120根据在其输入处的模拟信号生成图像数据信号，并且经过输出155将其施加到图像数据信号处理器125。传感器110的光电探测器典型地检测撞击每一个光电探测器元件的光的两个或更多个独立颜色分量之一的强度。早期的探测器仅检测图像的两个分离颜色。现在通常是诸如红色、绿色和蓝色(RGB)分量的三原色的检测。目前，检测多于三个颜色分量的图像传感器正在变得可用。

通过图像数据信号处理器125对来自模数转换器120的图像数据信号执行多个处理操作。在该实施例中，图1中示出了通过图像数据信号处理器125内的多个图像数据信号处理电路实现的图像数据信号的处理。然而，这些电路可以通过单个集成电路图像数据信号处理器芯片实现，所述单个集成电路图像数据信号处理器芯片可以包括执行由存储的固件定义的算法操作的通用处理器、执行由存储的固件定义的算法操作的多个通用处理器、或者所示出的专用处理逻辑电路。此外，这些操作可以通过连接到一起的若干集成电路芯片实现，但是单个芯片是优选的。图1描绘了串联连接的图像数据信号处理电路135、140、145和150的使用以实现对来自模数转换器120的图像数据信号的多个算法处理操作。这些操作的结果是能够或者在图1的数字照相机的内部图像显示器106上或者在外部显示设备上浏览的存储的非易失性数字图像数据。该浏览能够或者通过存储卡从数字照相机的物理去除并且将该卡重新插入到外部显示设备上或者通过利用通用串行总线(USB)或者Wi-Fi或者蓝牙无线局域网络的数字照相机与外部显示设备的电子通信实现。

在电路145和150之间通过省略号175表明的附加处理电路可以被包括在数字照相机的图像数据信号处理器中。该实施例的图像数据信号处理器的串联结构被称为“流水线”架构。该架构配置被采用作为本发明的示例性实施例，然而可以使用其他架构。例如，能够采用具有“并行架构”的图像数据信号处理器，其中设置一个或者多个图像数据信号处理电路以从多个图像数据信号处理电路接收所处理的图像数据，而不是在它们已经通过全部在先的图像数据信号处理电路进行了顺序处理之后。部分并行并且部分流水线架构的组合也是可能的。

图像数据处理器125的图像数据信号处理电路的串联被称为“图像处理管路”。实施例将图2所示的图像数据信号处理电路添加到常规地包括在数字照相机的图像处理管路中的那些。常规地包括在数字照相机的图像处理管路中的图像数据信号处理电路包括用于白平衡校正(WBC)、镜头阴影校正(LSC)、伽马校正(GC)、色彩变换(CTM)、动态范围压缩(DRC)、去马赛克、噪声降低(NR)、边缘增强(EE)、缩放和镜头失真校正(LDC)的电路。如图2中描绘的，实施例向上面讨论的图像数据信号处理电路的定额装备添加图像注册处理器(IRP)电路210、图像混合器(IM)电路220、重影去除器(GR)电路230以及色调映射处理器(TMP)电路235。图2的图像存储200存储场景的两个或者更多图像的系列的数字数据，每一个系列图像由包含数字比特的像素构成，这些数字比特已经由图像处理管路中的图像数据信号处理电路进行了处理。图像存储200能够与图1的图像存储130共享存储器，然而，用于临时图像数据存储和中间图像处理结果的存储器资源，或者全部分离的易失性或者非易失性存储器资源，能够提供由图像存储200使用的存储器资源。

参照图1，经过线路145和控制/状态线路160，照相机控制器165使得电子快门180、电子光圈185、图像传感器110、模拟放大器115和模数转换器120捕捉场景的图像的系列并且转换到数字图像数据。这些图像被以不同的曝光水平捕捉、由图像数据信号处理电路处理、并且存储在图2的图像存储200中。图像注册处理器210读取存储在图像存储200中的图像系列数字图像数据，并且向彼此注册该图像系列的每一个图像的对等(counterpart)像素，其中一个图像(通常是具有中间曝光时间的图像)用作基准图像。在图像混合之前执行图像注册以逐像素地对准全部系列图像。由于在图像系列捕捉期间发生的照相机移动，这样的对准是必要的，以便图2的图像混合器220能够正确地组合系列图像像素并且形成具有所捕捉场景的全部灰度范围的图像。这样的图像经常被称为“高动态范围”或者“HDR”图像。在图像混合器220中，每一个所捕捉的系列图像的每一个系列图像像素与在每一个所捕捉的系列图像中的其像素对等物进行组合。因而，代表在第一系列图像中出现的对象的主体的边缘上或者该主体内的特定位置的图像像素被与位于在第二系列图像中出现的相同对象的主体的边缘上或者该主体内的相同位置的其对等物进行混合。为此，图像中像素的位置是相对于其中作为其一部分的对象，而不是相对于由该图像的垂直和水平外边缘限定的固定坐标系统。

通常，图像注册处理器210采用在照相机的标定曝光设置处捕捉的第一图像作为该系列的所有其他图像都与其对准的基准图像。目前使用多个技术用于图像对准和注册。在S.B.Kang、M.Uyttendaele、S.Winder和R.Szeliski的“High Dynamic Range Video”，Interactive Visual Media Group，Microsoft Research，Redmond，WA，2003中描述了很好的示例。

所描述的方案处理场景中照相机移动和对象移动二者。对于每一个像素，计算连续的系列图像之间的运动向量。该运动向量然后利用诸如分层单应性的附加技术进行细化，以处理退化情况。一旦确定了每一个像素的运动，就能够利用所选择的基准图像来扭曲(warp)和注册帧。然后通过图像混合器220将图像混合为HDR图像。

从实践观点应该注意到，在本申请中，推导N×M个块的运动向量而不是每一个像素的运动向量。此外，一旦给出了运动向量，推导通用变换[x’y’]＝f(x，y)，其中x’和y’是给定点{x，y}的新位置。

图像混合处理

图像混合器220具有混合不限定数量的图像的能力，但是采用一次混合两个图像的像素的图像混合引擎。图3中示出了混合器220的2图像混合引擎。在本发明的实施例中，混合引擎混合其数字图像数据出现在输入线路300上的第一8-比特图像的像素以及其数字图像数据出现在输入线路305上的第二8-比特图像的像素。能够使用具有比8比特更宽，例如10比特，或者更窄，例如7比特，的比特宽度的图像。图4的流程图说明了图像混合器220的完整图像混合处理，并且图4A详细说明了图4的方框420，由图3的2图像混合引擎所使用的处理。

参照图3，图像混合处理在每一个图像混合操作期间混合两个图像。要被混合的头两个图像均取自所捕捉的图像系列，其中所捕捉的图像系列的每一个图像先前已经被注册有在照相机的标定曝光设置处捕捉的基准图像。对于初始图像混合操作，具有较低曝光水平的系列图像提供在图3的线路300上出现的第一图像数字图像数据输入，并且具有较高曝光水平的系列图像提供在线路305上出现的第二图像数字图像数据输入。对于第二和全部随后的图像混合操作，所述系列的随后图像被与根据先前图像混合操作获得的结果进行混合。对于这些后续的混合操作，所述系列的随后图像的数字图像数据用作在305上出现的第二图像数字图像数据输入，并且所混合的图像数字图像数据结果用作在图3的线路300上出现的第一图像数字图像数据输入。在全部情况下，所述系列的随后图像已经被以比其中间图像系列前身更高的曝光水平曝光。

线路305上的第二图像数字图像数据按照两种方式被初始处理。(1)亮度转换电路320提取包括第二图像数字图像数据305的组合红色、绿色和蓝色(RGB)分量数据的亮度、黑色和白色分量，并且在线路325上输出每一个图像数据像素的亮度分量。(2)图像归一化器310将线路305上的第二图像数字图像数据的每一个RGB分量的曝光水平归一化到基准图像的曝光水平，并且对于每一个颜色分量在线路302上输出被归一化到基准图像曝光水平的每一个图像数据像素。注意到，所使用的基准图像不必是用于先前描述的注册处理的相同基准图像。对于本发明的一个实施例，所述系列的最暗图像，即被最少曝光的图像，的曝光水平用作基准曝光水平并且所述系列的全部其他图像都被归一化到该曝光水平。例如，如果所捕捉的图像系列由三个图像组成，则暗图像曝光1/64秒、中间图像曝光1/16秒并且亮图像曝光1/2秒，在线路302上出现的中间图像的每一个像素的归一化值将是：

(1)中间像素值_归一化＝中间像素值_输入/((1/16)/(1/64))＝中间像素值_输入/4；

并且在线路302上出现的亮图像的每一个像素的归一化值将是：

(2)亮像素值_归一化＝亮像素值_输入/((1/2)/(1/64))＝亮像素值_输入/32因此，对于本发明的该实施例：

(3)曝光水平_归一化＝曝光水平_系列图像/曝光水平_{最少曝光系列图像}

并且线路305上的第二图像数据输入的每一个像素的归一化值以及线路302上的输出为：

(4)第二图像像素值_归一化＝第二图像像素值_输入/第二图像曝光水平_归一化

在图3的线路325上出现的每一个第二图像数字图像数据像素的亮度分量被输入到查找表(LUT)315以在线路330和335上获得每像素加权参数Wi。每一个第二图像像素的亮度分量用作到LUT315的索引，并且对于每一个输入亮度值，使位于数值零和整数1之间的加权参数值Wi输出到线路330和335。该值被以二维矩阵的形式输出，其中：

(5)W(m，n)＝255-亮度(m，n)；

亮度(m，n)是在图像坐标(m，n)处每一个第二图像数字数据像素的亮度分量，对于本发明的该实施例，其能够实现最大值255，因为该实施例混合8-比特系列图像的像素，并且255＝单位1，其代表表315的100％输出值。用作到LUT 315的索引的第二图像像素值是具有从0到255的数值范围的8-比特数字值。因此，定义255作为单位1，其允许从输入索引值到输出加权参数值的直接映射并且降低加权参数应用计算工作量。能够选择其他值作为单位1。例如，如果用作到LUT 315的索引的亮度分量第二图像像素值是10-比特数字值，数值范围从0到1023，则指定单位1为值1023是合适并且有利的。

对于该实施例，从LUT 315输出的加权参数值随着用作到LUT315的索引的亮度分量第二图像像素值的增加而线性降低。也可以使用其他LUT函数，例如其中根据LUT 315获得的加权参数值保持在预定值并且在亮度分量第二图像像素值索引下降低于一阈值时开始线性增加的梯形形状函数。LUT 315函数的选择基于这样的观察：在混合两个图像时，其中一个图像由于被以高曝光水平曝光，也许是长曝光时间，而高度饱和，并且另一个图像由于被以较低曝光水平曝光，也许是短曝光时间而较暗，也许在短的曝光时间处，因此期望向具有高曝光水平的图像的高饱和像素应用低权重，而向具有低曝光水平的图像的对等像素应用高权重。这将产生具有较少高饱和像素的混合图像，因为许多已经通过对等的被正确曝光的像素取代。结果是在其高亮面积中具有更多细节的混合图像，同时属于阴影区域的像素将主要来自于较高曝光的图像。

实施例不局限于单个LUT315的使用。能够使用多个LUT。在这种情况下，不同的LUT能够与每一个系列图像相关联以用于获得加权值，或者两个或者更多系列图像能够与来自多个所提供的LUT的相同LUT相关联。这些LUT能够例如填充有响应于系列图像曝光水平的加权参数值。

在当前申请中，在某些实施例中提供了现有技术中不可获得的改善。图像传感器典型地具有至少12比特分辨率，而当前显示器仅具有8比特分辨率，因而在捕捉期间对原始像素应用非线性伽马操作以将范围限制到8比特以用于显示。因此，在当前申请中提供的某些实施例中，优选地对两个输入图像Im1和Im2的“去伽马版本”执行混合，其中去伽马操作是将RGB图像像素从8比特(即非线性域)移动回到16比特(即线性域)的LUT，因而：

(6)混合的图像＝去伽马(Im1)×(1-W)+去伽马(Im2)×W

而且，由于在线性域中进行曝光，因此也应该在该域中进行对曝光时间的归一化。

例如，在本申请的图3中所示的图像归一化器之前现在添加了去伽马功能方框301和302。这些方框可以通过例如DG FLAG和DG FLAG2的标志被选择性使能。而且，在第一次执行上述的迭代处理时，第一图像数据输入(300)被转换到去伽马(即线性)域。在使用2图像混合引擎的接下来的迭代时，如果来自前一级的混合输出正在被使用并且已经处于去伽马域中，则不需要对第一图像应用去伽马。类似地，根据本发明的优选实施例，在归一化像素处添加附加的像素去伽马功能(方框429)。也可以通过外部标志选择性地使能/禁止该方框。同样，在本发明的实施例向图5所示的电路的输入500和505传输图像时，如果需要，也可以处理那些图像以处于去伽马域中。

在混合操作期间，以逐像素为基础向在线路302上出现的归一化的第二图像数字图像数据的每一个颜色分量应用加权参数，并且向在线路300上出现的第一图像数字图像数据的每一个颜色分量应用1减去加权参数，例如(1-Wi)。通过下面的等式定义逐像素混合操作：

(7)混合的图像数据像素＝(1-Wi)×(第一图像数据像素)+Wi×(归一化的第二图像数据像素)

图3的处理方框按照下面执行等式(7)：通过亮度转换电路320推导线路305上的第二图像数据的亮度并且由LUT 315使用以在线路330和335上生成加权参数Wi。乘法器307将通过图像归一化器310进行归一化的归一化的第二图像数字图像数据与线路330上的Wi相乘并且在线路355上输出结果。Wi也被经过线路335施加到数据减法器340，其在线路345上输出(1-Wi)。线路300上的第一图像数字图像数据通过乘法器350乘以线路345上的(1-Wi)并且在线路365上输出结果。通过加法器360将线路355上的归一化和加权的第二图像数字图像数据加到线路365上的加权的第一图像数字图像数据。加法器360在线路370上输出混合的图像像素。这些像素被存储在图像存储375中并且在线路380上作为2图像混合的图像数据输出。

在图4A的处理方框420中描绘了由图3的2图像混合引擎使用的像素混合处理。在423处要被混合的第一图像的数据进入该处理并且在413处要被混合的第二图像的数据进入该处理。像素混合处理在445处开始。在427处，选择来自第二图像的像素。在429处，所选择的第二图像像素被归一化并且在450处推导其亮度。在465处，利用第二图像像素的亮度以根据LUT获得加权参数Wi485。在455处，将归一化的第二图像像素乘以加权参数Wi485。在475处，该归一化的和加权的第二图像像素进入加法处理。在460处选择所选择的第二图像像素的第一图像像素对等物并且在470处乘以(1-Wi)。在475处，加权的第一图像像素进入加法处理并且被与归一化和加权的第二图像像素进行混合。如果如在判决点480处确定的并且通过431上的“否”表明的存在剩下要混合的更多图像像素，则在445处初始化下一个像素混合周期，使得在460和427处分别选择下一个第一图像像素和下一个第二图像像素，并且如所描述地进行混合。

如果如在判决点480处确定并且通过433上的“是”表明的没有剩下要混合的更多图像像素，但是如在判决点495处确定并且通过487上的“否”表明的在所捕捉的图像系列中存在要混合的更多图像，则从剩余的未混合系列图像中选择另一第二图像，其数据将用作要被混合的下一个第二图像数据。在现有实现中，所选择的第二图像将比先前第二图像选择具有更高曝光水平，然而在当前申请的实施例中，不施加这样的约束；可以按照任何顺序处理图像，而与相关的曝光水平无关。可以对487上的“否”做出响应而通过图像选择处理425进行这样的选择。此外，由于在441处判决点430向处理435发出“是”的通知，对可在493处2图像混合图像数据开始可用做出响应，通过第一图像数据选择处理435选择493处的2图像混合的图像输出数据作为要被混合的下一个第一图像数据。如果在493处2图像混合的图像数据不可获得，这将是图像混合处理开始时的情况，则判决点430将通过在437处设置“否”而通知处理方框440，以通过处理方框425从所捕捉的待混合的图像系列中选择具有比从所捕捉的图像系列中选择的要被混合的第二图像(在现有实施例中)更低的曝光水平的第一图像进行混合。在这种情况下，在407处将所选择的第二图像曝光水平信息传送到选择方框440，在443处将最少曝光的系列图像曝光水平信息传送到选择方框440，并且在439处将所选择的系列图像数据传送到处理方框440。如在图4的流程图中描绘并且在本发明的当前申请实施例中使用的，具有最少曝光水平的系列图像可以不必被选择作为第一图像。进而，现有方框440不再必要。

如果在所捕捉的图像系列中不存在要混合的更多图像，则处理可以结束，其在497处出现混合的HDR图像输出。

如先前描述的，对于本发明优选实施例，可以在图像输出点497处添加标志以使能/禁止伽马操作。对于全部系列图像，该伽马操作将关闭，除了在传送最终输出时的最后一个。

本发明的图4的流程图说明了图像混合器220的完整图像混合处理。描绘由图3的2图像混合引擎使用的2图像混合处理的方框420在图4中被醒目显示并且在图4A中进行了详细说明。图4还包括位于2图像混合处理方框420之前的处理。该处理包括在处理方框400处捕捉图像的系列，每一个图像以不同的曝光水平被曝光，在处理方框405处彼此注册对等系列图像像素，在处理方框410处确定被最少曝光的系列图像(在现有中)。在处理方框415处，对于该系列中的每一个图像，根据先前描述的等式(3)的来计算归一化曝光水平，其可以参照所述系列的最少曝光图像或者在该改进实施例中的另一图像。该计算的归一化曝光水平由处理方框420的429使用以在根据先前描述的等式(7)乘以加权参数并且与加权的第一图像像素混合之前，归一化每一个第二图像像素，如先前通过等式(4)描述的。

图像混合器220的图像混合处理仅使用加法和乘法，从而避免了计算密集的除法运算，并且允许其通过定点计算引擎实现。此外，由于所采用的混合方案以连续的两个图像混合操作为基础，因此在初始化混合操作之前不需要等待直到全部系列图像被捕捉。混合处理可以在捕捉了所述系列的仅两个图像之后立即开始。这些特性允许混合处理使用有限的处理功率计算引擎根据被归类到一起的曝光图像系列而快速创建HDR图像。

重影去除处理

在现有技术中，重影去除器230去除在图4的497处的混合的HDR图像输出数据中出现的由于场景对象随着捕捉所述系列的图像的时间的移动导致的这些对象的位置偏移复制，或者重影。基本上，由于在系列图像的混合中，在第一系列图像中可视化的对象相对于其第一系列图像位置坐标已经移动，如在第二系列图像中可视化的，因而会出现重影。结果，在混合的图像中，所述对象可能会在多个位置中出现，其中这些位置取决于对象的运动速率和运动方向。本发明的实施例采用独特的两级方案以减轻重影图像。

给定根据来自捕捉的K个图像的对准的图像系列的图像的加权和而生成的混合图像HDR(i，j)，在处理的第一级中，实施例首先按照下面计算HDR(i，j)的每一个像素的亮度值的方差：

(8)V(i，j)＝E_fc W(i，j，k)×P²(i，j，k)-HDR(i，j)²

其中：

V(i，j)＝在所捕捉的图像系列的K个对准图像上，位于图像坐标(i，j)处的混合的HDR图像像素的亮度值HDR(i，j)关于位于图像坐标(i，j)处的第K个系列图像像素的值的方差；

HDR(i，j)＝位于图像坐标(i，j)处的混合的HDR图像像素的亮度值；

W(i，j，k)＝施加到位于图像坐标(i，j)处的第K个系列图像像素的水平的归一化加权以将所述系列图像像素水平范围归一化到混合的HDR图像的像素水平范围；并且

P(i，j，k)＝位于图像坐标(i，j)处的第K个系列图像像素的值；

并且然后以来自对准的基准图像HDR_ref的其对等像素更换其亮度方差超出第一阈值水平的混合的HDR图像像素，该基准图像开始选自所捕捉的图像系列，以生成第一处理的混合图像数据HDR_{第 一处理}。

上述的重影去除处理的第一级是基于如下观察：如果在所混合的系列图像中不存在局部运动，则如通过上面的等式(8)定义的所混合的HDR图像输出中的像素在所捕捉的图像系列的K个对准图像上的方差将为低。与该假设相关联的唯一明显误差在于对准误差。由于对准基本上是全局处理，因此其不能够补偿局部图像对象的局部运动，并且因而局部对象运动被呈现为高幅度像素方差区域。通过在由等式(8)生成的二维方差数据中分析高幅度像素方差区域，能够定义混合的HDR图像输出数据中的局部运动的区域，并且能够利用来自基准图像的对等像素更换具有高于预定义阈值的方差的混合的HDR图像输出数据像素。所选择的基准图像经常是最少曝光的系列图像，但是可以是以较高曝光水平曝光的系列图像。

实施例的重影去除处理的第一级生成具有较少重影的第一处理的混合图像数据HDR_第一处理。然而，一些残余的重影仍然保持。处理的第二级通过将HDR_第一处理的内容与HDR_ref进行比较来改善这些结果。在该第二级中，通过逐像素地分析从HDR_第一处理的亮度减去HDR_ref的亮度获得的结果来检测重影残余。生成以HDR_第一处理的亮度和HDR_ref的亮度之间的差值的最大值为基础的第二阈值水平。利用其对等的HDR_ref数据像素更换超出第二阈值水平的每一个HDR_{第一处 理}数据像素，产生具有较少重影的第二处理的混合图像数据HDR_{第二 处理}。可以将由本发明的该实施例的处理的第二级使用的过程总结如下：

(a)生成D0＝ABS(亮度(HDR_第一处理)-亮度(HDR_ref))；

(b)确定第二阈值＝Max(D0)＝D_M0。

(c)利用其对等HDR_ref数据像素更换超出第二阈值的每一个HDR_{第 一处理}数据像素，产生HDR_第二处理混合的图像数据

(d)将HDR_第二处理与HDR_ref进行比较并且生成Max(D1)＝Dm1，其中Dm1＝Max((ABS(亮度(HDR_第二处理)-亮度(HDR_ref))))

(e)如果Dm1＞DM0的60％，则第二阈值太大并且HDR_第二处理可能看起来与HDR_ref太像。然后：

(f)将D_M0分段为2个水平，其中D_M00＝值＜0.5D_M0，并且D_M01＝值＞0.5DM0

(g)以百分比确定HDR_第二处理图像面积相对于全部图像面积的量，超出D_M01，尺寸_1

(h)以百分比确定HDR_第一处理图像面积相对于全部图像面积的量，超出DM00，尺寸_0，其中尺寸_1应该＞＝尺寸_0。

(i)计算的尺寸_比值＝尺寸_1/尺寸_0

(j)如果(尺寸_0＞40％||(尺寸_比值＞2&&尺寸_1＞8％))

(k)再次捕捉系列图像

(l)否则

(m)利用其对等HDR_ref像素更换超出D_M01的HDR_第二处理图像面积的像素，产生HDR_第二处理混合的图像数据

(n)结束

所述重影去除处理能够被应用到任何被对准、捕捉的被归类到一起的两个或者更多图像的曝光系列。此外，所述处理可以采用两个或者更多HDR_ref图像。在所述处理被应用于例如三个图像的系列时，其中第一系列图像的曝光水平低于第二系列图像的曝光水平并且第二系列图像的曝光水平低于第三系列图像的曝光水平，与具有超出第一阈值的方差的混合图像数据相对应的第二系列图像区域的面积能够用于在两个基准图像HDR_ref1和HDR_ref2之间进行选择。在该示例中，饱和的第二系列图像区域面积被求和并且饱和面积的和与第二系列图像的总面积的比值用于选择对于重影去除处理的剩余部分的HDR_ref。如果比值小于或者等于例如0.03到1的参数值，则选择HDR_ref2＝第二系列图像。如果比值大于参数值，则选择HDR_ref1＝第一系列图像。进而，能够使用上面的选择方案或者本质上类似的、对其他图像特性做出响应的选择方案，其他图像特性例如具有对象移动的图像面积的尺寸高于预定阈值或者空间频率细节高于预定阈值，以选择用于重影去除处理的第一级的HDR_ref1并且附加地用于重影去除处理的第二级的不同的HDR_ref2。

图5是图2的重影去除器处理模块230的实施例的方框图。混合的HDR图像像素数据在图5的线路505上被输入到亮度转换电路515和第一像素更换电路540。亮度转换电路515将混合的HDR图像像素数据转换成混合的图像亮度像素数据，并且经过线路525，向方差计算电路550输入混合的图像亮度像素数据。尽管图2中未示出，但是在图5的线路500上向重影去除器模块230输入所捕捉的被归类到一起的两个或者更多图像的曝光系列的对准图像，该重影去除器模块230连接到基准图像选择电路510。在该实施例中，基准图像选择电路510选择最少曝光的系列图像作为基准图像HDR_ref，然而可以选择以较高曝光水平曝光的系列图像。经过线路520，HDR_ref像素数据也被施加到方差计算电路550。此外，线路520向第一像素更换电路540、第二像素更换电路585和亮度转换电路560施加HDR_ref像素数据。根据线路520上的HDR_ref像素数据以及线路525上的混合的图像亮度像素数据，方差计算电路550在线路530上生成输出混合的图像亮度像素方差数据。该亮度像素方差数据经过线路530被施加到第一像素更换电路540。在线路535上，第一阈值水平也被施加到第一像素更换电路540。根据这些输入，第一像素更换电路540利用来自线路520上的HDR_ref数据的对等像素更换其亮度方差超出线路535上的第一阈值水平的线路505上的混合的图像像素数据的像素，以在线路545上生成作为处理的第一级的输出的第一处理的混合的图像像素数据HDR_第一处理。

线路545上的处理的第一级输出HDR_第一处理通过亮度转换电路565转换为HDR_第一处理亮度像素数据。电路565的输出出现在线路595上并且被连接到比较电路575。线路545上的HDR_第一处理也被施加到第二像素更换电路585。线路520向亮度转换电路560和第二像素更换电路585施加HDR_ref像素数据。亮度转换电路560将HDR_ref像素数据转换为HDR_ref亮度像素数据，并且在线路570上向比较电路575提供HDR_ref亮度像素数据。比较电路575计算每一个HDR_第一处理亮度数据像素及其对等HDR_ref亮度数据像素之间的差值并且基于该差值的最大值生成第二阈值水平。该第二阈值水平在线路580上被施加到第二像素更换电路585。第二像素更换电路585利用线路520上的其对等HDR_ref数据像素更换线路545上超出第二阈值水平的每一个HDR_第一处理数据像素，在线路590上所产生的第二处理的混合的图像数据HDR_第二处理是处理的第二级的重影降低的输出。

在图6的流程图中描绘了由图5的重影去除器处理模块使用的两级重影去除处理。在方框600处，捕捉被归类到一起的两个或者更多图像的曝光系列，每一个图像以不同的曝光水平并且在不过的时刻被捕捉。在方框605处，这些图像被彼此注册以使得对等系列图像像素彼此相对应。在方框610处，从所获取的场景图像中选择基准图像并且在处理路径615上将其像素数据传送到处理方框625、640、660和695。所选择的基准图像经常是最少曝光的系列图像，但是可以是以较高曝光水平曝光的系列图像。其不必是与由通常采用以照相机的标定曝光设置捕捉的第一图像作为系列的全部其他图像都与其对准的基准图像的图像注册处理器210使用的基准图像相同的基准图像。先前描述的在图4的流程图中描绘了其图像混合处理的图像混合器在方框620处执行处理，图4的混合的HDR图像输出图像数据像素进入处理方框650和640。在方框650处，生成混合的数据像素的亮度并且传送到方框625，其中与来自方框610的其对等基准图像数据像素进行比较，计算来自方框650的每一个混合的图像数据像素亮度的方差。该方差被传送到处理方框640并且由方框640使用，连同沿着路径635进入处理方框640的第一阈值，沿着路径650进入处理方框640的来自处理方框620的混合的图像数据像素，以及沿着路径615进入处理方框640的基准图像数据像素，以利用其对等基准图像数据像素更换具有超出第一阈值的方差的每一个混合的图像数据像素，并且生成第一处理的混合的图像数据像素。第一处理的混合的图像数据像素是重影去除处理的第一级的结果。

第一处理的混合的图像数据像素被沿着处理路径655传送到处理方框665和695。处理方框665生成第一处理的混合的图像数据像素的亮度，而处理方框660根据在路径615上进入处理方框660的基准图像数据像素生成每一个基准图像数据像素的亮度。处理方框670以逐像素为基础计算每一个第一处理的混合的图像数据像素的亮度值与其对等基准图像数据像素的亮度值之间的差值并且将这些差值提供到处理方框675。处理方框675确定这些差值的最大值并且处理方框680基于该最大值生成第二阈值。处理方框695在路径685上接收该第二阈值，连同路径615上的基准图像数据像素以及路径655上的第一处理的混合的图像数据像素，并且利用其相对应的基准图像数据像素对等物来更换超出该第二阈值的每一个第一处理的混合的图像数据像素，并且因而在处理路径695上生成增强的重影去除的第二处理的混合的图像数据。该第二处理的混合的图像数据，重影去除处理的第二级的结果，用作到诸如图2的235的色调映射处理器的输入。

上面描述了本发明的实施例与现有的实施例的区别。在现有实施例中提供的混合方案被设计以在静态场景上最佳操作，但是如先前注意到的，如果证明不是这种情况并且存在诸如汽车、人或者树木的枝桠由于例如风吹而移动的一些局部运动，则会注意到重影。然后要求单独的重影去除处理。如下面描述的，本发明的实施例包括对先前重影去除处理进行改进的重影去除处理。

图7示出了根据本发明实施例通过混合在不同的时刻并且以不同的曝光拍取的三个图像而生成的重影的非限制性示例。由箭头710、720和730标注的重影被清晰地看见并且应该被尽可能多地去除。在全部情况下重影的完全去除是不可能的，然而要描述的实施例在许多情况下消除了重影并且残余的剩余部分比由其他现有技术方案提供的更好。

现有重影去除器基于如下假设：如果不存在局部运动，则由两个对准的图像生成的差异图像具有低幅度。不幸的是，局部运动没有通过注册处理进行补偿(在本质上是全局的)并且因而实际上在差异图像中表现为高幅度区域。需要不同的概念性方案。

因此，在当前申请中，通过检查差异图像注意到，可以定位这些高幅度的区域并且通过从基准图像取出的原始补丁来更换规则输出，优选地或者从暗图像或者从中间图像。通过再次使用图像混合器执行该更换，在该图像混合器中，输入是HDR(具有重影)和从其取出补丁并具有正确的加权W的基准图像，因而被计算为：

(9)HDRout＝(1-W)×HDR+W×基准图像

通过该处理生成的所产生的HDRout图像现在应该是没有重影。

从而给出现在提供用于生成加权W的主要步骤：

(a)将(典型地但不是必需为三个)输入图像的亮度缩减到例如大致180×240分辨率。

(b)将亮度归一化到特定标准偏差和均值。

(c)生成d＝abs(暗亮度-中间亮度)＞阈值差异图像

(d)生成d1＝abs(亮亮度-中间亮度)＞阈值差异图像

(e)生成二进制图像G＝(d或d1)

(f)膨胀、过滤并且升级G以生成W的平滑版本以用于由图像混合器使用。

在图8中提供了根据实施例所产生的无重影混合的非限制性示例。箭头810、820和830指向先前分别由图7中的箭头710、720和730指向的各自面积。移动的人和移动的车辆的重影已经基本上被完全去除。应该注意到，该过程也克服了注册噪声。例如，如果门的边缘没有被正确对准，则对准的图像之间的差异将为高。结果，由从基准图像取出的补丁更换该边缘。因而，其与本申请的重影去除处理没有区别，其中噪声例如来自局部运动或者误注册。在两种情况下，均由补丁更换。

选择基准图像以用于补丁植入

通常，优选的是从较高曝光图像(典型的是对于三个图像的系列的中间图像)取出更换补丁，然而，这些补丁可能由饱和区域构成。如果是这种情况，可以取出来自最暗图像的补丁。从中间图像选择补丁的标准是基于在给定的总补丁面积的情况下饱和区域的总百分比的计算。如果例如小于3％，则中间图像用作从其取出补丁的基准图像，否则，取出暗图像。使用来自暗图像的补丁的缺点在于暗图像具有最低信噪比并且是嘈杂的。该噪声被最终的色调映射所放大。

用于选择补丁(在其中存在三个输入图像可用的情况下，或者从暗图像、亮图像或者中间图像)的决策是对每图像分段进行的而不是对整个图像进行。这要求首先对二进制连接的图像G进行分段。出于该目的，使用如图9所示的根据实施例的示例性而非限制性图像，其为中间图像。图10示出了在进行分段设置标签之后的相同图像，其中标签1010和1020分别与图9的标签910和920相对应。在图11中示出了分别与标签910和920相对应的中间补丁1110和暗补丁1120。

根据本发明的实施例，补丁处理因此包括：

(a)设置标签-找出连接的二进制团的集合并且向每一个集合指定色彩(图10)。

(b)设置多边形边界-通过多边形对每一个分段设置边界，例如以八边形为例。

(c)补丁选择-检查每一个多边形的区域以确定是否其面积的大于(典型的)3％在中间图像中是饱和的。对于饱和的分段，取出暗图像补丁，而对于非饱和分段，取出中间图像补丁。

设置多边形边界在本领域中是已知的，但是这里将进行描述。线性容器是其内部由有限数量的线性不等式指定的容器。例如，在2D中，容器Z可以由k个不等式指定：f_i(x，y)＝a_ix+b_iy+c_i＜0(i＝1，k)，全部这些对于将在该区域中的点(x，y)必须是真的。如果不等式中的任意一个失败，则测试点将在Z的外面。

现在参照图12，盒是其边缘与坐标轴平行的矩形区域，并且因而由其对于全部轴的最大和最小程度所限定。因此，2D盒由满足x_min≤x≤x_max和y_min≤y≤y_max的全部(x，y)坐标给出。通过验证全部不等式为真来测试盒中包括点P＝(x，y)；如果其中的任意一个失败，则该点不在盒内。在2D中存在4个不等式，并且平均在2个测试之后点将被拒绝。

2D几何对象的“边界盒”是具有包含对象的最小面积的盒。对于线性对象(点、分段、多边形和多面体)的任意集合，其边界盒由对象顶点的点集S的最小和最大坐标值给出：(x_min，x_max，y_min，y_max)。这些值利用全部顶点的单次扫描以O(n)时间很容易计算，有时同时读出或计算该对象的顶点。边界盒是所有线性边界容器中计算最简单的，并且在许多应用中被最频繁使用。在运行时间，不等式不涉及任何算法，并且仅对原始坐标与预计算的最小和最大常数进行比较。

现在参照图13，在一些算法之后，最简单的非实验性表述是那些刚刚添加和减去的原始坐标。在2D中，具有与斜率为(-1)和1的线相对应的表达式p＝(x+y)和q＝(x-y)。对于点的2D集S，可以计算在这两个表达式的每一个的S上的最小值和最大值以获得(P_min，p_max，q_min，q_max)。然后，对于该集S的“边界菱形”是由满足不等式的坐标(x，y)给出的区域：P_min≤(x+y)≤p_max并且q_min≤(x-y)≤q_max。在几何上，其是旋转45度的矩形并且呈现为菱形。

“边界菱形”比边界盒涉及多一点儿的计算。然而，在计算它们二者之后会发现其比另一个更好。可以利用集S的单个扫描以O(n)时间计算所涉及的(其中的8个)全部最小值和最大值，并且然后能够对边界盒B和边界菱形D的面积进行比较，并且如果期望的话，能够使用较小容器。由于每一件东西都是矩形的，因此具有面积(B)＝(x_max-x_min)*(y_max-y_min)并且面积(D)＝(P_max-P_min)*(q_max-q_min)。

进而，可以使用这两个容器，盒和菱形，以获得通过如图14所示的全部8个不等式限定的甚至更小组合的“边界八边形”。典型地，首先利用边界盒进行包括或者交叉的测试，然后再使用边界八边形。如果想要测试点P＝(x，y)是否包括在多边形Z中，则唯一的开销就是在发现P位于边界盒内之后测试菱形不等式之前，计算表达式(x+y)和(x-y)。

因而，给定具有重影的HDR图像，通过下面的两个混合生成对于三图像被归类到一起的情况(最通常的情况)的无重影图像(HDRout)：

(10)HDRout＝HDR(1-Wd)+Wd×暗图像+HDR(1-Wm)+Wm×中间图像

根据在一些平滑之后各个分段的边界八边形来确定加权值Wd和Wm。

注意到，使用该重影去除处理的本发明实施例与在现有实施例的不同之处在于，不需要对整个图像混合进行分对以累积相对的无重影合成图像。取而代之的是，识别有问题的图像区域并且从可用的替代图像中的类似区域来混合更换补丁。

色调映射处理

增强的重影去除图像在比特宽度上是16比特并且包括三个颜色分量，红色分量、绿色分量和蓝色分量。该RGB16比特数据要被在作为8比特显示器的图2的内置数字照相机显示器245上显示，因此需要将该增强的重影去除的图像从16比特RGB数据转换到8比特RGB数据。将一个比特宽度的图像数据转换到较窄比特宽度的图像数据的处理，例如从16比特到8比特，同时在所产生的8比特数据中维持在较宽比特宽度数据中的相对灰度水平，被称为“色调映射”。存在能够被使用的许多这样的色调映射处理。本发明的该实施例采用最初被设计以将12比特宽图像数据映射到8比特宽图像数据的独特的色调映射方案。因此，该方案首先去除第二处理的混合的图像数据的4个最低有效位，剩下12比特RGB图像数据。使用三个查找表(LUT)以将剩余的12比特RGB数据映射到需要的8比特RGB数据：

正常增益LUT，

高增益LUT；以及

非常高增益LUT

需要选择要在12比特到8比特色调映射处理中使用的正确LUT，以正确地代表以8比特数据形式呈现的图像灰度。选择标准取决于与图像面积的剩余部分相比较、填充有其值平均在预定义像素值以下，或者“暗”，的像素的图像面积的尺寸。图像暗面积中的平均像素值越低，所选择的LUT的增益就越高。

LUT选择的处理如下：

1.将12比特RGB图像向右移位4比特。这产生8比特图像；

2.生成所产生的8比特图像的亮度分量；

3.计算8比特图像中其亮度小于暗面积的阈值Td的全部像素的平均值Mn。对于Td可以使用最大数字值为255(最大8比特值)中的20数字值。

4.如果具有亮度＜Td的全部像素的和小于面积阈值P％，则使用正常增益LUT，否则：

5.假设Mn和预定义的阈值，像素值阈值T 1小于T2：

6.如果Mn＜T1，则使用非常高增益LUT；

7.如果Mn在T1和T2之间，则使用高增益LUT

8.如果Mn＞T2，则使用正常增益LUT

Td＝255中的20，T1＝255中的5，并且T2＝255中的10，这是能够在上面的色调映射LUT选择处理中采用的阈值的示例。

由该实施例采用的色调映射过程被设计成提升低亮度的图像区域，同时三个LUT对于高亮度的图像区域采取相同的行为。可以发现，在应用到所生成的无重影HDR时这提供良好的结果。

因而，总而言之，对现有实施例改进的HDR方案通过融合和合并给定场景的三个不同图像的信息而增加了给定场景的动态范围。利用不同的曝光设置，例如标定曝光、过曝光和欠曝光，捕捉每一个图像。欠曝光的图像可被称为暗图像，标定曝光的图像可被称为中间图像并且过曝光的图像可被称为亮图像。

HDR算法通过执行下面来增强场景的动态范围：

利用来自亮图像的像素更换中间图像中的暗面积，以用于点亮场景和增强场景的细节。

利用来自暗图像的像素更换中间图像中的饱和面积，以用于恢复烧掉的细节。

现在总结对比本发明的实施例的整体方法。在图15中，示出了根据本发明的HDR的示例性和非限制性实现。尽管以黑白格式示出以符合USPTO申请限制，但是这不应该被看作是限制本发明的实施例；在不偏离本发明的情况下，全部图像可以是全彩色。进而，可以输入任何数量的图像，尽管三个是典型的。将具有不同曝光的三个输入图像，例如作为暗图像的图像1510、作为中间图像的图像1520以及作为亮图像的图像1530，融合到一起以用于创建在图像1540中示出的高动态范围结果。

HDR算法现在包括参照图16示出的三个主要级，该三级是：

用于对准三个输入图像的图像注册级1610；

用于将三个对准的图像混合到一起以创建高动态范围图像以及使用上面更加详细解释的原理的集成的重影去除的图像融合级1620；

用于将高动态范围结果映射到典型需要的8比特范围以在普通显示设备上显示结果的色调映射级1630，然而不应该将其看作限制本发明的范围。

图像注册的目标在于将三个图像对准到相同坐标集。为了对准图像，包括两个注册过程：第一过程将暗图像与中间图像对准，并且第二过程将亮图像与中间图像对准。

注册级1610识别并且补偿两个不同捕捉的帧之间的场景的全局运动。由于假设照相机被手持，并且因而可能受到震动抓握的影响，因此对于HDR算法需要该级。对准方案由四级构成：

运动向量提取-在两个图像之间提取一组运动向量；

全局运动估计-在两个图像之间假设通常是仿射但非限制性的全局变换模型。对运动向量应用随机抽样一致(RANSAC)算法以估计最可能的变换参数；

图像扭曲-根据所估计的全局变换，典型地基于硬件的扭曲机制将暗图像或亮图像变换到中间图像坐标上；以及

统一的视场-由于照相机运动，在图像的视场之间会存在一些差异。在该级中，计算存在于全部三个图像中的最大视场，同时保留输入图像的原始高宽比。

图像融合级1620将三个图像混合到一起(在图17中更加详细地示出了级1620)。按照下面执行混合：例如使用中间图像作为基准，暗图像贡献过曝光(1710)面积的信息并且亮图像贡献欠曝光面积(1720)的信息。在场景是如前面提到的静态时使用该混合规则。然而，在场景中存在局部运动时，如在上面的某些示例中示出的，该混合会导致HDR结果中可视的赝像，被称为重影赝像。为了克服这些运动相关的赝像，应用作为图形融合级的一部分的重影处理机制(1730)。

图像混合基本操作获得具有不同曝光的两个图像并且根据像素级混合因子将其混合到一起。为了描述图像混合过程的步骤，将被较少曝光的图像表示为I₁并且将具有较大曝光的图像表示为I₂。每一个图像的曝光值将被分别表示为ExpVal₁和ExpVal₂。根据下面的公式计算在计算摄影中的曝光值：

$\mathrm{ExpVal}=\frac{\mathrm{ISO}\·\mathrm{ExpTime}}{F_{\#}^2}$

其中ISO代表ISO水平，ExpTime代表曝光时间并且F_#代表光学系统的F-数。

在图像混合方案中应用下面的级。首先预处理级包括：

如果在伽马域(不是在线性域中)给出I₁或者I₂，则应用去伽马操作以代表线性域中的输入图像；并且

将较亮图像I₂归一化到较暗图像I₁的曝光值。可以将对输入图像的操作总结为：

其次，计算混合权重。为了确定权重，较亮图像I₂的亮度值(亮度，将被表示为Y)用作到加权LUT的输入。这能够用公式表示为W＝LUT(Y₂)。加权LUT可以被描述为普通映射，但是通常被实现为分段线性函数，诸如在图18中示出的，其中示出了分段线性图1810。

最后，执行混合，其中根据下面的公式执行实际的混合操作：

$I_{\mathrm{out}}=(1-W)\·I_1^{\mathrm{upd}}+W\·I_2^{\mathrm{upd}}$

在图18中的示例用作加权LUT时，混合操作从

中取出暗像素、从

中取出亮像素、并且对于中间亮度值在两个图像之间执行像素级混合。注意到，来自系列的任意图像可以被按照任何顺序进行处理。

根据本发明的一个实施例，如图19所示，下面提供重影去除方案。重影处理机制旨在在三个HDR输入之间识别具有局部运动的面积。在这些面积中，HDR融合结果不可以包含图像的混合，因为这会导致重影赝像，例如如图7所示行走的人会被看见两次或者更多次。取而代之的是，仅选择单个图像以代表指定面积(即补丁)中的HDR融合结果。因此，重影处理机制具有下面的级，在步骤1900处开始：

-运动检测-识别在HDR输入图像之间是否存在局部运动。逐像素地执行该级，在步骤1910处开始；

-定义重影补丁-在该级中，使用形态学操作将受运动影响的像素聚集为补丁(图像团)，在步骤1920处开始；

-补丁选择-所识别的补丁的每一个必须由单个输入图像代表。在该级中，使用评分函数以决定信息是否将从示例性的亮图像、中间图像或者暗图像演化而来，在步骤1930处开始；以及

-补丁修正-在该级中，使用典型地基于硬件的补丁修正以使用所选择的输入图像来更换重影补丁，在步骤1940处开始。

之后将更加详细地讨论四级中的每一级，从运动检测级开始。在图像注册级中将暗图像和亮图像融合到中间图像坐标上之后，运动检测方案试图识别三个对准的图像之间的差异。潜在的假设是这些改变可能从场景中的运动演变而成。

为了有效识别局部运动，可以使用对准的图像的缩减版本，例如对于12兆像素图像，典型的采用1∶16缩减因子。在该级处，可以使用任何种类的差异检测算法以识别哪些像素在这些图像之间是不同的。简单的检测方案在成对的图像之间进行区分，即中间和暗以及中间和亮，并且可以包括下面的步骤：

-对于每一个缩减的图像计算STD(标准偏差)和均值；

-归一化图像以对于每一个缩减的图像具有相同的STD和均值；

-创建两个缩减图像的绝对差异图；以及

-对该差异图使用阈值以区分实际检测和注册噪声。

尽管此方法简单且直接，但是在某些条件下会产生不可靠且嘈杂的差异图。例如，在饱和的面积中，亮图像直方图高度饱和(大多数像素值接近255)，而中间图像直方图仅部分饱和(仅一部分像素接近255)。由于图像强度的限幅(在亮图像中)，可以在亮图像的STD和均值计算中引入偏置。而且，差异图可以识别亮图像中的限幅像素与中间图像中的部分饱和像素之间的区别以作为检测，而与移动对象的存在无关。

因此，针对本发明的附加实施例，描述比上面描述的方案更加复杂的但产生优越的运动检测性能的运动检测方案。该方法依赖于如下假设：在HDR框架内，亮图像仅会影响较暗面积而暗图像会影响较亮面积。因而在该运动检测方案中不需要使用来自不必要图像的信息。该运动检测算法按照这些级：

(a)定义两个亮度阈值：

亮阈值-如果亮度值在[0，亮阈值]的范围中，则使用来自亮图像的信息，以及

暗阈值-如果亮度值在[暗阈值，255]的范围中，则使用来自暗图像的信息。

(b)定义差异阈值函数：

代替使用用于整个差异图的单个阈值，使用阈值函数，其中在这种情况下，阈值取决于像素的亮度，以使得对于较高亮度，将使用较高阈值，并且反之亦然。

(c)处理亮图像和暗图像的差异图：

-像素分类：仅考虑具有在[0，亮阈值]范围中的亮度值的像素，将这些像素表示为BM像素(亮中间像素)；

-对BM像素的集合计算STD和均值；

-在两个图像中归一化BM像素以对于每一个图像具有相同的STD和均值；

-创建BM像素的绝对差异图；以及

-对差异图使用阈值函数以识别检测。

(d)处理暗图像和中间图像的差异图：

-像素分类：仅考虑具有在[暗阈值，255]范围中的亮度值的像素，这些像素被表示为DM像素(暗中间像素)；

-对这些DM像素的集合计算STD和均值；

-在两个图像中归一化DM像素以对于每一个图像具有相同的STD和均值；

-创建DM像素的绝对差异图；以及

-对差异图使用阈值函数以识别检测。

(e)获得作为暗-中间检测和亮-中间检测的并集的最终检测图。

尽管上面的描述结合基准图像讨论了两个图像，但是应该理解，在不偏离本发明的教导的情况下可以使用多于两个图像。例如，如果使用五个图像，例如最亮、亮、中间、暗和最暗，则可以关于中间图像进行不同的混合以实现期望的结果。

在运动检测级之后，典型地几个像素按照亮度值被识别为不一致。目的在于将这些检测聚集为补丁(或者图像团)。所检测的像素到整个图像补丁的变换允许以将没有运动的像素识别为检测为代价而对相邻的像素进行一致的重影处理。用于确定重影补丁的简单且有效的非限制性聚集技术为：

(a)利用例如以5×5方形结构元素为例的结构元素对检测的二进制图像应用形态学膨胀操作；

(b)利用例如以5×5方形结构元素为例的结构元素对检测的二进制图像应用形态学关闭操作；

(c)应用二进制标签算法以区分不同的重影补丁；以及

(d)对于有效的软件实现，通过其边界八边形来描述每一个重影补丁。

根据本发明的实施例，补丁选择级决定最适合的输入图像以用于更换所识别的补丁。补丁的错误选择可能在补丁面积的边界处产生可见的赝像。存在辅助选择最合适的输入图像的几种启发：

-补丁赝像在平坦面积中比在具有细节或者纹理的面积中更加可见。与具有附加高反差保留(high pass)内容(纹理、边缘等等)的面积相比较，人类视觉系统对DC(例如不具有细节或者“平坦”)面积中的图像变化表现出较高的灵敏度。

-在补丁的边界处，补丁选择应该与混合决策尽可能地一致。通过遵循该规则，补丁更好地适合于其邻近区。

-在边界像素被过曝光或者欠曝光时，补丁赝像尤其可见。

-如果一些像素被过曝光并且一些像素被欠曝光，则大多数像素应该影响输入图像选择。例如，如果在补丁的边界中存在过曝光像素明显比欠曝光像素多，则应该选择暗图像，并且在可应用时反之亦然。

基于这些启发，补丁选择算法稳健地选择最适合的输入图像以用于重影补丁的更换。补丁选择算法基于中间缩减图像亮度值的直方图分析，如图20所示。基本概念是将直方图划分为三个不同面积：其中选择亮图像的欠曝光面积2010，其中选择中间图像的正确曝光面积2020以及其中选择暗图像的过曝光面积2030。与在运动检测算法中相同，预定义阈值，亮阈值2015和暗阈值2025，定义了三个面积2010、2020和2030。如果使用更多图像，则在不偏离本发明的精神的情况下可以使用附加的阈值。

根据该实施例，在实际算法描述之前，定义几个参数：

范围B、范围M、范围D＝三个直方图区域的每一个的亮度范围并且其被描述为：

范围尺寸B、范围尺寸M、范围尺寸D＝每一个区域的亮度范围的尺寸。

像素数B、像素数M、像素数D＝每一个区域中的像素数量。

有效像素数B、有效像素数M、有效像素数D＝每一个区域中的像素数量，同时还考虑每一个区域的尺寸，其可以写成公式：

模式B、模式M、模式D＝每一个直方图区域中其中直方图最大的亮度值。

差值B、差值M、差值D＝对于每一个直方图区域，直方图条目与模式亮度值的平均差值，即：

其中Hist(i)代表第i个亮度值的直方图频率并且p代表差值度量(在p＝1或者2时获得最佳结果)。应该理解，可以按照类似的方式表示差值M和差值D。

根据该实施例，补丁选择算法包括下面的级：

(a)计算在缩减的中间图像内特定补丁的边界面积中像素的亮度值的加权直方图。在具有过饱和或者欠饱和亮度值的像素对直方图频率计数具有较大影响的意义下对直方图进行加权。这样，直方图的过曝光和欠曝光区域对补丁选择算法具有更多影响，从而克服了相关联的赝像。

(b)根据亮阈值、暗阈值参数将直方图划分为三个区域。

(c)执行下面的计算：计算每一个直方图区域的范围尺寸(范围尺寸B、范围尺寸M、范围尺寸D)；计算每一个直方图区域的像素数量(像素数B、像素数M、像素数D)；计算每一个直方图区域的有效像素数量(有效像素数B、有效像素数M、有效像素数D)；计算每一个直方图区域中的直方图模式(模式B、模式M、模式D)；以及在每一个直方图区域中计算与模式的平均差值(差值B、差值M、差值D)。

(d)对于每一个直方图区域计算评分函数。将用于亮图像选择的评分函数定义为：

类似地定义用于中间选择和暗选择的评分函数。而且，如果使用多于三个图像则可以在不偏离本发明的范围的情况下使用类似的技术并且对其进行修改。

(e)在全部三个评分函数的计算之后，具有最大评分的区域定义补丁选择结果。评分函数包含下面描述的两个计算的测量的除法，不过本领域的普通技术人员将意识到在不偏离本发明的范围的情况下其他评分函数也是可能的。

有效像素数B-如果补丁的边界主要由具有低亮度值的像素构成(因而在直方图的亮范围中)，则选择亮图像。不是使用像素的数量本身，而是使用还考虑了每一个直方图范围的尺寸的其加权的版本(像素的有效数量)；以及

差值B-如上面关于补丁选择启发的讨论，如果面对可能的赝像，则优选的是这样的赝像出现在具有可见纹理或者细节的面积中而不是平坦面积中。因此经由补丁边界直方图的“平坦”量的测量是必要的。在每一个直方图区域中，计算差值以测量该直方图实际上如何散布。较小的差值表明边界像素(作为同一直方图区域的一部分)具有类似的亮度值，因而能够以“平坦”为特征。另一方面，散布的直方图更可能代表纹理或者细节。评分和差值之间的逆向关系鼓励优选最适合直方图的平坦区域的输入图像。

根据该实施例，在基于缩减图像的亮度值的重影检测和补丁创建之后，对输入图像的全尺寸混合结果应用补丁校正。校正级由下面的级构成：

(a)边界八边形平滑-代替于将边界八边形表示为二进制图像，使用8比特表示或者其他小于最大分辨率的表示，并且对边界八边形应用例如以7×7低通滤波器(LPF)为例的LPF以平滑所选择的补丁的边缘。这最终导致所插入的补丁与其HDR驱动的邻区之间更加平滑的混合。将平滑的补丁图像表示为补丁掩码。可以通过参数值确定所应用的低通滤波器。

(b)将平滑补丁图像升级回到全图像分辨率。将所产生的图像表示为补丁掩码W_补丁。

(c)根据补丁掩码按照下面公式在当前HDR混合结果(表示为HDR_cur)和所选择的补丁输入图像(表示为I_补丁)之间进行混合：

HDR_out＝(1-W_补丁)·HDR_cur+W_补丁·I_补丁

根据该实施例，在图像融合级的结束处，将所产生的高动态范围图像表示为具有12比特每颜色分量的线性RGB图像。色调映射任务在于将12比特表示转换为8比特表示，在图19的步骤1950处开始。需要该级以允许在普通显示设备上呈现图像。该级的主要挑战在于执行即使在8比特表示中也将保留图像融合处理的感观附加值的智能色调映射。

在基于PC的HDR算法中，色调映射级通常是按照HDR场景而定制和优化的，其常规地要求人类辅助。所描述的方法提供照相机上的实时基于硬件的色调映射方案，其能够根据所捕捉的场景特性适应性地改变其行为。

尽管存在用于执行色调映射的许多可能的技术，但是所公开的色调映射算法是以通过预定义的LUT控制的两个不同变换为基础的：

(a)全局映射-对HDR融合结果执行类似伽马的映射(仍然保留12比特每颜色分量)。该映射通常是在HDR算法的融合级的开始处使用的去伽马操作的逆操作。由于优选的是维持与输入图像的色彩和氛围的相似性，因此进行该选择。

(b)局部映射-执行根据其相邻的平均亮度值将像素映射到8比特表示每颜色分量的非线性局部映射。这样的色调映射操作器在保留局部对比度的同时优于动态范围压缩，而仅使用像素信息的色调映射操作倾向于损坏局部对比度。

由于这些映射的LUT是预定义的，因此适应性改变色调映射级的行为的简单方式在于定义局部映射LUT族(具有单个全局映射LUT)并且对于每一个HDR操作使用所选择的LUT代表。然而这要求一些附加的探索和预处理研究以检测哪一种情景要使用特定LUT。例如，人们会使用输入图像的亮度值以识别要使用哪一个LUT。

经由与本发明的实施例形成对比而提供了一种对于适应性色调映射挑战的更加复杂的方案，其执行映射的在线修改以抓住场景的整体动态范围。因而，根据这些实施例，就在伽马变换之后，引入对HDR融合结果的亮度分量的附加全局映射。附加全部变换与单位变换(Y＝X)偏离，以便对更加频繁的亮度值分配附加灰度级。例如，如果图像的主要部分为亮，则以较暗亮度水平为代价对于亮的亮度水平分配更多的灰度级。通过使用具有预定义的伽马LUT和局部映射LUT的此适应性映射，能够享受与原始图像类似的色彩，利用适应性映射调整亮度水平(在不影响场景色彩的情况下)，并且通过定义局部映射LUT向HDR色调映射结果添加风趣。

所建议的适应性色调映射算法包含下面的级：

(a)在伽马LUT变换之后构建HDR图像的亮度直方图。由于这会证明在计算上是昂贵的，因此通过使用缩减的输入图像的直方图的组合来产生估计的直方图。使用下面的步骤获得估计的直方图：

(a1)利用曝光补偿将三个图像变换到伽马域，其中曝光补偿确保全部图像中的亮度水平被对准：

(a2)计算三个图像的亮度水平直方图

以及

(a3)通过使用两个预定义的阈值：亮阈值和暗阈值，将三个直方图合并为单个HDR直方图

其中Hist_HDR代表组合的直方图，并且Hist_亮、Hist_中间、Hist_暗代表在曝光补偿和伽马LUT之后的输入图像的直方图。

(b)根据亮度值的分布定义映射。输出水平的较宽范围应该给予亮度直方图的最密集区域。用于定义这样的映射的最大众技术之一被称为直方图均衡化。这里使用类似的概念：

(b1)归一化直方图， $p\left(i\right)=\frac{{\mathrm{Host}}_{\mathrm{HDR}}\left(i\right)}{\underset{j}{\mathrm{\Σ}}{\mathrm{Hist}}_{\mathrm{HDR}}\left(j\right)}$

(b2)计算累积分布函数， $\mathrm{Pr}\left(i\right)=\underset{j\≤i}{\mathrm{\Σ}}p\left(i\right)$

(b3)定义映射为T(i)＝α·Pr(i)+(1-α)·i

其中α∈[0，1]是强度因子，其在直方图均衡化变换和单位变换之间混合。强度因子在直方图均衡化太强并且可能导致图像质量恶化的情况下有用。

由此描述了本发明实施例的几个方面，要意识到，对于本领域的普通技术人员来说将容易进行各种变化、变型和改善。这种变化、变型和改善旨在作为本公开的一部分，并且旨在位于本发明的精神和范围内。因此，前面的描述和附图仅作为示例的方式。

根据计算机编程领域的普通技术人员的实践，下面参照通过计算机系统或者类似电子系统执行的操作描述实施例。这样的操作有时被称为由计算机执行。将意识到，符号化表示的这些操作包括诸如中央处理单元的处理器对代表数据比特的电信号的操控和数据比特在诸如系统存储器中的存储器位置处的维持以及信号的其他处理。其中维持数据比特的存储器位置是具有与数据比特相对应的特定电、磁、光学或者有机属性的物理位置。

在被实现为软件时，实施例的元件基本上是代码段以执行必要的任务。非暂态代码段可以被存储在处理器可读介质或者计算机可读介质中，其可以包括可以存储或者传输信息的任何介质。这样介质的示例包括电子电路、半导体存储器设备、只读存储器(ROM)、闪存或者其他非易失性存储器、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路等等。用户输入可以包括键盘、鼠标、触摸屏、语音命令输入等等的任意组合。用户输入可以类似地用于将在用户计算设备上执行的浏览器应用指示到诸如网页的一个或者多个网络资源，可以从该网络资源访问计算资源。

尽管结合特定示例和各种实施例描述了本发明，但是本领域的普通技术人员将容易理解，在不偏离如下面请求保护的本发明的精神和范围的情况下可以对这里描述的本发明做出许多变型和修改。因而，要清楚理解的是，仅通过示例的方式而非作为对下面请求保护的本发明的范围的限制做出本发明。所述描述旨在覆盖通常遵循本发明原理的任何变化、用途或者修改，并且包括落入本发明所属领域内的已知和惯用实践内的对本公开的偏离。

Claims (53)

1.一种用于检测基准图像和多个比较图像之间的局部运动的方法，包括：

定义用于确定在其中选择特定的比较图像的一组基准图像亮度值范围的多个亮度阈值，所述亮度阈值的数量与比较图像的数量相对应；

定义根据所述基准图像的亮度值来设置阈值的差异阈值函数；

对于每一个特定的比较图像，通过向通过对所述基准图像和所述特定的比较图像进行比较而形成的差异图像应用所述阈值，产生表示所述基准图像和所述特定的比较图像之间的局部运动的中间检测图；以及

输出作为所述中间检测图的并集的最终检测图。

2.如权利要求1所述的方法，其中在相对较高的基准图像亮度值范围中选择相对较低的亮度比较图像，并且反之亦然。

3.如权利要求1所述的方法，其中所述亮度阈值的集合随着差异图像亮度值而变化。

4.如权利要求1所述的方法，其中通过如下产生所述中间检测图：

考虑具有位于与所述特定的比较图像相对应的范围中的亮度值的像素；

计算所考虑的像素的标准偏差和均值；

归一化所考虑的像素以对于所述基准图像和所述特定的比较图像具有相同的标准偏差和均值；

创建所考虑的像素的绝对差异图；以及

对所述差异图使用所述差异阈值函数以识别局部运动检测。

5.一种用于将像素聚集为补丁的方法，包括：

利用结构元素对相关像素的二进制图像应用形态学膨胀操作；

利用另一结构元素对所述二进制图像应用形态学关闭操作；

应用二进制标签算法以区分不同的补丁；

通过边界多边形来描述每一个补丁；以及

输出所述补丁描述。

6.如权利要求5所述的方法，其中所述相关像素共享识别的属性。

7.如权利要求6所述的方法，其中共享的识别的属性包括根据至少一个图像比较的不一致亮度值。

8.如权利要求6所述的方法，其中共享的识别的属性包括检测的局部运动。

9.如权利要求5所述的方法，其中所述边界多边形是八边形。

10.一种用于从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源的方法，包括：

计算基准图像的特定补丁的边界面积像素的亮度值的加权直方图；

根据由所述候选更换图像的相关曝光值确定的阈值将所述直方图划分为多个区域；

对于每一个直方图区域计算评分函数；

选择具有最大评分的区域；以及

输出相对应的候选更换图像。

11.如权利要求10所述的方法，其中所述直方图加权增加过饱和的和欠饱和的亮度值的影响。

12.如权利要求10所述的方法，其中对于更换来自具有相对高曝光值的基准图像的补丁，选择具有相对低曝光值的候选更换图像，并且反之亦然。

13.如权利要求10所述的方法，其中所述基准图像是具有缩减的亮度值的中间曝光图像。

14.如权利要求10所述的方法，其中用于特定的直方图区域的所述评分函数是考虑所述特定的直方图区域的尺寸、在所述特定的直方图区域中的像素数量与直方图条目相比于所述特定的直方图区域的模式亮度值的平均差值的比值。

15.一种用于更换合成图像中的补丁图像数据的方法，包括：

平滑补丁图像边界多边形；

将所平滑的补丁图像升级到全图像分辨率；以及

混合所述合成图像和所升级的平滑的补丁图像以产生输出图像。

16.如权利要求15所述的方法，其中所述补丁图像边界多边形是八边形。

17.如权利要求16所述的方法，其中所述补丁图像边界八边形以小于最大分辨率格式来表示并且应用低通滤波器。

18.一种用于将图像从初始格式转换到较低比特每像素格式的方法，包括：

执行适于图像亮度值的色调映射；以及

输出经色调映射的图像。

19.如权利要求18所述的方法，进一步包括：执行非线性局部色调映射，其根据像素的相邻的平均亮度值将所述像素映射到每个分别由预定数量的比特代表的各个颜色分量。

20.如权利要求18所述的方法，进一步包括：为更加频繁的亮度值分配附加灰度级。

21.如权利要求18所述的方法，其中将图像转换成显示器格式，所述显示器格式的像素具有能够在内置数字照相机图像显示器上呈现的比特数量。

22.如权利要求18所述的方法，进一步包括：

定义局部映射查找表族和单个全局映射查找表；以及

对于每一个图像转换操作使用选择的查找表，其中查找表的选择基于图像场景特性。

23.如权利要求18所述的方法，进一步包括：

构建合成图像的亮度直方图；以及

根据亮度值的分布来定义映射。

24.如权利要求23所述的方法，其中使用用于形成所述合成图像的缩减的图像的直方图的组合来估计所述亮度直方图。

25.如权利要求23所述的方法，其中直方图均衡化定义所述映射。

26.一种用于检测基准图像和多个比较图像之间的局部运动的系统，包括：

处理器：

定义用于确定其中选择特定的比较图像的一组基准图像亮度值范围的多个亮度阈值，所述亮度阈值的数量与比较图像的数量相对应；

定义根据所述基准图像的亮度值来设置阈值的差异阈值函数；

对于每一个特定的比较图像，通过向通过对所述基准图像和所述特定的比较图像进行比较而形成的差异图像应用所述阈值，产生表示所述基准图像和所述特定的比较图像之间的局部运动的中间检测图；以及

输出作为所述中间检测图的并集的最终检测图。

27.如权利要求26所述的系统，其中在相对较高的基准图像亮度值范围中选择相对较低的亮度比较图像，并且反之亦然。

28.如权利要求26所述的系统，其中所述亮度阈值的集合随着差异图像亮度值而变化。

29.如权利要求26所述的系统，其中通过如下产生所述中间检测图：

考虑具有位于与所述特定的比较图像相对应的范围中的亮度值的像素；

计算所考虑的像素的标准偏差和均值；

归一化所考虑的像素以对于所述基准图像和所述特定的比较图像具有相同的标准偏差和均值；

创建所考虑的像素的绝对差异图；以及

对所述差异图使用所述差异阈值函数以识别局部运动检测。

30.一种用于将像素聚集为补丁的系统，包括：处理器：

利用结构元素对相关像素的二进制图像应用形态学膨胀操作；

利用另一结构元素对所述二进制图像应用形态学关闭操作；

应用二进制标签算法以区分不同的补丁；

通过边界多边形来描述每一个补丁；以及

输出所述补丁描述。

31.如权利要求30所述的系统，其中所述相关像素共享识别的属性。

32.如权利要求31所述的系统，其中共享的识别的属性包括根据至少一个图像比较的不一致亮度值。

33.如权利要求31所述的系统，其中共享的识别的属性包括检测的局部运动。

34.如权利要求30所述的系统，其中所述边界多边形是八边形。

35.一种用于从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源的系统，包括：

处理器：

计算基准图像的特定补丁的边界面积像素的亮度值的加权

直方图；

根据由所述候选更换图像的相关曝光值确定的阈值将所述

直方图划分为多个区域；

对于每一个直方图区域计算评分函数；

选择具有最大评分的区域；以及

输出相对应的候选更换图像。

36.如权利要求35所述的系统，其中所述直方图加权增加过饱和的和欠饱和的亮度值的影响。

37.如权利要求35所述的系统，其中对于更换来自具有相对高曝光值的基准图像的补丁，选择具有相对低曝光值的候选更换图像，并且反之亦然。

38.如权利要求35所述的系统，其中所述基准图像是具有缩减的亮度值的中间曝光图像。

39.如权利要求35所述的系统，其中用于特定的直方图区域的所述评分函数是考虑所述特定的直方图区域的尺寸、在所述特定的直方图区域中的像素数量与直方图条目相对于所述特定的直方图区域的模式亮度值的平均差值的比值。

40.一种用于更换合成图像中的补丁图像数据的系统，包括：

处理器：

平滑补丁图像边界多边形；

将所平滑的补丁图像升级到全图像分辨率；以及

混合所述合成图像和所升级的平滑的补丁图像以产生输出图像。

41.如权利要求40所述的系统，其中所述补丁图像边界多边形是八边形。

42.如权利要求41所述的系统，其中所述补丁图像边界八边形以小于最大分辨率的格式表示并且应用低通滤波器。

43.一种用于将图像从初始格式转换到较低比特每像素格式的系统，包括：

处理器：

执行适于图像亮度值的色调映射；以及

输出经色调映射的图像。

44.如权利要求43所述的系统，进一步包括：所述处理器执行非线性局部色调映射，其根据像素的相邻的平均亮度值将所述像素映射到每一个分别由预定数量的比特代表的各个颜色分量。

45.如权利要求43所述的系统，进一步包括：所述处理器针对更加频繁的亮度值分配附加灰度级。

46.如权利要求43的系统，其中将图像转换成显示器格式，所述显示器格式的像素具有能够在内置数字照相机图像显示器上呈现的比特数量。

47.如权利要求43所述的系统，进一步包括所述处理器：

定义局部映射查找表族和单个全局映射查找表；以及

对于每一个图像转换操作使用选择的查找表，其中所述查找表的选择基于图像场景特性。

48.如权利要求43所述的系统，进一步包括所述处理器：

构建合成图像的亮度直方图；以及

根据亮度值的分布来定义映射。

49.如权利要求48所述的系统，其中使用用于形成所述合成图像的缩减的图像的直方图的组合来估计所述亮度直方图。

50.如权利要求48所述的系统，其中直方图均衡化定义所述映射。

51.一种用于根据多个曝光创建高动态范围合成图像的方法，包括：

检测基准图像和多个比较图像之间的局部运动；

将相关像素聚集为补丁；

从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源；

更换合成图像中的补丁图像数据；以及

将图像从初始格式转换到较低比特每像素格式以用于显示。

52.一种用于根据多个曝光创建高动态范围合成图像的系统，包括：

处理器，所述处理器被配置用于：

检测基准图像和多个比较图像之间的局部运动；

将相关像素聚集为补丁；

从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源；

更换合成图像中的补丁图像数据；以及

将图像从初始格式转换到较低比特每像素格式以用于显示。

53.一种用于根据多个曝光创建高动态范围合成图像的计算机程序产品，包括其上有形地包含非暂态程序指令的机器可读介质，在通过计算机系统执行时所述非暂态程序指令时使所述计算机系统：

检测基准图像和多个比较图像之间的局部运动；

将相关像素聚集为补丁；

从多个候选更换图像中选择更换图像以作为用于更换补丁图像数据的源；

更换合成图像中的补丁图像数据；以及

将图像从初始格式转换到较低比特每像素格式以用于显示。

Images