CN100471235C - 具有亮度校正的数码相机、图像处理方法和装置 - Google Patents

Abstract

公开了提高可能为模糊或者曝光不足的图像(例如，由于相机晃动，在阴暗光照条件下拍摄，或拍摄高速运动的场景引起)的质量的技术。此技术可以在数码相机，数码摄像机，或可以捕获视频的数码相机中实现。在一个描述的实施例中，数码相机包括图像传感器，存储设备，以及处理单元。图像传感器对一个相同的场景捕捉两个图像，将图像存储在存储器里。处理单元用亮度校正来增强捕捉到的图像。

Description

具有亮度校正的数码相机、图像处理方法和装置

技术领域

本发明总体上涉及一种图像处理，更特别地，涉及一种具有亮度校正的数码相机、图像处理方法和装置。

背景技术

当拍摄场景时，从场景内的目标物体所发射的光束记录在胶片上，例如常规胶片或者数码胶片。因此，拍摄包括对这些光束的记录。相对于当在充足的光照条件下所拍摄的照片，当光照条件不适当的时候(例如，当在弱光中进行拍摄的时候)，照片缺少某些场景信息。

在昏暗的光照条件下拍摄出满意的照片历来都是一个非常困难的问题。经常地，图像是模糊的和/或曝光不足。曝光不足通常由没有在胶片上曝光充足量的光束所致。曝光不足在某种程度上可以通过将胶片曝光更长的时间来进行校正，例如，通过使用较低的快门速度来保持快门开启更长时间。然而，较低的快门速度导致模糊。当使用手持式相机的时候(例如，不使用三角架)，模糊的问题是很令人懊恼的，其中一部分是由于在快门开启期间增多的运动。模糊同样可能由于在快门开启期间场景内的目标物体的运动而出现。

两种常见的解决方法包括使用闪光灯(通过引入附加的光照而对弱光照进行补偿)或者具有较高ISO(国际标准化组织预设的一套体系)的胶片。

使用闪光灯受到多种原因的限制。例如，闪光灯仅仅在相对的短距离内操作。此外，闪光灯可能导致颜色的变化，产生场景的失真显示。可以应用多个闪光灯(例如，具有遥控启动)来改善闪光灯拍摄的效果，然而在场景周围设置几个闪光灯通常可能不可行(例如，在室外拍摄或者临时通知抓拍)。

较高ISO的胶片同样受到多个原因的限制。在传统的拍摄中，胶片经常是只能一次更换一卷。因而，当相机装入具有较高ISO的胶片(例如，适于弱光照条件)时，如果不对摄影者的选择进行限制的话(例如，在某些地方照片必须以更高的快门速度来拍摄以避免曝光过度)，相机就不能用于普通的光照条件。在数码拍摄中，较高ISO设置的性能全部取决于相机的传感器，其中在不同的相机之间传感器存在较大的区别。此外，一个更重要得多的缺点是使用较高ISO导致相对更大量的噪声。

当前，存在几种改善例如，由安全的快门速度之上的曝光时间而导致的模糊图像的质量的技术。通常地，安全的快门速度是一种不慢于镜头焦距的倒数的速度。这些技术可以粗略地分类为实时处理和后处理方法，其限制了由例如长的曝光时间、相机震动或目标物体的运动而导致的运动模糊。

实时处理方法是一种主要基于硬件的技术，其通过相机震动补偿来实现镜头的稳定性。可供选择地，高速数码相机(例如具有互补金属氧化物半导体(CMOS)传感器的相机)可以在普通的曝光时间内执行高速的帧捕获，其允许多个基于图像的运动模糊的恢复。实时处理技术能够在给定的适当的曝光时间生成相对清楚和轮廓清晰的图像。然而，它们需要特别设计的硬件装置。

另一方面，后处理方法大致可以认为是运动模糊消除技术。其中，广泛地采用盲去卷积来增强单个的模糊图像，其中模糊图像可以在点散布函数(PSF)的不同假定情况下采用。可选择地，在更通常的情况下，具有不同模糊方向的几个图像或图像序列都可以应用从而估算PSF。在这两种情形中，由于在空间和时间坐标对图像的离散化和量化，PSF不能被可靠地估算，其中生成比地面真实图像(一种或者由三角架上的相机所拍摄或者是具有正确曝光的静态场景的图像)低质量的结果。同样也已经提出了一种由一级(高空间分辨率)检测器和二级(高时间分辨率)检测器所组成的混合图像系统。二级检测器提供了更多的用于估算PSF的精确的运动信息；因而，甚至于在长的曝光下也使得模糊消除成为可能。然而，这种技术需要附加的硬件支持，并且模糊消除的图像仍旧不能在细节上看起来和地面真实图像一样良好。

因而，现行解决方法难以提供足够的图像质量。

发明内容

根据本发明的一个方面，提供一种数码相机，包括：

图像传感器，捕获同一场景的第一图像以及随后的第二图像；

存储装置，存储所捕获的图像；以及

与存储装置耦合的处理单元，通过亮度校正增强所捕获的第一和第二图像之一，其中，所述亮度校正包括应用颜色直方图均衡确定对应于第一和第二图像的颜色统计以及应用空间区域匹配确定对应于第一和第二图像的空间相干性，并应用所确定的颜色统计和空间相干性增强第一图像和第二图像中曝光不足的一个图像。

根据本发明的另一方面，提供一种图像处理方法，包括：

将图像传感器对场景曝光；

捕捉场景的第一图像；

在捕捉第一图像之后捕捉场景的第二图像；以及

对捕捉到的图像应用亮度校正，

其中图像传感器在捕捉第一图像和捕捉第二图像之间保持对光线曝光，所述亮度校正包括应用颜色直方图均衡确定对应于第一和第二图像的颜色统计以及应用空间区域匹配确定对应于第一和第二图像的空间相干性，并应用所确定的颜色统计和空间相干性增强第一图像和第二图像中曝光不足的一个图像。

根据本发明的另一方面，提供一种装置，包括：

捕捉场景的第一图像的装置；

在捕捉第一图像之后捕捉场景的第二图像的装置；以及

对捕捉到的图像应用亮度校正的装置，其中，所述亮度校正包括应用颜色直方图均衡确定对应于第一和第二图像的颜色统计以及应用空间区域匹配确定对应于第一和第二图像的空间相干性，并应用所确定的颜色统计和空间相干性增强第一图像和第二图像中曝光不足的一个图像。

本发明公开了可以改善可能是模糊或者曝光不足(例如，由于相机震动、在昏暗的光照条件下拍摄或者高速运动场景的拍摄)的图像质量的技术。这种技术可以在数码相机、数码摄像机或者能够捕获视频的数码相机中实施。

在所描述的一个实施方式中，一种数码相机包括图像传感器、存储装置以及处理单元。图像传感器从同一场景中捕获两幅图像，其中图像存储于存储装置。处理单元通过亮度校正来改善所捕获的图像。

在所描述的另一个实施方式中，亮度校正包括确定第一和第二图像的空间相干性以及颜色统计。应用所确定的颜色统计和空间相干性来改善第一和第二图像中曝光不足的图像。

附图说明

参照相关附图描述了详细的说明。在附图中，附图标记最左侧的数字与该附图标记首次出现于其中的附图相一致。在不同附图中使用相同附图标记表示相似或相同的项。

图1表示可以应用多次拍摄来提供亮度校正的示例性的数码相机的结构。

图2表示用于存储由图1中示出的传感器所捕获的图像数据的示例性的存储结构。

图3表示表明图1中的传感器所捕获的光子能量如何可以随时间而增长的示例性的曲线图。

图4表示一种用于在数码相机中提供亮度校正的示例性的方法。

图5和6表示在昏暗的光照条件下对相同的场景所拍摄到的图像。

图7表示其中应用了亮度校正的示例性的高质量图像。

图8表示一种用于亮度校正的示例性的方法。

图9表示在亮度校正中可以应用的一种颜色直方图均衡的示例性的方法。

图10A显示了一个初始图像中的均匀区域，同时图10B显示了所拍摄的具有运动模糊的相同区域。

图11A和图11B表示沿着一个方向的像素的颜色曲线。

图12表示在亮度校正中可以使用的示例性的空间区域匹配方法。

图13表示将图6的图像分为区域的示例分割。

图14表示图13的图像中的侵蚀区域导致的示例性的中间图像。

图15表示作为点阵的图13和14所选定的区域中心。

图16表示一个输入曝光不足的示例图像。

图17表示由将亮度校正应用于图16的图像而引发的示例性的图像。

图18表示当颜色转换技术应用于图16的图像时的示例性的结果。

图19表示将自适应直方图均衡应用于图16的图像的示例性的结果。

图20表示当2.5伽马校正应用于图16的图像时的示例性的结果。

图21表示在图像编辑程序中将曲线校正应用于图16的图像时的示例性的结果。

图22-25表示这里所描述的方法的将具有不同曝光时间的两种输入图像的颜色信息进行最佳组合的能力。

图26-28表示由场景场景内目标物体的运动而导致的运动模糊的实验结果。

在图29-32中示出了与强对比场景的执行场景相关的示例图像。

图33表示可以用于实施这里所描述的技术的总体的计算机环境。

具体实施方式

下述公开内容描述了用于改善模糊或者曝光不足(例如，由于相机震动，在昏暗的光照条件下拍摄，或者高运动场景的拍摄)的图像质量的技术。使用不同的曝光间隔对相同场景拍摄两张图片。因而，一幅图像可以是曝光不足的，另外一幅可以是模糊的。这两幅图像内的信息用于提供不存在可见的模糊或阴暗之处的高质量的场景图像。这两张图片可以在短的间隔内拍摄，例如，保证图像的中心不发生较大地运动或限制相机的运动或场景内的物体运动带来的影响。

可以容易地将这种技术扩展到处理强烈对比的场景，从而在饱和区域显示精确的细节(如参照图22-25所要描述的)。此外，某些技术可以直接结合于数码相机、数码摄像机或者能够捕获视频的数码相机。例如，数码相机可以设置为当拍摄两张图片时保持它的快门为开启状态(如参照图1、4和8的进一步的描述)。

数码相机结构

图1表示可以应用多次拍摄来提供亮度校正的示例性的数码相机结构100。相机可以是独立的相机或者是结合于另一装置(例如个人数字助理(PDA)，手机，或者类似装置)之中的相机。结构100包括暴露于光线的镜头102。可以应用多个镜头的结构来捕获光束，例如不同类型的镜头(例如，变焦镜头，白点，广角等等)。

此外，该结构可进一步包括光学快门(未示出)。快门可以控制穿过镜头102的光束所进入的传感器104的曝光。因而，快门可以置于传感器104和镜头102之间。快门可以通过相机上或遥控(例如，通过红外或射频遥控)的按钮射频来启动。通过单独的一次按下快门可以通过相机来拍摄两张图片(例如，如参照附图4或8的这里的进一步的描述，从而可以将亮度校正应用于图像)。传感器104可以是CMOS或者电荷耦合装置(CCD)。

在实施方式中，当需要的时候传感器104可以被开启(例如，动力驱动)，并不需要物理的障壁(例如快门)。此外，可以应用更简化的机构(例如传感器罩)来防止镜头102和传感器104受到周围物质(例如，强烈的阳光、灰尘、水、潮气或类似物质)的侵害。

数码相机结构100进一步包括耦合于传感器104的数码相机处理单元106。处理单元106包括处理器(108)以及存储装置(110和112)来接收、存储和/或处理由传感器104捕获的图像(如同例如将参照图4在这里的进一步描述)。设想例如，可以应用多个处理器(108)来提供速度的改进。同样地，处理单元(106)或处理器(108)可以针对图像应用进行特别地设计。

如图示，处理单元106可以包括非易失性的存储器，例如只读存储器(ROM)(110)。在一个实施例中，应用存储于ROM110的数据以提供至相机设置、引导信息或者是类似的(例如，在开机或者是经要求时)。替代ROM110或者除ROM110以外，可以应用闪存以允许改变。同样地，也可以应用其它形式的可重写存储装置，例如，电可擦除只读存储器(EEPROM)。此外，存储器112可以包括数据和/或可以访问的和/或由处理器108当前执行的程序模块，如参照图2的进一步的描述。

数码相机结构110可能包括器它的可拆卸的/非可拆卸的、易失性的/非易失性的计算机存储介质(未示出)。作为示例，可以应用硬盘装置或者其它的非易失性的磁性介质(例如，“软盘”)，光盘驱动器(例如密致盘ROM(CD-ROM))和/或数字化视频光盘(DVD)，磁带(例如，在数码摄像机的情况下)以及类似物来提供数码相机结构100的存储器。

数码相机结构100可以可选地包括亮度校正逻辑电路114而向所捕获的图像提供亮度校正，如这里例如参照图2、4和8将要进一步的描述。亮度校正逻辑电路114可以被实施为特定用途集成电路(ASIC)，可编程逻辑阵列(PLA)或类似物。

在一个实施方式中，数码相机结构100可以应用一个或几个外部硬件设备(参照图33描述的计算机环境)来替代数码相机处理单元106或在其之外来处理和/或存储数据或。在所述的实施方式中，数码相机结构100同样可以受到外部硬件设备的控制。这种设置可以将摄影者从在不同拍摄之间手动改变相机参数中解脱出来，从而使得摄影者可以专注于于拍摄最好的图片。数据可能通过布线连接(例如，通用串行总线(USB)，火线(例如IEEE1394)以及类似物)和/或无线连接(例如，802.11(以及它的同类结构)，移动网络、射频等等)在外部硬件设备之间交换。

图2表示用于存储由图1的传感器104所捕获的图像的示例性的存储器112。存储器112包括至少两个用于存储所捕获(例如，通过参照图1所描述的数码相机)的两次连续拍摄的缓冲器或超高速缓冲存储器(202和204)。可供选择地，缓冲器(202和204)可以在逻辑上被实施(即物理上置于同一存储装置然而逻辑上是分开的)。图1的处理器108可以访问缓冲器(202和204)以允许对所捕获的图像的处理，例如，亮度校正(例如，参照图4)。

例如，存储器112可能包括附加的缓冲器(206)，从而当处理所捕获的图像时提供数据的高速缓冲存储。附加的缓冲器可以同样地用于当先前所捕获的图像被处理时存储新捕获的图像。同样地，存储器112可以可选地存储亮度校正编码或指令208(例如，在缓冲器或独立的存储装置中)。在所述的实施方式中，处理器108可以访问亮度校正编码208以执行亮度校正(参照附图4和8)。

图3表示表明图1的传感器104所捕获的光子能量是如何可以随着时间(从T1到T2)而增长的示例性的图表300。例如，在时间T1，传感器的图像可能在弱光照条件下(如参照图5的描述)是曝光不足的。同样地，在时间T2(例如时间T1之后的1/2秒)，传感器的图像可能是模糊的(例如，由相机，场景内的目标物体的移动等等而导致)，如参照图6的描述。这种曝光上的不同可用于一个实施例中以提供亮度校正，如下面将要参照图4的进一步的描述。

数码相机中的亮度校正

图4表示用于在数码像机中提供亮度校正的示例性的方法400。方法400可以作为数码相机中的软件、硬件、固件或它们的组合物而实施，如同参照图1的描述。

一旦接收到捕获图像的指令(402)，例如，通过按下在独立的数码相机或结合于另一装置(例如，PDA、移动电话以及类似物)之中的相机上的按钮，相机的传感器(例如图1的104)就曝光光束。在时间T1捕获第一图像(406)。时间T1可以参照图3的图表300的描述。因而，第一图像可能是曝光不足的(例如，图5的I_L)。

然后，在时间T2捕获同一场景的第二图像(406)。时间T2可以参照图3的图表300的描述。因而，第二图像可能是模糊的(例如，图6的I_H)。在实施方式中，可以应用数码相机的包围曝光(exposure bracketing)特性来捕获两幅图像。此外，某些相机已经包括包围曝光(例如，佳能G型以及某些尼康Coolpix型数码相机)，其通过在单一的时间按下快门按钮就可以拍到不同快门速度的多张图片。然而，使用现有的内置相机功能具有某些限制。名义上，它不执行人工模式，并且快门速度的区别可能受到限制。

然后，亮度校正应用于所捕获的图像(408)，如这里所述(例如参照图8)以提供高质量的图像(例如，图7的I_C)。

在具有快门的数码相机中，快门保持开启以捕获同一场景的曝光不足和模糊图像。所述的实施方式可以保证任何运动(例如，从相机或场景内的目标物体)都受到限制。同样地，保持快门的开启可以同样提高速度(即没有中间快门操作的滞后时间)和/或无噪声性(例如，用于进行自然拍摄)。

在一个实施方式中，用于执行亮度校正的软件(408)可以通过通用计算机(例如，参照图33的描述)提供。该计算机可以直接耦合至数码相机(例如，图1)或可以在过后连接至计算机的相机的存储卡，以使得图像可被处理。

在进一步的实施方式中，在数码摄像机(或者能够捕获视频的数码相机)中实施方法400。摄像机可以是高速的相机(例如，一秒捕获大约45到60帧)。相机的传感器(图1的104)可以针对每一帧/场而重新设置以调整集合时间、曝光时间和/或模数转换(ADC)的增益。可供选择地，可以应用两个或更多个具有不同设置的传感器来捕获连续的图像。

示例图像

图5和6表示在弱光照条件下对同一场景所拍摄的图像。如图示，图5的图像(I_L)是曝光不足的，图6的图像(I_H)是模糊的。图和6的图像具有不同的曝光间隔。如图示，相比于图6的图像(I_H)，图5的图像(I_L)具有较长的曝光时间。可以将这里所讨论的技术应用于图5和6所示的图像以构成如图7中所示的高质量的图像(I_C)，例如，通过应用下面参照图8的进一步讨论的亮度校正。

图像采集

在一个实施方式中，为了开发出所捕获的图像的曝光时间和模糊程度之间的折衷，可以使用相同的捕获装置(例如，相机)拍摄两幅输入的图像，其具有下述曝光设置：

·一个图像(例如，图5的I_L)以安全快门速度附近的曝光时间来拍摄，生成曝光不足的图像，其中运动模糊大大地被降低。因为这种图像I_L过于暗，所以在图像中的颜色不可接受。

·另一个图像(例如，图5的I_L)在延长的曝光时间之下得到图像。这一图像的颜色和明暗都是可以接受的。然而，由于相机的震动或场景中目标物体的运动，这一图像是运动模糊的。

在场景(或场景内的目标物体)和/或捕获装置(例如没有三角架的手持相机)可能运动的情况下，可以在短间隔内拍摄两张图片。如果尽可能地保持时间误差短，那么两幅图像之间的差别被最小化和/或每一像素位置的区域匹配被最大化。

亮度校正

图8表示用于亮度校正的示例性的方法800。在已经提供了同一场景的两幅图像之后，如参照图5和6(例如，I_L和I_H)的讨论，确定图像的颜色统计(804)以及空间相干性(806)(如同以下在具有相似标题的部分将进行的更为详细的描述)。如参照图5和6的讨论，I_L和I_H是同一场景的具有不同曝光间隔的两幅图像。因此，它们不仅在颜色统计上相关，在相应的空间相干性上也是相关的。

应用颜色统计以及空间相干信息(408)而在颜色空间上增强曝光不足的图像(例如，图5的I_L)，从而提供正常曝光的高质量图像(例如，图7的I_C)。更特别地，在一个实施例中步骤808应用颜色映象方法。颜色映象方法受到由曝光不足图像所确定的空间细节的约束，并且因而与先前的纯颜色转换技术不同并对其进行了改进。如下面将要进行的更为详细的进一步的描述，通过适当地设定颜色统计以及空间约束条件，并且将它们引入贝叶斯框架，最大后部端值(MAXIMUM A POSTERIOR)(MAP)方法提供了一种理想的颜色空间中的颜色映象函数，当同步增强像素颜色时它保存了结构上的细节。

此外，方法800可以在合成一体的框架中同时处理相机震动以及目标物体的运动。此外，目标物体的拓扑结构或目标物体变形也同样可以被处理，其中对于多数去模糊方法是难于处理的，因为目标物体的不同部分具有不同的PSF。此外，通过略微改变一种约束条件(如同在“强烈对比场景的颜色统计”之下将要进行的进一步讨论)，方法800可以扩展为处理强烈对比的场景并且生成具有所捕获的在高亮或饱和区域中的良好细节的图像。

在一个实施方式中，方法800可以容易地应用于弱光照条件，例如不存在例如闪光灯等人工光源(例如，因为如密致相机、PDA、集成入手表、钢笔等的相机的功率消耗的限制)，不需要光照的(例如捕获生物学物质的图像，其中光照的存在可能导致不希望的生物学现象)，或另外不切实际的(例如，由于距离或者环境条件的原因，如交通控制相机)。在示例中，不需要的人工光源可能包括连接至显微镜、电子显微镜等的相机。

I_L和I_H之间的关系

如参考图5-6所描述的，I_L和I_H为具有不同曝光间隔的相同场景的两组图像。因此，它们不仅在色彩统计上相关，而且在相应的空间相干性上也相关。它们的关系可以转换为在贝叶斯框架中用于推算色彩映象函数的约束条件。

在一个实施例中，曝光不足的图像I_L可认为是正常曝光的图像I_H在时间坐标系中的敏感分量。这使得在曝光时间中合理地模拟相机或场景(或场景目标物体)的运动成为可能，并且将在下一部分中进一步描述对映象处理的约束。

色彩统计

在RGB(红，绿，和蓝)颜色空间中，重要的色彩统计通常可以通过色彩直方图的形状而得出。直方图通常通过其宽度表示分类的间隔的矩形或柱来表示频率分布，其中面积与相应的频率成比例。因此，直方图可用来建立I_H和I_L之间的解释关系。此外，由于强的光照产生更亮的像素，在I_L和I_H中的色彩统计可以从较低到较高的像素强度值来匹配。因此，

的直方图可以按如此重新整型：

$g\left(h_{I_L}\right)\stackrel{.}{=}{h}_{I_H}---\left(1\right)$

在(1)中，g(·)为执行于直方图中的每一色彩值的转换函数，

为I_H的直方图。通常估算g(·)的方法是自适应直方图均衡，其通常根据目标曲线修正图像的动态范围和对比度。

然而，这种直方图均衡在某些情况下并不能产生满意的结果。更特别地，每个信道中的量化的256(单比特精度)色可能不能足以精确地模拟各种直方图的形状。

图9表示了用于色彩直方图均衡的可以用于亮度校正中示例性的方法900。更特别地，方法900可用于理想地估算转换函数。第一，RGB颜色空间中的图像被转换到一个基于感觉的颜色空间1αβ(902)，其中1为无色信道，α和β包括色度值。按照这种方式，用已知的荧光屏色度将图像转换到一个更离散的域。

在新颜色空间中的色彩分布被分为65536(双比特精度)份(904)。直方图均衡于是在新的颜色空间中执行(906)。直方图均衡的结果(906)被转换回RGB颜色空间(908)。

通过对这两个图像(例如，图5—6)执行转换的直方图均衡，这两个图像可在它们的颜色空间上整体相关。然而，色彩统计很大程度上依赖于相机的图像质量。例如，如果更阴暗的图像包括了大量的噪声，受污染的信息可能需要首先经过处理(例如，通过对图像进行滤波)。

空间约束

上面所描述的色彩统计没有考虑I_H和I_L之间任何的时间相干性。然而，由于两个图像对相同的场景进行拍摄，在I_H和I_L之间具有很强的空间约束。

在一个区域包括相似色彩的像素的情况下，图10A表示了原始图像中的一个均匀区域，而图10B表示了发生运动模糊的相同区域。点1002标记了区域的中心。图11A和11B相应的曲线表示沿一个方向上的像素色彩。从图10A、10B、11A，和11B中可知，假设这个区域的面积足够大并且均匀，朝向区域中心的色彩受模糊的影响较小。此外，这个区域中色彩的一致性允许中心像素色彩的匹配。

图12表示可在亮度校正中使用的示例性的空间区域匹配的方法1200。方法1200可用于选择I_H和I_L中的匹配源。模糊图像(例如，图6的I_H)被分为数个区域，从而每个区域R_m(I_H)包括相似的色彩(1202)。图13中表示了图6的示例区域划分。

为了按照均一性和尺寸来分类区域，侵蚀每个区域R_m(I_H)(1204)，并且确定全部侵蚀每个区域的迭代次数，以及在对每一区域的侵蚀处理中的最后几个像素的区域中心，即(1206)。在一次执行中可对每个区域R_m(I_H)执行相同形式的侵蚀处理。图14表示了在对图13的图像中进行区域侵蚀中产生的示例性的中间图像。

迭代次数按降序分类，并且前面M个区域被选为区域匹配中最可能的候选区域(1208)。于是，这些区域中心的位置被选作匹配位置。从图像I_L和I_H中，选择在匹配位置的像素对{c^m _L，c^m _H}(1210)，计算每个c^m的值作为相邻像素色彩的高斯平均值(1212)，其中方差与迭代次数成比例。选中的区域中心在图15中用点(1502)来表示。如图所示，点(1502)位于最大最均匀的M个区域内。

匹配处理(1200)意味着一个理想的色彩映象函数应当可以将I_L中的匹配源色彩转换到I_H中的色彩。在下面的部分，描述了贝叶斯框架，它结合考虑了两个约束条件(色彩和空间)，从而推算出受约束的映象函数。

受约束的映象函数

色彩映象函数可以定义为f(l_i)＝l(_i’，其中l_iI和l_i分别为两个设置中的色彩值。因此，结果图像Ic是通过对曝光不足的图像I_L应用f(·)来建立的：I_L：I_C(x，y)＝f(I_L(x，y))，其中I_k(x，y)为图像I_k中的像素值。注意f(·)的形式同时受I_L和I_H的约束。

在贝叶斯框架中，最大化后端可能性(MAXIMUM A POSTERIOR)(MAP)来从I_L和I_H给定的检测结果中推算f^*：

$f*=\arg \underset{f}{\max }p\left(f\right|I_L,I_H)---\left(2\right)$

在前面的部分，提到了I_L和I_H之间的两种关系。一种是可由I_L和I_H的两个直方图

和

来各自描述的色彩统计。另一种是可由I_L和I_H之间的M个相应的匹配色彩源{c^m _L，c^m _H}^M _m＝1来表示的区域匹配约束条件。这些关系可认为是约束条件，且等式(2)可以重写为：

$f*=\arg \underset{f}{\max }p\left(f\right|h_{I_L},h_{I_H},{\{c_L^m,c_H^m\}}_{m=1}^M)$

$=\arg \underset{f}{\max }p(h_{I_L},h_{I_H},{\{c_L^m,c_H^m\}}_{m=1}^M|f)p\left(f\right)---\left(3\right)$

下一部分定义了似然 $p(h_{I_L},h_{I_H},{{\{{c^m}_L,{c^m}_H\}}^M}_{m=1}|f)$ 和先验p(f)。

似然

由于全面的匹配是在离散的颜色空间中执行的，f用一组离散值f＝{f1，f2，...f_i...，fN}来近似，其中N为颜色空间中各部分的总数目。因此，等式(3)中的似然可在独立平均分配(IID)的假设下构建：

$p(h_{I_L},h_{I_H},{\{c_L^m,c_H^m\}}_{m=1}^M|f)=\underset{i=1}{\overset{N}{\mathrm{\Π}}}p(g\left(l_i\right),\{c_L^{-i},c_H^{-i}\}|f_i)---\left(4\right)$

在等式(4)中，g(l_i)为在色彩值l_i将

转换为的函数。c^-i _L是在色彩源组{c^m _L}^M _m＝1中最接近l_i的色彩，且c^-i _H是在色彩源对中c^-i _L的相对应的色彩。

根据前面部分中的分析，g(l_i)和{c^-i _L，c^-i _H}为对每个f_i的两个约束因素。它们两个的特性都应在映象函数中保留。因此，这两个约束条件可被均衡并且似然可以被如下模拟：

$p(g\left(l_i\right),\{c_L^{-i},c_H^{-i}\}|f_i)\∝\exp (-\frac{{\left|\right|f_i-(\mathrm{\αg}\left(l_i\right)+(1-\mathrm{\α})c_L^{-i})\left|\right|}^2}{2{\mathrm{\σ}}_I^2})---\left(5\right)$

在等式5中，比值α加权两个约束条件，σ₁ ²为模拟两种约束条件的不确定性的方差。随着α值的增长，匹配源对的可信度下降。α可与下面的系数相关：

·距离‖l_i-c^-i _L‖。使α到达1时，大的距离表示了弱的区域匹配约束。因此，α与距离成反比。

·匹配色彩对{c^-i _L，c^-i _H}中相对应的不确定性。如前面部分所描述的，匹配区域越大，从区域中心得到的匹配色彩的可信度就越大。因此，不确定性σ_c可定义为与每个匹配色彩的区域大小成正比。结合这两个因素，α可以如下定义：

$\mathrm{\α}=\exp \left(\frac{{\mathrm{\σ}}_c^2{\left|\right|l_i-c_L^{-i}\left|\right|}^2}{2{\mathrm{\β}}^2}\right)---\left(6\right)$

在等式(6)中，β为控制α的影响的比例系数。

先验

作为先验，单调的约束条件可被控制于f(·)，其中在I_L中保留了结构特征。此外，为了避免相邻色彩的色彩映象突变，在一种实施方式中它可能要求f(·)在它的形状上平滑。在另一种实施方式中，f的二阶导数可以如下地最小化：

$p\left(f\right)\∝\exp (-\frac{1}{2{\mathrm{\σ}}_f^2}\∫{(f\′\′)}^2)$

$\∝\exp (-\frac{1}{2{\mathrm{\σ}}_f^2}\underset{i}{\mathrm{\Σ}}{(f_{i-1}-2f_i+f_{i+1})}^2)---\left(7\right)$

在等式(7)，

为控制f的平滑的方差。

映象解决方法

结合等式(4)的对数似然和等式(7)中的对数先验，最优化问题可以通过最小化如下的对数后验函数：

$E\left(f\right)=-\underset{i}{\mathrm{\Σ}}\log p(g\left(l_i\right),\{c_L^{-i},c_H^{-i}\}|f_i)-\log p\left(f\right)---\left(8\right)$

在等式(8)中，E(f)为二次目标函数。因此，全面最优映象函数f(·)可由奇异值分解(SVD)来获得。尽管单调的约束条件在等式(7)中没有明显地限定，但在一个实施方式中平滑约束条件足以构建最终的单调f。

其他示例结果

在此描述的技术是用于困难的方案中来表现此方法的效率。结果分为如下不同的组：图16表示输入的曝光不足的示例图像；图17表示将本应用的亮度校正应用于图16的图像而引发的示例性的图像；图18表示当应用了颜色转换技术的示例性的结果；图19表示采用自适应直方图均衡的示例性的结果；图20表示当应用2.5伽马校正的示例性的结果；以及图21表示在图像编辑程序中应用曲线校正的示例性的结果。由此可见，通过使用在此(即，图17)描述的约束条件可以实现更好的视觉质量和更多的细节。

同样，在一个实施方式中，在此描述的两种约束条件(空间以及色彩)都是有益的。它们优化了两个不同方面中的解决方法。因此，在一个实施方式中，这些约束条件的结合和均衡可以确保在此描述的方法的视觉正确性。

由手持照相机引起的运动模糊

图22—25的岩石例子表示了在此描述的方法理想地结合两个输入图像(即图22和23的图像)的色彩信息的能力。每个图像的直方图在每个图像的左下方示出。与其它去模糊方法不同，结果边缘明显且清晰。两幅输入图像分别以1/40秒和1/3秒的快门速度拍摄。图24和25分别为具有它们相应的直方图的色彩映象后的图像(I_C)和地面真实图像。地面真实图像(图25)是使用三脚架拍摄的。可以注意到图24和25中的图像在视觉和统计上相接近。

由目标物体的运动引起的运动模糊

在一个实施例中，在此讨论的技术可以容易地解决目标物体运动或变形问题(例如，如果目标物体在正常的曝光间隔内运动过快)。图26—28表示了实验的结果。如图所示，图27和28的部分被放大以便于参考。输入的正常曝光的图像是局部模糊的(图27)，即，PSF在整个图像中没有均匀的再现，这很容易使去卷积方法失败。使用在此讨论的技术(以及图26中曝光不足的图像)，相机的快门速度可被四次终止而降低。从而，可以产生大大降低模糊效果的高质量图像(Ic)(图28)。

在高对比度场景中的色彩统计

在对高对比度的场景拍摄的照片中，亮的区域会在I_H中饱和。直方图均衡将色彩从I_L一一变换到I_H，包括饱和的区域，这不仅降低了高亮区域中的空间细节，也在图像的颜色空间中产生了突变。

为了解决这个问题，前面部分中描述的色彩映象函数g(·)可被修改以覆盖更大的范围。在一个实施例中，可以使用一种色彩转换技术来改善高对比度情况中的图像质量。这种技术同样执行于图像的直方图，其通过匹配每个信道的平均和标准偏移来将源图像的色彩转换到目标图像。由于处理为高斯匹配，经转换的的色彩没有最大值的限制。

在一个实施方式中，I_H中的全部非饱和像素被用作向I_L的色彩转换。在应用色彩转换技术之后，I_L的映象结果超出了色彩的深度(即，超过了255)，并且将饱和的像素扩展到了更大的色彩值。因此，建立一个更大值范围的图像来展现亮区域和暗区域的细节。

与这样一个实施方式相关的示例图像在图29—32中示出。如图所示，图29—32的部分被放大以便于参考。图29和30表示输入图像(分别是I_H和I_L)。图31的图像通过将g(·)设置为原始直方图均衡函数来重建。图32为通过修改g(·)来使用色彩转换方法的具有增强的色彩和细节的结果。为了实现图32中表示的图像也执行了色调映象。

普通计算机环境

图33表示了一个普通计算机环境3300，其可以用来实现这里描述的技术。例如，计算机环境3300可用于运行控制图像捕捉设备(例如相机)的软件程序。计算机环境3300只是一个计算环境的示例，且不应对计算机和网络结构的应用或功能性的范围构成任何限制。计算机环境3300也不应解释为与任何一个或是在示例性的计算机环境3300中表示的各个组份的联合具有任何依赖性或要求。

计算机环境3300包括计算机3302形式的通用计算设备。计算机3302的组份可包括，但并不限制为，一个或多个处理器或处理单元3304(可选地包括一个密码处理器或联合处理器)，系统存储器3306，以及将包括处理器3304和系统存储器3306的多个系统组份耦合起来的系统总线3308。

系统总线3308表示了几种或多于几种类型的任意一种的总线结构，包括存储器总线或存储器控制器，外围总线，加速的图像端口，以及处理器或使用多种总线结构中任意结构的本地总线。通过示例，这些结构可包括工业标准结构(ISA)总线，微通道结构(MCA)总线，增强ISA(EISA)总线，视频电子标准协会(VESA)本地总线，以及周边元件扩展接口(PCI)总线也就是所谓的夹层总线。

计算机3302典型地包括多个计算机可读媒体。此媒体可以是任何计算机3302可以访问的可获得的媒体，包括易失性和非易失性媒体，可擦写和非可擦写媒体。

系统存储器3306包括易失性存储器形式的计算机可读媒体，例如随机存取存储器(RAM)3310，和/或非易失性存储器，例如ROM3312。基本输入/输出系统(BIOS)3314，具有帮助在计算机3302中的各个元件之间传输信息的基本程序，例如，在启动中，被存储在ROM3312中。RAM3310典型地包括数据和/或可以被立即访问和/或立即被处理单元3304执行的程序模块。

计算机3302也可包括其它可擦写/非可擦写媒体，易失性/非易失性计算机存储媒体。通过举例，图33表示了硬盘驱动器3316，用于从非可擦写、非易失性磁媒体(未示出)中读取数据或向其写入数据，磁盘驱动器3318，用于从可擦写、非易失性磁盘3320(例如，“软盘”)中读取数据或向其写入数据，以及光盘驱动器3322，用于从可擦写、非易失性光盘3324中读取数据和/或向其写入数据，例如CD-ROM，DVD，或其它光媒体。硬盘驱动器3316，磁盘驱动器3318，以及光盘驱动器3322通过一个或多个数据媒体接口3326逐一连接到系统总线3308。可选择地，硬盘驱动器3316，磁盘驱动器3318，以及光盘驱动器3322可以通过一个或多个接口(未示出)连接到系统总线3308。

盘驱动器和与其相关的计算机可读媒体提供了对计算机可读指令、数据结构、程序模块、以及其他用于计算机3302的数据的非易失性存储。尽管示例表示了硬盘3316，可擦写的磁盘3320，以及可擦写的光盘3324，可以得知其它类型的可存储计算机可访问的数据的计算机可读媒体，例如盒式磁带或其它磁存储设备，闪存卡，CD-ROM，DVD或其它光存储，随机存取存储器(RAM)，只读存储器(ROM)，电可擦除程序化只读存储器(EEPROM)，以及类似的存储器，同样可以用来实施示例性的的计算系统和环境。

任何数目的程序模块都可被存储于硬盘3316，磁盘3320，光盘3324，ROM3312，和/或RAM3310，包括例如，操作系统3326，一个或多个应用程序3328，其他程序模块3330，以及程序数据3332。这种操作系统3326，一个或多个应用程序3328，其它程序模块3330，以及程序数据3332中的每一个(或某些其中的组合)都可以实施支持分布式文件系统的全部或部分的常驻组份。

用户可以通过例如键盘3334的输入设备和定向设备3336(例如，“鼠标”)来向计算机3302输入指令和信息。其它输入设备3338(没有特别示出)可包括麦克风，操纵杆，游戏盘，卫星天线，串行端口，扫描仪，和/或类似设备。这些和其它输入设备经与系统总线3308耦合的输入/输出接口3340连接到处理单元3304，但也可通过其它接口和总线结构连接，例如并行端口，游戏端口，或者通用串行总线结构(USB)。USB端口可用于将相机或闪存读卡器(例如参考图29讨论的)连接到计算机环境3300。

监视器3342或其它类型的显示器也可经接口，例如视频适配器3344连接到系统总线3308。除了监视器3342之外，其它输出外围设备可包括例如扬声器(未示出)和打印机3346的组件，其可以经输入/输出接口3340连接到计算机3302。

计算机3302可以在用逻辑连接到一台或多台远端计算机，例如远程计算设备3348的网络环境中运行。举例说明，远程计算设备3348可为个人电脑，便携式电脑，服务器，路由器，网络计算机，等同的设备或其它普通网络节点，游戏控制台，或是类似设备。远端计算设备3348被表示为便携式电脑，其可以包括在此描述的与计算机3302相关的很多或全部组件和特征。

计算机3302和远端计算机3348之间的逻辑连接描述为局域网(LAN)3350和普通广域网(WAN)3352。此网络化的环境在办公室，企业计算机网络，以太网，以及互联网上都很常见。

当计算机3302在LAN网络环境中实施时，它经网络接口或适配器3354被连接到本地网络3350。当计算机3302在WAN网络环境中实施时，它典型地包括调制解调器3356或其它用来建立在广域网3352上的通信的装置。可以置于计算机3302内部或外部的调制解调器3356可以经输入/输出接口3340或其它相似机构连接到系统总线3308。可知所示的网络连接是示例性的并且可以使用其它在计算机3302和3348之间建立通信联接的装置。

在网络化的环境中，例如，所示的具有计算环境3300，所述的与计算机3302或其中接口有关的程序模块可被存储在远程存储设备中。举例说明，远程应用程序3358驻留于远程计算机3348的存储设备上。为了示意，应用程序和其他可执行程序组份，例如操作系统在此表示为离散块，尽管可知这些程序和组件在不同的时间在计算设备3302的不同的存储组件中驻留，并且被计算机的数据处理器执行。

多种模块和技术在此可描述为计算机可执行指令的普通内容，例如程序模块，被一台或多台计算机或其它设备执行。通常，程序模块包括执行特定任务或实现特定抽象数据类型的常规程序，程序，对象，组份，数据结构等等。典型地，程序模块的功能可如在各个实施例中的要求进行结合或分配。

这些模块和技术的一个实施方式可以在某些形式的计算机可读媒体上存储或在其间传输。计算机可读媒体可为任何计算机可访问的可获得的媒体。举例说明，并不作限定，计算机可读媒体可包括“计算机存储媒体”和“通信媒体”。

“计算机存储媒体”包括易失性和非易失性，可擦写和非可擦写媒体，可以任何信息存储的方法或技术实现，例如计算机可读指令，数据结构，程序模块，或其它数据。计算机存储媒体包括，但并不限制于，RAM，ROM，EEPROM，闪存，或其它存储技术，CD-ROM，DVD，或其它光存储，盒式磁带，磁带，磁盘存储或其它磁盘存储设备，或其它可用来存储所需信息且可被计算机访问的介质。

“通信媒体”典型地包括计算机可读指令，数据结构，程序模块，或其它在模块数据信号中的数据，例如载波或其它传输机构。通信媒体也包括任意的信息传递媒体。术语“调制的数据信号”表示按照某种方法设置或改变其一个或多个特性以在信号中编码信息的信号。举例说明，但并不限定，通信媒体包括有线媒体，例如有线网络或专线连接，以及无线媒体，例如声信号，RF，红外线，以及其它无线媒体。上述任意几个的联合也在计算机可读媒体的范围之内。

结论

尽管本发明用语言描述了特别的结构特征和/或方法步骤，但可以理解后附的权利要求中限定的本发明并不需要限制于所描述的特别的结构或步骤。相反，特别的结构和步骤是作为实施要求保护的发明的示例的形式而公开。例如，在此讨论的亮度校正技术可容易地应用于无彩图像(例如，灰度级图像)。

Claims (35)

1、一种数码相机，其特征在于，包括：

图像传感器，捕获同一场景的第一图像以及随后的第二图像；

存储装置，存储所捕获的图像；以及

与存储装置耦合的处理单元，通过亮度校正增强所捕获的第一和第二图像之一，其中，所述亮度校正包括应用颜色直方图均衡确定对应于第一和第二图像的颜色统计以及应用空间区域匹配确定对应于第一和第二图像的空间相干性，并应用所确定的颜色统计和空间相干性增强第一图像和第二图像中曝光不足的一个图像，其中

所述颜色直方图均衡包括：

将第一和第二图像转换为基于感知的颜色空间；

在基于感知的颜色空间中进行颜色分布的分组；

在基于感知的颜色空间中执行直方图均衡；以及

将直方图均衡的结果转换为红-绿-兰空间，

所述空间区域匹配包括：

将第一和第二图像中模糊的图像分割为多个相似颜色的区域；

对每一区域进行侵蚀；

确定用以完全侵蚀每一区域的迭代数；

为每一区域确定一个区域中心；

以降序存储迭代数目；

从匹配位置中的第一和第二图像选定像素对；以及

计算每一选定像素的相邻值。

2、如权利要求1所述的数码相机，其特征在于，处理单元包括与存储装置耦合的一个或多个处理器。

3、如权利要求1所述的数码相机，其特征在于，处理单元包括至少一个与存储装置耦合的处理器，并且存储装置存储由所述至少一个处理器执行的、通过亮度校正增强所捕获的第一和第二图像之一的指令。

4、如权利要求1所述的数码相机，其特征在于，处理单元按照特定用途集成电路ASIC或者可编程逻辑阵列PLA来实施。

5、如权利要求1所述的数码相机，其特征在于，数码相机与外部计算机装置耦合以执行一种或多种操作，包括：控制数码相机，访问存储在存储装置上的数据，以及从图像传感器接收数据。

6、如权利要求1所述的数码相机，其特征在于，存储装置是数码相机的外部装置。

7、如权利要求1所述的数码相机，其特征在于，存储装置是多个存储装置。

8、如权利要求1所述的数码相机，其特征在于，数码相机是从包括数码相机、数码摄像机以及能够捕获视频的数码相机的组中选定的装置。

9、如权利要求1所述的数码相机，其特征在于，当捕获第一或第二图像时，不存在人工光源。

10、如权利要求1所述的数码相机，其特征在于，在第一和第二图像的捕获之间，图像传感器保持对光束的曝光。

11、如权利要求1所述的数码相机，其特征在于，图像传感器响应于捕获指令而进行对光束的曝光。

12、如权利要求1所述的数码相机，其特征在于，在弱光照条件下拍摄第一和第二图像。

13、如权利要求1所述的数码相机，其特征在于，第一图像曝光不足。

14、如权利要求1所述的数码相机，其特征在于，第二图像是模糊的。

15、如权利要求1所述的数码相机，其特征在于，图像传感器从包括CCD以及CMOS的组中选定。

16、如权利要求1所述的数码相机，其特征在于，数码相机集成于从包括移动电话、手表和PDA的组中选定的装置。

17、如权利要求1所述的数码相机，其特征在于，亮度校正包括使用色彩转换技术改善高对比度情况中的图像质量，以覆盖强烈对比场景的较大的范围，所述色彩转换技术通过匹配每个信道的平均和标准偏移将源图像的色彩转换到目标图像。

18.如权利要求1所述的数码相机，其特征在于，利用数码相机的包围曝光特性来捕获第一和第二图像。

19.如权利要求1所述的数码相机，其特征在于，场景从包括高速运动场景、生物体场景、暗光场景、以及高速动作场景的一组中选择。

20.如权利要求1所述的数码相机，其特征在于，数码相机附于从包括显微镜和电子显微镜的组中选择的设备。

21.如权利要求1所述的数码相机，其特征在于，进一步包括多个图像传感器。

22.如权利要求1所述的数码相机，其特征在于，进一步包括多个存储数据的缓冲器。

23.如权利要求1所述的数码相机，其特征在于，进一步包括在第一和第二图像捕捉过程中保持开启的快门。

24.一种图像处理方法，包括：

将图像传感器对场景曝光；

捕捉场景的第一图像；

在捕捉第一图像之后捕捉场景的第二图像；以及

对捕捉到的图像应用亮度校正，

其中图像传感器在捕捉第一图像和捕捉第二图像之间保持对光线曝光，所述亮度校正包括应用颜色直方图均衡确定对应于第一和第二图像的颜色统计以及应用空间区域匹配确定对应于第一和第二图像的空间相干性，并应用所确定的颜色统计和空间相干性增强第一图像和第二图像中曝光不足的一个图像，其中

所述颜色直方图均衡包括：

将第一和第二图像转换为基于感知的颜色空间；

在基于感知的颜色空间中进行颜色分布的分组；

在基于感知的颜色空间中执行直方图均衡；以及

将直方图均衡的结果转换为红-绿-兰空间，

所述空间区域匹配包括：

将第一和第二图像中模糊的图像分割为多个相似颜色的区域；

对每一区域进行侵蚀；

确定用以完全侵蚀每一区域的迭代数；

为每一区域确定一个区域中心；

以降序存储迭代数目；

从匹配位置中的第一和第二图像选定像素对；以及

计算每一选定像素的相邻值。

25.如权利要求24所述的方法，其特征在于，第一图像曝光不足。

26.如权利要求24所述的方法，其特征在于，第二图像是模糊的。

27.如权利要求24所述的方法，其特征在于，亮度校正是根据存储在耦合于图像传感器的存储设备中的亮度校正指令来应用的。

28.如权利要求24所述的方法，其特征在于，亮度校正是根据存储在耦合于图像传感器的存储设备中的亮度校正指令来应用的，并且与捕捉的图像相对应的数据在一个或多个存储设备中缓存。

29.如权利要求24所述的方法，其特征在于，亮度校正是由耦合于图像传感器的处理单元来应用的。

30.如权利要求24所述的方法，其特征在于，亮度校正是由耦合于图像传感器的外部计算设备来应用的。

31.如权利要求24所述的方法，其特征在于，图像传感器在数码相机中实现。

32.一种装置，其特征在于，包括：

捕捉场景的第一图像的装置；

在捕捉第一图像之后捕捉场景的第二图像的装置；以及

对捕捉到的图像应用亮度校正的装置，其中，所述亮度校正包括应用颜色直方图均衡确定对应于第一和第二图像的颜色统计以及应用空间区域匹配确定对应于第一和第二图像的空间相干性，并应用所确定的颜色统计和空间相干性增强第一图像和第二图像中曝光不足的一个图像，其中

所述颜色直方图均衡包括：

将第一和第二图像转换为基于感知的颜色空间；

在基于感知的颜色空间中进行颜色分布的分组；

在基于感知的颜色空间中执行直方图均衡；以及

将直方图均衡的结果转换为红-绿-兰空间，

所述空间区域匹配包括：

将第一和第二图像中模糊的图像分割为多个相似颜色的区域；

对每一区域进行侵蚀；

确定用以完全侵蚀每一区域的迭代数；

为每一区域确定一个区域中心；

以降序存储迭代数目；

从匹配位置中的第一和第二图像选定像素对；以及

计算每一选定像素的相邻值。

33.如权利要求32所述的装置，其特征在于，进一步包括将图像传感器对场景曝光的装置。

34.如权利要求32所述的装置，其特征在于，进一步包括存储捕捉到的图像的装置。

35.如权利要求32所述的装置，其特征在于，进一步包括在捕捉第一和第二图像时将图像传感器对光线曝光的装置。

Images