CN103259976B - 图像处理设备、摄像设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备、摄像设备和图像处理方法。图像处理设备包括：图像获得部(200)，用于获得具有相互不同的曝光的第一图像和第二图像；区域选择部(203)，用于从第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从第二图像选择与第一图像的包含亮度饱和部的区域相对应的第二区域；图像恢复处理部(201)，用于针对第一图像的第一区域和第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，进行图像恢复处理；以及图像替换部(202)，用于利用第二图像的第二区域替换第一图像的包含亮度饱和部的区域，从而对第一图像的第一区域和第二图像的第二区域进行合成以生成一个图像。

Description

图像处理设备、摄像设备和图像处理方法

技术领域

本发明涉及一种进行图像恢复处理的图像处理设备。

背景技术

过去，提出了一种对通过诸如数字照相机等的摄像设备所获得的多个图像进行合成(synthesize/compose)、并且生成具有高动态范围的图像或者具有高质量或高分辨率的图像的技术。日本特开平5-153473和日本特开2010-178164公开了一种对利用短曝光和长曝光所获得的图像进行合成以生成具有宽动态范围的图像的摄像设备。在日本特开平5-153473中，进行在合成图像时降低各图像的差的处理，以扩大动态范围、并且防止图像质量劣化。在日本特开2010-178164中，指定利用长曝光所获得的图像所包含的亮度饱和部，并且利用进行了增益调整的利用短曝光所获得的图像替换该亮度饱和部来扩大动态范围。

在日本特开2009-284009中，公开这样一种方法，该方法用于基于包含亮度饱和部的第一图像和包含比第一图像更多的亮度饱和部的第二图像，估计亮度饱和部周围出现的颜色的模糊量，并且有效去除颜色模糊。

然而，在日本特开平5-153473和日本特开2010-178164所述的图像处理方法中，由于摄像光学系统的像差所导致的模糊的影响，图像质量劣化。在日本特开2009-284009所述的图像处理方法中，难以校正由除色像差以外的像差所导致的图像质量的劣化。

因此，作为用于校正由摄像光学系统所导致的图像劣化的方法，已知一种用于使用基于摄像光学系统的光学传递函数(OTF)所生成的图像恢复滤波器的方法。根据该方法，适当校正由摄像光学系统所生成的非对称像差以能够使得图像锐化。

然而，当在摄像元件的摄像面上给出超过摄像元件可获得的亮度的允许值的亮度(亮度信息)时，即当获得包含亮度饱和部的图像时，不能适当进行非对称像差的校正或锐化。换句话说，由于超过摄像元件的允许值的亮度信息丢失，所以即使在对丢失的亮度信息进行图像恢复处理时，也不能进行正确的图像恢复。

发明内容

本发明提供一种有效降低包含亮度饱和部的图像的像差的图像处理设备、摄像设备和图像处理方法。

作为本发明的一个方面，一种图像处理设备，包括：图像获得部，用于获得具有相互不同的曝光的第一图像和第二图像；区域选择部，用于从所述第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从所述第二图像选择与所述第一图像的所述包含亮度饱和部的区域相对应的第二区域；图像恢复处理部，用于针对所述第一图像的第一区域和所述第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，进行图像恢复处理；以及图像替换部，用于利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域，从而对所述第一图像的第一区域和所述第二图像的第二区域进行合成以生成一个图像。

作为本发明的另一方面，一种摄像设备，包括：图像获得部，用于获得具有相互不同的曝光的第一图像和第二图像；区域选择部，用于从所述第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从所述第二图像选择与所述第一图像的所述包含亮度饱和部的区域相对应的第二区域；图像恢复处理部，用于针对所述第一图像的第一区域和所述第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，进行图像恢复处理；以及图像替换部，用于利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域，从而对所述第一图像的第一区域和所述第二图像的第二区域进行合成以生成一个图像。

作为本发明另一方面，一种图像处理方法，包括以下步骤：图像获得步骤，用于获得具有相互不同的曝光的第一图像和第二图像；区域选择步骤，用于从所述第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从所述第二图像选择与所述第一图像的所述包含亮度饱和部的区域相对应的第二区域；图像恢复处理步骤，用于针对所述第一图像的第一区域和所述第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，进行图像恢复处理；以及图像替换步骤，用于利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域，从而对所述第一图像的第一区域和所述第二图像的第二区域进行合成以生成一个图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征和方面将显而易见。

附图说明

图1是实施例1的摄像设备的结构图。

图2是示出实施例1的图像处理方法的流程图。

图3是说明在各实施例的图像处理方法中所使用的图像恢复滤波器的图。

图4是说明在各实施例的图像处理方法中所使用的图像恢复滤波器的图。

图5A和5B是说明各实施例的图像处理方法的点图像的校正状态的图。

图6A和6B是各实施例的光学传递函数的振幅成分和相位成分的图。

图7是说明在各实施例中通过摄像设备所获得的输入图像的图。

图8A和8B是说明实施例1中用于进行图像恢复处理的区域的图。

图9是说明实施例1中用于确定第二图像的适当曝光时间的方法的图。

图10是示出实施例2的图像处理方法的流程图。

图11A～11C是说明实施例2中用于进行图像恢复处理的区域的图。

图12是实施例2的摄像设备的结构图。

具体实施方式

下面参考附图说明本发明的典型实施例。在各附图中，以相同附图标记表示相同元件，并且省略对其的重复说明。

首先说明本实施例中所述的术语的定义和图像恢复处理(图像处理方法)。在下述各实施例中适当使用这里所述的图像处理方法。

输入图像

输入图像是通过经由摄像光学系统在摄像元件上接收光所获得的数字图像(拍摄图像)，其中，由于包括镜头和各种类型的光学滤波器的摄像光学系统的像差，输入图像根据光学传递函数OTF而劣化。还可以通过使用具有曲率的镜(反射面)以及透镜构成摄像光学系统。

输入图像的颜色成分例如具有RGB颜色成分的信息。除此之外，还可以选择性地使用诸如通过LCH所表示的亮度、颜色相位或色度、通过YCbCr所表示的亮度、或者色差信号等的通常使用的颜色空间来作为颜色成分。还可以使用XYZ、Lab、Yuv或者JCh来作为其它颜色空间。此外，还可以使用色温。

可以向输入图像或输出图像添加诸如镜头的焦距、F值(光圈值)或被摄体距离等的摄像条件、或者用于校正该图像的各种校正信息。当将图像从摄像设备传送至与摄像设备分开的图像处理设备以进行校正处理时，如上所述，优选向图像添加摄像条件或与校正有关的信息。作为用于传送摄像条件或与校正有关的信息的另一方法，还可以直接或间接相互连接摄像设备和图像处理设备以在它们之间进行传送。

光学传递函数(OTF)

通过进行傅立叶变换所获得的光学传递函数(OTF)是由复数所表示的像差的频率成分信息。将光学传递函数OTF的绝对值，即振幅成分称为MTF(调制传递函数)，并且将相位成分称为PTF(相位传递函数)。振幅成分MTF和相位成分PTF分别是由像差所导致的图像劣化的振幅成分和相位成分的频率特性，并且通过下面的公式(1)将相位成分表示为相位角。

PTF=tan^-1(Im(OTF)/Re(OTF))…(1)

在公式(1)中，Re(OTF)和Im(OTF)分别表示光学传递函数OTF的实部和虚部。因而，摄像光学系统的光学传递函数OTF使图像的振幅成分MTF和相位成分PTF劣化，因此，类似于慧星像差，劣化图像处于被摄体的各点非对称模糊的状态。

由于针对光的各波长的摄像倍率的差，成像位置发生了移位，并且根据摄像设备的分光特性，获得图像作为例如RGB的颜色成分，所以生成了倍率色像差。因此，除RGB的颜色成分之间的成像位置的移位以外，在各颜色成分中还发生各波长的成像位置的移位，即由相位移位所导致的图像的扩散。因此，确切地说，倍率色像差不仅是平行移位的颜色移位，而且还影响诸如G通道等的颜色通道的图像的扩散。

图像恢复处理

接着说明图像恢复处理的概要。当以g(x,y)表示拍摄图像(劣化图像)，以f(x,y)表示原始图像，并且以h(x,y)表示作为光学传递函数OTF的傅立叶变换对的点扩散函数PSF时，下面的公式(2)成立。

g(x,y)=h(x,y)*f(x,y)…(2)

在公式(2)中，符号*表示卷积(乘积和)，并且符号(x,y)表示拍摄图像上的坐标。

当对公式(2)进行傅立叶变换以将其变换成频率面上的显示形式时，获得被表示为各频率的乘积的公式(3)。

G(u,v)=H(u,v)·F(u,v)…(3)

在公式(3)中，符号H表示通过对点扩散函数PSF(h)进行傅立叶变换所获得的光学传递函数OTF，并且符号G和F分别表示通过对劣化图像g和原始图像f进行傅立叶变换所获得的函数。符号(u,v)表示二维频率面上的坐标，即，频率。

为了从所拍摄的劣化图像g获得原始图像f，如下面的公式(4)所示，可以将两边除以光学传递函数h。

G(u,v)/H(u,v)=F(u,v)…(4)

然后，对F(u,v)、即G(u,v)/H(u,v)进行逆傅立叶变换，以在实平面上进行恢复，从而获得原始图像f(x,y)作为恢复图像。

当符号R表示通过对H^-1进行逆傅立叶变换所获得的值时，如下面的公式(5)所示，通过在实平面上对图像的卷积处理，可以类似地获得原始图像f(x,y)。

g(x,y)*R(x,y)=f(x,y)…(5)

在公式(5)，将符号R(x,y)称为图像恢复滤波器。当图像是二维图像时，通常，图像恢复滤波器R还是具有与图像的各像素相对应的抽头(单元)的二维滤波器。通常，随着图像恢复滤波器R的抽头数量(单元数量)增多，恢复精度提高。因此，根据诸如所需的图像质量、图像处理能力或像差等的特性，设置可以实现的抽头的数量。由于图像恢复滤波器R需要至少反映像差的特性，所以不同于水平和垂直各具有三个抽头的传统边缘增强滤波器(高通滤波器)。由于基于光学传递函数OTF设置图像恢复滤波器R，所以可以高精度地校正振幅成分和相位成分两者的劣化。

由于实际的图像包含噪声成分，所以在使用通过使用光学传递函数OTF的倒数所生成的图像恢复滤波器R的情况下，在恢复劣化图像时，噪声成分被显著放大。这是因为，对于噪声的振幅被相加至图像的振幅成分的状态，提高MTF以在全频率上使光学系统的MTF(振幅成分)恢复成1。尽管将作为由光学系统所导致的振幅劣化的MTF恢复成1，但是同时还提高噪声的功率谱，因此根据提高MTF的度(恢复增益)而放大噪声。

因此，当包含噪声时，不能获得作为观赏图像的适当图像。这通过下面的公式(6-1)和(6-2)来表示。

G(u,v)=H(u,v)·F(u,v)+N(u,v)…(6-1)

G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)…(6-2)

在公式(6-1)和(6-2)中，符号N表示噪声成分。

对于包含噪声成分的图像，例如，作为通过下面的公式(7)所表示的Wiener滤波器，存在用于根据图像信号与噪声信号的强度比SNR来控制恢复度的方法。

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}\·\·\·\left(7\right)$

在公式(7)中，符号M(u,v)是Wiener滤波器的频率特性，并且符号|H(u,v)|是光学传递函数OTF的绝对值(振幅成分MTF)。在该方法中，对于各频率，恢复增益(恢复度)随着MTF变小而减小，并且恢复增益随着MTF变大而增大。通常，由于摄像光学系统的MTF在低频侧高，并且在高频侧低，所以该方法实际上减小图像的高频侧的恢复增益。

随后，参考图3和4说明图像恢复滤波器。在图像恢复滤波器中，根据摄像光学系统的像差特性或所需恢复精度来确定抽头数量。作为一个例子，图3中的图像恢复滤波器是具有11×11个抽头的二维滤波器。在图3中，省略各抽头中的值(系数)，并且图4示出图像恢复滤波器的一个横截面。图像恢复滤波器的各抽头的值(系数值)的分布具有将因像差而在空间上扩散的信号值(PSF)理想地恢复至一个原点的功能。

在针对图像的各像素的图像恢复处理的步骤中，对图像恢复滤波器的各抽头进行卷积处理(卷积或乘积和)。在卷积处理中，为了提高预定像素的信号值，将该像素设置成与图像恢复滤波器的中心一致。然后，针对各图像和图像恢复滤波器的各相应像素，获得图像的信号值和滤波器的系数值的乘积，并且将总和替换为中心像素的信号值。

随后，参考图5A、5B、6A和6B，说明实空间的特性和图像恢复的频率空间。图5A和5B是说明点扩散函数PSF的图，并且图5A示出进行图像恢复之前的点扩散函数PSF，而图5B示出进行图像恢复之后的点扩散函数PSF。图6A和6B是说明光学传递函数OTF的振幅成分MTF和相位成分PTF的图。图6A中的虚线(A)示出进行图像恢复之前的MTF，并且虚点线(B)示出进行图像恢复之后的MTF。图6B中的虚线(A)示出进行图像恢复之前的PTF，并且虚点线(B)示出进行图像恢复之后的PTF。如图5A所示，图像恢复之前的点扩散函数PSF非对称扩散，并且由于该非对称性，相位成分PTF对于频率具有非线性值。由于图像恢复处理放大振幅成分MTF、并且进行校正以使得相位成分PTF变成0，所以图像恢复之后的点扩散函数PSF具有对称的锐利形状。

因此，通过对基于摄像光学系统的光学传递函数OTF的逆函数所设计的函数进行逆傅立叶变换，可以获得图像恢复滤波器。如果需要，可以改变本实施例中所使用的图像恢复滤波器，例如，可以使用上述Wiener滤波器。当使用Wiener滤波器时，通过对公式(7)进行逆傅立叶变换，可以生成对图像进行实际卷积的实空间的图像恢复滤波器。即使在一个摄像状态下，也根据摄像光学系统的图像高度(图像的位置)改变光学传递函数OTF。因此，通过根据图像高度而进行改变来使用图像恢复滤波器。

实施例1

首先参考图1，说明本发明的实施例1的摄像设备。图1是本实施例的摄像设备100的结构图。在摄像设备100中，安装对拍摄图像进行图像恢复处理(图像处理方法)的程序，并且通过摄像设备100中的图像处理器104(图像处理设备)进行图像恢复处理。

摄像设备100被配置为包括摄像光学系统101(镜头)和摄像设备主体(照相机主体)。摄像光学系统101包括与摄像设备主体(照相机主体)构成一体的光圈101a和调焦透镜101b。然而，本实施例不局限于此，并且还可应用于摄像光学系统101可更换地安装在摄像设备主体上的摄像设备(摄像系统)。

摄像元件102是诸如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)等的二维摄像元件。摄像元件102对经由摄像光学系统101所获得的被摄体图像(摄像光)进行光电转换以生成拍摄图像。换句话说，通过摄像元件102对被摄体图像进行光电转换以将其转换成模拟信号(电信号)。然后，通过A/D转换器103将该模拟信号转换成数字信号，并且将该数字信号输入给图像处理器104。

图像处理器104(图像处理设备)对数字信号进行预定处理，并且还进行预定图像恢复处理。首先，图像处理器104从状态检测器107获得摄像设备100的摄像条件信息。摄像条件信息是与光圈、被摄体距离或变焦透镜的焦距等有关的信息。状态检测器107可以从系统控制器106直接获得摄像条件信息，但是本实施例不局限于此。例如，还可以从摄像光学系统控制器105获得与摄像光学系统101有关的摄像条件信息。

随后，从存储部108(存储器)选择基于摄像条件(摄像条件信息)的图像恢复滤波器，并且对输入给图像处理器104的图像进行图像恢复处理和图像合成处理。如上所述，通过图像获得部200(图像获得单元)、图像恢复处理部201(图像恢复处理器)、图像替换部202(图像替换单元)和区域选择部203(区域选择单元)进行这些处理。以预定格式将通过图像处理器104处理后的输出图像存储在存储部108中。图像显示单元112可以显示在图像恢复处理和图像合成处理之后进行用于显示的预定处理所获得的图像。图像显示单元112还可以显示通过进行用于快速显示的简单处理所获得的图像。通过系统控制器106进行上述一系列控制。通过摄像光学系统控制器105基于系统控制器106的指示，进行摄像光学系统101的机械驱动。

还可以在摄像光学系统101中插入诸如低通滤波器或红外截止滤波器等的光学元件。在使用诸如影响光学传递函数(OTF)的特性的低通滤波器等的元件的情况下，可以在生成图像恢复滤波器时考虑该元件的影响来进行高精度的图像恢复处理。由于红外截止滤波器还影响作为分光波长的PSF的积分值的RGB通道各自的点扩散函数(PSF)，尤其R通道的PSF，所以在生成图像恢复滤波器时优选考虑该元件的影响。

接着参考图2，说明本实施例的图像处理方法。图2是示出本实施例的图像处理方法的流程图。通过图像处理器104基于系统控制器106的指示，进行图2的各步骤。

首先，在步骤S10，图像处理器104的图像获得部200获得拍摄图像作为输入图像(第一图像)。随后，在步骤S11，图像处理器104判断输入图像是否包含输入图像中的亮度饱和部(亮度饱和像素)。亮度饱和部是指所获得的图像的亮度超过摄像元件102的允许量(动态范围)的区域。当在步骤S11，输入图像不包括亮度饱和部时，可以进行传统图像恢复处理。因此，在步骤S25选择图像恢复滤波器，并且在步骤S26进行图像恢复处理。由于步骤S25和S26是与下述步骤S15和S16的处理相同的处理，并且省略对其的详细说明。另一方面，当在步骤S11，输入图像包含亮度饱和部时，流程进入步骤S12。

图7是说明通过本实施例的摄像设备100所获得的输入图像的、示出所获得的图像的亮度分布超过摄像设备100的动态范围的情况的图。如图7所示，当所获得的图像包含诸如街灯(亮度饱和部A)和车灯(亮度饱和部B)等的表示高亮度的区域(高亮度部)时，与其它图像区域相比，这类高亮度部具有十分高的亮度。因此，当使用AE装置(自动曝光控制器)等拍摄图像时，通常，考虑亮度分布的整体平衡，并且在许多情况下，输出高亮度部的图像作为亮度饱和状态的图像，即作为来自亮度饱和部的图像。如上所述，当对包含亮度饱和部的图像进行图像恢复处理(校正处理)时，不能正确进行图像恢复。因此，在本实施例中，获得曝光时间短于在步骤S10所获得的图像(第一图像)的曝光时间的图像(第二图像)。然后，利用第二图像的相应区域中的图像替换在步骤S10所获得的图像(第一图像)的亮度饱和部中的图像。假定第一图像是考虑到图像整体的亮度分布，以作为用户、或者摄像设备100的AE装置等所确定的最佳曝光的曝光时间所拍摄的图像。

接着在步骤S12，图像处理器104确定用于第二图像的曝光时间。由于使用第二图像替换第一图像的亮度饱和部，所以优选第二图像不包含亮度饱和部(亮度饱和像素)。因此，需要将用于第二图像的曝光时间设置得短于用于第一图像的曝光时间。然而，如果将用于第二图像的曝光时间设置得太短，则噪声相对于摄像元件102的输出信号的比例大，并且在进行图像恢复处理时噪声增大。因此，除关注区域(与第一图像的亮度饱和部相对应的区域)不包含亮度饱和部的条件以外，还优选用于第二图像的曝光时间尽可能地长。因此，为了获得理想的合成图像，需要适当设置获得第二图像时的曝光时间。

参考图9说明用于适当确定获得第二图像时的曝光时间的方法。图9是说明用于确定用于第二图像的适当曝光时间的方法的、示出作为第一图像中的亮度饱和部的一个像素的曝光时间T和亮度L之间的关系的图。首先，以足够短的、使得不会存在亮度饱和部，即亮度饱和部消失的曝光时间Ta拍摄图像。在这种情况下，曝光时间Ta可以是使关注区域中的亮度饱和部消失的任意时间。例如，曝光时间Ta是摄像设备100的最小曝光时间。

随后，使用拍摄图像中的关注像素(关注区域中所包含的像素)的亮度La和曝光时间Ta的比La/Ta，获得近似直线。将该近似直线表示为下面的公式(8)，其中，L是亮度，并且T是曝光时间。

$L=\frac{\mathrm{La}}{\mathrm{Ta}}\×T\·\·\·\left(8\right)$

将亮度饱和值代入公式(8)，可以获得使关注像素达到亮度饱和的曝光时间Ts。当在第一图像中的关注区域中包含多个亮度饱和像素时，曝光时间Ts是用于多个亮度饱和像素的曝光时间的最短曝光时间。将短于曝光时间Ts、并且是可设置的曝光时间中的最长的曝光时间T2(与亮度L2相对应的曝光时间)确定为获得第二图像时的曝光时间。

随后，在步骤S13，经由系统控制器106将在步骤S12所确定的曝光时间从图像处理器104传送至摄像光学系统控制器105以复位曝光时间。然后，类似于在步骤S10获得第一图像，获得第二图像作为输入图像。因此，在步骤S10和S13，图像获得部200获得具有相互不同的曝光的第一图像和第二图像。

接着，在步骤S14，图像处理器104的区域选择部203确定针对在步骤S10所获得的第一图像和在步骤S13所获得的第二图像各自进行图像恢复处理的区域。图8A和8B是说明在获得图7所示的输入图像分别作为第一图像和第二图像时进行图像恢复处理的区域的图。图8A示出针对第一图像进行图像恢复处理的区域(第一图像选择区域)，并且图8B示出针对第二图像进行图像恢复处理的区域(第二图像选择区域)。

第一图像是图像整体具有最佳亮度分布的图像(像素)。因此，选择除由亮度饱和像素、或者亮度饱和像素及其周围像素所构成的亮度饱和部以外的区域，即，除亮度饱和部A和B以外的区域，作为进行图像恢复处理的区域(第一图像选择区域)。另一方面，在进行图像恢复之后，使用第二图像替换第一图像的亮度饱和部，即亮度饱和部A和B。因此，选择与第一图像的亮度饱和部相对应的第二区域作为进行图像恢复处理的区域(第二图像选择区域)。因此，区域选择部203从第一图像选择不同于包含亮度饱和部的区域的第一区域(第一图像选择区域)，并且从第二图像选择与第一图像的包含亮度饱和部的区域相对应的第二区域(第二图像选择区域)。

在本实施例中，为了效率，仅选择用作合成图像的区域作为进行图像恢复处理的区域。换句话说，图像恢复处理部201仅对第一图像的第一区域和第二图像的第二区域进行图像恢复处理。然而，本实施例不局限于此。例如，为了简化处理，将第一图像和第二图像整体选择作为还可以进行图像恢复处理的区域，以在进行图像恢复处理之后仅提取获得合成图像所需的像素(图像)。在这种情况下，图像恢复处理部201对整个第一图像和第二图像进行图像恢复处理。

接着在步骤S15，选择适于摄像条件的图像恢复滤波器。换句话说，选择适于各所选择的区域的图像恢复滤波器。摄像条件是焦距、光圈值或被摄体距离等。可以从摄像设备100直接获得与摄像条件有关的信息。可以从预先存储在图像处理器104中的数据选择图像恢复滤波器，或者可选地，可以通过根据摄像条件校正预先存储的数据来生成图像恢复滤波器。在本实施例中，对于图像中的位置，通过使用预先离散存储的图像恢复滤波器的数据的预定插值处理，来生成位置之间的图像恢复滤波器。例如，使用双线性插值(线性插值)或者双三次插值进行插值处理，但是本实施例不局限于此。还可以通过类似的插值处理来生成光圈、被摄体距离、或变焦透镜的焦距等，因此可以减少预先存储的图像恢复滤波器的数据的量。作为预先存储的数据，还可以使用诸如PSF、OTF、MTF、PTF、图像恢复滤波器的频率特性等的用于生成图像恢复滤波器的原始数据，通过运算来生成图像恢复滤波器。

接着在步骤S16，图像处理器104的图像恢复处理部201使用在步骤S15所选择的图像恢复滤波器，针对进行图像恢复的各区域(第一图像选择区域和第二图像选择区域)进行图像恢复处理。换句话说，图像恢复处理部201分别针对用于第一图像的第一区域(第一图像选择区域)和第二图像的第二区域(第二图像选择区域)，使用基于光学传递函数OTF所生成的图像恢复滤波器，进行图像恢复处理。

当在进行图像恢复处理的各区域中不存在亮度饱和像素(亮度饱和部)时，在进行图像恢复处理之后适当校正各区域中的像差(非对称像差)，因此，使图像的亮度分布锐化。在本实施例中，使用基于摄像光学系统101的光学传递函数(OTF)所生成的图像恢复滤波器，进行因摄像光学系统101的像差而劣化的各区域的图像恢复处理。当指定图像恢复滤波器以使得图像恢复度，即图像恢复增益大时，图像接近理想图像，但是由于图像被锐化，所以噪声也被放大。因此，优选通过适当调整图像恢复度来平衡恢复后的图像性能和噪声的量。

接着在步骤S17，合成进行了图像恢复处理的各区域(第一图像选择区域和第二图像选择区域)，以生成具有锐利的亮度分布的图像。换句话说，图像替换部202利用第二图像的第二区域(第二图像选择区域)替换第一图像的包含亮度饱和部的区域，并且对第一图像的第一区域(第一图像选择区域)和第二图像的第二区域(第二图像选择区域)进行合成以生成一个图像。

进行了图像恢复处理的各图像的曝光相互不同。因此，首先，调整各图像的曝光。换句话说，当图像替换部202利用第二图像的第二区域替换第一图像的包含亮度饱和部的区域时，进行曝光调整以使得第二图像的曝光与进行图像恢复处理之前的第一图像的曝光相同。例如，假定第一图像的F值和ISO感光度分别与第二图像的相同，并且第一图像的曝光时间T1和第二图像的曝光时间T2具有关系T1＝T2×2。在这种情况下，第一图像的亮度是第二图像的亮度的两倍。因此，将从第二图像所提取的恢复图像的亮度放大两倍，从而调整曝光。在本实施例中，尽管第一图像的F值和ISO感光度分别与第二图像的相同，但是它们可以不必相互相等。在这种情况下，根据各变量的变化，增大或减小合成图像所使用的各区域的亮度，从而使得图像的曝光相互一致。在对各区域进行该处理之后，图像处理器104的图像替换部202粘贴(合成)各区域的图像以使得能够生成锐利的、且不会具有奇怪感觉的合成图像。

在替换图像时，除用于调整图像之间的曝光的处理以外，还可以对第二图像的第二区域或者第一图像的第一区域进行用于使得所生成的图像表现更自然的处理。存在各种类型的这些处理，例如，为了不使得亮度变化方式急剧，考虑对边界处的像素或者其周围像素应用平滑滤波器。可以在替换图像之前对图像进行这些处理，或者可选地，可以在替换图像之后，应用用于进行以使得亮度的斜率平缓的处理。

在本实施例中，改变曝光时间，即，使用相互不同的曝光时间，通过图像获得部200获得具有相互不同的曝光的第一图像和第二图像，但是本实施例不局限于此。例如，还可以通过改变ISO感光度、F值或者ND滤波器(ND滤波器的类型)来改变曝光。

在本实施例中，曝光是指改变拍摄图像的亮度以及光强度所使用的值。当改变ISO感光度以获得具有相互不同的曝光的图像时，在步骤S12，确定对于第二图像适合的ISO感光度。在本实施例中，拍摄具有足够短的曝光时间的图像，并且基于此时的亮度和曝光时间之间的关系，获得第二图像，而且，当使用ISO感光度时，也可以通过相同方法导出第二图像。尽管关注参数不同，但是使用不会存在亮度饱和部的足够低的ISO感光度来拍摄图像，并且基于此时的亮度和ISO感光度来计算与公式(8)相对应的关系式。基于所计算出的关系式获得关注像素达到亮度饱和时的ISO感光度，并且将作为小于该ISO感光度的最大可设置值的值确定为第二图像的ISO感光度。在步骤S13之后是类似于本实施例的处理，因此省略说明，并且这样进行该处理，从而可以生成锐利的、且对于ISO感光度不会有奇怪感觉的合成图像。另外，即使当改变F值或ND滤波器时，通过在步骤S12计算与关注像素的亮度相对应的关系，也可以获得适当的第二图像，并且类似地可以生成锐利的合成图像。

实施例2

接着参考图12，说明本发明的实施例2的摄像设备。图12是本实施例的摄像设备100a的结构图。在摄像设备100a中，安装对拍摄图像进行图像恢复处理(图像处理方法)的程序，并且通过摄像设备100a中的图像处理器104a(图像处理设备)进行图像恢复处理。除图像处理器104a以外，本实施例的摄像设备100a具有与实施例1的摄像设备100的共同的结构，因此，省略对共同结构的说明。

除实施例1的图像处理器104的各元件以外，图像处理器104a还设置有亮度饱和判断部204和使用图像选择部205。亮度饱和判断部204判断在图像或者图像的关注部的区域中是否存在亮度饱和像素(亮度饱和部)。使用图像选择部205选择在生成合成图像时所使用的原始输入图像。下面详细说明通过亮度饱和判断部204和使用图像选择部205所进行的处理。

接着参考图10，说明本实施例的图像处理方法。图10是示出本实施例的图像处理方法的流程图。通过图像处理器104a基于系统控制器106的指示进行图10的各步骤。

首先，在步骤S31，图像处理器104a获得具有相互不同的曝光的多个拍摄图像作为输入图像。如果在所获得的输入图像中的整个图像的亮度平衡的图像(具有适当曝光的图像)中不存在亮度饱和部(亮度饱和像素)，则可以直接进行图像恢复处理。因此，类似于实施例1，假定在具有适当曝光的输入图像中包含亮度饱和部。将以适当曝光所拍摄的图像定义为第一图像，并且假定第一图像如图7所示具有亮度饱和部A和B。

接着在步骤S32，在步骤S31所获得的多个输入图像中，选择用于替换第一图像中的亮度饱和部的原始图像。通过使用图像选择部205进行该选择处理，并且将用于替换第一图像的亮度饱和部A的原始图像定义为第二图像，而将用于替换第一图像的亮度饱和部B的原始图像定义为第三图像。在这种情况下，优选在第二图像的与亮度饱和部A相对应的区域和第三图像的与亮度饱和部B相对应的区域中不包含亮度饱和部(亮度饱和像素)。第二图像和第三图像还可以是同一图像。

接着，在步骤S33，针对第一图像、第二图像和第三图像中的每一个，确定要进行图像处理的区域。图11A～11C是说明在获得图7所示的输入图像作为第一图像、第二图像和第三图像的情况下进行图像恢复处理的区域的图。图11A示出进行图像恢复处理的第一图像中的区域(第一图像选择区域)，图11B示出进行图像恢复处理的第二图像中的区域(第二图像选择区域)，并且图11C示出进行图像恢复处理的第三图像的区域(第三图像选择区域)。

第一图像是整个图像具有最佳亮度分布的图像。因此，选择除由亮度饱和像素、或者亮度饱和像素及其周围像素所构成的亮度饱和部以外的区域(除亮度饱和部A和B以外的区域)，作为进行图像恢复处理的区域。对于第二图像和第三图像，由于在进行图像恢复之后替换第一图像的亮度饱和部A和B，所以将与第一图像的亮度饱和部A和B相对应的第二图像和第三图像各自的区域设置成进行图像恢复的区域。

在本实施例中，为了效率，仅选择用作合成图像的区域作为进行图像恢复处理的区域，但是本实施例不局限于此。例如，为了简化处理，还可以选择整个第一图像、第二图像和第三图像作为进行图像恢复处理的区域，然后在进行图像恢复处理之后仅提取合成图像所需的像素来合成图像。

接着在步骤S34，选择适合于各选择区域的图像恢复滤波器。随后，在步骤S35，图像处理器104a的图像恢复处理部201使用在步骤S34所选择的图像恢复滤波器，对进行图像恢复的各区域(第一图像选择区域、第二图像选择区域和第三图像选择区域)进行图像恢复处理。步骤S34和S35分别与实施例1的步骤S15和S16相同，因此省略对这些步骤的说明。

最后，在步骤S36，对进行了图像恢复处理的各区域(第一图像选择区域、第二图像选择区域和第三图像选择区域)进行合成以生成具有锐利亮度分布的一个图像。在本实施例中，进行了图像恢复处理的各图像的曝光相互不同。因此，首先，调整各图像的曝光。例如，假定第一图像、第二图像和第三图像各自的F值和ISO感光度相同，并且第一图像的曝光时间T1和第二图像的曝光时间T2、以及第一图像的曝光时间T1和第三图像的曝光时间T3分别具有关系T1＝T2×2和T1＝T3×3。在这种情况下，第一图像的亮度是第二图像的亮度的两倍，并且第一图像的亮度是第三图像的亮度的三倍。因此，将从第二图像和第三图像所提取的恢复图像的亮度分别放大两倍和三倍来调整曝光。在本实施例中，尽管第一图像、第二图像和第三图像各自的F值和ISO感光度分别相同，但是它们可以不必相互相等。在这种情况下，根据各变量的变化，针对用于合成图像的各区域来增大或减小亮度，从而使得图像的曝光相互一致。在对各区域进行该处理之后，图像处理器104a的图像替换部202粘贴(合成)各区域的图像，以使得能够生成锐利的、不会具有奇怪感觉的合成图像。

在本实施例中，对在步骤S35所选择的各区域进行图像恢复，然后在步骤S36对在进行图像恢复之后所获得的各区域进行合成，以生成锐利图像。换句话说，图像替换部202对第一图像的第一区域和第二图像的第二区域进行图像恢复处理，然后对第一图像和第二图像进行合成。然而，本实施例不局限于此，并且还可以替换这些步骤的顺序以在进行图像恢复之前合成图像。在这种情况下，在粘贴(合成)图像时，可以进行预定曝光调整以在步骤S36生成一个合成图像，然后可以对合成图像进行图像恢复处理以生成锐利合成图像。换句话说，图像恢复处理部201通过图像替换部202对第一图像和第二图像进行合成，然后对第一图像和第二图像进行图像恢复处理。

在上述各实施例中，说明了图像处理器(图像处理设备或信息处理设备)被内置于摄像设备中的情况，但是本实施例不局限于此。例如，还可以将图像处理器设置在不同于摄像设备的信息处理设备中。

根据上述各实施例的图像处理设备，由于使用具有相互不同的曝光的多个图像进行用于降低像差的处理，所以即使对于包含亮度饱和部的图像也可以有效校正像差，并且可以生成锐度提高的图像。因此，根据上述各实施例，可以提供一种有效降低包含亮度饱和部的图像的像差的图像处理设备、摄像设备和图像处理方法。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种图像处理设备，包括：

图像获得部，用于获得具有相互不同的曝光的第一图像和第二图像，

其特征在于，所述图像处理设备还包括：

区域选择部，用于从所述第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从所述第二图像选择与所述第一图像的所述包含亮度饱和部的区域相对应的第二区域；

图像恢复处理部，用于通过针对所述第一图像的第一区域和所述第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，来进行图像恢复处理以降低像差；以及

图像替换部，用于利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域，从而对所述第一图像的第一区域和所述第二图像的第二区域进行合成以生成一个图像，

其中，所述图像恢复滤波器是基于用于拍摄所述第一图像和所述第二图像的摄像光学系统的光学传递函数而生成的。

2.根据权利要求1所述的图像处理设备，其中，在利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域时，所述图像替换部进行曝光调整，使得所述第二图像的曝光与在进行所述图像恢复处理之前所获得的第一图像的曝光相同。

3.根据权利要求1或2所述的图像处理设备，其中，具有相互不同的曝光的所述第一图像和所述第二图像是在用于图像的曝光时间、ISO感光度、光圈值和ND滤波器的类型中的至少一个相互不同的状态下所拍摄的图像。

4.根据权利要求1或2所述的图像处理设备，其中，在所述图像恢复处理部对所述第一图像的第一区域和所述第二图像的第二区域进行所述图像恢复处理之后，所述图像替换部对所述第一图像和所述第二图像进行合成。

5.根据权利要求1或2所述的图像处理设备，其中，在所述图像替换部对所述第一图像和所述第二图像进行合成之后，所述图像恢复处理部对所述第一区域和所述第二区域进行所述图像恢复处理。

6.根据权利要求1或2所述的图像处理设备，其中，所述图像恢复处理部对所述第一图像和所述第二图像的整个区域进行所述图像恢复处理。

7.根据权利要求1或2所述的图像处理设备，其中，所述图像恢复处理部仅对所述第一图像的第一区域和所述第二图像的第二区域进行所述图像恢复处理。

8.一种摄像设备，包括：

图像获得部，用于获得具有相互不同的曝光的第一图像和第二图像，

其特征在于，所述摄像设备还包括：

区域选择部，用于从所述第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从所述第二图像选择与所述第一图像的所述包含亮度饱和部的区域相对应的第二区域；

图像恢复处理部，用于通过针对所述第一图像的第一区域和所述第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，来进行图像恢复处理以降低像差；以及

图像替换部，用于利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域，从而对所述第一图像的第一区域和所述第二图像的第二区域进行合成以生成一个图像，

其中，所述图像恢复滤波器是基于用于拍摄所述第一图像和所述第二图像的摄像光学系统的光学传递函数而生成的。

9.一种图像处理方法，包括以下步骤：

图像获得步骤，用于获得具有相互不同的曝光的第一图像和第二图像，

其特征在于，所述图像处理方法还包括以下步骤：

区域选择步骤，用于从所述第一图像选择与包含亮度饱和部的区域不同的第一区域，并且从所述第二图像选择与所述第一图像的所述包含亮度饱和部的区域相对应的第二区域；

图像恢复处理步骤，用于通过针对所述第一图像的第一区域和所述第二图像的第二区域，使用基于光学传递函数所生成的图像恢复滤波器，来进行图像恢复处理以降低像差；以及

图像替换步骤，用于利用所述第二图像的第二区域替换所述第一图像的所述包含亮度饱和部的区域，从而对所述第一图像的第一区域和所述第二图像的第二区域进行合成以生成一个图像，

其中，所述图像恢复滤波器是基于用于拍摄所述第一图像和所述第二图像的摄像光学系统的光学传递函数而生成的。