CN103826033A - 图像处理方法、图像处理设备、图像拾取设备和存储介质 - Google Patents

Abstract

本发明涉及图像处理方法、图像处理设备、图像拾取设备和存储介质。一种图像处理方法包括：获取由包括至少一个成像光学系统（102）并且取决于光瞳中的相应光线通过的光线通过区域而使得来自被摄体空间（101）中的相同点的光线分别进入不同的图像拾取像素（104）的图像拾取系统产生的输入图像，执行包括恢复劣化图像的图像恢复处理和估计饱和区域的亮度的亮度估计处理中的至少一个的整形处理、重构与输入图像不同的新图像的重构处理，以及执行模糊添加处理，以向添加目标图像添加图像模糊分量。所述方法在重构处理和模糊添加处理之前执行整形处理。

Description

图像处理方法、图像处理设备、图像拾取设备和存储介质

技术领域

本发明涉及一种使用通过图像捕获获得的光线信息重构各种图像并输出重构的图像的图像处理技术。

背景技术

通过将来自成像光学系统的光通过微透镜阵列引入到图像传感器或者通过使用成像光学系统和图像传感器（即，图像拾取设备）的组合来执行图像捕获，可以提供包括来自被摄体空间中的各个点的光线的强度或方向的光线信息。提出了一种通过使用光线信息重构图像的图像处理技术，对该图像执行焦点位置、景深或视点方向的调整。Ren Ng和其它七个人的斯坦福技术报告CTSR2005-02A“light fieldphotography with a hand-held plenoptic camera”公开了一种方法“光场摄影”，该方法获取关于来自被摄体的光线的位置和角度（方向）的信息，并且使用获取的信息重构聚焦在任意位置上的图像或者从任意视点方向观看到的图像。

一般地，使用宽角度透镜的图像捕获或者使用具有小图像传感器的图像拾取设备的图像捕获由于其短焦距而可以提供具有大的景深的图像（即，完全对焦图像）。另外，利用收窄的光圈的图像捕获也可以提供大的景深的图像。有时对这种图像执行向其故意地添加模糊（图像模糊分量）的图像处理（在下文中被称为“模糊添加处理”），以便强调主被摄体或者柔和图像的氛围。

在图像中出现的模糊包括通过由于其距离不同于聚焦距离的被摄体的位置产生的离焦而引起的模糊和由于光学系统中的像差或衍射而引起的模糊。被故意地添加到图像的上述模糊是由于离焦而引起的模糊（在下文中被简称为“模糊”或“离焦模糊”）。

日本专利公开No.2009-159357公开这样一种技术，该技术将来自成像光学系统的光通过微透镜阵列引入到图像传感器以获得多个像素的数据，并且对对应于视点方向的数据执行加权，以重构调整了景深的图像或者表现（express）各种模糊的图像。日本专利公开No.2003-18438公开了一种图像拾取设备，该图像拾取设备使用具有不同光学特性的成像光学系统的多个照相机来同时获取向其添加了不同的模糊的图像。

在日本专利公开No.2009-159357中公开的技术控制重构中的模糊的形状以表现各种模糊。在日本专利公开No.2003-18438中公开的技术基于由多个照相机获得的图像信息来表现不同的模糊。但是，在日本专利公开No.2009-159357和No.2003-18438中，根据成像光学系统的F数来定义要表现的模糊的大小，并且，没有公开作为向图像添加其大小对应于比成像光学系统的F数小的F数的模糊的图像处理的模糊添加处理。

而且，模糊添加处理具有如下问题。第一个问题是由于成像光学系统的光学特性而引起的。不管离焦量、图像传感器的大小和焦距如何，通过图像捕获获得的图像都包括由于上述的成像光学系统中的像差或衍射而引起的不止一点点的模糊。向包括由于像差或衍射而引起的模糊的这种图像添加离焦模糊使得难以表现自然模糊。

例如，当向图18A中示出的作为点光源的被摄体的图像添加具有圆对称形状的离焦模糊时，获得自然模糊，如图18B中所示。但是，例如，当向如图18C中所示的由于彗差而发生模糊的图像添加圆对称离焦模糊时，获得不自然的模糊，如图18D中所示。

当向亮度饱和区域添加模糊时出现第二个问题。图19A示出亮度饱和区域的一个截面的亮度分布。图19A中的饱和值是可以由数字图像表现的最大亮度值。当向图19A中示出的亮度饱和区域添加模糊时，获得图19B中示出的平缓的曲线形的亮度分布。图19C示出在F数小于图19A中示出的F数的条件下捕获的图像的亮度分布。图19B中示出的模糊的亮度分布低于图19C中示出的模糊的亮度分布。也就是说，仅仅通过向亮度饱和区域添加模糊，不能表现在F数小的条件下捕获的图像的亮度饱和区域中的模糊。

发明内容

本发明提供能够在使用通过图像捕获获得的光线信息来重构图像时添加良好的模糊的图像处理方法和图像处理设备。

作为本发明的一个方面，本发明提供一种图像处理方法，该图像处理方法包括：获取由包括至少一个成像光学系统并根据所述至少一个成像光学系统的光瞳平面中的相应的光线通过的光线通过区域使得来自被摄体空间中的相同点的光线分别进入不同的图像拾取像素的图像拾取系统产生的输入图像；执行整形处理，该整形处理包括基于图像拾取系统的光学传递函数来对恢复目标图像进行恢复的图像恢复处理和对估计目标图像中的亮度饱和区域中的亮度值进行估计的亮度估计处理中的至少一个；执行重构处理以重构与输入图像不同的新图像；以及执行模糊添加处理，以向添加目标图像添加图像模糊分量。所述方法在重构处理和模糊添加处理之前执行整形处理。

作为本发明的另一个方面，本发明提供一种对输入图像执行图像处理的图像处理设备。输入图像是由图像拾取系统产生的，该图像拾取系统包括至少一个成像光学系统，并且，根据所述至少一个成像光学系统的光瞳平面中的相应的光线通过的光线通过区域使得来自被摄体空间中的相同点的光线分别进入不同的图像拾取像素。图像处理包括：整形处理，该整形处理包括基于图像拾取系统的光学传递函数来对恢复目标图像进行恢复的图像恢复处理和对估计目标图像中的亮度饱和区域中的亮度值进行估计的亮度估计处理中的至少一个；重构处理，重构与输入图像不同的新图像；以及模糊添加处理，向添加目标图像添加图像模糊分量。所述图像处理在重构处理和模糊添加处理之前执行整形处理。

作为本发明的另一个方面，本发明提供一种图像拾取设备，该图像拾取设备包括：图像拾取系统，包括至少一个成像光学系统，并且，被配置为根据所述至少一个成像光学系统的光瞳平面中的相应的光线通过的光线通过区域使得来自被摄体空间中的相同点的光线分别进入不同的图像拾取像素；以及上述的图像处理设备。

作为本发明的再一个方面，本发明提供一种非暂态存储介质，该非暂态存储介质存储作为计算机程序的使得计算机对输入图像执行图像处理的图像处理程序。由图像拾取系统产生输入图像，该图像拾取系统包括至少一个成像光学系统并且根据所述至少一个成像光学系统的光瞳平面中的相应的光线通过的光线通过区域使得来自被摄体空间中的相同点的光线分别进入不同的图像拾取像素。图像处理包括：整形处理，该整形处理包括基于图像拾取系统的光学传递函数来对恢复目标图像进行恢复的图像恢复处理和对估计目标图像中的亮度饱和区域中的亮度值进行估计的亮度估计处理中的至少一个；重构处理，重构与输入图像不同的新图像；以及模糊添加处理，向添加目标图像添加图像模糊分量。所述图像处理在重构处理和模糊添加处理之前执行整形处理。

根据下面参照附图描述的实施例，本发明的其它方面将是清楚的。

附图说明

图1是示出包括作为本发明的实施例1的图像处理设备的图像拾取设备的配置的框图。

图2是示出由实施例1的图像处理设备执行的处理的流程图。

图3是示出包括作为本发明的实施例2的图像处理设备的图像拾取设备的配置的框图。

图4是示出由实施例2的图像处理设备执行的处理的流程图。

图5是示出包括作为本发明的实施例3的图像处理设备的图像拾取设备的配置的框图。

图6是示出由实施例3的图像处理设备执行的处理的流程图。

图7示出捕获的场景的例子。

图8示出通过透镜阵列的微透镜的光线进入其中的图像传感器的区域。

图9示出经重构处理重构的图像。

图10A至10D示出模糊添加处理。

图11示出亮度饱和区域。

图12A和12B示出亮度估计处理。

图13示出与图像恢复处理有关的MTF。

图14A和14B示出用于图像恢复处理的图像恢复滤波器。

图15示出对图像恢复滤波器的选择。

图16A和16B示出使用维纳滤波器的图像恢复处理。

图17A至17C示出模糊函数的例子。

图18A至18D示出当向根据成像光学系统的光学特性改变的被摄体图像添加模糊时的问题。

图19A至19C示出当向亮度饱和区域添加模糊时的问题。

图20示出在整形处理或模糊添加处理中使用的滤波器。

具体实施方式

下面将参照附图描述本发明的示例性实施例。

[实施例1]

图1示出包括作为本发明的第一实施例（实施例1）的图像处理设备的图像处理器107的图像拾取设备114的配置。附图标记101是被摄体面（被摄体空间）。人或物不必一定处于被摄体面101上。这是因为，通过在图像捕获之后的重构处理，可以产生被聚焦在被设置得比被摄体面101更远或更近的人或物上的图像。在稍后描述的其它实施例中同样是如此。

附图标记102是成像光学系统（图像拾取光学系统）。附图标记103是包括多个微透镜的透镜阵列。透镜阵列103被设置在成像光学系统102的相对于被摄体面101的像侧共轭平面处，并且，充当分割成像光学系统102的光瞳（出射光瞳）的光瞳分割器。成像光学系统102的出射光瞳和图像传感器104具有由透镜阵列103提供的共轭关系。图像传感器104是诸如CMOS传感器或CCD传感器的光电转换元件，并且包括多个像素（图像拾取像素）。

在本实施例中，透镜阵列103用作光瞳分割器。但是，与透镜阵列不同的诸如针孔阵列的元件可以用作光瞳分割器。另外，多个透镜阵列可以用作透镜阵列103。在本实施例中，使用固体透镜。但是，可以使用各种透镜，例如，液体透镜、液晶透镜和衍射光学元件。

附图标记115是改变成像光学系统102的焦距或光圈值或者控制聚焦的光学系统控制器。

来自被摄体面101的光线通过成像光学系统102和透镜阵列103，以根据光线在被摄体面101上的位置和角度来进入图像传感器104的不同的像素。透镜阵列103使得来自被摄体面101上的相同位置（相同点）的光线进入图像传感器104的不同的像素，而不会使光线进入相同的像素。也就是说，透镜阵列103使得来自被摄体空间中的相同点的光线根据成像光学系统102的光瞳平面中的光线通过区域进入不同的图像拾取像素。另外，透镜阵列103还使得来自被摄体面101上的不同位置的光线进入图像传感器104的不同的像素。图像传感器104对光线执行光电转换，以提供关于各光线的位置和方向（角度）的信息。

从图像传感器104输出的模拟电信号由A/D转换器105转换为数字信号，并且，该数字信号被输入到图像处理器107。图像处理器107从作为关于各光线的位置和方向（角度）的信息的光线信息产生在其中布置从多个视点观看被摄体面101上的相同区域的像素组的图像，即，作为包括视差信息的图像数据的输入图像。成像光学系统102、透镜阵列103和图像传感器104（另外，产生输入图像的图像处理器107的一部分）构成图像拾取系统。

而且，图像处理器107读取在存储器106中存储的各种信息。所述各种信息包括关于图像拾取系统的（成像光学系统102和透镜阵列103的）光学特性的信息和关于图像拾取条件的信息，例如，关于成像光学系统102的光圈值和焦距的信息以及关于曝光的信息。所述各种信息还包括关于稍后描述的图像恢复滤波器的信息。图像处理器107可以在必要的时候从图像拾取设备114之外获取这样的各种信息，而不是从存储器106读取它。

图像处理器107包括距离信息获取器108、图像重构器109、图像恢复器110和模糊添加器111，它们中的每一个执行如下处理。由图像处理器107对其执行了处理的图像，即，向其添加了“模糊”（稍后描述）的重构图像，被存储在诸如半导体存储器的图像存储介质112中，或者，被显示在由液晶显示器等构成的显示单元113上。

接下来，将描述在本实施例中执行的图像恢复处理。通过对点扩展函数（PSF）执行傅里叶变换而获得的光学传递函数（OTF）是由复数表达的像差和衍射的频率分量信息。光学传递函数（OTF）的绝对值，即，振幅分量被称为调制传递函数（MTF），并且，相位分量被称为相位传递函数（PTF）。MTF和PTF分别是由于像差和衍射引起的图像劣化的振幅分量的频率特性和图像劣化的相位分量的频率特性。在本实施例中，相位分量是相位角并且由下式表示：

PTF=tan^-1(Im(OTF)/Re(OTF))

其中，Re(OTF)和Im(OTF)分别表示OTF的实部和其虚部。

因此，在图像拾取系统中包含的光学系统的光学传递函数（OTF）劣化了图像的振幅分量和相位分量。因此，劣化图像中的被摄体的各个点如彗差一样不对称地模糊。

作为校正劣化图像（输入图像）中的振幅分量（MTF）的劣化和劣化图像中的相位分量（PTF）的劣化的方法，已知一种使用关于光学系统的光学传递函数的信息的方法。该方法被称为图像恢复或图像复原。用于通过使用关于光学系统的光学传递函数的信息校正劣化图像（减少劣化分量）的处理被称为“图像恢复处理”（或者，被简称为“恢复处理”）。

当g(x,y)表示通过使用光学系统进行图像捕获而产生的输入图像（劣化图像），f(x,y)表示非劣化的原始图像，h(x,y)表示与光学传递函数（OTF）形成傅里叶对的点扩展函数（PSF），*表示卷积，(x,y)表示图像上的坐标（位置）时，下式成立：

g(x,y)=h(x,y)*f(x,y)。

将上式转换为二维频率表面的显示形式对每一种频率提供乘积形式的下式：

G(u,v)=H(u,v)·F(u,v)

其中，H表示对应于光学传递函数（OTF）的点扩展函数（PSF）的傅里叶变换的结果，G和F分别表示g和h的傅里叶变换的结果，(u,v)表示二维频率表面（换句话说，频率）上的坐标。

如下将上式的两边除以H使得可以从劣化图像获取原始图像：

G(u,v)/H(u,v)=F(u,v)。

通过其逆傅里叶变换将该F(u,v)即G(u,v)/H(u,v)返回到真实表面，提供等同于原始图像f(x,y)的恢复图像。

当R表示H^-1的逆傅里叶变换的结果时，由下式表达的对真实表面中的图像执行卷积处理也使得能够提供原始图像：

g(x,y)*R(x,y)=f(x,y)。

该R(x,y)是图像恢复滤波器。当输入图像是二维图像时，图像恢复滤波器通常也是具有对应于二维图像的像素的抽头（tap）（单元）的二维滤波器。而且，一般地，随着图像恢复滤波器中的抽头（单元）的数量增加，图像恢复精度提高，从而根据请求的图像质量、图像处理能力、光学系统的像差和衍射特性等来设置可实现的抽头数。

由于图像恢复滤波器需要至少反映像差和衍射特性，所以图像恢复滤波器完全不同于在水平和垂直方向中的每一个上具有约三个抽头的传统的边缘增强滤波器（高通滤波器）。由于基于包括关于像差和衍射的信息的光学传递函数（OTF）来产生图像恢复滤波器，所以劣化图像（输入图像）的振幅和相位分量的劣化可以被高度精确地校正。

由于真实图像包括噪声分量，所以使用从上述的光学传递函数（OTF）的完全逆数产生的图像恢复滤波器放大劣化图像并一起放大噪声分量，这通常使得不可能提供良好的恢复图像。这是因为，在向图像的振幅分量添加噪声分量的振幅的状态中，这种图像恢复滤波器在整个频率范围上将光学系统的MTF（振幅分量）升高到1。虽然由光学系统劣化的MTF被返回到1，但是噪声分量的功率谱也同时被升高，这导致根据MTF的升高度（即，恢复增益）来放大噪声分量。

因此，噪声分量使得不可能提供良好的图像用于欣赏。噪声分量的这种升高可以由下式表达，其中N表示噪声分量：

G(u,v)=H(u,v)·F(u,v)+N(u,v)

G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v)

作为解决这种问题的方法，例如，已知有由下式（1）表示的维纳滤波器，其根据图像信号和噪声信号的强度比（SNR）来控制恢复增益。

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\mathrm{SNR}}^2}\·\·\·\left(1\right)$

在式（1）中，M(u,v)表示维纳滤波器的频率特性，并且，|H(u,v)|表示光学传递函数（OTF）的绝对值（MTF）。该方法随着MTF越低而降低恢复增益，换句话说，该方法随着MTF越高而增大恢复增益。光学系统的MTF通常在低频率侧范围上高而在高频率侧范围上低，从而结果是，该方法抑制了图像信号的高频率侧范围上的恢复增益。

将参照图14描述图像恢复滤波器。对于图像恢复滤波器，根据光学系统的像差和衍射特性以及所需的图像恢复精度来决定抽头数。

作为一个例子，图14A示出包括11×11个抽头的二维图像恢复滤波器。在图14A中，没有示出抽头值（系数），所述抽头值中的每一个都是每一个抽头中的值。图14B示出图像恢复滤波器的一截面，并且示出图像恢复滤波器的抽头值的例子；每一个抽头值是基于光学系统的各种像差和衍射的信息来设置的。理想地，图像恢复滤波器的抽头值的这种分布将由于像差和衍射而导致的空间上扩展的信号值（PSF）返回到一个原始点。

在图像恢复处理中，对对应于该抽头的输入图像的每一个像素执行图像恢复滤波器的每一个抽头的每一个抽头值的卷积。在卷积处理中，为了改善输入图像中的某一像素的信号值，将该像素与图像恢复滤波器的中心抽头匹配。然后，对于每一个对应的像素和抽头，计算输入图像的信号值和图像恢复滤波器的抽头值（系数）之积，并且，中心像素的信号值由这些积的总和代替。

对输入图像执行实空间中的这种图像恢复滤波器的卷积，使得可以执行图像恢复，而不需要在图像恢复处理中对图像执行傅里叶变换或逆傅里叶变换。

通过对基于光学系统的光学传递函数（OTF）的逆函数设计的函数执行逆傅里叶变换，可以产生图像恢复滤波器。例如，维纳滤波器的逆傅里叶变换使得能够产生实空间中的实际上对输入图像卷积的图像恢复滤波器。

即使图像拾取条件相同，光学传递函数（OTF）也根据光学系统的图像高度（图像上的位置）改变。因此，根据图像高度来改变要使用的图像恢复滤波器。

接下来，将描述在本实施例中使用并且具体地具有提高像差对称性的功能的图像恢复滤波器。如从式（1）理解的，下式（2）中的rOTF的一部分对应于恢复图像的频率特性，该恢复图像是在对图18A中示出的通过捕获点光源获得的输入图像执行图像恢复之后的图像。

$M(u,v)=\frac{1}{H(u,v)}\left[\mathrm{rOTF}\right]\·\·\·\left(2\right)$

在式（2）中，rOTF表示任意的函数。由于希望恢复图像的相位劣化分量是零，所以rOTF不具有相位分量是足够的。由于rOTF只包括实部，所以它基本上等于rMTF。虽然希望rOTF只具有实部，但是rOTF可以具有在可允许范围内的虚部的值。换句话说，可以获取好像通过如下方式产生的图像就足够了：通过其光学传递函数（OTF）具有对应于rOTF的特性的光学系统（即，成像光学系统102和透镜阵列103），不仅对点光源而且对任何其它被摄体进行图像捕获。

因此，本实施例使用与主光线（通过成像光学系统的中心的光线）正交的方位方向之间的共用的OTF(rH(u,v))来将式（2）改变为下式（3）。使用式（3）使得可以获取好像通过其MTF在各方位之间没有差异的光学系统进行图像捕获而产生的图像。

$M(u,v)=\frac{1}{H(u,v)}\frac{{\left|\mathrm{rH}(u,v)\right|}^2}{{\left|\mathrm{rH}(u,v)\right|}^2+{\mathrm{SNR}}^2}\·\·\·\left(3\right)$

将参照图16B描述上述效果。在图像恢复之前在不同方位中的MTF（a）和（b）相互不同。但是，在图像恢复之后在不同方位中的MTF（c）和（d）彼此相同。例如，图16B中示出的MTF（a）和（b）对应于子午方向和弧矢方向中的MTF。因此，在本实施例中使用的图像恢复滤波器使得能够在校正各方位之间的MTF的差异的同时执行图像恢复。

虽然在式（3）中在各方位之间使用共用的OTF(rH(u,v))，但是校正rH(u,v)从而各方位之间的OTF的差异变成小于在图像恢复之前的差异，这使得能够控制旋转对称性。图13示出旋转对称性没有被完全校正的例子。虽然在图13中示出的不同的方位中的MTF（c）和（d）不是完全彼此相同，但是校正使得它们之间的差异小于图16A中的MTF（c）和（d）之间的差异，从而降低PSF的非对称性。为了获取这种非对称校正效果，希望至少将图像恢复之后的各方位之间的MTF的差异控制为小于在图像恢复之前的差异。

由于式（3）中的H(u,v)根据方位改变，所以，不管rH(u,v)是否为各方位之间共用的，图像恢复滤波器都具有非对称系数布置。换句话说，图14B中示出的截面中的抽头值根据方位改变。

而且，光学传递函数（OTF）不仅可以包括成像光学系统102和透镜阵列103的像差和衍射，而且可以包括劣化图像拾取处理中的光学传递函数（OTF）的因素。例如，具有双折射性的光学低通滤波器相对于光学传递函数（OTF）的频率特性抑制高频分量。另外，图像传感器104中的像素开口的形状、开口比和渐晕影响频率特性。此外，光源的光谱特性和各种波长滤波器的光谱特性影响频率特性。希望基于包括上述因素的广泛意义上的光学传递函数（OTF）来产生图像恢复滤波器。而且，图像恢复滤波器的抽头不必一定方形地排列，抽头的排列可以被任意地改变，只要在图像恢复滤波器的卷积过程中考虑它即可。

因为与当图像劣化处理是非线性的情况相比，当图像劣化处理是线性的时，图像恢复处理可以更精确地执行用于将劣化图像恢复到原始图像的处理，所以希望对输入图像不进行非线性处理。因此，希望对马赛克（mosaic）图像（原图像）执行图像恢复处理。但是，如果通过颜色内插处理的其图像劣化处理是线性的，则可以类似地对去马赛克图像执行图像恢复处理，只要在产生图像恢复滤波器时考虑图像劣化处理的劣化函数即可。另外，当图像恢复所需的精度低时，或者，当难以获取经过了各种图像处理的图像时，可以对去马赛克图像执行图像恢复处理。不管它是马赛克图像还是去马赛克图像都可以对任何输入图像应用在本实施例中使用的图像处理方法。

将参照图2中示出的流程图来描述图像处理（图像处理方法），在本实施例中执行该图像处理，并且，该图像处理从输入图像产生经模糊添加的图像，该经模糊添加的图像是被添加了图像模糊分量（在下文中被简称为“模糊”）的图像。作为计算机的图像处理器107根据作为计算机程序的图像处理程序执行该图像处理。

在步骤S011，图像处理器107获取输入图像。在本实施例中，输入图像是由图像拾取系统产生的图像，该图像拾取系统使得来自被摄体面101上的每一点（每一个相同点）的光线根据成像光学系统102的光瞳平面的光线通过区域进入不同的图像拾取像素。输入图像包括关于来自被摄体面101上的每一点的光线的方向的信息。换句话说，输入图像是在其中布置通过从多个视点观看被摄体面101产生的像素组（即，其视点相互不同的多个小图像）的图像；输入图像包括视差信息。

在步骤S012，图像处理器107的距离信息获取器108从在步骤S011获取的包括视差信息的输入图像获取被摄体空间的距离信息。具体地说，距离信息获取器108从输入图像重构对应于各个视点的图像（视点图像），并且从视点图像当中的被摄体的像素偏移量来获取被摄体的距离信息。

在步骤S012执行的重构是获取距离信息，这不同于用于产生被添加模糊的图像的重构处理。获取距离信息的方法并不局限于重构视点图像的方法，而是，距离信息可以是通过例如DFF（离焦点的深度）来获取，该DFF使用通过在改变聚焦位置的同时执行多个图像捕获操作而获得的多个图像。另外，可以在用于自动聚焦的测距位置处获取距离信息。

然后，在步骤S013和S014，图像处理器107执行整形处理。在本实施例中，图像处理器107执行图像恢复处理作为整形处理。

在步骤S013，图像处理器107的图像恢复器110获取（选择或产生）与图像拾取条件（包括一个或多个被摄体的距离信息）以及成像光学系统102和透镜阵列103中的至少一个的光学特性相对应的图像恢复滤波器。下面将描述获取图像恢复滤波器的方法。

图15示意性地示出在存储器106中存储的图像恢复滤波器。在存储器106中存储的图像恢复滤波器被离散地布置（存储）在具有三个图像拾取条件轴的图像拾取条件空间中：焦距（条件A）的轴；光圈直径（条件B）的轴；和距离（条件C）的轴。图像拾取条件空间中的各个点（由黑圆示出）的坐标指示在存储器106中存储的图像恢复滤波器。虽然在图15中示出的图像恢复滤波器被布置在与各个图像拾取条件轴正交的线上的格点处，但是图像恢复滤波器可以被布置在格点之外。而且，图像拾取条件可以包括除变焦位置、光圈直径和物距以外的参数，并且，图像拾取条件的参数的数量并不局限于三个。也就是说，可以提供包括四个或更多个图像拾取条件的轴的四维或更多维的图像拾取条件空间，以在其中离散地布置图像恢复滤波器。

在布置存储的图像恢复滤波器的这种图像拾取条件空间中，图15中的大白圈表示实际的图像拾取条件。当存在对应于或近似对应于实际图像拾取条件的在存储器106中存储的图像恢复滤波器（在下文中被称为“存储的滤波器”）时，该存储的滤波器被选择用于图像恢复处理。当不存在对应于或近似对应于实际图像拾取条件的这种存储滤波器时，通过下述方法来选择或产生图像恢复滤波器。

首先，计算实际图像拾取条件和对应于图像拾取条件空间中的两个或更多个存储滤波器的图像拾取条件之间的距离。然后，选择与位于计算出的距离当中的最短距离的图像拾取条件相对应的存储的滤波器（在图15中由小白圈表示）。选择这种存储的滤波器使得实际图像拾取条件和对应于存储的滤波器的图像拾取条件之间的差（在下文中，被称为“条件差量”）最小。因此，可以减少用于存储的滤波器的校正量，从而产生与对应于实际图像拾取条件的图像恢复滤波器尽可能接近的图像恢复滤波器。另外，在图像恢复滤波器的选择中，可以根据图像拾取条件空间中的方向来执行加权。也就是说，可以通过使用图像拾取条件空间中的距离和方向权重之积作为评价函数来执行图像恢复滤波器的选择。

接下来，计算对应于选择的存储滤波器的图像拾取条件A、B和C与实际图像拾取条件之间的条件差量ΔA、ΔB和ΔC。然后，基于条件差量ΔA、ΔB和ΔC来计算条件校正系数。此外，通过使用条件校正系数来校正选择的存储滤波器。这样，可以产生对应于实际图像拾取条件的图像恢复滤波器。

而且，可以使用另一种方法，其中，选择其图像拾取条件接近于实际图像拾取条件的两个或更多个图像恢复滤波器，并且，使用两个或更多个图像恢复滤波器的条件差量来执行内插处理，以产生适用于实际图像拾取状态的图像恢复滤波器。通过按照线性内插、多项式内插、样条内插（spline interpolation）等对图像恢复滤波器的对应抽头的系数进行内插，可以执行内插处理。

在图2中，在步骤S014，图像处理器107（图像恢复器110）对输入图像执行在步骤S103获取的图像恢复滤波器的卷积，以获取恢复图像。

图8示出通过透镜阵列103的各个微透镜的光线到达的图像传感器104的区域（光线到达区域）116。在本实施例中的图像恢复处理中，根据光线到达区域116和物距，改变用于对输入图像的卷积的图像恢复滤波器。结果，输入图像的相位劣化分量被校正为目标值0，并且，振幅劣化分量被校正，使得各振幅分量在方位之间近似相互一致。

如上所述，在本实施例中，在用于产生被添加模糊的图像（模糊添加目标图像）的重构处理之前，执行图像恢复处理。下面将描述原因。从成像光学系统102和透镜阵列103的光学传递函数计算对应于重构处理之前的每一个像素的图像恢复滤波器。但是，被执行用来合成像素的重构处理使得对应于重构处理之后的图像的光学系统不清楚，这使得不能计算合适的光学传递函数。换句话说，在图像恢复处理之前的重构处理使得不能执行用于校正由于像差和衍射而变化的被摄体图像的变化的图像恢复处理。因此，需要在重构处理之前执行图像恢复处理。

在图2中，在步骤S015，图像处理器107将低通滤波器应用到与发生角分量的混淆的距离相对应的恢复图像的区域，该低通滤波器是对应于该距离的滤波器。因为角分量的混淆影响离焦模糊的形状，所以执行该低通滤波器处理。但是，不必一定在重构处理之前应用低通滤波器，并且，在这种情况中，可以在重构处理之前执行模糊添加处理，以减少角分量的混淆对离焦模糊的形状的影响。

接下来，在步骤S016，图像处理器107的图像重构器109执行用于产生上述模糊添加目标图像的重构处理。在步骤S016，图像处理器107（图像重构器109）对在步骤S015已经应用了低通滤波器的恢复图像执行重构处理，以产生中间图像（对应于一个视点的视点图像）作为重构图像。在重构处理中，图像处理器107通过使用距离信息来改变聚焦位置，并且根据该距离执行加权。

在步骤S017和S018，图像处理器107的模糊添加器111对中间图像执行模糊添加处理。

在步骤S017，图像处理器107（模糊添加器111）产生与在中间图像中包含的每一个被摄体的距离相对应的模糊函数。图7示出捕获的场景的例子。图9示出通过对在图7中示出的捕获场景中获取的输入图像的重构处理而产生的中间图像。在该步骤，产生分别与图9中示出的被摄体1、2和3的距离相对应的模糊函数。

将描述模糊函数的例子。图17A示出作为高斯函数的模糊函数，

该模糊函数表达强度朝着它的周边（随着其空间坐标增大）平滑地衰减的模糊。图17B示出一种模糊函数，在该模糊函数中半宽度值相互不同的两种高斯函数相互组合，该模糊函数表达中心峰值强度比图17A中示出的模糊函数的中心峰值强度尖锐的模糊。图17C示出指示不均匀的模糊的模糊函数。模糊函数并不限于图17A至17C中示出的模糊函数，可以使用其他的模糊函数。

在本实施例中，根据距离改变模糊函数，使得模糊的大小对应于具有指定的F数的成像光学系统。但是，对模糊的大小的限定并不局限于此。例如，模糊函数可以被改变为与离聚焦位置的距离的平方成比例。在步骤S018，关于模糊函数的信息用作作为图20中示出的二维滤波器的模糊滤波器的每一个抽头值。

在图2中，在步骤S018，图像处理器107（模糊添加器111）将模糊滤波器应用到中间图像的一个或更多个被摄体图像部分当中的被添加模糊的目标被摄体图像部分（目标层）。也就是说，模糊添加器111对目标层执行模糊滤波器的卷积。具体地说，如图10A、10B和10C中所示，模糊添加器111将中间图像分成三个层，该中间图像是在步骤S014的图像恢复处理之后通过在步骤S016的重构处理而产生的。图10A和10B示出背景层作为目标层，图10C示出主要被摄体层。

模糊添加器111将在步骤S016获取的对应于各个背景层的模糊滤波器应用到背景层，从而向其添加模糊。当多个图像被合成时，它们的层的像素值可以被相加，或者，可以使用一个层的值或者两个或更多个层的值。模糊添加器111将由此被添加了模糊的背景层和主要被摄体层组合，以提供图10D中示出的经模糊添加的图像。

虽然本实施例描述层数为3的情况，但是层数并不局限于此，并且，可以是2或4以上中的一个。在这些情况中，可以获得上述的相同的效果。

在步骤S017和S018的模糊添加处理是示范性的例子，并且，可以执行其他模糊添加处理。例如，可以执行这样的模糊添加处理，该模糊添加处理根据距离将图9中示出的中间图像分成多个图像区域，并且对各个图像区域执行不同的模糊滤波器的卷积。另外，模糊函数可以被定义为模糊的大小，然后，可以在对应于模糊大小的区域中对每一层的像素值求平均。

而且，虽然本实施例描述了在重构处理之后执行模糊添加处理的情况，但是可以在模糊添加处理之后执行重构处理。在这种情况中，可以用模糊添加处理替代上述的对应于物距的低通滤波器处理，这需要在重构处理之前被执行。但是，当要被应用于在重构处理之前的具有视差信息的图像的模糊滤波器与添加想要的模糊的模糊滤波器相同时，向各个视差图像添加相同的模糊，这使得重构处理之后的模糊的形状与想要的模糊的形状不同。因此，必需将不同的模糊滤波器应用于由透镜阵列103分割的成像光学系统102的光瞳平面的各个区域（光线通过区域），以调整被添加到各个视差图像的模糊的形状。可替换地，在重构处理中可以执行对用于各光线的权重的控制，以调整模糊的形状。

在步骤S019，图像处理器107输出在步骤S018获得的经模糊添加的图像。

在本实施例中，在假设执行模糊添加处理的情况中执行图像恢复处理（整形处理）。因此，当在执行图像恢复处理时决定聚焦位置的情况中，可以校正劣化分量的非对称性，并且不必增加MTF的值。

如上所述，本实施例在对具有视差信息的图像执行重构处理和模糊添加处理之前执行整形处理，以减少由于成像光学系统和透镜阵列的光学特性而引起的被摄体形状的改变（劣化），这使得能够产生良好的添加了模糊的图像。

虽然本实施例描述了执行图像恢复处理作为整形处理的情况，但是整形处理可以包括对各视点图像之间的亮度值的调整、对亮度饱和区域的亮度值的估计和在添加模糊时对亮度饱和区域的估计亮度值的调整，在下面的实施例中将对此进行描述。

[实施例2]

图3示出包括作为本发明的第二实施例（实施例2）的图像处理设备的图像处理器209的图像拾取设备219的配置。在图3中，与实施例1（图1）中的组件相同的组件用与实施例1中的附图标记相同的附图标记表示，并且，省略其描述。在本实施例中的图像拾取设备219包括多个成像光学系统和与其相对应的多个图像传感器。在本实施例中，在重构处理之前，执行估计亮度饱和区域的亮度值的亮度估计处理和调整多个视点图像（输入图像）的亮度值的亮度调整处理作为整形处理。也就是说，在本实施例中，在重构处理之前执行对亮度饱和区域的亮度值的估计和对多个视点图像的亮度值的调整，以减少亮度饱和区域中的信息的缺乏。下面将描述在重构处理之前执行整形处理的原因。

在图3中，附图标记201a至201c表示成像光学系统，并且，附图标记202a至202c表示图像传感器（换句话说，图像拾取像素）。

在本实施例中，包括由各个成像光学系统201a至201c的光瞳平面形成的开口直径的区域被定义为合成开口，并且，合成开口被定义为成像光学系统201a至201c共用的光瞳平面。也就是说，在本实施例中，图像拾取系统被配置为使得来自被摄体空间中的相同点的光线取决于成像光学系统201a至201c的（共用）光瞳平面的光线通过区域而进入不同的图像拾取像素。

虽然本实施例示出包括三个成像光学系统和三个图像传感器的情况，但是包括至少两个成像光学系统和至少一个图像传感器就足够了。当图像传感器的数量小于成像光学系统的数量时，将它们布置为使得来自所有的成像光学系统的光线进入所述图像传感器就足够了。

曝光控制器208控制在成像光学系统201a至201c中的每一个中包含的孔径光阑，以控制曝光量。存储器207存储通过针对被摄体面101以成像光学系统201a至201c的不同的曝光量进行图像捕获而产生的多个输入图像和关于成像光学系统201a至201c的曝光量的信息。多个输入图像是其视点相互不同的多个视点图像。

存储器207可以存储通过在改变成像光学系统201a至201c的相同地设置的曝光量的情况下进行连续的图像捕获而产生的多个输入图像和关于对应于输入图像的曝光量的信息。

在多个输入图像当中的至少一个输入图像包括亮度饱和区域的情况中，包括亮度饱和区域的图像是其亮度值被估计的估计目标图像。在存储器207中存储的信息被发送到图像处理器209。

在图像处理器209中包括的整形处理器211在亮度饱和检测器212处通过使用从存储器207发送的信息来检测包括亮度饱和区域的输入图像中的亮度饱和区域。然后，整形处理器211在亮度饱和估计器213处估计每一个其它图像中的对应于亮度饱和区域的区域的亮度值。而且，整形处理器211作为亮度级调整器217调整多个输入图像的亮度值。下面将详细地描述亮度饱和区域的检测和亮度值的估计。在图像处理器209中包含的模糊添加器111执行模糊添加处理。

将参照图4中示出的流程图来描述在本实施例中执行并产生经模糊添加的图像的图像处理（图像处理方法）。作为计算机的图像处理器209根据作为计算机程序的图像处理程序执行该图像处理。

在步骤S021处，图像处理器209通过用其曝光量相互不同的成像光学系统201a至201c进行图像捕获来获取多个输入图像（视点图像）。通过在改变成像光学系统201a至201c的相同地设置的曝光量的情况下的连续的图像捕获，图像处理器209可以以不同的曝光量来获取这样的多个输入图像。

在步骤S022、S023和S024，图像处理器209执行整形处理。在步骤S022，图像处理器209（亮度饱和检测器212）选择在步骤S021获取的多个输入图像当中的包括亮度饱和区域的至少一个图像，并且检测选择的图像中的亮度饱和区域。图11示出多个输入图像当中的包括亮度饱和区域5的图像（在下文中被称为“亮度饱和图像”）。

在步骤S023，图像处理器209（亮度饱和估计器213）估计在步骤S022检测到的亮度饱和区域5的原始亮度值。在步骤S021获取的多个输入图像当中，其对应于亮度饱和图像的亮度饱和区域的区域的亮度值等于或小于饱和值的图像被称为“图像W”。

将参照图12A和12B描述亮度值的估计。图12A示出图11中示出的亮度饱和区域5和与其相对应的图像W的区域。图12B示出图12A中的S-E截面中的亮度分布。下式（4）被用来从其亮度不饱和的图像W估计亮度饱和图像的亮度值。也就是说，将图像W的亮度分布乘以亮度饱和图像的曝光量和图像W的曝光量之比，这使得可以估计等于或高于饱和值的亮度分布，如图12B中的实线所示。

（亮度饱和图像的曝光量/图像W的曝光量）×图像W的亮度分布=亮度饱和图像的估计亮度分布...(4)

作为估计亮度值的方法，可以使用比较亮度饱和图像和图像W中的其亮度不饱和的区域的方法。

在步骤S024，图像处理器209（亮度级调整器217）基于估计亮度值和每一个输入图像（视点图像）的曝光量来调整多个输入图像的亮度值（亮度级），使得这些亮度值彼此相等。具体地说，图像处理器209选择输入图像中的任何一个，参考输入图像中的另一个图像的亮度值（包括估计亮度值），并且将该另一个图像乘以所选择的图像的曝光量和该另一图像的曝光量之比，以使得该另一个图像的亮度值与选择的图像的亮度值一致。

在本实施例中，将描述在重构处理之前执行对亮度饱和区域的亮度值的估计和对多个输入图像（视点图像）之间的亮度值的调整（均衡化）的原因。首先，当在重构处理之前具有视差的多个输入图像的亮度值彼此不相等的情况中，使用具有不同曝光量的图像来执行的重构处理导致产生不自然的重构图像。另外，为了使得在重构处理之前亮度值等于不包括亮度饱和区域的图像的亮度值，必需在对亮度值的均衡化之前估计亮度饱和图像的亮度饱和区域的亮度值。因此，必需在重构处理之前估计亮度饱和区域的亮度值和调整多个输入图像的亮度值以使它们均衡化。

在图4中，在步骤S025，图像处理器209（图像重构器109）对其亮度值已经被调整的视点图像执行重构，以产生中间图像作为一个视点图像。

然后，在步骤S026，类似于实施例1，图像处理器209（模糊添加器111）产生模糊函数。接着，在步骤S027，类似于实施例1，模糊添加器111将具有模糊函数的信息的模糊滤波器应用于中间图像，以产生经模糊添加的图像。最后，在步骤S028，图像处理器209输出经模糊添加的图像。

希望在本实施例中估计的亮度值（原始亮度值）被用于在实施例1中描述的图像恢复处理。如图19A中所示，与原始亮度分布不同，亮度饱和区域的亮度值恒定不变并等于饱和值。当在这种状态中执行图像恢复处理时，不可能获得正确的恢复图像。因此，在对亮度饱和区域的原始亮度值的估计之后执行图像恢复处理使得能够提供正确的恢复图像。

根据本实施例，由于在重构处理之前执行对亮度饱和区域的亮度值的估计和对多个视点图像之间的亮度值的调整，所以可以减少亮度饱和区域中的信息的缺乏，这种缺乏会成为重构处理和模糊添加处理中的问题。

[实施例3]

图5示出作为本发明的第三实施例（实施例3）的图像处理设备307的配置和与图像处理设备307分离的图像拾取设备219的配置。在图5中，与实施例1（图1）或实施例2（图3）中的组件相同的组件用与实施例1中的附图标记相同的附图标记表示，并且，省略其描述。在本实施例中，类似于实施例2，在重构处理（和模糊添加处理）之前执行对亮度饱和区域的亮度估计处理，但是，在重构处理之后执行亮度级调整处理。由于与实施例2中相同的原因，在重构处理之前估计亮度饱和区域的亮度值。下面将描述在重构处理之后执行亮度级调整处理的原因。

在图5中，透镜阵列303被设置在比与被摄体面101共轭的成像光学系统102的像侧共轭平面305更远的物侧。透镜阵列303提供像侧共轭平面305和图像传感器304之间的共轭关系。来自被摄体面101的光线通过成像光学系统102和透镜阵列303，以取决于光线在被摄体面101上的位置和角度而进入图像传感器304的不同的像素（图像拾取像素）。因此，获取关于光线的强度分布和方向（角度）的信息。当获取该信息时，光学系统控制器115和曝光控制器208控制成像光学系统102的曝光量。

在本实施例中，通过多个图像捕获操作来获取具有不同曝光量的多个输入图像。但是，可以通过一个图像捕获操作来获取具有不同曝光量的多个输入图像。在这种情况中，曝光控制器208充当对应于透镜阵列303的微透镜的具有不同透光率的滤波器。图像传感器304获取在其中布置其视点相互不同的多个小图像的图像。

可以利用另一种结构，其中，透镜阵列303被设置在比像侧共轭平面305更远的像侧，并且，图像传感器304被设置为通过透镜阵列303使得其与像侧共轭平面305共轭。

图像处理设备307是执行整形处理、重构处理和模糊添加处理的计算机。由图像处理设备307处理的图像信息被输出到存储介质318、显示装置316和输出装置317中的至少一个。存储介质318是，例如，半导体存储器、硬盘或网络上的服务器。显示设备316是，例如，液晶显示器或投影仪。输出装置317是，例如，打印机。显示设备316与图像处理设备307连接，并且，图像信息被发送到显示设备316。用户可以在观看显示设备316上的图像的同时执行操作。

在图像处理设备307中设置的存储器314存储在图像拾取设备319中设置的成像光学系统102和透镜阵列303的光学特性、图像拾取条件和从图像拾取设备319获取的输入图像。图像处理设备307包括在实施例1中描述的距离信息获取器108和在实施例2中描述的整形处理器211（但是，在本实施例中，在重构处理之后执行对亮度级的调整）。

将参照图6中示出的流程图来描述在本实施例中执行并从输入图像产生经模糊添加的图像的图像处理（图像处理方法）。作为计算机的图像处理设备307根据作为计算机程序的图像处理程序执行该图像处理。

在步骤S031，图像处理设备307获取由图像拾取设备319通过在相同的图像捕获范围中的不同曝光量的多个图像捕获操作而产生的多个输入图像。

然后，在步骤S032，如实施例1中描述的，图像处理设备307（距离信息获取器108）使用多个输入图像中包含的视差信息或者使用其它方法来获取被摄体的距离信息。

在步骤S033和S034，图像处理设备307执行整形处理。在步骤S033，图像处理设备307（亮度饱和检测器212）检测在步骤S031获取的多个输入图像之中的亮度饱和图像的亮度饱和区域。

然后，在步骤S034，如实施例2中描述的，图像处理设备307（亮度饱和估计器213）估计亮度饱和区域的原始亮度值。然后，在步骤S035，图像处理设备307（亮度饱和估计器213）提供对亮度饱和图像的亮度饱和区域的估计亮度值，然后，将低通滤波器应用到与发生角分量的混淆的距离相对应的亮度饱和图像的区域，低通滤波器是对应于该距离的滤波器。

接下来，在步骤S036，图像处理设备307（图像重构器109）通过使用经过低通滤波器处理的输入图像来执行重构处理以产生中间图像。

然后，在步骤S037，类似于实施例1，图像处理设备307（模糊添加器111）基于在步骤S032获取的被摄体的距离信息来产生模糊滤波器。

接下来，在步骤S038，图像处理设备307（亮度级调整器217）调整中间图像中的亮度饱和区域的亮度级，并且将模糊滤波器应用于中间图像。希望在亮度级调整处理之后执行模糊添加处理。原因在于，在模糊添加处理之后执行亮度级调整处理不能再现由具有小F数的成像光学系统产生的亮度饱和区域的准确的模糊。在亮度级调整处理之后执行模糊添加处理使得能够在估计亮度值被反映到亮度饱和区域的亮度值之后应用模糊滤波器。因此，在模糊滤波器的卷积之后，比饱和值高的亮度值作为饱和值被反映到亮度值。

另一方面，当在亮度级调整处理之前执行模糊添加处理的情况中，首先对中间图像执行模糊滤波器的卷积。然后，在经模糊添加的图像中，将模糊添加处理之前的亮度饱和区域的亮度值按比例地乘以模糊添加处理之前的亮度饱和区域的亮度值和估计亮度值之比。

但是，亮度级调整处理并不局限于此，并且，可以将亮度值调整为比上述值高或低的值。另外，希望在重构处理之后调整亮度级。原因在于，可以任意地调整亮度级而无需再次执行重构处理，这使得能够减少处理的数量。

最后，在步骤S039，图像处理设备307输出经模糊添加的图像。

根据本实施例，类似于实施例2，可以减少亮度饱和区域中的信息的缺乏，这种缺乏会成为重构处理和模糊添加处理中的问题。而且，可以调整亮度级，以再现由具有小F数的成像光学系统产生的模糊。

此外，根据上述实施例中的每一个实施例，由于对于重构处理和模糊添加处理在适当的时候执行整形处理，所以可以产生被添加良好的模糊的重构图像。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。所附权利要求的范围被赋予最宽的解释，以便涵盖所有的修改、等同的结构和功能。

Claims (8)

1.一种图像处理方法，包括：

获取由包括至少一个成像光学系统（102,201a-201c）并且取决于所述至少一个成像光学系统的光瞳平面中的相应光线通过的光线通过区域而使得来自被摄体空间（101）中的相同点的光线分别进入不同的图像拾取像素（104,202a-202c,304）的图像拾取系统产生的输入图像；

执行整形处理，所述整形处理包括基于图像拾取系统的光学传递函数来对恢复目标图像进行恢复的图像恢复处理和对估计目标图像中的亮度饱和区域中的亮度值进行估计的亮度估计处理中的至少一个；

执行重构处理以重构与输入图像不同的新图像；以及

执行模糊添加处理，以向添加目标图像添加图像模糊分量，

其特征在于，所述方法在所述重构处理和所述模糊添加处理之前执行所述整形处理。

2.根据权利要求1所述的图像处理方法，其中所述整形处理包括使用通过所述亮度估计处理估计的亮度值来调整从输入图像产生的多个视点图像的亮度值或多个输入图像的亮度值的亮度调整处理。

3.根据权利要求1所述的图像处理方法，其中所述方法在所述整形处理中通过使用被摄体空间的距离信息来执行所述图像恢复处理。

4.根据权利要求1所述的图像处理方法，其中所述方法通过使用被摄体空间的距离信息来执行所述重构处理。

5.根据权利要求1所述的图像处理方法，其中所述方法通过使用被摄体空间的距离信息来执行所述模糊添加处理。

6.根据权利要求1所述的图像处理方法，其中所述方法在所述重构处理之后执行所述模糊添加处理。

7.一种对输入图像执行图像处理的图像处理设备（107,209,307），

所述输入图像是由包括至少一个成像光学系统（102,201a-201c）并且取决于所述至少一个成像光学系统的光瞳平面中的相应光线通过的光线通过区域而使得来自被摄体空间（101）中的相同点的光线分别进入不同的图像拾取像素（104,202a-202c,304）的图像拾取系统产生的，

所述图像处理包括：

整形处理，所述整形处理包括基于图像拾取系统的光学传递函数来对恢复目标图像进行恢复的图像恢复处理和对估计目标图像中的亮度饱和区域中的亮度值进行估计的亮度估计处理中的至少一个；

重构处理，重构与输入图像不同的新图像；以及

模糊添加处理，向添加目标图像添加图像模糊分量，

其特征在于，所述图像处理在所述重构处理和所述模糊添加处理之前执行所述整形处理。

8.一种图像拾取设备，包括：

图像拾取系统，包括至少一个成像光学系统（102,201a-201c），并且被配置为取决于所述至少一个成像光学系统的光瞳平面中的相应光线通过的光线通过区域而使得来自被摄体空间（101）中的相同点的光线分别进入不同的图像拾取像素（104,202a-202c,304）；以及

图像处理设备（107,209），被配置为对由图像拾取系统产生的输入图像执行图像处理，

其中，所述图像处理包括：

整形处理，所述整形处理包括基于图像拾取系统的光学传递函数来对恢复目标图像进行恢复的图像恢复处理和对估计目标图像中的亮度饱和区域中的亮度值进行估计的亮度估计处理中的至少一个；

重构处理，重构与输入图像不同的新图像；以及

模糊添加处理，向添加目标图像添加图像模糊分量，

其特征在于，所述图像处理在所述重构处理和所述模糊添加处理之前执行所述整形处理。

Images