CN102714737A - 图像处理设备和使用图像处理设备的图像捕获装置 - Google Patents

Abstract

公开的是一种图像处理设备和使用图像处理设备的图像捕获装置，其中即使在有意外像差时也能获得品质图像。图像处理设备包括：一次恢复图像产生部件，用于对包括多个颜色成分的输入图像执行图像恢复处理并产生一次恢复图像；恢复成分信息产生部件，用于计算输入图像与一次恢复图像之间的差异并产生多个颜色成分中的每个的差异信息；以及二次恢复图像产生部件，使用差异信息来产生二次恢复图像。对于输入图像的一种颜色成分，二次恢复图像产生部件基于多个颜色成分的差异信息产生颜色复合恢复成分信息。

Description

图像处理设备和使用图像处理设备的图像捕获装置

技术领域

本发明涉及一种对所捕获的图像进行图像处理的方法，更特别地，涉及使用图像恢复处理对劣化图像的校正。

背景技术

随着信息数字化的进展，提出了通过对输入图像进行数字信号处理来获得期望图像的技术。在使用图像拾取装置捕获对象图像时，在图像拾取光学系统中发生的像差使所获得的图像遭受相当大的劣化。用于校正图像劣化的一种已知技术是使用关于图像拾取光学系统的光学传递函数（以下称为OTF）的信息的校正。

专利文献1公开了一种图像恢复过滤器（filter），通过描述由图像拾取光学系统引起的图像劣化的点扩散函数的傅里叶变换而获得的光学传递函数（OTF）用作该图像恢复过滤器。该图像恢复过滤器通过允许其参数被调节而能够连续地调整捕获图像的图像恢复程度。

引文列表

专利文献

PTL 1：日本专利特开No.2007-183842

发明内容

技术问题

然而，即使当使用专利文献1中的图像恢复过滤器执行图像恢复时，如果由图像拾取光学系统引起的每种颜色成分的像差不同于预期像差特性，则意外的色彩模糊发生在捕获图像中，并且其图像质量劣化。

这样的色彩模糊可由制造误差、图像捕获环境下的光谱改变、三维对象的图像捕获或亮度饱和引起的图像拾取光学系统中的变化所造成。下面描述三维对象的图像拾取作为发生色彩模糊的情形的一个例子。图像拾取装置通过自动对焦功能或手动对焦而对焦在对象空间中的一个平面上以捕获图像。当对象是三维对象时，其对象距离随视角而变化。在这种情况下，如果对象对焦，则其图像被相对清晰地捕获，而如果对象未对焦，则在其图像中发生根据其距离的模糊。当对具有这样的模糊的捕获图像执行传统的图像恢复处理时，如果对象对焦，则因为图像恢复过滤器是最佳的，所以对于其边缘可以获得所需的清晰度。然而，如果对象未对焦，则色彩模糊可在边缘中发生，或者色彩模糊可以不自然地大。在用于改善输出图像的图像质量的图像恢复处理中发生这样的色彩模糊显著地降低了图像质量。

因此，本发明的一个目的是提供一种图像处理装置，其能够减少可发生在传统的图像恢复处理中的不自然的色彩模糊的发生，并且能够获得良好的图像质量。

问题的解决方案

为了解决以上问题，本发明提供一种图像处理装置，包括：

一次恢复图像产生部件，用于通过对具有多种颜色成分的输入图像执行图像恢复处理来产生一次恢复图像；

恢复成分信息产生部件，用于通过计算所述输入图像与所述一次恢复图像之间的差异来产生所述多种颜色成分中的每种的差异信息；以及

二次恢复图像产生部件，用于使用所述差异信息来产生二次恢复图像，

所述二次恢复图像产生部件将基于所述多种颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一种颜色成分组合。

本发明的有益效果

本发明基于颜色成分的模糊量之间的差异进行图像处理。因此，可减少可发生在图像恢复处理中的不自然的色彩模糊，并且可获得良好的图像质量。

附图说明

图1是根据第一实施例的图像拾取装置的框图。

图2示出根据第一实施例的图像处理的算法。

图3是用于描述根据第一实施例的图像恢复过滤器的例子和图像恢复过滤器的选择的示图。

图4示出根据第一实施例的图像拾取装置的操作流程。

图5示出与传统例子进行比较的色彩模糊。

图6示出与传统例子进行比较的处理流程。

图7示出根据第二实施例的图像处理的算法。

图8示出颜色组合比调整因子ω与恢复强度调整因子μ之间的关系。

图9示出展现颜色组合比调整因子ω和恢复强度调整因子μ的线性的实验结果。

图10示出根据第三实施例的处理流程。

图11示出当使用颜色组合比调整因子ω时发生的处理流程。

图12示出当使用颜色组合比调整因子ω和恢复强度调整因子μ时发生的处理流程。

图13是根据第四实施例的图像处理系统的框图。

图14示出可在根据第四实施例的系统之间交换的数据。

图15示出执行颜色插值处理的情况下的处理流程。

图16示出执行白平衡校正处理的情况下处理流程。

图17是执行畸变校正处理的情况下的处理流程。

图18是执行横向色差校正处理的情况下的处理流程。

图19是用于描述横向色差校正（ω=1/2,μ=1）的图。

图20是用于描述横向色差校正（ω=1/2,μ=1/2）的图。

具体实施方式

下面使用附图来描述用于实施本发明的实施例。在说明书中，使用了术语“图像模糊”。图像模糊表示本应聚焦（会聚）在单个点上的光束在像平面上的扩散（分布），通常，它也被称为点扩散函数（PSF）。该模糊由光学系统中的球面像差、彗形像差、像场弯曲、像散或其它像差造成。关于图像模糊，例如，未对焦的图像也可以说具有模糊。这里，特别地，它表示其中即使图像对焦，模糊由于光学系统中的像差影响而发生的图像模糊。

第一实施例

关于第一实施例，描述下述例子，在该例子中，作为当由意外的像差引起的色彩模糊存在于通过图像拾取装置捕获的图像中时发生的图像处理，使用作为颜色组合比调整因子的参数来相对于某一种颜色改变颜色成分的颜色组合比使得图像能够具有良好的质量。

图1是根据第一实施例的图像拾取装置的框图。图中的箭头表示信息传输的主要路径。附图标记101a指示光阑，附图标记101b指示聚焦透镜。图像拾取光学系统101包括光阑101a和聚焦透镜101b。附图标记102指示图像拾取元件，其将光学图像转换为电信号，并且包括电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）传感器。附图标记103指示模数（A/D）转换器，其将从图像拾取元件102输出的模拟信号图像数据转换为数字信号图像数据。附图标记104指示图像处理部分，其执行图像处理（信号处理），诸如校正图像中的色彩模糊的处理和减少模糊的处理。附图标记105指示显示部分，例如，液晶显示器或有机电致发光显示器。显示部分105显示在图像处理部分104中经过处理的图像数据或者存储在存储部分108或图像存储介质109中的图像数据。附图标记106指示图像拾取光学系统控制部分，其控制图像拾取光学系统的光阑101a和聚焦透镜101b。图像拾取光学系统控制部分106的例子包括用于根据对象距离调整对焦的自动对焦机构或手动对焦机构。附图标记107指示状态检测部分，其检测拍摄状态（例如，光阑直径、变焦位置、对象距离）。附图标记110指示系统控制器，其对图像拾取装置的系统实施控制。系统控制器110控制图像处理部分104的图像处理，并且除此之外，还将写入在存储部分108中的图像数据作为文件形式写入到图像存储介质109中。附图标记111指示操作部分，其将各种操作的指令输入到系统控制器110中。操作部分的例子包括用于提供拾取图像的指令的释放按钮、用于操作光标或菜单的方向按钮和触摸面板。

图像拾取光学系统101被构造为图像拾取装置的一部分。然而，它可以是可更换的，并且可以是在例如单镜头反光照相机中的图像拾取光学系统。这里，为了简单起见，仅示出了作为图像拾取光学系统101的主要组成部分的光阑101a和聚焦透镜101b。然而，除了透镜之外，图像拾取光学系统101还可使用具有曲率的反射镜（反射表面）。图像处理部分104至少包括运算部分和临时存储部分（缓冲器），并且对于下述每个处理基于需要将图像写入到临时存储部分中和从临时存储部分读取图像。例如，在下述产生二次恢复图像的处理的情况下，为了组合输入图像与一次恢复图像之间每种颜色成分的差异信息，可将一开始获得的输入图像临时存储在临时存储部分（缓冲器）中。用于在临时存储中使用的存储部分不限于临时存储部分（缓冲器），它可以是例如存储部分108。可根据具有存储功能的存储部分的数据容量和传输速度来选择任何合适的元件。具有临时存储部分的图像处理部分104或存储部分108存储执行图像处理所需的数据。这样的所需数据的例子包括图像的像素的亮度值、关于图像拾取光学系统101的像差的信息、下述图像恢复过滤器、差异信息、颜色组合比调整因子和恢复强度调整因子。

图2示出由图像处理部分104执行的处理的算法。使用图2来详细描述图像处理的算法。在以下描述中，A指示与图2所示的g、f、fd、S、Sd等对应的图像信息，并且关于更多的细节，指示了像素的信号值（亮度值）。附标m指示当图像的颜色成分为红色（R）、绿色（G）和蓝色（B）时的颜色成分R、G或B。也就是说，Am是指示（A的R成分、A的G成分或A的B成分）的（A_R、A_G或A_B）。

（输入图像g_m）

首先，描述输入图像g_m。输入图像g_m对于每个像素可具有多种颜色成分（例如，R、G、B），并且可指示用LCH表示的明度、色调和色度。可使用对于每个像素具有单个颜色成分的信号值的马赛克图像。可使用去马赛克图像，在去马赛克图像中，马赛克图像经历颜色插值处理（去马赛克处理），并且每个像素具有多个颜色成分的信号值。马赛克图像也可称为作为执行各种类型的图像处理之前的图像的原始（RAW）图像，所述图像处理诸如颜色插值处理（去马赛克处理）、称为伽马转换的信号值转换和称为JPEG的图片压缩。

例如，为了通过使用单面板图像拾取元件获得具有多个颜色成分的输入图像g_m，可对像素布置具有不同光谱透射率的滤色器，并且获得对于每个像素具有单个颜色成分的信号值的马赛克图像。在这种情况下，如果执行以上颜色插值处理，则可产生对于每个像素具有多个颜色成分的信号值的图像。

当使用多面板（例如，三面板）图像拾取元件时，对图像拾取元件布置具有不同光谱透射率的滤色器，并且可获得具有在图像拾取元件之间变化的不同颜色成分的信号值的图像。在这种情况下，因为图像具有与图像拾取元件的各个像素对应的颜色成分的信号值，所以可在不进行颜色插值处理的情况下产生对于每个像素具有多个颜色成分的信号值的图像。上述对于每个像素具有多个颜色成分的图像作为输入图像g_m经受下述一次图像恢复处理。

（一次图像恢复处理）

接下来，描述直到通过对输入图像g_m执行一次图像恢复处理而获得一次恢复图像fd_m的处理。下述处理由图像处理部分104执行。

输入图像g_m是通过图像拾取元件102感测穿过图像拾取光学系统101的光而获得的数字图像。该数字图像g_m的图像质量由于光学传递函数（OTF）而降低，OTF由包括透镜和各种光学过滤器的图像拾取光学系统101的像差造成。通过将基于OTF的图像恢复过滤器用于每个颜色成分，图像质量劣化的、具有多个颜色成分（R,G,B）的输入图像g_m经受恢复处理，从而获得一次恢复图像fd_m。

这里，图3(A)中示出了用于描述图像恢复过滤器的示意图。对于图像恢复过滤器，小片（tap）的数量可根据图像拾取光学系统的像差特性或者所需的恢复精度来确定。在图3(A)中，作为例子，使用具有11×11小片的二维过滤器。过滤器的小片对应于图像的各个像素，并且，在图像恢复处理（一次图像恢复处理）中，执行卷积处理（卷积积分，乘积之和）。在卷积处理中，为了改善图像的某个像素的信号值，使该像素与图像恢复过滤器的中心匹配。然后，对图像恢复过滤器和图像的每个对应像素计算信号值和过滤器的因子值的乘积，总和代替为中心像素的信号值。在图3(A)中，省略了每个小片内的值；该图像恢复过滤器的一个横截面在图3(B)中示出。理想地，图像恢复过滤器的小片的值（因子值）的分布用于将由于像差而空间扩散的信号值返回到原始的单个点。该图像恢复过滤器可通过图像拾取光学系统的OTF的计算或测量以及对基于其反函数的函数执行逆傅里叶变换来获得。通常，因为需要考虑噪声影响，所以选择并使用产生维纳过滤器或相关的各种图像恢复过滤器的方法。另外，不仅图像拾取光学系统，而且在图像捕获过程中使图像质量劣化的因素也可包括在该产生中。该因素的例子包括双折射光学低通过滤器或图像拾取元件的像素的开口形状和开口率。当在图像拾取光学系统中使用双折射光学低通过滤器时，因为OTF的频率特性的高频成分被抑制，所以图像质量降低。图像拾取元件的像素的开口形状和开口率也对OTF的频率特性具有影响。另外，光源的光谱特性和各种波长过滤器的光谱特性可以是降低图像质量的因素。图像恢复过滤器可优选地基于包括以上因素的广泛定义的OTF来产生。当图像为RGB彩色图像时，可产生与RGB颜色成分对应的三个图像恢复过滤器。对于第一实施例，基于产生维纳过滤器的方法来产生图像恢复过滤器。

根据第一实施例的图像拾取装置将通过以上方法产生的多个过滤器存储在存储部分108中，并且根据拍摄状态选择适当的图像恢复过滤器或者校正图像恢复过滤器。图3(C)是用于描述图像恢复过滤器的选择和校正的图以及存储在存储部分108中的一组图像恢复过滤器的示意图。存储在存储部分108中的图像恢复过滤器离散地布置在拍摄状态空间中，拍摄状态空间具有变焦位置、光阑直径和对象距离这三个状态作为它的轴。图3(C)所示的坐标所表示的空间被称为拍摄状态空间。拍摄状态空间中的点（黑色圆圈）的坐标指示与先前存储的图像恢复过滤器对应的拍摄状态的位置。在图3(C)中，为了描述方便，将每个过滤器的位置布置在与状态交叉的网格点处。然而，每个过滤器的位置可偏离网格点。为了便于示出拍摄状态，使用了具有三种状态（变焦位置、光阑直径、对象距离）作为其轴的三维图。然而，可使用具有以四种或更多种状态作为目标的四个或更多个维度的拍摄状态空间。例如，可使用快门速度、ISO速度额定值、白平衡和摄影模式作为轴。

接下来，描述选择图3(C)所示的图像恢复过滤器的特定方法。假设图3(C)所示的大白圆圈所指示的状态是所检测到的实际拍摄状态。如果过滤器位于实际拍摄状态的位置处或者在其极点附近，则选择该过滤器，并且在图像恢复处理（一次图像恢复处理）中使用该过滤器。如果没有过滤器位于实际拍摄状态的位置处或者在其极点附近，则计算在拍摄状态空间中实际拍摄状态与每个所存储的拍摄状态之间的距离，并且选择存在于最短距离处的过滤器。对于图3(C)所示的拍摄状态，因为没有与大白圆圈对应的过滤器，所以选择小白圆圈的位置处的过滤器。另一种选择方法可以是通过下述步骤选择过滤器的方法，即，在过滤器选择时在拍摄状态空间中分配方向权重，并且使用拍摄状态空间中的距离和方向权重的乘积作为评估函数。

接下来，描述在选择图像恢复过滤器之后校正所选的过滤器以使该过滤器更合适的处理。首先，在选择过滤器的处理中，计算拍摄状态空间中实际拍摄状态与每个存储的拍摄状态之间的距离，并且选择最短距离处的过滤器。这使得状态差异能够最小化，从而使得校正量能减小。在图3(C)中，位于小白圆圈位置处的过滤器被选择。计算实际拍摄状态与所选的图像恢复过滤器的位置处的每个拍摄状态之间的状态差异ΔA、ΔB和ΔC。基于所计算的状态差异校正所选的图像恢复过滤器可产生支持实际拍摄状态的图像恢复过滤器（图像恢复过滤器产生部件）。另一种校正处理可以是，选择在实际拍摄状态附近的多个图像恢复过滤器，并且根据状态差异对所述多个过滤器执行插值处理，以产生适合于拍摄状态的图像恢复过滤器。这里的插值处理可通过使用线性插值、多项式插值或样条插值对二维过滤器的对应小片的因子值进行插值来实现。

即使是在一定的拍摄状态下，光学传递函数（OTF）也随图像的高度（图像的位置）而变化。因此，在以上卷积处理中，对于图像根据图像高度而被划分的区域中的每个区域，图像恢复过滤器可以优选地被改变。图像被划分成的每个区域可优选地为一个像素。然而，如果需要的话，该区域可改变。也就是说，在执行卷积处理时，图像恢复过滤器可以在图像上扫描移动，过滤器可以对于每个特定区域接连改变。如果图像恢复过滤器是被划分为100个部分的二维过滤器，则可满意地校正图像拾取光学系统的、从图像形成位置大幅扩散的像差，诸如球面像差、彗形像差、纵向色差或离轴颜色耀斑。还可精确地校正非对称像差，诸如彗形像差、离轴颜色耀斑、径向耀斑、像场弯曲和像散。

通过上述方法选择或校正（产生）的图像恢复过滤器和输入图像g_m的卷积产生一次恢复图像fd_m。在实际空间中对输入图像g_m执行图像恢复过滤器的卷积处理使得图像能被恢复而在图像恢复处理过程中不需要图像的傅里叶变换或逆傅里叶变换。因此，处理可以高速进行。

（产生恢复成分信息的处理）

再次使用图2来描述从一次恢复图像fd_m和输入图像g_m产生恢复成分信息S_m的处理。

如表达式1所表示的，对于每个对应像素，从通过上述一次图像恢复处理所获得的一次恢复图像fd_m的信号值减去原始输入图像g_m的信号值。采用该处理，产生恢复成分信息S_m（差异信息），其为每个颜色成分的信号值之间的差异。

【表达式1】

（表达式1）

S_m=fd_m-g_m

然后，将颜色组合比调整因子ω应用到恢复成分信息S_m，从而获得颜色组合恢复成分信息Sd_m。颜色组合恢复成分信息Sd_m的产生可表示为表达式2。在表达式2中，用于n的∑指示用于R、G和B的求和计算。

【表达式2】

（表达式2）

${\mathrm{Sd}}_m=\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}{S}_n$

颜色组合比调整因子ω是用于产生颜色组合恢复成分信息sd_m的因子。通过根据颜色组合比调整因子ω对用于所有颜色成分(R,G,B)的恢复成分信息S_m的颜色组合，获得用于特定颜色成分的颜色组合恢复成分信息Sd_m。也就是说，颜色组合比调整因子ω是颜色成分的混合比。对于ω_AB，图2中的ω的附标指示用以产生用于颜色成分A的颜色组合恢复成分信息Sd_A的、用于颜色成分B的颜色组合比调整因子。因此，从恢复成分信息S_m产生颜色组合恢复成分信息Sd_m的处理可被表示为表达式2和表达式3，其中，表达式2是针对颜色成分m和n而制定的。

【表达式3】

（表达式3）

$\left(\begin{array}{c}{\mathrm{Sd}}_R\\ {\mathrm{Sd}}_G\\ {\mathrm{Sd}}_B\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{\ω}}_{\mathrm{RR}}& {\mathrm{\ω}}_{\mathrm{RG}}& {\mathrm{\ω}}_{\mathrm{RB}}\\ {\mathrm{\ω}}_{\mathrm{GR}}& {\mathrm{\ω}}_{\mathrm{GG}}& {\mathrm{\ω}}_{\mathrm{GB}}\\ {\mathrm{\ω}}_{\mathrm{BR}}& {\mathrm{\ω}}_{\mathrm{BG}}& {\mathrm{\ω}}_{\mathrm{BB}}\end{array}\right)\left(\begin{array}{c}{S}_R\\ S_G\\ S_B\end{array}\right)$

当形成图像的颜色成分是R、G和B时，颜色组合比调整因子ω可被表示为具有3×3个因子元素的矢量。通过根据该颜色组合比调整因子ω组合恢复成分信息S_m，产生颜色组合恢复成分信息Sd_m。描述用于R成分的颜色组合恢复成分信息Sd_R的产生作为例子。用于R的颜色组合恢复成分信息Sd_R通过下述步骤产生，即，分别将用于R、G和B的恢复成分信息S_R、S_G和S_B的像素的信号值乘以颜色组合比调整因子ω_RR、ω_RG和ω_RB，并且组合颜色成分的它们。所述组合是通过计算用于多个图像的每个对应像素的信号值来产生单个图像。同样的处理应用到其它颜色成分。颜色组合恢复成分信息Sd_m通过上述处理产生。

以这样的方式，在获得某个颜色成分的像素的信号值时使用包括该某个颜色成分的多个颜色成分的信号值使得能够产生从传统的图像恢复处理不可获得的颜色组合恢复成分信息Sd_m。

（产生二次恢复图像的处理）

接下来，描述从在上述产生恢复成分信息的处理中产生的颜色组合恢复成分信息Sd_m产生二次恢复图像f_m的处理。对于每个颜色成分将颜色组合恢复成分信息Sd_m和输入图像g_m相加使得能够获得二次恢复图像f_m。二次恢复图像f_m的产生可表示为表达式4。该二次恢复图像f_m是输出图像。

【表达式4】

（表达式4）

$f_m=g_m+{\mathrm{Sd}}_m$

$=g_m+\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}({\mathrm{fd}}_n-g_n)$

以下描述上述处理的概要。具有多个颜色成分的输入图像（g_m）经历图像恢复处理，从而产生一次恢复图像（fd_m）。计算一次恢复图像（fd_m）与输入图像（g_m）之间的差异，从而产生所述多个颜色成分中的每个的差异信息（S_m）。然后，使用差异信息（S_m）来产生二次恢复图像（f_m）。在二次图像恢复处理中，参照R颜色成分，将基于所述多个颜色成分的差异信息的颜色组合恢复成分信息（ω_RRS_R+ω_RGS_R+ω_RBS_R）与输入图像的单个颜色成分（g_R）组合。也就是说，与仅使用R颜色的差异信息时相比，在对于R颜色的图像恢复时除了R颜色的差异信息之外还使用G颜色和B颜色中的每个的差异信息使得R颜色的色彩模糊能够是小的。换句话讲，执行基于颜色成分的模糊量之间的差异的图像处理。

这使得一次图像恢复处理中的清晰度和可由一次图像恢复处理引起的色彩模糊的程度能被平衡。因此，可产生不自然的色彩模糊减少的图像f_m。

这里，详细描述表达式3中所表示的颜色组合比调整因子ω。首先，描述颜色组合比调整因子ω的两个具体例子。

一个是用于获得与一次恢复图像fd_m相同的图像作为二次恢复图像f_m的颜色组合比调整因子ω。当在表达式3中的颜色组合比调整因子ω中对角线上的元素为1并且所有其它的元素为零时（单位矩阵），颜色组合恢复成分信息Sd_m与用于其自身颜色成分的恢复成分信息S_m相同。这是当二次恢复图像f_m输出为与一次恢复图像fd_m相同的图像时的因子的设置。在这种情况下，对于二次恢复图像f_m，像差成分被尽可能多地校正。因此，如果意外的像差发生，则色彩模糊在执行恢复处理之后将变得更明显，所以图像质量将降低。然而，只要这样的意外像差不发生，就可获得满意的图像。

第二个是用于避免色彩模糊的颜色组合比调整因子ω。当表达式3中的颜色组合比调整因子ω中的所有元为1/3时，颜色组合恢复成分信息Sd_m是其中对用于所有颜色成分的恢复成分信息S_m取平均值的颜色组合恢复成分信息。也就是说，颜色组合恢复成分信息是其中相对于输入图像的单个颜色成分对多个颜色成分的差异信息取平均值的颜色组合恢复成分信息。因此，颜色组合恢复成分信息Sd_R、Sd_G和Sd_B全都相同。颜色组合恢复成分信息Sd_m对于所有颜色成分都相同意味着在后面的处理中将颜色组合恢复成分信息Sd_m与输入图像g_m组合时用于颜色成分的附加信息之间没有差异。因此，没有色彩模糊发生。然而，因为用于颜色成分的像差信息被平均，所以与上面作为第一例子描述的那样一次恢复图像fd_m是输出图像时相比，恢复的程度（即，清晰度）降低。即使当恢复成分信息S_m被平均时，也因为相当大的正相关性（相似性）存在于恢复成分信息S_R、S_G和S_B之间，所以二次恢复图像f_m的清晰度与输入图像g_m相比得到改善。因此，将颜色组合比调整因子ω的所有元设置为1/3防止了色彩模糊的发生。

设置上述颜色组合比调整因子ω使得能够获得具有所期望的图像质量的图像。这是因为，使用包括某一颜色成分的多个颜色成分来获得针对该某一颜色成分的恢复图像使得能够在颜色成分之间调整恢复程度。可使用仅用于一个颜色成分的颜色组合恢复成分信息。备选地，基于多个颜色成分的差异信息的颜色组合恢复成分信息可与输入图像的颜色成分组合。具体而言，与R成分和B成分相比，G成分引起较小的色差。该性质可用于执行图像恢复处理，在该图像恢复处理中，对于R颜色和B颜色，采用基于差异信息的颜色组合恢复成分信息，对于G颜色，采用关于G光的差异信息。

接下来，使用图4(A)来描述执行上述图像处理的整个图像拾取装置的操作。在步骤S41中，来自对象的光通过图像拾取光学系统101到达图像拾取元件102。被图像拾取元件102检测的光被转换为模拟电信号。模拟信号被A/D转换器103转换为数字信号。系统控制器110执行由图像拾取元件102产生的图像数据的直达图像显示。直达图像显示表示由图像拾取元件102连续产生的对象状态的图像数据在显示部分105上的实时视频显示。

接着，在步骤S42中，系统控制器110确定快门开关信号（以下称为SW信号）是否开启。当SW信号开启时，系统控制器110执行自动聚焦（AF）处理来实现图像拾取光学系统101的对焦，执行自动曝光（AE）处理来确定光阑值和快门时间（快门速度），并且将它们存储在存储部分108中，并且流程进入步骤S43。当SW信号关闭时，处理步骤返回到S41。

在步骤S43中，响应于检测到SW信号的时间，系统控制器110根据从直到该时间获得的图像数据计算的光剂量来启动图像拾取元件102的曝光处理。执行对通过曝光处理产生的图像数据执行显影处理的图像捕获处理，其结果存储在存储部分108中，并且流程进入步骤S44。

在步骤S44中，作为输入图像存储在存储部分108中的图像通过图像处理部分104经历上述图像处理，并且在获得处理结果的阶段，流程进入步骤S45。稍后描述在步骤S44中图像处理部分104的处理流程。

然后，在步骤S45中，系统控制器110执行将通过图像处理或图像捕获处理获得的图像数据作为图像文件写入到图像存储介质109中的记录处理。

对于图4(A)的处理，在步骤S42中，示出了在一个阶段中的SW的检测。然而，可使用在两个阶段中的SW的检测。在这种情况下，响应于第一SW信号的开启状态的检测，可执行AF处理和AE处理，并且仅当第二阶段中的SW信号在第一SW信号的开启状态下被检测到时，流程才可进入图像捕获处理。

接下来，使用图4(B)来描述图4(A)所示的步骤S44中的图像处理的流程。前面说明了该图像处理的算法。图中的黑色圆圈指示在处理过程中获得或产生的像素数据。

首先，图像处理部分104获得输入图像。输入图像是对于每个像素具有一条颜色成分信息的马赛克图像。在步骤S441中，从状态检测部分107或存储部分108获得拍摄状态信息，诸如关于透镜位置和光阑值的拍摄状态信息。接着，在步骤S442中，响应于在步骤S441中获得的拍摄状态，选择或校正图像恢复过滤器。前面描述了图像恢复过滤器的选择或校正。在步骤S443中，输入图像使用在步骤S442中选择或校正的图像恢复过滤器经历恢复处理（一次图像恢复处理），以产生一次恢复图像。

接着，在步骤S444中，从输入图像的每个像素的信号值与一次恢复图像的每个像素的信号值之间的差值产生恢复成分信息。因为输入图像是对于每个像素具有一条颜色成分信息的马赛克图像，所以这里执行输入图像与恢复成分信息之间的颜色插值处理（去马赛克处理），以便后来执行颜色成分之间的图像组合。

然后，在步骤S445中，获得颜色组合比调整因子ω和恢复强度调整因子μ中的每个的调整参数的设置值。稍后描述恢复强度调整因子μ。然后，在步骤S446中，使用调整参数针对每个颜色成分对恢复成分信息执行表达式3所描述的计算，以产生颜色组合恢复成分信息。

在一些情况下，仅可使用作为调整参数的颜色组合比调整因子ω和恢复强度调整因子μ中的一个。对于本实施例，根据图像拾取状态或图像高度，自动地从预先准备的设置值选择调整参数。可基于来自图像的像素的特征值的确定来自动地改变调整参数。像素的特征值的例子包括像素的像素值和该像素的像素值与其相邻像素的像素值之间的差异。

接着，在步骤S447中，将在步骤S446中获得的颜色组合恢复成分信息与输入图像组合，以产生二次恢复图像（表达式4）。可对经历过颜色插值处理的图像执行该处理。备选地，可使用针对每种颜色成分放置在颜色组合恢复成分信息上的掩模来返回与马赛克图像对应的颜色成分信息布置，并且可将它与马赛克状态的输入图像组合。

接着，在步骤S448的附加处理中，执行其它所需处理，然后输出图像。这里的其它所需处理的例子包括当二次恢复图像处于马赛克图像状态时的颜色插值处理（去马赛克处理）。其它例子包括遮光校正、畸变像差校正和横向色差校正。如果需要，还可将包括这里描述的其它处理的各种类型的图像处理插入在上述流程之前、之后或之中。稍后描述这样的示例性情况。

使用图5(A)至图5(F)来描述当执行上述处理时产生的优点。图5(A)至图5(F)示出了对象及其拾取图像的边缘，水平轴指示图像上的位置（像素），垂直轴指示像素值。图5A示出对象的边缘。图5(B)示出当图5(A)所示的边缘在对焦距离处时恢复之前的捕获图像。图5(C)示出当对图5(B)的图像执行传统的图像恢复处理时的恢复图像。图5(D)示出当图5(A)所示的边缘在未对焦距离处时恢复之前的拾取图像。图5(E)示出当对图5(D)的图像执行传统的恢复处理时的恢复图像。图5(F)示出对图5(D)的图像执行根据本发明的图像恢复处理时的恢复图像。

对于图5(B)所示的边缘，因为深度方向上的色差，颜色成分1和颜色成分2具有不同扩散的像差。例如，当实线所指示的颜色成分1是G通道并且虚线所指示的颜色成分2是R通道时，边缘可具有红色色彩模糊。如果边缘在对焦距离处，则如图5(C)所示，可通过传统的图像恢复处理来恢复图像，而不引起色彩模糊。然而，如果对象位于不在对焦距离的位置处，则如图5(D)所示，边缘具有绿色色彩模糊。如果它们利用适合于对焦距离的恢复过滤器（也就是说，预期图5(B)所示的状态的恢复过滤器）来经历恢复处理，则颜色成分2被更大地校正，因此，颜色成分1与2之间的差异增大。也就是说，如图5(E)所示，色彩模糊发生，并且边缘中的绿色色彩模糊被放大。然而，如果执行根据本发明的图像处理，则即使对于在如图5(D)所示的未对焦距离处，也可减小放大色差状态的色彩模糊，并且可获得如图5(F)所示的色彩模糊减小的恢复图像。

使用图6(A)和图6(B)来描述其它优点。图6(A)示出传统的图像恢复处理的流程。图6(B)示出第一实施例中所述的图像处理的流程。对于传统的图像处理，在步骤S61a中获得输入图像，并且每次在步骤S62a中改变恢复程度时，就计算并产生图像恢复过滤器。接着，在步骤S63a中，使用在步骤S62a中产生的恢复过滤器进行图像恢复处理，以输出恢复图像。接着，在步骤S64a中，对恢复图像进行评估，以确定是要没有任何处理地输出该图像还是要改变恢复程度。这里，当要没有任何处理地输出图像时，流程进入步骤S65a，在步骤S65a中，输出在S63a中产生的恢复图像。相反，当确定要改变恢复程度时，流程返回到步骤S62a，并且必须重新计算图像恢复过滤器。

图6(B)示出根据第一实施例的图像恢复处理的流程。在步骤S61b中，获得捕获图像作为输入图像。接着，在步骤S62b中，使用作为初始值的参数（例如，变焦位置、光阑直径、对象距离）来计算并产生图像恢复过滤器。在不通过该步骤的情况下，可使用预先作为初始值而准备的图像恢复过滤器。然后，在步骤S63b中，使用该过滤器对输入图像进行图像恢复处理（一次图像恢复处理），以输出一次恢复图像。在步骤S64b中，使用预先准备的调整参数对一次恢复图像进行图像校正处理（二次图像恢复处理），以产生二次恢复图像。在步骤S65b中，对二次恢复图像进行评估，以确定是要没有任何处理地输出该图像还是要改变恢复程度。当要改变恢复程度时，改变调整参数，并且执行图像校正处理。该调整参数是颜色组合比调整因子ω或下述恢复强度调整因子μ。这里，除了参照图2所述的一次图像恢复处理之外，产生恢复成分信息的处理和产生二次恢复图像的处理被共同称为图像校正处理。S64b中的图像校正处理中所使用的调整参数可以是预先准备的参数。备选地，可使用用户指定的调整参数或者从图像信息自动确定的调整参数来执行图像校正处理。

如图6所示，对于传统方法，为了改变恢复程度，图像恢复过滤器的重新计算是需要的，而相反，对于本发明，重新计算不是必需的。因此，可减小图像处理的负担，并且处理可以更快。

第二实施例

如第一实施例中的表达式3中所示，颜色组合比调整因子ω在设置上具有九个自由度。因此，设置每个元素值可能变得复杂。一种示例性情况是，由普通用户使用操作部分111的按钮在图像拾取装置或图像处理系统上逐个地设置颜色组合比调整因子ω的值和改变该颜色组合比调整因子ω。

对于第二实施例，描述下述例子，其中颜色组合比调整因子ω的元素的相关性使得九个元素能够通过仅一个参数来设置。第二实施例与第一实施例相同，除了设置颜色组合比调整因子的值的方式之外，这里不重复相同的描述。

要求颜色组合比调整因子ω的元素的相关性是其中恢复程度与色彩模糊的发生程度之间的平衡是可调整的一种关系。因此，以下描述确定颜色组合比调整因子ω的一种示例性方法。首先，添加两个约束。如表达式5所示，第一约束是将表达式3中的矩阵ω的每行的总和设置为一。

【表达式5】

（表达式5）

$\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}=1$

这意味着产生例如用于R成分的颜色组合恢复成分信息Sd_R的恢复成分信息S_R、S_G和S_B的混合比被归一化。以这种方式使混合比归一化使得能够容易地进行比较以确定在对不同条颜色组合恢复成分信息Sd_m中的每条进行加权时使用什么比率。

第二约束是将表达式3中的矩阵ω的每列的总和设置为一，如表达式6所示的那样。这意味着在产生颜色组合恢复成分信息Sd_R、Sd_G和Sd_B时，将恢复成分信息S_R、S_G和S_B分布到各个颜色成分，并且充分使用所有信息。

【表达式6】

（表达式6）

$\underset{m}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}=1$

当添加以上两个约束时，颜色组合比调整因子ω可被表示为表达式7。

【表达式7】

（表达式7）

$\mathrm{\ω}=\left(\begin{array}{ccc}{\mathrm{\ω}}_{\mathrm{RR}}& 1-{\mathrm{\ω}}_{\mathrm{GG}}-{\mathrm{\ω}}_{\mathrm{BG}}& {\mathrm{\ω}}_{\mathrm{RB}}\\ {\mathrm{\ω}}_{\mathrm{GR}}& {\mathrm{\ω}}_{\mathrm{GG}}& 1-{\mathrm{\ω}}_{\mathrm{BB}}-{\mathrm{\ω}}_{\mathrm{RB}}\\ 1-{\mathrm{\ω}}_{\mathrm{RR}}-{\mathrm{\ω}}_{\mathrm{GR}}& {\mathrm{\ω}}_{\mathrm{BG}}& {\mathrm{\ω}}_{\mathrm{BB}}\end{array}\right)$

为了在保持恢复程度的同时进一步减小色彩模糊的发生程度，优选的是，用于颜色成分的颜色组合恢复成分信息Sd_m的相似性程度高，也就是说，Sd_m的差异小。对于第一实施例，当ω=1/3时，因为颜色成分的颜色组合恢复成分信息Sd_m之间没有差异，所以色彩模糊程度最小，也就是说，色彩模糊不发生。这意味着要求用于某一颜色成分的恢复成分信息S_m被尽可能均匀地分配给用于颜色成分的颜色组合恢复成分信息Sd_m。因此，表达式7中的每列的较小分布可减少色彩模糊的发生程度。基于此，当表达式7中的每列的分布最小时，颜色组合比调整因子ω可表示为表达式8。

【表达式8】

（表达式8）

$\mathrm{\ω}=\left(\begin{array}{ccc}\mathrm{\ω}& (1-\mathrm{\ω})/2& (1-\mathrm{\ω})/2\\ (1-\mathrm{\ω})/2& \mathrm{\ω}& (1-\mathrm{\ω})/2\\ (1-\mathrm{\ω})/2& (1-\mathrm{\ω})/2& \mathrm{\ω}\end{array}\right)$

表达式8具有作为唯一要被设置的一个参数的ω。因此，恢复程度与色彩模糊的发生程度之间的平衡可易于调整。在表达式8中，如果ω=1，则矩阵ω是单位矩阵，并且恢复程度和色彩模糊的发生程度二者都为最高。如果ω=1/3，则矩阵ω的所有元素都为1/3，并且恢复程度降低，色彩模糊不发生。因此，将颜色组合比调整因子ω减小在范围1/3≤ω≤1内实现了减少色彩模糊的调整。

以上述方式设置颜色组合比调整因子ω使得用户能够容易地获得期望的图像质量。此外，从图像拾取装置和图像处理系统的提供商的角度来讲，以小的自由度控制调整参数导致开发装置的过程中和制造它的过程中的工作效率的提高。

在第一实施例和第二实施例中，示出了确定颜色组合比调整因子ω的方法的几个例子。然而，确定方法不限于以上例子。表达式8仅仅是使用要被设置的一个参数ω来容易地确定恢复程度和色彩模糊的发生程度的例子。例如，如果矩阵ω的所有元素都为零，则用于所有颜色成分的颜色组合恢复成分信息Sd_m为零。因此，二次恢复图像f_m为输入图像g_m本身。如上所述，在范围1/3≤ω≤1内调整颜色组合比调整因子ω使得能够获得在输入图像与最大恢复程度的图像之间的范围内调整的输出图像。此外，可通过将表达式5设置为大于1来更加增强恢复。

矩阵ω的每个元素的设置的自由度不限于一；基于不同自由度或不同约束的调整是可以的。例如，关于基于表达式7的设置，六个自由度是可以的。

如上所述，适当地设置颜色组合比调整因子ω、组合用于颜色成分的恢复成分信息S_m以及控制用于颜色成分的颜色组合恢复成分信息Sd_m的相似性使得能够获得良好质量的图像。换句话讲，难以设计一种支持在各种实际图像捕获中发生的每种像差状态的图像恢复过滤器。因此，以上述方式调整恢复程度和色彩模糊的发生程度使得图像处理能够灵活地支持各种图像捕获状态。

第三实施例

在第一实施例和第二实施例中，描述了使用颜色组合比调整因子ω的例子。在第三实施例中，描述使用恢复强度调整因子μ以进一步改善可用性的例子，恢复强度调整因子μ是用于调整色彩模糊的发生程度的参数。

为了避免多余的描述，仅描述与第一实施例的不同之处。具体地讲，关于在第一实施例中所示的图像处理，一次图像恢复处理和产生恢复信息成分的处理相同，所以省略其描述。仅描述不同的产生二次恢复图像的处理。

前面描述了输入图像g_m和二次恢复图像f_m的获得，二次恢复图像f_m通过取消表达式5中的约束（设置表达式3中的颜色组合比调整因子ω的每行的总和）而被强烈地校正。然而，当该约束被取消时，因为确定颜色组合比调整因子ω的高自由度，所以难以如表达式8中那样通过一个参数确定它。对于第三实施例，描述下述方法，通过该方法，可在使用表达式8中的确定颜色组合比调整因子ω的方法的同时，获得输入图像g_m和被强烈校正的图像作为二次恢复图像f_m。

虽然可从表达式4获得二次恢复图像f_m，但是这里使用表达式9中所表示的方法。

【表达式9】

（表达式9）

$f_m=g_m+{\mathrm{\μSd}}_m$

$=g_m+\mathrm{\μ}\underset{n}{\overset{\mathrm{RGB}}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{mn}}({\mathrm{fd}}_n-g_n)$

表达式9是通过将由表达式8确定矩阵ω乘以恢复强度调整因子μ而获得的表达式。当μ=0时，因为表达式9的右手侧的第二项为零，所以获得输入图像g_m本身作为二次恢复图像f_m。当μ=1时，表达式9与表达式4相同，并且可获得基于由表达式8确定的颜色组合比调整因子ω的二次恢复图像f_m。恢复强度调整因子μ的基本范围为0≤μ≤1。然而，如果μ>1，则可获得被强烈校正的图像。也就是说，如果对每个颜色成分改变恢复强度调整因子μ，则可对每个颜色成分调整恢复程度。图7是当引入该恢复强度调整因子μ时发生的算法的示范性描述。

当因为诸如对象的照射光源的光谱变化或者图像拾取光学系统的制造误差的因素而光学传递函数（OTF）在颜色成分之间变化并且色差的平衡变化时，恢复强度调整因子μ的使用对于调整每个颜色成分的恢复程度是有效的。照射光源的光谱特性的改变意味着每个波长的强度比的改变。因此，像差量在颜色成分之间变化。因此，响应于图像捕获时的光谱特性对每个颜色成分设置恢复强度调整因子μ使得能够获得适合于每个颜色成分的二次恢复图像f_m。当在图像拾取光学系统中存在制造误差时发生的一种可能影响是图像在对称位置处的劣化程度不同。这样的不同劣化程度可在图像中表现为差异，诸如对于每个颜色成分的模糊或相对色彩模糊。关于模糊，制造误差可通过响应于模糊量的变化（其取决于图像中的位置）来设置恢复强度调整因子μ而得到补偿。关于色彩模糊，制造误差可通过通过响应于色彩模糊量的变化（其取决于图像中的位置）来设置用于每个颜色成分的恢复强度调整因子μ而得到补偿。

这里，描述二次恢复图像f_m的恢复程度相对于颜色组合比调整因子ω和恢复强度调整因子μ的改变的线性。当颜色组合比调整因子ω和恢复强度调整因子μ都为一时具有最大恢复程度的、等于二次恢复图像f_m的一次恢复图像fd_m用作参考。一次恢复图像fd_m与二次恢复图像f_m之间的相似性被定义为表达式10的评估函数J_m。

【表达式10】

（表达式10）

$J_m=1-\frac{{\left|\right|{\mathrm{fd}}_m-f_m\left|\right|}_2}{\sqrt{\text{XY}}}$

右手侧具有附标2的双垂直线指示两维范数，并且分母的X和Y指示图像的水平方向和垂直方向上的像素数量。当表达式9和表达式8分别替代为二次恢复图像f_m和颜色组合比调整因子ω时，因为评估函数J_m是相对于颜色组合比调整因子ω和恢复强度调整因子μ的线性表达式，所以可线性地调整恢复程度。

恢复强度调整因子μ的使用使得恢复程度能够是可调的，同时颜色组合比调整因子ω能如表达式8所示的那样被容易地确定。将颜色组合比调整因子ω和恢复强度调整因子μ分开实现了利用颜色组合比调整因子ω来调整恢复程度与色彩模糊的发生程度之间的平衡，并且实现了利用恢复强度调整因子μ来动态地调整图像的恢复程度。图8是通过该调整执行的恢复程度的改变的示意图。改变颜色组合比调整因子ω实现了色彩模糊的发生的调整，改变恢复强度调整因子μ实现了所设置的颜色组合比调整因子ω与输入图像之间的恢复程度的调整。也就是说，在调整颜色成分之间的组合比时使用颜色组合比调整因子ω，而在对全部R、G和B颜色成分改变恢复程度时使用恢复强度调整因子μ。颜色组合比调整因子ω和恢复强度调整因子μ都可用于图像恢复（二次图像恢复）中。备选地，颜色组合比调整因子ω可具有先前设置的值，恢复程度可通过仅改变恢复强度调整因子μ来调整。

图9(B)示出使用图9(A)所示的测试图像对恢复程度的调整的线性度进行评估的实验结果。结果表明图8所示的线性度被精确地再现。

恢复程度的调整的这样的线性度的优点在于，当用户做出改变时，设置值和恢复结果可容易地匹配，像调整参数数量的减少。例如，与恢复强度调整因子μ对应的滚动条可显示在显示部分105上。滚动条可由用户通过操作部分111操作或者直接由用户在屏幕上操作，从而使得用户能够容易地设置期望的图像恢复程度。

使用恢复强度调整因子μ调整恢复程度可减少噪声和振铃（ringing）。输出图像的图像质量的评估根据目的而变化。此外，对于典型的普通拍摄，输出图像的期望图像质量根据用户或对象而变化，例如，从具有由残余像差引起的耀斑的低对比度图像到其中像差被移除的清晰图像。例如，在人像的情况下，噪声和振铃是非常讨厌的。相反，为了通过监视摄像机或其它设备从汽车的牌照读取数字字符，即使噪声或振铃存在，最重要的也是识别数字字符。如果不想要的效果（诸如噪声、振铃或色彩模糊）由于某一原因而明显地出现在图像中，则由于确保输出图像的原因，至少输出捕获图像（输入图像）本身作为输出图像的能力是重要的。这些各种请求可通过调整恢复强度调整因子μ来满足。

即使当使用恢复强度调整因子μ时，也要求简单地重新设置作为调整参数的μ以改变恢复程度，如第一实施例中那样。因此，因为重新计算过滤器不是必要的，所以可通过更少量的计算来获得所需图像。

以上描述了图像拾取装置中的图像处理的实施例。然而，图像拾取装置可在不脱离其范围的情况下进行各种修改或变化。

上述图像处理还可应用于不具有图像拾取光学系统的图像产生装置。例如，在用于在图像拾取元件与对象表面紧密接触的同时捕获图像的扫描仪（读取装置）或X光机的情况下，它不具有图像拾取光学系统，诸如透镜，但是输出图像由于图像拾取元件所执行的图像采样而相当大地劣化。该劣化特性不是由图像拾取光学系统造成，但是它是图像拾取系统传递函数，所以它对应于以上光学传递函数（OTF）。因此，即使没有图像拾取光学系统，如果图像恢复过滤器基于传递函数产生，也可产生第二实施例中所述的二次恢复图像。

第四实施例

在第一实施例至第三实施例中，描述了图像拾取装置中的图像处理部分104的处理。这里描述通过程序执行该处理的例子。图10是程序的处理流程，该处理通过执行该程序的中央处理单元（CPU）来进行。

首先，在步骤S101中，对输入图像执行利用系统的OTF或传递函数产生一次恢复图像的处理，以产生一次恢复图像。接着，在步骤S102中，从输入图像与一次恢复图像之间的差异获得恢复成分信息。接着，在步骤S103中，基于调整参数（颜色组合比调整因子ω、恢复强度调整因子μ）将用于每个颜色成分的恢复成分信息应用到输入图像，从而获得二次恢复图像。以上处理使得能够获得其中色彩模糊被调整的良好质量图像。

使用图11(A)至图11(C)的流程图来详细描述上述步骤S102至S103。

首先，在图10所示的步骤S101的产生一次恢复图像的处理中，如图11(A)所示，在步骤S111中获得输入图像。接着，在步骤S112中，将基于系统的OTF或传递函数产生的图像恢复过滤器的卷积应用于在S111中获得的输入图像，从而产生一次恢复图像。接着，如图11(B)所示，在图10所示的步骤S102中产生恢复成分信息的处理的步骤中，在步骤S113中，通过从输入图像减去一次恢复图像来产生恢复成分信息，并且流程进入产生二次恢复图像的处理。在图10所示步骤S103中的产生二次恢复图像的处理的图11(C)所示的步骤S114中，获得第一实施例中所述的颜色组合比调整因子。接着，在步骤S115中，将颜色组合比调整因子应用到在步骤S113中获得的恢复成分信息，从而产生颜色组合恢复成分信息。接着，在步骤S116中，将颜色组合恢复成分信息应用到输入图像，从而产生二次恢复图像。然后，在步骤S117中，输出二次恢复图像。

该系列处理可调整颜色成分之间的组合比。因此，可获得良好质量的图像。

另一优点是在改变二次恢复图像的恢复程度时不必重新计算图像恢复过滤器。因此，可进一步减小图像处理的负担，并且处理可以更快。

接下来，使用图12来描述通过程序执行采用颜色组合比调整因子ω和恢复强度调整因子μ二者的图像恢复处理的处理流程。关于一次图像恢复处理和获得恢复成分信息的处理与图11(A)和图11(B)所示的处理流程相同，这里省略其描述。仅描述产生二次恢复图像的处理。

在步骤S121中，获得颜色组合比调整因子。在步骤S122中，将颜色组合比调整因子应用于在产生恢复成分信息的步骤中产生的恢复成分信息（图11(B)中），从而产生颜色组合恢复成分信息。接着，在步骤S123中，获得恢复强度调整因子。在步骤S124中，将颜色组合恢复成分信息乘以恢复强度调整因子，从而产生二次恢复图像。接着，在步骤S125中，输出二次恢复图像。在本实施例中，在获得颜色组合比调整因子之后，获得恢复强度调整因子。然而，它们可预先获得，或者备选地，如第二实施例中描述的那样，可在适当时获得由用户改变的值。参照图12，描述了颜色组合比调整因子ω和恢复强度调整因子μ二者都被使用时发生的流程。然而，处理还可以仅使用恢复强度调整因子μ来执行。

第五实施例

第五实施例描述其中将第一实施例至第四实施例中描述的图像处理应用于系统的例子。图13(A)示出当根据本发明的图像处理应用于图像处理系统时的基本配置的例子。图13(A)所示的图像处理装置131是包含图像处理软件132的计算机设备。图像处理装置131可与下面描述的设备连接。图像拾取设备133是诸如摄像机、显微镜或扫描仪的图像拾取设备。存储介质134是可存储捕获图像的设备，存储介质134的例子包括半导体存储器、硬盘和网络上的服务器。图像处理装置131从图像拾取设备133或存储介质134获得捕获图像数据，并且将经过特定图像处理的图像数据输出到输出设备135、图像拾取设备133和存储介质134中的一个或多个。图像数据还可输出到包括在图像处理装置131中的存储部分并且保留在其中。输出设备135的一个例子可以是打印机。图像处理装置133与作为监视器的显示设备136连接。用户可通过显示设备136执行图像处理任务和评估所校正的图像。图像处理软件132具有调整图像的恢复程度的功能，并且如果需要，具有显影功能和其它图像处理功能。下面，恢复程度包括第一实施例至第四实施例中所述的色彩模糊程度的调整。

使用图13(B)来描述另一个图像处理系统。如第一实施例中那样，当一系列图像处理由图像拾取设备137单独执行时，图像拾取设备137可直接将二次恢复图像输出到输出设备138。当输出设备138包括图像处理装置时，可在输出设备138处调整恢复程度。这是有利的，因为响应于输出设备138的输出中的图像劣化特性调整恢复程度使得能够提供具有更高图像质量的图像。

这里，描述在用于执行包括图像恢复处理的图像处理的设备之间传输的校正数据的内容和该校正数据的交换。图14示出校正数据的内容。校正信息集合包含下述关于校正的信息。

·校正控制信息

校正控制信息是关于图像拾取设备133、图像处理装置131和输出设备135中的哪个设备执行一次图像恢复处理和调整恢复程度的处理的设置信息以及关于将与该设置信息一起传输到另一设备的数据的选择信息。例如，当图像拾取设备133仅执行一次图像恢复处理并且图像处理装置133调整恢复程度时，不必传输图像恢复过滤器，但是需要至少传输捕获图像和恢复成分信息。

·图像拾取设备信息

图像拾取设备信息是用于识别图像拾取设备133的、与产品名称对应的信息。当透镜和摄像机主体是可更换的时，图像拾取设备信息是包含关于它们的组合的信息的标识信息。

·拍摄状态信息

拍摄状态信息是关于图像拾取设备在图像捕获时的状态的信息。其例子包括焦长、光阑值、图像捕获距离、ISO速度额定值、白平衡和摄影模式。

·个体图像拾取设备信息

与以上图像拾取设备信息相反，个体图像拾取设备信息是用于识别个体图像拾取设备的信息。由制造误差引起的变化导致图像拾取设备的光学传递函数（OTF）的变化。因此，个体图像拾取设备信息在设置适于每个个体设备的调整参数方面是有效的。个体图像拾取设备信息还可以是用于单个地改变调整参数的校正值。

·图像恢复过滤器群

图像恢复过滤器群是用于在产生一次恢复图像的处理中使用的图像恢复过滤器的集合。如果配置为执行产生一次恢复图像的处理的设备不具有图像恢复过滤器，则需要从另一设备接收图像恢复过滤器。

·恢复成分信息

如果已执行图像恢复处理（一次图像恢复处理、产生恢复成分信息的处理）并且已产生恢复成分信息，则传输捕获图像和恢复成分信息使得另一设备能够执行调整恢复程度的处理。

·调整参数群

调整参数群是颜色组合比调整因子ω和恢复强度调整因子μ的集合。如前所述，颜色组合比调整因子ω和恢复强度调整因子μ可根据图像的位置而改变，并且还可以响应于图像捕获的状态而改变。调整参数群的数据的例子可包括调整因子本身的表数据和用于确定调整因子的函数。

·用户指定信息

用户指定信息用于调整恢复程度以适合于用户需求，并且可以是调整参数或者用于调整参数的校正函数。用户可设置和改变调整参数。用户指定信息的使用使得期望的输出图像能够总是可作为初始值获得。对于用户指定信息，最优选的清晰度可基于用户确定调整参数的历史通过学习函数来进行更新。另外，与若干清晰度模式对应的预设值还可由图像拾取设备的提供商（制造商）通过网络来供给。

上述校正信息集合可优选地附到个体图像数据。将必要的校正信息附到图像数据使得包括图像处理装置的设备能够执行调整恢复程度的处理。当必要时，可自动地和手动地选择校正信息集合的内容。例如，当另一个设备执行调整恢复程度的处理时，如果校正信息集合包含恢复成分信息，则基本上，图像恢复过滤器群不是必要的。

各种类型的信息（诸如指示图像捕获状态（包括透镜的焦长、光阑和图像捕获距离）的信息和用于在校正图像中使用的校正信息）可以附到输入图像。当从图像拾取到输出的一系列处理由单个封闭式图像拾取装置执行时，即使指示图像捕获状态的信息和校正信息不附到图像，也可在装置中获得它。然而，当从图像拾取装置获得原始图像并且校正处理和显影处理由另一图像处理装置执行时，如上所述，指示图像捕获状态的信息和校正信息可优选地附到图像。然而，对于其中校正信息被先前存储在图像处理装置中并且可从指示图像捕获状态的信息选择校正因子的系统，不必要求将校正信息附到图像。这里所使用的校正信息可以是例如颜色组合比调整因子ω。校正信息可具有作为初始值的预设值，并且该值可被用户改变。当包括在图像拾取装置中的监视器或图像处理装置是另一设备时，用户可在使用配备为图像处理系统的一部分的监视器评估输出图像的同时改变校正信息，从而获得所需的输出图像。

在前面，示出了关于使用根据本发明的图像处理装置、图像处理程序或图像处理方法的图像处理系统的实施例。然而，根据本发明的图像处理系统可在其范围内进行各种修改和改变。

（第一变型）

在第一变型中，描述与执行颜色插值处理（去马赛克处理）的情况对应的变型。如参照图2所述，在针对颜色成分的恢复成分信息S_m组合颜色时，每个像素需要具有多条颜色成分信息。因此，为了对每个像素具有一条颜色成分信息的马赛克图像执行产生二次恢复图像的处理，需要在颜色组合处理之前执行颜色插值处理（去马赛克处理）。因此，对于每个像素具有多条颜色成分信息的恢复成分信息S_m可通过对用于每个颜色成分的恢复成分信息S_m执行的颜色插值处理或者对输入图像g_m和一次恢复图像fd_m中的每个执行的颜色插值处理来产生。

图15(A)示出当从经历颜色插值处理（去马赛克处理）的图像产生恢复成分信息时发生的处理流程。省略对图15所示的前面描述了的步骤的描述。马赛克数据和去马赛克数据分别指示对于每个像素不具有RGB成分的数据和对于每个像素具有RGB成分的数据。马赛克数据处理和去马赛克数据处理指示作为处理目标的数据状态。在图15(A)所示的流程中，在产生用于颜色成分的颜色组合的颜色组合恢复成分信息之前，执行颜色插值处理；在颜色组合之后，执行与马赛克数据的颜色布置对应的掩模处理，并且将颜色组合恢复成分信息返回到马赛克数据。然后，将该数据与输入图像组合，从而产生二次恢复图像，并且再次执行颜色插值处理。以这样的方式，对没有经过非线性处理的原始图像（马赛克图像）执行图像恢复处理实现了高精度的恢复处理。将颜色组合恢复成分信息返回到马赛克数据并且对二次恢复图像执行颜色插值处理使得颜色插值处理能是非线性的并且支持图像的信号值的状态。

就非线性处理而言，可以优选的是，如图15(A)所示，在接近最终图像的阶段执行颜色插值处理。然而，颜色插值处理（去马赛克处理）不限于图15(A)所示的处理流程。例如，可首先对输入图像执行颜色插值处理，并且去马赛克图像可在后面的处理中使用。如图15(B)的流程所示，不是将颜色组合恢复成分信息返回到马赛克数据，而是输入图像可经历颜色插值处理以变为去马赛克数据，然后，可产生二次恢复图像。

（第二变型）

接下来，使用图16(A)和图16(B)来描述白平衡与恢复程度调整之间的关系。白平衡是调整数字摄像机中的色调的方法，并且被拍摄者用于显示适当颜色或想要的颜色。产生白色所使用的原始图像的RGB信号的混合比是白平衡因子。

如上所述，为了产生颜色组合恢复成分信息，根据颜色组合比调整因子ω来组合用于颜色成分的恢复成分信息。此时，如果不考虑白平衡，则想要的混合比不可通过ω的设置来获得。例如，如果ω为1/3，则R、G和B恢复成分被一致地平均，所获得的颜色组合恢复成分信息没有颜色。然而，除非白平衡因子为1∶1∶1，否则1/3成分的混合的颜色组合恢复成分信息具有颜色。也就是说，色彩模糊的发生程度不能为零。为了解决这个问题，如图16(A)所示，对输入图像执行白平衡处理。该白平衡处理是与将每个颜色成分的信号值除以白平衡因子且因此归一化信号值水平对应的处理。归一化使得颜色组合恢复成分信息能够用与颜色组合比调整因子ω对应的混合比来产生。在产生二次恢复图像之前执行的逆白平衡处理将白平衡返回到原始状态。该逆白平衡处理是与将每个颜色成分的信号值乘以白平衡因子且因此将信号值的归一化水平返回到原始水平对应的处理。该白平衡处理的另一种方法是根据白平衡因子校正用于恢复程度的调整参数，如图16(B)所示的那样，而不考虑图像的白平衡。调整参数的例子包括颜色组合比调整因子ω和恢复强度调整因子μ。

如上所述，在图像恢复处理（一次图像恢复处理、二次图像恢复处理）中考虑白平衡实现了减少不自然的色彩模糊的图像恢复处理。

（第三变型）

接下来，使用图17来描述畸变校正与恢复程度之间的关系。该方法对应于对马赛克图像执行图像恢复处理的情况。这使得能够获得其中色彩模糊的发生和畸变被校正的高质量图像。在用于执行畸变校正处理的另一处理流程中，可对其中二次恢复图像经历去马赛克的去马赛克图像执行畸变校正处理。在图17所示的处理流程中，在图像恢复处理（一次图像恢复处理）之后执行畸变像差校正。

畸变校正还可在图像恢复处理（一次图像恢复处理）之前执行。在这种情况下，在图像恢复处理中，图像被扩展或收缩，图像的形状可被修改，并且可执行像素之间的插值。此时，图像恢复过滤器需要被扩展或收缩，改变其形状和执行小片（tap）插值。例如，对于桶形畸变像差的校正，因为图像的较外区域被大地扩展，所以图像恢复过滤器被放大。另外，因为插值，恢复的精度降低。因此，畸变校正可以优选地在图像恢复处理之后执行。

（第四变型）

在第四变型中，描述当执行横向色差处理时发生的处理流程。

图18(A)和图18(B)中示出包含校正横向色差的处理的流程。图18(A)所示的方法首先对输入图像执行校正横向色差的处理，并且在图像恢复处理中，使用图像恢复过滤器。图18(B)中示出了另一处理流程。在图18(B)所示的处理流程中，对恢复成分信息执行校正横向色差的处理。在这种情况下，因为需要对输入图像执行校正横向色差的处理以便产生二次恢复图像，所以图18(A)所示的方法可以是优选的。

畸变像差校正和横向色差校正需要像素之间的插值和图像的放大倍率的改变。如果执行像素之间的插值，则发生与每个校正量对应的周期性清晰度降低。清晰度降低的周期和降低量可预先从校正特性识别。因此，响应于清晰度降低特性的恢复程度调整使得能够校正清晰度降低。具体地讲，响应于与图像的位置对应的降低量来改变恢复强度调整因子μ，从而降低输出图像的清晰度的不均匀性。

以下描述与一系列图像处理一起执行横向色差校正的情况的优选例子。

在图18(A)和图18(B)所示的处理流程中，横向色差校正利用不具有横向色差校正成分的图像恢复过滤器。图像恢复过滤器可包含用于横向色差的校正成分。然而，横向色差校正可优选地作为不同于图像恢复处理的步骤来执行。使用图19和图20来描述这样的原因。

图19示出颜色组合比调整因子ω为1/2并且恢复强度调整因子μ为1的情况。在前面，R、G和B三个成分被描述为颜色成分。这里，为了简单起见，描述两个成分。ω为1/2的状态是色彩模糊的发生程度对于两个颜色成分为零的状态。在图19中，g_m示意性地示出劣化的输入图像的某一部分。粗实线指示第一颜色成分，虚线指示第二颜色成分。图19的(A)示出使用包含横向色差校正成分的图像恢复过滤器并且在随后阶段对二次恢复图像f_m执行横向色差校正的情况。图19的(B)示出在对输入图像g_m执行横向色差校正之后使用不包含横向色差校正成分的图像恢复过滤器的情况。图19的(C)示出在使用不具有横向色差校正成分的图像恢复过滤器产生二次恢复图像f_m之后对该二次恢复图像执行横向色差校正的情况。g_m|shift是仅在图19的(B)中经历横向色彩校正的图像。fd_m是其中对每个g_m|shift执行图像恢复处理的一次恢复图像。表明，在图19的所有(A)、(B)和(C)中，图像的模糊（清晰度降低的部分）被校正。接着，在图19的(A)和(C)中，通过从fd_m减去g_m产生恢复成分信息S_m。在图19的(B)中，它通过从fd_m减去g_m|shift来产生。Sd_m是其中用于第一颜色成分的恢复成分信息S_m和用于第二颜色成分的恢复成分信息S_m被平均的颜色组合恢复成分信息。f_m是其中颜色组合恢复成分信息Sd_m和输入图像g_m组合的二次恢复图像。f_m|shift是其中对二次恢复图像f_m执行横向色差校正的图像。在产生二次恢复图像之后，横向色差在图19的(C)中（其中，横向色差未被校正）和在图19的(A)中（其中颜色重合失调存在，尽管图像恢复过滤器包含横向色差校正成分）被校正。O_m是经历上述图像处理的输出图像。在从输出图像O_m产生颜色组合恢复成分信息Sd_m的步骤中，当横向色差保留在恢复成分信息S_m中时，因为颜色组合恢复成分信息Sd_m具有包含横向色差的扩展，所以每个颜色成分的校正精度降低。因此发现，如图19的(B)所示，对于在产生颜色组合恢复成分信息Sd_m之前发生的阶段执行横向色差校正的情况，可获得最清晰的输出图像O_m。

接着，图20示出当重构强度调整因子μ对于单个颜色成分设置为1/2时发生的图像恢复处理。这里，因为颜色成分的数量为一，所以避免了在产生上述颜色组合恢复成分信息时出现的问题。然而表明，当图20的(A)所示的图像恢复过滤器包含横向色差校正成分时，不可获得良好质量的图像。这是因为恢复成分信息包含横向色差校正，因而如果恢复程度（恢复强度调整因子μ）降低，则横向色差的校正程度相应地降低。

横向色差校正可通过坐标的几何变换来实现，并且不太可能具有伪像（比如，振铃），像图像恢复处理中的那些伪像。因为此，在调整重构程度时，可以优选的是，模糊的校正（用于改善清晰度的校正）和颜色重合失调的校正（横向色差校正）分开，颜色重合失调成分通过横向色差校正被去除，并且模糊程度随恢复程度被调整。因此，可以优选的是，图像恢复过滤器不包含横向色差校正成分，并且横向色差校正在图像恢复处理之前的步骤中执行。

在以上第一变型至第四变型中，描述了处理步骤的优选顺序和应该考虑的处理。如果从另一观点来讲对处理步骤的顺序设置限制，则该顺序可根据用于处理的约束或者所需的图像质量来确定。当然，应注意，处理步骤的顺序可在可实现获得良好质量图像的目标的范围内进行改变。

附图标记列表

101    图像拾取光学系统

101a   光阑

101b   聚焦透镜

102    图像拾取元件

103    A/D转换器

104    图像处理部分

105    显示部分

106    图像拾取光学系统控制部分

107    状态检测部分

108    存储部分

109    图像存储介质

110    系统控制器

111    操作部分

Claims (15)

1.一种图像处理装置，包括：

一次恢复图像产生部件，用于通过对具有多个颜色成分的输入图像执行图像恢复处理来产生一次恢复图像；

恢复成分信息产生部件，用于通过计算所述输入图像与所述一次恢复图像之间的差异来产生所述多个颜色成分中的每个的差异信息；以及

二次恢复图像产生部件，用于使用所述差异信息来产生二次恢复图像，

其中，所述二次恢复图像产生部件将基于所述多个颜色成分的所述差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合。

2.根据权利要求1所述的图像处理装置，其中，所述二次恢复图像产生部件通过根据多个颜色组合比调整因子组合所述差异信息来产生所述二次恢复图像，所述多个颜色组合比调整因子指定用于每个颜色成分的组合比。

3.根据权利要求2所述的图像处理装置，还包括设置部件，用于设置所述颜色组合比调整因子，

其中，由所述设置部件设置的设置值是可变的。

4.根据权利要求2和3中的任一项所述的图像处理装置，其中，所述颜色组合比调整因子的多个值通过单个设置值来设置。

5.根据权利要求1或2所述的图像处理装置，其中，所述二次恢复图像产生部件通过根据恢复强度调整因子组合所述差异信息和所述输入图像来产生所述二次恢复图像，所述恢复强度调整因子指定恢复的强度。

6.根据权利要求5所述的图像处理装置，还包括设置部件，用于设置所述恢复强度调整因子，

其中，由所述设置部件设置的设置值是可变的。

7.根据权利要求1至6中的任一项所述的图像处理装置，其中，由所述二次恢复图像产生部件产生的二次恢复图像是所述输入图像。

8.根据权利要求1至7中的任一项所述的图像处理装置，其中，所述一次恢复图像产生部件通过将二维图像恢复过滤器卷积到所述输入图像中来获得所述一次恢复图像，所述二维图像恢复过滤器通过针对所述输入图像的每个像素，对使用图像拾取光学系统的光学传递函数的逆函数产生的函数执行的逆傅里叶变换而获得。

9.根据权利要求1至8中的任一项所述的图像处理装置，其中，用于使每个像素具有关于所述多个颜色成分的信息的颜色插值处理被执行。

10.一种图像拾取装置，包括：

图像拾取元件，其拾取对象的图像；

图像拾取光学系统，其将来自所述对象的光引导向所述图像拾取元件；

图像处理部件，其用于对由所述图像拾取元件拾取的作为输入图像的图像执行图像处理；以及

存储部件，其用于存储所述图像处理中所使用的图像恢复过滤器，

所述图像处理部件包括：

一次恢复图像产生部件，其用于通过对具有多个颜色成分的

输入图像执行图像恢复处理来产生一次恢复图像；

恢复成分信息产生部件，其用于通过计算所述输入图像与所述一次恢复图像之间的差异来产生用于所述多个颜色成分中的每个的差异信息；以及

二次恢复图像产生部件，其用于使用所述差异信息来产生二次恢复图像，

其中，所述二次恢复图像产生部件将基于所述多个颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合。

11.根据权利要求10所述的图像拾取装置，还包括选择部件，其用于选择所述图像恢复过滤器。

12.根据权利要求10或11所述的图像拾取装置，还包括图像恢复过滤器产生部件，其用于产生所述图像恢复过滤器。

13.一种图像处理方法，包括：

一次恢复图像产生步骤，其通过对具有多个颜色成分的输入图像执行用于每个颜色成分的恢复处理来产生一次恢复图像；

恢复成分信息产生步骤，其获得指示对于每个颜色成分，所述输入图像与所述一次恢复图像之间的差异的差异信息；以及

二次恢复图像产生步骤，其通过将基于在所述恢复成分信息产生步骤中产生的所述多个颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合来产生二次恢复图像。

14.一种用于对输入图像执行图像处理的程序，所述程序包括：

一次图像恢复处理步骤，其通过使用传递函数对所述输入图像执行恢复处理来获得一次恢复图像；

恢复成分信息产生步骤，其产生指示所述输入图像与所述一次恢复图像之间的差异的差异信息；以及

二次恢复图像产生步骤，其通过将基于在所述恢复成分信息产生步骤中产生的所述多个颜色成分的差异信息的颜色组合恢复成分信息与所述输入图像的一个颜色成分组合来产生二次恢复图像。

15.一种图像处理系统，包括：

根据权利要求1至9中的任一项所述的图像处理装置；以及

能连接到所述图像处理装置的图像拾取设备、输出设备、显示设备和存储介质中的至少一个。

Images