CN104519329A - 图像处理装置、拾取装置、拾取系统和处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、拾取装置、拾取系统和处理方法。一种图像处理装置(100)包括：被配置为检测从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小的第一区域的检测单元(102)；被配置为基于关于图像拾取光学系统的颜色逸出的光学信息和关于第一区域的信息确定出现颜色逸出的第二区域的确定单元(103)；和被配置为校正图像以减少颜色逸出的校正单元(104)。

Description

图像处理装置、拾取装置、拾取系统和处理方法

技术领域

本发明涉及减少颜色图像中的颜色逸出(color bleeding)的图像处理装置。

背景技术

常规上，由于由图像拾取光学系统导致的色差，在颜色图像的明亮部分的周边处，本来不存在的颜色有时表现为颜色逸出。通过使用包含具有相互不同的色散的材料的多个透镜的组合，可在光学上在一定程度上减少由图像拾取光学系统导致的色差。但是，近来的图像拾取装置的小型化的进展要求增加用于图像拾取元件中的传感器的分辨率并减小图像拾取光学系统的尺寸，这使得难以通过图像拾取光学系统的构成充分地抑制色差。

色差大致分为横向色差(倍率色差)和纵向色差(轴向色差)。横向色差是成像位置根据波长在沿像面的方向上位移的现象。纵向色差是成像位置根据波长在沿光轴的方向上位移的现象。如在美国专利No.6724702中公开的那样，可通过向颜色面即R(红色)、G(绿色)和B(蓝色)添加不同畸变的几何转换来校正横向色差。另一方面，不能通过上述的几何转换校正纵向色差。

日本专利公开No.(“JP”)2007-133592公开了通过利用颜色逸出主要出现于过度高亮(blown-out highlight)(事先设定的信号饱和区域)的周边的特性搜索G(绿色)面饱和的区域并然后积分布置于该区域周围的区域中的像素来计算校正量的方法。JP 2009-268033公开了确定颜色图像中的各颜色面的像素值单调增加或单调减小的任何区域作为颜色逸出区域并然后消除这种颜色逸出的方法。

但是，在JP 2007-133592中公开的方法导致颜色逸出，这种颜色逸出使得用户在不出现过度高亮的区域中也感觉奇怪，这意味着，颜色逸出校正不足。另一方面，在JP 2009-268033中公开的方法在不出现过度高亮的区域中也可校正颜色逸出。但是，由于颜色逸出的出现是由于图像拾取光学系统引起的像差，因此导致诸如彗差的不对称像差的图像拾取光学系统使得被摄体的图像在一些方向上具有或者不具有颜色逸出。当被摄体具有与颜色逸出的类型相同的类型的颜色时，该方法可能错误地确定被摄体的颜色为颜色逸出并由此消除被摄体的本来的颜色。

并且，为了更有效地减少颜色逸出，必须考虑由于光学系统的制造变化和偏心调整等导致的倍率色差。

发明内容

本发明提供能够有效地减少颜色图像中的颜色逸出的图像处理装置、图像拾取装置、图像拾取系统和图像处理方法。

作为本发明的一个方面的图像处理装置包括：被配置为检测第一区域的检测单元，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域的确定单元；和被配置为校正图像以减少颜色逸出的校正单元。

作为本发明的另一方面的图像处理装置包括：被配置为校正拍摄图像的倍率色差的第一校正单元；被配置为检测第一区域的检测单元，在所述第一区域中，校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小；被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域的确定单元；和被配置为校正已校正了倍率色差的拍摄图像以减少颜色逸出的第二校正单元。

作为本发明的另一方面的图像拾取装置包括：被配置为对光学图像进行光电转换的图像拾取元件；被配置为检测第一区域的检测单元，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域的确定单元；和被配置为校正图像以减少颜色逸出的校正单元。

作为本发明的另一方面的图像拾取装置包括：被配置为对光学图像进行光电转换以输出拍摄图像的图像拾取元件；被配置为校正拍摄图像的倍率色差的第一校正单元；被配置为检测第一区域的检测单元，在所述第一区域中，校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小；和被配置为校正已校正了倍率色差的拍摄图像以减少颜色逸出的第二校正单元。

作为本发明的另一方面的图像拾取系统包括包含图像拾取光学系统的镜头装置和图像拾取装置。

作为本发明的另一方面的图像处理方法包括以下的步骤：检测第一区域，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；以及，校正图像以减少颜色逸出。

作为本发明的另一方面的图像处理方法包括以下的步骤：校正拍摄图像的倍率色差；检测校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小的第一区域；基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；以及，校正已校正了倍率色差的拍摄图像以减少颜色逸出。

从参照附图对示例性实施例的以下描述，本发明的其它特征和方面将变得清晰。

附图说明

图1A是本实施例中的图像处理装置的框图。

图1B是示出本实施例中的图像处理方法的流程图。

图2是示出本实施例中的单调增加/减小确定处理的流程图。

图3是示出本实施例中的要经受单调增加/减小确定的像素区间具有单调增加/减小特性的情况的例子的示图。

图4是示出本实施例中的要经受单调增加/减小确定的像素区间不具有单调增加/减小特性的情况的例子的示图。

图5A～5D是示出本实施例中的中心是目标像素的用于单调增加/减小确定的像素区间的示图。

图6A～6H是示出本实施例中的端点是目标像素的用于单调增加/减小确定的像素区间的示图。

图7是示出本实施例中的图像中的3×3像素区域的示图。

图8是示出本实施例中的对3×3像素区域的各像素应用低通过滤的结果的示图。

图9是示出本实施例中的当向各像素应用低通过滤时观察的输入信号的变化的例子的示图。

图10A～10C是示出本实施例中的导致对称像差的图像拾取光学系统的单调增加/减小检测的例子的示图。

图11A～11C是示出本实施例中的导致不对称像差的图像拾取光学系统的单调增加/减小检测的例子的示图。

图12A和图12B是本实施例中的光学信息的说明图。

图13A和图13B是示出本实施例中的基于光学信息和单调增加/减小检测的结果确定颜色逸出区域的例子的示图。

图14A～14D是本实施例中的二维光学信息的说明图。

图15A～15C是示出本实施例中的使用光学信息的颜色逸出确定处理的示图。

图16A和图16B是本实施例中的计算光学信息的方法的说明图。

图17是示出本实施例中的蓝色逸出的像素值的典型变化的示图。

图18是本实施例中的关于B面的像素值的非线性转换的特性图。

图19是示出本实施例中的色度坐标a-b面的示图。

图20是示出本实施例中的基于单调增加/减小检测的结果的B面内的3×3像素区域的示图。

图21是第一实施例中的图像拾取装置的构成图。

图22是第二实施例中的图像处理系统的构成图。

图23是示出第三实施例中的倍率色差(第一倍率色差)的校正处理(第一校正处理)的流程图。

图24A和图24B是第三实施例中的倍率色差的校正处理的说明图。

图25是示出第三实施例中的不对称倍率色差(第二倍率色差)的校正处理(第二校正处理)的流程图。

图26是示出第三实施例中的不对称倍率色差(第二倍率色差)的校正处理的说明图。

图27A和图27B是第三实施例中的倍率色差(第一倍率色差)的说明图。

图28A和图28B是第三实施例中的不对称倍率色差(第二倍率色差)的说明图。

图29是第三实施例中的倍率色差和不对称倍率色差的校正处理的说明图。

图30是示出第四实施例中的图像处理方法的流程图。

图31A是第三实施例中的图像处理装置的框图。

图31B是示出第三实施例中的图像处理方法的流程图。

具体实施方式

以下将参照附图描述本发明的示例性实施例。

首先，将参照图1A和图1B，描述图像处理装置和图像处理方法。图1A是本实施例中的图像处理装置100的框图。图1B是本实施例中的图像处理方法(图像处理程序)的流程图。基于图像处理装置100的命令(指令)即通过图像处理装置100的各单元执行图1B的各步骤。

如图1A所示，图像处理装置100包含输入单元101、检测单元102、确定单元103、校正单元104(颜色逸出校正单元)和输出单元105。首先，在图1B的步骤S1中，图像处理装置100(输入单元101)获取拍摄图像作为输入图像。输入图像是图像拾取元件通过经由图像拾取光学系统接收光获取的数字图像(拍摄图像)，并且由于由图像拾取光学系统导致的像差(轴向色差等)而劣化。图像拾取光学系统不仅可由透镜构成，而且可由具有弯曲的反射镜(反射表面)构成。

例如，输入图像的颜色分量包含RGB颜色分量信息。此外，作为其它颜色分量，可以选择和使用诸如由LCH表示的明度、色调和饱和度，以及由YCbCr表示的亮度和色差信号的常用颜色空间。作为其它的颜色空间，可以使用XYZ、Lab、Yuv和JCh。并且，也可使用色温。可通过有线或无线连接图像拾取装置和图像处理装置100获取拍摄图像。也可通过非暂时性计算机可读存储介质获取拍摄图像。

随后，在步骤S2中，图像处理装置100(检测单元102)检测构成颜色图像的多个颜色面中的任一个的像素值(信号电平)单调增加或单调减小的区域。然后，检测单元102暂时确定所检测的区域作为颜色逸出出现区域(单调增加/减小检测处理)。在单调增加/减小检测处理中，存在几种可能的确定颜色逸出出现区域的方法。在本实施例中，基于某像素区间(预定区间)中的颜色逸出的像素值的变化特性执行确定。

由于因成像位置根据波长在沿光轴的方向上的位移出现颜色逸出，因此，当出现蓝色的颜色逸出时，例如，这意味着蓝色面(B面)失焦(散焦)。由散焦导致的颜色逸出存在于某像素区间上，并且，这种情况下的颜色逸出的像素值的变化具有从图像的突出显示部分到阴影部分逐渐减小的特性。因此，当某像素区间中的颜色逸出的像素值的变化具有单调增加或单调减小的特性时，由于可能出现颜色逸出，因此该区间被暂时确定为颜色逸出出现区域。

如上所述，在本实施例中，图像拾取元件包括多个滤色器。检测单元102检测从图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平(像素值)在预定的区间内沿某方向(第一方向)单调增加或单调减小的区域(第一区域)。但是，本实施例不限于此，并且，检测单元102可替代性地被配置为检测从从图像拾取元件获取的图像产生的亮度面(Y面)的信号电平而不是颜色面的信号电平单调增加或单调减小的区域。

顺便说一句，在实际的情况下，当图像拾取光学系统导致诸如彗差的不对称像差时，关于被摄体的图像由图像拾取光学系统导致的颜色逸出在一些方向上出现并且在其它的方向上不出现。因此，如果当被摄体具有与颜色逸出相同的类型的颜色时仅基于单调增加/减小确定颜色逸出出现区域，那么被摄体的颜色可能被错误地确定为颜色逸出。这意味着，不能仅基于单调增加或单调减小正确地确定颜色逸出出现区域。

在本实施例中，检测单调增加或单调减小的区域包含中心是颜色图像的目标像素的水平、垂直或倾斜方向的像素区间以及端点是颜色图像的目标像素的水平、垂直或倾斜方向的像素区间中的任一个。

作为第一处理，通过计算颜色面的像素值的倾斜执行单调增加或单调减小的检测。当输入图像由例如三个颜色面即G面、B面和R面构成时，选择要去除颜色逸出的B面，并且使用G面作为基准面。如下式(1)所示，计算关于B面的亮度倾斜Blea和关于G面的亮度倾斜Glea。

$\begin{array}{c}\mathrm{Blea}=(\frac{\mathrm{dB}}{\mathrm{dx}},\frac{\mathrm{dB}}{\mathrm{dy}})=(\frac{B(x+1,y)-B(x-1,y)}{2},\frac{B(x,y+1)-B(x,y-1)}{2})\\ \mathrm{Glea}=(\frac{\mathrm{dG}}{\mathrm{dx}},\frac{\mathrm{dG}}{\mathrm{dy}})=(\frac{G(x+1,y)-G(x-1,y)}{2},\frac{G(x,y+1)-G(x,y-1)}{2})\end{array}---\left(1\right)$

在式(1)中，G(x+1,y)和B(x+1,y)分别代表G面中的沿向右的方向与目标像素相邻的像素的像素值和B面中的沿向右的方向与目标像素相邻的像素的像素值。G(x-1,y)和B(x-1,y)分别代表G面中的沿向左的方向与目标像素相邻的像素的像素值和B面中的沿向左的方向与目标像素相邻的像素的像素值。G(x,y+1)和B(x,y+1)分别代表G面中的沿向上的方向与目标像素相邻的像素的像素值和B面中的沿向上的方向与目标像素相邻的像素的像素值。G(x,y-1)和B(x,y-1)分别代表G面中的沿向下的方向与目标像素相邻的像素的像素值和B面中的沿向下的方向与目标像素相邻的像素的像素值。虽然在本实施例中通过使用三个颜色面进行描述，但能够根据构成图像的颜色面的数量通过使用任意数量的颜色面执行处理。

下面，将参照图2～4，描述单调增加/减小检测处理中的颜色逸出出现区域的确定方法。图2是示出本实施例中的单调增加/减小确定处理(单调增加/减小检测处理：图1B的步骤S2或图31B的步骤S103)的流程图。图2的各步骤主要由图像处理装置100(检测单元102)执行。首先，在步骤S1520中，图像处理装置100确定ISO灵敏度是否高(ISO灵敏度是否高于预定的灵敏度)。当ISO灵敏度高时，流程前进到步骤S1521。另一方面，当ISO灵敏度不高时，流程前进到步骤S1522。

在步骤S1522中，图像处理装置100关于当输入图像的目标像素是中心时观察的垂直、水平和倾斜像素区间(预定的区间)分析输入图像的像素值的变化。然后，在步骤S1523中，图像处理装置100确定(检测)上述的像素区间中的输入信号的像素值的变化是否具有单调增加/减小特性。当上述的像素区间中的输入信号的像素值的变化被确定为不具有单调增加/减小特性时，图像处理装置100在步骤S1524中关于当目标像素是端点时观察的垂直、水平和倾斜像素区间分析输入图像的像素值的变化。然后，在步骤S1525中，图像处理装置100确定上述的像素区间中的输入信号的像素值的变化是否具有单调增加/减小特性。

图3是作为例子示出经受单调增加/减小确定的像素区间具有单调增加/减小特性的情况的示图，并且，纵轴和横轴分别表示像素值和距离。图4是作为例子示出经受单调增加/减小确定的像素区间不具有单调增加/减小特性的情况的示图，并且，纵轴和横轴分别表示像素值和距离。图像处理装置100关于具有图3和图4所示的像素值的变化的输入信号执行单调增加/减小确定。图3和图4所示的各白色正方形是目标像素。

如图3所示，输入信号的像素值的变化具有单调增加/减小特性的图像在要执行单调增加/减小确定的像素区间中具有单调增加/减小特性。因此，作为在步骤S1522或S1524中进行的分析的结果，图像处理装置100在步骤S1523或S1525中确定图像在像素区间中具有单调增加/减小特性。另一方面，图像处理装置100确定输入信号的像素值的变化具有图4所示的特性的图像不具有单调增加/减小特性。

当上述的像素区间中的输入信号的像素值的变化具有单调增加/减小特性(单调增加特性或单调减小特性)时，图像处理装置100在步骤S1527中设定单调增加/减小标记。另一方面，当上述的像素区间中的输入信号的像素值的变化不具有单调增加/减小特性(单调增加特性或单调减小特性)时，图像处理装置100在步骤S1526中不设定单调增加/减小标记。

对B面中的各像素应用上述的单调增加/减小确定。当作为确定的结果在各像素上设定单调增加/减小标记时，向B面分配符号“1”，并且，当不在各像素上设定单调增加/减小标记时，向B面分配符号“0”，然后，B面作为单调增加/减小确定结果面产生并且得到保持，并被用于后面描述的颜色逸出确定(图1的步骤S3)中。将在后面描述利用单调增加/减小确定结果面的方法的细节。

下面，将参照图5A～5D和图6A～6H，描述执行关于目标像素的单调增加/减小确定的像素区间的设定方法。图5A～5D是示出中心是目标像素的经受单调增加/减小确定的像素区间的示图。图6A～6H是示出端点是目标像素的经受单调增加/减小确定的像素区间的示图。在中心是目标像素的像素区间的设定方法和端点是目标像素的像素区间的设定方法中，中心是目标像素的一种可能的设定方法是，如图5A和图5B所示，沿水平方向和垂直方向设定中心是目标像素的像素区间。

另外，中心是目标像素的另一种可能的设定方法是，如图5C和图5D所示，沿倾斜方向设定中心是目标像素的像素区间。即，以水平与水平方向或垂直方向相同的倾斜方向的距离设定像素区间使得像素区间能够具有各向同性。在这种情况下，沿倾斜方向设定的角度被限定为图5C和图5D所示的关于水平方向或垂直方向的45度。但是，本实施例不限于此，并且，可以设定45度以外的任意角度。通过使用下式(2)计算像素区间的距离d。

d＝x/cosθ…(2)

在式(2)中，符号x表示水平方向的位置，符号θ表示关于水平方向的角度。

另一方面，由于受饱和度或噪声影响，因此，图像中的突出显示部分或阴影部分的周边的颜色逸出尽管存在但在一些情况下不能正确地确定。在这些情况下，如图6A～6H所示，端点是目标像素的像素区间的设定方法是有效的。当通过上述的方法中的任一个执行的单调增加/减小确定的结果表明甚至图5A～5D和图6A～6H所示的像素区间中的任一个是具有单调增加/减小特性的像素区间时，这种像素区间中的目标像素被确定为具有单调增加/减小特性的像素。

虽然在本实施例中输入信号的像素值被用作单调增加/减小确定的对象，但可替代性地使用亮度倾斜。在这种情况下，具有其中的亮度倾斜的变化仅反转一次的特性的某像素区间被确定为颜色逸出。将像素区间中的像素数量设定为适当的值使得该数量与在图像形成装置的拍摄条件下出现的颜色逸出的最小颜色逸出的宽度对应是有效的。

颜色逸出的宽度根据拍摄条件(孔径值、焦距、聚焦精度、图像中的焦点位置和图像拾取元件上的坐标等)而不同。因此，将像素区间中的像素数量设定为适当的值使得该数量与在各种类型的拍摄条件下出现的各种颜色逸出中的具有最小宽度的颜色逸出对应使得能够检测具有最小宽度的颜色逸出。也可通过使用像素数量被调整为具有最小宽度的颜色逸出的像素区间检测具有最大宽度的颜色逸出。

如上面描述的那样执行单调增加/减小确定使得能够提取希望检测的颜色逸出。但是，可以设想，在诸如高ISO灵敏度的一些拍摄条件下，由于包含于输入信号中的噪声，S/N比减小，从而导致颜色逸出不具有单调增加/减小特性的情况。在这种情况下，在图2的步骤S1521中对输入信号通过数字过滤器执行过滤处理是有效的。虽然在本实施例中将描述使用低通滤波器作为数字过滤器的情况，但是，适用的过滤器不限于此。

作为向输入信号应用低通滤波器的方法，几种方法是可能的。作为例子，将描述应用权重系数是相邻像素的两倍的[121]低通滤波器的情况。图7是示出图像中的3×3像素区域的示图。如图7所示，这里，符号p表示图像中的3×3像素上的区域中的目标像素，沿水平方向施加[121]低通滤波器。在这种情况下，目标像素由下式(3)表示。

P＝(d·1+p·2+e·1)/4…(3)

以类似的方式计算相邻像素的结果如图8所示。图8是示出向图像中的3×3像素中的各像素应用低通滤波器的结果的示图。随后，当沿垂直方向应用[121]低通滤波器时，目标像素由下式(4)表示。

PP＝(B·1+P·2+G·1)/4…(4)

参照图9，将描述当应用低通滤波器时观察的输入信号的变化的例子。图9是示出当向各像素应用低通滤波器时观察的输入信号的变化的例子的示图。在图9中，横轴和纵轴分别表示距离(从目标像素延伸的像素区间，即，图像中的截面)和面的像素值。

图9中的实线、细虚线和粗虚线分别表示当不应用低通滤波器时观察的值、当应用[121]低通滤波器时观察的值和当应用[14641]低通滤波器时观察的值。[14641]意味着应用低通滤波器，使得跨着一个像素与目标像素的相邻像素相邻的像素也乘以权重系数。以这种方式应用低通滤波器以使输入信号平滑化使得能够导致鲜明地出现颜色逸出的本来的单调增加/减小特性。虽然以水平方向然后垂直方向的次序应用低通滤波器，但应用次序不限于此。可按相反的次序，即，以垂直方向然后水平方向的次序应用低通滤波器。还允许计算二维低通滤波器系数并然后同时沿水平方向和垂直方向应用低通滤波器。

重新参照图1B，在步骤S3中，图像处理装置100(确定单元103)确定由检测单元102在步骤S2中暂时确定为颜色逸出出现区域的区域(第一区域)是否是颜色逸出出现区域(第二区域)。即，确定单元103基于关于图像拾取光学系统的颜色逸出的光学信息和关于第一区域的信息确定出现颜色逸出的区域。例如，光学信息是关于出现图像拾取光学系统的颜色逸出的第二方向的信息(颜色逸出出现方向的光学信息)。在本实施例中，通过使用拍摄输入图像的图像拾取光学系统的颜色逸出出现方向的光学信息确定颜色逸出出现区域。

如上所述，确定单元103比较第一方向(信号电平单调增加或单调减小的方向)与第二方向(出现图像拾取光学系统的颜色逸出的方向)，以确定第二区域。当例如第一方向和第二方向相互匹配时，确定单元103确定第一区域(在步骤S2中检测的区域)是第二区域(出现颜色逸出的区域)。

现在将参照图10A～10C和图11A～11C描述当仅基于单调增加/减小检测处理确定颜色逸出出现区域时带来的负面效果。由诸如数字照相机的图像拾取装置通过捕获被摄体获取的图像包含由图像拾取光学系统的球面像差、彗差、像场弯曲和像散等导致的模糊分量作为图像劣化分量。如果来自被摄体的应重新会聚到成像面上的另一点的点的光束在不存在像差且没有衍射的影响时形成在一定程度上扩展的图像，则出现该模糊分量。

从光学上看，模糊分量由点分布函数(PSF)代表，并与由散焦导致的模糊不同。另外，由光学系统的轴向色差、颜色的彗差或颜色的彗差导致的颜色图像中的颜色逸出可被称为根据光的波长出现的模糊方式的不同。并且，由倍率色差导致的水平方向的颜色逸出可被称为由于根据光的波长出现的成像倍率的差异导致的位置位移(位置偏移)或相位位移(相位偏移)。

通过对点分布函数执行傅立叶变换获取的光学传递函数(OTF)是各像差的频率分量信息，并且由复数表示。分别地，光学传递函数(OTF)的绝对值即振幅分量被称为“调制传递函数”(MTF)，并且，相位分量被称为“相位传递函数”(PTF)。MTF和PTF分别是由于各像差导致的图像劣化的振幅分量的频率特性和这种图像劣化的相位分量的频率特性。PTF由下式(5)表示，相位分量为相位角。

PTF＝tan^-1(Im(OTF)/Re(OTF))…(5)

在式(5)中，Re(OTF)和Im(OTF)分别是OTF的实部和虚部。

如上所述，由于光学系统的光学传递函数(OTF)使图像的振幅分量和相位分量劣化，因此，劣化图像处于被摄体的各点如在彗差中看到的那样不对称地模糊的状态中。

图10A～10C是解释对在表现被摄体的各点如可在球面像差中看到的那样对称模糊的光学特性的状态下拍摄的图像执行单调增加/减小检测的情况的示图。图10A、图10B和图10C分别示出被摄体的像素值截面、图像拾取光学系统的PSF截面和通过图像拾取光学系统拍摄的被摄体的像素值截面。如图10B所示，当图像拾取光学系统具有对称像差特性且PSF因此对称时，如图10C中的实线所示，被摄体两侧的边缘截面被拍摄为两侧劣化的图像。在图10C中，为了比较，图10A所示的被摄体的亮度截面由虚线表示。当以图10C中的各白色正方形为目标像素执行单调增加/减小确定时，两个边缘皆被确定为单调增加/减小区域。并且，由于实际出现颜色逸出，因此在确定颜色逸出出现区域时两个边缘皆被正确地确定。

图11A～11C是解释对在表现被摄体的各点如可在彗差中看到的那样不对称模糊的光学特性的状态下拍摄的图像执行单调增加/减小检测的情况的示图。图11A、图11B和图11C分别示出被摄体的像素值截面、图像拾取光学系统的PSF截面和通过图像拾取光学系统拍摄的被摄体的像素值截面。如图11B所示，当图像拾取光学系统具有不对称像差特性且PSF因此不对称时，如图11C中的实线所示，被摄体的边缘截面被拍摄为一侧大大劣化的图像。虽然当对该拍摄图像执行单调增加/减小检测时两个边缘皆被确定为单调增加/减小区域，但是，由于实际上仅在一侧由图像拾取光学系统导致颜色逸出，因此，出现被摄体的本来颜色被确定为颜色逸出的负面效果。仅基于单调增加/减小检测执行颜色逸出校正导致被摄体的本来颜色的减少，这会使得图像不自然。但是，避免这一点的尝试导致校正不足。

出于这些原因，在本实施例中，图像处理装置100保持或获取图10B和图11B所示的图像拾取光学系统的颜色逸出出现方向的光学信息。然后，当单调增加/减小检测中的单调增加/减小方向与颜色逸出出现方向对应时，图像处理装置100确定该区域为颜色逸出出现区域。这里使用的表达方式“与…对应”不仅包含严格匹配，还包括基本上匹配。

将参照图12A和图12B，描述光学信息。图12A和图12B是本实施例中的光学信息的说明图，并且示出图像拾取光学系统的PSF截面和光学信息。图12A示出当图10B所示的图像拾取光学系统的PSF对称时获取的光学信息。图12B示出当图11B所示的图像拾取光学系统的PSF不对称时获取的光学信息。例如，光学信息在由于由图像拾取光学系统导致的像差出现颜色逸出的方向上具有“1”的值，并且在不出现颜色逸出的方向上具有“0”的值。在图12A中，由于颜色逸出在两侧对称出现，因此光学信息在两侧皆具有“1”的值。在不对称出现颜色逸出的图12B中，光学信息由于在左边缘处不出现颜色逸出因此在左边缘处具有“0”的值，并且在右边缘处由于出现颜色逸出因此具有“1”的值。

图13A和图13B是示出基于光学信息和单调增加/减小检测的结果确定颜色逸出区域的例子的示图。如图13A所示，当例如通过单调增加/减小检测检测单调减小时，参照单调减小方向的光学信息，以在光学信息具有“1”的值时确定区域为颜色逸出校正区域。类似地，如图13B所示，参照单调减小方向的光学信息，以在光学信息具有“0”的值时确定颜色为被摄体的颜色。如上所述，具有出现由图像拾取光学系统导致的作为像差的色差的方向的信息和不出现色差的方向的信息使得能够正确地确定被摄体的颜色和颜色逸出，这使得能够提高颜色逸出校正的精度。虽然出现颜色逸出的方向被设定为“1”且不出现颜色逸出的方向被设定为“0”，但是，可获知出现颜色逸出的方向就够了，因此，不必要求该值是“0”或“1”。由于由图像拾取光学系统导致的像差根据图像高度改变，因此具有多个图像高度处的光学信息使得能够高精度地执行校正。可基于包含于光学信息中的附近的校正值通过内插产生不包含于光学信息中的图像高度的校正值。另外，由于由图像拾取光学系统导致的像差还根据拍摄条件(图像拾取光学系统的焦距、被摄体距离和孔径值(Fno))改变，因此存储或获取各拍摄条件的光学信息使得能够高精度地执行校正。

虽然在图10A～10C和图11A～11C中光学信息被描述为一维信息，但是，当拍摄图像是二维阵列数据时，光学信息也可被存储为二维数据。图14A～14D是光学信息是二维的情况的说明图。图14C示出存储光学信息作为包含画面上下左右、45度角方向和135度角方向的8个方向的数据的例子。在图14A～14D中，在画面向上方向上出现由图像拾取光学系统导致的彗差，并且，在这种方向上存储光学信息“1”。在不出现颜色逸出的方向上存储光学信息“0”。在在上述的8个方向上执行单调增加/减小检测之后，如果在检测单调减小的方向上存储光学信息“1”，那么确定出现颜色逸出。如果不在检测单调减小的方向上存储光学信息“1”，那么即使当检测到单调减小时，也确定它是被摄体的颜色。

如上所述，图像处理装置100存储或获取出现由图像拾取光学系统导致的颜色逸出的方向的光学信息。优选地，图像处理装置100包含存储光学信息的存储单元106。更优选地，存储单元106存储各拍摄条件的光学信息。各拍摄条件包含图像拾取光学系统的焦距、被摄体距离和孔径值中的至少一个。存储单元106可被设置在图像处理装置100外面。

图像处理装置100能够通过在单调增加/减小检测时参照检测方向和光学信息高精度地确定颜色逸出区域。虽然在单调减小方向上描述了单调增加/减小确定，但可通过使用单调增加方向执行颜色逸出确定。另外，虽然在8个方向上描述单调增加/减小确定和光学信息的校正值，但适用的方向不限于8个方向。并且，可以增加检测方向的数量以提高精度。作为替代方案，可减少检测方向的数量以减少关于光学信息的数据量。

另外，图像处理装置100可被配置为除了颜色逸出出现方向以外存储或获取关于颜色逸出的强度的信息(颜色逸出强度信息)作为光学信息。这使得能够以更高的精度执行校正。如图14B所示，由于由图像拾取光学系统导致的像差导致的颜色逸出的校正量根据方向不同。因此，如图14D所示，可在出现颜色逸出的方向上追加关于颜色逸出出现量的颜色逸出强度信息。

下面，参照图15A～15C，描述使用强度信息的颜色逸出确定。图15A～15C是示出利用光学信息的颜色逸出确定处理的示图，并且示出光学信息仅包含颜色逸出出现方向的情况的例子。当要对图中包围的目标像素1执行颜色逸出出现区域的确定时，首先对8个方向即目标像素1的上下左右方向和目标像素1的45度角和135度角的方向执行单调减小确定。在图15A中，由于高亮度被摄体位于目标像素的下侧，因此，在三个区域中即在向上、右上和左上方向上检测单调减小。由于三个方向的光学信息是表示颜色逸出出现方向的“1”，因此目标像素1被确定为颜色逸出出现区域。类似地，当也对目标像素2执行检测时，向上、右上、向右和右下方向被确定为单调减小方向。但是，由于颜色逸出出现方向的光学信息在右下方向上存储指示不存在颜色逸出的“0”，因此，基于单调减小和光学信息，目标像素2的最终的颜色逸出检测方向被设定为三个方向即向上、右上和向右方向。虽然目标像素1和2均被确定为颜色逸出出现像素，但是，如图14B所示，由于图像拾取光学系统的颜色逸出出现量根据方向不同，因此，目标像素1和2上的颜色逸出出现量相互不同。当光学信息不包含强度信息时，不能确定颜色逸出量，这使得不能在随后的颜色逸出校正处理中以不同的校正力度执行校正。由此，当颜色逸出校正力度增加以与对目标像素1的颜色逸出校正力度匹配时，目标像素2被过度校正，并且，当颜色逸出校正力度降低以与对目标像素2的颜色逸出校正力度匹配时，目标像素1被校正不足。

因此，如图14D所示，优选向光学信息追加颜色逸出出现方向和这种方向上的颜色逸出强度信息。图15A和图15B示出当向光学信息追加颜色逸出强度信息时确定颜色逸出区域的方法。在图15B中的目标像素3上在单调减小确定中确定三个方向即向上、左上和右上方向，并且，作为光学信息的颜色逸出强度也可对于向上方向检测为2、对于左上方向检测为3并对于右上方向检测为2，这些颜色逸出强度是高颜色逸出强度。在图15C中的目标像素4上在单调减小确定中确定三个方向即向上、右上和左下方向，并且，作为光学信息的这些方向的颜色逸出强度对于向上方向检测为3、对于右上方向检测为2并对于左下方向检测为1，这些颜色逸出强度是比目标像素3低的颜色逸出强度。由此，例如，通过使用检测方向的颜色逸出强度的平均值改变应用于随后的颜色逸出校正处理的校正严重程度(对图像进行校正的力度)使得即使当颜色逸出出现量根据方向不同时也能够执行更精确的校正。

使用约2.3的目标像素3上的颜色逸出强度平均值和约2.0的目标像素4上的颜色逸出强度平均值使得能够改变校正力度。虽然描述了使用颜色逸出强度的平均值，但适用的方法不限于此。例如，可以使用被检测为颜色逸出方向的多个方向的重心方向的颜色逸出强度值，以改变颜色逸出校正系数。目标像素3上的颜色逸出强度是3，原因是其上面的重心方向是向上方向，并且，目标像素4上的颜色逸出强度是2，原因是其上面的重心方向是右上方向。使用三个值使得能够改变校正力度。如果当采用重心方向的概念时计算四个方向即向上、右上、向右和右下方向的重心方向，那么两个方向即右上和向右方向可以是最接近重心方向的方向。在这种情况下能够使用例如这两个方向的颜色逸出强度的平均值、这两个方向的颜色逸出强度中的较大的一个的值或这两个方向的颜色逸出强度中的较小的一个的值。虽然在本实施例中描述了使用平均值和重心，但可以任意地计算作为光学信息的颜色逸出强度信息以改变在颜色逸出校正中应用的校正力度。

如上所述，优选地，当第一方向和第二方向在多个方向相互匹配时，图像处理装置100(校正单元104)任意地计算多个方向的颜色逸出强度的信息以校正图像。更优选地，当第一方向和第二方向在多个方向上相互匹配时，校正单元104使用关于多个方向的重心方向的颜色逸出强度的信息或其平均值以校正图像。

下面，将参照图16A和图16B，描述光学信息的计算方法。图16A和图16B是光学信息的计算方法的说明图，并且示出存储为光学信息的任意方向的图像拾取光学系统的G面的PSF截面(实线)和图像拾取光学系统的B面的PSF截面(点线)。将以G面为基准面描述关于B面的颜色逸出的光学信息的计算方法。

由于源自由图像拾取光学系统导致的色差的各波长带中的像差，因此，G面和B面具有相互不同的PSF形状。另外，由于在由于倍率色差导致的G面和B面中的每一个上的位移位置处形成图像，因此，如图16A所示，在位移位置处计算各PSF的峰值位置。可通过向颜色面添加相互不同的畸变的常规几何转换校正由倍率色差导致的各颜色面上的位移。因此，如图16B所示，可以采用由斜阴影部分表示的作为基准面的G面上的PSF面积与B面上的PSF面积之间的差值作为颜色逸出强度、使得G面上的PSF峰值位置与B面上的PSF峰值位置相互匹配的方法。

图16B表示，在右侧边缘处出现较大的颜色逸出，原因是位于峰值左侧的边缘处的面积差比位于峰值右侧的边缘处的面积差大。由于当面积小时颜色逸出不明显，因此具有小的面积的一侧可被定义为不出现颜色逸出的方向。并且，该性能使得能够基于面积比确定颜色逸出强度。虽然可通过上述的方法计算作为光学信息的出现颜色逸出的方向和颜色逸出强度，但适用的计算方法不限于使用PSF面积之间的差值的方法。例如，在图16B中，可以采用使用G面的边缘的倾斜与B面的边缘的倾斜之间的差值的方法。由于当出现颜色逸出时边缘的倾斜趋于缓和，因此可通过使用倾斜差等确定光学信息。

虽然在本实施例中描述了在峰值相互匹配的情况下计算颜色逸出强度的方法，但可通过相互匹配的PSF重心而不是峰值计算颜色逸出强度。如上所述，根据本实施例，能够计算作为光学信息的颜色逸出出现方向和颜色逸出强度信息。

重新参照图1B，在步骤S4中，图像处理装置100(校正单元104)对由确定单元103在步骤S3中确定为颜色逸出区域的区域(第二区域)执行校正颜色逸出的处理(颜色逸出校正处理)。即，校正单元104校正图像以减少颜色逸出。

图17是示出蓝色逸出的典型的像素值变化的示图。在图17中，横轴表示距离(图像中的截面)，纵轴表示B面和G面的像素值。在图17中，假定在左端存在具有超过饱和亮度的亮度的高亮度被摄体。由于这种假定，即使在原本不明亮的光源周围的部分处，由于由像差或闪耀的作用从光源传播光，因此像素值变化的底(feet)呈指数扩展。

作为基准面的G面不具有逸出并且在一定程度上扩展。但是，与不减少颜色逸出的B面上相比，该扩展较小。另外，图像拾取元件不能测量比一定的饱和度高的像素值。在该像素值变化中，如果要减少颜色逸出的B面上的强度超过作为基准面的G面上的强度，那么出现蓝色逸出。

在本实施例中，图像处理装置100基于要减少颜色逸出的B面上的像素值的倾斜估计逸出量。然后，B面的亮度倾斜Blea的绝对值乘以系数k1以确定由下式(6)表示的第一估计逸出量E1。

E1＝k1|Blea|…(6)

在式6中，k1是正值。但是，像素值倾斜在B面饱和的区域A1中为0，这意味着，不能获取不饱和的亮度倾斜。

因此，基于由下式(7)表示的G面上的像素值变化的亮度倾斜Glea估计B面饱和的区域A1的估计逸出量E2。

E2＝k2|Glea|…(7)

在式7中，k2是正值。

然后，对B面的像素值执行非线性转换以产生饱和度S。该非线性转换目的是表明B面是否饱和，并且，在B面上的强度饱和的任何区域中，饱和度S为1，并且，在B面上的强度小的任何区域中，饱和度S为0。饱和度S可由两个值即0和1指示，并且如图18所示，可替代性地由在0～1的范围内连续变化的值表示。图18是B面的像素值的非线性转换的特性图。

基于上述的产生的饱和度S选择以上述的方式计算的估计的逸出量E1或E2。即，当饱和度S由两个值即0和1指示时，新估计的逸出量E被设定如下。

E＝E1(这里，S＝0)

E＝E2(这里，S＝1)

类似地，当饱和度S由在0～1的范围内连续变化的值表示时，新估计的逸出量E被设定如下。

E＝(1-S)E1+SE2

然后，上述的估计的逸出量E被校正以设定实际减少的量E′。估计的逸出量(减少量)是根据一定的模型设定的值，并因此未必与实际的逸出量匹配。例如，虽然分别作为在B面上检测的光的具有450nm的波长的光和具有400nm的波长的光具有相互不同的逸出特性，但在步骤S3(颜色逸出确定处理)中不考虑该差异。当估计逸出量(减少量)过小时，即使在减少蓝色逸出之后，轻微的蓝色也保持存在。另一方面，估计逸出量(减少量)过大，B面相对于灰色背景过量减小，这将背景的颜色变为黄绿色。

特别地，后一种情况(背景的颜色变为黄绿色的情况)是不自然的，并由此使用户产生明显的奇怪的感觉。因此，在步骤S4(颜色逸出校正处理)中，限制校正，使得逸出减少仅在一定的颜色相位范围内具有其效果。出于这种原因，首先，在步骤S4中，计算像素的色度。对于R面、G面和B面中的每一个的强度，下式(8)成立。

$\left(\begin{array}{c}x\\ y\\ z\end{array}\right)=\left(\begin{array}{ccc}0.41& 0.36& 0.18\\ 0.21& 0.75& 0.07\\ 0.02& 0.12& 0.95\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)\·\·\·\left(8\right)$

a＝5(x-y)

b＝2(y-z)

图19是色度坐标a-b表面，其中，横轴表示式(8)的“a”，纵轴表示式(8)的“b”。如图19所示，蓝色存在于色度坐标ab表面的由斜线表示的第四象限中(顺便说一句，红色、黄色和紫色存在于第一象限中，绿色和白色存在于第二象限中，并且蓝绿色存在于第三象限中)。估计的逸出量E从B面上的强度的减少表示为B＝B-E，这意味着，如虚线箭头所示，蓝色在色度坐标a-b表面上向左上方向移动。各箭头的开始点表示不减少估计逸出量E的色度，各箭头的终点表示消除估计逸出量E的色度。因此，当有效颜色相位范围限于a>0和b<0时，下式(9)成立。

B>0.22R+0.68G且B>-1.84R+3.30G…(9)

因此，对不满足式(9)的任何像素，作为实际减少量的减少量E′被设定为0，以从要减少颜色逸出的像素排除这种像素。这防止不满足式(9)的像素的像素值受到影响。在图19中，只减少由斜线表示的第四象限区域。

并且，对于满足式(9)的任何像素，减少量E′也被设定，使得减少量E′满足下式(10)。

E′＝min(E,B-(0.22R+0.68G),B-(-1.84R+3.30G))…(10)

这使得，如图19中的实线箭头所示，仅在第四象限中出现由于减少量E′的减少导致的色度变化。

虽然在本实施例中出现色度变化的范围限于色度坐标a-b表面的第四象限，但是，适用的范围不限于此，并且，这种范围可由任意的角度限制。在这种情况下，必须满足下式(11)。

B>r1·G+r2·R和B>r3·G+r4·R…(11)

在式(11)中，通过使用限制角θ，如下式(12)所示的那样计算r1～r4。颜色相位限制由穿过色度坐标a-b表面的原点的两条直线限定，并且，符号θ1和θ2表示代表两条直线的角度。

$r1=\frac{-0.358\&CenterDot;\tan {\mathrm{\&theta;}}_1-0.596}{-0.108\&CenterDot;\tan {\mathrm{\&theta;}}_1-0.878}$

$r2=\frac{-0.2\&CenterDot;\tan {\mathrm{\&theta;}}_1-0.193}{-0.108\&CenterDot;\tan {\mathrm{\&theta;}}_1-0.878}$

                                …（1２）

$r3=\frac{-0.358\&CenterDot;\tan {\mathrm{\&theta;}}_2-0.596}{-0.108\&CenterDot;\tan {\mathrm{\&theta;}}_2-0.878}$

$r4=\frac{-0.2\&CenterDot;\tan {\mathrm{\&theta;}}_2-0.193}{-0.108\&CenterDot;\tan {\mathrm{\&theta;}}_2-0.878}$

这使得能够防止B面减少以超出颜色相位限制范围。如上面描述的那样计算的减少颜色逸出的颜色面的减少量E′被存储为减少量面，然后，对减少面执行颜色逸出校正处理。上述的低通滤波器被应用于减少面。虽然在本实施例中使用简化a*b*面以限制颜色相位，但适用的方法不限于此，并且，可以替代性地使用3×3RGB到YUV矩阵以在uv面上执行颜色相位限制处理。

从B面的强度减去上述的减少量E′以创建新的面。仅对在颜色逸出确定步骤S4中被确定为颜色逸出区域的像素减少颜色逸出。因此，关于新B面的强度，当单调增加/减小确定标记被设定为“1”时，满足关系B＝B-E′，并且，当单调增加/减小确定标记被设定为“0”时，满足关系B＝B。如上所述，在图1的步骤S5中，图像处理装置100(输出单元105)输出B面得到校正的颜色图像作为输出图像。

现在将描述作为图7所示的图像中的3×3像素中的特定区域的单调增加/减小确定的结果设定的单调增加/减小确定标记的值如图20所示的那样在相邻的像素之间不同的情况。在这种情况下，减少量在各像素之间的边界部分处改变(换句话说，要消除颜色逸出的相邻像素和不要减少颜色逸出的相邻像素一起存在)，从而导致像素值变化变得急剧，这使得图像看起来不自然并且使用户有奇怪的感觉。出于这种原因，向产生的减少量面应用低通滤波器的方法是有效的。

并且，可通过使用单调增加/减小确定结果面如下式(13)所示的那样计算颜色面的各像素的增益(gain)，并然后将其乘以减少量以对边界部分(单调增加/减小确定结果面)执行平滑化处理。

Gain＝(aFlag+bFlag+cFlag+dFlag+pFlag+eFlag+fFlag+gFlag+hFlag)/9

E"＝Gain×E′…(13)

在图20所示的例子中，像素p的减少量E′由下式(14)表示。

0.56＝(0+0+1+0+1+1+0+1+1)/9

E"＝0.56×E′…(14)

上述的方法使得能够仅减少颜色逸出，而不使用户有奇怪的感觉。

[第一实施例]

下面，将参照图21，描述本发明的第一实施例中的图像拾取装置。图21是本实施例中的图像拾取装置200的构成图。在图像拾取装置200中安装用于执行拍摄图像的颜色逸出校正处理的图像处理程序(上述的图像处理方法)，并且，通过设置在图像拾取装置200中的图像处理单元204(图像处理装置)执行颜色逸出校正处理。

图像拾取装置200包含图像拾取光学系统201(透镜)和图像拾取装置体(照相机体)。图像拾取光学系统201包含光阑201a和聚焦透镜201b，并与图像拾取装置体(照相机体)一体化。但是，本发明不限于此，并且也适用于包括可交换地附着图像拾取光学系统201的图像拾取装置体(照相机体)的图像拾取装置。

图像拾取元件202光电转换通过图像拾取光学系统201获取的被摄体图像(光学图像)以获取图像(拍摄图像)。即，通过图像拾取元件202将被摄体图像转换成模拟信号(电信号)。然后，模拟信号通过A/D转换器203被转换成数字信号并然后被输入到图像处理单元204。

图像处理单元204(与图像处理装置100等同)对数字信号执行预定的处理并且执行上述的颜色逸出校正处理。图像处理单元204(拍摄条件获取单元)首先从状态检测单元207获取图像拾取装置200的拍摄条件信息。这里使用的“拍摄条件信息”意味着关于光阑、拍摄距离或变焦透镜的焦距等的信息。虽然状态检测单元207能够直接从系统控制器210获取拍摄条件信息，但从中获取拍摄条件信息的适用元件不限于此。例如，也可从图像拾取光学系统控制单元206获取关于图像拾取光学系统201的拍摄条件信息。本实施例的颜色逸出校正处理(图像处理方法)如参照图1描述的那样。

关于图像拾取光学系统201的颜色逸出出现方向的光学信息存储于存储单元208中。图像处理单元204从存储单元208获取与上述的拍摄条件对应的光学信息并然后执行颜色逸出校正处理，并且，从图像处理单元204输出的图像以预定的格式存储于图像记录介质209中。显示单元205显示执行本实施例的颜色逸出校正处理的图像，并然后执行用于显示的预定处理。但是，本实施例不限于此，并且，为了高速显示，图像处理单元204可替代性地被配置为在显示单元205上显示执行简化处理的图像。

本实施例的一系列的控制由系统控制器210执行，并且，基于系统控制器210的指令(命令)由图像拾取光学系统控制单元206执行图像拾取光学系统201的机械驱动。图像拾取光学系统控制单元206控制光阑201a的孔径直径作为F数的拍摄状态设定。另外，为了执行依赖于被摄体距离的聚焦，图像拾取光学系统控制单元206通过使用自动聚焦机构或手动聚焦机构(均未示出)控制聚焦透镜201b的位置。根据图像拾取装置200的规格，未必需要执行诸如光阑201a的孔径直径的控制和手动聚焦的功能。另外，可对图像拾取光学系统201设置诸如低通滤波器和红外截止滤波器的光学元件。

[第二实施例]

下面，将参照图22，描述本发明的第二实施例中的图像处理系统。图22是本实施例中的图像处理系统300的构成图。由于本实施例的颜色逸出校正处理(图像处理方法)如参照图1描述的那样，因此将省略其描述。

在图22中，图像处理装置301(与图像处理装置100等同)是其中安装导致计算机执行本实施例的图像处理方法的图像处理软件306的计算机装置。图像拾取装置302是诸如照相机、显微镜、内视镜或扫描仪的图像拾取装置。存储介质303是存储拍摄图像的存储单元，诸如半导体存储器、硬盘或网络上的服务器。

图像处理装置301从图像拾取装置302或存储介质303获取拍摄图像数据，并然后将执行了预定的图像处理的图像数据输出到输出装置305、图像拾取装置302和存储介质303中的一个或更多个。输出数据也可存储于内置于图像处理装置301中的存储器中。输出装置305为例如打印机。还能够在图像处理装置301中从诸如网络或CD-ROM307的存储介质安装图像处理软件306。

作为监视器的显示装置304与图像处理装置301连接。该连接允许用户通过显示装置304执行图像处理操作并且评价校正的图像。除了本实施例的颜色逸出校正处理(图像处理方法)以外，图像处理软件306根据需要执行显影和其它的图像处理。

优选将本实施例中的用于执行图像处理的数据的内容和关于数据的接收和传送的信息(校正信息)附加到单个图像数据上。向各图像数据附加需要的校正信息使得上面安装本实施例的图像处理装置的设备能够适当地执行本实施例的校正处理。

根据以上的实施例，能够通过存储关于图像拾取光学系统的颜色逸出出现方向的光学信息并且基于单调增加/减小检测结果和光学信息确定颜色逸出校正区域减少消除被摄体的颜色的有害效果，这使得能够获取高质量图像。因此，根据本实施例，能够提供能够执行令人满意的图像恢复处理的图像处理方法、图像处理装置、图像拾取装置和图像拾取系统。

关于图像拾取光学系统的颜色逸出出现方向的光学信息不仅可通过从上面安装本实施例的图像处理装置的设备读取的方法获取，而且可通过网络或者从PC、照相机或透镜获取。

[第三实施例]

下面，将参照图31A和图31B，描述本发明的第三实施例中的图像处理装置和图像处理方法。图31A是本实施例中的图像处理装置1000的框图。图31B是本实施例中的图像处理方法(图像处理程序)的流程图。基于图像处理装置1000的命令(指令)，即，通过图像处理装置1000的各单元执行图31B的各步骤。除了图像处理装置1000还包括第一校正单元1102以外，本实施例中的图像处理装置1000的基本构成与参照图1A描述的图像处理装置100相同。另外，除了本实施例的图像处理方法还包括校正倍率色差的步骤(步骤S102)以外，图像处理方法的基本流程(步骤S101、S103～S106)与参照图1B描述的图像处理方法(步骤S1～S5)相同。

如图31A所示，图像处理装置1000包括输入单元1101、第一校正单元1102(像差校正单元)、检测单元1103、确定单元1104、第二校正单元1105(颜色逸出校正单元)、输出单元1106和存储单元1107。首先，在图31B的步骤S101中，图像处理装置1000(输入单元1101)获取拍摄图像作为输入图像。输入图像是通过用图像拾取元件经由图像拾取光学系统接收光获取的数字图像(拍摄图像)，并且由于由包括透镜和各种滤光器的图像拾取光学系统导致的像差而劣化。图像拾取光学系统不仅可由透镜构成，而且可由具有弯曲的反射镜(反射表面)构成。

例如，输入图像的颜色分量包含R、G和B颜色分量的信息。作为其它颜色分量，可以选择和使用诸如由LCH表示的明度、色调和饱和度和由YCbCr表示的亮度和色差信号的常用颜色空间。作为其它的颜色空间，可以使用XYZ、Lab、Yuv和JCh。并且，也可使用色温。可通过有线或无线连接图像拾取装置和图像处理装置1000获取拍摄图像。也可通过非暂时性计算机可读存储介质获取拍摄图像。

随后，在步骤S102中，图像处理装置1000(第一校正单元1102)校正通过输入单元1101获取的输入图像(拍摄图像)的倍率色差(颜色偏移)(倍率色差校正处理)。在本实施例中，第一校正单元1102执行两种类型的处理(第一校正处理和第二校正处理)。第一校正处理是用于校正图像拾取光学系统的不同颜色的倍率(图像尺寸)之间的差异的处理，更具体而言，是保持在设计值中的倍率色差(第一倍率色差)的校正处理。在本实施例中提到“倍率色差”均意味着第一倍率色差。第二校正处理是用于校正在图像拾取光学系统的制造过程中出现的与从设计值的偏离等同的像差(第二倍率色差)的处理。在本实施例中，为了方便，第二倍率色差被称为“不对称倍率色差”。

(倍率色差的检测和校正)

首先，将参照图27A和图27B，描述保持在设计值中的倍率色差(第一倍率色差)的校正。图27A和图27B是第一倍率色差的说明图。图27A是保持倍率色差的输入图像的模拟图，图27B是图27A的水平方向(X方向)的截面图。在图27A中，x轴、y轴、以及x轴与y轴的交点分别表示水平方向的位置、垂直方向的位置和图像(输入图像)的中心。图27A和图27B中的每一个中的实线、虚线和点划线分别表示G面、R面和B面。

在图27A和图27B中，假定光学系统是共轴系统、倍率色差以外的像差已被校正且R、G和B面中的原始图像的强度形状相互匹配并且以倍率色差的量相互位移。在这种情况下，如图27B所示，B面的像素值在低图像高度侧(x轴与y轴的交点侧)比R面和G面的像素值高。因此，在低图像高度侧的区域中，图像看起来像蓝色逸出(看起来具有颜色逸出)。另一方面，在高图像高度侧(x轴与y轴的交点的相对侧)，R面的像素值比G面和B面的像素值高。因此，在高图像高度侧的区域中，图像看起来像红色逸出(看起来具有颜色逸出)。

如图27A和图27B所示，在这种状态下执行颜色逸出校正导致即使在R、G和B面由于倍率色差的影响而位移的状态下也以在图像中出现颜色逸出的错误假定处理图像。这使得不能适当地执行颜色逸出校正，这因此会使得不能将输入图像的颜色恢复(校正)为其本来的颜色。例如，在图27A和图27B中，执行颜色逸出校正直到R、G和B面的形状相互匹配的尝试会导致，与图像的初始形状相比，边缘部分被切割，原因是R、G和B面重叠的部分是内部。类似地，为了不切割边缘部分导致R面和B面的形状与G面的形状对应的尝试导致R面在低图像高度侧具有低像素值，并且另一方面导致B面在高图像高度侧具有低像素值。这会导致诸如出现颜色空位的问题。为了避免这些问题，在本实施例中，在倍率色差校正处理之后执行在后面描述的颜色逸出校正。这使得能够适当地高精度地校正由光学系统导致的被摄体的颜色逸出。

下面，将参照图23、图24A和图24B，描述从输入图像检测倍率色差并且校正它的方法。图23是示出倍率色差(第一倍率色差)的校正处理(第一校正处理)的流程图。图23的各步骤构成图31B的步骤S102的一部分。图24A和图24B是倍率色差的校正处理的说明图。

首先，在图23的步骤S111中，图像处理装置1000(第一校正单元1102)从输入图像检测明显出现由于倍率色差导致的颜色偏移的边缘(边缘区域)。在本实施例中，第一校正单元1102使用Y(亮度)面以检测边缘。优选地，被检测边缘限于像素值在从光学中心的径向矢量方向上大大改变的边缘。这允许获取高度精确的颜色偏移量。由于倍率色差导致的颜色偏移在Y面上以混合的方式出现。出于这种原因，希望检测具有一定宽度的边缘，这里，像素值在多个序列的像素上单调增加或单调减小。

随后，在步骤S112中，第一校正单元1102获取在步骤S111中检测的各边缘(各边缘区域)处的颜色偏移量。在该步骤中，根据光学中心与各边缘之间的位置关系应用向上和向下方向、向左和向右方向、右上和左上方向、以及左下和右下方向中的任一个作为颜色偏移的方向使得能够简化处理。

在获取各边缘处的颜色偏移量时，使用颜色分量之间的相关性。例如，确定颜色分量的差值绝对值的和使得能够获取颜色偏移量。在关于G面沿颜色偏移方向移动R面(或B面)的同时，在位于检测边缘附近的像素上搜索颜色分量的差值绝对值的和最小的位置。能够基于差值绝对值的和最小的位置确定R面(或B面)关于G面的颜色偏移量。通过步骤S112获取的颜色偏移量的符号在R面(或B面)沿光学中心方向关于G面位移时由负(-)表示，并且在R面(或B面)沿与光学中心相反的方向关于G面位移时由正(+)表示。

随后，在步骤S113中，第一校正单元1102基于在步骤S111中检测的各边缘的图像高度和在步骤S112中获取的各边缘的颜色偏移量确定各图像高度与相应的颜色偏移量之间的关系，并然后创建校正数据。这里使用的“图像高度”意味着到与光学中心相当的像素(光学中心)的距离。通过以下的处理创建校正数据。

首先，在在步骤S111中检测的各边缘的图像高度被定义为L且在步骤S113中获取的颜色偏移量被定义为D的情况下，如下式(15)所示的那样确定关于图像高度L的颜色偏移率M。

M＝L/(L+D)…(15)

随后，如图24A所示，第一校正单元1102根据图像高度将输入图像分成8个区域(h1～h8)并且确定各检测边缘所属的区域。然后，关于在输入图像中检测的多个边缘，第一校正单元1102计算上述的颜色偏移率M并且确定各边缘所属的区域。另外，第一校正单元1102加算根据图像高度分割的8个区域中的每一个的颜色偏移率M，确定各区域的颜色偏移率M的平均值并且设定各区域的颜色偏移率M。

随后，如图24B所示，第一校正单元1102基于图像高度和确定的颜色偏移率M确定代表图像高度与颜色偏移率M之间的关系的高次多项式近似F(L)，并且将近似F(L)设定为校正数据。图24B示出通过三次多项式计算的校正数据的例子。

可对画面(图像)内的所有边缘执行边缘的检测和颜色偏移量的获取。但是，在已对根据图像高度分割的8个区域加算数量大于预定阈值的颜色偏移率M时中止边缘的检测和颜色偏移量的获取使得能够在保持可靠性的同时提高处理的效率。并且，在根据图像高度分割的8个区域中，仅使用已对高次多项式的计算发现相应的边缘的区域使得即使存在还没有发现相应边缘的任何区域也能够创建校正数据。

随后，在图23的步骤S114中，第一校正单元1102使用在步骤S113中创建的校正数据以校正颜色偏移(倍率色差)。首先，对于位于被校正面(R面和B面)上的像素(X，Y)，第一校正单元1102如下式(16)所示的那样基于像素(X，Y)中的每一个的图像高度L确定颜色偏移率M。该确定的坐标系被视为光学中心为(0，0)的坐标系。

M＝F(L)…(16)

随后，如下式(17-1)和(17-2)所示，第一校正单元1102确定通过颜色偏移校正产生的各像素的坐标(X1，Y1)。

X1＝M×X…(17-1)

Y1＝M×Y…(17-2)

第一校正单元1102通过常用的内插处理产生与被校正面的坐标(X1，Y1)对应的像素值，并且将产生的像素值设定为像素(X，Y)的像素值。通过对所有的像素执行处理执行颜色偏移校正。然后，在步骤S115中，第一校正单元1102输出校正的图像。

(不对称倍率色差的检测和校正)

下面，将参照图28A和图28B，描述在图像拾取光学系统的制造过程中出现的不对称倍率色差(第二倍率色差)的校正。图28A和图28B是本实施例中的不对称倍率色差的说明图。图28A是保持不对称倍率色差的输入图像的模拟图，图28B是图28A的水平方向(X方向)的截面图。在图28A中，x轴、y轴和x轴与y轴的交点分别表示水平方向的位置、垂直方向的位置和图像(输入图像)的中心。图28A和图28B中的每一个中的实线、虚线和点划线分别表示G面、R面和B面。

在图28A和图28B中，光学系统被视为由于其制造过程中的形状误差或透镜的倾斜或偏移的影响而偏离完全旋转对称系。另外，与图27A和图27B类似，假定倍率色差以外的像差已被校正且R、G和B面中的原始图像的强度形状相互匹配并且以倍率色差的量相互位移。当受图28A和图28B所示的不对称倍率色差影响时，即使当具有相同的强度和相同的颜色的被摄体关于图像中心位于对称位置处时，也与关于图像的中心对称出现颜色逸出的图27A和图27B不同地出现颜色逸出。

在图28A和图28B中，关于y轴位于左侧的被摄体在低图像高度侧具有比R面和G面像素值高的B面像素值，并且在高图像高度侧具有比G面和B面像素值高的R面像素值。相反，关于y轴位于右侧的被摄体在低图像高度侧具有比G面和B面像素值高的R面像素值，并且在高图像高度侧具有比R面和G面像素值高的B面像素值。如上所述，如果由于不对称倍率色差而关于图像中心不对称地出现颜色逸出，那么仅执行参照图27A和图27B描述的校正处理(第一校正)不能校正该不对称倍率色差。并且，在这种状态下执行后面描述的颜色逸出校正导致以出现颜色逸出的错误假定处理由于不对称倍率色差导致的颜色偏移，并因此不能适当地校正不对称倍率色差，这会导致图像的颜色不能恢复到原来的颜色的情况。

在图28A和图28B中，校正颜色逸出直到R、G和B面的形状相互匹配的尝试会导致，与图像的初始形状相比，边缘部分被切割，原因是R、G和B面重叠的部分是内部。类似地，为了不切割边缘部分导致R面和B面的形状与G面的形状对应的尝试关于相对于y轴位于左侧的被摄体导致R面在低图像高度侧具有比G面低的像素值，并且导致B面在高图像高度侧具有比G面低的像素值，这会导致颜色空位的问题。另一方面，在图28A和图28B中，该尝试关于相对于y轴位于右侧的被摄体导致B面在低图像高度侧具有比G面低的像素值，并且导致R面在高图像高度侧具有比G面低的像素值。出于这种原因，如上所述，即使当具有相同的强度和相同的颜色的被摄体位于与位于y轴左侧的被摄体对称的位置处时，也与左侧不同地出现颜色逸出和颜色空位。另外，即使当y轴的两侧中的一侧的颜色逸出被适当校正时，根据不对称倍率色差的状态，另一侧的颜色逸出也可能被校正不足或者被过度校正。

为了避免这些问题，在本实施例中，在校正保持在设计值中的倍率色差(第一倍率色差)和不对称倍率色差(第二倍率色差)之后，执行后面描述的颜色逸出校正处理。这使得能够适当地高精度地校正由光学系统导致的被摄体的颜色逸出。

下面，将参照图25和图26，描述从输入图像检测不对称倍率色差并且校正它的方法。图25是示出不对称倍率色差(第二倍率色差)的校正处理(第二校正处理)的流程图。图25的各步骤构成图31B的步骤S102的一部分。图26是不对称倍率色差的校正处理的说明图。

首先，在图25的步骤S121中，图像处理装置1000(第一校正单元1102)从输入图像检测显著出现由于倍率色差导致的颜色偏移的边缘(边缘区域)。在检测边缘时，使用Y(亮度)面。

随后，在步骤S122中，第一校正单元1102获取在步骤S121中检测的关于各边缘(各边缘区域)的颜色偏移量，并且计算校正量(拍摄图像的多个分割区域中的每一个的校正量)。在该步骤中，根据光学中心与各边缘之间的位置关系应用向上和向下方向、向左和向右方向、右上和左上方向、以及左下和右下方向中的任一个作为颜色偏移的方向，以简化处理。由于各边缘处的颜色偏移量的获取如上面描述的那样，因此将省略其描述。然后，在步骤S123中，第一校正单元1102使用在步骤S122中计算的校正量以校正不对称倍率色差(倍率色差的不对称)。以下将详细描述步骤S122中的校正数据的创建过程和步骤S123中的校正的流程。

首先，在步骤S122中，如图26所示，第一校正单元1102沿圆周方向将图像分割成4个区域(区域A～D)并且确定上述的边缘所属的区域。然后，第一校正单元1102关于在图像中检测的多个边缘加算分割区域中的每一个的颜色偏移量D，确定各区域的颜色偏移量D的平均值，并且设定各区域的颜色偏移量D。随后，第一校正单元1102比较计算的区域的颜色偏移量D以设定被校正面(R面和B面)的校正量。

在区域A、B、C和D的校正量(分别为第一校正量)分别被定义为Da、Db、Dc和Dd的情况下，水平方向的校正量DH和垂直方向的校正量DV(分别为第二校正量)分别由下式(18-1)和(18-2)表示。

DH＝(Dc-Da)/2…(18-1)

DV＝(Db-Dd)/2…(18-2)

在本实施例中，基于区域A和C的颜色偏移量计算水平方向的校正量DH，并且基于区域B和D的颜色偏移量计算垂直方向的校正量DV。另外，与沿圆周方向分割图像的本实施例不同，沿图像高度方向分割图像以改变各图像高度的校正量使得能够非线性地偏移要校正的面。

当图像拾取光学系统201处于完全旋转对称的状态中时，由于也关于画面(图像)中心旋转对称出现倍率色差，因此满足DH＝0和DV＝0的关系。另一方面，由于制造误差等导致的图像拾取光学系统201的对称损失导致倍率色差也旋转不对称，并因此通过向满足关系Dc>Da(DH>0)的区域C偏移被校正面执行校正。另一方面，通过向满足关系Dc<Da(DH<0)的区域A偏移被校正面执行校正。类似地，关于垂直方向，也通过向满足关系Db>Dd(DV>0)的区域B偏移被校正面并通过向满足关系Dc<Dd(DH<0)的区域A偏移被校正面执行校正。

随后，在步骤S123中，第一校正单元1102使用水平方向的校正量DH和垂直方向的校正量DV作为由制造误差等导致的不对称倍率色差的校正数据，以校正颜色偏移。被校正面(R面和B面)的各像素被定义为像素(X，Y)。通过使用水平方向的校正量DH和垂直方向的校正量DV，通过颜色偏移校正产生的像素的坐标(X2，Y2)由下式(19-1)和(19-2)表示。

X2＝X+DH…(19-1)

Y2＝Y+DV…(19-2)

式(19-1)和(19-2)的坐标系在坐标(0，0)处具有光学中心。

第一校正单元1102通过常用的内插处理产生与被校正面的坐标(X2，Y2)对应的像素值，并且将产生的像素值设定为像素(X，Y)的像素值。通过对所有的像素执行处理执行颜色偏移校正。虽然在本实施例中如图26所示的那样图像被分成4个区域以计算校正量，但图像可被分成8个区域以获取各区域的颜色偏移量并然后计算校正量并且执行校正处理。如上所述，在步骤S123中，第一校正单元1102使用基于步骤S122中的校正量计算的关于拍摄图像的中心(光学中心或校正中心)的径向的不同方向的校正量(第二校正量)，以校正第二倍率色差。更优选地，第一校正单元1102使用水平方向和垂直方向的拍摄图像的校正量作为径向的不同方向的校正量。另外，在本实施例中，第一校正量和第二校正量在关于拍摄图像中心对称的第一位置和第二位置处相互不同。

虽然从图像检测倍率色差(第一倍率色差)和不对称倍率色差(第二倍率色差)并然后校正它们的方法如上面描述的那样，但第一校正单元1102也可通过另外使用关于由光学系统导致的倍率色差的设计值的信息执行校正处理。使用设计值的信息使得能够减少错误检测或者使得能够将倍率色差视为从作为基准的设计值的偏移量。

随后，在步骤S103中，图像处理装置1000(检测单元1103)检测构成颜色图像的多个颜色面中的任一个的像素值(信号电平)单调增加或单调减小的区域。然后，检测单元1103暂时将检测的区域确定为颜色逸出出现区域(单调增加/减小检测处理)。存在几种可能的在单调增加/减小检测处理中确定颜色逸出出现区域的方法。在本实施例中，基于某像素区间(预定的区间)中的颜色逸出的像素值的变化特性执行确定。

由于由于成像位置根据波长在沿光轴的方向上的位移出现颜色逸出，因此，当出现蓝色的颜色逸出时，例如，这意味着蓝色面(B面)失焦(散焦)。由散焦导致的颜色逸出存在于某像素区间上，并且，这种情况下的颜色逸出的像素值的变化具有从图像的突出显示部分到阴影部分逐渐减小的特性。因此，当某像素区间中的颜色逸出的像素值的变化具有单调增加或单调减小的特性时，由于可能出现颜色逸出，因此该区间被暂时确定为颜色逸出出现区域。

如上所述，在本实施例中，图像拾取元件包括多个滤色器。检测单元1103检测从图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平(像素值)在预定的区间内沿某方向(第一方向)单调增加或单调减小的区域(第一区域)。但是，本实施例不限于此，并且，检测单元1103可替代性地被配置为检测从从图像拾取元件获取的图像产生的亮度面(Y面)的信号电平而不是颜色面的信号电平单调增加或单调减小的区域。即，检测单元1103检测倍率色差得到校正的拍摄图像的颜色信号或亮度信号的电平(颜色面或亮度面上的信号电平)在某像素区间内沿第一方向单调增加或单调减小的第一区域。

顺便说一句，在实际的情况下，当图像拾取光学系统导致诸如彗差的不对称像差时，关于被摄体的图像由图像拾取光学系统导致的颜色逸出在一些方向上出现并且在其它的方向上不出现。因此，如果当被摄体具有与颜色逸出相同的类型的颜色时仅基于单调增加/减小确定颜色逸出出现区域，那么被摄体的颜色可能被错误地确定为颜色逸出。这意味着，不能仅基于单调增加或单调减小正确地确定颜色逸出出现区域。

在本实施例中，检测单调增加或单调减小的区域包含中心是颜色图像的目标像素的水平、垂直或倾斜方向的像素区间和端点是颜色图像的目标像素的水平、垂直或倾斜方向的像素区间中的任一个。

作为第一处理，通过计算颜色面的像素值的倾斜执行单调增加或单调减小的检测。当输入图像由例如三个颜色面即G面、B面和R面构成时，选择要去除颜色逸出的B面，并且使用G面作为基准面。如上式(1)所示，计算关于B面的亮度倾斜Blea和关于G面的亮度倾斜Glea。

在图31B的步骤S102中，第一校正单元1102执行两种类型的倍率色差的校正处理。如上所述，第一校正单元1102校正保持在光学系统的设计阶段的颜色逸出出现区域(第一倍率色差)和不对称倍率色差(第二倍率色差)。虽然如上面描述的那样第一校正单元1102在本实施例中执行两种类型的倍率色差的校正处理(第一校正处理和第二校正处理)，但可较早地执行两种校正处理中的任一个，诸如校正不对称倍率色差并然后执行保持在光学系统的设计阶段的倍率色差。

作为替代方案，第一校正单元1102可并行地执行两种校正处理(同时或者在相同的周期内)。作为并行执行两种校正处理的方法的例子，可如图29所示的那样沿圆周方向和图像高度方向分割图像的各区域，以基于各分割区域的颜色偏移量计算各分割区域的校正量。作为替代方案，第一校正单元1102可在图31B的步骤S102中仅校正不对称倍率色差(第二校正处理)，并且在在步骤S105中执行的颜色逸出校正中校正保持在光学系统的设计阶段的倍率色差(第一校正处理)。在这种情况下，在步骤S105中，要求第一校正单元1102在考虑由于倍率色差导致的颜色偏移量的情况下执行颜色逸出校正处理。

[第四实施例]

下面，将描述本发明的第四实施例中的图像拾取装置。由本实施例的图像拾取装置执行的倍率色差的校正方法与第三实施例不同。与图像处理单元204从获取的图像(输入图像)计算校正量的第三实施例不同，在本实施例中，图像拾取装置在存储装置(存储单元1107)中存储关于校正量的信息并且读取该信息以执行校正。由于本发明的图像拾取装置的其它构成与第一实施例的图像拾取装置200类似，因此，将省略其描述。

将参照图30，描述本实施例中的图像处理方法(图像处理程序)。基于图像处理装置1000(图像处理单元204)的命令(指令)即通过图像处理装置1000的各单元执行图30的各步骤。由于步骤S31和S33～S37分别与步骤S101～S106相同，因此省略其描述。

首先，在步骤S31中，图像处理装置1000(输入单元1101)获取拍摄图像(输入图像)。随后，在步骤S32中，图像处理装置1000(第一校正单元1102)获取存储于存储装置(存储单元1107)中的关于倍率色差的校正量的信息(倍率色差的校正信息)。存储于存储单元1107中的关于校正量的信息是通过使用指示设计值与倍率色差量(偏移量)之间的差的值(差值)的图表等测量的信息。关于校正量的信息可以是测量的差值、基于差值计算的近似值或被处理以有利于校正的值。另外，虽然设计值与倍率色差量之间的差值在本实施例中被设定为校正量，但适用的校正量不限于此，并且，设计值与倍率色差之间以及设计值与不对称倍率色差之间的差值均可被用作校正量。

随后，在步骤S33中，第一校正单元1102使用在步骤S32中获取的关于校正量的信息(倍率色差的校正信息)以校正倍率色差。由于获取的关于校正量的信息包含关于在光学系统的制造过程中出现的不对称倍率色差的信息，因此基于关于不对称倍率色差的信息执行在第三实施例中描述的校正处理使得能够减少不对称性。由于随后的步骤S34～S37分别与第三实施例的步骤S103～S106类似，因此将省略它们的描述。

如上所述，在需要事先测量关于校正量的信息的本实施例中，保持关于倍率色差的校正的信息使得能够减少获取图像的计算量。因此，本实施例的图像拾取装置的构成使得能够提高处理速度并减少处理负担。虽然在本实施例中第一校正单元1102在步骤S32中获取设计值与各倍率色差的量之间的差值作为倍率色差的校正信息，但倍率色差的适用的校正信息不限于此。作为替代方案，第一校正单元1102可测量倍率色差而不是差值、在存储单元(存储单元1107)中存储关于倍率色差的信息并且使用存储的信息作为倍率色差的校正信息。

优选地，在各实施例的校正倍率色差的步骤中，相应的单元从拍摄图像检测倍率色差并且基于它确定其校正量。作为替代方案，优选地，在各实施例的校正倍率色差的步骤中，相应的单元基于存储的倍率色差的校正信息确定倍率色差的校正量。

优选地，在校正倍率色差的步骤中，第一校正单元1102校正作为图像拾取光学系统的设计值包含的第一倍率色差。另外，优选地，在校正倍率色差的步骤中，第一校正单元1102校正与图像拾取光学系统的设计值与倍率色差的量之间的差值相当的第二倍率色差。

根据实施例，在颜色图像的颜色逸出校正处理中使用各颜色面的像素值的单调增加或单调减少确定和关于成像光学系统的颜色逸出出现方向的信息使得能够减少消除被摄体的本来颜色的有害效果，这使得能够有效地校正颜色逸出。因此，根据实施例，能够提供能够有效地减少颜色图像中的颜色逸出的图像处理装置、图像拾取装置、图像拾取系统以及图像处理方法。

[其它实施例]

也可通过读出并执行记录于存储介质(例如，非暂时计算机可读存储介质)上的计算机可执行指令以执行上述的本发明的实施例中的一个或更多个的功能的系统或装置的计算机并通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述的实施例中的一个或更多个的功能执行的方法，实现本发明的实施例。计算机可包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或更多个，并且可包括单独的计算机或单独的计算机处理器的网络。可例如从网络或存储介质向计算机提供计算机可执行指令。存储介质可包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布计算系统的存储、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)^TM))、快擦写存储器和存储卡等中的一个或更多个。

虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。

Claims (34)

1.一种图像处理装置，其特征在于包括：

检测单元，所述检测单元被配置为检测第一区域，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；

确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

校正单元，所述校正单元被配置为校正图像以减少颜色逸出。

2.根据权利要求1的图像处理装置，其特征在于，所述光学信息是关于出现图像拾取光学系统的颜色逸出的第二方向的信息。

3.根据权利要求2的图像处理装置，其特征在于，确定单元被配置为比较第一方向与第二方向以确定第二区域。

4.根据权利要求2的图像处理装置，其特征在于，确定单元被配置为当第一方向与第二方向相互匹配时确定第一区域是第二区域。

5.根据权利要求1的图像处理装置，其特征在于，所述光学信息是关于图像拾取光学系统的颜色逸出的强度的信息。

6.根据权利要求5的图像处理装置，其特征在于，校正单元被配置为基于关于颜色逸出的强度的信息改变对图像进行校正的力度。

7.根据权利要求4的图像处理装置，其特征在于，校正单元被配置为当第一方向和第二方向在多个方向上相互匹配时计算关于多个方向的颜色逸出的信息以校正图像。

8.根据权利要求7的图像处理装置，其特征在于，校正单元被配置为当第一方向和第二方向在多个方向上相互匹配时使用关于多个方向的重心方向的颜色逸出的强度的信息以校正图像。

9.根据权利要求1～8中的任一项的图像处理装置，还包括被配置为存储各拍摄条件的光学信息的存储单元。

10.根据权利要求9的图像处理装置，其特征在于，拍摄条件包含图像拾取光学系统的焦距、被摄体距离和孔径值中的至少一个。

11.一种图像拾取装置，其特征在于包括：

图像拾取元件，所述图像拾取元件被配置为对光学图像进行光电转换；

检测单元，所述检测单元被配置为检测第一区域，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；

确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

校正单元，所述校正单元被配置为校正图像以减少颜色逸出。

12.一种图像拾取系统，包括：

包含图像拾取光学系统的镜头装置；和

图像拾取装置，

其特征在于，图像拾取装置包括：

被配置为对光学图像进行光电转换的图像拾取元件；

检测单元，所述检测单元被配置为检测第一区域，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；

确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

校正单元，所述校正单元被配置为校正图像以减少颜色逸出。

13.一种图像处理方法，其特征在于包括以下的步骤：

检测第一区域，在所述第一区域中，从包含多个滤色器的图像拾取元件获取的图像的与至少一个滤色器对应的颜色面的信号电平和从图像产生的亮度面的信号电平中的一个在预定区间内沿第一方向单调增加或者单调减小；

基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

校正图像以减少颜色逸出。

14.一种图像处理方法，其特征在于包括以下的步骤：

校正拍摄图像的倍率色差；

检测校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小的第一区域；

基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

校正已校正了倍率色差的拍摄图像以减少颜色逸出。

15.根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括以下的步骤：

基于拍摄图像检测倍率色差；和

基于检测的倍率色差确定倍率色差的校正量。

16.根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括：基于事先存储的倍率色差的校正信息确定倍率色差的校正量的步骤。

17.根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括：校正被包含为图像拾取光学系统的设计值的第一倍率色差的步骤。

18.根据权利要求17的图像处理方法，其特征在于，校正倍率色差的步骤包括以下的步骤：

检测拍摄图像的边缘区域；

获取边缘区域中的颜色偏移量；

基于边缘区域的图像高度和颜色偏移量创建校正数据；和

使用校正数据以校正第一倍率色差。

19.根据权利要求14的图像处理方法，其特征在于，校正倍率色差的步骤包括校正第二倍率色差的步骤，所述第二倍率色差对应于与图像拾取光学系统的设计值的差值。

20.根据权利要求19的图像处理方法，其特征在于，校正倍率色差的步骤包括以下的步骤：

检测拍摄图像的边缘区域；

基于边缘区域的颜色偏移量计算关于拍摄图像的多个分割区域中的每一个的第一校正量；和

通过使用与相对于拍摄图像的中心的径向不同的方向的第二校正量校正第二倍率色差，第二校正量是基于第一校正量计算的。

21.根据权利要求20的图像处理方法，其特征在于，校正第二倍率色差的步骤包含：通过使用拍摄图像的水平方向和垂直方向中的每一个的第二校正量来校正第二倍率色差的步骤，第二校正量是基于第一校正量计算的。

22.根据权利要求20的图像处理方法，其特征在于，第一位置处的第一校正量和第二位置处的第一校正量相互不同，第一位置和第二位置关于拍摄图像的中心对称。

23.根据权利要求14的图像处理方法，其特征在于，光学信息是关于出现图像拾取光学系统的颜色逸出的第二方向的信息。

24.根据权利要求23的图像处理方法，其特征在于，确定第二区域的步骤包含：比较第一方向与第二方向以确定第二区域的步骤。

25.根据权利要求23的图像处理方法，其特征在于，确定第二区域的步骤包含：当第一方向与第二方向相互匹配时确定第一区域是第二区域的步骤。

26.根据权利要求14的图像处理方法，其特征在于，光学信息是关于图像拾取光学系统的颜色逸出的强度的信息。

27.根据权利要求26的图像处理方法，其特征在于，校正已校正了倍率色差的拍摄图像的步骤包含：基于关于颜色逸出的强度的信息改变对拍摄图像进行校正的力度的步骤。

28.根据权利要求25的图像处理方法，其特征在于，校正已校正了倍率色差的拍摄图像的步骤包含：当第一方向和第二方向在多个方向上相互匹配时计算关于多个方向的颜色逸出的强度的信息以校正拍摄图像的步骤。

29.根据权利要求28的图像处理方法，其特征在于，校正已校正了倍率色差的拍摄图像的步骤包含：当第一方向和第二方向在多个方向上相互匹配时使用关于多个方向的重心方向的颜色逸出的强度的信息以校正拍摄图像的步骤。

30.根据权利要求14～29中的任一项的图像处理方法，其特征在于，确定第二区域的步骤包含：基于对各拍摄条件存储的光学信息确定第二区域的步骤。

31.根据权利要求30的图像处理方法，其特征在于，拍摄条件包含图像拾取光学系统的焦距、被摄体距离和孔径值中的至少一个。

32.根据权利要求14的图像处理方法，其特征在于，检测第一区域的步骤包含：检测从包含多个滤色器的图像拾取元件获取的拍摄图像的与至少一个滤色器对应的颜色面的信号电平和从拍摄图像产生的亮度面的信号电平中的至少一个在预定区间内沿第一方向单调增加或者单调减小的第一区域的步骤。

33.一种图像处理装置，其特征在于包括：

第一校正单元，所述第一校正单元被配置为校正拍摄图像的倍率色差；

检测单元，所述检测单元被配置为检测校正了倍率色差的拍摄图像的亮度信号和颜色信号中的至少一个的电平在预定区间内沿第一方向单调增加或者单调减小的第一区域；

确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

第二校正单元，所述第二校正单元被配置为校正已校正了倍率色差的拍摄图像以减少颜色逸出。

34.一种图像处理装置，其特征在于包括：

图像拾取元件，所述图像拾取元件被配置为对光学图像进行光电转换以输出拍摄图像；

第一校正单元，所述第一校正单元被配置为校正拍摄图像的倍率色差；

检测单元，所述检测单元被配置为检测校正了倍率色差的拍摄图像的亮度信号和颜色信号中的一个的电平在预定区间内沿第一方向单调增加或者单调减小的第一区域；

确定单元，所述确定单元被配置为基于关于颜色逸出的光学信息和关于第一区域的信息确定出现图像拾取光学系统的颜色逸出的第二区域；和

第二校正单元，所述第二校正单元被配置为校正已校正了倍率色差的拍摄图像以减少颜色逸出。