CN107666605A - 图像处理装置、图像捕获装置、图像处理方法和存储介质 - Google Patents

Abstract

公开了图像处理装置、图像捕获装置、图像处理方法和存储介质。图像处理装置执行用于针对通过使用光学系统进行图像捕获而生成的输入图像校正包含旋转对称分量和偏移分量的横向色差的图像处理。图像处理装置包括：第一获取器，被配置成获取关于作为旋转对称分量和偏移分量中的一个的第一分量的第一分量信息，该第一分量信息在输入图像被获取之前被获取并存储；第二获取器，被配置成通过使用输入图像和第一分量信息来基于颜色偏移量获取关于作为旋转对称分量和偏移分量中的另一个的第二分量的第二分量信息；和校正器，被配置成用第一分量信息和第二分量信息对输入图像执行校正处理。

Description

图像处理装置、图像捕获装置、图像处理方法和存储介质

技术领域

本发明涉及一种被配置成校正在捕获图像中的成像光学系统的横向色差(或倍率色差)的图像处理技术。

背景技术

被配置成在诸如数字照相机之类的图像捕获装置中形成物体图像的光学系统的各种像差使捕获图像的质量劣化。各种像差中的横向色差使捕获图像中的一种或多种颜色偏移。在下面的描述中，色差引起每种颜色的成像位置的偏移(颜色偏移)，并且由与由成像性能引起的模糊不同的各像素的物体图像的平行移动表示。日本专利特开第2012-23532号公开了一种用于检测捕获图像中的横向色差并通过图像处理对其进行校正的方法。更具体地，该方法检测在从图像中心起的径向(或像高或点方向)上的横向色差，并对其进行校正。

由于用于成像装置的图像传感器包括更多像素并且单位像素尺寸减小，所以横向色差影响图像质量，尽管这种横向色差通常尚未传统地构成实质性问题。例如，当由光学系统的制造误差引起的横向色差的变化未被校正时，图像质量下降。日本专利第5,505,135号公开了一种用于通过计算针对相对于图像中心的旋转对称分量的校正量和针对偏移分量的校正量来校正由制造误差引起的横向色差的方法，其中，在包含制造误差的光学系统中生成的横向色差中，颜色偏移量的量和方向在整个图像中是均匀的。日本专利特开第2015-226158号公开了一种用于检测具有制造误差的光学系统中的旋转对称分量和偏移分量的方法，该方法基于这些分量之间的关系来进行检测。

光学系统的制造误差包括偏心和透镜(透镜元件和透镜单元)相对于光学系统中的光轴的倾斜、平行于透镜光轴方向的位置偏移以及由透镜元件的形状和折射率引起的焦距偏移等。每种颜色的物体图像主要由于透镜的偏心和倾斜而偏移，并且每种颜色的物体图像的倍率主要由于平行于光轴方向的位置偏移和透镜的焦距偏移而偏移。日本专利特开第2012-23532号中公开的方法为了校正而改变像高方向上的倍率，并且无法校正由透镜的偏心和倾斜引起的每种颜色的物体图像的横向偏移。

日本专利第5,505,135号中公开的方法考虑了在整个图像中均匀发生的横向色差的分量，并且可以校正每种颜色的物体图像的偏移。

然而，此方法基于包含基于设计值和制造误差的色彩倍率偏移的捕获图像来检测偏移分量。除非考虑由色彩倍率偏移引起的偏移分量的影响，否则该方法无法检测捕获图像中不包含弧矢方向边缘，其中在弧矢方向边缘仅出现偏移分量。“弧矢方向边缘”是其中亮度沿着弧矢方向改变的边缘，并且与其中亮度在径向上改变的子午方向边缘正交。

另外，日本专利特开第2015-226158号中公开的方法还基于以下事实来检测除了弧矢方向边缘之外的边缘：旋转对称分量和偏移分量中的任一个用作相对于它们中的另一个的偏移。因此，检测精度提高，这是因为用于检测每个分量的边缘的数量增大。然而，当捕获的图像不具有足够的检测到的边缘的分布时，一个分量无法与另一个分量进行区分，并且每个分量无法被准确地估计。因此，无法精确地检测旋转对称分量和偏移分量，结果无法提供充分的校正。

发明内容

本发明提供了图像处理装置、图像处理方法等，其可以精确且鲁棒地校正由光学系统的制造误差引起的横向色差。

根据本发明的一个方面的图像处理装置被配置成对通过使用光学系统进行图像捕获而生成的输入图像执行图像处理以校正包含旋转对称分量和偏移分量的横向色差。该图像处理装置包括：第一获取器，被配置成获取关于作为旋转对称分量和偏移分量中的一个的第一分量的第一分量信息，该第一分量信息在输入图像被获取之前被获取并存储；第二获取器，被配置成通过使用输入图像和第一分量信息来获取关于作为旋转对称分量和偏移分量中的另一个的第二分量的第二分量信息；和校正器，被配置成用第一分量信息和第二分量信息对输入图像执行校正处理。

从以下参照附图对示例性实施例的描述，本发明的其它特征将变得清楚。

附图说明

图1A至图1E是用于说明根据本发明的一个实施例的由制造误差引起的横向色差的视图。

图2A至图2F是示出根据此实施例的颜色偏移的检测结果的视图。

图3A和图3B是根据实施例的通过减去第一分量信息而获得的颜色偏移聚类(aggregate)结果的视图。

图4是根据第一实施例的图像处理装置的配置的框图。

图5是根据第一实施例的检测器的框图。

图6是根据第一实施例的图像处理的流程图。

图7是根据本发明的第二实施例的图像处理的流程图。

具体实施方式

将参考附图给出对根据本发明的实施例的描述。

首先，在对特定实施例的描述之前，将给出对由图像捕获光学系统(以下简称为“光学系统”)的制造误差引起的横向色差的生成机制的描述。如上所述，光学系统的制造误差包含偏心和透镜(透镜元件和透镜单元)相对于光学系统中的光轴的倾斜、平行于透镜光轴方向的位置偏移和由透镜元件的形状和折射率引起的焦距偏移等。

在相对于光轴为旋转对称的光学系统中，横向色差是旋转对称的。当透镜偏心或倾斜时，发生偏心光学系统所特有的旋转不对称的横向色差。当透镜单元部分地偏心或倾斜时，由光学系统形成的像面基于物体面在与光轴正交的方向上偏移。此时，因为偏移量由于偏心透镜单元的分散而针对各波长而改变，因此各颜色在整个像面(成像面)上以均匀量和均匀方向而偏移。

当位置平行于透镜的光轴方向而偏移并且焦距由于透镜元件的形状和折射率而偏移时，物体图像的倍率和旋转对称的像差分量改变。此时，由于导致偏移的透镜单元的分散，变化量针对各波长而改变，因此位置针对各颜色而旋转对称地偏移。在实际的光学系统中，在多个透镜中的每个中发生颜色偏移，结果发生具有复杂图案的横向色差。图1A和图1B示出说明性横向色差图案。图1A示出当向被设计为相对于光轴为旋转对称的光学系统提供制造误差时的横向色差的说明性图案。由图1A中的箭头示出的各向量表示向量的开始位置处的横向色差的量和方向。当通过图像捕获生成作为捕获图像的RGB图像时，在RG之间和在BG之间出现不同的图案。最初，在旋转对称的光学系统中，光轴中心与成像面中心相一致，并且将该中心作为对称中心围绕它发生横向色差图案。然而，横向色差在图1A中的成像面的范围内具有不对称图案。

图1B示出在基于关于设计值的横向色差分量对图1A所示的横向色差图案进行校正之后的横向色差图案。在关于设计值的横向色差分量被校正之后，类似于预校正图案，横向色差在整个成像面上仍然具有不对称图案。此残差对应于由制造误差引起的横向色差分量。如图1B所示在不考虑制造误差的常规横向色差中发生校正残差，因此捕获图像劣化。

在关于设计值的横向色差分量被校正之后的横向色差图案可以被近似为在图1C中示出的旋转对称分量和在图1D中示出的在整个成像面上为均匀的具有颜色偏移向量的偏移分量的和。例如，当只有透镜偏心和倾斜被认为是制造误差时，图1D所示的偏移分量可以被校正，但是图1C所示的旋转对称分量在校正之后被留下。因此，包含制造误差的实际光学系统的横向色差可以被近似为旋转对称分量和在捕获图像中是均匀的偏移分量的和。旋转对称分量是关于设计值的分量和由制造误差引起的分量的和。当基于上述分量进行校正时，可以精确地校正横向色差，如图1E所示。

接下来是用于检测横向色差的算法。现在将给出对一种用于获取作为捕获图像的输入图像中的两个颜色分量(颜色平面)的G平面和R平面之间的横向色差量(颜色偏移量)的方法的描述，但是该方法类似地可适用于其它颜色平面之间的横向色差量的获取。最初，已知的方法为输入图像200中的G平面和R平面生成颜色平面图像数据，并且基于每个生成的颜色平面图像来检测边缘。可以例如通过搜索以下区域来检测边缘：在该区域中，相邻像素之间的差异(增大或减小值)等于或高于预定值，其中连续像素中的像素值单调地增大或减小。

接下来，通过搜索在颜色平面图像数据之间提供最大相关性的位置，在作为包含检测到的边缘及其周围区域的区域的边缘部分中获得颜色偏移量。例如，通过相对于G平面图像数据的位置移动R平面图像数据的位置，可以计算减小两种颜色平面图像数据之间的亮度值的差异的绝对值或平方和的移动量，并且可以将计算出的移动量设置为颜色偏移量。由于没有在与边缘部分中的边缘平行的方向上从输入图像中检测到颜色偏移，所以只能在一个方向上或在与边缘正交的方向上获得颜色偏移量。

在边缘部分外的区域中，可以二维地搜索颜色偏移量，但是处理负担变得比一维搜索更重。由光学系统中的横向色差引起的颜色偏移显著地出现在图像数据的边缘中，并且在边缘部分中可被检测到。

当如在日本专利特开第2012-23532中公开的方法中那样已知颜色偏移方向时，通过在与颜色偏移方向正交的边缘中沿着与颜色偏移方向平行的方向检测颜色偏移量，可以容易地获得颜色偏移量。

当横向色差可以被表示为旋转对称分量和偏移分量的和时，在输入图像上的每个位置处检测这两个分量的和。当输入图像具有足够的检测到的边缘的分布时，这些分量可以被彼此分离，但是当图像具有不足的检测到的边缘的分布时，这些分量无法被准确地分离。将参照图2A至图2D描述此问题。

例如，假设在图2A所示的输入图像200上的几乎相同的像高的四个区域(边缘部分)201至204中的每个中检测到相同数量的子午方向边缘。可以在一个边缘中的多个位置处检测颜色偏移量，并且相同数量的边缘表示每个区域中的颜色偏移量的检测次数，而不是边缘本身的数量。在此示例中，如图2B所示，区域201至204中的像高处的旋转对称分量在径向向外方向被设置为正的情况下具有颜色偏移量“+a”，并且偏移分量在水平向右方向被设置为正的情况下具有颜色偏移量“b”。

图2C示出通过聚类各个区域中的颜色偏移量的检测结果而获得的频率分布，其中径向向外方向被设置为正。在区域201和203中，子午方向边缘不受偏移分量影响。因此，尽管检测散布，但是检测到的颜色偏移量分布在“+a”附近。在区域202中，偏移分量和旋转对称分量指向相同方向，因此检测到的颜色偏移量分布在“a+b”附近。在区域204中，偏移分量和旋转对称分量指向相反方向并且检测到的颜色偏移量分布在“a-b”附近。基于这些事实，基于成像面上的平均值将旋转对称分量计算为“a”，并且基于在区域202和204中检测到的颜色偏移量和旋转对称分量之间的差异将偏移分量的水平分量计算为向右方向上的“+b”。

图2D示出颜色偏移量直方图，其中区域203和204不包含用于检测颜色偏移量的任何边缘。由于在区域203和204中未检测到边缘，所以频率在“a”附近变为一半，并且在“a-b”附近消失。当基于在其中检测到边缘的区域201和202两者的平均值来计算偏移分量和旋转对称分量时，旋转对称分量变为“a+b/2”。基于检测到的颜色偏移量和旋转对称分量之间的差异，偏移分量被计算为向右方向上的“b/2”和向下方向上的“b/2”。以这种方式，当基于计算出的颜色偏移量来校正横向色差时，区域201和202被适当地校正，但是其他区域203和204被有误差地校正。

为了精确地检测颜色偏移，在边缘部分中进行检测，但是在非边缘部分中也发生颜色偏移。当用有误差地检测的颜色偏移量的量和方向来校正输入图像时，输出的校正图像具有劣化的颜色偏移。当用于检测颜色偏移的边缘未充分分布时，偏移分量和旋转对称分量不被唯一地确定，并且发生检测误差。

如图2E所示，当预先计算偏移分量时发生类似的问题。在图2E中，检测到与图2C中的颜色偏移量相同的颜色偏移量，但是图2E将水平向右方向设置为正，并且仅示出从子午方向边缘检测水平分量的区域202和204的频率分布。基于区域202和204中的平均值而将偏移分量计算为向右方向上的“b”，并且基于在区域201至204中检测到的偏移分量和颜色偏移量之间的差而将旋转对称分量计算为径向向外方向上的“+a”。

图2F示出类似于图2D的直方图，其中在区域203和204中没有用于检测颜色偏移量的边缘。由于在区域204中未检测到边缘，所以在“-a+b”附近没有分布。当基于在其中检测到边缘的区域201和202两者的平均值来计算偏移分量和旋转对称分量时，偏移分量被计算为“a+b”。由于在区域202中检测到的颜色偏移量为“a+b”，所以旋转对称分量变为零。另外，旋转对称分量具有在区域201中检测到的径向向外方向上的“+a”的颜色偏移量，并且偏移分量中的垂直分量被计算为向上方向上的“+a”。在没有足够的用于检测颜色偏移的边缘分布的情况下，类似于预先计算旋转对称分量的情况发生检测误差。

如上所述，当横向色差包含旋转对称分量和偏移分量时，在输入图像上没有足够的边缘分布的情况下发生检测误差。因此，当在具有包含旋转对称分量和偏移分量的横向色差的输入图像中检测旋转对称分量和偏移分量两者时，与在仅具有旋转对称分量的输入图像中检测横向色差的情况不同地发生问题，并且检测精度可能劣化。

此外，为了精确地校正具有制造误差的光学系统中的横向色差，可以在制造过程中测量旋转对称分量和偏移分量并将其存储为数据表。然而，如果制造过程处理改变光学系统的状态的所有图像捕获条件，诸如变焦位置、F数、图像捕获距离，则制造过程具有更重的测量负担。为了减轻测量负担，可以想到利用离散的图像捕获条件来测量分量，并且通过插值来计算期望的图像捕获条件下的横向色差。然而，由制造误差引起的旋转对称分量或由制造误差引起的偏移分量在一些光学系统中可能突然改变。可能能够通过插值来保持对于一个分量的足够的精度，但是可能难以通过插值来保持对于另一分量的足够的精度。

偏移分量可以根据图像捕获装置在图像捕获时是被保持在横向取向还是纵向取向而改变。制造过程难以处理所有图像捕获条件。在数据表中存储旋转对称分量和偏移分量两者的方法难以精确地校正具有制造误差的光学系统中的横向色差。

如上所述，根据本发明的实施例对于通过使用光学系统进行图像捕获而生成的输入图像执行用于校正由旋转对称分量和偏移分量引起的横向色差的图像处理。旋转对称分量和偏移分量中的一个将被称为第一分量，并且旋转对称分量和偏移分量中的另一个将被称为第二分量。然后，本实施例获得作为在输入图像被获得之前获得并存储的关于第一分量的信息的第一分量信息，并且通过使用输入图像和第一分量信息来获得作为关于第二分量的信息的第二分量信息。每个分量信息包含每个分量的量和方向。通过使用第一分量信息和第二分量信息对输入图像执行校正处理来生成校正图像。

当横向色差基于其旋转对称分量和偏移分量而被校正时，包含由制造误差引起的分量的横向色差可以被校正。然而，在基于输入图像检测横向色差时发生上述检测误差问题，其中横向色差可以通过包括旋转对称分量和偏移分量的模型来近似。

因此，本实施例基于在输入图像被获得之前已被预先获得和存储的第一分量图像、输入图像、和从输入图像获得(检测)的横向色差信息来计算第二分量信息，从而可以鲁棒地检测与第一分量不同的第二分量。然后，本实施例使用第二分量信息和第一分量信息对输入图像执行校正处理，并且可以精确地校正包含由制造误差引起的分量的横向色差。这里，“预先获得”例如是指在用于获得输入图像的光学系统的制造过程中获得并存储。

为了使用第一分量信息获得第二分量信息，可以通过检测输入图像中的横向色差来获得横向色差信息，并且可以利用第一分量信息和横向色差信息来计算第二分量信息。更具体地，可以从横向色差(横向色差量)中减去第一分量信息(第一分量的量)。在这种情况下，使用第一分量信息和第二分量信息对输入图像执行校正处理。

使用第一分量信息获得第二分量信息的另一种方法可以通过使用第一分量信息对输入图像执行校正处理来生成中间校正图像，并且通过检测中间校正图像中的颜色偏移量(第二分量)来获得第二分量信息。在这种情况下，可以通过使用第二分量信息对中间校正图像执行校正处理来生成最终校正图像。

第一分量可以是旋转对称分量，第二分量可以是偏移分量。当获得先前存储为第一分量信息的关于旋转对称分量的信息时，未知分量限于偏移分量。由此，可以确定检测到的颜色偏移量(横向色差量)中的每个分量的量，并且可以在防止上述检测误差的同时鲁棒且精确地检测横向色差。

第一分量信息可以限于关于与光学系统的设计值有关的旋转对称分量的信息。因此，可以在不测量制造过程的情况下获取旋转对称分量。在通过用基本上不受由制造误差引起的旋转对称分量影响的光学系统进行图像捕获而生成的输入图像中，未知分量限于偏移分量。因此，通过根据基于检测器的检测结果获得的旋转对称分量来计算偏移分量，可以在防止上述检测误差的同时鲁棒地且精确地检测横向色差。

第一分量可以是关于与设计值有关的旋转对称分量和由制造误差引起的旋转对称分量的信息。因此，未知分量可以限于偏移分量。在利用具有制造误差的光学系统进行图像捕获而生成的输入图像中，除了与设计值有关的旋转对称分量之外还存在由制造误差引起的旋转对称分量和由制造误差引起的偏移分量。换句话说，一般而言，由制造误差引起的横向色差包含旋转对称分量和偏移分量。除非从先前存储的值获得其中一个，否则发生上述检测误差。因此，为了将未知分量限制于偏移分量，可以从先前存储的信息获得与设计值有关的旋转对称分量和由制造误差引起的旋转对称分量。当存储旋转对称分量而不存储偏移分量时，可以节省存储的数据量。在这种情况下，当旋转对称分量作为与设计值有关的旋转对称分量和由制造误差引起的旋转对称分量的和而被存储时，由制造误差引起的横向色差被存储，并且存储数据量不会变得比不考虑制造误差的情况的存储数据量大。

即使当在制造过程中测量并存储由制造误差引起的偏移分量时，由于光学系统的特性、图像捕获条件(诸如变焦位置、F数和图像捕获距离)、图像捕获设备在图像捕获时的取向等，测量值或基于测量值的内插值可能不可用。在这种情况下，通过基于先前获得的旋转对称分量和检测到的横向色差量来计算偏移分量或者通过基于中间图像来检测偏移分量，可以在防止检测误差的同时精确且鲁棒地检测横向色差。结果，可以精确地校正由制造误差引起的横向色差。

第一分量可以是偏移分量，第二分量可以是旋转对称分量。当获得先前存储的偏移分量作为第一分量时，未知分量被限于旋转对称分量。可以在检测到的横向色差量中确定各分量的量，并且可以在防止上述检测误差的同时精确且鲁棒地检测横向色差。

在这种情况下，第一分量信息可以是关于由光学系统中的制造误差引起的偏移分量的信息。由此，未知分量被限于旋转对称分量。在通过用具有制造误差的光学系统进行图像捕获而生成的输入图像中，除了与设计值有关的旋转对称分量之外还存在由制造误差引起的旋转对称分量和由制造误差引起的偏移分量。换句话说，一般而言，由制造误差引起的横向色差包含旋转对称分量和偏移分量。除非从先前存储的值获得其中一个，否则发生上述检测误差。因此，为了将未知分量限于旋转对称分量，可以从先前存储的信息获得由制造误差引起的偏移分量。当仅存储由制造误差引起的偏移分量时，没有必要存储旋转对称分量并且可以节省存储数据量。由于偏移分量在整个输入图像上具有均匀方向和均匀量的颜色偏移，所以可以用比依赖于像高而具有不同方向和不同量的旋转对称分量的存储数据量小的存储数据量来存储偏移分量。当然，没有必要存储关于设计值的旋转对称分量和由制造误差引起的旋转对称分量两者，或者没有必要仅存储由制造误差引起的旋转对称分量。即使在后一种情况下，存储数据量也可以小于分别存储关于设计值的旋转对称分量和由制造误差引起的旋转对称分量的情况下的存储数据量。

即使在在制造过程中测量并预先存储由制造误差引起的旋转对称分量的情况下，由于光学系统的特性、图像捕获条件(诸如变焦位置、F数和图像捕获距离)、图像捕获装置在图像捕获时的取向等，测量值或基于测量值的内插值也可能不可用。在这种情况下，通过根据基于先前获得的偏移分量检测到的横向色差量来计算旋转对称分量或者通过基于中间图像来检测旋转对称分量，可以在防止上述检测误差的同时精确且鲁棒地检测横向色差。结果，可以精确地校正由制造误差引起的横向色差。

由于由制造误差引起的位移分量和旋转对称分量对于每个个体光学系统是不同的，所以可以如上所述在光学系统的制造过程中个体地测量并存储第一分量信息。代替制造过程，可以在诸如修理之类的调整过程中存储第一分量信息。根据输入图像的检测具有上述问题并且包含上述检测误差，但是可以通过测量制造过程中的理想测量环境来解决这个问题。

可以根据与要校正的输入图像不同的用于获取信息的图像来计算第一分量信息。与输入图像不同的用于获取信息的图像例如包含通过成像作为已知图表的物体而获得的图像。一般而言，横向色差依赖于图像捕获时光学系统的图像捕获条件、环境光的色温等，因此可以从要校正的输入图像来检测。然而，当横向色差包含旋转色差和偏移分量时，很可能发生上述检测误差，所以依赖于输入图像，检测精度劣化并发生检测误差。例如，当边缘对比度或边缘数量不足时，检测精度很可能劣化，并且彩色物体受到影响，因此颜色偏移被有误差地检测。因此，可以使用作为与输入图像不同的图像的用于获取信息的适当检测到的图像来测量第一分量信息。

用于获取信息的图像可以是通过对已知图表进行成像而获得的图像。当目标区域没有足够的边缘时，会发生检测误差。具有足够边缘的用于获取信息的图像可以通过使用已知图表来获得。此外，该图表可以包含以适当数量布置在适当位置处的子午方向边缘、弧矢方向边缘、其中亮度在垂直方向上改变的水平边缘以及其中亮度在水平方向上改变的垂直边缘。此配置可以测量适合于要测量的横向色差的分量的方向上的颜色偏移量，以及不包含特定分量的颜色偏移量，从而防止上述检测误差。为了精确地测量用于获取信息的图像中的不对称横向色差，该图表作为整体可以包含对称布置的边缘。由于由制造误差引起的横向色差的分量依赖于光学系统的个体差异，因此在理想环境中测量并存储该分量。由此，分量信息可适用于通过在后的图像捕获获得的一般捕获图像。

用于获取信息的图像可以是通过用与用于捕获和获得输入图像的可更换光学系统(可更换透镜装置)和用于图像捕获的图像捕获装置不同的图像捕获装置进行图像捕获而获取的图像。为了测量由光学系统的制造误差引起的横向色差的分量，有必要使用通过用要测量的光学系统进行图像捕获而获得的用于获取信息的图像。在光学系统被设置到可更换透镜装置中的情况下，光学系统所附接于的图像捕获装置可以与用于获得输入图像的图像捕获装置不同。一般而言，由制造误差引起的横向色差的分量小于关于设计值的分量，因此能够以比用于获取输入图像的图像捕获装置更高的分辨率、更高的灰度级和低噪声提供良好图像捕获的图像捕获装置可被使用。

可以通过测量用于捕获和获得输入图像的光学系统中的光学元件的光学配置(布置、折射率和形状)来获得第一分量信息。横向色差最初由诸如光学系统中的光学元件的布置、每个光学元件的折射率和每个光学元件的形状之类的光学配置决定。因此，可以通过测量光学配置来预先获得并存储第一分量信息。

当通过从检测到的横向色差信息中减去第一分量信息来计算第二分量信息时，可以基于通过对输入图像上的多个位置处的减法结果进行聚类而获得的聚类结果来计算第二分量信息。换句话说，在通过多个位置(边缘部分)处的减法获得的颜色偏移量被聚类后，通过统计处理(诸如求平均)来计算第二分量信息。由此，可以在防止上述检测误差的同时精确且鲁棒地检测横向色差。

可以针对上述聚类结果执行误差预防处理。误差预防处理是基于聚类结果来防止检测中的误差值的处理。误差预防处理包括排除与检测到的颜色偏移量直方图中的平均值的差异大于预定阈值的检测值的处理，不使用与具有大于阈值的分散的直方图相对应的聚类结果的处理等。在横向色差包含旋转对称分量和偏移分量的情况下，检测到的颜色偏移量包含这两个分量，并且检测到的值如图2C至图2F所示散布。因此，无法通过简单地聚类来自输入图像的检测结果来利用分散防止误差值。

然而，只有第二分量信息可以通过对在从检测到的横向色差信息中减去第一分量信息之后的结果进行聚类来聚类，并且误差值可以被避免。例如，假设在示出横向色差信息(颜色偏移量)的检测结果的直方图的图2D中获得作为第一分量信息的偏移分量的信息。当从颜色偏移量检测结果中减去获得的偏移分量信息时，如图3A所示获得只有旋转对称分量的分布。类似地，在旋转对称分量信息被获得作为从如图2F所示的颜色偏移量检测结果中减去的第一分量信息的情况下，如图3B所示获得只有偏移分量的分布。因此，当仅针对一个分量信息的聚类结果被获得时，可以利用分散来防止误差值，这是因为可以防止由两个分量引起的检测结果的散布。

在第一分量信息是偏移分量并且第二分量信息是旋转对称分量的情况下，可以用在输入图像被获得之前在制造过程等中先前获得的用于防止误差的旋转对称分量的信息来校正聚类结果。用于防止误差的旋转对称分量是关于设计值的旋转对称分量。在由制造误差引起的旋转对称分量可以被获得的情况下，用于防止误差的旋转对称分量可以使用关于设计值的旋转对称分量和由制造误差引起的旋转对称分量的和。

日本专利特开第2012-23532号公开了一种基于关于设计值的横向色差的数据来校正检测结果以防止对通过捕获彩色物体获得的输入图像的检测误差的方法。在横向色差包含偏移分量的情况下，检测到的颜色偏移量本身无法与关于设计值的横向色差的数据进行比较，因此基于关于设计值的横向色差的数据的校正是不可用的。基于设计值分量的数据的校正可以通过基于用于防止误差的旋转对称分量来对通过从检测到的颜色偏移量中减去先前获得的第一分量信息并进行聚类而获得的聚类结果进行校正来获得。

当可更换透镜装置包括光学系统并且相对于图像捕获装置可更换时，可更换透镜装置可以包括被配置成存储第一分量信息的透镜存储单元，并且可更换透镜装置可以将第一分量信息提供给图像处理装置或包括图像处理装置的图像捕获装置。因此，没有必要在图像处理装置或图像捕获装置中存储各种光学系统的第一分量信息。此外，此配置可以针对由安装有可更换透镜装置的图像捕获装置获得的输入图像校正由制造误差引起的横向色差。

第一分量信息可以作为头部信息(header information)存储在输入图像中，并且图像处理单元(装置)或包括图像处理单元的图像捕获装置可以从头部信息中获得第一分量信息。由此，在各种图像捕获条件下，图像处理装置或具有该图像处理装置的图像捕获装置没有必要存储第一分量信息。

第一实施例

图4示出包括根据本发明的第一实施例的图像处理装置的图像捕获装置的配置。图像捕获单元包括(图像捕获)光学系统101和图像传感器102。光学系统101包括光圈101a并将来自未示出的物体的光成像在图像传感器102上。图像传感器102包括光电转换元件，例如CCD传感器和CMOS传感器，对由光学系统101形成的物体图像(光学图像)进行光电转换并输出模拟图像信号。

通过图像传感器102进行光电转换而生成的模拟信号被A/D转换器103转换成数字图像信号，并输出到作为图像处理装置的图像处理器104。图像处理器104对数字图像信号执行一般的图像处理，生成作为捕获图像的输入图像，并且执行用于校正与光学系统101的制造误差相对应的横向色差的图像处理。

图像处理器104包括获取器(第一获取器)104a、检测器104b、计算器104c和校正器104d。获取器104a从作为存储单元的ROM 111中读取(并且执行稍后将描述的内插计算)，并且获取作为横向色差中的旋转对称分量和偏移分量中的一个的信息的第一分量信息。检测器104b检测作为输入图像中的旋转对称分量和颜色偏移量的总量的横向色差量。如图5所示，检测器104b包括边缘检测器301和颜色偏移量获取器302。

计算器104c基于由获取器104a获得的第一分量信息和由检测器104b检测的横向色差量来计算作为横向色差中的旋转对称分量和偏移分量中的另一个的信息的第二分量信息。检测器104b和计算器104c构成第二获取器。校正器104d通过使用第一分量信息和第二分量信息对输入图像执行用于校正横向色差的校正处理来生成校正图像。

作为由图像处理器104生成的校正图像或通过对该校正图像执行其他图像处理而生成的输出的输出图像被存储在诸如半导体存储器和光盘之类的图像存储介质108中。在这种情况下，可以将第一分量信息和第二分量信息写入在输出图像文件中。输出图像可以被显示在显示单元105上。

信息输入单元109检测作为由用户选择并输入的诸如F数和曝光时间段之类的图像捕获条件的信息，并将该数据提供给系统控制器110。图像捕获控制器106根据来自系统控制器110的驱动命令移动光学系统101中的未示出的聚焦透镜，控制F数、曝光时间段和图像传感器102的操作，并且捕获物体图像。

状态检测器107根据来自系统控制器110的图像捕获条件获取命令获取当前图像捕获条件的信息。图像捕获条件包含光学系统101的F数、变焦位置、聚焦位置和曝光时间段，以及图像传感器102的ISO速度等。光学系统101可以一体地提供给图像捕获装置(图像传感器102)或者相对于图像捕获装置可更换的可更换透镜装置。当光学系统101被提供给可更换透镜装置时，ROM 111可被提供给可更换透镜，并且图像捕获装置中的获取器104a可以通过可更换透镜装置和图像捕获装置之间的通信来获得第一分量的量的信息。即使在这种情况下，也可以将ROM 111的至少部分功能提供给图像捕获装置。

图6中的流程图示出根据本实施例的用于校正横向色差的图像处理(图像处理方法)的流程。作为主计算机的系统控制器110和作为图像处理计算机的图像处理器104根据作为计算机程序的图像处理程序执行此处理。此处理可能不一定在计算机中的软件上执行，至少一个处理器或电路可以执行图像处理器104中的各功能。

在步骤S101中，系统控制器110控制包括光学系统101和图像传感器102的图像捕获单元以使得图像捕获单元捕获物体图像，并且指示图像处理器104生成输入图像。

在步骤S102中，系统控制器110通过状态检测器107获得当前图像捕获条件的信息。

在步骤S103中，图像处理器104(获取器104a)从ROM 111中获得与在步骤S102中获得的图像捕获条件相对应的第一分量信息。本实施例获得横向色差中的由制造误差引起的偏移分量的量和方向的信息(以下统称为“偏移分量的量”)作为第一分量信息。

ROM 111将在光学系统101的制造过程中(或在输入图像被获得之前)测量的多个代表性图像捕获条件下的偏移分量的量的信息存储为数据表。图像处理器104使用当前图像捕获条件附近的至少两个代表性图像捕获条件下的偏移分量的量执行内插处理，并且计算并获得与当前图像捕获条件相对应的偏移分量的量。偏移分量的量由R和G之间以及B和G之间的二维向量表示，但是当可更换透镜装置包括ROM 111时其实际大小存储在ROM 111中。在这种情况下，图像处理器104基于图像传感器102中的像素大小信息将从ROM 111中读出的偏移分量的量转换为以像素单位计的偏移量。

在步骤S104中，图像处理器104中的边缘检测器301(检测器104b)检测在步骤S101中获得的输入图像上的子午方向边缘(其包括接近子午方向的方向上的边缘)。颜色偏移量获取器302获得(检测)横向色差量(表示旋转对称分量和偏移分量的总量的横向色差信息)作为包含这些边缘的各边缘部分中的子午方向上的颜色偏移量。

在步骤S105中，图像处理器104(计算器104c)从在步骤S104中获得的横向色差量中减去在步骤S103中获得的偏移分量的量，从而获得在相等像高处相等的颜色偏移量。此颜色偏移量对应于各像高(位置)的旋转对称分量的量。计算器104c通过聚类预定范围的像高中的颜色偏移量来获得聚类结果。

在步骤S106中，计算器104c基于在步骤S105中获得的颜色偏移量的聚类结果来计算输入图像中的各像高处的旋转对称分量的量。更具体地，图像处理器104使用已知的方法并且计算各像高的旋转对称分量的量，诸如用于求图像方位角中的颜色偏移量的聚类结果的平均值并用于用多项式来近似像高的颜色偏移量的变化的方法。计算器104c对计算结果执行上述误差防止处理和基于设计值分量的数据的校正，并且计算旋转对称分量的量作为第二分量信息。

在步骤S107中，图像处理器104(校正器104d)使用在步骤S103中获得的偏移分量的量和在步骤S106中计算出的旋转对称分量的量来对输入图像执行用于校正横向色差的校正处理(其可以是已知的校正处理)，由此生成校正图像，其中由制造误差引起的横向色差已被精确地校正。

第二实施例

接下来是对根据本发明的第二实施例的描述。根据本实施例的图像捕获装置具有与第一实施例的基本配置相同的基本配置，并且共同部件将由相同的标号表示。图7中的流程图示出根据本实施例的用于校正横向色差的图像处理的流程。本实施例中的获取器104a从ROM111中获得作为第一分量信息的旋转对称分量的量的信息，并且检测器104b检测作为第二分量信息的偏移分量的量(包含方向)。

步骤S201和S202与第一实施例(图6)中的步骤S101和S102相同。

在步骤S203中，图像处理器104(获取器104a)从ROM 111中获取与在步骤S202中获得的图像捕获条件相对应的旋转对称分量的量的信息。与第一实施例类似，ROM 111将在光学系统101的测量过程中(或在输入图像被获得之前)测量的多个代表性图像捕获条件下的旋转对称量的信息存储为数据表。图像处理器104使用接近当前图像捕获条件的至少两个代表性图像捕获条件下的旋转对称量的信息来执行内插处理。在可更换透镜装置包括ROM111的情况下利用像素单位进行的转换与第一实施例中的步骤S103中的转换类似。

在步骤S204中，图像处理器104(检测器104b)中的边缘检测器301检测在步骤S201中获得的输入图像中的垂直边缘(包含大致垂直边缘)和水平边缘(包含大致水平边缘)。颜色偏移量获取器302获得(检测)作为包含垂直边缘的各边缘部分中的水平方向上的颜色偏移量的横向色差量(表示旋转对称分量和偏移分量的总量的横向色差信息)。此外，颜色偏移量获取器302获取(检测)作为包含水平边缘的各边缘部分中的垂直方向上的颜色偏移量的横向色差量(表示旋转对称分量和偏移分量的总量的横向色差信息)。为了提高检测精度，可以在输入图像中尽可能宽的区域中获取颜色偏移量。

在步骤S205中，图像处理器104(计算器104c)从在步骤S204中获得的横向色差量中减去在步骤S203中获得的旋转对称分量的量，从而获得在整个输入图像上均匀的颜色偏移量。此颜色偏移量对应于偏移分量的量。计算器104c通过聚类整个输入图像上的颜色偏移量来获得聚类结果。

在步骤S206中，计算器104c基于在步骤S205中获得的颜色偏移量的聚类结果来计算输入图像中的偏移分量的量。更具体地，图像处理器104基于水平方向上的颜色偏移量和垂直方向上的颜色偏移量的平均结果来计算作为二维向量的偏移分量的量。计算器104c对计算结果执行上述误差防止处理和基于设计值分量的数据的校正，并计算作为第二分量信息的偏移分量的量。

在步骤S207中，图像处理器104(校正器104d)使用在步骤S203中获得的旋转对称分量和在步骤S206中计算出的偏移分量来对输入图像执行用于校正横向色差的校正处理，从而生成校正图像，其中由制造误差引起的横向色差已经被精确地校正。

第三实施例

接下是对根据本发明的第三实施例的描述。第一和第二实施例使用包括图像处理装置的图像捕获装置，而在本实施例中，与图像处理装置相对应的个人计算机(“PC”)根据安装在其中的图像处理程序来执行图像处理。在本实施例中，PC通过有线或无线的通信从图像捕获装置或通过诸如因特网之类的通信线路获得作为由图像捕获装置生成的捕获图像的输入图像。PC从获得的捕获图像中的头部信息中获取捕获输入图像时的图像捕获条件的信息。作为获取器104a的PC从捕获图像中的头部信息中获得在捕获装置中捕获图像时的图像捕获条件中的第一分量信息(诸如偏移分量的量或旋转对称分量的量)。在图像捕获装置使用可更换透镜装置捕获图像的情况下，图像捕获装置从可更换透镜装置获得第一分量信息，该可更换透镜装置存储关于设计值的并由制造误差引起的横向色差的信息。然后，图像捕获装置将第一分量信息存储在图像文件中。

除了上述点之外，本实施例与第一和第二实施例类似，并且其描述将被省略。

上述实施例中的每个都可以精确且鲁棒地校正由光学系统的制造误差引起的横向色差。

其他实施例

本发明的一个或多个实施例也可以由读出并执行在存储介质(其也可被更完整地称作‘非暂时性计算机可读存储介质’)上记录的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个实施例的功能和/或包括用于执行上述实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机例如通过读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个实施例的功能并且/或者控制一个或多个电路以执行上述实施例中的一个或多个实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括用来读出并执行计算机可执行指令的单独计算机或单独处理器的网络。计算机可执行指令可以例如从网络或者存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多用途盘(DVD)或者蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

尽管已经参考示例性实施例描述了本发明，但是将会明白，本发明不限于所公开的示例性实施例。以下权利要求的范围将符合最宽广的解释以包含所有这种修改以及等同的结构和功能。

Claims (18)

1.一种图像处理装置，被配置成对通过使用光学系统进行图像捕获而生成的输入图像执行图像处理以校正包含旋转对称分量和偏移分量的横向色差，其特征在于，该图像处理装置包括：

第一获取器，被配置成获取关于作为旋转对称分量和偏移分量中的一个的第一分量的第一分量信息，该第一分量信息在输入图像被获取之前被获取并存储；

第二获取器，被配置成通过使用输入图像和第一分量信息来获取关于作为旋转对称分量和偏移分量中的另一个的第二分量的第二分量信息；和

校正器，被配置成用第一分量信息和第二分量信息对输入图像执行校正处理。

2.根据权利要求1所述的图像处理装置，其特征在于，第二获取器通过检测输入图像中的横向色差来获取横向色差信息，并且使用第一分量信息和横向色差信息来计算第二分量信息。

3.根据权利要求1所述的图像处理装置，其特征在于，第一分量是旋转对称分量，第二分量是偏移分量。

4.根据权利要求3所述的图像处理装置，其特征在于，第一分量信息是关于与光学系统的设计值有关的旋转对称分量的信息。

5.根据权利要求3所述的图像处理装置，其特征在于，第一分量信息是关于与光学系统的设计值和光学系统的制造误差两者有关的旋转对称分量的信息。

6.根据权利要求1所述的图像处理装置，其特征在于，第一分量是偏移分量，第二分量是旋转对称分量。

7.根据权利要求6所述的图像处理装置，其特征在于，第一分量信息是关于与光学系统的制造误差有关的偏移分量的信息。

8.根据权利要求1所述的图像处理装置，其特征在于，第一分量信息是当光学系统被制造或调整时获取并存储的信息。

9.根据权利要求2所述的图像处理装置，其特征在于，第二获取器通过使用经由从横向色差信息所指示的横向色差量中减去第一分量信息所指示的第一分量的量而获得的结果来获取第二分量信息。

10.根据权利要求9所述的图像处理装置，其特征在于，第二获取器通过使用经由聚类在输入图像上的多个位置处从横向色差量中减去第一分量的量的结果而获得的聚类结果来获取第二分量信息。

11.根据权利要求10所述的图像处理装置，其特征在于，第一分量是偏移分量并且第二分量是旋转对称分量，并且

第二获取器通过使用在输入图像被获得之前获得的用于防止误差的旋转对称分量的信息来校正聚类结果。

12.根据权利要求11所述的图像处理装置，其特征在于，用于防止误差的旋转对称分量是与光学系统的设计值有关的旋转对称分量。

13.根据权利要求1所述的图像处理装置，其特征在于，光学系统被包括在相对于图像捕获装置可更换的透镜装置中，并且

第一获取器从透镜装置获取第一分量信息。

14.根据权利要求1所述的图像处理装置，其特征在于，第一获取器从输入图像的头部信息中获取第一分量信息。

15.一种图像捕获装置，包括：

图像传感器，被配置成捕获由光学系统形成的物体图像；和

根据权利要求1至14中任一项所述的图像处理装置。

16.一种透镜装置，包括光学系统并且相对于根据权利要求15所述的图像捕获装置是可更换的，

其特征在于，透镜装置存储第一分量信息并将第一分量信息提供给图像捕获装置。

17.一种图像处理方法，被配置成对通过使用光学系统进行图像捕获而生成的输入图像执行图像处理以校正包含旋转对称分量和偏移分量的横向色差，其特征在于，该图像处理方法包括以下步骤：

获取关于作为旋转对称分量和偏移分量中的一个的第一分量的第一分量信息，该第一分量信息在输入图像被获取之前被获取并存储；

通过使用输入图像和第一分量信息来获取关于作为旋转对称分量和偏移分量中的另一个的第二分量的第二分量信息；和

用第一分量信息和第二分量信息对输入图像执行校正处理。

18.一种存储图像处理程序的非暂时性计算机可读存储介质，该图像处理程序使得计算机能够执行如下图像处理方法，该图像处理方法被配置成对通过使用光学系统进行图像捕获而生成的输入图像执行图像处理以校正包含旋转对称分量和偏移分量的横向色差，

其特征在于，该图像处理方法包括以下步骤：

获取关于作为旋转对称分量和偏移分量中的一个的第一分量的第一分量信息，该第一分量信息在输入图像被获取之前被获取并存储；

通过使用输入图像和第一分量信息来获取关于作为旋转对称分量和偏移分量中的另一个的第二分量的第二分量信息；和

利用第一分量信息和第二分量信息对输入图像执行校正处理。