CN111988517A - 图像处理装置、镜头装置和图像处理方法 - Google Patents

Abstract

本发明提供了图像处理装置、镜头装置和图像处理方法。图像处理装置包括：信息获取单元，其被构造为获取在摄像光学系统的像圆外部的第一光学信息；以及图像处理单元，其被构造为基于第一光学信息，对通过使用摄像光学系统的摄像而生成的输入图像进行锐化处理。第一光学信息是基于摄像光学系统的像圆内的第二光学信息生成的光学信息。

Description

图像处理装置、镜头装置和图像处理方法

技术领域

本发明涉及对图像进行锐化处理的图像处理装置。

背景技术

在使用光学系统的摄像中，从被摄体的一个点产生的光在光学系统中产生的衍射、像差等的影响下以稍微扩散的方式到达像面。因此，由于光学系统的衍射和像差，拍摄的图像模糊。已知可以通过使用点扩展函数(PSF：点扩展函数)、光学传递函数(OTF：光学传递函数)等的图像处理来校正图像模糊。

日本特许第5414752号公报公开了一种方法，该方法通过使用OTF的图像恢复滤波器来锐化图像，OTF依据根据摄像条件的系数数据来重构。日本特许第6124849号公报公开了一种方法，该方法通过使用基于PSF信息生成的滤波器的非锐化(unsharp)掩模处理来使图像锐化。

由于可以通过图像处理来校正失真，因此可以通过将摄像光学系统设计成故意留下其失真来使摄像光学系统紧凑。然而，当失真(桶型失真)大时，摄像光学系统的像圆(image circle)可能不包含整个图像传感器。由于来自被摄体的光没有到达像圆外的摄像面，因此没有诸如PSF和OTF的光学信息。因此，当摄像光学系统的像圆不包含整个图像传感器时，日本特许第5414752号和6124849号公报中公开的方法不能进行基于光学信息的图像锐化处理。

发明内容

本发明提供了图像处理装置、镜头装置和图像处理方法，其中的各个即使在摄像光学系统的像圆不包含整个图像传感器时也可以基于光学信息进行图像锐化处理。

根据本发明的一个方面的图像处理装置包括：信息获取单元，其被构造为获取在摄像光学系统的像圆外部的第一光学信息；以及图像处理单元，其被构造为基于所述第一光学信息，对通过使用摄像光学系统的摄像而生成的输入图像进行锐化处理。所述第一光学信息是基于摄像光学系统的像圆内的第二光学信息生成的光学信息。

根据本发明另一方面的镜头装置可附接到摄像装置并且可从摄像装置拆卸。镜头装置包括：摄像光学系统；存储器，其被构造为存储基于摄像光学系统的像圆内的第二光学信息生成的第一光学信息，以及通信器，其被构造为将所述第一光学信息发送到摄像装置。

通过以下参考附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A和图1B示出根据各个实施例的使用非锐化掩模处理的锐化。

图2A和图2B示意性地示出了根据各个实施例的光学系统的PSF。

图3A至图3C说明根据各个实施例的使用旋转对称的非锐化掩模的锐化处理。

图4A至图4C说明根据各个实施例的使用旋转非对称的非锐化掩模的锐化处理。

图5说明根据各个实施例的用于生成锐化滤波器的图像位置与像圆之间的关系。

图6是根据各个实施例的摄像装置的框图。

图7是根据第一实施例的图像处理的流程图。

图8A和图8B说明了根据各个实施例的生成锐化滤波器的方式。

图9是根据第二实施例的图像处理的流程图。

具体实施方式

现在将参考附图对根据本发明的实施例给出详细描述。

根据本实施例的图像处理器对通过使用光学系统摄像而生成的输入图像进行非锐化掩模处理，作为使用基于光学系统的光学特性的锐化滤波器的锐化处理。首先，在描述根据本实施例的摄像装置的构造之前，将给出对根据本实施例的锐化处理的描述。本文所述的锐化处理适用于稍后描述的各个实施例。

图1A和图1B示意性地示出了使用非锐化掩模处理的锐化。在图1A中，实线指示输入图像，虚线指示通过使用非锐化掩模使输入图像模糊而获得的图像，并且点线指示锐化的图像。图1B中的实线指示校正分量。在图1A和图1B的各个中，横坐标轴表示坐标，并且纵坐标轴表示像素值(亮度值)。图1A和图1B对应于稍后描述的图2A和图2B中沿预定方向(例如x方向)的截面。

锐化的图像g(x，y)可以由以下表达式(1)表示，其中f(x，y)是输入图像，而u(x，y)是校正分量：

g(x，y)＝f(x，y)+m×u(x，y) (1)

在表达式(1)中，m是用于改变校正强度的调整系数，并且可以通过改变调整系数m的值来调整校正量。m可以是与输入图像中的位置无关的常数，或者可以通过根据输入图像中的位置使m不同而根据输入图像中的位置来调整校正量。可以根据诸如光学系统的焦距、F数(光圈值)和物距的摄像条件来改变调整系数m(x，y)。

在USM(x，y)是非锐化掩模的情况下，校正分量u(x，y)可以由以下表达式(2)表示。USM(x，y)例如是坐标(x，y)处的抽头值。

u(x，y)＝f(x，y)-f(x，y)*USM(x，y) (2)

可以通过变换表达式(2)的右侧来表达以下表达式(3)：

u(x，y)＝f(x，y)*(δ(x，y)-USM(x，y)) (3)

在此，“*”表示卷积(卷积积分，乘积之和)，“δ(x，y)”表示德尔塔函数。德尔塔函数是抽头数等于USM(x，y)，中心值为1，其他值为0的数据。

由于可以通过修改表达式(2)来表达表达式(3)，因此表达式(2)和(3)彼此等价。现在将给出对使用表达式(2)生成校正分量的方式的描述。

表达式(2)计算输入图像f(x，y)与通过使用非锐化掩模使输入图像f(x，y)模糊而获得的图像之间的差，并基于差信息生成校正分量u(x，y)。在一般的非锐化掩模处理中，诸如高斯滤波器、中值滤波器和移动平均滤波器的平滑滤波器被用作非锐化掩模。

例如，当将高斯滤波器用作针对图1A中实线所指示的输入图像f(x，y)的非锐化掩模时，通过使输入图像f(x，y)模糊而获得的图像由图1A中的虚线指示。校正分量u(x，y)是通过从图1A中的实线减去图1A中的虚线而获得的、由图1B中的实线所指示的分量。通过使用以这种方式计算的校正分量并且通过计算表达式(1)，由图1A中的实线示出的输入图像f(x，y)可以如图1A中的点线所示那样被锐化。

接下来，通过应用非锐化掩模处理来锐化由光学系统产生的衍射、像差等的影响而劣化的图像。通过使用光学系统的摄像而生成的输入图像f(x，y)可以由以下表达式(4)表示，其中I(x，y)是没有由光学系统造成的劣化的图像(原始图像)，psf(x，y)是光学系统的PSF：

f(x，y)＝I(x，y)*psf(x，y) (4)

现在将对通过旋转对称地模糊原始图像I(x，y)而获得的输入图像f(x，y)给出描述。当光学系统是旋转对称同轴光学系统时，与图像的中心相对应的PSF是旋转对称的。因此，通过将旋转对称的USM应用于图像的中心，可以使输入图像f(x，y)锐化并使其更接近原始图像I(x，y)。由于校正量是输入图像与通过使用非锐化掩模使输入图像模糊而获得的图像之间的差值，因此，非锐化掩模可以具有更接近psf(x，y)的形状，而不是用于准确校正的简单的平滑滤波器。

例如，假定输入图像由于球面像差而劣化。虽然球面像差影响旋转对称性，但是由于球面像差的影响，诸如高斯滤波器的平滑滤波器具有与PSF不同的分布形状。因此，为了以旋转对称的方式减小模糊效果，可以通过使用光学系统的PSF进行更准确的校正。

因此，本实施例将PSF用于非锐化掩模USM(x，y)。虽然为了简单，在图1A中示出的输入图像f(x，y)具有对称的形状，但图像不必具有对称的形状。即使原始图像I(x，y)具有非对称形状，如果与原始图像I(x，y)进行卷积的劣化函数(对应于psf(x，y))是旋转对称的，则旋转对称的非锐化掩模可以用于锐化。

接下来，对通过旋转非对称地模糊原始图像I(x，y)获得的输入图像f(x，y)进行描述。即使当摄像光学系统是旋转对称同轴光学系统时，在图像的偏心位置的PSF通常也具有非对称形状。图2A和图2B示意性地示出了在xy平面上的摄像光学系统的PSF。图2A示出了轴上PSF，而图2B示出了离轴PSF。

例如，当原始图像是理想点图像时，输入图像f(x，y)根据表达式(4)成为光学系统的PSF。如果在与图2B相对应的视角处存在理想点图像，并且原始图像由于摄像光学系统的PSF的影响而劣化，输入图像变为如图2B所示的模糊图像。将给出使用非锐化掩模处理来锐化非对称模糊图像的描述。

图3A至图3C和图4A至图4C示意性地示出了对非对称劣化图像的锐化处理。图3A至图3C示出了旋转对称的非锐化掩模的使用，并且图4A至图4C示出了用于处理的旋转非对称的非锐化掩模的使用。在图3A至图3C和图4A至图4C中，纵坐标轴和横坐标轴与图1类似地进行定义。

在图3A和图4A中，实线表示图2B中的y轴方向上的截面，并且点线表示通过非锐化掩模模糊的输入图像。高斯滤波器被应用于图3A至图3C中的旋转对称的非锐化掩模，并且光学系统的PSF被应用于图4A至图4C中的旋转非对称的非锐化掩模。

图3B和图4B中的各个绘制了输入图像与用相应的一个非锐化掩模模糊的输入图像之间的差值，并且示出了校正分量。在图3A和图4A中，将输入图像扩展的一侧定义为Y轴的正侧。

在图3A中，输入图像和原始图像之间的差值在实线的峰值位置的正侧较小，并且输入图像和原始图像之间的差值在负侧较大。因此，图3B的校正分量在中心峰值位置的负侧的极值小于在中心峰值位置的正侧的极值。

如通过将图3A和图3B中的曲线相互比较所理解的，正侧的校正量较小，负侧的校正量较大。因此，即使利用使用表达式(4)的锐化也不能校正非对称模糊。图3C示出了当m＝1时的锐化后结果。尽管在图3A中对实线进行了锐化，但是负侧的值比正侧的值小得多，并且可以理解，非对称模糊没有被校正。

这里，假设通过改变表达式(1)中的调整系数m而不改变非锐化掩模，来调整校正量。当增加调整系数m的值以充分校正图像的正侧时，图像的负侧变得过度校正(下冲)，并且当调整调整系数m的值以使图像负侧的校正量适当时，图像正侧的校正不足。

因此，使用旋转对称的非锐化掩模的非锐化掩模处理难以锐化非对称模糊或劣化的图像。即使当使用高斯滤波器以外的旋转对称滤波器作为旋转对称非锐化掩模时，类似地也会发生该问题。

另一方面，在图4A中，在实线的峰值位置的正侧，输入图像与原始图像之间的差值大，而在负侧，输入图像与原始图像之间的差值小。换句话说，该趋势与图3A中的相反。因此，图4B中的校正分量在中心峰值位置的正侧的极值也小于在中心峰值位置的负侧的极值。

通过对由图4A中的实线表示的输入图像应用图4B所示的校正分量，使在峰值位置的正侧校正量较大(具有较大的模糊量)，而在负侧校正量较小(具有较小的模糊量)。

在这种非对称的非锐化掩模中，输入图像的模糊分布和校正分量的校正量分布是平衡的，从而不太可能发生在应用旋转对称的非锐化掩模时成为问题的过校正或校正不足。图4C示出了在以m＝1锐化之后的结果。图4A中的实线被锐化，并且在图3C中出现的在负侧的凹陷得到改善。此外，与旋转对称的非锐化掩模相比，过校正的可能性较小，从而可以将表达式(4)中的调整系数m的值保持相对较大，并且可以进行减小非对称性的锐化。

另外，为了进一步提高校正精度，需要由摄像光学系统的PSF显著模糊的部分被非锐化掩模极大地模糊。因此，当输入图像f(x，y)相对于原始图像I(x，y)被旋转非对称地模糊时，光学系统的PSF可以用于非锐化掩模。在这种情况下，锐化滤波器(在锐化处理中将与输入图像进行卷积的系数矩阵)是其分量旋转非对称分布的二维滤波器。锐化滤波器包括在锐化处理中与输入图像进行卷积的系数矩阵，并且锐化滤波器的分量包括矩阵分量(抽头值)。

光学系统的PSF对于包括光学系统的焦距、光学系统的F数以及物距的各个摄像条件是不同。PSF还根据输入图像中的位置而不同。因此，可以针对输入图像中的各个位置和各个摄像条件改变锐化滤波器。

根据表达式(1)和(3)，锐化处理后的图像g(x，y)可以由以下表达式(5)表示：

g(x，y)＝f(x，y)+m×f(x，y)*{δ(x，y)-USM(x，y)} (5)

下面的表达式(6)针对输入图像f(x，y)总结了表达式(5)的右侧。

g(x，y)＝f(x，y)*{δ(x，y)+m×(δ(x，y)-USM(x，y))} (6)

在表达式(6)中，右侧括号中的项对应于锐化滤波器。

[图像恢复处理]

接下来，描述与锐化处理不同的图像恢复处理的概况。建立以下表达式(7)，其中，g(x，y)是拍摄图像(劣化图像)，f(x，y)是原始图像，h(x，y)是作为OTF的傅立叶对的PSF：

g(x，y)＝h(x，y)*f(x，y) (7)

在此，*表示卷积(卷积积分，乘积之和)，并且(x，y)是拍摄图像上的坐标。

当将表达式(7)进行傅立叶变换并转换为频率平面上的显示形式时，获得由各个频率的乘积表示的表达式(8)。

g(u，v)＝H(u，v)·F(u，v) (8)

这里，H表示通过对PSF(h)进行傅立叶变换而获得的OTF，并且G和F分别通过对劣化图像g和原始图像f进行傅立叶变换而获得。(u，v)是二维频率平面或频率上的坐标。

为了从拍摄的劣化图像g获得原始图像f，可以如下面的表达式(9)那样通过光学传递函数H来划分两侧。

G(u，v)/H(u，v)＝F(u，v) (9)

然后，对F(u，v)或G(u，v)/H(u，v)进行傅立叶逆变换并返回到实际表面，从而获得原始图像f(x，y)作为恢复图像。

在R是H^-1的傅立叶逆变换的情况下，如以下表达式(10)那样，通过对实际表面的图像进行卷积处理，能够类似地获得原始图像f(x，y)。

g(x，y)*R(x，y)＝f(x，y) (10)

在此，R(x，y)被称为图像恢复滤波器。当图像是二维图像时，通常，图像恢复滤波器R也是具有与图像的各个像素相对应的抽头(单元)的二维滤波器。此外，通常，图像恢复滤波器R的抽头数(单元数)越大，恢复精度变得越高。因此，根据所需的图像质量、图像处理能力、像差特性等来设置可行的抽头数。由于图像恢复滤波器R需要至少反映像差特性，因此它与在水平方向和垂直方向上分别具有大约三个抽头的常规边缘增强滤波器不同。由于基于OTF设置图像恢复滤波器R，因此可以高精度地校正振幅分量的劣化和相位分量的劣化。

由于实际图像包含噪声分量，因此通过计算OTF的倒数而创建并且如上所述使用的图像恢复滤波器R可以随着劣化图像的恢复而显著地放大噪声分量。这是因为提高了光学系统的MTF(振幅分量)，以便在将噪声振幅添加到图像的振幅分量的所有频率上使MTF(振幅分量)恢复为1。MTF(其是由于光学系统的振幅劣化)返回到1，但同时噪声功率谱也增加，结果，噪声根据MTF增加的程度(恢复增益)被放大。

因此，当包括噪声时，不能获得良好的图像作为要观察的图像。这由以下表达式(11-1)和(11-2)表示。

G(u，v)＝H(u，v)·F(u，v)+N(u，v) (11-1)

G(u，v)/H(u，v)＝F(u，v)+N(u，v)/H(u，v) (11-2)

在此，N是噪声分量。对于包含噪声分量的图像，存在根据图像信号与噪声信号之间的强度比SNR来控制恢复程度的方法，例如由以下表达式(12)表示的维纳滤波器。

在此，M(u，v)是维纳滤波器的频率特性，|H(u，v)|是OTF的绝对值(MTF)。该方法在MTF较小时减小各个频率的恢复增益(恢复度)，而在MTF较大时增大恢复增益。通常，摄像光学系统的MTF在低频侧较高，而在高频侧较低，因此该方法显著降低了图像的高频侧的恢复增益。

因此，可以通过对基于摄像光学系统的OTF的逆函数设计的函数进行傅立叶逆变换来获得图像恢复滤波器。适用于根据本实施例的锐化滤波器的图像恢复滤波器是适当可变的，例如，可以使用上述维纳滤波器。维纳滤波器在被使用时可以在真实空间中创建图像恢复滤波器，该真实空间实际上通过对表达式(12)进行傅里叶逆变换来对图像进行卷积。即使在一种摄像状态下，OTF也根据摄像光学系统的像高(图像位置)而改变。因此，图像恢复滤波器在根据像高对其进行修改之后进行使用。

接下来，当像圆不包含整个图像传感器时，进行锐化处理。像圆是来自被摄体面的光通过摄像光学系统在摄像面上形成图像的范围，并且是相对于光轴旋转对称的光学系统中的圆。像圆的大小可以用半径表示。例如，可以将周边光量比率等于或大于预定值的范围或摄像性能等于或大于预定值的范围定义为像圆。通常，摄像光学系统被设计成使得像圆的半径覆盖图像传感器的整个表面。换句话说，对于矩形图像传感器，将摄像光学系统设计为使得像圆半径大于图像传感器的对角线长度。

如上所述，由于可以通过数字照相机中的图像处理来校正失真，因此可以将摄像光学系统的像圆设计为不包含整个图像传感器。除非校正失真，否则所拍摄的图像具有像圆外部的区域，因此存在不以低亮度摄像的区域。因此，可以输出校正了失真的图像，从而仅包括所拍摄图像上的像圆内的区域。

另一方面，由于拍摄图像的模糊因失真校正处理而改变，因此可以在失真像差校正之前进行使用光学信息的锐化处理。现在，假设在锐化处理中所拍摄的图像具有在像圆外部的区域。然后，由于在像圆的外部没有光形成，因此没有定义PSF和OTF。另一方面，当考虑光学信息的数据量和锐化滤波器的计算负荷时，可以在摄像面上的离散图像位置处获得光学信息和基于光学信息的锐化滤波器。

图5说明了用于生成锐化滤波器的图像(或画面)位置与像圆之间的关系。在图5中，用点指示针对所拍摄的图像(摄像区域)获得锐化滤波器的图像位置，并且用虚线画出像圆。因为白点位于像圆内，所以在白点的图像位置处光学信息可用，但是因为黑点位于像圆外，所以在黑点的图像位置处光学信息不可用。如果未定义光学信息，则必须根据假定存在光学信息并且不能执行锐化处理的图像处理装置的数据存储方法来改变数据存储方法。如果未在像圆外进行锐化处理，则需要针对诸如变焦、F数和聚焦位置的各个摄像条件获取像圆半径。

此时，由于在像圆的端部切换处理，所以除非精确地获得像圆半径并且可以在整个摄像区域上进行锐化处理，否则锐化的图像变得不自然。然而，难以准确地获得由于摄像条件和制造误差而改变的像圆半径。另外，必须在没有白点或黑点的图像位置处内插(interpolation)并获取光学信息、锐化滤波器和锐化图像中的至少一个。如果在黑点的图像位置处未定义光学信息，则即使在像圆内，也无法在需要用黑点的图像位置进行内插的图像位置处执行锐化处理。类似地，在针对摄像条件保存离散数据的同时进行内插的情况下，在用于进行锐化处理的图像位置位于像圆外部的摄像条件下，无法进行内插。由于图像位置和需要针对摄像条件进行内插的图像位置位于像圆内，因此需要考虑内插之后的锐化效果。

接下来，描述根据本实施例的摄像装置(图像摄取装置)的构造。现在参考图6，将给出根据本实施例的摄像装置100的描述。图6是示出摄像装置100的构造的框图。在摄像装置100中安装了用于进行根据本实施例的锐化处理的图像处理程序。根据本实施例的锐化处理由摄像装置100中的图像处理器(图像处理装置)104执行。

摄像装置100包括光学系统(摄像光学系统)101和摄像装置主体(照相机主体)。光学系统101具有孔径光阑(或光圈)101a和聚焦透镜101b，并且与照相机主体集成。本发明不限于本实施例，并且还可以应用于光学系统101可从照相机主体拆卸并可附装到照相机主体的摄像装置。光学系统101除了诸如透镜的具有折射表面的光学元件之外，还可以包括具有衍射表面的光学元件、具有反射表面的光学元件等。

图像传感器102包括CCD传感器或CMOS传感器，并且通过对经由光学系统101形成的被摄体图像(由光学系统101形成的光学图像)进行光电转换来生成拍摄图像(图像数据)。换句话说，通过图像传感器102的光电转换将被摄体图像转换为模拟信号(电信号)。A/D转换器103将从图像传感器102输入的模拟信号转换为数字信号，并将数字信号输出到图像处理器104。

图像处理器104对数字信号进行预定处理并进行根据本实施例的锐化处理。图像处理器104包括摄像条件获取器(信息条件获取单元)104a、信息获取器(信息获取单元)104b、处理器(处理单元)104c和校正器(校正单元)104d。摄像条件获取器104a从状态检测器107获取摄像装置100的摄像条件。摄像条件包括F数(光圈值)、摄像距离(聚焦位置)、变焦镜头的焦距等。状态检测器107可以直接从系统控制器110获得摄像条件，或者可以从光学系统控制器106获得摄像条件。

存储器108存储PSF或用于生成PSF所需的数据。存储器108包括例如ROM。由图像处理器104处理的输出图像以预定格式存储在图像记录介质109中。显示单元105包括液晶监视器或有机EL显示器，并且显示通过对经过锐化处理的图像进行预定显示处理而获得的图像。然而，显示在显示单元105上的图像不限于本实施例，并且可以将经过用于高速显示的简单处理的图像显示在显示单元105上。

系统控制器110控制摄像装置100。光学系统控制器106基于来自系统控制器110的指令，进行对光学系统101的机械驱动。光学系统控制器106控制孔径光阑101a的孔径直径以具有预定的F数。光学系统控制器106通过未示出的自动聚焦(AF)机构或手动聚焦机构来控制聚焦透镜101b的位置，以根据物距进行聚焦。不必根据摄像装置100的规格执行诸如光圈101a的孔径直径控制和手动聚焦的功能。

诸如低通滤波器和红外截止滤波器的光学元件可以设在光学系统101与图像传感器102之间，但是在创建锐化滤波器时必须考虑在使用时影响光学特性的元件，例如低通滤波器。红外截止滤波器还会影响各个RGB通道的RSF，特别是R通道的PSF，它是光谱波长的PSF的整数值，因此在创建锐化滤波器时需要加以考虑。因此，可以根据是否存在低通滤波器或红外截止滤波器来改变锐化滤波器。

图像处理器104包括ASIC，并且光学系统控制器106、状态检测器107和系统控制器110中的各个均包括CPU或MPU。另外，图像处理器104、光学系统控制器106、状态检测器107和系统控制器110中的一个或更多个可以由相同的CPU或MPU共享。

现在将具体描述根据各个实施例的由图像处理器104进行的锐化处理。

第一实施例

现在将给出根据第一实施例的锐化处理的描述。图7是根据本实施例的锐化处理的流程图。根据本实施例的锐化处理主要由图像处理器104中的各个组件基于来自系统控制器110的指令来执行。可以将图7的流程图实现为用于使计算机执行各个步骤的功能的程序。这类似地应用于以下流程图。在本实施例中，光学系统(摄像光学系统)101的像圆不包含图像传感器102的一部分。因此，输入图像具有在像圆外部的区域。在本发明中，将周边光量比率为5％以下的位置视为位于像圆的外部。然而，根据摄像光学系统和摄像装置的设计，可以适当地改变像圆外部的周边光量的比率。

在描述本实施例中的流程图之前，现在将参考图8A和图8B给出根据本实施例的生成(获取)锐化滤波器的方式的描述。图8A和8B说明了生成锐化滤波器的方式。图8A示出了生成锐化滤波器的输入图像上的位置。图8A中的白点和黑点指示生成锐化滤波器的输入图像上的位置。本实施例在离散地布置在输入图像上的81个位置处基于光学系统101的光学特性来生成锐化滤波器。通过对所生成的锐化滤波器进行线性内插等，可以在输入图像上的任意位置处生成锐化滤波器。适当的锐化滤波器可应用于输入图像的任意位置，同时减少了用于生成锐化滤波器的处理负荷。

图8A设置生成锐化滤波器的9×9＝81个位置，但是可以进一步减少位置以进一步减小处理负荷，或者可以改变位置以进一步提高校正精度。可以针对图8A中的白点的各个点直接获取光学特性以生成锐化滤波器，但是也可以通过内插生成光学特性和锐化滤波器。图8B示出了通过内插生成各个位置处的光学特性的示例。

首先，在图8B中的黑点和灰点的位置处获得光学特性。虚线是摄像光学系统的像圆，灰点位于获得第二光学信息的位置处，黑点位于获得第一光学信息的位置处。通常，光学系统的PSF相对于光轴旋转对称，并且光学特性也相对于光轴旋转对称。利用该特性，在图8B中，获取在具有距输入图像的中心的不同像高的多个位置(由黑点和灰点指示的10个位置)处的光学特性。当它们绕输入图像的中心旋转时，通过内插生成与各个白点相对应的位置处的光学特性。然后，基于各个位置的光学特性在各个位置获得锐化滤波器。从而，不必在各个位置都获取光学特性，从而可以减少处理负荷和数据量。这里，通过根据10个点的光学特性的内插来获得81个点的光学特性，但是可以通过获得10个点的光学特性并且然后通过对锐化滤波器进行内插来获得81个点的锐化滤波器。

最初，在图7的步骤S101中，图像处理器104获取由摄像装置100中的图像传感器102拍摄的图像作为输入图像。输入图像被存储在存储器108中。图像处理器104可以获得存储在图像记录介质109中的图像作为输入图像。

接下来，在步骤S102中，摄像条件获取器104a获取拍摄输入图像时的摄像条件。摄像条件包括焦距、光学系统101的F数、摄像距离等。在光学系统101可更换地安装在照相机主体上的摄像装置的情况下，摄像条件还包括镜头ID和照相机ID。摄像条件获取器104a可以直接从摄像装置100获取摄像条件，或者可以从附加到输入图像的信息(诸如EXIF信息)获取摄像条件。

接下来，在步骤S103中，信息获取器104b从存储器108获取光学系统101的光学特性(光学信息)。在本实施例中，光学特性包括在图8B中的黑点和灰点位置处的PSF。可替代地，可以获取诸如与PSF对应的OTF的光学特性，或者近似代表PSF或OTF的函数的系数数据。光学特性(光学信息)除了像圆中的光学信息(第二光学信息)以外，还包括以伪方式生成的像圆外的光学信息(第一光学信息，伪光学信息)。

这里，“伪”不是基于光学系统(摄像光学系统)101或摄像装置100的光学特性所确定的图像位置处的光学信息，而是要用于后续处理的形式信息。实际上，由于在像圆外部未定义光学信息，因此任何定义光学信息的尝试都将提供伪光学信息。通过包括伪光学信息，可以以与当像圆包含图像传感器102的整个区域时的处理流程相同的处理流程来执行后续处理。

本实施例可以通过在由图8B中的灰点指示的第二光学信息中复制具有最高像高的光学特性来生成伪光学信息。由于没有对被摄体摄像，因此在像圆外没有锐化处理的效果。另一方面，由于第二光学信息仅以离散的像高被存储，因此存在在像圆内并且高于第二光学信息中的最大像高的位置的像高侧。在这种情况下，可以将基于伪光学信息(第一光学信息)和第二光学信息之间的内插的锐化处理应用于对被摄体摄像的位置。由于伪光学信息被作为第二光学信息中具有最大像高的光学特性的复制，因此可以执行减少了由于光学特性的内插而引起的诸如下冲的不利影响的锐化处理。

这里，例如，由于在像圆外不需要锐化处理，因此，如果将伪光学信息设置为无像差信息，则在对光学特性进行内插的图像位置处的光学特性与实际的光学特性显著不同。结果，发生诸如下冲的不利影响，或锐化效果变得不足。除了不需要锐化处理的事实之外，当基于第二光学信息应用具有锐化效果的滤波器时，在像圆外噪声被放大。然而，在像圆的外部使用基于第二光学信息的伪光学信息改善了锐化效果，同时在需要在第一光学信息与第二光学信息之间进行内插的区域中抑制了不利影响。

这里，通过从第二光学信息复制来生成伪光学信息。然而，例如，可以通过根据第二光学信息中的多个高光学像高的外插(extrapolation)来生成伪光学信息。它可以通过对具有最高像高的光学特性进行降低摄像性能的处理(例如模糊处理)来生成。通常，由于在高像高侧上摄像性能通常降低，因此通过使用摄像性能比第二光学信息低的光学特性作为第一光学信息，可以改善内插位置处的实际光学性能。在某些情况下，可以获得近似特性的伪光学信息。

尽管本实施例基于预先存储的第二光学信息来生成第一光学信息，但是用于生成第一光学信息的第二光学信息不限于存储在摄像装置100或镜头装置(光学系统101)中的第二光学信息。换句话说，在比存储在诸如存储器108的存储单元中的图像位置更多的图像位置处获得像圆内的光学特性(第二光学信息)，并且可以如上所述从部分位置生成第一光学信息。从而，可以在更靠近像圆的边界的位置处基于第二光学信息生成第一光学信息。

接下来，在步骤S104中，在步骤S103中获取的光学特性相对于输入图像的中心旋转的同时，处理器104c通过内插在与图8A中的各个白点相对应的位置处生成光学特性。接下来，在步骤S105中，处理器104c根据与在步骤S104中获取的各个白点相对应的位置的光学特性和表达式(6)来获取锐化滤波器。由于在输入图像中的各个位置处光学特性(PSF)不同，因此应用于输入图像中各个位置的各个锐化滤波器不同。

接下来，在步骤S106中，处理器104c基于在步骤S105中获取的锐化滤波器，对输入图像执行锐化处理。换句话说，处理器104c通过使锐化滤波器与输入图像进行卷积来锐化输入图像。接下来，在步骤S107中，校正器104d校正在步骤S106中经过锐化处理的输入图像中的失真。接下来，在步骤S108中，图像处理器104将经过失真校正的输入图像生成为输出图像，并将其存储在图像记录介质109中。由此，完成了根据本实施例的整个图像处理。

在本实施例中，信息获取器104b从摄像装置100中的存储器108获取光学特性，但是本发明不限于本实施例。例如，在光学系统101可从照相机主体拆卸和附装到照相机主体的摄像装置中，信息获取器104b通过通信将包括光学系统101的镜头装置中的存储器中存储的光学特性发送到摄像装置。在这种情况下，如图6所示，镜头装置(光学系统101)包括：存储器121和通信器122，存储器121存储基于光学系统101的像圆中的第二光学信息生成的第一光学信息，通信器122用于将第一光学信息发送至照相机主体。

第一光学信息可以在制造期间基于设计值或单独测量信息来生成，并且预先存储在摄像装置或镜头装置中。由此，可以在摄像期间不生成第一光学信息，并且可以减少计算负荷。当像圆包含图像传感器102的整个区域时，可以以与第二光学信息的格式相同的格式来存储第一光学信息。从而，处理器104c在输入图像的摄像条件下，无论光学系统101的像圆是否包含图像传感器102的整个区域，处理器104c都可以执行处理。光学系统101可拆卸地附装到照相机主体的摄像装置可以不依赖于所附装的光学系统101的像圆所引起的差异而执行处理。因此，不需要为了支持像圆不包含图像传感器102的整个区域的光学系统而改变处理器104c的构造。

光学信息可以预先存储在服务器以及摄像装置或镜头装置中的存储器中。在这种情况下，如果需要，可以通过通信将光学信息下载到摄像装置或镜头装置。即使在这种情况下，通过获取预先生成的光学信息，不需要在摄像装置中生成光学信息，因此可以减少计算负荷。

可以根据位置是否在像圆外部来生成第一光学信息。基于在设计或制造期间通过模拟或测量获得的光学特性来生成光学信息。例如，在模拟中，即使在到达像面的光量极少或没有摄像时，也可以输出光学特性。在测量中，当到达像面的光量小时，不能高精度地获得光学特性。因此，可以基于定义像圆的预定规则来确定位置是否在像圆的外部，并且仅当确定位置在像圆的内部时，才可以通过模拟或测量来生成第二光学信息。在生成第二光学信息之后，可以基于第二光学信息在被确定为在像圆外部的摄像位置处生成第一光学信息。

可以在预定方向上生成第一光学信息，可以根据与第一光学信息相关联的输入图像中的位置来进行旋转处理，并且可以在旋转处理之后基于第一光学信息进行锐化处理。可以根据具有相同方向的第二光学信息生成第一光学信息。方向是指预定旋转方向或者子午方向可以是预定方向。相同方向是指子午方向是相同方向。本实施例根据由图8B中的灰点所指示的位置处的第二光学信息生成由黑点所指示的位置处的第一光学信息，从而基于具有相同方向的第二光学信息生成第一光学信息。通过在根据输入图像中的位置进行旋转处理之前生成并存储第二光学信息和第一光学信息，可以容易地根据第二光学信息生成第一光学信息。例如，在尝试根据在图8A中的白点的位置处生成的第二光学信息来生成与图8A中黑点的位置相对应的第一光学信息时，由于方向不同，因此难以通过复制或外插来生成第一光学信息。另一方面，可以通过利用光学系统101的旋转对称性根据具有相同方向的第二光学信息生成第一光学信息来唯一地生成第一光学信息。

在光学系统101的不同摄像条件下，用于生成或存储第一光学信息的图像位置和像高可以在像圆内。为了高精度地存储预定数据量的光学信息，关于不必要的图像位置的信息量可能很小。另一方面，存储针对各个摄像条件在不同的图像位置和不同的像高处的光学信息需要单独存储关于图像位置和像高的信息，这导致更大的数据量和更复杂的处理。另一方面，当生成或存储在特定摄像条件下在像圆内但在不同摄像条件下在像圆外的图像位置或像高的第一光学信息时，可以在不使处理复杂化的情况下减少数据量。换句话说，当摄像光学系统的变焦位置、F数和聚焦位置中的至少一个不同时，在与第一光学信息相关联的输入图像中的位置位于像圆内(或根据镜头状态在像圆内)。

输入图像的已经基于第一光学信息和第二光学信息进行了锐化处理的部分区域可以被包括在校正器104d已经校正了失真的输出图像中。在本实施例中，使用第二光学信息和第一光学信息两者锐化的区域是接近像圆的边界的区域。在输出图像中包括该区域可以以利用像圆的有效区域的视角拍摄图像。

由于基于第一光学信息的锐化处理使用伪光学信息，因此可能发生诸如下冲的不利影响。另外，由于在像圆的外部没有形成被摄体图像，因此即使不需要锐化也根据锐化处理的增益来放大噪声。因此，基于第一光学信息的锐化处理可以减小增益。换句话说，处理器104c进行基于第一光学信息的第一锐化处理和仅基于第二光学信息的第二锐化处理，并且第一锐化处理中的第一增益小于第二锐化处理中的第二增益。

例如，可以通过在锐化处理中增加加权相加率(输入图像与输出图像的比率)来减小增益。当加权相加率被设置为80％时，通过对80％的输入图像和20％的校正图像进行加权和平均而获得的图像成为输出图像。这等效于将校正后图像和校正前图像之间的差异的20％加到校正前图像，并且可以这样计算。换句话说，可以调整表达式(6)中的调整系数m的值。因此，可以通过确定加权相加率并进行锐化处理来降低锐化处理的锐化度(增益)。本实施例描述了通过加权相加率(或调整系数m)来控制增益的示例，但是本发明不限于本实施例，可以使用其他的增益控制方法。

信息获取器104b可以获取关于像圆的信息，例如像圆半径。通过获得像圆半径，可以如上所述根据图像上的像圆的边界位置来控制增益。此外，信息获取器104b可以获取用于识别第一光学信息和第二光学信息的识别信息。通过与光学信息一起获得第一光学信息和第二光学信息的识别信息，可以如上所述地控制增益。

本实施例在步骤S103中获取光学特性，在步骤S104中旋转光学特性，并且在步骤S105中获取锐化滤波器，但是本发明不限于本实施例，只要步骤S106基于光学特性进行锐化处理即可。例如，步骤S104和S105可以彼此交换，可以在根据光学特性获得锐化滤波器之后旋转锐化滤波器，并且可以计算白点位置处的锐化滤波器。可替代地，例如，可以从光学特性中获取用于获取锐化滤波器的中间数据，并且可以在旋转中间数据之后在步骤S105中从中间数据中获取锐化滤波器。在本实施例中，第一光学信息是旋转非对称的，但是本发明不限于本实施例。

本实施例假设光学系统101的像圆不是包含图像传感器102的一部分，但是可以想到的是，光学系统101的像圆根据摄像条件，包含图像传感器102的整个区域。在这种情况下，可以基于在步骤S102中获取的摄像条件来确定光学系统101的像圆是否包含图像传感器102的整个区域。如果确定光学系统101的像圆包含图像传感器102的整个区域，则可以进行仅使用第二光学信息的锐化处理，从而可以在步骤S103中仅获取第二光学信息。

第二实施例

接下来，描述根据第二实施例的锐化处理。图9是根据本实施例的锐化处理的流程图。根据本实施例的锐化处理主要由图像处理器104中的各个组件基于来自系统控制器110的指令来执行。在本实施例中，光学系统(摄像光学系统)101的像圆不包含图像传感器102的一部分。因此，输入图像具有像圆外部的区域。本实施例与第一实施例的不同之处在于，本实施例通过图像处理器(图像处理装置)104生成第一光学信息，而第一实施例获取先前存储在诸如存储器108的存储装置中的第一光学信息。图9中的步骤S201、S202以及S205至S209分别与图7的步骤S101、S102以及S104至S108相同，因此将省略其描述。

在步骤S203中，信息获取器104b从存储器108获取光学系统101的光学特性(光学信息)。在本实施例中，与第一实施例不同，光学特性(光学信息)仅包括像圆中的光学信息(第二光学信息)，并且不包括以伪方式生成的像圆外部的光学信息(第一光学信息)。由于根据本实施例的光学系统101的像圆不包含图像传感器102的整个区域，因此在像圆包含图像传感器102的整个区域的光学系统中，不能获得对于用于获取光学信息的至少一个图像位置的光学信息。

接下来，在步骤S204中，处理器104c基于在步骤S203中获取的第二光学信息来生成第一光学信息。更具体地，处理器104确定尚未获取光学信息的图像位置在像圆外部，并且通过在最接近的位置复制第二光学信息来生成第一光学信息。在步骤S205中及后续步骤中，图像处理器104生成输出图像并完成与第一实施例类似的图像处理。本实施例可以通过在摄像装置中生成第一光学信息而无需预先存储第一光学信息来减少光学信息的数据量。

各个实施例已经描述了使用PSF作为锐化处理的非锐化掩模处理，但是本发明不限于这些实施例。锐化处理可以是其他处理，例如不使用PSF的非锐化掩模处理或边缘增强处理，只要该处理基于光学系统101的光学特性使用锐化滤波器即可。锐化处理可以是由维纳滤波器代表的图像恢复处理或者由RL方法代表的迭代图像恢复处理。

输入图像可以从摄像装置输出到与摄像装置分开配设的图像处理装置，并且图像处理装置可以进行图像处理。在这种情况下，除了摄像条件信息之外，还可以将包括光学信息的校正所需的信息附加到输入图像。可以通过通信将摄像条件信息和校正信息直接或间接地从摄像装置传递到图像处理装置，而不是附加到输入图像。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中心处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中心处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种图像处理装置，包括：

信息获取单元，其被构造为获取在摄像光学系统的像圆外部的第一光学信息；以及

图像处理单元，其被构造为基于所述第一光学信息，对通过使用摄像光学系统的摄像而生成的输入图像进行锐化处理，

其特征在于，所述第一光学信息是基于摄像光学系统的像圆内的第二光学信息生成的光学信息。

2.根据权利要求1所述的图像处理装置，其特征在于，所述第一光学信息是预先存储在存储器中的光学信息。

3.根据权利要求1所述的图像处理装置，其特征在于，所述第一光学信息是根据是否是像圆外部的光学信息而生成的光学信息。

4.根据权利要求1所述的图像处理装置，其特征在于，信息获取单元获取通过将预定方向设置为子午方向而生成的所述第一光学信息，

其中，图像处理单元根据与所述第一光学信息相关联的输入图像中的位置对所述第一光学信息进行旋转处理，并在旋转处理之后基于所述第一光学信息进行锐化处理。

5.根据权利要求1所述的图像处理装置，其特征在于，所述第一光学信息是通过将预定方向设置为子午方向，基于第二光学信息生成的光学信息，所述第二光学信息通过将所述预定方向设置为子午方向而生成。

6.根据权利要求1所述的图像处理装置，其特征在于，当摄像光学系统的变焦位置、F数和聚焦位置中的至少一个不同时，与所述第一光学信息相关联的输入图像中的位置位于像圆内。

7.根据权利要求1所述的图像处理装置，还包括校正单元，其被构造为校正在锐化处理之后的输入图像中的失真。

8.根据权利要求1所述的图像处理装置，其特征在于，所述第一光学信息与所述第二光学信息中最大像高处的光学信息相同。

9.根据权利要求1所述的图像处理装置，其特征在于，通过对所述第二光学信息进行外插来生成所述第一光学信息。

10.根据权利要求7所述的图像处理装置，其特征在于，所述图像处理单元基于所述第一光学信息和所述第二光学信息在所述输入图像的至少一部分区域进行所述锐化处理。

11.根据权利要求10所述的图像处理装置，其特征在于，作为输出图像的部分区域并且基于所述第一光学信息和所述第二光学信息进行了锐化处理的区域被包括在校正单元校正了失真的输出图像中。

12.根据权利要求1所述的图像处理装置，其特征在于，所述第一光学信息是所述摄像光学系统的光学传递函数。

13.根据权利要求1所述的图像处理装置，其特征在于，所述第一光学信息是所述摄像光学系统的点扩展函数。

14.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理单元进行基于所述第一光学信息的第一锐化处理和仅基于所述第二光学信息的第二锐化处理，

其中，第一锐化处理中的第一增益小于第二锐化处理中的第二增益。

15.根据权利要求1所述的图像处理装置，其特征在于，所述信息获取单元获取关于所述像圆的信息。

16.根据权利要求1所述的图像处理装置，其特征在于，所述信息获取单元获取用于识别所述第一光学信息和所述第二光学信息的识别信息。

17.一种摄像装置，包括：

图像传感器；以及

根据权利要求1所述的图像处理装置。

18.一种镜头装置，所述镜头装置可附接到摄像装置并且可从摄像装置拆卸，所述镜头装置包括：

摄像光学系统；

存储器，其被构造为存储基于摄像光学系统的像圆内的第二光学信息生成的第一光学信息；以及

通信器，其被构造为将所述第一光学信息发送到摄像装置。

19.一种图像处理方法，包括：

信息获取步骤，获取在摄像光学系统的像圆外部的第一光学信息；以及

处理步骤，基于第一光学信息，对通过使用摄像光学系统的摄像而生成的输入图像进行锐化处理，

其中，所述第一光学信息是基于摄像光学系统的像圆内的第二光学信息生成的光学信息。

20.一种非暂时性计算机可读存储介质，其存储有用于使计算机执行根据权利要求19所述的图像处理方法的程序。

Images