CN105657248A - 控制设备及方法、图像处理设备、系统及方法和镜头设备 - Google Patents

Abstract

本发明提供一种控制设备及方法、图像处理设备、系统及方法和镜头设备，其中，该控制设备(103)包括：存储单元(103b)，用于存储包括多个系数数据的第一数据；以及确定单元(103c)，用于基于对通过使用光学系统所拍摄的图像进行图像处理的图像处理设备的信息，根据所述存储单元中存储的第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据，其中，通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

Description

控制设备及方法、图像处理设备、系统及方法和镜头设备

技术领域

本发明涉及一种图像处理系统，该图像处理系统高分辨率并且高质量地校正由摄像光学系统所导致的劣化图像。

背景技术

针对经由摄像光学系统所拍摄的被摄体图像，由于发生在摄像光学系统中的衍射、像差等的影响，从一点发出的光无法会聚到另一点，并且存在微小的扩散。将这样的微小的扩散分布称为点扩散函数(PSF)。由于摄像光学系统的影响，利用PSF对被摄体图像进行卷积来形成所拍摄的图像，因此图像变得模糊，并且图像的分辨率下降。

近来，一般将所拍摄的图像存储为电子数据，并且提出通过图像处理来校正由光学系统所引起的图像的劣化的技术。日本特许4337463号公开了存储滤波器系数来校正图像的劣化以进行图像处理的图像处理方法。日本特开2013-33496号公开了存储用于预定的近似函数以校正图像的劣化的滤波器系数并且对图像的劣化进行补偿的图像处理方法。

然而，在日本特许4337463号所公开的图像处理方法中，在要校正所拍摄的图像的劣化的情况下，需要针对各像素存储光学传递函数的信息(OTF数据)以生成图像恢复滤波器。由于OTF数据是基于摄像元件和摄像光学系统的各信息而计算出的，OTF数据的量极大，因此难以在各设备中存储所有的OTF数据。在日本特开2013-33496号所公开的图像处理方法中，能够减少OTF数据，然而存在如下的可能性：即使针对特定设备进行近似是恰当的，也可能在其它设备中无法获得满意的校正效果。

发明内容

本发明提供了一种控制设备、镜头设备、图像处理系统和控制方法，能够基于进行图像恢复处理的图像处理设备来提供恰当的OTF数据。

本发明还提供一种图像处理设备、图像处理系统和图像处理方法，能够存储恰当的OTF数据以进行图像恢复处理。

作为本发明的一个方面，一种控制设备包括：存储单元，用于存储包括多个系数数据的第一数据；以及确定单元，用于基于对通过使用光学系统所拍摄的图像进行图像处理的图像处理设备的信息，根据所述存储单元中存储的所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据，其特征在于，通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

作为本发明的另一方面，镜头设备包括用于形成被摄体的图像的光学系统和所述控制设备。

作为本发明的另一方面，图像处理系统包括所述控制设备和用于通过使用第二数据来进行图像恢复处理的图像处理设备。

作为本发明的另一方面，一种控制方法，包括以下步骤：输入对通过使用光学系统所拍摄的图像进行图像处理的图像处理设备的信息；以及基于所述图像处理设备的信息，根据存储单元中存储的第一数据，来确定具有比所述第一数据的数据量小的数据量的第二数据，其中，所述第一数据包括多个系数数据，其特征在于，通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

作为本发明的另一方面，一种图像处理设备，包括：输入单元，用于接收包括多个系数数据的第一数据；确定单元，用于根据所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据；以及处理单元，用于通过使用所述第二数据来对通过使用光学系统所拍摄的图像进行图像处理，其特征在于，通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

作为本发明的另一方面，图像处理系统包括所述图像处理设备和用于输出第一数据的控制设备。

作为本发明的另一方面，一种图像处理方法，包括以下步骤：接收包括多个系数数据的第一数据；根据所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据；以及通过使用所述第二数据来对通过使用光学系统所拍摄的图像进行图像处理，其特征在于，通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

根据以下参考附图的典型实施例的说明，本发明的其它特征和方面将变得明显。

附图说明

图1A是第一实施例的图像处理系统的结构图。

图1B是第一实施例的控制设备的框图。

图1C是第一实施例的图像处理设备的框图。

图2是示出第一实施例中的OTF数据的数据传输处理的流程图。

图3是示出第一实施例中的所连接的装置(摄像设备)和最大阶数(order)之间的关系的表的示例。

图4是第二实施例的图像处理系统的结构图。

图5是第二实施例的图像处理系统的序列图。

图6A-6D是第二实施例中的OTF数据的示例。

图7A-7C是示出第二实施例中的MTF和最大增益之间的图。

图8A-8D是与第二实施例中的光圈相对应的OTF数据的示例。

图9A-9B是第二实施例中的参考表和最大增益表的图。

具体实施方式

以下将参考附图来说明本发明的典型实施例。

首先，将说明典型的图像恢复方法。以下表达式(1)成立，其中，在实空间(x,y)中，f(x,y)是利用光学系统而没有劣化的图像，h(x,y)是点扩散函数，g(x,y)是劣化了的图像。

g(x,y)＝∫∫f(X,Y)*h(x-X,y-Y)dXdY…(1)

在对表达式(1)进行傅立叶变换以将实空间(x,y)变换成频率空间(u,v)的情况下，以下表达式(2)成立。

G(u,v)＝F(u,v)*H(u,v)…(2)

在表达式(2)中，F(u,v)、G(u,v)、H(u,v)分别为对f(x,y)、g(x,y)、h(x,y)进行傅立叶变换的结果。根据表达式(2)，以下表达式(3)成立。

F(u,v)＝G(u,v)/H(u,v)…(3)

表达式(3)表示通过在频率空间中对劣化了的图像g(x,y)进行傅立叶变换而得到的结果G(u,v)除以对作为点扩散函数(PSF)的h(x,y)进行傅立叶变换而得到的结果H(u,v)，能够获得对没有劣化的图像f(x,y)进行傅立叶变换而得到的结果F(u,v)。因此，能够通过对F(u,v)进行傅立叶逆变换来获得没有劣化的图像f(x,y)。

然而，实际上，如果进行这样的处理以获得没有劣化的图像f(x,y)，则发生在摄像元件中的噪声被放大，因此无法获得良好的图像。

为了解决上述问题，已知使用由以下表达式(4)表示的Wiener(维纳)滤波器W(u,v)来作为抑制噪声的放大的图像恢复方法。

1/H(u,v)*(|H(u,v)|²/(|H(u,v)²+Γ))…(4)

在表达式(4)中，符号H(u,v)表示光学传递函数(OTF)，符号Γ表示为了降低噪声的放大量的常数。

通过将表达式(4)乘以具有摄像光学系统的频率信息和相位信息的OTF，由于光学系统的衍射或像差而发生的PSF的相位变为0并且频率特性被放大，因此能够获得高分辨率的满意的图像。为了有效地使用表达式(4)，需要获取摄像光学系统的准确的OTF信息。作为获取OTF信息的方法，如果摄像光学系统的设计值信息是可用的，则能够通过基于设计值信息的计算来获取OTF信息。可选地，通过拍摄点光源并对点扩散函数(PSF)进行傅立叶变换，能够获取OTF信息。一般地，照相机所使用的摄像光学系统具有根据图像高度的不同而变化极大的光学性能(诸如F值和像差等)。因此，为了校正被摄体图像的劣化，无法直接在频率空间上一次全部计算表达式(4)，取而代之的是，针对各图像高度，将表达式(4)变换成实空间上的滤波器，以进行校正劣化的处理。

经由摄像光学系统而成像(形成)的光学图像(被摄体图像)由摄像元件自动地取样。由于原来具有连续值的光学图像被转换成离散的值，因此在频率空间中，光学图像包括具有周期采样频率的频率信号。在频率信号分布成超过采样频率的二分之一的情况下，由于周期性导致频率信号重叠，因此无法再现正确的信号。将采样频率的二分之一的值称为奈奎斯特频率。通过fn＝1/(2*b)来表示奈奎斯特频率，其中b为摄像元件的像素间距。

利用摄像光学系统的OTF来表示紧跟摄像元件的前面的光学图像的空间频率特性。在进行图像恢复处理的情况下，需要使图像恢复滤波器的分接头的大小与摄像元件的大小一致，并且另外优选地反映摄像元件的开口特性。前者与利用摄像元件的奈奎斯特频率为最大值的空间频率来切出OTF相对应，而后者与将低通滤波器应用至摄像元件的OTF相对应。因此，生成图像恢复滤波器所使用的OTF信息不是仅由摄像光学系统而唯一确定的，并且还依赖于摄像元件。

第一实施例

首先，参考图1A，将说明本发明第一实施例的图像处理系统。图1A是本实施例的图像处理系统的结构图(整体图)。在图1A中，附图标记101表示基于设计值或测量值来计算摄像光学系统的光学传递函数(OTF)并且存储该光学传递函数的信息处理设备。通过提供用于校正所拍摄的图像的光学传递函数数据(OTF数据)的提供者来设置信息处理设备101。能够在网络102上管理由信息处理设备101所生成的OTF数据。

接着，将详细说明利用信息处理设备101来生成OTF数据的数据生成方法。本实施例说明通过利用拟合处理将摄像光学系统的OTF(设计值或测量值)近似成预定函数来生成和存储系数的方法。在本实施例中，Legendre(勒让德)多项式用作拟合处理中所使用的函数。然而，本实施例不限于此，而例如可以使用诸如Chebyshev(切比雪夫)多项式等的另一正交函数。由以下的表达式(5)来表示Legendre多项式。在表达式(5)中，符号[x]表示不超过x的值的最大整数。

$P_n\left(x\right)\frac{1}{2^n}\underset{k=0}{\overset{\[\frac{n}{2}\]}{\Σ}}{(-1)}^k\frac{(2n-2k)!}{k!(n-k)!(n-2k)!}{x}^{n-2k}\mathrm{...}\left(5\right)$

以z＝f(x,y)的形式来表示OTF。因此，在本实施例中，需要在以下表达式(6)中计算系数a_ij。

$z=\underset{i}{\overset{i=m}{\Σ}}\underset{j}{\overset{j=n}{\Σ}}{a}_{ij}P{\left(x\right)}_{i}P{\left(y\right)}_j\mathrm{...}\left(6\right)$

表达式(6)是正交函数(近似函数)，并且不依赖拟合处理中所使用的阶数(程度(degree))而独立地确定系数a_ij的值。如上所述，利用拟合处理将摄像光学系统的OTF近似成预定函数以生成系数，因此能够减少所需数据的存储量。并且，通过使用由表达式(6)所表示的正交函数的性质，能够以低阶数来中止OTF的处理，以达到能够高精度地充分进行拟合处理的程度，因此能够减少要存储的系数的信息量。

OTF的实部相对于子午线方向和矢状方向中的每一个对称。尽管OTF的虚部的符号(正或负)彼此相反，但OTF的虚部相对于子午线方向对称，并且相对于矢状方向对称。根据这样的对称性，将诸如整个领域中的至少四分之一的区域等的对称区域上的信息作为拟合所要使用的OTF的数据是足够的。在本实施中，基于这样的原因，针对实部和虚部中的每一个，从OTF切出整个领域中的四分之一区域，以包括DC成分，来高精度地进行OTF的拟合处理。

在要求预定的精度的情况下，如果以低阶数来中止拟合处理，则无法重构原始的OTF，因此存在无法进行恰当的校正的可能性。因此，根据原始的OTF的形状的不同，恰当的阶数发生变化。换句话说，在提供者生成OTF数据的情况下，需要通过使用充足的阶数(即，充分高的阶数)来进行近似。优选地，在网络102上管理所生成的数据，以使得对用户一直可用。

关于利用该方法所生成的OTF数据，用户从用户所拥有的信息处理设备103经由网络102访问信息处理设备101，以仅获得所需的光学系统的信息。在本实施例中，用户经由网络102获取存储在信息处理设备101中的OTF数据，并且可选地，OTF数据能够记录在要分配的诸如CD-R和DVD等的记录介质(存储介质)中。

用户通过使用用户所拥有的信息处理设备103来获取要校正的光学系统(摄像光学系统)的OTF信息(OTF数据)。本实施例的图像处理设备例如为用户所拥有的信息处理设备103(信息处理设备103所安装的图像处理应用(未示出))、或者用户所拥有的摄像设备104、105和106。针对各图像处理设备的校正所需要的OTF数据的精度彼此不同的可能性高。因此，为了利用少量的OTF数据(OTF信息的量)来恰当地校正所拍摄的图像，需要针对各图像处理设备发送恰当的(更优选的、最佳的)OTF数据(OTF信息)。在本实施例中，能够将恰当的OTF数据发送至作为图像处理设备而设置的信息处理设备103所安装的图像处理应用以及摄像设备104、105和106中的每一个。例如，如果改变如上所述的图像处理应用的程序，则如上所述的图像处理应用可以应用于任何OTF数据。另一方面，设置在摄像设备104、105和106中的每一个中的图像处理器(本实施例的图像处理设备)一般优先考虑处理速度，因此能够利用硬件来配置并且在很多情况下限制输入数据量。因此，特别是在优先考虑成本的不贵的摄像设备中，可能限定OTF数据的近似系数。

本实施例提供了将所期望的光学系统的OTF数据设置到摄像设备104-106中的每一个的方法。例如，信息处理设备103经由网络102获取信息处理设备101所提供的存储介质中所存储的OTF数据。然后，信息处理设备103将所获得的来自信息处理设备101的OTF数据经由USB或通信(有线通信或无线通信)发送至摄像设备104-106。在本实施例中，信息处理设备103根据所连接的装置(例如，摄像设备104-106中的任何设备)来发送恰当的OTF数据。

接着，参考图1B，将说明信息处理设备(控制设备)103的概况。图1B是信息处理设备103的框图。信息处理设备(控制设备)103包括输入电路(输入单元)103a、存储电路(存储或记录单元)103b、确定电路(确定器或确定单元)103c和输出电路(输出单元)103d。输入电路103a和输出电路103d例如为Wi-Fi(无线保真)通信模块。连接模块不限于用于无线通信的通信电路，而可选地可以是用于有线通信的通信电路。存储电路103b为诸如ROM等的存储器，而确定单元103c为诸如CPU等的处理器。

输入电路103a输入图像处理设备(例如，安装在图像处理设备103中的图像处理应用、或者摄像设备104-106中的每一个)的信息。存储电路103b存储与第一光学传递函数(OTF)有关的数据，即包含多个系数数据的第一数据(例如，经由网络102所获得的OTF数据)。确定电路103c根据存储在存储电路103b中的第一数据，来确定具有比第一数据的数据量小的数据量的第二数据。第二数据与和第二光学传递函数有关的数据、即各摄像设备所用的恰当的OTF数据相对应。输出电路103d将第二数据输出至图像处理设备。通过使用作为具有预定阶数(m阶)的近似函数的系数的多个系数数据，能够再现光学系统的光学传递函数(OTF)。优选地，通过将光学系统的光学传递函数近似成具有预定阶数(预定程度)的近似函数，来确定多个系数数据。优选地，第二数据是与比近似函数的预定阶数小的阶数(n阶(n<m))相对应的系数数据。

接着，参考图2，将说明信息处理设备103传输基于所连接的装置的最佳OTF数据的处理流程。图2是示出OTF数据的数据传输处理的流程图。通过信息处理设备103的控制器(CPU)，基于安装在信息处理设备103中的应用程序的指示，来执行图2中的各步骤。

首先，在步骤S201中，信息处理设备103(控制器)经由网络102从信息处理设备101下载(获取)要校正的光学系统(即、获取所拍摄的图像所使用的摄像光学系统)的OTF数据(恰当的OTF数据)。例如，用户所拥有的数据登录用的应用被安装在信息处理设备103中，并且用户可以通过使用该应用选择需要的光学系统(摄像光学系统)。将在步骤S201中所获得的OTF数据存储在用户的信息处理设备103中所设置的存储器(存储电路)中。

顺次地，在步骤S202中，信息处理设备103(安装在信息处理设备103中的应用)获取连接至信息处理设备103的装置(例如，诸如摄像设备104-106等的信息处理设备)的信息。具体地，信息处理设备103通过使用摄像设备104-106的OTF数据来判定进行校正的图像处理块所能够用的阶数。

顺次地，在步骤S203中，信息处理设备103根据步骤S201中所获得的OTF数据，基于步骤S202中所获得的连接装置信息(最大阶数)，来降低OTF数据的阶数(一部分数据)，并且信息处理设备103生成传输用的OTF数据。换句话说，确定电路103c基于存储在存储电路103b中的第一数据(在步骤S201中所获得的OTF数据)，来确定具有比第一数据的数据量小的数据量的第二数据(传输用的OTF数据)。在这种情况下，作为判定需要的阶数(程度)的方法，信息处理设备103可以采用直接从所连接的装置(摄像设备104-106)接收能够使用的最大阶数的方法。可选地，信息处理设备103可以在信息处理设备103中所设置的存储电路103b中，存储表示所连接的装置与最大阶数之间的关系的表，并且信息处理设备103可以基于该表计算需要的阶数。

图3是示出所连接的装置(作为摄像设备的照相机A-C)与最大阶数之间的关系的表。如图3所示，高级照相机A的最大阶数为20(即，照相机A可用阶数达到20阶)，而便宜的照相机C的最大阶数为5(即，照相机C可用阶数为5阶)。

在步骤S202和S203中针对各连接装置(摄像设备)确定最大阶数(可用的最大阶数)之后，流程进入步骤S204。在步骤S204中，信息处理设备103将通过从在步骤S201中所获得的OTF数据的阶数中提取直到所连接的装置的最大阶数的阶数所获得的OTF数据发送至各装置。在这种情况下，当通过安装在信息处理设备103中的图像处理应用来进行图像恢复处理时，可以通过采用该应用的最大阶数来进行图像恢复处理。在要求与摄像设备的效果类似的效果的情况下，可以将摄像时所获得的最大阶数记录至图像文件中，以基于该值(即，所记录的最大阶数)进行校正处理。

根据图2所示的流程，可以基于单个原始数据来确定与各摄像设备的特性相对应的各数据，并且可以将各数据发送至相应的摄像设备。因此，能够在不将OTF数据的原始数据存储至各摄像设备中的情况下，针对各摄像设备(图像处理设备)进行恰当的校正。

如上所述，作为示例，第一实施例说明了在各信息处理设备103中基于作为所连接的装置的图像处理设备的信息降低OTF数据的阶数以生成传输用的OTF数据的结构，但本发明不限于此。

图1C是示出与图像恢复处理有关的图像处理设备的结构的框图。作为图像处理设备的示例的摄像设备104包括输入电路(输入单元)104a、确定电路(确定器或确定单元)104b、存储电路(存储或记录单元)104c、和处理电路(处理器或处理单元)104d。输入电路104a例如为Wi-Fi通信模块。连接模块不限于用于无线通信的通信电路，而可选地可以为用于有线通信的通信电路，确定电路104b和处理电路104d可以被构成为诸如CPU的处理器，存储电路104c为诸如ROM等的存储器。

例如，信息处理电路103直接将所获得的OTF数据发送至摄像设备104，并且摄像设备104经由输入电路104a接收OTF数据。确定电路104b降低所接收的要存储至存储电路104c中的OTF数据的阶数，并且处理电路104d通过使用所存储的OTF数据来生成图像恢复滤波器，以进行图像恢复处理。

可选地，信息处理设备103可以根据要发送至摄像设备104的阶数来分割所获得的OTF数据。确定单元104b可以在存储电路104c中仅存储来自输入电路104a所接收的OTF数据中的具有适用阶数的OTF数据。

第二实施例

接着，参考图4，将说明本发明的第二实施例的图像处理系统。图4是本实施例的图像处理系统的结构图，并且图4示出能够应用至镜头可更换类型的摄像设备的图像处理系统。

附图标记401表示具备光学系统(摄像光学系统)的可更换镜头(镜头设备)，并且可更换镜头401能够安装至各个摄像设备(例如，摄像设备402、403和404)中。可更换镜头401包括输入电路(输入单元)401a、存储电路(存储或记录单元)401b、确定电路(确定器或确定单元)401c和输出电路(输出单元)401d。这些元件具有与参考图1B所说明的第一实施例中的信息处理设备103的各元件相同的功能。可更换镜头401中的ROM(存储电路401b)存储由光学系统所引起的劣化(光学劣化)的校正所用的OTF数据(OTF信息)。例如，可更换镜头401中的ROM存储包含足以再现以第一实施例所说明的形式中的特性的阶数(程度)的OTF数据。

可更换镜头401能够安装至摄像设备402、403和404的每一个中，并且具体地，摄像设备402、403和404分别表示高端机型、中端机型和普通机型。一般地，与中端机型(摄像设备403)或者普通机型(摄像设备404)相比，高端机型(摄像设备402)具备高规格的硬件配置，并且高端机型在容量和处理速度方面具有高性能。

在本实施例中，与第一实施例的信息处理设备103相同，可更换镜头401被配置为根据摄像设备402-404的系统限制来选择并发送存储在ROM(存储电路)中的OTF数据的阶数。在这种情况下，存在通过使用具有由便宜的摄像设备404(普通机型)所容许的最大阶数的OTF数据无法在可更换镜头401的特定区域中进行充分的校正的可能性。参考图6A-6D，将说明该现象。图6A-6D是本实施例的OTF数据的示例。

如在第一实施例中所述，在OTF数据中存在实部和虚部，并且通过对实部和虚部的组合进行傅立叶逆变换能够重构作为原始点的扩散函数的PSF。图6A和6B分别针对可更换镜头401的某些摄像条件示出OTF数据的实部(原始数据中的OTF的实部)和OTF数据的虚部(原始数据中的OTF的虚部)。图6C和6D分别基于阶数降低的OTF数据来将OTF数据的实部(重构的OTF的实部)和OTF数据的虚部(重构的OTF的虚部)来重构为实际数据。

从图6A与图6C和图6B与图6D之间的比较可以看出，各函数(OTF数据)的形状发生改变。换句话说，基于图6C和6D所重构的PSF从原始PSF改变。在重构后的OTF与重构之前的OTF不同的情况下，通过使用与摄像所使用的光学系统(摄像光学系统)的特性不同的特性来进行校正，因此存在校正后的图像中出现不期望的效果的可能性。具体地，由于边缘发生振动，相应地出现诸如环等的多个边缘，或者边缘的边界极大的沉陷(sink)的诸如黑电平凹陷(depression)等的不利效果出现在图像中。因此，对于无法保持充分的阶数以进行恰当校正的便宜的摄像设备404，还需要采取减少校正量的措施，以减少如上所述的不利效果的影响。

作为减少校正量的措施的示例，存在降低最大增益的方法。首先，将说明最大增益。当生成图像恢复滤波器时，如表达式(4)所表示的Wiener多项式，在生成滤波器时代替使用单纯的OTF的倒数，需要生成考虑诸如Г等的噪声项的滤波器。通过控制Г的值(函数)，可以提供频率区域内的最大增益。将参考图7A-7C来进行说明。

图7A-7C是示出MTF与最大增益之间的图。图7A示出要校正的光学系统的MTF的图。能够利用以下表达式(7)来表示OTF与MTF之间的关系。

OTF(u,v)＝MTF(u,v)e^iPTF(u,v)…(7)

如上所述，MTF(调制传输函数)是OTF的绝对值，而PTF(相位传输函数)是作为空间频率的函数的相位偏移。

图像恢复处理为针对恢复的强度通过将MTF的倒数作为滤波器进行应用(相乘)来进行MTF的恢复的处理。在这种情况下，在高频区域，如图7A所示，信号被极大的减弱。因此，在将MTF的倒数施加至图像的情况下，较大的增益被施加，结果作为输出图像不是优选的。因此，如上所述，一般采用通过如表达式(4)所表示的Wiener滤波器在高频率处插入项以减小增益的生成滤波器的方法。通过针对Wiener滤波器中的Г的函数采取措施，能够调整高频处减小增益的方式。换句话说，通过调整项Г，增益可以被控制为确定恢复的程度的参数(即，图像要恢复至何种程度)。

例如，如图7B所示，关于硬件限制小并且相比能够进行主动恢复处理的摄像设备402，设置项Г以使得最大增益的值变为Max_b。另一方面，如图7C所示，关于硬件限制大并且无法进行主动校正的摄像设备404，设置项Г以使得最大增益的值变为比Max_b小的Max_c。结果，能够降低图像恢复的影响，并且能够降低诸如环和黑电平凹陷等的不利影响。因此，即使在摄像设备404的可用阶数小的情况下，硬件限制大的摄像设备404也能够进行恰当的图像恢复处理。

如上所述，在通过使用对于任何条件都恒定的最大增益来将限制施加至摄像设备404的情况下，还通过低阶数的近似来减小能够充分地再现OTF数据的区域中的增益，因此存在降低需要以上校正影响的可能性。参考图8A-8D，将说明具体示例。

图8A-8D是根据本实施例的光圈的OTF数据的示例。图8A和8B是可更换镜头的光圈处于开放状态的条件下的OTF的实部(开放状态下的OTF的实部)和虚部(开放状态下的OTF的虚部)的OTF数据(重构之前的数据)的示例。图8C和8D是可更换镜头的光圈处于小光圈状态的条件下的OTF的实部(小光圈状态下的OTF的实部)和虚部(小光圈状态下的OTF的虚部)的OTF数据(重构之前的数据)的示例。

在一般的可更换镜头中，在很多情况下，如图8A和8B所示，各种像差发生在开放状态附近，因此OTF具有复杂的形状。另一方面，在光圈的开口变窄的情况下，衍射的影响增大，而其它像差的影响被掩盖。因此，如图8C和8D所示，OTF具有简单的形状(即，简单的像差的形状)。换句话说，关于开放状态下的OTF，需要通过使用高阶数的近似函数进行近似，以再现原始的OTF，而在小光圈状态下低阶数的近似函数能够用来充分地再现原始OTF。

根据该现象，参考图5，将说明即使在摄像设备的硬件限制大的情况下也获得尽可能好的校正效果的方法。图5是本实施例的图像处理系统的序列图，并且图5示出在可更换镜头401被安装至摄像设备402-404中任一的情况下的数据序列。

在可更换镜头401被安装至这些摄像设备(图像处理设备)中任一的情况下，在步骤S501中，针对所连接的摄像设备，可更换镜头401请求与摄像设备的类型有关的信息。例如，可更换镜头401请求与所连接的摄像设备是否能够进行校正处理(即，能够进行图像恢复处理)有关的信息。然后，可更换镜头401判定所连接的摄像设备是否能够进行图像恢复处理，并且可更换镜头401将判定结果发送至所连接的摄像设备。在所连接的摄像设备能够进行图像恢复处理的情况下，针对所连接的摄像设备，可更换镜头401请求与最大阶数有关的信息(最大阶数信息)。

顺次地，在步骤S502中，如果在步骤S501中摄像设备能够响应于来自可更换镜头401的请求而进行图像恢复处理，则摄像设备将与摄像设备所容许的最大阶数有关的信息、即最大阶数信息发送至可更换镜头401。在这种情况下，可更换镜头401经由输入电路401a输入从摄像设备发送的最大阶数信息(摄像设备的信息)。然后，在步骤S503中，可更换镜头401根据在步骤S502中从摄像设备所获得的最大阶数信息，来从存储在可更换镜头401所设置的ROM中的参考表中提取最大增益表，并且可更换镜头401将所提取出的最大增益表发送至摄像设备。换句话说，确定电路401c根据与摄像设备所容许的最大阶数有关的信息来确定第二数据。优选地，确定电路401c根据与最大阶数有关的信息来确定与生成图像恢复滤波器所使用的最大增益(校正强度)有关的信息。优选地，确定电路401c根据摄像时所确定的摄像条件信息来确定第二数据。

参考图9A-9B，将说明存储在可更换镜头401所设置的ROM中的参考表和从参考表中所提取出的最大增益表。图9A和9B是示出参考表和最大增益表的图，并且图9A和9B分别示出参考表和最大增益表的示例。

图9A所示的参考表为根据所连接的摄像设备的阶数来确定要发送的增益表的表，即将摄像设备的阶数与增益表相关联的表。图9A表示例如以10阶作为最大阶数的摄像设备发送作为增益表的“表B”。

图9B所示的最大增益表是表示取决于光圈的最大增益的值的表。如上所述，在使用以10阶作为最大阶数的摄像设备的情况下，参考图9A中的“表B”。因此，关于在光圈值为F5.6时所拍摄的图像，在最大增益为4的条件下生成滤波器。特别地，在摄像设备的硬件限制大的情况下，参考图9A中的“表C”。在这种情况下，处于光圈开放状态下的最大增益为2，而处于小光圈状态下的最大增益为5。换句话说，如参考图8A-8D所说明的，在OTF的再现要求高阶数的区域中，无法进行主动校正，因此，最大增益被设置成2倍以减少不利效果的发生。另一方面，在小光圈状态下，能够以低阶数来再现OTF，因此主动校正是可能的。在本实施例中，说明了光圈的最大增益表，并且还能够生成考虑与光学系统的特征相对应的其它参数(诸如拍摄距离和焦距等的其它摄像条件)的表。

接着，回到图5，将说明摄像时的操作。在步骤S504中，在拍摄图像的情况下，当用户按下快门按钮(S2)时，摄像设备将诸如焦距、拍摄距离和光圈等的摄像条件信息发送到可更换镜头401。在摄像时确定摄像条件信息的情况下，指定OTF。因此，可更换镜头401将从存储在可更换镜头401所设置的ROM中的OTF数据(OTF系数数据)获取到的恰当的OTF数据发送至摄像设备。在这种情况下，发送OTF数据，一直到具有在步骤S502中所获得的摄像设备的最大阶数的数据。接收OTF数据的摄像设备基于安装可更换镜头401时所获取的参考表和最大增益表来确定最大增益(在步骤S503中)，并且摄像设备生成图像恢复滤波器以进行图像恢复。如上所述，通过在可更换镜头401中所设置的ROM中准备一种类型的OTF数据，能够根据可安装的各种类型的摄像设备来进行恰当的图像恢复处理。

可更换镜头401可以被配置为以使得在不进行任何改变的情况下将ROM中所存储的OTF数据发送至摄像设备，并且摄像设备调整OTF数据所包含的阶数，以根据参考表和最大增益表来确定最大增益。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

在如上所述的各实施例中，在重构光学传递函数(OTF)以校正劣化了的图像(所拍摄的图像)、即进行图像恢复处理的图像处理系统中，能够提供基于进行图像恢复处理的图像处理设备的恰当的OTF数据(近似的数据)。根据各实施例，能够提供能够基于进行图像恢复处理的图像处理设备来提供恰当的OTF数据的控制设备、图像处理设备、镜头设备、图像处理系统、控制方法以及图像处理方法。并且，根据各实施例，能够提供能够存储恰当的OTF数据以进行图像恢复处理的控制设备、图像处理设备、镜头设备、图像处理系统、控制方法以及图像处理方法。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (22)

1.一种控制设备，包括：

存储单元，用于存储包括多个系数数据的第一数据；以及

确定单元，用于基于对通过使用光学系统所拍摄的图像进行图像处理的图像处理设备的信息，根据所述存储单元中存储的所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据，

其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

2.根据权利要求1所述的控制设备，其特征在于，通过将所述光学系统的光学传递函数近似成具有所述预定阶数的近似函数来确定所述多个系数数据。

3.根据权利要求1所述的控制设备，其特征在于，所述近似函数为正交函数。

4.根据权利要求1所述的控制设备，其特征在于，所述第二数据是与比所述近似函数的预定阶数小的阶数相对应的系数数据。

5.根据权利要求4所述的控制设备，其特征在于，所述确定单元根据与所述图像处理设备所容许的最大阶数有关的信息来确定所述第二数据。

6.根据权利要求5所述的控制设备，其特征在于，所述确定单元根据与所述最大阶数有关的信息，来确定与生成图像恢复滤波器所使用的最大增益有关的信息。

7.根据权利要求1所述的控制设备，其特征在于，所述确定单元根据摄像时所确定的摄像条件信息来确定所述第二数据。

8.根据权利要求7所述的控制设备，其特征在于，所述摄像条件信息包括与焦距、拍摄距离和光圈有关的信息。

9.根据权利要求1所述的控制设备，其特征在于，所述存储单元能够经由网络获取所述第一数据。

10.根据权利要求1所述的控制设备，其特征在于，还包括：

输入单元，用于输入所述图像处理设备的信息；以及

输出单元，用于将所述第二数据输出至所述图像处理设备。

11.一种镜头设备，包括：

光学系统，用于形成被摄体的图像；

存储单元，用于存储包括多个系数数据的第一数据；以及

确定单元，用于基于对通过使用所述光学系统所拍摄的图像进行图像处理的图像处理设备的信息，根据所述存储单元中存储的所述第一数据，来确定具有比所述第一数据的数据量小的数据量的第二数据，

其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

12.一种图像处理系统，包括：

图像处理设备；

存储单元，用于存储包括多个系数数据的第一数据；以及

确定单元，用于基于对通过使用光学系统所拍摄的图像进行图像处理的图像处理设备的信息，根据所述存储单元中存储的所述第一数据，来确定具有比所述第一数据的数据量小的数据量的第二数据，

其中，所述图像处理设备通过使用所述第二数据来进行图像恢复处理，并且，其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

13.一种图像处理设备，包括：

输入单元，用于接收包括多个系数数据的第一数据；

确定单元，用于根据所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据；以及

处理单元，用于通过使用所述第二数据来对通过使用光学系统所拍摄的图像进行图像处理，

其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

14.根据权利要求13所述的图像处理设备，其特征在于，通过将所述光学系统的光学传递函数近似成具有所述预定阶数的近似函数来确定所述多个系数数据。

15.根据权利要求13所述的图像处理设备，其特征在于，所述近似函数为正交函数。

16.根据权利要求13所述的图像处理设备，其特征在于，所述第二数据是与比所述近似函数的预定阶数小的阶数相对应的系数数据。

17.根据权利要求16所述的图像处理设备，其特征在于，所述确定单元根据与所述处理单元所容许的最大阶数有关的信息来确定所述第二数据。

18.根据权利要求17所述的图像处理设备，其特征在于，所述确定单元根据与所述最大阶数有关的信息，来确定与生成图像恢复滤波器所使用的最大增益有关的信息。

19.根据权利要求13所述的图像处理设备，其特征在于，所述处理单元还用于：

通过使用所述第二数据来生成图像恢复滤波器；以及

通过使用所述图像恢复滤波器来进行图像处理。

20.一种图像处理系统，包括：

输入单元，用于接收包括多个系数数据的第一数据；

确定单元，用于根据所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据；

处理单元，用于通过使用所述第二数据来对通过使用光学系统所拍摄的图像进行图像处理；以及

控制设备，用于输出所述第一数据，

其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

21.一种控制方法，包括以下步骤：

输入对通过使用光学系统所拍摄的图像进行图像处理的图像处理设备的信息；以及

基于所述图像处理设备的信息，根据存储单元中存储的第一数据，来确定具有比所述第一数据的数据量小的数据量的第二数据，其中，所述第一数据包括多个系数数据，

其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。

22.一种图像处理方法，包括以下步骤：

接收包括多个系数数据的第一数据；

根据所述第一数据来确定具有比所述第一数据的数据量小的数据量的第二数据；以及

通过使用所述第二数据来对通过使用光学系统所拍摄的图像进行图像处理，

其特征在于，

通过使用所述多个系数数据作为具有预定阶数的近似函数的系数，能够表示所述光学系统的光学传递函数。