CN101258740A - 摄像装置及图像处理方法 - Google Patents

Abstract

本发明提供一种摄像装置及图像处理方法，该摄像装置包含形成一次图像的光学系统(110)和摄像元件(120)，以及将一次图像形成为高精度的最终图像的图像处理装置(140)，在图像处理装置(140)，根据来自曝光控制单元(190)的曝光信息对光学传递函数(OTF)进行滤波处理。从而能够将光学系统简化，实现成本的降低，而且可得到噪声影响小的复原图像。

Description

摄像装置及图像处理方法

技术领域

本发明涉及一种使用摄像元件并具备光学系统的数码相机及手机搭载照相机、便携式信息终端搭载照相机、图像检查装置、自动控制用产业照相机等摄像装置及图像处理方法。

背景技术

近年来，随着得到快速发展的信息的数字化，与其相对应在视频领域也极为显著。

特别是如以数码相机为象征那样，摄像面大多取代现有的胶片而使用作为固体摄像元件的CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)传感器。

这样，在摄像元件中使用了CCD及CMOS的摄像透镜装置，利用光学系统光学地获取被拍摄体的图像，并通过摄像元件将其作为电信号提取，该摄像元件除用于数码相机之外，还应用于视频摄像机、数字视频装置、个人计算机、手机、便携式信息终端(PDA：Personal Digital Assistant)、图像检查装置、自动控制用产业照相机等。

图1是示意性表示普通的摄像透镜装置的构成及光束状态的图。

该摄像透镜装置1具有光学系统2和CCD及CMOS传感器等摄像元件3。

光学系统中，从物体侧(OBJS)向摄像元件3侧依次配置有物镜21、22、光阑23及成像透镜24。

如图1所示，在摄像透镜装置1中，使最佳聚焦面与摄像元件面上相一致。

图2A～图2C表示在摄像透镜装置1的摄像元件3的受光面的光斑像。

另外，已经提案了一种摄像装置，其利用相位板(Wavefront Codingoptical element)使光束有规则地发散，通过数字处理使其复原能够进行拍摄视场深度深的图像摄影(例如参照非专利文献1、2，专利文献1～5)。

另外，提案了一种进行使用了传波函数的滤波处理的数码相机的自动曝光控制系统(例如参照专利文献6)。

非专利文献1：“Wavefront Coding；jointly optimized and digitalimaging systems”，Edward R.Dowski，Jr.，Robert H.Cormack，Scott D.Sarama.

非专利文献2：“Wavefront Coding；A modern method of achieving highperformance and/or low cost imaging systems”，Edward R.Dowski，Jr.，GregoryE.Johoson.

专利文献1：USP6,021,005

专利文献2：USP6,642,504

专利文献3：USP6,525,302

专利文献4：USP6,069,738

专利文献5：特开2003-235794号公报

专利文献6：特开2004-153497号公报

上述各文献提出的摄像装置中，其全部都是以在普通光学系统中插入了上述的相位板时的PSF(Point-Spread-Function)恒定作为前提，在PSF发生了变化的情况下，利用使用了其后的核的卷积，极难实现视场深度深的图像。

因此，姑且不论单焦点透镜，即使是在变焦系统及AF系统等透镜中，因其光学设计的精度高及与随之带来的成本上升的缘故，在使用上还大有问题。

换言之，现有的摄像装置中，不能进行恰当的卷积运算，所要求的光学设计要消除引起广角(Wide)时及远距(Tele)时的光斑(SPOT)图像的偏差的像散、彗差、变焦色像差等各像差。

然而，消除这些像差的光学设计使光学设计的难度增大，且引起设计工时的增大、成本升高，透镜大型化的问题。

另外，上述各文献所公开的装置中，例如在暗处的摄影，在利用信号处理将图像复原时，还同时放大了噪声。

因此，在使用例如上述的相位板等光波面调制元件及其后的信号处理那样的、包含有光学系统和信号处理的光学系统中，在暗处进行摄像时，其不利之处在于，放大了噪声，对复原图像造成影响。

发明内容

本发明的目的是，提供一种摄像装置及图像处理方法，其能够简化光学系统，谋求成本降低，而且可得到噪声影响小的复原图像。

本发明观点的摄像装置，具有：光学系统；摄像元件，其对通过所述光学系统后的被拍摄体像进行摄像；信号处理部，其对基于所述摄像元件摄像的图像信号，进行与运算系数相关的规定的运算处理；存储器，其存储所述信号处理部的运算系数；曝光控制单元，其进行曝光控制；所述信号处理部，根据来自所述曝光控制单元的曝光信息对光学传递函数(OTF)进行滤波处理。

优选为，所述光学系统，包含光波面调制元件，所述信号处理部，具有从来自所述摄像元件的被拍摄体发散图像信号生成没有发散的图像信号的变换单元。

优选为，所述信号处理部，具有从来自所述摄像元件的被拍摄体发散图像信号生成没有发散的图像信号的变换单元。

优选为，所述信号处理部，具有实施噪声降低滤波的单元。

优选为，所述存储单元中，存储有与曝光信息相对应的用于噪声降低处理的运算系数。

优选为，所述存储单元中，存储有与曝光信息相对应的用于光学传递函数(OTF)复原的运算系数。

优选为，具有可变光阑，所述曝光控制单元，控制所述可变光阑。

优选为，作为所述曝光信息包含有光阑信息。

优选为，所述摄像装置，具备：被拍摄体距离信息生成单元，其形成相当于到达被拍摄体的距离的信息；所述变换单元，根据由所述被拍摄体距离信息生成单元所生成的信息，由所述发散图像信号形成没有发散的图像信号。

优选为，所述摄像装置，具备：变换系数存储单元，其根据被拍摄体距离，至少预先存储2个以上至少与由所述光波面调制元件或者所述光学系统引起的发散相对应的变换系数；系数选择单元，其根据由所述被拍摄体距离信息生成单元生成的信息，从所述变换系数存储单元，选择与到达被拍摄体的距离相对应的变换系数；所述变换单元，利用由所述系数选择单元所选择的变换系数，进行图像信号的变换。

优选为，所述摄像装置，具备：变换系数运算单元，其根据由所述被拍摄体距离信息生成单元所生成的信息，计算变换系数，所述变换单元，利用由所述变换系数运算单元得到的变换系数，进行图像信号的变换。

优选为，所述摄像装置中，所述光学系统，包含变焦光学系统，并具备：校正值存储单元，其预先存储与所述变焦光学系统的变焦位置或者变焦量相对应的至少一个以上的校正值；第二变换系数存储单元，其预先存储至少与所述光波面调制元件或者所述光学系统引起的发散相对应的变换系数；校正值选择单元，其根据由所述被拍摄体距离信息生成单元所生成的信息，从所述校正值存储单元选择与到达被拍摄体的距离相对应的校正值，所述变换单元，利用从所述第二变换系数存储单元得到的变换系数和由所述校正值选择单元选择的所述校正值，来进行图像信号的变换。

优选为，在所述校正值存储单元中存储的校正值，包含所述被拍摄体发散图像的核大小。

优选为，所述摄像装置，具备：被拍摄体距离信息生成单元，其生成与到达所述被拍摄体的距离相当的信息；变换系数运算单元，其根据由所述被拍摄体距离信息生成单元生成的信息，计算变换系数，所述变换单元，利用从所述变换系数运算单元得到的变换系数，进行图像信号的变换，以形成没有发散的图像信号。

优选为，所述变换系数运算单元，将所述被拍摄体发散图像的核大小，作为变量而包含。

优选为，具有存储单元，所述变换系数运算单元，将求得的变换系数存储于所述存储单元，所述变换单元，利用存储于所述存储单元的变换系数，进行图像信号的变换以生成没有发散的图像信号。

优选为，所述变换单元，根据所述变换系数进行卷积运算。

优选为，所述摄像装置，具备：摄影模式设定单元，其对所摄影的被拍摄体的摄影模式进行设定，所述变换单元，根据由所述摄影模式设定单元所设定的摄影模式，进行不同的变换处理。

优选为，所述摄影模式，除通常摄影模式外，还具有微距摄影模式或者远景摄影模式的其中之一，在具有所述微距摄影模式的情况下，所述变换单元根据摄影模式有选择地执行：通常摄影模式的通常变换处理；以及与该通常变换处理相比在接近侧使发散减少的微距变换处理，在具有所述远景摄影模式的情况下，所述变换单元，根据摄影模式有选择地执行：通常摄影模式的通常变换处理；和与该通常变换处理相比在远方侧使发散减少的远景变换处理。

优选为，具备有：变换系数存储单元，其根据由所述摄影模式设定单元所设定的各摄影模式，存储不同的变换系数；变换系数提取单元，其根据由所述摄影模式设定单元所设定的摄影模式，从所述变换系数存储单元提取变换系数，所述变换单元，利用由所述变换系数提取单元得到的变换系数来进行图像信号的变换。

优选为，所述变换系数存储单元，包含所述被拍摄体发散像的核大小作为变换系数。

优选为，所述模式设定单元，包含：操作开关，其输入摄影模式；被拍摄体距离信息生成单元，其根据所述操作开关的输入信息，生成与到达被拍摄体的距离相当的信息；所述变换单元，基于由所述被拍摄体距离信息生成单元生成的信息将所述发散图像信号变换为没有发散的图像信号。

本发明第二观点的图像处理方法，具有：存储步骤，其中存储运算系数；摄像步骤，其中利用摄像元件对通过光学系统后的被拍摄体像进行摄像；运算步骤，其中对基于所述摄像元件的图像信号，进行与所述运算系数有关的规定的运算处理，在所述运算步骤中，根据曝光信息对光学传递函数(OTF)进行滤波处理。

根据本发明，其优点在于，能够简化光学系统，并能够谋求成本降低，而且可得到噪声影响小的复原图像。

附图说明

图1是示意性表示普通的摄像透镜装置的构成及光束状态的图。

图2A～图2C是表示在图1的摄像透镜装置的摄像元件的受光面的光斑像的图，图2A是表示焦点偏离了0.2mm时(Defocus＝0.2mm)的光斑像的图，图2B是表示对准焦点时(Best focus)的光斑像的图，图2C表示焦点偏离了-0.2mm时(Defocus＝-0.2mm)的光斑像的图。

图3是表示本发明的摄像装置的一实施方式的方框构成图。

图4是示意性表示本实施方式所涉及的摄像透镜装置的广角侧的变焦光学系统的构成例的图。

图5是示意性表示本实施方式所涉及的摄像透镜装置的望远侧的变距光学系统的构成例的图；

图6是表示广角侧的像高中心的光斑形状的图。

图7是表示望远侧的像高中心的光斑形状的图。

图8是用于说明波面像差控制光学系统的原理的图。

图9是表示核数据ROM的存储数据之一例(光学倍率)的图。

图10是表示核数据ROM的存储数据其它例(F值)的图。

图11是表示曝光控制装置的光学系统设定处理的概要的流程图。

图12是表示有关信号处理部和核数据存储ROM的第一构成例的图。

图13是表示有关信号处理部和核数据存储ROM的第二构成例的图。

图14是表示有关信号处理部和核数据存储ROM的第三构成例的图。

图15是表示有关信号处理部和核数据存储ROM的第四构成例的图。

图16是表示组合了被拍摄体距离信息和曝光信息的图像处理装置的构成例的图。

图17是表示组合变焦信息和曝光信息的图像处理装置的构成例的图。

图18是表示使用了曝光信息、物距信息、变焦信息时的滤波器的构成例的图。

图19是表示组合了摄影模式信息和曝光信息的图像处理装置的构成例的图。

图20A～图20C是表示本实施方式所涉及的摄像装置的受光面的光斑像的图，图20A是表示焦点偏离了0.2mm时(Defocus＝0.2mm)的光斑像的图，图20B是表示对准焦点时(Best focus)的光斑像的图，图20C是表示焦点偏离了-0.2mm时(Defocus＝-0.2mm)的光斑像的图。

图21A及图21B是用于说明由本实施方式所涉及的摄像元件形成的一次图像的MTF的图，图21A是表示摄像透镜装置的摄像元件的受光向的光斑像的图，图21B表示相对于空间频率的MTF特性。

图22是用于说明本实施方式所涉及的图像处理装置的MTF校正处理的图。

图23是用于具体说明本实施方式所涉及的图像处理装置的MTF校正处理的图。

图24是表示在一般的光学系统的情况下物体处于焦点位置时和从焦点位置偏出时的MTF的响应性(响应)的图。

图25是表示在具有光波调制元件的本实施方式的光学系统的情况下，物体处于焦点位置时和从焦点位置偏出时的MTF的响应性的图。

图26是表示本实施方式所涉及的摄像装置的数据复原后的MTF的响应性的图。

图27是反相复原中的MTF提升量(增益倍率)的说明图。

图28是表示抑制了高频侧后的MTF提升量(增益倍率)的说明图。

图29A～图29D是表示抑制了高频侧后的MTF提升量的模拟结果的图。

图中：100-摄像装置，110-光学系统，120-摄像元件，130-模拟前置部(AFE)，140-图像处理装置，150-照相机信号处理部，180-操作部，190-曝光控制装置，111-物体侧透镜，112-成像透镜，113-波面形成用光学元件，113a-相位板(光波面调制元件)，142-卷积运算器，143-核数据ROM，144-卷积控制部。

具体实施方式

下面，参照附图说明本发明的实施方式。

图3是表示本发明的摄像装置的一实施方式的方框构成图。

本实施方式的摄像装置100，具有光学系统110、摄像元件120、模拟前置部(AFE)130、图像处理装置140、照相机信号处理部150、图像显示存储器160、图像监视装置170、操作部180、以及曝光控制装置190。

光学系统110将摄像了被拍摄体OBJ的图像供给到摄像元件120。

摄像元件120，由CCD或CMOS传感器构成，所述CCD及CMOS传感器将由光学系统110获取的图像成像，将成像1次图像信息作为电信号的一次图像信号FIM经由模拟前置部130输出到图像处理装置140。

图3中，作为一例，将摄像元件120作为CCD进行记载。

模拟前置部130具有定时发生器131、模拟/数字(A/D)转换器132。

定时发生器131中，生成有摄像元件120的CCD的驱动定时，A/D转换器132，将从CCD输入的模拟信号变换为数字信号，输入到图像处理装置140。

构成信号处理部的一部分的图像处理装置(二维卷积装置)140输入从前级的AFE130供给的摄像图像的数字信号，实施二维卷积处理，并送到后级的照相机信号处理部(DSP)150。

图像处理装置140，根据曝光控制单元190的曝光信息，对光学传递函数(OTF)进行滤波处理。另外，作为曝光信息，包含有光阑信息。

图像处理装置140，具有从来自摄像元件120的被拍摄体发散图像信号生成没有发散的图像信号的功能。另外，信号处理部，具有在最初的步骤实施噪声降低滤波的功能。

下面，进一步详细叙述图像处理装置140的处理。

照相机信号处理部(DSP)150进行彩色插补、白平衡、YCbCr变换处理、压缩、归档等处理，执行向存储器160的存储及向图像监视装置170的图像显示等。

曝光控制装置190，进行曝光控制，同时，保持操作部180等的输入操作，并根据这些输入来决定整个系统的动作，对AFE130、图像处理装置140、照相机信号处理部(DSP)150等进行控制，管理整个系统的协调控制。

下面，具体说明本实施方式的光学系统、图像处理装置的构成及功能。

图4是示意性表示本实施方式所涉及的变焦光学系统110的构成例的图。该图表示广角侧。

另外，图5是示意性表示本实施方式所涉及的摄像透镜装置的望远侧的变焦光学系统的构成例的图。

而且，图6是表示本实施方式所涉及的变焦光学系统的广角侧的像高中心的光斑形状的图，图7是表示本实施方式所涉及的变焦光学系统的望远侧的像高中心的光斑形状的图。

图4及图5的变焦光学系统110具有：配置于物体侧OBJS的物体侧透镜111；用于在摄像元件120成像的成像透镜112；配置于物体侧透镜111和成像透镜112之间、使利用成像透镜112向摄像元件120的受光面所成像的波面变形的，例如具有三维曲面的由相位板(Cubic Phase Plate)构成的光波面调制元件(波面形成用光学元件：Wavefront Coding OpticalElement)组113。另外，在物体侧透镜111和成像透镜112之间配置有未图示的光阑。

例如，在本实施方式中，设置有可变光阑200，在曝光控制(装置)中，控制可变光阑的光阑量(孔径度)。

另外，在本实施方式中，对使用了相位板的情况进行了说明，但作为本发明的光波面调制元件，只要是能够使波面变形的元件就不论是何种方式都可以，厚度变化的光学元件(例如上述的三次相位板)，折射率变化的光学元件(例如折射率分布型波面调制透镜)，利用对透镜表面的镀层使厚度、折射率变化的光学元件(例如波面调制混合式透镜)，使光的相位分布可调制的液晶元件(例如液晶空间相位调制元件)等光波面调制元件，均可以。

另外，在本实施方式中，对使用作为光波面调制元件的相位板而形成规则地发散的图像的情况进行了说明，但是，在作为普通的光学系统使用的透镜中，对于选择了能够形成与光波调制元件一样地规则发散的图像的器件的情况，可不使用光波调制元件而只用光学系统实现。此时，并不是与后述的相位板引起的发散相对应，而是与光学系统引起的发散相对应。

图4及图5的变焦光学系统110，是在用于数码相机的三倍变焦中插入了光学相位板113a的例子。

如图所示的相位板113a是利用光学系统使聚束的光束规则地正规发散的光学透镜。通过插入该相位板，在摄像元件120上不论焦点在哪里，都能实现不重叠的图像。

换言之，利用相位板113a形成深度较深的光束(构成图像形成的中心职能)和晕圈(模糊部分)。

将通过数字处理使该规则地发散的图像复原为焦点重合的图像的单元，称作波面像差控制光学系统，该处理在图像处理装置140进行。

在此，说明波面像差控制光学系统的基本原理。

如图6所示，通过将被拍摄体的图像f加入波面像差控制光学系统H，而生成g图像。

这用下面的公式来表示。

(数学式1)

g＝H*f

其中，*表示卷积。

为了从生成的图像求得被拍摄体，需要下面的处理。

(数学式2)

f＝H^-1*g

在此，说明与H有关的核大小及运算系数。

设变焦位置为ZPn、ZPn-1…。并设各H函数为Hn、Hn-1、…。

由于各个光斑像不同，因而各个H函数如下。

(数学式3)

$\mathrm{Hn}=\left(\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right)$

$\mathrm{Hn}-1=\left(\begin{array}{ccc}{a}^{\′}& b^{\′}& c^{\′}\\ d^{\′}& e^{\′}& f^{\′}\\ g^{\′}& h^{\′}& i^{\′}\end{array}\right)$

以该矩阵的行数及/或列数的差异为核大小、以各数字为运算系数。

在此，各H函数可以存储于存储器，且也可以如下设定：即，将PSF作为物距的函数，利用物距进行计算，通过计算H函数而对任意的物距制作最佳滤波。另外，也可以设H函数为物距的函数，通过物距直接求H函数。

在本实施方式中，如图3所示，构成为，用摄像元件120接受来自光学系统110的像，将该图像输入图像装置140，取得与光学系统110对应的变换系数，利用取得的变换系数，从来自摄像元件120的发散图像信号，生成没有发散的图像信号。

另外，在本实施方式中，如上所述，所谓的发散被称作下述的一种现象，即，由于插入相位板113a，而在摄像元件120上形成无论焦点处于何处均不重合的图像，利用相位板113a形成深度深的光束(构成图像形成的中心职能)和晕圈(模糊部分)，根据图像发散而形成模糊部分这一行为，包含与像差相同的缘由。因此，在本实施方式中，有时也作为像差进行说明。

下面，说明图像处理装置140的构成及处理。

如图3所示，图像处理装置140具有原始(RAW)缓冲存储器141、卷积运算器142、作为存储单元的核数据存储单元ROM143、及卷积控制部144。

卷积控制部144，进行卷积处理的开关、画面大小、核数据的切换等控制，由曝光控制装置190所控制。

另外，如图9或者图10所示，核数据存储单元ROM143中存储有预先准备的通过各光学系统的PSF计算出来的卷积用核数据，利用曝光控制装置190取得取决于曝光设置时的曝光信息，通过卷积控制部144，对核数据进行选择控制。

而曝光信息中包含光阑信息。

在图9的例子中，核数据A为与光学倍率(×1.5)相对应的数据，核数据B为与光学倍率(×5)相对应的数据，核数据C为与光学倍率(×10)相对应的数据。

另外，在图10的例子中，核数据A为与作为光阑信息的F值(2.8)相对应的数据，核数据B成为与F值(4)相对应的数据，核数据C成为与F值(5.6)相对应的数据。

如图10的例所示，之所以进行与光阑信息对应的滤波处理是基于下述理由。

在收缩光阑进行摄影的形况下，形成光波面调制元件的相位板113a会被光阑所覆盖，由于相位变化，因而难以复原合适的图像。

因此，在本实施方式中，如本例那样，通过进行与曝光信息中的光阑信息相对应的滤波处理，实现了合适的图像复原。

图11是利用曝光控制装置190的曝光信息(包含光阑信息)进行切换处理的流程图。

首先，检测曝光信息(RP)，将其供给到卷积控制部144(ST1)。

在卷积控制部144，根据曝光信息RP，将核大小、数值运算系数置于寄存器(ST2)。

而且，对于由摄像元件120摄像的、经由AFE130输入到二维卷积运算部142的图像数据，根据存储于寄存器的数据进行卷积运算，将运算并变换后的数据输送到照相机信号处理部150(ST3)。

下面，通过更具体的实例来说明图像处理装置140的信号处理部和核数据存储单元ROM。

图12是表示信号处理部和核数据存储单元ROM的第一构成例的图，而为了简化省略了AFE等。

图12的例子是预先准备了与曝光信息相对应的滤波核时的方框图。

取得取决于曝光设置时的曝光信息，通过卷积控制部144对核数据进行选择控制。在二维卷积运算部142，使用核数据执行卷积处理。

图13是表示信号处理部和核数据存储单元ROM的第二构成例的图，为了简化而省略了AFE等。

图13的例子，是在信号处理部的最初具有噪声降低滤波处理的步骤，且作为滤波核数据预先准备与曝光信息相对应的噪声降低滤波处理ST1时的方框图。

取得取决于曝光设置时的曝光信息，通过卷积控制部144对核数据进行选择控制。

在二维卷积运算部142中，执行了上述噪声降低滤波ST1之后，通过彩色转换处理ST2变换色空间，其后，使用核数据执行卷积处理ST3。

再次进行噪声处理ST4，通过彩色转换处理ST5还原成原来的色空间。彩色转换处理例如可列举YcbCr转换，但其他的变换也可以。

另外，也可以省略再次噪声处理ST4。

图14是表示关于信号处理部和核数据存储单元ROM的第三构成例的图，为了简化而省略了AFE等。

图14的例，是预先准备与曝光信息相对应的OTF复原滤波时的方框图。

取得取决于曝光设置时的曝光信息，通过卷积控制部144选择控制核数据。

在二维卷积运算部142执行了噪声降低处理ST11、彩色转换处理ST12之后，使用上述OTF复原滤波器，执行卷积处理ST13。

再次进行噪声处理ST14，通过彩色转换处理ST15还原成原来的色空间。彩色转换处理例如可列举YCbCr转化，但其他的变换也可以。

而降低噪声处理ST11、ST14也可以只是其中的一方。

图15是表示关于信号处理部和核数据存储单元ROM的第四构成例的图。为了简化而省略了AFE等。

图15的例子具有噪声降低滤波处理的步骤，是作为滤波核数据预先准备与曝光信息相对应的噪声降低滤波时的方框图。

另外，也可省略再次的噪声处理ST4。

取得取决于曝光设置时的曝光信息，通过卷积控制部144对核数据进行选择控制。

在二维卷积运算部142，在执行了噪声降低滤波处理ST21之后，使用彩色转换处理ST22执行色彩空间变换，之后，使用核数据执行卷积处理ST23。

再次进行与曝光信息对应的噪声处理ST24，通过彩色转换处理ST25还原成原来的色空间。彩色转换处理例如可列举YCbCr转换，但是其他的变换也可以。

而也可以省略噪声处理ST21。

以上，对在二维卷积运算部142中仅根据曝光信息进行滤波处理的例子进行了说明，但是，也可以例如通过将被拍摄体距离信息、变焦信息、或者将摄影模式信息和曝光信息组合在一起，进行合适的运算系数的提取，或者进行运算。

图16是表示将被拍摄体距离信息和曝光信息组合的图像处理装置的构成的图。

图16表示从来自摄像元件120的被拍摄体发散信号生成没有发散的图像信号的图像处理装置300的构成例。

如图16所示，图像处理装置300具有卷积装置301、核·数值运算系数存储寄存器302、及图像处理运算处理器303。

在该图像处理装置300中，在得到从物体概略距离信息检测装置400读出的与被拍摄体的物距的概略距离相关的信息及曝光信息的图像处理运算处理器303中，将对其物距位置使用适当的运算的核大小及其运算系数存储于核、数值运算系数存储寄存器302，并由使用其值进行运算的卷积装置301进行适当的运算，而使图像复原。

如上所述，在具备作为光波面调制元件的相位板(Wavefront Codingoptical element)的摄像装置的情况下，只要在规定的焦距范围内，就可与该范围内相关地通过图像处理生成适当的无像差的图像信号，但是在位于规定的焦距范围外的情况下，由于图像处理的校正有限，因而只有上述范围外的被拍摄体成为具有像差的图像信号。

另一方面，通过在规定的狭窄范围内执行不产生像差的图像处理，也能够在规定的狭窄范围外的图像中生出模糊因素。

在本例中，其构成为，由包含距离检测传感器的物体概略距离信息检测装置400，检测到达主要被拍摄体的距离，根据检测到的距离来进行不同的图像校正的处理。

上述的图像处理由卷积运算进行，但是为实现之，例如可采用下述的构成：即，将卷积运算的运算系数通用存储为一种，根据焦距预先存储校正系数，使用该校正系数来校正运算系数，用校正后的运算系数进行适当的卷积运算。

该构成的其他方面可采用下述的构成。

可以采用如下构成等：即，根据焦距预先存储核大小及卷积的运算系数自身，利用这些存储的核大小及运算系数进行卷积运算；将与焦距对应的运算系数作为函数预先存储，并利用焦距从该函数求得运算系数，用计算的运算系数进行卷积运算。

若与图16的构成相对应则可做成下面的构成。

在作为变换系数存储单元的寄存器302中，根据被拍摄体距离至少存储两个以上的至少与相位板113a引起的像差相对应变换系数。图像处理运算处理器303，作为系数选择单元发挥功能，所述系数选择单元，基于由作为被拍摄体距离信息生成单元的物体概略距离信息检测装置400生成的信息，选择与从寄存器302至被拍摄体的距离相对应的变换系数。

而且，作为变换单元的卷积装置301，通过由作为系数选择单元的图像处理运算处理器303所选择的变换系数，来进行图像信号的变换。

或者如上所述，作为变换系数运算单元的图像处理运算处理器303，根据由作为被拍摄体距离信息生成单元的物体概略距离信息检测装置400生成的信息，来运算变换系数，并存储于寄存器302。

而且，作为变换单元的卷积装置301，通过用作为变换系数运算单元的图像处理运算处理器303得到并存储于寄存器302的变换系数，来进行图像信号的变换。

或者，在作为校正值存储单元的寄存器302预先存储有与变焦光学系统110的变焦位置或变焦量相对应的至少一个以上的校正值。该校正值，含有被拍摄体像差像的核大小。

在也作为第2变换系数存储单元而发挥功能的寄存器302中，预先存储与相位板113a引起的像差相对应的变换系数。

而且，根据由作为被拍摄体距离信息生成单元的物体概略距离信息检测装置400所生成的距离信息，作为校正值选择单元的图像处理运算处理器303，从作为校正值存储单元的寄存器302，选择与到被拍摄体的距离相对应的校正值。

作为变换单元的卷积装置301，根据从作为第二变换系数存储单元的寄存器302得到的变换系数和由作为校正值选择单元的图像处理运算处理器303选择的校正值，进行图像信号的变换。

图17是表示将变焦信息和曝光信息组合的图像处理装置的构成例的图。

图17表示从来自摄像元件120的被拍摄体发散图像信号生成没有发散的图像信号的图像信息处理装置300A的构成例。

如图17所示，图像处理装置300A与图16一样，具有卷积装置301、核·数值运算系数存储寄存器302、以及图像处理运算处理器303。

在该图像处理装置300A中，在得到与从变焦信息检测装置500读取的变焦位置或者变焦量有关的信息及曝光信息的图像处理运算处理器303，将对曝光信息及其变焦位置应用适当的运算的核大小及其运算系数，存储于核、数值运算系数存储寄存器302，利用使用该值进行运算的卷积装置301，进行适当的运算，并复原图像。

如上所述，对于适用于在变焦光学系统中具备有作为光波面调制元件的相位板的摄像装置的情况，由变焦光学系统的变焦位置生成的光斑像不同。因此，在利用后级的DSP等对由相位板得到的焦点偏离图像(光斑图像)进行卷积运算时，为了得到适度的焦点一致的图像，而需要根据变焦位置，进行不同的卷积运算。

因此，在本实施方式中，为如下构成，设置变焦信息检测装置500，并根据变焦位置进行适当的卷积运算，从而不依赖于变焦位置地得到适当的焦点重合图像。

在图像处理装置300A中的适当的卷积运算中，可采取下述的构成，即，将卷积的运算系数在寄存器通用地存储一种。

该构成的其它方面，也可采用下述的构成。

可采用下述构成等：即，根据各变焦位置，将校正系数预先存储于寄存器302，用该校正系数来校正运算系数，用校正后的运算系数进行适当的卷积运算；根据各变焦位置，在寄存器302预先存储核大小及卷积的运算系数自身，用这些存储的核大小及运算系数进行卷积运算的构成；将与变焦位置相对应的运算系数作为函数预先存储于寄存器302，利用变焦位置从该函数求得运算系数，用计算得到的运算系数进行卷积运算。

若与图17的构成附加对应，则可采用下述的构成。

在作为变换系数存储单元的寄存器302中至少预先存储两个以上与变焦光学系统110的变焦位置或者变焦量相对应的、与由相位板113a引起的像差对应的变换系数。图像处理运算处理器303，作为系数选择单元而发挥功能，所述系数选择单元，根据由作为变焦信息生成单元的变焦信息检测装置500生成的信息，从寄存器302选择与变焦光学系统110的变焦位置或者变焦量相对应的变换系数。

而且，作为变换单元的卷积装置301，利用由作为系数选择单元的图像处理运算处理器303所选择的变换系数，进行图像信号的变换。

或者，如上所述，作为变换系数运算单元的图像处理运算处理器303，根据由作为变焦信息生成单元的变焦信息检测装置500生成的信息，来计算变换系数，并存储于寄存器302。

而且，作为变换单元的卷积装置301，利用由作为变换系数运算单元的图像处理运算处理器303得到的并存储于寄存器302的变换系数，来进行图像信号的变换。

或者，在作为校正值存储单元的寄存器302预先存储与变焦光学系统110的变焦位置或变焦量相对应的至少一个以上的校正值。该校正值中包含被拍摄体像差像的核大小。

在也作为第二变换系数存储单元发挥功能的寄存器302中，预先存储与由相位板113a引起的像差相对应的变换系数。

而且，根据由作为变焦信息生成单元的变焦信息检测装置400生成的变焦信息，作为校正值选择单元的图像处理运算处理器303，从作为校正值存储单元的寄存器302，选择与变焦光学系统的变焦位置或者变焦量相对应的校正值。

作为变换单元的卷积装置301，根据从作为第二变换系数存储单元的寄存器302得到的变换系数和由作为校正值选择单元的图像处理运算处理器303所选择的校正值，进行图像信号的变换。

图18表示使用了曝光信息、物距信息、变焦信息时的滤波器的构成例。

该例中，用物距信息和变焦信息形成二维信息，形成例如曝光信息纵深那样的信息。

图19是表示将摄影模式信息和曝光信息组合的图像处理装置的构成例的图。

图19表示从来自摄像元件120的被拍摄体发散图像信息生成没有发散的图像信号的图像处理装置300B的构成例。

如图19所示，图像处理装置300B，与图16及图17一样，具有卷积装置301、作为存储单元的核·数值运算系数存储寄存器302及图像处理运算处理器303。

在该图像处理装置300B中，在得到与从物体概略距离信息检测装置600读出的被拍摄体的物距的概略距离相关的信息和曝光信息的图像处理运算处理器303中，将对该物距位置适用适当的运算的核大小及其运算系数，存储于核、数值系数存储寄存器302中，并利用使用该值进行运算的卷积装置301进行适当的运算，对图像进行复原。

该情况下，如上所述，在具备作为光波面调制元件的相位板(WavefrontCoding optical element)的摄像装置的情况下，只要在规定的焦距范围内，就可与该范围相关地，通过图像处理生成适当的无像差的图像信号，但是对于规定的焦距范围外的情况，由于图像处理的校正有限，因而只有上述范围外的被拍摄体成为具有某种像差的图像信号。

另外，另一方面，通过在规定的狭窄范围内执行不产生像差的图像处理，也能在规定的狭小范围外的图像中生出模糊因素。

在本实例中，构成为，由包含距离检测传感器的物体概略距离信息检测装置600，检测到达主被拍摄体的距离，并根据检测的距离，进行不同的图像校正处理。

上述的图像处理通过卷积运算进行，但是为实现之，可采用如下构成等：即，将卷积运算的运算系数通用地存储一种，根据物距预先存储校正系数，使用该校正系数来校正运算系数，用校正后的运算系数进行适当的卷积运算；将与物距相对应的运算系数作为函数预先存储，利用焦距由该函数求得运算系数，用计算后的运算系数进行卷积运算；根据物距预先存储核大小及卷积运算的运算系数自身，用这些存储的核大小及运算系数来进行卷积运算。

如上所述，在本实施方式中，根据DSC的模式设定(肖像、无限远(风景摄像)、微距)来变更图像处理。

若与图19的构成附加对应，则可采用下述的构成。

如上所述，通过作为变换系数运算单元的图像处理运算处理器303，根据由操作部180的摄影模式设定部700所设定的各摄影模式，将不同的变换系数存储于作为变换系数存储单元的寄存器302。

图像处理运算处理器303，根据由摄影模式设定部700的操作开关701设定的摄影模式，基于由作为被拍摄体距离信息生成单元的物体概略距离信息检测装置600生成的信息，从作为变换系数存储单元的寄存器302提取变换系数。此时，例如图像处理运算装置303，作为变换系数提取单元发挥功能。

而且，作为变换单元的卷积装置301利用存储于寄存器302的变换系数，来进行与图像信号的摄影模式相对应的变换处理。

另外，图4及图5的光学系统是一例，本发明不限于针对图4及图5的光学系统而使用的结构。另外，关于光斑形状，图6及图7是一例，本实施方式中的光斑形状不限于图6及图7所示的形状。

另外，关于图9及图10的核数据存储单元ROM，不限于对光学倍率、F数字及各核的大小、值使用的结构。另外，预先准备的核的数目，也并非仅局限于三个。

如图18所示，虽然由于成为三维、甚至四维以上而使存储量增加，但是也可以考虑各种条件来选择更合适的。作为信息，只要是上述的曝光信息、物距信息、变焦信息、摄影模式信息等均可以。

另外，如上所述，对于具备作为光波面调制元件的相位板(WavefrontCoding optical element)的摄像装置的情况，只要在规定的焦距范围内，就可与该范围相关地在其范围内，通过图像处理生成适当的、无像差的图像信号，但是在位于规定的焦距范围外的情况下，由于图像处理的校正存在限度，因而只有上述范围外的被拍摄体成为具有像差的图像信号。

另一方面，通过在规定的狭小范围内执行不生成像差的图像处理，也能在规定的狭小范围外的图像中生出模糊因素。

在本实施方式中，采用波面像差控制光学系统，可得到高精细的图像品质，而且可简化光学系统，且可实现成本降低。

下面，对该特征进行说明。

图20A～图20C表示在摄像元件120的受光面的光斑像的图。

图20A表示焦点偏离了0.2mm时(Defocus＝0.2mm)的光斑像，图20B表示对焦时(Best focus)的光斑像，图20C表示焦点偏离了-0.2mm时(Defocus＝-0.2mm)的光斑像。

从图20A～图20C可知，在本实施方式所涉及的摄像装置100中，利用包含相位板113a的波面形成用光学元件组113来形成深度深的光束(起到像形成的中心功能)及晕圈(模糊部分)。

这样，在本实施方式所涉及的摄像装置100中形成的1次图像FIM，就成了深度非常深的光束条件。

图21A及图21B是用于说明由本实施方式所涉及的摄像透镜装置形成的1次图像的调制传递函数(MTF：Modulation Transfer Function)的图，图21A是表示摄像透镜装置的摄像元件的受光面的光斑像的图，图21B是表示与空间频率相对应的MTF特性的图。

在本实施方式中，由于高精度的最终图像取决于由后级的例如由数字信号处理器(Digital Signal Processor)构成的图像处理装置140的校正处理，因而如图21A及图21B所示，一次图像的MTF实质上成为较低的值。

如上所述，图像处理装置140，接受基于摄像元件120的一次图像FIM，对一次图像的空间频率的MTF执行所谓的提升的规定的校正处理等，从而形成高精细的最终图像FNLIM。

图像处理装置140的MTF校正处理，例如如图22的曲线A所示，对本质上为低值的一次图像的MTF，以空间频率为参数，在边缘强调、色度强调等后续处理中，进行旨在接近于(达到)图22中曲线B所示的特性的校正。

图22中曲线B所示的特性，例如象本实施方式那样，是不使用波面形成用光学元件且不使波面变形的情况下得到的特性。

另外，本实施方式所涉及的所有的校正都取决于空间频率这一参数。

如图22所示，在本实施方式中，对于针对光学方法得到的空间频率的MTF特性曲线A，得到了最终要实现的MTF特性曲线B，因此，对各自的空间频率附加边缘强调等的强弱，对原来的图像(一次图像)实施校正。

例如，对于图22的MTF特性的情况，边缘强调相对于空间频率的曲线如图23所示。

即，通过在空间频率的规定频带内的低频侧及高频侧使边缘强调弱化，在中间频带使边缘强调强化而进行校正，由此假想地实现所期望的MTF特性曲线B。

这样，实施方式所涉及的摄像装置100是如下的图像形成系统：即，基本上由形成一次图像的光学系统110和摄像元件120，以及将一次图像形成为高精细的最终图像的图像处理装置140所构成，在光学系统中，通过新设置波面形成用的光学元件，或者设置将玻璃、塑料之类的光学元件的面成型为波面成形用的元件，来使成像的波面变形(调制)，使这样的波面在由CCD及CMOS传感器构成的摄像元件120的摄像面(受光面)上成像，并使该成像一次图像通过图像处理装置140而得到高精细图像。

在本实施方式中，基于摄像元件120的一次图像成为深度非常深的光束条件。因此，一次图像的MTF本质上成为较低的值，用图像处理装置140进行该MTF的校正。

在此，从波动光学角度来研究本实施方式的摄像装置100的成像过程。

从物点的一点发散的球面波通过成像光学系统之后，成为收敛波。此时，成像光学系统若不是理想光学系统，则会产生像差。波面不是球面而成为复杂的形状。存在于几何光学和波动光学之间的是波面光学，在处理波面现象的情况下较为便利。

在处理成像面的波动光学的MTF时，成像光学系统的出射光瞳位置的波面信息较为重要。

MTF的计算由成像点的波动光学的强度分布的傅立叶变换求得。该波动光学上的强度分布是将波动光学上的振幅分布2次乘方而得到的，而其波动光学上的振幅分布从出射光瞳的光瞳函数的傅立叶变换求得。

另外，由于该光瞳函数正是出射光瞳位置的波面信息(波面像差)其本身，因而只要能够通过该光学系统110对波面像差严格地进行数值计算，则能够计算MTF。

因此，若利用规定的方法对出射光瞳位置的波面信息进行加工，则可任意变换成像面的MTF值。

在本实施方式中，也是以利用波面形成用光学元件进行波面的形状变化为主，当然，在phase(相位、沿光线的光路长度)上设置增减进行目标波面形成。

而且，若进行目标的波面形成，则如图20A～图20C所示的几何光学的光斑像可知，来自出射光瞳的出射光束由光线致密的部分和光线稀疏的部分形成。

该光束状态的MTF显示出如下特征：即，在空间频率低时显示出较低的值，并保持某一分辨率，直至空间频率较高处。

即，只要是该较低的MTF值(或者在几何光学上这种光斑像的状态)，就不会产生混淆(エリアジング)的现象。

即，不需要低通滤波器。

而且，只要是用后级的由DSP等构成的图像处理装置140除去因降低MTF值而引起的晕圈的图像即可。由此，MTF值明显提高。

下面，考察本实施方式及现有光学系统的MTF的响应性。

图24是表示在现有的光学系统的情况下物体处于焦点位置时和从焦点位置偏出时的MTF的响应性(应答)的图。

图25是表示在具有光波调制元件的本实施方式的光学系统的情况下，物体处于焦点位置时和从焦点位置偏出时的MTF的响应性的图。

另外，图26是表示本实施方式所涉及的摄像装置的数据复原后的MTF的响应性的图。

从该图可知，对于具有光波面调制元件的光学系统的情况，即使在物体从焦点位置偏出的情况下，MTF的响应性的变化，与没有插入光波面调制元件的光学孔径相比变小。

将利用该光学系统成像的图像进行基于卷积滤波器的处理，由此MTF的响应性提高。

如以上所说明的那样，根据本实施方式，包含形成一次图像的光学系统110和摄像元件120，以及将一次图像形成为高精细的最终图像的图像处理装置140，并在图像处理装置140中，根据来自曝光控制装置190的曝光信息来对光学传递函数(OTF)进行滤波处理，因此，具有可简化光学系统、谋求成本降低，而且可得到噪声影响小的复原图像的优点。

另外，使在卷积运算时使用的核大小及在其数值运算时使用的系数为可变，通过操作部180等的输入得知，通过使成为适应性的核大小和上述的系数相对应，从而具有如下优点：即不用介意倍率及离焦范围，而可进行透镜设计，而且可得到精度高的基于卷积的图像复原。

另外，具有如下优点：即不需要难度高、价格昂贵且大型化的光学透镜，且在不驱动透镜的情况下，对要想摄像的物体进行对焦，能够得到背景淡化的所谓的自然图像。

而且，本实施方式所涉及的摄像装置100可应用于数码照相机及音视频编码器等民用仪器这些小型、轻量、且考虑了成本的变焦透镜的波面像差控制光学系统。

另外，本实施方式中，具有：具有使基于成像透镜112的向摄像元件120的受光面成像的波面变形的波面形成用光学元件的摄像透镜系统；接受基于摄像元件120的一次图像FIM并对一次图像的空间频率的MTF实施所谓的提升的规定的校正处理而形成高精细的最终图像FNLIM的图像处理装置140，因此，具有可得到高精细的图像质量的优点。

另外，可简化光学系统110的构成，使制造变得容易，并可实现成本降低。

但是，众所周知的事实是，在将CCD及CMOS传感器作为摄像元件使用的情况下，由像素间距决定的分辨率存在极限，如果光学系统的分辨率在该极限分辨率以上，则产生混淆之类的现象，对最终图像带来负面影响。

为了提高画质，理想的是尽可能提高对比度，但这需要高性能的透镜系统。

但是，如上所述，在将CCD及CMOS传感器作为摄像元件使用的情况下，有混淆现象发生。

现在，为了避免混淆现象的发生而在摄像透镜装置中并用由单轴晶系构成的低通滤波器，从而避免混淆现象的发生。

这样并用低通滤波器虽然在原理上是正确的，但由于低通滤波器本身由晶体构成，因而价格昂贵、管理费力。另外，应用于光学系统的话存在使光学系统更得复杂的劣势。

如上所述，虽然时代的趋势越来越要求高精细的图像品质，但是，为了形成高精细的图像，在现有的摄像透镜装置中，就必须使光学系统复杂化。若复杂化，则或者制造变得困难，或者使用昂贵的低通滤波器，从而涉及到成本提高。

但是，根据本实施方式，即使不使用低通滤波器，也可避免混淆现象的发生，并可得到高精细的图像质量。

另外，本实施方式中，示出了将光学系统的波面形成用光学元件配置于比光阑更靠近物体侧透镜的例子，但是，配置于与光阑一样或者比光阑靠近成像透镜侧，也可得到与上述一样的效果。

另外，图4及图5的光学系统是一例，本发明不限于针对图4及图5使用的光学系统。另外，关于光斑形状，图6及图7是一例，本实施方式所涉及的光斑形状不限于图6及图7所示的形状。

另外，关于图9及图10的核数据存储单元ROM，也不限于针对光学倍率、F值及各核的大小、值而使用。并且，对于准备的核的数量也并非仅局限于三个。

然而，例如在暗处的摄影的情况下，利用信号处理复原图像时，噪声也同时被放大。

因此，在使用例如上述的相位调制元件和其后的信号处理那样的、包含光学系统和信号处理的光学系统中，在暗处进行摄像时，有可能放大噪声，对复原图像产生影响。

于是，使在图像处理装置中使用的滤波器的大小及其数值、增益倍率可变，通过利用曝光信息使适当的运算系数相对应，可得到噪声影响小的复原图像。

例如，若以数码照相机为例进行说明，则在摄影模式为夜景时，用如图27所示的光学传递函数H的反相复原1/H对模糊图像执行频率调制。

于是，特别是对用ISO感光度施加增益后的噪声(特别是高频噪声)也执行频率调制，进一步增强了噪声成分，复原图像就成了噪声很明显的图像。

这是由于在暗处的摄影的情况下利用信号处理对图像复原时，噪声也同时被放大了的缘故，有可能对图像造成影响。

在此，若对增益倍率进行说明，则所谓增益倍率是用滤波器对MTF实施频率调制时的倍率，是着重于某频率时的MTF的提升量。即，若设模糊MTF值为a，设复原后MTF值为b，则增益倍率为b/a。例如，在图27的例子中，若考虑恢复为点像(MTF为1)的情况，则增益倍率就是1/a。

因此，如图28所示，本发明的另一特征在于，用将高频侧增益倍率降低后的形态实施频率调制。由此，与图27相比特别是能够抑制对高频噪声的频率调制，进而可得到抑制了噪声后的图像。如图28所示，若设此时的MTF值为a，设复原后的MTF值为b’(b’＜b)，则增益倍率就是b’/a，增益倍率比反相复原小。这样，在暗处的摄像等情况下曝光量变小时，通过降低高频侧的增益倍率，可对应于适当的运算系数，进而能够得到噪声影响小的复原图像。

图29(A)～(D)是上述噪声抑制效果的模拟结果。图29(A)为模糊图，图29(B)为对模糊图叠加了噪声后的图，图29(C)表示对图29(B)反相复原后的结果，图29(D)是降低增益倍率并复原后的结果。

从这些图可得知，降低增益倍率而进行复原后的结果的一方，抑制了噪声的影响并被复原。所谓降低增益倍率，虽然涉及若干对比度降低，但是其在后级图像处理的边缘强调等情况下，若提高对比度，则可对此进行覆盖。

产业上应用的可行性

本发明的摄像装置及图像处理方法，可简化光学系统、谋求降低成本，而且由于可得到噪声影响小的复原图像，因而可应用于数码相机及手机搭载照相机、便携式信息终端搭载照相机、图像检查装置、自动控制用产业照相机等。

Claims (25)

1、一种摄像装置，其特征在于，具有：

光学系统；

摄像元件，其对通过所述光学系统后的被拍摄体像进行摄像；

信号处理部，其对基于所述摄像元件摄像的图像信号，进行与运算系数相关的规定的运算处理；

存储单元，其存储所述信号处理部的运算系数；

曝光控制单元，其进行曝光控制；

所述信号处理部，根据来自所述曝光控制单元的曝光信息对光学传递函数(OTF)进行滤波处理。

2、如权利要求1所述的摄像装置，其特征在于，

所述光学系统，包含光波面调制元件，

所述信号处理部，具有从来自所述摄像元件的被拍摄体发散图像信号生成没有发散的图像信号的变换单元。

3、如权利要求1所述的摄像装置，其特征在于，

所述信号处理部，具有从来自所述摄像元件的被拍摄体发散图像信号，生成没有发散的图像信号的变换单元。

4、如权利要求1所述的摄像装置，其特征在于，

所述信号处理部，具有实施降低噪声滤波的单元。

5、如权利要求1所述的摄像装置，其特征在于，

所述存储单元中，存储有与曝光信息相对应的用于噪声降低处理的运算系数。

6、如权利要求1所述的摄像装置，其特征在于，

所述存储单元中，存储有与曝光信息相对应的用于光学传递函数(OTF)复原的运算系数。

7、如权利要求6所述的摄像装置，其特征在于，

与所述曝光信息相对应的OTF复原，是根据曝光信息改变频率调制的增益倍率，从而实施频率调制。

8、如权利要求7所述的摄像装置，其特征在于，

若曝光量变小，则降低高频侧的增益倍率。

9、如权利要求1所述的摄像装置，其特征在于，

具有可变光阑，

所述曝光控制单元，控制所述可变光阑。

10、如权利要求1所述的摄像装置，其特征在于，

作为所述曝光信息包含有光阑信息。

11、如权利要求2所述的摄像装置，其特征在于，

所述摄像装置，具备：

被拍摄体距离信息生成单元，其形成相当于到达被拍摄体的距离的信息；

所述变换单元，根据由所述被拍摄体距离信息生成单元所生成的信息，由所述发散图像信号形成没有发散的图像信号。

12、如权利要求11所述的摄像装置，其特征在于，

所述摄像装置，具备：

变换系数存储单元，其根据被拍摄体距离，至少预先存储2个以上至少与由所述光波面调制元件或者所述光学系统引起的发散相对应的变换系数；

系数选择单元，其根据由所述被拍摄体距离信息生成单元生成的信息，从所述变换系数存储单元，选择与到达被拍摄体的距离相对应的变换系数；

所述变换单元，利用由所述系数选择单元所选择的变换系数，进行图像信号的变换。

13、如权利要求11所述的摄像装置，其特征在于，

所述摄像装置，具备：

变换系数运算单元，其根据由所述被拍摄体距离信息生成单元所生成的信息，计算变换系数，

所述变换单元，利用由所述变换系数运算单元得到的变换系数，进行图像信号的变换。

14、如权利要求2所述的摄像装置，其特征在于，

所述摄像装置中，

所述光学系统，包含变焦光学系统，

并具备：

校正值存储单元，其预先存储与所述变焦光学系统的变焦位置或者变焦量相对应的至少一个以上的校正值；

第二变换系数存储单元，其预先存储至少与所述光波面调制元件或者所述光学系统引起的发散相对应的变换系数；

校正值选择单元，其根据由所述被拍摄体距离信息生成单元所生成的信息，从所述校正值存储单元选择与到达被拍摄体的距离相对应的校正值，

所述变换单元，利用从所述第二变换系数存储单元得到的变换系数和由所述校正值选择单元选择的所述校正值，来进行图像信号的变换。

15、如权利要求14所述的摄像装置，其特征在于，

在所述校正值存储单元中存储的校正值，包含所述被拍摄体发散图像的核大小。

16、如权利要求2所述的摄像装置，其特征在于，

所述摄像装置，具备：

被拍摄体距离信息生成单元，其生成与到达所述被拍摄体的距离相当的信息；

变换系数运算单元，其根据由所述被拍摄体距离信息生成单元生成的信息，计算变换系数，

所述变换单元，利用从所述变换系数运算单元得到的变换系数，进行图像信号的变换，以形成没有发散的图像信号。

17、如权利要求16所述的摄像装置，其特征在于，

所述变换系数运算单元，将所述被拍摄体发散图像的核大小，作为变量而包含。

18、如权利要求16所述的摄像装置，其特征在于，

具有存储单元，

所述变换系数运算单元，将求得的变换系数存储于所述存储单元，

所述变换单元，利用存储于所述存储单元的变换系数，进行图像信号的变换以生成没有发散的图像信号。

19、如权利要求16所述的摄像装置，其特征在于，

所述变换单元，根据所述变换系数进行卷积运算。

20、如权利要求2所述的摄像装置，其特征在于，

所述摄像装置，具备：

摄影模式设定单元，其对所摄影的被拍摄体的摄影模式进行设定，

所述变换单元，根据由所述摄影模式设定单元所设定的摄影模式，进行不同的变换处理。

21、如权利要求20所述的摄像装置，其特征在于，

所述摄影模式，除通常摄影模式外，还具有微距摄影模式或者远景摄影模式的其中之一，

在具有所述微距摄影模式的情况下，所述变换单元根据摄影模式有选择地执行：通常摄影模式的通常变换处理；以及与该通常变换处理相比在接近侧使发散减少的微距变换处理，

在具有所述远景摄影模式的情况下，所述变换单元，根据摄影模式有选择地执行：通常摄影模式的通常变换处理；和与该通常变换处理相比在远方侧使发散减少的远景变换处理。

22、如权利要求20所述的摄像装置，其特征在于，

具备有：

变换系数存储单元，其根据由所述摄影模式设定单元所设定的各摄影模式，存储不同的变换系数；

变换系数提取单元，其根据由所述摄影模式设定单元所设定的摄影模式，从所述变换系数存储单元提取变换系数，

所述变换单元，利用由所述变换系数提取单元得到的变换系数来进行图像信号的变换。

23、如权利要求22所述的摄像装置，其特征在于，

所述变换系数存储单元，包含所述被拍摄体发散像的核大小作为变换系数。

24、如权利要求20所述的摄像装置，其特征在于，

所述模式设定单元，包含：

操作开关，其输入摄影模式；

被拍摄体距离信息生成单元，其根据所述操作开关的输入信息，生成与到达被拍摄体的距离相当的信息；

所述变换单元，基于由所述被拍摄体距离信息生成单元生成的信息将所述发散图像信号变换为没有发散的图像信号。

25、一种图像处理方法，其特征在于，

包括：

存储步骤，其中存储运算系数；

摄像步骤，其中利用摄像元件对通过光学系统后的被拍摄体像进行摄像；

运算步骤，其中对基于所述摄像元件的图像信号，进行与所述运算系数有关的规定的运算处理，

在所述运算步骤中，根据曝光信息对光学传递函数(OTF)进行滤波处理。

Images