CN101366270B - 成像设备和成像方法 - Google Patents

Abstract

一种成像设备，能够在保持高帧率的同时简化光学系统，而不需要昂贵的模糊恢复处理硬件，能够降低成本，此外，可以获得带有很小噪声影响的恢复图像，以及一种这样的成像方法，所述方法在直通图像时通过切换单元(140)绕过图像处理设备(150)的模糊恢复处理，以进行摄像机信号处理单元(160)的摄像机信号处理，而只在捕捉图像时，在图像处理设备(150)进行模糊恢复处理，接着在摄像机信号处理单元(160)进行摄像机信号处理，以显示图像。

Description

成像设备和成像方法

技术领域

本发明涉及数字摄像机、安装在移动电话上的摄像机、安装在个人数字助理上的摄像机、图像检查设备、用于自动控制的工业摄像机、或其他使用成像元件并具有光学系统的成像设备及其方法。

背景技术

近年来，信息数字化取得了快速的进步。因此，在成像领域中为了满足信息数字化的快速进步已付出了大量努力。

特别地，以数字摄像机为代表，对于成像表面，大多数情况下，胶片正在被如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器之类的固态成像元件取代。

按照这种方式使用CCD或CMOS传感器作为成像元件的成像镜头设备通过光学系统光学地捕获对象的图像，并通过成像元件提取作为电信号的内容。除了数字照相机之外，这也用于视频摄像机、数字视频单元、个人计算机、移动电话、个人数字助理(PDA)、图像检查设备、用于自动控制的工业摄像机等等。

图1是示出了一般的成像镜头设备的配置和光线状态的示意图。

成像镜头设备1具有光学系统2和CCD或CMOS传感器或其他成像元件3。

光学系统包括从对象侧(OBJS)朝着成像元件3侧依次排列的对象侧透镜21和22、光圈23和成像透镜24。

在成像镜头设备1中，如图1所示，最佳聚焦平面被设置为与成像元件表面相匹配。

图2A至图2C示出了成像镜头设备1的成像元件3的光接收表面上的斑点图像。

此外，已经提出了使用相位板(波阵面编码光学元件)以规则地发散光线、使用数字处理恢复图像并从而能够捕获具有较深景深的图像等的成像设备(见例如非专利文献1和2以及专利文献1至5)。

此外，已经提出了使用传递函数进行滤波的数字摄像机的自动曝光控制系统(见例如专利文献6)。

非专利文献1：“Wavefront Coding；jointly optimized optical anddigital imaging systems”，Edward R.Dowski，Jr.，Robert H.Cormack，Scott D.Sarama。

非专利文献2：“Wavefront Coding；A modern method of achievinghigh performance and/or low cost imaging systems”，Edward R.Dowski，Jr.，Gregory E.Johnson。

专利文献1：USP6,021,005。

专利文献2：USP6,642,504。

专利文献3：USP6,525,302。

专利文献4：USP6,069,738。

专利文献5：日本专利公开(A)第2003-235794号。

专利文献6：日本专利公开(A)第2004-153497号。

发明内容

本发明要解决的问题

在上述文献中提出的所有成像设备都是基于当在通常的光学系统中插入上述相位板时PSF(点扩展函数，Point-Spread-Function)保持不变而预测的。若PSF改变，通过使用随后的内核(kernel)进行卷积来实现景深较深的图像是极其困难的。

相应地，且不论具有单焦点的镜头的情况，在变焦系统、AF系统等的镜头中，镜头的光学设计的高精度等级和随之而来的成本的增加导致了采用这样的镜头的主要问题。

换句话说，上述成像设备中不可能进行合适的卷积运算。需要一种光学设计，能够在“广(wide)”模式时和在“远(tele)”模式时，消除像散、慧形偏差、变焦色差和其他导致斑点图像的偏离的像差。

然而，消除这些像差的光学设计增加了光学设计的难度，并导致了如增加设计过程数量、增加成本以及增加镜头尺寸之类的问题。

此外，在上述每个文献所公开的设备中，例如在暗处捕获图像时和通过信号处理恢复图像时，同时也放大了噪声。

相应地，在使用例如上述相位板等光学阵面调制元件的光学系统和包括信号处理的光学装置中，缺点在于，当在暗处捕获图像时，放大了噪声并对恢复的图像有影响。

此外，降低F值(光圈)以达到较深景深的方法的缺点在于必需光圈机构，镜头变暗，动态范围不能通过关闭光圈而相对于亮度得到，快门速度变慢，因此容易导致手的抖动和对象的抖动。

此外，使用图像处理来进行散焦(模糊)恢复处理的方法中，处理非常繁重。因此，为了即使在显示直通(through)图像期间也能连续地校正模糊，所需的资源的规模变大，昂贵的硬件变得必要。备选地，根据处理能力，产生了不能提高帧率的限制。当帧率明显降低时，快门定时也易于错失。

此外，在现有技术中，用于图像恢复处理的滤波器大小是固定大小，与图像捕获模式无关。相应地，其缺点在于，通过捕获静止图像时的图像恢复处理的滤波器大小实施捕获运动图像时的图像恢复处理时，每帧的处理时间变长，因此不可能实时进行处理。

相反，还有缺点在于，能够实时进行处理的滤波器大小是在显示直通图像时(预览时)设定的，此时，在捕获静止图像时恢复的图像劣化。

本发明的目的是提供一种成像设备及其方法，其能够在保持高帧率的同时简化光学系统，而不需要昂贵的模糊恢复处理硬件，能够降低成本、能够根据图像的捕获模式实时实现图像处理而不造成恢复图像的劣化，此外能够获得噪声影响很小的恢复图像。

解决问题的手段

本发明的第一方面的成像设备，具有：光学系统，形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定；成像元件，用于捕获通过所述光学系统的对象图像；转换装置，用于校正来自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号；信号处理装置，用于对所述图像信号进行预定的图像处理；切换装置，用于选择性地将来自所述成像元件的图像信号或来自所述转换装置的图像信号输入至所述信号处理装置；存储装置，用于存储所述信号处理装置已处理的图像；触发信号产生装置，用于产生对图像存储进行指示的触发信号；图像监视装置，用于显示所述信号处理装置已处理的图像；以及控制装置，用于在显示直通图像期间将来自所述成像元件的图像信号通过切换装置输入至所述信号处理装置，并在接收到来自所述触发信号产生装置的触发信号时将来自所述转换装置的图像信号输入至所述信号处理装置。

本发明的第二方面的成像设备具有：光学系统，形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定；成像元件，用于捕获通过所述光学系统的对象图像；转换装置，用于校正来自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号；第一滤波器，用于在静止图像捕获模式时的所述转换装置的图像恢复处理；第二滤波器，用于在至少运动图像捕获模式时的所述转换装置的图像恢复处理，其中所述转换装置根据捕获模式选择至少第一滤波器或第二滤波器并进行图像恢复处理。

优选地，所述设备具有信号处理装置，用于对图像信号进行预定的图像处理，以及图像监视装置，用于显示所述信号处理装置已处理的图像，其中第二滤波器用于在运动图像捕获模式时或显示直通图像时的所述转换装置的图像恢复处理，以及所述转换装置根据捕获模式或根据是/否显示直通图像来选择第一滤波器或第二滤波器并进行图像恢复处理。

优选地，转换装置根据图像显示装置的分辨率使用第二滤波器进行简单恢复处理。

优选地，第二滤波器包括使用采样PSF(点扩展函数)的图像恢复滤波器。

优选地，第二滤波器具有带宽增强功能。

优选地，第二滤波器的大小小于第一滤波器的大小。

优选地，所述设备具有设定装置，其能够设定在捕获运动图像时和显示直通图像时是/否使用第二滤波器执行图像恢复处理。

优选地，所述设备还具有：触发信号产生装置，用于产生触发信号，以及控制装置，用于在显示直通图像期间将经过所述转换装置中的第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，并在接收到来自所述触发信号产生装置的触发信号时，将经过所述转换装置中的第一滤波器的图像恢复处理的图像信号输入至所述信号处理装置。

优选地，所述设备具有用于存储图像的存储装置。在捕获运动图像时，所述控制装置将经过第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，以显示直通图像，以及在所述存储装置中存储图像时，所述控制装置通过所述转换装置中的第一滤波器执行图像恢复处理。

优选地，所述设备具有用于存储图像的存储装置。控制装置在捕获运动图像时，将经过第二滤波器的图像恢复处理的图像信号输入至信号处理装置，并在存储装置中存储该图像。

优选地，所述设备还具有：切换装置，用于选择性地将来自成像元件的图像信号或来自转换装置的图像信号输入至信号处理装置；用于产生触发信号的触发信号产生装置；控制装置用于在显示直通图像期间将来自成像元件的图像信号通过切换装置输入至信号处理装置，并在接收到来自触发信号产生装置的触发信号时，将来自转换装置的图像信号输入至信号处理装置。

优选地，所述设备具有用于存储图像的存储装置。控制装置在捕获运动图像时，将来自成像元件的未执行图像恢复处理的图像信号输入至图像处理装置用于显示直通图像，而在存储装置中存储图像时，通过转换装置执行图像恢复处理。

优选地，所述设备具有用于存储图像的存储装置。控制装置在捕获运动图像时，将来自成像元件的未执行图像恢复处理的图像信号输入至图像处理装置，在存储装置中存储未执行图像恢复处理的图像，而在从存储装置再现图像时通过转换装置执行图像恢复处理。

进一步，优选地，使用图像显示装置的分辨率作为上限来设定焦点的模糊量。

优选地，图像监视装置的分辨率不大于图像监视装置的像素间距的2倍。

优选地，控制装置通过转换装置恢复通过接收触发信号而捕获的静止图像，接着在信号处理装置处理之后使图像监视装置显示图像。

优选地，在显示直通图像期间，控制装置使成像元件输出具有图像监视装置的分辨率所要求的足够的分辨率的图像。

优选地，光学系统具有变焦信息产生装置，包括光学波阵面调制元件和变焦光学系统，变焦信息产生装置产生对应于变焦光学系统的变焦位置或变焦量的信息。转换装置基于变焦信息产生装置产生的信息，根据发散的图像信号产生不发散的图像信号。

优选地，所述设备具有对象距离信息产生装置，用于产生对应于至对象的距离的信息。转换装置基于对象距离信息产生装置产生的信息，根据发散的图像信号产生不发散的图像信号。

优选地，所述设备具有：对象距离信息产生装置，用于产生对应于至对象的距离的信息；以及转换系数运算装置，用于基于对象距离信息产生装置产生的信息运算转换系数。转换装置根据从转换系数处理装置获得的转换系数产生不发散的图像信号。

优选地，所述设备具有图像捕获模式设定装置，用于设定所要捕获的对象的图像捕获模式。转换装置根据图像捕获模式设定装置设定的图像捕获模式进行不同的转换处理。

优选地，成像设备可以切换多个镜头，成像元件具有转换系数获得装置，能够捕获通过多个镜头的至少一个镜头和光学波阵面调制元件的对象的像差图像，并进一步获得根据一个镜头的转换系数。转换装置根据从转换系数获得装置获得的转换系数转换图像信号。

优选地，所述设备具有用于控制曝光的曝光控制装置。信号处理装置根据来自曝光控制装置的曝光信息进行关于光学传递函数(OTF)的滤波。

本发明第三方面的一种方法，包括以下步骤：通过成像元件捕获通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，在显示直通图像期间对来自所述成像元件的图像信号进行预定的图像处理，以及在接收到指示图像存储的触发信号时，校正来自所述成像元件的图像的焦点的模糊以恢复图像信号，并对恢复的图像信号进行预定的图像处理。

本发明第四方面的一种方法，包括以下步骤：通过成像元件捕获通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，在显示直通图像期间对来自所述成像元件的图像信号进行预定的图像处理，以及校正来自所述成像元件的图像的焦点的模糊以恢复图像信号，并对恢复的图像信号进行预定的图像处理，其中，在静止图像捕获模式时使用第一滤波器进行图像恢复处理，以及在运动图像捕获模式时或显示直通图像时使用第二滤波器进行图像恢复处理，第二滤波器的大小与第一滤波器的大小不同。

本发明的效果

根据本发明，在保持高帧率的同时简化了光学系统，但不需要昂贵的模糊恢复处理硬件，降低了成本。进一步，其优点在于，根据图像捕获模式可以实现实时处理而不会造成恢复图像的劣化，此外，可以获得噪声影响很少的恢复图像。

附图说明

图1是示出了一般的成像镜头设备的配置和光线状态的示意图。

图2A至图2C是示出了成像镜头设备1的成像元件3的光接收表面上的斑点图像的图，其中图2A是示出了焦点偏离0.2mm(散焦＝0.2mm)时的斑点图像的图，图2B是示出了聚焦(最佳聚焦)时的斑点图像的图，图2C是示出了焦点偏离-0.2mm(散焦＝-0.2mm)时的斑点图像的图。

图3是示出了根据本发明第一实施例的成像设备的配置框图。

图4是示出了一般成像光学系统的光线高度与散焦之间的关系的图。

图5是示出了本实施例的光学系统成像附近的光学特性的图。

图6是一般光学系统的最佳聚焦位置的MTF(调制传递函数)特性的图。

图7是示出了本实施例的光学系统的MTF特性的图。

图8A至8C是本实施例中的模糊恢复处理的示意图。

图9A至图9D是示出了监视器的像素阵列的示例的图。

图10是示出了根据本实施例的在成像镜头设备的广角侧的变焦光学系统的配置示例的示意图。

图11是示出了根据本实施例的在成像镜头设备的远视侧的变焦光学系统的配置示例的示意图。

图12是示出了在广角侧的图像高度中心的斑点形状的图。

图13是示出了在远视侧的图像高度中心的斑点形状的图。

图14是用于解释DEOS原理的图。

图15是示出了内核数据ROM的存储数据的示例(光学放大倍数)的图。

图16是示出了内核数据ROM的存储数据的另一示例(F数)的图。

图17是示出了用于设定曝光控制设备的光学系统的处理的示意流程图。

图18是示出了信号处理单元和内核数据存储ROM的配置的第一示例的图。

图19是示出了信号处理单元和内核数据存储ROM的配置的第二示例的图。

图20是示出了信号处理单元和内核数据存储ROM的配置的第三示例的图。

图21是示出了信号处理单元和内核数据存储ROM的配置的第四示例的图。

图22是示出了组合了对象距离信息和曝光信息的图像处理设备的配置的示例图。

图23是示出了组合了变焦信息和曝光信息的图像处理设备的配置的示例图。

图24是示出了滤波器的配置的示例图，其中使用曝光信息、对象距离信息和变焦信息。

图25是示出了组合了图像捕获模式信息和曝光信息的图像处理设备的配置的示例图。

图26A至图26C是示出了根据本实施例的成像元件的光接收表面上的斑点图像的图，其中图26A是示出了焦点偏离0.2mm(散焦＝0.2mm)时的斑点图像的图，图26B是示出了聚焦(最佳聚焦)时的斑点图像的图，图26C是示出了焦点偏离-0.2mm(散焦＝-0.2mm)时的斑点图像的图。

图27A和27B是用于解释根据本实施例的由成像元件形成的第一级(first order)图像的MTF的图，其中图27A是示出了成像镜头设备的成像元件的光接收表面上的斑点图像的图，图27B示出了相对于空间频率的MTF特性。

图28是用于解释根据本实施例的图像处理装置中的MTF校正处理的图。

图29是用于具体解释根据本实施例的图像处理装置中的MTF校正处理的图。

图30是示出了在一般光学系统中，当对象位于焦点位置时和当对象偏离焦点位置时的MTF响应的图。

图31是示出了在本实施例的具有光学波阵面调制元件的光学系统中，当对象位于焦点位置时和当对象偏离焦点位置时的MTF响应的图。

图32是示出了根据本实施例的成像设备在数据恢复之后的MTF响应的图。

图33是示出了根据本发明第二实施例的成像设备的配置框图。

图34是示出了用于根据图像捕获模式进行图像恢复处理的基本控制流程图。

图35是示出了根据本发明第三实施例的具有多个光学系统的成像设备的配置框图。

图36是示出了用于设定图35的系统控制设备的光学系统的处理的示意流程图。

图37是示出了根据本发明第四实施例的具有多个光学系统的成像设备的配置框图。

附图标记描述：

100、100A至100C...成像设备，110、110B、110C...光学系统，120...成像元件，130...模拟前端AFE，140...切换单元，140-1...第一切换单元，140-2...第二切换单元，150...图像处理设备，160...摄像机信号处理单元，190...操作单元，200...曝光控制设备，200B、200C...系统控制设备，210...第一滤波器，220...第二滤波器，111...对象侧透镜，112...成像透镜，113...波阵面形成光学元件，113a...相位板(光学波阵面调制元件)，152...卷积运算单元，153...内核数据ROM，以及154...卷积控制单元。

具体实施方式

以下参照附图解释本发明的实施例。

图3是示出了根据本发明第一实施例的成像设备的配置框图。

根据本发明第一实施例的成像设备100具有光学系统110、成像元件120、模拟前端AFE130、切换单元140、作为转换装置的图像处理设备150、摄像机信号处理单元160、图像显示存储器170、图像监视设备180、操作单元190以及作为控制装置的曝光控制设备200。

光学系统110为成像元件120提供捕获对象OBJ的图像。

本实施例的光学系统110包括光学波阵面调制元件，这个元件将在以后描述，光学系统110形成为使焦点的模糊量在焦点位置和焦点位置前后的距离上是基本恒定的。

使用图像监视设备180的分辨率作为上限来设定焦点的模糊量。

成像元件120由CCD或CMOS传感器配置，光学系统110获取的图像在其中形成，并将形成的第一级图像作为信号的第一级图像信号FIM经由模拟前端130输出至切换单元140。

在图3中，作为示例，将成像元件120描述为CCD。

模拟前端130具有定时产生器131和模拟/数字(A/D)转换器132。

定时产生器131产生成像元件120的CCD的驱动定时，A/D转换器132将从CCD输入的模拟信号转换为数字信号并将其输出至切换单元140。

切换单元140根据来自曝光控制设备200的切换控制信号SCTL，选择性地将成像元件120所捕获的图像信号经由AFE 130输入图像处理设备150或摄像机信号处理单元160。

在切换单元140中，固定触点a与AFE 130的A/D转换器132的输出线连接，工作触点b与图像处理设备150的输入线连接，工作触点c与摄像机信号处理单元160的信号输入线连接。

例如，当在监视设备180中显示直通图像时，控制切换单元140，使固定触点a与工作触点c连接，以“显示直通图像”。另一方面，当捕获图像以及在存储器170中存储图像时，控制切换单元140，使固定触点a与工作触点b连接。

图像处理设备(二维卷积装置)150用作转换装置，接收来自前一级中AFE 130的所捕获图像的数字信号作为输入，实施二维卷积处理，并将结果传送至下一级中的摄像机信号处理单元(DSP)160。

图像处理设备150根据曝光控制设备200的曝光信息，执行有关光学传递函数(OTF)的滤波。应注意，光圈信息作为曝光信息被包括在内。

图像处理设备150产生通过对来自成像元件120的图像的焦点模糊进行校正而恢复的图像信号。更具体地，图像处理设备150具有从来自成像元件120的对象的发散(disperse)的图像信号产生不发散的图像信号的功能。进一步，图像处理设备150具有在第一步骤(处理)中应用噪声降低滤波的功能。

以后将进一步详细解释图像处理设备150的处理。

摄像机信号处理单元(DSP)160进行颜色插值、白平衡、YCbCr转换处理、压缩、文件编排(filing)以及其他预定的图像处理，并进行存储器170中的存储、图像监视设备180中的图像显示等等。

图像监视设备180显示例如由液晶显示设备形成的并经过由摄像机信号处理单元160所进行的预定图像处理的直通图像或捕获图像。

图像监视设备180的分辨率被设定为例如不大于图像监视设备180的像素间距的两倍。

存储器170存储在摄像机信号处理单元160中经过预定的图像处理的捕获图像等。

操作单元190由输入开关等配置，用于指示曝光控制设备200进行预定的功能控制。操作单元190包括开关，例如快门按钮、释放按钮、放大按钮、上移键、下移键、右移键和左移键。

操作单元190具有触发信号产生功能，用于在例如用户操作快门按钮或释放按钮时产生触发信号，所述触发信号用于指示捕获所需的直通图像部分、将其存储在存储器170中并将其输出至曝光控制设备200。

曝光控制设备200进行曝光控制，并同时等待操作单元190等的操作输入，根据这些输入确定整个系统的操作，控制AFE 130、图像处理设备150、DSP 160等，并执行整个系统的调解(mediation)控制。

曝光控制设备200通过切换控制信号CTL将切换单元140的固定触点a与工作触点c连接，并将未经恢复处理的成像元件120所捕获的图像信号直接输入摄像机信号处理单元160。

另一方面，曝光控制设备200在接收到来自操作单元190的触发信号时，判断该模式是用于捕获图像并在存储器170中存储图像，通过切换控制信号SCTL将切换单元140的固定触点a与工作触点b连接，将图像输入图像处理设备150，以便实施恢复处理。

也就是说，曝光控制设备200在图像处理设备150中对由接收触发信号所捕获的图像进行恢复处理，接着在摄像机信号处理单元160中实施预定的图像处理之后，使图像监视设备180显示图像。

进一步，曝光控制设备200通过例如摄像机信号处理单元160，向定时产生器131发出指令，以便在图像监视设备180显示直通图像期间，从成像元件120输出具有图像监视设备180的分辨率所需的足够的分辨率的图像。

以下解释本实施例的光学系统的基本功能和根据有/无模糊图像恢复的基本处理，接着，具体解释光学系统110和用作本实施例的特征所在的转换装置的图像处理设备150的进一步具体配置和功能。

此处，作为对比示例，解释一般的成像光学系统，其中光线被聚集在最佳聚焦(焦点)位置。

图4是示出了光线高度与一般成像光学系统的散焦之间的关系的图。

进一步，图5是示出了本实施例的光学系统所成的像附近的光学特性的图。

如图2所示，在一般的成像光学系统中，光线以最高密度聚集在最佳聚焦位置。离最佳聚焦位置越远，模糊直径就越大，基本与散焦量成比例。

与此相反，在本实施例的光学系统110中，如图5所示，与一般成像光学系统不同，光线不聚集在最佳聚焦位置，因此，即使在最佳聚焦位置图像也是模糊的。然而，本实施例的光学系统110被设计为使得模糊形状(PSF)的改变相对于最佳聚焦附近的散焦量更加迟钝。

相应地，当根据最佳聚焦位置的PSF实施模糊恢复处理时，可以消除模糊，当然可以在最佳聚焦位置及其之前和之后获得清晰的图像。

这是本实施例采用的增加深度的原理。

接下来，解释模糊图像恢复处理。

图6是一般光学系统的最佳聚焦位置的MTF(调制传递函数)特性的图。

图7是示出了本实施例的光学系统的MTF特性的图。

通过本实施例的光学系统110并在成像元件120处获得的捕获图像是模糊的，因此MTF从中频区域向高频区域降低。通过运算提升MTF。与作为镜头自身的幅度特性的MTF相比，包括图像处理的总幅度特性被称为“SFR(空间频率响应)”。

造成模糊图像的PSF的频率特性是MTF，因此，被设计为具有将频率特性由此提升至所需SFR特性的增益特性的滤波器是模糊恢复滤波器。与噪声和伪像的平衡决定了应设定多大的增益。

通过这样的模糊恢复滤波器对原始图像应用数字滤波的方法包括对图像应用傅立叶变换并对每个频率在频域与滤波器相乘的方法，以及在空间域进行卷积运算的方法。此处，解释后者的实现方法。卷积运算由以下等式表示。

[等式1]

$B_{(i,j)}=\underset{l=n}{\overset{+n}{\mathrm{\Σ}}}\underset{k=-n}{\overset{+n}{\mathrm{\Σ}}}{f}_{(k,l)}*A_{(i+k,j+l)}$

此处，f表示滤波器内核(此处为了便于计算，使用旋转了180度的滤波器)。

此外，A表示原始图像，B表示滤波后的图像(模糊恢复图像)。

从等式中可以看出，在图像上叠加内核f并加上抽头彼此的乘积的结果被定义为叠加(superimposition)的中心坐标值。

接下来，参照图8A至图8C，以3*3滤波器为例给出具体的解释。

图8A的恢复滤波器(已旋转180度)在滤波器的中心f(0，0)被叠加在图8B所示的模糊图像的A(i，j)上，抽头彼此相乘，这9个乘积之和的值被定义为图8C所示的模糊恢复图像的B(i，j)。

在整个图像中扫描(i，j)时，产生新的B图像。这是数字滤波器。此处，滤波器被用于恢复模糊的目的。因此，通过进行这样的处理，可以执行模糊恢复处理。

在理论上和技术上，即使在显示直通图像期间，也可以持续实施这样的处理，并显示经过模糊恢复处理的图像。

然而，在保持例如30fps的高速率的同时，尝试实时进行这样的卷积运算，必须使用根据滤波器大小的行缓冲器(line buffer)和非常多的乘法器，因此，成本很高，功率消耗很大，因此，这不很现实。

因此，在第一实施例中，在例如显示直通图像期间等不必要进行卷积运算的时段上，不进行卷积运算。卷积运算只在输入对执行捕获的触发时才实施。

在第一实施例中，图像通过光学系统110，并被成像元件120转换为电信号，接着在AFE 130被转换以产生数字图像数据。

接着，在显示直通图像期间，来自成像元件120的图像信号通过切换单元140被送至摄像机信号处理单元160，而绕过图像处理设备150的模糊图像恢复处理。

摄像机信号处理单元160在例如Bayer颜色的情况下，进行去马赛克处理、白平衡处理、伽玛处理、YUV转换等，并将图像实时地输出至监视器。

接下来，当通过例如操作单元190的释放按钮的操作将触发信号输入曝光控制设备200时，来自成像元件120和AFE 130的数字数据通过切换单元140输入图像处理设备150，经过如前所述的模糊图像恢复处理，接着，在摄像机信号处理单元160中对图像处理设备150的输出进行摄像机信号处理。经过摄像机信号处理的图像被存储在存储器170中或在图像监视设备180中显示。

此处，当按下放大按钮时，所捕获的图像被放大并投影在监视器上。在这个状态下，也可以通过移位键的操作改变放大部分的位置。

进一步，在本实施例中，使用图像监视设备180的分辨率作为上限来设定PSF的模糊程度。因此，即使不进行如前所述模糊恢复处理以减轻显示直通图像期间的处理，监视器也可能显示的模糊并不明显。

进一步，在本实施例中，模糊程度的大小被设定为不大于图像监视设备180的像素间距的2倍，因此，在直通图像中的活动图像(liveimage)基本上不会模糊。

当模糊程度被设定为不大于图像间距的2倍时显示基本上不会模糊的原因在于，一般而言，当在监视设备上显示颜色时，光的三原色R、G和B被单独地分配给像素，并且使用至少三个像素为单位来显示颜色。

如图9A至图9D所示，有多种针对像素阵列的技术，包括条纹阵列(stripe array)、对角阵列、Delta阵列和矩形阵列，但在每种技术中，由每个具有至少2×2大小的方形中的像素作为最小单元，形成图像。

相应地，是像素间距的2倍或更小的监视器显示图像的分辨率可以视为是基本上不会引起任何问题的水平。

此外，在本实施例中，在图像处理设备150中进行模糊图像的恢复处理，在摄像机信号处理单元160结束摄像机信号处理时，模糊恢复图像自动输出至图像监视设备180。因此，即使当模糊恢复处理消耗了一定程度的时间时，在处理结束的同时也可以看见结果，因此，摄影师不必进行用于执行恢复处理的特殊操作。

此外，在本实施例中，在显示直通图像期间，具有图像监视设备180的分辨率所需的充分小的尺寸的图像经过摄像机信号处理，而不通过由成像元件120的图像处理设备150构成的模糊转换装置，并接着输出至图像监视设备180，因此，没有对图像处理施加负荷，可以实时高速进行处理。

以下进一步具体解释本实施例的光学系统和图像处理设备的配置和功能。

图10是示出了根据本实施例的变焦光学系统110的配置示例的示意图。该图示出了广角侧。

此外，图11是示出了根据本实施例的在成像镜头设备的远视侧的变焦光学系统的配置示例的示意图。

此外，图12是示出了在根据本实施例的变焦光学系统广角侧的图像高度中心处的斑点形状的图，图13是示出了在根据本实施例的变焦光学系统远视侧的图像高度中心处的斑点形状的图。

图10和图11的变焦光学系统110具有设置在对象侧OBJS的对象侧透镜111、用于在成像元件120中形成图像的成像透镜112、以及光学波阵面调制元件(波阵面编码光学元件)组113，光学波阵面调制元件组113设置在对象侧透镜111和成像透镜112之间，包括相位板(立方相位板)，相位板使由成像透镜112形成在成像元件120的光接收表面上的图像的波阵面变形，并具有例如三维弯曲表面。此外，未示出的光圈被设置在对象侧透镜111和成像透镜112之间。

例如，在本实施例中，提供了可变光圈，在曝光控制(设备)中控制可变光圈的光圈度(开启度)。

应注意，在本实施例中，给出了使用相位板的解释，但是，本发明的光学波阵面调制元件可以包括任何能够使波阵面变形的元件。它们可以包括厚度改变的光学元件(例如如上所述的第三级(third order)相位板)、折射率改变的光学元件(例如，折射率分布类型的波阵面调制透镜)、通过透镜表面的涂层而改变厚度、折射率的光学元件(例如，波阵面编码混合透镜)、能够调制光的相位分布的液晶器件(例如，液晶空间相位调制器件)以及其他光学波阵面调制元件。

图10和图11的变焦光学系统110是将光学相位板113a插入数字摄像机使用的3X变焦系统中的示例。

图示的相位板113a是用于将光学系统会聚的光线规则地发散的光学透镜。通过插入这个相位板，实现了图像可以不聚焦在成像元件120上的任何地方。

换句话说，相位板113a形成了具有较深深度(在图像形成中起中心作用)和光斑(模糊部分)的光线。

通过数字处理将该规则发散的图像恢复为聚焦图像的装置称为“波阵面像差控制光学系统”或深度扩展光学系统DEOS。该处理在图像处理设备150中进行。

此处，解释DEOS的基本原理。

如图14所示，对象的图像f进入DEOS光学系统H的光学系统H中，由此产生了g图像。

这由以下等式表示：

(等式2)

g＝H*f

其中*表示卷积。

为了从产生的图像中找到对象，需要以下处理：

(等式3)

f＝H^-1*g

此处，解释关于H的内核大小和运算系数。

变焦位置被定义为Zpn、Zpn-1、......进一步，这些H函数被定义为Hn、Hn-1、......

斑点是不同的，因此H函数变为如下：

[等式4]

$\mathrm{Hn}=\left(\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right)$

$\mathrm{Hn}-1=\left(\begin{array}{ccc}{a}^{\′}& b^{\′}& c^{\′}\\ d^{\′}& e^{\′}& f^{\′}\\ g^{\′}& h^{\′}& i^{\′}\end{array}\right)$

矩阵的行的数目和/或矩阵的列的数目的差被称为“内核大小”。这些数目是运算系数。

因此，可以在存储器中存储每个H函数，或将PSF定义为对象距离的函数，根据对象距离计算，从而计算出H函数，以便创建针对任何对象距离的最优滤波器。进一步，可以将H函数用作对象距离的函数，根据对象距离直接找到H函数。

在第一实施例中，如图3所示，该设备被配置为在成像元件120接收来自光学系统110的图像，将其输入图像处理设备150，获得根据光学系统的转换系数，并使用获得的转换系数从来自成像元件120的发散图像信号中产生不发散的图像信号。

应注意，在本实施例中，“发散”意为一种现象，其中如上所述，插入相位板113a造成图像的形成不聚焦在成像元件120的任何位置，并且通过相位板113a形成了具有较深深度(在图像形成中起中心作用)和光斑(模糊部分)的光线，由于图像被发散并形成模糊部分的行为，“发散”包括与像差相同的含义。相应地，在本实施例中，也存在发散被解释为像差的情况。

接下来，解释图像处理设备150的配置和处理。

如图3所示，图像处理设备150具有原始缓冲存储器151、卷积运算单元152、作为存储装置的内核数据存储ROM 153以及卷积控制单元154。

卷积控制单元154控制卷积处理的开/关状态、屏幕大小、内核数据的置换等，卷积控制单元154由曝光控制设备200控制。

进一步，该设备在内核数据存储ROM 153中存储预先准备的由每个光学系统的PSF计算的用于卷积的内核数据，如图15或图16所示，获得在曝光控制设备200设定曝光时确定的曝光信息，并通过卷积控制单元154选择和控制内核数据。

应注意，曝光信息包括光圈信息。

在图15的示例中，内核数据A成为对应于光学放大倍数(X1.5)的数据，内核数据B成为对应于光学放大倍数(X5)的数据，内核数据C成为对应于光学放大倍数(X10)的数据。

进一步，在图16的示例中，作为光圈信息，内核数据A成为对应于F数(2.8)的数据，内核数据B成为对应于F数(4)的数据，内核数据C成为对应于F数(5.6)的数据。

如图16的示例中，根据光圈信息实施滤波，这是基于以下原因。

当关闭光圈的同时捕获图像时，形成光学波阵面调制元件的相位板113a被光圈覆盖，相位改变，因此难以恢复正确的图像。

因此，在本实施例中，如本示例中，通过根据曝光信息中的光圈信息进行滤波来实现正确的图像恢复。

图17是示出了根据曝光控制设备200的曝光信息(包括消除光圈)进行切换的流程图。

首先，曝光信息RP被检测并提供给卷积控制单元154(ST101)。

在卷积控制单元154中，根据曝光信息RP，在寄存器中设定内核大小和数值运算系数(ST102)。

接着，基于存储在寄存器中的数据，对由成像元件120所捕获的、经由AFE 130输入二维卷积运算单元152的图像数据进行卷积运算。经处理和转换的数据被传送至摄像机信号处理单元(DSP)160(ST103)。

以下解释信号处理单元和图像处理设备150的内核数据存储ROM的进一步具体示例。

图18是示出了信号处理单元和内核数据存储ROM的配置的第一示例的图。应注意，为了简单起见，省略AFE等。

图18的示例是在根据曝光信息预先准备滤波器内核的情况下的框图。

信号处理单元获得在设定曝光时确定的曝光信息，并通过卷积控制单元154选择和控制内核数据。二维卷积运算单元152通过使用内核数据实施卷积处理。

图19是示出了信号处理单元和内核数据存储ROM的配置的第二示例的图。应注意，为了简单起见，省略AFE等。

图19的示例是在信号处理单元启动时提供噪声降低滤波步骤的情况下的框图，预先准备根据曝光信息的噪声降低滤波ST1，作为滤波器内核数据。

信号处理单元获得在设定曝光时确定的曝光信息，并通过卷积控制单元154选择和控制内核数据。

在实施噪声降低滤波ST1之后，二维卷积运算单元152通过颜色转换处理ST2对颜色空间进行转换，之后使用内核数据实施卷积处理ST3。

信号处理单元再次进行噪声处理ST4，通过颜色转换处理ST5将转换的颜色空间返回为原始颜色空间。对于颜色转换处理，可以提及例如YCbCr转换，但也可以采用其他转换。

应注意，也可以省略第二次噪声处理ST4。

图20是示出了信号处理单元和内核数据存储ROM的配置的第三示例的图。应注意，为了简单起见，省略AFE等。

图20的示例是根据曝光信息预先准备OTF恢复滤波器的情况下的框图。

信号处理单元获得在设定曝光时确定的曝光信息，并通过卷积控制单元154选择和控制内核数据。

在实施噪声降低滤波ST11和颜色转换处理ST12之后，二维卷积运算单元152通过使用OTF恢复滤波器实施卷积处理ST13。

信号处理单元再次进行噪声处理ST14，通过颜色转换处理ST15将转换的颜色空间返回为原始颜色空间。对于颜色转换处理，可以提及例如YCbCr转换，但也可以采用其他转换。

应注意，也可以省略第二次噪声处理ST14。

图21是示出了信号处理单元和内核数据存储ROM的配置的第四示例的图。应注意，为了简单起见，省略AFE等。

图21的示例是提供噪声降低滤波步骤的情况下的框图，预先准备根据曝光信息的噪声降低滤波器，作为滤波器内核数据。

信号处理单元获得在设定曝光时确定的曝光信息，并通过卷积控制单元154选择和控制内核数据。

在实施噪声降低滤波ST21之后，二维卷积运算单元152通过颜色转换处理ST22对颜色空间进行转换，接着使用内核数据实施卷积处理ST23。

信号处理单元根据曝光信息再次进行噪声处理ST24，通过颜色转换处理ST25将转换的颜色空间返回为原始颜色空间。对于颜色转换处理，可以提及例如YCbCr转换，但也可以采用其他转换。

应注意，也可以省略第二次噪声处理ST24。

以上解释了仅根据曝光信息进行滤波的二维卷积运算单元152的示例，但是，通过将例如对象距离信息、变焦信息或图像捕获模式信息与曝光信息相组合，可以提取或处理合适的运算系数。

图22是示出了组合了对象距离信息和曝光信息的图像处理设备的配置的示例图。

图22示出了用于从来自成像元件120的对象的发散图像信号产生不发散的图像信号的图像处理设备300的配置示例。

如图22所示，图像处理设备300具有卷积设备301、内核和/或数值运算系数存储寄存器302以及图像处理处理器303。

在图像处理设备300中，图像处理处理器303获得关于对象的近似距离的信息和曝光信息，所述对象的距离是从对象近似距离信息检测设备400中读出的。图像处理设备300在内核和/或数值运算系数存储寄存器302中存储在合适的对象距离位置运算中使用的内核大小及运算系数，并通过使用这些值由卷积设备301进行合适的运算来恢复图像。

如上所述，当成像设备具有相位板(波阵面编码光学元件)作为光学波阵面调制元件时，若在预定的焦距范围之内，可以通过对于该范围的图像处理来产生合适的无像差的图像信号，但是，若在预定的焦距范围之外，图像处理的校正受到限制，因此，只有超出上述范围的对象最终成为带有像差的图像信号。

另一方面，通过实施在预定的窄范围内不造成像差的图像处理，也可以对超出预定的窄范围的图像提供模糊。

本示例被配置为通过包括距离检测传感器的对象近似距离信息检测设备400检测至主对象的距离，并进行根据所检测的距离而不同的图像校正处理。

上述图像处理通过卷积运算实施。为了实现这一点，例如，可以公共地存储一种卷积运算的运算系数，预先存储根据焦距的校正系数，通过使用所述校正系数校正运算系数，并通过校正的运算系数进行合适的卷积运算。

除了本配置之外，可以采用以下配置。

可以采用以下配置：预先存储根据焦距的内核大小和卷积运算系数本身，并通过这些存储的内核大小和运算系数进行卷积运算，或采用以下配置：预先将根据焦距的运算系数存储为函数，根据焦距通过该函数找到运算系数，并通过计算出的运算系数进行卷积运算，等等。

与图22的配置相联系时，可以采用以下配置。

根据对象距离，在由寄存器302构成的转换系数存储装置中预先存储对应于由至少相位板113a造成的像差的至少两个转换系数。图像处理处理器303用作系数选择装置，用于根据至对象的距离从寄存器302中选择转换系数，所述距离是基于由对象近似距离信息检测设备400构成的对象距离信息产生装置所产生的信息的。

此外，由卷积设备301构成的转换装置根据由图像处理处理器303构成的系数选择装置所选择的转换系数来转换图像信号。

备选地，如上所述，由图像处理处理器303构成的转换系数处理装置基于由对象近似距离信息检测设备400构成的对象距离信息产生装置所产生的信息来运算转换系数，并将结果存储在寄存器302中。

此外，由卷积设备301构成的转换装置根据由图像处理处理器303构成的系数选择装置所获得的并存储在寄存器302中的转换系数来转换图像信号。

备选地，由寄存器302构成的校正值存储装置预先存储根据变焦光学系统110的变焦位置或变焦量至少一个校正值。所述校正值包括对象像差图像的内核大小。

也用作第二转换系数存储装置的寄存器302预先存储对应于相位板113a所造成的像差的转换系数。

接着，基于由对象近似距离信息检测设备400构成的对象距离信息产生装置所产生的距离信息，由图像处理处理器303构成的校正值选择装置根据至对象的距离，从由寄存器302构成的校正值存储装置中选择校正值。

由卷积设备301构成的转换装置基于从由寄存器302构成的校正值存储装置中获得的转换系数以及由图像处理处理器303构成的校正值选择装置所选择的校正值，转换图像信号。

图23是示出了组合了变焦信息和曝光信息的图像处理设备的配置的示例图。

图23示出了用于从来自成像元件120的对象的发散图像信号产生不发散的图像信号的图像处理设备300A的配置示例。

如图23所示，图像处理设备300A同图22中一样，具有卷积设备301、内核和/或数值运算系数存储寄存器302以及图像处理处理器303。

在图像处理设备300A中，图像处理处理器303获得关于变焦位置或变焦量的信息和曝光信息，所述关于变焦位置或变焦量的信息是从变焦信息检测设备500中读出的。图像处理设备300A在内核和/或数值运算系数存储寄存器302中存储用于曝光信息和变焦位置的合适运算的内核大小及运算系数，并使用这些值在卷积设备301进行合适的运算来恢复图像。

如上所述，当在变焦光学系统中提供的成像设备应用相位板作为光学波阵面调制元件时，产生的斑点图像根据变焦光学系统的变焦位置而不同。由于这个原因，当在后的DSP等中对由相位板获得的焦点偏离图像(斑点图像)进行卷积运算时，为了获得合适的聚焦图像，卷积运算必须是根据变焦位置而不同的。

因此，本实施例被配置为具有变焦信息检测设备500，根据变焦位置进行合适的卷积运算，从而不论变焦位置如何均能获得合适的聚焦图像。

为了在图像处理设备300A中进行合适的卷积运算，可以配置系统，在寄存器302中公共地存储一种卷积运算系数。

除了本配置之外，可以采用以下配置。

可以采用以下配置：根据每个变焦位置，预先在寄存器302中存储校正系数，使用校正系数校正运算系数，并通过校正的运算系数进行卷积运算，或采用以下配置：根据每个运算位置，预先在寄存器302中存储内核大小和卷积运算系数本身，并通过这些存储的内核大小和运算系数进行卷积运算，或采用以下配置：根据缩放位置，将运算系数在寄存器302中预先存储为函数，根据变焦位置通过该函数找到运算系数，并通过计算的运算系数进行卷积运算等等。

与图23的配置相联系时，可以采用以下配置。

根据变焦光学系统110的变焦位置或变焦量，在由寄存器302构成的转换系数存储装置中存储对应于由至少相位板113a所造成的像差的至少两个转换系数。图像处理处理器303用作系数选择装置，用于根据变焦光学系统110的变焦位置或变焦量从寄存器302中选择转换系数，所述变焦位置或变焦量是基于由变焦信息检测设备500构成的变焦信息产生装置所产生的信息的。

接着，由卷积设备301构成的转换装置根据由图像处理处理器303构成的系数选择装置所选择的转换系数，转换图像信号。

备选地，如上所述，由图像处理处理器303构成的转换系数处理装置基于由变焦信息检测设备500构成的变焦信息产生装置所产生的信息来运算转换系数，并将结果存储在寄存器302中。

接着，由卷积设备301构成的转换装置根据由图像处理处理器303构成的系数选择装置所获得的并存储在寄存器302中的转换系数，来转换图像信号。

备选地，由寄存器302构成的校正值存储装置根据变焦光学系统110的变焦位置或变焦量预先存储至少一个校正值。所述校正值包括对象像差图像的内核大小。

也用作第二转换系数存储装置的寄存器302预先存储对应于相位板113a所造成的像差的转换系数。

接着，基于由变焦信息检测设备500构成的变焦信息产生装置所产生的变焦信息，由图像处理处理器303构成的校正值选择装置根据变焦位置或变焦量，从由寄存器302构成的校正值存储装置中选择校正值。

由卷积设备301构成的转换装置基于从由寄存器302构成的校正值存储装置中获得的转换系数以及由图像处理处理器303构成的校正值选择装置所选择的校正值，来转换图像信号。

图24是示出了滤波器的配置的示例图，其中使用了曝光信息、对象距离信息和变焦信息。

在本示例中，对象距离信息和变焦信息形成了二维信息，曝光信息形成了如深度之类的信息。

图25是示出了组合了图像捕获模式信息和曝光信息的图像处理设备的配置的示例图。

图25示出了用于从来自成像元件120的对象的发散图像信号产生不发散的图像信号的图像处理设备300B的配置示例。

如图25所示，图像处理设备300B同图22和图23中一样，具有卷积设备301、由内核和/或数值运算系数存储寄存器302构成的存储装置以及图像处理处理器303。

在图像处理设备300B中，图像处理处理器303获得关于对象的对象距离的近似距离的信息和曝光信息，所述对象的近似距离是从对象近似距离信息检测设备600中读出的。图像处理设备300B在内核和/或数值运算系数存储寄存器302中存储在合适的对象距离位置运算中使用的内核大小及操作系数，并通过使用这些值在卷积设备301进行合适的操作来恢复图像。

在这种情况下，如上所述，当成像设备具有相位板(波阵面编码光学元件)作为光学波阵面调制元件时，若在预定的焦距范围之内，可以通过对于该范围的图像处理来产生合适的无像差的图像信号，但是，若在预定的焦距范围之外，图像处理的校正受到限制，因此，只有超出上述范围的对象最终成为带有像差的图像信号。

另一方面，通过实施在预定的窄范围内不造成像差的图像处理，也可以对超出预定的窄范围的图像提供模糊。

本示例被配置为通过包括距离检测传感器的对象近似距离信息检测设备600来检测至主对象的距离，并进行根据所检测的距离而不同的图像校正处理。

上述图像处理通过卷积运算实施。为了实现这一点，可以采用以下配置：公共地存储一种卷积运算的运算系数，根据对象距离，预先存储校正系数，通过使用所述校正系数校正运算系数，并通过校正的运算系数进行合适的卷积运算，或采用以下配置：根据对象距离，预先将运算系数存储为函数，根据焦距通过该函数找到运算系数，并通过计算出的运算系数进行卷积运算，或采用以下配置：根据对象距离，预先存储内核大小和卷积运算系数本身，并通过这些存储的内核大小和运算系数进行卷积运算，等等。

在本实施例中，如上所述，根据DSC的模式设定(人像、无限远(风景)和宏距(macro))改变图像处理。

与图25的配置相联系时，可以采用以下配置。

如上所述，根据每个图像的捕获模式而不同的转换系数通过由图像处理处理器303构成的转换系数处理装置，存储在由寄存器302构成的转换系数存储装置中，所述图像的捕获模式由操作单元190的图像捕获模式设定单元700进行设定。

图像处理处理器303根据图像捕获模式设定单元700的操作开关701所设定的图像捕获模式，基于由对象近似距离信息检测设备600构成的对象距离信息产生装置所产生的信息，从由寄存器302构成的转换系数存储装置中提取转换系数。

进一步，由卷积设备301构成的转换装置根据图像信号的图像捕获模式，并根据存储在寄存器302中的转换系数来进行转换处理。

应注意，图10和图11中的光学系统仅作为示例。本发明不总是用于图10和图11中的光学系统。此外，对于斑点形状，图12和图13也仅作为示例，本实施例的斑形状不局限于图12和图13所示的斑形状。

此外，图15和图16的内核数据存储ROM不总是用于光学放大倍数、F数、每个内核的大小以及每个内核的值。此外，所准备的内核数据的数量也不局限于3个。

如图24所示，通过采用三维或进一步四维，存储量变得更大，但可以考虑各种条件并选择更加合适的条件。信息可以是曝光信息、对象距离信息、变焦信息、捕获模式信息等等。

应注意，如上所述，当成像设备具有相位板(波阵面编码光学元件)作为光学波阵面调制元件时，若在预定的焦距范围之内，可以通过对于该范围的图像处理来产生合适的无像差的图像信号，但是，若在预定的焦距范围之外，图像处理的校正受到限制，因此，只有超出上述范围的对象最终成为带有像差的图像信号。

另一方面，通过实施在预定的窄范围内不造成像差的图像处理，也可以对超出预定的窄范围的图像提供模糊。

在本实施例中，采用了DEOS，因此，可以获得高清晰度的图像质量。此外，可以简化光学系统，并降低成本。

以下解释特有特征。

图26A至图26C示出了成像元件120的光接收表面上的斑点图像。

图26A是示出了焦点偏离0.2mm(散焦＝0.2mm)时的斑点图像的图，图26B是示出了聚焦(最佳聚焦)时的斑点图像的图，图26C是示出了焦点偏离-0.2mm(散焦＝-0.2mm)时的斑点图像的图。

从图26A至图26C可以看出，在根据本实施例的成像设备100中，由包括相位板113a的波阵面形成光学元件组113所形成的光线具有较深的深度(在图像形成中起中心作用)和光斑(模糊部分)。

按照这种方式，对本实施例的成像设备100中形成的第一级图像FIM给出了产生较深的深度的光线条件。

图27A和27B是用于解释根据本实施例的由成像镜头设备形成的第一级图像的调制传递函数(MTF)的图，其中图27A是示出了成像镜头设备的成像元件的光接收表面上的斑点图像的图，图27B示出了关于空间频率的MTF特性。

在本实施例中，将高清晰度的最终图像留给后一级的被配置为例如数字信号处理器的图像处理设备150的校正处理。因此，如图27A和27B所示，第一级图像的MTF实质上变为非常低的值。

如上所述，图像处理设备150从成像元件120接收第一级图像FIM，实施预定的校正处理等，以提升第一级图像的空间频率上的MTF，并形成高清晰度的最终图像FNLIM。

图像处理设备150的MTF校正处理使用空间频率作为参数，通过如边缘增强和色度增强之类的后处理进行校正，使例如图28的曲线A所指示的、实质上变为很低的值的第一级图像的MTF接近(达到)图28中曲线B所指示的特性。

图28中曲线B所指示的特性是在未使用波阵面形成光学元件以及波阵面未如例如本实施例中那样被变形的情况下获得的特性。

应注意，本实施例中所有的校正是根据空间频率参数的。

在本实施例中，如图28所示，对于光学地获得的空间频率，为了达到要相对于MTF特性曲线A而最终实现的MTF特性曲线B，针对每个空间频率调整边缘增强等的强度，以校正原始图像(第一级图像)。

例如，对于图28的MTF特性，关于空间频率的边缘增强的曲线成为如图29所示。

也就是说，通过在空间频率的预定带宽之内的低频率侧和高频率侧减弱边缘增强，并对中频区域加强边缘增强，来进行校正，实际上实现了所需的MTF特性曲线B。

按照这种方式，根据本实施例的成像设备100是一种基本上由光学系统110、成像元件120和图像处理设备150配置而成的图像形成系统，光学系统110和成像元件120用于形成第一级图像，图像处理设备150用于将第一级图像形成高清晰度的最终图像。光学系统最新具有波阵面形成光学元件或具有玻璃、塑料或具有用于波阵面形成的形状的表面的其他光学元件，以便使所形成的图像的波阵面变形(调制)。这样的波阵面聚焦在由CCD或CMOS传感器形成的成像元件120的成像表面(光接收表面)上。使聚焦的第一级图像通过图像处理设备150，以获得高清晰度的图像。

在本实施例中，对来自成像元件120的第一级图像给出了非常深的深度的光线条件。由于这个原因，第一级图像的MTF实质上成为了很低的值，其MTF由图像处理设备150进行校正。

因此，从波光学方面考虑了本实施例的成像设备100中的图像形成的处理。

从对象点的一个点散射出的球面波在通过成像光学系统之后成为会聚波。当成像光学系统不是理想的光学系统时将发生像差。波阵面变得不是球面形，而是复杂的形状。波阵面光学架起了几何光学和波光学之间的桥梁。这在处理波阵面现象时很方便。

处理成像平面上的波光学MTF时，成像光学系统的出口瞳孔(pupil)位置处的波阵面信息很重要。

通过成像点的波光学强度分布的傅立叶变换，计算MTF。波光学强度分布是通过波光学幅度分布的平方而获得的。波光学幅度分布是通过出口瞳孔的瞳孔函数的傅立叶变换得到的。

进一步，瞳孔函数仅是在出口瞳孔位置处的波阵面信息(波阵面像差)，因此，若可以通过光学系统110将波阵面像差严格计算为数值，则可以计算MTF。

相应地，若通过预定技术修改出口瞳孔位置处的波阵面信息，可以自由地改变成像平面上的MTF值。

同样在本实施例中，波阵面的形状主要由波阵面形成光学元件改变。确实，可以通过调整相位(沿光线的光路长度)来形成所需的波阵面。

接着，当形成目标波阵面时，从出口瞳孔发射的光线由密光线部分和疏光线部分形成，这可以从图26A至图26C所示的几何光学点斑图像上看出。

该光线状态的MTF在空间频率低的位置处显示为较低的值，并以某种方式保持这样的分辨率直至空间频率高的位置处。

也就是说，若该MTF值低(或从几何光学上讲，斑点图像的状态)，则不会造成混叠现象。

这就是说，低通滤波器是不必要的。

此外，造成MTF值下降的类似光斑的图像可以通过由后一级DSP等配置的图像处理设备来进行消除。由于这一点，MTF值得到了明显改善。

接下来，考虑本实施例及传统光学系统的MTF响应。

图30是示出了在一般光学系统中当对象位于焦点位置时和当对象偏离焦点位置时的MTF响应的图。

图31是示出了在本实施例的具有光学波阵面调制元件的光学系统中，当对象位于焦点位置时和当对象偏离焦点位置时的MTF响应的图。

进一步，图32是示出了根据本实施例的成像设备在数据恢复之后的MTF响应的图。

从这些图中也可以看出，在具有光学波阵面调制元件的光学系统中，即使在对象偏离焦点位置时，MTF响应的变化也小于在未插入光学波阵面调制元件的光学系统中的MTF响应的变化。

由这样的光学系统所形成的图像经过卷积滤波器的处理，从而改善了MTF响应。

如上所述，根据本实施例，提供了光学系统110，其被设计为使图像即使在焦点位置也不聚焦，但PSF(点扩展函数)在焦点位置之前和之后变为几乎恒定；提供了成像元件120，其捕获光学系统的图像；提供了图像处理设备150，其进行模糊恢复处理；提供了摄像机信号处理单元160，其获得最终图像；提供了图像监视设备180，其显示从摄像机信号处理单元160输出的图像，显示直通图像以便确定图像角度和捕获定时，并显示捕获的图像；提供了操作单元190，其能够产生用于捕获图像的触发信号；提供了控制设备200，其进行控制，以便在显示直通图像期间使成像元件的图像信号不经过进行模糊恢复处理的图像处理设备150而直接输入摄像机信号处理单元160，在图像处理设备150根据PSF对通过接收触发信号而捕获的图像进行模糊恢复处理，并将图像输出至摄像机信号处理单元160，因此获得了以下效果。

在显示用于确定组成的直通图像期间，可以在保持高帧率的同时，向在捕获图像时的模糊恢复处理提供一定程度的时间，因此不必需昂贵的硬件。进一步，即使实施了放大捕获图像和移动放大部分的操作，由于对捕获图像的整个图像进行模糊恢复，因此，可以精确地检查细节部分，在操作和观看中不会出现任何不自然现象。

进一步，前述的PSF的模糊程度被设定为不大于图像监视设备180的像素间距的2倍，因此，即使直通图像由于具有与监视器相同的精细度而模糊，在监视器上也不会因此发生令人烦恼的模糊。

进一步，在对通过接收触发信号而捕获的图像进行模糊恢复处理的图像处理设备150中根据PSF进行模糊恢复处理之后并进行了摄像机处理之后，将图像输出至监视器。因此，即使模糊恢复处理消耗了一定程度的时间，用户只需等待图像自动出现。也可以消除甚至在用户进行一些操作时图像也不出现的抱怨。

进一步，在显示直通图像期间，从成像元件120输出具有可以满足监视器所要求的较小的图像大小水平的图像，因此，在显示直通图像期间可以实现高帧率，在资源中创建额外的余量，从而降低功率消耗。

进一步，根据本实施例，所述设备包括形成第一级图像的光学系统110和成像元件120及将第一级图像形成为高清晰度的最终图像的图像处理设备150。图像处理设备150根据从曝光控制设备200得到的曝光信息执行有关光学传递函数(OTF)的滤波。因此，优点在于，可以简化光学系统，降低成本，此外可以获得具有很小噪声影响的恢复图像。

进一步，通过使卷积运算时使用的内核大小和用于图像处理设备150的数值运算的系数可变，并将由操作单元190等的输入得到的合适的内核大小与上述系数相联系，优点在于，设计镜头时可以不必担心放大倍数和散焦范围，使通过高精度卷积的图像恢复成为可能。

进一步，优点在于，可以在不需要具有高难度、昂贵成本和大尺寸的光学镜头且不需要驱动镜头的情况下，获得所谓的自然图像，其中要捕获的图像在焦点上，但背景是模糊的。

此外，根据本实施例的成像设备100可以用于数字摄像机、可携式摄像机或其他消费电子设备中的变焦镜头的DEOS，所述变焦镜头的设计考虑了小尺寸、轻重量和成本。

进一步，在本实施例中，由于所述设备具有成像镜头系统，所述成像镜头系统具有用于使由成像透镜112在成像元件120的光接收表面所形成的图像的波阵面变形的波阵面形成光学元件，所述设备还具有图像处理设备150，用于接收由成像元件120形成的第一级图像FIM并实施预定的校正处理等，以提升在第一级图像的空间频率的MTF并形成高清晰度的最终图像FNLIM，所以优点在于可以获取高清晰度的图像质量。

进一步，可以简化光学系统110的配置，容易制造，并可以降低成本。

当使用CCD或CMOS传感器作为成像元件时，像素间距确定了分辨率界限。当光学系统的分辨率超过分辨率功率界限时，产生混叠现象，对最终图像造成不利影响。这是众所周知的事实。

为了提高图像质量，希望尽可能多地提高对比度，但这需要高性能的镜头系统。

然而，如上所述，当使用CCD或CMOS传感器作用成像元件时，将发生混叠。

目前，为了避免混叠的发生，成像镜头系统联合地一并使用由单轴晶体系统制成的低通滤波器，从而避免混叠现象。

按照这种方式联合使用低通滤波器在原理上是正确的，但是，低通滤波器本身是由晶体制成，因此很昂贵而难以管理。进一步，其缺点在于，由于用于光学系统中，光学系统变得更加复杂。

如上所述，时代的趋势是需要更高清晰度的图像质量。为了形成高清晰度图像，传统成像镜头设备中的光学系统将变得更加复杂。如果复杂，生产就变得困难。同时，利用昂贵的低通滤波器导致了成本的增加。

然而，根据本实施例，可以在不使用低通滤波器的情况下避免混叠现象的发生，可以获得高清晰度图像质量。

应注意，在本实施例中，示出了在从光圈角度的对象侧设置光学系统的波阵面形成光学元件的示例，但是与上述示例相同的功能性效果也可以通过甚至在与光圈相同的位置或在从光圈角度的聚焦透镜侧的位置设置波阵面形成光学元件来获得。

应注意，图10和图11中的光学系统仅作为示例。本发明不总是用于图10和图11中的光学系统。进一步，对于斑点形状，图12和图13也仅作为示例，本实施例的斑点形状不局限于图12和图13所示的斑点形状。

进一步，图15和图16的内核数据存储ROM不总是用于光学放大倍数、F数、每个内核的大小以及每个内核的值。进一步，所准备的内核数据的数量也不局限于3个。

图33是示出了根据本发明的第二实施例的成像设备的配置框图。

根据第二实施例的成像设备100A与根据上述第一实施例的成像设备100的区别在于，除了对应于图3的切换单元140的第一切换单元140-1之外，还提供了第二切换单元140-2、用于在静止图像图像捕获模式时的图像处理设备150的图像恢复处理的第一滤波器210、以及用于在捕获运动图像和/或显示直通图像时的图像处理设备150的图像恢复处理的第二滤波器220，所做的配置是可以选择性地切换用于在捕获静止图像时、捕获运动图像时以及捕获直通图像时的图像恢复处理的滤波器。

第一切换单元140-1根据从曝光控制设备200来的切换控制信号SCTL1，选择性地将成像元件120捕获的图像信号经由AFE 130输入至图像处理设备150或摄像机信号处理单元160。

在第一切换单元140-1中，固定触点a与AFE 130的A/D转换器132的输出线连接，工作触点b与图像处理设备150的输入线连接，工作触点c与摄像机信号处理单元160的信号输入线连接。

例如，当在监视设备180中显示直通图像时，在显示直通图像期间，控制切换单元140，以使固定触点a与工作触点c连接。另一方面，当捕获图像以及在存储器170中存储图像时，控制切换单元140，以使固定触点a与工作触点b连接。

根据从曝光控制设备200来的切换控制信号SCTL2，控制第二切换单元140-2，使第一滤波器210或第二滤波器220与图像处理设备150连接，根据图像捕获模式选择性地使用滤波器，进行后面解释的图像处理设备150的二维卷积处理。

第二切换单元140-2中，固定触点a与图像处理设备150的输入/输出线连接，工作触点b与第一滤波器210连接，工作触点c与第二滤波器220连接。

控制第二切换单元140-2，以使固定触点a与工作触点b连接，以便使用第一滤波器210进行图像处理设备150的图像恢复处理。另一方面，在捕获运动图像和/或显示直通图像时，控制第二切换单元140-2，使固定触点a与工作触点c连接，以便使用第二滤波器220进行图像处理设备150的图像恢复处理。

在第二实施例中，第二滤波器220具有图像的边缘增强和带宽增强功能。可以采用例如低通滤波器、高通滤波器、卷积滤波器等，作为具有边缘增强和带宽增强功能的滤波器。卷积滤波器形成为使用采样PSF(点扩展函数)的图像恢复滤波器。

例如，图像处理设备150中，在显示直通图像期间，图像处理设备150不使用第一滤波器210进行卷积运算，而使用第二滤波器220进行所谓的简单恢复处理。

本实施例被配置为，通过使用根据由图像监视设备180构成的图像监视装置的分辨率而采样的PSF，来进行简单恢复处理，甚至对于直通图像，也可以获得根据图像监视设备180的图像质量。

进一步，在本实施例中，第二滤波器220的大小被设定为小于第一滤波器210的大小。

进一步，在本实施例的曝光控制设备200A中，例如，可以从以下配置和其他各种配置和功能中选择配置：在一种配置中，第一切换单元140-1和第二切换单元140-2均根据用作设定装置和触发信号产生装置的操作单元190的操作内容进行切换控制操作；在一种配置中，第一切换单元140-1不进行切换操作，而是将固定触点a与工作触点b以固定方式连接；在一种配置中，在图像处理设备150的图像恢复处理中仅使用第一滤波器或仅使用第二滤波器或两个滤波器都不使用，且不操作第二切换单元140-2；在一种配置中，在捕获运动图像时和显示直通图像时，设定是/否使用滤波器执行图像恢复处理。

曝光控制设备200A进行曝光控制，并同时等待操作单元190等的操作输入，根据这些输入确定整个系统的操作，控制AFE 130、图像处理设备150、DSP 160等，并执行整个系统的调解控制。

曝光控制设备200A，例如在显示直通图像期间，通过切换控制信号SCTL1将切换单元140-1的固定触点a与工作触点c连接，并将未经恢复处理的成像元件120捕获的图像信号直接输入摄像机信号处理单元160。

另一方面，曝光控制设备200A在接收到来自操作单元190的触发信号时，判断该模式是用于捕获图像并在存储器170中存储图像，通过切换控制信号SCTL1将切换单元140-1的固定触点a与工作触点b连接，将图像输入图像处理设备150，以便实施恢复处理。

也就是说，曝光控制设备200A使图像处理设备150对通过接收触发信号而捕获的图像进行恢复处理，接着使摄像机信号处理单元160实施预定的图像处理，然后使图像监视设备180显示图像。

进一步，曝光控制设备200A通过例如摄像机信号处理单元160，向定时产生器131发出指令，以便在图像监视设备180显示直通图像期间，从成像元件120输出由图像监视设备180的分辨率所必需的能够足够分辨的图像。

进一步，第二实施例的曝光控制设备200A根据操作单元190的操作，通过切换控制信号SCTL2控制第二切换单元140-2，在静止图像捕获模式下，使固定触点a与工作触点b连接，以使用第一滤波器210进行图像处理设备150的图像恢复处理，在捕获运动图像和/或显示直通图像时，控制第二切换单元140-2，使固定触点a与工作触点c连接，以使用第二滤波器220进行图像处理设备150的图像恢复处理。

进一步，在本实施例中，根据操作单元190的操作，曝光控制设备200A可以进行控制，以在捕获运动图像时显示直通图像期间向摄像机信号处理单元160输入未在图像处理设备150经过图像恢复处理的图像信号，并在将图像存储在存储器170中时通过图像处理设备150执行图像恢复处理。

备选地，根据操作单元190的操作，曝光控制设备200A可以进行控制，以在捕获运动图像时向摄像机信号处理单元160输入未在图像处理设备150经过图像恢复处理的图像信号，并将图像信号存储在存储器170中，并在从存储器170中再现该图像时，通过图像处理设备150执行图像恢复处理。

图34是示出了在根据图像捕获模式进行图像恢复处理时的基本控制流程图。

在捕获时，图像数据从第一切换单元140-1送至图像处理设备150。

在这种情况下，图像捕获模式为“捕获”(ST111)，因此，第一滤波器210通过第二切换单元140-2与图像处理设备150连接，使用第一滤波器210实施卷积运算(ST116、ST114)。

当用户通过操作单元190将“不进行图像恢复处理”选择为预览时的处理(ST111、ST112)时，图像数据从成像元件通过第一切换单元140-1并被直接传送至摄像机信号处理单元160，并在其中受到预定的处理(ST115)。

当选择了恢复处理时(ST112)，图像数据从第一切换单元140-1送至图像处理设备150。接着，由于图像捕获模式是预览时，选择在捕获运动图像时使用的第二滤波器220。通过在捕获时、预览时和捕获运动图像时使用具有不同大小的滤波器，来实施卷积处理(ST113、ST114)。

其余配置与上述第一实施例相同。

如上所述，根据第二实施例，提供了光学系统110，被设计为使图像即使在焦点位置也不聚焦，但PSF(点扩展函数)在大致焦点的位置变为几乎恒定；提供了成像元件120，其捕获光学系统的图像；提供了图像处理设备150，其进行模糊恢复处理；提供了摄像机信号处理单元160，其获得最终图像；提供了图像监视设备180，其显示从摄像机信号处理单元160输出的图像，显示直通图像以便确定图像角度和捕获定时，并显示捕获的图像；提供了第一滤波器210，其在静止图像捕获模式时用于转换装置的图像恢复处理；提供了第二滤波器220，其在捕获运动图像和/或显示直通图像时用于转换装置的图像恢复处理；并提供了第二切换单元140-2，其根据图像捕获模式选择第一滤波器或第二滤波器。根据图像捕获模式在图像处理设备150实施图像恢复处理，因此在上述第一实施例的效果之外还可以获得以下效果。

根据第二实施例，在捕获时、预览时和捕获运动图像时，图像恢复处理也可以实时进行，可以获得聚焦的恢复图像而不使恢复的图像劣化。

进一步，当不需要图像恢复处理，特别是在预览时，例如，若选择了在预览时不进行图像恢复处理，可以实现降低光学系统的功率消耗。

也就是说，根据上述配置，通过在用于确定图像角度和快门定时的显示直通图像期间进行简单恢复处理，可以在输出大小仅仅足以用于监视器显示的较好图像的同时，设定高速度的帧率。在捕获图像时，可以第一时间实施恢复处理，因此可以消耗一定程度的时间作为处理时间，因此，配置低价格的恢复处理系统成为可能。

应注意，通过以单个光学系统为例，解释了的上述实施例，但是本发明也可以应用于具有多个光学系统的成像设备中。

图35是示出了根据本发明的第三实施例的具有多个光学系统的成像设备的配置框图。

根据第三实施例的成像设备100B与根据第一实施例的成像设备100(图3)的区别在于，光学单元110B具有多个(在本实施例中两个)光学系统110-1和110-2，提供了系统控制设备200B替代曝光控制设备200，还提供了光学系统切换控制单元210B。

光学单元110B具有多个(在本实施例中两个)光学系统110-1和110-2，根据光学系统切换控制单元210B的切换，依次为成像元件120提供捕获对象OBJ的图像。

光学系统110-1和110-2具有不同的光学放大倍数，光学地获取成像的对象OBJ的图像。

系统控制设备200B与曝光控制设备具有基本相同的功能，等待操作单元190等的操作输入，根据这些输入确定整个系统的操作，控制光学系统切换控制单元210B、AFE 130、切换单元140、图像处理设备150、DSP 160等，并执行整个系统的调解控制。

其余部分的配置与图3相同。

图36是示出了用于设定系统控制设备200B的光学系统的处理的示意流程图。

首先，确认(ST121)光学系统，并设定(ST122)内核数据。

若操作单元190的操作指示了光学系统的切换(ST123)，则由光学系统切换控制单元210B切换光学单元110B的光学系统的输出，并实施(ST124)步骤ST121的处理。

根据图35的实施例，除上述图3的成像设备的效果之外，可以获得以下效果。

也就是说，图35的成像设备包括形成第一级图像的具有不同放大倍数的多个光学系统110-1和110-2的光学单元110B、成像元件120及将第一级图像形成为高清晰度的最终图像的图像处理设备150。在图像处理设备150中，通过使图像处理设备150的卷积运算时使用的内核大小和用于数值处理的系数可以根据光学系统的放大倍数而变化通过操作单元190等的输入获知光学系统的放大倍数，并根据光学系统的放大倍数或上述系数与合适的内核大小相联系，优点在于，设计镜头时可以不必担心放大倍数和散焦范围，使通过高精度卷积的图像恢复成为可能。

进一步，优点在于，可以在不需要具有高难度、昂贵成本和大尺寸的光学镜头且不需要驱动镜头的情况下，获得所谓的自然图像，其中要捕获的图像在焦点上，但背景是模糊的。

此外，根据第三实施例的成像设备100B可以用于数字摄像机、可携式摄像机或其他消费电子设备中的变焦镜头的DEOS，所述变焦镜头的设计考虑了小尺寸、轻重量和成本。

图37是示出了根据本发明的第四实施例的具有多个光学系统的成像设备的配置框图。

根据第四实施例的成像设备100C与根据第二实施例的成像设备100(图33)的区别在于，光学单元110C具有多个(在本实施例中两个)光学系统110-1和110-2，提供了系统控制设备200C替代曝光控制设备200，还提供了光学系统切换控制单元210C。

光学单元110C具有多个(在本实施例中两个)光学系统110-1和110-2，根据光学系统切换控制单元210C的切换，依次为成像元件120提供捕获对象OBJ的图像。

光学系统110-1和110-2具有不同的光学放大倍数，光学地获取成像的对象OBJ的图像。

系统控制设备200C与曝光控制设备具有基本相同的功能，等待操作单元190等的操作输入，根据这些输入确定整个系统的操作，控制光学系统切换控制单元210C、AFE 130、切换单元140、图像处理设备150、DSP 160等，并执行整个系统的调解控制。

其余部分的配置与图33相同。

应注意，用于设定系统控制设备200C的光学系统的处理与图36所示的流程图大体相同，因此此处略去其解释。

根据图37的实施例，除上述图33的成像设备的效果之外，可以获得以下效果。

也就是说，图37的成像设备包括形成第一级图像的具有不同放大倍数的多个光学系统110-1和110-2的光学单元110C、成像元件120及将第一级图像形成为高清晰度的最终图像的图像处理设备150。在图像处理设备150中，通过使图像处理设备150的卷积运算时使用的内核大小和用于数值处理的系数可以根据光学系统的放大倍数而变化，由操作单元190等的输入获知光学系统的放大倍数，并根据光学系统的放大倍数或上述系数与合适的内核大小相联系，优点在于，设计镜头时可以不必担心放大倍数和散焦范围，使通过高精度卷积的图像恢复成为可能。

进一步，优点在于，可以在不需要具有高难度、昂贵成本和大尺寸的光学镜头且不需要驱动镜头的情况下，获得所谓的自然图像，其中要捕获的图像在焦点上，但背景是模糊的。

此外，根据第三实施例的成像设备100C可以用于数字摄像机、可携式摄像机或其他消费电子设备中的变焦镜头的DEOS，所述变焦镜头的设计考虑了小尺寸、轻重量和成本。

工业实用性

根据本发明，在保持高帧率的同时简化了光学系统，但不需要昂贵的模糊恢复处理硬件，因此降低了成本，此外，可以获得带有很少噪声影响的恢复图像，因此，本发明可以应用于数字摄像机、安装在移动电话上的摄像机、安装在个人数字助理上的摄像机、图像检查设备、用于自动控制的工业摄像机等等。

Claims (22)

1.一种成像设备，包括

光学系统，形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，

成像元件，用于捕获通过所述光学系统的对象图像，

转换装置，用于校正来自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号，

信号处理装置，用于对所述图像信号进行预定的图像处理，

切换装置，用于输入来自所述成像元件的图像信号，并将输入的图像信号选择性地输出至所述转换装置或所述信号处理装置，

存储装置，用于存储所述信号处理装置已处理的图像，

触发信号产生装置，用于产生对图像存储进行指示的触发信号，

图像监视装置，用于显示所述信号处理装置已处理的图像，以及

控制装置，用于在直接显示来自所述成像元件的图像信号期间，通过所述切换装置将来自所述成像元件的图像信号输入至所述信号处理装置，或者在接收到来自所述触发信号产生装置的触发信号时将来自所述成像元件的图像信号通过所述切换装置输入至所述转换装置，以校正图像的焦点的模糊并将结果图像输出至所述信号处理装置。

2.如权利要求1所述的成像设备，其中，使用所述图像监视装置的分辨率作为上限来设定焦点的模糊量。

3.如权利要求1所述的成像设备，其中，所述图像监视装置的分辨率被设定为不大于所述图像监视装置的像素间距的2倍。

4.如权利要求1所述的成像设备，其中，所述控制装置通过所述转换装置恢复通过接收所述触发信号而捕获的图像，接着在所述信号处理装置处理所述图像之后使所述图像监视装置显示所述图像。

5.如权利要求1所述的成像设备，其中，在显示所述直通图像期间，所述控制装置使所述成像元件输出具有所述图像监视装置的分辨率所要求的足够的分辨率的图像。

6.一种成像设备，包括

光学系统，形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，

成像元件，用于捕获通过所述光学系统的对象图像，

转换装置，用于校正来自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号，

第一滤波器，用于在静止图像捕获模式时的所述转换装置的图像恢复处理，

第二滤波器，用于在运动图像捕获模式时或显示直通图像时的所述转换装置的图像恢复处理，

信号处理装置，用于对图像信号进行预定的图像处理，

图像监视装置，用于显示所述信号处理装置已处理的图像，以及

设定装置，其能够设定在捕获运动图像时和显示直通图像时是/否使用第二滤波器执行图像恢复处理，

其中，所述转换装置根据捕获模式或者是/否显示直通图像，选择第一滤波器或第二滤波器并进行图像恢复处理。

7.如权利要求6所述的成像设备，其中，所述转换装置根据所述图像监视装置的分辨率，使用第二滤波器进行简单恢复处理。

8.如权利要求7所述的成像设备，其中，第二滤波器包括使用采样点扩展函数PSF的图像恢复滤波器。

9.如权利要求6所述的成像设备，其中，第二滤波器具有带宽增强功能。

10.如权利要求6所述的成像设备，其中，第二滤波器的大小小于第一滤波器的大小。

11.如权利要求6所述的成像设备，其中，所述设备还具有

触发信号产生装置，用于产生触发信号，以及

控制装置，用于在显示直通图像期间将经过所述转换装置中的第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，并在接收到来自所述触发信号产生装置的触发信号时，将经过所述转换装置中的第一滤波器的图像恢复处理的图像信号输入至所述信号处理装置。

12.如权利要求11所述的成像设备，其中，所述设备具有用于存储图像的存储装置，

在捕获运动图像时，所述控制装置将经过第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，以显示直通图像，以及在所述存储装置中存储图像时，所述控制装置通过所述转换装置中的第一滤波器执行图像恢复处理。

13.如权利要求11所述的成像设备，其中，所述设备具有用于存储图像的存储装置，

在捕获运动图像时，所述控制装置将经过第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，并在所述存储装置中存储该图像信号。

14.如权利要求6所述的成像设备，其中，所述设备还具有

切换装置，用于输入来自所述成像元件的图像信号，并将输入的图像信号选择性地输出至所述转换装置或所述信号处理装置，

触发信号产生装置，用于产生触发信号，以及

控制装置，用于在显示直通图像期间将来自所述成像元件的图像信号通过所述切换装置输入至所述信号处理装置，或者在接收到来自所述触发信号产生装置的触发信号时将来自所述成像元件的图像信号通过所述切换装置输入至所述转换装置，以校正图像的焦点的模糊并将结果图像输出至所述信号处理装置。

15.如权利要求14所述的成像设备，其中，所述设备具有用于存储图像的存储装置，

在捕获运动图像时，所述控制装置将来自所述成像元件的未经过图像恢复处理的图像信号输入至所述图像处理装置用于显示直通图像，以及在所述存储装置中存储图像时，所述控制装置通过所述转换装置执行图像恢复处理。

16.如权利要求14所述的成像设备，其中，所述设备具有用于存储图像的存储装置，

在捕获运动图像时，所述控制装置将来自所述成像元件的未经过图像恢复处理的图像信号输入至所述图像处理装置，并在所述存储装置中存储未经过图像恢复处理的图像，以及在从所述存储装置再现图像时，所述控制装置通过所述转换装置执行图像恢复处理。

17.如权利要求6所述的成像设备，其中，

使用所述图像监视装置的分辨率作为上限来设定焦点的模糊量。

18.如权利要求6所述的成像设备，其中，

所述图像监视装置的分辨率不大于所述图像监视装置的像素间距的2倍。

19.如权利要求11所述的成像设备，其中，所述控制装置通过所述转换装置恢复通过接收触发信号而捕捉的静止图像，接着在所述信号处理装置处理之后使所述图像监视装置显示所述图像。

20.如权利要求11所述的成像设备，其中，在显示直通图像期间，所述控制装置使所述成像元件输出具有所述图像监视装置的分辨率所要求的足够的分辨率的图像。

21.一种成像方法，包括以下步骤：

通过成像元件捕获通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，

在显示直通图像期间对来自所述成像元件的图像信号进行预定的图像处理，以及

在接收到指示图像存储的触发信号时，校正来自所述成像元件的图像的焦点的模糊以恢复图像信号，并对恢复的图像信号进行预定的图像处理。

22.一种成像方法，包括以下步骤：

通过成像元件捕获通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，

在显示直通图像期间对来自所述成像元件的图像信号进行预定的图像处理，以及

校正来自所述成像元件的图像的焦点的模糊以恢复图像信号，并对恢复的图像信号进行预定的图像处理，

其中，在静止图像捕获模式时使用第一滤波器进行图像恢复处理，以及

在运动图像捕获模式时或显示直通图像时使用第二滤波器进行图像恢复处理，第二滤波器的大小与第一滤波器的大小不同。

Images