CN103168271A - 摄像装置、半导体集成电路以及摄像方法 - Google Patents

Abstract

本发明的一方式的摄像装置具备：摄像元件、包含聚焦透镜的镜头光学系统、对摄像元件或者聚焦透镜的一者进行驱动的驱动部、基于规定的位移模式对被驱动的摄像元件或者聚焦透镜的位移进行控制的位移控制部、被设于镜头光学系统中且具有可变更大小的开口的光圈、对光圈的开口大小进行控制的开口控制部、基于曝光的定时来控制位移控制部以及开口控制部的同步部、以及决定曝光时间、光圈开口大小以及位移模式的摄像参数决定部，规定的位移模式包含摄像元件或者聚焦透镜以摄像场景中的第1合焦位置与第2合焦位置之间的不同的范围进行位移的第1类型的位移模式以及第2类型的位移模式，交替反复第1类型的位移模式以及第2类型的位移模式，开口控制部基于来自同步部的定时，在第1类型的位移模式以及第2类型的位移模式中，按照具有第1开口以及与第1开口的大小不同的第2开口的方式对光圈进行控制。

Description

摄像装置、半导体集成电路以及摄像方法

技术领域

本申请涉及基于从单一视点所拍摄得到的多张图像而能拍摄具有三维信息的动态图像或者连续静态图像的摄像装置。

背景技术

为了基于从单一视点拍摄得到的多张图像来获得三维信息，提出有将扩展景深(以下，记为EDOF)与场景的进深测量技术进行组合的方法。

作为实现扩展景深(Extended Depth Of Field，以下称为“EDOF”)的方式，提出有各种各样的方法。例如提出了下述的方法，即，在曝光时间中进行使聚焦透镜或者摄像元件移动的聚焦扫描(focus sweep)动作，将在深度方向一律进行合焦得到的图像进行叠加(即，与在各深度使模糊(blur)均匀化的情形同义)，通过由预先的测定或者仿真所获得的模糊图案来进行图像恢复处理，由此，获得EDOF图像的方法(非专利文献1)。该方法被称为可调DOF：Flexible DOF(以下，称之为F-DOF)。

F-DOF作为可获得良好像质的方式已为人们所知，EDOF效果高。由于轴外特性也依存于透镜特性，因此，易提高性能。另外，由于即使是在曝光中移动聚焦位置也需将同一被摄体在同一图像位置上进行叠加，因此，作为光学条件，在像侧需要远心透镜(telecentric lens)。

作为EDOF技术的利用领域的1个示例，可例举出显微镜。在显微镜进行摄像的情况下，由于拍摄对象是静物，因此，能花费时间地进行拍摄。由此，Focal Stack(聚焦叠加)方式以往就已经被利用。该方式中，对合焦位置不同的多张图像进行拍摄，从各图像中分别提取/合成被认为是已合焦的区域，由此来获得EDOF图像。由于这些的作业需要消耗劳力以及时间，因此，提出了并用F-DOF方式的技术(专利文献1～4)。在将F-DOF用在显微镜用途中的情况下，在曝光中使作为被摄体的样品或者镜头镜筒进行移动。在以进行曝光后的图像恢复处理作为前提的情况下，按照像的模糊总成为均匀的方式使被摄体或者镜头镜筒进行移动。另外已知：如能够对该移动的办法进行恰当控制，由于能够适用到使用了单一的模糊图案的图像恢复处理方法，故是合理的(专利文献5)。为此，在使摄像元件进行移动的情况下，使摄像元件以等速度进行移动。另外，在使聚焦透镜进行移动的情况下，需要进行与使摄像面以等速度进行移动的情形相当的聚焦透镜的位移(非专利文献1)。作为移动的模式，已知可以是从纵深侧合焦端位置至近前侧合焦端位置为止的模式，或者与其相反的模式。

在先技术文献

专利文献

专利文献1：德国专利发明第2301800号说明书

专利文献2：JP特公平5-27084号公报

专利文献3：JP专利第3191928号公报

专利文献4：美国专利第7711259号说明书

专利文献5：JP专利第3084130号公报

非专利文献

非专利文献1：H.Nagahara，S.Kuthirummal，C.Zhou andS.Nayar，”Flexible Depth of Field Photography”，EuropeanConference on Computer Vision(ECCV)，Oct.16th，MorningSession 2：Computational Photography(2008)

非专利文献2：松井修平、长原一、谷口伦一郎、“基于聚焦扫描摄像的DFD”，信息处理学会研究报告，2010-CVIM-174No，6，(2010)

发明内容

发明概要

发明所要解决的课题

在将EDOF技术用在数字静物照相机、数字视频照相机的情况下，优选在动态图像的拍摄中也可进行EDOF拍摄。本申请提供能够拍摄品质高的EDOF动态图像的摄像装置、用在摄像装置中的集成电路以及摄像方法。

解决课题的手段

本发明的一方式的摄像装置具备：摄像元件，其具有构成摄像面的二维地排列的多个光电变换元件，且使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号；镜头光学系统，其包含向所述摄像元件聚光的聚焦透镜；驱动部，其按照使所述摄像元件与所述聚焦透镜之间的距离进行变化的方式驱动所述摄像元件或者所述聚焦透镜的一者；位移控制部，其构成为通过向所述驱动部输出指令，基于规定的位移模式来控制所驱动的所述摄像元件或者所述聚焦透镜的位移；光圈，其设于所述镜头光学系统中且具有可变更大小的开口；开口控制部，其构成为控制所述光圈的所述开口的大小；同步部，其构成为基于所述摄像元件的曝光的定时来控制所述位移控制部以及所述开口控制部；和摄像参数决定部，其决定所述曝光的时间、所述光圈的开口大小以及所述位移模式，所述规定的位移模式包含：在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第1合焦位置与在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第2合焦位置之间的不同的范围，所述摄像元件或者所述聚焦透镜进行位移的第1类型的位移模式以及第2类型的位移模式，在所述规定的位移模式中，所述第1类型的位移模式以及所述第2类型的位移模式交替地反复，所述开口控制部基于来自所述同步部的定时，在所述第1类型的位移模式以及所述第2类型的位移模式中，按照具有第1开口以及与所述第1开口的大小不同的第2开口的方式控制所述光圈。

发明效果

根据本申请中所公开的摄像装置，通过交替地反复进行用于获得全焦点图像的基于第1类型的位移模式的扫描的摄像和用于获得进深信息的基于第2类型的位移模式的扫描的摄像，由此，能够进行兼顾全焦点图像的像质与进深测量精度的拍摄。

附图说明

图1表示实施方式1、2、4、6的摄像装置的块构成图。

图2是表示实施方式1、2、4的摄像方法的流程图。

图3是用于详细说明图2中的曝光/扫描步骤的流程图。

图4(a)、(b)、(c)表示实施方式1、3的曝光扫描模式、光圈的开口的时间变化以及摄像元件的曝光以及读出的定时。

图5是用于详细说明实施方式2、3的曝光/扫描步骤的流程图。

图6(a)、(b)表示实施方式2、3的曝光扫描模式以及光圈的开口的时间变化。

图7是实施方式3、4、6的摄像装置的块构成图。

图8是表示实施方式3、4、6的动作的流程图。

图9(a)是用于说明由CMOS(互补金属氧化物半导体)图像传感器构成的摄像元件的卷帘快门动作的图，图9(b)以及(c)是分别表示聚焦透镜的位移模式的示例的图。

图10(a)是用于说明通过电子快门来限制曝光的情况下的由CMOS图像传感器构成的摄像元件的卷帘快门动作的图，图10(b)表示光圈的开口的时间变化，图10(c)以及(d)分别表示聚焦透镜的位移模式的示例的图。

图11是用于详细说明实施方式4的曝光/扫描步骤的流程图。

图12(a)、(b)表示实施方式4的曝光扫描模式以及光圈的开口的时间变化。

图13是用于详细说明实施方式4的曝光/扫描步骤的其他的流程图。

图14(a)、(b)表示实施方式4的其他的曝光扫描模式以及光圈的开口的时间变化。

图15(a)、(b)表示实施方式6的其他的曝光扫描模式以及光圈的开口的时间变化。

图16(a)、(b)表示实施方式6的其他的曝光扫描模式以及光圈的开口的时间变化。

图17是用于详细说明实施方式6的曝光/扫描步骤的其他的流程图。

图18(a)、(b)表示实施方式6的其他的曝光扫描模式以及光圈的开口的时间变化。

图19(a)、(b)表示实施方式6的其他的曝光扫描模式以及光圈的开口的时间变化。

图20是用于详细说明实施方式7的曝光/扫描步骤的流程图。

图21(a)、(b)、(c)表示实施方式7的曝光扫描模式、光圈的开口的时间变化以及摄像元件的曝光以及读出的定时。

图22(a)、(b)、(c)表示实施方式7的其他的曝光扫描模式、光圈的开口的时间变化以及摄像元件的曝光以及读出的定时。

图23是表示被摄体、聚焦透镜以及摄像元件的位置关系的图。

图24是表示被摄体距离u与像面侧焦点距离v的关系的一个示例的图表。

图25是本申请发明者所研讨的摄像装置的块构成图。

图26是表示基于F-DOF方式的聚焦透镜的位移模式的图。

图27是本申请发明者所研讨的其他的摄像装置的块构成图。

图28是表示基于F-DOF方式的聚焦透镜的位移模式的图。

图29(a)至(c)是表示基于进深测量方法的测量结果的图。

图30是表示图29(a)至(c)的结果的其他的图。

图31(a)以及(b)表示以全扫描方式以及半扫描方式所进行的摄像装置的动态图像拍摄时的扫描模式的一个示例。

图32(a)以及(b)表示在利用了CMOS图像传感器的情况下的以全扫描方式以及半扫描方式所进行的摄像装置的动态图像拍摄时的扫描模式的一个示例。

具体实施方式

首先，对拍摄场景中的聚焦(合焦)位置和聚焦透镜以及摄像元件的位置关系进行说明。图23是表示拍摄场景中所含的被摄体与摄像装置300内的聚焦透镜101以及摄像元件104的位置关系的示意图。在摄像场景中，在对距摄像装置300较近的位置的被摄体进行合焦的情况下，在摄像面上从合焦的被摄体至摄像装置300的聚焦透镜101的距离u相对较短，聚焦透镜101与摄像元件104之间的距离v相对较长。另外，在对拍摄场景中所含的被摄体中的距摄像装置300较远的被摄体进行合焦的情况下，从摄像面上进行合焦的被摄体至摄像装置300的聚焦透镜101为止的距离u相对变长，聚焦透镜101与摄像元件之间的距离v最短。另外，图23中，为了便于图示，与被摄体和摄像装置300之间的距离相比，扩大表示聚焦透镜101与摄像元件104之间的距离。

这样，对摄像场景中的哪个位置进行合焦是取决于聚焦透镜101与摄像元件104的摄像面之间的距离。将被摄体和聚焦透镜101之间的距离设为u，将聚焦透镜101和摄像元件104之间的距离设为v，在聚焦透镜101的焦点距离设为f时，一般来说，通过透镜的公式，式1的关系成立。

1/f＝1/u+1/v       (式1)

在用于拍摄的镜头光学系统包含多个聚焦透镜的情况下，距离u、v是以透镜主要点的位置来进行考虑。作为一个示例，图24表示f为18[mm]时的u和v之间的关系。通过聚焦透镜101进行位移，透镜主要点与摄像元件间的距离v发生变化。根据图24可知，像面侧的距离v变长时，被摄体侧的距离u变短。另外，由式1可知，距离u与距离v的关系，既非比例关系也非反比例的关系。

图23中，通过聚焦透镜101的位置变化来使距离v发生变化，而使摄像元件104移动也可使距离v发生变化。另外，利用上述的关系，在本申请说明书中，以聚焦透镜的位置对拍摄场景中的聚焦位置进行说明。本申请说明书中，最近端是指，按照使拍摄场景中所含的被摄体中的距摄像装置300最近的被摄体在摄像元件104的摄像面上形成像的方式使聚焦透镜101或者摄像元件104移动的情况下的聚焦透镜101或者摄像元件104的位置。另外，最远端是指，按照使拍摄场景中所含的被摄体中的距摄像装置300最远的被摄体在摄像元件104的摄像面上形成像的方式使聚焦透镜101或者摄像元件104移动的情况下的聚焦透镜101或者摄像元件104的位置。

其次，对通过F-DOF方式来获得图像的方法进行说明。图25表示曝光时间中能够使聚焦透镜发生位移的摄像装置300的构成。摄像装置300包含：含有聚焦透镜101的镜头光学系统120、用于驱动聚焦透镜101的聚焦透镜驱动部103以及摄像元件104。通过使聚焦透镜101的位置发生变化，来变更与摄像元件104之间的距离，进而能变更聚焦距离。在聚焦透镜101被固定的情况下，聚焦距离的变更是与焦点位置的变更同义。

图26表示聚焦透镜的像面侧焦点距离v(与图23的v相同)的时间变化以及曝光量变化。在释放受理部113从用户受理了曝光开始指令时，聚焦透镜位置检测部115对聚焦透镜101的此时的位置(初始位置)进行检测。检测后，使聚焦透镜101的位置向规定的端位置，例如最近端或者最远端(图25中，为最远端)进行位移。

在聚焦透镜101的初始化作业的同时，通过曝光时间决定部114来决定快门速度、光圈值等的摄像参数。在这些的动作的结束后，用于取得曝光、聚焦透镜的位移的同步的曝光/聚焦透镜位移同步部121迅速地将曝光开始的指令输出给聚焦透镜位移控制部106以及快门开闭指示部112。同时，基于聚焦透镜位置检测部102所检测出的聚焦透镜101的端位置，若端位置为最远端则从最远端向最近端，若端位置是最近端则从最近端向最远端，将在曝光时间内使聚焦透镜101进行等速位移的指令输出给聚焦透镜位移控制部106。

在摄像元件104的受光面，以等速使聚焦位置进行位移的情况意味着，像面侧焦点距离v的变化速度是恒定的情况。通过以等速进行位移，如图26所示那样，聚焦透镜101不论处于哪个位置，聚焦透镜101的位移中的曝光量都成为恒定。如式(1)以及图26所示的那样，v即使以等速度进行位移，被摄体侧的焦点面与透镜主要点间的被摄体侧距离u并不一定以等速度进行位移。另外，图26的横轴表示像面侧焦点距离v，成为与被摄体距离u的大小相反的关系。即，越是被摄体距离长(位于远的位置)的被摄体，像面侧焦点距离v越变短。

在从曝光/聚焦透镜位移同步部121受理了曝光开始指令时，快门开闭指示部112立即控制使快门111开启。另外，在经过规定的曝光时间后，曝光/聚焦透镜位移同步部121向快门开闭指示部112输出曝光结束指令。快门开闭指示部112接收到曝光结束指令后，立即控制使快门111闭合。

按照上述顺序，被摄体的光学像在摄像元件104进行成像后，成像得到的光学像通过摄像元件104变换为电信号，经由读出电路108，图像信号被输出给图像处理部109。同时，由曝光/聚焦透镜位移同步部121向图像处理部109通知曝光已结束以及进行了基于F-DOF的聚焦透镜的位移的拍摄。图像处理部109接收图像信号，进行必要的信号处理，其后向记录部110输出。

图27所示的摄像装置400具备摄像元件104、摄像元件位置检测部202、曝光/摄像元件位移同步部207、摄像元件位移控制部206、以及摄像元件驱动部203，在曝光时间中使摄像元件发生位移。摄像元件位置检测部202与摄像装置300不同，对摄像元件104的位置进行检测。曝光/摄像元件位移同步部207使曝光的定时和摄像元件104的位移取得同步。摄像元件位移控制部206对摄像元件104的位移进行控制。摄像元件驱动部203接受来自摄像元件位移控制部206的信号，来驱动摄像元件104。

在释放受理部113从用户受理了曝光开始指令时，摄像元件位置检测部202对摄像元件104的此时的位置(初始位置)进行检测。检测后，使摄像元件104的位置向规定的端位置，例如最近端或者最远端发生位移。如上所述，在此规定的合焦范围中，最近端是指，按照拍摄场景中所含的被摄体中的距摄像装置400最近的被摄体在摄像元件104的摄像面上形成像的方式使摄像元件104移动的情况下的摄像元件104的位置。此时，被摄体至聚焦透镜101的距离u成为最短，聚焦透镜101与摄像元件104之间的距离v成为最长。另外，最远端是指，按照拍摄场景所含的被摄体中的距摄像装置400最远的被摄体在摄像元件104的摄像面上形成像的方式使摄像元件104移动的情况下的摄像元件104的位置。此时，被摄体至聚焦透镜101的距离u成为最长，聚焦透镜101与摄像元件104之间的距离v成为最短。

在摄像元件104的初始化作业的同时，通过曝光时间决定部114来决定快门速度、光圈值等的摄像参数。在这些的动作结束后，用于取得曝光、摄像元件位移的同步的曝光/摄像元件位移同步部207迅速地将曝光开始的指令输出给摄像元件位移控制部206以及快门开闭指示部112。同时，基于摄像元件位置检测部102所检测出的摄像元件104的端位置，按照若端位置为最远端则从最远端向最近端，若端位置为最近端则从最近端向最远端，将在曝光时间内使摄像元件104进行位移的指令输出给摄像元件位移控制部206。摄像元件104以等速度进行位移。

在从曝光/摄像元件位移同步部207受理了曝光开始指令时，快门开闭指示部112立即控制使得快门111开启。另外，在经过了规定的曝光时间后，曝光/摄像元件位移同步部207向快门开闭指示部112输出曝光结束指令。快门开闭指示部112受理曝光结束指令，立即控制使快门111闭合。

通过上述顺序在摄像元件104进行了被摄体的光学像的成像时，成像得到的光学像通过摄像元件104变换为电信号，经由读出电路108向图像处理部109输出电信号。同时，由曝光/摄像元件位移同步部207向图像处理部109通知曝光已结束以及已进行了基于F-DOF的聚焦透镜的位移的拍摄。除此以外的构成与图25所示的摄像装置300进行相同动作。

通过这样的构成，在数字静物照相机/数字视频照相机中，能够实现F-DOF方式的拍摄，但在拍摄动态图像的情况下，优选在构成动态图像的1帧(coma)1帧的图像之间不发生时延地连续进行拍摄。由此，动态图像拍摄中，如图28所示那样，使聚焦透镜的位置在最远端与最近端之间进行往返位移，通过对去的位移以及回的位移分别分配1视频帧期间，能够拍摄顺畅的EDOF动态图像。

除了这样所获得的全焦点图像以外，若有表示拍摄场景的进深信息，即，表示拍摄场景中所含的多个被摄体的前后关系的进深信息，则能够获得拍摄场景的三维信息。关于拍摄场景的进深测量技术，提出有各种各样的方式。对这些进行大致区分时，存在有照射红外线、超声波、激光等，根据反射波返回为止的时间、反射波的角度等对距离进行计算的主动的方法和基于被摄体的像对距离进行计算的被动的方法。尤其是照相机中无需用于照射红外线等的装置的被动的方法得到广泛利用。

关于被动的方法，也提出了大量的方法，作为其中一种，有基于因聚焦的变化而产生的模糊来测量距离的被称为Depthfrom Defocus(离焦深度，以下称为DFD)的方法。根据该方法，不需要多个照相机就能根据少量的图像来进行距离测量。

作为实现DFD的方法，提出了利用前述的F-DOF的被称为半扫描的方式(非专利文献2)。该方式中，将F-DOF中的聚焦扫描的范围以远侧合焦端位置(最远端)与近侧合焦端位置(最近端)之间的中间合焦位置进行分半，利用在各自的范围进行扫描所获得的二张图像来估计进深。另外，同时，利用该二张图像能够生成全焦点图像。以下，为了进行区分，将对远侧合焦端位置至近侧合焦端位置的全区间进行扫描的前述方式称为全扫描。

图29以及图30示出通过非专利文献2中公开的DFD对进深进行估计得到的结果的一个示例。图29(a)、(b)、(c)的各图的左半部分利用较多地包含边缘的具有有利于进深估计的纹理的图像，右半部分则利用边缘较少的具有不利于进深估计的纹理的图像，对进深即从摄像装置起的距离进行了估计。在这些图中，下端以及上端分别与进深的近侧以及远侧对应。另外，这些图中的阴影的浓淡表示估计出的距离的值，阴影越浓则表示估计出的距离越远。

图29(a)示出了进深的真值。即，在正确地估计了进深的情况下，越是图的上方则以越浓的阴影表示，越是下方则以越淡的阴影表示。图29(b)表示以一般的DFD的方式(全扫描方式)所获得的进深估计结果，图29(c)表示以半扫描方式所获得的进深估计结果。图29(b)以及(c)中，阴影的浓的部分存在有位于上方以外的部分。这表示估计出的距离不正确。在对图29(b)以及(c)进行比较的情况下，尤其是在右半部分的纹理弱的图像中，获得了与全扫描方式相比而言，基于半扫描方式的进深的估计较优异这样的结果。

图30是将图29(b)以及(c)所示的结果进行数值化得到的图。横轴表示进深，图29的上端与横轴的左端对应。纵轴分别表示相对于以图29(a)所示的真值的、图29(b)以及(c)中的估计出的各进深的正确率。该正确率是将纹理的强弱(图像中的左半部分、右半部分)的区域进行统合而作为一个值而进行数值化得到的值。根据图30可知：以半扫描方式所获得的进深的估计较优异。

这样，在数字静物照相机、数字视频照相机中采用了EDOF的情况下，优选利用F-DOF方式。另外，如上所述，动态图像拍摄时，要求1帧1帧之间不发生时延地连续拍摄。作为用于实现此的方法，在动态图像拍摄中，如图31(a)所示那样，使聚焦透镜的位置在最远端与最近端之间进行往返位移，对去的位移以及回的位移分别分配1视频帧期间，由此，能够进行顺畅的EDOF动态图像的拍摄。另外，通过取得在最远端以及最近端分别静止的图像，从而基于DFD的进深估计也能够在动态图像中实现。

另一方面，在采用了基于半扫描的F-DOF方式的情况下，如图31(b)所示的那样，在最近端位置与最远端位置之间的中间位置，将聚焦透镜进行扫描的区域分割为2个。具体而言，根据以近扫描NS以及远扫描FS所示的位移模式使聚焦透镜在最远端与最近端之间交替地进行往返位移，由此，相同地，能够连续地进行基于全焦点图像的EDOF图像与进深估计，能够拍摄EDOF动态图像。

但是，在以图31(b)所示的半扫描方式中，关于为了获得全焦点图像的位移模式，即，从最远端至最近端的位移模式AS，其是由近扫描NS的一部分以及远扫描FS的一部分来构成，位移模式AS跨2个视频帧。由此，成为根据在时间上偏离的二张图像来生成全焦点图像的情形。其结果，在被摄体进行移动的情况下，获得不自然的全焦点图像。具体而言，由于通过近扫描NS所获得的图像中的被摄体位置与通过远扫描FS所获得的图像中的被摄体位置发生位置偏离，由此，可知存在全焦点图像的像质较大地劣化这样的课题。

相对于此，在通过图31(a)所示那样的全扫描方式来获得全焦点图像的情况下，在聚焦透镜在最远端与最近端之间移动的期间，取得一张扫描图像。由此，因被摄体移动而产生的抖动虽产生，但却是连续时间内的抖动，因此，是与一般的视频照相机相同的现象，不易产生图像的不协调感。即，为了获得全焦点图像，可以说全扫描方式为优选。

但是，本申请发明者在进行研讨时发现：总驱动聚焦位置的扫描动作将导致设备功耗的增大，尤其是与半扫描相比，因全扫描的扫描位移量也成为2倍，从而该影响较大。

本申请发明者鉴于这样的课题，发明了新的摄像装置、半导体集成电路以及摄像方法。本发明的一方式的概要如下所述。

本发明的一方式的摄像装置具备：摄像元件，其具有构成摄像面的二维地排列的多个光电变换元件，使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号；镜头光学系统，其包含向所述摄像元件进行聚光的聚焦透镜；驱动部，其按照所述摄像元件与所述聚焦透镜的距离进行变化的方式驱动所述摄像元件或者所述聚焦透镜的一者；位移控制部，其构成为通过向所述驱动部输出指令，基于规定的位移模式来控制所驱动的所述摄像元件或者所述聚焦透镜的位移；光圈，其设于所述镜头光学系统中且具有可变更大小的开口；开口控制部，其构成为控制所述光圈的所述开口的大小；同步部，其构成为基于所述摄像元件的曝光的定时来控制所述位移控制部以及所述开口控制部；和摄像参数决定部，其决定所述曝光的时间、所述光圈的开口大小以及所述位移模式，所述规定的位移模式包含在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第1合焦位置与在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第2合焦位置之间的不同的范围，所述摄像元件或者所述聚焦透镜进行位移的第1类型的位移模式以及第2类型的位移模式，在所述规定的位移模式中，所述第1类型的位移模式以及所述第2类型的位移模式交替地反复，所述开口控制部基于来自所述同步部的定时，在所述第1类型的位移模式以及所述第2类型的位移模式中，按照具有第1开口以及与所述第1开口不同的大小的第2开口的方式控制所述光圈。

所述第1类型的位移模式可以不从所述第1合焦位置与所述第2合焦位置的中间位置起进行位移。

所述第1类型的位移模式可以在比所述第1合焦位置更靠近所述第2合焦位置的位置与比所述第2合焦位置更靠近所述第2合焦位置的位置之间的全区间进行位移。

所述第2类型的位移模式可以包含：将所述第1合焦位置与所述第1合焦位置及所述第2合焦位置的中间位置之间的全区间作为所述位移范围的第2F类型的位移模式；和将所述中间位置与所述第2合焦位置之间的全区间作为所述位移范围的第2N类型的位移模式。

所述第1类型的位移模式可以被夹在所述第2F类型的位移模式以及所述第2N类型的位移模式之间，且所述第2F类型的位移模式以及所述第2N类型的位移模式不连续。

所述第1类型的位移模式可以被夹在所述第2F类型的位移模式以及所述第2N类型的位移模式之间，且所述第2F类型的位移模式以及所述第2N类型的位移模式连续。

所述第1开口可以比所述第2开口小。

所述摄像参数决定部也可以是根据所述摄像元件的入射光量来决定所述第1开口以及所述第2开口大小。

所述摄像参数决定部可以在所述入射光量小于阈值的情况下，所述入射光量摄像参数决定部与所述入射光量的值无关地将所述第1开口设定为规定的大小。

所述摄像参数决定部可以根据所述第1类型的位移模式以及所述第2类型的位移模式中的入射至所述摄像元件的入射光量之比，来决定所述曝光的时间以及所述第1类型的位移模式以及所述第2类型的位移模式。

所述摄像装置也可以还具备对所驱动的所述摄像元件或者所述聚焦透镜的位置进行检测的位置检测部，所述位移控制部基于所述位置检测部的输出以及所述位移模式，对所述驱动部指示驱动量。

所述摄像装置也可以还具备用于从所述摄像元件中读出所述图像信号的读出电路，所述同步部基于所述摄像元件的曝光的定时，对所述位移控制部以及所述读出电路进行控制。

也可以根据在基于所述第1类型的位移模式而被驱动的所述摄像元件或者所述聚焦透镜进行位移的期间所获得的图像信号来生成全焦点图像。

也可以根据在基于所述第2类型的位移模式而被驱动的所述摄像元件或者所述聚焦透镜进行位移的期间所获得的图像信号来生成进深信息。

所述摄像元件可以是CCD(Charge Coupled Device，电荷耦合装置)图像传感器。

所述摄像元件可以是CMOS图像传感器。

所述第1类型的位移模式、所述第2F类型的位移模式以及所述第2N类型的位移模式可以分别至少在各自的全位移范围进行2次往返位移。

本发明的一方式的集成电路是摄像装置的集成电路，该摄像装置具备：摄像元件，其具有构成摄像面的二维排列的多个光电变换元件，且使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号；镜头光学系统，其包含向所述摄像元件进行聚光的聚焦透镜；驱动部，其按照所述摄像元件与所述聚焦透镜的距离进行变化的方式驱动所述摄像元件或者所述聚焦透镜的一者；和光圈，其设于所述镜头光学系统中且具有可变更大小的开口，所述集成电路具备：位移控制部，其构成为通过向所述驱动部输出指令，基于规定的位移模式来控制所驱动的所述摄像元件或者所述聚焦透镜的位移；开口控制部，其构成为控制所述光圈的所述开口大小；同步部，其构成为基于所述摄像元件的曝光的定时来控制所述位移控制部以及所述开口控制部；和摄像参数决定部，其决定所述曝光的时间、所述光圈开口大小以及所述位移模式，所述规定的位移模式包含在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第1合焦位置与在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第2合焦位置之间的不同的范围，所述摄像元件或者所述聚焦透镜进行位移的第1类型的位移模式以及第2类型的位移模式，在所述规定的位移模式中，所述第1类型的位移模式以及所述第2类型的位移模式交替地反复，所述开口控制部基于来自所述同步部的定时，在所述第1类型的位移模式以及所述第2类型的位移模式中，按照具有第1开口以及与所述第1开口不同的大小的第2开口的方式控制所述光圈。

本发明的一方式的摄像方法是通过由聚焦透镜使光在摄像元件进行聚光来使摄像场景进行成像的摄像方法，该摄像元件具有构成摄像面的二维地排列的多个光电变换元件，且使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号，在所述摄像方法中，决定所述摄像元件或者所述聚焦透镜以在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第1合焦位置与在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第2合焦位置之间的不同的范围进行位移的第1类型的位移模式以及第2类型的位移模式，使所述第1类型的位移模式以及第2类型的位移模式交替地重复进行，使所述聚焦透镜或者所述摄像元件进行位移的同时，在所述第1类型的位移模式以及所述第2类型的位移模式中，分别利用第1开口以及与所述第1开口不同的大小的第2开口的光圈，使所述多个光电变换元件进行曝光。

以下，关于本发明的实施方式，参照附图进行说明。另外，对于相同要素赋予相同符号，且有省略其说明的情况。

(实施方式1)

以下，一边参照附图，一边对本发明的摄像装置、集成电路以及摄像方法的第1实施方式进行说明。

图1是表示本实施方式的摄像装置100的块构成图。摄像装置100具备：聚焦透镜驱动部103、摄像元件104、聚焦透镜位移控制部106、曝光/光圈/聚焦透镜位移同步部107、光圈115、光圈开口控制部117、摄像参数决定部118、以及镜头光学系统120。

摄像元件104在本实施方式中是CCD图像传感器，具有二维地排列的、构成摄像面的多个光电变换元件。在使光入射到多个光电变换元件并进行曝光后，通过从多个光电变换元件中读出电信号来生成图像信号。

镜头光学系统120包含使入射光向摄像元件104进行聚光，并使摄像场景在摄像元件104进行成像的聚焦透镜101。使得相对于摄像场景中的所期望的被摄体进行合焦，因此，镜头光学系统120可以除了聚焦透镜101以外，还包含其他的1个以上的透镜。聚焦透镜101也可以由多个透镜来构成。在聚焦透镜101是由多个透镜构成的情况下，聚焦透镜的位置是由多个透镜所形成的主要点的位置。本实施方式中，镜头光学系统120中不包含光圈115。

本实施方式中，聚焦透镜驱动部103作为按照摄像元件104与聚焦透镜101之间的距离发生变化的方式驱动摄像元件104或者聚焦透镜101的一方的驱动部而发挥功能。即，聚焦透镜驱动部103基于驱动信号，按照摄像元件104与聚焦透镜101之间的距离发生变化的方式来驱动聚焦透镜101。

聚焦透镜位移控制部106如以下进行说明的那样，构成为通过对聚焦透镜驱动部103输出指令，从而基于规定的位移模式对聚焦透镜101的位移进行控制。

光圈115具有规定的开口(孔径)，能够基于驱动信号来变更开口大小。光圈115例如设于镜头光学系统120内或者设于镜头光学系统120与摄像元件104之间，能够通过变更开口大小来调整在摄像元件的摄像面所形成的拍摄场景的像的景深。本实施方式中，光圈115具有多个光圈叶片，按照光圈叶片的重叠的程度不同的方式来驱动光圈叶片，由此来调整开口大小。为此，摄像装置100具有用于驱动光圈115的光圈叶片的光圈驱动部116，根据驱动信号来驱动光圈叶片。另外，也可以利用包含光圈驱动部116的光圈。

光圈开口控制部117输出用于控制光圈115的开口大小的驱动指令。

如以下详细进行说明的那样，摄像参数决定部118根据摄像场景的明亮度、快门速度以及光圈值等的摄像参数，来决定摄像元件104的曝光的时间、光圈115的开口大小以及聚焦透镜101的位移模式。

曝光/光圈/聚焦透镜位移同步部107构成为：从摄像参数决定部118中受理表示摄像元件104的曝光的时间、光圈115的开口大小以及聚焦透镜101的位移模式的信号，对光圈开口控制部117、聚焦透镜位移控制部106以及快门开闭指示部112输出这些信号，并且，基于摄像元件104的曝光的定时来控制聚焦透镜位移控制部106以及光圈开口控制部117。

摄像装置100还包含聚焦透镜位置检测部102、读出电路108、图像处理部109、记录部110、快门111、快门开闭指示部112、以及释放受理部113。

聚焦透镜位置检测部102包含位置传感器，且对聚焦透镜101的位置进行检测，并将检测信号向聚焦透镜位移控制部106输出。摄像参数决定部118设定聚焦透镜101的位移模式，设为目标聚焦透镜的位置。由此，聚焦透镜位移控制部106根据目标聚焦透镜的位置与聚焦透镜位置检测部102检测出的聚焦透镜101的当前位置之间的差，计算驱动信号并向聚焦透镜驱动部103输出。

释放受理部113从用户受理拍摄开始的指令，并向摄像参数决定部118输出信号。

快门111根据来自快门开闭指示部112的指令来进行开闭动作。在快门111为开状态时，摄像元件104通过由聚焦透镜101所聚光的光来进行曝光，曝光的光被变换为电信号后进行输出。

读出电路108通过对摄像元件104输出读出信号来读出电信号，将所读出的电信号向图像处理部109输出。

图像处理部109相对于所输入的电信号进行各种补正等，逐次构筑构成1视频帧数量的拍摄场景的图像的图像信号，其后向记录部110输出。另外，如以下进行说明的那样，也可以求取拍摄场景的三维信息。

由此，摄像装置100能够一边驱动聚焦透镜101使聚焦透镜的位置变化、一边使摄像元件104曝光，来获取扫描图像。

在摄像装置100的上述的构成要素中，聚焦透镜位置检测部102、聚焦透镜驱动部103、摄像元件104、图像处理部109、记录部110、释放受理部113、光圈115、光圈驱动部116可以通过公知的硬件来构成。另外，摄像参数决定部118、聚焦透镜位移控制部106、曝光/光圈/聚焦透镜位移同步部107、光圈开口控制部117、摄像参数决定部118、读出电路108、图像处理部109、记录部110、快门开闭指示部112的各构成要素的一部分或者全部也可以由CPU等的信息处理电路以及存储于存储器等的存储部中的软件来构成。在该情况下，信息处理电路从存储器中读出用于规定以下进行说明的摄像方法的顺序的软件，通过执行摄像方法的顺序来控制摄像装置100的各构成要素。由这些信息处理电路以及存储于存储器的软件所实现的构成要素的一部分也可以由专用的集成电路来构成。例如，摄像参数决定部118、聚焦透镜位移控制部106、曝光/光圈/聚焦透镜位移同步部107、光圈开口控制部117、摄像参数决定部118、快门开闭指示部112也可以构成集成电路。

其次，参照图1以及其他的附图，对本实施方式的摄像方法进行说明。图2是表示本实施方式的摄像方法的概略的流程图。首先，在受理了用户所进行的释放动作(S101)时，摄像参数决定部118根据拍摄场景的明亮度、快门速度、光圈值等的摄像参数来决定曝光参数(S102)。在曝光参数中包含曝光时间以及光圈115的开口大小。光圈115的开口大小，包含相互大小不同的第1开口以及第2开口。另外，根据所决定的曝光时间以及光圈115的开口大小，来决定聚焦透镜的位移模式(S103)。位移模式包含第1类型的位移模式以及第2类型的位移模式。第1类型的位移模式以及第2类型的位移模式分别是在光圈115具有第1开口以及第2开口时被利用。位移模式在以下进行详述。

在聚焦透镜101的位置的位移模式决定后，曝光/光圈/聚焦透镜位移同步部107基于摄像元件104的曝光的定时，对快门开闭指示部112、聚焦透镜位移设定部105、光圈开口控制部117以及读出电路108输出指令，以使得聚焦透镜位移设定部105、光圈开口控制部117以及读出电路108进行动作。由此，快门开闭指示部112打开快门111(S104)，光圈开口控制部117控制使得根据位移模式的类型使光圈117而具有第1开口或者第2开口。另外，开始摄像元件104的曝光，与曝光的开始同步地根据聚焦透镜位移控制部106的指令，聚焦透镜驱动部103使聚焦透镜101位移(S105)。在此，同步是指同时的情况以及包括各种规定的延迟时间的情况。另外，以与聚焦透镜101的位移同步的规定的定时，从摄像元件104向读出电路108输出用于构成拍摄场景的图像的电信号。

若拍摄结束，则快门111闭合(S106)，通过停止聚焦位置位移(S107)来结束拍摄。在动态图像拍摄的情况下，只要直至输入来自用户的录像停止处理指令为止继续曝光/扫描动作即可。如此，能够连续地获得扫描图像，能够进行动态图像拍摄。

其次，利用图3以及图4对曝光/扫描动作的详情进行说明。

图3是表示拍摄时的扫描动作的顺序的流程图。另外，图4(a)是表示在使聚焦透镜的位置在最远端与最近端之间进行位移时的聚焦透镜的位置变化，即扫描模式(位移模式)的图。横轴表示时间，纵轴表示聚焦透镜的位置(与摄像元件之间的距离)。位移模式是表示聚焦透镜的位置的时间变化的模式。图4(a)中，实线表示不使透镜位移而聚焦位置静止的位移模式(第1类型的位移模式)，二重线以及点线表示半扫描的位移模式(第2类型的位移模式)。更具体而言，二重线表示近扫描的位移模式(第2N类型的位移模式)，点线表示远扫描的位移模式(第2F类型的位移模式)。

近扫描的位移模式将最近端与最近端以及最远端的中间位置之间的全区间设为位移范围，远扫描的位移模式将最远端与中间位置之间的全区间设为位移范围。近扫描的位移模式的位移范围与远扫描的位移模式的位移范围相互不重叠，是排他性的。中间位置也可以不是最近端与最远端之间的严格意义上的中间位置。

如图4(a)所示的那样，聚焦位置的位移停止的位移模式、近扫描的位移模式以及远扫描的位移模式分别在摄像元件104取得1图像所需的期间，即1视频帧期间上一致。

图4(b)是表示光圈的开口大小的时间变化的图，纵轴表示光圈的开口大小，横轴表示时间。另外，图4(b)的横轴的符号与图3的步骤编号对应。

图4(c)表示摄像元件的曝光以及读出的定时的图，横轴表示时间。在图4(a)至(c)中，横轴的时间相互地对应。另外，图4(c)的横轴的符号与图3的步骤编号对应。

另外，如上所述，最远端以及最近端是，在包含与摄像装置相距各种距离的被摄体的摄像场景中，对于规定的距离范围内存在的各种被摄体，按照焦点与摄像元件104的摄像面一致的方式使聚焦透镜101进行移动的情况下，距摄像装置最近的被摄体进行成像的情况下以及距摄像装置最远的被摄体进行成像的情况下的聚焦透镜101的位置。以最远端(第1合焦位置)进行成像的被摄体位于在规定的距离范围内的与摄像装置相距最长的距离的位置(第1被摄体距离)，以最近端(第2合焦位置)进行成像的被摄体位于在规定的距离范围内的与摄像装置相距最短的距离的位置(第2被摄体距离)。

如图3以及图4(a)所示的那样，首先，聚焦透镜驱动部103基于聚焦透镜位移控制部106的指令，使聚焦透镜101向作为初始位置的中间的位置进行移动(S10)。其次，光圈开口控制部117将光圈115设为开启状态(S11)。此时，聚焦位置位于初始位置而不变，处于停止。接下来，从中间位置起，根据远扫描的位移模式，按照在最远端与中间位置之间从中间位置至最远端并再次返回至中间位置的方式使聚焦透镜101的位置发生位移(S12)。即，使聚焦透镜101根据远扫描的位移模式而进行半扫描。同时，控制摄像元件104的电子快门，开始进行摄像元件104的曝光。在本实施方式中，摄像元件104是CCD图像传感器，因此，通过全局快门动作，同时开始全光电变换元件(全像素)的曝光。

其后，使聚焦透镜停止，并且，通过电子快门停止摄像元件104的曝光。摄像元件104从各光电变换元件中读出与基于曝光的光量相应的电信号(电荷)。这在图4(c)中，如粗线所示，通过全局快门动作在全光电变换元件同时地进行。在此，其后，由CCD逐次传送所读出的电信号。

接下来，光圈开口控制部117按照使光圈成为预先决定的开口大小的方式缩小光圈115(S13)，在固定聚焦位置不变地进行通常的摄像(S14)。同时，控制摄像元件104的电子快门，开始进行摄像元件104的曝光。

光圈开口控制部117在再次使光圈成为开启状态(S15)后，聚焦透镜驱动部103从中间位置起根据近扫描的位移模式，按照在最近端与中间位置之间从中间位置向最近端并再次返回至中间位置的方式使聚焦透镜101的位置发生位移(S16)。即，使聚焦透镜101根据近扫描的位移模式而进行半扫描。

其后，使聚焦再次停止，通过电子快门使摄像元件104的曝光也停止，从各光电变换元件中读出与曝光的光量相应的电信号(电荷)。进一步使光圈115的开口缩小至预先决定的量(S17)，固定聚焦位置不变地进行摄像(S18)。

以上的从S11至S18的动作成为拍摄的一周期。由图4(a)可知，在本实施方式中，一周期的动作的位移模式中，聚焦位置静止的位移模式(第1类型的位移模式)被夹在近扫描的位移模式(第2N类型的位移模式)以及远扫描的位移模式(第2F类型的位移模式)之间，近扫描的位移模式与远扫描的位移模式不连续。在拍摄动态图像的情况下，只要重复继续S11至S18的动作即可。如图4(c)所示的那样，在使光圈115的开口大小发生变化的期间(S11、S13、S15、S17)通过电子快门来停止曝光。

对用户所进行的表示拍摄结束的输入进行确认(S19)，在指示了拍摄结束的情况下，扫描动作结束。

其次，对根据所获得的各扫描图像来求取三维信息的方法进行说明。例如，图像处理部109可以构成为可求取拍摄场景的三维信息。基于步骤S14以及S18所获得的电信号的图像的合焦位置为恒定，在缩小了光圈的状态下进行拍摄。由此，获得景深深的图像，即，获得对处于景深范围内的全部被摄体进行了合焦的全焦点图像(类似的全扫描图像)。

另一方面，基于步骤S12以及S16所获得的电信号的图像是在合焦位置移动的同时以叠加的状态所拍摄得到的图像。由此，获得基于半扫描方式的近扫描图像与远扫描图像。由此，例如，对步骤S12以及S16所获得的图像通过利用非专利文献2公开的图像处理方法就能获得拍摄场景的进深信息。

通过利用该全焦点图像与进深信息就能获得拍摄场景中的三维信息。即，根据一张类似的全扫描图像、以及在该前后的帧的定时所拍摄得到的远扫描图像以及近扫描图像合计三张图像，能够获得一个场景中的三维信息。例如，能够重构对位于拍摄场景的最远端与最近端之间的任意的被摄体对准了焦点的图像。根据本实施方式，在进深的估计中利用基于半扫描的图像。如上所述，由于基于半扫描的图像而进行的进深的估计比基于全扫描的图像而进行的进深的估计精度高，因此本实施方式所获得的三维信息的精度也高。

另外，根据本实施方式，通过1周期的聚焦透镜的位移模式而拍摄到4个图像，但全焦点图像的帧被夹在基于半扫描的图像的帧间，因此，全焦点图像以及上述的三维信息能够通过2视频帧周期来获得。由此，根据本实施方式，能够获得顺畅的EDOF动态图像。例如，若利用能够例如以60fps进行摄像的摄像元件则能够获得30fps的三维动态图像。若利用可进行更高速摄像的摄像元件，则能够实现更顺畅的(高帧速率)EDOF动态图像。

另外，根据本实施方式，在以与1视频帧的期间一致的长度来获得全焦点图像，因此，整个全焦点图像以时间上一致的定时来取得，从而能够获得自然的全焦点图像。基于这些的情况，根据本实施方式，能够获得高品质且无不协调感的顺畅的EDOF动态图像。

而且，全焦点图像能够在聚焦透镜停止的状态下取得。由此，能够降低整个摄像装置的功耗。另外，由于不使聚焦透镜进行全扫描，与作为驱动聚焦透镜的电动机等的驱动源而使得进行全扫描的情况相比，能够使用驱动能力低的驱动源。由此，能够降低摄像装置的制造成本，而且能够使摄像装置进一步实现小型化。另外，上述的用于获得进深信息的图像处理由于该运算过程中强调高频区域，故对噪声抑制较弱，该运算规模的大小将成为进一步增大功耗的要因。对于这些点而言，聚焦透镜的驱动源是低功耗，且无需高驱动能力这样的特征是有利的。

另外，在本实施方式中，将聚焦透镜的初始位置设定为最远端，但初始位置也可以是最近端。另外，本实施方式的摄像装置100在拍摄静态图像摄影的情况下，只要有连续的全焦点图像、近扫描图像以及远扫描图像即可。由此，本实施方式中所利用的位移模式也可以不包含步骤S18的位移模式。

另外，三维信息也可以由图像处理部109以外的信号处理部、例如摄像装置100的外部的计算机、信号处理部来进行获取。

(实施方式2)

参照图5以及图6，对本发明的摄像装置、集成电路以及摄像方法的第2实施方式进行说明。

本实施方式的摄像装置的构成与实施方式1的摄像装置相同，但聚焦透镜的位移模式不同。

图5是表示拍摄时的扫描动作的顺序的流程图。另外，图6(a)是表示使聚焦透镜的位置在最远端与最近端之间进行位移的情况下的聚焦透镜的扫描模式的图，图6(b)是表示光圈的开口大小的时间变化的图。

本实施方式中，在使聚焦位置移动至初始位置后(S20)，将光圈设定为开启状态(S21)，进行了远扫描摄像后(S22)，仅以在步骤S21中将光圈设定为开启状态的时间相同的时间，中断摄像(等待)(S23)，其后进行近扫描摄像(S24)。然后，将光圈的开口缩小至预先决定的大小(S25)，固定聚焦位置不变地进行摄像(S26)。

这样，本实施方式中的聚焦透镜的位移模式，在一周期的动作的位移模式中，聚焦位置静止的位移模式(第1类型的位移模式)被夹在近扫描的位移模式(第2N类型的位移模式)以及远扫描的位移模式(第2F类型的位移模式)之间，近扫描的位移模式与远扫描的位移模式相连续。

在步骤S24的近扫描摄像时的光圈的开口大小可以与步骤S22中设定的开口大小相同。但在求取进深信息的处理时，近扫描图像与远扫描图像的摄像参数为相等的情形将使更高精度的进深估计成为可能。由此，与步骤S21对应的时间不进行曝光，将步骤S22以及步骤S24中的曝光时间设为相等。

即使根据本实施方式的摄像装置，也与实施方式1的摄像装置相同地，能够获得三维动态图像，能够获得与实施方式1的摄像装置相同的效果。

(实施方式3)

参照图7以及图8，对实施方式3的摄像装置、集成电路以及摄像方法进行说明。

图7是表示本实施方式的摄像装置200的块构成图。对于与实施方式1的摄像装置100相同的构成要素，赋予相同参照符号。摄像装置200通过使摄像元件104的位置移动来改变与镜头光学系统120的聚焦透镜101的距离，在这点上与摄像装置100不同。

由此，摄像装置200具备：摄像元件位置检测部202、摄像元件驱动部203、摄像元件位移控制部206以及曝光/光圈/摄像元件位移同步部207。

摄像元件位置检测部202包含位置传感器，对摄像元件104的位置进行检测，并将检测信号输出给摄像元件位移控制部206。摄像参数设定部118设定摄像元件104的位移模式，并设为目标摄像元件的位置。由此，摄像元件位移控制部206根据目标摄像元件位置与摄像元件位置检测部202所检测出的摄像元件104的当前位置之间的差来计算驱动信号并向摄像元件驱动部203输出。

释放受理部113在受理了来自用户的拍摄开始指令时，摄像参数决定部118决定摄像元件104的曝光时间、光圈的开口大小以及位移模式，并向曝光/光圈/摄像元件位移同步部207输出这些信息。

曝光/光圈/摄像元件位移同步部207基于曝光时间相关的信息，按照以同步的定时进行曝光、光圈115的开口的控制、摄像元件104的驱动以及来自摄像元件104的电信号的读出的方式，对快门开闭指示部112、光圈开口控制部117、摄像元件位移控制部206以及读出电路108输出指令。由此，摄像装置200能够将光圈115的开口设定为规定的大小，并驱动摄像元件104，而使摄像元件104的位置变化的同时，使摄像元件104曝光，从而获得扫描图像。

图8是表示本实施方式的摄像方法的流程图。为了使摄像元件与聚焦透镜之间的距离变化，除使摄像元件进行位移外，其他与图2中说明的实施方式1的摄像方法相同。

摄像元件的位移模式与实施方式1、实施方式2中说明的聚焦透镜的位置的位移模式相同。另外，以下能够利用进行说明的实施方式4至实施方式7的聚焦透镜的位置的位移模式。

根据本实施方式的摄像装置，也与实施方式1的摄像装置相同，能够拍摄三维动态图像，能够获得与实施方式1的摄像装置相同的效果。

(实施方式4)

实施方式1至实施方式3的摄像装置中，作为摄像元件而利用了CCD图像传感器。CCD图像传感器由于能够进行将全像素同时地读出的全局快门动作，因此，这些实施方式的摄像装置中的聚焦透镜的位移模式适于CCD图像传感器。在本实施方式中，对作为摄像元件而利用了CMOS图像传感器的摄像装置、集成电路以及摄像方法进行说明。

由CMOS图像传感器构成的摄像元件适于将大量的像素高速地读出的情形，例如实现了能够将Full HD (1920×1080)尺寸的图像以60fps读出的摄像元件。

在连续地读出由CMOS图像传感器构成的摄像元件进行曝光所获得的电荷的情况下，利用将二维地排列的像素集合以行等的部分为单位依次进行扫描并从各像素读出电荷的被称为卷帘快门(rolling shutter)的电子快门控制方式。

图9(a)表示在这样的摄像元件中读出来自像素集合的电荷的定时。横轴表示时间，纵轴表示摄像元件的读出行的位置。摄像元件由N行的多个像素行构成。图9(a)的斜线部表示获取一张图像的情况下的摄像元件的曝光定时，粗实线表示数据的读出定时。如图9(a)所示的那样，从摄像元件的前头行起依次进行扫描，从各像素读出电荷，紧接其后起开始蓄积电荷，在经过规定时间后再次进行扫描，从各像素读出电荷，由此来获得图像信号。在第N行的扫描结束后，从前头再次反复进行扫描，由此，能够获得连续的动态图像。根据图9(a)可知，在以卷帘快门进行拍摄的情况下，摄像元件面内的摄像定时会产生偏离，前头行与最终行之间最大将产生1视频帧份的偏离。

在通过F-DOF方式来取得图像的情况下，需要使聚焦状态从规定的合焦范围的最远端至最近端进行位移且使摄像元件面内的全部的像素均匀地进行曝光。图9(b)示出了与图9(a)的横轴对应，通过卷帘快门在1视频帧期间内使聚焦透镜从最远端至最近端进行扫描动作的情况下的位移模式。以图9(a)所示的定时使摄像元件进行曝光的情况下，在第1读出行的曝光的期间，聚焦透镜从最远端至最近端的全范围内进行移动。但是，在第N行的曝光的期间，聚焦透镜仅位于最近端。在这些之间的行的曝光的期间，聚焦透镜仅在最远端至最近端的范围的一部分进行位移。由此，即使以图9(b)所示的位移模式使聚焦透镜位移，也不能够决定正确的扫描图像。

图9(c)示出了适于由CMOS图像传感器构成的摄像元件的位移模式的一个示例。图9(c)所示的位移模式在1视频帧期间，从最远端开始进行位移，在到达最近端后，返回至最远端即在1视频帧期间进行了从最远端至最近端的1往返位移。该例中，曝光时间与1视频帧一致，因此，尽管位移模式的往返动作与1视频帧一致，但只要往返动作与曝光时间同步即可。即，也可以进行曝光时间的2以上的整数倍的往返动作。图9(c)所示的位移模式通过在2视频帧的期间使位移模式连续，即，使扫描动作称为2往返，由此，能够使摄像元件面内的全部的像素均匀地进行曝光。

基于这样的差异，可知：图31所示的扫描动作，在将CMOS图像传感器用于摄像元件的情况下，利用图32所示的位移模式而能够实现。

在图32(a)所示的全扫描方式中，为了获得一张扫描图像的扫描可以是2往返。但是，根据DFD方式，需要将聚焦位置从最近端移动至最远端。由此，需要包含虽不进行拍摄但使聚焦透镜从最远端至最近端或者从最近端至最远端进行移动的位移模式，在这点上与将CCD图像传感器用于摄像元件的情况下的位移模式不同。另一方面，如图32(b)所示的那样，在半扫描方式中，近扫描、远扫描的各扫描的开始位置均是最近端与最远端的中间位置，各扫描原本是1往返动作，因此，往返动作以外的聚焦移动将不会发生。

这样，在取代CCD图像传感器将CMOS图像传感器用作为摄像元件的情况下，只要在2视频帧的期间之间使聚焦透镜进行2往返即可。不过，在摄像中使光圈的开口大小变化的情况下，需要按照在开口大小进行变化的期间不进行摄像的方式利用电子快门来限制曝光。利用图10对该情况下的动作进行说明。

图10(a)、(c)、(d)的各图的纵轴和横轴分别与图9(a)、(b)、(c)相同。关于以由CMOS图像传感器构成的摄像元件在使用电子快门的情况下的曝光，如图10(a)所示的那样，在摄像元件的各读出行中，仅缩短时间T地进行曝光。由此，在图10(a)中，产生曝光区域(A)与非曝光区域(B)。光圈如图10(b)所示的那样，被控制为从各视频帧的前头起时间T的期间使开口大小的变更结束。如图10(c)所示的那样，在各读出行中，基于电子快门的非曝光时间结束后，开始扫描动作，在各读出行中的曝光时间的期间进行1往返的扫描动作。各读出行的曝光时间由于电子快门而变得比1视频帧还短。因此，扫描动作比2往返变多的情况与图9中说明的没有电子快门的情况不相同。考虑进行连续的扫描动作，如图10(d)所示，可以在时间T的期间进行扫描的预备动作，且在视频帧的结束定时进行聚焦位置返回至初始位置的扫描动作。

通过利用这样的电子快门的动作，能够利用CMOS图像传感器来实现实施方式1、2的摄像装置。本实施方式的摄像装置除了摄像元件是CMOS图像传感器以外，具备与实施方式1、2的摄像装置相同的构成，因此，关于摄像装置的各构成要素的说明，在此不再重复。

图11是表示本实施方式的摄像装置中的拍摄时的扫描动作的顺序的流程图。另外，图12(a)、(b)示出了与实施方式1的图4(a)、(b)对应的聚焦透镜的位移模式以及光圈的开口大小的时间变化。

如图11以及图12所示的那样，首先，使聚焦透镜移动至初始位置后(S30)，分别在步骤S31、S33、S35、S37中变更光圈的开口大小，分别在步骤S32、S34、S36、S38中进行用于摄像的往返扫描。另外，在使光圈的开口大小变化的期间(S31、S33、S35、S37)，通过电子快门将摄像元件设为非曝光状态。

如参照图10(d)进行了说明的那样，在光圈的开口大小发生变化的步骤S31以及S35中，通过进行使聚焦位置预先偏移的预备动作，以半扫描驱动聚焦透镜的情况下的2视频帧为单位的位移模式的始点与终点的位置相一致，能够使扫描动作顺畅地连续。

通过采用这样的扫描模式，即使是利用了CMOS图像传感器的摄像元件，通过使用于获取全焦点图像的位移模式被夹在用于求取进深信息的近扫描的位移模式以及远扫描的位移模式之间，也能够在视频帧上交替地取得全焦点图像与半扫描图像。因此，如实施方式1中所说明的那样，能够拍摄三维动态图像。

在该例中，全焦点图像由于在4视频帧能够进行2次拍摄，因此，例如若利用以60fps可摄像的CMOS型摄像元件，则能够获得15fps的三维动态图像。这些动作通过与可高速读出的摄像元件进行组合，能够发挥更好的效果。

另外，在对实施方式2的参照图5以及图6说明了的摄像装置的摄像元件利用了CMOS图像传感器作为图像传感器的情况下，进行基于图13所示的流程的顺序以及图14(a)、(b)所示的扫描模式动作以及光圈的开口控制。在该情况下，图5以及图6的步骤S20至S27分别与图13以及图14(b)所示的步骤S40至S47对应。

本实施方式能够与实施方式3进行组合。具体而言，也可以取代驱动聚焦透镜而驱动摄像元件。在该情况下，摄像装置的构成可与图7所示的构成相同。

这样，即使是将进行卷帘快门动作的CMOS图像传感器作为摄像元件而利用的摄像装置，也能够与实施方式1相同地拍摄到顺畅且品质高的三维动态图像。并且能够实现小型且功耗小的摄像装置。

(实施方式5)

实施方式1至实施方式4中，全焦点图像是通过减小光圈的开口而使景深变深来取得的。在该情况下，在获得全焦点图像时，到达摄像元件的光量变少。在到达摄像元件的光量大幅地降低时，S/N将降低，像质将会恶化。于是，可以按照光圈摄像时的光量不低于规定的阈值的方式对开口量施以限制。此时的阈值可以以光量的绝对值来决定，也可以根据与在开启状态下进行拍摄的扫描图像的光量之比来决定光圈。

具体而言，摄像参数决定部根据摄像场景的明亮度、即入射至镜头光学系统的光的光量，来决定获取全焦点图像的情况下的光圈的开口大小。在光量小于阈值的情况下，摄像参数决定部与光量比阈值要少多少无关地将光圈的开口设定为规定的大小。

而且，在该情况下，也可以构成为：能够以使用户可进行取代容许像质恶化而优先景深扩展的选择的方式变更阈值。通过设为用户能够易于改变阈值的方式，可提供能以各种各样的条件进行拍摄的摄像装置。

这样，根据本实施方式，在拍摄场景较暗的情况下，成为能够抑制所拍摄的图像的像质劣化。另外，通过用户的设定，能够选择优先像质还是优先三维信息的取得。

(实施方式6)

在实施方式5中，在入射至镜头光学系统的光量小于规定的阈值的情况下限制了光圈的开口量，但在暗处进行拍摄的情况下等，即使使光圈成为开启状态却仍然有入射至摄像元件的光量不足的情况。在这样的情况下，若想通过缩小光圈来取得全焦点图像，则光量进一步降低，所拍摄的图像的像质会极端降低。

本实施方式的摄像装置在这样的情况下按照不使光圈的开口过小的方式限制缩小的量，并且，通过对扫描量进行了限制的全扫描而使聚焦透镜进行位移的同时进行全焦点图像的拍摄。由此，能够不使入射至摄像元件的光量降低地获得使景深得到扩展的全焦点图像。

本实施方式的摄像装置的构成也可以与实施方式1至5的摄像装置相同。由此，以下尤其是对聚焦透镜或者摄像元件的位移模式与光圈的开口的控制进行说明。

图15(a)、(b)以及图16(a)、(b)示出了与图4(a)、(b)对应的扫描模式以及光圈的开口大小的时间变化。另外，图15(a)表示利用了进行全局快门动作的摄像元件的情况下的扫描模式，图16(a)表示利用了进行卷帘快门动作的摄像元件的情况下的扫描模式。

根据这些图可知，在本实施方式中，用于获得全焦点图像的聚焦透镜的位移模式(第1类型的位移模式)，在比最远端(第1合焦位置)更接近最近端(第2合焦位置)的位置与比最近端更接近最远端的位置之间的全区间进行位移。在利用CCD图像传感器的情况下，如图15(a)所示的那样，在1视频帧中，从所设定的区间的中间位置起开始位移，在整个区间进行1往返。在利用CMOS图像传感器的情况下，如图16(a)所示的那样，在2视频帧中，从所设定的区间的中间位置起开始位移，在整个区间进行2往返。

区间的长度取决于入射至摄像元件的光量以及所设定的光圈的开口大小。具体而言，入射的光量越少，所取的区间越长，由此，因光量不足而不能使光圈的开口减小，故能够通过聚焦透镜的位移来弥补景深的变浅。

这样，根据本实施方式，即使在拍摄场景较暗进而入射至镜头光学系统的光量不足的情况下，也不将光圈的开口设为过小以确保光量而使聚焦透镜位移，由此能够扩展合焦范围。由此，能够不使S/N比恶化地获得全焦点图像。所以即使拍摄场景较暗，也能够不使像质过度劣化地进行三维动态图像的拍摄。

另外，用于获得全焦点图像的聚焦透镜的位移模式中的位移区间比最远端与最近端之间的全区间要短。由此，拍摄中的聚焦透镜的驱动量将成为比在最远端与最近端之间的全区间进行位移的情况要少，由此能够降低摄像装置的功耗。

不过，本实施方式中，为了获得全焦点图像，也可以使聚焦透镜在最远端与最近端之间的全区间进行位移。

图17是表示这样的形态中的扫描动作的顺序的流程图。与图3所示的流程相比，没有光圈的驱动步骤，在缩小光圈并固定聚焦位置的状态下，通过在最远端与最近端之间的全区间中进行全扫描，使聚焦透镜进行位移。由于无需按视频帧驱动光圈，因此通过电子快门，在使光圈的开口大小发生变化的期间，未将摄像元件设为非曝光状态。根据该方式，能够在从最远端至最近端的全范围获得焦点对准的全焦点图像。

图18表示在利用了进行全局快门动作的摄像元件时的扫描模式，图19表示在利用了进行卷帘快门动作的摄像元件时的扫描模式。在利用任一摄像元件的情况下，该扫描动作的顺序均遵循图17所示的流程的顺序。

这样，在拍摄场景较暗进而入射至摄像元件的光量不足的情况下，通过在将光圈完全开启状态下固定且进行全扫描摄像，能够获得全焦点图像，能够进行三维动态图像的拍摄。即，通过利用减小光圈的开口使景深变深或超过最近端与最远端的中间位置而在最近端侧与最远端侧之间驱动聚焦透镜所获得的全焦点图像和半扫描图像，能够进行使全焦点图像的像质与进深测量精度得到兼顾的拍摄。

(实施方式7)

如到此为止说明的那样，在获得全焦点图像的情况下与获得基于半扫描的图像的情况下使光圈的开口大小发生变化时，在这2个图像中，入射至摄像元件的光量将发生变化。

本实施方式的摄像装置利用摄像元件的电子快门，在用于获得半扫描图像以及全焦点图像的拍摄时，调整曝光时间。更具体而言，将半扫描摄像中的曝光时间设定得比用于获得全焦点图像的摄像中的曝光时间要短。

本实施方式的摄像装置具备与实施方式1至6的摄像装置相同的结构。图20是表示拍摄时的扫描动作的顺序的流程图。本实施方式中，按照各视频帧中的每次拍摄来设定基于电子快门的非曝光时间或者曝光时间。图21(a)，(b)、(c)表示在将CCD图像传感器用于摄像元件的情况下的扫描模式、光圈的时间变化以及摄像元件的曝光、读出的定时。另外，图22(a)，(b)、(c)表示在将CMOS图像传感器用于摄像元件的情况下的扫描模式、光圈的时间变化以及摄像元件的曝光、读出的定时。

对本实施方式的扫描动作的顺序进行说明。如图20所示的那样，首先，使聚焦透镜向初始位置移动(S60)。其次，例如，根据用于获得半扫描摄像中的曝光时间与用于获得全焦点图像的摄像中的曝光时间之比来设定基于电子快门的非曝光时间或者曝光时间(S601)。

其次，将光圈设为开启状态(S61)。此时，聚焦位置是初始位置且不变化，处于停止。

接下来，进行从最远端至中间位置的往返扫描动作即半扫描中的远扫描(S62)。此时的扫描模式与通过S601的电子快门的设定而使曝光时间变短的情形相对应地增大该扫描的位移速度。

其后，使电子快门的设定复原(S621)。在使聚焦停止的同时，使光圈改变至预先决定的量(S63)，固定聚焦位置不变地进行摄像(S64)。

其后，按照与步骤S601中设定的曝光时间成为相同的方式设定电子快门的设定(S641)。

再次使光圈设为开启状态(S65)后，进行最远端位置至中间合焦位置的往返扫描动作即半扫描中的近扫描(S66)。如上所述，需要与通过电子快门的设定使曝光时间变短对应地增大扫描的位移速度。

其后，使电子快门设定复原(S661)。再次使聚焦停止的同时，使光圈改变预先决定的量(S67)，固定聚焦位置不变地进行摄像(S68)。

以上的步骤S61至S68的顺序中的扫描动作成为一周期。在进行动态图像的情况下，只要重复继续步骤S61至S68的动作即可。在使光圈的开口大小变更的步骤S61、S63、S65、S67中的时间，如利用图3所说明的那样，摄像元件因电子快门而处于非曝光状态。

对表示基于用户的拍摄结束的输入进行确认(S69)，在指示了拍摄结束的情况下扫描动作结束。

这样，按各扫描摄像，切换电子快门的设定，调整曝光时间，并且，根据该曝光时间使扫描速度发生变化，由此，对于因光圈的开口量变化所产生的光量变化进行补正，能够使全焦点图像与进深信息用的半扫描图像相连续地取得。

产业上的可利用性

本申请中所公开的摄像装置、集成电路以及摄像方法能够使全焦点图像与进深信息交替连续并高速地取得，能够适用于民生用或者业务用的各种摄像装置。

标号说明

Claims (19)

1.一种摄像装置，其具备：

摄像元件，其具有二维地排列且构成摄像面的多个光电变换元件，并且使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号；

镜头光学系统，其包含向所述摄像元件聚光的聚焦透镜；

驱动部，其按照使所述摄像元件与所述聚焦透镜之间的距离进行变化的方式驱动所述摄像元件或者所述聚焦透镜的一者；

位移控制部，其构成为通过向所述驱动部输出指令，基于规定的位移模式来控制所驱动的所述摄像元件或者所述聚焦透镜的位移；

光圈，其设于所述镜头光学系统中且具有可变更大小的开口；

开口控制部，其构成为控制所述光圈的所述开口的大小；

同步部，其构成为基于所述摄像元件的曝光的定时来控制所述位移控制部以及所述开口控制部；和

摄像参数决定部，其决定所述曝光的时间、所述光圈的开口大小以及所述位移模式，

所述规定的位移模式包含：在第1合焦位置与第2合焦位置之间的不同的范围使所述摄像元件或者所述聚焦透镜进行位移的第1类型的位移模式以及第2类型的位移模式，所述第1合焦位置是在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的合焦位置，所述第2合焦位置是在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的合焦位置

在所述规定的位移模式中，所述第1类型的位移模式以及所述第2类型的位移模式交替地反复，

所述开口控制部基于来自所述同步部的定时，在所述第1类型的位移模式以及所述第2类型的位移模式中，按照具有第1开口以及与所述第1开口的大小不同的第2开口的方式控制所述光圈。

2.根据权利要求1所述的摄像装置，其中，

所述第1类型的位移模式不从所述第1合焦位置与所述第2合焦位置之间的中间位置起进行位移。

3.根据权利要求1所述的摄像装置，其中，

所述第1类型的位移模式，在比所述第1合焦位置更靠近所述第2合焦位置的位置、与比所述第2合焦位置更靠近所述第2合焦位置的位置之间的全区间进行位移。

4.根据权利要求1所述的摄像装置，其中，

所述第2类型的位移模式包含：

将所述第1合焦位置与所述第1合焦位置及所述第2合焦位置的中间位置之间的全区间作为所述位移范围的第2F类型的位移模式；和

将所述中间位置与所述第2合焦位置之间的全区间作为所述位移范围的第2N类型的位移模式。

5.根据权利要求4所述的摄像装置，其中，

所述第1类型的位移模式被夹在所述第2F类型的位移模式及所述第2N类型的位移模式之间，

所述第2F类型的位移模式及所述第2N类型的位移模式不连续。

6.根据权利要求4所述的摄像装置，其中，

所述第1类型的位移模式被夹在所述第2F类型的位移模式及所述第2N类型的位移模式之间，

所述第2F类型的位移模式及所述第2N类型的位移模式相连续。

7.根据权利要求1所述的摄像装置，其中，

所述第1开口比所述第2开口小。

8.根据权利要求7所述的摄像装置，其中，

所述摄像参数决定部根据所述摄像元件的入射光量来决定所述第1开口及所述第2开口的大小。

9.根据权利要求8所述的摄像装置，其中，

在所述摄像参数决定部中，

在所述入射光量小于阈值的情况下，所述入射光量摄像参数决定部与所述入射光量的值无关地将所述第1开口设定为规定的大小。

10.根据权利要求1至9中任意一项所述的摄像装置，其中，

所述摄像参数决定部根据所述第1类型的位移模式及所述第2类型的位移模式中的入射至所述摄像元件的入射光量之比，来决定所述曝光的时间、所述第1类型的位移模式以及所述第2类型的位移模式。

11.根据权利要求1所述的摄像装置，其中，

所述摄像装置还具备对所驱动的所述摄像元件或者所述聚焦透镜的位置进行检测的位置检测部，

所述位移控制部基于所述位置检测部的输出以及所述位移模式，对所述驱动部指示驱动量。

12.根据权利要求11所述的摄像装置，其中，

所述摄像装置还具备用于从所述摄像元件中读出所述图像信号的读出电路，

所述同步部基于所述摄像元件的曝光的定时，来控制所述位移控制部以及所述读出电路。

13.根据权利要求1至12中任意一项所述的摄像装置，其中，

根据在基于所述第1类型的位移模式而被驱动的所述摄像元件或者所述聚焦透镜进行位移的期间所获得的图像信号，来生成全焦点图像。

14.根据权利要求1至13中任意一项所述的摄像装置，其中，

根据在基于所述第2类型的位移模式而被驱动的所述摄像元件或者所述聚焦透镜进行位移的期间所获得的图像信号，来生成进深信息。

15.根据权利要求1至14中任意一项所述的摄像装置，其中，

所述摄像元件是CCD图像传感器。

16.根据权利要求1至14中任意一项所述的摄像装置，其中，

所述摄像元件是CMOS图像传感器。

17.根据权利要求16所述的摄像装置，其中，

所述第1类型的位移模式、所述第2F类型的位移模式以及所述第2N类型的位移模式分别至少在各自的全位移范围进行2次往返位移。

18.一种摄像装置的集成电路，该摄像装置具备：

摄像元件，其具有构成摄像面的二维地排列的多个光电变换元件，且使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号；

镜头光学系统，其包含向所述摄像元件进行聚光的聚焦透镜；

驱动部，其按照所述摄像元件与所述聚焦透镜之间的距离进行变化的方式驱动所述摄像元件或者所述聚焦透镜的一者；和

光圈，其设于所述镜头光学系统中且具有可变更大小的开口，

所述集成电路具备：

位移控制部，其构成为通过向所述驱动部输出指令，基于规定的位移模式来控制所驱动的所述摄像元件或者所述聚焦透镜的位移；

开口控制部，其构成为控制所述光圈的所述开口的大小；

同步部，其构成为基于所述摄像元件的曝光的定时来控制所述位移控制部以及所述开口控制部；和

摄像参数决定部，其决定所述曝光的时间、所述光圈的开口大小以及所述位移模式，

所述规定的位移模式包含：在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第1合焦位置与在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第2合焦位置之间的不同的范围，所述摄像元件或者所述聚焦透镜进行位移的第1类型的位移模式以及第2类型的位移模式，

在所述规定的位移模式中，所述第1类型的位移模式以及所述第2类型的位移模式交替地反复，

所述开口控制部基于来自所述同步部的定时，在所述第1类型的位移模式以及所述第2类型的位移模式中，按照具有第1开口以及与所述第1开口的大小不同的第2开口的方式控制所述光圈。

19.一种摄像方法，其是通过由聚焦透镜使光在摄像元件聚光来使摄像场景进行成像的摄像方法，该摄像元件具有构成摄像面的二维地排列的多个光电变换元件，且使所述多个光电变换元件进行曝光并从所述多个光电变换元件读出电信号，由此生成图像信号，

所述摄像方法的特征在于，

决定第1类型的位移模式以及第2类型的位移模式，该第1类型的位移模式以及第2类型的位移模式是：在摄像场景中的第1被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第1合焦位置与在所述摄像场景中的第2被摄体距离处进行合焦的、所述聚焦透镜或者所述摄像元件的第2合焦位置之间的不同的范围，所述摄像元件或者所述聚焦透镜进行位移的第1类型的位移模式以及第2类型的位移模式，

使所述第1类型的位移模式以及第2类型的位移模式交替地重复，且在使所述聚焦透镜或者所述摄像元件进行位移的同时，在所述第1类型的位移模式以及所述第2类型的位移模式中，分别利用第1开口以及与所述第1开口的大小不同的第2开口的光圈，使所述多个光电变换元件进行曝光。

Images