CN103348276A - 摄像装置、半导体集成电路以及摄像方法 - Google Patents

摄像装置、半导体集成电路以及摄像方法 Download PDF

Info

Publication number
CN103348276A
CN103348276A CN2012800075011A CN201280007501A CN103348276A CN 103348276 A CN103348276 A CN 103348276A CN 2012800075011 A CN2012800075011 A CN 2012800075011A CN 201280007501 A CN201280007501 A CN 201280007501A CN 103348276 A CN103348276 A CN 103348276A
Authority
CN
China
Prior art keywords
mentioned
imaging apparatus
condenser lens
exposure
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800075011A
Other languages
English (en)
Other versions
CN103348276B (zh
Inventor
岛本武史
杉谷芳明
河村岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103348276A publication Critical patent/CN103348276A/zh
Application granted granted Critical
Publication of CN103348276B publication Critical patent/CN103348276B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Lens Barrels (AREA)

Abstract

本发明的摄像装置，具备：摄像元件，其具有二维排列的多个光电转换元件，该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，从而生成图像信号；透镜光学系统，其包括朝向上述摄像元件进行聚光的聚焦透镜；驱动部，其对上述摄像元件或上述聚焦透镜的一方进行驱动，以使上述摄像元件和上述聚焦透镜之间的距离发生变化；移位控制部，其通过向上述驱动部输出指令，从而基于规定的移位模式，对被驱动的上述摄像元件或上述聚焦透镜的移位进行控制；以及同步部，其基于上述摄像元件的曝光的定时来控制上述移位控制部；上述规定的移位模式是，在摄像场景中的第一被拍摄对象距离处合焦的上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处合焦的上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中的、被驱动的上述摄像元件或上述聚焦透镜的往返移位，被驱动的上述摄像元件或上述聚焦透镜，在多个光电转换元件各自中的上述摄像场景的1副图像份的曝光时间中进行整数次数的往返移位。

Description

摄像装置、半导体集成电路以及摄像方法
技术领域
本发明涉及例如景深扩展中使用的灵活DOF(Depth ofField，景深)方式中的动态图像或连续静态图像拍摄。
背景技术
在摄像装置中，作为实现景深扩展(Extended Depth ofField，以下称为EDOF)的方式，一般主要列举以下三种方式。
第一个方式是如下方式，即，通过插入被称为相位板的光学元件而使深度方向的像的模糊均一化，并根据预先通过测量或模拟而得到的模糊图案来进行图像复原处理，得到景深扩展了的图像(以下，称为EDOF图像)。该方式称为波前编码(Wavefront Coding)(以下称为WFC)(非专利文献1)。
第二个方式是如下方式，即，通过研究光圈形状来按照图像的每个部分区域进行高精度的距离测量，并根据与预先测量的各个距离相应的模糊图案来进行图像复原处理，得到EDOF图像。该方式称为编码孔径(CodedAperture)(以下称为CA)(非专利文献2)。
第三个方式是如下方式，即，通过在曝光时间中移动聚焦透镜或摄像元件，从而将在深度方向上一致合焦的图像叠合(即，与使各深度的像的模糊均一化同义)，根据预先通过测量或模拟而得到的模糊图案来进行图像复原处理，得到EDOF图像。该方式称为灵活DOF(Flexible DOF)(以下称为F-DOF)(非专利文献3)。
此外，如下方式被公知，即，利用透镜的轴上色差进行深度推定或图像的清晰度检测，通过图像处理来得到整体鲜明清晰的图像(非专利文献4)。也还已知有，使用多重焦点透镜使深度方向的像的模糊均一化，根据预先通过测量或者模拟而得到的模糊图案来进行图像复原处理(非专利文献5)。但是，这些方式原理上与上述三个方式相比，存在EDOF效果较小的缺点。
进一步地，很早以来便公知一种称为焦点堆栈(Focal Stack)的方式。该方式拍摄合焦位置不同的多枚图像，从各个图像中提取/合成被认为分别合焦了的区域，得到EDOF图像。在该方式的情况下，由于需要较多的拍摄图像，所以存在摄像较为需要时间以及图像的存储中耗费较多存储量这样的问题。
上述三个方式中，WFC提出了各种相位板，作为得到最有EDOF效果的方法，列举三次相位掩模(Cubic Phase Mask)(以下称为CPM)和自由形式相位掩模(Free-Form Phase Mask)(以下称为FPM)等。从复原后的画质(伪影的多少)的观点来看，FPM是有力的(非专利文献6)。但是，作为WFC共同的缺点，通过插入相位板，存在透镜的光轴外的特性恶化这样的性质(非专利文献7)。具体来说，与来自正面的入射光相比，对于来自正面以外的入射光，由于不能得到刚好相同的模糊均一效果，所以如果在图像复原时采用轴上的模糊图案来进行复原处理，则复原后的光轴外的画质就恶化。
上述三个方式中，CA存在以下缺点，即，因通过插入特征性的形状的光圈来提高距离测量精度这样的方式本身所具有的特性，故而存在拍摄到的图像和复原处理后得到的图像的特定频率分量消失，即画质恶化这样的缺点。此外，一般不论光圈形状如何，由于光量比通常的拍摄方法减少，所以不适于较暗的场所的拍摄。
上述三个方式中，F-DOF是其中能够得到最良好的画质的方式，EDOF效果也高。由于轴外特性也依赖于透镜特性其本身，所以易于提高性能。但是，根据F-DOF，在曝光中，即使移动聚焦透镜的位置，在同一被拍摄对象在同一图像位置上叠合的情况下也能够得到良好的画质的图像。由此，在F-DOF中有时使用像侧远心透镜(telecentric lens)
对EDOF技术的利用领域之一列举显微镜。在基于显微镜的摄像的情况下，由于拍摄对象是静态物体，所以能够花时间进行拍摄。由此，很早以来能够使用焦点堆栈方式。但是，在该方式的情况下，如前所述，由于需要劳力和时间，所以也与F-DOF方式并用的技术被提出(专利文献1～4)。在显微镜用途中使用F-DOF的情况下，在曝光过程中使作为被拍摄对象的试样或透镜镜筒移动。在以曝光后的图像复原处理作为前提的情况下，为了使像的模糊始终均一而使被拍摄对象或透镜镜筒移动。已知，如果适当控制该移动的方式，则由于能够应用使用了单一的模糊图案的图像复原处理方法，所以是合理的(专利文献5)。由此，在使摄像元件移动的情况下，按照等速度来移动摄像元件。此外，在使聚焦透镜移动的情况下，需要进行与摄像面以等速度移动相当的聚焦移位(非专利文献3)。作为移动的模式，已知从进深侧合焦端位置起至近前侧合焦端位置为止，或者其相反也可以。
此外，近年来，在便携式电话等中搭载的照相机中应用EDOF技术的例子被公知。这是由于，通过EDOF的效果，不具有自动聚焦机构也能够得到全焦点图像(与所有的被拍摄对象对焦的图像)。在该观点下，上述3个方式之中，采用使用了WFC和轴上色差的方式。F-DOF由于需要使聚焦透镜或摄像元件进行移动的机构，所以一般不采用。
在先技术文献
专利文献
专利文献1：德国专利第2301800B2号说明书
专利文献2：JP特公平5-27084号公报
专利文献3：JP特许第3191928号公报
专利文献4：美国专利第7711259号说明书
专利文献5：JP专利第3084130号公报
专利文献6：JP特开2006-47954号公报
专利文献7：JP特开2007-10908号公报
非专利文献
非专利文献1：E.R.Dowski与W.T.Cathey，“Extended depthof field Through wave-front coding”，应用光学，第34卷，No.11，P.1859-1866(1995)
非专利文献2：A.Levin，R.FerGus，F.Durand与W.T.Freeman，“Image and Depth from a Conventional Camerawith a Coded Apeture”，美国计算机学会图形学汇刊，第26卷，No.3，第70章，70-1-70-9(2007)
非专利文献3：H.NaGahara，S.KuThirummal，C.Zhou andS.NaYar，“Flexible Depthof Field Photography”，欧洲计算机视觉国际会议(ECCV)，10.16，上午篇2：计算机摄影(2008)
非专利文献4：C.Tisse，H.P.NGuYen，R.Tesieres，M.PYaneTand F.Guichard，“Extended Depth-of-field(EDOF)usingsharpness Transport across colour channels”，光学工程+应用，国际光学工程学会光学部分+光子学，第一篇——光学设计处理中的成像：景深(2008)
非专利文献5：W.Chi and N.GeorGe，“Computational imagingwith The logarithmic asphere：Theory”，美国光学协会，第20卷，No.12，2003年12月
非专利文献6：Y.Takahashi and S.Komatsu，“Optimized free-form phase mask for extension of depth of field inwavefront-coded imaging”，美国光学协会，光学快报，第33卷，No.13，2008年7月1日
非专利文献7：高桥康久，尾花亮，小松进一，「波前编码用最佳化相位板-轴外景深扩展效果」，日本光学&光子学2007(日本光学会每年学术演讲会)，征稿集，P.464-465(27pC2)，(2007)
发明内容
发明要解决的课题
近年来，人们对能够进行简单且失败少的拍摄的数字静态照相机和数字摄像机有需求。为了实现这样的数字静态照相机和数字摄像机，考虑采用EDOF技术。这是因为，如果使用EDOF技术，则能够期待全焦点图像、即摆脱了合焦失败的效果。
本申请发明鉴于这样的课题，其目的在于，提供一种能够得到EDOF图像的摄像装置、摄像装置中使用的集成电路以及摄像方法。
用于解决课题的手段
在本申请中公开的摄像装置具备：摄像元件，其具有二维排列的多个光电转换元件，该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，从而生成图像信号；透镜光学系统，其包括朝向上述摄像元件进行聚光的聚焦透镜；驱动部，其对上述摄像元件或上述聚焦透镜的一方进行驱动，以使上述摄像元件和上述聚焦透镜之间的距离发生变化；移位控制部，其通过向上述驱动部输出指令，从而基于规定的移位模式，对被驱动的上述摄像元件或上述聚焦透镜的移位进行控制；以及同步部，其基于上述摄像元件的曝光的定时来控制上述移位控制部，上述规定的移位模式是，在摄像场景中的第一被拍摄对象距离处进行合焦的上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处进行合焦的上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中的、被驱动的上述摄像元件或上述聚焦透镜的往返移位，被驱动的上述摄像元件或上述聚焦透镜，在多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间中，进行整数次数的往返移位。
发明效果
根据本申请所公开的摄像装置、集成电路、以及摄像方法，能够使用进行卷帘式快门(rolling shutter)动作的CMOS型摄像元件在F-DOF方式下实现动态图像拍摄或连续静态图像拍摄。
附图说明
图1表示第一实施方式的摄像装置的模块构成图。
图2是表示第一实施方式的摄像装置的动作的流程图。
图3(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的例子，(b)表示摄像元件的曝光以及读出动作的定时。(c)至(f)分别表示摄像元件的规定行中的曝光量和聚焦透镜或摄像元件的位置之间的关系。
图4(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。
图5(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。
图6(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。
图7(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。
图8(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。
图9(a)表示第一以及第二实施方式中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。
图10表示第二实施方式的摄像装置的模块构成图。
图11是表示第二实施方式的摄像装置的动作的流程图。
图12是本申请发明者探讨的摄像装置的模块构成图。
图13是表示被拍摄对象、聚焦透镜、以及摄像元件的位置关系的图。
图14是表示图12所示的摄像装置中的聚焦透镜的位置和曝光时间之间的关系的图。
图15是表示被拍摄对象距离v和像面侧焦点距离u之间的关系的一例的图表。
图16是本申请发明者探讨的其他的摄像装置的模块构成图。
图17是说明CMOS型摄像元件的卷帘式快门动作的图。
图18(a)表示图12或图16中所示的摄像装置中的聚焦透镜或摄像元件的移位模式的一例，(b)表示摄像元件的曝光以及读出动作的定时。(c)至(f)分别表示摄像元件的规定行中的曝光量和聚焦透镜或摄像元件的位置之间的关系。
具体实施方式
本申请发明者，针对在通常的拍摄中使用的、具备使自动聚集机构等的聚焦透镜驱动的机构的数字静态照相机和数字摄像机中，适于得到EDOF图像的构造进行了详细探讨。在这样的用途的照相机中，为了得到的图像是高画质、EDOF效果较大、能够任意变更EDOF范围、通过应用通常的自动聚焦机构便能够实现(不准备特别的光学系统)、EDOF拍摄和通常拍摄的切换较容易等，因而适合F-DOF方式。
首先，使用图12以及图13说明为了实现F-DOF方式的摄像而必需的构成。图12所示的摄像装置300示出在曝光时间中使聚焦透镜移位的构造的一例。摄像装置300包括：包含聚焦透镜101在内的透镜光学系统120、驱动聚焦透镜101的聚焦透镜驱动部103以及摄像元件104。通过使聚焦透镜101的位置移位，使其与摄像元件104的距离发生变化，能够变更聚焦距离。在认为聚焦透镜101固定的情况下，聚焦距离的变更与焦点位置的变更同义。
如果释放受理部113从用户接受曝光开始指令，则聚焦透镜位置检测部102检测聚焦透镜101此时的位置(初始位置)。检测出后，使聚焦透镜101的位置向规定的端位置例如最近端或最远端移位。
图13是表示包含在拍摄场景中的被拍摄对象和摄像装置300内的聚焦透镜101以及摄像元件104之间的位置关系的示意图。
所谓最近端是指如下情况下的聚焦透镜101的位置，即，使聚焦透镜101移动以使包含在拍摄场景中的被拍摄对象之中距离摄像装置300最近的被拍摄对象在摄像元件104的摄像面上形成像的情况。此时，从被拍摄对象至摄像装置300的聚焦透镜101的距离u最短，聚焦透镜101和摄像元件104之间的距离v最长。
此外，所谓最远端是指如下情况下的聚焦透镜101的位置，即，使聚焦透镜101移动以使包含在拍摄场景中的被拍摄对象之中距离摄像装置300最远的被拍摄对象在摄像元件104的摄像面上形成像的情况。此时，从被拍摄对象至摄像装置300的聚焦透镜101的距离u最长，聚焦透镜101和摄像元件104之间的距离v最短。另外，在图13中，为了易于图示，与被拍摄对象和摄像装置300之间的距离相比，将聚焦透镜101的最近端和最远端之间的距离进行较大表示。
与聚焦透镜101的初始化作业同时地，由曝光时间决定部114决定快门速度和光圈值等拍摄参数。在这些动作结束后，迅速地，获取曝光、聚焦移位的同步的曝光/聚焦透镜移位同步部107向聚焦透镜移位控制部106以及快门开闭指令部112输出曝光开始的指令。同时，基于由聚焦透镜位置检测部102检测到的聚焦透镜101的端位置，向聚焦透镜移位控制部106输出在曝光时间内使聚焦透镜101移位的指令，来实现：如果端位置是最远端则使聚焦透镜101从最远端向最近端移位，如果端位置是最近端则使聚焦透镜101从最近端向最远端移位。图14示出曝光时间以及曝光量和像面侧的焦点距离之间的关系。像面侧的焦点距离根据聚焦透镜101的位置而发生变化，为了使聚焦透镜的位置相对于摄像元件面等速地进行移位，由聚焦透镜驱动部103基于聚焦透镜移位控制部106的指令，对聚焦透镜101进行驱动。如上所述，如果设被拍摄对象和聚焦透镜101之间的距离为u，设聚焦透镜101和摄像元件104之间的距离为v，设焦点距离为f，则一般由透镜的公式，以下关系成立：
(式1)1/f＝1/u+1/v
在透镜存在多个时，按透镜主要点位置考虑。作为一例，图15示出f为18[mm]时的u和v之间的关系。通过聚焦透镜101发生移位，透镜主要点和摄像元件间的距离v发生变化。驱动聚焦透镜101以使聚焦透镜的移位相对于摄像元件面等速地发生变化，是指该v的变化速度恒定。如图15所示，即使v以等速度发生移位，被拍摄对象侧的焦点面和透镜主要点间的距离u也未必以等速度进行移位。此外，由于图15的横轴是像面侧焦点距离v，所以与被拍摄对象距离u的大小成相反的关系。即，越是被拍摄对象距离长(位置远)的被拍摄对象，则像面侧焦点距离越短。
如果从曝光/聚焦透镜移位同步部107接受曝光开始指令，则快门开闭指令部112立即控制使快门111打开。此外，规定的曝光时间经过后，曝光/聚焦透镜移位同步部107向快门开闭指令部112输出曝光结束指令。快门开闭指令部112接受曝光结束指令，立即进行控制使快门111关闭。
如果根据上述步骤在摄像元件104中对被拍摄对象的光学像进行成像，则成像的光学像由摄像元件104转换为电信号，经由读出电路108，向图像处理部109输出图像信号。同时，由曝光/聚焦透镜移位同步部107向图像处理部109通知曝光已结束以及已进行了基于F-DOF的聚焦移位的拍摄。图像处理部109接受图像信号，进行必要的信号处理，并向记录部110输出。
图16所示的摄像装置400具备摄像元件104、摄像元件位置检测部202、曝光/摄像元件移位同步部207、摄像元件移位控制部206、摄像元件驱动部203，在曝光时间中使摄像元件进行移位。摄像元件位置检测部202与摄像装置300不同，检测摄像元件104的位置。曝光/摄像元件移位同步部207获取曝光的定时和摄像元件104的移位之间的同步。摄像元件移位控制部206对摄像元件104的移位进行控制。摄像元件驱动部203接受来自摄像元件移位控制部206的信号并驱动摄像元件104。
如果释放受理部113从用户接受曝光开始指令，则摄像元件位置检测部202检测摄像元件104此时的位置(初始位置)。检测出后，使摄像元件104的位置向固定的端位置例如最近端或最远端移位。这里，规定的合焦范围之中，所谓最近端是指如下情况下的摄像元件104的位置，即，使摄像元件104移动以使包含在拍摄场景中的被拍摄对象之中距离摄像装置400最近的被拍摄对象在摄像元件104的摄像面上形成像的情况。此时，从被拍摄对象至聚焦透镜101的距离u最短，聚焦透镜101和摄像元件104之间的距离v最长。此外，所谓最远端是指如下情况下的摄像元件104的位置，即，使摄像元件104移动以使包含在拍摄场景中的被拍摄对象之中、距离摄像装置400最远的被拍摄对象在摄像元件104的摄像面上形成像。此时，从被拍摄对象至聚焦透镜101的距离u最长，聚焦透镜101和摄像元件104之间的距离v最短。
与摄像元件104的初始化作业同时地，由曝光时间决定部114决定快门速度和光圈值等拍摄参数。这些动作结束后，迅速地，获取曝光、摄像元件移位的同步的曝光/摄像元件移位同步部207，向摄像元件移位控制部206以及快门开闭指令部112输出曝光开始的指令。同时，基于由摄像元件位置检测部202检测到的摄像元件104的端位置，向摄像元件移位控制部206输出在曝光时间内使摄像元件104移位的指令，实现：如果端位置是最远端则使摄像元件104从最远端向最近端移位，如果端位置是最近端则使摄像元件104从最近端向最远端移位。摄像元件104以等速进行移位。
如果从曝光/摄像元件移位同步部207接受曝光开始指令，则快门开闭指令部112立即控制使快门111打开。此外，规定的曝光时间经过后，曝光/摄像元件移位同步部207向快门开闭指令部112输出曝光结束指令。快门开闭指令部112接受曝光结束指令，立即进行控制使快门111关闭。
如果根据上述步骤在摄像元件104中对被拍摄对象的光学像进行成像，则成像的光学像由摄像元件104转换为电信号，经由读出电路108，向图像处理部109输出电信号。同时，由曝光/摄像元件移位同步部207向图像处理部109通知曝光已结束以及已进行了采用F-DOF方式的聚焦移位的拍摄。这以外的构成进行与图12所示的摄像装置300相同的动作。
在摄像装置300以及摄像装置400中，在摄像元件104中使用CCD型摄像元件或CMOS型摄像元件。其中，对于高速读出大量的像素的动作来说，CMOS型摄像元件更优异，以例如在1秒内读出60帧的FullHD(1920×1080)尺寸的图像这样的用途正被使用于民用设备中。
在CCD型摄像元件以及CMOS型摄像元件中，通过透镜后使摄像元件曝光，从而在摄像元件内的各像素中蓄积电荷，读出这些电荷从而能够得到图像信息。在CMOS型摄像元件中，在连续读出对摄像元件进行曝光而得到的电荷的情况下，使用以下被称为卷帘式快门的电子快门控制方式，即，按行等的部分单位来依次扫描二维排列的像素集合，从各像素中读出电荷。
图17示出从CMOS型摄像元件的像素集合中读出电荷的定时。横轴表示时间，纵轴表示摄像元件读出行的位置。摄像元件由N行的多个像素行构成。如图17所示，从摄像元件的开头行起依次扫描从各像素中读出电荷，紧接着这之后，开始蓄积电荷，在经过规定时间后，再次扫描从各像素中读出电荷，由此得到图像信号。在第N行的扫描结束后，从开头起再次重复扫描，由此能够得到连续的动态图像。从图17可知，在采用卷帘式快门进行拍摄的情况下，摄像元件面内的摄像定时产生偏差，在开头行和最终行产生最大1次读出时间长的偏差。
为了实现前面所述的F-DOF方式，需要使聚焦状态从规定的合焦范围的最远端移位至最近端(以后，将该动作称为扫掠(sweep)动作)，得到使摄像元件面内的所有的像素均一曝光的图像(以后，将该图像称为扫掠图像)。但是，在摄像元件中使用CMOS型摄像元件的情况下，由于采用前述的卷帘式快门会产生摄像元件面内的摄像定时的偏差，所以即使单纯地从最远端至最近端进行扫掠动作，在摄像元件面内也不能得到均一的扫掠图像。
图18(a)是表示为了连续进行摄像，而通过往返动作使聚焦透镜的位置在从最远端至最近端之间进行变化的情况下的聚焦透镜的位置(聚焦透镜和摄像元件之间的距离)的图，图18(b)是表示与图18(a)相对应的CMOS型摄像元件的曝光以及读出定时的图。从摄像元件在最远端合焦的位置起在摄像元件开头行开始电荷的蓄积，在摄像元件到达了在最近端合焦的位置的定时读出在摄像元件开头行蓄积的电荷。与此同时，在摄像元件最终行开始电荷的蓄积，在摄像元件再次到达最远端的定时读出在摄像元件最终行蓄积的电荷。
图18(c)～(f)是分别表示摄像元件的读出行的开头即第一行、中间部的第i行以及第j行、终端行即第N行的聚焦透镜的位置和曝光量的分布的图。由图可知，在第1行以及第N行以外，从最远端至最近端不能均一进行曝光，不能获取最佳的扫掠图像。
另外，在使用CCD型摄像元件的情况下，由于在摄像元件面内能够在同一定时进行摄像元件的曝光/读出，所以能够采用图18(a)所示的扫掠动作得到扫掠图像。但是，CCD型摄像元件不适于高速读出。由此，为了按照高分辨率且高帧频来得到EDOF图像，在使用了CMOS型摄像元件的摄像装置中，优选进行采用F-EDOF方式的拍摄。
本申请发明者鉴于这样的课题，想到新的摄像装置。以下，参照附图详细说明本发明的摄像装置、集成电路、以及摄像方法的实施方式。在以下的说明中，有时也对相同构成要素附加相同的符号，并省略说明。
作为本发明的一个方式的摄像装置具备：摄像元件，其具有二维排列的多个光电转换元件，该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，来生成图像信号；透镜光学系统，其包括朝向上述摄像元件进行聚光的聚焦透镜；驱动部，其对上述摄像元件或上述聚焦透镜的一方进行驱动，以使上述摄像元件和上述聚焦透镜之间的距离发生变化；移位控制部，其通过向上述驱动部输出指令，从而基于规定的移位模式，对上述被驱动的上述摄像元件或上述聚焦透镜的移位进行控制；以及同步部，其基于上述摄像元件的曝光的定时来控制上述移位控制部；上述规定的移位模式是，在摄像场景中的第一被拍摄对象距离处合焦的、上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处合焦的、上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中的、上述被驱动的上述摄像元件或上述聚焦透镜的往返移位，上述被驱动的上述摄像元件或上述聚焦透镜，在多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间能进行整数次数的往返移位。
在某例示的方式中，在上述摄像元件中，上述多个光电转换元件在行方向以及列方向上进行二维配置，上述多个光电转换元件按每行进行曝光，从上述多个光电转换元件中按每行读出上述图像信号。
在某例示的方式中，上述被驱动的上述摄像元件或上述聚焦透镜与上述曝光的开始同步地开始上述移位动作，与上述曝光的结束同步地结束上述移位动作。
在某例示的方式中，摄像装置还具备：曝光时间决定部，其基于上述摄像场景来决定上述摄像元件的曝光时间；以及移位设定部，其基于上述第一合焦位置、上述第二合焦位置、以及上述曝光时间来决定上述移位模式。
在某例示的方式中，摄像装置还具备位置检测部，该位置检测部检测上述被驱动的上述摄像元件或上述聚焦透镜的位置，上述移位控制部基于上述位置检测部的输出以及上述移位模式，对上述驱动部指示驱动量。
在某例示的方式中，摄像装置还具备读出电路，该读出电路从上述摄像元件中读出上述图像信号，同步部基于上述摄像元件的曝光的定时来控制上述移位控制部以及上述读出电路。
在某例示的方式中，上述往返移位的次数为1。
在某例示的方式中，上述往返移位的次数为2。
作为本发明的一个方式的集成电路是摄像装置的集成电路，其中，该摄像装置具备：摄像元件，其具有二维排列的多个光电转换元件，该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，从而生成图像信号；透镜光学系统，其包括朝向上述摄像元件进行聚光的聚焦透镜；以及驱动部，其对上述摄像元件或上述聚焦透镜的一方进行驱动，以使上述摄像元件和上述聚焦透镜之间的距离发生变化；该集成电路具备：移位控制部，其通过向上述驱动部输出指令，从而基于规定的移位模式，对上述被驱动的上述摄像元件或上述聚焦透镜的移位进行控制；以及同步部，其基于上述摄像元件的曝光的定时来控制上述移位控制部；上述规定的移位模式是，在上述摄像场景中的第一被拍摄对象距离处合焦的、上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处合焦的、上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中的、上述被驱动的上述摄像元件或上述聚焦透镜的往返移位，上述被驱动的上述摄像元件或上述聚焦透镜在多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间中进行整数次数的往返移位。
作为本发明的一个方式的摄像方法，由聚焦透镜在摄像元件中进行聚光，由此使摄像场景成像，其中，该摄像元件具有二维排列的多个光电转换元件，且该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，来生成图像信号；在该摄像方法中，在上述多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间中，在上述摄像场景中的第一被拍摄对象距离处合焦的、上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处合焦的、上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中，使上述摄像元件或上述聚焦透镜的一方进行整数次数的往返移位。
(第一实施方式)
以下，参照附图，说明本发明的摄像装置、集成电路、以及摄像方法的第一实施方式。
图1是表示本实施方式的摄像装置100的模块构成图。摄像装置100具备：聚焦透镜驱动部103、摄像元件104、聚焦透镜移位控制部106、曝光/聚焦透镜移位同步部107、透镜光学系统120。
摄像元件104是COMS型的摄像元件，具有二维排列的多个光电转换元件。摄像元件104依次扫描多个光电转换元件并使其曝光。此外，依次扫描并从多个光电转换元件中读出电信号，由此生成图像信号。
透镜光学系统120包括聚焦透镜101，该聚焦透镜101朝向摄像元件104进行聚光，并使摄像场景在摄像元件104中成像。为了对摄像场景中的希望的被拍摄对象合焦，透镜光学系统120除了聚焦透镜101以外，还可以包括其他1枚以上的透镜。聚焦透镜101也可以由多枚透镜构成。在聚焦透镜101由多个透镜构成的情况下，聚焦透镜的位置指多个透镜的主要点的位置。
在本实施方式中，聚焦透镜驱动部103作为驱动摄像元件104或聚焦透镜101中的一方来使摄像元件104和聚焦透镜101之间的距离发生变化的驱动部而发挥作用。也就是说，聚焦透镜驱动部103基于驱动信号来驱动聚焦透镜，以使摄像元件104和聚焦透镜101之间的距离发生变化。
如以下说明所述，聚焦透镜移位控制部106通过向聚焦透镜驱动部103输出指令，从而基于规定的移位模式，来控制聚焦透镜101的移位。
曝光/聚焦透镜移位同步部107基于摄像元件104的曝光的定时来控制聚焦透镜移位控制部106。
摄像装置100还包括：聚焦透镜位置检测部102、聚焦透镜移位设定部105、读出电路108、图像处理部109、记录部110、快门111、快门开闭指令部112、释放受理部113、曝光时间决定部114。
聚焦透镜位置检测部102包括位置传感器，检测聚焦透镜101的位置，向聚焦透镜移位控制部106输出检测信号。聚焦透镜移位设定部105设定聚焦透镜101的移位模式，作为目标聚焦透镜的位置。由此，聚焦透镜移位控制部106根据目标聚焦透镜的位置和由聚焦透镜位置检测部102检测到的聚焦透镜101的当前位置之差来计算驱动信号并向聚焦透镜驱动部103输出。
在释放受理部113中，如果接受来自用户的曝光开始指令，则曝光时间决定部114决定摄像元件104的曝光时间。此外，向曝光/聚焦透镜移位同步部107以及聚焦透镜移位设定部105输出与曝光时间相关的信息。
曝光/聚焦透镜移位同步部107基于与曝光时间相关的信息，向快门开闭指令部112、聚焦透镜移位控制部106、以及读出电路108输出指令，实现按照同步的定时来进行曝光、聚焦透镜101的驱动、以及来自摄像元件104的电信号的读出。具体地，向快门开闭指令部112指示曝光的定时以及曝光时间。此外，向聚焦透镜移位控制部106指示驱动聚焦透镜101的定时以及驱动时间。
快门111按照来自快门开闭指令部112的指令来进行开闭动作。在快门111为打开状态时，摄像元件104通过由聚焦透镜101聚焦的光而被曝光，曝光后的光转换为电信号后输出。
读出电路108向摄像元件104输出读出信号，由此读出电信号，将读出的电信号向图像处理部109输出。
图像处理部109对被输入的电信号进行各种补正等，构筑依次构成1视频帧份的拍摄场景的图像的图像信号，并向记录部110输出。
由此，摄像装置100能够一面驱动聚焦透镜101来使聚焦透镜的位置发生变化，一面使摄像元件104曝光，得到扫掠图像。
在摄像装置100的上述构成要素中，聚焦透镜位置检测部102、聚焦透镜驱动部103、摄像元件104、图像处理部109、释放受理部113、记录部110可以由公知的硬件构成。此外，聚焦透镜移位设定部105、聚焦透镜移位控制部106、曝光/聚焦透镜移位同步部107、读出电路108、图像处理部109、记录部110、快门开闭指令部112、以及曝光时间决定部114的各构成要素的一部分或者全部，可以由CPU等的信息处理电路以及存储在存储器等的存储部中的软件构成。该情况下，信息处理电路从存储器中读出在以下说明的用于规定摄像方法的步骤的软件，通过执行摄像方法的步骤，来控制摄像装置100的各构成要素。由这些信息处理电路以及存储在存储器中的软件实现的构成要素的一部分可以由专用的集成电路构成。例如，聚焦透镜移位设定部105、聚焦透镜移位控制部106、曝光/聚焦透镜移位同步部107、以及快门开闭指令部112也可以构成集成电路。
接着，参照图1、图2、以及图3，说明本实施方式的摄像方法、特别是用于得到扫掠图像的聚焦透镜的位置和摄像元件104的曝光以及信号读出的定时。
图2是表示本实施方式的摄像方法的流程图，图3(a)是表示使聚焦透镜的位置在最远端和最近端之间往返扫掠时的聚焦透镜的位置变化的图。横轴表示时间，纵轴表示聚焦透镜的位置(与摄像元件的距离)。图3(b)是表示与图3(a)所示的时间轴相对应的CMOS型摄像元件的曝光以及读出定时的图。在该例子中，设定成为得到扫掠图像的对象的聚焦透镜的位置的最远端(聚焦透镜和摄像元件间的距离最短)和最近端(聚焦透镜和摄像元件间的距离最长)的位置，在此基础上，将最远端的位置作为聚焦透镜的位置的初始位置，在从最远端至最近端的整个区间中进行往返移位。
如上所述，最远端以及最近端是指，在使聚焦透镜101移动以使包含离摄像装置位于各种距离的被拍摄对象在内的摄像场景中、位于规定的距离范围内的各种被拍摄对象在摄像元件104的摄像面焦点一致的情况下，距离摄像装置最近的被拍摄对象成像的情况以及距离摄像装置最远的被拍摄对象成像的情况中的聚焦透镜101的位置。在最远端(第一合焦位置)成像的被拍摄对象位于规定的距离范围内、距离摄像装置最长的距离处(第一被拍摄对象距离)，在最近端(第二合焦位置)成像的被拍摄对象位于规定的距离范围内、距离摄像装置最短的距离处(第二被拍摄对象距离)。
此外，所谓往返指的是，将从最远端至最近端之间的任意点作为出发点，向最远端或最近端移动，在最远端或最近端折返，向出发点返回。所谓在整个区间进行往返移位是指，将从最远端至最近端之间的任意点作为出发点，向最远端或最近端移动，在最远端或最近端折返，向出发点返回，在最远端和最近端之间，如果存在没有通过的部分，则进一步移动至位于折返前进方向上的最近端或最远端，在最近端或最远端再次折返后，返回至出发点。
如上所述，摄像元件104是进行卷帘式快门动作的CMOS型摄像元件，多个光电转换元件在行方向以及列方向上进行二维配置。
多个光电转换元件按每一行曝光，从多个光电转换元件中按每一行读出图像信号。在图3所示的例子中，摄像元件104的各行的光电转换元件的曝光时间和读出时间相等。用于得到1枚摄像场景的图像的时间即1视频帧由曝光时间和读出时间之和而定义。
如图2所示，首先，一旦受理用户的释放动作(S101)，则由曝光时间决定部114根据快门速度和光圈值等的拍摄参数来决定曝光时间参数(S102)。曝光时间参数被输出给聚焦透镜移位设定部105以及曝光/聚焦透镜移位同步部107。
接着，聚焦透镜移位设定部105根据所决定的曝光时间参数来生成聚焦透镜的位置的移位模式(S103)。移位模式是最远端和最近端之间的整个区间中的往返移位。更具体地，移位模式设定为，使从最远端至最近端的整个区间的1次往返动作所花费的时间和1视频帧中的曝光时间相等，且继续往返移位的动作直至完成从摄像元件104的整个区域中读出电信号为止。设定的移位模式被输出给聚焦透镜移位控制部106。
聚焦透镜的位置的移位模式决定后，曝光/聚焦透镜移位同步部107基于摄像元件104的曝光的定时，向快门开闭指令部112、聚焦透镜移位设定部105、以及读出电路108输出指令，以使聚焦透镜移位设定部105以及读出电路108进行动作。由此，快门开闭指令部112解放快门111，开始摄像元件104的曝光，与曝光的开始同步地，聚焦透镜驱动部103根据聚焦透镜移位控制部106的指令使聚焦透镜101发生移位。这里，所谓同步包括同时的情况以及间隔规定的延迟时间的情况。
具体地，与摄像元件104的开头读出行即第1行的曝光开始同时地，由聚焦透镜驱动部103使聚焦透镜101移位，使聚焦透镜的位置从最远端移动，在曝光时间的1/2的时间到达最近端。紧接着之后，反转聚焦透镜101的移位方向并开始移动，与读出行第1行的曝光结束同时地，使聚焦透镜101到达最远端的位置。在该时间点，曝光完成的仅仅是读出行第1行，其他的读出行也同样需要对从最远端至最近端的范围均一地曝光。因此，直至摄像元件104的最终读出行即第N行的曝光以及读出完成为止，重复继续到此为止的移位动作。也就是说，与曝光的结束同步地，结束移位动作。如上所述，读出电路108从摄像元件104的曝光完成的行开始读出电信号。
在图3(a)以及图3(b)所示的例子中，在直至摄像元件104的整个区域的曝光以及读出完成为止的期间，使聚焦透镜101的位置从最远端至最近端正好进行2次往返。图3(c)～(f)是分别表示图3(b)的摄像元件的读出行的开头即第1行、中间部的第i行以及第j行、最终行即第N行的聚焦透镜101的位置和曝光量的分布的图。如图3(a)以及图3(b)所示，一面与摄像元件104的曝光以及读出动作取得同步，一面进行聚焦透镜101的位置的移位动作，由此能够得到在摄像元件104的所有读出行中在从最远端至最近端的聚焦透镜的位置的范围内均一曝光的扫掠图像。
扫掠图像获取后，在停止聚焦透镜的位置移位的同时，关闭快门，由此完成拍摄。
在图3(a)以及图3(b)中，在从摄像元件的读出完成的定时使聚焦透镜101停止在最远端的位置。但是，由于如果连续进行本动作，则能够连续得到扫掠图像，所以能够适用于动态图像处理。
另外，图3(a)所示的聚焦透镜的位置的移位模式是一例，如果在1视频帧中的摄像元件104的各行的曝光时间中，整数次往返进行聚焦透镜的位置的移位，则能够得到在所有的读出行中在从最远端至最近端的聚焦透镜的位置的范围中均一曝光的扫掠图像。这是，重复进行聚焦透镜的位置移位的往返动作，直至摄像元件的所有行、即摄像面的整个区域的读出完成为止。只要满足该条件，就可以设定各种移位模式。在图3(a)的移位模式中，在曝光时间中，聚焦透镜在由最远端和最近端规定的区间整体中进行1次往返，直至摄像元件整个区域的读出完成为止的1视频帧中的往返次数为2。
此外，在图3(a)中，虽然聚焦透镜发生移位的初始位置是最远端，但是只要是在由最远端和最近端规定的区间整体中进行往返，则也可以从最远端和最近端之间的任意位置起开始聚焦透镜的移位。图4(a)示出将聚焦透镜101的位置的初始位置设定为最远端以及最近端以外的位置的情况下的移位模式。图4(b)示出与图4(a)的时间轴相对应的摄像元件104的曝光以及读出定时。如图4(a)以及图4(b)所示，聚焦透镜101即使与摄像元件104的曝光同步地，从最远端和最近端之间的中途的位置起开始移位，如果在摄像元件104的各行的曝光时间的期间中，聚焦透镜101在最远端和最近端之间的整个区间中进行1次往返，并返回到开始移动的位置，则能够与聚焦透镜101的位置的初始位置无关地得到扫掠图像。在图4(a)的移位模式中，在曝光时间中，聚焦透镜101在由最远端和最近端规定的区间整体进行1次往返，直至摄像元件整个区域的读出完成为止的1视频帧中的往返次数为2。
图5(a)示出1视频帧中的曝光时间中的聚焦往返扫掠次数为2的情况下的移位模式。图5(b)示出与图5(a)的时间轴相对应的摄像元件104的曝光以及读出定时。与图2(a)所示的移位模式相比，虽然聚焦透镜101的位置的移位周期为1/2，但是如果是聚焦透镜驱动部103的驱动能力的范围内，则也可以进一步增加往返次数。在图5(a)的移位模式中，在曝光时间中，聚焦透镜101在由最远端和最近端规定的区间整体中进行2次往返，直至摄像元件全区域的读出完成为止的1视频帧中的往返次数为4。即使是这样的移位模式，也能够得到在摄像元件104的所有的读出行中在从最远端至最近端的聚焦透镜的位置的范围中均一曝光的扫掠图像。
此外，图3(a)说明了摄像元件104的各行的曝光时间和读出时间相等的情况下的移位模式，但是也可以采用这以外的移位模式。图6(a)示出摄像元件104的各行的曝光时间为读出时间的1/2的情况下的移位模式。图6(b)示出与图6(a)的时间轴相对应的摄像元件104的曝光以及读出定时。这样的动作例如能够通过使用摄像元件104所具有的基本功能即电子快门来实现，并且在向摄像元件104入射的光量较大的情况下被使用于限制曝光量这样的目的。在这样的情况下，能够在满足上述的聚焦往返扫掠条件的范围内得到扫掠图像。在图6(a)中，摄像元件104的各行的曝光时间中的聚焦往返扫掠次数为1，直至摄像元件104的摄像面的整个区域的读出完成为止的聚焦往返扫掠次数为3。在该情况下，也能够得到在摄像元件104的所有的读出行中在从最远端至最近端的聚焦透镜的位置的范围中均一曝光的扫掠图像。如上所述，聚焦透镜101开始移位的初始位置可以在最远端和最近端之间。
图7(a)示出摄像元件104的各行的曝光时间为读出时间的2/3的情况下的移位模式。图7(b)示出与图7(a)的时间轴相对应的摄像元件104的曝光以及读出定时。在图7(a)中，摄像元件104的各行的曝光时间中的聚焦往返扫掠次数为1，从曝光开始直至摄像元件104的摄像面的整个区域的读出完成为止的聚焦往返扫掠次数为2.5。在该情况下，也能够得到在摄像元件104的所有的读出行中在从最远端至最近端的聚焦透镜的位置的范围内均一曝光的扫掠图像。这样，在调整曝光时间的同时，使移位模式与曝光时间相匹配地进行变化，由此能够任意设定扫掠图像获取前后的聚焦透镜的位置。由此，能够交替地高速得到多个聚焦透镜的位置中的固定焦点图像和扫掠图像。
另外，即使是暗处拍摄时等需要更长时间曝光的条件，也能够适当使用本实施方式的摄像装置。图8(a)示出摄像元件104的各行的曝光时间为读出时间的2倍的情况下的移位模式。图8(b)示出与图7(a)的时间轴相对应的摄像元件104的曝光以及读出定时。在图8(a)所示的移位模式中，摄像元件104的各行的曝光时间中的聚焦往返扫掠次数为1，从曝光开始直至摄像元件104的摄像面的整个区域的读出完成为止的聚焦往返扫掠次数为1.5。
此外，在摄像元件104的曝光时间中可以进行2次以上读出。图9(a)示出在摄像元件104的各行的曝光时间中进行2次读出的情况下的移位模式。图9(b)示出与图9(a)的时间轴相对应的摄像元件104的曝光以及读出定时。如图9(b)所示，在摄像元件104的各行的曝光时间中进行2次读出。各行的曝光时间是读出时间的2倍。在图9(a)所示的移位模式中，摄像元件104的各行的曝光时间中的聚焦往返扫掠次数为1，从曝光开始直至摄像元件104的摄像面的整个区域的读出完成为止的聚焦往返扫掠次数为1.5。从图9(a)以及图9(b)可知，在读出1或者读出2之时的曝光时间中，除去摄像元件104的第1行以及第N行之外，从最远端至最近端的整个范围内不存在聚焦透镜。由此，采用读出1或者读出2的一方的电信号，不会成为在从最远端至最近端的聚焦透镜的位置的范围内均一曝光的扫掠图像。但是，将通过在图像处理部109中对读出1以及读出2的电信号进行合成而得到的图像信号作为1视频帧份的图像信号来使用，从而能得到在从最远端至最近端的聚焦透镜的位置范围内均一曝光的扫掠图像。
在图9(a)以及(b)中虽然示出在各行的曝光时间中，进行2次读出的情况下的移位模式，但是也可以使曝光时间变长，将读出次数设为3次以上。此外，曝光时间可以不是读出时间的整数倍。在图9(a)所示的移位模式中，如果读出时间例如设为与图3(a)所示的移位模式中的读出时间相同程度，则能够使聚焦往返扫掠动作的动作频率与图3(a)所示的移位模式相比降低。降低该动作频率，与聚焦透镜驱动部的消耗电力的降低和特性缓和等相联系，对数字静态照相机等要求小型/省电力/低成本的产品有效果。
另外，到此为止所述的往返扫掠动作中的聚焦透镜的移位在往/返各个动作中可以是大致等速直线运动，以使扫掠图像中的各聚焦透镜的位置中的曝光量均一。
此外，在本实施方式中使用了以上说明的移位模式的摄像装置的动作，不依赖于摄像元件的读出时间(速度)。使图3(a)至图9(a)所示的移位模式与曝光时间和读出时间相匹配地在时间轴方向上进行伸缩，由此，如前所述，得到在从最远端至最近端的聚焦透镜的位置的范围内均一曝光的扫掠图像。
如果缩短读出时间，则曝光时间也变短，1视频帧时间也变短。在该情况下，可以对应地加快聚焦透镜的移位速度。或者，如参照图9所说明的，可以对多次曝光以及读出的图像信号进行合成，作为1视频帧的图像信号，由此也可以不加快聚焦透镜的移位速度。由此，能够实现聚焦透镜驱动部的消耗电力的降低。
另外，在图5至图9中说明的动作中，聚焦透镜的初始位置与使用图4说明的情况相同，可以是最远端和最近端之间的任意的位置。
此外，如果聚焦往返扫掠动作的往返距离(最远端和最近端之间的距离)较大，则对聚焦透镜驱动部要求更高的驱动性能，有时还会涉及消耗电力的增加。在该情况下，将由最远端和最近端规定的区间分割为多个副区间，在各副区间中获取扫掠图像，由此能够在更广的焦点距离中获取扫掠图像。例如，在中间位置将由最远端和最近端规定的区间进行2分割，在从中间位置至最远端的副区间以及从中间位置至最近端的副区间中交替重复进行图3至图9中说明的聚焦往返扫掠动作。由此，能够将1次的往返振幅设为一半。此外，如果进一步细分割副区间，则能够采用一系列的动作来获取非常广的范围的扫掠图像。这些动作通过与能够进行高速读出的摄像元件相组合，可以发挥更大效果。
如以上所述，根据本实施方式，通过在使聚焦透镜的位置发生移位的同时进行摄像元件的曝光以及读出动作，从而即使是进行卷帘式快门动作的CMOS型摄像元件，也能够高速连续地得到扫掠图像。
(第二实施方式)
参照图10以及图11，说明本发明的摄像装置、集成电路、以及摄像方法的第二实施方式。
图10是表示本实施方式的摄像装置200的模块构成图。对与第一实施方式的摄像装置100相同的构成要素附加相同的参照符号。摄像装置200在以下一点与摄像装置100不同，即，通过使摄像元件104的位置移动，来使与透镜光学系统120的聚焦透镜101的距离发生变化。
由此，摄像装置200具备：摄像元件位置检测部202、摄像元件驱动部203、摄像元件移位设定部205、摄像元件移位控制部206、以及曝光/摄像元件移位同步部207。
摄像元件位置检测部202包括位置传感器，检测摄像元件104的位置，向摄像元件移位控制部206输出检测信号。摄像元件移位设定部205设定摄像元件104的移位模式，并作为目标摄像元件的位置。由此，摄像元件移位控制部206根据目标摄像元件位置与由摄像元件位置检测部202检测到的摄像元件104的当前位置之差来计算驱动信号并向摄像元件驱动部203输出。
在释放受理部113中，如果接受来自用户的曝光开始指令，则曝光时间决定部114决定摄像元件104的曝光时间。此外，向曝光/摄像元件移位同步部207输出与曝光时间相关的信息。
曝光/摄像元件移位同步部207基于与曝光时间相关的信息，向快门开闭指令部112、摄像元件移位控制部206、以及读出电路108输出指令，以便按照同步的定时来进行曝光、摄像元件104的驱动、以及来自摄像元件104的电信号的读出。具体地，向快门开闭指令部112指示曝光的定时以及曝光时间。此外，向摄像元件移位控制部206指示驱动摄像元件104的定时以及驱动时间。由此，摄像装置200一面驱动摄像元件104使摄像元件的位置发生变化，一面使摄像元件104曝光，能够得到扫掠图像。
图11是表示本实施方式的摄像方法的流程图。为了使摄像元件和聚焦透镜之间的距离发生变化，除了使摄像元件移位之外，其他与图2中说明的第一实施方式的摄像方法相同。
摄像元件的移位模式是第一实施方式中说明的聚焦透镜的位置的移位模式，与图3(a)至图9(a)相同。
这样，即使是驱动摄像元件使摄像元件的位置发生变化的构成，与第一实施方式相同地，也能够得到扫掠图像。
在以上说明的第一以及第二实施方式中，聚焦透镜驱动部103或摄像元件驱动部203也可以使用步进电动机。在该情况下，由于即使不使用聚焦透镜位置检测部102或摄像元件位置检测部202，也能够确定聚焦透镜101或摄像元件104的当前的位置，所以摄像装置可以不具备聚焦透镜位置检测部102或摄像元件位置检测部202。此外，作为聚焦透镜驱动部103或摄像元件驱动部203，也可以使用音圈电动机(voice coil motor)。在该情况下，与步进电动机相比能够进行更高速的驱动。进一步地，作为聚焦透镜驱动部103或摄像元件驱动部203，也可以使用压电元件执行元件(actuator)。在该情况下，与音圈电动机相比，能够进行更低消耗电力的驱动。
此外，上述的实施方式的具体实施方式以及实施例始终是为了使本发明的技术内容明了，不应是仅仅限定于这样的具体例来解释本发明。能够对上述实施方式进行各种变更、改变来进行实施。
工业可利用性
根据本申请公开的摄像装置、集成电路、以及摄像方法，能够使用进行卷帘式快门动作的CMOS型摄像元件采用F-DOF方式来实现动态图像拍摄或连续静态图像拍摄。这些构成能够适用于民用或业务用的数字静态照相机、数字摄像机等。
符号说明
100、200、300、400  摄像装置
101  聚焦透镜
102  聚焦透镜位置检测部
103  聚焦透镜驱动部
104  摄像元件
105  聚焦透镜移位设定部
106  聚焦透镜移位控制部
107  曝光/聚焦透镜移位同步部
108  读出电路
109  图像处理部
110  记录部
111  快门
112  快门开闭指令部
113  释放受理部
114  曝光时间决定部
120  透镜光学系统
202  摄像元件位置检测部
203  摄像元件驱动部
205  摄像元件移位设定部
206  摄像元件移位控制部
207  曝光/摄像元件移位同步部

Claims (10)

1.一种摄像装置，具备：
摄像元件，其具有二维排列的多个光电转换元件，该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，从而生成图像信号；
透镜光学系统，其包括朝向上述摄像元件进行聚光的聚焦透镜；
驱动部，其对上述摄像元件或上述聚焦透镜的一方进行驱动，以使上述摄像元件和上述聚焦透镜之间的距离发生变化；
移位控制部，其通过向上述驱动部输出指令，从而基于规定的移位模式，对被驱动的上述摄像元件或上述聚焦透镜的移位进行控制；以及
同步部，其基于上述摄像元件的曝光的定时来控制上述移位控制部，
上述规定的移位模式是，在摄像场景中的第一被拍摄对象距离处进行合焦的上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处进行合焦的上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中的、被驱动的上述摄像元件或上述聚焦透镜的往返移位，
被驱动的上述摄像元件或上述聚焦透镜，在多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间中，进行整数次数的往返移位。
2.根据权利要求1所述的摄像装置，其中，
在上述摄像元件中，上述多个光电转换元件在行方向以及列方向上进行二维配置，
上述多个光电转换元件按每行被曝光，从上述多个光电转换元件中按每行读出上述图像信号。
3.根据权利要求1或2所述的摄像装置，其中，
被驱动的上述摄像元件或上述聚焦透镜，与上述曝光的开始同步地开始上述移位动作，与上述曝光的结束同步地结束上述移位动作。
4.根据权利要求1～3中任一项所述的摄像装置，其中，
该摄像装置还具备：
曝光时间决定部，其基于上述摄像场景来决定上述摄像元件的曝光时间；以及
移位设定部，其基于上述第一合焦位置、上述第二合焦位置、以及上述曝光时间来决定上述移位模式。
5.根据权利要求4所述的摄像装置，其中，
该摄像装置还具备位置检测部，该位置检测部检测被驱动的上述摄像元件或上述聚焦透镜的位置，
上述移位控制部，基于上述位置检测部的输出以及上述移位模式，对上述驱动部指示驱动量。
6.根据权利要求5所述的摄像装置，其中，
该摄像装置还具备读出电路，该读出电路从上述摄像元件中读出上述图像信号，
同步部基于上述摄像元件的曝光的定时来控制上述移位控制部以及上述读出电路。
7.根据权利要求1～6中任一项所述的摄像装置，其中，
上述往返移位的次数为1。
8.根据权利要求1～6中任一项所述的摄像装置，其中，
上述往返移位的次数为2。
9.一种集成电路，是摄像装置的集成电路，其中，
该摄像装置具备：
摄像元件，其具有二维排列的多个光电转换元件，该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，从而生成图像信号；
透镜光学系统，其包括朝向上述摄像元件进行聚光的聚焦透镜；以及
驱动部，其对上述摄像元件或上述聚焦透镜的一方进行驱动，以使上述摄像元件和上述聚焦透镜之间的距离发生变化，
该集成电路具备：
移位控制部，其通过向上述驱动部输出指令，从而基于规定的移位模式，对被驱动的上述摄像元件或上述聚焦透镜的移位进行控制；以及
同步部，其基于上述摄像元件的曝光的定时来控制上述移位控制部，
上述规定的移位模式是，在上述摄像场景中的第一被拍摄对象距离处合焦的上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处合焦的上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中的、被驱动的上述摄像元件或上述聚焦透镜的往返移位，
被驱动的上述摄像元件或上述聚焦透镜，在多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间中，进行整数次数的往返移位。
10.一种摄像方法，通过由聚焦透镜在摄像元件中进行聚光，从而使摄像场景成像，其中，
该摄像元件具有二维排列的多个光电转换元件，且该摄像元件依次扫描上述多个光电转换元件并使其曝光，通过依次扫描并从上述多个光电转换元件中读出电信号，从而生成图像信号，
在所述摄像方法中，在上述多个光电转换元件各自中的上述摄像场景的1副图像的曝光时间中，在上述摄像场景中的第一被拍摄对象距离处合焦的上述聚焦透镜或上述摄像元件的第一合焦位置、和在上述摄像场景中的第二被拍摄对象距离处合焦的上述聚焦透镜或上述摄像元件的第二合焦位置之间的整个区间中，使上述摄像元件或上述聚焦透镜的一方进行整数次数的往返移位。
CN201280007501.1A 2011-03-02 2012-03-01 摄像装置、半导体集成电路以及摄像方法 Expired - Fee Related CN103348276B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011044634 2011-03-02
JP2011-044634 2011-03-02
PCT/JP2012/001411 WO2012117733A1 (ja) 2011-03-02 2012-03-01 撮像装置、半導体集積回路および撮像方法

Publications (2)

Publication Number Publication Date
CN103348276A true CN103348276A (zh) 2013-10-09
CN103348276B CN103348276B (zh) 2016-04-06

Family

ID=46757675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280007501.1A Expired - Fee Related CN103348276B (zh) 2011-03-02 2012-03-01 摄像装置、半导体集成电路以及摄像方法

Country Status (5)

Country Link
US (1) US9083880B2 (zh)
EP (1) EP2682799B1 (zh)
JP (1) JP5809688B2 (zh)
CN (1) CN103348276B (zh)
WO (1) WO2012117733A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639831A (zh) * 2015-01-05 2015-05-20 信利光电股份有限公司 一种照相机及拓展景深的方法
CN106125246A (zh) * 2016-07-19 2016-11-16 湖北三江航天红峰控制有限公司 一种自寻激光焦平面的方法
JP2017525228A (ja) * 2014-06-17 2017-08-31 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ カメラ自動焦点最適化の方法及びカメラ

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
US8890996B2 (en) 2012-05-17 2014-11-18 Panasonic Corporation Imaging device, semiconductor integrated circuit and imaging method
JP6045314B2 (ja) * 2012-11-20 2016-12-14 オリンパス株式会社 固体撮像装置、固体撮像装置の制御方法、および撮像装置
EP2954371A4 (en) * 2013-03-15 2016-11-02 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR IMAGE CAPTURE
WO2015191998A1 (en) * 2014-06-12 2015-12-17 Duke University Systyem and method for improved computational imaging
TWI556647B (zh) * 2014-08-08 2016-11-01 恆景科技股份有限公司 影像感測器的可調適降低功率消耗的方法
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
JP2022083147A (ja) 2020-11-24 2022-06-03 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
US11808934B2 (en) 2021-04-20 2023-11-07 Eagle Technology, Llc Planar optical telescope and related methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148502A (en) * 1988-02-23 1992-09-15 Olympus Optical Co., Ltd. Optical image input/output apparatus for objects having a large focal depth
JPH04308975A (ja) * 1991-04-05 1992-10-30 Taiyo Densan Kk カメラの画像記録方法及び画像記録装置
US6344930B1 (en) * 1999-03-03 2002-02-05 Denso Corporation Total-focus imaging apparatus using a variable-focus lens
CN1716083A (zh) * 2004-07-02 2006-01-04 索尼公司 电子像机和自动聚焦方法
US20060291884A1 (en) * 2005-06-27 2006-12-28 Brother Kogyo Kabushiki Kaisha Image forming apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6068312A (ja) 1983-05-13 1985-04-18 Shimadzu Corp 光学顕微鏡像の撮影方法
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP3206420B2 (ja) * 1996-02-22 2001-09-10 株式会社デンソー カメラ装置
JP4011704B2 (ja) 1997-01-10 2007-11-21 オリンパス株式会社 画像入力装置
JP2000152063A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 撮像装置
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
JP2003319239A (ja) * 2002-04-24 2003-11-07 Minolta Co Ltd 撮像装置
JP4732748B2 (ja) 2004-07-02 2011-07-27 ソニー株式会社 電子式カメラ及び自動フォーカス方法
US7493030B2 (en) * 2005-06-24 2009-02-17 Nokia Corporation Adaptive optical plane formation with rolling shutter
JP2007010908A (ja) 2005-06-29 2007-01-18 Canon Inc 焦点調節方法及び装置
US7711259B2 (en) 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
JP5139840B2 (ja) 2008-02-27 2013-02-06 京セラ株式会社 撮像装置、画像生成方法、および電子機器
WO2011070757A1 (ja) * 2009-12-07 2011-06-16 パナソニック株式会社 撮像装置および撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5148502A (en) * 1988-02-23 1992-09-15 Olympus Optical Co., Ltd. Optical image input/output apparatus for objects having a large focal depth
JPH04308975A (ja) * 1991-04-05 1992-10-30 Taiyo Densan Kk カメラの画像記録方法及び画像記録装置
US6344930B1 (en) * 1999-03-03 2002-02-05 Denso Corporation Total-focus imaging apparatus using a variable-focus lens
CN1716083A (zh) * 2004-07-02 2006-01-04 索尼公司 电子像机和自动聚焦方法
US20060291884A1 (en) * 2005-06-27 2006-12-28 Brother Kogyo Kabushiki Kaisha Image forming apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525228A (ja) * 2014-06-17 2017-08-31 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ カメラ自動焦点最適化の方法及びカメラ
CN104639831A (zh) * 2015-01-05 2015-05-20 信利光电股份有限公司 一种照相机及拓展景深的方法
CN104639831B (zh) * 2015-01-05 2018-12-11 信利光电股份有限公司 一种照相机及拓展景深的方法
CN106125246A (zh) * 2016-07-19 2016-11-16 湖北三江航天红峰控制有限公司 一种自寻激光焦平面的方法

Also Published As

Publication number Publication date
EP2682799A4 (en) 2014-11-05
EP2682799A1 (en) 2014-01-08
US9083880B2 (en) 2015-07-14
JPWO2012117733A1 (ja) 2014-07-07
EP2682799B1 (en) 2015-12-09
CN103348276B (zh) 2016-04-06
WO2012117733A1 (ja) 2012-09-07
US20130314586A1 (en) 2013-11-28
JP5809688B2 (ja) 2015-11-11

Similar Documents

Publication Publication Date Title
CN103348276B (zh) 摄像装置、半导体集成电路以及摄像方法
EP2698658B1 (en) Image pickup apparatus, semiconductor integrated circuit and image pickup method
JP5934940B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP3823921B2 (ja) 撮像装置
WO2014171051A1 (ja) 距離測定装置、及び、距離測定方法
US9185393B2 (en) Image capturing device, semiconductor integrated circuit, and image capturing method
JP2011007867A (ja) 焦点検出装置、および、カメラ
US8947583B2 (en) Image pickup apparatus and control method thereof
JP6881909B2 (ja) 撮像装置及びその制御方法、及び画像処理装置及び方法
JP2010156850A (ja) 焦点調節装置及び方法
JP2008005355A (ja) 画像処理装置及び画像処理方法
KR102135170B1 (ko) 촬상 장치 및 그 제어 방법
JP2006023653A (ja) 光学機器
JP2006235142A (ja) オートフォーカス制御装置、オートフォーカス制御方法およびオートフォーカス制御装置を備えるカメラ
CN102300037B (zh) 摄像装置
JP7358086B2 (ja) 撮像装置及びその制御方法
JP6613065B2 (ja) 焦点検出装置及びその制御方法、及び撮像装置
JP3076054B2 (ja) 光電変換装置
JP2010072193A (ja) 信号生成装置及び撮像装置
JP2010054922A (ja) 電子カメラ
JP2018101081A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160406

CF01 Termination of patent right due to non-payment of annual fee