CN102884784B - 摄像装置、摄像方法、集成电路 - Google Patents

摄像装置、摄像方法、集成电路 Download PDF

Info

Publication number
CN102884784B
CN102884784B CN201280001293.4A CN201280001293A CN102884784B CN 102884784 B CN102884784 B CN 102884784B CN 201280001293 A CN201280001293 A CN 201280001293A CN 102884784 B CN102884784 B CN 102884784B
Authority
CN
China
Prior art keywords
higher limit
displacement range
displacement
camera
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280001293.4A
Other languages
English (en)
Other versions
CN102884784A (zh
Inventor
河村岳
小仓康伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102884784A publication Critical patent/CN102884784A/zh
Application granted granted Critical
Publication of CN102884784B publication Critical patent/CN102884784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/12—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device a hand-actuated member moved from one position to another providing the energy to move the setting member, e.g. depression of shutter release button causes a stepped feeler to co-operate with the pointer of the light-sensitive device to set the diaphragm and thereafter release the shutter
    • G03B7/14—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device a hand-actuated member moved from one position to another providing the energy to move the setting member, e.g. depression of shutter release button causes a stepped feeler to co-operate with the pointer of the light-sensitive device to set the diaphragm and thereafter release the shutter setting of both shutter and diaphragm aperture being effected so as to give the optimum compromise between depth of field and shortness of exposure

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

摄像机（1）具备：用户输入部（102），通过与用户的交互，无不适感地进行基于F‑DOF的EDOF范围限定，接受焦点距离的输入；范围决定部（13x），基于焦点距离，决定对焦位置的位移范围；摄像部（14x），以在曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像。

Description

摄像装置、摄像方法、集成电路
技术领域
本发明涉及摄像装置，该摄像装置为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像。
背景技术
以往，存在如下摄像装置：为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像。该摄像装置以在曝光时间中使对焦位置在位移范围内位移的方式进行摄像(参照专利文献3等)。
在先技术文献
专利文献
专利文献1：西德专利第2301800号说明书(德国专利：申请1973/1/15)
专利文献2：日本特公平5-27084号公报
专利文献3：日本专利第3191928号公报
专利文献4：美国专利申请公开第2008/0013941号说明书
专利文献5：日本专利第3084130号公报
非专利文献
非专利文献1：E.R.Dowski and W.T.Cathey,“Extended depth of fieldthrough wave-front coding”,Applied Optics,Vol.34,No.11,P.1859-1866(1995)
非专利文献2：A.Levin,R.Fergus,F.Durand and W.T.Freeman,”Image andDepth from a Conventional Camera with a Coded Aperture”,ACM Transactions onGraphics,Vol.26,No.3,Article70,70-1-70-9(2007)
非专利文献3：H.Nagahara,S.Kuthirummal,C.ZhouandS.Nayar,”Flexible Depthof Field Photography”,European Conference on Computer Vision(ECCV),Oct.16th,Morning Session2:Computational Photography(2008)
非专利文献4：C.Tisse,H.P.Nguyen,R.Tesieres,M.Pyanet and F.Guichard,“Extended Depth-of-field(EDOF)using sharpness transport a cross colourchannels”,Optical Engineering+Applications,Part of SPIE Optics+Photonics,Session1-Imaging in the Optical Design Process:Depth of Field(2008)
非专利文献5：W.ChiandN.George,“Computational imaging with thelogarithmic a sphere:theory”,Optical Society of America,Vol.20,No.12,December(2003)
非专利文献6：Y.Takahashi and S.Komatsu,“Optimized free-form phase maskfor extension of depth of field in wave front-coded imaging”,Optical Societyof America,Optics Letters,Vol.33,No.13,July1,(2008)
非专利文献7：高橋康久,尾花亮,小松進一,「ウェイブフロント·コーディング用最適化位相板―軸外の被写界深度拡張効果―」,Optics&PhotonicsJapan2007(日本光学会年次学術講演会),予稿集，P.464-465(27pC2),(2007)
发明的概要
发明所要解决的技术课题
但是，对焦位置的位移范围有时变得不合适。
发明内容
在此，本发明的目的在于，提供一种能够使对焦位置的位移范围合适的摄像装置、摄像方法、集成电路、程序。
解决课题所采用的技术手段
为达成上述目的，本发明的一个方式的摄像装置，为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像，该摄像装置具备：输入部，接受焦点距离的输入；位移范围决定部，基于所述焦点距离，决定对焦位置的位移范围；以及摄像部，以在曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像。
另外，整体或具体的方式可以通过系统、方法、集成电路、计算机程序、或记录介质来实现，也可以通过系统、方法、集成电路、计算机程序、及记录介质的任意组合来实现。
发明效果
本发明的摄像装置能够使对焦位置的位移范围更适当。
附图说明
图1是定义一般的摄像机的被摄体距离u与像面侧距离v的位置关系的图。
图2是表示焦点距离为18mm时的被摄体距离u与像面侧距离v的关系的一例的图。
图3是表示一般的摄像机的硬件构成的图。
图4是表示摄像机控制部的构成等的图。
图5是定义对焦范围与作为前侧DOF端的MOD(最短摄影距离)的图。
图6是实施方式1的摄像装置的构成框图。
图7是表示摄像机控制部等的构成的图。
图8是表示某摄像机条件下的光圈和前侧DOF端(MOD)、像面侧距离的关系的图。
图9是示意性地表示由一般的摄像机得到的离焦特性的图。
图10是示意性地表示通过摄像机的聚焦透镜或摄像元件位移来使焦点位置位移时的离焦特性的图。
图11是表示视场角、被摄体距离、被摄体的大小之间的关系的图。
图12是表示最大视场角、焦点距离、摄像元件尺寸之间的关系的图。
图13是表示实施方式1的焦点位置位移范围决定时的处理流程的图。
图14是表示采用4/3系统的情况下的焦点距离与焦点位置位移距离的关系的图。
图15是表示典型的小型数字摄像机的情况的、焦点距离与焦点位置位移距离的关系的图。
图16是实施方式2的摄像装置的构成框图。
图17是表示实施方式2的焦点位置位移范围决定时的处理流程的图。
图18是表示摄像机的构成的图。
图19是摄像机中的处理的流程图。
具体实施方式
(得到本发明的一个方式的过程)
本发明者发现，在“背景技术”栏中记载的摄像装置存在以下问题。
即，还有上述对焦位置位移的摄像装置以外的通常的摄像机。通常的摄像机例如有数字摄像机、便携电话等。在通常的摄像机中设有缩放功能等，焦点距离有时变化。
在此，在上述的摄像装置中，也可能设有与这样的缩放功能同样的缩放功能等，焦点距离变化。
因此，作为对焦位置位移的位移范围，当焦点距离为一方的距离时，合适的范围为一方的范围，焦点距离为另一方的距离时，合适的范围为另一方的范围，合适的范围是与焦点距离对应的范围。
另一方面，在以往的文献中，作为位移范围，由该文献的作者根据自己的直觉等来选择能够充分发挥该作者的研究成果的范围。在以往的文献中，在说明作者的研究成果时，仅仅记载了将作者这样选择的范围作为位移范围。
因此，在以往的摄像装置中，位移范围与焦点距离无关，是一定的。因此，由于焦点距离不同，该一定的范围有时不是与焦点距离对应的范围，位移范围变得不合适。
为了解决该问题，本发明的一方式的摄像装置，为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像，具备：输入部，接受焦点距离的输入；位移范围决定部，基于所述焦点距离，决定对焦位置(对焦被摄体的影像所成像的位置)的位移范围(参照范围7r)；及摄像部，以曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像。
由此，设置缩放功能等，即使焦点距离变化，也输入焦点距离(确定聚焦点距离的信息)。由此，基于该焦点距离，与该焦点距离对应的范围被决定为位移范围，能够避免位移范围变得不合适，而将位移范围设为合适的范围。
另外，例如也可以是，进行控制以使对焦位置从位移范围的一端向另一端位移。
另外，也可以是，所述位移范围决定部以所述位移范围的大小不超过由所述焦点距离决定的上限值的方式，来决定所述位移范围。
由此，将位移范围的大小设为上限值以下，使对焦位置位移的速度变慢。由此，对焦位置处于包含在位移范围内的位置的时间变长，焦点和存在于与该位置对应的距离的被摄体一致的时间变长。由此，能够充分提高该被摄体的影像的画质。即，能够与焦点距离无关地充分提高画质。
另外，上述上限值例如是使上述被摄体的画质变得充分高的程度的较小的值。
另外，所述上限值也可以包含与预先决定的大小(参照图11的p)的物体(人物等被摄像的物体)被摄像为规定的大小(参照图12的x)的位置(参照图11的距离d)对应的第1上限值(图14的四角点)。
由此，第1上限值为式12的ΔvAIF等。由此，能够得到设定该ΔvAIF的上限值所带来的各效果。
另外，所述上限值也可以包含用于满足预先决定的画质(参照后述的N)的第2上限值(参照菱形点、三角点、×印点)。
由此，第2上限值为式4的ΔNLim等。由此，能够得到设定该ΔNLim的上限值所带来的各效果。
另外，也可以是，所述上限值包括所述第1上限值和所述第2上限值，所述位移范围决定部在所述第1上限值大于所述第2上限值大的情况下(部分1n)，将包括根据由所述输入部取得的被摄体的信息而得到的位置(参照位置1y1)在内的范围(范围1y)决定为所述位移范围。
由此，第1上限值大于第2上限值，有时所决定的位移范围的大小不超过较小的第2上限值而相当小。即使存在这样的情况，在该情况下，将由取得的信息表示的、包含被摄体的位置在内的范围决定为位移范围，从而决定合适的位移范围。由此，在上述情况下，能够决定合适的位移范围，更可靠地使决定的位移范围变得合适。
另外，也可以是，所述输入部确定所述被摄体，所述视场深度扩张范围决定部具备对焦位置检测部，测定与确定的所述被摄体的距离，所述第1上限值大于所述第2上限值的情况下，将包含测定的所述距离的位置在内的范围决定为所述位移范围。
由此，作为距离测定的功能，通过沿用自动聚焦中的距离测定的功能等，能够维持简单的构成。
另外，也可以是，还具备：曝光表；以及摄像机参数决定部，基于从所述曝光表取得的摄影环境的明亮度信息，决定快门速度、光圈值及ISO(International Organizationfor Standardization)感度；所述位移范围决定部除了所述焦点距离之外，还基于所决定的所述快门速度、所述光圈值及所述ISO感度的至少1个来决定所述位移范围。
由此，在决定位移范围时，还考察光圈值等，能够进一步提高所决定的位移范围的精度。
另外，也可以是，还具备信号处理部，进行复原处理，该复原处理用于提高从所述摄像部输出的摄像图像的清晰度。
由此，在该摄像装置中，即使进行上述各处理，也由该摄像装置所具备的信号处理部进行复原处理，作为复原处理，能够进行与这些各处理适合的处理，使进行的处理更加合适。
另外，存在对焦被摄体位置，该对焦被摄体位置是指，拍摄到无模糊而鲜明的影像的被摄体、即对焦被摄体所处的位置。
例如，上述对焦位置是将来自对焦被摄体的光聚集到其位置上的一点，并在该位置上将对焦被摄体的影像成像的成像位置等。
例如，该成像位置是由驱动器驱动的摄像元件所处的位置。
也可以是，通过对焦位置在位移范围(大小Δv的范围7r)内位移，与该对焦位置对应的上述对焦被摄体位置在与上述位移范围对应的被摄体侧范围(范围6r)内移动。
这样，也可以是，摄像部通过对摄像装置的动作(摄像元件的位置等)进行控制，使上述对焦位置在上述的被摄体侧范围内移动。
这样，对焦被摄体位置所移动的被摄体侧范围被设为与焦点距离对应的范围，能够将被摄体侧范围设为合适的范围。
另外，所述第1上限值是根据所述焦点距离f、视场角θ0、被摄体的距离k、摄像元件的大小x，通过后述的式12确定的ΔvAIF等。
由此，第1上限值能够根据较简单的式子确定，使进行的处理较简单。
此外，所述第2上限值是根据所述焦点距离f、视场深度扩大量N、光圈值Fno、允许错乱圆径ε，通过后述的式4确定的ΔvNLim等。
由此，第2上限值也能够根据比较简单的式子确定，使进行的处理更加简单。
此外，也可以是，所述位移范围决定部在所述第1上限值小于所述第2上限值的情况下(部分1m)，将从与无限远对应的位置(Δv＝0)到所述第1上限值的位置(四角点)为止的范围(例如图14的范围1x)决定为所述位移范围，在所述第1上限值大于所述第2上限值的情况下(部分1n)，将到所述第1上限值的位置为止的所述范围中的、包含根据被摄体的信息得到的上述位置(位置1y1)在内的一部分(例如范围1y)决定为所述位移范围，所述一部分的大小为所述第2上限值(ΔvNLim)以下，并且所述一部分包含根据所述被摄体的信息得到的所述位置(位置1y1)。
由此，上述一部分的大小仅设为第2上限值以下，不需要计算第2上限值以外的其他上限值的多余处理等，能够简单地进行处理。
此外，以下更加详细地说明得到本发明的一方式的过程。
即，一般来说，作为实现视场深度扩张(以下称为EDOF(Extended Depth ofField))的方式，主要有以下3种方式。在第1种方式中，将被称为相位板的光学元件插入光学系统，从而使深度方向的模糊均一化。然后，在该方式中，使用预先测定的模糊图案、或通过模拟计算出的模糊图案，对得到的图像进行图像复原处理。由此，在该方式中，生成EDOF图像。该方式被称为Wave front Coding(以下称为WFC)(参照前述的非专利文献1)。
在第2种方式中，通过对光圈形状施加处理，对图像的部分区域的每一个进行高精度的距离测定。并且，在该方式中，使用与对各部分区域预先测定的各自的距离相应的模糊图案，来进行图像复原处理。由此，在该方式中，生成EDOF图像。该方式被称为CodedAperture(以下称为CA)(参照非专利文献2)。
在第3种方式中，通过在曝光时间中使聚焦透镜或摄像元件移动，将在深度方向上同样对焦的图像叠加(即，在各深度中使模糊均一化)。并且，在该方式中，使用预先测定的模糊图案、或通过模拟计算出的模糊图案，对得到的图像进行图像复原处理。由此，在该方式中，生成EDOF图像。该方式被称为Flexible DOF(以下称为F-DOF)(参照非专利文献3)。
另外，除上述以外，还有如下的各方式等。即如下的方式：利用透镜的轴上色差，进行深度推定或图像的锐度检测，并且通过图像处理得到全体清晰的图像(参照非专利文献4)。此外，还有如下的方式：使用多重焦点透镜使深度方向的模糊均一化，使用预先测定的模糊图案、或通过模拟计算出的模糊图案来进行图像复原处理(参照非专利文献5)。但是，在这些方式中，在原理上与上述3种方式相比，存在EDOF效果较小的缺点。
此外，以往存在被称为Focal Stack的方式。在该方式中，对对焦位置(聚焦位置)相互不同的多张图像进行摄影，从各个图像提取被认为已对焦的区域的图像。并且，在该方式中，通过将提取的图像合成来生成EDOF图像。该方式的情况下，需要大量的摄像张数，所以存在摄像所需时间较长的问题，以及较大消耗存储量的问题。
在前述的3方式中的第1种的WFC中，提出了各种相位板的种类。作为其中最能得到EDOF效果的种类，有Cubic Phase Mask(以下称为CPM)、及Free-Form Phase Mask(以下称为FPM)。从复原后的画质(伪像的多少)的观点出发，FPM较为有优势(参照非专利文献6)。
但是，作为WFC所共通的缺点，存在由于插入相位板而透镜的光轴外的特性恶化的性质(参照非专利文献7)。具体地说，与来自正面的入射光相比，对于来自正面以外的入射光，无法得到同样的模糊均一效果。因此，若在图像复原时通过轴上的模糊图案进行复原处理，则复原后的光轴外的画质劣化。此外，将EDOF性能较高的CPM或FPM等非对称形状的相位板作为透镜单元组装时，与组装对称形状的透镜的情况相比，通常具有难以进行偏心调整的问题。
前述的3方式中的第2种的CA，通过使用变化的光圈形状来提高距离测定精度。由于该方式本身具有的该特性，摄影的图像及复原处理后得到的图像的特定频率成分丢失。即，在该方式中，存在画质劣化的缺点。此外，在该方式中，通常与光圈形状无关，光量比通常的摄影方法减少。因此，该方式不适于在较暗的地方摄影。
前述的3方式中的第3种的F-DOF是3者中能够得到最好的画质的方式，EDOF效果也较高。此外，轴外特性也依存于透镜特性本身，所以容易提高性能。但是，作为光学条件，即使在曝光中使聚焦位置移动，也需要将同一被摄体层叠在同一图像位置上，所以需要使用像侧远心透镜。
作为上述EDOF技术的用途，历史最久的是显微镜用途。本用途的情况下，由于能够慢慢地对静物体进行摄影，所以从很早以前便一直采用Focal Stack方式。但是，在该方式的情况下，如前所述，要耗时耗力，所以在若干文献中公开了与F-DOF方式的想法结合使用的方式(参照专利文献1～4)。另外，作为在显微镜用途中使用F-DOF的方法，公开了在曝光中使作为被摄体的试件侧移动的情况和使透镜镜筒移动的情况。
另外，在以曝光后的图像复原处理为前提时，为了使像的模糊始终均一，对移动方法进行控制。这样，能够应用使用单一的模糊图案的图像复原处理方法，所以被认为是合理的(参照专利文献5)。因此，移动的对象为摄像元件的情况下，需要使其以等速度移动。此外，使聚焦透镜移动的情况下，也需要进行与摄像面以等速度移动相当的聚焦位移(参照非专利文献3)。作为移动的图案，已知可以是在里侧对焦端位置与近前侧对焦端位置之间移动的图案、或是与其相反地移动的图案的任一个。
作为EDOF技术的其他用途，近年来，可以举出搭载于便携电话等的摄像机。通过将EDOF技术用于该摄像机，能够实现该摄像机的小型化。即，通过EDOF效果，不必具备自动聚焦机构，就能够得到全焦点图像(所有被摄体与焦点一致的图像)。
另外，从本用途的观点出发，需要聚焦透镜或使摄像元件移动的机构，所以F-DOF本身不被采用，而采用WFC或使用轴上色差的方式等。
此外，作为另一个用途，可以想到通常的数字静态摄像机。作为数字静态摄像机的近年来的趋势，要求更简单且更少失败的摄影。在EDOF技术中，期待能够得到全焦点图像，而从对焦错误中解放出来。
此外，一般来说，作为想要扩张视场深度的例子，可以想到以下的例。
作为第1个例子，可以想到将运动较快的被摄体拍摄为看起来似乎停止的情况。这种情况下，必须加快快门速度并打开光圈，所以有时与摄影者的意图相比，视场深度变浅。
作为第2个例子，在对运动较慢的被摄体进行摄影的情况下，可以想到如下的情况。即，在摄影环境较暗时，设定为不发生手抖的下限值的快门速度，并且必须打开光圈。这种情况下，与摄影者的意图相比，视场深度也变浅。
图1是定义一般的摄像机的被摄体距离u与像面侧距离v的位置关系的图。
图2是表示焦点距离为18mm时的被摄体距离u与像面侧距离v的关系的一例的图。
作为第3个例子，有微距摄影的情况等、对位于近距离的被摄体进行摄影的情况。为了满足图1的关系，考虑被摄体成像在摄像元件上的状况。图2表示这时的u与v的关系的一例。可以认为视场深度的宽度在图2的横轴、即像面侧的距离上为某一定的范围。若在图2的横轴上一定的范围内考虑，则对于近距离被摄体、例如处于40cm的位置时的被摄体、和远距离被摄体、例如处于2m的位置时的被摄体，在被摄体侧的视场深度宽度存在如下的关系。即，可知40cm的情况的视场深度宽度变得非常窄。这样，在对花·昆虫等进行微距摄影的情况下，对焦范围变得非常窄，所以存在想要扩张视场深度的需求。
在本用途中，存在以下的要求。即，要求高画质。此外，要求能够任意变更EDOF效果的大小和EDOF范围。此外，要求通过应用通常的自动聚焦机构就能够实现(不需要准备特别的光学系统即可)。此外，要求容易地进行EDOF摄影与通常摄影的切换。由于存在这些要求，上述方式中最优越的是F-DOF。
使用图3、图4说明实现F-DOF所需的构成。
图3表示与F-DOF实现有关的摄像机9的构成例。
该摄像机9具备：曝光表901、用户输入部902、摄像机控制部903、透镜904、光圈905、快门906、摄像元件907、信号处理部908、图像记录部909。另外，在后述的图4中，示出了实现FDOF动作的图3的摄像机控制部903内的构成等。如后所述，摄像机控制部903具备：摄像机参数决定部9a、像面位移控制·摄像部9b、EDOF范围指定部9c。此外，如该图4所示，信号处理部908具备图像复原处理部9d、复原PSF存储部9e。
在典型的摄影时的操作例中，用户在摄影之前架设摄像机并决定视场角，并预先指定进行EDOF的范围，然后使快门处于半按状态。用户输入部902始终存储用户最近指示的EDOF范围。用于指定EDOF范围的输入方法不特别指定。
用户将快门半按后，用户输入部902检测半按这一情况。然后，检测该时点的、由用户指示的指示视场角，决聚焦点距离。另外，作为用来由用户决定视场角的输入机构，有各种机构。例如，对附属于透镜镜筒的缩放环进行操作的机构、或对附属于摄像机主体的缩放杆进行操作的机构等。决定的焦点距离信息被发送至摄像机控制部903。另外，在一部分摄像机中有固聚焦点，但不限于此。
图4是表示摄像机控制部903和信号处理部908的具体构成例的图。
由曝光表901接受传感检测到的摄影环境(表示该摄影环境的信息)。由摄像机参数决定部9a决定与该摄影环境相应的合适的摄像机参数。摄像机参数是指快门速度、光圈值、ISO感度。另外，在手动曝光的情况下，向用户提示与由曝光表901提示的曝光对应的、摄像机参数的候补，并通过用户输入部902由用户进行决定摄像机参数的输入。
然后，若检测到由用户按下了快门，则EDOF范围指定部9c读出存储的EDOF范围，最终决定实际进行EDOF的范围。
然后，基于由摄像机参数决定部9a决定的快门速度及光圈值信息、由EDOF范围指定部9c决定的EDOF范围信息，像面位移控制·摄像部9b进行如下的控制。在该控制中，向光圈905指示所决定的光圈值，并向快门906指示所决定的快门速度。由此，向摄像元件907指示之后进行摄像，以使对焦位置在所决定的EDOF范围内以所决定的快门速度位移。
另外，在曝光时间中位移的部分可以不是摄像元件907，可以是构成透镜904的一部分的聚焦透镜组。只要控制为使像面侧的焦点位置的位移距离以大致等速变化即可。另外，使摄像元件907位移的情况下，焦点位置的位移距离与摄像元件907的位移距离一致。另一方面，使聚焦透镜组位移的情况下，焦点位置的位移距离未必与聚焦透镜组的位移距离一致，所以需要注意。该关系性能够由透镜设计数据唯一地决定，所以预先取得关系性的信息。
摄像后，像面位移控制·摄像部9b将摄影的图像发送至图像复原处理部9d。该图像复原处理部9d从复原PSF存储部9e读入预先记录的复原PSF。然后，图像复原处理部9d使用读入的复原PSF，对摄影的图像进行图像复原处理，从而生成全焦点图像。图像复原处理例如是使用理查德森-露西法或维纳滤波器法的处理。
具体地说，预先测定基于聚焦位移的模糊图案，或者通过模拟求得。该模糊图案作为PSF数据保持在复原PSF存储部9e中。此外，作为图像复原处理所使用的方法，除了上述维纳滤波器法(Wiener Filter)、露西-理查德森法(Lucy-Richardson)以外还有各种方法，可以使用任一方法。图像记录部109将复原的图像信号作为摄像数据记录。
这样，在各种EDOF方式中，作为数字静态摄像机用途，FDOF方式较有优势。另一方面，对这些摄像机来说，缩放功能非常重要。虽然有将摄像的图像直接扩大·缩小的数字缩放、和通过透镜配置的控制来使焦点距离变化的光学缩放，但是基本上画质劣化较少的光学缩放被通常采用。通过光学缩放使焦点距离变化时，视场深度本身也变化。在此，设焦点距离为f、透镜的光圈值为Fno、允许错乱圆径为ε。另外，在考虑以像素等倍观看由数字摄像机摄像的图像的情况下，也可以将允许错乱圆径ε考虑为摄像元件的单元间隔尺寸。另外，这种情况下，规定为“在对焦状态下每1像素都不模糊”。设将里侧的视场深度端置于无限远时的、近前侧视场深度端为MOD时，已知存在如下的式1的关系。
【数1】
图5是定义对焦范围于作为前侧DOF端的MOD(最短摄影距离：Minimum ObjectDistance)的图。
具体地说，是该图5这样的示意。在此，ε由摄像机的种类决定，光圈值Fno由明亮度·被摄体等的摄影条件决定。在此可知，若按照用户的摄影意图使焦点距离f变化(也就是使视场角变化)，则MOD也变化。
通常，在某焦点距离f时，用户若想得到期望的MOD，则按照式1的关系，用户或摄像机对光圈值Fno进行变更。但是，如上述背景技术中的记载，存在如下的用户需求：为了得到期望的MOD而不想变更Fno，也就是说，希望与期望的MOD无关地，由被摄体速度或明亮度等条件来自由地设定Fno。
一般来说，已知在EDOF中，越大幅扩大视场深度范围，越增大视场深度扩大量(视场深度扩大幅度)，则越大地受到噪音的影响。即，视场深度扩大量和图像的S/N比(画质)存在折衷的关系，视场深度扩大量越大，画质越低。
在WFC、CA、和基于透镜色差方式、多重焦点透镜方式的EDOF中，通过对光学元件施以处理，实现EDOF效果。因此，无法按照用户的要求自由地变更EDOF范围。另一方面，能够将视场深度扩大幅度保持为由设计决定的一定的程度。
另一方面，FDOF与其他方式不同，具有能够自由变更EDOF范围的灵活性，但是考虑上述的折衷关系，为了使S/N比(画质)不过低，需要设定视场深度扩大幅度。也就是说，存在制约条件。
此外，作为FDOF特有的制约，存在驱动器的能力的问题。FDOF在曝光时间中需要高速扫描驱动。由于该驱动器的能力不同，制约条件也可能变化。
此外，优选为在考虑了这些制约条件的基础上根据状况来进行限定EDOF范围的控制，但是对于由什么样的用户交互来限定EDOF范围，就能够被用户无不适感地接受，到目前为止并没有文献记载。
本发明的一方式的前述的摄像装置解决这样的以往的课题。即，根据本摄像装置，通过与用户的交互，能够无不适感地进行基于F-DOF的EDOF范围限定。
此外，在本摄像装置中，在采用实现视场深度扩张的方式的摄像装置中，即使变更焦点距离，也能够没有破绽地实现有效的视场深度扩张。
此外，通过本摄像装置的构成，在改变焦点距离来进行摄影时，能够考虑到必要的制约条件的变化，例如在具有缩放功能的摄像机中，也能够实现基于FDOF的视场深度扩大。
此外，通过本摄像装置的构成，除了上述的各效果之外，能够以包含用户想要对焦的对象物的方式来扩大视场深度。
此外，通过本摄像装置的构成，作为本摄像装置的输出，能够输出将视场深度扩张后的鲜明的图像。
此外，根据本摄像装置，在使用具有焦点距离变化的缩放功能的摄像机进行摄像时，考虑必要的制约条件的变化来进行控制，从而实现基于FDOF的视场深度扩大。
以下，参照附图说明本发明的各实施方式。另外，以下说明的各实施方式都只示出本发明的一具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等仅为一例，不意图限定本发明。此外，对于以下的实施方式的构成要素中的、表示最上位概念的独立权利要求所未记载的构成要素，作为任意的构成要素来说明。
(实施方式1)
参照图6～15说明本发明的实施方式1中的摄像装置。
图6是表示本实施方式1中的摄像机(摄像装置)1的基本构成的图。
图6所示的摄像机1的基本构成与前述的摄像机9的构成相同，以图3为基础。另外，对于摄像机1中的与摄像机9相同的部分适当省略说明。
图7是表示本实施方式1中的摄像机控制部103的具体构成的图。
摄像机控制部103具备：摄像机参数决定部11、位移范围制约有无判定部12、由位移范围决定部13构成的视场深度扩张范围决定部103j、像面位移控制·摄像部14。另外，信号处理部108的具体构成·动作以图4的信号处理部908中描述的构成·动作为基础。
由曝光表101接受传感检测到的摄影环境(的信息)，由摄像机参数决定部11决定与摄影环境相应的合适的摄像机参数。在此，摄像机参数除了快门速度、光圈值、ISO感度之外，还包含焦点距离。焦点距离由用户输入部102指示。对于摄像机参数决定部11中的其他部分，以前述的图4的摄像机参数决定部9a的记载为基础。
然后，若检测到由用户按下了快门，则位移范围制约有无判定部12基于从摄像机参数决定部11输出的焦点距离、光圈值、ISO感度信息，基于后述的判断流程，判定使焦点位置(例如摄像元件的位置)位移的范围的制约的有无。
位移范围决定部13基于由位移范围制约有无判定部12判定的制约条件，决定聚焦点位置的位移范围。具体地说，决定使摄像元件107或透镜104的一部分(例如聚焦透镜组等)位移多少，决定该位移的位移范围。
另外，如在前述的摄像机9中所述，在使摄像元件107位移的情况下，像面侧的焦点位置的位移距离与像面侧的摄像元件107的位移距离一致。另一方面，在使聚焦透镜组位移的情况下，焦点位置的位移距离与聚焦透镜组的位移距离未必一致，所以需要注意。该关系性能够由透镜设计数据唯一地决定，所以预先取得该关系性的信息。
基于由摄像机参数决定部11决定的快门速度及光圈值信息和由位移范围决定部13决定的焦点位置的位移范围信息，像面位移控制·摄像部5向光圈105指示所决定的光圈值，并向快门106指示所决定的快门速度，向摄像元件107(驱动摄像元件107的驱动器等)指示之后，使摄像机1进行摄像，以在决定的位移范围内以决定的快门速度位移。
另外，如前所述，在曝光时间中位移的部分可以不是摄像元件107，而是构成透镜104的一部分的聚焦透镜组。使像面侧的焦点位置的位移距离以大致等速变化的方式进行控制即可。
以下说明位移范围制约有无判定部12中的、用于判定使焦点位置位移的范围的制约的有无的判断流程。
通常，在某焦点距离f时，用户若想要得到期望的MOD，按照下述式2的关系，由用户或摄像机来变更光圈值Fno。但是，如前所述，为了得到期望的MOD，存在如下的用户需求：不想变更Fno，也就是说，与期望的MOD无关，希望通过被摄体的移动速度或明亮度等条件来自由地设定Fno。
在此，通过EDOF将视场深度扩张时的、扩张后的近前侧视场深度端MODEDOF能够通过下式记述。
【数2】
透镜的光圈值Fno由用户根据摄影状况设定，N是表示视场深度扩大的等级的数字，在此简称为EDOF步骤数。这样，MODEDOF(f，N)＝MODEDOF(f，0)/2＾(N/2)＝MDOF(f)/2＾(N/2)。另外，在此，a＾b表示a的b次方。
图8表示将EDOF步骤数N与Fno的关系汇总而成的图。
作为处于图的左侧2列的关系进行定义，例如对于以F2.8得到的视场深度，通过EDOF能够得到与F90.5同等的视场深度的情况下，该EDOF效果表现为从13减去3而得到的的10级量的效果。
这样，EDOF步骤数N与光圈级数等价，这意味着，实际上不进行收敛而通过EDOF得到与通过进行N级收敛得到的视场深度扩张同等的效果。不扩大视场深度的情况下，N＝0(参照前述的MOD＝MODEDOF(f，0))，扩大视场深度的情况下，N为正的数。即，视场深度扩张后的与近前侧视场深度端的距离如前所述，为MODEDOF(f，N)＝MODEDOF(f，0)/2＾(N/2)。该式中的MODEDOF(f，0)是N＝0时的不进行视场深度扩张的情况下的与近前侧视场深度端的距离。即，与近前侧视场深度端的距离通过视场深度扩张而成为1/2＾(N/2)倍，从而被设为仅1/2＾(N/2)倍这样的更小的距离。因此，该距离被缩短，而缩短的缩短幅度由该N等级决定为1/2＾(N/2)倍的幅度。
通过新追加N这一变量，在式3中可知，f、Fno、MODEDOF的设定自由度变高。另外，在图8的表的第3列，示出了焦点距离f为18mm、摄像元件的单元尺寸(允许错乱圆)为1.5um时的MOD(MODEDOF)。在此，若将满足图1的关系的被摄体侧的距离u和像面侧的距离v的透镜的焦点距离设为f，则从透镜的公式可知，以下的式3成立。
【数3】
从MOD到无限远的、像面侧的对焦位置的位移距离ΔvNLim能够使用该式3如下记述。
【数4】
另外，Δv(式4的第1式)是最终应该位移的对焦位置的位移距离，表示由位移范围决定部13决定的、对焦位置的位移范围的大小。这样，不超过以该式4的ΔvNLim表示的上限值(第2上限值)的大小的值作为对焦位置位移的位移范围的大小，由位移范围决定部13决定。
图8的表的第4列表示，使用该式4将表的第3列的被摄体侧的从MODEDOF到无限远的距离换算为与该距离对应的像面侧距离时的、换算后的距离(ΔvNLim)的值。F-DOF的情况下，前述的步骤数N作为该像面侧的位移距离ΔvNLim的式子(式4的第3式)的位移量(变量)发挥作用，对ΔvNLim的值进行制约，并且对决定的位移范围的大小Δv进行制约，从而进行控制。
在此，若N变大，则上述ΔvNLim变得更大。即，将式4的第3式的分子、分母分别除以2＾(N/2)，对于该ΔvNLim，以ΔvNLim＝A/(B/2＾(N/2)―C)表示。因此，若N变大，则该式的分母(B/2＾(N/2)―C)变小，该式的值(ΔvNLim的值)变大。
另一方面，一般来说，上述Δv越大，且视场深度扩大幅度(视场深度扩大量)越大，则EDOF的效果越高，焦点与越多的被摄体侧的位置的被摄体一致，但是对于被摄体的亮度的相对噪音的量增加，S/N比降低。
图9示意性地表示通常摄影时的视场深度、即对焦范围，是表示被称为离焦特性的特性的图。
纵轴表示清晰度(图像的锐度)，一般作为MTF(Modulation Transfer Function)来表现。
横轴表示像面侧距离(参照图1的v)。基于图1所示的u、v之间的关系(式3)将该像面侧距离大小反转(在式3中，参照若v变大则u变小的点)，并重新缩放后，得到被摄体侧的与摄像装置之间的距离(u)。
在曝光中不伴随着像面位移来进行通常摄影的情况下，一般来说，若焦点与某被摄体距离一致，则该部分最为清晰。即，在该被摄体距离的前后的被摄体距离的部分，随着远离焦点所聚焦的部分，清晰度大幅损失。
图10是示意性地表示在曝光中以等速度进行位移时的离焦特性的图。
虚线表示将以图9的示意图表现的、通常摄影时的离焦特性的数据从与被摄体侧的最远端的位置对应的横轴的最左侧的距离位移到与最近端对应的最右侧的距离的情况。由该位移的结果得到的实线的离焦特性通过该虚线的积分得到，例如在非专利文献3等中有记载。
本来，以同一条件进行摄影的情况下，摄像时的受光能量是一定的。因此，图9的实线部的积分值和图10的实线部的积分值应该相等。因此，图10的实线部分的最大值的高度与图9中的最大值的高度相比，相对较低。即，在图10的情况下，成为均一地模糊的图像，通过在后段进行图像复原处理，得到与图9的对焦时相同的MTF值。这时，将噪音也相应地放大。像面位移量越大，则图10的实线部的最大值的高度越低，必须通过图像复原处理来提高的量增加，噪音更加被放大。这样，EDOF量(参照上述的Δv)和图像品质的降低处于折衷的关系。因此，需要根据要求的图像品质(参照前述的N等)，对EDOF量(Δv)施加制约，以满足该图像品质。在此，设定前述的式4的制约，并设定与N的值相应的上限值(ΔvNLim、第2上限值)。
此外，在F-DOF中，需要使摄像元件或聚焦透镜在曝光中移动。因此，如前所述，驱动器的驱动能力也成为问题。即，位移量越大，每单位时间位移的距离增加，需要高速地位移，到达目标速度为止的加減速度也增加。由此，还需要能够进行这样的高速位移等的驱动器的驱动能力。如果采用某规定的驱动器，当然需要对焦点位置的位移量、即像面位移量(Δv)设定与该驱动器的驱动能力对应的上限值。例如，若将像面侧的最大位移距离同样地设为ΔvActLim，则需要满足如下的式5。
【数5】
Δv≤ΔvActLim
另外，如前所述，使摄像元件107位移的情况下，作为驱动器所允许的驱动能力的最大位移距离直接成为ΔvActLim。另一方面，使透镜104的一部分(例如聚焦透镜组等)位移的情况下，由驱动器所允许的驱动能力决定的最大位移距离被规定为聚焦透镜组等的位移距离。因此，这种情况下，需要将最大位移距离ΔvActLim预先换算为聚焦透镜组等的位移距离。
另外，在此，需要定义全焦点图像。即，需要规定满足该定义且满足是全焦点图像这一条件所需的视场深度宽度。
通常意义上的最短摄影距离这一用语的定义为“能够使用该透镜对焦的最近的物体侧距离”。在此，将在该最短摄影距离与无限远之间的任一距离下对焦的状态的图像广义地称为“全焦点图像”。这种情况下，将所谓的较近的物体侧距离(被摄体侧距离)的区域、即微距区域怎样支持是依存于光学设计的，有时随焦点距离变化，有时不变化。
若设从这样的最短摄影距离到无限远为止的像面侧距离为ΔvAIF，则需要满足如下的式6。
【数6】
Δv≤ΔvAIF
图11是表示与物体的距离k、d、视场角θ0、θ、物体的大小p等的图。
此外，定义全焦点图像的情况下，如下的考虑方法成立。
即，在图11的上段，存在于距离k的大小为p的物体以视场角θ0的焦点距离在摄像元件上形成为预先决定的尺寸(后述的图12的尺寸x)。另一方面，在下段，存在于距离d的同一大小p的物体以视场角θ的焦点距离f成像为与上述预先决定的尺寸相同的尺寸。这样，考虑即使焦点距离从视场角θ0的焦点距离变化为视场角θ的焦点距离f，成像的尺寸也维持上述预先决定的尺寸而不变的距离d的条件。
另外，若将标准视场角(在35mm换算中相当于50mm)的全焦点图像的定义范围设为例如1m～无限远，则该1m～无限远的近前侧的一端为1m。例如，上述视场角θ0为该标准视场角，上述距离k为基础视场角中的上述1m。
即，采用如下考虑方法：使全焦点图像的定义范围中的近前侧的一端根据前述的条件而改变，并设为满足前述条件的距离d。
将基于该距离d和无限远的定义范围的图像称为狭义的“全焦点图像”。
即使焦点距离变化而同一大小p的2个物体所成像的尺寸也不变化的条件、即上述距离d的条件，如后述的式10所示，距离d与焦点距离f成正比。以下，使用图11、12示出。
在图11的上段，表示在视场角θ0整体中在离开距离k的地方对大小为p的物体进行摄像的情况。另外，该物体是对人的上半身进行被摄像时的、从该人的胸部到头的最上部等的被摄像的对象的物体。上述的大小p例如是从人的胸部到头的最上部的约60cm。
在图11的下段，表示在视场角θ整体中在离开d的地方对相同大小p的物体进行摄像的情况。
前者的上段的情况下，满足如下的式7的关系。
【数7】
此外，后者的下段的情况下，满足下式的关系。
【数8】
根据该式7和式8的2个式子，将式8中的p消去，导出以下的式9。
【数9】
此外，如图12所示，摄像元件的大小x、焦点距离f、视场角θ之间的关系为下述的式10的关系。
【数10】
将该式10代入式9，得到以下的式11。
【数11】
另外，因此，距离d＝(2k×tan(θ0/2)/x)×f＝A×fである(A＝2k×tan(θ0/2)/x)。
在此，只要决定了摄像机中设定的摄像元件的种类等，摄像元件的大小x就是常数。此外，如前所述，将标准视场角θ0下的全焦点图像的定义范围设为例如1m～无限远时，标准视场角θ0为43.27度，k＝1m，这些θ0及k都是常数。因此，上述A为常数，作为上述的关系d＝A×f，能够与焦点距离f成正比地导出距离d变化的关系。另外，例如通过该式11，在35mm换算中f＝25mm时，将焦点与0.5m～无限远的范围的任一位置一致的图像称为全焦点图像。
使用前述的式3对与从式11的距离d到无限远为止的被摄体侧的范围对应的、作为像面侧的范围的距离的换算距离ΔvAIF＝v(d)－v(无限远)进行变形，则成为以下的式12。
【数12】
这样，全焦点图像的定义也可以根据用途而变更。
根据以上情况，使焦点位置位移的位移范围的制约为基于式4、式5、式6的3个式子的制约、或基于式4、式5、式12的3个式子的制约的某一个。另外，这样，3个式子的组合为2个。在各个组合中，需要全部满足该组合的3个式子。
另外，在此，需要注意在式4的式中包含Fno。一般来说，使焦点距离f变化是指使用缩放透镜。另一方面，在缩放透镜中，根据焦点距离f的变化而Fno变化。这种情况下，通过由设计决定的透镜的规格，聚焦点距离f与Fno的关系唯一地确定。在此，也可以将该关系反映到在式4中。
这样，通过位移范围制约有无判定部12，能够判定使焦点位置位移的位移范围的制约的有无。
图13是表示本发明的实施方式1的焦点位置位移范围决定时的处理流程的流程图。
接着，按照图13的处理流程说明位移范围决定部13的处理。如上所述，位移范围决定部13首先决定全部满足3个式子的Δv。
接着，位移范围决定部13判断所决定的Δv是基于式4或式5决定的，还是基于式6或式12决定的(S11)。
判断为基于式4或式5决定的情况下(在S11中为“部分焦点图像生成模式”)，意味着无法进行用于执行定义上的全焦点图像的生成的位移动作。因此，在图13的流程中，转移到部分焦点图像生成模式的处理(S12a)。
判断为基于后者的式12等决定的情况下(在S11中为“全焦点图像生成模式”)，转移到全焦点图像生成模式下的处理(S12b)。在各模式中动作不同，所以分为以下两种情况进行说明。
首先，转移到部分焦点图像生成模式的情况下(S12a)，位移范围决定部13需要决定使用于执行定义上的全焦点图像的生成的位移范围(大小为ΔvAIF的范围)中的、哪个部分应该向哪里位移。即，确定该部分的范围。
例如，在焦点距离为20mm时，设全焦点图像的定义范围为从1m到无限远。
这时的像面侧位移距离“v(1m)－v(无限远)”是从透镜的后侧主点位置到20.408mm－20.000mm的范围的距离，为20.408mm－20.000mm＝408um。
此外，设在位移范围制约有无判定部12中确定的、式12的ΔvAIF、式4的ΔvNLim等的Δv的各上限值中的最小的上限值为300um(＜408um)。
这时，位移范围决定部13决定应该将从1m到无限远为止的被摄体侧的范围中的哪里作为上述的部分(服务区)。
在此，设为让用户指定EDOF范围、即位移范围。
图13的“用户指定EDOF范围参照”框(S12a)是该被指定的框。
在该S12a中，具体地说，位移范围决定部3从用户输入部102接受用户指定的EDOF范围信息。
接着，说明图13的“EDOF范围决定”(S13)的框中的过程。
例如，设由来自用户的输入指示指定的范围是从2m到3m。若通过前述的式3将该范围换算为像面侧的范围，换算后的范围是从v(2m)＝20.202mm到v(3m)＝20.134mm，仅有20.202mm－20.134mm＝0.068mm＝68um的位移范围。
因此，在该从20.134mm到20.202mm的范围的前后追加余量。该追加的方法可以是任何方法，作为一例，对前后均等地分配余量，由位移范围决定部3将从20.202mm－0.184mm＝20.018mm到20.134mm+0.184mm＝20.318mm的范围决定为位移范围。
将这种情况下的被摄体侧的范围换算为被摄体侧的范围，成为从1.28m到22.2m。另外，与用户指定的范围对应的像面侧的范围可以想到比Δv大的情况。这种情况下，可以想到对用户进行警告显示，一边引导一边使其进行修正输入，或将指定范围中的仅包含中心部的一部分作为对象来进行处理。这样，位移范围决定部3决定实际的EDOF范围、即焦点位置的位移范围。
接着，向全焦点图像生成模式转移的情况下，位移范围决定部3决定用于生成定义上的全焦点图像的位移范围。通常，后侧DOF端为无限远，因此仅决定前侧DOF端即可。具体地说，如果焦点距离为10mm、且全焦点图像的定义范围是从1m到无限远，则通过基于式3的像面侧换算，像面侧的位移范围在后侧透镜主点位置观看时，是从v(1m)＝10.101mm到v(无限远)＝10.000mm，决定10.101mm－10.000mm＝101um的位移距离，能够唯一地决定位移距离。
图14、图15分别表示在4/3系统的条件的情况和小型数字摄像机的条件的情况下的焦点距离与位移距离的关系的图。
四角点表示想要覆盖全焦点时的图表。即，与式6(式12)的条件对应。
另一方面，菱形点是由EDOF级数的上限决定的条件的图表(F＝2.8、N＝3)，与式4的条件对应。
在这2个图表中，值较小的一方为上限值。因此，焦点距离60mm(焦点距离1s)以下的部分(图14所示的“全焦点图像生成”的部分1m)成为全焦点图像生成模式，其以上(“部分焦点图像生成”的部分1n)成为部分焦点图像生成模式。
另外，如前所述，在一般的缩放透镜中，焦点距离越大，则Fno越大。因此，设想实际的条件下的条件迁移成为实线那样的条件迁移。但是，这种情况下，未考虑来自驱动器的驱动能力的制约、即式5的条件。例如，若该条件为300um以下的条件，则使该条件优先，始终成为部分焦点图像生成模式。图15的情况也可以同样地考虑。
通过进行这样的构成、控制，在设有改变焦点距离的缩放功能的例子中，也能够不较大牺牲用户的要求地决定EDOF范围。
(实施方式2)
参照图16、17说明本发明的实施方式2中的摄像机(摄像装置)1。
本实施方式2中的基本构成与实施方式1所示的构成同样，以图3、图6～15等为基础。
图16是表示本实施方式2中的摄像机控制部103的具体构成的图。
该摄像机控制部103具备：摄像机参数决定部11、位移范围制约有无判定部12、位移范围决定部13、像面位移控制·摄像部14、对焦位置检测部17。信号处理部108的具体构成·动作以前述的图4、图7等的构成·动作为基础。此外，摄像机参数决定部11、位移范围制约有无判定部12、像面位移控制·摄像部14、对焦位置检测部17的各个框的构成·动作也与实施方式1中的与该框对应的框的构成·动作为基础。
在此，详细说明位移范围决定部13和对焦位置检测部17。
对焦位置检测部17检测从用户输入部102输入的、快门半按状态时的对焦位置。如果是具有自动聚焦的功能的摄像机，则能够比较容易地实现该对焦位置检测部17。即，该对焦位置检测部17例如可以将通过自动聚焦的功能对焦的位置检测为上述对焦位置。
图17是表示位移范围决定部13的处理的处理流程的流程图。
按照该图17，说明位移范围决定部13的处理。如实施方式1中所述，在位移范围制约有无判定部12中，首先决定满足全部3个式子的Δv。接着，判断所决定的Δv的值是基于式6或式12决定的、还是有其他式子的制约决定的(S21)。未基于式12决定的情况下(S21的“部分焦点图像生成模式”)，意味着无法进行用于执行定义上的全焦点图像的生成的位移动作。因此，这种情况下，在图17的流程中，转移到基于部分焦点图像生成模式的处理(S22a～)。基于式12决定的情况下，转移到基于全焦点图像生成模式的处理(S22b)。全焦点图像生成模式的动作以实施方式1为基础。
以下，说明向部分焦点图像生成模式转移的情况。这种情况下，在S22a中，位移范围决定部13决定应该使对焦位置在用于执行定义上的全焦点图像的生成的位移范围中的哪个部分位移。例如，设焦点距离为20mm且全焦点图像的定义范围为从1m到无限远。这时的像面侧位移距离根据式3的透镜的公式，成为从透镜的后侧主点位置到20.408mm至20.000mm的范围内的距离，成为20.408mm－20.000mm＝408um。此外，在位移范围制约有无判定部12中，设Δv的上述3个式子中的上限值(各式的第2式)中的最小的上限值为300um(＜408um)。这时，位移范围决定部13决定应该将从1m到无限远的、被摄体侧的范围中的哪个部分作为服务区。
在此，作为让用户指定EDOF范围、即位移范围的方法，利用在通常的摄像机摄影中比较熟悉的自动聚焦的操作。即，在对焦位置检测部17中，取得注目被摄体(图像中的拍摄有该注目被摄体的影像的位置等)和该注目被摄体的距离信息(与摄像装置1的距离的信息)。图17的“注目被摄体检测&测距”的框(S22a)与此相当。
接着，说明图17的“前侧·后侧DOF端计算”的框(S23)的流程。由对焦位置检测部17检测到的仅为注目被摄体的距离1点，位移范围决定部13决定基于EDOF的前侧·后侧DOF。作为该决定的方法的一例，可以举出如下方法。在该方法中，使将检测到的注目被摄体的距离换算为像面侧距离时的换算后的距离的位置处于Δv的范围的正中心。即，在该方法中，以使该位置处于正中心的方式，分别决定该范围的前侧DOF端和后侧DOF端。例如设注目被摄体的测距值为2m。通过式3将该2m的距离换算为像面侧距离后，像面侧的距离成为20.202mm。在前述的例中，能够进行Δv＝300um＝0.300mm＝0.150mm×2的位移。因此，使位移范围从20.202mm－0.150mm＝20.052mm成为20.202mm+0.150mm＝20.352mm。由此，使上述的20.202mm的位置处于Δv的范围的正中心。这种情况的被摄体侧距离成为将上述的像面侧的范围换算为被摄体侧的范围的、从1.2m到7.7m的范围的距离7.7m－1.2m＝6.5m。在图17的“EDOF范围决定”的框(S24)中，根据这样决定的前侧·后侧DOF端的计算结果，将这些前侧·后侧DOF端的范围直接决定为实际的EDOF范围、即焦点位置的位移范围。
通过进行这样的构成、控制，与实施方式1同样，在设有改变焦点距离的缩放功能的例子中，也能够不较大牺牲用户的要求地决定EDOF范围。
以上说明了本发明的实施方式的摄像装置，但是本发明不限于该实施方式。
此外，上述实施方式的摄像装置中包含的多个处理部中的至少一部分作为集成电路、即LSI来实现。可以将其单独地1芯片化，也可以包含一部分或全部地1芯片化。
此外，集成电路化不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array)、或能够将LSI内部的电路单元的连接或设定再构成的可重构处理器。
此外，也可以通过由CPU等处理器执行程序来实现本发明的实施方式的摄像装置的功能的一部分。
此外，本发明也可以是上述程序，或记录有上述程序的非临时性的计算机可读取的记录介质。此外，上述程序当然可以经由因特网等传输介质来流通。
此外，也可以将上述实施方式的摄像装置、及其变形例的功能中的至少一部分组合。
此外，上述使用的数字都只是为了具体说明本发明而作的例示，本发明不限于例示的数字。
此外，只要不脱离本发明的主旨，对本实施方式施以本领域技术人员能够想到的范围内的变更而得到的各种变形例也包含在本发明中。
另外，摄像机1(图18、图6、图7等)是摄像装置的一例，范围决定部13x(图18)是位移范围决定部的一例，摄像部14x(图18)是摄像部的一例。例如，范围决定部103x也可以包含位移范围决定部13。另外，该范围决定部103x也可以还包含位移范围制约有无判定部12等。摄像部14x也可以包含像面位移控制·摄像部14。另外，该摄像部14x也可以还包含摄像元件107及前述的驱动器的一方或双方等。
另外，在上述各实施方式中，各构成要素的功能可以由专用的硬件构成，或通过执行与各构成要素相应的程序来实现。各构成要素的功能也可以通过由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此，实现上述各实施方式的摄像装置等的软件是如下的程序。
即，计算机为了实现视场深度扩张，执行以下步骤：位移范围决定步骤(S53)，基于由摄像装置所具备的输入部接受的输入所示的焦点距离，决定对焦位置的位移范围，该摄像装置以在曝光时间中使对焦位置位移的方式进行摄像；以及摄像控制步骤，对所述摄像装置的动作进行控制，以使所述摄像装置以在曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像。另外，该计算机例如也可以是摄像装置的一部分等。
并且，也可以使用用于使上述计算机执行上述各步骤的计算机程序，或使用记录有该计算机程序的记录介质。
工业实用性
本发明的摄像装置能够使对焦位置的位移范围更加合适。
本发明的摄像装置及摄像方法在改变焦点距离的缩放功能中，不会较大地牺牲用户的要求，就能够决定EDOF范围。
这些构成在例如民用或公务用摄像装置(数字静态摄像机)等领域中是有用的。
符号的说明
1 摄像机
11 摄像机参数决定部
12 位移范围制约有无判定部
13 位移范围决定部
13x、103x 范围决定部
14 像面位移控制·摄像部
14x 摄像部
15 图像复原处理部
16 复原PSF存储部
17 对焦位置检测部
101 曝光表
102 用户输入部
103 摄像机控制部
103j 视场深度扩张范围决定部
104 透镜
105 光圈
106 快门
107 摄像元件
108 信号处理部
109 图像记录部

Claims (10)

1.一种摄像装置，该摄像装置是摄像机焦点距离可变的摄像机，为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像，该摄像装置具备：
输入部，接受焦点距离的输入；
位移范围决定部，基于所述焦点距离，决定对焦位置的位移范围；
摄像部，以在曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像；以及
摄像机控制部，将所述摄像机焦点距离设定为通过所述输入部接受的所述焦点距离，
所述位移范围决定部以使所述位移范围的大小不超过由所述焦点距离决定的上限值的方式，决定所述位移范围，
所述上限值包含第1上限值，该第1上限值与将预先决定的大小的物体摄像为规定的大小的位置对应，
所述上限值包含第2上限值，该第2上限值用于满足预先决定的画质。
2.如权利要求1所述的摄像装置，
所述位移范围决定部，在所述第1上限值大于所述第2上限值的情况下，将包含根据由所述输入部取得的被摄体的信息得到的位置在内的范围决定为所述位移范围。
3.如权利要求2所述的摄像装置，
所述输入部确定所述被摄体，
所述摄像装置还具备对焦位置检测部，该对焦位置检测部测定与确定的所述被摄体的距离，
在所述第1上限值大于所述第2上限值的情况下，所述位移范围决定部将包含测定的所述距离在内的位置的范围决定为所述位移范围。
4.如权利要求1所述的摄像装置，还具备：
曝光表；及
摄像机参数决定部，基于从所述曝光表取得的摄影环境的明亮度信息，决定快门速度、光圈值及ISO感度；
所述位移范围决定部除了所述焦点距离之外，还基于决定的所述快门速度、所述光圈值及所述ISO感度的至少1个来决定所述位移范围。
5.如权利要求1～4中任一项所述的摄像装置，还具备：
信号处理部，进行复原处理，该复原处理用于提高从所述摄像部输出的摄像图像的清晰度。
6.如权利要求1～3中任一项所述的摄像装置，
根据所述焦点距离f、视场角θ0、被摄体的距离k、摄像元件的大小x，所述第1上限值是由下式确定的ΔvAIF
。
7.如权利要求1～3中任一项所述的摄像装置，
根据所述焦点距离f、视场深度扩大量N、光圈值Fno、允许错乱圆径ε，所述第2上限值是由下式确定的ΔvNLim
。
8.如权利要求2所述的摄像装置，
所述位移范围决定部，
在所述第1上限值小于所述第2上限值的情况下，将从与无限远对应的位置到所述第1上限值的位置为止的范围决定为所述位移范围，
在所述第1上限值大于所述第2上限值的情况下，将到所述第1上限值的位置为止的所述范围中的一部分决定为所述位移范围，
所述一部分的大小为所述第2上限值以下，并且所述一部分为包含根据所述被摄体的信息得到的所述位置的部分。
9.一种摄像方法，是摄像机焦点距离可变的摄像机的摄像方法，为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像，该摄像方法包括以下步骤：
输入步骤，接受焦点距离的输入；
位移范围决定步骤，基于所述焦点距离，决定对焦位置的位移范围；
摄像步骤，以在曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像；以及
摄像机控制步骤，将所述摄像机焦点距离设定为通过所述输入步骤接受的所述焦点距离，
所述位移范围决定步骤以使所述位移范围的大小不超过由所述焦点距离决定的上限值的方式，决定所述位移范围，
所述上限值包含第1上限值，该第1上限值与将预先决定的大小的物体摄像为规定的大小的位置对应，
所述上限值包含第2上限值，该第2上限值用于满足预先决定的画质。
10.一种集成电路，具备：
位移范围决定部，基于由摄像装置所具备的输入部接受的输入所示的焦点距离，决定对焦位置的位移范围，该摄像装置是摄像机焦点距离可变的摄像机，为了实现视场深度扩张，以在曝光时间中使对焦位置位移的方式进行摄像；及
摄像控制部，使所述摄像装置以在曝光时间中使对焦位置在所述位移范围内位移的方式进行摄像；以及
摄像机控制部，将所述摄像机焦点距离设定为通过所述输入部接受的所述焦点距离，
所述位移范围决定部以使所述位移范围的大小不超过由所述焦点距离 决定的上限值的方式，决定所述位移范围，
所述上限值包含第1上限值，该第1上限值与将预先决定的大小的物体摄像为规定的大小的位置对应，
所述上限值包含第2上限值，该第2上限值用于满足预先决定的画质。
CN201280001293.4A 2011-03-14 2012-03-14 摄像装置、摄像方法、集成电路 Expired - Fee Related CN102884784B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-055109 2011-03-14
JP2011055109 2011-03-14
PCT/JP2012/001778 WO2012124321A1 (ja) 2011-03-14 2012-03-14 撮像装置、撮像方法、集積回路、コンピュータプログラム

Publications (2)

Publication Number Publication Date
CN102884784A CN102884784A (zh) 2013-01-16
CN102884784B true CN102884784B (zh) 2017-05-17

Family

ID=46830409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001293.4A Expired - Fee Related CN102884784B (zh) 2011-03-14 2012-03-14 摄像装置、摄像方法、集成电路

Country Status (5)

Country Link
US (1) US9300855B2 (zh)
EP (1) EP2688284B1 (zh)
JP (1) JP5882898B2 (zh)
CN (1) CN102884784B (zh)
WO (1) WO2012124321A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012105222A1 (ja) * 2011-01-31 2012-08-09 パナソニック株式会社 画像復元装置、撮像装置及び画像復元方法
US20170132804A1 (en) * 2014-06-12 2017-05-11 Duke University System and method for improved computational imaging
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
CN105491280A (zh) * 2015-11-23 2016-04-13 英华达（上海）科技有限公司 机器视觉中进行图像采集的方法及装置
WO2017169491A1 (ja) * 2016-03-30 2017-10-05 富士フイルム株式会社 撮像装置及びフォーカス制御方法
CN105627995B (zh) * 2016-03-31 2018-03-23 京东方科技集团股份有限公司 摄像装置、转动装置、测距装置、测距系统和测距方法
CN106454116B (zh) * 2016-11-18 2019-06-28 成都微晶景泰科技有限公司 自动全焦成像方法及装置
JP6800797B2 (ja) * 2017-03-31 2020-12-16 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241223A (zh) * 2008-01-28 2008-08-13 瑞声光电科技(常州)有限公司 一种自动对焦的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6068312A (ja) 1983-05-13 1985-04-18 Shimadzu Corp 光学顕微鏡像の撮影方法
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
DE3931934C2 (de) 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP4011704B2 (ja) * 1997-01-10 2007-11-21 オリンパス株式会社 画像入力装置
JP3624859B2 (ja) 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
US7711259B2 (en) * 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
JP5306628B2 (ja) 2007-10-16 2013-10-02 富士フイルム株式会社 撮影方法及び装置
US8154647B2 (en) * 2008-03-05 2012-04-10 Applied Minds, Llc Automated extended depth of field imaging apparatus and method
RU2529661C2 (ru) * 2009-05-12 2014-09-27 Конинклейке Филипс Электроникс Н.В. Камера, система, содержащая камеру, способ работы камеры и способ обращения свертки записанного изображения
JP5588461B2 (ja) * 2009-12-07 2014-09-10 パナソニック株式会社 撮像装置および撮像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241223A (zh) * 2008-01-28 2008-08-13 瑞声光电科技(常州)有限公司 一种自动对焦的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Flexible Depth of Field Photography;Sujit Kuthirummal;《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20110131;第33卷(第1期);图1-2,第4节 *

Also Published As

Publication number Publication date
US9300855B2 (en) 2016-03-29
WO2012124321A1 (ja) 2012-09-20
EP2688284B1 (en) 2017-10-25
EP2688284A4 (en) 2014-03-12
CN102884784A (zh) 2013-01-16
EP2688284A1 (en) 2014-01-22
JP5882898B2 (ja) 2016-03-09
US20130057681A1 (en) 2013-03-07
JPWO2012124321A1 (ja) 2014-07-17

Similar Documents

Publication Publication Date Title
CN102884784B (zh) 摄像装置、摄像方法、集成电路
US9749563B2 (en) Focal point detection device and focal point detection method
CN102308569B (zh) 摄像装置以及其控制方法
JP5180407B2 (ja) 立体撮像装置および視差画像復元方法
CN100520496C (zh) 多矩阵景深的波前编码系统和方法
JP2007060647A (ja) 撮像装置および撮像方法
JP2008165044A (ja) 撮像装置及び撮像方法
US9338336B2 (en) Image pickup apparatus
CN105323423B (zh) 图像处理方法、图像处理装置及摄像装置
JP2008211679A (ja) 撮像装置およびその方法
CN102308242A (zh) 摄像装置以及拍摄方法
US20100045825A1 (en) Image Apparatus and Image Processing Method
JP6033673B2 (ja) 撮像装置
JP2013153375A (ja) 画像処理装置、画像処理方法および記録媒体
JP4693720B2 (ja) 撮像装置
JP6608194B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP5712031B2 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP4752935B2 (ja) 画像処理装置及び画像処理プログラム
JP4812541B2 (ja) 撮像装置
JP2013162369A (ja) 撮像装置
JP4813147B2 (ja) 撮像装置および撮像方法
JP2008211678A (ja) 撮像装置およびその方法
JP2006285110A (ja) カメラ
Li Autofocus searching algorithm considering human visual system limitations
JP2013238779A (ja) 撮像装置、撮影レンズユニット、および撮像ユニット

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517

CF01 Termination of patent right due to non-payment of annual fee