CN103907043B - 摄像方法 - Google Patents

摄像方法 Download PDF

Info

Publication number
CN103907043B
CN103907043B CN201280053034.6A CN201280053034A CN103907043B CN 103907043 B CN103907043 B CN 103907043B CN 201280053034 A CN201280053034 A CN 201280053034A CN 103907043 B CN103907043 B CN 103907043B
Authority
CN
China
Prior art keywords
image
focus
mentioned
subject
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280053034.6A
Other languages
English (en)
Other versions
CN103907043A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103907043A publication Critical patent/CN103907043A/zh
Application granted granted Critical
Publication of CN103907043B publication Critical patent/CN103907043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/10—Bifocal lenses; Multifocal lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明的一个方式涉及的摄像方法利用了具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜，该摄像方法包括：合焦状态控制步骤，对多焦点透镜的合焦状态进行控制；以及摄像步骤，在经控制的合焦状态下获取被摄体的图像。在合焦状态控制步骤中，根据拍摄指示，进行控制以使主要被摄体经由多个区域之中所需合焦时间最短的区域进行合焦。

Description

摄像方法
技术领域
本发明涉及由具备多焦点透镜的摄像装置进行合焦状态的控制的技术。
背景技术
近年，已知有使用具有多个焦点的多焦点透镜的摄像装置。例如在专利文献1中记载有，在具备多焦点透镜的摄像装置中，通过卷积处理来得到被摄体的图像的技术。此外，在专利文献2中记载有，在具备多焦点透镜的摄像装置中，通过基于点扩散函数的反函数来校正摄像信号的技术。进一步地，在专利文献1以及2中，使用具备多焦点透镜的摄像装置来获取焦距不同的图像，通过复原处理来得到焦点对准了的图像。
此外，在专利文献3中记载有，在设置于多焦点透镜的中心部分的短焦点区域进行条形码的读取，在设置于透镜的周边部分的长焦点区域进行通常的拍摄。
另一方面，如专利文献4所记载的那样，也可以进行如下操作：不使用多焦点透镜，而通过焦距不同的多个照相机模块来拍摄同一被摄体，作为整体来获取多焦点的图像。
在先技术文献
专利文献
专利文献1：JP特开2008-58540号公报
专利文献2：JP特开2008-516299号公报
专利文献3：JP特开2003-098426号公报
专利文献4：JP特开2008-172523号公报
发明概要
发明要解决的课题
在上述专利文献1-2这样的现有技术中，对使用多焦点透镜获取到的图像进行卷积处理，或者通过反函数来进行校正，由此即使将透镜保持固定也能得到一定程度对焦了的图像。但是，在这样的现有技术中，不是有意使被摄体完全合焦，在被摄景深的绝大部分范围中会产生一定程度的(容许弥散圆的范围内的)模糊，所以难以得到利用透镜所具有的最高性能而合焦了的图像。此外，不能很好地利用由于区域不同而具有不同的焦距和被摄景深这样的多焦点透镜的特性。
此外，在上述专利文献1-3这样的现有技术中，通过将透镜的焦点深度设定得较深或进行获取到的图像的复原处理，从而在较广的范围中得到即使将透镜保持固定也具有一定程度对焦了的图像。但是，在这样的现有技术中，不是有意使被摄体完全合焦，在被摄景深的大部分范围中会产生一定程度的(容许弥散圆的范围内的)模糊，所以难以得到利用透镜所具有的最高性能而合焦了的图像。此外，难以追随移动的被摄体来准确地对焦点。
进一步地，也存在如专利文献4所记载的技术那样，如果使用大量的模块则系统会复杂化和大型化这样的问题。
发明内容
本发明基于这样的情形而形成，其目的在于，提供一种能够获取利用了多焦点透镜的特性的希望的图像，并且能够根据目的或喜好来提取/选择获取到的图像的摄像方法和图像处理方法以及这些方法的程序、记录介质、以及摄像装置。
用于解决课题的手段
为了达成上述目的，本发明的第1方式涉及的摄像方法利用了具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜，该摄像方法包括：合焦状态控制步骤，对多焦点透镜的合焦状态进行控制；和摄像步骤，在经控制的合焦状态下获取被摄体的图像。在第1方式涉及的摄像方法中，对具有多个不同的焦距的多焦点透镜的合焦状态进行控制来获取被摄体的图像，所以能够获取准确合焦的图像或高速合焦的图像等、利用了多焦点透镜的特性的希望的图像。
本发明的第2方式涉及的摄像方法，在第1方式中，在合焦状态控制步骤中，根据多焦点透镜的被摄景深与被摄体的距离分布的幅度之间的关系来控制合焦状态。
在第2方式涉及的摄像方法中，通过根据多焦点透镜的被摄景深与被摄体的距离分布的幅度之间的关系来进行合焦控制，例如能够根据拍摄目的自由地进行根据至被摄体为止的距离来获取在多个焦点区域之中任一个焦点区域中准确合焦的图像、在与合焦位置不同的透镜位置进行摄像来获取特定的被摄体发生了模糊的图像等，能够获取利用了多焦点透镜的特性的希望的图像。另外，在第2方式中，所谓“多焦点透镜的被摄景深”包括多焦点透镜的各焦点区域的被摄景深、以及多焦点透镜作为整体的被摄景深。
另外，在第2方式中，距离分布能够通过各种方法来检测。例如可以利用相位差信息来进行计算，也可以通过对在不同的透镜位置获取到的多个摄像信号的对比度进行比较来计算。此外，在第2方式中获取的图像不限定为静止图像，可以根据被摄体的距离分布的变化连续地进行合焦控制来获取动态图像。此外，在第2方式中，优选，摄像装置具有摄像元件，该摄像元件具备选择性地接受通过多个区域中的任一个区域的光束的受光元件。
本发明的第3方式涉及的摄像方法，在第1或第2方式中，在合焦状态控制步骤中，在多焦点透镜的作为整体的被摄景深为被摄体的距离分布的幅度以上的情况下，对合焦状态进行控制，以使被摄体的距离分布的幅度收纳于作为整体的被摄景深内。
多焦点透镜的作为整体的被摄景深与被摄体的距离分布的幅度之间的关系，根据多焦点透镜的设计或实际的拍摄状况等而不同，也可能有某一个较广的情况。在第3方式涉及的摄像方法中，考虑这样的情形，在多焦点透镜的作为整体的被摄景深为被摄体的距离分布的幅度以上的情况下，进行合焦控制以使被摄体的距离分布的幅度收纳于被摄景深内来获取图像，所以能够配合被摄体的距离分布来获取适当合焦的图像。
另外，在第3方式中，能够根据拍摄目的来决定如何通过多焦点透镜的作为整体的被摄景深来涵盖被摄体的距离分布的幅度。例如，在使被摄体的距离分布的幅度收纳于作为整体的被摄景深内的基础上，可以进行控制以使作为整体的被摄景深的中心与被摄体的距离分布的中心一致，也可以进行控制以使作为整体的被摄景深靠近被摄体的距离分布的前侧或后侧。此外，可以在使被摄体的距离分布的幅度收纳于作为整体的被摄景深内的基础上，进行控制，以使关于任一个焦点区域，针对主要被摄体等特定的被摄体的合焦度为阈值以上、或者为最大。
本发明的第4方式涉及的摄像方法，在第1或第2方式中，在合焦状态控制步骤中，在多焦点透镜的作为整体的被摄景深比被摄体的距离分布的幅度窄的情况下，对合焦状态进行控制，以使在被摄体的距离分布的幅度之中未收纳于作为整体的被摄景深的范围在作为整体的被摄景深的前侧和后侧相等。第4方式对多焦点透镜作为整体的被摄景深比被摄体的距离分布的幅度窄的情况下的合焦控制的一个方式进行规定。
本发明的第5方式涉及的摄像方法，在第1或第2方式中，在合焦状态控制步骤中，在多焦点透镜的作为整体的被摄景深比被摄体的距离分布的幅度窄的情况下，基于被摄体间的合焦优先位次来控制合焦状态。在第5方式中，例如，能够使优先位次为第1位的被摄体在任一个焦点区域中准确合焦，或者在使优先位次为第1位的被摄体的合焦度为给定值以上的基础上使优先位次为2以下的被摄体的合焦度为最大，由此能够配合被摄体的距离分布来获取适当合焦的图像。
本发明的第6方式涉及的摄像方法，在第5方式中，还包括：进行人物的面部检测的步骤；和对于检测到的面部的人物，将合焦优先位次设定为比人物以外的被摄体高的步骤；在合焦状态控制步骤中，基于设定的合焦优先位次来控制合焦状态。由此，在第6方式涉及的摄像方法中，能够在考虑了被摄体的距离分布的基础上，进一步获取使人物优先被合焦的图像。
本发明的第7方式涉及的摄像方法，在第5方式中，还包括使摄像装置的用户来指定合焦优先位次的步骤，在合焦状态控制步骤中，基于指定的合焦优先位次来控制合焦状态。另外，在第7方式涉及的摄像方法中，可以提高人物的合焦优先位次，也可以提高人物以外的被摄体的合焦优先位次。
本发明的第8方式涉及的摄像方法，在第1方式中，在合焦状态控制步骤中，对合焦状态进行控制，以使主要被摄体在多个区域中的任一个区域中合焦。另外，被摄体是否为主要被摄体能够基于是否为人物的面部、以及占拍摄区域的比率等来进行判断。
本发明的第9方式涉及的摄像方法，在第8方式中，在合焦状态控制步骤中，通过进行合焦状态的控制以使主要被摄体在多个区域之中焦距最短的区域中合焦，由此在摄像步骤中获取使比主要被摄体更靠近前侧的区域模糊的图像。由此，在第9方式中，能够根据距主要被摄体的距离来获取使比主要被摄体更靠近前侧(接近摄像装置的一侧)的被摄体模糊的图像。
本发明的第10方式涉及的摄像方法，在第8方式中，在合焦状态控制步骤中，通过进行合焦状态的控制以使主要被摄体在多个区域之中焦距最长的区域中合焦，由此在摄像步骤中获取使比主要被摄体更靠进深侧的区域模糊的图像。由此，在第10方式中，能够根据距主要被摄体的距离来获取使比主要被摄体更靠进深侧(远离摄像装置的一侧)的被摄体模糊的图像。
本发明的第11方式涉及的摄像方法，在第1至第10方式中的任一个方式中，在合焦状态控制步骤中，基于多焦点透镜的光圈值与多焦点透镜的被摄景深之间的关系来控制合焦状态。被摄景深依赖于透镜的光圈而发生变化，一般，光圈值(F值)变大则被摄景深变深，光圈值变小则被摄景深变浅。因此，如第11方式这样，通过基于多焦点透镜的光圈值与多焦点透镜的被摄景深之间的关系来进行合焦控制，能够配合被摄体的距离分布来获取适当地合焦的图像。
本发明的第12方式涉及的摄像方法，在第1至第11方式中的任一个方式中，还包括将获取到的图像、与表示获取到的图像中所包含的被摄体的合焦度的信息建立关联地进行记录的步骤。由此，在第12方式涉及的摄像方法中，用户在图像获取后参照合焦度信息，能够选择/提取合焦度为给定的值以上的图像等希望的图像。
为了达成上述目的，本发明的第13方式涉及的图像处理方法，包括基于由第12方式记录的信息来提取记录的图像中所包含的图像的步骤。此外，本发明的第14方式涉及的图像处理方法，在第13方式中，还包括基于记录的信息提取包含具有指定的合焦度的被摄体在内的图像的步骤。此外，本发明的第15方式涉及的图像处理方法，在第13或第14方式中，还包括使用提取出的图像来对指定的被摄体具有指定的合焦度的新的图像进行合成的步骤。在上述方式的图像处理方法中，用户能够根据目的或喜好来得到希望的合焦度的图像。另外，在第13至第15方式中，合焦度既可以指定特定的值，也可以仅仅指定上限值、仅仅指定下限值、或者指定由上限值以及下限值构成的范围。
为了达成上述目的，本发明的第16方式涉及的摄像程序，使摄像装置执行第1至第12方式中的任一个方式涉及的摄像方法。此外，为了达成上述目的，本发明的第17方式涉及的图像处理程序，使图像处理装置执行第13至第15中的任一个方式涉及的图像处理方法。第16以及第17方式涉及的程序，除了嵌入数码照相机等的摄像装置中来使用以外，也可以在个人计算机(PC)等中作为图像处理/编辑用软件来使用。此外，在本发明的第18、19方式涉及的记录介质中，分别记录上述第16、17方式涉及的摄像程序的、计算机可读取的代码。作为第18、19方式涉及的记录介质的例子，除了数码照相机和PC的ROM/RAM以外，能够使用CD、DVD和BD、HDD和SSD、各种存储卡等非暂时性的(no-transitory)半导体存储介质或光磁记录介质。
为了达成上述目的，本发明的第20方式涉及的摄像装置，具备：多焦点透镜，其具有多个区域且该多个区域中的每一个区域具有不同的焦距；合焦状态控制部件，其对多焦点透镜的合焦状态进行控制；和摄像部件，其在经控制的合焦状态下获取被摄体的图像；合焦状态控制部件根据多焦点透镜的被摄景深与被摄体的距离分布的幅度之间的关系来控制合焦状态。
在第20方式涉及的摄像装置中，通过根据多焦点透镜的被摄景深与被摄体的距离分布的幅度之间的关系来进行合焦状态的控制，例如能够根据拍摄目的自由地进行根据距被摄体的距离来获取在多个焦点区域之中任一个焦点区域中准确合焦的图像、以及在与合焦位置不同的透镜位置进行摄像来获取特定的被摄体模糊的图像等，能够获取利用了多焦点透镜的特性的希望的图像。另外，在第20方式中，所谓“多焦点透镜的被摄景深”，与第2方式同样地，包括多焦点透镜的各焦点区域的被摄景深、以及多焦点透镜作为整体的被摄景深。
此外，第20方式中获取的图像不限定于静止图像，可以根据被摄体的距离分布的变化连续地进行合焦控制来获取动态图像。另外，在第20方式涉及的摄像装置中，优选地，具有摄像元件，该摄像元件具备选择性地接受通过多个区域中的任一个区域的光束的受光元件。
为了达成上述目的，本发明的第21方式涉及的摄像装置，在第1方式中，在合焦状态控制步骤中，根据拍摄指示，对合焦状态进行控制，以使主要被摄体经由多个区域中的任一个区域进行合焦。
在第21方式涉及的摄像方法中，对合焦状态进行控制，以使主要被摄体经由多个区域中的任一个区域进行合焦，所以能够得到主要被摄体准确合焦的图像。此外，由于只要经由多个区域中的任一个区域进行合焦合焦即可，所以能够使透镜驱动所需的时间变短，高速合焦。另外，优选，摄像装置具有摄像元件，该摄像元件具备选择性地接受通过多个区域中的任一个区域的光束。
另外，在本发明的各方式中，“多焦点透镜”不限定为1枚透镜，也包括由多个透镜构成的透镜，所谓“多焦点透镜的控制”，指的是使构成多焦点透镜的透镜的至少一部分进行移动而合焦于被摄体。此外，在本发明的各方式中，所谓“拍摄指示”，可以通过用户按下快门按钮来输入，也可以在动画拍摄中的各拍摄时刻中由摄像装置产生。进一步地，在本发明的各方式中，被摄体是否为主要被摄体能够基于是否为人物的面部、以及占拍摄区域的比率等来进行判断。
本发明的第22方式涉及的摄像方法，在第21方式中，在合焦状态控制步骤中，进行控制以使主要被摄体经由多个区域之中所需合焦时间最短的区域进行合焦。在第22方式涉及的摄像方法中，进行控制以使主要被摄体经由多个区域之中所需合焦时间最短的区域进行合焦，所以能够进一步地高速合焦。
本发明的第23方式涉及的摄像方法，在第21或第22方式中，在合焦状态控制步骤中，进行控制以使主要被摄体经由多个区域之中具有最大的面积的主区域进行合焦。在使用多焦点透镜进行摄像的情况下，画质依赖于各焦点区域的面积，但是在第23方式涉及的摄像方法中，进行控制以使主要被摄体经由多个区域之中具有最大的面积的主区域进行合焦来获取图像，所以能够得到准确合焦的高画质的图像，能够利用透镜所具有的最高性能。
本发明的第24方式涉及的摄像方法，在第21至第23方式中的任一个方式中，在合焦状态控制步骤，进行控制以使主要被摄体经由多个区域之中所需合焦时间最短的区域进行合焦，在摄像步骤中获取被摄体的图像，接着在合焦状态控制步骤中，进行控制以使主要被摄体经由多个区域之中具有最大的面积的主区域进行合焦，在摄像步骤中获取被摄体的图像。在第24方式涉及的摄像方法中，进行控制以使经由多个区域之中所需合焦时间最短的区域进行合焦来获取图像，接着进行控制以使主要被摄体经由多个区域之中具有最大的面积的主区域进行合焦来获取图像，所以能够得到高速合焦的没有时间延迟的图像、和虽然有若干时间延迟但是高画质且准确合焦的图像。用户从这些图像中，能够符合目的或喜好来选择希望的图像。
本发明的第25方式涉及的摄像方法，在第21至第24方式中的任一个方式中，在摄像步骤中，在拍摄指示之后，进行合焦状态控制步骤之前，维持拍摄指示时的合焦状态不变对多个区域的所有区域获取图像。由于维持摄像指示时的合焦状态不变来进行摄像，并且使用多焦点透镜，所以在多个区域中的任一个区域中，能够高速得到一定程度合焦的图像。
本发明的第26方式涉及的摄像方法，在第21至第25方式中任一个方式中，根据拍摄指示，连续地进行以下之中的至少一者来获取被摄体的动态图像：在合焦状态控制步骤中，进行控制以使主要被摄体经由多个区域之中所需合焦时间最短的区域进行合焦，在摄像步骤中获取被摄体的图像；和在合焦状态控制步骤中，进行控制以使主要被摄体经由多个区域之中具有最大的面积的主区域进行合焦，在摄像步骤中获取被摄体的图像。
在第26方式涉及的摄像方法中，由于根据拍摄指示，连续地进行以下之中的至少一者来获取被摄体的动态图像：进行控制以使主要被摄体经由多个区域之中所需合焦时间最短的区域进行合焦的图像获取；和进行控制以使主要被摄体经由多个区域之中具有最大的面积的主区域进行合焦的图像获取；所以能够连续地得到高速合焦的图像和准确合焦的高画质的图像中的至少一者。另外，获取哪一个图像可以由用户指定，也可以连续获取两者图像并在事后进行选择/编辑，由此，用户能够得到符合目的或喜好的希望的图像。
本发明的第27方式涉及的摄像方法，在第21至第26方式中的任一个方式中，还包括将获取到的图像、与表示从拍摄指示起至图像获取为止的时间的摄像时间信息建立关联地进行记录的步骤。在第27方式涉及的摄像方法中，由于将获取到的图像、与表示从拍摄指示起至图像获取为止的时间的摄像时间信息建立关联地进行记录，所以用户能够在图像获取后参照摄像时间信息，对摄像时间为给定的时间以下的图像等希望的图像进行选择/提取。
本发明的第28方式涉及的摄像方法，在第21至第27方式中的任一个方式中，还包括将获取到的图像、与表示获取到的图像的合焦程度的合焦度信息建立关联地进行记录的步骤。在第28方式涉及的摄像方法中，由于将获取到的图像、与表示获取到的图像的合焦程度的合焦度信息建立关联地进行记录，所以用户能够在图像获取后参照合焦度信息，对合焦度为给定的值以上的图像等希望的图像进行选择/提取。
本发明的第29方式涉及的摄像方法，在第21至第28方式的任一个方式中，还包括将获取到的图像、与表示获取到的图像是通过哪一个区域获取的摄像区域信息建立关联地进行记录的步骤。在第29方式涉及的摄像方法中，由于将获取到的图像、与表示获取到的图像是通过哪一个区域获取的摄像区域信息建立关联地进行记录，所以用户能够根据目的或喜好对在特定的区域(例如，主区域)中拍摄的图像进行选择/提取。
为了达成上述目的，本发明的第30方式涉及的图像处理方法，还包括基于由第27至第29方式中的任一个方式涉及的摄像方法记录的信息，来提取记录的图像中所包含的图像的步骤。在第30方式涉及的图像处理方法中，由于参照与图像建立关联地进行了记录的摄像时间信息、合焦度信息、摄像区域信息来提取图像，所以用户能够根据目的或喜好来得到希望的图像。
为了达成上述目的，本发明的第31方式涉及的摄像程序，使摄像装置执行第21至第30方式中的任一个方式涉及的摄像方法。
为了达成上述目的，本发明的第32方式涉及的摄像程序使摄像装置执行第30方式涉及的摄像方法。第32方式涉及的程序除了嵌入数码照相机等的摄像装置来使用以外，也可以在个人计算机(PC)等中作为图像处理/编辑用软件来使用。此外，在本发明的第33、34方式涉及的记录介质中，分别记录有上述第31、32方式涉及的摄像程序的计算机可读取的代码。作为第33、34方式涉及的记录介质的例子，除了数码照相机和PC的ROM/RAM以外，能够使用CD、DVD和BD、HDD和SSD、各种存储卡等非暂时性的(no-transitory)半导体存储介质或光磁记录介质。
为了达成上述目的，本发明的第35方式涉及的摄像装置具备：具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜；对多焦点透镜的合焦状态进行控制的合焦状态控制部件；和在经控制的状态下获取被摄体的图像的摄像部件；摄像部件根据拍摄指示，进行控制以使主要被摄体经由多个区域中的任一个区域进行合焦。
在第35方式涉及的摄像装置中，由于对多焦点透镜的合焦状态进行控制以使主要被摄体经由多个区域中的任一个区域进行合焦来获取图像，所以能够得到对主要被摄体准确合焦的图像。此外，由于经由多个区域中的任一个区域进行合焦即可，所以透镜驱动所需的时间较短，能够高速合焦。另外，优选，摄像装置具有摄像元件，该摄像元件具备选择性地接受通过多个区域中的任一个区域的光束的受光元件。
在本发明的第36方式涉及的摄像装置中，合焦状态控制部件按照相位差方式来进行合焦状态的控制。虽然在摄像装置所使用的合焦控制中存在所谓对比度方式和相位差方式，但是相对于在对比度方式中驱动透镜来检测合焦状态，在相位差方式中由于基于被摄体像的相位差来检测合焦状态，因此相比对比度方式，能够进行更高速的合焦控制，进一步发挥准确且高速的合焦这样的本发明的效果。
另外，在上述的本发明的各方式中，“多焦点透镜”不限定于1枚透镜，还包括由多个透镜构成的透镜，“多焦点透镜的控制”指的是使构成多焦点透镜的透镜的至少一部分进行移动而合焦于被摄体。
发明效果
如上所述，根据本发明，能够获取利用了多焦点透镜的特性的希望的图像，并且能够根据目的或喜好来提取/选择已获取的图像。
附图说明
图1是表示摄像装置10的构成的方框图。
图2是表示拍摄透镜12的示意图。
图3是表示多焦点透镜的其他例子的示意图。
图4是表示拍摄透镜12中的被摄体距离和合焦程度之间的关系的示意图。
图5是表示摄像元件16的构成的示意图。
图6是表示摄像元件16中的受光元件的排列的示意图。
图7是表示本发明的第1实施方式涉及的摄像方法的流程图。
图8是表示本发明的第1实施方式涉及的摄像方法的概念图。
图9是表示本发明的第2实施方式涉及的摄像方法的流程图。
图10是表示本发明的第3实施方式涉及的摄像方法的流程图。
图11是表示本发明的第3实施方式涉及的摄像方法中的被摄体间的优先级设定的例子的图。
图12是表示本发明的第4实施方式涉及的摄像方法的流程图。
图13是表示本发明的第5实施方式涉及的图像处理方法的流程图。
图14是表示本发明的第6实施方式涉及的图像处理方法的流程图。
图15是表示拍摄透镜12中的被摄体距离和合焦程度之间的关系的示意图。
图16是表示本发明的第7实施方式涉及的摄像方法的流程图。
图17是表示本发明的第7实施方式涉及的摄像方法的其他的流程图。
图18是表示本发明的第8实施方式涉及的摄像方法的流程图。
图19是表示本发明的第8实施方式涉及的摄像方法的其他的流程图。
图20是表示本发明的第9实施方式涉及的摄像方法的流程图。
图21是表示本发明的第9实施方式涉及的摄像方法的其他的流程图。
图22是表示本发明的第9实施方式涉及的摄像方法的概念图。
图23是表示摄像装置10中的主要被摄体指定的例子的示意图。
图24是表示本发明中的图像提取处理的概念图。
具体实施方式
以下，通过附图，详细说明用于实施本发明涉及的摄像方法及图像处理方法、以及这些方法的程序、记录介质、及摄像装置的方式。
[摄像装置的构成]
图1是表示本发明的第1实施方式涉及的摄像装置10(摄像装置、图像处理装置)的实施方式的方框图。摄像装置10的装置整体的动作通过中央处理装置(CPU)40(合焦状态控制部件、摄像部件)进行集中控制，CPU40的动作所需的程序(包括本发明涉及的合焦状态的控制和摄像、图像的提取/合成等处理中使用的程序)和参数存储在EEPROM(ElectronicallyErasableandProgrammableReadOnlyMemory)46(记录介质)中。另外，本发明涉及的程序(摄像程序、图像处理程序)除了摄像装置10的EEPROM46以外，记录在CD、DVD和BD、HDD和SSD、各种存储卡等非暂时性的(no-transitory)的半导体存储介质和光磁记录介质中，能够在数码照相机和个人计算机(PC)等图像处理装置中使用。
在摄像装置10中设置有快门按钮、模式盘、再现按钮、MENU/OK按键、十字按键、BACK按键等操作部38。来自该操作部38的信号被输入至CPU40，CPU40基于输入信号，如后述对摄像装置10的各电路进行控制。
快门按钮是输入拍摄开始的指示的操作按钮，由具有S1开关和S2开关的二级行程(stroke)式的开关构成，其中，S1开关在半按时设为ON，S2开关在全按时设为ON。模式盘是选择静止图像/动画拍摄模式、手动/自动拍摄模式、以及拍摄场景等的部件。
再现按钮是用于切换为使拍摄记录的图像的静止图像或动画显示于液晶监视器30的再现模式的按钮。MENU/OK按键是兼有以下功能的操作按键：用于进行在液晶监视器30的画面上显示菜单的指令的功能；和对选择内容的确定以及执行等进行指令的功能。十字按键是输入上下左右的4方向的指示的操作部，作为光标移动操作部件和变焦开关、再现模式时的帧前进按钮等来发挥功能。BACK按键在选择项目等希望的对象的删除和指示内容的取消、或者返回1个之前的操作状态时等使用。这些按钮和按键能够在图像提取和合成处理、或者后述的被摄体间的优先级设定时在必要的操作中使用。
在拍摄模式时，表示被摄体的图像光经由拍摄透镜12、光圈14而成像于固体摄像元件(以下，称为“CCD”)16(摄像部件)的受光面。拍摄透镜12由被CPU40控制的透镜驱动部36(合焦状态控制部件)驱动，进行后述的合焦控制等。透镜驱动部36按照来自CPU40的指令，使拍摄透镜12在光轴方向上移动，使焦点位置可变。
拍摄透镜12(多焦点透镜、摄像部件)是具有以下区域的多焦点透镜(3焦点透镜)：具有较短的焦距并进行近距离拍摄的区域(以下，称为近焦点区域)12a；具有比近焦点区域长的焦距并能够进行人物等的拍摄的区域(以下，称为中焦点区域)12b；具有比中焦点区域更长的焦距并能够进行风景等拍摄的区域(以下，称为远焦点区域)12c。拍摄透镜12，如图2所示，从正面观察，半月形的区域设置在图2的上下，其间，设置包含透镜中心O在内的带状的区域，从上部开始按顺序成为近焦点区域12a、中焦点区域12b、远焦点区域12c。本实施方式中面积最大的中焦点区域12b为主区域。在这些区域中，焦距的具体的值可以配合拍摄目的等来设定。
另外，在图2的例子中，将各焦点区域形成为半月形或带状，但是也可以如图3所示的拍摄透镜12’那样，由包含透镜中心O’在内的圆形的区域12a’(中焦点区域)和其周边的圆环状的区域12b’、12c’(其中一者是近焦点区域，另一者是远焦点区域)形成。此外，近焦点区域12a、中焦点区域12b、远焦点区域12c面积比能够例如设为30∶50∶20，但是也可以根据光学系统的特性和拍摄目的来设定为与上述不同的比率。此外，焦点区域的数目不限于3个，可以是2焦点，也可以是4焦点以上。
图4(摄像方法、摄像程序)是表示拍摄透镜12中的被摄体距离与合焦程度之间的关系的概念图。在图4中，合焦度曲线Ca、Cb、Cc是表示近焦点区域12a、中焦点区域12b、远焦点区域12c的距离D处的合焦程度的曲线。曲线成为峰值的点Pa、Pb、Pc的距离表示拍摄透镜12的各区域的合焦距离，曲线的高度与合焦程度对应，曲线的广度(spread)与被摄景深对应。因此，如果控制拍摄透镜12以使被摄体距离与Pa、Pb、Pc一致，则被摄体在各焦点区域准确合焦，如果被摄体存在于各曲线Ca、Cb、Cc的广度内(分别为Wa、Wb、Wc)，则根据距Pa、Pb、Pc的距离在各个区域中进行一定程度的合焦。此外，如果被摄体处于拍摄透镜12作为整体的被摄景深内，则在任一个区域中进行一定程度的合焦。
这些曲线包围的区域的面积与各焦点区域的面积对应。各曲线的形状及与其他曲线的重合情形、以及由此决定的作为拍摄透镜12整体的被摄景深DOF可以根据光学系统的特性和拍摄目的来设定。另外，这些曲线Ca、Cb、Cc与各区域的MTF(ModulationTransferFunction；调制传递函数)曲线对应。
通过了拍摄透镜12的近焦点区域12a、中焦点区域12b、远焦点区域12c的光束入射至CCD16的各光敏传感器。如图5所示，CCD16具有：近图像用受光单元16a，其接受通过拍摄透镜12的近焦点区域12a的光束；中图像用受光单元16b，其接受通过中焦点区域12b的光束；以及远图像用受光单元16c，其接受通过远焦点区域12c的光束。受光单元16a、16b、16c通过设置在微透镜ML、以及受光部17的前面的遮光膜18a、18b、18c而分别选择性地接受通过近焦点区域12a、中焦点区域12b、远焦点区域12c的光束，由此，遮光膜18a、18b、18c分别成为不同的形状。另外，也可以取代在受光部17的前面设置遮光膜，而在微透镜ML的前面设置遮光构件。
另外，如图6所示，这些受光单元的数目成为与对应的透镜区域的面积相应的比率，在本实施方式中，与中焦点区域12b对应的中图像用受光单元16b变得元件数最多。在本实施方式中，从中图像用受光单元16b得到的图像为主图像，通过根据拍摄透镜的面积比来增多中图像用受光单元16b，能够得到高画质的主图像。另外，各受光单元的数目可以与和受光单元对应的焦点区域的面积比大致相等。此外，受光单元优选配置为在得到的图像中在特定的区域和方向上画质不劣化，与多个焦点区域中的每一个区域相对应的单元混在一起所导致的像素数据的欠缺优选通过插值等来适当补偿。
此外，CPU40经由光圈驱动部34来控制光圈14，并且经由CCD控制部32进行CCD16中的电荷蓄积时间(快门速度)和来自CCD16的图像信号的读出控制等。蓄积在CCD16中的信号电荷基于从CCD控制部32施加的读出信号而作为与信号电荷相应的电压信号而被读出，并被施加至模拟信号处理部20。
模拟信号处理部20对从CCD16输出的电压信号通过相关二重取样处理来对各像素的R、G、B信号进行取样保持，并在放大后施加至A/D变换器21。A/D变换器21将依次输入的模拟的R、G、B信号变换为数字的R、G、B信号并输出至图像输入控制器22。
数字信号处理部24对经由图像输入控制器22输入的数字的图像信号，进行包括偏移(offset)处理、白平衡校正、以及灵敏度校正在内的增益/控制处理、伽马校正处理、YC处理等的给定的信号处理。
由数字信号处理部24处理后的图像数据被输入至VRAM50。在VRAM50中包含对各自表示1帧的图像的图像数据进行存储的A区域和B区域，在A区域和B区域中交替重写表示1帧的图像的图像数据，从重写了图像数据的区域以外的区域中读出所写入的图像数据。从VRAM50读出的图像数据在视频编码器28中编码后被输出至液晶监视器30，由此，将被摄体像显示在液晶监视器30中。
液晶监视器30采用触摸面板来显示已获取的图像，并且如后述，通过经由画面的用户的操作，能够如后述，来进行主要被摄体以及其他被摄体的指定，此外，还能进行被摄体间的合焦优先位次的设定、模糊区域的指定等操作。
此外，如果存在操作部38的快门按钮的第1阶段的按下(半按)，则CPU40使AF动作(合焦状态控制步骤)开始，并经由透镜驱动部36来进行拍摄透镜12的合焦状态的控制。此外，在快门按钮的半按时，从A/D变换器21输出的图像数据被取入至AE检测部44。
CPU40根据从AE检测部44输入的G信号的累计值来计算被摄体的明亮度(拍摄Ev值)，基于该拍摄Ev值来决定光圈14的光圈值以及CCD16的电子快门(快门速度)，并基于该结果来控制光圈14以及CCD16中的电荷蓄积时间。
AF处理部42(合焦状态控制部件)是进行相位差AF处理的部分，对拍摄透镜12内的聚焦透镜进行控制，以使根据图像数据之中的给定的聚焦区域内的主像素、副像素的图像数据的相位差而求取的散焦量为0。
如果AE动作以及AF动作结束，存在快门按钮的第2阶段的按下(全按)，则响应于该按下而从图像输入控制器22将从A/D变换器21输出的图像数据输入至存储器(SDRAM)48，进行暂时存储。
向存储器48的暂时存储后，通过数字信号处理部24中的YC处理等的信号处理和压缩解压处理部26中的向JPEG(jointphotographicexpertsgroup；联合图像专家组)形式的压缩处理等来生成图像文件，该图像文件由介质控制器52读出并记录至存储卡54。存储卡54中记录的图像能够通过操作操作部38的再现按钮而由液晶监视器30再现显示。
[本发明中的摄像处理]
<第1实施方式>
接着，说明由上述构成的摄像装置10进行的摄像处理。图7(摄像方法、摄像程序)是表示本发明的第1实施方式涉及的摄像处理的流程图，CPU40基于EEPROM46(记录介质)中存储的程序(摄像程序)来控制执行。在第1实施方式中，进行控制以使主要被摄体在作为主区域的中焦点区域12b中进行合焦来获取图像。摄像处理的图形在图8(a)～(f)(摄像方法、摄像程序)中示出。在图8(a)中，主要被摄体是孩子Q1，狗Q2和树木Q3是除此以外的被摄体。另外，在图8(a)中，省略焦点区域12a、12c、以及与这些区域对应的合焦曲线Ca、Cc的图示。
开始摄像处理后，首先，将透镜移动至初始位置(S100)。初始位置可以任意设定，例如，能够将使作为主区域的中焦点区域12b合焦于距离2m的被摄体的透镜位置设为初始位置。如果将拍摄透镜12移动至初始位置，则能够进行拍摄，如果用户按下操作部38的快门按钮并输入拍摄指示(S102)，则基于光圈14的光圈值来检测被摄体的距离分布(S104)，基于检测到的距离分布，使作为主要被摄体的孩子Q1在主区域中合焦(S106：合焦状态控制步骤)。在该状态下，孩子Q1处于中焦点区域12b的幅度Wb内(也处于拍摄透镜12作为整体的被摄景深DOF的范围内)，孩子Q1的位置与曲线Cb的峰值Pb的位置一致。另外，在S106中，被摄体是否为主要被摄体的判断能够通过是否为人物的面部、占拍摄区域的比率、或者经由液晶监视器30的用户的指定等来进行。
另外，在第1实施方式中，距离分布能够通过各种方法来检测。例如，如JP特开2011-124712号中所记载的那样，可以利用相位差信息来计算，也可以通过对在不同的透镜位置获取到的多个摄像信号的对比度进行比较来计算。对于后述的第2～第4实施方式也同样。
在S106的合焦控制后，获取图像(S108：摄像步骤)，将获取到的图像与合焦信息(被摄体的距离分布的幅度、拍摄透镜12的被摄景深、被摄体的合焦度等)建立关联而记录至存储卡54(S110)。由此，如后述那样，能够进行参照了合焦度信息的图像的提取/合成等。
另外，在第1实施方式中进行动画拍摄的情况下，根据主要被摄体的移动(即，距离分布的变化)来连续地进行S104～S110的处理来获取图像，并进行记录。
<第2实施方式>
图9(摄像方法、摄像程序)是表示本发明的第2实施方式涉及的摄像处理的流程图，CPU40基于EEPROM46中存储的程序来控制执行。在第2实施方式中，进行与拍摄透镜12的被摄景深是否为被摄体的距离分布的幅度以上相应的合焦控制。
如果开始摄像处理，则CPU40使拍摄透镜12移动至初始位置(S200)。如果输入拍摄指示(S202)，则基于光圈14的光圈值计算拍摄透镜12作为整体的被摄景深DOF(S204)，接着，检测被摄体的距离分布(S206)。其结果，在被摄景深DOF为被摄体的距离分布的幅度SD以上的情况下(S208中“是”)，进入S210(合焦状态控制步骤)，如图8(b)所示，进行合焦控制，以使幅度SD收纳于被摄景深DOF内。
在S210的合焦控制时如何通过多焦点透镜作为整体的被摄景深DOF来涵盖被摄体的距离分布的幅度SD，能够根据DOF和SD的广度的不同的程度或拍摄目的来决定。例如，可以在使距离分布的幅度SD收纳于被摄景深DOF内的基础上，进行控制以使DOF的中心与SD的中心一致，也可以进行控制以使DOF靠近SD的前侧或后侧。此外，关于任一个焦点区域，也可以进行控制以使针对主要被摄体等特定的被摄体的合焦度为最大。
在S210中的合焦控制后，进行摄像(S212：摄像步骤)，将获取到的图像与各被摄体Q1～Q3的合焦度信息合焦信息(被摄体的距离分布的幅度、拍摄透镜12的被摄景深、被摄体的合焦度等)建立关联而记录至存储卡54(S214)。
另一方面，在被摄景深DOF比被摄体的距离分布的幅度SD窄的情况下(S208中“否”)，进入S216(合焦状态控制步骤)，如图8(c)所示，进行合焦控制以使SD在DOF的前后均等地突出，并获取图像(S218：摄像步骤)，将获取到的图像和各被摄体Q1～Q3的合焦度信息建立关联而记录至存储卡54(S220)。
另外，在第2实施方式中进行动画拍摄的情况下，连续地进行S204～S214或S204～S220的处理。
这样，在第2实施方式中，进行与拍摄透镜12作为整体的被摄景深DOF是否为上述被摄体的距离分布的幅度SD以上相应的合焦控制来获取图像，所以能够配合被摄体的距离分布而获取适当合焦的图像。
<第3实施方式>
图10(摄像方法、摄像程序)是表示本发明的第3实施方式涉及的摄像处理的流程图，CPU40基于EEPROM46中存储的程序来控制执行。在第3实施方式中，与第2实施方式同样地，进行与拍摄透镜12的被摄景深是否为被摄体的距离分布的幅度以上相应的合焦控制，但是与第2实施方式不同，在被摄景深DOF比被摄体的距离分布的幅度SD窄的情况下，基于被摄体间的合焦优先位次进行上述合焦控制来获取图像。
在图10的流程图中，S300～S314的处理与图9的流程图的S200～S214相同。另外，与第2实施方式同样地，在S204中基于光圈14的光圈值来计算拍摄透镜12作为整体的被摄景深DOF。
在图10的流程图中，在被摄景深DOF比被摄体的距离分布的幅度SD窄的情况下(S308中“否”)，首先，进入S316来指定被摄体间的优先级。优先级的指定既可以将由摄像装置10侧进行面部检测而检测到的面部的人物的优先位次设定得比该人物以外的被摄体高，也可以经由具有触摸面板功能的液晶监视器30来受理用户的指定。
图11(a)～(c)(摄像方法、摄像程序)是表示这样的优先位次设定的例子的图。如图11(a)这样，在作为被摄体的孩子Q1、狗Q2、和树木Q3存在的情况下，在摄像装置10侧进行面部检测并附加优先位次的例子为图11(b)，在该例子中，孩子Q1为主要被摄体且优先位次为第1位，狗Q2优先位次为第2位，树木Q3优先位次为第3位。对这些被摄体Q1～Q3按照优先位次的顺序，来附加框FL1(粗实线)、框FL2(细实线)、框FL3(点线)，以便用户能够确认被摄体间的优先位次。另外，枠FL1～3也可以通过用户在液晶监视器30上进行操作来变更大小和位置、显示的ON(启用)/OFF(禁用)等。
图11(c)是用户设定被摄体间的优先位次的情况下的例子。在图11(c)中，按照用户触摸的顺序(这里，设为孩子Q1、狗Q2、树木Q3的顺序)来设定优先位次，与图11(b)同样地来显示框FL1～FL3。
这样，如果在S316中设定优先位次，则进入S318(合焦状态控制步骤)，进行合焦控制以使优先位次高的被摄体收纳于拍摄透镜12的被摄景深DOF内。另外，在该合焦控制中，在将优先位次高的被摄体收纳于拍摄透镜12的被摄景深DOF内的基础上，关于进一步如何进行控制，能够采用各种手法。例如，能够或者使优先位次为第1位的被摄体Q1在拍摄透镜12的任一个焦点区域中准确合焦，或者如图8(d)那样，一边尽可能地提高优先位次为第1位的被摄体Q1的合焦度，一边将优先位次为第2位的被摄体Q2收纳于被摄景深DOF内。或者也可以将尽可能多的被摄体收纳于被摄景深DOF内。
如果合焦控制结束，则获取被摄体的图像(S320：摄像步骤)，将该获取到的图像与合焦信息(被摄体的距离分布的幅度、拍摄透镜12的被摄景深、被摄体的合焦度等)建立关联而记录至存储卡54(S322)。
另外，在第3实施方式中进行动画拍摄的情况下，连续地进行S304～S322的处理。
这样，在第3实施方式中，能够配合被摄体的距离分布而获取适当合焦的图像。
<第4实施方式>
图12(摄像方法、摄像程序)是表示本发明的第4实施方式涉及的摄像处理的流程图，CPU40基于EEPROM46中存储的程序来控制执行。在第4实施方式中，获取使主要被摄体的近前侧或进深侧的区域模糊的图像。
在图12的流程图中，S400～S406的处理与图9的流程图的S200～S206、图10的流程图的S300～S306的处理相同。另外，与第2、第3实施方式同样地，在S404中基于光圈14的光圈值来计算拍摄透镜12作为整体的被摄景深DOF。
在图12的流程图中，如果至S406为止的处理结束，则判断是否使主要被摄体的近前模糊(S408)。在通过经由操作部38、液晶监视器30的用户的指示输入而判断为使主要被摄体的近前模糊的情况下(S408中“是”)，CPU40进行控制，以使如图8(e)所示那样，作为主要被摄体的孩子Q1在拍摄透镜12的近焦点区域12a中进行合焦(S410：合焦状态控制步骤)，并进行摄像(S412：摄像步骤)。并将摄像到的图像与合焦信息建立关联而记录至存储卡54(S414)。通过上述摄像处理，比孩子Q1更靠进深侧的被摄体(例如树木Q3)在拍摄透镜12的被摄景深DOF的范围内进行合焦，但是比孩子Q1更靠近前的被摄体(例如狗Q2)根据距孩子Q1的距离而变模糊。另外，在图8(e)中，省略拍摄透镜12中的中焦点区域12b和与其对应的合焦度曲线Cb的图示。
另一方面，在判断为使主要被摄体的进深侧模糊的情况下(S408中“否”)，CPU40进行控制，以使如图8(f)所示那样，作为主要被摄体的孩子Q1在拍摄透镜12的远焦点区域12c中进行合焦(S416：合焦状态控制步骤)，并进行摄像(S418：摄像步骤)。将摄像到的图像与合焦信息建立关联而记录至存储卡54(S420)。通过上述摄像处理，比孩子Q1更靠近前的被摄体(例如狗Q2)在拍摄透镜12的被摄景深DOF的范围内进行合焦，但比孩子Q1更靠进深侧的被摄体(例如树木Q3)根据距孩子Q1的距离而变模糊。另外，在图8(f)中，省略拍摄透镜12中的中焦点区域12b和与其对应的合焦度曲线Cb的图示。
这样，在第4实施方式中，用户能够配合拍摄目的来获取使主要被摄体的近前侧或进深侧模糊的希望的图像。另外，也可以经由液晶监视器30使用户指定模糊对象区域，进行合焦控制以使该区域模糊从而进行摄像。
[本发明中的图像处理]
接着，说明由上述的手法获取到的图像的提取/合成。
<第5实施方式>
图13(图像处理方法、图像处理程序)是表示本发明的第5实施方式涉及的图像处理的流程图，CPU40基于EEPROM46(记录介质)中存储的程序(图像处理程序)来控制执行。在图13的流程图中，说明以下情况：从由上述的第1～第4实施方式涉及的手法获取到的图像之中提取图像，从提取出的图像中，对所有的被摄体具有阈值以上的合焦度的新的图像进行合成的情况。
首先，在S500中，从存储卡54中记录的图像中，检测包含成为对象的被摄体(这里，如图11(a)～(c)的例子那样，说明存在孩子Q1、狗Q2、树木Q3的情况)在内的图像。若检测到成为对象的被摄体，例如孩子Q1，则检测该对象被摄体的合焦度，判断合焦度是否为阈值以上(S502)。如在上述的第1～第4实施方式中说明的那样，由于在存储卡54中将图像和合焦信息(被摄体的距离分布的幅度、拍摄透镜12的被摄景深、被摄体的合焦度等)建立关联地进行记录，所以能够通过参照该合焦信息来检测对象被摄体的合焦度。另外，阈值可以使用在摄像装置10侧设定的值，也可以使用经由操作部38由用户指定的值。此外，也可以按每个被摄体来设定阈值。
在检测到的对象被摄体的合焦度为阈值以上的情况下(S502中“是”)进入S504判断检测到的合焦度是否为最大，在判断为是最大的情况下(S504中“是”)将处理对象的图像更新为与对象被摄体相关的合成源图像并进入S508，针对所有图像判断是否进行了处理。另外，在S502、S504中为“否”的情况下，不更新合成源图像而进入S508。在S508中为“是”的情况下进入S510，在为“否”的情况下，重复S502～S506的处理直至针对所有图像处理结束。由此，在存储卡54中记录的图像之中，提取对象被摄体的合焦度为阈值以上且为最大的图像。
这样，如果针对一个对象被摄体的图像提取处理结束，则针对所有的被摄体判断处理是否结束(S510)。在图11(a)～(c)示出的例子中，虽然针对孩子Q1的提取处理结束，但是直至针对狗Q2以及树木Q3的处理结束为止，S510的判断都为“否”，也针对Q2、Q3重复直至S500～S508的处理。如果S510的判断为“是”(即，如果针对所有的被摄体，提取处理结束)，则在S512中进行图像合成。该图像合成是从提取的图像中按每个对象被摄体来提取该对象被摄体的部分，并合成为1张图像的处理。
这样，在第5实施方式中，能够对所有的被摄体具有阈值以上的合焦度的图像进行合成。另外，图像的提取/合成可以将处理前的图像以及处理后的图像显示于液晶监视器30中来进行。
<第6实施方式>
图14(图像处理方法、图像处理程序)是表示本发明的第6实施方式涉及的图像处理的流程图，CPU40基于EEPROM46中存储的程序(图像处理程序)来控制执行。在图14的流程图中，针对以下情况进行说明：在从由上述的第1～第4实施方式涉及的手法获取到的图像之中提取图像，并从提取出的图像中，对特定的被摄体(关系被摄体)的合焦度为阈值以上且除此以外的被摄体的合焦度具有阈值以下的合焦度这样的新的图像进行合成的情况下(例如，主要被摄体为合焦度较高，针对这以外的被摄体降低合焦度的情况)。
首先，在S600中，从记录在存储卡54中的图像中，检测包含成为对象的被摄体(这里，说明如图11(a)～(c)的例子那样存在孩子Q1、狗Q2、树木Q3的情况)在内的图像。检测到成为对象的被摄体后，判断该检测到的被摄体是否为关注被摄体(S602)。在图11(a)～(c)的例子中，能够通过摄像装置10或用户的指定来将作为主要被摄体的孩子Q1设为关注被摄体，但是也可以是其他的被摄体。在检测到的被摄体为关注被摄体的情况下进入S604，在不是关注被摄体的情况下(S602中“否”)进入S614。
在S604中，检测关注被摄体的合焦度，判断合焦度是否为阈值以上。如在上述的第1～第4实施方式中说明的那样，在存储卡54中将图像和合焦信息(被摄体的距离分布的幅度、拍摄透镜12的被摄景深、被摄体的合焦度等)建立关联地进行记录，所以能够通过参照该合焦信息来检测关注被摄体的合焦度。另外，阈值可以使用在摄像装置10侧设定的值，也可以使用经由操作部38由用户指定的值。此外，也可以按每个被摄体来设定阈值。
在关注被摄体的合焦度为阈值以上的情况下(S604中“是”)进入606判断检测到的合焦度是否为最大。在判断为是最大的情况下(S606中“是”)将处理对象的图像更新为与关注被摄体相关的合成源图像(S608)并进入S610，判断是否针对所有图像进行了处理。另外，在S604、S606中为“否”的情况下，不更新合成源图像而进入S610。在S610中判断结果为“是”的情况下进入S612，在“否”的情况下，重复S600～S608的处理直至针对所有图像处理结束为止。由此，在记录于存储卡54中的图像之中，提取关注被摄体的合焦度为阈值以上且为最大的图像。
另一方面，在检测到的被摄体不是关注被摄体而进入S614的情况下，判断合焦度是否为阈值以下，在判断结果为“是”的情况下进入S616判断合焦度是否为最小。在判断结果为“是”的情况下进入S618将处理对象的图像更新为与关注被摄体以外的被摄体相关的合成源图像，进入S610。另外，在S614、S616中判断结果为“否”的情况下，不进行合成源图像的更新而进入S610。
这样，如果针对一个对象被摄体的图像提取处理结束，则针对所有的被摄体判断是否处理结束(S610)。如果S610的判断为“是”，则在S612中进行图像合成。该图像合成是从提取出的图像中，按每个对象被摄体，提取该对象被摄体的部分来合成为1张图像的处理。如上述那样，针对关注被摄体，提取合焦度高的图像，针对这以外的被摄体提取合焦度低的图像，所以通过合成处理，对关注被摄体的合焦度为阈值以上且这以外的被摄体的合焦度具有阈值以下的合焦度这样的新的图像进行合成。另外，图像的提取/合成可以将处理前的图像以及处理后的图像显示在液晶监视器30中进行。
另外，在第5以及第6实施方式中，在针对动态图像来对图像进行提取/合成的情况下，可以按每个时刻来改变提取的基准值(合焦度的阈值)。例如，可以不是在所有的时刻中提取具有固定的阈值以上的合焦度的图像，而是在最初提取合焦度低的图像，随着时间的经过渐渐提取合焦度高的图像。如果将这样提取的图像作为动画进行再现，则最初模糊的被摄体渐渐被清晰映出，在若突然合焦则会存在不适感的情况下，能够得到自然的动态图像。此外，相反，可以按照合焦的被摄体渐渐模糊的方式来提取图像。这样进行时间变化的基准值(阈值)可以由摄像装置设定，也可以使用经由液晶监视器30、操作部38而由用户设定的值。
在上述的实施方式中，以进行摄像处理以及图像处理的装置作为摄像装置10进行了说明，但是本发明涉及的摄像处理以及图像处理不限定为摄像装置中的执行，可以在带照相机的便携式电话、个人计算机(PC)、便携式游戏机等中执行。
<第7实施方式>
[摄像装置的构成]
接着，说明本发明的第7实施方式。第7实施方式涉及的摄像装置10(摄像装置、图像处理装置)的构成与上述第1～第6实施方式涉及的摄像装置10相同(参照图1～3、5、6等)，所以省略详细的说明，针对与这些实施方式的不同进行说明。
图15(摄像方法、摄像程序)是表示拍摄透镜12(多焦点透镜)中的被摄体距离和合焦程度之间的关系的示意图。在图15中，合焦度曲线Ca、Cb、Cc是表示近焦点区域12a、中焦点区域12b、远焦点区域12c的距离D处的合焦程度的曲线。曲线成为峰值的点Px、Pb、Pc的距离表示拍摄透镜12的各区域的合焦距离，曲线的高度与合焦程度对应，曲线的广度与被摄景深对应。因此，如果按照被摄体距离与Pa、Pb、Pc一致的方式来控制拍摄透镜，则被摄体经由各焦点区域进行合焦，如果被摄体存在于各曲线Ca、Cb、Cx的广度内，则进行一定程度的合焦。曲线包围的区域的面积与各焦点区域的面积对应。各曲线的形状以及与其他的曲线重合的程度可以根据光学系统的特性或拍摄目的来设定。在本实施方式中，合焦度曲线Ca、Cb、Cc设定为涵盖从1m以下的近距离至远距离(无限远)。另外，这些曲线Ca、Cb、Cc与各区域的MTF(ModulationTransferFunction)曲线相对应。
[摄像处理]
接着，说明由上述构成的摄像装置10进行的摄像处理。图16(摄像方法、摄像程序)是表示进行静止图像拍摄的情况下的摄像处理的流程图，CPU40基于EEPROM46(记录介质)中存储的程序(摄像程序)来控制执行。如果开始摄像处理，则CPU40使拍摄透镜12移动至初始位置(S700)，如果输入拍摄指示(S702)，则维持拍摄指示时的透镜位置不变，在所有区域中获取图像，并进行记录(S704)。在S704中记录获取到的图像时，可以使与后述的合焦信息建立关联进行记录。接着，CPU40检测拍摄透镜12的合焦状态，计算各焦点区域12a、12b、12c中的合焦所需的时间(S706)。合焦时间计算的结果是，在主区域中的合焦时间为最短的情况下(S708中“是”)，进行向主要被摄体的主区域的合焦控制(S709：合焦状态控制步骤)来获取图像(S710：摄像步骤)，将获取到的图像与合焦信息建立关联而记录至存储卡54(S712)。另一方面，在主区域不是合焦时间最短的情况下(S708为“否”)，进入S714控制摄像透镜12以使经由所需合焦时间最短的区域来进行合焦(S714：合焦状态控制步骤)并获取图像(S716：摄像步骤)，将获取到的图像和合焦信息建立关联而记录至存储卡54(S718)。
在第7实施方式中进行动画拍摄的情况下，如图17(摄像方法、摄像程序)的流程图所示，在直至动画拍摄结束为止的期间(S720中“否”)重复S706～S716的处理。其他的处理与图16的流程图相同。
另外，在上述摄像处理中，合焦所需的时间能够根据摄像指示时的透镜位置、合焦的透镜位置、以及透镜移动速度来计算。
通过这样的处理，在第7实施方式中，根据拍摄指示，经由所需合焦时间最短的区域使主要被摄体合焦来获取图像，所以能够获取高速(无时间延迟)合焦的图像。此外，由于经由任一个焦点区域使主要被摄体合焦，所以能够得到准确合焦的图像。
<第8实施方式>
接着，说明本发明涉及的摄像处理的第8实施方式。图18(摄像方法、摄像程序)是表示进行静止图像拍摄的情况下的摄像处理的流程图，CPU40基于EEPROM46中存储的程序(摄像程序)来控制执行。
如果开始摄像处理，则CPU40使拍摄透镜12移动至初始位置(S800)，如果输入拍摄指示(S802)，则维持拍摄指示时的透镜位置不变，在所有区域中获取图像，并进行记录(S804：摄像步骤)。在S804中记录获取到的图像时，也可以将后述的合焦信息建立关联进行记录。接着，CPU40检测拍摄透镜12的合焦状态(S806)，经由主区域使主要被摄体合焦(S807：合焦状态控制步骤)并获取图像(S808：摄像步骤)，将获取到的图像与合焦信息建立关联而记录至存储卡54(S810)。
在进行动画拍摄的情况下，如图19(摄像方法、摄像程序)的流程图所示，在直至动画拍摄结束为止的期间，重复S806～S810的处理(S812中“否”)。其他的处理与图18的流程图相同。
通过这样的处理，在第8实施方式中，根据拍摄指示，在主区域中使主要被摄体合焦来获取图像，所以能够获取准确合焦的高质量的图像。
<第9实施方式>
接着，说明本发明涉及的摄像处理的第9实施方式。图20(摄像方法、摄像程序)是表示进行静止图像拍摄的情况下的摄像处理的流程图，CPU40基于EEPROM46中存储的程序(摄像程序)来控制执行。如以下说明的那样，在第9实施方式中，首先进行合焦所需时间最短的焦点区域中的摄像，在合焦所需时间最短的焦点区域不是主区域的情况下，进一步地进行主区域中的摄像。
如果开始摄像处理，则CPU40使拍摄透镜12移动至初始位置(S900)。示意性表示该状态的图是图22(a)。初始位置可以任意设定，但是例如，能够将使与主区域对应的中焦点区域12b合焦于距离2m的被摄体的透镜位置作为初始位置。如果使拍摄透镜12移动至初始位置，则能够进行拍摄，如果输入拍摄指示(S902)，则维持拍摄指示时的透镜位置不变，在所有区域中(即，近焦点区域12a、中焦点区域12b、远焦点区域12c的所有中)获取图像，并进行记录(S904：摄像步骤)。这里，如针对图15所说明的那样，拍摄透镜12的各焦点区域设定为涵盖从近距离至远距离，所以如图22(b)那样，在主要被摄体Q处于远焦点区域的峰值Pc和中焦点区域的峰值Pb之间且任一个焦点区域都没有完全合焦的情况下，即使维持拍摄指示时的透镜位置不变来获取图像(即，即使不进行合焦控制就获取图像)，主要被摄体Q在任一个焦点区域中也一定程度地合焦。因此，能够高速地获取给定的画质的图像。另外，在S304中记录获取到的图像时，也可以使与后述的合焦信息建立关联地进行记录。
接着，CPU40检测拍摄透镜12的合焦状态，计算各焦点区域中的合焦所需的时间(S906)。合焦时间计算的结果是，在主区域(中焦点区域12b)中的合焦时间为最短的情况下(S908中“是”)，进入S909(合焦状态控制步骤)进行向主区域的合焦控制并获取图像(S910：摄像步骤)，将获取到的图像与合焦信息建立关联而记录至存储卡54(S912)。另一方面，在主区域不是合焦时间最短的情况下(S908中“否”)，对拍摄透镜12进行控制以使经由所需合焦时间最短的区域进行合焦(S914：合焦状态控制步骤)并获取图像(S916：摄像步骤)，将获取到的图像和合焦信息建立关联而记录至存储卡54(S918)。在图22(a)～(f)(摄像方法、摄像程序)中所示的例子中，由于主要被摄体Q距峰值Pc距离最近且在远焦点区域12c中的合焦时间最短，所以如图22(c)所示，经由远焦点区域12c合焦并获取图像(S914、S916)，之后，如图22(d)那样，经由作为主区域的中焦点区域12b合焦来获取图像(S910、S912)。在上述处理中所需合焦时间最短的区域为主区域的情况下，在主区域中的图像获取/记录(S910、S912)后，可以不进行其他的区域中的图像获取就结束处理。
另外，在第9实施方式中，所谓“合焦信息”意思是表示从拍摄指示起至图像获取为止的时间的摄像时间信息、表示获取到的图像的合焦程度的合焦信息、以及表示是通过拍摄透镜12的哪一个区域而获取到的图像的摄像区域信息。在第7以及第8实施方式中也同样。
这样，在第9实施方式中，根据拍摄指示，维持透镜位置为初始位置不变，在所有的焦点区域中获取图像，接着，在所需合焦时间最短的区域中获取图像，进一步地在所需合焦时间最短的区域不是主区域的情况下，在主区域中也获取图像，由此能够获取高速合焦的图像和准确合焦的高画质的图像。此外，通过经由作为多焦点透镜的拍摄透镜12的焦点区域中的任一个焦点区域进行合焦并进行摄像，能够获取至透镜的最高性能而合焦的图像。
另外，在第9实施方式中，关于主要被摄体的指定，在检测到人物的面部的情况下，既可以将该人物识别为主要被摄体，也可以将面积最大的被摄体识别为主要被摄体。此外，也可以将与用户通过具有触摸面板功能的液晶监视器30触摸的部位所对应的被摄体识别为主要被摄体。图23(a)～(c)(摄像方法、摄像程序)是表示这样的主要被摄体的指定处理的图，如图23(a)那样，示出在近前(近距离)存在狗Q2，在中距离处存在孩子Q1，在远距离处存在树木Q3的例子。图23(b)是摄像装置10通过面部识别将孩子Q1识别为主要被摄体的情况下的例子，将表示是主要被摄体的框FL显示在孩子Q1的面部的周围。另一方面，图23(c)是用户通过在液晶监视器30上触摸孩子Q1的面部部分而将孩子Q1识别为主要被摄体的情况下的例子，以用户触摸的点为中心来显示框FL。另外，这样的框FL可以通过经由液晶监视器30的用户的操作来进行大小的变更/位置的移动。
接着，说明在第9实施方式中进行动画拍摄的情况。图21(摄像方法、摄像程序)是表示第9实施方式涉及的动画拍摄的处理的流程图。针对进行与图20的流程图相同的处理的步骤附加相同的符号，省略详细的说明。
在图21所示的流程图中，在主区域中的图像获取/记录(S910、S912)后，在直至动画拍摄结束为止的期间(S920中“否”)，连续地进行S906～S912的处理。即，在所需合焦时间最短的区域中获取图像，进一步地在所需合焦时间最短的区域不是主区域的情况下，在主区域中也获取图像，重复上述处理直至动画拍摄结束为止。在图22(a)～(f)的例子中，在图22(d)中使主要被摄体Q在主区域中合焦来获取/记录图像(S910，S912)，之后，主要被摄体Q移动至前方(接近摄像装置10的一方)，如果近焦点区域12a的所需合焦时间成为最短(S908中“否”)，则CPU40如图22(e)所示，控制拍摄透镜12以使主要被摄体在近焦点区域12a中进行合焦(S914)并获取/记录图像(S916、S918)，进一步地如图22(f)所示，控制拍摄透镜12以使在作为主区域的中焦点区域12b中进行合焦(S909)并获取/记录图像(S910、S912)。
在图21所示的流程中，通过上述处理，在动画拍摄的情况下根据拍摄指示而在所需合焦时间最短的区域中获取图像，进一步地在所需合焦时间最短的区域不是主区域的情况下，在主区域中也获取图像，由此能够获取高速合焦的图像和准确合焦的高画质的图像。此外，通过经由作为多焦点透镜的拍摄透镜12的焦点区域中的任一个焦点区域进行合焦并进行摄像，能够获取至透镜的最高性能合焦的图像。另外，在图21的流程图中，省略拍摄指示后的所有区域中的拍摄(S904)，可以根据需要来进行这样的拍摄。
在上述第7至第9实施方式中，说明了AF处理部42进行相位差AF处理的情况，但也可以是，AF处理部42进行对比度AF处理。在进行对比度AF处理的情况下，AF处理部42对给定的聚焦区域内的图像数据的高频分量进行积分，计算表示合焦状态的AF评价值，控制拍摄透镜12的合焦状态，以使该AF评价值成为极大。
[本发明中的图像处理]
接着，说明本发明中的图像处理。在本发明中，如上述的摄像处理的第7～第9实施方式所示，将获取到的图像与合焦信息建立关联地进行记录，所以能够参照该合焦信息选择/提取希望的图像。具体的处理是，CPU40基于EEPROM46中存储的程序(图像处理程序)来控制执行。
图24(a)～(c)(图像处理方法、图像处理程序)是表示本发明中的图像提取处理的概念图。其中，说明进行时刻t0～tf间的动画拍摄的情况。在本发明涉及的摄像方法中进行动画拍摄的情况下，在哪一个焦点区域中获取图像虽然依赖于使用上述摄像处理的第7至第9实施方式中的哪一个、以及主要被摄体如何进行移动，但是，其中，通过上述的摄像处理的第9实施方式，采用图24(a)所示的模式来获取图像。在图24(a)中，各时刻t0～tf下所示的A、B、C分别表示在近焦点区域12a、中焦点区域12b、远焦点区域12c中合焦/获取到的图像。另外，在摄像处理的第3实施方式中，在所需合焦时间最短的区域中获取图像，进一步地在所需合焦时间最短的区域不是主区域的情况下，在主区域中也获取图像，所以虽然有时按照动画拍摄的各帧的间隔△t以下的时间间隔来获取2张图像，但是在以下的说明中，将这样2张图像总结记载为“在时刻ti下拍摄的图像A、B”。
在图24(a)中，在时刻t0、t1、t2、......tf-1、tf下获取图的下侧所示的图像。例如，示出以下状况：在时刻t0所需合焦时间最短的区域为远焦点区域12c，所以获取图像C，由于所需合焦时间最短的区域不是主区域(中焦点区域12b)，所以在主区域中获取图像B。
在上述的摄像处理的第9实施方式中，说明了图21的S912以及S918，将图像和合焦信息(摄像时间信息、合焦度信息、摄像区域信息)建立关联进行记录。因此，能够通过参照对各图像记录的合焦信息，来选择/提取希望的图像。
例如，通过参照表示从拍摄指示起至图像获取为止的时间的摄像时间信息，能够提取时间延迟短且高速合焦/摄像到的图像。图24(b)是从图24(a)所示的图像组中提取摄像时间最短的图像的例子。例如，在时刻t0，首先获取图像C，之后，获取了图像B，因此提取图像C。同样地，如图24(c)的例子所示，还能够参照摄像区域信息来提取在主区域中摄像到的图像B。此外，也可以参照合焦度信息，提取合焦度为阈值以上的图像。在该情况下合焦程度为阈值以上的图像存在多个的情况下，也可以提取合焦度最高的图像。
另外，在参照上述的合焦信息来提取图像的情况下，可以按照每个时刻来改变参照的信息，此外，也可以按每个时刻来改变提取的基准值。例如，在参照合焦度来提取图像的情况下，可以是，在所有的时刻中，不是提取合焦度为阈值以上的图像，而是最先提取合焦度低的图像，随着时间的经过渐渐地提取合焦度高的图像。如果将这样提取的图像再现为动画，则最初模糊的被摄体渐渐清晰地映出，在若突然合焦则存在不适感的情况下也能得到自然的动态图像。此外，相反，也可以按照使合焦的被摄体渐渐模糊的方式来选择/提取图像。
这样的图像的选择/提取可以将处理前的图像以及处理后的图像显示在液晶监视器30中进行。
以上，使用实施方式来说明了本发明，但是本发明的技术范围不限定为上述实施方式中记载的范围。能够对上述实施方式施加多种变更或改良是本领域技术人员所明了的。施加了这样的变更或改良的方式也包含在本发明的技术范围中，由权利要求书的记载可以明确。
权利要求书、说明书、以及附图中所示的装置、系统、程序、以及方法中的动作、程序、步骤、以及阶段等各处理的执行顺序，没有特别明示为“更前”、“在先”等，此外，只要不是在之后的处理中使用之前的处理的输出，就可以按照任意的顺序来实现，请注意这一点。关于权利要求书、说明书、以及附图中的动作流程，即便为了方便而使用“首先”、“接着”等来进行了说明，也并不意味着必须按照该顺序来实施。
符号说明
10…摄像装置，12…拍摄透镜，12a…近焦点区域，12b…中焦点区域，12c…远焦点区域，16…固体摄像元件(CCD)，16a…近图像用受光单元，16b…中图像用受光单元，16c…远图像用受光单元，18a、18b、18c…遮光膜，30…液晶监视器，38…操作部，40…CPU，46…EEPROM，48…存储器，54…存储卡，Ca、Cb、Cc…合焦度曲线，DOF…被摄景深，SD…被摄体的距离分布的幅度。

Claims (18)

1.一种摄像方法，利用了具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜，该摄像方法包含：
合焦状态控制步骤，对上述多焦点透镜的合焦状态进行控制；和
摄像步骤，在经上述控制的合焦状态下获取被摄体的图像，
在上述合焦状态控制步骤中，根据拍摄指示，进行控制以使上述被摄体之中的主要被摄体经由上述多个区域之中所需合焦时间最短的区域进行合焦。
2.根据权利要求1所述的摄像方法，其特征在于，
在上述合焦状态控制步骤中，在上述所需合焦时间最短的区域是上述多个区域之中具有最大的面积的主区域的情况下，进行控制以使上述被摄体之中的上述主要被摄体经由上述主区域进行合焦。
3.根据权利要求1或2所述的摄像方法，其特征在于，
在上述拍摄指示之后，进行上述合焦状态控制步骤之前，维持上述拍摄指示时的合焦状态不变而对上述多个区域的所有区域获取图像。
4.根据权利要求1或2所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示从上述拍摄指示起至图像获取为止的时间的摄像时间信息建立关联地进行记录的步骤。
5.根据权利要求1或2所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像的合焦程度的合焦度信息建立关联地进行记录的步骤。
6.根据权利要求1或2所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像是通过哪一个区域获取到的摄像区域信息建立关联地进行记录的步骤。
7.一种摄像方法，利用了具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜，该摄像方法包含：
合焦状态控制步骤，对上述多焦点透镜的合焦状态进行控制；和
摄像步骤，在经上述控制的合焦状态下获取被摄体的图像，
在上述多个区域之中的、上述被摄体之中的主要被摄体的所需合焦时间最短的区域不是上述多个区域之中具有最大的面积的主区域的情况下，
根据拍摄指示，在上述合焦状态控制步骤中进行控制以使上述被摄体之中的上述主要被摄体经由上述所需合焦时间最短的区域进行合焦，在上述摄像步骤中获取上述被摄体的图像，
接着，在上述合焦状态控制步骤中进行控制以使上述被摄体之中的上述主要被摄体经由上述主区域进行合焦，在上述摄像步骤中获取上述被摄体的图像。
8.根据权利要求7所述的摄像方法，其特征在于，
在上述拍摄指示之后，进行上述合焦状态控制步骤之前，维持上述拍摄指示时的合焦状态不变而对上述多个区域的所有区域获取图像。
9.根据权利要求7或8所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示从上述拍摄指示起至图像获取为止的时间的摄像时间信息建立关联地进行记录的步骤。
10.根据权利要求7或8所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像的合焦程度的合焦度信息建立关联地进行记录的步骤。
11.根据权利要求7或8所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像是通过哪一个区域获取到的摄像区域信息建立关联地进行记录的步骤。
12.一种摄像方法，利用了具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜，该摄像方法包含：
合焦状态控制步骤，对上述多焦点透镜的合焦状态进行控制；和
摄像步骤，在经上述控制的合焦状态下获取被摄体的图像，
根据拍摄指示，持续地进行以下之中的至少一者来获取被摄体的动态图像：
在上述合焦状态控制步骤中进行控制以使上述被摄体之中的主要被摄体经由上述多个区域之中所需合焦时间最短的区域进行合焦，在上述摄像步骤中获取上述被摄体的图像；和
在上述合焦状态控制步骤中进行控制以使上述被摄体之中的上述主要被摄体经由上述多个区域之中具有最大的面积的主区域进行合焦，在上述摄像步骤中获取上述被摄体的图像。
13.根据权利要求12所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示从上述拍摄指示起至图像获取为止的时间的摄像时间信息建立关联地进行记录的步骤。
14.根据权利要求12或13所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像的合焦程度的合焦度信息建立关联地进行记录的步骤。
15.根据权利要求12或13所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像是通过哪一个区域获取到的摄像区域信息建立关联地进行记录的步骤。
16.一种摄像方法，利用了具有多个区域且该多个区域中的每一个区域具有不同的焦距的多焦点透镜，该摄像方法包含：
对上述多焦点透镜的合焦状态进行控制的合焦状态控制步骤；
在经上述控制的合焦状态下获取被摄体的图像的摄像步骤；和
将上述获取到的图像、与表示从拍摄指示起至图像获取为止的时间的摄像时间信息建立关联地进行记录的步骤，
在上述合焦状态控制步骤中，根据拍摄指示，对上述合焦状态进行控制，以使上述被摄体之中的主要被摄体经由上述多个区域中的任一个区域进行合焦。
17.根据权利要求16所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像的合焦程度的合焦度信息建立关联地进行记录的步骤。
18.根据权利要求16或17所述的摄像方法，其特征在于，
还包括将上述获取到的图像、与表示上述获取到的图像是通过哪一个区域获取到的摄像区域信息建立关联地进行记录的步骤。
CN201280053034.6A 2011-10-28 2012-10-23 摄像方法 Active CN103907043B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011237634 2011-10-28
JP2011237635 2011-10-28
JP2011-237635 2011-10-28
JP2011-237634 2011-10-28
PCT/JP2012/077304 WO2013061947A1 (ja) 2011-10-28 2012-10-23 撮像方法及び画像処理方法並びにそれらのプログラム、記録媒体、及び撮像装置

Publications (2)

Publication Number Publication Date
CN103907043A CN103907043A (zh) 2014-07-02
CN103907043B true CN103907043B (zh) 2016-03-02

Family

ID=48167777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280053034.6A Active CN103907043B (zh) 2011-10-28 2012-10-23 摄像方法

Country Status (5)

Country Link
US (1) US9270878B2 (zh)
EP (1) EP2772782B1 (zh)
JP (1) JP5647739B2 (zh)
CN (1) CN103907043B (zh)
WO (1) WO2013061947A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104204941B (zh) * 2012-03-21 2016-01-06 富士胶片株式会社 摄像装置
JP2014103353A (ja) * 2012-11-22 2014-06-05 Samsung R&D Institute Japan Co Ltd 認識装置、認識方法、実装装置及び実装方法
JP5743236B2 (ja) 2013-09-17 2015-07-01 オリンパス株式会社 撮影機器及び撮影方法
KR20150077646A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 이미지 처리 장치 및 방법
KR102149463B1 (ko) * 2014-02-19 2020-08-28 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
JP6415196B2 (ja) * 2014-09-08 2018-10-31 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP6042936B2 (ja) * 2015-04-23 2016-12-14 オリンパス株式会社 撮影機器及び撮影方法
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
JP6800628B2 (ja) * 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
WO2018061876A1 (ja) * 2016-09-29 2018-04-05 株式会社ニコン 撮像装置
JP6838994B2 (ja) * 2017-02-22 2021-03-03 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2019086775A (ja) * 2017-11-06 2019-06-06 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び記憶媒体
JP7092255B2 (ja) 2019-03-25 2022-06-28 日本電気株式会社 画像処理装置および画像処理方法
CN110324532B (zh) * 2019-07-05 2021-06-18 Oppo广东移动通信有限公司 一种图像虚化方法、装置、存储介质及电子设备
US11172112B2 (en) 2019-09-09 2021-11-09 Embedtek, LLC Imaging system including a non-linear reflector
DE102020109929B3 (de) 2020-04-09 2021-01-14 Sick Ag Erfassung von Bilddaten eines bewegten Objekts
WO2022201782A1 (ja) * 2021-03-26 2022-09-29 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119893A (ja) * 1993-10-27 1995-05-12 Chiyoda Corp 低温液化ガス配管の制御方法
JP2001116980A (ja) * 1999-10-18 2001-04-27 Fuji Photo Film Co Ltd 自動焦点カメラ及び撮影方法
CN1782772A (zh) * 2004-11-30 2006-06-07 奥林巴斯株式会社 焦点检测装置及其控制方法
CN101080742A (zh) * 2004-10-15 2007-11-28 松下电器产业株式会社 利用多焦点透镜获取的图像的增强
JP2008172523A (ja) * 2007-01-11 2008-07-24 Fujifilm Corp 多焦点カメラ装置及びそれに用いられる制御方法並びにプログラム
CN101233745A (zh) * 2005-11-22 2008-07-30 松下电器产业株式会社 摄影装置、便携终端装置、摄影方法及程序
CN101753775A (zh) * 2008-12-12 2010-06-23 株式会社其恩斯 成像装置
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119893B2 (ja) * 1986-09-22 1995-12-20 オリンパス光学工業株式会社 内視鏡光学系
JPH05199443A (ja) * 1992-01-21 1993-08-06 Konica Corp 電子カメラの合焦位置検出装置
JPH1068870A (ja) * 1996-08-29 1998-03-10 Asahi Optical Co Ltd 多点オートフォーカス装置
US6614998B1 (en) 1999-10-18 2003-09-02 Fuji Photo Film Co., Ltd. Automatic focusing camera and shooting method
JP2003098426A (ja) 2001-09-20 2003-04-03 Olympus Optical Co Ltd 撮影レンズ、その撮影レンズを用いたカメラ及びそのカメラにおける絞り
JP3944039B2 (ja) * 2002-09-13 2007-07-11 キヤノン株式会社 焦点調節装置及びプログラム
US20070150138A1 (en) * 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
JP2008058540A (ja) 2006-08-30 2008-03-13 Kyocera Corp 撮像装置、および画像処理方法
WO2010134343A1 (ja) * 2009-05-21 2010-11-25 株式会社ニコン 形状測定装置、観察装置および画像処理方法
JP5249146B2 (ja) * 2009-07-03 2013-07-31 富士フイルム株式会社 撮影制御装置および方法並びにプログラム
JP5437781B2 (ja) 2009-12-09 2014-03-12 富士フイルム株式会社 画像処理装置、方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07119893A (ja) * 1993-10-27 1995-05-12 Chiyoda Corp 低温液化ガス配管の制御方法
JP2001116980A (ja) * 1999-10-18 2001-04-27 Fuji Photo Film Co Ltd 自動焦点カメラ及び撮影方法
CN101080742A (zh) * 2004-10-15 2007-11-28 松下电器产业株式会社 利用多焦点透镜获取的图像的增强
CN1782772A (zh) * 2004-11-30 2006-06-07 奥林巴斯株式会社 焦点检测装置及其控制方法
CN101233745A (zh) * 2005-11-22 2008-07-30 松下电器产业株式会社 摄影装置、便携终端装置、摄影方法及程序
JP2008172523A (ja) * 2007-01-11 2008-07-24 Fujifilm Corp 多焦点カメラ装置及びそれに用いられる制御方法並びにプログラム
CN101753775A (zh) * 2008-12-12 2010-06-23 株式会社其恩斯 成像装置
JP2011118235A (ja) * 2009-12-04 2011-06-16 Ricoh Co Ltd 撮像装置

Also Published As

Publication number Publication date
WO2013061947A1 (ja) 2013-05-02
JPWO2013061947A1 (ja) 2015-04-02
EP2772782A4 (en) 2015-07-22
US9270878B2 (en) 2016-02-23
EP2772782A1 (en) 2014-09-03
JP5647739B2 (ja) 2015-01-07
CN103907043A (zh) 2014-07-02
EP2772782B1 (en) 2017-04-12
US20140232928A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
CN103907043B (zh) 摄像方法
JP5267149B2 (ja) 表示制御装置、表示制御方法及びプログラム
KR100914084B1 (ko) 촬상 장치 및 촬상 방법
JP6546474B2 (ja) 撮像装置およびその制御方法
KR101797041B1 (ko) 디지털 영상 처리장치 및 그 제어방법
US8995785B2 (en) Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
CN103843033B (zh) 图像处理设备和方法以及程序
JP4697606B2 (ja) 撮影装置及び合焦制御方法
CN101573971B (zh) 图像记录装置和图像记录方法
CN104580863A (zh) 摄像装置
JP2007295183A (ja) 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置
JP2011147067A (ja) 画像処理装置及び方法、並びにプログラム
CN102262334A (zh) 成像设备、成像系统以及成像设备控制方法和程序
JP5546691B2 (ja) 撮影装置、撮影方法およびプログラム
KR20140109868A (ko) 화상 처리 장치, 화상 처리 방법, 및 비일시적 컴퓨터 판독가능 기억 매체
JP4683337B2 (ja) 画像表示装置及び画像表示方法
KR101770298B1 (ko) 디지털 영상 촬영 장치 및 이의 제어 방법
JP2009071592A (ja) 撮像装置及び撮像制御方法
JP5245636B2 (ja) 電子機器
KR100987773B1 (ko) 디지털 카메라의 파일관리방법 및 이를 수행하는 디지털카메라
KR101630302B1 (ko) 입체 터치 패널을 구비하는 디지털 촬영 장치 및 이의 제어 방법
KR101436325B1 (ko) 동영상 대표 이미지 설정 방법 및 장치
JP2005039579A (ja) 画像管理装置及びデジタルカメラ
KR101946574B1 (ko) 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체
JP5054209B2 (ja) 撮影装置及び合焦制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant