CN102547332A - 图像拍摄装置和图像拍摄控制方法 - Google Patents

图像拍摄装置和图像拍摄控制方法 Download PDF

Info

Publication number
CN102547332A
CN102547332A CN2011103378564A CN201110337856A CN102547332A CN 102547332 A CN102547332 A CN 102547332A CN 2011103378564 A CN2011103378564 A CN 2011103378564A CN 201110337856 A CN201110337856 A CN 201110337856A CN 102547332 A CN102547332 A CN 102547332A
Authority
CN
China
Prior art keywords
parallax
camera lens
lens
focus
detection position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103378564A
Other languages
English (en)
Other versions
CN102547332B (zh
Inventor
佐藤辉幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN102547332A publication Critical patent/CN102547332A/zh
Application granted granted Critical
Publication of CN102547332B publication Critical patent/CN102547332B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

图像拍摄装置和图像拍摄控制方法。一种图像拍摄装置包括：存储部，其包含视差信息，该视差信息具有与用于驱动第一镜头的第一控制量相关的所述第一镜头与第二镜头的视差量；第一聚焦控制部，其被配置为控制所述第一镜头的驱动，以使所述第一镜头聚焦在第一检测位置；视差补偿部，其被配置为从所述视差信息获得视差量，该视差量与由所述第一聚焦控制部为使所述第一镜头聚焦而执行的所述第一控制量对应，并且该视差补偿部被配置为检测通过在所述第一检测位置中反映所述视差量而获得的第二检测位置；以及第二聚焦控制部，其被配置为控制所述第二镜头的驱动，以使所述第二镜头聚焦在由所述视差补偿部检测到的所述第二检测位置。

Description

图像拍摄装置和图像拍摄控制方法
技术领域
本文讨论的实施方式的特定方面涉及图像拍摄装置和图像拍摄控制方法。
背景技术
为了使用双目视差(或双目像差)来获得立体图像，使用双目相机来拍摄图像，该双目相机是设置有两个光学系统的单个相机。但是，在通过多个检测镜头来输入图像的情况下，这些检测镜头可以独立地聚焦在对象上的某处，而不必聚焦在同一点上。
具体地说，在使用双目相机按照微距(closeup)模式或利用缩放(zooming)来拍摄图像的情况下，因为由于针对各个眼的相机控制方面的精度的缺乏所导致的散焦(misfocuse)，所以两眼的图像之间的焦点失配(focus mismatch)增加。因此，利用多个单独的相机(光学系统)拍摄到的图像中的相同点会不同地模糊。
图1是例示两眼的图像之间的焦点失配的图示。为了简化，利用作为独立主体的针对右眼的相机11和针对左眼的相机12来描述图1所例示的情况。但是，同样的情况可以出现在双目相机中。
参照图1，右眼相机11聚焦在近侧上的圆锥体3上。此外，右眼相机11没有聚焦在远侧上的长方体(rectangular parallelepiped)1或中心的圆柱体2上，使得该长方体1和圆柱体2在显示部上看上去模糊。
另一方面，左眼相机12聚焦在中心的圆柱体2上。此外，左眼相机12没有聚焦在近侧上的圆锥体3或远侧上的长方体1上，使得该圆锥体3和长方体1在显示部上看上去模糊。
为了解决该问题，提出了一种技术，该技术提供具有独立的距离测量传感器的双目相机，并基于与利用该距离测量传感器测量的距离相关的信息来控制相机的聚焦。该距离测量系统是例如所谓的主动距离测量系统，该主动距离测量系统使对象暴露于光并利用反射光来测量距离。该系统享有高测量精度并使得能够快速聚焦，但是该系统具有诸如由于外部距离测量传感器所导致的成本增加、在聚焦在实际图像上时的较差的精度以及相对于距离测量点的自由范围(latitude)的缺乏的问题。
此外，近年来，小尺寸的数字相机(下文还称为“紧凑型数字相机”)已经采用相机传感器还作为自动聚焦(AF)传感器来工作的对比方法。该对比方法不需要独立地提供距离测量传感器。
图2是例示根据该对比方法的聚焦处理的流程图。参照图2，在步骤S101中，计算包括预先给定的检测位置(还称为“检测点”)的预定区域(例如，3×3)中的边缘量(amount of edge)。
接着，在步骤S102中，步进电动机沿向前移动方向和向后移动方向被驱动，以计算各个方向上的与前一边缘量的差，并且该步进电动机沿较大边缘量的方向被控制。
如果该边缘量中的差为正(在步骤S103中为YES(是))，则在步骤S104中，沿该方向驱动该步进电动机。如果该边缘量中的改变为负(在步骤S103中为NO(否))，则在步骤S105中，将前一位置确定为焦点位置。因而，该对比方法是通过使检测点处的边缘量最大来执行聚焦的技术。
这里，在双目相机的情况下，较近的对象使视差更大，因而使右AF检测点与左AF检测点之间的差更大，从而使得更难以聚焦在该对象上。参照图3给出对检测点之间的该差的描述。
图3是用于例示检测点之间的差的图示。在图3中，(a)例示利用左眼相机观看的图像。参照图3的(a)，检测点22在中心的圆柱体2上。在图3中，(b)例示利用右眼相机观看的图像。参照图3的(b)，检测点21在圆锥体3上。
如果在该状态下执行聚焦，则该右眼相机与该左眼相机聚焦在不同的对象上，因而使得焦点失配。假设这些检测点被设置在例如同一圆锥体3上。在该情况下，针对该左眼相机来设置由图3的(a)中的虚线指示的检测点23。但是，检测点在各个相机聚焦时被预先给予相应的相机，并且防止这些相机中的一个相机知道这些相机中的另一个相机聚焦的对象。
因此，为了解决该问题，提出了调节光学系统的聚焦的技术，该技术仅基于从已经拍摄了第一图像和第二图像中的一个的图像拍摄装置的输出获得的信号来在该图像拍摄装置上交替地形成相对于彼此具有视差的该第一图像和该第二图像。
此外，还存在一种技术，该技术针对两个立体图像拍摄光学系统公共的范围来执行自动聚焦操作，以基于与这些光学系统相关的信息来使用双目视差。
对于现有技术，可以参照例如以下文献：
[专利文献1]日本特许公开专利公报No.2001-148866；
[专利文献2]WO2004/107762；
[专利文献3]日本特许公开专利公报No.2005-173270；
[专利文献4]日本特许公开专利公报No.8-194274。
发明内容
因此，本发明的一个方面中的目的是提供一种图像拍摄装置和一种图像拍摄控制方法，该图像拍摄装置和该图像拍摄控制方法实现了防止在多个光学系统之间出现焦点失配的适当的AF控制。
根据本发明的一个方面，一种图像拍摄装置包括：存储部，其包含视差信息，该视差信息具有与用于驱动第一镜头的第一控制量相关的所述第一镜头与第二镜头的视差量；第一聚焦控制部，其被配置为控制所述第一镜头的驱动，以使所述第一镜头聚焦在第一检测位置；视差补偿部，其被配置为从所述视差信息获得视差量，该视差量与由所述第一聚焦控制部为使所述第一镜头聚焦而执行的所述第一控制量对应，并且该视差补偿部被配置为检测通过在所述第一检测位置中反映该视差量而获得的第二检测位置；以及第二聚焦控制部，其被配置为控制所述第二镜头的驱动，以使所述第二镜头聚焦在由所述视差补偿部检测到的所述第二检测位置。
附图说明
图1是用于例示两眼的图像之间的焦点失配的图示；
图2是例示根据对比方法的聚焦处理的流程图；
图3是用于例示检测点之间的差的图示；
图4是例示根据第一实施方式的图像拍摄装置的配置的框图；
图5是例示根据第一实施方式的驱动差信息的图示；
图6是例示根据第一实施方式的视差信息的图示；
图7是例示根据第一实施方式的第二AF控制部的配置的框图；
图8是例示根据第一实施方式的聚焦操作的特定示例的图示；
图9是例示根据第一实施方式的聚焦控制操作的流程图；
图10是例示根据第二实施方式的图像拍摄装置的配置的框图；
图11是例示根据第二实施方式的视差补偿部的配置的框图；
图12是例示根据第二实施方式的聚焦控制操作的流程图；以及
图13是例示根据第三实施方式的便携式终端装置的配置的框图。
具体实施方式
如上所述，紧凑型数字相机已经采用该对比方法作为自动聚焦技术。在使用不提供距离测量传感器的该对比方法的情况下，根据专利文献3(其系统评价多个相机中的仅一个相机中的焦点的存在或不存在)，因为电动机控制中的单独的差异，所以不保证这些相机中的另一个相机聚焦在对象上。
此外，根据专利文献4，在长焦距的情况下可以使公共范围变窄。但是在拍摄近的对象的图像的情况下，考虑到使用广角镜头而不是变焦镜头(zoom lens)，该公共范围不会变窄到足以能够识别该对象。
因而，执行对比方法AF控制的双目图像拍摄装置具有的问题在于：因为防止多个光学系统中的一个知道这些光学系统中的另一个所聚焦的对象的位置，所以在利用多个光学系统拍摄到的图像之间可能存在焦点失配。
根据本发明的一个方面，可以执行防止在双目图像拍摄装置中的多个光学系统之间出现焦点失配的适当的AF控制。
根据本发明的一个方面，提供了一种图像拍摄装置和一种图像拍摄控制方法，该图像拍摄装置和该图像拍摄控制方法实现了防止在多个光学系统之间出现焦点失配的适当的AF控制。
参照附图来说明本发明的优选实施方式。
[a]第一实施方式
图4是例示根据第一实施方式的图像拍摄装置100的配置的框图。
参照图4，根据第一实施方式的图像拍摄装置100包括第一镜头101、第一传感器102、信号处理部103、第一驱动部104、第二镜头105、第二传感器106、第二驱动部107、主中央处理单元(CPU)108和图片存储器109，这些部件按照允许数据在彼此之间发送和接收的方式经由总线互连。
第一镜头101由第一驱动部104驱动。第一传感器102生成与第一镜头101所接收到的图像对应的图像数据。第一传感器102的示例包括电荷耦合器件(CCD)。
信号处理部103对第一镜头101执行自动聚焦(AF)控制。此外，信号处理部103对下面描述的第二镜头105执行AF控制。下面详细地给出信号处理部103的描述。信号处理部103可以被实现为例如信号处理LSI。
第一驱动部104通过响应于从信号处理部103输出的第一AF控制信号驱动内置镜头移动装置来使第一镜头101移动。该镜头移动装置的示例包括步进电动机和音圈电动机(voice coil motor)。
第二镜头105由第二驱动部107驱动。第二传感器106生成与第二镜头105所接收到的图像对应的图像数据。第二传感器106的示例包括电荷耦合器件(CCD)。
第二驱动部107通过响应于从信号处理部103输出的第二AF控制信号驱动内置镜头移动装置来使第二镜头105移动。
主CPU 108例如控制图像拍摄装置100的图像拍摄菜单，将头(header)附接到图像数据，并执行对图像拍摄装置100的总体控制。此外，主CPU 108向图片存储器109输出经处理的图像数据，并使用传输路径来发送经处理的图像数据。图片存储器109存储从主CPU 108输出的图像数据。图片存储器109存储例如立体图像。
接着，给出对信号处理部103的描述。信号处理部103包括第一AF检测部110、第一AF控制部111、驱动差补偿部112、第二存储部113、视差补偿部114、第一存储部115、第二AF控制部116和第二AF检测部117。在实施方式的以下描述中，“第一”侧控制(在第一镜头101、第一传感器102、第一驱动部104、第一AF检测部110和第一AF控制部111这侧上的控制)是主控制。
第一AF检测部110基于从第一传感器102获得(接收到)的图像数据来检测第一检测位置(第一检测点)处的高频集成数据。该集成数据被输出到第一AF控制部111。第一AF检测部110将从第一传感器102获得的图像数据输出到主CPU 108，作为例如针对右眼的图像数据(右眼图像数据)。
第一AF控制部111对从第一AF检测部110获得(接收到)的集成数据执行操作，并确定第一镜头101的移动方向和移动的量。第一AF控制部111向第一驱动部104、驱动差补偿部112和视差补偿部114输出所确定的移动的方向和移动的量，作为第一AF控制信号。如果第一驱动部104是步进电动机，则该第一AF控制信号可以是例如指示步进的数量的驱动脉冲，或者如果第一驱动部104是音圈电动机，则该第一AF控制信号可以是控制脉冲。
驱动差补偿部112针对单独电动机的差进行补偿。电动机控制根据电动机而不同。因此，这些差被吸收(补偿)。在从第一AF控制部111获得(接收到)第一AF控制信号的情况下，驱动差补偿部112参照第二存储部113中包含的驱动差信息来获得针对第二镜头105的控制量。
图5是例示驱动差信息的图示。该驱动差信息可以是例如驱动差补偿表，该驱动差补偿表保持电动机驱动的控制量的值，以补偿电动机控制中的差，如图5所示。该驱动差信息例如将用于驱动第一镜头101的控制量与用于驱动第二镜头102的控制量相关，以便使第一镜头101与第二镜头102的焦距相等。在图5中，“第一控制量”(FIRST CONTROL AMOUNT)指示针对第一镜头101的控制量，并且“第二控制量”(SECOND CONTROL AMOUNT)指示针对第二镜头105的控制量。
驱动差补偿部112参照第二存储部113中包含的驱动差信息来获得(确定)与由第一AF控制信号指示的第一控制量对应的第二控制量。驱动差补偿部112向第二AF控制部116输出所获得的第二控制量。
视差补偿部114补偿第一镜头101与第二镜头105之间的视差。视差补偿部114从第一AF控制部111获得(接收)第一AF控制信号。接着，视差补偿部114参照第一存储部115中包含的视差信息来获得(确定)与由该第一AF控制信号指示的控制量对应的视差量。
图6是例示视差信息的图示。该视差信息可以是例如视差补偿表，该视差补偿表将第一镜头101和第二镜头105的视差量与用于驱动第一镜头101的控制量(第一控制量)相关，如图6所示。用于驱动第一镜头101从一位置(初始值)到第一镜头101聚焦的位置的控制量是与图像拍摄装置100和对象之间的距离对应的量。该视差信息是通过预先学习所确定的距离中的双目视差的值。该距离中的双目视差可以通过基于右光学系统和左光学系统与对象之间的间隔的三角测量(triangulation)来确定。
在图6所示的情况下，假设已经使右图像和左图像相对于彼此是水平的，并且在右图像与左图像之间没有沿垂直方向的偏移(垂直偏移)，以使得使用像素的数量来仅指示水平视差。如果存在垂直偏移，则针对这些图像的垂直偏移的校正可以被包括在该视差信息中。
视差补偿部114反映所获得的视差量，并检测第二检测位置。例如，视差补偿部114通过将该视差量加到所保持的第一检测位置的坐标来确定该第二检测位置。视差补偿部114将所检测到的第二检测位置输出到第二AF检测部117。
第二AF检测部117基于从第二传感器106获得(接收到)的图像数据来检测第二检测位置(第二检测点)处的高频集成数据。该集成数据被输出到第二AF控制部116。第二AF检测部117将从第二传感器106获得的图像数据输出到主CPU 108，作为例如针对左眼的图像数据(左眼图像数据)。
参照图7给出对第二AF控制部116的描述。图7是例示第二AF控制部116的配置的框图。参照图7，第二AF控制部116包括驱动控制部201。
驱动控制部201基于从驱动差补偿部112获得(接收到)的控制量来向第二驱动部107输出针对第二镜头105的初始聚焦的第二AF控制信号。在完成该初始聚焦时，驱动控制部201对从第二AF检测部获得(接收到)的集成数据执行操作，并确定第二镜头105的移动方向和移动的量。驱动控制部201向第二驱动部107输出所确定的移动方向和移动的量，作为第二AF控制信号。
也就是说，第二AF控制部116在初始聚焦时使用驱动差补偿部112的输出数据，并在第二聚焦和随后的聚焦控制中使用第二AF检测部117的输出数据。
这使得可以补偿单独的电动机的差以大致消除初始聚焦中的偏移，并且此后利用设置在各个光学系统中的相同对象上的检测位置来执行聚焦。因此，可以执行不太可能导致右图像数据与左图像数据之间的焦点失配的AF控制。
接着，给出对聚焦操作的特定示例的描述。图8是例示聚焦操作的特定示例的图示。在图8中，假设图像301是右图像，而图像302是左图像。这里，假设利用第一光学系统(包括例如第一镜头101和第一传感器102)来拍摄右图像301，并且利用第二光学系统(包括例如至少第二镜头105和第二传感器106)来拍摄左图像302。
参照图8，假设第一检测位置310的坐标是预先给定的，并且基于第一AF控制部111的AF控制来在右图像301的圆锥体部分中执行聚焦。此时由于第一驱动部104所导致的第一镜头101的移动的量与一距离(使得第一镜头101移动的距离)相对应。由于第一驱动部104所导致的移动的量(沿第一镜头101的移动的方向)与第一AF控制部111的控制量相对应。视差补偿部114从视差信息获得(读取)与该控制量对应的视差量t(位置偏移t)(图6)。
左图像302中的第二检测位置320可以通过将该偏移t加到右图像301中的第一检测位置310来确定。第二AF控制部116控制在这样确定的第二检测位置320处的聚焦，使得模糊的圆锥体变得清晰(bring into focus)。
接着，给出根据第一实施方式的图像拍摄装置100的操作的描述。
图9是例示根据第一实施方式的聚焦控制操作的流程图。参照图9，在步骤S201中，第一AF检测部110、第一AF控制部111等执行在通过第一镜头101拍摄到的图像数据的第一检测位置处的聚焦。该聚焦与图2所例示的操作相同。
在步骤S202中，驱动差补偿部112获得第一AF控制信号，并参照驱动差信息来获得针对第二镜头105的控制量。结果，确定用于驱动第二镜头105的初始控制量，使得执行初始聚焦。
在步骤S203中，视差补偿部114获得第一AF控制信号，并参照视差信息来获得视差量。视差补偿部114通过在第一检测位置中反映该视差量来检测第二检测位置。
在步骤S204中，第二AF检测部117、第二AF控制部116等执行在通过第二镜头105拍摄到的图像数据的第二检测位置处的聚焦。该聚焦与图2所例示的操作相同。
因而，根据第一实施方式，可以补偿单独的电动机的差，以大致消除初始聚焦中的偏移，并且此后利用设置在各个光学系统中的相同对象上的检测位置来执行聚焦。因此，可以执行不太可能导致右图像数据与左图像数据之间的焦点失配的AF控制。
[b]第二实施方式
接着，给出根据第二实施方式的图像拍摄装置400的描述。在第二实施方式中，在通过在第一检测位置中反映视差量来检测第二检测位置后，可以通过使用右图像数据和左图像数据执行块匹配来校正第二检测位置，以便更精确地确定该第二检测位置。
图10是例示根据第二实施方式的图像拍摄装置400的配置的框图。在图10所例示的配置中，用相同的标号来指示与图4所例示的配置中的元件相同的元件，并且省略对这些相同元件的描述。图10所例示的图像拍摄装置400与第一实施方式的图像拍摄装置100的不同之处在于信号处理部的配置。下面给出对图像拍摄装置400的信号处理部401的描述。
参照图10，信号处理部401包括第一AF检测部402、第一AF控制部111、驱动差补偿部112、第二存储部113、视差补偿部403、第一存储部115、第二AF控制部116和第二AF检测部404。
第一AF检测部402基于从第一传感器102获得(接收到)的图像数据来检测第一检测位置(第一检测点)处的高频集成数据。该集成数据被输出到第一AF控制部111。第一AF检测部402将从第一传感器102获得的图像数据输出到主CPU 108和视差补偿部403，作为例如针对右眼的图像数据(右眼图像数据)。此时，第一AF检测部402可以输出(在第一镜头101聚焦时或在第一镜头101聚焦后获得的)清晰的图像数据。
第二AF检测部404基于从第二传感器106获得(接收到)的图像数据来检测第二检测位置(第二检测点)处的高频集成数据。该集成数据被输出到第二AF控制部116。第二AF检测部404将从第二传感器106获得的图像数据输出到主CPU 108和视差补偿部403，作为例如针对左眼的图像数据(左眼图像数据)。
此时，第二AF检测部404可以向视差补偿部403输出初始聚焦后的图像数据，并向主CPU 108输出(在第二镜头105聚焦时或在第二镜头105聚焦后获得的)清晰的图像数据。向视差补偿部403输出初始聚焦后的图像数据的原因在于：可能不会适当地执行下面描述的匹配(匹配操作)，除非该图像数据对于特定程度的失焦模糊(out-of-focus blur)变清晰。因此，优选的是使用初始聚焦后的图像数据，在该初始聚焦中，对第一驱动部104与第二驱动部107之间的驱动的差进行了补偿。
参照图11给出对视差补偿部403的描述。图11是例示根据第二实施方式的视差补偿部403的配置的框图。参照图11，视差补偿部403包括第二检测位置检测部501、匹配部502和校正部503。
第二检测位置检测部501对第一镜头101和第二镜头105中的视差进行补偿。第二检测位置检测部501从第一AF控制部111获得(接收)第一AF控制信号。接着，第二检测位置检测部501参照第一存储部115中包含的视差信息来获得(读取)与由第一AF控制信号指示的控制量对应的视差量。该视差信息如图6所例示。
第二检测位置检测部501在第一检测位置中反映参照该视差信息所获得的视差量，并检测第二检测位置。例如，第二检测位置检测部501通过将该视差量加到第二检测位置检测部501保持的第一检测位置的坐标来确定该第二检测位置。第二检测位置检测部501向匹配部502和校正部503输出所检测到的第二检测位置。
匹配部502从第一AF检测部402获得(接收)第一图像数据并从第二AF检测部404获得(接收)第二图像数据。匹配部502对包括第一检测位置的预定区域和第二图像数据中的预定区域执行匹配(匹配操作)。第二图像数据中的预定区域可以是例如第二检测位置周围的预定区域。这使得可以降低该匹配操作的负荷。
运动图像专家组(MPEG)等的运动估计所采用的技术可以应用于该匹配操作。匹配部502向校正部503输出作为匹配结果的块之间的偏移(移动的量)。
校正部503利用从匹配部502获得(接收到)的匹配结果来对从第二检测位置检测部501获得(接收到)的第二检测位置进行校正。例如，校正部503移动该第二检测位置达该匹配结果所指示的块之间的偏移。校正部503向第二AF检测部404输出所校正的第二检测位置。
第二AF检测部404检测所校正的第二检测位置处的高频集成数据。在初始聚焦后执行该检测。第二AF检测部404向第二AF控制部116输出所检测到的数据。
通过使用第一图像数据和第二图像数据执行块匹配来这样校正第二检测位置，可以更精确地确定该第二检测位置。此外，通过使用初始聚焦后的图像数据作为第二图像数据，可以防止利用模糊的图像来执行该匹配操作。此外，通过利用第二检测位置周围的区域来执行块匹配，可以降低该匹配操作的负荷。
接着，给出根据第二实施方式的图像拍摄装置400的操作的描述。
图12是例示根据第二实施方式的聚焦控制操作的流程图。参照图12，在步骤S301中，第一AF检测部402、第一AF控制部111等在通过第一镜头101拍摄到的图像数据的第一检测位置(x0，y0)处执行聚焦。该聚焦与图2所例示的操作相同。
在步骤S302中，驱动差补偿部112获得由第一AF控制信号指示的控制量d0，并参照驱动差信息difTab(d)来设置(确定)针对第二镜头105的控制量d0′。这里，difTab(d)是使得能够利用第一控制量d作为参数来确定第二控制量的函数，如下表示图5所例示的关系：
d0′＝difTab(d0)                    (1)
结果，确定用于驱动第二镜头105的初始控制量d0′，使得执行初始聚焦。
在步骤S303中，视差补偿部403获得由第一AF控制信号指示的控制量d0，并参照视差信息PlxTab(d)来获得视差量(xoff，yoff)。在该情况下，沿垂直方向的视差量和沿水平方向的视差量(偏移的量)被设置在视差信息中。这里，PlxTab(d)是使得能够利用第一控制量d作为参数来确定该视差量的函数，如下表示图6所例示的关系：
(xoff，yoff)＝PlxTab(d0)             (2)
视差补偿部403通过在第一检测位置(x0，y0)中反映该视差量(xoff，yoff)来确定(检测)第二检测位置(x*，y*)，如下：
(x*，y*)＝(x0+xoff，y0+yoff)         (3)
在步骤S304中，视差补偿部403利用右图像数据和左图像数据这二者来执行与第二检测位置(x*，y*)周围的区域的匹配，并校正该第二检测位置(x*，y*)，如下：
(x′，y′)＝(x＊+x，y＊+y)，         (4)
其中(x，y)使下式最小化：
∑|Pl(x＊+x，y＊+y)-Pr(x0，y0)|，    (5)
其中Pl表示左图像数据，而Pr表示右图像数据。
在步骤S305中，第二AF检测部404、第二AF控制部116等在由视差补偿部403确定的所校正的第二检测位置(x*，y*)处执行聚焦。该聚焦与图2所例示的操作相同。
在步骤S304的后续处理中执行右图像和左图像的匹配时，步骤S302和S303的处理是有效的，并且可以防止利用完全失焦的图像来执行匹配。此外，这些处理还可以降低运算量并防止匹配误差。
因而，根据第二实施方式，通过使用第一图像数据和第二图像数据执行块匹配来校正第二检测位置，可以更精确地确定该第二检测位置。此外，通过使用初始聚焦后的图像数据作为该第二图像数据，可以防止利用模糊的图像来执行该匹配操作。此外，通过利用第二检测位置周围的区域来执行块匹配，可以降低该匹配操作的负荷。
此外，针对在特性方面不匹配的两个AF控制操作，可以首先在一个AF控制操作中执行聚焦，并且在执行另一个AF控制操作时，可以利用直到该一个AF控制操作中的聚焦的、驱动部的控制量来在该另一个AF控制操作中大致执行聚焦。此后，可以在该另一个AF控制操作中精确地执行聚焦。此时，在匹配处理中获得的校正的量可以反馈到视差信息，如图6所示，以反映在该视差信息中。
在第一实施方式和第二实施方式中，采用双镜头相机作为示例来给出了描述。但是以上公开还可以应用于具有三个或更多个相机(光学系统)的装置。
[c]第三实施方式
图13是例示根据第三实施方式的便携式终端装置600的配置的框图。参照图13，可以作为例如蜂窝电话的便携式终端装置600包括天线601、无线电部602、基带处理部603、控制部604、终端接口部605、相机部606和存储部607。
天线601发送由传输放大器放大的无线电信号，并从基站接收无线电信号。无线电部602对在基带处理部603中扩频的传输信号执行数字到模拟(D/A)转换，通过正交调制来将该D/A转换信号转换为高频信号，并利用功率放大器来放大该高频信号。无线电部602放大接收到的无线电信号，对所接收到的无线电信号执行模拟到数字(A/D)转换，并将该A/D转换信号发送到基带处理部603。
基带处理部603执行基带处理，该基带处理包括将纠错码加到传输数据、数据调制、扩频调制、接收到的信号的解扩频(de-spreading)、接收环境的确定、各个信道信号的阈值确定和纠错解码。
控制部604执行包括控制信号的发送和接收的无线电控制。终端接口部605针对手机(handset)与外部数据终端之间的数据和接口执行适配器操作。
相机部606可以对应于第一镜头101、第一传感器102、信号处理部103、第一驱动部104、第二镜头105、第二传感器106和第二驱动部107。相机部606还可以对应于第一镜头101、第一传感器102、信号处理部403、第一驱动部104、第二镜头105、第二传感器106和第二驱动部107。
包括例如ROM、RAM等的存储部607可以包含用于在第一实施方式和/或第二实施方式中实现上述聚焦控制操作的程序。控制部604读取并执行该程序以在第一实施方式和/或第二实施方式中实现上述聚焦控制操作。
此外，用于在第一实施方式和/或第二实施方式中实现上述聚焦控制操作的程序可以记录在记录介质中，该记录介质使得计算机能够在第一实施方式和/或第二实施方式中执行处理。
此外，上述聚焦控制操作可以通过使计算机或便携式终端装置读取记录了上述程序的记录介质来执行。该记录介质的示例可以在类别上变化，并且包括诸如CD-ROM、软盘和磁光盘的以光方式、电方式或磁方式记录信息的记录介质以及诸如ROM和闪存的以电方式记录信息的半导体存储器。此外，上述实施方式的信号处理部103和401中的每一个可以在一个或更多个半导体集成电路中实现。
上述实施方式可以应用于紧凑型数字相机、蜂窝电话和包括多个相机(光学系统)和信号处理部的装置。此外，上述实施方式的一些或全部元件可以被组合。
出于教学目的，本文陈述的所有示例和条件化语言旨在帮助读者理解本发明人为促进本领域而贡献的本发明和概念，并且应被视为不限于这些具体陈述的示例和条件，本说明书中的这些示例的组织也不涉及示出本发明的优劣性。尽管已经详细描述了本发明的实施方式，但是应当理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种变化、替代和改变。

Claims (6)

1.一种图像拍摄装置，该图像拍摄装置包括：
存储部，其包含视差信息，该视差信息具有与用于驱动第一镜头的第一控制量相关联的所述第一镜头与第二镜头的视差量；
第一聚焦控制部，其被配置为控制所述第一镜头的驱动，以使所述第一镜头聚焦在第一检测位置；
视差补偿部，其被配置为从所述视差信息获得如下的视差量：该视差量与所述第一聚焦控制部使所述第一镜头聚焦时的所述第一控制量对应，并且该视差补偿部被配置为检测通过在所述第一检测位置处反映所述视差量而获得的第二检测位置；以及
第二聚焦控制部，其被配置为控制所述第二镜头的驱动，以使所述第二镜头聚焦在由所述视差补偿部检测到的所述第二检测位置。
2.根据权利要求1所述的图像拍摄装置，其中，所述视差补偿部被配置为执行通过所述第一镜头拍摄到的第一图像与通过所述第二镜头拍摄到的第二图像的匹配，并被配置为基于所述匹配的结果来校正所述第二检测位置。
3.根据权利要求2所述的图像拍摄装置，该图像拍摄装置还包括：
附加存储部，其包含驱动差信息，该驱动差信息将用于驱动所述第一镜头的所述第一控制量与用于驱动所述第二镜头的第二控制量关联起来，以使所述第一镜头的焦距与所述第二镜头的焦距相等；以及
驱动差补偿部，其被配置为从所述驱动差信息获得如下的用于驱动所述第二镜头的所述第二控制量：该第二控制量与所述第一聚焦控制部使所述第一镜头聚焦时的所述第一控制量对应，
其中，所述第二聚焦控制部被配置为基于由所述驱动差补偿部获得的所述第二控制量来控制所述第二镜头的驱动，并且此后控制所述第二镜头的驱动，以使所述第二镜头聚焦在所述第二检测点。
4.根据权利要求3所述的图像拍摄装置，其中，在所述第二聚焦控制部基于由所述驱动差补偿部获得的所述第二控制量控制所述第二镜头的驱动后，通过所述第二镜头拍摄所述第二图像。
5.根据权利要求2至4中任一项所述的图像拍摄装置，其中，所述视差补偿部被配置为执行所述第一图像中的包括所述第一检测位置的区域与所述第二图像中的所述第二检测位置周围的区域之间的匹配。
6.一种图像拍摄控制方法，该图像拍摄控制方法包括以下步骤：
控制第一镜头的驱动，以使所述第一镜头聚焦在第一检测位置；
从视差信息获得视差量，所述视差信息具有与用于驱动所述第一镜头的第一控制量相关联的所述第一镜头与第二镜头的视差量，所述获得的视差量与使所述第一镜头聚焦时的所述第一控制量对应；
检测通过在所述第一检测位置处反映所述视差量而获得的第二检测位置；以及
控制所述第二镜头的驱动，以使所述第二镜头聚焦在所检测到的第二检测位置。
CN201110337856.4A 2010-12-22 2011-10-31 图像拍摄装置和图像拍摄控制方法 Expired - Fee Related CN102547332B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010286717A JP2012133232A (ja) 2010-12-22 2010-12-22 撮影装置及び撮影制御方法
JP2010-286717 2010-12-22

Publications (2)

Publication Number Publication Date
CN102547332A true CN102547332A (zh) 2012-07-04
CN102547332B CN102547332B (zh) 2014-12-17

Family

ID=46316202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110337856.4A Expired - Fee Related CN102547332B (zh) 2010-12-22 2011-10-31 图像拍摄装置和图像拍摄控制方法

Country Status (3)

Country Link
US (1) US20120162388A1 (zh)
JP (1) JP2012133232A (zh)
CN (1) CN102547332B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873849A (zh) * 2012-12-10 2014-06-18 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
CN109564382A (zh) * 2016-08-29 2019-04-02 株式会社日立制作所 拍摄装置以及拍摄方法
CN109963080A (zh) * 2019-03-26 2019-07-02 Oppo广东移动通信有限公司 图像采集方法、装置、电子设备和计算机存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012049848A1 (ja) * 2010-10-14 2012-04-19 パナソニック株式会社 ステレオ画像表示装置
US8760567B2 (en) * 2010-12-21 2014-06-24 Samsung Electronics Co., Ltd. Photographing apparatus and method to reduce auto-focus time
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
CN103856704B (zh) * 2012-11-29 2018-08-10 联想(北京)有限公司 一种移动终端3d拍摄的方法和装置
JP2014154907A (ja) * 2013-02-05 2014-08-25 Canon Inc 立体撮像装置
JP6083335B2 (ja) * 2013-06-26 2017-02-22 株式会社ソシオネクスト 撮像装置、選択方法、および選択プログラム
KR102349428B1 (ko) * 2015-08-12 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
CN108020200B (zh) * 2016-10-31 2020-02-28 杭州海康威视数字技术股份有限公司 一种深度测量方法及系统
KR102348504B1 (ko) * 2017-08-23 2022-01-10 삼성전자주식회사 복수 개의 카메라들 간의 시차를 감소시키는 방법 및 이를 지원하는 전자 장치
JP7312039B2 (ja) * 2019-06-26 2023-07-20 積水化学工業株式会社 溶接モニタ装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530514A (en) * 1994-07-19 1996-06-25 Eastman Kodak Company Direct focus feedback autofocus system
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
CN101155263A (zh) * 2006-09-27 2008-04-02 富士通株式会社 图像处理装置、方法和程序以及图像拾取装置
CN101387733A (zh) * 2007-09-11 2009-03-18 索尼株式会社 成像设备和准焦控制方法
CN101840146A (zh) * 2010-04-20 2010-09-22 夏佳梁 自动矫正视差的立体图像拍摄方法及装置
CN101884222A (zh) * 2007-12-20 2010-11-10 诺基亚公司 用于支持立体呈现的图像处理

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0641132B1 (en) * 1993-08-26 1999-04-14 Matsushita Electric Industrial Co., Ltd. Stereoscopic image pickup apparatus
JPH08242468A (ja) * 1995-03-01 1996-09-17 Olympus Optical Co Ltd 立体撮影装置
JP2001231055A (ja) * 2000-02-14 2001-08-24 Sony Corp 撮影装置及び撮影調整方法
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US20080117290A1 (en) * 2006-10-18 2008-05-22 Mgc Works, Inc. Apparatus, system and method for generating stereoscopic images and correcting for vertical parallax
CA2752691C (en) * 2009-02-27 2017-09-05 Laurence James Claydon Systems, apparatus and methods for subtitling for stereoscopic content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530514A (en) * 1994-07-19 1996-06-25 Eastman Kodak Company Direct focus feedback autofocus system
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
CN101155263A (zh) * 2006-09-27 2008-04-02 富士通株式会社 图像处理装置、方法和程序以及图像拾取装置
CN101387733A (zh) * 2007-09-11 2009-03-18 索尼株式会社 成像设备和准焦控制方法
CN101884222A (zh) * 2007-12-20 2010-11-10 诺基亚公司 用于支持立体呈现的图像处理
CN101840146A (zh) * 2010-04-20 2010-09-22 夏佳梁 自动矫正视差的立体图像拍摄方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873849A (zh) * 2012-12-10 2014-06-18 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
CN103873849B (zh) * 2012-12-10 2017-10-24 联发科技股份有限公司 多镜头取相装置的控制方法及控制装置
CN109564382A (zh) * 2016-08-29 2019-04-02 株式会社日立制作所 拍摄装置以及拍摄方法
CN109564382B (zh) * 2016-08-29 2021-03-23 株式会社日立制作所 拍摄装置以及拍摄方法
CN109963080A (zh) * 2019-03-26 2019-07-02 Oppo广东移动通信有限公司 图像采集方法、装置、电子设备和计算机存储介质
CN109963080B (zh) * 2019-03-26 2021-07-09 Oppo广东移动通信有限公司 图像采集方法、装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
CN102547332B (zh) 2014-12-17
US20120162388A1 (en) 2012-06-28
JP2012133232A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
CN102547332B (zh) 图像拍摄装置和图像拍摄控制方法
CN102611846B (zh) 摄像装置
CN102625904B (zh) 立体图像处理装置、立体图像处理方法及程序
CN104854496A (zh) 摄像装置、散焦量运算方法及摄像光学系统
CN104363379A (zh) 使用不同焦距摄像头拍照的方法和终端
JP2008026802A (ja) 撮像装置
JP5635584B2 (ja) 撮影機器、カメラシステム及びフォーカス制御のための情報を算出する方法
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN105190226A (zh) 图像判定装置、摄像装置、三维计量装置、图像判定方法以及程序
CN102387320B (zh) 光电转换装置、焦点检测装置和图像拾取系统
JP2008026789A (ja) 撮像装置及びフォーカス制御方法
JP2008070120A (ja) 距離計測装置
JP2013044844A (ja) 画像処理装置および画像処理方法
KR20110089021A (ko) 3차원 위치 정보 획득 장치 및 방법
JP2017215578A (ja) 焦点検出装置及びその制御方法
JP2014021328A (ja) 立体映像撮影システムに用いる光学装置
JP5867996B2 (ja) 焦点検出装置及びそれを有する撮像装置
US20130293768A1 (en) Imaging apparatus, imaging method, imaging program and computer readable information recording medium
US9402024B2 (en) Imaging device and image processing method
JP2012113204A (ja) 撮像装置
JP2019068117A (ja) 画像処理装置およびその制御方法、撮像装置
JPWO2015146229A1 (ja) 撮像装置及び合焦制御方法
US9363430B2 (en) Imaging device and image processing method
US9854153B2 (en) Imaging apparatus, and a method of controlling imaging apparatus using an imaging surface correction map for performing corrections
JP2009239460A (ja) 焦点制御方法、測距装置、撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141217

Termination date: 20151031

EXPY Termination of patent right or utility model