CN109073858A - 成像装置、成像模块以及成像装置的控制方法 - Google Patents

成像装置、成像模块以及成像装置的控制方法 Download PDF

Info

Publication number
CN109073858A
CN109073858A CN201780025851.3A CN201780025851A CN109073858A CN 109073858 A CN109073858 A CN 109073858A CN 201780025851 A CN201780025851 A CN 201780025851A CN 109073858 A CN109073858 A CN 109073858A
Authority
CN
China
Prior art keywords
main side
detection zone
focusing
image
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780025851.3A
Other languages
English (en)
Other versions
CN109073858B (zh
Inventor
齐藤启佑
赤羽健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN109073858A publication Critical patent/CN109073858A/zh
Application granted granted Critical
Publication of CN109073858B publication Critical patent/CN109073858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

在检测多个透镜中的每个透镜的焦点的成像装置中，焦点检测精度得到改善。主侧焦点控制部检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置。视差获取部通过基于主侧对焦位置寻找距离来获得与该距离成比例的视差。从侧检测区域设置部基于视差和主侧检测区域的位置在从侧图像中设置从侧检测区域的位置。从侧焦点控制部在从侧检测区域中检测从侧透镜的实现对焦的位置，以作为从侧对焦位置。

Description

成像装置、成像模块以及成像装置的控制方法
技术领域
本发明涉及成像装置、成像模块以及成像装置的控制方法。本发明尤其涉及用于检测多个透镜中每个透镜的对焦位置(in-focus position)的成像装置、成像模块和该成像装置的控制方法。
背景技术
通常，使用具有用于同时捕获多条图像数据的多个成像元件的复眼型成像装置。例如，已经提出了一种复眼型成像装置，该复眼型成像装置通过为右眼成像单元和左眼成像单元设置相同的成像参数来捕获图像(例如，参考专利文献1)。
引用列表
专利文献
专利文献1
日本专利特开2014-36363号公报
发明内容
技术问题
在上述相关技术中，通过设置相同的成像参数，成像装置能够在相同的成像条件下捕获两条图像数据。然而，如果通过使成像装置的成像单元中的一个成像单元的焦点区域对焦并且利用成像参数将该焦点区域设置为另一成像单元的焦点区域来执行对焦控制，则有可能使在成像单元中的一个成像单元内对焦的被摄体在另一成像单元中不对焦。其原因在于，如果由两个各自的成像单元捕获的图像之间的视差大，则会导致被摄体的呈现位置的与该视差成比例的未对准，使得被摄体不能适合焦点区域。因被摄体在成像单元中偏离焦点而使焦点检测精度降低，这导致了成像单元所捕获的图像数据的质量降低的问题。
鉴于这种情况设计了本发明，本发明的目的是提高检测多个透镜中的每个透镜的焦点的成像装置的焦点检测精度。
解决方案
为解决上述问题研发了本发明，并且本发明的第一方面是成像装置及其控制方法。成像装置包括主侧焦点控制部、视差获取部、从侧检测区域设置部以及从侧焦点控制部。主侧焦点控制部检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置。视差获取部通过基于主侧对焦位置寻找距离来获得与该距离成比例的视差。从侧检测区域设置部基于视差和主侧检测区域的位置在从侧图像中设置从侧检测区域的位置。从侧焦点控制部检测从侧透镜的在从侧检测区域中实现对焦的位置，以作为从侧对焦位置。这提供了如下动作：基于视差和主侧检测区域的位置设置从侧检测区域的位置。
另外，在该第一方面中，在从侧检测区域中的位于从侧图像数据的边界外部的区域的面积没有超过给定值的情况下，从侧焦点控制部可以检测从侧对焦位置。这提供了如下动作：在从侧检测区域中的位于从侧图像数据的边界外部的区域的面积等于或小于给定值的情况下检测从侧对焦位置。
另外，在该第一方面中，主侧透镜和从侧透镜可以具有不同的视角，并且基于主侧图像和从侧图像中的一者相对于另一者的放大率、视差和主侧检测区域位置，从侧检测区域设置部可以设置从侧检测区域的位置和尺寸。这提供了如下动作：基于放大率、视差和主侧检测区域位置来设置从侧检测区域的位置和尺寸。
另外，在该第一方面中，主侧搜索范围和从侧搜索范围是不同的，侧搜索范围是在其内通过驱动主侧透镜能够实现对焦的距离范围，从侧搜索范围是在其内通过驱动从侧透镜能够实现对焦的距离范围，并且在位于从侧图像数据的边界外部的区域的面积没有超过给定值且对应于主侧对焦位置的所述距离落入从侧搜索范围内的情况下，从侧焦点控制部检测从侧对焦位置。这提供了如下动作：在对应于主侧对焦位置的距离落入从侧搜索范围内的情况下，检测从侧对焦位置。
另外，在该第一方面中，成像装置可以包括主侧固态成像元件和从侧固态成像元件。主侧固态成像元件捕获主侧图像。从侧固态成像元件捕获从侧图像。当检测主侧对焦位置时，主侧固态成像元件可以捕获新的主侧图像，并且当检测从侧对焦位置时，从侧固态成像元件可以捕获新的从侧图像。这提供了如下动作：当检测主侧对焦位置时，捕获新的图像。
另外，在该第一方面中，主侧焦点控制部可以在主侧检测区域中检测主侧透镜的具有最高对比度的位置，以作为主侧对焦位置，并且从侧焦点控制部可以在从侧检测区域中检测从侧透镜的具有最高对比度的位置，以作为从侧对焦位置。这提供了如下动作：将具有最高对比度的透镜位置检测为对焦位置。
另外，在该第一方面中，主侧焦点控制部可以基于相位差检测主侧对焦位置，并且从侧焦点控制部可以基于相位差检测从侧对焦位置。这提供了如下动作：利用相位差自动对焦方法检测对焦位置。
此外，本发明的第二方面是成像模块，该成像模块包括主侧焦点控制部、视差获取部、从侧检测区域设置部、从侧焦点控制部以及图像输出部。主侧焦点控制部检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置。视差获取部通过基于主侧对焦位置寻找距离来获得与距离成比例的视差。从侧检测区域设置部基于视差和主侧检测区域的位置在从侧图像中设置从侧检测区域的位置。从侧焦点控制部检测从侧透镜的在从侧检测区域中实现对焦的位置，以作为从侧对焦位置。图像输出部输出通过处理至少主侧图像或者从侧图像获得的图像。这提供了如下动作：基于视差和主侧检测区域的位置设置从侧检测区域的位置，并且输出通过处理至少主侧图像或从侧图像获得的图像。
本发明的有益效果
本发明提供了提高检测多个透镜中的每个透镜的焦点的成像装置的焦点检测精度的优异效果。应当注意，这里所述的效果并非受到限制，且可以是本文所描述的效果中的任何一种效果。
附图说明
图1是示出本发明的第一实施例中成像装置的配置示例的框图；
图2是示出本发明的第一实施例中双透镜相机模块的外观配置示例的图；
图3是示出本发明的第一实施例中双透镜相机模块的配置示例的框图；
图4是示出本发明的第一实施例中主侧固态成像元件的配置示例的框图；
图5是示出本发明的第一实施例中从侧固态成像元件的配置示例的框图；
图6示出了本发明的第一实施例中主侧像素阵列部和从侧像素阵列部的平面图的示例；
图7是示出本发明的第一实施例中主侧透镜位置与主侧透镜的行程之间关系示例的曲线图；
图8是示出本发明的第一实施例中成像控制部的配置示例的框图；
图9是示出本发明的第一实施例中主侧透镜位置与距离以及从侧透镜位置与距离之间关系的曲线图；
图10是用于说明在本发明的第一实施例中距离远的情况下的视差的图；
图11是示出在本发明的第一实施例中距离远的情况下的主侧图像数据和从侧图像数据的示例的图；
图12是示出在本发明的第一实施例中距离远的情况下，对比度与主侧透镜位置以及对比度与从侧透镜位置之间关系示例的曲线图；
图13是用于说明在本发明的第一实施例中距离近的情况下的视差的图；
图14是示出在本发明的第一实施例中距离近的情况下的主侧图像数据和从侧图像数据的示例的图；
图15是示出在本发明的第一实施例中距离近的情况下，对比度与主侧透镜位置以及对比度与移动前的从侧透镜位置之间关系示例的曲线图；
图16是示出在本发明的第一实施例中发生移动的情况下，对比度与移动后的从侧透镜位置之间关系示例的曲线图；
图17是示出在本发明的第一实施例中从侧检测区域的一部分被推离图像数据的情况下，主侧图像数据与从侧图像数据的示例的图；
图18是示出本发明的第一实施例中成像装置的操作示例的流程图；
图19是示出本发明的第一实施例中的自动对焦(AF)过程的示例的流程图；
图20是示出本发明的第一实施例中的从侧检测区域设置过程的示例的流程图；
图21是示出本发明的第一实施例中的从侧自动对焦(AF)执行决定过程的示例的流程图；
图22是示出本发明的第二实施例中双透镜相机模块的配置示例的框图；
图23是示出在本发明的第二实施例中从侧检测区域保留在图像数据中的情况下，主侧图像数据和从侧图像数据的示例的图；
图24是示出在本发明的第二实施例中从侧检测区域的一部分被推离图像数据的情况下，主侧图像数据和从侧图像数据的示例的图；
图25是示出本发明的第二实施例中主侧搜索范围和从侧搜索范围的示例的图；
图26是示出本发明的第二实施例中的自动对焦(AF)过程的示例的流程图；
图27是示出本发明的第二实施例中的从侧检测区域设置过程的示例的流程图；
图28是示出本发明的第二实施例中的从侧自动对焦(AF)执行判定过程1的示例的流程图；
图29是示出本发明的第二实施例中的从侧自动对焦(AF)执行判定过程2的示例的流程图；
图30是示出车辆控制系统的示意性配置的示例的框图；
图31是辅助说明车辆外部信息检测部和成像部的安装位置的示例的图。
具体实施方式
下文将描述实施本发明的方式(在下文中被称为实施例)。将按以下顺序进行描述：
1.第一实施例(在本示例中，检测区域被设置在与视差成比例地移动的位置处)；
2.第二实施例(在本示例中，检测区域被设置在具有窄视角的图像数据中的与视差成比例地移动的位置处)；
3.应用到移动机构的示例。
1.第一实施例
成像装置的配置示例
图1是示出本发明的第一实施例的成像装置100的配置示例的框图。该成像装置100能够捕获图像数据，并且包括操作部110、双透镜相机模块200、记录部120和显示部130。具有成像功能的智能手机或个人电脑或者其他设备都可以作为成像装置100。
操作部110根据用户的操作来生成数据。当执行用于设置检测区域(用于检测对焦位置的区域)的位置的操作时，该操作部110生成操作信号，并通过信号线119将该信号提供至双透镜相机模块200。此时，例如，通过用户用手指触击显示部130来设置检测区域的位置。另外，当用户按下快门按钮时，操作部110生成用于指令图像数据记录的成像开始信号，并通过信号线119将该信号提供至双透镜相机模块200。应当注意，检测区域的设置并不限于通过用手指触击，例如，可以通过使用方向键和回车(Enter)按钮来设置检测区域。
双透镜相机模块200使用两个固态成像元件同时捕获两条图像数据。该双透镜相机模块200以给定频率(例如，30赫兹)生成与垂直同步信号同步的图像数据，并通过信号线209将该数据作为预览图像提供至显示部130。另外，双透镜相机模块200根据操作信号设置检测区域，并在检测区域中检测使被摄体处于对焦状态的透镜位置，以作为对焦位置。然后，一接收到成像开始信号，双透镜相机模块200就捕获图像数据，并通过信号线208将所捕获的图像数据作为待记录的图像提供至记录部120。应当注意，双透镜相机模块200是在权利要求书范围内所述的成像模块的示例。
记录部120记录待记录的图像。例如，使用闪存作为记录部120。
显示部130显示预览图像。例如，使用触控面板作为显示部130。
双透镜相机模块的配置示例
图2是示出本发明的第一实施例中的双透镜相机模块的外观配置示例的图。图中的a是双透镜相机模块200的立体图，且图中的b是双透镜相机模块200的前视图。
双透镜相机模块200是复眼型相机模块，并且包括单透镜相机模块201和单透镜相机模块202，单透镜相机模块201和单透镜相机模块202与矩形板形状的连接件203固定在一起。
单透镜相机模块201包括诸如互补金属氧化物半导体(CMOS)等固态成像元件、透镜单元等。
在单透镜相机模块201中，固态成像元件包括像素部、外围电路部等。像素部具有以二维方式布置的多个像素。外围电路部处理诸如像素的驱动和A/D(模拟/数字)转换之类的任务。在该固态成像元件中，从透镜单元的透镜进入的光(图像光)在像素部的光接收表面上形成图像，并且所形成的图像的光被转换为电流，从而生成图像信号。
与单透镜相机模块201一样，单透镜相机模块202包括CMOS图像传感器、透镜单元等。例如，双透镜相机模块200能够将单透镜相机模块201用作主相机，且将单透镜相机模块202用作从相机。
当透镜单元并排布置时，连接件203呈矩形板形状，其中，在平面方向上，矩形板形状具有比单透镜相机模块201的透镜单元和单透镜相机模块202的透镜单元的尺寸大的轮廓。另外，连接件203具有插入有单透镜相机模块201的透镜单元的矩形插孔部和插入有单透镜相机模块202的透镜单元的矩形插孔部。
在双透镜相机模块200中，单透镜相机模块201的透镜单元和单透镜相机模块202的透镜单元插入并紧固至以穿透连接件203的方式形成的两个矩形插孔部。因此，双透镜相机模块200被配置为具有单透镜相机模块201和单透镜相机模块202的复眼型相机模块。按如上所述配置双透镜相机模块200。
应当注意，单透镜相机模块201和单透镜相机模块202是通过连接件203连接的多个单透镜相机模块的示例，并且在不需要区分两者的情况下，在下文中将其称为单透镜相机模块201进行描述。
另外，单透镜相机模块是指包含单个固态成像元件(图像传感器)的相机模块。另一方面，双透镜相机模块是指通过连接两个单透镜相机模块而包含两个固态成像元件(图像传感器)的相机模块。然而，应当注意，模块也可以被称为诸如封装等其它名称。
图3是示出本发明的第一实施例中的双透镜相机模块200的配置示例的框图。该双透镜相机模块200包括成像透镜211和212、主侧驱动部221、从侧驱动部222、主侧固态成像元件230、从侧固态成像元件250、图像处理部270、成像控制部280和开关290。
图3中的成像透镜211、主侧驱动部221和主侧固态成像元件230设置在图2所示的单透镜相机模块201内。另一方面，成像透镜212、从侧驱动部222和从侧固态成像元件250设置在图2所示的单透镜相机模块202内。图像处理部270、成像控制部280和开关290可以仅设置在单透镜相机模块201或202内或者以分布的方式设置在单透镜相机模块201和202内。
成像透镜211汇聚来自被摄体的光，并将其引导至主侧固态成像元件230。例如，使用具有固定焦距的单焦点透镜作为成像透镜211。应当注意，成像透镜211是权利要求范围内所述的主侧透镜的示例。
成像透镜212汇聚来自被摄体的光，并将其引导至从侧固态成像元件250。例如，使用具有固定焦距的单焦点透镜作为成像透镜212。另外，成像透镜211和成像透镜212的视角彼此相同。应当注意，成像透镜212是权利要求范围内所述的从侧透镜的示例。
主侧驱动部221在成像控制部280的控制下沿着光轴方向驱动成像透镜211。例如，使用具有DAC(数模转换器)和致动器的电路作为主侧驱动部221。从侧驱动部222在成像控制部280的控制下沿着光轴方向驱动成像透镜212。
主侧固态成像元件230在成像控制部280的控制下捕获图像数据。该主侧固态成像元件230捕获具有像素数据(包括颜色信息)的彩色图像数据作为主侧图像数据，并将主侧图像数据提供至图像处理部270和成像控制部280。该主侧图像数据具有以拜耳模式排列的R(红)、G(绿)、B(蓝)像素数据，同时也被称为RAW图像数据。
从侧固态成像元件250在成像控制部280的控制下捕获图像数据。该从侧固态成像元件250捕获具有像素数据(不包括颜色信息)的单色图像数据作为从侧图像数据，并将从侧图像数据提供至图像处理部270和成像控制部280。另外，从侧图像数据的像素的总数可以与主侧图像数据的像素的总数相同，也可以不相同。
图像处理部270对主侧图像数据和从侧图像数据执行给定的图像处理。在未输入成像开始信号的情况下，该图像处理部270对主侧图像数据执行图像拼接(mosaicing)处理或者其他处理，并将该数据作为预览图像提供至开关290。
另外，当输入成像开始信号时，图像处理部270组合主侧图像数据和从侧图像数据，并将该数据作为待记录的图像提供至开关290。拜耳模式的主侧图像数据需要通过去马赛克(demosaicing)处理来进行内插。作为该处理的结果，G分辨率减少至像素总数的一半，且R和B分辨率减少至像素总数的四分之一。另一方面，从侧图像数据不需要进行去马赛克处理，从而提供比去马赛克处理后的主侧图像数据更高的分辨率。因此，能够通过合成从侧图像数据来补偿主侧图像数据中缺少的像素信息，从而提供比未合成数据时具有更高质量的合成图像数据。应当注意，除了去马赛克处理和合成处理外，图像处理部270还能够根据需要执行白平衡校正、面部识别处理和其他图像处理。
成像控制部280控制双透镜相机模块200的成像操作。该成像控制部280在由操作信号设置的位置处设置给定尺寸的矩形区域，以作为主侧图像数据中的主侧检测区域。然后，根据主侧检测区域的对比度，成像控制部280检测成像透镜211的实现对焦的位置，以作为主侧对焦位置。随后，成像控制部280将表明光轴上的透镜位置的数字值提供至主侧驱动部221，从而使成像透镜211被驱动至主侧对焦位置。
另外，成像控制部280基于主侧对焦位置寻找距被摄体的距离，并获取与该距离成比例的视差。然后，根据视差和主侧检测区域的位置，成像控制部280设置给定尺寸的矩形区域，以作为从侧图像数据中的从侧检测区域。假设该从侧检测区域的尺寸与主侧检测区域的尺寸相同。根据从侧检测区域的对比度，成像控制部280检测成像透镜212的实现对焦的位置，以作为从侧对焦位置。然后，成像控制部280将表明光轴上的透镜位置的数字值提供至从侧驱动部222，从而使成像透镜212被驱动至从侧对焦位置。
开关290根据成像开始信号切换图像数据的输出目的地。在未输入成像开始信号的情况下，开关290将来自图像处理部270的预览图像输出至显示部130。另一方面，在输入成像开始信号的情况下，开关290将来自图像处理部270的待记录的图像输出至记录部120。应当注意，开关290是权利要求范围内所述的输出部的示例。
另外，成像控制部280对主侧固态成像元件230和从侧固态成像元件250设置诸如曝光时间和增益等曝光参数。
主侧固态成像元件的配置示例
图4是示出本发明的第一实施例中的主侧固态成像元件230的配置示例的框图。该主侧固态成像元件230包括驱动器231、主侧像素阵列部240、模拟信号放大部232、AD(模拟至数字)转换部233和数字信号放大部234。
驱动器231扫描主侧像素阵列部240。曝光时间和与垂直同步信号同步的时序信号被输入至该驱动器231。驱动器231依次选择主侧像素阵列部240中的行，并使这些行在曝光时间内曝光。
主侧像素阵列部240具有以拜耳模式排列的R、G、B像素。R、G、B像素中的每个像素生成模拟像素信号，并在驱动器231的控制下将其提供至模拟信号放大部232。
模拟信号放大部232放大像素信号。将模拟增益输入至该模拟信号放大部232。模拟信号放大部232按模拟增益放大来自主侧像素阵列部240的像素信号，并将像素信号提供至AD转换部233。
AD转换部233将模拟像素信号中的每个信号转换为数字像素数据。该AD转换部233将每条像素数据提供至数字信号放大部234。
数字信号放大部234放大像素数据。将数字增益输入至该数字信号放大部234。数字信号放大部234按数字增益放大像素数据，并将像素数据提供至图像处理部270和成像控制部280。
从侧固态成像元件的配置示例
图5是示出本发明的第一实施例中的从侧固态成像元件250的配置示例的框图。该从侧固态成像元件250包括驱动器251、从侧像素阵列部260、模拟信号放大部252、AD转换部253和数字信号放大部254。
驱动器251具有与主侧驱动器231相似的配置。从侧像素阵列部260具有以二维晶格形式布置的多个像素。模拟信号放大部252具有与主侧模拟信号放大部232相似的配置。数字信号放大部254具有与主侧数字信号放大部234相似的配置。
像素阵列部的配置示例
图6是示出本发明的第一实施例中的主侧像素阵列部240和从侧像素阵列部260的平面图的示例。图中的a是主侧像素阵列部240的平面图的示例，且图中的b是从侧像素阵列部260的平面图的示例。
主侧像素阵列部240具有以拜耳模式按二维晶格形式布置的给定数量的R像素241、G像素242和B像素243。主侧像素阵列部240的像素总数可以与从侧像素阵列部260的像素总数相同，也可以不同。R像素241具有可以通过红光的滤色器，且G像素242具有可以通过绿光的滤色器。B像素243具有可以通过蓝光的滤色器。
另一方面，从侧像素阵列部260具有以二维晶格形式布置的多个像素261。这里，每个像素261都不具有滤色器。因此，从侧像素阵列部260捕获不包括颜色信息的单色图像数据。
图7是示出本发明的第一实施例中的主侧透镜位置与主侧透镜的行程之间的关系的示例的曲线图。图中的纵轴表示在主侧驱动部221中的DAC上设置的数字值，该数字值是表示主侧透镜位置的值。另外，图中的横轴表示由主侧驱动部221中的致动器驱动的成像透镜211的从给定位置开始的行程。如图所示，该数字值与透镜行程之间的关系由以下表达式表示：
L＝C×D+L0 表达式1
在上述表达式中，L是表示主侧透镜位置的数字值。C是斜率，且L0是截距。D是主侧透镜的行程，例如，其单位是毫米(mm)。
成像控制部的配置示例
图8是示出本发明的第一实施例中的成像控制部280的配置示例的框图。该成像控制部280包括主侧焦点控制部281、视差获取部282、从侧检测区域设置部283、曝光控制部284、主侧检测区域设置部285和从侧焦点控制部286。
主侧检测区域设置部285根据操作信号设置主侧检测区域。例如，使用用于解释操作信号并将其转换为图像中的位置坐标的解码器作为主侧检测区域设置部285。主侧检测区域设置部285将所设置的位置提供至主侧焦点控制部281和从侧检测区域设置部283。
主侧焦点控制部281检测成像透镜211的在主侧检测区域中实现对焦的位置，以作为主侧对焦位置。该主侧焦点控制部281逐渐改变成像透镜211的透镜位置，参照每次改变时主侧图像数据中的主侧检测区域的对比度，并搜索成像透镜211的具有最高对比度的位置。这种焦点控制方法通常被称为对比度自动对焦(AF)方法。在搜索中，主侧焦点控制部281将待驱动的主侧透镜的该位置提供至主侧驱动部221。
接着，主侧焦点控制部281将搜索到的位置(即，主侧对焦位置)提供至视差获取部282和从侧焦点控制部286。
视差获取部282基于主侧对焦位置寻找距离，并获得与该距离成比例的视差。视差获取部282将取得的视差提供至从侧检测区域设置部283。
从侧检测区域设置部283基于视差和主侧检测区域的位置在从侧图像数据中设置从侧检测区域的位置。例如，该从侧检测区域设置部283将视差转换为像素单位值，按该值移动主侧检测区域的位置，并将移动后的位置设置为从侧检测区域的位置。接着，从侧检测区域设置部283通过使用以下表达式来计算外边界区域面积比P：
P＝Aout/Asub
在上述表达式中，Aout是从侧检测区域中的由于移动而被推离出从侧图像数据边界的区域的面积。Asub是从侧检测区域整体的面积，并且设置为具有与主侧检测区域相同的值。
从侧检测区域设置部283将从侧检测区域的位置和外边界区域面积比P提供至从侧焦点控制部286。
从侧焦点控制部286检测成像透镜212的在从侧检测区域中实现对焦的位置，以作为从侧对焦位置。从侧焦点控制部286判定外边界区域面积比P是否等于或小于给定值。在外边界区域面积比P大于给定值的情况下，也就是说，在外边界区域面积大的情况下，要进行对焦的被摄体的大部分位于边界外。这使得几乎不需要进行焦点检测。因此，在外边界区域面积比P等于或小于给定值的情况下，从侧焦点控制部286使用对比度自动对焦方法检测从侧对焦位置，并将成像透镜212驱动至该位置。
曝光控制部284设置诸如曝光时间和增益等曝光参数。该曝光控制部284寻找主侧图像数据和从侧图像数据的亮度，基于该亮度确定曝光参数，并将该参数提供至主侧固态成像元件230和从侧固态成像元件250。
应当注意，成像控制部280通过对比度自动对焦方法检测焦点，成像控制部280也可以通过相位差自动对焦方法代替对比度自动对焦方法来检测焦点，其中，相位差自动对焦方法基于通过瞳孔划分所得的两个图像之间的相位差寻找对焦位置。相位差自动对焦方法可以是在图像平面上设置相位差像素的图像平面相位差自动对焦方法，或者是在固态成像元件外部设置线传感器的方法。例如，在图像平面相位差自动对焦方法中，针对主侧固态成像元件230和从侧固态成像元件250设置每个相位差像素。于是，成像控制部280检测来自这些相位差像素的像素数据的相位差，寻找与相位差成比例的透镜位置以作为对焦位置，并将透镜驱动至该位置。
图9是示出本发明的第一实施例中的主侧透镜位置与距离以及从侧透镜位置与距离之间的关系的曲线图。图中的a是示出主侧透镜位置与距离之间的关系示例的曲线图。图中的a的纵轴是表示实现对焦的主侧透镜位置的数字值，且横轴是距处于对焦状态的被摄体的距离。图中的b是示出从侧透镜位置与距离之间的关系的示例的曲线图。图中的b的纵轴是表示实现对焦的从侧透镜位置的数字值，且横轴是距处于对焦状态的被摄体的距离。
如图9所示，由于主侧与从侧之间的光学性能差异且由于产品差异，表示主侧透镜位置与距离之间的关系的曲线和表示从侧透镜位置与距离之间的关系的曲线是不同的。例如，对于每件产品，用于调整其关系表达式的调整值被保存在寄存器或其他装置中。成像控制部280使用调整值来调整关系表达式，从而寻找与主侧对焦位置相对应的距离。
图10是用于说明本发明的第一实施例中的在距离远的情况下的视差的图。基线(baseline)长度sd表示成像透镜211和212之间的距离，且透镜至传感器距离b表示透镜(成像透镜211或212)与固态成像元件(主侧固态成像元件230或从侧固态成像元件250)之间的距离。另外，被摄体距离a表示距被摄体的距离。这里，在f表示透镜焦距的情况下，获得以下表达式：
1/f＝(1/a)+(1/b) 表达式2
上述表达式通常被称为透镜公式。
通过表达式2的变形，获得以下表达式：
a＝f2/(b-f)+f 表达式3
在上述表达式中，(b-f)对应于透镜行程。
成像控制部280将表示主侧对焦位置的数字值代入表达式1中，计算主侧透镜行程，将该行程代入表达式3的(b-f)中，并计算被摄体距离a。
另外，在被摄体700、主侧固态成像元件230的图像形成点704以及从侧固态成像元件250的图像形成点702处具有顶点的三角形与在主点701、从侧固态成像元件250的图像形成点702和成像透镜212的图像形成点703处具有顶点的三角形相似。这里，点703是从主点701绘制的垂线与图像平面之间的交点。基于相似关系，以下表达式成立：
(a+b):(pd+sd)＝b:pd 表达式4
由于已知基线长度sd和透镜至传感器距离b，所以曝光控制部284能够利用表达式4根据被摄体距离a计算视差pd。上述图9的曲线是通过使用调整值对根据表达式1至4得到的曲线进行调整所得到的。
图11是示出本发明的第一实施例中的在距离远的情况下的主侧图像数据和从侧图像数据的示例的图。图中的a是主侧图像数据的示例，且图中的b是从侧图像数据的示例。
当用户指定主侧图像数据510中的某一位置时，双透镜相机模块200将以该位置为中心的矩形区域设置为主侧检测区域511。
然后，双透镜相机模块200检测主侧对焦位置并利用表达式1至4根据主侧对焦位置计算距离。之后，双透镜相机模块200以像素为单位将视差转换为移动量，并在从侧图像数据520中设置以相对于主侧检测区域511的位置偏移的位置为中心的从侧检测区域521。如图11所示，在距离远的情况下，视差相对小，从而导致小的移动量。
图12是示出本发明的第一实施例中的在距离远的情况下对比度与主侧透镜位置以及对比度与从侧透镜位置之间的关系的示例的曲线图。图中的a是示出对比度与主侧透镜位置之间的关系的曲线图。图中a的纵轴是对比度，且横轴是主侧透镜位置。图中的b是示出对比度与从侧透镜位置之间的关系的曲线图。图中b的纵轴是对比度，且横轴是从侧透镜位置。
双透镜相机模块200将具有最高对比度的主侧透镜位置检测为主对焦位置Pm，并将具有最高对比度的从侧透镜位置检测为从对焦位置Ps。
图13是用于说明本发明的第一实施例中的在距离近的情况下的视差的图。如图所示，在距离近的情况下，视差pd相对大。
图14是示出本发明的第一实施例中的在距离近的情况下的主侧图像数据和从侧图像数据的示例的图。图中的a是主侧图像数据的示例，且图中的b是从侧图像数据的示例。
当用户指定主侧图像数据530中的某一位置时，双透镜相机模块200将以该位置为中心的矩形区域设置为主侧检测区域531。
接着，双透镜相机模块200计算与视差成比例的移动量，并在从侧图像数据540中设置以相对于主侧检测区域531的位置偏移的位置为中心的从侧检测区域541。如图14所示，在距离近的情况下，视差相对大，从而导致大的移动量。
应当注意，尽管双透镜相机模块200根据主侧对焦位置计算视差，但在技术上，能够通过利用图14所示的两条图像数据的图像处理来计算视差。然而，应当注意，该方法涉及极大量的计算。例如，已知的方法针对两条图像数据中的每条图像数据提取特征点，将这些特征点彼此关联，并寻找相应点之间的差异以作为视差。然而，该方法需要处理整个图像数据。为此，图像数据分辨率越高，计算量就越大。相比之下，根据主侧对焦位置计算视差的双透镜相机模块200根据诸如表达式1至4等简单表达式来计算视差，从而有助于减少计算量。
图15是示出本发明的第一实施例中的在距离近的情况下对比度与主侧透镜位置以及对比度与移动前的从侧透镜位置之间的关系的示例的曲线图。图中的a是示出对比度与主侧透镜位置之间的关系的曲线图。图中a的纵轴是对比度，且横轴是主侧透镜位置。图中的b是示出在从侧相对于主侧没有移动的对照示例中对比度与从侧透镜位置之间关系的曲线图。图中b的纵轴是对比度，且横轴是从侧透镜位置。
在视差大的情况下，如果在不相对于主侧移动从侧的情况下设置从侧检测区域，则在主侧对焦的被摄体可能不适合从侧检测区域。因此，如图15所示，对比度和从侧的透镜位置之间的关系显著不同于对比度和主侧的透镜位置之间的关系。因此，在主侧通过双透镜相机模块200对焦的被摄体不能在从侧对焦。
图16是示出本发明的第一实施例中的在发生移动的情况下对比度与移动后的从侧透镜位置之间的关系的示例的曲线图。由于发生与视差成比例的移动，在主侧对焦的被摄体适合从侧检测区域，使得对比度与从侧的透镜位置之间的关系接近于对比度与主侧的透镜位置之间的关系。这使得双透镜相机模块200能够使在主侧对焦的被摄体在从侧也对焦。
图17是示出本发明的第一实施例中的在从侧检测区域的一部分被推离图像数据的情况下主侧图像数据与从侧图像数据的示例的图。图中的a是主侧图像数据的示例，且图中的b是从侧图像数据的示例。
在主侧图像数据550中，假设将主侧检测区域551设置在靠近左边缘或右边缘的位置处。在这种情况下，在从侧图像数据560中，如果从侧检测区域561设置在相对于主侧移动的位置处，则从侧检测区域561的一部分可能如图17中的b所示被推离出从侧图像数据的边界。如果被推离出边界的区域很大，则待对焦的被摄体的大部分被推离出边界，从而几乎不需要进行焦点检测。
为此，在外边界区域面积比P大于给定值的情况下，双透镜相机模块200不检测从侧对焦位置。在对比度自动对焦方法中，需要在搜索对焦位置的同时改变透镜位置。因此，与相位差自动对焦方法相比，该方法通常需要更长的时间来寻找焦点。如上所述，由于双透镜相机模块200不执行不必要的焦点检测，所以能够减少捕获待记录的图像之前所花费的时间。
成像装置的操作示例
图18是示出本发明的第一实施例中的成像装置100的操作示例的流程图。当在成像装置100中执行用于捕获图像的应用程序时，启动该操作。成像装置100判定用户是否已经指定了检测区域位置(步骤S901)。在还未指定检测区域位置(步骤S901中的否)的情况下，成像装置100重复步骤S901。
另一方面，在已经指定了检测区域位置(步骤S901中的是)的情况下，成像装置100执行用于检测焦点的自动对焦过程(步骤S910)。此外，成像装置100确定用户是否已经执行成像操作以捕获待记录的图像(步骤S902)。在还未执行成像操作(步骤S902中的否)的情况下，成像装置100重复步骤S902和后续步骤。
另一方面，在已经执行成像操作(步骤S902中的是)的情况下，成像装置100捕获主图像数据和从图像数据(步骤S903)。成像装置100通过执行包括合成这些条图像数据的过程的图像处理生成待记录的图像(步骤S904)。在步骤S904之后，成像装置100结束用于捕获图像的操作。
应当注意，尽管在自动对焦过程(步骤S910)之后，成像装置100在执行成像操作时捕获图像，但也可以在即使没有执行成像操作的情况下，在自动对焦过程之后立即捕获图像。
图19是示出本发明的第一实施例中的自动对焦(AF)过程的示例的流程图。成像控制部280通过对比度自动对焦方法(步骤S911)来搜索主侧对焦位置。
成像控制部280使主侧透镜被驱动至主侧对焦位置(步骤S912)。成像控制部280利用表达式1和3根据主侧对焦位置计算被摄体距离(步骤S913)。另外，基于图9中的b所示的被摄体距离与从侧透镜位置之间的关系，成像控制部280使从侧成像透镜212被驱动至对应被摄体距离的位置。这使得从侧透镜跟随着主侧(步骤S914)。
之后，成像控制部280执行用于设置从侧检测区域的从侧检测区域设置过程(步骤S950)，并执行用于判定是否在从侧执行焦点检测的从侧自动对焦执行判定过程(步骤S960)。
成像控制部280判定从侧自动对焦执行标记是否为开(步骤S915)。这里，从侧自动对焦执行标记是表示关于是否在从侧执行焦点检测的判断结果的标记，并且在执行焦点检测的情况下被设置为开，且在不执行焦点检测的情况下被设置为关。
在从侧自动对焦执行标记为开(步骤S915中的是)的情况下，成像控制部280以限制的方式设置从侧搜索范围，并通过对比度自动对焦方法搜索从侧对焦位置(步骤S916)。接着，成像控制部280使从侧透镜被驱动至该位置(步骤S917)。
另一方面，在从侧自动对焦执行标记为关(步骤S915中的否)的情况下，或者在步骤S917之后，成像控制部280结束自动对焦过程。
图20是示出本发明的第一实施例中的从侧检测区域设置过程的示例的流程图。成像控制部280利用表达式1和3根据主侧对焦位置计算距离(步骤S951)。接着，成像控制部280利用表达式4根据该距离计算视差，并将其转换为移动量(步骤S952)。之后，成像控制部280通过将从侧移动相对于主侧位置的移动量(步骤S954)来设置从侧检测区域。另外，成像控制部280计算外边界区域面积比(步骤S955)，并结束从侧检测区域设置过程。
图21是示出本发明的第一实施例中的从侧自动对焦执行判定过程的示例的流程图。成像控制部280判定外边界区域面积比是否等于或小于给定的公差(步骤S961)。在外边界区域面积比等于或小于给定的公差(步骤S961中的是)的情况下，成像控制部280使从侧自动对焦执行标记变为开(步骤S963)。
另一方面，在外边界区域面积比大于给定的公差(步骤S961中的否)的情况下，成像控制部280使从侧自动对焦执行标记变为关(步骤S964)。在步骤S963或步骤S964之后，成像控制部280结束从侧自动对焦执行判定过程。
因此，本发明的第一实施例在利用根据主侧对焦位置寻找的视差使主侧位置移动后的位置处设置从侧检测区域，使得已在主侧对焦的被摄体也能够在从侧对焦。
2.第二实施例
在第一实施例中，通过使用具有相同视角的成像透镜211和212捕获具有相同变焦放大率(zoom magnification)的两条图像数据。因此，难以在不降低图像质量的情况下改变变焦放大率。尽管可以通过增加变焦透镜来光学地改变变焦放大率，但这导致双透镜相机模块200的尺寸变大，使得双透镜相机模块200可能不适合于诸如智能手机等紧凑设备。另外，尽管能够使用电子变焦作为替代方法，但这会导致图像质量的下降。为此，在第二实施例中，设置有两个具有不同视角的成像透镜，并且能够从一个透镜切换到另一个透镜，从而在保持图像质量的同时改变了变焦放大率。该第二实施例中的双透镜相机模块200与第一实施例的不同之处在于，设置有两个具有不同视角的成像透镜。
图22是示出本发明的第二实施例中的双透镜相机模块200的配置示例的框图。第二实施例中的双透镜相机模块200与第一实施例的不同之处在于，其包括广角透镜213和长焦透镜214以代替成像透镜211和212。另外，双透镜相机模块200与第一实施例中的不同之处在于，其包括从侧固态成像元件255以代替从侧固态成像元件250。
广角透镜213是具有比长焦透镜214宽的视角的单焦透镜。该广角透镜213汇聚光，并将其引导至主侧固态成像元件230。应当注意，广角透镜213是在权利要求范围内所述的主侧透镜的示例。
长焦透镜214是具有比广角透镜213窄的视角的单焦透镜。该长焦透镜214汇聚光，并将其引导至从侧固态成像元件255。应当注意，长焦透镜214是在权利要求范围内所述的从侧透镜的示例。
另外，第二实施例中的从侧固态成像元件255如同主侧一样具有滤色器。
当用户执行将变焦放大率增加到给定值Th1或更大值的操作时，根据第二实施例的图像处理部270选择并输出长焦侧的从侧图像数据，而不对其合成。并且，当用户执行将变焦放大率减小至给定值Th2或更小值的操作时，图像处理部270选择并输出广角侧的主侧图像数据。当用户执行操作使变焦放大率落在给定值Th1和Th2之间时，图像处理部270合成广角侧的主侧图像数据和长焦侧的从侧图像数据，从而生成与变焦放大率成比例的图像。
图23是示出在本发明的第二实施例中的从侧检测区域保留在图像数据内的情况下主侧图像数据和从侧图像数据的示例的图。图中的a是主侧图像数据的示例，且图中的b是从侧图像数据的示例。
当用户指定主侧图像数据570中的由虚线包围的区域572内的一个位置时，双透镜相机模块200在该位置处设置主侧检测区域571。该区域572是与从侧图像数据的视角相对应的区域。
接着，在从侧图像数据580中，双透镜相机模块200在将主侧检测区域571移动相应移动量后的位置处设置从侧检测区域581。
此时，从侧视角与主侧视角不同。因此，基于主侧视角和从侧视角中的每者设置从侧检测区域581的尺寸和移动量。如前所述，从侧具有比主侧窄的视角。因此，被摄体在从侧被放大，并且其放大率由主侧视角和从侧视角确定。用m(其中m是实数)来表示从侧图像数据相对于主侧图像数据的放大率，将从侧检测区域的尺寸设为主侧检测区域的尺寸的m倍。并且，将移动量设为视差pd的转换值的m倍。
图24是示出本发明的第二实施例中的在从侧检测区域的一部分被推离图像数据的情况下主侧图像数据和从侧图像数据的示例的图。图中的a是主侧图像数据的示例，且图中的b是从侧图像数据的示例。
在主侧图像数据590中，假设将主侧检测区域591设置在靠近于与从侧图像数据相对应的区域592的边缘部分的位置处。在这种情况下，在从侧图像数据600中，如果将具有m倍大的尺寸的从侧检测区域601设置在主侧位置移动后的位置处，则如图24中的b所示，从侧检测区域601的一部分被推离出从侧图像数据的边界。如果被推离出边界的区域大于固定的区域，则几乎不需要进行焦点检测。因此，双透镜相机模块200不检测从侧对焦位置。这使得能够省略不必要的焦点检测过程，有助于减少在记录待记录的图像之前的时间。
图25是示出本发明的第二实施例中的主侧搜索范围和从侧搜索范围的示例的图。这里，主侧搜索范围是如下的距离范围，在该距离范围内，主侧广角透镜213能够被驱动以实现对焦。并且，从侧搜索范围是如下的距离范围，在该距离范围内，从侧广角透镜214能够被驱动以实现对焦。主侧光学器件和从侧光学器件具有不同的光学特性。因此，即使在相同的驱动范围内驱动透镜，搜索范围也不一定匹配。例如，从侧搜索范围比主侧搜索范围窄。因此，对应于主侧对焦位置的距离可能未落入从侧搜索范围内。由于从侧对焦位置似乎与主侧对焦位置没有明显差异，因此在这种情况下，可能不会在从侧检测到焦点。为此，在与主侧对焦位置相对应的距离落在从侧搜索范围外的情况下，成像控制部280不检测从侧对焦位置。
图26是示出本发明的第二实施例中的自动对焦过程的示例的流程图。成像控制部280执行从S911至S914的步骤，并执行从侧自动对焦执行判定过程1(步骤S960)。接着，成像控制部280判定从侧自动对焦执行标记是否为开(步骤S921)。
在从侧自动对焦执行标记为开(步骤S921中的是)的情况下，成像控制部280执行从侧检测区域设置过程(步骤S950)，并执行从侧执行判定过程2(步骤S970)。之后，成像控制部280确定从侧自动对焦执行标记是否为开(步骤S915)。
在从侧自动对焦执行标记为开(步骤S915中的是)的情况下，成像控制部280执行步骤S916和后续步骤。
在步骤S921中的从侧自动对焦执行标记为关(步骤S921中的否)的情况下，或者在步骤S915中的从侧自动对焦执行标记为关(步骤S915中的否)的情况下，或者在步骤S917之后，成像控制部280结束自动对焦过程。
图27是示出本发明的第二实施例中的从侧检测区域设置过程的示例的流程图。第二实施例中的从侧检测区域设置过程与第一实施例中的不同之处在于，进一步执行步骤S953。
在步骤S951和步骤S952之后，成像控制部280利用放大率m来调整从侧检测区域的尺寸和移动量(步骤S953)。之后，成像控制部280执行步骤S954和后续步骤。
图28是示出本发明的第二实施例中的从侧自动对焦执行判定过程1的示例的流程图。第二实施例中的从侧自动对焦执行判定过程与第一实施例中的不同之处在于，执行代替步骤S961的步骤S962。
成像控制部280确定对应于主侧对焦位置的距离是否落入从侧搜索范围内(步骤S962)。在对应于主侧对焦位置的距离落入从侧搜索范围内(步骤S962中的是)的情况下，成像控制部280使从侧自动对焦执行标记变为开(步骤S963)。
另一方面，在对应的距离落在从侧搜索范围外(步骤S962中的否)的情况下，成像控制部280使从侧自动对焦执行标记变为关(步骤S964)。
图29是示出本发明的第二实施例中的从侧自动对焦执行判定过程2的示例的流程图。成像控制部280确定外边界区域面积比是否等于或小于给定的公差(步骤S971)。在外边界区域面积比等于或小于给定的公差(步骤S971中的是)的情况下，成像控制部280使从侧自动对焦执行标记变为开(步骤S972)。
另一方面，在外边界区域面积比大于给定的公差(步骤S971中的否)的情况下，成像控制部280使从侧自动对焦执行标记变为关(步骤S973)。在步骤S972或步骤S973之后，成像控制部280结束从侧自动对焦执行判定过程。
因此，本发明的第二实施例利用广角透镜213和长焦透镜214捕获主侧图像数据和从侧图像数据，并在它们之间切换，从而使得能够在保持图像质量的同时改变变焦放大率。
3.应用到移动机构的示例
根据本发明的技术(本技术)能够应用于各种产品。例如，根据本发明的技术可以实现为包含在以下任何类型的移动机构中的装置：汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、轮船、机器人等。
图30是示出车辆控制系统(作为应用有根据本发明的实施例的技术的移动机构控制系统的示例)的示意性配置的示例的框图。
车辆控制系统12000包括通过通信网络12001彼此连接的多个电子控制单元。在图30所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车辆外部信息检测单元12030、车辆内部信息检测单元12040以及集成控制单元12050。另外，示出微型计算机12051、声音/图像输出部12052以及车载网络接口(I/F)12053作为集成控制单元12050的功能配置。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010充当用于产生车辆驱动力的诸如内燃机或驱动发动机之类的驱动力产生装置、用于向车轮传输驱动力的驱动力传输装置、调节车辆转向角的转向机构和用于产生车辆的制动力的制动装置等的控制装置。
车身系统控制单元12020根据各种程序来控制设置于车身上的各类装置的操作。例如，车身系统控制单元12020充当无钥匙进入系统、智能钥匙系统、电动车窗装置或者诸如如车头灯、倒车灯、刹车灯、转弯信号或雾灯之类的各种灯的控制装置。在这种情况下，(作为各类开关的钥匙或信号的替代物的)从移动装置传输的无线电波可以输入至车身系统控制单元12020。车身系统控制单元12020接收这种输入无线电波或信号，并且控制车辆的门锁装置、电动车窗装置或灯具等。
车辆外部信息检测单元12030检测关于包括车辆控制系统12000的车辆的外部的信息。例如，车辆外部信息检测单元12030与成像部12031连接。车辆外部信息检测单元12030使成像部12031拍摄车辆外部的图像，并且接收所拍摄的图像。基于接收的图像，车辆外部信息检测单元12030可以执行用于检测诸如人、车辆、障碍物、标志或路面上的字符之类的物体的处理，或者执行用于检测相对其的距离的处理。
成像部12031是用于接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12301可以将电信号作为图像输出，或者可以将电信号作为关于所测量的距离的信息输出。另外，由成像部12301接收的光可以是可见光或者可以是诸如红外线之类的不可见光。
车辆内部信息检测单元12040检测关于车辆内部的信息。例如，车辆内部信息检测单元12040与用于检测驾驶员状态的驾驶员状态检测部12041连接。例如，驾驶员状态检测部12041包括用于拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车辆内部信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的注意力程度，或者可以确定驾驶员是否在打瞌睡。
基于由车辆外部信息检测单元12030或者车辆内部信息检测单元12040获得的关于车辆内部或外部的信息，微型计算机12051能够计算用于驱动力产生装置、转向装置或制动装置的控制目标值，并将控制命令输出至驱动系统控制单元12010。例如，微型计算机12051能够执行旨在实施高级驾驶员辅助系统(ADAS)的功能的协同控制，ADAS的功能包括避免车辆碰撞和减缓车辆冲击、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞的警告或车辆偏离车道的警告等。
另外，通过基于由车辆外部信息检测单元12030或者车辆内部信息检测单元12040获得的关于车辆外部和内部的信息控制驱动力产生装置、转向机构或制动装置等，微型计算机12051可以执行旨在自动驾驶的协同控制等，这使得车辆在不依赖驾驶员的操作的情况下自动地行驶。
另外，微型计算机12051能够基于车辆外部信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制指令。例如，微型计算机12051可以执行协同控制，该协同控制旨在通过控制前照灯来防止炫光，以便例如根据由车辆外部信息检测单元12030检测的前方车辆或对向驶来的车辆的位置从远光灯变为近光灯。
声音/图像输出部12052将声音和/或图像的输出信号传输到输出装置，输出装置能够将信息以视觉或者听觉的方式将信息通知给车辆乘客或者车辆外部。在图41的示例中，将音频扬声器12061、显示部12062和仪表板12063示出为输出装置。例如，显示部12062可以包括板载显示器和平视显示器中的至少一者。
图31是示出成像部12031的安装位置示例的图。
在图31中，成像部12031包括成像部12101、12102、12103、12104和12105。
例如，成像部12101、12102、12103、12104和12105设置在车辆12100的前脸、侧视镜、后保险杠和后门上的位置以及位于车辆内部的挡风玻璃的上部的位置。设置在前脸处的成像部12101和设置在车辆内部的挡风玻璃的上部处的成像部12105主要获得车辆12100前方的图像。设置在侧视镜处的成像部12102和成像部12103主要获得车辆12100两侧的图像。设置在后保险杠或后门处的成像部12104主要获得车辆12100后方的图像。设置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
另外，图31示出了成像部12101至12104的成像范围的示例。成像范围12111表示设置在前脸处的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜处的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门处的成像部12104的成像范围。例如，通过叠加由成像部12101到12104成像的成像数据来获得车辆12100的如从上方观察的鸟瞰图像。
成像部12101至12104中的至少一者可以具有获得距离信息的功能。例如，成像部12101至12104中的至少一者可以是由多个成像元件构成的立体照相机，或者可以是具有用于相位差检测的像素的成像元件。
例如，基于从成像部12101至12104获得的距离信息，微型计算机12051能够确定距成像范围12111至12114内的每个三维物体的距离及距离的时间变化(相对于车辆12100的相对速度)，并由此提取最近的三维物体作为前方车辆，该三维对象尤其存在于车辆12100的行驶路径上并以预定的速度(例如，等于或大于0千米/小时)在与车辆12100基本相同的方向上行驶。另外，微型计算机12051可以预先在前方车辆之前设置所保持的跟随距离，并且执行自动制动控制(包括跟随停止控制)或自动加速控制(包括跟随启动控制)等。因此可以执行旨在自动驾驶的协同控制，使得车辆在不依赖驾驶员等的操作的情况下自动地行驶。
例如，基于从成像部12101至12104获得的距离信息，微型计算机12051将三维物体有关的三维物体数据分类成两轮车辆、标准车辆、大型车辆、行人、公共设施杆和其它三维物体的三维物体数据，提取分类后的三维物体数据，并且使用提取后的三维物体数据来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为可以被车辆12100的驾驶员在视觉上识别的障碍物和难以被车辆12100的驾驶员在视觉上识别的障碍物。然后，微型计算机12051确定用于指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或大于设定值并且因此存在碰撞可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警告，并且经由驱动系统控制单元12010执行强制减速或躲避转向。由此，微型计算机12051可以辅助驾驶，以避免碰撞。
成像部12101到12104中的至少一者可以是用于检测红外线的红外相机。例如，微型计算机12051可以通过确定是否在成像部12101到12104的成像图像中存在行人来识别行人。例如，通过提取作为红外相机的成像部12101至12104的成像图像中的特征点的过程和借助对表示物体轮廓的一系列特征点执行图案匹配处理来确定是否是行人的过程来执行这种行人识别。在微型计算机12051确定出在成像部12101到12104的成像图像中存在行人并且因此识别行人时，声音/图像输出部12052控制显示部12062，从而显示用于强调的正方形轮廓线，以便叠加在被识别的行人上。声音/图像输出部12052也可以控制显示部12062，使得表示行人的图标等显示在期望的位置上。
因此，已经描述了应用有根据本发明的技术的车辆控制系统的示例。根据本发明的技术可应用于上述组件中的成像部12101至12104。例如，将双透镜相机模块200设置在成像部12101至12104中的每者的内部。能够通过将本技术应用至成像部12101至12104来提高图像数据的质量，从而可以减轻驾驶员的疲劳。
应当注意，上述实施例说明了实现本发明的示例，并且实施例中的事项与权利要求范围内指定本发明的事项分别是彼此相对应的。同样地，权利要求范围内指定本发明的事项与本发明的实施例中由相同名称表示的事项分别是彼此相对应的。应当注意，本发明并不限于上述实施例，并且可以从其主旨出发以各种方式进行修改。
并且，可以将上述实施例中所述的处理步骤解释为具有一系列步骤的方法，也可以解释为用于使计算机执行一系列步骤的程序或者记录该程序的记录介质。可以使用光盘(CD)、迷你光盘(MD)、数字化多功能光盘(DVD)、存储卡、蓝光光盘(注册商标)等作为该记录介质。
应当注意，本说明书中所述的效果仅仅是说明性的，也可以具有其它效果。
应当注意，本发明能够具备以下配置：
(1)一种成像装置，其包括：
主侧焦点控制部，其用于检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置；
视差获取部，其用于通过基于所述主侧对焦位置寻找距离来获得与所述距离成比例的视差；
从侧检测区域设置部，其用于基于所述视差和所述主侧检测区域的位置在从侧图像中设置从侧检测区域的位置；以及
从侧焦点控制部，其用于检测从侧透镜的在所述从侧检测区域中实现对焦的位置，以作为从侧对焦位置。
(2)如特征(1)所述的成像装置，其中，
在所述从侧检测区域中的位于所述从侧图像数据的边界外部的区域的面积没有超过给定值的情况下，所述从侧焦点控制部检测所述从侧对焦位置。
(3)如特征(2)所述的成像装置，其中，
所述主侧透镜和所述从侧透镜具有不同的视角，并且
基于所述主侧图像和所述从侧图像中的一者相对于另一者的放大率、所述视差和所述主侧检测区域的位置，所述从侧检测区域设置部设置所述从侧检测区域的位置和尺寸。
(4)如特征(3)所述的成像装置，其中，
主侧搜索范围和从侧搜索范围是不同的，所述主侧搜索范围是在其内通过驱动所述主侧透镜能够实现对焦的距离范围，所述从侧搜索范围是在其内通过驱动所述从侧透镜能够实现对焦的距离范围，并且
在位于所述从侧图像数据的所述边界外部的所述区域的面积没有超过所述给定值并且对应于所述主侧对焦位置的所述距离落入所述从侧搜索范围内的情况下，所述从侧焦点控制部检测所述从侧对焦位置。
(5)如特征(1)至(4)中的任一项所述的成像装置，进一步包括：
主侧固态成像元件，其用于捕获所述主侧图像；以及
从侧固态成像元件，其用于捕获所述从侧图像，其中，
当检测到所述主侧对焦位置时，所述主侧固态成像元件捕获新的主侧图像，并且
当检测到所述从侧对焦位置时，所述从侧固态成像元件捕获新的从侧图像。
(6)如特征(1)至(5)中的任一项所述的成像装置，其中，
所述主侧焦点控制部在所述主侧检测区域中检测所述主侧透镜的具有最高对比度的位置，以作为所述主侧对焦位置，并且
所述从侧焦点控制部在所述从侧检测区域中检测所述从侧透镜的具有最高对比度的位置，以作为所述从侧对焦位置。
(7)如特征(1)至(5)中的任一项所述的成像装置，其中，
所述主侧焦点控制部基于相位差检测所述主侧对焦位置，并且
所述从侧焦点控制部基于相位差检测所述从侧对焦位置。
(8)一种成像模块，其包括：
主侧焦点控制部，其用于检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置；
视差获取部，其用于通过基于所述主侧对焦位置寻找距离来获得与所述距离成比例的视差；
从侧检测区域设置部，其用于基于所述视差和所述主侧检测区域的位置在从侧图像中设置从侧检测区域的位置；
从侧焦点控制部，其用于检测从侧透镜的在所述从侧检测区域中实现对焦的位置，以作为从侧对焦位置；以及
图像输出部，其用于输出通过处理至少所述主侧图像或者所述从侧图像获得的图像。
(9)一种成像装置的控制方法，所述控制方法包括：
主侧对焦控制步骤，其用于检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置；
视差获取步骤，其用于通过基于所述主侧对焦位置寻找距离来获得与所述距离成比例的视差；
从侧检测区域设置步骤，其用于基于所述视差和所述主侧检测区域的位置在从侧图像中设置从侧检测区域的位置；以及
从侧对焦控制步骤，其用于检测从侧透镜的在所述从侧检测区域中实现对焦的位置，以作为从侧对焦位置。
附图标记列表
100 成像装置
110 操作部
120 双透镜相机模块
130 显示部
200 双透镜相机模块
201、202 单透镜相机模块
203 连接件
211、212 成像透镜
213 广角透镜
214 长焦透镜
221 主侧驱动部
222 从侧驱动部
230 主侧固态成像元件
231、251 驱动器
232、252 模拟信号放大部
233、253 AD转换部
234、254 数字信号放大部
240 主侧像素阵列部
241 R像素
242 G像素
243 B像素
250、255 从侧固态成像元件
260 从侧像素阵列部
261 像素
270 图像处理部
280 成像控制部
281 主侧焦点控制部
282 视差获取部
283 从侧检测区域设置部
284 曝光控制部
285 主侧检测区域设置部
286 从侧焦点控制部
290 开关
12101、12102、12103、12104、12105 成像部

Claims (9)

1.一种成像装置，其包括：
主侧焦点控制部，其用于检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置；
视差获取部，其用于通过基于所述主侧对焦位置寻找距离来获得与所述距离成比例的视差；
从侧检测区域设置部，其用于基于所述视差和所述主侧检测区域的位置在从侧图像中设置从侧检测区域的位置；以及
从侧焦点控制部，其用于检测从侧透镜的在所述从侧检测区域中实现对焦的位置，以作为从侧对焦位置。
2.如权利要求1所述的成像装置，其中，
在所述从侧检测区域中的位于所述从侧图像数据的边界外部的区域的面积没有超过给定值的情况下，所述从侧焦点控制部检测所述从侧对焦位置。
3.如权利要求2所述的成像装置，其中，
所述主侧透镜和所述从侧透镜具有不同的视角，并且
基于所述主侧图像和所述从侧图像中的一者相对于另一者的放大率、所述视差和所述主侧检测区域的位置，所述从侧检测区域设置部设置所述从侧检测区域的位置和尺寸。
4.如权利要求3所述的成像装置，其中，
主侧搜索范围和从侧搜索范围是不同的，所述主侧搜索范围是在其内通过驱动所述主侧透镜能够实现对焦的距离范围，所述从侧搜索范围是在其内通过驱动所述从侧透镜能够实现对焦的距离范围，并且
在位于所述从侧图像数据的所述边界外部的所述区域的面积没有超过所述给定值并且对应于所述主侧对焦位置的所述距离落入所述从侧搜索范围内的情况下，所述从侧焦点控制部检测所述从侧对焦位置。
5.如权利要求1所述的成像装置，其进一步包括：
主侧固态成像元件，其用于捕获所述主侧图像；以及
从侧固态成像元件，其用于捕获所述从侧图像，其中，
当检测到所述主侧对焦位置时，所述主侧固态成像元件捕获新的主侧图像，并且
当检测到所述从侧对焦位置时，所述从侧固态成像元件捕获新的从侧图像。
6.如权利要求1所述的成像装置，其中，
所述主侧焦点控制部在所述主侧检测区域中检测所述主侧透镜的具有最高对比度的位置，以作为所述主侧对焦位置，并且
所述从侧焦点控制部在所述从侧检测区域中检测所述从侧透镜的具有最高对比度的位置，以作为所述从侧对焦位置。
7.如权利要求1所述的成像装置，其中，
所述主侧焦点控制部基于相位差检测所述主侧对焦位置，并且
所述从侧焦点控制部基于相位差检测所述从侧对焦位置。
8.一种成像模块，其包括：
主侧焦点控制部，其用于检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置；
视差获取部，其用于通过基于所述主侧对焦位置寻找距离来获得与所述距离成比例的视差；
从侧检测区域设置部，其用于基于所述视差和所述主侧检测区域的位置在从侧图像中设置从侧检测区域的位置；
从侧焦点控制部，其用于检测从侧透镜的在所述从侧检测区域中实现对焦的位置，以作为从侧对焦位置；以及
图像输出部，其用于输出通过处理至少所述主侧图像或者所述从侧图像获得的图像。
9.一种成像装置的控制方法，所述控制方法包括：
主侧对焦控制步骤，其用于检测主侧透镜的在主侧图像内的主侧检测区域中实现对焦的位置，以作为主侧对焦位置；
视差获取步骤，其用于通过基于所述主侧对焦位置寻找距离来获得与所述距离成比例的视差；
从侧检测区域设置步骤，其用于基于所述视差和所述主侧检测区域的位置在从侧图像中设置从侧检测区域的位置；以及
从侧对焦控制步骤，其用于检测从侧透镜的在所述从侧检测区域中实现对焦的位置，以作为从侧对焦位置。
CN201780025851.3A 2017-03-30 2017-12-20 成像装置、成像模块以及成像装置的控制方法 Active CN109073858B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017067102A JP2018169517A (ja) 2017-03-30 2017-03-30 撮像装置、撮像モジュールおよび撮像装置の制御方法
JP2017-067102 2017-03-30
PCT/JP2017/045693 WO2018179622A1 (ja) 2017-03-30 2017-12-20 撮像装置、撮像モジュールおよび撮像装置の制御方法

Publications (2)

Publication Number Publication Date
CN109073858A true CN109073858A (zh) 2018-12-21
CN109073858B CN109073858B (zh) 2022-03-18

Family

ID=63674917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780025851.3A Active CN109073858B (zh) 2017-03-30 2017-12-20 成像装置、成像模块以及成像装置的控制方法

Country Status (6)

Country Link
US (1) US10848660B2 (zh)
JP (1) JP2018169517A (zh)
KR (1) KR102540722B1 (zh)
CN (1) CN109073858B (zh)
TW (1) TWI757419B (zh)
WO (1) WO2018179622A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769162A (zh) * 2019-11-28 2020-02-07 维沃移动通信有限公司 电子设备及对焦方法
CN112835172A (zh) * 2020-12-31 2021-05-25 华兴源创(成都)科技有限公司 一种定倍率成像的自动对焦方法及系统
US20220207850A1 (en) * 2019-05-10 2022-06-30 Sony Semiconductor Solutions Corporation Image recognition device and image recognition method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6814453B1 (ja) * 2020-05-21 2021-01-20 株式会社エクサウィザーズ 撮像装置
EP4315825A1 (en) * 2021-03-29 2024-02-07 Alcon Inc. Stereoscopic imaging platform with disparity and sharpness control automatic focusing mode

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040202461A1 (en) * 2003-04-08 2004-10-14 Pentax Corporation Passive autofocus system for a camera
CN1918902A (zh) * 2004-12-16 2007-02-21 松下电器产业株式会社 复眼摄像装置
CN101968603A (zh) * 2009-07-27 2011-02-09 富士胶片株式会社 立体成像设备和立体成像方法
CN103179340A (zh) * 2011-12-21 2013-06-26 索尼公司 成像装置、自动聚焦方法及其程序
WO2016194576A1 (ja) * 2015-05-29 2016-12-08 ソニー株式会社 情報処理装置および方法
WO2017030664A1 (en) * 2015-08-18 2017-02-23 Intel Corporation Depth sensing auto focus multiple camera system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
US6262694B1 (en) * 1997-03-11 2001-07-17 Fujitsu Limited Image display system
JP2002023044A (ja) * 2000-07-12 2002-01-23 Canon Inc 焦点検出装置、測距装置及びカメラ
JP2006173919A (ja) 2004-12-14 2006-06-29 Matsushita Electric Ind Co Ltd 撮像装置および画像処理プログラム
US7933512B2 (en) * 2009-03-24 2011-04-26 Patrick Campbell Stereo camera with controllable pivot point
US20120044327A1 (en) * 2009-05-07 2012-02-23 Shinichi Horita Device for acquiring stereo image
US8698878B2 (en) * 2009-07-02 2014-04-15 Sony Corporation 3-D auto-convergence camera
US8588600B2 (en) * 2010-07-27 2013-11-19 Texas Instruments Incorporated Stereoscopic auto-focus based on coordinated lens positions
JP5597525B2 (ja) * 2010-07-28 2014-10-01 パナソニック株式会社 立体映像撮像装置および立体映像撮像方法
JP2012103109A (ja) * 2010-11-10 2012-05-31 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法及びプログラム
JP5411842B2 (ja) * 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
US8836767B2 (en) * 2010-12-17 2014-09-16 Samsung Electronics Co., Ltd Imaging apparatus and imaging method
WO2012111757A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法
US20130063576A1 (en) * 2011-04-28 2013-03-14 Panasonic Corporation Stereoscopic intensity adjustment device, stereoscopic intensity adjustment method, program, integrated circuit and recording medium
JP5263434B1 (ja) 2012-08-09 2013-08-14 パナソニック株式会社 アンテナ、アンテナ装置および通信装置
US9646383B2 (en) * 2011-12-19 2017-05-09 Sharp Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and display apparatus
US9124875B2 (en) * 2012-05-23 2015-09-01 Fujifilm Corporation Stereoscopic imaging apparatus
JP2014022806A (ja) * 2012-07-13 2014-02-03 Sharp Corp 撮像装置および撮像装置制御方法
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
US9565416B1 (en) * 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
JP2016033563A (ja) 2014-07-31 2016-03-10 キヤノン株式会社 立体映像撮像装置
JP2016054415A (ja) * 2014-09-03 2016-04-14 キヤノン株式会社 立体撮像装置および立体撮像プログラム
JP6484349B2 (ja) * 2015-05-27 2019-03-13 グーグル エルエルシー カメラリグおよび立体画像キャプチャ
JP6584149B2 (ja) * 2015-05-29 2019-10-02 キヤノン株式会社 撮像装置
US9703175B2 (en) * 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
JP6304309B2 (ja) * 2016-06-09 2018-04-04 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040202461A1 (en) * 2003-04-08 2004-10-14 Pentax Corporation Passive autofocus system for a camera
CN1918902A (zh) * 2004-12-16 2007-02-21 松下电器产业株式会社 复眼摄像装置
CN101968603A (zh) * 2009-07-27 2011-02-09 富士胶片株式会社 立体成像设备和立体成像方法
CN103179340A (zh) * 2011-12-21 2013-06-26 索尼公司 成像装置、自动聚焦方法及其程序
WO2016194576A1 (ja) * 2015-05-29 2016-12-08 ソニー株式会社 情報処理装置および方法
WO2017030664A1 (en) * 2015-08-18 2017-02-23 Intel Corporation Depth sensing auto focus multiple camera system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207850A1 (en) * 2019-05-10 2022-06-30 Sony Semiconductor Solutions Corporation Image recognition device and image recognition method
US11710291B2 (en) * 2019-05-10 2023-07-25 Sony Semiconductor Solutions Corporation Image recognition device and image recognition method
CN110769162A (zh) * 2019-11-28 2020-02-07 维沃移动通信有限公司 电子设备及对焦方法
US11856294B2 (en) 2019-11-28 2023-12-26 Vivo Mobile Communication Co., Ltd. Electronic device and focusing method for electronic device
CN112835172A (zh) * 2020-12-31 2021-05-25 华兴源创(成都)科技有限公司 一种定倍率成像的自动对焦方法及系统

Also Published As

Publication number Publication date
US10848660B2 (en) 2020-11-24
TWI757419B (zh) 2022-03-11
WO2018179622A1 (ja) 2018-10-04
US20190208132A1 (en) 2019-07-04
KR20190129684A (ko) 2019-11-20
JP2018169517A (ja) 2018-11-01
TW201904282A (zh) 2019-01-16
CN109073858B (zh) 2022-03-18
KR102540722B1 (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
CN109073858A (zh) 成像装置、成像模块以及成像装置的控制方法
CN103770706B (zh) 动态后视镜显示特征
CN104442567B (zh) 交通工具图像显示系统中的物体突显和传感
CN1985266B (zh) 全景视觉系统和方法
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
CN113271400A (zh) 成像装置和电子设备
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
JP6817780B2 (ja) 測距装置、および、測距装置の制御方法
JP7263731B2 (ja) 画像処理装置
KR102388259B1 (ko) 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
US20230269498A1 (en) Information processing device, information processing system, information processing method, and information processing program
Zhang et al. Night time vehicle detection and tracking by fusing sensor cues from autonomous vehicles
JP2010060371A (ja) 物体検出装置
CN115866418A (zh) 图像处理系统、移动体、图像处理方法和存储介质
CN115883985A (zh) 图像处理系统、移动体、图像处理方法和存储介质
JP7327911B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7103346B2 (ja) 制御装置、撮像装置、制御方法及びプログラム
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
JP2013088591A (ja) 車載用のカメラ装置
JP5907405B2 (ja) 画像解析装置及びこれを用いた物体検出装置
CN218198108U (zh) 基于多目摄像的前向夜视系统
EP4280178A2 (en) Image processing apparatus, image processing method, movable apparatus, and storage medium
JP2005271693A (ja) 物体検出装置
Denny et al. Imaging for the Automotive Environment
JP2017184144A (ja) 画像処理装置、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant