CN115280752A - 多光路成像技术和用于主动深度感测技术的共享发射器 - Google Patents

多光路成像技术和用于主动深度感测技术的共享发射器 Download PDF

Info

Publication number
CN115280752A
CN115280752A CN202180021125.0A CN202180021125A CN115280752A CN 115280752 A CN115280752 A CN 115280752A CN 202180021125 A CN202180021125 A CN 202180021125A CN 115280752 A CN115280752 A CN 115280752A
Authority
CN
China
Prior art keywords
image sensor
mode
optical element
light
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180021125.0A
Other languages
English (en)
Other versions
CN115280752B (zh
Inventor
M·克拉默
S·H·奥古兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115280752A publication Critical patent/CN115280752A/zh
Application granted granted Critical
Publication of CN115280752B publication Critical patent/CN115280752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/30—Focusing aids indicating depth of field
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

本公开内容的各方面涉及一种包括用于成像的共享一个或多个光路的多个图像传感器的装置。一种示例方法包括：识别包括第一光圈、第一图像传感器、第二图像传感器和光学元件的设备将处于第一设备模式中还是第二设备模式中。该方法还包括：基于所识别的设备模式来控制光学元件。光学元件在第一光学元件模式中将来自第一光圈的光引导到第一图像传感器。当光学元件处于第二光学元件模式中时，将来自第一光圈的光引导到第二图像传感器。

Description

多光路成像技术和用于主动深度感测技术的共享发射器
技术领域
本公开内容总体上涉及图像捕获系统和设备，诸如包括共享用于成像的光路的多个图像传感器的装置。本公开内容还总体上涉及主动深度感测系统和设备，诸如包括由多个光圈共享的用于主动深度感测的发射器的装置。
背景技术
许多设备可以包括多个相机。例如，智能电话可以包括一个或多个后向相机和一个或多个前向相机。每个相机包括图像传感器和用于捕获图像的相关联的组件。例如，如果设备包括两个或更多个相机，则该设备包括两个或更多个图像传感器，并且每个图像传感器与其自己的用于成像的专用光路相关联。
许多设备还可以包括多个主动深度感测系统。例如，智能电话可以包括前向主动深度感测发射器(诸如用于面部解锁或使用深度信息的其他应用)和后向主动深度感测发射器(诸如用于生成深度图，以辅助一个或多个后向相机的自动聚焦，等等)。每个主动深度感测发射器与其自己的用于发射用于主动深度感测的光的专用光路相关联。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的概念的精选。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。
本公开内容的一些方面涉及图像传感器之间的共享光路。一种用于数字成像的示例设备包括第一光圈、第一图像传感器、第二图像传感器和光学元件。第一光路形成在第二图像传感器和第一光圈之间。光学元件被配置为在第一光学元件(OE)模式中将来自第一光路的光朝向第一图像传感器引导。第二图像传感器在第二OE模式中接收来自第一光路的光。
在一些实施方式中，所述设备还包括第二光圈。第二光路形成在第一图像传感器和第二光圈之间。所述光学元件进一步被配置为在第一OE模式中将来自第二光路的光朝向第二图像传感器引导。第一图像传感器在第二OE模式中接收来自第二光路的光。所述光学元件可以被配置为：在第一OE模式中将来自第一光路的光朝向第一图像传感器引导，并且在第二OE模式中允许来自第一光路的光通过所述光学元件。所述光学元件可以进一步被配置为：在第一OE模式中将来自第二光路的光朝向第二图像传感器引导，并且在第二OE模式中允许来自第二光路的光通过所述光学元件。
所述设备可以包括致动器，所述致动器被配置为在与第一OE模式相关关联的第一位置和与第二OE模式相关联的第二位置之间移动所述光学元件。在一些实施方式中，所述致动器被配置为相对于来自第一光路的光的方向在第一取向与第二取向之间旋转所述光学元件，并且所述光学元件的透明度和反射率可以基于所述光学元件相对于第一光路的取向。所述设备可以包括被配置为向所述光学元件施加电流的电流源，并且所述光学元件的透明度和反射率可以基于向所述光学元件施加的电流量。在一些实施方式中，第一图像传感器包括彩色图像传感器，且第二图像传感器包括单色图像传感器、红外图像传感器或具有不同于第一图像传感器的分辨率的图像传感器中的一个。在一些实施方式中，第一图像传感器包括低功率图像传感器，且第二图像传感器包括高功率图像传感器。在相同时间量内，低功率图像传感器比高功率图像传感器消耗更少的功率。
第一光圈和第二光圈可以位于所述设备的第一侧上。可替换地，第一光圈可以位于所述设备的第一侧，并且第二光圈可以位于所述设备的第二侧。在一些实施方式中，第一光圈位于包括显示屏的第一侧上，且第二光圈位于所述设备的不同于第一侧的第二侧上。所述光学元件是处于第一OE模式还是第二OE模式可以基于所述设备的取向。所述设备可以包括：透镜，其被配置为朝向第一图像传感器或第二图像传感器对光进行聚焦；以及致动器，其被配置为相对于第一图像传感器的位置或第二图像传感器的位置调整所述透镜的位置。所述设备还可以包括：图像信号处理器，其被配置为处理从第一图像传感器和第二图像传感器接收的图像；应用处理器，其被配置为将指令提供到图像信号处理器；以及存储器，其被配置为存储经处理图像。
在另一示例中，公开了一种用于通过包括第一光圈、第一图像传感器、第二图像传感器和光学元件的设备进行数字成像的方法。该示例方法包括：识别所述设备将处于第一设备模式中还是第二设备模式中；以及基于所识别的设备模式来控制所述光学元件。所述光学元件在第一OE模式中将来自第一光圈的光引导到第一图像传感器。当所述光学元件处于第二OE模式中时，将来自第一光圈的光引导到第二图像传感器。控制所述光学元件可以包括：基于所识别的设备模式来识别所述光学元件将处于第一OE模式中还是第二OE模式中；以及基于所识别的OE模式来调整所述光学元件。识别所述光学元件将处于第一OE模式中还是第二OE模式中可以进一步基于所述设备的取向。调整所述光学元件可以包括以下一项或多项：旋转所述光学元件、平移所述光学元件或向所述光学元件施加电流。在一些实施方式中，识别所述设备将处于第一设备模式中还是第二设备模式中是基于指示设备模式的用户输入的。在一些其他实施方式中，识别所述设备将处于第一设备模式中还是第二设备模式中是基于以下一项或多项的：用于图像捕获的视场；用于图像捕获的变焦系数；用于图像捕获的景深；或设备取向(诸如横向或纵向)。第一图像传感器可以与第一视场相关联，并且第二图像传感器可以与第二视场相关联。第一图像传感器可以与第一变焦系数相关联，并且第二图像传感器可以与第二变焦系数相关联。第一图像传感器可以与第一景深相关联，并且第二图像传感器可以与第二景深相关联。在一些实施方式中，基于所述设备具有第一取向，所述设备处于第一设备模式中。基于所述设备具有不同于第一取向的第二取向，所述设备可以处于第二设备模式中。
识别所述设备将处于第一设备模式中还是第二设备模式中可以包括比较以下一项或多项：用于图像捕获的视场与第一视场和第二视场之间的阈值视场；用于图像捕获的变焦系数与第一变焦系数和第二变焦系数之间的阈值变焦系数；或者用于图像捕获的景深与第一景深和第二景深之间的阈值景深。识别所述设备将处于第一设备模式中还是第二设备模式中可以包括：检测所述设备的取向。识别所述设备将处于第一设备模式中还是第二设备模式中还可以包括：基于所述比较或所述检测来选择第一设备模式或第二设备模式。
所述方法可以进一步包括通过所述光学元件引导以下一项或多项：在第一OE模式中来自第一光圈的光到第一图像传感器；或者在第二OE模式中来自第一光圈的光到第二图像传感器。所述方法还可以包括捕获以下一项或多项：在第一设备模式期间来自被引导到第一图像传感器的光的第一图像；或者在第二设备模式期间来自被引导到第二图像传感器的光的第二图像。所述方法还可以包括：在第二设备模式期间捕获来自被引导到第二图像传感器的光的第二图像。所述方法还可以包括通过所述光学元件引导以下一项或多项：在第一OE模式中来自所述设备的第二光圈的光到第二图像传感器；或者在第二OE模式中来自第二光圈的光到第一图像传感器。
在另一示例中，公开了一种计算机可读介质。所述计算机可读介质可以存储指令，所述指令当由包括第一光圈、第一图像传感器、第二图像传感器和光学元件的设备的一个或多个处理器执行时使得所述设备：识别所述设备将处于第一设备模式中还是第二设备模式中；以及基于所识别的设备模式来控制所述光学元件。所述光学元件在第一OE模式中将来自第一光圈的光引导到第一图像传感器。当所述光学元件处于第二OE模式中时，将来自第一光圈的光引导到第二图像传感器。在一些实施方式中，执行所述指令以控制所述光学元件，使得所述设备：基于所识别的设备模式来识别所述光学元件将处于第一OE模式中还是第二OE模式中；以及基于所识别的OE模式来调整所述光学元件。识别所述光学元件将处于第一OE模式中还是第二OE模式中可以进一步基于所述设备的取向。调整所述光学元件可以包括以下一项或多项：旋转所述光学元件、平移所述光学元件或向所述光学元件施加电流。
在一些实施方式中，识别所述设备将处于第一设备模式中还是第二设备模式中是基于指示设备模式的用户输入的。在一些其他实施方式中，识别所述设备将处于第一设备模式中还是第二设备模式中是基于以下一项或多项的：用于图像捕获的视场；用于图像捕获的变焦系数；用于图像捕获的景深；或设备取向，诸如横向或纵向。第一图像传感器可以与第一视场相关联，并且第二图像传感器可以与第二视场相关联。第一图像传感器可以与第一变焦系数相关联，并且第二图像传感器可以与第二变焦系数相关联。第一图像传感器可以与第一景深相关联，并且第二图像传感器可以与第二景深相关联。在一些实施方式中，基于所述设备具有第一取向，所述设备处于第一设备模式中。基于所述设备具有不同于第一取向的第二取向，所述设备可以处于第二设备模式中。用于识别所述设备将处于第一设备模式中还是第二设备模式中的指令的执行可以使得所述设备比较以下一项或多项：用于图像捕获的视场与第一视场和第二视场之间的阈值视场；用于图像捕获的变焦系数与第一变焦系数和第二变焦系数之间的阈值变焦系数；或者用于图像捕获的景深与第一景深和第二景深之间的阈值景深。执行所述指令以识别所述设备将处于第一设备模式中还是第二设备模式中，可以使得所述设备可替换地检测其所处的取向。执行所述指令以识别所述设备将处于第一设备模式中还是第二设备模式中还可以使得所述设备基于所述比较或所述检测来选择第一设备模式或第二设备模式。
所述指令的执行还可以使得所述设备通过光学元件引导以下一项或多项：在第一OE模式中来自第一光圈的光到第一图像传感器；或者在第二OE模式中来自第一光圈的光到第二图像传感器。所述指令的执行还可以使得所述设备捕获以下一项或多项：在第一设备模式期间来自被引导到第一图像传感器的光的第一图像；或者在第二设备模式期间来自被引导到第二图像传感器的光的第二图像。所述指令的执行还可以使得所述设备通过所述光学元件引导以下一项或多项：在第一OE模式中来自所述设备的第二光圈的光到第二图像传感器；或者在第二OE模式中来自第二光圈的光到第一图像传感器。
在另一示例中，公开了一种用于数字成像的设备。所述设备包括:用于识别设备将处于第一设备模式中还是第二设备模式中的模块，以及用于基于所识别的设备模式来控制光学元件的模块。光学元件在第一OE模式中将来自第一光圈的光引导到第一图像传感器。当光学元件处于第二OE模式中时，将来自第一光圈的光引导到第二图像传感器。控制光学元件可以包括基于所识别的设备模式识别光学元件将处于第一OE模式中还是第二OE模式中，并基于所识别的OE模式调整光学元件。调整光学元件可以包括以下一项或多项：旋转光学元件、平移光学元件或向光学元件施加电流。在一些实施方式中，识别设备将处于第一设备模式中还是第二设备模式中基于指示设备模式的用户输入。在一些其他实施方式中，识别设备将处于第一设备模式中还是第二设备模式中是基于以下一项或多项：用于图像捕获的视场；用于图像捕获的变焦系数；用于图像捕获的景深；或设备取向，诸如横向或纵向。第一图像传感器可以与第一视场相关联，并且第二图像传感器可以与第二视场相关联。第一图像传感器可以与第一变焦系数相关联，并且第二图像传感器可以与第二变焦系数相关联。第一图像传感器可以与第一景深相关联，并且第二图像传感器可以与第二景深相关联。第一图像传感器可以与所述设备的第一取向相关联，并且第二图像传感器可以与不同于第一取向的所述设备的第二取向相关联。
本公开内容的一些方面涉及光圈之间的共享发射器。一种用于主动深度感测的示例设备包括：第一光圈，其被配置为接收沿第一光路传播的光；第二光圈，其被配置为接收沿第二光路传播的光；第一发射器，其被配置为发射第一光；以及光学元件，其被配置为在第一光学元件(OE)模式中将来自第一发射器的第一光朝向第一光路引导。在第二OE模式中，将来自第一发射器的第一光朝向第二光路引导。
所述设备可以包括致动器，所述致动器被配置为在与第一OE模式相关联的第一位置和与第二OE模式相关联的第二位置之间移动所述光学元件。所述设备可以包括致动器，所述致动器被配置为在与第一OE模式相关联的第一取向和与第二OE模式相关联的第二取向之间旋转所述光学元件。在一些实施方式中，所述光学元件的透明度和反射率是基于所述光学元件相对于第一光路的取向的。所述设备可以包括电流源，所述电流源被配置为将电流施加到所述光学元件。所述光学元件的透明度和反射率可以基于向所述光学元件施加的电流量。
在一些实施方式中，所述设备包括被配置为发射第二光的第二发射器。在第一OE模式中，所述光学元件可以将来自第二发射器的第二光朝向第二光路引导。在第二OE模式中，可以将来自第二发射器的第二光朝向第一光路引导。第一发射器可以被配置为发射用于结构化光深度感测的第一光分布，并且第二发射器可以被配置为发射以下一项：用于飞行时间深度感测的周期性脉冲光；用于结构化光深度感测的第二光分布；或者用于泛光照明的漫射光。所述设备可以包括被配置为接收第一光的反射以用于主动深度感测的一个或多个接收器。
在一些实施方式中，所述设备包括被配置为捕获一个或多个图像的图像传感器。所述图像传感器可以是低功率图像传感器。在相同时间量内，低功率图像传感器比其他图像传感器消耗更少的功率。在一些实施方式中，第一发射器被配置为发射光以用于主动深度感测，且所述图像传感器包括被配置为捕获一个或多个图像以用于对象检测的低功率图像传感器。在第一OE模式中，所述光学元件可以将来自第二光圈的光朝向所述图像传感器引导。在第二OE模式中，可以将来自第一光圈的光朝向所述图像传感器引导。在一些实施方式中，所述设备包括：被配置为处理一个或多个图像的信号处理器；被配置为向所述信号处理器提供指令的应用处理器；以及被配置为存储经处理图像的存储器。
所述设备还可以包括控制所述光学元件的控制器。所述控制器可以基于所述设备的取向来控制所述光学元件。
在另一示例中，公开了一种用于由包括第一光圈、第二光圈、第一发射器和光学元件的设备进行主动深度感测的方法。该示例方法包括：识别所述光学元件将处于第一OE模式中还是第二OE模式中；以及基于所识别的OE模式来控制所述光学元件。在第一OE模式中，所述光学元件将来自第一发射器的光朝向第一光圈引导。在第二OE模式中，将来自第一发射器的光朝向第二光圈引导。
控制所述光学元件可以包括：调整所述光学元件。调整所述光学元件可以包括以下一项或多项：旋转所述光学元件、平移所述光学元件或向所述光学元件施加电流。
识别所述光学元件将处于第一OE模式中还是第二OE模式中可以是基于所述设备的设备模式的，并且所述设备可以包括第二发射器或图像传感器。第一设备模式与第一发射器相关联，并且第二设备模式与第二发射器或所述图像传感器相关联。识别所述光学元件将处于第一OE模式中还是第二OE模式中可以是基于用户输入的。
在一些实施方式中，所述方法包括：通过第一发射器发射光；在第一OE模式中，通过所述光学元件将来自第一发射器的光朝向第一光圈引导；以及在第二OE模式中，将来自第一发射器的光朝向第二光圈引导。所述方法还可以包括：当所述设备处于第二设备模式中时，通过第二发射器发射光；在第一OE模式中通过所述光学元件将来自第二发射器的光朝向第二光圈引导；以及在第二OE模式中将来自第二发射器的光朝向第一光圈引导。当所述设备处于第一设备模式中时，第一发射器发射光。所述方法可以进一步包括：当所述设备处于第一设备模式中时，通过一个或多个接收器接收来自第一发射器的光的反射；以及当所述设备处于第二设备模式中时，通过所述一个或多个接收器接收来自第二发射器的光的反射。
在一些实施方式中，所述方法包括：当所述设备处于第二设备模式中时，通过所述图像传感器捕获图像；在第一OE模式中，通过所述光学元件将来自第二光圈的光朝向所述图像传感器引导；以及在第二OE模式中，将来自第一光圈的光朝向所述图像传感器引导。当所述设备处于第一设备模式中时，第一发射器发射光。识别所述光学元件将处于第一OE模式中还是第二OE模式中可以是基于所述设备的取向的。在一些实施方式中，所述图像传感器是低功率图像传感器，且在第二设备模式中通过所述图像传感器捕获的图像用于对象检测。在相同的时间量内，低功率图像传感器比其他图像传感器消耗更少的功率。
在另一示例中，公开了一种计算机可读介质。所述计算机可读介质可以存储指令，所述指令当由包括第一光圈、第二光圈、第一发射器和光学元件的用于主动深度感测的设备的一个或多个处理器执行时，使得所述设备：识别所述光学元件将处于第一OE模式中还是第二OE模式中；以及基于所识别的OE模式来控制所述光学元件。在第一OE模式中，所述光学元件将来自第一发射器的光朝向第一光圈引导。在第二OE模式中，将来自第一发射器的光朝向第二光圈引导。
执行所述指令以控制所述光学元件可以使得所述设备调整所述光学元件。调整所述光学元件可以包括以下一项或多项：旋转所述光学元件、平移所述光学元件或向所述光学元件施加电流。
识别所述光学元件将处于第一OE模式中还是第二OE模式中可以是基于所述设备的设备模式的。所述设备可以包括第二发射器或图像传感器。第一设备模式与第一发射器相关联，并且第二设备模式与第二发射器或图像传感器相关联。识别所述光学元件将处于第一OE模式中还是第二OE模式中可以是基于用户输入的。
所述指令的执行可以进一步使得所述设备：通过第一发射器发射光；在第一OE模式中，通过所述光学元件将来自第一发射器的光朝向第一光圈引导；以及在第二OE模式中，将来自第一发射器的光朝向第二光圈引导。在一些实施方式中，所述指令的执行使得所述设备：当所述设备处于第二设备模式中时，通过第二发射器发射光；在第一OE模式中通过所述光学元件将来自第二发射器的光朝向第二光圈引导；以及在第二OE模式中将来自第二发射器的光朝向第一光圈引导。当所述设备处于第一设备模式中时，第一发射器发射光。所述指令的执行还可以使得所述设备：当所述设备处于第一设备模式中时，通过一个或多个接收器接收来自第一发射器的光的反射；以及当所述设备处于第二设备模式中时，通过所述一个或多个接收器接收来自第二发射器的光的反射。
在一些实施方式中，所述指令的执行使得所述设备：当所述设备处于第二设备模式中时，通过图像传感器捕获图像；在第一OE模式中，通过所述光学元件将来自第二光圈的光朝向所述图像传感器引导；以及在第二OE模式中，将来自第一光圈的光朝向所述图像传感器引导。当所述设备处于第一设备模式中时，第一发射器发射光。识别所述光学元件将处于第一OE模式中还是第二OE模式中可以是基于所述设备的取向的。在一些实施方式中，所述图像传感器是低功率图像传感器，且在第二设备模式中通过所述图像传感器捕获的图像用于对象检测。在相同的时间量内，低功率图像传感器比其他图像传感器消耗更少的功率。
在另一示例中，公开了一种用于主动深度感测的设备，包括第一光圈、第二光圈、第一发射器和光学元件。所述设备包括：用于识别所述光学元件将处于第一OE模式中还是第二OE模式中的单元；以及用于基于所识别的OE模式来控制所述光学元件的单元。在第一OE模式中，所述光学元件将来自第一发射器的光朝向第一光圈引导。在第二OE模式中，将来自第一发射器的光朝向第二光圈引导。所述设备可以包括用于调整所述光学元件的单元。
在另一示例中，公开了另一种用于主动深度感测的设备。所述设备包括：用于发射第一光的单元；用于在第一OE模式中将第一光朝向第一光路引导的单元；以及用于在第一OE模式中将沿第一光路传播的第一光引导到所述设备外部的单元。所述设备还包括：用于在第二OE模式中将第一光朝向第二光路引导的单元；以及用于在第二OE模式中将沿第二光路传播的第一光引导到所述设备外部的单元。
附图说明
在附图的各个示意图中，通过示例而非限制的方式示出了本公开内容的各个方面，并且在附图中，相同的附图标记表示相似的要素。
图1示出了设备部分的横截面，其例示了与第一光路相关联的第一图像传感器和与第二光路相关联的第二图像传感器。
图2示出了设备部分的横截面，其例示了与第一光路相关联的用于主动深度感测的第一发射器和与第二光路相关联的用于主动深度感测的第二发射器。
图3A示出了包括共享第一光路的第一图像传感器和第二图像传感器的示例设备的方框图。
图3B示出了在第一侧上具有第一光圈并且在第二侧上具有第二光圈的设备的图示。
图3C示出了在包括显示屏的一侧上具有第一光圈和第二光圈的设备的图示。
图3D示出了在与显示屏相反的一侧上具有第一光圈和第二光圈的设备的图示。
图3E示出了在从设备的第一侧的图像捕获和从设备的第二侧的图像捕获之间切换的设备的图示。
图3F示出了设备的图示，该设备调整用于由该设备捕获的图像的FOV或变焦系数。
图3G示出了在包括显示屏的一侧上具有第一光圈和第三光圈以及在与显示屏相反的一侧具有第二光圈和第四光圈的设备的图示。
图4A示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图4B示出了图4A中的示例设备部分的横截面，其例示了与第一光路相关联的第二图像传感器。
图4C示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图4D示出了图4C中的示例设备部分的横截面，其例示了与第一光路相关联的第二图像传感器。
图4E示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器和与第三光路相关联的第三图像传感器。
图4F示出了图4E中的示例设备部分的横截面，其例示了与第一光路相关联的第二图像传感器和与第三光路相关联的第四图像传感器。
图5A示出了示例设备部分的截面图，其例示了当设备处于第一OE模式中时与第一光路相关联的第一图像传感器。
图5B示出了图5A中的示例设备部分的横截面，其例示了当设备处于第二OE模式中时与第一光路相关联的第二图像传感器。
图5C示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图5D示出了图5C中的示例设备部分的横截面，其例示了与第一光路相关联的第二图像传感器。
图6A示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图6B示出了图6A中的示例设备部分的横截面，其例示了与第一光路相关联的第二图像传感器。
图6C示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图6D示出了图6C中的示例设备部分的横截面，其例示了与第一光路相关联的第二图像传感器。
图6E示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图6F示出了图6E中的示例设备部分的横截面，其例示了与第二光路相关联的第一图像传感器。
图6G示出了示例设备部分的横截面，其例示了与第一光路相关联的第一图像传感器。
图6H示出了图6G中的示例设备部分的横截面，其例示了与第二光路相关联的第一图像传感器。
图7A示出了示例设备部分的横截面，其例示了与一个或多个透镜相关联以调整用于图像捕获的视场(FOV)的第一图像传感器和第二图像传感器。
图7B示出了示例设备部分的横截面，其例示了与可移动透镜相关联的第二图像传感器。
图7C示出了示例设备部分的横截面，其例示了可移动的第二图像传感器。
图7D示出了示例设备部分的横截面，其例示了与一个或多个透镜相关联以调整用于图像捕获的视场(FOV)的第一图像传感器和第二图像传感器。
图7E示出了示例设备部分的横截面，其例示了与可移动透镜相关联的第二图像传感器。
图7F示出了示例设备部分的横截面，其例示了可移动的第二图像传感器。
图8A示出了图示第一图像传感器和第二图像传感器共享第一光路的示例操作的说明性流程图。
图8B示出了图示图8中的第一图像传感器和第二图像传感器共享第二光路的示例操作的说明性流程图。
图9A示出了图示用于图像捕获的示例操作的说明性流程图。
图9B示出了图示用于控制光学元件的示例操作的说明性流程图。
图9C示出了图示用于基于设备取向来控制光学元件的示例操作的说明性流程图。
图10示出了包括用于主动深度感测的第一发射器的示例设备的方框图，该第一发射器在该设备处于第一模式中时耦合到第一光路，并且在该设备处于第二模式中时耦合到第二光路。
图11示出了包括用于发射光分布的发射器的示例主动深度感测系统的图示。
图12示出了包括发射器的直接飞行时间(TOF)主动深度感测系统的图示。
图13示出了包括发射器的间接TOF主动深度感测系统的图示。
图14A示出了示例设备部分的横截面，其例示了与第一光路相关联的第一发射器。
图14B示出了图14A中的示例设备部分的横截面，其例示了与第二光路相关联的第一发射器。
图14C示出了示例设备部分的横截面，其例示了与第一光路相关联的第一发射器和与第三光路相关联的第一图像传感器。
图14D示出了图14C中的示例设备部分的横截面，其例示了与第一光路相关联的第二发射器和与第三光路相关联的第二图像传感器。
图15A示出了示例设备部分的横截面，其例示了与第一光路相关联的第一发射器。
图15B示出了图15A中的示例设备部分的横截面，其例示了与第二光路相关联的第一发射器。
图16A示出了示例设备部分的横截面，其例示了与第一光路相关联的第一发射器。
图16B示出了图16A中的示例设备部分的横截面，其例示了与第二光路相关联的第一发射器。
图16C示出了示例设备部分的横截面，其例示了与第一光路相关联的第一发射器。
图16D示出了图16C中的示例设备部分的横截面，其例示了与第二光路相关联的第一发射器。
图16E示出了示例设备部分的横截面，其例示了与第一光路相关联的第一发射器。
图16F示出了图16E中的示例设备部分的横截面，其例示了与第二光路相关联的第一发射器。
图17A示出了图示用于由设备进行主动深度感测的示例操作的说明性流程图。
图17B示出了图示用于由被配置用于多个设备模式的设备进行主动深度感测的示例操作的说明性流程图。
图18示出了图示用于控制光学元件以用于主动深度感测的示例操作的说明性流程图。
具体实施方式
本公开内容的各方面可以用于图像捕获系统和设备或主动深度感测系统和设备。一些方面可以包括具有在多个图像传感器之间共享的光路的设备。一些其他方面可以包括具有在多个光路之间共享的用于主动深度感测的发射器的设备。
参考包括具有在多个图像传感器之间共享的光路的设备的各方面，许多设备具有多个相机。对于具有多个相机的设备，每个相机包括图像传感器、透镜和其他相机组件(例如快门、成像前端、彩色滤光器等等)。例如，智能电话可以具有多个后向相机(与包括显示屏的一侧相反)，并且每个后向相机包括专用相机组件。每个后向相机可以被配置为基于图像传感器和将光引导到图像传感器的一个或多个透镜来捕获场景的不同视场(FOV)。当要捕获图像时，使用相关联的相机来捕获图像，而通常不使用其他相机。在另一示例中，一个后向相机可以是用于彩色成像的主相机，并且另一后向相机可以是用于黑白成像的辅助相机。如果要捕获黑白图像，则可以使用辅助相机而不使用主相机。
智能电话还可以具有一个或多个前向相机(例如，位于显示屏中的穿孔处、显示屏的一侧上的凹口处处、或显示屏下方)，并且每个前向相机可以与不同的FOV相关联。例如，如果智能电话包括一个前向相机，则前向相机可以被配置为利用用于纵向图像的FOV来捕获图像。如果智能电话包括第二前向相机，则第二前向相机可以被配置为利用用于横向图像或群组自拍图像的FOV来捕获图像。基于要用于捕获前向图像(诸如自拍图像)的FOV，使用相关联的前向相机而不使用另一前向相机。
图1示出了设备100部分的横截面，其例示了与第一光路106相关联的第一图像传感器102和与第二光路108相关联的第二图像传感器104。第一图像传感器102与前向相机相关联，该前向相机被配置为经由穿过设备100的显示屏118(诸如经由凹口、穿孔等等)的第一光圈110接收光114。第二图像传感器104与后向相机相关联，该后向相机被配置为经由穿过设备100的后面板的第二光圈112接收光116。第一图像传感器102与用于通过前向相机捕获图像的专用成像组件相关联，并且第二图像传感器104与用于通过后向相机捕获图像的专用成像组件相关联。当要捕获前向图像时，不使用后向相机。当要捕获后向图像时，不使用前向相机。
耦合到专用光路的每个图像传感器需要设备内的空间和额外相机组件。随着图像传感器的数量增加，所需的空间增加并且相机组件的数量增加。另外，由于每个图像传感器与允许光进入设备的光圈相关联，因此在设备的外部可见的光圈的数量随着图像传感器的数量增加而增加。例如，随着智能电话中的前向相机的数量增加，穿过智能电话显示屏的凹口尺寸、穿孔尺寸或穿孔数量增加以容纳附加的光圈，从而影响设计和制造复杂性和/或设计美学。此外，虽然当一个图像传感器用于成像时，可能不使用另一图像传感器，但是未使用的图像传感器和相机组件可能被启用并且消耗功率。随着图像传感器(及其专用相机组件)的数量增加，所消耗的功率量增加。
设备可以包括更少的图像传感器(和专用相机组件)以减少所需的空间、所需的组件数量、所需的光圈数量以及设备的功耗。然而，减少图像传感器的数量可能降低设备的能力。例如，如果智能电话仅包括配置有纵向FOV的一个前向相机，则智能电话不能捕获横向或群组FOV自拍图像(即使智能电话包括配置有横向FOV的后向相机)。
在一些实施方式中，一种设备可以包括被配置为共享至少一个光路(及相关联光圈)的第一图像传感器和第二图像传感器。例如，第一图像传感器可以被配置为利用第一FOV捕获图像，并且第二图像传感器可以被配置为利用第二FOV捕获图像。设备包括光学元件，该光学元件被配置为在将来自共享光路的光引导到第一图像传感器和将来自共享光路的光引导到第二图像传感器之间切换。以此方式，可以减少设备需要的用于多个图像传感器的空间和相机组件数量。另外，图像传感器可以用于前向成像和后向成像，使得对于设备的多个侧面不需要用于特定FOV的多个专用图像传感器。例如，利用第一FOV的一个图像传感器可被用于来自智能电话或其他设备的前向图像和后向图像。本文参考附图和示例描述了实施方式的其他益处。
参考包括具有由设备中的多个光路(及其在设备上的相关联的光圈)共享的主动深度感测发射器的设备的各方面，设备可以被配置用于主动深度感测以辅助设备的各种操作。例如，智能电话可以包括后向主动深度感测系统，用于一个或多个后向相机的自动聚焦、用于深度映射、用于测距或用于其他合适的操作。在另一示例中，智能电话可以包括前向主动深度感测系统，用于面部识别、用于深度映射或用于其他合适的操作。每个主动深度感测系统包括专用发射器和用于主动深度感测的组件。每个主动深度感测系统还包括一个或多个专用光圈。
图2示出了设备200部分的横截面，其例示了与第一光路222相关联的用于主动深度感测的第一发射器220和与第二光路232相关联的用于主动深度感测的第二发射器230。第一发射器220被配置为发射光224穿过第一光路222且经由第一光圈226穿过设备显示屏218离开设备200的正面。第二发射器230被配置为发射光234穿过第二光路232并且经由第二光圈236穿过设备200的后侧离开设备200的背面。设备200还包括传感器202，其被配置为接收经由第三光圈210穿过显示屏218并且经由第三光路206的光214。光214包括光224的反射以用于主动深度感测。设备200还包括传感器204，其被配置为接收经由第四光圈212穿过设备200的后侧且经由第四光路208的光216。光216包括光234的反射以用于主动深度感测。
如图所示，前向主动深度感测系统(包括发射器220)与用于主动深度感测的专用组件相关联，而后向主动深度感测系统(包括发射器230)与用于主动深度感测的不同专用组件相关联。当仅有一个主动深度感测系统在使用中时，可能不使用另一主动深度感测系统的组件。例如，当第一发射器220在使用中时，第二发射器230可以不在使用中。另外，当设备包括多个主动深度感测系统(诸如多个发射器和用于驱动和控制发射器的组件)时，需要多个类似的组件。随着设备中主动深度感测系统的数量增加，设备中所需的发射器、组件和空间的数量也增加。
设备可以包括更少的主动深度感测系统(和专用发射器)以减少设备中所需的空间、所需的组件的数量以及所需的光圈的数量。然而，减少主动深度感测系统的数量可能降低设备的能力。例如，如果智能电话仅包括前向主动深度感测系统(并且不包括后向主动深度感测系统)，则智能电话可能能够执行用于屏幕解锁的面部识别，但是智能电话不能够执行用于后向相机的激光自动聚焦。
在一些实施方式中，设备可以包括被配置为共享用于主动深度感测的发射器的第一光圈和光路和第二光圈以及光路。例如，第一光圈(耦合到设备中的第一光路)可以是前向光圈，并且第二光圈(耦合到设备中的第二光路)可以是后向光圈。设备包括光学元件，该光学元件被配置为在将发射器耦合到第一光路和将发射器耦合到第二光路之间切换。以此方式，发射器可以被配置为经由第一光圈或经由第二光圈(诸如用于前向主动深度感测的前向光圈或用于后向主动深度感测的后向光圈)将光发射到设备外部。可以减少设备需要的用于主动深度感测的共享发射器的空间和组件数量。本文参考附图和示例描述了实施方式的其他益处。
在以下描述中，阐述了许多具体细节，例如具体组件、电路和过程的示例，以提供对本公开内容的透彻理解。如本文所使用的术语“耦合”意味着直接连接或者通过一个或多个中间组件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了具体术语以提供对本公开内容的透彻理解。然而，对于本领域技术人员来说显而易见的是，这些具体细节可能不是实践本文所公开的教导所必需的。在其他实例中，以框图形式展示众所周知的电路和设备以避免使本公开内容的教导难以理解。以下详细描述的某些部分是按照过程、逻辑块、处理和对计算机存储器内的数据位的操作的其他符号表示来呈现的。在本公开内容中，过程、逻辑块、处理等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操作的步骤。通常，尽管不是必须的，这些量采用能够在计算机系统中被存储、传送、组合、比较和以其他方式操纵的电或磁信号的形式。
然而，应当记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则如从以下讨论中显而易见的，可以理解，贯穿本申请，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“求平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“导出”、“解决”等术语的讨论指的是计算机系统或类似电子计算设备的动作和处理，其将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操纵和变换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
在附图中，单个框可以被描述为执行一个或多个功能；然而，在实际实践中，由该框执行的该一个或多个功能可以在单个组件中执行或跨多个组件执行，和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件与软件的这种可互换性，下文大体上在其功能性方面描述各种说明性组件、框、模块、电路和步骤。将此功能实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。所属领域的技术人员可针对每个特定应用以不同方式实施所描述的功能，但此类实施决策不应被解释为导致脱离本公开内容的范围。此外，示例设备可以包括除了所示的那些组件之外的组件，包括诸如处理器、存储器等等的公知组件。
本公开内容的各方面可应用于包括被配置为捕获图像或视频的图像传感器或被配置用于主动深度感测的发射器的任何合适的电子设备(诸如安全系统、智能电话、平板计算机、膝上型计算机、数字视频和/或静态相机、网络相机等等)。虽然本文描述的许多示例示出了包括共享一个或两个光路的两个图像传感器的设备，但是本公开内容的各方面可应用于具有任何数量的光路和任何数量的共享图像传感器的设备。尽管图像传感器还被示出为针对设备的不同侧定向，但每个图像传感器可以以任何合适的方式(诸如针对设备的相同侧)定向。另外，虽然本文描述的许多示例示出了包括用于主动深度感测的共享两个光路和光圈的一个发射器的设备，但是本公开内容的各方面可应用于具有任何数量的发射器和任何数量的共享光路的设备。因此，本公开内容不限于具有特定数量的图像传感器、主动深度感测发射器、、组件、组件取向、光圈、光路等等的设备。
术语“设备”不限于一个或特定数量的物理对象(诸如一个智能电话、一个相机控制器、一个处理系统等等)。如本文所使用的，设备可以是具有可以实现本公开内容的至少一些部分的一个或多个部件的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开内容的各个方面，但是术语“设备”不限于特定配置、类型或对象数量。
图3A示出了示例设备300的方框图。示例设备300可以包括将光引导到第一光路301的第一光圈320、第一图像传感器302、第二图像传感器303和光学元件304。示例设备300还包括处理器305、存储指令308的存储器306、以及图像信号处理器312。设备300可选地可以包括(或耦合到)显示屏314、数个输入/输出(I/O)组件316和数个传感器326。设备300可以包括未示出的附加特征或组件。在一个示例中，可以包括用于无线通信设备的无线接口，该无线接口可以包括数个收发机和基带处理器。设备300还可以包括电源318，其可以耦合到或集成到设备300中。
设备300被配置为当设备处于第一设备模式(或第一模式)中时使用第一图像传感器302来捕获图像。设备300还被配置为当设备处于第二设备模式(或第二模式)中时使用第二图像传感器303来捕获图像。当设备300处于第一模式中时，第一图像传感器302可以被配置为基于光学元件304接收沿着第一光路301传播的光。光学元件304被配置为当处于第一光学元件(OE)模式中时将沿第一光路传播的光引导到第一图像传感器302。当设备300处于第二模式中时，第二图像传感器303可以被配置为基于光学元件304接收沿着第一光路301传播的光。例如，光学元件304被配置为当光学元件304处于第二OE模式中时允许第二图像传感器303接收沿第一光路301传播的光。
在一些实施方式中，设备300包括第二光圈322以沿着第二光路324引导光。第一图像传感器302和第二图像传感器303也可以共享第二光路324。光学元件304可以配置为当光学元件304处于第一OE模式中时将沿第二光路324的光引导到第二图像传感器303，并且设备300可以被配置为当光学元件304处于第二OE模式中时将沿第二光路324的光引导到第一图像传感器302。如上所述，在第一设备模式和第二设备模式之间的切换可以指在用于捕获图像的图像传感器之间的切换。在一些实施方式中，第一图像传感器302在第一设备模式的第一部分期间接收沿着第一光路301传播的光，并且第一图像传感器302在第一设备模式的第二部分期间接收沿着第二光路324传播的光。类似地，第二图像传感器303可以在第二设备模式的第一部分期间接收沿着第一光路301传播的光，并且第二图像传感器303在第二设备模式的第二部分期间接收沿着第二光路324传播的光。第一部分和第二部分可以基于光学元件304是处于第一OE模式还是第二OE模式，并且设备300被配置为在OE模式之间切换光学元件304。在一些实施方式中，第一设备模式的第一部分与第二设备模式的第一部分相同，并且第一设备模式的第二部分与第二设备模式的第二部分相同。例如，当光学元件304被配置为将沿着第一光路301传播的光引导到第一图像传感器302时，光学元件304允许沿着第二光路324传播的光到达第二图像传感器303。
设备模式可以基于一个或多个图像捕获特性。例如，第一模式可以用于捕获具有第一FOV的图像，而第二模式可以用于捕获具有第二FOV的图像。在一个示例中，第一FOV可以是远摄FOV，并且第二FOV可以是宽FOV。远摄FOV可以指与远摄透镜相关联的FOV或者用于捕获远摄FOV图像的合适FOV。宽FOV可以指宽FOV、超宽FOV或者大于远摄FOV的任何其他FOV。在另一示例中，第一模式可以用于捕获彩色图像，并且第二模式可以用于捕获黑白图像。在另一示例中，第一模式可以与第一变焦系数相关联，且第二模式可与第二变焦系数相关联(例如，基于由将光引导到相关联图像传感器的透镜引起的光学变焦)。
在一些其他实施方式中，在第一设备模式与第二设备模式之间的切换可指在用于图像捕获的图像传感器与用于主动深度感测的图像传感器之间切换。第一图像传感器可以用于视觉摄影(例如，捕获自拍、捕获纵向图像、捕获群组图像等等)。第二图像传感器可以用于主动深度感测(例如，捕获光的反射以用于飞行时间深度感测或结构化光深度感测)。例如，第一模式用于使用第一图像传感器302来捕获图像，而第二模式用于使用第二图像传感器303来捕获来自发射器的光反射以用于主动深度感测。
在一些实施方式中，在第一设备模式和第二设备模式之间的切换可以基于在一个设备模式期间由图像传感器捕获的、使设备300切换到另一设备模式的信息。例如，设备300可以包括低功率图像传感器和高功率图像传感器。如本文所使用，低功率图像传感器是指比一个或多个其他图像传感器(例如，设备中使用的常规图像传感器)消耗更少功率的图像传感器。高功率图像传感器可指在相同时间量内消耗的功率比低功率图像传感器多的图像传感器。以此方式，低功率图像传感器可指代在相同时间量内消耗的功率比高功率图像传感器少的图像传感器。在一些实施方式中，不同的功率消耗可以基于分辨率的差异。例如，相对于彼此，低功率图像传感器可以是低分辨率图像传感器且高功率图像传感器可以是高分辨率图像传感器。由于对于低分辨率图像传感器，针对帧读出较少传感器像素，因此与高分辨率图像传感器相比，低分辨率图像传感器在共同操作时间段期间可消耗较少功率。不同的功率消耗率可以可替换地或另外地基于不同的帧速率(低功率图像传感器可以具有较低帧速率)、不同的采样频率(低功率图像传感器可以具有较低采样频率)、每帧不同的曝光窗尺寸(低功率图像传感器可以具有较小的曝光窗尺寸)、或不同的像素尺寸(低功率图像传感器可以具有较大像素)。
在一些实施方式中，低功率图像传感器可以包括常开(AO)图像传感器。如本文所使用，AO图像传感器指代可针对设备的不同操作状态和设备功率状态连续操作的图像传感器。例如，AO图像传感器可以在设备处于低功率状态(例如，休眠状态)、活动状态(例如，当设备由用户使用时)或设备通电时的另一合适状态时是活动的。作为AO图像传感器的低功率图像传感器与另一图像传感器的不同之处可以在于，另一图像传感器可以仅在设备操作的选定时间期间是活动的或操作。例如，当设备处于低功率状态(例如处于不活动状态或休眠状态)时，AO图像传感器可以继续捕获图像，而另一图像传感器可以是不活动的。例如，当设备处于不活动状态或休眠状态时，高功率图像传感器可以是不活动的。高功率图像传感器可以包括具有用于输出的较佳信噪比、较佳像素密度、较大光频率响应动态范围或优于低功率图像传感器的另一可量化度量的图像传感器。
在一些实施方式中，低功率图像传感器可以包括比其他图像传感器(例如高功率图像传感器)更低的帧速率或更低的采样频率。由于在相同时间量内低功率图像传感器比另一图像传感器读出更少的次数(其中，每个读出需要一定量的功率消耗)，因此低功率图像传感器在相同时间量内可比另一图像传感器消耗更少的功率。
在一些实施方式中，低功率图像传感器可以包括比高功率图像传感器大的像素。如本文所使用，像素的尺寸是指用于接收待由像素的光电检测器测量的光子的感光面积。增加像素尺寸意味着增加感光面积。以此方式，在相同尺寸的曝光窗期间，尺寸较大的像素比尺寸较小的像素从相同的环境照明接收更多的光子。在一些实施方式中，可以减小较大像素的曝光窗口尺寸以节省功率。当曝光窗口尺寸减小时，图像传感器每帧可以消耗较少功率。如果帧速率在具有较大像素的低功率图像传感器与另一图像传感器之间相同，则低功率图像传感器可以在相同的时间量内比另一图像传感器消耗更少功率。在一些实施方式中，当减小曝光窗口尺寸时，可以增加像素的帧速率。利用更快的帧速率，设备可以更快地检测光强度的变化。
在一些实施方式中，低功率图像传感器可以包括比另一图像传感器低的分辨率。由于与对于另一图像传感器相比，对于低功率图像传感器每帧读出较少像素，所以与另一图像传感器相比，低功率图像传感器可在一帧内消耗更少功率。如果帧速率对于低功率图像传感器(具有较低分辨率)和具有较高分辨率的另一图像传感器相同，则低功率图像传感器可以在相同时间量内比另一图像传感器消耗更少的功率。虽然低功率图像传感器可以具有较低分辨率，但该分辨率可以适合于测量场景中的不同区域的光强度的变化。如果光强度在一帧中在整个(或大部分)低功率图像传感器上变化，则设备可以确定该变化是全局运动(移动相机)而不是局部运动(物体进入场景)的结果。如果光强度的变化仅在低功率图像传感器的视场的一部分中，则设备可以确定该变化是局部运动(对象在场景中移动)的结果。例如，低功率图像传感器的外部像素(诸如边缘像素)可以首先测量到针对进入低功率图像传感器的视场的对象的不同光强度。随着对象接近低功率图像传感器的视场的中间，相邻像素于是可以测量到不同的光强度。附加的像素可以测量到不同的光强度，直到对象移动到低功率图像传感器的视场的中心。在这一点处，低功率图像传感器的中心像素可以测量到不同的光强度。在另一示例中，随着对象在数个帧期间移动穿过场景，相邻像素可以在数个帧之间测量到不同光强度。例如，用户横跨视场移动他的手使得低功率图像传感器中从一侧到另一侧的一系列像素在数个帧之间测量到不同光强度。以此方式，设备可以跟踪在场景中移动的对象。测量到不同的光强度是指测量到后一帧中不同于前一帧中的光强度的光强度。在一些实施方式中，不同的光强度可指代由像素(或像素区)测量的光强度的差大于帧之间的阈值(以滤除归因于噪声的光强度变化)。
虽然低功率图像传感器可以具有足以用于检测进入场景的对象的分辨率，但低功率图像传感器可能不具有足以用于将由设备执行的操作的分辨率。例如，低功率图像传感器可以具有足以用于对象检测的分辨率，以确定可能的面部是否朝向图像传感器的视场的中心移动的，但是低功率图像传感器的分辨率可能不足以用于面部识别。在一个示例中，低功率图像传感器可以用于检测场景中是否存在面部(诸如基于光强度的变化)，但是低功率图像传感器可能不包括足以用于识别场景中的面部(诸如识别眼睛、鼻子或嘴，眼睛、鼻子或嘴之间的间隔，或者眼睛是否睁开)的分辨率。高功率图像传感器可以用于在识别面部时的面部辨识。在另一示例中，低功率图像传感器可以用于识别用于对设备的手势命令的用户手势(诸如向左、向右、向上或向下挥动手臂)。设备可以执行与手势相关联的操作(诸如，为闪光灯供电以进行闪光操作、调整音量、调整显示亮度等等)。如果要执行的设备操作是相机操作，则高功率图像传感器可以用于基于用户手势的成像。如果设备操作是主动深度感测，则高功率图像传感器可以是被配置为接收用于主动深度感测的光的反射的图像传感器。
在除对象检测之外的另一示例中，低功率图像传感器可以捕获用于图像分析或视频内容分析的光信息以确定场景中的时间或空间事件。例如，低功率图像传感器的测量结果可以用于确定场景中的全局运动或局部运动的量、场景中的总体光强度、总体光强度随时间的变化、在场景的不同部分之间的光强度范围、等等。然后，该信息可以用于配置高功率图像传感器以用于捕获一个或多个图像帧(诸如用于静止图像或用于视频)。例如，该信息可以用于设置初始曝光设置或者以其他方式用于配置高功率图像传感器以进行图像捕获。
对于低功率图像传感器(例如AO图像传感器)，第一设备模式可以是低功率模式(针对其使用低功率图像传感器)，且第二设备模式可以是活动模式(针对其使用高功率图像传感器)。在一个示例中，低功率模式可以包括使用AO图像传感器来捕获来自智能电话的正面(包括显示屏的一侧)的光信息以检测面部何时可能在显示屏前面。如果智能电话在低功率模式中检测到面部，则智能电话可以切换到活动模式。活动模式可以包括使用高功率图像传感器进行面部识别。切换设备模式可以包括切换OE模式，使得两个图像传感器都使用来自智能电话正面的相同光圈。以此方式，设备可以在没有提示的情况下(例如，不需要用户在触敏设备显示屏上挥动、对设备显示屏通电、或以其他方式指示设备执行面部解锁)执行面部解锁或其他面部识别操作。低功率图像传感器(例如AO图像传感器)也可以由设备使用以确定何时将其自身从低功率模式唤醒或以其他方式离开(例如基于用户手势或场景中的用户面部)。
返回参考图3A，第一光圈320可以被配置为接收入射到设备300的任一侧的光。例如，如果设备300是智能电话，则第一光圈320可以位于智能电话的任一侧。如果设备300包括第二光圈322，则第二光圈322也可以被配置为接收入射到设备300的任一侧的光。例如，第二光圈322可以位于智能电话的任一侧上。在一些实施方式中，光圈320和322位于不同侧上(诸如一个后向(在与包括显示屏314的一侧相反的一侧上)和一个前向(在包括显示屏314的一侧上))。在一些其他实施方式中，光圈320和322可以位于相同侧上(诸如都是后向或者都是前向)。
第一图像传感器302和第二图像传感器303可以是任何合适的图像传感器，并且可以以任何合适的方式配置。如上文所提及的，第一图像传感器302可以是低功率图像传感器，且第二图像传感器303可以是高功率图像传感器。第一图像传感器302可以在第一设备模式(例如，低功率模式)期间是活动的，而第二图像传感器303可以在第二设备模式(例如，活动模式)期间是活动的。在一些其他实施方式中，第一图像传感器302被配置为利用第一FOV(诸如远摄FOV)捕获图像，并且第二图像传感器303被配置为利用第二FOV(诸如宽FOV或超宽FOV)捕获图像。FOV可以基于被配置为将光朝向图像传感器引导以用于图像捕获的一个或多个透镜，或者可以基于图像传感器的尺寸。
在一些其他实施方式中，第一图像传感器302与第一变焦系数相关联，且第二图像传感器303与第二变焦系数相关联。例如，一个或多个透镜可以被配置为针对第一图像传感器302放大场景，且针对第二图像传感器303可不放大场景。以此方式，第一图像传感器302与比和第二图像传感器303相关联的变焦系数更大的变焦系数相关联。
在一些其他实施方式中，第一图像传感器302与第一景深相关联，且第二图像传感器303与第二变焦系数相关联。例如，一个或多个透镜可以被配置为针对由第一图像传感器302捕获的图像将场景的一部分置于第一聚焦深度范围处。对于由第二图像传感器303捕获的图像，场景在第二深度范围处的一不同部分可以处于焦点上。以此方式，第一图像传感器302可以用于捕获第一景深内的对象的图像，且第二图像传感器303可以用于捕获第二景深内的对象的图像。
在一些其他实施方式中，第一图像传感器302可以耦合到彩色滤光器阵列(例如RGB彩色滤光器阵列(CFA))，且第二图像传感器303可以耦合到一不同类型的滤光器或可以不耦合到滤光器。示例滤光器包括用于特定波长范围的光(例如用于特定颜色、用于红外光等等)的带通滤波器。如本文所使用的，图像传感器可以指图像传感器本身或图像传感器和耦合到图像传感器的一个或多个组件。例如，彩色图像传感器可以指图像传感器和相关联的彩色CFA。在另一示例中，红外(IR)图像传感器可以指不与CFA相关联的图像传感器或图像传感器以及用于滤除IR光之外的光的至少一部分的相关联的带通滤波器。在另一示例中，单色图像传感器可以指不与CFA相关联的图像传感器。
IR图像传感器被配置为接收IR光。在一些实施方式中，IR图像传感器被配置为接收在大于IR的频率范围中的光。例如，未耦合到彩色滤光器阵列的图像传感器可以能够测量来自较大频率范围(例如彩色频率和IR频率两者)的光的光强度。在一些其他实施方式中，IR图像传感器被配置为接收特定于IR光频率的光。例如，IR图像传感器可以包括带通滤波器或耦合到带通滤波器，以滤除在不与IR光相关联的频率范围之外的光。如本文所用的，IR光可以包括可见光谱的部分和/或肉眼不可见的光谱的部分。在一个示例中，IR光可以包括近红外(NIR)光，其可以包括或可以不包括可见光谱内的光，和/或在可见光谱外的IR光(诸如远红外(FIR)光)。术语IR光不应限于具有在IR光的波长范围中或附近的特定波长的光。此外，提供IR光作为用于主动深度感测的示例发射。在以下描述中，其他合适波长的光可以由图像传感器捕获或用于主动深度感测，并且IR图像传感器或主动深度感测不限于IR光或特定频率的IR光。
存储器306可以是非瞬态或非暂时性计算机可读介质，其存储计算机可执行指令308以执行本公开内容中描述的一个或多个操作的全部或一部分(例如用于调整光学元件的位置)。处理器305可以是能够执行存储在存储器306内的一个或多个软件程序的脚本或指令(例如指令308)的一个或多个合适的处理器(例如通用处理器)。例如，处理器305可以是应用处理器并且执行成像应用。在附加的或可替换的方面中，处理器305可以包括集成电路或其他硬件以在不使用用于处理器305的软件的情况下执行本公开内容中所描述的功能或操作。
处理器305包括控制器310，用于选择要使用的图像传感器(例如选择第一设备模式或第二设备模式)和用于控制光学元件304(例如在第一OE模式和第二OE模式之间切换)。在一些实施方式中，控制器310可以被配置为调整光学元件304的位置(例如通过旋转或平移光学元件304)。例如，当在OE模式之间进行切换时，控制器310可以指示致动器平移光学元件304。在另一示例中，当在OE模式之间进行切换时，控制器310可以指示致动器旋转光学元件304。
在一些其他实施方式中，控制器310可以被配置为调整光学元件304的状态(例如通过施加电流或其他激励)。光学元件的状态可以包括基于激励的光学元件304的反射率或透明度(或折射率)。例如，对于第一OE模式，控制器310可以使电流不施加到光学元件304，而对于第二OE模式，使电流施加到光学元件304。
在一些实施方式中，控制器310还确定或以其他方式控制哪个图像传感器将被用于图像捕获。例如，控制器310选择图像信号处理器312处理由第一图像传感器捕获的图像流还是处理由第二图像传感器捕获的图像流来生成图像或视频。在另一示例中，图像信号处理器312处理两个图像流，并且控制器310选择经处理的流中的一个以生成视频图像。在另一示例中，控制器310在第一模式期间使用第一图像传感器(作为低功率图像传感器)来捕获图像，并且控制器310在第二模式期间初始化第二图像传感器(作为高功率图像传感器)来捕获图像。例如，在低功率模式期间，智能电话是不活动的(诸如显示屏关闭)。智能电话可以处于在其中控制器310从低功率图像传感器接收图像的低功率模式。控制器310(或图像信号处理器312)可以确定在所接收的图像帧之间的一个或多个像素的光强度的差异。控制器310可以确定与唤醒智能电话的用户手势相关联的光强度的变化，或者与位于智能电话的显示屏前面的面部相关联的光强度的变化。控制器310然后可以唤醒显示屏。如果要执行面部识别(例如，通过检测到面部接近低功率图像传感器的视场的中心)，则控制器310可以将设备模式切换到活动模式。在一些实施方式中，控制器310切换OE模式，使得可以使用相同的设备光圈将高功率图像传感器用于面部识别。以此方式，在设备模式之间的切换还可以包括调整光学元件304的状态。虽然描述了低功率图像传感器(例如AO图像传感器)的一些示例使用，但是可以实现任何适当的使用，并且本公开内容不限于所提供的示例。
返回参考图3A，虽然被示出为经由示例设备300中的处理器305彼此耦合，但是处理器305、存储器306、图像信号处理器312、可选显示屏314和可选I/O组件316可以以各种布置彼此耦合。例如，处理器305、存储器306、图像信号处理器312、可选显示屏314和可选I/O组件316可以经由一条或多条本地总线(为了简单起见未示出)彼此耦合。
显示屏314可以包括允许用户交互和/或呈现项目(例如，来自第一图像传感器302或第二图像传感器303的所捕获的图像、视频或预览图像)的任何合适的显示屏或屏幕。在一些方面中，显示屏314可以包括触敏显示屏。I/O组件316可以包括用于从用户接收输入(例如命令)并向用户提供输出的任何合适的结构、接口或设备。例如，I/O组件316可以包括图形用户界面、键盘、鼠标、麦克风和扬声器等等。传感器326可以包括任何合适的传感器，例如运动和取向传感器、定位传感器、温度传感器等等。运动和取向传感器可以包括加速计、陀螺仪或磁力计。定位传感器可以包括全球定位系统(GPS)接收机。
在一些实施方式中，设备模式或OE模式可以基于设备300的取向或运动。可以基于来自数个传感器326的一个或多个测量结果来确定设备取向或运动(例如，根据来自磁力计的测量结果确定的取向)。附加地或替换地，可以根据由图像传感器在多个图像帧上捕获的光信息的差异来确定设备的取向或运动。
在示例使用情况下，设备300可以是处于低功率状态、锁定或以其他方式具有屏幕锁定的智能电话。设备300可以包括在设备300的正面(与显示屏314并置)上的第一光圈320，并且设备300可以包括在设备300的背面(在与具有显示屏314的正面相反的一侧)上的第二光圈322。设备300可以被配置为基于用户的面部识别来执行无接触屏幕解锁。第一图像传感器302可以是用于检测面部是否接近第一图像传感器302的视场中心的低功率图像传感器。第二图像传感器303可以是在执行面部识别中使用的高功率图像传感器。以此方式，第一设备模式可以包括基于由第一图像传感器302捕获的图像的对象检测模式，并且第二设备模式可以包括基于由第二图像传感器303捕获的图像的面部识别模式。
哪个光圈用于面部识别(以及因此设备300的OE模式)可以基于设备300的取向。如果设备300正面朝上地放置在桌子、椅子或其他表面上，则第二光圈322可以指向该表面。结果，第一光圈320可能是基于面部识别的无接触屏幕解锁所需要的。设备300可以在屏幕被锁定时从一个或多个传感器接收周期性测量结果。例如，设备300可以从磁力计接收周期性测量结果。控制器310可基于磁力计测量结果来确定设备300相对于方位角的取向。
如果所确定的设备300的取向是正面朝上并且近似与方位角水平，则控制器310可以确定第一光圈320将被用于第一设备模式(使用低功率图像传感器的对象检测)和用于第二设备模式(使用高功率图像传感器的面部识别)。以此方式，控制器310可以在等待脸部处于视场中时将设备模式设置为第一设备模式，并且控制器310可以控制光学元件304，使得将来自第一光圈320的光朝向第一图像传感器302引导。当控制器310检测到场景中朝向第一图像传感器302的视场中心的面部(或其他对象)时，控制器310可以切换设备模式以开始使用第二图像传感器303进行图像捕获。在切换设备模式时，控制器310可以初始化第二图像传感器303或使第二图像传感器303离开不活动状态。控制器310还可以切换OE模式，以便将来自第一光圈320的光朝向第二图像传感器303引导。然后可以使用来自第二图像传感器303的图像来执行面部识别。
如果设备300取向是正面向下朝向表面，则第一光圈320朝向表面。可以根据磁力计测量结果、来自第一图像传感器302或第二图像传感器303的光强度信息、或来自其他合适的取向传感器的测量结果来确定取向。在该示例中，可能期望使用第二光圈322在第一设备模式期间进行对象检测，并且在第二设备模式期间进行面部识别。控制器310可以控制光学元件304以在第一设备模式期间将来自第二光圈322的光朝向第一图像传感器302引导，并且在第二设备模式期间将来自第二光圈322的光朝向第二图像传感器303引导。
图像信号处理器312可以被配置为处理来自第一图像传感器302和第二图像传感器303的所捕获图像。在一些实施方式中，图像信号处理器312包括图像处理管线的一个或多个滤波器，且滤波器可以基于来自处理器305的指令来配置。例如，图像信号处理器312可以包括降噪滤波器、边缘增强滤波器、图像稳定滤波器、颜色校正滤波器以及在处理期间应用于图像或视频的其他滤波器。
在一些方面中，图像信号处理器312可以执行来自存储器的指令(例如，来自存储器306的指令308或在耦合到或包括在图像信号处理器312中的单独存储器中存储的指令)。在一些其他方面中，图像信号处理器312可以包括用于执行本公开内容中描述的一个或多个操作的特定硬件。在一些另外的方面中，图像信号处理器312可以包括特定硬件和执行软件指令的能力的组合。
可以以某种方式调整光学元件304以在OE模式之间进行切换。例如，光学元件304可以包括反射表面(例如反射镜)或折射元件(例如五棱镜)，以在第一OE模式期间将来自第一光路301的光引导到第一图像传感器302。当向第二OE模式进行切换时，可以平移、旋转或以其他方式调整光学元件304，以不使来自第一光路301的光被引导到第一图像传感器302。例如，在第二OE模式期间，可以将来自第一光路301的光引导到第二图像传感器303。
如果设备300包括第二光圈322和第二光路324，则光学元件304可以配置为在第一OE模式期间将来自第二光路324的光引导到第二图像传感器303。例如，光学元件304可以包括第二反射面或第二折射元件，以在第一OE模式期间将来自第二光路324的光引导到第二图像传感器303。当向第二OE模式进行切换时，可以平移、旋转或以其他方式调整光学元件304，以不使来自第二光路324的光被引导到第二图像传感器303。例如，在设备300的第二模式期间，可以将来自第二光路324的光引导到第一图像传感器302。
以此方式，当处于第一OE模式中时，可以将沿第一光路301的光引导到第一图像传感器302，而当处于第二OE模式中时，可以将沿第一光路301的光引导到第二图像传感器303。参考图4A-6H更详细地描述光学元件的示例操作和配置。
如本文所述，一个或多个光圈320和324可以以任何合适的方式定向，并且图像传感器302和303可以被配置用于任何合适的目的。第一光圈320可以在设备300的任一侧。例如，第一光圈320可以与智能电话上的显示屏并置(设备的正面)，或者第一光圈320可以位于智能电话的与显示屏相反的一侧(设备的背面)。如果设备300包括光圈320和324两者，则根据使用图像传感器302和303执行的操作，光圈可以在任何合适的侧面上，并且可以在相同侧上或不同侧上。图3B-3G示出了光圈的一些示例配置和用于多个图像传感器的一些示例操作和使用情况。虽然图3B-3G中的示例设备被图示为智能电话，但是任何合适的设备或组件配置可以用于执行本公开内容的各方面。附图中的示例设备是图3A中的设备300的示例实施方式，但是可以使用任何合适的设备或配置。
图3B示出了在第一侧上具有第一光圈332并且在第二侧上具有第二光圈334的设备330的图示。在该示例中，第一光圈332在智能电话的包括显示屏331的一侧上。第二光圈334在智能电话的与显示屏331相反的一侧上。第一光圈332可以用于前向图像捕获(例如，用于捕获自拍图像、捕获用于对象检测和面部识别的图像、等等)，并且第二光圈334可以用于后向图像捕获(例如，用于捕获群组图像、横向的图像、等等)。
设备330被配置为在第一图像传感器302与第二图像传感器303之间切换以接收来自第一光圈332的光。在一个示例中，如果第一图像传感器302是低功率图像传感器且第二图像传感器303是高功率图像传感器，则设备模式可以基于设备300是否处于低功率模式中。在另一示例中，如果第一图像传感器302被配置用于利用远摄FOV捕获图像(例如，基于被配置为将光引导到第一图像传感器302上的一个或多个透镜或第一图像传感器302的尺寸)，并且第二图像传感器303被配置为用于利用宽FOV捕获图像(例如，基于被配置为将光引导到第二图像传感器303上的一个或多个透镜或第二图像传感器303的尺寸)，则选择设备模式可以是基于用于图像或视频的期望FOV的。结果，设备330被配置为基于选择哪个图像传感器来调整用于图像捕获的FOV(在远摄FOV和宽FOV之间)。在一个示例中，可以基于模式之间的切换来调整用于要(从第一光圈332)捕获的自拍图像的FOV。在另一示例中，如果第一图像传感器302被配置用于利用第一光学变焦或第一景深(例如，基于耦合到第一图像传感器302的一个或多个透镜)来捕获图像，并且第二图像传感器303被配置用于利用第二光学变焦或第二景深(例如，基于耦合到第二图像传感器303的一个或多个透镜)来捕获图像，则设备330被配置为基于设备模式来调整用于图像捕获的光学变焦或景深。以此方式，可以基于设备模式之间的切换来调整用于要(从第一光圈332)捕获的自拍图像的光学变焦或景深。何时在设备模式之间进行切换可以基于用户输入，或者设备330自动确定何时进行切换(例如，基于不同FOV内的对象跟踪、当执行用于图像捕获的变焦功能时对变焦系数的改变、等等)。
当第一光圈332耦合到第一图像传感器302时(例如在第一OE模式期间)，设备330背面的第二光圈334可以耦合到第二图像传感器303。相反，当第一光圈332耦合到第二图像传感器303时(例如在第二OE模式期间)，第二光圈334可以耦合到第一图像传感器302。以此方式，如果设备330在调整FOV、光学变焦或景深时切换OE模式，则设备330可以调整FOV、光学变焦或景深，以便从设备330的背面进行图像捕获。例如，通过基于图像中要捕获的目标对象的深度切换OE模式，可以调整用于使用第二光圈334的图像捕获的景深。在另一示例中，通过基于要捕获的图像类型(例如，用于人的图像捕获的远摄FOV和用于横向的图像捕获的宽FOV)切换OE模式，可以调整用于使用第二光圈334的图像捕获的FOV。何时在设备模式或OE模式之间进行切换可以是基于用户输入或者设备330自动地确定何时切换的(例如，基于自动地检测要捕获的对象或场景及其深度、相对于FOV的大小、等等)。以此方式，基于设备330的模式，前向图像(使用第一光圈332捕获)和后向图像(使用第二光圈334捕获)二者可以具有可调整的FOV、光学变焦、景深、等等。
在一些其他实施方式中，第一光圈和第二光圈可在设备的相同侧上。图3C示出了在包括显示屏336的一侧上具有第一光圈337和第二光圈338的设备335的图示。图3D示出了在与显示屏相反的一侧上具有第一光圈341和第二光圈342的设备340的图示。第一图像传感器302可以在第一OE模式期间接收来自第一光圈337或341的光，而第二图像传感器303可以在第二OE模式期间接收来自第一光圈337或341的光。相反，第一图像传感器302可以在第二OE模式期间接收来自第二光圈338或342的光，而第二图像传感器303可以在第一OE模式期间接收来自第二光圈338或342的光。在图3C中，第一光圈337与第二光圈338分隔开距离339。在图3D中，第一光圈341与第二光圈342分隔开距离343。
如果第一光圈337或341和第二光圈338或342被配置为接收来自场景的相同(或重叠)部分的光，则第一光圈337或341和第二光圈338或342可以被图像传感器用于从不同视角捕获场景部分的图像。例如，如果第一光圈337在第一OE模式期间耦合到第一图像传感器302，并且第二光圈338在第二OE模式期间耦合到第一图像传感器302，则可以基于切换OE模式来调整用于使用第一图像传感器302进行图像捕获的视角。类似地，可以基于切换OE模式来调整用于使用第二图像传感器303进行图像捕获的视角。
可以在设备模式期间切换OE模式。以此方式，处于第一设备模式中的设备使用第一图像传感器302来捕获图像或视频，并且第一图像传感器302可以在第一设备模式期间基于OE模式从不同的视角捕获图像。
设备可以被配置为使用用于由第一图像传感器302和/或第二图像传感器303进行图像捕获的视角的差异，来进行立体成像或视觉。例如，设备可以在第一OE模式和第二OE模式之间交替，并且因此第一图像传感器302在从第一视角捕获一个或多个图像和从第二视角捕获一个或多个图像之间交替。在第一OE模式期间捕获的图像可以与在第二OE模式期间捕获的图像进行配对，并且图像之间的视差可以用于生成三维图像。如果设备以足够的速率(例如每秒10到60次)交替，则可以为三维视频生成三维图像流。
在一些实施方式中，当第一图像传感器302为低功率图像传感器且第二图像传感器303为高功率图像传感器时，第一图像传感器302可以用于在第一设备模式期间进行场景分析，且第二图像传感器303可以用于在第二设备模式期间进行场景分析之后的图像捕获。例如，低功率图像传感器的图像可以用于确定第二图像传感器303的曝光设置或其他合适的捕获设置。设备可以切换到第二设备模式，其中，使用所确定的捕获设置来配置第二图像传感器303。在设备的相同侧上的光圈可以与不同的视角、不同的FOV、不同的景深或其他不同的特性相关联。以此方式，控制器310可以基于期望哪个视角、FOV、景深或其他特性用于图像捕获，来确定OE模式。在第一设备模式中，将来自期望的光圈的光朝向第一图像传感器302引导。在第二设备模式中，控制器310可以切换OE模式，以便将来自期望光圈的光朝向第二图像传感器303引导。
当第一图像传感器302被配置为从第一光圈337或341接收光时，第二图像传感器303可以被配置为从第二光圈338或342接收光。以此方式，第一图像传感器302和第二图像传感器303同时捕获场景的重叠部分(或相同部分)的图像。在一些实施方式中，第一图像传感器302可以被配置为捕获用于三维成像的图像，且第二图像传感器303可以被配置为辅助用于配置第一图像传感器302及其图像处理管线的一个或多个操作。例如，设备执行自动聚焦、自动曝光或自动白平衡(AWB)操作(3A操作)中的一个或多个，以确定聚焦设置、曝光设置或AWB设置。来自第二图像传感器303的捕获可以用于确定第一图像传感器302(及其相关联的图像处理管线)的自动聚焦、自动曝光或AWB设置。
在一些其他实施方式中，第一图像传感器302可以与具有第一FOV、第一光学变焦或第一景深的三维成像相关联，并且第二图像传感器303可以与具有第二FOV、第二光学变焦或第二景深的三维成像相关联。设备330可以同时生成具有不同FOV、变焦系数或景深的三维图像。在生成三维视频(包括一系列三维图像)的一些实施方式中，设备可以在设备模式之间进行切换。以此方式，设备可以在使用从来自第一图像传感器302的图像生成的三维图像与从来自第二图像传感器303的图像生成的三维图像之间切换以生成视频。以此方式，设备可以调整视频中的场景的FOV、变焦或景深。
作为第一光圈337或341被配置为接收来自场景中与第二光圈338或342相同部分的光的替代，第一光圈337或341和第二光圈338或342可以被配置为接收来自场景的不同部分的光。例如，当设备340处于纵向取向时，第一光圈341可以被配置为接收来自场景的顶部部分的光，并且第二光圈可以被配置为接收来自场景的底部部分的光。在互补图像中的场景的不同部分可以被拼接在一起以生成更宽的FOV图像。出于拼接的目的，顶部部分和底部部分可以具有一些重叠。
在第一OE模式中，第一图像传感器302被配置为捕获场景的顶部部分的一个或多个图像。在第二OE模式中，第一图像传感器302被配置为捕获场景的底部部分的一个或多个图像。在第一OE模式期间由第一图像传感器302捕获的图像可以与在第二OE模式期间由第一图像传感器302捕获的图像配对，并且可以将配对的图像组合(例如拼接在一起)以增大使用第一图像传感器302生成的图像的FOV。以此方式，设备340可以被配置为在不需要用户移动设备340的情况下生成全景图像。在一些实施方式中，来自第二图像传感器303的捕获可以用于确定第一图像传感器302(及其相关联的图像处理管线)的自动聚焦、自动曝光或AWB设置。在一些其他实施方式中，第二图像传感器303被配置为利用与第一图像传感器302不同的变焦系数或景深来捕获图像。以此方式，设备340可以被配置为利用不同变焦系数或景深生成全景图像。调整变焦系数或景深可以是基于设备340切换设备模式(并且因此要使用哪个图像传感器)的。类似于具有可调整变焦系数或景深的三维视频的示例，具有较大FOV的视频可以包括基于在使用第一图像传感器302和第二图像传感器303生成的图像之间的切换的可调整变焦系数或景深。
返回参考图3B，如果光圈332和334在设备330的不同侧，则设备330可以被配置用于从不同设备侧同时进行图像捕获(例如，使用第一光圈332的自拍图像捕获和使用第二光圈334的横向的图像捕获)。这样，显示屏331上的图形用户界面(GUI)可以被配置用于用户指示期望从哪一侧进行图像捕获以及图像捕获的一个或多个特性，例如FOV、变焦系数或景深(其可以影响要选择哪个设备模式)。
图3E示出了对设备345在从设备345的第一侧进行图像捕获和从设备345的第二侧进行图像捕获之间进行切换的图示。设备345可以是图3B中的设备330的示例实施方式。基于设备345执行相机应用程序，显示屏346可以显示用于相机应用程序的GUI。GUI可以包括快门按钮347，以供用户用于指示设备345何时捕获图像或视频(例如从由第一图像传感器302捕获的图像帧流或从由第二图像传感器303捕获的图像帧流进行捕获)。在第一OE模式中，第一图像传感器302可以从设备345的正面捕获图像(例如使用图3B中的第一光圈332)，并且第二图像传感器303可以从设备345的背面捕获图像(例如使用图3B中的第二光圈334)。在切换OE模式时，第一图像传感器302从设备345的背面捕获图像，而第二图像传感器303从设备345的正面捕获图像。
第一图像传感器302和第二图像传感器303可以同时从设备345的正面和背面捕获图像。在图像传感器302和303两者同时捕获图像帧流的情况下，用户可以确定从哪一侧捕获图像或视频。例如，显示屏346可以基于用户打算使设备345生成图像的方向，来显示来自第一图像传感器302或第二图像传感器303的图像帧的预览。在图3E的左侧，设备345显示可以由第一图像传感器302捕获的自拍图像的预览。如果用户打算从设备345的背面捕获图像，则用户可以选择相机切换348。GUI中的相机切换348可以是按钮(如所示出的)、滚轮、滑块或其他交互式对象，并且可以被配置为接收任何合适的用户输入(例如，在显示屏346上的敲击、在显示屏346上的挥动、设备345的摇动、听觉命令、等等)。当用户按下相机切换348时，设备345可以显示来自第二图像传感器303的图像捕获流的预览。
第一图像传感器302可以与捕获具有第一FOV、第一变焦系数或第一景深的图像相关联，并且图像传感器303可以与捕获具有第二FOV、第二变焦系数或第二景深的图像相关联。用户可以指示优选的FOV、变焦系数或景深。例如，用户可以使用选择工具349来指示用于要捕获的图像的变焦系数(诸如按下“-”以缩小以及按下“+”以放大)。然后可以基于变焦系数来确定设备模式。例如，如果第一图像传感器302与0x光学变焦相关联(透镜不放大场景以供图像传感器302进行图像捕获)且第二图像传感器303与5x光学变焦相关联(一个或多个透镜放大场景以在由图像传感器303捕获的图像中显现五倍大)，则第一图像传感器302可以用于针对小于0x与5x之间的阈值的用户选定变焦系数进行图像捕获。如果设备345要捕获自拍图像并且变焦系数小于阈值，则设备345处于用于自拍图像捕获的第一设备模式中。第二图像传感器303可以用于针对大于阈值的用户选定变焦系数的图像捕获。如果捕获自拍图像的设备345接收到关于大于阈值的变焦系数的指示，则设备345处于用于自拍图像捕获的第二设备模式中。在一些其他实施方式中，用户可以明确地指示用于图像捕获的模式(或要使用的图像传感器)。
使设备模式基于FOV、变焦系数或景深的情况也可以应用于两个光圈都在设备的相同侧的图3C中的设备335或图3D中的设备340。例如，用户可以指示期望的FOV、变焦系数或景深，并且用于图像捕获的图像传感器可以是基于用户指示的。图3F示出了设备350调整用于由设备350捕获的图像的FOV或变焦系数的图示。设备350可以是图3D中的设备340的示例实施方式，因此包括在设备350的背面上的两个光圈。显示屏351显示用于相机应用程序的GUI，并且GUI可以包括快门按钮352以指示设备350何时捕获图像或视频。GUI还可以包括选择工具353，以指示FOV或变焦系数。对于变焦系数示例，第一图像传感器302可以与0x变焦系数相关联，并且第二图像传感器303可以与5x变焦系数相关联。用户可以通过按压选择工具353上的T、将选择工具353中间的滑块朝向T移动、在选择工具353上向右挥动、提供触觉或听觉指令或其他合适的输入，来放大要捕获的图像。对于FOV示例，第一图像传感器302可以与比第二图像传感器303更大的FOV相关联。用户可以通过按压选择工具353上的W(例如用于广角)、将选择工具353中间的滑块移向W、在选择工具353上向左挥动、提供触觉或听觉指令或其他合适的输入，来增大要捕获的图像的FOV。显示屏351还基于用户指示的变焦系数或FOV来显示要捕获的图像的预览。
参考光学变焦示例，第一图像传感器302(与例如0x光学变焦相关联)还是第二图像传感器303(与例如5x光学变焦相关联)要用于捕获图像是基于所指示的变焦系数的。例如，如果所指示的变焦系数小于阈值，则可以使用第一图像传感器302，并且如果所指示的变焦系数大于阈值，则可以使用第二图像传感器303。如本文所述，第一设备模式是指使用第一图像传感器302进行图像捕获，并且第二设备模式是指使用第二图像传感器303进行图像捕获。以此方式，第一模式可以指使用第一图像传感器302进行三维成像、较宽FOV成像等等(其中，设备350在使用不同光圈来捕获相关联的图像帧之间进行切换)，并且第二模式可以指使用第二图像传感器303进行三维成像、较宽FOV成像等等(其中，设备350在使用不同光圈来捕获相关联的图像帧之间进行切换)。因此，第一图像传感器302可以在第一模式的第一部分期间与第一光圈相关联，并且可以在第一模式的第二部分期间与第二光圈相关联，以进行三维成像和较宽FOV成像。相反，第二图像传感器303可以在第二模式的第一部分期间与第一光圈相关联，并且可以在第二模式的第二部分期间与第二光圈相关联，以进行三维成像和较宽FOV成像。
如针对图3E和图3F所描述的，设备可以基于设备模式来调整FOV、变焦系数、景深或另一合适的特性。在一些其他实施方式中，第一图像传感器和第二图像传感器可以用于布克效应或基于景深的其他效应。例如，返回参考图3C，如果设备335被配置用于三维成像，第一图像传感器302与第一景深相关联，并且第二图像传感器303与第二景深相关联，则设备335可以使用景深的差异来对三维或较宽FOV的自拍图像应用布克效应(例如，模糊或以其他方式调整人的背景)。
设备模式之间的不同图像捕获特性可以是基于图像传感器以及耦合到图像传感器的组件之间的差异的。以此方式，除FOV、变焦系数和景深之外的特性可以基于设备模式。例如，如果第一图像传感器302耦合到彩色CFA且第二图像传感器303未耦合到滤光器，则第一模式可与彩色成像(使用第一图像传感器302)相关联且第二模式可以与灰度级成像(使用第二图像传感器303)相关联。
虽然上文描述了共享一个或两个光圈和光路的两个图像传感器，但设备可以包括共享任何数量的光圈和光路的任何数量的图像传感器。例如，设备300可以包括由第一图像传感器302和第二图像传感器303共享的第三光路。在另一示例中，设备300可以包括第三图像传感器以共享第一光路301。在一些另外的示例中，共享光路的两个图像传感器的多个系统可以包括在设备中。例如，设备300可以包括四个图像传感器。第一图像传感器302和第二图像传感器303共享第一光路301。第三图像传感器和第四图像传感器可以共享第三光路(类似于共享光路的第一和第二图像传感器)。以此方式，设备300可以具有四个光圈(包括第一光圈320和第二光圈322)。
图3G示出了在包括显示屏362的一侧具有第一光圈364和第三光圈368以及在与显示屏362相反的一侧具有第二光圈366和第四光圈370的设备360的图示。第一光圈364和第二光圈366可由第一图像传感器和第二图像传感器共享(类似于图3B)。另外，第三光圈368和第四光圈370可由第三图像传感器和第四图像传感器共享。第一图像传感器和第二图像传感器可以与第一光学元件相关联，并且第二、第三和第四图像传感器可以与第二光学元件相关联。在一些实施方式中，第一光学元件的第一OE模式对应于第二光学元件的第一OE模式。以此方式，光学元件可以同时切换OE模式。
在一些实施方式中，第三图像传感器可与第一图像传感器互补(例如，以辅助执行第一图像传感器的3A操作)，且第四图像传感器可与第二图像传感器互补。例如，第一图像传感器和第三图像传感器可以与相同的FOV、变焦系数或景深相关联，并且第二图像传感器可以与不同的FOV、变焦系数或景深相关联。第四图像传感器可以与和第二图像传感器相同的FOV、变焦系数或景深相关联。第三图像传感器和第四图像传感器可以被配置为基于同时切换光学元件的OE模式，分别从与第一图像传感器和第二图像传感器相同的设备侧捕获图像。以此方式，互补图像传感器可以用于第一图像传感器或第二图像传感器的一个或多个3A操作。
在一些其他实施方式中，可以将第一图像传感器和第三图像传感器的图像捕获对准，且经对准的图像可以用于立体成像。类似地，可以将第二图像传感器和第四图像传感器的图像捕获对准，且经对准的图像可以用于立体成像。以此方式，设备360可以被配置为从设备360的正面或背面执行立体成像。
在一些其他实施方式中，每个图像传感器可以用于图像或视频捕获。例如，设备360可以包括四种设备模式。第一图像传感器到第四图像传感器的至少一个子集可以与FOV、变焦系数、景深、彩色图像捕获、灰度级图像捕获或其他图像捕获特性的不同组合相关联。以此方式，四种设备模式中的一种设备模式可以指使用与期望FOV、变焦系数、景深或其他捕获特性相关联的图像传感器之一。
在一些其他实施方式中，第一光圈364和第三光圈368可以由第一图像传感器和第二图像传感器共享(类似于图3C)。此外，第二光圈366和第四光圈370可以由第三图像传感器和第四图像传感器共享(类似于图3D)。以此方式，设备360可以被配置用于从设备360的两侧进行三维成像或较宽FOV成像(如参考图3D所描述的)。
对于图3B-图3G中的任何设备配置，对于特定的图像传感器，变焦系数或景深是可调整的。例如，第一图像传感器可以耦合到一个或多个透镜，且可以调整透镜位置以改变第一图像传感器与一个或多个透镜之间的距离。在另一示例中，第一图像传感器可以被配置为相对于一个或多个透镜移动以调整距离。以此方式，第一图像传感器的焦距可以是可调整的以调整景深。下面参考图7B、7C、7E和7F描述调整透镜位置。
如本文所述，在特定时间点哪个光圈与哪个图像传感器相关联可以是基于光学元件的OE模式的。OE模式之间的切换可以基于调整光学元件(例如，在不同取向之间旋转光学元件、在不同位置之间移动光学元件、或向光学元件施加电流或其他激励)。
当切换OE模式包括旋转光学元件时，在第一OE模式期间，光学元件可以具有相对于从第一光路接近光学元件的光的第一取向，而在第二OE模式期间，光学元件可以具有相对于来自第一光路的光的第二取向。设备控制器(例如控制器310)被配置为当在OE模式之间进行切换时使光学元件的取向被调整。
图4A示出了示例设备400部分的横截面，其例示了在第一OE模式期间与第一光路406相关联的第一图像传感器402。第一图像传感器402基于光学元件414具有第一取向而与第一光路406相关联。图4B示出了设备400部分的截面，其例示了在第二OE模式期间与第一光路406相关联的第二图像传感器404。第二图像传感器404基于光学元件414具有第二取向而与第一光路406相关联。
参考图4A，光学元件414被配置为将来自第一光路406(经由第一光圈410接收)光引导到第一图像传感器402。光学元件414可以折射和/或反射光，以便将来自第一光路406光引导到第一图像传感器402。例如，光学元件414可以包括反射表面以将来自第一光路406的光反射到第一图像传感器402。在另一示例中，光学元件414可以包括具有合适形状和折射率的棱镜，以将来自第一光路406的光折射到第一图像传感器402。第一光路可以耦合到同样被配置为引导来自第一光路406的光的一个或多个组件418。例如，组件418可以包括反射表面以将来自第一光路406的光引导到光学元件414。光学元件414(以及任何组件418)可以处于任何合适的取向和配置，以在第一OE模式期间将来自第一光路406的光引导到第一图像传感器402。设备400还包括第二图像传感器404。当处于第一OE模式中时，第二图像传感器404不接收来自第一光路406的光。在所例示的示例设备400中，光学元件414阻挡来自第一光路406的光到达第二图像传感器404(其中，光改为被引导到第一图像传感器402)。
在一些实施方式中，设备400进一步包括耦合到第二光路408的第二光圈412。第二光圈412被例示为在设备400的与第一光圈410相反的侧面上，但是第二光圈412可以被定位在设备400的任何合适的侧面上。虽然未示出，但是第二光路408可以耦合到被配置为将来自第二光路408的光引导到光学元件414的一个或多个组件(例如，类似于组件418)。光学元件414可以被配置为折射和/或反射光以便将来自第二光路408的光引导到第二图像传感器404。例如，光学元件414可以包括第二反射表面，以将来自第二光路408的光引导到第二图像传感器404。在另一示例中，光学元件414的棱镜可以被配置为基于棱镜的形状和棱镜的折射率将来自第二光路408的光引导到第二图像传感器404。
光学元件414可以包括或耦合到致动器416，以控制光学元件414的旋转。在一些实施方式中，致动器416包括或耦合到旋转电机或其他装置以移动光学元件414，并且致动器416由控制器(诸如图3A中的控制器310)控制。例如，当从第一OE模式向第二OE模式进行切换时，控制器310指示致动器416将光学元件414从第一取向(例如图4A所示)旋转到第二取向。图4A和4B(以及后面的附图)中的示例可以提及光学元件相对于第一光路的取向。虽然图4A和4B(以及后面的图)中的示例可以提及光学元件相对于第一光路的取向，但是光学元件的取向可以是相对于任何合适的设备组件或设备内的合适基准的。例如，该取向可以相对于图像传感器的取向、相对于发射器的取向、相对于从光路接近光学元件的光的方向、等等。
图4B示出了图4A中的设备400部分的横截面，其中，光学元件414具有用于第二OE模式的示例第二取向。在第二OE模式期间，设备400被配置为将来自第一光路406的光引导到第二图像传感器404。如果设备400包括耦合到第二光路408的第二光圈412，则设备400还被配置为将来自第二光路408的光引导到第一图像传感器402。
在一些实施方式中，在第二OE模式期间，光学元件414可以相对于从第一光路406接收的光是垂直的(在容差内)。虽然图4B示出了用于第二OE模式的光学元件414的一个示例取向，但是可以使用任何合适的取向。例如，在一些其他实施方式中，第二取向使得光学元件414垂直于来自第二光路408的光。在一些其他实施方式中，第二取向使得光学元件414被定向为使得不将来自第一光路406的光和来自第二光路408的光引导到光学元件414。例如，第二取向可以相对于第一取向而在致动器416的相反侧上。以此方式，当在第一OE模式和第二OE模式之间进行切换时，致动器可以使光学元件414旋转180度。
在一些实施方式中，光学元件414可以包括基于光学元件414相对于接近光学元件414(例如，来自第一光路406)的光的取向的折射率、反射率或透明度。例如，光学元件414对于在第一取向上接近光学元件414的光可以是反射的，并且光学元件414对于在第二取向上接近光学元件414的光可以是透明的。例如，光学元件414对于以零入射角(如图4B中所示)接近光学元件414的光是透明的，并且光学元件414对于以非零入射角(例如，如图4A中所示的45度入射角)接近光学元件414的光是反射的。
在一些实施方式中，光学元件414是涂覆在至少一侧上以形成反射表面的透明材料或衬底(例如，玻璃、透明塑料等等)。该涂层(也称为光学涂层)可以包括膜，该膜基于接近该膜的光的入射角而导致不同的折射角。例如，当光学元件414相对于第一光路406处于第一取向时，膜可以与来自第一光路406的光的折射的临界角相关联，并且当光学元件414相对于第一光路406处于第二取向时，膜可与来自第一光路406的光的折射的零角相关联。光学涂层可以是任何合适的材料。在一些实施方式中，光学涂层可以包括材料(例如氧化物、金属等等)的薄层的组合。光学涂层的性能(例如反射率、透明度、临界角等等)可以基于层的数量、每层的厚度和层之间的折射率差。例如，可以通过以交替的方式在透明衬底(例如玻璃)上沉积介电材料和金属材料的薄膜来形成光学涂层。材料可以在较高折射率和较低折射率之间交替。示例薄膜可以包括氟化镁(MgF2)、五氧化二钽(Ta2O5)和氧化铝(Al2O3)。
基于涂层的可变折射率并且基于入射光的入射角，光学元件414可以被配置为将来自第一光路406的光引导到第一图像传感器402(如图4A中所示)，并且光学元件414可以被配置为允许来自第一光路406的光穿过它到达第二图像传感器404(如图4B中所示)。如果设备400包括耦合到第二光路408的第二光圈412，则光学元件414可以在第二侧上包括类似涂层。以此方式，光学元件414可以被配置为将来自第二光路408的光引导到第二图像传感器404(如图4A中所示)，且光学元件414可以被配置为允许来自第一光路406的光穿过其到达第二图像传感器404(如图4B中所示)。
图4A和4B示出了第一光圈410和第二光圈412在设备400的不同侧上。在一些实施方式中，光圈可以在设备的相同侧上，例如图4C和图4D所例示的。图4C示出了示例设备部分的横截面，其例示了与第一光路426相关联的第一图像传感器422。图4D示出了示例设备部分的横截面，其例示了与第一光路426相关联的第二图像传感器424。设备420可以类似于设备400，除了第一光圈430与第二光圈432在设备420的相同侧上。以此方式，第一图像传感器422可以类似于第一图像传感器402，第二图像传感器424可以类似于第二图像传感器404，第一光路426可以类似于第一光路406，第二光路428可以类似于第二光路408，光学元件434可以类似于光学元件414，且致动器436可以类似于致动器416。设备420可以包括用于在设备420中引导光的一个或多个合适的组件438。图4A和4B可以例示用于图3B中的设备330的示例组件配置，并且图4C和4D可以例示用于图3C中的设备335或用于图3D中的设备340的示例组件配置。
如本文所述，设备可以包括用于图像传感器的多个系统以共享光路。例如，设备可以包括图4A中的组件的多个实例(或图4C中的组件的多个实例)。图4E示出了示例设备部分的横截面，其例示了与第一光路446相关联的第一图像传感器442和与第三光路466相关联的第三图像传感器462。基于光学元件454相对于第一光路446处于第一取向，光学元件454可以将来自第一光路446的光引导到第一图像传感器442。基于光学元件474相对于第三光路466处于第一取向，光学元件474可将来自第三光路466的光引导到第三图像传感器462。在一些实施方式中，基于光学元件454处于第一取向，光学元件454还可以将来自第二光路448的光引导到第二图像传感器444，且基于光学元件474处于第一取向，光学元件474可以将来自第三光路466的光引导到第三图像传感器462。比较图4E与图4A，组件458和478可以类似于组件418，光学元件454和474可以类似于光学元件414，并且致动器456和476可以类似于致动器416。
图4F示出了示例设备部分的横截面，其例示了与第一光路446相关联的第二图像传感器444和与第三光路466相关联的第三图像传感器462。光学元件454(在相对于第一光路446的第二取向上)可以允许来自第一光路446的光到达第二图像传感器444，且光学元件474(在相对于第三光路466的第二取向上)可以允许来自第三光路466的光到达第四图像传感器464。在一些实施方式中，光学元件454还可以允许来自第二光路448的光到达第一图像传感器442，且光学元件474可以允许来自第四光路468的光到达第三图像传感器462。比较图4F与图4B，组件458和478可以类似于组件418，光学元件454和474可以类似于光学元件414，并且致动器456和476可以类似于致动器416。
在一些实施方式中，一个光学元件可以由图像传感器442、444、462和464共享。例如，图像传感器可以被定位成使得可以旋转一个较大的光学元件以如图4E或图4F所示地来引导光。在一些其他实施方式中，第一光圈450和第二光圈452可以在设备440的相同侧上，且/或第三光圈470和第四光圈472可在设备440的相同侧上。
图5A-7F示出了包括第二光圈和第二光路的设备。然而，这些图示是为了清楚地解释本公开内容的各方面。如图3A-4B所示，设备不需要包括第二光圈和第二光路。另外，虽然在图5A-7F中示出了图像传感器之间共享的光路的一个实例，但是在设备中可以包括任何数量的实例(例如图4E和4F中所示)。例如，代替图4E中的旋转多个光学元件，多个光学元件都可以被平移、施加电流，或以另一种方式进行调整。不同实例中的不同光学元件改变状态的方式可以不同或相同(例如，一个被旋转，一个被平移)。因此，本公开内容(包括图5A-7B中所示出的示例)不限于需要第二光圈和第二光路或限于多个图像传感器共享光路的仅一个实例。
在一些实施方式中，在第一OE模式期间，光学元件可以在设备中的第一位置，而在第二OE模式期间，光学元件可以在设备中的第二位置。设备控制器(例如，图3A中的控制器310)被配置为当在OE模式之间进行切换时使光学元件在第一位置与第二位置之间平移。图5A示出了示例设备500部分的横截面，其例示了当设备处于第一模式中时与第一光路506相关联的第一图像传感器502。基于光学元件514在设备500中的第一位置，第一图像传感器502与第一光路506相关联。图5B示出了示例设备500部分的横截面，其例示了当设备500处于第二模式中时与第一光路506相关联的第二图像传感器504。基于光学元件514在设备500中的第二位置，第二图像传感器504与第一光路506相关联。
参考图5A，光学元件514配置为在第一OE模式期间将来自第一光路506的光(经由第一光圈510接收)引导到第一图像传感器502。如果设备500包括被配置为沿第二光路508引导光的第二光圈512，则光学元件514可以被配置为在第一OE模式期间将来自第二光路508的光引导到第二图像传感器504。在一些实施方式中，光学元件514可以构造为类似于图4A和4B中的光学元件414。例如，光学元件514可以包括在一侧或多侧上涂覆有用于引导光的膜的透明衬底。在一些其他实施方式中，光学元件514可以包括单面反射镜或双面反射镜、棱镜或用于引导光的其他合适的物体。类似于图4A和4B，设备500可以包括一个或多个组件518，其被配置为将来自第一光路506(或第二光路508)的光引导到光学元件514。
光学元件514可以包括或耦合到致动器516，以在切换设备模式时将光学元件514从第一位置移动到第二位置。在一些实施方式中，致动器516包括或耦合到马达(例如，磁马达或步进马达)以移动光学元件514，并且致动器516由控制器(例如，图3A中的控制器310)控制。例如，控制器310控制致动器516，以在从第一OE模式切换到第二OE模式时，使光学元件514从第一位置(例如图5A所示)移动到第二位置。在一些实施方式中，光学元件514可以是磁性的，并且致动器516包括或耦合到一个或多个磁体，针对该一个或多个磁体，调整磁力以吸引或排斥光学元件514。在一些其他实施方式中，致动器516可以包括或耦合到弹簧系统、滑轮系统或其他机械装置，以在设备500中的位置之间移动光学元件514。
图5B示出了图5A中的设备500部分的横截面，其中，光学元件514在设备500中的示例第二位置。在第二OE模式期间，设备500被配置为将来自第一光路506的光引导到第二图像传感器504。如果设备500包括耦合到第二光路508的第二光圈512，则设备500还被配置为将来自第二光路508的光引导到第一图像传感器502。例如，光学元件514的第二位置可以被配置为使得光学元件514不在来自第一光圈510的光的路径中并且不在从第二光圈512接收的光的路径中。
图5A和5B示出了第一光圈510和第二光圈512在设备500的不同侧。类似于图4C和4D，光圈可以在设备的相同侧，例如图5C和图5D所例示的。图5C示出了示例设备部分的横截面，其例示了与第一光路526相关联的第一图像传感器522。图5D示出了示例设备部分的横截面，其例示了与第一光路526相关联的第二图像传感器524。设备520可以类似于设备500，除了第一光圈530与第二光圈532在设备520的相同侧上。以此方式，第一图像传感器522可以类似于第一图像传感器502，第二图像传感器524可以类似于第二图像传感器504，第一光路526可以类似于第一光路506，第二光路528可以类似于第二光路508，光学元件534可以类似于光学元件514，并且致动器536可以类似于致动器516。设备520可以包括用于在设备520中引导光的一个或多个合适的组件538。图5A和5B可以例示用于图3B中的设备330的示例组件配置，并且图5C和5D可以例示用于图3C中的设备335或用于图3D中的设备340的示例组件配置。
在一些实施方式中，光学元件的透明度和反射率(或折射率)基于向光学元件施加的电流。例如，当不向光学元件施加电流时，光学元件可以是透明的，并且当向光学元件施加电流时，光学元件可以是反射性的和/或折射性的。以此方式，光学元件可以耦合到电流源(例如电力轨)，并且电流源或用于将电流从电流源引导到光学元件的装置(例如开关)可以由设备控制器(例如图3A中的控制器310)控制。图6A示出了示例设备600部分的横截面，其例示了与第一光路606相关联的第一图像传感器602。基于是否向光学元件614施加电流，第一图像传感器602与第一光路606相关联。图6B示出了示例设备600部分的横截面，其例示了与第一光路606相关联的第二图像传感器604。基于是否向光学元件614施加电流，第二图像传感器604与第一光路606相关联。
参考图6A，光学元件614被配置为在第一OE模式期间将来自第一光路606的光(经由第一光圈610接收)引导到第一图像传感器602。设备600还可以包括被配置为向/从/沿第一光路606引导光的一个或多个组件618。如果设备600包括被配置为沿第二光路608引导光的第二光圈612，则光学元件614可以配置为在第一OE模式期间将来自第二光路608的光引导到第二图像传感器604。光学元件614可以被构造为使得光学元件614的透明度和反射率(或折射率)基于是否向光学元件614施加电流(例如，经由可由设备控制器(例如图3A中的控制器310)控制的电触点616)。
在一些实施方式中，光学元件614可以包括基于所施加的电流在透明度和反射率之间切换的可切换镜(在本文中被称为可变透射率玻璃)。可变透射率玻璃的示例实施方式包括包封氢(H2)气的镁镍(Mg-Ni)合金。当向Mg-Ni合金施加电流时，合金吸收氢气并变得透明。当从Mg-Ni合金移除电流时，合金消散氢气并变成反射性的。另一示例可变透射率玻璃包括悬浮颗粒器件(SPD)。SPD可以包括悬浮在液体中的纳米级颗粒。当向SPD施加电流时，颗粒以类似的取向排列/对准，以允许光穿过SPD。当从SPD移除电流时，颗粒未对准(例如，返回到它们先前的取向)，并且SPD变成反射性的。例如，当不施加电流时，颗粒可以是反射性的并且在透明液体中处于随机取向，从而是反射性的。当施加电流时，颗粒可以对准，使得从到达SPD的光的角度来看，每个颗粒的表面积减小或减到最小(允许光穿过透明液体)。SPD可以包括施加到透明衬底(例如玻璃)上的薄膜。可变透射率玻璃的一些其他实施方式包括电致变色镜。当向电致变色镜施加电流脉冲时，该镜在透明和不透明(例如反射)之间改变状态。例如，电致变色镜可以包括锂离子，其在每次向镜施加电流脉冲时改变取向。
虽然光学元件614被例示为基于向光学元件614施加的电流而改变状态，但是其他示例光学元件可以基于其他激励来切换状态。例如，光学元件的状态变化可以基于温度变化(例如施加热量)、磁性变化、压力变化、等等。因此，引起光学元件中的状态变化的激励不限于电流。
光学元件614可以包括或耦合到用于向光学元件614施加电流(或者将光学元件614维持在特定状态，或者使光学元件614改变状态)的电触点616。在一些实施方式中，电触点616耦合到电力轨或其他电流源，并且电流的施加可以通过在电源和电触点616之间的开关来控制。开关可以由控制器(例如图3A中的控制器310)控制。在一些示例中，控制器310可以控制光学元件614在对于第一OE模式是反射性的和对于第二OE模式是透明的之间进行切换。
图6B示出了图6A中的设备600部分的横截面，其中，光学元件614处于透明状态。在第二OE模式期间，设备600被配置为将来自第一光路606的光引导穿过光学元件614，并到达第二图像传感器604。如果设备600包括被配置为沿第二光路608引导光的第二光圈612，则设备600还被配置为将来自第二光路608的光引导穿过光学元件614并到达第一图像传感器602。
图6A和6B示出了第一光圈610和第二光圈612在设备600的不同侧上。类似于图4C和4D，光圈可以在设备的相同侧，例如图6C和图6D所例示的。图6C示出了示例设备部分的横截面，其例示了与第一光路607相关联的第一图像传感器603。图6D示出了示例设备部分的横截面，其例示了与第一光路607相关联的第二图像传感器605。设备601可以类似于设备600，除了第一光圈611与第二光圈613在设备601的相同侧上。以此方式，第一图像传感器603可以类似于第一图像传感器602，第二图像传感器605可以类似于第二图像传感器604，第一光路607可以类似于第一光路606，第二光路609可以类似于第二光路608，光学元件615可以类似于光学元件614，且电触点617可以类似于电触点616。设备601可以包括用于在设备601中引导光的一个或多个合适的组件619。图6A和6B可以例示用于图3B中的设备330的示例组件配置，并且图6C和6D可以例示用于图3C中的设备335或用于图3D中的设备340的示例组件配置。
图6E-6H示出了用于在OE模式之间切换的光学元件的其他示例实施方式。在一些实施方式中，横截面可以来自设备的顶部。例如，横截面可以来自纵向模式中的智能电话的顶部。以此方式，一个或多个图像传感器可以垂直于设备的正面和背面(例如智能电话的正面和背面)。然而，一个或多个图像传感器可以相对于设备定位在任何合适的平面上。例如，横截面可以来自设备的一侧(诸如纵向模式中的智能电话的一侧)，并且一个或多个图像传感器可以平行于设备的顶部和底部。在另一示例中，横截面可以来自设备的正面(诸如包括显示屏的智能电话的正面)，并且一个或多个图像传感器可以平行于设备的顶部、平行于设备的与顶部接界的侧面、或者沿着针对设备的顶部的平面与针对设备的侧面的平面之间的平面来定向。本公开内容不限于设备中的一个或多个图像传感器的特定取向。类似地，对于图4A-7F，本公开内容不限于设备中的一个或多个图像传感器的特定取向。
图6E示出了示例设备部分的横截面，其例示了与第一光路656相关联的第一图像传感器652。第一光圈660被配置为沿着第一光路656引导光，且第二光圈662可以被配置为沿着第二光路658引导光。针对第一OE模式相对于第一光路656处于第一取向的光学元件664将来自第一光路656的光引导到第一图像传感器652。
在一些实施方式中，示例设备650包括由至少两个光圈660和662共享的第一图像传感器652。在一些其他实施方式中，第一图像传感器652和任选的第二图像传感器654可以共享一个或多个光圈(例如，光圈660和任选的光圈662)。对于包括图像传感器652和654二者以及光圈660和662二者的示例设备，对于第一OE模式，光学元件664可以将来自第二光路658的光引导到第二图像传感器654。光学元件664可以类似于图4A中的光学元件414。
当在第一OE模式与第二OE模式之间进行切换时，致动器666可以将光学元件664旋转到相对于第一光路656的第二取向。除了致动器666沿朝向光学元件664的中心的轴线(而不是朝向光学元件的一端的轴线)旋转光学元件664之外，致动器666可以类似于图4A中的致动器416。图6F示出了示例设备部分的横截面，其例示了与第二光路658相关联的第一图像传感器652。如果设备650包括第二光圈662，则针对第二OE模式处于第二取向的光学元件664被配置为将来自第二光路658的光引导到第一图像传感器652。如果设备650包括第二图像传感器654，则针对第二OE模式处于第二取向的光学元件664可以被配置为将来自第一光路656的光引导到第二图像传感器654。在一些其他实施方式中，光学元件可以是棱镜或被移动或旋转以在OE模式之间进行切换的其他物体。
在一些实施方式中，代替旋转光学元件，光学元件可以是棱镜或被配置为基于向光学元件施加的激励来引导光的其他结构。图6G示出了示例设备部分的横截面，其例示了与第一光路676相关联的第一图像传感器672。除了所使用的光学元件的类型之外，设备670可以类似于图6E中的设备650。以此方式，第一图像传感器672可以类似于第一图像传感器652，任选的第二图像传感器674可以类似于任选的第二图像传感器654，第一光路676可以类似于第一光路656，任选的第二光路678可以类似于任选的第二光路658，第一光圈680可以类似于第一光圈660，且任选的第二光圈682可以类似于任选的第二光圈662。
虽然光学元件686被例示为基于经由电触点688和电触点690施加的电流而改变状态，但是可以使用并且可以以任何方式施加任何合适的激励。在一些实施方式中，光学元件686的第一部分包括当经由电触点688施加电流时具有第一取向的第一组分子，并且光学元件686的第二部分包括当经由电触点690施加电流时具有第一取向的第二组分子。虽然示出了两个电触点，但是可以使用任何合适数量的电触点(诸如一个或多个电触点)。当第一组分子和第二组分子处于第一取向时，光学元件686可以被配置为如图6G所示的引导光。当不施加电流时，第一组分子和第二组分子也可以具有第二取向。以此方式，当第一组分子和第二组分子处于第二取向时，光学元件686可以被配置为如图6H所示的引导光。图6H示出了图6G中的示例设备部分的横截面，其例示了与第一光路676相关联的第二图像传感器674。
在一些其他实施方式中，光学元件686可以包括组合在一起的两个或更多个光学元件的单独组件。例如，光学元件686的第一部分可以类似于图6A中的光学元件614。第一部分可以基于经由电触点688施加的电流来控制。光学元件686的第二部分可以类似于旋转90度的光学元件614。第二部分可以基于经由电触点690施加的电流来控制。以此方式，在OE模式之间的切换可以包括在对于第一OE模式经由触点688提供电流且不经由触点690提供电流与对于第二OE模式不经由触点688提供电流且经由触点690提供电流之间进行切换。
虽然在旋转光学元件、移动光学元件或向光学元件施加电流(或其他激励)的示例中示出了光学元件的调整，但是可以执行示例调整(或用于调整光学元件的其他合适的手段，例如施加热)的任何组合。例如，设备可以被配置为适当地平移和旋转光学元件。在另一示例中，设备可以被配置为旋转光学元件并且向光学元件施加电流。在一些实施方式中，光学元件可以被配置为基于用于光学元件的调整手段的组合而服务于两个以上光路或两个以上图像传感器。
如本文所提及的，第一图像传感器可以耦合到第一组一个或多个透镜，或第二图像传感器可以耦合到第二组一个或多个透镜。第一组或第二组可以被配置为使得第一图像传感器与不同于第二图像传感器的FOV、光学系数或景深相关联。在图7A-7F所示的示例中示出与一个或多个透镜相关联的第一图像传感器或第二图像传感器。图7A-7F中所示的以下示例例示了旋转的光学元件(类似于图4A和4B)。然而，光学元件的调整是光学元件的旋转是为了清楚地解释本公开内容的各方面。如果要调整光学元件，则可以以任何适当的方式(包括旋转、移动或基于激励改变状态)调整光学元件。
如本文所述，第一图像传感器可以与第一FOV、第一光学变焦或第一景深相关联，并且第二图像传感器可以与第二FOV、第二光学变焦或第二景深相关联。在一些实施方式中，第一图像传感器可被设置为接收穿过一个或多个透镜传播以实现相关联的FOV、光学变焦或景深的光。在一些实施方式中，第二图像传感器可被设置为接收穿过一个或多个透镜传播以实现相关联的FOV、光学变焦或景深的光。在一些其他实施方式中，第二图像传感器可以被配置用于相关联FOV、光学变焦或景深而不使用一个或多个透镜。
图7A示出了示例设备700部分的横截面，其例示了与一个或多个透镜720相关联的第一图像传感器702。一个或多个透镜720可以将光朝向第一图像传感器702引导并且调整用于图像捕获的FOV、变焦系数或景深。在一些实施方式中，设备700还可以包括与第二图像传感器704相关联的一个或多个透镜722。一个或多个透镜722可以将光朝向第二图像传感器704引导，并且调整用于图像捕获的FOV、变焦系数或景深。一个或多个透镜720(以及可任选地，一个或多个透镜722)可以以任何合适的方式被配置为将接收的光引导到第一图像传感器702(或第二图像传感器704)。如果设备700是智能电话，并且第一光圈710是前向的(例如与智能电话的显示屏一致)，则智能电话可以被配置为基于设备模式捕获具有不同特性(例如不同FOV、变焦系数或景深)的自拍图像。如果智能电话包括作为后向光圈的第二光圈712，则智能电话可以被配置为基于设备模式捕获具有不同特性(诸如不同的FOV、变焦系数或景深)的图像(诸如群组图像、横向场景的图像、等等)。设备700的其他组件(包括第一光路706、第二光路708和组件718)可以与图4A-4B中所例示的类似组件相似。
在一些实施方式中，与图像传感器相关联的一个或多个透镜可以相对于图像传感器移动。以此方式，可以基于移动一个或多个透镜来调整FOV、变焦系数或景深。图7B示出了示例设备730部分的横截面，其例示了与可移动透镜749相关联的第二图像传感器734。在一些实施方式中，可移动透镜包括一个或多个透镜。一个或多个透镜可以用于聚焦或变焦目的，或者用于其他合适的目的(例如调整FOV)。如果设备730是智能电话(或具有类似比例的设备)，则如果第一光圈740与第二图像传感器734之间的距离的至少一部分平行于智能电话的显示屏，则智能电话可以实现较长的该距离。以此方式，设备730可以包括用于相对于第二图像传感器734(或相对于一个或多个透镜中的另一透镜)移动一个或多个透镜的光学系统。虽然图7B中所示的示例示出了一个透镜749，但透镜749可以包括任何数量的透镜和用以使透镜相对于彼此或相对于第二图像传感器734移动的装置。
设备730包括用于移动透镜749的致动器747。移动透镜749可以针对第二图像传感器734的聚焦操作或用于调整第二图像传感器734的变焦系数。虽然未示出，但是第一图像传感器732也可以与一个或多个可移动透镜相关联。如所例示的，当设备730被配置为使用第二图像传感器734对从第二光圈742接收的光进行图像捕获时(例如在第一OE模式中)，可以相对于第二图像传感器734调整透镜749的位置。当设备730被配置为使用第二图像传感器734对从第一光圈740接收的光进行图像捕获时(例如在第二OE模式中)，也可以进行透镜749的位置调整。在一些实施方式中，设备控制器(例如图3A中的控制器310)被配置为控制致动器747。致动器747可以基于机械力、电力、磁力或其他合适的力来移动透镜749。例如，致动器747可以沿着远离第二图像传感器734具有不同位置的引导件移动透镜749。以此方式，控制器310可以控制透镜749的位置。
在一些实施方式中，第二图像传感器可以相对于一个或多个透镜移动。图7C示出了示例设备750部分的横截面，其例示了可相对于透镜769移动的第二图像传感器754。虽然透镜769被示出为不相对于设备750移动，但是透镜769也可以是可移动的。除了第二图像传感器754可移动之外，设备750可以类似于图7B中的设备730。在一些实施方式中，第二图像传感器754可以类似于透镜749的移动方式(图7B)来移动。例如，第二图像传感器754可以耦合到致动器767，并且致动器可以被配置为移动第二图像传感器754(诸如经由机械力、电力、磁力或其他合适的力)。以此方式，可以调整与第二图像传感器754相关联的FOV、变焦系数或景深。
图7A-7C示出了第一光圈和第二光圈在设备不同侧。然而，光圈可以在设备的相同侧，例如分别在图7D-7F中例示。图7D示出了示例设备701部分的横截面，其例示了与第一光路707相关联的第一图像传感器703。除了光圈711和713在设备的相同侧之外，设备701可以类似于图7A中的设备700。图7E示出了示例设备731部分的横截面，其例示了与第一光路737相关联的第一图像传感器733。除了光圈741和743在设备的相同侧之外，设备731可以类似于图7B中的设备730。图7F示出了示例设备770部分的横截面，其例示了与第一光路776相关联的第一图像传感器772。除了光圈780和782在设备的相同侧之外，设备770可以类似于图7C中的设备750。图7A-7C可以例示用于图3B中的设备330的示例组件配置，并且图7D-7F可以例示用于图3C中的设备335或用于图3D中的设备340的示例组件配置。
返回参考图3E和3F，设备是处于第一模式还是第二模式可以基于阈值变焦系数或阈值FOV。如果设备被配置为移动一个或多个透镜或图像传感器(例如图7B、7C、7E和7F中所示)，则设备可以通过移动一个或多个透镜或图像传感器来以增量方式调整光学变焦或FOV。当一个或多个透镜或图像传感器达到最大移动时，设备可以切换模式以使用另一图像传感器。例如，返回参考图7F，第二图像传感器774可以与基于移动图像传感器的从1x到5x的光学变焦相关联，并且第一图像传感器772可以与0x光学变焦相关联。如果当前变焦系数被设置为5x(例如，图3F中的选择工具353中的滑块一直到右)，则设备770可以被配置为使用第二图像传感器774来进行图像捕获。用户可以减小变焦系数(例如通过按压W或向左移动滑块)。随着变焦系数减小，设备770移动第二图像传感器774直到第二图像传感器774达到极限(与1x光学变焦相关联)。如果用户继续将变焦系数减小到小于1x，则设备770可以切换设备模式且使用与0x光学变焦相关联的第一图像传感器772。在一些实施方式中，可以执行对来自第一图像传感器772的图像的数字处理以模拟变焦系数被减小。如果设备显示预览(例如，在减小变焦系数时从图3F中底部的预览到图3F顶部的预览)，则预览可以显示变焦系数逐渐减小。
如果设备模式是基于阈值FOV、变焦系数或景深的，则阈值可以基于移动一个或多个透镜和/或图像传感器的物理限制。在以上示例中，阈值变焦系数可以是1x，其中，第二图像传感器774用于大于阈值的变焦系数，且第一图像传感器772用于小于阈值的变焦系数。如果一个或多个透镜和图像传感器是固定的，则阈值可以基于对来自图像传感器的图像的数字处理要求、图像传感器的分辨率或其他图像捕获特性。
如所描述的，设备可以被配置为将单个光圈用于基于不同FOV的图像、用于基于不同变焦的图像、用于基于不同景深的图像、或者用于设备模式之间的图像捕获中的其他合适的差异。在示例中，两个或更多个图像传感器可以共享设备中的第一光路(和相关联的光圈)。在一些示例中，两个或更多个图像传感器可以共享设备中的第二光路(和相关联的光圈)。如何共享光路可以是基于光学元件的(例如，光学元件是处于第一OE模式中还是第二OE模式中)。
图8A示出了图示第一图像传感器和第二图像传感器共享第一光路的示例操作800的说明性流程图。第一图像传感器、第二图像传感器和第一光路可以如图3A-7F中所示出的(或如另外描述的)。为了清楚起见，将操作800和其他操作(例如图9中的操作900)描述为由图3A中的设备300执行，但是可以应用于任何合适的设备或设备配置。
在802处，第一光圈320将光引导到设备300中的第一光路301。在判决框804处，如果设备300的光学元件304处于第一OE模式中，则操作800进行到步骤806。例如，光学元件304可以处于第一取向、第一位置、施加有电流或其他激励、等等。如果光学元件304不处于第一OE模式(例如光学元件304处于第二取向、第二位置、没有施加有电流或其他激励、等等)，则操作800进行到步骤810。参考步骤806，光学元件304将来自第一光路301的光引导到第一图像传感器302。例如，光学元件304可以基于光学元件304的取向、光学元件304的位置、光学元件304的状态(基于要向光学元件304施加的电流)等等，将来自第一光路301的光反射或折射到第一图像传感器302。在808处，第一图像传感器302从接收自第一光路301的光捕获第一图像。
参考步骤810，设备300将来自第一光路301的光引导到第二图像传感器303。例如，光学元件304可以不阻挡来自第一光路301的光以允许光到达第二图像传感器303。在另一示例中，光学元件304可以具有基于激励(例如电流)的取向或处于基于激励(例如电流)的状态中，以允许来自第一光路301的光穿过光学元件304并且到达第二图像传感器303。在812处，第二图像传感器303从接收自第一光路301的光捕获第二图像。如本文所述，控制器310可以被配置为针对示例操作800调整光学元件304以在OE模式之间进行切换。
设备300还可以包括耦合到附加光路的附加光圈。例如，如图3A所示，设备300可以包括第二光圈322，其被配置为沿着第二光路324引导光。光学元件304可以被配置为将来自第二光路324的光引导到第一图像传感器302或第二图像传感器303以用于图像捕获。
图8B示出了图示第一图像传感器302和第二图像传感器303也共享第二光路324的示例操作820的说明性流程图。示例操作820可以与图8A中的示例操作800互补(例如与其同时执行)。在822处，第二光圈322将光引导到设备300中的第二光路324。在判决框824处，如果光学元件304处于第一OE模式中，则操作820进行到步骤826。如果光学元件304不处于第一OE模式中(例如光学元件304处于第二取向、第二位置、等等)，则操作820进行到步骤830。参考步骤826，光学元件304将来自第二光路324的光引导到第二图像传感器303。例如，光学元件304可以基于光学元件304的取向、光学元件304的位置、光学元件304的状态(基于要向光学元件304施加的电流)、等等，将来自第二光路324的光反射到第二图像传感器303。在828处，第二图像传感器303从接收自第二光路324的光捕获第三图像。
参考步骤830，设备300将来自第二光路324的光引导到第一图像传感器302。例如，光学元件304可以处于不阻挡来自第二光路324的光的位置，以允许光到达第一图像传感器302。在另一示例中，光学元件304具有基于激励(例如电流)的取向或处于基于激励(例如电流)的状态中，以允许来自第二光路324的光穿过光学元件304并且到达第一图像传感器302。在832处，第一图像传感器302从接收自第二光路324的光捕获第四图像。如本文所述，控制器310可以被配置为针对示例操作820调整光学元件304以在OE模式之间进行切换。
图9A示出了图示用于图像捕获的示例操作900的说明性流程图。在902处，设备300识别设备将处于第一设备模式中还是第二设备模式中。例如，控制器310确定是第一图像传感器302还是第二图像传感器303将用于图像捕获。在一些实施方式中，控制器310可以基于用户输入来确定设备模式(904)。例如，用户可以经由显示屏314使用GUI来指示设备300将处于第二设备模式中(例如，指示将使用第二图像传感器)。在一些其他实施方式中，控制器310可以基于FOV(906)、变焦系数(908)或景深(910)中的一个或多个来确定设备模式。例如，用户可以指示期望的FOV、变焦系数或景深，并且设备300可以将期望的FOV、变焦系数或景深与和第一图像传感器相关联的FOV、变焦系数或景深以及与和第二图像传感器相关联的FOV、变焦系数或景深进行比较。设备300可以随后基于该比较来选择第一图像传感器或第二图像传感器。例如，阈值变焦系数可以用于确定设备300将处于第一设备模式中还是第二设备模式中。如果要捕获的图像与小于阈值的变焦系数相关联，则设备300可以确定设备300将处于第一设备模式中。如果要捕获的图像与大于阈值的变焦系数相关联，则设备300可以确定设备300将处于第二设备模式中。
在一些实施方式中，控制器310可以基于设备300的状态来确定设备模式(911)。例如，第一图像传感器302可以是低功率图像传感器，且第二图像传感器303可以是高功率图像传感器。当设备300具有锁定(或关闭)的显示屏314(例如处于低功率状态、锁定状态、等等)时，设备300可以被配置为使用第一图像传感器302执行对象检测，以确定面部是否可能正在进入用于使用第二图像传感器303进行面部识别的视场。以此方式，控制器310可以确定设备300在处于低功率状态时处于第一设备模式(以检测进入视场的对象)。当检测到对象时，控制器310可以将设备300切换到第二设备模式以使用第二图像传感器303执行面部识别。
在912处，设备300可以基于所识别的设备模式来控制光学元件304。例如，控制器310可以确定是否要调整光学元件304以使得光学元件304将来自共享光路的光引导到与所识别的设备模式相关联的图像传感器。如果要调整光学元件304，则控制器310可以指示一个或多个组件调整光学元件304。在一些实施方式中，光学元件304在第一OE模式中将来自第一光圈320的光(其可以沿第一光路301传播)引导到第一图像传感器302(914)。附加地或者作为替代地，光学元件304可以在第二OE模式中将来自第一光圈320的光引导到第二图像传感器303(916)。如果设备300包括用于将光引导到由第一图像传感器302和第二图像传感器303共享的第二光路324的第二光圈322，则光学元件304可以在第一OE模式中将来自第二光圈322的光引导到第二图像传感器303，并且光学元件304可以在第二OE模式中将来自第二光圈322的光引导到第一图像传感器302。
在一些实施方式中，OE模式可以是基于来自图像传感器的光信息的。如果第一图像传感器302是用于对象检测的低功率图像传感器，并且第二图像传感器303是用于面部识别的高功率图像传感器，则控制器310可以首先控制OE模式以将来自期望光圈的光引导到第一图像传感器302以进行对象检测(在第一设备模式期间)。当控制器310从来自第一图像传感器302的图像确定面部可能已经进入视场时，控制器310可以切换OE模式以将来自期望光圈的光引导到第二图像传感器303以进行面部识别(在第二设备模式期间)。在一些实施方式中，OE模式还可以是基于来自一个或多个传感器326的测量结果(例如，来自磁力计的取向测量结果或来自其他传感器的其他合适的测量结果)的。
图9B示出了图示用于控制光学元件304的示例操作920的说明性流程图。操作920可以是图9A中的912的示例实施方式。在922处，设备300基于所识别的设备模式，识别光学元件304是将处于第一OE模式中还是第二OE模式中。例如，控制器310可以基于将使用哪个图像传感器进行图像捕获，来确定光学元件304是将来自第一光路301的光引导到第一图像传感器302还是第二图像传感器303。在一些实施方式中，控制器310基于将使用哪个光圈来识别OE模式(924)。例如，如果第一光圈320在智能电话的正面，第二光圈322在智能电话的背面(与正面相反)，并且智能电话正面朝上地在桌上，则控制器310可以确定将使用第一光圈320(例如，基于来自由第一图像传感器302或第二图像传感器303捕获的图像的光信息，基于来自一个或多个传感器326的取向测量结果，等等)。
附加地或替代地，控制器310可以基于成像应用来识别OE模式(926)。例如，如果设备300处于具有锁屏的低功率模式，则成像应用可以是使用低功率图像传感器的对象检测(在第一设备模式期间)和使用高功率图像传感器的面部识别(在第二设备模式期间)。OE模式因此可以是基于在对象检测期间将来自期望光圈的光引导到第一图像传感器302以及在面部识别期间将来自期望光圈的光引导到第二图像传感器303。在另一示例中，当设备300处于单一设备模式中时，OE模式可以改变。例如，OE模式可以在使用第一图像传感器302进行三维成像时切换(例如交替)。以此方式，当设备300处于特定设备模式中时，可以多次执行操作920。因此，识别OE模式(包括OE模式是否在设备模式期间改变)可以是基于成像应用的。对于所确定的OE模式，控制器310可以确定光学元件304将处于哪种状态中。例如，控制器310可以确定光学元件304将处于第一取向还是第二取向(经由旋转)、第一位置还是第二位置(经由平移移动)、或第一材料状态还是第二材料状态(经由施加激励，例如电流、热、等等)。
在一些实施方式中，控制器310可以从移动、旋转或向光学元件304施加激励的一个或多个组件接收反馈，以确定光学元件304的当前状态。在一些其他实施方式中，控制器310可以基于之前针对光学元件304的指令或控制来确定当前OE模式，以便将光学元件304置于特定OE模式中。例如，控制器310或另一合适的组件可以基于控制器对光学元件304的指令或控制来存储当前OE模式。以此方式，控制器310可以将当前OE模式与所识别的OE模式进行比较，以确定光学元件304是否要改变OE模式或以其他方式进行调整。
在928处，设备300可以基于所识别的OE模式来调整光学元件304。在一些实施方式中，如果控制器310确定当前OE模式与所识别的OE模式之间存在差异，则控制器310可以控制光学元件304以将光学元件304置于所识别的OE模式中。例如，设备300可以旋转光学元件304(930)。以此方式，控制器310可以指示或控制致动器旋转光学元件304。在另一示例中，设备300可以平移光学元件(932)。以此方式，控制器310可以指示或控制致动器向光学元件304施加物理力、磁力或其他合适的力，以将光学元件304平移到另一位置。在进一步的示例中，设备300可以向光学元件304施加激励(其可以包括移除激励或调整激励的水平)(934)。一个激励可以是向光学元件304施加的电流(936)。例如，控制器310可以控制开关以从电力轨向光学元件输送或从其移除电流。在另一个示例中，控制器310可以控制向光学元件施加的电流水平，并且光学元件304的一个或多个特性可以基于电流水平。例如，折射率、反射率或透明度可以基于向光学元件304施加的电流的变化而变化。
当设备300处于第一设备模式中时，第一图像传感器302可以捕获一个或多个图像(例如，用于视频的一系列图像)以用于处理。当设备300处于第二设备模式中时，第二图像传感器303可以捕获一个或多个图像(例如，用于视频的一系列图像)以用于处理。设备300中的图像信号处理器312或图像处理管线的其他部分可以处理一个或多个图像以生成最终图像或视频(例如，应用一个或多个图像处理滤波器、编码视频的图像序列、等等)。如本文所述，设备模式可以在视频捕获期间改变(例如，当调整视频的FOV、变焦系数或景深时)。以此方式，图像信号处理器312(和其他组件)可以处理来自第一图像传感器302的第一组图像且处理来自第二图像传感器303的第二组图像。第一组图像和第二组图像可以被一起编码以生成视频。
如上所述，可以基于来自一个或多个设备传感器的信息来控制光学元件。例如，控制器310可以基于设备300的取向(例如，根据来自磁力计的取向测量结果、来自第一图像传感器302的光强度测量结果和/或其他适当的测量结果确定)来控制OE模式。图9C示出了图示用于基于设备取向控制光学元件304的示例操作950的说明性流程图。可以使用一个或多个设备传感器来确定设备取向。用于设备300的设备传感器可以包括一个或多个传感器326(例如，取向传感器，其可以包括陀螺仪或磁力计)、第一图像传感器302、第二图像传感器303或设备300的任何其他合适的传感器。操作950可以是图9B中的步骤924的示例实施方式。对于步骤924(图9B)，控制器310可以基于将使用哪个光圈进行图像捕获来识别OE模式。
在图9C中的952处，控制器310确定设备300的取向。在一些实施方式中，控制器310基于来自图像传感器的一个或多个图像的光强度信息来确定设备取向(954)。例如，如果设备300处于第一OE模式中，使得将来自第一光圈320的光引导到第一图像传感器302，并且设备300被设置在表面上或者以其他方式定向，使得阻挡第一光圈320接收来自场景的光，则控制器310可以确定设备300的取向使得第一光圈320向下指向表面。如果第二光圈322在设备300的与第一光圈320不同的一侧，则第二光圈322可以是基于光强度信息的期望光圈。附加地或替换地，控制器310可基于来自一个或多个取向传感器的测量结果来确定设备取向(956)。例如，磁力计或陀螺仪可以向控制器310提供指示设备300的取向的测量结果。取向可以指示第一光圈320指向下(例如，朝向设备300所搁置的表面)。如果第二光圈322在设备300的与第一光圈320不同的一侧，则基于取向测量结果，第二光圈322可以是期望的光圈。
在958处，控制器310基于设备300的取向来确定使用哪个光圈。例如，如果设备300是具有在正面上的第一光圈320和在背面上的第二光圈322的智能电话，则当智能电话搁置在表面(例如桌子或椅子)上时，要使用哪个光圈可以是基于哪一侧面朝上的。如果设备300被定向为正面向下/朝向表面，则控制器310可以将第二光圈322识别为要使用的光圈(第一光圈320指向表面)。如果设备300被定向为背面向下/朝向表面，则控制器310可以将第一光圈320识别为要使用的光圈(第二光圈322指向表面)。
在960处，控制器310基于所识别的光圈来识别OE模式。例如，如果显示屏314被锁定，则设备300可以使用第一图像传感器302(其可以是低功率图像传感器，例如AO图像传感器)来执行对象检测。如果设备300被识别为正面朝上地定向，则设备300可以确定要使用第一光圈320。由于要使用第一光圈320和第一图像传感器302，所以控制器310可以识别第一光圈320的第一OE模式，以将光朝向第一图像传感器302引导。当设备300要使用第二图像传感器303执行面部识别时，设备300可以识别第一光圈320的第二OE模式，以将光朝向第二图像传感器303引导。以此方式，设备300可以在不同设备模式期间控制光学元件304以进行图像捕获。
可调光学元件的各方面也可以用于发射器。在一些实施方式中，设备可以被配置用于主动深度感测。例如，设备可以包括一个或多个发射器以发射光用于主动深度感测。主动深度感测可以用于包括如下的操作：相机的激光自动聚焦、用于屏幕解锁的面部识别、测距、深度映射(例如，用于虚拟现实或增强现实应用)、等等。在一些实施方式中，发射器可以由多个光圈共享。以此方式，来自发射器的发射可以由光学元件引导离开第一光圈或离开第二光圈。相反，光圈可以由第一发射器和第二发射器共享(例如，对于不同的主动深度感测技术)，或者光圈可由用于主动深度感测的发射器或接收器(例如图像传感器)共享。例如，设备可以被配置为执行不同的主动深度感测技术(包括结构化光深度感测或飞行时间深度感测)，或者设备可以被配置为使用共享光圈来执行主动深度感测和图像捕获的组合。图10-17示出了被配置为执行一种或多种主动深度感测技术的设备的示例设备配置和操作。
图10示出了包括用于主动深度感测的第一发射器1002的示例设备1000的方框图。示例设备1000中的至少一部分组件可以类似于图3A中的示例设备300中的组件。例如，示例设备1000可以包括处理器1005(其可以包括被配置为控制光学元件1004的控制器1010)。设备1000还可以包括存储指令1008的存储器1006、可选的显示屏1014、一个或多个可选的I/O组件1016和电源1018。处理器1005、存储器1006、控制器1010、显示屏1014、I/O组件1016和电源1018可以类似于图3A中所示的处理器305、存储器306、控制器310、显示屏314、I/O组件316和电源318。设备1000还可以包括图10中未示出的其他组件，类似于图3A中的设备300。例如，设备1000可以包括一个或多个传感器(诸如取向或运动传感器、定位传感器、温度传感器、等等)。
设备1000可以包括第一光圈1020，其沿第一光路1001引导光或从第一光路1001接收光。设备1000还可以包括第二光圈1022，其沿第二光路1024引导光或从第二光路1024接收光。在一些实施方式中，第一发射器1002由第一光圈1020和第二光圈1022共享。例如，设备1000包括光学元件1004。光学元件1004被配置为当光学元件1004处于第一OE模式中时将来自第一发射器1002光引导到第一光路1001。当光学元件1004处于第二OE模式中时，来自第一发射器1002的光沿第二光路1024传播。
在一些实施方式中，设备1000包括图像传感器或第二发射器1003。利用图像传感器或第二发射器1003，设备1000可以被配置为处于第一设备模式中(使用第一发射器1002)或第二设备模式中(使用图像传感器或第二发射器1003)。例如，如果设备1000包括图像传感器，则第一设备模式可以是使用第一发射器1002的主动深度感测模式，并且第二设备模式可以是使用图像传感器的图像捕获模式。
在一些实施方式中，图像传感器可以是低功率图像传感器(例如上文参考图3A所描述)。例如，低功率图像传感器可以是将在设备的不同操作状态中使用(例如，用于对象检测)的AO图像传感器。例如，设备1000可以被配置为执行主动深度感测以用于面部识别(例如，用于屏幕解锁)。第一发射器1002可以发射用于主动深度感测的光分布，并且可以在第一设备模式期间执行面部识别。低功率图像传感器可以测量场景的不同区域中的光强度以用于对象检测(例如，检测可能的面部是否移动到图像传感器的视场的中心)。可以在第二设备模式期间执行对象检测。以此方式，单个光圈可以在第二设备模式期间用于使用图像传感器的对象检测，并且可以在第一设备模式期间用于基于使用第一发射器1002的主动深度感测的面部识别。如上文参考图3A和9C所述，要使用的光圈可基于设备1000的取向，取向可以根据来自一个或多个传感器的测量结果或由图像传感器捕获的光强度信息来确定。
在另一示例中，如果设备1000包括第二发射器，则第一设备模式可以是使用第一发射器1002的第一主动深度感测模式，并且第二设备模式可以是使用第二发射器1003的第二主动深度感测模式。在另一示例中，如果第二(或第一)发射器是泛光照明器，则设备模式之一可以是闪光灯模式。第一发射器1002(以及可选地，第二发射器1003)可以被配置为发射确定波长的光(例如，IR光或另一合适波长的光)。在一些其他实施方式中，可以发射具有一定波长范围的光。
对于图像传感器，当光学元件1004处于第一OE模式中时，光学元件1004可以将沿第二光路1024传播的光引导到图像传感器。当光学元件1004处于第二OE模式中时，光学元件1004可以将沿第一光路1001传播的光引导到图像传感器。对于第二发射器，当光学元件1004处于第一OE模式中时，光学元件1004可以将来自第二发射器的光引导到第二光路1024。当光学元件1004处于第二OE模式中时，光学元件1004可以将来自第二发射器的光引导到第一光路1001。
虽然未示出，但是设备1000可以包括用于主动深度感测的一个或多个接收器。在一些实施方式中，设备1000可以包括一个或多个接收器，其被配置为在第一设备模式期间接收由第一发射器1002发射的光的反射。一个或多个接收器还可以被配置为在第二设备模式期间接收由第二发射器1003发射的光的反射。例如，一个或多个接收器可以包括IR图像传感器(或其他合适的图像传感器)以捕获由第一发射器1002发射的IR光(或另一合适的波长的光)的反射。在一些其他实施方式中，用于主动深度感测的一个或多个接收器可以在设备1000外部。以此方式，设备1000可以用作主动深度感测系统的发射器。
存储器1006可以是非暂态或非暂时性计算机可读介质，其存储计算机可执行指令1008以执行本公开内容中描述的一个或多个操作的全部或一部分(例如，用于调整光学元件的位置)。如果主动深度感测包括结构化光深度感测，则存储器1006还可以包括用于处理来自主动深度感测接收器的图像以便确定场景中的对象的一个或多个深度的码字库。
处理器1005可以是能够执行存储在存储器1006内的一个或多个软件程序的脚本或指令(例如，指令1008)的一个或多个合适的处理器(例如，通用处理器)。例如，处理器1005可以是应用处理器并且执行主动深度感测应用(例如，用于屏幕解锁、激光自动聚焦、等等)。在附加或替代方面中，处理器1005可以包括集成电路或其他硬件以执行本公开内容中所描述的功能或操作。
处理器1005包括控制器1010。如果设备1000包括图像传感器或第二发射器1003，则控制器1010可以被配置为选择要使用的发射器(或图像传感器)。控制器1010还被配置为控制光学元件1004(例如在第一OE模式和第二OE模式之间进行切换)。在一些实施方式中，控制器1010可以被配置为调整光学元件304的位置(例如，通过旋转或平移光学元件1004)。例如，控制器1010可以在OE模式之间进行切换时指示致动器平移光学元件1004。在另一示例中，控制器1010可以在OE模式之间进行切换时指示致动器旋转光学元件1004。
在一些其他实施方式中，控制器1010可以被配置为调整光学元件1004的状态(例如，通过施加电流或其他激励)。光学元件的状态可以包括基于激励的光学元件1004的反射率或透明度(或折射率)。例如，控制器1010可以使得对于第一OE模式不向光学元件1004施加电流，并使得对于第二OE模式向光学元件1004施加电流。
类似于图3A中的控制器310，控制器1010可以根据来自一个或多个取向传感器的测量结果或来自图像传感器(例如，当显示屏1014被锁定或者设备1000处于低功率或不活动状态时来自低功率图像传感器)的光强度测量结果，来确定设备1000的取向。控制器1010确定设备模式或OE模式可以是基于设备1000的取向的。设备模式或OE模式还可以是基于设备状态的。
控制器1010可以体现在软件(例如存储在存储器1006中的指令1008)、硬件(例如一个或多个集成电路)或两者的组合中。在一些其他设备实施方式中，控制器1010可以体现在与处理器1005分离的处理器中或专用硬件中。例如，分立处理器可以包括控制器1010和图像信号处理器1012。分立处理器可以包括一个或多个专用集成电路(ASIC)和/或一个或多个通用处理器。分立处理器可以被配置为执行与使用第一发射器1002或图像传感器或第二发射器1003的图像捕获、主动深度感测、计算机视觉(例如，虚拟现实(VR)、增强现实(AR)或立体视觉)等等相关联的操作。
虽然在示例设备1000中示出了为经由处理器1005彼此耦合，但处理器1005、存储器1006、图像信号处理器1012、任选显示屏1014和任选I/O组件1016可以各种布置彼此耦合。例如，处理器1005、存储器1006、图像信号处理器1012、任选的显示屏1014和任选的I/O组件1016可以经由一条或多条本地总线(为简单起见未示出了)彼此耦合。
图像信号处理器1012可以被配置为处理来自图像传感器1003的所捕获图像。在一些实施方式中，图像信号处理器1012包括图像处理管线的一个或多个滤波器，且滤波器可以基于来自处理器1005的指令来配置。如果图像来自图像传感器1003或用于深度映射，则图像信号处理器1012可以被配置用于处理图像以确定一个或多个深度。例如，图像信号处理器1012可以使用码字库来识别图像中的码字以用于结构化光深度感测。
在一些方面，图像信号处理器1012可以执行来自存储器的指令(例如，来自存储器1006的指令1008或存储在耦合到或包括在图像信号处理器1012中的单独存储器中的指令)。在一些其他方面，图像信号处理器1012可以包括用以执行本公开内容中所描述的一个或多个操作的特定硬件。在一些另外的方面，图像信号处理器1012可以包括特定硬件和执行软件指令的能力的组合。在一些实施方式中，如果设备1000不包括图像传感器1003(诸如替代地包括第二发射器1003)，则设备1000可以不包括图像信号处理器1012。
类似于图3A中示出的光学元件304，可以以某种方式调整光学元件1004以在设备1000的模式之间进行切换。例如，光学元件1004可以包括反射表面(例如反射镜)或折射元件(例如五棱镜)，以在第一OE模式期间将来自第一发射器1002的光引导到第一光路1001。当光学元件1004向第二OE模式进行切换时，可以平移、旋转或以其他方式调整光学元件1004，以不使将来自第一发射器1002的光引导到第一光路1001。
如果设备1000包括图像传感器或第二发射器1003，则光学元件1004还可以被配置为在第一OE模式中将来自第二光路的光1024引导到图像传感器或第二发射器1003，或者将来自图像传感器或第二发射器1003的光引导到第二光路1024。例如，光学元件1004可以包括第二反射表面或第二折射元件，以在第一模式期间将来自第二光路1024的光引导到图像传感器或第二发射器1003或者将来自图像传感器或第二发射器1003的光引导到第二光路1024。当向第二OE模式进行切换时，可以移动、旋转或以其他方式调整光学元件1004，以不使得将来自第二光路1024的光引导到图像传感器或第二发射器1003或者将来自图像传感器或第二发射器1003的光引导到第二光路1024。例如，对于图像传感器，可以将来自第一光路1001的光引导到图像传感器1003。对于第二发射器，可以将来自第二发射器1003的光引导到第一光路1001。参考图14A-16F更详细地描述光学元件1004的示例操作和配置，并且其可以类似于图4A-6H中示出的光学元件的操作和配置。
任何合适的主动深度感测系统或技术可以由设备1000使用或包括在其中。以此方式，第一发射器1002(以及可选地，第二发射器1003)被配置为发射针对该类型的主动深度感测系统而配置的光。在一些实施方式中，第一发射器1002被配置为发射光的泛光照明(例如，IR光)，并且对象的深度可以基于在主动深度感测接收器处(例如在IR图像传感器处)测得的光的反射的强度。在一些其他实施方式中，主动深度感测系统可以基于发射光的已知分布(其可以被称为结构化光深度感测系统，并且参考图11更详细地描述)。在一些其他实施方式中，主动深度感测系统可以是直接TOF主动深度感测系统(参考图12更详细地描述)。在一些其他实施方式中，主动深度感测系统可以是间接TOF主动深度感测系统(参考图13更详细地描述)。第一发射器1002(以及可选地，第二发射器1003)可以包括被配置用于本文描述的示例主动深度感测系统中的一个或多个(或另一合适的主动深度感测系统)的发射器。
图11示出了包括用于发射光分布(例如，分布1104)的发射器1102的示例主动深度感测系统1100的图示。主动深度感测系统1100(其在本文中还可被称为结构化光系统)可以用于生成场景1106的深度图(未示出)或可以用于基于场景1106中的对象的深度来执行一个或多个操作。例如，场景1106可以包括面部，并且主动深度感测系统1100可以用于识别或认证面部以用于屏幕解锁或安全目的。主动深度感测系统1100可以包括发射器1102和接收器1108。发射器1102可以被称为“发送器”、“投影器”等等，并且不应限于特定的发射组件。在以下全部公开内容中，术语投影器和发射器可以互换使用。接收器1108可以被称为“检测器”、“传感器”、“感测元件”、“光电检测器”等等，并且不应限于特定的接收组件。
虽然本公开内容将分布称为光分布，但是可以使用其他频率的任何合适的无线信号(诸如射频波、声波等等)，并且设备可以被配置为在设备中引导这样的无线信号。此外，虽然本公开内容将分布称为包括多个光点，但是光可以被聚焦成任何合适的大小和尺寸。例如，光可以以线、正方形或任何其他合适的尺寸来投射。另外，本公开内容可以将分布称为码字分布，其中，分布的定义部分(诸如光点的预定义块)被称为码字。如果光点的分布是已知的，则分布的码字可以是已知的。在一些实施方式中，存储器1006可以包括用于包括在由第一发射器1002(以及可选地，第二发射器1003)发射的分布中的码字的码字库。码字库然后可以用于识别在由接收器接收的、由第一发射器1002(或第二发射器1003)发射的光的反射中的码字，并且码字在接收器的传感器上的位置可以用于确定场景中的一个或多个深度。在另一实施方式中，图像传感器1003可以被配置为捕获包括由相关联的发射器发射的码字分布的反射的图像。存储器1006可以存储用于相关联的发射器的码字库，并且图像信号处理器1012可以在处理来自图像传感器1003的图像时使用码字库。可以以任何方式组织和使用分布，并且本公开内容不应限于特定类型的分布或特定类型的无线信号。
发射器1102可以被配置为将光点的分布1104投射到场景1106上。分布1104中的黑色圆圈可以指示对于可能的点位置没有投射光的地方，并且分布1104中的白色圆圈可以指示对于可能的点位置投射光的地方。在一些示例实施方式中，发射器1102可以包括一个或多个光源1124(例如，一个或多个激光器)、透镜1126和光调制器1128。光源1124可以包括任何合适的光源。在一些示例实施方式中，光源1124可以包括一个或多个分布式反馈(DFB)激光器。在一些其他实例实施方式中，光源1124可以包括一个或多个垂直腔表面发射激光器(VCSEL)。在一些示例中，一个或多个光源1124包括VCSEL阵列、DFB激光器阵列或其他合适的激光器阵列。
发射器1102还可以耦合到光圈1122，所发射的光从该光圈离开发射器1102到场景上。在一些实施方式中，光圈1122可以是图10中的第一光圈1020或第二光圈1022。虽然为了解释的简单起见未在图11中示出，但是发射器1102可以耦合到光学元件1004以将光引导到第一光圈1020或第二光圈1022。在一些实施方式中，发射器1102还可以包括衍射光学元件(DOE)，以将来自一个或多个光源1124的发射衍射成附加发射。在一些方面，光调制器1128(用于调整发射的强度)可以包括DOE。DOE可以包括位于来自光源1124的光的投射路径中的材料。DOE可以被配置为将光点拆分成多个光点。例如，DOE的材料可以是具有已知折射率的半透明或透明聚合物。DOE的表面可以包括峰和谷(改变DOE的深度)，使得当光穿过DOE时，光点拆分成多个光点。例如，DOE可以被配置为从一个或多个激光器接收一个或多个光点，并且投射具有比由一个或多个激光器发射的光点数量更多的光点的预期分布。
在将光点的分布1104投影到场景1106上时，发射器1102可以通过透镜1126(和/或通过DOE或光调制器1128)输出来自光源1124的一个或多个光点并输出到场景1106上。在一些实施方式中，发射器1102可以定位在与接收器1108相同的参考平面上，并且发射器1102和接收器1108可以间隔开被称为基线的距离(1112)。在一些其他实施方式中，发射器1102和接收器1108可以定位于不同参考平面上。发射器1102可以位于第一参考平面上，而接收器1108可以位于第二参考平面上。第一参考平面和第二参考平面可以是相同的参考平面，可以是彼此分离的平行参考平面，或者可以是以非零角度相交的参考平面。在参考平面上的相交的角度和位置基于参考平面相对于彼此的位置和取向。参考平面可以被定向为与设备的公共侧相关联。例如，两个参考平面(无论平行或相交)可以被定向为从设备的公共侧(例如，从设备的背面、设备的正面、设备的顶侧、等等)接收光。
在设备生产中，制造中的微小差异或误差可能导致第一参考平面或第二参考平面的取向或定位的差异。在一个示例中，将发射器1102或接收器1108安装在印刷电路板(PCB)上可以包括发射器1102或接收器1108的取向不同于PCB的取向的误差(在公差内)。在另一示例中，包括发射器1102和接收器1108的不同PCB的取向可以与设计的取向略有不同(例如，当PCB被设计为沿着相同参考平面或彼此平行时取向的略微变化)。设备的第一参考平面和第二参考平面可以被称为相同参考平面、平行参考平面或相交参考平面，如通过设备设计所预期，而不考虑由于生产设备时的制造、校准等等导致的参考平面的取向的变化。
在一些示例性实施方式中，由发射器1102投射的光可以是IR光。IR光被提供作为来自发射器1102的示例发射。在以下描述中，可以使用其他合适波长的光。例如，发射器1102可以输出IR光波长范围之外的可见光谱部分中的光或紫外光。可替换地，可以使用具有不同波长的其他信号，例如微波、射频信号和其他合适的信号。
场景1106可以包括距结构化光系统(例如，距发射器1102和接收器1108)不同深度处的对象。例如，场景1106中的对象1106A和1106B可以在不同深度处。接收器1108可以被配置为从场景1106接收光点的发射分布1104的反射1110。为了接收反射1110，接收器1108可以捕获图像。当捕获图像时，接收器1108可以接收反射1110，以及(i)来自场景1106的不同深度处的其他部分的光点的分布1104的其他反射，和(ii)环境光。噪声也可能存在于所捕获的图像中。主动深度感测系统1100可以被配置为过滤或减少环境光干扰和噪声，以隔离所捕获图像中的分布1104的反射。
在一些示例实施方式中，接收器1108可以包括透镜1130以将所接收的光(包括来自对象1106A和1106B的反射1110)聚焦或引导到接收器1108的传感器1132上。接收器1108还可以包括或耦合到光圈1120。在一些实施方式中，光圈1120可以是图10中的第一光圈1020或第二光圈1022。假定仅接收到反射1110的示例，可以基于基线1112、反射1110中的光分布1104(例如，码字中)的位移和失真以及反射1110的强度，来确定对象1106A和1106B的深度。例如，沿着传感器1132从位置1116到中心1114的距离1134可以用于确定场景1106中的对象1106B的深度。类似地，沿着传感器1132从位置1118到中心1114的距离1136可以用于确定场景1106中的对象1106A的深度。可以按照传感器1132的像素数量或距离(诸如毫米)来测量沿着传感器1132的距离。
在一些示例实施方式中，传感器1132(例如IR图像传感器)可以包括用于捕获图像的光电二极管(例如雪崩光电二极管)阵列。为了捕获图像，阵列中的每个光电二极管可以捕获撞击该光电二极管的光，并且可以提供指示光的强度的值(捕获值)。因此，图像可以是由光电二极管阵列提供的捕获值。
除了包括光电二极管阵列的传感器1132之外或作为其替代，传感器1132可以包括互补金属氧化物半导体(CMOS)传感器。为了通过光敏CMOS传感器捕获图像，传感器的每个像素可以捕获撞击该像素的光并且可以提供指示光的强度的值。在一些示例实施方式中，光电二极管阵列可以耦合到CMOS传感器。以此方式，由光电二极管阵列生成的电脉冲可以触发CMOS传感器的相应像素提供捕获值。
传感器1132可以至少包括数量等于分布1104中的可能光点的数量的像素。例如，光电二极管阵列或CMOS传感器可以分别包括数量与分布1104中的可能光点的数量对应的光电二极管或像素。传感器1132在逻辑上可以被划分为与码字的位大小相对应的像素或光电二极管的组(例如，4×4组)。像素或光电二极管的组也可被称为位，且来自传感器1132的位的所捕获图像的部分也可被称为位。在一些示例实施方式中，传感器1132可以包括与分布1104相同数量的位。
如果光源1124发射IR光(例如波长为例如940nm的NIR光)，则传感器1132可以是IR传感器以接收NIR光的反射。传感器1132还可以被配置为使用泛光照明器(未例示)来捕获图像。在一些实施方式中，传感器1132可以是图10中的图像传感器1003、图3A中的图像传感器302或图3A中的图像传感器303的示例。虽然为了简单起见未示出，但是光学元件1004可以被配置为将来自光圈1120的光引导到传感器1132。例如，当传感器1132是图像传感器1003的示例实施方式时，光学元件1004可以在不同的OE模式中将来自第一光圈1020或来自第二光圈1022的光引导到传感器1132。以此方式，传感器1132可以由多个光圈共享。
如所例示的，距离1134(对应于来自对象1106B的反射1110)小于距离1136(对应于来自对象1106A的反射1110)。使用基于基线1112以及距离1134和1136的三角测量，可以在生成场景1106的深度图时确定对象1106A和1106B在场景1106中的不同深度。确定深度还可以包括确定反射1110中的分布1104的位移或失真(例如码字的失真)。
尽管在图11中例示了数个单独的组件，但是这些组件中的一个或多个可以被一起实现或者包括附加功能。所有描述的组件对于主动深度感测系统1100可能不是必需的，或者组件的功能可以被拆分到分开的组件中。还可以存在未例示的附加组件(例如光学元件和附加光圈)。例如，接收器1108可以包括带通滤波器，以允许具有确定的波长范围的信号传递到传感器1132上(从而过滤掉具有在该范围之外的波长的信号)。以此方式，可以防止一些附带信号(诸如环境光)干扰传感器1132的捕获。带通滤波器的范围可以以发射器1102的发射波长为中心。例如，如果发射器1102被配置为发射具有940nm波长的NIR光，则接收器1108可以包括被配置为允许具有例如920nm到960nm范围内的波长的NIR光的带通滤波器。因此，参考图11描述的示例是出于说明性目的，且本公开内容不限于用于主动深度感测的示例结构化光系统1100。
其他主动深度感测系统可以包括TOF主动深度感测系统。示例TOF主动深度感测系统包括直接TOF主动深度感测系统(诸如图12中所示出的)。直接TOF系统发射脉冲，感测脉冲，并确定发射脉冲与感测脉冲的反射之间的时间差。直接TOF系统使用该时间差来确定往返时间，并且因此确定对象距TOF系统的深度。另一示例TOF主动深度感测系统包括间接TOF主动深度感测系统(诸如图13中所示出的)。间接TOF系统也可以称为频率调制连续波(FMCW)TOF系统。间接TOF系统发射周期性信号(诸如连续波正弦信号或周期性脉冲光)，感测该信号的反射，并确定所发射的信号与所感测的信号的反射之间的相位差。间接TOF系统使用该相位差来确定对象距TOF系统的深度。
图12示出了包括发射器1202的直接TOF主动深度感测系统1200的图示。发射器1202可以是图10中示出的第一发射器1002的示例实施方式。发射器1202可以被配置为朝向包括表面1206的场景发射信号(例如，光1204)。虽然所发射的光1204被例示为被引导到表面1206，但是由发射器1202发射的场可以延伸超过表面1206的尺寸。例如，TOF系统发射器可以具有限定发射器的发射的场的固定焦距透镜。发射器1202可以是第一发射器1002或第二发射器1003的示例实施方式。虽然为了简单起见未示出，但是光学元件可以被配置为将来自发射器1202的光引导到多个光圈(例如，图10中的光圈1020和1022)中的一个。
所发射的光1204包括在已知时间间隔(例如经定义的时段)处的光脉冲1214。接收器1208包括图像传感器1210以感测所发射的光1204的反射1212。反射1212包括所反射的光脉冲1216，并且通过将所发射的光脉冲1214的定时1218与所反射的光脉冲1216的定时1220进行比较，来确定光的往返时间1222。表面1206距TOF系统1200的距离可以被计算为往返时间的一半乘以发射的速度(例如，光发射的光速)。深度可以使用下面的等式(1)来确定：
Figure BDA0003844923110000371
其中，D是表面1206距直接TOF系统1200的深度，并且c是光速(基于发射器1202发射光1204)。
图像传感器1210可以包括光电二极管阵列和用于感测反射并产生与所接收的光的强度相对应的电流或电压阵列的组件。阵列中的每个条目可以被称为像素或单元。可以随着时间的推移比较来自像素的电压(或电流)，以检测所发射的光1204的反射1212。例如，来自像素的信号可以与阈值(对应于噪声或环境光干扰)进行比较，并且大于阈值的峰值可以被识别为由图像传感器1210感测的所反射的光脉冲1216。该阈值可以基于环境光、噪声或其他干扰。例如，可能存在一定量的环境光(在没有所发射的光1204的情况下)，并且该阈值可以基于环境光的量(例如，当发射器1202不发射时由图像传感器1210测量的量)。TOF系统1200的有效范围的上限可以是这样的距离：其中，在感测反射之前信号的噪声或劣化使得信噪比(SNR)对于图像传感器1210而言太大而不能准确地感测到所反射的光脉冲1216。为了减少干扰(且因此增加范围或改善信噪比)，接收器1208可以在图像传感器1210之前包括带通滤波器以滤除在以所发射的光1204的波长为中心的波长范围之外的入射光。
在一些实施方式中，直接TOF系统1200的图像传感器1210的每个像素可以包括单光子雪崩二极管(SPAD)，这是由于其灵敏度和响应度使得能够识别反射中的脉冲并分辨脉冲光反射的到达时间。每个SPAD可以耦合到图像传感器1210的读出电路、时间相关的时间数字转换器(TDC)和一个或多个存储器单元，以使得图像传感器1210能够捕获图像。直接TOF系统的替代方案是间接TOF系统。图像传感器1210可以是图10中的图像传感器1003或图3A中的图像传感器302或303的示例实施方式。虽然为了简单起见未示出，但是光学元件可以被配置为将来自第一光圈或第二光圈(例如，图10中的光圈1020和1022)的光引导到图像传感器1210。
图13示出了包括发射器1302的间接TOF主动深度感测系统1300的图示。发射器1302可以是图10中示出的第一发射器1002的示例实施方式。发射器1302可以被配置为朝向包括表面1306的场景发射信号(例如光1304)。虽然为了简单起见未示出，但是光学元件可以基于OE模式将来自发射器1302的光引导到一个或多个光圈。虽然所发射的光1304被例示为被引导到表面1306，但发射器1302的发射的场可以延伸超过表面1306的尺寸。例如，TOF系统发射器可以具有限定发射器的发射的场的固定焦距透镜。
所发射的光1304包括经定义频率的正弦信号1314(或其他合适的周期性信号)。接收器1308包括图像传感器1310以感测所发射的光1304的反射1312。图像传感器1310可以是图10中的图像传感器1003或图3A中的图像传感器302或303的示例实施方式。虽然为了简单起见未示出，但是光学元件可以被配置为将来自第一光圈或第二光圈(诸如图10中的光圈1020和1022)的光引导到图像传感器1310。反射1312包括被反射的正弦信号1316。确定在所发射的正弦信号1314与被反射的正弦信号1316之间的相位差1322(如由所发射的正弦定时1318和被反射的正弦定时1320所例示的)。相位差1322可以指示往返时间，并且因此可以用于确定表面1306距间接TOF系统1300的距离。为了产生正弦信号1314，TOF系统1300可以被配置为调制载波信号以产生正弦波。例如，可以调制940纳米波长的光以生成正弦信号1314。在本文中波的频率可以称为调制频率。在比较TOF和相位差的关系时，TOF可以根据所测量的相位差(PD)和调制频率(fmod)来定义，如下面的等式(2)中所示：
Figure BDA0003844923110000381
在简化的示例中，如果PD是π并且fmod大约是250千赫(kHz)，则TOF是2微秒(1除以500kHz)。返回参考等式(1)，基于TOF等于2微秒的深度D约为300米。
虽然图13将所发射的光1304例示为具有正弦波形(由正弦曲线1314例示)，但是可以使用任何合适的波形。例如，TOF系统1300可以被配置为以周期性模式逐步地增大和减小所发射的光的强度。以此方式，所发射的光的波形可以近似于方波(例如，对于周期性脉冲信号)。可以使用其他波形，包括SAW波形等等。如本文所使用的，正弦波形或波可以指信号的任何合适的波形(包括近似方波)。
在一些实施方式中，间接TOF系统1300可以包括用于图像传感器1310的每个像素的解调电路(在本文中被称为解调像素或锁定像素)。每个解调像素可以包括解调光电检测器，并且被配置为生成和存储与在阵列的光电二极管处接收的被反射的正弦信号和所发射的正弦信号的相位或相位差相对应的一个或多个电压。相位差可以从一个或多个所存储的电压确定。例如，解调像素可以生成电压信号(例如，使用来自光电二极管的电流来确定是发送像素电压(例如轨电压)还是低电压作为电压信号)。使用解调像素的示例图像传感器1310可生成用于由图像传感器1310进行的单次捕获的电压阵列。可以处理电压阵列以生成每个像素的PD，且处理PD以生成场景中的对象的一个或多个深度。
虽然在本公开内容中描述了一些示例主动深度感测系统，但是可以使用任何合适的主动深度感测系统。图10中的设备1000的第一发射器1002(或第二发射器1003)不限于用于主动深度感测的特定类型的发射器或特定类型或配置的主动深度感测。这样，设备1000的设备模式可以被配置用于任何合适配置的主动深度感测。
如本文所述，光学元件1004可以被配置为在两个或更多个OE模式之间进行切换以进行主动深度感测。例如，如果第一光圈1020位于设备1000的第一侧，第二光圈1022位于设备1000的第二侧，则第一OE模式可以与对从设备1000的第一侧发射的光的主动深度感测相关联，而第二OE模式可以与对从设备1000的第二侧发射的光的主动深度感测相关联。同样如本文所述，设备1000可以被配置为在两个或更多个设备模式之间进行切换。例如，如果设备1000包括第二发射器1003，则第一设备模式可以与使用第一发射器1002的第一类型或配置的主动深度感测相关联，并且第二设备模式可以与使用第二发射器1003的第二类型或配置的主动深度感测相关联。例如，第一发射器1002可以被配置为发射第一光分布，并且第二发射器1003可以被配置为发射第二光分布(例如，具有与第一光分布不同的码字大小或分布的光分布)。在另一示例中，第一发射器1002可以被配置为发射用于结构化光深度感测的光分布，并且第二发射器1003可以被配置为发射用于TOF深度感测的脉冲光。在一些其他实施方式中，设备1000可以被配置为在一个或多个主动深度感测模式与一个或多个图像捕获模式之间进行切换。例如，如果设备1000包括图像传感器1003，则设备1000可以被配置为在使用第一发射器1002的主动深度感测模式与使用图像传感器1003的图像捕获模式之间进行切换。如果设备1000包括图像传感器或第二发射器1003，则光学元件1004的OE模式可以取决于设备1000的设备模式。在一些实施方式中，设备1000可以不包括图像传感器或第二发射器1003，且设备1000可以不具有不同设备模式。光学元件1004的OE模式可以取决于其他准则，例如用于主动深度感测的预期发射方向。
当在OE模式之间进行切换时，设备1000(例如控制器1010)可以调整光学元件1004。例如，设备1000可以旋转光学元件1004(例如图14A和14B所示，并且类似于图4A和4B所示)，调整光学元件1004的位置(例如图15A和15B所示，并且类似于图5A和5B所示)，或者基于向光学元件施加的激励(例如电流)调整光学元件1004的状态(例如图16A和16B所示，并且类似于图6A和6B所示)。图16C-16F中所示的光学元件和调整光学元件可以与图6E-6H中所示的类似。
图14A示出了示例设备1400部分的横截面，其例示了当设备1400处于第一模式中时与第一光路1406相关联的第一发射器1402。光学元件1414被配置为在第一OE模式期间将来自第一发射器1402的光引导到第一光路1406(并引导到第一光圈1410)。光学元件1414类似于图4A和4B中的光学元件414。光可以沿着第一光路1406传播，并且光可以来自第一光圈1410或光学元件1414。一个或多个组件1418可以在第一光路1406和光学元件1414之间引导光。设备1400包括第二光圈1412，其被配置为在设备1400中沿着第二光路1408引导光或接收沿着第二光路1408传播的光。虽然光圈1410和1412被示出在设备1400的不同侧，但是光圈1410和1412可以在设备1400的相同侧。光学元件1414(以及任何组件1418)可以处于任何合适的取向和配置，以在第一设备模式期间在第一光路1406与第一发射器1402之间引导光。如果第一光圈1410位于图14A中所示的设备1400的左侧(类似于图4C)，则组件1418可以将从光学元件1414接收的光引导到第一光圈1410(或反之亦然)。在第二OE模式中，第一发射器1402可以发射光，该光经由第二光圈1412发射到设备1400外部(例如图14B所示)。在所例示的示例设备1400中，光学元件1414可以阻挡来自第一发射器1402的光到达第二光圈1412(代之以将该光反射到第一光圈1410)。
如果设备1400包括图像传感器1404，则光学元件1414可以被配置为在第一OE模式中将来自第二光路的光1408引导到图像传感器1404。如果设备1400包括第二发射器1404，则光学元件1414可以被配置为将来自发射器1404的光引导到第二光路1408。
致动器1416可以旋转光学元件1414以在OE模式之间进行切换。致动器1416可以类似于图4A和图4B中的致动器416。例如，致动器1416可以包括或耦合到旋转马达或其他装置，以在第一取向和第二取向之间旋转光学元件1414，并且致动器1416由控制器(例如图10中的控制器1010)控制。如上在描述图4A和4B时所述，图14A和14B(以及后面的图)中的示例可以指光学元件相对于第一光路的取向。虽然图14A和14B(以及后面的图)中的示例可以指光学元件相对于第一光路的取向，但是光学元件的取向可以相对于任何合适的设备组件或设备内的合适基准。例如，取向可以相对于图像传感器的取向、相对于发射器的取向、相对于从光路接近光学元件的光的方向、等等。
图14B示出了图14A中的示例设备1400部分的横截面，其中，对于第二OE模式，光学元件1414处于相对于第一光路1406的示例第二取向。在第二OE模式中，设备1400被配置为将来自第一发射器1402光引导到第二光路1408。如果设备1400包括图像传感器或第二发射器1404，则设备1400还被配置为在第二设备模式期间将来自第一光路1406的光引导到图像传感器或第二发射器1404，或者将来自图像传感器或第二发射器1404的光引导到第一光路1406。
如上文针对光学元件414(图4A和4B)所述，光学元件1414的反射率和透明度或折射率可以基于在光学元件1414处接收的光的入射角。以此方式，光学元件1414的反射率和透明度可以基于光学元件1414相对于第一光路1406的取向。光学元件1414可以由如上文针对光学元件414所述的材料构成。
如果光圈1410和1412在设备的不同侧，则OE模式可以基于从设备1400发射光(或者用于图像传感器1404捕获图像)的预期方向。如果光圈1410和1412在设备的相同侧，则对于包括图像传感器1404的第二设备模式，图像传感器1404可以用于较宽FOV成像或三维成像(例如上面参考图3C、3D和3F所述的)。对于第一设备模式(或包括第二发射器1404的第二设备模式)，设备的相同侧上的光圈可以被定向和配置为将来自发射器的光引导到场景的不同部分(例如，本文参考较宽FOV成像所描述的)。以此方式，与仅使用一个光圈的情况相比，来自发射器的光可以被发射到场景的更大部分上。
返回参考图4E和4F，图像捕获系统的多个实例可以共存在设备中。在一些实施方式中，在设备1000中可以存在主动深度感测系统的多个实例。附加地或替代地，主动深度感测系统的一个或多个实例可以与图像捕获系统的一个或多个实例一起存在于设备中。例如，返回参考图3G，第一光圈364和第二光圈366可以与主动深度感测系统(类似于图14A所示)相关联。第三光圈368和第四光圈370可以与第二主动深度感测系统(类似于如图14A中所示)或图像捕获系统(类似于如图4A中所示)相关联。如果两个发射器1002和1003共享第一光圈364和第二光圈366，并且两个图像传感器302和303共享第三光圈368和第四光圈370，则第一图像传感器可以与第一发射器相关联，并且第二图像传感器可以与第二发射器相关联。以此方式，设备可以包括多个主动深度感测系统。在另一示例中，设备可以包括一个发射器和三个图像传感器(其中，发射器和一个图像传感器共享两个光圈)。虽然图14C和14D示出了图像传感器和发射器的组合的示例，但是在设备中可以包括任何组合、数量和配置的发射器、图像传感器、光学元件等等。
图14C示出了示例设备1440部分的横截面，其例示了与第一光路1446相关联的第一发射器1442和与第三光路1466相关联的第一图像传感器1462。基于光学元件1454处于第一取向，光学元件1454可以将来自第一发射器1442的光引导到第一光路1446。基于光学元件1474处于第一取向，光学元件1474可以将来自第三光路1466的光引导到第一图像传感器1462。在一些实施方式中，光学元件1454还可以基于光学元件1454处于第一取向，将来自第二发射器1444的光引导到第二光路1448，并且基于光学元件1474处于第一取向，光学元件1474可以将来自第三光路1466的光引导到第二图像传感器1464。将图14C与图4A和图14A相比较，组件458和478可以类似于组件418或1418，光学元件454和474可以类似于光学元件414或1414，并且致动器456和476可以类似于致动器416或1416。
如果第一图像传感器1462是针对第一发射器1442的接收器，则可以使用该发射器/传感器对来执行主动深度感测。如果第二图像传感器1464是针对第二发射器1444的接收器，则也可以使用该发射器/传感器对来执行主动深度感测。这两对可以被配置用于不同类型的主动深度感测或相同类型的主动深度感测的不同配置。虽然图14C和14D示出发射器共享光圈并且图像传感器共享光圈，但是第一发射器1442可以与第二图像传感器1464共享光圈，并且第二发射器1444可以与第一图像传感器1462共享光圈。例如，在图14C中，第二发射器1444和第二图像传感器1464可以切换。在一些其他实施方式中，光圈可以布置在任何侧面上。例如，光圈1450和1452可以布置在设备的具有光圈1472的一侧上，并且光圈1470可以在设备1440的不同侧上。以此方式，可以期望在从设备的特定方向(诸如从智能电话的背面)进行主动深度感测，但是可以期望从设备的多个侧面进行图像捕获(诸如还从智能电话的正面进行图像捕获以用于自拍成像)。如果用于主动深度感测的光圈被配置为允许光被发射到场景的较宽部分上(并且图像传感器被配置为捕获场景的较宽FOV的图像)，则光学元件1454的OE模式可以交替以允许对场景的较宽部分进行深度感测(类似于本文所述的用于较宽FOV成像的操作)。虽然描述了一些示例性配置，但是可以使用任何合适的组件配置。
图14D示出了示例设备1440部分的横截面，其例示了与第一光路1446相关联的第二发射器1444和与第三光路1466相关联的第二图像传感器1464。光学元件1454(在第二取向上)可以允许来自第二发射器1444的光到达第一光圈1450，并且光学元件1474(在第二取向上)可以允许来自第三光路1466的光到达第二图像传感器1464。光学元件1454还可以允许来自第一发射器1442的光到达第二光圈1452，并且光学元件1474可以允许来自第四光路1468的光到达第一图像传感器1462。将图14D与图4B和图14B相比较，组件1458和1478可以类似于组件418或1418，光学元件1454和1474可以类似于光学元件414或1414，并且致动器1456和1476可以类似于致动器416或1416。在一些实施方式中，一个光学元件可以由发射器或图像传感器1442、1444、1462和1464共享。例如，发射器和图像传感器可以被定位成使得可以旋转一个较大的光学元件，以如图14C或图14D所示地引导光。在一些其他实施方式中，光学元件1454和1474可以具有彼此不同的OE模式或在不同时间切换模式。在一些进一步的实施方式中，光学元件1454和1474可以被移动或施加有激励以进行调整。可以存在其他配置，并且本公开内容不限于以上示例。
图15A-16F示出了包括与光学元件相关联的图像传感器或第二发射器的设备。然而，这些描述是为了清楚地解释本公开内容的各方面。如图10、14A和14B所示，设备不需要包括与光学元件相关联的图像传感器或第二发射器。因此，本公开内容(包括图15A-16F中示出的示例)不限于需要与光学元件相关联的图像传感器或第二发射器。
图15A示出了示例设备1500部分的横截面，其例示了与第一光路1506相关联的第一发射器1502。光学元件1514被配置为在第一OE模式中将来自第一发射器1502的光引导到第一光路1506。如果设备1500包括图像传感器或第二发射器1504，则光学元件1514还被配置为将来自光路1508的光引导到图像传感器或第二发射器1504，或者将来自图像传感器或第二发射器1504的光引导到光路1508。沿着第一光路1506的光可以经由第一光圈1510离开设备1500。如果设备1500包括图像传感器1504，则沿着第二光路1508的光可以经由第二光圈1512进入设备。如果设备1500包括第二发射器1504，则来自第二发射器1504的沿着第二光路1508的光可以经由第二光圈1512离开设备1500。类似于图14A和14B，设备1500可以包括一个或多个组件1540，其被配置为在第一光路1506(或第二光路1508)和光学元件1514之间引导光。
光学元件1514可以被配置为类似于图5A和5B中所示出的光学元件514。例如，光学元件1514可以包括单面反射镜或双面反射镜、棱镜或用于引导光的其他合适的元件。致动器1516可以被配置为在第一位置(诸如图15A中所示)和第二位置(诸如图15B中所示)之间移动光学元件1514。致动器1516可以由设备控制器(例如图10中的控制器1010)控制。致动器1516可以被配置为类似于图5A和5B中的致动器516。
图15B示出了图15A中的设备1500部分的横截面，其中，光学元件1514在第二OE模式中处于设备1500中的示例第二位置处。设备1500被配置为将来自第一发射器1502的光引导到第二光路1508。如果设备1500包括图像传感器或第二发射器1504，则设备1500还被配置为在图像传感器或第二发射器1504与第一光路1506之间引导光。虽然未示出，但是光圈1510和1512可以在设备的相同侧上(类似于如图5C和5D所示)。
图16A示出了示例设备1600部分的横截面，其例示了对于第一OE模式的与第一光路1606相关联的第一发射器1602。基于是否向光学元件1614施加电流(或另一合适的激励)，第一发射器1602与第一光路1606相关联。图16B示出了示例设备1600部分的横截面，其例示了对于第二OE模式的与第二光路1608相关联的第一发射器1602。基于是否向光学元件1614施加电流(或另一合适的激励)，第一发射器1602与第二光路1608相关联。光学元件1614的透明度、反射率或折射率可以基于向光学元件1614施加的激励的水平(例如，施加的电流量)。例如，当施加电流时，光学元件1614可以是透明的，并且当不施加电流时，光学元件1614可以是反射性的。光学元件1614可以被配置为类似于图6A和6B中示出的光学元件614。例如，光学元件614和光学元件1614的材料成分可以相同。以此方式，光学元件1614可以包括或耦合到用于向光学元件1614施加电流的电触点1616。电触点1616可以由设备控制器(例如图10中的控制器1010)控制以控制光学元件1614的状态。光学元件1614的控制可以类似于图6A和图6B中所示的光学元件614的控制。例如，控制器1010可以控制开关以使电流施加到电触点1616或从其移除，以便在OE模式之间进行切换。虽然未示出，但是光圈1610和1612可以在设备的相同侧上(类似于如图6C和6D中所示)。
图16C-16F示出了用于在OE模式之间进行切换的光学元件的其他示例实施方式。图16C示出了示例设备1650部分的横截面，其例示了与第一光路1656相关联的第一发射器1652。第一光圈1660被配置为沿着第一光路1656引导光，并且第二光圈1662被配置为沿着第二光路1658引导光。对于第一OE模式处于第一取向的光学元件1664将来自第一发射器1652的光引导到第一光路1656。对于第一OE模式，光学元件1664还可以将来自第二光路1658的光引导到图像传感器或第二发射器1654，或者将来自图像传感器或第二发射器1654的光引导到第二光路1658。光学元件1664可以类似于图6E中的光学元件664。
当在第一OE模式和第二OE模式之间进行切换时，致动器1666可以将光学元件1664旋转到第二取向。除了致动器1666沿着朝向光学元件1664的中心的轴线(而不是朝向光学元件的一端的轴线)旋转光学元件1664之外，致动器1666可以类似于图14A中的致动器1416。图16D示出了示例设备部分的横截面，其例示了与第二光路1658相关联的第一发射器1652。对于第二OE模式处于第二取向的光学元件1664被配置为将来自第一发射器1652的光引导到第二光路1658。光学元件1664还被配置为将来自第一光路1656的光引导到图像传感器或第二发射器1654，或者将来自图像传感器或第二发射器1654的光引导到第一光路1656。在一些其他实施方式中，光学元件可以是棱镜或其他物体，其被移动或旋转以在OE模式之间进行切换。
在一些实施方式中，代替旋转光学元件，光学元件可以是棱镜或被配置为基于向光学元件施加的激励来引导光的其他结构。图16E示出了示例设备部分的横截面，其例示了与第一光路1676相关联的第一发射器1672。除了所使用的光学元件的类型之外，设备1670可以类似于图16C中的设备1650。例如，光学元件1686可以类似于图6G中的光学元件686。以此方式，第一发射器1672可以类似于第一发射器1652，图像传感器或第二发射器1674可以类似于图像传感器或第二发射器1654，第一光路1676可以类似于第一光路1656，第二光路1678可以类似于第二光路1658，第一光圈1680可以类似于第一光圈1660，并且第二光圈1682可以类似于第二光圈1662。
虽然光学元件1686被例示为基于经由电触点1688和电触点1690施加电流而改变状态，但是可以使用并且可以以任何方式施加任何合适的激励。在一些实施方式中，光学元件1686的第一部分包括当经由电触点1688施加电流时具有第一取向的第一组分子，并且光学元件1686的第二部分包括当经由电触点1690施加电流时具有第一取向的第二组分子。虽然例示了两个电触点，但是可以使用任何合适的数量(诸如一个或多个电触点)。当第一组分子和第二组分子处于第一取向时，光学元件1686可以被配置为如图16E所示(并且类似于如图6G所示)地引导光。当不施加电流时，第一组分子和第二组分子还可以具有第二取向。以此方式，当第一组分子和第二组分子处于第二取向时，光学元件1686可以被配置为如图16F所示(并且类似于如图6H所示)地引导光。图16F示出了图16E中的示例设备部分的横截面，其例示了与第二光路1678相关联的第一发射器1672。
在一些其他实施方式中，光学元件1686可以包括组合在一起的两个或更多个光学元件的单独组件。例如，光学元件1686的第一部分可以类似于图16A中的光学元件1614。可以基于经由电触点1688施加的电流来控制第一部分。光学元件1686的第二部分可以类似于旋转90度的光学元件1614。可以基于经由电触点1690施加的电流来控制第二部分。以此方式，OE模式之间的切换可以包括在针对第一OE模式经由触点1688提供电流且不经由触点1690提供电流与针对第二OE模式不经由触点1688提供电流且经由触点1690提供电流之间的切换。
如图14A-16F所示，对于主动深度感测模式通过光学元件引导光可以类似于对于图像捕获模式通过光学元件引导光(诸如图3A-6H所示)。以此方式，可以参考主动深度感测模式(例如，图10和14A-16H中所示的)来应用本文中参考图像捕获模式所描述的本公开内容的各方面。
图17A示出了图示用于主动深度感测的示例操作1700的说明性流程图。第一发射器、第一光圈和第二光圈可以如图10和14A-16B中所示出的(或如另外描述的)。为了清楚起见，图17A被描述为由图10中示出的设备1000执行。然而，任何合适的设备或设备配置可以用于执行示例操作1700。
在1702处，设备1000的第一发射器1002发射用于主动深度感测的第一光。例如，第一发射器1002可以发射第一光分布，可以发射周期性脉冲光，或者可以发射漫射光(例如，用于泛光照明)。在判决框1704处，如果光学元件1004处于第一OE模式中，则操作1700进行到步骤1706。如果光学元件1004不处于第一OE模式中(例如处于第二OE模式中)，则操作1700进行到步骤1710。参考步骤1706，光学元件1004将由第一发射器1002发射的第一光引导到第一光路1001。例如，光学元件1004可以基于光学元件1004的取向、光学元件1004的位置、光学元件1004的状态(基于要向光学元件1004施加的电流)等等，将来自第一发射器1002的光反射或折射到第一光路1001。在1708处，第一光圈1020将来自第一光路1001的第一光引导到设备1000的外部。
参考步骤1710，设备1000将来自第一发射器1002的第一光引导到第二光路1024。例如，光学元件1004可以处于不阻挡来自第一发射器1002的光到达第二光路1024(和第二光圈1022)的位置。在另一示例中，光学元件1004可以具有允许来自第一发射器1002的光穿过光学元件1004并且到达第二光路1024的取向，或处于允许来自第一发射器1002的光穿过光学元件1004并且到达第二光路1024的基于激励(例如，施加或不施加的电流)的状态。在1712处，第二光圈1022将来自第二光路1024的第一光引导到设备1000的外部。如本文所述，控制器1010可以被配置为调整光学元件1004，以在示例操作1700中在OE模式之间进行切换。
如果设备1000包括图像传感器或第二发射器1003，则设备1000还可以具有不同设备模式。图17B示出了图示由被配置用于不同设备模式的设备1000进行主动深度感测的示例操作1720的说明性流程图。在判决框1722处，如果设备1000处于第一设备模式中，则操作可以进行到图17A中的步骤1702。以此方式，第一发射器1002将用于主动深度感测。如果设备1000不处于第一设备模式中(例如，设备1000处于第二设备模式中)，则操作可以进行到判决框1724。如果设备1000处于第二设备模式中，则图像传感器可以用于图像捕获，或者第二发射器可以用于主动深度感测。
在判决框1724处，如果设备1000包括第二发射器，则操作可以进行到1726。如果设备1000包括图像传感器，则操作可以进行到1730。返回参考1726，当设备1000处于第二设备模式中时，第二发射器发射第二光。例如，第一设备模式可以是使用第一发射器的第一主动深度感测模式，并且第二设备模式可以是使用第二发射器的第二主动深度感测模式。这两种主动深度感测模式可以用于不同类型的主动深度感测技术(诸如结构光相对于飞行时间)。在另一示例中，这两种主动深度感测模式可以用于发射用于结构化光深度感测的不同光分布，或者用于发射用于飞行时间深度感测的不同脉冲频率或不同波长的光。例如，第一发射器可以被配置为发射低于1000nm的波长的光，并且第二发射器可以被配置为发射具有大于1000nm的波长的光。以此方式，飞行时间深度感测可以基于应用而使用不同频率的光。
在1728处，设备1000基于OE模式，将来自第二发射器1003的第二光引导到第一光路1001或第二光路1024。例如，如果光学元件1004处于第一OE模式中，则光学元件1004可以将第二光朝向第二光圈1022引导。如果光学元件1004处于第二OE模式中，则光学元件1004可以将第二光朝向第一光圈1020引导。第一OE模式可以与光学元件1004的第一取向、光学元件1004的第一位置或光学元件1004的第一状态相关联。第二OE模式可以与光学元件1004的第二取向、光学元件1004的第二位置或光学元件1004的第二状态相关联。在一些实施方式中，设备1000被配置为基于要使用哪种OE模式来调整光学元件1004。例如，控制器1010可以指示致动器或以其他方式控制光学元件1004在取向之间旋转、在位置之间移动或向光学元件1004施加激励。
返回参考1724，如果设备1000包括图像传感器，则设备1000可以基于OE模式将沿着第一光路或第二光路传播的光引导到图像传感器(1730)。例如，如果光学元件1004处于第一OE模式中，则光学元件1004可以将来自第二光圈1022的光(其沿着第二光路1024传播)朝向图像传感器1003引导。如果光学元件1004处于第二OE模式中，则光学元件1004可以将来自第一光圈1020的光(沿第一光路1001传播)朝向图像传感器1003引导。在一些实施方式中，设备1000被配置为基于要使用哪种OE模式来调整光学元件1004。例如，控制器1010可以指示致动器或以其他方式控制光学元件1004在取向之间旋转、在位置之间移动或向光学元件1004施加激励。
控制器1010(或设备1000的另一合适的组件)可以针对不同的OE模式(以及可选地，在不同的设备模式期间)控制光学元件1004。图18示出了图示用于主动深度感测的控制光学元件1004的示例操作1800的说明性流程图。操作1800可由控制器1010或设备1000的另一合适的组件执行。
在1802处，设备1000(例如控制器1010)识别光学元件1004将处于第一OE模式中还是第二OE模式中。在一些实施方式中，控制器1010基于设备模式来识别OE模式(1804)。例如，如果要使用第一光圈1020进行使用第二发射器1003的主动深度感测(其可对应于第二设备模式)，则控制器1010可以识别光学元件1004将处于第二OE模式中。在另一示例中，如果要使用第一光圈1020进行使用第一发射器1002的主动深度感测(其对应于第一设备模式)，则控制器1010可以识别光学元件1004将处于第一OE模式中。在另一示例中，如果设备1000要使用两个光圈来发射穿过场景的较宽部分的光以用于主动深度感测，则控制器1010可以确定对于第一时间部分将使用第一OE模式，而对于第二时间部分将使用第二OE模式(例如，交替OE模式)。
在基于设备模式识别OE模式的一些实施方式中，控制器1010可以基于不同的主动深度感测系统的效率来识别OE模式。例如，第一发射器1002可以发射第一光分布，并且第二发射器1003可以发射第二光分布，以用于结构化光深度感测。第一光分布可以比第二光分布更稀疏或者具有更大的码字。以此方式，在不存在干扰(例如环境光)的情况下，使用第一光分布的第一深度图可以具有比使用第二光分布的第二深度图低的分辨率。然而，第二光分布可能更易于受到干扰的影响，因为光点可能更紧密地聚束并且具有更低的个体光强度。例如，在明亮的阳光下，使用第二光分布的深度映射可能更困难。在另一示例中，随着对象的深度增加，使用第二光分布的深度映射可能更困难。以此方式，设备1000可以确定所使用的当前光分布是否足够。例如，当处理包括光分布的反射的图像并且确定深度以生成深度图时，深度图可以包括其中不能确定深度的孔。如果孔的数量或尺寸达到第二光分布的阈值，则设备1000可以确定将使用第一发射器1002(具有所发射的光的更稀疏分布)。以此方式，设备1000可以确定从第二设备模式切换到第一设备模式以用于主动深度感测。结果，控制器1010可以控制光学元件切换OE模式，以便从使用第二光分布进行主动深度感测切换到使用第一光分布进行主动深度感测。
在一些其他实施方式中，控制器1010基于主动深度感测或成像应用来识别OE模式(1806)。例如，如果第二光圈1022是智能电话上的前向光圈，并且智能电话要使用第一发射器1002来执行主动深度感测以用于面部识别，则控制器1010可以确定将使用第二光圈1022进行主动深度感测。以此方式，控制器1010可以识别光学元件1004将处于第二OE模式中。在另一示例中，如果智能电话处于低功率状态或锁定状态，则设备1000可以被配置为使用低功率图像传感器来执行成像应用以用于对象检测(例如，检测可能的面部是否接近图像传感器的视场的中心)。如果检测到可能的面部，则控制器1010可以在使用第一发射器1002发射用于主动深度感测(例如，用于面部识别)的光分布时确定切换OE模式。
在一些其他实施方式中，控制器1010基于用户输入来识别OE模式(1808)。例如，如果光圈1020和1022在设备1000的不同侧，则用户可以指示从设备的哪个方向执行主动深度感测。例如，用户可以通过一个或多个输入(例如，经由GUI、听觉命令、触觉命令、等等)来明确地选择方向或以其他方式指示OE模式。
在一些实施方式中，控制器1010基于设备1000的取向来识别OE模式(1809)。例如，控制器1010可以确定(例如，基于取向测量结果或来自图像传感器的图像中的光强度的测量结果)设备1000正搁置在表面上并且第一光圈1020指向上并且第二光圈1022向下指向该表面。控制器1010可以确定将使用第一光圈1020进行使用图像传感器的对象检测和使用第一发射器1002的用于面部识别的主动深度感测。以此方式，控制器1010可以识别用于对象检测的第二OE模式(以将来自第一光圈1020的光朝向图像传感器引导)，并且控制器1010可以识别用于面部识别的第一OE模式(以将来自第一发射器1002的光朝向第一光圈1020引导以用于主动深度感测)。
在1810处，设备1000基于所识别的OE模式来控制光学元件1004。例如，控制器1010可以确定是否要针对所识别的OE模式调整光学元件1004，并且控制器1010可以基于所识别的OE模式来调整光学元件1004(1812)。如本文所述，调整光学元件1004可以包括旋转光学元件1004、移动光学元件1004或向光学元件1004施加激励(例如电流)。例如，控制器1010可以将当前OE模式与所识别的OE模式进行比较，并确定是否存在差异。如果存在差异，则控制器1010可以指示(或者以其他方式控制)致动器旋转或移动光学元件1004，或者可以控制电触点以向光学元件1004施加电流或者从其移除电流。如本文所述，光学元件1004可以在设备操作期间(包括在设备模式期间)改变模式。这样，可以多次执行操作1800。
在一些实施方式中，第一设备模式和第二设备模式可以同时发生。例如，如果设备1000包括第二发射器1003，则可以使用设备1000的两个发射器和两个光圈来执行主动深度感测。在另一示例中，如果设备300包括第二光圈322，则可以使用设备300的两个图像传感器和两个光圈来执行图像捕获。例如，从智能电话的正面的主动深度感测或图像捕获可以与从智能电话的背面的主动深度感测或图像捕获同时执行。在另一示例中，主动深度感测和图像捕获两者可以从设备1000的相同侧执行。在一些实施方式中，主动深度感测可以是用于图像捕获的图像传感器1003的激光自动聚焦的飞行时间深度感测。
如本文所述，设备可以包括图像传感器、发射器、光学元件等等的任何合适组合，且组件的配置可以是任何合适配置。设备可以执行本文描述的方法的任何组合。例如，设备可以被配置用于多种主动深度感测模式和多种图像捕获模式。
本文所述的技术可以以硬件、软件、固件或其任何组合来实施，除非具体描述为以特定方式实施。描述为模块或组件的任何特征也可以一起实施在集成逻辑器件中或单独地实施为分立但可互操作的逻辑器件。如果以软件实施，则所述技术可以至少部分地由包括指令的非暂时性处理器可读存储介质(例如，图3A的示例设备300中的存储器306或图10的示例设备1000中的存储器1006)实现，所述指令在由处理器(或控制器、信号处理器或另一合适组件)执行时使得设备执行上文所描述的方法中的一个或多个。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分，所述计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器(RAM)，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、其他已知的存储介质、等等。附加地或替换地，所述技术可至少部分地由处理器可读通信介质来实现，所述处理器可读通信介质携带或传送指令或数据结构的形式的且可由计算机或其他处理器存取、读取和/或执行的代码。
结合本文中所公开的实施例而描述的各种说明性逻辑框、模块、电路和指令可以由一个或多个处理器执行，例如图3A的示例设备300和图10的示例设备1000中的处理器305或1005或图像信号处理器312或1012。这样的(一个或多个)处理器可以包括但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等效的集成或分立逻辑电路。如本文所使用的术语“处理器”可以指前述结构中的任何结构或适合于实现本文所描述的技术的任何其他结构。另外，在一些方面中，本文描述的功能可以在如本文描述的那样配置的专用软件模块或硬件模块内提供。而且，所述技术可以完全实施于一个或多个电路或逻辑元件中。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以实现为计算器件的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其他这种配置。
虽然本公开内容示出了说明性方面，但是应当注意，在不脱离所附权利要求的范围的情况下，可以在本文中进行各种改变和修改。例如，虽然示出了图像传感器和发射器的具体取向，但是这样的组件的取向可以是其他合适的取向。例如，一个或多个发射器或一个或多个图像传感器可以位于相对于设备的任何合适的平面上(例如，平行于设备的任何侧面的平面，包括正面、背面、顶部、底部等等，或由设备的两个或更多个侧面限定的平面之间的平面)。因此，本公开内容不限于图像传感器的特定取向或发射器的特定取向。在另一示例中，虽然示出了光学元件沿一条轴线的平移，但是平移可以沿一条或多条合适的轴线。在另一示例中，虽然光学元件的旋转被示出为沿着一条轴线，但是光学元件的旋转可以沿着任何合适数量的轴线发生。
另外，根据本文描述的各方面的方法权利要求的功能、步骤或动作不需要以任何特定顺序执行，除非另外明确陈述。例如，如果由设备(例如，由包括控制器310或1010、处理器305或1005、信号处理器312或1012、或者光学元件304或1004的组件)执行，则所描述的示例操作的步骤可以以任何顺序和任何频率执行。此外，尽管可以单数形式描述或声明了要素或组件，但除非明确陈述限于单数形式，否则也涵盖复数形式。例如，光学元件可以被配置为支持三个或更多个图像传感器或发射器。

Claims (30)

1.一种用于数字成像的设备，包括：
第一光圈，其被配置为沿着第一光路引导光；
第二光圈，其被配置为沿着第二光路引导光；
第一图像传感器；
第二图像传感器；以及
光学元件，其被配置为：
在第一光学元件(OE)模式中将来自所述第一光路的光朝向所述第一图像传感器引导，其中，所述第二图像传感器在第二OE模式中接收来自所述第一光路的光；以及
在所述第一OE模式中将来自所述第二光路的光朝向所述第二图像传感器引导，其中，所述第一图像传感器在所述第二OE模式中接收来自所述第二光路的光。
2.根据权利要求1所述的设备，其中，所述光学元件被配置为：
在所述第一OE模式中将来自所述第一光路的光朝向所述第一图像传感器引导；以及
在所述第二OE模式中允许来自所述第一光路的光通过所述光学元件。
3.根据权利要求2所述的设备，其中，所述光学元件还被配置为：
在所述第一OE模式中将来自所述第二光路的光朝向所述第二图像传感器引导；以及
在所述第二OE模式中允许来自所述第二光路的光通过所述光学元件。
4.根据权利要求2所述的设备，还包括：致动器，其被配置为在与所述第一OE模式相关联的第一位置和与所述第二OE模式相关联的第二位置之间移动所述光学元件。
5.根据权利要求4所述的设备，其中，所述致动器被配置为相对于来自所述第一光路的光的方向而在第一取向与第二取向之间旋转所述光学元件。
6.根据权利要求5所述的设备，其中，所述光学元件的透明度和反射率是基于所述光学元件相对于所述第一光路的取向的。
7.根据权利要求2所述的设备，还包括：被配置为向所述光学元件施加电流的电流源，其中，所述光学元件的透明度和反射率是基于向所述光学元件施加的电流量的。
8.根据权利要求1所述的设备，其中，所述第一图像传感器包括低功率图像传感器，且所述第二图像传感器包括高功率图像传感器。
9.根据权利要求1所述的设备，还包括显示屏，其中：
所述第一光圈位于所述设备的第一侧上，其中，所述第一侧包括所述显示屏；以及
所述第二光圈位于所述设备的不同于所述第一侧的第二侧上。
10.根据权利要求1所述的设备，其中，所述光学元件是处于所述第一OE模式中还是所述第二OE模式中是基于所述设备的取向的。
11.根据权利要求1所述的设备，还包括：
透镜，其被配置为朝向所述第一图像传感器或所述第二图像传感器对光进行聚焦；以及
致动器，其被配置为相对于所述第一图像传感器的位置或所述第二图像传感器的位置调整所述透镜的位置。
12.根据权利要求1所述的设备，还包括：
图像信号处理器，其被配置为处理从所述第一图像传感器和所述第二图像传感器接收的图像；
应用处理器，其被配置为将指令提供给所述图像信号处理器；以及
存储器，其被配置为存储经处理的图像。
13.一种用于通过包括第一光圈、第一图像传感器、第二图像传感器和光学元件的设备执行数字成像的方法，所述方法包括：
识别所述设备将处于第一设备模式中还是第二设备模式中；以及
基于所识别的设备模式来控制所述光学元件，其中：
所述光学元件在第一光学元件(OE)模式中，将来自所述第一光圈的光引导到所述第一图像传感器；以及
当所述光学元件处于第二OE模式中时，将来自所述第一光圈的光引导到所述第二图像传感器。
14.根据权利要求13所述的方法，其中，控制所述光学元件包括：
基于所识别的设备模式来识别所述光学元件将处于所述第一OE模式中还是所述第二OE模式中；以及
基于所识别的OE模式来调整所述光学元件。
15.根据权利要求14所述的方法，其中，识别所述光学元件将处于所述第一OE模式中还是所述第二OE模式中还是基于所述设备的取向的。
16.根据权利要求14所述的方法，其中，调整所述光学元件包括以下一项或多项：
旋转所述光学元件；
平移所述光学元件；或
向所述光学元件施加电流。
17.根据权利要求16所述的方法，其中，所述光学元件的透明度和反射率基于调整所述光学元件而被调整。
18.根据权利要求13所述的方法，其中，识别所述设备将处于所述第一设备模式中还是所述第二设备模式中是基于指示设备模式的用户输入的。
19.根据权利要求13所述的方法，其中，识别所述设备将处于所述第一设备模式中还是所述第二设备模式中是基于以下一项或多项的：
用于图像捕获的视场，其中，所述第一图像传感器与第一视场相关联，并且所述第二图像传感器与第二视场相关联；
用于图像捕获的变焦系数，其中，所述第一图像传感器与第一变焦系数相关联，并且所述第二图像传感器与第二变焦系数相关联；或
用于图像捕获的景深，其中，所述第一图像传感器与第一景深相关联，并且所述第二图像传感器与第二景深相关联。
20.根据权利要求19所述的方法，其中，识别所述设备将处于所述第一设备模式中还是所述第二设备模式中包括：
比较以下一项或多项：
用于图像捕获的所述视场与在所述第一视场和所述第二视场之间的阈值视场；
用于图像捕获的所述变焦系数与在所述第一变焦系数和所述第二变焦系数之间的阈值变焦系数；或者
用于图像捕获的所述景深与在所述第一景深和所述第二景深之间的阈值景深；以及
基于所述比较来选择所述第一设备模式或所述第二设备模式。
21.根据权利要求13所述的方法，还包括：
通过所述光学元件引导以下一项或多项：
在所述第一OE模式中来自所述第一光圈的光到所述第一图像传感器；或者
在所述第二OE模式中来自所述第一光圈的光到所述第二图像传感器；以及
捕获以下一项或多项：
在所述第一设备模式期间来自被引导到所述第一图像传感器的光的第一图像；或者
在所述第二设备模式期间来自被引导到所述第二图像传感器的光的第二图像。
22.根据权利要求21所述的方法，还包括通过所述光学元件引导以下一项或多项：
在所述第一OE模式中来自所述设备的第二光圈的光到所述第二图像传感器；或者
在所述第二OE模式中来自所述第二光圈的光到所述第一图像传感器。
23.一种存储指令的非暂时性计算机可读介质，所述指令在由包括第一光圈、第一图像传感器、第二图像传感器和光学元件的设备的一个或多个处理器执行时，使得所述设备：
识别所述设备将处于第一设备模式中还是第二设备模式中；以及
基于所识别的设备模式来控制所述光学元件，其中：
所述光学元件在第一光学元件(OE)模式中将来自所述第一光圈的光引导到所述第一图像传感器；以及
当所述光学元件处于第二OE模式中时，将来自所述第一光圈的光引导到所述第二图像传感器。
24.根据权利要求23所述的计算机可读介质，其中，用于控制所述光学元件的指令的执行使得所述设备：
基于所识别的设备模式来识别所述光学元件将处于所述第一OE模式中还是所述第二OE模式中；以及
基于所识别的OE模式来调整所述光学元件。
25.根据权利要求24所述的计算机可读介质，其中，识别所述光学元件将处于所述第一OE模式中还是所述第二OE模式中还是基于所述设备的取向的。
26.根据权利要求24所述的计算机可读介质，其中，调整所述光学元件包括以下一项或多项：
旋转所述光学元件；
平移所述光学元件；或
向所述光学元件施加电流。
27.根据权利要求23所述的计算机可读介质，其中，识别所述设备将处于所述第一设备模式中还是所述第二设备模式中是基于指示设备模式的用户输入的。
28.根据权利要求23所述的计算机可读介质，其中，识别所述设备将处于所述第一设备模式中还是所述第二设备模式中是基于以下一项或多项的：
用于图像捕获的视场，其中，所述第一图像传感器与第一视场相关联，并且所述第二图像传感器与第二视场相关联；
用于图像捕获的变焦系数，其中，所述第一图像传感器与第一变焦系数相关联，并且所述第二图像传感器与第二变焦系数相关联；或
用于图像捕获的景深，其中，所述第一图像传感器与第一景深相关联，并且所述第二图像传感器与第二景深相关联。
29.根据权利要求28所述的计算机可读介质，其中，用于识别所述设备将处于所述第一设备模式中还是所述第二设备模式中的指令的执行使得所述设备：
比较以下一项或多项：
用于图像捕获的所述视场与在所述第一视场和所述第二视场之间的阈值视场；
用于图像捕获的所述变焦系数与在所述第一变焦系数和所述第二变焦系数之间的阈值变焦系数；或者
用于图像捕获的所述景深与在所述第一景深和所述第二景深之间的阈值景深；以及
基于所述比较来选择所述第一设备模式或所述第二设备模式。
30.根据权利要求23所述的计算机可读介质，所述指令的执行还使得所述设备：
通过所述光学元件引导以下一项或多项：
在所述第一OE模式中来自所述第一光圈的光到所述第一图像传感器；或者
在所述第二OE模式中来自所述第一光圈的光到所述第二图像传感器；以及
捕获以下一项或多项：
在所述第一设备模式期间来自被引导到所述第一图像传感器的光的第一图像；或者
在所述第二设备模式期间来自被引导到所述第二图像传感器的光的第二图像。
CN202180021125.0A 2020-04-03 2021-02-25 多光路成像技术和用于主动深度感测技术的共享发射器 Active CN115280752B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063004970P 2020-04-03 2020-04-03
US63/004,970 2020-04-03
US202063010447P 2020-04-15 2020-04-15
US63/010,447 2020-04-15
US16/891,138 US11394860B2 (en) 2020-04-03 2020-06-03 Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
US16/891,138 2020-06-03
PCT/US2021/019725 WO2021202020A1 (en) 2020-04-03 2021-02-25 Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Publications (2)

Publication Number Publication Date
CN115280752A true CN115280752A (zh) 2022-11-01
CN115280752B CN115280752B (zh) 2024-05-14

Family

ID=77921670

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180020298.0A Active CN115280751B (zh) 2020-04-03 2021-02-25 多光路成像技术和用于主动深度感测技术的共享发射器
CN202180021125.0A Active CN115280752B (zh) 2020-04-03 2021-02-25 多光路成像技术和用于主动深度感测技术的共享发射器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202180020298.0A Active CN115280751B (zh) 2020-04-03 2021-02-25 多光路成像技术和用于主动深度感测技术的共享发射器

Country Status (6)

Country Link
US (2) US11394860B2 (zh)
EP (2) EP4128740A1 (zh)
KR (2) KR20220164480A (zh)
CN (2) CN115280751B (zh)
TW (2) TW202207689A (zh)
WO (2) WO2021202020A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312055B (zh) * 2019-07-26 2021-11-09 华为技术有限公司 电子设备及图像处理方法
CN114500808A (zh) * 2019-08-14 2022-05-13 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
US11394860B2 (en) 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
KR20220015039A (ko) * 2020-07-30 2022-02-08 에스케이하이닉스 주식회사 이미지 처리 시스템
US11297260B1 (en) * 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
CN115734059A (zh) * 2021-08-25 2023-03-03 晋城三赢精密电子有限公司 双镜头摄像模组
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218587A1 (en) * 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US20170272650A1 (en) * 2016-03-21 2017-09-21 Chiun Mai Communication Systems, Inc. Multiple lens system and portable electronic device employing the same
CN108604018A (zh) * 2016-01-06 2018-09-28 伊奎蒂公司 双面成像光导
CN110135232A (zh) * 2018-02-08 2019-08-16 脸谱科技有限责任公司 用于增强深度传感器装置的系统和方法
US20190265490A1 (en) * 2016-06-07 2019-08-29 Karl Storz Se & Co. Kg Optical Device And Method For Providing Improved Depth Of Field And Resolution Modes
CN110475053A (zh) * 2019-08-14 2019-11-19 Oppo（重庆）智能科技有限公司 电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101278239B1 (ko) 2006-10-17 2013-06-24 삼성전자주식회사 듀얼 렌즈 광학계 및 이를 구비하는 듀얼 렌즈 카메라
JP5128245B2 (ja) 2007-11-13 2013-01-23 Ｈｏｙａ株式会社 撮像装置
EP2202613A1 (en) * 2008-12-18 2010-06-30 Chung Shan Institute of Science and Technology Image invariant optical speckle capturing device and method
CN102404510B (zh) 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
KR101822661B1 (ko) * 2011-10-27 2018-01-26 삼성전자주식회사 비전 인식 장치 및 방법
US20140071329A1 (en) 2012-09-07 2014-03-13 Rambus Inc. Reconfigurable optical device using a total internal reflection (tir) optical switch
TW201415879A (zh) 2012-10-12 2014-04-16 Wintek Corp 影像擷取裝置
TWI589979B (zh) * 2013-05-02 2017-07-01 群邁通訊股份有限公司 雙向鏡頭模組、相機模組及使用該相機模組的電子裝置
US9335452B2 (en) * 2013-09-30 2016-05-10 Apple Inc. System and method for capturing images
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US10057509B2 (en) 2014-05-30 2018-08-21 Flir Systems, Inc. Multiple-sensor imaging system
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US9854226B2 (en) 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
CN105527782A (zh) 2015-02-13 2016-04-27 福州瑞芯微电子股份有限公司 便携式电子设备，及其中的摄像结构与获取影像的方法
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
KR20170032761A (ko) 2015-09-15 2017-03-23 엘지전자 주식회사 이동 단말기
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
US10502618B2 (en) * 2016-12-03 2019-12-10 Waymo Llc Waveguide diffuser for light detection using an aperture
US10901310B2 (en) * 2018-07-24 2021-01-26 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
CN208569285U (zh) 2018-08-02 2019-03-01 南昌欧菲生物识别技术有限公司 投影模组、光电装置及电子设备
CN114500808A (zh) 2019-08-14 2022-05-13 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
US11394860B2 (en) 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140218587A1 (en) * 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
CN108604018A (zh) * 2016-01-06 2018-09-28 伊奎蒂公司 双面成像光导
US20170272650A1 (en) * 2016-03-21 2017-09-21 Chiun Mai Communication Systems, Inc. Multiple lens system and portable electronic device employing the same
US20190265490A1 (en) * 2016-06-07 2019-08-29 Karl Storz Se & Co. Kg Optical Device And Method For Providing Improved Depth Of Field And Resolution Modes
CN110135232A (zh) * 2018-02-08 2019-08-16 脸谱科技有限责任公司 用于增强深度传感器装置的系统和方法
CN110475053A (zh) * 2019-08-14 2019-11-19 Oppo（重庆）智能科技有限公司 电子设备

Also Published As

Publication number Publication date
US20210314467A1 (en) 2021-10-07
TW202147255A (zh) 2021-12-16
EP4128738B1 (en) 2024-05-08
US20210314466A1 (en) 2021-10-07
US11394860B2 (en) 2022-07-19
WO2021202020A1 (en) 2021-10-07
EP4128740A1 (en) 2023-02-08
TW202207689A (zh) 2022-02-16
KR20220164480A (ko) 2022-12-13
US11277551B2 (en) 2022-03-15
CN115280751A (zh) 2022-11-01
KR20220164481A (ko) 2022-12-13
CN115280751B (zh) 2024-04-05
CN115280752B (zh) 2024-05-14
WO2021202021A1 (en) 2021-10-07
EP4128738A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
CN115280752B (zh) 多光路成像技术和用于主动深度感测技术的共享发射器
CN112513569B (zh) 用于泛光照明和主动深度感测的可调节光投射器
CN109379454B (zh) 电子设备
WO2020057205A1 (zh) 屏下光学系统、衍射光学元件的设计方法及电子设备
WO2020057204A1 (zh) 补偿显示屏、屏下光学系统及电子设备
US8654234B2 (en) Bi-directional screen
CN109274789B (zh) 电子设备
JP6230911B2 (ja) 距離測定のためのライトプロジェクタ及びビジョンシステム
CA2812433A1 (en) Integrated low power depth camera and projection device
KR20120101520A (ko) 범위 기초 감지
US10687034B1 (en) Image sensor with switchable optical filter
WO2020057206A1 (zh) 屏下光学系统及电子设备
CN113631969A (zh) 具有多级可调衍射光学元件的多功能光投射器
JP2000241131A (ja) レンジファインダ装置および撮像装置
US20160146592A1 (en) Spatial motion sensing device and spatial motion sensing method
US20110303832A1 (en) Spatial Detection on an Electronic Device Using Optical Coding
EP4022355A1 (en) 3d active depth sensing with laser pulse train bursts and a gated sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant