CN105187815B - 用于获得图像深度信息的系统及方法 - Google Patents

用于获得图像深度信息的系统及方法 Download PDF

Info

Publication number
CN105187815B
CN105187815B CN201510312839.3A CN201510312839A CN105187815B CN 105187815 B CN105187815 B CN 105187815B CN 201510312839 A CN201510312839 A CN 201510312839A CN 105187815 B CN105187815 B CN 105187815B
Authority
CN
China
Prior art keywords
image
objective lens
pixel
forming objective
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510312839.3A
Other languages
English (en)
Other versions
CN105187815A (zh
Inventor
彭进宝
李海峰
查尔斯·单
刘关松
单继章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN105187815A publication Critical patent/CN105187815A/zh
Application granted granted Critical
Publication of CN105187815B publication Critical patent/CN105187815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种用于获得至少一个物体在场景中的图像深度信息的系统，包括(a)成像物镜，具有用于形成所述场景的第一光学图像的第一部分和用于形成所述场景的第二光学图像的第二部分，且所述第一部分与第二部分不同，(b)图像传感器，用于捕捉第一和第二光学图像，并从其产生相应的第一和第二电子图像，以及(c)处理模块，用于处理所述第一和第二电子图像，以确定深度信息。一种用于获得至少一个物体在场景中的图像深度信息的方法，包括使用在单个图像传感器上成像物镜各别的第一和第二部分形成所述场景的第一和第二图像，以及从所述第一和第二图像之间的空间移位确定深度信息。

Description

用于获得图像深度信息的系统及方法
背景技术
使用成像系统以获取有关一个场景的深度信息正变得越来越普遍。传统上，这种系统利用包括两个独立成像系统的立体相机，以捕获一场景的一对图像。在所述对图像中的每个图像代表从两个不同角度观察到的场景。这模仿了人类如何使用一双眼睛来实现深度知觉。立体相机可以从独立成像系统中的一个所捕获的物体图像与独立成像系统中的另一个所捕获的物体图像之间的相对位移推导在一场景中与一物体的距离。这个方法利用基于所述相对位移、所述两个独立成像系统之间的距离以及所述成像系统的焦距特性的三角分析法。
立体相机系用于，例如在汽车中作为一安全部件以确定与附近物体的距离，以避免与这些物体碰撞。其它应用包括机器视觉和立体摄影。
发明内容
在一个实施例中，一种用于获得至少一物体在一场景中的图像深度信息的系统包括(a)一成像物镜，其具有用于形成所述场景的一第一光学图像的一第一部分和用于形成所述场景的一第二光学图像的一第二部分，且所述第一部分与所述第二部分不同，(b)一图像传感器，其用于捕捉所述第一和第二光学图像，并从其产生相应的一第一电子图像和一第二电子图像，以及(c)一处理模块，其用于处理所述第一和第二电子图像，以确定所述深度信息。
在一个实施例中，一种用于获得至少一物体在一场景中的图像深度信息的方法包括：使用在一单个图像传感器上一成像物镜各别的第一和第二部分形成所述场景的一第一和第二图像，并从所述第一和第二图像之间的空间移位确定所述深度信息。
附图说明
图1为根据一实施例绘示的一种用于获得关于一场景的图像深度信息的系统。
图2A和2B分别为根据一实施例图解显示一物体由一用于获得图像深度信息的成像系统进行成像的立体图和剖视图，其中所述物体位于焦点。
图3A和3B分别为根据一实施例图解显示一物体由一用于获得图像深度信息的成像系统的成像的立体图和剖视图，其中所述物体比焦点更远于所述成像系统。
图4A和4B分别为根据一实施例图解显示一物体由一用于获得图像深度信息的成像系统的成像的立体图和剖视图，其中所述物体比焦点更近于所述成像系统。
图5为根据一实施例绘示的一种用于获得图像深度信息的成像系统。
图6为根据一实施例绘示的一种用于获得图像深度信息的方法。
图7为根据一实施例绘示的一种用于获得图像深度信息的方法，其为图6的方法的一个实施例。
图8A和8B分别为根据一实施例绘示的一个可用于获得图像深度信息的角度选择性像素数组的俯视图和侧面剖视图。
图9为根据一实施例绘示的一种方法，其使用图8A和8B的角度选择性像素数组来产生与由成像物镜的两个不同的部分形成的光学图像相关联的两个电子图像。
图10A和10B分分别为根据一实施例绘示的一个可用于获得图像深度信息的角度选择性像素数组的俯视图和侧面剖视图。
图11为根据一实施例绘示的一种方法，其使用图10A和10B的角度选择性像素数组来产生与由一成像物镜的两个不同的部分形成的光学图像相关联的两个电子图像。
图12为根据一实施例绘示的一个示例性的成像物镜，每一个具有两个不同的部分，用于形成可用于获得图像深度信息的两个相应的光学图像。
图13为根据一实施例绘示的一种用于确定一场景的两个电子图像之间的空间移位的方法，其中两个电子图像系使用一成像物镜的两个不同的部分来产生。
图14显示使用图5的一个包括图8的角度选择性像素数组的一个实施例的实施例产生的一个电子图像和相关的空间移位的数据。
具体实施方式
本文揭露了使用单个图像传感器和单个成像物镜获得图像深度信息的系统和方法。所述图像传感器利用角度选择性的像素选择性地检测源自所述成像物镜两个不同部分的光。所述图像传感器从而产生两个图像，每一个图像对应于两个成像物体部分中相应的一个。关于一场景的深度信息是从由图像传感器所生成的场景的两个图像之间的图像空间移位所获得。本发明揭露的用于获得图像深度信息的系统和方法可以进一步通过利用例如最小化两个图像之间的空间移位来聚焦一成像系统，或通过组合这两个图像来提供一高动态范围的图像。
图1绘示了一个示例性的成像系统：用于获得关于一场景130的图像深度信息的相机100。相机100包括一成像物镜110和一图像传感器120。成像物镜110将场景130成像于的图像传感器120上。在图1所绘示的示范性场景中，场景130包括一位于与相机100相隔一距离151的物体141，一位于与相机100相隔一距离152的物体142，和一位于与相机100相隔一距离153的物体143。相机100可以产生一包括关于场景130的深度信息162的输出160。深度信息162包括由相机100藉由捕捉和处理由成像物镜110两个相应的部分形成在图像传感器120上的两个图像来确定的距离151、152和153。相机100可输出距离151、152和153作为属于物体141、142和143的个别的数值。可选择地，相机100可以输出场景130的深度图，或其包括物体141、142和143的一部分，其包括从相机100到场景130中的所有拍摄图像上可见的点的距离。距离151、152和153可以从这样的深度图中提取。值得注意的是，相机100使用单个图像传感器120和单个成像物镜110来确定关于场景130的绝对深度信息。任选地，输出160进一步包括场景130的一图像164。
图2A和2B显示绘示了当物体处于焦点，一物体由一个用于获得图像深度信息的示例性成像系统进行成像的简图200。图2A显示简图200的立体图，而图2B显示简图200的剖视图。图2A和2B最好一起观看。示例性的成像物镜210的部分211和212位于成像物镜210的光轴213相对的两侧。部分211和212定义从一物体230传播向图像传感器220的两个光线或光线束251和252。光线251从物体230通过成像物镜210的部分211传播到图像传感器220。同样地，光线252从物体230通过成像物镜210的部分212传播到图像传感器220。虽然图2A和2B绘示了物体230为位于光轴213上，物体230也可位于远离光轴213处，而不偏离本发明的范围。
成像物镜210具有一焦距f。假设成像物镜210为一薄透镜，则薄透镜公式规定
(方程式1)
其中D-0是从物体到成像物镜210的距离202，而D-1是从成像物镜210到物体的聚焦图像的距离203。在简图200中，成像物镜210是在距离图像传感器220距离201处，表示为L，其中L＝D-1。因此，物体230是在由成像物镜210和图像传感器220所形成的成像系统的焦点，并且在图像传感器220上由部分211和212所形成的图像重合，以得到一个单一的图像235。
图3A和3B显示绘示了由图2A和2B的成像系统进行物体330的成像的简图300，其中物体330比焦点更远于所述成像系统。图3A显示简图300的立体图，而图3B显示简图300的剖视图。图3A和3B最好一起观看。物体330是在距离成像物镜210(图2A和2B)距离302处，其中距离302大于距离202。虽然图3A和3B绘示了物体330为位于光轴213上，物体330也可位于远离光轴213处，而不偏离本发明的范围。分别从物体330通过成像物镜的部分211和212(图2A和2B)传播到图像传感器220的光线351和352相交于点331。根据方程式1，由于距离302(D-0)大于距离202，距离303(D-1)小于距离203，因此，点331是位于成像物镜210和图像传感器220之间与图像传感器220距离304处，以ΔD-表示。因此，如光线351和352所绘示，成像物镜的部分211和212在图像传感器220上各自形成图像332和333。图像332和333彼此相距一距离305，以空间移位ΔS表示。
空间移位ΔS，即距离305，表示从物体330到成像物镜210的距离302，由以下方程序表示：
(方程式2)
其在γ为光轴213到部分211和212中任一者的距离。方程式2是从方程式1使用方程式3的几何关系所导出：
(方程式3)
在方程式2的推导中，假定部分211和212到光轴213的距离为等距。在不偏离本发明范围的情况下，部分211和212到光轴213的距离可以是不同的，而方程式2也会相应地修改。在这两种情况下，方程式2绘示了从物体330到成像物镜210的距离可以从空间移位ΔS使用由成像物镜210和图像传感器220形成的成像系统的特性的已知值来推导。
图4A和4B显示绘示了由图2A和2B的成像系统进行物体430的成像的简图400，其中物体430比焦点更近于所述成像系统。图4A显示简图400的立体图，而图4B显示简图300的剖视图。图4A和4B最好一起观看。物体430是在距离成像物镜210(图2A和2B)距离402处，其中距离402大于距离202。虽然图4A和4B绘示了物体430为位于光轴213上，物体430也可位于远离光轴213处，而不偏离本发明的范围。分别从物体430通过成像物镜的部分211和212(图2A和2B)传播到图像传感器220的光线451和452相交于点431。根据方程式1，由于距离402(D-0)小于距离202，距离403(D-1)大于距离203，因此，点431是位于图像传感器220之外与图像传感器220的光敏表面距离404处，以ΔD表示。因此，如光线451和452所绘示，成像物镜的部分211和212在图像传感器220上各自形成图像432和433。图像432和433彼此相距一距离405，以空间移位ΔS表示。
相较于图3A和3B的图像332和333，图像432和433是颠倒的，以使图像432和433与各别形成图像432和433的的部分211和212位于光轴213的同一侧。方程式2在此仍然适用。然而空间移位和ΔS距离ΔD则取其负值。
简图200(图2A和2B)、简图300(图3A和3B)和简图400(图4A和4B)绘示了从一个由一单个图像传感器和一单个成像物镜形成的成像系统到一物体的距离可以由通过成像物镜的两个部分各别在图像传感器上形成的两个图像之间的空间移位来确定。虽然成像物镜210(图2A、2B、3A、3B、4A和4B)被假定为一薄透镜，成像物镜210也可能偏离薄透镜的近似范围，而不脱离本发明的范围。例如，成像物镜210可以是一厚透镜或一包括多个光学组件的透镜系统。在一般情况下，方程式1中的D-0是从物体到成像物镜210的前节点的距离，而方程式1中的D-1是从成像物镜210的背面结点到物体的聚焦图像的距离。
图5绘示了用于获得图像深度信息的一个示例性的成像系统500。成像系统500包括一成像物镜510、一具有角度选择性像素数组521的图像传感器520、一处理/控制模块530和一接口580。图像传感器520可以是例如一电荷耦合组件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器用于产生单色或彩色图像。成像系统500可选择性地包括一用于提供电力给一或多个的成像物镜510的电源585、图像传感器520、处理/控制模块530和接口580。在一个实施例中，成像系统500进一步包括一个用于至少部分包围成像物镜510的外壳590、图像传感器520、处理/控制模块530、接口580和可选的电源585。图1中的相机100是成像系统500的一个实施例。
成像物镜510具有一部分511(部分A)和一部分512(部分B)，用于在角度选择性像素数组521上形成一场景各别的光学图像515和516。角度选择性像素数组521被配置为区分以一对应于来自部分511的角度传播的光和一对应于来自部分512的角度传播的光。因此，图像传感器520从光学图像515产生一电子图像525以及从光学图像516产生另一电子图像525，并将电子图像525传送至处理/控制模块530。在某些实施例中，对应于光学图像515和516的两个电子图像被整合在一个单一的图像中。处理/控制模块530包括一处理器540和内存550。内存550包括储存在内存550非易失性部分的机器可读指令552。处理/控制模块530根据指令552处理电子图像525，以获得图像深度信息545和任选的其它图像数据。处理/控制模块将图像深度信息545以及任选的其它图像数据传送到接口580。接口580可以通过有线或无线连接与用户和/或外部计算器直接通信。
在一个实施例中，内存550包括一图像数据储存器560，其用于储存由处理/控制模块530从图像传感器520和/或从电子图像525导出的数据接收的电子图像525。例如，图像数据储存器560包括一个二维(2D)数据储存器562，用于储存二维图像，例如电子图像525，和/或图像深度数据储存器564，用于储存从电子图像525导出的深度信息。
在一个实施例中，成像物镜510相对于图像传感器520具有固定的焦距和固定的位置。在此实施例中，内存550可以包括透镜数据556，例如成像物镜510的焦距、部分511和512相对于成像物镜510或图像传感器520的位置以及成像物镜510相对于图像传感器520的位置。处理器540可利用透镜数据556来处理电子图像525，如结合图2A至图4B所做的讨论，以获得以成像系统500成像的场景的图像深度信息545。
在另一个实施例中，成像物镜510具有可变的焦点设置，例如可变焦距和/或到图像传感器520的可变距离。例如成像物镜510可以被配置为使成像系统500能自动对焦。内存550包括指示观察到的光学图像515和516之间的空间移位的对应关系的校准数据554，以电子图像525和535、焦点设置565以及图像深度为代表。在本实施例中，处理/控制模块530可发送到成像物镜510和/或从成像物镜510接收一或多个定义成像物镜510的焦点设置的焦点参数565。处理器540依照指令552使用校准数据554和焦点设置565处理电子图像525，以由成像系统500获得场景的深度信息545。
处理/控制模块530可任选地将控制设置535传送到图像传感器520，以控制图像传感器520的至少一部分功能，如曝光时间、白平衡、图像捕获的时间或频率、或增益。处理/控制模块530还可以从接口580接收信号555。例如，一用户可以将一个所需的聚焦设置565或一个控制设置535通过接口580传送到处理/控制模块530。
在一个未显示于图5的替代的实施例中，处理/控制模块530的至少一部分功能被结合到图像传感器520。在另一个替代实施例中，处理/控制模块530的至少一部分功能是位于可选的外壳590以外。
图6绘示了用于获得图像深度信息的一个示例性方法600。方法600是由例如成像系统500(图5)执行。在步骤610中，一场景的一第一光学图像是使用成像物镜的一第一部分形成在一图像传感器的一个角度选择性像素数组上。例如，成像物镜510(图5)的部分511(图5)在图像传感器520(图5)的角度选择性像素数组521(图5)上形成光学图像515(图5)。在步骤620中，一场景的一第二光学图像是使用成像物镜的一第二部分形成在一图像传感器的一个角度选择性像素数组上。例如，成像物镜510(图5)的部分512(图5)在图像传感器520(图5)的角度选择性像素数组521(图5)上形成光学图像516(图5)。在一个实施例中，步骤610和620是同时进行的。在另一个实施例中，步骤610和620串联执行，或者彼此在时间上错开。
在步骤630中，确定第一光学图像和第二光学图像之间的空间移位。例如，处理器530(图5)处理从光学图像515(图5)和516(图5)产生的电子图像525(图5)，再根据指令552(图5)来确定光学图像515和516的空间移位。处理器540可以将这样的空间移位储存到图像数据储存器560上。在步骤640中，从在步骤630中确定的空间移位确定至少一部分被成像场景的图像深度信息。例如，处理器540(图5)根据指令552(图5)处理在步骤630中确定的空间移位，以确定至少一部分被成像的场景的深度信息。
在一可选的步骤650中，图像的深度信息被输出。例如，处理/控制模块530(图5)将图像深度信息545(图5)通过接口580(图5)传送到一用户或一外部计算器。在另一个可选的步骤660中，表示在步骤610中形成的第一光学图像的一电子图像以及表示在步骤620中形成的第二光学图像的一电子图像中的一或两者被输出。例如，处理/控制模块530(图5)使用接口580(图5)将一个对应于光学图像515(图5)和516(图5)的电子图像输出到一用户或一外部计算器。
图7绘示了用于获得图像深度信息的一个示例性方法700。方法700是图6的方法600的一个实施例。方法700是由例如图5的成像系统500所执行。在步骤710中，方法700执行方法600(图6)的步骤610。在一随后的步骤715中，一第一电子图像是从在步骤710中形成的第一光学图像产生。例如，图像传感器520(图5)从在角度选择性像素数组521(图5)上由成像物镜部分511形成的光学图像515(图5)产生一电子图像525(图5)。在步骤720中，方法700执行方法600(图6)的步骤620。在一随后的步骤725中，一第二电子图像是从在步骤720中形成的第二光学图像产生。例如，图像传感器520(图5)从在角度选择性像素数组521(图5)上由成像物镜部分512形成的光学图像516(图5)产生一电子图像525(图5)。在一个实施例中，步骤710和720是同时进行的。在另一个实施例中，步骤715和725是同时进行的。步骤715和725可以结合在一单一步骤中，其中一个单一的电子图像包括形成在步骤710和720中与两个光学图像相关联的电子图像。
在步骤730中，第一和第二电子图像之间的空间移位被确定。例如，处理器540(图5)处理一对与光学图像515(图5)和516(图5)相关联的电子图像525(图5)，以确定空间移位。步骤715、725和730是步骤630(图3)的一个实施例。
在步骤740中，至少一部分被成像场景的图像深度信息是从在步骤730中确定的空间移位来确定。在一个实施例中，对于在第一和第二电子图像中的一者的每个像素，场景和成像系统或其部件之一之间的距离被确定。在另一个实施例中，在场景中的一或多个特定物体被识别，并且从这些物体到成像系统或其部件之一之间的距离被确定。例如，处理器540(图5)根据指令552处理在步骤730中确定的空间移位，以确定成像物镜510(图5)和被成像的场景的至少一部分之间的距离。
在一个实施例中，步骤740包括一步骤741，其利用透镜数据，例如成像物镜的焦距、第一和第二成像物镜部分的位置以及成像物镜和图像传感器之间的距离，以从空间移位获得深度信息。例如，在成像系统500(图5)的一个实施例中，其中成像物镜510(图5)具有固定的焦距和相对于图像传感器520(图5)的固定位置，处理器540(图5)从透镜数据556(图5)中提取，成像物镜510(图5)的焦距、部分511(图5)和512(图5)的位置以及成像物镜510(图5)相对于图像传感器520(图5)的位置。然后处理器540(图5)根据指令552(图5)使用这些参数来处理在步骤730中确定的空间移位，例如，如结合图2A至4B所讨论的。
在另一个实施例中，步骤740包括一步骤742，其通过利用成像物镜的聚焦设置之间的校准的对应关系、第一和第二电子图像之间的空间移位之间以及图像的深度来确定至少一部分被成像场景的图像深度信息。例如，处理器540(图5)接收聚焦设置565，并提取一在步骤730中确定的空间的移位之间的校准的对应关系、聚焦设置565(图5)和来自校准数据554(图5)的图像深度。然后处理器540(图5)根据指令552(图5)使用此信息，以处理在步骤730确定的空间移位，并确定至少一部分被成像的场景的图像深度信息。
步骤740可以进一步包括一步骤743，其解释了空间移位对角度选择性像素数组中的像素位置的依赖性。这是相关的，例如，在成像系统中，其中角度选择性的像素选择的成像物镜部分依赖于角度选择性像素在角度选择性像素数组中的位置。例如，校准数据554(图5)可以包括空间移位之间的校准的对应关系、聚焦设置565(图5)和来自校准数据554(图5)的图像深度，其解释了部分511(图5)和512(图5)为角度选择性像素位于角度选择性像素数组521(图5)内的位置的函数。
在一个实施例中，方法700包括一在步骤740之后执行的步骤750，其中，方法700执行方法600的步骤650(图6)。任选地，在步骤715和725中产生的电子图像中的一或两者的被输出。例如，处理/控制模块530(图5)可将电子图像525(图5)经由接口580输出到一用户或一外部计算器(图5)。
在某些实施例中，方法700包括一步骤770，其执行于步骤730之后，其中所述成像物镜的聚焦设置根据在步骤730确定的空间移位进行调整。步骤710、715、720、725、730和770可被执行若干次以尽量将化空间移位减至最小，其相当于改进聚焦。例如，处理/控制模块530(图5)可以将进行新的聚焦设置565(图5)传送到成像物镜510(图5)。在其它实施例中，步骤770于步骤740之后接续执行。在这些实施例中，步骤770可利用所述成像物镜的一个校准的对应聚焦设置和最佳聚焦的图像深度，以从所确定的图像深度来计算改进的聚焦设置。例如，处理器540(图5)根据指令552(图5)处理在步骤740确定的一图像深度，并使用储存在校准数据554(图5)的一个成像物镜的校准的对应聚焦设置和最佳聚焦的图像深度来确定改进的聚焦设置565。然后处理/控制模块530(图5)将改进的聚焦设置565传送到成像物镜510。
在一个实施例中，方法700包括一步骤760，其中一个或多个电子图像被输出，例如第一和/或第二电子图像。在某些实施例中，步骤760包括用于产生并输出一高动态范围图像的步骤765，即一个具有比第一电子图像更高动态范围和比第二电子图像更高动态范围的图像。在方法700的这个实施例中，所述第一和第二电子图像具有不同的亮度。这可以通过例如在步骤715和725中使用不同的曝光时间和/或增益来捕获所述第一和第二电子图像的来实现。可替换地或可与之组合的，不同的亮度可以通过使用较大的、因此较敏感的角度选择性像素来捕获第一和第二电子图像中的一个，以及较小的、因此较不敏感的角度选择性像素来捕获所述第一和第二电子图像中的另一个来实现。在另一个方法中，用于步骤710和720中的成像物镜的第一和第二部分分别具有不同的尺寸和/或透射，使得来自第一和第二部分中的每一者的不同量的光能被检测。这种方法可以与一或多个上面提到的其它方法组合。不论所选择用于产生不同的亮度的第一和第二电子图像的具体方法为何，步骤765使用例如在本领域中已知的方法结合第一和第二电子图像，以形成一个单一的更高动态范围的电子图像。在一个例子中，处理器540(图5)根据指令552(图5)结合由图像传感器520(图5)从光学图像515(图5)和516(图5)产生的一对电子图像525(图5)，以形成更高动态范围的电子图像，其中所述对电子图像具有不同的亮度。
图8A和8B绘示了一个可用于获得图像深度信息的示例性的角度选择性像素数组800。角度选择性像素数组800是成像系统500(图5)的角度选择性像素数组521的一个实施例。图8A和8B分别显示了角度选择性像素数组800的俯视图和侧面剖视图。图8A和8B最好一起观看。角度选择性像素数组800包括多个角度选择性像素810。每一个角度选择性像素810包括一透镜815和两个子像素811和812。在一个实施例中，透镜815是一个微透镜。在一个实施例中，子像素811和812是光电二极管。子像素811和812分别位于沿着一个方向890的不同的位置。为了清楚地说明，不是所有的角度选择性像素810、透镜815和子像素811和812皆被标记在图8A和8B中。
光线821和822代表以两个不同的角度入射选择性像素数组800的光。光线821代表以一向下的角度入射角度选择性像素数组800的光，亦即光线821在方向890上具有行进的负分量。为了清楚地说明，光线821只指向一个单一的角度选择性的像素810，虽然光线821可入射角度选择性像素数组800的所有角度选择性像素，或其包括多个角度选择性像素810的一部分。透镜815将光线821导向子像素811上。光线822代表以一向上的角度入射角度选择性像素数组800的光，亦即光线822在方向890上具有行进的正分量。为了清楚地说明，光线822只指向一个单一的角度选择性的像素810，虽然光线822可入射角度选择性像素数组800的所有角度选择性像素，或其包括多个角度选择性像素810的一部分。透镜815将光线822导向子像素812上。子像素811和812响应入射到其上的光而产生独立的电子信号。由子像素811响应入射光而产生的电子信号是与光线821相关联。同样地，由子像素812响应入射光而产生的电子信号是与光线822相关联。因此，角度选择性像素810输出与两个不同传播方向的入射光相关联的两个电子信号。虽然图8B绘示了光线821和822各以平行光线组成，光线821和光线822各自可以代表在一个角度范围内传播的光，而不脱离本发明的范围。同样地，光线821和822可以分别包括向下和向上以外的其它传播角度，而不脱离本发明的范围。
角度选择性像素数组800可以在成像系统500(图5)中以角度选择性像素数组521来实现，使得光线821和822分别代表来自成像物镜部分511和512的光线。因此，每个子像素811选择性地检测出光来自部分511和512中的一者，也就是各个子像素811选择性地检测出光学图像515和516中的一者。同样地，每个子像素812选择性地检测光学图像515和516中的另一者。因此，角度选择性像素数组800是能够在维度890上提供表示空间移位的电子信号。角度选择性像素数组800可在图2A至4B的图像传感器220中实现，以使方向890平行于空间移位ΔS的方向(图3B中的方向305和图4B中的方向405)。
在一个实施例中，子像素811和812具有不同的尺寸。此实施例对产生高动态范围的图像是有用的，如结合步骤765(图7)所讨论的。在某些实施例中，角度选择性像素数组800进一步包括一个用于产生彩色图像的滤色器数组，其中每个角度选择像素810被配置成用于检测光的某种颜色。例如，一彩色像素可由四个角度选择性像素810组成，包括一用于检测红光的角度选择性像素810、一用于检测蓝光的角度选择性像素810和两个用于检测绿光的角度选择性像素810。角度选择性像素数组800可以使用CCD或CMOS技术来制造。
图9绘示了一个示例性方法900，其用于产生两个与由成像物镜两个不同的部分形成的光学图像相关联的电子图像。方法900是方法700(图7)的步骤710、715、720，和725的一个实施例，而方法900的步骤910、915、920和925分别是步骤710、715、720和725(图7)的实施例。方法900是由例如成像系统500(图5)的成像物镜510和图像传感器520及实施为角度选择性像素数组521的角度选择性像素数组800来执行。
在步骤910中，一第一光学图像是使用一成像物镜的第一部分形成于角度选择性像素数组上。例如，部分511(图1)在实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)上形成光学图像515(图5)。在步骤915中，一第一电子图像从在步骤910中形成的第一光学图像中产生。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)从光学图像515(图5)产生一第一电子图像525(图5)。步骤915包括步骤916和917。在步骤916中，每个角度选择性像素将来自成像物镜的第一部分的光线导向一第一子像素。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)，其每个角度选择性像素810(图8)的透镜815(图8)将来自部分511(图5)的光线821(图8)导向子像素811(图8)。在步骤917中，一第一电子图像使用第一子像素从在步骤910中形成的第一光学图像中产生。例如，图像传感器520(图5)与实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)处理由子像素811(图8)响应光线821(图8)而产生的电子信号，以产生所述第一电子图像。
步骤920和925类似于步骤910和915，并与其并列或串联执行。在步骤920中，一第二光学图像系使用一成像物镜的第二部分形成于一角度选择性像素数组上。例如，部分512(图1)于实现为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)上形成光学图像516(图5)。在步骤925中，一第二电子图像从在步骤920中形成的第二光学图像产生。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)从光学图像516(图5)产生一第二电子图像525(图5)。步骤925包括步骤926和927。在步骤926中，每个角度选择性像素将来自成像物镜的第二部分的光线导向第二子像素。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)，其每个角度选择性像素810(图8)的透镜815(图8)将来自部分512(图5)的光线822(图8)导向子像素812(图8)。在步骤927中，一第二电子图像使用第二子像素从在步骤910中形成的第二光学图像中产生。例如，图像传感器520(图5)与实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)处理由子像素812(图8)响应光线822(图8)而产生的电子信号，以产生所述第二电子图像。
图10A和10B绘示了一个可用于获得图像深度信息的示例性的角度选择性像素数组1000。角度选择性像素数组1000是成像系统500(图5)的角度选择性像素数组521的一个实施例。.图10A和10B分别显示了角度选择性像素数组1000的俯视图和侧面剖视图。图10A和10B最好一起观看。角度选择性像素数组1000包括多个角度选择性像素1001和多个角度选择性像素1002。角度选择性像素1001和1002中的每一个包括一透镜1015、两个子像素1011和1012及一个屏蔽1030的一部分。在一个实施例中，透镜1015是一微透镜。像素部分1011和1012表示单一光敏组件的两部分，如光电二极管。像素部分1011和1012分别位于沿方向890上的不同位置(图8)。为了清楚地说明，不是所有的角度选择性像素1001和1002、透镜1015、像素部分1011和1012和部分屏蔽1030皆被标记在图10A和10B中。
图8的光线821和822入射到选择性像素数组1000上。为了清楚地说明，光线821只指向一个单一的角度选择性的像素1011，虽然光线821可入射角度选择性像素数组1000的所有角度选择性像素，或其包括多个角度选择性像素1011的一部分。同样为了清楚地说明，光线822只指向一个单一的角度选择性的像素1012，虽然光线822可入射角度选择性像素数组1000的所有角度选择性像素，或其包括多个角度选择性像素1012的一部分。透镜1015将光线821导向子像素1011上。而透镜1015将光线822导向子像素1012上。角度选择性像素1001和1002中的每一者响应入射在像素部分1011和1012的光而产生一单一的电子信号。这与在图8中的子像素811和812的功能相反。
在每一个角度选择性像素1001中，屏蔽1030的部分被定位以传送向像素部分1011传播的光线821的至少一部份，并阻挡向像素部分1012传播的光线822。因此，由角度选择性像素1001响应入射光所产生的电子信号是与光线821相关联。同样地，在每一个角度选择性像素1002中，屏蔽1030的部分被定位以阻挡向像素部分1011传播的光线821，并传送向像素部分1012传播的光线822的至少一部分。因此，由角度选择性像素1002响应入射光所产生的电子信号是与光线822相关联。
角度选择性像素数组1000可以在成像系统500(图5)中以角度选择性像素数组521来实现，使得光线821和822分别代表来自成像物镜部分511和512的光线。因此，每个角度选择性像素1001选择性地检测出光来自部分511和512中的一者，也就是各个角度选择性像素1001选择性地检测出光学图像515和516中的一者。同样地，角度选择性像素1012选择性地检测光学图像515和516中的另一者。因此，角度选择性像素数组1000是能够在维度890上提供表示空间移位的电子信号。角度选择性像素数组1000可在图2A至4B的图像传感器220中实现，以使方向890平行于空间移位ΔS的方向(图3B中的方向305和图4B中的方向405)。
虽然图10绘示了屏蔽1030为具有一棋盘图案，以使角度选择性像素1001和1002在两个维度上交替，屏蔽1030可具有不同的配置，而不脱离本发明的范围。例如，屏蔽1030可被配置以产生角度选择性的像素数组，其中的角度选择性像素1001列与角度选择性的像素1002列交替。此外，屏蔽1030可以被配置为使得角度选择性像素数1001的数目不同于角度选择性像素1002的数目。
在一个实施例中，像素部分1011和1012具有不同的尺寸，而屏蔽1030如以上所讨论的为了传送和阻挡光线被修改。如结合步骤765(图7)所讨论的，这个实施例对产生高动态范围的图像是有用的。
在某些实施例中，角度选择性像素数组1000进一步包括一个用于产生彩色图像的滤色器数组，其中每个角度选择性像素1001和1002被配置成用于检测光的某种颜色。例如，一彩色像素可由四个角度选择性像素1001(或1002)组成，包括一用于检测红光的角度选择性像素1001(或1002)、一用于检测蓝光的角度选择性像素1001(或1002)和两个用于检测绿光的角度选择性像素1001(或1002)。角度选择性像素数组1000可以使用CCD或CMOS技术来制造。
图11绘示了一个示例性方法1100，用于产生两个与由成像物镜两个不同的部分形成的光学图像相关联的电子图像。方法1100是方法700(图7)的步骤710、715、720，和725的一个实施例，而方法1100的步骤1110、1115、1120和1125分别是步骤710、715、720和725(图7)的实施例。方法1100是由例如成像系统500(图5)的成像物镜510和图像传感器520及实施为角度选择性像素数组521的角度选择性像素数组1000来执行。
在步骤1110中，方法1100执行方法900(图9)的步骤910。例如，部分511(图1)在实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)上形成光学图像515(图5)。在步骤1115中，一第一电子图像从在步骤1110中形成的第一光学图像中产生。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)从光学图像515(图5)产生一第一电子图像525(图5)。步骤1115包括步骤1116和1119。在步骤1116中，来自成像物镜的第一部分的光线由一第一多个角度选择性像素检测。步骤1116包括步骤1117和1118。在步骤1117中，角度选择性像素数组的每个角度选择性像素将来自成像物镜的第一部分的光线导向一第一像素部分，即感光组件的一部分。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)，其每个角度选择性像素1001和1002(图10)的透镜1015(图10)将来自部分511(图5)的光线821(图8和图10)导向像素部分1011(图10)。在步骤1118中，与来自第一部分的光线不同，对于在第一多个角度选择性像素中的每个角度选择性像素而言，来自一成像物镜的第二部分的光线被阻挡。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)，屏蔽1030的一部分(图10)对于所有角度选择性的像素1001(图10)阻挡来自部分512(图5)的光线822(图8和图10)。屏蔽1030(图10)对于所有角度选择性像素1001(图10)传送来自部分511(图5)的光线821(图8和图10)的至少一部分。在步骤1119中，一第一电子图像使用第一多个角度选择性像素从在步骤1110中形成的第一光学图像中产生。例如，图像传感器520(图5)与实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)处理由角度选择性像素1001(图10)响应光线821(图8和图10)而产生的电子信号，以产生所述第一电子图像。
步骤1120和1125类似于步骤1110和1115，并与其并列或串联执行。在步骤1120中，方法1100执行方法900(图9)的步骤920。例如，部分511(图1)于实现为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)上形成光学图像516(图5)。在步骤1125中，一第二电子图像从在步骤1120中形成的第二光学图像产生。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)从光学图像515(图5)产生一第二电子图像525(图5)。步骤1125包括步骤1126和1127。在步骤1126中，来自成像物镜的第二部分的光线被一第二多个角度选择性像素检测。步骤1126包括步骤1127和1128。在步骤1127中，角度选择性像素数组的每个角度选择性像素将来自成像物镜的第二部分的光线导向第二像素部分，即感光组件的一部分。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)，其每个角度选择性像素1001和1002(图10)的透镜1015(图10)将来自部分511(图5)的光线821(图8和图10)导向像素部分1011(图10)。在步骤1128中，对于在第二多个角度选择性像素中的每个角度选择性像素而言，来自成像物镜的第一部分的光线被阻挡。例如，实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)，屏蔽1030的一部分(图10)对于所有角度选择性的像素1002(图10)阻挡来自部分511(图5)的光线821(图8和图10)。屏蔽1030(图10)对于所有角度选择性像素1002(图10)传送来自部分512(图5)的光线822(图8和图10)的至少一部分。在步骤1129中，一第二电子图像使用第二多个角度选择性像素从在步骤1120中形成的第二光学图像中产生。例如，图像传感器520(图5)与实施为角度选择性像素数组521(图5)的角度选择性像素数组1000(图10)处理由角度选择性像素1002(图10)响应光线822(图8和图10)而产生的电子信号，以产生所述第二电子图像。
图12绘示了示例性的成像物镜1210、1220、1230、1240和1250，其每一个具有两个不同的部分，用于形成可用于获得图像深度信息的两个相应的光学图像。图12绘示了成像物镜1210、1220、1230、1240和1250的侧面剖视图，其中所述横截面垂直于成像物镜的光轴。
成像物镜1210包括与成像物镜1210的一第一和一第二半部一致的两个部分1211和1212。部分1211和1212位于成像物镜1220的光轴1215的相对的两侧。成像物镜1220包括成像物镜末端部分的两个部分1221和1222。部分1221和1222是位于成像物镜1220的光轴1225的相对的两侧。成像物镜1230包括两个带状部分1231和1232，其位于成像物镜1230的光轴1235的相对的两侧。成像物镜1240包括位于成像物镜1240相对的末端的椭圆区域的两个部分1241和1242。部分1241和1242位于成像物镜1240的光轴1245的相对的两侧。成像物镜1250包括两部分1251和1252，其为位于成像物镜1250的光轴1255的相对两侧上的椭圆区域。
成像物镜的两个部分可以配置成与图12所绘示的形态不同，而不脱离本发明的范围。例如，所述两个部分可以具有形状和尺寸与图12所绘示的不同。同样地，所述两个部分可以具有与彼此不同的形状和/或尺寸。此外，所述两个部分可以不位于光轴的相对的两侧。更进一部地，所述两个部分可以具有某种程度的重迭。这种重迭可导致两个光学图像之间的串扰。然而，串扰可能够小以使图像的深度信息可被获得。所述成像物镜的两个部分可以部分地通过遮蔽成像物镜的其它部分来形成。用于执行这种遮蔽的屏蔽可以被整合在成像物镜中或与其分离。
图13绘示了用于确定一个场景的两个电子图像之间的空间移位的一个示例性方法1300，其中所述两个电子图像是使用成像物镜的两个不同的部分而产生。方法1300是图7的步骤730的一个实施例，并且可以通过处理/控制成像系统500(图5)的模块530来执行。
在步骤1310中，产生一个第一电子图像的第一谱线轮廓。第一谱线轮廓沿着一个维度被记录，其中在所述维度上的空间移位将被确定。例如，所述谱线轮廓沿着对应于方向305(图3)、405(图4)或890(图8和图10)的维度被记录。步骤1310是由例如处理器540(图5)根据指令554(图5)来执行。处理器540(图5)从光学图像515(图5)产生的光学图像525(图5)沿着空间移位被确定的维度产生一谱线轮廓。同样地，在步骤1320中，一第二电子图像的第二谱线轮廓被产生。所述第二谱线轮廓是沿着一个维度被记录，其中在所述维度上的空间移位将被确定。例如，所述谱线轮廓沿着对应于方向305(图3)、405(图4)或890(图8和图10)的维度被记录。步骤1310是由例如处理器540(图5)根据指令554(图5)来执行。处理器540(图5)从光学图像516(图5)产生的光学图像525(图5)沿着空间移位被确定的维度产生一谱线轮廓。对于1310和1320这两个步骤，所述谱线轮廓可表示在一正交于空间移位在其上被确定的维度的维度上的一个有限的图像范围的平均值。例如，一个电子图像的矩形部分可以被投影到空间移位在其上被确定的维度上，并从所述投影产生一谱线轮廓。
在步骤1330中，比较分别在步骤1310和1320产生的第一和第二谱线轮廓以确定所述第一和第二电子图像之间的空间移位。在一个实施例中，沿着谱线轮廓的每个像素位置上的空间移位被确定。可选择地，这包括可观测的空间移位的位置之间的内插。例如，与一均匀明亮的物体或一均匀有色的物体的内部位置相关联的空间移位可以通过在物体的边界之间内插来确定。在另一个实施例中，只对能产生可观测的空间移位的物体或图像部分确定空间移位。步骤1330是由例如处理器540(图5)根据指令552(图5)来执行。
方法1300可重复用于第一和第二电子图像的多个部分，以确定在正交于用于确定空间移位的维度的维度上不同位置的图像部分的空间移位。
图14显示使用图5具有实施为角度选择性像素数组521(图5)的角度选择性像素数组800(图8)的成像系统500的一个实施例所产生的一电子图像和相关联的空间移位数据。图像1410是根据方法900(图9)由图5中的成像系统500使用成像物镜510的一第一部分，即部分511，和一第二部分，即部分512，所产生的一个场景的第一和第二电子图像中的一者。所述场景包括三个相同的物体1401、1402和1403位于三个距成像系统500不同距离处。方向1490是确定空间移位的方向。方向1490相当于图8的方向890。空间移位是使用图13的方法1300从所述两个电子图像来确定。所得的空间移位数据示于图表1421、1422和1423。谱线轮廓系以亮度1480绘制，其为一沿方向1490上的位置的函数。
图表1421显示对所述第一和第二电子图像中的每一者，沿着如图像1410所绘示的线1411记录的谱线轮廓1431和1441。线1411穿过三个相同的物体中距离最远的物体1401。物体1401位于比在焦点上的物体更远离成像系统500(图5)处。其相当于由图3的简图300所绘示的情况。在谱线轮廓1431和1441之间的空间移位1451表示物体1401的上边界的空间移位。到物体1401的距离可以由相位移1451确定，例如如结合图2A至4B所讨论的。
图表1422显示对所述第一和第二电子图像中的每一者，沿着如图像1410所绘示的线1412记录的谱线轮廓1432和1442。线1412穿过在成像系统500(图5)的焦点上的物体1402。其相当于由图2的简图200所绘示的情况。没有任何与物体1402相关联的可观测的空间移位，并且可以由此推断物体1402是位在成像系统500(图5)的焦点距离上。
图表1423显示对每个所述第一和第二电子图像中的每一者，沿着如图像1410所绘示的线1413记录的谱线轮廓1433和1443。线1413穿过三个相同的物体中距离最小的物体1403。物体1403位于比在焦点上的物体更靠近成像系统500(图5)处。其相当于由图4的简图400所绘示的情况。在谱线轮廓1433和1443之间的空间移位1453表示物体1403的上边界的空间移位。到物体1403的距离可以由相位移1453确定，例如结合图2A至4B所讨论的。
在图14中呈现的数据绘示了即使当与空间移位相关联的物体不在聚焦点，空间移位仍可被确定。在某些实施例中，成像系统500被用来确定在所述成像系统的景深之外的物体的图像深度。
特点组合
如上所述的特性以及以下权利要求可以以各种方式组合，而不脱离本发明的范围。例如，它可以被理解为，本文所述的一种用于获得图像深度信息的系统或方法的特征可与本文所述的另一种用于获得图像深度信息的系统或方法的特征互相结合或交换。下列实施例说明上述实施例可能的、非限制性的组合。应了解的是，对本文所述的方法和装置可以进行许多其它的变化和修改而不脱离本发明的精神和范围：
(A)一种用于获得至少一个物体在场景中图像深度信息的系统，其可包括(i)成像物镜，包括用于形成所述场景的第一光学图像的第一部分和用于形成所述场景的第二光学图像的第二部分，且所述第一部分与所述第二部分不同，以及(ii)图像传感器，用于捕捉所述第一和第二光学图像，并从其产生相应的第一电子图像和第二电子图像。
(B)如(A)所示的系统可进一步包括用于处理所述第一和第二电子图像的处理模块，以确定所述深度信息。
(C)如在(B)所示的系统中，所述处理模块可包括用于从所述第一和第二电子图像之间的空间移位确定所述深度信息的指令。
(D)如在(C)所示的系统中，所述处理模块可进一步包括校准数据，其包括相对应的所述空间移位、成像物镜的聚焦设置和所述深度信息。
(E)如在(D)所示的系统中，所述指令可进一步包括用于利用所述校正数据，以从所述第一和第二电子图像之间的空间移位确定所述深度信息的指令。
(F)如在(A)到(E)所示的系统中，所述成像物镜可具有光轴，且所述成像物镜的所述第一和第二部分被定位在所述光轴相对的两侧。
(G)如在(A)到(F)所示的系统中，所述图像传感器可包括多个具有角度选择性的像素，以使被所述图像传感器检测到的光与所述成像物镜的第一和第二部分中已知的一者相关联。
(H)如在(G)所示的系统中，每个所述像素可包括：第一子像素，用于产生所述第一电子图像的一部分，第二子像素，用于产生所述第二电子图像的一部分，以及透镜，用于将从所述成像物镜的所述第一和第二部分向像素传播的光分别导向所述第一和第二子像素。
(I)如在(H)所示的系统中，所述第一和第二子像素可具有不同的灵敏度。
(J)如在(G)到(I)所示的系统中，每个所述像素可检测来自所述成像物镜的所述第一和第二部分中选定的一者的光。
(K)如在(A)到(F)所示的系统中，每个所述像素可包括(i)透镜，用于将从所述成像物镜的所述第一和第二部分向像素传播的光分别导向所述像素的第一和第二部分，以及(ii)屏蔽，用于阻挡来自所述成像物镜的所述第一和第二部分中非选定的一者的光。
(L)如在(A)到(K)所示的系统中，所述成像物镜可具有可调节的焦距。
(M)如在(A)到(K)所示的系统中，所述成像物镜可具有固定的焦距。
(N)如在(A)到(M)所示的系统中，所述成像物镜相对于所述图像传感器可具有固定的位置。
(O)如在(A)到(N)所示的系统中，所述深度信息可包括从所述系统到所述至少一个物体的距离。
(P)一种用于获得至少一个物体在场景中的图像深度信息的方法，其可使用在单个图像传感器上成像物镜各别的第一和第二部分。
(Q)如(P)所示的方法可进一步包括从所述第一和第二图像之间的空间移位确定所述深度信息。
(R)如在权利要求14的(P)和(Q)所示的方法中，所述形成的步骤可包括使用在单个图像传感器上的所述成像物镜各别的第一和第二部分同时形成所述场景的第一图像和第二图像。
(S)如(P)到(R)所示的方法可进一步包括从所述第一和第二图像产生相应的第一和第二电子图像。
(T)如(S)所示的方法可进一步包括从所述第一和第二电子图像之间的空间移位确定所述深度信息。
(U)如在(P)到(T)所示的方法中，所述单个图像传感器可包括多个像素，其具有各自的多个第一子像素和各自的多个第二子像素的像素。
(V)如在(S)和(T)所示的方法中，所述单个图像传感器可包括多个像素，其具有各自的多个第一子像素和各自的多个第二子像素的像素，而所述产生的步骤可进一步包括(a)将来自所述第一部分的光导向所述第一子像素并将来自所述第二部分的光导向所述第二子像素和(b)利用来自所述第一和第二子像素的电子信号来产生所述第一和第二电子图像。
(W)如在(S)和(T)所示的方法中，所述单个图像传感器可包括多个像素，而所述产生的步骤可进一步包括(a)对于每个像素，将来自所述成像物镜的所述第一和第二部分的光分别导向所述像素的第一和第二部分，(b)对于所述多个像素中的第一子集，阻挡来自所述成像物镜的所述第二部分的光，(c)对于所述多个像素中的第二子集，阻挡来自所述成像物镜的所述第一部分的光，和(d)从来自在所述第一和第二子集中的像素的电子信号来产生所述第一和第二电子图像。
(X)如(P)到(W)所示的方法可进一步包括：通过利用所述空间移位、成像物镜的聚焦设置和所述深度信息之间的对应校准确定深度信息。
(Y)如在(X)所示的方法中，所述聚焦设置可包括控制所述成像物镜的一个可调节聚焦特性的参数的值。
(Z)如(P)到(Y)所示的方法可进一步包括调整所述成像物镜的聚焦特性，使至少所述场景的一部分在景深以内。
(AA)如在(P)到(Z)所示的方法中，所述形成的步骤可包括使用分别位于在单个图像传感器上的所述成像物镜的光轴的相对两侧的第一和第二部分来形成所述场景的第一图像和第二图像。
(AB)如在(P)到(AA)所示的方法中，从所述第一和第二图像产生的所述第一和第二电子图像可具有不同的灵敏度。
(AC)如(AB)所示的方法可进一步包括组合所述第一和第二电子图像，以产生一个具有比所述第一和第二电子图像中的每一者更高动态范围的第三电子图像。
(AD)如(P)到(AC)所示的方法可进一步包括基于所述第一和第二图像之间的空间移位和透镜参数进行调整以改善图像的焦点。
(AE)如在(P)到(AD)所示的方法中，所述深度信息可包括从所述系统到所述至少一个物体的距离。
在不脱离本发明的范围的情况下可以在上述的系统和方法中作出改变。因此，应当注意的是，包含在上述说明并绘示在附图中的内容应当被解释为说明性的而非限制性的。以下权利要求旨在覆盖本文中所描述的一般的和具体的特征，而本发明的方法和系统的范围的所有陈述，其中，因为语言的关系，亦可以说是落入其间的范围。

Claims (15)

1.一种用于获得至少一个物体在场景中的图像深度信息的系统，其包括：
成像物镜，包括用于形成所述场景的第一光学图像的第一部分和用于形成所述场景的第二光学图像的第二部分，且所述第一部分与所述第二部分不同；
图像传感器，用于捕捉所述第一和第二光学图像，并从其产生相应的第一电子图像和第二电子图像，所述图像传感器包括包含所述图像传感器上的所有光敏像素的像素阵列，每个像素用于检测来自所述成像物镜的第一部分和第二部分中的所选定一个的光，每个像素包括：
(a)第一像素部分和第二像素部分，所述第一像素部分和第二像素部分协作以响应于在所述第一像素部分和第二像素部分上入射的光而产生单个电子信号；
(b)透镜，用于引导(i)从所述成像物镜的第一部分传播的光朝向像素的第一像素部分以及(ii)从所述成像物镜的第二部分传播的光朝向像素的第二像素部分；
(c)屏蔽，用于阻挡来自所述成像物镜的第一部分和第二部分中的未选定一个的光朝向所述第一像素部分和第二像素部分中的对应一个；以及
处理模块，用于处理所述第一和第二电子图像，以确定所述图像深度信息。
2.根据权利要求1所述的系统，所述图像深度信息包括从所述系统到所述至少一个物体的距离。
3.根据权利要求1所述的系统，所述处理模块包括用于从所述第一和第二电子图像之间的空间移位确定所述图像深度信息的指令。
4.根据权利要求3所述的系统，所述处理模块进一步包括校准数据，其包括所述空间移位、成像物镜的聚焦设置和所述图像深度信息之间的对应，且所述指令还包括用于利用所述校准数据，以从所述第一和第二电子图像之间的空间移位确定所述图像深度信息的指令。
5.根据权利要求1所述的系统，所述成像物镜具有光轴，所述成像物镜的所述第一和第二部分被定位在所述光轴相对的两侧。
6.根据权利要求1所述的系统，所述成像物镜具有可调节的焦距。
7.根据权利要求1所述的系统，所述成像物镜具有固定的焦距。
8.根据权利要求7所述的系统，所述成像物镜相对于所述图像传感器具有固定的位置。
9.一种用于获得至少一个物体在场景中的图像深度信息的方法，其包括：
使用在单个图像传感器上的成像物镜各自的第一和第二部分形成所述场景的第一和第二图像，所述单个图像传感器包括包含所述单个图像传感器上的所有光敏像素的像素阵列，每个像素用于检测来自所述成像物镜的第一部分和第二部分中的所选定一个的光，每个像素包括：
(a)第一像素部分和第二像素部分，所述第一像素部分和第二像素部分协作以响应于在所述第一像素部分和第二像素部分上入射的光而产生单个电子信号；以及
(b)透镜，用于引导(i)从所述成像物镜的第一部分传播的光朝向像素的第一像素部分以及(ii)从所述成像物镜的第二部分传播的光朝向像素的第二像素部分；
从所述第一和第二图像生成各个第一和第二电子图像，所述生成包括：
(a)对于多个像素中的第一子集，阻挡来自所述成像物镜的第二部分的光以使用每个像素的第一像素部分检测仅来自所述成像物镜的第一部分的光；
(b)对于多个像素中的第二子集，阻挡来自所述成像物镜的第一部分的光以使用每个像素的第二像素部分检测仅来自所述成像物镜的第二部分的光；以及
(c)分别从来自于第一和第二子集中的像素的电子信号生成第一和第二电子图像；以及
从所述第一和第二电子图像之间的空间移位确定所述图像深度信息。
10.根据权利要求9所述的方法，所述形成的步骤包括使用在单个图像传感器上的所述成像物镜各自的第一和第二部分同时形成所述场景的第一图像和第二图像。
11.根据权利要求9所述的方法，所述确定的步骤包括通过利用所述空间移位、成像物镜的聚焦设置和所述深度信息之间的经校准的对应确定所述图像深度信息。
12.根据权利要求11所述的方法，所述聚焦设置包括控制所述成像物镜的一个可调节聚焦特性的参数的值。
13.根据权利要求9所述的方法，进一步包括调整所述成像物镜的聚焦特性，使至少所述场景的一部分在景深以内。
14.根据权利要求9所述的方法，所述形成的步骤包括使用分别位于在单个图像传感器上的所述成像物镜的光轴的相对两侧的第一和第二部分来形成所述场景的第一图像和第二图像。
15.根据权利要求9所述的方法，进一步包括基于所述空间移位和透镜参数进行调整以改善图像的焦点。
CN201510312839.3A 2014-06-09 2015-06-09 用于获得图像深度信息的系统及方法 Active CN105187815B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/299,220 US9633441B2 (en) 2014-06-09 2014-06-09 Systems and methods for obtaining image depth information
US14/299,220 2014-06-09

Publications (2)

Publication Number Publication Date
CN105187815A CN105187815A (zh) 2015-12-23
CN105187815B true CN105187815B (zh) 2018-05-22

Family

ID=54770591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510312839.3A Active CN105187815B (zh) 2014-06-09 2015-06-09 用于获得图像深度信息的系统及方法

Country Status (4)

Country Link
US (1) US9633441B2 (zh)
CN (1) CN105187815B (zh)
HK (1) HK1213119A1 (zh)
TW (1) TWI577171B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
TWI583996B (zh) * 2016-05-27 2017-05-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
US10582178B2 (en) * 2016-11-02 2020-03-03 Omnivision Technologies, Inc. Systems and methods for active depth imager with background subtract
CN106840021B (zh) * 2017-03-30 2020-05-26 联想(北京)有限公司 控制方法及电子设备
CN107222734A (zh) * 2017-06-30 2017-09-29 联想(北京)有限公司 一种图像采集装置及电子设备
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
DE102018202777A1 (de) * 2018-02-23 2019-08-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Farbsensor mit Mikrolinsen umfassenden winkelselektiven Strukturen
US10755426B2 (en) 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices
US11367743B2 (en) 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels
US11367744B2 (en) 2019-12-05 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens and polarization pixel
US11252381B2 (en) 2019-12-11 2022-02-15 Omnivision Technologies, Inc. Image sensor with shared microlens
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662590A (zh) * 2008-08-29 2010-03-03 索尼株式会社 图像拾取装置和图像处理装置
CN101779289A (zh) * 2007-08-15 2010-07-14 美光科技公司 用于光敏装置的透镜对准方法及设备以及其实施系统
CN102200685A (zh) * 2010-03-25 2011-09-28 精工爱普生株式会社 空中三维图像显示系统
CN103260045A (zh) * 2012-02-21 2013-08-21 索尼公司 摄像装置及图像传感器阵列

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006110B2 (en) * 2003-04-15 2006-02-28 Nokia Corporation Determining a coverage mask for a pixel
US8287127B2 (en) * 2009-04-03 2012-10-16 Seiko Epson Corporation Aerial three-dimensional image display systems
CN103053167B (zh) * 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
US9197804B1 (en) * 2011-10-14 2015-11-24 Monolithic 3D Inc. Semiconductor and optoelectronic devices
TWM410230U (en) 2011-01-07 2011-08-21 Amchael Visual Technology Corp Optical module
TWI463244B (zh) * 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
CN103168272B (zh) * 2011-10-13 2017-06-09 松下知识产权经营株式会社 进深推定摄像装置以及摄像元件
US9530213B2 (en) * 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101779289A (zh) * 2007-08-15 2010-07-14 美光科技公司 用于光敏装置的透镜对准方法及设备以及其实施系统
CN101662590A (zh) * 2008-08-29 2010-03-03 索尼株式会社 图像拾取装置和图像处理装置
CN102200685A (zh) * 2010-03-25 2011-09-28 精工爱普生株式会社 空中三维图像显示系统
CN103260045A (zh) * 2012-02-21 2013-08-21 索尼公司 摄像装置及图像传感器阵列

Also Published As

Publication number Publication date
HK1213119A1 (zh) 2016-06-24
TW201608872A (zh) 2016-03-01
TWI577171B (zh) 2017-04-01
US9633441B2 (en) 2017-04-25
US20150358597A1 (en) 2015-12-10
CN105187815A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105187815B (zh) 用于获得图像深度信息的系统及方法
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
TWI489858B (zh) 使用三維重建之影像捕捉
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
CN105578019B (zh) 一种可获得深度信息的影像提取系统与对焦方法
US10334216B2 (en) Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN104935790A (zh) 成像系统
JP2014011526A (ja) 画像処理装置、撮像装置および画像処理方法
US20170366765A1 (en) Image sensor unit and imaging apparatus
CN104322061B (zh) 图像处理装置、摄像装置及图像处理方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN104521231A (zh) 图像处理装置、摄像装置及图像处理装置的控制程序
JP6131545B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN105230000A (zh) 摄像元件、摄像装置以及图像处理装置
CN103621078B (zh) 图像处理装置和图像处理程序
JP5850648B2 (ja) 撮像装置
TWI543582B (zh) 影像編輯方法以及相關之模糊參數建立方法
JP6877936B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN104756493A (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
JP2016001853A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
CN106683133A (zh) 一种获取目标深度图像的方法
KR102135372B1 (ko) 구조광 시스템
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1213119

Country of ref document: HK

CB02 Change of applicant information

Address after: American California

Applicant after: OmniVision Technologies, Inc.

Address before: American California

Applicant before: Full Vision Technology Co., Ltd.

COR Change of bibliographic data
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant