CN106067968A

CN106067968A - 图像传感器单元和系统

Info

Publication number: CN106067968A
Application number: CN201610247794.0A
Authority: CN
Inventors: 伊利亚·奥夫相尼科夫; 王兵; 王一兵; 格雷戈里·瓦力戈尔斯奇; 张强
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2015-04-20
Filing date: 2016-04-20
Publication date: 2016-11-02
Anticipated expiration: 2036-04-20
Also published as: KR102473740B1; CN112235522B; CN106067968B; KR20160124666A; CN112235522A

Abstract

提供了一种图像传感器单元和系统。二维颜色信息和三维深度信息从二维像素阵列并行地获得。二维像素阵列布置在多个行的第一组中。所述阵列的第二组的行的像素可操作为产生二维颜色信息，阵列的第三组的行的像素可操作为产生三维深度信息。第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数。以交替的方式，从第二组的行中选择的行接收二维颜色信息，并且从第三组的行中选择的行来接收三维深度信息。

Description

图像传感器单元和系统

本申请是2015年9月1日提交的第14/842,822号美国专利申请的部分继续专利申请，并且要求于2015年4月20日提交的第62/150,252号美国临时专利申请、于2015年6月19日提交的第62/182,404号美国临时专利申请、于2015年8月10日提交的第62/203,386号美国临时专利申请、以及于2015年9月16日在美国提交的第14/856,552号专利申请的优先权权益，每个专利申请的公开内容通过引用全部包含于此。

技术领域

本公开总地涉及图像传感器。具体而言，不限制地，这里公开的具体实施例是指基于三角测量的系统以及使用激光器点扫描和互补金属氧化物半导体(CMOS)图像传感器(也用于三维(3D)物体的二维(2D)成像)对3D物体的深度测量的方法。

背景技术

三维(3D)成像系统正越来越多地用于广泛多样的应用中，诸如工业生产、视频游戏、电脑绘图、机器人手术、消费者显示、监控视频、3D建模、房地产销售等。

现有的3D成像技术可以包括例如，基于渡越时间(TOF)的测距成像、立体视觉系统和结构光(SL)方法。

在TOF方法中，基于已知的光速—通过测量光信号针对图像的每个点在照相机和3D物体之间行进所需的往返时间，来求解至3D物体的距离。TOF照相机可以使用无扫描方法以利用每个激光或光脉冲来捕获整个场景。TOF方法的一些示例性应用可以包括：诸如基于实时距离图像的活动行人安全或预碰撞检测的先进汽车应用；追踪人诸如在视频游戏机上与游戏互动期间的移动；在工业机器视觉中，分类物体并且帮助机器人发现项目(诸如在传送带上的项目)等。

在立体成像或立体视觉系统中，彼此水平放置的两个照相机用于获得对场景或场景中的3D物体的两个不同视图。通过比较这两个图像，可以获得针对3D物体的相对深度信息。立体视觉在诸如机器人学的领域十分重要，以提取关于在自主系统/机器人附近的3D物体的相对位置的信息。用于机器人的其他应用包括目标识别，其中，立体深度信息使得机器人系统分开挡住图像部分，否则机器人不能区分两个单独的物体，诸如在另一个前面的一个物体，部分或完全隐藏另一个物体。3D立体显示也用于娱乐和自动化系统。

在SL方法中，物体的3D形状可以使用投射的光图案和用于成像的照相机来测量。在SL方法中，将已知的光的图案(通常为网格或水平条或平行条纹的图案)投射到场景或场景中的3D物体上。投射的图案可以在照到3D物体的表面时而变形或移动。这种变形可以使SL视觉系统计算物体的深度和表面信息。因此，将窄带光投射到3D表面可以产生从其他透视图与投射仪的透视图的失真而会出现的照亮的线，并且可以用于照亮的表面形状的几何重建。基于SL的3D成像可以用于不同的应用，诸如，由警察机关以3D场景拍摄指纹，在生产工艺期间组件的联机检查，在卫生保健中针对人体体型或人体皮肤的微观结构的现场测量等。

发明内容

一个示例性实施例提供一种方法，所述方法包括：图像传感器处接收至少一个物体的图像，所述图像传感器包括二维(2D)像素阵列，布置在多个行的第一组中，所述阵列的第二组的行的像素可操作为产生至少一个物体的2D颜色信息，阵列的第三组的行的像素可操作为产生至少一个物体的3D深度信息，第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数；以及以交替的方式从第二组的行中选择行来接收至少一个物体的2D颜色信息，并且从第三组的行中选择行来接收至少一个物体的3D深度信息。

一个示例性实施例提供一种图像传感器单元，包括：二维(2D)像素阵列和控制器。所述2D像素阵列布置在多个行的第一组中。所述阵列的第二组的行的像素可操作为基于通过2D像素阵列接收的至少一个物体的图像而产生2D颜色信息，阵列的第三组的行的像素可操作为产生至少一个物体的3D深度信息。第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数。控制器结合到2D像素阵列，以交替的方式从第二组的行中选择行来输出基于至少一个物体的图像而产生的2D颜色信息，并且从第三组的行中选择行来输出产生的至少一个物体的3D深度信息。

一个示例性实施例提供一种系统，包括：二维(2D)像素阵列、控制器和显示器。2D像素阵列布置在多个行的第一组的中，其中，所述阵列的第二组的行的像素可操作为基于通过2D像素阵列接收的至少一个物体的图像而产生2D颜色信息，阵列的第三组的行的像素可操作为产生至少一个物体的3D深度信息。第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数。控制器结合到2D像素阵列，而以交替的方式从第二组的行中选择行来输出基于至少一个物体的图像而产生的2D颜色信息，并且从第三组的行中选择行来输出产生的至少一个物体的3D深度信息。显示器结合到2D像素阵列和控制器，并且可操作为基于产生的2D颜色信息来显示至少一个物体的第一图像，并且基于产生的3D深度信息来显示至少一个物体的第二图像。

附图说明

在以下部分中，将参照附图中示出的示例性实施例来描述这里公开的主旨的方面，在附图中：

图1示出根据这里公开的一个实施例的系统的高度简化的局部结构；

图2示出根据这里公开的一个实施例的图1中的系统的示例性操作结构；

图3描述了示出根据这里公开的一个实施例可以如何执行3D深度测量的示例性流程图；

图4是根据这里公开的一个实施例的为了3D深度测量可以如何执行点扫描的示例性图示；

图5示出根据这里公开的一个实施例的针对扫描的光斑的示例性时间戳；

图6示出根据这里公开的一个实施例的图1和图2中的图像传感器的2D像素阵列的示例性电路详情以及图像处理单元中的相关处理电路的一部分；

图7A是根据这里公开的一个实施例的图像传感器单元的示例性结构；

图7B示出根据这里公开的一个实施例的用于3D深度测量的示例性CDS+ADC单元的架构详情；

图8是根据这里公开的具体实施例示出图1和图2的系统中的不同信号的示例性时序以产生在操作的3D线性模式下的基于时间戳的像素特定输出的时序图；

图9示出示例性查找表(LUT)以示出在这里公开的具体实施例中可以如何使用LUT来确定3D深度值；

图10是示出根据这里公开的具体实施例的图1和图2的系统中的不同信号的示例性时序以使用操作的2D线性模式产生2D RGB图像的时序图；

图11是示出根据这里公开的具体实施例的图1和图2的系统中的不同信号的示例性时序以在操作的3D对数(log)模式下产生基于时间戳的像素特定输出的时序图；

图12描述了根据这里公开的一个实施例的图1和图2中的系统的整体结构；

图13描述了根据这里公开的实施例同时产生并且获得2D颜色信息和3D深度信息的过程的示例性流程图；

图14描述了根据这里公开的一个实施例为了3D深度测量可以如何执行至半透明物体的距离和至半透明物体后面的物体的距离的示例性图示；

图15描述了根据这里公开的一个实施例为了3D深度测量可以如何执行半透明介质的深度成像的示例性图示；以及

图16描述了根据这里公开的一个实施例存在多条返回路径的情况下为了3D深度测量可以如何执行物体的深度成像的示例性图示。

具体实施方式

在以下具体实施方式中，为了提供对公开的透彻理解，阐述了各种具体的细节。然而，本领域技术人员将理解，在没有这些具体细节的情况下也可以实现公开的方面。在其他情况下，可以不详细描述已知的方法、程序、组件和电路以免模糊这里公开的主旨。此外，描述的方面可以实现为执行在任意成像装置或系统(包括，例如智能电话、用户设备(UE)、膝上型计算机等)中的低电力、3D深度测量。

对“一个实施例”或“实施例”贯穿本说明书的引用意味着，结合实施例描述的具体特征、结构或特性被包括在这里公开的至少一个实施例中。因此，贯穿本说明书在各种地方出现的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有类似含义的其他短语)不必全部表示相同的实施例。如这里使用的，词“示例性”意味着“用作示例、实例或例示”。这里描述为“示例性”的任意实施例不必解释为优先的或比其他实施例有利。此外，具体的特征、结构或特性可以在一个或多个实施例中以任意合适的形式结合。此外，根据本文中讨论的上下文，单数形式可以包括相应的复数形式，复数形式可以包括相应的单数形式。类似地，带有连字符的术语(例如，“二-维”、“预-确定的”、“像素-特定”等)可以偶尔与相应的非连字符版本(例如，“二维”、“预确定的”、“像素特定”等)来交换使用，大写条目(例如，“Counter Clock”、“Row Select”、“PIXOUT”等)可以利用相应的非大写版本(例如，“counter clock”、“row select”、“pixout”等)来交换使用。这种偶尔可交换使用不应当视为彼此不一致。

注意，起初，术语“结合”、“有效结合”、“连接”、“电连接”以及其变型等可以在这里可交换地使用，以总地涉及以有效方式而电力地/电子连接的条件。类似地，如果第一实体将信息信号(不论包括地址、数据或控制信息)电发送(不论通过有线方法或无线方法)到第二实体，或者从第二实体接收信息信号而与这些信号的类型(模拟或数字)无关，则第一实体被认为与第二实体(或多个实体)通信。进一步注意，这里示出并讨论的各种附图(包括组件图)仅是用于例示的目的，而不是按比例绘制。类似地，各种波形和时序图仅是用于例示的目的。

如这里使用的术语“第一”、“第二”用作针对它们在前面的名词的标记，并不意味着任何类型的顺序(例如，空间、时间、逻辑等)，除非这里明确定义。此外，相同的附图标记可以贯穿两个或更多个附图使用，以表示具有相同或类似功能的部分、组件、块、电路、单元或模块。然而，这种使用仅是为了简单例示和易于描述；其并不意味着这种组件或单元的构造和结构详情在所有的实施例中是相同的，或者这种通常引用的部分/模块仅是实现这里公开的具体实施例的教导的方式。

这里观察到，前面提到的3D技术具有许多缺陷。例如，基于TOF的3D成像系统会需要高电力以操作光学或电子快门。这些系统典型地在几米到几十米的范围操作，但是这些系统的分辨率随着短距离的测量而降低，从而使在约一米的距离内的3D成像几乎不切实际。因此，TOF系统针对主要以近距离拍摄图片的基于手机的照相机应用不是令人满意的。TOF传感器也会需要具有大像素尺寸(通常大于7μm)的特殊像素。这些像素也会易于受环境光的伤害。

立体成像方法通常仅利用网纹表面工作。由于需要匹配特征并且发现物体的图像的立体像对之间的对应，其具有高计算复杂性。这需要高系统电力，其中，高系统电力在需要电源保护(诸如在智能电话中)的应用中不是期望的属性。此外，立体成像需要两个规则的、高位分辨率传感器以及两个透镜，使得整个组件不适合于便携装置(像高价的装置资产(device real estate)的蜂窝电话或平板电脑)中的应用。

SL方法导致距离模糊，并且也需要高系统电力。针对3D深度测量，SL方法会需要具有多个图案的图像，所有这些图案增大计算复杂性和功耗。此外，SL成像也会需要具有高位分辨率的规则图像传感器。因此，基于结构光的系统可能不适合于智能电话中的低成本、低电力、紧凑型图像传感器。

与上述3D技术相反，这里公开的具体实施例提供用于实现对便携式电子装置(诸如智能电话、平板电脑、UE等)的低电力、3D成像系统。依据这里公开的具体实施例的2D成像传感器可以利用可见光激光器扫描来捕获2D RGB(红色、绿色、蓝色)图像和3D深度测量，同时在3D深度测量期间能够抑制环境光。这里注意，尽管以下讨论会频繁地提及可见光激光器作为用于点扫描的光源并且提及2D RGB传感器作为图像/光捕获装置，但是这种提及仅是为了说明和讨论一致性的目的。以下讨论的可见激光器和基于RGB传感器的示例可以在诸如智能电话、平板电脑或UE的具有照相机的低电力、消费者级别移动电子装置中发现应用。然而，应当理解，这里公开的主旨不限于以下提及的可见激光器-基于RGB传感器示例。更恰当地，根据这里公开的具体实施例，基于点扫描的3D深度测量和环境光抑制方法可以使用2D传感器和激光光源(用于点扫描)的许多不同组合来执行，诸如(但不限于)以下组合：(i)2D颜色(RGB)传感器与可见光激光源，其中，激光源可以为红色(R)、绿色(G)或蓝色(B)光的激光器或者产生这些光的组合的激光源；(ii)可见光激光器与具有红外线(IR)截止滤波器的2D RGB颜色传感器；(iii)近红外线(NIR)激光器与2D IR传感器；(iv)NIR激光器与2D NIR传感器；(v)NIR激光器与2D RGB传感器(没有IR截止滤波器)；(vi)NIR激光器与2D RGB传感器(没有NIR截止滤波器)；(vii)2DRGB-IR传感器与可见或NIR激光器；(viii)2D RGBW(红色、绿色、蓝色、白色)传感器与可见激光器或NIR激光器的任一者；等。

在3D深度测量期间，整个传感器可以连同激光扫描而操作为二进制传感器以重建3D内容。在具体的实施例中，传感器的像素尺寸可以像1μm那样小。此外，由于低位分辨率，根据这里公开的具体实施例的图像传感器中的模拟数字转换器(ADC)单元可以需要比传统的3D成像系统中对高位分辨率传感器的需求显著较低的处理电力。由于需要较小处理电力，所以根据这里公开的主旨的3D成像模块可以需要较低的系统电力，因此，可以非常适合于包含在低电力装置(像智能电话)中。

在具体实施例中，这里公开的主旨利用一组线性传感器为了3D深度测量而使用三角测量和具有激光光源的点扫描。激光扫描平面和成像平面使用对极几何来定位。根据这里公开的一个实施例的图像传感器可以使用时间戳来去除三角测量方法中的模糊，从而减少深度计算的量和系统电力。相同的图像传感器，即，图像传感器中的每个像素可以在通常的2D(RGB颜色或非RGB)成像模式以及3D激光扫描模式下使用。然而，在激光扫描模式下，图像传感器中的ADC的分辨率减小到二进制输出(仅1比特分辨率)，从而在合并图像传感器和相关的处理单元的芯片中改善读出速度并且降低功耗，例如，因ADC单元中的切换。此外，点扫描方法可以使系统一次采集所有测量，从而减少深度测量的潜在因素并且减少运动模糊。

正如之前提到的，在具体实施例中，整个图像传感器可以使用例如环境光来用于常规2D RGB颜色成像，以及使用可见激光扫描用于3D深度成像。这种相同照相机单元的两次使用可以节省移动装置的空间和成本。此外，在一些应用中，用于3D应用的可见激光器相比于近红外(NIR)激光器可以对用户眼睛安全更好。传感器以可见光谱可以具有比NIR光谱高的量子效率，导致光源的低功耗。在一个实施例中，两用图像传感器可以像规则2D传感器一样在用于2D成像的操作的线性模式下工作。然而，针对3D成像，传感器可以在适度的照明条件下以线性模式工作，并且在强环境光下以对数模式工作，以通过抑制强环境光来促进可见激光源的继续使用。此外，在NIR激光器的情况下，以及例如，如果具有RGB传感器的采用IR截止滤波器的通带的带宽不足够窄，则会需要环境光抑制。

图1示出根据这里公开的一个实施例的系统15的高度简化的局部结构。如所示出的，系统15可以包括成像模块17，其中，成像模块17结合到处理器或主机19并且与处理器或主机19通信。系统15也可以包括结合到处理器19的存储器模块(或存储器)20，以存储从成像模块17接收的诸如图像数据的信息内容。在具体的实施例中，整个系统15可以被包封在单集成电路(IC)或芯片中。可选择地，模块17、19和20中的每个可以以独立芯片来实现。此外，存储器模块20可以包括一个以上存储器芯片，处理器模块19也可以包括多个处理芯片。无论如何，关于图1中的模块的封装以及以单芯片或使用多个分立的芯片如何制造或实现模块的详情与本讨论不相关，因此，这里不提供此详情。

系统15可以是依据这里公开的主旨针对2D和3D照相机应用构造的任意低电力电子装置。系统15可以是便携的或非便携的。系统15的便携版本的一些示例可以包括受欢迎的消费者电子配件，诸如(但不限于)移动装置、蜂窝电话、智能电话、用户设备(UE)、平板电脑、数字照相机、膝上型或台式计算机、电子智能手表、机器对机器(M2M)通信单元、虚拟现实(VR)设备或模块、机器人等。另一个方面，系统15的非便携版本的一些示例可以包括电子游戏室中的游戏控制台、交互式视频终端、汽车、机器视觉系统、工业机器人、VR设备、车辆中驾驶员侧安装的照相机(例如，监视驾驶员是否为醒着的)等。依据这里公开的主旨提供的3D成像功能可以在许多应用中使用，诸如(但不限于)虚拟现实设备上的虚拟现实应用、网上聊天/游戏、3D文字、使用产品的3D图像来搜索在线或本地(基于装置的)目录/数据库以获得与产品相关的信息(例如，食品项目类的卡路里含量)、机器人以及机器视觉应用、车辆应用(诸如自动驾驶应用)等。

在这里公开的具体实施例中，成像模块17可以包括光源22和图像传感器单元24。如参照以下图2更详细地讨论，在一个实施例中，光源22可以是可见激光器。在其他实施例中，光源可以是NIR激光器。图像传感器单元24可以包括如图2中所示并且也在下文讨论的像素阵列和辅助处理电路。

在一个实施例中，处理器19可以是CPU，其中CPU可以是通用微处理器。在本文讨论中，为了便于讨论，术语“处理器”和“CPU”可以可交换地使用。然而，应当理解，代替CPU或除了CPU，处理器19可以包括任意其他类型的处理器，诸如(但不限于)微控制器、数字信号处理器(DSP)、图形处理单元(GPU)、专用集成电路(ASIC)处理器等。此外，在一个实施例中，处理器/主机19可以包括可以在分布式的处理环境中有效的一个以上CPU。处理器19可以被构造为根据具体指令集架构(ISA)，诸如(但不限于)x86指令集架构(32位或64位版本)、ISA、或依赖RISC(精简指令集计算机)ISA的MIPS(不具有连锁管道阶段的微处理器)指令集架构来执行指令并且处理数据。在一个实施例中，处理器19可以是具有除了CPU功能以外的功能的芯片上系统(SoC)。

在具体实施例中，存储器模块20可以是动态随机存取存储器(DRAM)(诸如，但不限于同步DRAM(SDRAM))，或基于DRAM的三维堆叠(3DS)存储器模块(诸如，但不限于高带宽存储器(HBM)模块或者混合存储立方体(HMC)存储器模块)。在其他实施例中，存储器模块20可以是固态驱动器(SSD)、非3DS DRAM模块、或基于任何其他半导体的存储系统，诸如(但不限于)静态随机存取存储器(SRAM)、相变随机存取存储器(PRAM或PCRAM)、电阻式随机存取存储器(RRAM或ReRAM)、导体桥接RAM(CBRAM)、磁RAM(MRAM)、自旋转移力矩MRAM(STT-MRAM)等。

图2示出根据这里公开的一个实施例的图1中的系统15的示例性操作结构。系统15可以用于获得针对3D物体(诸如，可以是个体物体或场景(未示出)内物体的3D物体26)的深度信息(沿着Z轴)。在一个实施例中，可以基于从图像传感器单元24接收的扫描数据而通过处理器19来计算深度信息。在另一个实施例中，深度信息可以通过其图像传感器单元24自身(诸如，在图7A的实施例中的图像传感器单元的情况下)来计算。在具体实施例中，深度信息可以被处理器19作为3D用户界面的部分来使用以使得系统15的用户与物体的3D图像交互，或者使用物体的3D图像作为系统15上运行的游戏或另一个应用的部分。依据这里公开的主旨的3D成像也可以用于其他目的或应用，并且基本可以应用于任意场景或3D物体。

在图2中，采用X轴作为沿着装置15的前面的水平方向，Y轴是竖直方向(在该视图中的页面向外)，Z轴在被成像的物体26的大方向上远离装置15延伸。为了深度测量，模块22和24的光轴可以平行于Z轴。其他的光学布置也可以用于实现这里描述的原理，这些可选择的布置被认为在这里公开的主旨的范围内。

光源模块22可以通过与相应的虚线30和31相关联的示例性箭头28和29来照明如所示的3D物体26，其中，虚线30和31表示可以用于在光学视场内点扫描3D物体26的光束或光学辐射的照明路径。可以使用在一个实施例中可以为通过激光控制器34操作和控制的激光光源33的光学辐射源，来执行物体表面的逐行点扫描。来自激光源33的光束在激光控制器34的控制下，经由投射光学器件35在穿过3D物体26的表面的X-Y方向上可以点扫描。点扫描可以沿着扫描线将光斑投射到3D物体的表面上，如以下参照图4和图5详细描述的。投射光学器件可以是聚焦透镜、将来自激光器33的激光束在物体26的表面上聚集为点或斑的玻璃/塑料表面、或者其他圆柱形光学元件。在图2的实施例中，凸面结构示出为聚焦透镜35。然而，对于投射光学器件35，可以选择任何其他合适的透镜设计。物体26可以放置在来自光源33的照明光被投射光学器件35聚焦为光斑的聚焦位置。因此，在点扫描中，3D物体26的表面上的点或窄区域/斑可以通过由投射光学器件35引起的聚焦光束而被顺序地照明。

在具体实施例中，光源(或照明源)33可以是二极管激光器或发射可见光的发光二极管(LED)、NIR激光器、点光源、可见光光谱中的单色照明源(诸如，白灯和单色仪的结合)，或者任何其他类型的激光光源。激光器33可以固定在装置15的外壳内的一个位置处，但是可以在X-Y方向上可旋转。激光器33可以是X-Y可寻址的(例如，通过激光控制器34)，以执行3D物体26的点扫描。在一个实施例中，可见光可以基本为绿色光。来自激光源33的可见光照明可以使用镜子(未示出)投射到3D物体26的表面上，或者点扫描可以完全无反射镜。在具体实施例中，光源模块22可以包括比图2的示例性实施例中所示的组件多或少的组件。

在图2的实施例中，从物体26的点扫描反射的光可以沿着由箭头36和37以及虚线38和39所指示的收集路径行进。光收集路径可以携带在接收来自光源33的照明时从物体26的表面反射或者通过物体26的表面散射的光子。这里应当注意，使用图2中(在图4和图5中也适用)的实线箭头和虚线对各种传播路径的描述仅是例示的目的。该描述不应解释为示出任何实际的光学信号传播路径。实际上，照明和收集信号路径可以与图2中所示的不同，并且可以不像图2中所示的清楚地定义。

从照明的物体26接收的光可以经由图像传感器单元24中的收集光学器件44聚焦到2D像素阵列42的一个或多个像素上。如同投射光学器件35，收集光学器件44可以是聚焦透镜、将从物体26接收的反射光聚集到2D阵列42中的一个或多个像素上的玻璃/塑料表面、或其他圆柱形光学元件。在图2的实施例中，凸面结构示出为聚焦透镜44。然而，任何其他合适的透镜设计可以选择为收集光学器件44。此外，为了便于说明，在图2中(也在图6中)仅示出3×3像素阵列。然而，应当理解，现代像素阵列包括成千上万或甚至数百万的像素。像素阵列42可以是不同的像素可以收集不同颜色的光信号的RGB像素阵列。如前所述，在具体实施例中，像素阵列42可以是任意2D传感器，诸如具有IR截止滤波器的2D RGB传感器、2D IR传感器、2D NIR传感器、2D RGBW传感器、2D RGB-IR传感器等。如稍后更详细地描述，系统15可以针对物体26(或包含物体的场景)的2D RGB颜色成像以及针对物体26的3D成像(涉及深度测量)而使用相同的像素阵列42。稍后参照图6讨论像素阵列42的附加结构详情。

像素阵列42可以将接收的光子转换为相应的电信号，其中，电信号之后被相关的图像处理单元46处理以确定物体26的3D深度图像。在一个实施例中，图像处理单元46可以使用三角测量用于深度测量。稍后参照图4讨论三角测量方法。图像处理单元46也可以包括用于控制像素阵列42的操作的相关电路。在以下稍后讨论的图7A和图7B中示出了示例性图像处理和控制电路。

处理器19可以控制光源模块22和图像传感器单元24的操作。例如，系统15可以具有由用户可控制的模式开关(未示出)，以从2D成像模式切换到3D成像模式。如果用户使用模式开关选择2D成像模式，则处理器19可以激活图像传感器单元24，但是由于2D成像可以使用环境光，所以可以不激活光源模块22。另一方面，如果用户使用模式开关选择3D成像，则处理器19可以激活模块22和24两者，并且也可以触发图像处理单元46中重置(RST)信号的水平的变化，以从线性模式切换到成像的对数模式，例如，如果环境光太强不能通过线性模式而被抑制(如下所讨论的)。从图像处理单元46接收的处理的图像数据可以通过处理器19存储在存储器20中。处理器19也可以将用户选择的2D或3D图像显示在装置15的显示屏(未示出)上。处理器19可以在软件或固件中编程，以执行这里描述的各种处理任务。可选择地或此外，处理器19可以包括用于执行处理器19的一些或全部功能的可编程硬件逻辑电路。在具体实施例中，存储器20可以存储程序代码、查找表(像图9所示的查找表以及稍后讨论的)、和/或临时计算结果，以使处理器19执行处理器19的功能。

图3描述了示出根据这里公开的一个实施例可以如何执行3D深度测量的示例性流程图50。图3中示出的各种操作可以通过系统15中的单个模块或模块的组合或系统组件来执行。在这里的讨论中，仅通过示例的方式，将具体任务描述为通过具体模块或系统组件来执行。其他模块或系统组件也可以适当地被构造为执行该任务。

在图3中，在块52，系统15(更具体地，处理器19)可以使用光源(诸如图2中的光源模块22)沿着扫描线执行3D物体(诸如图2中的物体26)的一维(1D)点扫描。作为点扫描的部分，光源模块22可以被构造为例如，通过处理器19将一系列光斑以逐行的方式投射到3D物体26的表面上。在块54，系统15中的像素处理单元46可以选择图像传感器中的一行像素，诸如图2中的2D像素阵列42。图像传感器42具有以形成图像平面的2D阵列布置的多个像素，选择的行的像素将扫描线的极线(在块52)形成在图像平面上。以下参照图4提供对极几何的简要讨论。在块56，像素处理单元46可以被处理器46有效地构造为，使用该行的像素中的相应像素来检测每个光斑。这里观察到，诸如，如果从照明的斑反射的光变为被收集光学器件44聚焦到两个或更多个相邻的像素上，则从照明的光斑反射的光可以被单个像素或一个以上像素检测。另一方面，可能的是，从两个或更多个光斑反射的光可以在2D阵列42中的单个像素处聚集。以下讨论的基于时间戳方法去除因通过相同的像素对两个不同斑成像或通过两个不同的像素对单个斑成像而导致的关于深度计算的模糊。在块58，作为被处理器19适当地构造的图像处理单元46可以响应于一系列光斑(在块52的点扫描中)中的相应光斑的像素特定检测(在块56)而产生像素特定输出。因此，在块60中，图像处理单元46可以至少基于像素特定输出(在块58)和由用于投射相应光斑(在块52)的光源使用的扫描角度，来确定至3D物体的表面上的相应光斑的3D距离(或深度)。参照图4更详细讨论深度测量。

图4是根据这里公开的一个实施例的为了3D深度测量可以如何执行点扫描的示例性图示。在图4中，使用描绘激光器在X方向(具有角度“β”)和Y方向(具有角度“α”)的角向运动的箭头62和64来示出激光源33的X-Y旋转能力。在一个实施例中，激光控制器34可以基于从处理器19接收的扫描指令/输入来控制激光源33的X-Y旋转。例如，如果用户选择3D成像模式，处理器19可以指示激光控制器34来开始面对投射光学器件35的物体表面的3D深度测量。作为反应，激光控制器34可以通过激光光源33的X-Y移动来开始物体表面的1D X-Y点扫描。如图4中所示，激光器33可以通过沿着1D水平扫描线投射光斑来点扫描物体26的表面，其中，两条水平扫描线S_R 66和S_R+1 68由图4中的虚线标识。由于物体26的表面的曲率，光斑70至73可以形成图4中的扫描线S_R 66。为了便于描述和清楚，构成扫描线S_R+1 68的光斑未使用附图标记来标识。激光器33可以例如在从左到右的方向上一次一个光斑地沿着行R、R+1等扫描物体26。R、R+1等的值是参照2D像素阵列42中的像素的行，因此，这些值是已知的。例如，在图4中的2D像素阵列42中，使用附图标记“75”来标识像素行R，使用附图标记“76”来标识像素行R+1。应当理解，仅为了例示的目的，从多个像素的行中选择行R和R+1。

包括2D像素阵列42中像素的多个行的平面可以称为图像平面，然而，包括扫描线(诸如线S_R和S_R+1)的平面可以称为扫描平面。在图4的实施例中，图像平面和扫描平面可以使用对极几何来定向，使得2D像素阵列42中的像素的每个行R、R+1等形成相应的扫描线S_R、S_R+1等的对极线。如果照明的斑(在扫描线上)在图像平面上的投射可以沿着作为行R自身的线形成区别光斑，则像素的行R可以认为是相应的扫描线S_R的极线。例如，在图4中，箭头78示出激光器33对光斑71的照明，而箭头80示出光斑71被聚焦透镜44沿着行R 75而成像或投射。尽管图4中未示出，但是观察到，所有的光斑70至73将通过行R中的相应像素而成像。因此，在一个实施例中，激光器33和像素阵列42的诸如位置和方位的物理布置可以，使得物体26的表面上的扫描线中照明的光斑可以通过像素阵列42中的相应行(因此形成扫描线的对极线的像素的行)中的像素来捕获或检测。

应当理解，2D像素阵列42中的像素可以以行和列来布置。照明的光斑可以被像素阵列42中的相应行和列引用。例如，在图4中，在扫描线S_R中的光斑71指定为X_R,i，以表示光斑71可以通过像素阵列42中的行R和列i(C_i)来成像。列C_i由虚线82表示。其他照明的斑可以类似地标识。如前所述，从两个或更多个光斑反射的光可以通过行中的单个像素来接收，或者可选择地，从单个光斑反射的光可以通过一行像素中的一个以上像素来接收，均是可能的。稍后讨论的基于时间戳的方法可以去除因这样的多个或重叠投射引起的深度计算的模糊。

在图4的例示中，具有附图标记“84”的箭头表示光斑71距离沿着装置15的前面的X轴(诸如图2中所示的X轴)的深度或距离Z(沿着Z轴)。在图4中，具有附图标记“86”的虚线表示，诸如可以视为被包括在也包括投射光学器件35和收集光学器件44的竖直平面中的轴。然而，为了便于解释三角测量方法，激光源33在图4中示出为在X轴86上，而不是投射光学器件35上。在基于三角测量方法中，Z的值可以使用以下等式来确定：

Z = \frac{h d}{q - h t a n θ} - - - (1)

上述方程式(1)中的参数也在图4中示出。基于装置15的物理结构，可以预确定针对方程式(1)的右侧的参数的值。在方程式(1)中，参数h是收集光学器件44与图像传感器42(假设在收集光学器件44后面的竖直平面中)之间的距离(沿着Z轴)；参数d是光源33和与图像传感器24相关的收集光学器件44之间的偏移距离；参数q是收集光学器件44与检测相应的光斑的像素之间的偏移距离(在图4的示例中，检测/成像像素i由与光斑X_R,i 71相关的列C_i来表示)；参数θ是光源针对考虑之中的光斑(在图4的示例中，光斑71)的扫描角度或光束角。可选择地，参数q也可以被认为在像素阵列42的视场内的光斑的偏移。

从方程式(1)看出，仅参数θ和q针对给定的点扫描是可变化的；其他参数h和d因装置15的物理几何基本是固定的。因为行R 75是扫描线S_R的极线，物体26的深度差或深度轮廓可以通过水平方向上的图像移位来反应，如由针对正在成像的不同光斑的参数q的值来表示。如以下讨论的，根据这里公开的具体实施例的基于时间戳的方法可以用于发现捕获的光斑的像素位置与激光源33的相应扫描角度之间的对应关系。换句话说，时间戳可以表示参数q和θ的值之间的关系。因此，根据已知的扫描角度θ的值和成像的光斑的相应位置(如由参数q表示的)，至光斑的距离Z可以使用三角测量等式(1)来确定。

这里观察到，用于距离测量的三角测量的使用在相关文献(包括，例如，Brown等人的第2011/0102763A1号美国专利公开)中被描述。在与基于三角测量的距离测量相关的Brown公开中的讨论通过引用全部包含于此。

图5示出根据这里公开的一个实施例的针对扫描的光斑的示例性时间戳。诸如参照图8的讨论，稍后提供产生个体时间戳的额外详情。与图4对比，在图5的实施例中，收集光学器件44和激光器33以偏移布置示出，以反映如图2的实施例中所示这些部件的实际物理几何。通过示例的方式，扫描线66与相应的光斑70至73一起在图5中示出，其中，如上所述，相应的光斑70至73可以基于通过稀疏的激光点光源33对物体表面从左到右的点扫描来投射。因此，如所示的，可以在时间点t₁投射第一光斑70，可以在时间点t₂投射第二光斑71等。这些光斑可以被像素行R 75中的各个像素90-93检测/成像，其中，像素行R 75是如上述讨论的扫描线S_R的极线。在一个实施例中，通过如果检测到光斑的每个像素收集的电荷可以处于模拟电压的形式，其可以输出到图像处理单元46用于如下所讨论的像素特定深度测量。模拟像素输出(pixouts)由图5中的箭头95共同地指示。

如图5中所示，行R中的每个检测像素90至93可以具有相关的列号，这里为列C₁至C₄。此外，从图4看出，每个像素列C_i(i＝1，2，3等)具有针对等式(1)中的参数q的相关的值。因此，如果像素特定时间戳t₁至t₄针对检测像素90至93产生(如稍后下面更详细地讨论)，时间戳可以提供像素的列号的表示，因此，参数q的像素特定值。此外，在一个实施例中，因为激光器33可以被适当地控制以利用针对斑特定扫描角度θ的预确定的值来以期望的顺序照明每个斑，所以使用像素阵列42中的像素来逐个斑检测可以使图像处理单元46将每个时间戳与相应的照明斑“联系在一起”，因此，与斑特定扫描角度θ联系在一起。因此，时间戳以针对从像素阵列42接收的每个像素特定信号的等式(1)中的参数q和θ的值的形式，提供捕获的激光斑的像素位置与各个扫描角度之间的对应关系。如前所讨论的，如通过等式(1)中参数q的值反映的像素阵列42中的检测到的斑的相应位置与扫描角度的值可以允许对光斑的深度确定。如此，可以产生在像素阵列42的视野中针对物体26的表面的3D深度映射。

图6示出根据这里公开的一个实施例的图1和图2中的图像传感器24的2D像素阵列42的示例性电路详情以及图像处理单元46中的相关处理电路的一部分。如前所述，仅为了便于说明，像素阵列42示出为具有布置为3×3阵列的9个像素100-108；实际上，像素阵列可以包括多行和多列中的成千上万或数百万个像素。在一个实施例中，每个像素100-108可以具有如图6所示的相同结构。在图6的实施例中，2D像素阵列42包括每个像素是四晶体管钳位光电二极管(Four Transistor Pinned Photo-diode,4T PPD)像素的互补金属氧化物半导体(CMOS)阵列。为了便于说明，仅像素108的构成电路元件利用附图标记来标注。像素108以下讨论的操作的同样应用于其他像素101-107，因此，这里不描述每个个体像素的操作。

如所示出的，4T PPD像素108(以及类似的其他像素101-107)可以包括钳位光电二极管(PPD)110和如所示出连接的四个N沟道金属氧化物半导体场效应晶体管(NMOS)111-114。晶体管111可以操作为传输栅极(TG)、浮置扩散(FD)晶体管。明显地，4T PPD像素108可以操作如下：首先，PPD 110可以将入射光子转换为电子，从而将光输入信号转换为电荷域中的电信号。然后，传输栅极111可以被“关闭”以将所有的光子产生的电子从PPD 110传输到浮置扩散。因此，为了便于后续处理和测量，电荷域中的信号被转换为电压域。浮置扩散处的电压可以稍后使用晶体管114作为pixout信号传输到模拟数字转换器(ADC)，并且针对后续处理转换为适当的数字信号。以下参照图8、图10和图11的讨论来提供像素输出(PIXOUT)产生和处理的更多详情。

在图6的实施例中，图像处理单元46中的行解码器/驱动器116示出为提供三个不同的信号以控制像素阵列42中的像素的操作来产生列特定pixout信号117-119。在图5的实施例中，输出95可以共同地表示这些PIXOUT信号117-119。行选择(RSEL)信号可以被称为选择适当行的像素。在一个实施例中，要选择的行是被激光源33投射的(光斑的)当前扫描线的极线。行解码器/驱动器116可以例如从处理器19经由行地址/控制输入126而接收要选择的行的地址或控制信息。在当前讨论中，假设行解码器/驱动器116选择像素中包括像素108的行。像素阵列42中像素的每个行中的诸如晶体管114的晶体管可以连接到如所示的各个RSEL线122-124。重置(RST)信号可以施加到选择的行中的像素，以将这些像素重置为预确定的高电压电平。每个行特定RST信号128-130在图6中示出，并且参照图8、图10和图11中的波形更详细地说明。每个像素中的诸如晶体管112的晶体管可以接收如所示的各个RST信号。传输(TX)信号可以称为开始针对后续处理传输的像素特定输出电压(PIXOUT)。每个行特定TX线132-134在图6中示出。诸如晶体管111的传输栅极晶体管可以接收如图6中所示的各个TX信号。

如前所述，在这里公开的具体实施例中，图像传感器单元24中的2D阵列42和其余剩余的组件可以用于2D RGB(或非RGB)成像以及3D深度测量。因此，如图6中所示，图像传感器单元24可以包括像素列单元138，其中，像素列单元138包括针对相关双采样(CDS)以及列特定ADC(在2D和3D成像期间，每列像素要使用一个ADC)的电路。像素列单元138可以接收并且处理PIXOUT信号117-119，以产生通过其可以产生2D图像或者通过其可以获得3D深度测量的数字数据输出(Dout)信号140。像素列单元138也可以在PIXOUT信号117-119的处理期间接收参考输入142和斜坡输入(ramp input)143。下面稍后提供单元138的操作的更多详情。在图6的实施例中，列解码器单元145被示出为结合到像素列单元138。列解码器145可以针对要选择的列连同给出的行选择(RSEL)信号，而从例如处理器19接收列地址/控制输入147。列选择可以是连续的，从而使得从通过相应的RSEL信号选择的行中的每个像素连续接收像素输出。处理器19可以知道光斑的当前投射的扫描线，因此，可以提供适当的行地址输入以选择形成当前扫描线的极线的像素的行，并且也可以提供适当的列地址输入以使得像素列单元138能够接收来自选择的行中的个体像素的输出。

对于根据这里公开的主旨的2D和3D成像，尽管这里的讨论主要侧重于图6中所示的4T PPD像素设计，但是在其他实施例中的像素阵列42中可以使用不同类型的像素。例如，在一个实施例中，像素阵列42中的每个像素可以是省略传输栅极晶体管(像图6中4T PPD设计中的晶体管111)的3T像素。在其他实施例中，1T像素或2T像素也可以使用。在另一个实施例中，像素阵列中的每个像素可以具有共享晶体管像素结构，其中，晶体管和读出电路可以在两个或更多个相邻像素之中被共享。在共享的晶体管像素结构中，每个像素可以具有至少一个光电二极管和一个传输栅极晶体管；其他晶体管可以在两个或更多个像素之中被共享。这种共享的晶体管像素的一个示例是5个晶体管用于2个像素的2共享(1×2)的2.5T像素，导致2.5T/像素结构。可以在像素阵列42中使用的共享晶体管像素的另一个示例是4个像素共享读出电路的1×4的4共享的像素，但是每个像素具有至少一个光电二极管和一个TX(传输栅极)晶体管。除了这里列出的像素结构以外的其他像素结构可以根据这里公开的主旨适当地实现2D和3D成像。

图7A是根据这里公开的一个实施例的图像传感器单元(诸如图6中的图像传感器单元24)的示例性结构。为了简洁起见，这里仅提供图7A中架构的简要讨论；稍后参照图8、图10和图11提供更多相关的操作详情。如所示的，图7A中的图像传感器单元24可以包括行解码器单元149和行驱动器单元150，其中，行解码器单元149和行驱动器单元150两者共同组成图6中的行解码器/驱动器116。尽管图7A中未示出，但行解码器单元149可以从例如处理器19接收行地址输入(如同图6中示出的输入126)，并且解码该输入以使得行驱动器单元150能够将适当的RSEL、RST和TX信号提供给由行解码器149选择/解码的行。行驱动器单元150也可以从例如处理器19接收控制信号(未示出)，以构造行驱动器150来施加针对RSEL、RST和TX信号的适当电压电平。在图7A中的图像传感器单元24中，列ADC单元153可以表示图6中的像素列单元138。为了便于说明，在图7A中，来自行驱动器150的诸如RSEL、RST和TX信号的各种行特定驱动器信号使用单个附图标记“155”来共同地表示。类似地，所有的列特定像素输出(PIXOUT)(像图6中的PIXOUT信号117-119)使用单个附图标记“157”来共同表示。列ADC单元153可以接收PIXOUT信号157和参考输入142(来自参考信号产生器159)以及斜坡信号143，以产生针对像素的列通过相应的列特定ADC的像素特定输出。稍后参照图10更详细地讨论2D成像。在一个实施例中，ADC单元153可以包括针对CDS的电路(如在图6中的像素列单元138的情况下)，以产生作为像素的重置水平与接收的信号水平之差的CDS输出(未示出)。在具体的实施例中，3D深度值可以与2D图像结合以产生物体的3D图像。

列ADC单元153可以包括2D阵列42中每个像素列的单独ADC。每个列特定ADC可以接收各个斜坡输入143(来自斜坡信号产生器163)连同PIXOUT信号157。在一个实施例中，斜坡信号产生器163可以基于从参考信号产生器159接收的参考电压电平来产生斜坡输入143。ADC单元153中的每个列特定ADC可以处理接收的输入以产生相应的数字数据输出(Dout)信号140。ADC单元153可以从列解码器145接收关于要读出并且发送到Dout总线140的列ADC输出的信息，并且也可以接收关于针对给出的行来选择以接收适当像素输出的列的信息。尽管图7A中未示出，但是列解码器单元145可以接收来自例如处理器19的列地址输入(像图6中的输入147)，并且解码该输入以使得列ADC单元153能够选择适当的像素列。在图7A的实施例中，解码的列地址信号使用附图标记“165”来共同标识。

来自ADC单元的数字数据输出140可以通过数字处理块167来处理。在一个实施例中，针对2D RGB成像模式，每个ADC特定数据输出140可以是基本对应于由各个像素收集的实际光子电荷的多位数值。另一方面，在3D深度测量模式中，每个ADC特定数据输出140可以是表示在各个像素检测到相应的光斑时的时间点的时间戳值。稍后更详细讨论根据这里公开的主旨的该时间戳方法。数字处理块167可以包括：电路，提供时序产生；图像信号处理(ISP)，诸如针对2D成像模式的数据输出140的处理；针对3D成像模式的深度计算；等。在这方面，数字处理块167可以结合到接口单元168以将处理后的数据作为例如输出170来提供，以使得处理器19能够将2D RGB/非RGB图像或3D物体26的3D深度图像绘制在装置15的显示屏(未示出)上。接口单元168可以包括针对支持数字处理块167中的时序产生功能的时钟信号的产生的锁相回路(PLL)。此外，接口单元168也可以包括移动行业处理器接口(MIPI)，其中，移动行业处理器接口针对由数字块167产生的数据对装置15中的其他组件或电路元件提供行业标准硬件和软件接口。MIPI规范支持宽范围的移动产品，并且提供针对移动装置的照相机、显示屏、电源管理、电池接口等的规范。MIPI标准化接口可以获得移动装置的外围组件(诸如智能电话的照相机或显示屏)与移动装置的应用处理器(可以不来自与提供外围组件的供应商(或销售商)相同的供应商)之间的改进的可操作性。

在图7A的实施例中，在3D测量模式下，时间戳校准单元171示出为结合到列ADC单元153，以将适当的校准信号172提供给个体列特定ADS，使每个列特定ADC单元能够产生表示像素特定时间戳值的输出。参照图8更详细地讨论该时间戳方法。

图7B示出根据这里公开的一个实施例的用于3D深度测量的示例性CDS+ADC单元175的架构详情。为了便于讨论，单元175可以在下面称为“ADC单元”，然而，应当理解，除了ADC功能，单元175也可以包括CDS功能。CDS单元的简化版本使用图7B中的电容器176来表示。在一个实施例中，2D像素阵列42中的像素的每个列可以具有列特定的、与ADC单元175类似的单斜ADC单元。因此，在图6的实施例中，在像素列单元138中可以存在3个ADC单元，即，每列一个ADC。如图所示，图7B的实施例中的ADC 175可以包括与二进制计数器181和线存储器单元183串联连接的两个运算跨导放大器(OTA)177和179。为了便于说明，在图7B中仅示出了输入到OTA 177和179的反向(-)和非反向(+)电压，而未示出偏置输入和电源连接。应当理解，OTA是差分输入电压产生输出电流的放大器。因此，OTA可以认为是电压控制的电流源。偏置输入可以用于提供电流或电压来控制放大器的跨导。第一OTA 177可以从CDS单元176接收来自诸如图6中的像素108的像素的PIXOUT电压的CDS版本，其中，所述像素是使用从列解码器145接收的列号而在激活的行中选择的。pixout信号的CDS版本可以称为“PIX_CDS”信号。OTA 177也可以从斜坡信号产生器163(图7A)接收Vramp电压143。如果pixout电压157下降到低于Vramp电压143，则OTA 177可以产生输出电流，如以下参照图8讨论的。OTA 177的输出可以在被施加到二进制计数器181之前被第二OTA 179过滤。在一个实施例中，二进制计数器181可以是接收时钟(Clk)输入185的10位波纹计数器，并且基于在通过由第一OTA 177产生的输出电流触发的预确定的时间期间计数的时钟周期来产生时间戳值186。在图7A的实施例的情况下，Clk输入185可以是装置15中的系统范围时钟、由PLL单元168产生的图像传感器特定时钟、或其他时钟产生器(未示出)。像素特定时间戳值186可以根据像素的列号(列#)而存储在线存储器183中，并且随后作为Dout信号140输出到数字处理块167。可以从图7A中所示的列解码器单元145接收列号输入165。

在具体的实施例中，RGB颜色模式可以用于移动装置(诸如图1和图2中的装置15)上图像的传感、表现和显示。在RGB颜色模式中，具有三原色(红色、绿色和蓝色)的光信号可以以各种方式加在一起，以在最终的图像中产生广泛的颜色。CDS方法可以用于2D RGB成像而以允许去除不期望的偏移的方式来测量电子值，诸如像素/传感器输出电压。例如，可以在像ADC单元175的每个列特定ADC单元中采用CDS单元(像CDS单元176)来执行相关双采样。在CDS中，像素的输出可以测量两次，一次在已知的条件下，一次在未知的条件下。然后，可以将从未知条件测量的值减去从已知条件测量的值，以产生具有已知的关于被测量的物理量的值，即，表示图像信号的像素特定部分的光电子电荷。使用CDS，在每个整合周期结束时，可以通过从像素的信号电压去除像素的参考电压(诸如在重置之后的像素的电压)来降低噪声。因此，在CDS中，在像素的电荷作为输出被传输之前，重置值被采样。从像素的电荷被传输之后的值“扣除”参考值。

这里观察到，在具体的实施例中，ADC单元175可以用于2D成像以及3D深度测量两者。然而，针对这种共享结构的所有输入未在图7B中示出。在共享使用的情况下，相应的Vramp信号针对2D成像也可以不同。

图8是根据这里公开的具体实施例示出图1和图2的系统15中的不同信号的示例性时序以产生在操作的3D线性模式下的基于时间戳的像素特定输出的时序图。如前所述，在具体实施例中，相同的图像传感器24中的所有像素可以用于2D以及3D成像。然而，3D深度测量可以根据环境光的水平而使用3D线性模式或3D对数模式来执行。如以下参照图11更详细地描述，如果需要环境光抑制，则3D对数模式可以用于深度测量。然而，图8的讨论涉及与3D线性模式相关的时序波形。

简要地，如前面参照图4和图5讨论的，3D物体26可以被激光光源33沿着像素阵列42的行R 75来一次一个斑地点扫描，其中，基于与扫描线S_R 66相关的相应极线R是已知的。在扫描一行之后，扫描操作随着另一行而重复。如果激光器投射到下一个斑，则之前投射的光斑可以通过行R中的相应像素来成像。来自行R中的所有像素的像素特定输出可以被读出到数字处理块167(图7A)中的深度处理电路/模块。

为了产生像素特定输出，相应的行可以利用RSEL信号而必须被首先选择。在图8的情况下，假设图6中的行解码器/驱动器116通过如图8中所示将RSEL信号122断言为“高”水平而选择包括像素106-108的像素的行。因此，所有的像素106-108被一起选择。为了便于讨论，对于也在图6和图7中示出的信号、输入或输出，在图8中使用相同的附图标记。首先，选择的行中的所有像素106-108可以使用RST线128而被重置为高电压。像素的“重置”水平可以表示不存在相应的光斑的像素特定检测。在根据这里公开的一个实施例的3D线性模式下，RST信号可以从高水平释放预确定的时间，以促进通过像素106-108接收的光电子的累积(integration)从而获得相应的像素输出(PIXOUT)信号117-119，其中，PIXOUT信号117-119中的两个在图8中示出并且稍后下文中讨论。PIXOUT1信号119表示通过像素108向相应的ADC单元提供的输出，并且使用具有图案“-··-··-”的断续线来示出。PIXOUT2信号118表示通过像素107向相应的ADC单元提供的输出，并且使用具有图案“……………”的虚线来示出。另一个方面，在根据这里公开的一个实施例的3D对数模式下，RST信号可以在如稍后下文讨论的像素输出的产生期间针对选择的行保持高水平。这里应当注意，在一个实施例中，其他RST线，即，像图6中的线129-130，可以针对未选择的行保持高水平或“接通”以防止高光溢出(blooming)。这里应当注意，严格地说，图8中的PIXOUT信号118和119(以及图10和图11中类似的pixout信号)在作为PIX_CDS信号施加到在各个列特定ADC单元(诸如图7B中的ADC单元175)中的第一OTA(像图7B中的OTA 177)之前，可以通过CDS单元(例如，图7B中的CDS单元176)稍微地修改。然而，为了简单说明并且便于讨论，图8、图10和图11中的PIXOUT信号视为各个PIX_CDS信号(未示出)的代表，并且认为已经直接“输入”到各个OTA 177。

在重置之后，如果像素中的光电二极管接收入射亮度，诸如从投射到3D物体26的表面上的光斑反射的光中的光电子，则光电二极管可以产生相应的光电流。通过像素的入射光的检测可以称为“ON事件”，而入射光的强度减小可以产生“OFF事件”。响应于ON事件产生的光电流可以从初始的重置水平减小像素输出电压(PIXOUT)。因此，像素起变换器的作用以将接收的亮度/光信号转换为相应的有关电的(模拟)电压，其在图6、图8、图10和图11中通常被称为PIXOUT信号。每个像素可以被个体地读出，并且在一个示例性实施例中以激光源投射相应的光斑的顺序而被读出。模拟pixout信号可以通过相应的列ADC转换为数值。在2D成像模式下，ADC可以起模拟数字转换器的作用并且产生多比特输出。然而，如以下讨论的，在3D深度测量模式下，ADC可以起时间数字转换器的作用，并且产生表示在通过像素检测到光斑时的时刻的时间戳值。

再次参照图8，在像素重置完成之后(具有RST 128高水平)，与像素106-108相关的列ADC也可以在RST释放之前重置。然而，传输(TX)信号132可以始终保持高水平。ADC可以使用公共ADC重置信号或个体ADC特定重置信号来重置。在图8的实施例中，公共ADC_RST信号192示出为已经暂时地断言(为高水平)以重置列ADC单元153(图7A)中的列特定ADC(像ADC 175)。在一个实施例中，ADC可以在像素重置之后，重置为预确定的二进制值，诸如二进制“0”或其他已知数字。在图8中，针对与像素108和107相关的ADC的这些重置值分别通过信号ADCOUT1(或ADC输出“A”)中的“字段”194和ADCOUT2(或ADC输出“B”)中的“字段”195示出。这里注意，这里使用术语“字段”仅为了在讨论图8、图10和图11中示出的ADC输出时方便起见。应当理解，ADC输出实际上可以不同时包括所有的这种“字段”，但是可以是根据用于ADC信号处理的当前阶段的特定数值，即，如果ADC重置，则输出可以是二进制“0”，如果触发ADC以计数时钟脉冲，则输出可以为在图8和图11中的3D深度测量的情况下的计数值。如果ADC用于2D颜色成像(如在图10的情况下)，则输出可以是表示图像信号的多位值。因此，图8、图10和图11中的ADC输出信号仅利用该“字段”来描述，以示出ADC在向最后输出的前进中可以内部产生的不同数值。在图8中，附图标记“197”用于指的是表示与像素108相关的ADC的输出的ADCOUT1信号，附图标记“198”用于指的是表示与像素107相关的ADC的输出的ADCOUT2信号。当各个ADC在存储器读出期间被列解码器选择时，输出197和198中的每个可以表现为Dout信号140(图6和图7)。在被重置之前，ADC输出197和198可以具有未知的值，如通过字段199和200中的符号“x”所表示的。

在ADC重置之后，在像素重置信号128和ADC重置信号192被释放之后，可以通过使斜坡输入(Vramp)143取消断言(de-assert)为预定义的电压电平而启用预确定的阈值。在图8的实施例中，RAMP输入143对所有的列特定ADC是共同的，从而向每个ADC提供相同的Vramp电压。然而，在其他实施例中，不同的Vramp可以通过单独的、ADC特定斜坡输入而施加到两个或更多个ADC。此外，在具体实施例中，Vramp阈值可以是可编程的参数，使得其为期望的变量。在阈值(RAMP信号)启用之后，像素特定ADC可以在开启二进制计数器(像图7B中的计数器181)之前等待相应像素的“ON事件”。

在3D深度测量模式下，每个ADC可以产生单比特输出(表示二进制“0”或“1”)，与2D成像模式的情况的多比特输出(以下讨论)截然相反。因此，在RGB传感器的情况下，通过RGB像素阵列42中的像素接收的任何颜色信息可以被有效地忽略。在不存在由像素检测的任何入射光的情况下，相应的ADCOUT信号可以保持处于二进制“0”值。因此，没有任何ON事件的列可以继续具有针对它们的各个ADCOUT信号的数值“0”(或其他已知数字)。然而，如前所述，如果像素被入射光击中，则像素的PIXOUT线可以从重置水平开始下垂，如图8中的PIXOUT1和PIXOUT2信号的向下斜坡所示。假设从首先接收电荷的像素开始读取像素电荷，则这种读取可以以例如图5中所示的行中的最右侧像素开始而以最左侧像素结束，在图5中，t₁是最先的时间点，t₄是最晚的时间点。因此，在图8的实施例中，像素108的输出(PIXOUT1)可以在像素107的输出(PIXOUT2)之前被读取。逐渐下垂的PIXOUT1一达到Vramp阈值143，单比特ADCOUT1就可以从二进制“0”跳转到二进制“1”。然而，代替输出比特“1”，相应的ADC可以记录比特从“0”跳转到“1”时的时间。换句话说，与像素108相关的ADC通过开启ADC中的二进制计数器可以起时间数字转换器的作用，如ADCOUT1中“upcount(加计数)”字段202所示。在“up count”期间，ADC中的计数器可以对CLK信号185中的时钟脉冲进行计数，所述时钟脉冲可以施加到例如图7B中所示的每个ADC。计数的时钟脉冲通过图8中的计数器时钟1信号204来示出，计数的值(在“up count”字段中)可以提供为针对像素108的像素特定输出。对于通过像素107收集的电荷，类似的计数可以发生在与像素107相关的ADC处，如图8中的计数器时钟2信号205所示。像素特定计数值(在“up count”字段207中)通过各个ADC提供为针对像素107的像素特定输出。在扫描一行中的所有像素之后，可以对另一行重复逐个像素电荷收集操作，同时来自之前扫描的行的输出被读出到数字块167中的深度计算单元。

每个ADC输出可以有效地表示的各个时间戳值，所述各个时间戳值提供由激光光源33照明的物体表面上的光斑的通过像素检测的时间显示。时间戳可以被认为捕获针对像素的光到达时间。在一个实施例中，可以根据从ADC单元接收的计数值(计数的时钟脉冲的值)，通过数字处理块167产生针对检测的光斑的时间戳值。例如，数字块167可以通过使计数值与内部系统时间或其他参考时间有关联来产生时间戳。时间戳在接收结束时产生，因此，可以不必表示在通过光源投射相应的光斑时的精确时间。然而，时间戳值可以使数字块167能够在时间标记的光斑之中建立时间相关性，从而使数字块167以通过时间相关性指定的时间方向顺序来确定至时间标记的光斑的距离，即，至最先照明的光斑的距离被首先确定等，直到至最后照明的光斑的距离确定为止。在一个实施例中，时间戳方法也可以促进解决可能由相同像素上成像的多个光斑引起的模糊，如稍后讨论。

诸如在经过预确定的时间段之后再次断言斜坡信号143时，所有基于ADC的计数器可以同时停止。在图8中，标记针对像素电荷累积的预确定的时间段的结尾的斜坡信号143的过渡由虚线210表示。RSEL 122和RST 128信号也可以与斜坡信号143的水平变化(在线210处)基本同时过渡它们的状态。在一个实施例中，所有基于ADC的计数器可以在线210处重置。在另一个实施例中，所有基于ADC的计数器可以在选择用于读取像素电荷的像素的下一行之前的任何时间重置。尽管在一行中像素的扫描结束时重置ADC计数器，但是针对像素阵列42中的每个像素的时间戳值由于时间戳值与可以保持全局性和持续运转的内部系统时间或时间的其他参照源的关系建立，而可以保持有区别的。

在图8的实施例中，诸如像素107的后扫描的像素可以具有比先扫描的像素(诸如像素108)小的ADC输出。因此，如所示的，ADCOUT2可以具有比ADCOUT1少的计数值(或少数的计数时钟脉冲)。可选择地，例如，在另一个实施例中，后扫描的像素可以具有比先扫描的像素大的ADC输出，如果每个ADC特定计数器在重置像素时开始计数，并且在检测到“ON事件”时(诸如在像素的pixout信号下垂到给定的阈值(Vramp)以下时)停止计数。

这里，注意，图6、图8、图10和图11中示出的电路和波形是基于具有每个列加计数器的单斜ADC。然而，应当理解，时间戳方法可以根据设计选择而利用加或减计数器来实现。此外，也可以使用具有全局计数器的单斜ADC。例如，在一个实施例中，代替使用个体的基于列的计数器，全局计数器(未示出)可以被所有的列ADC共享。在这种情况下，ADC可以被构造为使得，如果基于列的比较器单元(未示出)检测到“ON事件”，例如在基于列的比较器单元首先感测到各个像素pixout信号下垂到斜坡阈值143以下时，则每个ADC中的列存储器(像图7B中的线存储器183)可以锁存全局计数器的输出，以产生适当的ADC特定输出。

尽管图8中未示出，但是可以通过以与暗电流的速度相同的速度来减小Vramp阈值而去除暗电流偏移。暗电流可以是流过诸如光电二极管的光敏装置的相对小电流，即使没有光子进入装置。在图像传感器中，暗电流可以引起收集的电荷中的噪声或不期望的人工现象。暗电流可以由像素中的缺陷引起，并且可以具有像光电流一样的效果。因此，由于暗电流，而导致即使不存在光(或不存在通过像素接收的光)，像素输出也仍然减小。因此，在电荷收集期间，如果从右到左扫描行中的像素，例如，如图5中的行75的情况所示以及参照图8讨论，左侧上的像素可以积累比右侧上的像素更多的暗电流。因此，为了防止由于暗电流而导致的任何错误事件的登记，预确定的斜坡阈值(Vramp)可以通过暗电流随着像素的行增大的速率来降低/调整，以补偿因暗电流而导致的像素输出的降低的水平。在一个实施例中，这种调整后的阈值然后可以用于像素以比较像素的PIXOUT信号的水平。因此，阈值电压的值(Vramp)针对每个ADC可以是可变的并且个体可编程的。在一个实施例中，与特定ADC相关的所有像素可以具有相同的Vramp值。在另一个实施例中，每个像素可以具有在相应的ADC中可编程的像素特定Vramp值。

这里观察到，如果沿着物体的表面扫描一行光斑，则在相同的像素上可以成像来自扫描的物体的两个或更多个不同的斑。斑可以在相同的扫描线上或可以在相邻的扫描线上。如果穿过物体的表面扫描多个斑，则这种叠置成像会消极地影响光斑与像素ON事件的相关性，因此会导致深度测量的模糊。例如，从上述等式(1)看出，深度测量与扫描角度(θ)和成像光斑的像素位置(由等式(1)中的参数q给出)有关。因此，如果扫描角度针对给定的光斑不是正确地已知的，则深度计算会是错误的。类似地，如果两个或更多个光斑具有相同的q值，则深度计算也会变得模糊。根据这里公开的具体实施例的基于时间戳方法可以用于维持捕获的光斑的像素位置与激光源的相应的扫描角度之间的正确相关性。也就是说，时间戳可以表示参数q和θ的值之间的关联。因此，如果两个斑从数据输出的视角位于相同的像素或列上，则时间戳方法中的时间数字转换可以使成像系统(即，数字处理块167(图7B))建立这两个斑之间的时间相关性，以识别哪一个光斑在时间上首先被接收。这种相关性在不使用时间戳的系统(诸如前述的立体视觉系统或使用结构光方法的系统)中可能不是容易的。结果，这种系统可以需要执行许多数据搜索和像素匹配，以解决对应问题。

在一个实施例中，如果多个光斑通过相同的像素成像，则可以比较这些光斑的时间戳以识别最先接收的光斑，并且可以仅针对该光斑计算距离，同时忽略相同像素处所有后续接收的光斑。因此，在该实施例中，最先接收的光斑的时间戳可以视为针对相应像素的像素特定输出。可选择地，在另一个实施例中，可以针对时间上最后接收的最后光斑来计算距离，同时忽略通过同一像素成像的所有其他光斑。不论哪种情况，对于深度计算，在第一或最后光斑之间接收的任意光斑可以被忽略。由光源投射的光斑的扫描时间可以给出为t(0)，t(1)，...，t(n)，其中t(i+1)-t(i)＝d(t)(常数)。像素/列输出可以给定为作为针对ON事件的时间戳的a(0)，a(1)，...，a(n)，并且a(i)一直在t(i)之后，但是在a(i+1)之前。如果a(i)和a(k)(i≠k)恰巧与同一像素/列相关，则仅它们的一个可以如上所述被保存，以去除深度计算的任何模糊。基于扫描时间与输出时间(由时间戳表示)之间的时间关系，诸如数字块167的处理单元可以计算出哪一个输出点丢失了。尽管处理单元不能够恢复丢失的位置，但是根据有效输出点的深度计算可以足以提供物体的可接受的3D深度轮廓。这里注意，在一个实施例中，两个不同的像素使同一光斑的各个部分成像也是可能的。在此实施例中，基于来自这两个像素的时间戳输出的值的紧密度，处理单元可以推断单个光斑可能已经通过两个不同的像素来成像。为了解决任何的模糊，处理单元可以使用时间戳来发现各个位置值q的平均，并且使用等式(1)中的q的平均值来计算针对该共享的光斑的3D深度。

图9示出示例性查找表(LUT)215以示出在这里公开的具体实施例中可以如何使用LUT来确定3D深度值。基于LUT的方法可以代替上述讨论的使用等式1的基于三角测量的即时(on the fly)深度计算来使用。LUT 215列出针对扫描线S_R的参数θ、q和Z。这些参数之中的关系由等式(1)给出。LUT 215可以利用针对多条扫描线的这些参数的值而预先填入，其中，多条扫描线其中仅一条(扫描线S_R)在图9中示出。预先填入的LUT 215可以存储在系统存储器20(图1和图2)中、处理器19的内部存储器(未示出)中、或者数字处理块167(图7A)中。首先，为了填入LUT 215，沿着扫描线S_R的光斑可以以参考距离Z_i(例如，1米)并且使用特定扫描角度θ_i来投射。这些Z_i和θ_i的预确定的值可以用在等式(1)中，以获得q_i的相应值，其中，q_i将表示针对扫描线S_R成像的斑应当出现在其处的列/像素。Z_i和θ_i的不同值可以用于获得q_i的相应值。如果针对扫描线S_R上的光斑的Z_i的实际值与预定值之间存在ΔZ差，则相应的列/像素应当移动Δq。因此，必要时可以调整LUT 215中的值。这样，针对每条扫描线S_R，LUT 215可以使用三角测量等式(1)而预先填入作为θ_i和q_i的函数的深度值Z_i。如上所述，预先填入的LUT可以存储在装置15中。在操作期间，针对用户选择的3D物体上投射的光斑的扫描线上的每个光斑的θ_i和q_i的实际值可以用作对LUT(像LUT 215)的输入，以查找相应的值Z_i。处理器19或数字块167可以被构造为执行该查找。因此，在具体实施例中，物体的3D轮廓可以通过对已经使用三角测量校准过的LUT进行插值而产生。

从上述讨论观察到，根据这里公开的具体实施例的使用三角测量的基于时间戳的3D深度测量使ADC操作为具有仅单比特的低分辨率的二进制比较器，从而明显较少地消耗ADC中的切换电源，因此，节约系统电力。另一方面，传统的3D传感器中的高比特分辨率ADC会需要更多的处理电力。此外，相比于需要显著的处理电力来搜索和匹配像素数据以解决模糊的传统成像方法，基于时间戳的模糊求解也可以节省系统电力。因为由于所有点扫描光斑的成像/检测在单个成像步骤中而可以一次执行所有的深度测量，所以延迟也减少了。在具体实施例中，像素阵列中的每个像素可以是单个存储像素，因此可以尺寸上制作成像1微米(μm)那么小。在单个存储像素设计中，每个像素仅存在一个光电二极管和一个结电容器(像图6中的晶体管111)以积累并且存储光电子。另一个方面，具有一个光电二极管以及存储不同时间达到的光电子的多个电容器的像素不能减小到这么小的尺寸。因此，按照这里公开的具体实施例的具有小传感器的低电力3D成像系统可以促进移动应用(诸如，但不限于，智能电话或平板中的照相机)的易于实现。

如前所述，根据这里公开的一个实施例，同样的图像传感器(诸如图1和图2中的图像传感器单元24)可以用于2D成像和3D深度测量两者。这种双模式图像传感器可以是例如，移动电话、智能电话、膝上型计算机或平板电脑上的照相机系统的部分，或者是工业机器人或VR设备中的照相机系统的部分。在具体实施例中，存在装置上的模式开关以使用户在传统的2D照相机模式或使用如上所述的深度测量的3D成像模式之间进行选择。在传统的2D照相机模式下，在具体实施例中，用户可以捕获场景的彩色(RGB)图像或者快照、或场景内的特定3D物体。然而，在3D模式下，用户能够基于以前述方法执行基于点扫描的深度测量的照相机系统来产生物体的3D图像。在这两种模式中，从总体上看可以使用同一图像传感器来实现期望的成像。也就是说，图像传感器中的每个像素可以用于2D成像或3D成像的任一个应用。

图10是示出根据这里公开的具体实施例的图1和图2的系统15中的不同信号的示例性时序以使用操作的2D线性模式产生2D图像的时序图230。这里注意，2D图像可以是在环境光照明条件下的场景的RGB图像或场景中的3D物体，其中，环境光照明可以包括照相机闪光灯或其他类似组件(未示出)的偶尔使用。然而，与图8和图11中的3D成像相关的实施例对比，在图10的实施例中2D成像的情况下可以不存在通过激光光源33(图2)的任何照明。图10中示出的许多信号也在图8中示出。鉴于图8的前述详细讨论，这里仅讨论图10的突出方面。这里注意，图10中所示的控制信号RSEL、RST、TX、RAMP和ADC_RST是针对包括图6中的像素106-108的像素的行，因此，为了便于讨论，使用与图8中使用的附图标记相同的附图标记来标识这些信号，尽管图8和图10中信号的波形和时序不同。此外，图10中的图示针对单个像素，即，图6中的像素108。因此，图10中的PIXOUT信号119、计数器时钟信号(Counter Clock signal)204以及ADCOUT信号197使用与图8中相应的信号PIXOUT1、Counter Clock1和ADCOUT1相同的附图标记来示出。像素输出19通过线性积分由像素108在预确定的时间段内收集的光电子而产生。如前所述，在像素108的情况下图10的讨论仍然适用于与像素阵列42中其他像素相关的相应信号。

如前所述，在具体实施例中，每个列特定ADC(诸如图7B中的ADC单元175)可以是单斜ADC。如在图8的情况下，同一行中的像素可以一起并选择和重置，如图10中RSEL信号122和RST信号128所示。列ADC也可以使用公共ADC_RST信号192来重置。在图10中，与像素108相关的ADC的重置状态由ADCOUT信号197中的字段234来表示。在像素108和相应的ADC被重置之后，针对Vramp信号143的阈值或参考电压电平可以通过电压电平236而如所示地启用。然后，ramp从该电压电平236斜降，以使ADC单元的比较器偏移数字化(如ADCOUT信号197中的字段238给定的)。在一个实施例中，计数器时钟204中的时钟脉冲可以用于产生计数值作为偏移238。时钟脉冲可以计数从Vramp信号143到达阈值水平236的时刻，直到其下降到像素输出(这里，PIXOUT信号119)的重置水平为止。在下文中，各个传输(TX)线132可以被脉冲调整以触发光电二极管110上积累的电荷传输到浮置扩散晶体管111用于读出。在断言TX脉冲的同时，Vramp信号143可以上升到阈值水平236，并且像素特定ADC中的计数器(诸如图7B中的计数器181)可以利用由字段240表示的反向偏移值来初始化。反向偏移值240可以表示偏移值238的负数。在TX脉冲132被取消断言之后，针对像素108的ADC单元可以开始使接收的像素信号(PIXOUT)数字化，直到Vramp阈值143降到PIXOUT信号119的水平。该操作通过ADCOUT信号197中的“up count”字段242来示出。计数值242可以是基于计数器时钟204的时钟脉冲，并且可以表示包括偏移计算(在字段238处)和针对像素108的图像信号的像素特定部分的组合值，如使用附图标记243所示。ADC单元中的比较器(未示出)可以将字段238处数字化的比较器偏移值与“upcount”值242进行比较。因此，在一个实施例中，RGB图像信号244可以通过在字段240和242中添加ADC值来获得，从而从“up count”字段242中的组合值(偏移+信号)有效地去除偏移值238。

图10中所示的操作可以针对像素阵列42中的每个像素来执行。每个列ADC可以以来自基于ADC计数器(诸如图7B中的计数器181)的多比特输出的形式而产生相应的RGB图像信号。多比特输出(像图10中的附图标记244的输出)会需要有效地表示图像信号的颜色内容。来自列ADC单元153的ADC的RGB图像信号输出可以共同地由Dout信号140(图7A和图7B)来表示，其中，Dout信号140被数字块167处理以经由MIPI接口168来呈现场景的2D彩色图像。

图10中所示的2D成像和相关波形的其他详情可以从2011年8月2日发行的第7,990,304B2号Lim等人的美国专利获得。与这里公开的主旨相关的第7,990,304号美国专利中的2D成像相关的讨论通过引用全部包含于此。

图11是示出根据这里公开的具体实施例的图1和图2的系统15中的不同信号的示例性时序以在操作的3D对数(log)模式下产生基于时间戳的像素特定输出的时序图250。如前所述，3D深度测量可以根据环境光的水平而使用3D线性模式或3D对数模式来执行。此外，在3D深度测量期间，3D物体(诸如图2中的3D物体26)可以通过环境光以及来自激光扫描的可见光(或其他光，诸如NIR光)来照明。因此，如果环境光太强而不能通过3D线性模式抑制，则3D对数模式可以用于深度测量。鉴于基于CDS成像从最终的图像信号去除偏移或其他噪声，针对图10中描述的2D成像相关的波形，可以不需要对数模式。然而，在根据这里公开的具体实施例的3D深度测量的情况下，强环境光可以在点扫描期间与来自激光光源的光干涉。在操作的3D线性模式下，这种干涉可以覆盖或抑制从点扫描的光斑反射的可见/NIR光，因此会导致从光斑接收的光的错误检测。因此，在具体实施例中，如果环境光的强度被感测为在预确定的照度水平(或强度阈值)(诸如10000(10k)lux)之上，则期望抑制由环境光引起的像素电荷。这种环境光抑制可以使用图11中所示的操作的3D-log模式来完成。

如上所述，在图8、图10和图11中使用相同的附图标记以表示类似命名的信号(或具有类似功能的信号)并且也便于讨论。然而，应当理解，图8、图10和图11中示出的信号涉及成像的具体模式。因此，例如，如果用户选择操作的2D彩色成像模式，则图10中所示的时序图230示出其中所示的信号之中的具体关系。然而，图8和图11中类似命名的信号涉及操作的3D成像模式，因此可以具有不同的时序关系。此外，即使在图8和图11之间，因为图8涉及操作的3D线性模式，而图11涉及操作的3D-log模式，所以一些信号可以在波形方面不同。鉴于图8的上述详细讨论，这里仅讨论图11的突出方面。与图8一样，图11中的时序图250也与图6中的像素107和108有关。然而，图11的讨论仍然适用于像素阵列42中的所有其他像素。

在3D线性模式下，像素特定输出可以通过线性积分由像素在预确定的时间段收集的光电子而产生。因此，在线性模式下，像素的输出电压在给定的时间段内正比于收集/积累的全部光子。然而，在3D-log模式下，像素特定输出可以正比于，在预确定的时间段期间由像素在检测到来自3D物体反射的激光时产生的瞬时光电流的自然对数。算术上，由光电二极管(诸如图6中的PPD 110)产生的光电流可以通过以下关系来表示：

I_{p h} &Proportional; e^{\frac{V_{p h}}{V_{T}}}, - - - (2)

其中，I_ph是二极管的光电流，V_ph是穿过二极管的电压，V_T是热电压。因此，可以使V_ph以及各个像素输出(PIXOUT)正比于瞬时二极管电流I_ph的自然对数，诸如如果期望环境光抑制。如前所述，如果做完线性积分，则严重的环境光会限制光子收集。因此，在该情况下，使用3D-log模式的瞬时光电流的感测会是更期望的。

在具体实施例中，装置15可以包括环境光传感器(未示出)。处理器19或数字块167就可以被构造为，只要用户选择3D成像模式，则感测环境光强度以确定是使用3D线性模式还是3D-log模式。在一个实施例中，环境光水平可以基本与RSEL信号的断言(assertion)同时地被感测，其中，RSEL信号可以表示从点扫描的光斑反射的光的成像的开始。在另一个实施例中，环境光水平可以基本与通过激光源开始可见光点扫描同时地被感测。基于环境光的水平，处理器19或数字块167可以选择深度测量的3D线性模式或3Dlog模式的一者。在另一个实施例中，环境光水平在3D深度测量期间可以周期且连续地被感测。在此情况下，操作的3D模式在进行成像操作期间或之前的任意时间，可以从线性切换到对数，反之亦然。

现在参照图11的实施例，看出，在3D对数模式下，行特定RST信号128可以被断言(或接通“高水平”)，并且在产生像素输出的整个周期的期间针对选择的行可以保持高水平/断言。相反，在图8的3D线性模式下，RST信号128可以被首先断言(或接通“高水平”)，以重置行中的像素为预确定的电压电平，但是稍后在光电子的线性积分期间断开(或取消断言)。然而，TX信号132可以被保持为高水平，类似于图8的3D线性模式的情况。因此，在具体实施例中，RST信号的适当水平可以用于选择线性模式和对数模式。在对数模式下，在一个实施例中，在与像素107和108相关的ADC使用ADC_RST信号192重置之后，ADC可以首先采样环境水平，使得ADC在接收信号时适当地说明像素输出(PIXOUT)信号的信号水平。在重置ADC之后，RAMP阈值143可以启用，ADC计数器可以进入“等待状态”，以等待“ON事件”在各个像素处发生。如果像素接收入射光(从投射的光斑反射的光)，则像素的PIXOUT信号可以开始下垂。与图8中的线性下降相反，图11中的PIXOUT信号118和119可以分别展现出短的、瞬时的下降252和253，其反映了通过各个像素的反射的可见光的检测而产生的瞬时光电流。如果PIXOUT信号118和119达到预确定的Vramp阈值143，则ADC计数器可以开始计数。所有的计数器可以在针对电荷积分的预确定的时间结束之后同时停止，如通过RAMP信号143过渡到“高水平”状态给出并且如虚线255所示。计数的值分别由针对像素108和107的ADCOUT1的数据字段257以及ADCOUT2信号的数据字段259表示。对数模式下的计数值可以不同于线性模式下的计数值，因此，不同的附图标记用于图8和图11中的ADCOUT信号中的“up count”字段。如在图8的情况下，后扫描的像素可以具有比先扫描的像素更小的针对ADC输出的计数值。

如之前参照图8所述，代替每列加计数器，递减计数器可以用于图10和图11的实施例中的ADC单元。类似地，基于全局计数器的方法可以代替个体ADC特定计数器来实现。

因此，如上所述，对于日常的2D成像以及3D深度测量，根据这里公开的主旨可以使用相同的图像传感器(以及相应像素阵列中的所有像素)。在2D模式下，传感器可以在线性模式下工作为规则的2D传感器。然而，在3D深度测量期间，传感器可以在适度的环境光下以线性模式操作，但是在强环境光下可以切换为信号检测的对数模式，以能够使用可见(或NIR)光源。因此，这里讨论的成像方法可以与现有的2D传感器设计兼容，因为相同的4T PPD像素可以用于2D和3D成像。这使得传感器设计为尺寸小(具有较小的像素)、更全能、低电力下可操作。这些属性，反过来，节省针对包括这样的图像传感器的移动装置的空间以及成本。此外，在消费者移动装置和某些其他应用中，针对3D深度测量的可见光激光器(除了环境光以外)的使用可以比传统的近红外(NIR)传感器对眼睛安全更好。在可见光谱中，传感器可以具有比NIR光谱高的量子效率，导致光源的低功耗(其反过来节省移动装置的电力)。

这里公开的一个示例性实施例包括2D像素阵列，其中，2D彩色图像信息和3D深度信息同时获得，以提供完全同步地帧速率、颜色的相位、深度和视角。在一个示例性实施例中，彩色图像信息和3D深度信息以交错或交替型方式从2D像素阵列的行中输出。即，彩色图像信息从第一选择的行输出，随后从同一行输出深度信息，然后彩色图像信息从下一个选择的行输出，随后从同一个下一行输出深度信息，等。可选择地，深度信息从第一选择的行输出，随后从同一行输出彩色图像信息，然后深度信息从下一个选择的行输出，随后从同一个下一行输出彩色图像信息等。

根据这里公开的主旨，图1、图2、图6、图7A和图7B中描述的示例性实施例可以包括2D像素阵列，其中，2D彩色图像信息和3D深度信息同时获得，以提供完全同步的帧速率、颜色的相位(phase of color)、深度和视角。在一个示例性实施例中，图像传感器单元24包括布置在多个行中的二维(2D)像素阵列，其中，阵列的每个像素与阵列的其他像素基本相同。在另一个示例性实施例中，存在阵列中的不与阵列的其他像素基本相同的一个或多个像素。在一个示例性实施例中，阵列的行可操作为产生如这里描述的被成像的物体的2D颜色信息，并且可操作为产生如这里描述的物体的3D深度信息。在另一个示例性实施例中，阵列的一个或多个行可操作为产生2D颜色信息和3D深度信息两者，阵列的其他行可以操作为产生2D颜色信息或3D深度信息的一者，而不是两种类型的信息。在另一个示例性实施例中，针对2D颜色信息和/或3D深度信息扫描的具体行可以比2D像素阵列的行的总数少。在一个示例性实施例中，同时产生2D颜色信息和3D深度信息不需要帧缓冲器，因为不需要输出信息的数字信号处理，信号在被获取之后很快输出。

图13描述了根据这里公开的实施例同时产生并且获得2D颜色信息和3D深度信息的过程300的示例性流程图。图13中示出的各种操作可以通过单个模块或模块的组合或者例如系统15中的系统组件来执行。在这里的讨论中，仅通过示例的方式，特定的任务描述为通过特定模块或系统组件来执行。其他模块或系统组件可以适当地被构造为也执行该任务。

处理在块301开始。在块302中，系统15(或更具体而言，处理器19)可以沿着2D像素阵列42(图2中的附图标记42)的第一行，执行物体(诸如物体26(图2))的2D彩色图像捕获。在一个示例性实施例中，第一行可以是2D像素阵列42的第一物理行(对应于例如图6中描绘的第一行或最后一行)。在另一个示例性实施例中，第一行可以不同于2D像素阵列的第一物理行(对应于例如图6中描绘的第一行或最后一行)。在一个示例性实施例中，彩色图像信息从2D像素阵列42中读出，如结合图6描述的。

在块303，系统15可以使用诸如图2中的光源模块22的光源，来沿着扫描线执行3D物体(诸如图2中的物体26)的一维(1D)点扫描。在一个示例性实施例中，选择的扫描线对应于第二行，其中，第二行可以对应于块302中针对彩色图像信息而扫描的同一行。在另一个示例性实施例中，选择的扫描线对应于第二行，其中，第二行可以不对应于块302中针对彩色图像信息而扫描的同一行。从2D像素阵列42中读出3D深度信息，如结合图6描述的。在一个示例性实施例中，块302和303的顺序可以颠倒。

在块304中，系统15确定是否2D像素阵列的所有行已经被扫描用于彩色图像信息和3D深度信息两者。如果否，则过程进行到块305，在块305，对应于彩色图像信息扫描的行和3D深度信息扫描的行的索引递增(或递减可以根据情况而定)，过程返回块302。在从同一行获得2D颜色信息和3D深度信息的示例性实施例中，索引可以是相同的索引。在从不同的行获得2D颜色信息和3D深度信息的示例性实施例中，索引可以是不同的。在块304中，如果确定2D像素阵列的所有行已经被扫描用于彩色图像信息和3D深度信息两者，则流程继续到过程结束的块306。

在输出2D颜色信息的行的数量大于输出3D深度信息的行的数量的一个示例性实施例中，彩色图像信息的选择的行的数量可以以交错或交替型的方式针对每行的3D深度信息来输出。

在一个示例性实施例中，相同的行R(或列C)可以被扫描多次，以适当地调整从激光光源输出的点照明的时序和/或强度(即，调整激光脉冲的时序)，所以更好地符合行中每个具体像素的响应时间以及投影光学器件35(图2)的机械特性。这种技术可以用于校准成像模块17(图1)。

图14描述了根据这里公开的一个实施例为了3D深度测量可以如何执行至半透明物体401(诸如玻璃)的距离和至半透明物体401后面的物体402的距离的示例性图示。在图14中，X-Y可寻址的光源403(诸如激光光源)通过半透明物体401来点扫描物体402。来自半透明物体401的反射404和来自物体402的反射405穿过透镜406，并且分别被2D像素阵列的行R中的像素407和408检测。两个检测的反射407和408信息将具有基本相同的时间戳，并且如这里讨论的，可以确定两者反射的输出深度。

图15描述了根据这里公开的一个实施例为了3D深度测量可以如何执行半透明介质501(诸如雾、雨等)的深度成像的示例性图示。当X-Y可寻址光源403(诸如激光光源)点扫描半透明介质501时，反射504将穿过透镜506，2D像素阵列的行R中的一系列像素507将被激活为将具有基本相同的时间戳。介质501的厚度可以基于如这里公开的时间戳来确定。

图16描述了根据这里公开的一个实施例存在多条返回路径的情况下为了3D深度测量可以如何执行物体601的深度成像的示例性图示。当X-Y可寻址的光源602(诸如激光光源)点扫描有光泽的物体601时，杂散反射603可以从另一个物体604返回。在这种情况下，杂散反射603将很可能不在被扫描的行R的极平面内，因此，将不被检测为来自点扫描指向的物体601的反射605。

图12描述了根据这里公开的一个实施例的图1和图2中的系统15的整体结构。这里，为了便于参考和讨论，在图1和图12中，针对相同的系统组件/单元使用相同的附图标记。

如前所述，成像模块17可以包括图2、图6、图7A、图7B和图13的示例性实施例中示出的硬件，以根据这里公开的主旨完成2D成像和3D深度测量。处理器19可以被构造为与大量的外部装置相接合。在一个实施例中，成像模块17可以起输入装置的作用，将数据输入即以像素事件数据(诸如图7A中的处理的数据输出170)提供给处理器19以进一步处理。处理器19也可以接收来自可以是系统15的一部分的其他输入装置(未示出)的输入。这种输入装置的一些示例包括计算机键盘、触摸板、触摸屏、操纵杆、物理或虚拟“可点击按钮”、和/或计算机鼠标/定点装置。在图12中，处理器19示出为结合到系统存储器20、外围存储单元265、一个或多个输出装置267以及网络接口单元268。在图12中，显示单元被示出为输出装置267。在一些实施例中，输出装置267可以包括触摸屏显示器。在一个实施例中，系统15可以包括一个以上示出装置的实例。系统15的一些示例包括计算机系统(台式或膝上型)、平板电脑、移动装置、蜂窝电话、视频游戏单元或操纵台、机器对机器(M2M)通信单元、机器人、汽车、虚拟显示设备、无状态“薄”客户系统、车辆记录仪或后视镜照相机系统、或者任何其他类型的计算或数据处理装置。在各种实施例中，图12中示出的所有组件可以壳装在单个外壳中。因此，系统15可以被构造为独立的系统或任何其他适合的形状系数。在一些实施例中，系统15可以被构造为客户端系统，而不是服务器系统。

在具体实施例中，系统15可以包括一个以上处理器(例如，呈分布式处理结构)。如果系统15是多处理器系统，则可以存在一个以上处理器19的示例，或者可以存在经由它们各自的接口(未示出)结合到处理器19的多个处理器。处理器19可以是芯片上系统(SoC)和/或可以包括一个以上中央处理单元(CPU)。

如前所述，系统存储器20可以是基于任何半导体的存储系统，诸如(但不限于)DRAM、SRAM、PRAM、RRAM、CBRAM、MRAM、STT-MRAM等。在一些实施例中，存储器单元20可以包括至少一个3DS存储器模块连同一个或多个非3DS存储器模块。非3DS存储器可以包括双倍数据速率或双倍数据速率2、3或4同步动态随机存取存储器(DDR/DDR2/DDR3/DDR4SDRAM)、或DRAM、闪存、各种类型的只读存储器(ROM)等。此外，在一些实施例中，系统存储器20可以包括多个不同类型的半导体存储器，与单一类型的存储器相反。在其他实施例中，系统存储器20可以是非易失性数据存储介质。

在各种实施例中的外围存储单元265可以包括支持磁性、光学、磁光或固态存储介质，诸如硬盘、光盘(诸如紧凑型盘(CD)或数字通用光盘(DVD))、非易失性随机存取存储器(RAM)装置等。在一些实施例中，外围存储单元265可以包括许多复杂的存储装置/系统，诸如磁盘阵列(其可以处于适合的RAID(独立磁盘冗余阵列)结构)或存储区域网络(SAN)，外围存储单元265可以经由标准外围接口(诸如小型计算机系统接口(SCSI)接口、光纤通道接口、(IEEE 1394)接口、基于外围组件接口Express(PCIExpress^TM)标准的接口、基于通用串行总线(USB)协议的接口或其他适合的接口)而结合到处理器19。各种这样的存储装置可以是非暂时数据存储介质。

显示单元267可以是输出装置的示例。输出装置的其他示例包括图形/显示装置、计算机屏幕、报警系统、CAD/CAM(计算机辅助设计/计算机辅助加工)系统、视频游戏站、智能电话显示屏、或任何其他类型的数据输出装置。在一些实施例中，输入装置(诸如成像模块17)和输出装置(诸如显示单元267)可以经由I/O或外围接口而结合到处理器19。

在一个实施例中，网络接口268可以与处理器19通信，以使得系统15能够结合到网络(未示出)。在另一个实施例中，网络接口268可以一起不存在。网络接口268可以包括用于将系统15连接到网络的任何适合的装置、媒体和/或协议内容，无论有线或无线。在各种实施例中，网络可以包括局域网(LAN)、广域网(WAN)、有线或无线以太网、电信网络或其他适当类型的网络。

系统15可以包括板上电源单元270，以将电力提供给图12中所示的各种系统组件。电源单元270可以接收电池或者可以连接到AC电源插座。在一个实施例中，电源单元270可以将太阳能转换为电能。

在一个实施例中，成像模块17可以与插入任何个人计算机(PC)或膝上型计算机的高速接口(诸如，但不限于，通用串行总线2.0或3.0(USB 2.0或3.0)接口或之上的)结合。非易失性、计算机可读数据存储介质(诸如，但不限于系统存储器20)或外围数据存储单元(诸如CD/DVD)可以存储程序编码或软件。处理器19和/或成像模块17中的数字处理块167(图7A)可以被构造为执行程序编码，从而装置15可以操作为执行如上文中讨论的2D成像和3D深度测量，诸如前面参照图1至图11和图13至图16讨论的操作。程序编码或软件可以是专有软件或开源软件，其在通过适当的处理实体(诸如处理器19和/或数字块167)执行时可以使得处理实体能够捕获使用它们的精确定时的像素事件，处理它们，以各种格式绘制它们，并且以2D和/或3D的格式显示它们。如前所述，在某些实施例中，成像模块17中的数字处理块167可以在像素输出数据被发送到处理器19以进一步处理和显示之前执行像素事件信号的一些处理。在其他实施例中，处理器19也可以执行数字块167的功能，在这种情况下，数字块167可以不是成像模块17的部分。

在前面的描述中，为了说明和非限制的目的，阐述了具体详情(诸如具体的架构、波形、接口、技术等)以提供公开的技术的透彻理解。然而，对本领域技术人员将明显的是，公开的技术可以在脱离这些具体细节的其他实施例中实现。即，本领域技术人员将能够设计尽管这里未明确描述或示出但是体现公开的技术的原理的各种布置。在某些情况下，省略已知的装置、电路和方法的详细描述，以不利用不必要的细节而模糊公开的技术的描述。这里列举公开的技术的原理、方面和实施例以及其特定示例的所有表述意图包括结构及其等同功能两者。此外，期望这种等同物包括当前已知的等同物以及未来发展的等同物(诸如，与结构无关，执行同样的功能而发展的任何元件)两者。

因此，例如，本领域技术人员将理解，这里的框图(例如，在图1和图2中)可以表示说明的电路的概念视图或采用技术的原理的其他功能单元。类似地，将理解图3中的流程图表示可以基本由处理器(例如，图12中的处理器19和/或图7A中的数字块167)执行的各种处理。通过示例的方式，这种处理器可以包括通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、和/或状态机。上述在图1至图11和图13至图16的背景下描述的功能中的一些或全部也可以由硬件和/或软件中的这种处理器来提供。

如果这里公开的主旨的某些方面需要基于软件的处理，这种软件或程序代码可以存在于计算机可读数据存储介质中。如前所述，这种数据存储介质可以是外围存储265的部分，或者可以是处理器19的内部存储器(未示出)或系统存储器20的部分。在一个实施例中，处理器19或数字块167可以执行在这种介质上存储的指令，以执行基于软件的处理。计算机可读数据存储介质可以是包括通过通用计算机或上述处理器执行的计算机程序、软件、固件或微码的非暂时性数据存储介质。计算机可读存储介质的示例包括ROM、RAM、数码寄存器、高速缓冲存储器、半导体存储器装置、磁性媒体(诸如内置硬盘、磁带、可移动磁盘)、磁光介质和光学媒体(诸如CD-ROM盘和DVD)。

包括根据这里公开的主旨的方面的这种成像模块的成像模块17或系统15的可选择实施例可以包括负责提供附加功能的附加组件，其中，附加功能包括上述确定的任意功能和/或依据这里公开的主旨必须支持解决方法的任何功能。尽管特征和元件在具体组合中描述如上，但是每个特征或元件可以没有其他特征和元件或者以有或没有其他特征的各种组合而单独使用。如前所述，这里讨论的各种2D和3D成像功能可以以存储在计算机可读数据存储介质(上述)上的编码指令或微码的形式通过硬件(诸如电路硬件)和/或能够执行软件/固件的硬件的使用来提供。因此，将这种功能和示出的功能块理解为硬件实施和/或计算机实施，因此机器实施。

上文描述了同样的图像传感器(即，图像传感器中的所有像素)可以用于捕获3D物体的2D图像以及物体的3D深度测量的系统和方法。图像传感器可以是移动装置(诸如，但不限于智能电话)中的照相机的部分。激光源可以用于使用光斑来点扫描物体的表面，然后，光斑可以被图像传感器中的像素阵列检测以使用三角测量产生物体的3D深度轮廓。在3D模式，激光器可以沿着扫描线将一系列光斑投射到物体的表面上。照明的光斑可以使用像素阵列中的一行像素来检测，使得行形成扫描线的极线。检测的光斑可以被时间标记，以去除三角测量中的任何模糊，因此，减少深度计算的量和系统电力。时间戳也可以提供捕获的激光斑的像素位置和激光光源的各个扫描角度之间的对应关系，以使用三角测量确定深度。2D模式下的图像信号可以由图像传感器中来自ADC单元的多比特输出表示，但是ADC单元可以产生仅二进制输出以产生用于3D深度测量的时间戳值。为了抑制强环境光，图像传感器可以以与3D线性模式相对的3D对数模式操作。

如本领域技术人员将意识到的，这里描述的创新性概念可以在申请的广泛的范围中修改和改变。因此，专利的主旨的范围不应限制于上述任何具体的示例性教导，而由权利要求限定。

Claims

1.一种图像传感器单元，所述图像传感器单元包括：

二维像素阵列，布置在多个行的第一组中，所述阵列的第二组的行的像素可操作为基于通过二维像素阵列接收的至少一个物体的图像而产生二维颜色信息，所述阵列的第三组的行的像素可操作为产生所述至少一个物体的三维深度信息，第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数；以及

控制器，结合到二维像素阵列，以交替的方式从第二组的行中选择行来输出基于所述至少一个物体的图像而产生的二维颜色信息，并且从第三组的行中选择行来输出产生的所述至少一个物体的三维深度信息。

2.根据权利要求1所述的图像传感器单元，其中，从第二组的行中选择的行是与从第三组的行中选择的行相同的行。

3.根据权利要求1所述的图像传感器单元，其中，从第二组的行中选择的行与从第三组的行中选择的行不同。

4.根据权利要求1所述的图像传感器单元，其中，三维深度信息包括与所述至少一个物体的扫描行的斑对应的三角测量信息。

5.根据权利要求4所述的图像传感器单元，其中，三维深度信息以由从第三组的行中选择的行的像素产生的光电子的线性积分为基础。

6.根据权利要求4所述的图像传感器单元，其中，三维深度信息以由从第三组的行中选择的行的像素产生的光电子的对数积分为基础。

7.根据权利要求4所述的图像传感器单元，其中，三角测量信息包括针对扫描行的斑的时间戳信息。

8.根据权利要求4所述的图像传感器单元，还包括照明扫描行的斑的激光光源。

9.根据权利要求8所述的图像传感器单元，其中，激光光源包括可见激光光源、近红外激光光源、点光源、单色照明源、X-Y可寻址激光光源、以及基于微机电系统的激光扫描仪中的一者。

10.一种系统，包括：

二维像素阵列，布置在多个行的第一组中，所述阵列的第二组的行的像素可操作为基于通过二维像素阵列接收的至少一个物体的图像而产生二维颜色信息，所述阵列的第三组的行的像素可操作为产生所述至少一个物体的三维深度信息，第一组的行包括第一行数，第二组的行包括等于或小于第一行数的第二行数，第三组的行包括等于或小于第二行数的第三行数；

控制器，结合到二维像素阵列，以交替的方式从第二组的行中选择行来输出基于所述至少一个物体的图像而产生的二维颜色信息，并且从第三组的行中选择行来输出产生的所述至少一个物体的三维深度信息；以及

显示器，结合到二维像素阵列和控制器，所述显示器是运转着的以基于产生的二维颜色信息来显示所述至少一个物体的第一图像，并且基于产生的三维深度信息来显示所述至少一个物体的第二图像。

11.根据权利要求10所述的系统，其中，三维深度信息包括与所述至少一个物体的扫描行的斑对应的三角测量信息，

其中，三角测量信息包括针对扫描行的斑的时间戳信息。

12.根据权利要求11所述的系统，其中，三维深度信息以由从第三组的行中选择的行的像素产生的光电子的线性积分为基础。

13.根据权利要求11所述的系统，其中，三维深度信息以由从第三组的行中选择的行的像素产生的光电子的对数积分为基础。

14.根据权利要求11所述的系统，还包括照明扫描行的斑的激光光源，

其中，激光光源包括可见激光光源、近红外激光光源、点光源、单色照明源、X-Y可寻址激光光源以及基于微机电系统的激光扫描仪中的一者。

15.根据权利要求10所述的系统，其中，显示器包括触摸屏显示器。

16.根据权利要求15所述的系统，其中，系统包括移动通信装置的部分。