CN107923737B - 用于超像素调制和环境光抑制的方法和设备 - Google Patents

Abstract

一种具有主动光源的成像系统，其通过执行超像素调制和帘幕调制控制像素对光的敏感度。超像素调制有助于快速数据采集。帘幕调制对环境光进行抑制。每个超像素包括多个像素。在超像素调制中，超像素中的每个像素由单独的调制信号进行调制，该调制信号使像素对光的敏感度随时间发生变化。在帘幕调制中，光点在横穿每个摄像机帧的整个场景的路径中移动。同时，只有图像传感器的矩形窄区域包含对光敏感的像素。该窄区域沿与光点相同的方向移动，并且在垂直于该移动的方向上最长。本发明可以用于3D扫描，即用于检测场景中的点的3D位置。

Description

用于超像素调制和环境光抑制的方法和设备

相关申请

本申请主张于2015年12月13日提交的美国临时专利申请号62266653的提交日的优先权，其整体公开内容通过引用并入本文。

技术领域

本发明一般涉及环境光抑制和超像素调制。

发明内容

在本发明的说明性实施方式，成像系统采用主动光源照亮场景，并且采用图像传感器捕获光。图像传感器像素对光的敏感度由两种调制类型进行调制，具体地：(a)本文有时称为“帘幕调制”的调制；以及(b)本文有时称为“超像素调制”的调制。

在说明性实施方式中，帘幕调制：(a)倾向于降低由图像传感器捕获的环境光的相对量；以及(b)倾向于提高由图像传感器捕获的来自主动光源的反射光的相对量。因此，由图像传感器记录的较大百分比的光包括由主动光源发射以及从场景反射的光，并且由图像传感器记录的较小百分比的光包括环境光(而不是在没有帘幕调制的情况下将以其它方式发生)。因此，帘幕调制倾向于有效地抑制环境光的影响，并且从而倾向于提高图像传感器的信噪比(SNR)。

在一些情况下，在帘幕调制中，光点在图像传感器的每个帧期间穿过路径通过场景。举例来说，路径(例如，Z字形路径)可以包含沿彼此平行的轨迹的重复移动。举例来说，路径可能包含从场景的底部到顶部进行重复垂直运动的光点，其中每次垂直运动之间存在轻微的水平位移。

在一些情况下，在任何给定时间，当光点穿过该路径的同时：(a)仅图像传感器的移动窄区域包含对光敏感的像素；以及(b)图像传感器的剩余部分对光不敏感。帘幕调制可能致使包含对光敏感的像素的图像传感器的窄区域(活动区域)与光点同步移动。因此，帘幕调制可以致使活动区域包含正在被从光点直接反射的光(该像素倾向于具有高的入射光强度)照到的像素。因此，活动区域中入射的光的每像素强度的平均值可以高于非活性区域入射的光的每像素强度的平均值。由于帘幕调制(其致使活动区域跟踪由主动光源投影的移动光点并且致使不在非活动区域中对光进行测量)，与在不存在帘幕调制的情况下将发生的相比，由图像传感器测量的主动光源对光的相对贡献可能更大，并且由图像传感器测量的环境光对光的相对贡献可能更小。因此，帘幕调制可能倾向于抑制环境光的影响。

图像传感器(其包含对光敏感的像素)的活动区域可能沿垂直于光点的移动方向的轴线最长。例如，如果光点在场景中垂直上升，那么活动区域可以是在图像传感器中垂直上升的水平窄部(同时伴随场景中光点的垂直上升)。

在帘幕调制中，在包含在活动区域中的那些像素随时间发生变化的意义上，图像传感器的活动区域(其包含对光敏感的像素)移动。同样地，在包含在非活动区域中的那些像素随时间发生变化的意义上，图像传感器的非活动区域(其对光不敏感)移动。然而，在说明性实施方式中，图像传感器和包含其本身的像素是静止的，而活动区域和非活动区域移动。

图像传感器对光不敏感的移动区域(“非活动区域”)可以被笼统地认为被移动的帘幕覆盖。因此称为“帘幕调制”。

这里是幕帘调制的一个示例。在该示例中：(a)光点在整个场景中以Z字形图案在单个帧中移动；(b)在该Z字形图案中，光点沿垂直方向向上移动，然后沿对角线向下并向左，然后向上，然后沿对角线向下并向左，依此类推；以及(c)光点在垂直向上移动期间“开启”，并且在沿对角线向下并向左移动期间“关闭”。在该非限制性示例中：(a)在光点的每个垂直(向上)移动期间，仅图像传感器的水平窄区域是活动的(即，包含对光敏感的像素)，并且图像传感器的剩余部分对光不敏感；(b)在任何给定时间，活动区域由图像传感器中的一组相邻的水平像素行组成；(c)当光点在场景中垂直向上移动时，该水平活动区域向上移动图像传感器，使得在任何给定时间，活动区域包含正在接收从场景直接反射的光的图像传感器的像素，其倾向于具有比其它像素更高的入射光的每像素强度；以及(d)当水平活动区域向上移动图像传感器时，活动区域中的那些像素行随时间发生变化。

如上所指出的，在说明性实施方式中，帘幕调制和超像素调制均对像素对光的敏感度进行控制。

超像素调制涉及通过单独的调制信号来调制图像传感器的每个超像素中的不同像素的(对光的)敏感度，如以下更详细描述的。超像素调制致使图像传感器在单个帧中捕获(尽管以较低的空间分辨率)否则采用常规结构化照明将需要许多帧来获取的信息。

举例来说，通过超像素调制实现的快速数据采集可以有助于移动物体的3D扫描。为确定深度，常规结构化照明需要许多数据帧，并且当尝试对移动物体进行3D扫描时，会因物体从帧到帧移动而遭受读数失真。相比之下，超像素调制有助于从单个帧进行深度确定，从而减轻这些失真。

在说明性实施方式中，超像素调制以如下方式实现：包括超像素的图像传感器。每个超像素包括多个像素，使得超像素中的每个像素均与超像素中的至少一个其它像素以水平、垂直或对角线方式相邻。图像传感器的像素还包含像素集合。每个像素集合包括多个向其施加单个超像素调制信号的像素。该超像素调制信号对像素集合中的像素对光的敏感度进行控制。每个像素集合均由单独的超像素调制信号进行调制。每个超像素包含至少一个来自每个像素集合的至少一个像素。因此，在超像素调制中，对每个超像素中的不同像素的(对光的)敏感度同时进行单独调制。

这里是超像素调制的第一个示例：在超像素调制的第一个示例中：(1)图像传感器包含n个像素集合；(2)图像传感器中的每个超像素具有n个像素，使得超像素中的每个像素是不同像素集合的元素；以及(3)n个单独的调制信号同时施加到图像传感器中的像素，每个像素集合一个单独的调制信号。在该示例中，对于每个超像素，n个单独的调制信号被同时施加到超像素的n个像素，每个像素有一个单独调制信号。

在该超像素调制的第一个示例中，n个单独的调制信号可以一起包括n位二进制码，诸如n位二进制格雷码。每个调制信号可以对应于代码的位。n个像素集合中的每一个可以由不同的调制信号进行调制，并且因此，在任何给定时间，n个像素集合中的每一个的状态可以对应于n位代码的位。同样地，由于超像素中的n个像素中的每一个可以来自不同的像素集合，所以，在任何给定的时间，超像素中的n个像素的每一个的状态可以对应于n位代码的位。在每个摄像机帧期间，可以在不同时间应用n位代码的所有2ⁿ个置换。因此，每个摄像机帧可以被划分成2ⁿ个时间间隔(时隙)。代码的每个置换可以对应于单个摄像机帧期间的唯一时隙。

举例来说，在任何给定时隙(在单个摄像机帧期间的2ⁿ个时隙中)，可以发生n个单独的调制信号的状态的唯一置换。因此，在任何给定时隙(在单个摄像机帧期间的2ⁿ个时隙中)，可以发生每个超像素的n个像素的状态的唯一置换。每个像素的状态可以是二进制的：对光敏感或者对光不敏感。

这里是超像素调制的另一个示例：(1)每个超像素具有n个像素；(2)n个单独的调制信号施加到n个像素，每个像素一个调制信号；(3)n个调制信号一起包括一个9位二进制格雷码；以及(4)n个调制信号中的每一个对应于代码的位。

因此，在说明性实施方式中，超像素调制包括一组分离的调制信号，其同时对超像素中的多个像素进行调制，使得超像素中的每个像素被致使像素的(对光的)敏感度随时间发生变化的调制信号调制。

在本发明的一些实施方式中，超像素调制用于3D扫描，即，用于检测场景中的点的3D位置。

在一些情况下，具有超像素调制的3D扫描以如下方式实现：旋转反射镜致使激光点在每个摄像机帧期间跨过场景在路径中移动。因为反射镜旋转，所以在每个摄像机帧期间，激光束的角度作为时间的函数发生变化。当激光点击中场景中光直接从其反射到该像素的点时，反射镜处于特定角度。在激光束的这些特定角度，用于该像素的入射光强度达到该帧的最大值。超像素调制影响像素对入射光的响应，从而对(i)入射光的最大强度照到像素时的时隙以及(ii)在该时隙期间激光束的取向，进行唯一识别。计算机使用该时隙访问查找表以确定场景点的3D位置。在早前的校准期间，通过三角测量为每个像素进行查找表计算。具体地，在一些情况下，图像传感器、旋转反射镜的旋转轴和超像素的像素射线相对于彼此固定。像素射线为半直线，光沿着其行进以便到达超像素的中心。基于给定超像素的入射光达到最大值的时隙，计算机可以计算该给定超像素的激光束的方向。使光反射到给定超像素的3D场景点位于(i)给定超像素的像素射线以及(ii)与激光束平行且相交的垂直平面的交点处。基于超像素的已知位置、用于超像素的像素射线和光源，并且基于计算的激光束的取向，计算机可以通过三角测量计算该(像素射线和垂直平面的)交叉点的3D坐标。

如上所指出的，在本发明的说明性实施方式中，帘幕调制和超像素调制均涉及对图像传感器中的像素对光的敏感度进行调制。像素对光的敏感度可以通过以下方式调制：(a)通过控制图像传感器中的电荷的存储；或者(b)通过在光到达图像传感器之前选择性地使透射光或反射光衰减。

在一些实施方式中，通过控制图像传感器中的电荷的存储来调制像素对入射光的敏感度。通过使用每个像素的单个存储装置或者通过使用每个像素的多个存储装置，实现对电荷存储的调制。

在单一存储的情况下，每个像素在单个摄像机帧的曝光时间期间将电荷仅转移到一个存储装置。在单个摄像机帧的曝光时间期间，存储装置仅从该像素接收电荷，而不从任何其它像素接收电荷。调制信号致使每个像素中的光电二极管在单个摄像机帧期间多次将电荷转移到单个存储装置，并且在相同的摄像机帧期间在多个其它时间将电荷排除，而不是将其保存以供稍后读取。

在多次存储的情况下，每个像素在单个摄像机帧的曝光时间期间将电荷转移到多个存储装置。这些多个存储装置在单个摄像机帧的曝光时间期间仅从该像素接收电荷，而不是从任何其它像素接收电荷。调制信号致使每个像素中的光电二极管在单个摄像机帧的曝光时间期间在多个时间将电荷转移到多个存储装置中的不同的存储装置，或者在相同的摄像机帧期间在多个其它时间将电荷排除，而不是将其保存以供稍后读取。

在一些实施方式中，在光到达图像传感器之前，通过选择性地衰减透射光或者反射光来调制像素对光的敏感度。透射式或反射式SLM(空间光调制器)选择性地衰减来自场景的光，从而选择性地控制入射在像素上的光的强度。例如，在一些情况下，反射式SLM选择性地反射来自场景的光，致使不同像素在单个摄像机曝光期间的不同时间接收来自场景的反射光。同样地，在其它情况下，透射式SLM选择性地从场景透射光，致使不同像素在单个摄像机曝光期间的不同时间接收来自场景的反射光。例如：(a)反射式SLM可以包括DMD(数字微型反射镜装置)或反射式LCOS(硅上液晶)装置；以及(b)透射式SLM可以包括LCD(液晶装置)或铁磁快门。

这两种控制像素对光的敏感度的方法可以用于帘幕调制或者超像素调制。因此，在说明性实施方式中：(a)帘幕调制可以通过控制图像传感器中的电荷的存储(“存储控制”)或者通过控制投影光或者反射光的衰减(“衰减控制”)来实现；以及(b)超像素调制可以通过存储控制或者衰减控制来完成。

根据本发明的具体实施方式，分别用于超像素调制和帘幕调制的该种方法——存储控制或者衰减控制——可能发生变化。例如：(a)在一些情况下，超像素调制和帘幕调制都是通过控制图像传感器中的电荷的存储来完成；(b)在一些情况下，超像素调制和帘幕调制都是通过单一反射式SLM选择性地将光反射到图像传感器来完成；(c)在一些情况下，超像素调制和帘幕调制都是通过单一透射式SLM选择性地将光透射到图像传感器的来完成；(d)在一些情况下，超像素调制是通过控制图像传感器中的电荷的存储来完成，并且帘幕调制是通过SLM在光到达图像传感器之前选择性地对光进行衰减(例如，通过选择性反射或透射光)来完成；(e)在一些情况下，帘幕调制是通过控制图像传感器中的电荷的存储来完成，并且超像素调制是通过SLM在光到达图像传感器之前选择性地使光衰减(例如，通过选择性反射或透射光)来完成；(f)在一些情况下，超像素调制是通过第一反射式SLM选择性反射光来完成，并且帘幕调制是通过第二反射式SLM选择性地反射光来实现，使得射入光在到达图像传感器之前被选择性地衰减；以及(g)在一些情况下，超像素调制是通过第一透射式SLM选择性地透射光来完成，并且帘幕调制是通过第二透射式SLM选择性透射光来完成，使得射入光在到达图像传感器之前被选择性地衰减。

在本发明的说明性实施方式中，帘幕调制抑制环境光的影响，从而提高SNR和在单个摄像机帧中通过超像素调制获取的数据的准确性。反过来，即使当物体移动时，这也可以对物体产生更准确的3D扫描。

“发明内容”和“摘要”部分中对本发明的描述于此仅仅是一个概述，仅旨在对本发明的一些说明性实施方式进行一般介绍，而并没有描述本发明的所有细节。本发明可以以许多其它方式实现。同样地，“技术领域”部分中对本发明的描述并非限制性的；相反，它是以非排它性的一般方式识别本发明的示例性实施方式一般涉及的技术领域。

附图说明

图1是显示了超像素矩阵的图。

图2是显示了超像素内单个像素的图。

图3是显示了同时施加到五个不同像素集合的五个不同超像素调制信号的图。

图4是示出了超像素调制信号如何控制像素对入射光的响应的概念图。

图5、图7和图9分别是CMOS像素的一部分的电路原理图，该像素具有一个浮动扩散存储装置。图6、图8和图10分别是图5、图7和图9的时序图。

图11A、图11B和图11C是超像素的概念图，其中每个像素具有多个存储装置。在图11A中，为超像素调制和帘幕调制采用相同的转移栅。在图11B和图11C中，为超像素调制和帘幕调制采用不同的转移栅。

图12是具有三个存储装置的CMOS像素的一部分的电路原理图。

图13是CCD像素的概念图，其中，每个像素具有两个存储装置。

图14是CCD像素的概念图，其中，每个像素具有四个存储装置。

图15是使用n元代码调制存储的流程图，使得存储所有光电二极管电荷以供稍后读出。

图16是使用n元代码调制存储的流程图，使得仅存储光电二极管电荷的一部分以供稍后读出。

图17是在其中仅存储一部分光电二极管电荷以供稍后读出的存储调制之后对n元代码进行解码的流程图。

图18是在其中存储所有光电二极管电荷以供稍后读出的存储调制之后对n元代码进行解码的流程图。

图19是示出了模拟调制信号的三个示例的图。

图20A显示了选择性地反射来自场景的光并且由帘幕调制和超像素调制的逻辑“与”进行控制的反射式SLM。

图20B显示了执行帘幕调制的反射式SLM和执行超像素调制的另一个反射式SLM。

图21A显示了选择性地反射来自场景的光并且由选择性地反射来自场景的光的帘幕调制和超像素调制阵列的逻辑“与”进行控制的DMD。

图21B显示了来自场景的光行进到执行超像素调制的DMD阵列，然后到执行帘幕调制的DMD，并且然后到图像传感器。

图21C显示了来自场景的光行进到执行帘幕调制的DMD阵列，然后到执行超像素调制的DMD，并且然后到图像传感器。

图22A显示了选择性地透射来自场景的光并且由帘幕调制和超像素调制的逻辑“与”进行控制的透射式SLM。

图22B显示了执行帘幕调制的透射式SLM和执行超像素调制的另一个透射式SLM。

图23A显示了选择性地透射来自场景的光并且通过帘幕调制和超像素调制的逻辑“与”进行控制的LCD。

图23B显示了来自场景的光行进到执行帘幕调制的LCD，然后到执行超像素调制的LCD，并且然后到图像传感器。

图24A、图24B和图24C分别是包含透射式SLM的光学系统的图。

在图24A中，来自场景的光穿过成像透镜，然后穿过透射式SLM，并且然后到图像传感器。

在图24B中，来自场景的光穿过透射式SLM，然后穿过成像透镜，并且然后到图像传感器。

在图24C中，来自场景的光穿过成像透镜，然后穿过透射式SLM，然后穿过中继透镜，并且然后到图像传感器。

图24D、图24E、图24F、图24G和图24H分别是包含两个透射式SLM(具体地，执行超像素调制的SLM和执行帘幕调制的SLM)的光学系统的图。

在图24D中，来自场景的光穿过成像透镜，然后穿过执行帘幕调制的透射式SLM，然后穿过执行超像素调制的透射式SLM，并且然后到图像传感器。

在图24E中，来自场景的光穿过成像透镜，然后穿过执行超像素调制的透射式SLM，然后穿过执行帘幕调制的透射式SLM，并且然后到图像传感器。

在图24F中，来自场景的光穿过执行帘幕调制的透射式SLM，然后穿过执行超像素调制的透射式SLM，然后穿过成像透镜，并且然后到图像传感器。

在图24G中，来自场景的光穿过执行超像素调制的透射式SLM，然后穿过执行帘幕调制的透射式SLM，然后穿过成像透镜，并且然后到图像传感器。

在图24H中，光学系统还包含中继透镜。图24H显示了透射式SLM可能在光学系统中位于的位置。

图25是显示了现有技术的时分复用结构照明的示例的概念图。

在图26、图27A、图27B和图27C中，移动光束以移动光点照亮场景。

图26示出了通过光源的受控移动产生的移动光束。

图27A显示了反射移动光束的反射镜。

图27B显示了投影移动光束的投影仪。

图27C显示了合在一起发射移动光束的定向光源的阵列。

图28是硬件部件的框图。

图29A是3D扫描系统的图。

图29B是显示了可能由旋转两个反射镜产生的光路的四个示例的图。

图30是显示了3D扫描方法中的步骤的流程图，其中对不同的像素集合进行单独调制。

图31是显示了3D扫描方法中的步骤的流程图，其中对时隙进行计算。

图32是显示了图像系统校准方法中的步骤的流程图。

图33是显示了在光学校准图案中使用的圆的四个示例的图。

图34是显示了使用校准图案的示例的图。

图35是在单个帧期间由移动通过场景的光束产生的场景中的光点的Z形轨迹的图。

图36A、图36B和图36C显示了在光束的垂直上升期间图像传感器的活动区域在不同时间的垂直位置。

图37显示了围绕图像传感器的顶部和底部“环绕”的水平定向的活动区域601。

图38A、图38B、图38C、图38D、图38E、图38F、图38G、图38H、图38I和图38J显示了帘幕调制的示例，其中像素的活动区域3801向下移动图像传感器，环绕到图像传感器的顶部，并且再次向下移动图像传感器。

图38K显示了用于控制图38A至图39J所示的帘幕调制的一组信号。

图39A和图39B显示了执行帘幕调制并且处于右侧圆柱体的一般形状中的旋转透射式SLM。图39A显示了沿着柱体的轴线的视图。图39B显示了柱体的侧视图。

图39C和图39D显示了执行帘幕调制并且围绕摄像机的移动的柔性透射式SLM。图39C显示了垂直于摄像机的光轴的视图。图39D显示了柔性SLM的侧视图。

图40显示了控制像素对光的敏感度的帘幕和超像素调制信号的示例。

图41是显示了用于帘幕调制和超像素调制的方法的流程图。

图42是显示了用于帘幕调制和超像素调制的方法的另一个流程图。

图43是显示了帘幕调制控制方法的流程图。

上述附图(图25除外)显示了本发明的一些说明性实施方式，或者提供了与这些实施方式相关的信息。然而，本发明可以以许多其它方式实现。

具体实施方式

在本发明的说明性实施方式中，帘幕调制和超像素调制同时进行。帘幕调制对环境光进行抑制，从而提高信噪比和摄像机获得的数据的准确性。超像素调制允许在摄像机单个帧中获取数据(尽管以较低的空间分辨率)，否则采用常规结构化照明将需要多个摄像机帧来获取。反过来，即使当物体移动时，这也可以对物体产生更准确的3D扫描。因此，帘幕调制提高了通过超像素调制获取的数据的准确性。

帘幕调制

在说明性实施方式中，在帘幕调制中，光源发射光束(例如，激光束或者LED准直光束)。在每个单个帧期间，光束以快速运动扫描整个场景。在一些实施方式中，扫描图案是“Z”形图案。例如，在一些情况下，在单个帧期间的扫描图案如下：光束在帧开始时在场景底部开始，垂直上升到场景顶部，然后在扫描沿对角线向下并向左时关闭，然后再次开启。该移动(即，垂直上升，随后是沿对角线转向下并向左)重复多次，直到在帧结束时到达场景的左上角。在这种移动中，每次垂直上升(在初始上升之后)均从前一个垂直上升水平位移到左侧。因此，在以上示例中，Z形扫描图案从右向左移动，其中光束在垂直上升期间“开启”并且在涉及水平位移的对角线移动期间“关闭”。可以使用其它扫描图案，包括以下扫描：(a)光束在垂直运动期间“开启”并且垂直向下运动；(b)光束在垂直运动期间“开启”并且Z形图案从左向右移动；或者(c)Z形图案按顺时针或者逆时针旋转90度，使得光束在水平运动期间“开启”并且在包含垂直位移的对角线移动期间关闭。

在其它实施方式中，激光束以不同的图案移动。例如，光点可以以自下而上的自下而上直线运动中多次移动，并且只有这样，才被关闭并且水平移动到另一列。在一些情况下，激光束上升到场景顶部，然后水平移动非常短的距离，然后下降到场景底部，然后水平移动非常短的距离，并且重复该模式(上升—侧移—下降—侧移)直到激光束横穿整个场景。

在又一个实施方式中，移动图案旋转90度，使得行变成列，反之亦然。对于图像传感器的活动区域的取向也是一样：旋转激活模式，使得行变成列，反之亦然。

在说明性实施方式中，在帘幕调制中，光束的扫描与图像传感器的像素的敏感度变化同步。当光束沿着场景线扫过时，像素的活动区域(包含对光敏感的像素)扫过图像传感器。在任何给定时间，像素的活动区域包括图像传感器中的一组一个或多个像素行。在许多情况下，这些线中的每一条在图像传感器的整个宽度(如果线是行)或者整个高度(如果线是列)上延伸。在光束移动的任何给定时间，活动区域中的一个或多个像素行垂直于光束的运动方向取向。当光束移动时，图像传感器的活动区域沿着与光束相同的方向移动。

为了说明：在第一个示例中，光束在垂直上升期间“开启”，并且图像传感器的活动区域中的像素线是水平取向的行。当光束上升时，图像传感器的水平取向的活动区域也上升。在光束上升期间的任何给定时间，由光束照射的光点的高度对应于图像传感器的该水平取向的活动区域的垂直位置(在像素坐标中)。

在第二个示例中，光束在水平向右移动期间被开启，并且图像传感器的活动区域中的像素线是垂直取向的列。当光束水平向右移动时，图像传感器的该垂直取向的活动区域也向右移动。在光束的水平移动期间的任何给定时间，由光束照射的光点的水平位置对应于图像传感器的该垂直取向的活动区域的水平位置(在像素坐标中)。

在说明性实施方式中，在帘幕调制中：(a)图像传感器不移动；以及(b)当传感器中的不同像素变得敏感时，会发生传感器的活动区域的上升(或者其它移动)。

在帘幕调制中，图像传感器的活动区域的扫过与单个帧期间光束扫过场景同步。图像传感器的活动区域跟踪光束的移动，使得在任何给定时间，来自光束的反射光在图像传感器的活动区域的至少一部分中的强度大于在图像传感器的任何其它区域的强度。效果是，在单个帧期间的扫描过程中，与传感器在整个传感器在整个扫描期间对光敏感的情况下将捕获的相比，传感器捕获来自光束的比例更大的反射光和比例更小的环境光。

图35是在本发明的说明性实施方式中在帘幕调制期间光点的锯齿状轨迹的图。这种锯齿状轨迹是由在单个帧期间扫过场景的光束产生。锯齿状轨迹中的每个“Z”包括垂直向上移动和对角线向下向左移动。举例来说，垂直移动中的一个穿过场景的点3501、3502和3503。

图36A、图36B和图36C显示了在本发明的说明性实施方式中在光束的垂直上升期间图像传感器的水平取向的活动区域在不同时间的垂直位置。这种垂直上升在帘幕调制期间发生。当场景中的光点上升时，图像传感器的水平取向的活动区域3601随之上升。当光点位于场景中的点3501(如图35所示)时，活动区域3601处于图36A所示的位置。当光点位于场景中的点3502(如图35所示)时，活动区域3601处于图36B所示的位置。当光点位于场景中的点3503(如图35所示)时，活动区域3601处于图36C所示的位置。在帘幕调制期间的任何给定时间，图像传感器的一部分是活动的，而且图像传感器的剩余部分是不活动的。因此，在帘幕调制期间的任何给定时间，图像传感器包括活动区域3601和非活动区域3602。

在一些情况下，在帘幕调制中，图像传感器的活动区域笼统地说“环绕”图像传感器的边缘。举例来说，活动区域可以垂直上升，使得当活动区域上升到图像传感器的上边缘上方时，活动区域再次出现在图像传感器的底部并且从图像传感器的底部上升。

图37显示了在本发明的说明性实施方式中在帘幕调制中像素的活动区域的示例。图37显示了活动区域3601已经上升到活动区域笼统地讲“环绕”图像传感器的底部和顶部边缘的程度的时间。具体地，在图37所示的时间：(a)图像传感器的活动区域3601包括一个或多个位于图像传感器顶部的水平像素行和一个或多个位于图像传感器底部的水平像素行；以及(b)非活动区域3602包括垂直位于活动区域3601的上部和下部之间的像素行。

图38A至图38J显示了在本发明的说明性实施方式中的帘幕调制的示例，其中像素的活动区域3601向下移动图像传感器，环绕到图像传感器的顶部，并且再次向下移动图像传感器。图38A至图38J为时间次数，其中，图38A在图38B之前发生，依此类推。在图38A至图38J中的每一个中，活动区域3601处于不同的垂直位置。

图38K显示了在本发明的说明性实施方式中的用于控制图38A至图38J所示的帘幕调制的一组信号3802。为了便于说明，在图38A至图38K所示的示例中，图像传感器包括十个像素行和十个像素列(但在实际实践中，像素的行数和列数可能比十大得多)。图38K显示了信号的十个时间步长3801。在任何给定时间，当用于该像素的帘幕调制信号和超像素调制信号都高时，图像传感器中的像素对光敏感。举例来说，在图38K中，当(a)用于该像素的超像素调制信号为高并且(b)同时用于行1的帘幕调制信号为高时，行1(即，首行)中的像素将对光敏感。在图38K所示的示例中，帘幕调制信号在时间周期5、6、7期间为高。

在一些情况下，采用旋转透射式SLM进行帘幕调制。举例来说，旋转透射式SLM可以包括：(a)旋转柱体，其围绕成像系统的光源或者摄像机；或者(b)柔性透射式SLM，其形成围绕成像系统的光源或者摄像机的物理旋转环。

图39A和图39B显示了在本发明的说明性实施方式中执行帘幕调制的SLM 3901。该SLM 3901为正圆形柱体的一般形状。该柱形SLM 3901包含不透明区域(例如，3911、3913)和透明区域(例如，3912、3914)，并且因此选择性地透射光。该柱形SLM 3901旋转。光源3915(例如，激光)位于柱体内部。在图39A所示的时间：(a)来自光源的光线3931被柱体的不透明区域3913阻挡；以及(b)来自光源的光线3930穿过柱体的透明区域3914并行进到被成像的场景。图39A显示了沿着柱体的轴线的视图。图39B显示了柱形SLM 3901和致动器3940(例如，电动机)的侧视图。致动器致动柱形SLM 3901进行旋转运动。

图39C和图39D显示了在本发明的说明性实施方式中执行帘幕调制的柔性透射式SLM。柔性透射式SLM 3951可以包括例如可弯曲的材料片。该柔性SLM 3951包括不透明区域(例如3961、3963)和透明区域(例如，3962、3964)，并且因此选择性地透射光。该柔性SLM3951围绕三个辊轴3971、3972、3973成环状移动。致动器(例如，电动机)3991、3972和3993分别转动辊轴3971、3972和3973，从而致动透射式SLM 3951的运动。摄像机3950位于柔性SLM3951内。在图39C所示的时间：(a)来自场景的光线3981在到达图像传感器之前被柔性SLM3951的不透明区域3961阻挡；并且(b)来自场景的光线3980穿过柔性SLM 3951的透明区域3964并行进到图像传感器。图39C显示了垂直于摄像机3950的光轴的柔性SLM的视图。图39D显示了柔性SLM的侧视图。

在一些情况下，对帘幕调制(用于环境光抑制)进行如下控制：根据用户设置和参数(诸如场景类型和噪声级，以及校准数据)，计算图像传感器中光投影的参数和移动活动区域的参数。这些包含活动区域的宽度和活动区域的移动速度。在每个时间步长中，评估激光点的位置。如果需要，通过对投影单元执行命令来移动激光点，诸如，通过改变反射镜的角度。这使激光点移动。而且，在每个时间步长，如果需要，将命令发送到图像传感器以移动活动区域。因此，活动区域被重新定位以捕获从被激光点照射的场景反射的光。

图43是本发明的说明性实施方式中帘幕调制控制方法的流程图。在图43中，图像传感器的活动区域被称为“卷帘幕窗口”或“帘幕窗口”。在图43所示的示例中，帘幕调制控制方法包含以下步骤：计算光投影和帘幕窗口的参数，包含卷帘幕窗口的宽度和帘幕窗口的移动速度。如此做时，将校准数据以及和用户设置和参数考虑在内(步骤4301)。在每个时间步长中，评估激光点的位置，而且激光点和帘幕窗口的位置同步(步骤4302)。诸如通过控制反射镜的角度，对透射激光束的角度进行控制(步骤4303)。诸如通过触发窗口移位，对卷帘幕窗口的移动进行控制(步骤4304)。

在说明性实施方式中，移动的照明点可以以许多不同的方式产生。举例来说，任何以下类型的光源可以产生用于帘幕调制的移动光点：(a)镜式检流计；(b)微型反射镜或者微型反射镜阵列；(c)振荡反射镜(例如，其保持谐振荡)；(d)投影仪；和(e)以不同角度布置并且关闭和打开的多个光源。

这些类型的光源中的一种可以用于在x方向上致动光束，并且相同或不同类型的光源可用于在y方向上致动光。例如，在一个实施例中，使用振荡反射镜来提供沿着y轴的移动，并且使用检流计反射镜在x轴进行致动。

在许多情况下，一个反射镜被布置成使其旋转轴垂直于另一个反射镜的旋转轴。

本发明不限于激光。另选地，可以使用不同的光源。例如，可以使用准直光。非相干LED准直灯可能是有利的，因为非相干光不会产生散斑图案。在强度测量的背景下，散斑图案通常被认为是有问题的，因为光强度的不规则变化会影响数值读数。

在帘幕调制中，输入/输出装置可以接受来自选择了光束和传感器的活动区域的扫描的移动方向的人类的输入。另选地，外部计算机可以产生选择该移动方向的控制信号。

在帘幕调制中，光点可以在摄像机单个帧中横穿整个场景的扫描模式。另选地，在一些情况下，在摄像机单个帧期间，光点可以仅穿过场景的一部分(例如，沿着单个列或单个行扫过)。

在一些情况下，在帘幕调制中，当活动区域的边缘接触给定像素使得给定像素离开活动区域时，在光电二极管中累积的电荷被停止转移到存储器，而且像素变为不活动。在其它情况下，当像素不在活动区域时(不只是在其进入活动区域时)会一直刷新像素。

在一些情况下，开始行和结束行标记的移动以离散步长发生，其中每个离散步长移动多行。步长大小可以定义为常数，或者可以在外部提供。另选地，在一些情况下，当光束开启时，光束在水平方向上移动，并且标记指针指向开始列标记和停止列标记。

在说明性实施方式中，相对于光源校正摄像机的取向。在一些情况下，核线与图像传感器底部和顶部边缘平行，并且因此与图像传感器行平行。然而，如果发生对准和/或同步不完全，核线可能不平行，并且可能穿过传感器上若干行。

在一些实施方式中，在帘幕调制中，活动区域是单个像素或超像素行(或者列)。另选地，在帘幕调制中，活动区域的尺寸可以是两个或者三个像素或者超像素行(或列)，以便适应同步中可能发生的未对准和变化。在一些情况下，活动区域的大小超过三个像素或超像素行(或者列)。举例来说，这可能需要允许足够的时间来完成电荷从光电二极管到存储器(或闪存)的转移。活动区域的大小可在限值内配置。

在一些实施方式中，在帘幕调制中，触发同步信号(其在活动区域移动时进行控制)由外部提供。这使得用户能够对扫描速度进行控制。在一些情况下，触发同步信号(其在活动区域移动时进行控制)在图像传感器内产生。这简化了与图像传感器的通信接口。

在一些情况下，在光点投影到场景上的任何时间，成像传感器(“直接反射区域”)的区域中的每个像素接收直接从场景反射的光。与大多数其它像素中的相比，直接反射区域中的入射光的强度倾向于更高。由于光点在场景中改变位置，该直接反射区域可以相对于成像传感器重复改变位置。成像传感器的活动区域还可以相对于成像传感器重复改变位置。直接反射区域和活动区域相对于成像传感器的位置改变，可以通过改变分别是直接反射区域和活动区域的成员的像素而发生。在光点投影在场景上的任何时刻，活动区域可以包含直接反射区域中的基本上所有的像素并且还可以包含其它像素。在任何给定时间，活动区域中的像素数远远小于成像传感器中的像素总数。帘幕调制对活动区域中的所有像素而言可能为高，而对成像传感器中的所有其它像素而言为低。

在一些情况下，活动区域包括：(a)图像传感器的一组像素行，使得该组行中的每一行与该组行中的另一行相邻；或者(b)图像传感器的一组列，使得该组列中的每一列与该组列中的另一列相邻。在一些情况下，活动区域重复扫过成像传感器(即，在每个摄像机帧期间重复)，使得(i)在每次扫描的一部分期间，成像传感器的每个像素行的至少一部分被包含在活动区域中，或者(ii)在每次扫描的一部分期间，成像传感器的每个像素列的至少一部分被包含在活动区域中。

超像素调制：超像素和像素集合

在本发明的说明性实施方式中，超像素调制涉及同时向图像传感器的每个超像素中的不同像素施加单独的调制信号。

在说明性实施方式中，图像传感器包含超像素和像素集合。每个超像素包含至少一个来自每个像素集合的像素。在超像素调制中，单独的调制信号被施加到不同的像素集合中的每一个。

在许多情况下：(a)超像素中的每个像素来自不同的像素集合，并且(b)因此，在超像素调制中，单独的调制信号被施加到超像素中的每个像素。举例来说，如果存在n个像素集合而且每个超像素由n个像素(每个来自不同的像素集合)组成，那么对于每个给定超像素，超像素调制可以包括同时向给定超像素施加n个单独的调制信号，每个施加到给定超像素中的不同像素。

图1是显示了在本发明的说明性实施方式中的超像素的矩阵的图。在图1所示的示例中，图像传感器包括超像素的矩阵100，诸如，超像素101、102、103、104。矩阵100具有r个行和c个列。矩阵中的超像素总数为r*c＝k。

图2是显示了在本发明的说明性实施方式中的超像素内的各个像素的图。图2显示了超像素矩阵的左上角的四个超像素251、252、253、254。四个超像素中的每一个包括9个像素。例如，超像素251包括像素211、212、213、214、215、216、217、218、219。

在图2所示的示例中，有九个像素集合。第一个像素集合中的像素被标记为“1”。同样地，第二、第三、第四、第五、第六、第七、第八和第九个像素集合中的像素分别被标记为“2”、“3”、“4”、“5”、“6”、“7”、“8”和“9”。(图2中使用这些数字标记用于方便说明；但是在实际实践中，像素不以这种方式标记。)

在图2中，每个超像素包括来自每一个集合的一个像素。

在图2中，特定超像素中的每个像素与该特定超像素中的至少一个其它像素以水平、垂直或对角线方式相邻。例如，超像素251包含九个像素，其中包含像素211、212、214和215。像素211与像素212水平相邻，而且与像素214垂直相邻，并且与像素215对角线相邻。

在说明性实施方式中，每个超像素中的像素足够小而且足够靠近在一起，使得入射在超像素中的像素的光电二极管上的光成局部均匀，即，在单个超像素内，入射光的强度的空间变化不是很大。

(然而，在一些情况下：(a)图像传感器本身包含诸如LCD之类的空间光调制器，用于选择性地调制入射光的强度；并且(b)如果减去空间光调制器的影响，入射到超像素的光电二极管上的光为局部均匀，但是如果将空间光调制器的影响考虑在内，则不是局部均匀。)

根据具体的实施方式，图像传感器内的像素集合的空间分布可能会发生变化。在许多情况下，像素集合优选以重复模式进行空间分布。举例来说，在一些情况下，在图像传感器中使用9个像素集合，并且每个超像素为3×3像素方阵，这是一个容易重复的模式。举例来说，在图2中，在超像素251中出现9个像素集合的以下空间模式：来自像素集合1、2、3的像素位于超像素的首行中，来自像素集合4、5、6的像素位于超像素的中间行，而且来自像素集合7、8、9的像素位于超像素的末行。这种空间模式在超像素252、253、254中重复。或者，举例来说，在一些情况下，使用“L”形的3像素超像素：堆叠直立的“L”和自下向上的“L”形成矩形，并且从而产生可重复的模式。

根据具体的实施方式，可以使用任何形状的超像素。举例来说，在一些情况下，使用三角形或者六边形的超像素。在一些情况下，超像素具有线性形状，诸如水平状(例如，[12345][12345][12345])和垂直状(例如[12345]^T[12345]^T[12345]^T)。然而，在一些情况下，使用线状超像素存在以下缺点：如果所有“1”都处于一个列中，这在一些情况下倾向于至少稍微使解码错误率升高。

在一些情况下，来自不同像素集合(在每个超像素内)的像素的位置从超像素到超像素被重新排列(例如，使用几个固定模式，对次数进行完全随机化，或者使用数学置换)。

举例来说，在一些实施方式中，来自每个超像素内的不同像素集合的像素的空间分布在设计时间内被随机化，而随机分布为硬接线。举例来说，在一些情况下，对于三线形超像素，随机化产生了来自不同像素集合的像素的空间排列[13452][35214][41253]，而不是[12345][12345][12345]。同样地，来自不同像素集合的像素的位置的随机化适用于任何形状的超像素，包含正方形、矩形、L形、三角形或六边形。

在一些情况下，多路复用器重新排列超像素的形状或尺寸，使得在不同时间(例如，用于不同应用、不同帧、或者单个帧内的不同时间)或者单个图像传感器内的不同区域使用不同尺寸或形状的超像素。举例来说，在一些情况下，多路复用器重新配置不同的超像素形状，例如3×3、4×3或者另外的形状。举例来说，在一些使用CMOS像素的实施方式中，多路复用器被放置在像素矩阵区域的外部并且将单独的TX/PD RST控制信号导向至像素。同样地，在一些情况下，多路复用器重新排列来自一个或多个超像素内的不同像素集合的像素的位置。

如上所指出的，在一些情况下，不同像素集合的空间分布从帧到帧之间发生变化。另选地，在一些情况下，由于像素电路的布线，空间分布是固定的。

在许多实施方式中，图像传感器中的不同像素集合是不相交的(即，没有像素属于一个以上的像素集合)。另选地，不同的像素集合是重叠的。在一些情况下，作为两个像素集合A和B的元素的单个像素经受包括用于像素集合A和B的调制信号的叠加的像素调制信号。

超像素的大小取决于应用。如果例如9像素超像素对于特定应用而言不够，而16像素超像素太多，那么可以对该特定应用使用12像素的超像素(4×3或3×4)。超像素中的更多像素集合允许进行更复杂的编码策略或者代码共享。例如，可以将包括18位格雷码的调制信号施加到6×3像素的超像素的像素。

在一些使用情景下，通过对每个大的超像素进行处理(就好像其包括较小的超像素)，然后施加如下调制信号来实现空间压缩：对应于代码的较低位的调制信号仅施加到每个大超像素的一个像素，但是对应于代码的较高位的调制信号被施加到每个较小超像素的一个像素。举例来说，在一些使用情景下，对6×3像素的超像素进行处理，就好像其包括两个3×3像素的超像素。在这些使用情景中，对应于11位格雷码的4个较低位中的每一个的调制模式被应用到6×3超像素中的仅一个像素，而对应于11位格雷码的7个较高位中的每一个的调制模式被应用到每个3×3超像素中的一个像素。空间压缩(通过以这种方式应用较低位和较高位)具有许多实际优点。举例来说，在一些3D深度感测应用中，这种空间压缩允许使用多个较高位调制信号，为每个帧的每个大超像素确定场景中多个点的3D坐标。举例来说，在一些使用这种空间压缩的实施方式中，计算机为每个6×3超像素计算每个帧的四个场景点的3D坐标。

在一些情况下，像素集合的实际空间分布为固定模式的硬接线。然而，即使如此，在一些情况下，使用软件通过从帧到帧地改变应用到某个像素集合的调制代码的某个位，来从帧到帧地有效改变像素集合的空间分布。

举例来说，在超像素调制的一些情况下：(a)在第一帧中，软件致使调制信号的第x位被施加以调制像素集合x；而且(b)在第二帧中，软件致使调制信号的第x位被施加以调制像素集合y。举例来说，在一些使用情景中：(a)在第一帧中，用于代码的第一位的调制信号被施加到第一像素集合，用于代码的第二位的调制信号被施加到第二像素集合，依此类推，以及(b)在第二帧中，代码的第一位被应用到第二个像素集合，用于代码的第二位的调制信号被施加到第三个像素集合，依此类推。因此，在这种方法中，(从代码位到像素集合的)分配置换从帧到帧发生变化。在一些情况下，在所有帧中使用相同的(代码位到像素集合的)分配置换。在其它情况下，以固定顺序在不同的帧中应用不同的(代码位到像素集合的)分配置换。在另外的情况下，在每个帧中使用(代码位到像素集合的)分配的不同的随机置换。

这里是在超像素调制中改变(代码位到像素集合的)分配置换的非限制性示例。对于5位代码，有5个！将代码位分配到像素集合的不同(因子)置换。在不同的帧中使用不同的置换。举例来说，(a)在第一帧中，使用第一置换，其将位1映射到像素集合1，将位2映射到像素集合2，将位3映射到像素集合3，将位4映射到像素集合4，以及将位5映射到像素集合5；以及(b)在第二帧中，使用第二置换，其将位1映射到像素集合4，将位2映射到像素集合2，将位3映射到像素集合5，将位4映射到像素集合3，以及将位5映射到像素集合1。

在说明性实施方式中，每个超像素包括多个成像像素。超像素中的每个像素均与超像素中的至少一个其它像素以水平、垂直或对角线方式相邻。在图2所示的示例中，像素215仅具有两个垂直相邻像素(像素212、217)，仅具有两个水平相邻像素(像素214、216)，而且仅具有四个对角线相邻像素(像素211、213、217、219)。

在许多情况下，给定像素集合的像素彼此并非水平、垂直或对角线相邻。举例来说，在图2中，像素216和226分别是第六像素集合的成员。像素216的相邻像素(即水平、垂直或对角线相邻)中没有一个是第六像素集合的成员。同样地，像素226的相邻像素(即水平、垂直或对角线相邻)中没有一个是第六像素集合的成员。

超像素调制：信号

图3是显示了在单个帧期间同时施加到五个不同像素集合的五个不同的用于超像素调制的信号的图。在图3中，五个信号311、312、313、314、315一起包括二进制5位格雷码。该代码是二进制的，因为该代码的每个组件只有两个允许值。在图3中，这两个允许值被称为“打开”和“闭合”。然而，这两个允许值可以通过任何名称调用，诸如开启和关闭，高和低，或者0和1。

在图3中，用于超像素调制的五个信号311、312、313、314、315中的每一个对应于5位格雷码的位。5位格雷码具有2⁵(即，32)种关于5个分量信号的打开和闭合状态的置换。

在图3中，在摄像机的单个帧期间，将5个分量信号的打开和闭合状态的所有2⁵(即，32)种置换应用于像素集合。对于5位代码(诸如图3所示的)，摄像机的单个帧具有2⁵(即，32)个有时被称为“时隙”的子区间。每个时隙对应于代码的单个置换。举例来说，在图3中的时隙321期间，置换为信号315闭合、信号314闭合、信号313打开、信号312打开、信号311闭合。相反，在图3中的时隙323期间，置换为信号315打开、信号314打开、信号313打开、信号312打开、信号311闭合。

在图3中，对于32个时隙中的每一个都存在(5位格雷码的5个分量信号的二进制状态的)唯一置换。因此，(5位格雷码的5个分量信号的二进制状态的)每个置换实际上是唯一识别帧内时隙的“时间戳”。

在本发明的一些实施方式中，采用9位二进制格雷码进行超像素调制。该代码的9位由9个调制信号表示。9位代码具有2⁹(即，512)种关于9个调制信号的打开和闭合状态的置换。所有512种置换都应用于摄像机每帧中的像素。因此，对于该9位代码，每个帧具有512个有时称为时隙的子区间。对于512个时隙中的每一个，存在9位代码(以及因此9个调制信号的打开和闭合状态)的唯一置换。在使用9位代码的一些情况下：(a)有九个像素集合；(b)9个调制信号被施加到9个像素集合，每个像素集合一个信号；以及(c)每个超像素具有9个像素，每个像素集合一个像素。因此，9个调制信号被施加到超像素中的9个像素，每像素1个信号。

格雷码对噪声具有鲁棒性，这是有利的。

根据本发明的具体实施方式，用于超像素调制的调制信号可以是(a)连续时间(模拟)，(b)离散时间，或者(c)数字(在幅度和时间上是离散的)。

举例来说，在本发明的许多示例中，使用数字调制信号进行超像素调制。在这种情况下，调制信号的幅度被处理为处于两个二进制状态之一(例如，0或1)，并且该信号仅在离散时间间隔改变。

另选地，用于超像素的调制信号被处理为在幅度上是连续的。举例来说，在一些情况下，计算机将连续值的范围归一化为间隔[0,1]。在这种情况下，例如，值0.241可以指24.1％的电子被移动到存储器。

对于信号改变在时间上可以何时发生，没有限制。在一些实施方式中，信号在时间上连续改变。

在一些情况下，模拟调制信号用于超像素调制，该模拟信号被处理为在幅度和时间上是连续的。

在一些实施方式中，用于超像素调制的调制信号是非周期性的。这种非周期性信号的一个示例是00110010101101000011010，其没有一个特定的频率或相位。在其它情况下，调制信号是周期性的。或者，在一些情况下，诸如01010101010101之类的周期性信号被施加到第一像素集合，并且第二周期性或非周期性信号(例如，周期性信号10000100001000)被施加到第二像素集合。

在一些情况下，用于像素集合的调制信号的频率、相位或幅度在一个帧的持续时间内变化。在其它情况下，用于像素集合的调制信号的频率、相位或幅度在每个单个帧内是恒定的，但是从帧到帧发生变化。

在说明性实施方式中，每个调制信号仅应用于每个超像素中的一个像素。另选地，单个调制信号被施加到单个超像素内的多个像素。

在说明性实施方式中：(a)属于相同像素集合的所有像素具有相同的调制信号；以及(b)不同的像素集合接收不同的调制信号。

在超像素调制中，每个像素集合接收其自己的单独的调制信号。

在许多使用情景中，用于超像素调制的每个调制信号的幅度在单个帧期间作为时间的函数发生变化。但是，在其它使用情景中：(a)调制信号的幅度或者相位在单个帧内在时间上是常数，其中不同像素集合的常数是不同的，或者(b)对于不同的像素集合，调制信号的幅度或者相位是相同的常数。换句话说，本发明不限于随时间发生变化或者在不同的像素集合中不同的信号。

在一些情况下，用于像素集合的调制函数会从帧到帧发生变化。

根据具体实施方式，用于超像素调制的调制信号以物理方式实现的方式可能会不同。举例来说，在一些情况下，像素是CMOS成像像素，电调制信号致使电荷转移(TX)晶体管将电荷从光电二极管转移到存储装置(例如，浮动扩散部)。在一些情况下：(a)每个像素只有一个光电二极管和一个以上的TX晶体管；(b)一个以上的存储装置(例如，浮动扩散部)只专用于该像素；以及(c)该像素中的每个TX晶体管对到不同存储装置的转移进行控制。

在其它情况下，电调制信号致使电极通过静电吸引来改变DMD(数字微型反射镜装置)中的反射镜的位置，从而致使DMD选择性地将光反射到图像传感器平面中的一些像素，并且将光远离图像传感器平面中的其它一些像素反射。

在其它情况下，电调制信号致使SLM(空间光调制器)的特性，使得SLM在光到达图像传感器平面之前选择性地使其衰减。

以下将更详细地讨论调制信号的物理实施方式。

超像素调制的效应

在一些实施方式中，超像素调制控制像素对入射光的响应。

图4是示出了用于超像素调制的信号如何控制像素对入射光的响应的概念图。

图4显示了超像素调制的效应。为了便于说明(以显示超像素调制的工作原理)，图4未显示超像素调制和帘幕调制的组合效应。

在图4中，曲线图400是I_x,y(t)401的时间曲线图。I_x,y(t)是作为时间的函数的入射到第x,y个超像素(即，在传感器平面上具有坐标x,y的超像素)上的光的强度。曲线图400中所示的时间间隔是从帧的开始到帧的结束的完整的摄像机帧。(即，t_{帧_开始}到t_{帧_结束})。由于环境背景照明，入射光的强度具有恒定的幅度a(402)。由于来自场景的相互反射，强度在时间404出现小峰值。强度406在t_击中出现最高峰值。例如，在一些情况下：(a)在每个帧期间，一束激光扫过场景，并且(b)该束扫过的激光到达场景中的一个点并反射，使得反射光在时间t_击中到达图像传感器。

在图4中，超像素调制函数G₁(t)至G_n(t)403被施加到超像素中的n个像素集合，每个像素集合一个调制函数。在图4所示的示例中：(a)n＝5；(b)采用5位格雷码；(c)G₁(t)至G_n(t)是包括5位格雷码的五个信号，每个代码位一个信号，如图3所示。

在图4中，v_i(t)是超像素中第i个像素集合的值。具体地，v_i(t)等于I_x,y(t)和G_I(t)(第i个超像素调制函数)的乘积的积分。该积分v_i(t)等于曲线图408、410、412中曲线下方的暗区域的面积。在曲线图408、410、412中，限定了暗区域顶部的曲线等于I_x,y(t)和G_I(t)乘积的结果。

在曲线图408中，超像素调制信号G₁(t)是图3所示的信号315。在该帧的前半部分(如曲线408左侧所示)期间，信号315闭合(即，等于0)，因此I_x,y(t)和G₁(t)的乘积等于零，而且曲线下方不存在暗区域。在该帧的后半部分(如曲线408右侧所示)期间，信号315打开(即，等于1)，并且I_x,y(t)和G₁(t)的乘积等于I_x,y(t)，而且曲线下方存在暗区域。

在曲线410中，超像素调制信号G₂(t)是图3所示的信号314。在该帧的第一和第四个四等分期间，信号314闭合(即，等于0)，并且因此I_x,y(t)和G₂(t)的乘积等于零，而且曲线下方不存在暗区域。在该帧的第二和第三个四等分期间，信号314打开(即，等于1)，并且I_x,y(t)和G₂(t)的乘积等于I_x,y(t)，而且曲线下方存在暗区域。

在曲线图412中，超像素调制信号G_n(t)是G₅(t)，其是图3所示的信号311。该帧被分为32个时隙。在信号311闭合(即，等于0)的时隙期间，I_x,y(t)和G₅(t)的乘积等于零，并且曲线下方不存在暗区域。在信号311打开(即，等于1)的时隙期间，I_x,y(t)和G₅(t)的乘积等于I_x,y(t)，并且曲线下方存在暗区域。

在图4中，超像素的每个像素集合的入射光函数相同(即，由于其紧密接近，超像素中的所有像素的I_x,y(t)是相同的)。然而，单独的超像素调制信号G₁(t)至G_n(t)被施加到超像素中的n个像素集合。因此，超像素中的每个像素集合接收单独的超像素调制信号。

计算机为超像素405中的每个像素计算v_i(t)(I_x,y(t)和G_I(t)的乘积的积分)。举例来说，计算机计算接收超像素调制信号G₁(t)的第一像素集合的v₁(t)，并且计算接收超像素调制信号G₂(t)的第二像素集合的v₂(t)，等等。

计算机还计算阈值413。在一些情况下，阈值413等于(最大v_i－最小v_i)/2，其中i＝1,2，...，n，最大v_i是超像素中所有像素的最大值v_i(t)，而最小v_i是超像素中所有像素的最小值v_i(t)。

然后，计算机计算第x,y个超像素(即，在传感器平面上具有坐标x,y的超像素)的代码C_x,y 409。代码C_x,y具有与超像素中的像素集合的数量相同的位数。如果v_i(t)大于阈值，计算机将代码C_x,y的第i位设置为1；否则，计算机将代码C_x,y的第i位设置为0。在图4所示的示例中，计算机：(a)由于v₁(t)大于阈值，将代码C_x,y的第一位设置为1；(b)由于v_n(t)小于阈值，将代码C_x,y的第n位(在本示例中为第5位)设为0。

代码C_x,y的每个置换对应于单个帧内的唯一时隙(时间间隔)。该唯一的时隙是时间t_击中发生的时隙。因此，代码C_x,y的每个置换实际上是唯一识别单个摄像机帧内的时隙(时间间隔)的时间戳，使得在该时隙期间照到像素的入射光达到其最大峰值。

在本发明的一些3D深度感测实施方式中，检流计反射镜旋转，致使激光平面在每个摄像机帧期间扫过场景。反射镜的角度(并且因此激光平面的角度)是帧内的时间的函数。因此，代码C_x,y的每个置换对应于单个摄像机帧内的唯一时隙(时间间隔)，其又对应于激光411平面的唯一角度。计算机使用该角度，以及在校准期间确定的其它因素，计算将激光反射到超像素的场景点的3D位置。计算机为每个超像素和每个角度存储相应场景点的3D位置。在深度传感器的后续操作期间，如上所述，计算机计算每个超像素的代码C_x,y的置换，并且然后使用查找表计算对应于该场景点的场景点的3D位置。

在一些实施方式中，每个像素将电荷仅存储到一个存储装置，该存储装置专用于该像素并且不存储任何其它像素的电荷。当像素仅具有一个存储装置时，对不到所有入射照明进行测量。

在图4所示的示例中，每个像素将电荷仅存储到一个存储装置，该存储装置专用于该像素并且不存储任何其它像素的电荷。因此，图4示出了单个存储装置的实施方式。

在单个存储装置的实施方式中，对于每个摄像机帧，由超像素中设置的第i个像素集合中的每个像素测量的总光电二极管电荷等于帧结束处的v_i(t)的值(即，等于v_i(t_{帧_结束})。这个值反过来取决于施加到第i个像素集合的超像素调制函数G_n(t)。因此，超像素调制函数G_i(t)确定了第i个像素集合中的像素对入射光的响应。(在大多数情况下，每个超像素仅包含来自每个像素集合的一个像素。在这些情况下，第i个像素集合只是第i个像素)

回想一下，为了便于说明，图4仅示出超像素调制，并且没有显示帘幕调制。然而，在本发明的许多实施方式中，在帧结束处的v_i(t)的值取决于超像素调制信号和帘幕调制信号。

帘幕调制和超像素调制一起应用

在说明性实施方式中，电流调制和超像素调制同时应用于图像传感器的每个像素。

在说明性实施方式中，特定像素在任何给定时间是否对光敏感是由帘幕调制信号和超像素调制信号的逻辑“与”控制的。也就是说，如果在给定时间，同时满足(a)用于像素的帘幕调制信号为高以及(b)用于该像素的超像素调制信号为高，则该像素在给定时间对光敏感。当用于该像素的帘幕调制信号和超像素调制信号中的一个或两个为低时，该像素对光不敏感。此外，在说明性实施方式中：(a)当像素处于活动区域时，用于该像素的帘幕调制信号为高，而在其它时间不为高；并且因此(b)当像素处于图像传感器的活动区域中时，像素对光敏感，并且同时用于该像素的超像素调制信号也为高。

在说明性实施方式中：(a)用于给定像素的帘幕调制信号被施加到给定像素所在的像素的整个行(或列)；并且(b)用于给定像素的超像素调制信号被施加到给定像素是其成员的整个像素集合。

在一些实施方式中，像素对光的敏感度可以近似于由帘幕调制信号和超像素调制信号的逻辑“与”编码的二进制状态(敏感/不敏感)。

如本文所使用的，除非上下文明确指出，否则，“高”和“低”均为布尔逻辑值。例如，“高”和“低”布尔逻辑值可以通过特定的电压范围进行物理表示。哪个电压范围被分配到哪个布尔逻辑值是任意的。因此，例如：(a)布尔逻辑值“高”可以由第一电压范围表示；(b)布尔逻辑值“低”可以由第二电压范围表示；以及(c)第一电压范围中的电压可能大于第二电压范围中的电压，反之亦然。

在说明性实施方式中，帘幕调制和超像素调制被同时如下应用于图像传感器：在帘幕调制中，在摄像机单个帧期间，活动区域重复扫过图像传感器。因此，在摄像机单个帧期间，活动区域重复移动通过每个超像素。同时，在每个摄像机帧中，超像素调制信号被施加到图像传感器中的每个给定超像素，包含：(a)在给定超像素处于图像传感器的活动区域中的许多短周期(在每个摄像机帧中)期间；以及(b)在给定超像素不处于图像传感器的活动区域中的许多短周期(在每个摄像机帧中)期间。与图像传感器整体相比，移动活动区域较窄。因此，给定超像素仅在摄像机帧的总时间的一小部分内处于活动区域中。

在说明性实施方式中，当同时执行超像素调制和帘幕调制时，在每个摄像机帧期间呈现由超像素调制编码的代码的所有位。更具体地，在说明性实施方式中：(a)施加到n个不同像素集合的超像素调制信号一起包括一个n位二进制码；(b)代码的每一位对应于摄像机单个帧期间的不同时间间隔；(c)呈现n位代码的所有n位所花费的时间量等于在摄像机单个帧中经过的时间量；以及(d)代码的所有位在摄像机的单个帧中出现。

在说明性实施方式中，当同时执行超像素调制和帘幕调制时，用于帘幕调制的光点在每个摄像机帧中横穿相同的路径。因此，在每个摄像机帧中，光点从相同的起点开始，横穿相同的路径，并且在相同的终点处结束。当激光在每个摄像机帧期间横穿该路径时，激光在每个帧期间的不同时间照亮场景的不同部分，使得场景的每个部分在每个帧期间被照亮至少一次。例如：(a)光点在单个摄像机帧期间行进的路径可以包括重复垂直向上移动，使得在单个帧期间，光点通过向上行进到该区域的不同的垂直“列”来横穿整个2D空间区域；(b)该路径可以从2D空间区域的右下角开始，重复向上到达该区域的不同垂直“列”，并且在该区域的左上角结束；以及(c)在该路径的部分期间，光点可以“关闭”(换个方式，路径可能具有在光点关闭时出现的间隙)。

在说明性实施方式中，用于帘幕调制的光点的移动可以通过旋转检流计反射镜来完成。该旋转可能致使激光束在不同方向上偏转并且使用移动的激光点照亮场景。举例来说，在光点的每个垂直向上移动期间，检流计反射镜可以致使反射镜子旋转40度。当光点从一个“列”的顶部移动到相邻“列”的底部时，光点可能会关闭。

在一些情况下，帘幕调制和超像素调制都是通过控制电荷的存储来实现。在这些情况下，只有在帘幕调制信号和超像素调制信号的组合效应使得在给定时间周期内累积在光电二极管的电荷被转移到存储器(例如，浮动扩散部)而没有被刷新时，特定像素对于该给定时间周期可能对光敏感。

在一些情况下，帘幕调制和超像素调制都可以通过一个或多个SLM(例如，反射式或透射式SLM)选择性地衰减光来实现。在这些情况下，只有在给定时间时间周期内帘幕调制信号和超像素调制信号的组合效应使得来自场景的光到达像素并且未被一个或多个SLM阻挡(或使偏移)时，特定像素对于该给定时间周期可能对光敏感。

在说明性实施方式中，帘幕调制的频率大于超像素调制的频率。举例来说，在超像素调制信号的每个时间周期内，用于帘幕调制的光点可以向上移动场景的许多垂直“列”。

以下十七段描述了本发明的非限制性示例。在该示例中，帘幕调制的该频率大于超像素调制的频率。

在该示例中，图像传感器包括1998×1500个像素，即，1998个像素列和1500个像素行。有九个像素集合。每个超像素包括9个像素，以3×3矩阵排列。每个超像素包含来自每个像素集合的一个像素。图像传感器包括666×500个超像素。

在该示例中，在每个摄像机帧期间，光点上升1998次(每个垂直向上移动可以被认为是在垂直“列”中的移动)。

在该示例中，在每个垂直向上移动之后，光点从右到左水平位移。在每个摄像机帧期间，有1998次光点向上移动。在每次向下移动期间，光点都关闭，因为光点从图像传感器的一列的顶部移动到另一列的底部。每次向上移动相对于先前的向上移动(水平范围是在摄像机单个帧期间光点的水平移动范围)被偏移水平范围的1/1998。在该示例中，水平范围是50度。因此，当光点关闭时，光点从一个垂直列到相邻垂直列的每次水平位移都是通过检流计反射镜旋转大约1.5弧分来实现的。当光点打开时，光点的每一次垂直向上移动都是通过检流计反射镜旋转大约40度(即，2,400弧分)来实现的。因此，用于光点的垂直移动的反射镜的旋转比用于光点的水平移动的反射镜更快。

在该示例中，超像素调制信号编码9位二进制码。有9个单独的超像素调制信号，一个用于9个像素集合中的每一个。

在该示例中，在摄像机的单个帧期间：(a)用于像素集合#1的超像素调制信号变高变低1次；(b)用于像素集合#2的超像素调制信号变高变低2次；(c)用于像素集合#3的超像素调制信号变高变低4次；(d)用于像素集合#4的超像素调制信号变高变低8次；(e)用于像素集合#5的超像素调制信号变高变低16次；(f)用于像素集合#6的超像素调制信号变高变低32次；(g)用于像素集合#7的超像素调制信号变高变低64次；(h)用于像素集合#8的超像素调制信号变高变低128次；以及(i)用于像素集合#9的超像素调制信号变高变低256次。超像素调制信号变高再变低的每个时间是该信号的周期。因此，在该示例中：(a)用于像素集合1的超像素调制信号在每个摄像机帧中具有一个周期；(b)用于像素集合5的超像素调制信号在每个摄像机帧中具有16个周期；以及(c)用于像素集合9的超像素调制信号在每个摄像机帧中具有256个周期。

在该示例中，每个超像素调制信号是占空比为50％的方波。也就是说，在该示例中，每个超像素调制信号中的“开启”和“关闭”的比例为50:50。

在该示例中，帘幕窗口宽度为9个像素(3个超像素)。

在该示例中，用于每个像素行的帘幕调制信号在一个摄像机帧期间变高变低1998次。在帘幕调制信号的每个时间周期内，信号变高再变低。对于每个像素行，帘幕调制信号高约每个摄像机帧的总时间的9/1998＝0.45％。(帘幕调制信号对不同像素行而言在不同时间为高)。对于每个摄像机帧的大约1989/1998＝99.65％，给定像素行的帘幕调制信号为低。

因此，在该示例中，对于给定像素行，帘幕调制信号在大部分时间将为低，并且在每个摄像机帧中1998个非常短的峰值期间将为高。这些峰值在摄像机帧的整个持续时间内均匀隔开。

在该示例中，对于来自给定超像素中的像素集合#9的像素，在超像素调制的一个时间周期内将具有约7.8个帘幕调制峰值。

在该示例中，给定像素的TX门在摄像机帧期间高约该时间的0.45％*50％＝0.225％。

在该示例中，在单个摄像机帧期间，用于给定像素的帘幕调制信号具有1998个周期。摄像机的帧率为30fps(每秒帧数)。每个摄像机帧的持续时间约为33ms。

因此，在该示例中，对于给定像素的帘幕调制信号具有约60kHz的频率。在该示例中，帘幕调制信号是打开：关闭比例为9:1989的脉波信号。一个“打开”脉冲的长度约为75纳秒。

在该示例中，最高频率超像素调制是用于像素集合#9的超像素调制。用于像素集合#9的超像素调制信号在每个摄像机帧期间具有256个周期，即，每秒7680个周期。超像素调制信号是具有50％占空比(打开：关闭比例为50：50)的方波。

因此，在该示例中，最快的超像素调制信号具有约7.6kHz的频率，并且帘幕调制信号具有约60kHz的频率。后一种信号的频率高于前者。

在该示例中，只有当用于该像素的帘幕调制信号和超像素调制信号都为高时，每个像素才会对光敏感。(这是因为，在该示例中，给定像素是否对光敏感是一种二进制状态，其是帘幕调制信号和超像素调制信号的逻辑“与”)。

在该示例中，超像素调制信号在每个摄像机帧的50％期间为高，并且帘幕调制信号在每个摄像机帧的大约0.45％期间为高。在该示例中，给定像素在每个摄像机帧期间在许多小时间周期内对光敏感。在该示例中，每个摄像机帧中的这些小的时间周期(合在一起)等于每个摄像机帧的总时间的约(0.5×0.0045)％＝0.00225％。

前文十七段描述的示例是非限制性的。本发明可以以许多其它方式实现。

在以上示例中，光点在每帧期间的垂直移动列数等于图像传感器中的像素列数。然而，垂直移动列数不必等于图像传感器中的像素列数。另选地，垂直移动列数可以低于(或高于)图像传感器中的像素列数。在一些情况下，垂直移动的列数可以被像素(或者超像素)的列数整除，反之亦然。在其它情况下，这些数不能彼此整除，或者彼此互质。

提高帘幕调制信号的频率并且从而增加光点的垂直(或水平)移动的数量具有优点和缺点。提高频率改善了信噪比和扫描分辨率，但可能需要更快的晶体管切换速度而且可能使同步更加困难。

在说明性实施方式中，活动区域中的每个像素在超像素调制信号的每个周期的部分期间对光敏感，并且在超像素调制信号的每个周期的其它部分期间对光不敏感。在每个摄像机帧期间的多个时间，即使在图像传感器的活动区域中，每个超像素中不到所有像素对光敏感的像素。

图40显示了控制像素对光的敏感度的帘幕和超像素调制信号的示例。图40显示了用于像素的三个信号：超像素调制信号4001，帘幕调制信号4010，和控制像素对光的时变敏感度的信号4020(“光敏信号”)。

在图40所示的示例中，用于像素的超像素调制信号4001是占空比为50％的方波。超像素调制信号4001的每个周期由变高然后变低的信号组成。例如，超像素调制信号4001的周期4002在时间4032开始，并且在时间4037结束。将相同的超像素调制信号4001应用于该像素为其成员的像素集合中的所有像素。

在图40所示的示例中，用于像素的帘幕调制信号是具有0.45％占空比的脉冲波(即，信号在每个周期的0.45％为高并且在每个周期的99.55％为低)。帘幕调制信号4010的每个周期由短脉冲(其中信号变高)和随后的信号为低的较长周期组成。例如，帘幕调制信号4010的周期4012在时间4033开始并且在时间4034结束。相同的帘幕调制信号4010被施加到像素是其成员的整个像素行。

在图40所示的示例中，在超像素调制信号4001的每个周期中共发生约7.8个周期的帘幕调制信号4010。

在图40所示的示例中，光敏信号4020(其控制像素对光的敏感度)是脉冲帘幕调制信号4010和方波超像素调制信号4001的逻辑“与”。因此，仅当帘幕调制信号4010和超像素调制信号4001二者同时为高时，光敏信号4020才为高。举例来说，当帘幕调制信号4010存在脉冲4042并且超像素调制信号4001为高时，光敏信号4020在时间4033存在脉冲4052。同样地，当帘幕调制信号4010存在脉冲4043并且超像素调制信号4001为高时，光敏信号4020在时间4034存在脉冲4053。由于超像素调制信号4001为低，光敏信号4020在时间4036不存在脉冲。

在说明性实施方式中，超像素调制信号4001的上升沿和下降沿不与帘幕调制信号4010的脉冲同步。举例来说，在图40中，与帘幕调制信号4010的脉冲(例如，4042、4043、4044)相比，超像素调制信号4001在不同时间(例如，4032、4035、4037)存在上升沿和下降沿。

图41是显示了用于帘幕调制和超像素调制的方法的流程图。在图41中，两种调制都是通过控制在光电二极管中累积的电荷的存储完成的。在图41所示的示例中，该方法包含以下步骤：在整个方法中光从场景入射到光电二极管(步骤4101)。帘幕调制信号被施加到像素。如果帘幕调制信号为高，那么，像素处于图像传感器的活动区域。如果帘幕调制信号为低，那么，像素不处于活动区域(步骤4102)。如果像素不处于活动区域，那么，光电二极管中的电荷不会被转移到浮动扩散(FD)存储器(步骤4104)。超像素调制信号被施加到像素(步骤4103)。如果像素处于活动区域并且超像素调制信号为高，那么，电荷被从光电二极管转移到FD存储器(步骤4105)。如果超像素调制信号为低，那么，从光电二极管刷新电荷而不是将其存储在FD存储器中(步骤4106)。

图42是显示了用于帘幕调制和超像素调制的方法的另一个流程图。在图42所示的示例中，该方法包含以下步骤：设置FPS(每秒帧数)和其它定时参数(步骤4201)。电子时钟发送时钟信号。举例来说，电子时钟可以包含由石英晶体调节的电子振荡器(步骤4202)。开始帧(步骤4203)。输出控制信号来控制摄像机子系统和照明子系统。在一些实施方式中，摄像机子系统包含用于在光到达图像传感器之前选择性地衰减光的SLM(诸如，DMD或LCD)。控制摄像机子系统的控制信号可以包含帘幕调制信号和超像素调制信号。控制照明系统的控制信号：(a)可以包含打开和关闭光源的信号(通过致使光源不发光或者通过遮挡来自光源的光)；以及(b)可以包含控制检流计(即，将反射镜移动到不同位置以改变从反射镜反射激光的角度的检流计)的信号。(步骤4204)。从摄像机接收数据(步骤4205)。处理摄像机帧(步骤4206)，同时将先前获取的校准数据考虑在内(步骤4208)。输出结果数据(步骤4207)。

存储调制

在一些实施方式中，信号控制CMOS像素中的电荷的存储以用于超像素调制，或者用于帘幕调制，或者用于二者。

图5、图7和图9显示了在本发明的说明性实施方式中的CMOS电路的三个示例。图5、图7和图9分别是CMOS像素的一部分的电路原理图。CMOS像素具有一个浮动扩散存储装置。

COL是指列选择器507。

FD是指浮动扩散部509。浮动扩散部存储电荷。

PD RST是指光电二极管复位晶体管513。

ROW是指行选择器511。

TX是指图5和图7中的栅极晶体管503。

TXi是指图9中的栅极晶体管523。

TX ROW是指用于电荷转移的行选择器505。

PD RST ROW是指光电二极管行选择器521。

RST是指浮动扩散部复位晶体管517。当RST为高时，RST致使浮动扩散部509复位(即，排出浮动扩散部509中的电荷)。

SF是指源极跟随器515。在读出期间使用源极跟随器。

V是指电压源。

在图5和图6中，当COL和TX ROW的电压同时为高时，TX致使电荷从光电二极管501转移到浮动扩散部509。在图5和图6中，当以下两个同时发生时，施加到像素的TX ROW和COL信号同时为高：(i)像素处于图像传感器的活动区域以及(ii)用于像素的超像素调制为高。在图5和图6中，TX ROW和COL同时为高的时间周期是PD RST变高之前的短脉冲。(回想一下，在说明性实施方式中：(a)超像素调制信号被施加到整个像素集合；(b)当将超像素调制信号施加到像素时，将其施加到该像素为其成员的整个像素集合；以及(c)每个超像素包含多个像素，每个像素来自不同的像素集合。举例来说，在一些情况下：(a)有九个像素集合和九个单独的超像素调制信号；(b)每个超像素包含9个像素，每个像素集合一个像素；(c)单独的调制信号被施加到每个像素集合；以及(d)因此9个单独的超像素调制信号被施加到每个超像素中的像素，每个像素一个。)

在图9和图10中，当TXi为高时，TXi致使电荷从光电二极管501转移到存储器FD509。在图9和图10中，当像素处于图像传感器的活动区域中时，用于像素的TXi信号为高，并且同时用于该像素的超像素调制为高。

在图7和图8中，当COL和PD RST ROW同时为高时，PD RST致使光电二极管501复位(即，排出光电二极管501中的电荷)。在图7和图8中，施加到像素的COL和PD RST ROW信号在以下时间(除了其它时间之外)同时为高：(a)当像素进入图像传感器的活动区域时的短脉冲；或者(b)该像素不处于图像传感器的活动区域的整个时间。

在图5、图6、图9和图10中，当PD RST为高时，PD RST致使光电二极管501复位(即，排出光电二极管501中的电荷)。在图5、图6、图9和图10中，施加到像素的PD RST信号在以下时间(除了其它时间之外)为高：(a)当像素进入图像传感器的活动区域时的短脉冲；或者(b)像素不处于图像传感器的活动区域的整个时间。

在图5、图6、图7、图8、图9和图10中，当COL和ROW处的电压同时为高时，发生读出。

图6、图8和图10分别是图5、图7和图9的时序图。在图6、图8和图10中，整个曝光发生在摄像机单个帧期间，并且在该帧之后发生读出和浮动扩散部复位。在图6、图8和图10中，ModExp 531是作为n位代码的组件之一的调制信号。这些图中的一些其它信号源自ModExp，如下所讨论的。

在摄像机单个帧期间的多个时间，在光电二极管501中累积的电荷被转移到浮动扩散部509(即，COL和TX ROW处的电压同时为高的每个时间)。

并且，在摄像机单个帧期间的多个其它时间，在光电二极管501中的累积的电荷之后被排出而不会被读出或者测量(例如，当PD RST在图6中的551、552、553、554、555期间为高时，当PD RST ROW和COL在图8中的561、562、563期间都为高时，并且当PD RST在图10中的571、572、573、574、575期间为高时)。

图11A、图11B和图11C是超像素的概念图，其中每个像素具有多个存储装置。在图11A中，为超像素调制和帘幕调制采用相同的转移栅。在图11B和图11C中，为超像素调制和帘幕调制采用不同的转移栅。

在图11A至图11C中，每个像素将电荷存储到多个存储装置。这些多个存储装置中的每一个仅专用于该像素并且不会存储用于任何其它像素的电荷。举例来说，在图11A至图11C中，像素1103具有一组多个存储装置1125，并且像素1105具有一组不重叠的多个存储装置1135。

在图11A所示的示例中，来自场景1100的光照到超像素1101中的每个像素(例如，1103、1105)的光电二极管(例如，1107、1109)。对于每个像素，调制信号致使像素中之后累积的光电二极管电荷被转移到用于该像素的存储装置之一。基于调制信号确定哪个存储装置接收到特定的电荷转移。举例来说，对于像素1103，调制信号致使转移栅1111在摄像机单个帧期间的一些时间将电荷从光电二极管1107转移到存储装置1121，并且致使转移栅1113在该摄像机帧期间的一些其它时间将电荷从光电二极管1107转移到存储装置1123。同样地，对于像素1105，不同的调制信号致使转移栅1115在摄像机单个帧期间的一些时间将电荷从光电二极管1109转移到存储装置1131，并且致使转移栅1117在该摄像机帧期间的一些其它时间将电荷从光电二极管1109转移到存储装置1133。

在图11A所示的示例中，单级转移栅1141包括转移栅1111、1113、1115、1117)。该单级硬件1141由用于超像素调制和帘幕调制的信号的逻辑“与”控制。

图11B和图11C与图11A相同，除了分别采用单独的硬件级用于帘幕调制和超像素调制。在图11B和图11C中，帘幕调制分别在级1145和级1146发生。级1145和级1146包括转移栅(包括转移栅1112、1114、1116、1118)。在图11B和图11C中，超像素调制分别发生在级1143和级1147。级1143和级1147包括转移栅(包括转移栅1111、1113、1115、1117)。举例来说，在图11B和图11C中，当且仅当转移栅1111(用于超像素调制)和转移栅1112(用于帘幕调制))均为高时，电荷才会从光电二极管1107被转移到存储器1121。因此，在图11B中，两个硬件级1143、1145结合在一起的效应是通过帘幕调制和超像素调制的逻辑“与”来控制电荷的存储。同样地，在图11C中，两个硬件级1146、1147结合在一起的效应是通过帘幕调制和超像素调制的逻辑“与”来控制电荷的存储。在图11B和图11C中，超像素调制和帘幕调制同时发生。在图11B中，与帘幕调制相比，超像素调制的发生在空间上更靠近光电二极管。在图11C中，这个空间次序是相反的：也就是说，与超像素调制相比，帘幕调制的发生在空间上更靠近光电二极管。

图12是具有三个浮动扩散存储装置的CMOS像素的一部分的电路原理图。在图12中：

COL是指列选择器507。

FD1为浮动扩散部549。FD2为浮动扩散部559。FD3为浮动扩散部569。

PD RST为光电二极管复位晶体管513。在图12中，当PD RST为高时，PD RST致使光电二极管501复位(即，排出光电二极管501中的电荷)。在图12中，施加到像素的PD RST信号在以下时间(除了其它时间之外)为高：(a)当像素进入图像传感器的活动区域时的短脉冲；或者(b)像素不处于图像传感器的活动区域的整个时间。

ROW为行选择器511。

RST1为浮动扩散部复位晶体管547。RST2为浮动扩散部复位晶体管557。RST3为浮动扩散部复位晶体管567。在图12中：(a)当RST1为高时，RST1致使浮动扩散部509复位；(b)当RST2为高时，RST2致使浮动扩散部509复位；以及(c)当RST3为高时，RST3致使浮动扩散部509复位。复位致使浮动扩散部509中的电荷被排出。SF为源极跟随器515。在说明性实施方式中，RST1、RST2、RST3仅在读出之后为高，以便在下一帧开始之前分别将FD1、FD2、FD3复位为“零态”。

TXi1为转移栅543。TXi2为转移栅553。TXi3为转移栅563。在图12中：(a)当TXi1为高时，TXi1致使电荷从光电二极管501转移到存储器FD1 549；(b)当TXi2为高时，TXi2致使电荷从光电二极管501转移到存储器FD2 559；以及(c)当TXi3为高时，TXi3致使电荷从光电二极管501转移到存储器FD3 569。

在一些实施方式中，信号控制用于CCD像素的电荷的存储以用于超像素调制，或者用于帘幕调制，或者用于二者。

图13是CCD像素的概念图，其中，每个像素具有两个存储装置。在摄像机单个帧期间，对于阵列中的每个像素，电荷在一些时间从像素的光电二极管被转移到用于像素的存储装置中的一个，并且在其它时间被转移到用于像素的其它存储装置。举例来说，在摄像机单个帧期间：(a)调制信号致使像素1312中的之后累积的光电二极管电荷在一些时间被转移到位置1311处的电容式存储箱，并且在一些其它时间被转移到位置1303处的电容式存储箱；以及(b)单独的调制信号致使像素1315中的之后累积的光电二极管电荷在一些时间被转移到位置1314处的电容式存储箱，并且在一些其它时间被转移到位置1316处的电容式存储箱。

在帧结束之后，电荷以常规CCD方式沿阵列的每一列向下移位。举例来说，电荷在阵列边缘处的位置1316处的电容式存储箱中被读出，然后位置1315处的电容式存储箱中的电荷被移位至位置1316处的电容式存储箱，然后位置1314处的电容式存储箱中的电荷被移位至位置1315处的电容式存储箱，然后位置1313处的电容式存储箱中的电荷被移位至位置1314处的电容式存储箱，然后位置1312处的电容式存储箱中的电荷被移位至位置1313处的电容式存储箱，然后位置1311处的电容式存储箱中的电荷被移位至位置1312处的电容式存储箱。然后，电荷再次从阵列边缘处的位置1316处的电容式存储箱被读出，等。

图14是CCD像素的概念图，其中，每个像素具有四个存储装置。在摄像机单个帧期间，对于阵列中的每个像素，电荷在一些时间从像素的光电二极管被转移到用于像素的第一存储装置，在其它时间被转移到用于像素的第二存储装置，在另一些其它时间被转移到用于像素的第三存储装置，并且在又一些其它时间被转移到用于像素的第四存储装置。举例来说，在摄像机单个帧期间，调制信号致使像素1411中之后累积的光电二极管电荷：(a)在一些时间被转移到位置1453处的电容式存储箱；(b)在一些其它时间被转移到位置1455处的电容式存储箱；(c)在一些时间被转移到位置1457处的电容式存储箱；并且(d)在一些其它时间被转移到位置1459处的电容式存储箱。在帧结束之后，电荷以常规CCD方式沿阵列的每一列向下移位。

在具有两个存储器的像素中，一个存储器根据惯例被视为主存储器。这种像素的“开启”调制状态是指电荷被转移到主存储器。这种像素的“关闭”调制状态是指电荷被转移到辅存储器。从主存储器恢复的图像是在“开启”阶段累积的“正”图像。从辅存储器恢复的图像是在“关闭”阶段累积的“负”图像。将二者加在一起给出总图像，即，由普通(未调制)摄像机捕获的图像。

如本文所使用的，“多存储器实施方式”或者“总电荷实施方式”是指其中每个像素具有多个存储装置的实施方式，该多个存储装置在帧的曝光时间期间仅从该像素接收电荷。这种实施方式有时被称为“总电荷实施方式”，以强调在设计上，电荷不会在帧期间的一些时间被排出而不被测量。

多存储器实施方式至少在两个原因上是有利的。

首先，在一些多存储器实施方式中，计算机根据用于特定像素的总照明来计算动态阈值。举例来说，在一些情况下，计算机将像素的值与计算的阈值(例如，总值的50％)相比较，而不是具有用于决定像素值是代表代码Cxy中的逻辑0还是逻辑1的固定阈值(参见图4的讨论)。

其次，在一些多存储器实施方式中，计算机针对每个像素通过对单个帧期间多个存储装置捕获的电荷的总和相加，计算单个帧的总图像。

在大多数实施方式中，调制信号(诸如图3中的用于超像素调制信号的信号311至315和图38J中的用于帘幕调制的信号3802)不直接控制像素内的定时。相反，图像传感器、或者摄像机电路、或者控制单元中的电子电路将每个调制信号转换成一个或多个中间信号，其直接或间接控制每个像素或者像素集合内的定时，诸如(i)光电二极管复位、(ii)浮动扩散部复位、(iii)读出、(iv)电荷从光电二极管到浮动扩散部或者电容式存储箱的转移、或者(v)在CCD的情况下的CCD移位的定时。举例来说，在使用CMOS像素的一些实施方式中，中间信号包括施加到TX、TXi、TXi1、TXi2、TXi3、RST、RST1、RST2、RST3、TD ROW、PD RST、PD RST ROW或者CURTAIN ROW的电压的高或低(二进制值)。在一些情况下，中间信号的变化由调制信号的上升沿、下降沿或者二者触发。在一些情况下，中间信号的变化在调制信号的上升沿、下降沿或者二者之后以规定延迟发生。在一些情况下，中间信号的变化是调制信号的逻辑补码(即，如果调制信号为1，则为0，或者如果调制信号为0，则为1)。在一些情况下，触发电荷从光电二极管转移到浮动扩散部的中间信号(i)在调制信号从高变低时变高，停留在那里转移电荷所需的少量时间，并且变低；以及(ii)忽略调制信号的低到高的转变。

当已知像素电路的不同元件具有不同的延迟，或者需要不同的时间来转移电荷时，延迟信号在一些情况下是所需的。

在一些实施方式中，由硬件实施方式强加的约束要求调制信号满足一个或多个逻辑条件。举例来说，在一些多存储器实施方式中，必须满足以下逻辑条件：在任何时间，每个像素至多一个调制信号处于触发电荷转移的状态。这是因为如果多于一个转移栅打开，来自光电二极管的电荷在存储器之间分开，这是不需要的。在一些其它实施方式中，逻辑条件是存储调制信号加起来等于1。

本发明不限于二进制编码。如本文所使用的，“n元代码”是指其中数字以基数n表示的代码，其中n是大于2的整数。例如，三元代码以基数3编写，并且有时被称为三进制代码。

在本发明的一些实施例中，三进制代码与每个具有两个存储装置的像素一起使用。在这种情况下，三进制代码(“A”、“B”、“C”)信号的三个值致使电荷被分别转移到存储器“A”、存储器“B”，或者被消除。在一些情况下：(a)每个像素有三个存储装置；(b)使用三进制代码；(c)与在“C”情况下消除光相反，电荷被转移到第三存储器(“C”)中；以及(d)A+B+C相加得到总光量。

在采用n元代码的一些实施方式中，每个像素具有n-1或n个存储器。在每个像素具有n-1个存储装置的情况下，n元代码是可恢复的。在每个像素具有n个存储装置的情况下，n元代码和总光量是可恢复的。

在采用n元代码并且每个像素使用n个存储装置的一些实施方式中，n元代码的值0,1，...，n-1致使电荷被分别转移到第1、第2、...、第n个存储器。总照明图像是通过对第1、第2、...、第n个存储器的所有值求和获得。

在采用n元代码并且每个像素使用n-1个存储装置的一些实施方式中，值0致使光电二极管电荷被排出，在一些情况下未被保存供稍后读出。n元代码的值1、...、n-1致使电荷分别被转移到第1、第2、...、第(n-1)个存储器中。

在一些实施方式中，像素存储的调制由n元代码控制，使得每个像素的所有光电二极管电荷被存储供稍后读出。图15显示了这种方法的一个示例。在图15中，每个像素具有n个存储装置，并且用于超像素中第k个像素的存储调制包含以下步骤：计算机评估x，x是长度为m的n元代码的第k个数字的值(步骤1501)，并且致使第k个像素中的光电二极管电荷被转移到用于第k个像素的第(x+1)个存储装置。(步骤1503)。举例来说，如果x等于0，那么像素的光电二极管电荷被转移到用于该像素的第一存储装置。举例来说，如果x等于n-1，那么像素的光电二极管电荷被转移到用于该像素的第n个存储装置。如果超像素具有一个以上作为第k个像素集合的成员的像素并且使用图15所示的方法，那么以图15所示的方式同时完成这些像素中的每一个的存储调制。

在一些实施方式中，像素存储的调制由n元代码控制，使得仅存储每个像素的光电二极管电荷的一部分用于稍后的读出。图16显示了该方法的一个示例。在图16中，每个像素具有多个(例如，n-1个)存储装置，并且用于超像素中的第k个像素的存储调制包含以下步骤：计算机评估x，x是调制码的第k个数字的值。(步骤1601)如果x等于0，那么排出第k个像素中的光电二极管电荷，并且不对其进行保存以供稍后读出。(步骤1603)如果x不等于0，那么第k个像素中的光电二极管电荷被转移到用于第k个像素的第(x+1)个存储装置。(步骤1605)。

如果超像素具有一个以上作为第k个像素集合的成员的像素并且使用图16所示的方法，那么以图16所示的方式同时完成这些像素中的每一个的存储调制。

图17是在其中仅存储一部分光电二极管电荷以供稍后读出的存储调制之后对n元代码进行解码的流程图。在图17中，正被解码的代码具有m个数字，并且每个像素具有多个(例如，n-1)存储装置。每个超像素的解码包含以下步骤：计算机设置k等于零(步骤1701)。计算机评估k是否大于m-1。(步骤1703)如果是，那么该超像素的解码停止，并且计算机对每个超像素重复解码，直到所有超像素被解码。(步骤1715)如果否，那么计算机检测第k个像素的多个存储装置中的每一个的存储值(即，存储在存储装置中的电荷电平)。(步骤1705)计算机确定这些存储值中的任何一个是否超过阈值。(步骤1707)。如果这些存储值都未超出阈值，那么计算机将代码的第k个数字设置为零。(步骤1709)如果这些存储值中的至少一个超出阈值，那么计算机：(a)确定这些存储值中的最大存储值(步骤1711)，(b)确定最大存储值存储在用于第k个像素的第x个存储装置中(步骤1712)，(c)将代码的第k个数字设置为x(步骤1713)以及(d)将k设置为等于k+1(步骤1714)。

如果超像素具有一个以上作为第k个像素集合的成员的像素，那么修改图17中的方法以用于该超像素，使得：(a)在步骤1705中，计算机确定用于超像素中作为第k个像素集合的成员的每一个像素中的每一个存储装置的存储值；以及(b)在步骤1707中，计算机确定这些存储值中的最大存储值被存储在这些像素之一的第x个存储装置中。

图18是在其中存储所有光电二极管电荷以供稍后读出的存储调制之后对n元代码进行解码的流程图。在图18中，正被解码的代码具有m个数字，并且每个像素具有n个存储装置。每个超像素的解码包含以下步骤：计算机将k设置为零(步骤1801)。计算机评估k是否大于m-1。(步骤1803)如果是，那么该超像素的解码停止，并且计算机对每个超像素重复解码，直到所有超像素被解码。(步骤1815)如果否，那么计算机检测第k个像素的多个存储装置中的每一个的存储值(即，存储在存储装置中的电荷电平)。(步骤1805)计算机：(a)确定这些存储值中的最大存储值(步骤1807)，(b)确定最大存储值存储在用于第k个像素的第x个存储装置中(步骤1809)，(c)将代码的第k个数字设置为x-1(步骤1811)，并且将k设置为等于k+1(步骤1813)。

如果超像素具有一个以上作为第k个像素集合的成员的像素，那么修改图17中的方法以用于该超像素，使得：(a)在步骤1705中，计算机确定用于超像素中作为第k个像素集合的成员的每一个像素中的每一个存储装置的存储值；以及(b)在步骤1707中，计算机确定这些存储值中的最大存储值被存储在这些像素之一的第x个存储装置中。

在其中每个像素将电荷仅存储到一个存储装置中的一些实施方式中：(a)将二进制代码应用于像素；以及(b)在摄像机单个帧的持续时间期间，每个像素被多次“关闭”和“打开”。

在许多实施方式中，像素既不在整个帧期间“打开”，也不在整个帧期间“关闭”。(在整个帧期间将仅具有单个存储装置的像素置于恒定“关闭”，将致使像素在该帧期间不对任何光进行测量。将仅具有单个存储箱的像素在整个帧持续时间置于恒定“打开”，将致使像素在整个帧期间正常测量光。)

模拟调制

在一些情况下，用于超像素调制、帘幕调制或二者的调制信号为模拟信号。在一些情况下，调制信号(数字或模拟)在摄像机帧之间经历至少一次改变。图19是示出了从帧到帧改变的模拟调制信号的三个示例的图。信号1901是帧1和帧2中的非周期性信号。信号1903是在帧1中为正弦且在帧2中为非正弦的周期性信号。在帧1中，信号1905是向上移位使得最小值为零的周期性三角波。在帧2中，信号1905是非周期性的。

在一些情况下，模拟调制信号有时是负的，诸如图19中的在时间1907处的信号1901。在一些情况下，调制信号的“负”值是以如下方式实现：存储器预充有固定量的电荷。对于调制信号的负部分，打开转移栅以从存储装置释放与调制信号的绝对值成比例的电荷量。在读出阶段期间，计算机将预充量处理为零值，将低于该值的电荷量处理为负读数；并且将大于预充量的电荷量处理为正读数。

对于模拟调制，像素对光的敏感度不是二进制状态；相反，像素可以具有从完全“关闭”到完全“打开”的连续的敏感度范围。在每个摄像机帧期间，这种敏感度可以随时间发生变化。

光调制

在一些实施方式中，调制信号控制入射到像素的光电二极管上的光的强度，用于超像素调制、帘幕调制或二者。在这些情况下：(a)通过选择性衰减反射光或者透射光来控制到达像素的光量；以及(b)因此，通过控制光是否到达像素来控制像素对来自场景的光的敏感度。

图20A显示了由帘幕调制和超像素调制的逻辑“与”进行控制的反射式SLM 2003。在图20A中，该逻辑“与”的效果是SLM 2003反射来自场景的光，使得在任何给定时间：(a)对于图像传感器的活动区域中的每个给定像素，如果用于给定像素的超像素调制为高，那么来自场景的光被SLM 2003反射；以及(b)来自场景的光不被SLM 2003反射到图像传感器的非活动区域。

图20B显示了两个反射式SLM：第一SLM 2002执行帘幕调制，而第二SLM 2003执行超像素调制(反之亦然)。在图20B中，为了使来自场景的光到达像素(例如，2007、2009、2011)，光必须在到达像素之前从SLM 2002和SLM 2003反射。因此，在图20B中，有效利用了帘幕调制信号和超像素调制信号的逻辑“与”。在图20B中，该逻辑“与”的效果(类似于图20A)是两个SLM 2002、2003一起反射来自场景的光，使得在任何给定时间：(a)对于图像传感器的活动区域中的每个给定像素，如果给定像素的超像素调制为高，那么来自场景的光被SLM反射；以及(b)来自场景的光不被SLM反射到图像传感器的非活动区域。然而，在图20B中(与图20A不同)，分别执行调制信号：SLM 2002执行帘幕调制，而SLM2003执行超像素调制(或者反之亦然)。

在图20A和图20B所示的示例中，来自场景2001的光照到反射式SLM并且被选择性地反射。因此，在摄像机帧期间的任何给定时间图像传感器中的哪些像素被来自SLM的反射光照射是可控的。举例来说，哪些像素(超像素2005中的像素2007、2009、2011)被来自SLM的反射光照射，在摄像机单个帧期间发生变化。举例来说，在一些情况下，在摄像机单个帧期间：(a)在一些时间，像素2007被来自SLM的反射光照射，但像素2009和2011未被照射；以及(b)在其它时间，像素2007和2009被来自SLM的反射光照射，但像素2011未被照射。在一些情况下，每个反射式SLM包括DMD(数字微型反射镜装置)或者反射式LCOS(硅上液晶)装置。在一些情况下，每个反射式SLM可以包括平面反射阵列，或者位于弯曲表面上的反射阵列(诸如柱体或环面的表面)。

在图21A中，单个反射DMD阵列由帘幕调制信号和超像素调制信号的逻辑“与”控制。在图21B和图21C中，这两个功能由两个DMD阵列执行：一个DMD执行帘幕调制，而另一个DMD同时执行超像素调制。在图21B中，光从执行超像素调制的DMD反射，并且然后从执行帘幕调制的DMD反射。在图21C中，次序相反。在图21B和图21C中，两个同时调制的效果是从两个DMD(一起)反射到图像传感器的光被帘幕调制信号和超像素调制信号的逻辑“与”控制。

图21A、图21B和图21C显示了在特定时间选择性地反射来自场景的光的DMD阵列，使得反射光被转向图像传感器的一些(但非全部)像素。在图21A、图21B和图21C所示的示例中，图像传感器中的像素和DMD阵列的像素被光学对准，使得DMD的每个像素对应于图像传感器的像素。DMD阵列中的像素在“A”和“B”两种状态之间切换。当用于DMD像素的反射镜处于A状态时，反射镜将光学路径中的光(直接或间接)向图像传感器中的对应像素反射。当用于DMD像素的反射镜处于B状态时，光在另一个方向被反射。通过在这两种状态之间切换DMD像素，可以调制入射到图像传感器的对应像素上的光，并且因此可以调制像素对来自场景的光的响应。

图21A是显示了由帘幕调制信号和超像素调制信号的逻辑“与”控制的DMD，并且因此可以笼统地说同时执行帘幕调制和超像素调制的射线图。DMD选择性地反射来自场景的光。在图21A中，DMD阵列2105中的像素与图像传感器2103中的像素光学对准。举例来说，DMD像素2111、2113、2115分别对应于图像传感器像素2121、2123、2125。来自场景2101的光照到DMD像素2111、2113和2115。DMD像素2111和2113处于状态“A”，使得光从这些像素分别反射到图像传感器2121和2123。DMD像素2115处于状态“B”，使得光从该DMD像素沿远离图像传感器2125的方向反射，从而致使反射光未到达图像传感器。

图21B是显示了来自场景的光2101行进到执行超像素调制的DMD阵列2105，然后到执行帘幕调制的DMD阵列2130，并且然后到图像传感器2103的射线图。在图21B中，图像传感器2103中的像素与DMD阵列2130中的像素和DMD阵列2105中的像素光学对准。举例来说，图像传感器2103中的像素2121、2123、2125分别对应于DMD阵列2130中的像素2141、2143、2145以及DMD阵列2105中的像素2111、2113、2115。在图21B中，DMD2105执行超像素调制。来自场景2101的光照到DMD 2105中的(尤其是)像素2111、2113、2115。DMD 2105中的像素2111和2113处于A状态。因此，光从DMD 2105中的这些像素2111、2113分别反射到DMD 2130中的像素2141、2143。DMD 2105中的像素2115处于B状态，并且因此沿远离DMD 2130和图像传感器2103的方向反射光。在图21B中，DMD 2130进行帘幕调制。DMD 2130中的像素2143处于A状态。因此，光从像素2143反射到图像传感器像素2123。DMD 2130中的像素2141处于B状态。因此，光从像素2141沿远离图像传感器2103的方向反射，从而致使反射光未到达图像传感器。

图21C显示了来自场景的光行进到执行帘幕调制的DMD，然后到执行超像素调制的DMD，并且然后到图像传感器的射线图。在图21C中，图像传感器2103中的像素与DMD阵列2105中的像素和DMD阵列2130中的像素光学对准。举例来说，图像传感器2103中的像素2121、2123、2124、2125分别对应于DMD阵列2105中的像素2111、2113、2114、2115以及DMD阵列2130中的像素2141、2143、2144，2145。在图21C中，DMD 2130执行帘幕调制。来自场景2101的光照到DMD 2130中的(尤其是)像素2141、2143、2144、2145。DMD 2130中的像素2143和2144处于A状态。因此，光从DMD 2130中这些像素2143、2144分别反射到DMD 2105中的像素2113、2114。DMD 2130中的像素2141、2145处于B状态，并且因此沿远离DMD 2105和图像传感器2103的方向反射光。在图21C中，DMD 2105执行超像素调制。DMD 2105中的像素2113处于A状态。因此，光从DMD 2105中的像素2113反射到图像传感器像素2123。DMD 2105中的像素2114处于B状态。因此，光从像素2114沿远离图像传感器2103的方向反射，从而致使反射光未到达图像传感器。

在图21B和图21C中，DMD像素中的深阴影表明像素处于B状态，并且因此远离图像传感器和其它DMD(如果有的话)反射光。

图22A显示了由帘幕调制和超像素调制的逻辑“与”进行控制的透射式SLM 2203。在图22A中，该逻辑“与”的效果是SLM 2203透射来自场景的光，使得在任何给定时间：(a)对于图像传感器的活动区域中的每个给定像素，如果用于给定像素的超像素调制为高，那么来自场景的光通过SLM 2203透射；以及(b)来自场景的光不通过SLM 2203透射到图像传感器的非活动区域。

图22B显示了两个透射式SLM：第一个SLM 2202执行帘幕调制，而第二个SLM 2203执行超像素调制(或者反之亦然)。在图22B中，为了使来自场景的光到达像素(例如，2207、2209、2211)，光必须在到达像素之前通过SLM 2202和SLM 2203透射。因此，在图22B中，有效利用了帘幕调制信号和超像素调制信号的逻辑“与”。在图22B中，类似于图22A，该逻辑“与”的效果是两个SLM 2202、2203一起透射来自场景的光，使得在任何给定时间：(a)对于图像传感器的活动区域中的每个给定像素，如果给定像素的超像素调制为高，那么来自场景的光被SLM透射；以及(b)来自场景的光不被SLM透射到图像传感器的非活动区域。然而，在图22B中(与图22A不同)，分别执行调制信号：SLM 2202执行帘幕调制，而SLM 2203执行超像素调制(或者反之亦然)。

在图22A和图22B所示的示例中，来自场景2201的光穿过透射式SLM并且被选择性地衰减。因此，在摄像机帧期间的任何给定时间内哪些像素被穿过SLM的光照射是可控的。举例来说，被穿过SLM的光照射的像素(超像素2205中的像素2207、2209、2211)，在摄像机单个帧期间发生变化。举例来说，在一些情况下，在摄像机单个帧期间：(a)在一些时间，像素2207被穿过SLM的光照射，但像素2209和2211未被照射；以及(b)在其它时间，像素2207和2209被穿过SLM的光照射，但像素2011未被照射。在一些情况下，透射式SLM包括LCD(液晶显示器)或者铁磁快门阵列。在一些情况下，每个透射式SLM可以包括平面阵列，或者位于弯曲表面上的阵列(诸如柱体或环面的表面)。

在图23A中，单个LCD(液晶显示器)阵列由帘幕调制信号和超像素调制信号的逻辑“与”控制。在图23B中，这两个功能由两个LCD阵列执行：一个LCD执行帘幕调制，而另一个LCD同时执行超像素调制。在图23B中，光被执行帘幕调制的LCD透射，并且然后被执行超像素调制的LCD透射。在图23B中，两个同时调制的效果是通过两个LCD(一起)透射到图像传感器的光被帘幕调制信号和超像素调制信号的逻辑“与”控制。

图23A和图23B显示了在特定时间选择性地衰减来自场景的光的LCD，使得穿过LCD的光到达图像传感器中的超像素的一些(但非全部)像素。在图23A和图23B所示的示例中，图像传感器中的像素和LCD的像素被光学对准，使得LCD的每个像素对应于图像传感器的像素。LCD阵列中的像素在“开启”和“关闭”两种状态之间切换。当LCD像素处于“开启”状态时，来自场景的光穿过LCD像素。当LCD像素处于“关闭”状态时，LCD像素不透明并且阻挡光。通过在这两种状态之间切换LCD像素，可以调制入射到图像传感器的对应像素上的光，并且因此可以调制像素对来自场景的光的响应。

图23A是显示了由帘幕调制信号和超像素调制信号的逻辑“与”控制的LCD(并且因此可以笼统地说是同时执行帘幕调制和超像素调制)的射线图。LCD选择性地衰减来自场景的光。在图23A中，LCD 2303中的像素与图像传感器2309中的像素光学对准。举例来说，LCD像素2311、2313、2315和2317分别对应于图像传感器像素2321、2323、2325和2327。来自场景2301的光照到LCD像素2311、2313和2317。LCD像素2311、2313、2315处于“开启”状态，使得光穿过这些LCD像素并且分别行进到图像传感器2321、2323和2325。LCD像素2317处于“关闭”状态，使得LCD像素2317为不透明，从而防止光穿过LCD像素2317并行进到图像传感器像素2327。图像传感器像素2321、2323、2325和2327都处于相同的超像素中。

图23B是显示了来自场景的光行进到执行帘幕调制的LCD，然后到执行超像素调制的LCD，并且然后到图像传感器的射线图。在图23B中，图像传感器2309中的像素与LCD 2303中的像素和LCD 2330中的像素光学对准。举例来说，图像传感器2309中的像素2321、2323、2327分别对应于LCD 2303中的像素2311、2313、2317以及LCD 2330中的像素2331、2333、2337。在图23B中，LCD 2330进行帘幕调制。来自场景2301的光照到LCD 2330中的(尤其是)像素2331、2333、2334、2336、2337、2338。LCD 2330中的像素2331、2333、2337处于“开启”状态，使得光穿过这些LCD像素并且分别行进到LCD 2303中的像素2311、2313、2317。LCD 2330中的像素2334、2336、2338处于“关闭”状态，并且因此是不透明的而且防止光从其穿过。在图23B中，LCD 2303执行超像素调制。LCD 2303中的像素2311、2313处于“开启”状态，使得光穿过这些LCD像素并且分别行进到图像传感器2309中的像素2321、2323。LCD像素2317处于“关闭”状态，使得LCD像素2317为不透明，从而防止光穿过LCD像素2317并行进到图像传感器像素2327.

在图23A和图23B中：(a)LCD像素中的深阴影表明像素处于“关闭”状态，因此是不透明的并且阻挡光；以及(b)图像传感器像素中的深阴影表明由于来自场景的光被LCD阻挡，该像素不会从场景接收光。

在图23A和图23B中，摄像机2307包含透镜2305和图像传感器2309。镜头会使来自LCD 2303的光弯曲。类似地，在一些情况下：(a)透镜被插入在反射式SLM(诸如，DMD或反射式LCOS)和图像传感器之间，以及(b)透镜使从反射式SLM穿过透镜行进到反射式SLM的光线弯曲。

图24A至图24H显示了在本发明的说明性实施方式中包含透射式SLM的光学系统的不同配置。在图24A至图24H中，SLM选择性地使光衰减，使得在摄像机单个帧期间的不同时间，SLM阻挡光到达图像传感器中的不同像素。

在图24A、图24B和图24C中，透射式SLM由超像素调制和帘幕调制的逻辑“与”控制，并且因此可以笼统地说是同时执行这两种调制。

在图24A中，来自场景2403的光穿过成像透镜2407，然后穿过透射式SLM 2401，并且然后到图像传感器2405。

在图24B中，来自场景2403的光穿过透射式SLM 2401，然后穿过成像透镜2407，并且然后到图像传感器2405。

在图24C中，来自场景2403的光穿过成像透镜2407，然后穿过透射式SLM 2401，然后穿过场透镜2411，然后穿过中继透镜2409，并且然后到图像传感器2405。

图24D、图24E、图24F、图24G和图24H分别是包含两个透射式SLM(具体地，执行超像素调制的SLM和执行帘幕调制的SLM)的光学系统的图。在图24D至图24H中，有效利用了帘幕调制信号和超像素调制信号的逻辑“与”。在图24D至图24H中，该逻辑“与”的效果(类似于图20A)是两个透射式SLM(例如，2421、2425)一起透射来自场景的光，使得在任何给定时间：(a)对于图像传感器的活动区域中的每个给定像素，如果给定像素的超像素调制为高，那么来自场景的光被SLM透射；以及(b)来自场景的光不被SLM透射到图像传感器的非活动区域。

在图24D中，来自场景2403的光穿过成像透镜2407，然后穿过执行帘幕调制的透射式SLM 2425，然后穿过执行超像素调制的透射式SLM 2421，并且然后到图像传感器2405。

在图24E中，来自场景2403的光穿过成像透镜2407，然后穿过执行超像素调制的透射式SLM 2421，然后穿过执行帘幕调制的透射式SLM 2425，并且然后到图像传感器2405。

在图24F中，来自场景的光穿过执行帘幕调制的透射式SLM 2425，然后穿过执行超像素调制的透射式SLM 2421，然后穿过成像透镜2407，并且然后到图像传感器2405。

在图24G中，来自场景的光穿过执行超像素调制的透射式SLM 2421，然后穿过执行帘幕调制的透射式SLM 2425，然后穿过成像透镜2407，并且然后到图像传感器2405。

在图24H中，光学系统还包含中继透镜2409。图24H显示了透射式SLM(其执行帘幕调制、超像素调制、或者由二者的逻辑“与”控制的调制)可以位于光学系统中的位置。具体地，在图24H所示的示例中，这种透射式SLM(其执行帘幕调制、超像素调制、或者由二者的逻辑“与”控制的调制)可以位于位置2431、2432、2433、2435或者2437中的任一处。举例来说：(a)由帘幕调制和超像素调制的逻辑“与”控制的透射式SLM可以位于这些位置中的任一处；或者(b)执行帘幕调制的透射式SLM可以位于这些位置中的一处并且执行超像素调制的另一个透射式SLM可以位于这些位置中的另一处。

在使用SLM的一些实施方式中，计算机单独控制SLM中的每个像素，并且因此计算机控制图像传感器中超像素的大小和形状。举例来说，在一些情况下，计算机向反射式或者透射式SLM发送信号，使得9个像素包含3×3像素的超像素，或者使得12个像素包含4×3像素的超像素，或者使得16个像素包含4×4像素的超像素。

在一些情况下，反射式或透射式SLM不具有与图像传感器相同的尺寸或形状。在这些情况下：(a)图像传感器中的一些像素不对应于SLM中的像素；以及(b)光调制仅应用于与SLM中的像素对准的图像传感器中的像素。

在一些情况下：(a)SLM和摄像机中的像素没有精确对准；以及(b)忽略不精确性超出给定阈值的像素。该位置的值作为“未知”被插入或者返回。

在使用反射式或透射式SLM的许多情况下，每个像素仅具有专用于该像素的存储装置并且在摄像机帧的曝光时间期间不从任何其它像素接收电荷。

与时分复用结构化照明的比较

将本发明与常规时分复用结构化照明进行比较很有趣。

图25是显示了常规时分复用结构化照明的现有技术示例的概念图。在图25中，摄像机2511的敏感度未被调制。激光器2503和鲍威尔透镜(未示出)投影激光2505的平面。在每个摄像机帧期间，激光线2505扫过场景。激光的强度由二进制调制图案调制，致使激光在单次扫过期间重复打开和关闭。在激光扫过场景期间，摄像机捕获单个帧。在该帧期间捕获的图像2517中，暗条纹2533、2535、2537、2539对应于激光关闭时扫过期间的时间。

在常规时分复用结构化照明(如图25所示)中：(a)在摄像机的n个单个帧期间，应用包括n位代码的n个单独的调制信号以修改场景的照明，每帧一个调制信号；以及(b)摄像机对光的敏感度未被调制。

相比之下，在本发明的说明性实施方式中，在摄像机单个帧期间，应用包括n位代码的所有n个单独的调制信号以单独修改每个超像素中的n个像素对入射光的响应。

在说明性实施方式中，本发明在摄像机单个帧中(尽管以较低的空间分辨率)捕获与在具有时分复用结构化照明的多个摄像机帧期间捕获的相同类型的数据。捕获单个帧(在本发明的说明性实施方式中)中而不是多个帧(如在常规时分复用结构化照明中)中的所有数据具有减少3D感测中由运动模糊引起的失真和伪影的所需效果。

3D扫描

在说明性实施方式中，本发明用于3D扫描，即用于检测场景中的点的3D位置。

在说明性实施方式中，系统包含至少一个具有可调制图像传感器的摄像机，任意的普通摄像机，控制单元，处理单元和至少一个照明单元。在摄像机帧期间对超像素的像素的调制在超像素的像素中产生特定代码。

在该系统中，光源发光，使得光与场景的交点位置随时间发生变化。

在说明性实施方式中，光源的时空特征使得由超像素捕获的场景的点的空间位置可以从摄像机校准、光源和摄像机的相对位置、以及在摄像机单个帧期间由超像素的像素记录的电荷值方面以计算方式恢复。

在说明性实施方式中，光源的时空特征使得：(a)对于场景中的给定点，来自场景中的点的光源的直接照射强度的时间函数仅显示一个峰值；以及(b)(1)在时间t被照射的一组点和(2)超像素的像素射线的交点在给定的由摄像机的视野、光源视野、光源发出的光的角度以及摄像机和光源的相对位置组成的约束下仅具有一个解。

图26是显示了由光源(图26中未示出)的受控移动产生的移动光点的概念图。举例来说，在一些情况下，光源包括发射光的物体，诸如激光器或者定向LED。在其它情况下，光源包括反射光的镜面(诸如检流计致动反射镜)。在图26所示的示例中，光点移过场景，使得光点在不同的时间在不同的空间位置2601、2603、2605、2607、2609与场景相交。

图27A、图27B和图27C显示了在本发明的说明性实施方式中产生移动光束的光源的三个示例。举例来说，光束可以在每个摄像机帧中沿相同路径移动。在每个摄像机帧的不同时间，路径可以横穿场景的所有部分(例如，通过以重复的垂直移动方式从场景的底部到顶部移动光束，其中，在每次垂直移动之后具有小的水平位移)。

在图27A、图27B和图27C中，移动光束以移动光点照射场景。移动光点可用于帘幕调制(以抑制环境光)和3D扫描。

在说明性实施方式中，移动光束在每个摄像机帧中的不同时间在彼此不共面的不同方向(即不位于相同的几何平面中)中被定向。另选地，在一些情况下，光束可以指向仅位于一个几何平面中的方向。

图27A是显示了反射移动激光束的旋转反射镜的图。反射镜2701围绕旋转轴2703旋转，该轴垂直于图27A。激光器2705发出激光束。当反射镜旋转时，激光束的角度作为时间的函数发生变化。举例来说，在一个时间，激光束可以指向方向2711，并且在另一个时间，激光束可以指向方向2713。

图27B是显示了投射移动光束的投影仪2721的图。光束在不同时间指向不同方向。举例来说，在不同时间，光束指向方向2723、2725、2727。

图27C是显示了一起发射移动光束的定向光源阵列(例如，2731、2733、2735、2737)的图。光束在不同时间指向不同方向。举例来说，光束在不同时间指向方向2741、2743、2745。

在说明性实施方式中，为每个超像素实现如下3D扫描：(a)在摄像机单个帧期间，n个调制信号被施加到超像素中的n个单独的像素集合(每个像素集合一个调制信号)，使得至少超像素中的像素是每个像素集合的成员；(b)每个调制信号调制像素对来自场景的入射在该像素单元上的光响应；(c)计算机确定n个调制信号的唯一置换，该置换在从场景反射并入射到像素单元的光的强度达到该帧的最大值时(“击中”时间)发生；(d)计算机使用该唯一置换执行第一算法来计算场景中的点的3D坐标，该点是场景中光在击中时间从其直接反射到超像素的位置；以及(e)第一算法包括通过三角测量计算该点的3D坐标，或者包括从查找表访问值，该查找表是由包含通过三角测量计算3D深度的第二算法计算得出的。

在一些实施方式中，深度感测的实施方式如下：超像素中的n个像素在摄像机的单个帧期间记录n个单独的调制信号，其对应于n位代码的n位。两个旋转反射镜在每个摄像机帧期间致使激光点沿相同路径移动通过场景。n位代码存在2ⁿ次置换，对应于每个摄像机帧中的2ⁿ个时隙。在激光从场景反射到超像素的单个时隙期间，入射光在超像素处的强度最高。基于在“击中点”(当入射光的强度最高时)处由超像素记录的n个调制信号的置换，计算机确定存在击中点的时隙。当存在击中点时，该时隙反过来对激光束的取向进行唯一识别。从激光束的取向，以及从光源和从用于像素的像素射线的已知位置，计算机计算(i)像素射线和(ii)与激光束平行且相交的垂直面的交点的3D坐标。(像素射线与垂直面的)交点位于将激光直接反射到超像素的场景点。为每个场景点重复该过程，在场景中产生计算的3D点的云。

在本发明的一些3D扫描实施方式中，一个或多个处理器(例如，在图28中的处理单元2805中)执行摄像机输出、校准和其它静态或动态参数的计算，并且产生对场景的描述，包括场景的表面几何的3D重建。

在本发明的一些3D扫描实施方式中，使用长度9的二进制格雷码进行像素集合调制。照明子系统投影扫描激光线。假设场景一致，即，没有过多的反射和散射，9位向量表示激光点穿过图像的有助于摄像机像素照明的该部分的时间t(在帧0<t<T_帧的范围内)。使用摄像机像素的输出对9位向量和帧内的时间t进行解码。时间t标识激光束的取向，并且因此识别与激光束平行且相交的垂直平面。基于这一信息，以及成像系统符合已知参数的事实，一个或多个处理器使用三角测量技术来识别3D空间中的点。

图28是3D扫描系统的硬件部件的框图，这些部件包括本发明的说明性实施方式。扫描系统包括照明子系统2801，控制单元2803，处理单元2805和摄像机子系统2807。在该系统中，一个或多个信号发生器(例如，2802、2820、2806)或者一个或多个计算机(例如，控制单元2803或者处理单元2805)致使产生单独的调制信号，这些调制信号控制摄像机子系统2807中的图像传感器2809中的多个像素集合的敏感度。

信号发生器(例如，2802、2820、2806)包括一个或多个信号发生器，函数发生器，数字模式发生器，频率发生器或者产生重复或不重复的电信号(包括数字或模拟信号)的任何其它电子装置。该系统包含一个或多个计算机(例如，控制单元2803或处理单元2805)，其包含内存装置(例如，2804、2810)。

照明子系统2801可以包括激光器，两个检流计反射镜和可选的透镜。

摄像机子系统2807包括光学元件2808和图像传感器2809。光学元件2808包括用来将来自场景的光传送或者导向至传感器(或者将光从场景中滤出)的任何光学元件。光学元件包括布置在适当(静态或动态)位置的透镜2820(例如，可调透镜)和其它光学元件2822。举例来说，在一些情况下，其它光学元件2822包括(i)一个或多个空间光调制器，反射镜，滤光器，光线，或者用于衰减、传送、滤出或导向光的其它光调制器或装置，以及(ii)任何可调的光学元件，其将来自场景的光传送或导向至传感器(例如，可调孔径形状、可调孔径尺寸、可调孔径位置等)，或者从场景中滤出光(例如波长、极化、入射角度、入射位置等)。可调光学元件由控制单元2803控制。

摄像机子系统2807是使用图像传感器2809捕获场景2811的图像的系统。图像传感器由多个像素组成(例如，数千像素，或者数百万像素，或者数十亿像素，或任何其它数量)。

在3D扫描期间，检流计致动光学扫描器控制反射镜的位置并且因此控制激光投影点的方向。

在许多情况下，摄像机子系统和照明子系统的位置/取向在系统的使用寿命内是固定的。照明子系统包括受控激光偏转系统。基线是摄像机中心和光偏转系统之间的距离(检流计致动反射镜最靠近场景的位置)。控制单元2803通过施加时变电信号来控制检流计致动反射镜的取向(角度)。一组旋转反射镜使激光束在不同方向偏转，致使激光点移动到场景中的不同位置。控制信号的值是连续的并且是最小值(对应于反射镜的边界角α_最小)与最大值(对应于反射镜的第二边界角α_最大)之间的任何信号。每个反射镜的角度以与控制信号成比例的线性方式从α_最小到α_最大发生变化。

操作员至少校准系统一次。在校准期间，操作员使用自动/半自动校准过程对摄像机的内部参数进行校准。

在说明性实施方式中，正被校准的光学系统包含两个旋转反射镜，其旋转轴彼此垂直，如图29B所示。这两个反射镜各自通过旋转不同的量，使激光束在不同方向上偏转。为了在第二反射镜处于特定角度β时针对第一反射镜的所有角度α对摄像机子系统和激光束的相互的位置/取向进行校正，操作员执行三角测量。第二反射镜以特定角度β保持稳定，而第一反射镜在其角度α的整个范围旋转。当第一反射镜在其角度α的整个范围旋转(并且第二反射镜在特定角度β保持恒定)时，位置/取向以预定角度α_i(i∈0...n-1；α₀＝α_最小，且α_n-1＝α_最大)校准。针对每个反射镜的每个偏转角度α_i，使用算法计算与激光束平行(且相交)的垂直平面的方程，如下所示：n_ix*x+n_iy*y+n_iz*z+d_i＝0，其中，x，y，z是世界坐标空间中的欧几里得坐标；n_i是平面的3D法向量(n_i和n_i+1≤πrad)之间的角度)。且d_i是平面与原点中心之间的正交距离。

计算的方程存储在内存中。在运行时，该算法使用插值计算α_i和α_i+1(α_i<α_i+1)之间的任何其它α的平面的方程。当反射镜的角度由线性信号控制时，计算机计算用于任何αi的精确平面方程(使用算法计算新的法向量n和d)。首先使用二进制搜索找到指标i和i+1。n位于与n_i和n_i+1相同的平面上。角度和(符号是指矢量之间的角度，符号“：”是指两个实际值之间的比率)。距离d＝d_i+[(α-α_i)/(α_i+1-α_i)]*(d_i+1-d_i)-(符号“/”是指实数除法，并且符号“*”是指实数的乘积)。

然后对于不同的角度β重复之前两段中描述的校准程序，直到已经对第一反射镜的角度α和第二反射镜的角度β的所有组合进行了校准。针对第二反射镜的每个角度β，对第一反射镜的角度α的整个范围进行校准，如上所述。

在操作期间，控制单元对偏转反射镜的角度和单个像素集合的调制信号进行控制。系统以循环方式(以帧的方式)工作。一个循环包括设置阶段、曝光阶段、读出阶段、处理阶段和输出阶段。对各个阶段进行流水线处理，使得当前帧的曝光阶段与前一帧的处理阶段同时执行。

在设置阶段，控制单元为即将到来的曝光阶段准备照明子系统和摄像机子系统。该准备包含图像传感器复位，调制信号的准备(调制功能方面)，图像传感器曝光设置，偏转发射镜的角度设置为α_最小，和调整激光功率。在一些实施方式中，控制单元执行其它准备步骤。

在曝光阶段期间，控制单元将信号发送到照明子系统，以打开激光源并改变偏转发射镜的角度。如果T是以秒为单位的帧曝光时间(0≤t≤Ts)。控制单元改变每个反射镜的角度α，使得＝α_最小+(t/T)*(α_最大–α_最小)。

在一些实施方式中，偏转角度与曝光期间之间的依赖性是非线性的。

控制单元将调制信号施加到各个像素集合。举例来说，在一些情况下，使用9位二进制格雷码驱动各个像素集合的调制。9位格雷码可以编码512个离散码字C_xy。时间T被分为相同持续时间(|Ti|＝T/512)的512个单独的时间周期T_i＝<t_i，t_i+1)(i∈0...511)，使得在连续编码中，每个时间周期都有自己的9位码字(000000000，000000001，000000011，000000010，...)。在帧期间，t(t_击中)在任何时间都对应一些间隔T_i。在间隔T_i期间，控制单元使用相关码字对像素集合的响应进行调制。第一像素集合由码字的第一位控制，第二集合由码字的第二位控制，…，第九集合由相关码字的第九位控制(如果特定位为0，来自该特定集合的所有像素均为“关闭”，如果该位为1，像素为“打开”，对光进行响应)。

这里描述的用9位格雷码的方法与图3所示的5位格雷码的方法相同，其中对代码中的不同位数进行了适当修改。

在读出阶段，控制单元向摄像机子系统发送控制信号以读取图像。图像被发送到处理单元。

在处理阶段，摄像机的原始图像被分割为9个不同的子图像。该图像具有与超像素相同的结构。第一子图像由第一像素集合中的像素捕获的图像值组成。第二子图像由第二像素集合的像素捕获的图像值组成，...，第九子图像由第九像素集合的像素捕获的图像值组成。所有九个子图像具有相同的分辨率。子图像矩阵P是图像，其中，每个像素具有来自特定子图像(v₁，...，v₉)的9个值。子图像矩阵的值是9D强度矢量(矢量的分量对应于特定的子图像像素值)。由于超像素中的像素靠近，所以超像素中的各个像素捕获来自大致相同区域的光。超像素的中心被作为子图像矩阵中的像素中心处理(用于几何计算的目的)。

子图像矩阵P中的每个像素捕获来自场景的一部分(兴趣对象的一部分或者兴趣区的背景的一部分)的光。如果照明模块没有照射兴趣区，除了任何环境光之外，像素不会捕获光。如果照明模块照射兴趣区，其在未知时间t照射该区域(由于偏转反射镜的旋转，一般发生在非常短的时间周期内)。当在摄像机帧的曝光期间发生这种情况时，t∈T_i。在时间周期T_i中，图像传感器的像素集合的响应由第i个码字调制。因此，光在时间周期T_i击中兴趣区。在该时间周期内，活动区域中仅一部分像素集合基于特定码字的位而“打开”。P的9D强度向量是(v₁，v₂，....，v₈)。对应于在T_i期间为“打开”的像素集合的强度值高于阈值(当其从兴趣区接收反射照明时)。对应于为“关闭”的像素集合的强度值不捕获光，因此该值低于阈值。对阈值进行二值化产生9位码字。通过对该码字(例如，图4中的格雷至二进制)进行解码，计算机计算时间间隔i(时隙)的指标。因此，该算法以高达T/512(作为时隙T_i的中心)的精度对时间t进行解码。保留码字000000000以用于未被照明子系统照射的像素。将(0,0,0)的3D坐标发送至用于这些像素的输出。(请注意，由于同时发生的帘幕调制，图像传感器的整个非活动区域对光不敏感，因此本段中描述的超像素调制可能仅在图像传感器的活动区域中有实际效果。)

对于时间t，处理单元计算(i)平行于激光束、(ii)与激光束相交、以及(iii)对应于第一偏转反射镜的特定角度α和第二偏转反射镜的特定角度β的垂直平面的平面方程。使用该平面方程和在摄像机子系统的校准期间收集的数据，计算机计算垂直平面和超像素的像素射线的交点。像素射线是来自场景的光沿着其行进到超像素的中心的半直线。交点是世界坐标系中的3D坐标，并且将其作为特定像素P的输出值予以保存。对子图像矩阵的所有像素执行算法。

在输出阶段，控制单元将计算的3D坐标发送出系统。

在该系统的说明性实施例中，投影仪空间对应被编码为用于像素调制的代码。因此，针对子图像矩阵的每个像素单独计算3D坐标。

图29A是本发明的说明性实施方式中的3D扫描系统的图。该系统包含摄像机子系统2901和照明子系统2903。

在该系统的一些实施方式中，照明子系统2903包括激光器2921，两个检流计致动光学扫描器(检流计)和透镜2913。第一检流计包括第一检流计致动器2925和第一反射镜2929。第二检流计包括第二检流计致动器2945和第二反射镜2949。在扫描期间，第一检流计致动器2925控制第一反射镜2929的取向，而第二检流计致动器2945控制第二反射镜2949的取向。两个检流计一起控制来自激光器2921的激光束2928的偏转角。举例来说，透镜2913可用于聚焦光束。然而，透镜2913是可选的。在许多情况下，照明子系统2903不包含透镜。

在图29A所示的示例中，激光束2928被朝向场景2929投影。激光束2928在场景上投影激光照明点。该场景在照明子系统的视野2931和摄像机子系统的视野2933范围内。投影光2935从场景或周围墙壁中的物体朝向摄像机子系统反射。

在图29A所示的示例中，照明子系统将激光束投影到其视野中。投影光2928从场景2929反射，并且穿过摄像机光学器件2907。摄像机光学器件2907包含滤光器2909和透镜2911。反射光2935然后落在图像传感器2905上。在每个摄像机帧期间，激光2928横穿相同的路径通过场景。当激光2928在每个摄像机帧期间横穿该路径时，激光2928在每个帧期间的不同时间照亮场景的不同部分，使得场景的每个部分在每个帧期间被照亮至少一次。

图29B是显示了在本发明的说明性实施方式中可能由两个旋转反射镜产生的光路的四个示例的图。在图29B所示的示例中，第一反射镜2952围绕旋转轴2962旋转，而第二反射镜2953围绕旋转轴2963旋转。轴2962和2963可以彼此垂直(例如，水平和垂直)。通过将两个反射镜2952、2953旋转到旋转位置的不同组合，两个反射镜可以一起在3D体积中以不同的方向偏转来自激光器2951的光。举例来说，旋转一组两个反射镜2952、2953可以致使来自激光器2951的光束在方向2971、2972、2973、2974上从反射镜组偏转，每次不同的时间一次。

在说明性实施方式中，可以采用照明系统(例如，图29A中的2903和图29B中的2951、2952、2953)进行帘幕调制。举例来说，照明系统可以在不同时间在场景中以不同方向投影光束，使得光点在场景上移动(例如，以Z字形路径)以进行帘幕调制。

在一些实施例中，使用机械偏转系统改变投影光的方向。举例来说，在一些情况下，偏转系统包括检流计致动光学扫描器，MEMS反射镜或多面反射镜。在一些情况下，用于检测反射镜的旋转角度的传感器包含在照明子系统中。在一些情况下，用于反射表面(例如，两个反射镜或者DMD中的反射镜)的控制信号指定反射表面的特定位置。另选地，一组反射镜(例如，两个反射镜)各自振荡，并且用于反射镜的控制信号指定反射镜的位置的周期性振荡。

图30是显示了3D扫描方法中的步骤的流程图。在图30所示的示例中，设置所需的定时参数(诸如每秒帧数)。(步骤3001)。激活定时器；该定时器以所需的帧率触发帧捕获。(步骤3003)。系统向控制单元发送信号(步骤3005)。控制单元3017具有在每帧开始时启动的定时器(步骤3019)。根据控制单元定时器提供的时间，控制单元计算用于每个像素集合的超像素调制(步骤3025)并且计算照明子系统的位置信息(步骤3021)。将超像素调制信号发送到相应的像素集合(步骤3027)。对于帘幕调制，计算机计算对卷帘幕窗口的调整，即，计算图像传感器的活动区域的位置变化。这些调整致使活动区域重复地在图像传感器上移动，诸如，进行重复的垂直向上移动(步骤3028)。定位信号发送到照明子系统。举例来说，该定位信号可以控制用于旋转反射镜的致动器，以控制激光束被偏转的角度，并且因此控制在场景上快速移动进行帘幕调制的激光点的位置。(步骤3023)。在帧结束处(其由定时器确定与所需帧率同步)，处理单元从摄像机接收数据(步骤3007)。使用来自摄像机3009的数据以及之前收集的校准数据3011，计算机计算3D模型(步骤3013)并将其作为输出发送(步骤3015)。

图31是显示了3D扫描方法中的步骤的流程图，其中对时隙进行计算。在图31所示的示例中，该方法的步骤包含帧启动(步骤3101)，照明(步骤3103)，记录强度3105，从摄像机像素读取值(步骤3107)，与阈值比较，产生代码，解码(步骤3111)，获得时隙和指标(步骤3113)，针对放置点的每个给定距离计算最适合在各个时隙期间拍摄的一组点的平面的方程(步骤3115)，计算像素射线方程，其是从摄像机像素的中心到场景3109的射线的方程，并且计算这两个数学方程3117的交点。

在说明性实施方式中，图32是显示了在本发明的说明性实施方式中校准成像系统的方法中的步骤的流程图。该方法包含：作为初步步骤，将摄像机和投影单元放置到位，以便尽可能精确地对摄像机和投影单元进行机械对准。在一些情况下，还可将临时第二摄像机刚性附接到成像系统。临时第二摄像机可以附接到投影单元附近(例如，图29A中的照明子系统2903的上方或下方)，以便提供用于校准的基线。然后校准第一摄像机3201的参数。校准第二摄像机3203的参数。校准摄像机对距离3205。使用检流计致动光源根据单点参数3207进行投影。校准投影单元和摄像机的位置并且校准投影单元3209的参数。验证参数(例如，通过3D扫描平面)3211。在图32中，投影单元将移动的激光束投影到场景上。举例来说，投影单元可以包括图29A中的照明子系统2903或者图29B中的激光器2951和反射镜2952、2953。

举例来说，在一些情况下，校准方法包含以下步骤。首先，使用校准图案确定每个单个摄像机的参数。将精确印刷或蚀刻的校准图案放置在摄像机视图中的不同位置。位置均匀地覆盖摄像机的所需范围和视野。在许多情况下，摄像机至少拍摄10张校准图案的图片。然后，计算机在该输入端运行算法，以标准格式计算矩阵，其中包含所确定的摄像机参数。如果由算法指示的数学不确定度不在所需的阈值以下，重复该过程。

逐个对所有摄像机进行重复校准。

在校准所有摄像机之后，确定摄像机相对于彼此的位置。选择第一个摄像机(#1)作为确定其它摄像机的相对位置的主要参考点。每对摄像机#1-摄像机#x，至少拍摄来自两个摄像机拍摄的校准图案的10张图片。该图案被放置在不同的位置，面向摄像机，以便均匀地覆盖摄像机的所需范围和视野。算法将图像作为输入并且计算摄像机的相对位置。如果由该算法指示的数学不确定度不低于所需的阈值，使用新拍摄的图像重复确定摄像机位置。

此后，确定光源的位置和投影参数。将白色扁平物体放置在系统前方，使得来自光源的光被反射并且摄像机可以拍摄投影点的图像。光源投影许多单点图案，覆盖整个范围。然后将白色扁平物体以不同的距离放置并且重复该过程。白色扁平物体以不同的距离放置在至少5个位置，以均匀地覆盖系统的所需范围。

将图案的图像输入，以用于算法计算投影单元的相对位置以及投影参数(投影单元的数字输入到投影线的实际角度的映射)。如果算法所指示的数学不确定度不低于所需阈值，使用新拍摄的图像重复确定投影单元的位置及其参数。

此后，完成验证步骤。将上一步骤收集的图像提供给计算投影点位置的三角测量算法。通过数学计算在白色扁平物体处于一个距离处时最适于拍摄点的平面。白色扁平物体的下一个位置产生另一个平面等。

在该方法中，如果系统使用一个摄像机，附加的第二个摄像机临时但刚性附接到系统。在完成校准过程后，拆卸附加摄像机。

这是在本发明的一些实施方式中使用的校准技术的另一个非限制性示例。在该示例中，校准参数由内部部分和外部部分组成。摄像机的内部属性包含投影的局部行为、摄像机矩阵和镜头失真模型的参数。外部属性包含摄像机相对于世界坐标系的位置/旋转。

所有参数均通过自动或半自动过程计算。在这一过程中，摄像机以多个不同的位置/取向(图34)捕获已知的校准图案(例如，图33)。自动使用算法计算该图案的各个圆的位置。每个单独的圆已经在图案坐标空间(在公制坐标中)中编码其中心的位置。

当系统知道摄像机的内部参数和校准图案的位置/取向时，每个单独的圆心(在世界坐标空间中)的位置将被投影到摄像机坐标空间(投影坐标)。计算每个圆的位置(图像坐标)。重投影误差是投影坐标和每个圆的图像坐标之间的差。

在过程开始时，摄像机的内部参数和校准图案的位置/取向是未知的。计算机使用优化技术计算参数，以最大限度地减少校准图案的所有捕获图像的重投影误差(例如，均方误差)。

在计算所有摄像机的内部参数之后，使用相同的捕获图案，通过优化技术确定各个摄像机的位置，以最大限度地减少重投影误差。

另选地，可以使用其它校准技术，诸如部件到精确位置的机械对准。

图33是显示了在光学校准图案中使用的圆的四个示例的图。在一些情况下，光学校准图案包括大量这样的圆。使用唯一视觉代码对校准图案中的每个圆(例如，3301、3303、3305、3307)进行编码，并且因此校准图案中的每一个圆都是唯一可识别的。

图34是显示了使用校准图案的图。校准图案被精确地印刷或蚀刻在平面上。校准图案被放置在摄像机3401的视图中的不同位置3402处(一次一个位置)。位置均匀地覆盖摄像机的所需范围和视野。在一些情况下，摄像机捕获10张或更多张校准图案的图片。在图34中，当校准图案被放置在不同距离时，九个点(三个点3407、三个点3408和三个点3409)表示照亮校准图案的激光点的位置，一次一个点。(在许多情况下，在校准期间捕获了九个以上点位置的照片)。

坐标系

在说明性实施方式中，用于3D扫描的计算涉及坐标系的使用。可以使用各种坐标系。

这是在本发明的一些实施方式中用于三角测量和校准的坐标系的非限制性示例。在说明性实施方式中，图像传感器由多个像素(例如，数千像素、或者数百万像素、或者数十亿像素、或者任何其它数量)组成。像素以2D矩阵排列，形成作为图像坐标系的2D坐标系(u，v)。图像传感器上的每个位置由两个实数(u，v)(来自R²的2D矢量)进行描述。坐标位于间隔(<0，U-分辨率，<0，V-分辨率>)中，其中，U-分辨率是图像传感器中的水平像素数，V-分辨率是图像传感器中的垂直像素数。

在一些情况下，图像平面是平坦表面并且坐标系由2个正交轴U和V组成。在本发明的另一个实施方式中，图像传感器是弯曲表面。

光从场景中的物体反射，穿过摄像机光学器件(在许多情况下包含透镜)并且在传感器表面上形成图像。由图像传感器捕获的图像具有与图像传感器相同的坐标系。摄像机具有摄像机中心而且图像平面位于摄像机中心的前方。摄像机中心和图像平面之间的垂直距离等于摄像机的焦距。与摄像机中心交叉的垂直于图像平面的线是主轴。主轴与图像平面的交点被称为主点(p)。

摄像机坐标系是具有3个正交轴的局部笛卡尔坐标系。坐标系的原点在摄像机中心c。x轴具有与传感器的u轴相同的方向，y轴具有与v轴相同的方向，而z轴具有与主轴相同的方向。每个摄像机子系统具有自己的摄像机坐标系。场景坐标系(即世界坐标系)是全局坐标系。任何摄像机坐标系和世界坐标系之间的坐标变换属于标准坐标转换(由坐标转换矩阵及其逆变换表示)。摄像机坐标系与摄像机子系统坐标系相同。坐标转换矩阵R_t为

其中，r_i,j是旋转参数，而t_i是平移参数。

从世界坐标到图像坐标的投影以如下方式进行。场景中的某一点的世界坐标是X_h＝(x,y,z,1)^T(齐次坐标中)。世界坐标通过矩阵乘法转换为摄像机坐标空间，如下所示：

X＝R_t*X_h

点x被投影到归一化图像平面(其位置距离摄像机中心的焦距为1)。场景中投影到归一化图像平面的点x的坐标是

x_n＝∏*x，其中

为了转换为图像坐标x_i，x_n乘以摄像机矩阵A(其表示摄像机内在参数)

x_i＝A*x_n

在该系统的一些实施方式中，变换E(2D齐性空间到2D齐性空间的映射)补偿(至少部分地)透镜系统的光学失真。图像坐标的计算如下。

x_i＝A*e[Π*(R_t*X_h)]

具有像素x_i的特定位置时，在点x_i的图像坐标和对应的归一化坐标X_n(归一化图像平面上的坐标)之间存在双射。具有归一化坐标X_n时，存在无限数量的点，每个点投影到归一化图像平面上X_n。所有这些点都位于半直线(射线)上。半直线的方程是

x＝c+(x_n-c)*d

其中x是空间中3D点的坐标矢量，c是摄像机中心(3D点)的坐标矢量，X_n是点X_i的归一化坐标矢量，且d>0是等于距离(参数)的实数。符号“*”是向量乘以标量的乘法。

2D图像坐标与3D半直线之间的关系被称为图像点/坐标重投影。

在本发明的一些替代实施方式中，使用更复杂的几何模型。在该模型中，像素到空间的投影被处理为光可能参与最终像素强度的分布函数。

在一些情况下，3D扫描系统采用三角测量来确定深度并且采用移动激光点来照射场景。在这种激光三角测量系统中，校准有时以如下方式进行。校准在迭代中完成。首先，如前所述地执行用于校准摄像机子系统的方法。为了校准由激光器点亮的空间中的表面，使用由多个圆(诸如，3301、3303、3305、3307)组成的校准图案。在该过程中，每个摄像机子系统捕获校准图案的图像(白色区包括反照率接近1的漫射表面，黑色区包括反照率接近0.5的漫射表面)。

校准图案印在稳定的平面上(例如，玻璃台顶部)。在摄像机曝光期间，摄像机子系统、激光器和校准图案的相互位置是固定的。首先，当激光器关闭时，摄像机捕获由环境光照射的校准图案的图像。

从该帧，对于每个摄像机，算法计算平面的方程，其(在该校准步骤期间)对应于校准图案的平面表面(该过程是摄像机校准的子部分)。

系统的所有元件的位置/取向保持固定，同时摄像机拍摄由激光器照亮的图案的图像(激光器在第二次曝光之前打开)。激光在校准图案上投影移动的激光点。使用算法分析所捕获的图像以检测这些点的轨迹(例如，通过使用阈值转换法以及寻找强度值的重心)。这些点的轨迹提供了关于校准图案的多个位置的信息。这些点的轨迹的表示可以是2D图像坐标的连续链。算法可以将这些坐标重新投影到3D中，从而得到从摄像机中心引出的一组半直线。

此后，算法计算半直线与校准图案平面的3D交点。这些3D坐标作为链(样品)存储在内存中，该链是激光投影的3D表示。然后，操作员改变校准图案的位置(在一些实施方式中，使用机器人手臂自动改变校准图案的位置)，使得校准图案的新位置定义了与所有之前不同的平面。在校准过程中，操作员/机器人将校准图案放置在多个位置，以确保均匀覆盖系统测量范围内的被测样本。在捕获足够数量的样本(至少2个)之后，通过使被测样本点的误差(例如，均方距离)最小化以及表面的几何表示，计算激光照射的3D表面(例如，直纹曲面)的几何表示。

三角测量

在一些实施方式中，系统计算摄像机子系统的视野中的表面点的3D位置。对于摄像机的每个像素，该算法计算像素射线。像素射线是重投影(来自摄像机中心的半直线)。为计算沿半直线的精确3D位置，该算法使用附加约束计算方程中的d。具体地，附加约束是从摄像机中心穿过像素的平面和半直线永不平行，即，始终存在交点(如下所讨论的)。在一些实施方式中，直接计算距离d并代入方程。在一些实施方式中，由三角测量原理计算距离d。附加约束是特定点所在的平面或者第二半直线。

在一些情况下，对于作为附加约束的平面(平面和像素的重投影不会平行)，特定像素p的3D点x必须满足两个标准：

x＝c+(x_n-c)*d

n_p.x+d_p＝0

其中，n_p是平面的3D法向矢量，d_p是平面与坐标系原点之间的欧几里德距离，而符号“.”是两个3D矢量的点积。为了获得准确的3D点x，该算法执行以下算法计算未知d：

d＝(n_p.c+d_p)/(n_p.(c-X_n))

其中符号“/”是实数的除法。

因为线和平面不平行，所以(n_p.C-n_p.Xn)非零，并且存在d。如果d>0，计算机计算x。

x＝c+(X_n-c)*(n_p.c+d_p)/(n_p.(c-X_n))

在一些实施方式中，使用激光、摄像机和三角测量技术检索场景中的表面点的3D位置。举例来说，图28中所示的系统使用激光三角测量。激光以激光线、激光点或者不同的光形状(例如，3D中的直纹曲面)的形式从照明子系统2801发射。每个照明子系统和每个摄像机子系统的相互位置和取向在任何时间t都是已知的。在时间t，照明子系统在场景2811上发射光。对于摄像机的每个像素，如果激光器照射由像素观察到的场景的一部分，处理单元2805计算场景的被照射部分的3D位置。激光器照射的所有点都位于场景中定义的3D表面上。摄像机的像素从射线收集光。3D点位于该射线与由激光器定义的表面的交点处。在一些情况下，有一个以上这样的交点并且处理单元通过其它正则化标准来选择最终3D位置。

在激光三角测量的一些实施方式中，选择简单的平面方程作为激光照射的3D表面的表示。在这种情况下，使用用于平面拟合的算法(基于主分量)。

在激光三角测量的一些实施方式中，激光器和摄像机的相互位置和取向不随时间发生变化。然而，激光源的位置和取向可以以良好的受控方式及时发生变化(例如，位置的机械变化、旋转、通过反射镜的偏转)。在这种情况下，对固定数量的不同激光源位置/取向执行校准。充分使用数学模型和插值法计算所有其它位置/取向的激光照射表面的方程。

在三角测量的许多实施方式中，执行轮廓检查。在这种情况下，照明子系统包括激光线源。在测量期间，激光照射场景的单个轮廓，摄像机子系统捕获激光的投影，并且使用在部分校准中使用的方法用算法分析图像。3D点表示测量的轮廓。

多摄像机子系统

在一些实施方式中，3D扫描系统包含两个摄像机子系统。对于每个摄像机和每个像素，该算法计算光峰值的时间t。这些值存储在时间图像中(图像的像素是t的值)。

第一摄像机子系统为主摄像机子系统。对于主摄像机的每个像素，该算法计算像素重投影。对应的3D点位于第二摄像机的图像中的核极线上。在第二台摄像机的时间图像上，核极线切割图像，产生了时间值的1D函数。算法使用从相邻像素进行双线性插值来计算核极线上的任何值。表面点的相应投影位于核极线上并且具有与主摄像机的像素相同的时间t。算法计算1D函数中的值t的位置(使用双线性插值的子像素精度)。该位置对应于第二摄像机上的像素位置。算法将像素位置重投影为3D半直线。算法将3D点计算为两条半直线的交点。这种方法的优点在于鲁棒性和精度更高，同时几何计算不依赖于照明子系统的校准。

备选实施方式

在系统的一些实施方式中，系统包含多个照明子系统。在本发明的一些实施方式中，场景中的特征通过照明子系统人为形成。有不同的编码策略为场景中的不同点创建特定的编码。这使得特征检测和位置估计的鲁棒性和精确度进一步提升。

在一些实施方式中，本发明可以多种方式操作。一种方式是高空间分辨率模式，其对所有像素使用相同的调制信号。来自不同集合的像素被组合以产生一个高空间分辨率图像。在这种模式下，图像传感器中的所有像素都像一个像素集合一样起作用。切换到该模式的功能允许扫描仪在实时(较低分辨率)模式和非实时(多个连续的摄像机帧)高分辨率模式之间进行选择，以进行更精确的重建。

在系统的一些实施方式中，系统以实时模式(具有不同的像素调制信号)或者以高分辨率模式运行。在高分辨率模式下，扫描过程可以包括多个连续的曝光和激光扫描过程。在高分辨率模式期间的每次曝光中，控制单元将超像素调制信号施加到整个图像传感器。多个像素值由连续捕获的值组成。这允许计算光峰值的时间t和图像传感器中每个像素的适当的3D点。

在本发明的一些实施方式中，系统使用不同的编码策略来与格雷码一起对像素照明时间进行编码。在一些实施方式中，控制单元产生了具有相等周期和不同相移(例如，4个正弦函数相继偏移π/2rad)的一组周期性正弦函数。将该组调制函数(相移调制函数)应用于适当数量的图像集合(在一些情况下，多个图像集合由相同的函数调制以便收集更多样本)。相应的像素集合(以及每个超像素中的对应像素)是相移像素(以便简化描述)。调制函数的周期数提高了编码的可能精度。在许多情况下，函数的周期至少比激光线扫过传感器各个像素的投影区域所需的时间周期T_s长2倍。

在一些实施方式中，到被测表面的距离不影响时间T_s。虽然时间周期T_s较短(由于给定约束)，但是接收的照明(所收集的像素强度)、超像素中的相移像素的值对相位(周期内的位置)进行编码。当编码使用周期函数时，该算法从格雷编码像素计算周期的指标(指标时间周期T_i比所使用的正弦函数的周期短)。在一些实施方式中，系统使用4个相继偏移π/2rad的正弦函数。相应的移相像素的值分别为A0、A1、A2、A3。该算法使用以下方程计算相位值

光峰值的时间t可以计算为：

其中，T_周期是正弦函数周期的长度，“周期指标”是从时间周期T_i导出的周期的指标。

在一些实施方式中，系统使用具有不同周期的相移调制函数。举例来说，第一组相移调制信号具有与曝光T相同长度的周期，第二组具有T/256个周期。该算法对两组的光峰值的相位值进行解码(在激光点移动穿过传感器的各个像素的投影的时间)。第二相值表示光峰值出现的时间的准确测量值(高达周期指标)，第一相位值表示明确的测量值(与多周期相移调制函数的相比，这种测量由于传感器的物理限制，在大多数情况下不太准确)，算法使用其设置正确的周期指标。

在一些实施方式中，系统使用不同的调制函数(例如，方波)。

在该系统的一些实施方式中，每个像素将电荷存储在多个存储装置中。调制信号控制累积的光电子到不同存储器的分配。这允许在单个像素中捕获多个相移值。

计算机

在本发明的示例性实施方式中，一个或多个电子计算机(例如，2803、2805)被编程且特别适用于：(1)控制成像系统的硬件部件的操作或者与其的接口连接，包含通过对像素光电二极管中的电荷到一个或多个存储装置的转移进行调制，以及用于控制反射式或者透射式SLM以控制入射在图像传感器像素上的光的强度；(2)控制包含照明子系统和摄像机子系统的3D扫描系统的硬件部件的操作或者与其的接口连接；(3)处理由图像传感器捕获的数据；(4)执行三角测量以重建三维表面几何；(5)执行校准，包含任何摄像机或光源的校准；(6)输出用于修改像素对入射光的响应的调制信号；(7)输出控制信号以使场景的照明与像素的调制同步；(8)执行以上描述或者暗示的任何其它计算、运算、程序、算法、计算机功能或者计算机任务，包含任何优化算法；(9)接收指示人类输入的信号；(10)输出用于控制换能器以输出人类可感知格式的信息的信号；以及(11)处理数据，执行计算，运行任何算法或软件，以及控制数据到存储装置读取或写入。一台或多台计算机可以处于3D扫描系统或者成像系统内部或者外部的任何一个或多个位置。举例来说，在一些情况下(a)至少一台计算机被容置或者与系统的其它部件一起被容置，以及(b)至少一台计算机远离系统的其它部件。一台或多台计算机以下述方式彼此连接或者连接到系统中的其它部件：(a)以无线方式，(b)通过有线连接，或者(c)通过有线和无线连接的组合。

在示例性实施方式中，一台或多台计算机被编程为执行以上描述或者暗示的任何及全部计算、运算、程序、算法、计算机功能和计算机任务。例如，在一些情况下：(a)机器可访问介质具有在其上编码的指令，该指令指定了软件程序中的步骤；以及(b)计算机访问在机器可访问介质上编码的指令，以便确定要在程序中执行的步骤。在示例性实施方式中，机器可访问介质包括非临时性有形介质。在一些情况下，机器可访问介质包括(a)内存单元或者(b)辅助内存存储装置。举例来说，在一些情况下，计算机中的控制单元从内存中获取指令。

在说明性实施方式中，一台或多台计算机根据在一个或多个非临时性的有形计算机可读介质中编码的指令来执行程序。举例来说，在一些情况下，这些指令包括用于计算机执行以上描述或者暗示的任何计算、运算、程序、算法、计算机功能或者计算机任务的指令。举例来说，在一些情况下，在非临时性的有形计算机可读介质中编码的指令编码包括使计算机进行以下操作的指令：(1)控制成像系统的硬件部件的操作或者与其的接口连接，包含通过对像素光电二极管中的电荷到一个或多个存储装置的转移进行调制，用于控制反射式或者透射式SLM以控制入射在图像传感器像素上的光的强度；(2)控制包含照明子系统和摄像机子系统的3D扫描系统的硬件部件的操作或者与其的接口连接；(3)处理由图像传感器捕获的数据；(4)执行三角测量以重建三维表面几何；(5)执行校准，包含任何摄像机或光源的校准；(6)输出用于修改像素对入射光的响应的调制信号；(7)输出控制信号以使场景的照明与像素的调制同步；(8)控制并同步光点的移动(其移动穿过场景)以及图像传感器的活动区域的移动；(9)执行以上描述或者暗示的任何其它计算、运算、程序、算法、计算机功能或者计算机任务，包含任何优化算法；(10)接收指示人类输入的信号；(11)输出用于控制换能器以输出人类可感知格式的信息的信号；以及(12)处理数据，执行计算，运行任何算法或软件，以及控制数据到存储装置读取或写入。

定义

术语“一”和“一个”在修饰名词时，并非暗示只存在一个该名词。

“基于”指定数据进行计算是指执行以该指定数据为输入的计算。

“布尔逻辑”是指布尔代数。

以下是“摄像机”的一些非限制性示例：(a)记录图像的光学仪器；(b)数码摄像机；(c)摄影机；(d)使用摄影胶片或摄影底片的摄像机；(e)光场摄像机；(f)成像系统，(g)成像传感器；(h)飞行时间摄像机；(i)包含成像传感器或成像传感器阵列的设备；以及(j)用于收集关于入射到设备上的光的数据的设备。术语“摄像机”包含处理由该摄像机拍摄的数据的任何计算机。

术语“包括”(及其语法变体)应被解释为似乎其后接“但不限于”。如果A包括B，那么A包含B并且可以包含其它事物。

术语“计算机”包含执行逻辑运算和算术运算的任何计算装置。例如，在一些情况下，“计算机”包括电子计算装置，诸如集成电路，微处理器，移动计算装置，膝上型计算机，平板计算机，个人计算机或者大型计算机。例如，在一些情况下，“计算机”包括：(a)中央处理单元，(b)ALU(算术/逻辑单元)，(c)存储器单元，以及(d)控制单元，其控制计算机的其它部件的动作，使得按顺序执行程序的编码步骤。例如，在一些情况下，术语“计算机”还包含外围单元，其中包含辅助存储器存储装置(例如，磁盘驱动器或者闪存)。然而，一个人并非如该术语在本文使用的“计算机”。

“被定义术语”是指在本定义部分以引号列出的或者在权利要求书中列出的术语或者短语。

投影在场景上的“光点”是指投影在场景上的准直光。术语“光点”并非暗示任何特定的形状或者尺寸。

术语“例如”是指举例来说。

给出某些事物的一个或多个“示例”的事实并非暗示其为该事物的唯一实例。一个示例(或者一组示例)只是非穷举性且非限制性的例示。

除非上下文明确指出，否则：(1)包含“第一”事物和“第二”事物的短语并非暗示这两个事物的次序(或者仅存在这两个事物)；以及(2)这种短语只是分别识别这两个事物的方式，使得其每个稍后都可以被具体引用(例如，通过稍后引用“第一”和“第二”事物)。例如，除非上下文明确指出，否则，如果方程式具有第一项和第二项，那么该方程可以(或者可以不)具有两个以上的项，并且第一项可以在该方程式的第二项之前或之后出现。包含“第三”事物、“第四”事物等等的短语应当以同样的方式解释。

术语“比如”是指举例来说。

在摄像机(或者摄像机的部件)的上下文中，在摄像机的正常运行期间，“前”在光学上更靠近正在被成像的场景，而“后”在光学上离场景更远。

“本文”是指在本文档中，包含文本、说明书、权利要求书、摘要和附图。

除非上下文明确指出，否则，“高”和“低”均为布尔逻辑值。例如，“高”和“低”布尔逻辑值可以通过特定的电压范围进行物理表示。哪个电压范围被分配到哪个布尔逻辑值是任意的。因此，例如：(a)布尔逻辑值“高”可以由第一电压范围表示；(b)布尔逻辑值“低”可以由第二电压范围表示；以及(c)第一电压范围中的电压可能大于第二电压范围中的电压，反之亦然。

术语“图像传感器”是“成像传感器”的另一种表达方式。

“成像像素”是指图像传感器的部件，该部件对入射到图像传感器的区域上的光的强度进行测量，使得对整个区域进行强度测量而不是对该区域的任何子区域进行单独测量。

“成像超像素”是指成像像素集合，使得该集合中的每个成像像素均与该集合中的另一个成像像素以水平、垂直或对角线方式相邻。

如本文所使用的：(1)“实施方式”是指本发明的实施方式；(2)“实施例”是指本发明的实施例；(3)“情况”是指本发明的实施方式的情况；以及(4)“使用场景”是指本发明的使用场景。

术语“包含”(及其语法变体)应被解释为就像其后接“但不限于”。

“强度”是指对强度、能量或者功率的任何度量或者与强度、能量或者功率相关的任何度量。举例来说，光的“强度”包含以下任何度量：辐照度、光谱辐照度、辐射能量、辐射通量、光谱功率、辐射强度、光谱强度、辐射率、光谱辐射度、辐射出射度、辐射发射率、光谱辐射出射度、光谱辐射发射率、辐射度、辐射曝量或辐射能量密度。在两个强度的比率的情况下，该比率中的两个强度都具有相同的SI单位。

“光”是指任何频率的电磁辐射。举例来说，“光”包含，尤其是，可见光和红外光。同样地，直接或间接涉及光(例如，“成像”)的任何术语都应被广义地解释为适用于任何频率的电磁辐射。

X和Y的短语“逻辑‘与’”是指等于X“与”Y的布尔值，其中，引号中的“与”是指布尔代数运算符“与”。

X比Y“少得多”的表达是指

术语“n元”在本文档的其它地方定义。

如果两个像素被定位成使得(i)两个像素彼此相邻并且(ii)两个像素之间没有像素，那么这两个像素“相邻”。

术语“或”是包含性的，而非排它性的。举例来说，如果A为真，或者B为真，或者A或B都为真，则A或B为真。而且，例如，A或B的计算是指A的计算，或者B的计算，或者A和B的计算。尽管有前述内容，在短语“高或低”中的“或”一词为排它性的或。

“读出帧”是指当成像像素对光的曝光开始时开始并且当产生指示在曝光期间累积的电荷的数字数据时结束的时间周期。

像素在给定时间“接收”光的表达是指光(i)在给定时间入射到像素上或者(ii)将在给定时间入射到像素上，但是通过SLM时则为衰减。

“反射式SLM”是指(i)反射来自装置的光，并且(ii)使光衰减，使得在装置表面上的点入射的光线的衰减量至少取决于该表面上的点的2D空间位置的装置。

如本文所使用的，术语“相同路径”被解释为，无论由照明源投影到场景上的光是否在每个周期中在“相同路径”行进通过场景，都使得：(a)仅取决于每个时间周期内光相对于照明源的时变角度取向；以及(b)不取决于光相对于场景中的特征(包括相对于场景中的移动特征)的位置。

如本文所使用的，术语“集合”不包含所谓的空集合(即，不具有元素的集合)，并且不包含仅具有一个元素的集合。提及第一个集合和第二个集合本身并不会产生关于第一个集合和第二个集合是否重叠(即，相交)的任何暗示。

术语“信号发生器”包含任何信号发生器、函数发生器、数字模式发生器、频率发生器和产生重复或不重复的电信号(包括数字信号或模拟信号)的任何其它电子装置。

对于两件事情是“同时”的表达是指其至少部分在时间上重叠。

“一些”是指一个或多个。

“空间光调制器”又称“SLM”，是指一种电子控制装置，其(i)通过该装置透射光或者反射来自该装置的光，以及(ii)使光衰减，使得在该装置表面上的点处入射的光线的衰减量至少取决于表面上的点的2D空间位置。

改变成像像素的“敏感度”的非限制性示例是改变电路的状态，以便对一组存储装置中的接收特定电荷的存储装置进行控制，该电荷(i)在成像像素的光电二极管中累积并且(ii)将不会且尚未转移到该组中的任何其它存储装置或者将不会且尚未从该组中的任何其它存储装置转移。

对于一组信号是“分离的”的表达是指，该组中没有信号是该组中任何其它信号的函数。

“存储装置”是指用于存储电荷的任何装置，包括电容器、浮动扩散部或电容式存储箱。

第一区域的“子区域”是指该第一区域一部分而非全部。

如本文所使用的，集合的“子集”由少于该集合的所有元素的元素组成。

“基本上”是指至少百分之十。例如：(a)112基本上大于100；和(b)108并非基本上大于100。

“基本上全部”是指介于98％至100％之间。

术语“诸如”是指举例来说。

对于成像传感器的区域“扫过”传感器的表达是指，该区域经历相对于传感器的移动，该移动(a)相对于传感器处于恒定的方向，以及(b)通过改变作为该区域成员的具体像素而发生。

为了便于描述，使用诸如“在…之下”、“在…下面”、“在…上面”、“在…之上”、“上方”、“下方”之类的空间相对术语，以说明一个元件相对于另一个元件的定位。这些术语旨在涵盖除了与图中所描绘的那些不同的取向之外的物体的不同取向。

“透射式SLM”是指一种装置，其(i)通过该装置透射光，以及(ii)使光衰减，使得在该装置表面上的点处入射的光线的衰减量至少取决于该表面上的点的2D空间位置。

除了上下文另有明确要求的范围之外，如果在本文描述了方法中的步骤，该方法则包括以下变化：(1)该方法中的步骤以任何次序或顺序发生，包括与所描述的不同的任何次序或顺序；(2)该方法中的任何一个或多个步骤不止一次发生；(3)该方法步骤中的不同步骤在该方法期间发生不同的次数，(4)该方法中的任何步骤的组合以并行或连续的方式完成；(5)该方法中的任何一个或多个步骤以迭代的方式执行；(6)每当发生该方法中的给定步骤时，该给定步骤应用于相同的事物或者应用于不同的事物；或者(7)除了所描述的步骤之外，该方法还包括其它步骤。

在所有情况下，本“定义”部分应控制并覆盖“被定义术语”的任何其它定义。举例来说，本“定义”部分中列出的“被定义术语”的定义将覆盖常见用法或任何外部字典。如果在本文档中明确或隐含地对给定术语进行定义，那么该定义应控制并且应覆盖从本文档之外的任何来源(例如，字典或者常见用法)得出的给定术语的任何定义。如果本文档对特定术语的含义作出澄清，那么在适用的范围内，该澄清应覆盖从本文档之外的任何来源(例如，字典或者常见用法)得出的给定术语的任何定义。在本文中定义或者澄清的任何术语或短语的情况下，这种定义或澄清适用于此类术语或短语的任何语法变体，同时将语法形式的差异考虑在内。例如，语法变体包括名词、动词、分词、形容词或者所有格形式，或者不同的变格，或者不同的时态。在本段描述的每一种情况下，申请人均为申请人自己的词典编纂者。

被定义术语仅为表示所定义项的符号。出现在被定义术语本身内的任何词语对定义均为任何影响。例如，如果“红象”是被定义成指激光的被定义术语，那么：(a)“红”对被定义术语的含义没有影响(例如，这并不暗示激光是红色或发出红光)，以及(b)“象”对被定义术语的含义没有影响(例如，这并不暗示激光褶皱或者从象鼻中喷出水)。同样地，在被定义术语“窗口信号”和“窗口区域”中，“窗口”一词对被定义项的含义没有任何影响。同样地，在被定义术语“最大区域”和“超像素信号”中，术语“最大”和“超像素”对被定义术语的含义没有任何影响。

变化：

在本发明的许多实施方式中，同时应用帘幕调制和超像素调制。另选地，在一些情况下，帘幕调制(用于环境光抑制)并非与超像素调制并行执行。在这些情况下，超像素在图像传感器的活动区域中时，并不经历超像素调制。没有超像素调制的环境光抑制在许多情况下是有用的，包括一些其中使用具有所需颜色、强度、方向、极化或者这些参数的组合的光照亮场景并且希望记录来自照明的反射光而不是环境光的情景。

本发明可以以许多不同的方式实现。例如：

在一些实施方式中，本发明是一种方法，包括：在一段时间周期内：(a)通过第一信号(“窗口信号”)并且同时通过一组其它信号(“超像素信号”)对成像传感器的超像素中的成像像素的敏感度进行调制，使得(i)敏感度是对光的敏感度，(ii)成像像素中的每个相应像素是由窗口信号并且同时由作为调制信号之一的给定超像素信号调制，窗口信号和给定超像素信号合在一起引起相应像素对光的敏感度随时间发生变化；并且(b)照明系统在场景上投影光点，光点在路径中移动通过场景；其中，(1)在该时间周期内(i)成像传感器的像素包括像素集合，(ii)用于每个像素集合的超像素信号与用于每个其它像素集合的超像素信号分离，并且(iii)每个超像素包括来自每个像素集合的至少一个像素，并且因此在每个超像素中存在用于不同像素的单独的超像素信号，(2)在该时间时间周期内，在光点投影在场景上的任意给定时间，成像传感器的第一区域(“最大区域”)中的每个像素接收直接从场景反射的光，(3)在该时间时间周期内(A)由于光点在场景中改变位置，最大区域相对于成像传感器重复改变位置，(B)成像传感器的第二区域(“窗口区域”)也相对于成像传感器重复改变位置，并且(C)最大区域和窗口区域相对于成像传感器的位置改变是通过改变分别是最大区域和窗口区域的成员的像素而发生，以及(4)在该时间周期内，在光点投影在场景上的任何时间(A)窗口区域基本上包含最大区域中的所有像素，并且还包括其它像素，(B)窗口区域中的像素数远远小于成像传感器中的像素总数，并且(C)窗口信号对窗口区域中的所有像素而言为高，而对于成像传感器中的所有其它像素而言为低。在一些情况下，窗口区域包括：(a)图像传感器的一组像素行，使得该组行中的每一行与该组行中的另一行相邻；或者(b)图像传感器的一组列，使得该组列中的每一列与该组列中的另一列相邻。在一些情况下，在该时间周期内，窗口区域重复扫过成像传感器，使得(i)在每次扫描的一部分期间，成像传感器的每个像素行的至少一部分被包含在窗口区域中，或者(ii)在每次扫描的一部分期间，成像传感器的每个像素列的至少一部分被包含在窗口区域中。在一些情况下，在图像传感器的每个读出帧期间，窗口区域重复扫过成像传感器，使得(i)在每次扫描的一部分期间，成像传感器的每个像素行的至少一部分被包含在窗口区域中，或者(ii)在每次扫描的一部分期间，成像传感器的每个像素列的至少一部分被包含在窗口区域中。在一些情况下，窗口信号的频率大于每个超像素信号的频率。在一些情况下，在该时间周期内，光点的路径包含沿着彼此平行的轨迹的一系列重复移动。在一些情况下，在成像传感器的每个读出帧期间，光点的路径包含沿着彼此平行的轨迹的一系列重复移动。在一些情况下，在该时间周期内，在光点经历移动的任何时间，窗口区域的最长尺寸垂直于移动的方向。在一些情况下，施加到成像传感器的特定像素的窗口信号对在特定像素中累积的电荷的存储进行控制。在一些情况下，施加到成像传感器的特定像素的超像素信号对在特定像素中累积的电荷的存储进行控制。在一些情况下，施加到成像传感器的特定像素的窗口信号对到达，或者在不存在衰减的情况下将到达特定像素的光的衰减进行控制。在一些情况下，施加到成像传感器的特定像素的超像素信号对到达，或者在不存在衰减的情况下将到达特定像素的光的衰减进行控制。在一些情况下：(a)在该时间周期内的任何时间，用于特定像素的超像素信号为高或为低并且用于特定像素的窗口信号为高或为低，并且(b)当窗口信号和调制信号都为高而不是当窗口信号和调制信号中的至少一个为低时，该特定像素对光更敏感。在一些情况下：(a)成像传感器的特定像素对光的敏感度是由施加到特定像素的另一个信号(“敏感度信号”)控制；并且(b)在该时间周期内，用于特定像素的敏感度信号(i)当用于特定像素的窗口信号和用于特定像素的超像素信号同时为高时为高，并且(ii)否则为低。在一些情况下，用于特定像素的窗口信号和用于特定像素的超像素信号仅通过敏感度信号间接控制特定像素对光的敏感度。在一些情况下：(a)用于特定像素的敏感度信号由计算机产生；并且(b)用于特定像素的窗口信号和用于特定像素的超像素信号由计算机计算并且由计算机中的电压或者电荷电平编码。在一些情况下，用于成像传感器的特定像素的敏感度信号对在特定像素中累积的电荷的存储进行控制。在一些情况下，用于成像传感器的特定像素的敏感度信号对到达，或者在不存衰减的情况下将到达特定像素的光的衰减进行控制。在一些情况下：(a)超像素信号和窗口信号(一起为“调制信号”)各自由状态的时间序列组成；并且(b)每个特定状态发生的次数以及状态发生的顺序在调制信号与调制信号之间发生变化。在一些情况下：(a)调制在读出帧期间发生，该读出帧包含曝光周期；并且(b)成像传感器中的每个成像像素包含光电二极管，光电二极管在曝光时间周期内将电荷转移到仅一个存储装置，使得在曝光时间周期内的多个时间，电荷从光电二极管转移到存储装置。在一些情况下：(a)调制在读出帧期间发生，该读出帧包含曝光期；并且(b)成像传感器中的每个成像像素包含光电二极管，光电二极管在曝光期期间的多个时间将电荷转移到一组存储装置，使得(i)在从光电二极管向存储装置转移电荷的任何时间，电荷仅被转移到存储装置中的一个，并且电荷没有被转移到任何其它存储装置，并且(ii)在曝光期期间，电荷从光电二极管被转移到每个存储装置。在一些情况下，该组超像素信号合在一起包括代码，每个超像素信号表示代码的数字。在一些情况下，计算机对场景中的点的3D空间坐标进行计算，基于此，当光直接从场景中的点反射到成像传感器时发生所述代码的特定置换。本段上述的每种情况均为本段第一句所描述的方法的示例，并且还是本发明的实施例的示例，该实施例可以和本发明的其它实施例组合。

在一些实施方式中，本发明是一种系统，包括：(a)摄像机，其包含成像传感器，该成像传感器包含(i)像素集合，每个像素集合包括多个成像像素，以及(ii)成像超像素；(b)照明系统，其被编程为在场景上投影光点，使得光点在路径中移动通过场景；以及(c)一个或多个信号发生器，其被编程为产生第一信号(“窗口信号”)和一组其它信号(“超像素信号”)，使得(i)在一段时间周期内，成像像素中的每个相应像素由窗口信号并且同时由作为调制信号之一的给定超像素信号进行调制，窗口信号和给定超像素信号合在一起引起相应像素对光的敏感度随时间发生变化，(ii)在该时间周期内(A)用于每个像素集合的超像素信号与用于每个其它像素集合的超像素信号分离，并且(B)每个超像素包括来自每个像素集合的至少一个像素，并且因此在每个超像素中存在用于不同像素的单独的超像素信号，(iii)在该时间周期内，在光点投影在场景上的任何给定时间(A)窗口信号对成像传感器的第一区域(“窗口区域”)中的所有像素而言为高，而对于成像传感器中的所有其它像素而言为低，(B)窗口区域中的像素数远远小于成像传感器中的像素总数，并且(C)窗口区域包含成像传感器的第二区域(“最大区域”)，并且还包含成像传感器的其它像素，最大区域是基本上包含成像传感器的接收在给定时间从场景直接反射的光的所有像素的区域，并且(iv)当光点移动通过场景时，窗口区域相对于成像传感器重复改变位置，并且因此最大区域相对于成像传感器改变位置，窗口区域和最大区域的位置的改变是通过改变分别是窗口区域和最大区域的成员的像素而发生。在一些情况下，一个或多个信号发生器被编程为产生窗口信号，使得窗口区域包括：(a)图像传感器的一组像素行，使得该组行中的每一行与该组行中的另一行相邻；或者(b)图像传感器的一组列，使得该组列中的每一列与该组列中的另一列相邻。在一些情况下，一个或多个信号发生器被编程为产生窗口信号，使得在该时间周期内，窗口区域重复扫过成像传感器，使得(i)在每次扫描的一部分期间，成像传感器的每个像素行的至少一部分被包含在窗口区域中，或者(ii)在每次扫描的一部分期间，成像传感器的每个像素列的至少一部分被包含在窗口区域中。在一些情况下，一个或多个信号发生器被编程为产生窗口信号，使得在图像传感器的每个读出帧期间，窗口区域重复扫过成像传感器，使得(i)在每次扫描的一部分期间，成像传感器的每个像素行的至少一部分被包含在窗口区域中，或者(ii)在每次扫描的一部分期间，成像传感器的每个像素列的至少一部分被包含在窗口区域中。在一些情况下，一个或多个信号发生器被编程为产生窗口信号和超像素信号，使得窗口信号的频率大于每个超像素信号的频率。在一些情况下，照明系统被编程为在场景上投影光点，使得在该时间周期内，光点的路径包含沿着彼此平行的轨迹的一系列重复移动。在一些情况下，照明系统被编程为在场景上投影光点，使得在成像传感器的每个读出帧期间，光点的路径包含沿着彼此平行的轨迹的一系列重复移动。在一些情况下，照明系统和一个或多个信号发生器被编程为使得在该时间周期内，在光点经历移动的任何时间，窗口区域的最长尺寸垂直于移动的方向。在一些情况下，成像传感器被配置为使得施加到成像传感器的特定像素的窗口信号对在特定像素中累积的电荷的存储进行控制。在一些情况下，成像传感器被配置为使得施加到成像传感器的特定像素的超像素信号对在特定像素中累积的电荷的存储进行控制。在一些情况下：(a)摄像机包含一个或多个空间光调制器；并且(b)一个或多个空间光调制器被编程为使得施加到成像传感器的特定像素的窗口信号对到达，或者在不存在衰减的情况下将到达特定像素的光的衰减进行控制。在一些情况下：(a)摄像机包含一个或多个空间光调制器；并且(b)一个或多个空间光调制器被编程为使得施加到成像传感器的特定像素的超像素信号对到达，或者在不存在衰减的情况下将到达特定像素的光的衰减进行控制。在一些情况下：(a)一个或多个信号发生器被编程为使得在该时间周期内的任何时间，用于特定像素的超像素信号为高或为低并且用于特定像素的窗口信号为高或为低，并且(b)摄像机被配置成使得当窗口信号和调制信号都为高而不是当窗口信号和调制信号中的至少一个为低时，特定像素对光更敏感。在一些情况下：(a)摄像机被配置成使得成像传感器的特定像素对光的敏感度是由施加到特定像素的另一个信号(“敏感度信号”)控制；并且(b)一个或多个信号发生器被编程为使得在该时间周期内，用于特定像素的敏感度信号(i)当用于特定像素的窗口信号和用于特定像素的超像素信号同时为高时为高，并且(ii)否则为低。在一些情况下，摄像机被配置成使得用于特定像素的窗口信号和用于特定像素的超像素信号仅通过敏感度信号间接控制特定像素对光的敏感度。在一些情况下，在一个或多个信号发生器中的计算机被编程为：(a)计算并且通过计算机中的电压或电荷电平来编码用于特定像素的窗口信号和用于特定像素的超像素信号，以及(b)基于用于特定像素的窗口信号和用于特定像素的超像素信号，计算用于特定像素的敏感度信号。在一些情况下，成像传感器被配置为使得用于成像传感器的特定像素的敏感度信号对在特定像素中累积的电荷的存储进行控制。在一些情况下，摄像机被配置为使得用于成像传感器的特定像素的敏感度信号对到达，或者在不存衰减的情况下将到达特定像素的光的衰减进行控制。在一些情况下，一个或多个信号发生器被编程为使得：(a)超像素信号和窗口信号(一起为“调制信号”)各自由状态的时间序列组成；并且(b)每个特定状态发生的次数以及状态发生的顺序在调制信号与调制信号之间发生变化。在一些情况下，摄像机被编程为使得：(a)调制在读出帧期间发生，该读出帧包含曝光周期；并且(b)成像传感器中的每个成像像素包含光电二极管，光电二极管在曝光时间周期内将电荷转移到仅一个存储装置，使得在曝光时间周期内的多个时间，电荷从光电二极管转移到存储装置。在一些情况下，摄像机被编程为使得：(a)调制在读出帧期间发生，读出帧包含曝光期；并且(b)成像传感器中的每个成像像素包含光电二极管，光电二极管在曝光期期间的多个时间将电荷转移到一组存储装置，使得(i)在从光电二极管向存储装置转移电荷的任何时间，电荷仅被转移到一个存储装置中，并且电荷没有被转移到任何其它存储装置，并且(ii)在曝光期期间，电荷从光电二极管被转移到每个存储装置。在一些情况下，该组超像素信号合在一起包括代码，每个超像素信号表示代码的数字。在一些情况下，系统进一步包括计算机，该计算机被编程为对场景中的点的3D空间坐标进行计算，基于此，当光直接从场景中的点反射到成像传感器时发生代码的特定置换。本段上述的每种情况均为本段第一句所描述的系统的示例，并且还是本发明的实施例的示例，该实施例可以和本发明的其它实施例相组合。

以上描述(包括但不限于任何附图和标记)描述了本发明的说明性实施方式。然而，本发明可以以其它方式实现。以上描述的方法和设备仅仅是本发明原理的说明性应用。因此，本领域普通技术人员的其它布置、方法、修改和替换同样处于本发明的范围内。在不脱离本发明的范围的情况下，本领域技术人员可以进行大量修改。而且，本发明包括但不限于上述实施方式、实施例和特征中的一个或多个的每种组合和置换。

Claims (46)

1.一种用于超像素调制和环境光抑制的方法，包括：在时间周期内：

(a)通过窗口信号并且同时通过超像素信号对成像传感器的超像素中的成像像素的敏感度进行调制，使得

(i)所述敏感度是对光的敏感度，

(ii)所述成像像素中的每个相应像素是由所述窗口信号并且同时由作为调制信号之一的给定的超像素信号调制，所述窗口信号和给定的超像素信号合在一起引起所述相应像素对光的敏感度随时间发生变化；并且

(b)照明系统在场景上投影光点，所述光点在路径中移动通过所述场景；

其中，

(1)在所述时间周期内

(i)所述成像传感器的所述像素包括像素集合，

(ii)每个像素集合的所述超像素信号与每个其它像素集合的所述超像素信号分离，并且

(iii)每个所述超像素包括来自于每个所述像素集合的至少一个像素，并且因此在每个超像素中对于不同的像素存在单独的超像素信号，

(2)在所述时间周期内，在所述光点投影在所述场景上的任意给定时间处，所述成像传感器的最大区域中的每个像素接收直接从所述场景反射的光，

(3)在所述时间周期内

(A)由于所述光点在所述场景中改变位置，所述最大区域相对于所述成像传感器重复改变位置，

(B)所述成像传感器的窗口区域也相对于所述成像传感器重复改变位置，并且

(C)所述最大区域和窗口区域相对于所述成像传感器的位置改变是通过改变分别是所述最大区域和窗口区域的成员的那些像素而发生，以及

(4)在所述时间周期内，在所述光点投影在所述场景上的任何时间处

(A)所述窗口区域基本上包括所述最大区域中的所有所述像素，并且还包括其它像素，

(B)所述窗口区域中的像素数远远小于所述成像传感器中的像素总数，并且

(C)所述窗口信号高于所有窗口区域中的所有像素，低于所有成像传感器中的所有其它像素。

2.如权利要求1所述的方法，其中，所述窗口区域包括：

(a)所述成像传感器的一组像素行，使得所述一组行中的每一行与所述一组行中的另一行相邻；或者

(b)所述成像传感器的一组列，使得所述一组列中的每一列与所述一组列中的另一列相邻。

3.如权利要求1所述的方法，其中，在所述时间周期内，所述窗口区域重复扫过所述成像传感器，使得(i)在每次扫描的一部分期间，所述成像传感器的每个像素行的至少一部分被包含在所述窗口区域中，或者(ii)在每次扫描的一部分期间，所述成像传感器的每个像素列的至少一部分被包含在所述窗口区域中。

4.如权利要求1所述的方法，其中，在所述成像传感器的每个读出帧期间，所述窗口区域重复扫过所述成像传感器，使得(i)在每次扫描的一部分期间，所述成像传感器的每个像素行的至少一部分被包含在所述窗口区域中，或者(ii)在每次扫描的一部分期间，所述成像传感器的每个像素列的至少一部分被包含在所述窗口区域中。

5.如权利要求1所述的方法，其中，所述窗口信号的频率大于每个所述超像素信号的频率。

6.如权利要求1所述的方法，其中，在所述时间周期内，所述光点的路径包含沿着彼此平行的轨迹的一系列重复移动。

7.如权利要求1所述的方法，其中，在所述成像传感器的每个读出帧期间，所述光点的路径包含沿着彼此平行的轨迹的一系列重复移动。

8.如权利要求1所述的方法，其中，在所述时间周期内，在所述光点经历移动的任何时间处，所述窗口区域的最长尺寸垂直于所述移动的方向。

9.如权利要求1所述的方法，其中，应用到所述成像传感器的特定像素的窗口信号对在所述特定像素中累积的电荷的存储进行控制。

10.如权利要求1所述的方法，其中，应用到所述成像传感器的特定像素的超像素信号对在所述特定像素中累积的电荷的存储进行控制。

11.如权利要求1所述的方法，其中，应用到所述成像传感器的特定像素的所述窗口信号对到达，或者在不存在衰减的情况下将到达所述特定像素的光的衰减进行控制。

12.如权利要求1所述的方法，其中，应用到所述成像传感器的特定像素的超像素信号对到达所述特定像素的光或者在不存在衰减的情况下将到达所述特定像素的光的衰减进行控制。

13.如权利要求1所述的方法，其中：

(a)在所述时间周期内的任何时间处，用于特定像素的所述超像素信号为高或为低并且用于所述特定像素的所述窗口信号为高或为低，并且

(b)与当所述窗口信号和所述超像素信号中的至少一个为低时相比，当所述窗口信号和所述超像素信号都为高时所述特定像素对光更敏感。

14.如权利要求1所述的方法，其中：

(a)所述成像传感器的特定像素对光的敏感度是由应用到所述特定像素的敏感度信号控制的；并且

(b)在所述时间周期内，用于所述特定像素的所述敏感度信号

(i)当用于所述特定像素的所述窗口信号和用于所述特定像素的所述超像素信号同时为高时，为高，并且

(ii)否则，为低。

15.如权利要求14所述的方法，其中，用于所述特定像素的所述窗口信号和用于所述特定像素的所述超像素信号仅间接地通过所述敏感度信号控制所述特定像素对光的敏感度。

16.如权利要求14所述的方法，其中：

(a)用于特定像素的所述敏感度信号由计算机产生；并且

(b)用于所述特定像素的所述窗口信号和用于所述特定像素的所述超像素信号由所述计算机计算并且由所述计算机中的电压或者电荷电平编码。

17.如权利要求14所述的方法，其中，用于所述成像传感器的特定像素的所述敏感度信号对在所述特定像素中累积的电荷的存储进行控制。

18.如权利要求1所述的方法，其中，用于所述成像传感器的特定像素的所述敏感度信号对到达所述特定像素的光或者在不存衰减的情况下将到达所述特定像素的光的衰减进行控制。

19.如权利要求1所述的方法，其中：

(a)所述超像素信号和所述窗口信号各自由状态的时间序列组成，所述超像素信号和所述窗口信号构成所述调制信号；并且

(b)每个特定状态发生的次数以及所述状态发生的顺序在调制信号之间发生变化。

20.如权利要求1所述的方法，其中：

(a)所述调制在读出帧期间发生，所述读出帧包含曝光期；并且

(b)所述成像传感器中的每个成像像素包含光电二极管，所述光电二极管在所述曝光期期间将电荷仅转移到一个存储装置，使得在所述曝光期期间的多个时间处，电荷从所述光电二极管转移到所述存储装置。

21.如权利要求1所述的方法，其中：

(a)所述调制在读出帧期间发生，所述读出帧包含曝光期；并且

(b)所述成像传感器中的每个成像像素包含光电二极管，所述光电二极管在所述曝光期期间的多个时间处将电荷转移到一组存储装置，使得

(i)在从所述光电二极管向存储装置转移电荷的任何时间处，电荷仅被转移到所述存储装置中的一个，并且电荷没有被转移到任何其它存储装置，并且

(ii)在所述曝光期期间，电荷从所述光电二极管被转移到每个所述存储装置。

22.如权利要求1所述的方法，其中，一组所述超像素信号合在一起包括代码，每个所述超像素信号代表一个所述代码的数位。

23.如权利要求22所述的方法，其中，计算机对由光点照明的所述场景上的点的3D空间坐标进行计算，基于此，当光直接从所述场景上的点反射到所述成像传感器时发生所述代码的特定置换。

24.一种用于超像素调制和环境光抑制的系统，包括：

(a)摄像机，其包含成像传感器，所述成像传感器包含

(i)像素集合，每个像素集合包括多个成像像素，以及

(ii)成像超像素；

(b)照明系统，其被编程为在场景上投影光点，使得所述光点在路径中移动通过所述场景；以及

(c)一个或多个信号发生器，其被编程为产生窗口信号和超像素信号，使得

(i)在一段时间周期内，所述成像像素中的每个相应像素由所述窗口信号并且同时由作为调制信号之一的给定的超像素信号进行调制，所述窗口信号和给定的超像素信号合在一起引起所述相应像素对光的敏感度随时间发生变化，

(ii)在所述时间周期内

(A)用于每个像素集合的所述超像素信号与用于每个其它像素集合的所述超像素信号分离，并且

(B)每个所述超像素包括来自每个所述像素集合的至少一个像素，并且因此在每个超像素中存在用于不同像素的单独的超像素信号，

(iii)在所述时间周期内，在所述光点投影在所述场景上的任何给定时间处

(A)所述窗口信号对所述成像传感器的窗口区域中的所有像素而言为高，而对于所述成像传感器中的所有其它像素而言为低，

(B)所述窗口区域中的像素数远远小于所述成像传感器中的像素总数，并且

(C)所述窗口区域包含所述成像传感器的最大区域，并且还包含所述成像传感器的其它像素，所述最大区域是基本上包含所述成像传感器的接收在所述给定时间处从所述场景直接反射的光的所有像素的区域，并且

(iv)当所述光点移动通过所述场景时，所述窗口区域相对于所述成像传感器重复改变位置，并且因此所述最大区域相对于所述成像传感器改变位置，所述窗口区域和所述最大区域的所述位置的改变是通过改变分别是所述窗口区域和所述最大区域的成员的那些像素而发生。

25.如权利要求24所述的系统，其中，所述一个或多个信号发生器被编程为产生所述窗口信号，使得所述窗口区域包括：

(a)所述成像传感器的一组像素行，使得所述一组行中的每一行与所述一组行中的另一行相邻；或者

(b)所述成像传感器的一组列，使得所述一组列中的每一列与所述一组列中的另一列相邻。

26.如权利要求24所述的系统，其中，所述一个或多个信号发生器被编程为产生所述窗口信号，使得在所述时间周期内，所述窗口区域重复扫过所述成像传感器，使得(i)在每次扫描的一部分期间，所述成像传感器的每个像素行的至少一部分被包含在所述窗口区域中，或者(ii)在每次扫描的一部分期间，所述成像传感器的每个像素列的至少一部分被包含在所述窗口区域中。

27.如权利要求24所述的系统，其中，所述一个或多个信号发生器被编程为产生所述窗口信号，使得在所述成像传感器的每个读出帧期间，所述窗口区域重复扫过所述成像传感器，使得(i)在每次扫描的一部分期间，所述成像传感器的每个像素行的至少一部分被包含在所述窗口区域中，或者(ii)在每次扫描的一部分期间，所述成像传感器的每个像素列的至少一部分被包含在所述窗口区域中。

28.如权利要求24所述的系统，其中，所述一个或多个信号发生器被编程为产生所述窗口信号和所述超像素信号，使得所述窗口信号的频率大于每个所述超像素信号的频率。

29.如权利要求24所述的系统，其中，所述照明系统被编程为在所述场景上投影所述光点，使得在所述时间周期内，所述光点的路径包含沿着彼此平行的轨迹的一系列重复移动。

30.如权利要求24所述的系统，其中，所述照明系统被编程为在所述场景上投影所述光点，使得在所述成像传感器的每个读出帧期间，所述光点的路径包含沿着彼此平行的轨迹的一系列重复移动。

31.如权利要求24所述的系统，其中，所述照明系统和一个或多个信号发生器被编程为使得在所述时间周期内，在所述光点经历移动的任何时间处，所述窗口区域的最长尺寸垂直于所述移动的方向。

32.如权利要求24所述的系统，其中，所述成像传感器被配置为使得施加到所述成像传感器的特定像素的窗口信号对在所述特定像素中累积的电荷的存储进行控制。

33.如权利要求24所述的系统，其中，所述成像传感器被配置为使得应用到所述成像传感器的特定像素的超像素信号对在所述特定像素中累积的电荷的存储进行控制。

34.如权利要求24所述的系统，其中：

(a)所述摄像机包含一个或多个空间光调制器；并且

(b)所述一个或多个空间光调制器被编程为使得应用到所述成像传感器的特定像素的所述窗口信号对到达所述特定像素的光或者在不存在衰减的情况下将到达所述特定像素的光的衰减进行控制。

35.如权利要求24所述的系统，其中：

(a)所述摄像机包含一个或多个空间光调制器；并且

(b)所述一个或多个空间光调制器被编程为使得应用到所述成像传感器的特定像素的超像素信号对到达所述特定像素的光或者在不存在衰减的情况下将到达所述特定像素的光的衰减进行控制。

36.如权利要求24所述的系统，其中：

(a)所述一个或多个信号发生器被编程为使得在所述时间周期内的任何时间处，用于特定像素的所述超像素信号为高或为低并且用于所述特定像素的所述窗口信号为高或为低，并且

(b)所述摄像机被配置成使得，与当所述窗口信号和所述超像素信号中的至少一个为低时相比，当所述窗口信号和所述超像素信号都为高时所述特定像素对光更敏感。

37.如权利要求24所述的系统，其中：

(a)所述摄像机被配置成使得所述成像传感器的特定像素对光的敏感度是由应用到所述特定像素的敏感度信号控制的；并且

(b)所述一个或多个信号发生器被编程为使得，在所述时间周期内，用于所述特定像素的所述敏感度信号

(i)当用于所述特定像素的所述窗口信号和用于所述特定像素的所述超像素信号同时为高时，为高，并且

(ii)否则，为低。

38.如权利要求37所述的系统，其中，所述摄像机被配置成使得用于所述特定像素的所述窗口信号和用于所述特定像素的所述超像素信号仅间接地通过所述敏感度信号控制所述特定像素对光的敏感度。

39.如权利要求37所述的系统，其中，在所述一个或多个信号发生器中的计算机被编程为：

(a)计算并且通过计算机中的电压或电荷电平来编码用于特定像素的所述窗口信号和用于所述特定像素的所述超像素信号，以及

(b)基于用于所述特定像素的所述窗口信号和用于所述特定像素的所述超像素信号，计算用于所述特定像素的所述敏感度信号。

40.如权利要求37所述的系统，其中，所述成像传感器被配置为使得用于所述成像传感器的特定像素的所述敏感度信号对在所述特定像素中累积的电荷的存储进行控制。

41.如权利要求37所述的系统，其中，所述摄像机被配置为使得用于所述成像传感器的特定像素的所述敏感度信号对到达所述特定像素的光或者在不存衰减的情况下将到达所述特定像素的光的衰减进行控制。

42.如权利要求24所述的系统，其中，所述一个或多个信号发生器被编程为：

(a)所述超像素信号和所述窗口信号各自由状态的时间序列组成，所述超像素信号和所述窗口信号构成所述调制信号；并且

(b)每个特定状态发生的次数以及所述状态发生的顺序在调制信号之间发生变化。

43.根据权利要求24所述的系统，其中，所述摄像机被配置为使得：

(a)所述调制在读出帧期间发生，所述读出帧包含曝光周期；并且

(b)所述成像传感器中的每个成像像素包含光电二极管，所述光电二极管在所述曝光期期间将电荷仅转移到一个存储装置，使得在所述曝光期期间的多个时间处，电荷从所述光电二极管转移到所述存储装置。

44.根据权利要求24所述的系统，其中，所述摄像机被配置为使得：

(a)所述调制在读出帧期间发生，所述读出帧包含曝光期；并且

(b)所述成像传感器中的每个成像像素包含光电二极管处，所述光电二极管在所述曝光期期间的多个时间处将电荷转移到一组存储装置，使得

(i)在从所述光电二极管向存储装置转移电荷的任何时间处，电荷仅被转移到所述存储装置中的一个，并且电荷没有被转移到任何其它存储装置，并且

(ii)在所述曝光期期间，电荷从所述光电二极管被转移到每个所述存储装置。

45.如权利要求24所述的系统，其中，一组所述超像素信号合在一起包括一个代码，每个所述超像素信号代表一个所述代码的数位。

46.如权利要求45所述的系统，其中，所述系统进一步包括计算机，所述计算机被编程为对由光点照明的所述场景上的点的3D空间坐标进行计算，基于此，当光直接从所述场景上的点反射到所述成像传感器时发生所述代码的特定置换。