CN113825972A

CN113825972A - 改进的3d感测

Info

Publication number: CN113825972A
Application number: CN202080035823.1A
Authority: CN
Inventors: 安德鲁·本杰明·辛普森·布朗
Original assignee: Cambridge Mechatronics Ltd
Current assignee: Cambridge Mechatronics Ltd
Priority date: 2019-05-21
Filing date: 2020-05-21
Publication date: 2021-12-21
Also published as: GB202116646D0; US20220228856A1; WO2020234603A1; GB2597221B; GB201907188D0; GB2597221A

Abstract

一种用于在生成场景的三维(3D)表示的设备中使用的装置(100)。该装置(100)包括发射器模块(104)，该发射器模块具有用于以预定图案发射多个波的发射器，其中该图案具有主轴。装置(100)还包括静止部分和可移动部分(116)。可移动部分(116)被配置成允许发射器模块(104)根据可移动部分(116)的位置和/或定向以多个不同的布置发射预定图案。装置(100)的机械元件(150)限制可移动部分(116)的移动，以便提供在一个或更多个不同的布置中主轴相对于静止部分的可预测的定向。

Description

改进的3D感测

本技术总体上涉及用于生成场景的三维(3D)表示的装置和方法(也称为3D感测)，且尤其涉及用于改进三维表示的精确性的技术。

对于3D感测，正在开发和使用许多不同的方法。这些方法中有许多涉及旨在建立场景中对象的距离信息的所谓的“深度图”。一般来说，用于生成3D表示/执行3D感测的设备可以包含(例如电磁或声音)波的发射器，以及用于检测反射波的相对应的检测器或传感器。

出于3D感测或深度映射的目的，发射图案化光或结构化光(通常是红外(IR)光)可能是有用的。结构化辐射可以是例如由多个光斑点(dot)或光点(point)形成的图案。当发射光图案时，接收器可以检测在光图案从正在被成像的场景中的对象反射时导致的投射的光图案的失真。原始光图案的失真可以被用于生成场景的3D表示。

因此，可用于生成场景的3D表示的设备可包含结构化光投影仪(即，投射图案化的光(通常是点阵)的部件)。

在申请人的共同未决申请PCT/GB2019/050965中描述了可用于使用结构化光投影仪生成场景的3D表示的技术示例。在这些技术中，用于生成场景的3D表示的装置的元件可以相对于彼此移动，以提高所生成的3D表示的精确性。

在申请人的共同未决申请GB1906885.7中描述了可用于使用飞行时间方法生成场景的3D表示的技术的其他示例。在这些技术中，在传感器的视场上具有空间不均匀强度的照明(例如图案)在传感器的至少一部分视场上移动。

通常，为了使结构化光深度传感器正确地计算深度，必须精确地知道在特定平面中(即，当投射到其上时)投射点的发射角度。特别地，该平面可以对应于包含检测器(例如相机)和发射器的两者的光轴的平面。该角度的误差将导致深度计算推断出观察到的对象比实际情况离检测器更近或更远。当装置的元件相对于彼此可移动时(例如，当致动器用于移动点在结构化光布置中的位置时)，这种移动(和/或致动器的操作)可能导致该角度的额外误差。

本技术的一个目的是提高用于产生3D表示的方法和设备的精确性、特别是但不限于、使用结构化光方法的装置的精确性。

概括地说，本技术的一些方法提供了增加从用于产生3D表示的设备发射的图案的可预测性的方法，该设备具有在其中的可移动元件。

根据第一方面，提供了一种用于生成场景的三维表示的方法，该方法包括：

以预定图案发射多个发射波，该图案具有主轴；

相对于发射器模块的静止部分移动可移动部分，以便根据可移动部分的位置和/或定向以多个不同的布置发射所述预定图案；

其中，可移动部分的移动受到机械元件的限制，以便提供在不同的布置中的一个或更多个不同的布置中主轴相对于静止部分的可预测的定向。

所述移动可以包括将可移动部分移动到相对于静止部分的一个或更多个位置和/或定向，这些位置和/或定向中的每一个导致发射器模块以所述多个布置中的不同的一个布置发射所述预定图案。

所述移动可以包括在所述一个或更多个位置和/或定向中的每一个位置和/或定向上迫使可移动部分抵靠机械元件，使得可移动部分的位置和/或定向是可预测的。

机械元件可以在一个或更多个位置中的每个位置上限制可移动部分在两个相互正交的方向上和/或围绕两个相互正交的轴的移动。

所述移动可以通过控制可移动部分的方向而不是位移的大小来执行。

应当理解的是，例如，在机械元件限制可移动部分在两个相互正交的方向上的移动的情况下，可移动部分可以通过在一系列方向上的移动被迫使抵靠机械元件并进入所述位置(例如拐角位置)。

所述移动可以通过控制SMA致动器来执行。

所述移动可以在没有反馈的情况下被执行，即，使用开环控制系统被执行。应理解的是，这种控制系统在特定环境下具有特定优点。

该方法可包括：

将可移动部分移动到发射所述预定图案的第一布置的第一位置和/或定向和发射所述预定图案的第二布置的第二位置和/或定向，其中，可移动部分在第一位置和/或定向受到机械元件的限制，并且在第二位置和/或定向不受机械元件的限制；

对于所述预定图案的第一布置和第二布置中的每一个，接收包括反射波的反射波布置，所述反射波是来自场景中的一个或更多个对象的反射；和

处理在接收器处接收的反射波，并基于关于第一位置接收的反射波，校正由可移动元件在第二位置和/或定向的定位误差导致的反射波布置变化的影响。

根据第二方面，提供了一种在用于生成场景的三维表示的设备中使用的装置，该装置包括：

发射器模块，具有：

发射器，所述发射器用于以预定图案发射多个发射波，该图案具有主轴；

静止部分；和

可移动部分，该可移动部分被配置为允许发射器模块根据可移动部分的位置和/或定向以多个不同的布置发射所述预定图案；和

机械元件，所述机械元件用于限制可移动部分的移动，以便提供在不同的布置中的一个或更多个不同的布置中主轴相对于静止部分的可预测的定向。

根据第三方面，提供了一种用于生成场景的三维表示的装置，该装置包括：

发射器模块，所述发射器模块用于以预定图案发射多个发射波；

可移动部分，所述可移动部分被配置为允许发射器模块根据可移动部分的位置和/或定向以多个不同的布置发射所述预定图案；

接收器，所述接收器用于接收关于预定图案的每个不同的布置的多个反射波布置，该反射波布置包括是来自场景中的一个或更多个对象的反射的反射波，以及

处理器，所述处理器用于处理在接收器处接收的反射波，该处理器被配置为基于接收的在多个反射波布置中的两个或更多个反射波布置中的反射波之间的关系，校正由可移动部分的定位误差导致的反射波布置变化的影响。

此外，第二方面和第三方面的可选特征在从属权利要求中规定。

根据第四方面，提供了一种用于生成场景的三维表示的方法，该方法包括：

以预定图案发射多个发射波，所述图案；

接收关于预定图案的每个不同的布置的多个反射波布置，该反射波布置包括是来自场景中的一个或更多个对象的反射的反射波，以及

处理在接收器处接收的反射波，并基于接收的在多个反射波布置中的两个或更多个反射波布置中的反射波之间的关系，校正由可移动部分的定位误差导致的反射波布置变化的影响。

还可以提供携带用于实现这些方法的处理器控制代码的非暂时性数据载体。

这些方面中的任何一个或更多个(例如，第二方面和第三方面)可以被组合。特别地，一个方面中的一个或更多个特征或另外的特征可以与另外的方面的特征相结合。

应当理解的是，上述与致动相关的方面可以具有除生成场景的三维表示之外的应用。因此，例如，根据第五方面，提供了一种用于控制致动器组件的方法，该方法包括：

将可移动部分相对于静止部分移动到多个布置，每个布置对应于可移动部分的不同位置和/或定向；

其中，可移动部分的移动受到机械元件的限制，以便提供在一个或更多个不同的布置中可移动部分的可预测的位置和/或定向。应该理解的是，该第五方面还可以包括本文指定的其他方面的一个或更多个特征。

现在将通过示例的方式参考附图来描述本技术的实施例，其中：

图1示出了用于生成场景的三维表示(或用于3D感测)的装置或系统的示意图；

图2示出了用于生成场景的三维表示的示例步骤的流程图；

图3是示出用于3D感测的装置或系统的示意图；

图4示出了可用于3D感测的光的示例性图案；

图5是用于生成场景的3D表示的示例步骤的流程图；

图6是用于3D感测的装置或系统的部分的示意图；

图7示出了包括轴承(bearing)的SMA致动器的示例，该轴承可用于限制可移动元件的移动；

图8是可移动元件可以如何与多个参考表面相互作用以限定多个参考位置的示意图；和

图9是示出可移动元件可以如何与单个参考表面相互作用以限定多个参考位置的示意图。

本技术可以提供一种通过有目的地移动用于发射图案化的光和/或接收失真图案的部件来发射图案化的光/结构辐射以便生成场景的3D表示的方式。例如，如果装置包括两个光源(例如，两个激光器)，致动器可用于移动一个或两个光源以导致干涉图案，或者如果装置包括单个光源和分束器，致动器可用于移动光源和分束器中的一者或两者以产生干涉图案。来自两个光源的光的干涉可以产生规则的等距线图案，这可以用于3D感测。使用致动器来移动光源(即，改变它们的相对位置和/或定向)可以产生具有不同尺寸的干涉图案。在另一个示例中，装置可以投射光图案，例如通过使光穿过空间光调制器、透射液晶或穿过图案化的板(例如，包括光可以穿过的特定孔图案的板)、栅格、光栅或衍射光栅。

现有的3D感测系统可能有许多缺点。例如，与环境照明相比，IR照明的强度可能(尤其是在阳光直射的情况下)相当弱，这意味着可能需要进行多次测量来提高测量的精确性(且因此，也提高了3D表示的精确性)。结构化光(点图案)投影仪可能需要限制包含在光图案中的分辨率，以便可以容易且无歧义地解释发射的光图案的失真。对于结构化光，在深度信息的质量和在设备中的发射器和接收器之间的距离之间也存在权衡——更宽的间距往往会给出更好的深度图，但更难封装，尤其是在移动设备中更难封装。

同时，为了改进导出的深度图的质量，光发射器与检测器的校准被认为特别重要。因此，任何干扰发射器和检测器之间基准距离(baseline distance)的情形都可能是不利的。

图1示出了用于生成场景的三维表示(或用于3D感测)的装置100和系统126的示意图。装置100可用于生成3D表示(即，执行3D感测)，或者可用于收集可由另一设备或服务使用的数据以生成3D表示。装置100可以是适于收集数据以生成场景的3D表示/用于3D感测的任何设备。例如，装置100可以是智能手机、移动计算设备、笔记本电脑、平板计算设备、安全系统(例如能够访问用户设备的安全系统、机场安全系统、银行或互联网银行安全系统等)、游戏系统、增强现实系统、增强现实设备、可穿戴设备、无人机(例如用于空中勘测或测绘的无人机)、车辆(例如包括高级驾驶员辅助系统的汽车)、或自动驾驶车辆(例如无人驾驶汽车)。应理解的是，这是示例设备的非限制性列表。在实施例中，装置100可以执行数据收集和3D表示生成。例如，安全系统和自动驾驶车辆可以具有在内部执行3D表示生成的能力(例如，存储器、处理功率、处理速度等的能力)。如果装置100本身要使用3D表示，这可能是有用的。例如，安全系统可能使用场景的3D表示来执行面部识别，且因此可能需要收集数据并对其进行处理以生成3D表示(在这种情况下是某人的面部)。

附加地或替代地，装置100可以执行数据收集，并且可以将收集的数据传输到另一装置120、远程服务器122或服务124，以实现3D表示生成。如果装置100不需要使用3D表示(不需要立即使用3D表示或根本不需要使用3D表示)，这可能是有用的。例如，执行空中勘测或测绘的无人机可能不需要使用被勘测/测绘的区域的3D表示，且因此可能仅传输所收集的数据。装置120、服务器122和/或服务124可以使用从装置100接收的数据来生成3D表示。装置100可以传输原始收集的数据(或者在收集数据时实时进行传输，或者在收集完成后进行传输)，和/或可以传输收集的数据的处理版本。如果需要数据来尽快实现生成3D表示，装置100可以实时传输原始收集的数据。这可能取决于用于传输数据的通信信道的速度和带宽。如果装置100的存储器容量有限，装置100可以实时传输原始收集的数据。

装置100和装置120、远程服务器122或服务124之间的单向或双向通信可以经由网关118来实现。网关118可以能够在使用不同通信协议的网络之间路由数据。如果装置100仅仅代表另一个设备、远程服务器或服务来收集数据，并且其本身可能不需要使用3D表示，则可以使用单向通信。如果装置100传输所收集的数据以进行处理并且要在别处生成3D表示，但是其本身可能希望使用3D表示，则可以使用双向通信。如果装置100本身不具有处理数据和生成3D表示的能力(例如，处理和/或存储器能力)，则可能就是这种情况。

无论装置100本身是否生成3D表示，或者是否是生成3D表示的更大系统126的一部分，装置100都可以包括传感器模块104和至少一个致动模块114。传感器模块104可以包括用于发射多个波(例如电磁波或声波)的发射器以及用于接收由场景中的一个或更多个对象反射的反射波的接收器。(应当理解的是，术语“对象”通常用于表示场景的“特征”。例如，如果被成像的场景是人的面部，则对象可以是人的面部的不同特征，例如鼻子、眼睛、前额、下巴、颧骨等，然而，如果被成像的场景是城镇或城市，则对象可以是树木、汽车、建筑物、道路、河流、电塔等)。在传感器模块104的发射器发射电磁波的情况下，发射器可以是或可以包括合适的电磁辐射源，例如激光器。在传感器模块104的发射器发射声波的情况下，发射器可以是或可以包括合适的声波源，例如能够发射特定频率的声音的声音发生器。应当理解的是，传感器模块104的接收器对应于传感器模块的发射器。例如，如果发射器是或包括激光器，则接收器是或包括光检测器。

装置100的该致动模块114或每个致动模块114包括至少一根形状记忆合金(SMA)致动器线。装置100的该致动模块114或每个致动模块114可以被布置成控制装置的一个或更多个部件的位置和/或定向。因此，在实施例中，装置100可以包括专用致动模块114，每个专用致动模块可以移动一个部件。可选地，装置100可以包括一个或更多个致动模块114，每个致动模块114能够移动一个或更多个部件。优选地，该致动模块114或每个致动模块114用于控制至少一个可移动部件116的位置和/或定向，该可移动部件116用于获得和收集用于生成3D表示的数据。例如，致动模块114可以被布置成改变用于将波引导至正在被成像场景的光学部件的位置和/或定向。SMA致动器线可以被精确地控制，且具有紧凑、高效和精确的优点。例如，使用SMA致动器线来控制部件的位置/定向的示例致动模块(或致动器)可以在国际公开号WO2007/113478、WO2013/175197、WO2014083318和WO2011/104518中找到。

装置100可以包括耦合到致动模块(多个致动模块)114的至少一个处理器102。在实施例中，装置100可以包括单个致动模块114，该单个致动模块被配置成改变一个或更多个可移动部件116的位置和/或定向。在这种情况下，单个处理器102可以用于控制致动模块114。在实施例中，装置100可以包括一个以上的致动模块114。例如，单独的致动模块114可用于控制每个可移动部件116的位置/定向。在这种情况下，单个处理器102可用于控制每个致动模块114，或者单独的处理器102可用于分别控制每个致动模块114。在实施例中，该处理器102或每个处理器102可以是用于控制致动模块(多个致动模块)114的专用处理器(多个专用处理器)。在实施例中，该处理器102或每个处理器102可以用于执行装置100的其他功能。该处理器102或每个处理器102可以包括处理数据(例如，由传感器模块104的接收器接收的反射波)的处理逻辑。处理器(多个处理器)102可以是微控制器或微处理器。处理器(多个处理器)102可以耦合到至少一个存储器108。存储器108可以包括工作存储器和存储用于实现本文中描述的生成场景的3D表示的一些过程或全部过程的计算机程序代码的程序存储器。存储器108的程序存储器可用于在执行计算机程序代码时缓存数据。

处理器(多个处理器)102可以被配置成在装置100的使用期间接收与装置100的位置/定位和/或定向的变化相关的信息。特别地，在深度测量/3D感测操作期间，装置100相对于正在被成像的任何对象(多个对象)的定位和/或定向可以改变。例如，如果装置100是手持设备(例如，智能手机)，当装置100正被用于生成场景的3D表示时，如果用户保持装置100的手抖动，则装置100的定位和/或定向可能改变。

装置100可以包括通信模块112。由装置100传输和/或接收的数据可以通过通信模块112进行接收/传输。例如，通信模块112可以被配置为将由传感器模块104收集的数据传输到另外的装置120、服务器122和/或服务124。

装置100可以包括接口110，例如传统的计算机屏幕/显示屏幕、键盘、鼠标和/或其他接口，例如网络接口和软件界面。接口110可以包括用户界面(例如图形用户界面(GUI))、触摸屏、麦克风、声音/语音识别接口、物理或虚拟按钮。例如，接口100可以被配置为显示生成的场景的3D表示。

装置100可以包括存储装置106，例如，该存储装置106用于存储例如由传感器模块104收集的任何数据，存储可以用于帮助生成场景的3D表示的任何数据，或者存储3D表示本身。

如上所述，致动模块(多个致动模块)114可以被布置成移动装置100的任何可移动部件(多个可移动部件)116。致动模块114可以控制发射器的位置和/或定向。致动模块114可以控制接收器的位置和/或定向。致动模块(多个致动模块)114可以被布置成移动任何可移动部件(多个可移动部件)116，以补偿在数据捕获过程(即，发射波和接收反射波的过程)期间装置100的移动，例如，为了补偿用户的手抖动。附加地或替代地，致动模块(多个致动模块)114可以被布置成移动任何可移动部件(多个可移动部件)116来产生和发射结构化辐射。如上所述，例如，结构化辐射可以是由多个光斑点或光点形成的图案。当发射光图案时，接收器可以检测投射的光图案的失真，该失真是当光图案从正在被成像的场景中的对象反射时导致的。因此，如果装置100包括两个光源(例如，两个激光器)，则致动模块(多个致动模块)114可用于移动一个或两个光源，以导致由传感器模块104发射的干涉图案的形成。类似地，如果装置100包括单个光源和分束器，则致动模块(多个致动模块)114可用于移动光源和分束器中的一者或两者以产生干涉图案。来自两个光源/两个光束/多个光束的光的干涉可以产生规则的等距线图案，这可以用于3D感测。使用基于SMA的致动模块(多个致动模块)114来移动光源(即，改变它们的相对位置和/或定向)可以产生具有不同尺寸的干涉图案。这可以使得装置100能够生成不同类型场景的3D表示，例如，可能靠近装置100的面部的3D表示、或者具有不同大小的对象并且距离装置100不同距离的城镇/城市的3D表示。在另一个示例中，装置100可以例如通过使光穿过空间光调制器、透射液晶或穿过图案化的板(例如包括光可以穿过的特定孔图案的板)、栅格、光栅或衍射光栅来投射光图案。在该示例中，基于SMA的致动模块(多个致动模块)114可以被布置成移动光源和/或所使用的部件(例如光栅)以产生光图案。

在传感器模块104的发射器是或包括电磁辐射源的实施例中，致动模块(多个致动模块)114可以被配置成控制光源和/或至少一个光学部件的位置和/或定向，以便控制辐射在正在被成像的场景内的对象上的位置。在实施例中，电磁辐射源可以是激光器。该至少一个光学部件可以是以下任意一种：透镜、衍射光学元件、滤光器、棱镜、镜、反射光学元件、偏振光学元件、介质镜和金属镜。接收器可以是以下之一：光传感器、光电探测器、互补金属氧化物半导体(CMOS)图像传感器、有源像素传感器和电荷耦合器件(CCD)。

在实施例中，传感器模块104的发射器是或包括用于发射多个声波的声波发射器。例如，传感器模块104可以发射超声波。传感器模块104的发射器可以是可调的，以发射不同频率的声波。例如，如果装置100用于生成与装置100不同距离的场景的3D表示，或者在3D表示中需要不同分辨率级别的场景，这可能是有用的。传感器模块104的接收器可以包括声音传感器或麦克风。

改变位置/定向以生成3D表示

图2示出了用于使用图1的装置100生成场景的三维表示的示例步骤的流程图。当装置100发射多个波(步骤S200)以收集与正在被成像的场景相关的数据时，该过程开始。该装置接收反射波，该反射波可能由正在被成像的场景中的一个或更多个对象反射(步骤S202)。根据对象相对于发射器/装置100有多远，反射波可以在不同的时间到达，并且该信息可以用于生成场景的3D表示。

在步骤S204，装置100可以确定装置100的定位和/或定向相对于正在被成像的场景(或场景中的对象)是否已经改变。可选地，装置100可以从传感器(多个传感器)128接收指示(例如，由于用户在保持装置100时的手抖动)装置100的定位和/或定向已经改变的数据。如果装置100的定位和/或定向没有改变，则过程继续到步骤S210或S212。在步骤S210，该装置可以使用接收的反射波生成场景的3D表示。例如，该装置可以使用飞行时间方法或投射的辐射图案中的失真来确定场景内不同对象(相对于装置100)的相对距离，并使用该距离来生成场景的3D表示。可选地，如上所述，在步骤S212，该装置可以向远程装置、服务器或服务传输数据，以使得能够在别处生成3D表示。该装置可以传输原始数据，或者可以处理接收的反射波并传输处理后的数据。

如果在步骤S204确定装置的定位和/或定向已经改变，则该过程可以包括生成用于调整装置的可移动部件的位置和/或定向以补偿该改变的控制信号(步骤S206)。控制信号可以被发送到相关的致动模块，并被用于调整部件的位置/定向(步骤S208)。在实施例中，致动模块可以调整透镜、衍射光学元件、滤光器、棱镜、镜、反射光学元件、偏振光学元件、电介质镜、金属镜、分束器、栅格、图案化的板、光栅或衍射光栅的位置/定向。当已经进行了调整时，处理返回到步骤S200。

应当理解的是，在发射器发射结构化电磁辐射图案(例如，光的图案)的实施例中，图2所示的过程可以通过调整一个或更多个可移动部件的位置和/或定向来开始，以便产生结构化辐射图案。

改变位置/定向以得到超分辨率

超分辨率(SR)成像是一类可以提高成像系统分辨率的技术。在一些被称为光学SR的SR技术中，系统的衍射极限可以被超越(transcended)，而在其他被称为几何SR的SR技术中，数字成像传感器的分辨率可以被提高。

结构化光是将已知图案(例如网格或水平条)投射到场景上的过程。图案在照射表面时变形的方式允许成像系统计算场景中对象的深度和表面(形状)信息。示例结构化光系统使用红外投影仪和相机，并生成被投射到场景上的光斑图案。通过解码由相机(检测器)接收的光的图案，即通过在接收的光的图案中搜索发射的光的图案，来形成3D图像。这种结构化光成像系统的限制可能是由发射器生成的点或斑点的数量。可能很难将数百个光源紧密地封装在同一装置中，且因此，可以使用分束衍射光学元件来增加光源的有效数量。例如，如果一个装置中有300个光源，则可以使用10x10分束器将30000个斑点投射到场景(对象场)上。

然而，没有绝对解码相机接收的光的图案的机制。也就是说，没有用于准确识别接收的光图案(接收的图像)中的哪些斑点对应于发射光图案中的哪些点的机制。这意味着使斑点图案稀疏可能是有利的，因为斑点图案越密集，就越难以将接收的斑点精确地映射到发射的斑点。然而，限制发射的图案中的斑点数会限制输出反馈的分辨率。例如，美国专利号8,493,496指出，为了映射过程中的良好性能，斑点图案具有低占空比(即具有高于平均亮度的图案的面积的分数不大于1/e(～37％))是有利的。换句话说，1/e可以代表这种结构化光图案的实际填充因子的上限。

图3是装置302的示意图，该装置是或包括用于深度映射目标/对象/场景300的结构化光系统。装置302可以是专用结构化光系统，或者可以包括结构化光系统/3D感测系统。例如，装置302可以是包括3D感测系统的消费电子设备(例如但不限于智能手机)。深度感测设备302可以包括发射器304和检测器306，发射器304和检测器306分开基准距离b。基准距离b是发射器304和检测器306的光学中心之间的物理距离。发射器304可以被布置成向目标300发射辐射，例如结构化辐射。结构化辐射可以是图4所示类型的光图案。由发射器304发射的光图案可以被传输到目标300，并且可以延伸跨越目标300的区域。目标300可以具有不同的深度或轮廓。例如，目标300可以是人的面部，且装置302可以用于面部识别。

检测器306可以被布置成检测从目标300反射的辐射。当发射光图案时，检测器306可以用于确定发射的光图案的失真，从而可以生成目标300的深度图。装置302可以包括装置100的一些特征或全部特征——为了简单起见，这些特征在图3中被省略。因此，图3中的装置302可以被认为与图1中的装置100相同，并且可以具有相同的功能，且可以能够与如以上关于图1所述的其他设备、服务器和服务进行通信。

如果假设发射器304和检测器306具有允许它们被建模为简单透镜的光路，则发射器304以原点为中心并且具有焦距f，发射器304和检测器306沿着X轴对准并且被分开基准b，且目标300主要在Z方向上移位，那么斑点将在3D空间[O_x O_y O_z]中的一个点处击中目标300。在图像空间中，该点在

处成像。通过将接收的点与投射的点(实际上是一个缩放的图案，没有关于基准的b项或关于深度的Oz项)进行比较，可以推断出目标300的深度。(y项给出绝对比例信息，而x项传达深度视差信息)。

结构化光发射器和检测器系统(例如图3中的系统/设备302)可以用于对在目标300的表面上的离散位置处的深度采样。已经表明，在给定某些假设的情况下，可以基于对场的平均采样来重构该场。如果平均采样率至少是带限输入的奈奎斯特(Nyquist)频率并且源场属于L²空间，则场可以被唯一地重构。然而，这种重构的保真度取决于微不足道的采样噪声。

采样噪声可能直接出现在测量中，或者由于数据采集系统的带宽限制而出现。

如上所述，光的图案(例如斑点图案)的位置/定向可以通过致动器(例如致动模块114)有意移动，以便填充采样图中的“间隙”并提供超分辨率。已经提出了在曝光期间移动投射图案的系统，但是它们存在多个问题。例如，这样的系统必须仍然遵守填充因子的限制，以便精确地辨别/识别正在被成像的对象/场景中的特征，如上所述，斑点的密度越高，将接收的斑点映射到投射/发射的斑点就越困难。此外，这样的系统可能具有降低的精确地确定表面梯度的能力，因为当图案被移动时可能出现斑点失真，并且从移动的图案中出现的失真对于当斑点击中曲面时出现的失真可能是不可区分的。这些问题表明，离散曝光可能更优选。

超分辨率功能可能取决于目标(正在被成像的对象)相对静止的假设。然而，许多相机用户在使用智能手机相机拍摄高动态范围(HDR)照片时会遇到“重影(ghosting)”。重影是一种多重曝光异常现象，当对同一场景拍摄多张图像并进行合并时会出现这种情况，而图像中任何非静止的内容都会在合并后的图像中产生重影效果。使用两次曝光的消费产品是很常见的，且还有专门的消费产品需要四次曝光，但比这更多的曝光是不常见的。没有理由假设深度数据应该比图像数据特别地更稳定，且因此合成可能需要两次或四次曝光，从而可以在可以减小测量之间的差异的同时最大化帧速率。

致动器或致动模块114可用于移动光的图案(例如，结构化光图案)。当致动模块114移动可移动部件116时收集的图像数据可以不被处理，或者可以针对当图案在曝光期间移动时出现的上述问题来进行处理。示例图像捕获技术可以包括配置图像传感器或检测器以“取一、丢二”的顺序流式传输帧。也就是说，一个帧可以被保留，而随后的两个帧可以被丢弃，以及然后下一个帧可以被保留，以此类推。被丢弃的帧提供了时间窗口，在该时间窗口期间，致动模块114可以完成其移动，以将可移动部件116移动到下一位置。深度传感器通常具有相对较低的像素计数，因此可以实现潜在的非常高的帧速率(例如，每秒120帧(120fps)或更高)。30fps的帧速率可能更典型，但这种较慢的速率可能会增加发射器和目标都在图像捕获过程期间移动的可能性。在图像捕获设备以120fps捕获的示例中，“取一，丢二”概念可以提供8ms的窗口，在该窗口中，致动模块114可以完成可移动部件116的移动。

标准多帧技术可用于将捕获的图像数据合并在一起。然而，由于数据稀疏，可能需要使用推断而不是直接分析技术来完成捕获的图像数据的合并。最常见的多帧技术是帧配准。例如，仿射变换(affine transformation)可用于推导出将帧映射到彼此的最佳方式。这可能包括选择一帧数据作为“关键帧”，并且然后将其他帧与之对齐。由于数据内容的量很大，这种技术对于图像可能相当有效。然而，深度图必然是数据稀疏的，且因此帧的相对旋转和平移的贝叶斯估计(Bayesian estimation)可以被使用，而不是将帧映射到彼此。在许多情况下，将没有足够的证据来破坏先前的位置估计，但是当有足够的证据时，在合并图像/帧时可能需要考虑这方面。

出于以上解释的原因，致动模块114可用于移动/平移结构化光图案以覆盖“间隙”。然而，非均匀采样数据的分析相对困难，且没有单一的答案来指导在哪里放置“新样本”以提高整体采样质量。在二维空间中，选择减少一些度量，例如样本之间的平均路径或样本之间的中值路径，可能是数据采样的好坏的一个很好的指标。

包括光源(例如激光束或垂直腔表面发射激光器(VCSEL)阵列)和衍射光学元件(例如分束器)的上述示例结构化光系统提供了相对较少的机会来选择新样本可以被放置以提高整体采样质量的位置。例如，可以移动VCSEL阵列，或者可以倾斜衍射光学元件——只要该移动可以在不将VCSEL移出光学器件的焦平面的情况下实现，或者在不损害系统中可能提供的任何散热器的情况下实现，这两种选择都具有平移斑点图案的效果。移动VCSEL阵列可能是优选的，因为尽管倾斜衍射光学元件可能对零次波形(zeroth mode)(即VCSEL发射直接穿过衍射光学元件)的影响最小，使得图像的中心不会受到明显的移动，但是更好地分辨图像的中心可能是重要的。

图4示出了可用于3D感测的示例性光图案。光的图案可以由VCSEL阵列提供。为了从图案的移动中提取信息，处理器102需要知道致动模块114(以及其引起的可移动部件116)在每个采样时间步长期间移动了多少。由于所使用的斑点图案的典型伪随机特性，通常没有特别好或不好的方向来移动投射图案——一旦移动增加到平均斑点间距的大约一半，采样行为的改善就相当一致地好。然而，对于设计良好的光图案，可能会有一个真正的最佳空间，超出这个空间，预期的改善就会下降。

图5是使用图1的装置100生成场景的3D表示的示例步骤的流程图。当装置100发射结构化光图案(例如点图案)(步骤S1000)，以收集与正在被成像的场景相关的数据时，该过程开始。发射器可以连续发射光图案，使得当装置的一个或更多个部件被移动以在场景上移动光图案时，光图案被投射到场景上。在实施例中，光图案可以非连续地发射，例如仅当部件(多个部件)已经到达所需位置时发射。该装置接收反射的斑点图案，该斑点图案可能已经被正在成像的场景中的一个或更多个对象反射(步骤S1002)。如果正在被成像的场景或对象具有深度(即，不是完全平坦的)，则反射的斑点图案可能相对于发射的斑点图案失真，并且该失真可用于生成对象的3D表示(深度图)。

如上所述，可以使用多次曝光来生成3D表示/深度图。因此，在步骤S1004，装置100可以生成控制信号，该控制信号用于调整装置的可移动部件的位置和/或定向，以将可移动部件移动到另一位置进行另一次曝光。控制信号可以被发送到相关的致动模块114，并用于调整可移动部件的位置/定向。致动模块114可用于在每次移动期间将可移动部件移动大约平均斑点间距的一半。致动模块114可以调整透镜、衍射光学元件、结构化光图案、用于发射结构化光图案的部件、滤光器、棱镜、镜、反射光学元件、偏振光学元件、电介质镜、金属镜、分束器、栅格、图案化板、光栅或衍射光栅的位置/定向。然后可以接收反射的斑点图案(步骤S1006)——该附加曝光可以与第一次曝光相结合以生成3D表示。如前所述，当致动模块114将可移动部件从初始位置移动到后续位置(可以是预定/预定义位置或坐标组)时，发射器可以连续发射光图案并且接收器/图像传感器可以连续收集图像或帧。因此，处理器102(或装置100的另一部件)可以丢弃在移动期间由接收器/图像传感器收集的一个或更多个帧(例如，两个帧)。因此，在这种情况下，发射器连续地发射光的图案，且接收器连续地检测接收的光的图案。附加地或替代地，在可移动部件正在被移动时，可以关闭接收器/图像传感器和/或发射器，使得发射器仅在处于所需位置时进行发射，或者接收器仅在处于所需位置时检测反射光，或者两种情况都有。

致动模块114可以被配置成以特定顺序将可移动部件116移动到某些预定义位置/坐标，以便实现超分辨率并生成对象的深度图。预定义的位置/坐标可以在工厂校准或测试过程中确定，并且可以在制造过程中提供给装置(例如，给处理器102或存储在存储装置106或存储器108中)。因此，曝光次数、进行曝光的位置以及位置顺序可以被存储在致动模块114中，以供每当要执行超分辨率时使用。

在步骤S1008，该过程可以包括确定是否已经获得/捕获了所有(预定义的)所需曝光次数，以便生成3D表示。这可以包括将捕获的曝光次数与预定义的所需曝光次数(其可以存储在存储装置106/存储器108中)进行比较。如果比较表明还没有达到所需的曝光次数，致动模块114将可移动部件116移动到预定顺序中的下一个位置，以捕获另一个图像。这一过程可能会持续到所有需要的曝光都已被捕获为止。在实施例中，步骤S1008可以被省略，并且该过程可以仅仅包括顺序地将可移动部件116移动到每个预定义位置，并且在该位置接收反射斑点图案。捕获的曝光/图像的数量可以是四次曝光。在实施例中，曝光数量可以大于四次，但捕获超过四次曝光所需的时间可能会对用户体验产生负面影响。

一旦已经捕获了所有需要的曝光/图像，装置100可以使用接收的反射斑点图案生成场景的3D表示。例如，该装置合并曝光(潜在地使用一些统计技术来合并数据)以生成场景的3D表示(步骤S1010)。可选地，如上所述，在步骤S1012，该装置可以向远程设备、服务器或服务传输数据，以使得能够在别处生成3D表示。该装置可以传输原始数据，或者可以处理接收的反射斑点图案，并传输处理后的数据。

通常，为了使深度传感器(例如结构化光深度传感器)正确计算深度，必须精确地知道在包含检测器(例如相机)和发射器两者的光轴的平面中投射斑点的发射角度。这个角度在下文中有时被称为主角度。主角度的误差将导致深度计算推断出观察到的对象比实际情况离检测器更近或更远。如上所述，当装置的元件可相对于彼此移动时(例如，当致动器用于移动结构化光布置中的斑点的位置时)，这种移动(和/或致动器的操作)可能导致该角度的额外误差。

总的来说，本技术的布置寻求通过以下方法中的一种或多种来解决这个问题：更精确地控制装置的可移动元件(多个可移动元件)的位置，更精确地校准装置的可移动元件(多个可移动元件)的位置，或者例如在逐个曝光的基础上校正该位置的误差。

图6示出了该装置的示意图，其示出了结构化光布置。发射器装置包括发射器304和可移动元件116，在这种情况下，可移动元件是透镜。发射器304发射入射到正在被感测的场景中的对象(多个对象)300上的多个波(在这种情况下是光束)501。光束501形成斑点310的图案。光束通常沿着发射器的主轴P进行发射(尽管如图所示，光束可能偏离沿着或平行于该轴的方向)。

当光束501入射到对象300上时，它们反射，形成反射波502，该反射波被偏离发射器304的检测器306检测到。

可移动元件116的移动导致对象300上发射的预定义图案的定位改变，并因此导致对象上不同点的反射，从而如上所述提高分辨率。然而，可移动元件116的位置和/或定向的误差或变化会导致斑点之间的关系的误差，特别是如果光束501和主轴之间的角度以未知(或非预期)的方式改变。下面列出的布置旨在减少、防止和/或补偿此类误差或变化。

在第一布置中，轴承315用于限制可移动元件(多个可移动元件)的运动。

在第一布置中，轴承315可用于限制可移动元件(多个可移动元件)的运动，使得它们仅在垂直于包含例如检测器305的主轴和链接发射器304和检测器305的线的平面(换句话说，图6中的视图平面)的方向上移动。换句话说，轴承315用于将运动限制到单个轴(平行于图中的X轴)，这确实导致投射斑点发射的主角度改变。这可以减少或防止可移动元件116的移动，当可移动元件移动时，可移动元件的移动导致图案的位置的最大随机误差。

图7示出了包括被配置用于这种布置的轴承710的SMA致动器701的示例。轴承710优选地是高公差轴承，并且可以在工厂校准过程中测试和考虑到或消除轴承在定向中的误差。

SMA致动器701包括形成支撑结构的支撑板702和形成可移动元件的可移动板703。支撑板702和可移动板703是彼此相对的平坦平行板。下文将更详细地描述悬挂系统，悬挂系统将可移动板703支撑在支撑板702上，并引导可移动板703相对于支撑板702沿着作为该示例中的移动轴的X轴的移动。

两段SMA线704如下布置以驱动可移动板703相对于支撑板702沿着移动轴的移动。SMA线段704是单独的SMA线，每根线一端通过第一卷曲(crimp)部分705连接到支撑板702，而另一端通过第二卷曲部分706连接到可移动板703。第一卷曲部分705和第二卷曲部分706使SMA线段704卷曲，以提供机械和电连接。在该示例中，SMA线段704布置在可移动板703中的孔707中，以便最小化SMA致动装置的厚度。

两段SMA线704相对于法向于X轴的平面倾斜第一锐角θ。第一锐角θ大于0度，使得它沿着Z轴向支撑板702和可移动板703施加力的分量，并且因此可以沿着X轴驱动移动。然而，当SMA线704收缩以驱动相对移动时，SMA线704在第一锐角θ处的倾斜提供增益，从而导致沿着X轴的相对移动量高于线的长度的变化。

第一锐角θ的选择设定了增益，在驱动力为代价下以较低的值提供较大的增益。一阶增益由l/sin(θ)给出。举例来说，在图7所示的布置中，第一锐角θ为10度，且因此增益约为5.7。

两根SMA线704处于张力之下，并且在它们向可移动板703施加力的方向上是相对的，其中各自的分量平行于X轴且方向相反。也就是说，如图7所示，最上面的SMA线704在其上端连接到可移动板703，从而在可移动板703上施加具有沿着X轴的向下分量的力，并且最下面的SMA线704在其下端连接到可移动板703，从而在可移动板703上施加具有沿着X轴的向上分量的力。因此，SMA线704驱动可移动板703沿着X轴在相反方向上移动。

在使用中，SMA线段704在施加驱动信号时驱动可移动板703沿着X轴移动，该驱动信号的施加导致SMA线段704的加热和冷却，SMA致动器线段704在加热时收缩，而在冷却时在反作用力下膨胀。SMA线段704被驱动信号电阻加热，并当驱动信号的功率降低时由于热传导到周围环境而冷却。可移动板703沿X轴的位置通过对两根SMA线704的差动控制来选择。

悬挂系统包括在支撑板702和可移动板703之间延伸的一对挠曲部708。在该示例中，挠曲部708与可移动板703一体地形成，并因此在其一端一体地连接到可移动板703。挠曲部708在另一端通过例如熔接(welding)、焊接(soldering)或粘合剂的机械连接709连接到支撑板702。

挠曲部708沿X(移动)轴设置在SMA线段704的相对侧上并在SMA线段704的外侧。挠曲部708沿着Y轴延伸，该Y轴垂直于作为移动轴的X轴，并且垂直于作为由SMA线段704产生的力偶(couple)的方向的Z轴。因此，挠曲部708通过挠曲部在X-Y平面中的弯曲来引导沿着X轴的移动。挠曲部708以相对紧凑的结构提供这种功能。

此外，由于材料沿其长度的刚度，挠曲部708沿其长度产生力，其产生抵抗由SMA线段704产生的合成力偶的反作用力偶。

当产生反作用力偶时希望最小化沿着挠曲部708的长度产生的力。这具有最小化挠曲部708的弹性常数的益处。这是通过将挠曲部708沿着X轴布置在SMA线段704的相对侧且在两段SMA线704的外侧来实现的。总的来说，这使得希望增加挠曲部708之间的间隔。

尽管挠曲部708的使用在紧凑和便于制造方面是有利的，但是作为替代，挠曲部708可以由任何其他形式的相应轴承代替。

除了挠曲部708之外，悬挂系统还包括由两个轴承710组成的轴承布置，轴承710被如下布置：允许可移动板703相对于支撑板702沿X轴移动，同时限制不受挠曲部708限制的其它不希望的移动。如下面更详细描述的,轴承710可以是滚动轴承或滑动轴承元件(plainbearing elements)。两个轴承710中的每一个都可以沿着X轴延伸，从而允许可移动板703相对于支撑板702沿着X轴的移动。可以有两个以上的轴承，并且优选地，它们在致动器的范围内尽可能远地间隔开。

轴承710被布置在支撑板702和可移动板703之间，这是方便的，因为它们的性质是平行于作为移动轴的X轴延伸的平板。因此，轴承710限制可移动板703相对于支撑板702沿Z轴的平移移动，该平移移动平行于由SMA线段704产生的合成力偶。

如下文更详细描述的，轴承710沿着X轴具有线性范围，使得每个轴承710内的反作用力限制可移动板703相对于支撑板703围绕Y轴的旋转移动，Y轴垂直于作为移动轴的X轴，并且垂直于由SMA线段704沿着Z轴产生的力偶。

两个轴承710沿着Y轴间隔开，在该示例中，两个轴承710沿着Y轴被布置在SMA线段704的相对侧上且在SMA线段704的外侧。从而，轴承710内产生的反作用力一起作用，以限制可移动板703相对于支撑板702围绕作为移动轴的X轴的旋转移动。

轴承710可以是滚动轴承。在这种情况下，轴承710包括形成在支撑板702和可移动板703上的轴承表面(未示出)和设置在轴承表面之间的多个滚动轴承元件(未示出)。滚动轴承元件可以是球，并且可以由金属制成。轴承表面可以类似地由金属制成。

在第二布置中，机械元件150用于通过限制可移动元件116在至少一个方向上的运动范围来限制其运动。机械元件优选地形成装置的静止部分的一部分，或者附接到装置的静止部分。

图8示出了这种机械元件150的一个示例及其与四种不同构造的可移动元件116的相互关系。机械元件150具有多个参考表面151，在图8所示的布置中，参考表面151是布置在正方形拐角处的四个直角部分。可移动元件116能够在由参考表面形成的正方形的平面内移动(并且可以被另一个机械元件(例如轴承)限制为仅在该平面内移动)。

致动器机构114被布置成驱动可移动元件116的移动。致动器机构可以包括多个致动器，这些致动器被布置成在多个方向上驱动可移动元件。例如，致动器可以被布置成在正交方向上驱动可移动元件，和/或成对的致动器可以被布置成在相反方向上驱动可移动元件。该致动可以如申请人的共同未决申请PCT/GB2019/050965和/或WO 2019/086855 A1中所述。

机械元件150和致动器被布置成使得在朝向由机械元件150限定的正方形的拐角的运动的极限处，可移动元件116在达到致动器允许的最大运动范围之前接触参考表面151。这使得可移动元件116的边缘和/或侧面(多个侧面)在移动方向上接触参考表面(多个参考表面)151，并且致动器迫使可移动元件与参考表面(多个参考表面)牢固接触。通过在可移动元件116的运动的不同极限处布置多个这样的表面，机械元件150限定了可移动元件的多个参考位置，例如如图8中的四种不同布置所示。

由于这些参考位置相对于设备的静止元件是固定的，可移动元件116在每个参考位置中的位置是众所周知的并且是可预测的。这意味着由发射器304产生的图案可以在制造之后在工厂中被校准，并且图案和/或相关参数被存储在设备中(例如存储器设备中)。

此外，由于参考位置是对可移动元件116的移动极限的限制，致动器机构没有必要使用例如如在WO 2014/076463 A1中描述的阻力反馈控制技术，和/或没有必要对可移动元件116的运动进行详细控制。例如，致动器机构可以使用一种机制以在期望的方向上驱动可移动元件(而不是控制这种移动的程度，特别是，不是使用反馈控制技术、比例控制技术等)，因为轴承将确保可移动元件仅终止于参考位置之一。

应当理解的是，虽然图8示出了在运动平面中具有正方形横截面的可移动元件116和将多个参考位置限定为正方形拐角的机械元件150，但是利用相同原理的可移动元件116和/或机械元件150的其他配置也是可能的。

例如，可移动元件116可以具有不同正多边形(例如六边形)的横截面，并且机械元件150可以被布置成提供多个参考位置，每个参考位置对应于多边形的顶点之一。

在一些布置中，机械元件150可以由一对彼此平行的相对参考表面组成，可移动元件116设置在一对彼此平行的相对参考表面之间。致动器机构被布置成垂直于参考表面驱动可移动元件116，使得参考表面充当“端部止动件”，限制可移动元件116在其运动的任一端处的运动。在特定布置中，垂直于参考表面的方向可以是如图6的布置所示的X轴，以便解决主角度中的误差。

在一些布置中，可移动元件116可以被布置成围绕一个或更多个轴旋转，并且机械元件150然后可以提供多个“端部止动件”，端部止动件将该旋转的程度限制在围绕所述轴之一的特定旋转程度，并且在特定布置中，限制在多个旋转程度，例如限制在至少两个相反的程度，该至少两个相反的程度是相反地围绕特定轴的旋转。

可替换地或附加地，可移动元件116和/或机械元件150可以被布置成使得当可移动元件被迫使与一个或更多个参考位置附近的机械元件接触时，可移动元件116和参考表面(多个参考表面)151之间的相互作用导致可移动元件围绕垂直于可移动元件的运动平面的轴旋转。这可以通过将参考表面(多个参考表面)151布置成使得它们不垂直于由致动器导致的运动方向来实现。

可选地或附加地，机械元件150可以具有在三维空间中限定多个参考位置的结构，并且可移动元件可以能够在三维空间中移动并在三维空间中被驱动，以便在多个参考位置与参考表面151接合。

致动器机构和/或可移动元件116可以具有一个或更多个偏置元件，该一个或更多个偏置元件使得可移动元件采用静止位置。该静止位置可以是由机械元件150限定的参考位置之一，或者不属于参考位置中任何一个的中间位置。

在图9示意性示出的替代配置中，机械元件可以提供单个参考表面152，例如平坦的平面。然后，致动器机构可以被配置成在多个预定参考位置160a-160c之间移动可移动元件116，每个预定参考位置都在参考表面152上。当可移动元件移动到这些参考位置之一时，致动器机构被布置成驱动可移动元件(在图9中箭头U所示的方向上)与参考表面牢固接触，使得可移动元件在一个方向上的定向和/或位置仅由参考表面限定。

通过参考表面152的适当布置，这种布置可以确保可移动元件116的定向总是关于至少一个轴、优选地与两个正交轴(位于平行于参考表面152的平面中的轴)一致，并且因此，特别地，当可移动元件116处于每个参考位置160a-160c时，投射图案在例如包含发射器的主轴P的平面中的发射角由参考表面152固定。

如果参考表面152能够被精确地限定和定位，这可以足以消除或减少由于可移动元件116的定向的变化导致的误差。可选地或附加地，该设备可以经历工厂校准，其中可移动元件被布置在多个参考位置中的每一个中，从而可以确定由可移动元件的定向导致的在发射图案中的误差，并且该设备被校准以考虑这些误差。

这可以使用申请人的共同未决申请GB1820383.6中描述的布置来实现，该申请GB1820383.6通过引用被并入本文。

当可移动元件116处于不是参考位置的位置中时，例如图9所示的中间位置160d中，可以发射预定图案的投射布置。在这种布置中，可移动元件的位置和/或定向不是众所周知的，但是可以从附近的参考位置推断或插值，例如，如下文进一步所述。

如上所述，由处理器102处理来自正在被感测的场景中的对象的反射波。在另外的布置中，以及对这些反射波的正常处理，例如为了确定深度图，处理器102可以校正由可移动元件在定位中的变化或未知变量导致的反射波中的误差和/或变化。纠正误差或变化的处理当然可以由单独的处理器来执行。

在一种配置中，处理器102被布置成比较从可移动元件的两个或更多个不同位置获得的在场景中对象的确定的深度位置，并基于该比较来调整或校正一个或更多个确定的深度位置。

例如，该比较可以识别从可移动元件的一种布置确定的深度位置与从另一种布置确定的深度位置相比的系统误差。替代地或附加地，该比较可以识别由一种布置确定的深度位置导致的随机误差。后者可以通过识别与先前计算的深度位置不一致的异常深度位置来举例说明。这种异常值可能是由于例如发射图案中的波之间的干涉或者反射波的一部分被误解为由发射图案的不同部分生成的。

处理器102可以使用当可移动元件处于已知参考位置时确定的深度位置作为其比较的基准。当可移动元件处于已知参考位置时所确定的深度位置可能相对无误差，并且因此为比较提供了良好的基准。

参考位置可以是由装置的上述布置中的机械元件限定的一个或更多个参考位置。例如，如果希望在可移动元件不处于限定的参考位置之一的布置中确定深度位置，则处理器可以被布置成使用当可移动元件处于限定的参考位置之一时确定的深度位置作为其比较的基准，以确定当可移动元件处于不是限定的参考位置之一的另一位置时确定的深度位置的变化或误差，并且潜在地校正发现的任何误差或变化。用于基准的参考位置可以是在空间上最靠近该另一个位置的参考位置。

典型地，当可移动元件处于不同位置时接收的反射波将不会源自场景中对象的相同部分，且因此在两种布置中确定的深度位置之间不一定能够进行直接比较。

因此，处理器102可以在被用作比较基准的布置中确定的深度位置之间进行插值，以便确定预期的深度位置和相对于正在被比较的布置中的深度位置的任何变化。处理器102可以被布置为忽略比较的变化，因此这样的低于预定阈值的插值是可接受的和/或可能的深度变化。任何这样的阈值可以是可变阈值，例如取决于插值点距基准位置中直接确定的深度位置的距离。

处理器102可以被布置成考虑历史确定的深度位置。例如，处理器102可以存储在先前场景中可移动元件的两个或更多个位置之间确定的变化，并且在将所确定的深度位置与相同场景的先前记录的所确定的深度位置进行比较的比较中使用这些变化。

处理器102可以被布置成基于场景的多个先前确定的深度位置来构建深度位置的参考集合。这可以采取从可移动元件的先前位置确定的深度位置的平均值的形式(其可以是加权平均值，例如考虑位置是多久前确定的)。

可选地或附加地，处理器102可以被布置为确定关于可移动元件的特定位置的所有确定的深度位置的平均值，并将该平均值与关于可移动元件的第二位置或另外的位置的所有确定的深度位置的平均值进行比较。虽然确定平均值将不可避免地消除(remove)所确定的深度位置的精度，但它可能有助于识别系统误差或变化(例如，如果在时间上间隔很近的两个布置中确定的平均深度有很大不同，这很可能是系统误差的结果，该系统误差导致了其中一个确定中所有深度位置被确定为更靠近装置或更远离装置。同样，可以应用阈值以避免小的变化，这种小的变化可能是由于场景中的对象或装置本身移动而自然产生的，这些小的变化被分类为误差。

在进一步的发展中，处理器102可以被布置成有意地将可移动元件定位在至少一对位置中，使得在第一位置中发射图案的一部分与在第二位置中发射图案的不同部分直接重叠。例如，在结构化光布置中，处理器可以被布置成有意地将在第二布置中的一个斑点投射到与在第一布置中的斑点相同的点上(或者，就波而言，沿着相同的轴)。这种布置显然可以在发射图案的附加位置对和/或附加部分之间重复。应该注意的是，这种在不同的位置中的图案之间的重叠通常被认为是不期望的，其原因是因为场景的相同的部分(多个部分)被采样和成像，这会降低超分辨率的益处。

然而，当在本布置中使用处理器在确定的深度位置之间进行比较时，这种布置可能是有益的，其原因是图案的相应重叠部分确定的深度位置的任何变化都可以被识别为误差，因为可以预期场景中的对象会在每个布置中将发射的波相同地反射回装置。此外，这种确定可以服从阈值的应用，以考虑在两种布置之间的时间内装置和对象(多个对象)的可接受的相对移动。可以应用可变阈值，该可变阈值考虑了两种布置之间的已知时间。

在本申请中提到方向和/或平面和/或各种部件或表面正交或垂直时，应该理解的是，这应涵盖了其中方向、平面、部件或表面基本上以正交或垂直关系进行布置的布置，即使不完全如此。特别地，这种描述包括其中获得关系的指示效果的所有布置，即使这些布置并不精确地如所指示的那样。

当提到上述“变化”和/或“误差”时，例如在可移动元件或波的定位中，这包括了系统误差和随机误差二者。上述布置优选地减少或基本上或完全消除至少由可移动元件的移动导致的随机误差。系统误差也可以通过这些方法来减少或消除，但是通常不太重要，因为它们可以更容易地通过使用其他技术来补偿和/或对3D感测的精度具有较低的影响。

本文描述的技术和装置可以用于面部识别、增强现实、3D感测、深度测绘、航空勘测、陆地勘测、空间内或来自空间的勘测、水文勘测、水下勘测和/或LIDAR(通过用脉冲光(例如激光)照射目标并利用传感器测量反射脉冲来测量到目标的距离的勘测方法)，等等。应当理解的是，这是非穷举列表。

除非上下文另外要求，否则术语“轴承”在本文中根据下文进行使用。本文中使用的术语“轴承”包括术语“滑动轴承”、“普通轴承”、“滚动轴承”、“滚珠轴承”、“滚柱轴承”和“挠曲件”。本文中使用的术语“轴承”通常是指用于将运动限制为仅所需运动并减小移动部分之间的摩擦的任何元件或元件组合。术语“滑动轴承”用于表示其中轴承元件在轴承表面上滑动的轴承并且包括“普通轴承”。术语“滚动轴承”用于表示其中例如滚珠或滚子的滚动轴承元件在轴承表面上滚动的轴承。在实施例中，轴承可以被设置在非线性轴承表面上或可以包括非线性轴承表面。

在本技术的一些实施例中，可以组合使用一种以上类型的轴承元件以提供轴承功能。因此，本文使用的术语“轴承”包括例如普通轴承、滚珠轴承、滚子轴承和挠曲件的任何组合。

尽管已经具体参照相机和相机组件描述了上述方法中的一些，但是应当理解的是，所涉及的致动器组件的配置和/或控制可以应用于需要虹膜(iris)控制的其他领域。

本领域的技术人员将认识到，虽然前面已经描述了被认为是执行本技术的最佳模式和适当的其他模式，但是本技术不应该局限于在优选实施例的这种描述中公开的特定配置和方法。本领域技术人员将认识到，本技术具有广泛的应用范围，并且在不脱离所附权利要求中限定的任何发明概念的情况下，实施例可以进行广泛的修改。

Claims

1.一种用于生成场景的三维表示的方法，所述方法包括：

以预定图案发射多个发射波，所述图案具有主轴；

相对于发射器模块的静止部分移动可移动部分，以便根据所述可移动部分的位置和/或定向以多个不同的布置发射所述预定图案；

其中，所述可移动部分的移动受到机械元件的限制，以便提供在一个或更多个所述不同的布置中所述主轴相对于所述静止部分的可预测的定向。

2.根据权利要求1所述的方法，其中，所述移动包括将所述可移动部分移动到相对于所述静止部分的一个或更多个位置和/或定向，所述一个或更多个位置和/或定向中的每一个位置和/或定向导致所述发射器模块以所述多个布置中不同的一个布置发射所述预定图案。

3.根据权利要求1或2所述的方法，其中，所述移动包括在所述一个或更多个位置和/或定向中的每一个位置和/或定向上迫使所述可移动部分抵靠所述机械元件，使得所述可移动部分的位置和/或定向是可预测的。

4.根据任一前述权利要求所述的方法，其中，在所述一个或更多个位置中的每一个位置上限制所述可移动部分在两个相互正交的方向上和/或围绕两个相互正交的轴的移动。

5.根据权利要求4所述的方法，其中，所述移动是通过控制所述可移动部分的位移方向而不是位移的大小来执行的。

6.根据任一前述权利要求所述的方法，包括：

将所述可移动部分移动到发射所述预定图案的第一布置的第一位置和/或定向和发射所述预定图案的第二布置的第二位置和/或定向，其中，所述可移动部分在所述第一位置和/或定向中受所述机械元件限制，以及在所述第二位置和/或定向中不受所述机械元件限制；以及所述方法包括：

对于所述预定图案的所述第一布置和第二布置中的每一个，接收反射波布置，所述反射波布置包括是来自所述场景中的一个或更多个对象的反射的反射波；

处理在所述接收器处接收的反射波，并基于关于所述第一位置接收的反射波，校正由在所述第二位置和/或定向中所述可移动元件的定位误差导致的在所述反射波布置中的变化的影响。

7.一种用于在生成场景的三维表示的设备中使用的装置，所述装置包括：

发射器模块，所述发射器模块具有：

发射器，所述发射器用于以预定图案发射多个发射波，所述图案具有主轴；

静止部分；和

可移动部分，所述可移动部分被配置为允许所述发射器模块根据所述可移动部分相对于所述静止部分的位置和/或定向以多个不同的布置发射所述预定图案；以及

机械元件，所述机械元件用于限制所述可移动部分的移动，以便提供在一个或更多个所述不同的布置中所述主轴相对于所述静止部分的可预测的定向。

8.根据权利要求7所述的装置，其中，所述机械元件是轴承。

9.根据权利要求7或权利要求8所述的装置，还包括致动器，所述致动器被布置成将所述可移动部分移动到相对于所述静止部分的一个或更多个位置和/或定向，所述一个或更多个位置和/或定向中的每一个位置和/或定向导致所述发射器模块以所述多个布置中不同的一个布置发射所述预定图案。

10.根据权利要求9所述的装置，其中，所述机械元件相对于所述静止部分是固定的，并且所述致动器被布置成在所述一个或更多个位置和/或定向中的每一个位置和/或定向上迫使所述可移动部分抵靠所述机械元件，使得所述可移动部分的位置和/或定向是可预测的。

11.根据权利要求10所述的发射装置，其中，致动器主要提供对所述可移动部分的位移方向的控制，而不是对位移的大小的控制。

12.根据权利要求10或权利要求11所述的装置，其中，所述机械元件在所述一个或更多个位置中的每一个位置上限制所述可移动部分在两个相互正交的方向上和/或围绕两个相互正交的轴的移动。

13.根据权利要求10至12中任一项所述的发射装置，其中，所述机械元件被配置为在所述多个位置中的每一个位置中迫使所述光学元件进入预定定向。

14.根据权利要求10所述的装置，其中，在所述可移动元件的所述一个或更多个位置的每一个位置中，所述机械元件限制所述可移动部分在单个方向上的移动，并且其中，所述致动器被布置成将所述可移动部分移动到垂直于所述单个方向的平面中的多个位置。

15.根据权利要求7至14中任一项所述的装置，其中，所述机械元件被配置为提供所述主轴当被投射到相对于所述静止部分限定的平面上时的可预测定向。

16.一种用于生成场景的三维表示的设备，所述设备包括接收器和根据权利要求7至15中任一项所述的装置，所述接收器用于接收从所述场景中的一个或更多个对象在每个所述不同的布置中反射的反射波。

17.根据权利要求16所述的设备，其中，所述机械元件被布置成将所述可移动部分的移动限制在垂直于包括所述接收器的光轴以及在所述发射器模块和所述接收器之间的线的平面的方向上。

18.一种用于生成场景的三维表示的装置，所述装置包括：

可移动部分，所述可移动部分被配置为允许所述发射器模块根据所述可移动部分的位置和/或定向以多个不同的布置发射所述预定图案；

接收器，所述接收器用于接收关于所述预定图案的每个不同的布置的多个反射波布置，所述反射波布置包括是来自所述场景中的一个或更多个对象的反射的反射波，以及

处理器，所述处理器用于处理在所述接收器处接收的反射波，所述处理器被配置为基于在所述多个反射波布置中的两个或更多个反射波布置中接收的反射波之间的关系，校正由所述可移动部分的定位误差导致的在所述反射波布置中的变化的影响。

19.根据权利要求18所述的装置，其中，所述处理器被布置成从所述反射波确定关于所述对象在所述场景中的位置信息。

20.根据权利要求19所述的装置，其中，所述处理器被布置为通过将从一个反射波布置确定的所述位置信息与从一个或更多个另外的反射波布置确定的所述位置信息的插值进行比较来校正所述变化的影响。

21.根据权利要求19或权利要求20所述的装置，其中，所述处理器被布置成通过使用历史信息来校正所述变化的影响。

22.根据权利要求21所述的装置，其中，所述历史信息包括关于相对于当可移动元件处于相同位置时获得的先前反射波布置的所述变化的影响的信息。

23.根据权利要求19至22中任一项所述的装置，其中，所述处理器被布置成通过将从一个反射波布置确定的所述位置信息与从所述反射波布置中的所有反射波获得的所述位置信息的平均值进行比较来校正所述变化的影响。

24.根据权利要求19至23中任一项所述的装置，其中，所述装置还包括致动器，所述致动器被布置成将所述可移动部分移动到相对于所述静止部分的一个或更多个位置和/或定向，所述一个或更多个位置和/或定向中的每一个位置和/或定向导致所述发射器模块以所述多个布置中的不同的一个布置发射所述预定图案。

25.根据权利要求24所述的装置，还包括控制器，所述控制器控制所述致动器，其中，所述控制器被配置为控制所述致动器将所述可移动部分定位在发射所述预定图案的第一布置的第一位置和/或定向中和发射所述预定图案的第二布置的第二位置和/或定向中。

26.根据权利要求25所述的装置，其中，所述控制器被配置为控制所述致动器，使得所述预定图案的两个不同部分在所述第一布置和第二布置中一致，从而能够进行所述校正。

27.根据权利要求25或26所述的装置，还包括：

机械元件，所述机械元件用于限制所述可移动部分的移动，以便提供在一个或更多个所述不同的布置中所述图案的主轴相对于所述静止部分的可预测的定向；

其中，所述可移动部分在所述第一位置和/或定向上受所述机械元件限制，而在所述第二位置和/或定向上不受所述机械元件限制；

其中，所述处理器被配置为基于接收的关于所述第一位置的反射波，来校正由在所述第二位置和/或定向中所述可移动元件的定位误差导致的所述反射波布置的所述变化的影响。

28.一种用于生成场景的三维表示的方法，所述方法包括：

以预定图案发射多个发射波；

接收关于所述预定图案的每个不同的布置的多个反射波布置，所述反射波布置包括是来自所述场景中的一个或更多个对象的反射的反射波，以及

处理在接收器处接收的反射波，并基于在所述多个反射波布置中的两个或更多个反射波布置中接收的反射波之间的关系，校正由所述可移动部分的定位误差导致的在所述反射波布置中的变化的影响。

29.一种非暂时性数据载体，所述非暂时性数据载体携带用于实现根据权利要求1至6或权利要求28中任一项所述的方法的处理器控制代码。