CN111954790A - 用于3d感测的装置和方法 - Google Patents

用于3d感测的装置和方法 Download PDF

Info

Publication number
CN111954790A
CN111954790A CN201980024815.4A CN201980024815A CN111954790A CN 111954790 A CN111954790 A CN 111954790A CN 201980024815 A CN201980024815 A CN 201980024815A CN 111954790 A CN111954790 A CN 111954790A
Authority
CN
China
Prior art keywords
scene
representation
orientation
pattern
actuation module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024815.4A
Other languages
English (en)
Inventor
大卫·查尔斯·威廉·理查兹
约书亚·卡尔
詹姆斯·豪沃思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cambridge Mechatronics Ltd
Original Assignee
Cambridge Mechatronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1805558.2A external-priority patent/GB201805558D0/en
Application filed by Cambridge Mechatronics Ltd filed Critical Cambridge Mechatronics Ltd
Publication of CN111954790A publication Critical patent/CN111954790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03G—SPRING, WEIGHT, INERTIA OR LIKE MOTORS; MECHANICAL-POWER PRODUCING DEVICES OR MECHANISMS, NOT OTHERWISE PROVIDED FOR OR USING ENERGY SOURCES NOT OTHERWISE PROVIDED FOR
    • F03G7/00—Mechanical-power-producing mechanisms, not otherwise provided for or using energy sources not otherwise provided for
    • F03G7/06—Mechanical-power-producing mechanisms, not otherwise provided for or using energy sources not otherwise provided for using expansion or contraction of bodies due to heating, cooling, moistening, drying or the like
    • F03G7/065—Mechanical-power-producing mechanisms, not otherwise provided for or using energy sources not otherwise provided for using expansion or contraction of bodies due to heating, cooling, moistening, drying or the like using a shape memory element
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/004—Mounting transducers, e.g. provided with mechanical moving or orienting device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

广义地说，本技术的实施例提供了用于生成场景的三维(3D)表示或用于3D感测的装置、系统和方法，通过使用形状记忆合金(SMA)致动器线来控制用于生成3D表示/执行3D感测的装置的一个或更多个部件的位置或取向。

Description

用于3D感测的装置和方法
本申请总体上涉及用于生成场景的三维(3D)表示(也称为3D感测)的装置和方法，并且特别地涉及用于控制用于生成3D表示的装置的一个或更多个部件的位置和/或取向的技术。
在本技术的第一方法中，提供了用于生成场景的三维(3D)表示(或用于3D感测)的装置，该装置包括：传感器模块，其包括用于发射多个波的发射器和用于接收被场景中的一个或更多个对象反射的反射波的接收器；至少一个致动模块，其用于控制装置的一个或更多个部件的位置或取向中的一个或两个，该致动模块包括至少一根形状记忆合金(SMA)致动器线；以及至少一个处理器，其用于生成用于致动模块的控制信号,以调节装置的一个或更多个部件的位置和/或取向。
在本技术的第二方法中，提供了用于使用装置生成场景的三维表示的方法，该方法包括：使用装置的发射器发射多个波；使用装置的接收器接收被场景中的一个或更多个对象反射的反射波；使用装置的至少一个处理器生成用于至少一个致动模块的控制信号，以调节装置的一个或更多个部件的位置和/或取向；以及使用装置的致动模块控制装置的一个或更多个部件的位置或取向中的一个或两个，该致动模块包括至少一根形状记忆合金(SMA)致动器线。
在本技术的相关方法中，提供了本文所述的任何装置在电子或机电设备中的应用。本文所述的任何装置可用于(并入)以下项中任何一项或更多项：智能手机、相机、可折叠智能手机、可折叠智能手机相机、可折叠消费电子设备、具有折叠光学器件的相机、图像捕捉设备、潜望镜相机、阵列相机、3D感测设备或系统、消费电子设备(包括家用电器)、移动或便携式计算设备、移动或便携式电子设备、膝上型电脑、平板计算设备，电子阅读器(也称为电子书阅读器或电子书设备)、计算附件或计算外围设备、安全系统、生物安全系统、游戏系统、游戏附件、机器人或机器人设备、医疗设备、显示设备或显示系统、3D打印机、工具或工业工具、增强现实系统、增强现实设备、虚拟现实系统、虚拟现实设备、智能眼镜、可穿戴设备、无人机(空中、水上、水下等)、交通工具(例如，汽车、航空器、航天器、潜水器等)以及自主车辆(例如，无人驾驶汽车)。应当理解，这是可以结合本装置的示例设备的非穷举列表。
本文所述的装置可用于多种技术或目的(及其相关设备或系统)，诸如图像捕获、图像显示或投影、对象识别、面部识别、生物识别、生物认证、增强现实、虚拟现实、3D感测、深度测绘、航空测量、陆地测量、太空测量/从太空测量、水文测量、水下测量、LIDAR、场景检测、碰撞警告、车辆或自主车辆中的高级驾驶员辅助系统、自主车辆、游戏、手势控制/识别、机器人设备、机器人设备控制、家庭自动化、安全性、无接触技术等。应当理解，这是可以受益于利用本装置的示例技术的非穷举列表。
在本技术的相关方法中，提供了用于生成场景的三维表示的系统，包括：如本文所述的装置，该装置被配置为发送与所接收的反射波相关的数据；以及远程设备或远程服务器，其用于接收与所接收的反射波相关的数据并生成场景的三维表示。
在本技术的相关方法中，提供了携带处理器控制代码以实现本文所述的任一方法的非暂态数据载体。
优选特征在所附从属权利要求中阐述。
如将由本领域中的技术人员认识到的，本技术可被体现为系统、方法或计算机程序产品。因此，本技术可以采取完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。
此外，本技术可采用体现在计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有体现在其上的计算机可读程序代码。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读介质例如可以是但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备或者前述项的任何合适的组合。
可以用一种或更多种编程语言的任何组合(包括面向对象的编程语言和传统的过程编程语言)来书写用于执行本技术的操作的计算机程序代码。代码部件可以体现为过程、方法等，并且可以包括子部件，这些子部件可以采取在从本地指令集的直接机器指令到高级编译或解释语言结构的任何抽象级别处的指令或指令序列的形式。
本技术的实施例还提供了携带代码的非暂态数据载体，该代码当在处理器上实现时使处理器执行本文描述的任一方法。
这些技术还提供处理器控制代码以例如在通用计算机系统或数字信号处理器(DSP)上实现上述方法。该技术还提供了承载处理器控制代码的载体，以在运行时实现上述方法中的任何一种，特别是在非暂时性数据载体上。代码可以在载体(诸如，磁盘、微处理器、CD-ROM或DVD-ROM)、编程存储器(诸如，非易失性存储器(例如，闪存))或只读存储器(固件)上、或者数据载体(诸如，光学或电学信号载体)上被提供。实现本文描述的技术的实施例的代码(和/或数据)可以包括以传统编程语言(解释或编译)(诸如，C)的源、对象或可执行代码、或者汇编代码、用于设置或控制ASIC(专用集成电路)或FPGA(现场可编程门阵列)的代码、或者用于硬件描述语言(诸如Verilog(RTM)或VHDL(超高速集成电路硬件描述语言))的代码。如技术人员将认识到的，这样的代码和/或数据可以分布在彼此通信的多个耦合的部件之间。这些技术可以包括控制器，该控制器包括微处理器、工作存储器和耦合到系统的一个或更多个部件的程序存储器。
本领域中的技术人员还将清楚，根据本技术的实施例的逻辑方法的全部或部分可以适当地体现在包括执行上述方法的步骤的逻辑元件的逻辑装置中，并且这种逻辑元件可以包括在例如可编程逻辑阵列或专用集成电路中的部件，诸如逻辑门。这种逻辑布置可以进一步体现在用于使用例如虚拟硬件描述符语言来在这种阵列或电路中临时或永久地建立逻辑结构的启用元件中，虚拟硬件描述符语言可以使用固定或可传输的载体介质来被存储和传输。
在实施例中，本技术可以以数据载体的形式实现，数据载体具有在其上的功能数据，所述功能数据包括功能计算机数据结构，以当被加载到计算机系统或网络中并从而被操作时使所述计算机系统能够执行上述方法的所有步骤。
现在将通过示例参考附图描述本技术的实施方式，其中：
图1示出了用于生成场景的三维表示(或用于3D感测)的装置或系统的示意图；
图2示出了用于生成场景的三维表示的示例步骤的流程图；
图3是示出了用于3D感测的装置或系统的示意图；
图4示出了可用于3D感测的示例性光图案；
图5示出了可用于3D感测的示例性光图案，该光图案覆盖有偏移的点图案，该偏移的点图案源自用于最小化点之间的平均(mean)路径长度的优化程序；
图6示出了可用于3D感测的示例性光图案，该光图案覆盖有偏移的点图案，该偏移的点图案源自用于最小化点之间的中值(median)路径长度的优化程序；
图7A示出了用于最小化点之间的平均路径长度的优化程序的第一次迭代；以及图7B示出了用于最小化点之间的中值路径长度的优化程序的第一次迭代；
图8A示出了用于最小化点之间的平均路径长度的优化程序的第二次迭代；以及图8B示出了用于最小化点之间的中值路径长度的优化程序的第二次迭代；
图9A示出了用于最小化点之间的平均路径长度的优化程序的第三次迭代；以及图9B示出了用于最小化点之间的中值路径长度的优化程序的第三次迭代；
图10是用于生成场景的3D表示的示例步骤的流程图；
图11是用于生成场景的3D表示的示例步骤的流程图；
图12A是可用于控制部件的位置的第一示例致动器模块的示意图；
图12B是第二示例致动器模块的示意图；
图13是第三示例致动器模块的示意图；
图14A是第四示例致动器模块的透视图，以及图14B是第四示例致动器模块的侧视图；
图15A是第五示例致动器模块的示意图；以及
图15B是第六示例致动器模块的示意图。
广义地说，本技术的实施例提供了用于生成场景的三维(3D)表示或用于3D感测的装置、系统和方法，通过使用形状记忆合金(SMA)致动器线来控制用于生成3D表示/执行3D感测的装置的一个或更多个部件的位置或取向。
存在期望提供对可移动元件的位置控制的许多类型的装置。SMA致动器线作为致动器(或致动器/致动部件的一部分)可能是有利的，因为其具有高能量密度，这意味着包括需要施加特定力的SMA致动器线的致动器可以具有相对较小的尺寸。
SMA致动器线可用于提供对可移动元件的位置控制的示例类型的装置是相机，诸如智能手机相机、无人机相机或可佩戴设备相机。例如，为了实现聚焦、变焦或抖动校正，可以使用致动部件来驱动相机镜头元件沿着相机的光轴和/或在垂直于光轴的平面内移动。在微型相机中，诸如在智能手机中提供的那些微型相机，相机镜头元件很小，因此，致动部件可能需要紧凑(特别是考虑到智能手机内的空间限制)。因此，致动部件必须能够在相对较小的移动范围内提供精确致动。包括SMA致动器线的致动部件可用于驱动这种相机镜头部件的移动。由于可移动元件的小尺寸和所需的高精度致动，SMA致动器线可能需要小心且精确地耦合到致动部件。
SMA致动器线可用于在用于3D感测或生成场景的3D表示的设备内提供对可移动元件的位置控制。示例设备可以是包括波(诸如，电磁波或声波)的至少一个发射器和用于检测反射波的传感器的设备。反射波可用于生成深度图或建立周围对象的距离信息，从而构建场景的3D表示。示例设备可以是智能手机、移动计算设备、膝上型电脑、平板计算设备、安全系统、游戏系统、增强现实系统、增强现实设备、可穿戴设备、无人机(诸如，用于测绘或勘测的无人机)、车辆(诸如，具有辅助驾驶能力的车辆)和自主车辆。
有许多正在被开发并用于创建深度图或建立周围对象的距离信息的不同方法。许多这些方法(诸如，飞行时间法或考虑投射光图案的变形)涉及发射光图案(通常是使用红外(IR)光)，检测发射的光图案的反射，处理光斑的定位或发射和检测之间的时间，以推断反射对象的距离。因此，可用于生成场景的3D表示的设备可结合结构化光投影仪(即，投射图案化光(通常是点阵列)的部件)。一般来说，用于生成3D表示/执行3D感测的设备可以结合任何波发射器(例如，电磁或声音)，以及用于检测反射波的相应的检测器或传感器。
现有的3D感测系统会有许多缺点。例如，与环境照明(尤其是直射阳光)相比，IR照明的强度可能非常弱，这意味着可能需要进行多次测量来提高测量的准确性(以及由此，提供3D表示的准确性)。结构光(点图案)投影仪可能需要限制包含在光图案中的分辨率，使得可以容易且无歧义地解释发射光图案的失真。对于结构光，在深度信息的质量与设备中的发射器和接收器之间的距离之间也存在权衡，较宽的间距往往会给出较好的深度图，但更难于封装，尤其是在移动设备中。
在许多应用中，特别是在例如手持或可穿戴的电子设备中，测量深度图的设备可以相对于被测量的周围环境随时间改变取向。这意味着深度信息可能在捕获期间变形，并且可能在捕获之间发生显著变化。这些影响会严重影响推断出的深度图的质量。然而，已知由用户的手抖动引起的检测器抖动提高了分辨率(因为抖动施加了幅度恰到好处的颤振)，使得一些移动被认为是有利的。
同时，为了提高推断出的深度图的质量，光发射器与检测器的对准被认为非常重要。因此，任何干扰发射器和检测器之间基线距离的事物都被认为是不利的。
因此，本技术提供了一种改变用于生成场景的3D表示的装置内的元件的定位/位置和/或取向以便在收集3D表示的数据时补偿装置本身的移动的方式。这可以改进使用设备生成的深度图的精度。
由本技术提供的改进是出乎意料的，并且尽管致动器可能会干扰发射器和接收器之间的基线距离，但还是提供了改进。
出于3D感测或深度映射的目的，发射图案化光或结构化光可能是有用的。结构化辐射可以是例如由多个光圆点(dots)或光点(points)形成的图案。当发射光图案时，接收器可以检测投影光图案的失真，该失真是当光图案从被成像场景中的对象反射时引起的。初始光图案的失真可用于生成场景的3D表示。通过有目的地移动用于发射图案化光和/或接收失真图案的部件，本技术可以提供发射图案化光/结构化辐射以生成场景的3D表示的方式。例如，如果装置包括两个光源(例如，两个激光器)，则致动器可用于移动光源中的一个或两个以产生干涉图案，或者如果装置包括单个光源和分束器，则致动器可用于移动光源和分束器中的一个或两个以产生干涉图案。来自两个源的光的干涉可以产生规则的等距线的图案，这可以用于3D感测。使用致动器来移动光源(即，改变它们的相对位置和/或取向)可以产生具有不同尺寸的干涉图案。在另一示例中，装置可以例如通过使光穿过空间光调制器、透射液晶或穿过图案化板(例如，包括光可以穿过的特定孔图案的板)、栅格、光栅或衍射光栅来投射光图案。
在本技术中，可以使用包括至少一根形状记忆合金(SMA)致动器线的致动模块来移动用于生成3D表示(或者至少用于收集用于生成3D表示的数据)的装置内的任何部件。在实施例中，装置内的多个部件可以通过单个致动模块或单独的致动模块可移动。现在将参考附图更详细地描述本技术。
图1示出了用于生成场景的三维表示(或用于3D感测)的装置100和系统126的示意图。装置100可用于生成3D表示(即，执行3D感测)，或者可用于收集可由另一设备或服务使用来生成3D表示的数据。装置100可以是适于收集用于生成场景的3D表示/3D感测的数据的任何设备。例如，装置100可以是智能手机、移动计算设备、膝上型电脑、平板计算设备、安全系统(例如，能够访问用户设备的安全系统、机场安全系统、银行或网上银行安全系统等)、游戏系统、增强现实系统、增强现实设备、可穿戴设备、无人机(诸如，用于航空测量或测绘的无人机)、车辆(例如，包括高级驾驶员辅助系统的汽车)或自主车辆(例如，无人驾驶汽车)。应当理解，这是示例设备的非限制性列表。在实施例中，装置100可以执行数据收集和3D表示生成。例如，安全系统和自主车辆可以具有在内部执行3D表示生成的能力(例如，存储器、处理能力、处理速度等)。如果装置100本身要使用3D表示，这可能是有用的。例如，安全系统可以使用场景的3D表示来执行面部识别，因此可能需要收集数据并对其进行处理以生成3D表示(在这种情况下是某人的面部)。
附加地或可替代地，装置100可以执行数据收集，并且可以将收集的数据传输到另一装置120、远程服务器122或服务124，以实现3D表示生成。如果装置100不需要使用3D表示(不是立即需要或根本不需要)，这可能是有用的。例如，执行航空测量或测绘的无人机可能不需要使用其已经测量/测绘的区域的3D表示，因此可以仅传输所收集的数据。装置120、服务器122和/或服务124可以使用从装置100接收的数据来生成3D表示。装置100可以传输原始收集的数据(或者在收集时实时传输，或者在收集完成后传输)，和/或可以传输收集的数据的处理版本。如果需要快速获取数据来尽快生成3D表示，则装置100可以实时传输原始收集的数据。这可能取决于用于传输数据的通信信道的速度和带宽。如果装置100的存储容量有限，则装置100可以实时传输原始收集的数据。
装置100和装置120、远程服务器122或服务124之间的单向或双向通信可以经由网关118来实现。网关118能够在使用不同通信协议的网络之间路由数据。
如果装置100仅仅代表另一个设备、远程服务器或服务收集数据，并且可能本身不需要使用3D表示，则可以使用单向通信。如果装置100传输待处理的收集数据和待在别处生成的3D表示，但是可能本身希望使用3D表示，则可以使用双向通信。如果装置100本身不具有处理数据和生成3D表示的能力(例如，处理和/或存储能力)，则可能是这种情况。
无论装置100本身是否生成3D表示，或者是否是生成3D表示的更大系统126的一部分，装置100都可以包括传感器模块104和至少一个致动模块114。传感器模块104可以包括用于发射多个波(例如，电磁波或声波)的发射器和用于接收被场景中的一个或更多个对象反射的反射波的接收器。(应当理解，术语“对象”通常用于表示场景的“特征”。例如，如果被成像的场景是人脸，则对象可以是人脸的不同特征，例如鼻子、眼睛、前额、下巴、颧骨等，然而，如果被成像的场景是城镇或城市，则对象可以是树、汽车、建筑物、道路、河流、电塔等。)在传感器模块104的发射器发射电磁波的情况下，发射器可以是或可以包括合适的电磁辐射源，诸如激光器。在传感器模块104的发射器发射声波的情况下，发射器可以是或可以包括合适的声波源，诸如能够发射特定频率的声音的声音发生器。应当理解，传感器模块104的接收器对应于传感器模块的发射器。例如，如果发射器是激光器或包括激光器，则接收器是光检测器或包括光检测器。
装置100的致动模块114或每个致动模块114包括至少一根形状记忆合金(SMA)致动器线。装置100的致动模块114或每个致动模块114可以被布置成控制装置的一个或更多个部件的位置和/或取向。因此，在实施例中，装置100可以包括专用致动模块114，每个致动模块114可以移动一个部件。可替代地，装置100可以包括一个或更多个致动模块114，每个致动模块114能够移动一个或更多个部件。优选地，致动模块114或每个致动模块114用于控制至少一个可移动部件116的位置和/或取向，该可移动部件116用于获得和收集用于生成3D表示的数据。例如，致动模块114可以被布置成改变用于将波引导至被成像场景的光学部件的位置和/或取向。SMA致动器线可以被精确控制，并且具有紧凑、高效和准确的优点。使用SMA致动器线来控制部件的位置/取向的示例致动模块(或致动器)可以在例如国际公开号WO2007/113478、WO2013/175197、WO2014083318和WO2011/104518中找到。
装置100可以包括耦合到致动模块114的至少一个处理器102。在实施例中，装置100可以包括单个致动模块114，其被配置成改变一个或更多个可移动部件116的位置和/或取向。在这种情况下，单个处理器102可用于控制致动模块114。在实施例中，装置100可以包括一个以上的致动模块114。例如，单独的致动模块114可用于控制每个可移动部件116的位置/取向。在这种情况下，单个处理器102可用于控制每个致动模块114，或者单独的处理器102可用于单独控制每个致动模块114。在实施例中，处理器102或每个处理器102可以是用于控制致动模块114的专用处理器。在实施例中，处理器102或每个处理器102可用于执行装置100的其他功能。处理器102或每个处理器102可以包括处理数据(例如，由传感器模块104的接收器接收的反射波)的处理逻辑。处理器102可以是微控制器或微处理器。处理器102可以耦合到至少一个存储器108。存储器108可以包括工作存储器和存储计算机程序代码的程序存储器，该计算机程序代码实现本文描述的生成场景的3D表示的一些或全部过程。存储器108的程序存储器可用于在执行计算机程序代码时缓冲数据。
处理器102可被配置成接收与装置100的位置/定位和/或取向在装置100的使用期间的变化相关的信息。特别地，装置100相对于被成像的任何对象的定位和/或取向可以在深度测量/3D感测操作期间改变。例如，如果装置100是手持设备(例如，智能手机)，当装置100正用于生成场景的3D表示时，如果握住装置100的用户的手抖动，则装置100的定位和/或取向可能改变。
装置100可以包括至少一个传感器128，以在装置100用于生成场景的3D表示期间感测或测量与装置100的定位和/或取向的变化相关的信息。传感器128可以包括例如惯性测量单元(IMU)，其可以包括一个或更多个加速度计和/或陀螺仪。来自传感器128的数据可以被传输到处理器102，以使处理器102能够生成控制信号，从而调整用于捕捉生成3D表示所需的数据的装置的一个或更多个部件的位置和/或取向，从而补偿装置100的移动。
装置100可以包括通信模块112。由装置100发送和/或接收的数据可以由通信模块112接收/发送。通信模块112可以例如被配置成将由传感器模块104收集的数据传输到另一个装置120、服务器122和/或服务124。
装置100可以包括接口110，诸如传统的计算机屏幕/显示屏、键盘、鼠标和/或其他接口，诸如网络接口和软件接口。接口110可以包括用户接口，诸如图形用户界面、触摸屏、麦克风、语音/话音识别接口、物理或虚拟按钮。例如，接口100可以被配置成显示生成的场景的3D表示。
装置100可以包括储存装置106，例如以存储例如由传感器模块104收集的任何数据，存储可用于帮助生成场景的3D表示的任何数据，或者存储3D表示本身。储存装置106可以存储查找表等，其中查找表可以指示装置100的定位/取向的变化到致动模块114应该如何调整可移动部件116的位置和/或取向的映射。例如，如果装置100被确定为顺时针方向旋转了n°，则查找表可以指示可移动部件116必须倾斜m°。因此，查找表可以指示致动模块114应如何调整可移动部件116的位置/取向，以减小装置100的定位/取向的变化影响发射波在被成像场景内的对象上的位置的程度。因此，当处理器102生成用于致动模块114的控制信号时可以查阅查找表。
如上所述，致动模块114可以被布置成移动装置100的任何可移动部件116。致动模块114可以控制发射器的位置和/或取向。致动模块114可以控制接收器的位置和/或取向。致动模块114可以被布置成移动任何可移动部件116，以补偿装置100在数据捕获过程(即，发射波和接收反射波的过程)期间的移动，例如，为了补偿用户的手抖动。附加地或可替代地，致动模块114可以被布置成移动任何可移动部件116，以产生和发射结构化辐射。如上所述，结构化辐射可以是例如由多个光圆点或光点形成的图案。当发射光图案时，接收器可以检测投影光图案的失真，该失真是当光图案从被成像场景中的对象反射时引起的。因此，如果装置100包括两个光源(例如，两个激光器)，则致动模块114可用于移动光源中的一个或两个，以形成由传感器模块104发射的干涉图案。类似地，如果装置100包括单个光源和分束器，则致动模块114可用于移动光源和分束器中的一个或两个，以产生干涉图案。来自两个源的/两个束/多个束的光的干涉可以产生规则的等距线的图案，这可以用于3D感测。使用基于SMA的致动模块114来移动光源(即，改变它们的相对位置和/或取向)可以产生具有不同尺寸的干涉图案。这可以使得装置100能够生成不同类型场景的3D表示，例如，可能靠近装置100的面部的3D表示，或者具有不同尺寸的对象并且在距离装置100不同距离处的城镇/城市的3D表示。在另一示例中，装置100可以例如通过使光穿过空间光调制器、透射液晶或穿过图案化板(例如，包括光可以穿过的特定孔图案的板)、栅格、光栅或衍射光栅来投射光图案。在该示例中，基于SMA的致动模块114可以被布置成移动光源和/或用于创建光图案的部件(例如，光栅)。
在传感器模块104的发射器是或包括电磁辐射源的实施例中，致动模块114可以被配置成控制源和/或至少一个光学部件的位置和/或取向，以便控制辐射在被成像场景内的对象上的位置。在实施例中，电磁辐射源可以是激光器。至少一个光学部件可以是以下项中任何一种：透镜、衍射光学元件、滤波器、棱镜、反射镜、反射光学元件、偏振光学元件、介质反射镜和金属反射镜。接收器可以是以下项中任一个：光传感器、光电探测器、互补金属氧化物半导体(CMOS)图像传感器、有源像素传感器和电荷耦合器件(CCD)。
在实施例中，传感器模块104的发射器是或包括用于发射多个声波的声波发射器。例如，传感器模块104可以发射超声波。传感器模块104的发射器可以是可调谐的，以发射不同频率的声波。例如，如果装置100用于生成与装置100不同距离的场景的3D表示，或者在3D表示中需要不同水平分辨率的情况下，这可能是有用的。传感器模块104的接收器可以包括声音传感器或麦克风。
改变位置/取向以生成3D表示
图2示出了用于使用图1的装置100生成场景的三维表示的示例步骤的流程图。当装置100发射多个波(步骤S200)以收集与被成像场景相关的数据时，该过程开始。装置接收反射波，该反射波可能已经由被成像的场景中的一个或更多个对象反射(步骤S202)。根据对象相对于发射器/装置100有多远，反射波可以在不同的时间到达，并且该信息可用于生成场景的3D表示。
在步骤S204，装置100可以确定装置100的定位和/或取向相对于被成像的场景(或场景中的对象)是否已经改变。可替代地，装置100可以从传感器128接收指示装置100的定位和/或取向已经改变的数据(例如，由于用户在握持装置100时的手抖)。如果装置100的定位和/或取向没有改变，则过程继续到步骤S210或S212。在步骤S210，装置可以使用接收的反射波生成场景的3D表示。例如，装置可以使用飞行时间法或投影的辐射模式的失真来确定场景内的不同对象(相对于装置100)的相对距离，并使用该相对距离生成场景的3D表示。可替代地，如上所述，在步骤S212，装置可以将数据传输到远程设备、服务器或服务，以实现待在别处生成的3D表示。该装置可以传输原始数据或者可以处理接收的反射波并传输处理后的数据。
如果在步骤S204确定装置的定位和/或取向已经改变，则该过程可以包括生成控制信号，用于调节装置的可移动部件的位置和/或取向以补偿该改变(步骤S206)。控制信号可以被发送到相关的致动模块，并用于调节部件的位置/取向(步骤S208)。在实施例中，致动模块可以调节透镜、衍射光学元件、滤波器、棱镜、反射镜、反射光学元件、偏振光学元件、介质反射镜、金属反射镜、分束器、栅格、图案化板、光栅或衍射光栅的位置/取向。当调节完成时，过程返回到步骤S200。
应当理解，在发射器发射结构化电磁辐射的图案(例如，光的图案)的实施例中，图2中所示的过程可以通过调整一个或更多个可移动部件的位置和/或取向来开始，以便创建结构化辐射的图案。
改变用于超分辨率的位置/取向
超分辨率(SR)成像是一类可以提高成像系统的分辨率的技术。在一些被称为光学SR的SR技术中，系统的衍射极限可能被超越，而在其他被称为几何SR的SR技术中，数字成像传感器的分辨率可能被提高。
结构化光是将已知图案(例如，网格或水平条)投射到场景上的过程。图案在照到表面时变形的方式允许成像系统计算场景中的对象的深度和表面(形状)信息。示例的结构化光系统使用红外投影仪和相机，并生成投射到场景上的光的斑点图案。通过解码由相机(检测器)接收的光的图案，即通过在接收的光的图案中搜索发射的光的图案，形成3D图像。这种结构化光成像系统的限制可以是发射器可生成的点或圆点的数量。可能难以在同一装置中将数百个光源紧密封装在一起，因此，可以使用分束衍射光学元件来增加光源的有效数量。例如，如果装置中有300个光源，则可以使用10x10分束器将30,000个圆点投射到场景(对象场)上。
然而，没有绝对解码由相机接收的光的图案的机制。也就是说，没有用于准确识别接收的光的图案(接收的图像)中的哪些点对应于发射的光的图案中的哪些点的机制。这意味着使点图案稀疏可能是有利的，因为点图案越密集，越难以将接收的点精确地映射到发射的点。然而，限制发射图案中的点数会限制输出反馈的分辨率。例如，美国专利第8,493,496号指出，为了在映射过程中获得良好性能，斑点图案具有低占空比是有利的，即具有高于平均亮度的图案的面积分数不大于1/e(约37％)。换句话说，1/e可以代表对于这种结构化光图案的实际填充因子的上限。
图3是装置302的示意图，该装置302是或包括用于对目标/对象/场景300进行深度映射的结构化光系统。装置302可以是专用的结构化光系统，或者可以包括结构化光系统/3D感测系统。例如，装置302可以是包括3D感测系统的消费电子设备(诸如但不限于，智能手机)。深度感测设备302可以包括由基线间距b分开的发射器304和检测器306。基线间距b是发射器304和检测器306的光学中心之间的物理间距。发射器304可以被布置成向目标300发射辐射，诸如结构化辐射。
结构化辐射可以是图4中所示类型的光图案。由发射器304发射的光图案可以被传输到目标300，并且可以延伸跨过目标300的区域。目标300可以具有不同的深度或轮廓。例如，目标300可以是人脸，并且装置302可以用于面部识别。
检测器306被布置成检测从目标300反射的辐射。当发射光图案时，检测器306可用于确定发射的光图案的失真，使得可以生成目标300的深度图。装置302可以包括装置100的一些或全部特征，为了简单起见，这些特征从图3中省略。因此，图3中的装置302可以被认为与图1中的装置100相同，并且可以具有相同的功能，以及能够与如上针对图1所述的其他设备、服务器和服务进行通信。
如果假设发射器304和检测器306具有允许它们被建模成简单透镜的光学路径，则发射器304以原点为中心并且具有焦距f，发射器304和检测器306沿着X轴线对准并且由基线b分开，并且目标300主要在Z方向上位移，那么点将在3D空间中的斑点[Ox Oy Oz]处撞击目标300。在图像空间中，该点在
Figure BDA0002715926050000151
处被成像。通过将接收的点与投影的点进行比较(实际上，缩放图案对于基线没有b项，对于深度没有Oz项)，可以推断目标300的深度。(y项给出绝对比例信息，而x项表达关于深度的视差信息)。
结构化光发射器和检测器系统(诸如，图3中的系统/设备302)可用于在对象300的表面上的离散位置处对深度进行采样。已经表明，在给定某些假设的情况下，可以基于该场的平均采样来重构场。如果平均采样率至少是带限输入的奈奎斯特频率，并且源场属于L2空间，则场可以被唯一地重构。然而，这种重构的保真度依赖于采样噪声不显著。
采样噪声可能直接出现在测量中，或者由于数据采集系统的带宽限制而出现。在成像或数据采集系统中，致动器可以通过多种方式帮助降低噪声。例如：
1.接收器上的传统光学图像稳定性(OIS)可以具有增加接收器带宽的效果。这是因为诸如手抖的干扰总是使其表现为具有低通型趋势的滤波器——减少这些带宽限制的影响可以允许更精确的数据收集。
2.投影图像在目标上的稳定性是独立的奖励，因为它最大化了投影的点图案在目标上静止的机会。如果点在目标上移动，那么视差效果将会导致它们模糊，并且二阶函数(诸如，通过点失真来检测表面梯度)将会不太有效。
3.多图像曝光允许填充采样图中的(有意的)“间隙”。这被宽泛地称为“超分辨率”，因为它允许生成图像。
如上所述，光图案(例如，点图案)的位置/取向可以经由致动器(例如，致动模块114)有意地偏移，以便填充采样图中的“间隙”并提供超分辨率。已经提出了在曝光期间移动投影图案的系统，但是这些系统有几个问题。例如，这样的系统仍然必须遵守填充因子的限制，以便准确地识别/辨别被成像的对象/场景中的特征，因为如上所述，点的密度越高，将接收点映射到投影/发射的点就越困难。此外，这样的系统可能具有精确确定表面梯度的降低的能力，因为当图案被移动时可能会出现点失真，并且由于移动的图案而出现的失真对于当点撞击弯曲表面时出现的失真可能是不可区分的。这些问题表明，离散曝光可能是优选的。
超分辨率功能可以依赖于目标(被成像的对象)相对静止的假设。然而，许多相机用户在使用智能手机相机拍摄的高动态范围(HDR)照片上会出现“重影”。重影是一种多重曝光异常，其发生在对同一场景拍摄多个图像并进行合并时，但图像中任何非静态的事物都会在合并后的图像中产生重影效果。使用两次曝光的消费产品很常见，并且还有专业消费产品采用四次曝光，但比这更多的曝光是不常见的。没有理由假设深度数据应该比图像数据更特别稳定，因此合成可能需要两次或四次曝光，从而可以最大化帧速率，同时可以减小测量之间的差异。
致动器或致动模块114可用于移动光的图案(例如，结构化光图案)。当致动模块114移动可移动部件116时收集的图像数据可以不进行处理，或者遭受图案在曝光期间移动时出现的上述问题而可以进行处理。示例图像捕获技术可以包括配置图像传感器或检测器以“取一，丢二”的顺序流式传输帧。也就是说，可以保留一个帧并丢弃随后的两个帧，然后保留下一个帧，以此类推。丢弃的帧提供了时间窗口，在该时间窗口期间，致动模块114可以完成其移动，以将可移动部件116移动到下一个位置。深度传感器通常具有相对低的像素计数，因此可以实现潜在的非常高的帧速率(例如，每秒120帧(fps)或更高)。30fps的帧速率可能更典型，但这种较慢的速率可能会增加发射器和目标在图像捕捉过程中移动的可能性。在图像捕获设备捕获120fps的示例中，“取一，丢二”概念可以提供致动模块114可以完成可移动部件116的移动的8ms的窗口。
标准多帧技术可用于将捕获的图像数据合并在一起。然而，由于数据稀疏，可能需要使用推理而不是直接分析技术来完成对捕获的图像数据的合并。最常见的多帧技术是帧配准。例如，仿射变换可用于推导将帧彼此映射的最佳方式。这可以包括选择一个数据帧作为“关键帧”，然后将其他帧与之对准。由于数据内容量很大，这种技术在图像方面可能相当有效。然而，深度图必然是数据稀疏的，因此对帧的相对旋转和平移的贝叶斯估计可以用来代替将帧彼此映射。在许多情况下，没有足够的证据来破坏先前的位置估计，但是在有足够证据的情况下，在合并图像/帧时可能需要考虑这一点。
出于以上解释的原因，致动模块114可用于移动/平移结构化光图案以覆盖“间隙”。然而，对非均匀采样数据的分析相对困难，并且没有单一的答案来指导在哪里放置“新样本”来提高整体采样质量。在二维空间中，选择减少某个度量，诸如样本之间的平均路径或样本之间的中值路径，可能是数据被采样得多好指标。
包括光源(例如，激光束或垂直腔面发射激光器(VCSEL)阵列)和衍射光学元件(例如，分束器)的上述示例结构化光系统提供了相对较少的机会来选择新样本可以被放置在哪里以提高整体采样质量。例如，可以移动VCSEL，或者可以倾斜衍射光学元件，这两种选择都具有平移点图案的效果，只要该移动可以在不将VCSEL移出光学器件的焦平面的情况下实现，或者在不损害系统中可能提供的任何散热器的情况下实现。移动VCSEL阵列可能是优选的，因为虽然倾斜衍射光学元件可能对第零模式(zeroth mode)(即，VCSEL发射直接穿过衍射光学元件)具有最小影响，使得图像的中心不会受到显著的运动，但是更好地分辨图像的中心可能是重要的。
图4示出了可用于3D感测的示例性光图案。光图案可以由VCSEL阵列提供。为了从图案的移动中提取信息，处理器102需要知道致动模块114(以及因此可移动部件116)在每个采样时间步长期间移动了多少。由于所使用的点图案的典型伪随机特性，通常没有移动投射图案的特别好或不好的方向，一旦移动增加到平均点间间距的大约一半，采样行为的改善就相当一致地良好。然而，对于设计良好的光图案，可能会有真正的最佳空间，超过这个空间，预期的改善就会下降，如图7A至图9B所示。
为了确定在哪里放置更多的样本(即，移动点图案的位置并捕获更多的图像)，考虑用于最小化的目标函数是什么是很重要的。为了提供超分辨率，可以使用多个因子来优化移动点图案的位置，诸如采样时最小化点之间的平均路径长度、采样时最小化点之间的中值路径长度、最小化点之间的最大减最小路径长度、最小化路径长度的标准偏差等。图5至图9B示出了确定在何处放置更多样本的示例技术——最小化平均路径长度和最小化中值路径长度。
图5示出了示例光图案，在这种情况下光图案是点图案。仿真数据覆盖在图中的初始光图案上。在该仿真中，优化程序试图最小化最终合成深度图中的样本之间的平均路径长度。为了执行仿真，选择图像中的特定点进行评估，初始点图案在x方向和/或y方向上移位一定距离(即，偏移)，并且新图案覆盖在初始图案上。图7A示出了该最小化程序的第一次迭代(其中，选定点位于x＝-0.40，y＝+0.38)，图8A示出了该最小化程序的第二次迭代(其中，选定点位于x＝+0.40，y＝+0.00)，以及图9A示出了第三次迭代(其中，选定点位于x＝-0.19，y＝+0.15)。在图5中示出了每次迭代中移位图案的效果。类似地，图6示出了示例光图案，它也是点图案。在该情况下，优化程序试图最小化最终合成深度图中的样本之间的中值路径长度。为了执行仿真，选择图像中的特定点进行评估，初始点图案在x方向和/或y方向上移位一定距离(即，偏移)，并且新图案覆盖在初始图案上。图7B示出了该最小化程序的第一次迭代(其中，选定点位于x＝-0.42，y＝+0.28)，图8B显示了该最小化程序的第二次迭代(其中选定点位于x＝-0.42，y＝-0.01)，以及图9B示出了第三次迭代(其中，选定点位于x＝-0.21，y＝+0.13)。在图6中示出了每次迭代中移位图案的效果。
从图7A和图7B中可以看出，在平均长度函数和中值长度函数中存在相对平坦的平台，这意味着可以考虑附加信息。关于基于SMA的致动器，最小化致动模块114的移动可能是有用的，因为较小移动意味着需要较少的致动器线，这又可以降低功耗并潜在地可以增加带宽。然而，选择不需要高精度的区域来实现对深度映射的期望改进也可能是有利的。例如，可接受改进为位移50μm其周围有10μm的“良好性能”的区域相对于在位移类似其周围只有1μm的“良好性能”的区域将是优选的。对于图中所示的仿真，优化域是：
成本＝位移-10“到差性能的距离”
也就是说，用一个单位的所需精度来换10个单位的位移。换句话说，需要1个位移但直接与差性能的区域相邻的解决方案同样优于具有11个位移但与差性能的区域相隔一个单位的解决方案。可以想象更复杂的优化域，例如，要求亚微米精度的解决方案应标记为不可行，解决方案应基于绝对和相对的精度要求的组合来判断。
应该注意的是，对于两种不同优化的第一仿真结果(参见图7A和图7B)，结合少于四次曝光应合成在一起的想法(出于前面解释的原因)，得出的结论是，无论移动沿哪个轴进行，可以在被平均点间距的一半分隔开的两个已知位置之间可靠且快速地移动VCSEL阵列的SMA致动器将是有用的致动器。应当理解，将一个或更多个部件移动大约平均点间距的一半仅仅是为了超分辨率而能够收集帧的方式的一个示例。还应当理解，平均点间距的一半的移动可以不限于正好是平均点间距的一半，而是可以覆盖一定范围内的移动。
还可以看出，仿真的结果是最佳的或接近最佳的：
附加帧 优选最终点间距(作为初始间距的分数) 实现的平均点间距
0 100％ 100％
1 71％ 71％
2 50％ 50％
3 35％ 35％
对于结构化光系统的发射器和接收器部件的形状因子有相对自由的选择。接收器可以是相当普通的图像传感器(可能具有优化的滤色器)，因此，出于成本的目的，具有标准尺寸(例如，工业标准尺寸)的接收器可能是有益的。
典型的VCSEL阵列可以具有大约1.5mm乘1mm的发射表面，并且使它们变得更小可能是不切实际的，并且使它们变得更大可能是昂贵的。如果选择移动VCSEL的方式，则图5中所示类型的图案具有的平均点间间距约为21μm。如前所述，这意味着10μm左右的移动可能是有益的。
如上所述，对于结构化光投影仪/系统来说，可能的填充因子是有限制的，因此在投影的点场中必然存在“间隙”，可以使用致动器操纵光来填充该间隙。然而，将四个以上的曝光合成在一起不太可能产生积极的用户体验(因为捕获图像和生成合成图像的时间更长)。推导深度图的准确性可能取决于接收数据中的噪声，因此，除了填充间隙之外，使用“标准致动器技术”来降低噪声也可能是有益的。最佳的一般情况性能可能涉及每次致动器移动以获得对于深度图的另一个曝光时，从深度/图像传感器丢弃两帧。生成合成图像(即，将多个曝光合成在一起)可能需要统计方法，因为输入数据可能很稀疏。将VCSEL移动大约一半的平均点间距(通常为10μm)可以提供采样的最优改进。因此，能够移动一半的点间间距的双模态致动器可能是有用的。因此，应当理解，通过使用在一个维度上移动点图案的致动器，成像系统或3D成像系统的分辨率可以加倍。对分辨率的进一步改进可能需要致动器在二个维度上移动点图案。
图10是用于使用图1的装置100生成场景的3D表示的示例步骤的流程图。当装置100发射结构化光图案(诸如，点图案)(步骤S1000)以收集与被成像的场景相关的数据时，该过程开始。发射器可以连续发射光图案，使得光图案被投射到场景上，同时装置的一个或更多个部件被移动以在场景上移位光图案。在实施例中，光图案可以被非连续地发射，例如仅当部件到达所需位置时才发射。装置接收反射的点图案，该反射的点图案可能由被成像的场景中的一个或更多个对象反射(步骤S1002)。如果被成像的场景或对象具有深度(即，不是完全平坦的)，则反射的点图案可能相对于发射的点图案失真，并且该失真可用于生成对象的3D表示(深度图)。
如上所述，多次曝光可用于生成3D表示/深度图。因此，在步骤S1004，装置100可以生成控制信号，用于调整装置的可移动部件的位置和/或取向，以将可移动部件移动到另一位置，从而进行另一次曝光。控制信号可被发送到相关的致动模块114，并用于调节可移动部件的位置/取向。致动模块114可用于在每次移动期间将可移动部件移动大约平均点间距的一半。致动模块114可以调整透镜、衍射光学元件、结构化光图案、用于发射结构化光图案的部件、滤波器、棱镜、反射镜、反射光学元件、偏振光学元件、介质反射镜、金属反射镜、分束器、栅格、图案化板、光栅或衍射光栅的位置/取向。然后，可以接收反射的点图案(步骤S1006)，该附加曝光可以与第一次曝光结合以生成3D表示。如前所述，当致动模块114将可移动部件从初始位置移动到后一位置(其可以是预定/预定义位置或一组坐标)时，发射器可以连续发射光图案，并且接收器/图像传感器可以连续收集图像或帧。因此，处理器102(或装置100的另一部件)可以丢弃在移动期间由接收器/图像传感器收集的一个或更多个帧(例如，两个帧)。因此，在这种情况下，发射器连续发射光图案，并且接收器连续检测接收的光图案。
附加地或可替代地，可以在移动可移动部件的同时切断接收器/图像传感器和/或发射器，使得发射器仅在处于所需位置时发射，或者接收器仅在处于所需位置时检测反射光，或者两者兼有。
致动模块114可以被配置成以特定顺序将可移动部件116移动到某些预定义的位置/坐标，以便实现超分辨率并生成对象的深度图。预定义的位置/坐标可以在工厂校准或测试过程期间被确定，并且可以在制造过程期间提供给装置(例如，提供给处理器102或存储在储存装置106或存储器108中)。因此，曝光次数、进行曝光的位置以及位置序列可以存储在致动模块114中，以便每当要执行超分辨率时使用。
在步骤S1008，该过程可以包括确定是否已经获得/捕获了所有(预定义的)所需次数的曝光，以便生成3D表示。这可以包括将捕获的曝光次数与预定义的所需曝光次数(其可以存储在储存装置106/存储器108中)进行比较。如果比较表明没有达到所需的曝光次数，则致动模块114将可移动部件116移动到预定义序列中的下一位置，以捕获另一图像。这一过程可以继续，直到所有所需曝光都已被捕获。在实施例中，可以省略步骤S1008，并且该过程可以仅包括顺序地将可移动部件116移动到每个预定义的位置，并且在该位置处接收反射的点图案。捕获的曝光/图像的数量可以是四次曝光。在实施例中，曝光次数可以大于四次，但是捕获多于四次曝光所需的时间可能对用户体验产生负面影响。
一旦捕获了所有所需的曝光/图像，装置100就可以使用接收到的反射的点图案生成场景的3D表示。例如，装置组合曝光(可能使用一些统计技术来组合数据)以生成场景的3D表示(步骤S1010)。可替代地，如上所述，在步骤S1012，装置可以将数据传输到远程设备、服务器或服务，以实现待在别处生成的3D表示。装置可以传输原始数据，或者可以处理接收到的反射的点图案并传输处理后的数据。
图11是用于生成场景的3D表示的示例步骤的流程图，其结合了图2和图10中所示的技术。可以有多种方式来组合用于校正手抖的技术和用于获得超分辨率的技术，因此应当理解，图11仅仅是示例性的。
当装置100发射结构化光图案(诸如，点图案)(步骤S1100)以收集与被成像的场景相关的数据时，该过程开始。发射器可以连续发射光图案，使得光图案被投射到场景上，同时装置的一个或更多个部件被移动以在场景上移位光图案。在实施例中，光图案可以被非连续地发射，例如仅当部件到达所需位置时才发射。装置接收反射的点图案，该反射的点图案可能由被成像的场景中的一个或更多个对象反射(步骤S1102)。如果被成像的场景或对象具有深度(即，不是完全平坦的)，则反射的点图案可能相对于发射的点图案失真，并且该失真可用于生成对象的3D表示(深度图)。
在步骤S1104，装置100可以确定装置100的定位和/或取向相对于被成像的场景(或场景中的对象)是否改变。可替代地，装置100可以从传感器128接收指示装置100的定位和/或取向已经改变的数据(例如，由于用户在握持装置100时的手抖)。如果装置100的定位和/或取向没有改变，则过程继续到步骤S1108。
如果在步骤S1104确定装置的定位和/或取向已经改变，则该过程可以包括生成控制信号，用于调节装置的可移动部件的位置和/或取向以补偿该改变(步骤S1106)。控制信号可以被发送到相关的致动模块，并用于调节部件的位置/取向(步骤S1108)。可以使用可移动部件116将要移动到的下一个位置(对于超分辨率过程)和抵消装置本身的位置/取向的变化所需的任何补偿来生成控制信号。在实施例中，致动模块可以调节透镜、衍射光学元件、结构化光图案、用于发射结构化光图案的部件、滤波器、棱镜、反射镜、反射光学元件、偏振光学元件、介质反射镜、金属反射镜、分束器、栅格、图案化板、光栅或衍射光栅的位置/取向。
当可移动部件处于下一位置时，可以接收反射的点图案(步骤S1110)，该附加曝光可以与第一次曝光结合以生成3D表示。如前所述，当致动模块114将可移动部件从初始位置移动到后一位置(其可以是预定/预定义的位置或一组坐标)时，发射器可以连续发射光图案，并且接收器/图像传感器可以连续收集图像或帧。因此，处理器102(或装置100的另一部件)可以丢弃在移动期间由接收器/图像传感器收集的一个或更多个帧(例如，两个帧)。附加地或可替代地，可以在移动可移动部件的同时切断接收器/图像传感器和/或发射器，使得发射器仅在处于所需位置时发射，或者接收器仅在处于所需位置时检测反射光，或者两者兼有。
致动模块114可以被配置成以特定顺序将可移动部件116移动到某些预定义的位置/坐标，以便实现超分辨率并生成对象的深度图。预定义的位置/坐标可以在工厂校准或测试过程期间被确定，并且可以在制造过程期间提供给装置(例如，提供给处理器102或存储在储存装置106或存储器108中)。因此，曝光次数、进行曝光的位置以及位置序列可以存储在致动模块114中，以便每当要执行超分辨率时使用。
在步骤S1112，该过程可以包括确定是否已经获得/捕获了所有(预定义的)所需次数的曝光，以便生成3D表示。这可以包括将捕获的曝光次数与预定义的所需曝光次数(可以存储在存储器106/存储器108中)进行比较。如果比较表明没有达到所需的曝光次数，则致动模块114将可移动部件116移动到预定义序列中的下一位置，以捕获另一图像。这一过程可以继续，直到所有所需曝光都已被捕获。在实施例中，可以省略步骤S1112，并且该过程可以仅包括顺序地将可移动部件116移动到每个预定义的位置，并且在该位置处接收反射的点图案。捕获的曝光/图像数量可以是四次曝光。在实施例中，曝光次数可以大于四次，但是捕获多于四次曝光所需的时间可能对用户体验产生负面影响。在移动可移动部件之前，该过程可以确定装置的定位/取向是否改变(步骤S1104)。如果没有发生或感测到改变，则可移动部件可以移动到预定位置序列中的下一位置。如果机会出现，则如上所述，可以执行步骤S1106和S1108。
一旦捕获了所有所需的曝光/图像，装置100就可以使用接收到的反射的点图案生成场景的3D表示。例如，装置组合曝光(可能使用一些统计技术来组合数据)以生成场景的3D表示(步骤S1114)。可替代地，如上所述，在步骤S1116，装置可以将数据传输到远程设备、服务器或服务，以实现在别处生成的3D表示。装置可以传输原始数据，或者可以处理接收到的反射的点图案并传输处理后的数据。
本文所述的技术和装置还可用于面部识别、增强现实、3D感测、深度测绘、航空勘测、陆地勘测、空间内或来自空间的勘测、水文勘测、水下勘测和/或LIDAR(通过用脉冲光(例如激光)照射目标并利用传感器测量反射脉冲来测量到目标的距离的勘测方法)。应该理解，这是非穷举列表。
示例致动器模块
如上所述，装置100的致动模块114或每个致动模块114可以被布置成控制装置的一个或更多个部件的位置和/或取向。使用SMA致动器线来控制部件的位置/取向的示例致动模块(或致动器)可以在例如国际公开号WO2007/113478、WO2013/175197、WO2014083318和WO2011/104518中找到。现在，将参照图12A至图15B描述另外的示例致动模块或致动器。
图12A是可用于控制部件的位置的第一示例致动器模块1200的示意图。致动器模块1200包括静态部件(或悬挂系统)1202和可移动部件1204。致动器1200包括两段形状记忆合金(SMA)致动器线1206a、1206b，其中每个SMA致动器线1206a、1206b的一端耦合到静态部件1202，而每个SMA致动器线1206a、1206b的另一端耦合到可移动部件1204。每个SMA致动器线1206a、1206b以一定角度布置，以将力施加到可移动部件1204，其中力的相应的分量垂直于主轴线P，且方向相反。SMA致动器线1206a、1206b被布置成使得可移动部件1204在单个自由度上移动。对于给定长度的线，成角度的SMA致动器线1206a、1206b可以增加可移动部件1204的冲程，这也可以实现更高频率的运动。电流的返回路径通过弹簧臂，这使得两根SMA线能够被独立驱动。弹簧臂被设计成在(对于运动的)单个DOF上具有低刚度，但在所有其他方向上是刚性的。SMA线中的张力将导致弹簧臂被拉伸到防止屈曲问题的张力。可移动部件1204可以是装置的被移动以生成场景的3D表示的部件。可替代地，可移动部件1204可用于保持或包含装置的被移动以生成场景的3D表示的部件或耦合到该部件。例如，可移动部件1204可以是保持透镜或透镜堆叠1208的透镜保持件，并且是在生成场景的3D表示的过程中移动的透镜/透镜堆叠1208。
图12B是第二示例致动器模块1250的示意图。这种布置也能够在单个自由度上移动可移动部件，但是两个SMA致动器线1256的长度都比图12A中所示的实施例中的长。致动器1250包括具有卷曲部(crimp)1252的静态部件或悬挂系统和可移动部件1254。可移动部件1254可以是能够相对于静态部件移动的板。每根SMA致动器线1256在第一端处耦合到静态卷曲部1252并且在第二端处耦合到另一静态卷曲部1252。每个SMA致动器线1256沿其长度耦合到钩1260或类似部件(例如，销、木钉、柔性钩等)。这具有在静态部分上制造所有电触点的优点，这可以简化制造和设计。此外，与其他设计相比，致动器的SMA致动器线的长度更长，这意味着可用冲程也增加了。可移动部件1254包括弹性环部件1258。弹性环部件1258可以是被移动以生成场景的3D表示的部件或者可以耦合到该部件。例如，环部件1258可以保持透镜或透镜堆叠。SMA致动器线1256和弹性环部件1258被布置成使得可移动部件1254能够线性运动(例如，在图12B中的箭头方向上)。
图13是第三示例致动器模块1300的示意图。致动器1300包括静态部件或悬挂系统1302和可移动部件1304。可移动部件1304可以是被移动以生成场景的3D表示的装置的部件，或者可以耦合到该部件。致动器1300可以包括两段SMA致动器线1306。在实施例中，两段SMA致动器线1306可以是单片SMA致动器线的两个部分。每段SMA致动器线1306(例如，经由静态卷曲部)在一端耦合到静态部件1302，并且例如经由可移动卷曲部1310在另一端耦合到可移动部件1304。可移动部件1304可以具有单个自由度，并且可以沿着图13中箭头的方向移动。致动器1300包括两个弹性臂1308，弹性臂1308可以由挠曲部或其他类似弹簧的部件形成。两段SMA致动器线可以被单独驱动，并充当两条相对的线。换句话说，一段SMA致动器线的收缩导致可移动部件1304在一个方向上移动，而另一段SMA致动器线的收缩导致可移动部件1304在相反方向上移动。
图14A是第四示例致动器模块1400的透视图，以及图14B是第四示例致动器模块1400的侧视图。致动器1400包括静态部件1402和可移动部件1404。可移动部件1404可以是被移动以生成3D表示的部件或者可以耦合到该部件。致动器1400包括两段SMA致动器线1406，其中每段SMA致动器线在一端耦合到静态部件1402，而在另一端耦合到可移动部件1404。可移动部件1404和静态部件1402经由摇动接头(rocking joint)联接在一起。也就是说，静态部件1402包括插座、凹部或凹处1410，并且可移动部件1404包括位于插座1410内的相应的突起或摇动元件1408。一段SMA致动器线1406的收缩导致可移动部件1404在插座内沿一个方向倾斜或摇动，而另一段SMA致动器线1406的收缩导致可移动部件沿相反方向倾斜。
图15A是第五示例致动器模块1500的示意图，以及图15B是第六示例致动器模块1510的示意图。致动器1500和1510都是线性谐振致动器的示例。在实施例中，为了生成场景的3D表示，可能需要以高频率在场景上移动投影照明。然而，SMA致动器的速度受到SMA致动器线的冷却速率的限制。图15A和图15B中所示的线性谐振致动器将运动频率与SMA致动器冷却速率解耦。关于致动器1500和1510如何工作的详细解释可以在国际专利公开号WO2017/208003中找到。
应当理解，图12A至图15B中所示的致动器仅仅是可用于能够生成场景的3D表示的装置中的致动器的一些非限制性示例。
本领域技术人员将认识到，虽然前文已经描述了被认为是最佳模式的内容和在适当的情况下的执行本技术的其他模式，但是本技术不应该局限于在优选实施例的本描述中公开的特定配置和方法。本领域中的技术人员将认识到，本技术具有宽的应用范围，并且实施例可以采用宽范围的修改，而不偏离如在所附权利要求中所定义的任何创造性概念。

Claims (31)

1.一种用于生成场景的三维表示的装置，所述装置包括：
传感器模块，其包括：
发射器，其用于发射多个波；和
接收器，其用于接收被所述场景中的一个或更多个对象反射的反射波；
至少一个致动模块，其用于控制所述装置的一个或更多个部件的位置或取向中的一个或两个，所述致动模块包括至少一根形状记忆合金(SMA)致动器线；以及
至少一个处理器，其用于生成用于所述致动模块的控制信号，以调节所述装置的一个或更多个部件的位置和/或取向。
2.根据权利要求1所述的装置，还包括至少一个传感器，所述至少一个传感器用于感测所述装置相对于所述场景中的一个或更多个对象的位置和/或取向的变化。
3.根据权利要求2所述的装置，其中，所述至少一个处理器使用由所述至少一个传感器感测的相对的位置和/或取向的所述变化来生成所述控制信号。
4.根据权利要求2或3所述的装置，其中，所述至少一个传感器是陀螺仪或加速度计。
5.根据权利要求1至4中任一项所述的装置，其中，所述至少一个处理器被配置为使用所述反射波生成所述场景的三维(3D)表示。
6.根据权利要求1至4中任一项所述的装置，还包括：
通信模块，其用于将与所接收的反射波相关的数据传输到远程设备或服务器，所述远程设备或服务器被配置为生成所述场景的三维(3D)表示。
7.根据任一前述权利要求所述的装置，其中，所述致动模块控制所述发射器的位置或取向。
8.根据任一前述权利要求所述的装置，其中，所述致动模块控制所述接收器的位置或取向。
9.根据权利要求1至8中任一项所述的装置，其中，所述发射器包括用于发射多个声波的声波发射器。
10.根据权利要求9所述的装置，其中，所述接收器包括声音传感器或麦克风。
11.根据权利要求1至8中任一项所述的装置，其中，所述发射器包括电磁辐射源和至少一个光学部件，并且其中所述致动模块控制所述源和所述至少一个光学部件中的一个或两个的位置或取向。
12.根据权利要求11所述的装置，其中，所述电磁辐射源包括至少一个激光器。
13.根据权利要求11或12所述的装置，其中，所述至少一个光学部件是以下项中任一个：透镜、衍射光学元件、滤波器、棱镜、反射镜、反射光学元件、偏振光学元件、介质反射镜、金属反射镜、分束器、栅格、图案化板、光栅和衍射光栅。
14.根据权利要求11至13中任一项所述的装置，其中，所述接收器是以下项中任一个：光传感器、光电探测器、互补金属氧化物半导体(CMOS)图像传感器、有源像素传感器和电荷耦合器件(CCD)。
15.根据权利要求11至14中任一项所述的装置，其中，由所述发射器发射的所述电磁辐射是结构化电磁辐射的图案。
16.根据权利要求1至15中任一项所述的装置，其中，所述装置是以下项中任一个：智能手机、移动计算设备、膝上型电脑、平板计算设备、安全系统、游戏系统、增强现实系统、增强现实设备、可穿戴设备、无人机、航空器、航天器、车辆和自主车辆。
17.一种根据权利要求1至15中任一项所述的装置在以下项中任一项中的用途：智能手机、相机、可折叠智能手机、可折叠智能手机相机、可折叠消费电子设备、具有折叠光学器件的相机、图像捕获设备、阵列相机、潜望镜相机、3D感测设备或系统、消费电子设备、家用电器、移动或便携式计算设备、移动或便携式电子设备、膝上型电脑、平板计算设备、电子阅读器、计算附件或计算外围设备、安全系统、生物安全系统、游戏系统、游戏附件、机器人、机器人设备、医疗设备、显示设备或显示系统、3D打印机、工具、工业工具、增强现实系统、增强现实设备、虚拟现实系统、虚拟现实设备、智能眼镜、可佩戴设备、无人机、航空器、航天器、车辆和自主车辆。
18.一种根据权利要求1至15中任一项所述的装置用于面部识别的用途。
19.一种根据权利要求1至15中任一项所述的装置用于增强现实的用途。
20.一种根据权利要求1至15中任一项所述的装置用于以下项中任意一项或更多项的用途：图像捕获、图像显示或投影、对象识别、生物识别、生物认证、虚拟现实、3D感测、深度测绘、航空测量、陆地测量、太空测量或从太空测量、水文测量、水下测量、LIDAR、场景检测、碰撞警告、高级驾驶员辅助系统、游戏、手势控制、手势识别、机器人设备、机器人设备控制、家庭自动化、安全和无接触技术。
21.一种用于使用装置生成场景的三维表示的方法，所述方法包括：
使用所述装置的发射器发射多个波；
使用所述装置的接收器接收被所述场景中的一个或更多个对象反射的反射波；
使用所述装置的至少一个处理器生成用于至少一个致动模块的控制信号，以调节所述装置的一个或更多个部件的位置和/或取向；以及
使用所述装置的所述致动模块来控制所述装置的一个或更多个部件的位置或取向中的一个或两个，所述致动模块包括至少一根形状记忆合金(SMA)致动器线。
22.根据权利要求21所述的方法，还包括：
由所述至少一个处理器接收指示所述装置相对于所述场景中的一个或更多个对象的位置和/或取向的变化的信息；
其中，生成控制信号的步骤包括使用所接收的位置和/或取向的变化。
23.根据权利要求21或22所述的方法，还包括：
使用所述至少一个处理器和所述反射波生成所述场景的三维(3D)表示。
24.根据权利要求21或22所述的方法，还包括：
使用通信模块将与所接收的反射波相关的数据传输到远程设备或服务器,所述远程设备或服务器被配置为生成所述场景的三维(3D)表示。
25.根据权利要求21至24中任一项所述的方法，其中，所述发射器发射具有平均点间间距的光的点图案，所述方法还包括:
将所述装置的用于生成和发射光的所述点图案的一个或更多个部件移动到至少两个不同的位置；以及
在所述至少两个不同位置从所述场景接收反射的点图案。
26.根据权利要求25所述的方法，还包括：
组合所接收的反射的点图案以生成所述场景的三维(3D)表示。
27.根据权利要求25或26所述的方法，其中，移动所述装置的一个或更多个部件的步骤包括将所述一个或更多个部件移动所述平均点间间距的一半，以到达每个不同位置。
28.根据权利要求25、26或27中任一项所述的方法，其中，所述接收器丢弃在所述一个或更多个部件正被移动到所述至少两个不同位置时捕获的一个或更多个帧。
29.根据权利要求25至28中任一项所述的方法，其中，所述一个或更多个部件被顺序地移动到四个预定义的不同位置，并且在所述四个不同位置从所述场景接收反射的点图案，以生成所述场景的3D表示。
30.一种非暂态数据载体，所述非暂态数据载体携带用于实现权利要求21至29中的任一项所述的方法的处理器控制代码。
31.一种用于生成场景的三维表示的系统，包括：
根据权利要求1至16中任一项所述的装置，所述装置被配置为发送与所接收的反射波相关的数据；以及
远程装置或远程服务器，其用于接收与所接收的反射波相关的所述数据并生成所述场景的三维表示。
CN201980024815.4A 2018-04-04 2019-04-04 用于3d感测的装置和方法 Pending CN111954790A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1805558.2 2018-04-04
GBGB1805558.2A GB201805558D0 (en) 2018-04-04 2018-04-04 Apparatus and methods for 3D sensing
GB1808804.7A GB2572831A (en) 2018-04-04 2018-04-04 Apparatus and methods for 3D sensing
GB1808804.7 2018-05-30
PCT/GB2019/050965 WO2019193337A1 (en) 2018-04-04 2019-04-04 Apparatus and methods for 3d sensing

Publications (1)

Publication Number Publication Date
CN111954790A true CN111954790A (zh) 2020-11-17

Family

ID=66175437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024815.4A Pending CN111954790A (zh) 2018-04-04 2019-04-04 用于3d感测的装置和方法

Country Status (4)

Country Link
EP (1) EP3775766A1 (zh)
CN (1) CN111954790A (zh)
GB (1) GB2572831A (zh)
WO (1) WO2019193337A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2595524B (en) * 2020-05-29 2023-08-09 Cambridge Mechatronics Ltd Resonant actuator assembly
GB2617718B (en) * 2020-05-29 2024-07-24 Cambridge Mechatronics Ltd Resonant actuator assembly
CN113747141A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种电子设备和深度图像的拍摄方法
US11757893B2 (en) 2021-03-11 2023-09-12 Bank Of America Corporation System and method for authorizing entity users based on augmented reality and LiDAR technology
GB2607269A (en) 2021-04-14 2022-12-07 Cambridge Mechatronics Ltd SMA actuator assembly
GB2625496A (en) * 2021-09-28 2024-06-19 Cambridge Mechatronics Ltd Calibration of actuation mechanism
GB2614711A (en) 2022-01-12 2023-07-19 Shield Corporation Ltd A reflector sight

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104416A1 (en) * 2012-10-16 2014-04-17 Hand Held Products, Inc. Dimensioning system
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
KR20160123021A (ko) * 2015-04-15 2016-10-25 (주)컨트릭스랩 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법
US20170142406A1 (en) * 2015-11-16 2017-05-18 Samsung Electronics Co., Ltd. Apparatus for and method of illumination control for acquiring image information and depth information simultaneously
CN107113420A (zh) * 2014-12-23 2017-08-29 麦穆斯驱动有限公司 利用单个像机的三维成像
WO2017208003A1 (en) * 2016-06-03 2017-12-07 Cambridge Mechatronics Limited Shape memory alloy assembly
US9843689B1 (en) * 2013-08-01 2017-12-12 Amazon Technologies, Inc. Self stabilizing projector
US20180063438A1 (en) * 2016-08-24 2018-03-01 Hutchinson Technology Incorporated Dual Camera Assemblies With Optical Image Stabilization

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07136109A (ja) * 1993-11-18 1995-05-30 Olympus Optical Co Ltd 内視鏡装置
JPH0824260A (ja) * 1994-07-18 1996-01-30 Olympus Optical Co Ltd 超音波診断装置
US6592526B1 (en) * 1999-01-25 2003-07-15 Jay Alan Lenker Resolution ultrasound devices for imaging and treatment of body lumens
US7646544B2 (en) * 2005-05-14 2010-01-12 Batchko Robert G Fluidic optical devices
GB2455219A (en) 2006-03-30 2009-06-03 Cambridge Mechatronics Ltd Camera lens actuation apparatus
WO2008120217A2 (en) 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
WO2011104518A1 (en) 2010-02-26 2011-09-01 Cambridge Mechatronics Limited Sma actuation apparatus
CA2815220A1 (en) * 2010-10-22 2012-04-26 Gore Enterprise Holdings, Inc. Catheter with shape memory alloy actuator
EP2732331B1 (en) 2012-05-25 2015-06-24 Cambridge Mechatronics Limited Shape memory alloy actuation apparatus
GB201221306D0 (en) 2012-11-27 2013-01-09 Cambridge Mechatronics Ltd Suspension system for a camera lens element
US9404742B2 (en) * 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104416A1 (en) * 2012-10-16 2014-04-17 Hand Held Products, Inc. Dimensioning system
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
US9843689B1 (en) * 2013-08-01 2017-12-12 Amazon Technologies, Inc. Self stabilizing projector
CN107113420A (zh) * 2014-12-23 2017-08-29 麦穆斯驱动有限公司 利用单个像机的三维成像
KR20160123021A (ko) * 2015-04-15 2016-10-25 (주)컨트릭스랩 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법
US20170142406A1 (en) * 2015-11-16 2017-05-18 Samsung Electronics Co., Ltd. Apparatus for and method of illumination control for acquiring image information and depth information simultaneously
WO2017208003A1 (en) * 2016-06-03 2017-12-07 Cambridge Mechatronics Limited Shape memory alloy assembly
US20180063438A1 (en) * 2016-08-24 2018-03-01 Hutchinson Technology Incorporated Dual Camera Assemblies With Optical Image Stabilization

Also Published As

Publication number Publication date
GB2572831A (en) 2019-10-16
GB201808804D0 (en) 2018-07-11
WO2019193337A1 (en) 2019-10-10
EP3775766A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
CN111954790A (zh) 用于3d感测的装置和方法
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
US9521399B1 (en) Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
US10805594B2 (en) Systems and methods for enhanced depth sensor devices
US6693666B1 (en) Moving imager camera for track and range capture
US20170013245A1 (en) Single-sensor system for extracting depth information from image blur
EP3834000A1 (en) Improved 3d sensing
US11435448B2 (en) Systems and methods for optical demodulation in a depth-sensing device
US10735640B2 (en) Systems and methods for enhanced optical sensor devices
US20140354778A1 (en) Integrated three-dimensional vision sensor
WO2018207720A1 (ja) 特徴量を用いた３次元計測方法およびその装置
Tilmon et al. Foveacam: A mems mirror-enabled foveating camera
Xie et al. Directionally controlled time-of-flight ranging for mobile sensing platforms
CN112424673B (zh) 红外投影仪，成像设备和终端设备
US20220228856A1 (en) Improved 3d sensing
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
US8553937B2 (en) Controller for an image stabilizing orthogonal transfer charge-coupled device
JP6868167B1 (ja) 撮像装置および撮像処理方法
US11989898B2 (en) Camera module
CN115218820A (zh) 结构光投射装置、深度数据测量头、计算设备和测量方法
JP7528485B2 (ja) 撮像装置およびプログラム
JP6868168B1 (ja) 撮像装置および撮像処理方法
Tilmon et al. Fast Foveating Cameras for Dense Adaptive Resolution
WO2010012697A1 (en) Method and device for enhancing the resolution of a camera
JP2016046564A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination