CN109891266A - 深度映射 - Google Patents
深度映射 Download PDFInfo
- Publication number
- CN109891266A CN109891266A CN201780066333.6A CN201780066333A CN109891266A CN 109891266 A CN109891266 A CN 109891266A CN 201780066333 A CN201780066333 A CN 201780066333A CN 109891266 A CN109891266 A CN 109891266A
- Authority
- CN
- China
- Prior art keywords
- equipment
- actuator
- equipment according
- optical component
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 230000005855 radiation Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 7
- 230000006641 stabilisation Effects 0.000 description 7
- 238000011105 stabilization Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 235000012730 carminic acid Nutrition 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3877—Concurrent instruction execution, e.g. pipeline or look ahead using a slave processor, e.g. coprocessor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一种用于对象的深度映射的设备,包括发射器、致动器和控制处理器单元,该发射器包括激光器和光学部件。致动器被布置成改变光学部件与激光器的相对位置和/或相对取向。控制处理器单元被配置成接收与设备的位置和/或取向在设备的使用期间的变化相关的信息,并且指示致动器改变光学部件与激光器的相对位置和/或相对取向,以便补偿设备的位置和/或取向在设备的使用期间的变化。
Description
本发明涉及用于对象的深度映射的设备。更具体地,本发明提供了用于减少用户的手晃动(hand shaking)对深度图的精度的影响的改进设备。
存在许多正在被开发并用于创建深度图或建立周围对象的距离信息的不同方法。许多这些方法(诸如,飞行时间法或考虑投射光图案的变形)涉及发射光图案(通常是处于红外(IR)波长中的光图案),然后检测该光图案,处理光斑的位置或发射和接收之间的时间,以推断反射对象的距离。本发明主要涉及结构光投影仪(投射图案化光(通常是点阵列)的系统),但是同样可以应用于其他类型的光投影仪。
这些系统会有许多缺点。一个问题是,与环境照明(尤其是直射阳光)相比,IR照明的强度可能非常弱,这意味着可能需要进行多次测量来提高测量的准确性。此外,结构光(点图案)投影仪需要限制光图案内所包含的分辨率(细节量),以便明确地解释发射的光图案的变形。对于结构光,在深度信息的质量与设备中的发射器和接收器之间的距离之间也存在权衡——较宽的间距往往会给出较好的深度图,但更难于封装,尤其是在移动设备中。
在许多应用中,特别是在例如手持或可穿戴的电子设备中,测量深度图的设备可以相对于被测量的周围环境随时间改变取向。这意味着深度信息可能在捕获期间变形,并且可能在捕获之间发生显著变化。这些影响会严重影响推断出的深度图的质量。然而,已知由用户的手晃动引起的检测器晃动提高了分辨率(因为晃动施加了意外地幅度适当的抖动),使得一定移动被认为是有利的。
同时,为了提高推断出的深度图的质量,光发射器与检测器的对准被认为非常重要。因此,任何干扰发射器和探测器之间基线距离的事物都被认为是不利的。
期望提高深度映射的质量。
根据本发明的方面,提供了用于对象的深度映射的设备,该设备包括:激光器;光学部件;致动器,其被布置成改变光学部件与激光器的相对位置和/或相对取向;以及控制处理器单元,其被配置为:接收与设备的位置和/或取向在设备的使用期间的变化相关的信息;以及指示致动器改变光学部件与激光器的相对位置和/或相对取向,以便补偿设备的位置和/或取向在设备的使用期间的变化。
在本发明中,设备的位置和/或取向在设备的使用期间的变化通过致动器改变光学部件与激光器的相对位置和/或相对取向来补偿。这提高了使用该设备生成的深度图的精度。
这种改进是出乎意料的,因为尽管致动器可能会干扰发射器和检测器之间的基线距离,但还是提供了这种改进。此外,这种改进是出乎意料的,因为设备的晃动预期会改进接收侧,所以令人惊讶的是,稳定发射侧是有用的。
在第一方面中,提供了用于测量对象的距离的设备,该设备包含激光器、光学部件和致动器,该致动器被布置成改变激光器和光学部件的相对位置或取向。
在第二方面中,光学部件是透镜。
在第三方面中,光学部件是反射镜。
在第四方面中,设备还包括用于测量设备的取向的变化的陀螺仪。
在第五方面中,致动器是SMA致动器。
为了允许更好地理解,现在将参考附图通过非限制性示例来描述本发明的实施例,其中:
图1示例性描绘了根据本发明的实施例的设备;
图2示意性描绘了先前已知的设备;
图3示意性描绘了根据本发明的实施例的设备的发射器;
图4至图6示意性描绘了根据本发明实施例的设备的控制处理器单元的功能;
图7描绘了可以用在本发明的实施例的背景中的光的示例性图案;以及
图8描绘了根据本发明实施例的在实施移动调度(schedule)之后的分辨率增强的光图案。
现在将描述不同配置的设备。除了下面阐述的差异之外,每个配置中的设备都是相同的。因此,共同的元件被赋予共同的参考数字。除了明确阐述的差异之外,对共同的元件的描述同样适用于设备的每个配置,但是为了简单起见,将不重复。
图1示意性描绘了根据本发明实施例的设备10。图1图示了根据本发明实施例的有源深度感测设备10的大体方案。设备10用于测量对象的距离。设备10是深度测量设备。设备10用于生成对象20的深度图。
如图1所示,在实施例中,设备10包括发射器11和检测器12。发射器11被配置成向对象20发射辐射。检测器12被配置成检测从对象20反射的辐射。可选地,发射器11被配置成向对象20发射结构化辐射(即,光图案)。图7描绘了可以用在本发明的背景下的由多个点(即,光点)形成的光图案70的示例。可替代地,发射器11可以被配置成发射单个光点。可选地,辐射是红外辐射。光图案被传输到对象并延伸遍及对象的区域,该区域可以具有不同的深度,例如当对象是人脸并且深度映射设备用于人脸识别时。
检测器12被配置成检测从对象20接收的辐射。当使用光图案时,检测器12的测量结果用于确定投射的光图案的变形,使得可以生成对象20的深度图。可替代地,可以针对对象20的不同部分计算反射的辐射的飞行时间,使得可以生成深度图。
设备10包括深度映射处理器单元25,给该深度映射处理器单元提供了检测器12的输出,并且该深度映射处理器单元处理该输出以生成对象的深度图。深度映射处理器单元25可以使用已知技术来执行该处理。深度映射处理器单元25可以在执行适当的软件的处理器中实现。
图2示意性描绘了与本发明不一致的先前已知的发射器11。如图2所示,先前已知的发射器11包括将光学部件13连接到激光器16的托架14。托架14相对于激光器16刚性安装光学部件13。光学部件13不能相对于激光器16移动。用户的手在使用期间晃动的影响无法补偿。
图3示意性描绘了根据本发明的实施例的设备10的发射器11,该发射器与图2所示的发射器11相比进行了改进。如图3所示,发射器11包括激光器16。激光器16是发射器11的辐射源。激光器16可以是单个激光器或激光器阵列。可选地,提供分束器以将来自单个激光器的光束分成多个光束。
如图3所示,发射器11包括光学部件13。光学部件13是发散(光线)的。在图3中所示的实施例中,光学部件13示为透镜。可选地,光学部件13是包括多个透镜的透镜叠层(lensstack)。在可替代实施例中,光学部件13包括反射镜。光学部件13被配置成接收来自激光器16的辐射并将该辐射传输到对象20。光学部件13影响辐射被传输到对象20上的位置。特别地,激光器16和光学部件13之间的相对位置影响辐射在对象20上的位置。通常地,光学部件充当增加传输的光图案的面积的光束扩散器。
如图3所示,发射器11还包括致动器15。致动器15被布置成改变光学部件13与激光器16的相对位置和/或相对取向。因此,致动器15可以影响发射的辐射在对象20上的位置。致动器15是可控的,以便控制辐射在对象20上的位置。
在实施例中,设备10附加地包括控制处理器单元30。控制处理器单元30可以在执行适当的软件的处理器中实现,该处理器可以是与实现深度映射处理器单元25的处理器相同的处理器或不同的处理器。
控制处理器单元30被配置成接收与设备10的位置和/或取向在设备10的使用期间的变化相关的信息。特别地,设备10相对于对象20的位置和/或取向可以在深度测量操作期间改变。例如,在实施例中,设备10被包括在诸如移动电话的手持设备中。当设备10用于生成对象20的深度图时,如果用户的手晃动,则设备10的位置和/或取向可以改变。
手持设备可以包括至少一个传感器,该传感器被配置为测量与深度映射设备10的位置和/或取向在设备10的使用期间的变化相关的信息,并向控制处理器单元30发送该信息。例如,手持设备可以包括惯性测量单元(IMU),该惯性测量单元包括一个或更多个加速度计和一个或更多个陀螺仪。至少一个传感器可以不被包括在设备10本身中,而是可以被包括在包含深度映射设备10的同一手持设备中的其他地方。可替代地,至少一个传感器可以被包括在设备10本身内。
控制处理器单元30被配置成指示致动器15改变光学部件13与激光器16的相对位置和/或相对取向,以便补偿设备10的位置和/或取向在设备10的使用期间的变化。具体地言,控制处理器单元30被配置成指示致动器15,以便减小设备10的位置和/或取向的变化对辐射在对象20上的位置的影响程度。预期本发明的实施例将提高对象20的深度图的精度。
在实施例中,控制处理器单元30被配置成指示致动器15改变光学部件13与激光器16的相对位置和/或相对取向,以便稳定结构化辐射的图案70在对象20上的位置。可选地,控制处理器单元30被配置成控制辐射的图案在对象20上的有意的目标移动(例如,以提高分辨率)。控制处理器单元30可以被配置成指示致动器15改变光学部件13与激光器16的相对位置和/或相对取向,以便控制结构化辐射的图案70在对象20上的位置,从而匹配辐射的图案在对象20上的目标移动。
与图2所示的设备相比,图3示出了与致动器15结合以便允许光学部件13移动的托架14。特别地,光学部件13主要在垂直于光学部件13光轴的X-Y平面中移动。致动器包括一条或更多条SMA线,该SMA线在光学部件13固定到其上的可移动平台和激光器16附接到其上的支撑框架17之间延伸。
在可替代的实施例中,激光器16可以附接到可移动平台,并且光学部件可以附接到支撑框架17。这通常是一个不太优选的选项,因为通向激光器的电引线必须是高功率的,因此很大并且难以移动。
本发明的设备10克服了先前已知的深度映射设备的缺点。激光器16和光学部件13之间的相对运动允许调整投射的图案的方向。
测量深度图的设备10随着时间改变取向(或位置),因此深度图随着时间改变,导致收集的数据的精度降低。
在现有技术中,光发射器11与检测器12的对准被认为是非常重要的,重要到对运送后(post-shipment)再校准技术进行了研究的程度,研究甚至是在名义上固定的系统中进行(例如,Darwish,W、Tang,S.、Li,W.、Chen,W.的A New Calibration Method forCommercial RGB-D Sensors,Sensors 2017,17,1204)。发射器和接收器相对中心的误差可能会导致测量距离的差异。通过三角学容易表明,如果在发射器和接收器之间存在基线距离t(例如,如图1所示),则实际基线与假设基线之间的误差δt直接显示为估计深度的δt/t误差,如果δt大(数百微米)而t小(毫米),则δt/t误差可能是显著的。将X-Y级(stage)引入到光路中立即引入了潜在的基线误差源。
减少投射的点图案的运动的好处是显而易见的。近场深度映射解决方案的典型目标体素尺寸小于1mm3(例如,在市售的Primesense Carmine 1.09中)。移动设备中的手持发射器的典型运动可以是旋转约±1°,平移约±1mm。可以看出,在没有补偿的情况下,点图案可以在60cm范围的目标对象的表面上平移高达±10mm。可以看出,对于以1mm3体素推断深度信息来说,这是不可接受的大的移动。
这个问题由于基本光学分辨率通常大于目标体素尺寸而变得复杂。例如,Carmine产品具有54×45°的视场,配有VGA分辨率深度传感器。对于一阶,这意味着一个像素对向大约0.1°的弧。这与要求的在X-Y空间(平行于发射器/成像器平面的平面)中1mm分辨率一致。假设成像器和发射器的间距约为83mm,可以计算将点移动一个像素所需的Z移动(从目标到包含成像器和发射器的平面的距离)。通过简单的三角学,可以看出在Z中分辨的能力大于1.3mm。为了达到期望的分辨率,有必要对目标进行过采样(即,不止一次记录发射的图案)。当目标被不止一次地测量时,保持发射的图案固定对于获得精确的测量是至关重要的。在该示例中,达到期望的分辨率所需的曝光时间约为三分之一秒。手晃动的典型频率约为7Hz,表明曝光时间内可能有2-3次偏移。偏移可以高达2cm,相当于面部特征(例如,诸如鼻梁)的距离。这显然会影响深度测量结果。
减少投射的点图案在目标上的运动的必要处理非常类似于光学图像稳定所需的处理,然而是反过来的。光学图像稳定技术是众所周知的,并且在许多地方都有描述(例如,在由STMicroelectronics制作的白皮书——光学图像稳定(Optical ImageStabilization,OIS)中,http://www.st.com/content/ccc/resource/technical/document/white_paper/c9/a6/fd/e4/e6/4e/48/60/ois_white_paper.pdf/files/ois_white_paper.pdf/jcr:content/tra nslations/en.ois_white_paper.pdf)。
需要测量投影设备10的运动,并对光学元件施加补偿,以确保投射的光在目标上的运动最小化。通常使用陀螺仪来测量移动(因为旋转是点图案的位移的最大贡献者),但也可以使用其他传感器(诸如,加速度计)或其他姿态测量技术来增强。一旦确定了发射器的姿态,就可以确定应用于光学元件的补偿。为了获得最佳补偿,该算法可能需要获取(来自推断出的深度图或其他要素(诸如,系统中的自动聚焦致动器)的)深度输入。
致动器15可以是形状记忆合金(SMA)致动器。这种致动器可以被精确控制,并且具有紧凑、高效和准确的优点。鉴于对基线距离的潜在高灵敏度,精确控制致动器的X-Y位置的能力是有利的。致动器15可以是诸如在PCT申请公开号WO 2013/175197中公开的致动器,该申请公开了使用四线SMA致动器的用于光学图像稳定(OIS)的致动器。早在WO 2008/099156的几个先前的公开中已经涵盖了这种致动器的高精度控制机构。
图4至图6示意性描绘了根据本发明的实施例的设备10的控制处理器单元30的功能。控制处理器单元30的功能由编号为41至46的方框表示。
图4示出了仅陀螺仪补偿的处理链。如图4所示,陀螺仪31向控制处理器单元30发送角速度信息。控制处理器单元30包括积分器41,该积分器41被配置成将角速度转换成在深度测量过程期间设备10的(在三个自由度中的任何一个自由度上的)取向变化的量的测量结果。积分器41将结果输出到光学机械模型45。光学机械模型45被配置成将来自积分器41的结果转换成所需的补偿移动。光学机械模型45被配置成将其结果输出到致动器伺服机构15、46的控制器46。控制器46被配置成控制致动器15执行由光学机械模型45确定的所需的补偿移动。致动器伺服机构15、46产生补偿用户的手晃动的光学移动50。
致动器伺服机构15、46被示为具有内部反馈。这对于以低成本的致动器来实现高精度是有利的,然而,它可以是位置传感器或来自SMA致动器系统的直接电阻反馈的形式。图5示出了包括平移补偿(四轴补偿)的处理链的示例。如图5所示,除了来自陀螺仪31的信息,还可以使用来自加速度计32的信息。加速度计32感测加速度,以便确定设备10在三个自由度中的任何一个自由度上的位置的变化。因此,加速度计和陀螺仪的组合允许确定设备10在六个自由度上的位置和取向。加速度计32将其加速度结果输出到双重积分器(doubleintegrator)42。双重积分器42被配置成将所感测的加速度转换成设备10的位置的变化。双重积分器将其结果输出到光学机械模型45。
如图5所示,可选地,深度估计器43向光学机械模型45输出深度估计。深度估计可以由设备10(其是深度传感器)或根据其他源确定。光学机械模型45被配置成根据设备10的位置和取向的变化来确定所需的补偿移动。
图6示出了分辨率增强调度的引入。作为本发明的进一步方面,假定已经添加了致动器15以给出相对于发射器移动投射的图案70的功能,它也可以用于有意地在目标对象20的表面上移动点图案70。这在某种程度上抵消了背景讨论中确认的分辨率限制。移动图案被覆盖在OIS信号上,以确保目标20真正地以期望的图案被扫描。
特别地,如图6所示,在实施例中,控制处理器单元30包括分辨率增强移动调度器44。分辨率增强移动调度器44被配置成确定辐射的图案在对象20上的相对于时间变化的一系列X-Y位置。例如,分辨率增强移动调度器44可以确定光图案应当周期性地移动,使得光图案中的点入射到对象20上的不同位置上。这可以有助于有效地提高光图案的分辨率。图7示出了典型的点图案的示例,以及图8示意性描绘了在这种移动调度之后的分辨率增强的光图案。
本说明书集中在发射器装备上。鉴于已经提到了光学图像稳定,在接收侧考虑其实用性似乎是正确的。在可能意想不到的结果中,OIS在系统的接收侧没有那么重要。其原因是接收器分辨率通常大于目标体素尺寸。众所周知,当信号的量化值(quantisation)大于待测量的量的最小相关步长(step)或与其相当时,少量抖动(随机噪声)实际上可以提高分辨率,而不是降低分辨率。幸运的是,对于当前的产品,手晃动往往会在检测器上引入大约±1像素大小的随机移动。这是抖动发生的良好水平。事实上,具有三角形概率分布的幅度为±1LSB(其中,LSB代表“最低有效位”,即采样系统中最小的可表示单位)的随机抖动是打破测量结果的量化变形的已知最佳结果。因此,只允许通过在接收侧进行手晃动可能是有利的。重要的是要注意到这里论证的不对称性——稳定发射的光仍然提供了优点——允许点在被采样的对象上移动使深度图恶化。可以预见,由于为了提高深度信息的质量的压力增加,手晃动将在接收空间中变得明显大于1像素的幅度,因此传统的图像稳定技术对于接收器侧将变得重要。
为了从点图案的移动中提取信息,深度图控制处理器单元30需要知道在每个采样的时间步长处实现的移动。
应注意的是,由于所使用的点图案的典型伪随机特性,通常没有移动投射的图案的特别好或不好的方向—当移动增加到平均点间距离的大约一半,采样行为的改善就相当一致地良好了。
上面的描述涉及具有单个发射器和单个接收器的系统。本发明同样适用于具有一个发射器和多个接收器的系统(例如,在实感相机中实现的系统),或者实际上适用于具有多个发射器和接收器的系统。
Claims (16)
1.一种用于对象的深度映射的设备,所述设备包括:
发射器,其包括激光器和光学部件;
致动器,其被布置成改变所述光学部件与所述激光器的相对位置和/或相对取向;以及
控制处理器单元,其被配置成:
接收与所述设备的位置和/或取向在所述设备的使用期间的变化相关的信息;以及
指示所述致动器改变所述光学部件与所述激光器的相对位置和/或相对取向,以便补偿所述设备的位置和/或取向在所述设备的使用期间的变化。
2.根据权利要求1所述的设备,包括:
至少一个传感器,其被配置成测量与所述设备的位置和/或取向在所述设备的使用期间的变化相关的所述信息,并将所述信息发送给所述控制处理器单元。
3.根据权利要求2所述的设备,其中,所述至少一个传感器包括被配置成测量所述设备的取向的变化的至少一个陀螺仪和/或被配置成测量所述设备的位置的变化的至少一个加速度计。
4.根据前述权利要求中任一项所述的设备,其中,所述致动器是SMA致动器。
5.根据权利要求4所述的设备,其中,所述SMA致动器包括SMA线。
6.根据前述权利要求中任一项所述的设备,其中,所述信息与所述设备在至少三个自由度上的位置和/或取向有关。
7.根据前述权利要求中任一项所述的设备,其中,所述信息与所述设备在六个自由度上的位置和/或取向有关。
8.根据前述权利要求中任一项所述的设备,其中,所述光学部件是透镜。
9.根据前述权利要求中任一项所述的设备,其中,所述光学部件是反射镜。
10.根据前述权利要求中任一项所述的设备,还包括支撑框架,所述激光器被固定到所述支撑框架,并且所述致动器被布置成改变所述光学部件相对于所述支撑框架和所述激光器的相对位置和/或相对取向。
11.根据权利要求10所述的设备,还包括检测器,所述检测器被配置成检测从对象反射的辐射,其中,所述检测器被固定到所述支撑框架。
12.根据权利要求1至10中任一项所述的设备,还包括检测器,所述检测器被配置成检测从对象反射的辐射。
13.根据权利要求12所述的设备,还包括深度映射处理器单元,所述深度映射处理器单元被配置成处理所述检测器的输出以生成深度图。
14.根据前述权利要求中任一项所述的设备,其中,所述发射器被配置成将结构化辐射的图案发射到对象上。
15.根据权利要求14所述的设备,其中,所述控制处理器单元被配置成指示所述致动器改变所述光学部件与所述激光器的相对位置和/或相对取向,以便稳定结构化辐射的所述图案在对象上的位置。
16.一种移动电话,其包括前述权利要求中任一项所述的设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1619921.8A GB201619921D0 (en) | 2016-11-24 | 2016-11-24 | SMA Depth mapping |
GB1619921.8 | 2016-11-24 | ||
PCT/GB2017/053537 WO2018096347A1 (en) | 2016-11-24 | 2017-11-24 | Depth mapping |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109891266A true CN109891266A (zh) | 2019-06-14 |
Family
ID=58073168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780066333.6A Pending CN109891266A (zh) | 2016-11-24 | 2017-11-24 | 深度映射 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10891749B2 (zh) |
EP (1) | EP3545336A1 (zh) |
KR (1) | KR102481147B1 (zh) |
CN (1) | CN109891266A (zh) |
GB (1) | GB201619921D0 (zh) |
WO (1) | WO2018096347A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10983213B2 (en) * | 2017-03-29 | 2021-04-20 | Luminar Holdco, Llc | Non-uniform separation of detector array elements in a lidar system |
GB2575308A (en) * | 2018-07-06 | 2020-01-08 | Cambridge Mechatronics Ltd | Methods for controlling power delivered to an SMA actuator |
GB201816544D0 (en) | 2018-10-10 | 2018-11-28 | Cambridge Mechatronics Ltd | Sma actuators for optical image stabilisation |
GB201820383D0 (en) * | 2018-12-14 | 2019-01-30 | Cambridge Mechatronics Ltd | Zero power hold SMA Actuator assembly |
GB2585952A (en) * | 2019-07-26 | 2021-01-27 | Cambridge Mechatronics Ltd | Method |
US11409114B2 (en) * | 2020-03-02 | 2022-08-09 | Samsung Electronics Co., Ltd. | Image display device capable of multi-depth expression |
GB2607269A (en) | 2021-04-14 | 2022-12-07 | Cambridge Mechatronics Ltd | SMA actuator assembly |
GB2626295A (en) | 2021-11-17 | 2024-07-17 | Cambridge Mechatronics Ltd | Camera apparatus and methods |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060139923A1 (en) * | 2004-12-23 | 2006-06-29 | Matthew Feinsod | Motion-compensating light-emitting apparatus |
CN1908736A (zh) * | 2005-07-27 | 2007-02-07 | 索尼株式会社 | 成像透镜设备和成像装置 |
US20120140109A1 (en) * | 2010-12-06 | 2012-06-07 | Primesense Ltd. | Lens Arrays for Pattern Projection and Imaging |
DE202012105023U1 (de) * | 2012-12-21 | 2013-01-30 | Robert Bosch Gmbh | Laserentfernungsmessgerät |
CN104101999A (zh) * | 2013-04-12 | 2014-10-15 | 赫克斯冈技术中心 | 包括可利用致动器有针对性地形变的透镜的旋转激光器 |
CN105143820A (zh) * | 2013-03-15 | 2015-12-09 | 苹果公司 | 利用多个发射器进行深度扫描 |
US20160182887A1 (en) * | 2014-12-23 | 2016-06-23 | Mems Drive, Inc. | Three dimensional imaging with a single camera |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7728964B2 (en) * | 2004-12-23 | 2010-06-01 | Matthew Feinsod | Motion compensated light-emitting apparatus |
US20080001850A1 (en) * | 2006-06-06 | 2008-01-03 | Mark Champion | Beam scanner with reduced phase error |
WO2008099156A2 (en) | 2007-02-12 | 2008-08-21 | Cambridge Mechatronics Limited | Shape memory alloy actuation apparatus |
JP6289451B2 (ja) | 2012-05-25 | 2018-03-07 | ケンブリッジ メカトロニクス リミテッド | 形状記憶合金作動装置 |
-
2016
- 2016-11-24 GB GBGB1619921.8A patent/GB201619921D0/en not_active Ceased
-
2017
- 2017-11-24 WO PCT/GB2017/053537 patent/WO2018096347A1/en unknown
- 2017-11-24 EP EP17808559.3A patent/EP3545336A1/en active Pending
- 2017-11-24 CN CN201780066333.6A patent/CN109891266A/zh active Pending
- 2017-11-24 US US16/348,207 patent/US10891749B2/en active Active
- 2017-11-24 KR KR1020197014679A patent/KR102481147B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060139923A1 (en) * | 2004-12-23 | 2006-06-29 | Matthew Feinsod | Motion-compensating light-emitting apparatus |
CN1908736A (zh) * | 2005-07-27 | 2007-02-07 | 索尼株式会社 | 成像透镜设备和成像装置 |
US20120140109A1 (en) * | 2010-12-06 | 2012-06-07 | Primesense Ltd. | Lens Arrays for Pattern Projection and Imaging |
DE202012105023U1 (de) * | 2012-12-21 | 2013-01-30 | Robert Bosch Gmbh | Laserentfernungsmessgerät |
CN105143820A (zh) * | 2013-03-15 | 2015-12-09 | 苹果公司 | 利用多个发射器进行深度扫描 |
CN104101999A (zh) * | 2013-04-12 | 2014-10-15 | 赫克斯冈技术中心 | 包括可利用致动器有针对性地形变的透镜的旋转激光器 |
US20160182887A1 (en) * | 2014-12-23 | 2016-06-23 | Mems Drive, Inc. | Three dimensional imaging with a single camera |
Also Published As
Publication number | Publication date |
---|---|
WO2018096347A1 (en) | 2018-05-31 |
EP3545336A1 (en) | 2019-10-02 |
US10891749B2 (en) | 2021-01-12 |
KR102481147B1 (ko) | 2022-12-26 |
US20190325596A1 (en) | 2019-10-24 |
GB201619921D0 (en) | 2017-01-11 |
KR20190086464A (ko) | 2019-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109891266A (zh) | 深度映射 | |
US7284866B2 (en) | Stabilized image projecting device | |
JP6812553B2 (ja) | 光学的粒子センサーモジュール | |
US9335220B2 (en) | Calibration of time-of-flight measurement using stray reflections | |
CA2834192C (en) | Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface | |
US10362295B2 (en) | Optical apparatus with beam steering and position feedback | |
JP2012118076A (ja) | 距離計 | |
CN106524922B (zh) | 测距校准方法、装置和电子设备 | |
MX2014005444A (es) | Dispositivo para determinar la ubicacion de elementos mecanicos. | |
JP2017044550A (ja) | 測定装置 | |
US20200070370A1 (en) | Three-Dimensional Measuring Apparatus, Robot, And Robot System | |
JP2018136309A (ja) | Lidarシステムにより3dシーンを取得する方法及びlidarシステム | |
JP2008268024A (ja) | 追尾式レーザ干渉計による測定方法および測定装置 | |
CN109470201B (zh) | 用于运行手持式激光测距仪的方法和手持式激光测距仪 | |
KR102596053B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
JP2019124496A (ja) | 3次元測量装置および3次元測量方法 | |
JP2014219393A (ja) | 機械要素の位置を求める装置 | |
JP6776692B2 (ja) | 視差演算システム、移動体及びプログラム | |
JP4174154B2 (ja) | 防振機能付き撮影装置 | |
JP7310218B2 (ja) | 三次元計測方法、三次元計測装置およびロボットシステム | |
JP2012058158A (ja) | 目標追跡装置及び目標追跡方法 | |
KR20240022533A (ko) | 위치 측정 장치, 위치 측정 시스템, 및 측정 장치 | |
JP4196842B2 (ja) | 姿勢角検出方法および姿勢角検出装置 | |
JP2011095103A (ja) | 距離測定装置 | |
CN111750800B (zh) | 三维测量装置及机器人系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |