CN115298514A - 包括补充准确度数据的距离测量 - Google Patents
包括补充准确度数据的距离测量 Download PDFInfo
- Publication number
- CN115298514A CN115298514A CN202180021733.1A CN202180021733A CN115298514A CN 115298514 A CN115298514 A CN 115298514A CN 202180021733 A CN202180021733 A CN 202180021733A CN 115298514 A CN115298514 A CN 115298514A
- Authority
- CN
- China
- Prior art keywords
- point
- distance
- distance measurement
- distance sensor
- measurement characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 106
- 230000000153 supplemental effect Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/26—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with fixed angles and a base of variable length, at, near, or formed by the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
示例方法包括使得距离传感器的光投影系统将三维图案投影到对象上,其中三维图案包括多个光点,使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像,计算多个光点的第一点的第一三维坐标集,其中所述计算基于图像中第一点的外观和第一点的轨迹的知识,检索在距离传感器的校准期间测量的第一点的第一距离测量特性,将第一距离测量特性附加到第一三维坐标集,以及输出包括附加了距离测量特性的第一三维坐标集的数据集。
Description
相关申请的交叉引用
本申请要求2020年1月18日提交的序列号为No. 62/962,968的美国临时专利申请的优先权,该美国临时专利申请通过引用以其整体并入本文。
技术领域
本发明总体上涉及距离测量,并且更具体地涉及利用指示测量准确度的数据来补充通过使用多点投影的三角测量计算的距离测量。
背景技术
包括自主导航、机器人和其他应用的许多技术都依赖于对周围空间的三维地图的测量来帮助避免碰撞、路线确认和其他任务。例如,三维地图可以指示到周围空间中各种对象的距离。
当涉及到距离测量时,不同的应用和情形可能需要不同程度的准确度。例如,当在自动导航应用中使用三角测量技术来避免碰撞时,对于其中需要精确注意的短距离(例如,其中更有可能碰撞的情况),距离测量的所需准确度高,但是对于其中可能保证不太精确注意的较长距离(例如,其中不太可能碰撞的情况),距离测量的所需准确度较低。另一方面,以识别对象形状为目的的应用可能能够使用不太准确的距离测量来实现可接受的性能水平。
发明内容
在一个示例中,由包括至少一个处理器的距离传感器的处理系统执行的方法包括使得距离传感器的光投影系统将三维图案投影到对象上,其中三维图案包括多个光点,使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像,计算所述多个光点中的第一点的第一三维坐标集,其中所述计算基于第一点在图像中的外观和第一点的轨迹的知识,从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的,将第一距离测量特性附加到第一三维坐标集,以及输出包括附加了距离测量特性的第一三维坐标集的数据集。
在另一示例中,非暂时性机器可读存储介质编码有由包括至少一个处理器的距离传感器的处理系统可执行的指令。当被执行时,所述指令使得处理系统执行操作,所述操作包括使得距离传感器的光投影系统将三维图案投影到对象上,其中所述三维图案包括多个光点,使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像,计算所述多个光点中的第一点的第一三维坐标集,其中所述计算基于第一点在图像中的外观和第一点的轨迹的知识,从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的,将第一距离测量特性附加到第一三维坐标集,以及输出包括附加了距离测量特性的第一三维坐标集的数据集。
在另一个示例中,距离传感器包括处理系统,该处理系统包括至少一个处理器和利用由处理系统可执行的指令编码的非暂时性机器可读存储介质。当被执行时,所述指令使得处理系统执行操作,所述操作包括使得距离传感器的光投影系统将三维图案投影到对象上,其中三维图案包括多个光点,使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像,计算所述多个光点中的第一点的第一三维坐标集,其中所述计算基于第一点在图像中的外观和第一点的轨迹的知识,从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的,将第一距离测量特性附加到第一三维坐标集,以及输出包括附加了距离测量特性的第一三维坐标集的数据集。
附图说明
图1A是图示当通过使用多点投影的三角测量来测量距离时对象定位和距离测量准确度之间的关系的示意图;
图1B图示了点定位对距离测量准确度的影响;
图2是图示用于测量从距离传感器到对象的距离的示例方法的流程图;
图3图示了用于投影图案的点的示例轨迹;
图4图示了示例投影图案,其示出了投影图案的点之间可能存在的变化;
图5图示了示例投影图案,其中当从不同距离观看时,点的外观变化;和
图6描绘了用于测量从距离传感器到对象的距离的示例电子设备600的高级框图。
具体实施方式
本公开广义地描述了一种用于利用指示测量准确度的数据来补充通过使用多点投影的三角测量计算的距离测量的装置、方法和非暂时性计算机可读介质。如上面讨论的,包括自主导航、机器人和其他应用的许多技术依赖于周围空间的三维地图的测量来帮助避免碰撞、路线确认和其他任务。存在用于测量三维地图的各种方法。可以使用的一种特定方法是通过同时多点投影的三角测量,其同时测量多个光点的距离。多个光点作为图案投影到正在测量距离的表面或对象上,并且该图案在表面或对象的图像中的外观可以用于计算到表面或对象的距离。例如,序列号为14/920,246、15/149,323和15/149,429的美国专利申请描述了用于使用同时多点投影进行距离测量的方法。
当使用三角测量技术时,距离测量的分辨率倾向于随着到对象的距离增加而降低。这至少部分是由于如下事实:诸如上述的三角测量技术必须能够可靠地检测和标识多个光点中的个体点,以便准确地测量距离。检测和标识投影图案中的点的能力可能受到正在进行测量的条件和投影光点的特性所影响,投影光点的特性可能随距离而变化。例如,来自环境光和/或对象反射的噪声可能干扰光点的检测和识别。诸如亮度、形状、大小等的光点的特性也可能影响距离传感器可靠地检测和识别光点的能力。
使用三角测量技术进行的距离测量的准确度也可能受到用于校准距离传感器的过程所影响。校准包括如下过程:通过该过程,每个光点在三维坐标空间中的定位可以与距离传感器的光接收系统(例如,相机)的成像传感器上的位置相关联。给定的光点可以具有沿着轨迹的多个潜在定位(即,光点可以沿着其下落的定位的移动范围,取决于对象距离),所述多个潜在定位可以为给定的点存储。当每个点的更多数量的潜在定位可以与成像传感器上的位置相关联时,距离传感器的准确度增加。
然而,可能花费大量的时间来进行实现该更高准确度所需的所有测量。因此,为了节省时间,每个点的更少的潜在定位可以被测量,并且与成像传感器上的对应位置相关联。可以假设与没有明确测量的点定位相对应的成像传感器位置(例如,通过外推法)。然而,该简化的校准过程可能导致点的检测和距离测量的准确度降低。例如,如果一个点落在通过简化的校准过程确定的该点的存储轨迹之外,则处理系统可能无法检测到该点或者可能错误标识该点(例如,将该点与不正确的轨迹和成像传感器位置相关联)。
如上面讨论的,当涉及到距离测量时,不同的应用和情形可能需要不同程度的准确度。诸如碰撞避免之类的应用在测量较短距离时可能需要高程度的准确度,但同样程度的准确度在测量较长距离时可能不太重要。另一方面,以识别对象形状为目的的应用可能能够使用不太准确的距离测量来实现可接受的性能水平。因此,当涉及到距离测量时,不同类型的应用可能需要不同程度的精度。
本公开的示例独立地测量投影图案中每个光点的距离。这允许可能逐点变化的距离测量特性与每个点的个体距离测量相关联。在一个示例中,同一投影图案中的至少两个点可以具有不同的距离测量特性。
因此,在一个示例中,对于形成投影图案的多个点中的至少一个点,本公开输出到该点的距离测量(如上面讨论的,该距离测量可以独立于到图案的任何其他点的距离来计算)和该点的距离测量特性(该距离测量特性对于该点可以是唯一的)。利用距离测量来执行任务(诸如避免碰撞、自主导航等)的应用可以能够至少部分地基于该点的距离测量特性来推断距离测量的准确度,并且可以能够确定距离测量的准确度对于正在执行的任务是否足够。
图1A是图示当通过使用多点投影的三角测量来测量距离时对象定位和距离测量准确度之间的关系的示意图。如上面讨论的,根据三角测量的原理,通过三角测量测量的距离测量的准确度通常随着距离增加而降低。
如图1A中所示,距离传感器的光接收系统(即,负责捕获对象和投影图案的图像的距离传感器的子系统)包括具有前节点100的透镜和包括多个像素的成像传感器102。点104(例如,由距离传感器的光投影系统投影到对象106上的点)表示如由距离传感器测量的对象106的定位(z轴距离,或深度z1)。点104可以在成像传感器102上具有对应的定位108。点110可以表示对象106的最小可能定位(例如,基于通过校准确定的点104的存储轨迹)。点110可以在成像传感器102上具有对应的定位112。点104和点110之间在z方向上的距离表示距离传感器的距离分辨率。
距离传感器基线的长度L测量前节点100与点104和110的定位的x坐标之间的线性距离(例如,沿着x轴)。距离传感器的焦距fc测量前节点100和成像传感器102之间的距离(例如,沿着y轴)。点104和点110的x和y坐标可以相同,或者可以不同。
成像传感器102上的点112的定位的x分量可以被测量为线性距离s(例如,沿着x轴)。点112和点108之间在x方向上的距离表示图像移动的最小分辨率。(例如,通过软件参数)。在一个示例中,距离可以计算为:
其中
和
其中P等于成像传感器102的像素大小。软件参数K由光接收系统的特性、成像传感器102的分辨率以及与距离分辨率相关的软件规格来确定。然而,由于光接收系统的规格可能变化,所以在进行任何距离测量之前检查和测量K值可能是合期望的。在一个示例中,软件参数K的值对于距离传感器是唯一的。
使用等式1和4,距离z的范围可以作为距离测量准确度估计的一部分来计算。该范围可以定义为zmin–zmax,其中zmin < z < zmax。例如,点110可以定位在zmin。
因此,如图1A中图示,距离测量准确度取决于以下因素:对象距离、点定位、光学规格(例如,光学布局、透镜规格等)、成像传感器规格(例如像素数)以及软件算法和参数。
图1B图示了点定位对距离测量准确度的影响。如图1B中所示,在多点投影的情况下,创建一个点的光束1141-114n(以下单独称为“光束114”或统称为“光束114”)和距离传感器的基线L之间形成的角度将取决于光束114的投影方向而不同。LB被测量为一对平行光束之间的距离,并且表示处于斜投影的实际基线长度。
对象上点的定位也将影响距离测量的准确度。因此,距离测量的准确度可以在理论上由距离传感器的光学系统(例如,光投影和光接收系统)的规格和布置以及成像传感器的规格来确定。照此,距离测量计算的准确度可以主要基于在设备之间不改变的理论值来计算(但是需要由实际测量来支持)。
图2是图示用于测量从距离传感器到对象的距离的示例方法200的流程图。方法200可以例如由包括至少一个处理器的处理系统来执行,诸如距离传感器的处理系统。替代地,方法200可以由计算设备的处理系统来执行,诸如图6中图示并在下面进一步详细描述的计算设备600。为了举例,方法200被描述为由处理系统执行。
方法200可以开始于步骤202。在步骤204中,距离传感器的处理系统可以使得距离传感器的光投影系统将三维图案投影到对象上。距离传感器的光投影系统可以包括例如激光源,该激光源发射对于人眼基本上不可见波长下的一个或多个光束(例如红外光)。距离传感器的光投影系统可以附加地包括光学器件(例如,衍射光学元件、透镜等),所述光学器件将激光光源发射的(一个或多个)光束拆分成多个附加光束。因此,光投影系统可以投影多个光束。当多个光束中的每个光束入射到对象上时,光束在对象上创建光点(例如,点或其他形状)。由多个光束创建的多个光点共同在对象上形成光的图案。光的图案可以包括多个光点的预定义布置。例如,多个光点可以布置在包括多行和多列的网格中。
在步骤206中,处理系统可以使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像。距离传感器的光接收系统可以包括例如成像传感器和一个或多个透镜,它们共同形成相机。成像传感器可以包括能够检测三维图案的光点的光电探测器阵列和可选的滤光器。例如,光电探测器可以包括红外光电探测器,并且滤光器可以包括红外带通滤光器。
在步骤208中,处理系统可以基于图像中的第一点的外观和第一点的轨迹的知识,计算多个光点中的第一点的第一三维坐标集。第一三维坐标集可以包括(x,y,z)坐标,其中z坐标可以测量该点与距离传感器的第一距离(或深度)。如上面讨论的,第一点的轨迹可以包括移动范围,在该移动范围内,第一点的定位可以随着到对象的距离而变化。在执行方法200之前,可以通过距离传感器的校准来学习第一点的轨迹。
例如,图3图示了投影图案的点302的示例轨迹300。如图示的,轨迹300可以包括第一端304和第二端306。第一端304和第二端306之间的阴影空间可以表示当投影到对象上时点302可以被检测到的潜在定位范围。也就是说,当在落在轨迹300内的定位处检测到投影图案的点时,则该点可以被标识为点302,该点与产生投影图案的光投影系统发射的特定光束相关联(即,由该特定光束创建)。将检测到的点标识为与特定光束相关联的特定点的能力允许三角测量过程准确地测量距离。。
点302在轨迹300内的精确定位可以随着到对象的距离而变化。轨迹300内的点302的定位和到对象的距离之间的关系可以通过上述校准过程来确定。轨迹300和关系都可以存储在存储器中(例如,距离传感器的本地存储器和/或由距离传感器的处理器可访问的远程数据库)。
基于第一点的标识,可以使用三角测量技术来计算所计算的到第一点的第一距离。在一个示例中,所计算的到第一点的第一距离是独立于到多个光点中的任何其他点的距离来计算的。
在步骤210中,处理系统可以从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的。第一距离测量特性可以是影响处理系统准确地检测和标识第一点的能力的第一点的特性。
在一个示例中,第一距离测量特性可以包括以下各项中的至少一个:点的亮度、点的物理轮廓(例如,大小、形状和/或随距离的变化)、与点相关联的捕获光学因素以及与点相关联的校准规格。(例如,校准过程是否如上面讨论的那样被简化)。如上面讨论的那样,第一距离测量特性可以在距离传感器的校准期间(例如,在制造期间执行)被测量,并且被存储在存储器中以供以后检索。存储器可以包括距离传感器的本地存储器,或者可以包括距离传感器可访问的远程存储器(例如,数据库)。第一距离测量特性也可以被重新测量(例如,在制造之后,在现场)并且在存储器中更新。例如,某些距离测量特性可能随时间或响应于不同的使用条件而改变。
点的亮度可能影响处理系统准确地检测该点以进行距离测量的能力。例如,点越亮,就越容易在视觉上将该点与噪声(例如,由环境光和/或对象反射引入的噪声)区分开。具有降低的光强度(即,更低的亮度)的点可能更难从图像中的周围噪声中视觉上区分,使得处理系统更难检测到该点的存在。
例如,图4图示了示例投影图案400,其示出了投影图案400的点之间可能存在的变化。作为示例,点402比点404更亮。点402的增加的亮度使得点402比点404更可见,并且更容易被检测为图案的点(与噪声相反)。因此,在一些示例中,不太亮的点(例如,比平均点亮度更暗)可能无法被距离传感器检测到(例如,可能表现为从投影图案中“丢失”)。相反,在其他示例中,更亮的点(例如,比平均点亮度更亮)可以被距离传感器检测到并视为异常。
点的物理轮廓也可能影响处理系统准确地检测该点进行距离测量的能力。例如,不同的点形状(例如,点、椭圆、星形等)在从不同距离观看时可能展现不同程度的变化。此外,点的感知形状可以取决于观察该点的距离而变化。
例如,图5图示了示例投影图案500,其中当从不同距离观看时,点的外观变化。作为示例,可以从比图案500的区段504更近的距离观看图案500的区段502。区段502内的图案500的个体点可以比区段504内的图案500的个体点看起来更远。此外,区段502内的个体点的形状可以比区段504内的个体点的形状看起来定义得更清楚。
此外,校准距离传感器的过程(如上面讨论的,该过程可以被简化以减少时间和/或成本)也可以影响处理系统正确地检测和标识第一点的能力。例如,再次参考图3,如果图3的轨迹300表示点302的存储轨迹,则轨迹310可以表示实际上点302的实际或观察到的轨迹或定位。如所示的,点302的实际定位可能落在点302的存储轨迹300之外。观察到的定位与存储的轨迹的偏差可以取决于校准过程被简化的程度而变化(例如,对于点302进行了多少次轨迹测量)。偏差的程度也可能影响处理系统检测投影图案中点302的能力。例如,定位与存储的轨迹的偏差越大,该点就越不可能将被处理系统可标识为与存储的轨迹相关联的点。
在另一个示例中,第一距离测量特性可以包括距离传感器的修理历史。例如,为了解决维护或故障而对距离传感器进行的某些类型的修改或更新可能导致对第一距离测量特性的改变。因此,修理历史可以存储在距离传感器可访问的存储器中。
在另一个示例中,第一距离测量特性可以包括温度。该温度可以是环境温度(例如,执行方法200的环境的温度)或者距离传感器的特定部件的温度(例如,光源的温度)。环境温度和部件温度二者的改变都可能影响投影图案的外观。因此,在距离传感器的校准期间,环境温度和/或距离传感器的一个或多个部件的温度可以被测量并存储在存储器中。稍后,在方法200的执行期间,当前环境温度和/或部件温度可以由距离传感器测量或获得。当前环境温度和/或部件温度可以用于计算对第一三维坐标集的校正。
在一个示例中,距离传感器可以包括温度传感器(例如,温度计、热电偶、热像仪等),其可以是能够直接测量温度的。替代地,如果距离传感器包括用于提供网络连接性的接口或设备,则温度可以由远程信息源(例如,远程传感器或数据库)提供。
返回参考图2,在步骤212中,处理系统可以将第一点的第一距离测量特性附加到第一三维坐标集。应用可以使用第一点的第一距离测量特性来推断第一三维坐标集的置信度或准确度,以及特别是第一点与距离传感器的第一距离(如第一三维坐标集的z坐标表示)。基于应用的需要,应用可以使用第一距离测量特性来调整应用使用第一三维坐标集的方式。
在一个示例中,第一距离测量特性可以包括包含第一点的最小可能距离的坐标集(例如,(xmin,ymin,zmin))或包含第一点的最大可能距离的坐标集(例如,(xmax,ymax,zmax))中的至少一个。如上面指出的,最小和最大可能距离可以基于第一点的轨迹来确定(例如,基于轨迹末端的位置)。最小可能距离和最大可能距离可以在它们之间定义一个范围,其中到第一点的实际第一距离可以落在最小可能距离和最大可能距离之间的某处。在这种情况下,“最小可能距离”和“最大可能距离”具体地指代坐标集的z(深度)值。也就是说,“最小可能距离”表示z值最小的第一点的可能的(x,y,z)坐标集,而“最大可能距离”表示z值最大的第一点的可能的(x,y,z)坐标集。坐标的x和y值也可以随着z值的改变而改变。
在另一个示例中,第一距离测量特性可以包括第一点的唯一标识符,即唯一地区分第一点和多个点中的其他点的标识符(或者唯一地标识创建第一点的光束)。
在另一个示例中,第一距离测量特性可以包括代码或指示符,该代码或指示符基于检测到第一点的条件(诸如多个点投影到其上的对象的反射率和/或对象的距离)来描述检测和识别第一点的置信度。例如,下面的表1是说明了对象距离和对象反射率(或外部光强度)对投影图案的点的识别率的影响的示例表(即,在100次尝试期间处理系统能够正确检测和标识与特定光束相关联的点的次数)。
表1
如表1中说明的,如果在中等距离处具有亮反射率的对象上检测到第一点,则可以将指示符A附加到第一三维坐标集,以指示在类似条件下检测到的点的识别率是80-100%(例如,为在类似条件下检测到的点计算的距离在80-100%的时间内是准确的)。
在另一个示例中,第一距离测量特性可以包括关于第一三维坐标集偏离第一点的存储轨迹的程度的指示。如上面讨论的,取决于对距离传感器执行的校准过程,可以观察到第一点出现在落入定义第一点的预期移动范围的存储轨迹之外的定位。
在步骤214中,处理系统可以输出包括第一三维坐标集和附加的第一距离测量特性的数据集。方法200然后可以在步骤216中结束。
方法200以及特别是步骤208-214可以对多个点中的任何数量的其他点重复,包括至少第二个点。因此,可以为第二点计算第二三维坐标集,并且还可以确定第二点的第二距离测量特性,并将其附加到第二三维坐标集。第二三维坐标集可以独立于第一三维坐标集来计算。此外,第二距离测量特性可以不同于第一距离测量特性。例如,第一点的亮度、形状或大小可以不同于第一点的亮度、形状或大小。类似地,诸如环境照明和/或对象反射率的其他条件在第二点的区域中相对于第一点的区域可能不同。
如上面讨论的,在一些情况下,由于诸如噪声(例如,由环境光和/或对象反射率引起)、对象定位、点轮廓(例如,形状和大小)等之类的因素,投影图案的某些点可能根本不可以是可检测的。然而,通过校准,处理系统可以至少大致知道期望在何处检测到点。例如,可以知道在第一点和第二点之间,应该存在第三点;然而,处理系统可以仅检测第一点和第二点。在这种情况下,处理系统可以输出第三点的标识符,但是没有第三点的计算距离或三维坐标集。这指示存在第三点,但是关于第三点的信息不能被足够准确地检测或确定。
在另外的示例中,距离测量特性可以与三维坐标集分离地被输出,潜在地在处理系统计算三维坐标集之前。例如,诸如检测点的条件之类的信息(例如,对象反射率、环境照明等)可以在投影图案被投影之前可以是可检测的。在计算三维坐标集之前,距离传感器的软件参数K也可以是已知的并输出到应用,该软件参数K在上面讨论过,并且根据它可以确定计算的(x,y,z)坐标集的准确度。因此,该信息可以在输出三维坐标集之前并且从其分离地输出到应用。然后,当输出三维坐标集时,三维坐标集可以包括对应点的标识符,而没有任何附加信息。
应当注意,尽管没有明确指定,但是上述方法200的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说,取决于特定的应用,方法200中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一个设备。此外,图2中叙述确定操作或涉及决策的框、功能或操作并不暗示着确定操作的两个分支都被实践。换句话说,取决于确定操作的结果,可以不执行确定操作的分支之一。
图6描绘了用于测量从距离传感器到对象的距离的示例电子设备600的高级框图。照此,电子设备600可以被实现为电子设备或系统的处理器,诸如距离传感器。
如图6中描绘的,电子设备600包括硬件处理器元件602,例如中央处理单元(CPU)、微处理器或多核处理器,存储器604,例如随机存取存储器(RAM)和/或只读存储器(ROM),用于测量从距离传感器到对象的距离的模块605,以及各种输入/输出设备606,例如存储设备,包括但不限于磁带驱动器、软盘驱动器,硬盘驱动器或光盘驱动器、接收器、发射器、显示器、输出端口、输入端口和用户输入设备,诸如键盘、小键盘、鼠标、麦克风、相机、激光光源、LED光源等。
尽管示出了一个处理器元件,但是应当注意,电子设备600可以采用多个处理器元件。此外,尽管在图中示出了一个电子设备600,但是如果对于特定的说明性示例,以分布式或并行的方式来实现如上面讨论的(一个或多个)方法,即,跨多个或并行的电子设备来实现上述(一个或多个)方法的框或(一个或多个)整个方法,则该图的电子设备600旨在表示这些多个电子设备中的每一个。
应当注意,本公开可以通过机器可读指令和/或机器可读指令和硬件的组合来实现,例如,使用专用集成电路(ASIC)、包括现场可编程门阵列(FPGA)的可编程逻辑阵列(PLA)、或部署在硬件设备上的状态机、通用计算机或任何其他硬件等同物,例如,与上面讨论的(一个或多个)方法相关的计算机可读指令可以用于配置硬件处理器来执行(一个或多个)上面公开方法的框、功能和/或操作。
在一个示例中,用于测量从距离传感器到对象的距离的本模块或过程605的指令和数据(例如机器可读指令)可以被加载到存储器604中,并且由硬件处理器元件602执行,以实现如上面结合方法200讨论的框、功能或操作。此外,当硬件处理器执行指令来执行“操作”时,这可以包括硬件处理器直接执行操作和/或促进、指导另一硬件设备或部件(例如,协处理器等)或与另一硬件设备或部件(例如,协处理器等)协作来执行操作。
执行与(一个或多个)上述方法相关的机器可读指令的处理器可以被视为编程处理器或专用处理器。照此,测量从距离传感器到本公开的对象的距离的本模块605可以存储在有形的或物理的(广义上非暂时性的)计算机可读存储设备或介质上,例如易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁或光驱动器、设备或磁盘等。更具体地,计算机可读存储设备可以包括提供存储信息的能力的任何物理设备,所述信息诸如是将由处理器或电子设备(诸如计算机或安全传感器系统的控制器)访问的数据和/或指令。
应当领会,上面公开的变体和其他特征和功能或其替代物可以组合到许多其他不同的系统或应用中。随后可以对其进行各种目前未预见或未预料到的替代、修改或变化,所述替代、修改或变化也旨在包含在以下权利要求中。
Claims (20)
1.一种方法,包括:
通过包括至少一个处理器的距离传感器的处理系统,使得距离传感器的光投影系统将三维图案投影到对象上,其中三维图案包括多个光点;
通过处理系统,使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像;
通过处理系统,计算所述多个光点中的第一点的第一三维坐标集,其中所述计算基于第一点在图像中的外观和第一点的轨迹的知识;
通过处理系统,从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的;
通过处理系统,将第一距离测量特性附加到第一三维坐标集;和
通过处理系统,输出包括附加了距离测量特性的第一三维坐标集的数据集。
2.根据权利要求1所述的方法,进一步包括:
通过处理系统,独立于执行针对第一点的执行计算、确定、附加和输出,重复针对所述多个点中的第二点的计算、确定、附加和输出。
3.根据权利要求1所述的方法,其中,所述第一距离测量特性包括第一点的特性,所述第一点的特性影响处理系统准确地检测三维图案内的第一点并从所述多个点之中标识第一点的能力。
4.根据权利要求3所述的方法,其中,所述第一距离测量特性包括第一点的亮度。
5.根据权利要求3所述的方法,其中,所述第一距离测量特性包括第一点的物理轮廓。
6.根据权利要求3所述的方法,其中,所述第一距离测量特性包括与第一点相关联的捕获光学因素。
7.根据权利要求3所述的方法,其中,所述第一距离测量特性包括与第一点相关联的校准规格。
8.根据权利要求7所述的方法,其中,所述校准规格包括在距离传感器的校准期间形成与第一点相关联的轨迹的多个测量点。
9.根据权利要求3所述的方法,其中,所述第一距离测量特性包括第一点偏离与第一点相关联的存储轨迹的量。
10.根据权利要求1所述的方法,其中,所述第一距离测量特性包括从以下各项的组中选择的至少一个:距离传感器的环境温度和距离传感器的部件温度。
11.根据权利要求1所述的方法,其中,所述第一距离测量特性包括从以下各项的组中选择的至少一个:第一三维坐标集的z坐标的最小值和第一三维坐标集的z坐标的最大值。
12.根据权利要求1所述的方法,其中,所述第一距离测量特性包括第一点的唯一标识符。
13.根据权利要求1所述的方法,其中,所述第一距离测量特性包括描述第一点的检测和识别的置信度的指示符。
14.根据权利要求13所述的方法,其中,所述置信度基于发生检测和识别的条件。
15.根据权利要求14所述的方法,其中,所述条件包括从以下各项的组中选择的至少一个:对象的反射率和对象的距离。
16.根据权利要求1所述的方法,其中,所述第一距离测量特性包括距离传感器的修理历史。
17.根据权利要求1所述的方法,进一步包括:
对于处理系统未能检测到的多个点中的第二点,输出没有距离测量特性的标识符。
18.根据权利要求1所述的方法,其中,在使得光投影系统投影三维图案之前,在存储器中重新测量并更新第一距离测量特性。
19.一种编码有由包括至少一个处理器的距离传感器的处理系统可执行的指令的非暂时性机器可读存储介质,其中,所述指令当由处理系统执行时,使得处理系统执行操作,所述操作包括:
使得距离传感器的光投影系统将三维图案投影到对象上,其中所述三维图案包括多个光点;
使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像;
计算所述多个光点中的第一点的第一三维坐标集,其中所述计算基于第一点在图像中的外观和第一点的轨迹的知识;
从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的;
将第一距离测量特性附加到第一三维坐标集;和
输出包括附加了距离测量特性的第一三维坐标集的数据集。
20.一种距离传感器,包括:
包括至少一个处理器的处理系统;和
编码有由所述处理系统可执行的指令的非暂时性机器可读存储介质,其中,所述指令当被执行时,使得处理系统执行操作,所述操作包括:
使得距离传感器的光投影系统将三维图案投影到对象上,其中所述三维图案包括多个光点;
使得距离传感器的光接收系统捕获投影到对象上的三维图案的图像;
计算所述多个光点中的第一点的第一三维坐标集,其中所述计算基于第一点在图像中的外观和第一点的轨迹的知识;
从距离传感器的存储器中检索第一点的第一距离测量特性,其中第一距离测量特性是在距离传感器的校准期间测量的;
将第一距离测量特性附加到第一三维坐标集;和
输出包括附加了距离测量特性的第一三维坐标集的数据集。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062962968P | 2020-01-18 | 2020-01-18 | |
US62/962968 | 2020-01-18 | ||
PCT/US2021/013527 WO2021146490A1 (en) | 2020-01-18 | 2021-01-15 | Distance measurements including supplemental accuracy data |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115298514A true CN115298514A (zh) | 2022-11-04 |
Family
ID=76856802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180021733.1A Pending CN115298514A (zh) | 2020-01-18 | 2021-01-15 | 包括补充准确度数据的距离测量 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210223038A1 (zh) |
EP (1) | EP4103908A4 (zh) |
JP (1) | JP2023511339A (zh) |
CN (1) | CN115298514A (zh) |
WO (1) | WO2021146490A1 (zh) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011169701A (ja) * | 2010-02-17 | 2011-09-01 | Sanyo Electric Co Ltd | 物体検出装置および情報取得装置 |
US10223793B1 (en) * | 2015-08-05 | 2019-03-05 | Al Incorporated | Laser distance measuring method and system |
US9989357B2 (en) * | 2015-09-09 | 2018-06-05 | Faro Technologies, Inc. | Aerial device that cooperates with an external projector to measure three-dimensional coordinates |
EP3397921A1 (en) * | 2015-12-30 | 2018-11-07 | Faro Technologies, Inc. | Registration of three-dimensional coordinates measured on interior and exterior portions of an object |
US10812772B2 (en) * | 2017-02-03 | 2020-10-20 | MODit 3D, Inc. | Three-dimensional scanning device and methods |
DE102017117614B4 (de) * | 2017-08-03 | 2019-07-04 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zum trajektorienbasierten Bestimmen eines Auswertebereiches in einem Bild einer Fahrzeugkamera |
DE102018101023B3 (de) * | 2018-01-18 | 2019-05-29 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Abstandsmessung mittels trajektoriebasierter Triangulation |
CN112119628B (zh) * | 2018-03-20 | 2022-06-03 | 魔眼公司 | 调整相机曝光以用于三维深度感测和二维成像 |
WO2019207588A2 (en) * | 2018-04-25 | 2019-10-31 | Dentlytec G.P.L. Ltd | Properties measurement device |
JP7039388B2 (ja) * | 2018-05-24 | 2022-03-22 | 株式会社トプコン | 測量装置 |
DE102018115334B3 (de) * | 2018-06-26 | 2019-05-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit |
-
2021
- 2021-01-15 US US17/149,829 patent/US20210223038A1/en active Pending
- 2021-01-15 CN CN202180021733.1A patent/CN115298514A/zh active Pending
- 2021-01-15 JP JP2022543704A patent/JP2023511339A/ja active Pending
- 2021-01-15 WO PCT/US2021/013527 patent/WO2021146490A1/en unknown
- 2021-01-15 EP EP21740703.0A patent/EP4103908A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4103908A1 (en) | 2022-12-21 |
WO2021146490A1 (en) | 2021-07-22 |
EP4103908A4 (en) | 2024-05-15 |
US20210223038A1 (en) | 2021-07-22 |
JP2023511339A (ja) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112513565B (zh) | 使用高密度投影图案的距离测量 | |
US10242438B2 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium for image recognition of the assembly of an object | |
CN110689577B (zh) | 单相机环境中主动式刚体的位姿定位方法及相关设备 | |
EP2153410B1 (en) | 3d assembly verification from 2d images | |
US20200051268A1 (en) | Baffles for three-dimensional sensors having spherical fields of view | |
CN108510515A (zh) | 信息处理装置、信息处理方法、控制系统和物品制造方法 | |
KR20160003776A (ko) | 자세 추정 방법 및 로봇 | |
US11019249B2 (en) | Mapping three-dimensional depth map data onto two-dimensional images | |
US11415408B2 (en) | System and method for 3D profile determination using model-based peak selection | |
US11320537B2 (en) | Enhancing triangulation-based three-dimensional distance measurements with time of flight information | |
CN110906884B (zh) | 三维几何形状测量设备和三维几何形状测量方法 | |
CN115298514A (zh) | 包括补充准确度数据的距离测量 | |
CN116068534A (zh) | 距离测量装置、距离测量程序 | |
JP7390239B2 (ja) | 三次元形状測定装置及び三次元形状測定方法 | |
JP7363545B2 (ja) | キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム | |
JP2018179654A (ja) | 距離画像の異常を検出する撮像装置 | |
US20190113336A1 (en) | Multi-Directional Triangulation Measuring System with Method | |
WO2023200727A1 (en) | Calibrating a three-dimensional sensor using detection windows |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |