CN115461643A - 用于对象深度测量的照射图案 - Google Patents

用于对象深度测量的照射图案 Download PDF

Info

Publication number
CN115461643A
CN115461643A CN202180030207.1A CN202180030207A CN115461643A CN 115461643 A CN115461643 A CN 115461643A CN 202180030207 A CN202180030207 A CN 202180030207A CN 115461643 A CN115461643 A CN 115461643A
Authority
CN
China
Prior art keywords
illumination
features
sensor
signal
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180030207.1A
Other languages
English (en)
Inventor
P·辛德勒
P·席伦
B·莱因
C·伦纳茨
L·迪塞尔伯格
H·M·哈米德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN115461643A publication Critical patent/CN115461643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种用于确定至少一个对象(112)的位置的检测器(110)。该检测器(110)包括:‑至少一个投影仪(122),其用于利用至少一个照射图案(124)来照射对象(112),其中,照射图案(124)包括多个照射特征(125),其中,照射特征(125)是空间调制的;‑至少一个传感器元件(114),其具有光学传感器(118)的矩阵(116),光学传感器(118)各自具有光敏区域(120),其中,每个光学传感器(118)被设计为响应于由从对象传播到检测器(110)的反射光束对其相应光敏区域(120)的照射,生成至少一个传感器信号,其中,传感器元件(114)被配置为确定至少一个反射图像(142);‑至少一个评估装置(144),其中,评估装置(144)被配置为选择反射图像(142)的至少一个反射特征,其中,评估装置(144)被配置用于通过评估来自传感器信号的组合信号Q通过使用光子比率测深技术来确定反射图像(142)的所选择的反射特征的至少一个纵向坐标z,其中,照射特征(125)是图案化照射特征(125),其中,图案化照射特征(125)中的每一个包括多个子特征(141),和/或其中,照射特征(125)以等间距的周期性图案布置成行,其中,照射特征(125)的行中的每一个具有偏移;其中,相邻行的偏移不同。

Description

用于对象深度测量的照射图案
技术领域
本发明涉及用于确定至少一个对象的位置的检测器和方法。本发明还涉及检测器装置的各种用途。根据本发明的装置、方法和用途特别地可以例如采用在日常生活、游戏、交通技术、生产技术、安全技术、诸如针对艺术的数字摄影或视频摄影的摄影、文档编制或技术目的、医学技术的各种领域中或在科学中。而且,本发明具体地可以用于扫描一个或多个对象和/或用于扫描场景,诸如用于生成对象或场景的深度轮廓,例如,在架构、度量衡学、考古学、医学、工程或制造的领域中。然而,其他应用也是可能的。
背景技术
即使在引起多次反射的环境的情况下,利用偏置光源,或具有减少的计算需求,特别是具有减少的处理能力的反射测量对象,光子比率测深(depth-from-photon-ratio,DPR)技术也允许可靠的距离确定。例如,WO 2018/091640描述了一种用于确定至少一个对象的位置的检测器。该检测器包括:至少一个传送装置,其中,响应于从对象传播到检测器的至少一个入射光束,传送装置具有至少一个焦距;至少两个光学传感器,其中,每个光学传感器具有至少一个光敏区域,其中,每个光学传感器被设计为响应于由光束对其相应光敏区域的照射,生成至少一个传感器信号,至少一个评估装置被配置用于通过评估来自传感器信号的商信号Q来确定对象的至少一个纵向坐标z。该检测器适于确定至少一个测量范围内的对象的纵向坐标z,该测量范围独立于对象平面内的对象大小。
然而,尽管DPR技术取得了成就,但是技术挑战仍然存在。
对于使用DPR技术的距离确定,可以将包括单相机的系统与将激光点图案或网格投射在场景上的投影仪组合使用。对每个点进行评估,并且从其确定距离。利用DPR技术确定的距离可以提供每个激光点的距离估计,并且可以通过三角测量方法对相机和投影仪的已知位置进行细化。为了计算三角测量,需要解决所谓的对应问题。对应问题描述了检测到的激光点的分配以及所述点在投射图案中的位置。如果该分配是已知的,则可以经由三角测量确定距离。然而,DPR评估可能有噪声,使得对于激光点图案的高点密度,无法明确解决对应问题。具体地,对应问题的可解性可能取决于激光点沿着核(epipolar)线的距离。
关于DPR技术的另一个挑战性问题是,如果成像场景中的反射对象未知,反射光束光斑面积、形状和2D强度轮廓混乱变化。DPR分析当暴露于单独激光束时反射对象的响应。这使反射激光光斑的特性,诸如面积、形状和2D强度轮廓,主要取决于反射器。分析由激光光斑的这些特性所提供的信息,有助于标识反射该光斑的材料类型,并且因此使在估计反射对象与图像传感器或激光束投影仪之间的距离时实现更好的准确度可能。然而,定位在距图像传感器或激光束投影仪不同距离处的各种材料可能生成几乎相同的激光光斑特性组合,并且因此这使标识反射对象的材料并估计其与投影仪或相机的距离困难。
关于目前DPR技术的另一个挑战性问题是估计反射表面的取向。
另一个这样的挑战性问题是当激光光斑的一部分被反射到该锐利边缘的一侧并且其另一部分被反射到边缘的另一侧时,分析反射在锐利边缘上的激光光斑的困难。
发明内容
本发明解决的问题
因此,本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地,本发明的目标是提供使用可以确定空间中的对象的位置的优选地具有低技术努力并且具有在技术资源和成本方面的低要求以及增强的精度的DPR技术的装置和方法。
该问题由具有独立专利权利要求的特征的本发明来解决。在从属权利要求和/或在以下说明书和详细的实施例中呈现本发明的可单独地或组合地实现的有利发展。
在本发明的第一方面中,公开了一种用于确定至少一个对象的位置的检测器。
如本文所使用的,术语“对象”指代任意对象,特别地表面或区域,其被配置为至少部分地反射入射在所述对象上的至少一个光束。所述光束可以源自照射所述对象的投影仪,其中,所述光束由所述对象反射或散射。
如本文所使用的,术语“位置(position)”是指关于空间中的对象和/或对象的至少一个部分的位置和/或取向的至少一个信息项。因此,所述至少一个信息项可以隐含所述对象的至少一个点与至少一个检测器之间的至少一个距离。所述距离可以是纵坐标或者可以有助于确定所述对象的点的纵坐标。附加地或者替代地,可以确定关于所述对象和/或所述对象的至少一部分的位置和/或取向的至少一个其他信息项。作为示例,附加地,可以确定所述对象和/或所述对象的至少一部分的至少一个横坐标。因此,所述对象的位置可以隐含所述对象和/或所述对象的至少一部分的至少一个纵坐标。附加地或者替代地,所述对象的位置可以隐含所述对象和/或所述对象的至少一部分的至少一个横坐标。附加地或者替代地,所述对象的位置可以隐含指示空间中的对象的取向的对象的至少一个取向信息。
所述检测器包括:
-至少一个投影仪,其用于利用至少一个周期性照射图案照射所述对象,其中,所述照射图案包括多个照射特征,其中,所述照射特征是空间调制的;
-至少一个传感器元件,其具有光学传感器的矩阵,所述光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于由从所述对象传播到所述检测器的反射光束对其相应光敏区域的照射,生成至少一个传感器信号,其中,所述传感器元件被配置为确定至少一个反射图像;
-至少一个评估装置,其中,所述评估装置被配置为选择所述反射图像的至少一个反射特征,其中,所述评估装置被配置用于通过评估来自所述传感器信号的组合信号Q通过使用光子比率测深来确定所述反射图像的所选择的反射特征的至少一个纵向坐标z,
其中,所述照射特征是图案化照射特征,其中,所述图案化照射特征中的每一个包括多个子特征,和/或其中,所述照射特征以等间距的周期性图案布置成行,其中,所述照射特征的行中的每一个具有偏移;其中,相邻行的所述偏移不同。
如本文所使用的,术语“投影仪”,也表示为光投影仪,指代光学设备,该光学设备被配置为将至少一个照射图案投射到所述对象上,特别地到所述对象的表面上。所述投影仪可包括至少一个光源,也表示为照射设备或照射源,其被配置用于生成至少一个光束。所述投影仪可以被配置用于生成至少一个图案并用于将所述图案投射到包括所述对象的至少一个表面或场景。所述投影仪可以被配置以使得所述照射图案从所述投影仪,特别地从所述投影仪的壳体的至少一个开口朝向所述对象传播。所述投影仪可以被配置用于生成和/或投射点云,例如,所述投影仪可包括至少一个数字光处理(DLP)投影仪、至少一个LCoS投影仪、至少一个激光源、至少一个激光源阵列;至少一个发光二极管;至少一个发光二极管阵列。此外,附加照射图案可以由至少一个环境光源生成。
如本文所使用的,术语“图案”指代包括至少一个任意形状特征的任意已知或预定布置。所述图案可以包括至少一个特征,诸如点或符号。所述图案包括多个特征。所述图案可以包括周期性或非周期性特征的布置。如本文所使用的,术语“照射图案”是指照射所述对象的图案。如本文所使用的,术语“照射特征”指代所述照射图案的至少一个任意形状特征。所述照射图案可包括选自包括以下各项的组的至少一个图案:至少一个点图案,特别是伪随机点图案;随机点图案或者准随机图案;至少一个索博尔图案;至少一个准周期图案;包括至少一个预知特征的至少一个图案;至少一个规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案;包括凸一致瓦片的至少一个图案;包括至少一个线的至少一个线图案;包括至少两个线的至少一个线图案,诸如平行或交叉线。例如,所述投影仪可以被配置用于生成和/或投射点云。例如,所述投影仪可以被配置用于生成点云,以使得所述照射图案可以包括多个点特征。
所述投影仪可以被配置为生成各自包括多个照射特征的多个照射图案。所述投影仪可以被配置为投射各自包括多个照射特征的两个、三个、四个、五个或更多个照射图案。所述照射图案可以特别地在以下各项中的一项或多项中不同:照射特征的数量、照射特征的布置、照射特征的形状、照射特征的波长、照射特征的强度、开口角等。
所述投影仪可包括至少一个传送装置,特别地至少一个衍射光学元件,该衍射光学元件被配置用于根据由所述激光源生成的至少一个光束生成所述照射图案。术语“传送装置”(也表示为“传送系统”)可以通常是指一个或多个光学元件,该一个或多个光学元件被配置用于诸如通过修改所述光束的束参数、所述光束的宽度或所述光束的方向中的一个或多个来修改所述光束。所述传送装置具体地可以包括以下各项中的一项或多项:至少一个透镜,例如,至少一个透镜选自包括以下各项的组:至少一个焦点可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅尔透镜;至少一个衍射光学元件;至少一个凹透镜;至少一个束偏转元件,优选地至少一个反射镜;至少一个分束元件,优选地分束立方体或分束反射镜中的至少一个;至少一个多透镜系统。
传送装置可以具有光轴。特别是,所述检测器和所述传送装置具有共同光轴。如本文所使用的,术语“所述传送装置的光轴”通常是指所述透镜或透镜系统的镜面对称或旋转对称轴。所述检测器的光轴可以是所述检测器的光学设置的对称线。所述检测器包括至少一个传送装置,优选地具有至少一个透镜的至少一个传送系统。作为示例,传送系统可以包括至少一个光束路径,其中,光束路径中的传送系统的元件以关于光轴旋转对称的方式来定位。然而,如下文还将更详细地概述的,位于所述束路径内的一个或多个光学元件也可以关于所述光轴偏离中心或倾斜。然而,在这种情况下,光轴可以顺序地定义,诸如通过将光束路径中的光学元件的中心相互连接,例如通过将透镜的中心相互连接,其中,在该上下文中,光学传感器未计算为光学元件。光轴通常可以表示束路径。其中,所述检测器可以具有沿着其光束可以从所述对象行进到所述光学传感器的单个束路径,或者可以具有多个束路径。作为示例,可以给出单个光束路径,或者光束路径可以分成两个或两个以上部分光束路径。在后者的情况中,每个部分光束路径可以具有其自己的光轴。所述光学传感器可以位于同一个束路径或部分束路径中。替代地,然而,光学传感器也可以位于不同的部分光束路径中。
传送装置可以构成坐标系,其中,纵坐标l是沿着光轴的坐标,并且其中,d是与光轴的空间偏移。坐标系可以是极坐标系,其中,传送装置的光轴形成z轴,并且其中,距z轴的距离和极角可以用作附加坐标。平行或者反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵坐标z。任何垂直于z轴的方向都可被视为横向方向,并且极坐标和/或极角可被视为横向坐标。
如本文所使用的,术语“束”通常是指光线的集合。在以下中,术语“光线”和“束”将被用作同义词。如本文进一步使用的,术语“光束”通常是指光量,具体地基本上在相同方向上行进的光量,包括具有扩展角或扩大角的光束的可能性。所述光脉冲可包括至少一个光束轮廓。所述光束可以具有空间扩展。具体地,所述光束可以具有非高斯光束轮廓。所述光束轮廓可以选自包括以下各项的组:梯形光束轮廓;三角形光束轮廓;锥形光束轮廓。所述梯形光束轮廓可以具有平坦区域和至少一个边缘区域。所述光束可以是高斯光束或高斯光束的线性组合。如本文所使用的,术语“光束轮廓”涉及所述光束的强度的空间分布,特别是在垂直于所述光束的传播的至少一个平面内。所述光束轮廓可以是所述光束的横向强度轮廓。所述光束轮廓可以是所述光束的剖面。光束轮廓可以选自梯形光束轮廓、三角光束轮廓、圆锥形光束轮廓、以及高斯光束轮廓的线性组合。然而,其他实施例是可行的。所述投影仪可以包括至少一个传送装置,该传送装置可以被配置用于调节、定义和确定所述光束轮廓(特别地所述光束轮廓的形状)中的一个或多个。
照射特征是空间调制的。如本文所使用的,术语“空间调制”可以是指与已知规则图案相比较的照射特征和照射特征的部分的特定和附加空间布置。所述照射图案,特别地照射特征的空间布置,可以相对于所述传感器元件的视场进行设计。具体地,所述照射特征是图案化照射特征,其中,所述图案化照射特征中的每一个包括多个子特征,和/或所述照射特征以等间距的周期性图案布置成行,其中,所述照射特征的行中的每一个具有偏移;其中,相邻行的所述偏移不同。
所述照射特征是图案化照射特征。所述图案化照射特征中的每一个包括多个子特征。如本文所使用的,术语“图案照射特征”可以是指包括多个元素的照射特征,也表示为子特征。属于同一照射特征的子特征可能形状相同。例如,所述照射特征可包括各自具有中心和半径的多个圆。属于同一照射特征的子特征可以布置在所述照射图案中的不同空间位置处。具体地,所述子特征的中心被布置在所述照射图案中的不同空间位置处。可以选择所述子特征的扩展,使得它们清晰可辨。例如,所述图案化照射特征可以是或可包括图案化光斑,该图案化光斑包括密集堆积形成特定图案的多个较小光斑或少量较小光斑的簇。如本文所使用的,“光斑”通常指代由光束对所述对象的可见或可检测圆或非圆照射。也可以使用旋转版本,诸如将这些图案化照射特征旋转45、90或180度。所选择的图案化照射特征可以复制诸如1000到2000次以形成所述照射图案。换句话说,所述投射的照射图案可包括例如1000到2000个所选择的图案化照射特征的副本。
例如,所述投影仪可包括单个光源,特别地单个激光源,该光源被配置用于生成至少一个光束,也表示为激光束。所述投影仪可包括至少一个传送装置,用于衍射和用于复制由单个激光源生成的激光束,用于生成包括所述图案化照射特征的照射图案。特别地,所述投影仪包括用于衍射和复制所述光束的至少一个衍射光学元件。所述衍射光学元件可以被配置用于光束成形和/或光束分离。如本文所使用的,术语“复制”可以是指从一个光束生成多个光束,特别地将所述光束倍增。
附加地或者替代地,例如,所述投影仪可包括至少一个密集封装光源阵列,特别地激光源,根据被配置用于生成光束簇的特定图案。如本文所使用的,“密集封装”光源可以是指布置在簇中的多个光源。所述光源的密度可能取决于所述单独光源的壳体的延伸和所述光束的可分辨性。所述投影仪可包括所述至少一个传送装置,用于衍射和复制光束簇,用于生成包括图案化照射特征的照射图案。
附加地或替代地,所述照射特征以等间距的周期性图案布置成行。照射特征的行中的每一个具有偏移,其中,相邻行的偏移不同。如本文所使用的,术语“偏移”可以是指相邻行之间的空间距离。所述传感器元件和所述投影仪可以定位以使得所述行与核线平行。可以选择所述照射图案,使得两个相邻的照射特征在核线上具有适合的距离。两个照射特征之间的所述距离可以使得经由光子比率测深技术在所述核线上明确分配两个点可能。所述适合的距离可以取决于所述光子比率测深技术的距离误差和/或来自所述传感器元件和所述投影仪的基线。
所述照射特征可以布置如下。所述照射图案可包括若干行,其中所述照射特征以距离d的等距位置布置。所述行相对于所述核线正交。所述行之间的距离可以是恒定的。可以向相同方向上的行中的每一个应用不同的偏移。所述偏移可能导致行的照射特征移动。所述偏移δ可以是δ=a/b,其中a和b是正整数,使得照射图案是周期性图案。例如,δ可以是1/3或2/5。照射特征的偏移和密度可以增强用于解决对应问题的鲁棒性。
如本文所使用的,术语“传感器元件”通常是指被配置用于感测至少一个参数的设备或多个设备的组合。在本情况中,所述参数具体地可以是光学参数,并且所述传感器元件具体地可以是光学传感器元件。传感器元件可以形成为单一单个设备或多个设备的组合。如本文进一步使用的,术语“矩阵”通常是指以预定几何次序的多个元件的布置。如下文将更详细地概述的,所述矩阵具体地可以是或可以包括具有一个或多个行和一个或多个列的矩形矩阵。所述行和列具体地可以以矩形方式布置。然而,应当概述,其他布置是可行的,诸如非矩形布置。作为示例,圆形布置也是可行的,其中,元件布置在关于中心点的同心圆或椭圆中。例如,矩阵可以是单行像素。其他布置是可行的。所述矩阵的光学传感器具体地可以在大小、灵敏度和其他光、电和机械特性中的一个或多个中相等。所述矩阵的所有光学传感器的光敏区域具体地可以位于共同平面中,所述共同平面优选地面对所述对象,使得从所述对象传播到所述检测器的光束可以生成所述共同平面上的光斑。
如本文所使用的,“光学传感器”通常是指用于检测光束,例如用于检测由至少一个光束产生的照射和/或光斑的光敏装置。如本文进一步使用的,“光敏区域”通常是指可以响应于生成所述至少一个传感器信号的照射外部照射的光学传感器的区域。光敏区域具体可以位于相应光学传感器的表面上。然而,其他实施例也是可行的。如本文所使用的,术语“每个光学传感器具有至少一个光敏区域”是指具有多个单独的光学传感器,每个光学传感器具有一个光敏区域的配置,以及具有一个组合的光学传感器,该组合的光学传感器具有多个光敏区域的配置。因此,此外,“光学传感器”是指被配置为生成一个输出信号的光敏设备,然而,在本文中,被配置为生成两个或两个以上输出信号的光敏设备(例如,至少一个CCD和/或CMOS设备)被称为两个或两个以上光学传感器。如下文将进一步详细概述的,可以实现每个光学传感器,使得精确地一个光敏区域存在于相应光学传感器中,诸如通过精确地提供可以照射的一个光敏区域,响应于该照射,精确地一个一致传感器信号针对全部光学传感器创建。因此,每个光学传感器可以是单个区域光学传感器。然而,单一区域光学传感器的使用使得探测器的设置特别简单和有效。因此,作为示例,各自具有精确地一个敏感区域的可商购的光电传感器(诸如可商购的硅光电二极管)可以使用在设置中。然而,其他实施例也是可行的。因此,作为示例,可以使用包括两个、三个、四个或超过四个光敏区域的光学器件,其在本发明的上下文中被认为是两个、三个、四个或超过四个光学传感器。如上文所概述的,所述传感器元件包括光学传感器的矩阵。因此,作为示例,所述光学传感器可以是像素化光学器件或构成像素化光学器件的一部分。作为示例,所述光学传感器可以是具有像素矩阵的至少一个CCD和/或CMOS设备的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS设备,每个像素形成光敏区域。
如上文所概述的,所述光学传感器特别地可以是或可以包括光电检测器,优选地无机光电检测器,更优选地无机半导体光电检测器,最优选地硅光电检测器。具体地,光学传感器可以在红外光谱范围内是敏感的。所述矩阵的所有光学传感器或者至少所述矩阵的光学传感器组具体地可以是相同的。所述矩阵的相同光学传感器组具体地可以被提供用于不同光谱范围,或者所有光学传感器可以在光谱灵敏度方面相同。进一步地,所述光学传感器可以在大小方面和/或关于其电子或光电子特性相同。
具体地,所述光学传感器可以是或可以包括在红外光谱范围内(优选地在780nm至3.0微米的范围内)敏感的无机光电二极管。具体地,所述光学传感器可以在其中硅光电二极管具体地适用于700nm至1000nm的范围内的近红外区域的一部分中敏感。可用于光学传感器的红外光学传感器是可商购的红外光学传感器,例如德国D-67056Ludwigshafen amRhein的TrinamiX GmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此,作为示例,光学传感器可以包括至少一个本征光伏类型的光学传感器,更优选地,包括选自以下的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或替代地,光学传感器可以包括至少一个非本征光伏类型的光学传感器,更优选地,包括选自以下的至少一个半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地,所述光学传感器可以包括至少一个辐射热计,优选地选自包括VO辐射热计和非晶Si辐射热计的组的辐射热计。
矩阵可以包括独立光学传感器。因此,矩阵可以包括无机光电二极管。然而,替代地,可以使用商购矩阵,例如CCD探测器(例如CCD探测器芯片)和/或CMOS探测器(例如CMOS探测器芯片)中的一者或多者。
因此,通常,所述检测器的光学传感器可以形成传感器阵列或可以是传感器阵列的一部分,诸如上文所提到的矩阵。因此,作为示例,所述检测器可以包括光学传感器阵列,诸如具有m行和n列的矩形阵列,其中,m,n独立地是正整数。优选地,给出超过一个列和超过一个行,即,n>1,m>1。因此,作为示例,n可以为2至16或更高,并且m可以为2至16或更高。优选地,行数与列数之比接近1。作为示例,可以选择n和m,使得0.3≤m/n≤3,诸如通过选择m/n=1:1、4:3、16:9或类似。例如,阵列可以是具有相等数目的行和列的正方形阵列,例如通过选择m=2,n=2或m=3,n=3等。
所述矩阵具体地可以是具有至少一个行、优选地多个行、和多个列的矩形矩阵。作为示例,所述行和列可以基本上垂直取向,其中,关于术语“基本上垂直”,可以对上文给出的定义进行参考。因此,作为示例,小于20°,具体地小于10°,或甚至小于5°的公差是可以接受的。为了提供大范围的视图,矩阵具体地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可以具有至少10列,优选地至少50列,更优选地至少100列。矩阵可以包括至少50个光学传感器,优选地至少100个光学传感器,更优选地至少500个光学传感器。矩阵可以包括数百万像素范围内的多个像素。然而,其他实施例也是可行的。因此,在预期轴向旋转对称的设置中,优选地采用矩阵中的光学传感器(也可被称为像素)的圆形布置或同心布置。
优选地,所述传感器元件可以基本上垂直于所述检测器的光轴取向。此外,关于所述术语“基本上垂直”,可以对上文给出的定义和容限做出参考。光轴可以是直的光轴,或者可以弯曲,或甚至分裂,例如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器,其中在后一种情况下,基本垂直的取向可以指示光学设置的相应分支或束路径中的局部光轴。
所述反射光束可以从所述对象朝向所述检测器传播。所述投影仪可以利用所述照射图案照射所述对象并且所述光由所述对象反射或散射,并且从而,至少部分地作为反射光束朝向所述检测器引导。
所述反射光束具体地可以完全照射所述传感器元件,使得所述传感器元件完全位于所述光束内,其中,所述光束的宽度大于所述矩阵。相反地,优选地,所述反射光束具体地可以产生小于所述矩阵的整个矩阵上的光斑,使得所述光斑完全位于所述矩阵内。光学领域的技术人员可通过选择对光束具有聚焦或散焦效果的一个或多个合适的透镜或元件,例如通过使用合适的转移装置来容易地调节这种情况,如将在下面更详细地概述的。
如本文进一步使用的,“传感器信号”通常是指响应于由所述光束造成的照射由光学传感器生成的信号。具体地,传感器信号可以是或可以包括至少一种电信号,例如至少一个模拟电信号和/或至少一个数字电信号。更具体地,传感器信号可以是或可以包括至少一个电压信号和/或至少一个电流信号。更具体地,传感器信号可以包括至少一个光电流。进一步地,可以使用原始传感器信号,或者所述检测器、所述光学传感器或任何其他元件可以被配置用于处理或预处理所述传感器信号,从而生成次级传感器信号,其也可以用作传感器信号,诸如通过滤波等预处理。
所述光敏区域具体地可以朝向所述对象取向。如本文所使用的,术语“朝向对象取向”通常是指所述光敏区域的相应表面从所述对象完全或部分可见的情况。具体地,所述对象的至少一个点与所述相应光敏区域的至少一个点之间的至少一个互连线可以与所述光敏区域的表面元素形成角,该角与0°不同,诸如在20°至90°的范围内的角,优选地80至90°,诸如90°。因此,当所述对象位于所述光轴上或接近于所述光轴时,从所述对象朝向所述检测器传播的光束可以基本上平行于所述光轴。如本文所使用的,术语“基本上垂直”是指垂直取向的条件,其公差为例如±20°或更小,优选地±10°或更小,更优选地±5°或更小。类似地,术语“基本上平行”是指平行取向的条件,其公差为例如±20°或更小,优选地±10°或更小,更优选地±5°或更小。
所述光学传感器可以在紫外、可见或红外光谱范围中的一个或多个内敏感。具体地,所述光学传感器可以在从500nm至780nm的可见光谱范围内敏感,最优选地在650nm至750nm处或在690nm至700nm处。具体地,所述光学传感器可以在近红外区域中敏感。具体地,所述光学传感器可以在其中硅光电二极管具体地适用于700nm至1000nm的范围内的近红外区域的一部分中敏感。所述光学传感器具体地可以在所述红外光谱范围内敏感,具体地在780nm至3.0微米的范围内。例如,所述光学传感器各自单独地可以是或可以包括选自包括以下各项的组的至少一个元件:光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如,所述光学传感器可以是或可以包括选自包括以下各项的组的至少一个元件:CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。如下文将更详细地概述的,所述光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地,将下文将更详细地概述的,可以使用一个或多个光电二极管,诸如可商购的光电二极管,例如,无机半导体光电二极管。
如本文所使用的,术语“反射图像”指代由包括至少一个反射特征的光学传感器确定的图像。如本文所使用的,术语“反射特征”指代响应于例如利用至少一个照射特征照射而由所述对象生成的图像平面内的特征。所述反射图像可以包括所述至少一个反射图案,其包括所述至少一个反射特征。如本文所使用的,术语“确定至少一个反射图像”是指所述反射图像的成像、记录和生成中的一个或多个。
所述传感器元件可以被配置用于确定至少一个反射图案。如本文所使用的,术语“反射图案”指代由所述对象的表面处的光的反射或散射生成、特别地响应于由所述照射图案造成的照射而由所述对象生成的响应图案。反射图案可以包括对应于所述照射图案的至少一个特征的至少一个特征。与所述照射图案相比较,所述反射图案可以包括至少一个失真图案,其中,所述失真取决于所述对象的距离,诸如所述对象的表面特性。评估装置可以被配置用于选择反射图案的至少一个特征并且通过评估来自传感器信号的组合信号Q确定反射图案的所选择的特征的纵向区域,如上文和下文更详细所描述的。
如本文进一步使用的,术语“评估装置”通常指代被配置用于优选地通过使用至少一个数据处理设备并且更优选地通过使用至少一个处理器和/或至少一个专用集成电路执行命名操作的任意装置。因此,作为示例,至少一个评估装置可以包括至少一个数据处理装置,该数据处理装置上存储有包含大量计算机命令的软件代码。评估装置可以提供用于执行指定操作中的一者或多者的一个或多个硬件元件,和/或可以向一个或多个处理器提供在其上运行以执行指定操作中的一者或多者的软件。
上文所提到的操作由所述至少一个评估装置执行,包括确定所述对象的至少一个纵向坐标。因此,作为示例,如下文将概述的关系中的一个或多个可以实现在软件和/或硬件中,诸如通过实现一个或多个查找表。因此,作为示例,所述评估装置可以包括一个或多个可编程设备,诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA),其被配置为执行上文所提到的评估,以便确定所述对象的至少一个纵向坐标。然而,附加地或替代地,评估装置也可以全部或部分地由硬件来体现。
如本文所使用的,术语“选择至少一个反射特征”是指标识、确定和选择所述反射图像的至少一个反射特征中的一个或多个。所述检测器可以被配置用于根据所述组合信号来确定所述反射图像的至少一个反射特征的对象点的纵坐标。因此,所述检测器可以被配置用于对所述反射图像的至少一个反射特征进行预分类和/或为所述反射特征提供距离估计。具体地,所述检测器可以被配置用于通过考虑所述预分类和/或距离估计的三角测量和/或结构光技术来确定所述对象的至少一个更准确的距离信息。
所述评估装置可以被配置用于执行至少一个图像分析和/或图像处理以便标识所述反射特征。图像分析和/或图像处理可以使用至少一个特征检测算法。图像分析和/或图像处理可以包括以下各项中的一项或多项:过滤;至少一个感兴趣区域的选择;由所述传感器信号创建的图像与至少一个偏移之间的差值图像的形成;通过反转由所述传感器信号创建的图像对传感器信号的反转;由不同时间处的传感器信号创建的图像之间的差值图像的形成;背景校正;分解为颜色通道;分解为色度;饱和度;和亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯和拉普拉斯滤波器;应用高斯差分滤波器;应用索贝尔算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用拉东变换;应用霍夫变换;应用小波变换;阈值化;创建二进制图像。感兴趣区域可以由用户手动确定或者可以自动确定,诸如通过识别由光学传感器生成的图像内的对象。
所述评估装置被配置用于通过评估来自所述传感器信号的组合信号Q通过使用光子比率测深来确定所述反射图像的所选择的反射特征的至少一个纵向坐标z。所述光子比率测深通常为技术人员所知,诸如来自WO 2018/091649 A1、WO 2018/091638 A1和WO2018/091640 A1,其内容通过引用包括。通过使用光子比确定如WO 2018/091649 A1、WO2018/091638 A1和WO 2018/091640 A1中所描述的距离的技术在本文中表示为“光子比率测深”或“光束轮廓分析”。
如本文所使用的,术语“组合信号Q”是指通过组合所述传感器信号生成的信号,特别是通过以下各项中的一项或多项:除所述传感器信号、除所述传感器信号的倍数或除所述传感器信号的线性组合。所述评估装置可以被配置用于通过以下各项中的一项或多项导出所述组合信号Q:除所述传感器信号、除所述传感器信号的倍数、除所述传感器信号的线性组合。所述评估装置可以被配置用于使用所述组合信号Q与所述纵向区域之间的至少一个预定关系以用于确定所述纵向区域。
例如,所述评估装置可以被配置用于通过以下内容导出所述组合信号Q:
Figure BDA0003901761610000151
其中x和y是横向坐标,A1和A2是传感器位置处的反射光束的至少一个光束轮廓的不同区域,并且E(x,y,zo)表示在对象距离zo处给出的光束轮廓。区域A1和区域A2可能不同。特别地,A1和A2并不全等(congruent)。因此,A1和A2的形状或内容中的一者或多者可能不同。
通常,光束轮廓取决于亮度L(zo)和光束形状S(x,y;zo),E(x,y;zo)=L·S。因此,通过导出组合信号,能够独立于亮度确定纵向坐标。另外,使用组合信号允许独立于对象尺寸确定距离zo。因此,组合信号允许独立于对象的材料特性和/或反射特性和/或散射特性并且独立于光源的更改确定距离zo,诸如通过制造精度、热、水、污垢、透镜上的损坏等。
传感器信号中的每一个可以包括光束的光束轮廓的至少一个区域的至少一个信息。如本文所使用的,术语“所述光束轮廓的区域”通常是指用于确定组合信号Q的传感器位置处的光束轮廓的任意区域。所述光敏区域可以被布置以使得第一传感器信号包括所述光束轮廓的第一区域的信息,并且第二传感器信号包括所述光束轮廓的第二区域的信息。光束轮廓的第一区域和光束轮廓的第二区域可以是相邻或者重叠区域之一或两者。所述光束路径的第一区域和所述光束轮廓的第二区域可以在区域中不是全等的。
所述评估装置可被配置为确定和/或选择光束轮廓的第一区域和光束轮廓的第二区域。所述光束轮廓的第一区域可以包括光束轮廓的基本上边缘信息,并且所述光束轮廓的第二区域可以包括光束轮廓的基本上中心信息。所述光束轮廓可以具有中心,即光束轮廓的最大值和/或光束轮廓平顶的中心点和/或光斑的几何中心,以及从中心延伸的下降边缘。第二区域可以包括横截面的内部区域,第一区域可以包括横截面的外部区域。如本文所使用的,术语“基本上中心信息”通常是指与中心信息的比例(即,与中心对应的强度分布的比例)相比,边缘信息的比例(即,与边缘对应的强度分布的比例)较低。优选地,中心信息中的边缘信息的比例小于10%,更优选地小于5%,最优选地,中心信息不包括任何边缘内容。如本文所使用的,术语“基本上边缘信息”通常是指与边缘信息的比例相比,中心信息的比例较低。边缘信息可以包括整个光束轮廓的信息,特别地,来自中心区域和边缘区域的信息。边缘信息中的中心信息的比例小于10%,优选地小于5%,更优选地,边缘信息不包括任何中心信息。如果光束轮廓的至少一个区域靠近或围绕中心并且包括基本上中心信息,则可以确定和/或选择该区域作为光束轮廓的第二区域。如果光束轮廓的至少一个区域包括横截面的下降边缘的至少一些部分,则可以确定和/或选择该区域作为光束轮廓的第一区域。例如,可以将横截面的整个区域确定为第一区域。所述光束轮廓的第一区域可以是区域A2,并且所述光束轮廓的第二区域可以是区域A1。
第一区域A1和第二区域A2的其他选择也是可行的。例如,第一区域可以包括光束轮廓的基本上外部区域,第二区域可以包括光束轮廓的基本上内部区域。例如,在二维光束轮廓的情况下,光束轮廓可以被分为左部分和右部分,其中第一区域可以包括光束轮廓的基本上左部分的区域,第二区域可以包括光束轮廓的基本上右部分的区域。
边缘信息可以包括与光束轮廓的第一区域中的光子数量有关的信息,而中心信息可以包括与光束轮廓的第二区域中的光子数量有关的信息。所述评估装置可以被配置用于确定所述光束轮廓的面积积分。所述评估装置可以被配置用于通过将所述第一区域积分和/或求和来确定所述边缘信息。所述评估装置可以被配置用于通过将所述第二区域积分和/或求和来确定所述中心信息。例如,所述光束轮廓可以是梯形光束轮廓,并且所述评估装置可以被配置用于确定所述梯形的积分。此外,当假设梯形光束轮廓时,可通过使用梯形光束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度并通过几何考虑导出边缘信号和中心信号)来代替边缘信号和中心信号的确定。
附加地或者替代地,所述评估装置可以被配置用于根据所述光斑的至少一个切片或切口来确定中心信息或边缘信息之一或两者。这可以例如通过由沿着所述切片或切口的线积分替换所述组合信号Q的面积积分来实现。为了提高准确性,可以使用光斑的若干切片或切口并取平均值。在椭圆形光斑轮廓的情况下,对若干切片或切口进行平均会改善距离信息。
在一个实施例中,从所述对象传播到所述检测器的光束可以利用包括至少一个特征点的至少一个图案照射所述传感器元件。如本文所使用的,术语“特征点”指代所述图案的至少一个至少部分扩展特征。所述特征点可以选自包括以下各项的组:至少一个点、至少一个线、至少一个边缘。所述图案可以由所述对象生成,例如,响应于由具有包括所述至少一个图案的照射图案的至少一个光源的照射。A1可以对应于所述光学传感器上的特征点的完全或完整区域。A2可以是所述光学传感器上的特征点的中心区域。中心区域可以是恒定值。与所述特征点的全部区域相比较,所述中心区域可以是更小的。例如,在圆形特征点的情况下,所述中心区域可以具有所述特征点的全半径的从0.1至0.9的半径,优选地所述全半径的从0.4至0.6。
所述评估装置可以被配置为通过以下各项中的一项或多项导出所述组合信号Q:除所述边缘信息和所述中心信息、除所述边缘信息和所述中心信息的倍数、除所述边缘信息和所述中心信息的线性组合。因此,基本上,光子比可以用作方法的物理基础。
例如,所述评估装置可以被配置用于通过以下各项评估所述传感器信号:
a)确定具有所述最高传感器信号的至少一个光学传感器并且形成至少一个中心信号;
b)评估所述矩阵的光学传感器的传感器信号并且形成所述至少一个和信号;
c)通过将所述中心信号和所述和信号组合确定至少一个组合信号;以及
d)通过评估所述组合信号确定所选择的特征的至少一个纵坐标z。
如例如在WO 2012/110924 A1或WO 2014/097181 A1中解释的,通常,在光斑的尺寸(诸如光斑的直径、束腰或等效直径)与所述光束从其朝向所述检测器传播的对象的纵坐标之间存在预定或可确定的关系。不希望受到该理论的束缚,光斑可通过两个测量变量来表征:在光斑中心或靠近光斑中心的小测量区域中测量的测量信号(也称为中心信号),以及对光斑(有或没有中心信号)积分的积分信号或和信号。针对当所述束加宽或聚焦时不改变的某个总焦度(power)的光束,所述和信号应当独立于所述光斑的斑尺寸,并且因此,应当至少当使用其相应测量范围内的线性光学传感器时,独立于所述对象与所述检测器之间的距离。然而,中心信号取决于光斑尺寸。因此,中心信号通常在光束聚焦时增大,而在光束散焦时减小。通过将所述中心信号与所述和信号相比较,因此,可以生成关于由所述光束生成的光斑的尺寸并且因此关于所述对象的纵坐标的信息项。作为示例,所述中心信号和所述和信号的比较可以通过下列实现:从所述中心信号和所述和信号当中形成所述组合信号Q,并且通过使用所述纵坐标与用于导出所述纵坐标的所述商信号之间的预定或可确定关系。
光学传感器的矩阵的使用提供多个优点和益处。因此,在所述传感器元件上由所述光束生成的光斑的中心,诸如在所述传感器元件的矩阵的光学传感器的光敏区域的共同平面上,可以随着所述对象的横向位置变化。通过使用光学传感器的矩阵,根据本发明的检测器可以适于条件中的这些改变,并且因此,可以简单地通过比较所述传感器信号确定所述光斑的中心。因此,根据本发明的检测器可以单独选择所述中心信号和确定所述和信号,并且根据这两个信号,导出包含关于所述对象的纵坐标的信息的组合信号。通过评估所述组合信号,因此,可以确定所述对象的纵坐标。因此,光学传感器的矩阵的使用在所述对象的位置方面,具体地在所述对象的横向位置方面提供显著的灵活性。
光学传感器的矩阵上的光斑的横向位置,诸如生成所述传感器信号的至少一个光学传感器的横向位置,可以甚至用作附加信息项,从该附加信息项,可以导出关于所述对象的横向位置的至少一个信息项,如例如在WO 2014/198629 A1中所公开的。附加地或者替代地,如下文将更详细地概述的,根据本发明的检测器可以包含至少一个附加横向检测器,其用于除了所述至少一个纵坐标之外,检测所述对象的至少一个横坐标。
因此,根据本发明,术语“中心信号”通常是指包括所述光束轮廓的基本上中心信息的至少一个传感器信号。例如,所述中心信号可以是来自由所述整个矩阵或所述矩阵内的感兴趣区域的光学传感器生成的多个传感器信号的具有最高传感器信号的至少一个光学传感器的信号,其中,所述感兴趣区域可以在由所述矩阵的光学传感器生成的图像内预定或可确定的。如本文所使用的,术语“最高传感器信号”是指局部最大值或感兴趣区域中的最大值中的一者或全部两者。所述中心信号可以起因于单个光学传感器,或者如下文将更详细地概述的,光学传感器组,其中,在后者情况下,作为示例,所述光学传感器组的传感器信号可以加起来、积分或平均以便确定所述中心信号。所述中心信号起因于其的光学传感器组可以是相邻光学传感器组,诸如具有小于距具有所述最高传感器信号的实际光学传感器预定距离的光学传感器,或者可以是生成在距所述最高传感器信号预定范围内的传感器信号的光学传感器组。所述中心信号起因于其的光学传感器组可以选择尽可能大以便允许最大动态范围。所述评估装置可以被配置用于通过所述多个传感器信号的综合来确定所述中心信号,例如,具有所述最高传感器信号的光学传感器的多个光学传感器。例如,所述光束轮廓可以是梯形光束轮廓,并且所述评估装置可以被配置用于确定所述梯形的积分,特别是,所述梯形的平台。
如上文所概述的,所述中心信号通常可以是单个传感器信号,诸如来自所述光斑的中心的光学传感器的传感器信号,或者可以是多个传感器信号的组合,诸如起因于所述光斑的中心的光学传感器的传感器信号的组合,或者通过处理通过前述可能性中的一个或多个导出的传感器信号导出的二次传感器信号。中心信号的确定可通过电子的方式执行,因为传感器信号的比较可通过常规电子器件相当简单地实现,或者可完全或部分地通过软件执行。具体地,所述中心信号可以选自包括以下各项的组:所述最高传感器信号;传感器信号组的平均值在来自所述最高传感器信号的容限的预定范围内;来自包含具有所述最高传感器信号的光学传感器的光学传感器组和预定相邻光学传感器组的传感器信号的平均值;来自包含具有所述最高传感器信号的光学传感器的光学传感器组和预定相邻光学传感器组的传感器信号的和;传感器信号组的和在来自所述最高传感器信号的容限的预定范围内;传感器信号组的平均值大于预定阈值;传感器信号组的和大于预定阈值;来自包含具有所述最高传感器信号的光学传感器的光学传感器组和预定相邻光学传感器组的传感器信号的积分;传感器信号组的积分在来自所述最高传感器信号的容限的预定范围内;传感器信号组的积分大于预定阈值。
类似地,术语“和信号”通常是指包括光束轮廓的基本上边缘信息的信号。例如,所述和信号可以通过将所述传感器信号加起来、在所述传感器信号上积分或在所述整个矩阵或所述矩阵内的感兴趣区域的传感器信号上平均导出,其中,所述感兴趣区域可以在由所述矩阵的光学传感器生成的图像内预定或可确定的。在对传感器信号进行累加、积分或平均时,可以从累加、积分或平均中省去产生传感器信号的实际光学传感器,或者可以将这些实际光学传感器包括在累加、积分或平均中。所述评估装置可以被配置用于通过积分所述整个矩阵或所述矩阵内的感兴趣区域的信号来确定所述和信号。例如,所述光束轮廓可以是梯形光束轮廓,并且所述评估装置可以被配置用于确定所述整个梯形的积分。此外,当假设梯形光束轮廓时,可通过使用梯形光束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度并通过几何考虑导出边缘信号和中心信号)来代替边缘信号和中心信号的确定。
类似地,中心信号和边缘信号也可通过使用光束轮廓的分段(例如光束轮廓的圆形分段)来确定。例如,可以经由不通过光束轮廓中心的割线或弦将光束轮廓分成两段。因此,一段基本上包含边缘信息,而另一段基本上包含中心信息。例如,为了进一步减少中心信号中的边缘信息量,可以进一步从中心信号中减去边缘信号。
附加地或者替代地,所述评估装置可以被配置用于根据所述光斑的至少一个切片或切口来确定中心信息或边缘信息之一或两者。这可以例如通过由沿着所述切片或切口的线积分替换所述组合信号Q的面积积分来实现。为了提高准确性,可以使用光斑的若干切片或切口并取平均值。在椭圆形光斑轮廓的情况下,对若干个切片或切口进行平均会改善距离信息。
所述组合信号可以是通过将所述中心信号和所述和信号生成的信号。具体地,该组合可以包括以下一者或多者:形成中心信号与和信号的商,或形成和信号与中心信号的商;形成中心信号的倍数与和信号的倍数的商,或形成和信号的倍数与中心信号的倍数的商;形成中心信号的线性组合与和信号的线性组合的商,或形成和信号的线性组合与中心信号的线性组合的商。附加地或者替代地,所述组合信号可以包括包含关于所述中心信号与所述和信号之间的比较的至少一个信息项的任意信号或信号组合。
所述评估装置可以被配置为通过使用所述传感器信号之间的至少一个已知、可确定或预定关系确定所述对象的至少一个纵坐标z。特别地,所述评估装置被配置为通过使用从所述传感器信号导出的商信号与所述纵坐标之间的至少一个已知、可确定或预定关系来确定所述对象的至少一个坐标z。
所述光学传感器的原始传感器信号可以用于评估或其导出的二次传感器信号。如本文所使用的,术语“二次传感器信号”通常是指信号,诸如电子信号、更优选地模拟和/或数字信号,其通过处理一个或多个原始信号获得,诸如通过过滤、平均、解调等。因此,图像处理算法可以用于根据所述矩阵的传感器信号的全体或根据所述矩阵内的感兴趣区域生成二次传感器信号。具体地,所述检测器(诸如所述评估装置)可以被配置用于变换所述光学传感器的传感器信号,从而生成二次光学传感器信号,其中,所述评估装置被配置用于通过使用所述二次光学传感器信号执行步骤a)-d)。所述传感器信号的变换具体地可以包括选自包括以下各项的组的至少一个变换:过滤;至少一个感兴趣区域的选择;由所述传感器信号创建的图像与至少一个偏移之间的差值图像的形成;通过反转由所述传感器信号创建的图像对传感器信号的反转;由不同时间处的传感器信号创建的图像之间的差值图像的形成;背景校正;分解为颜色通道;分解为色度;饱和度;和亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯和拉普拉斯滤波器;应用高斯差分滤波器;应用索贝尔算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用拉东变换;应用霍夫变换;应用小波变换;阈值化;创建二进制图像。感兴趣区域可以由用户手动确定或者可以自动确定,诸如通过识别由光学传感器生成的图像内的对象。作为示例,车辆、人或另一类型的预定对象可以由图像内的自动图像识别确定,即,在由所述光学传感器生成的传感器信号的全体内,并且所述感兴趣区域可以被选择为使得所述对象位于所述感兴趣区域内。在这种情况下,所述评估(诸如所述纵坐标的确定)可以仅针对所述感兴趣区域执行。然而,其他实施方式是可行的。
如上文所概述的,所述光斑的中心的检测(即,所述中心信号和/或所述中心信号起因于其的至少一个光学传感器的检测)可以电子地完全或部分地或通过使用一个或多个软件算法完全或部分地执行。具体地,所述评估装置可以包括用于检测所述至少一个最高传感器信号和/或用于形成所述中心信号的至少一个中心检测器。所述中心检测器具体地可以全部或部分地实现在软件中和/或可以全部或部分地实现在硬件中。所述中心检测器可以全部或部分地集成到所述至少一个传感器元件中和/或可以全部或部分地独立于所述传感器元件实现。
如上文所概述的,所述和信号可以从所述矩阵的所有传感器信号、从感兴趣区域内的传感器信号或从关于起因于有助于排除的中心信号的光学传感器的传感器信号的这些可能性之一导出。在每种情况下,可以生成可以可靠地与中心信号相比较的可靠的和信号,以便确定所述纵坐标。通常,和信号可以选自包括以下各项的组:所述矩阵的所有传感器信号上的平均值;所述矩阵的所有传感器信号的和;所述矩阵的所有传感器信号的积分;除了有助于所述中心信号的来自那些光学传感器的传感器信号之外的所述矩阵的所有传感器信号上的平均值;除了有助于所述中心信号的来自那些光学传感器的传感器信号之外的所述矩阵的所有传感器信号的和;除了有助于所述中心信号的来自那些光学传感器的传感器信号之外的所述矩阵的所有传感器信号的积分;距具有所述最高传感器信号的光学传感器预定范围内的光学传感器的传感器信号的和;距具有所述最高传感器信号的光学传感器预定范围内的光学传感器的传感器信号的积分;大于光学传感器的某个阈值的传感器信号的和位于距具有所述最高传感器信号的光学传感器的预定范围内;大于光学传感器的某个阈值的传感器信号的积分位于距具有所述最高传感器信号的光学传感器的预定范围内。然而,存在其他选项。
求和可以全部或部分地在软件中执行和/或可以全部或部分地在硬件中执行。求和通常通过纯电子装置是可能的,该电子装置通常可以容易地实现到所述检测器中。因此,在电子学的领域中,求和装置通常已知用于求和两个或两个以上电信号,模拟信号和数字信号二者。因此,所述评估装置可以包括用于形成所述和信号的至少一个求和装置。求和装置可以全部或部分地集成到传感器元件中或者可以全部或部分地独立于传感器元件实现。所述求和装置可以全部或部分地实现在硬件或软件之一或两者中。
如上文所概述的,所述中心信号与所述和信号之间的比较具体地可以通过形成一个或多个商信号执行。因此,通常,所述组合信号可以是通过以下各项中的一项或多项导出的商信号Q:形成所述中心信号和所述和信号的商,反之亦然;形成所述中心信号的倍数和所述和信号的倍数的商,反之亦然;形成所述中心信号的线性组合和所述和信号的线性组合的商,反之亦然;形成所述中心信号和所述和信号与所述中心信号的线性组合的商,反之亦然;形成和信号和和信号与中心信号的线性组合的商,反之亦然;形成所述中心信号的取幂和所述和信号的取幂的商,反之亦然。然而,存在其他选项。所述评估装置可以被配置用于形成所述一个或多个商信号。所述评估装置还可以被配置用于通过评估所述至少一个商信号确定所述至少一个纵坐标。
所述评估装置特别地可以被配置用于使用所述组合信号Q与所述纵坐标之间的至少一个预定关系以便确定所述至少一个纵坐标。因此,由于上文所公开的原因并且由于所述纵坐标上的光斑的特性的相关性,所述组合信号Q通常是所述对象的纵坐标和/或所述光斑的尺寸(诸如所述光斑的直径或等效直径)的单调函数。因此,作为示例,具体地在使用线性光学传感器的情况下,传感器信号scenter和和信号ssum的简单的商Q=scenter/ssum可以是距离的单调递减函数。在不希望由该理论限制的情况下,人们相信这归因于以下事实:在上文所描述的优选设置中,由于到达所述检测器的光量减小,所述中心信号scenter和所述和信号ssum两者随着增加到所述光源的距离作为平方函数减小。其中,然而,由于在如在实验中使用的光学设置中,图像平面内的光斑增长并且因此遍布更大的区域,所以中心信号scenter比和信号ssum更快速地减小。因此,所述中心信号和所述和信号的商随着增加所述光束的直径或所述矩阵的光学传感器的光敏区域上的光斑的直径连续地减小。进一步地,由于所述光束的总焦度形成所述中心信号中和所述和传感器信号中的因子,所以所述商通常独立于所述光束的总焦度。因此,所述组合信号Q可以形成提供所述中心信号和所述和信号与所述光束的尺寸或直径之间的唯一并且清楚的关系的二次信号。由于另一方面,所述光束的大小或直径取决于所述光束从其朝向所述检测器传播的对象与所述检测器自己之间的距离,即,取决于所述对象的纵坐标,一方面所述中心信号与所述和信号之间的唯一并且清楚的关系并且另一方面所述纵坐标可以存在。对于后者,可以例如对上文所提到的现有技术文档中的一个或多个进行参考,诸如WO 2014/097181 A1。所述预定关系可以通过分析考虑确定,诸如通过假定高斯光束的线性组合,通过经验测量结果,诸如测量所述组合信号和/或所述中心信号和所述和信号或作为所述对象的纵坐标的函数从其导出的二次信号、或二者的测量结果。
因此,通常,所述评估装置可以被配置用于通过评估所述组合信号Q确定所述纵坐标。该确定可以是一步过程,诸如通过直接地组合所述中心信号和所述和信号并且导出其纵坐标,或者可以是多步过程,通过第一从所述中心信号和所述和信号导出所述组合信号并且第二通过从所述组合信号导出所述纵坐标。这两个选项(即,步骤c)和d)的选项是分离并且独立的步骤并且步骤c)和d)的选项全部或部分地组合)应当由本发明包括。
所述评估装置可以被配置用于使用所述组合信号与所述纵坐标之间的至少一个预定关系。所述预定关系可以是经验关系、半经验关系和分析导出关系中的一个或多个。所述评估装置可以包括用于存储预定关系的至少一个数据存储装置,例如查找列表或查找表。
所述组合信号Q可以通过使用各种装置确定。作为示例,用于导出所述商信号的软件装置、用于导出所述商信号的硬件装置、或两者可以使用并且实现在所述评估装置中。因此,作为示例,评估装置可以包括至少一个除法器,其中除法器被配置为导出商信号。除法器可以全部或部分地体现为软件除法器和/或硬件除法器。所述除法器可以全部或部分地集成到所述传感器元件回答中或者可以全部或部分地独立于所述传感器元件实现。
即使在引起多次反射的环境的情况下,利用偏置光源,或具有减少的计算需求,特别是具有减少的处理能力的反射测量对象,使用光子比率测深技术的深度测量也允许可靠的距离确定。本发明允许标识所述反射对象的材料并估计其与所述投影仪或传感器元件的距离,即使在存在定位在与所述传感器元件不同距离处的各种材料的情况下,或者如果所述投影仪生成几乎相同的激光光斑特性组合。而且,本发明允许估计所述反射表面和边缘检测的取向。包括空间调制照射特征的所述照射图案可以使所产生的调制照射特征的至少一个特性或参数对由所述反射目标对象的材料的物理特性引起的变形更鲁棒。该至少一个特性或参数可能仅取决于所述反射对象与所述投影仪或所述传感器元件之间的距离。所述照射特征的其他特性或参数可以允许改变和变形,以提供关于所述反射材料的类型和物理特性的信息以及其与所述投影仪或所述传感器元件的距离。如上文所概述的,照射特征可以是图案化照射特征,其中,图案化照射特征中的每一个包括多个子特征。入射在所述对象上的所述照射特征可以照射所述对象。所述对象可以例如通过反射响应于所述入射照射特征而生成所述对应的反射特征。所述照射特征被图案化,因此,所述反射特征也被图案化。所述评估装置可以被配置用于通过分析所述反射图像的图案化反射特征来确定关于所述对象和所述投影仪和/或所述传感器元件之间的距离的信息。所述评估装置可以被配置用于查找和分割每个图案化反射特征。如本文所使用的,术语“查找”可以是指在所述反射图像中标识响应于所述对应照射特征而生成的反射特征。所述标识可包括执行用于标识所述反射图像中的特征的至少一个对象识别算法。所述标识还可包括将所述标识的反射特征分配给所述对应的照射特征。如本文所使用的,术语“分割”可以是指将所述反射特征分区为多个分段的过程。所述分段可以对应于响应于所述照射特征的对应子特征而生成的反射图像的子特征。所述评估装置可以被配置用于确定所述子特征中的每一个的中心。所述评估装置可以被配置用于确定所述子特征的中心之间的距离。所述评估装置可以被配置用于,通过使用预先确定的关系根据所述子特征的中心之间的距离,来确定关于所述对象与所述投影仪和/或所述传感器元件之间的距离的信息。考虑到所述对象与所述投影仪和/或所述传感器元件之间确定的距离,所述评估装置可以被配置用于确定校正的纵向坐标z。正确的纵向坐标可以是具有增强的准确度的纵向坐标。
所述评估装置可以被配置用于通过每个子特征内的散斑对比度估计来标识所述对象的材料特性。考虑到所述材料特性,所述评估装置可以被配置用于确定校正的纵向坐标z。具体地,离焦深度技术的激光光斑轮廓分析可以与每个激光光斑内的散斑对比度估计或计算组合以更准确地标识所述反射对象的材料并且进一步估计其与所述投影仪或传感器元件的距离。通过使用如本文所描述的光子比率测深(DPR)的距离确定是与离焦深度相比较用于确定距离的不同技术。然而,由光子比率测深和离焦深度确定的信息可以被组合用于更进一步增强的距离确定。
所述评估装置可以被配置用于边缘检测。所述评估装置可以被配置用于确定所述图案化反射特征是否由边缘生成。所述照射特征可包括至少三个子特征。如果所述照射特征入射在所述对象上,则它可以生成反射特征,包括对应于已经生成所述反射特征的照射特征的子特征的至少三个子特征。所述评估装置可以被配置用于确定所述反射特征的所述子特征是否由所述对象的平坦反射表面或由所述对象的边缘生成。所述评估装置可以被配置用于通过评估来自所述相应子特征的所述传感器信号的组合信号Q,为所述子特征中的每一个确定所述对象的纵向坐标。所述评估装置可以被配置用于比较所述子特征的纵向坐标。在所述子特征的纵向坐标在容限内相同的情况下,已经生成所述反射特征的所述子特征的反射表面可以被认为是平坦的。否则,所述对象可以被认为是边缘或包括边缘。所述评估装置可以被配置用于根据从所述子特征确定的纵向坐标确定所述对象的反射表面的法线和局部取向。所述评估装置可以被配置用于由所述子特征跨越的平面。所述评估装置可以被配置用于确定所述平面的表面法线和/或所述平面在空间中的取向。例如,所述取向可以由z轴(特别地光轴)与表面法线之间的角度定义。仅一个图案化照射特征可能足以能够估计所述反射表面的法线和局部取向,并且知道该图案化激光光斑是否在边缘上反射。
另外,在有问题的反射表面的情况下,与相对稀疏分布的单个光斑相比较,在投射这样的密集光斑簇时,获得可用激光光斑反射的概率更高。
本发明可以允许使用光子比率测深技术增强所述距离和深度测量的性能。这可以通过硬件侧的简单修改和对当前使用的算法的简单计算效率添加来实现。产生的检测器可以获得好得多的性能并可用于许多附加应用。
利用DPR技术确定的距离可以提供每个照射特征的距离估计,并且可以通过三角测量方法对传感器元件和投影仪的已知位置进行细化。为了使用三角测量计算细化纵向坐标,需要解决所谓的对应问题。在使用规则图案情况下,诸如矩形图案,可能发生两个相邻点可以在核线上直接相邻。对于稳健的对应问题,所述图案的特征的物理距离可能很大,使得所述图案的点密度可能很低。如上文所概述的,本申请提出照射特征以等间距的周期性图案布置成行,其中,照射特征的行中的每一个具有偏移;其中,相邻行的偏移不同。所述偏移可以允许到达在所述核线上具有大距离的特征密度,并且增强了所述对应问题的鲁棒性。差异偏移的所述选择可以使得所述照射图案的结构可以相对于所述传感器元件的视场进行设计。
所述评估装置可以被配置为通过评估所述组合信号Q确定所选择的反射特征的纵向区域,其中,所述纵向信息由所述纵坐标z和误差区间±ε给出。如本文所使用的,术语“纵向区域”指代由来自所述组合信号Q的纵坐标的确定的纵坐标z和测量不确定性±ε定义的至少一个不确定性区间。误差ε可以取决于所述光学传感器的测量不确定性。所述光学传感器的测量不确定性可以预定和/或估计和/或可以存放在所述评估装置的至少一个数据存储单元中。例如,误差区间可以是±10%、优选地±5%、更优选地±1%。
所述评估装置可以被配置为确定对应于所述纵向区域的至少一个参考图像中的至少一个位移区域。如本文所使用的,术语“参考图像”指代与所述反射图像不同的图像,其与所述反射图像相比较在不同的空间位置处确定。参考图像可以通过记录至少一个参考特征、对至少一个参考特征进行成像、计算参考图像中的一个或多个来确定。参考图像和反射图像可以在具有固定距离的不同空间位置处确定的对象的图像。所述距离可以是相对距离,也被称为基线。所述评估装置可以被配置用于确定对应于所述至少一个反射特征的至少一个参考图像中的至少一个参考特征。如上文所概述的,所述评估装置可以被配置用于执行图像分析和标识所述反射图像的特征。所述评估装置可以被配置用于将具有基本上相同纵坐标的参考图像中的至少一个参考特征标识为所选择的选择特征。术语“基本上相同的”指代在10%、优选地5%、最优选地1%内相同。对应于所述反射特征的参考特征可以使用核线几何形状确定。针对核线几何形状的描述,例如,对X.Jiang,H.Bunke:,,Dreidimensionales Computersehen“,Springer,Berlin Heidelberg,1997年中的第2章进行参考。核线几何形状可以假定所述参考图像和所述反射图像可以是在具有固定距离的不同空间位置和/或空间取向处确定的对象的图像。参考图像和反射图像可以在具有固定距离的不同空间位置处确定的对象的图像。所述评估装置可以被配置用于确定所述参考图像中的核线。参考图像和反射图像的相对位置可以是已知的。例如,所述参考图像和反射图像的相对位置可以存储在所述评估装置的至少一个存储单元内。所述评估装置可以被配置用于确定从所述反射图像的所选择的反射特征延伸的直线。所述直线可以包括对应于所选择的特征的可能对象特征。直线和基线跨越核平面。由于参考图像在与反射图像不同的相对位置处确定,因此对应可能对象特征可以在参考图像中的直线(被称为核线)上成像。因此,对应于所述反射图像的所选择的特征的参考图像的特征位于所述核线上。由于图像的失真或系统参数的改变,诸如由于老化、温度改变、机械应力等,因此核线可能相交或非常接近于彼此和/或参考特征与反射特征之间的对应可能是不清楚的。进一步地,真实世界中的每个已知位置或对象可以投射到参考图像上,并且反之亦然。所述投影可以由于所述检测器的校准而是已知的,而所述校准是与所述特定相机的核线几何形状的线校正可比较的。
如本文所使用的,术语“位移区域”指代其中对应于所选择的反射特征的参考特征可以成像的参考图像中的区域。特别地,所述位移区域可以是其中对应于所选择的反射特征的参考特征被期望位于所述参考图像中的参考图像中的区域。取决于到所述对象的距离,与所述反射图像中的反射特征的图像位置相比较,对应于所述反射特征的参考特征的图像位置可以在所述参考图像内置换。所述位移区域可以仅包括一个参考特征。所述位移区域也可以包括超过一个参考特征。位移区域可包括核线或核线的一部分。位移区域可包括超过一个核线或超过一个核线的多个部分。如本文所使用的,术语“参考特征”指代所述参考图像的至少一个特征。位移区域可以沿着所述核线、正交于核线、或两者延伸。所述评估装置可以被配置用于沿着对应于所述纵坐标z的核线确定所述参考特征并且沿着对应于所述误差区间±ε的核线或者正交于核线确定所述位移区域的范围。使用所述组合信号Q的距离测量的测量不确定性可能导致非圆形的位移区域,因为所述测量不确定性可能针对不同方向是不同的。特别地,沿着所述(一个或多个)核线的测量不确定性可以大于关于所述(一个或多个)核线的正交方向上的测量不确定性。所述位移区域可以包括在关于(一个或多个)核线的正交方向上的范围。所述评估装置可以确定所述反射特征的图像位置周围的位移区域。所述评估装置可以被配置用于确定用于所述反射特征的纵坐标z和来自所述组合信号Q的误差区间±ε,以确定沿着对应于z±ε的核线的位移区域。所述评估装置可以被配置用于将所选择的反射特征与所述位移区域内的至少一个参考特征匹配。如本文所使用的,术语“匹配”指代确定和/或评估对应参考和反射特征。所述评估装置可以被配置用于,通过使用考虑所确定的纵坐标z的至少一个评估算法,将所述反射图像的所选择的特征与所述位移区域内的参考特征匹配。评估算法可以是线性缩放算法。所述评估装置可以被配置用于确定最接近于所述位移区域和/或所述位移区域内的核线。所述评估装置可以被配置用于确定最接近于所述反射特征的图像位置的核线。沿着核线的位移区域的范围可以大于正交于核线的位移区域的范围。所述评估装置可以被配置用于在确定对应参考特征之前确定核线。所述评估装置可以确定每个反射特征的图像位置周围的位移区域。所述评估装置可以被配置用于向所述反射特征的每个图像位置的每个位移区域分配核线,诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于所述核线的方向的位移区域的核线。所述评估装置可以被配置用于,通过确定最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的参考特征,来确定对应于所述反射图像的图像位置的参考特征。
附加地或者替代地,所述评估装置可以被配置为执行以下步骤:
-确定针对每个反射特征的图像位置的位移区域;
-向每个反射特征的位移区域分配核线,诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于所述核线的方向的位移区域的核线;
-向每个反射特征分配和/或确定至少一个参考特征,诸如通过分配最接近于所述所分配的位移区域和/或在所述所分配的位移区域内和/或最接近于沿着所述所分配的核线的所分配的位移区域和/或在沿着所述所分配的核线的所分配的位移区域内的参考特征。
附加地或者替代地,所述评估装置可以被配置用于在超过一个的核线和/或参考特征之间进行决定以分配给反射特征,例如通过比较所述参考图像内的反射特征和/或核线的距离和/或通过比较误差加权距离,诸如所述参考图像内的反射特征和/或核线的ε加权距离,并且将较短距离和/或ε加权距离内的核线和/或参考特征分配给所述参考特征和/或反射特征。
优选地,所述检测器可以被配置用于使用所述组合信号Q对所选择的反射特征进行预分类,以使得对一个参考特征的明确分配是可能的。特别地,所述照射图案的照射特征可以被布置以使得所述参考图像的对应参考特征可以在所述核线上具有尽可能大的彼此相对距离。所述照射图案的照射特征可以被布置以使得仅几个参考特征被定位在所述核线上。
所述评估装置可以被配置用于确定所述匹配的参考特征和所述选择的反射特征的位移。如本文所使用的,术语“位移”指代所述参考图像中的位置与所述反射图像中的位置之间的差。所述评估装置可以被配置用于使用纵坐标与所述位移之间的预定关系确定所述匹配的特征的纵向信息。如本文所使用的,术语“纵向信息”指代与所述纵坐标有关的信息。例如,所述纵向信息可以是距离值。所述评估装置可以被配置用于通过使用三角测量方法确定所述预定关系。在所述反射图像中的所选择的反射特征的位置和匹配的参考特征的位置和/或所选择的反射特征和匹配的参考特征的相对位移已知的情况下,所述对应对象特征的纵坐标可以通过三角测量确定。因此,所述评估装置可以被配置用于例如随后和/或逐列选择反射特征并且使用三角测量针对所述参考特征的每个潜在位置确定所述对应距离值。位移和对应距离值可以存储在所述评估装置的至少一个存储设备中。作为示例,所述评估装置可以包括至少一个数据处理设备,诸如至少一个处理器、至少一个DSP、至少一个FPGA和/或至少一个ASIC。进一步地,为了存储纵坐标z与位移之间的至少一个预定或可确定的关系,可以提供至少一个数据存储设备,诸如用于提供用于存储预定关系的一个或多个查找表。所述评估装置可以被配置用于存储用于所述相机和/或所述检测器的内部和/或外部校准的参数。所述评估装置可以被配置用于生成用于相机和/或检测器的内部和/或外部校准的参数,诸如通过执行Tsai相机校准。所述评估装置可以被配置用于计算和/或估计参数,诸如所述传送装置的焦距、所述径向透镜失真系数、径向透镜失真的中心的坐标、解释归因于用于扫描和数字化的硬件定时中的缺陷的任何不确定性的比例因子、针对所述世界坐标与相机坐标之间的变换的旋转角、针对所述世界坐标与相机坐标之间的变换的平移分量、孔径角、图像传感器格式、主点、偏斜系数、相机中心、相机航向、基线、相机和/或照射源之间的旋转或平移参数、孔径、焦点距离等。
使用所述组合传感器信号允许估计距离,诸如所述误差区间内的纵坐标z。通过确定对应于所述估计的纵坐标的位移区域和所述对应误差区间允许显著地减少沿着所述核线的解的可能数量。可能解的数量可以甚至减少到一。所述纵坐标z和所述误差区间的确定可以在将所选择的反射特征和参考特征匹配之前的预评估期间执行。这可以允许减少计算需求,以使得显著地减少成本并且允许移动设备或室外设备中的使用是可能的。此外,通常在三角测量系统中,所述基线必须很大以便检测大的距离。使用所述组合的传感器信号对所述纵坐标z和误差区间进行预评估以及随后对所选择的反射特征和参考特征进行匹配可以允许使用短基线,以使得提供紧凑设备可能是可能的。此外,与常规三角测量系统相比较,使用所述组合的传感器信号对所述纵坐标z和误差区间进行预评估以及随后对所选择的反射特征和参考特征进行匹配可以增强准确度和/或速度和/或可以降低计算需求。进一步地,可以减少照射特征的数量,诸如所述照射图案中的照射点的数量,以增加每个照射点的光强度,诸如在符合眼睛安全规程的同时与环境光竞争。常规三角测量系统中的照射特征的减少的数量可能增加将反射特征和参考特征匹配的难度。进一步地,可以增加照射特征的数量,诸如所述照射图案中的照射点的数量,诸如以增加所述距离测量的分辨率,诸如以增加所获得的深度图的分辨率而不增加诸如移动应用中的评估装置的处理能力。
例如,所述参考图像可以是所述投影仪的位置处的图像平面处的照射图案的图像。所述评估装置可以被配置用于确定对应于所述反射图案的所选择的特征的纵向区域的参考图像中的位移区域。所述评估装置可以被配置用于将所述反射图案的所选择的特征与所述位移区域内的参考图案的至少一个特征匹配。所述投影仪和所述传感器元件可以分离固定距离。
例如,所述检测器可以包括至少两个传感器元件,其各自具有光学传感器的矩阵。至少一个第一传感器元件和至少一个第二传感器元件可以定位在不同空间位置处。所述第一传感器元件与所述第二元件之间的相对距离可以是固定的。所述至少一个第一传感器元件可以被配置用于确定至少一个反射图案,特别地至少一个第一反射特征,并且所述至少一个第二传感器元件可以被配置用于确定至少一个第二反射图案,特别地至少一个第二反射特征。所述评估装置可以被配置用于选择由所述第一传感器元件或所述第二传感器元件确定的至少一个图像作为反射图像,并且选择由所述第一传感器元件或所述第二传感器元件中的另一个确定的至少一个图像作为参考图像。所述评估装置可以被配置用于选择所述反射图案中的至少一个反射特征并且通过评估来自所述传感器信号的组合信号Q确定所选择的特征的纵向区域。所述评估装置可以被配置用于确定对应于所述反射图案的所选择的特征的纵向区域的参考图像中的位移区域。所述评估装置可以被配置用于将所述反射图案的所选择的特征与所述位移区域内的参考图案的至少一个特征匹配。
如上文所概述的,通过评估所述中心信号和所述和信号,可以使得所述检测器能够确定所述对象的至少一个纵向坐标,包括确定所述全部对象或其一个或多个部分的纵向坐标的选项。另外,然而,所述对象的其他坐标(包括一个或多个横坐标和/或旋转坐标)可以由所述检测器(特别地由所述评估装置)确定。因此,作为示例,一个或多个横向传感器可以用于确定所述对象的至少一个横坐标。如上文所概述的,所述中心信号起因于其的至少一个光学传感器的位置可以提供关于所述对象的至少一个横坐标的信息,其中,作为示例,简单透镜方程可以用于光学变换并且用于导出所述横坐标。附加地或者替代地,一个或多个附加横向传感器可以使用并且由所述检测器包括。各种横向传感器通常是在本领域中已知的,诸如在WO 2014/097181 A1中所公开的横向传感器和/或其他位置敏感器件(PSD),诸如象限二极管、CCD或CMOS芯片等。附加地或者替代地,作为示例,根据本发明的检测器可包括在R.A.Street(Ed.):Technology and Applications of Amorphous Silicon,Springer-Verlag Heidelberg,2010年,第346-349页中所公开的一个或多个PSD。其他实施例是可行的。这些设备也可以通常被实现到根据本发明的检测器中。作为示例,所述光束的一部分可以通过至少一个分束元件在所述检测器分离。作为示例,所述分离部分可以朝向横向传感器引导,诸如CCD或CMOS芯片或相机传感器,并且可以确定由所述横向传感器上的分离部分生成的光斑的横向位置,从而确定所述对象的至少一个横坐标。因此,根据本发明的检测器可以是一维检测器,诸如简单距离测量设备,或者可以被实现为二维检测器或甚至三维检测器。进一步地,如上文所概述的或如下文更详细地概述的,通过以一维方式扫描场景或环境,也可以创建三维图像。因此,根据本发明的检测器具体地可以是一维检测器、二维检测器或三维检测器中的一个。所述评估装置还可以被配置为确定所述对象的至少一个横坐标x,y。所述评估装置可以被配置用于组合所述纵坐标和所述横坐标的信息并且确定空间中的对象的位置。
在进一步的方面中,本发明公开了一种用于通过使用诸如根据本发明的检测器的检测器确定至少一个对象的位置的方法,诸如根据涉及如上文所公开的或如下文更详细地公开的实施例中的一个或多个。然而,可以使用其他类型的检测器。该方法包括以下方法步骤,其中这些方法步骤可以以给定顺序执行或可以以不同顺序执行。此外,可以存在未列出的一个或多个其他方法步骤。此外,可以重复地执行一个、多于一个或甚至所有方法步骤。
所述方法包括以下方法步骤:
-利用由所述检测器的至少一个投影仪生成的至少一个照射图案照射所述对象;其中,所述照射图案包括多个照射特征,其中,所述照射特征是空间调制的;
-为入射在具有所述光学传感器的矩阵的所述传感器元件的所述光学传感器的所述光敏区域上的每个反射光束,生成响应于照射的至少一个传感器信号;
-通过使用所述传感器元件,确定至少一个反射图像;
-选择所述反射图像的至少一个反射特征并且通过使用至少一个评估装置评估所述传感器信号,从而,确定所选择的反射特征的至少一个纵坐标z,其中,所述评估包括评估来自所述传感器信号的组合信号Q。
针对细节、选项和定义,可以对如上文讨论的检测器进行参考。因此,特别地,如上文所概述的,所述方法可以包括使用根据本发明的检测器,诸如根据上文给出或下文更详细地给出的实施例中的一个或多个。
在本发明的进一步的方面中,提出了根据本发明的检测器的用途,诸如根据上文给出或下文更详细地给出的实施例中的一个或多个,出于使用的目的,选自包括以下各项的组:交通技术中的位置测量;娱乐应用;安全应用;监督应用;安全性应用;人机接口应用;跟踪应用;摄影应用;成像应用或相机应用;地图应用,其用于生成至少一个空间的地图;用于车辆的归航或跟踪信标检测器;室外应用;移动应用;通信应用;机器视觉应用;机器人应用;质量控制应用;制造应用。关于本发明的检测器和设备的进一步的用途,对WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640 A1进行参考,其内容通过引用包括。
如本文所使用的,术语“具有”、“包括”或“包含”或其任何语法变体以非排他性的方式使用。因此,这些术语可以指本文描述的实体中除了由这些术语引入的特征之外不存在其它特征的情形,也可以指还存在一个或多个其它特征的情形。作为示例,表述“A具有B”、“A包括B”和“A包含B”可以指A中除了B之外不存在其它要素(即,A仅仅且排他地由B组成)的情形,也可以指实体A中除了B之外还存在一个或多个其它要素(例如要素C、要素C和D、或甚至其它要素)的情形。
此外,应注意,术语“至少一个”、“一个或多个”或者指示特征或要素可以存在一次或多于一次的类似表述通常将仅在引入相应的特征或要素时使用一次。在多数情况下,当提及相应的特征或要素时,将不会重复表述“至少一个”或“一个或多个”,但是承认相应的特征或要素可以存在一次或多于一次的事实。
此外,如下文所使用的,术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语可以与可选特征结合使用,而不限制其它可能性。因此,由这些术语引入的特征是可选的特征,并不意图以任何方式限制权利要求的范围。如本领域的技术人员将认识到的,本发明可通过使用替代特征来执行。类似地,由“在本发明的实施例中”或类似表述引入的特征旨在为可选的特征,而对本发明的替代实施例没有任何限制,对本发明的范围没有任何限制,并且对组合以此方式引入的特征与本发明的其它可选的或非可选的特征的可能性没有任何限制。
总的来说,在本发明的上下文中,以下实施例被视为优选的:
实施例1:一种用于确定至少一个对象的位置的检测器,所述检测器包括:
-至少一个投影仪,其用于利用至少一个照射图案照射所述对象,其中,所述照射图案包括多个照射特征,其中,所述照射特征是空间调制的;
-至少一个传感器元件,其具有光学传感器的矩阵,所述光学传感器各自具有光敏区域,其中,每个光学传感器被设计为响应于由从所述对象传播到所述检测器的反射光束对其相应光敏区域的照射,生成至少一个传感器信号,其中,所述传感器元件被配置为确定至少一个反射图像;
-至少一个评估装置,其中,所述评估装置被配置为选择所述反射图像的至少一个反射特征,其中,所述评估装置被配置用于通过评估来自所述传感器信号的组合信号Q通过使用光子比率测深来确定所述反射图像的所选择的反射特征的至少一个纵向坐标z,
其中,所述照射特征是图案化照射特征,其中,所述图案化照射特征中的每一个包括多个子特征,和/或其中,所述照射特征以等间距的周期性图案布置成行,其中,所述照射特征的行中的每一个具有偏移;其中,相邻行的所述偏移不同。
实施例2:根据前述实施例所述的检测器,其中,所述投影仪包括被配置用于生成至少一个光束的至少一个光源,其中,所述投影仪包括至少一个传送装置,所述传送装置被配置用于衍射和用于复制所述光束,用于生成包括图案化照射特征的照射特征。
实施例3:根据前述实施例中的任一个所述的检测器,其中,所述投影仪包括根据被配置用于生成光束簇的特定图案的至少一个密集封装光源阵列,其中,所述投影仪包括至少一个传送装置,用于衍射和复制所述光束簇,用于生成包括图案化照射特征的照射图案。
实施例4:根据前述实施例中的任一个所述的检测器,其中,所述评估装置被配置用于通过分析所述反射图像的图案化反射特征来确定关于所述对象和/或所述投影仪和/或所述传感器元件之间的距离的信息。
实施例5:根据前述实施例所述的检测器,其中,所述评估装置被配置用于查找和分割每个图案化照射特征,其中,所述评估装置被配置用于确定所述子特征中的每一个的中心,其中,所述评估装置被配置用于确定所述子特征的中心之间的距离,其中,所述评估装置被配置用于通过使用预先确定的关系,根据所述子特征的中心之间的距离,来确定关于所述对象与所述投影仪和/或所述传感器元件之间的距离的信息。
实施例6:根据两个前述实施例中的任一个所述的检测器,其中,考虑到所述对象与所述投影仪和/或所述传感器元件之间确定的距离,所述评估装置被配置用于确定校正的纵向坐标z。
实施例7:根据前述实施例中的任一个所述的检测器,其中,所述评估装置被配置用于通过每个子特征内的散斑对比度估计来标识所述对象的材料特性,其中,考虑到所述材料特性,所述评估装置被配置用于确定校正的纵向坐标z。
实施例8:根据前述实施例中的任一个所述的检测器,其中,所述评估装置被配置用于边缘检测,其中,所述照射特征包括至少三个子特征,其中,所述评估装置被配置用于通过评估来自所述相应子特征的所述传感器信号的组合信号Q,为所述子特征中的每一个确定所述对象的纵向坐标,其中,所述评估装置被配置用于根据从所述子特征确定的纵向坐标确定所述对象的反射表面的法线和局部取向。
实施例9:根据前述实施例中的任一项所述的检测器,其中,所述传感器元件和所述投影仪被定位以使得所述行与核线平行。
实施例10:根据前述实施例中的任一个所述的检测器,其中,所述偏移δ是δ=a/b,其中,a和b是整数。
实施例11:根据前述实施例中的任一个所述的检测器,其中,所述评估装置被配置用于通过以下各项中的一项或多项导出所述组合信号Q:除所述传感器信号、除所述传感器信号的倍数、除所述传感器信号的线性组合,其中,所述评估装置被配置用于使用所述组合信号Q与所述纵坐标z之间的至少一个预定关系以用于确定所述纵坐标。
实施例12:根据前述实施例中的任一个所述的检测器,其中,所述评估装置被配置为通过评估所述组合信号Q确定所述所选择的反射特征的纵向区域,其中,所述纵向区域由所述纵坐标z和误差区间±ε给出,其中,所述评估装置被配置为确定对应于所述纵向区域的至少一个参考图像中的至少一个位移区域,其中,所述评估装置被配置为将所选择的反射特征与所述位移区域内的至少一个参考特征匹配,其中,所述评估装置被配置为确定所述匹配的参考特征和所述选择的反射特征的位移,其中,所述评估装置被配置为使用所述纵向信息与所述位移之间的预定关系确定所述匹配的参考特征的纵向信息。
实施例13:一种用于通过使用根据前述实施例中的任一项所述的至少一个检测器确定至少一个对象的位置的方法,所述方法包括以下步骤:
-利用由所述检测器的所述至少一个投影仪生成的至少一个照射图案照射所述对象,其中,所述照射图案包括多个照射特征,其中,所述照射特征是空间调制的,其中,所述照射特征是图案化照射特征,其中,所述图案化照射特征中的每一个包括多个子特征,和/或其中,所述照射特征以等间距的周期性图案布置成行,其中,所述照射特征的行中的每一个具有偏移;其中,相邻行的所述偏移不同;
-为入射在具有所述光学传感器的矩阵的所述传感器元件的所述光学传感器的所述光敏区域上的每个反射光束生成响应于照射的至少一个传感器信号;
-通过使用所述传感器元件确定至少一个反射图像;
-选择所述反射图像的至少一个反射特征并且通过使用至少一个评估装置评估所述传感器信号,从而,确定所选择的反射特征的至少一个纵坐标z,其中,所述评估包括评估来自所述传感器信号的组合信号Q。
实施例14:根据涉及检测器的前述实施例中的任一个所述的检测器的用途,出于使用的目的,选自包括以下各项的组:交通技术中的位置测量;娱乐应用;安保应用;监督应用;安全应用;人机接口应用;物流应用;跟踪应用;室外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用。
附图说明
通过以下结合从属权利要求对优选示例性实施例的描述,本发明的其他可选细节和特征将显而易见。在这种情况下,可以以分离的方式或通过与其他特征组合来实现特定特征。本发明不限于示例性实施例。在附图中示意性地示出了示例性实施例。各个附图中相同的参考标号指代相同的元件或具有相同功能的元件,或者在其功能方面彼此对应的元件。
具体地,在图中:
图1示出了根据本发明的检测器的实施例;
图2A和2B示出了照射图案的实施例;以及
图3A和3B示出了照射特征的实施例和照射图案的进一步的实施例。
具体实施方式
图1以高度示意性方式示出了根据本发明的用于确定至少一个对象112的位置的检测器110的实施例。检测器110包括至少一个传感器元件114,其具有光学传感器118的矩阵116。光学传感器118各自具有光敏区域120。
传感器元件114可以形成为单一单个设备或多个设备的组合。矩阵116特别地可以是或可以包括具有一个或多个行和一个或多个列的矩形矩阵。行和列具体地可以以矩形方式布置。然而,其他布置是可行的,诸如非矩形布置。作为示例,圆形布置也是可行的,其中,元件布置在关于中心点的同心圆或椭圆中。例如,矩阵116可以是单行像素。其他布置是可行的。
矩阵116的光学传感器118特别地可以在尺寸、灵敏度和其他光、电和机械特性中的一个或多个中相等。矩阵116的所有光学传感器118的光敏区域120特别地可以位于共同平面中,共同平面优选地面对对象112,以使得从对象传播到检测器110的光束可以生成共同平面上的光斑。光敏区域120可以具体地位于光学传感器118的表面上。然而,其他实施例也是可行的。
光学传感器118可以包括例如至少一个CCD和/或CMOS器件。作为示例,光学传感器118可以是像素化光学器件或构成像素化光学器件的一部分。作为示例,光学传感器可以是具有像素矩阵的至少一个CCD和/或CMOS设备的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS设备,每个像素形成光敏区域120。优选地,检测器被配置以使得光学传感器118在某个时间段(表示为帧或成像帧)内同时暴露。例如,光学传感器118可以是至少一个全局快门CMOS的一部分或构成至少一个全局快门CMOS。
光学传感器118特别地可以是或可以包括光电检测器,优选地无机光电检测器,更优选地无机半导体光电检测器,最优选地硅光电检测器。特别地,光学传感器118可以在红外光谱范围内敏感。矩阵116的所有光学传感器118或者至少矩阵116的光学传感器118组特别地可以是相同的。矩阵116的相同光学传感器118组可以特别地被提供用于不同光谱范围,或者所有光学传感器可以在光谱灵敏度方面相同。进一步地,光学传感器118可以在尺寸方面和/或关于其电子或光电子特性相同。矩阵116可以包括独立光学传感器118。因此,矩阵116可以包括无机光电二极管。然而,替代地,可以使用商购矩阵,例如CCD探测器(例如CCD探测器芯片)和/或CMOS探测器(例如CMOS探测器芯片)中的一者或多者。
光学传感器118可以形成传感器阵列或可以是传感器阵列的一部分,诸如上文所提到的矩阵。因此,作为示例,检测器110可以包括光学传感器118阵列,诸如具有m行和n列的矩形阵列,其中,m,n独立地是正整数。优选地,给出超过一个列和超过一个行,即,n>1,m>1。因此,作为示例,n可以为2至16或更高,并且m可以为2至16或更高。优选地,行数与列数之比接近1。作为示例,可以选择n和m,使得0.3≤m/n≤3,诸如通过选择m/n=1:1、4:3、16:9或类似。例如,阵列可以是具有相等数目的行和列的正方形阵列,例如通过选择m=2,n=2或m=3,n=3等。
矩阵116特别地可以是具有至少一个行、优选地多个行、和多个列的矩形矩阵。作为示例,行和列可以基本上垂直地定向。为了提供大范围的视图,矩阵116特别地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可以具有至少10列,优选地至少50列,更优选地至少100列。矩阵116可以包括至少50个光学传感器118,优选地至少100个光学传感器118,更优选地至少500个光学传感器118。矩阵116可以包括多兆像素范围中的许多像素。然而,其他实施例也是可行的。
检测器110还包括用于利用至少一个照射图案124照射对象112的投影仪122。投影仪122可包括至少一个激光源126,特别地用于生成至少一个光束。投影仪122包括至少一个衍射光学元件128,特别地用于根据激光源126的光束生成和/或形成照射图案124。投影仪122可以被配置以使得照射图案124从投影仪122,特别地从投影仪122的壳体的至少一个开口130朝向对象112传播。所述投影仪122可以被配置用于生成和/或投射点云,例如,所述投影仪122可包括至少一个数字光处理(DLP)投影仪、至少一个LCoS投影仪、至少一个激光源、至少一个激光源阵列;至少一个发光二极管;至少一个发光二极管阵列。激光源126可包括聚焦光学器件134。投影仪122可包括多个激光源126。此外,附加照射图案可以由至少一个环境光源生成。
投影仪122可包括至少一个控制单元136。控制单元136可以被配置用于控制激光源126。控制单元136可以包括至少一个处理设备,特别地至少一个处理器和/或至少一个专用集成电路(ASIC)。控制单元136可以包括一个或多个可编程器件,诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA),其被配置为执行激光源126的控制。控制单元136可以包括具有在其上存储了许多计算机命令的软件代码的至少一个处理设备。控制单元136可以提供用于执行控制激光源126的一个或多个硬件元件和/或可以向一个或多个处理器提供具有在其上运行用于执行激光源的控制的软件。控制单元136可以被配置为发出和/或生成用于控制激光源的至少一个电子信号。控制单元136可以具有一个或多个无线和/或线装接口和/或用于控制激光源126的其他类型的控制连接。控制单元136和激光源可以通过一个或多个连接器和/或通过一个或多个接口相互连接。
照射图案124包括多个照射特征125。照射图案124可包括选自包括以下各项的组的至少一个图案:至少一个点图案,特别是伪随机点图案;随机点图案或者准随机图案;至少一个索博尔图案;至少一个准周期图案;包括至少一个预知特征的至少一个图案;至少一个规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案;包括凸一致瓦片的至少一个图案;包括至少一个线的至少一个线图案;包括至少两个线的至少一个线图案,诸如平行或交叉线。例如,投影仪122可以被配置用于生成和/或投射点云。例如,投影仪122可以被配置用于生成点云,以使得照射图案可以包括多个点特征。
照射特征125是空间调制的。照射图案,特别地照射特征125的空间布置,可以相对于传感器元件114的视场进行设计。具体地,照射特征125是图案化照射特征125。其中,图案化照射特征125中的每一个包括多个子特征,和/或照射特征125以等间距的周期性图案布置成行,其中,照射特征125的行中的每一个具有偏移,其中,相邻行的偏移不同。
如图2A所示,照射特征125可以以等间距的周期性图案布置成行。一行上的相邻照射特征之间的距离可以是d。照射特征125的行中的每一个可以具有偏移δ,其中,相邻行的偏移不同。偏移δ可以是相邻行之间的空间距离。图1的传感器元件114和投影仪122可以定位以使得行与核线137平行。可以选择照射图案124,使得两个相邻的照射特征125在核线124上具有适合的距离。两个照射特征125之间的距离可以使得经由光子比率测深技术在核线124上明确分配两个点可能。适合的距离可以取决于光子比率测深技术的距离误差和/或来自传感器元件114和投影仪122的基线。
照射特征125可以布置如下。照射图案124可包括若干行,其中照射特征以距离d的等距位置布置。行相对于核线137正交。行之间的距离可以是恒定的。可以向相同方向上的行中的每一个应用不同的偏移。偏移可能导致行的照射特征移动。偏移δ可以是δ=a/b,其中a和b是正整数,使得照射图案是周期性图案。例如,δ可以是1/3或2/5。这样构造的照射图案124揭示了与初始规则矩形图案相比较的移位网格。用于该网格布置的核线137上的特征之间的距离与初始规则矩形图案相比较大三倍。照射特征125的偏移和密度可以增强用于解决对应问题的鲁棒性。图2B示出了传感器元件114的视场139中的照射图案124。通过使用偏移,可以布置照射特征125,使得照射图案124与传感器元件114的视场139匹配。
照射特征125可以是图案化照射特征,图案化照射特征中的每一个可包括多个子特征141。属于同一照射特征125的子特征141可能形状相同。例如,照射特征125可包括各自具有中心和半径的多个圆。属于同一照射特征125的子特征141可以布置在照射图案124中的不同空间位置处。具体地,子特征141的中心被布置在照射图案124中的不同空间位置处。可以选择子特征141的扩展,使得它们清晰可辨。例如,图案化照射特征125可以是或可包括图案化光斑,该图案化光斑包括密集堆积形成特定图案的多个较小光斑或少量较小光斑的簇。也可以使用旋转版本,诸如将这些图案化照射特征旋转45、90或180度。所选择的图案化照射特征125可以复制诸如1000到2000次以形成照射图案124。换句话说,投射的照射图案124可包括例如1000到2000个所选择的图案化照射特征125的副本。
例如,图1的投影仪122可包括单个光源,特别地单个激光源126,该光源被配置用于生成至少一个光束,也表示为激光束。投影仪122可包括至少一个传送装置,特别地DOE128,用于衍射和用于复制由单个激光源生成的激光束,用于生成包括图案化照射特征的照射图案。衍射光学元件128可以被配置用于光束成形和/或光束分离。
例如,投影仪122可包括至少一个密集封装光源阵列,特别地光源126,根据被配置用于生成光束簇的特定图案。激光源126的密度可能取决于单独光源的壳体的延伸和光束的可分辨性。投影仪122可包括至少一个传送装置,特别地DOE 128,用于衍射和复制光束簇,用于生成包括图案化照射特征的照射图案124。
图3A示出了可用于形成投射到对象112上的照射图案124的图案化照射特征的示例。上行的照射特征125包括不同空间布置中的四个子特征141。在从左到右的下行中,描述了具有两个子特征141的照射特征125、具有三个子特征141的照射特征125和具有七个子特征141的照射特征125。图3B示出了包括具有子特征142的26个图案化照射特征125的投射照射图案124。
在图1中,每个光学传感器118被设计为响应于由从对象112传播到检测器110的反射光束对其相应光敏区域120的照射,生成至少一个传感器信号。此外,传感器元件114被配置为确定包括至少一个反射图案138的至少一个反射图像142。反射图像142可以包括点作为反射特征。这些点起因于源自对象112的反射光束。传感器元件114可以被配置为确定反射图案138。反射图案138可以包括对应于照射图案124的至少一个照射特征125的至少一个特征。与照射图案124相比较,反射图案138可以包括至少一个失真图案,其中,失真取决于对象112的距离,诸如对象112的表面特性。
检测器110可以包括至少一个传送装置140,该传送装置140包括以下各项中的一项或多项:至少一个透镜,例如,至少一个透镜选自包括以下各项的组:至少一个焦点可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅尔透镜;至少一个衍射光学元件;至少一个凹透镜;至少一个束偏转元件,优选地至少一个反射镜;至少一个分束元件,优选地分束立方体或分束反射镜中的至少一个;至少一个多透镜系统。特别地,传送装置140可以包括至少一个准直透镜,该准直透镜被配置为在图像平面中聚焦至少一个对象点。
检测器110包括至少一个评估装置144。评估装置144被配置为选择反射图像142的至少一个反射特征。评估装置144可以被配置为选择反射图案138的至少一个特征并且通过评估来自传感器信号的组合信号Q确定反射图案的所选择的特征的纵坐标,如上文所描述的。因此,检测器110可以被配置为对反射图像142的至少一个反射特征进行预分类。
评估装置144可以被配置为执行至少一个图像分析和/或图像处理以便标识反射特征。图像分析和/或图像处理可以使用至少一个特征检测算法。图像分析和/或图像处理可以包括以下各项中的一项或多项:过滤;至少一个感兴趣区域的选择;由传感器信号创建的图像与至少一个偏移之间的差值图像的形成;通过反转由传感器信号创建的图像对传感器信号的反转;由不同时间处的传感器信号创建的图像之间的差值图像的形成;背景校正;分解为颜色通道;分解为色度;饱和度;和亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用拉普拉斯高斯滤波器;应用高斯差分滤波器;应用索贝尔算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用拉东变换;应用霍夫变换;应用小波变换;阈值化;创建二进制图像。感兴趣区域可以由用户手动确定或者可以自动确定,诸如通过识别由光学传感器118生成的图像内的对象。
评估装置144被配置用于通过评估来自传感器信号的组合信号Q来确定反射图像142的所选择的反射特征的至少一个纵向坐标z。评估装置144可以被配置用于通过以下各项中的一项或多项导出组合信号Q:除传感器信号、除传感器信号的倍数、除传感器信号的线性组合。评估装置144可以被配置用于使用组合信号Q与纵向区域之间的至少一个预定关系以用于确定纵向区域。例如,评估装置144可以被配置用于通过以下内容导出组合信号Q:
Figure BDA0003901761610000471
其中x和y是横向坐标,A1和A2是传感器位置处的反射光束的至少一个光束轮廓的不同区域,并且E(x,y,zo)表示在对象距离zo处给出的光束轮廓。区域A1和区域A2可能不同。特别地,A1和A2并不全等(congruent)。因此,A1和A2的形状或内容中的一者或多者可能不同。光束轮廓可以是光束的横向强度轮廓。光束轮廓可以是光束的剖面。光束轮廓可以选自包括下列的组:梯形光束轮廓、三角光束轮廓、圆锥形光束轮廓、以及高斯光束轮廓的线性组合。通常,光束轮廓取决于亮度L(zo)和光束形状S(x,y;zo),E(x,y;zo)=L·S。因此,通过导出组合信号,能够独立于亮度确定纵向坐标。另外,使用组合信号允许独立于对象尺寸确定距离zo。因此,组合信号允许独立于对象的材料特性和/或反射特性和/或散射特性并且独立于光源的更改确定距离zo,诸如通过制造精度、热、水、污物、透镜上的损坏等。
传感器信号中的每一个可以包括光束的光束轮廓的至少一个区域的至少一个信息。光敏区域120可以被布置以使得第一传感器信号包括束轮廓的第一区域的信息,并且第二传感器信号包括束轮廓的第二区域的信息。光束轮廓的第一区域和光束轮廓的第二区域可以是相邻或者重叠区域之一或两者。光束路径的第一区域和光束轮廓的第二区域可以在区域中不是全等的。
评估装置144可以被配置为确定和/或选择光束轮廓的第一区域和光束轮廓的第二区域。光束轮廓的第一区域可以包括光束轮廓的基本上边缘信息,并且光束轮廓的第二区域可以包括光束轮廓的基本上中心信息。光束轮廓可以具有中心,即光束轮廓的最大值和/或光束轮廓平顶的中心点和/或光斑的几何中心,以及从中心延伸的下降边缘。第二区域可以包括横截面的内部区域,第一区域可以包括横截面的外部区域。优选地,中心信息具有小于10%、更优选地小于5%的边缘信息的比例,最优选地中心信息不包括边缘内容。边缘信息可以包括整个光束轮廓的信息,特别地,来自中心区域和边缘区域的信息。边缘信息中的中心信息的比例小于10%,优选地小于5%,更优选地,边缘信息不包括任何中心信息。如果光束轮廓的至少一个区域靠近或围绕中心并且包括基本上中心信息,则可以确定和/或选择该区域作为光束轮廓的第二区域。如果光束轮廓的至少一个区域包括横截面的下降边缘的至少一些部分,则可以确定和/或选择该区域作为光束轮廓的第一区域。例如,可以将横截面的整个区域确定为第一区域。光束轮廓的第一区域可以是区域A2,并且光束轮廓的第二区域可以是区域A1。类似地,中心信号和边缘信号也可通过使用光束轮廓的分段(例如光束轮廓的圆形分段)来确定。例如,可以经由不通过光束轮廓中心的割线或弦将光束轮廓分成两段。因此,一段基本上包含边缘信息,而另一段基本上包含中心信息。例如,为了进一步减少中心信号中的边缘信息量,可以进一步从中心信号中减去边缘信号。
边缘信息可以包括与光束轮廓的第一区域中的光子数量有关的信息,而中心信息可以包括与光束轮廓的第二区域中的光子数量有关的信息。评估装置144可以适于确定束轮廓的面积积分。评估装置144可以被配置为通过将第一区域积分和/或求和来确定边缘信息。评估装置144可以被配置为通过将第二区域积分和/或求和来确定中心信息。例如,光束轮廓可以是梯形光束轮廓,并且评估装置可以适于确定梯形的积分。进一步地,当可以假定梯形光束轮廓时,边缘和中心信号的确定可以由利用梯形光束轮廓的特性的等效评估替换,诸如中心平台的边缘和高度的斜率和位置的确定并且通过几何考虑导出边缘和中心信号。
附加地或者替代地,评估装置144可以被配置为根据光斑的至少一个切片或切口来确定中心信息或边缘信息之一或两者。这可以例如通过由沿着所述切片或切口的线积分替换所述组合信号Q的面积积分来实现。为了提高准确性,可以使用光斑的若干切片或切口并取平均值。在椭圆形光斑轮廓的情况下,对若干切片或切口进行平均会改善距离信息。
例如,评估装置144可以被配置用于通过以下各项评估传感器信号:
a)确定具有最高传感器信号的至少一个光学传感器118并且形成至少一个中心信号;
b)评估矩阵116的光学传感器118的传感器信号并且形成至少一个和信号;
c)通过将中心信号和和信号组合确定至少一个组合信号;以及
d)通过评估组合信号确定所选择的特征的至少一个纵坐标z。
例如,中心信号可以是来自由整个矩阵116或矩阵116内的感兴趣区域的光学传感器118生成的多个传感器信号的具有最高传感器信号的至少一个光学传感器116的信号,其中,感兴趣区域可以在由矩阵116的光学传感器生成的图像内预定或可确定的。中心信号可以起因于单个光学传感器118或者光学传感器118组,其中,在后者的情况下,作为示例,光学传感器118组的传感器信号可以加起来、积分或平均以便确定中心信号。中心信号起因于其的光学传感器118组可以是相邻光学传感器组,诸如具有小于距具有最高传感器信号的实际光学传感器预定距离的光学传感器118,或者可以是生成在距最高传感器信号预定范围内的传感器信号的光学传感器组。中心信号起因于其的光学传感器118组可以选择尽可能大以便允许最大动态范围。评估装置144可以被配置为通过多个传感器信号的综合来确定中心信号,例如,具有最高传感器信号的光学传感器的多个光学传感器。
中心信号的确定可通过电子的方式执行,因为传感器信号的比较可通过常规电子器件相当简单地实现,或者可完全或部分地通过软件执行。光斑的中心的检测(即,中心信号和/或中心信号起因于其的至少一个光学传感器的检测)可以电子地完全或部分地或通过使用一个或多个软件算法完全或部分地执行。特别地,评估装置144可以包括用于检测至少一个最高传感器信号和/或用于形成中心信号的至少一个中心检测器。中心检测器具体地可以全部或部分地实现在软件中和/或可以全部或部分地实现在硬件中。中心检测器可以全部或部分地集成到至少一个传感器元件中和/或可以全部或部分地独立于传感器元件实现。
具体地,中心信号可以选自包括以下各项的组:最高传感器信号;在来自最高传感器信号的容限的预定范围内的传感器信号组的平均值;来自包含具有最高传感器信号的光学传感器118的光学传感器组和预定相邻光学传感器118组的传感器信号的平均值;来自包含具有最高传感器信号的光学传感器118的光学传感器118组和预定相邻光学传感器118组的传感器信号的和;在来自所述最高传感器信号的容限的预定范围内的传感器信号组的和;大于预定阈值的传感器信号组的平均;大于预定阈值的传感器信号组的和;来自包含具有最高传感器信号的光学传感器118的光学传感器118组和预定相邻光学传感器组的传感器信号的积分;在来自所述最高传感器信号的容限的预定范围内的传感器信号组的积分;大于预定阈值的传感器信号组的积分。
例如,和信号可以通过将传感器信号加起来、在传感器信号上积分或在整个矩阵116或矩阵内的感兴趣区域的传感器信号上平均导出,其中,感兴趣区域可以在由矩阵116的光学传感器118生成的图像内预定或可确定的。当将传感器信号加起来、在传感器信号上积分或在传感器信号上平均时,从其生成传感器信号的实际光学传感器118可以从添加、积分或平均当中留下,或者替代地,可以包括到添加、积分或平均中。评估装置144可以被配置为通过积分整个矩阵116或矩阵116内的感兴趣区域的信号来确定和信号。此外,当假设梯形光束轮廓时,可通过使用梯形光束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度并通过几何考虑导出边缘信号和中心信号)来代替边缘信号和中心信号的确定。
和信号可以从矩阵116的所有传感器信号、从感兴趣区域内的传感器信号或从关于起因于有助于排除的中心信号的光学传感器118的传感器信号的这些可能性之一导出。在每种情况下,可以生成可以可靠地与中心信号相比较的可靠的和信号,以便确定纵坐标。通常,和信号可以选自包括以下各项的组:矩阵116的所有传感器信号上的平均值;矩阵116的所有传感器信号的和;矩阵116的所有传感器信号的积分;除了有助于中心信号的来自那些光学传感器118的传感器信号之外的矩阵116的所有传感器信号上的平均值;除了有助于中心信号的来自那些光学传感器118的传感器信号之外的矩阵116的所有传感器信号的和;除了有助于中心信号的来自那些光学传感器118的传感器信号之外的矩阵116的所有传感器信号的积分;距具有最高传感器信号的光学传感器预定范围内的光学传感器118的传感器信号的和;距具有最高传感器信号的光学传感器118预定范围内的光学传感器的传感器信号的积分位于距具有最高传感器信号的光学传感器118的预定范围内的;大于光学传感器的某个阈值的传感器信号的和;位于距具有最高传感器信号的光学传感器118的预定范围内的大于光学传感器118的某个阈值的传感器信号的积分。然而,存在其他选项。求和可以全部或部分地在软件中执行和/或可以全部或部分地在硬件中执行。求和通常通过纯电子装置是可能的,该电子装置通常可以容易地实现到所述检测器中。因此,在电子学的领域中,求和装置通常已知用于求和两个或两个以上电信号,模拟信号和数字信号二者。因此,评估装置144可以包括用于形成和信号的至少一个求和装置。求和装置可以全部或部分地集成到传感器元件中或者可以全部或部分地独立于传感器元件实现。求和装置可以全部或部分地实现在硬件或软件之一或两者中。
组合信号可以是通过将中心信号和和信号生成的信号。具体地,该组合可以包括以下一者或多者:形成中心信号与和信号的商,或形成和信号与中心信号的商;形成中心信号的倍数与和信号的倍数的商,或形成和信号的倍数与中心信号的倍数的商;形成中心信号的线性组合与和信号的线性组合的商,或形成和信号的线性组合与中心信号的线性组合的商。附加地或者替代地,所述组合信号可以包括包含关于所述中心信号与所述和信号之间的比较的至少一个信息项的任意信号或信号组合。评估装置144可以被配置为通过使用传感器信号之间的至少一个已知、可确定或预定关系确定对象的至少一个纵坐标z。特别地,评估装置144可以被配置为通过使用从传感器信号导出的商信号与纵坐标之间的至少一个已知、可确定或预定关系来确定对象的至少一个坐标z。
中心信号与和信号之间的比较特别地可以通过形成一个或多个商信号执行。因此,通常,所述组合信号可以是通过以下各项中的一项或多项导出的商信号Q:形成中心信号和和信号的商,反之亦然;形成中心信号的倍数和和信号的倍数的商,反之亦然;形成中心信号的线性组合和和信号的线性组合的商,反之亦然;形成中心信号和和信号与中心信号的线性组合的商,反之亦然;形成和信号与和信号和中心信号的线性组合的商,反之亦然;形成中心信号的取幂和和信号的取幂的商,反之亦然。然而,存在其他选项。评估装置144可以被配置用于形成一个或多个商信号。评估装置144还可以被配置用于通过评估至少一个商信号确定至少一个纵坐标。
评估装置144特别地可以被配置用于使用组合信号Q与纵坐标之间的至少一个预定关系以便确定至少一个纵坐标。因此,由于上文所公开的原因并且由于纵坐标上的光斑的特性的相关性,组合信号Q通常是对象的纵坐标和/或光斑的尺寸(诸如光斑的直径或等效直径)的单调函数。因此,作为示例,具体地在使用线性光学传感器的情况下,传感器信号scenter和和信号ssum的简单的商Q=scenter/ssum可以是距离的单调递减函数。在不希望由该理论限制的情况下,人们相信这归因于以下事实:在上文所描述的优选设置中,由于到达检测器的光量减小,中心信号scenter和和信号ssum两者随着增加到光源的距离作为平方函数减小。其中,然而,由于在如在实验中使用的光学设置中,图像平面内的光斑增长并且因此遍布更大的区域,所以中心信号scenter比和信号ssum更快速地减小。因此,中心信号和和信号的商随着增加光束的直径或矩阵的光学传感器的光敏区域上的光斑的直径连续地减小。进一步地,由于光束的总焦度形成中心信号中和和传感器信号中的因子,所以商通常独立于光束的总焦度。因此,组合信号Q可以形成提供中心信号和和信号与光束的尺寸或直径之间的唯一并且清楚的关系的二次信号。由于另一方面,光束的大小或直径取决于光束从其朝向检测器传播的对象与检测器自己之间的距离,即,取决于对象的纵坐标,一方面中心信号与和信号之间的唯一并且清楚的关系并且另一方面纵坐标可以存在。对于后者,可以例如对上文所提到的现有技术文档中的一个或多个进行参考,诸如WO 2014/097181 A1。预定关系可以通过分析考虑确定,诸如通过假定高斯光束的线性组合,通过经验测量结果,诸如测量组合信号和/或中心信号和和信号或作为对象的纵坐标的函数从其导出的二次信号、或二者的测量结果。
评估装置144可以被配置用于使用组合信号与纵坐标之间的至少一个预定关系。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一者或多者。评估装置144可以包括用于存储预定关系的至少一个数据存储装置,诸如查找列表或查找表。
即使在引起多次反射的环境的情况下,利用偏置光源,或具有减少的计算需求,特别是具有减少的处理能力的反射测量对象,使用光子比率测深技术的深度测量也允许可靠的距离确定。本发明允许标识反射对象的材料并估计其与投影仪122或传感器元件114的距离,即使在存在定位在与传感器元件114不同距离处的各种材料的情况下,或者如果投影仪122生成几乎相同的激光光斑特性组合。而且,本发明允许估计反射表面和边缘检测的取向。包括空间调制照射特征125的照射图案124可以使所产生的调制照射特征的至少一个特性或参数对由反射目标对象的材料的物理特性引起的变形更鲁棒。该至少一个特性或参数可能仅取决于反射对象112与投影仪122或传感器元件114之间的距离。照射特征125的其他特性或参数可以允许改变和变形,以提供关于反射材料的类型和物理特性的信息以及其与投影仪122或传感器元件114的距离。如上文所概述的,照射特征125可以是图案化照射特征,其中,图案化照射特征125中的每一个包括多个子特征141。评估装置144可以被配置用于通过分析反射图像142的图案化反射特征,来确定关于对象112和投影仪122和/或传感器元件114之间的距离的信息。评估装置144可以被配置用于查找和分割每个图案化照射特征。评估装置144可以被配置用于确定子特征中的每一个的中心。评估装置144可以被配置用于确定子特征的中心之间的距离。评估装置144可以被配置用于通过使用预先确定的关系,根据子特征141的中心之间的距离,来确定关于对象112与投影仪122和/或传感器元件114之间的距离的信息。考虑到对象112与投影仪122和/或传感器元件114之间确定的距离,评估装置144可以被配置用于确定校正的纵向坐标z。正确的纵向坐标可以是具有增强的准确度的纵向坐标。
评估装置144可以被配置用于边缘检测。照射特征125可包括至少三个子特征141。评估装置144可以被配置用于,通过评估来自相应子特征141的传感器信号的组合信号Q,为子特征141中的每一个确定对象112的纵向坐标。评估装置144可以被配置用于根据从子特征141确定的纵向坐标确定对象112的反射表面的法线和局部取向。仅一个图案化照射特征可能足以能够估计反射表面的法线和局部取向,并且知道该图案化激光光斑是否在边缘上反射。
另外,在有问题的反射表面的情况下,与相对稀疏分布的单个光斑相比较,在投射这样的密集光斑簇时,获得可用激光光斑反射的概率更高。
本发明可以允许使用光子比率测深技术增强距离和深度测量的性能。这可以通过硬件侧的简单修改和对当前使用的算法的简单计算效率添加来实现。产生的检测器110可以获得好得多的性能并可用于许多附加应用。
利用DPR技术确定的距离可以提供每个照射特征的距离估计,并且可以通过三角测量方法对传感器元件114和投影仪122的已知位置进行细化。为了使用三角测量计算细化纵向坐标,需要解决所谓的对应问题。在使用规则图案情况下,诸如矩形图案,可能发生两个相邻点可以在核线上直接相邻。对于稳健的对应问题,图案的特征的物理距离可能很大,使得图案的点密度可能很低。如上文所概述的,本申请提出照射特征125以等间距的周期性图案布置成行,其中,照射特征的行中的每一个具有偏移;其中,相邻行的偏移不同。偏移可以允许到达在核线上具有大距离的特征密度,并且增强了对应问题的鲁棒性。差异偏移的选择可以使得照射图案124的结构可以相对于传感器元件114的视场进行设计。
评估装置144可以被配置为通过评估组合信号Q确定所选择的反射特征的纵向区域,其中,纵向信息由纵坐标z和误差区间±ε给出。误差ε可以取决于光学传感器118的测量不确定性。光学传感器118的测量不确定性可以预定和/或估计和/或可以存放在评估装置144的至少一个数据存储单元中。例如,误差区间可以是±10%、优选地±5%、更优选地±1%。
评估装置144可以被配置为确定对应于纵向区域的至少一个参考图像中的至少一个位移区域。参考图像可以是与反射图像不同的图像,其与反射图像142相比较在不同的空间位置处确定。参考图像可以通过记录至少一个参考特征、对至少一个参考特征进行成像、计算参考图像中的一个或多个来确定。参考图像和反射图像可以在具有固定距离的不同空间位置处确定的对象的图像。距离可以是相对距离,也被称为基线。评估装置144可以被配置为确定对应于至少一个反射特征的至少一个参考图像中的至少一个参考特征。评估装置144可以被配置为执行图像分析和标识反射图像142的特征。评估装置144可以被配置为将具有基本上相同纵坐标的参考图像中的至少一个参考特征标识为所选择的选择特征。对应于反射特征的参考特征可以使用核线几何形状确定。针对核线几何形状的描述,例如,对X.Jiang,H.Bunke:,,Dreidimensionales Computersehen“,Springer,BerlinHeidelberg,1997年中的第2章进行参考。核线几何形状可以假定参考图像和反射图像142可以是在具有固定距离的不同空间位置和/或空间取向处确定的对象的图像。参考图像和反射图像142可以在具有固定距离的不同空间位置处确定的对象112的图像。评估装置144可以被配置为确定参考图像中的核线137。参考图像和反射图像的相对位置可以是已知的。例如,参考图像和反射图像142的相对位置可以存储在评估装置144的至少一个存储单元内。评估装置144可以被配置为确定从反射图像142的所选择的反射特征延伸的直线。直线可以包括对应于所选择的特征的可能对象特征。直线和基线跨越核平面。由于参考图像在与反射图像不同的相对位置处确定,因此对应可能对象特征可以在参考图像中的直线(被称为核线137)上成像。因此,对应于反射图像的所选择的特征的参考图像的特征位于核线137上。由于图像的失真或系统参数的改变,诸如由于老化、温度改变、机械应力等,因此核线137可能相交或非常接近于彼此和/或参考特征与反射特征之间的对应可能是不清楚的。进一步地,真实世界中的每个已知位置或对象可以投射到参考图像上,并且反之亦然。投影可以由于检测器110的校准而是已知的,而校准是与特定相机的核线几何形状的线校正(teach-in)可比较的。
特别地,所述位移区域可以是其中对应于所选择的反射特征的参考特征被期望位于所述参考图像中的参考图像中的区域。取决于到对象的距离112,与反射图像中的反射特征的图像位置相比较,对应于反射特征的参考特征的图像位置可以在参考图像内置换。位移区域可以仅包括一个参考特征。位移区域也可以包括超过一个参考特征。位移区域可包括核线137或核线137的一部分。位移区域可包括超过一个核线137或超过一个核线137的多个部分。位移区域可以沿着核线137、正交于核线137、或两者延伸。评估装置144可以被配置为沿着对应于纵坐标z的核线确定参考特征并且沿着对应于误差区间±ε的核线137或者正交于核线137确定位移区域的范围。使用组合信号Q的距离测量的测量不确定性可能导致非圆形的位移区域,因为测量不确定性可能针对不同方向是不同的。特别地,沿着(一个或多个)核线137的测量不确定性可以大于关于(一个或多个)核线137的正交方向上的测量不确定性。位移区域可以包括在关于(一个或多个)核线137的正交方向上的范围。评估装置可以确定反射特征的图像位置周围的位移区域。评估装置144可以被配置用于确定用于反射特征的纵坐标z和来自组合信号Q的误差区间±ε,以确定沿着对应于z±ε的核线137的位移区域。评估装置可以被配置用于将所选择的反射特征与位移区域内的至少一个参考特征匹配。匹配可包括确定和/或评估对应参考和反射特征。评估装置144可以被配置为通过使用考虑所确定的纵坐标z的至少一个评估算法,将反射图像的所选择的特征与位移区域内的参考特征匹配。评估算法可以是线性缩放算法。评估装置144可以适于确定最接近于位移区域和/或位移区域内的核线。评估装置144可以被配置为确定最接近于反射特征的图像位置的核线137。沿着核线137的位移区域的范围可以大于正交于核线137的位移区域的范围。评估装置144可以被配置为在确定对应参考特征之前确定核线137。评估装置144可以确定每个反射特征的图像位置周围的位移区域。评估装置144可以适于向反射特征的每个图像位置的每个位移区域分配核线137,诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线137的方向的位移区域的核线137。评估装置144可以被配置为,通过确定最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线137的所分配的位移区域和/或在沿着所分配的核线137的所分配的位移区域内的参考特征,来确定对应于反射图像的图像位置的参考特征。
附加地或者替代地,评估装置144可以被配置为执行以下步骤:
-确定针对每个反射特征的图像位置的位移区域;
-向每个反射特征的位移区域分配核线137,诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于所述核线的方向的位移区域的核线137;
-向每个反射特征分配和/或确定至少一个参考特征,诸如通过分配最接近于所述所分配的位移区域和/或在所述所分配的位移区域内和/或最接近于沿着所述所分配的核线137的所分配的位移区域和/或在沿着所述所分配的核线137的所分配的位移区域内的参考特征。
附加地或者替代地,评估装置144可以被配置为在超过一个的核线137和/或参考特征之间进行决定以分配给反射特征,例如通过比较参考图像内的反射特征和/或核线137的距离和/或通过比较误差加权距离,诸如参考图像内的反射特征和/或核线137的ε加权距离,并且将较短距离和/或ε加权距离内的核线137和/或参考特征分配给参考特征和/或反射特征。
优选地,检测器110可以被配置为使用组合信号Q对所选择的反射特征进行预分类,以使得对一个参考特征的明确分配是可能的。特别地,照射图案124的照射特征125可以被布置以使得参考图像的对应参考特征可以在核线上具有尽可能大的彼此相对距离。
评估装置144可以被配置为确定匹配的参考特征和选择的反射特征的位移。评估装置144可以被配置为使用纵坐标与位移之间的预定关系确定匹配的特征的纵向信息。例如,纵向信息可以是距离值。评估装置144可以被配置为通过使用三角测量方法确定预定关系。在反射图像中的所选择的反射特征的位置和匹配的参考特征的位置和/或所选择的反射特征和匹配的参考特征的相对位移已知的情况下,对应对象特征的纵坐标可以通过三角测量确定。因此,评估装置144可以被配置为,例如,随后和/或逐列选择反射特征,并且使用三角测量针对参考特征的每个潜在位置确定对应距离值。位移和对应距离值可以存储在评估装置144的至少一个存储设备中。作为示例,评估装置144可以包括至少一个数据处理设备,诸如至少一个处理器、至少一个DSP、至少一个FPGA和/或至少一个ASIC。进一步地,为了存储纵坐标z与位移之间的至少一个预定或可确定的关系,可以提供至少一个数据存储设备,诸如用于提供用于存储预定关系的一个或多个查找表。评估装置144可以被配置为存储用于相机和/或检测器110的内部和/或外部校准的参数。评估装置144可以被配置为生成用于相机和/或检测器的内部和/或外部校准的参数,诸如通过执行Tsai相机校准。评估装置144可以被配置为计算和/或估计参数,诸如传送装置的焦距、径向透镜失真系数、径向透镜失真的中心的坐标、解释归因于用于扫描和数字化的硬件定时中的缺陷的任何不确定性的比例因子、针对世界坐标与相机坐标之间的变换的旋转角、针对世界坐标与相机坐标之间的变换的平移分量、孔径角、图像传感器格式、主点、偏斜系数、相机中心、相机航向、基线、相机和/或照射源之间的旋转或平移参数、孔径、焦点距离等。
使用组合传感器信号允许估计距离,诸如误差区间内的纵坐标z。通过确定对应于估计的纵坐标的位移区域和对应误差区间允许显著地减少沿着核线的解的可能数量。可能解的数量可以甚至减少到一。纵坐标z和误差区间的确定可以在将所选择的反射特征和参考特征匹配之前的预评估期间执行。这可以允许减少计算需求,以使得显著地减少成本并且允许移动设备或室外设备中的使用是可能的。此外,通常在三角测量系统中,基线必须很大以便检测大的距离。使用组合的传感器信号对纵坐标z和误差区间进行预评估以及随后对所选择的反射特征和参考特征进行匹配可以允许使用短基线,以使得提供紧凑设备可能是可能的。此外,与常规三角测量系统相比较,使用组合的传感器信号对纵坐标z和误差区间进行预评估以及随后对所选择的反射特征和参考特征进行匹配可以增强准确度和/或速度和/或可以降低计算需求。进一步地,可以减少照射特征的数量,诸如照射图案中的照射点的数量,以增加每个照射点的光强度,诸如在符合眼睛安全规程的同时与环境光竞争。常规三角测量系统中的照射特征的减少的数量可能增加将反射特征和参考特征匹配的难度。进一步地,可以增加照射特征的数量,诸如照射图案中的照射点的数量,诸如以增加所述距离测量的分辨率,诸如以增加所获得的深度图的分辨率而不增加诸如移动应用中的评估装置的处理能力。
参考标记列表
110 检测器
112 对象
114 传感器元件
116 矩阵
118 光学传感器
120 光敏区域
122 投影仪
124 照射图案
125 照射特征
126 激光源
128 DOE
130 开口
132 壳体
134 光学器件
136 控制单元
137 核线
138 反射图案
139 视场
140 传送装置
141 子特征
142 反射图像
144 评估装置

Claims (10)

1.一种用于确定至少一个对象(112)的位置的检测器(110),所述检测器(110)包括:
-至少一个投影仪(122),其用于利用至少一个照射图案(124)照射所述对象(112),其中,所述照射图案(124)包括多个照射特征(125),其中,所述照射特征(125)是空间调制的,使得所述照射特征(125)是图案化照射特征;
-至少一个传感器元件(114),其具有光学传感器(118)的矩阵(116),所述光学传感器(118)各自具有光敏区域(120),其中,每个光学传感器(118)被设计为,响应于由从所述对象传播到所述检测器(110)的反射光束对其相应光敏区域(120)的照射,来生成至少一个传感器信号,其中,所述传感器元件(114)被配置为确定至少一个反射图像(142);
-至少一个评估装置(144),其中,所述评估装置(144)被配置为选择所述反射图像(142)的至少一个反射特征,其中,所述反射特征是由所述对象(112)响应于至少一个照射特征(125)的照射而生成的图像平面中的特征,其中,所述评估装置(144)被配置用于通过评估来自所述传感器信号的组合信号Q通过使用光子比率测深技术,来确定所述反射图像(142)的所选择的反射特征的至少一个纵向坐标z,其中,所述组合信号Q是通过组合所述传感器信号生成的信号,其中,所述评估装置(144)被配置用于通过以下各项中的一项或多项导出所述组合信号Q:除所述传感器信号、除所述传感器信号的倍数、除所述传感器信号的线性组合,其中,所述评估装置(144)被配置用于使用所述组合信号Q与所述纵向区域之间的至少一个预定关系用于确定所述纵向区域,
其中,所述图案化照射特征(125)中的每一个包括多个子特征(141),以及其中,所述照射特征(125)以等间距的周期性图案布置成行,其中,所述照射特征(125)的行中的每一个具有偏移,其中,相邻行的所述偏移不同。
2.根据前述权利要求所述的检测器(110),其中,所述投影仪(122)包括被配置用于生成至少一个光束的至少一个光源,其中,所述投影仪(122)包括至少一个传送装置,所述传送装置(125)被配置用于衍射和用于复制所述光束用于生成包括图案化照射特征(125)的照射图案(124)。
3.根据前述权利要求中的任一项所述的检测器(110),其中,所述投影仪(122)包括根据被配置用于生成光束簇的特定图案的至少一个密集封装光源阵列,其中,所述投影仪(122)包括至少一个传送装置,用于衍射和复制所述光束簇,用于生成包括图案化照射特征(125)的照射图案(124)。
4.根据前述权利要求中的任一项所述的检测器(110),其中,所述评估装置(144)被配置用于通过分析所述反射图像(142)的所述图案化反射特征来确定关于所述对象(112)与所述投影仪(122)之间的距离的信息,其中,所述评估装置(144)被配置用于查找和分割每个图案化反射特征,其中,所述评估装置(144)被配置用于确定所述子特征(141)中的每一个的中心,其中,所述评估装置(144)被配置用于确定所述子特征(141)的中心之间的距离,其中,所述评估装置(144)被配置用于通过使用预先确定的关系根据所述子特征(141)的所述中心之间的距离来确定关于所述对象(112)与所述投影仪(122)之间的距离的信息。
5.根据前述权利要求所述的检测器(110),其中,考虑到所述对象(112)与所述投影仪(122)之间确定的距离,所述评估装置(144)被配置用于确定校正的纵向坐标z。
6.根据前述权利要求中的任一项所述的检测器(110),其中,所述传感器元件(114)和所述投影仪(122)被定位以使得所述行与核线(137)平行。
7.根据前述权利要求中的任一项所述的检测器(110),其中,所述偏移δ是δ=a/b,其中,a和b是整数,其中,所述偏移是偏移δ。
8.根据前述权利要求中的任一项所述的检测器(110),其中,所述评估装置(144)被配置为,通过评估所述组合信号Q,来确定所述所选择的反射特征的纵向区域,其中,所述纵向区域由所述纵坐标z和误差区间±ε给出,其中,所述评估装置(144)被配置为确定对应于所述纵向区域的至少一个参考图像中的至少一个位移区域,其中,所述参考图像是与所述反射图像不同的图像,其与所述反射图像(142)相比,在不同的空间位置处被确定,其中,所述评估装置(144)被配置为将所选择的反射特征与所述位移区域内的至少一个参考特征匹配,其中,所述评估装置(144)被配置为确定所述匹配的参考特征和所述选择的反射特征的位移,其中,所述评估装置(144)被配置为使用所述纵向信息与所述位移之间的预定关系来确定所述匹配的参考特征的纵向信息。
9.一种用于通过使用根据前述权利要求中的任一项所述的至少一个检测器(110)来确定至少一个对象(112)的位置的方法,所述方法包括以下步骤:
-利用由所述检测器(110)的所述至少一个投影仪(122)生成的至少一个照射图案照射所述对象(112),其中,所述照射图案(124)包括多个照射特征(125),其中,所述照射特征(125)是空间调制的,其中,所述照射特征(125)是图案化照射特征(125),其中,所述图案化照射特征(125)中的每一个包括多个子特征(141),和/或其中,所述照射特征(125)以等间距的周期性图案布置成行,其中,所述照射特征(125)的行中的每一个具有偏移;其中,相邻行的所述偏移不同;
-为入射在具有光学传感器(118)的所述矩阵(116)的所述传感器元件(114)的所述光学传感器(118)的所述光敏区域(120)上的每个反射光束生成响应于照射的至少一个传感器信号;
-通过使用所述传感器元件(114)确定至少一个反射图像(142);
-选择所述反射图像(142)的至少一个反射特征并且通过使用至少一个评估装置(144)来评估所述传感器信号,从而,确定所选择的反射特征的至少一个纵坐标z,其中,所述评估包括评估来自所述传感器信号的组合信号Q。
10.根据涉及检测器的前述权利要求中的任一项所述的检测器(110)的用途,出于使用的目的,选自包括以下各项的组:交通技术中的位置测量;娱乐应用;安保应用;监督应用;安全应用;人机接口应用;物流应用;跟踪应用;室外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用。
CN202180030207.1A 2020-04-22 2021-04-21 用于对象深度测量的照射图案 Pending CN115461643A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20170905 2020-04-22
EP20170905.2 2020-04-22
PCT/EP2021/060347 WO2021214123A1 (en) 2020-04-22 2021-04-21 Illumination pattern for object depth measurment

Publications (1)

Publication Number Publication Date
CN115461643A true CN115461643A (zh) 2022-12-09

Family

ID=70417339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180030207.1A Pending CN115461643A (zh) 2020-04-22 2021-04-21 用于对象深度测量的照射图案

Country Status (6)

Country Link
US (2) US20230161041A1 (zh)
EP (2) EP4139703A1 (zh)
JP (1) JP2023522755A (zh)
KR (1) KR20230002443A (zh)
CN (1) CN115461643A (zh)
WO (1) WO2021214123A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
US11960968B2 (en) * 2022-08-25 2024-04-16 Omron Corporation Scanning device utilizing separate light pattern sequences based on target distance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103492835B (zh) 2011-02-15 2016-08-17 巴斯夫欧洲公司 用于光学检测至少一种物体的检测器
US9389315B2 (en) 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region
CN109521397B (zh) 2013-06-13 2023-03-28 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
WO2018019922A1 (en) * 2016-07-29 2018-02-01 Trinamix Gmbh Detector for an optical detection of at least one object
US10948567B2 (en) * 2016-11-17 2021-03-16 Trinamix Gmbh Detector for optically detecting at least one object
KR20200040780A (ko) * 2017-08-28 2020-04-20 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기
CN111587384A (zh) * 2017-11-17 2020-08-25 特里纳米克斯股份有限公司 用于确定至少一个对象的位置的检测器
US11908156B2 (en) * 2019-01-09 2024-02-20 Trinamix Gmbh Detector for determining a position of at least one object
WO2020169727A1 (en) * 2019-02-20 2020-08-27 Trinamix Gmbh Detector with a projector for illuminating at least one object

Also Published As

Publication number Publication date
EP4224206A3 (en) 2023-08-30
EP4139703A1 (en) 2023-03-01
US20230266467A1 (en) 2023-08-24
WO2021214123A1 (en) 2021-10-28
JP2023522755A (ja) 2023-05-31
KR20230002443A (ko) 2023-01-05
EP4224206A2 (en) 2023-08-09
US20230161041A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230266467A1 (en) Projector pattern
US6624899B1 (en) Triangulation displacement sensor
US7760338B2 (en) Method for the detection of an object and optoelectronic apparatus
US20230078604A1 (en) Detector for object recognition
US20240020864A1 (en) Auto calibration from epipolar line distance in projection pattern
US20220350156A1 (en) Projector for Illuminating at Least One Object
EP3596425B1 (en) Optoelectronic devices for collecting three-dimensional data
CN115248440A (zh) 基于点阵光投射的tof深度相机
US11920918B2 (en) One shot calibration
WO2023078903A1 (en) Structured light pattern combined with projection of markers
CN118176404A (zh) 与标记投影相结合的结构光图案
WO2023083784A1 (en) Recalibration of a 3d detector based on structured light
WO2023041761A1 (en) Emitter array with two or more independently driven areas
WO2023057495A1 (en) Method for alignment of optical components of a projector
WO2023078986A1 (en) Eye safety for projectors
WO2023072905A1 (en) Extended material detection involving a multi wavelength projector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination