CN118176404A - 与标记投影相结合的结构光图案 - Google Patents

与标记投影相结合的结构光图案 Download PDF

Info

Publication number
CN118176404A
CN118176404A CN202280073013.4A CN202280073013A CN118176404A CN 118176404 A CN118176404 A CN 118176404A CN 202280073013 A CN202280073013 A CN 202280073013A CN 118176404 A CN118176404 A CN 118176404A
Authority
CN
China
Prior art keywords
features
sensor
projector
detector
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280073013.4A
Other languages
English (en)
Inventor
B·莱因
P·费耶斯
C·邦西诺
A·施密特
J·D·A·科洛切克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN118176404A publication Critical patent/CN118176404A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509Color coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种投影仪(122),其用于利用至少一个照射图案(124)来照射至少一个对象(112)。该照射图案(124)包括多个照射特征(125),其中,该照射图案(124)进一步包括至少一个标记(160)。

Description

与标记投影相结合的结构光图案
技术领域
本发明涉及一种投影仪、一种用于确定至少一个对象的位置的检测器以及一种用于确定至少一个对象的位置的方法。本发明进一步涉及该检测器的各种用途。根据本发明的装置、方法和用途具体地可以用于各个领域,例如日常生活、游戏、交通技术、生产技术、安保技术、摄影(比如用于艺术、文档或技术目的的数字摄影或视频摄影)、医疗技术或科学。进一步地,本发明具体可以用于例如在建筑学、计量学、考古学、艺术、医学、工程或制造领域中扫描一个或多个对象和/或扫描风景,比如用于生成对象或风景的深度剖面。然而,其他应用也是可能的。
背景技术
现有技术已知大量使用结构光方法进行3D测量的光学装置和方法。通常,在这些装置和方法中,投射点图案,并记录和评估反射的图案。例如,该图案是通过将发光二极管(LED)和衍射光学元件(DOE)组合而生成的。然而,对于复杂的对象,必须解决所谓的对应问题,即,对象的哪个点是由哪个光束生成的。已知有几种解决对应问题的方法,但是这些方法复杂且耗时。
本发明解决的问题
因此,本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地,本发明的目的是提供优选地以较小的技术努力并且在技术资源和成本方面以较低的要求可靠地确定对象在空间中的位置的装置和方法。
发明内容
该问题通过具有专利独立权利要求的特征的本发明来解决。可以单独或组合地实现的本发明的有利发展在从属权利要求和/或以下说明书和详细实施例中呈现。
在本发明的第一方面中,披露了一种投影仪,其用于利用至少一个照射图案来照射至少一个对象。该照射图案包括多个照射特征。该照射图案进一步包括至少一个标记。
如本文所使用的,术语“对象”可以是指被配置为至少部分地反射照射到该对象上的至少一个光束的任意对象,特别是表面或区。光束可以源自检测器的投影仪,该投影仪用于照射对象,其中,光束被对象反射或散射。
如本文所使用的,术语“投影仪”也被表示为光投影仪,它可以是指被配置为将至少一个照射图案投射到对象上、具体地投射到对象的表面上的光学装置。投影仪可以包括以下一项或多项:至少一个光源、至少一个多射束光源、或多个光源。光源在本文中还可以表示为照射装置、照射源或发射器。投影仪可以被配置为生成至少一个照射图案,并且将该照射图案投射至包括对象的至少一个表面或场景。投影仪可以被配置为使得照射图案从投影仪、特别是从投影仪的外壳的至少一个开口向对象传播。
投影仪可以包括多个发射器。各种类型的激光器可以用作发射器,比如半导体激光器、双异质结构激光器、外腔激光器、分离约束异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器、或垂直腔面发射激光器(VCSEL)。例如,发射器是垂直腔面发射激光器。另外或可替代地,可以使用非激光光源,比如LED、微型发光二极管(LED)、和/或灯泡。投影仪可以被配置为生成和/或投射点云,例如投影仪可以包括至少一个数字光处理(DLP)投影仪、至少一个LCoS投影仪、至少一个激光源阵列;至少一个发光二极管阵列。
例如,发射器是垂直腔面发射激光器(VCSEL)。如本文所使用的,术语“垂直腔面发射激光器”可以是指被配置用于相对于顶表面垂直地发射激光束的半导体激光二极管。VCSEL的示例可以例如在en.wikipedia.org/wiki/Vertical-cavity_surfaceemitting_laser中找到。VCSEL通常是技术人员已知的,比如从WO 2017/222618 A中可知。VCSEL中的每一个被配置用于生成至少一个光束。如本文所使用的,术语“射线”通常是指垂直于光的波前、指向能量流方向的线。如本文所使用的,术语“射束”通常是指射线的集合。在下文中,术语“射线”和“射束”将作为同义词使用。如本文进一步使用的,术语“光束”通常是指一定量的光,具体地是指基本上沿相同方向行进的一定量的光,包括光束具有扩展角或加宽角的可能性。VCSEL可以被配置用于发射波长范围为800至10 1000nm的光束。例如,VCSEL可以被配置用于发射808nm、850nm、940nm或980nm的光束。优选地,VCSEL发射940nm的光,因为地面太阳辐射的辐照度在该波长处具有局部最小值,例如CIE 085-1989“Solar spectralIrradiance[太阳光谱辐照度]”中所述。
照射图案可以包括照射特征的网格。该网格可以包括按预定几何顺序布置的多个元素。例如,该网格可以是或者可以包括具有一行或多行和一列或多列的矩形网格。具体地,行和列可以以矩形方式布置。然而,应当概述的是,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元素围绕中心点布置成同心圆或椭圆形。
投影仪可以包括VCSEL阵列。VCSEL阵列可以是二维或一维阵列。VCSEL阵列可以包括布置成矩阵的多个VCSEL。如本文进一步使用的,术语“矩阵”通常是指多个元素按照预定几何顺序的布置。具体地,矩阵可以是或者可以包括具有一行或多行和一列或多列的矩形矩阵。具体地,行和列可以以矩形方式布置。然而,应当概述的是,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元素围绕中心点布置成同心圆或椭圆形。例如,矩阵可以是单行像素。其他布置也是可行的。VCSEL可以布置在公共的基板上或不同的基板上。阵列可以包括最多2500个VCSEL。例如,阵列可以包括38×25个VCSEL,比如具有3.5W的高功率阵列。例如,阵列可以包括10×27个VCSEL,具有2.5W。例如,阵列可以包括96个VCSEL,具有0.9W。例如具有2500个元件的阵列的尺寸可以最多为2mm×2mm。
投影仪可以包括被配置用于生成照射图案的一个或多个衍射光学元件(DOE)。例如,投影仪可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。
投影仪可以被配置用于发射调制的或非调制的光。在使用多个发射器的情况下,不同的发射器可以具有不同的调制频率,这些调制频率稍后可以用于区分光束。
投影仪可以被配置为投射照射图案,从而至少部分地照射对象。如本文进一步使用的,术语“投射至少一个照射图案”可以是指提供用于照射对象的表面点的至少一个照射图案。
如本文所使用的,术语“图案”可以是指包括至少一个任意形状的特征的任意已知的或预定的布置。图案可以包括至少一个特征,比如点或符号。图案可以包括多个特征。图案可以包括周期性或非周期性特征的布置。如本文所使用的,术语“照射图案”可以是指由投影仪生成并投射的特别是用于照射对象的图案。照射图案可以是包括多个照射特征的任意图案。如本文所使用的,术语“照射特征”可以是指照射图案的至少一个任意形状的特征。具体地,术语“照射特征”可以是指照射图案的至少一个至少部分延伸的特征。照射图案可以包括多个照射特征。照射图案可以包括选自由以下各项组成的组中的至少一个周期性规则图案:至少一个周期性规则点图案;至少一个六边形图案;至少一个矩形图案。
照射图案可以选自由以下各项组成的组:至少一个点图案;至少一个线图案;至少一个条纹图案;至少一个棋盘图案;包括周期性或非周期性特征的布置的至少一个图案。照射图案可以包括规则的和/或恒定的和/或周期性的图案,比如三角形图案、矩形图案、六边形图案或包括进一步的凸镶嵌的图案。照射图案可以表现出选自由以下各项组成的组中的至少一个照射特征:至少一个点;至少一条线;至少两条线,比如平行线或交叉线;至少一个点和一条线;周期性或非周期性特征的至少一种布置;至少一个任意形状的特征。照射图案可以包括选自由以下各项组成的组中的至少一个图案:至少一个点图案,特别是伪随机点图案;随机点图案或准随机图案;至少一个Sobol图案;至少一个准周期性图案;包括至少一个预先知道的特征的至少一个图案、至少一个规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案、包括凸均匀镶嵌的至少一个图案;包括至少一条线的至少一个线图案;包括如平行线或交叉线等至少两条线的至少一个线图案。例如,投影仪可以被配置为生成和/或投射点云。例如,投影仪可以被配置为生成点云,使得照射图案可以包括多个点特征。照射图案中两个特征(特别是光斑)之间的距离和/或至少一个照射特征的区域可能取决于反射图像中的弥散圆。
例如,投影仪可以适于生成和/或投射点云。投影仪可以包括至少一个光投影仪,该至少一个光投影仪适于生成点云,使得照射图案可以包括多个点图案。投影仪可以包括至少一个掩模,该至少一个掩模适于从光源生成的至少一个光束中生成照射图案。例如,投影仪包括至少一个激光光源,其中,照射图案包括激光光斑的网格。例如,投影仪包括被指定用于生成激光辐射的至少一个激光源。投影仪可以包括至少一个衍射光学元件(DOE)。投影仪可以是至少一个点投影仪,例如至少一个激光源和DOE,该至少一个点投影仪适于投射至少一个周期性点图案。
投影仪可以被配置为生成各自包括多个照射特征的多个照射图案。投影仪可以被配置为投射各自包括多个照射特征的两个、三个、四个、五个或更多个照射图案。照射图案可以具体地在照射特征的数量、照射特征的布置、照射特征的形状、照射特征的波长、照射特征的强度、张角等中的一项或多项方面有所不同。
投影仪可以包括被配置为从由激光源生成的至少一个光束生成照射图案的至少一个传递装置,特别是至少一个衍射光学元件。术语“传递装置”也被表示为“传递系统”,通常可以指被配置为修改光束的一个或多个光学元件,比如通过修改光束的射束参数、光束的宽度或光束的方向中的一项或多项。传递装置具体地可以包括以下各项中的一项或多项:至少一个透镜,例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个射束偏转元件,优选为至少一个反射镜;至少一个分束元件,优选为分束立方体或分束镜中的至少一者;至少一个多透镜系统。
例如,投影仪可以包括被配置为生成至少一个光束(也表示为激光束)的至少一个照射源,比如单个光源,特别是单个激光源。投影仪可以包括至少一个传递装置,该至少一个传递装置用于衍射和复制由单个激光源生成的激光束,以生成包括图案化照射特征的照射图案。特别地,投影仪包括用于衍射和复制光束的至少一个衍射光学元件。该衍射光学元件可以被配置为射束成形和/或分束。如本文所使用的,术语“复制”可以是指从一个光束生成多个光束,特别是倍增光束。
另外或可替代地,例如,投影仪可以包括根据被配置为生成光束簇的特定图案密集封装的光源(特别是激光源)的至少一个阵列。如本文所使用的,术语“密集封装”光源可以是指布置成簇的多个光源。光源的密度可以取决于各个光源的外壳的延伸和光束的可区分性。投影仪可以包括至少一个传递装置,该至少一个传递装置用于衍射和复制光束簇,以生成包括图案化照射特征的照射图案。
该照射图案进一步包括至少一个标记。如本文进一步使用的,术语“标记”可以是指与网格的局部偏差。标记可以是选自由以下组成的组中的至少一种元素:孔、孔的图案、附加特征、附加特征的图案、网格周期性的局部偏差、波长的局部偏差。
例如,标记可以是附加特征、附加特征的图案、网格周期性的局部偏差。如上所述,投影仪可以包括多个发射器。这些发射器中的至少一个可以是被配置为生成标记的标记发射器。其他发射器中的每一个可以被配置为生成这些照射特征中的至少一个。标记发射器可以是被定位成偏离矩阵位置(比如偏离网格的列和行)的(特别是附加的)发射器。可以通过将一些VCSEL发射器添加到规则网格来生成标记。标记发射器可以被配置为在照射图案中生成偏离照射特征网格的特征,特别是附加特征。
例如,标记可以是孔或孔的图案。投影仪可以包括被配置为生成标记的至少一个掩模。掩模可以被配置为覆盖这些发射器中的至少一个,使得由发射器生成的光不能穿过盖。另外或可替代地,发射器阵列可以包括孔或孔的图案,特别是矩阵的未填充位置。可以通过省去规则网格的一些VCSEL发射器来生成标记。
例如,标记可以是波长的局部偏差。投影仪可以包括至少一个光学元件,该至少一个光学元件被配置为调整这些发射器中的至少一个的波长,从而生成该标记,和/或这些发射器中的至少一个可以被配置为以不同于其他发射器的波长进行发射,从而生成该标记。
如上所述,投影仪可以包括发射器阵列,例如规则且周期性的阵列。投影仪可以包括至少一个控制单元,该至少一个控制单元被配置为关闭和打开用于生成标记的发射器。如本文进一步使用的,术语“控制单元”通常是指被配置为优选地通过使用至少一个数据处理装置并且更优选地通过使用至少一个处理器和/或至少一个专用集成电路来执行指定操作的任意装置。因此,作为示例,该至少一个控制单元可以包括至少一个数据处理装置,该至少一个数据处理装置上存储有软件代码,该软件代码包括多个计算机命令。控制单元可以提供用于执行指定操作中的一个或多个指定操作的一个或多个硬件元件和/或可以提供一个或多个在其上运行软件以执行指定操作中的一个或多个指定操作的处理器。控制单元可以包括一个或多个可编程装置,比如被配置为执行步骤b)和c)的一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而,另外或可替代地,控制单元还可以完全或部分地由硬件实施。
将标记添加到规则照射图案中可以允许增强(特别是简化)反射图像中的反射特征与发射器的匹配。反射图像中的成像标记的位置可以明确地限定发射器矩阵内的位置,从而允许容易地将其他反射特征与其对应的发射器相匹配。
在本发明的另一方面,披露了一种用于确定至少一个对象的位置的检测器。
如本文所使用的,术语“位置”是指关于对象和/或对象的至少一部分在空间中的位置和/或取向的至少一项信息。因此,该至少一项信息可以暗示对象的至少一个点与至少一个检测器之间的至少一个距离。该距离可以是对象的点的纵坐标,或者可以有助于确定其纵坐标。另外或可替代地,可以确定关于对象和/或对象的至少一部分的位置和/或取向的一项或多项其他信息。作为示例,另外,可以确定对象和/或对象的至少一部分的至少一个横坐标。因此,对象的位置可以暗示对象和/或对象的至少一部分的至少一个纵坐标。另外或可替代地,对象的位置可以暗示对象和/或对象的至少一部分的至少一个横坐标。另外或可替代地,对象的位置可以暗示对象的至少一个取向信息,从而指示对象在空间中的取向。
该检测器包括:
-至少一个根据本发明的投影仪;
-至少一个传感器元件,该至少一个传感器元件具有光学传感器的矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计成响应于从该对象传播到该检测器的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该传感器元件被配置为确定包括多个反射特征的至少一个反射图像,其中,这些反射特征中的每一个包括射束剖面;
--至少一个评估装置,该至少一个评估装置被配置为通过分析这些反射特征各自的射束剖面来确定这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,其中,该评估装置被配置为使用三角测量来确定精确的纵坐标。
该检测器包括根据本发明的投影仪。因此,关于检测器的实施例和定义,参考投影仪的描述。
检测器可以包括至少一个传递装置,比如与投影仪共用的传递装置或另一传递装置。传递装置可以被配置为将光束引导到光学传感器上。因此,传递装置可以放置在对象与光学传感器之间。传递装置具体地可以包括以下各项中的一项或多项:至少一个透镜,例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个射束偏转元件,优选为至少一个反射镜;至少一个分束元件,优选为分束立方体或分束镜中的至少一者;至少一个多透镜系统。传递装置可以具有响应于穿过传递装置的光束的焦距。如本文所使用的,传递装置的“焦距”这一术语可以是指可能照射在传递装置上的入射准直射线进入“聚焦”(也可以表示为“焦点”)的距离。因此,焦距构成传递装置使照射光束会聚的能力的量度。因此,传递装置可以包括一个或多个成像元件,成像元件可以具有会聚透镜的作用。例如,传递装置可以具有一个或多个透镜,特别是一个或多个折射透镜、和/或一个或多个凸面镜。在这个示例中,焦距可以被定义为从薄折射透镜的中心到薄透镜的主焦点的距离。对于会聚薄折射透镜(比如凸或双凸薄透镜),焦距可以被认为是正的并且可以提供照射在作为传递装置的薄透镜上的准直光束可以聚焦成单个光斑的距离。另外,传递装置可以包括至少一个波长选择元件,例如至少一个光学滤波器。另外,传递装置可以被设计为例如在传感器区、特别是传感器区域的位置处对电磁辐射施加预定义的射束剖面。原则上,传递装置的上述可选实施例可以单独地或以任何期望的组合来实现。
传递装置可以具有光轴。特别地,检测器和传递装置(例如,投影仪和检测器共用的传递装置)具有公共光轴。如本文所使用的,术语“传递装置的光轴”通常是指透镜或透镜系统的镜面对称轴线或旋转对称轴线。检测器的光轴可以是检测器的光学设置的对称线。该检测器包括至少一个传递装置,优选地具有至少一个透镜的至少一个传递系统。作为示例,传递系统可以包括至少一个射束路径,该射束路径中的传递系统元件相对于光轴以旋转对称的方式定位。然而,如下面将进一步详细概述的,位于射束路径内的一个或多个光学元件也可以相对于光轴偏心或倾斜。然而,在这种情况下,可以顺序地限定光轴,比如通过将射束路径中的光学元件的中心互连,例如通过将透镜的中心互连,其中,在本上下文中,光学传感器不被算作光学元件。光轴通常可以表示射束路径。其中,检测器可以具有单个射束路径(光束可以沿着该单个射束路径从对象行进到光学传感器),也可以具有多个射束路径。作为示例,可以给出单个射束路径,也可以将射束路径分离成两个或更多个部分射束路径。在后一种情况下,每个部分射束路径可以具有其自己的光轴。光学传感器可以位于同一个射束路径或部分射束路径中。然而,可替代地,光学传感器也可以位于不同的部分射束路径中。
传递装置可以构成坐标系,其中,纵坐标l是沿着光轴的坐标,并且其中,d是相对于光轴的空间偏移。坐标系可以是极坐标系,其中传递装置的光轴形成z轴,并且其中,距z轴的距离、以及极角可以用作附加坐标。平行于或反向平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵坐标z。垂直于z轴的任何方向可以被认为是横向方向,并且极坐标和/或极角可以被认为是横坐标。
如本文所使用的,术语“射束”通常是指射线的集合。在下文中,术语“射线”和“射束”将作为同义词使用。如本文进一步使用的,术语“光束”通常是指一定量的光,具体地是指基本上沿相同方向行进的一定量的光,包括光束具有扩展角或加宽角的可能性。
光束可以包括至少一个射束剖面。光束可以具有空间延伸。具体地,光束可以具有非高斯射束剖面。射束剖面可以选自由以下各项组成的组:梯形射束剖面;三角形射束剖面;锥形射束剖面。梯形射束剖面可以具有高台区和至少一个边缘区。光束可以是高斯光束或者高斯光束的线性组合。如本文所使用的,术语“射束剖面”涉及光束强度的空间分布,特别是在垂直于光束传播的至少一个平面中的空间分布。射束剖面可以是光束的横向强度剖面。射束剖面可以是光束的截面。射束剖面可以选自由以下各项组成的组:梯形射束剖面;三角形射束剖面;锥形射束剖面、以及高斯射束剖面的线性组合。然而,其他实施例也是可行的。投影仪可以包括至少一个传递装置,该至少一个传递装置可以被配置为对射束剖面、特别是射束剖面的形状进行调整、限定以及确定中的一项或多项。
如本文所使用的,术语“传感器元件”通常是指被配置用于感测至少一个参数的装置、或多个装置的组合。在这种情况下,参数具体地可以为光学参数,并且传感器元件具体地可以为光学传感器元件。传感器元件可以形成为整体的单个装置或者形成为若干装置的组合。如本文进一步使用的,术语“矩阵”通常是指多个元素按照预定几何顺序的布置。如下面将进一步详细概述的,矩阵具体地可以是或可以包括具有一行或多行和一列或多列的矩形矩阵。具体地,行和列可以以矩形方式布置。然而,应当概述的是,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元素围绕中心点布置成同心圆或椭圆形。例如,矩阵可以是单行像素。其他布置也是可行的。
具体地,矩阵的光学传感器在尺寸、敏感性和其他光学特性、电特性和机械特性中的一个或多个方面可以相同。具体地,矩阵的所有光学传感器的光敏区域可以位于公共平面内,该公共平面优选地面向对象,使得从对象传播到检测器的光束可以在该公共平面上生成光斑。
如本文所使用的,“光学传感器”通常是指用于检测光束(比如用于检测由至少一个光束生成的照射和/或光斑)的光敏装置。如本文进一步使用的,“光敏区域”通常是指光学传感器的可以由至少一个光束从外部照射的区域,响应于该照射,生成该至少一个传感器信号。光敏区域具体地可以位于相应光学传感器的表面上。然而,其他实施例也是可行的。如本文所使用的,术语“各自具有至少一个光敏区域的光学传感器”是指各自具有一个光敏区域的多个单一光学传感器的配置以及具有多个光敏区域的一个组合光学传感器的配置。因此,术语“光学传感器”还是指被配置为生成一个输出信号的光敏装置,而在本文中,被配置为生成两个或更多个输出信号的光敏装置(例如至少一个CCD和/或CMOS器件)被称为两个或更多个光学传感器。如下面将进一步详细概述的,每个光学传感器可以被实施为使得在相应光学传感器中存在恰好一个光敏区域,比如通过提供恰好一个可以被照射的光敏区域,响应于该照射,为整个光学传感器产生恰好一个统一的传感器信号。因此,每个光学传感器可以是单区域光学传感器。然而,单区域光学传感器的使用使得检测器的设置具体地变得特别简单和高效。因此,作为示例,可以在设置中使用各自仅具有一个敏感区域的可商购的光电传感器,比如可商购的硅光电二极管。然而,其他实施例也是可行的。因此,作为示例,可以使用包括两个、三个、四个或多于四个的光敏区域的光学器件,该光学器件在本发明的上下文中被视为两个、三个、四个或多于四个的光学传感器。如上所述,传感器元件包括光学传感器的矩阵。因此,作为示例,光学传感器可以构成像素化光学器件或是其一部分。作为示例,光学传感器可以构成至少一个具有像素矩阵的CCD和/或CMOS器件或者是其一部分,每个像素形成一个光敏区域。
如上所述的,具体地,光学传感器可以是或可以包括光电探测器,优选地无机光电探测器,更优选地无机半导体光电探测器,最优选地硅光电探测器。具体地,光学传感器可以在红外光谱范围内是敏感的。具体地,矩阵的所有光学传感器或者矩阵的至少一组光学传感器可以是相同的。具体地,可以针对不同的光谱范围提供矩阵中的多组相同的光学传感器,或者所有光学传感器在光谱敏感度方面可以是相同的。进一步地,光学传感器在尺寸上和/或在它们的电子或光电特性方面可以是相同的。
具体地,光学传感器可以是或者可以包括在红外光谱范围内、优选地在780nm至3.0微米的范围内具有敏感性的无机光电二极管。具体地,光学传感器可以在硅光电二极管适用的近红外区的部分中(具体地是在700nm至1000nm的范围内)是敏感的。可以用于光学传感器的红外光学传感器可以是可商购的红外光学传感器,比如可从德国莱茵河畔路德维希港(D-67056)的trinamiX GmbH公司以商品名HertzstueckTM商购的红外光学传感器。因此,作为示例,光学传感器可以包括至少一个本征光伏型的光学传感器,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展型InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。另外或可替代地,光学传感器可以包括至少一个非本征光伏型的光学传感器,更优选地选自由以下各项组成的组中的至少一个半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。另外或可替代地,光学传感器可以包括至少一个辐射热计,优选地选自由VO辐射热计和非晶Si辐射热计组成的组中的辐射热计。
矩阵可以由独立的光学传感器组成。因此,矩阵可以由无机光电二极管组成。然而,可替代地,可以使用可商购矩阵,比如CCD检测器(比如CCD检测器芯片)和/或CMOS检测器(比如CMOS检测器芯片)中的一者或多者。
因此,一般来说,检测器的光学传感器可以形成传感器阵列,或者可以是传感器阵列(比如上述矩阵)的一部分。因此,作为示例,检测器可以包括光学传感器的阵列,比如具有m行和n列的矩形阵列,其中,m、n分别为正整数。优选地多于一列和多于一行,即,n>1,m>1。因此,作为示例,n可以是2至16或更高,并且m可以是2至16或更高。优选地,行数与列数之比接近1。作为示例,可以将n和m选择成使得0.3≤m/n≤3,比如通过选择m/n=1:1、4:3、16:9等等。作为示例,阵列可以是具有相同数量的行和列的正方形阵列,比如通过选择m=2、n=2或m=3、n=3等。
具体地,矩阵可以为具有至少一行(优选地多行)和多列的矩形矩阵。作为示例,行和列可以基本上垂直地定向,其中,关于术语“基本上垂直”,可以参考上文给出的定义。因此,作为示例,小于20°、具体地小于10°或者甚至小于5°的公差可以是可接受的。为了提供宽范围的视野,矩阵具体地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可以具有至少10列,优选地至少50列,更优选地至少100列。矩阵可以包括至少50个光学传感器,优选地至少100个光学传感器,更优选地至少500个光学传感器。矩阵可以包括数百万像素范围内的像素数量。然而,其他实施例也是可行的。因此,在预期具有轴向旋转对称的设置中,矩阵的光学传感器(也可以称为像素)的圆形布置或同心布置可能是优选的。
优选地,传感器元件可以基本上垂直于检测器的光轴定向。再次,关于术语“基本上垂直”,可以参考上文给出的定义和公差。光轴可以是笔直的光轴,或可以是弯曲的或甚至是分离的(比如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器),其中,在后一种情况下,基本上垂直的取向可以是指光学设置的相应分支或射束路径中的局部光轴。
反射的光束可以从对象向检测器传播。投影仪可以利用照射图案来照射对象,并且光被对象反射或散射,并且由此至少部分地作为反射光束被引导至检测器。
每个光学传感器被设计成响应于从对象传播到检测器的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号。具体地,反射光束可以完全照射传感器元件,使得传感器元件完全位于光束内,其中,光束的宽度大于矩阵。反之,优选地,反射光束具体地可以在整个矩阵上产生小于矩阵的光斑,使得光斑完全位于矩阵内。这种情况可以由光学领域的技术人员通过选择对光束具有聚焦或散焦效果的一个或多个合适的透镜或元件(比如通过使用合适的传递装置)来容易地调整。
如本文进一步使用的,“传感器信号”通常是指由光学传感器响应于光束的照射而生成的信号。具体地,传感器信号可以是或者可以包括至少一个电信号,比如至少一个模拟电信号和/或至少一个数字电信号。更具体地,传感器信号可以是或者可以包括至少一个电压信号和/或至少一个电流信号。更具体地,传感器信号可以包括至少一个光电流。进一步地,可以使用原始传感器信号,或者检测器、光学传感器或任何其他元件可以被配置为处理或预处理传感器信号(比如通过滤波等进行预处理),从而生成次级传感器信号,该次级传感器信号也可以用作传感器信号。
可以使用光学传感器的原始传感器信号或者由其得出的次级传感器信号进行评估。如本文所使用的,术语“次级传感器信号”通常是指通过处理一个或多个原始信号(比如通过滤波、平均、解调等)而获得的信号,比如电子信号,更优选地模拟信号和/或数字信号。因此,可以使用图像处理算法从矩阵的全部传感器信号或从矩阵内的关注区中生成次级传感器信号。具体地,检测器(比如评估装置)可以被配置为变换光学传感器的传感器信号,从而生成次级光学传感器信号,其中,评估装置被配置为通过使用次级光学传感器信号来执行距离信息的确定。具体地,传感器信号的变换可以包括选自由以下各项组成的组中的至少一种变换:滤波;选择至少一个关注区;形成由传感器信号创建的图像与至少一个偏移之间的差分图像;通过反转由传感器信号创建的图像来反转传感器信号;形成由传感器信号在不同时间创建的图像之间的差分图像;背景校正;分解为颜色通道;分解为色调;饱和度;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用罗伯茨算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二值图像。关注区可以是由用户手动确定的或可以是比如通过识别由光学传感器生成的图像内的对象来自动确定的。作为示例,可以通过在图像内(即,在由光学传感器生成的全部传感器信号内)进行自动图像识别来确定车辆、人或另一类型的预定对象,并且可以将关注区选择成使得对象位于关注区内。在这种情况下,可以仅对关注区来执行评估,比如确定纵坐标。然而,其他实施方式也是可行的。
具体地,光敏区域可以定向为朝向对象。如本文所使用的,术语“定向为朝向对象”通常是指从对象上完全或部分可见光敏区域的相应表面的情况。具体地,对象的至少一点与相应的光敏区域的至少一点之间的至少一条互连线可以与光敏区域的表面元件形成不为0°的角度,比如角度在20°至90°范围内,优选地80°至90°,比如90°。因此,当对象位于光轴上或接近光轴时,从对象向检测器传播的光束可以基本上平行于光轴。如本文所使用的,术语“基本上垂直”是指垂直取向的状况,公差为例如±20°或更小,优选地公差为±10°或更小,更优选公差为±5°或更小。类似地,术语“基本上平行”是指平行取向的条件,公差例如为±20°或更小,优选地公差为±10°或更小,更优选地公差为±5°或更小。
光学传感器可以在紫外光谱范围、可见光谱范围或红外光谱范围中的一个或多个光谱范围中是敏感的。具体地,光学传感器可以在500nm至780nm的可见光谱范围内、最优选地在650nm至750nm或在690nm至700nm是敏感的。具体地,光学传感器可以在近红外区中是敏感的。具体地,光学传感器可以在硅光电二极管适用的近红外区的部分中(具体地是在700nm至1000nm的范围内)是敏感的。具体地,光学传感器可以在红外光谱范围内、具体地在780nm至3.0微米的范围内是敏感的。例如,光学传感器均独立地可以是或者可以包括选自由光电二极管、光电池、光电导体、光电晶体管或以上各项的任意组合组成的组中的至少一个元件。例如,光学传感器可以是或者可以包括选自由CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或以上各项的任意组合组成的组中的至少一个元件。可以使用任何其他类型的光敏元件。如下面将进一步详细概述的,光敏元件通常可以完全或部分地由无机材料制成和/或可以完全或部分地由有机材料制成。最常见的是,如下文将进一步详细概述的,可以使用一个或多个光电二极管,比如可购买到的光电二极管,例如无机半导体光电二极管。
如本文所使用的,术语“反射图像”是指由光学传感器确定的包括至少一个反射特征的图像、和/或在至少一个特征方面对光学传感器的图像的评估、和/或对外在参数(比如旋转和平移)的变换。反射特征中的每一个都包括射束剖面。如本文所使用的,术语“反射特征”是指由对象响应于照射(例如用至少一个照射特征)而生成的图像平面中的特征。反射图像可以包括包含至少一个反射特征的至少一个反射图案。如本文所使用的,术语“确定至少一个反射图像”是指对反射图像进行成像、记录以及生成中的一项或多项。
传感器元件可以被配置为确定至少一个反射图案。如本文所使用的,术语“反射图案”是指由光在对象表面处的反射或散射生成的响应图案,特别是由对象响应于照射图案的照射而生成的响应图案。反射图案可以包括与照射图案的至少一个特征相对应的至少一个特征。与照射图案相比,反射图案可以包括至少一个畸变图案,其中,畸变取决于到对象、比如对象的表面特性的距离。反射图像可以进一步包括成像标记。
评估装置可以被配置为选择反射图案的至少一个特征,并通过评估来自传感器信号的组合信号Q来确定反射图案的所选特征的纵向区,这如上文所述并且会在下文更详细地描述。
如本文进一步使用的,术语“评估装置”通常是指被配置为优选地通过使用至少一个数据处理装置并且更优选地通过使用至少一个处理器和/或至少一个专用集成电路来执行指定操作的任意装置。因此,作为示例,该至少一个评估装置可以包括至少一个数据处理装置,该至少一个数据处理装置上存储有软件代码,该软件代码包括多个计算机命令。评估装置可以提供用于执行指定操作中的一个或多个指定操作的一个或多个硬件元件和/或可以提供一个或多个在其上运行软件以执行指定操作中的一个或多个指定操作的处理器。上述操作,包括确定对象的至少一个纵坐标,由至少一个评估装置执行。因此,作为示例,如下文将概述的一种或多种关系可以以软件和/或硬件实施,比如通过实施一个或多个查找表。因此,作为示例,评估装置可以包括被配置为执行上述评估以确定对象的至少一个纵坐标的一个或多个可编程装置,比如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而,另外或可替代地,评估装置还可以完全或部分地由硬件实施。
评估装置可以被配置为选择反射图像的至少一个反射特征。评估装置可以被配置为连续选择反射图像的反射特征。评估装置可以被配置为对反射图像执行图像分析,从而识别反射图像的反射特征。如本文所使用的,术语“选择至少一个反射特征”是指识别、确定以及选择反射图像的至少一个反射特征中的一项或多项。评估装置可以被配置为执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;选择至少一个关注区;形成由传感器信号创建的图像与至少一个偏移之间的差分图像;通过反转由传感器信号创建的图像来反转传感器信号;形成由传感器信号在不同时间创建的图像之间的差分图像;背景校正;分解为颜色通道;分解为色调;饱和度;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用罗伯茨算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二值图像。关注区可以是由用户手动确定的或可以是比如通过识别由光学传感器生成的图像内的对象来自动确定的。
如本文所使用的,术语“距离信息”可以是指通过使用组合信号Q确定的纵坐标。检测器可以被配置为根据组合信号Q针对反射图像的至少一个反射特征来确定对象点的纵坐标。因此,检测器可以被配置为对反射图像的至少一个反射特征进行预分类和/或提供反射特征的距离估计。具体地,检测器可以被配置为通过在考虑距离信息(特别是预分类和/或距离估计)的情况下使用三角测量法来确定对象的至少一个更准确的距离信息。
评估装置被配置为通过分析反射图像的所选反射特征各自的射束剖面来确定至少一个距离信息,即,这些反射特征的纵坐标z。该技术称为射束剖面分析或光子比率深度(depth-from-photon-ratio)技术,并且包括通过评估来自传感器信号的组合信号Q来确定纵坐标。射束剖面分析(特别是使用组合信号Q确定纵坐标)通常是本领域技术人员已知的,比如可从WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640A1得知,其内容通过引用纳入本文。
分析射束剖面包括评估来自相应传感器信号(特别是由光学传感器在检测到其光敏区域上的反射光束时生成的传感器信号)的组合信号Q。每个光学传感器被设计成响应于从对象传播到检测器的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号。
如本文所使用的,术语“组合信号Q”是指通过将传感器信号组合生成的信号,特别是通过以下中的一个或多个生成的信号:传感器信号相除,传感器信号的倍数相除或传感器信号线性组合相除。评估装置可以被配置为通过传感器信号相除、传感器信号的倍数相除、传感器信号的线性组合相除中的一项或多项来得出组合信号Q。评估装置可以被配置为使用组合信号Q与纵向区之间的至少一种预定关系来确定纵向区。
例如,评估装置可以被配置为通过得出组合信号Q,
其中,x和y为横坐标,A1和A2为在传感器位置处的反射光束的至少一个射束剖面的不同区域,并且E(x,y,zo)表示在对象距离zo处给出的射束剖面。区域A1和区域A2可能不同。特别地,A1和A2不全等。因此,A1和A2可以在形状或内容中的一个或多个方面不同。
一般来说,射束剖面取决于亮度L(zo)和射束形状S(x,y;zo),E(x,y;zo)=L·S。因此,通过得出组合信号,可以允许独立于亮度来确定纵坐标。另外,使用组合信号允许独立于对象尺寸来确定距离zo。因此,组合信号允许独立于对象的材料特性和/或反射特性和/或散射特性并且独立于光源的改变(例如由于制造精度、热、水、污垢、透镜上的损坏等)来确定距离zo
每个传感器信号可以包括光束的射束剖面的至少一个区域的至少一个信息。如本文所使用的,术语“射束剖面的区域”通常是指传感器位置处的用于确定组合信号Q的射束剖面的任意区。
光敏区域可以被布置为使得第一传感器信号包括射束剖面的第一区域的信息,并且第二传感器信号包括射束剖面的第二区域的信息。射束剖面的第一区域和射束剖面的第二区域可以是相邻或重叠区中的一者或两者。射束剖面的第一区域和射束剖面的第二区域可以在面积上不全等。
评估装置可以被配置为确定和/或选择射束剖面的第一区域和射束剖面的第二区域。射束剖面的第一区域可以包括射束剖面的基本上边缘信息,并且射束剖面的第二区域可以包括射束剖面的基本上中心信息。射束剖面可以具有中心(即射束剖面的最大值和/或射束剖面的高台的中心点和/或光斑的几何中心)、以及从中心延伸的下降边缘。第二区可以包括截面的内部区并且第一区可以包括截面的外部区。如本文所使用的,术语“基本上中心信息”通常是指与中心信息的比例(即,对应于中心的强度分布的比例)相比,边缘信息的比例(即,对应于边缘的强度分布的比例)低。优选地,中心信息具有的边缘信息的比例小于10%,更优选地小于5%,最优选地中心信息不包括边缘内容。如本文所使用的,术语“基本上边缘信息”通常是指与边缘信息的比例相比,中心信息的比例低。边缘信息可以包括整个射束剖面的信息,特别是来自中心区和边缘区的信息。边缘信息可以具有的中心信息的比例小于10%,优选地小于5%,更优选地边缘信息不包括中心内容。如果射束剖面的至少一个区域靠近或围绕中心并且包括基本上中心信息,则可以将该区域确定和/或选择为射束剖面的第二区域。如果射束剖面的至少一个区域包括截面的下降边缘的至少多个部分,则可以将该区域确定和/或选择为射束剖面的第一区域。例如,可以将截面的整个区域确定为第一区。射束剖面的第一区域可以是区域A2,并且射束剖面的第二区域可以是区域A1。
第一区域A1和第二区域A2的其他选择也可以是可行的。例如,第一区域可以包括射束剖面的基本上外部区,并且第二区域可以包括射束剖面的基本上内部区。例如,在二维射束剖面的情况下,射束剖面可以划分为左侧部分和右侧部分,其中,第一区域可以包括基本上射束剖面的左侧部分的区域,并且第二区域可以包括基本上射束剖面的右侧部分的区域。
边缘信息可以包括与射束剖面的第一区域中的光子数量有关的信息,并且中心信息可以包括与射束剖面的第二区域中的光子数量有关的信息。评估装置可以被配置用于确定射束剖面的面积积分。评估装置可以被配置为通过对第一区域进行积分和/或求和来确定边缘信息。评估装置可以被配置用于通过对第二区域进行积分和/或求和来确定中心信息。例如,射束剖面可以是梯形射束剖面,并且评估装置可以被配置用于确定梯形的积分。进一步地,当可以假设梯形射束剖面时,对边缘信号和中心信号的确定可以被替换为利用对梯形射束剖面的特性进行的等效评估,比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
另外或可替代地,评估装置可以被配置为根据光斑的至少一个切片或切割确定中心信息或边缘信息中的一者或两者。这可以例如通过用沿切片或切割的线积分代替组合信号Q中的面积积分来实现。为了提高准确性,可以使用光斑的若干个切片或切割并对其进行平均。在椭圆形光斑剖面的情况下,对若干个切片或切割进行平均可以得到改进的距离信息。
在一个实施例中,从对象传播到检测器的光束可以用包括多个特征点的至少一个反射图案来照射传感器元件。如本文所使用的,术语“特征点”是指图案的至少一个至少部分延伸的特征。特征点可以选自由以下各项组成的组:至少一个点、至少一条线、至少一条边。反射图案可以由对象例如响应于至少一个光源利用包括至少一个图案的照射图案的照射而生成。A1可以对应于特征点在光学传感器上的全部或完整区域。A2可以是特征点在光学传感器上的中心区域。中心区域可以是恒定值。与特征点的整个区域相比,中心区域可以更小。例如,在圆形特征点的情况下,中心区域的半径可以为特征点全半径的0.1至0.9,优选地为全半径的0.4至0.6。
评估装置可以被配置为通过边缘信息和中心信息相除、边缘信息和中心信息的倍数相除、边缘信息和中心信息的线性组合相除中的一项或多项来得出组合信号Q。因此,本质上,光子比率可以用作该技术的物理基础。
例如,评估装置可以被配置为通过以下方式评估传感器信号:
-确定具有最高传感器信号的至少一个光学传感器并形成至少一个中心信号;
-评估矩阵的光学传感器的传感器信号并形成至少一个总和信号;
-通过将中心信号与总和信号相组合来确定至少一个组合信号;以及
-通过评估该组合信号来确定所选特征的至少一个纵坐标z。
因此,根据本发明,术语“中心信号”通常是指包括射束剖面的基本上中心信息的至少一个传感器信号。例如,中心信号可以是由整个矩阵中或矩阵内的关注区中的光学传感器生成的多个传感器信号中具有最高传感器信号的至少一个光学传感器的信号,其中,该关注区可以是预定的或可在由矩阵的光学传感器生成的图像内确定。如本文所使用的,术语“最高传感器信号”是指局部最大值或关注区中的最大值中的一者或两者。中心信号可以源自单一光学传感器,或者如下文将进一步详细概述的源自一组光学传感器,其中,在后一种情况下,作为示例,该组光学传感器的传感器信号可以被相加、积分或平均,以便确定中心信号。产生中心信号的一组光学传感器可以是一组相邻的光学传感器,比如与具有最高传感器信号的实际光学传感器相距小于预定距离的光学传感器,也可以是生成的传感器信号在最高传感器信号的预定范围内的一组光学传感器。可以以尽可能大的方式来选择产生中心信号的一组光学传感器,以便允许最大动态范围。评估装置可以被配置为通过对多个传感器信号(例如具有最高传感器信号的光学传感器周围的多个光学传感器)进行积分来确定中心信号。例如,射束剖面可以是梯形射束剖面,并且评估装置可以被配置为确定梯形的积分,特别是梯形的高台的积分。
如上所述,中心信号通常可以是单个传感器信号,比如来自光斑中心的光学传感器的传感器信号,也可以是多个传感器信号的组合,比如,由光斑中心的光学传感器产生的传感器信号的组合,还可以是通过处理由一种或多种上述可能性得出的传感器信号而得出的次级传感器信号。由于常规电子设备能相当简单地实施传感器信号的比较,因此中心信号的确定可以以电子方式执行,或者可以完全或部分地通过软件执行。具体地,中心信号可以选自由以下各项组成的组:最高传感器信号;处于与最高传感器信号的预定公差范围内的一组传感器信号的平均值;来自一组光学传感器(其包含具有最高传感器信号的光学传感器和一组预定的相邻光学传感器)的传感器信号的平均值;来自一组光学传感器(其包含具有最高传感器信号的光学传感器和一组预定的相邻光学传感器)的传感器信号的总和;处于与最高传感器信号的预定公差范围内的一组传感器信号的总和;高于预定阈值的一组传感器信号的平均值;高于预定阈值的一组传感器信号的总和;来自一组光学传感器(其包含具有最高传感器信号的光学传感器和一组预定的相邻光学传感器)的传感器信号的积分;处于与最高传感器信号的预定公差范围内的一组传感器信号的积分;高于预定阈值的一组传感器信号的积分。
类似地,术语“总和信号”通常是指包括射束剖面的基本上边缘信息的信号。例如,可以通过将传感器信号相加、对传感器信号进行积分或者对整个矩阵中或矩阵内的关注区中的传感器信号求平均来得出总和信号,其中,该关注区可以是预定的或可在由矩阵的光学传感器生成的图像内确定。当对传感器信号进行相加、积分或平均时,生成传感器信号的实际光学传感器可以被排除在相加、积分或平均之外,可替代地,其也可以被包括在相加、积分或平均中。评估装置可以被配置为通过对整个矩阵中或矩阵内的关注区中的信号进行积分来确定总和信号。例如,射束剖面可以是梯形射束剖面,并且评估装置可以被配置为确定整个梯形的积分。进一步地,当可以假设梯形射束剖面时,对边缘信号和中心信号的确定可以被替换为利用对梯形射束剖面的特性进行的等效评估,比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
类似地,也可以通过使用射束剖面的区段(比如射束剖面的圆形区段)来确定中心信号和边缘信号。例如,可以通过不经过射束剖面的中心的割线或弦将射束剖面划分为两个区段。因此,一个区段将基本上包含边缘信息,而另一区段将包含基本上中心信息。例如,为了进一步减少中心信号中的边缘信息量,可以进一步从中心信号中减去边缘信号。
另外或可替代地,评估装置可以被配置为根据光斑的至少一个切片或切割确定中心信息或边缘信息中的一者或两者。这可以例如通过用沿切片或切割的线积分代替组合信号Q中的面积积分来实现。为了提高准确性,可以使用光斑的若干个切片或切割并对其进行平均。在椭圆形光斑剖面的情况下,对若干个切片或切割进行平均可以得到改进的距离信息。
组合信号可以是通过组合中心信号与总和信号而生成的信号。具体地,该组合可以包括以下各项中的一项或多项:形成中心信号与总和信号的商,反之亦然;形成中心信号的倍数与总和信号的倍数的商,反之亦然;形成中心信号的线性组合与总和信号的线性组合的商,反之亦然。另外或可替代地,组合信号可以包括包含关于中心信号与总和信号之间的比较的至少一项信息的任意信号或信号组合。
对光斑中心的检测(即,对中心信号和/或产生中心信号的至少一个光学传感器的检测)可以完全或部分地以电子的方式执行,也可以完全或部分地通过使用一个或多个软件算法来执行。具体地,评估装置可以包括至少一个中心检测器,其用于检测至少一个最高传感器信号和/或用于形成中心信号。具体地,中心检测器可以完全或部分地以软件体现,和/或可以完全或部分地以硬件体现。中心检测器可以完全或部分地集成到至少一个传感器元件中,和/或可以完全或部分地独立于传感器元件来体现。
总和信号可以源自矩阵的所有传感器信号、关注区内的传感器信号、或这些可能性之一但不包括对中心信号有贡献的光学传感器产生的传感器信号。在每种情况下,都可以生成可靠的总和信号,可以将总和信号与中心信号以可靠的方式进行比较,以便确定纵坐标。一般来说,总和信号可以选自由以下各项组成的组:矩阵的所有传感器信号的平均值;矩阵的所有传感器信号的总和;矩阵的所有传感器信号的积分;除了那些对中心信号有贡献的光学传感器的传感器信号以外矩阵的所有传感器信号的平均值;除了那些对中心信号有贡献的光学传感器的传感器信号以外矩阵的所有传感器信号的总和;除了那些对中心信号有贡献的光学传感器的传感器信号以外矩阵的所有传感器信号的积分;与具有最高传感器信号的光学传感器相距预定范围内的光学传感器的传感器信号的总和;与具有最高传感器信号的光学传感器相距预定范围内的光学传感器的传感器信号的积分;位于与具有最高传感器信号的光学传感器的预定范围内的光学传感器的特定阈值以上的传感器信号的总和;位于与具有最高传感器信号的光学传感器的预定范围内的光学传感器的特定阈值以上的传感器信号的积分。然而,还存在其他选项。
求和可以完全或部分地以软件执行,和/或可以完全或部分地以硬件执行。求和通常可以通过纯电子手段实现,该电子手段通常可以容易地实施到检测器中。因此,在电子领域中,求和装置通常已知用于对两个或更多个电信号(模拟信号和数字信号二者都可)进行求和。因此,评估装置可以包括用于形成总和信号的至少一个求和装置。求和装置可以完全或部分地集成到传感器元件中,也可以完全或部分地独立于传感器元件来体现。求和装置可以完全或部分地以硬件或软件之一或两者来体现。
具体地,中心信号与总和信号之间的比较可以通过形成一个或多个商信号来执行。因此,一般来说,组合信号Q可以是通过以下各项中的一项或多项得出的商信号:形成中心信号与总和信号的商,反之亦然;形成中心信号的倍数与总和信号的倍数的商,反之亦然;形成中心信号的线性组合与总和信号的线性组合的商,反之亦然;形成中心信号与总和信号和中心信号的线性组合的商,反之亦然;形成总和信号与总和信号和中心信号的线性组合的商,反之亦然;形成中心信号的幂与总和信号的幂的商,反之亦然。然而,还存在其他选项。评估装置可以被配置为形成一个或多个商信号。评估装置可以进一步被配置为通过评估至少一个商信号来确定至少一个纵坐标。
评估装置被配置为使用组合信号Q与纵坐标之间的至少一种预定关系来确定距离信息,特别是通过使用传感器信号之间的至少一种已知的、可确定的或预定的关系。具体地,评估装置被配置为通过使用从传感器信号得出的商信号与纵坐标之间的至少一种已知的、可确定的或预定的关系来确定对象的至少一个坐标。该预定关系可以是经验关系、半经验关系和分析得出的关系中的一个或多个。评估装置可以包括至少一个数据存储装置,用于存储预定关系,比如查找列表或查找表。
因此,由于上述原因以及光斑特性对纵坐标的依赖性,组合信号Q通常是对象的纵坐标和/或光斑尺寸(比如光斑直径或等效直径)的单调函数。因此,作为示例,特别是在使用线性光学传感器的情况下,传感器信号scenter与总和信号ssum的简单商Q=scenter/ssum可以是距离的单调递减函数。不想受这一理论的束缚,但相信这是由于在上述优选设置中,中心信号scenter和总和信号ssum二者都会随着与光源距离的增加而按照平方函数减少,原因是到达检测器的光量会减少。不过,中心信号scenter的减小速度比总和信号ssum的减小速度更快,这是因为在实验中使用的光学设置中,图像平面上的光斑会增大,因此会扩散到更大的区域。因此,中心信号与总和信号的商随着光束直径或矩阵的光学传感器的光敏区域上的光斑直径的增大而连续减小。进一步地,该商通常独立于光束的总功率,这是因为光束的总功率在中心信号和总传感器信号两者中都形成因子。因此,组合信号Q可以形成次级信号,该次级信号提供中心信号和总和信号与光束的尺寸或直径之间的唯一且明确的关系。另一方面,由于光束的尺寸或直径取决于对象(光束从其向检测器传播)与检测器本身之间的距离,即,取决于对象的纵坐标,因此一方面的中心信号和总和信号与另一方面的纵坐标之间可以存在唯一且明确的关系。该预定关系可以通过分析考虑(比如假设高斯光束的线性组合)、通过经验测量(比如通过测量组合信号和/或中心信号和总和信号或者从其得出的随对象纵坐标而变化的次级信号所得的测量结果)或两者兼并来确定。
可以通过使用不同手段来确定组合信号Q。作为示例,可以使用用于得出商信号的软件手段、用于得出商信号的硬件手段或两者,并可以将其实施在评估装置中。因此,作为示例,评估装置可以包括至少一个除法器,其中,该除法器被配置用于导出商信号。除法器可以完全或部分地实施为软件除法器或硬件除法器之一或两者。除法器可以完全或部分地集成到传感器元件回答中,也可以完全或部分地独立于传感器元件来体现。
利用射束剖面分析进行深度测量可以允许,即使在导致多重反射的环境以及在有偏光源或反射性测量对象的情况下,也能可靠地确定距离,同时降低计算需求、特别是降低处理能力。射束剖面分析可以允许根据传感器元件的图像来估计深度图。具体地,利用射束剖面分析确定的距离可以提供每个照射特征的距离估计,并且可以针对传感器元件和投影仪的已知、特别是固定位置通过三角测量方法来细化该距离估计。
为了使用三角测量法计算精确的纵坐标,需要解决所谓的对应关系问题。每个反射特征需要与参考网格的参考网格点进行匹配,即,与参考特征进行匹配。参考特征可以是发射器矩阵中的发射器。如本文所使用的,术语“参考图像”是指在与反射图像相比的不同空间位置处确定的与反射图像不同的图像。可以通过记录至少一个参考特征、对至少一个参考特征进行成像、计算参考图像中的一项或多项来确定参考图像。具体地,参考图像包括至少一个参考图案(也表示为参考网格),该至少一个参考图案包括多个参考特征。如本文所使用的,术语“参考特征”是指参考图像的至少一个特征。参考图像和反射图像可以是在具有固定距离的不同空间位置处确定的对象图像。该距离可以是相对距离,也称为基线。例如,参考图像可以是参考网格,比如投影仪位置处的图像平面上的照射图案的图像。投影仪与传感器元件可以分隔开固定距离。
评估装置可以被配置为确定至少一个参考图像中与至少一个反射特征相对应的至少一个参考特征。评估装置可以被配置为执行图像分析并且识别反射图像的特征。评估装置可以被配置为识别参考图像中具有与所选反射特征基本上相同的纵坐标的至少一个参考特征。术语“基本上相同”是指相同性在10%以内,优选5%以内,最优选1%以内。可以使用对极几何来确定与反射特征相对应的参考特征。对于对极几何的描述,请参考例如编者为X.Jiang和H.Bunke的“三维计算机视觉[Dreidimensionales Computersehen]”中第2章,施普林格,柏林海德堡,1997年。对极几何结构可以假设参考图像和反射图像可以是在具有固定距离的不同空间位置和/或空间定向处确定的对象图像。参考图像和反射图像可以是在具有固定距离的不同空间位置处确定的对象图像。评估装置可以被配置为确定参考图像中的对极线。参考图像和反射图像的假设相对位置可以是已知的。例如,参考图像和反射图像的假设相对位置可以是制造商提供的值。例如,参考图像和反射图像的假设相对位置可以存储在评估装置的至少一个存储单元内。评估装置可以被配置为确定从反射图像的所选反射特征延伸的直线。该直线可以包括与所选反射特征相对应的可能反射特征。该直线和基线张成对极平面。由于参考图像是在与反射图像不同的相对位置上确定的,因此对应的可能反射特征可能被成像在参考图像中的一条直线上,这条直线被称为对极线。因此,假设与反射图像的所选反射特征相对应的参考图像的参考特征位于对极线上。
评估装置可以被配置为针对每个反射特征确定反射特征的纵向区。纵向区可以通过根据组合信号Q确定的反射特征的距离信息和误差区间±ε给出。评估装置可以被配置为确定参考图像中与纵向区相对应的至少一个位移区。如本文所使用的,术语“位移区”是指参考图像中与所选反射特征相对应的参考特征可能被成像在的区。具体地,位移区可以是参考图像中与所选反射特征相对应的参考特征预期在该参考图像中所位于的区。取决于到对象的距离,与反射特征相对应的参考特征的图像位置可以在参考图像内相对于反射图像中的反射特征的图像位置发生位移。位移区可以仅包括一个参考特征。位移区还可以包括多于一个参考特征。
位移区可以包括对极线或对极线的一部分。位移区可以包括多于一条对极线或多于一条对极线的多个部分。位移区可以沿着对极线延伸、正交于对极线延伸或以这两种方式延伸。评估装置可以被配置为确定沿着对极线的与距离信息相对应的参考特征,并且确定沿着对极线的与误差区间±ε相对应的位移区的范围,或者确定与对极线正交的位移区的范围。使用组合信号Q进行距离测量的测量不确定度可能导致非圆形的位移区,因为测量不确定度在不同方向上可能不同。具体地,沿着一条或多条对极线的测量不确定度可能大于在相对于一条或多条对极线的正交方向上的测量不确定度。位移区可以包括在相对于一条或多条对极线的正交方向上的范围。评估装置可以被配置为将所选反射特征与位移区内的至少一个参考特征进行匹配。如本文所使用的,术语“匹配”是指确定和/或评估对应的参考特征和反射特征。评估装置可以被配置为在考虑所确定的距离信息的情况下通过使用至少一种评估算法来将反射图像的所选特征与位移区内的参考特征进行匹配。评估算法可以是线性缩放算法。评估装置可以被配置为确定与位移区最接近和/或在位移区内的对极线。评估装置可以被配置为确定与反射特征的图像位置最接近的对极线。沿着对极线的位移区的范围可以大于与对极线正交的位移区的范围。评估装置可以被配置为在确定对应的参考特征之前确定对极线。评估装置可以确定每个反射特征的图像位置周围的位移区。评估装置可以被配置为向反射特征的每个图像位置的每个位移区指派对极线,比如通过指派与位移区最接近和/或在位移区内和/或与沿正交于对极线的方向的位移区最接近的对极线。评估装置可以被配置为通过确定与指派位移区最接近和/或在指派位移区内和/或与沿指派对极线的指派位移区最接近和/或在沿指派对极线的指派位移区内的参考特征,来确定与反射特征的图像位置相对应的参考特征。
另外或可替代地,评估装置可以被配置为执行以下步骤:
-确定每个反射特征的图像位置的位移区;
-向每个反射特征的位移区指派对极线,比如通过指派与位移区最接近和/或在位移区内和/或与沿正交于对极线的方向的位移区最接近的对极线;
-为每个反射特征指派和/或确定至少一个参考特征,比如通过指派与指派位移区最接近和/或在指派位移区内和/或与沿指派对极线的指派位移区最接近和/或在沿指派对极线的指派位移区内的参考特征。
另外或可替代地,评估装置可以被配置为在要指派给一个反射特征的多于一条对极线和/或多于一个参考特征之间进行判定,比如通过比较参考图像内的反射特征和/或对极线的距离,和/或通过比较参考图像内反射特征和/或对极线的误差加权距离(比如ε加权距离),并将距离和/或ε加权距离较短的对极线和/或参考特征指派给参考特征和/或反射特征。
评估装置可以被配置为通过使用至少一种线性缩放算法将反射特征中的相应反射特征与位移区内的参考特征中的相应参考特征进行匹配。射束剖面分析可以允许减少可能性的数量。
使用射束剖面分析可以允许估计距离信息,比如误差区间内的纵坐标。通过确定与距离信息相对应的位移区和对应的误差区间,可以允许显著减少沿对极线的用于将参考特征和反射特征相匹配的可能解的数量。可能的解的数量甚至可以减少到一个。可以在匹配反射特征和参考特征之前的预评估期间执行距离信息的确定。这可以允许减少计算需求,使得可以显著降低成本并允许在移动装置或户外装置中使用。
评估装置可以被配置为通过考虑成像标记在多于一条对极线和/或参考特征之间进行判定。将标记添加到照射图案中可以允许反射图像中的反射特征与发射器的匹配。评估装置可以被配置为将反射图像中的成像标记的位置与发射器矩阵内的对应位置进行匹配。这可以允许将其他反射特征与其对应的参考特征进行匹配,和/或选择对极线和/或参考特征。具体地,评估装置可以被配置为考虑标记,使得可以明确指派给一个参考特征。
评估装置被配置为通过使用三角测量来确定至少一个精确的纵坐标。术语“精确的”纵坐标可以是指具有提高的精度的纵坐标。评估装置可以被配置为确定相匹配的参考特征和反射特征的位移。如本文所使用的,术语“位移”可以是指参考图像中的位置与反射图像中的位置之间的差异。评估装置可以被配置为使用纵坐标与位移之间的预定关系来确定相匹配参考特征的三角测量距离。
如上所述,检测器可以被配置为确定对象的至少一个纵坐标,包括确定整个对象或其一个或多个部分的纵坐标的选项。然而,另外,对象的其他坐标(包括一个或多个横坐标和/或旋转坐标)也可以由检测器、具体地由评估装置确定。因此,作为示例,一个或多个横向传感器可以用于确定对象的至少一个横坐标。在本领域中通常已知各种横向传感器,比如WO 2014/097181 A1中披露的横向传感器,和/或其他位置敏感器件(PSD),比如象限二极管、CCD或CMOS芯片等。附加地或可替代地,作为示例,根据本发明的检测器可以包括以下文献中披露的一个或多个PSD:R.A.Street(编者)的Technology and Applications ofAmorphous Silicon[非晶硅技术及应用],施普林格出版社,海德堡,2010年,第346-349页。其他实施例也是可行的。这些器件通常也可以实施到根据本发明的检测器中。作为示例,光束的一部分可以在检测器内被至少一个分束元件分离。作为示例,分离的部分可以被引导至横向传感器,比如CCD或CMOS芯片或相机传感器,并且可以确定由分离部分在横向传感器上生成的光斑的横向位置,从而确定该对象的至少一个横坐标。因此,根据本发明的检测器可以是一维检测器,比如简单的距离测量装置,也可以体现为二维检测器或者甚至体现为三维检测器。进一步地,如上文概述的或如下文进一步详细概述的,通过以一维方式扫描风景或环境,也可以创建三维图像。因此,根据本发明的检测器具体地可以是一维检测器、二维检测器或三维检测器中的一种。评估装置可以进一步被配置为确定对象的至少一个横坐标x、y。评估装置可以被配置为将纵坐标和横坐标的信息进行组合,并确定对象在空间中的位置。
在另一方面,本发明披露了一种用于使用根据本发明(比如根据涉及如上文披露的或如下文进一步详细披露的检测器的一个或多个实施例)的至少一个检测器来确定至少一个对象的位置的方法。该方法包括以下方法步骤,其中,这些方法步骤可以按照给定的顺序执行,也可以按照不同的顺序执行。进一步地,可以存在未列出的一个或多个额外的方法步骤。进一步地,可以重复执行其中一个、多于一个或者甚至所有方法步骤。
该方法包括以下步骤:
-以由检测器的至少一个投影仪生成的至少一个照射图案来照射对象,其中,该照射图案包括多个照射特征;
-响应于照射,针对入射在具有光学传感器矩阵的传感器元件的光学传感器的光敏区域上的每个反射光束生成至少一个传感器信号;
-通过使用传感器元件来确定包括多个反射特征的至少一个反射图像,其中,这些反射特征中的每一个都包括射束剖面;
-通过使用至少一个评估装置来评估这些传感器信号,从而确定组合信号Q,并通过分析这些反射特征各自的射束剖面来确定这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,
-通过使用该评估装置使用三角测量来确定精确的纵坐标。
细节、选项和定义可以参考上文讨论的检测器。因此,具体地,如上所述,该方法可以包括使用根据本发明(比如根据上文给出的或下文进一步详细给出的一个或多个实施例)的检测器。
在本发明的另一方面中,提出了根据本发明(比如根据上文给出的或下文进一步详细给出的一个或多个实施例)的检测器的用于选自由以下各项组成的组的使用目的的用途:交通技术中的位置测量;娱乐应用;安保应用;监视应用;安全应用;人机界面应用;跟踪应用;摄影应用;成像应用或相机应用;用于生成至少一个空间的地图的地图应用;用于车辆的寻的或跟踪信标检测器;户外应用;移动应用;通信应用;机器视觉应用;机器人应用;质量控制应用;制造应用、汽车应用。关于本发明的检测器和装置的另外用途,参考WO2018/091649 A1、WO 2018/091638A1和WO 2018/091640 A1,其内容通过引用纳入本文。
如本文所使用的,术语“具有”、“包括”或“包含”或其任何任意语法变型以非排他性方式使用。因此,这些术语既可以指的是除了这些术语引入的特征之外,在该上下文中描述的实体中不存在另外特征的情况,又可以指的是存在一个或多个另外特征的情况。作为示例,表述“A具有B”、“A包括B”和“A包含B”既可以指的是除B之外,A中不存在另外要素的情况(即,A仅且单独地由B组成的情况),又可以指的是除了B之外,实体A中还存在一个或多个另外要素(比如要素C、要素C和D或者甚至另外要素)。
进一步地,应当注意,术语“至少一个”、“一个或多个”、或指示特征或要素可能出现一次或不止一次的类似表达典型地仅在引入相应的特征或要素时使用一次。在大多数情况下,当提及相应特征或要素时,不会重复表述“至少一个”或“一个或多个”,但事实上相应特征或要素可能存在一个或多于一个。
进一步地,如下文中所使用的,术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似术语与可选特征结合使用,而不限制替代性的可能性。因此,这些术语引入的特征是可选特征并且不旨在以任何方式限制权利要求的范围。正如技术人员认识到的,本发明可以通过使用替代性特征来执行。类似地,由“在本发明的实施例中”或类似表述引入的特征旨在是可选特征,而不对本发明的替代性实施例有任何限制,不对本发明的范围有任何限制,并且不对以这种方式引入的特征与本发明的其他可选或非可选特征组合的可能性有任何限制。
总体上,在本发明的上下文中,以下实施例被认为是优选的:
实施例1一种投影仪,用于利用至少一个照射图案来照射至少一个对象,其中,该照射图案包括多个照射特征,其中,该照射图案进一步包括至少一个标记。
实施例2根据前一实施例所述的投影仪,其中,该照射图案包括照射特征的网格,其中,该标记是选自由以下各项组成的组中的至少一个元素:孔、孔的图案、附加特征、附加特征的图案、网格周期性的局部偏差、波长的局部偏差。
实施例3根据前述实施例中任一项所述的投影仪,其中,该投影仪包括多个发射器。
实施例4根据前一实施例所述的投影仪,其中,这些发射器中的至少一个是被配置为生成该标记的标记发射器,其中,其他发射器中的每一个被配置为生成这些照射特征中的至少一个。
实施例5根据前述实施例中任一项所述的投影仪,其中,该投影仪包括被配置为生成该标记的至少一个掩模。
实施例6根据前述实施例中任一项所述的投影仪,其中,该投影仪包括至少一个光学元件,该至少一个光学元件被配置为调整这些发射器中的至少一个的波长,从而生成该标记,和/或其中,这些发射器中的至少一个被配置为以不同于其他发射器的波长进行发射,从而生成该标记。
实施例7根据前三项实施例中任一项所述的投影仪,其中,该投影仪包括至少一个控制单元,该至少一个控制单元被配置为关闭和打开用于生成该标记的发射器。
实施例8一种用于确定至少一个对象的位置的检测器,该检测器包括:
-至少一个投影仪,该至少一个投影仪用于以至少一个照射图案来照射该对象,其中,该照射图案包括多个照射特征;
-至少一个传感器元件,该至少一个传感器元件具有光学传感器的矩阵,这些光学传感器各自具有光敏区域,其中,每个光学传感器被设计成响应于从该对象传播到该检测器的反射光束对该光学传感器的相应光敏区域的照射而生成至少一个传感器信号,其中,该传感器元件被配置为确定包括多个反射特征的至少一个反射图像,其中,这些反射特征中的每一个包括射束剖面;
--至少一个评估装置,该至少一个评估装置被配置为通过分析这些反射特征各自的射束剖面来确定这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,其中,该评估装置被配置为使用三角测量来确定精确的纵坐标。
实施例9根据前一实施例所述的检测器,其中,该评估装置被配置为针对每个反射特征确定反射特征的纵向区,其中,该纵向区是由根据组合信号Q确定的反射特征的距离信息和误差区间±ε给出的,其中,该评估装置被配置为确定参考图像中与该纵向区相对应的至少一个位移区。
实施例10根据前一实施例所述的检测器,其中,该评估装置被配置为通过使用该标记将反射特征中的相应反射特征与位移区内的参考特征中的相应参考特征进行匹配。
实施例11根据前述涉及检测器的实施例中任一项所述的检测器,其中,该评估装置被配置为确定相匹配的参考特征和反射特征的位移,其中,该位移是参考图像中的位置与该反射图像中的位置之间的差异,其中,该评估装置被配置为使用纵坐标与该位移之间的预定关系来确定该精确的纵坐标。
实施例12根据前述涉及检测器的实施例中任一项所述的检测器,其中,该评估装置被配置为通过传感器信号相除、传感器信号的倍数相除、传感器信号的线性组合相除中的一项或多项来得出组合信号Q,其中,该评估装置被配置为使用组合信号Q与纵坐标之间的至少一种预定关系来确定该距离信息。
实施例13一种使用至少一个根据前述涉及检测器的实施例中任一项所述的检测器来确定至少一个对象的位置的方法,该方法包括以下步骤:
-以由检测器的至少一个投影仪生成的至少一个照射图案来照射对象,其中,该照射图案包括多个照射特征;
-响应于照射,针对入射在具有光学传感器矩阵的传感器元件的光学传感器的光敏区域上的每个反射光束生成至少一个传感器信号;
-通过使用传感器元件来确定包括多个反射特征的至少一个反射图像,其中,这些反射特征中的每一个都包括射束剖面;
-通过使用至少一个评估装置来评估这些传感器信号,从而确定组合信号Q,并通过分析这些反射特征各自的射束剖面来确定这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,
-通过使用该评估装置使用三角测量来确定精确的纵坐标。
实施例14根据前述实施例所述的方法,其中,该方法包括基于所确定的校正来校正反射图像,并在考虑所确定的校正的情况下通过使用三角测量法来确定反射特征的至少一个三角测量距离信息。
实施例15根据前述涉及检测器的实施例中任一项所述的检测器的用于选自由以下各项组成的组的使用目的的用途:交通技术中的位置测量;娱乐应用;安保应用;监视应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用、汽车应用。
附图说明
根据下面结合从属权利要求对优选示例性实施例的描述,本发明的另外可选的细节和特征是明显的。在本上下文中,特定特征可以以单独的方式或与其他特征组合来实施。本发明不限于示例性实施例。示例性实施例在附图中示意性地示出。各个附图中相同的附图标记指的是相同的元件或具有相同功能的元件,或者在其功能方面彼此对应的元件。
具体地,在附图中:
图1示出了根据本发明的检测器的实施例;
图2示出了用于使用根据本发明的至少一个检测器来确定对象位置的方法的实施例的示例性流程图;以及
图3A至图3D示出了根据本发明的照射图案的实施例。
具体实施方式
图1以高度示意性的方式示出了根据本发明的用于确定至少一个对象112的位置的检测器110的实施例。检测器110包括至少一个传感器元件114,其具有光学传感器118的矩阵116。光学传感器118各自具有光敏区域120。
传感器元件114可以形成为一个单一装置或者形成为若干装置的组合。具体地,矩阵116可以是或者可以包括具有一行或多行和一列或多列的矩形矩阵。具体地,行和列可以以矩形方式布置。然而,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元素围绕中心点布置成同心圆或椭圆形。例如,矩阵116可以是单行像素。其他布置也是可行的。
具体地,矩阵116的光学传感器118在尺寸、敏感度和其他光学、电气和机械特性中的一个或多个方面可以是相同的。具体地,矩阵116的所有光学传感器118的光敏区域120可以位于公共平面内,该公共平面优选面向对象112,使得从对象传播到检测器110的光束可以在该公共平面上生成光斑。具体地,光敏区域120可以位于相应光学传感器118的表面上。然而,其他实施例也是可行的。
光学传感器118可以包括例如至少一个CCD和/或CMOS器件。作为示例,光学传感器118可以构成像素化光学器件或是其一部分。作为示例,光学传感器可以构成具有像素矩阵的至少一个CCD和/或CMOS器件或是其一部分,其中每个像素形成一个光敏区域120。优选地,检测器被配置为使得光学传感器118在表示为帧或成像帧的特定时间段内同时曝光。例如,光学传感器118可以构成至少一个全局快门CMOS或者是其一部分。
具体地,光学传感器118可以是或可以包括光电探测器,优选地无机光电探测器,更优选地无机半导体光电探测器, 最优选地硅光电探测器。具体地,光学传感器118可以在红外光谱范围内具有敏感性。具体地,矩阵116的所有光学传感器118或者矩阵116的至少一组光学传感器118可以是相同的。具体地,可以针对不同的光谱范围提供矩阵116中的多组相同的光学传感器118,或者所有光学传感器在光谱敏感度方面可以是相同的。进一步地,光学传感器118在尺寸上和/或在它们的电子或光电特性方面可以是相同的。矩阵116可以由独立的光学传感器118组成。因此,矩阵116可以由无机光电二极管组成。然而,可替代地,可以使用可商购矩阵,比如CCD检测器(比如CCD检测器芯片)和/或CMOS检测器(比如CMOS检测器芯片)中的一者或多者。
光学传感器118可以形成传感器阵列,或者可以是传感器阵列(比如上述矩阵)的一部分。因此,作为示例,检测器110可以包括光学传感器118的阵列,比如具有m行和n列的矩形阵列,其中,m、n分别为正整数。优选地多于一列和多于一行,即,n>1,m>1。因此,作为示例,n可以是2至16或更高,并且m可以是2至16或更高。优选地,行数与列数之比接近1。作为示例,可以将n和m选择成使得0.3≤m/n≤3,比如通过选择m/n=1:1、4:3、16:9等等。作为示例,阵列可以是具有相同数量的行和列的正方形阵列,比如通过选择m=2、n=2或m=3、n=3等。
具体地,矩阵116可以为具有至少一行(优选地多行)和多列的矩形矩阵。作为示例,行和列可以基本上垂直地定向。为了提供宽范围的视野,矩阵116具体地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可以具有至少10列,优选地至少50列,更优选地至少100列。矩阵116可以包括至少50个光学传感器118,优选地至少100个光学传感器118,更优选地至少500个光学传感器118。矩阵116可以包括数百万像素范围内的像素数量。然而,其他实施例也是可行的。
检测器110进一步包括用于以至少一个照射图案124照射对象112的投影仪122。投影仪122可以包括至少一个发射器126,比如激光源,其特别是用于生成至少一个光束。投影仪122包括至少一个衍射光学元件128,其特别是用于从激光源126的光束生成和/或形成照射图案124。投影仪122可以被配置为使得照射图案124从投影仪122、特别是从投影仪122的外壳132的至少一个开口130向对象112传播。投影仪122可以被配置为生成和/或投射点云,例如投影仪122可以包括至少一个数字光处理(DLP)投影仪、至少一个LCoS投影仪、至少一个激光源、至少一个激光源阵列;至少一个发光二极管;至少一个发光二极管阵列。激光源126可以包括聚焦光学器件134。投影仪122可以包括多个激光源126。另外,可以由至少一个环境光源生成附加照射图案。
投影仪122可以包括多个发射器126。各种类型的激光器可以用作发射器,比如半导体激光器、双异质结构激光器、外腔激光器、分离约束异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器、或垂直腔面发射激光器(VCSEL)。例如,发射器是垂直腔面发射激光器。另外或可替代地,可以使用非激光光源,比如LED、微型发光二极管(LED)、和/或灯泡。投影仪122可以被配置为生成和/或投射点云,例如投影仪可以包括至少一个数字光处理(DLP)投影仪、至少一个LCoS投影仪、至少一个激光源阵列;至少一个发光二极管阵列。
例如,发射器126是垂直腔面发射激光器(VCSEL)。VCSEL可以被配置用于发射波长范围为800至10 1000nm的光束。例如,VCSEL可以被配置用于发射808nm、850nm、940nm或980nm的光束。优选地,VCSEL发射940nm的光,因为地面太阳辐射的辐照度在该波长处具有局部最小值,例如CIE 085-1989“Solar spectral Irradiance[太阳光谱辐照度]”中所述。投影仪122可以包括VCSEL阵列。VCSEL阵列可以是二维或一维阵列。VCSEL阵列可以包括布置成矩阵的多个VCSEL。具体地,矩阵可以是或者可以包括具有一行或多行和一列或多列的矩形矩阵。具体地,行和列可以以矩形方式布置。然而,应当概述的是,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元素围绕中心点布置成同心圆或椭圆形。例如,矩阵可以是单行像素。其他布置也是可行的。VCSEL可以布置在公共的基板上或不同的基板上。阵列可以包括最多2500个VCSEL。例如,阵列可以包括38×25个VCSEL,比如具有3.5W的高功率阵列。例如,阵列可以包括10×27个VCSEL,具有2.5W。例如,阵列可以包括96个VCSEL,具有0.9W。例如具有2500个元件的阵列的尺寸可以最多为2mm×2mm。
投影仪122可以包括至少一个控制单元136。控制单元136可以被配置为控制激光源126。控制单元136可以包括至少一个处理装置,特别是至少一个处理器和/或至少一个专用集成电路(ASIC)。控制单元136可以包括被配置为执行对激光源126的控制的一个或多个可编程装置,比如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。控制单元136可以包括至少一个处理装置,该至少一个处理装置具有存储在其上的包括多个计算机命令的软件代码。控制单元136可以提供用于执行对激光源126的控制的一个或多个硬件元件,和/或可以提供其上运行用于执行对激光源的控制的软件的一个或多个处理器。控制单元136可以被配置为发出和/或生成用于控制激光源的至少一个电子信号。控制单元136可以具有一个或多个无线和/或有线接口和/或其他类型的控制连接,以用于控制激光源126。控制单元136和激光源可以通过一个或多个连接器和/或通过一个或多个接口进行互连。
照射图案124包括多个照射特征125。照射图案124可以包括选自由以下各项组成的组中的至少一个周期性规则图案:至少一个周期性规则点图案;至少一个六边形图案;至少一个矩形图案。
例如,图1的投影仪122可以包括被配置为生成至少一个光束(也表示为激光束)的单个光源,特别是单个激光源126。投影仪122可以包括至少一个传递装置,特别是DOE 128,该至少一个传递装置用于衍射和复制由单个激光源生成的激光束,以生成包括图案化照射特征的照射图案124。衍射光学元件128可以被配置为射束成形和/或分束。
例如,投影仪122可以包括根据被配置为生成光束簇的特定图案密集封装的光源(特别是激光源126)的至少一个阵列。激光源126的密度可以取决于各个光源的外壳的延伸和光束的可区分性。投影仪122可以包括至少一个传递装置,特别是DOE 128,该至少一个传递装置用于衍射和复制光束簇,以生成包括图案化照射特征的照射图案124。
每个光学传感器118被设计成响应于从对象112传播到检测器110的反射光束对该光学传感器的相应光敏区域120的照射而生成至少一个传感器信号。此外,传感器元件114被配置为确定包括至少一个反射图案138的至少一个反射图像142。反射图像142可以包括作为反射特征的点。这些点是由源自对象112的反射光束产生的。传感器元件114可以被配置为确定反射图案138。反射图案138可以包括与照射图案124的至少一个照射特征125相对应的至少一个特征。与照射图案124相比,反射图案138可以包括至少一个畸变图案,其中,畸变取决于到对象112、比如对象112的表面特性的距离。
检测器110可以包括至少一个传递装置140,该至少一个传递装置包括以下各项中的一项或多项:至少一个透镜,例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个射束偏转元件,优选为至少一个反射镜;至少一个分束元件,优选为分束立方体或分束镜中的至少一者;至少一个多透镜系统。具体地,传递装置140可以包括至少一个准直透镜,该至少一个准直透镜被配置为将至少一个对象点聚焦在图像平面中。
检测器110包括至少一个评估装置144。评估装置144可以被配置为选择反射图像142的至少一个反射特征。评估装置144可以被配置为选择反射图案138的至少一个特征,并通过评估来自传感器信号的组合信号Q来确定距离信息,即,反射图案的所选特征的纵坐标,如上所述。因此,检测器110可以被配置为对反射图像142的至少一个反射特征进行预分类。
评估装置144可以被配置为执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;选择至少一个关注区;形成由传感器信号创建的图像与至少一个偏移之间的差分图像;通过反转由传感器信号创建的图像来反转传感器信号;形成由传感器信号在不同时间创建的图像之间的差分图像;背景校正;分解为颜色通道;分解为色调;饱和度;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用罗伯茨算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅里叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二值图像。关注区可以是由用户手动确定的或可以是比如通过识别由光学传感器118生成的图像内的对象来自动确定的。
评估装置144被配置为通过评估来自传感器信号的组合信号Q来确定距离信息,即,反射图像142的所选反射特征的至少一个纵坐标z。评估装置144可以被配置为通过传感器信号相除、传感器信号的倍数相除、传感器信号的线性组合相除中的一项或多项来得出组合信号Q。评估装置144可以被配置为使用组合信号Q与纵向区之间的至少一种预定关系来确定纵向区。例如,评估装置144可以被配置为通过下式得出组合信号Q,
其中,x和y为横坐标,A1和A2为在传感器位置处的反射光束的至少一个射束剖面的不同区域,并且E(x,y,zo)表示在对象距离zo处给出的射束剖面。区域A1和区域A2可能不同。特别地,A1和A2不全等。因此,A1和A2可以在形状或内容中的一个或多个方面不同。射束剖面可以是光束的横向强度剖面。射束剖面可以是光束的截面。射束剖面可以选自由以下各项组成的组:梯形射束剖面;三角形射束剖面;锥形射束剖面、以及高斯射束剖面的线性组合。一般来说,射束剖面取决于亮度L(zo)和射束形状S(x,y;zo),E(x,y;zo)=L·S。因此,通过得出组合信号,可以允许独立于亮度来确定纵坐标。另外,使用组合信号允许独立于对象尺寸来确定距离zo。因此,组合信号允许独立于对象的材料特性和/或反射特性和/或散射特性并且独立于光源的改变(例如由于制造精度、热、水、污垢、透镜上的损坏等)来确定距离zo
每个传感器信号可以包括光束的射束剖面的至少一个区域的至少一个信息。光敏区域120可以被布置为使得第一传感器信号包括射束剖面的第一区域的信息,并且第二传感器信号包括射束剖面的第二区域的信息。射束剖面的第一区域和射束剖面的第二区域可以是相邻或重叠区中的一者或两者。射束剖面的第一区域和射束剖面的第二区域可以在面积上不全等。
评估装置144可以被配置为确定和/或选择射束剖面的第一区域和射束剖面的第二区域。射束剖面的第一区域可以包括射束剖面的基本上边缘信息,并且射束剖面的第二区域可以包括射束剖面的基本上中心信息。射束剖面可以具有中心(即射束剖面的最大值和/或射束剖面的高台的中心点和/或光斑的几何中心)、以及从中心延伸的下降边缘。第二区可以包括截面的内部区并且第一区可以包括截面的外部区。优选地,中心信息具有的边缘信息的比例小于10%,更优选地小于5%,最优选地中心信息不包括边缘内容。边缘信息可以包括整个射束剖面的信息,特别是来自中心区和边缘区的信息。边缘信息可以具有的中心信息的比例小于10%,优选地小于5%,更优选地边缘信息不包括中心内容。如果射束剖面的至少一个区域靠近或围绕中心并且包括基本上中心信息,则可以将该区域确定和/或选择为射束剖面的第二区域。如果射束剖面的至少一个区域包括截面的下降边缘的至少多个部分,则可以将该区域确定和/或选择为射束剖面的第一区域。例如,可以将截面的整个区域确定为第一区。射束剖面的第一区域可以是区域A2,并且射束剖面的第二区域可以是区域A1。类似地,也可以通过使用射束剖面的区段(比如射束剖面的圆形区段)来确定中心信号和边缘信号。例如,可以通过不经过射束剖面的中心的割线或弦将射束剖面划分为两个区段。因此,一个区段将基本上包含边缘信息,而另一区段将包含基本上中心信息。例如,为了进一步减少中心信号中的边缘信息量,可以进一步从中心信号中减去边缘信号。
边缘信息可以包括与射束剖面的第一区域中的光子数量有关的信息,并且中心信息可以包括与射束剖面的第二区域中的光子数量有关的信息。评估装置144可以被配置为确定射束剖面的面积积分。评估装置144可以被配置为通过对第一区域进行积分和/或求和来确定边缘信息。评估装置144可以被配置为通过对第二区域进行积分和/或求和来确定中心信息。例如,射束剖面可以是梯形射束剖面,并且评估装置可以被配置为确定梯形的积分。进一步地,当可以假设梯形射束剖面时,对边缘信号和中心信号的确定可以被替换为利用对梯形射束剖面的特性进行的等效评估,比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
评估装置144可以被配置为使用组合信号与纵坐标之间的至少一种预定关系。该预定关系可以是经验关系、半经验关系和分析得出的关系中的一个或多个。评估装置144可以包括至少一个数据存储装置,用于存储该预定关系,比如查找列表或查找表。
使用组合信号Q进行射束剖面分析以进行深度测量可以允许,即使在导致多重反射的环境以及在有偏光源或反射性测量对象的情况下,也能可靠地确定距离,同时降低计算需求、特别是降低处理能力。射束剖面分析可以允许根据传感器元件114的图像来估计深度图。具体地,利用射束剖面分析确定的距离可以提供每个照射特征125的距离估计,并且可以通过三角测量方法来细化该距离估计。
为了使用三角测量法计算精确的纵坐标,需要解决所谓的对应关系问题。每个反射特征需要与参考网格的参考网格点进行匹配,即,与参考特征进行匹配。参考特征可以是发射器126的矩阵中的发射器。可以通过记录至少一个参考特征、对至少一个参考特征进行成像、计算参考图像中的一项或多项来确定参考图像。具体地,参考图像包括至少一个参考图案(也表示为参考网格),该至少一个参考图案包括多个参考特征。参考图像和反射图像可以是在具有固定距离的不同空间位置处确定的对象112的图像。该距离可以是相对距离,也称为基线。例如,参考图像可以是参考网格,比如投影仪122的位置处的图像平面上的照射图案124的图像。投影仪122与传感器元件114可以分隔开固定距离。
评估装置144可以被配置为确定至少一个参考图像中与至少一个反射特征相对应的至少一个参考特征。评估装置144可以被配置为执行图像分析并且识别反射图像的特征。评估装置144可以被配置为识别参考图像中具有与所选反射特征基本上相同的纵坐标的至少一个参考特征。可以使用对极几何来确定与反射特征相对应的参考特征。对于对极几何的描述,请参考例如编者为X.Jiang和H.Bunke的“三维计算机视觉[DreidimensionalesComputersehen]”中第2章,施普林格,柏林海德堡,1997年。对极几何结构可以假设参考图像和反射图像可以是在具有固定距离的不同空间位置和/或空间定向处确定的对象图像。参考图像和反射图像可以是在具有固定距离的不同空间位置处确定的对象112的图像。评估装置144可以被配置为确定参考图像中的对极线。参考图像和反射图像的假设相对位置可以是已知的。例如,参考图像和反射图像的假设相对位置可以是制造商提供的值。例如,参考图像和反射图像的假设相对位置可以存储在评估装置的至少一个存储单元内。评估装置144可以被配置为确定从反射图像的所选反射特征延伸的直线。该直线可以包括与所选反射特征相对应的可能反射特征。该直线和基线张成对极平面。由于参考图像是在与反射图像不同的相对位置上确定的,因此对应的可能反射特征可能被成像在参考图像中的一条直线上,这条直线被称为对极线。因此,假设与反射图像的所选反射特征相对应的参考图像的参考特征位于对极线上。
评估装置144可以被配置为针对每个反射特征确定反射特征的纵向区。纵向区可以通过根据组合信号Q确定的反射特征的距离信息和误差区间±ε给出。评估装置144可以被配置为确定参考图像中与纵向区相对应的至少一个位移区。位移区可以是指参考图像中与所选反射特征相对应的参考特征可能被成像在的区。具体地,位移区可以是参考图像中与所选反射特征相对应的参考特征预期在该参考图像中所位于的区。取决于到对象的距离,与反射特征相对应的参考特征的图像位置可以在参考图像内相对于反射图像中的反射特征的图像位置发生位移。位移区可以仅包括一个参考特征。位移区还可以包括多于一个参考特征。
位移区可以包括对极线或对极线的一部分。位移区可以包括多于一条对极线或多于一条对极线的多个部分。位移区可以沿着对极线延伸、正交于对极线延伸或以这两种方式延伸。评估装置144可以被配置为确定沿着对极线的与距离信息相对应的参考特征,并且确定沿着对极线的与误差区间±ε相对应的位移区的范围,或者确定与对极线正交的位移区的范围。使用组合信号Q进行距离测量的测量不确定度可能导致非圆形的位移区,因为测量不确定度在不同方向上可能不同。具体地,沿着一条或多条对极线的测量不确定度可能大于在相对于一条或多条对极线的正交方向上的测量不确定度。位移区可以包括在相对于一条或多条对极线的正交方向上的范围。评估装置144可以被配置为将所选反射特征与位移区内的至少一个参考特征进行匹配。评估装置144可以被配置为在考虑所确定的距离信息的情况下通过使用至少一种评估算法来将反射图像的所选特征与位移区内的参考特征进行匹配。评估算法可以是线性缩放算法。评估装置144可以被配置为确定与位移区最接近和/或在位移区内的对极线。评估装置144可以被配置为确定与反射特征的图像位置最接近的对极线。沿着对极线的位移区的范围可以大于与对极线正交的位移区的范围。评估装置144可以被配置为在确定对应的参考特征之前确定对极线。评估装置可以确定每个反射特征的图像位置周围的位移区。评估装置144可以被配置为向反射特征的每个图像位置的每个位移区指派对极线,比如通过指派与位移区最接近和/或在位移区内和/或与沿正交于对极线的方向的位移区最接近的对极线。评估装置144可以被配置为通过确定与指派位移区最接近和/或在指派位移区内和/或与沿指派对极线的指派位移区最接近和/或在沿指派对极线的指派位移区内的参考特征,来确定与反射特征的图像位置相对应的参考特征。
另外或可替代地,评估装置144可以被配置为执行以下步骤:
-确定每个反射特征的图像位置的位移区;
-向每个反射特征的位移区指派对极线,比如通过指派与位移区最接近和/或在位移区内和/或与沿正交于对极线的方向的位移区最接近的对极线;
-为每个反射特征指派和/或确定至少一个参考特征,比如通过指派与指派位移区最接近和/或在指派位移区内和/或与沿指派对极线的指派位移区最接近和/或在沿指派对极线的指派位移区内的参考特征。
另外或可替代地,评估装置144可以被配置为在要指派给一个反射特征的多于一条对极线和/或多于一个参考特征之间进行判定,比如通过比较参考图像内的反射特征和/或对极线的距离,和/或通过比较参考图像内反射特征和/或对极线的误差加权距离(比如ε加权距离),并将距离和/或ε加权距离较短的对极线和/或参考特征指派给参考特征和/或反射特征。
评估装置144可以被配置为通过使用至少一种线性缩放算法将反射特征中的相应反射特征与位移区内的参考特征中的相应参考特征进行匹配。射束剖面分析可以允许减少可能性的数量。
使用射束剖面分析可以允许估计距离信息,比如误差区间内的纵坐标。通过确定与距离信息相对应的位移区和对应的误差区间,可以允许显著减少沿对极线的用于将参考特征和反射特征相匹配的可能解的数量。可能的解的数量甚至可以减少到一个。可以在匹配反射特征和参考特征之前的预评估期间执行距离信息的确定。这可以允许减少计算需求,使得可以显著降低成本并允许在移动装置或户外装置中使用。
评估装置144可以被配置为通过考虑成像标记在多于一条对极线和/或参考特征之间进行判定。将标记添加到照射图案中可以允许反射图像中的反射特征与发射器的匹配。评估装置144可以被配置为将反射图像中的成像标记的位置与发射器矩阵内的对应位置进行匹配。这可以允许将其他反射特征与其对应的参考特征进行匹配,和/或选择对极线和/或参考特征。具体地,评估装置144可以被配置为考虑标记,使得可以明确指派给一个参考特征。
评估装置144被配置为通过使用三角测量来确定至少一个精确的纵坐标。精确的纵坐标可以是具有提高的精度的纵坐标。评估装置144可以被配置为确定相匹配的参考特征和反射特征的位移。位移可以是指参考图像中的位置与反射图像中的位置之间的差异。评估装置144可以被配置为使用纵坐标与位移之间的预定关系来确定相匹配参考特征的三角测量距离。
图2示出了用于使用根据本发明的至少一个检测器110来确定至少一个对象112的位置的方法的实施例的示例性流程图。
该方法包括以下方法步骤,其中,这些方法步骤可以按照给定的顺序执行,也可以按照不同的顺序执行。进一步地,可以存在未列出的一个或多个额外的方法步骤。进一步地,可以重复执行其中一个、多于一个或者甚至所有方法步骤。
该方法包括以下步骤:
-(表示为附图标记146)以由检测器110的至少一个投影仪122生成的至少一个照射图案124来照射对象112,其中,照射图案124包括多个照射特征125;
-(表示为附图标记148)响应于照射,针对入射在具有光学传感器118的矩阵的传感器元件114的光学传感器118的这些光敏区域120上的每个反射光束生成至少一个传感器信号;
-(表示为附图标记150)通过使用传感器元件114来确定包括多个反射特征的至少一个反射图像,其中,这些反射特征中的每一个都包括射束剖面;
-(表示为附图标记152)通过使用至少一个评估装置144来评估这些传感器信号,从而确定组合信号Q,以及(表示为附图标记154)通过分析这些反射特征各自的射束剖面来确定这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,
-(表示为附图标记156)通过使用评估装置144使用三角测量来确定精确的纵坐标。
图3A至图3D示出了根据本发明的照射图案124的实施例。照射图案124可以包括照射特征125的网格。该网格可以包括按预定几何顺序布置的多个元素。例如,该网格可以是或者可以包括具有一行或多行和一列或多列的矩形网格。具体地,行和列可以以矩形方式布置。然而,应当概述的是,其他布置也是可行的,比如非矩形布置。作为示例,圆形布置也是可行的,其中,元素围绕中心点布置成同心圆或椭圆形。投影仪122可以被配置为投射照射图案124,从而至少部分地照射对象112。照射图案124可以包括多个照射特征125。照射图案124可以包括选自由以下各项组成的组中的至少一个周期性规则图案:至少一个周期性规则点图案;至少一个六边形图案;至少一个矩形图案。图中示出了3个点图案。图3A示出了规则的点图案。传感器元件114只能看到整个网格的一部分。因此,另外,传感器元件114的视场被示出为框162。
在图3B至图3D的实施例中,照射图案124进一步包括至少一个标记160。标记160可以是与网格的局部偏差。标记160可以是选自由以下组成的组中的至少一种元素:孔、孔的图案、附加特征、附加特征的图案、网格周期性的局部偏差、波长的局部偏差。
例如,在图3B的实施例中,除了规则网格之外,还可以存在两个附加特征作为标记160。如上所述,投影仪122可以包括多个发射器126。这些发射器126中的至少一个可以是被配置为生成标记160的标记发射器。其他发射器126中的每一个可以被配置为生成这些照射特征125中的至少一个。标记发射器可以是被定位成偏离矩阵位置(比如偏离网格的列和行)的(特别是附加的)发射器126。可以通过将一些VCSEL发射器添加到规则网格来生成标记160。标记发射器可以被配置为在照射图案124中生成偏离照射特征125的网格的特征,特别是附加特征。
例如,在图3C和图3D的实施例中,标记160可以是孔。投影仪122可以包括被配置为生成标记160的至少一个掩模。掩模可以被配置为覆盖这些发射器126中的至少一个,使得由发射器126生成的光不能穿过盖。另外或可替代地,发射器126的阵列可以包括孔或孔的图案,特别是矩阵的未填充位置。可以通过省去规则网格的一些VCSEL发射器来生成标记160。
如上所述,投影仪122可以包括发射器126的阵列,例如规则且周期性的阵列。投影仪122可以包括控制单元136,该控制单元被配置为关闭和打开用于生成标记126的发射器126。
将标记160添加到规则照射图案124中可以允许增强(特别是简化)反射图像142中的反射特征与发射器126的匹配。反射图像142中的成像标记160的位置可以明确地限定发射器126的矩阵内的位置,从而允许容易地将其他反射特征与其对应的发射器126相匹配。
附图标记清单
110 检测器
112 对象
114 传感器元件
116 矩阵
118 光学传感器
120 光敏区域
122 投影仪
124 照射图案
125 照射特征
126 发射器
128DOE
130 开口
132 外壳
134 光学器件
136 控制单元
138 反射图案
140 传递装置
142 反射图像
144 评估装置
146 照射
148 生成
150 确定反射图像
152 评估传感器信号
154 确定距离信息
156 确定精确的纵坐标
160 标记
162 视场

Claims (14)

1.一种投影仪(122),用于利用至少一个照射图案(124)来照射至少一个对象(112),其中,该照射图案(124)包括多个照射特征(125),其中,该照射图案(124)进一步包括至少一个标记(160)。
2.根据前一项权利要求所述的投影仪(122),其中,该照射图案(124)包括照射特征(125)的网格,其中,该标记(160)是选自由以下各项组成的组中的至少一种元素:孔、孔的图案、附加照射特征、附加照射特征的图案、网格周期性的局部偏差、波长的局部偏差。
3.根据前述权利要求中任一项所述的投影仪(122),其中,该投影仪(122)包括多个发射器(126)。
4.根据前一项权利要求所述的投影仪(122),其中,这些发射器(126)中的至少一个是被配置为生成该标记(160)的标记发射器,其中,其他发射器(126)中的每一个被配置为生成这些照射特征(125)中的至少一个。
5.根据前述权利要求中任一项所述的投影仪(122),其中,该投影仪(122)包括被配置为生成该标记(160)的至少一个掩模。
6.根据前述权利要求中任一项所述的投影仪(122),其中,该投影仪(122)包括至少一个光学元件,该至少一个光学元件被配置为调整这些发射器(126)中的至少一个的波长,从而生成该标记(160),和/或其中,这些发射器(126)中的至少一个被配置为以不同于其他发射器的波长进行发射,从而生成该标记(160)。
7.根据前三项权利要求中任一项所述的投影仪(122),其中,该投影仪(122)包括至少一个控制单元(136),该至少一个控制单元被配置为关闭和打开用于生成该标记(160)的发射器(126)。
8.一种用于确定至少一个对象(112)的位置的检测器(110),该检测器(110)包括:
-至少一个根据前述权利要求中任一项所述的投影仪(122);
-至少一个传感器元件(114),该至少一个传感器元件具有光学传感器(118)的矩阵(116),这些光学传感器各自具有光敏区域(120),其中,每个光学传感器(118)被设计成响应于从该对象(112)传播到该检测器(110)的反射光束对该光学传感器的相应光敏区域(120)的照射而生成至少一个传感器信号,其中,该传感器元件被配置为确定包括多个反射特征的至少一个反射图像(142),其中,这些反射特征中的每一个包括射束剖面;
-至少一个评估装置(144),该至少一个评估装置被配置为通过分析这些反射特征各自的射束剖面来确定这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,其中,该评估装置(144)被配置为使用三角测量来确定精确的纵坐标。
9.根据前一项权利要求所述的检测器(110),其中,该评估装置(144)被配置为针对每个反射特征确定该反射特征的纵向区,其中,该纵向区是由根据该组合信号Q确定的该反射特征的距离信息和误差区间±ε给出的,其中,该评估装置(144)被配置为确定该参考图像中与该纵向区相对应的至少一个位移区。
10.根据前一项权利要求所述的检测器(110),其中,该评估装置(144)被配置为通过使用该标记(160)将这些反射特征中的相应反射特征与该位移区内的这些参考特征中的相应反射特征进行匹配。
11.根据前述涉及检测器的权利要求中任一项所述的检测器(110),其中,该评估装置(144)被配置为确定相匹配的参考特征和反射特征的位移,其中,该位移是参考图像中的位置与该反射图像中的位置之间的差异,其中,该评估装置被配置为使用纵坐标与该位移之间的预定关系来确定该精确的纵坐标。
12.根据前述涉及检测器的权利要求中任一项所述的检测器(110),其中,该评估装置(144)被配置为通过这些传感器信号相除、这些传感器信号的倍数相除、这些传感器信号的线性组合相除中的一项或多项来得出该组合信号Q,其中,该评估装置(144)被配置为使用该组合信号Q与该纵坐标之间的至少一种预定关系来确定该距离信息。
13.一种用于使用至少一个根据前述涉及检测器的权利要求中任一项所述的检测器(110)来确定至少一个对象(112)的位置的方法,该方法包括以下步骤:
-(146)以由该检测器(110)的至少一个投影仪(122)生成的至少一个照射图案(124)来照射该对象(112),其中,该照射图案(124)包括多个照射特征(125);
-(148)响应于照射,针对入射在具有光学传感器(118)的矩阵(116)的该传感器元件(114)的光学传感器(118)的这些光敏区域(120)上的每个反射光束生成至少一个传感器信号;
-(150)通过使用该传感器元件(114)来确定包括多个反射特征的至少一个反射图像(142),其中,这些反射特征中的每一个都包括射束剖面;
-通过使用至少一个评估装置(144)来评估(152)这些传感器信号,从而确定组合信号Q,并通过分析这些反射特征各自的射束剖面来确定(154)这些反射特征的距离信息,其中,分析射束剖面包括评估来自相应传感器信号的组合信号Q,
-(156)通过使用该评估装置(144)使用三角测量来确定精确的纵坐标。
14.根据前述涉及检测器(110)的权利要求中任一项所述的检测器的用于选自由以下各项组成的组的使用目的的用途:交通技术中的位置测量;娱乐应用;安保应用;监视应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用、汽车应用。
CN202280073013.4A 2021-11-03 2022-11-02 与标记投影相结合的结构光图案 Pending CN118176404A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21206252 2021-11-03
EP21206252.5 2021-11-03
PCT/EP2022/080512 WO2023078903A1 (en) 2021-11-03 2022-11-02 Structured light pattern combined with projection of markers

Publications (1)

Publication Number Publication Date
CN118176404A true CN118176404A (zh) 2024-06-11

Family

ID=78516649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280073013.4A Pending CN118176404A (zh) 2021-11-03 2022-11-02 与标记投影相结合的结构光图案

Country Status (2)

Country Link
CN (1) CN118176404A (zh)
WO (1) WO2023078903A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102088685B1 (ko) 2012-12-19 2020-03-13 바스프 에스이 적어도 하나의 물체를 광학적으로 검출하기 위한 검출기
WO2015198148A2 (en) * 2014-06-24 2015-12-30 Michael Slutsky Active triangulation calibration
US10072815B2 (en) 2016-06-23 2018-09-11 Apple Inc. Top-emission VCSEL-array with integrated diffuser
KR102452770B1 (ko) 2016-11-17 2022-10-12 트리나미엑스 게엠베하 적어도 하나의 대상체를 광학적으로 검출하기 위한 검출기
EP3928059A1 (en) * 2019-02-20 2021-12-29 trinamiX GmbH Detector with a projector for illuminating at least one object
US20210167580A1 (en) * 2019-11-29 2021-06-03 Pinnacle Photonics (Us), Inc. Top emitting vcsel array with integrated gratings

Also Published As

Publication number Publication date
WO2023078903A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230078604A1 (en) Detector for object recognition
US20230266467A1 (en) Projector pattern
US20220350156A1 (en) Projector for Illuminating at Least One Object
US20240133679A1 (en) Projector for diffuse illumination and structured light
US11920918B2 (en) One shot calibration
US20240020864A1 (en) Auto calibration from epipolar line distance in projection pattern
CN118176404A (zh) 与标记投影相结合的结构光图案
WO2023057495A1 (en) Method for alignment of optical components of a projector
CN117957419A (zh) 具有两个或更多个独立驱动的区域的发射器阵列
WO2023078986A1 (en) Eye safety for projectors
US11995857B2 (en) Shape-from-shading
CN118215820A (zh) 基于结构光的3d检测器的重新校准
WO2023072905A1 (en) Extended material detection involving a multi wavelength projector
KR20240093513A (ko) 멀티 파장 프로젝터와 관련된 확장된 재료 검출

Legal Events

Date Code Title Description
PB01 Publication