CN117836806A - 从明暗恢复形状 - Google Patents

从明暗恢复形状 Download PDF

Info

Publication number
CN117836806A
CN117836806A CN202280057338.3A CN202280057338A CN117836806A CN 117836806 A CN117836806 A CN 117836806A CN 202280057338 A CN202280057338 A CN 202280057338A CN 117836806 A CN117836806 A CN 117836806A
Authority
CN
China
Prior art keywords
image
floodlight
determining
determined
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280057338.3A
Other languages
English (en)
Inventor
P·辛德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN117836806A publication Critical patent/CN117836806A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

披露了一种用于确定至少一个对象(110)的深度图的方法。该方法包括以下步骤：a)(112)通过使用至少一个泛光光源(116)对包括该对象(110)的场景(114)进行照射，其中，来自该泛光光源(116)的照射具有预定义的和/或预定的光方向(118)，通过使用至少一个相机(122)对该场景(114)成像至少一个像素化泛光图像(120)；b)(124)通过使用至少一个投影仪(116)将至少一个照射图案投影到该场景(114)上并使用该相机(122)成像至少一个像素化反射图像(128)，其中，该反射图像(128)包括由该场景(114)响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；c)(130)通过使用至少一个评估装置(132)对该泛光图像(120)进行评估，从而确定对于该泛光图像(120)的每个像素位置x的反射率R(x)；d)(134)通过使用该评估装置(132)对该反射图像(128)进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像(128)的相应像素位置x的至少一个物理光特性A(x)；e)(136)对于每个反射特征，该评估装置(132)将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像(120)的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像(120)的相似像素；f)(142)该评估装置(132)通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。

Description

从明暗恢复形状
技术领域
本发明涉及一种用于确定深度图的方法、一种检测器以及该检测器的各种用途。根据本发明的装置、方法和用途具体地可以例如用于日常生活、安保技术、游戏、交通技术、生产技术、摄影(比如用于艺术、文档编制或技术目的的数字摄影或视频摄影)、安全技术、信息技术、农业、作物保护、维护、化妆品、医疗技术的各个领域中或科学中。然而，其他应用也是可能的。
背景技术
从明暗恢复形状(shape-from-shading，SfS)是计算机视觉中一种熟知的方法，用于根据一个或多个2D图像确定3D深度信息。该方法使用光入射和阴影投射的信息。最早的从明暗恢复形状的问题已经在如下文献中进行了描述：B.Horn在P.Winston编辑的ThePsychology of Computer Vision.McGraw-Hill,New York,1975[计算机视觉心理学.麦格劳-希尔,纽约,1975年]上发表的Obtaining shape-from-shading information[获取从明暗恢复形状信息]。该文献试图从单个图像重建3D形状。该图像示出了具有均质材料(恒定反照率)的对象。该对象被一个光源照射。然而，光源的位置是已知的。假设已知的反射行为，例如，朗伯(Lambertian)反射器。明暗模型能够通过使用朗伯反射器模型容易地确定，即反射率R＝A·<n,l>，其中，A为反照率，n为法线场，l为光方向。
从给定的3D形状计算反射率是简单明了的。从3D形状计算出法向量，然后如果已知反照率，则能够容易地确定反射率。然而，从明暗恢复形状试图反转该问题。传入的图像包含反射率信息，并且必须由此确定3D形状。解决该问题有各种方法，例如经由微分方程、优化方法等等。
在实践中，全局恒定反照率估计是没有用的。因此，任意场景还存在具有不同反照率的任意对象。从明暗恢复形状的难点在于估计3D形状和反照率。这非常困难，并且不是唯一可解的。如果用不同的光源拍摄若干个图像，就可以简化该问题。但是，用一个反射率图像从明暗恢复形状的确很困难。例如，没有人能够判断对象的形状是否在变化，或者对象是否只是变暗了。这个问题仍然是不适定的。
本发明解决的问题
因此，本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地，本发明的目的是提供能够以较小的技术努力并且在技术资源和成本方面以较低的要求进行可靠的深度测量的装置和方法。
发明内容
该问题通过具有专利独立权利要求的特征的本发明来解决。可以单独或组合地实现的本发明的有利发展在从属权利要求和/或以下说明书和详细实施例中呈现。
如下文中所使用的，术语“具有”、“包括(comprise)”或“包括(include)”或其任何任意语法变型以非排他性方式使用。因此，这些术语既可以指的是除了这些术语引入的特征之外，在该上下文中描述的实体中不存在另外特征的情况，又可以指的是存在一个或多个另外特征的情况。作为示例，表述“A具有B”、“A包括B”和“A包含B”既可以指的是除B之外，A中不存在另外要素的情况(即，A仅且单独地由B组成的情况)，又可以指的是除了B之外，实体A中还存在一个或多个另外要素(比如要素C、要素C和D或者甚至另外要素)。
进一步地，应当注意的是，指示特征或要素可以出现一次或多于一次的术语“至少一个”、“一个或多个”或类似表达典型地将在介绍相应特征或要素时仅使用一次。在下文中，在大多数情况下，当提及相应特征或要素时，将不会重复表述“至少一个”或“一个或多个”，但事实上相应特征或要素可能存在一个或多于一个。
进一步地，如下文中所使用的，术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似术语与可选特征结合使用，而不限制替代性的可能性。因此，这些术语引入的特征是可选特征并且不旨在以任何方式限制权利要求的范围。正如技术人员将认识到的，本发明可以通过使用替代性特征来执行。类似地，由“在本发明的实施例中”或类似表述引入的特征旨在是可选特征，而不对本发明的替代性实施例有任何限制，不对本发明的范围有任何限制，并且不对以这种方式引入的特征与本发明的其他可选或非可选特征组合的可能性有任何限制。
在本发明的第一方面，披露了一种用于确定至少一个对象的深度图的方法。
如本文所使用的，术语“深度”或者深度信息是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于对象的表面点与相机之间的相对距离和/或在x-y平面上方的该点处的相对表面高度。深度可以由纵向坐标z给出。如本文所使用的，术语“深度图”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于深度的空间分布。
这些方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。进一步地，可以存在未列出的一个或多个额外的方法步骤。进一步地，可以重复执行其中一个、多于一个或者甚至所有方法步骤。细节、选项和定义可以参考上文讨论的显示装置。因此，具体地，如上所述，该方法可以包括使用根据本发明(比如根据上文给出的或下文进一步详细给出的一个或多个实施例)的显示装置。
该方法包括以下步骤：
a)通过使用至少一个泛光光源对包括该对象的场景进行照射，其中，来自该泛光光源的照射具有预定义的和/或预定的光方向，通过使用至少一个相机对该场景成像至少一个像素化泛光图像；
b)通过使用至少一个投影仪将至少一个照射图案投影到该场景上并使用该相机成像至少一个像素化反射图像，其中，该反射图像包括由该场景响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
c)通过使用至少一个评估装置对该泛光图像进行评估，从而确定对于该泛光图像的每个像素位置x的反射率R(x)；
d)通过使用该评估装置对该反射图像进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像的相应像素位置x的至少一个物理光特性A(x)；
e)对于每个反射特征，该评估装置将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像的相似像素；
f)该评估装置通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
如本文所使用的，术语“对象”可以指被配置为至少部分地反射入射到该对象上的至少一个光束的任意对象，特别是表面或区域。光束可以源自照射该对象的投影仪和/或泛光光源，其中，该光束被发射，例如被该对象反射或散射。对象可以是待测量的任意对象，例如有生命的或者无生命的对象。
如本文所使用的，术语“场景”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于可以指至少一个任意对象或者空间区域。场景可以包括至少一个对象和周围环境。
如本文所使用的，术语“泛光光源”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于适于提供至少一束照射光束以用于照射该场景的至少一个任意装置。泛光光源可以被配置用于场景照射。如本文所使用的，术语“场景照射”可以指场景的漫射和/或均匀照射。泛光光源可以适于直接或间接地照射场景，其中，该照射被场景的表面反射或散射，并且由此至少部分地指向相机。泛光光源可以适于例如通过将光束指向场景来照射该场景，该场景反射该光束。泛光光源可以被配置用于生成用于照射场景的照射光束。
泛光光源可以包括至少一个发光二极管(LED)。泛光光源可以用LED、并且特别地在没有照射图案的情况下照射场景(比如面)，并且相机可以被配置用于捕获场景的二维图像。泛光光源可以包括单个光源或多个光源。作为示例，泛光光源发射的光可以具有300nm至1100nm、尤其是500nm至1100nm的波长。附加地或替代性地，可以使用红外光谱范围内的光，比如780nm至3.0μm范围内的光。具体地，可以使用硅光电二极管适用的近红外区的部分中(具体地是在700nm至1100nm的范围内)的光。泛光光源可以被配置用于发射单一波长的光。具体地，该波长可以在近红外区中。在其他实施例中，泛光光源可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
来自泛光光源的照射具有预定义和/或预定的光方向。例如，可以通过对准泛光光源来预定义光方向。另外地或替代性地，可以在至少一个校准步骤期间测量光方向。
投影仪和泛光光源可以构成坐标系，其中，纵向坐标是沿着光轴的坐标。坐标系可以是极坐标系，其中光轴形成z轴，并且其中，距z轴的距离、以及极角可以用作附加坐标。平行于或反向平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标z。垂直于z轴的任何方向可以被认为是横向方向，并且极坐标和/或极角可以被认为是横向坐标。如本文所使用的，术语“深度信息”可以涉及纵向坐标和/或可以从其导出纵向坐标的信息。
如本文所使用的，术语“投影仪”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于被配置用于提供至少一个照射图案的至少一个照射装置。
投影仪可以是或者可以包括至少一个光源或者至少一个多光束光源。例如，投影仪可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地，投影仪可以包括至少一个激光器和/或激光源。可以使用各种类型的激光器，例如半导体激光器、双异质结构激光器、外腔激光器、分离局限式异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器、或垂直腔面发射激光器。附加地或替代性地，可以使用非激光光源，比如LED、微型发光二极管(LED)、和/或灯泡。投影仪可以包括被配置用于生成照射图案的一个或多个衍射光学元件(DOE)。例如，投影仪可以适于生成和/或投射点云，例如投影仪源可以包括以下中的一个或多个：至少一个数字光处理投影仪、至少一个LCoS投影仪、至少一个空间光调制器；至少一个衍射光学元件；至少一个发光二极管阵列；至少一个激光光源阵列。由于其通常限定的光束剖面和可操作性的其他特性，使用至少一个激光源是特别优选的。投影仪和泛光光源可以集成到壳体中。
进一步地，投影仪可以被配置用于发射调制的或非调制的光。在使用多个光源的情况下，不同的光源可以具有不同的调制频率，如下文进一步详细概述的，这些调制频率稍后可以用于区分光束。
由投影仪产生的一个或多个光束通常可以平行于光轴传播或相对于光轴倾斜地(例如，与光轴成角度)传播。投影仪可以被配置为使得一个或多个光束沿着光轴从该投影仪向该场景传播。为此目的，投影仪可以包括至少一个反射元件、优选地至少一个棱镜，用于将照射光束偏转到光轴上。作为示例，一个或多个光束(比如激光束)与光轴可以成小于10°、优选地小于5°或者甚至小于2°的角度。然而，其他实施例也是可行的。进一步地，一个或多个光束可以位于光轴上或在光轴外。作为示例，一个或多个光束可以平行于光轴，并且与光轴的距离小10于10mm，优选地与光轴的距离小于5mm或者甚至小于1mm，或者甚至可以与光轴重合。
如本文所使用的，术语“至少一个照射图案”是指包括适于照射场景的至少一部分的至少一个照射特征的至少一个任意图案。如本文所使用的，术语“照射特征”是指图案的至少一个至少部分延伸的特征。照射图案可以包括单个照射特征。照射图案可以包括多个照射特征。照射图案可以选自由以下各项组成的组：至少一个点图案；至少一个线图案；至少一个条纹图案；至少一个棋盘状图案；至少一个包括周期性或非周期性特征的布置的图案。照射图案可以包括规则的和/或恒定的和/或周期性的图案，例如三角形图案、矩形图案、六边形图案或包括进一步凸镶嵌的图案。照射图案可以展现选自由以下各项组成的组中的至少一个照射特征：至少一个点；至少一条线；至少两条线，例如平行线或交叉线；至少一个点和一条线；至少一种周期性或非周期性特征的布置；至少一个任意形状的特征。照射图案可以包括选自由以下各项组成的组中的至少一个图案：至少一个点图案，特别是伪随机点图案；随机点图案或准随机图案；至少一个索博尔(Sobol)图案；至少一个准周期图案；包括至少一个预知特征的至少一个图案至少一个规则图案；至少一个三角形图案；至少一个六边形图案；至少一个矩形图案包括凸均匀镶嵌的至少一个图案；包括至少一条线的至少一个线图案；包括至少两条线(例如平行线或交叉线)的至少一个线图案。照射图案中两个特征(特别是斑点)之间的距离和/或至少一个照射特征的区域可能取决于反射图像中的弥散圆。
例如，投影仪可以适于生成和/或投射点云。投影仪可以包括至少一个光投影仪，该至少一个光投影仪适于生成点云，使得照射图案可以包括多个点图案。投影仪可以包括至少一个掩模，该至少一个掩模适于从光源产生的至少一个光束中生成照射图案。
例如，投影仪包括至少一个激光光源，其中，照射图案包括激光光斑的网格。例如，投影仪包括被指定用于产生激光辐射的至少一个激光源。投影仪可以包括至少一个衍射光学元件(DOE)。投影仪可以是至少一个点投影仪，例如至少一个激光源和DOE，该至少一个点投影仪适于投影至少一个周期性点图案。如本文进一步使用的，术语“投影至少一个照射图案”是指提供用于照射至少一种场景的至少一个照射图案。
如本文所使用的，术语“光线”通常是指垂直于光的波前、指向能量流方向的线。如本文所使用的，术语“光束”通常是指光线的集合。在下文中，术语“光线”和“光束”将作为同义词使用。如本文进一步使用的，术语“光束”通常指一定量的光，具体地指基本上沿相同方向行进的一定量的光，包括光束具有扩展角或加宽角的可能性。光束可以具有空间延伸。具体地，光束可以具有非高斯光束剖面。光束剖面可以选自由以下构成的组：梯形光束剖面；三角形光束剖面；锥形光束剖面。梯形光束剖面可以具有平台区和至少一个边缘区。光束具体可以是高斯光束或高斯光束的线性组合，如下面将进一步详细概述的。然而，其他实施例也是可行的。
投影仪发射的光可以具有300nm至1100nm、尤其是500nm至1100nm的波长。附加地或替代性地，可以使用红外光谱范围内的光，比如780nm至3.0μm范围内的光。这些激光光斑可以具有处于近红外(NIR)范围内的波长。具体地，可以使用硅光电二极管适用的近红外区的部分中(具体地是在700nm至1100nm的范围内)的光。例如，投影仪可以被配置用于发射波长范围在800nm至1000nm、优选地为940nm的光束，因为地面太阳辐射在该波长处具有辐照度的局部最小值，例如在CIE 085-1989“太阳光谱辐照度”中所描述的。投影仪可以被配置用于发射单一波长的光。具体地，该波长可以在近红外区中。在其他实施例中，投影仪可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
如本文所使用的，术语“相机”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于具有至少一个成像元件的装置，该成像元件被配置用于记录或捕获空间解析的一维、二维或甚至三维光学数据或信息。相机可以包括至少一个像素化相机芯片。作为示例，相机可以包括至少一个相机芯片，比如被配置用于记录图像的至少一个CCD芯片和/或至少一个CMOS芯片。如本文所使用的，非限制性地，术语“图像”具体地可以涉及通过使用相机记录的数据，比如来自相机的多个电子读数，比如相机芯片的像素。
相机可以包括至少一个光学传感器，特别是多个光学传感器。
光学传感器具有至少一个光敏区域。如本文所使用的，“光学传感器”通常是指用于检测光束(比如用于检测由至少一个光束生成的照射和/或光斑)的光敏装置。如本文进一步使用的，“光敏区域”通常是指光学传感器的可以由至少一个光束从外部照射的区域，响应于该照射，生成该至少一个传感器信号。光敏区域具体地可以位于相应光学传感器的表面上。然而，其他实施例也是可行的。相机可以包括多个光学传感器，每个光学传感器具有光敏区域。如本文所使用的，术语“各自具有至少一个光敏区域的光学传感器”是指各自具有一个光敏区域的多个单一光学传感器的配置以及具有多个光敏区域的一个组合光学传感器的配置。术语“光学传感器”还指被配置为生成一个输出信号的光敏装置。在相机包括多个光学传感器的情况下，每个光学传感器可以被实施为使得在相应光学传感器中存在恰好一个光敏区域，比如通过提供恰好一个可以被照射的光敏区域，响应于该照射，为整个光学传感器产生恰好一个统一的传感器信号。因此，每个光学传感器可以是单区域光学传感器。然而，单区域光学传感器的使用使得显示装置的设置变得特别简单和高效。因此，作为示例，可以在该设置中使用可购买到的光传感器(比如可购买到的硅光电二极管)，每个光传感器具有恰好一个敏感区域。然而，其他实施例也是可行的。
优选地，光敏区域可以基本上垂直于光轴定向。光轴可以是笔直的光轴，或可以是弯曲的或甚至是分离的(比如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器)，其中，在后一种情况下，基本上垂直的定向可以是指光学设置的相应分支或光束路径中的局部光轴。
具体地，光学传感器可以是或可以包括至少一个光电检测器，优选为无机光电检测器，更优选为无机半导体光电检测器，最优选为硅光电检测器。具体地，光学传感器可以在红外光谱范围内是敏感的。矩阵的所有像素或矩阵的光学传感器中的至少一组光学传感器具体地可以是相同的。具体地，可以针对不同的光谱范围提供矩阵中的相同像素的组，或者所有像素在光谱敏感性方面可以是相同的。进一步地，像素在尺寸方面和/或关于它们的电子特性或光电特性方面可以是相同的。具体地，光学传感器可以是或可以包括至少一个在红外光谱范围内、优选地在700nm至3.0微米的范围内敏感的无机光电二极管。具体地，光学传感器可以在硅光电二极管适用的近红外区的一部分中(具体地是在700nm至1100nm的范围内)是敏感的。可以用于光学传感器的红外光学传感器可以是可商购的红外光学传感器，比如可从德国莱茵兰-普法尔茨州(D-67056)的trinamiXTM GmbH公司的商标名称HertzstueckTM商购的红外光学传感器。因此，作为示例，光学传感器可以包括至少一个本征光伏型光学传感器、更优选地至少一个选自由以下构成的组的半导体光电二极管：Ge光电二极管、InGaAs光电二极管、扩展型InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或替代性地，光学传感器可以包括至少一个非本征光伏类型的光学传感器、更优选地至少一个选自由以下构成的组的半导体光电二极管：Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或替代性地，光学传感器可以包括至少一个光导式传感器，比如PbS传感器或PbSe传感器、辐射热测量计(优选为选自由VO辐射热测量计和非晶Si辐射热测量计构成的组的辐射热测量计)。
光学传感器可以在紫外光谱范围、可见光谱范围或红外光谱范围中的一个或多个光谱范围中是敏感的。具体地，光学传感器可以在500nm至780nm的可见光谱范围内、最优选地在650nm至750nm或在690nm至700nm是敏感的。具体地，光学传感器可以在近红外区中是敏感的。具体地，光学传感器可以在硅光电二极管适用的近红外区的一部分中(具体地是在700nm至1000nm的范围内)是敏感的。具体地，光学传感器可以在红外光谱范围内、具体地在780nm至3.0微米的范围内是敏感的。例如，光学传感器均独立地可以是或者可以包括选自由光电二极管、光电池、光电导体、光电晶体管或以上的任意组合构成的组中的至少一个元件。例如，相机可以是或者可以包括选自由CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或以上的任意组合构成的组中的至少一个元件。可以使用任何其他类型的光敏元件。光敏元件通常可以全部或部分地由无机材料制成和/或可以全部或部分地由有机材料制成。最常见的是，可以使用一个或多个光电二极管，比如可商购的光电二极管，例如无机半导体光电二极管。
相机可以包括至少一个传感器元件，该至少一个传感器元件包括像素矩阵。因此，作为示例，光学传感器可以是像素化光学装置的一部分或构成像素化光学装置。例如，相机可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，光学传感器可以是至少一个具有像素矩阵的CCD和/或CMOS器件的一部分或构成至少一个CCD和/或CMOS器件，每个像素形成一个光敏区域。
如本文所使用的，术语“传感器元件”通常是指被配置用于感测至少一个参数的装置、或多个装置的组合。在这种情况下，参数具体地可以为光学参数，并且传感器元件具体地可以为光学传感器元件。传感器元件可以形成为整体的单个装置或者形成为若干装置的组合。传感器元件包括光学传感器的矩阵。传感器元件可以包括至少一个CMOS传感器。矩阵可以由独立的像素、例如由独立的光学传感器组成。因此，可以组成无机光电二极管的矩阵。然而，可替代地，可以使用可商购矩阵，比如CCD检测器(比如CCD检测器芯片)和/或CMOS检测器(比如CMOS检测器芯片)中的一者或多者。因此，通常，传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件，和/或光学传感器可以形成传感器阵列或者可以是传感器阵列的一部分，例如上述矩阵。因此，作为示例，传感器元件可以包括像素阵列，比如具有m行和n列的矩形阵列，其中，m、n分别为正整数。优选地多于一列和多于一行，即，n>1，m>1。因此，作为示例，n可以是2至16或更高，并且m可以是2至16或更高。优选地，行数与列数之比接近1。作为示例，可以将n和m选择成使得0.3≤m/n≤3，比如通过选择m/n＝1:1、4:3、16:9等等。作为示例，阵列可以是具有相同数量的行和列的正方形阵列，比如通过选择m＝2、n＝2或m＝3、n＝3等。
矩阵可以由独立的像素、例如由独立的光学传感器组成。因此，可以组成无机光电二极管的矩阵。然而，可替代地，可以使用可商购矩阵，比如CCD检测器(比如CCD检测器芯片)和/或CMOS检测器(比如CMOS检测器芯片)中的一者或多者。因此，通常，光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件，和/或显示装置的光学传感器可以形成传感器阵列或者可以是传感器阵列的一部分，例如上述矩阵。
具体地，矩阵可以为具有至少一行(优选地多行)和多列的矩形矩阵。作为示例，行和列可以基本上垂直地定向。如本文所使用的，术语“基本上垂直”是指垂直取向的状况，公差为例如±20°或更小，优选地公差为±10°或更小，更优选公差为±5°或更小。类似地，术语“基本上平行”是指平行定向的条件，公差例如为±20°或更小，优选地公差为±10°或更小，更优选地公差为±5°或更小。因此，作为示例，小于20°、具体地小于10°或者甚至小于5°的公差可以是可接受的。为了提供宽范围的视野，矩阵具体地可以具有至少10行，优选地至少500行，更优选地至少1000行。类似地，矩阵可以具有至少10列，优选地至少500列，更优选地至少1000列。矩阵可以包括至少50个光学传感器，优选地至少100000个光学传感器，更优选地至少5000000个光学传感器。矩阵可以包括数百万像素范围内的像素数量。然而，其他实施例也是可行的。因此，在预期具有轴向旋转对称的设置中，矩阵的光学传感器(也可以称为像素)的圆形布置或同心布置可能是优选的。
因此，作为示例，传感器元件可以是像素化相机的一部分或构成像素化相机。例如，传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，传感器元件可以是至少一个具有像素矩阵的CCD和/或CMOS器件的一部分或构成至少一个CCD和/或CMOS器件，每个像素形成一个光敏区域。传感器元件可以采用卷帘快门或全局快门方法来读出光学传感器的矩阵。
作为示例，相机可以是定焦距相机，其至少一个镜头相对于相机的调节是固定的。然而，可替代地，相机还可以包括可以自动或手动调节的一个或多个可变镜头。
相机进一步可以包括至少一个传输装置。相机可以进一步包括一个或多个附加元件，比如一个或多个附加光学元件。相机可以包括选自由以下各项组成的组中的至少一个光学元件：传输装置，例如至少一个透镜和/或至少一个透镜系统、至少一个衍射光学元件。术语“传输装置”(也表示为“传输系统”)通常可以指适于改变光束(比如通过改变光束的光束参数、光束的宽度或光束的方向中的一个或多个)的一个或多个光学元件。传输装置可以适于将光束引导到光学传感器上。该传输装置具体地可以包括以下各项中的一项或多项：至少一个透镜，例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜；至少一个衍射光学元件；至少一个凹面镜；至少一个光束偏转元件，优选为至少一个反射镜；至少一个分束元件，优选为分束立方体或分束镜中的至少一者；至少一个多透镜系统。传输装置可以具有焦距。如本文所使用的，传输装置的术语“焦距”是指可以照射在传输装置上的入射准直光线“聚焦”(也可以表示为“焦点”)的距离。因此，焦距构成传输装置使照射光束会聚的能力的量度。因此，传输装置可以包括一个或多个成像元件，成像元件可以具有会聚透镜的作用。例如，传输装置可以具有一个或多个透镜，特别是一个或多个折射透镜、和/或一个或多个凸面镜。在这个示例中，焦距可以被定义为从薄折射透镜的中心到薄透镜的主焦点的距离。对于会聚薄折射透镜(比如凸或双凸薄透镜)，焦距可以被认为是正的并且可以提供当照射在作为传输装置的薄透镜上的准直光束可以聚焦成单个光斑的距离。另外，传输装置可以包括至少一个波长选择元件，例如至少一个光学滤波器。另外，传输装置可以被设计为例如在传感器区、特别是传感器区的位置处对电磁辐射施加预定义的光束剖面。原则上，传输装置的上述可选实施例可以单独地或以任何期望的组合来实现。
传输装置可以具有光轴。如本文所使用的，术语“传输装置的光轴”通常是指透镜或透镜系统的镜面对称轴线或旋转对称轴线。作为示例，传输系统可以包括至少一个光束路径，该光束路径中的传输系统元件相对于光轴以旋转对称的方式定位。然而，位于光束路径内的一个或多个光学元件也可以相对于光轴偏心或倾斜。然而，在这种情况下，可以顺序地限定光轴，比如通过将光束路径中的光学元件的中心互连，例如通过将透镜的中心互连，其中，在本上下文中，光学传感器不被算作光学元件。光轴通常可以表示光束路径。其中，相机可以具有单个光束路径，光束可以沿着该单个光束路径从对象传播到光学传感器，也可以具有多个光束路径。作为示例，可以给出单个光束路径，也可以将光束路径分离成两个或更多个部分光束路径。在后一种情况下，每个部分光束路径可以具有其自己的光轴。在多个光学传感器的情况下，光学传感器可以位于同一个光束路径或部分光束路径中。然而，可替代地，光学传感器也可以位于不同的部分光束路径中。
传输装置可以构成坐标系，其中，纵向坐标是沿着光轴的坐标，并且其中，d是相对于光轴的空间偏移。坐标系可以是极坐标系，其中传输装置的光轴形成z轴，并且其中，距z轴的距离、以及极角可以用作附加坐标。平行于或反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。垂直于z轴的任何方向可以被认为是横向方向，并且极坐标和/或极角可以被认为是横向坐标。
相机被配置用于对场景成像至少一个像素化泛光图像。泛光图像可以响应于场景的漫射和/或均匀照射而生成。泛光图像可以不包括由照射图案生成的任何反射特征。泛光图像本身可以包括像素，图像的像素与传感器元件的矩阵的像素相关。因此，当提及“像素”时，要么指的是由传感器元件的单个像素生成的图像信息的单位，要么直接指的是传感器元件的单个像素。泛光图像可以是至少一个二维图像。如本文所使用的，术语“二维图像”通常可以指具有关于横向坐标(例如高度和宽度的尺寸)的信息的图像。泛光图像可以是RGB(红绿蓝)图像。术语“成像至少一个泛光图像”可以指捕获和/或记录该泛光图像。
相机被配置用于成像至少一个像素化反射图像。反射图像包括由场景响应于照射图案而生成的多个反射特征。如本文所使用的，术语“反射特征”可以指由场景响应于照射(尤其用至少一个照射特征)而生成的图像平面中的特征。每个反射特征包括至少一个光束剖面，其也表示为反射光束剖面。如本文所使用的，反射特征的术语“光束剖面”通常可以指作为像素的函数的反射特征的至少一种强度分布，比如光学传感器上的光斑的强度分布。光束剖面可以选自由以下构成的组：梯形光束剖面；三角形光束剖面；圆锥形光束剖面、以及高斯光束剖面的线性组合。
因此，该设置可以包括相机、激光投影仪和泛光光源。相机可以捕获两个图像。一个图像可以包括仅由激光投影仪照射的场景。这是所得的激光帧。另一个图像可以仅包括由泛光光源照射的场景。这是泛光帧。
步骤c)可以包括通过使用至少一个评估装置对该泛光图像进行评估，从而确定对于该泛光图像的每个像素位置x的反射率R(x)。可以通过确定反射的能量与入射到场景上的总能量的比率来确定反射率。因此，评估装置可以被配置用于确定每个像素的强度值。反射率可以被假定为朗伯反射率。
如本文进一步使用的，术语“评估装置”通常是指适于优选地通过使用至少一个数据处理装置、更优选地通过使用至少一个处理器和/或至少一个专用集成电路执行指定操作的任意装置。因此，作为示例，该至少一个评估装置可以包括至少一个数据处理装置，该至少一个数据处理装置上存储有软件代码，该软件代码包括多个计算机命令。评估装置可以提供用于执行指定操作中的一个或多个的一个或多个硬件元件和/或可以提供一个或多个在其上运行软件以执行指定操作中的一个或多个的处理器。这些操作包括对图像进行评估。具体地，确定光束剖面和表面的指示可以由至少一个评估装置来执行。因此，作为示例，一个或多个指令可以以软件和/或硬件来实施。因此，作为示例，评估装置可以包括一个或多个可编程器件，比如被配置为执行上述评估的一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而，附加地或替代性地，评估装置还可以完全或部分地由硬件实施。
评估装置、相机和/或照射源(即泛光光源和投影仪)可以完全或部分地集成到单个装置中。可替代地，评估装置可以完全或部分地体现为单独的装置。
评估装置可以是或可以包括一个或多个集成电路(比如一个或多个专用集成电路(ASIC))、和/或一个或多个数据处理装置(比如一个或多个计算机，优选地一个或多个微型计算机和/或微控制器)、现场可编程阵列或数字信号处理器。可以包括附加部件，比如一个或多个预处理装置和/或数据采集装置，比如用于接收和/或预处理传感器信号的一个或多个装置，比如一个或多个AD转换器和/或一个或多个滤波器。进一步地，评估装置可以包括一个或多个测量装置，比如用于测量电流和/或电压的一个或多个测量装置。进一步地，评估装置可以包括一个或多个数据存储装置。进一步地，评估装置可以包括一个或多个接口，比如一个或多个无线接口和/或一个或多个有线接口。
评估装置可以连接到或可以包括至少一个另外的数据处理装置，该数据处理装置可以用于显示、可视化、分析、分发、传送或进一步处理信息(比如光学传感器和/或评估装置获得的信息)中的一项或多项。作为示例，数据处理装置可以连接或合并有显示器、投影仪、监视器、LCD、TFT、扬声器、多通道音响系统、LED图案、或另一可视化装置中的至少一个。数据处理装置还可以连接或合并有通信装置或通信接口、连接器或端口中的至少一个，能够使用电子邮件、文本消息、电话、蓝牙、Wi-Fi、红外或因特网接口、端口或连接件中的一种或多种来发送加密或未加密的信息。数据处理装置可以进一步连接到或合并有以下中的至少一个：处理器、图形处理器、CPU、开放多媒体应用平台(OMAPTM)、集成电路、片上系统(比如来自Apple A系列或三星S3C2系列的产品)、微控制器或微处理器，一个或多个存储器块(比如ROM、RAM、EEPROM或闪存)、比如振荡器或锁相环等定时源、计数器-定时器、实时定时器、或上电复位发生器、电压调节器、电源管理电路、或DMA控制器。各个单元可以进一步通过总线(比如AMBA总线)连接，或者集成到物联网或工业4.0类型的网络中。
评估装置和/或数据处理装置可以通过另外的外部接口或端口连接或具有另外的外部接口或端口，比如以下中的一个或多个：串行或并行接口或端口、USB、Centronics端口、火线、HDMI、以太网、蓝牙、RFID、Wi-Fi、USART或SPI、或者模拟接口或端口，比如ADC或DAC中的一个或多个，或者到其他装置(比如使用RGB接口(比如CameraLink)的2D相机装置)的标准化接口或端口。评估装置和/或数据处理装置可以进一步通过处理器间接口或端口、FPGA-FPGA接口、或者串行或并行接口端口中的一个或多个来连接。评估装置和数据处理装置可以进一步连接到光盘驱动器、CD-RW驱动器、DVD+RW驱动器、闪存驱动器、存储卡、磁盘驱动器、硬盘驱动器、固态盘或固态硬盘中的一个或多个。
评估装置和/或数据处理装置可以通过一个或多个另外的外部连接器连接或具有一个或多个另外的外部连接器，比如电话连接器、RCA连接器、VGA连接器、雌雄同体连接器、USB连接器、HDMI连接器、8P8C连接器、BCN连接器、IEC 60320C14连接器、光纤连接器、D-超小型连接器、RF连接器、同轴连接器、SCART连接器、XLR连接器中的一个或多个，和/或可以合并有用于这些连接器中的一个或多个连接器的至少一个合适的插座。
评估装置被进一步配置用于对反射图像进行评估。对反射图像的评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像的相应像素位置x的至少一个物理光特性A(x)。
对反射图像的评估可以包括识别该反射图像的反射特征。评估装置可以被配置用于执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项：滤波；选择至少一个关注区域；形成由传感器信号创建的图像与至少一个偏移之间的差分图像；通过反转由传感器信号创建的图像来反转传感器信号；形成由传感器信号在不同时间创建的图像之间的差分图像；背景校正；分解为颜色通道；分解为色调；饱和度；以及亮度通道；频率分解；奇异值分解；应用斑点检测器；应用角点检测器；应用海森(Hessian)行列式滤波器；应用基于主曲率的区域检测器；应用最大稳定极值区域检测器；应用广义霍夫变换(Hough-transformation)；应用脊检测器；应用仿射不变特征检测器；应用仿射自适应兴趣点算子；应用哈里斯(Harris)仿射区域检测器；应用海森仿射区域检测器；应用尺度不变特征变换；应用尺度空间极值检测器；应用局部特征检测器；应用加速鲁棒特征算法；应用梯度位置和方向直方图算法；应用方向梯度直方图描述符；应用德里奇(Deriche)边缘检测器；应用差分边缘检测器；应用时空兴趣点检测器；应用莫拉维克(Moravec)角点检测器；应用坎尼(Canny)边缘检测器；应用高斯拉普拉斯滤波器；应用高斯差分滤波器；应用索贝尔(Sobel)算子；应用拉普拉斯算子；应用沙尔(Scharr)算子；应用普雷维特(Prewitt)算子；应用罗伯茨算子；应用基尔希(Kirsch)算子；应用高通滤波器；应用低通滤波器；应用傅里叶变换；应用拉东变换(Radon-transformation)；应用霍夫变换；应用小波变换；阈值化；创建二值图像。关注区域可以是由用户手动确定的或者可以是比如通过识别图像内的特征来自动确定的。
评估装置可以被配置用于执行至少一种图像校正。图像校正可以包括至少一种背景减除。评估装置可以适于例如通过在没有进一步的照射的情况下成像来从光束剖面中去除背景光的影响。
评估装置可以被配置用于确定相应的反射特征的光束剖面。如本文所使用的，术语“确定光束剖面”是指识别由光学传感器提供的至少一个反射特征和/或选择由光学传感器提供的至少一个反射特征，以及对该反射特征的至少一种强度分布进行评估。作为示例，可以使用和评估矩阵的区域来确定比如沿着穿过矩阵的轴线或线的强度分布，例如三维强度分布或二维强度分布。作为示例，可以例如通过确定具有最高照度的至少一个像素来确定光束的照射中心，并且可以选择穿过照射中心的横截轴线。强度分布可以是作为沿着穿过照射中心的横截轴线的坐标的函数的强度分布。其他评估算法也是可行的。
反射特征可以覆盖或可以延伸至反射图像的至少一个像素。例如，反射特征可以覆盖或可以延伸至多个像素。评估装置可以被配置用于确定和/或选择连接到和/或属于反射特征(例如光斑)的所有像素。评估装置可以被配置用于通过下式确定强度中心(centerof intensity)：
其中，Rcoi是强度中心的位置，r像素是像素位置，并且l＝∑jI总，其中，j是连接到和/或属于该反射特征的像素的数量j，并且I总是总强度。
激光帧可以通过所谓的“光束剖面分析”来评估，其也称为光子比率深度(depth-from-photon-ratio)技术。关于光子比率深度(DPR)技术，参考WO 2018/091649 A1、WO2018/091638 A1和WO 2018/091640A1，其全部内容通过引用纳入本文。所提及的参考文献涉及如何从至少一个反射特征中确定组合信号Q(也表示为商Q)并使用组合信号Q与纵向坐标之间的至少一种预定关系从其中确定深度信息的实施例。
评估装置被配置用于通过分析每个反射特征相应的光束剖面来确定该反射特征的深度信息。因此，评估装置可以被配置用于通过分析每个反射特征相应的光束剖面来确定该反射特征的至少一个纵向坐标zDPR。
如本文所使用的，术语“光束剖面的分析”通常可以指光束剖面的评估，并且可以包括至少一个数学运算和/或至少一个比较和/或至少一个对称化和/或至少一个滤波和/或至少一个归一化。例如，光束剖面的分析可以包括直方图分析步骤、差异量度的计算、神经网络的应用、机器学习算法的应用中的至少一个。评估装置可以被配置用于将光束剖面对称化和/或归一化和/或滤波，特别是去除来自在较大角度的、记录边缘等下的记录的噪声或不对称性。评估装置可以通过去除高空间频率(比如通过空间频率分析和/或中值滤波等)来对光束剖面滤波。可以通过光斑的强度中心并对距中心相同距离处的所有强度进行平均来执行汇总。评估装置可以被配置用于将光束剖面归一化至最大强度，特别是考虑由于所记录的距离而导致的强度差异。评估装置可以被配置用于例如通过在没有照射的情况下成像来从光束剖面中去除背景光的影响。
反射特征中的一个反射特征的光束剖面的分析可以包括确定该光束剖面的至少一个第一区域和至少一个第二区域。光束剖面的第一区域可以是区域A1并且光束剖面的第二区域可以是区域A2。评估装置可以被配置用于对第一区域和第二区域积分。评估装置可以被配置为通过以下中的一个或多个导出组合信号、特别是商Q：经积分的第一区域和经积分的第二区域相除，经积分的第一区域和经积分的第二区域的倍数相除，经积分的第一区域和经积分的第二区域的线性组合相除。评估装置可以被配置用于确定光束剖面的至少两个区域和/或将光束剖面分段成包括光束剖面的不同区域的至少两个部段，其中，只要这些区域不全等，这些区域的重叠就可以是可能的。例如，评估装置可以被配置用于确定多个区域，比如两个、三个、四个、五个或最多十个区域。评估装置可以被配置用于将光斑分段成光束剖面的至少两个区域和/或将光束剖面分段成包括光束剖面的不同区域的至少两个部段。评估装置可以被配置用于针对区域中的至少两个确定光束剖面在相应区域上的积分。评估装置可以被配置用于比较所确定的积分中的至少两个。具体地，评估装置可以被配置用于确定光束剖面的至少一个第一区域和至少一个第二区域。如本文所使用的，术语“光束剖面的区域”通常是指用于确定商Q的光学传感器的位置处的光束剖面的任意区域。光束剖面的第一区域和光束剖面的第二区域可以是相邻或重叠区域中的一者或两者。光束剖面的第一区域和光束剖面的第二区域可以在面积上不全等。例如，评估装置可以被配置用于将CMOS传感器的传感器区划分为至少两个子区，其中，评估装置可以被配置用于将CMOS传感器的传感器区划分为至少一个左侧部分和至少一个右侧部分和/或至少一个上部部分和至少一个下部部分和/或至少一个内部部分和至少一个外部部分。附加地或替代性地，相机可以包括至少两个光学传感器，其中，第一光学传感器的光敏区域和第二光学传感器的光敏区域可以被布置为使得第一光学传感器适于确定该反射特征的光束剖面的第一区域，并且第二光学传感器适于确定该反射特征的光束剖面的第二区域。评估装置可以适于对第一区域和第二区域积分。评估装置可以被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析得出的关系中的一个或多个。评估装置可以包括至少一个数据存储装置，用于存储预定关系，比如查找列表或查找表。
光束剖面的第一区域可以包括光束剖面的基本上边缘信息，并且光束剖面的第二区域可以包括光束剖面的基本上中心信息，和/或光束剖面的第一区域可以包括基本上关于光束剖面的左侧部分的信息，并且光束剖面的第二区域可以包括基本上关于光束剖面的右侧部分的信息。光束剖面可以具有中心(即光束剖面的最大值和/或光束剖面的平台的中心点和/或光斑的几何中心)、以及从中心延伸的下降边缘。第二区可以包括截面的内部区并且第一区可以包括截面的外部区。如本文所使用的，术语“基本上中心信息”通常是指与中心信息的比例(即，对应于中心的强度分布的比例)相比，边缘信息的比例(即，对应于边缘的强度分布的比例)低。优选地，中心信息具有不到10％、更优选地不到5％的边缘信息比例，最优选地中心信息不包括边缘内容。如本文所使用的，术语“基本上边缘信息”通常是指与边缘信息的比例相比，中心信息的比例低。边缘信息可以包括整个光束剖面的信息，特别是来自中心和边缘区域的信息。边缘信息可以具有不到10％、优选地不到5％的中心信息比例，更优选地边缘信息不包括中心内容。如果光束剖面的至少一个区域靠近或围绕中心并且包括基本上中心信息，则可以将该区域确定和/或选择为光束剖面的第二区域。如果光束剖面的至少一个区域包括截面的下降边缘的至少多个部分，则可以将该区域确定和/或选择为光束剖面的第一区域。例如，可以将截面的整个区域确定为第一区。
第一区域A1和第二区域A2的其他选择也可以是可行的。例如，第一区域可以包括光束剖面的基本上外部区域，并且第二区域可以包括光束剖面的基本上内部区域。例如，在二维光束剖面的情况下，光束剖面可以分为左侧部分和右侧部分，其中，第一区域可以包括基本上光束剖面的左侧部分的区域，并且第二区域可以包括基本上光束剖面的右侧部分的区域。
边缘信息可以包括与光束剖面的第一区域中的光子数量有关的信息，并且中心信息可以包括与光束剖面的第二区域中的光子数量有关的信息。评估装置可以被配置为确定光束剖面的面积积分。评估装置可以被配置用于通过对第一区域进行积分和/或求和来确定边缘信息。评估装置可以被配置为通过对第二区域进行积分和/或求和来确定中心信息。例如，光束剖面可以是梯形光束剖面，并且评估装置可以被配置为确定梯形的积分。进一步地，当可以假设梯形光束剖面时，对边缘信号和中心信号的确定可以被替换为利用对梯形光束剖面的特性进行的等效评估，比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
在一个实施例中，A1可以对应于特征点在光学传感器上的全部或完整区域。A2可以是特征点在光学传感器上的中心区域。中心区域可以是恒定值。与特征点的整个区域相比，中心区域可以更小。例如，在圆形特征点的情况下，中心区域的半径可以为特征点全半径的0.1至0.9，优选地为全半径的0.4至0.6。
在一个实施例中，照射图案可以包括至少一个线图案。A1可以对应于光学传感器上、特别是光学传感器的光敏区域上的线图案的全线宽的区域。与照射图案的线图案相比，光学传感器上的线图案可以加宽和/或移位，使得光学传感器上的线宽增加。特别地，在光学传感器矩阵的情况下，光学传感器上的线图案的线宽可以从一列变化到另一列。A2可以是线图案在光学传感器上的中心区域。中心区域的线宽可以是恒定值，并且特别地可以对应于照射图案中的线宽。与全线宽相比，中心区域可以具有更小的线宽。例如，中心区域的线宽可以为全线宽的0.1到0.9，优选地为全线宽的0.4到0.6。线图案可以在光学传感器上被分割。光学传感器矩阵的每一列可以包括线图案的中心区域中的中心强度信息和来自从线图案的中心区域进一步地向外延伸到线图案的边缘区域的区域的边缘强度信息。
在一个实施例中，照射图案可以包括至少一个点图案。A1可以对应于光学传感器上点图案的点的全半径的区域。A2可以是光学传感器上点图案中的点的中心区域。中心区域可以是恒定值。中心区域可以具有与全半径相比的半径。例如，中心区域的半径可以为全半径的0.1到0.9，优选地为全半径的0.4到0.6。
照射图案可以包括至少一个点图案和至少一个线图案两者。除了线图案和点图案之外或替代线图案和点图案的其他实施例也是可行的。
评估装置可以被配置为通过以下中的一个或多个导出商Q：经积分的第一区域和经积分的第二区域相除，经积分的第一区域和经积分的第二区域的倍数相除，经积分的第一区域和经积分的第二区域的线性组合相除。
评估装置可以被配置为通过以下中的一个或多个来导出商Q：第一区域和第二区域相除，第一区域和第二区域的倍数相除，第一区域和第二区域的线性组合相除。评估装置可以被配置用于通过下式导出商Q：
其中，x和y是横向坐标，A1和A2分别是光束剖面的第一区域和第二区域，E(x,y)表示光束剖面。
附加地或替代性地，评估装置可以适于根据光斑的至少一个切片或切割确定中心信息或边缘信息中的一者或两者。这可以例如通过用沿切片或切割的线积分代替商Q中的面积积分来实现。为了提高准确性，可以使用光斑的若干个切片或切割并对其进行平均。在椭圆形光斑剖面的情况下，对若干个切片或切割进行平均可以得到改进的距离信息。
例如，在光学传感器具有像素矩阵的情况下，评估装置可以被配置用于通过以下方式对光束剖面进行评估：
-确定具有最高传感器信号的像素并形成至少一个中心信号；
-对矩阵的传感器信号进行评估并形成至少一个总和信号；
-通过将中心信号与总和信号进行组合来确定商Q；以及
-通过对商Q进行评估来确定对象的至少一个纵向坐标z。
如本文所使用的，“传感器信号”通常是指由光学传感器和/或光学传感器的至少一个像素响应于照射而生成的信号。具体地，传感器信号可以是或者可以包括至少一个电信号，比如至少一个模拟电信号和/或至少一个数字电信号。更具体地，传感器信号可以是或者可以包括至少一个电压信号和/或至少一个电流信号。更具体地，传感器信号可以包括至少一个光电流。进一步地，可以使用原始传感器信号，或者显示装置、光学传感器或任何其他元件可以适于处理或预处理传感器信号，从而生成次级传感器信号，这些次级传感器信号也可以用作传感器信号，比如通过滤波等进行预处理。术语“中心信号”通常是指包括光束剖面的基本上中心信息的至少一个传感器信号。如本文所使用的，术语“最高传感器信号”是指局部最大值或关注区域中的最大值中的一者或两者。例如，中心信号可以是在整个矩阵中或矩阵内关注区域中的像素生成的多个传感器信号中具有最高传感器信号的像素的信号，其中，该关注区域可以是预定的或可在由矩阵的像素生成的图像内确定。中心信号可以源自单一像素，或者源自一组光学传感器，其中，在后一种情况下，作为示例，该组像素的传感器信号可以被相加、积分或平均，以便确定中心信号。产生中心信号的一组像素可以是一组相邻的像素，比如与具有最高传感器信号的实际像素相距小于预定距离的像素，也可以是生成的传感器信号在最高传感器信号的预定范围内的一组像素。可以以尽可能大的方式来选择产生中心信号的一组像素，以便允许最大动态范围。评估装置可以适于通过对多个传感器信号(例如具有最高传感器信号的像素周围的多个像素)进行积分来确定中心信号。例如，光束剖面可以是梯形光束剖面，并且评估装置可以适于确定梯形的积分，特别是梯形的高台的积分。
如上所述，中心信号通常可以是单个传感器信号，比如来自光斑中心的像素的传感器信号，也可以是多个传感器信号的组合，比如，由光斑中心的像素产生的传感器信号的组合，还可以是通过处理由一种或多种上述可能性得出的传感器信号而得出的次级传感器信号。由于常规电子设备能相当简单地实施传感器信号的比较，因此中心信号的确定可以以电子方式执行，或者可以完全或部分地通过软件执行。具体地，中心信号可以选自由以下各项组成的组：最高传感器信号；处于与最高传感器信号的预定公差范围内的一组传感器信号的平均值；来自一组像素(其包含具有最高传感器信号的像素和一组预定的相邻像素)的传感器信号的平均值；来自一组像素(其包含具有最高传感器信号的像素和一组预定的相邻像素)的传感器信号之和；处于与最高传感器信号的预定公差范围内的一组传感器信号的总和；高于预定阈值的一组传感器信号的平均值；高于预定阈值的一组传感器信号的总和；来自一组光学传感器(其包含具有最高传感器信号的光学传感器和一组预定的相邻像素)的传感器信号的积分；处于与最高传感器信号的预定公差范围内的一组传感器信号的积分；高于预定阈值的一组传感器信号的积分。
类似地，术语“总和信号”通常是指包括光束剖面的基本上边缘信息的信号。例如，可以通过将传感器信号相加、对传感器信号进行积分或者对整个矩阵中或矩阵内的关注区域中的传感器信号求平均来得出总和信号，其中，该关注区域可以是预定的或可在由矩阵的光学传感器生成的图像内确定。当对传感器信号进行相加、积分或平均时，生成传感器信号的实际光学传感器可以被排除在相加、积分或平均之外，可替代地，其也可以被包括在相加、积分或平均中。评估装置可以适于通过对整个矩阵中或矩阵内的关注区域中的信号进行积分来确定总和信号。例如，光束剖面可以是梯形光束剖面，并且评估装置可以适于确定整个梯形的积分。进一步地，当可以假设梯形光束剖面时，对边缘信号和中心信号的确定可以被替换为利用对梯形光束剖面的特性进行的等效评估，比如确定边缘的斜率和位置以及中心高台的高度并通过几何考虑得出边缘信号和中心信号。
类似地，也可以通过使用光束剖面的分段(比如光束剖面的圆形分段)来确定中心信号和边缘信号。例如，可以通过不经过光束剖面的中心的割线或弦将光束剖面分成两个分段。因此，一个分段将基本上包含边缘信息，而另一分段将包含基本上中心信息。例如，为了进一步减少中心信号中的边缘信息量，可以进一步从中心信号中减去边缘信号。
商Q可以是通过组合中心信号与总和信号而生成的信号。具体地，该确定可以包括以下各项中的一项或多项：形成中心信号与总和信号的商，反之亦然；形成中心信号的倍数与总和信号的倍数的商，反之亦然；形成中心信号的线性组合与总和信号的线性组合的商，反之亦然。附加地或替代性地，商Q可以包括包含关于中心信号与总和信号之间的比较的至少一项信息的任意信号或信号组合。
评估装置可以被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析得出的关系中的一个或多个。评估装置可以包括至少一个数据存储装置，用于存储预定关系，比如查找列表或查找表。
评估装置可以被配置用于执行至少一种算法，该算法计算零阶和更高阶的所有反射特征的距离。该方法可以包括通过使用评估装置从所述反射特征的深度信息来确定至少一个深度级别。评估装置可以被配置用于从反射特征的深度信息来确定第一深度图。第一深度图可以是包括几个条目的稀疏填充的深度图。可替代地，深度可能会由于包含大量条目而变得拥挤。
评估装置被配置用于确定反射图像的相应像素位置x的至少一个物理光特性A(x)。物理光特性A(x)可以是反射率或反照率中的一个或多个。因此，步骤d)可以产生每个反射特征(例如，每个激光光斑)的深度信息和光物理量。
在步骤e)中，对于每个反射特征，该评估装置将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像的相似像素。
该方法可以包括至少一个校准步骤，其中，该校准步骤包括确定该投影仪的位置。因此，投影仪的位置可以是已知的。因此，可以估计物理光特性，例如反射率或反照率。
在步骤d)中确定的信息只会在斑点位置本身上可用。本发明提出外推斑点位置周围的信息。泛光图像可以用于以有意义的方式分配信息。可以假设泛光图像中的相似像素具有相似的斑点信息。如本文所使用的，术语“相似像素”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于与反射特征的像素(特别是反射特征的中心)相比具有相似强度的像素。相似可以指相同的强度和/或在反射特征的像素的强度的20％、优选地10％、更优选地5％的公差范围内相同。术语“所述对应像素周围”可以指在所述对应像素周围的像素区域内的像素。所述对应像素周围的像素可以是相邻的像素。像素区域可以是预定义的和/或可以由评估装置选择。像素区域可以是围绕可位于中心的对应像素的圆形或矩形。像素区域的其他形状也是可能的。可以根据确定的深度信息和/或分辨率等来选择像素区域。可以逐反射特征执行外推，即针对点云中的每个激光光斑逐段执行。通过外推信息，可以将斑点信息的表示从稀疏的斑点列表改变为密集的像素图。
步骤f)包括：该评估装置通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。具体地，步骤f)包括重建对象的表面。该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)可以用于使用从明暗恢复形状来进行对象的表面重建。在泛光光源的光方向是已知的情况下，能够使用从明暗恢复形状的方法来细化深度图。如本文所使用的，术语“从明暗恢复形状”是广义的术语，并且对于本领域普通技术人员来说具有其普通的和通常的含义，而并不局限于特殊的或定制的含义。该术语具体地可以指但不限于计算机视觉中一种用于根据一个或多个2D图像确定3D深度信息的方法。关于从明暗恢复形状，参考如下文献：B.Horn在P.Winston编辑的The Psychology of Computer Vision.McGraw-Hill,New York,1975[计算机视觉心理学.麦格劳-希尔,纽约,1975年]上发表的Obtaining shape from shadinginformation[获取从明暗恢复形状信息]。
从泛光图像中可以得知反射率。另外，物理光特性A(x)，特别是反照率，如上所述使用外推法来确定。这可以允许确定隐式的给定法线场n，即
R(x)＝A(x)·<n(x),l(x)>,
其中，x是图像中的像素位置，l(x)是泛光光源的光方向。法线场用于细化光束剖面分析的深度图。
技术人员已知若干种从明暗恢复形状的技术，例如最小化方法。然而，也可以使用其他方法。
例如，可以使用变分法。步骤f)中对该深度图的确定包括解决至少一个优化问题，从而确定法线图n(x)，其中，该优化问题由下式给出
其中，λ是常数，l(x)是该泛光光源的光方向。该法线图n(x)是作为像素位置x的函数的表面法线的分布，其中，该表面法线是垂直于该对象表面上的切平面的矢量的取向。该优化问题产生法线图n(x)。附加地，还给出了深度图。法线信息可以通过深度图的导数来确定，即
泊松表面重建可以如M.Kazhdan、M.Bolitho和H.Hoppe的“Poisson SurfaceReconstruction”,Eurographics Symposium on Geometry Processing(2006)[“泊松表面重建”,欧洲图形学会几何处理研讨会(2006年)]中所描述的那样执行。z的导数可以从法线图n确定，即
其中，nx是n的前两个分量，nz是第三个分量。应用梯度场的发散度得出泊松方程：
求解泊松方程允许找到接近期望的法线图的深度图。
在本发明的另一方面，披露了一种用于确定深度图的计算机程序，该计算机程序被配置用于当在计算机或计算机网络上执行时，使得该计算机或该计算机网络完全或部分地执行根据本发明的方法，其中，该计算机程序被配置用于至少进行和/或执行根据本发明的方法的步骤c)至f)。具体地，计算机程序可以存储在计算机可读数据载体和/或计算机可读存储介质上。
如本文所使用的，术语“计算机可读数据载体”和“计算机可读存储介质”具体地可以指非暂态数据存储装置，比如其上存储有计算机可执行指令的硬件存储介质。计算机可读数据载体或存储介质具体地可以是或可以包括诸如随机存取存储器(RAM)和/或只读存储器(ROM)等存储介质。
因此，具体地，如上所指示的方法步骤中的一个、多于一个或者甚至所有都可以通过使用计算机或计算机网络、优选地通过使用计算机程序来执行。
在另一方面，披露了计算机可读存储介质，该计算机可读存储介质包括指令，这些指令当由计算机或计算机网络执行时，使得至少执行根据本发明的方法的步骤c)至f)，特别是所有步骤。
本文进一步披露和提出了一种其上存储有数据结构的数据载体，该数据载体在加载到计算机或计算机网络中(比如加载到计算机或计算机网络的工作存储器或主存储器中)之后，可以执行根据本文所披露的一个或多个实施例的方法。
本文进一步披露和提出了一种计算机程序产品，其具有存储在机器可读载体上的程序代码装置，以便当该程序在计算机或计算机网络上执行时执行根据本文所披露的一个或多个实施例的方法。如本文所使用的，计算机程序产品是指作为可交易产品的程序。产品通常可以以任意格式存在，比如以纸质格式，或者存在于计算机可读数据载体和/或计算机可读存储介质上。具体地，计算机程序产品可以通过数据网络分布。
最后，本文披露和提出了一种调制数据信号，其包含计算机系统或计算机网络可读的指令，用于执行根据本文所披露的一个或多个实施例的方法。
参考本发明的计算机实施的方面，根据本文披露的实施例中的一个或多个的方法的方法步骤中的一个或多个或者甚至所有方法步骤可以通过使用计算机或计算机网络来执行。因此，通常，包括数据的提供和/或操控的方法步骤中的任一个可以通过使用计算机或计算机网络来执行。通常，这些方法步骤可以包括方法步骤中的任一个，典型地需要手动工作的方法步骤除外。
具体地，本发明进一步披露了：
-一种计算机或计算机网络，其包括至少一个处理器，其中，该处理器适合于执行根据本说明书中描述的实施例之一的方法，
-一种计算机可加载数据结构，其适合于当在计算机上执行该数据结构时，执行根据本说明书中描述的实施例之一的方法，
-一种计算机程序，其中，该计算机程序适合于当在计算机上执行该程序时，执行根据本说明书中描述的实施例之一的方法，
-一种计算机程序，其包括用于当在计算机上或计算机网络上执行该计算机程序时执行根据本说明书中描述的实施例之一的方法的程序装置，
-一种计算机程序，其包括根据前述实施例的程序装置，其中，该程序装置存储在计算机可读的存储介质上，
-一种存储介质，其中，数据结构存储在该存储介质上，并且其中，该数据结构适合于在被加载到计算机或计算机网络的主存储设备和/或工作存储设备中之后执行根据本说明书中描述的实施例之一的方法，以及
-一种具有程序代码装置的计算机程序产品，其中，该程序代码装置可以存储在或被存储在存储介质上，用于当在计算机或计算机网络上执行该程序代码装置时执行根据本说明书中描述的实施例之一的方法。
在另一方面，披露了一种检测器。关于检测器的定义和实施例，参考关于该方法描述的定义和实施例。
该检测器包括：
-至少一个泛光光源，该至少一个泛光光源被配置用于对包括至少一个对象的场景进行照射，其中，来自该泛光光源的照射具有预定义的和/或预定的光方向；
-至少一个投影仪，该至少一个投影仪被配置用于将至少一个照射图案投影到该场景上；
-至少一个相机，该至少一个相机被配置用于对该场景成像至少一个像素化泛光图像，以及用于成像至少一个像素化反射图像，其中，该反射图像包括由该场景响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
-至少一个评估装置，该至少一个评估装置被配置用于对该泛光图像进行评估，从而确定对于该泛光图像的每个像素位置x的反射率R(x)，其中，该评估装置被配置用于对该反射图像进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像的相应像素位置x的至少一个物理光特性A(x)，其中，该评估装置被配置用于：对于每个反射特征，将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像的相似像素，其中，该评估装置被配置用于通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
该检测器被配置用于执行根据本发明的方法。
在本发明的另一方面，提出了根据本发明(比如根据上文给出的或下文进一步详细给出的一个或多个实施例)的显示装置的用于选自由以下各项组成的组的使用目的的用途：交通技术中的位置测量；娱乐应用；安保应用；监视应用；安全应用；人机界面应用；跟踪应用；摄影应用；成像应用或相机应用；用于生成至少一个空间的地图的地图应用；用于车辆的寻的或跟踪信标检测器；户外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用、汽车应用。
例如，汽车应用可以包括驾驶员监控和/或个性化车辆。
关于本发明的检测器和方法的另外用途，参考WO 2018/091649 A1、WO 2018/091638A1和WO 2018/091640A1，其内容通过引用纳入本文。
总体上，在本发明的上下文中，以下实施例被认为是优选的：
实施例1.一种用于确定至少一个对象的深度图的方法，其中，该方法包括以下步骤：
a)通过使用至少一个泛光光源对包括该对象的场景进行照射，其中，来自该泛光光源的照射具有预定义的和/或预定的光方向，通过使用至少一个相机对该场景成像至少一个像素化泛光图像；
b)通过使用至少一个投影仪将至少一个照射图案投影到该场景上并使用该相机成像至少一个像素化反射图像，其中，该反射图像包括由该场景响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
c)通过使用至少一个评估装置对该泛光图像进行评估，从而确定对于该泛光图像的每个像素位置x的反射率R(x)；
d)通过使用该评估装置对该反射图像进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像的相应像素位置x的至少一个物理光特性A(x)；
e)对于每个反射特征，该评估装置将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像的相似像素；
f)该评估装置通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
实施例2.根据前一实施例的方法，其中，步骤f)中对该深度图的确定包括解决至少一个优化问题，从而确定法线图n(x)，其中，该优化问题由下式给出
其中，λ是常数，l(x)是该泛光光源的光方向。
实施例3.根据前一实施例的方法，其中，该法线图n(x)是作为像素位置x的函数的表面法线的分布，其中，该表面法线是垂直于该对象表面上的切平面的矢量的取向。
实施例4.根据前述两个实施例中任一项所述的方法，其中，步骤f)中该深度图的确定包括通过求解以下泊松方程从该法线图n(x)确定该深度图z：
其中，nx是n的前两个分量，nz是第三个分量。
实施例5.根据前述实施例中任一项所述的方法，其中，物理光特性A(x)是反射率或反照率中的一个或多个。
实施例6.根据前述实施例中任一项所述的方法，其中，该泛光光源包括至少一个发光二极管(LED)。
实施例7.根据前述实施例中任一项所述的方法，其中，该投影仪包括至少一个激光光源，其中，照射图案包括激光光斑的网格。
实施例8.根据前一实施例的方法，其中，这些激光光斑具有处于近红外(NIR)范围内的波长。
实施例9.根据前述实施例中任一项所述的方法，其中，该相机包括至少一个像素化相机芯片，其中，该相机包括至少一个CCD芯片和/或至少一个CMOS芯片。
实施例10.根据前述实施例中任一项所述的方法，其中，该相机是或者包括至少一个近红外相机。
实施例11.根据前述实施例中任一项所述的方法，其中，该方法包括至少一个校准步骤，其中，该校准步骤包括确定该投影仪的位置。
实施例12.一种检测器，包括：
-至少一个泛光光源，该至少一个泛光光源被配置用于对包括至少一个对象的场景进行照射，其中，来自该泛光光源的照射具有预定义的和/或预定的光方向；
-至少一个投影仪，该至少一个投影仪被配置用于将至少一个照射图案投影到该场景上；
-至少一个相机，该至少一个相机被配置用于对该场景成像至少一个像素化泛光图像，以及用于成像至少一个像素化反射图像，其中，该反射图像包括由该场景响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
-至少一个评估装置，该至少一个评估装置被配置用于对该泛光图像进行评估，从而确定对于该泛光图像的每个像素位置x的反射率R(x)，其中，该评估装置被配置用于对该反射图像进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像的相应像素位置x的至少一个物理光特性A(x)，其中，该评估装置被配置用于：对于每个反射特征，将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像的相似像素，其中，该评估装置被配置用于通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
实施例13.根据前一实施例的检测器，其中，该检测器被配置用于执行根据前述涉及方法的实施例中任一项所述的方法。
实施例14.一种用于确定深度图的计算机程序，该计算机程序被配置用于当在计算机或计算机网络上执行时，使得该计算机或计算机网络完全或部分地执行根据前述实施例中任一项所述的方法，其中，该计算机程序被配置用于至少进行和/或执行根据前述涉及方法的实施例中任一项所述的方法的步骤c)至f)。
实施例15.一种包括指令的计算机可读存储介质，这些指令当由计算机或计算机网络执行时，使得至少执行根据前述涉及方法的实施例中任一项所述的方法的步骤c)至f)。
实施例16.根据前述涉及检测器的实施例中任一项所述的检测器的用于选自由以下各项组成的组的使用目的的用途：交通技术中的位置测量；娱乐应用；安保应用；监视应用；安全应用；人机界面应用；跟踪应用；摄影应用；成像应用或相机应用；用于生成至少一个空间的地图的地图应用；用于车辆的寻的或跟踪信标检测器；户外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用、汽车应用。
附图说明
根据下面结合从属权利要求对优选示例性实施例的描述，本发明的另外可选的细节和特征是明显的。在本上下文中，特定特征可以以单独的方式或与其他特征组合来实现。本发明不限于示例性实施例。示例性实施例在附图中示意性地示出。各个附图中相同的附图标记指的是相同的元件或具有相同功能的元件，或者在其功能方面彼此对应的元件。
具体地，在附图中：
具体地，在附图中：
图1示出了根据本发明的用于确定至少一个对象的深度图的方法的实施例；
图2示出了根据本发明的检测器的实施例；以及
图3示出了步骤e)的外推的实施例。
具体实施方式
图1示出了根据本发明的用于确定至少一个对象110的深度图的方法的实施例的流程图。
这些方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。进一步地，可以存在未列出的一个或多个额外的方法步骤。进一步地，可以重复执行其中一个、多于一个或者甚至所有方法步骤。细节、选项和定义可以参考上文讨论的显示装置。因此，具体地，如上所述，该方法可以包括使用根据本发明(比如根据上文给出的或下文进一步详细给出的一个或多个实施例)的显示装置。
该方法包括以下步骤：
a)(附图标记112)通过使用至少一个泛光光源116对包括该对象110的场景114进行照射，其中，来自该泛光光源116的照射具有预定义的和/或预定的光方向118，通过使用至少一个相机122对该场景114成像至少一个像素化泛光图像120；
b)(附图标记124)通过使用至少一个投影仪126将至少一个照射图案投影到该场景114上并使用该相机122成像至少一个像素化反射图像128，其中，该反射图像128包括由该场景响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
c)(附图标记130)通过使用至少一个评估装置132对该泛光图像120进行评估，从而确定对于该泛光图像120的每个像素位置x的反射率R(x)；
d)(附图标记134)通过使用该评估装置132对该反射图像128进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像的相应像素位置x的至少一个物理光特性A(x)；
e)(附图标记136)对于每个反射特征，该评估装置132将该确定的深度信息和该确定的物理光特性A(x)分配(用附图标记138表示)给该泛光图像120的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推(用箭头140表示)到所述对应像素周围的该泛光图像120的相似像素；
f)(附图标记142)该评估装置132通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
对象110可以是被配置为至少部分地反射入射到该对象110上的至少一个光束的任意对象，特别是表面或区域。光束可以源自照射对象110的投影仪126和/或泛光光源116。光束被发射，例如被对象110反射或散射。对象110可以是待测量的任意对象，例如有生命的或者无生命的对象。场景114可以包括至少一个任意对象或者空间区域。场景114可以包括至少一个对象110和周围环境。
图3以高度示意性的方式示出了根据本发明的检测器144的实施例。检测器144包括至少一个泛光光源116，该泛光光源被配置用于对包括至少一个对象110的场景114进行照射。来自泛光光源116的照射具有预定义的和/或预定的光方向118。
泛光光源116可以被配置用于场景照射。场景照射可以包括场景114的漫射和/或均匀照射。泛光光源116可以适于直接或间接地照射场景114，其中，该照射被场景114的表面反射或散射，并且由此至少部分地指向相机122。泛光光源116可以适于例如通过将光束指向场景114来照射该场景，该场景反射该光束。泛光光源116可以被配置用于生成用于照射场景114的照射光束。
泛光光源116可以包括至少一个发光二极管(LED)。泛光光源116可以用LED、并且特别地在没有照射图案的情况下照射场景114，并且相机122可以被配置用于捕获场景114的二维图像。泛光光源116可以包括单个光源或多个光源。作为示例，泛光光源116发射的光可以具有300nm至1100nm、尤其是500nm至1100nm的波长。附加地或替代性地，可以使用红外光谱范围内的光，比如780nm至3.0μm范围内的光。具体地，可以使用硅光电二极管适用的近红外区的部分中(具体地是在700nm至1100nm的范围内)的光。泛光光源116可以被配置用于发射单一波长的光。具体地，该波长可以在近红外区中。在其他实施例中，泛光光源116可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
检测器144包括至少一个投影仪126，该至少一个投影仪被配置用于将至少一个照射图案投影到场景114上。
投影仪126和泛光光源116可以构成坐标系146，其中，纵向坐标是沿着光轴148的坐标。平行于或反向平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标z。垂直于z轴的任何方向可以被认为是横向方向，并且极坐标和/或极角可以被认为是横向坐标。
投影仪126可以是至少一个被配置用于提供至少一个照射图案的照射装置。投影仪126可以是或者可以包括至少一个光源或者至少一个多光束光源。例如，投影仪126可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地，投影仪126可以包括至少一个激光器和/或激光源。可以使用各种类型的激光器，例如半导体激光器、双异质结构激光器、外腔激光器、分离局限式异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器、或垂直腔面发射激光器。附加地或替代性地，可以使用非激光光源，比如LED、微型发光二极管(LED)、和/或灯泡。投影仪126可以包括被配置用于生成照射图案的一个或多个衍射光学元件(DOE)。例如，投影仪126可以适于生成和/或投射点云，例如投影仪源可以包括以下中的一个或多个：至少一个数字光处理投影仪、至少一个LCoS投影仪、至少一个空间光调制器；至少一个衍射光学元件；至少一个发光二极管阵列；至少一个激光光源阵列。由于其通常限定的光束剖面和可操作性的其他特性，使用至少一个激光源是特别优选的。投影仪126和泛光光源116可以集成到检测器144的壳体150中。
照射图案可以是包括适于照射场景114的至少一部分的至少一个照射特征的至少一个任意图案。照射特征可以是图案的至少一个至少部分延伸的特征。照射图案可以包括单个照射特征。照射图案可以包括多个照射特征。照射图案可以选自由以下各项组成的组：至少一个点图案；至少一个线图案；至少一个条纹图案；至少一个棋盘状图案；至少一个包括周期性或非周期性特征的布置的图案。照射图案可以包括规则的和/或恒定的和/或周期性的图案，例如三角形图案、矩形图案、六边形图案或包括其他凸镶嵌的图案。照射图案可以展现选自由以下各项组成的组中的至少一个照射特征：至少一个点；至少一条线；至少两条线，例如平行线或交叉线；至少一个点和一条线；至少一种周期性或非周期性特征的布置；至少一个任意形状的特征。照射图案可以包括选自由以下各项组成的组中的至少一个图案：至少一个点图案，特别是伪随机点图案；随机点图案或准随机图案；至少一个索博尔图案；至少一个准周期图案；包括至少一个预知特征的至少一个图案至少一个规则图案；至少一个三角形图案；至少一个六边形图案；至少一个矩形图案包括凸均匀镶嵌的至少一个图案；包括至少一条线的至少一个线图案；包括至少两条线(例如平行线或交叉线)的至少一个线图案。照射图案中两个特征(特别是斑点)之间的距离和/或至少一个照射特征的区域可能取决于反射图像128中的弥散圆。
投影仪126发射的光可以具有300nm至1100nm、尤其是500nm至1100nm的波长。附加地或替代性地，可以使用红外光谱范围内的光，比如780nm至3.0μm范围内的光。这些激光光斑可以具有处于近红外(NIR)范围内的波长。具体地，可以使用硅光电二极管适用的近红外区的部分中(具体地是在700nm至1100nm的范围内)的光。例如，投影仪126可以被配置用于发射波长范围在800nm至1000nm、优选地为940nm的光束，因为地面太阳辐射在该波长处具有辐照度的局部最小值，例如在CIE 085-1989“太阳光谱辐照度”中所描述的。投影仪126可以被配置用于发射单一波长的光。具体地，该波长可以在近红外区中。在其他实施例中，投影仪126可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
检测器144包括至少一个相机122，该相机被配置用于成像像素化泛光图像120，以及用于成像像素化反射图像128。相机122可以包括至少一个像素化相机芯片。作为示例，相机122可以包括至少一个相机芯片，比如被配置用于记录图像的至少一个CCD芯片和/或至少一个CMOS芯片。
检测器144(例如相机122)可以包括至少一个传输装置152，例如透镜或透镜系统。传输装置152具体地可以包括以下各项中的一项或多项：至少一个透镜，例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜；至少一个衍射光学元件；至少一个凹面镜；至少一个光束偏转元件，优选为至少一个反射镜；至少一个分束元件，优选为分束立方体或分束镜中的至少一者；至少一个多透镜系统。传输装置152可以具有焦距。
相机122被配置用于成像至少一个像素化泛光图像120。泛光图像120可以响应于场景114的漫射和/或均匀照射而生成。图2中间示出了泛光图像120的示例。泛光图像120可以不包括由照射图案生成的任何反射特征。泛光图像本身可以包括像素，图像的像素与传感器元件的矩阵的像素相关。泛光图像120可以是至少一个二维图像。泛光图像120可以是RGB(红绿蓝)图像。成像至少一个泛光图像120可以包括捕获和/或记录泛光图像120。检测器144的评估装置132被配置用于对泛光图像进行评估，从而确定对于泛光图像120的每个像素位置x的反射率R(x)。可以通过确定反射的能量与入射到场景上的总能量的比率来确定反射率。因此，评估装置132可以被配置用于确定每个像素的强度值。反射率可以被假定为朗伯反射率。
相机122被配置用于成像至少一个像素化反射图像128。图2左侧示出了反射图像12的示例。反射图像128包括由场景响应于照射图案而生成的多个反射特征。每个反射特征包括至少一个光束剖面，其也表示为反射光束剖面。反射特征的光束剖面可以是作为像素的函数的反射特征的至少一种强度分布。光束剖面可以选自由以下构成的组：梯形光束剖面；三角形光束剖面；圆锥形光束剖面、以及高斯光束剖面的线性组合。
因此，如图3所示的检测器144的设置可以包括相机122、激光投影仪126和泛光光源116。相机122可以捕获两个图像。一个图像可以包括仅由激光投影仪126照射的场景。这是所得的激光帧。另一个图像可以仅包括由泛光光源116照射的场景。这是泛光帧。
评估装置132被配置用于对反射图像128进行评估。该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像128的相应像素位置x的至少一个物理光特性A(x)。
对反射图像128的评估可以包括识别该反射图像的反射特征。评估装置132可以被配置用于执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项：滤波；选择至少一个关注区域；形成由传感器信号创建的图像与至少一个偏移之间的差分图像；通过反转由传感器信号创建的图像来反转传感器信号；形成由传感器信号在不同时间创建的图像之间的差分图像；背景校正；分解为颜色通道；分解为色调；饱和度；以及亮度通道；频率分解；奇异值分解；应用斑点检测器；应用角点检测器；应用海森行列式滤波器；应用基于主曲率的区域检测器；应用最大稳定极值区域检测器；应用广义霍夫变换；应用脊检测器；应用仿射不变特征检测器；应用仿射自适应兴趣点算子；应用哈里斯仿射区域检测器；应用海森仿射区域检测器；应用尺度不变特征变换；应用尺度空间极值检测器；应用局部特征检测器；应用加速鲁棒特征算法；应用梯度位置和方向直方图算法；应用方向梯度直方图描述符；应用德里奇边缘检测器；应用差分边缘检测器；应用时空兴趣点检测器；应用莫拉维克角点检测器；应用坎尼边缘检测器；应用高斯拉普拉斯滤波器；应用高斯差分滤波器；应用索贝尔算子；应用拉普拉斯算子；应用沙尔算子；应用普雷维特算子；应用罗伯茨算子；应用基尔希算子；应用高通滤波器；应用低通滤波器；应用傅里叶变换；应用拉东变换；应用霍夫变换；应用小波变换；阈值化；创建二值图像。关注区域可以是由用户手动确定的或者可以是比如通过识别图像内的特征来自动确定的。
评估装置132可以被配置用于执行至少一种图像校正。图像校正可以包括至少一种背景减除。评估装置132可以适于例如通过在没有进一步的照射的情况下成像来从光束剖面中去除背景光的影响。
评估装置132可以被配置用于确定相应的反射特征的光束剖面。确定光束剖面可以包括识别反射图像128的至少一个反射特征和/或选择反射图像128的至少一个反射特征，以及对反射特征的至少一种强度分布进行评估。作为示例，可以使用和评估矩阵的区域来确定比如沿着穿过矩阵的轴线或线的强度分布，例如三维强度分布或二维强度分布。作为示例，可以例如通过确定具有最高照度的至少一个像素来确定光束的照射中心，并且可以选择穿过照射中心的横截轴线。强度分布可以是作为沿着穿过照射中心的横截轴线的坐标的函数的强度分布。其他评估算法也是可行的。
反射特征可以覆盖或可以延伸至反射图像128的至少一个像素。例如，反射特征可以覆盖或可以延伸至多个像素。评估装置132可以被配置用于确定和/或选择连接到和/或属于反射特征(例如光斑)的所有像素。评估装置132可以被配置用于通过下式确定强度中心(center of intensity)：
其中，Rcoi是强度中心的位置，r像素是像素位置，并且l＝∑jI总，其中，j是连接到和/或属于该反射特征的像素的数量j，并且I总是总强度。
激光帧可以通过所谓的“光束剖面分析”来评估，其也称为光子比率深度(depth-from-photon-ratio)技术。关于光子比率深度(DPR)技术，参考WO 2018/091649 A1、WO2018/091638 A1和WO 2018/091640 A1，其全部内容通过引用纳入本文。所提及的参考文献涉及如何从至少一个反射特征中确定组合信号Q(也表示为商Q)并使用组合信号Q与纵向坐标之间的至少一种预定关系从其中确定深度信息的实施例。
评估装置132被配置用于通过分析每个反射特征相应的光束剖面来确定该反射特征的深度信息。因此，评估装置132可以被配置用于通过分析每个反射特征相应的光束剖面来确定该反射特征的至少一个纵向坐标zDPR。
评估装置132可以被配置用于执行至少一种算法，该算法计算零阶和更高阶的所有反射特征的距离。该方法可以包括通过使用评估装置132根据所述反射特征的深度信息来确定至少一个深度级别。评估装置132可以被配置用于从反射特征的深度信息来确定第一深度图。第一深度图可以是包括几个条目的稀疏填充的深度图。可替代地，深度可能会由于包含大量条目而变得拥挤。
评估装置132被配置用于确定反射图像128的相应像素位置x的至少一个物理光特性A(x)。物理光特性A(x)可以是反射率或反照率中的一个或多个。因此，步骤d)可以产生每个反射特征(例如，每个激光光斑)的深度信息和光物理量。
评估装置132被配置用于：对于每个反射特征，将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推140到所述对应像素周围的该泛光图像120的相似像素。
该方法可以包括至少一个校准步骤，其中，该校准步骤包括确定投影仪126的位置。因此，投影仪126的位置可以是已知的。因此，可以估计物理光特性，例如反射率或反照率。
在步骤d)中确定的信息只会在斑点位置本身上可用。如图2的图像中所描绘的，本发明提出外推斑点位置周围的信息，参见附图标记140。从左到右，图2示出了反射图像128的已识别的参考特征的像素、泛光图像120中的对应像素、以及到相似像素的外推。泛光图像120可以用于以有意义的方式分配信息。可以假设泛光图像120中的相似像素具有相似的斑点信息。所述对应像素周围的像素可以是相邻的像素。像素区域可以是预定义的和/或可以由评估装置132选择。如上所述，评估装置132可以被配置用于确定和/或选择连接到和/或属于反射特征的所有像素。在该区域中可以使用相似像素。像素区域可以是围绕可位于中心的对应像素的圆形或矩形。像素区域的其他形状也是可能的。可以根据确定的深度信息和/或分辨率等来选择像素区域。可以逐反射特征执行外推，即针对点云中的每个激光光斑逐段执行。通过外推信息，可以将斑点信息的表示从稀疏的斑点列表改变为密集的像素图。
评估装置132被配置用于通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。评估装置132可以被配置用于重建对象110的表面。该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)可以用于使用从明暗恢复形状来进行对象的表面重建。在泛光光源的光方向是已知的情况下，能够使用从明暗恢复形状的方法来细化深度图。关于从明暗恢复形状，参考如下文献：B.Horn在P.Winston编辑的The Psychology of Computer Vision.McGraw-Hill,New York,1975[计算机视觉心理学.麦格劳-希尔,纽约,1975年]上发表的Obtainingshape from shading information[获取从明暗恢复形状信息]。
从泛光图像中可以得知反射率。另外，物理光特性A(x)，特别是反照率，如上所述使用外推法来确定。这可以允许确定隐式的给定法线场n，即
R(x)＝A(x)·<n(x),l(x)>,
其中，x是图像中的像素位置，l(x)是泛光光源的光方向。法线场用于细化光束剖面分析的深度图。
技术人员已知若干种从明暗恢复形状的技术，例如最小化方法。然而，也可以使用其他方法。
例如，可以使用变分法。步骤f)中对该深度图的确定包括解决至少一个优化问题，从而确定法线图n(x)，其中，该优化问题由下式给出
其中，λ是常数，l(x)是该泛光光源的光方向。该法线图n(x)是作为像素位置x的函数的表面法线的分布，其中，该表面法线是垂直于该对象表面上的切平面的矢量的取向。该优化问题产生法线图n(x)。附加地，还给出了深度图。法线信息可以通过深度图的导数来确定，即
泊松表面重建可以如M.Kazhdan、M.Bolitho和H.Hoppe的“Poisson SurfaceReconstruction”,Eurographics Symposium on Geometry Processing(2006)[“泊松表面重建”,欧洲图形学会几何处理研讨会(2006年)]中所描述的那样执行。z的导数可以从法线图n确定，即
其中，nx是n的前两个分量，nz是第三个分量。应用梯度场的发散度得出泊松方程：
求解泊松方程允许找到接近期望的法线图的深度图。
附图标记清单
110 对象
112 步骤a
114 场景
116 泛光光源
118 光方向
120 泛光图像
122 相机
124 步骤b)
126 投影仪
128 反射图像
130 步骤c)
132 评估装置
134 步骤d)
136 步骤e)
138 分配
140 外推
142 步骤f)
144 检测器
146 坐标系
148 光轴
150 壳体
152 传输装置

Claims (15)

1.一种用于确定至少一个对象(110)的深度图的方法，其中，该方法包括以下步骤：
a)(112)通过使用至少一个泛光光源(116)对包括该对象(110)的场景(114)进行照射，其中，来自该泛光光源(116)的照射具有预定义的和/或预定的光方向(118)，通过使用至少一个相机(122)对该场景(114)成像至少一个像素化泛光图像(120)；
b)(124)通过使用至少一个投影仪(116)将至少一个照射图案投影到该场景(114)上并使用该相机(122)成像至少一个像素化反射图像(128)，其中，该反射图像(128)包括由该场景(114)响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
c)(130)通过使用至少一个评估装置(132)对该泛光图像(120)进行评估，从而确定对于该泛光图像(120)的每个像素位置x的反射率R(x)；
d)(134)通过使用该评估装置(132)对该反射图像(128)进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像(128)的相应像素位置x的至少一个物理光特性A(x)；
e)(136)对于每个反射特征，该评估装置(132)将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像(120)的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像(120)的相似像素；
f)(142)该评估装置(132)通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
2.根据前一项权利要求所述的方法，其中，步骤f)(142)中对该深度图的确定包括解决至少一个优化问题，从而确定法线图n(x)，其中，该优化问题由下式给出
其中，λ是常数，l(x)是该泛光光源(116)的光方向。
3.根据前一项权利要求所述的方法，其中，该法线图n(x)是作为像素位置x的函数的表面法线的分布，其中，该表面法线是垂直于该对象(110)表面上的切平面的矢量的取向。
4.根据前述两项权利要求中任一项所述的方法，其中，步骤f)(142)中该深度图的确定包括通过求解以下泊松方程从该法线图n(x)确定该深度图z：
其中，nx是n的前两个分量，nz是第三个分量。
5.根据前述权利要求中任一项所述的方法，其中，该物理光特性A(x)是反射率或反照率中的一个或多个。
6.根据前述权利要求中任一项所述的方法，其中，该泛光光源(116)包括至少一个发光二极管(LED)。
7.根据前述权利要求中任一项所述的方法，其中，该投影仪(126)包括至少一个激光光源，其中，该照射图案包括激光光斑的网格。
8.根据前一项权利要求所述的方法，其中，这些激光光斑具有处于近红外(NIR)范围内的波长。
9.根据前述权利要求中任一项所述的方法，其中，该相机(122)包括至少一个像素化相机芯片，其中，该相机(122)包括至少一个CCD芯片和/或至少一个CMOS芯片。
10.根据前述权利要求中任一项所述的方法，其中，该相机(122)是或者包括至少一个近红外相机。
11.根据前述权利要求中任一项所述的方法，其中，该方法包括至少一个校准步骤，其中，该校准步骤包括确定该投影仪(126)的位置。
12.一种检测器(144)，包括：
-至少一个泛光光源(116)，该至少一个泛光光源被配置用于对包括至少一个对象(110)的场景(114)进行照射，其中，来自该泛光光源(116)的照射具有预定义的和/或预定的光方向(118)；
-至少一个投影仪(126)，该至少一个投影仪被配置用于将至少一个照射图案投影到该场景(114)上；
-至少一个相机(122)，该至少一个相机被配置用于对该场景(114)成像至少一个像素化泛光图像(120)，以及用于成像至少一个像素化反射图像(128)，其中，该反射图像(128)包括由该场景(114)响应于该照射图案而生成的多个反射特征，其中，每个反射特征包括光束剖面；
-至少一个评估装置(132)，该至少一个评估装置被配置用于对该泛光图像(120)进行评估，从而确定对于该泛光图像(120)的每个像素位置x的反射率R(x)；其中，该评估装置(132)被配置用于对该反射图像(128)进行评估，其中，该评估包括：对于每个反射特征，通过分析其相应的光束剖面来确定深度信息，并确定对于该反射图像(128)的相应像素位置x的至少一个物理光特性A(x)；其中，该评估装置(132)被配置用于：对于每个反射特征，将该确定的深度信息和该确定的物理光特性A(x)分配给该泛光图像(120)的对应像素，并将该确定的深度信息和该确定的物理光特性A(x)外推到所述对应像素周围的该泛光图像(120)的相似像素；其中，该评估装置(132)被配置用于通过使用考虑该确定的反射率R(x)、该确定的深度信息和该确定的物理光特性A(x)的从明暗恢复形状的技术来确定该深度图。
13.根据前一项权利要求所述的检测器(144)，其中，该检测器(144)被配置用于执行根据前述涉及方法的权利要求中任一项所述的方法。
14.一种用于确定深度图的计算机程序，该计算机程序被配置用于当在计算机或计算机网络上执行时，使得该计算机或该计算机网络完全或部分地执行根据前述权利要求中任一项所述的方法，其中，该计算机程序被配置用于至少进行和/或执行根据前述涉及方法的权利要求中任一项所述的方法的步骤c)至f)。
15.根据前述涉及检测器的权利要求中任一项所述的检测器(144)的用于选自由以下各项组成的组的使用目的的用途：交通技术中的位置测量；娱乐应用；安保应用；监视应用；安全应用；人机界面应用；跟踪应用；摄影应用；成像应用或相机应用；用于生成至少一个空间的地图的地图应用；用于车辆的寻的或跟踪信标检测器；户外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用、汽车应用。
CN202280057338.3A 2021-08-23 2022-08-22 从明暗恢复形状 Pending CN117836806A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21192632.4 2021-08-23
EP21192632 2021-08-23
PCT/EP2022/073340 WO2023025726A1 (en) 2021-08-23 2022-08-22 Shape-from-shading

Publications (1)

Publication Number Publication Date
CN117836806A true CN117836806A (zh) 2024-04-05

Family

ID=77499627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280057338.3A Pending CN117836806A (zh) 2021-08-23 2022-08-22 从明暗恢复形状

Country Status (4)

Country Link
US (1) US11995857B2 (zh)
EP (1) EP4392932A1 (zh)
CN (1) CN117836806A (zh)
WO (1) WO2023025726A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
KR102452770B1 (ko) 2016-11-17 2022-10-12 트리나미엑스 게엠베하 적어도 하나의 대상체를 광학적으로 검출하기 위한 검출기
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
US11561085B2 (en) * 2019-06-05 2023-01-24 Qualcomm Incorporated Resolving multipath interference using a mixed active depth system
KR20220103962A (ko) * 2019-11-27 2022-07-25 트리나미엑스 게엠베하 디스플레이를 통한 깊이 측정
JP2023512280A (ja) * 2020-01-31 2023-03-24 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 物体認識のための検出器
CN111366941A (zh) * 2020-04-20 2020-07-03 深圳奥比中光科技有限公司 一种tof深度测量装置及方法

Also Published As

Publication number Publication date
WO2023025726A1 (en) 2023-03-02
EP4392932A1 (en) 2024-07-03
US11995857B2 (en) 2024-05-28
US20240013416A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230078604A1 (en) Detector for object recognition
US20230081742A1 (en) Gesture recognition
CN113454419A (zh) 具有用于照射至少一个对象的投影仪的检测器
US11920918B2 (en) One shot calibration
US20230403906A1 (en) Depth measurement through display
US11995857B2 (en) Shape-from-shading
KR20230028303A (ko) 확산 조명 및 구조화 광을 위한 프로젝터
CN118302648A (zh) 一次性校准
US11906421B2 (en) Enhanced material detection by stereo beam profile analysis
CN117957419A (zh) 具有两个或更多个独立驱动的区域的发射器阵列
CN118215820A (zh) 基于结构光的3d检测器的重新校准
CN118215858A (zh) 投影仪的眼睛安全性
US20240027188A1 (en) 8bit conversion
KR20240093513A (ko) 멀티 파장 프로젝터와 관련된 확장된 재료 검출
CN118056111A (zh) 用于对准投影仪的光学部件的方法
CN118159870A (zh) 涉及多波长投影仪的扩展材料检测
CN118176404A (zh) 与标记投影相结合的结构光图案
KR20230146540A (ko) 얼굴 잠금 해제를 위한 광학 피부 검출
Rutgers Natural illumination invariant imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication