CN114746905A - 通过显示器的深度测量 - Google Patents

通过显示器的深度测量 Download PDF

Info

Publication number
CN114746905A
CN114746905A CN202080082424.0A CN202080082424A CN114746905A CN 114746905 A CN114746905 A CN 114746905A CN 202080082424 A CN202080082424 A CN 202080082424A CN 114746905 A CN114746905 A CN 114746905A
Authority
CN
China
Prior art keywords
illumination
feature
image
features
reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080082424.0A
Other languages
English (en)
Inventor
P·辛德勒
B·莱因
C·邦西诺
M·埃伯斯帕奇
P·席伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN114746905A publication Critical patent/CN114746905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提出了一种显示装置(110)。所述显示装置(110)包括：‑至少一个照射源(114)，其被配置用于在至少一个场景上投射包括多个照射特征的至少一个照射图案；‑至少一个光学传感器(118)，其具有至少一个光敏区(120)，其中，所述光学传感器(118)被配置用于确定至少一个第一图像(112)，所述第一图像(122)包括响应于由所述照射特征的照射而由所述场景产生的多个反射特征；‑至少一个半透明显示器(112)，其被配置用于显示信息，其中，所述照射源(114)和所述光学传感器(118)被放置在所述显示器(112)前面的所述照射图案的传播方向上；‑至少一个评估装置(124)，其中，所述评估装置(124)被配置用于评估所述第一图像(122)，其中，所述第一图像(122)的所述评估包括识别所述第一图像(122)的所述反射特征和关于亮度对所识别的反射特征进行分类，其中，所述反射特征中的每一个包括至少一个束轮廓，其中，所述评估装置(124)被配置用于通过分析它们的束轮廓来确定针对所述反射特征中的每一个的至少一个纵向坐标zDPR，其中，所述评估装置(124)被配置用于通过使用所述纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，其中，所述评估装置(124)被配置用于将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征，其中，所述评估装置(124)被配置用于拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。

Description

通过显示器的深度测量
技术领域
本发明涉及一种显示装置和一种通过半透明显示器进行深度测量的方法以及该显示装置的各种用途。根据本发明的装置、方法和用途具体地可以例如用在日常生活、安全技术、游戏、交通技术、生产技术、诸如针对艺术的数字摄影或视频摄影的摄影、文档编制或技术目的、安全技术、信息技术、农业、作物保护、维护、化妆品、医学技术或科学的各种领域中。然而，其他应用也是可能的。
背景技术
多个显示装置是已知的。具有显示器的装置的最新发展显示，显示区域应覆盖整个可用空间，并且显示器周围的框架应尽可能小。这导致电子组件和传感器，例如前置摄像头、手电筒、接近传感器和甚至3D成像传感器不能再布置在框架内，而必须放置在显示器下面。然而，大多数常见的3D成像技术和系统，诸如基于结构光或3D飞行时间(ToF)的3D成像系统，不能毫不费力地放置在显示器下面。
直到现在，还不知道基于结构光或3D-ToF的3D成像系统在显示器下工作，即，不制作不包含任何微电路和/或微布线的空窗口，用于放置3D成像系统的组件或器件以通过这些窗口“看到”。
对于结构光，主要问题是透明显示器的微电路和/或微布线的微结构，以及因此，通过显示器的低透光率。该微结构由用于寻址单个像素的电极矩阵产生。而且，像素本身表示倒置光栅，因为单个像素的金属阴极不透明。原则上，显示器结构可以通过使用特定材料作为一个整体(包括电极)制成透明或半透明，直到现在还没有不具有光栅状微结构的透明或半透明显示器。
基于结构光的3D成像器基于将具有数千个点且具有众所周知的图案的点云投射到场景中。透明或半透明显示器的微结构像用于激光的衍射光栅结构一样起作用。由于大多数结构光成像器的投射器基于激光源，该激光源投射清晰的点图案，该图案经历显示器的光栅效应，并且点图案的每个单点将显示更高的衍射级。这对结构光成像器具有毁灭性影响，因为由光栅结构引起的额外和不需要的点使其算法检索原始预期图案高度复杂。
此外，用于传统结构光成像器的投射点数量相当高。由于透明显示器具有非常低的光透射率，例如即使在850nm和940nm(其是用于3D成像器的典型波长)的红外(IR)中，结构光投射器也需要非常高的输出功率以通过显示器获得可以由成像器检测到的足够的功率，该成像器也必须位于显示器下面，这导致附加的光吸收。高点数和低透光率的组合可能导致低环境光鲁棒性。
对于3D-ToF传感器，导致多次反射的显示器表面上的反射，以及当光通过显示器时的延迟差异，不同的显示器结构具有不同的折射率，并且在显示器后面使用时阻止鲁棒的功能。此外，3D-ToF传感器还需要大量的光来照射场景。另外，照射应该是均匀的。显示器的低透光率使其难以提供足够的光，并且光栅结构影响照射的均匀性。
常见的3D感测系统具有通过透明显示器进行测量的问题。当前装置在显示器中使用凹槽。通过那种方式，传感器不受衍射光学效应干扰。
DE 20 2018 003 644 U1描述了一种便携式电子装置，包括：底壁和与底壁协同限定空腔的侧壁，侧壁具有限定通向空腔的开口的边缘；覆盖开口并密封空腔的保护层；视觉子系统，其设置在空腔内以及保护层与底壁之间并用于提供保护层外部的对象的深度图，该视觉子系统包括：用于承载光学组件的夹子组件，该光学组件协同产生用于深度图的信息，该夹子组件包括：第一支架，其被布置为以彼此固定的距离支撑和保持光学组件，以及第二支架，其具有固定到第一支架的主体，其中，第二支架具有远离主体延伸的突出部。
US 9,870,024 B2描述了一种电子显示器，其包括多个层，诸如覆盖层、滤色器层、包括发光二极管或有机发光二极管的显示层、薄膜晶体管层等。在一个实施例中，这些层包括设置在相机上面的基本上透明的区域。基本上透明的区域允许来自外部的光到达相机，使得相机能够记录图像。
US 10,057,541 B2描述了一种图像捕获设备和一种拍摄方法。该图像捕获设备包括：透明显示面板；以及面向透明显示面板的底面的相机，以用于将快门时间与透明显示面板显示黑图像时的时段同步，并用于捕获位于透明显示面板前面的图像。
US 10,215,988 B2描述了一种用于显示来自场景的光的光学系统，该光学系统包括有源光学组件，该有源光学组件包括第一多个光引导孔、光学检测器、处理器、显示器和第二多个光引导孔。第一多个光引导孔被定位成向光学检测器提供光学输入。光学检测器被定位成接收光学输入并将光学输入转换为对应于强度和位置数据的电信号。处理器被连接以接收来自光学检测器的数据并处理用于显示的数据。第二多个光引导孔被定位成提供来自显示器的光学输出。
WO 2019/042956 A1描述了一种用于确定至少一个对象的位置的检测器。该检测器包括：-具有光学传感器的矩阵的至少一个传感器元件，光学传感器各自具有光敏区，其中，每个光学传感器被设计为响应于由从对象传播到检测器的反射光束对其相应光敏区域的照射，产生至少一个传感器信号，其中，传感器元件适于确定至少一个反射图像；-至少一个评估装置，其中，评估装置适于选择反射图像的至少一个反射特征，其中，评估装置被配置用于通过评估来自传感器信号的组合信号Q来确定反射图像的所选择的反射特征的至少一个纵向区域，其中，评估装置适于确定至少一个参考图像中的对应于纵向区域的至少一个位移区域，其中，评估装置适于将所选择的反射特征与位移区域内的至少一个参考特征匹配，
本发明解决的问题
因此，本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地，本发明的目地是提供允许通过显示器以低技术努力以及技术资源和成本方面的低要求进行可靠的深度测量的装置和方法。
发明内容
该问题由具有独立专利权利要求的特征的本发明来解决。在从属权利要求和/或在以下说明书和详细的实施例中呈现本发明的可单独地或组合地实现的有利发展。
如下文所使用的，术语“具有”、“包括”或“包含”或其任何语法变体以非排他性的方式使用。因此，这些术语可以指本上下文中描述的实体中除了由这些术语引入的特征之外不存在其他特征的情形，也可以指还存在一个或多个其他特征的情形。作为示例，表述“A具有B”、“A包括B”和“A包含B”可以指A中除了B之外不存在其他要素的情形(即，A仅仅且排他地由B组成的情形)，也可以指实体A中除了B之外还存在一个或多个其他要素(诸如要素C、要素C和D、或甚至其他要素)的情形。
此外，应注意，术语“至少一个”、“一个或多个”或者指示特征或要素可以存在一次或多于一次的类似表述通常将仅在引入相应的特征或要素时使用一次。在下文中，在多数情况下，当提及相应的特征或要素时，将不会重复表述“至少一个”或“一个或多个”，但是承认相应的特征或要素可以存在一次或多于一次的事实。
此外，如下文所使用的，术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语可以与可选特征结合使用，而不限制可替代的可能性。因此，由这些术语引入的特征是可选的特征，并不旨在以任何方式限制权利要求的范围。如本领域的技术人员将认识到的，本发明可通过使用替代特征来执行。类似地，由“在本发明的实施例中”或类似表述引入的特征旨在为可选的特征，而对本发明的替代实施例没有任何限制，对本发明的范围没有任何限制，并且对组合以此方式引入的特征与本发明的其他可选的或非可选的特征的可能性没有任何限制。
在本发明的第一方面中，公开了一种显示装置。如本文所使用的，术语“显示器”可以是指被配置用于显示诸如至少一个图像、至少一个图表、至少一个直方图、至少一个文本、至少一个符号的信息项的任意成形的装置。显示器可以是至少一个监视器或至少一个屏幕。显示器可以具有任意形状，优选地矩形形状。如本文所使用的，术语“显示装置”通常可以指包括至少一个显示器的至少一个电子装置。例如，显示装置可以是选自包括以下各项的组的至少一个装置：电视装置、智能电话、游戏控制台、个人计算机、膝上型电脑、平板电脑、至少一个虚拟现实装置或其组合。
所述显示装置包括：
-至少一个照射源，其被配置用于在至少一个场景上投射包括多个照射特征的至少一个照射图案；
-至少一个光学传感器，其具有至少一个光敏区(area)，其中，所述光学传感器被配置用于确定至少一个第一图像，所述至少一个第一图像包括响应于由所述照射特征的照射而由所述场景产生的多个反射特征；
-至少一个半透明显示器，其被配置用于显示信息，其中，所述照射源和所述光学传感器被放置在所述显示器前面的照射图案的传播方向上；
-至少一个评估装置，其中，所述评估装置被配置用于评估所述第一图像，其中，所述第一图像的所述评估包括识别所述第一图像的所述反射特征和关于亮度对所识别的反射特征进行分类，其中，所述反射特征中的每一个反射特征包括至少一个束轮廓，其中，所述评估装置被配置用于通过分析它们的束轮廓来确定针对所述反射特征中的每一个反射特征的至少一个纵向坐标zDPR，
其中，所述评估装置被配置用于通过使用纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，其中，所述评估装置被配置用于将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征，其中，所述评估装置被配置用于拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。
如本文所使用的，术语“场景”可以是指至少一个任意对象或空间区域。所述场景可包括至少一个对象和周围环境。
照射源被配置用于在场景上投射包括多个照射特征的至少一个照射图案。如本文所使用的，术语“照射源”通常可以指适于提供用于照射场景的至少一个照射光束的至少一个任意装置。照射源可以适于直接或间接照射场景，其中，照射图案由场景的表面反射或散射，并且从而至少部分地朝向光学传感器引导。照射源可以适于例如通过朝向反射光束的场景引导光束来照射场景。照射源可以被配置用于产生用于照射场景的照射光束。
照射源可包括至少一个光源。照射源可包括多个光源。照射源可以包括人工照射源，特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源，例如，至少一个发光二极管，特别是有机和/或无机发光二极管。作为示例，由照射源发射的光可以具有300至1100nm、特别是500至1100nm的波长。附加地或者替代地，可以使用红外光谱范围内的光，诸如在780nm至3.0μm的范围内。具体地，可以使用近红外区域的一部分中的光，在该部分中，硅光电二极管具体地适用于700nm至1100nm的范围内。照射源可以被配置用于在红外区域中产生至少一个照射图案。使用近红外区域中的光允许光不或仅微弱地由人眼检测到，并且仍然可以由硅传感器，特别是标准硅传感器检测到。
如本文所使用的，术语“光线”通常是指垂直于指向能量流动的方向的光的波前的线。如本文所使用的，术语“束”通常是指光线的集合。在以下中，术语“光线”和“束”将被用作同义词。如本文进一步使用的，术语“光束”通常是指光量，具体地基本上在相同方向上行进的光量，包括具有扩展角或扩大角的光束的可能性。光束可以具有空间扩展。具体地，光束可以具有非高斯束轮廓。束轮廓可以选自包括以下各项的组：梯形束轮廓；三角形束轮廓；锥形束轮廓。梯形束轮廓可以具有平台区域和至少一个边缘区域。光束具体地可以是高斯光束或高斯光束的线性组合，如下文将更详细地概述的。然而，其他实施例是可行的。
照射源可以被配置用于发射单个波长的光。具体地，该波长可以在近红外区域中。在其他实施例中，照射可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
照射源可以是或可以包括至少一个多束光源。例如，照射源可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地，照射源可以包括至少一个激光器和/或激光源。可以使用各种类型的激光器，诸如半导体激光器、双异质结构激光器、外腔激光器、分离限制异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布式反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器，或垂直腔表面发射激光器。附加地或者替代地，可以使用非激光光源，诸如LED和/或灯泡。照射源可包括适于产生照射图案的一个或多个衍射光学元件(DOE)。例如，照射源可以适于产生和/或投射点云，例如，照射源可以包括以下各项中的一项或多项：至少一个数字光处理投射器、至少一个LCoS投射器、至少一个空间光调制器；至少一个衍射光学元件；至少一个发光二极管阵列；至少一个激光光源阵列。由于其通常定义的束轮廓和可操作性的其他特性，使用至少一个激光源作为照射源是特别优选的。照射源可以集成到显示装置的壳体中。
在一个实施例中，照射源可以是单束源或多束源并且可以被配置用于投射至少一个照射图案，诸如至少一个点图案。照射图案可以产生如下。照射源可以被配置用于产生至少一个光束。照射源可以放置在显示器前面的照射图案的传播方向上。因此，光束的束路径可以从照射源穿过显示器到达场景。在其通过显示器期间，光束可能经历由显示器的衍射，这可能导致特征照射图案，诸如点图案。本实施例中的显示器可以用作光栅。显示器的布线，特别是屏幕的布线，可以被配置用于形成光栅的间隙和/或狭缝和脊。
而且，照射源可以被配置用于发射调制或非调制光。在使用多个照射源的情况下，不同的照射源可以具有不同调制频率，如下文进一步详细概述的，这些不同调制频率以后可以用于对光束进行区分。
由照射源产生的一个或多个光束通常可以平行于光轴传播或相对于光轴倾斜，例如包括与光轴的角度。显示装置可以被配置为使得一个或多个光束沿着显示装置的光轴从显示装置朝向场景传播。出于该目的，显示装置可包括至少一个反射元件，优选地至少一个棱镜，以用于将照射光束偏转到光轴上。作为示例，一个或多个光束，诸如激光束，和光轴可以包括小于10°的角，优选地小于5°或甚至小于2°。然而，其他实施例也是可行的。而且，一个或多个光束可以在光轴上或光轴外。作为示例，一个或多个光束可以平行于光轴，具有到光轴小于10mm的距离，优选地到光轴小于5mm或甚至到光轴小于1mm或甚至可以与光轴重合。
如本文所使用的，术语“至少一个照射图案”是指至少一个任意图案，包括适于照射场景的至少一部分的至少一个照射特征。如本文所使用的，术语“照射特征”是指图案的至少一个至少部分扩展特征。照射图案可包括单个照射特征。照射图案可包括多个照射特征。照射图案可以选自包括以下各项的组：至少一个点图案；至少一个线图案；至少一个条纹图案；至少一个棋盘图案；包括周期性或非周期性特征的布置的至少一个图案。照射图案可包括规则和/或恒定和/或周期性图案，诸如三角形图案、矩形图案、六边形图案、或包括进一步的凸瓦片的图案。照射图案可以展现出选自包括以下各项的组的至少一个照射特征：至少一个点；至少一条线；至少两条线，诸如平行线或交叉线；至少一个点和一条线；周期性或非周期性特征的至少一个布置；至少一个任意成形的特征。照射图案可包括选自包括以下各项的组的至少一个图案：至少一个点图案，特别是伪随机点图案；随机点图案或者准随机图案；至少一个索博尔图案；至少一个准周期图案；包括至少一个预知特征的至少一个图案；至少一个规则图案；至少一个三角形图案；至少一个六边形图案；至少一个矩形图案；包括凸均匀瓦片的至少一个图案；包括至少一条线的至少一个线图案；包括至少两条线的至少一个线图案，诸如平行或交叉线。例如，照射源可以适于产生和/或投射点云。照射源可包括适于产生点云使得照射图案可包括多个点图案的至少一个光投射器。照射源可包括至少一个掩模，该至少一个掩模适于从由照射源产生的至少一个光束产生照射图案。
照射图案的两个特征之间的距离和/或至少一个照射特征的面积可以取决于图像中的模糊圆。如上文所概述的，照射源可包括被配置用于产生所述至少一个照射图案的至少一个光源。具体地，照射源包括至少一个光源和/或指定用于产生激光辐射的至少一个激光二极管。照射源可包括至少一个衍射光学元件(DOE)。显示装置可包括至少一个光投射器，诸如至少一个激光源和DOE，其适于投射至少一个周期性点图案。
如本文进一步使用的，术语“投射至少一个照射图案”是指提供用于照射至少一个场景的至少一个照射图案。
例如，投射的照射图案可以是周期性点图案。投射的照射图案可以具有低点密度。例如，照射图案可包括具有低点密度的至少一个周期性点图案，其中，照射图案具有≤2500个点每视场。与在55x38°的视场中通常具有10k-30k的点密度的结构光相比较，根据本发明的照射图案可以更稀疏。这可以允许每点更多的功率，使得所提出的技术与结构光相比较更少依赖环境光。
显示装置可包括单个相机，该单个相机包括光学传感器。显示装置可包括多个相机，每个相机包括一个光学传感器或多个光学传感器。
光学传感器具有至少一个光敏区。如本文所使用的，“光学传感器”通常是指用于检测光束，例如用于检测由至少一个光束产生的照射和/或光斑的光敏装置。如本文进一步使用的，“光敏区”通常是指可被至少一个光束从外部照射的光学传感器的区，响应于该照射，产生至少一个传感器信号。所述光敏区可以具体地位于相应光学传感器的表面上。然而，其他实施例也是可行的。显示装置可包括多个光学传感器，每个光学传感器具有光敏区。如本文所使用的，术语“每个光学传感器具有至少一个光敏区”是指多个单独的光学传感器中每个光学传感器具有一个光敏区的配置，以及一个组合的光学传感器具有多个光敏区的配置。此外，术语“光学传感器”是指被配置为产生一个输出信号的光敏装置。在显示装置包括多个光学传感器的情况下，可以实现每个光学传感器使得精确地一个光敏区存在于相应光学传感器中，诸如通过精确地提供可以照射的一个光敏区，响应于该照射，针对整个光学传感器产生精确地一个均匀传感器信号。因此，每个光学传感器可以是单个区光学传感器。然而，单个区光学传感器的使用使得显示装置的设置特别简单和有效。因此，作为示例，可在设置中使用可商购的光电传感器，例如可商购的硅光电二极管，每个光电传感器恰好具有一个光敏区。然而，其他实施例也是可行的。
优选地，光敏区可以基本上垂直于显示装置的光轴取向。光轴可以是直的光轴，或者可以弯曲，或甚至分裂，例如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器，其中在后一种情况下，基本垂直的取向可以指示光学设置的相应分支或束路径中的局部光轴。
光学传感器具体地可以是或可以包括至少一个光电检测器，优选地无机光电检测器，更优选地无机半导体光电检测器，最优选地硅光电检测器。具体地，光学传感器可以在红外光谱范围内敏感。矩阵中的所有像素或矩阵中的至少一组光学传感器具体可以是相同的。可针对不同光谱范围具体提供矩阵中的相同像素组，或者所有像素具有相同的光谱灵敏度。此外，像素可以具有相同的尺寸和/或电子或光电子特性。具体地，光学传感器可以是或可以包括在红外光谱范围内、优选在700nm至3.0微米范围内敏感的至少一个无机光电二极管。具体地，光学传感器可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于700nm至1100nm的范围内。可用于光学传感器的红外光学传感器是可商购的红外光学传感器，例如德国D-67056Ludwigshafen am Rhein的TrinamiXTM GmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此，作为示例，光学传感器可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或者替代地，光学传感器可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地，光学传感器可包括至少一个光电导传感器，例如PbS或PbSe传感器、辐射热测量计，优选地选自VO辐射热测量计和非晶Si辐射热测量计的辐射热测量计。
光学传感器可以在紫外、可见或红外光谱范围中的一个或多个内敏感。具体地，光学传感器可以在从500nm至780nm的可见光谱范围内敏感，最优选地在650nm至750nm处或在690nm至700nm处敏感。具体地，光学传感器可以在近红外区域中敏感。具体地，光学传感器可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于700nm至1000nm的范围内。光学传感器具体地可以在红外光谱范围内敏感，具体地在780nm至3.0微米的范围内敏感。例如，光学传感器各自单独地可以是或可以包括选自包括以下各项的组的至少一个元件：光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如，光学传感器可以是或可以包括选自包括以下各项的组的至少一个元件：CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地，可以使用一个或多个光电二极管，诸如可商购的光电二极管，例如，无机半导体光电二极管。
光学传感器可包括至少一个传感器元件，该至少一个传感器元件包括像素矩阵。因此，作为示例，光学传感器可以是像素化光学器件的一部分或构成像素化光学器件。例如，光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，光学传感器可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件，每个像素形成光敏区域。
如本文所使用的，术语“传感器元件”通常是指被配置用于感测至少一个参数的装置或多个装置的组合。在本情况中，参数具体地可以是光学参数，并且传感器元件具体地可以是光学传感器元件。传感器元件可以形成为单个器件或若干器件的组合。传感器元件包括光学传感器的矩阵。传感器元件可包括至少一个CMOS传感器。矩阵可以包括诸如独立光学传感器的独立像素。因此，可以构成无机光电二极管的矩阵。然而，替代地，可以使用商购矩阵，例如CCD检测器(例如CCD检测器芯片)和/或CMOS检测器(例如CMOS检测器芯片)中的一者或多者。因此，通常，传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件，和/或光学传感器可以形成传感器阵列或可以是传感器阵列的一部分，诸如上文所提到的矩阵。因此，作为示例，传感器元件可包括像素阵列，诸如具有m行和n列的矩形阵列，其中，m,n独立地是正整数。优选地，给出一个以上的列和一个以上的行，即，n>1，m>1。因此，作为示例，n可以为2至16或更高，并且m可以为2至16或更高。优选地，行数与列数之比接近1。作为示例，可以选择n和m，使得0.3≤m/n≤3，诸如通过选择m/n＝1:1、4:3、16:9或类似的值。作为示例，阵列可以是具有相等行数和列数的正方形阵列，诸如通过选择m＝2，n＝2或m＝3，n＝3等。
矩阵可以包括诸如独立光学传感器的独立像素。因此，可以构成无机光电二极管的矩阵。然而，替代地，可以使用商购矩阵，例如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一者或多者。因此，通常，光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件，和/或显示装置的光学传感器可以形成传感器阵列或可以是传感器阵列的一部分，诸如上文所提到的矩阵。
矩阵具体地可以是具有至少一个行、优选地多个行、和多个列的矩形矩阵。作为示例，行和列可以基本上垂直地定向。如本文所使用的，术语“基本上垂直”是指垂直取向的条件，其容差为例如±20°或更小，优选地±10°或更小，更优选地±5°或更小。类似地，术语“基本上平行”是指平行取向的条件，其容差为例如±20°或更小，优选地±10°或更小，更优选地±5°或更小。因此，作为示例，小于20°、具体地小于10°、或甚至小于5°的容差是可以接受的。为了提供宽的视野，矩阵具体地可以具有至少10行，优选地至少500行，更优选地至少1000行。类似地，矩阵可以具有至少10列，优选地至少500列，更优选地至少1000列。矩阵可以包括至少50个光学传感器，优选地至少100000个光学传感器，更优选地至少5000000个光学传感器。矩阵可以包括数百万像素范围内的多个像素。然而，其他实施例也是可行的。因此，在期望轴向旋转对称的设置中，优选采用矩阵中的光学传感器(也可被称为像素)的圆形布置或同心布置。
因此，作为示例，传感器元件可以是像素化光学器件的一部分或构成像素化光学器件。例如，传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，传感器元件可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件，每个像素形成光敏区。传感器元件可以采用滚动快门或全局快门方法来读出光学传感器的矩阵。
显示装置还可包括至少一个传送装置。显示装置还可包括一个或多个附加元件，诸如一个或多个附加光学元件。显示装置可以包括选自包括以下各项的组的至少一个光学元件：传送装置，诸如至少一个透镜和/或至少一个透镜系统，至少一个衍射光学元件。术语“传送装置”(也表示为“传送系统”)可以通常是指一个或多个光学元件，该一个或多个光学元件适于诸如通过修改光束的束参数、光束的宽度或光束的方向中的一者或多者来修改光束。传送装置可以适于将光束引导到光学传感器上。传送装置具体地可以包括以下各项中的一项或多项：至少一个透镜，例如，选自包括以下各项的组的至少一个透镜：至少一个焦点可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅尔透镜；至少一个衍射光学元件；至少一个凹镜；至少一个束偏转元件，优选地至少一个反射镜；至少一个分束元件，优选地分束立方体或分束反射镜中的至少一者；至少一个多透镜系统。如本文所使用的，术语传送装置的“焦距”是指使可以入射到传送装置的入射准直光线处于“聚焦(focus)”(其也可以被表示为“焦点”)的距离。因此，焦距构成传送装置会聚入射光束的能力的度量。因此，传送装置可以包括一个或多个成像元件，该一个或多个成像元件可以具有会聚透镜的效果。举例来说，传送装置可以具有一个或多个透镜，特别是一个或多个折射透镜、和/或一个或多个凸镜。在该示例中，焦距可以被定义为从薄折射透镜的中心到薄透镜的主焦点的距离。针对会聚薄折射透镜，诸如凸或双凸薄透镜，焦距可以被认为是正的，并且可以提供在入射到作为传送装置的薄透镜的准直光束可以聚焦成单个斑的距离。此外，传送装置可包括至少一个波长选择元件，例如，至少一个光学滤波器。此外，传送装置可以被设计为将预定义束轮廓印记在电磁辐射上，例如，在传感器区域并且特别是传感器区的位置处。原则上，传送装置的上述可选实施例可以单独地或以任何期望的组合实现。
传送装置可以具有光轴。特别地，显示装置和传送装置具有共共光轴。如本文所使用的，术语“传送装置的光轴”通常是指透镜或透镜系统的镜面对称或旋转对称轴。显示装置的光轴可以是显示装置的光学设置的对称线。显示装置包括至少一个传送装置，优选地具有至少一个透镜的至少一个传送系统。作为示例，传送系统可以包括至少一个束路径，其中，束路径中的传送系统的元件以关于光轴旋转对称的方式来定位。然而，如下文还将更详细地概述的，位于束路径内的一个或多个光学元件也可以关于光轴偏离中心或倾斜。然而，在这种情况下，光轴可以顺序地定义，诸如通过将束路径中的光学元件的中心相互连接，例如通过将透镜的中心相互连接，其中，在该上下文中，光学传感器未计算为光学元件。光轴通常可以表示束路径。其中，显示装置可以具有光束可以从对象行进到光学传感器所沿着的单个束路径，或者可以具有多个束路径。作为示例，可以给出单个束路径，或者束路径可以分成两个或两个以上部分束路径。在后者的情况中，每个部分束路径可以具有其自己的光轴。光学传感器可以位于同一个束路径或部分束路径中。替代地，然而，光学传感器也可以位于不同的部分束路径中。
传送装置可以构成坐标系，其中，纵向坐标是沿着光轴的坐标，并且其中，d是与光轴的空间偏移。坐标系可以是极坐标系，其中，传送装置的光轴形成z轴，并且其中，距z轴的距离和极角可以用作附加坐标。平行或者反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可被视为横向方向，并且极坐标和/或极角可被视为横向坐标。
显示装置可构成坐标系，其中显示装置的光轴形成z轴，并且其中，此外，可以提供垂直于z轴并且彼此垂直的x轴和y轴。作为示例，显示装置和/或显示装置的一部分可以停留在该坐标系中的特定点处，诸如在该坐标系的原点处。在该坐标系中，平行或者反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。垂直于纵向方向的任意方向可以被认为是横向方向，并且x和/或y坐标可以被认为是横向坐标。
替代地，可以使用其他类型的坐标系。因此，作为示例，可以使用极坐标系，其中，光轴形成z轴，并且其中，距z轴的距离和极角可以用作附加坐标。此外，平行或者反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可被视为横向方向，并且极坐标和/或极角可被视为横向坐标。
光学传感器被配置用于确定至少一个第一图像，所述第一图像包括响应于由照射特征的照射而由场景产生的多个反射特征。如本文所使用的，但不限于，术语“图像”具体地可以指通过使用光学传感器记录的数据，诸如来自成像装置的多个电子读数，诸如传感器元件的像素。因此，图像本身可以包括像素，图像的像素与传感器元件矩阵的像素相关。因此，当涉及“像素”时，或者参考由传感器元件的单个像素产生的图像信息的单元，或者直接参考传感器元件的单个像素。如本文所使用的，术语“二维图像”通常可以是指具有关于横向坐标的信息的图像，诸如仅高度和宽度的维度。如本文所使用的，术语“三维图像”通常可以是指具有关于横向坐标以及另外关于纵向坐标的信息的图像，诸如高度、宽度和深度的维度。如本文所使用的，术语“反射特征”可以是指响应于具体地利用至少一个照射特征照射而由场景产生的图像平面内的特征。
显示装置包括被配置用于显示信息的至少一个半透明显示器。如本文所使用的，术语“半透明”可以是指显示器的允许光、特别是特定波长范围的光通过的特性。照射源和光学传感器被放置在显示器前面的照射图案的传播方向上。照射源和光学传感器可以相对于彼此布置在固定位置。例如，显示装置的设置可包括相机，包括光学传感器和透镜系统，以及激光投射器。激光投射器和相机可以在由场景反射的光的传播方向上被固定在半透明显示器的后面。激光投射器可产生点图案并透过显示器发光。相机可透过显示器观看。然而，在由场景反射的光的传播方向上的照射源和光学传感器在半透明显示器后面的布置可能导致显示器的衍射光栅在场景上以及在第一图像中产生多个激光点。因此，第一图像上的这些多个点可能不包括任何有用的距离信息。如将在下文详细描述的，评估装置可以被配置用于找到并评估衍射光栅的零级反射特征，即真实特征，并且可以忽略更高级的反射特征，即，虚假特征。
显示装置包括至少一个评估装置。评估装置被配置用于评估第一图像。如本文进一步使用的，术语“评估装置”通常是指适于执行指定操作的任意装置，指定操作优选地通过使用至少一个数据处理装置，更优选地通过使用至少一个处理器和/或至少一个专用集成电路执行。因此，作为示例，至少一个评估装置可以包括至少一个数据处理装置，该数据处理装置上存储有包含大量计算机命令的软件代码。评估装置可以提供用于执行指定操作中的一个或多个操作的一个或多个硬件元件，和/或可以向一个或多个处理器提供在其上运行以执行指定操作中的一个或多个的软件。操作，包括评估图像。具体地，确定束轮廓和表面的指示可以由至少一个评估装置来执行。因此，作为示例，一个或多个指令可以在软件和/或硬件中实现。因此，作为示例，评估装置可以包括被配置为执行上述评估的一个或多个可编程装置，诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而，附加地或者替代地，评估装置也可以全部或部分地由硬件来体现。
评估装置和显示装置可以完全或部分被集成到单个装置中。因此，通常，评估装置也可以形成显示装置的一部分。替代地，评估装置和显示装置可以完全或部分被实现为分离的装置。显示装置可包括进一步的组件。
评估装置可以是或可以包括一个或多个集成电路，诸如一个或多个专用集成电路(ASIC)、和/或一个或多个数据处理装置，诸如一个或多个计算机、优选地一个或多个微计算机和/或微控制器、现场可编程阵列、或数字信号处理器。可以包括附加组件，诸如一个或多个预处理装置和/或数据采集装置，诸如用于传感器信号的接收和/或预处理的一个或多个装置，诸如一个或多个AD转换器和/或一个或多个滤波器。进一步地，评估装置可以包括一个或多个测量装置，诸如用于测量电流和/或电压的一个或多个测量装置。进一步地，评估装置可包括一个或多个数据存储装置。进一步地，评估装置可以包括一个或多个接口，诸如一个或多个无线接口和/或一个或多个有线接口。
评估装置可以连接到或可包括至少一个进一步的数据处理装置，该数据处理装置可以用于信息(诸如由光学传感器和/或由评估装置获得的信息)的显示、可视化、分析、分布、通信或进一步处理中的一种或多种。作为示例，数据处理装置可以连接或者包含以下各项中的至少一项：显示器、投影仪、监视器、LCD、TFT、扬声器、多通道声音系统、LED图案、或进一步的可视化装置。数据处理装置还可以连接或者包含以下各项中的至少一项：通信装置或通信接口、连接器或端口，其能够使用电子邮件、文本消息、电话、蓝牙、Wi-Fi、红外或因特网接口、端口或连接中的一种或多种发送加密或未加密信息。数据处理装置还可以连接到或者包含以下各项中的至少一项：处理器；图形处理器；CPU；开放式多媒体应用程序平台(OMAPTM)；集成电路；片上系统诸如来自Apple A系列或Samsung S3C2系列的产品；微控制器或微处理器；一个或多个存储块诸如ROM、RAM、EEPROM、或闪存；定时源诸如振荡器或锁相环、计数计时器、实时计时器、或加电复位发生器；电压调节器；电源管理电路；或DMA控制器。单独单元还可以由总线(诸如AMBA总线)连接或者集成在物联网或工业4.0类型网络中。
评估装置和/或数据处理装置可以由进一步的外部接口或端口连接或者具有进一步的外部接口或端口，诸如串行或并行接口或端口、USB、并口端口、火线、HDMI、以太网、蓝牙、RFID、Wi-Fi、USART、或SPI，或模拟接口或端口，诸如ADC、DAC、或到进一步的装置(诸如使用RGB接口(诸如CameraLink)的2D相机装置)的标准化接口或端口。评估装置和/或数据处理装置还可以由以下各项种的一项或多项连接：处理器间接口或端口、FPGA-FPGA接口、或串行或并行接口端口。评估装置和数据处理装置还可以连接到以下各项中的一项或多项：光盘驱动器、CD-RW驱动器、DVD+RW驱动器、闪盘驱动器、存储卡、磁盘驱动器、硬盘驱动器、固态盘或固态硬盘。
评估装置和/或数据处理装置可以由一个或多个进一步的外部连接器连接或者具有一个或多个进一步的外部连接器，诸如以下各项中的一项或多项：电话连接器、RCA连接器、VGA连接器、公母连接器、USB连接器、HDMI连接器、8P8C连接器、BCN连接器、IEC60320C14连接器、光纤连接器、D超小型连接器、RF连接器、同轴连接器、SCART连接器、XLR连接器，和/或可以包含用于这些连接器中的一个或多个连接器的至少一个适合的插座。
评估装置被配置用于评估第一图像。第一图像的评估包括识别第一图像的反射特征。评估装置可以被配置为执行至少一个图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一个特征检测算法。图像分析和/或图像处理可以包括以下各项中的一项或多项：过滤；至少一个感兴趣区域的选择；形成由传感器信号创建的图像和至少一个偏移之间的差分图像；通过反转由传感器信号创建的图像来反转传感器信号；在由传感器信号在不同时间处创建的图像之间形成差分图像；背景校正；分解成彩色通道；分解成色调；饱和度；和亮度通道；频率分解；奇异值分解；应用水滴检测器；应用角点检测器；应用Hessian滤波器决定子；应用基于曲率原理的区域检测器；应用最大稳定极值区域检测器；应用广义Hough变换；应用脊检测器；应用仿射不变特征检测器；应用仿射自适应兴趣点算子；应用Harris仿射区域检测器；应用Hessian仿射区域检测器；应用尺度不变特征变换；应用尺度空间极值检测器；应用局部特征检测器；应用加速鲁棒特征算法；应用梯度定位和方向直方图算法；应用取向梯度描述符的直方图；应用Deriche边缘检测器；应用差分边缘检测器；应用时空兴趣点检测器；应用Moravec角点检测器；应用Canny边缘检测器；应用拉普拉斯高斯滤波器；应用高斯差分滤波器；应用Sobel算子；应用拉普拉斯算子；应用Scharr算子；应用Prewitt算子；应用Roberts算子；应用Kirsch算子；应用高通滤波器；应用低通滤波器；应用傅里叶变换；应用Radon变换；应用Hough变换；应用小波变换；阈值化；创建二值图像。感兴趣区域可以由用户手动确定或者可以自动确定，诸如通过识别由光学传感器产生的图像内的特征。
例如，照射源可以被配置用于产生和/或投射点云，使得在光学传感器(例如，CMOS检测器)上产生多个照射区域。此外，干扰可以存在于光学传感器上，诸如归因于斑点和/或外部光线和/或多次反射的干扰。评估装置可以适于确定至少一个感兴趣区域，例如，用于对象的纵向坐标的确定的由光束照射的一个或多个像素。例如，评估装置可适于执行滤波方法，例如，斑点分析和/或边缘滤波和/或对象识别方法。
评估装置可被配置为执行至少一个图像校正。图像校正可以包括至少一个背景减法。评估装置可适于例如通过无需进一步照射的成像从束轮廓中移除来自背景光的影响。
反射特征中的每一个包括至少一个束轮廓。如本文所使用的，术语反射特征的“束轮廓”通常可以指反射特征的作为像素的函数的至少一个强度分布，诸如光学传感器上的光斑的强度分布。束轮廓可以选自梯形束轮廓、三角形束轮廓、圆锥形束轮廓、以及高斯束轮廓的线性组合。评估装置被配置用于通过分析它们的束轮廓来确定用于反射特征中的每一个的束轮廓信息。
评估装置被配置用于通过分析它们的束轮廓来确定用于反射特征中的每一个的至少一个纵向坐标zDPR。如本文所使用的，术语“束轮廓的分析”通常可以指对光束轮廓的评估，并且可包括至少一个数学运算和/或至少一个比较和/或至少一个对称化和/或至少一个滤波和/或至少一个归一化。例如，束轮廓的分析可包括直方图分析步骤、差异度量的计算、神经网络的应用、机器学习算法的应用中的至少一种。评估装置可以被配置用于对束轮廓进行对称化和/或归一化和/或滤波，特别是从在较大角度下的记录、记录边缘等中移除噪声或不对称。评估装置可以通过移除高空间频率来束轮廓进行滤波，诸如通过空间频率分析和/或中值滤波等。可以通过光斑的强度中心和到中心相同距离处的所有强度的平均来执行总结。评估装置可以被配置用于将束轮廓归一化到最大强度，特别是考虑到归因于记录的距离的强度差异。评估装置可以被配置用于例如通过无需照射的成像从束轮廓中移除来自背景光的影响。
反射特征可以覆盖图像的至少一个像素或可以在图像的至少一个像素上延伸。例如，反射特征可以覆盖多个像素或可以在多个像素上延伸。评估装置可以被配置用于确定和/或用于选择连接到反射特征(例如光斑)和/或属于反射特征的所有像素。评估装置可以被配置用于通过以下式子确定强度中心：
Figure BDA0003663731120000201
其中Rcoi是强度中心的位置，rpixel是像素位置，以及l＝∑jItotal，其中j是连接到反射特征和/或属于反射特征的像素数j，以及Itotal是总强度。
评估装置可以被配置用于通过使用光子比率测距(depth-from-photon-ratio)技术(也表示为束轮廓分析)来确定用于反射特征中的每一个的纵向坐标zDPR。关于光子比率测距(DPR)技术，参考WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640 A1，其全部内容通过引用包括在内。
评估装置可以被配置用于确定反射特征中的每一个的束轮廓。如本文所使用的，术语“确定束轮廓”是指识别由光学传感器提供的至少一个反射特征和/或选择由光学传感器提供的至少一个反射特征并评估反射特征的至少一个强度分布。作为示例，矩阵的区域可以被使用和评估用于确定强度分布，诸如三维强度分布或二维强度分布，诸如沿着通过矩阵的轴或线。作为示例，可以确定光束的照射中心，诸如通过确定具有最高照射的至少一个像素，并且可以选择通过照射中心的横截面轴。强度分布可以是作为沿着通过照射中心的该横截面轴的坐标的函数的强度分布。其他评估算法是可行的。
反射特征之一的束轮廓的分析可包括确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区可以是区A1，以及束轮廓的第二区可以是区A2。评估装置可以被配置用于对第一区和第二区积分。评估装置可以被配置为通过以下各项中的一项或多项导出组合信号，特别是商Q：对积分的第一区和积分的第二区进行除法运算，对积分的第一区和积分的第二区的倍数进行除法运算，对积分的第一区和积分的第二区的线性组合进行除法运算。评估装置可以被配置用于确定束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段，其中区的重叠可以是可能的，只要区不全等。例如，评估装置可以被配置用于确定多个区，诸如两个、三个、四个、五个或多达十个区。评估装置可以被配置用于将光斑分割成束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段。评估装置可以被配置用于针对区中的至少两个区确定束轮廓在相应区上的积分。评估装置可以被配置用于比较所确定的积分中的至少两个积分。具体地，评估装置可以被配置用于确定束轮廓的至少一个第一区和至少一个第二区。如本文所使用的，术语“束轮廓的区”通常是指用于确定商Q的光学传感器的位置处的束轮廓的任意区。束轮廓的第一域和束轮廓的第二区可以是相邻区域或重叠区域中的一种或两种。束轮廓的第一区和束轮廓的第二区可以在面积上不是全等的。例如，所述评估装置可以被配置用于将所述CMOS传感器的传感器区域划分为至少两个子区域，其中，所述评估装置可以被配置用于将所述CMOS传感器的传感器区域划分为至少一个左部分和/或至少一个右部分和/或至少一个上部分和至少一个下部分和/或至少一个内部分和至少一个外部分。附加地或者替代地，显示装置可包括至少两个光学传感器，其中，第一光学传感器和第二光学传感器的光敏区可以被布置为使得第一光学传感器适于确定反射特征的束轮廓的第一区，并且第二光学传感器适于确定反射特征的束轮廓的第二区。评估装置可适于集成第一区和第二区。评估装置可以被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一种或多种。评估装置可以包括用于存储预定关系的至少一个数据存储装置，例如查找列表或查找表。
束轮廓的第一区可以包括束轮廓的基本上边缘信息，以及束轮廓的第二区包括束轮廓的基本上中心信息，和/或束轮廓的第一区可以包括基本上关于束轮廓的左部分的信息，以及束轮廓的第二区包括基本上关于束轮廓的右部分的信息。束轮廓可以具有中心，即束轮廓的最大值和/或束轮廓平顶的中心点和/或光斑的几何中心，以及从中心延伸的下降边缘。第二区域可以包括横截面的内部区域，第一区域可以包括横截面的外部区域。如本文所使用的，术语“基本上中心信息”通常是指与中心信息的比例(即，与中心对应的强度分布的比例)相比，边缘信息的比例(即，与边缘对应的强度分布的比例)较低。优选地，中心信息具有小于10％、更优选地小于5％的边缘信息的比例，最优选地中心信息不包括边缘内容。如本文所使用的，术语“基本上边缘信息”通常是指与边缘信息的比例相比，中心信息的比例较低。边缘信息可以包括整个束轮廓的信息，特别地，来自中心区域和边缘区域的信息。边缘信息中的中心信息的比例小于10％，优选地小于5％，更优选地，边缘信息不包括任何中心内容。如果束轮廓的至少一个区靠近或围绕中心并且包括基本上中心信息，则可以确定和/或选择该区作为束轮廓的第二区。如果束轮廓的至少一个区包括横截面的下降边缘的至少一些部分，则可以确定和/或选择该区作为束轮廓的第一区。例如，可以将横截面的整个区确定为第一区。
第一区A1和第二区A2的其他选择也是可行的。例如，第一区可以包括束轮廓的基本上外部区域，第二区域可以包括束轮廓的基本上内部区域。例如，在二维束轮廓的情况下，束轮廓可以被分为左部分和右部分，其中第一区可以包括束轮廓的基本上左部分的区，第二区可以包括束轮廓的基本上右部分的区。
边缘信息可以包括与束轮廓的第一区中的光子数量有关的信息，而中心信息可以包括与束轮廓的第二区中的光子数量有关的信息。评估装置可以被配置用于确定束轮廓的面积积分。评估装置可以被配置用于通过将第一区积分和/或求和来确定述边缘信息。评估装置可以被配置用于通过将第二区积分和/或求和来确定中心信息。例如，束轮廓可以是梯形束轮廓，并且评估装置可以被配置用于确定梯形的积分。此外，当假设梯形束轮廓时，可通过使用梯形束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度)并通过几何考虑导出边缘信号和中心信号来代替边缘信号和中心信号的确定。
在一个实施例中，A1可以对应于光学传感器上的特征点的全部或完整区。A2可以是光学传感器上的特征点的中心区。中心区可以是恒定值。与特征点的全部区相比较，中心区可以更小。例如，在圆形特征点的情况下，中心区可以具有所述特征点的全半径的从0.1至0.9的半径，优选地全半径的从0.4至0.6。
在一个实施例中，照射图案可包括至少一个线图案。A1可以对应于具有光学传感器上(特别是光学传感器的光敏区上)的线图案的全线宽度的区。与所述照射图案的线图案相比较，光学传感器上的线图案可以加宽和/或位移，以使得光学传感器上的线宽度增加。特别地，在光学传感器的矩阵的情况下，光学传感器上的线图案的线宽度可以从一列到另一列改变。A2可以是光学传感器上的线图案的中心区。中心区的线宽度可以是恒定值，并且可以特别地对应于照射图案中的线宽度。与全线宽度相比较，中心区可以具有更小的线宽度。例如，中心区域可以具有全线宽度的从0.1至0.9的线宽度，优选地全线宽度的从0.4至0.6的线宽度。线图案可以在光学传感器上分段。光学传感器的矩阵的每列可以包括线图案的中心区域中的强度的中心信息和来自从所线图案的中心区进一步向外延伸到边缘区域的区域的强度的边缘信息。
在一个实施例中，照射图案可包括至少点图案。A1可以对应于具有光学传感器上的点图案的点的全半径的区。A2可以是光学传感器上的点图案中的点的中心区。中心区可以是恒定值。中心区可以具有与全半径相比较的半径。例如，中心区可以具有全半径的从0.1至0.9的半径，优选地全半径的从0.4至0.6半径。
照射图案可包括至少一个点图案和至少一个线图案。附加到或者替代线图案和点图案的其他实施例是可行的。
评估装置可以被配置为通过以下各项中的一项或多项导出商Q：对第一区和第二区进行除法运算，对第一区和第二区的倍数进行除法运算，对第一区和第二区的线性组合进行除法运算。评估装置可以被配置用于通过以下式子导出商Q：
Figure BDA0003663731120000241
其中，x和y是横向坐标，A1和A2分别是束轮廓的第一和第二区，以及E(x,y)表示束轮廓。
附加地或者替代地，评估装置可以适于从光斑的至少一个切片或切口确定中心信息或边缘信息中的一者或两者。这可以例如通过沿着切片或切口的线积分替换商Q中的面积积分来实现。为了提高准确性，可以使用光斑的若干切片或切口并取平均值。在椭圆形光斑轮廓的情况下，在若干切片或切口上进行平均会改善距离信息。
例如，在光学传感器具有像素矩阵的情况下，评估装置可以被配置用于通过以下步骤评估束轮廓：
-确定具有最高传感器信号的像素并且形成至少一个中心信号；
-评估矩阵的传感器信号并且形成至少一个和信号；
-通过将中心信号和和信号组合来确定商Q；以及
-通过评估商Q确定对象的至少一个纵向坐标z。
如本文所使用的，“传感器信号”通常是指由光学传感器和/或光学传感器的至少一个像素响应于照射而产生的信号。具体地，传感器信号可以是或可以包括至少一个电信号，诸如至少一个模拟电信号和/或至少一个数字电信号。更具体地，传感器信号可以是或可以包括至少一个电压信号和/或至少一个电流信号。更具体地，传感器信号可以包括至少一个光电流。进一步地，可以使用原始传感器信号，或者显示装置、光学传感器或任何其他元件可以适于处理或预处理传感器信号，从而产生也可以用作传感器信号的次级传感器信号，诸如通过滤波等预处理。术语“中心信号”通常指包括束轮廓的基本上中心信息的至少一个传感器信号。如本文所使用的，术语“最高传感器信号”是指局部最大值或感兴趣区域中的最大值中的一者或两者。例如，中心信号可以是具有由整个矩阵或矩阵内的感兴趣区域的像素产生的多个传感器信号中的最高传感器信号的像素的信号，其中，感兴趣区域可以在由矩阵的像素产生的图像内预定或可确定的。中心信号可以源自单个像素或者一组光学传感器，其中，在后者的情况下，作为示例，该组像素的传感器信号可以相加、积分或平均以便确定中心信号。中心信号所源自的像素组可以是一组相邻像素，诸如具有小于距具有所述最高传感器信号的实际像素预定距离的像素，或者可以是产生在距最高传感器信号预定范围内的传感器信号的一组像素。中心信号所源自的像素组可以选择尽可能大以便允许最大动态范围。评估装置可以适于通过多个传感器信号的积分来确定所述中心信号，例如，具有最高传感器信号的像素周围的多个像素。例如，束轮廓可以是梯形束轮廓，并且评估装置可以适于确定梯形(特别是梯形的平顶)的积分。
如上文所概述的，中心信号通常可以是单个传感器信号，诸如来自光斑的中心的像素的传感器信号，或者可以是多个传感器信号的组合，诸如源自光斑的中心的像素的传感器信号的组合，或者通过处理由前述可能性中的一个或多个导出的传感器信号二导出的次级传感器信号。中心信号的确定可通过电子的方式执行，因为传感器信号的比较可通过常规电子器件相当简单地实现，或者可完全或部分地通过软件执行。具体地，中心信号可以选自包括以下各项的组：最高传感器信号；在距最高传感器信号的预定容差范围内的一组传感器信号的平均；来自包含具有最高传感器信号的像素和预定相邻像素组的一组像素的传感器信号的平均；来自包含具有最高传感器信号的像素和预定相邻像素组的一组像素的传感器信号的和；距最高传感器信号的预定容差范围内的一组传感器信号的和；大于预定阈值的一组传感器信号的平均；大于预定阈值的一组传感器信号的和；来自包含具有最高传感器信号的光学传感器和预定相邻像素组的一组光学传感器的传感器信号的积分；在距最高传感器信号的预定容差范围内的一组传感器信号的积分；大于预定阈值的一组传感器信号的积分。
类似地，术语“和信号”通常是指包括束轮廓的基本上边缘信息的信号。例如，和信号可以通过将整个矩阵或矩阵内的感兴趣区域的传感器信号相加、在所述传感器信号上积分或在所述传感器信号上平均导出，其中，感兴趣区域可以在由矩阵的光学传感器产生的图像内预定或可确定的。在对传感器信号进行相加、积分或平均时，产生传感器信号的实际光学传感器可以被排除在相加、积分或平均之外，或者可以包括在加法、积分或平均中。评估装置可以适于通过对整个矩阵或矩阵内感兴趣区域的信号进行积分来确定和信号。例如，束轮廓可以是梯形束轮廓，并且评估装置可以适于确定整个梯形的积分。此外，当假设梯形束轮廓时，可通过使用梯形束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度)并通过几何考虑导出边缘信号和中心信号来代替边缘信号和中心信号的确定。
类似地，中心信号和边缘信号也可通过使用束轮廓的分段(诸如束轮廓的圆形分段)来确定。例如，可以通过不穿过束轮廓中心的割线或弦将束轮廓分成两段。因此，一段基本上包含边缘信息，而另一段基本上包含中心信息。例如，为了进一步减少中心信号中的边缘信息量，可以进一步从中心信号中减去边缘信号。
商Q可以是通过组合中心信号和和信号而产生的信号。具体地，该确定可以包括以下各项中的一项或多项：形成中心信号与和信号的商，或反之亦然；形成中心信号的倍数与和信号的倍数的商，或反之亦然；形成中心信号的线性组合与和信号的线性组合的商，或反之亦然。附加地或者替代地，商Q可包括任意信号或信号组合，该任意信号或信号组合包含关于中心信号与和信号之间的比较的至少一项信息。
如本文所使用的，术语“对象的纵向坐标”可以是指光学传感器与对象之间的距离。评估装置可被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置可以包括用于存储预定关系的至少一个数据存储装置，例如查找列表或查找表。
评估装置可以被配置用于执行至少一个光子比率测距算法，该算法计算所有零级和更高级的反射特征的距离。
第一图像的评估包括关于亮度对所识别的反射特征进行分类。如本文所使用的，术语“分类”可以指关于亮度分配反射特征的序列以用于进一步评估，特别是从具有最大亮度的反射特征开始并且随后具有降低的亮度的反射特征。如本文所使用的，术语“亮度”可以指第一图像中的反射特征的幅度和/或第一图像中的反射特征的强度。亮度可以是指限定的通带，诸如在可见光或红外光谱范围内，或者可以是波长无关的。具有降低亮度的分类可以是指根据降低亮度的分类和/或关于降低亮度的分类。如果最亮的反射特征优选用于DPR计算，则可以增加确定纵向坐标zDPR的鲁棒性。这主要是因为具有零级衍射光栅的反射特征总是比具有更高级的虚假特征更亮。
评估装置被配置用于通过使用纵向坐标zDPR将反射特征与对应的照射特征明确地匹配。用光子比率测距技术确定的纵向坐标可用于解决所谓的对应问题。以那种方式，每个反射特征的距离信息可用于找到已知激光投射器网格的对应关系。如本文所使用的，术语“匹配”是指识别和/或确定和/或评估对应的照射特征和反射特征。如本文所使用的，术语“对应的照射特征和反射特征”可以指照射图案的照射特征中的每一个在场景处产生反射特征的事实，其中，产生的反射特征被分配给已经产生所述反射特征的照射特征。
如本文所使用的，术语“明确地匹配”可以指仅一个反射特征被分配给一个照射特征和/或没有其他反射特征可以被分配给相同的已匹配的照射特征。
对应于反射特征的照射特征可以使用核线几何确定。针对核线几何的描述，例如，参考X.Jiang,H.Bunke:,,Dreidimensionales Computersehen“,Springer,BerlinHeidelberg,1997年中的第2章。核线几何可以假设照射图像，即非失真照射图案的图像，并且第一图像可以是在具有固定距离的不同空间位置和/或空间取向处确定的图像。距离可以是相对距离，也表示为基线。照射图像也可以表示为参考图像。评估装置可以适于确定参考图像中的核线。参考图像和第一图像的相对位置可以是已知的。例如，参考图像和第一图像的相对位置可以存储在评估装置的至少一个存储单元内。评估装置可以适于确定从第一图像的所选择的反射特征延伸到其起源的真实世界特征的直线。因此，直线可包括对应于所选择的反射特征的可能对象特征。直线和基线跨越核平面。由于参考图像在与第一图像不同的相对星座处确定，因此对应的可能对象特征可以在参考图像中的直线(被称为核线)上成像。核线可以是核平面和参考图像的交点。因此，对应于第一图像的所选择的特征的参考图像的特征位于核线上。
取决于到已经反射照射特征的场景的对象的距离，对应于照射特征的反射特征可以在第一图像内位移。参考图像可包括至少一个位移区域，对应于所选择的反射特征的照射特征将在该位移区域中成像。位移区域可以仅包括一个照射特征。位移区域也可包括一个以上照射特征。位移区域可包括核线或核线的一部分。位移区域可包括一条以上核线或一条以上核线的多个部分。位移区域可以沿着核线、正交于核线、或两者延伸。评估装置可以适于确定沿着核线的照射特征。评估装置可以适于确定用于反射特征的纵向坐标z和距组合信号Q的误差区间±ε，以确定沿着对应于z±ε的核线或正交于核线的位移区域。使用组合信号Q的距离测量的测量不确定性可能导致第二图像中的非圆形的位移区域，因为测量不确定性可能针对不同方向是不同的。具体地，沿着一条或多条核线的测量不确定性可以大于关于一条或多条核线的正交方向上的测量不确定性。位移区域可以包括在关于一条或多条核线的正交方向上的范围。评估装置可以适于将所选择的反射特征与位移区域内的至少一个照射特征匹配。评估装置可以适于通过使用考虑所确定的纵坐标zDPR的至少一个评估算法将第一图像的所选择的特征与位移区域内的照射特征匹配。评估算法可以是线性缩放算法。评估装置可以适于确定最接近于位移区域和/或位移区域内的核线。评估装置可以适于确定最接近于反射特征的图像位置的核线。位移区域的沿着核线的范围可以大于位移区域的正交于核线的范围。评估装置可以适于在确定对应的照射特征之前确定核线。评估装置可以确定每个反射特征的图像位置周围的位移区域。评估装置可以适于对反射特征的每个图像位置的每个位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线。评估装置可以适于通过确定最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征来确定对应于反射特征的照射特征。
附加地或者替代地，所述评估装置可以被配置为执行以下步骤：
-确定针对每个反射特征的图像位置的位移区域；
-对每个反射特征的位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线；
-对每个反射特征分配和/或确定至少一个照射特征，诸如通过分配最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征。
附加地或者替代地，评估装置可以被配置为在一条以上的核线和/或照射特征之间进行决定以分配给反射特征，诸如通过比较照射图像内的核线和/或反射特征的距离和/或通过比较照射图像内的核线和/或照射特征的误差加权距离，诸如ε加权距离，并且将较短距离和/或ε加权距离内的核线和/或照射特征分配给照射特征和/或反射特征。
如上文所概述的，由于衍射光栅，产生了多个反射特征，例如，对于每个照射特征，一个真实特征和多个虚假特征。通过从最亮的反射特征开始降低反射特征的亮度来执行匹配。没有其他反射特征可以分配给相同的已匹配照射特征。由于显示伪影，产生的虚假特征通常比真实特征更暗。通过按亮度对反射特征进行分类，较亮的反射特征优选用于对应关系匹配。如果已经使用了照射特征的对应关系，则不能将虚假特征分配给已使用的(即已匹配的)照射特征。
评估装置被配置用于将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征。如本文所使用的，术语“分类”可以是指将反射特征分配到至少一个类别。如本文所使用的，术语“真实特征”可以是指衍射光栅的零级反射特征。如本文所使用的，术语“虚假特征”可以是指衍射光栅的更高级反射特征，即其中阶数≥1。零级衍射光栅总是比具有更高级的虚假特征更亮。
评估装置被配置用于拒绝虚假特征并且用于通过使用纵向坐标zDPR来产生用于真实特征的深度图。如本文所使用的，术语“深度”可以是指对象与光学传感器之间的距离并且可以由纵向坐标给出。如本文所使用的，术语“深度图”可以是指深度的空间分布。显示装置可用于从例如面部的场景产生3D图。
结构光方法通常使用具有精细点网格(例如数千个点)的相机和投射器。众所周知的投射器图案用于找到场景上的点斑块(patches)的对应关系。如果解决了点的对应关系，则通过三角测量获得距离信息。如果相机在显示器后面，那么衍射在空间上扭曲图像。因此，在失真图像上找到点图案是具挑战性的任务。与结构光方法相比较，本发明提出使用光子比率测距技术来评估不受显示器的衍射光栅直接影响的束轮廓。失真不触及束轮廓。
深度图可以通过使用进一步的深度测量技术来进一步细化，诸如三角测量和/或离焦深度和/或结构光。评估装置可以被配置用于使用三角测量和/或离焦深度和/或结构光技术确定用于反射特征中的每一个的至少一个第二纵向坐标ztriang。
评估装置可以适于确定照射特征和的反射特征的位移。评估装置可以适于确定匹配的照射特征和选择的反射特征的位移。评估装置，例如评估装置的至少一个数据处理装置，可以被配置为确定照射特征和反射特征的位移，特别是通过比较照射图像和第一图像的相应图像位置。如本文所使用的，术语“位移”是指照射图像中的图像位置与第一图像中的图像位置之间的差异。评估装置可以适于使用第二纵向坐标与位移之间的预定关系确定匹配的特征的第二纵向坐标。评估装置可以适于通过使用三角测量方法确定预定关系。在第一图像中的所选择的反射特征的位置和匹配的照射特征的位置和/或所选择的反射特征和匹配的照射特征的相对位移已知的情况下，对应的对象特征的纵向坐标可以通过三角测量确定。因此，评估装置可以适于例如随后和/或逐列选择反射特征并且使用三角测量针对照射特征的每个潜在位置确定对应距离值。位移和对应距离值可以存储在评估装置的至少一个存储装置中。作为示例，评估装置可包括至少一个数据处理装置，诸如至少一个处理器、至少一个DSP、至少一个FPGA和/或至少一个ASIC。进一步地，为了存储第二纵向坐标z与位移之间的至少一个预定或可确定的关系，可以提供至少一个数据存储装置，诸如用于提供用于存储预定关系的一个或多个查找表。评估装置可以适于存储用于相机和/或显示装置的内部和/或外部校准的参数。评估装置可以适于产生用于相机和/或显示装置的内部和/或外部校准的参数，诸如通过执行Tsai相机校准。评估装置可以适于计算和/或估计参数，诸如传送装置的焦距、径向透镜失真系数、径向透镜失真的中心的坐标、解释归因于用于扫描和数字化的硬件时序中的缺陷的任何不确定性的比例因子、世界坐标与相机坐标之间的变换的旋转角、世界坐标与相机坐标之间的变换的平移分量、孔径角、图像传感器格式、主点、偏斜系数、相机中心、相机航向、基线、相机和/或照射源之间的旋转或平移参数、孔径、焦距等。
评估装置可以被配置用于确定第二纵向坐标ztriang和纵向坐标zDPR的组合纵向坐标。组合纵向坐标可以是第二纵向坐标ztriang和纵向坐标zDPR的平均值。组合纵向坐标可用于确定深度图。
显示装置可包括进一步的照射源。进一步的照射源可包括至少一个发光二极管(LED)。进一步的照射源可以被配置用于产生可见光谱范围内的光。光学传感器可以被配置用于确定包括场景的至少一个二维图像的至少一个第二图像。进一步的照射源可以被配置用于为第二图像的成像提供附加照射。例如，显示装置的设置可以通过附加泛光照射LED来扩展。进一步的照射源可以用LED并且特别是没有照射图案来照射场景，诸如面部，并且光学传感器可以被配置用于捕获二维图像。2D图像可用于面部检测和验证算法。如果显示器的脉冲响应已知，则可以修复由光学传感器捕获的失真图像。评估装置可以被配置用于通过用光栅函数g对第二图像I进行去卷积来确定至少一个校正图像I0，其中，I＝I0＊g。光栅函数也表示为脉冲响应。未失真的图像可以通过反卷积方法来恢复，例如Van-Cittert或Wiener反卷积。显示装置可以被配置用于确定光栅函数g。例如，显示装置可以被配置用于用包括小的单个亮点的照射图案来照射黑色场景。捕获的图像可以是光栅函数。该过程可以仅执行一次，诸如在校准期间。为了确定甚至用于通过显示器成像的校正图像，显示装置可以被配置用于捕获图像并且通过捕获的脉冲响应g使用去卷积方法。产生的图像可以是具有较少显示伪影的重建图像，并且可以用于多种应用，例如面部识别。
评估装置可以被配置用于通过评估反射特征中的至少一个的束轮廓，优选地多个反射特征的束轮廓来确定对象的至少一个材料特性m。关于通过评估束轮廓来确定至少一个材料特性的细节，参考WO 2020/187719，其内容通过引用包括在内。
如本文所使用的，术语“材料特性”是指材料的被配置用于对材料进行表征和/或识别和/或分类的至少一个任意特性。例如，材料特性可以是选自以下各项的特性：粗糙度、光对材料的穿透深度、将材料表征为生物或非生物材料的特性、反射率、镜面反射率、漫反射率、表面特性、半透明度量、散射，具体是反向散射行为等。至少一个材料特性可以是选择以下各项的特性：散射系数、半透明性、透明度、与朗伯表面反射的偏差、散斑等。如本文所使用的，术语“识别至少一个材料特性”是指以下中的一种或多种：确定材料特性和将材料特性分配给对象。评估装置可包括至少一个数据库，该数据库包括预定义和/或预定材料特性的列表和/或表，诸如查找列表或查找表。材料特性的列表和/或表可以通过使用根据本发明的显示装置执行至少一次测试测量来确定和/或产生，例如通过使用具有已知材料特性的样品执行材料测试。材料特性的列表和/或表可在制造商现场和/或由显示装置的用户确定和/或产生。材料特性可以附加地分配给材料分类器，诸如以下中的一者或多者：材料名称，材料组，诸如生物或非生物材料、半透明或非半透明材料、金属或非金属、皮肤或非皮肤、毛皮或非毛皮、地毯或非地毯、反射或非反射、镜面反射或非镜面反射、泡沫或非泡沫、头发或非头发，粗糙度组等。评估装置可以包括至少一个数据库，该至少一个数据库包括列表和/或表，该列表和/或表包括材料特性和相关联的材料名称和/或材料组。
例如，不希望受到该理论的束缚，人类皮肤可能具有反射轮廓，也表示为反向散射轮廓，包括由表面的背向反射产生的部分，表示为表面反射，以及由穿透皮肤的光的漫反射产生的部分，表示为背向反射的漫反射部分。关于人类皮肤的反射轮廓，参考“Lasertechnik in der Medizin:Grundlagen,Systeme,Anwendungen”，“Wirkung vonLaserstrahlung auf Gewebe”，1991年，第10 171页至266页，Jürgen Eichler、TheoSeiler、Springer Verlag、ISBN 0939-0979。皮肤的表面反射可能随着波长向近红外的增加而增加。此外，穿透深度可以随着从可见光到近红外的增加的波长而增加。背向反射的漫反射部分可能随着光的穿透深度而增加。这些特性可用于通过分析反向散射轮廓区分皮肤与其他材料。
具体地，评估装置可以被配置用于将反射特征的束轮廓(也表示为反射束轮廓)与至少一个预定和/或预记录和/或预定义的束轮廓进行比较。预定和/或预记录和/或预定义的束轮廓可以存储在表或查找表中，并且可以例如凭经验地确定，并且作为示例，可以存储在显示装置的至少一个数据存储装置中。例如，可以在包括显示装置的移动装置的初始启动期间确定预定和/或预记录和/或预定义的束轮廓。例如，预定和/或预记录和/或预定义的束轮廓可存储在移动装置的至少一个数据存储装置中，例如，通过软件，具体地通过从应用商店等下载的应用。在反射束轮廓和预定和/或预记录和/或预定义的束轮廓相同的情况下，反射特征可以被识别为由生物组织产生。比较可包括将反射束轮廓和预定或预定义的束轮廓重叠，使得它们的强度中心匹配。该比较可包括确定反射束轮廓与预定和/或预记录和/或预定义的束轮廓之间的偏差，例如点到点距离的平方和。评估装置可以被配置用于将确定的偏差与至少一个阈值进行比较，其中在确定的偏差低于和/或等于阈值的情况下，表面被指示为生物组织和/或生物组织的检测被确认。阈值可以存储在表或查找表中并且可以例如经验地确定，并且作为示例，可以存储在显示装置的至少一个数据存储装置中。
附加地或者替代地，为了识别反射特征是否由生物组织产生，评估装置可以被配置用于将至少一个图像过滤器应用到该区的图像。如本文进一步使用的，“图像”是指二维函数f(x，y)，其中，针对图像中的任何x，y位置给出亮度和/或颜色值。可以对应于记录像素对位置进行离散化。可以对应于光学传感器的位深度对亮度和/或颜色进行离散化。如本文所使用的，术语“图像滤波器”是指应用于束轮廓和/或束轮廓的至少一个特定区域的至少一个数学运算。具体地，图像滤波器Ф将图像f或图像中的感兴趣区域映射成实数上，
Figure BDA0003663731120000342
其中，
Figure BDA0003663731120000341
表示特征，特别是材料特征。图像可能受限于噪声并且同样适用于特征。因此，特征可以是随机变量。特征可以是正态分布的。如果特征不是正态分布的，则可以将其转换为正态分布，诸如通过Box-Cox变换。
评估装置可配置为通过将至少一个材料相关图像滤波器Ф2应用于图像来确定至少一个材料特征
Figure BDA0003663731120000343
如本文所使用的，术语“材料相关”图像滤波器是指具有材料相关输出的图像。材料相关图像滤波器的输出在本文中表示“材料特征
Figure BDA0003663731120000345
”或“材料相关特征
Figure BDA0003663731120000344
”。材料特征可以是或可以包括关于已产生反射特征的区的表面的至少一个材料特性的至少一个信息。
材料相关图像滤波器可以是选自以下各项的至少一个滤波器：亮度滤波器；斑点形状滤波器；平方范数梯度；标准偏差；平滑度滤波器，诸如高斯滤波器或中值滤波器；基于灰度出现的对比度滤波器；基于灰度出现的能量滤波器；基于灰度出现的同质性滤波器；基于灰度出现的相异性滤波器；定律(law)的能量滤波器；阈值面积滤波器；或其线性组合；或进一步的材料相关图像滤波器Ф2other，该进一步的材料相关图像滤波器Ф2other通过|ρФ2other，Фm|≥0.40与亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律的能量过滤器或阈值区域滤波器中的一种或多种、或它们的线性组合相关，其中Фm是亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律的能量滤波器、或阈值区域滤波器中的一种或其线性组合。该进一步的材料相关图像滤波器Ф2other可以通过|ρФ2other,Фm|≥0.60，优选地通过|ρФ2other,Фm|≥0.80与材料相关图像滤波器Фm中的一个或多个相关。
材料相关图像滤波器可以是通过假设测试的至少一个任意滤波器φ。如本文所使用的，术语“通过假设测试”是指拒绝虚假设H0并且接受替代假设H1的事实。假设测试可包括通过将图像滤波器应用于预定义数据集来测试图像滤波器的材料相关性。数据集可包括多个光束轮廓图像。如本文所使用的，术语“光束轮廓图像”是指NB高斯径向基函数的和，
Figure BDA0003663731120000351
Figure BDA0003663731120000352
其中，NB高斯径向基函数中的每一者由中心(xlk,ylk)、前因子alk和指数因子α＝1/∈定义。指数因子对于所有图像中的所有高斯函数是相同的。中心位置xlk,ylk对于所有图像fk:
Figure BDA0003663731120000353
都相同。数据集中的每个光束轮廓图像可对应于材料分类器和距离。材料分类器可以是标签，诸如“材料A”、“材料B”等。可通过使用上述针对fk(x,y)的公式结合以下参数表来产生光束轮廓图像：
Figure BDA0003663731120000361
x,y的值是对应于像素的整数，其中
Figure BDA0003663731120000362
图像可以具有32x32的像素尺寸。光束轮廓图像的数据集可通过使用上述针对fk的公式结合参数集来产生，以获得fk的连续描述。对于32x32图像中的每个像素的值可以通过在fk(x,y)中针对x,y插入来自0,…,31的整数值来获得。例如，对于像素(6，9)，可以计算值fk(6，9)。
随后，对于每个图像fk，可以计算对应于滤波器Φ的特征值
Figure BDA0003663731120000363
Figure BDA0003663731120000364
其中，zk是对应于来自预定义数据集的图像fk的距离值。这产生具有对应产生的特征值
Figure BDA0003663731120000365
的数据集。假设测试可以使用滤波器不在材料分类器之间区分的虚假设。虚假设可以由H0：μ1＝μ2＝…＝μ1给出,其中，μm是对应于特征值
Figure BDA0003663731120000366
的每个材料组的期望值。索引m表示材料组。假设测试可以用作滤波器在至少两个材料分类器之间区分的替代假设。替代假设可以由H1：
Figure BDA0003663731120000367
给出。如本文所使用的，术语“不在材料分类器之间区分”是指材料分类器的期望值相同。如本文所使用的，术语“区分材料分类器”是指材料分类器的至少两个期望值不同。如本文所使用的，“区分至少两个材料分类器”与“适合的材料分类器”同义使用。假设测试可以包括对产生的特征值的至少一次方差分析(ANOVA)。特别是，假设测试可包括确定每种J材料的特征值的平均值，即，总J平均值，
Figure BDA0003663731120000368
对于m∈[0,1,…,J-1],其中，Nm给出预定义数据集中的每种J材料的特征值的数量。假设测试可包括确定所有N个特征值的平均值
Figure BDA0003663731120000369
假设测试可包括以下内容内确定平均平方和：
Figure BDA0003663731120000371
假设测试可包括以下内容之间的平均平方和，
Figure BDA0003663731120000372
假设测试可包括执行F测试：
ο
Figure BDA0003663731120000373
其中，d1＝N-J,d2＝J-1,
οF(x)＝1–CDF(x)
οp＝F(mssb/mssw)
在本文中，Ix是正则化不完全贝塔函数，
Figure BDA0003663731120000374
其中欧拉贝塔函数
Figure BDA0003663731120000375
以及
Figure BDA0003663731120000376
是不完全贝塔函数。如果p值p小于或等于预定义显著性水平，则图像滤波器可通过假设测试。如果p≤0.075，优选地p≤0.05，更优选地p≤0.025，且最优选地p≤0.01，则滤波器可通过假设测试。例如，在预定义显著性水平是α＝0.075的情况下，如果p值小于α＝0.075，则图像滤波器可通过假设测试。在这种情况下，可以拒绝虚假设H0，并且可以接受替代假设H1。因此，图像滤波器区分至少两个材料分类器。因此，图像滤波器通过假设测试。
在以下中，假设反射图像包括至少一个反射特征，特别是斑点图像，则描述图像滤波器。斑点图像f可以由函数f:R2→R≥0给出，其中，可能已经减去图像f的背景。然而，其他反射特征可以是可能的。
例如，材料相关图像滤波器可以是亮度滤波器。亮度滤波器可以返回斑点的亮度度量作为材料特征。材料特征可以由下式确定：
Figure BDA0003663731120000377
其中，f是斑点图像。斑点的距离由z表示，其中，z可以例如通过使用离焦测距或光子比率测距技术和/或通过使用三角测量技术来获得。材料的表面法线由n∈R3给出并且可以获得作为由至少三个测量点跨越的表面的法线。向量dray∈R3是光源的方向向量。由于斑点的位置通过使用离焦测距或光子比率测距技术和/或通过使用三角测量技术已知，其中，光源的位置已知为显示装置的参数，因此dray是斑点与光源位置之间的差向量。
例如，材料相关图像滤波器可以是具有取决于斑点形状的输出的滤波器。该材料相关图像滤波器可能返回与材料的半透明性相关的值作为材料特征。材料的半透明性影响斑点的形状。材料特征可以由下式给出：
Figure BDA0003663731120000381
其中，0<α,β<1是斑点高度h的权重，并且H表示重侧函数，即，H(x)＝1∶x≥0,H(x)＝0∶x<0。斑点高度h可以由下式确定：
Figure BDA0003663731120000382
其中，Br是具有半径r的斑点的内圆。
例如，材料相关图像滤波器可以是平方范数梯度。该材料相关图像滤波器可以返回与斑点的软和硬过渡和/或粗糙度的度量相关的值作为材料特征。材料特征可以由下式定义：
Figure BDA0003663731120000383
例如，材料相关图像滤波器可以是标准偏差。斑点的标准偏差可以由下式确定：
Figure BDA0003663731120000384
其中，μ是由μ＝∫(f(x))dx给出的平均值。
例如，材料相关图像滤波器可以是平滑度滤波器，诸如高斯滤波器或中值滤波器。在平滑度滤波器的一个实施例中，该图像滤波器可参考与漫散射材料相比体积散射展现出较少散斑对比度的观察结果。该图像滤波器可将对应于散斑对比度的斑点的平滑度量化为材料特征。材料特征可以由下式确定：
Figure BDA0003663731120000385
其中，F是平滑度函数，例如中值滤波器或高斯滤波器。该图像滤波器可以包括除以距离z，如上述公式中所描述的。距离z可以例如使用离焦测距或光子比率测距技术和/或通过使用三角测量技术来确定。这可允许滤波器对距离敏感。在平滑度滤波器的一个实施例中，平滑度滤波器可以基于提取的散斑噪声图案的标准偏差。散斑噪声图案N可以通过下式以经验方式描述：
f(x)＝f0(x)·(N(X)+1),
其中，f0是去散斑斑点的图像。N(X)是对散斑图案进行建模的噪声项。去散斑图像的计算可能是困难的。因此，去散斑图像可以利用f的平滑版本近似，即f0≈F(f)，其中，F是类似高斯滤波器或中值滤波器的平滑度算子。因此，斑点图案的近似可以由下式给出：
Figure BDA0003663731120000391
该滤波器的材料特征可以由下式确定：
Figure BDA0003663731120000392
其中，Var表示方差函数。
例如，图像滤波器可以是基于灰度出现的对比度滤波器。该材料滤波器可以基于灰度出现矩阵Mf,ρ(g1g2)＝[pg1,g2]，而pg1,g2是灰度组合的出现率(g1,g2)＝[f(x1,y1),f(x2,y2)]，并且关系ρ定义了(x1,y1)与(x2,y2)之间的距离，其是ρ(x,y)＝(x+a,y+b)，其中a和b选自0,1。
基于灰度出现的对比度滤波器的材料特征可以由下式给出：
Figure BDA0003663731120000393
例如，图像滤波器可以是基于灰度出现的能量滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的能量滤波器的材料特征可以由下式给出：
Figure BDA0003663731120000394
例如，图像滤波器可以是基于灰度出现的同质性滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的同质性滤波器的材料特征可以由下式给出：
Figure BDA0003663731120000395
例如，图像滤波器可以是基于灰度出现的相异性滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的相异性滤波器的材料特征可以由以下式子给出：
Figure BDA0003663731120000401
例如，图像滤波器可以是定律的能量滤波器。该材料滤波器可以基于定律向量(laws vector)L5＝[1,4,6,4,1]和E5＝[-1,-2,0,-2,-1]以及矩阵L5(E5)T和E5(L5)T。
图像fk与这些矩阵卷积：
Figure BDA0003663731120000402
以及
Figure BDA0003663731120000403
Figure BDA0003663731120000404
Figure BDA0003663731120000405
而定律的能量滤波器的材料特征可以由下式确定：
Figure BDA0003663731120000406
例如，材料相关图像滤波器可以是阈值区域滤波器。该材料特征可能与图像平面中的两个区域相关。第一区域Ω1可以是函数f大于f的最大值α倍的区域。第二区域Ω2可以是函数f小于f的最大值α倍但是大于f的最大值阈值ε倍的区域。优选地，α可以是0.5，并且ε可以是0.05。由于散斑或噪声，区域可不仅仅对应于围绕光斑中心的内圆和外圆。作为示例，Ω1可包括外圆中的散斑或未连接区域。材料特征可以由下式确定：
Figure BDA0003663731120000407
其中，Ω1＝{x|f(x)>α·max(f(x))}并且Ω2＝{x|ε·max(f(x))<f(x)<α·max(f(x))}。
评估装置可以被配置用于使用材料特征
Figure BDA0003663731120000411
与已产生反射特征的表面的材料特性之间的至少一种预定关系来确定已产生反射特征的表面的材料特性。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置可以包括用于存储预定关系的至少一个数据存储装置，诸如查找列表或查找表。
评估装置被配置用于在其对应的材料特性满足至少一个预定或预定义标准的情况下，将反射特征识别为通过照射生物组织产生。在材料特性指示“生物组织”的情况下，反射特征可以被识别为由生物组织产生。在材料特性低于或等于至少一个阈值或范围的情况下，反射特征可以被识别为由生物组织产生，其中在确定的偏差低于和/或等于阈值的情况下，反射特征被识别为由生物组织产生和/或生物组织的检测被确认。至少一个阈值和/或范围可以存储在表或查找表中并且可以例如经验地确定，并且作为示例，可以存储在显示装置的至少一个数据存储装置中。评估装置被配置用于以其他方式将反射特征识别为背景。因此，评估装置可以被配置用于向每个投射光斑分配深度信息和材料特性，例如皮肤是或否。
在确定纵向坐标z之后，可通过随后评估
Figure BDA0003663731120000412
来确定材料特性，使得可考虑关于纵向坐标z的信息用于评估
Figure BDA0003663731120000413
在另一方面中，本发明公开了一种通过半透明显示器进行深度测量的方法，其中使用了根据本发明的显示装置。该方法包括以下步骤：
a)通过使用至少一个照射源在至少一个场景上投射包括多个照射特征的至少一个照射图案，其中，所述照射源被放置在所述显示器前面的所述照射图案的传播方向上；
b)通过使用至少一个光学传感器，响应于由所述照射特征的照射，确定包括由所述场景产生的多个反射特征的至少一个第一图像，其中，所述光学传感器具有至少一个光敏区，其中，所述光学传感器被放置在所述显示器前面的所述照射图案的传播方向上，其中，所述反射特征中的每一个包括至少一个束轮廓；
c)通过使用至少一个评估装置评估所述第一图像，其中，所述评估包括以下子步骤：
C1)识别所述第一图像的所述反射特征并关于亮度对所标识的反射特征进行分类，
C2)通过分析它们的束轮廓来针对反射特征中的每一个确定至少一个纵向坐标zDPR；
C3)通过使用所述纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，
C4)将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征；
C5)拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。
该方法步骤可以以给定顺序执行或可以以不同顺序执行。此外，可以存在未列出的一个或多个附加方法步骤。此外，可以重复地执行一个、多于一个或甚至所有方法步骤。针对细节、选项和定义，可以参考如上文所讨论的显示装置。因此，具体地，如上所述，该方法可以包括使用根据本发明(诸如根据在上面给出或在下面更详细地给出的一个或多个实施例)的显示装置。
所述至少一个评估装置可以被配置用于执行至少一个计算机程序，诸如被配置用于执行或者支持根据本发明的方法的方法步骤中的一个或多个或甚至全部。作为示例，可以实现可以确定对象的位置的一个或多个算法。
在本发明的进一步的方面中，提出了根据本发明的检测器的用途，诸如根据上文给出或下文更详细地给出的实施例中的一个或多个，出于使用的目的，选自包括以下各项的组：交通技术中的位置测量；娱乐应用；安保应用；监督应用；安全应用；人机接口应用；跟踪应用；摄影应用；成像应用或相机应用；用于产生至少一个空间的地图的地图构建应用；用于车辆的归航或跟踪信标检测器；室外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用。
关于本发明的显示装置和装置的进一步的用途，参考WO 2018/091649 A1、WO2018/091638 A1和WO 2018/091640 A1，其内容通过引用被包括。
总的来说，在本发明的上下文中，以下实施例被视为优选的：
实施例1：一种显示装置，包括：
-至少一个照射源，其被配置用于在至少一个场景上投射包括多个照射特征的至少一个照射图案；
-至少一个光学传感器，其具有至少一个光敏区，其中，所述光学传感器被配置用于确定至少一个第一图像，所述第一图像包括响应于由所述照射特征的照射而由所述场景产生的多个反射特征；
-至少一个半透明显示器，其被配置用于显示信息，其中，所述照射源和所述光学传感器被放置在所述显示器前面的所述照射图案的传播方向上；
-至少一个评估装置，其中，所述评估装置被配置用于评估所述第一图像，其中，所述第一图像的所述评估包括识别所述第一图像的所述反射特征和关于亮度对所识别的反射特征进行分类，其中，所述反射特征中的每一个包括至少一个束轮廓，其中，所述评估装置被配置用于通过分析它们的束轮廓来确定针对所述反射特征中的每一个的至少一个纵向坐标zDPR，
其中，所述评估装置被配置用于通过使用所述纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，其中，所述评估装置被配置用于将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征，其中，所述评估装置被配置用于拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。
实施例2：根据前一实施例所述的显示装置，其中，所述评估装置被配置用于使用三角测量和/或离焦深度和/或结构光技术确定针对所述反射特征中的每一个的至少一个第二纵向坐标ztriang。
实施例3：根据前一实施例所述的显示装置，其中，所述评估装置被配置用于确定所述第二纵向坐标ztriang和所述纵向坐标zDPR的组合纵向坐标，其中，所述组合纵向坐标是所述第二纵向坐标ztriang和所述纵向坐标zDPR的平均值，其中，所述组合纵向坐标被用于确定所述深度图。
实施例4：根据前述实施例中的任一项所述的显示装置，其中，所述照射源包括至少一个激光投射器，其中，所述激光投射器包括至少一个激光源和至少一个衍射光学元件(DOE)，
实施例5：根据前述实施例中的任一项所述的显示装置，其中，所述照射源被配置用于产生至少一个光束，所述至少一个光束具有从所述照射源穿过所述显示器到所述场景的束路径，其中，所述显示器被配置用于用作光栅，使得所述光束经历导致所述点图案的所述显示器的衍射。
实施例6：根据前一实施例所述的显示装置，其中，所述显示器的布线被配置用于形成所述光栅的间隙和/或狭缝和脊。
实施例7：根据前述实施例中的任一项所述的显示装置，其中，所述照射图案包括周期性点图案。
实施例8：根据前述实施例中的任一项所述的显示装置，其中，所述照射图案具有低点密度，其中，所述照射图案具有≤2500个点每视场。
实施例9：根据前述实施例中的任一项所述的显示装置，其中，所述评估装置被配置用于通过使用光子比率测距技术来确定针对所述反射特征中的每一个的束轮廓信息。
实施例10：根据前述实施例中的任一项所述的显示装置，其中，所述光学传感器包括至少一个CMOS传感器。
实施例11：根据前述实施例中的任一项所述的显示装置，其中，所述显示装置包括进一步的照射源，其中，所述进一步的照射源包括至少一个发光二极管(LED)。
实施例12：根据前一实施例所述的显示装置，其中，所述进一步的照射源被配置用于产生所述可见光谱范围内的光。
实施例13：根据前述两个实施例中的任一项所述的显示装置，其中，所述光学传感器被配置用于确定包括所述场景的至少一个二维图像的至少一个第二图像，其中，所述进一步的照射源被配置用于为所述第二图像的成像提供附加照射。
实施例14：根据前一实施例所述的显示装置，其中，所述评估装置被配置用于通过用光栅函数g对所述第二图像I进行去卷积来确定至少一个校正图像I0，其中，I＝I0＊g。
实施例15：一种用于通过半透明显示器进行深度测量的方法，其中，使用根据前述实施例中的任一项所述的至少一个显示装置，其中，所述方法包括以下步骤：
a)通过使用至少一个照射源在至少一个场景上投射包括多个照射特征的至少一个照射图案，其中，所述照射源被放置在所述显示器前面的照射图案的传播方向上；
b)通过使用至少一个光学传感器，确定至少一个第一图像，所述第一图像包括响应于由所述照射特征的照射而由所述场景产生的多个反射特征，其中，所述光学传感器具有至少一个光敏区，其中，所述光学传感器被放置在所述显示器前面的所述照射图案的传播方向上，其中，所述反射特征中的每一个包括至少一个束轮廓；
c)通过使用至少一个评估装置评估所述第一图像，其中，所述评估包括以下子步骤：
C1)识别所述第一图像的所述反射特征并关于亮度对所识别的反射特征进行分类，
C2)通过分析它们的束轮廓来确定针对反射特征中的每一个的至少一个纵向坐标zDPR；
C3)通过使用所述纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，
C4)将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征；
C5)拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。
实施例16：一种根据涉及显示装置的前述实施例中的任一项所述的显示装置的用途，出于使用的目的，选自包括以下各项的组：交通技术中的位置测量；娱乐应用；安保应用；监督应用；安全应用；人机接口应用；跟踪应用；摄影应用；成像应用或相机应用；用于产生至少一个空间的地图的地图构建应用；用于车辆的归航或跟踪信标检测器；室外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用。
附图说明
从以下结合从属权利要求对优选示例性实施例的描述，本发明的其他可选细节和特征将显而易见。在这种情况下，可以以分离的方式或通过与其他特征组合来实现特定特征。本发明不限于示例性实施例。在附图中示意性地示出了示例性实施例。各个附图中相同的参考标号指代相同的元件或具有相同功能的元件，或者在其功能方面彼此对应的元件。
具体地，在图中：
图1A和图1B示出了根据本发明的显示装置的实施例；
图2A至图2B示出了利用显示装置的至少一个光学传感器确定的第一图像的实施例；
图3A至图3C示出了利用显示装置的至少一个光学传感器确定的第一图像的进一步的实施例；
图4示出了使用显示装置确定校正的2D图像；以及
图5A至图5C示出了具有显示器的情况下捕获的失真2D图像、没有显示器的情况下捕获的2D图像和校正的2D图像。
具体实施方式
图1A以高度示意性方式示出了根据本发明的显示装置110的实施例。显示装置110包括被配置用于显示信息的至少一个半透明显示器112。显示器112可以是被配置用于显示诸如至少一个图像、至少一个图表、至少一个直方图、至少一个文本、至少一个符号的信息项的任意成形的装置。显示器112可以是至少一个监视器或至少一个屏幕。显示器112可以具有任意形状，优选地矩形形状。例如，显示装置110可以是选自包括以下各项的组的至少一个装置：电视装置、智能电话、游戏控制台、个人计算机、膝上型电脑、平板电脑、至少一个虚拟现实装置或其组合。
显示装置110包括至少一个照射源114，该照射源114被配置用于在至少一个场景上投射包括多个照射特征的至少一个照射图案。场景可以是对象或空间区域，诸如面部。场景可包括至少一个对象和周围环境。
照射源114可以适于直接或间接照射场景，其中，照射图案由场景的表面反射或散射，并且因此至少部分地朝向光学传感器引导。照射源114可以适于例如通过朝向反射光束的场景引导光束来照射场景。照射源114可以被配置用于产生用于照射场景的照射光束。
照射源114可包括至少一个光源。照射源114可包括多个光源。照射源114可以包括人工照射源，特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源，例如，至少一个发光二极管，特别是有机和/或无机发光二极管。作为示例，由照射源发射的光可以具有300至1000nm(尤其500至1000nm)的波长。附加地或者替代地，可以使用红外光谱范围内的光，诸如在780nm至3.0μm的范围内。具体地，可以使用近红外区域的一部分中的光，在近红外区域的该部分中，硅光电二极管具体地适用于700nm至1100nm的范围。照射源114可以被配置用于在红外区域中产生至少一个照射图案。使用近红外区域中的光允许光不或仅微弱地由人眼检测到，并且仍然可以由硅传感器，特别是标准硅传感器检测到。照射源114可以被配置用于发射单个波长处的光。具体地，波长可以在近红外区域中。在其他实施例中，照射可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
照射源114可以是或可以包括至少一个多束光源。例如，照射源114可包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地，照射源可包括至少一个激光器和/或激光源。可以使用各种类型的激光器，诸如半导体激光器、双异质结构激光器、外腔激光器、分离限制异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布式反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器，或垂直腔表面发射激光器。附加地或者替代地，可以使用非激光光源，诸如LED和/或灯泡。照射源可包括适于产生照射图案的一个或多个衍射光学元件(DOE)。例如，照射源114可以适于产生和/或投射点云，例如，照射源可包括以下各项中的一项或多项：至少一个数字光处理投影仪、至少一个LCoS投射器、至少一个空间光调制器；至少一个衍射光学元件；至少一个发光二极管阵列；至少一个激光光源阵列。由于其通常定义的束轮廓和可操作性的其他特性，使用至少一个激光源作为照射源114是特别优选的。照射源114可以集成到所述显示装置110的壳体116中。
进一步地，照射源114可以被配置用于发射调制或非调制光。在使用多个照射源114的情况下，不同的照射源可以具有不同调制频率，如下文进一步详细概述的，这些不同调制频率以后可以用于对光束进行区分。
照射图案可以是至少一个任意图案，其包括适于照射场景的至少一部分的至少一个照射特征。照射图案可包括单个照射特征。照射图案可包括多个照射特征。照射图案可以选自包括以下各项的组：至少一个点图案；至少一个线图案；至少一个条纹图案；至少一个棋盘图案；包括周期性或非周期性特征的布置的至少一个图案。照射图案可包括规则和/或恒定和/或周期图案，诸如三角形图案、矩形图案、六边形图案、或包括进一步的凸瓦片的图案。照射图案可以展现出选自包括以下各项的组的至少一个照射特征：至少一个点；至少一条线；至少两条线，诸如平行线或交叉线；至少一个点和一条线；周期性或非周期性特征的至少一个布置；至少一个任意成形的特征。照射图案可包括选自包括以下各项的组的至少一个图案：至少一个点图案，特别是伪随机点图案；随机点图案或者准随机图案；至少一个索博尔图案；至少一个准周期图案；包括至少一个预知特征的至少一个图案；至少一个规则图案；至少一个三角形图案；至少一个六边形图案；至少一个矩形图案；包括凸均匀瓦片的至少一个图案；包括至少一条线的至少一个线图案；包括至少两条线的至少一个线图案，诸如平行或交叉线。例如，照射源可以适于产生和/或投射点云。照射源114可包括适于产生点云使得照射图案可包括多个点图案的至少一个光投射器。照射源114可包括至少一个掩模，该至少一个掩模适于从由照射源114产生的至少一个光束产生照射图案。
照射图案的两个特征之间的距离和/或至少一个照射特征的面积可以取决于图像中的模糊圆。如上文所概述的，照射源可包括被配置用于产生至少一个照射图案的至少一个光源。具体地，照射源114包括至少一个光源和/或指定用于产生激光辐射的至少一个激光二极管。照射源114可包括至少一个衍射光学元件(DOE)。显示装置110可包括至少一个点投射器，诸如至少一个激光源和DOE，其适于投射至少一个周期性点图案。
例如，投射的照射图案可以是周期性点图案。投射的照射图案可以具有低点密度。例如，照射图案可包括具有低点密度的至少一个周期性点图案，其中，照射图案具有≤2500个点每视场。与在55x38°的视场中通常具有10k-30k的点密度的结构光相比较，根据本发明的照射图案可以更稀疏。这可以允许每点更多的功率，使得所提出的技术与结构光相比较更少依赖环境光。
显示装置110包括具有至少一个光敏区域120的至少一个光学传感器118。光学传感器118被配置用于确定例如图2A至图2C和图3A至图3C所示的至少一个第一图像，包括响应于由照射特征的照射而由场景产生的多个反射特征。显示装置110可包括单个相机，该单个相机包括光学传感器118。显示装置110可包括多个相机，每个相机包括光学传感器118或多个光学传感器118。
光学传感器118具体地可以是或可以包括至少一个光电检测器，优选地无机光电检测器，更优选地无机半导体光电检测器，最优选地硅光电检测器。具体地，光学传感器118可以在红外光谱范围内敏感。矩阵中的所有像素或矩阵中的至少一组光学传感器具体可以是相同的。具体地，可针对不同光谱范围提供矩阵中的相同像素的组，或者所有像素具有相同的光谱灵敏度。此外，像素可以具有相同的尺寸和/或在其电子或光电子特性方面相同。具体地，光学传感器118可以是或可以包括至少一个无机光电二极管，其在红外光谱范围内，优选在700nm至3.0微米范围内敏感。具体地，光学传感器118可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于在700nm至1100nm范围内。可用于光学传感器的红外光学传感器是可商购的红外光学传感器，例如德国D-67056Ludwigshafen amRhein的TrinamiXTM GmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此，作为示例，光学传感器118可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或者替代地，光学传感器118可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地，光学传感器可以包括至少一个光电导传感器，诸如PbS或PbSe传感器、辐射热测量计，优选地选自VO辐射热测量计和非晶Si辐射热测量计的辐射热测量计。
光学传感器118可以在紫外、可见或红外光谱范围中的一个或多个内敏感。具体地，光学传感器可以在从500nm至780nm的可见光谱范围内敏感，最优选地在650nm至750nm处或在690nm至700nm处敏感。具体地，光学传感器118可以在近红外区域中敏感。具体地，光学传感器118可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于700nm至1000nm的范围内。光学传感器118具体地可以在红外光谱范围内敏感，具体地在780nm至3.0微米的范围内敏感。例如，光学传感器各自单独地可以是或可以包括选自包括以下各项的组的至少一个元件：光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如，光学传感器118可以是或可以包括选自包括以下各项的组的至少一个元件：CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地，可以使用一个或多个光电二极管，诸如可商购的光电二极管，例如，无机半导体光电二极管。
光学传感器118可包括至少一个传感器元件，该至少一个传感器元件包括像素矩阵。因此，作为示例，光学传感器118可以是像素化光学器件的一部分或构成像素化光学器件。例如，光学传感器118可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，光学传感器118可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件，每个像素形成光敏区。传感器元件可以形成为单个器件或多个器件的组合。矩阵具体地可以是或可以包括具有一个或多个行和一个或多个列的矩形矩阵。行和列具体地可以以矩形方式布置。然而，其他布置是可行的，诸如非矩形布置。作为示例，圆形布置也是可行的，其中，元件以关于中心点的同心圆或椭圆布置。例如，矩阵可以是单行像素。其他布置是可行的。
矩阵的像素具体地可以在尺寸、灵敏度和其他光、电和机械特性中的一种或多种方面相等。矩阵的所有光学传感器118的光敏区120具体地可以位于共共平面中，共共平面优选地面对对象112，使得从对象传播到显示装置110的光束可以在共共平面上产生光斑。光敏区120可以具体地位于相应光学传感器118的表面上。然而，其他实施例也是可行的。光学传感器118可包括例如至少一个CCD和/或CMOS器件。作为示例，光学传感器118可以是像素化光学器件的一部分或构成像素化光学器件。作为示例，光学传感器118可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件，每个像素形成光敏区120。
显示装置110包括被配置用于显示信息的至少一个半透明显示器112。照射源114和光学传感器118被放置在显示器112前面的照射图案的传播方向上。照射源114和光学传感器118可以相对于彼此布置在固定位置。例如，显示装置110的设置可包括相机，其包括光学传感器118和透镜系统；以及作为照射源114的激光投射器。激光投射器和相机可以在由场景反射的光的传播方向上被固定在半透明显示器的后面。激光投射器可产生点图案并透过显示器112发光。相机可透过显示器观看。然而，在由场景反射的光的传播方向上的照射源114和光学传感器118在半透明显示器后面的布置可能导致显示器112的衍射光栅在场景上以及也在第一图像中产生多个激光点。因此，第一图像上的这些多个点可能不包括任何有用的距离信息。显示装置110包括至少一个评估装置124。评估装置124可以被配置用于发现和评估衍射光栅的零级反射特征，即真实特征，并且可以忽略更高级的反射特征，即虚假特征。
评估装置124被配置用于评估第一图像。评估装置124可包括至少一个数据处理装置，并且更优选地，通过使用至少一个处理器和/或至少一个专用集成电路。因此，作为示例，至少一个评估装置124可以包括至少一个数据处理装置，该数据处理装置上存储有包括大量计算机命令的软件代码。评估装置124可以提供用于执行指定操作中的一个或多个的一个或多个硬件元件，和/或可以向一个或多个处理器提供在其上运行以执行指定操作中的一个或多个的软件。操作，包括评估图像。具体地，确定束轮廓和表面的指示可以由至少一个评估装置来执行。因此，作为示例，一个或多个指令可以在软件和/或硬件中实现。因此，作为示例，评估装置124可以包括被配置为执行上述评估的一个或多个可编程装置，诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而，附加地或者替代地，评估装置也可以全部或部分地由硬件来体现。
第一图像的评估包括识别第一图像的反射特征。评估装置124可以被配置用于执行至少一个图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一个特征检测算法。图像分析和/或图像处理可以包括以下各项中的一项或多项：滤波；至少一个感兴趣区域的选择；形成由传感器信号创建的图像和至少一个偏移之间的差分图像；通过反转由传感器信号创建的图像来反转传感器信号；在由传感器信号在不同时间处创建的图像之间形成差分图像；背景校正；分解成彩色通道；分解成色调；饱和度；和亮度通道；频率分解；奇异值分解；应用水滴检测器；应用角点检测器；应用Hessian滤波器决定子；应用基于曲率原理的区域检测器；应用最大稳定极值区域检测器；应用广义Hough变换；应用脊检测器；应用仿射不变特征检测器；应用仿射自适应兴趣点算子；应用Harris仿射区域检测器；应用Hessian仿射区域检测器；应用尺度不变特征变换；应用尺度空间极值检测器；应用局部特征检测器；应用加速鲁棒特征算法；应用梯度定位和方向直方图算法；应用取向梯度描述符的直方图；应用Deriche边缘检测器；应用差分边缘检测器；应用时空兴趣点检测器；应用Moravec角点检测器；应用Canny边缘检测器；应用拉普拉斯高斯滤波器；应用高斯差分滤波器；应用Sobel算子；应用拉普拉斯算子；应用Scharr算子；应用Prewitt算子；应用Roberts算子；应用Kirsch算子；应用高通滤波器；应用低通滤波器；应用傅里叶变换；应用Radon变换；应用Hough变换；应用小波变换；阈值化；创建二值图像。感兴趣区域可以由用户手动确定或者可以自动确定，诸如通过识别由光学传感器产生的图像内的特征。
例如，照射源114可以被配置用于产生和/或投射点云，使得在光学传感器118(例如，CMOS检测器)上产生多个照射区域。此外，干扰可以存在于光学传感器118上，诸如归因于斑点和/或外部光线和/或多次反射的干扰。评估装置124可以适于确定至少一个感兴趣区域，例如，用于对象的纵坐标的确定的由光束照射的一个或多个像素。例如，评估装置124可适于执行滤波方法，例如，斑点分析和/或边缘滤波和/或对象识别方法。
评估装置124可被配置为执行至少一个图像校正。图像校正可以包括至少一个背景减法。评估装置124可适于例如通过无需进一步照射的成像从束轮廓中移除来自背景光的影响。
反射特征中的每一个包括至少一个束轮廓。束轮廓可以选自梯形束轮廓、三角形束轮廓、圆锥形束轮廓、以及高斯束轮廓的线性组合。评估装置被配置用于通过分析它们的束轮廓来确定用于反射特征中的每一个的束轮廓信息。
评估装置124被配置用于通过分析它们的束轮廓来确定用于反射特征中的每一个的至少一个纵向坐标zDPR。例如，束轮廓的分析可包括直方图分析步骤、差异度量的计算、神经网络的应用、机器学习算法的应用中的至少一种。评估装置124可以被配置用于对束轮廓进行对称化和/或归一化和/或滤波，特别是从在较大角度下的记录、记录边缘等中移除噪声或不对称。评估装置124可以通过移除高空间频率来对束轮廓进行滤波，诸如通过空间频率分析和/或中值滤波等。可以通过光斑的强度中心和到中心相同距离处的所有强度的平均来执行总结。评估装置124可以被配置用于将束轮廓归一化到最大强度，特别是考虑到归因于记录的距离的强度差异。评估装置124可以被配置用于例如通过无需照射的成像从束轮廓中移除来自背景光的影响。
评估装置124可以被配置用于通过使用光子比率测距技术来确定用于反射特征中的每一个的纵向坐标zDPR。关于光子比率测距(DPR)技术，参考WO 2018/091649 A1、WO2018/091638 A1和WO 2018/091640 A1，其全部内容通过引用包括在内。
评估装置124可以被配置用于确定反射特征中的每一个的束轮廓。确定束轮廓可包括识别由光学传感器118提供的至少一个反射特征和/或选择由光学传感器118提供的至少一个反射特征并评估反射特征的至少一个强度分布。作为示例，图像的区域可以被使用和评估用于确定强度分布，诸如三维强度分布或二维强度分布，诸如沿着通过图像的轴或线。作为示例，可以确定光束的照射中心，诸如通过确定具有最高照射的至少一个像素，并且可以选择通过照射中心的横截面轴。强度分布可以是作为沿着通过照射中心的该横截面轴的坐标的函数的强度分布。其他评估算法是可行的。
反射特征之一的束轮廓的分析可包括确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区可以是区A1，以及束轮廓的第二区可以是区A2。评估装置124可以被配置用于对第一区和第二区积分。评估装置123可以被配置为通过以下各项中的一项或多项导出组合信号，特别是商Q：对积分的第一区和积分的第二区进行除法运算，对积分的第一区和积分的第二区的倍数进行除法运算，对积分的第一区和积分的第二区的线性组合进行除法运算。评估装置124可以被配置用于确定束轮廓的至少两个区和/或将束轮廓分割成包括光束轮廓的不同区的至少两个片段，其中区的重叠可以是可能的，只要区是不全等的。例如，评估装置124可以被配置用于确定多个区，诸如两个、三个、四个、五个或多达十个区。评估装置124可以被配置用于将光斑分割成束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段。评估装置124可以被配置用于针对区中的至少两个区确定束轮廓在相应区上的积分。评估装置124可以被配置用于比较所确定的积分中的至少两个积分。具体地，评估装置124可以被配置用于确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区和束轮廓的第二区可以是相邻区域或重叠区域中的一种或两种。束轮廓的第一区和束轮廓的第二区可以在面积上不是全等的。例如，评估装置124可以被配置用于将CMOS传感器的传感器区域划分为至少两个子区域，其中，评估装置可以被配置用于将CMOS传感器的传感器区域划分为至少一个左部分和/或至少一个右部分和/或至少一个上部分和至少一个下部分和/或至少一个内部分和至少一个外部分。
附加地或者替代地，显示装置110可包括至少两个光学传感器118，其中，第一光学传感器和第二光学传感器的光敏区可以被布置为使得第一光学传感器适于确定反射特征的束轮廓的第一区，并且第二光学传感器适于确定反射特征的束轮廓的第二区。评估装置124可适于集成第一区和第二区。T
在一个实施例中，A1可以对应于光学传感器上的特征点的全部或完整区。A2可以是光学传感器上的特征点的中心区。中心区可以是恒定值。与所述特征点的全部区相比较，中心区可以更小。例如，在圆形特征点的情况下，中心区可以具有特征点的全半径的从0.1至0.9的半径，优选地全半径的从0.4至0.6的半径。
评估装置124可以被配置为通过以下各项中的一项或多项导出商Q：对第一区和第二区进行除法运算，对第一区和第二区的倍数进行除法运算，对第一区和第二区的线性组合进行除法运算。评估装置124可以被配置用于通过以下式子导出商Q：
Figure BDA0003663731120000561
其中，x和y是横向坐标，A1和A2分别是束轮廓的第一和第二区，以及E(x,y)表示束轮廓。
评估装置124可被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置可以包括用于存储预定关系的至少一个数据存储装置，例如查找列表或查找表。
评估装置124可以被配置用于执行至少一个光子比率测距算法，该算法计算具有零级和更高级的所有反射特征的距离。
第一图像的评估包括关于亮度对所识别的反射特征进行分类。分类可包括关于亮度分配反射特征的序列以用于进一步评估，特别是从具有最大亮度的反射特征开始并且随后具有降低的亮度的反射特征。如果最亮的反射特征优选用于DPR计算，则可以增加确定纵向坐标zDPR的鲁棒性。这主要是因为具有衍射光栅的零级的反射特征总是比具有更高级的虚假特征更亮。
评估装置124被配置用于通过使用纵向坐标zDPR将反射特征与对应的照射特征明确地匹配。用光子比率测距技术确定的纵向坐标可用于解决所谓的对应问题。以那种方式，每个反射特征的距离信息可用于找到已知激光投射器网格的对应关系。
对应于反射特征的照射特征可以使用核线几何确定。针对核线几何的描述，例如，参考X.Jiang,H.Bunke:,,Dreidimensionales Computersehen“,Springer,BerlinHeidelberg,1997年中的第2章。核线几何可以假设照射图像，即非失真照射图案的图像，和第一图像可以是在具有固定距离的不同空间位置和/或空间取向处确定的图像。距离可以是相对距离，也表示为基线。照射图像也可以表示为参考图像。评估装置124可以被配置为确定参考图像中的核线。参考图像和第一图像的相对位置可以是已知的。例如，参考图像和第一图像的相对位置可以存储在评估装置的至少一个存储单元内。评估装置124可以适于确定从第一图像的所选择的反射特征延伸到其起源的真实世界特征的直线。因此，直线可包括对应于所选择的反射特征的可能对象特征。直线和基线跨越核平面。由于参考图像在与第一图像不同的相对星座处确定，因此对应的可能对象特征可以在参考图像中的直线(被称为核线)上成像。核线可以是核平面和参考图像的交点。因此，对应于第一图像的所选择的特征的参考图像的特征位于核线上。
取决于到已经反射照射特征的场景的对象的距离，对应于照射特征的反射特征可以在第一图像122内位移。参考图像可包括至少一个位移区域，对应于所选择的反射特征的照射特征将在该位移区域中成像。位移区域可仅包括一个照射特征。位移区域也可包括一个以上照射特征。位移区域可包括核线或核线的一部分。位移区域可包括一条以上核线或一条以上核线的多个部分。位移区域可以沿着核线、正交于核线、或两者延伸。评估装置124可以适于确定沿着核线的照射特征。评估装置124可以适于确定用于反射特征的纵向坐标z和距组合信号Q的误差区间±ε，以确定沿着对应于z±ε的核线或正交于核线的位移区域。使用组合信号Q的距离测量的测量不确定性可能导致第二图像中的非圆形的位移区域，因为测量不确定性可能针对不同方向是不同的。具体地，沿着一条或多条核线的测量不确定性可以大于关于一条或多条核线的正交方向上的测量不确定性。位移区域可以包括在关于一条或多条核线的正交方向上的范围。评估装置124可以适于将所选择的反射特征与位移区域内的至少一个照射特征匹配。评估装置124可以适于通过使用考虑所确定的纵向坐标zDPR的至少一个评估算法将第一图像的所选择的特征与位移区域内的照射特征匹配。评估算法可以是线性缩放算法。评估装置124可以适于确定最接近于位移区域和/或位移区域内的核线。评估装置可以适于确定最接近于反射特征的图像位置的核线。位移区域的沿着核线的范围可以大于位移区域的正交于核线的范围。评估装置124可以适于在确定对应的照射特征之前确定核线。评估装置124可以确定每个反射特征的图像位置周围的位移区域。评估装置124可以适于对反射特征的每个图像位置的每个位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线。评估装置124可以适于通过确定最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征来确定对应于反射特征的照射特征。
附加地或者替代地，评估装置124可以被配置为执行以下步骤：
-确定针对每个反射特征的图像位置的位移区域；
-对每个反射特征的位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线；
-对每个反射特征分配和/或确定至少一个照射特征，诸如通过分配最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征。
附加地或者替代地，评估装置124可以被配置为在一条以上的核线和/或照射特征之间进行决定以分配给反射特征，诸如通过比较照射图像内的核线和/或反射特征的距离和/或通过比较照射图像内的核线和/或照射特征的误差加权距离，诸如ε加权距离，并且将较短距离和/或ε加权距离内的核线和/或照射特征分配给照射特征和/或反射特征。
如上文所概述的，由于衍射光栅，产生了多个反射特征，例如，对于每个照射特征，一个真实特征和多个虚假特征。通过从最亮的反射特征开始降低反射特征的亮度来执行匹配。没有其他反射特征可以分配给相同的已匹配照射特征。由于显示伪影，产生的虚假特征通常比真实特征更暗。通过按亮度对反射特征进行分类，较亮的反射特征优选用于对应关系匹配。如果已经使用了照射特征的对应关系，则不能将虚假特征分配给已使用的(即已匹配的)照射特征。
图2A示出了针对包括单个光斑的照射图案的没有显示器112的情况下的模拟的第一图像122。图2B示出了由显示器112后面的光学传感器118捕获的第一图像122。观察到衍射光栅产生多个光斑。在图2B中，真实特征示出为参考标记126，以及示例性虚假特征示出为参考标记128。图2C示出了由显示器112后面的光学传感器118捕获的第一图像122的进一步的示例，其中在这种情况下，照射图案是投射的激光网格。由于衍射光栅，出现多个光斑。
图3A示出了具有投射激光斑的场景的进一步示例性第一图像122。示出了零级衍射光栅130和更高级132的反射特征。图3B和图3C示出了反射特征和照射特征的匹配。在图3B和3C的左部分示出了第一图像122，并且在右部分示出了对应的照射图案，包括两个照射特征。第一图像122可包括六个反射特征。评估装置124可以被配置用于识别第一图像122中的反射特征并且关于它们的亮度对它们进行分类。如图3B所示，与其他反射特征相比较，两个反射特征可能更亮。评估装置124可以开始束轮廓分析并将照射特征与两个较亮反射特征(用圆形134表示)之一匹配。两个较亮反射特征中的每一个可以与一个照射特征匹配，用箭头表示。评估装置124可以将所述匹配的特征分类为真实特征。如图3C所描绘的，照射图案的两个照射特征已经与较亮反射特征相匹配。没有其他反射特征可以分配给相同的匹配照射特征。通过按亮度对反射特征进行分类，较亮的反射特征优选用于对应关系匹配。如果已经使用了照射特征的对应关系，则不能将虚假特征分配给已使用的(即已匹配的)照射特征。因此，用圆形136表示的两个剩余反射特征没有对应的照射特征并且不能分配给图案的任何点。所述剩余反射特征由评估装置124分类为虚假特征。
评估装置124被配置用于拒绝虚假特征并且用于通过使用纵向坐标zDPR来产生用于真实特征的深度图。显示装置110可用于从例如面部的场景产生3D图。
深度图可以通过使用进一步的深度测量技术来进一步细化，诸如三角测量和/或离焦深度和/或结构光。评估装置可以被配置用于使用三角测量和/或离焦深度和/或结构光技术确定用于反射特征中的每一个的至少一个第二纵向坐标ztriang。评估装置124可以被配置用于确定第二纵向坐标ztriang和纵向坐标zDPR的组合纵向坐标。组合纵向坐标可以是第二纵向坐标ztriang和纵向坐标zDPR的平均值。组合纵向坐标可用于确定深度图。
如图1B所示，显示装置110可包括进一步的照射源138。进一步的照射源138可包括至少一个发光二极管(LED)。进一步的照射源138可以被配置用于产生可见光谱范围内的光。光学传感器118可以被配置用于确定包括场景的至少一个二维图像的至少一个第二图像。进一步的照射源138可以被配置用于为第二图像的成像提供附加照射。例如，显示装置110的设置可以通过附加泛光照射LED来扩展。进一步的照射源138可以用LED并且特别是没有照射图案来照射场景，诸如面部，并且光学传感器118可以被配置用于捕获二维图像。2D图像可用于面部检测和验证算法。
如果显示器112的脉冲响应已知，则可以修复由光学传感器118捕获的失真图像。评估装置124可以被配置用于通过用光栅函数g对第二图像I进行去卷积来确定至少一个校正图像I0，其中，I＝I0＊g。光栅函数也表示为脉冲响应。未失真的图像可以通过反卷积方法来恢复，例如Van-Cittert或Wiener反卷积。
如图4所示，显示装置110可以被配置用于确定光栅函数g。显示装置110可以被配置用于用包括小的单个亮点(用参考标记140表示)的照射图案来照射黑色场景。捕获的图像142可以是光栅函数。该过程可以仅执行一次，诸如在校准期间。为了确定甚至用于通过显示器112成像的校正图像，显示装置110可以被配置用于捕获图像并且通过捕获的脉冲响应g使用去卷积方法。产生的图像可以是具有较少显示伪影的重建图像，并且可以用于多种应用，例如面部识别。图5A至图5C示出了用光学传感器118捕获的二维图像的示例。在图5A中，示例性场景是用显示器112后面的光学传感器118捕获的。在图5B中，示例性场景是用光学传感器118在没有显示器112的情况下捕获的。图5C示出了利用反卷积方法的重建图像。
参考标记列表
110 显示装置
112 显示器
114 照射源
116 壳体
118 光学传感器
120 光敏区
122 第一图像
124 评估装置
126 真实特征
128 虚假特征
130 零级衍射光栅
132 高级
134 圆形
136 圆形
138 进一步的照射源
140 用于照射黑色场景
142 捕获图像
引用文献
DE 20 2018 003 644 U1
US 9,870,024 B2
US 10,057,541 B2
US 10,215,988 B2
WO 2018/091649 A1
WO 2018/091638 A1
WO 2018/091640 A1
WO 2019/042956 A1。

Claims (16)

1.一种显示装置(110)，包括：
-至少一个照射源(114)，其被配置用于在至少一个场景上投射包括多个照射特征的至少一个照射图案；
-至少一个光学传感器(118)，其具有至少一个光敏区(120)，其中，所述光学传感器(118)被配置用于确定至少一个第一图像(112)，所述第一图像(122)包括响应于由所述照射特征的照射而由所述场景产生的多个反射特征；
-至少一个半透明显示器(112)，其被配置用于显示信息，其中，所述照射源(114)和所述光学传感器(118)被放置在所述显示器(112)前面的所述照射图案的传播方向上；
-至少一个评估装置(124)，其中，所述评估装置(124)被配置用于评估所述第一图像(122)，其中，所述第一图像(122)的所述评估包括识别所述第一图像(122)的所述反射特征和关于亮度对所识别的反射特征进行分类，其中，所述反射特征中的每一个包括至少一个束轮廓，其中，所述评估装置(124)被配置用于通过分析它们的束轮廓来确定针对所述反射特征中的每一个的至少一个纵向坐标zDPR，
其中，所述评估装置(124)被配置用于通过使用纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，其中，所述评估装置(124)被配置用于将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征，其中，所述评估装置(124)被配置用于拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。
2.根据前一权利要求所述的显示装置(110)，其中，所述评估装置(124)被配置用于使用三角测量和/或离焦深度和/或结构光技术确定针对所述反射特征中的每一个的至少一个第二纵向坐标ztriang。
3.根据前一权利要求所述的显示装置(110)，其中，所述评估装置(124)被配置用于确定所述第二纵向坐标ztriang和所述纵向坐标zDPR的组合纵向坐标，其中，所述组合纵向坐标是所述第二纵向坐标ztriang和所述纵向坐标zDPR的平均值，其中，所述组合纵向坐标被用于产生所述深度图。
4.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述照射源(114)包括至少一个激光投射器，其中，所述激光投射器包括至少一个激光源和至少一个衍射光学元件(DOE)。
5.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述照射源(114)被配置用于产生至少一个光束，所述至少一个光束具有从所述照射源(114)穿过所述显示器(112)到所述场景的束路径，其中，所述显示器(112)被配置用于用作光栅，使得所述光束经历导致所述照射图案的所述显示器的衍射。
6.根据前一权利要求所述的显示装置(110)，其中，所述显示器(112)的布线被配置用于形成所述光栅的间隙和/或狭缝和脊。
7.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述照射图案包括周期性点图案。
8.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述照射图案具有低点密度，其中，所述照射图案具有≤2500个点每视场。
9.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述评估装置(124)被配置用于通过使用光子比率测距技术来确定针对所述反射特征中的每一个的束轮廓信息。
10.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述光学传感器(118)包括至少一个CMOS传感器。
11.根据前述权利要求中的任一项所述的显示装置(110)，其中，所述显示装置(110)包括进一步的照射源(138)，其中，所述进一步的照射源(138)包括至少一个发光二极管(LED)。
12.根据前一权利要求所述的显示装置(110)，其中，所述进一步的照射源(138)被配置用于产生所述可见光谱范围内的光。
13.根据前述两项权利要求中的任一项所述的显示装置(110)，其中，所述光学传感器(118)被配置用于确定包括所述场景的至少一个二维图像的至少一个第二图像，其中，所述进一步的照射源(138)被配置用于为所述第二图像的成像提供附加照射。
14.根据前一权利要求所述的显示装置(110)，其中，所述评估装置(124)被配置用于通过用光栅函数g对所述第二图像I进行去卷积来确定至少一个校正图像I0，其中，I＝I0*g。
15.一种用于通过半透明显示器(112)进行深度测量的方法，其中，使用根据前述权利要求中的任一项所述的至少一个显示装置(110)，其中，所述方法包括以下步骤：
a)通过使用至少一个照射源(114)在至少一个场景上投射包括多个照射特征的至少一个照射图案，其中，所述照射源(114)被放置在所述显示器(112)前面的照射图案的传播方向上；
b)通过使用至少一个光学传感器(118)，确定至少一个第一图像(112)，所述第一图像(112)包括响应于由所述照射特征的照射而由所述场景产生的多个反射特征，其中，所述光学传感器(118)具有至少一个光敏区(120)，其中，所述光学传感器(118)被放置在所述显示器(112)前面的所述照射图案的传播方向上，其中，所述反射特征中的每一个包括至少一个束轮廓；
c)通过使用至少一个评估装置(124)评估所述第一图像(122)，其中，所述评估包括以下子步骤：
C1)识别所述第一图像(122)的所述反射特征并关于亮度对所识别的反射特征进行分类，
C2)通过分析它们的束轮廓来确定针对反射特征中的每一个的至少一个纵向坐标zDPR；
C3)通过使用所述纵向坐标zDPR将反射特征与对应的照射特征明确地匹配，其中，所述匹配通过从最亮的反射特征开始降低所述反射特征的亮度来执行，
C4)将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征；
C5)拒绝所述虚假特征并且用于通过使用所述纵向坐标zDPR来产生针对所述真实特征的深度图。
16.一种根据涉及显示装置的前述权利要求中的任一项所述的显示装置(110)的用途，出于使用的目的，选自包括以下各项的组：交通技术中的位置测量；娱乐应用；安保应用；监督应用；安全应用；人机接口应用；跟踪应用；摄影应用；成像应用或相机应用；用于产生至少一个空间的地图的地图构建应用；用于车辆的归航或跟踪信标检测器；室外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用。
CN202080082424.0A 2019-11-27 2020-11-26 通过显示器的深度测量 Pending CN114746905A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19211927 2019-11-27
EP19211927.9 2019-11-27
PCT/EP2020/083468 WO2021105265A1 (en) 2019-11-27 2020-11-26 Depth measurement through display

Publications (1)

Publication Number Publication Date
CN114746905A true CN114746905A (zh) 2022-07-12

Family

ID=68731727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080082424.0A Pending CN114746905A (zh) 2019-11-27 2020-11-26 通过显示器的深度测量

Country Status (6)

Country Link
US (2) US11989896B2 (zh)
EP (1) EP4066152A1 (zh)
JP (1) JP2023503517A (zh)
KR (1) KR20220103962A (zh)
CN (1) CN114746905A (zh)
WO (1) WO2021105265A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
KR20220009961A (ko) 2019-04-18 2022-01-25 오티아이 루미오닉스 인크. 핵 생성 억제 코팅 형성용 물질 및 이를 포함하는 디바이스
KR20220017918A (ko) 2019-05-08 2022-02-14 오티아이 루미오닉스 인크. 핵 생성 억제 코팅 형성용 물질 및 이를 포함하는 디바이스
IT202000017488A1 (it) * 2020-07-17 2022-01-17 Thales Alenia Space Italia Spa Con Unico Socio Unita' ottica per un sistema metrologico ottico proiettivo per la determinazione di grandezze relative a assetto e/o posizione e la comunicazione di dati
WO2022123431A1 (en) 2020-12-07 2022-06-16 Oti Lumionics Inc. Patterning a conductive deposited layer using a nucleation inhibiting coating and an underlying metallic coating
EP4392932A1 (en) * 2021-08-23 2024-07-03 trinamiX GmbH Shape-from-shading
EP4423525A1 (en) * 2021-10-26 2024-09-04 trinamiX GmbH Extended material detection involving a multi wavelength projector
CN118715548A (zh) 2022-02-15 2024-09-27 特里纳米克斯股份有限公司 用于识别主体的系统
WO2023156478A1 (en) 2022-02-15 2023-08-24 Trinamix Gmbh Method for operating a display device, and display device having a secure authentication process
CN118696354A (zh) 2022-02-15 2024-09-24 特里纳米克斯股份有限公司 用于表征用于认证的对象的方法和设备
CN118696352A (zh) 2022-02-15 2024-09-24 特里纳米克斯股份有限公司 用于识别显示设备的系统
WO2023156480A1 (en) 2022-02-15 2023-08-24 Trinamix Gmbh Method for providing user-related and/or process-related information by a display device
CN114460594B (zh) * 2022-04-14 2022-06-14 宜科(天津)电子有限公司 一种基于三角测距的图像的去噪方法
WO2024170254A1 (en) 2023-02-15 2024-08-22 Trinamix Gmbh Authentication system for vehicles

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257248B2 (en) * 2003-03-27 2007-08-14 General Electric Company Non-contact measurement system and method
US9122946B2 (en) 2006-01-24 2015-09-01 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image
US9582883B2 (en) * 2006-06-16 2017-02-28 Lyle G. Shirley Method and apparatus for remote sensing and comparing utilizing radiation speckle
EP2375227A1 (en) * 2010-04-09 2011-10-12 Siemens Aktiengesellschaft Measurement of three-dimensional motion characteristics
KR101781533B1 (ko) 2010-12-23 2017-09-27 삼성디스플레이 주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
KR102283111B1 (ko) 2013-12-17 2021-07-29 마수피얼 홀딩스 아이엔시. 통합 마이크로옵틱 이미저, 프로세서 및 디스플레이
US9870024B2 (en) * 2015-10-30 2018-01-16 Essential Products, Inc. Camera integrated into a display
KR102404155B1 (ko) * 2016-09-28 2022-05-31 톰톰 글로벌 콘텐트 비.브이. 위치파악 참조 데이터를 생성 및 사용하기 위한 방법 및 시스템
KR102502094B1 (ko) 2016-11-17 2023-02-21 트리나미엑스 게엠베하 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기
JP7179051B2 (ja) * 2017-08-28 2022-11-28 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１つの物体の位置を決定するための検出器
US11875522B2 (en) * 2018-05-09 2024-01-16 Trinamix Gmbh Method and devices for determining a filling level in at least one storage unit
DE202018003644U1 (de) 2018-08-07 2018-08-17 Apple Inc. Elektronische Vorrichtung mit einer von einer selbstausrichtenden Klammeranordnung gehaltenen Sichtsystemanordnung
US12031808B2 (en) * 2019-02-20 2024-07-09 Trinamix Gmbh Detector with a projector for illuminating at least one object
US11947013B2 (en) 2019-03-15 2024-04-02 Trinamix Gmbh Detector for identifying at least one material property
US11555694B2 (en) * 2020-07-17 2023-01-17 Systemes Pavemetrics Inc. Method and system for controlling a laser profiler

Also Published As

Publication number Publication date
KR20220103962A (ko) 2022-07-25
JP2023503517A (ja) 2023-01-30
WO2021105265A1 (en) 2021-06-03
US11989896B2 (en) 2024-05-21
US20220398759A1 (en) 2022-12-15
US20240005538A1 (en) 2024-01-04
EP4066152A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230078604A1 (en) Detector for object recognition
US20230403906A1 (en) Depth measurement through display
US20230081742A1 (en) Gesture recognition
US11995857B2 (en) Shape-from-shading
US20240011770A1 (en) One shot calibration
US11906421B2 (en) Enhanced material detection by stereo beam profile analysis
KR20240093513A (ko) 멀티 파장 프로젝터와 관련된 확장된 재료 검출
US20240027188A1 (en) 8bit conversion
US20240037201A1 (en) Optical skin detection for face unlock
EP4405636A1 (en) Emitter array with two or more independently driven areas
CN118215820A (zh) 基于结构光的3d检测器的重新校准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination