CN116438467A - 通过显示器的深度测量 - Google Patents

通过显示器的深度测量 Download PDF

Info

Publication number
CN116438467A
CN116438467A CN202180076357.6A CN202180076357A CN116438467A CN 116438467 A CN116438467 A CN 116438467A CN 202180076357 A CN202180076357 A CN 202180076357A CN 116438467 A CN116438467 A CN 116438467A
Authority
CN
China
Prior art keywords
display
illumination
optical sensor
display device
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180076357.6A
Other languages
English (en)
Inventor
S·麦茨
C·伦纳茨
F·希克
C·波得斯
N·伯纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN116438467A publication Critical patent/CN116438467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/70—OLEDs integrated with inorganic light-emitting elements, e.g. with inorganic electroluminescent elements
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/90—Assemblies of multiple devices comprising at least one organic light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K2102/00—Constructional details relating to the organic devices covered by this subclass
    • H10K2102/301—Details of OLEDs
    • H10K2102/302—Details of OLEDs of OLED structures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K2102/00—Constructional details relating to the organic devices covered by this subclass
    • H10K2102/301—Details of OLEDs
    • H10K2102/351—Thickness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Inorganic Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

公开了一种显示装置(1)。该显示装置(1)包括：至少一个照射源(5)，其被配置为在至少一个场景上投射至少一个照射束；至少一个光学传感器(4)，其具有至少一个光敏区，其中，光学传感器(4)被配置为测量由场景响应于照射束的照射而产生的至少一个反射光束；至少一个半透明显示器(2)，其被配置为显示信息，其中，照射源(5)和光学传感器(4)放置在显示器(2)前面照射光束的传播方向上；至少一个控制单元(8)，其中，控制单元(8)被配置为在照射期间关闭照射源(5)区的显示器(2)和/或在测量期间关闭光学传感器(4)区的显示器(2)。

Description

通过显示器的深度测量
技术领域
本发明涉及一种显示装置和一种通过半透明显示器进行测量的方法以及该显示装置的各种用途。根据本发明的装置、方法和用途具体地可以例如用在日常生活、安全技术、游戏、交通技术、生产技术、诸如针对艺术的数字摄影或视频摄影的摄影、文档编制或技术目的、安全技术、信息技术、农业、作物保护、维护、化妆品、医学技术或科学的各种领域中。然而，其他应用也是可能的。
背景技术
若干显示装置是已知的。具有显示器的装置的最新发展显示，显示区域应覆盖整个可用空间，并且显示器周围的框架应尽可能小。这导致电子组件和传感器，例如前置摄像头、闪光灯、接近传感器和甚至3D成像传感器不再能布置在框架内，而必须放置在显示器下面。然而，大多数常见的3D成像技术和系统，诸如基于结构光或3D飞行时间(ToF)的3D成像系统，不能毫不费力地放置在显示器下面。
直到现在，还不知道基于结构光或3D-ToF的3D成像系统在显示器下工作，即，不制作不包含任何微电路和/或微布线的空窗口，用于放置3D成像系统的组件或器件以通过这些窗口“查看”。
对于结构光，主要问题是透明显示器的微电路和/或微布线的微结构，以及因此，通过显示器的低透光率。该微结构由用于寻址单个像素的电极矩阵产生。而且，像素本身表示倒置光栅，因为单个像素的金属阴极不透明。原则上，显示器结构可以通过使用特定材料作为一个整体(包括电极)制成透明或半透明。然而，直到现在还没有不具有光栅状微结构的保持高显示质量和稳定性的透明或半透明显示器。
基于结构光的3D成像器基于将具有数千个点且具有众所周知的图案的点云投射到场景中。透明或半透明显示器的微结构像用于激光的衍射光栅结构一样起作用。由于大多数结构光成像器的投射器基于激光源，该激光源投射清晰的点图案，该图案经历显示器的光栅效应，并且点图案的每个单点将显示更高的衍射级。这对结构光成像器具有毁灭性影响，因为由光栅结构引起的额外和不需要的点使其算法检索原始预期图案高度复杂。
此外，用于传统结构光成像器的投射点数量相当高。由于半透明显示器具有非常低的透光率，例如即使在850nm和940nm(其是用于3D成像器的典型波长)的红外(IR)中，结构光投射器也需要非常高的输出功率以通过显示器获得可以由成像器检测到的足够的功率，该成像器也必须位于显示器下面，这导致附加的光吸收。高点数和低透光率的组合可能导致低的环境光鲁棒性。
对于3D-ToF传感器，导致多次反射的显示器表面上的反射，以及当光通过显示器时的延迟差异，不同的显示器结构具有不同的折射率，并且在显示器后面使用时阻止鲁棒的功能。此外，3D-ToF传感器还需要大量的光来照射场景。另外，照射应该是均匀的。显示器的低透光率使其难以提供足够的光，并且光栅结构影响照射的均匀性。
常见的3D感测系统具有通过透明显示器进行测量的问题。当前装置在显示器中使用凹口(notch)。通过那种方式，传感器不受衍射光学效应干扰。
DE 20 2018 003 644 U1描述了一种便携式电子装置，包括：底壁和与底壁协同限定空腔的侧壁，侧壁具有限定通向空腔的开口的边缘；覆盖开口并密封空腔的保护层；视觉子系统，其设置在空腔内以及保护层与底壁之间并用于提供保护层外部的对象的深度图，该视觉子系统包括：用于承载光学组件的夹子组件，该光学组件协同产生用于深度图的信息，该夹子组件包括：第一支架，其被布置为以彼此固定的距离支撑和保持光学组件，以及第二支架，其具有固定到第一支架的主体，其中，第二支架具有远离主体延伸的突出部。
US 9,870,024 B2描述了一种电子显示器，其包括若干层，诸如覆盖层、滤色器层、包括发光二极管或有机发光二极管的显示层、薄膜晶体管层等。在一个实施例中，这些层包括设置在相机上面的基本上透明的区域。基本上透明的区域允许来自外部的光到达相机，使得相机能够记录图像。
US 10,057,541B2描述了一种图像捕获设备和一种拍摄方法。该图像捕获设备包括：透明显示面板；以及面向透明显示面板的底面的相机，以用于将快门时间与透明显示面板显示黑图像时的时段同步，并用于捕获位于透明显示面板前面的图像。
US 10,215,988B2描述了一种用于显示来自场景的光的光学系统，该光学系统包括有源光学部件，该有源光学部件包括第一多个光引导孔、光学检测器、处理器、显示器和第二多个光引导孔。第一多个光引导孔被定位成向光学检测器提供光学输入。光学检测器被定位成接收光学输入并将光学输入转换为对应于强度和位置数据的电信号。处理器被连接以接收来自光学检测器的数据并处理用于显示的数据。第二多个光引导孔被定位成提供来自显示器的光学输出。
移动装置，诸如智能手机、平板电脑等，通常具有前显示器，诸如有机发光二极管(OLED)区。然而，所述移动装置在其正面需要一些传感器，诸如用于识别指纹，用于一个或多个自拍相机，用于3D传感器等。为了减少由于前显示器的存在而对使用所述传感器的测量造成的可能干扰，众所周知，具有传感器所放置的没有显示器存在或受到干扰的特定区域。这种特定区域是所谓的凹口。用主动光源通过开启的OLED进行测量，往往会因干扰而产生伪影，例如闪烁、色移，并可能仍然存在技术挑战。此外，将传感器技术隐藏在OLED后面，会使消费者无法直接反馈正在发生的事情，例如，正在进行的安全认证。
本发明解决的问题
因此，本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地，本发明的目地是提供允许通过以低技术努力以及技术资源和成本方面的低要求同时具有全尺寸显示而没有任何缺口或边缘区的显示器进行可靠的深度测量的装置和方法。
发明内容
该问题由具有独立专利权利要求的特征的本发明来解决。在从属权利要求和/或在以下说明书和详细的实施例中呈现本发明的可单独地或组合地实现的有利发展。
如下文所使用的，术语“具有”、“包括”或“包含”或其任何语法变体以非排他性的方式使用。因此，这些术语可以指本上下文中描述的实体中除了由这些术语引入的特征之外不存在其他特征的情形，也可以指还存在一个或多个其他特征的情形。作为示例，表述“A具有B”、“A包括B”和“A包含B”可以指A中除了B之外不存在其他要素的情形(即，A仅仅且排他地由B组成的情形)，也可以指实体A中除了B之外还存在一个或多个其他要素(诸如要素C、要素C和D、或甚至其他要素)的情形。
此外，应注意，术语“至少一个”、“一个或多个”或者指示特征或要素可以存在一次或多于一次的类似表述通常将仅在引入相应的特征或要素时使用一次。在下文中，在多数情况下，当提及相应的特征或要素时，将不会重复表述“至少一个”或“一个或多个”，但是承认相应的特征或要素可以存在一次或多于一次的事实。
此外，如下文所使用的，术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语可以与可选特征结合使用，而不限制可替代的可能性。因此，由这些术语引入的特征是可选的特征，并不旨在以任何方式限制权利要求的范围。如本领域的技术人员将认识到的，本发明可通过使用替代特征来执行。类似地，由“在本发明的实施例中”或类似表述引入的特征旨在为可选的特征，而对本发明的替代实施例没有任何限制，对本发明的范围没有任何限制，并且对组合以此方式引入的特征与本发明的其他可选的或非可选的特征的可能性没有任何限制。
在本发明的第一方面中，公开了一种显示装置。如本文所使用的，术语“显示器”可以是指被配置为显示诸如至少一个图像、至少一个图表、至少一个直方图、至少一个文本、至少一个符号的信息项的任意成形的装置。显示器可以是至少一个监视器或至少一个屏幕。显示器可以具有任意形状，优选地矩形形状。如本文所使用的，术语“显示装置”通常可以指包括至少一个显示器的至少一个电子装置。例如，显示装置可以是选自包括以下各项的组的至少一个移动装置：电视装置、手机、智能电话、游戏控制台、平板计算机、个人计算机、膝上型电脑、平板电脑、虚拟现实装置或另一类型的便携式计算机。
该显示装置包括
-至少一个照射源，其被配置为在至少一个场景上投射至少一个照射束；
-至少一个光学传感器，其具有至少一个光敏区，其中所述光学传感器被配置为测量响应于所述照射束的照射由场景产生的至少一个反射光束；
-至少一个半透明的显示器，其被配置为显示信息，其中所述照射源和所述光学传感器被放置在所述显示器前面的所述照射束的传播方向上，
-至少一个控制单元，其中所述控制单元被配置为在照射期间关闭照射源区内的所述显示器和/或在测量期间关闭光学传感器区内的显示器。
如本文所使用的，术语“场景”可以是指至少一个任意对象或空间区域。所述场景可以包括至少一个对象和周围环境。
照射源被配置为在场景上投射照射束，特别是包括多个照射特征的至少一个照射图案。如本文所使用的，术语“照射源”通常可以指适于提供用于照射场景的至少一个照射束的至少一个任意装置。照射源可以适于直接或间接照射场景，其中，照射束由场景的表面反射或散射，并且从而至少部分地朝向光学传感器引导。照射源可以适于例如通过朝向反射光束的场景引导光束来照射场景。
照射源可以包括至少一个光源。照射源可包括多个光源。照射源可以包括人工照射源，特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源，例如，至少一个发光二极管，特别是有机和/或无机发光二极管。作为示例，由照射源发射的光可以具有300至1100nm、特别是500至1100nm的波长。附加地或者替代地，可以使用红外光谱范围内的光，诸如在780nm至3.0μm的范围内。照射源可以包括至少一个红外光源。具体地，可以使用近红外区域的一部分中的光，在该部分中，硅光电二极管具体地适用于700nm至1100nm的范围内。照射源可以被配置为在红外区域中产生至少一个照射光束，特别是至少一个照射图案。使用近红外区域中的光允许光不由人眼检测到或仅微弱地由人眼检测到，并且仍然可以由硅传感器，特别是标准硅传感器检测到。
如本文所使用的，术语“光线”通常是指垂直于指向能量流动的方向的光的波前的线。如本文所使用的，术语“束”通常是指光线的集合。在以下中，术语“光线”和“束”将被用作同义词。如本文进一步使用的，术语“光束”通常是指光量，具体地基本上在相同方向上行进的光量，包括具有扩展角或扩大角的光束的可能性。光束可以具有空间扩展。具体地，光束可以具有非高斯束轮廓。束轮廓可以选自包括以下各项的组：梯形束轮廓；三角形束轮廓；锥形束轮廓。梯形束轮廓可以具有平台区域和至少一个边缘区域。光束具体地可以是高斯光束或高斯光束的线性组合，如下文将更详细地概述的。然而，其他实施例是可行的。
照射源可以被配置为发射单个波长的光。具体地，该波长可以在近红外区域中。在其他实施例中，照射可以适于发射具有多个波长的光，从而允许在其他波长通道中进行附加测量。
照射源可以包括至少一个激光投射器。激光投射器可以是与折射光学器件相结合的垂直腔表面发射激光(VCSEL)投射器。然而，其他实施例是可行的。激光投射器可以包括至少一个激光源和至少一个衍射光学元件(DOE)。照射源可以是或可以包括至少一个多束光源。例如，照射源可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地，照射源可以包括至少一个激光器和/或激光源。可以使用各种类型的激光器，诸如半导体激光器、双异质结构激光器、外腔激光器、分离限制异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布式反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器，或垂直腔表面发射激光器。附加地或者替代地，可以使用非激光光源，诸如LED和/或灯泡。照射源可包括适于产生照射图案的一个或多个衍射光学元件(DOE)。例如，照射源可以适于产生和/或投射点云，例如，照射源可以包括以下各项中的一项或多项：至少一个数字光处理投射器、至少一个LCoS投射器、至少一个空间光调制器；至少一个衍射光学元件；至少一个发光二极管阵列；至少一个激光光源阵列。由于其通常定义的束轮廓和可操作性的其他特性，使用至少一个激光源作为照射源是特别优选的。照射源可以集成到显示装置的壳体中。
而且，照射源可以被配置为发射调制或非调制光。在使用多个照射源的情况下，不同的照射源可以具有不同调制频率，如下文进一步详细概述的，这些不同调制频率以后可以用于对光束进行区分。
由照射源产生的一个或多个光束通常可以平行于光轴传播或相对于光轴倾斜传播，例如包括与光轴的角度。显示装置可以被配置为使得一个或多个光束沿着显示装置的光轴从显示装置朝向场景传播。出于该目的，显示装置可包括至少一个反射元件，优选至少一个棱镜，以用于将照射光束偏转到光轴上。作为示例，一个或多个光束，诸如激光束，和光轴可以包括小于10°的角，优选地小于5°或甚至小于2°。然而，其他实施例也是可行的。而且，一个或多个光束可以在光轴上或光轴外。作为示例，一个或多个光束可以平行于光轴，具有到光轴小于10mm的距离，优选地到光轴小于5mm或甚至到光轴小于1mm或甚至可以与光轴重合。
照射源被配置为生成至少一个照射图案。该照射图案可以包括周期性点图案。如本文所使用的，术语“至少一个照射图案”是指至少一个任意图案，其包括适于照射场景的至少一部分的至少一个照射特征。如本文所使用的，术语“照射特征”是指图案的至少一个至少部分扩展的特征。照射图案可包括单个照射特征。照射图案可包括多个照射特征。照射图案可以选自包括以下各项的组：至少一个点图案；至少一个线图案；至少一个条纹图案；至少一个棋盘图案；包括周期性或非周期性特征的布置的至少一个图案。照射图案可包括规则和/或恒定和/或周期性图案，诸如三角形图案、矩形图案、六边形图案、或包括进一步的凸瓦片的图案。照射图案可以展现出选自包括以下各项的组的至少一个照射特征：至少一个点；至少一条线；至少两条线，诸如平行线或交叉线；至少一个点和一条线；周期性或非周期性特征的至少一个布置；至少一个任意成形的特征。照射图案可包括选自包括以下各项的组的至少一个图案：至少一个点图案，特别是伪随机点图案；随机点图案或者准随机图案；至少一个索博尔图案；至少一个准周期图案；包括至少一个预知特征的至少一个图案；至少一个规则图案；至少一个三角形图案；至少一个六边形图案；至少一个矩形图案；包括凸均匀瓦片的至少一个图案；包括至少一条线的至少一个线图案；包括至少两条线(诸如平行或交叉线)的至少一个线图案。例如，照射源可以适于产生和/或投射点云。照射源可包括适于产生点云使得照射图案可包括多个点图案的至少一个光投射器。照射源可包括至少一个掩模，该至少一个掩模适于从由照射源产生的至少一个光束产生照射图案。
照射图案的两个特征之间的距离和/或至少一个照射特征的面积可以取决于图像中的模糊圆。如上文所概述的，照射源可包括被配置为产生所述至少一个照射图案的至少一个光源。具体地，照射源包括至少一个光源和/或指定用于产生激光辐射的至少一个激光二极管。照射源可包括至少一个衍射光学元件(DOE)。显示装置可包括适于投射至少一个周期性点图案的至少一个点投射器，诸如至少一个激光源和DOE。如本文进一步使用的，术语“投射至少一个照射图案”是指提供用于照射至少一个场景的至少一个照射图案。
例如，投射的照射图案可以是周期性点图案。投射的照射图案可以具有低点密度。例如，照射图案可包括具有低点密度的至少一个周期性点图案，其中，照射图案具有≤2500个点每视场。与在55x38°的视场中通常具有10k-30k的点密度的结构光相比较，根据本发明的照射图案可以更稀疏。这可以允许每点更多的功率，使得所提出的技术与结构光相比较更少依赖环境光。
如本文所使用的，“光学传感器”通常是指用于检测光束，例如用于检测由至少一个光束产生的照射和/或光斑的光敏装置。如本文进一步使用的，“光敏区”通常是指可被至少一个光束从外部照射的光学传感器的区，响应于该照射，产生至少一个传感器信号。光敏区可以具体地位于相应光学传感器的表面上。然而，其他实施例也是可行的。显示装置可以包括单个相机，该单个相机包括光学传感器。显示装置可以包括多个相机，每个相机包括一个光学传感器或多个光学传感器。显示装置可包括多个光学传感器，每个光学传感器具有光敏区。如本文所使用的，术语“每个光学传感器具有至少一个光敏区”是指多个单独的光学传感器中每个光学传感器具有一个光敏区的配置，以及一个组合的光学传感器具有多个光敏区的配置。此外，术语“光学传感器”是指被配置为产生一个输出信号的光敏装置。在显示装置包括多个光学传感器的情况下，可以实现每个光学传感器使得精确地一个光敏区存在于相应光学传感器中，诸如通过精确地提供可以照射的一个光敏区，响应于该照射，针对整个光学传感器精确地产生一个均匀传感器信号。因此，每个光学传感器可以是单区光学传感器。然而，单区光学传感器的使用使得显示装置的设置特别简单和有效。因此，作为示例，可在设置中使用可商购的光电传感器，例如可商购的硅光电二极管，每个光电传感器恰好具有一个光敏区。然而，其他实施例也是可行的。
显示装置可以被配置为执行至少一次距离测量，诸如基于飞行时间(ToF)技术和/或基于离焦测距(depth-from-defocus)技术和/或基于光子比率测距(depth-from-photon-ratio)技术，也称为束轮廓分析。关于光子比率测距(DPR)技术，请参考WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640 A1，它们的全部内容通过引用而被包含。该光学传感器可以是或可以包括至少一个距离传感器。
优选地，光敏区可以基本上垂直于显示装置的光轴取向。光轴可以是直的光轴，或者可以弯曲，或甚至分裂，例如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器，其中在后一种情况下，基本垂直的取向可以指光学设置的相应分支或束路径中的局部光轴。
光学传感器具体地可以是或可以包括至少一个光电检测器，优选地无机光电检测器，更优选地无机半导体光电检测器，最优选地硅光电检测器。具体地，光学传感器可以在红外光谱范围内敏感。矩阵中的所有像素或矩阵中的至少一组光学传感器具体可以是相同的。可针对不同光谱范围具体提供矩阵中的相同像素组，或者所有像素在光谱灵敏度方面相同。此外，像素可以具有相同的尺寸和/或电子或光电子特性。具体地，光学传感器可以是或可以包括在红外光谱范围内、优选在700nm至3.0微米范围内敏感的至少一个无机光电二极管。具体地，光学传感器可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于700nm至1100nm的范围内。可用于光学传感器的红外光学传感器是可商购的红外光学传感器，诸如德国D-67056Ludwigshafen am Rhein的TrinamiXTM GmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此，作为示例，光学传感器可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或者替代地，光学传感器可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地，光学传感器可包括至少一个光电导传感器，诸如PbS或PbSe传感器、辐射热测量计，优选地选自VO辐射热测量计和非晶Si辐射热测量计的辐射热测量计。
光学传感器可以在紫外、可见或红外光谱范围中的一个或多个内敏感。具体地，光学传感器可以在从500nm至780nm的可见光谱范围内敏感，最优选地在650nm至750nm处或在690nm至700nm处敏感。具体地，光学传感器可以在近红外区域中敏感。具体地，光学传感器可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于700nm至1000nm的范围内。光学传感器具体地可以在红外光谱范围内敏感，具体地在780nm至3.0微米的范围内敏感。例如，光学传感器各自单独地可以是或可以包括选自包括以下各项的组的至少一个元件：光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如，光学传感器可以是或可以包括选自包括以下各项的组的至少一个元件：CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地，可以使用一个或多个光电二极管，诸如可商购的光电二极管，例如，无机半导体光电二极管。
光学传感器可以包括至少一个传感器元件，该至少一个传感器元件包括像素矩阵。因此，作为示例，光学传感器可以是像素化光学器件的一部分或构成像素化光学器件。例如，光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，光学传感器可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件，每个像素形成光敏区域。如本文所使用的，术语“传感器元件”通常是指被配置为感测至少一个参数的装置或多个装置的组合。在本情况中，参数具体地可以是光学参数，并且传感器元件具体地可以是光学传感器元件。传感器元件可以形成为单个器件或若干器件的组合。传感器元件包括光学传感器的矩阵。传感器元件可包括至少一个CMOS传感器。矩阵可以包括诸如独立光学传感器的独立像素。因此，可以包括无机光电二极管的矩阵。然而，替代地，可以使用商购矩阵，诸如CCD检测器(例如CCD检测器芯片)和/或CMOS检测器(例如CMOS检测器芯片)中的一者或多者。因此，通常，传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件，和/或光学传感器可以形成传感器阵列或可以是传感器阵列的一部分，诸如上文所提到的矩阵。因此，作为示例，传感器元件可包括像素阵列，诸如具有m行和n列的矩形阵列，其中，m,n独立地是正整数。优选地，给出一个以上的列和一个以上的行，即，n>1，m>1。因此，作为示例，n可以为2至16或更高，并且m可以为2至16或更高。优选地，行数与列数之比接近1。作为示例，可以选择n和m，使得0.3≤m/n≤3，诸如通过选择m/n＝1:1、4:3、16:9或类似的值。作为示例，阵列可以是具有相等行数和列数的正方形阵列，诸如通过选择m＝2，n＝2或m＝3，n＝3等。
矩阵可以包括诸如独立光学传感器的独立像素。因此，可以构成无机光电二极管的矩阵。然而，替代地，可以使用商购矩阵，诸如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一者或多者。因此，通常，光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件，和/或显示装置的光学传感器可以形成传感器阵列或可以是传感器阵列的一部分，诸如上文所提到的矩阵。
矩阵具体地可以是具有至少一个行，优选地多个行，和多个列的矩形矩阵。作为示例，行和列可以基本上垂直地取向。如本文所使用的，术语“基本上垂直”是指垂直取向的条件，其容差为例如±20°或更小，优选地±10°或更小，更优选地±5°或更小。类似地，术语“基本上平行”是指平行取向的条件，其容差为例如±20°或更小，优选地±10°或更小，更优选地±5°或更小。因此，作为示例，小于20°、具体地小于10°、或甚至小于5°的容差是可以接受的。为了提供宽的视野，矩阵具体地可以具有至少10行，优选地至少500行，更优选地至少1000行。类似地，矩阵可以具有至少10列，优选地至少500列，更优选地至少1000列。矩阵可以包括至少50个光学传感器，优选地至少100000个光学传感器，更优选地至少5000000个光学传感器。矩阵可以包括数百万像素范围内的多个像素。然而，其他实施例也是可行的。因此，在期望轴向旋转对称的设置中，优选采用矩阵中的光学传感器(也可被称为像素)的圆形布置或同心布置。
因此，作为示例，传感器元件可以是像素化光学器件的一部分或构成像素化光学器件。例如，传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例，传感器元件可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件，每个像素形成光敏区。传感器元件可以采用滚动快门或全局快门方法来读出光学传感器的矩阵。
显示装置还可包括至少一个传送装置。显示装置还可包括一个或多个附加元件，诸如一个或多个附加光学元件。显示装置可以包括选自包括以下各项的组的至少一个光学元件：传送装置，诸如至少一个透镜和/或至少一个透镜系统，至少一个衍射光学元件。术语“传送装置”(也表示为“传送系统”)可以通常是指适于诸如通过修改光束的束参数、光束的宽度或光束的方向中的一者或多者来修改光束的一个或多个光学元件。传送装置可以适于将光束引导到光学传感器上。传送装置具体地可以包括以下各项中的一项或多项：至少一个透镜，例如，选自包括以下各项的组的至少一个透镜：至少一个焦点可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅尔透镜；至少一个衍射光学元件；至少一个凹镜；至少一个束偏转元件，优选地至少一个反射镜；至少一个分束元件，优选地分束立方体或分束反射镜中的至少一者；至少一个多透镜系统。如本文所使用的，术语传送装置的“焦距”是指使可以入射到传送装置的入射准直光线处于“聚焦(focus)”(其也可以被表示为“焦点”)的距离。因此，焦距构成传送装置会聚入射光束的能力的度量。因此，传送装置可以包括一个或多个成像元件，该一个或多个成像元件可以具有会聚透镜的效果。举例来说，传送装置可以具有一个或多个透镜，特别是一个或多个折射透镜、和/或一个或多个凸镜。在该示例中，焦距可以被定义为从薄折射透镜的中心到薄透镜的主焦点的距离。针对会聚薄折射透镜，诸如凸或双凸薄透镜，焦距可以被认为是正的，并且可以提供入射到作为传送装置的薄透镜的准直光束可以聚焦成单个斑的距离。此外，传送装置可包括至少一个波长选择元件，例如，至少一个光学滤波器。此外，传送装置可以被设计为将预定义束轮廓印记在电磁辐射上，例如，在传感器区域并且特别是传感器区的位置处。原则上，传送装置的上述可选实施例可以单独地或以任何期望的组合实现。
传送装置可以具有光轴。特别地，显示装置和传送装置具有公共光轴。如本文所使用的，术语“传送装置的光轴”通常是指透镜或透镜系统的镜面对称或旋转对称轴。显示装置的光轴可以是显示装置的光学设置的对称线。显示装置包括至少一个传送装置，优选地具有至少一个透镜的至少一个传送系统。作为示例，传送系统可以包括至少一个束路径，其中，束路径中的传送系统的元件以关于光轴旋转对称的方式来定位。然而，如下文还将更详细地概述的，位于束路径内的一个或多个光学元件也可以关于光轴偏离中心或倾斜。然而，在这种情况下，光轴可以顺序地定义，诸如通过将束路径中的光学元件的中心相互连接，例如通过将透镜的中心相互连接，其中，在该上下文中，光学传感器未计算为光学元件。光轴通常可以表示束路径。其中，显示装置可以具有光束可以从对象行进到光学传感器所沿着的单个束路径，或者可以具有多个束路径。作为示例，可以给出单个束路径，或者束路径可以分成两个或两个以上部分束路径。在后者的情况中，每个部分束路径可以具有其自己的光轴。光学传感器可以位于同一个束路径或部分束路径中。替代地，然而，光学传感器也可以位于不同的部分束路径中。
传送装置可以构成坐标系，其中，纵向坐标是沿着光轴的坐标，并且其中，d是与光轴的空间偏移。坐标系可以是极坐标系，其中，传送装置的光轴形成z轴，并且其中，距z轴的距离和极角可以用作附加坐标。平行或者反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可被视为横向方向，并且极坐标和/或极角可被视为横向坐标。
显示装置可以构成坐标系，其中显示装置的光轴形成z轴，并且其中，此外，可以提供垂直于z轴并且彼此垂直的x轴和y轴。作为示例，显示装置和/或显示装置的一部分可以停留在该坐标系中的特定点处，诸如在该坐标系的原点处。在该坐标系中，平行或者反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。垂直于纵向方向的任意方向可以被认为是横向方向，并且x和/或y坐标可以被认为是横向坐标。替代地，可以使用其他类型的坐标系。因此，作为示例，可以使用极坐标系，其中，光轴形成z轴，并且其中，距z轴的距离和极角可以用作附加坐标。此外，平行或者反平行于z轴的方向可以被认为是纵向方向，并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可被视为横向方向，并且极坐标和/或极角可被视为横向坐标。
显示装置包括被配置为显示信息的至少一个半透明显示器。半透明显示器可以是或可以包括至少一个屏幕。屏幕可以具有任意形状，优选矩形形状。如本文所使用的，术语“半透明”可以指显示器允许光，特别是某个波长范围的光，优选是红外区域的光通过的特性。照射源和光学传感器放置在半透明显示器前面照射图案的传播方向上。信息可以是任意信息，诸如至少一个图像、至少一个图表、至少一个直方图、至少一个图形、文本、数字、至少一个符号、操作菜单等。
半透明显示器可以是全尺寸显示器，其具有在显示器的整个尺寸上延伸的显示材料。术语显示器的“尺寸”可以指半透明显示器的表面积。术语“全尺寸显示器”可以指以下一项或多项：半透明显示器无凹槽或无切口、半透明显示器具有完整的有效显示区，或整个显示区可激活。半透明显示器可以具有连续分布的显示材料。半透明显示器可以设计成没有任何凹槽或切口。例如，显示装置可以包括具有显示区(诸如长方形显示区)的正面，半透明显示器布置在该显示区。该显示区可以完全由半透明显示器覆盖，特别是由显示材料覆盖，具体是没有任何凹槽或切口。这可以允许增加显示尺寸，特别是增加显示装置的被配置为显示信息的区。例如，显示装置的整个和/或完整正面尺寸可以由显示材料覆盖，其中，然而，可以具有包围显示器的框架。
半透明显示器可以是或可以包括至少一个有机发光二极管(OLED)显示器。如本文所使用的，术语“有机发光二极管”是广义的术语并对于本领域的普通技术人员来说，应赋予其普通和惯用的含义，不应限于特殊或定制的含义。该术语具体可指，但不限于，发光二极管(LED)，其中，发光式电光层是被配置为响应电流而发光的有机化合物膜。该OLED显示器可被配置为发射可见光。
显示装置包括至少一个控制单元。控制单元被配置为被配置为在照射期间关闭照射源区内的显示器和/或在测量期间关闭光学传感器区内的显示器。如本文所进一步使用的，术语“控制单元”通常是指以下任意装置：其被配置为控制显示器的至少一个进一步的组件，诸如照射源和/或光学传感器和/或显示装置，特别是通过使用至少一个处理器和/或至少一个专用集成电路。因此，作为示例，控制单元可以包括至少一个数据处理装置，该数据处理装置上存储有包含若干计算机命令的软件代码。控制单元可以提供用于执行一个或多个指定的操作的一个或多个硬件元件，和/或可以提供一个或多个处理器，在该一个或多个处理器上运行用于执行一个或多个指定的操作的软件。因此，作为示例，控制单元可以包括一个或多个可编程装置，诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，它们被配置为执行上述控制。然而，另外或替代地，控制单元也可以全部或部分由硬件体现。
控制单元被配置为在照射期间关闭照射源区内的显示器和/或在测量期间关闭光学传感器区内的显示器。如本文所使用的，术语“在照射期间”可以指照射源活跃的时间跨度，诸如被打开和/或准备生成至少一个照射束和/或正在主动照射场景。如本文所使用的，术语“在测量期间”可以指光学传感器活跃的时间跨度，诸如被打开和/或准备用于测量和/或正在主动测量。如本文所使用的，术语“关闭某个区内的显示器”可以指调整，特别是防止和/或中断和/或停止对显示器的该特定区的供电。如上所述，显示器可以包括至少一个OLED显示器。当控制单元关闭照射源区内的显示器时，OLED显示器在该照射源区内可以不活跃。当控制单元关闭光学传感器区内的显示器时，OLED显示器在光学传感器区内可以不活跃。控制单元可以被配置为在测量活跃时关闭显示器的区。
照射源可以包括辐射区，在该辐射区中，照射束，特别是照射图案，被辐射到场景中。辐射区可以由照射源的开口角度来定义。术语“照射源区内的显示器”可以指由辐射区所覆盖的半透明显示器的一部分。术语“光学传感器区内的显示器”可以指由光学传感器的光敏区覆盖的显示器的一部分。照射源和光学传感器可以被布置在定义的区内。照射源和光学传感器可以被布置在相对于彼此的固定位置。例如，照射源和光学传感器可以彼此相邻布置，特别是具有固定的距离。照射源和光学传感器可以被布置成使得：半透明显示器的由辐射区和光敏区覆盖的面积最小。
显示器可被配置为在控制单元在照射期间关闭照射源区内的显示器和/或在测量期间关闭光学传感器区内的显示器时，在照射源区内和/或光学传感器区内显示黑色区。黑色区可以是不发光的区和/或与显示器的其他区相比发光量减少的区。例如，黑色区可以是变暗的区。具体地，控制单元被配置为关闭照射源区内的显示器，以使得照射源区内的显示器用作可调节凹口，和/或关闭光学传感器区内的显示器，以使得光学传感器区内的显示器用作可调节凹口。可调节凹口可被配置为在照射和/或测量期间是活跃的，而在其他情况下则不活跃。可调节凹口可以用作虚拟凹口，在测量期间，诸如在面部解锁期间，当显示装置不使用时，该虚拟凹口是活跃的，而当不需要光学传感器，特别是不需要前置传感器时，虚拟凹口不活跃。对于使用的OLED显示器，这可能意味着显示器中根本没有活跃性。这可以允许确保任何像素的颜色都不会被红外光改变。此外，显示装置，特别是控制单元和/或进一步的处理装置和/或进一步的光学元件，可以被配置为纠正显示器中的颜色，例如，红外激光器的感知到的闪烁。
例如，显示装置的设置可以包括相机，其包括光学传感器和透镜系统，以及投射器，特别是激光投射器。投射器和相机可以在半透明显示器的后面，在由场景反射的光的传播方向上固定。投射器可以产生点图案，并通过显示器照亮。在测量期间中，半透明显示器可以在投射器区内关闭，以使得在该时间段期间半透明显示器将显示黑色区。相机可以通过显示器进行观察。
可调节凹口可以包括刺眼(harsh)的边缘。然而，在其他实施例中，可调节凹口可以用亮度梯度实现，以避免任何刺眼的边缘。显示装置可包括亮度降低元件，这些亮度降低元件被配置为在光学传感器通常定位的显示器边缘引入亮度梯度，以避免任何刺眼的边缘。这可以允许在可调节凹口区内提供降低的亮度。
控制单元可以被配置为以显示器和照射源不互相干扰的方式使显示器和照射源同步，即所谓的切换(toggle)模式。
例如，显示装置可以包括被配置为产生至少一种照射图案的至少一个投射器、用于照射场景的附加泛光照射，和光学传感器。显示装置可以被配置为使得这些部件放置在显示器前面的照射光束的传播方向上。半透明显示器可以是至少一个OLED显示器。OLED显示器可以具有约25％或更高的透射率。然而，即使是具有较少透射率的OLED显示器的实施例也是可能的。OLED显示器可以包括以矩阵布置来布置的多个像素。OLED可以从矩阵的顶部到底部逐行更新和/或刷新其内容。控制单元可以被配置为使显示器、投射器、泛光照射和光学传感器同步。显示器，特别是显示器驱动器，可以被配置为发出至少一个信号，该至少一个信号指示更新和/或刷新从最后一行卷绕到第一行。照射装置和光学传感器可以位于第一行或第一行中的一个。显示驱动器可以是控制单元的一部分。显示驱动器可以是显示器的元件。附加地或替代地，该信号可以由外部控制单元发出。例如，当更新和/或刷新从最后一行卷绕到第一行时，垂直同步(VSYNC)信号，也表示为显示器VSYNC，可以由显示器发出。显示器可以在两种操作模式下操作，即“视频模式”或“命令模式”。在视频模式下，VSYNC信号可由显示驱动器从显示器发出。在命令模式下，VSYNC信号可由外部控制单元产生和发出，例如，由芯片上系统产生和发出，如下所述。光学传感器的曝光可以直接发生在显示器VSYNC之前，即直接发生在照射装置和光学传感器所在的第一行的刷新之前。在显示器内容被更新和/或刷新，特别是被重写前不久，通过OLED显示器的光的发射可以被定时。这可以使可见失真最小化。
光学传感器，例如至少一个红外相机，可以与投射器和泛光照射同步。光学传感器可以是活跃的，即在照射期间处于捕捉图像和/或检测光的模式下。例如，光学传感器和照射源的同步可以通过光学传感器向控制单元发射VSYNC信号(也称为相机VSYNC)和向照射源发出选通信号来实现，其中，控制单元响应于相机VSYNC而向照射源发出触发信号以激活照射源。在照射源接收到触发信号和选通信号的情况下，照射源开始进行照射。然而，也可以采用其他的实施例来同步光学传感器和照射源。
例如，控制单元可以包括片上系统(SoC)。该SoC可以包括显示接口。该SoC可以包括与至少一个应用连接的至少一个应用编程接口(API)。该SoC可以进一步包括至少一个图像信号处理器(ISP)。光学传感器可以与SoC连接，特别是经由至少一个连接与ISP和/或API连接。该连接可被配置为电源控制、提供时钟信号(CLK)、传输图像信号中的一者或多者。附加地或替代地，该连接可以体现为互连电路(I2C)。附加地或替代地，该连接可以体现为图像数据接口，诸如MIP。应用可以请求通过一个或多个照射源的照射。SoC，经由API，可以经由连接为光学传感器供电。光学传感器可以向SoC发射VSYNC信号，并向照射源发射选通信号。SoC，经由API，可以响应于相机VSYNC向照射源发射触发信号，以用于分别激活照射源。在相应的触发信号和选通信号被相应的照射源接收的情况下，特别是被AND逻辑门接收的情况下，照射源的相应驱动器驱动照射。光学传感器的信号可以被传输到SoC，例如通过连接传输到API和ISP，并且可以例如与元数据等一起被提供给应用，例如用于进一步评估。
此外，光学传感器和显示器可以同步。显示装置可被配置为将显示器VSYNC传递给光学传感器作为触发信号，以使显示器VSYNC与相机帧曝光的结束同步。取决于光学传感器的触发要求，显示器VSYNC可以在将其传递给光学传感器之前被适配，特别是被调节，以满足要求。例如，显示器VSYNC的频率可以调节为一半的频率。
控制单元可以被配置为在光学传感器和/或照射源活跃时发出指示。半透明显示器可被配置为在光学传感器和/或照射源活跃时显示所述指示。例如，显示装置可以被配置为使用照射源和光学传感器进行面部识别。用于面部识别的方法和技术对于技术人员来说通常是已知的。控制单元可以被配置为在执行面部识别期间发出表明面部识别活跃的指示。半透明显示器可以被配置为在执行面部识别期间显示所述指示。例如，该指示可以是至少一个警告元素。该指示可以是表明光学传感器和/或照射源，特别是面部识别，活跃的图标和/或标识和/或符号和/或动画中的一种或多种。例如，黑色区可以包括表明安全认证活跃的识别标志。这可以使用户认识到他是在安全的环境中，例如，用于支付或签字等。例如，警告元素可以改变颜色和/或外观，以表明面部识别是活跃的。该指示可以进一步允许用户认识到光学传感器，特别是相机，已经打开，以避免被窥视。控制单元和/或进一步的安全区可以被配置为发出至少一个命令，以在黑色区显示至少一个水印。该水印可以是不能被例如来自商店的低安全级别的应用模仿的符号。
然而，照射源和光学传感器布置在半透明显示器后面由场景反射光的传播方向上，可导致显示器的衍射光栅在场景上产生多个激光点，也在由光学传感器捕获的图像中产生多个激光点。因此，图像上的这些多个点可能不包括任何有用的距离信息。如下文将详细介绍的，显示装置可以包括至少一个评估装置，该至少一个评估装置被配置为寻找和评估衍射光栅的零阶反射特征，即真实特征，并可以忽略更高阶反射特征，即虚假特征。
照射源可以被配置为在至少一个场景上投射包括多个照射特征的至少一个照射图案。光学传感器可被配置为确定至少一个第一图像，该至少一个第一图像包括由场景响应于照射特征的照射而产生的多个反射特征。显示装置进一步可以包括至少一个评估装置。评估装置可以被配置为评估第一图像，其中，第一图像的评估包括识别第一图像的反射特征，并关于亮度对识别的反射特征进行排序。每个反射特征可以包括至少一个束轮廓。评估装置可被配置为通过分析反射特征的束轮廓来确定每个反射特征的至少一个纵向坐标ZDPR。评估装置可被配置为通过使用纵向坐标ZDPR，将反射特征与相应的照射特征明确地匹配。匹配可以从最亮的反射特征开始，以反射特征的亮度递减的方式进行。评估装置可被配置为将与照射特征相匹配的反射特征分类为真实特征，并将与照射特征不匹配的反射特征分类为虚假特征。评估装置可以被配置为拒绝虚假特征，并通过使用纵向坐标ZDPR为真实特征生成深度图。
光学传感器可以被配置为确定至少一个第一图像，该至少一个第一图像包括由场景响应于照射特征的照射而产生的多个反射特征。如本文所使用的，在不限制的情况下，术语“图像”具体地可以指通过使用光学传感器记录的数据，诸如来自成像装置的多个电子读数，诸如传感器元件的像素。因此，图像本身可以包括像素，图像的像素与传感器元件矩阵的像素相关。因此，当涉及“像素”时，参考由传感器元件的单独像素产生的图像信息的单元，或者直接参考传感器元件的单独像素。如本文所使用的，术语“二维图像”通常可以是指具有关于横向坐标的信息的图像，诸如仅高度和宽度的维度。如本文所使用的，术语“三维图像”通常可以是指具有关于横向坐标以及另外关于纵向坐标的信息的图像，诸如高度、宽度和深度的维度。如本文所使用的，术语“反射特征”可以是指响应于具体地利用至少一个照射特征的照射而由场景产生的图像平面内的特征。
评估装置可以被配置为评估第一图像。如本文进一步使用的，术语“评估装置”通常是指适于执行指定操作的任意装置，指定操作优选地通过使用至少一个数据处理装置，更优选地通过使用至少一个处理器和/或至少一个专用集成电路来执行。因此，作为示例，至少一个评估装置可以包括至少一个数据处理装置，该至少一个数据处理装置上存储有包含大量计算机命令的软件代码。评估装置可以提供用于执行指定操作中的一个或多个操作的一个或多个硬件元件，和/或可以向一个或多个处理器提供在其上运行以执行指定操作中的一个或多个的软件。操作，包括评估图像。具体地，确定束轮廓和表面的指示可以由至少一个评估装置来执行。因此，作为示例，一个或多个指令可以在软件和/或硬件中实现。因此，作为示例，评估装置可以包括被配置为执行上述评估的一个或多个可编程装置，诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而，附加地或者替代地，评估装置也可以全部或部分地由硬件来体现。
评估装置和显示装置可以完全或部分被集成到单个装置中。因此，通常，评估装置也可以形成显示装置的一部分。替代地，评估装置和显示装置可以完全或部分被实现为分离的装置。显示装置可包括进一步的组件。评估装置可以与控制单元连接和/或可以是控制单元的一部分。
评估装置可以是或可以包括一个或多个集成电路，诸如一个或多个专用集成电路(ASIC)、和/或一个或多个数据处理装置，诸如一个或多个计算机、优选地一个或多个微计算机和/或微控制器、现场可编程阵列、或数字信号处理器。可以包括附加组件，诸如一个或多个预处理装置和/或数据采集装置，诸如用于传感器信号的接收和/或预处理的一个或多个装置，诸如一个或多个AD转换器和/或一个或多个滤波器。进一步地，评估装置可以包括一个或多个测量装置，诸如用于测量电流和/或电压的一个或多个测量装置。进一步地，评估装置可包括一个或多个数据存储装置。进一步地，评估装置可以包括一个或多个接口，诸如一个或多个无线接口和/或一个或多个有线接口。
评估装置可以连接到或可以包括至少一个进一步的数据处理装置，该数据处理装置可以用于信息(诸如由光学传感器和/或由评估装置获得的信息)的显示、可视化、分析、分布、通信或进一步处理中的一种或多种。作为示例，数据处理装置可以连接或者包含以下各项中的至少一项：显示器、投射器、监视器、LCD、TFT、扬声器、多通道声音系统、LED图案、或进一步的可视化装置。其还可以连接或者包含以下各项中的至少一项：通信装置或通信接口、连接器或端口，其能够使用电子邮件、文本消息、电话、蓝牙、Wi-Fi、红外或因特网接口、端口或连接中的一种或多种发送加密或未加密信息。数据处理装置还可以连接到或者包含以下各项中的至少一项：处理器；图形处理器；CPU；开放式多媒体应用程序平台(OMAPTM)；集成电路；片上系统诸如来自Apple A系列或Samsung S3C2系列的产品；微控制器或微处理器；一个或多个存储块诸如ROM、RAM、EEPROM、或闪存；定时源诸如振荡器或锁相环、计数计时器、实时计时器、或加电复位发生器；电压调节器；电源管理电路；或DMA控制器。单独单元还可以由总线(诸如AMBA总线)连接或者集成在物联网或工业4.0类型网络中。
评估装置和/或数据处理装置可以由以下接口或端口连接或者具有以下接口或端口：进一步的外部接口或端口，诸如串行或并行接口或端口、USB、并口端口、火线、HDMI、以太网、蓝牙、RFID、Wi-Fi、USART、或SPI中的一者或多者；或模拟接口或端口，诸如ADC或DAC中的一者或多者；或到进一步的装置(诸如使用RGB接口(诸如CameraLink)的2D相机装置)的标准化接口或端口。评估装置和/或数据处理装置还可以由以下各项中的一项或多项连接：处理器间接口或端口、FPGA-FPGA接口、或串行或并行接口端口。评估装置和数据处理装置还可以连接到以下各项中的一项或多项：光盘驱动器、CD-RW驱动器、DVD+RW驱动器、闪盘驱动器、存储卡、磁盘驱动器、硬盘驱动器、固态盘或固态硬盘。
评估装置和/或数据处理装置可以由一个或多个进一步的外部连接器连接或者具有一个或多个进一步的外部连接器，诸如以下各项中的一项或多项：电话连接器、RCA连接器、VGA连接器、公母连接器、USB连接器、HDMI连接器、8P8C连接器、BCN连接器、IEC60320C14连接器、光纤连接器、D超小型连接器、RF连接器、同轴连接器、SCART连接器、XLR连接器，和/或可以包含用于这些连接器中的一个或多个连接器的至少一个适合的插座。
评估装置可以被配置为评估第一图像。第一图像的评估可以包括识别第一图像的反射特征。评估装置可以被配置为执行至少一个图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一个特征检测算法。图像分析和/或图像处理可以包括以下各项中的一项或多项：滤波；至少一个感兴趣区域的选择；形成由传感器信号创建的图像和至少一个偏移之间的差分图像；通过反转由传感器信号创建的图像来反转传感器信号；在由传感器信号在不同时间处创建的图像之间形成差分图像；背景校正；分解成彩色通道；分解成色调；饱和度；和亮度通道；频率分解；奇异值分解；应用水滴检测器；应用角点检测器；应用Hessian滤波器决定子；应用基于曲率原理的区域检测器；应用最大稳定极值区域检测器；应用广义Hough变换；应用脊检测器；应用仿射不变特征检测器；应用仿射自适应兴趣点算子；应用Harris仿射区域检测器；应用Hessian仿射区域检测器；应用尺度不变特征变换；应用尺度空间极值检测器；应用局部特征检测器；应用加速鲁棒特征算法；应用梯度定位和方向直方图算法；应用取向梯度描述符的直方图；应用Deriche边缘检测器；应用差分边缘检测器；应用时空兴趣点检测器；应用Moravec角点检测器；应用Canny边缘检测器；应用拉普拉斯高斯滤波器；应用高斯差分滤波器；应用Sobel算子；应用拉普拉斯算子；应用Scharr算子；应用Prewitt算子；应用Roberts算子；应用Kirsch算子；应用高通滤波器；应用低通滤波器；应用傅里叶变换；应用Radon变换；应用Hough变换；应用小波变换；阈值化；创建二值图像。感兴趣区域可以由用户手动确定或者可以自动确定，诸如通过识别由光学传感器产生的图像内的特征。
例如，照射源可以被配置为产生和/或投射点云，使得在光学传感器(例如，CMOS检测器)上产生多个照射区域。此外，干扰可以存在于光学传感器上，诸如归因于斑点和/或外部光和/或多次反射的干扰。评估装置可以适于确定至少一个感兴趣区域，例如，用于对象的纵向坐标的确定的由光束照射的一个或多个像素。例如，评估装置可以适于执行滤波方法，例如，斑点分析和/或边缘滤波和/或对象识别方法。
评估装置可以被配置为执行至少一个图像校正。图像校正可以包括至少一个背景减法。评估装置可以适于例如通过无需进一步照射的成像从束轮廓中移除来自背景光的影响。
反射特征中的每一个包括至少一个束轮廓。如本文所使用的，术语反射特征的“束轮廓”通常可以指反射特征的作为像素的函数的至少一个强度分布，诸如光学传感器上的光斑的强度分布。束轮廓可以选自梯形束轮廓、三角形束轮廓、圆锥形束轮廓、以及高斯束轮廓的线性组合。评估装置被配置为通过分析反射特征的束轮廓来确定用于反射特征中的每一个的束轮廓信息。
评估装置可以被配置为通过分析反射特征的束轮廓来确定用于反射特征中的每一个的至少一个纵向坐标zDPR。如本文所使用的，术语“束轮廓的分析”通常可以指对光束轮廓的评估，并且可包括至少一个数学运算和/或至少一个比较和/或至少一个对称化和/或至少一个滤波和/或至少一个归一化。例如，束轮廓的分析可以包括直方图分析步骤、差异度量的计算、神经网络的应用、机器学习算法的应用中的至少一种。评估装置可以被配置为对束轮廓进行对称化和/或归一化和/或滤波，特别是从在较大角度下的记录、记录边缘等中移除噪声或不对称。评估装置可以通过移除高空间频率来束轮廓进行滤波，诸如通过空间频率分析和/或中值滤波等。可以通过光斑的强度中心和到中心相同距离处的所有强度的平均来执行总结。评估装置可以被配置为将束轮廓归一化到最大强度，特别是考虑到归因于记录的距离的强度差异。评估装置可以被配置为例如通过无需照射的成像从束轮廓中移除来自背景光的影响。
反射特征可以覆盖图像的至少一个像素或可以在图像的至少一个像素上延伸。例如，反射特征可以覆盖多个像素或可以在多个像素上延伸。评估装置可以被配置为确定和/或选择连接到反射特征(例如光斑)和/或属于反射特征的所有像素。评估装置可以被配置为通过以下式子确定强度中心：
Figure BDA0004224743340000251
其中Rcoi是强度中心的位置，rpixel是像素位置，以及l＝∑jItotal，其中j是连接到反射特征和/或属于反射特征的像素数j，以及Itotal是总强度。
评估装置可以被配置为通过使用光子比率测距技术来确定用于反射特征中的每一个的纵向坐标zDPR。关于光子比率测距(DPR)技术，参考WO 2018/091649A1、WO 2018/091638 A1和WO 2018/091640 A1，其全部内容通过引用包括在内。
评估装置可以被配置为确定反射特征中的每一个的束轮廓。如本文所使用的，术语“确定束轮廓”是指识别由光学传感器提供的至少一个反射特征和/或选择由光学传感器提供的至少一个反射特征并评估反射特征的至少一个强度分布。作为示例，矩阵的区域可以被使用和评估用于确定强度分布，诸如三维强度分布或二维强度分布，诸如沿着通过矩阵的轴或线。作为示例，可以确定由光束照射的中心，诸如通过确定具有最高照射的至少一个像素，并且可以选择通过照射中心的横截面轴。强度分布可以是作为沿着通过照射中心的该横截面轴的坐标的函数的强度分布。其他评估算法是可行的。
反射特征之一的束轮廓的分析可包括确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区可以是区A1，以及束轮廓的第二区可以是区A2。评估装置可以被配置为对第一区和第二区积分。评估装置可以被配置为通过以下各项中的一项或多项导出组合信号，特别是商Q：对积分的第一区和积分的第二区进行除法运算；对积分的第一区和积分的第二区的倍数进行除法运算；对积分的第一区和积分的第二区的线性组合进行除法运算。评估装置可以被配置为确定束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段，其中区的重叠可以是可能的，只要区不全等。例如，评估装置可以被配置为确定多个区，诸如两个、三个、四个、五个或多达十个区。评估装置可以被配置为将光斑分割成束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段。评估装置可以被配置为针对区中的至少两个区确定束轮廓在相应区上的积分。评估装置可以被配置为比较所确定的积分中的至少两个积分。具体地，评估装置可以被配置为确定束轮廓的至少一个第一区和至少一个第二区。如本文所使用的，术语“束轮廓的区”通常是指光学传感器的位置处的用于确定商Q的束轮廓的任意区。束轮廓的第一区和束轮廓的第二区可以是相邻区域或重叠区域中的一种或两种。束轮廓的第一区和束轮廓的第二区在面积上可以不是全等的。例如，评估装置可以被配置为将CMOS传感器的传感器区域划分为至少两个子区域，其中，评估装置可以被配置为将CMOS传感器的传感器区域划分为至少一个左部分和/或至少一个右部分和/或至少一个上部分和至少一个下部分和/或至少一个内部分和至少一个外部分。附加地或者替代地，显示装置可包括至少两个光学传感器，其中，第一光学传感器和第二光学传感器的光敏区可以被布置为使得第一光学传感器适于确定反射特征的束轮廓的第一区，并且第二光学传感器适于确定反射特征的束轮廓的第二区。评估装置可以适于集成第一区和第二区。评估装置可以被配置为使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一种或多种。评估装置可以包括用于存储预定关系的至少一个数据存储装置，诸如查找列表或查找表。
束轮廓的第一区可以包括束轮廓的基本上边缘信息，以及束轮廓的第二区包括束轮廓的基本上中心信息，和/或束轮廓的第一区可以包括基本上关于束轮廓的左部分的信息，以及束轮廓的第二区包括基本上关于束轮廓的右部分的信息。束轮廓可以具有中心，即束轮廓的最大值和/或束轮廓的平顶的中心点和/或光斑的几何中心，以及从中心延伸的下降边缘。第二区域可以包括横截面的内部区域，并且第一区域可以包括横截面的外部区域。如本文所使用的，术语“基本上中心信息”通常是指与中心信息的比例(即，与中心对应的强度分布的比例)相比，边缘信息的比例(即，与边缘对应的强度分布的比例)较低。优选地，中心信息具有小于10％、更优选地小于5％的边缘信息的比例，最优选地中心信息不包括边缘内容。如本文所使用的，术语“基本上边缘信息”通常是指与边缘信息的比例相比，中心信息的比例较低。边缘信息可以包括整个束轮廓的信息，特别地，来自中心区域和边缘区域的信息。边缘信息中的中心信息的比例小于10％，优选地小于5％，更优选地，边缘信息不包括任何中心内容。如果束轮廓的至少一个区靠近或围绕中心并且包括基本上中心信息，则可以确定和/或选择该束轮廓的至少一个区作为束轮廓的第二区。如果束轮廓的至少一个区包括横截面的下降边缘的至少一些部分，则可以确定和/或选择该束轮廓的至少一个区作为束轮廓的第一区。例如，可以将横截面的整个区确定为第一区。
第一区A1和第二区A2的其他选择也是可行的。例如，第一区可以包括束轮廓的基本上外部区域，第二区可以包括束轮廓的基本上内部区域。例如，在二维束轮廓的情况下，束轮廓可以被分为左部分和右部分，其中第一区可以包括束轮廓的基本上左部分的区，第二区可以包括束轮廓的基本上右部分的区。
边缘信息可以包括与束轮廓的第一区中的光子数量有关的信息，而中心信息可以包括与束轮廓的第二区中的光子数量有关的信息。评估装置可以被配置为确定束轮廓的面积积分。评估装置可以被配置为通过对第一区进行积分和/或求和来确定述边缘信息。评估装置可以被配置为通过对第二区进行积分和/或求和来确定中心信息。例如，束轮廓可以是梯形束轮廓，并且评估装置可以被配置为确定梯形的积分。此外，当假设梯形束轮廓时，可通过使用梯形束轮廓的特性的等效评估(诸如确定边缘的斜率和位置以及中心平顶的高度)并通过几何考虑导出边缘信号和中心信号来代替边缘信号和中心信号的确定。
在一个实施例中，A1可以对应于光学传感器上的特征点的全部或完整区。A2可以是光学传感器上的特征点的中心区。中心区可以是恒定值。与特征点的全部区相比较，中心区可以更小。例如，在圆形特征点的情况下，中心区可以具有特征点的全半径的从0.1至0.9的半径，优选地全半径的从0.4至0.6的半径。
在一个实施例中，照射图案可包括至少一个线图案。A1可以对应于具有光学传感器上(特别是光学传感器的光敏区上)的线图案的全线宽度的区。与照射图案的线图案相比较，光学传感器上的线图案可以加宽和/或位移，以使得光学传感器上的线宽度增加。特别地，在光学传感器的矩阵的情况下，光学传感器上的线图案的线宽度可以从一列到另一列改变。A2可以是光学传感器上的线图案的中心区。中心区的线宽度可以是恒定值，并且可以特别地对应于照射图案中的线宽度。与全线宽度相比较，中心区可以具有更小的线宽度。例如，中心区域可以具有全线宽度的从0.1至0.9的线宽度，优选地全线宽度的从0.4至0.6的线宽度。线图案可以在光学传感器上分段。光学传感器的矩阵的每一列可以包括线图案的中心区中的强度的中心信息和来自从所线图案的中心区进一步向外延伸到边缘区域的区域的强度的边缘信息。
在一个实施例中，照射图案可以包括至少点图案。A1可以对应于具有光学传感器上的点图案的点的全半径的区。A2可以是光学传感器上的点图案中的点的中心区。中心区可以是恒定值。中心区可以具有与全半径相比较的半径。例如，中心区可以具有全半径的从0.1至0.9的半径，优选地全半径的从0.4至0.6的半径。
照射图案可以包括至少一个点图案和至少一个线图案。除了线图案和点图案之外或者替代线图案和点图案的其他实施例是可行的。
评估装置可以被配置为通过以下各项中的一项或多项导出商Q：对第一区和第二区进行除法运算；对第一区和第二区的倍数进行除法运算；对第一区和第二区的线性组合进行除法运算。评估装置可以被配置为通过以下式子导出商Q：
Figure BDA0004224743340000291
其中，x和y是横向坐标，A1和A2分别是束轮廓的第一和第二区，以及E(x,y)表示束轮廓。
附加地或者替代地，评估装置可以适于从光斑的至少一个切片或切口确定中心信息或边缘信息中的一者或两者。这可以例如通过沿着切片或切口的线积分替换商Q中的面积积分来实现。为了提高准确性，可以使用光斑的若干切片或切口并对其取平均值。在椭圆形光斑轮廓的情况下，对若干切片或切口进行平均会改善距离信息。
例如，在光学传感器具有像素矩阵的情况下，评估装置可以被配置为通过以下步骤评估束轮廓：
-确定具有最高传感器信号的像素并且形成至少一个中心信号；
-评估矩阵的传感器信号并且形成至少一个和信号；
-通过将中心信号和和信号组合来确定商Q；以及
-通过评估商Q确定对象的至少一个纵向坐标z。
如本文所使用的，“传感器信号”通常是指由光学传感器和/或光学传感器的至少一个像素响应于照射而产生的信号。具体地，传感器信号可以是或可以包括至少一个电信号，诸如至少一个模拟电信号和/或至少一个数字电信号。更具体地，传感器信号可以是或可以包括至少一个电压信号和/或至少一个电流信号。更具体地，传感器信号可以包括至少一个光电流。进一步地，可以使用原始传感器信号，或者显示装置、光学传感器或任何其他元件可以适于处理或预处理传感器信号，从而产生也可以用作传感器信号的次级传感器信号，诸如通过滤波等预处理。术语“中心信号”通常指包括束轮廓的基本上中心信息的至少一个传感器信号。如本文所使用的，术语“最高传感器信号”是指局部最大值或感兴趣区域中的最大值中的一者或两者。例如，中心信号可以是具有由整个矩阵或矩阵内的感兴趣区域的像素产生的多个传感器信号中的最高传感器信号的像素的信号，其中，感兴趣区域可以在由矩阵的像素产生的图像内预定或可确定的。中心信号可以源自单个像素或者一组光学传感器，其中，在后者的情况下，作为示例，该组像素的传感器信号可以相加、积分或平均以便确定中心信号。中心信号所源自的像素组可以是一组相邻像素，诸如具有小于距具有最高传感器信号的实际像素预定距离的像素，或者可以是产生在距最高传感器信号预定范围内的传感器信号的一组像素。中心信号所源自的像素组可以选择尽可能大以便允许最大动态范围。评估装置可以适于通过多个传感器信号的积分来确定中心信号，例如，具有最高传感器信号的像素周围的多个像素。例如，束轮廓可以是梯形束轮廓，并且评估装置可以适于确定梯形(特别是梯形的平顶)的积分。
如上文所概述的，中心信号通常可以是单个传感器信号，诸如来自光斑的中心的像素的传感器信号，或者可以是多个传感器信号的组合，诸如源自光斑的中心的像素的传感器信号的组合，或者通过处理由前述可能性中的一个或多个导出的传感器信号二导出的次级传感器信号。中心信号的确定可通过电子的方式执行，因为传感器信号的比较可通过常规电子器件相当简单地实现，或者可完全或部分地通过软件执行。具体地，中心信号可以选自包括以下各项的组：最高传感器信号；在距最高传感器信号的预定容差范围内的一组传感器信号的平均；来自包含具有最高传感器信号的像素和预定相邻像素组的一组像素的传感器信号的平均；来自包含具有最高传感器信号的像素和预定相邻像素组的一组像素的传感器信号的和；距最高传感器信号的预定容差范围内的一组传感器信号的和；大于预定阈值的一组传感器信号的平均；大于预定阈值的一组传感器信号的和；来自包含具有最高传感器信号的光学传感器和预定相邻像素组的一组光学传感器的传感器信号的积分；在距最高传感器信号的预定容差范围内的一组传感器信号的积分；大于预定阈值的一组传感器信号的积分。
类似地，术语“和信号”通常是指包括束轮廓的基本上边缘信息的信号。例如，和信号可以通过将整个矩阵或矩阵内的感兴趣区域的传感器信号相加、对传感器信号进行积分或对传感器信号进行平均导出，其中，感兴趣区域可以在由矩阵的光学传感器产生的图像内预定或可确定的。在对传感器信号进行相加、积分或平均时，产生传感器信号的实际光学传感器可以被排除在相加、积分或平均之外，或者替代地可以包括在加法、积分或平均中。评估装置可以适于通过对整个矩阵或矩阵内感兴趣区域的信号进行积分来确定和信号。例如，束轮廓可以是梯形束轮廓，并且评估装置可以适于确定整个梯形的积分。此外，当假设梯形束轮廓时，可通过使用梯形束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度)并通过几何考虑导出边缘信号和中心信号来代替边缘信号和中心信号的确定。
类似地，中心信号和边缘信号也可通过使用束轮廓的片段(诸如束轮廓的圆形片段)来确定。例如，可以通过不穿过束轮廓中心的割线或弦将束轮廓分成两个片段。因此，一个片段基本上包含边缘信息，而另一片段基本上包含中心信息。例如，为了进一步减少中心信号中的边缘信息量，可以进一步从中心信号中减去边缘信号。
商Q可以是通过组合中心信号和和信号而产生的信号。具体地，该确定可以包括以下各项中的一项或多项：形成中心信号与和信号的商，或反之；形成中心信号的倍数与和信号的倍数的商，或反之；形成中心信号的线性组合与和信号的线性组合的商，或反之。附加地或者替代地，商Q可包括任意信号或信号组合，该任意信号或信号组合包含关于中心信号与和信号之间的比较的至少一项信息。
如本文所使用的，术语“对象的纵向坐标”是指光学传感器与对象之间的距离。评估装置可被配置为使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置可以包括用于存储预定关系的至少一个数据存储装置，例如查找列表或查找表。
评估装置可以被配置为执行至少一个光子比率测距算法，该算法计算所有零级和更高级的反射特征的距离。
第一图像的评估可以包括关于亮度对所识别的反射特征进行分类。如本文所使用的，术语“分类”可以指关于亮度分配反射特征的序列以用于进一步评估，特别是从具有最大亮度的反射特征开始并且随后具有降低的亮度的反射特征。具有降低亮度的分类可以是指根据降低亮度的分类和/或关于降低亮度的分类。如本文所使用的，术语“亮度”可以指第一图像中的反射特征的幅度和/或第一图像中的反射特征的强度。亮度可以是指限定的通带，诸如在可见光或红外光谱范围内，或者可以是波长无关的。如果最亮的反射特征优选用于DPR计算，则可以增加纵向坐标zDPR的确定的鲁棒性。这主要是因为具有衍射光栅的零级的反射特征总是比具有更高级的虚假特征更亮。
评估装置可以被配置为通过使用纵向坐标zDPR将反射特征与对应的照射特征明确地匹配。用光子比率测距技术确定的纵向坐标可用于解决所谓的对应问题。以那种方式，每个反射特征的距离信息可用于找到已知激光投射器网格的对应关系。如本文所使用的，术语“匹配”是指识别和/或确定和/或评估对应的照射特征和反射特征。如本文所使用的，术语“对应的照射特征和反射特征”可以指照射图案的照射特征中的每一个在场景处产生反射特征的事实，其中，产生的反射特征被分配给已经产生所述反射特征的照射特征。
如本文所使用的，术语“明确地匹配”可以指仅一个反射特征被分配给一个照射特征和/或没有其他反射特征可以被分配给相同的已匹配的照射特征。
对应于反射特征的照射特征可以使用核线几何确定。针对核线几何的描述，例如，参考X.Jiang,H.Bunke的,,Dreidimensionales Computersehen“,Springer,BerlinHeidelberg,1997年中的第2章。核线几何可以假设照射图像，即非失真照射图案的图像，并且第一图像可以是在具有固定距离的不同空间位置和/或空间取向处确定的图像。距离可以是相对距离，也表示为基线。照射图像也可以表示为参考图像。评估装置可以适于确定参考图像中的核线。参考图像和第一图像的相对位置可以是已知的。例如，参考图像和第一图像的相对位置可以存储在评估装置的至少一个存储单元内。评估装置可以适于确定从第一图像的所选择的反射特征延伸到其起源的真实世界特征的直线。因此，该直线可包括对应于所选择的反射特征的可能对象特征。直线和基线跨越核平面。由于参考图像在与第一图像不同的相对星座处确定，因此对应的可能对象特征可以在参考图像中的直线(被称为核线)上成像。核线可以是核平面和参考图像的交点。因此，对应于第一图像的所选择的特征的参考图像的特征位于核线上。
取决于到已经反射照射特征的场景的对象的距离，对应于照射特征的反射特征可以在第一图像内位移。参考图像可包括至少一个位移区域，对应于所选择的反射特征的照射特征将在该位移区域中成像。位移区域可以仅包括一个照射特征。位移区域也可以包括一个以上照射特征。位移区域可包括核线或核线的一部分。位移区域可包括一条以上核线或一条以上核线的多个部分。位移区域可以沿着核线、正交于核线、或两者延伸。评估装置可以适于确定沿着核线的照射特征。评估装置可以适于确定用于反射特征的纵向坐标z和距组合信号Q的误差区间±ε，以确定沿着对应于z±ε的核线或正交于核线的位移区域。使用组合信号Q的距离测量的测量不确定性可能导致第二图像中的非圆形的位移区域，因为测量不确定性可能针对不同方向是不同的。具体地，沿着一条或多条核线的测量不确定性可以大于关于一条或多条核线的正交方向上的测量不确定性。位移区域可以包括在关于一条或多条核线的正交方向上的延伸。评估装置可以适于将所选择的反射特征与位移区域内的至少一个照射特征匹配。评估装置可以适于通过使用考虑所确定的纵向坐标zDPR的至少一个评估算法将第一图像的所选择的特征与位移区域内的照射特征匹配。评估算法可以是线性缩放算法。评估装置可以适于确定最接近于位移区域和/或位移区域内的核线。评估装置可以适于确定最接近于反射特征的图像位置的核线。位移区域的沿着核线的延伸可以大于位移区域的正交于核线的延伸。评估装置可以适于在确定对应的照射特征之前确定核线。评估装置可以确定每个反射特征的图像位置周围的位移区域。评估装置可以适于对反射特征的每个图像位置的每个位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线。评估装置可以适于通过确定最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征来确定对应于反射特征的照射特征。
附加地或者替代地，评估装置可以被配置为执行以下步骤：
-确定针对每个反射特征的图像位置的位移区域；
-对每个反射特征的位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线；
-对每个反射特征分配和/或确定至少一个照射特征，诸如通过分配最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征。
附加地或者替代地，评估装置可以被配置为在一条以上的核线和/或照射特征之间进行决定以分配给反射特征，诸如通过比较照射图像内的核线和/或反射特征的距离和/或通过比较照射图像内的核线和/或照射特征的误差加权距离，诸如ε加权距离，并且将较短距离和/或ε加权距离内的核线和/或照射特征分配给照射特征和/或反射特征。
如上文所概述的，由于衍射光栅，产生了多个反射特征，例如，对于每个照射特征，产生一个真实特征和多个虚假特征。通过从最亮的反射特征开始降低反射特征的亮度来执行匹配。没有其他反射特征可以分配给相同的已匹配照射特征。由于显示伪影，产生的虚假特征通常比真实特征更暗。通过按亮度对反射特征进行分类，较亮的反射特征优选用于对应关系匹配。如果已经使用了照射特征的对应关系，则不能将虚假特征分配给已使用的(即已匹配的)照射特征。
评估装置可以被配置为将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征。如本文所使用的，术语“分类”可以是指将反射特征分配到至少一个类别。如本文所使用的，术语“真实特征”可以是指衍射光栅的零级反射特征。如本文所使用的，术语“虚假特征”可以是指衍射光栅的更高级反射特征，即具有阶数≥1。衍射光栅的零级总是比具有更高级的虚假特征更亮。
评估装置可以被配置为拒绝虚假特征并且用于通过使用纵向坐标zDPR来针对真实特征产生深度图。如本文所使用的，术语“深度”可以是指对象与光学传感器之间的距离并且可以由纵向坐标给出。如本文所使用的，术语“深度图”可以是指深度的空间分布。显示装置可用于从例如面部的场景产生3D图。
结构光方法通常使用具有精细点网格(例如数千个点)的投射器和相机。众所周知的投射器图案用于找到场景上的点斑块(patch)的对应关系。如果解决了点的对应关系，则通过三角测量获得距离信息。如果相机在显示器后面，那么衍射在空间上扭曲图像。因此，在失真图像上找到点图案是具挑战性的任务。与结构光方法相比较，本发明提出使用光子比率测距技术来评估不受显示器的衍射光栅直接影响的束轮廓。失真不触及束轮廓。
深度图可以通过使用进一步的深度测量技术来进一步细化，诸如三角测量和/或离焦测距和/或结构光。评估装置可以被配置为使用三角测量和/或离焦测距和/或结构光技术确定用于反射特征中的每一个的至少一个第二纵向坐标ztriang。
评估装置可以适于确定照射特征和的反射特征的位移。评估装置可以适于确定匹配的照射特征和选择的反射特征的位移。评估装置，例如评估装置的至少一个数据处理装置，可以被配置为确定照射特征和反射特征的位移，特别是通过比较照射图像和第一图像的相应图像位置。如本文所使用的，术语“位移”是指照射图像中的图像位置与第一图像中的图像位置之间的差异。评估装置可以适于使用第二纵向坐标与位移之间的预定关系确定匹配的特征的第二纵向坐标。评估装置可以适于通过使用三角测量方法确定预定关系。在第一图像中的所选择的反射特征的位置和匹配的照射特征的位置和/或所选择的反射特征和匹配的照射特征的相对位移已知的情况下，对应的对象特征的纵向坐标可以通过三角测量确定。因此，评估装置可以适于例如随后和/或逐列选择反射特征并且使用三角测量针对照射特征的每个潜在位置确定对应距离值。位移和对应距离值可以存储在评估装置的至少一个存储装置中。作为示例，评估装置可包括至少一个数据处理装置，诸如至少一个处理器、至少一个DSP、至少一个FPGA和/或至少一个ASIC。进一步地，为了存储第二纵向坐标z与位移之间的至少一个预定或可确定的关系，可以提供至少一个数据存储装置，诸如用于提供用于存储预定关系的一个或多个查找表。评估装置可以适于存储用于相机和/或显示装置的内在和/或外在校准的参数。评估装置可以适于产生用于相机和/或显示装置的内在和/或外在校准的参数，诸如通过执行Tsai相机校准。评估装置可以适于计算和/或估计参数，诸如传送装置的焦距、径向透镜失真系数、径向透镜失真的中心的坐标、解释归因于用于扫描和数字化的硬件时序中的缺陷的任何不确定性的比例因子、世界坐标与相机坐标之间的变换的旋转角、世界坐标与相机坐标之间的变换的平移分量、孔径角、图像传感器格式、主点、偏斜系数、相机中心、相机航向、基线、相机和/或照射源之间的旋转或平移参数、孔径、焦距等。
评估装置可以被配置为确定第二纵向坐标ztriang和纵向坐标zDPR的组合纵向坐标。组合纵向坐标可以是第二纵向坐标ztriang和纵向坐标zDPR的平均值。组合纵向坐标可用于生成深度图。
显示装置可以包括进一步的照射源。进一步的照射源可以包括至少一个发光二极管(LED)。进一步的照射源可以被配置为产生可见光谱范围内的光。光学传感器可以被配置为确定包括场景的至少一个二维图像的至少一个第二图像。进一步的照射源可以被配置为提供用于第二图像的成像的附加照射。例如，显示装置的设置可以通过附加泛光照射LED来扩展。进一步的照射源可以用LED并且特别是在没有照射图案的情况下来照射场景，诸如面部，并且光学传感器可以被配置为捕获二维图像。2D图像可用于面部检测和验证算法。如果显示器的脉冲响应已知，则可以修复由光学传感器捕获的失真图像。评估装置可以被配置为通过用光栅函数g对第二图像I进行去卷积来确定至少一个校正图像I0，其中，I＝I0*g。光栅函数也表示为脉冲响应。未失真的图像可以通过反卷积方法来恢复，例如Van-Cittert或Wiener反卷积。显示装置可以被配置为确定光栅函数g。例如，显示装置可以被配置为用包括小的单个亮点的照射图案来照射黑色场景。捕获的图像可以是光栅函数。该过程可以仅执行一次，诸如在校准期间。为了确定甚至用于通过显示器成像的校正图像，显示装置可以被配置为捕获图像并且通过捕获的脉冲响应g使用去卷积方法。产生的图像可以是具有较少显示伪影的重建图像，并且可以用于多种应用，例如面部识别。
评估装置可以被配置为通过评估反射特征中的至少一个的束轮廓，优选地多个反射特征的束轮廓来确定对象的至少一个材料特性m。关于通过评估束轮廓来确定至少一个材料特性的细节，参考WO 2020/187719，其内容通过引用包括在内。
如本文所使用的，术语“材料特性”是指材料的被配置为对材料进行表征和/或识别和/或分类的至少一个任意特性。例如，材料特性可以是选自以下各项的特性：粗糙度、光对材料的穿透深度、将材料表征为生物或非生物材料的特性、反射率、镜面反射率、漫反射率、表面特性、半透明度量、散射，具体是反向散射行为等。至少一个材料特性可以是选择以下各项的特性：散射系数、半透明性、透明度、与朗伯表面反射的偏差、散斑等。如本文所使用的，术语“识别至少一个材料特性”是指以下中的一种或多种：确定材料特性和将材料特性分配给对象。评估装置可包括至少一个数据库，该至少一个数据库包括预定义和/或预定材料特性的列表和/或表，诸如查找列表或查找表。材料特性的列表和/或表可以通过使用根据本发明的显示装置执行至少一次测试测量来确定和/或产生，例如通过使用具有已知材料特性的样品执行材料测试。材料特性的列表和/或表可在制造商现场和/或由显示装置的用户确定和/或产生。材料特性可以附加地分配给材料分类器，诸如以下中的一者或多者：材料名称，材料组，诸如生物或非生物材料、半透明或非半透明材料、金属或非金属、皮肤或非皮肤、毛皮或非毛皮、地毯或非地毯、反射或非反射、镜面反射或非镜面反射、泡沫或非泡沫、头发或非头发、粗糙度组等。评估装置可以包括至少一个数据库，该至少一个数据库包括列表和/或表，该列表和/或表包括材料特性和相关联的材料名称和/或材料组。
例如，不希望受到该理论的束缚，人类皮肤可能具有反射轮廓，也表示为反向散射轮廓，包括由表面的背向反射产生的部分，表示为表面反射，以及由穿透皮肤的光的漫反射产生的部分，表示为背向反射的漫反射部分。关于人类皮肤的反射轮廓，参考“Lasertechnik in der Medizin:Grundlagen,Systeme,Anwendungen”，“Wirkung vonLaserstrahlung auf Gewebe”，1991年，第10 171页至266页，Jürgen Eichler、TheoSeiler、Springer Verlag、ISBN 0939-0979。皮肤的表面反射可以随着波长向近红外的增加而增加。此外，穿透深度可以随着从可见光到近红外的增加的波长而增加。背向反射的漫反射部分可以随着光的穿透深度而增加。这些特性可用于通过分析背向散射轮廓来区分皮肤与其他材料。
具体地，评估装置可以被配置为将反射特征的束轮廓(也表示为反射束轮廓)与至少一个预定和/或预记录和/或预定义的束轮廓进行比较。预定和/或预记录和/或预定义的束轮廓可以存储在表格或查找表中，并且可以例如凭经验地确定，并且作为示例，可以存储在显示装置的至少一个数据存储装置中。例如，可以在包括显示装置的移动装置的初始启动期间确定预定和/或预记录和/或预定义的束轮廓。例如，预定和/或预记录和/或预定义的束轮廓可存储在移动装置的至少一个数据存储装置中，例如，通过软件，具体地通过从应用商店等下载的应用。在反射束轮廓和预定和/或预记录和/或预定义的束轮廓相同的情况下，反射特征可以被识别为由生物组织产生。比较可以包括将反射束轮廓和预定或预定义的束轮廓重叠，使得它们的强度中心匹配。该比较可以包括确定反射束轮廓与预定和/或预记录和/或预定义的束轮廓之间的偏差，例如点到点距离的平方和。评估装置可以被配置为将确定的偏差与至少一个阈值进行比较，其中在确定的偏差低于和/或等于阈值的情况下，表面被指示为生物组织和/或生物组织的检测被确认。阈值可以存储在表格或查找表中并且可以例如经验地确定，并且作为示例，可以存储在显示装置的至少一个数据存储装置中。
附加地或者替代地，为了识别反射特征是否由生物组织产生，评估装置可以被配置为将至少一个图像过滤器应用到该区的图像。如本文进一步使用的，“图像”是指二维函数f(x，y)，其中，针对图像中的任何x，y位置给出亮度和/或颜色值。可以对应于记录像素对位置进行离散化。可以对应于光学传感器的位深度对亮度和/或颜色进行离散化。如本文所使用的，术语“图像滤波器”是指应用于束轮廓和/或束轮廓的至少一个特定区域的至少一个数学运算。具体地，图像滤波器Ф将图像f或图像中的感兴趣区域映射到实数上，
Figure BDA0004224743340000391
其中，
Figure BDA0004224743340000392
表示特征，特别是材料特征。图像可能受限于噪声并且同样适用于特征。因此，特征可以是随机变量。特征可以是正态分布的。如果特征不是正态分布的，则可以将其转换为正态分布，诸如通过Box-Cox变换。
评估装置可配置为通过将至少一个材料相关图像滤波器Ф2应用于图像来确定至少一个材料特征
Figure BDA0004224743340000393
如本文所使用的，术语“材料相关”图像滤波器是指具有材料相关输出的图像。材料相关图像滤波器的输出在本文中表示“材料特征
Figure BDA0004224743340000394
”或“材料相关特征
Figure BDA0004224743340000395
”。材料特征可以是或可以包括关于已产生反射特征的区的表面的至少一个材料特性的至少一个信息。
材料相关图像滤波器可以是选自以下各项的至少一个滤波器：亮度滤波器；斑点形状滤波器；平方范数梯度；标准偏差；平滑度滤波器，诸如高斯滤波器或中值滤波器；基于灰度出现的对比度滤波器；基于灰度出现的能量滤波器；基于灰度出现的同质性滤波器；基于灰度出现的相异性滤波器；定律(law)能量滤波器；阈值面积滤波器；或其线性组合，或进一步的材料相关图像滤波器Ф2other，该进一步的材料相关图像滤波器Ф2other通过|ρФ2other，Фm|≥0.40与亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律能量过滤器或阈值区域滤波器中的一种或多种、或它们的线性组合相关，其中Фm是亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律能量滤波器、或阈值区域滤波器中的一种或其线性组合。该进一步的材料相关图像滤波器Ф2other可以通过|ρФ2other,Фm|≥0.60，优选地通过|ρФ2other,Фm|≥0.80与材料相关图像滤波器Фm中的一个或多个相关。
材料相关图像滤波器可以是通过假设测试的至少一个任意滤波器φ。如本文所使用的，术语“通过假设测试”是指拒绝虚假设H0并且接受替代假设H1的事实。假设测试可包括通过将图像滤波器应用于预定义数据集来测试图像滤波器的材料相关性。数据集可以包括多个束轮廓图像。如本文所使用的，术语“束轮廓图像”是指NB高斯径向基函数的和，
Figure BDA0004224743340000401
Figure BDA0004224743340000402
其中，NB高斯径向基函数中的每一者由中心(xlk,ylk)、前因子alk和指数因子α＝1/∈定义。指数因子对于所有图像中的所有高斯函数是相同的。中心位置xlk,ylk对于所有图像fk:
Figure BDA0004224743340000403
都相同。数据集中的每个束轮廓图像可对应于材料分类器和距离。材料分类器可以是标签，诸如“材料A”、“材料B”等。可通过使用上述针对fk(x,y)的公式结合以下参数表来产生束轮廓图像：
Figure BDA0004224743340000411
x,y的值是对应于像素的整数，其中
Figure BDA0004224743340000412
图像可以具有32x32的像素尺寸。束轮廓图像的数据集可通过使用上述针对fk的公式结合参数集来产生，以获得fk的连续描述。对于32x32图像中的每个像素的值可以通过在fk(x,y)中插入来自针对x,y的0,…,31的整数值来获得。例如，对于像素(6，9)，可以计算值fk(6，9)。
随后，对于每个图像fk，可以计算对应于滤波器Φ的特征值
Figure BDA0004224743340000413
Figure BDA0004224743340000414
其中，zk是来自预定义数据集的对应于图像fk的距离值。这产生具有对应产生的特征值
Figure BDA0004224743340000415
的数据集。假设测试可以使用滤波器不在材料分类器之间区分的虚假设。虚假设可以由H0：μ1＝μ2＝…＝μJ给出,其中，μm是对应于特征值
Figure BDA0004224743340000416
的每个材料组的期望值。索引m表示材料组。假设测试可以用作滤波器在至少两个材料分类器之间区分的替代假设。替代假设可以由H1：
Figure BDA0004224743340000417
μm≠μm′给出。如本文所使用的，术语“不在材料分类器之间区分”是指材料分类器的期望值相同。如本文所使用的，术语“区分材料分类器”是指材料分类器的至少两个期望值不同。如本文所使用的，“区分至少两个材料分类器”与“适合的材料分类器”同义使用。假设测试可以包括对产生的特征值的至少一次方差分析(ANOVA)。特别是，假设测试可以包括确定每种J材料的特征值的平均值，即，总J平均值，对于m∈[0,1,…,J-1],
Figure BDA0004224743340000421
其中，Nm给出预定义数据集中的每种J材料的特征值的数量。假设测试可包括确定所有N个特征值的平均值
Figure BDA0004224743340000422
假设测试可包括在以下式子内确定平均平方和：
Figure BDA0004224743340000423
假设测试可包括以下内容之间的平均平方和，
Figure BDA0004224743340000424
假设测试可包括执行F测试：
ο
Figure BDA0004224743340000425
其中，d1＝N-J,d2＝J-1,
οF(x)＝1–CDF(x)
οp＝F(mssb/mssw)
在本文中，Ix是正则化不完全贝塔函数，
Figure BDA0004224743340000426
其中欧拉贝塔函数
Figure BDA0004224743340000427
以及
Figure BDA0004224743340000428
是不完全贝塔函数。如果p值p小于或等于预定义显著性水平，则图像滤波器可通过假设测试。如果p≤0.075，优选地p≤0.05，更优选地p≤0.025，且最优选地p≤0.01，则滤波器可通过假设测试。例如，在预定义显著性水平是α＝0.075的情况下，如果p值小于α＝0.075，则图像滤波器可通过假设测试。在这种情况下，可以拒绝虚假设H0，并且可以接受替代假设H1。因此，图像滤波器区分至少两个材料分类器。因此，图像滤波器通过假设测试。
在以下中，假设反射图像包括至少一个反射特征，特别是斑点图像，则描述图像滤波器。斑点图像f可以由函数f:R2→R≥0给出，其中，可能已经减去图像f的背景。然而，其他反射特征可以是可能的。
例如，材料相关图像滤波器可以是亮度滤波器。亮度滤波器可以返回斑点的亮度度量作为材料特征。材料特征可以由下式确定：
Figure BDA0004224743340000431
其中，f是斑点图像。斑点的距离由z表示，其中，z可以例如通过使用离焦测距或光子比率测距技术和/或通过使用三角测量技术来获得。材料的表面法线由n∈R3给出并且可以被获得作为由至少三个测量点跨越的表面的法线。向量dray∈R3是光源的方向向量。由于斑点的位置通过使用离焦测距或光子比率测距技术和/或通过使用三角测量技术已知，其中，光源的位置已知为显示装置的参数，因此dray是斑点与光源位置之间的差向量。
例如，材料相关图像滤波器可以是具有取决于斑点形状的输出的滤波器。该材料相关图像滤波器可能返回与材料的半透明性相关的值作为材料特征。材料的半透明性影响斑点的形状。材料特征可以由下式给出：
Figure BDA0004224743340000432
其中，0<α,β<1是斑点高度h的权重，并且H表示重侧函数，即，H(x)＝1∶x≥0,H(x)＝0∶x<0。斑点高度h可以由下式确定：
Figure BDA0004224743340000433
其中，Br是具有半径r的斑点的内圆。
例如，材料相关图像滤波器可以是平方范数梯度。该材料相关图像滤波器可以返回作为材料特征的与斑点的软和硬转换和/或粗糙度的度量相关的值。材料特征可以由下式定义：
Figure BDA0004224743340000434
例如，材料相关图像滤波器可以是标准偏差。斑点的标准偏差可以由下式确定：
Figure BDA0004224743340000435
其中，μ是由μ＝∫(f(x))dx给出的平均值。
例如，材料相关图像滤波器可以是平滑度滤波器，诸如高斯滤波器或中值滤波器。在平滑度滤波器的一个实施例中，该图像滤波器可参考体积散射展现出与漫散射材料相比更少的散斑对比度的观察结果。该图像滤波器可以将对应于散斑对比度的斑点的平滑度量化为材料特征。材料特征可以由下式确定：
Figure BDA0004224743340000441
其中，
Figure BDA0004224743340000442
是平滑度函数，例如中值滤波器或高斯滤波器。该图像滤波器可以包括除以距离z，如上述公式中所描述的。距离z可以例如使用离焦测距或光子比率测距技术和/或通过使用三角测量技术来确定。这可以允许滤波器对距离敏感。在平滑度滤波器的一个实施例中，平滑度滤波器可以基于提取的散斑噪声图案的标准偏差。散斑噪声图案N可以通过下式以经验方式描述：
f(x)＝f0(x)·(N(X)+1),
其中，f0是去散斑斑点的图像。N(X)是对散斑图案进行建模的噪声项。去散斑图像的计算可能是困难的。因此，去散斑图像可以利用f的平滑版本近似，即
Figure BDA0004224743340000443
其中，
Figure BDA0004224743340000444
是像高斯滤波器或中值滤波器的平滑度算子。因此，斑点图案的近似可以由下式给出：
Figure BDA0004224743340000445
该滤波器的材料特征可以由下式确定：
Figure BDA0004224743340000446
其中，Var表示方差函数。
例如，图像滤波器可以是基于灰度出现的对比度滤波器。该材料滤波器可以基于灰度出现矩阵Mf,ρ(g1g2)＝[pg1,g2]，而pg1,g2是灰度组合的出现率(g1,g2)＝[f(x1,y1),f(x2,y2)]，并且关系ρ定义了(x1,y1)与(x2,y2)之间的距离，其是ρ(x,y)＝(x+a,y+b)，其中a和b选自0、1。
基于灰度出现的对比度滤波器的材料特征可以由下式给出：
Figure BDA0004224743340000447
例如，图像滤波器可以是基于灰度出现的能量滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的能量滤波器的材料特征可以由下式给出：
Figure BDA0004224743340000451
例如，图像滤波器可以是基于灰度出现的同质性滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的同质性滤波器的材料特征可以由下式给出：
Figure BDA0004224743340000452
例如，图像滤波器可以是基于灰度出现的相异性滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的相异性滤波器的材料特征可以由以下式子给出：
Figure BDA0004224743340000453
例如，图像滤波器可以是定律的能量滤波器。该材料滤波器可以基于定律向量(laws vector)L5＝[1,4,6,4,1]和E5＝[-1,-2,0,-2,-1]以及矩阵L5(E5)T和E5(L5)T。
图像fk与这些矩阵卷积：
Figure BDA0004224743340000454
以及
Figure BDA0004224743340000455
Figure BDA0004224743340000456
Figure BDA0004224743340000457
而定律的能量滤波器的材料特征可以由下式确定：
Figure BDA0004224743340000461
例如，材料相关图像滤波器可以是阈值面积滤波器。该材料特征可能与图像平面中的两个区相关。第一区Ω1可以是函数f大于f的最大值α倍的区。第二区Ω2可以是函数f小于f的最大值α倍但是大于f的最大值阈值ε倍的区。优选地，α可以是0.5，并且ε可以是0.05。由于散斑或噪声，区可以不仅仅对应于围绕斑点中心的内圆和外圆。作为示例，Ω1可包括外圆中的散斑或未连接的区。材料特征可以由下式确定：
Figure BDA0004224743340000462
其中，Ω1＝{x|f(x)>α·max(f(x))}并且Ω2＝{x|ε·max(f(x))<f(x)<α·max(f(x))}。
评估装置可以被配置为使用材料特征
Figure BDA0004224743340000463
与已产生反射特征的表面的材料特性之间的至少一种预定关系来确定已产生反射特征的表面的材料特性。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置可以包括用于存储预定关系的至少一个数据存储装置，诸如查找列表或查找表。
评估装置被配置为在其对应的材料特性满足至少一个预定或预定义标准的情况下，将反射特征识别为通过照射生物组织产生。在材料特性指示“生物组织”的情况下，反射特征可以被识别为由生物组织产生。在材料特性低于或等于至少一个阈值或范围的情况下，反射特征可以被识别为由生物组织产生，其中在确定的偏差低于和/或等于阈值的情况下，反射特征被识别为由生物组织产生和/或生物组织的检测被确认。至少一个阈值和/或范围可以存储在表格或查找表中并且可以例如经验地确定，并且作为示例，可以存储在显示装置的至少一个数据存储装置中。评估装置被配置为以其他方式将反射特征识别为背景。因此，评估装置可以被配置为向每个投射光斑分配深度信息和材料特性，例如皮肤是或否。
在确定纵向坐标z之后，可通过随后评估
Figure BDA0004224743340000464
来确定材料特性，使得可考虑关于纵向坐标z的信息用于评估
Figure BDA0004224743340000471
在另一方面中，本发明公开了一种通过半透明显示器进行测量的方法，其中使用了根据本发明的显示装置。该方法包括以下步骤：
a)通过使用由至少一个照射源产生的至少一个照射光束来照射至少一个场景，其中照射源放置在显示器的前面照射束的传播方向上；
b)通过使用至少一个光学传感器测量由场景响应于照射束的照射而产生的至少一个反射光束，其中光学传感器具有至少一个光敏区，其中，光学传感器放置在显示器的前面照射束的传播方向上；
c)通过使用至少一个控制单元来控制显示器，其中，在照射期间在照射源区和/或在测量期间在光学传感器区，关闭显示器。
该方法步骤可以以给定顺序执行或可以以不同顺序执行。此外，可以存在未列出的一个或多个附加方法步骤。此外，可以重复地执行一个、多于一个或甚至所有方法步骤。针对细节、选项和定义，可以参考如上文所讨论的显示装置。因此，具体地，如上所述，该方法可以包括使用根据本发明(诸如根据在上面给出或在下面更详细地给出的一个或多个实施例)的显示装置。
至少一个控制单元和/或至少一个评估装置可以被配置为执行至少一个计算机程序，诸如被配置为执行或者支持根据本发明的方法的方法步骤中的一个或多个或甚至全部。作为示例，可以实现可以确定对象的位置的一个或多个算法。
在本发明的进一步的方面中，提出了根据本发明的检测器的用途，诸如根据上文给出或下文更详细地给出的实施例中的一个或多个，出于使用的目的，选自包括以下各项的组：交通技术中的位置测量；娱乐应用；安保应用；监督应用；安全应用；人机接口应用；跟踪应用；摄影应用；成像应用或相机应用；用于产生至少一个空间的地图的地图构建应用；用于车辆的归航或跟踪信标检测器；室外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用；汽车应用。
例如，显示装置可以用于汽车应用，诸如用于驾驶员监测、个性化车辆等。
关于本发明的显示装置和装置的进一步的用途，参考WO 2018/091649A1、WO2018/091638 A1和WO 2018/091640 A1，其内容通过引用被包括。
总的来说，在本发明的上下文中，以下实施例被视为优选的：
实施例1一种显示装置，包括
-至少一个照射源，其被配置为在至少一个场景上投射至少一个照射束；
-至少一个光学传感器，其具有至少一个光敏区，其中，所述光学传感器被配置为测量由所述场景响应于所述照射束的照射而产生的至少一个反射光束；
-至少一个半透明的显示器，其被配置为显示信息，其中，所述照射源和所述光学传感器被放置在所述显示器前面所述照射光束的传播方向上、
-至少一个控制单元，其中，所述控制单元被配置为在照射期间关闭照射源区内的所述显示器和/或在测量期间关闭光学传感器区内的所述显示器。
实施例2根据前一实施例所述的显示装置，其中，所述半透明显示器是全尺寸显示器，其具有在所述显示器的全尺寸上延伸的显示材料。
实施例3根据前述实施例中任一项所述的显示装置，其中，当所述控制单元在照射期间关闭所述照射源区内的所述显示器和/或在测量期间关闭所述光学传感器区内的所述显示器时，所述显示器被配置为在所述照射源区内和/或所述光学传感器区内显示黑色区。
实施例4根据前述实施例中任一项所述的显示装置，其中，所述控制单元被配置为关闭所述照射源区内的所述显示器，以使得所述照射源区的所述显示器用作可调节凹口，和/或关闭所述光学传感器区内的所述显示器，以使得所述光学传感器区内的所述显示器用作可调节凹口，其中，所述可调节凹口被配置为在照射和/或测量期间活跃，并且在其他情况下不活跃。
实施例5根据前述实施例中任一项所述的显示装置，其中，所述显示装置被配置为使用所述光学传感器执行面部识别，其中，所述控制单元被配置为在执行面部识别期间发出表明面部识别活跃的指示，其中，所述半透明显示器被配置为在执行面部识别期间显示所述指示。
实施例6根据前述实施例中任一项所述的显示装置，其中，所述光学传感器包括至少一个CMOS传感器。
实施例7根据前述实施例中任一项所述的显示装置，其中，所述照射源包括至少一个红外光源。
实施例8根据前述实施例中任一项所述的显示装置，其中，所述照射源包括至少一个激光投射器，其中，所述激光投射器包括至少一个激光源和至少一个衍射光学元件(DOE)。
实施例9根据前述实施例中任一项所述的显示装置，其中，所述照射源被配置为生成至少一个照射图案，其中，所述照射图案包括周期性点图案。
实施例10根据前述实施例中任一项所述的显示装置，其中，所述照射源包括至少一个泛光照射发光二极管。
实施例11根据前述实施例中任一项所述的显示装置，其中，所述显示器、所述照射源和所述光学传感器是同步的。
实施例12根据前述实施例中任一项所述的显示装置，其中，所述显示器是或包括至少一个有机发光二极管(OLED)显示器，其中，当所述控制单元关闭所述照射源区内的所述显示器时，所述OLED显示器在所述照射源区内不活跃，和/或，当所述控制单元关闭所述光学传感器区内的所述显示器时，所述OLED显示器在所述光学传感器区内不活跃。
实施例13根据前述实施例中任一项所述的显示装置，其中，所述照射源被配置为在所述至少一个场景上投射包括多个照射特征的至少一个照射图案，其中，所述光学传感器被配置为确定至少一个第一图像，所述第一图像包括由所述场景响应于所述照射特征的照射而产生的多个反射特征，其中，所述显示装置进一步包括至少一个评估装置，其中，所述评估装置被配置为评估所述第一图像，其中，所述第一图像的评估包括识别所述第一图像的所述反射特征并关于亮度对所识别的反射特征进行分类，其中，所述反射特征中的每一个包括至少一个束轮廓，其中，所述评估装置被配置为通过分析所述反射特征的束轮廓来针对所述反射特征中的每一个确定至少一个纵向坐标zDPR，其中，所述评估装置被配置为通过使用所述纵向坐标zDPR将反射特征与对应的照射特征明确匹配，其中，所述匹配通过从最亮的反射特征开始以所述反射特征的递减的亮度来执行，其中，所述评估装置被配置为将与照射特征匹配的反射特征分类为真实特征，并且将与照射特征不匹配的反射特征分类为虚假特征，其中，所述评估装置被配置为拒绝所述虚假特征，并且通过使用所述纵向坐标zDPR来针对所述真实特征产生深度图。
实施例14根据前一实施例所述的显示装置，其中，所述评估装置被配置为使用三角测量和/或离焦测距和/或结构光技术针对所述反射特征中的每一个确定至少一个第二纵向坐标ztriang。
实施例15根据前一实施例所述的显示装置，其中，所述评估装置被配置为确定所述第二纵向坐标ztriang和所述纵向坐标zDPR的组合纵向坐标，其中，所述组合纵向坐标是所述第二纵向坐标ztriang和所述纵向坐标zDPR的平均值，其中，所述组合纵向坐标用于生成所述深度图。
实施例16根据前述三个实施例中的任一项所述的显示装置，其中，所述评估装置被配置为通过使用光子比率测距技术来确定针对所述反射特征中的每一个的束轮廓信息。
实施例17根据前述四个实施例中任一项所述的显示装置，其中，所述评估装置被配置为通过评估所述反射特征中的至少一个的束轮廓来确定所述对象的至少一个材料属性m。
实施例18根据前述实施例中的任一项所述的显示装置，其中，所述显示装置包括进一步的照射源，其中，所述进一步的照射源包括至少一个发光二极管(LED)，其中，所述进一步的照射源被配置为产生所述可见光谱范围内的光，其中，所述光学传感器被配置为确定包括所述场景的至少一个二维图像的至少一个第二图像，其中，所述进一步的照射源被配置为提供用于所述第二图像的成像的附加照射，其中，所述评估装置被配置为通过用光栅函数g对所述第二图像I进行去卷积来确定至少一个校正图像I0，其中，I＝I0*g。
实施例19根据前述实施例中任一项所述的显示装置，其中，所述显示装置是选自包括以下各项的组的移动装置：电视装置、手机、智能电话、游戏控制台、平板计算机、个人计算机、膝上型电脑、平板电脑、虚拟现实装置或另一类型的便携式计算机。
实施例20一种用于通过半透明显示器进行测量的方法，其中，使用根据前述实施例中任一项所述的至少一个显示装置，其中，所述方法包括以下步骤：
a)通过使用由至少一个照射源产生的至少一个照射光束来照射至少一个场景，其中，所述照射源放置在所述显示器前面所述照射束的传播方向上；
b)通过使用至少一个光学传感器测量由所述场景响应于照射束的照射而产生的至少一个反射光束，其中，所述光学传感器具有至少一个光敏区，其中，所述光学传感器放置在所述显示器前面所述照射束的传播方向上；
c)通过使用至少一个控制单元来控制所述显示器，其中，所述显示器在照射期间在照射源区和/或在测量期间在光学传感器区被关闭。
实施例21一种根据涉及显示装置的前述实施例中的任一项所述的显示装置的用途，出于使用的目的，选自包括以下各项的组：交通技术中的位置测量；娱乐应用；安保应用；监督应用；安全应用；人机接口应用；跟踪应用；摄影应用；成像应用或相机应用；用于产生至少一个空间的地图的地图构建应用；用于车辆的归航或跟踪信标检测器；室外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用；汽车应用。
附图说明
从以下结合从属权利要求对优选示例性实施例的描述，本发明的其他可选细节和特征将显而易见。在该上下文中，可以以分离的方式或通过与其他特征组合来实现特定特征。本发明不限于示例性实施例。在附图中示意性地示出了示例性实施例。各个附图中相同的参考标号指代相同的元件或具有相同功能的元件，或者在其功能方面彼此对应的元件。
具体地，在图中：
图1示出了根据本发明的显示装置的实施例；
图2A至图2C示出了使显示器、照射源和光学传感器同步的实施例。
具体实施方式
图1以高度示意的方式示出了本发明的显示装置1的实施例。例如，显示装置1可以是选自以下组的移动装置：电视装置、手机、智能电话、游戏控制台、平板计算机、个人计算机、膝上型电脑、平板电脑、虚拟现实装置或另一类型的便携式计算机。
显示装置1包括被配置为显示信息的至少一个半透明显示器2。显示装置1包括至少一个光学传感器4，其具有至少一个光敏区。显示装置1包括至少一个照射源5，其被配置为在至少一个场景上投射至少一个照射束。场景可以是一个任意对象或空间区域。场景可以包括至少一个对象和周围环境。
照射源5被配置为在场景上投射照射束，特别是包括多个照射特征的至少一个照射图案。照射源5可以适于直接或间接地照射场景，其中，照射束被场景的表面反射或散射，从而至少部分地被引向光学传感器。照射源5可以适于照射场景，例如，通过将光束引向场景，该场景反射该光束。
照射源5可以包括至少一个光源。照射源5可以包括多个光源。照射源5可以包括人工照射源，特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源，例如，至少一个发光二极管，特别是有机和/或无机发光二极管。照射源5可以包括至少一个红外光源。照射源5可以被配置为在红外区域中产生至少一个照射光束，特别是至少一个照射图案。使用近红外区域中的光允许光不能由人眼检测到或仅微弱地由人眼检测到，并且仍然可以由硅传感器，特别是标准硅传感器检测到。
照射源5可以包括至少一个激光投射器。激光投射器可以是与折射光学器件相结合的垂直腔表面发射激光(VCSEL)投射器。然而，其他实施例是可行的。激光投射器可以包括至少一个激光源和至少一个衍射光学元件(DOE)。照射源5可以是或可以包括至少一个多束光源。例如，照射源5可包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地，照射源5可以包括至少一个激光器和/或激光源。可以使用各种类型的激光器，诸如半导体激光器、双异质结构激光器、外腔激光器、分离限制异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布式反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器，或垂直腔表面发射激光器。附加地或者替代地，可以使用非激光光源，诸如LED和/或灯泡。照射源5可包括适于产生照射图案的一个或多个衍射光学元件(DOE)。例如，照射源5可以适于产生和/或投射点云，例如，照射源5可包括以下各项中的一项或多项：至少一个数字光处理投射器、至少一个LCoS投射器、至少一个空间光调制器；至少一个衍射光学元件；至少一个发光二极管阵列；至少一个激光光源阵列。由于其通常定义的束轮廓和可操作性的其他特性，使用至少一个激光源作为照射源5是特别优选的。照射源5可以集成到显示装置的壳体中。
照射源5被配置为产生至少一个照射图案。照射图案可包括多个照射特征。照射图案可以选自包括以下各项的组：至少一个点图案；至少一个线图案；至少一个条纹图案；至少一个棋盘图案；包括周期性或非周期性特征的布置的至少一个图案。照射图案可包括规则和/或恒定和/或周期图案，诸如三角形图案、矩形图案、六边形图案、或包括进一步的凸瓦片的图案。照射图案可以展现出选自包括以下各项的组的至少一个照射特征：至少一个点；至少一条线；至少两条线，诸如平行线或交叉线；至少一个点和一条线；周期性或非周期性特征的至少一个布置；至少一个任意成形的特征。照射图案可包括选自包括以下各项的组的至少一个图案：至少一个点图案，特别是伪随机点图案；随机点图案或者准随机图案；至少一个索博尔图案；至少一个准周期图案；包括至少一个预知特征的至少一个图案；至少一个规则图案；至少一个三角形图案；至少一个六边形图案；至少一个矩形图案；包括凸均匀瓦片的至少一个图案；包括至少一条线的至少一个线图案；包括至少两条线(诸如平行或交叉线)的至少一个线图案。例如，照射源5可以适于产生和/或投射点云。照射源5可以包括适于产生点云使得照射图案可以包括多个点图案的至少一个光投射器。照射源5可以包括至少一个掩模，该至少一个掩模适于从由照射源5产生的至少一个光束产生照射图案。
光学传感器4被配置为测量由场景响应于照射束的照射而产生的至少一个反射光束。显示装置1可以包括单个相机，该单个相机包括光学传感器4。显示装置1可以包括多个相机，每个相机包括一个光学传感器4或多个光学传感器4。显示装置1可以包括多个光学传感器4，每个光学传感器4具有光敏区。
显示装置1可以被配置为执行至少一个距离测量，诸如基于飞行时间(ToF)技术和/或基于离焦测距技术和/或基于光子比率测距技术，也称为束轮廓分析。关于光子比率测距(DPR)技术，请参考WO 2018/091649A1、WO 2018/091638 A1和WO 2018/091640 A1，它们的全部内容通过参考而被包含。光学传感器4可以是或可以包括至少一个距离传感器。
光学传感器4具体地可以是或可以包括至少一个光电检测器，优选地无机光电检测器，更优选地无机半导体光电检测器，最优选地硅光电检测器。具体地，光学传感器4可以在红外光谱范围内敏感。矩阵中的所有像素或矩阵中的至少一组光学传感器具体可以是相同的。具体地，可针对不同光谱范围提供矩阵中的相同像素的组，或者所有像素具有相同的光谱灵敏度。此外，像素可以具有相同的尺寸和/或在其电子或光电子特性方面相同。具体地，光学传感器4可以是或可以包括至少一个无机光电二极管，其在红外光谱范围内，优选在700nm至3.0微米范围内敏感。具体地，光学传感器4可以在近红外区域的一部分中敏感，在该部分中，硅光电二极管具体地适用于在700nm至1100nm范围内。可用于光学传感器的红外光学传感器是可商购的红外光学传感器，例如德国D-67056Ludwigshafen am Rhein的TrinamiXTM GmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此，作为示例，光学传感器4可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或者替代地，光学传感器可以包括固有光伏类型的至少一个光学传感器，更优选地选自包括以下各项的组的至少一个半导体光电二极管：Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地，光学传感器4可以包括至少一个光电导传感器，诸如PbS或PbSe传感器、辐射热测量计，优选地选自VO辐射热测量计和非晶Si辐射热测量计的辐射热测量计。
例如，光学传感器4可以是或可以包括选自包括以下各项的组的至少一个元件：光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如，光学传感器4可以是或可以包括选自包括以下各项的组的至少一个元件：CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地，可以使用一个或多个光电二极管，诸如可商购的光电二极管，例如，无机半导体光电二极管。
显示装置1包括被配置为显示信息的至少一个半透明显示器2。照射源5和光学传感器4放置在半透明显示器2的前面照射光束的传播方向上。半透明显示器2可以是或可以包括至少一个屏幕。屏幕可以具有任意的形状，优选是矩形形状。显示器2显示的信息可以是任意信息，诸如至少一个图像、至少一个图表、至少一个直方图、至少一个图形、文本、数字、至少一个符号、操作菜单等。
半透明显示器2可以是全尺寸显示器，其具有在显示器2的整个尺寸上延伸的显示材料。半透明显示器2可以是无凹槽或无切口的。半透明显示器2可以具有完整的有效显示区。半透明显示器2可以被设计为使得整个显示区都是可激活的。半透明显示器2可以具有连续分布的显示材料。半透明显示器2可以被设计成没有任何凹槽或切口。例如，显示装置1可以包括具有显示区(诸如长方形显示区)的正面，半透明显示器2布置在该显示区。该显示区可以完全由半透明显示器覆盖，特别是由显示材料覆盖，具体是没有任何凹槽或切口。这可以允许增加显示尺寸，特别是增加显示装置1的被配置为显示信息的区。例如，显示装置1的整个和/或完整正面尺寸可以由显示材料覆盖，其中，然而，可以具有包围显示器2的框架。
半透明显示器2可以是或可以包括至少一个有机发光二极管(OLED)显示器。该OLED显示器可以被配置为发射可见光。
该显示装置包括至少一个控制单元8。控制单元8被配置为在照射期间关闭照射源5的区内的显示器2和/或在测量期间关闭光学传感器4的区内的显示器2。控制单元8可以被配置为控制显示装置1的至少一个进一步的组件，诸如照射源5和/或光学传感器2和/或显示器2，特别是通过使用至少一个处理器和/或至少一个专用集成电路。因此，作为示例，控制单元8可以包括至少一个数据处理装置，该数据处理装置上存储有包括若干计算机命令的软件代码。控制单元8可以提供用于执行一个或多个指定的操作的一个或多个硬件元件，和/或可以提供一个或多个处理器，在其上运行用于执行一个或多个指定的操作的软件。因此，作为示例，控制单元8可以包括一个或多个可编程装置，诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，它们被配置为执行上述控制。然而，另外或替代地，控制单元8也可以全部或部分地由硬件体现。
控制单元8被配置为在照射期间关闭照射源5的区内的显示器和/或在测量期间关闭光学传感器4的区内的显示器。关闭某个区内的显示器2可以包括调整，特别是防止和/或中断和/或停止对显示器2的该特定区的供电。如上所述，显示器2可以包括至少一个OLED显示器。当控制单元8关闭照射源5的区内的显示器2时，OLED显示器在照射源5的区内可以不活跃。当控制单元8关闭光学传感器4的区内的显示器2时，OLED显示器在光学传感器4的区内可以不活跃。控制单元8可以被配置为在测量活跃时关闭显示器2的区。
照射源5可以包括辐射区，在该辐射区中，照射束，特别是照射图案，被朝向场景辐射。辐射区可以由照射源5的开口角度来定义。照射源5和光学传感器4可以被布置在定义的区内。照射源5和光学传感器4可以被布置在相对于彼此的固定位置。例如，照射源5和光学传感器4可以彼此相邻布置，特别是具有固定的距离。照射源5和光学传感器4可以被布置成使得：半透明显示器2的由辐射区和光敏区覆盖的面积最小。
显示器2可以被配置为在控制单元8在照射期间关闭在照射源4的区内的显示器2和/或在测量期间关闭光学传感器4的区内的显示器时，在照射源5的区内和/或在光学传感器4的区内显示黑色区6。黑色区6可以是不发光的区和/或与显示器2的其他区相比光量减少的区。例如，黑色区6可以是变暗的区。具体地，控制单元8被配置为关闭照射源5的区内的显示器2，以使得照射源5的区内的显示器2用作可调节凹口，和/或关闭光学传感器4的区内的显示器2，以使得光学传感器4的区内的显示器2用作可调节凹口。可调节凹口可以被配置为在照射和/或测量期间是活跃的，而在其他情况下则不活跃。可调节凹口可以用作虚拟凹口，在测量期间，诸如在面部解锁期间，当显示装置1不使用时，虚拟凹口是活跃的，而当不需要光学传感器4，特别是不需要前置传感器时，该虚拟凹口不活跃。对于使用的OLED显示器，这可能意味着显示器2中根本没有活跃性。这可以允许确保任何像素的颜色都不会被红外光改变。此外，显示装置1，特别是控制单元8和/或进一步的处理装置和/或进一步的光学元件，可以被配置为纠正显示器中的颜色，例如，红外激光器的感知到的闪烁。
可调节凹口可以包括刺眼的边缘。然而，在其他实施例中，可调节凹槽可用亮度梯度实现，以避免任何刺眼的边缘。显示装置1可以包括亮度降低元件，这些亮度降低元件被配置为在光学传感器4通常定位的显示器2的边缘引入亮度梯度，以避免任何刺眼的边缘。这可以允许在可调节凹口区内提供降低的亮度。
控制单元8可以被配置为以使显示器2和照射源5不互相干扰的方式使显示器2和照射源5同步，即所谓的切换模式。
控制单元8可以被配置为在光学传感器4和/或照射源5活跃时发出指示。半透明显示器2可以被配置为在光学传感器4和/或照射源5活跃时显示所述指示。例如，显示装置1可以被配置为使用照射源5和光学传感器4执行面部识别。用于面部识别的方法和技术对于技术人员来说通常是已知的。控制单元8可以被配置为在执行面部识别期间发出表明面部识别活跃的指示。半透明显示器2可以被配置为在执行面部识别期间显示所述指示。例如，该指示可以是至少一个警告元素。该指示可以是表明光学传感器4和/或照射源5，特别是面部识别，活跃的图标和/或标识和/或符号和/或动画中的一种或多种。例如，黑色区6可以包括表明安全认证有效的识别标志。这可以使用户认识到他是在安全的环境中，例如，用于支付或签字等。例如，警告元素可以改变颜色和/或外观，以表明面部识别是活跃的。该指示可以进一步允许用户认识到光学传感器，特别是相机，已经打开，以避免被窥视。控制单元8和/或进一步的安全区可被配置为发出至少一个命令，以在黑色区显示至少一个水印。该水印可以是不能被例如来自商店的低安全级别的应用模仿的符号。
然而，照射源5和光学传感器4布置在半透明显示器2后面的由场景反射光的传播方向上，可能导致显示器的衍射光栅在场景上产生多个激光点，也在由光学传感器4捕获的图像上产生多个激光点。因此，图像上的这些多个点可能不包括任何有用的距离信息。显示装置1可以包括至少一个评估装置10，该至少一个评估装置被配置为寻找和评估衍射光栅零阶反射特征，即真实特征，并可以忽略高阶反射特征，即虚假特征。
照射源5可以被配置为在至少一个场景上投射包括多个照射特征的至少一个照射图案。光学传感器4可以被配置为确定至少一个第一图像，该至少一个第一图像包括由场景响应于照射特征的照射而产生的多个反射特征。显示装置1进一步可以包括至少一个评估装置10，该评估装置被配置为评估第一图像，其中，第一图像的评估包括识别第一图像的反射特征，并关于亮度对识别的反射特征进行排序。每个反射特征可以包括至少一个束轮廓。评估装置10可以被配置为通过分析反射特征的束轮廓来确定每个反射特征的至少一个纵向坐标ZDPR。评估设备10可被配置为通过使用纵向坐标ZDPR来将反射特征与相应的照射特征明确地匹配。匹配可以从最亮的反射特征开始，以反射特征的亮度递减的方式进行。评估装置10可被配置为将与照射特征相匹配的反射特征分类为真实特征，并将与照射特征不匹配的反射特征分类为虚假特征。评估设备10可被配置为拒绝虚假特征，并通过使用纵向坐标ZDPR为真实特征生成深度图。
评估装置10可以被配置为执行至少一个图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一个特征检测算法。图像分析和/或图像处理可以包括以下各项中的一项或多项：滤波；至少一个感兴趣区域的选择；形成由传感器信号创建的图像和至少一个偏移之间的差分图像；通过反转由传感器信号创建的图像来反转传感器信号；在由传感器信号在不同时间处创建的图像之间形成差分图像；背景校正；分解成彩色通道；分解成色调；饱和度；和亮度通道；频率分解；奇异值分解；应用水滴检测器；应用角点检测器；应用Hessian滤波器决定子；应用基于曲率原理的区域检测器；应用最大稳定极值区域检测器；应用广义Hough变换；应用脊检测器；应用仿射不变特征检测器；应用仿射自适应兴趣点算子；应用Harris仿射区域检测器；应用Hessian仿射区域检测器；应用尺度不变特征变换；应用尺度空间极值检测器；应用局部特征检测器；应用加速鲁棒特征算法；应用梯度定位和方向直方图算法；应用取向梯度描述符的直方图；应用Deriche边缘检测器；应用差分边缘检测器；应用时空兴趣点检测器；应用Moravec角点检测器；应用Canny边缘检测器；应用拉普拉斯高斯滤波器；应用高斯差分滤波器；应用Sobel算子；应用拉普拉斯算子；应用Scharr算子；应用Prewitt算子；应用Roberts算子；应用Kirsch算子；应用高通滤波器；应用低通滤波器；应用傅里叶变换；应用Radon变换；应用Hough变换；应用小波变换；阈值化；创建二值图像。感兴趣区域可以由用户手动确定或者可以自动确定，诸如通过识别由光学传感器产生的图像内的特征。
例如，照射源5可以被配置为产生和/或投射点云，使得在光学传感器4(例如，CMOS检测器)上产生多个照射区域。此外，干扰可以存在于光学传感器上，诸如归因于斑点和/或外部光和/或多次反射的干扰。评估装置10可以适于确定至少一个感兴趣区域，例如，用于对象的纵向坐标的确定的由光束照射的一个或多个像素。例如，评估装置10可以适于执行滤波方法，例如，斑点分析和/或边缘滤波和/或对象识别方法。
评估装置10可以被配置为执行至少一个图像校正。图像校正可以包括至少一个背景减法。评估装置10可以适于例如通过无需进一步照射的成像从束轮廓中移除来自背景光的影响。
反射特征中的每一个包括至少一个束轮廓。束轮廓可以选自梯形束轮廓、三角形束轮廓、圆锥形束轮廓、以及高斯束轮廓的线性组合。评估装置10被配置为通过分析反射特征的束轮廓来确定用于反射特征中的每一个的束轮廓信息。
评估装置10被配置为通过分析反射特征的束轮廓来确定用于反射特征中的每一个的至少一个纵向坐标zDPR。例如，束轮廓的分析可以包括直方图分析步骤、差异度量的计算、神经网络的应用、机器学习算法的应用中的至少一种。评估装置10可以被配置为对束轮廓进行对称化和/或归一化和/或滤波，特别是从在较大角度下的记录、记录边缘等中移除噪声或不对称。评估装置10可以通过移除高空间频率来对束轮廓进行滤波，诸如通过空间频率分析和/或中值滤波等。可以通过光斑的强度中心和到中心相同距离处的所有强度的平均来执行总结。评估装置10可以被配置为将束轮廓归一化到最大强度，特别是考虑到归因于记录的距离的强度差异。评估装置10可以被配置为例如通过无需照射的成像从束轮廓中移除来自背景光的影响。
评估装置10可以被配置为通过使用光子比率测距技术来确定用于反射特征中的每一个的纵向坐标zDPR。关于光子比率测距(DPR)技术，参考WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640 A1，其全部内容通过引用包括在内。
评估装置10可以被配置为确定反射特征中的每一个的束轮廓。确定束轮廓可以包括识别由光学传感器4提供的至少一个反射特征和/或选择由光学传感器4提供的至少一个反射特征并评估反射特征的至少一个强度分布。作为示例，图像的区域可以被使用和评估用于确定强度分布，诸如三维强度分布或二维强度分布，诸如沿着通过图像的轴或线。作为示例，可以确定由光束照射的中心，诸如通过确定具有最高照射的至少一个像素，并且可以选择通过照射中心的横截面轴。强度分布可以是作为沿着通过照射中心的该横截面轴的坐标的函数的强度分布。其他评估算法是可行的。
反射特征之一的束轮廓的分析可以包括确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区可以是区A1，以及束轮廓的第二区可以是区A2。评估装置10可以被配置为对第一区和第二区积分。评估装置10可以被配置为通过以下各项中的一项或多项导出组合信号，特别是商Q：对积分的第一区和积分的第二区进行除法运算；对积分的第一区和积分的第二区的倍数进行除法运算；对积分的第一区和积分的第二区的线性组合进行除法运算。评估装置10可以被配置为确定束轮廓的至少两个区和/或将束轮廓分割成包括光束轮廓的不同区的至少两个片段，其中区的重叠可以是可能的，只要区不全等。例如，评估装置10可以被配置为确定多个区，诸如两个、三个、四个、五个或多达十个区。评估装置10可以被配置为将光斑分割成束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段。评估装置10可以被配置为针对区中的至少两个区确定束轮廓在相应区上的积分。评估装置10可以被配置为比较所确定的积分中的至少两个积分。具体地，评估装置10可以被配置为确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区和束轮廓的第二区可以是相邻区域或重叠区域中的一种或两种。束轮廓的第一区和束轮廓的第二区可以在面积上不是全等的。例如，评估装置10可以被配置为将CMOS传感器的传感器区域划分为至少两个子区域，其中，评估装置可以被配置为将CMOS传感器的传感器区域划分为至少一个左部分和/或至少一个右部分和/或至少一个上部分和至少一个下部分和/或至少一个内部分和至少一个外部分。
附加地或者替代地，显示装置1可包括至少两个光学传感器4，其中，第一光学传感器和第二光学传感器的光敏区可以被布置为使得第一光学传感器适于确定反射特征的束轮廓的第一区，并且第二光学传感器适于确定反射特征的束轮廓的第二区。评估装置10可适于集成第一区和第二区。T
在一个实施例中，A1可以对应于光学传感器上的特征点的全部或完整区。A2可以是光学传感器上的特征点的中心区。中心区可以是恒定值。与特征点的全部区相比较，中心区可以更小。例如，在圆形特征点的情况下，中心区可以具有特征点的全半径的从0.1至0.9的半径，优选地全半径的从0.4至0.6的半径。
评估装置10可以被配置为通过以下各项中的一项或多项导出商Q：对第一区和第二区进行除法运算；对第一区和第二区的倍数进行除法运算；对第一区和第二区的线性组合进行除法运算。评估装置10可以被配置为通过以下式子导出商Q：
Figure BDA0004224743340000621
其中，x和y是横向坐标，A1和A2分别是束轮廓的第一和第二区，以及E(x,y)表示束轮廓。
评估装置10可被配置为使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置10可以包括用于存储预定关系的至少一个数据存储装置，例如查找列表或查找表。
评估装置10可以被配置为执行至少一个光子比率测距算法，该算法计算具有零级和更高级的所有反射特征的距离。
第一图像的评估包括关于亮度对所识别的反射特征进行分类。分类可包括关于亮度分配反射特征的序列以用于进一步评估，特别是从具有最大亮度的反射特征开始并且随后具有降低的亮度的反射特征。如果最亮的反射特征针对DPR计算是优选的，则可以增加确定纵向坐标zDPR的鲁棒性。这主要是因为具有衍射光栅的零级的反射特征总是比具有更高级的虚假特征更亮。
评估装置10被配置为通过使用纵向坐标zDPR将反射特征与对应的照射特征明确地匹配。用光子比率测距技术确定的纵向坐标可用于解决所谓的对应问题。以那种方式，每个反射特征的距离信息可用于找到已知激光投射器网格的对应关系。
对应于反射特征的照射特征可以使用核线几何确定。针对核线几何的描述，例如，参考X.Jiang,H.Bunke:,,Dreidimensionales Computersehen“,Springer,BerlinHeidelberg,1997年中的第2章。核线几何可以假设照射图像，即非失真照射图案的图像，和第一图像可以是在具有固定距离的不同空间位置和/或空间取向处确定的图像。距离可以是相对距离，也表示为基线。照射图像也可以表示为参考图像。评估装置10可以适于确定参考图像中的核线。参考图像和第一图像的相对位置可以是已知的。例如，参考图像和第一图像的相对位置可以存储在评估装置的至少一个存储单元内。评估装置10可以适于确定从第一图像的所选择的反射特征延伸到其起源的真实世界特征的直线。因此，直线可包括对应于所选择的反射特征的可能对象特征。直线和基线跨越核平面。由于参考图像在与第一图像不同的相对星座处确定，因此对应的可能对象特征可以在参考图像中的直线(被称为核线)上成像。核线可以是核平面和参考图像的交点。因此，对应于第一图像的所选择的特征的参考图像的特征位于核线上。
取决于到已经反射照射特征的场景的对象的距离，对应于照射特征的反射特征可以在第一图像内位移。参考图像可包括至少一个位移区域，对应于所选择的反射特征的照射特征将在该位移区域中成像。位移区域可以仅包括一个照射特征。位移区域也可以包括一个以上照射特征。位移区域可包括核线或核线的一部分。位移区域可包括一条以上核线或一条以上核线的多个部分。位移区域可以沿着核线、正交于核线、或两者延伸。评估装置10可以适于确定沿着核线的照射特征。评估装置10可以适于确定用于反射特征的纵向坐标z和距组合信号Q的误差区间±ε，以确定沿着对应于z±ε的核线或正交于核线的位移区域。使用组合信号Q的距离测量的测量不确定性可能导致第二图像中的非圆形的位移区域，因为测量不确定性可能针对不同方向是不同的。具体地，沿着一条或多条核线的测量不确定性可能大于关于一条或多条核线的正交方向上的测量不确定性。位移区域可以包括在关于一条或多条核线的正交方向上的延伸。评估装置10可以适于将所选择的反射特征与位移区域内的至少一个照射特征匹配。评估装置10可以适于通过使用考虑所确定的纵向坐标zDPR的至少一个评估算法将第一图像的所选择的特征与位移区域内的照射特征匹配。评估算法可以是线性缩放算法。评估装置10可以适于确定最接近于位移区域和/或位移区域内的核线。评估装置可以适于确定最接近于反射特征的图像位置的核线。位移区域的沿着核线的延伸可以大于位移区域的正交于核线的延伸。评估装置10可以适于在确定对应的照射特征之前确定核线。评估装置10可以确定每个反射特征的图像位置周围的位移区域。评估装置10可以适于对反射特征的每个图像位置的每个位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线。评估装置10可以适于通过确定最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征来确定对应于反射特征的照射特征。
附加地或者替代地，评估装置10可以被配置为执行以下步骤：
-确定针对每个反射特征的图像位置的位移区域；
-对每个反射特征的位移区域分配核线，诸如通过分配最接近于位移区域和/或在位移区域内和/或最接近于沿着正交于核线的方向的位移区域的核线；
-对每个反射特征分配和/或确定至少一个照射特征，诸如通过分配最接近于所分配的位移区域和/或在所分配的位移区域内和/或最接近于沿着所分配的核线的所分配的位移区域和/或在沿着所分配的核线的所分配的位移区域内的照射特征。
附加地或者替代地，评估装置10可以被适于在一条以上的核线和/或照射特征之间进行决定以分配给反射特征，诸如通过比较照射图像内的核线和/或反射特征的距离和/或通过比较照射图像内的核线和/或照射特征的误差加权距离，诸如ε加权距离，并且将较短距离和/或ε加权距离内的核线和/或照射特征分配给照射特征和/或反射特征。
如上文所概述的，由于衍射光栅，产生了多个反射特征，例如，对于每个照射特征，产生一个真实特征和多个虚假特征。通过从最亮的反射特征开始降低反射特征的亮度来执行匹配。没有其他反射特征可以分配给相同的已匹配照射特征。由于显示伪影，产生的虚假特征通常比真实特征更暗。通过按亮度对反射特征进行分类，较亮的反射特征优选用于对应关系匹配。如果已经使用了照射特征的对应关系，则不能将虚假特征分配给已使用的(即已匹配的)照射特征。
图2A至2C示出了使显示器2、照射源5和光学传感器4同步的实施例。
如图2A所示，显示装置1可以包括照射源5，该照射源5包括被配置为产生至少一个照射图案的至少一个投射器12，例如激光投射器模块、用于照射场景的附加泛光照射14，以及光学传感器4，例如具有快门的红外相机模块。显示装置1可以被配置为使得这些组件放置在显示器2前面照射光束的传播方向上。
半透明显示器2可以是至少一个OLED显示器。OLED显示器可以具有约25％或更高的透射率。然而，即使是具有更少透射率的OLED显示器的实施例也是可能的。图2C示出了OLED显示器的实施例。用参考数字16表示的是IR相机模块、投射器12和泛光照射14的潜在位置。显示器2可以具有VxH的分辨率，其中，V是垂直延伸，H是高度。OLED显示器可以包括以矩阵布置VxH来布置的多个像素。OLED可以从矩阵的顶部到底部逐行更新和/或刷新其内容。在图2C中，第一行，例如第0行，用参考数字18表示，最后一行V，用参考数字20表示。更新方向用参考数字22表示。控制单元8可以被配置为使显示器2、投射器12、泛光照射14和光学传感器4同步。图2中示出了控制单元8的元件，例如作为SoC26的一部分和/或作为显示器2、光学传感器4和照射源12、14的元件。显示器2，特别是显示驱动器，可以被配置为发出指示更新和/或刷新从最后一行20卷绕到第一行18的至少一个信号。该显示驱动器可以是控制单元的一部分。例如，当更新和/或刷新从最后一行20卷绕到第一行18时，垂直SYNC(VSYNC)信号，也表示为显示器VSYNC 24，可由显示器2发出。
在内容被更新和/或刷新，特别是被重写前不久，通过OLED显示器的光的发射可以被定时。这可以使可见失真最小化。光学传感器4可以与投射器12和泛光照射14同步。在照射期间中，光学传感器4可以是活跃的，即处于捕捉图像和/或检测光的模式。例如，光学传感器4和照射源5的同步可以如图2A所示实现。
如图2A所示，控制单元可以包括片上系统(SoC)26。SoC 26可以包括显示接口28。SoC 26可以包括与至少一个应用32连接的至少一个应用编程接口(API)30。SoC 26可以进一步包括至少一个图像信号处理器(ISP)34。光学传感器4可以与SoC 26连接，特别是经由连接35与ISP 34和/或API 30连接。连接35可以被配置为电源控制、提供时钟信号(CLK)、传输图像信号中的一者或多者。附加地或替代地，连接35可以体现为互连电路(I2C)。附加地或替代地，连接可以体现为图像数据接口，诸如MIP。
应用32可以请求40通过一个或多个照射源12、14的照射。SoC 26，经由API 30，可以经由连接35为光学传感器4供电。光学传感器4可以向SoC 26发射VSYNC信号，也被称为相机VSYNC 36，并向照射源12、14发射选通信号38。SoC 26，经由API 30，可以响应于相机VSYNC 36向照射源12，14发射触发信号41，42，以用于分别激活照射源。在相应的触发信号41、42和选通信号38被相应的照射源12、14接收的情况下，特别是被AND逻辑门接收的情况下，照射源12、14的相应的驱动器43驱动照射。光学传感器4的信号可以被传输到SoC 26，例如通过连接35传输到API 30和ISP 34，并且可以例如与元数据等一起被提供44给应用32，例如用于进一步评估。
如图2A进一步所示，光学传感器4和显示器2可以同步。显示器2可以经由至少一个显示串行接口(DSI)46，特别是MIPI显示串行接口(MIPI
Figure BDA0004224743340000671
)连接到显示接口28。显示接口28可以将至少一个SW信号48传送给光学传感器4。显示器2可以在两种操作模式下运行，即“视频模式”或“命令模式”。在视频模式下，VSYNC信号可以从显示器2发出。在命令模式下，VSYNC信号可由SoC生成和发出，特别是可由软件生成。因此，显示器2的VSNC信号可以由显示器本身和/或由SoC 26发出。
显示装置1可以被配置为将显示器VSYNC 24传递给光学传感器4作为触发信号，以使显示器VSYNC 24与相机帧曝光的结束同步。根据光学传感器4的触发要求，显示器VSYNC24可以在将其传递给光学传感器4之前被适配，特别是被调节，以满足要求。例如，显示器VSYNC 24的频率可以调节为一半的频率。
图2B示出了显示器VSYNC 24、选通信号38、相机VSYNC以及触发信号41和42作为时间的函数的发展，特别是以每秒1帧(FPS)为单位。相机的曝光被示出为在显示器VSYNC 24之前发生，即直接在位置16的透明区所位于的第一行的刷新之前发生。
参考标记列表
1显示装置
2半透明显示器
4光学传感器
5照射源
6黑色区
8控制单元
10评估装置
12投射器
14泛光照射
16位置
18行0
20行V
24显示器VSYNC
26SoC
28显示器接口
30API
32应用
34ISP
35连接
36相机VSYNC
38选通信号
40请求
41触发信号
42触发信号
44提供
46DSI
48SW信号

Claims (19)

1.一种显示装置(1)包括
-至少一个照射源(5)，其被配置为在至少一个场景上投射至少一个照射束；
-至少一个光学传感器(4)，其具有至少一个光敏区，其中，所述光学传感器(4)被配置为测量由所述场景响应于所述照射束的照射而产生的至少一个反射光束；
-至少一个半透明显示器(2)，其被配置为显示信息，其中，所述照射源(5)和所述光学传感器(4)被放置在所述显示器(2)前面所述照射光束的传播方向上，
-至少一个控制单元(8)，其中，所述控制单元(8)被配置为在照射期间关闭照射源(5)区内的所述显示器(2)和/或在测量期间关闭光学传感器(4)区内的所述显示器(2)。
2.根据前一权利要求所述的显示装置(1)，其中，所述半透明显示器(2)是全尺寸显示器，其具有在所述显示器(2)的全尺寸上延伸的显示材料。
3.根据前述权利要求中任一项所述的显示装置(1)，其中，当所述控制单元(8)在照射期间关闭所述照射源(5)区内的所述显示器(2)和/或在测量期间关闭所述光学传感器(4)区内的所述显示器(2)时，所述显示器(2)被配置为在所述照射源(5)区内和/或所述光学传感器(4)区内显示黑色区(6)。
4.根据前述权利要求中任一项所述的显示装置(1)，其中，所述控制单元(8)被配置为关闭所述照射源(5)区内的所述显示器(2)，以使得所述照射源(5)区内的所述显示器(2)用作可调节凹口和/或关闭所述光学传感器(4)区内的所述显示器(2)，以使得所述光学传感器(4)区内的所述显示器(2)用作可调节凹口，其中，所述可调节凹口被配置为在照射和/或测量期间活跃，而在其他情况下不活跃。
5.根据前述权利要求中任一项所述的显示装置(1)，其中，所述显示装置(1)被配置为使用所述光学传感器(4)执行面部识别，其中，所述控制单元(8)被配置为在执行面部识别期间发出表明面部识别活跃的指示，其中，所述半透明显示器(2)被配置为在执行面部识别期间显示所述指示。
6.根据前述权利要求中任一项所述的显示装置(1)，其中，所述光学传感器(4)包括至少一个CMOS传感器。
7.根据前述权利要求中任一项所述的显示装置(1)，其中，所述照射源(5)包括至少一个红外光源。
8.根据前述任一项权利要求所述的显示装置(1)，其中，所述照射源(5)包括至少一个激光投射器，所述至少一个激光投射器被配置为产生至少一个照射图案。
9.根据前述权利要求中任一项所述的显示装置(1)，其中，所述照射源(5)包括至少一个泛光照射发光二极管。
10.根据前述权利要求中任一项所述的显示装置(1)，其中，所述显示器(2)、所述照射源(5)和所述光学传感器(4)是同步的。
11.根据前述权利要求中任一项所述的显示装置(1)，其中，所述显示器(2)是或包括至少一个有机发光二极管(OLED)显示器，其中，当所述控制单元(8)关闭所述照射源(5)区内的所述显示器时，所述OLED显示器在所述照射源(5)区内不活跃，和/或，当所述控制单元(8)关闭所述光学传感器(4)区内的所述显示器(2)时，所述OLED显示器在所述光学传感器(4)区内不活跃。
12.根据前述权利要求中任一项所述的显示装置(1)，其中，所述照射源(5)被配置为在所述至少一个场景上投射包括多个照射特征的至少一个照射图案，其中，所述光学传感器被配置为确定至少一个第一图像，所述至少一个图像包括由所述场景响应于所述照射特征的照射而产生的多个反射特征，其中，所述显示装置(1)进一步包括至少一个评估装置(10)，其中，所述评估装置(10)被配置为评估所述第一图像，其中，所述第一图像的评估包括识别所述第一图像的所述反射特征并关于亮度对所识别的反射特征进行分类，其中，所述反射特征中的每一个包括至少一个束轮廓，其中，所述评估装置(10)被配置为通过分析所述反射特征的束轮廓来针对所述反射特征中的每一个确定至少一个纵向坐标ZDPR，其中，所述评估装置(10)被配置为通过使用所述纵向坐标ZDPR将反射特征与对应的照射特征明确匹配，其中，所述匹配通过从最亮的反射特征开始以所述反射特征的递减的亮度来执行，其中，所述评估装置(10)被配置为将与照射特征匹配的反射特征分类为真实特征，并将与照射特征不匹配的反射特征分类为虚假特征，其中，所述评估装置(10)被配置为拒绝所述虚假特征，并通过使用所述纵向坐标ZDPR针对所述真实特征产生深度图。
13.根据前一权利要求所述的显示装置(1)，其中，所述评估装置(10)被配置为使用三角测量和/或离焦测距和/或结构光技术针对所述反射特征中的每一个确定至少一个第二纵向坐标Ztriang。
14.根据前一权利要求所述的显示装置(1)，其中，所述评估装置(10)被配置为确定所述第二纵向坐标Ztriang和所述纵向坐标ZDPR的组合纵向坐标，其中，所述组合纵向坐标是所述第二纵向坐标Ztriang和所述纵向坐标ZDPR的平均值，其中，所述组合纵向坐标被用于生成所述深度图。
15.根据前述三项权利要求中任一项所述的显示装置(1)，其中，所述评估装置(10)被配置为通过使用光子比率测距技术来确定所述反射特征中的每一个的束轮廓信息。
16.根据前述四项权利要求中任一项所述的显示装置(1)，其中，所述评估装置(10)被配置为通过评估所述反射特征中的至少一个的束轮廓来确定所述对象的至少一个材料属性m。
17.根据前述权利要求中任一项所述的显示装置(1)，其中，所述显示装置(1)是选自包括以下各项的组的移动装置：电视装置、手机、智能电话、游戏控制台、平板计算机、个人计算机、膝上型电脑、平板电脑、虚拟现实装置或另一类型的便携式计算机。
18.一种通过半透明显示器(2)进行测量的方法，其中，使用了根据前述权利要求中任一项的至少一个显示装置(1)，其中，所述方法包括以下步骤：
a)通过使用由至少一个照射源(5)产生的至少一个照射光束来照射至少一个场景，其中，所述照射源(5)放置在所述显示器(2)前面所述照射束的传播方向上；
b)通过使用至少一个光学传感器(4)来测量由所述场景响应于所述照射束的照射而产生的至少一个反射光束，其中，所述光学传感器(4)具有至少一个光敏区，其中，所述光学传感器(4)放置在所述显示器(2)前面所述照射束的传播方向上；
c)通过使用至少一个控制单元(8)来控制所述显示器(2)，其中，所述显示器(2)在照射期间在照射源(5)区和/或在测量期间在光学传感器(4)区被关闭。
19.一种根据涉及显示装置的前述权利要求中的任一项所述的显示装置(1)的用途，出于使用的目的，选自包括以下各项的组：交通技术中的位置测量；娱乐应用；安保应用；监督应用；安全应用；人机接口应用；跟踪应用；摄影应用；成像应用或相机应用；用于产生至少一个空间的地图的地图构建应用；用于车辆的归航或跟踪信标检测器；室外应用；移动应用；通信应用；机器视觉应用；机器人应用；质量控制应用；制造应用；汽车应用。
CN202180076357.6A 2020-11-13 2021-11-12 通过显示器的深度测量 Pending CN116438467A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP20207420.9 2020-11-13
EP20207420 2020-11-13
EP20209973 2020-11-26
EP20209973.5 2020-11-26
EP21192560.7 2021-08-23
EP21192560 2021-08-23
PCT/EP2021/081560 WO2022101429A1 (en) 2020-11-13 2021-11-12 Depth measurement through display

Publications (1)

Publication Number Publication Date
CN116438467A true CN116438467A (zh) 2023-07-14

Family

ID=78725479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180076357.6A Pending CN116438467A (zh) 2020-11-13 2021-11-12 通过显示器的深度测量

Country Status (6)

Country Link
US (1) US20230403906A1 (zh)
EP (1) EP4244659A1 (zh)
JP (1) JP2023552974A (zh)
KR (1) KR20230107574A (zh)
CN (1) CN116438467A (zh)
WO (1) WO2022101429A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
WO2024162760A1 (ko) * 2023-02-03 2024-08-08 엘지이노텍 주식회사 광출력장치 및 이를 포함하는 카메라 장치 및 센서 모듈
WO2024170598A1 (en) 2023-02-15 2024-08-22 Trinamix Gmbh Behind oled authentication
WO2024170597A1 (en) * 2023-02-15 2024-08-22 Trinamix Gmbh Behind oled authentication

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781533B1 (ko) 2010-12-23 2017-09-27 삼성디스플레이 주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
EP3085082B1 (en) 2013-12-17 2020-04-29 Marsupial Holdings Inc. Integrated microoptic imager, processor, and display
US9870024B2 (en) 2015-10-30 2018-01-16 Essential Products, Inc. Camera integrated into a display
EP3571522B1 (en) 2016-11-17 2023-05-10 trinamiX GmbH Detector for optically detecting at least one object
US10664676B2 (en) * 2017-06-12 2020-05-26 Will Semiconductor (Shanghai) Co. Ltd. Systems and methods for reducing unwanted reflections in display systems incorporating an under display biometric sensor
DE202018003644U1 (de) 2018-08-07 2018-08-17 Apple Inc. Elektronische Vorrichtung mit einer von einer selbstausrichtenden Klammeranordnung gehaltenen Sichtsystemanordnung
US10916023B2 (en) * 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US11067884B2 (en) * 2018-12-26 2021-07-20 Apple Inc. Through-display optical transmission, reception, or sensing through micro-optic elements
US11947013B2 (en) 2019-03-15 2024-04-02 Trinamix Gmbh Detector for identifying at least one material property

Also Published As

Publication number Publication date
WO2022101429A1 (en) 2022-05-19
KR20230107574A (ko) 2023-07-17
EP4244659A1 (en) 2023-09-20
US20230403906A1 (en) 2023-12-14
JP2023552974A (ja) 2023-12-20

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20230403906A1 (en) Depth measurement through display
JP2023512280A (ja) 物体認識のための検出器
US20230081742A1 (en) Gesture recognition
US11920918B2 (en) One shot calibration
US11906421B2 (en) Enhanced material detection by stereo beam profile analysis
US20240027188A1 (en) 8bit conversion
KR20240093513A (ko) 멀티 파장 프로젝터와 관련된 확장된 재료 검출
US20240005703A1 (en) Optical skin detection for face unlock
CN117836806A (zh) 从明暗恢复形状
KR20240141168A (ko) 스테레오 빔 프로파일 분석에 의한 향상된 재료 검출
WO2023041761A1 (en) Emitter array with two or more independently driven areas
WO2023083784A1 (en) Recalibration of a 3d detector based on structured light
CN118215858A (zh) 投影仪的眼睛安全性

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination