CN115191007A - 姿势识别 - Google Patents

姿势识别 Download PDF

Info

Publication number
CN115191007A
CN115191007A CN202180017404.XA CN202180017404A CN115191007A CN 115191007 A CN115191007 A CN 115191007A CN 202180017404 A CN202180017404 A CN 202180017404A CN 115191007 A CN115191007 A CN 115191007A
Authority
CN
China
Prior art keywords
region
beam profile
detector
image
evaluation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180017404.XA
Other languages
English (en)
Inventor
J·昂格尔
P·席伦
P·辛德勒
C·伦纳茨
R·森德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN115191007A publication Critical patent/CN115191007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种用于姿势检测的检测器(110)包括‑至少一个照射源(112),其被配置用于将包括多个照射特征的至少一个照射图案投射到包括至少一个对象(116)的至少一个区(114)上,其中,所述对象(116)至少部分包括至少一只人手;‑具有至少一个光敏区(126)的至少一个光学传感器(118),其中,所述光学传感器(118)被配置用于确定所述区的至少一个图像(128),其中,所述图像(128)包括由所述区(114)响应于通过所述照射特征的照射而产生的多个反射特征(130);‑至少一个评估装置(136),其中,所述评估装置(136)被配置用于通过确定每个反射特征(130)的至少一个深度信息来确定所述区的至少一个深度图,其中,所述评估装置(136)被配置用于通过识别通过照射生物组织产生的所述反射特征(130)来找到对象(116),其中,所述评估装置(136)被配置用于确定每个反射特征(130)的至少一个反射束轮廓,其中,所述评估装置(136)被配置用于在反射特征(130)的反射束轮廓满足至少一个预定或预定义标准的情况下将所述反射特征(130)识别为通过照射生物组织而产生,其中,所述评估装置(136)被配置用于否则将所述反射特征(130)识别为背景,其中,所述评估装置(136)被配置用于通过使用至少一种分割算法来对所述区的所述图像(128)进行分割,其中,将识别为通过照射生物组织而产生的所述反射特征(130)用作种子点,并且将识别为背景的所述反射特征(130)用作背景种子点,以用于分割算法,其中,所述评估装置(136)被配置用于考虑所分割的图像和所述深度图来确定所述对象(116)在空间中的位置和/或取向。

Description

姿势识别
技术领域
本发明涉及一种用于姿势检测的检测器和一种用于姿势检测的方法以及检测器的各种用途。根据本发明的装置、方法和用途具体地可以例如用在日常生活、安全技术、游戏、交通技术、生产技术、诸如针对艺术的数字摄影或视频摄影的摄影、文档编制或技术目的、安全技术、信息技术、农业、作物保护、维护、化妆品、医学技术或科学的各种领域中。然而,其他应用也是可能的。
背景技术
自动驾驶车辆的趋势不仅在推动自动驾驶,而且也在影响车内的辅助功能。驾驶员监控、车内监控和姿势跟踪是下一代汽车的基本概念。第一个系统已经可用,并且依赖于2D图像、3D深度图或两者的组合。
从技术角度来看,检测车内场景中的人的姿态和姿势可能非常具有挑战性。基于2D图像处理的现有方法依赖于颜色特征,例如如A.R.Várkonyi-Kóczy,B.Tusor,的“使用模糊手部姿势和姿势模型的智能环境应用的人机交互”,IEEE Trans,仪器仪表和测量,第60卷,第5期,第1505-1514页,2011年(A.R.Várkonyi-Kóczy,B.Tusor,“Human-ComputerInteraction for Smart Environment Applications Using Fuzzy Hand Posture andGesture Models”,IEEE Trans.Instrumentation and Measurement,vol.60,no.5,pp.1505-1514,2011)或C.C.Hsieh,D.H.Liou的“用于实时姿势识别的新型Haar特征”,J.实时图像处理,第10卷,第357370页,2015年(C.C.Hsieh,D.H.Liou,“Novel Haar featuresfor real-time hand gesture recognition”,J.Real Time Image Processing,vol.10,pp.357370,2015)中描述的;以及形状特征,参见例如E.Ong,R.Bowden的“用于手形检测的增强分类器树”,第六届IEEE自动面部和姿势识别国际会议,2004年,论文集,韩国首尔,2004年,第889-894页(E.Ong,R.Bowden,″A boosted classifier tree for hand shapedetection,″Sixth IEEE International Conference on Automatic Face and GestureRecognition,2004.Proceedings.,Seoul,South Korea,2004,pp.889-894)。然而,由于手部外观、阴影和宽范围的光照条件变化很大,这些方法的鲁棒性相当有限,参见M.Bergh,L.Gool的“用于实时3D姿势交互的组合RGB和ToF相机”,在:计算机视觉应用研讨会(WACV),IEEE,第66-72页,2011年(M.Bergh,L.Gool,“Combining RGB and ToF cameras for real-time 3D hand gesture interaction”,In:Workshop on applications of computervision(WACV),IEEE,pp.66–72,2011)。
例如使用光流的运动分析可以在某些条件下填补这个空白,例如R.Cutler,M.Turk的“用于姿势识别的基于视图的实时光流解释”,Proc中,自动面部和姿势识别IEEE国际会议,第416–421页,1998年(R.Cutler,M.Turk.“View-based Interpretation ofRealtime Optical Flow for Gesture Recognition”,In Proc.IEEE Intl.Conferenceon Automatic Face and Gesture Recognition,pp.416–421,1998),但仍然缺乏静态场景或对比度不足。深度图,例如来自飞行时间相机或立体方法,提供可以显着提高检测精度的补充数据。2D相机与3D传感器的组合提供了更可靠的检测精度,但需要全面的融合概念、仔细的校准并导致显着更高的成本。此外,分离位于相似深度的多个对象仍然具有挑战性。
在传统的2D或3D姿势检测设置中,必须在2D图片或3D点云中识别手部。单独进行手部识别是具有挑战性的部分,因为在2D图片中与背景的对比度可能较低,手部颜色可能会取决于皮肤类型和光照条件而发生很大变化,尤其是手部必须被识别为手部,需要为该手部匹配诸如形状、颜色等的模型数据。然而,形状变化很大,因为形状在姿势中传递了部分信息。手指甚至可能因永久性伤害而丢失,或者可能只是被其他对象遮挡。
此外,WO 2018/091640和WO 2019/042956描述了使用单个CMOS传感器结合激光网格投影仪用于2D图片和深度测量来准确检测距离。所有数据都来自单个CMOS传感器,从而允许轻松快速地集成。因此,与单独的图像和深度传感器的组合相比,系统复杂性显着降低。
US 2016/253821 A1描述了一种对象,该对象通过将编码有一个或多个预定义属性以具有预定义的光学结构的光束投射到体积中而在体积内被识别或跟踪。检测器捕获从体积中反射的来自预定义光学结构的光。通过分析从对象反射的来自预定义光学结构的光的一种或多种特性,从体积中分割出对象。
本发明解决的问题
因此,本发明的目的是提供面对已知装置和方法的上述技术挑战的装置和方法。具体地,本发明的目地是提供允许通过显示器以低技术努力以及技术资源和成本方面的低要求进行可靠的姿势检测的装置和方法。
发明内容
该问题由具有独立专利权利要求的特征的本发明来解决。在从属权利要求和/或在以下说明书和详细的实施例中呈现本发明的可单独地或组合地实现的有利发展。
如下文所使用的,术语“具有”、“包括”或“包含”或其任何语法变体以非排他性的方式使用。因此,这些术语可以指本上下文中描述的实体中除了由这些术语引入的特征之外不存在其他特征的情形,也可以指还存在一个或多个其他特征的情形。作为示例,表述“A具有B”、“A包括B”和“A包含B”可以指A中除了B之外不存在其他要素的情形(即,A仅仅且排他地由B组成的情形),也可以指实体A中除了B之外还存在一个或多个其他要素(诸如要素C、要素C和D、或甚至其他要素)的情形。
此外,应注意,术语“至少一个”、“一个或多个”或者指示特征或要素可以存在一次或多于一次的类似表述通常将仅在引入相应的特征或要素时使用一次。在下文中,在多数情况下,当提及相应的特征或要素时,将不会重复表述“至少一个”或“一个或多个”,但是承认相应的特征或要素可以存在一次或多于一次的事实。
此外,如下文所使用的,术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语可以与可选特征结合使用,而不限制可替代的可能性。因此,由这些术语引入的特征是可选的特征,并不旨在以任何方式限制权利要求的范围。如本领域的技术人员将认识到的,本发明可通过使用替代特征来执行。类似地,由“在本发明的实施例中”或类似表述引入的特征旨在为可选的特征,而对本发明的替代实施例没有任何限制,对本发明的范围没有任何限制,并且对组合以此方式引入的特征与本发明的其他可选的或非可选的特征的可能性没有任何限制。
在本发明的第一方面,公开了一种用于姿势检测的装置。如本文所使用的,术语“姿势”可指人体的至少一部分的至少一种状态和/或至少一种动作。姿势可以包括身体姿势,诸如身体的至少一部分的身体姿势,特别是手势。姿势可以是静态的或动态的。姿势可以包括手部的至少一部分的移动,诸如手指的移动,一只或两只手、面部或身体其他部分的移动。如本文所使用的,术语“姿势检测”可以指确定姿势的存在或不存在和/或姿势识别。如本文所使用的,术语“姿势识别”可以指通过数学算法解释人的姿势。如本文所使用的,术语“用于姿势检测的检测器”可以指被配置为检测至少一种姿势的至少一个任意装置。
用于姿势检测的检测器包括
-至少一个照射源,其被配置用于将包括多个照射特征的至少一个照射图案投射到包括至少一个对象的至少一个区(area)上,其中该对象至少部分包括至少一只人手;
-具有至少一个光敏区的至少一个光学传感器,其中该光学传感器被配置用于确定该区的至少一个图像,其中该图像包括由该区响应于通过照射特征的照射而产生的多个反射特征;
-至少一个评估装置,其中评估装置被配置用于通过确定每个反射特征的至少一个深度信息来确定该区的至少一个深度图,
其中,评估装置被配置用于通过识别通过照射生物组织产生的反射特征来找到对象,其中,评估装置被配置用于确定每个反射特征的至少一个反射束轮廓,其中,评估装置被配置用于在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下将反射特征识别为通过照射生物组织而产生,其中,评估装置被配置用于否则将反射特征识别为背景,
其中,评估装置被配置用于通过使用至少一种分割算法对该区的图像进行分割,其中,将识别为通过照射生物组织而产生的反射特征用作种子点,并且将识别为背景的反射特征用作背景种子点,以用于分割算法,
其中,评估装置被配置用于考虑分割图像和深度图来确定对象在空间中的位置和/或取向。
如本文所使用的,术语“照射源”通常可以指被配置用于生成至少一种照射图案的至少一种任意装置。照射源可以被配置用于提供照射图案以用于该区的照射。照射源可以适于直接或间接照射该区,其中照射图案被该区的表面反射或散射,并因此至少部分地指向光学传感器。照射源可以被配置用于照射该区,例如,通过将光束引向该区,该区反射该光束。照射源可被配置用于产生照射该区的照射光束。
如本文所使用的,术语“区”(“area”)可以指至少一个任意对象或空间区域(region)。该区可以包括至少一个对象和周围环境。如本文所使用的,术语“对象”是指发射至少一个光束、特别是至少一个反射图案的点或区域。例如,该对象可以是选自由以下组成的组中的至少一个对象:场景、诸如人的人、木头、地毯、泡沫、诸如牛的动物、植物、组织块、金属、玩具、金属对象、饮料、诸如水果、肉、鱼的食物、盘子、化妆品、应用化妆品、衣物、毛皮、头发、保养品、植物、身体、身体的一部分、有机材料、无机材料、反射材料、屏幕、显示器、墙壁、一张纸,诸如照片。对象可以包括至少一个表面,照射图案投射在该表面上。该表面可以适于至少部分地将照射图案反射回检测器。该对象具体可以是人体或人体的至少一部分,诸如至少一只手臂、至少一只手、至少一根手指或面部。该对象至少部分地包括至少一只人手。如本文所使用的,术语“至少部分地至少一只人手”是指对象是人手的实施例和/或对象是至少一根手指和/或手掌的至少一部分的实施例。
照射源可包括至少一个光源。照射源可包括多个光源。照射源可以包括人工照射源,特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源,例如,至少一个发光二极管,特别是有机和/或无机发光二极管。作为示例,由照射源发射的光可以具有300至1100nm、特别是500至1100nm的波长。附加地或者替代地,可以使用红外光谱范围内的光,诸如在780nm至3.0μm的范围内。具体地,可以使用近红外区域的一部分中的光,在该部分中,硅光电二极管具体地适用于700nm至1100nm的范围内。照射源可以被配置用于在红外区域中产生至少一个照射图案。使用近红外区域中的光允许光不或仅微弱地由人眼检测到,并且仍然可以由硅传感器,特别是标准硅传感器检测到。
如本文所使用的,术语“光线”通常是指垂直于光的波前的指向能量流动的方向的线。如本文所使用的,术语“束”通常是指光线的集合。在以下中,术语“光线”和“束”将被用作同义词。如本文进一步使用的,术语“光束”通常是指光量,具体地基本上在相同方向上行进的光量,包括具有扩散角或加宽角的光束的可能性。光束可以具有空间扩展。具体地,光束可以具有非高斯束轮廓。束轮廓可以选自包括以下各项的组:梯形束轮廓;三角形束轮廓;锥形束轮廓。梯形束轮廓可以具有平台区域和至少一个边缘区域。光束具体地可以是高斯光束或高斯光束的线性组合,如下文将更详细地概述的。然而,其他实施例是可行的。
照射源可以被配置用于发射单个波长的光。具体地,该波长可以在近红外区域中。在其他实施例中,照射源可以被配置用于发射具有多个波长的光,从而允许在其他波长通道中进行附加测量。
照射源可以是或可以包括至少一个多束光源。例如,照射源可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地,照射源可以包括至少一个激光器和/或激光源。可以使用各种类型的激光器,诸如半导体激光器、双异质结构激光器、外腔激光器、分离限制异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布式反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器,或垂直腔表面发射激光器。附加地或者替代地,可以使用非激光光源,诸如LED和/或灯泡。照射源可包括适于产生照射图案的一个或多个衍射光学元件(DOE)。例如,照射源可以适于产生和/或投射点云,例如,照射源可以包括以下各项中的一项或多项:至少一个数字光处理投射器、至少一个LCoS投射器、至少一个空间光调制器;至少一个衍射光学元件;至少一个发光二极管阵列;至少一个激光光源阵列。由于其通常定义的束轮廓和可操作性的其他特性,使用至少一个激光源作为照射源是特别优选的。照射源可以集成到检测器的壳体中。
而且,照射源可以被配置用于发射调制或非调制光。在使用多个照射源的情况下,不同的照射源可以具有不同调制频率,这些不同调制频率以后可以用于对光束进行区分。
由照射源产生的一个或多个光束通常可以平行于光轴传播或相对于光轴倾斜,例如包括与光轴的角度。检测器可以被配置为使得一个或多个光束沿着检测器的光轴从检测器朝向该区传播。出于该目的,检测器可包括至少一个反射元件,优选地至少一个棱镜,以用于将照射光束偏转到光轴上。作为示例,一个或多个光束,诸如激光束,和光轴可以包括小于10°的角,优选地小于5°或甚至小于2°。然而,其他实施例也是可行的。而且,一个或多个光束可以在光轴上或偏离光轴。作为示例,一个或多个光束可以平行于光轴,具有到光轴小于10mm的距离,优选地到光轴小于5mm或甚至到光轴小于1mm或甚至可以与光轴重合。
如本文所使用的,术语“至少一个照射图案”是指至少一个任意图案,其包括适于照射该区的至少一部分的至少一个照射特征。如本文所使用的,术语“照射特征”是指图案的至少一个至少部分扩展特征。照射图案可包括单个照射特征。照射图案可包括多个照射特征。照射图案可以选自包括以下各项的组:至少一个点图案;至少一个线图案;至少一个条纹图案;至少一个棋盘图案;包括周期性或非周期性特征的布置的至少一个图案。照射图案可包括规则和/或恒定和/或周期性图案,诸如三角形图案、矩形图案、六边形图案、或包括进一步的凸瓦片的图案。照射图案可以展现出选自包括以下各项的组的至少一个照射特征:至少一个点;至少一条线;至少两条线,诸如平行线或交叉线;至少一个点和一条线;周期性或非周期性特征的至少一个布置;至少一个任意成形的特征。照射图案可包括选自包括以下各项的组的至少一个图案:至少一个点图案,特别是伪随机点图案;随机点图案或者准随机图案;至少一个索博尔图案;至少一个准周期图案;包括至少一个预知特征的至少一个图案;至少一个规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案;包括凸均匀瓦片的至少一个图案;包括至少一条线的至少一个线图案;包括至少两条线的至少一个线图案,诸如平行或交叉线。例如,照射源可以适于产生和/或投射点云。照射源可包括适于产生点云使得照射图案可包括多个点图案的至少一个光投射器。照射源可包括至少一个掩模,该至少一个掩模适于从由照射源产生的至少一个光束产生照射图案。
照射图案的两个特征之间的距离和/或至少一个照射特征的面积可以取决于图像中的模糊圆。如上文所概述的,照射源可包括被配置用于产生所述至少一个照射图案的至少一个光源。具体地,照射源包括至少一个光源和/或指定用于产生激光辐射的至少一个激光二极管。照射源可包括至少一个衍射光学元件(DOE)。检测器可包括至少一个光投射器,诸如至少一个激光源和DOE,其适于投射至少一个周期性点图案。
如本文进一步使用的,术语“投射至少一个照射图案”是指提供用于照射至少一个区的至少一个照射图案。
如本文所使用的,“光学传感器”通常是指用于检测光束,例如用于检测由至少一个光束产生的照射和/或光斑的光敏装置。如本文进一步使用的,“光敏区”通常是指可被至少一个光束从外部照射的光学传感器的区,响应于该照射,产生至少一个传感器信号。所述光敏区可以具体地位于相应光学传感器的表面上。然而,其他实施例也是可行的。检测器可包括多个光学传感器,每个光学传感器具有光敏区。如本文所使用的,术语“每个光学传感器具有至少一个光敏区”是指多个单独的光学传感器中每个光学传感器具有一个光敏区的配置,以及一个组合的光学传感器具有多个光敏区的配置。此外,术语“光学传感器”是指被配置为产生一个输出信号的光敏装置。在检测器包括多个光学传感器的情况下,每个光学传感器可以被实现为使得精确地一个光敏区存在于相应光学传感器中,诸如通过精确地提供可以照射的一个光敏区,响应于该照射,针对整个光学传感器产生精确地一个均匀传感器信号。因此,每个光学传感器可以是单个区光学传感器。然而,单个区光学传感器的使用使得检测器的设置特别简单和有效。因此,作为示例,可在设置中使用可商购的光电传感器,例如可商购的硅光电二极管,每个恰好具有一个光敏区。然而,其他实施例也是可行的。
优选地,光敏区可以基本上垂直于检测器的光轴取向。光轴可以是直的光轴,或者可以弯曲,或甚至分裂,例如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器,其中在后一种情况下,基本垂直的取向可以指示光学设置的相应分支或束路径中的局部光轴。
光学传感器具体地可以是或可以包括至少一个光电检测器,优选地无机光电检测器,更优选地无机半导体光电检测器,最优选地硅光电检测器。具体地,光学传感器可以在红外光谱范围内敏感。光学传感器可以包括至少一个传感器元件,该至少一个传感器元件包括像素矩阵。矩阵中的所有像素或矩阵中的至少一组光学传感器具体可以相同。可针对不同光谱范围具体提供矩阵中的相同像素组,或者所有像素具有相同的光谱灵敏度。此外,像素可以具有相同的尺寸和/或电子或光电子特性。具体地,光学传感器可以是或可以包括在红外光谱范围内、优选在700nm至3.0微米范围内敏感的至少一个无机光电二极管。具体地,光学传感器可以在近红外区域的一部分中敏感,在该部分中,硅光电二极管具体地适用于700nm至1100nm的范围内。可用于光学传感器的红外光学传感器是可商购的红外光学传感器,诸如德国D-67056 Ludwigshafen am Rhein的TrinamiXTMGmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此,作为示例,光学传感器可以包括固有光伏类型的至少一个光学传感器,更优选地选自包括以下各项的组的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或者替代地,光学传感器可以包括固有光伏类型的至少一个光学传感器,更优选地选自包括以下各项的组的至少一个半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地,光学传感器可包括至少一个光电导传感器,例如PbS或PbSe传感器、辐射热测量计,优选地选自VO辐射热测量计和非晶Si辐射热测量计的辐射热测量计。
光学传感器可以在紫外、可见或红外光谱范围中的一个或多个内敏感。具体地,光学传感器可以在从500nm至780nm的可见光谱范围内敏感,最优选地在650nm至750nm处或在690nm至700nm处敏感。具体地,光学传感器可以在近红外区域中敏感。具体地,光学传感器可以在近红外区域的一部分中敏感,在该部分中,硅光电二极管具体地适用于700nm至1000nm的范围内。光学传感器具体地可以在红外光谱范围内敏感,具体地在780nm至3.0微米的范围内敏感。例如,光学传感器各自单独地可以是或可以包括选自包括以下各项的组的至少一个元件:光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如,光学传感器可以是或可以包括选自包括以下各项的组的至少一个元件:CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地,可以使用一个或多个光电二极管,诸如可商购的光电二极管,例如,无机半导体光电二极管。
光学传感器可包括至少一个传感器元件,该至少一个传感器元件包括像素矩阵。因此,作为示例,光学传感器可以是像素化光学器件的一部分或构成像素化光学器件。例如,光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例,光学传感器可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件,每个像素形成光敏区域。
如本文所使用的,术语“传感器元件”通常是指被配置用于感测至少一个参数的装置或多个装置的组合。在本情况中,参数具体地可以是光学参数,并且传感器元件具体地可以是光学传感器元件。传感器元件可以形成为单个器件或若干器件的组合。传感器元件包括光学传感器的矩阵。传感器元件可包括至少一个CMOS传感器。矩阵可以包括诸如独立光学传感器的独立像素。因此,可以构成无机光电二极管的矩阵。然而,替代地,可以使用商购矩阵,例如CCD检测器(例如CCD检测器芯片)和/或CMOS检测器(例如CMOS检测器芯片)中的一者或多者。因此,通常,传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件,和/或光学传感器可以形成传感器阵列或可以是传感器阵列的一部分,诸如上文所提到的矩阵。因此,作为示例,传感器元件可包括像素阵列,诸如具有m行和n列的矩形阵列,其中,m,n独立地是正整数。优选地,给出一个以上的列和一个以上的行,即,n>1,m>1。因此,作为示例,n可以为2至16或更高,并且m可以为2至16或更高。优选地,行数与列数之比接近1。作为示例,可以选择n和m,使得0.3≤m/n≤3,诸如通过选择m/n=1:1、4:3、16:9或类似的值。作为示例,阵列可以是具有相等行数和列数的正方形阵列,诸如通过选择m=2,n=2或m=3,n=3等。
矩阵可以包括诸如独立光学传感器的独立像素。因此,可以包括无机光电二极管的矩阵。然而,替代地,可以使用商购矩阵,例如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一者或多者。因此,通常,光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件,和/或检测器的光学传感器可以形成传感器阵列或可以是传感器阵列的一部分,诸如上文所提到的矩阵。
矩阵具体地可以是具有至少一个行、优选地多个行、和多个列的矩形矩阵。作为示例,行和列可以基本上垂直地定向。如本文所使用的,术语“基本上垂直”是指垂直取向的条件,其容差为例如±20°或更小,优选地±10°或更小,更优选地±5°或更小。类似地,术语“基本上平行”是指平行取向的条件,其容差为例如±20°或更小,优选地±10°或更小,更优选地±5°或更小。因此,作为示例,小于20°、具体地小于10°、或甚至小于5°的容差是可以接受的。为了提供宽的视野,矩阵具体地可以具有至少10行,优选地至少500行,更优选地至少1000行。类似地,矩阵可以具有至少10列,优选地至少500列,更优选地至少1000列。矩阵可以包括至少50个光学传感器,优选地至少100000个光学传感器,更优选地至少5000000个光学传感器。矩阵可以包括数百万像素范围内的多个像素。然而,其他实施例也是可行的。因此,在期望轴向旋转对称的设置中,优选采用矩阵中的光学传感器(也可被称为像素)的圆形布置或同心布置。
因此,作为示例,传感器元件可以是像素化光学器件的一部分或构成像素化光学器件。例如,传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例,传感器元件可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件,每个像素形成光敏区。传感器元件可以采用滚动快门或全局快门方法来读出光学传感器的矩阵。
检测器还可包括至少一个传送装置。检测器还可包括一个或多个附加元件,诸如一个或多个附加光学元件。检测器可以包括选自包括以下各项的组的至少一个光学元件:传送装置,诸如至少一个透镜和/或至少一个透镜系统,至少一个衍射光学元件。术语“传送装置”(也表示为“传送系统”)可以通常是指一个或多个光学元件,该一个或多个光学元件适于诸如通过修改光束的束参数、光束的宽度或光束的方向中的一者或多者来修改光束。传送装置可以适于将光束引导到光学传感器上。传送装置具体地可以包括以下各项中的一项或多项:至少一个透镜,例如,选自包括以下各项的组的至少一个透镜:至少一个焦点可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅尔透镜;至少一个衍射光学元件;至少一个凹镜;至少一个束偏转元件,优选地至少一个反射镜;至少一个分束元件,优选地分束立方体或分束反射镜中的至少一者;至少一个多透镜系统。如本文所使用的,术语传送装置的“焦距”是指使可以入射到传送装置的入射准直光线处于“聚焦(focus)”(其也可以被表示为“焦点”)的距离。因此,焦距构成传送装置会聚入射光束的能力的度量。因此,传送装置可以包括一个或多个成像元件,该一个或多个成像元件可以具有会聚透镜的效果。举例来说,传送装置可以具有一个或多个透镜,特别是一个或多个折射透镜、和/或一个或多个凸镜。在该示例中,焦距可以被定义为从薄折射透镜的中心到薄透镜的主焦点的距离。针对会聚薄折射透镜,诸如凸或双凸薄透镜,焦距可以被认为是正的,并且可以提供在入射到作为传送装置的薄透镜的准直光束可以聚焦成单个斑点(spot)的距离。此外,传送装置可包括至少一个波长选择元件,例如,至少一个光学滤波器。此外,传送装置可以被设计为将预定义束轮廓印记在电磁辐射上,例如,在传感器区域并且特别是传感器区的位置处。原则上,传送装置的上述可选实施例可以单独地或以任何期望的组合实现。
传送装置可以具有光轴。特别地,检测器和传送装置具有共共光轴。如本文所使用的,术语“传送装置的光轴”通常是指透镜或透镜系统的镜面对称或旋转对称轴。检测器的光轴可以是检测器的光学设置的对称线。检测器可以包括至少一个传送装置,优选地具有至少一个透镜的至少一个传送系统。作为示例,传送系统可以包括至少一个束路径,其中,束路径中的传送系统的元件以关于光轴旋转对称的方式来定位。然而,如下文还将更详细地概述的,位于束路径内的一个或多个光学元件也可以关于光轴偏离中心或倾斜。然而,在这种情况下,光轴可以顺序地定义,诸如通过将束路径中的光学元件的中心相互连接,例如通过将透镜的中心相互连接,其中,在该上下文中,光学传感器未计算为光学元件。光轴通常可以表示束路径。其中,检测器可以具有光束可以从对象行进到光学传感器所沿着的单个束路径,或者可以具有多个束路径。作为示例,可以给出单个束路径,或者束路径可以分成两个或两个以上部分束路径。在后者的情况中,每个部分束路径可以具有其自己的光轴。在多个光学传感器的情况下,光学传感器可以位于同一个束路径或部分束路径中。替代地,然而,光学传感器也可以位于不同的部分束路径中。
传送装置可以构成坐标系,其中,纵向坐标是沿着光轴的坐标,并且其中,d是与光轴的空间偏移。坐标系可以是极坐标系,其中,传送装置的光轴形成z轴,并且其中,距z轴的距离和极角可以用作附加坐标。平行或者反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可被视为横向方向,并且极坐标和/或极角可被视为横向坐标。
检测器可构成坐标系,其中检测器的光轴形成z轴,并且其中,此外,可以提供垂直于z轴并且彼此垂直的x轴和y轴。作为示例,检测器和/或检测器的一部分可以停留在该坐标系中的特定点处,诸如在该坐标系的原点处。在该坐标系中,平行或者反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵向坐标。垂直于纵向方向的任意方向可以被认为是横向方向,并且x和/或y坐标可以被认为是横向坐标。
替代地,可以使用其他类型的坐标系。因此,作为示例,可以使用极坐标系,其中,光轴形成z轴,并且其中,距z轴的距离和极角可以用作附加坐标。此外,平行或者反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可被视为横向方向,并且极坐标和/或极角可被视为横向坐标。
光学传感器被配置用于确定该区的至少一个图像。当该区被照射特征照射时,该区,即该区的被照射特征照射的部分将照射特征的入射光束朝向检测器反射和/或再发射,检测器因此可以对这些反射和/或再发射的照射特征进行成像。因此,该区可以产生反射特征。该图像包括响应于由照射特征的照射而由该区产生的多个反射特征。如本文所使用的,但不限于,术语“图像”具体地可以指通过使用光学传感器记录的数据,诸如来自成像装置(诸如传感器元件的像素)的多个电子读数。因此,图像本身可以包括像素,图像的像素与传感器元件矩阵的像素相关。因此,当涉及“像素”时,或者参考由传感器元件的单个像素产生的图像信息的单元,或者直接参考传感器元件的单个像素。图像可以是至少一个二维图像。如本文所使用的,术语“二维图像”通常可以是指具有关于横向坐标(诸如高度和宽度的维度)的信息的图像。图像可以是RGB(红绿蓝)图像。如本文所使用的,术语“反射特征”可以是指响应于具体地利用至少一个照射特征照射而由该区产生的图像平面内的特征。
检测器包括至少一个评估装置。评估装置被配置用于评估图像。如本文进一步使用的,术语“评估装置”通常是指适于执行指定操作的任意装置,指定操作优选地通过使用至少一个数据处理装置,更优选地通过使用至少一个处理器和/或至少一个专用集成电路执行。因此,作为示例,至少一个评估装置可以包括至少一个数据处理装置,该数据处理装置上存储有包含大量计算机命令的软件代码。评估装置可以提供用于执行指定操作中的一个或多个操作的一个或多个硬件元件,和/或可以向一个或多个处理器提供在其上运行以执行指定操作中的一个或多个的软件。操作,包括评估图像。具体地,确定束轮廓和表面的指示可以由至少一个评估装置来执行。因此,作为示例,一个或多个指令可以在软件和/或硬件中实现。因此,作为示例,评估装置可以包括被配置为执行上述评估的一个或多个可编程装置,诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而,附加地或者替代地,评估装置也可以全部或部分地由硬件来体现。
评估装置和检测器可以完全或部分被集成到单个装置中。因此,通常,评估装置也可以形成检测器的一部分。替代地,评估装置和检测器可以完全或部分被实现为分离的装置。检测器可包括进一步的组件。
评估装置可以是或可以包括一个或多个集成电路,诸如一个或多个专用集成电路(ASIC)、和/或一个或多个数据处理装置,诸如一个或多个计算机、优选地一个或多个微计算机和/或微控制器、现场可编程阵列、或数字信号处理器。可以包括附加组件,诸如一个或多个预处理装置和/或数据采集装置,诸如用于传感器信号的接收和/或预处理的一个或多个装置,诸如一个或多个AD转换器和/或一个或多个滤波器。进一步地,评估装置可以包括一个或多个测量装置,诸如用于测量电流和/或电压的一个或多个测量装置。进一步地,评估装置可包括一个或多个数据存储装置。进一步地,评估装置可以包括一个或多个接口,诸如一个或多个无线接口和/或一个或多个有线接口。
评估装置可以连接到或可包括至少一个进一步的数据处理装置,该数据处理装置可以用于信息(诸如由光学传感器和/或由评估装置获得的信息)的显示、可视化、分析、分布、通信或进一步处理中的一种或多种。作为示例,数据处理装置可以连接或者包含以下各项中的至少一项:显示器、投影仪、监视器、LCD、TFT、扬声器、多通道声音系统、LED图案、或进一步的可视化装置。数据处理装置还可以连接或者包含以下各项中的至少一项:通信装置或通信接口、连接器或端口,其能够使用电子邮件、文本消息、电话、蓝牙、Wi-Fi、红外或因特网接口、端口或连接中的一种或多种发送加密或未加密信息。数据处理装置还可以连接到或者包含以下各项中的至少一项:处理器;图形处理器;CPU;开放式多媒体应用程序平台(OMAPTM);集成电路;片上系统诸如来自Apple A系列或Samsung S3C2系列的产品;微控制器或微处理器;一个或多个存储块诸如ROM、RAM、EEPROM、或闪存;定时源诸如振荡器或锁相环、计数计时器、实时计时器、或加电复位发生器;电压调节器;电源管理电路;或DMA控制器。单独单元还可以由总线(诸如AMBA总线)连接或者集成在物联网或工业4.0类型网络中。
评估装置和/或数据处理装置可以由进一步的外部接口或端口连接或者具有进一步的外部接口或端口,诸如串行或并行接口或端口、USB、并口端口、火线、HDMI、以太网、蓝牙、RFID、Wi-Fi、USART、或SPI,或模拟接口或端口,诸如ADC、DAC、或到进一步的装置(诸如使用RGB接口(诸如CameraLink)的2D相机装置)的标准化接口或端口。评估装置和/或数据处理装置还可以由以下各项种的一项或多项连接:处理器间接口或端口、FPGA-FPGA接口、或串行或并行接口端口。评估装置和数据处理装置还可以连接到以下各项中的一项或多项:光盘驱动器、CD-RW驱动器、DVD+RW驱动器、闪盘驱动器、存储卡、磁盘驱动器、硬盘驱动器、固态盘或固态硬盘。
评估装置和/或数据处理装置可以由一个或多个进一步的外部连接器连接或者具有一个或多个进一步的外部连接器,诸如以下各项中的一项或多项:电话连接器、RCA连接器、VGA连接器、公母连接器、USB连接器、HDMI连接器、8P8C连接器、BCN连接器、IEC 60320C14连接器、光纤连接器、D超小型连接器、RF连接器、同轴连接器、SCART连接器、XLR连接器,和/或可以包含用于这些连接器中的一个或多个连接器的至少一个适合的插座。
评估装置被配置为通过确定每个反射特征的至少一个深度信息来确定该区的至少一个深度图。术语“每个反射特征”可以指图像或图像的感兴趣区域的每个反射特征。如本文所使用的,术语“深度”可以指对象和光学传感器之间的距离并且可以由纵向坐标给出。如本文所使用的,术语“深度图”可以指代深度的空间分布。评估装置可以被配置用于通过以下技术中的一种或多种确定每个反射特征的深度信息:光子比率测深(depth-from-photon-ratio)、结构光、束轮廓分析、飞行时间、从运动恢复形状(shape-from-motion)、聚焦测深(depth-from-focus)、三角测量、离焦测深、立体传感器。评估装置可以被配置为考虑深度信息以根据深度图从背景中分割对象,特别是图像中的手部区域。
下面描述束轮廓分析,特别是所谓的光子比率测深(DPR)技术。对于更多细节,参见WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640 A,其全部内容通过引用包含在内,其更详细地描述了束轮廓分析,特别是确定组合信号并从中确定深度。
例如,评估装置可以被配置用于通过使用光子比率测深技术来确定每个反射特征的深度信息。每个反射特征可以包括至少一个束轮廓,也表示为反射束轮廓。如本文所使用的,术语反射特征的“束轮廓”通常可以指反射特征的作为像素的函数的至少一个强度分布,诸如光学传感器上的光斑的强度分布。束轮廓可以选自梯形束轮廓、三角形束轮廓、圆锥形束轮廓、以及高斯束轮廓的线性组合。评估装置可以被配置用于通过分析它们的束轮廓来确定用于每个反射特征的深度信息。
评估装置可以被配置用于通过分析它们的束轮廓来确定用于每个反射特征的至少一个纵向坐标zDPR。如本文所使用的,术语“束轮廓的分析”通常可以指对光束轮廓的评估,并且可包括至少一个数学运算和/或至少一个比较和/或至少一个对称化和/或至少一个滤波和/或至少一个归一化。例如,束轮廓的分析可包括直方图分析步骤、差异度量的计算、神经网络的应用、机器学习算法的应用中的至少一种。评估装置可以被配置用于对束轮廓进行对称化和/或归一化和/或滤波,特别是以从在较大角度下的记录、记录边缘等中移除噪声或不对称。评估装置可以通过移除高空间频率来对束轮廓进行滤波,诸如通过空间频率分析和/或中值滤波等。可以通过光斑的强度中心和到中心相同距离处的所有强度的平均来执行总结。评估装置可以被配置用于将束轮廓归一化到最大强度,特别是考虑到归因于记录的距离的强度差异。评估装置可以被配置用于例如通过无需照射的成像从束轮廓中移除来自背景光的影响。
反射特征可以覆盖图像的至少一个像素或可以在图像的至少一个像素上延伸。例如,反射特征可以覆盖多个像素或可以在多个像素上延伸。评估装置可以被配置用于确定和/或用于选择连接到和/或属于反射特征(例如光斑)的所有像素。评估装置可以被配置用于通过以下式子确定强度中心:
Figure BDA0003817385790000181
其中Rcoi是强度中心的位置,rpixel是像素位置,以及i=∑jItotal,其中j是连接到和/或属于反射特征的像素数j,以及Itotal是总强度。
评估装置可以被配置用于通过使用光子比率测深技术来确定用于每个反射特征的纵向坐标zDPR。关于光子比率测深(DPR)技术,参考WO 2018/091649 A1、WO 2018/091638A1和WO 2018/091640 A1,其全部内容通过引用包括在内。
评估装置可以被配置用于确定每个反射特征的束轮廓。如本文所使用的,术语“确定束轮廓”是指识别由光学传感器提供的至少一个反射特征和/或选择由光学传感器提供的至少一个反射特征并评估反射特征的至少一个强度分布。作为示例,矩阵的区域可以被使用和评估用于确定强度分布,诸如三维强度分布或二维强度分布,诸如沿着通过矩阵的轴或线。作为示例,可以确定光束的照射中心,诸如通过确定具有最高照射的至少一个像素,并且可以选择通过照射中心的横截面轴。强度分布可以是作为沿着通过照射中心的该横截面轴的坐标的函数的强度分布。其他评估算法是可行的。
光子比率测深技术可以包括确定至少一个感兴趣区域中的每个反射特征和/或多个反射特征的反射束轮廓的至少一个第一区和至少一个第二区。光子比率测深技术还可以包括对第一区和第二区进行积分。光子比率测深技术还可以包括通过以下一项或多项导出商Q:对积分的第一区和积分的第二区进行除法运算、对积分的第一区和积分的第二区的倍数进行除法运算、对积分的第一区和积分的第二区的线性组合进行除法运算。
评估装置可以被配置用于确定至少一个感兴趣区域中的每个反射特征和/或多个反射特征的反射束轮廓的至少一个第一区和至少一个第二区。评估装置被配置用于对第一区和第二区进行积分。
反射特征之一的束轮廓的分析可包括确定束轮廓的至少一个第一区和至少一个第二区。束轮廓的第一区可以是区A1,以及束轮廓的第二区可以是区A2。评估装置可以被配置用于对第一区和第二区积分。评估装置可以被配置为通过以下各项中的一项或多项导出组合信号,特别是商Q:对积分的第一区和积分的第二区进行除法运算,对积分的第一区和积分的第二区的倍数进行除法运算,对积分的第一区和积分的第二区的线性组合进行除法运算。评估装置可以被配置用于确定束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段,其中区的重叠可以是可能的,只要区不全等。例如,评估装置可以被配置用于确定多个区,诸如两个、三个、四个、五个或多达十个区。评估装置可以被配置用于将光斑分割成束轮廓的至少两个区和/或将束轮廓分割成包括束轮廓的不同区的至少两个片段。评估装置可以被配置用于针对区中的至少两个区确定束轮廓在相应区上的积分。评估装置可以被配置用于比较所确定的积分中的至少两个积分。具体地,评估装置可以被配置用于确定束轮廓的至少一个第一区和至少一个第二区。如本文所使用的,术语“束轮廓的区”通常是指用于确定商Q的光学传感器的位置处的束轮廓的任意区。束轮廓的第一域和束轮廓的第二区可以是相邻区域或重叠区域中的一种或两种。束轮廓的第一区和束轮廓的第二区可以在面积上不是全等的。例如,评估装置可以被配置用于将CMOS传感器的传感器区域划分为至少两个子区域,其中,所述评估装置可以被配置用于将CMOS传感器的传感器区域划分为至少一个左部分和/或至少一个右部分和/或至少一个上部分和至少一个下部分和/或至少一个内部分和至少一个外部分。附加地或者替代地,检测器可包括至少两个光学传感器,其中,第一光学传感器和第二光学传感器的光敏区可以被布置为使得第一光学传感器适于确定反射特征的束轮廓的第一区,并且第二光学传感器适于确定反射特征的束轮廓的第二区。评估装置可适于对第一区和第二区进行积分。评估装置可以被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一种或多种。评估装置可以包括用于存储预定关系的至少一个数据存储装置,例如查找列表或查找表。
束轮廓的第一区可以包括束轮廓的基本上边缘信息,以及束轮廓的第二区包括束轮廓的基本上中心信息,和/或束轮廓的第一区可以包括基本上关于束轮廓的左侧部分的信息,以及束轮廓的第二区包括基本上关于束轮廓的右侧部分的信息。束轮廓可以具有中心,即,束轮廓的最大值和/或束轮廓平顶的中心点和/或光斑的几何中心,以及从中心延伸的下降边缘。第二区域可以包括横截面的内部区域,第一区域可以包括横截面的外部区域。如本文所使用的,术语“基本上中心信息”通常是指与中心信息的比例(即,与中心对应的强度分布的比例)相比,边缘信息的比例(即,与边缘对应的强度分布的比例)较低。优选地,中心信息具有小于10%、更优选地小于5%的边缘信息的比例,最优选地中心信息不包括边缘内容。如本文所使用的,术语“基本上边缘信息”通常是指与边缘信息的比例相比,中心信息的比例较低。边缘信息可以包括整个束轮廓的信息,特别地,来自中心区域和边缘区域的信息。边缘信息中的中心信息的比例小于10%,优选地小于5%,更优选地,边缘信息不包括任何中心内容。如果束轮廓的至少一个区靠近或围绕中心并且包括基本上中心信息,则可以将该区确定和/或选择为束轮廓的第二区。如果束轮廓的至少一个区包括横截面的下降边缘的至少一些部分,则可以将该区确定和/或选择为束轮廓的第一区。例如,可以将横截面的整个区确定为第一区。
第一区A1和第二区A2的其他选择也是可行的。例如,第一区可以包括束轮廓的基本上外部区域,第二区域可以包括束轮廓的基本上内部区域。例如,在二维束轮廓的情况下,束轮廓可以被分为左部分和右部分,其中第一区可以包括束轮廓的基本上左部分的区,第二区可以包括束轮廓的基本上右部分的区。
边缘信息可以包括与束轮廓的第一区中的光子数量有关的信息,而中心信息可以包括与束轮廓的第二区中的光子数量有关的信息。评估装置可以被配置用于确定束轮廓的面积积分。评估装置可以被配置用于通过将第一区积分和/或求和来确定述边缘信息。评估装置可以被配置用于通过将第二区积分和/或求和来确定中心信息。例如,束轮廓可以是梯形束轮廓,并且评估装置可以被配置用于确定梯形的积分。此外,当假设梯形束轮廓时,可通过使用梯形束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度)并通过几何考虑导出边缘信号和中心信号来代替边缘信号和中心信号的确定。
在一个实施例中,A1可以对应于光学传感器上的特征点的全部或完整区。A2可以是光学传感器上的特征点的中心区。中心区可以是恒定值。与特征点的全部区相比较,中心区可以更小。例如,在圆形特征点的情况下,中心区可以具有所述特征点的全半径的从0.1至0.9的半径,优选地全半径的从0.4至0.6。
在一个实施例中,照射图案可包括至少一个线图案。A1可以对应于具有光学传感器上(特别是光学传感器的光敏区上)的线图案的全线宽度的区。与所述照射图案的线图案相比较,光学传感器上的线图案可以加宽和/或位移,以使得光学传感器上的线宽度增加。特别地,在光学传感器的矩阵的情况下,光学传感器上的线图案的线宽度可以逐列改变。A2可以是光学传感器上的线图案的中心区。中心区的线宽度可以是恒定值,并且可以特别地对应于照射图案中的线宽度。中心区可以具有比全线宽度更小的线宽度。例如,中心区域可以具有全线宽度的从0.1至0.9的线宽度,优选地全线宽度的从0.4至0.6的线宽度。线图案可以在光学传感器上分段。光学传感器的矩阵的每列可以包括线图案的中心区域中的强度的中心信息和来自从线图案的中心区进一步向外延伸到边缘区域的区域的强度的边缘信息。
在一个实施例中,照射图案可包括至少点图案。A1可以对应于具有光学传感器上的点图案的点的全半径的区。A2可以是光学传感器上的点图案中的点的中心区。中心区可以是恒定值。中心区可以具有与全半径相比较的半径。例如,中心区可以具有全半径的从0.1至0.9的半径,优选地全半径的从0.4至0.6半径。
照射图案可包括至少一个点图案和至少一个线图案。除了线图案和点图案之外的或者替代线图案和点图案的其他实施例是可行的。
评估装置可以被配置为通过以下各项中的一项或多项导出商Q:对积分的第一区和积分的第二区进行除法运算、对积分的第一区和积分的第二区的倍数进行除法运算、对积分的第一区和积分的第二区的线性组合进行除法运算。
评估装置可以被配置为通过以下各项中的一项或多项导出商Q:对第一区和第二区进行除法运算,对第一区和第二区的倍数进行除法运算,对第一区和第二区的线性组合进行除法运算。评估装置可以被配置用于通过以下式子导出商Q:
Figure BDA0003817385790000231
其中,x和y是横向坐标,A1和A2分别是束轮廓的第一和第二区,以及E(x,y)表示束轮廓。
附加地或者替代地,评估装置可以适于从光斑的至少一个切片或切口确定中心信息或边缘信息中的一者或两者。这可以例如通过沿着切片或切口的线积分替换商Q中的面积积分来实现。为了提高准确性,可以使用光斑的若干切片或切口并取平均值。在椭圆形光斑轮廓的情况下,在若干切片或切口上进行平均会改善距离信息。
例如,在光学传感器具有像素矩阵的情况下,评估装置可以被配置用于通过以下步骤评估束轮廓:
-确定具有最高传感器信号的像素并且形成至少一个中心信号;
-评估矩阵的传感器信号并且形成至少一个和信号;
-通过将中心信号和和信号组合来确定商Q;以及
-通过评估商Q确定对象的至少一个纵向坐标z。
如本文所使用的,“传感器信号”通常是指由光学传感器和/或光学传感器的至少一个像素响应于照射而产生的信号。具体地,传感器信号可以是或可以包括至少一个电信号,诸如至少一个模拟电信号和/或至少一个数字电信号。更具体地,传感器信号可以是或可以包括至少一个电压信号和/或至少一个电流信号。更具体地,传感器信号可以包括至少一个光电流。进一步地,可以使用原始传感器信号,或者显示装置、光学传感器或任何其他元件可以适于处理或预处理传感器信号,从而产生也可以用作传感器信号的次级传感器信号,诸如通过滤波等预处理。术语“中心信号”通常指包括束轮廓的基本上中心信息的至少一个传感器信号。如本文所使用的,术语“最高传感器信号”是指局部最大值或感兴趣区域中的最大值中的一者或两者。例如,中心信号可以是具有由整个矩阵或矩阵内的感兴趣区域的像素产生的多个传感器信号中的最高传感器信号的像素的信号,其中,感兴趣区域可以在由矩阵的像素产生的图像内预定或可确定的。中心信号可以源自单个像素或者一组光学传感器,其中,在后者的情况下,作为示例,该组像素的传感器信号可以相加、积分或平均以便确定中心信号。中心信号所源自的像素组可以是一组相邻像素,诸如具有小于距具有所述最高传感器信号的实际像素预定距离的像素,或者可以是产生在距最高传感器信号预定范围内的传感器信号的一组像素。中心信号所源自的像素组可以选择尽可能大以便允许最大动态范围。评估装置可以适于通过多个传感器信号,例如,具有最高传感器信号的像素周围的多个像素的积分来确定中心信号。例如,束轮廓可以是梯形束轮廓,并且评估装置可以适于确定梯形(特别是梯形的平顶)的积分。
如上文所概述的,中心信号通常可以是单个传感器信号,诸如来自光斑的中心的像素的传感器信号,或者可以是多个传感器信号的组合,诸如源自光斑的中心的像素的传感器信号的组合,或者通过处理由前述可能性中的一个或多个导出的传感器信号而导出的次级传感器信号。中心信号的确定可通过电子的方式执行,因为传感器信号的比较可通过常规电子器件相当简单地实现,或者可完全或部分地通过软件执行。具体地,中心信号可以选自包括以下各项的组:最高传感器信号;在距最高传感器信号的预定容差范围内的一组传感器信号的平均;来自包含具有最高传感器信号的像素和预定相邻像素组的一组像素的传感器信号的平均;来自包含具有最高传感器信号的像素和预定相邻像素组的一组像素的传感器信号的和;距最高传感器信号的预定容差范围内的一组传感器信号的和;大于预定阈值的一组传感器信号的平均;大于预定阈值的一组传感器信号的和;来自包含具有最高传感器信号的光学传感器和预定相邻像素组的一组光学传感器的传感器信号的积分;在距最高传感器信号的预定容差范围内的一组传感器信号的积分;大于预定阈值的一组传感器信号的积分。
类似地,术语“和信号”通常是指包括束轮廓的基本上边缘信息的信号。例如,和信号可以通过将整个矩阵或矩阵内的感兴趣区域的传感器信号相加、对所述传感器信号的积分或对所述传感器信号的平均导出,其中,感兴趣区域可以在由矩阵的光学传感器产生的图像内预定或可确定的。在对传感器信号进行相加、积分或平均时,产生传感器信号的实际光学传感器可以被排除在相加、积分或平均之外,或者可以包括在相加、积分或平均中。评估装置可以适于通过对整个矩阵或矩阵内感兴趣区域的信号进行积分来确定和信号。例如,束轮廓可以是梯形束轮廓,并且评估装置可以适于确定整个梯形的积分。此外,当假设梯形束轮廓时,可通过使用梯形束轮廓的特性的等效评估(例如确定边缘的斜率和位置以及中心平顶的高度)并通过几何考虑导出边缘信号和中心信号来代替边缘信号和中心信号的确定。
类似地,中心信号和边缘信号也可通过使用束轮廓的分段(诸如束轮廓的圆形分段)来确定。例如,可以通过不穿过束轮廓中心的割线或弦将束轮廓分成两段。因此,一段基本上包含边缘信息,而另一段基本上包含中心信息。例如,为了进一步减少中心信号中的边缘信息量,可以进一步从中心信号中减去边缘信号。
商Q可以是通过组合中心信号和和信号而产生的信号。具体地,该确定可以包括以下各项中的一项或多项:形成中心信号与和信号的商,或反之亦然;形成中心信号的倍数与和信号的倍数的商,或反之亦然;形成中心信号的线性组合与和信号的线性组合的商,或反之亦然。附加地或者替代地,商Q可包括任意信号或信号组合,该任意信号或信号组合包含关于中心信号与和信号之间的比较的至少一项信息。
如本文所使用的,术语“对象的纵向坐标”是指光学传感器与对象之间的距离。评估装置可被配置用于使用商Q与纵向坐标之间的至少一种预定关系来确定纵向坐标。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一者或多者。评估装置可以包括用于存储预定关系的至少一个数据存储装置,例如查找列表或查找表。
评估装置可以被配置用于执行至少一个光子比率测深算法,该算法计算具有零级和更高级的所有反射特征的距离。
图像的评估可以包括识别图像的反射特征。评估装置可以被配置用于执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下中的一项或多项:滤波;选择至少一个感兴趣区域;在由传感器信号创建的图像和至少一个偏移之间形成差异图像;通过反转(invert)由传感器信号创建的图像来反转传感器信号;在不同时间由传感器信号创建的图像之间形成差异图像;背景校正;分解成颜色通道;分解成色调;饱和度;和亮度通道;频率分解;奇异值分解;应用斑点检测器;应用角点检测器;应用Hessian滤波器行列式;应用基于主曲率的区域检测器;应用最大稳定极值区域检测器;应用广义霍夫变换;应用脊检测器;应用仿射不变特征检测器;应用仿射适应的兴趣点算子;应用哈里斯仿射区域检测器;应用Hessian仿射区域检测器;应用尺度不变特征变换;应用尺度空间极值检测器;应用局部特征检测器;应用加速鲁棒特征算法;应用梯度位置和取向直方图算法;应用取向梯度描述符的直方图;应用Deriche边缘检测器;应用差分边缘检测器;应用时空兴趣点检测器;应用Moravec角点检测器;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅立叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二进制图像。感兴趣区域可以由用户手动确定或可以自动确定,诸如通过识别由光学传感器生成的图像内的特征。
例如,照射源可以被配置用于生成和/或投射点云,使得在光学传感器(例如CMOS检测器)上生成多个照射区域。此外,光学传感器上可能存在干扰,诸如由于散斑和/或外来光和/或多次反射引起的干扰。评估装置可以适于确定至少一个感兴趣区域,例如被用于确定对象的纵向坐标的由光束照射的一个或多个像素。例如,评估装置可以适于执行滤波方法,例如斑点分析和/或边缘滤波和/或对象识别方法。
评估装置可以被配置用于执行至少一个图像校正。图像校正可以包括至少一个背景减除。评估装置可以适于从束轮廓中去除来自背景光的影响,例如,通过在没有进一步照射的情况下进行成像。
评估装置被配置用于通过识别由照射生物组织产生的反射特征来找到对象。评估装置被配置用于确定每个反射特征的至少一个反射束轮廓。评估装置被配置用于在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下将反射特征识别为通过照射生物组织而产生。否则,评估装置被配置用于将反射特征识别为背景。
如本文所使用的,术语“生物组织”通常是指包含活细胞的生物材料。检测器可以是用于生物组织(特别是人类皮肤)的检测、尤其是光学检测的装置。由生物组织产生的术语“识别”可以指确定和/或验证待检查或待测试的表面是否是或包括生物组织,特别是人类皮肤,和/或将生物组织、特别是人类皮肤,与其他组织、特别是其他表面区分开,和/或将不同类型的生物组织区分开,诸如将不同类型的人类组织区分开,例如肌肉、脂肪、器官等。例如,生物组织可以是或可以包括人类组织或其一部分,诸如皮肤、头发、肌肉、脂肪、器官等。例如,生物组织可以是或可以包括动物组织或其一部分,诸如皮肤、毛皮、肌肉、脂肪、器官等。例如,生物组织可以是或可以包括植物组织或其一部分。检测器可以适于将动物组织或其部分与例如农业机器或挤奶机器的无机组织、金属表面、塑料表面中的一种或多种区分开。检测器可以适于将植物组织或其一部分与例如农业机器的无机组织、金属表面、塑料表面中的一种或多种区分开。检测器可以适于将食物和/或饮料与盘子和/或玻璃杯区分开。检测器可以适用于将不同类型的食物,诸如水果、肉和鱼区分开。检测器可以适于将化妆品和/或应用的化妆品与人类皮肤区分开。检测器可以适用于将人类皮肤与泡沫、纸、木头、显示器、屏幕区分开。检测器可以适用于将人类皮肤和衣物区分开。检测器可以适用于将维护产品和机器组件的材料,诸如金属组件等区分开。检测器可以适用于将有机材料和无机材料区分开。检测器可以适用于将人类生物组织与人造或非生命对象的表面区分开。检测器特别地可以用于非治疗和非诊断应用。
如本文所使用的,术语“至少一个预定或预定义标准”是指至少一种适于将生物组织,特别是人类皮肤与其他材料区分开的特性和/或值。预定或预定义标准可以是或可以包括涉及材料特性的至少一个预定或预定义值和/或阈值和/或阈值范围。在反射束轮廓满足至少一个预定或预定义标准的情况下,反射特征可以被指示为通过生物组织产生。如本文所使用的,术语“指示”是指任意指示,诸如电子信号和/或至少一个视觉或听觉指示。
评估装置可以被配置用于通过评估反射特征的束轮廓来确定对象的至少一个材料特性m。如本文所使用的,术语“材料特性”是指材料的被配置用于对材料进行表征和/或识别和/或分类的至少一个任意特性。例如,材料特性可以是选自以下各项的特性:粗糙度、光对材料的穿透深度、将材料表征为生物或非生物材料的特性、反射率、镜面反射率、漫反射率、表面特性、半透明度度量、散射,具体是后向散射行为等。至少一个材料特性可以是选择以下各项的特性:散射系数、半透明性、透明度、与朗伯表面反射的偏差、散斑等。如本文所使用的,术语“识别至少一个材料特性”是指以下中的一种或多种:确定材料特性和将材料特性分配给对象。检测器可包括至少一个数据库,该数据库包括预定义和/或预定材料特性的列表和/或表,诸如查找列表或查找表。材料特性的列表和/或表可以通过使用根据本发明的检测器执行至少一次测试测量来确定和/或产生,例如通过使用具有已知材料特性的样品执行材料测试。材料特性的列表和/或表可在制造商现场和/或由检测器的用户确定和/或产生。材料特性可以附加地分配给材料分类器,诸如以下中的一者或多者:材料名称,材料组,诸如生物或非生物材料、半透明或非半透明材料、金属或非金属、皮肤或非皮肤、毛皮或非毛皮、地毯或非地毯、反射或非反射、镜面反射或非镜面反射、泡沫或非泡沫、头发或非头发,粗糙度组等。检测器可以包括至少一个数据库,该数据库包括包含材料特性和相关材料名称和/或材料组的列表和/或表。
例如,不希望受制于该理论,人类皮肤可以具有反射轮廓,也表示为后向散射轮廓,包括由表面的后向反射产生的部分,表示为表面反射,以及由来自穿透皮肤的光的非常漫反射产生的部分,表示为后向反射的漫反射部分。关于人类皮肤的反射轮廓,参考“Lasertechnik in der Medizin:Grundlagen,Systeme,Anwendungen”,“Wirkung vonLaserstrahlung auf Gewebe”,1991年,第10 171至266页,Jürgen Eichler,Theo Seiler,Springer Verlag,ISBN 0939-0979。皮肤的表面反射可随着波长向近红外增加而增加。此外,穿透深度可以随着波长从可见光到近红外的增加而增加。后向反射的漫反射部分可随着光的穿透深度而增加。通过分析后向散射轮廓,这些特性可用于将皮肤与其他材料区分开。
具体地,评估装置可以被配置用于将反射束轮廓与至少一个预定和/或预记录和/或预定义的束轮廓进行比较。预定和/或预记录和/或预定义的束轮廓可以存储在表或查找表中,并且可以例如凭经验地确定,并且作为示例,可以存储在检测器的至少一个数据存储装置中。例如,可以在包括检测器的移动装置的初始启动期间确定预定和/或预记录和/或预定义的束轮廓。例如,预定和/或预记录和/或预定义的束轮廓可存储在移动装置的至少一个数据存储装置中,例如,通过软件,具体地通过从应用商店等下载的应用。在反射束轮廓和预定和/或预记录和/或预定义的束轮廓相同的情况下,反射特征可以被识别为由生物组织产生。比较可包括将反射束轮廓和预定或预定义的束轮廓重叠,使得它们的强度中心匹配。该比较可包括确定反射束轮廓与预定和/或预记录和/或预定义的束轮廓之间的偏差,例如点到点距离的平方和。评估装置可以适于将确定的偏差与至少一个阈值进行比较,其中在确定的偏差低于和/或等于阈值的情况下,表面被指示为生物组织和/或生物组织的检测被确认。阈值可以存储在表或查找表中并且可以例如经验地确定,并且作为示例,可以存储在检测器的至少一个数据存储装置中。
附加地或者替代地,为了识别反射特征是否由生物组织产生,评估装置可以被配置用于将至少一个图像过滤器应用到该区的图像。如本文进一步使用的,“图像”是指二维函数f(x,y),其中,针对图像中的任何x,y位置给出亮度和/或颜色值。可以对应于记录像素对位置进行离散化。可以对应于光学传感器的位深度对亮度和/或颜色进行离散化。如本文所使用的,术语“图像滤波器”是指应用于束轮廓和/或束轮廓的至少一个特定区域的至少一个数学运算。具体地,图像滤波器Ф将图像f或图像中的感兴趣区域映射成实数上,
Figure BDA0003817385790000301
其中,
Figure BDA0003817385790000302
表示特征,特别是材料特征。图像可能受限于噪声并且同样适用于特征。因此,特征可以是随机变量。特征可以是正态分布的。如果特征不是正态分布的,则可以将其转换为正态分布,诸如通过Box-Cox变换。
评估装置可配置用于通过将至少一个材料相关图像滤波器Ф2应用于图像来确定至少一个材料特征
Figure BDA0003817385790000305
如本文所使用的,术语“材料相关”图像滤波器是指具有材料相关输出的图像。材料相关图像滤波器的输出在本文中表示“材料特征
Figure BDA0003817385790000303
”或“材料相关特征
Figure BDA0003817385790000304
”。材料特征可以是或可以包括关于已产生反射特征的区的表面的至少一个材料特性的至少一个信息。
材料相关图像滤波器可以是选自以下各项的至少一个滤波器:亮度滤波器;斑点形状滤波器;平方范数梯度;标准偏差;平滑度滤波器,诸如高斯滤波器或中值滤波器;基于灰度出现的对比度滤波器;基于灰度出现的能量滤波器;基于灰度出现的同质性滤波器;基于灰度出现的相异性滤波器;定律(law)的能量滤波器;阈值面积滤波器;或其线性组合;或进一步的材料相关图像滤波器Ф2other,该进一步的材料相关图像滤波器Ф2other通过|ρФ2other,Фm|≥0.40与亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律的能量过滤器或阈值区域滤波器中的一种或多种、或它们的线性组合相关,其中Фm是亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律的能量滤波器、或阈值区域滤波器中的一种或其线性组合。该进一步的材料相关图像滤波器Ф2other可以通过|ρФ2other,Фm|≥0.60,优选地通过|ρФ2other,Фm|≥0.80与材料相关图像滤波器Фm中的一个或多个相关。
材料相关图像滤波器可以是通过假设测试的至少一个任意滤波器Ф。如本文所使用的,术语“通过假设测试”是指拒绝虚假设H0并且接受替代假设H1的事实。假设测试可包括通过将图像滤波器应用于预定义数据集来测试图像滤波器的材料相关性。数据集可包括多个束轮廓图像。如本文所使用的,术语“束轮廓图像”是指NB高斯径向基函数的和,
Figure BDA0003817385790000311
Figure BDA0003817385790000312
其中,NB高斯径向基函数中的每一者由中心(xlk,ylk)、前因子alk和指数因子α=1/∈定义。指数因子对于所有图像中的所有高斯函数相同。中心位置xlk,ylk对于所有图像fk:
Figure BDA0003817385790000313
都相同。数据集中的每个束轮廓图像可对应于材料分类器和距离。材料分类器可以是标签,诸如“材料A”、“材料B”等。可通过使用上述针对fk(x,y)的公式结合以下参数表来产生束轮廓图像:
Figure BDA0003817385790000314
x,y的值是对应于像素的整数,其中
Figure BDA0003817385790000315
图像可以具有32x32的像素尺寸。束轮廓图像的数据集可通过使用上述针对fk的公式结合参数集来产生,以获得fk的连续描述。对于32x32图像中的每个像素的值可以通过在fk(x,y)中针对x,y插入来自0,…,31的整数值来获得。例如,对于像素(6,9),可以计算值fk(6,9)。
随后,对于每个图像fk,可以计算对应于滤波器Φ的特征值
Figure BDA0003817385790000321
Figure BDA0003817385790000322
其中,zk是对应于来自预定义数据集的图像fk的距离值。这产生具有对应产生的特征值
Figure BDA0003817385790000323
的数据集。假设测试可以使用滤波器不在材料分类器之间区分的虚假设。虚假设可以由H0:μ1=μ2=…=μJ给出,其中,μm是对应于特征值
Figure BDA0003817385790000324
的每个材料组的期望值。索引m表示材料组。假设测试可以用作滤波器在至少两个材料分类器之间区分的替代假设。替代假设可以由H1
Figure BDA00038173857900003213
μm≠μm′给出。如本文所使用的,术语“不在材料分类器之间区分”是指材料分类器的期望值相同。如本文所使用的,术语“区分材料分类器”是指材料分类器的至少两个期望值不同。如本文所使用的,“区分至少两个材料分类器”与“适合的材料分类器”同义使用。假设测试可以包括对产生的特征值的至少一次方差分析(ANOVA)。特别是,假设测试可包括确定每种J材料的特征值的平均值,即,总J平均值,
Figure BDA0003817385790000325
对于m∈[0,1,…,J-1],其中,Nm给出预定义数据集中的每种J材料的特征值的数量。假设测试可包括确定所有N个特征值的平均值
Figure BDA0003817385790000326
假设测试可包括以下内容内确定平均平方和:
Figure BDA0003817385790000327
假设测试可包括以下内容之间的平均平方和,
Figure BDA0003817385790000328
假设测试可包括执行F测试:
ο
Figure BDA0003817385790000329
其中,d1=N-J,d2=J-1,
οF(x)=1–CDF(x)
οp=F(mssb/mssw)
在本文中,Ix是正则化不完全贝塔函数,
Figure BDA00038173857900003210
其中欧拉贝塔函数
Figure BDA00038173857900003211
以及
Figure BDA00038173857900003212
是不完全贝塔函数。如果p值p小于或等于预定义显著性水平,则图像滤波器可通过假设测试。如果p≤0.075,优选地p≤0.05,更优选地p≤0.025,且最优选地p≤0.01,则滤波器可通过假设测试。例如,在预定义显著性水平是α=0.075的情况下,如果p值小于α=0.075,则图像滤波器可通过假设测试。在这种情况下,可以拒绝虚假设H0,并且可以接受替代假设H1。因此,图像滤波器将至少两个材料分类器区分开。因此,图像滤波器通过假设测试。
在以下中,假设反射图像包括至少一个反射特征,特别是斑点图像,则描述图像滤波器。斑点图像f可以由函数f:R2→R≥0给出,其中,可能已经减去图像f的背景。然而,其他反射特征可以是可能的。
例如,材料相关图像滤波器可以是亮度滤波器。亮度滤波器可以返回斑点的亮度度量作为材料特征。材料特征可以由下式确定:
Figure BDA0003817385790000331
其中,f是斑点图像。斑点的距离由z表示,其中,z可以例如通过使用离焦测深或光子比率测深技术和/或通过使用三角测量技术来获得。材料的表面法线由n∈R3给出并且可以获得作为由至少三个测量点跨越的表面的法线。向量dray∈R3是光源的方向向量。由于斑点的位置通过使用离焦测深或光子比率测深技术和/或通过使用三角测量技术已知,其中,光源的位置已知为检测器系统的参数,因此dray是斑点与光源位置之间的差向量。
例如,材料相关图像滤波器可以是具有取决于斑点形状的输出的滤波器。该材料相关图像滤波器可返回与材料的半透明性相关的值作为材料特征。材料的半透明性影响斑点的形状。材料特征可以由下式给出:
Figure BDA0003817385790000332
其中,0<α,β<1是斑点高度h的权重,并且H表示重侧函数,即,H(x)=1∶x≥0,H(x)=0∶x<0。斑点高度h可以由下式确定:
Figure BDA0003817385790000333
其中,Br是具有半径r的斑点的内圆。
例如,材料相关图像滤波器可以是平方范数梯度。该材料相关图像滤波器可以返回与斑点的软和硬过渡和/或粗糙度的度量相关的值作为材料特征。材料特征可以由下式定义:
Figure BDA0003817385790000334
例如,材料相关图像滤波器可以是标准偏差。斑点的标准偏差可以由下式确定:
Figure BDA0003817385790000341
其中,μ是由μ=∫(f(x))dx给出的平均值。
例如,材料相关图像滤波器可以是平滑度滤波器,诸如高斯滤波器或中值滤波器。在平滑度滤波器的一个实施例中,该图像滤波器可参考与漫散射材料相比体积散射展现出较少散斑对比度的观察结果。该图像滤波器可将对应于散斑对比度的斑点的平滑度量化为材料特征。材料特征可以由下式确定:
Figure BDA0003817385790000342
其中,F是平滑度函数,例如中值滤波器或高斯滤波器。该图像滤波器可以包括除以距离z,如上述公式中所描述的。距离z可以例如使用离焦测深或光子比率测深技术和/或通过使用三角测量技术来确定。这可允许滤波器对距离敏感。在平滑度滤波器的一个实施例中,平滑度滤波器可以基于提取的散斑噪声图案的标准偏差。散斑噪声图案N可以通过下式以经验方式描述:
f(x)=f0(x)·(N(X)+1),
其中,f0是去散斑斑点的图像。N(X)是对散斑图案进行建模的噪声项。去散斑图像的计算可能是困难的。因此,去散斑图像可以利用f的平滑版本近似,即f0≈F(f),其中,F是类似高斯滤波器或中值滤波器的平滑度算子。因此,斑点图案的近似可以由下式给出:
Figure BDA0003817385790000343
该滤波器的材料特征可以由下式确定:
Figure BDA0003817385790000344
其中,Var表示方差函数。
例如,图像滤波器可以是基于灰度出现的对比度滤波器。该材料滤波器可以基于灰度出现矩阵Mf,ρ(g1g2)=[pg1,g2],而pg1,g2是灰度组合的出现率(g1,g2)=[f(x1,y1),f(x2,y2)],并且关系ρ定义了(x1,y1)与(x2,y2)之间的距离,其是ρ(x,y)=(x+a,y+b),其中a和b选自0,1。
基于灰度出现的对比度滤波器的材料特征可以由下式给出:
Figure BDA0003817385790000351
例如,图像滤波器可以是基于灰度出现的能量滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的能量滤波器的材料特征可以由下式给出:
Figure BDA0003817385790000352
例如,图像滤波器可以是基于灰度出现的同质性滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的同质性滤波器的材料特征可以由下式给出:
Figure BDA0003817385790000353
例如,图像滤波器可以是基于灰度出现的相异性滤波器。该材料滤波器基于上文定义的灰度出现矩阵。
基于灰度出现的相异性滤波器的材料特征可以由以下式子给出:
Figure BDA0003817385790000354
例如,图像滤波器可以是定律的能量滤波器。该材料滤波器可以基于定律向量(laws vector)L5=[1,4,6,4,1]和E5=[-1,-2,0,-2,-1]以及矩阵L5(E5)T和E5(L5)T
图像fk与这些矩阵卷积:
Figure BDA0003817385790000355
以及
Figure BDA0003817385790000356
Figure BDA0003817385790000361
Figure BDA0003817385790000362
而定律的能量滤波器的材料特征可以由下式确定:
Figure BDA0003817385790000363
例如,材料相关图像滤波器可以是阈值区滤波器。该材料特征可与图像平面中的两个区相关。第一区Ω1可以是函数f大于f的最大值α倍的区。第二区Ω2可以是函数f小于f的最大值α倍但是大于f的最大值阈值ε倍的区。优选地,α可以是0.5,并且ε可以是0.05。由于散斑或噪声,这些区可不仅仅对应于围绕斑点中心的内圆和外圆。作为示例,Ω1可包括外圆中的散斑或未连接区。材料特征可以由下式确定:
Figure BDA0003817385790000364
其中,Ω1={x|f(x)>α·max(f(x))}并且Ω2={x|ε·max(f(x))<f(x)<α·max(f(x))}。
评估装置可以被配置用于使用材料特征
Figure BDA0003817385790000365
与已产生反射特征的表面的材料特性之间的至少一种预定关系来确定已产生反射特征的表面的材料特性。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置可以包括用于存储预定关系的至少一个数据存储装置,诸如查找列表或查找表。
评估装置被配置用于在反射特征对应的材料特性满足至少一个预定或预定义标准的情况下,将反射特征识别为通过照射生物组织产生。在材料特性指示“生物组织”的情况下,反射特征可以被识别为由生物组织产生。在材料特性低于或等于至少一个阈值或范围的情况下,反射特征可以被识别为由生物组织产生,其中在确定的偏差低于和/或等于阈值的情况下,反射特征被识别为由生物组织产生和/或生物组织的检测被确认。至少一个阈值和/或范围可以存储在表或查找表中并且可以例如经验地确定,并且作为示例,可以存储在检测器的至少一个数据存储装置中。否则,评估装置被配置用于将反射特征识别为背景。因此,评估装置可以被配置用于向每个投射斑点分配深度信息和材料特性,例如皮肤是或否。
在确定纵向坐标z之后,可通过随后评估
Figure BDA0003817385790000371
来确定材料特性,使得可考虑关于纵向坐标z的信息用于评估
Figure BDA0003817385790000372
评估装置被配置用于通过使用至少一种分割算法来分割该区的图像。如本文所使用的,术语“片段”可以指图像的一部分和/或图像的子部分和/或图像的区域。该片段可以包括一组像素。如本文所使用的,术语“分割”可以指将图像分成多个片段的过程。分割可以包括将至少一个标签分配给图像的每个像素,使得具有相同标签的像素共享至少一个特征。可以在预定义的目标下分配标签。分割可以是二元分割。二元分割可以包括将图像的像素标记为“皮肤像素”和“背景像素”。所有非皮肤像素都可以被视为背景。皮肤像素可以被认为是前景种子,也表示为种子点,用作基于图像的分割算法的输入。关于图像分割,参考https://en.wikipedia.org/wiki/Image_segmentation。分割算法可以包括至少一个区域生长图像分割方法。
分割算法可以被配置用于融合和/或考虑先验知识。具体地,分割算法可以被配置用于融合和/或考虑从束轮廓分析确定的材料信息。这可以允许仅针对可见皮肤的运动获得或过滤位置数据。相反,在传统设置中,需要先完成例如什么是手指/手臂,什么不是的识别和分离。除了使用材料信息之外,评估装置可以被配置为考虑深度信息以根据深度图从背景中分割对象,特别是图像中的手部区域。
分割算法可以基于能量或成本函数,例如图形切割、水平集、快速行进和马尔可夫随机场方法中的一种或多种。图像的分割可以由颜色同质性和边缘指标驱动,其中种子点构成边缘和颜色同质性标准。如本文所使用的,术语“种子点”可以指分割算法的起点。识别为通过照射生物组织产生的反射特征被用作种子点,并且识别为背景的反射特征被用作背景种子点,以用于分割算法。这些种子点可以构成边缘和颜色同质性标准,从而提供目标分割的适当初始化:“图像中的皮肤具有哪种颜色和/或反射和/或外观?”。
例如,可以使用图形切割分割。图形切割分割可以配置用于融合先验知识,因为它在将其与预聚类算法(诸如超像素)结合时还提供实时能力,参见R.Achanta,A.Shaji,K.Smith,A.Lucchi、P.Fua和S.Süsstrunk的“与最先进的超像素方法相比的切片超像素,”IEEE TPAMI,第34卷,第11期,2012年(R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,andS.Süsstrunk,“Slic superpixels compared to state-of-the-art superpixelmethods,”IEEE TPAMI,vol.34,no.11,2012)。例如,可以使用修改的惰性捕捉图形切割。关于修改的惰性捕捉图形切割,参考Li、Yin和Sun、Jian和Tang、Chi-Keung和Shum、Heung-Yeung的“惰性捕捉”,ACM Trans.图形,第23卷,第3期,2004年(Li,Yin and Sun,Jian andTang,Chi-Keung and Shum,Heung-Yeung,“Lazy Snapping”,ACM Trans.Graph.,vol.23,no.3,2004)。Gibbs能量项可以包括附加项,以合并用于图形切割分割例程的深度信息。替代如Li、Yin和Sun、Jian和Tang、Chi-Keung和Shum、Heung-Yeung的“惰性捕捉”,ACM Trans中提出的基于分水岭的预切割,可以使用超像素聚类来确保实时能力。
评估装置被配置用于考虑分割的图像和深度图来确定对象在空间中的位置和/或取向。如本文所使用的,术语“分割的图像”可以指在分割过程之后的图像和/或分割算法的结果。如本文所使用的,术语“位置”是指关于对象和/或对象的至少一部分在空间中的位置和/或取向的至少一项信息。该距离可以是纵向坐标或者可以有助于确定对象点的纵向坐标。附加地或替代地,可以确定关于对象和/或对象的至少一部分的位置和/或取向的一项或多项其他信息。作为示例,附加地,可以确定对象和/或对象的至少一部分的至少一个横向坐标。因此,对象的位置可以暗指对象和/或对象的至少一部分的至少一个纵向坐标。附加地或替代地,对象的位置可以暗指对象和/或对象的至少一部分的至少一个横向坐标。附加地或替代地,对象的位置可以暗指对象的至少一个取向信息,指示对象在空间中的取向。
评估装置可以被配置用于根据对象在空间中的位置和/或取向来确定至少一个手部姿势或手势。评估装置可以被配置用于从分割的图像识别姿势,特别是从分割的图像的标记为对象的部分识别姿势。评估装置可以被配置用于识别分割的图像中的手掌和手指的图像坐标。手掌和手指识别可以从分割中获得。评估装置可以被配置用于从分割的图像的被标记为对象的部分提取特征,诸如颜色和/或亮度和/或梯度值。例如,可以使用标准OpenCV例程检测手掌和指尖。
评估装置可以被配置用于考虑手掌和指尖的图像坐标以及深度图来确定至少一个三维手指向量。如本文所使用的,术语“三维手指向量”可以指由指尖的点和手掌的点所跨越的3D向量。3D手指向量可以指定手指在空间中的位置和取向。评估装置可以被配置为用于从图像和深度图确定3D手指向量。3D手指向量可以为手部姿势估计和场景解释提供基础。对于手势的识别,评估装置可以被配置用于使用至少一种分类器,诸如隐马尔可夫模型(HMM)、支持向量机(SVM)、条件随机场(CRF)等。分类器可以被配置用于区分手势。
使用根据本发明的束轮廓分析传感器融合概念具有提供鲁棒检测结果、不需要复杂模型假设、单一传感器概念、易于集成和实时能力的优点。
在另一方面,本发明公开了一种用于姿势检测的方法,其中,使用根据本发明的检测器。该方法包括以下步骤:
a)将包括多个照射特征的至少一个照射图案投射到包括至少一个对象的至少一个区上,其中,该对象至少部分包括至少一只人手;
b)使用具有至少一个光敏区的至少一个光学传感器确定该区的至少一个图像,其中,该图像包括由该区响应于通过照射特征的照射而产生的多个反射特征;
c)通过使用至少一个评估装置确定每个反射特征的至少一个深度信息,来确定该区的至少一个深度图;
d)通过使用评估装置识别通过照射生物组织所产生的反射特征来找到对象,其中,确定每个反射特征的至少一个反射束轮廓,其中,在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下,反射特征被识别为通过照射生物组织而产生,其中反射特征否则被识别为背景;
e)通过使用评估装置、使用至少一种分割算法对该区的图像进行分割,其中,将识别为通过照射生物组织产生的反射特征用作种子点,将识别为背景的反射特征用作背景种子点,以用于分割算法;
f)通过使用评估装置考虑分割的图像和深度图来确定对象在空间中的位置和/或取向。
该方法步骤可以以给定顺序执行或可以以不同顺序执行。此外,可以存在未列出的一个或多个附加方法步骤。此外,可以重复地执行一个、一个以上或甚至所有方法步骤。针对细节、选项和定义,可以参考如上文所讨论的检测器。因此,具体地,如上所述,该方法可以包括使用根据本发明(诸如根据在上面给出或在下面更详细地给出的一个或多个实施例)的检测器。
所述至少一个评估装置可以被配置用于执行至少一个计算机程序,诸如被配置用于执行或者支持根据本发明的方法的方法步骤中的一个或多个或甚至全部。作为示例,可以实现可以检测姿势的一个或多个算法。
在本发明的进一步的方面中,提出了根据本发明的检测器的用途,诸如根据上文给出或下文更详细地给出的实施例中的一个或多个检测器的用途,出于使用的目的,选自包括以下各项的组:交通技术中的位置测量;娱乐应用;安保应用;监督应用;安全应用;人机接口应用;跟踪应用;摄影应用;成像应用或相机应用;用于产生至少一个空间的地图的地图构建应用;用于车辆的归航或跟踪信标检测器;室外应用;移动应用;通信应用;机器视觉应用;机器人应用;质量控制应用;制造应用。
关于本发明的检测器的进一步的用途,参考WO 2018/091649 A1、WO 2018/091638A1和WO 2018/091640 A1,其内容通过引用被包括。
总的来说,在本发明的上下文中,以下实施例被视为优选的:
实施例1:用于姿势检测的检测器,包括
-至少一个照射源,其被配置用于将包括多个照射特征的至少一个照射图案投射到包括至少一个对象的至少一个区上,其中,所述对象至少部分包括至少一只人手;
-具有至少一个光敏区的至少一个光学传感器,其中,所述光学传感器被配置用于确定所述区的至少一个图像,其中,所述图像包括由所述区响应于通过所述照射特征的照射而产生的多个反射特征;
-至少一个评估装置,其中,所述评估装置被配置用于通过确定每个反射特征的至少一个深度信息来确定所述区的至少一个深度图,
其中,所述评估装置被配置用于通过识别通过照射生物组织产生的所述反射特征来找到对象,其中,所述评估装置被配置用于确定每个反射特征的至少一个反射束轮廓,其中,所述评估装置被配置用于在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下将所述反射特征识别为通过照射生物组织而产生,其中,所述评估装置被配置用于否则将所述反射特征识别为背景,
其中,评估装置被配置用于通过使用至少一种分割算法对所述区的所述图像进行分割,其中,将识别为通过照射生物组织而产生的所述反射特征用作种子点,将识别为背景的所述反射特征用作背景种子点,以用于分割算法,
其中,评估装置被配置用于考虑所分割的图像和所述深度图来确定所述对象在空间中的位置和/或取向。
实施例2:根据前一实施例所述的检测器,其中,所述评估装置被配置用于识别所述分割图像中的手掌和手指的图像坐标,其中,所述评估装置被配置用于考虑手掌和手指的图像坐标和所述深度图来确定至少一个三维手指向量。
实施例3:根据前述实施例中任一项所述的检测器,其中,所述评估装置被配置用于根据所述对象在空间中的所述位置和/或所述取向确定至少一个手部姿势或手势。
实施例4:根据前述实施例中任一项所述的检测器,其中,所述分割算法基于能量或成本函数,诸如图形切割、水平集、快速行进和马尔可夫随机场方法中的一种或多种。
实施例5:根据前述实施例中任一项所述的检测器,其中,所述图像的分割由颜色同质性和边缘指标驱动,其中,所述种子点构成边缘和颜色同质性标准。
实施例6:根据前述实施例中任一项所述的检测器,其中,所述评估装置被配置用于将每个所述反射特征的所述反射束轮廓与至少一个预定和/或预先记录和/或预定义的束轮廓进行比较。
实施例7:根据前一实施例所述的检测器,其中,所述比较包括将所述反射束轮廓与所述预定的和/或预先记录的和/或预定义的束轮廓重叠,使得它们的强度中心匹配,其中,所述比较包括确定所述反射束轮廓与所述预定的和/或预先记录的和/或预定义的束轮廓之间的偏差,其中,所述评估装置被配置用于将所确定的偏差与至少一个阈值进行比较,其中,在所确定的偏差低于和/或或等于所述阈值的情况下,所述反射特征被指示为生物组织。
实施例8:根据前述实施例中任一项所述的检测器,其中,所述评估装置被配置用于通过以下技术中的一种或多种确定每个所述反射特征的所述深度信息:光子比率测深、结构光、束轮廓分析、飞行时间、从运动恢复形状、聚焦测深、三角测量、散焦测深、立体传感器。
实施例9:根据前述实施例中任一项所述的检测器,其中,所述评估装置被配置用于通过使用光子比率测深技术来确定每个所述反射特征的所述深度信息,其中,所述评估装置被配置用于确定所述反射特征中的至少一个反射特征的束轮廓的至少一个第一区和至少一个第二区,其中,所述评估装置被配置为用于对所述第一区和所述第二区进行积分,其中,所述评估装置被配置用于通过以下各项中的一项或多项导出商Q:对积分的第一区和积分的第二区进行除法运算、对积分的第一区和积分的第二区的倍数进行除法运算、对积分的第一区和积分的第二区的线性组合进行除法运算。
实施例10:根据前一实施例所述的检测器,其中,所述反射束轮廓的所述第一区包括所述反射束轮廓的基本上边缘信息,并且所述反射束轮廓的所述第二区包括所述反射束轮廓的基本上中心信息,和/或其中,所述反射束轮廓的所述第一区包括基本上关于所述反射束轮廓的左侧部分的信息,并且所述反射束轮廓的所述第二区包括基本上关于所述反射束轮廓的右侧部分的信息。
实施例11:根据前述两个实施例中任一项所述的检测器,其中,所述评估装置被配置用于通过以式导出所述商Q
Figure BDA0003817385790000431
其中,x和y是横向坐标,A1和A2分别是反射束轮廓的第一区和第二区,E(x,y)表示反射束轮廓。
实施例12:根据前述实施例中任一项所述的检测器,其中,所述照射源被配置用于在近红外区域(NIR)中生成所述至少一个照射图案。
实施例13:根据前述实施例中任一项所述的检测器,其中,所述光学传感器包括至少一个CMOS传感器。
实施例14:一种姿势检测的方法,其中,使用根据前述实施例的至少一个检测器,所述方法包括以下步骤:
a)将包括多个照射特征的至少一个照射图案投射到包括至少一个对象的至少一个区上,其中,所述对象至少部分包括至少一只人手;
b)使用具有至少一个光敏区的至少一个光学传感器确定所述区的至少一个图像,其中,所述图像包括由所述区响应于通过照射特征的照射而产生的多个反射特征;
c)通过使用至少一个评估装置确定每个所述反射特征的至少一个深度信息来确定所述区的至少一个深度图;
d)通过使用所述评估装置并通过识别通过照射生物组织产生的所述反射特征来找到所述对象,其中,确定每个所述反射特征的至少一个反射束轮廓,其中,在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下,所述反射特征被识别为通过照射生物组织而产生,其中,所述反射特征否则被识别为背景;
e)通过使用所述评估装置并通过使用至少一种分割算法对所述区的所述图像进行分割,其中,将识别为通过照射生物组织产生的所述反射特征用作种子点,将识别为背景的所述反射特征用作背景种子点,以用于所述分割算法;
f)通过使用所述评估装置考虑所分割的图像和所述深度图来确定所述对象在空间中的位置和/或取向。
实施例15:一种根据涉及检测器的前述实施例中任一项所述的检测器的用途,出于使用目的,选自由以下各项组成的组:驾驶员监控;车内监控;姿势跟踪;安保应用;安全应用;人机接口应用;信息技术应用;农业应用;作物保护应用;医疗应用;维护应用;化妆品应用。
附图说明
从以下结合从属权利要求对优选示例性实施例的描述,本发明的其他可选细节和特征将显而易见。在这种情况下,可以以分离的方式或通过与其他特征组合来实现特定特征。本发明不限于示例性实施例。在附图中示意性地示出了示例性实施例。各个附图中相同的参考标号指代相同的元件或具有相同功能的元件,或者在其功能方面彼此对应的元件。
具体地,在图中:
图1示出了根据本发明的检测器的实施例;和
图2A到2C示出了根据本发明的姿势检测;和
具体实施方式
图1以高度示意的方式示出了用于姿势检测的检测器110的实施例。姿势可以包括身体姿势,诸如身体的至少一部分的身体姿势,特别是手势。姿势可以是静态的或动态的。姿势可以包括手部的至少一部分(诸如手指)的移动,一只或两只手、面部或身体其他部分的移动。姿势检测可以包括确定姿势的存在或不存在和/或姿势识别。姿势识别可以包括通过数学算法解释人类姿势。
检测器110包括至少一个照射源112,该照射源112被配置用于将包括多个照射特征的至少一个照射图案投射到包括至少一个对象116的至少一个区114上。对象116至少部分地包括至少一只人手。
照射源112可以被配置用于提供用于区114的照射的照射图案。照射源112可以适合于直接或间接照射区114,其中,照射图案被区114的表面反射或散射,因此,被至少部分地导向至少一个光学传感器118。照射源112可以被配置用于照射区114,例如,通过将光束朝向区114引导,区114反射光光束。照射源112可被配置用于产生用于照射区114的照射光束。
该区可以包括至少一个对象116和周围环境。例如,该对象可以是选自由以下组成的组中的至少一个对象:场景、诸如人类的人、木头、地毯、泡沫、诸如牛的动物、植物、组织块、金属、玩具、金属对象、饮料、诸如水果、肉、鱼的食物、盘子、化妆品、应用化妆品、衣物、毛皮、头发、保养品、植物、身体、身体的一部分、有机材料、无机材料、反射材料、屏幕、显示器、墙壁、一张纸、诸如照片。对象116可以包括至少一个表面,照射图案投射在该表面上。该表面可以适于至少部分地将照射图案反射回检测器110。对象116可以具体地是人体或人体的至少一部分,例如至少一只手臂、至少一只手、至少一根手指或面部。对象116至少部分地包括至少一只人手。对象116可以是人手和/或至少一根手指和/或手掌的至少一部分。
照射源112可包括至少一个光源。照射源112可包括多个光源。照射源112可以包括人工照射源,特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源,例如,至少一个发光二极管,特别是有机和/或无机发光二极管。作为示例,由照射源发射的光可以具有300至1000nm(尤其500至1000nm)的波长。附加地或者替代地,可以使用红外光谱范围内的光,诸如在780nm至3.0μm的范围内。具体地,可以使用近红外区域的一部分中的光,在近红外区域的该部分中,硅光电二极管具体地适用于700nm至1100nm的范围。照射源114可以被配置用于在红外区域中产生至少一个照射图案。使用近红外区域中的光允许光不或仅微弱地被人眼检测到,并且仍然可以由硅传感器、特别是标准硅传感器检测到。
照射源112可以被配置用于发射单个波长处的光。具体地,波长可以在近红外区域中。在其他实施例中,照射源112可以被配置用于发射具有多个波长的光,从而允许在其他波长通道中进行附加测量。
照射源112可以是或可以包括至少一个多束光源。例如,照射源112可包括至少一个激光源和一个或多个衍射光学元件(DOE)。具体地,照射源112可包括至少一个激光器和/或激光源。可以使用各种类型的激光器,诸如半导体激光器、双异质结构激光器、外腔激光器、分离限制异质结构激光器、量子级联激光器、分布式布拉格反射器激光器、极化子激光器、混合硅激光器、扩展腔二极管激光器、量子点激光器、体积布拉格光栅激光器、砷化铟激光器、晶体管激光器、二极管泵浦激光器、分布式反馈激光器、量子阱激光器、带间级联激光器、砷化镓激光器、半导体环形激光器、扩展腔二极管激光器,或垂直腔表面发射激光器。附加地或者替代地,可以使用非激光光源,诸如LED和/或灯泡。照射源112可包括适于产生照射图案的一个或多个衍射光学元件(DOE)。例如,照射源112可以适于产生和/或投射点云,例如,照射源可包括以下各项中的一项或多项:至少一个数字光处理投影仪、至少一个LCoS投射器、至少一个空间光调制器;至少一个衍射光学元件;至少一个发光二极管阵列;至少一个激光光源阵列。由于其通常定义的束轮廓和可操作性的其他特性,使用至少一个激光源作为照射源是特别优选的。照射源112可以集成到所述检测器110的壳体120中。
由照射源112产生的一个或多个光束通常可以平行于光轴122传播或相对于光轴112倾斜,例如包括与光轴的角度。检测器110可以被配置为使得一个或多个光束沿着检测器110的光轴从检测器110朝向区114传播。为此,检测器110可以包括至少一个反射元件,优选地至少一个棱镜,用于将照射光束偏转到光轴122上。作为示例,一个或多个光束,诸如激光束,和光轴122可以包括小于10°、优选小于5°或甚至小于2°的角度。然而,其他实施例也是可行的。此外,一个或多个光束可以在光轴上或偏离光轴。作为示例,一个光束或多个光束可以平行于光轴122,其距光轴的距离小于10mm,优选地距光轴的距离小于5mm,或者甚至距光轴的距离小于1mm,或者甚至可以与光轴重合。
照射图案可以包括至少一个照射特征,其包括适于照射区114的至少一部分。照射图案可包括单个照射特征。照射图案可包括多个照射特征。照射图案可以选自包括以下各项的组:至少一个点图案;至少一个线图案;至少一个条纹图案;至少一个棋盘图案;包括周期性或非周期性特征的布置的至少一个图案。照射图案可包括规则和/或恒定和/或周期图案,诸如三角形图案、矩形图案、六边形图案、或包括进一步的凸瓦片的图案。照射图案可以展现出选自包括以下各项的组的至少一个照射特征:至少一个点;至少一条线;至少两条线,诸如平行线或交叉线;至少一个点和一条线;周期性或非周期性特征的至少一个布置;至少一个任意成形的特征。照射图案可包括选自包括以下各项的组的至少一个图案:至少一个点图案,特别是伪随机点图案;随机点图案或者准随机图案;至少一个索博尔图案;至少一个准周期图案;包括至少一个预知特征的至少一个图案;至少一个规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案;包括凸均匀瓦片的至少一个图案;包括至少一条线的至少一个线图案;包括至少两条线的至少一个线图案,诸如平行或交叉线。例如,照射源112可以适于产生和/或投射点云。照射源112可包括适于产生点云使得照射图案可包括多个点图案的至少一个光投射器。照射源112可包括至少一个掩模,该至少一个掩模适于从由照射源112产生的至少一个光束产生照射图案。
照射图案的两个特征之间的距离和/或至少一个照射特征的面积可以取决于图像中的模糊圆。如上文所概述的,照射源112可包括被配置用于产生至少一个照射图案的至少一个光源。具体地,照射源包括至少一个激光源和/或指定用于产生激光辐射的至少一个激光二极管。照射源112可包括至少一个衍射光学元件(DOE)。检测器110可包括至少一个点投射器,诸如至少一个激光源和DOE,其适于投射至少一个周期性点图案。
照射源112可以用照射图案照射至少一个对象116。照射图案可以包括多个点。这些点被示为从照射源112射出的光束124。
检测器110包括具有至少一个光敏区126的至少一个光学传感器118。光学传感器118被配置用于确定该区114的至少一个图像128。图像的实施例在图2A中示出。图像128包括由区114响应于通过照射特征的照射而产生的多个反射特征130。检测器110可以包括多个光学传感器118,每个光学传感器118具有光敏区126。优选地,光敏区126可以被取向为基本上垂直于检测器110的光轴122。
光学传感器118具体地可以是或可以包括至少一个光电检测器,优选地无机光电检测器,更优选地无机半导体光电检测器,最优选地硅光电检测器。具体地,光学传感器118可以在红外光谱范围内敏感。光学传感器118可以包括至少一个传感器元件,该至少一个传感器元件包括像素矩阵。矩阵中的所有像素或矩阵中的至少一组光学传感器具体可以相同。具体地,可针对不同光谱范围提供矩阵的相同像素的组,或者所有像素具有相同的光谱灵敏度。此外,像素可以具有相同的尺寸和/或在其电子或光电子特性方面相同。具体地,光学传感器118可以是或可以包括至少一个无机光电二极管,其在红外光谱范围内,优选在700nm至3.0微米范围内敏感。具体地,光学传感器118可以在近红外区域的一部分中敏感,在该部分中,硅光电二极管具体地适用于在700nm至1100nm范围内。可用于光学传感器的红外光学传感器是可商购的红外光学传感器,诸如德国D-67056Ludwigshafen am Rhein的TrinamiXTMGmbH公司推出的商标名称为HertzstueckTM的可商购红外光学传感器。因此,作为示例,光学传感器118可以包括固有光伏类型的至少一个光学传感器,更优选地选自包括以下各项的组的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。附加地或者替代地,光学传感器118可以包括固有光伏类型的至少一个光学传感器,更优选地选自包括以下各项的组的至少一个半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。附加地或者替代地,光学传感器118可以包括至少一个光电导传感器,诸如PbS或PbSe传感器、辐射热测量计,优选地选自VO辐射热测量计和非晶Si辐射热测量计的辐射热测量计。
光学传感器118可以在紫外、可见或红外光谱范围中的一个或多个内敏感。具体地,光学传感器118可以在从500nm至780nm的可见光谱范围内敏感,最优选地在650nm至750nm处或在690nm至700nm处敏感。具体地,光学传感器118可以在近红外区域中敏感。具体地,光学传感器118可以在近红外区域的一部分中敏感,在该部分中,硅光电二极管具体地适用于700nm至1000nm的范围内。光学传感器118具体地可以在红外光谱范围内敏感,具体地在780nm至3.0微米的范围内敏感。例如,光学传感器118各自单独地可以是或可以包括选自包括以下各项的组的至少一个元件:光电二极管、光电池、光电导体、光电晶体管或其任何组合。例如,光学传感器118可以是或可以包括选自包括以下各项的组的至少一个元件:CCD传感器元件、CMOS传感器元件、光电二极管、光电池、光电导体、光电晶体管或其任何组合。可以使用任何其他类型的光敏元件。光敏元件通常可以完全或部分由无机材料制成和/或可以完全或部分由有机材料制成。最常见地,可以使用一个或多个光电二极管,诸如可商购的光电二极管,例如,无机半导体光电二极管。
光学传感器118可包括至少一个传感器元件,该至少一个传感器元件包括像素矩阵。因此,作为示例,光学传感器118可以是像素化光学器件的一部分或构成像素化光学器件。例如,光学传感器118可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例,光学传感器118可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或者构成具有像素矩阵的至少一个CCD和/或CMOS器件,每个像素形成光敏区。传感器元件可以形成为单个器件或多个器件的组合。传感器元件包括光学传感器矩阵。传感器元件可以包括至少一个CMOS传感器。该矩阵可以由诸如独立光学传感器的独立像素组成。因此,可以包括无机光电二极管的矩阵。然而,替代地,可以使用可商业上可得的矩阵,诸如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一个或多个。因此,通常,传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件和/或光学传感器可以形成传感器阵列或可以是传感器阵列的一部分,例如上述矩阵。因此,作为示例,传感器元件可以包括像素阵列,例如具有m行和n列的矩形阵列,其中m、n独立地为正整数。优选地,给出多于一列和多于一行,即n>1,m>1。因此,作为示例,n可以为2至16或更高,m可以为2至16或更高。优选地,行数和列数的比率接近1。作为示例,可以选择n和m使得0.3≤m/n≤3,例如通过选择m/n=1:1、4:3、16:9或类似的。作为示例,阵列可以是正方形阵列,具有相等的行数和列数,诸如通过选择m=2、n=2或m=3、n=3等。
该矩阵可以包括独立像素,诸如独立光学传感器的独立像素。因此,可以包括无机光电二极管的矩阵。然而,可替代地,可以使用商业上可得的矩阵,诸如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一个或多个。因此,通常,光学传感器可以是和/或可以包括至少一个CCD和/或CMOS器件和/或检测器的光学传感器可以形成传感器阵列或可以是传感器阵列的一部分,诸如以上提到的矩阵。
矩阵具体可以是具有至少一行、优选多行,和多列的矩形矩阵。作为示例,行和列可以基本上垂直取向。如本文所使用的,术语“基本上垂直”是指垂直取向的情况,具有例如±20°或更小的公差,优选±10°或更小的公差,更优选±5°或更小的公差。类似地,术语“基本上平行”是指平行取向的情况,具有例如±20°或更小的公差,优选±10°或更小的公差,更优选±5°或更小的公差。因此,作为示例,小于20°、具体地小于10°或甚至小于5°的公差是可接受的。为了提供大范围的视野,矩阵具体可以具有至少10行,优选至少500行,更优选至少1000行。类似地,矩阵可以具有至少10列,优选至少500列,更优选至少1000列。该矩阵可以包括至少50个光学传感器,优选地至少100000个光学传感器,更优选地至少5000000个光学传感器。该矩阵可以包括数百万像素范围内的多个像素。然而,其他实施例是可行的。因此,在期望轴向旋转对称的设置中,矩阵的光学传感器的圆形布置或同心布置(也可称为像素)可能是优选的。
因此,作为示例,传感器元件可以是像素化光学装置的一部分或构成像素化光学装置。例如,传感器元件可以是和/或可以包括至少一个CCD和/或CMOS器件。作为示例,传感器元件可以是具有像素矩阵的至少一个CCD和/或CMOS器件的一部分或构成至少一个CCD和/或CMOS器件,每个像素形成光敏区。传感器元件可以采用滚动快门或全局快门方法来读出光学传感器的矩阵。
检测器110还可以包括至少一个传送装置132。检测器110还可以包括一个或多个附加元件,诸如一个或多个附加光学元件。检测器110可以包括至少一个光学元件,该至少一个光学元件选自由以下组成的组:传送装置,诸如至少一个透镜和/或至少一个透镜系统,至少一个衍射光学元件。传送装置132可以适于将光束引导到光学传感器上。传输装置132具体可以包括以下中的一种或多种:至少一个透镜,例如选自由至少一个可调焦透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜组成的组中的至少一个透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个光束偏转元件,优选至少一个反射镜;至少一个分束元件,优选分束立方体或分束镜中的至少一种;至少一个多透镜系统。焦距构成传送装置132会聚入射光束的能力的量度。因此,传送装置132可以包括可以具有会聚透镜效果的一个或多个成像元件。通过示例方式,传送装置132可以具有一个或多个透镜,特别是一个或多个折射透镜,和/或一个或多个凸面镜。在该示例中,焦距可以定义为从薄折射透镜的中心到薄透镜的主焦点的距离。对于会聚薄折射透镜,诸如凸或双凸薄透镜,焦距可以被认为是正的,并且可以提供入射到作为传送装置的薄透镜的准直光束可以被聚焦成单个斑的距离。此外,传送装置132可以包括至少一个波长选择元件,例如至少一个滤光器。此外,传送装置可以被设计为对电磁辐射施加预定的束轮廓,例如在传感器区域的位置处,特别是在传感器区的位置处。传送装置132的上述可选实施例原则上可以单独或以任何期望的组合来实现。
传送装置132可以具有光轴。特别地,检测器110和传送装置132具有共同的光轴122。光轴122可以是检测器110的光学设置的对称线。传送装置132可以构成坐标系统134,其中,纵向坐标是沿光轴122的坐标,并且其中d是从光轴122的空间偏移。坐标系134可以是极坐标系,其中传送装置132的光轴形成z轴,其中距z轴的距离和极角可以用作附加坐标。与z轴平行或反平行的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵向坐标。任何垂直于z轴的方向都可以被认为是横向方向,极坐标和/或极角可以被认为是横向坐标。
光学传感器118被配置用于确定区114的至少一个图像128。图像128包括由该区响应于通过照射特征的照射产生的多个反射特征130。图像128可以是至少一个二维图像。图像128可以是RGB(红绿蓝)图像。
检测器包括至少一个评估装置136。评估装置136被配置用于评估图像128。评估装置136可包括至少一个数据处理装置,并且更优选地,通过使用至少一个处理器和/或至少一个专用集成电路。因此,作为示例,至少一个评估装置136可以包括至少一个数据处理装置,该数据处理装置上存储有包括大量计算机命令的软件代码。评估装置136可以提供用于执行指定操作中的一个或多个的一个或多个硬件元件,和/或可以向一个或多个处理器提供在其上运行以执行指定操作中的一个或多个的软件。操作,包括评估图像。具体地,确定束轮廓和表面的指示可以由至少一个评估装置136来执行。因此,作为示例,一个或多个指令可以在软件和/或硬件中实现。因此,作为示例,评估装置136可以包括被配置为执行上述评估的一个或多个可编程装置,诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。然而,附加地或者替代地,评估装置136也可以全部或部分地由硬件来体现。
评估装置136和检测器110可以完全或部分地集成到单个装置中。因此,通常,评估装置136也可以形成检测器110的一部分。替代地,评估装置136和检测器110可以完全或部分地实现为分离的装置。检测器110可以包括进一步的组件。
评估装置136被配置用于通过确定每个反射特征130的至少一个深度信息来确定区114的至少一个深度图。评估装置136可以被配置用于通过以下技术中的一种或多种确定每个反射特征130的深度信息:光子比率测深、结构光、束轮廓分析、飞行时间、从运动恢复形状、聚焦测深、三角测量、离焦测深、立体传感器。评估装置136可以被配置用于考虑深度信息以根据深度图从背景分割对象116,特别是图像128中的手部区域。
例如,评估装置136可以被配置用于通过使用光子比率测深技术来确定每个反射特征130的深度信息。每个反射特征130可以包括至少一个束轮廓,也表示反射束轮廓。束轮廓可以选自由以下各项组成的组:梯形束轮廓;三角形束轮廓;锥形束轮廓和高斯光束轮廓的线性组合。评估装置136可以被配置用于通过分析它们的束轮廓来确定每个反射特征130的深度信息。
评估装置136可以被配置用于通过分析它们的束轮廓来确定每个反射特征130的至少一个纵向坐标zDPR。例如,束轮廓的分析可以包括直方图分析步骤、差异度量的计算、神经网络的应用、机器学习算法的应用中的至少一种。评估装置136可以被配置用于对束轮廓进行对称化和/或归一化和/或滤波,特别是以从在较大角度下的记录、记录边缘等中移除噪声或不对称。评估装置136可以通过移除高空间频率来对束轮廓进行滤波,诸如通过空间频率分析和/或中值滤波等。可以通过光斑的强度中心和到中心相同距离处的所有强度的平均来执行总结。评估装置136可以被配置用于将束轮廓归一化到最大强度,特别是考虑到归因于记录的距离的强度差异。评估装置136可以被配置用于例如通过无需照射的成像从束轮廓中移除来自背景光的影响。
评估装置136可以被配置用于通过使用光子比率测深技术来确定每个反射特征的纵向坐标zDPR。关于光子比率测深(DPR)技术,参考WO 2018/091649 A1、WO 2018/091638 A1和WO 2018/091640 A1,其全部内容通过引用包括在内。评估装置136可以被配置用于执行至少一种光子比率测深算法,该算法以零阶和更高阶计算所有反射特征130的距离。
图像128的评估包括识别图像128的反射特征130。评估装置136可以被配置用于执行至少一种图像分析和/或图像处理以便识别反射特征130。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下中的一项或多项:滤波;选择至少一个感兴趣区域;在由传感器信号创建的图像和至少一个偏移之间形成差异图像;通过反转由传感器信号创建的图像来反转传感器信号;在不同时间由传感器信号创建的图像之间形成差异图像;背景校正;分解成颜色通道;分解成色调;饱和度;和亮度通道;频率分解;奇异值分解;应用斑点检测器;应用角点检测器;应用Hessian滤波器行列式;应用基于主曲率的区域检测器;应用最大稳定极值区域检测器;应用广义霍夫变换;应用脊检测器;应用仿射不变特征检测器;应用仿射适应的兴趣点算子;应用哈里斯仿射区域检测器;应用Hessian仿射区域检测器;应用尺度不变特征变换;应用尺度空间极值检测器;应用局部特征检测器;应用加速鲁棒特征算法;应用梯度位置和取向直方图算法;应用取向梯度描述符的直方图;应用Deriche边缘检测器;应用差分边缘检测器;应用时空兴趣点检测器;应用Moravec角点检测器;应用Canny边缘检测器;应用高斯拉普拉斯滤波器;应用高斯差分滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅立叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值化;创建二进制图像。感兴趣区域可以由用户手动确定或可以自动确定,诸如通过识别由光学传感器118生成的图像128内的特征。
例如,照射源112可以被配置用于生成和/或投影点云,使得在光学传感器118(例如CMOS检测器)上生成多个照射区域。附加地,光学传感器118上可能存在干扰,诸如由于散斑和/或外来光和/或多次反射引起的干扰。评估装置136可适于确定至少一个感兴趣区域,例如用于确定对象的纵向坐标的由光束照射的一个或多个像素。例如,评估装置136可以适于执行滤波方法,例如斑点分析和/或边缘过滤和/或对象识别方法。
评估装置136可以被配置用于执行至少一个图像校正。图像校正可以包括至少一个背景减除。评估装置136可以适于从束轮廓中去除来自背景光的影响,例如,通过在没有进一步照射的情况下进行成像。
评估装置136被配置用于通过识别通过照射生物组织而产生的反射特征130来找到对象116。评估装置136被配置用于确定每个反射特征130的至少一个反射束轮廓。评估装置136被配置用于在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下将反射特征130识别为通过照射生物组织而产生。否则,评估装置136被配置用于将反射特征识别为背景。
检测器110可以是用于生物组织(特别是人类皮肤)的检测、尤其是光学检测的装置。由生物组织产生的识别可以包括确定和/或验证待检查或待测试的表面是否是或包括生物组织,特别是人类皮肤,和/或将生物组织、特别是人类皮肤,与其他组织、特别是其他表面区分开,和/或将不同类型的生物组织区分开,诸如将不同类型的人类组织区分开,例如肌肉、脂肪、器官等。例如,生物组织可以是或可以包括人类组织或其一部分,诸如皮肤、头发、肌肉、脂肪、器官等。例如,生物组织可以是或可以包括动物组织或其一部分,诸如皮肤、毛皮、肌肉、脂肪、器官等。例如,生物组织可以是或可以包括植物组织或其一部分。检测器110可以适于将动物组织或其部分与例如农业机器或挤奶机器的无机组织、金属表面、塑料表面中的一种或多种区分开。检测器110可以适于将植物组织或其一部分与例如农业机器的无机组织、金属表面、塑料表面中的一种或多种区分开。检测器110可以适于将食物和/或饮料与盘子和/或玻璃杯区分开。检测器110可以适用于将不同类型的食物,诸如水果、肉和鱼区分开。检测器110可以适于将化妆品和/或应用的化妆品与人类皮肤区分开。检测器110可以适用于将人类皮肤与泡沫、纸、木头、显示器、屏幕区分开。检测器110可以适用于将人类皮肤和衣物区分开。检测器110可以适用于将维护产品和机器组件的材料、诸如金属组件等区分开。检测器110可以适用于将有机材料和无机材料区分开。检测器110可以适用于将人类生物组织与人造或非生命对象的表面区分开。检测器110特别地可以用于非治疗和非诊断应用。
预定的或预定义的标准可以是或可以包括适合于将生物组织,特别是人类皮肤,与其他材料区分开的至少一个特性和/或值。预定或预定义标准可以是或可以包括涉及材料特性的至少一个预定或预定义值和/或阈值和/或阈值范围。在反射束轮廓满足至少一个预定或预定义标准的情况下,反射特征130可以被指示为通过生物组织产生。指示可以是指任意指示,诸如电子信号和/或至少一个视觉或听觉指示。
评估装置136可以被配置用于通过评估反射特征的束轮廓来确定对象的至少一种材料特性m。材料特性可以是或可以包括被配置用于对材料进行表征和/或识别和/或分类的材料的至少一种任意特性。例如,材料特性可以是选自以下各项的特性:粗糙度、光对材料的穿透深度、将材料表征为生物或非生物材料的特性、反射率、镜面反射率、漫反射率、表面特性、半透明度度量、散射,具体是后向散射行为等。至少一个材料特性可以是选择以下各项的特性:散射系数、半透明性、透明度、与朗伯表面反射的偏差、散斑等。识别至少一个材料特性可以包括以下中的一种或多种:确定材料特性和将材料特性分配给对象。检测器110可以包括至少一个数据库,该数据库包括预定义和/或预定材料特性的列表和/或表,诸如查找列表或查找表。材料特性的列表和/或表可以通过使用根据本发明的检测器执行至少一次测试测量来确定和/或产生,例如通过使用具有已知材料特性的样品执行材料测试。材料特性的列表和/或表可在制造商现场和/或由检测器110的用户确定和/或产生。材料特性可以附加地分配给材料分类器,诸如以下中的一者或多者:材料名称,材料组,诸如生物或非生物材料、半透明或非半透明材料、金属或非金属、皮肤或非皮肤、毛皮或非毛皮、地毯或非地毯、反射或非反射、镜面反射或非镜面反射、泡沫或非泡沫、头发或非头发,粗糙度组等。检测器110可以包括至少一个数据库,该数据库包括包含材料特性和相关材料名称和/或材料组的列表和/或表。
例如,不希望受制于该理论,人类皮肤可以具有反射轮廓,也表示为后向散射轮廓,包括由表面的后向反射产生的部分,其表示为表面反射;以及由来自穿透皮肤的光的非常漫反射产生的部分,其表示为后向反射的漫反射部分。关于人类皮肤的反射轮廓,参考“Lasertechnik in der Medizin:Grundlagen,Systeme,Anwendungen”,“Wirkung vonLaserstrahlung auf Gewebe”,1991年,第10 171至266页,Jürgen Eichler,Theo Seiler,Springer Verlag,ISBN 0939-0979。皮肤的表面反射可随着波长向近红外增加而增加。此外,穿透深度可以随着波长从可见光到近红外的增加而增加。后向反射的漫反射部分可随着光的穿透深度而增加。通过分析后向散射轮廓,这些特性可用于将皮肤与其他材料区分开。
具体地,评估装置136可以被配置用于将反射束轮廓与至少一个预定和/或预记录和/或预定义的束轮廓进行比较。预定和/或预记录和/或预定义的束轮廓可以存储在表或查找表中,并且可以例如凭经验地确定,并且作为示例,可以存储在检测器的至少一个数据存储装置中。例如,可以在包括检测器的移动装置的初始启动期间确定预定和/或预记录和/或预定义的束轮廓。例如,预定和/或预记录和/或预定义的束轮廓可存储在移动装置的至少一个数据存储装置中,例如,通过软件,具体地通过从应用商店等下载的应用。在反射束轮廓和预定和/或预记录和/或预定义的束轮廓相同的情况下,反射特征130可以被识别为由生物组织产生。比较可包括将反射束轮廓和预定或预定义的束轮廓重叠,使得它们的强度中心匹配。该比较可包括确定反射束轮廓与预定和/或预记录和/或预定义的束轮廓之间的偏差,例如点到点距离的平方和。评估装置136可以适于将确定的偏差与至少一个阈值进行比较,其中在确定的偏差低于和/或等于阈值的情况下,表面被指示为生物组织和/或生物组织的检测被确认。阈值可以存储在表或查找表中并且可以例如经验地确定,并且作为示例,可以存储在检测器110的至少一个数据存储装置中。
附加地或替代地,为了识别反射特征130是否由生物组织产生,评估装置136可以被配置用于将至少一个图像过滤器应用于区114的图像128。评估装置136可以被配置用于通过将至少一个材料相关图像过滤器Ф2应用于图像来确定至少一个材料特征
Figure BDA0003817385790000581
材料特征可以是或可以包括关于已产生反射特征130的区114的表面的至少一个材料特性的至少一个信息。
材料相关图像滤波器可以是选自以下各项的至少一个滤波器:亮度滤波器;斑点形状滤波器;平方范数梯度;标准偏差;平滑度滤波器,诸如高斯滤波器或中值滤波器;基于灰度出现的对比度滤波器;基于灰度出现的能量滤波器;基于灰度出现的同质性滤波器;基于灰度出现的相异性滤波器;定律(law)的能量滤波器;阈值面积滤波器;或其线性组合;或进一步的材料相关图像滤波器Ф2other,该进一步的材料相关图像滤波器Ф2other通过|ρФ2other,Фm|≥0.40与亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律的能量过滤器或阈值区域滤波器中的一种或多种、或它们的线性组合相关,其中Фm是亮度滤波器、斑点形状滤波器、平方范数梯度、标准偏差、平滑度滤波器、基于灰度出现的能量滤波器、基于灰度出现的同质性滤波器、基于灰度出现的相异性滤波器、定律的能量滤波器、或阈值区域滤波器中的一种或其线性组合。该进一步的材料相关图像滤波器Ф2other可以通过|ρФ2other,Фm|≥0.60,优选地通过|ρФ2other,Фm|≥0.80与材料相关图像滤波器Фm中的一个或多个相关。
评估装置136可以被配置用于使用材料特征
Figure BDA0003817385790000582
与已产生反射特征130的表面的材料特性之间的至少一种预定关系来确定已产生反射特征130的表面的材料特性。该预定关系可以是经验关系、半经验关系和分析导出的关系中的一个或多个。评估装置136可以包括用于存储预定关系的至少一个数据存储装置,诸如查找列表或查找表。
评估装置136被配置用于在反射特征130的对应材料特性满足至少一个预定或预定义标准的情况下将反射特征130识别为通过照射生物组织而产生。在材料特性指示“生物组织”的情况下,反射特征130可以被识别为由生物组织产生。在材料特性低于或等于至少一个阈值或范围的情况下,反射特征130可以被识别为由生物组织产生,其中在确定的偏差低于和/或等于阈值的情况下,反射特征被识别为由生物组织产生和/或生物组织的检测被确认。至少一个阈值和/或范围可以存储在表或查找表中并且可以例如经验地确定,并且作为示例,可以存储在检测器的至少一个数据存储装置中。否则,评估装置136被配置用于将反射特征识别为背景。因此,评估装置136可以被配置用于向每个投射斑点分配深度信息和材料特性,例如皮肤是或否。
在确定纵向坐标z之后,可通过随后评估
Figure BDA0003817385790000591
来确定材料特性,使得可考虑关于纵向坐标z的信息用于评估
Figure BDA0003817385790000592
评估装置136被配置用于通过使用至少一种分割算法来分割该区114的图像128。片段可以包括一组像素。分割可以包括将图像128分成多个片段的过程。分割可以包括将至少一个标签分配给图像128的每个像素,使得具有相同标签的像素共享至少一个特征。可以在预定义的目标下分配标签。分割可以是二元分割。二元分割可以包括将图像128的像素标记为“皮肤像素”138和“背景像素”140。所有非皮肤像素都可以被视为背景。皮肤像素可以被认为是前景种子,也表示为种子点,用作基于图像的分割算法的输入。关于图像分割,参考https://en.wikipedia.org/wiki/Image_segmentation。分割算法可以包括至少一个区域生长图像分割方法。
分割算法可以被配置用于融合和/或考虑先验知识。具体地,分割算法可以被配置用于融合和/或考虑从束轮廓分析确定的材料信息。这可以允许仅针对可见皮肤的运动获得或过滤位置数据。相反,在传统设置中,需要先完成例如什么是手指/手臂,什么不是的识别和分离。除了使用材料信息之外,评估装置136可以被配置为考虑深度信息以根据深度图从背景中分割对象,特别是图像中的手部区域。
分割算法可以基于能量或成本函数,例如图形切割、水平集、快速行进和马尔可夫随机场方法中的一种或多种。图像的分割可以由颜色同质性和边缘指标驱动,其中种子点构成边缘和颜色同质性标准。识别为通过照射生物组织产生的反射特征130被用作种子点,并且识别为背景的反射特征被用作背景种子点,以用于分割算法。这些种子点可以构成边缘和颜色同质性标准,从而提供目标分割的适当初始化:“图像中的皮肤具有哪种颜色和/或反射和/或外观?”。
例如,可以使用图形切割分割。图形切割分割可以配置用于融合先验知识,因为它在将其与预聚类算法(诸如超像素)结合时还提供实时能力,参见R.Achanta,A.Shaji,K.Smith,A.Lucchi、P.Fua和S.Süsstrunk的“与最先进的超像素方法相比的切片超像素,”IEEE TPAMI,第34卷,第11期,2012年(R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,andS.Süsstrunk,“Slic superpixels compared to state-of-the-art superpixelmethods,”IEEE TPAMI,vol.34,no.11,2012)。例如,可以使用修改的惰性捕捉图形切割。关于修改的惰性捕捉图形切割,参考Li、Yin和Sun、Jian和Tang、Chi-Keung和Shum、Heung-Yeung的“惰性捕捉”,ACM Trans.图形,第23卷,第3期,2004年(Li,Yin and Sun,Jian andTang,Chi-Keung and Shum,Heung-Yeung,“Lazy Snapping”,ACM Trans.Graph.,vol.23,no.3,2004)。Gibbs能量项可以包括附加项,以合并用于图形切割分割例程的深度信息。替代如Li、Yin和Sun、Jian和Tang、Chi-Keung和Shum、Heung-Yeung的“惰性捕捉”,ACM Trans中提出的基于分水岭的预切割,可以使用超像素聚类来确保实时能力。
分割前的图像128如图2A所示。每个投射点都分配有深度和材料特性(皮肤是/否)。为了获得图2B中所示的二进制分割,所有非皮肤点都被视为背景,皮肤点被视为前景种子,作为基于图像的分割例程的输入。在该示例中,使用了修改后的惰性捕捉图形切割。Gibbs能量项包括附加项,以合并用于图形切割分割例程的深度信息。此外,使用超像素聚类来确保实时能力。
评估装置136被配置用于考虑分割的图像和深度图来确定对象116在空间中的位置和/或取向。评估装置136可以被配置用于根据对象116在空间中的位置和/或取向来确定至少一个手部姿势或手势。评估装置136可以被配置用于从分割的图像识别姿势,特别是从分割的图像的标记为对象116的部分识别姿势。评估装置136可以被配置用于识别分割的图像中的手掌和手指的图像坐标。手掌和手指识别可以从分割中获得。评估装置136可以被配置用于从分割的图像的被标记为对象的部分提取特征,诸如颜色和/或亮度和/或梯度值。例如,可以使用标准OpenCV例程检测手掌和指尖。
评估装置136可以被配置用于考虑手掌142(诸如手掌的中心点144)和指尖146的图像坐标以及深度图来确定至少一个三维手指向量141。图2C示出3D手指向量140的实施例。3D手指向量140可以指定手指在空间中的位置和取向。评估装置136可以被配置为用于从图像128和深度图确定3D手指向量140。3D手指向量140可以为手部姿势估计和场景解释提供基础。对于手势的识别,评估装置136可以被配置用于使用至少一种分类器,诸如隐马尔可夫模型(HMM)、支持向量机(SVM)、条件随机场(CRF)等。分类器可以被配置用于区分手势。
使用根据本发明的束轮廓分析传感器融合概念具有提供鲁棒检测结果、不需要复杂模型假设、单一传感器概念、易于集成和实时能力的优点。
参考标号列表
110 检测器
112 照射源
114 区
116 对象
118 光学传感器
120 壳体
122 光轴
124 光束
126 光敏区
128 图像
130 反射特征
132 传送装置
134 坐标系
136 评估装置
138 皮肤像素
140 背景像素
141 三维手指向量
142 手掌
144 中心点
146 指尖。

Claims (15)

1.一种用于姿势检测的检测器(110),包括
-至少一个照射源(112),其被配置用于将包括多个照射特征的至少一个照射图案投射到包括至少一个对象(116)的至少一个区(114)上,其中,所述对象(116)至少部分包括至少一只人手;
-具有至少一个光敏区(126)的至少一个光学传感器(118),其中,所述光学传感器(118)被配置用于确定所述区的至少一个图像(128),其中,所述图像(128)包括由所述区(114)响应于通过所述照射特征的照射而产生的多个反射特征(130);
-至少一个评估装置(136),其中,所述评估装置(136)被配置用于通过确定每个反射特征(130)的至少一个深度信息来确定所述区的至少一个深度图,
其中,所述评估装置(136)被配置用于通过识别通过照射生物组织产生的所述反射特征(130)来找到所述对象(116),其中,所述评估装置(136)被配置用于确定每个反射特征(130)的至少一个反射束轮廓,其中,所述评估装置(136)被配置用于在反射特征(130)的反射束轮廓满足至少一个预定或预定义标准的情况下将所述反射特征(130)识别为通过照射生物组织而产生,其中,所述预定或预定义标准是或包括涉及材料特性的至少一个预定或预定义值和/或阈值和/或阈值范围,其中,所述评估装置(136)被配置用于否则将所述反射特征(130)识别为背景,
其中,所述评估装置(136)被配置用于通过使用至少一种分割算法来对所述区的所述图像(128)进行分割,其中,将识别为通过照射生物组织而产生的所述反射特征(130)用作种子点,并且将识别为背景的所述反射特征(130)用作背景种子点,以用于分割算法,
其中,所述评估装置(136)被配置用于考虑所分割的图像和所述深度图来确定所述对象(116)在空间中的位置和/或取向。
2.根据前一权利要求所述的检测器(110),其中,所述评估装置(136)被配置用于识别所述分割的图像中的手掌和手指的图像坐标,其中,所述评估装置(136)被配置用于考虑手掌和手指的图像坐标和所述深度图来确定至少一个三维手指向量(141)。
3.根据前述权利要求中任一项所述的检测器(110),其中,所述评估装置(136)被配置用于根据所述对象(116)在空间中的所述位置和/或所述取向确定至少一个手部姿势或手势。
4.根据前述权利要求中任一项所述的检测器(110),其中,所述分割算法基于能量或成本函数,诸如图形切割、水平集、快速行进和马尔可夫随机场方法中的一种或多种。
5.根据前述权利要求中任一项所述的检测器(110),其中,所述图像(128)的分割由颜色同质性和边缘指标驱动,其中,所述种子点构成边缘和颜色同质性标准。
6.根据前述权利要求中任一项所述的检测器(110),其中,所述评估装置(136)被配置用于将每个所述反射特征(130)的所述反射束轮廓与至少一个预定和/或预先记录和/或预定义的束轮廓进行比较。
7.根据前一权利要求所述的检测器(110),其中,所述比较包括将所述反射束轮廓与所述预定和/或预先记录和/或预定义的束轮廓重叠,使得它们的强度中心匹配,其中,所述比较包括确定所述反射束轮廓与所述预定和/或预先记录和/或预定义的束轮廓之间的偏差,其中,所述评估装置(136)被配置用于将确定的偏差与至少一个阈值进行比较,其中,在确定的偏差低于和/或等于所述阈值的情况下,所述反射特征(130)被指示为生物组织。
8.根据前述权利要求中任一项所述的检测器(110),其中,所述评估装置(136)被配置用于通过以下技术中的一种或多种来确定每个所述反射特征的所述深度信息:光子比率测深、结构光、束轮廓分析、飞行时间、从运动恢复形状、聚焦测深、三角测量、散焦测深、立体传感器。
9.根据前述权利要求中任一项所述的检测器(110),其中,所述评估装置(136)被配置用于通过使用光子比率测深技术来确定每个所述反射特征(130)的所述深度信息,其中,所述评估装置被配置用于确定所述反射特征中的至少一个的束轮廓的至少一个第一区和至少一个第二区,其中,所述评估装置(136)被配置用于对所述第一区和所述第二区进行积分,其中,所述评估装置(136)被配置用于通过以下各项中的一项或多项导出商Q:对积分的第一区和积分的第二区进行除法运算、对积分的第一区和积分的第二区的倍数进行除法运算、对积分的第一区和积分的第二区的线性组合进行除法运算。
10.根据前一权利要求所述的检测器(110),其中,所述反射束轮廓的所述第一区包括所述反射束轮廓的基本上边缘信息,并且所述反射束轮廓的所述第二区包括所述反射束轮廓的基本上中心信息,和/或其中,所述反射束轮廓的所述第一区包括基本上关于所述反射束轮廓的左侧部分的信息,并且所述反射束轮廓的所述第二区包括基本上关于所述反射束轮廓的右侧部分的信息。
11.根据前述两项权利要求中任一项所述的检测器(110),其中,所述评估装置(136)被配置用于通过以下方式导出所述商Q
Figure FDA0003817385780000031
其中,x和y是横向坐标,A1和A2分别是反射束轮廓的第一区和第二区,E(x,y)表示反射束轮廓。
12.根据前述权利要求中任一项所述的检测器(110),其中,所述照射源(112)被配置用于在所述近红外区域(NIR)中生成所述至少一个照射图案。
13.根据前述权利要求中任一项所述的检测器(110),其中,所述光学传感器(118)包括至少一个CMOS传感器。
14.一种用于姿势检测的方法,其中,使用根据前述权利要求的至少一个检测器(110),其中,该方法包括以下步骤:
a)将包括多个照射特征的至少一个照射图案投射到包括至少一个对象(116)的至少一个区(114)上,其中,所述对象(116)至少部分包括至少一只人手;
b)使用具有至少一个光敏区(126)的至少一个光学传感器(118)确定所述区(114)的至少一个图像(128),其中,所述图像(128)包括由所述区(114)响应于通过照射特征的照射而产生的多个反射特征(130);
c)通过使用至少一个评估装置(136)确定每个所述反射特征(130)的至少一个深度信息来确定所述区(114)的至少一个深度图;
d)通过使用所述评估装置(136)并通过识别通过照射生物组织产生的所述反射特征(130)来找到所述对象(116),其中,确定每个所述反射特征(130)的至少一个反射束轮廓,其中,在反射特征的反射束轮廓满足至少一个预定或预定义标准的情况下,所述反射特征(130)被识别为通过照射生物组织而产生,其中,所述预定或预定义标准是或包括涉及材料特性的至少一个预定或预定义值和/或阈值和/或阈值范围,其中,所述反射特征(130)否则被识别为背景;
e)通过使用所述评估装置(136)并通过使用至少一种分割算法对所述区(114)的所述图像(128)进行分割,其中,将识别为通过照射生物组织产生的所述反射特征(130)用作种子点,并且将识别为背景的所述反射特征(130)用作背景种子点,以用于所述分割算法;
f)通过使用所述评估装置(136)考虑所分割的图像和所述深度图来确定所述对象(116)在空间中的位置和/或取向。
15.一种根据涉及检测器的前述权利要求中任一项所述的检测器(110)的用途,出于使用目的,选自由以下各项组成的组:驾驶员监控;车内监控;姿势跟踪;安保应用;安全应用;人机接口应用;信息技术应用;农业应用;作物保护应用;医疗应用;维护应用;化妆品应用。
CN202180017404.XA 2020-02-28 2021-02-26 姿势识别 Pending CN115191007A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20159984 2020-02-28
EP20159984.2 2020-02-28
PCT/EP2021/054811 WO2021170791A1 (en) 2020-02-28 2021-02-26 Gesture recognition

Publications (1)

Publication Number Publication Date
CN115191007A true CN115191007A (zh) 2022-10-14

Family

ID=69742883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180017404.XA Pending CN115191007A (zh) 2020-02-28 2021-02-26 姿势识别

Country Status (6)

Country Link
US (1) US20230081742A1 (zh)
EP (1) EP4111358A1 (zh)
JP (1) JP2023516032A (zh)
KR (1) KR20220147604A (zh)
CN (1) CN115191007A (zh)
WO (1) WO2021170791A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118053209A (zh) * 2024-04-16 2024-05-17 西安交通大学医学院第一附属医院 一种用于虚拟现实的胸外科手术动作捕捉方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
CN118613712A (zh) 2022-01-24 2024-09-06 特里纳米克斯股份有限公司 通过立体射束剖面分析实现增强的材料检测
WO2023170129A1 (en) 2022-03-09 2023-09-14 Trinamix Gmbh 8bit conversion

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129376B1 (ko) 2015-02-25 2020-07-02 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
KR102502094B1 (ko) 2016-11-17 2023-02-21 트리나미엑스 게엠베하 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기
JP7179051B2 (ja) 2017-08-28 2022-11-28 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1つの物体の位置を決定するための検出器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118053209A (zh) * 2024-04-16 2024-05-17 西安交通大学医学院第一附属医院 一种用于虚拟现实的胸外科手术动作捕捉方法
CN118053209B (zh) * 2024-04-16 2024-06-11 西安交通大学医学院第一附属医院 一种用于虚拟现实的胸外科手术动作捕捉方法

Also Published As

Publication number Publication date
WO2021170791A1 (en) 2021-09-02
EP4111358A1 (en) 2023-01-04
US20230081742A1 (en) 2023-03-16
KR20220147604A (ko) 2022-11-03
JP2023516032A (ja) 2023-04-17

Similar Documents

Publication Publication Date Title
US11989896B2 (en) Depth measurement through display
US20240241255A1 (en) Detector for identifying at least one material property
US20230081742A1 (en) Gesture recognition
US20230078604A1 (en) Detector for object recognition
US20230403906A1 (en) Depth measurement through display
CN114127520A (zh) 光谱仪装置
CN117836806A (zh) 从明暗恢复形状
US11906421B2 (en) Enhanced material detection by stereo beam profile analysis
US20240037201A1 (en) Optical skin detection for face unlock
KR20240093513A (ko) 멀티 파장 프로젝터와 관련된 확장된 재료 검출
US20240027188A1 (en) 8bit conversion
WO2023156452A1 (en) System for identifying a subject

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination