CN113544543A - 用于确定至少一个对象的位置的检测器 - Google Patents

用于确定至少一个对象的位置的检测器 Download PDF

Info

Publication number
CN113544543A
CN113544543A CN202080018962.3A CN202080018962A CN113544543A CN 113544543 A CN113544543 A CN 113544543A CN 202080018962 A CN202080018962 A CN 202080018962A CN 113544543 A CN113544543 A CN 113544543A
Authority
CN
China
Prior art keywords
detector
sensor
ordinate
evaluation device
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080018962.3A
Other languages
English (en)
Inventor
R·森德
P·辛德勒
C·M·奥古恩
P·希伦
C·伦纳茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TrinamiX GmbH
Original Assignee
TrinamiX GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TrinamiX GmbH filed Critical TrinamiX GmbH
Publication of CN113544543A publication Critical patent/CN113544543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Abstract

提出了一种用于确定至少一个对象(112)的位置的检测器(110)。检测器(110)包括‑至少一个传感器元件(114),其具有光学传感器(118)的矩阵(116),每个光学传感器(118)具有光敏区域,其中,每个光学传感器(118)被设计为响应于由从对象(112)传播到检测器(110)的光束对其相应光敏区域的照射,生成至少一个传感器信号,‑至少一个评估设备(128),其中,评估设备(128)被配置为选择矩阵(116)的至少一个关注区域,其中,评估设备(128)被配置为分别确定关注区域的至少两个光学传感器(118)的至少一个传感器信号,其中,评估设备(128)被配置为通过评估根据传感器信号的组合信号Q来确定对象的至少一个纵坐标zDPR,‑其中,评估设备(128)被配置为根据传感器信号确定关注区域的至少一个图像,其中,评估设备(128)被配置为通过优化至少一个模糊函数fa根据图像确定对象(112)的至少一个纵坐标zDFD,‑其中,评估设备(128)被配置为考虑纵坐标zDPR和纵坐标zDFD来确定至少一个组合距离信息z。

Description

用于确定至少一个对象的位置的检测器
技术领域
本发明涉及用于确定至少一个对象的位置的检测器和方法。本发明还涉及用于在用户与机器之间交换至少一项信息的人机界面(interface)、娱乐设备、跟踪系统、相机、扫描系统和检测器设备的各种用途。根据本发明的设备、方法和用途具体地可用于例如日常生活、游戏、交通技术、生产技术、安全技术、摄影(诸如用于艺术、文档或技术目的的数字摄影或视频摄影)、医疗技术、或科学的各个领域。此外,本发明具体地可以用于扫描一个或多个对象和/或用于扫描场景,诸如用于例如在建筑、测量、考古、艺术、医学、工程或制造的领域中生成对象或场景的深度轮廓(profile)。然而,其它应用也是可能的。
背景技术
在环境引起多次反射的情况下,光学3D感测方法通常可以利用偏置(biasing)光源或反射测量对象来确定不可靠的结果。此外,具有成像能力的3D感测方法(诸如使用结构光或立体相机的三角测量方法)通常需要高计算能力来解决对应问题。必要的计算能力可导致处理器或现场可编程门阵列(FPGA)、考虑到通风要求或防水壳体困难的散热、电力消耗(特别是移动设备)、以及此外测量的不确定性中的高成本。对计算能力的高需求可能无法实现实时应用、高帧率、或甚至每秒25帧的标准视频速度帧率。
即使在环境引起多次反射,偏置光源,或反射测量对象的计算需求减少,特别是处理能力降低的情况下,光子比深度(depth-from-photon-ratio)(DPR)技术允许可靠的距离确定。例如,WO 2018/091640描述了一种用于确定至少一个对象的位置的检测器。检测器包括:至少一个传递设备,其中,传递设备响应于从对象传播到检测器的至少一个入射光束而具有至少一个焦距;至少两个光学传感器,其中,每个光学传感器具有至少一个光敏区域,其中,每个光学传感器被设计为响应于光束对其相应光敏区域的照射而生成至少一个传感器信号,该至少一个评估设备被配置为通过评估根据传感器信号的商信号Q来确定对象的至少一个纵坐标z。检测器适于在与对象平面中的对象大小无关的至少一个测量范围内确定对象的纵坐标z。
WO 2018/091649 A1描述了一种用于确定至少一个对象的位置的检测器。检测器包括:-具有光学传感器矩阵的至少一个传感器元件,每个光学传感器具有光敏区域,其中,每个光学传感器被配置为响应于从对象传播到检测器的至少一个光束对光敏区域的照射而生成至少一个传感器信号;-至少一个评估设备,其被配置为通过以下来评估传感器信号,a)确定具有最高传感器信号的至少一个光学传感器并形成至少一个中心信号;b)评估矩阵的光学传感器的传感器信号并形成至少一个求和信号;c)通过组合中心信号和求和信号来确定至少一个组合信号;d)通过评估组合信号来确定对象的至少一个纵坐标z。
WO 2018/091638描述了一种用于确定至少一个对象的位置的检测器。检测器包括:-至少两个光学传感器,每个光学传感器具有光敏区域,其中,每个光敏区域具有几何中心,其中,光学传感器的几何中心与检测器的光轴间隔开不同的空间偏移,其中,每个光学传感器被配置为响应于从对象传播到检测器的光束对其相应光敏区域的照射而生成传感器信号;以及-至少一个评估设备,其被配置为通过组合至少两个传感器信号来确定对象的至少一个纵坐标z。
由于不存在通信问题,DPR技术只需要很少的处理能力,并且因此在移动3D测量中具有许多优势。然而,尽管上述设备和检测器隐含着优势,但仍存在一些技术挑战。具体地,DPR技术可以产生比其它方法(诸如基于三角测量的方法)更低的精度。
发明内容
本发明解决的问题
因此,本发明的一个目的是面临已知设备和方法的上述技术挑战提供设备和方法。具体地,本发明的目的是提供使用可以确定对象在空间中的位置的DPR技术的设备和方法,优选地以低技术努力并且在技术资源和成本方面具有低要求,具有增强的精度。
发明内容
具有独立权利要求的特征的本发明解决了该问题。在从属权利要求和/或以下说明书和详细实施例中呈现了可以单独或组合实现的本发明的有利发展。
如下面所使用的,术语“具有”、“包含”或“包括”或其任意语法变化以非排他性方式使用。因此,这些术语既可以指以下的情况:其中除了由这些术语引入的特征之外在该上下文中描述的实体中不存在其它特征的情况,并且还可以指除了由这些术语引入的特征之外存在一个或多个其它特征的情况。作为示例,表达“A具有B”、“A包含B”和“A包括B”可以指以下的情况:除B之外,A中不存在其它元素(即,其中A仅并且唯一地由B组成的情况),并且指这样的情况:除B之外,实体A中还存在一个或多个其它元素,诸如元素C、元素C和D、或甚至其它元素。
此外,应注意,指示特征或元素可存在一次或多于一次的术语“至少一个”、“一个或多个”或类似表达通常在引入相应特征或元素时仅使用一次。在下面,在大多数情况下,当提及相应的特征或元素时,尽管相应的特征或元素可能只存在一次或多于一次,但不会重复“至少一个”或“一个或多个”的表达。
此外,如下面所使用的,术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语与可选特征结合使用,而没有限制替代可能性。因此,由这些术语引入的特征是可选特征,并且不旨在以任何方式限制权利要求的范围。如本领域技术人员将认识到的,本发明可以通过使用替代特征来执行。类似地,由“在本发明的实施例中”引入的特征或类似表达旨在是可选特征,而对本发明的替代实施例没有任何限制,对本发明的范围没有任何限制,并且对关于以这种方式引入的特征与本发明的其它可选或非可选特征相结合的可能性没有任何限制。
在本发明的第一方面,公开了一种用于确定至少一个对象的位置的检测器。如在此所使用的,术语“对象”是指发射至少一个光束的点或区域。光束可以源自对象,诸如通过对象和/或集成或附接到发射光束的对象的至少一个照射源,或者可以源自不同的照射源,诸如源自直接或间接照射对象的照射源,其中光束被对象反射或散射。如在此所使用的,术语“位置”是指关于对象和/或对象的至少一部分在空间中的位置和/或取向的至少一项信息。因此,该至少一项信息可以暗示该对象的至少一个点与该至少一个检测器之间的至少一个距离。如将在下面进一步详细概述的,该距离可以是纵坐标,或者可以有助于确定对象的点的纵坐标。另外地或可替代地,可以确定关于对象和/或对象的至少一部分的位置和/或取向的一项或多项其它信息。作为示例,另外,可以确定对象和/或对象的至少一部分的至少一个横坐标。因此,对象的位置可以暗示对象和/或对象的至少一部分的至少一个纵坐标。另外地或可替代地,对象的位置可以暗示对象和/或对象的至少一部分的至少一个横坐标。另外地或可替代地,对象的位置可以暗示对象的至少一个取向信息,其指示对象在空间中的取向。
检测器包括:
-至少一个传感器元件,其具有光学传感器的矩阵,每个光学传感器具有光敏区域,其中,每个光学传感器被设计为响应于从对象传播到检测器的光束对其相应光敏区域的照射,生成至少一个传感器信号,
-至少一个评估设备,其中,评估设备被配置为选择矩阵的至少一个关注区域,其中,评估设备被配置为分别确定关注区域的至少两个光学传感器的至少一个传感器信号,其中,评估设备被配置为通过评估根据传感器信号的组合信号Q来确定对象的至少一个纵坐标zDPR
其中,评估设备被配置为根据传感器信号确定关注区域的至少一个图像,其中,评估设备被配置为通过优化至少一个模糊函数fa根据图像确定对象的至少一个坐标zDFD
其中,评估设备被配置为考虑纵坐标zDPR和纵坐标zDFD来确定至少一个组合距离信息z。
如在此所使用的,术语“传感器元件”通常是指被配置用于感测至少一个参数的设备或多个设备的组合。在当前情况下,参数具体可以是光学参数,并且传感器元件具体可以是光学传感器元件。传感器元件可以形成为单一的单个设备或作为多个设备的组合。如在此所使用的,“光学传感器”通常是指用于检测光束(诸如用于检测由至少一个光束生成的照射和/或光斑)的光敏设备。
如在此进一步使用的,术语“矩阵”通常是指多个元件以预定的几何顺序的布置。如将在下面进一步详细概述,该矩阵具体地可以是或可以包括具有一个或多个行和一个或多个列的矩形矩阵。行和列具体地可以以矩形方式布置。然而,应当概述的是,其它布置也是可行的,诸如三角形、圆形、六边形或其它非矩形布置。作为示例,圆形布置也是可行的,其中元件围绕中心点布置成同心圆或椭圆形。例如,矩阵可以是单行的像素。其它布置是可行的。矩阵的光学传感器具体地可以在大小、灵敏度、以及其它光、电和机械特性中的一个或多个上相等。具体地,矩阵的所有光学传感器的光敏区域可以位于公共平面中,该公共平面优选地面对对象,使得从对象传播到检测器的光束可以在公共平面上生成光斑。
如在此进一步使用的,“光敏区域”通常是指光学传感器的可以由至少一个光束从外部照射的区域,该区域响应于照射而生成至少一个传感器信号。光敏区域可以具体地位于相应的光学传感器的表面上。然而,其它实施例是可行的。如在此所使用的,术语“每个光学传感器具有至少一个光敏区域”是指具有多个单个光学传感器的配置,每个单个光学传感器具有一个光敏区域,并且是指带有具有多个光敏区域的一个组合光学传感器的配置。因此,术语“光学传感器”另外指被配置为生成一个输出信号的光敏设备,而在此,被配置为生成两个或多个输出信号的光敏设备(例如,至少一个CCD和/或CMOS设备)称为两个或多个光学传感器。如将在下面进一步详细概述的,每个光学传感器可被体现为使得在相应的光学传感器中恰好存在一个光敏区域,诸如通过提供被照射的恰好一个光敏区域,响应于照射该光敏区域而针对整个光学传感器恰好创建一个均匀的传感器信号。因此,每个光学传感器可以是单区域光学传感器。然而,单区域光学传感器的使用使得检测器的设置特别简单和有效。因此,作为示例,可以在设置中使用可商购的光学传感器,诸如可商购的硅光电二极管,每个硅光电传感器恰好具有一个光敏区域。然而,其它实施例是可行的。因此,作为示例,可以使用包括两个、三个、四个或多于四个的光敏区域的光学设备,其在本发明的上下文中被视为两个、三个、四个或多于四个的光学传感器。如上概述,传感器元件包括光学传感器的矩阵。因此,作为示例,光学传感器可以是像素化光学设备的一部分或构成像素化光学设备。作为示例,光学传感器可以是具有像素矩阵的至少一个CCD和/或CMOS设备的一部分或构成具有像素矩阵的至少一个CCD和/或CMOS设备,每个像素形成光敏区域。
光学传感器具体地可以是或可以包括光电检测器,优选地,无机光电检测器,更优选地,无机半导体光电检测器,最优选地,硅光电检测器。具体地,光学传感器在红外光谱范围内可能是敏感的。矩阵中的所有光学传感器或矩阵中的至少一组光学传感器具体地可以是相同的。可以为不同的光谱范围专门设置矩阵中的相同光学传感器的组,或者就光谱灵敏度而言,所有光学传感器可以相同。此外,光学传感器可以在大小上和/或关于它们的电子或光电特性相同。
具体地,光学传感器可以是或可以包括在红外光谱范围内(优选地在780nm到3.0微米的范围内)敏感的无机光电二极管。具体地,光学传感器在近红外区域的一部分中是敏感的,其中硅光电二极管具体地适用于700nm至1000nm的范围内。可用于光学传感器的红外光学传感器可以是可商购的红外光学传感器,诸如可从德国莱茵河畔路德维希港(Ludwigshafen am Rhein,Germany)D-67056的trinamiX GmbH以商标名称Hertz-stueckTM可商购的红外光学传感器。因此,作为示例,光学传感器可以包括本征(intrinsic)光伏类型的至少一个光学传感器,更优选地,选自包括以下项的组的至少一个半导体光电二极管:Ge光电二极管、InGaAs光电二极管、扩展型InGaAs光电二极管、InAs光电二极管、InSb光电二极管、HgCdTe光电二极管。另外地或可替代地,光学传感器可以包括非本征(extrinsic)光伏类型的至少一个光学传感器,更优选地,选自由如下组成的组的至少一种半导体光电二极管:Ge:Au光电二极管、Ge:Hg光电二极管、Ge:Cu光电二极管、Ge:Zn光电二极管、Si:Ga光电二极管、Si:As光电二极管。另外地或可替代地,光学传感器可以包括至少一个辐射热计,优选地从包括VO辐射热计和非晶Si辐射热计的组中选择的辐射热计。
矩阵可以包括独立的光学传感器。因此,可以包括无机光电二极管的矩阵。然而,可替代地,可以使用可商购矩阵,诸如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一个或多个。
因此,通常,检测器的光学传感器可以形成传感器阵列或可以是传感器阵列的一部分,诸如上述矩阵。因此,作为示例,检测器可以包括诸如具有m行和n列的矩形阵列的光学传感器阵列,其中m、n独立地为正整数。优选地,给出多于一列且多于一行,即,n>1,m>1。因此,作为示例,n可以为2至16或更高,并且m可以为2至16或更高。优选地,行数与列数的比率接近于1。作为示例,n和m可以被选择为使得0.3≤m/n≤3,诸如通过选择m/n=1:1、4:3、16:9或类似的值。作为示例,该阵列可以是具有相等数量的行和列的正方形阵列,诸如通过选择m=2,n=2、或m=3,n=3等。
该矩阵具体地可以是具有至少一行(优选为多行)和多列的矩形矩阵。作为示例,行和列可以基本上垂直取向。如在此所使用的,术语“基本上垂直”是指垂直取向的条件,例如±20°或更小的公差,优选±10°或更小的公差,更优选±5°或更小的公差。因此,作为示例,小于20°,特别是小于10°、或甚至小于5°的公差是可以接受的。为了提供宽广的视野,矩阵特别地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可具有至少10列,优选地至少50列,更优选地至少100列。矩阵可以包括至少50个光学传感器,优选地至少100个光学传感器,更优选地至少500个光学传感器。矩阵可以包括数百万像素范围内的多个像素。然而,其它实施例是可行的。因此,在期望轴向旋转对称的设置中,矩阵的光学传感器(也可以称为像素)的圆形布置或同心布置可能是优选的。
优选地,传感器元件可以基本上垂直于检测器的光轴取向。同样,关于术语“基本上垂直”,可以参考上面给出的定义和公差。光轴可以是直的光轴,或者可以弯曲或甚至分裂(split),诸如通过使用一个或多个偏转元件和/或通过使用一个或多个分束器,其中在后者的情况中,基本上垂直取向可以参考光学设置的相应分支(branch)或束路径中的局部光轴。
如在此所使用的,术语“从对象传播的光束”是指可源自对象或可源自照射源(诸如源自直接或间接照射对象的照射源)的至少一个光束,其中光束被对象反射或散射,并且从而至少部分地朝向检测器引导。从对象传播的光束在下面也可以表示为“反射光束”。检测器可用于有源和/或无源照射场景。例如,至少一个照射源可以适于照射对象,例如通过将光束朝向对象引导,该对象反射光束。照射源可以是或可以包括至少一个多束光源。例如,照射源可以包括至少一个激光源和一个或多个衍射光学元件(DOE)。另外地或可替代地,检测器可以使用场景中已经存在的辐射,诸如来自至少一个环境光源的辐射。
从对象传播到检测器的光束具体地可以完全照射光学传感器中的至少一个光学传感器,使得至少一个光学传感器完全位于光束内,光束的宽度大于产生传感器信号的至少一个光学传感器的光敏区域。相反地,优选地,反射光束具体地可以在整个矩阵上产生小于矩阵的光斑,使得光斑完全位于矩阵内。光学领域的技术人员可以通过选择对光束具有聚焦或离焦效果的一个或多个合适的透镜或元件来容易地调节该情况,诸如通过使用将在下面进一步详细概述的合适的传递(transfer)设备。如在此进一步使用的,“光斑”通常是指光束对物品、区域或对象的可见或可检测圆形或非圆形照射。
如在此进一步使用的,“传感器信号”通常是指由光学传感器响应于光束的照射而生成的信号。具体地,传感器信号可以是或可以包括至少一种电信号,诸如至少一种模拟电信号和/或至少一种数字电信号。更具体地,传感器信号可以是或可以包括至少一个电压信号和/或至少一个电流信号。更具体地,传感器信号可以包括至少一个光电流。此外,可以使用原始传感器信号,或者检测器、光学传感器或任何其它元件可适于处理或预处理传感器信号,从而生成辅助传感器信号,该辅助传感器信号也可以用作传感器信号,诸如通过滤波等进行预处理。
光敏区域具体地可以朝向对象取向。如在此所使用的,术语“朝向对象取向”一般是指光敏区域的相应表面从对象来看完全或部分可见的情况。具体地,对象的至少一点与相应光敏区域的至少一点之间的至少一条互连线可以与光敏区域的表面元素形成不为0°的角度,诸如在20°至90°范围内的角度,优选80至90°范围内的角度,诸如90°的角度。因此,当对象位于光轴上或靠近光轴时,从对象朝向检测器传播的光束可以基本上平行于光轴。如在此所使用的,术语“基本上垂直”是指垂直取向的条件,例如±20°或更小的公差,优选±10°或更小的公差,更优选±5°或更小的公差。类似地,术语“基本上平行”是指平行取向的条件,例如±20°或更小的公差,优选±10°或更小的公差,更优选±5°或更小的公差。
如在此所使用的,术语“光线(ray)”通常是指垂直于光的波阵面的线,其指向能量流的方向。如在此所使用的,术语“束(beam)”通常是指光线的集合。在下面,术语“光线”和“束”将用作同义词。如在此进一步使用的,术语“光束”通常是指一定量的光,特别是基本上在相同方向上行进的一定量的光,包括光束具有发散角(spreading angle)或扩展角(widening angle)的可能性。光束可以具有空间延伸。具体地,光束可以具有非高斯束轮廓。束轮廓可以选自包括以下项的组:梯形束轮廓;三角形束轮廓;锥形束轮廓。梯形束轮廓可以具有平台区域和至少一个边缘区域。如将在下面更详细概述的,光束具体地可以是高斯光束或高斯光束的线性组合。然而,其它实施例是可行的。传递设备可被配置用于调节、定义和确定束轮廓(特别是束轮廓的形状)中的一种或多种。
光学传感器在紫外、可见或红外光谱范围中的一个或多个范围中可以是敏感的。具体地,光学传感器在从390nm至780nm,最优选地在650nm至750nm,或在690nm至700nm的可见光谱范围内可以是敏感的。具体地,光学传感器在近红外区域中可以是敏感的。具体地,光学传感器在近红外区域的一部分中可以是敏感的,其中硅光电二极管特别适用于700nm至1000nm范围内。具体地,光学传感器在红外光谱范围内,具体地在780nm至3.0微米的范围内可以是敏感的。例如,光学传感器各自独立地可以是或可以包括从包括光电二极管、光电管、光电导体、光电晶体管或其任何组合的组中选择的至少一种元件。例如,光学传感器可以是或可以包括选自包括以下项的组选择的至少一种元件:CCD传感器元件、CMOS传感器元件、光电二极管、光电管、光电导体、光电晶体管或其任何组合。可以使用任何其它类型的光敏元件。如将在下面进一步详细概述的,光敏元件通常可以完全或部分地由无机材料制成和/或可以完全或部分地由有机材料制成。最常见的是,如将在下面更详细概述的,可以使用一个或多个光电二极管,诸如可商购的光电二极管,例如无机半导体光电二极管。
检测器可以包括至少一个照射源。照射源可被配置为生成用于照射对象的至少一个光束。照射源可以是固定光源,或可以是可移动光源。检测器可以被配置为使得用于照射对象的光束沿着检测器的光轴从检测器朝向对象传播。为此,检测器可以包括至少一个反射元件,优选至少一个棱镜,用于将照射光束偏转到光轴上。
照射源可以适于生成用于照射对象的至少一种照射图案。另外地或可替代地,照射图案可以由至少一个环境光源生成。检测器可以被配置为使得照射图案从检测器,特别是从壳体的至少一个开口,沿着和/或平行于检测器的光轴朝向对象传播。为此,检测器可以包括至少一个反射元件,优选地至少一个棱镜,用于偏转照射图案,使得它沿着或平行于光轴传播。
具体地,照射源可以包括至少一个激光器和/或激光源。可以采用各种类型的激光器,诸如半导体激光器。另外地或可替代地,可以使用非激光光源,诸如LED和/或灯泡。
如在此所使用的,术语“图案”是指包括至少一个任意形状的特征的任意已知或预定布置。图案可以包括至少一个特征,诸如点或符号。图案可以包括多个特征。图案可以包括周期性或非周期性特征的排列。如在此所使用的,术语“照射图案”是指照射对象的图案。照射图案可由环境光(诸如由至少一个环境光源或由至少一个照射源)生成。照射图案可以包括选自包括以下项的组的至少一种图案:至少一种点图案,特别是伪随机点图案;随机点图案或准随机图案;至少一种Sobol图案;至少一种准周期图案;包括至少一种已知特征的至少一种图案;至少一种规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案;包括凸出的均匀镶嵌图案(tiling)的至少一种图案;包括至少一条线的至少一个线图案;包括诸如平行线或交叉线的至少两条线的至少一个线图案。例如,照射源可以适于生成和/或投影点云。照射图案可以包括规则的和/或恒定的和/或周期性的图案,诸如三角形图案、矩形图案、六边形图案或包括其它凸出的镶嵌图案的图案。照射图案可以在每个区域包括尽可能多的特征,使得六边形图案可以是优选的。照射图案的两个特征之间的距离和/或至少一个照射特征的面积可以取决于图像中的混淆圆(circle of confusion)。
照射源可以包括如下中的一个或多个:至少一个光投影仪;至少一个数字光处理(DLP)投影仪、至少一个LCoS投影仪、至少一个空间光调制器;至少一个衍射光学元件;至少一个发光二极管阵列;至少一个激光光源阵列。照射源可以包括适于直接生成照射图案的至少一个光源。例如,照射源可以包括至少一个激光源。例如,照射源可以包括至少一个线激光器。线激光器可以适于向对象发送激光线,例如水平或垂直激光线。照射源可以包括多个线激光器。例如,照射源可以包括至少两个线激光器,该线激光器可以被布置为使得照射图案包括至少两个平行或交叉的线。照射源可以包括至少一个光投影仪,该至少一个光投影仪适于生成点云,使得照射图案可以包括多个点图案。照射源可以包括至少一个掩模(mask),该掩模适于根据由照射源生成的至少一个光束生成照射图案。照射源可以是附接到或集成到诸如智能电话的移动设备中的一种。照射源可用于其它功能,该功能可用于确定图像,诸如自动对焦功能。照射设备可以诸如通过使用连接器(诸如USB连接器或诸如耳机插孔的电话连接器)被附接到移动设备。
具体地,照射源可以被配置为发射红外光谱范围内的光。然而,应当注意,另外地或可替代地,其它光谱范围也是可行的。此外,照射源具体地可以被配置为发射调制或非调制光。在使用多个照射源的情况下,不同的照射源可以具有不同的调制频率,稍后可以使用该不同的调制频率来区分光束。检测器可以被配置为评估单个光束或多个光束。在多个光束从对象传播到检测器的情况下,可以提供用于区分光束的装置。因此,光束可以具有不同的光谱特性,并且检测器可以包括用于区分不同光束的一个或多个波长选择元件。然后可以独立地评估光束中的每个光束。作为示例,波长选择元件可以是或可以包括一个或多个滤波器、一个或多个棱镜、一个或多个光栅、一个或多个二向色镜、或其任意组合。此外,另外地或可替代地,为了区分两个或更多个光束,可以以特定的方式调制光束。因此,作为示例,可以对光束进行频率调制,并且可以对传感器信号进行解调,以便根据它们的解调频率来部分地区分源自不同光束的传感器信号。这些技术通常是高频电子领域的技术人员已知的。通常,评估设备可以被配置用于区分具有不同调制的不同光束。
具体地,照射源和光学传感器可以布置在公共平面内或不同平面内。照射源和光学传感器可以具有不同的空间取向。特别地,照射源和传感器元件可以被布置成扭曲布置。
检测器可以包括至少一个传递设备。术语“传递设备”(也称为“传递系统”)通常可以指一个或多个光学元件,其适于诸如通过修改光束的束参数、光束的宽度、或光束的方向上的一个或多个来修改光束。传递设备可以适于将光束引导到光学传感器上。传递设备具体地可以包括以下中的一种或多种:至少一个透镜,例如选自包括以下项的组的至少一个透镜:至少一个聚焦可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个束偏转元件,优选至少一个反射镜;至少一个分束元件,优选分束立方体或分束镜中的至少一个;至少一个多透镜系统;至少一个梯度指数(GRIN)透镜。
传递设备可具有响应于从对象传播到检测器的至少一个入射光束的焦距。如在此所使用的,术语传递设备的“焦距”是指可能撞击传递设备的入射准直光线进入“焦点”的距离,该“焦点”也可以被称为“焦距点”。因此,焦距构成传递设备会聚撞击光束的能力的量度。因此,传递设备可以包括可以具有会聚透镜作用的一个或多个成像元件。举例来说,传递设备可具有一个或多个透镜,特别是一个或多个折射透镜,和/或一个或多个凸面镜。在该示例中,焦距可以被定义为从薄折射透镜的中心到薄透镜的主焦点的距离。对于会聚的薄折射透镜(诸如凸或双凸薄透镜),焦距可以被视为正值,并且可以提供一个距离,在该距离处,撞击作为传递设备的薄透镜的准直光束可以聚焦到单个斑点中。另外,传递设备可包括至少一个波长选择元件,例如至少一个滤波器。另外地,传递设备可以设计为(例如,在传感器区域的位置处,并且特别是传感器区域中)将预定的束轮廓施加在电磁辐射上。原则上,传递设备的上述可选实施例可以单独地或以任何所需的组合来实现。
传递设备可以被布置和/或配置为使测量范围内的焦点变化最大化。对于使用离焦深度方法的设备,如下面将概述的,最大化测量范围内的焦距变化可能是有益的,特别是减小测量范围内的焦深可能是有益的。
传递设备具有光轴。如在此所使用的,术语“传递设备的光轴”通常是指透镜或透镜系统的镜面对称或旋转对称轴。特别地,检测器和传递设备具有公共光轴。检测器的光轴可以是检测器的光学设置的对称线。检测器可以包括具有至少一个透镜的至少一个传递系统。作为示例,传递系统可以包括至少一个束路径,其中束路径中的传递系统的元件以关于光轴旋转布置或甚至对称的方式来定位。仍然,如还将在下面更详细地概述的,位于束路径内的一个或多个光学元件也可以关于光轴偏心或倾斜。然而,在该情况下,可以顺序地定义光轴,诸如通过互连束路径中的光学元件的中心,例如通过互连透镜的中心,其中,在该情况下,光学传感器不算作光学元件。光轴通常可以表示束路径。其中,检测器可以具有单个束路径,光束可以沿着该束路径从对象行进到光学接收光纤,或者可以具有多个束路径。作为示例,可以给出单个束路径,或者可以将束路径分成两个或更多个部分束路径。在后一种情况下,每个部分束路径可以具有其自己的光轴。光学接收光纤可以位于一个且相同的束路径或部分束路径中。然而,可替代地,光学接收光纤也可以位于不同的部分束路径中。
传递设备可以构成坐标系,其中纵坐标l是沿着光轴的坐标,并且其中d是距光轴的空间偏移。坐标系可以是极坐标系,其中传递设备的光轴形成z轴,并且其中距z轴的距离和极角可以用作附加坐标。平行于或反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵坐标l。垂直于z轴的任何方向都可以被认为是横向方向,并且极坐标和/或极角可以被认为是横坐标。
检测器可以是紧凑型检测器。具体地,诸如照射源和传递设备之间的距离的基线可以很小。
如在此进一步使用的,术语“评估设备”通常是指适于执行指定操作的任意设备,优选地通过使用至少一个数据处理设备并且更优选地通过使用至少一个处理器和/或至少一个专用集成电路。因此,作为示例,该至少一个评估设备可以包括至少一个数据处理设备,其上存储有包括多个计算机命令的软件代码。评估设备可以提供一个或多个硬件元件来执行一个或多个指定操作和/或可以提供一个或多个处理器,其上运行有用于执行一个或多个指定操作的软件。评估设备可以包括一个或多个可编程设备,诸如一个或多个计算机、专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA),它们被配置为执行图像分析,诸如参考特征的选择,纵坐标z的确定。然而,另外地或可替代地,评估设备也可以完全或部分地由硬件体现。
评估设备可以被配置为选择矩阵的至少一个关注区域。如在此所使用的,术语“关注区域”通常是指用于确定纵坐标zDPR和纵坐标zDFD的光学传感器矩阵的一个或多个像素上的边缘或斑点(spot)周围的区域。关注区域可以是矩阵的一部分或整个矩阵。如在此所使用的,术语“选择至少一个关注区域”是指识别、确定和选择至少一个关注区域中的一项或多项。评估设备可以适于执行至少一个图像分析和/或图像处理以便识别关注区域。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;由传感器信号产生的图像与至少一个偏移之间形成差异图像(difference image);通过反转由传感器信号产生的图像来反转传感器信号;在不同时间由传感器信号产生的图像之间形成差异图像;背景校正;分解成颜色通道;分解成色调;饱和;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯滤波器的拉普拉斯算子;应用差分高斯滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅立叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值转换法;创建二进制图像。关注区域可以由用户手动确定或可以自动确定,诸如通过识别由光学传感器生成的图像内的对象。例如,照射源可以适于生成和/或投影点云,使得在光学传感器(例如CMOS检测器)矩阵上生成多个照射区域。此外,光学传感器矩阵上可能存在干扰,诸如由于斑点和/或外来光和/或多次反射引起的干扰。评估设备可适于确定关注区域,例如由光束照射的一个或多个像素,该像素用于确定对象的纵坐标。例如,评估设备可以适于执行过滤方法,例如斑点分析和/或边缘滤波器和/或对象识别方法。
评估设备被配置用于分别确定关注区域的至少两个光学传感器的至少一个传感器信号。评估设备被配置用于通过评估根据传感器信号的组合信号Q来确定对象的至少一个纵坐标zDPR。如在此通常使用的,术语“组合”通常可以指任意操作,其中两个或更多个分量(诸如信号)是以下中的一个或多个:被数学地合并以便形成至少一个合并的组合信号和/或被比较以便形成至少一个比较信号或比较结果。如在此所使用的,术语“组合信号Q”是指通过组合传感器信号,特别是通过划分(divide)传感器信号,划分传感器信号的倍数(multiple),或划分传感器信号的线性组合中的一项或多项所生成的信号。具体地,组合信号可以是商信号。可以通过使用各种方式来确定组合信号Q。作为示例,可以使用并且可以在评估设备中实现用于得出组合信号的软件方式,用于得出组合信号的硬件方式或二者。因此,作为示例,评估设备可以包括至少一个除法器(divider),其中除法器被配置用于得出商信号。除法器可以全部或部分地体现为软件除法器或硬件除法器中的一个或二者。
评估设备可以被配置用于通过划分传感器信号,划分传感器信号的倍数,划分传感器信号的线性组合中的一项或多项来得出组合信号Q。评估设备可以被配置用于使用组合信号Q和纵坐标zDPR之间的至少一种预定关系来确定纵坐标zDPR。例如,评估设备被配置用于通过以下方式得出组合信号Q:
Figure BDA0003247625280000161
其中x和y是横坐标,A1和A2是在传感器位置处从对象传播到检测器的光束的至少一个束轮廓的不同面积,并且E(x,y,zo)表示物距zo处给定的束轮廓。面积A1和面积A2可能不同。具体地,A1和A2不全等。因此,A1和A2在形状或内容中的一项或多项中可以不同。束轮廓可以是光束的横截面。束轮廓可以选自由如下组成的组:梯形束轮廓;三角形束轮廓;圆锥形束轮廓、和高斯束轮廓的线性组合。通常,束轮廓取决于亮度L(zo)和束形状S(x,y;zo),E(x,y;zo)=L·S。因此,通过得出组合信号,它可以允许确定独立于亮度的纵坐标。另外,使用组合信号允许确定与对象大小无关的距离zo。因此,组合信号允许独立于对象的材料特性和/或反射特性和/或散射特性并且独立于光源的改变(诸如通过透镜上的制造精度、热量、水、污垢、损坏等)来确定距离zo
至少两个光学传感器的光敏区域可以被布置为使得第一传感器信号包括束轮廓的第一区域的信息并且第二传感器信号包括束轮廓的第二区域的信息。束轮廓的第一区域和束轮廓的第二区域是相邻或重叠区域中的一个或二者。如在此所使用的,术语“束轮廓的区域”通常指用于确定组合信号Q的传感器位置处的束轮廓的任意区域。
评估设备可以被配置为确定和/或选择束轮廓的第一区域和束轮廓的第二区域。束轮廓的第一区域可以基本上包括束轮廓的边缘信息,并且束轮廓的第二区域可以基本上包括束轮廓的中心信息。束轮廓可以具有中心,即,束轮廓的最大值和/或束轮廓的平台的中心点和/或光斑的几何中心,以及从中心延伸的下降边缘。第二区域可以包括横截面的内部区域,而第一区域可以包括横截面的外部区域。如在此所使用的,术语“基本上中心信息”通常是指与中心信息的比例(即,与中心对应的强度分布的比例)相比,低比例的边缘信息,即,与边缘对应的强度分布的比例。优选地,中心信息具有小于10%,更优选地小于5%的边缘信息的比例,最优选地,中心信息不包括边缘内容。如在此所使用的,术语“基本上边缘信息”通常是指与边缘信息的比例相比低比例的中心信息。边缘信息可以包括特别来自中心和边缘区域的整个束轮廓的信息。边缘信息可具有小于10%,优选地小于5%的中心信息的比例,更优选地,边缘信息不包括中心内容。如果束轮廓的至少一个区域靠近或围绕中心并且包括基本上中心信息,则可以确定和/或选择束轮廓的至少一个区域作为束轮廓的第二区域。如果束轮廓的至少一个区域包括横截面的下降边缘的至少一部分,则可以确定和/或选择束轮廓的至少一个区域作为束轮廓的第一区域。例如,可以将横截面的整个区域确定为第一区域。束轮廓的第一区域可以是区域A2,并且束轮廓的第二区域可以是区域A1。
边缘信息可以包括与束轮廓的第一区域中的光子数量有关的信息,而中心信息可以包括与束轮廓的第二区域中的光子数量有关的信息。评估设备可以适于确定束轮廓的面积积分。评估设备可以适于通过对第一区域进行积分和/或求和来确定边缘信息。评估设备可以适于通过对第二区域进行积分和/或求和来确定中心信息。例如,束轮廓可以是梯形束轮廓,并且评估设备可以适于确定梯形的积分。此外,当可以假定梯形束轮廓时,边缘和中心信号的确定可以用等效评估来代替,该等效评估利用梯形束轮廓的特性,诸如确定边缘的倾斜和位置以及中心平台的高度,以及通过几何考虑得出边缘和中心信号。
另外地或可替代地,评估设备可以适于从光斑的至少一个切片或切口确定中心信息或边缘信息中的一个或二者。例如,这可以通过用沿着切片或切口的线积分代替组合信号Q中的面积积分来实现。为了提高准确性,可以使用通过光斑的若干切片或切口并求平均。在椭圆形斑点轮廓的情况下,对多个切片或切口求平均可导致改善的距离信息。
评估设备可以被配置为通过以下中的一项或多项来得出组合信号Q:划分边缘信息和中心信息,划分边缘信息和中心信息的倍数,划分边缘信息和中心信息的线性组合。因此,基本上,光子比率可以用作该方法的物理基础。
评估设备可以具体地被配置用于通过划分第一和第二传感器信号,划分第一和第二传感器信号的倍数、或划分第一和第二传感器信号的线性组合来得出组合信号Q。作为示例,可以简单地将Q确定为Q=s1/s2或Q=s2/s1,其中s1表示第一传感器信号,并且s2表示第二传感器信号。另外地或可替代地,可以将Q确定为Q=a·s1/b·s2或Q=b·s2/a·s1,其中a和b是实数,作为示例,该实数可以是预定的或可确定的。另外地或可替代地,可以将Q确定为Q=(a·s1+b·s2)/(c·s1+d·s2),其中a、b、c和d是实数,作为示例,该实数是预定的或可确定的。作为后者的简单示例,可以将Q确定为Q=s1/(s1+s2)。其它组合信号或者商信号也是可行的。
通常,组合信号Q是对象的纵坐标和/或光斑的大小(诸如光斑的直径或等效直径)的单调函数。因此,作为示例,具体地,在使用线性光学传感器的情况下,商Q=s1/s2是光斑的大小的单调递减函数。不希望受到该理论的束缚,据信这是由于以下事实:在上述设置中,第一信号s1和第二信号s2二者均随着距光源的增加距离作为平方函数减小,因为到达检测器的光量减少。然而,其中,第一信号s1比第二信号s2更迅速地下降,因为在如实验中使用的光学设置中,图像平面中的光斑增长,并且因此散布在更大的区域上。因此,第一和第二传感器信号的商随着光束的直径或光斑在第一和第二光敏区域上的直径的增加而连续减小。此外,商主要独立于光束的总功率,因为光束的总功率在第一传感器信号和第二传感器信号二者中均形成因子。因此,组合信号Q可以形成次级信号,该次级信号在第一和第二传感器信号与光束的大小或直径之间提供唯一且明确的关系。另一方面,由于光束的大小或直径取决于对象(入射光束从其朝向检测器传播)与检测器本身之间的距离,即取决于对象的纵坐标,在第一和第二传感器信号与纵坐标之间可能存在唯一且明确的关系。对于后者,可以参考例如WO 2014/097181 A1。可以通过以下来确定预定关系,通过分析考虑(诸如通过假设高斯光束的线性组合)、通过经验测量(诸如测量第一和第二传感器信号或根据对象的纵坐标得出的次级信号的测量)、或二者。
关于组合信号Q的评估和纵坐标zDPR参考的确定的进一步细节和实施例,例如可参照WO 2018/091640、WO 2018/091649 A1和WO 2018/091638 A2,其全部公开通过引用并入在此。
评估设备被配置为根据传感器信号确定关注区域的至少一个图像。评估设备被配置为通过优化至少一个模糊函数fa根据图像确定对象的至少一个纵坐标zDFD。纵坐标zDFD可以通过使用至少一种基于卷积的算法(诸如离焦深度算法)来确定。为了获得距图像的距离,离焦深度算法估计对象的离焦。对于该估计,假设了模糊函数。如在此所使用的,术语“模糊函数fa”(也称为模糊核(kernel)或点扩散函数)是指检测器对来自对象的照射的响应函数。具体地,模糊函数对离焦对象的模糊进行建模。至少一个模糊函数fa可以是由来自以下项组成的组中的至少一个函数组成的函数或复合函数:高斯函数、正弦函数、抛物柱面(pillbox)函数、平方函数、洛伦兹函数、径向函数、多项式、Hermite多项式、Zernike多项式、Legendre多项式。
评估设备可以适于通过优化至少一个模糊函数fa来确定纵坐标zDFD。可以通过改变至少一个模糊函数的参数来优化模糊函数。图像可以是模糊图像ib。评估设备可以被配置为根据模糊图像ib和模糊函数fa重建纵坐标z。可以通过改变模糊函数的参数σ来最小化模糊图像ib与模糊函数fa和至少一个其它图像i’b的卷积(*)之间的差,min||(i′b*fa(σ(z))-ib)||,从而确定纵坐标zDFD。σ(z)是一组距离相关的模糊参数。其它图像可能模糊或清晰。如在此所使用的,术语“清晰”或“清晰图像”是指具有最大对比度的模糊图像。可以通过与已知模糊函数的卷积从模糊图像ib生成至少一个其它图像。因此,可以使用离焦深度算法来获得纵坐标zDFD
评估设备被配置为考虑纵坐标zDPR和纵坐标zDFD来确定至少一个组合距离信息z。如在此所使用的,术语“组合距离信息”是指从纵坐标zDPR和纵坐标zDFD二者确定的纵坐标z。组合距离信息z可以是取决于zDFD和zDPR的实函数。组合距离信息z可以是zDFD和zDPR的有理或无理多项式。离焦深度是光子比深度的一种补充方法,但使用类似的硬件设置。此外,离焦深度距离测量可具有类似的精度。结合这两种技术可以产生具有更高精度的有利距离测量结果。
评估设备可以被配置为使用至少一个递归滤波器来确定至少一个组合距离信息。递归滤波器可以是至少一个卡尔曼滤波器或至少一个扩展卡尔曼滤波器(EKF)。组合距离信息z可以使用实函数z=f(zDPR,zDFD)(诸如算术或几何平均值、多项式,优选地在zDPR和zDFD中高达八阶的多项式)获得。函数f可以是或可以基于预先记录的值的查找表。例如,评估设备可以包括至少一个数据存储设备,该数据存储设备被配置为存储预先记录的值和/或一个或多个查找表。函数f可以基于与用于在查找表中的值之间进行插值(interpolation)的插值方案组合的查找表。插值方案可以是线性插值、样条插值等。与模型或模型函数(诸如函数f,涉及z、zDFD和zDPR之间的关系)结合,纵坐标zDFD和zDPR可以用作递归滤波器内的输入变量。模型或模型函数可以包括涉及距离z、zDFD和zDPR的统计假设和/或统计模型,诸如分布,诸如在实际距离zreal周围的测量距离z、zDFD和/或zDPR的高斯分布。
递归滤波器可以被配置为考虑其它传感器数据和/或其它参数来确定组合距离信息。其它参数可以包括来自传感器元件(例如CMOS传感器)的其它信息,诸如关于记录数据的质量和/或噪声的信息和/或关于过度曝光的信息和/或关于曝光不足的信息等。检测器可以包括被配置为确定其它传感器数据的至少一个其它传感器。递归滤波器可以被配置为考虑到其它传感器数据来确定组合距离信息。该其它传感器可以是选自包括以下各项组成的组的至少一个传感器:温度传感器、照射传感器(诸如用于确定照射信息的控制传感器)、惯性测量单元;陀螺仪。模型和/或卡尔曼滤波器可以包括其它输入参数,诸如其它传感器数据,例如温度和/或来自陀螺仪的检测器运动和/或来自惯性测量单元的信息、和/或来自照射传感器的信息、和/或其它参数,诸如记录数据的质量/噪声、过度曝光、曝光不足等。其它传感器数据可以由传感器元件(特别是由至少一个CMOS传感器和/或由进一步的图像分析)提供。
如上概述,照射源可以适于通过使用至少一个照射图案来照射对象。传感器元件可以被配置为确定至少一个反射图案。评估设备可以适于选择反射图案的至少一个特征并且通过评估组合信号Q来确定反射图案的所选特征的纵坐标zDPR并且通过优化至少一个模糊函数fa来确定反射图案的所选特征的纵坐标zDFD
传感器元件可以被配置为确定对象的至少一个反射图像。如在此所使用的,术语“反射图像”是指包括至少一个反射特征的由传感器元件确定的图像。如在此所使用的,术语“反射特征”是指对象响应于采用例如至少一个照射图案的至少一个照射特征的照射而生成的在图像平面中的特征。反射图像可以包括至少一个反射图案,该至少一个反射图案包括至少一个反射特征。如在此所使用的,术语“照射特征”是指由至少一个环境光源或适于照射对象的至少一个照射源生成的至少一种任意形状的特征。如在此所使用的,术语“确定至少一个反射图像”是指反射图像的成像、记录和生成中的一种或多种。
反射图像可包括至少一个反射图案。如在此所使用的,术语“反射图案”是指由光在对象表面处反射或散射生成(特别是由对象响应于照射图案的照射而生成的)的响应图案。照射图案可以包括适于照射对象的至少一个特征。照射特征可由环境光或由至少一个照射源生成。反射图案可以包括与照射图案的至少一个特征对应的至少一个特征。与照射图案相比,反射图案可以包括至少一种失真图案,其中失真取决于对象的距离,诸如对象的表面特性。评估设备被配置为选择反射图像的至少一个反射特征。如在此所使用的,术语“选择至少一个反射特征”是指识别、确定和选择反射图像的至少一个反射特征中的一种或多种。检测器可适于确定反射图像的至少一个反射特征的对象点的纵坐标。因此,检测器可以适于对反射图像的至少一个反射特征进行预分类。这允许使用包括规则和/或恒定和/或周期性图案的照射图案(诸如三角形图案、矩形图案、六边形图案或包括其它凸出的镶嵌图案(convex tiling)的图案)。照射图案可以在每个区域包括尽可能多的特征,使得六边形图案可以是优选的。评估设备可以适于执行至少一种图像分析和/或图像处理以便识别反射特征。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;选择至少一个关注区域;由传感器信号产生的图像与至少一个偏移之间形成差异图像;通过反转由传感器信号产生的图像来反转传感器信号;在不同时间由传感器信号产生的图像之间形成差异图像;背景校正;分解成颜色通道;分解成色调;饱和;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯滤波器的拉普拉斯算子;应用差分高斯滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用低通滤波器;应用傅立叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值转换法;创建二进制图像。关注区域可以由用户手动确定或可以自动确定,诸如通过识别由光学传感器生成的图像内的对象。
检测器可进一步包括一个或多个附加元件,诸如一个或多个附加光学元件。此外,检测器可以完全或部分地集成到至少一个壳体中。
如上概述,可以使检测器能够确定对象的至少一个纵坐标,包括确定整个对象或其一个或多个部分的纵坐标的选项。然而,此外,对象的其它坐标,包括一个或多个横坐标和/或旋转坐标,可以由检测器确定,具体地由评估设备确定。因此,作为示例,一个或多个横向传感器可以用于确定对象的至少一个横坐标。如上概述,至少一个光学传感器(从中产生中心信号)的位置可以提供有关对象的至少一个横坐标的信息,其中,作为示例,可以使用简单的透镜方程式进行光学转换并用于得出横坐标。另外地或可替代地,可以使用一个或多个附加横向传感器,并且可以由检测器包括。各种横向传感器在本领域中通常是已知的,诸如WO 2014/097181 A1中公开的横向传感器和/或其它位置敏感装置(PSD),诸如象限二极管、CCD或CMOS芯片等。另外地或可替代地,作为示例,根据本发明的检测器可以包括R.A.Street(Ed.):Technology and Applications of Amorphous Silicon,Springer-Verlag Heidelberg,2010,pp.346-349(非晶硅技术和应用,施普林格出版社海德堡,2010年,第346-349页)中公开的一个或多个PSD。其它实施例是可行的。这些设备通常也可以实现在根据本发明的检测器中。作为示例,光束的一部分可以在检测器内通过至少一个分束元件分开。作为示例,分开部分可以被导向横向传感器(诸如CCD或CMOS芯片或相机传感器),并且由分开部分在横向传感器上生成的光斑的横向位置可以被确定,从而确定对象的至少一个横坐标。因此,根据本发明的检测器可以是一维检测器,诸如简单的距离测量设备,或者可以被体现为二维检测器或甚至被体现为三维检测器。此外,如以上概述的或如以下进一步详细概述的,通过以一维方式扫描场景或环境,还可以创建三维图像。因此,根据本发明的检测器具体地可以是一维检测器、二维检测器或三维检测器之一。评估设备可以进一步被配置为确定对象的至少一个横坐标x、y。评估设备可以适于组合纵坐标和横坐标的信息并确定对象在空间中的位置。
光学传感器矩阵的使用提供了多个优点和益处。因此,由光束在传感器元件上(诸如在传感器元件的矩阵的光学传感器的光敏区域的公共平面上)生成的光斑的中心可以随着对象的横向位置而变化。因此,光学传感器的矩阵的使用在对象的位置方面(具体地在对象的横向位置方面)提供了显著的灵活性。光斑在光学传感器矩阵上的横向位置(诸如生成传感器信号的至少一个光学传感器的横向位置)可以用作附加信息项,从该信息项中可以导出关于对象的横向位置的至少一项信息,如例如在WO 2014/198629 A1中公开。另外地或可替代地,根据本发明的检测器可以包含至少一个附加横向检测器,用于除了至少一个纵坐标之外还检测对象的至少一个横坐标。
在本发明的另一方面,公开了一种用于确定至少一个对象的位置的检测器系统。检测器系统包括根据本发明(诸如根据上面公开的一个或多个实施例或根据下面进一步详细公开的一个或多个实施例)的至少一个检测器。检测器系统进一步包括至少一个信标设备,该信标设备适于将至少一个光束朝向检测器引导,其中信标设备是可附接到对象、可被对象握持和可集成到对象中的至少一种。下面将给出关于信标设备的进一步细节,包括其潜在的实施例。因此,该至少一个信标装置可以是或可以包括至少一个有源信标装置,该有源信标装置包括一个或多个照射源,诸如一个或多个光源,如激光器、LED、灯泡等。作为示例,由照射源发射的光可以具有300至500nm的波长。可替代地,如上概述,可以使用红外光谱范围,诸如在780nm至3.0μm的范围内。具体地,可以使用其中在700nm至1000nm的范围内具体可适用的硅光电二极管的近红外区域。如上概述,由一个或多个信标装置发射的光可以是未调制的或可以被调制的,以便区分两个或多个光束。另外地或可替代地,至少一个信标装置可以适于诸如通过包括一个或多个反射元件而将一个或多个光束朝向检测器反射。此外,该至少一个信标装置可以是或可以包括适于散射光束的一个或多个散射元件。其中,可以使用弹性或非弹性散射。在至少一个信标装置适于朝向检测器反射和/或散射主光束的情况下,该信标装置可以适于使光束的光谱特性不受影响,或者可替代地可以适于诸如通过修改光束的波长来改变光束的光谱特性。
在本发明的另一方面,公开了一种用于在用户与机器之间交换至少一项信息的人机界面。人机界面包括根据以上公开的实施例和/或根据以下进一步详细公开的实施例中的一个或多个实施例的至少一个检测器系统。其中,至少一个信标设备适于直接或间接中的至少一种附接到用户或由用户握持。人机界面被设计为借助于检测器系统确定用户的至少一个位置,其中,人机界面被设计为将至少一项信息分配给该位置。
在本发明的另一方面,公开了一种用于执行至少一个娱乐功能的娱乐设备。娱乐设备包括根据上面公开的实施例和/或根据下面进一步详细公开的实施例中的一个或多个实施例的至少一个人机界面。娱乐设备被配置为使得玩家能够借助于人机界面输入至少一项信息。娱乐设备进一步被配置为根据信息改变娱乐功能。
在本发明的另一方面,公开了一种用于跟踪至少一个可移动对象的位置的跟踪系统。跟踪系统包括根据涉及如上面公开的和/或如下面进一步详细公开的检测器系统的一个或多个实施例的至少一个检测器系统。跟踪系统进一步包括至少一个跟踪控制器。跟踪控制器适于跟踪对象在特定时间点的一系列位置。
在本发明的另一方面,公开了一种用于对至少一个对象成像的相机。相机包括根据涉及如上面公开或下面进一步详细公开的检测器的实施例中的任一实施例的至少一个检测器。
在本发明的另一方面中,提供了一种用于确定场景的深度轮廓(profile)的扫描系统,其也可暗示确定至少一个对象的至少一个位置。扫描系统包括根据本发明的至少一个检测器,诸如在上面列出的一个或多个实施例中公开的和/或在下面一个或多个实施例中公开的至少一个检测器。扫描系统进一步包括至少一个照射源,该照射源适于用至少一个光束扫描场景,该光束也可以被称为照射光束或扫描光束。如在此所使用的,术语“场景”通常是指检测器可见的二维或三维范围,使得可用检测器评估二维或三维范围的至少一种几何或空间特性。如在此进一步使用的,术语“扫描”通常指不同区域中的连续测量。因此,扫描具体地可以暗示至少一个第一测量,其中照射光束以第一方式取向或定向,以及至少一个第二测量,其中照射光束以与第一方式不同的第二方式取向或定向。扫描可以是连续扫描或逐步扫描。因此,以连续或逐步的方式,照射光束可以被引导到场景的不同区域,并且检测器可以被检测以针对每个区域生成至少一项信息,诸如至少一个纵坐标。作为示例,为了扫描对象,一个或多个照射光束可以连续地或以逐步的方式在对象的表面上产生光斑,其中生成光斑的纵坐标。然而,可替代地,光图案可用于扫描。扫描可以是点扫描或线扫描,或甚至可以是具有更复杂光图案的扫描。扫描系统的照射源可以不同于检测器的可选照射源。然而,可替代地,扫描系统的照射源也可以与检测器的至少一个可选照射源完全或部分相同或集成到其中。
因此,扫描系统可以包括至少一个照射源,该照射源适于发射被配置用于照射位于至少一个对象的至少一个表面处的至少一个点的至少一个光束。如在此所使用的,术语“点”是指对象表面的一部分上的区域,具体地是小区域,其可以被例如扫描系统的用户选择以由照射源照射。优选地,一方面,该点可以表现出尽可能小的尺寸,以便允许扫描系统确定扫描系统所包括的照射源与点可以尽可能精确地定位在其上的对象的表面的部分之间的距离的值,并且另一方面,它可以尽可能大,以便允许扫描系统的用户或扫描系统本身,特别是通过自动程序,检测对象表面相关部分上是否存在点。
为此,照射源可以包括人工照射源,特别是至少一个激光源和/或至少一个白炽灯和/或至少一个半导体光源,例如至少一种发光二极管,特别是有机和/或无机发光二极管。例如,由照射源发出的光可以具有300至500nm的波长。另外地或可替代地,可以使用红外光谱范围内(诸如780nm至3.0μm的范围内)的光。具体地,可以使用近红外区域的部分中的光,其中硅光电二极管在700nm至1000nm的范围内具体适用。考虑到它们通常定义的光束轮廓和其它可操作性特性,特别优选使用至少一个激光源作为照射源。在此,使用单个激光源可能是优选的,特别是在提供可能容易地由用户存储和运输的紧凑扫描系统可能很重要的情况下。因此,照射源可以优选地是检测器的组成部分并且因此可以特别地集成到检测器中,诸如集成到检测器的壳体中。在优选实施例中,特别地,扫描系统的壳体可以包括至少一个显示器,该显示器被配置为诸如以易于阅读的方式向用户提供与距离相关的信息。在另一优选实施例中,特别地,扫描系统的壳体可以另外包括至少一个按钮,该按钮可以被配置用于操作与扫描系统相关的至少一个功能,诸如用于设置一个或多个操作模式。在另一优选实施例中,特别地,扫描系统的壳体可以另外包括至少一个紧固单元,该紧固单元可以被配置用于将扫描系统紧固到另一表面,诸如橡胶脚、底板或墙壁保持器,诸如包括磁性材料的基板或保持器,特别用于提高距离测量的准确度和/或用户对扫描系统的可操作性。
特别地,扫描系统的照射源因此可以发射单个激光束,该激光束可以被配置用于照射位于对象表面的单个点。通过使用根据本发明的至少一个检测器,因此可以生成关于至少一个点与扫描系统之间的距离的至少一项信息。因此,优选地,可以确定由扫描系统包括的照射系统与如由照射源生成的单个点之间的距离,诸如通过采用如由至少一个检测器包括的评估设备。然而,扫描系统可以进一步包括附加评估系统,该附加评估系统可以特别适用于该目的。可替代地或另外地,可以考虑扫描系统(特别是扫描系统的壳体)的大小,并且因此扫描系统的壳体上的特定点(诸如壳体的前边缘或者后边缘)与单个点之间的距离可以可替代地确定。照射源可以适于生成和/或投影点云,例如照射源可以包括如下中的一个或多个:至少一个数字光处理投影仪、至少一个LCoS投影仪、至少一个空间光调制器;至少一个衍射光学元件;至少一个发光二极管阵列;至少一个激光光源阵列。
可替代地,扫描系统的照射源可以发射两个单独的激光束,该激光束可以被配置为在光束的发射方向之间提供相应的角度,诸如直角,由此可以照射位于同一对象表面或位于两个不同对象的两个不同表面处的两个相应的点。然而,两个单独激光束之间的相应角度的其它值也是可行的。该特征特别可以用于间接测量功能,诸如用于推导间接距离,诸如由于在扫描系统与点之间存在一个或多个障碍物或否则可能很难到达而可能无法直接访问。举例来说,因此,通过测量两个单独的距离并通过使用毕达哥拉斯公式推导出高度来确定对象高度的值可能是可行的。特别地,为了能够保持相对于对象的预定水平(level),扫描系统可以进一步包括至少一个水平单元,特别是集成气泡瓶,该集成气泡瓶可以用于保持用户预定义的水平。
作为进一步的替代,扫描系统的照射源可以发射多个单独的激光束,诸如激光束阵列,其可以相对于彼此表现出相应的间距(pitch),特别是规则间距,并且可以以生成位于至少一个对象的至少一个表面上的点阵列的方式排列。为此目的,可以提供特别适合的光学元件,诸如分束设备和反射镜,其可以允许所述的激光束阵列的生成。特别地,可以通过使用一个或多个可移动反射镜以周期性或非周期性方式重定向光束来引导照射源来扫描区域或体积。
因此,扫描系统可以提供一个或多个点在一个或多个对象的一个或多个表面上的静态布置。可替代地,扫描系统的照射源,特别是一个或多个激光束,诸如上述激光束阵列,可被配置为提供一个或多个光束,该光束可以随着时间推移表现出变化的强度和/或随着时间的推移可能会经受发射方向的交替,特别是通过移动一个或多个反射镜,诸如包括在所述微反射镜阵列内的微反射镜。结果,照射源可以被配置为通过使用具有如由扫描系统的至少一个照射源生成的交替特征的一个或多个光束来扫描至少一个对象的至少一个表面的一部分作为图像。特别地,扫描系统因此可以使用至少一次行扫描和/或线扫描,诸如顺序地或同时地扫描一个或多个对象的一个或多个表面。因此,扫描系统可适于通过测量三个或更多点来测量角度,或者扫描系统可适于测量角落或狭窄区域,诸如屋顶的三角形顶棚(gable),使用传统的量尺很难接近该区域。作为非限制性示例,扫描系统可用在安全激光扫描仪中(例如生产环境中),和/或用于确定对象形状的3D扫描设备中(诸如与3D打印、身体扫描、质量控制结合),建筑应用中(例如作为测距仪),物流应用中(例如用于确定包裹的大小或体积),家庭应用中(例如在机器人真空吸尘器或割草机中),或在可能包括扫描步骤的其它类型的应用中。作为非限制性示例,扫描系统可用于工业安全帘应用。作为非限制性示例,扫描系统可用于执行清扫、吸尘、拖地或打蜡功能,或庭院或花园护理功能,诸如割草或耙地。作为非限制性示例,扫描系统可以采用具有准直光学器件的LED照射源,并且可以适于将照射源的频率偏移到不同的频率以获得更准确的结果和/或采用滤波器来衰减某些频率,同时传输其它频率。作为非限制性示例,扫描系统和/或照射源可以作为一个整体旋转或使用专用电机仅旋转特定的光学组件,诸如反射镜、分束器等,这样在操作中,扫描系统可具有完整的360度观看,或甚至可以移动和/或旋转到平面外以进一步增加扫描区域。此外,照射源可以有源地瞄准预定方向。此外,为了允许有线电气系统的旋转,可以采用滑环(slip ring)、光数据传输、或电感耦合。
作为非限制性示例,扫描系统可以附接到三脚架并且指向具有多个角和表面的对象或区域。一个或多个灵活可移动的激光源附接到扫描系统。一个或多个激光源被移动以使得它们照射关注点。当按下扫描系统上的指定按钮时,照射点相对于扫描系统的位置被测量,并且位置信息经由无线接口传输到移动电话。位置信息存储在移动电话应用中。激光源被移动以照射其他关注点,该关注点的位置被测量并传输到移动电话应用。移动电话应用可以通过将相邻点与平面表面连接来将点集变换为3D模型。3D模型可以被存储和进一步处理。测量点或表面之间的距离和/或角度可以直接显示在附接到扫描系统的显示器上或位置信息传输到的移动电话上。
作为非限制性示例,扫描系统可以包括用于投影点的两个或更多个灵活可移动激光源和用于投影线的其他可移动激光源。线可用于沿线布置两个或更多激光斑点,并且扫描系统的显示器可显示可沿着线(诸如等距)布置的两个或更多激光斑点之间的距离。在两个激光斑点的情况下,可以使用单个激光源,而使用一个或多个分束器或棱镜来修改投影点的距离,其中可以移动分束器或棱镜,使得投影的激光斑点分开或靠近。此外,扫描系统可以适于投影其它他图案,诸如直角、圆形、正方形、三角形等,沿着这些图案可以通过投影激光斑点并测量它们的位置来进行测量。
作为非限制性示例,扫描系统可以适用于线扫描设备。特别地,扫描系统可以包括至少一个传感器线或行。三角测量系统需要足够的基线,使得在近场中不可能检测到。如果激光斑点在传递设备的方向上倾斜,则近场检测可以是可能的。然而,倾斜导致光斑移出视野,这限制了远场区域的检测。通过使用根据本发明的检测器可以克服这些近场和远场问题。特别地,检测器可以包括光学传感器的CMOS线。扫描系统可以适于检测在CMOS线上从对象传播到检测器的多个光束。光束可以在对象上的不同位置处或通过照射源的移动生成。如上面和下面更详细描述的,扫描系统可以适于确定光点中的每个光点的至少一个纵坐标。
作为非限制性示例,扫描系统可适于用工具(诸如木材或金属加工工具,诸如锯、钻机等)支撑工作。因此,扫描系统可以适于在两个相反方向上测量距离并在显示器中显示两个测量的距离或距离的总和。此外,扫描系统可以适于测量到表面边缘的距离,使得当扫描系统放置在表面上时,激光点沿着表面自动远离扫描系统移动,直到距离测量示出由于表面的角落或边缘而引起的突然变化。这使得可以在扫描系统放置在木板上但远离木板端部时测量木板的端部的距离。此外,扫描系统可以在一个方向上测量木板端部的距离,并在相反方向上在指定距离内投影线或圆或点。扫描系统可以适于取决于在相反方向上测量的距离,诸如取决于预定的总距离,在一定距离内投影线或圆或点。这允许在投影位置处用工具(诸如锯或钻机)工作,而将扫描系统放置在距工具的安全距离处,并同时在距木板边缘预定距离处使用工具执行过程。此外,扫描系统可以适于在预定距离中在两个相反方向上投影点或线等。当距离的总和改变时,投影距离中的仅一个投影距离改变。
作为非限制性示例,扫描系统可以适于放置在表面上,诸如在其上执行诸如切割、锯切、钻孔等任务的表面上,并在预定距离中将线投影到表面上,该预定距离可以诸如采用扫描系统上的按钮进行调节。
作为非限制性示例,扫描系统可用在安全激光扫描仪中(例如在生产环境中),和/或在用于确定对象形状的3D扫描设备中(诸如与3D打印、身体扫描、质量控制结合)、建筑应用中(例如作为测距仪),物流应用中(例如用于确定包裹的大小或体积),家庭应用中(例如在机器人真空吸尘器或割草机中),或在可能包括扫描步骤的其它类型的应用中。
传递设备可以被设计为将从对象传播到检测器的光优选地依次馈送到光学传感器。该馈送可以可选地借助于成像或另外借助于传递设备的非成像特性来实现。特别地,传递设备还可以设计为在电磁辐射随后被馈送到光学传感器之前收集电磁辐射。传递设备也可以全部或部分地是至少一个可选照射源的组成部分,例如通过将照射源设计为提供具有定义的光学特性的光束,例如具有定义的或精确已知的光束轮廓,例如高斯束的至少一种线性组合,特别是具有已知光束轮廓的至少一种激光束。
对于可选照射源的潜在实施例,可以参考WO 2012/110924 A1。尽管如此,其它实施例也是可行的。从对象发出的光可以起源于对象本身,但也可以可选地具有不同的起源,并从该起源传播到对象并随后朝向横向和/或纵向光学传感器传播。后一种情况可以例如通过使用至少一个照射源来实现。该照射源可以例如是或包括环境照射源和/或可以是或可以包括人工照射源。举例来说,检测器本身可以包括至少一个照射源,例如至少一个激光器和/或至少一个白炽灯和/或至少一个半导体照射源,例如至少一个发光二极管,特别是有机和/或无机发光二极管。考虑到它们通常定义的束轮廓和其它可操作性特性,特别优选使用一个或多个激光器作为照射源或其一部分。照射源本身可以是检测器的组成部分或者另外独立于检测器形成。照射源可以特别地集成到检测器中,例如集成到检测器的壳体中。可替代地或另外地,至少一个照射源也可以集成到至少一个信标设备中或集成到一个或多个信标设备中和/或集成到对象中或连接到或空间耦接到对象。
从一个或多个可选信标设备发出的光可以相应地、可替代地或另外地从所述光起源于相应信标设备本身的选项中从照射源发出和/或被照射源激发。举例来说,从信标设备发出的电磁光可以由信标设备本身发射和/或被信标设备反射和/或在被馈送到检测器之前被信标设备散射。在该情况下,电磁辐射的发射和/或散射可以在没有电磁辐射的频谱影响或具有此类影响的情况下实现。因此,举例来说,例如根据斯托克斯或拉曼,在散射期间也可能发生波长偏移。此外,光的发射可以例如由初级照射源(例如由被激发以产生发光(特别是磷光和/或荧光)的对象或对象的部分区域)激发。原则上,其它发射过程也是可能的。如果发生反射,则对象可以具有例如至少一个反射区域,特别是至少一个反射表面。所述反射表面可以是对象本身的一部分,但也可以是例如连接或空间耦接到对象的反射器,例如连接到对象的反射板。如果使用至少一个反射器,则它进而可以被视为检测器的一部分,该检测器的一部分例如与检测器的其它组成部分无关地连接到对象。
信标设备和/或至少一个可选的照射源通常可以发射以下至少之一的光:紫外光谱范围,优选地在200nm到380nm的范围内;可见光谱范围(380nm至780nm);红外光谱范围,优选在780nm至3.0微米的范围内,更优选地在其中硅光电二极管具体地在700nm至1000nm的范围内适用的近红外区域的一部分。对于热成像应用,目标可以发射远红外光谱范围内(优选地在3.0微米到20微米的范围内)的光。例如,至少一个照射源适于发射可见光谱范围内的光,优选地在500nm至780nm的范围内,最优选地在650nm至750nm、或690nm至700nm。例如,至少一个照射源适于发射红外光谱范围内的光。然而,其它选项也是可行的。
光束到光学传感器的馈送特别可以这样实现,即在光学传感器的可选传感器区域上产生光斑,例如光斑具有圆形、椭圆形、或不同配置的横截面。举例来说,检测器可以具有可视范围,特别是立体角(solid angle)范围和/或空间范围,在该可视范围内可以检测对象。优选地,传递设备可以设计为使得光斑例如在对象布置在检测器的可视范围内的情况下完全布置在光学传感器的传感器区上和/或传感器区域上。举例来说,可以选择具有对应大小的传感器区域以确保该条件。
在另一方面,本发明公开了一种用于通过使用检测器(诸如根据本发明(诸如根据涉及上面公开的或下面进一步详细公开的检测器的一个或多个实施例)的检测器)确定至少一个对象的位置的方法。仍然可以使用其它类型的检测器。该方法包括以下方法步骤,其中方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。此外,可能存在未列出的一个或多个附加方法步骤。此外,可以重复执行一个、多于一个或甚至所有方法步骤。
该方法包括以下方法步骤:
-选择光学传感器矩阵的至少一个关注区域,每个光学传感器具有光敏区域,该光敏区域被配置为响应于从对象传播到检测器的至少一个光束的照射而生成至少一个传感器信号;
-分别确定关注区域的至少两个光学传感器的至少一个传感器信号,并通过评估根据传感器信号的组合信号Q来确定对象的至少一个纵坐标zDPR
-根据传感器信号确定关注区域的至少一个图像并且通过优化至少一个模糊函数fa根据该图像确定对象的至少一个纵坐标zDFD
考虑纵坐标zDPR和纵坐标zDFD,确定至少一个组合距离信息z。
对于细节、选项和定义,可以参考上面讨论的检测器。因此,具体地,如上概述,该方法可以包括使用根据本发明(诸如根据上面给出的或下面进一步详细给出的一个或多个实施例)的检测器。
在本发明的另一方面,出于使用的目的,提出了根据本发明(诸如根据上面给出的或下面进一步详细给出的一个或多个实施例)的检测器的用途,该用途选自包括以下项的组:交通技术中的位置测量;娱乐应用;安全性应用;监视应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用。
对象通常可以是有生命的或无生命的对象。检测器或检测器系统甚至可以包括至少一个对象,该对象由此形成检测器系统的一部分。然而,优选地,对象可以在至少一个空间维度中独立于检测器移动。对象通常可以是任意对象。在一个实施例中,对象可以是刚性对象。其它实施例是可行的,诸如其中对象是非刚性对象或可以改变其形状的对象的实施例。
如下面将更详细地概述,本发明可具体用于跟踪人的位置和/或运动,诸如用于控制机器、游戏或运动模拟的目的。在该实施例或其它实施例中,具体地,对象可选自包括以下项的组:运动器材物品,优选地选自包括球拍、球杆、球棒的物品;衣服;帽子;鞋的物品。
因此,通常,根据本发明的设备(诸如检测器)可以应用于各种用途领域。具体地,该检测器可以应用于用途目的,该用途选自包括以下项的组:交通技术中的位置测量;娱乐应用;安全性应用;人机界面应用;跟踪应用;摄影应用;地图绘制应用,用于生成至少一个空间(诸如从房间、建筑物和街道的组中选择的至少一个空间)的地图;移动应用;网络摄像头;音频设备;杜比环绕音响系统;计算机外围设备;游戏应用;相机或视频应用;安全性应用;监视应用;汽车应用;运输应用;医疗应用;运动应用;机器视觉应用;车辆应用;飞机应用;船舶应用;航天器应用;建筑应用;施工应用;制图应用;制造应用。另外地或可替代地,可以指定本地和/或全球定位系统中的应用,特别是基于地标的定位和/或导航,具体地用于汽车或其它车辆(诸如火车、摩托车、自行车、用于货物运输的卡车)、机器人或用于行人。此外,室内定位系统可被指定为潜在应用,诸如用于家庭应用和/或用于在制造、物流、监视或维护技术中使用的机器人。
根据本发明的设备可用于移动电话、平板计算机、膝上型计算机、智能面板、或其它固定或移动或可穿戴计算机或通信应用。因此,根据本发明的设备可以与至少一种有源光源结合,诸如发射可见光范围或红外光谱范围内的光的光源,以便提高性能。因此,作为示例,根据本发明的设备可以诸如与用于扫描和/或检测环境、对象和生物的移动软件结合用作相机和/或传感器。根据本发明的设备甚至可以与2D相机(诸如传统相机)结合,以便增加成像效果。根据本发明的设备可进一步用于监视和/或用于记录目的或用作控制移动设备的输入设备,特别是结合语音和/或手势识别。因此,具体地,根据本发明的用作人机界面的设备(也称为输入设备)可用于移动应用中,诸如用于经由移动设备(诸如移动电话)控制其它电子设备或组件。作为示例,包括根据本发明的至少一个设备的移动应用可以用于控制电视机、游戏机、音乐播放器或音乐设备或其它娱乐设备。
此外,根据本发明的设备可用于网络摄像头或用于计算应用的其它外围设备。因此,作为示例,根据本发明的设备可以与用于成像、记录、监视、扫描或运动检测的软件结合使用。如在人机界面和/或娱乐设备的上下文中概述,根据本发明的设备对于通过面部表情和/或身体表情给出命令特别有用。根据本发明的设备可以与其它输入生成设备(如例如鼠标、键盘、触摸板、麦克风等)相结合。此外,根据本发明的设备可以用于游戏应用中,诸如通过使用网络摄像头。此外,根据本发明的设备可用于虚拟训练应用和/或视频会议。此外,根据本发明的设备可用于识别或跟踪在虚拟或增强现实应用中使用的手、手臂或对象,特别是在佩戴头戴式显示器时。
此外,如上面部分地解释,根据本发明的设备可以用于移动音频设备、电视设备和游戏设备。具体地,根据本发明的设备可以用作电子设备、娱乐设备等的控制器或控制设备。此外,根据本发明的设备可以用于眼睛检测或眼睛跟踪,诸如在2D和3D显示技术中(特别是具有用于增强现实应用的透明显示器),和/或用于识别显示器是否正被观看和/或从哪个角度正在观看显示器。此外,根据本发明的设备可用于结合虚拟或增强现实应用来探索房间、边界、障碍物,特别是在佩戴头戴式显示器时。
此外,根据本发明的设备可用于或用作数字相机(诸如DSC相机)和/或用于或用作反射式相机(诸如SLR相机)。对于这些应用,如上所述,可以参考根据本发明的设备在诸如移动电话的移动应用中的使用。
此外,根据本发明的设备可用于安全或监视应用。因此,作为示例,根据本发明的至少一个设备可以与一个或多个数字和/或模拟电子器件相结合,如果对象在预定区域之内或之外,则该电子设备将给出信号(例如,用于银行或博物馆中的监视应用)。具体地,根据本发明的设备可以用于光加密。通过使用根据本发明的至少一个设备的检测可以与其它检测设备(诸如与IR、X射线、UV-VIS、雷达或超声检测器)结合以补充波长。根据本发明的设备可以进一步与有源红外光源结合以允许在弱光环境中进行检测。与有源检测器系统相比,根据本发明的设备通常是有利的,特别是因为根据本发明的设备避免主动发送可能被第三方检测到的信号,如例如在雷达应用、超声波应用、LIDAR或类似的有源检测器设备中的这种情况。因此,通常,根据本发明的设备可用于对移动对象进行无法识别和无法检测的跟踪。此外,与传统设备相比,根据本发明的设备通常不太容易受到操纵和刺激。
此外,考虑到通过使用根据本发明的设备进行3D检测的简便性和准确性,根据本发明的设备通常可以用于面部、身体和人的识别和标识。其中,根据本发明的设备可以与用于识别或个性化目的的其它检测手段(诸如密码、指纹、虹膜检测、语音识别或其它手段)相结合。因此,通常,根据本发明的设备可用于安全设备和其它个性化应用。
此外,根据本发明的设备可以用作用于产品标识的3D条形码读取器。
除了上述安全和监视应用之外,根据本发明的设备通常可以用于空间和区域的监视和监控。因此,根据本发明的设备可以用于监视和监控空间和区域,并且作为示例,用于在禁止区域被违反的情况下触发或执行警报。因此,通常,根据本发明的设备可以用于建筑物监视或博物馆中的监视目的,可选地与其它类型的传感器结合,诸如与运动或热传感器结合,与图像增强器或图像增强设备和/或光电倍增管结合。此外,根据本发明的设备可用于公共空间或拥挤空间,以检测潜在的危险活动,诸如犯罪行为,诸如停车场或无人看管的对象(诸如机场中无人看管的行李)的盗窃。
此外,根据本发明的设备可以有利地应用于诸如视频和摄像机应用的相机应用中。因此,根据本发明的设备可用于运动捕获和3D电影录制。其中,根据本发明的设备通常提供优于传统光学设备的大量优点。因此,根据本发明的设备通常需要关于光学组件的较低复杂度。因此,作为示例,与传统光学设备相比,可以减少透镜的数量,诸如通过提供仅具有一个透镜的根据本发明的设备。由于降低的复杂度,非常紧凑的设备是可能的,诸如用于移动使用。诸如由于对大量分束器的普遍需要,具有两个或更多个高质量透镜的传统光学系统通常体积庞大。此外,根据本发明的设备通常可用于对焦/自动对焦设备,诸如自动对焦相机。此外,根据本发明的设备还可用于光学显微镜,特别是共焦显微镜。
此外,根据本发明的设备一般适用于汽车技术和运输技术的技术领域。因此,作为示例,根据本发明的设备可以用作距离和监视传感器,诸如用于自适应巡航控制、紧急制动辅助、车道偏离警告、环视、盲点检测、交通标志检测、交通标志识别、车道识别、后方交叉路口交通警报、取决于接近的交通或前方行驶的车辆调节大灯强度和范围的光源识别、自适应前照灯系统、远光灯自动控制、前灯系统中的自适应截止灯、无眩光远光前灯系统、通过前灯照射标记动物、障碍物等、后方交叉路口交通警报和其他驾驶员辅助系统,诸如高级驾驶员辅助系统或其它汽车和交通应用。此外,根据本发明的设备可用于驾驶员辅助系统中,该驾驶员辅助系统预先预测驾驶员的操纵以用于避免碰撞等。此外,诸如通过分析使用根据本发明的检测器获得的位置信息的一阶和二阶时间导数,根据本发明的设备还可用于速度和/或加速度测量。该特征一般可适用于汽车技术、运输技术或通用交通技术。在其它技术领域中的应用是可行的。室内定位系统中的特定应用可以是在运输中乘客的位置的检测,更具体地,以电子方式控制安全系统(诸如安全气囊)的使用。如果乘客处于使用安全气囊将导致严重伤害的这样位置,则可能会阻止使用安全气囊。此外,在诸如汽车、火车、飞机等的交通工具中,特别是在自主车辆中,根据本发明的设备可用于确定驾驶员是否注意交通或分心,或睡着,或疲倦,或诸如由于饮酒等而不能驾驶。
在这些或其它应用中,通常,根据本发明的设备可用作独立设备或与其它传感器设备组合(诸如与雷达和/或超声波设备组合)使用。具体地,根据本发明的设备可以用于自主驾驶和安全问题。此外,在这些应用中,根据本发明的设备可以与作为声波传感器、二维相机或其它类型的传感器的红外传感器、雷达传感器结合使用。在这些应用中,根据本发明的设备的一般无源特性是有利的。因此,由于根据本发明的设备通常不需要发射信号,因此可以避免有源传感器信号与其它信号源干扰的风险。根据本发明的设备具体地可以与识别软件(诸如标准的图像识别软件)结合使用。因此,由根据本发明的设备提供的信号和数据通常易于处理,并且因此通常需要比建立的3D测量系统更低的计算能力。考虑到低空间需求,根据本发明的设备(诸如相机)实际上可以放置在车辆中的任何位置,诸如在窗屏上或后面、前引擎盖上、保险杠上、灯上、后视镜上或其它地方等。可以组合根据本发明的各种检测器,诸如基于本发明内公开的效果的一个或多个检测器,诸如以便允许自动驾驶车辆或以便提高主动安全概念的性能。因此,根据本发明的各种设备可以与根据本发明的一个或多个其它设备和/或传统传感器(诸如在像后窗、侧窗或前窗的车窗中、在保险杠上或在灯上)组合。
根据本发明的至少一个设备(诸如根据本发明的至少一个检测器)与一个或多个雨检测传感器的组合也是可能的。这是由于根据本发明的设备通常优于传统传感器技术(诸如雷达)的事实,具体是在大雨期间。根据本发明的至少一个设备与至少一种传统感测技术(诸如雷达)的组合可以允许软件根据天气条件挑选正确的信号组合。
此外,根据本发明的设备通常可以用作制动辅助和/或停车辅助和/或用于速度测量。速度测量可以集成在车辆中,或可以在车辆外部使用,诸如以便在交通控制中测量其它汽车的速度。此外,根据本发明的设备可用于检测停车场中的空闲停车位。
此外,根据本发明的设备可用于医疗系统和运动领域。因此,在医疗技术领域中,手术机器人(例如用于内窥镜)可以被指定,因为如上所述,根据本发明的设备可能只需要小体积并且可以集成到其它设备中。具体地,根据本发明的至多具有一个透镜的设备可以用于在诸如内窥镜的医疗设备中捕获3D信息。此外,根据本发明的设备可以与适当的监控软件结合,以便能够跟踪和分析运动。这可以允许医疗设备(诸如内窥镜或手术刀)的位置与医疗成像的结果(诸如从磁共振成像、X射线成像、或超声成像获得)的即时叠加。这些应用例如在精确位置信息很重要的医学治疗中(诸如脑外科、远程诊断和远程医疗中)特别有价值。此外,根据本发明的设备可以用于3D身体扫描。身体扫描可应用于医疗的上下文中,诸如牙科手术、整形手术、减肥手术或美容整形手术,或可应用于医疗诊断的上下文中,诸如诊断肌筋膜疼痛综合征、癌症、身体变形障碍,或进一步的疾病。身体扫描可进一步应用于运动领域,以评估运动器材的人体工程学使用或合身性。此外,根据本发明的设备可用于可穿戴机器人,诸如外骨骼或假肢等。
身体扫描还可用于服装的上下文中,诸如确定衣服的合适大小和合身度。该技术可用于定制衣服的上下文中,或从互联网订购衣服或鞋子或自助购物设备(诸如微型售货亭设备或客户礼宾设备)的上下文中。服装的上下文中的身体扫描对于扫描穿着整齐的顾客特别重要。
此外,根据本发明的设备可用于人数统计系统的上下文中,诸如计算电梯、火车、公共汽车、汽车或飞机中的人数,或统计通过走廊、门、过道、零售店、体育场、娱乐场所、博物馆、图书馆、公共场所、电影院、剧院等的人数。此外,人数统计系统中的3D功能可用于获得或估计关于被统计人的进一步信息,诸如身高、体重、年龄、身体健康等。该信息可用于商业智能度量,和/或用于进一步优化可统计人数的地点,以使其更具吸引力或安全性。在零售环境中,根据本发明的设备在人数统计的上下文中可用于识别回头客或交叉购物者、评估购物行为、评估进行购买的访客的百分比、优化员工轮班,或监控每位访客的购物中心成本。此外,人数统计系统可用于人体测量学调查。此外,根据本发明的设备可用于公共交通系统,用于取决于运输长度自动向乘客收费。此外,根据本发明的设备可用于儿童游乐场,以识别受伤的儿童或从事危险活动的儿童,允许与游乐场玩具的附加互动,以确保安全使用游乐场玩具等。
此外,根据本发明的设备可用于建筑工具,诸如确定到对象或到墙壁的距离的测距仪,以评估表面是否是平面的,以有序的方式对齐对象或放置对象,或用于在建筑环境等中使用的检查相机中。
此外,根据本发明的设备可以应用于运动和锻炼领域,诸如用于训练、远程指导或比赛目的。具体地,根据本发明的设备可以应用于舞蹈、有氧运动、足球、英式足球、篮球、棒球、板球、曲棍球、田径、游泳、马球、手球、排球、橄榄球、相扑、柔道、击剑、拳击、高尔夫、赛车、激光标签、战场模拟等。根据本发明的设备可用于检测球、球棒、剑、动作等的位置,无论是在运动中还是在比赛中,诸如监控比赛,支持裁判或判断,特别是自动判断运动中的特定情况,诸如判断是否真地得分或进球。
此外,根据本发明的设备可用于赛车或汽车驾驶员培训或汽车安全培训等领域,以确定汽车的位置或汽车的轨迹,或与先前轨迹或理想轨迹的偏差等。
根据本发明的设备可进一步用于支持乐器的练习,特别是远程课程,例如弦乐器(诸如民族提琴(fiddle)、小提琴(violin)、中提琴、大提琴、贝司、竖琴、吉他、班卓琴或尤克里里琴)、键盘乐器(诸如钢琴、风琴、键盘、大键琴、风琴或手风琴)和/或打击乐器(诸如鼓、定音鼓、马林巴琴、木琴、颤音琴、邦戈鼓、康加鼓、定音鼓、非洲鼓或手鼓)的课程。
根据本发明的设备还可以用于康复和物理治疗,以便鼓励训练和/或以便调查和纠正运动。其中,根据本发明的设备还可以应用于距离诊断。
此外,根据本发明的设备可以应用于机器视觉领域。因此,可以使用根据本发明的一种或多种设备,例如,作为自主驾驶和或机器人工作的无源控制单元。与移动机器人相结合,根据本发明的设备可以允许自主移动和/或自主检测零件中的故障。根据本发明的设备还可以用于制造和安全监视,诸如以便避免事故,包括但不限于机器人、生产零件和生物之间的碰撞。在机器人技术中,人与机器人的安全和直接交互通常是一个问题,因为机器人在未被识别时可能会严重伤害人类。根据本发明的设备可以帮助机器人更好更快地定位对象和人类,并允许安全交互。考虑到根据本发明的设备的无源特性,根据本发明的设备可能优于有源设备和/或可以用于补充现有的解决方案,如雷达、超声波、2D相机、红外检测等。根据本发明的设备的一个特殊优点是信号干扰的低可能性。因此,多个传感器可以在同一个环境中同时工作,没有信号干扰的风险。因此,根据本发明的设备通常可用于高度自动化的生产环境,如例如但不限于汽车、采矿、钢铁等。根据本发明的设备还可以用于生产中的质量控制,例如与如2D成像、雷达、超声波、红外等的其它传感器结合,诸如用于质量控制或其它目的。此外,根据本发明的设备可用于评估表面质量,诸如用于监视产品的表面平整度或对特定尺寸(从微米范围到米范围)的遵守情况。其它质量控制应用是可行的。在制造环境中,根据本发明的设备特别适用于加工天然产品,诸如食物或木材,具有复杂的三维结构以避免大量废料。此外,根据本发明的设备可用于监控罐、筒仓等的填充水平。此外,根据本发明的设备可用于检查复杂产品的缺失零件、不完整零件、松散零件、低质量零件等,诸如在诸如印刷电路板、组件或子组件的检查、工程组件的验证、发动机零件检查、木材质量检查、标签检查、医疗设备检查、产品取向检查、包装检查、食品包装检查等的自动光学检查中。
此外,根据本发明的设备可用于车辆、火车、飞机、轮船、航天器和其它交通应用。因此,除了上面在交通应用的上下文中提到的应用之外,还可以指定用于飞机、车辆等的无源跟踪系统。用于监控移动对象的速度和/或方向的根据本发明的至少一个设备(诸如根据本发明的至少一个检测器)的使用是可行的。具体地,可以指定对陆地、海洋和空中(包括太空)的快速移动对象的跟踪。根据本发明的至少一个设备(诸如根据本发明的至少一个检测器)具体地可以安装在静止的和/或移动的设备上。根据本发明的至少一个设备的输出信号可以例如与用于另一个对象的自主或引导运动的引导机制相结合。因此,用于避免被跟踪对象与被操纵对象之间得碰撞或用于使被跟踪对象与被操纵对象之间发生碰撞的应用是可行的。由于所需的低计算功率、即时响应以及由于与有源系统(如例如雷达)相比通常更难检测和干扰的检测系统的无源性质,根据本发明的设备通常是有用和有利的。根据本发明的设备特别有用但不限于例如速度控制和空中交通控制设备。此外,根据本发明的设备可用于道路收费的自动收费系统。
根据本发明的设备通常可用于无源应用。无源应用包括在港口或危险区域中用于船舶以及在着陆或启动时用于飞机的引导。其中,固定的已知的有源目标可用于精确引导。这同样适用于在危险但明确定义的路线上行驶的车辆,诸如采矿车辆。此外,根据本发明的设备可用于检测快速接近的对象,诸如汽车、火车、飞行对象、动物等。此外,根据本发明的设备可用于检测对象的速度或加速度,或通过根据时间来跟踪对象的位置、速度和/或加速度中的一个或多个来预测对象的运动。
此外,如上概述,根据本发明的设备可用于游戏领域。因此,根据本发明的设备可以是无源的,用于与具有相同或不同大小、颜色、形状等的多个对象一起使用,诸如与将运动结合到其内容中的软件相结合用于运动检测。特别地,应用在将运动实现位图形输出的方面是可行的。此外,用于给出命令的根据本发明的设备的应用是可行的,诸如通过使用根据本发明的用于手势或面部识别的设备中的一个或多个。根据本发明的设备可以与有源系统相结合以便在例如弱光条件下或在需要增强周围条件的其它情况下工作。另外地或可替代地,根据本发明的一个或多个设备与一个或多个IR或VIS光源的组合是可能的。根据本发明的检测器与特殊设备的组合也是可能的,这可以通过系统及其软件轻松区分,例如并且不限于特殊颜色、形状、与其它设备的相对位置、移动速度、光、用于调制设备上光源的频率、表面特性、使用的材料、反射特性、透明度、吸收特性等。除其它可能性外,该设备可以类似于棍子、球拍、球杆、枪、刀、轮子、环状物、方向盘、瓶子、球、玻璃杯、花瓶、勺子、叉子、立方体、骰子、人偶、木偶、泰迪熊、烧杯、踏板、开关、手套、珠宝、乐器或演奏乐器的辅助设备,诸如拨片、鼓槌等。其它选项是可行的。
此外,根据本发明的设备可用于检测和/或跟踪诸如由于高温或进一步的发光过程而自身发光的对象。发光部分可以是排气流等。此外,根据本发明的设备可用于跟踪反射对象并分析这些对象的旋转或取向。
此外,根据本发明的设备通常可用于建筑、施工和制图领域。因此,通常,可以使用根据本发明的一个或多个设备来测量和/或监控环境区域,例如乡村或建筑物。其中,根据本发明的一个或多个设备可以与其它方法和设备相结合或可以单独使用,以监控建筑项目、改变的对象、房屋等的进度和准确性。根据本发明的设备可用于生成扫描环境的三维模型,以便从地面或空中构建房间、街道、房屋、社区或景观的地图。潜在的应用领域可以是建筑、制图、房地产管理、土地测量等。作为示例,根据本发明的设备可用于无人机或多旋翼飞行器,以监控建筑物、生产现场、烟囱、农业生产环境,诸如田地、生产工厂或景观,以支持救援行动,支持在危险环境中的工作,在室内或室外燃烧的地方支持消防队,或寻找或监视一个或多个人或动物等,或用于娱乐目的,诸如无人机跟随和记录一个或多个人做的运动(诸如滑雪或骑自行车等),这可以通过跟随头盔、标记、信标设备等来实现。根据本发明的设备可用于识别障碍物、遵循预定路线、遵循边缘、管道、建筑物等,或者记录环境的全局或局部地图。此外,根据本发明的设备可用于无人机的室内或室外定位和位置测定,用于在气压传感器不够准确的室内稳定无人机的高度,或用于多个无人机的交互,诸如作为几架无人机的协同运动或在空中充电或加油等。
此外,根据本发明的设备可以在诸如CHAIN(Cedec家用电器互操作网络)的家用电器的互连网络中使用,从而互连、自动化和控制家庭中的基本设备相关服务,例如能源或负荷管理、远程诊断、宠物相关电器、儿童相关电器、儿童监视、电器相关监视、对老年人或病人的支持或服务、家庭安全和/或监视、电器操作的远程控制以及自动维护支持。此外,根据本发明的设备可以用于加热或冷却系统,例如空调系统,以定位房间的哪个部分应该被设置为一定的温度或湿度,特别是取决于一个或多个人的位置。此外,根据本发明的设备可以用于家用机器人,例如可以用于家务的服务或自主机器人。根据本发明的设备可以用于许多不同的目的,例如为了避免碰撞或映射环境,还用于识别用户,针对给定用户个性化机器人的性能,用于安全目的,或者用于手势或面部识别。作为示例,根据本发明的设备可用于机器人吸尘器、洗地机器人、干扫机器人、用于熨烫衣服的熨烫机器人、动物垃圾机器人,诸如狗或猫垃圾机器人、用于电动车辆的充电机器人、检测入侵者的安全机器人、机器人割草机、自动泳池清洁器、雨水槽清洁机器人、机器人购物车、行李搬运机器人、巡线机器人、洗衣机器人、熨烫机器人、擦窗机器人、玩具机器人、病人监护机器人、婴儿监护机器人、老人监护机器人、儿童监护机器人、运输机器人、远程呈现机器人、专业服务机器人、可编程玩具机器人、探路机器人、为行动不便的人提供陪伴的社交机器人、跟随机器人、智能卡跟随机器人、心理治疗机器人,或将语音翻译成手语或将手语翻译成语音的机器人。在行动不便的人群(诸如老年人)的情况下,具有根据本发明的设备的家用机器人可用于拾取对象、运输对象以及以安全的方式与对象和用户交互。此外,根据本发明的设备可用于人形机器人,特别是在使用人形手拾取或握住或放置对象的上下文中。此外,根据本发明的设备可以与音频接口结合使用,特别是与家用机器人结合使用,该家用机器人可以用作具有到在线或离线计算机应用的接口的数字助理。此外,根据本发明的设备可以用于可控制工业和家庭用途中的开关和按钮的机器人。此外,根据本发明的设备可用于智能家居机器人,诸如Mayfield的Kuri。此外,根据本发明的设备可以用在机器人与危险材料或对象一起操作或在危险环境中。作为非限制性示例,根据本发明的设备可以用在机器人或无人遥控车辆中,从而操作诸如化学品或放射性材料的危险材料,尤其是在灾害之后,或者操作诸如其他危险或潜在危险的对象,诸如地雷、未爆炸的武器等,或在诸如近处燃烧对象或灾后地区的不安全环境中操作或进行调研,或在空中、海上、地下等进行有人或无人救援行动。
此外,根据本发明的设备可用于检查粘合珠、密封珠等,诸如识别破裂、粗节、收缩、不对称、局部缺陷等。此外,根据本发明的设备可用于对传送带上的诸如干果的对象进行计数,诸如在困难情况下,诸如当颜色和形状相似的水果可能彼此直接接触时。此外,根据本发明的设备可用于压铸或注塑零件的质量控制,诸如以确保无缺陷的铸造或模制,识别表面损坏、磨损的工具等。此外,根据本发明的设备可用于激光划线,诸如用于激光的质量控制和定位。此外,根据本发明的设备可用于分类系统,诸如检测对象的位置、旋转和形状,将其与对象数据库进行比较,并对对象进行分类。此外,根据本发明的设备可用于冲压零件检查、包装检查,诸如食品和药品包装检查、细丝检查等。
此外,根据本发明的设备可用于导航目的,其中全球定位系统不够可靠。GPS信号通常使用无线电波,该无线电波在室内或室外的山谷或林木线以下的森林中可能会被阻挡或难以接收。此外,特别是在无人自主车辆中,系统的重量可能很关键。特别是无人自主车辆需要用于其控制系统的可靠反馈和稳定性的高速位置数据。使用根据本发明的设备可以允许短时间响应和定位,而不会因设备重而增加重量。
此外,根据本发明的设备可以用于家用、移动或娱乐设备,例如冰箱、微波炉、洗衣机、窗帘或百叶窗、家用警报器、空调设备、加热设备、电视、音频设备、智能手表、移动电话、电话、洗碗机、炉子等,用于检测人的存在,监测设备的内容或功能,或与人进行交互和/或与其他家庭、移动或娱乐设备共享有关该人的信息。
此外,根据本发明的设备可用于支持老年人或残疾人或视力有限或没有视力的人,诸如在做家务时或在工作中,诸如在用于保持、携带或拾取对象的设备中,或在具有光学或声学信号发信号通知环境中障碍物的安全系统中。
根据本发明的设备可以进一步用于农业,例如完全或部分地检测和分类害虫、杂草和/或受感染的作物植物,其中作物植物可以被真菌或昆虫感染。此外,为了收获作物,根据本发明的设备可以用于检测动物(例如鹿),否则它们可能受到收获设备侵害。此外,根据本发明的设备可以用于监测田地或温室中植物的生长,特别是用于调节田地或温室中给定区域的水或肥料或作物保护产品的量,或甚至用于给定的植物。此外,在农业生物技术中,根据本发明的设备可以用于监测植物的大小和形状。
此外,根据本发明的设备可用于自动去除杂草,诸如通过机械方式,诸如以避免使用除草剂。此外,根据本发明的设备可用于农业领域,特别是检测和/或定位特定昆虫,诸如决定是否施用作物保护或施肥物质,诸如以减少施用物质的量或保护特定的动物群体(诸如蜜蜂)。
此外,根据本发明的设备可以用于在剃须、剪发或化妆过程等期间引导使用者。此外,根据本发明的设备可以用于记录或监测在诸如小提琴的乐器上演奏的内容。此外,根据本发明的设备可以用在诸如智能冰箱的智能家用电器中,诸如监测冰箱的内容并根据内容发送通知。此外,根据本发明的设备可以用于监测或跟踪人类、动物或植物的群体,例如森林中的珍贵或树木种群。此外,根据本发明的设备可以用在收割机中,例如用于收割庄稼、花卉或水果,例如葡萄、玉米、啤酒花、苹果、谷物、大米、草莓、芦笋、郁金香、玫瑰、大豆等等。此外,根据本发明的设备可以用于监测植物、动物、藻类、鱼类等的生长,例如在育种、食品生产、农业或研究应用中,以便控制灌溉、施肥、湿度、温度,除草剂、杀虫剂、杀真菌剂、杀鼠剂等的使用。此外,根据本发明的设备可以用于动物或宠物的喂食机器,例如用于牛、猪、猫、狗、鸟、鱼等。此外,根据本发明的设备可以用于动物产品生产过程,例如用于收集牛奶、鸡蛋、毛皮、肉类等,例如在自动挤奶或屠宰过程中。此外,根据本发明的设备可以用于自动播种机、或撒种机、或种植机,例如用于种植玉米、大蒜、树木、沙拉等。此外,根据本发明的设备可以用于评估或监测天气现象,例如云、雾等,或用于警告雪崩、海啸、大风、地震、雷暴等危险。此外,根据本发明的设备可以用于测量运动、冲击、震荡等,以便监测地震风险。此外,根据本发明的设备可以用于交通技术中以监测危险的交叉路口,根据交通控制交通灯,监测公共空间,监测道路、健身房、体育场馆、滑雪场、公共事件等。此外,根据本发明的设备可以用于医疗应用中,例如监测或分析组织、医学或生物学测定、组织中的变化,例如痣或黑素瘤等,计数细菌、血细胞、细胞、藻类,用于视网膜扫描、呼吸或脉搏测量、胃镜检查、患者监视等。此外,根据本发明的设备可以用于监测液滴、流、喷射等的形状、大小或周长,或用于分析、评估或监测诸如风道中的轮廓或气体或液体流等。此外,根据本发明的设备可以用于在诸如汽车或火车司机生病或疲倦等时警告驾驶员。此外,根据本发明的设备可以用于材料测试以识别应变或张力或裂缝等。此外,根据本发明的设备可以用于航行以监测和优化航行位置,例如自动。此外,根据本发明的设备可以用于燃料液位计。
此外,根据本发明的设备可以与检测化学品或污染物的传感器、电子鼻芯片、检测细菌或病毒等的微生物传感器芯片、盖格(Geiger)计数器、触觉传感器,热传感器等进行组合。例如,这可以用于构造智能机器人,其被配置用于处理危险或困难的任务,例如治疗高度感染的患者,处理或去除高度危险的物质,清洁高度污染的区域,例如高放射性区域或化学品泄漏,或者用于农业害虫防治。
根据本发明的一个或多个设备还可以用于扫描对象,例如与CAD或类似软件相组合,例如用于增材制造和/或3D打印。其中,可以使用根据本发明的设备的高空间精度,例如在x方向、y方向或z方向或这些方向的任意组合中,例如同时。此外,根据本发明的设备可以用于检查和维护,例如管道检测仪表。此外,在生产环境中,根据本发明的设备可以用于处理难以限定形状的对象,例如天然生长的对象,例如按形状或大小分类蔬菜或其他天然产品,或切割诸如肉类或者以低于加工步骤所需的精度进行制造的对象。
此外,根据本发明的设备可以用在本地导航系统中,以允许自动或部分自动地移动车辆或多旋翼飞机等通过室内或室外空间。非限制性示例可以包括车辆移动通过自动储存器以拾取对象并将它们放置在不同的位置。室内导航还可以用于商场、零售商店、博物馆、机场或火车站,以跟踪移动商品、移动设备、行李、顾客或雇员的位置,或者向用户提供位置特定信息,例如地图上的当前位置、或所售商品的信息等。
此外,根据本发明的设备可以用于确保摩托车的安全驾驶,例如通过监测速度、倾斜度、即将到来的障碍物、道路的不平坦性或曲线等来为摩托车提供驾驶辅助。此外,根据本发明的设备可以用在火车或有轨电车中以避免碰撞。
此外,根据本发明的设备可以用在手持设备中,例如用于扫描包装或包裹以优化物流过程。此外,根据本发明的设备可以用于其他手持设备,例如个人购物设备、RFID读取器,用于在医院或健康环境中的手持设备,诸如医疗用途或用于获取、交换或记录患者或患者相关信息的手持设备,零售或健康环境的智能徽章等。
如上所述,根据本发明的设备还可以用于制造、质量控制或识别应用,例如产品识别或尺寸识别(例如用于寻找最佳位置或包装,以减少浪费等)。此外,根据本发明的设备可以用于物流应用中。因此,根据本发明的设备可用于优化装载或包装容器或车辆。此外,根据本发明的设备可以通过使用至少一个图像矩阵并将预先记录的大小与条码、QR码或预先记录的符号的记录图像的测量特性进行比较(诸如通过将符号的宽度或高度与预先记录的值进行比较),使用已知大小的条形码、QR码或预先记录的符号来重新校准。此外,根据本发明的设备可以用于监测或控制制造领域中的表面损坏,用于监测或控制诸如租赁车辆的租赁物品,和/或用于保险应用,例如用于评估损害。此外,根据本发明的设备可用于识别材料、对象或工具的尺寸,例如用于最佳材料处理,尤其是与机器人组合。此外,根据本发明的设备可以用于生产中的过程控制,例如,用于观察罐的填充水平。此外,根据本发明的设备可以用于维护生产资产,例如但不限于罐、管道、反应器、工具等。此外,根据本发明的设备可以用于分析3D质量标记。此外,根据本发明的设备可以用于制造定制产品,例如牙齿镶嵌物、牙齿矫正器、假体、衣服等。根据本发明的设备还可以与一个或多个3D打印机组合,用于快速原型制作、3D复制等。此外,根据本发明的设备可以用于检测一个或多个物品的形状,例如用于反产品盗版和用于防伪目的。
因此,具体地,本申请可以应用于摄影领域。因此,检测器可以是摄影设备的一部分,具体地是数字相机的一部分。具体地,检测器可以用于3D摄影,具体地用于数字3D摄影。因此,检测器可以形成数字3D相机或者可以是数字3D相机的一部分。如在此所使用的,术语摄影通常是指获取至少一个对象的图像信息的技术。如在此进一步使用的,相机通常是适于执行摄影的设备。如在此进一步使用的,术语数字摄影通常是指通过使用多个光敏元件来获取至少一个对象的图像信息的技术,该光敏元件适于生成指示照射强度和/或颜色的电信号,优选地数字电信号。如在此进一步使用的,术语3D摄影一般是指在三个空间维度中获取至少一个对象的图像信息的技术。因此,3D相机是一种适于执行3D摄影的设备。相机通常可以适于获取单个图像,诸如单个3D图像,或者可以适于获取多个图像,诸如图像序列。因此,相机也可以是适于视频应用的视频相机,诸如用于获取数字视频序列。
因此,通常,本发明进一步涉及一种用于对至少一个对象进行成像的相机,具体地是数字相机,更具体地是3D相机或数字3D相机。如上概述,如在此所使用的术语成像通常是指获取至少一个对象的图像信息。相机包括根据本发明的至少一个检测器。如上概述,相机可以适于获取单个图像或用于获取多个图像(诸如图像序列),优选地用于获取数字视频序列。因此,作为示例,相机可以是或可以包括视频相机。在后一种情况下,相机优选地包括用于存储图像序列的数据存储器。
如在本发明中使用的,表述“位置”通常是指关于对象的一个或多个点的绝对位置和取向中的一个或多个的至少一项信息。因此,具体地,可以在检测器的坐标系中(诸如在笛卡尔坐标系中)确定位置。然而,另外地或可替代地,可以使用其它类型的坐标系,诸如极坐标系和/或球坐标系。
如上所述并且如下面将进一步详细描述的,本发明优选地可以应用于人机界面领域、运动领域和/或计算机游戏领域。因此,优选地,对象可以选自包括以下项的组:运动器材物品,优选地选自由球拍、球杆、球棒组成的组的物品、衣服、帽子、鞋子物品。其它实施例是可行的。
如在此所使用的,对象通常可以是从有生命的对象和无生命的对象中选择的任意对象。因此,作为示例,至少一个对象可以包括一个或多个物品和/或物品的一个或多个部分。另外地或可替代地,对象可以是或可以包括一个或多个生物和/或其一个或多个部分,诸如人类(例如用户)和/或动物的一个或多个身体部位。
关于用于确定对象位置的坐标系,其可以是检测器的坐标系,检测器可以构成坐标系,其中检测器的光轴形成z轴,并且其中,另外,可以提供与z轴垂直并且彼此垂直的x轴和y轴。作为示例,检测器和/或检测器的一部分可以停留在该坐标系中的特定点处,诸如在该坐标系的原点处。在该坐标系中,与z轴平行或反平行的方向可以被认为是纵向方向,并且沿z轴的坐标可以被认为是纵坐标。垂直于纵向方向的任意方向可以被认为是横向方向,并且x坐标和/或y坐标可以被认为是横坐标。
可替代地,可以使用其它类型的坐标系。因此,作为示例,可以使用极坐标系,其中光轴形成z轴并且其中距z轴的距离和极角可以用作附加坐标。同样,平行或反平行于z轴的方向可以被认为是纵向方向,并且沿着z轴的坐标可以被认为是纵坐标。垂直于z轴的任何方向都可以被认为是横向方向,并且极坐标和/或极角可以被认为是横坐标。
检测器可以是被配置为提供关于至少一个对象和/或其一部分的位置的至少一项信息的设备。因此,位置可以指完全描述对象或其一部分优选地在检测器的坐标系中的位置的信息项,或者可以指仅部分地描述位置的部分信息。检测器通常可以是适于检测光束(诸如从信标设备朝向检测器传播的光束)的设备。
评估设备和检测器可以完全或部分地集成到单个设备中。因此,通常,评估设备也可以形成检测器的一部分。可替代地,评估设备和检测器可以完全或部分地体现为单独的设备。检测器可以包括其它组件。
检测器可以是固定设备或移动设备。此外,检测器可以是独立设备或可以形成另一设备(诸如计算机、车辆或任何其它设备)的一部分。此外,检测器可以是手持设备。检测器的其它实施例是可行的。
检测器具体地可用于记录在检测器的透镜或透镜系统后面的光场,与全光或光场相机相当。因此,具体地,检测器可以体现为适于诸如同时获取多个焦平面中的图像的光场相机。如在此所使用的,术语光场通常是指光在检测器内侧(诸如相机内侧)的空间光传播。根据本发明的检测器(具体地是具有光学传感器的堆叠)可以具有直接记录检测器或相机内(诸如在透镜后面)的光场的能力。多个传感器可以记录距透镜不同距离处的图像。使用例如基于卷积的算法(诸如“聚焦深度(depth from focus)”或“离焦深度(depth-from-defocus)”),可以对透镜后面的光的传播方向、焦点和扩展(spread)进行建模。从透镜后面的建模光的传播中,可以提取到透镜不同距离处的图像,可以优化景深,可以提取在不同距离处对焦的图片,或者可以计算对象的距离。可以提取更多信息。
多个光学传感器的使用进一步允许在记录图像之后在图像处理步骤中校正透镜误差。当需要校正透镜误差时,光学仪器通常会变得昂贵且结构复杂。这些在显微镜和望远镜中特别成问题。在显微镜中,典型的透镜误差是距光轴不同距离的光线不同地失真(球面像差)。在望远镜中,不同的大气温度可能会导致焦距发生变化。可以通过在校准步骤中确定误差并且然后使用固定图像处理(诸如固定的像素和传感器组)或使用光传播信息的更复杂的处理技术来校正静态误差,诸如球面像差或生产中的其它误差。在透镜误差与时间密切相关的情况下,即取决于望远镜中的天气条件,可以通过使用透镜后面的光传播,计算扩展景深图像,使用聚焦深度技术等来校正透镜误差。
根据本发明的检测器可进一步允许颜色检测。对于颜色检测,可以使用具有不同光谱特性的多个光学传感器,并且可以比较这些光学传感器的传感器信号。此外,根据本发明的设备可以用在手势识别的上下文中。在该上下文中,结合根据本发明的设备的手势识别特别可以用作人机界面,用于经由身体、身体部位或对象的运动向机器传输信息。在此,信息可以优选地经由手或手的部分(诸如手指)的运动来传输,特别是通过指向对象、应用手语(诸如对于聋人)、做出数字的手势、通过挥手表示赞成、不赞成等,例如当要求某人接近、离开或迎接某人,按压对象,拿走对象,或者在体育或音乐领域,用手或手指运动,如热身运动。此外,信息可以通过手臂或腿的运动传递,例如旋转、踢、抓、扭、旋转、滚动、浏览、推动、弯曲、打孔、摇动、手臂、腿、双臂或双腿,或者手臂和腿的组合,例如用于运动或音乐的目的,例如用于机器的娱乐、锻炼或训练功能。此外,信息可以通过整个身体或其主要部分的运动来传输,例如跳跃、旋转或制作复杂的标志,例如在机场或由交警使用的手语以便传输信息,例如“右转”、“左转”、“前进”、“减速”、“停止”或“停止引擎”,或通过假装游泳、潜水、跑步、射击等,或制作复杂运动或身体姿势,如瑜伽、普拉提、柔道、空手道、舞蹈或芭蕾舞。此外,可以通过使用真实或模拟设备来传输信息,以控制与模拟设备相对应的虚拟设备,例如使用模拟吉他来控制计算机程序中的虚拟吉他功能,使用真正的吉他来控制计算机程序中的虚拟吉他功能,使用真实或模拟书籍来阅读电子书或移动页面或浏览虚拟文档,使用真实或模拟笔在计算机程序中绘图等。此外,信息的传输可以耦接到对用户的反馈,例如声音、振动或运动。
在音乐和/或乐器的情境下,根据本发明的设备结合手势识别可以用于锻炼目的,乐器控制,乐器记录,通过使用模拟乐器演奏或录制音乐或仅假装存在乐器,例如弹奏空气吉他,例如避免噪音或录音,或者用于进行虚拟管弦乐队、合唱团、乐队、大乐队、合唱团等,以便练习、锻炼、录音或娱乐目的等。
此外,在安全和监视的情境下,根据本发明的设备结合手势识别可以用于识别人的运动轮廓,例如通过行走或移动身体来识别人,或者使用手势或移动或者身体部位或整个身体的标志或移动,作为访问或识别控制,例如个人识别标志或个人识别移动。
此外,在智能家用电器或物联网的情境下,根据本发明的设备结合手势识别可以用于家庭设备的中央或非中央控制,家庭设备可以是家用电器和/或家用设备的互连网络的一部分,诸如冰箱、集中供热、空调、微波炉、冰块制造机或煮水器,或娱乐设备,如电视机、智能手机、游戏机、录像机、DVD播放器、个人电脑、笔记本电脑、平板电脑或其组合,或家用设备和娱乐设备的组合。
此外,在虚拟现实或增强现实的情境下,根据本发明的设备结合手势识别可以用于控制虚拟现实应用或增强现实应用的移动或功能,例如使用标志、手势、身体运动或身体部位运动等玩游戏或控制游戏,在虚拟世界中移动,操纵虚拟对象,使用虚拟对象来练习、锻炼或进行运动、艺术、手工艺、音乐或游戏,虚拟对象如球、国际象棋棋子、石头、仪器、工具、刷子。
此外,在医学的情境下,根据本发明的设备结合手势识别可以用于支持康复训练、远程诊断,或监测或调查手术或治疗,以叠加和显示具有医疗设备位置的医学图像,或者利用手术或治疗过程中记录的来自内窥镜或超声波等的图像来叠加显示预先记录的医学图像,例如来自磁共振断层摄影术或X射线等的医学图像。
此外,在制造和过程自动化的情境下,根据本发明的设备结合手势识别可以用于控制、教导或编程机器人、无人机、无人驾驶自动驾驶车辆、服务机器人、可移动对象等,例如用于编程、控制、制造、操纵、修理或教学目的,或用于远程操纵对象或区域,例如出于安全原因或用于维护目的。
此外,在商业智能度量的情境下,根据本发明的设备结合手势识别可以用于人数统计,调查客户移动,客户花费时间的区域,对象,客户测试,接受,探测等。
此外,根据本发明的设备可以用于手工或专业工具,尤其是电或电机驱动工具或电动工具,例如钻孔机、锯、凿子、锤子、扳手、钉枪、圆盘切割机、金属剪刀和冲击器、角磨机、模具磨床、钻头、锤钻、热风枪、扳手、砂光机、雕刻机、钉枪、曲线锯、比司吉细木工、木材刳铣机、刨床、抛光机、瓷砖切割机、垫圈、滚筒、墙壁追逐器、车床、冲击驱动器、连接器、涂料滚筒、喷枪、榫眼或焊工,尤其是为了支持制造精度,保持最小或最大距离,或用于安全措施。
此外,根据本发明的设备可以用于帮助视障人士。此外,根据本发明的设备可以用在触摸屏中,以避免直接接触,例如出于卫生原因,可以在零售环境、医疗应用、生产环境等中使用。此外,根据本发明的设备可以用于农业生产环境,例如稳定的清洁机器人、蛋收集机、挤奶机、收割机器、农机具、收割机、货运代理、联合收割机、拖拉机、耕耘机、犁、去石机、耙子、条带收割机、撒种机、诸如马铃薯种植机的种植机、肥料撒播机、喷雾器、喷水灭火系统、割谷机、打包机、装载机、叉车、割草机等。
此外,根据本发明的设备可以用于选择和/或调整衣服、鞋子、眼镜、帽子、假肢、牙齿矫正器,用于具有有限沟通技巧或可能性的人或动物,例如儿童或残疾人等。此外,根据本发明的设备可以用于仓库、物流、配送、运输、装载、卸载、智能制造、工业4.0等的情境下。此外,在制造情境中,根据本发明的设备可以用于加工、分配、弯曲、材料处理等的情境中。
评估设备可以是或可以包括一个或多个集成电路,诸如一个或多个专用集成电路(ASIC),和/或一个或多个数据处理设备,诸如一个或多个计算机,优选是一个或多个微计算机和/或微控制器、现场可编程阵列、或数字信号处理器。可以包括附加组件,诸如一个或多个预处理设备和/或数据采集设备,诸如用于接收和/或预处理传感器信号的一个或多个设备,诸如一个或多个AD转换器和/或一个或多个滤波器。此外,评估设备可以包括一个或多个测量设备,诸如用于测量电流和/或电压的一个或多个测量设备。此外,评估设备可以包括一个或多个数据存储设备。此外,评估设备可以包括一个或多个接口,诸如一个或多个无线接口和/或一个或多个有线绑定接口。
至少一个评估设备可以适于执行至少一个计算机程序,诸如适于执行或支持根据本发明的方法的一个或多个或甚至所有方法步骤的至少一个计算机程序。作为示例,可以实现一种或多种算法,通过使用传感器信号作为输入变量,该算法可以确定对象的位置。
评估设备可以连接到或可以包括至少一个其它数据处理设备,该数据处理设备可以用于信息(诸如由光学传感器和/或由评估设备获得的信息)的显示、可视化、分析、分发、通信或进一步处理中的一种或多种。作为示例,数据处理设备可以连接到或结合显示器、投影仪、监视器、LCD、TFT、扬声器、多声道声音系统、LED图案或其它可视化设备中的至少一个。它可以进一步连接到或结合能够使用电子邮件、文本消息、电话、蓝牙、Wi-Fi、红外或互联网接口、端口或连接中的一种或多种发送加密或未加密的信息的通信设备或通信接口、连接器或端口中的至少一个。它可以进一步连接到或结合处理器、图形处理器、CPU、开放式多媒体应用平台(OMAPTM)、集成电路、片上系统(诸如来自Apple A系列或Samsung S3C2系列的产品)、微控制器或微处理器、一个或多个存储块(诸如ROM、RAM、EEPROM或闪存)、定时源(诸如振荡器或锁相环)、计数器定时器、实时定时器或加电重置发生器、电压调节器、电源管理电路、或DMA控制器中的至少一个。各个单元可以进一步通过诸如AMBA总线的总线进行连接,或者集成在物联网或工业4.0型网络中。
评估设备和/或数据处理设备可通过其它外部接口或端口连接,或者具有其它外部接口或端口,这些外部接口或端口例如为如下项中的一者或多者:串行或并行接口或端口、USB、Centronics端口、FireWire、HDMI、以太网、蓝牙、RFID、Wi-Fi、USART或SPI、或模拟接口或端口(例如ADC或DAC中的一个或多个)、或标准化接口或端口,用于连接到其它设备,例如使用诸如CameraLink之类的RGB接口的2D相机设备。评估设备和/或数据处理设备可进一步通过处理器间接口或端口、FPGA-FPGA接口,或串行或并行接口端口中的一者或多者实现连接。评估设备和数据处理设备可进一步连接到光盘驱动器、CD-RW驱动器、DVD+RW驱动器、闪存驱动器、存储卡、磁盘驱动器、硬盘驱动器、固态盘或固态硬盘中的一者或多者。
评估设备和/或数据处理设备可通过一个或多个其它外部连接器实现连接,或者具有一个或多个其它外部连接器,所述一个或多个其它外部连接器例如为电话连接器、RCA连接器、VGA连接器、雌雄同体连接器、USB连接器、HDMI连接器、8P8C连接器、BCN连接器、IEC60320 C14连接器、光纤连接器、D超小型连接器、RF连接器、同轴连接器、SCART连接器、XLR连接器中的一者或多者,和/或可以包含用于这些连接器中的一者或多者的至少一个合适的插座。
包含一个或多个根据本发明的检测器、评估设备或数据处理设备(例如包含光学传感器、光学系统、评估设备、通信设备、数据处理设备、接口、片上系统、显示设备或其它电子设备中的一者或多者)的单个设备的可能的实施例是:移动电话、个人计算机、平板PC、电视机、游戏机或其它娱乐设备。在进一步的实施例中,将在下面更详细描述的3D相机功能可以被集成在可用于传统2D数字相机的设备中,而在该设备的壳体或外观上没有显著的差异,其中对于用户而言的显著差异可以仅是获得和/或处理3D信息的功能。此外,根据本发明的设备可用于360°数字相机或环视相机。
具体而言,包含检测器和/或其一部分(例如评估设备和/或数据处理设备)的实施例可以是:移动电话,其包含显示设备、数据处理设备、光学传感器、可选的传感器光学器件、以及评估设备,以用于3D相机的功能。根据本发明的检测器具体地可以适用于在娱乐设备和/或诸如移动电话的通信设备中集成。
本发明的另一实施例可以是检测器或其部分(例如评估设备和/或数据处理设备)在用于汽车、用于自主驾驶或用于轿车安全系统(例如戴姆勒的智能驱动系统)的设备中的合并,其中,作为示例,包含光学传感器、可选地一个或多个光学系统、评估设备、可选地通信设备、可选地数据处理设备、可选地一个或多个接口、可选地芯片上系统、可选地一个或多个显示器设备,或可选地其它电子设备中的一者或多者的设备可以是车辆、轿车、卡车、火车、自行车、飞机、船舶、摩托车的一部分。在汽车应用中,将该设备集成到汽车设计中需要对光学传感器、可选地光学器件或处于从外部或内部的最小可见度的设备的集成。检测器或其一部分(例如评估设备和/或数据处理设备)可以尤其适合于到汽车设计中的这样的集成。
如本文中所使用的,术语“光”通常是指在可见光谱范围、紫外光谱范围和红外光谱范围中的一者或多者中的电磁辐射。其中,术语“可见光谱范围”通常是指380nm到780nm的光谱范围。术语“红外光谱范围”通常是指在780nm到1mm的范围内,优选地在780nm到3.0微米的范围内的电磁辐射。术语“紫外光谱范围”通常是指在1nm到380nm的范围内,优选地在100nm到380nm的范围内的电磁辐射。优选地,本发明中使用的光是可见光,即在可见光谱范围内的光。
术语“光束”通常可以指被发射和/或反射到特定方向中的光的量。因此,光束可以是在垂直于光束传播方向的方向上具有预定扩展的光线束。优选地,光束可以是或可以包括可通过一个或多个高斯束参数来表征的一个或多个高斯光束(诸如高斯光束的线性组合),该一个或多个高斯束参数例如为束腰、瑞利长度、或任何其它光束参数、或适于表征光束直径和/或光束在空间中的传播的发展的光束参数的组合中的一者或多者。
根据本发明的检测器可以进一步与一个或多个其它类型的传感器或检测器组合。因此,该检测器可以进一步包括至少一个附加的检测器。该至少一个附加的检测器可以适于检测至少一个参数,例如以下项中的至少一项:周围环境的参数,例如周围环境的温度和/或亮度;关于检测器的位置和/或取向的参数;指定待检测的对象的状态的参数,例如对象的位置,例如对象的绝对位置和/或对象在空间中的取向。因此,一般而言,本发明的原理可以与其它测量原理结合,以便获得附加的信息,和/或以便验证测量结果或减少测量误差或噪声。
人机界面可以包括多个信标设备,这些信标设备适于为直接地或间接地附接到用户和由用户握持中的至少一种。因此,信标设备可以分别通过任何合适的手段(例如通过适当的固定设备)独立地附接到用户。附加地或替代地,用户可在他的或她的手中和/或通过在身体部位上穿戴至少一个信标设备和/或包含信标设备的衣服来握持和/或携带至少一个信标设备或信标设备中的一个或多个。
信标设备通常可以是可由至少一个检测器检测到和/或便于被至少一个检测器检测到的任意设备。因此,如上面描述或将在下面更详细描述的,信标设备可以是适于生成将由检测器检测的至少一个光束的有源信标设备,例如通过具有用于生成至少一个光束的一个或多个照射源。附加地或替代地,该信标设备可以完全或部分地被设计为无源信标设备,例如通过提供适于反射由单独的照射源生成的光束的一个或多个反射元件。所述至少一个信标设备可以以直接或间接的方式永久地或暂时地附接到用户和/或可以由用户携带或握持。可以通过使用一个或多个附接设备和/或由用户自己,例如通过用户手持所述至少一个信标设备和/或通过用户穿戴信标设备,来实现所述附接。
附加地或替代地,信标设备可以是附接到对象以及集成到用户握持的对象中的至少一种,就本发明而言,这应当被包括到用户握持信标设备的选项的含义中。因此,如下面更详细描述的,信标设备可以附接到或集成到控制元件中,该控制元件可以是人机界面的一部分,并且可以由用户握持或携带,其取向可以由检测器设备来识别。因此,一般而言,本发明还涉及一种检测器系统,其包括至少一个根据本发明的检测器设备,并且可以进一步包括至少一个对象,其中信标设备是附接到对象、由对象握持以及集成到对象中的一种。作为示例,该对象优选地可以形成控制元件,该控制元件的取向可以被用户识别。因此,如上面描述或在下面进一步描述的,检测器系统可以是人机界面的一部分。作为示例,用户可以以特定方式操作控制元件,以便将一项或多项信息发送到机器,例如以便将一个或多个命令发送到机器。
替代地,可以以其它方式使用检测器系统。因此,作为示例,检测器系统的对象可以不同于用户或用户的身体部位,并且作为示例,可以是独立于用户移动的对象。作为示例,检测器系统可用于控制设备和/或工业过程,诸如制造过程和/或机器人过程。因此,作为示例,对象可以是机器和/或机器部件,诸如机器人手臂,其取向可以通过使用检测器系统来检测。
人机界面可以适于使得检测器设备生成关于用户或用户的至少一个身体部位的位置的至少一项信息。具体而言,在已知至少一个信标设备到用户的附接的方式的情况下,通过评估至少一个信标设备的位置,可以获得关于用户或用户的身体部位的位置和/或取向的至少一项信息。
信标设备优选地为可附接到用户的身体或身体部位的信标设备和可由用户握持的信标设备中的一者。如上所述,信标设备可以完全或部分地被设计为有源信标设备。因此,信标设备可以包括至少一个照射源,其适于产生至少一个将被传输到检测器的光束,优选地为至少一个具有已知光束特性的光束。附加地或替代地,信标设备可以包括至少一个发射器,其适于反射由照射源产生的光,由此产生将被传输到检测器的反射光束。
可以形成检测器系统的一部分的对象通常可以具有任意的形状。优选地,如上所述,作为检测器系统的一部分的对象可以是可由用户(例如手动地)操作的控制元件。作为示例,控制元件可以是或可以包括从由以下项构成的组中选择的至少一个元件:手套、外套、帽子、鞋、裤子和套装、可用手握住的手杖、球棒、球杆、球拍、拐杖、玩具(例如玩具枪)。因此,作为示例,检测器系统可以是人机界面和/或娱乐设备的一部分。
如本文中所使用的,娱乐设备是可以用于一个或多个用户(在下文中也被称为一个或多个玩家)的休闲和/或娱乐目的的设备。作为示例,娱乐设备可以用于游戏的目的,优选地用于计算机游戏的目的。因此,娱乐设备可以被实现为计算机、计算机网络或计算机系统,或者可以包括运行一个或多个游戏软件程序的计算机、计算机网络或计算机系统。
娱乐设备包括至少一个根据本发明(例如根据上面公开的实施例中的一个或多个和/或根据下面公开的实施例中的一个或多个)的人机界面。娱乐设备被设计为允许由玩家借助人机界面输入至少一项信息。该至少一项信息可以被传输到娱乐设备的控制器和/或计算机,和/或可以由娱乐设备的控制器和/或计算机使用。该至少一项信息优选地可以包括适于影响游戏过程的至少一个命令。因此,作为示例,该至少一项信息可以包括与玩家和/或玩家的一个或多个身体部位的至少一个取向有关的至少一项信息,由此允许玩家模拟游戏所需的特定位置和/或取向和/或动作。作为示例,可以模拟以下移动中的一者或多者并且将其传达到娱乐设备的控制器和/或计算机:跳舞;跑步;跳跃;挥动球拍;挥动球棒;挥动球杆;将对象指向另一对象,例如将玩具枪指向目标。
作为一部分或整体的娱乐设备,优选地娱乐设备的控制器和/或计算机,被设计为根据信息改变娱乐功能。因此,如上所述,可以根据至少一项信息而影响游戏过程。因此,娱乐设备可以包括一个或多个控制器,该一个或多个控制器可以从至少一个检测器的评估设备分开和/或可以与至少一个评估设备完全或部分地相同,或者甚至可以包括至少一个评估设备。优选地,至少一个控制器可以包括一个或多个数据处理设备,例如一个或多个计算机和/或微控制器。
如本文进一步使用的,跟踪系统是适于收集与至少一个对象和/或关于该对象的至少一部分的一系列过去的位置有关的信息的设备。另外,跟踪系统可以适于提供与至少一个对象或该对象的至少一个部分的至少一个预测的未来位置和/或取向有关的信息。跟踪系统可以具有至少一个跟踪控制器,该至少一个跟踪控制器可以完全或部分地体现为电子设备,优选地体现为至少一个数据处理设备,更优选地体现为至少一个计算机或微控制器。此外,该至少一个跟踪控制器可以完全或部分地包括至少一个评估设备和/或可以是至少一个评估设备的一部分和/或可以与至少一个评估设备完全或部分地相同。
跟踪系统包括至少一个根据本发明的检测器,例如至少一个在上面列出的一个或多个实施例中公开的和/或在下面的一个或多个实施例中公开的检测器。跟踪系统进一步包括至少一个跟踪控制器。该跟踪控制器适于跟踪对象在特定时间点处的一系列位置,例如通过记录多组数据或数据对,每组数据或数据对包括至少一个位置信息和至少一个时间信息。
跟踪系统可以进一步包括至少一个根据本发明的检测器系统。因此,除了至少一个检测器和至少一个评估设备以及可选的至少一个信标设备之外,跟踪系统可以进一步包括对象本身或对象的一部分,例如至少一个控制元件,该至少一个控制元件包括信标设备或至少一个信标设备,其中控制元件直接或间接地附接到或集成到待跟踪的对象中。
跟踪系统可以适于发起跟踪系统本身和/或一个或多个单独设备的一个或多个动作。为了后一目的,跟踪系统,优选地跟踪控制器,可以具有用于发起至少一个动作的一个或多个无线和/或有线接口和/或其它类型的控制连接。优选地,至少一个跟踪控制器可以适于根据对象的至少一个实际位置来发起至少一个动作。作为示例,该动作可以从由以下项构成的组中选择:对对象的未来位置的预测;将至少一个设备指向对象;将至少一个设备指向检测器;照射对象;照射检测器。
作为跟踪系统的应用的示例,跟踪系统可以用于连续地将至少一个第一对象指向至少一个第二对象,即使第一对象和/或第二对象可能移动。另外,潜在的示例可以在工业应用中(例如在机器人技术中)找到,和/或用于连续地工作在物品上,即使该物品在移动,例如在制造线或装配线中的制造期间。附加地或替代地,跟踪系统可被用于照射目的,例如用于通过连续地将照射源指向对象而持续照射对象,即使对象可能正在移动。其它应用可以在通信系统中找到,例如以便通过将发送器指向移动的对象来持续向移动的对象发送信息。
总的来说,在本发明的上下文中,以下实施例被认为是优选的:
实施例1:一种用于确定至少一个对象的位置的检测器,所述检测器包括
-至少一个传感器元件,其具有光学传感器的矩阵,每个所述光学传感器具有光敏区域,其中,每个光学传感器被设计为响应于由从所述对象传播到所述检测器的光束对其相应光敏区域的照射而生成至少一个传感器信号,
-至少一个评估设备,其中,所述评估设备被配置为选择所述矩阵的至少一个关注区域,其中,所述评估设备被配置为分别确定所述关注区域的至少两个光学传感器的至少一个传感器信号,其中,所述评估设备被配置为通过评估根据所述传感器信号的组合信号Q来确定所述对象的至少一个纵坐标zDPR
其中,所述评估设备被配置为根据所述传感器信号来确定所述关注区域的至少一个图像,其中,所述评估设备被配置为通过优化至少一个模糊函数fa来根据所述图像确定所述对象的至少一个纵坐标zDFD
其中,所述评估设备被配置为考虑所述纵坐标zDPR和所述纵坐标zDFD来确定至少一个组合距离信息z。
实施例2:根据前述实施例所述的检测器,其中,所述评估设备被配置为使用至少一个递归滤波器来确定至少一个组合距离信息。
实施例3:根据前述实施例所述的检测器,其中,所述递归滤波器是至少一个卡尔曼滤波器或至少一个扩展卡尔曼滤波器(EKF)。
实施例4:根据前述两个实施例中任一项所述的检测器,其中,所述纵坐标zDFD和zDPR用作所述递归滤波器内的输入变量。
实施例5:根据前述三个实施例中任一项所述的检测器,其中,所述递归滤波器被配置为考虑其它传感器数据和/或其它参数来确定所述组合距离信息。
实施例6:根据前述实施例所述的检测器,其中,所述检测器包括被配置为确定所述其它传感器数据的至少一个其它传感器,其中,所述递归滤波器被配置为考虑所述其它传感器数据来确定所述组合距离信息。
实施例7:根据前述实施例所述的检测器,其中,所述其它传感器是选自包括以下项的组的至少一个传感器:温度传感器,诸如用于确定照射信息的控制传感器的照射传感器,惯性测量单元,陀螺仪。
实施例8:根据前述三个实施例中任一项所述的检测器,其中,其它传感器数据由其它图像分析和/或所述传感器元件提供,特别是由至少一个CMOS传感器提供。
实施例9:根据前述实施例中任一项所述的检测器,其中,所述组合距离信息z是取决于zDFD和zDPR的实(real)函数。
实施例10:根据前述实施例中任一项所述的检测器,其中,所述组合距离信息z是zDFD和zDPR的有理或无理多项式。
实施例11:根据前述实施例中任一项所述的检测器,其中,通过使用诸如离焦深度算法的至少一种基于卷积的算法来确定所述纵坐标zDFD
实施例12:根据前述实施例中任一项所述的检测器,其中,通过改变所述至少一个模糊函数的参数来优化所述模糊函数。
实施例13:根据前述实施例所述的检测器,其中,所述图像是模糊图像ib,其中,所述评估设备被配置为根据所述模糊图像ib和所述模糊函数fa来重建所述纵坐标z。
实施例14:根据前述实施例所述的检测器,其中,通过改变所述模糊函数的参数σ来最小化所述模糊图像ib与所述模糊函数fa和至少一个其它图像i’b的卷积之间的差,从而确定所述纵坐标z,
min||(i′b*fa(σ(z))-ib)||。
实施例15:根据前述实施例中任一项所述的检测器,其中,所述至少一个模糊函数fa是由来自包括以下项的组的至少一个函数构成的函数或复合函数:高斯函数,正弦函数,抛物柱面函数,平方函数,洛伦兹函数,径向函数,多项式,Hermite多项式,Zernike多项式,Legendre多项式。
实施例16:根据前述实施例中任一项所述的检测器,其中,所述评估设备被配置为通过以下中的一项或多项来导出所述组合信号Q:划分所述传感器信号,划分所述传感器信号的倍数,划分所述传感器信号的线性组合。
实施例17:根据前述实施例中任一项所述的检测器,其中,所述评估设备被配置为使用所述组合信号Q与所述纵坐标之间的至少一种预定关系来确定所述纵坐标zDPR
实施例18:根据前述实施例中任一项所述的检测器,其中,所述评估设备被配置为通过以下导出所述组合信号Q
Figure BDA0003247625280000641
其中,x和y是横坐标,A1和A2是在所述传感器位置处从所述对象传播到所述检测器的所述光束的至少一个束轮廓的不同面积,并且E(x,y,zo)表示物距zo处给定的束轮廓,其中,所述传感器信号中的每个传感器信号包括从所述对象传播到所述检测器的所述光束的所述束轮廓的至少一个区域的至少一个信息。
实施例19:根据前述实施例所述的检测器,其中,至少两个光学传感器的所述光敏区域被布置为使得第一传感器信号包括所述束轮廓的第一区域的信息,并且第二传感器信号包括所述束轮廓的第二区域的信息,其中,所述束轮廓的所述第一区域和所述束轮廓的所述第二区域是相邻或重叠区域中的一个或二者。
实施例20:根据前述实施例所述的检测器,其中,所述评估设备被配置为确定所述束轮廓的所述第一区域和所述束轮廓的所述第二区域,其中,所述束轮廓的所述第一区域包括所述束轮廓的基本上边缘信息,并且所述束轮廓的所述第二区域包括所述束轮廓的基本上中心信息,其中,所述边缘信息包括与所述束轮廓的所述第一区域中的光子数量有关的信息,并且所述中心信息包括与所述束轮廓的所述第二区域中的光子数量有关的信息。
实施例21:根据前述实施例中任一项所述的检测器,其中,所述检测器包括至少一个照射源,其中,所述照射源被配置为生成用于照射所述对象的至少一个光束。
实施例22:根据前述实施例所述的检测器,其中,所述照射源适于生成用于照射所述对象的至少一个照射图案,其中,所述照射图案包括选自包括以下项的组的至少一个图案:至少一个点图案,特别是伪随机点图案;随机点图案或准随机图案;至少一个Sobol图案;至少一个准周期图案;包括至少一个已知特征的至少一个图案;至少一个规则图案;至少一个三角形图案;至少一个六边形图案;至少一个矩形图案;包括凸出的均匀镶嵌图案的至少一个图案;包括至少一条线的至少一个线图案;包括诸如平行线或交叉线的至少两条线的至少一个线图案。
实施例23:根据前述实施例所述的检测器,其中,所述传感器元件被配置为确定至少一个反射图案,其中,所述评估设备适于选择所述反射图案的至少一个特征,并且通过评估组合信号Q来确定所述反射图案的所选特征的所述纵坐标zDPR,并且通过优化所述至少一个模糊函数fa来确定所述反射图案的所选特征的所述纵坐标zDFD
实施例24:一种用于确定至少一个对象的位置的检测器系统,所述检测器系统包括至少一个根据前述实施例中任一项所述的检测器,所述检测器系统还包括适于将至少一个光束朝向所述检测器引导的至少一个信标设备,其中,所述信标设备是以下中的至少一种:可附接到所述对象,可由所述对象握持,以及可集成到所述对象。
实施例25:一种用于在用户与机器之间交换至少一项信息的人机界面,其中,所述人机界面包括至少一个根据前述实施例所述的检测器系统,其中,所述至少一个信标设备适于是以下中的至少一种:直接或间接附接到所述用户以及由所述用户握持,其中,所述人机界面被设计为借助于所述检测器系统来确定所述用户的至少一个位置,其中,所述人机界面被设计为向所述位置分配至少一项信息。
实施例26:一种用于执行至少一个娱乐功能的娱乐设备,其中,所述娱乐设备包括至少一个根据前述实施例所述的人机界面,其中,所述娱乐设备被设计为使玩家能够借助于所述人机界面输入至少一项信息,其中,所述娱乐设备被设计为根据所述信息改变所述娱乐功能。
实施例27:一种用于跟踪至少一个可移动对象的位置的跟踪系统,所述跟踪系统包括至少一个根据涉及检测器系统的前述实施例中任一项所述的检测器系统,所述跟踪系统还包括至少一个跟踪控制器,其中,所述跟踪控制器适于跟踪所述对象在特定时间点的一系列位置。
实施例28:一种用于确定场景的深度轮廓的扫描系统,所述扫描系统包括至少一个根据涉及检测器的前述实施例中任一项所述的检测器,所述扫描系统还包括适于用至少一个光束扫描所述场景的至少一个照射源。
实施例29:一种用于对至少一个对象成像的相机,所述相机包括至少一个根据涉及检测器的前述实施例中任一项所述的检测器。
实施例30:一种用于通过使用至少一个根据涉及检测器的前述实施例中任一项所述的检测器来确定至少一个对象的位置的方法,所述方法包括以下步骤:
-选择光学传感器的矩阵的至少一个关注区域,每个所述光学传感器具有光敏区域,所述光敏区域被配置为响应于从所述对象传播到所述检测器的至少一个光束的照射而生成至少一个传感器信号;
-分别确定所述关注区域的至少两个光学传感器的至少一个传感器信号,以及通过评估根据所述传感器信号的组合信号Q来确定所述对象的至少一个纵坐标zDPR
-根据所述传感器信号来确定所述关注区域的至少一个图像,以及通过优化至少一个模糊函数fa来根据所述图像确定所述对象的至少一个纵坐标zDFD
考虑所述纵坐标zDPR和所述纵坐标zDFD来确定至少一个组合距离信息z。
实施例31:根据涉及检测器的前述实施例中任一项所述的检测器的用于使用目的的用途,选自:交通技术中的位置测量;娱乐应用;安全性应用;监督应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用。
附图说明
通过结合从属权利要求的以下优选示例性实施例的描述,本发明的其它可选细节和特征是显而易见的。在该上下文中,可以以孤立的方式或与其它特征组合地实现特定特征。本发明不限于示例性实施例。在附图中示意性地示出了示例性实施例。在各个附图中,相同的附图标记指代相同的元件或具有相同功能的元件,或者关于其功能彼此对应的元件。
具体地,在附图中:
图1示出根据本发明的检测器、检测器系统、相机、娱乐设备、跟踪系统的实施例;
图2示出确定至少一个对象的位置的方法;以及
图3A和图3B示出使用根据本发明的检测器的距离测量的实验结果。
具体实施方式
图1以高度示意性的方式示出用于确定至少一个对象112的位置的检测器110的第一实施例。检测器110包括具有光学传感器118的矩阵116的至少一个传感器元件114。光学传感器118每个都具有这里未示出的光敏区域。传感器元件114可以形成为单一的单个设备或多个设备的组合。矩阵116具体地可以是或可以包括具有一行或多行和一列或多列的矩形矩阵。行和列具体地可以以矩形方式布置。然而,其它布置也是可行的,诸如非矩形布置。作为示例,圆形布置也是可行的,其中元件围绕中心点布置成同心圆或椭圆。例如,矩阵116可以是单行像素。其它布置也是可行的。
矩阵116的光学传感器118具体地可以在大小、灵敏度和其它光学、电学和机械特性中的一个或多个方面相等。矩阵116的所有光学传感器118的光敏区域具体地可以位于公共平面中,公共平面优选地面向对象112,使得从对象传播到检测器110的光束可以在公共平面上生成光斑。光敏区域可以具体地位于相应光学传感器118的表面上。然而,其它实施例也是可行的。光学传感器118可以包括例如至少一个CCD和/或CMOS设备。作为示例,光学传感器118可以是像素化光学设备的一部分或构成像素化光学设备。作为示例,光学传感器118可以是具有像素矩阵的至少一个CCD和/或CMOS设备的一部分或构成至少一个CCD和/或CMOS设备,每个像素形成光敏区域。
光学传感器118具体地可以是或可以包括光电检测器(photodetector),优选地无机光电检测器,更优选地无机半导体光电检测器,最优选地硅光电检测器。具体地,光学传感器118可以在红外光谱范围内敏感。矩阵116的所有光学传感器118或矩阵116的至少一组光学传感器118具体地可以是相同的。矩阵116的相同光学传感器118的组可以具体地被提供用于不同的光谱范围,或者所有光学传感器在光谱灵敏度方面可以是相同的。此外,光学传感器118在大小上和/或关于它们的电子或光电特性可以是相同的。矩阵116可以由独立的光学传感器118组成。因此,可以组成无机光电二极管的矩阵116。然而,可替代地,可以使用可商购矩阵,诸如CCD检测器(诸如CCD检测器芯片)和/或CMOS检测器(诸如CMOS检测器芯片)中的一个或多个。
光学传感器118可以形成传感器阵列或者可以是传感器阵列的一部分,诸如上述矩阵。因此,作为示例,检测器110可以包括光学传感器118的阵列,诸如具有m行和n列的矩形阵列,其中m、n独立地为正整数。优选地,给出多于一列和多于一行,即n>1,m>1。因此,作为示例,n可以是2到16或更高,并且m可以是2到16或更高。优选地,行数与列数的比率接近1。作为示例,可以选择n和m使得0.3≤m/n≤3,诸如通过选择m/n=1:1,4:3,16:9或类似。作为示例,该阵列可以是具有相等行数和列数的正方形阵列,诸如通过选择m=2,n=2或m=3,n=3等。
矩阵116具体地可以为具有至少一行、优选为多行和多列的矩形矩阵。作为示例,行和列可以基本上垂直取向。为了提供广泛的视野,矩阵116具体地可以具有至少10行,优选地至少50行,更优选地至少100行。类似地,矩阵可以具有至少10列,优选地至少50列,更优选地至少100列。矩阵116可以包括至少50个光学传感器118,优选地至少100个光学传感器118,更优选地至少500个光学传感器118。矩阵116可以包括数百万像素范围内的多个像素。然而,其它实施例是可行的。
在图1中所示的实施例中,检测器110进一步包括照射源120。作为示例,照射源120可以被配置为生成用于照射对象112的照射光束122。检测器110可以被配置为使得照射光束从检测器110沿着检测器110的光轴朝向对象112传播。为此,检测器110可以包括至少一个反射元件,优选地至少一个棱镜,用于偏转到光轴上的照射光束。
照射源120可以适于生成用于对象112的照射的至少一种照射图案。具体地,照射源120可以包括至少一个激光器和/或激光源。照射源120可以包括至少一个衍射光学元件(DOE)。可以采用各种类型的激光器,诸如半导体激光器。另外地或可替代地,可以使用非激光光源,诸如LED和/或灯泡。图案可以包括多个特征。该图案可以包括周期性或非周期性特征的排列。照射图案可以包括选自包括以下项的组的至少一种图案:至少一种点图案,特别是伪随机点图案;包括至少一个已知特征的至少一种图案。例如,照射源120可以适于生成和/或投影点云。照射源120可以包括如下中的一个或多个:至少一个光投影仪;至少一个数字光处理投影仪、至少一个LCoS投影仪、至少一个空间光调制器;至少一个衍射光学元件;至少一个发光二极管阵列;至少一个激光光源阵列。照射源120可包括适于直接生成照射图案的至少一个光源。照射源120可以包括至少一个光投影仪,该至少一个光投影仪适于生成点云,使得照射图案可以包括多个点图案。照射源120可以包括至少一个掩模,该掩模适于从由照射源120生成的至少一个光束生成照射图案。
每个光学传感器118被设计为响应于由光束,特别是从对象112传播到检测器110的反射光束124对其相应的光敏区域的照射而生成至少一个传感器信号。
检测器110可以包括至少一个传递设备126,该传递设备126包括以下中的一种或多种:至少一个透镜,例如选自包括以下项的组的至少一个透镜:至少一个聚焦可调透镜、至少一个非球面透镜、至少一个球面透镜、至少一个菲涅耳透镜;至少一个衍射光学元件;至少一个凹面镜;至少一个光束偏转元件,优选地至少一个反射镜;至少一个分束元件,优选地分束立方体或分束镜中的至少一种;至少一个多透镜系统。特别地,传递设备126可以包括至少一个准直透镜,该准直透镜适于将至少一个对象点聚焦在图像平面中。
检测器110包括至少一个评估设备128。评估设备128被配置为选择矩阵116的至少一个关注区域。评估设备128可以适于执行至少一种图像分析和/或图像处理,以便识别关注区域。图像分析和/或图像处理可以使用至少一种特征检测算法。图像分析和/或图像处理可以包括以下一项或多项:滤波;由传感器信号产生的图像与至少一个偏移之间形成差异图像;通过反转由传感器信号产生的图像来反转传感器信号;在不同时间由传感器信号产生的图像之间形成差异图像;背景校正;分解成颜色通道;分解成色调;饱和;以及亮度通道;频率分解;奇异值分解;应用Canny边缘检测器;应用高斯滤波器的拉普拉斯算子;应用差分高斯滤波器;应用Sobel算子;应用拉普拉斯算子;应用Scharr算子;应用Prewitt算子;应用Roberts算子;应用Kirsch算子;应用高通滤波器;应用blob分析;应用边缘滤波器;应用低通滤波器;应用傅立叶变换;应用Radon变换;应用霍夫变换;应用小波变换;阈值转换法;创建二进制图像。关注区域可以由用户手动确定或可以自动确定,诸如通过识别由光学传感器118生成的图像内的对象。
评估设备128被配置为分别确定关注区域的至少两个光学传感器118的至少一个传感器信号。评估设备128被配置为通过评估根据传感器信号的组合信号Q,特别是通过划分传感器信号、划分传感器信号的倍数、或划分传感器信号的线性组合中的一种或多种来确定对象112的至少一个纵坐标zDPR。特别地,组合信号可以是商信号。组合信号Q可以通过使用各种方式来确定。作为示例,用于导出组合信号的软件方式、用于导出组合信号的硬件方式、或二者可被使用以及可被实现在评估设备128中。因此,作为示例,评估设备128可以包括至少一个除法器130,其中除法器130被配置为导出商信号。除法器130可以完全或部分地体现为软件除法器或硬件除法器中的一个或二者。
评估设备128可以被配置用于通过划分传感器信号,划分传感器信号的倍数,划分传感器信号的线性组合中的一项或多项来得出组合信号Q。评估设备128可以被配置用于使用组合信号Q和纵坐标zDPR之间的至少一种预定关系来确定纵坐标zDPR。例如,评估设备128被配置用于通过以下方式得出组合信号Q:
Figure BDA0003247625280000711
其中x和y是横坐标,A1和A2是在传感器位置处从对象112传播到检测器110的光束的至少一个束轮廓的不同面积,并且E(x,y,zo)表示在物距zo处给定的束轮廓。面积A1和面积A2可能不同。具体地,A1和A2不全等。因此,A1和A2在形状或内容中的一项或多项中可以不同。束轮廓可以是光束的横截面。束轮廓可以选自由如下组成的组:梯形束轮廓;三角形束轮廓;圆锥形束轮廓、和高斯束轮廓的线性组合。
关于组合信号Q的评估和纵坐标zDPR的确定的进一步细节和实施例,例如可参照WO2018/091640、WO 2018/091649 A1和WO 2018/091638 A2,其全部公开通过引用并入在此。
评估设备128被配置为根据传感器信号确定关注区域的至少一个图像。评估设备128被配置为通过优化至少一个模糊函数fa根据图像来确定对象112的至少一个纵坐标zDFD。可以通过使用至少一种基于卷积的算法(诸如离焦深度算法)来确定纵坐标zDFD。为了获得距图像的距离,离焦深度算法估计对象112的离焦。对于该估计,假设模糊函数。具体地,模糊函数对离焦对象的模糊进行建模。至少一个模糊函数fa可以是由包括以下各项组成的组中的至少一个函数组成的函数或复合函数:高斯函数、正弦函数、抛物柱面函数、平方函数、洛伦兹函数、径向函数、多项式、Hermite多项式、Zernike多项式、Legendre多项式。
评估设备128可适于通过优化至少一个模糊函数fa来确定纵坐标zDFD。可以通过改变至少一个模糊函数的参数来优化模糊函数。该图像可以是模糊图像ib。评估设备128可以被配置为根据模糊图像ib和模糊函数fa重建纵坐标z。可以通过改变模糊函数的参数σ来最小化模糊图像ib和模糊函数fa与至少一个其它图像i’b的卷积之间的差,min||(i′b*fa(σ(z))-ib)||,从而确定纵坐标z。σ(z)是一组距离相关的模糊参数。其它图像可能模糊或清晰。可以通过与已知模糊函数的卷积根据模糊图像ib生成至少一个其它图像。因此,可以使用离焦深度算法来获得纵坐标zDFD
评估设备128被配置为考虑纵坐标zDPR和纵坐标zDFD来确定至少一个组合距离信息z。评估设备128可以被配置为使用至少一个递归滤波器来确定至少一个组合距离信息。递归滤波器可以是至少一个卡尔曼滤波器或至少一个扩展卡尔曼滤波器(EKF)。组合距离信息z可以使用实函数z=f(zDPR,zDFD)获得,诸如算术或几何平均值、多项式、优选地在zDPR和zDFD中高达八阶的多项式。函数f可以是或可以基于预先记录的值的查找表。例如,评估设备128可以包括至少一个数据存储设备132,该数据存储设备132被配置为存储预先记录的值和/或一个或多个查找表。函数f可以基于与用于在查找表中的值之间进行插值的插值方案相结合的查找表。插值方案可以是线性插值、样条插值等。与模型或模型函数(例如函数f,涉及z、zDFD和zDPR之间的关系)结合,纵坐标zDFD和zDPR可以用作递归滤波器内的输入变量。模型或模型函数可以包括涉及距离z、zDFD和zDPR的统计假设和/或统计模型,诸如分布,诸如实际距离zreal周围的测量距离z、zDFD和/或zDPR的高斯分布。
递归滤波器可以被配置为考虑其它传感器数据和/或其它参数来确定组合距离信息。其它参数可以包括来自传感器元件114(例如CMOS传感器)的其它信息,诸如关于记录数据的质量和/或噪声的信息、和/或关于过度曝光的信息和/或关于曝光不足的信息等。检测器110可以包括至少一个其它传感器136,该其它传感器136被配置为确定其它传感器数据。递归滤波器可以被配置为考虑到其它传感器数据来确定组合距离信息。其它传感器136可以是选自包括以下组成的组的至少一个传感器:温度传感器、照射传感器(诸如用于确定照射信息的控制传感器)、惯性测量单元;陀螺仪。模型和/或卡尔曼滤波器可以包括其它输入参数,诸如其它传感器数据,例如温度和/或来自陀螺仪的检测器运动和/或来自惯性测量单元的信息和/或来自照射传感器的信息、和/或其它参数,诸如记录数据的质量/噪声、过度曝光、曝光不足等。
纵坐标zDFD和纵坐标zDPR的确定可以电子地执行或者可以完全或部分地由软件执行。关注区域的选择可以完全或部分地以电子方式或完全或部分地通过使用一种或多种软件算法来执行。具体地,评估设备128可以包括用于确定反射特征的至少一个图像分析设备134。图像分析设备134具体地可以完全或部分地体现在软件中和/或可以完全或部分地体现在硬件中。图像分析设备134可以完全或部分地集成到至少一个传感器元件114中和/或可以完全或部分地独立于传感器元件114而体现。
组合距离信息的确定可由评估设备128的至少一个微控制器执行。例如,微控制器可具有用于存储计算机程序和/或用于数据存储和/或用于非微控制器在其操作期间使用的参数的非易失性存储的至少一个存储器单元。
如上概述,照射源120可以适于通过使用至少一个照射图案来照射对象112。传感器元件114可以被配置为确定至少一个反射图案。评估设备128可以适于选择反射图案的至少一个特征,并通过评估组合信号Q确定反射图案的所选特征的纵坐标zDPR,并通过优化至少一个模糊函数fa来确定反射图案的所选特征的纵坐标zDFD
检测器110具体地可以体现为相机138和/或可以是相机138的一部分。相机138可以被制造用于成像,具体地用于3D成像,并且可以被制造用于获取静止图像和/或图像序列,诸如数字视频剪辑。其它实施例是可行的。图1进一步示出检测器系统140的实施例,其除了至少一个检测器110之外,还包括一个或多个信标设备142,在该示例中,该信标设备可以附接和/或集成到对象112中,其位置将通过使用检测器110来检测。图1进一步示出人机界面144的示例性实施例,其包括至少一个检测器系统140;并且进一步示出娱乐设备146,其包括人机界面144。该图进一步示出用于跟踪对象112的位置的跟踪系统148的实施例,其包括检测器系统140。
图1进一步示出用于扫描包括对象112的场景(诸如用于扫描对象112和/或用于确定至少一个对象112的至少一个位置)的扫描系统150的示例性实施例。扫描系统150包括至少一个检测器110,以及进一步可选地,至少一个照射源120,以及可选地,至少一个其它照射源(这里没有描述)。照射源120通常被配置为发射至少一个照射光束,诸如用于照射至少一个点,例如位于信标设备142的一个或多个位置上和/或对象112的表面上的点。扫描系统150可以被设计为生成包括对象112的场景的轮廓和/或对象112的轮廓,和/或可以被设计为通过使用至少一个检测器110生成关于至少一个点和扫描系统150(具体地是检测器110)之间的距离的至少一项信息。
评估设备128的组件可以完全或部分地集成到不同的设备中和/或可以完全或部分地集成到检测器110的其它组件中。除了完全或部分组合两个或多个组件的可能性之外,光学传感器118中的一个或多个光学传感器和评估设备128的组件中的一个或多个组件可以通过一个或多个连接器152和/或通过一个或多个接口相互连接,如图1中象征性地描绘。此外,一个或多个连接器152可以包括一个或多个驱动器和/或一个或多个设备,用于修改或预处理传感器信号。此外,代替使用至少一个可选的连接器152,评估设备128可以完全或部分地集成到光学传感器118中的一个或二者和/或检测器110的壳体154中。另外地或可替代地,评估设备128可以完全或部分地设计为单独的设备。
在该示例性实施例中,其位置可被检测的对象112可被设计为运动器材物品和/或可形成控制元件或控制设备156,其位置可由用户158操纵。作为示例,对象112可以是或可以包括球棒、球拍、球杆或任何其它运动器材和/或假运动器材。其它类型的对象112是可能的。此外,用户158他或她自己可以被认为是对象112,其位置将被检测到。
优选地关于检测器110的光轴160同心定位的壳体154内侧的开口优选地定义检测器110的观看方向162。可以定义坐标系164,其中平行于或反平行于光轴160的方向可以定义为纵向方向,而垂直于光轴160的方向可以定义为横向方向。在图1中象征性地描绘的坐标系164中,纵向方向由z表示,而横向方向分别由x和y表示。其它类型的坐标系也是可行的,诸如非笛卡尔坐标系。
一个或多个光束124从对象112和/或从一个或多个信标设备142朝向检测器110传播。检测器110被配置用于确定至少一个对象112的位置。在没有使用照射源的情况下,信标设备142和/或这些信标设备142中的至少一个可以是或可以包括具有集成照射源(诸如发光二极管)的有源信标设备。可替代地,可以使用环境光源。
如上概述,通过使用检测器110确定对象112和/或其一部分的位置可用于提供人机界面144,以便向机器164提供至少一项信息。在图1中示意性描绘的实施例中,机器164可以是计算机和/或可以包括计算机。其它实施例是可行的。评估设备128甚至可以完全或部分地集成到机器164中,诸如集成到计算机中。
如上概述,图1还描绘了跟踪系统148的示例,其被配置用于跟踪至少一个对象112和/或其部分的位置。跟踪系统148包括检测器110和至少一个跟踪控制器166。跟踪控制器166可以适于跟踪对象112在特定时间点的一系列位置。跟踪控制器166可以是独立设备和/或可以完全或部分地集成到机器164(具体地是计算机,如图1所示)中和/或评估设备128中。
类似地,如上概述,人机界面144可以形成娱乐设备146的一部分。机器164(具体地是计算机)也可以形成娱乐设备146的一部分。因此,借助于用户158用作对象112和/或借助于用户158操纵作为对象112的控制设备,用户158可以将至少一项信息(诸如至少一个控制命令)输入计算机,从而改变娱乐功能,诸如控制计算机的进程。
在另一方面,本发明公开了一种用于通过使用检测器(诸如根据本发明(诸如根据涉及上面公开的或下面进一步详细公开的检测器的一个或多个实施例)的检测器)确定至少一个对象的位置的方法。仍然可以使用其它类型的检测器。该方法包括以下方法步骤,其中方法步骤可以以给定的顺序执行或者可以以不同的顺序执行。此外,可能存在未列出的一个或多个附加方法步骤。此外,可以重复执行一个、多于一个或甚至所有方法步骤。
图2示出用于确定至少一个对象的位置的方法的实施例。该方法包括以下方法步骤:
-(用附图标记168表示)选择光学传感器118的矩阵116的至少一个关注区域,每个光学传感器118具有光敏区域,该光敏区域被配置为响应于由从对象112传播到检测器110的至少一个光束的照射而生成至少一个传感器信号;
-(用附图标记170表示)分别确定关注区域的至少两个光学传感器118的至少一个传感器信号,并且通过评估根据传感器信号的组合信号Q来确定对象112的至少一个纵坐标zDPR
-(用附图标记172表示)根据传感器信号确定关注区域的至少一个图像,并且通过优化至少一个模糊函数fa根据该图像确定对象112的至少一个纵坐标zDFD
-(用附图标记174表示)考虑纵坐标zDPR和纵坐标zDFD来确定至少一个组合距离信息z。
纵坐标zDPR和纵坐标zDFD的确定可以随后或至少部分同时进行。
图3A和图3B示出仅使用光子比深度技术的距离测量(用附图标记176表示的窄虚线)、仅使用离焦深度技术的距离测量(用附图标记178表示的较宽松的虚线)、以及根据本发明的方法(用附图标记180表示的实线)的实验结果的比较。对于实验,使用5MP
Figure BDA0003247625280000771
相机,具有f(透镜(lens))=3.6mm和F(透镜(lens))=2.6的传递设备,以及850nm和0.5mW的激光。在图3A中,x轴上给出了以cm为单位的实际距离zreal,y轴上给出了测量距离zmeas,其中测量距离zmeas是指分别由仅光子比深度技术、仅离焦深度技术、和使用根据本发明的方法确定的距离。所描绘的测量结果示出相应测量技术的性能。图3B示出作为实际距离zreal的函数的距离变化Δz的分布(以cm为单位)。如图3B中可见,与仅使用光子比深度技术或离焦深度技术中的一种的距离测量相比,使用根据本发明的方法显著提高了距离确定的精度和可靠性。
参考编号列表
110 检测器
112 对象
114 传感器元件
116 矩阵
118 光学传感器
120 照射源
122 光束
124 反射光束
126 传递设备
128 评估设备
130 除法器
132 数据存储设备
134 图像分析设备
136 其它传感器
138 相机
140 检测器系统
142 信标设备
144 人机界面
146 娱乐设备
148 跟踪系统
150 扫描系统
152 连接器
154 壳体
156 控制设备
158 用户
160 光轴
162 视图方向
164 机器
166 跟踪控制器
168 选择关注区域
170 确定纵坐标zDPR
172 确定纵坐标zDFD
174 确定组合距离信息
176 线
178 线
180 线

Claims (19)

1.一种用于确定至少一个对象(112)的位置的检测器(110),所述检测器(110)包括
-至少一个传感器元件(114),其具有光学传感器(118)的矩阵(116),每个所述光学传感器(118)具有光敏区域,其中,每个光学传感器(118)被设计为响应于由从所述对象(112)传播到所述检测器(110)的光束对其相应光敏区域的照射而生成至少一个传感器信号,
-至少一个评估设备(128),其中,所述评估设备(128)被配置为选择所述矩阵(116)的至少一个关注区域,其中,所述评估设备(128)被配置为分别确定所述关注区域的至少两个光学传感器(118)的至少一个传感器信号,其中,所述评估设备(128)被配置为通过评估根据所述传感器信号的组合信号Q来确定所述对象的至少一个纵坐标zDPR
-其中,所述评估设备(128)被配置为根据所述传感器信号来确定所述关注区域的至少一个图像,其中,所述评估设备(128)被配置为通过优化至少一个模糊函数fa来根据所述图像确定所述对象(112)的至少一个纵坐标zDFD
-其中,所述评估设备(128)被配置为考虑所述纵坐标zDPR和所述纵坐标zDFD来确定至少一个组合距离信息z。
2.根据前述权利要求所述的检测器(110),其中,所述评估设备(128)被配置为使用至少一个递归滤波器来确定至少一个组合距离信息。
3.根据前述权利要求所述的检测器(110),其中,所述递归滤波器是至少一个卡尔曼滤波器或至少一个扩展卡尔曼滤波器(EKF)。
4.根据前述两项权利要求中任一项所述的检测器(110),其中,所述递归滤波器被配置为考虑其它传感器数据和/或其它参数来确定所述组合距离信息。
5.根据前述权利要求的检测器(110),其中,所述检测器(110)包括被配置为确定所述其它传感器数据的至少一个其它传感器(136),其中,所述递归滤波器被配置为考虑所述其它传感器数据来确定所述组合距离信息,其中,所述其它传感器(136)是选自包括以下项的组的至少一个传感器:温度传感器,诸如用于确定照射信息的控制传感器的照射传感器,惯性测量单元,陀螺仪。
6.根据前述权利要求中任一项所述的检测器(110),其中,通过使用诸如离焦深度算法的至少一种基于卷积的算法来确定所述纵坐标zDFD
7.根据前述权利要求中任一项所述的检测器(110),其中,通过改变所述至少一个模糊函数的参数来优化所述模糊函数,其中,所述图像是模糊图像ib,其中,所述评估设备(128)被配置为根据所述模糊图像ib和所述模糊函数fa来重建所述纵坐标z,其中,通过改变所述模糊函数的参数σ来最小化所述模糊图像ib与所述模糊函数fa和至少一个其它图像i’b的卷积之间的差,从而确定所述纵坐标z,
min||(i′b*fa(σ(z))-ib)||。
8.根据前述权利要求中任一项所述的检测器(110),其中,所述至少一个模糊函数fa是由来自包括以下项的组的至少一个函数构成的函数或复合函数:高斯函数,正弦函数,抛物柱面函数,平方函数,洛伦兹函数,径向函数,多项式,Hermite多项式,Zernike多项式,Legendre多项式。
9.根据前述权利要求中任一项所述的检测器(110),其中,所述评估设备(128)被配置为通过以下中的一项或多项来导出所述组合信号Q:划分所述传感器信号,划分所述传感器信号的倍数,划分所述传感器信号的线性组合。
10.根据前述权利要求中任一项所述的检测器(110),其中,所述评估设备(128)被配置为使用所述组合信号Q与所述纵坐标之间的至少一种预定关系来确定所述纵坐标zDPR
11.根据前述权利要求中任一项所述的检测器(110),其中,所述检测器(110)包括至少一个照射源(120),其中,所述照射源(120)被配置为生成用于照射所述对象(112)的至少一个光束。
12.一种用于确定至少一个对象(112)的位置的检测器系统(140),所述检测器系统(140)包括至少一个根据前述权利要求中任一项所述的检测器(110),所述检测器系统(140)还包括至少一个信标设备(142),所述信标设备(142)适于将至少一个光束朝向所述检测器(110)引导,其中,所述信标设备(142)是以下中的至少一种:可附接到所述对象(112),可由所述对象(112)握持,以及可集成到所述对象(112)。
13.一种用于在用户(158)与机器(164)之间交换至少一项信息的人机界面(144),其中,所述人机界面(144)包括至少一个根据前述权利要求所述的检测器系统(140),其中,所述至少一个信标设备(142)适于是以下中的至少一种:直接或间接附接到所述用户(158),以及由所述用户(158)握持,其中,所述人机界面(144)被设计为借助于所述检测器系统(140)来确定所述用户(158)的至少一个位置,其中,所述人机界面(144)被设计为向所述位置分配至少一项信息。
14.一种用于执行至少一个娱乐功能的娱乐设备(146),其中,所述娱乐设备(146)包括至少一个根据前述权利要求所述的人机界面(144),其中,所述娱乐设备(146)被设计为使玩家能够借助于所述人机界面(144)输入至少一项信息,其中,所述娱乐设备(146)被设计为根据所述信息改变所述娱乐功能。
15.一种用于跟踪至少一个可移动对象(112)的位置的跟踪系统(148),所述跟踪系统(148)包括至少一个根据涉及检测器系统的前述权利要求中任一项所述的检测器系统(140),所述跟踪系统(149)还包括至少一个跟踪控制器(166),其中,所述跟踪控制器(166)适于跟踪所述对象(112)在特定时间点的一系列位置。
16.一种用于确定场景的深度轮廓的扫描系统(150),所述扫描系统(150)包括至少一个根据涉及检测器的前述权利要求中任一项所述的检测器(110),所述扫描系统(150)还包括适于用至少一个光束扫描所述场景的至少一个照射源。
17.一种用于对至少一个对象(112)成像的相机(138),所述相机(138)包括至少一个根据涉及检测器的前述权利要求中任一项所述的检测器(110)。
18.一种用于通过使用至少一个根据涉及检测器的前述权利要求中任一项所述的检测器(110)来确定至少一个对象(112)的位置的方法,所述方法包括以下步骤:
-选择光学传感器(118)的矩阵(116)的至少一个关注区域,每个所述光学传感器(118)具有光敏区域,所述光敏区域被配置为响应于从所述对象(112)传播到所述检测器(110)的至少一个光束的照射而生成至少一个传感器信号;
-分别确定所述关注区域的至少两个光学传感器(118)的至少一个传感器信号,以及通过评估根据所述传感器信号的组合信号Q来确定所述对象的至少一个纵坐标zDPR
-根据所述传感器信号来确定所述关注区域的至少一个图像,以及通过优化至少一个模糊函数fa来根据所述图像确定所述对象(112)的至少一个纵坐标zDFD
-考虑所述纵坐标zDPR和所述纵坐标zDFD来确定至少一个组合距离信息z。
19.根据涉及检测器的前述权利要求中任一项所述的检测器(110)的用于使用目的的用途,选自:交通技术中的位置测量;娱乐应用;安全性应用;监督应用;安全应用;人机界面应用;物流应用;跟踪应用;户外应用;移动应用;通信应用;摄影应用;机器视觉应用;机器人应用;质量控制应用;制造应用。
CN202080018962.3A 2019-01-09 2020-01-08 用于确定至少一个对象的位置的检测器 Pending CN113544543A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19150947 2019-01-09
EP19150947.0 2019-01-09
PCT/EP2020/050286 WO2020144217A1 (en) 2019-01-09 2020-01-08 Detector for determining a position of at least one object

Publications (1)

Publication Number Publication Date
CN113544543A true CN113544543A (zh) 2021-10-22

Family

ID=65011889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018962.3A Pending CN113544543A (zh) 2019-01-09 2020-01-08 用于确定至少一个对象的位置的检测器

Country Status (6)

Country Link
US (1) US11756226B2 (zh)
EP (1) EP3908852A1 (zh)
JP (1) JP2022517221A (zh)
KR (1) KR20210109030A (zh)
CN (1) CN113544543A (zh)
WO (1) WO2020144217A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL272450B (en) * 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
US20220005199A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Image segmentation with kinematic data in a robotic surgical system
CN113554699B (zh) * 2021-07-23 2023-05-30 东方红卫星移动通信有限公司 一种基于峰值的光斑图像定位方法及其系统
US11704784B2 (en) * 2021-09-30 2023-07-18 The Travelers Indemnity Company Systems and methods for artificial intelligence (AI) ergonomic positioning

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04339209A (ja) 1991-01-24 1992-11-26 Olympus Optical Co Ltd 距離検出装置
CN106019305B (zh) 2011-02-15 2019-10-11 巴斯夫欧洲公司 用于光学检测至少一种物体的检测器
FR2993674B1 (fr) * 2012-07-19 2014-08-22 Irsn Procede de mesure de l'activite d'une source d'emission de photons
US20150092980A1 (en) 2012-08-23 2015-04-02 Eelke Folmer Tracking program and method
US9389315B2 (en) 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region
CN109521397B (zh) 2013-06-13 2023-03-28 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
US11415661B2 (en) 2016-11-17 2022-08-16 Trinamix Gmbh Detector for optically detecting at least one object
US11668828B2 (en) * 2017-08-28 2023-06-06 Trinamix Gmbh Detector for determining a position of at least one object

Also Published As

Publication number Publication date
KR20210109030A (ko) 2021-09-03
JP2022517221A (ja) 2022-03-07
US11756226B2 (en) 2023-09-12
US20220084236A1 (en) 2022-03-17
EP3908852A1 (en) 2021-11-17
WO2020144217A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
US11668828B2 (en) Detector for determining a position of at least one object
US11143736B2 (en) Detector for determining a position of at least one object comprising at least one device to determine relative spatial constellation from a longitudinal coordinate of the object and the positions of reflection image and reference image
US11719818B2 (en) Detector for optically detecting at least one object
KR102502094B1 (ko) 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기
JP7438223B2 (ja) 少なくとも1つの物体の位置を決定するための検出器
WO2019011803A1 (en) DETECTOR FOR OPTICALLY DETECTING AT LEAST ONE OBJECT
US11922657B2 (en) Detector for determining a position of at least one object
US11756226B2 (en) Detector for determining a position of at least one object
WO2019215211A1 (en) Detector for optically detecting at least one object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination