CN110892716B - 从环境中用于获取信息的系统及方法 - Google Patents

从环境中用于获取信息的系统及方法 Download PDF

Info

Publication number
CN110892716B
CN110892716B CN201880045940.9A CN201880045940A CN110892716B CN 110892716 B CN110892716 B CN 110892716B CN 201880045940 A CN201880045940 A CN 201880045940A CN 110892716 B CN110892716 B CN 110892716B
Authority
CN
China
Prior art keywords
pattern
light pattern
environment
distorted
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880045940.9A
Other languages
English (en)
Other versions
CN110892716A (zh
Inventor
约阿夫·祖塔
吉迪恩·卡蒙
罗伊·利维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Jingtai Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingtai Co filed Critical Jingtai Co
Publication of CN110892716A publication Critical patent/CN110892716A/zh
Application granted granted Critical
Publication of CN110892716B publication Critical patent/CN110892716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种从一环境中用于获取信息的系统，包含：一光源，用于产生至少一光束；一第一光学装置，用于将所述至少一光束转换成可投影到一环境中的一扭曲的光图案；以及一第二光学装置，用于将从所述环境返回的一原始视图及包含通过所述环境的至少一个表面变形的所述扭曲的光图案转换为一校正图像，所述校正图像包含一校正图案。

Description

从环境中用于获取信息的系统及方法
技术领域及背景技术
本发明涉及一种从一环境中用于获取信息的系统和使用所述系统的方法，更具体地说，涉及一种将一广角扭曲图案投影到一表面并从中获取一结构的图案的系统。
利用结构光获取与一环境中多个物体的形状、深度和移动有关的信息在本领域中是众所周知的。
结构光系统在一环境的一空间(这里也称为“场景(scene)”)内投影一已知的图案(网格、点矩阵或水平条)，并从所述图案在碰到一物体的一表面时的多个变形特征计算所述场景中物体的深度、形状和移动。
结构光可用于物体的三维扫描(用于工程应用)以及用于识别和跟踪环境中的物体和对象。
结构光系统通常基于一投影仪和一相机之间的三角测量。所述投影仪在一个三维形状的表面上产生已知的光的图案。由于投影仪和相机之间的三角测量效应，由相机捕捉到的图案会发生变形，从而改变图案。通过计算图像的每个位置的扭曲(移位)，可以重建物体的几何形状以创建一深度图像。
发明内容
根据本发明的一个方面，提供了一种从一环境中用于获取信息的系统，包含：(a)一光源，用于产生至少一光束；(b)一第一光学装置，用于将所述(多个)光束转换成可投影到一环境中的一扭曲的光图案；以及(c)一第二光学装置，用于将从所述环境返回的一原始视图及包含通过所述环境的至少一个表面变形的一扭曲的光图案转换为一校正图像，所述校正图像包含一校正图案。
根据下面描述的本发明的优选实施例中的进一步特征，所述第一光学装置将所述至少一光束转换为一结构光图案，以及扭曲所述结构光图案以产生所述扭曲的光图案。
根据所描述的优选实施例中的进一步特征，所述校正图案与所述结构图案基本相同。
根据所描述的优选实施例中的进一步特征，所述扭曲的光图案具有一视角大于所述结构光图案的一投影角。
根据所描述的优选实施例中的进一步特征，所述扭曲的光图案的所述视角在50到220度之间。
根据所描述的优选实施例中的进一步特征，所述结构光图案被径向扭曲成所述扭曲的光图案。
根据所描述的优选实施例中的进一步特征，所述第一光学装置包含一第一鱼眼透镜。
根据所描述的优选实施例中的进一步特征，所述第一光学装置包含一衍射光学元件(DOE)。
根据所描述的优选实施例中的进一步特征，所述第二光学装置包含一第二鱼眼透镜。
根据所描述的优选实施例中的进一步特征，所述第一鱼眼透镜和/或所述第二鱼眼是无焦的(afocal)。
根据所描述的优选实施例中的进一步特征，所述第二鱼眼透镜的多个光学特性与所述第一鱼眼透镜的多个光学特性基本上相同。
根据所描述的优选实施例中的进一步特征，所述衍射光学元件位于所述第一鱼眼透镜的一孔径平面(aperture plane)内。
根据所描述的优选实施例中的进一步特征，所述系统还包含一成像传感器，用于捕获由所述第二光学装置生成的所述校正图像。
根据所描述的优选实施例中的进一步特征，所述系统还包含一处理单元，用于从所述校正光图案得到轮廓、深度和表面振动信息(surface vibration information)中的至少一个。
根据所描述的优选实施例中的进一步特征，所述成像传感器被配置用于在所述表面上形成的一散斑场(speckle field)的聚焦映射(in-focus mapping)。
根据所描述的优选实施例中的进一步特征，所述光源包含一准直透镜。
根据所描述的优选实施例中的进一步特征，所述至少一个光束具有一波长大于800纳米。
根据所描述的优选实施例中的进一步特征，所述系统配置用于安装在一车辆内部。
根据所描述的优选实施例中的进一步特征，包含通过所述至少一个表面变形的所述校正光图案的所述校正图像被分析以获取关于所述环境的信息。
根据所描述的优选实施例中的进一步特征，所述系统能够分析所述校正图像以得到以下中的至少一个：一车辆乘员计数、一乘员位置和移动、一乘员姿势、乘员的头部和身体部位的一位置、一乘员活动、一驾驶员监控(包含头部的位置，手的位置及动作)、一婴儿座椅的存在及其占用状态和一座椅上物体的存在、所述车辆中的一入侵者、所述车辆中被遗忘的一婴儿或一宠物。
根据所描述的优选实施例中的进一步特征，所述至少一个光束包含准直的光束和半准直的光束中的至少一个。
根据本发明的另一方面，提供了一种从一环境中用于获取信息的系统，所述系统包含：(a)一光源，用于产生至少一准直的光束；以及(b)一光学装置，包含一第一光学组件，用于将所述至少一光束转换成一结构光图案，及一第二光学组件，用于将所述结构光图案扭曲成可投影到一环境中的一扭曲的光图案，其中所述扭曲的光图案具有一较广的视角角比所述结构光图案的一投影角广。
根据所描述的优选实施例中的进一步特征，所述扭曲的光图案的所述视角至少是所述结构光图案的一投影角度的4倍。
根据所描述的优选实施例中的进一步特征，所述第一光学组件包含一衍射光学元件(DOE)，及所述第二光学组件包含一无焦鱼眼透镜。
根据所描述的优选实施例中的进一步特征，所述扭曲的光图案覆盖半径为1至2.5米的一球体的一半。
根据所描述的优选实施例中的进一步特征，所述扭曲是径向的。
根据所描述的优选实施例中的进一步特征，所述结构光图案以20至50度的一角度被投影。
根据所描述的优选实施例中的进一步特征，所述扭曲的光图案以50至220度的一角度被投影。
根据本发明的另一方面，提供了一种从一环境中用于获取信息的系统，所述系统包含：(a)一光学装置，用于将从一环境返回的一原始视图及包含通过一初步光学装置扭曲并由所述环境的至少一个表面变形的一光图案转换为一校正图像，所述校正图像包含一校正图案；以及(b)一成像传感器，用于捕获由所述光学装置投影的所述校正图像。
根据所描述的优选实施例中的进一步特征，所述第一光学组件包含一无焦鱼眼透镜。
根据本发明的另一方面，提供了一种从一环境中用于获取信息的方法，所述方法包含：(a)由一光源产生至少一光束；(b)将所述至少一光束转换成可投影到一环境中的一扭曲的光图案；以及(c)将从所述环境返回的一原始视图及包含通过所述环境的至少一个表面变形的所述扭曲的光图案转换为一校正图像，所述校正图像包含一校正图案。
根据所描述的优选实施例中的进一步特征，所述方法还包含：(d)通过一成像传感器捕获所述校正图像。
除非另有定义，否则本文中使用的所有技术和科学术语的含义与本发明所属领域的普通技术人员通常理解的含义相同。尽管在本发明的实践或测试中可以使用与本文所述方法和材料类似或等效的方法和材料，但是下面描述合适的方法和材料。如有冲突，以专利说明书(包含定义)为准。此外，所述材料、方法和示例仅是说明性的，不意图是限制性的。
本发明的方法和系统的实现涉及手动、自动或组合地执行或完成所选择的任务或步骤。此外，根据本发明的方法和系统的优选实施例的实际仪器和设备，可以通过硬件或软件在任何固件或其组合的任何操作系统上实现几个选择的步骤。例如，作为硬件，本发明的选定步骤可以实现为芯片或电路。作为软件，本发明的选择步骤可以实现为由计算机使用任何合适的操作系统执行的多个软件指令。在任何情况下，本发明的方法和系统的选定步骤可以描述为由数据处理器执行，例如用于执行多个指令的计算平台。
附图说明
本文仅通过示例，参考附图描述本发明。现在具体详细的参考附图，强调所示的细节仅作为示例并且仅用于说明性地讨论本发明的优选实施例，并在提供被认为是对本发明的原理和概念方面的最有用和容易理解的描述的原因中提出。在这方面，没有试图比对本发明的基本理解所必需的的结构细节更详细地展示本发明的结构细节，附图中的描述向本领域技术人员表明了如何在实践中实现本发明的几种形式。
在附图中：
图1示意性地示出根据本发明的一些实施例的从一环境用于获取信息的系统的一个实施例；
图2A至图2C示出了根据本发明的一些实施例一非扭曲图案(图2A)的表面投影，由图2A的所述非扭曲图案生成并投影在一表面上的一扭曲图案(图2B)，以及通过本系统从图2B的所述扭曲图案的表面投影中捕获的一校正图案(图2C)；
图3A至图3C示意性地示出了在平坦(图3A)、凸面(创建一“枕形”图案)(图3B)和凹面(创建一“桶形”图案)(图3C)的物体表面上网格图案的各种变形；
图4是示意性地表示根据本发明的一些实施例的从一环境用于获取信息的方法的流程图；
图5是根据本发明的一些实施例投影在真实网格线(黑线)上的扭曲点矩阵图案(白点)的一图像；以及
图6A和图6B分别示出根据本发明的一些实施例，除了点矩阵、多个随机点和多条线之外，可以使用的其他图案。
具体实施方式
在一些实施例中，本发明涉及从一密闭环境中获取信息的系统和方法，并且更具体地但非排他地涉及通过使用一扭曲的光图案投影到一环境中来获取信息。
参考附图和随附的描述可以更好地理解本发明的原理和操作。
在详细解释本发明的至少一个实施例之前，应该理解，本发明的应用不限于以下描述中阐述的或由实施例举例说明的细节。本发明能够具有其他实施例，或者能够以各种方式被实践或执行。同样，应当理解，本文采用的措词和术语是出于描述的目的，而不应被视为限制性的。
结构光系统捕获的信息量受到投影深度和距离以及所查询对象的大小的限制。因此，结构化光系统不能使用单个图案有效地覆盖诸如车厢之类的封闭的环境的场景，因为由这种系统投影的图案的视角受到限制并且需要广角摄影，而广角摄影会扭曲图像。虽然典型的结构光系统对于查询小物体在相对较小距离或大物体在较大距离可能有用，但从多个大物体(例如人)在相对较小的多个距离(小于一米)捕获信息可能是具有挑战性的。结构光系统的这种局限性可以使用多个重叠图案或通过使用单个图案扫描一场景来克服，但是，这些方法大量占用处理器资源并且实现起来成本高。由于多个图案之间存在“串扰(cross-talk)”，并且需要从多个变形的重叠图案中处理信息(如在广角摄影中所见)，因此从多个重叠的图案中获取信息是一项处理器密集型任务。
已经发现，为了完全覆盖一车厢，单个图案必须覆盖大约3乘1.5米的一区域。但是，由于一投影仪与车厢物体(包含乘客)之间的典型距离为30至250厘米，因此，在不扭曲结构图案的情况下，无法实现这样的覆盖范围所需的视角(160度)。
尽管可以使用一扭曲的投影图案从一场景中获取信息，但是使用这样的图案可能会导致信息丢失或获取错误信息(例如，错误的物体形状，无法将物体与背景区分开)。
为了解决使用单一图案从一密闭环境(例如一车厢)中获取信息的问题，建议使用一种系统，所述系统将一扭曲的光线图案投影到所述环境中，然后使用一广角光学装置来扭转在所述环境的一图像中的这种扭曲，因此可以分析具有校正(非扭曲)图案的一校正图像以获取信息。
因此，根据本发明的一个方面，提供了一种从一环境用于获取信息的系统。
如本文所用，术语“环境”是指具有多个表面的任何开放或封闭空间，所述多个表面可在其上投影一图案。所述图案投影到所述多个表面上并从所述多个表面获取信息在本文中也可以称为“场景(scene)”。一环境的一个示例是例如汽车、公共汽车、火车、飞机等的车辆的车厢。
如本文所用，短语“光图案”是指由多个光束形成的任何已知图案。一图案可以是非结构的，也可以是结构化。多个网格、多个条纹图案、多个点矩阵、多个线条、多个准随机图案等是结构图案。当扭曲时，这样的图案失去其结构，并且在本文中被称为非结构图案。一图案可以是任何一般形状，矩形、圆形等。
如本文所用，术语“扭曲(distortion)”是指一光学装置(setup或device)对通过其投影的一光图案的一影响，其中所述图案偏离直线投影。在一直线投影中，原始图案的多个直线在投影图案中保持笔直，其中在一扭曲的图案中，所述多个线条发生变化。扭曲可改变所述光图案的整体形状以及所述光图案的图案元素(例如，条纹，点等)的形状和间隔。在一径向扭曲中，由于一透镜的对称性而引起的变化是径向对称的或近似对称的。例如，一鱼眼透镜使多个点的一正方形图案径向变形，增加了多个图案元素(所述多个点)之间的间隔。
如本文所用，术语“变形(deformation)”是指一表面对投影到所述表面上的一光图案的形状的影响。当一光图案投影在所述表面上时，根据所述表面的形状和/或角度，从所述表面返回的所述光图案具有与原始的光图案不同的形状。此变化可以是所述光图案的整体形状以及多个图案元素的形状和间距。
为了提供适用于多个封闭的环境的广视角并克服多个扭曲图案的上述限制，建议使用具有以下多个组件的一系统：
(i)一个或多个光源(可见或不可见)，每个光源都可以产生单个(可选地)准直或半准直光束；
(ii)一第一光学装置，用于将(多个)光束转换成一结构图案并且用于将所述结构图案扭曲为一扭曲图案，所述扭曲图案具有一更广的视角比投影的所述结构图案的角度广；
(iii)一第二光学装置，用于将从所述环境返回的一原始视图及包含由在所述环境的至少一个表面变形后所述扭曲的光图案转换为一校正图案，所述校正图案包含一校正图像(所述校正图案可以与所述结构图案相同或相似(例如相同形状但尺寸不同或多个图案元素的间距不同)；以及
(iv)成像传感器，用于捕获所述校正图像。根据所述环境中所述(多个)表面的形状和角度，此图像包含一变形的图案。然后可以分析所述变形的图案以获得关于所述环境和所述多个表面的信息。
这些组件可以被封装在单个壳体中以提供一系统可安装在例如一车厢的一封闭的环境中。所述第一光学装置和所述第二光学装置中的每个可以包含一个或多个光学组件和/或装置。
映射到所述成像传感器的所述图案可以被传达到与上述多个组件共同容纳或远程提供的一处理单元(例如，在一车辆管理系统或云中)。所述处理单元可以处理与图案扭曲/移位(由于深度)有关的信息，以便提供与位于所述环境(例如车厢)中的多个物体(例如乘员)有关的深度、轮廓和运动信息。
可以与本发明一起使用的一光源可以是例如具有800至1000纳米的一波长的一二极管激光。通过所述光源投影的所述光束可以被准直或半准直，例如通过直径为0.5至10毫米(mm)的一非球面透镜。所述光束的一宽度可以是例如2至5毫米，并且可以聚焦到例如1至2.5米的一距离。所述光束可以由一衍射光学元件(DOE)分成多个点图案，例如所述多个点图案中每个为0.7毫瓦(mW)(830纳米的1级激光)。总功率(通常约为0.1至10瓦)由每个班点(spot)的功率的总和(1级激光功率极限)计算得出。可以使用多个光源，以产生多个光束。这些光束中的每一个可以被转换为所述结构图案的一部分。例如，4个光源可以产生4个光束，每个光束转换为一结构图案的四分之一，例如投影到一车辆的4个座椅中的每个座椅上。
所述衍射光学元件被配置为在每个维度上生成例如10至1000个点的一点矩阵。多个点之间的相邻角度在X和/或Y轴上可以为0.01至10度。总视场角可以是10至80度(在每个轴上)，及所述衍射光学元件的大小可以是1至10毫米乘以1至10毫米。
所述衍射光学元件生成的图案可能会通过例如一无焦鱼眼透镜扭曲，所述无焦鱼眼透镜的一视场(FOV)为160至220度，F-θ(F-theta)扭曲在-30％至+15％之间。聚焦透镜和无焦透镜都从物平面收集光。但是，在图像平面上，它们之间存在差异。聚焦透镜将光聚焦在图像平面上，而无焦透镜不聚焦，因此应在无焦透镜后面放置另一个透镜以聚焦光。其他光学元件可能会产生扭曲，例如可能以径向扭曲为特征的广角镜。
所述第二光学装置可以包含，例如一类似鱼眼透镜能够产生尺寸为例如2至5毫米的一图像。所述第二光学装置不必包含一广域视野组件，并且可以包含任何其他光学组件校正由所述第一光学装置产生的所述图案的扭曲。
所述成像传感器可以是例如一互补金属氧化物半导体(CMOS)/一电荷耦合器件(CCD)传感器，具有一像素大小为1至10微米(μm)及一高清(HD)/全像素高清晰度(FHD)/视频图形阵列(VGA)分辨率。
所述处理单元可以包含执行适合于分析由所述成像传感器捕获的所述校正图像的一算法的任何处理器，包含被所述环境中的一个或多个表面变形的一校正图案，并提取关于所述环境的信息。例如，所述分析可以包含识别捕获的多个图像班点(spot)，测量每个班点相对于一参考(投影)位置的偏移(深度)，通过计算偏移长度或将偏移长度与一查找表进行比较或通过三角测量公式来重建深度，并将班点深度与相邻的多个班点进行比较，以提高深度确定性。
除了获取深度、轮廓和运动信息之外，本系统还能够定性和定量多个表面振动(例如，微振动)。可以使用激光多普勒振动计(LDV)或通过分析在一表面上生成的散斑(speckle)图的多个图案来测量一远程物体的多个表面振动。多个散斑的特征在于一强度图案是由来自一粗糙表面散射的波前干涉产生的。多个散斑成像可提供所述多个散斑的多个详细图像，从而可以跟踪其随时间的变化以提取表面运动(例如旋转、平移和变形)。
PCT专利申请案第WO2016103271号公开了一种散斑分析系统，所述系统利用人眼安全、低功率的光辐射(例如I类激光)和独特的散斑分析算法来在任何环境下实时检测来自一物体或对象的一表面的多个振动。本系统可以结合一散斑分析方法，例如在PCT专利申请案第WO2016103271号中描述的，以分析由所述投影图案上的所述表面形成的多个散斑，并导出表示人或宠物(例如，留在车里的儿童或宠物)的存在和运动的表面振动信息。
现在参考附图，图1示出了根据本发明的一些实施例的本系统(在本文被称为系统10)的一个实施例。根据本发明的一些实施例，图2A示出了一非扭曲的图案的表面投影，图2B示出了从图2A的所述非扭曲的图案产生并投影在一表面上的一扭曲的图案，以及图2C示出了通过本系统从图2B的所述扭曲的图案的表面投影捕获的一校正图案。根据本发明的一些实施例，图3A、3B和3C分别示出了示例性的平坦、凸面(创建一“枕形”图案)和凹面(创建一“桶形”图案)表面对图案形状以及图案元素间距和形状的变形效果。
如图1所示，系统10包含一光源12，所述光源12具有一准直透镜14，所述准直透镜14用于产生一准直光束16。光源12可以包含一激光二极管，所述激光二极管产生一波长为830纳米(nm)(近红外光(NIR))，总功率约为3瓦。
所述光束可以例如通过3毫米焦距、2毫米直径的非球面透镜来准直，以产生2毫米宽的准直光束。
系统10还包含一光学装置18，所述光学装置18包含一第一光学组件20，用于将准直光束16转换成一结构光图案22，以及一第二光学组件24，用于将结构光图案22扭曲成可投影到一表面27(物体平面)上的一扭曲的光图案26。
第一光学组件20优选地是一衍射光学元件(DOE)28，其是能够进行相位/衰减调制或产生一衍射图案的单个元件，或者是一微透镜阵列。
衍射光学元件28可以生成例如61乘以61个点(dot)(在本文中也称为斑点(spot)的一点矩阵图案。替代地，可以生成其他图案，例如随机的多个点和/或多个线条)。
多个点之间的相邻角度为0.57度(x和y轴)，一总视场角为34x34度。所述图案可以是矩形的，具有3乘以3毫米(大于准直光束16)的一面积。
当投影到一表面上时，结构光图案22形成一正方形点矩阵包含61x61个点，在以1米的距离间隔10毫米(请参见图2A)。
衍射光学元件28沿着准直光束16的路径远离光束源1至2毫米的位置放置。衍射光学元件12的位置和方向可以预先设置和固定，也可以通过将衍射光学元件12安装在一可移动的平台(其可以是电动)上进行变化。
第二光学组件24可选地是一无焦鱼眼透镜30具有200度的视场。扭曲的光图案26的视角和视场(FOV)大于结构光图案22的视角和视场。扭曲的光图案24的视角(在X和/或Y轴上)可以是例如50至220度、20至50度或160至200度。
鱼眼透镜30位于沿着形成结构光图案22的多个光束的路径，使得衍射光学元件28位在无焦鱼眼透镜30的一孔径平面中。无焦鱼眼透镜30的位置和方向可以是预设的和固定的，或者可以通过将鱼眼透镜30安装在一可移动的平台(可以是电动的)上来进行变化。
通过鱼眼透镜30可使扭曲的光图案26径向扭曲，以形成一点矩阵，如图2B所示。替代的形状也可以被使用。
为了从一环境中获取信息，系统10将扭曲的光图案26投影到一环境(场景)中的多个表面上，及通过一第二光学装置40捕获返回的光。
第二光学装置40包含一鱼眼透镜42，用于捕获从所述多个表面反射的光(表示扭曲的光图案26)并将扭曲的光图案26转换为一校正图案，所述校正图案的形状与结构光图案22相似或相同，例如，放大倍率不同，而径向变形相同。鱼眼透镜42可具有200度的视场，3.5毫米的成像圈直径和1.05毫米的等效焦距(EFL)。
系统10的多个光学组件可以如下设置：第一和第二透镜(分别为30和42)并排放置在相同的高度(光轴)上，并且它们之间的距离(在图1中的B，称为主干(backbone))设置为例如50毫米或任何其他距离。所述主干形成三角测量基线，并影响所述系统的整体深度的准确度。
尽管可以处理一扭曲的图案以得出表面信息，但是如本发明的系统10所实现的，将扭曲的光图案26转换为形状类似于或相同于结构光图案22的一校正图案，这极大地利于多个点的识别(每个点应该被放置在特定区域-网格)。当存在阳光和其他明亮物体(有噪讯的图片)时尤其如此，易于识别的多个斑点大大减少了处理。另外，由于深度图的空间分辨率是固定的，所以不需要为了将多个点配准到2D图像而进行内插。
包含由系统10生成的所述校正图案的所述校正图像被投影到，例如具有一像素尺寸为3.75微米，一分辨率为1280x960和一有效区域为4.8x3.6毫米的一成像装置45(CCD/CMOS)上。
现在参考图4，图4是示意性地表示根据本发明一些实施例的从一环境用于获取信息的方法的流程图。
首先，如101所示，如上所述，由至少一个(可选地准直或半准直)的光源产生一个或多个光束。例如，由4个二极管激光产生并由一非球面透镜准直的一准直光束
然后，如102所示，所述光束被转换成一结构图案，并且所述结构图案被扭曲成一扭曲的图案，所述扭曲的图案具有一较广的视角比所述结构图案的投影角广，如上所述。例如，所述准直光束被一光学元件衍射，然后通过一无焦鱼眼透镜扭曲，从而产生一扭曲的点矩阵。
然后，如在103处所示，如上所述，从所述环境返回的一原始视图及包含由所述环境的至少一个表面变形后的所述扭曲的光图案被转换成包含一校正图案的一校正图像。例如，投影到一表面上的所述扭曲的点矩阵图案从所述表面返回。然后，所述点矩阵和表面的一图像穿过一鱼眼透镜，所述鱼眼透镜具有与用于投影的所述无焦透镜相似的多个特性。
然后，如104所示，如上所述，通过一成像传感器捕获所述校正图像。例如，所述图像由一CMOS传感器捕获。
现在参考图5，其是根据本发明的一些实施例的投影在多个真实网格线条上的一扭曲的点矩阵图案的一图像。所述扭曲的点矩阵图案(白点)投影到具有一真实(物理)网格(黑线)的一表面上。所述点矩阵图案被捕获为一校正图案(形状和大小类似于通过衍射生成的所述点矩阵)，而所述网格被用于图像捕获的所述鱼眼透镜扭曲。
现在参考图6A和6B，其分别示出了根据本发明的一些实施例的除了点矩阵、多个随机点和多个线条以外可以使用的其他图案。
相对于从所述表面获取并通过处理单元47处理的所述点矩阵的每个点，随时间收集与位置和强度有关的信息。此处理的输出是一点云，所述点云通过所述处理单元进一步处理以便提供各种车载应用的信息。所述系统利用来自所述点云和附加信息层(如下所述)的信息为多个车辆安全性和舒适性系统提供多个指示。这样的多个指示由汽车制造商预先定义，并且通常由控制器局域网(CAN-bus)协议传输。主动安全系统使用所述多个指示以连续不断地实时优化其性能。
汽车内部的一点云可提供丰富的信息，以支持各种安全性和舒适性应用。它本身可以用于物体和运动检测，也可以与其他数据层(例如图像和微运动检测)结合使用，以增强系统的性能。一种这样的应用是占用检测以监视车辆的每个座位的乘客和物体。一旦所述点云提供了座位不是空的表示，所述系统将进一步分析所述点云，以区分一物体和一乘客。如果识别出一乘客，则将发送一指示到车辆安全系统，以在一安全带未系紧时应用一安全带提醒。如果在一座椅上发现一物体，则所述系统会估计其形状和大小并根据汽车制造商的要求记录所述物体。例如，如果在前排乘客座椅上识别出一婴儿座椅，则会向所述车辆安全系统发送一指示，并且该座椅的安全气囊会自动关闭。
一旦一座位被归类为已占用，就对所述点云进行分析，以估计乘客的身高和体重。将多个输出与多个统计表进行比较，所述系统会将所述乘客体重分为适当的百分位数组。此指示允许安全气囊展开系统以适当的动力来激活所述安全气囊或停用所述安全气囊，以使安全气囊展开对所述乘客的危险最小化。分析了所述乘客的身高和体重，一身高/体重分段为安全气囊展开控制提供了更多有用的信息，并且可以进一步减少安全气囊展开造成的潜在损害。
通过云点分析连续检测一乘客的姿势，并将其分类为多个座位位置的一预定义列表。座位位置指示可以以不同的方式使用以提高乘客安全性。首先，如果检测到一危险的坐姿，则可以向驾驶员和乘客发出一警告。其次，如果发现一乘客处于安全气囊展开的一危险位置，则所述指示可用于根据所述姿势停用所述安全气囊或(在智能安全气囊中)部分停用。
前排多个座椅的位置是安全气囊展开和安全带控制的一附加参数。
当一汽车停放时，会监控车厢的占用状态，以检查乘客、婴儿和宠物的存在。所述安全系统根据占用多个指示做出反应。例如，如果发现一婴儿或一宠物独自在一停放的汽车中，则可以激活汽车喇叭以警告经过者，可以打开空调以减少中暑的危险，并可以向车主通过一无线网络(例如蜂窝网络)发送一消息。另外，一警报消息可以被发送到应急中心，包含从导航系统得出的车辆的位置。
自动驾驶汽车必须考虑行驶结束的占用状态。如果驾驶员或乘客在到达目的地时正在睡觉，或者停在封闭的停车位中，则可以采取多种措施以唤醒驾驶员/乘客或通过一无线网络发送一消息，以警告紧急当局潜在的危险。
本系统也可以用于驾驶员监视。可以从所述云点提取关于驾驶员状态的信息，以发现例如驾驶员是否握住方向盘。还可以监视驾驶员的头部和手的位置和方向，以查看一驾驶员是否被例如一智能手机分散注意力。在启动发动机时可以监视驾驶员的位置，并确保在驾驶员或乘客离开前汽车完全停止。驾驶员身高也可用于阻止一儿童发动车辆。
本系统还可用于向多个舒适应用提供信息，例如基于所述车厢的占用状态的多个自适应音频优化应用。可以使用乘客头部的位置，以便优化音频性能并允许驾驶员和乘客主动消除噪声。驾驶员和乘客的识别可以用来区分多个个人，并自动加载他们偏爱的多个音频设置以及车厢内的座椅和后视镜位置以及其他可控系统。
由本系统收集的车内信息也可以用于统计分析。首先，可以将由所述系统提供的多个指示与车厢的多个图像以及来自所述车厢内多个传感器的其他指示一起无线发送到一服务器。通过多个机器学习技术可以使用它来测试和改善所述系统的性能。另外，如果对所述多个图像进行手动或自动分类，则可以训练多个机器学习算法来识别多个不同的场景。更新的参数集可以与多个软件更新一起无线上传到部署的多个传感器上，以改善系统的现有功能或提供新功能。
如本文所用，术语“约”是指约±10％。
术语“包含(comprises、comprising、includes、including)”，“具有(having)”及其共轭词意指“包含但不限于”。该术语包含术语“由...组成(consisting of)”和“基本上由...组成(consisting essentially of)”。
短语“基本上由...组成(consisting essentially of)”是指组合物或方法可以包含另外的成分和/或步骤，但前提是所述另外的成分和/或步骤没有实质上改变所要求保护的组合物或方法的基本和新颖的特征。
如本文所使用的，单数形式“一、一个、一种(a、an)”和“所述(the)”包含复数引用，除非上下文另外明确指出。例如，术语“一种化合物”或“至少一种化合物”可以包含多种化合物，包含其混合物。
词语“示例性”在本文中用来表示“用作示例、实例或说明”。被描述为“示例性”的任何实施例不必被解释为比其他实施例优选或有利和/或从其他实施例中排除特征的并入。
词语“可选地”在本文中用来表示“在一些实施例中提供而在其他实施例中不提供”。本发明的任何特定实施例可以包含多个“可选”特征，除非这些特征冲突。
在整个申请中，本发明的各种实施例可以以范围格式呈现。应当理解，范围格式的描述仅是为了方便和简洁，而不应被解释为对本发明范围的不灵活的限制。因此，应该认为范围的描述已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，对范围从1到6的描述应视为已明确公开了子范围，例如从1到3，从1到4，从1到5，从2到4，从2到6，从3到6等，以及该范围内的单个数字，例如1、2、3、4、5和6。这与范围的广度无关。
每当在本文中指示数值范围时，其意图包含在指示范围内的任何引用数字(分数或整数)。短语“在第一指示数和第二指示数范围之间(ranging/ranges between)”和“从第一指示数到第二指示数的范围(ranging/ranges from…to)”在本文中可互换使用，并且意在包含第一和第二指示数字以及它们之间的所有小数和整数。
应当理解，为清楚起见在单独的实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反，为简洁起见，在单个实施例的上下文中描述的本发明的各种特征，也可以单独地或以任何合适的子组合或在本发明的任何其他所述的实施例中合适地提供。在各种实施例的上下文中描述的某些特征不应被认为是那些实施例的必要特征，除非该实施例没有那些要素就不能工作。
应当理解，为清楚起见在单独的实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反，为简洁起见，在单个实施例的上下文中描述的本发明的各种特征也可以单独地或以任何合适的子组合来提供。
尽管已经结合本发明的特定实施例描述了本发明，但是显然，对于本领域技术人员而言，许多替代、修改和变化将是显而易见的。因此，旨在涵盖落入所附权利要求书的精神和广泛范围内的所有这样的替代、修改和变化。本说明书中提及的所有出版物、专利和专利申请都通过引用整体并入本文，其程度与好像每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用并入本文的程度相同。此外，在本申请中对任何参考文献的引用或标识均不应解释为承认该参考文献可作为本发明的现有技术。

Claims (22)

1.一种从一环境中用于获取信息的系统，其特征在于，所述系统包含：
(a)一光源，用于产生至少一光束，所述至少一光束形成一结构光图案；
(b)一第一光学装置具有至少一透镜用于将所述至少一光束转换成所述结构光图案及将所述结构光图案径向扭曲成可投影到一环境中的一径向扭曲的光图案，所述至少一个透镜被选择成当投影到一车厢内时，具有通过所述径向扭曲的光图案覆盖所述车厢的一内部所需的一视角，及产生所述径向扭曲的光图案的一预定形状；以及
(c)一第二光学装置，用于将从所述环境返回的一原始视图及包含通过所述环境的至少一个表面变形的所述径向扭曲的光图案转换为一校正图像，所述校正图像中所述径向扭曲的光图案的形状被校正成一非扭曲的校正图案。
2.如权利要求1所述的系统，其特征在于：所述第一光学装置将所述至少一光束转换为所述结构光图案，以及扭曲所述结构光图案以产生所述径向扭曲的光图案。
3.如权利要求2所述的系统，其特征在于：所述校正图案与所述结构光图案基本相同。
4.如权利要求2所述的系统，其特征在于：所述径向扭曲的光图案具有一视角大于所述结构光图案的一投影角。
5.如权利要求2所述的系统，其特征在于：所述径向扭曲的光图案的所述视角在50到220度之间。
6.如权利要求1所述的系统，其特征在于：所述至少一透镜包含一第一鱼眼透镜。
7.如权利要求6所述的系统，其特征在于：所述第一光学装置包含一衍射光学元件。
8.如权利要求6所述的系统，其特征在于：所述第二光学装置包含一第二鱼眼透镜。
9.如权利要求8所述的系统，其特征在于：所述第一鱼眼透镜和/或所述第二鱼眼是无焦的。
10.如权利要求6所述的系统，其特征在于：所述第二光学装置包含一第二鱼眼透镜，所述第二鱼眼透镜的多个光学特性与所述第一鱼眼透镜的多个光学特性基本上相同。
11.如权利要求7所述的系统，其特征在于：所述第一光学装置包含所述衍射光学元件，所述衍射光学元件位于所述第一鱼眼透镜的一孔径平面内。
12.如权利要求1所述的系统，其特征在于，所述系统还包含一成像传感器，用于捕获由所述第二光学装置生成的所述校正图像。
13.如权利要求12所述的系统，其特征在于：所述成像传感器被配置用于在所述表面上形成的一散斑场的聚焦映射。
14.如权利要求1所述的系统，其特征在于，所述系统还包含一处理单元，用于从所述校正图像得到轮廓、深度和表面振动信息中的至少一个。
15.如权利要求1所述的系统，其特征在于：所述光源包含一准直透镜。
16.如权利要求1所述的系统，其特征在于：所述至少一个光束具有一波长大于800纳米。
17.如权利要求1所述的系统，其特征在于：包含通过所述至少一个表面变形的所述结构光图案被分析以获取关于所述环境的信息。
18.如权利要求1所述的系统，其特征在于，所述系统配置用于安装在一车辆内部。
19.如权利要求18所述的系统，其特征在于，所述系统能够分析所述校正图像以得到以下中的至少一个：一车辆乘员计数、一乘员位置和移动、一乘员姿势、头部和身体部位的一位置、一乘员活动、一驾驶员监控、一婴儿座椅的存在及其占用状态和一座椅上物体的存在、所述车辆中的一入侵者、所述车辆中被遗忘的一婴儿或一宠物。
20.如权利要求1所述的系统，其特征在于：所述至少一个光束包含准直的光束和半准直的光束中的至少一个。
21.一种从一环境中用于获取信息的方法，其特征在于，所述方法包含：
(a)由一光源产生至少一光束；
(b)使用至少一透镜将所述至少一光束转换成可投影到一环境中的一径向扭曲的光图案，所述扭曲是根据所述径向扭曲的光图案的一预定形状产生；以及
(c)将从所述环境返回的一原始视图及包含通过所述环境的至少一个表面变形的所述径向扭曲的光图案转换为一校正图像，所述校正图像中所述径向扭曲的光图案的形状被校正成一非扭曲的校正图案，
其中所述至少一透镜被选择成当投影到一车厢内时，具有通过所述径向扭曲的光图案覆盖所述车厢的一内部所需的一视角，及产生所述径向扭曲的光图案的一预定形状。
22.如权利要求21所述的方法，其特征在于，所述方法还包含：
(d)通过一成像传感器捕获所述校正图像。
CN201880045940.9A 2017-07-12 2018-07-12 从环境中用于获取信息的系统及方法 Active CN110892716B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762531417P 2017-07-12 2017-07-12
US62/531,417 2017-07-12
PCT/IL2018/050762 WO2019012535A1 (en) 2017-07-12 2018-07-12 SYSTEMS AND METHODS FOR ACQUIRING INFORMATION FROM AN ENVIRONMENT

Publications (2)

Publication Number Publication Date
CN110892716A CN110892716A (zh) 2020-03-17
CN110892716B true CN110892716B (zh) 2022-11-22

Family

ID=65001866

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880045387.9A Active CN110892450B (zh) 2017-07-12 2018-07-12 使用统一成像设备提取视觉、深度和微振动数据
CN201880045940.9A Active CN110892716B (zh) 2017-07-12 2018-07-12 从环境中用于获取信息的系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880045387.9A Active CN110892450B (zh) 2017-07-12 2018-07-12 使用统一成像设备提取视觉、深度和微振动数据

Country Status (5)

Country Link
US (3) US10997739B2 (zh)
EP (2) EP3652935B1 (zh)
JP (2) JP7216672B2 (zh)
CN (2) CN110892450B (zh)
WO (2) WO2019012535A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3652935B1 (en) 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment
US10551614B2 (en) 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
CN109141289B (zh) * 2018-08-01 2020-12-29 先临三维科技股份有限公司 三维扫描方法和系统
DE102018128012A1 (de) * 2018-11-08 2020-05-14 DILAX Intelcom GmbH Vorrichtung und Verfahren zur Unterscheidung und Zählung von Personen und Gegenständen
WO2020136658A1 (en) 2018-12-28 2020-07-02 Guardian Optical Technologies Ltd Systems, devices and methods for vehicle post-crash support
US10956755B2 (en) * 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11513229B2 (en) * 2019-03-15 2022-11-29 DSCG Solutions, Inc. Multi-beam processing of lidar vibration signals
US11618502B2 (en) * 2019-03-28 2023-04-04 Volkswagen Aktiengesellschaft On-road localization methodologies and equipment utilizing road surface characteristics
US11495041B2 (en) * 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
KR20220004735A (ko) * 2019-06-07 2022-01-11 바스프 코팅스 게엠베하 컴퓨터 비전 응용에서 3차원 맵핑 툴들을 사용한 객체 인식을 위한 시스템 및 방법
EP3966740A4 (en) * 2019-07-09 2022-07-06 Gentex Corporation SYSTEMS, DEVICES AND METHODS FOR MEASURING THE MASS OF OBJECTS IN A VEHICLE
EP3973697A4 (en) * 2019-07-26 2023-03-15 Hewlett-Packard Development Company, L.P. CHANGING STRUCTURED LIGHT PROJECTED BASED ON IDENTIFIED POINTS IN A CAPTURED IMAGE
US11610290B2 (en) * 2019-09-24 2023-03-21 Rockwell Collins, Inc. Point source detection
US11310466B2 (en) 2019-11-22 2022-04-19 Guardian Optical Technologies, Ltd. Device for monitoring vehicle occupant(s)
SE544414C2 (en) * 2020-02-27 2022-05-17 Husqvarna Ab Robotic tool and method of processing a work area partly during night using structured light
CN111913299B (zh) 2020-06-09 2022-04-08 嘉兴驭光光电科技有限公司 衍射光学元件的设计方法、衍射光学元件及设计系统
US20220021822A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Guided multi-spectral inspection
WO2024069499A1 (en) * 2022-09-29 2024-04-04 Saccade Vision Ltd. High resolution 3d scanning using laser
CN115839675B (zh) * 2023-02-20 2023-05-12 宜科(天津)电子有限公司 一种物体轮廓线的识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513410A (zh) * 2015-11-25 2016-04-20 成都臻识科技发展有限公司 一种基于不可见结构光投影的车位识别方法与装置
WO2016103271A2 (en) * 2014-12-27 2016-06-30 Guardian Optical Technologies Ltd. System and method for detecting surface vibrations
CN106216815A (zh) * 2016-09-21 2016-12-14 兰州理工大学 一种基于双屏的物体表面三维形貌测量方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5897494A (en) 1997-01-31 1999-04-27 The Board Of Trustees Of The University Of Arkansas Vibrometer
US7298415B2 (en) * 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
JP2005195394A (ja) 2004-01-05 2005-07-21 Toyota Central Res & Dev Lab Inc 車内座席使用状況識別装置
JP4020397B2 (ja) * 2004-06-14 2007-12-12 惠次 飯村 点光源を用いた面光源
JP4375142B2 (ja) 2004-07-05 2009-12-02 株式会社デンソー 車両における備品の積み込み支援装置および備品の積み降ろし支援装置
DE102004042959A1 (de) * 2004-09-02 2006-03-09 Robert Bosch Gmbh Passagierschutzeinrichtung in einem Fahrzeug
JP4926476B2 (ja) * 2006-01-11 2012-05-09 コニカミノルタプラネタリウム株式会社 デジタル式プラネタリウム装置
JP2008026236A (ja) 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
JP2009045428A (ja) 2007-07-25 2009-03-05 Terumo Corp 操作機構、医療用マニピュレータ及び手術用ロボットシステム
US8488129B2 (en) 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
EP2198780B1 (en) 2008-12-19 2018-01-31 Sirona Dental Systems GmbH Method and device for optical scanning of three-dimensional objects by means of a dental 3D camera using a triangulation method
CN101701828B (zh) * 2009-11-23 2012-10-03 常州超媒体与感知技术研究所有限公司 基于立体视觉和信息融合的盲人自主导航方法
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8749796B2 (en) * 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
CN102331838B (zh) * 2011-11-18 2014-04-16 东南大学 基于深度等高线的图像的振动触觉表达方法
JP2013246010A (ja) 2012-05-24 2013-12-09 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US10368053B2 (en) * 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
CN103913129B (zh) 2014-04-10 2017-01-18 泉州师范学院 一种产生宽测量区域近似无衍射结构光的光学系统
WO2016020966A1 (ja) 2014-08-04 2016-02-11 株式会社ニコン 検出方法、形状測定方法、形状測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム
JP2016038343A (ja) 2014-08-08 2016-03-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9714037B2 (en) 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
CN107548502B (zh) * 2015-02-25 2021-02-09 脸谱科技有限责任公司 基于由对象反射的光的特性识别体元中的对象
EP3262439B1 (en) 2015-02-25 2022-11-02 Facebook Technologies, LLC Using intensity variations in a light pattern for depth mapping of objects in a volume
US9553423B2 (en) * 2015-02-27 2017-01-24 Princeton Optronics Inc. Miniature structured light illuminator
CN107431798A (zh) 2015-05-04 2017-12-01 谷歌公司 捕获图像的直通显示
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US9651477B1 (en) * 2016-04-01 2017-05-16 The United States Of America, As Represented By The Secretary Of The Army Method and apparatus for simultaneous observation of three-degrees of vibrational freedom using single heterodyne beam
KR102560710B1 (ko) * 2016-08-24 2023-07-27 삼성전자주식회사 광학적 스펙클을 이용하는 장치 및 방법
CN106778810A (zh) 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
EP3652935B1 (en) * 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103271A2 (en) * 2014-12-27 2016-06-30 Guardian Optical Technologies Ltd. System and method for detecting surface vibrations
CN105513410A (zh) * 2015-11-25 2016-04-20 成都臻识科技发展有限公司 一种基于不可见结构光投影的车位识别方法与装置
CN106216815A (zh) * 2016-09-21 2016-12-14 兰州理工大学 一种基于双屏的物体表面三维形貌测量方法

Also Published As

Publication number Publication date
CN110892716A (zh) 2020-03-17
US20200184663A1 (en) 2020-06-11
CN110892450A (zh) 2020-03-17
EP3652935A4 (en) 2021-03-17
EP3652935B1 (en) 2023-10-18
US11706377B2 (en) 2023-07-18
CN110892450B (zh) 2023-08-04
JP2020526821A (ja) 2020-08-31
US11182915B2 (en) 2021-11-23
WO2019012534A1 (en) 2019-01-17
EP3652703A1 (en) 2020-05-20
US10997739B2 (en) 2021-05-04
WO2019012535A1 (en) 2019-01-17
US20220076436A1 (en) 2022-03-10
JP2020527230A (ja) 2020-09-03
JP7216672B2 (ja) 2023-02-01
JP7317794B2 (ja) 2023-07-31
EP3652935A1 (en) 2020-05-20
EP3652703B1 (en) 2023-12-13
EP3652703A4 (en) 2021-04-28
US20200293750A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN110892716B (zh) 从环境中用于获取信息的系统及方法
US10345137B2 (en) System and method for detecting surface vibrations
US20230030426A1 (en) Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s)
US10730465B2 (en) 3D time of flight active reflecting sensing systems and methods
JP2020527230A5 (zh)
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
JP6387407B2 (ja) 周辺検知システム
JP5753509B2 (ja) 被測定物情報取得装置
US8396251B2 (en) Method for determining the position of an object from a digital image
JP5834810B2 (ja) カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法
JPWO2018030319A1 (ja) 測距システム、および、移動体システム
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
JP6458577B2 (ja) 画像測距装置
JP2021103092A (ja) シート姿勢検出装置
JP2020079712A (ja) 撮像装置、及び、制御方法
WO2023233297A1 (en) Respiration monitoring system using a structured light
Ramesh et al. Real-Time Video Surveillance and Monitoring for Automotive Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220623

Address after: Sealand, Michigan, USA

Applicant after: Jingtai Co.

Address before: Tel Aviv

Applicant before: GUARDIAN OPTICAL TECHNOLOGIES LTD.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Michigan, USA

Patentee after: GENTEX Corp.

Address before: Sealand, Michigan, USA

Patentee before: Jingtai Co.