CN110892450A - 使用统一成像设备提取视觉、深度和微振动数据 - Google Patents

使用统一成像设备提取视觉、深度和微振动数据 Download PDF

Info

Publication number
CN110892450A
CN110892450A CN201880045387.9A CN201880045387A CN110892450A CN 110892450 A CN110892450 A CN 110892450A CN 201880045387 A CN201880045387 A CN 201880045387A CN 110892450 A CN110892450 A CN 110892450A
Authority
CN
China
Prior art keywords
scene
images
computer
implemented method
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880045387.9A
Other languages
English (en)
Other versions
CN110892450B (zh
Inventor
约阿夫·祖塔
吉迪恩·卡蒙
罗伊·利维
盖伊·拉兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingtai Co
Original Assignee
Guardian Optical Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guardian Optical Technologies Ltd filed Critical Guardian Optical Technologies Ltd
Publication of CN110892450A publication Critical patent/CN110892450A/zh
Application granted granted Critical
Publication of CN110892450B publication Critical patent/CN110892450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种统一成像设备，用于通过接收由统一成像设备的成像传感器捕获的场景的多个图像来检测和分类场景中包括运动和微振动的对象，所述统一成像设备包括一光源，所述光源适于在场景上投射由多个漫射光元素构成的预定的结构化光图案，通过视觉分析(多个)图像来对场景中存在的(多个)对象进行分类，通过分析从(多个)对象反射的漫射光元素的位置来提取(多个)对象的深度数据，通过分析至少一些连续图像中反射的漫射光元素的斑点图案的变化来识别(多个)对象的(多个)微振动；及输出分类、深度数据和一个或以上的微振动的数据，这些数据是由成像传感器捕获的图像分析得出的，因此固有地登记在一公共坐标系中。

Description

使用统一成像设备提取视觉、深度和微振动数据
关联申请案
本申请要求享有2017年7月12日提交的题为“从环境获取信息的系统和方法”的美国临时专利申请第62/531,417号的优先权的权益，其全部内容通过引用合并于此。
本申请参考2015年12月27日提交的题为“用于检测表面振动的系统和方法”的国际申请号PCT/IL2015/051255(公开号WO2016/103271)，其全部内容通过引用合并于此。
背景技术
在一些实施例中，本发明涉及分析由统一成像设备捕获的图像以检测场景中的对象，并且更具体地但非排他地涉及分析由投射结构化光图案的统一成像设备捕获的图像以检测场景中的对象，所述场景包括运动及其微振动。
自动化对象检测方法和系统吸引了持续增长的关注，因为它们可以应用于从商业应用、娱乐应用到自动化和/或自动驾驶汽车等的多种系统、服务和/或应用。
包括运动和/或微振动检测在内的对象和人员检测是一项极富挑战性的任务，因此许多利益相关者投入了大量研究来开发和部署工具、算法和方法，以准确检测和分类场景中存在的对象。
发明内容
根据本发明一第一方面，提供一种使用统一成像设备检测对象、提取对象的深度信息并识别对象的微振动的计算机实现的方法，所述计算机实现的方法包含：利用至少一处理器以：
接收由所述统一成像装置的一成像传感器捕获的一场景的多个图像，所述统一成像装置包括适于在所述场景上投射由多个漫射光元素(diffused light elements)构成的一预定结构化光图案的一光源；
通过视觉分析所述多个图像中的至少一个来对所述场景中存在的至少一对象进行分类；
通过分析从一个或以上的对象反射的一个或以上的多个漫射光元素中的的位置，来提取一个或以上的对象的深度数据；
通过分析所述多个图像的至少一些连续图像中的一个或以上的多个反射的漫射光元素中的一斑点图案的变化，来识别一个或以上的对象的一个或以上的微振动；及
输出所述分类、所述深度数据和一个或以上的微振动的数据，这些数据是由所述成像传感器捕获的图像的分析衍生出的，因此固有地登记在一公共坐标系中。
根据本发明的一第二方面，提供一种统一成像设备，包括：
一光源，适于将一预定的结构化光图案投射在一场景上，所述预定的结构化光图案包括多个漫射光元素。
一成像传感器，适于捕获所述场景的多个图像。
对所述多个图像中的至少一些图像进行分析，以对所述场景中存在的一个或以上的对象进行分类、以提取所述(多个)对象的深度数据、及以识别所述(多个)对象的一个或以上的微振动，所述分类、所述深度数据和所述(多个)微振动是从对所述至少一些图像的同时分析中衍生出的，因此固有地登记在一公共坐标系中。
由于视觉数据、深度数据和微振动数据均来自相同的捕获图像，因此它们都固有地登记到一个公共坐标系中。因此，根据所提取的数据的空间坐标，从各种模态提取的数据可以容易地与场景中存在的各个对象(例如，人，物品，背景等)相关联。此外，根据提取的数据的空间坐标，对于场景中存在的一个或以上的对象，可以将从各种模态提取的数据融合在一起。
在第一和/或第二方面的另一实施形式中，光源和成像传感器在共同光波长的光谱中操作，该共同光波长的光谱是由以下各项组成的族群中的一成员：可见光，红外光和紫外线。在宽光谱中进行操作可以允许在可能需要不同照明条件(例如，白天，黑夜等)的多个系统和/或应用中容易的集成、适配和/或采用所述统一成像装置。
在第一和/或第二方面的另一实施形式中，从由所述成像传感器捕获的图像的分析得出的一个或以上的所述分类、所述深度数据以及微振动是时间同步的。由于所述分类，所述运动和所述微振动数据是从对同一成像传感器(统一成像设备)捕获的共同图像进行分析得出的，它们也可能固有地时间(时间上)同步，因此进一步简化了所衍生出的数据与场景中(多个)对象的相关性。
在第一和/或第二方面的另一实施形式中，所述多个漫射光元素中的每一个例如是点、斑点、线及/或其组合。可以根据场景的物理参数，根据照明条件，根据分析要求等，对所述统一成像装置进行适配、配置和/或控制，以将结构化光图案投影成包括各种类型的漫射光元素中的一种或多种。
在第一和/或第二方面的可选实现形式中，所述光源进一步适于周期性地发射结构化光图案，使得在所述多个图像的子集中描绘反射的结构化光图案。由于在这些图像中不存在由反射的结构化光图案引起的伪影和/或视觉影响，因此未描绘反射的结构化光图案的捕获图像可以支持更准确的视觉分析。
在第一和/或第二方面的另一实施形式中，视觉分析包括使用一个或以上已训练的机器学习模型来对(多个)对象进行分类。使用(多个)已训练的机器学习模型可以允许高效、自动和持续的进化以适应新的场景，新的对象等，从而显着提高检测和分类的可靠性和准确性。
在第一和/或第二方面的另一实施形式中，对多个机器学习模型中的一个或多个进行训练，以基于(多个)图像中描绘的视觉数据对(多个)对象进行分类。所述视觉数据包括(多个)对象的视觉数据和一个或多个反射的漫射光元素。除了如捕获的(多个)图像中所描绘的来分析(多个)对象的视觉特性之外，还可以根据反射的结构化光图案的视觉特性来训练(多个)机器学习模型以检测和分类(多个)对象，(多个)属性和/或动作，以提高分类的准确性，可靠性和/或诸如此类。
在第一和/或第二方面的另一实施形式中，训练(多个)机器学习模型中的一个或多个以根据(多个)图像中描绘的(多个)对象的视觉数据对(多个)对象与根据提取的深度数据生成的一个或多个深度图的组合进行分类。可以训练(多个)机器学习模型以接收来自两种模态的数据，即所捕获的图像中的视觉数据和基于深度数据创建的深度图以检测和分类(多个)对象、(多个)属性和/或动作。
在第一和/或第二方面的另一实施形式中，通过分析所述至少一些连续图像中的一个或以上的反射的漫射光元素的强度相比于一阈值的一时间标准偏差，来识别所述斑点图案的变化。由于可以将随时间测量的标准偏差(即连续图像)与阈值简单地比较以识别变化，因此基于时间标准偏差测量所述斑点图案变化可以显着提高检测到的变化的准确性和/或可靠性。
在第一和/或第二方面的可选实现形式中，通过计算从(多个)各自对象的一表面反射的所述多个反射的漫射光元素的所述时间标准偏差来对所述时间标准偏差求平均。在多个斑点图案上对时间标准偏差求平均可以显着增加斑点图案的强度的信噪比(SNR)，并提高对可能影响所述斑点图案的强度水平的噪声的抵抗力。
在第一和/或第二方面的另一实施形式中，通过对所述斑点图案施加一斑点图案平移以确定所述斑点图案中的一个或以上的点相对于所述斑点图案中的一个或以上的相邻点的一角速度以识别所述斑点图案的变化，其中所述角速度指示一个或以上的微振动。施加斑点图案平移可能是用于识别斑点图案中的变化的有效方法。
在第一和/或第二方面的可选实现形式中，通过在所述多个图像的多个连续图像中的一个或以上的点上施加一时间滑动窗口来对所述一个或以上的点的强度求平均。所述滑动窗口可以是用于在时间上随着时间对(多个)斑点图案点的强度进行时间平均以使强度平滑，进而显着减小并潜在地消除噪声影响的有效方法。
在第一和/或第二方面的可选实现形式中，通过对(多个)各自点的强度施加一无限响应滤波器，并将所述无限响应滤波器的结果除以基于所述多个图像的多个连续图像中测得的强度而计算出的平均强度，来对所述斑点图案的一个或以上的点的强度求平均。所述无限响应滤波器可以是一种有效且有效的方法，用于随时间对斑点图案点的强度进行时间平均以平滑强度，以便显着降低并潜在地消除噪声影响。
在第一和/或第二方面的可选实现形式中，通过计算所述斑点图案中的多个相邻点的强度来对所述斑点图案中的一个或以上的点的强度求平均。对斑点图案中多个点的强度进行空间平均可以显着减少并潜在地消除一个或多个点中可能存在的噪声影响。
在第一和/或第二方面的另一实施形式中，所述场景是一车厢。在车厢中部署统一成像设备可能对于分析捕获的图像以检测和分类车辆乘员(例如，驾驶员、乘客、宠物等)和/或车厢(包括(多个)属性，运动和微振动)中存在的其他物品而言是非常有价值的。
在第一和/或第二方面的另一实施形式中，提取的所述分类，所述深度数据和所述(多个)微振动被分析以得出以下的一项或多项：一车辆乘员计数，(多个)车辆乘员的位置和动作，(多个)车辆乘员的姿势，(多个)车辆乘员的头部和身体部位位置，(多个)车辆乘员的活动以及与(多个)车辆乘员相关的一个或以上的物品的存在。使用分类，概念和/或微振动数据对于与多种车辆相关的应用可能是非常有益的。
通过检查以下附图和详细描述，本公开的其他系统、方法、特征和优点对于本领域技术人员将是或变得显而易见的。旨在将所有这样的附加系统、方法、特征和优点包括在本说明书中，在本公开的范围内，并由所附权利要求所保护。
除非另有被定义，本文中所使用的所有的多个技术及/或科学术语有与本发明所属领域的技术人员所公知者相同的意义。虽然与本文中所描述者相似或等同的多个方法与多个材料可被使用以实施或测试本发明的多个实施例，多个示例性的方法及/或多个示例性的题材将于下被描述。在冲突的情况下，包含多个定义的专利说明书将为优先。此外，所述多个材料、所述多个方法及所述多个示例仅为说明性，而非意图为必要地限制性。
本发明的实施例的方法及/或系统的实现可以涉及手动地、自动地或其组合地执行或完成所选择的任务。此外，根据本发明的方法及/或系统的实施例的实际仪表和装置，能使用操作系统，通过硬件、软件或固件或其组合来实现若干所选择的任务。
例如，根据本发明的实施例的用于执行所选择的任务的硬件可以被实现为芯片或电路。作为软件，根据本发明的实施例的所选择的任务可以被实现为由计算机使用任何适当的操作系统执行的多个软件指令。在本发明的示例性实施例中，根据本文所述的方法及/或系统的示例性实施例的一个或以上的任务由数据处理器来执行，诸如用于执行多个指令的计算平台。可选的，数据处理器包括用于存储指令及/或数据的易失性存储器及/或非易失性存储器，例如，磁硬盘及/或可移动介质，用于存储指令及/或数据。可选的，还提供网络连接。可选的，还提供显示器及/或用户输入设备，诸如键盘或鼠标。
附图的数个视图的简要说明
本发明的一些实施例于本文中被以仅为示例的方式参照附图描述。因现将特别详细参照附图，须强调所显示之细节为以示例的方式，且为用于本发明的多个实施例的说明性讨论的多个目的。在这方面，配合附图的说明使得本发明的多个实施例如何可被实施对于本领域的技术人员而言为明白易懂的。
于附图中：
图1是根据本发明一些实施例的分析由描绘场景的统一成像设备捕获的图像以提取场景中的对象的图像数据、深度数据和微振动数据的示例性过程的流程图；
图2是根据本发明一些实施例的示例性统一成像设备捕获场景的图像用于进行分析以提取场景中的对象的图像数据、深度数据和微振动数据示意图；
图3是根据本发明一些实施例的示例性神经网络用于可视化分析由统一成像设备捕获的图像以检测和分类场景中的对象的示意图；
图4是根据本发明一些实施例的由示例性统一成像设备监视以捕获深度数据的场景的示意图；及
图5是根据本发明的一些实施例的示例性神经网络用于分析由统一成像设备捕获的图像以及从图像中提取的深度数据以检测和分类场景中的对象的示意图。
详细说明
在一些实施例中，本发明涉及分析由统一成像设备捕获的图像以检测场景中的对象，并且更具体地但非排他地涉及分析由投射结构化光图案的统一成像设备捕获的图像以检测场景中的对象，所述场景包括运动及其微振动。
根据本发明的一些实施例，提供了通过分析从统一成像设备捕获的图像中提取的视觉数据、深度数据和(多个)斑点图案)，用于检测和分类场景中存在的一个或多个对象的设备方法和系统，所述场景包括所述对象和/或其(多个)部分的运动和微振动(小的和微小的运动)。
所述统一成像设备包括光源，特别是相干光源(coherent light source)，例如激光器和/或类似物，其被配置为发射结构化的光图案，所述结构化的光图案包括多个漫射光元素，例如在场景上投影的一点、一斑点、一线、形状及/或其组合。所述统一成像设备还包括成像传感器，例如，适于捕获场景的多个图像的照相机，红外照相机等。这样，由成像传感器捕获的至少一些图像描绘了结构化光图案的反射，所述结构化光图案包括从场景中存在的(多个)物体反射的一个或多个漫射光元素。
可以将一种或以上的已训练的机器学习模型和/或算法，例如神经网络，支持向量机(Support Vector Machine；SVM)、决策树学习算法、K最近邻居算法(K-Nearestneighbors algorithm)和/或类似算法应用于捕获的图像，用以检测和分类场景中存在的一个或多个对象，例如人，物品和/或类似物。所捕获的图像可以被进一步分析以识别检测到的(多个)对象的一个或多个属性，例如，动作、手势、面部表情、身体位置、肢体位置、大小及/或形状等。
可选地，可以用训练数据集构建和训练(多个)机器学习模型和/或(多个)算法，所述训练数据集包括多个训练图像，所述多个训练图像描绘了指示(多个)对象和/或其(多个)部分的深度和距离的反射结构化光图案，以便可以基于(多个)图像中描述的视觉数据的分类以及可选地根据反射的结构化光图案的分类来检测和分类对象。所述训练的(多个)机器学习模型和/或(多个)算法可以应用于一个或多个捕获的图像，以改善(多个)对象的检测和分类。
可以分析捕获的图像中的一个或多个以提取场景的深度数据，例如，可以分析从(多个)对象反射的漫射光元素的位置以提取与(多个)对象有关的深度数据。可以基于反射的漫射光元素的三角测量来提取深度数据。另外和/或可替代地，可以基于校准过程来提取深度数据，其中所捕获图像中的像素位置与各自的距离(深度)值相关联并存储在数据集(例如，查找表、列表、数据库等)中。可以基于所提取的深度数据来生成场景的一个或多个深度图。
(多个)机器学习模型和/或(多个)算法可以典型地结合所捕获的图像进一步应用于深度图，以改善对场景中存在的(多个)对象和/或其已确定的(多个)属性的检测和分类。
此外，可以分析至少一些捕获的图像以识别(多个)对象的微振动。(多个)微振动可以是(多个)对象和/或(多个)零件在例如微弧度的范围内非常细微、轻微和/或有限的运动，例如呼吸，眼睛运动、眼睑运动、微小的肢体运动，微小的头部运动等，并且它们可能无法通过分析深度数据来检测。可以通过分析从(多个)对象反射的一个或多个漫射光图案的斑点图案来检测微振动。特别地，分析斑点图案的变化，其可以指示微小的微振动。
与场景中的(多个)对象有关的不同模态，即视觉数据、深度数据和斑点图案都从由集成在统一成像设备中的相同成像传感器捕获的相同图像中提取。因此，将基于视觉数据分析和/或深度数据分析检测到的(多个)对象、基于深度数据分析检测到的运动、和基于(多个)斑点图案分析检测到的微振动固有地对准公共坐标系，因此固有地在空间上对齐。此外，由于(多个)对象分类、运动和微振动数据是从对通过(统一成像设备的)同一成像传感器捕获的共同图像的分析中所得出的，因此它们也可以固有地在时间(时间上)同步。
根据本发明的一些实施例，统一成像设备被部署，例如安装，装设，集成，嵌入和/或诸如此类在较小和/或有限的空间中，例如车厢等。可以分析由成像传感器捕获的图像，以检测并分类一个或多个车辆乘员(即，驾驶员、乘客、宠物)，包括其属性、运动和微振动。捕获的图像可以被进一步分析以检测和分类车厢中存在的一个或多个对象，例如，座椅、扶手、窗户、门、放置在车厢中的物品(例如儿童座椅、购物袋、公文包等)等。
与当前现有的用于检测场景中的对象的方法和系统相比，通过分析由统一成像设备捕获的图像来检测(多个)对象、它们的属性和相应的微振动可以呈现出明显的优势和好处。
首先，与通常可以基于单个模态进行检测和/或分类的现有方法相比，使用从不同模态执行的数据(即视觉数据，深度数据和(多个)斑点图案)来检测(多个)对象、对象的(多个)属性和/或相关的微振动可以显着改善这些对象的分类精度更高。
此外，使用已训练的(多个)机器学习模型和/或(多个)算法可以支持自动且持续的进化以适应新场景、新对象等，从而显着改善检测和分类的可靠性和准确性。特别地，(多个)机器学习模型和/或(多个)算法优于可能会采用基于规则的算法，需要不断进行大量维护，才能针对新场景进行更新的现有方法。
此外，由于视觉数据、深度数据和微振动数据均来自相同的捕获图像，因此它们都固有地配准到公共坐标系。因此，根据所提取的数据的空间坐标，从各种模态提取的数据可以容易地与场景中存在的各自(多个)对象的相关。此外，根据提取的数据的空间坐标，对于场景中存在的一个或多个对象，可以将从各种模态提取的数据融合在一起。另外，由于(多个)对象的分类、运动和微振动数据是从对同一成像传感器(统一成像设备的)所捕获的共同图像的分析中得出的，因此它们也可以固有地时间(时间上)同步。与可以使用单独的捕获设备和/或传感器捕获视觉数据、深度数据和/或微振动数据中的每一个的现有方法相比，这可能是一个主要优点。单独的捕获设备可能需要复杂且精确度大大降低才能登记到公共坐标系。
而且，由于光源和成像传感器被集成在同一统一设备中，因此可以容易地在空间和时间上对它们进行校准。此外，通过将光源和成像传感器集成到用于提取所有模态数据(即，视觉数据、深度数据和斑点图案数据)的单个统一成像设备中以对(多个)对象、它们的(多个)属性、它们的运动和它们微振动进行分类，可以显着降低系统成本、尺寸和/或部署复杂性。
在车厢中部署统一成像设备并分析捕获的图像以检测和分类车辆乘员以及存在于车厢中的其他物体可能对多种应用有用，例如驾驶员监控、乘客安全、被遗忘的婴儿(或宠物)监控、乘客舒适度、信息娱乐、车辆安全(入侵者警报)等。
在说细实明本发明的至少一种详施例之前，应当理解的是，本发明不只限于应用到下面的说明中所阐述的及/或图示中及/或示例中所的显示的多个构件及/或多个方法的建构及配置的细节。本发明能够实施成为其它的实施例或以各种方式被实践。
如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合了软件和硬件方面的实施例的形式，这些方面通常都可以在本文中称为“电路”、“模块”或“系统”。此外，本发明的方面可以采取体现在一个或多个计算机可读介质上的计算机程序产品的形式，该计算机可读介质上体现有计算机可读程序代码。
可以采用一个或多个计算机可读介质的任意组合。所述计算机可读存储介质可以是有形设备，所述有形设备可以保留和存储供指令执行设备使用的指令。所述计算机可读介质可以为一计算机可读信号介质或一计算机可读存储介质。一计算机可读存储介质可以例如为电子、磁、光、电磁、红外、或半导体系统、装置或设备，或任意以上的组合，但不限于此。在计算机可读存储介质的更具体的示例(非穷举列表)包括以下：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者任意以上的组合。在本文中，计算机可读存储介质可以为包含或存储程序的任何有形介质，该程序可以被指令执行系统、装置或设备使用，或与指令执行系统、装置或设备有关。
计算机可读信号介质可以包括具有所嵌入的计算机可读程序代码的传播数据信号，例如，在基带中或作为载波的一部分。像这样的传播数据信号可以采取任何各种形式，包括电磁、光学或任何适当的组合，但不限于此。一计算机可读信号介质可以为任何计算机可读介质，其不是一计算机可读存储介质，其能够通信、传播、或传送一程序，该程序可以被指令执行系统、装置或设备使用，或与指令执行系统、装置或设备有关。
可以使用任何适当的介质来传输包括体现在计算机可读介质上的计算机可读程序指令的计算机程序代码，所述介质包括但不限于无线、有线、光缆、RF等或上述的任意合适的组合。
可以以一种或多种编程语言的任何组合来编写用于执行本发明各方面的操作的程序代码，所述编程语言包括诸如Java、Smalltalk、C++等之类的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言之类的常规过程编程语言。
程序代码可以完全在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用互联网(Internet)服务提供商的互联网)。程序代码可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络(例如，互联网，局域网，广域网和/或无线网络)下载到外部计算机或外部存储设备。
这里参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各方面。将理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令来实现。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。就这一点而言，流程图或框图中的每个方框可以表示指令的模块、片段或部分，其包括用于实现指定的(多个)逻辑功能的一个或多个可执行指令。在一些替代实施方式中，方框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图的每个方框以及框图和/或流程图的方框的组合可以通过执行特定功能或操作或执行特殊目的硬件和计算机指令的组合的基于特殊目的硬件的系统来实现。
现在参考附图，图1示出了根据本发明一些实施例的分析由描绘场景的统一成像设备捕获的图像以提取场景中的对象的视觉数据，深度数据和微振动数据的示例性过程的流程图。可以执行示例性过程100以分析由统一成像设备捕获的图像，所述统一成像设备适于将结构化光图案投影在场景上，特别是在小的和/或有限的空间(例如车厢等)上，以识别场景中的一个或多个对象，包括一个或多个检测到的对象的运动和微振动。
统一成像设备包括用于将结构化光图案投射到场景上的集成光源。由多个漫射光元素(例如，点，斑点，线，形状和/或它们的组合)构成的投影结构化光图案可以被场景中存在的一个或多个对象反射，并由集成在统一成像设备中的成像传感器捕获。
可以通过分析从场景中的(多个)对象反射回来的一个或多个漫射光元素的位置来提取与场景中存在的对象有关的深度数据。
可以使用构造和训练以检测和/或分类场景中的(多个)对象的一种或多种机器学习模型和/或算法来分析可选地包括提取的深度数据(深度图)的捕获图像。(多个)机器学习模型和/或(多个)算法可以进一步应用于图像和/或深度数据，以识别场景中(多个)对象的运动。
从场景中的(多个)对象反射回来的一个或多个漫射光元素，特别是反射的漫射光元素的斑点图案可以被分析以识别微振动，所述微振动可以通过极微小的运动和/或微弧度规模的运动来表示，而微弧度的运动例如可能无法通过分析深度数据来检测到。
与场景中的(多个)对象有关的不同模态，即视觉数据、深度数据和斑点图案，都是从由集成在统一成像设备中的同一成像传感器捕获的同一图像中提取的，所述统一成像设备还集成了投射结构化光图案的光源。因此，将基于视觉数据分析和/或深度数据分析检测到的(多个)对象、基于深度数据分析检测到的运动和基于斑点图案分析检测到的微振动固有地登记给公共坐标系，因此固有地在空间上对齐。由于固有的登记，根据提取的数据的空间坐标，对于存在于场景中的一个或多个对象，可以容易地将从各种模态提取的数据进行关联和/或融合在一起。此外，由于(多个)对象的分类、运动和微振动数据是从对由(统一成像设备的)同一成像传感器捕获的共同图像的分析中得出的，因此它们也可以固有地在时间(时间上)同步。
还参考图图2，图2是根据本发明的一些实施例的示例性统一成像设备的示意图，所述成像设备捕获场景的传感数据以进行分析以提取场景中对象的视觉数据、深度数据和微振动数据。示例性成像系统200可以包括统一成像设备202和被部署为监视场景220以便检测和分类场景220中存在的(多个)对象的处理单元204。
根据本发明的一些实施例，系统200可以被安装，装设，集成和/或嵌入在车辆中，特别是在车厢中，使得场景220是车厢内部，并且存在于车厢的物体可以包括例如一个或多个乘员(例如，驾驶员、乘客、宠物等)，与车厢关联的一个或多个对象(例如，座位、门、窗户、头枕、扶手等)，与一个或多个乘员相关联的物品(例如婴儿座椅、宠物笼、公文包、玩具等)等。
可选地，统一成像设备202和处理单元204被集成在一起在单个设备中。
统一成像设备202包括适于将结构化的光图案投射到场景220上的光源210，所述光源210适于例如在一个或多个光谱中(例如可见光(400-700nm)，近红外(700-1200nm)，近紫外线(100-400nm)等)。结构化光图案可以由多个漫射光元素构成，例如点，光和/或它们的组合。特别地，光源210可以是相干光源，例如被配置为发射相干光的激光器等，使得结构化光图案是相干结构化光图案。
统一成像设备202包括成像传感器212，例如摄像机，红外摄像机等，以捕获场景220的图像。成像传感器212还适于捕获从场景220中存在的物体反射的结构化光图案的漫射光元素的反射。这样，成像传感器212可以适于在光源210施加的(多个)光谱中操作，以便捕获反射的结构化光图案。
根据已知和预定的对准参数，将成像传感器212与光源210在空间上对齐。可以执行校准序列以确保成像传感器212和光源210之间的空间对准。可以通过将具有已知和记录的定位特性的一个或多个校准目标对象定位在统一成像设备202前面的预定位置处，操作光源210以投射结构化光图案，将(已知)距离映射到从由成像传感器212捕获的(多个)校准图像提取的深度数据，以及描绘(多个)校准目标物体。可以在统一成像设备202的生产期间，周期性地和/或根据要求进行一次校准。
统一成像设备202还可包括用于连接至处理单元204的一个或多个有线和/或无线输入/输出(I/O)接口，例如，网络接口、无线网络接口、射频(RF)通道、通用串行总线(USB)接口、串行接口等。
可选地，统一成像设备202包括适合于发射(泛光)光以照明场景220的一个或多个照明光源，例如可见光、红外光和/或类似物。(多个)照明光源不是相干光源，并且与结构化光图案的发射无关。
处理单元204可以包括用于连接至统一成像设备202的I/O接口230，用于执行诸如过程100之类的过程的(多个)处理器232以及用于存储程序代码和/或数据的存储器234。
I/O接口230可以包括提供融合系统200到统一成像设备202的连接性的一个或有线和/或无线接口，例如，网络接口、无线网络接口、射频(RF)信道、通用串行总线(USB)接口、串行接口等。通过I/O接口230，处理单元204可以从统一成像设备202接收传感数据，特别是由成像传感器212捕获的图像。使用I/O接口230，处理单元204还可以与统一成像设备202通信，以控制光源210和/或成像传感器212的操作。
同质或异质的处理器232可以包括被布置为并行处理的一个或多个处理节点，作为集群和/或作为一个或多个多核处理器。
存储器234可以包括一个或多个非暂时性存储设备，或者是永久性非易失性设备，例如，只读存储器(ROM)、闪存阵列、硬盘驱动器和/或固态驱动器(SSD)等。存储器234还可以包括一个或多个易失性设备，例如，随机存取存储器(RAM)设备、高速缓冲存储器和/或类似物。
(多个)处理器232可以执行一个或多个软件模块，例如，过程、脚本、应用程序、代理、实用程序、工具和/或诸如此类，每个包括存储在非暂时性介质(例如，存储器234)中并由一个或多个处理器(例如，(多个)处理器232)执行的多个程序指令。例如，(多个)处理器232可以执行分析器240，以执行过程100以检测其中的(多个)对象，所述场景220包括检测到的(多个)物体的运动和/或微振动。分析器240可以进一步利用一个或多个硬件元件，例如可以包括电路、组件、集成电路(IC)、特殊应用集成电路(ASIC)、现场可编程逻辑闸阵列(FPGA)、数字信号处理器(DSP)、图形处理单元(GPU)等用于执行过程100。
如102处所示，过程100开始于分析器240接收描绘场景220的由成像传感器212捕获的多个图像。分析器240可以操作光源210以将结构化光图案投射在场景220上，并且可以进一步操作成像传感器212以捕获场景220的图像。
由于成像传感器212适于和/或配置为在与光源210相同的波长光谱中操作，所以由成像传感器212捕获的至少一些图像包括至少一些漫射光元素的反射，其中所述至少一些漫射光元素构成由场景220中存在的一个或多个对象反射的结构化光图案。
可选地，操作光源210以周期性地发射结构化光图案，使得包括由成像传感器212捕获的一个或多个图像的图像子集不描绘结构化光图案的反射。
如104处所示，分析器240可以在视觉上分析接收到的图像中的一个或多个以检测和分类场景220中存在的一个或多个对象，例如，人及/或物品等。分析器240可以应用一种或多种机器学习模型和/或算法，例如，神经网络，支持向量机(Support Vector Machine；SVM)，决策树学习算法(decision tree learning algorithm)，K最近邻居算法(K-Nearestneighbors algorithm)和/或如本领域中被训练以检测和/或分类场景中的(多个)对象的已知任何其他机器学习算法。可以进一步训练(多个)机器学习模型和/或(多个)算法，以识别检测到的(多个)对象的一个或多个属性，例如，动作、手势、面部表情、身体位置、肢体位置、大小及/或形状等。
可以构造和训练(多个)机器学习模型和/或(多个)算法，以根据(多个)图像中描绘的视觉数据检测和分类物体，其中视觉数据与(多个)对象本身有关，并且不包括从(多个)对象反射的反射结构化光图案。为了防止由反射的结构化光图案引起的伪像和/或视觉影响，分析器240可以操作光源210以周期性地投射结构化光图案。由于光源210和成像传感器212可以是时间同步的，所以分析器240可以操作光源210以每隔由成像传感器捕获的每一帧、每第3帧和/或每第5帧等发射结构化光图案。
可选地，为了提高对场景220中存在的(多个)对象的检测和分类的准确性，可以构造和训练(多个)机器学习模型和/或(多个)算法，以根据在包括从(多个)对象反射的结构化光图案的(多个)图像中描绘的视觉数据来检测和分类对象。因此，可以根据(多个)对象的视觉特性以及根据从(多个)对象反射并因此在(多个)图像中描绘的光元素表示的深度数据来训练(多个)机器学习模型和/或(多个)算法来对对象和/或其(多个)属性进行分类。
现在参考图3，其是根据本发明的一些实施例的示例性神经网络用于可视化分析由统一成像设备捕获的图像以检测和分类场景中的对象的示意图。示例性神经网络300(例如，卷积神经网络(Convolutional Neural Network；CNN)等)可以由诸如分析器240之类的分析器应用，以检测和分类场景中的一个或多个对象(例如场景220)以及可选地对(多个)对象的一个或多个属性进行分类。
分析器240可以应用神经网络300以视觉地分析所捕获的图像中的一个或多个，所述图像可以包括描绘反射的结构化光图案的(多个)图像和/或不描绘反射的结构化光图案的图像。基于所述实现，可以训练(多个)器学习模型和/或(多个)算法以根据对象的视觉信息并且可选地根据表示(多个)对象的深度特性的反射结构化光图案来检测和分类对象。
神经网络300可以包括用于接收所捕获的(多个)图像的输入层、第一卷积层302、第一轮询(下采样)层304、第二卷积层306、第二轮询层308、第三卷积层310、第一完全连接层312、第二完全连接层314、SOFTMAX损耗层316和输出估计的分类的输出层。所述分类通常可以包括一个或多个类别标签，每个类别标签与指示检测对象属于相应类别的概率的概率得分相关联。
可以利用多个训练数据集对神经网络300进行训练，所述训练数据集包括多个训练图像，这些训练图像描绘了诸如场景220之类的场景，例如场景中存在一个或多个对象的车厢和/或类似物，例如，车辆乘员(例如，驾驶员、乘客、宠物等)、车厢的对象、与一个或多个车辆乘员相关联的物品和/或类似物。可选地，用包括多个训练图像的多个训练数据集来训练神经网络300，其中除了场景的视觉数据之外，图像还描绘了从场景中的(多个)对象反射的结构化光图案。
再次参考图1。
如在106处所示，分析器240分析从场景220中的一个或多个对象反射的结构化光图案的一个或多个漫射光元素的位置，以提取与该对象有关的深度数据，并且可选地创建场景220的一个或多个深度图。分析器240可基于三角测量来提取深度数据，以识别一个或多个反射的漫射光元素的位置。
现在参考图4，其是根据本发明一些实施例的由示例性统一成像设备监视以捕获深度数据的场景的示意图。深度数据通常可以通过分析包括多个漫射光元素的结构化光图案的反射来提取。然而，为简洁起见，图4示出了简化的光源210，例如，被配置为发射单个激光束的激光器，所述单个激光束在诸如场景220的场景上投射包括单个点(光元素)的结构化光图案。
光源210以相对于光源210的发射表面的垂直轴的预定角度α发射单个激光束。已知可选地通过校准光源210的发射表面的中心与成像传感器(例如成像传感器212)的成像表面之间的基线距离b。
场景220中存在的一个或多个对象的第一表面402和第二表面404可将激光束朝成像传感器212反射。显然，与第二表面404相比，第一表面402更接近光源210的发射表面。
取决于表面与光源210的发射表面的距离，相同的激光点将以不同的角度β反射到成像传感器212，并且因此在所捕获的图像中的不同(多个)像素位置中被描绘。例如，与光点从第二表面404(更远)以反射角β2反射相比，光点可以从第一表面402(更近)以更大的角度β1反射。
诸如分析器240的分析器可以分析由成像传感器212捕获的(多个)图像，以计算从特定表面反射光点的(多个)角度β。然后，分析器可以根据下面的等式1计算成像传感器212的成像表面与特定表面之间的距离h。
等式1：
Figure BDA0002357667560000191
可以利用(多个)校准目标对象来执行被应用以将成像传感器212与光源210对准的校准过程，以将(多个)光元素准确地映射到像素并因此精确地计算角度βi。因此，可以使用等式1精确测量(多个)表面的距离。
分析器240可以对光源210在场景220上投影的更复杂的结构化光图案的每个漫射光元素应用相同的计算。
而且，由光源210投射的单个光点可以被反射的所有可能的距离构成表示为对极线的线。对于每个漫射光元素，分析器240可以因此分析对应于(描绘)对极线的像素。将(多个)图像的分析面积减小到与光元素相关的对极线区域的分析可以显着减少计算资源(例如处理能力，存储容量等)和/或分析仪提取来自所捕获(多个)图像的深度数据所需要的时间。
附加地和/或可替代地，分析器240可以使用数据集，例如查找表，所述查找表将所捕获的(多个)图像中的每个像素与各自的距离相关联。对于分析器240检测到反射光元素的每个像素，分析器240可以搜索查找表以提取相关距离。像素与距离之间的相关性可以作为校准过程的一部分来完成，在校准过程中，每个像素与每个漫射光元素的各自距离相关联。
再次参考图1。
根据本发明的一些实施例，分析器240可以将一种或多种机器学习模型和/或算法(例如，神经网络等)应用于提取的深度数据，特别是应用于基于提取的深度数据的场景220创建的深度图。此外，为了改善对场景220中存在的(多个)对象的检测和分类，分析器240可以将(多个)机器学习模型和/或(多个)算法应用于捕获图像的视觉内容和从捕获的(多个)图像提取的深度数据所导出的深度图。
现在参考图5，其是根据本发明一些实施例的示例性神经网络用于分析由统一成像设备捕获的图像和从图像中提取的深度数据，以检测和分类场景中的对象的示意图。可以由诸如分析器240之类的分析器来应用示例性神经网络500，例如CNN和/或类似物，以分析两种模态，即，由诸如成像传感器212之类的成像传感器所捕获的(多个)图像的视觉内容以及从所捕获的(多个)图像中提取的深度数据以检测和分类诸如场景220之类的场景中的一个或多个对象，以及可选的，(多个)对象的一个或多个属性。
示例性神经网络500可以包括两个初步分支，第一个用于处理捕获的(多个)图像和第二个用于基于从捕获的(多个)图像提取的深度数据来处理为场景220创建的(多个)深度图。在初始处理之后，两个分支合并以检测和分类场景220中存在的(多个)对象。视觉处理分支可以包括：输入层，用于接收所捕获的图像；第一卷积层(A1)502；轮询层(A1)504；第二卷积层(A2)506。深度数据处理分支可以包括用于接收深度图的输入层；第一轮询层(B1)508；和第二轮询层(B2)510。第二卷积层(A2)506和第二轮询层(B2)510的输出合并以进入联合池层512；联合卷积层514；第一完全连接层516；第二完全连接层518；SOFTMAX损耗层520和输出估计分类的输出层。如前所述，分类通常可以包括一个或多个类别标签，每个类别标签与指示检测对象属于相应类别的概率的一概率得分相关联。
可以利用多个训练数据集来训练神经网络500，所述训练数据集包括描绘诸如场景220之类的场景的训练图像以及基于从至少一些训练图像中提取的深度数据而生成的训练深度图。
再次参考图1。
如在108所示，通过分析至少一些捕获的图像以检测从场景220中存在的(多个)对象反射回来的结构化光图案的一个或多个漫射光元素的散斑图案的变化，分析器240可以识别一个或多个微振动，例如呼吸、眼睛运动、眼睑运动、微妙的肢体(手、腿)运动、微妙的头部运动等。斑点图案的变化可以指示微振动，即非常小的和微小的运动，其可能太小而无法通过分析从捕获的图像提取的深度数据的变化来检测。
例如，分析器240可以通过在多个连续的捕获图像上测量各个反射的漫射光元素的强度的时间标准偏差以识别时间失真图案，来检测斑点图案的变化。假设In是灰度强度，一像素在图像n中描绘了反射的漫射光图案和/或其一部分。分析器240可以根据下面的等式2计算时间标准偏差。
等式2：
Figure BDA0002357667560000221
其中，n是当前图像，k是先前图像的数量。
分析器240可以将时间标准偏差的结果与预定阈值进行比较，以确定是否发生了微振动。如果时间标准偏差值超过预定义的阈值，分析器240确定微振动增加，而在时间标准偏差值不超过预定阈值的情况下，分析器240可以确定微振动没有发生变化。
预定阈值可以是固定的并且可以预先设置。可选地，根据随时间测量的时间标准偏差的值来动态地调整预定义的阈值。
可选地，为了提高对可能影响斑点图案的强度水平的噪声的抵抗力并增加斑点图案的强度的信噪比(SNR)，分析器240可以对从相同表面反射并描绘在捕获图像中的相同区域中的漫射光元素的多个散斑图案求平均时间标准偏差。
在另一个示例中，分析器240可以通过分析用于横向平移的斑点图案来检测斑点图案的变化，所述横向平移指示斑点图案相对于成像传感器212的倾斜。例如，在微弧度范围内可能很小的倾斜可以从一个或多个斑点图案点随时间的角速度(连续帧)得出。假设(多个)斑点图案点随时间的强度恒定，分析器240可以根据下面的等式3，通过分析在多个连续捕获的图像中描绘的(多个)漫射光元素的(多个)斑点图案点的横向平移的分析来导出角速度。
等式3：
Figure BDA0002357667560000231
其中I是所捕获图像中像素的强度相对于时间t或位置x的灰度等级。
某个像素(i，j)相对于其相邻像素在捕获图像n的i方向上的变化中的角速度可以由下面的等式4表示。
等式4：
Figure BDA0002357667560000232
特定像素(i，j)的变化中的角速度可以在j方向上类似地表达。角速度的结果以像素/帧为单位表示。
可选地，分析器240随时间对像素(i，j)的强度Ii，j进行归一化，以补偿由于点强度包络效应而引起的强度Ii，j不均匀。例如，分析器240可以通过应用滑动时间窗口来对强度进行归一化，所述滑动时间窗口用于对所捕获图像中的一个或多个像素(i，j)的强度Ii，j求平均。
在另一个示例中，分析器240可以通过向施加无限的脉冲响应给Ii，j来在时域中对强度Ii，j进行平滑，以产生如下面的等式5所表达的平滑强度
Figure BDA0002357667560000236
等式5：
Figure BDA0002357667560000233
其中α是一个小因子，例如0.05。
分析器240可以通过将像素中的一个或多个像素(i，j)的强度Ii，j除以在多个连续捕获的图像中随时间测量的平均强度来归一化，以产生归一化的强度
Figure BDA0002357667560000234
如下面的等式6所示。
等式6：
Figure BDA0002357667560000235
用归一化强度
Figure BDA0002357667560000241
代替等式4中的强度
Figure BDA0002357667560000242
表达，角速度可以由下面的等式7表示。
等式7：
Figure BDA0002357667560000243
为了进一步提高所测量的强度抵抗噪声影响的稳健性，分析器240可以进一步在空间上对所捕获图像中的多个相邻的反射漫射光元素(例如点，点等)上的强度进行平均。分析器240可以进一步在空间平均强度值上施加时间滤波以改善所得强度信号。
关于用于检测微振动的斑点图案分析的进一步的细节可以在2015年12月27日提交的题为“用于检测表面振动的系统和方法(System and Method for Detecting SurfaceVisulations)”的国际申请第IL2015/051255号(公开号WO2016/103271)中找到，其内容通过引用整体并入本文。
如在110处所示，分析器240可以输出在场景中检测到的(多个)对象的分类(类别)，(多个)属性(例如，运动、手势、面部表情、身体定位、肢体定位、大小、形状等)，(多个)对象的运动是根据深度数据分析和检测到的(多个)对象的(多个)微振动得出的。如前所述，分类通常可以包括一个或多个类别标签，每个类别标签与指示检测对象属于相应类别的概率的概率得分相关联，例如向量、列表及/或表等。
由于所有模态，即视觉数据、深度数据和斑点图案都从同一图像中提取，因此分类、运动和微振动可以固有地在同一坐标系中记录(对准)。如此，根据每个模态的数据的空间参数(坐标)，分类、运动和微振动可以容易地与物体相关联，它们都引用相同的坐标系。
因此，可以将属性、运动和(多个)微振动与在场景220中检测到的(多个)对应对象相关联的准确性大大提高。
当被部署在车厢中时，分析器240可将(多个)对象的类别、(多个)属性、运动和/或(多个)微振动提供给可利用所提供的数据的一个或多个与车辆相关的应用。例如，驾驶员监视安全系统和/或应用可以分析由分析器240提供的数据，以验证驾驶员是清醒的并且专注于驾驶车辆。在另一个示例中，乘客安全系统和/或应用可以分析由分析器240提供的数据，以验证在车厢中检测到的每个乘员(例如，驾驶员、乘客)是否正确地佩戴了他的安全带。在另一个示例中，乘客安全系统和/或应用可以分析由分析器240提供的数据，以验证在其他乘客离开现场之后，在机舱中没有遗忘任何婴儿和/或宠物。在另一个示例中，乘客舒适度系统和/或应用可以根据在驾驶室中检测到的车辆乘员的计数(数量)来调节空调系统。在另一示例中，信息娱乐系统和/或应用可以根据在车厢中检测到的车辆乘员的数量，特别是根据(多个)车辆乘员在车厢内的位置，来调整一个或多个多媒体系统，例如，前排座椅、后排座椅、右侧座椅、左侧座椅等。在另一个示例中，车辆安全系统和/或应用可以检测入侵者进入和/或试图进入车厢。
预计在本申请到期的专利期间内，将开发许多相关的系统、方法和计算机程序，并且结构化光图案和机器学习模型这一术语的范围旨在先验的包括所有这些新技术。
如本文所用的术语“约”是指±10％。
术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”、“包含(including)”、“具有(having)”及其词形变化是指“包括但不限于”。
术语“由...组成(consisting of)”意指“包括幷且限于”。
本文所使用的单数形式“一”、“一个”及“至少一”包括复数引用，除非上下文另有明确规定。例如，术语“一化合物”或“至少一种化合物”可以包括多个化合物，包括其混合物。
在整个本申请中，本发明的各种实施例可以以一个范围的形式存在。应当理解，以一范围形式的描述仅仅是因为方便及简洁，不应理解为对本发明范围的硬性限制。因此，应当认为所述的范围描述已经具体公开所有可能的子范围以及所述范围内的单一数值。例如，应当认为从1到6的范围描述已经具体公开子范围，例如从1到3，从1到4，从1到5，从2到4，从2到6，从3到6等，以及所数范围内的单一数字，例如1、2、3、4、5及6，此不管范围为何皆适用。
每当在本文中指出数值范围，是指包括所指范围内的任何引用的数字(分数或整数)。术语第一指示数字及第二指示数字“之间的范围”及“从”第一指示数字“到”第二指示数字“的范围”在本文中可互换，幷指包括第一及第二指示数字，及其间的所有分数及整数。
可以理解，本发明中的特定特征，为清楚起见，在分开的实施例的内文中描述，也可以在单一实施例的组合中提供。相反地，本发明中，为简洁起见，在单一实施例的内文中所描述的各种特征，也可以分开地、或者以任何合适的子组合、或者在适用于本发明的任何其他描述的实施例中提供。在各种实施例的内文中所描述的特定特征，幷不被认为是那些实施方案的必要特征，除非所述实施例没有那些元件就不起作用。

Claims (17)

1.一种使用统一成像设备检测对象、提取对象的深度信息并识别对象的微振动的计算机实现的方法，其特征在于：所述计算机实现的方法包含：
利用至少一处理器以：
接收由所述统一成像装置的一成像传感器捕获的一场景的多个图像，所述统一成像装置包括适于在所述场景上投射由多个漫射光元素构成的一预定结构化光图案的一光源；
通过视觉分析所述多个图像中的至少一个来对所述场景中存在的至少一对象进行分类；
通过分析从所述至少一对象反射的多个漫射光元素中的至少一个的位置，来提取所述至少一对象的深度数据；
通过分析所述多个图像的至少一些连续图像中的多个反射的漫射光元素中的至少一个的一斑点图案的变化，来识别所述至少一对象的至少一微振动；及
输出所述分类、所述深度数据和至少一微振动的数据，这些数据是由所述成像传感器捕获的图像的分析衍生出的，因此固有地登记在一公共坐标系中。
2.如权利要求1所述的计算机实现的方法，其特征在于：所述光源和所述成像传感器以一共同光波长的光谱进行工作，所述光谱是由可见光、红外光与紫外光组成的一族群的一成员。
3.如权利要求1所述的计算机实现的方法，其特征在于：通过所述成像传感器捕获的多个图像的分析得出的所述分类、所述深度数据和所述至少一微振动是时间同步的。
4.如权利要求1所述的计算机实现的方法，其特征在于：所述多个漫射光元素中的每一个是由以下组成的一族群中的一成员：一点、一斑点、一线及其组合。
5.如权利要求1所述的计算机实现的方法，其特征在于：所述光源还适于周期性地发射一结构化光图案，使得在所述多个图像的一子集中描绘一反射的结构化光图案。
6.如权利要求1所述的计算机实现的方法，其特征在于：所述视觉分析包括使用至少一已训练的机器学习模型来对至少一对象进行分类。
7.如权利要求6所述的计算机实现的方法，其特征在于：训练至少一机器学习模型以基于至少一图像中描绘的视觉数据对所述至少一对象进行分类，所述视觉数据包括所述至少一对象的视觉数据和至少一反射的漫射光元素。
8.如权利要求6所述的计算机实现的方法，其特征在于：训练至少一机器学习模型，以根据至少一图像中描绘的至少一对象的视觉数据与基于提取的深度数据所生成的至少一深度图的结合，来对所述至少一对象进行分类。
9.如权利要求1所述的计算机实现的方法，其特征在于：通过分析所述至少一些连续图像中的至少一反射的漫射光元素的强度相比于一阈值的一时间标准偏差，来识别所述斑点图案的变化。
10.如权利要求9所述的计算机实现的方法，其特征在于：还包括通过计算从至少一对象的一表面反射的所述多个反射的漫射光元素的所述时间标准偏差来对所述时间标准偏差求平均。
11.如权利要求1所述的计算机实现的方法，其特征在于：通过对所述斑点图案施加一斑点图案平移以确定所述斑点图案中的至少一点相对于所述斑点图案中的至少一相邻点的一角速度以识别所述斑点图案的变化，其中所述角速度指示所述至少一微振动。
12.如权利要求11所述的计算机实现的方法，其特征在于：还包括通过在所述多个图像的多个连续图像中的至少一点上施加一时间滑动窗口来对所述至少一点的强度求平均。
13.如权利要求11所述的计算机实现的方法，其特征在于：还包括通过对至少一点的强度施加一无限响应滤波器，并将所述无限响应滤波器的结果除以基于所述多个图像的多个连续图像中测得的强度而计算出的平均强度，来对所述至少一点的强度求平均。
14.如权利要求11所述的计算机实现的方法，其特征在于：还包括通过计算所述斑点图案中的多个相邻点的强度来对至少一点的强度求平均。
15.如权利要求1所述的计算机实现的方法，其特征在于：所述场景是一车厢。
16.如权利要求15所述的计算机实现的方法，其特征在于：提取的所述分类，所述深度数据和所述至少一微振动被分析以得出以下至少一项：一车辆乘员计数，至少一车辆乘员的位置和动作，至少一车辆乘员的姿势，至少一车辆乘员的头部和身体部位位置，至少一车辆乘员的活动以及与至少一车辆乘员相关的至少一物品的存在。
17.一种统一成像设备，其特征在于：所述统一成像设备包括：
一光源，适于将一预定的结构化光图案投射在一场景上，所述预定的结构化光图案包括多个漫射光元素；及
一成像传感器，适于捕获所述场景的多个图像，
其中对所述多个图像中的至少一些图像进行分析，以对所述场景中存在的至少一对象进行分类、以提取所述至少一对象的深度数据、及以识别所述至少一对象的至少一微振动，所述分类、所述深度数据和所述至少一微振动是从对所述至少一些图像的同时分析中衍生出的，因此固有地登记在一公共坐标系中。
CN201880045387.9A 2017-07-12 2018-07-12 使用统一成像设备提取视觉、深度和微振动数据 Active CN110892450B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762531417P 2017-07-12 2017-07-12
US62/531,417 2017-07-12
PCT/IL2018/050761 WO2019012534A1 (en) 2017-07-12 2018-07-12 EXTRACTION OF VISUAL DATA, DEPTH AND MICRO-VIBRATIONS USING A UNIFIED IMAGING DEVICE

Publications (2)

Publication Number Publication Date
CN110892450A true CN110892450A (zh) 2020-03-17
CN110892450B CN110892450B (zh) 2023-08-04

Family

ID=65001866

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880045387.9A Active CN110892450B (zh) 2017-07-12 2018-07-12 使用统一成像设备提取视觉、深度和微振动数据
CN201880045940.9A Active CN110892716B (zh) 2017-07-12 2018-07-12 从环境中用于获取信息的系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880045940.9A Active CN110892716B (zh) 2017-07-12 2018-07-12 从环境中用于获取信息的系统及方法

Country Status (5)

Country Link
US (3) US10997739B2 (zh)
EP (2) EP3652935B1 (zh)
JP (2) JP7216672B2 (zh)
CN (2) CN110892450B (zh)
WO (2) WO2019012535A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012535A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Guided multi-spectral inspection
CN115839675A (zh) * 2023-02-20 2023-03-24 宜科(天津)电子有限公司 一种物体轮廓线的识别系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3652935B1 (en) 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment
US10551614B2 (en) 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
CN109141289B (zh) * 2018-08-01 2020-12-29 先临三维科技股份有限公司 三维扫描方法和系统
DE102018128012A1 (de) * 2018-11-08 2020-05-14 DILAX Intelcom GmbH Vorrichtung und Verfahren zur Unterscheidung und Zählung von Personen und Gegenständen
WO2020136658A1 (en) 2018-12-28 2020-07-02 Guardian Optical Technologies Ltd Systems, devices and methods for vehicle post-crash support
US10956755B2 (en) * 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11513229B2 (en) * 2019-03-15 2022-11-29 DSCG Solutions, Inc. Multi-beam processing of lidar vibration signals
US11618502B2 (en) * 2019-03-28 2023-04-04 Volkswagen Aktiengesellschaft On-road localization methodologies and equipment utilizing road surface characteristics
US11495041B2 (en) * 2019-03-29 2022-11-08 Jumio Corporation Biometric identification using composite hand images
KR20220004735A (ko) * 2019-06-07 2022-01-11 바스프 코팅스 게엠베하 컴퓨터 비전 응용에서 3차원 맵핑 툴들을 사용한 객체 인식을 위한 시스템 및 방법
EP3966740A4 (en) * 2019-07-09 2022-07-06 Gentex Corporation SYSTEMS, DEVICES AND METHODS FOR MEASURING THE MASS OF OBJECTS IN A VEHICLE
EP3973697A4 (en) * 2019-07-26 2023-03-15 Hewlett-Packard Development Company, L.P. CHANGING STRUCTURED LIGHT PROJECTED BASED ON IDENTIFIED POINTS IN A CAPTURED IMAGE
US11610290B2 (en) * 2019-09-24 2023-03-21 Rockwell Collins, Inc. Point source detection
US11310466B2 (en) 2019-11-22 2022-04-19 Guardian Optical Technologies, Ltd. Device for monitoring vehicle occupant(s)
SE544414C2 (en) * 2020-02-27 2022-05-17 Husqvarna Ab Robotic tool and method of processing a work area partly during night using structured light
CN111913299B (zh) 2020-06-09 2022-04-08 嘉兴驭光光电科技有限公司 衍射光学元件的设计方法、衍射光学元件及设计系统
WO2024069499A1 (en) * 2022-09-29 2024-04-04 Saccade Vision Ltd. High resolution 3d scanning using laser

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701828A (zh) * 2009-11-23 2010-05-05 常州达奇信息科技有限公司 基于立体视觉和信息融合的盲人自主导航方法
CN102331838A (zh) * 2011-11-18 2012-01-25 东南大学 基于深度等高线的图像的振动触觉表达方法
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
US20160046298A1 (en) * 2014-08-18 2016-02-18 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US20160253821A1 (en) * 2015-02-25 2016-09-01 Oculus Vr, Llc Identifying an object in a volume based on characteristics of light reflected by the object

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5897494A (en) 1997-01-31 1999-04-27 The Board Of Trustees Of The University Of Arkansas Vibrometer
US7298415B2 (en) * 2001-07-13 2007-11-20 Xenogen Corporation Structured light imaging apparatus
JP2005195394A (ja) 2004-01-05 2005-07-21 Toyota Central Res & Dev Lab Inc 車内座席使用状況識別装置
JP4020397B2 (ja) * 2004-06-14 2007-12-12 惠次 飯村 点光源を用いた面光源
JP4375142B2 (ja) 2004-07-05 2009-12-02 株式会社デンソー 車両における備品の積み込み支援装置および備品の積み降ろし支援装置
DE102004042959A1 (de) * 2004-09-02 2006-03-09 Robert Bosch Gmbh Passagierschutzeinrichtung in einem Fahrzeug
JP4926476B2 (ja) * 2006-01-11 2012-05-09 コニカミノルタプラネタリウム株式会社 デジタル式プラネタリウム装置
JP2008026236A (ja) 2006-07-24 2008-02-07 Olympus Corp 位置姿勢測定装置および位置姿勢測定方法
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
JP2009045428A (ja) 2007-07-25 2009-03-05 Terumo Corp 操作機構、医療用マニピュレータ及び手術用ロボットシステム
US8488129B2 (en) 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US8284258B1 (en) * 2008-09-18 2012-10-09 Grandeye, Ltd. Unusual event detection in wide-angle video (based on moving object trajectories)
EP2198780B1 (en) 2008-12-19 2018-01-31 Sirona Dental Systems GmbH Method and device for optical scanning of three-dimensional objects by means of a dental 3D camera using a triangulation method
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8749796B2 (en) * 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
JP2013246010A (ja) 2012-05-24 2013-12-09 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
CN103913129B (zh) 2014-04-10 2017-01-18 泉州师范学院 一种产生宽测量区域近似无衍射结构光的光学系统
WO2016020966A1 (ja) 2014-08-04 2016-02-11 株式会社ニコン 検出方法、形状測定方法、形状測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム
JP2016038343A (ja) 2014-08-08 2016-03-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016103271A2 (en) 2014-12-27 2016-06-30 Guardian Optical Technologies Ltd. System and method for detecting surface vibrations
EP3262439B1 (en) 2015-02-25 2022-11-02 Facebook Technologies, LLC Using intensity variations in a light pattern for depth mapping of objects in a volume
US9553423B2 (en) * 2015-02-27 2017-01-24 Princeton Optronics Inc. Miniature structured light illuminator
CN107431798A (zh) 2015-05-04 2017-12-01 谷歌公司 捕获图像的直通显示
CN105513410B (zh) 2015-11-25 2018-04-06 成都臻识科技发展有限公司 一种基于不可见结构光投影的车位识别方法与装置
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US9651477B1 (en) * 2016-04-01 2017-05-16 The United States Of America, As Represented By The Secretary Of The Army Method and apparatus for simultaneous observation of three-degrees of vibrational freedom using single heterodyne beam
KR102560710B1 (ko) * 2016-08-24 2023-07-27 삼성전자주식회사 광학적 스펙클을 이용하는 장치 및 방법
CN106216815B (zh) 2016-09-21 2018-07-03 兰州理工大学 一种基于双屏的物体表面三维形貌测量方法
CN106778810A (zh) 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
EP3652935B1 (en) * 2017-07-12 2023-10-18 Gentex Corporation Systems and methods for acquiring information from an environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701828A (zh) * 2009-11-23 2010-05-05 常州达奇信息科技有限公司 基于立体视觉和信息融合的盲人自主导航方法
CN102331838A (zh) * 2011-11-18 2012-01-25 东南大学 基于深度等高线的图像的振动触觉表达方法
CN104769388A (zh) * 2012-11-14 2015-07-08 高通股份有限公司 结构光主动深度感测系统中对光源功率的动态调整
US20160046298A1 (en) * 2014-08-18 2016-02-18 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US20160253821A1 (en) * 2015-02-25 2016-09-01 Oculus Vr, Llc Identifying an object in a volume based on characteristics of light reflected by the object

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012535A1 (en) * 2020-07-14 2022-01-20 International Business Machines Corporation Guided multi-spectral inspection
GB2614145A (en) * 2020-07-14 2023-06-28 Ibm Guided multi-spectral inspection
CN115839675A (zh) * 2023-02-20 2023-03-24 宜科(天津)电子有限公司 一种物体轮廓线的识别系统

Also Published As

Publication number Publication date
CN110892716A (zh) 2020-03-17
US20200184663A1 (en) 2020-06-11
EP3652935A4 (en) 2021-03-17
EP3652935B1 (en) 2023-10-18
US11706377B2 (en) 2023-07-18
CN110892450B (zh) 2023-08-04
JP2020526821A (ja) 2020-08-31
US11182915B2 (en) 2021-11-23
WO2019012534A1 (en) 2019-01-17
EP3652703A1 (en) 2020-05-20
US10997739B2 (en) 2021-05-04
WO2019012535A1 (en) 2019-01-17
US20220076436A1 (en) 2022-03-10
JP2020527230A (ja) 2020-09-03
JP7216672B2 (ja) 2023-02-01
JP7317794B2 (ja) 2023-07-31
EP3652935A1 (en) 2020-05-20
EP3652703B1 (en) 2023-12-13
CN110892716B (zh) 2022-11-22
EP3652703A4 (en) 2021-04-28
US20200293750A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN110892450B (zh) 使用统一成像设备提取视觉、深度和微振动数据
CN110114246B (zh) 3d飞行时间有源反射感测系统和方法
US20180136332A1 (en) Method and system to annotate objects and determine distances to objects in an image
US10824887B2 (en) Passenger counting device, system, method and program
US11861867B2 (en) Systems, devices and methods for measuring the mass of objects in a vehicle
JP2019527448A (ja) 車両の運転者の状態を監視するための方法及びシステム
US10192147B2 (en) Foreign substance detection in a depth sensing system
US11455810B2 (en) Driver attention state estimation
CN113286979B (zh) 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法
JP2013205368A (ja) 被測定物情報取得装置
CN111798488A (zh) 用于执行眼睛检测和/或跟踪的系统
US11538258B2 (en) Analysis apparatus, analysis method, and non-transitory storage medium for deciding the number of occupants detected in a vehicle
US11904869B2 (en) Monitoring system and non-transitory storage medium
US20230091536A1 (en) Camera Placement Guidance
KR20150069771A (ko) 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
Amin et al. Driver tracking and posture detection using low-resolution infrared sensing
IT202100003302A1 (it) Sistema di scansione tridimensionale
Yoon BASED ON SURFACE RECONSTRUCTION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220620

Address after: Sealand, Michigan, USA

Applicant after: Jingtai Co.

Address before: Tel Aviv

Applicant before: GUARDIAN OPTICAL TECHNOLOGIES LTD.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Michigan, USA

Applicant after: GENTEX Corp.

Address before: Sealand, Michigan, USA

Applicant before: Jingtai Co.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant