CN113286979A - 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法 - Google Patents

使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法 Download PDF

Info

Publication number
CN113286979A
CN113286979A CN201980087562.5A CN201980087562A CN113286979A CN 113286979 A CN113286979 A CN 113286979A CN 201980087562 A CN201980087562 A CN 201980087562A CN 113286979 A CN113286979 A CN 113286979A
Authority
CN
China
Prior art keywords
scene
objects
images
light
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980087562.5A
Other languages
English (en)
Other versions
CN113286979B (zh
Inventor
G·拉兹
Y·格鲁诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Guardian Optical Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guardian Optical Technologies Ltd filed Critical Guardian Optical Technologies Ltd
Publication of CN113286979A publication Critical patent/CN113286979A/zh
Application granted granted Critical
Publication of CN113286979B publication Critical patent/CN113286979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/20—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors for lighting specific fittings of passenger or driving compartments; mounted on specific fittings of passenger or driving compartments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G01H9/002—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/20—Multi-color single source or LED matrix, e.g. yellow blinker and red brake lamp generated by single lamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了用于检测场景中的一个或多个对象的振动的系统和方法，其包括至少一个照明源，该至少一个照明源被配置为在场景上以结构化光图案投射光；飞行时间(ToF)成像装置，该ToF成像装置包括：照明源，该照明源被配置为将调制光投射到场景中；ToF传感器，该ToF传感器被配置为捕获多个图像，该多个图像包括调制光、结构化光图案从场景中的一个或多个对象的反射以及场景中的一个或多个对象的环境光图像；以及至少一个处理器，该至少一个处理器被配置为：通过分析多个图像来提取所述一个或多个对象的深度数据，并且分析多个图像中的至少一些连续图像中的所述结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化，并且基于所述散斑图案分析和所述深度数据来识别至少一个对象的振动。

Description

使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装 置和方法
相关申请的交叉引用
本申请要求2018年12月2日提交的名称为“SYSTEMS,DEVICES AND METHODS FORMICRO-VIBRATION DATA EXTRACTION USING A TIME OF FLIGHT(ToF)IMAGING DEVICE”的美国临时申请序列号62/774,255(代理人案卷号GR001/USP)的优先权，该申请全文以引用方式并入本文。
版权声明
本说明书中提到的所有出版物、专利和专利申请以引用方式并入本文，其程度如同每个单独的出版物、专利或专利申请被具体地和单独地指明以引用方式并入。
技术领域
本发明在其一些实施方案中涉及分析由成像装置捕获的图像以检测场景中的对象，并且更具体地但不排他地涉及分析由飞行时间(ToF)成像装置捕获的图像以检测场景中的对象，包括其运动和微振动。
背景技术
包括运动和/或微振动检测的对象和人检测是极具挑战性的任务，因此许多利益相关者投入了大量研究来开发和部署用于准确地检测和分类场景中存在的对象的工具、算法和方法。
自动对象检测方法和系统正受到不断增长的关注，因为它们可以应用于范围从商业应用、娱乐应用到自动和/或自主车辆等的多个系统、服务和/或应用。
尽管已经提出了现有成像和检测装置和方法。但现有成像装置是大且笨重的，包括例如必须同时操作的多个成像装置，并且因此由于复杂的串扰和校准问题，可具有不太理想的分辨率、灵敏度和较小的准确度。
鉴于以上所述，克服现有检测的上述缺陷中的至少一些缺陷的改进的感测和检测装置将是有益的。理想的是，这样的装置将是紧凑的，与其他装置和系统诸如车辆集成，足够坚固且成本低以对最终用户感测对象是实用的，方便且便于使用。
发明内容
本公开提供了改进振动检测和分类的系统、装置和方法。根据第一实施方案，提供了一种用于检测场景中的一个或多个对象的振动的系统，该系统包括：至少一个照明源，该至少一个照明源被配置为在场景上以结构化光图案投射光；
飞行时间(ToF)成像装置，该ToF成像装置包括：照明源，该照明源被配置为将调制光投射到场景中；ToF传感器，该ToF传感器被配置为：
捕获多个图像，所述多个图像包括调制光和结构化光图案从场景中的一个或多个对象的反射以及场景中的一个或多个对象的环境光图像；以及
至少一个处理器，该至少一个处理器被配置为：通过分析多个图像来提取所述一个或多个对象的深度数据；分析多个图像中的至少一些连续图像中的所述结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化；以及基于所述散斑图案分析和所述深度数据来识别一个或多个对象的振动。
在实施方案中，通过以下方式来提取所述深度数据：测量投射调制光和反射调制光之间的相位差，并且进一步分析多个图像以提取所述场景的环境照明图像，并且其中所述环境照明图像用于分析多个图像中的至少一些连续图像中的多个反射漫射光元件中的至少一个反射漫射光元件的散斑图案的一个或多个变化。
在实施方案中，同时获得并检测所述深度数据、所述环境光图像和所述检测到的振动。
在实施方案中，所述照明源是激光器或LED(发光二极管)。
在实施方案中，所述至少一个照明源是单模激光源，其包括用于将多光束图案投射到场景上的分束器。
在实施方案中，所述分束器包括用于分割所述光束的光学元件中的一个或多个光学元件，所述光学元件选自包括以下各项的组：
DOE、分割镜、漫射器。
在实施方案中，系统包括单个照明源，该单个照明源被配置为以结构化光图案投射调制光。
在实施方案中，至少一个处理器被配置为：测量反射调制结构化光图案的相位和振幅以产生所述一个或多个散斑图案的照明强度；分析相位以提取场景的深度数据；并且在所述测量的照明强度上分析多个图像中的至少一些连续图像中的多个反射漫射光元件中的至少一个反射漫射光元件的散斑图案的一个或多个变化；
基于所述散斑图案分析和所述测量的照明强度识别一个或多个对象的至少一个微振动。
在实施方案中，处理器进一步被配置为：基于所述识别的至少一个微振动来分类或识别一个或多个对象的属性。
在实施方案中，处理器进一步被配置为：通过视觉分析多个图像中的至少一个图像来对场景中存在的至少一个或多个对象进行分类。
在实施方案中，视觉分析包括使用至少一个经训练的机器学习模型来对一个或多个对象进行分类。
在实施方案中，其中处理器能够基于所述振动信息识别人。
在实施方案中，光图案选自包括以下各项的组：光点、光斑、线和它们的组合。
在实施方案中，ToF传感器包括光电二极管或光电二极管阵列，并且每个散斑场被映射到所述ToF传感器的1-100个像素。
在实施方案中，系统被配置用于安装在车辆内部。
根据第二实施方案，提供了一种用于检测场景中的一个或多个对象的振动的系统，该系统包括：单个照明源，该单个照明源被配置为在场景上投射调制和结构化光图案，诸如在场景上投射预定义光图案；飞行时间(ToF)成像装置，该ToF成像装置包括：ToF传感器，所述ToF传感器被配置为：捕获多个图像，所述多个图像包括所述调制和结构化光图案从场景中的一个或多个对象的反射；以及
至少一个处理器，该至少一个处理器被配置为：通过分析所述结构化光图案的反射来提取所述一个或多个对象的深度数据；分析多个图像中的至少一些连续图像中的所述结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化；以及基于所述散斑图案分析和所述深度数据来识别至少一个对象的振动。
在实施方案中，通过以下方式来提取深度数据：测量投射之间的相位差，并且进一步分析多个图像以提取所述场景的环境照明图像，并且其中所述环境照明图像用于分析多个图像中的至少一些连续图像中的多个反射漫射光元件中的至少一个反射漫射光元件的散斑图案的一个或多个变化。
在实施方案中，至少一个处理器被配置为：测量反射调制结构化光图案的相位和振幅以产生所述一个或多个散斑图案的照明强度；分析相位以提取场景的深度信息数据；并且
在所述测量的照明强度上分析多个图像中的至少一些连续图像中的多个反射漫射光元件中的至少一个反射漫射光元件的散斑图案的一个或多个变化；基于所述散斑图案分析和所述测量的照明强度识别一个或多个对象的至少一个微振动。
在实施方案中，处理器进一步被配置为：基于所述识别的至少一个微振动来分类或识别一个或多个对象的属性。
在实施方案中，处理器进一步被配置为：通过视觉分析多个图像中的至少一个图像来对场景中存在的至少一个或多个对象进行分类。
如权利要求20所述的系统，其中所述视觉分析包括使用至少一个经训练的机器学习模型来对所述一个或多个至少一个对象进行分类。
根据第三实施方案，提供了一种其上存储有指令的非暂态计算机可读存储介质，这些指令在由计算系统执行时，致使计算系统执行用于检测场景中的一个或多个对象的振动的方法，所述方法包括：接收由ToF成像装置捕获的场景的一个或多个图像，其中所述一个或多个图像中的每个图像包括由ToF成像装置的照明源以及由结构化光照明源投射并且从场景中的一个或多个对象反射的所述调制和结构化光的反射；分析所述图像以产生所述场景的深度和照明数据；分析多个图像中的至少一些连续图像中的所述结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化或动态；以及
基于所述散斑图案分析和所述深度数据来识别至少一个对象的振动。
附图说明
通过参考以下阐述其中利用本公开的实施方案的原理的示例性实施方案的详细描述以及附图，将获得对本公开的特征和优点的更好理解。
图1A示出根据本公开的一些实施方案的包括ToF成像装置的系统的示意图，该系统被配置为并且能够捕获一个或多个对象的感测数据，以检测散斑图案动态以便识别场景中的对象的振动和/或微振动；
图1B示出根据本公开的一些实施方案的调制信号的所测量的四个点的图示例。
图2A示出根据本公开的一些实施方案的用于使用ToF成像装置和附加照明源检测振动，诸如场景中的一个或多个对象的微振动的方法的流程图；
图2B示出根据一个实施方案的包括反射结构化光图案的所获得的环境光B图像的示例；
图3A示出根据本公开的一些实施方案的用于使用ToF成像装置和附加照明源检测场景中的一个或多个感兴趣对象并进一步识别场景中所识别的一个或多个对象的振动微振动的方法的流程图；
图3B是根据本公开的一些实施方案的用于分析由包括ToF相机的系统捕获的图像以检测和分类场景中的对象的示例性神经网络的示意图；
图4示出根据本公开的一些实施方案的包括ToF成像装置和单个照明单元的系统的示意图，该系统被配置为并且能够捕获一个或多个对象的感测数据，以检测散斑图案动态以便识别场景中的对象的振动和微振动；并且
图5示出根据本公开的一些实施方案的用于检测场景中的一个或多个感兴趣对象并进一步识别场景中所识别的一个或多个对象的振动微振动的方法的流程图。
具体实施方式
在以下描述中，将描述本发明的各个方面。出于解释的目的，阐述具体细节以便提供对本发明的透彻理解。对于本领域技术人员显而易见的是，存在细节不同而不影响其基本性质的本发明的其他实施方案。因此，本发明不受附图中示出且在说明书中描述的内容的限制，而是仅如所附权利要求中所指示的，其中适当范围仅由对所述权利要求的最宽泛的解释来确定。
本文公开的配置可以以许多方式中的一种或多种方式组合，以提供改进的振动检测和分类方法、系统和装置。本文公开的配置的一个或多个部件可以以多种方式彼此组合。如本文中所描述的包括ToF成像装置和一个或多个照明源的系统和方法可用于捕获场景的一个或多个图像，并且从所捕获图像提取视觉数据、深度数据和散斑图案以检测场景中的一个或多个对象(和/或其部分)的振动，例如微振动或运动。任选地，该方法和系统还可识别和分类一个或多个所检测对象。
根据一些实施方案，该系统包括一个或多个照明源，该一个或多个照明源被配置为在场景上以结构化光图案(诸如预定义结构化光图案)投射光；以及ToF成像装置，该ToF成像装置包括照明源和ToF传感器，该照明源被配置为将调制光投射到场景中，该ToF传感器被配置为捕获多个图像，该多个图像包括调制和结构化光图案从场景中的一个或多个对象的反射以及场景中的一个或多个对象的环境光图像。根据一些实施方案，该系统还包括一个或多个处理器，该一个或多个处理器被配置为：通过分析所述调制光的反射来提取一个或多个对象的深度数据；并且分析多个图像中的至少一些连续图像中的所述结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化；以及基于散斑图案分析和深度数据来识别至少一个对象的一个或多个振动。
替代地或组合地，可以使包括所识别的振动的数据可用，以便例如利用能够连接到基于云的服务器并下载与对象的振动相关的信息的可下载应用程序来提供与对象的所识别的振动的属性相关的有用信息。
有利地，根据实施方案的系统和方法可包括单个ToF成像装置，以捕获场景的一个或多个图像，并且从所捕获图像提取视觉数据、深度数据和散斑图案以例如实时地检测振动(例如，微振动)。
另外，系统的单元，诸如ToF传感器和一个或多个照明源可以以各种配置定位，例如彼此附接或彼此以小距离接近以减小系统的尺寸、成本和复杂性。该优点是可能的，因为根据实施方案，生成深度数据不需要三角测量原理。
另外，根据实施方案的系统和方法可同时捕获深度映射并捕获环境光图像，并且检测场景中的一个或多个对象的振动，因为ToF传感器被配置为捕获多个图像，该多个图像包括调制和结构化光图案从场景中的一个或多个对象的反射。
如本文所用，相同的字符是指相同的元件。
如本文所用，术语“光”涵盖具有电磁波谱的紫外部分、可见部分或红外部分中的一者或多者中的波长的电磁辐射。
如本文所用，术语“结构化光”被定义为将已知像素图案投射到场景上的过程。当入射在表面上时这些变形的方式允许视觉系统计算场景中对象的深度和表面信息。不可见的结构化光使用结构化光，而不干扰其他计算机视觉任务，对于这些计算机视觉任务，投射的图案将是混乱的。
如本申请中使用的术语“图案”和“图案特征”是指下文所讨论的结构化照明。术语“图案”用于表示由任何不均匀照明产生的形式和形状，特别是采用具有均匀或不同特性(诸如形状、尺寸、强度等)的多个图案特征(诸如线、条纹、光点、几何形状等)的结构化照明。作为非限制性示例，结构化光照明图案可包括多条平行线作为图案特征。
如本文所用，术语“结构化光图案”被定义为以已知像素图案将光投射到场景上的过程。
如本文所用，术语“深度映射”被定义为含有与场景的表面和/或场景中的对象距视点的距离相关的信息的图像。深度映射可以是将所有光点与z轴数据连接的网格的形式。
如本文所用，术语“对象”被定义为成像的任何目标，包括任何数量的特定元件和/或背景，并且包括具有特定元件的场景。所公开的系统和方法可应用于作为对象的整个成像目标和/或应用于作为成像场景内的对象的特定元件。
图1A示出根据实施方案的包括ToF成像装置120的系统100的示意图，该系统被配置为并且能够捕获一个或多个对象，诸如场景105中的对象106和107的感测数据，并且分析所捕获的感测数据以提取视觉数据和深度数据以检测散斑图案动态以便识别场景105中的对象的振动(例如，微振动)。系统100还可包括照明单元160(例如，外部照明单元或第一照明单元)和控制板150。ToF成像装置120包括照明单元130(例如，第二照明单元或ToF照明单元)，其与外部照明单元160一起可以被配置为捕获场景105的感测数据，诸如视觉数据、深度映射(例如，密度深度映射)和场景105的振动(例如，微振动数据)，如本文进一步详细描述。根据实施方案，ToF成像装置120可通过量化发射的光信号在从场景或从场景中的一个或多个对象弹回时所遇到的变化来测量场景105和场景中的对象诸如对象106和107的深度，并且使用ToF传感器的每个像素中的反射光图案特性来识别对象的振动(例如，微振动)。
照明单元160被配置为例如以一个或多个光谱在场景105上投射结构化光图案。结构化光图案可由多个漫射光元件构成，例如光点、光和/或它们的组合。根据一些实施方案，照明单元可包括光源165，诸如相干光源，例如激光器等，其被配置为发射相干光以使得结构化光图案是相干结构化光图案。
根据一些实施方案，照明单元130可以是或可包括单模激光源132，例如，相干光源。
根据一些实施方案，照明单元160被配置为照亮场景的选定部分。有利地，选择性照明避免了例如呈太大或太小的散斑形式的不希望的噪声，这使散斑分析过程复杂化，以检测场景处的振动(例如，微振动)和对象参考。
在一些情况下，照明单元160可包括一个或多个光学元件，用于生成诸如例如均匀覆盖视场的光斑图案之类的图案。这可通过使用一个或多个分束器来实现，该分束器包括光学元件，诸如衍射光学元件(DOE)、分割镜、一个或多个漫射器或被配置为将单个激光光斑分割成多个光斑的任何类型的分束器。诸如光点、线、形状和/或它们的组合之类的其他图案可被投射在场景上。在一些情况下，照明单元不包括DOE。
特别地，照明源165可被控制以便以多个空间或二维图案产生或发射光。照明可采取电磁能的各种各样的波长或波长范围中的任一者的形式。例如，照明可包括在电磁波谱的光学范围或部分中的波长的电磁能，该波长包括人类可见范围或部分(例如，约390nm-750nm)中的波长以及/或者电磁波谱的近红外(NIR)(例如，约750nm-1400nm)或红外(例如，约750nm-1mm)部分和/或近紫外(NUV)(例如，约400nm-300nm)或紫外(例如，约400nm-122nm)部分中的波长。特定波长是示例性的，而不意在限制。可采用电磁能的其他波长。在一些情况下，照明源165波长可以是830nm或840nm或850nm或940nm中的任一者。
根据一个实施方案，ToF成像装置120可以是连续波调制(CWM)ToF相机，然而根据实施方案可以使用其他类型的ToF成像装置。ToF成像装置120可包括换能器或传感器126，诸如CMOS或CCD传感器。例如，传感器126可包括光敏或光响应元件的二维阵列，例如光电二极管的二维阵列或电荷耦合装置(COD)的二维阵列，其中传感器126的每个像素测量光从照明单元130行进(到对象且返回到焦平面阵列)所花费的时间。
根据一个实施方案，ToF传感器126可以是与照明源一起使用的VGA640×480像素传感器，该照明源产生以75MHz调制的波长为950nm的光束(产生2m范围)，然而可以使用不同范围中的其他类型的照明源和传感器。
ToF成像装置120包括光学单元122，该光学单元包括用于将来自场景的反射光和图像收集到传感器126上的一个或多个透镜。在一些情况下，光学单元还可包括一个或多个光学带通滤波器，例如，用于仅使与照明单元具有相同波长的光通过。
ToF成像装置120还包括照明单元130，该照明单元被配置为投射光，诸如由照明源132的主动调制发射的近红外光。在一些情况下，照明源可以是调制光源，诸如激光器或LED。
ToF成像装置120可任选地包括缓冲器，该缓冲器通信地耦合到传感器126以接收由传感器126测量、捕获或以其他方式感测或获取的图像数据。缓冲器可以暂时存储图像数据，直到图像数据被处理。
根据实施方案，传感器126的每个像素被配置为在每个帧处以不同的时间间隔执行多于一个测量，通常是四个不同的测量，用于例如根据如下所示的4-Bucket方法来估计互相关信号的四个值。
根据一个实施方案，在操作中，传感器126被配置为读出传入光子并将其转换成电子电荷。在信号计时和解调之后，反射信号C(ψ)例如在一个调制周期T内以四个等距间隔，例如在相等长度的Δt上积分。这四个信号值可独立地存储在例如缓冲器处或任何存储单元处。积分和存储的周期可以在多个周期内重复，例如：对于f＝30MHz并且以30帧/秒(FPS)，30×10^6/30＝10^6个循环/帧(一百万)积分周期是可能的。
根据实施方案，ToF成像装置120被配置为估计感测数据，包括例如场景的深度参数，例如检测到的对象到成像装置的距离、每个像素中的反射率和环境照明(例如，背景)。例如由一个或多个处理器，诸如处理器152分析所测量的感测数据，以识别场景105中对象的一个或多个振动(例如，微振动)，并提取检测到的对象到成像装置的距离、每个像素中的反射率和环境照明(背景)。
控制板150可包括处理器152、存储器存储装置154和通信电路156中的一者或多者。控制板150的部件可被配置为传输、存储和/或分析所捕获的感测数据，如本文进一步详细描述的。
在操作中，由ToF成像装置120的传感器126的像素阵列检测和解调光，诸如由照明源132的主动调制发射的近红外光和由光源165发射的图案光。另外，由照明单元160投射到场景105中的一个或多个区段，例如投射到场景中的选定部分的结构化光图案在传感器126处被接收。在下一个步骤处，ToF传感器126例如同时测量所接收信号的振幅、偏移和相位。
具体地讲，传感器126被配置为测量发送信号127、128与接收信号127'和128’之间的相位差。根据一些实施方案，可以使用不同形状的信号，例如正弦波、方波等。在接下来的步骤处，接收信号和发送信号之间的互相关允许相位估计，该相位估计在调制频率已知时与对象的距离直接相关。
更具体地讲，如下测量发送信号和接收信号之间的互相关的示例：
发射信号：s(t)＝c+a cos(2πft)
接收信号：r(t)＝c+A cos(2πf(t-τ))+B
根据公式(1)测量的发射信号和接收信号之间的互相关：
公式(1)：
Figure BDA0003142070470000101
并且根据公式(2)，解为：
Figure BDA0003142070470000111
其中：
c>a(例如，在全调制情况下，c＝a，然后光从0变为2a)。
Φ是相位
A是接收信号的振幅，并且其取决于对象的反射率和传感器的灵敏度。
B是由于环境照明引起的偏移系数
根据实施方案，可以通过在传感器像素中的每个传感器像素处测量四个单独调制点处的接收信号，诸如接收的信号127'、128'来提取相位(Φ)、振幅(A)和偏移(B)。例如，如图1B所示，可以在以下四个点处测量接收信号C(ψ)：
ψ0＝0°,ψ1＝90°,ψ2＝180°,ψ3＝270°
根据实施方案，由ToF传感器126像素中的一者或多者覆盖的每个光图案(例如，光斑)包括每个光斑的强散斑图案结果，该强散斑图案结果源自被照亮的一个或多个对象的微结构的干扰。具体地讲，当一个或多个对象移动，主要改变其相对于成像装置的倾斜时，将导致散斑图案的变化。这种变化是非常敏感的，因此微弧度尺度倾斜在散斑图案中产生可检测的变化。
在接下来的步骤处，基于测量的系数B检测散斑图案结构，并且相应地检测该图像B中散斑图案随时间推移的变化以识别一个或多个对象的振动(例如，微振动)。例如，分析多个图像中的至少一些连续图像中的结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化。
根据一些实施方案，系统100可被安置、和/或安装的、和/或集成和/或嵌入在车辆中，特别是在车辆的舱室中，使得场景105是舱室内部并且存在于舱室中的对象可包括例如一个或多个车辆乘员(例如，驾驶员、乘客、宠物等)，与舱室相关联的一个或多个对象(例如，座椅、门、窗、头枕、扶手等)，与车辆乘员中的一者或多者相关联的物品(例如，婴儿座椅、宠物笼、公文包、玩具等)等。任选地，ToF成像装置120和控制单元150在单个装置中集成在一起。在一些情况下，成像装置120和控制单元150在不同装置中单独地集成。
图2A示出了用于使用例如图1A所示的ToF成像装置和附加照明源来检测场景中的一个或多个对象的振动(例如，微振动)的方法的一个实施方案的流程图200。在其他实施方案中，该方法包括与结合图2A描述的步骤不同或附加的步骤。另外，在各种实施方案中，该方法的步骤可以以与结合图2A描述的次序不同的次序来执行。
在步骤210处，调制光例如通过ToF成像装置120的照明源132(例如，第二照明源)投射到场景中，如上文进一步所述。
在步骤220处，例如通过照明源165(例如，外部照明源或第一照明源)将结构化光图案投射到场景105。在各种实施方案中，投射光图案可以是例如均匀覆盖场景或场景的选择性部分的光斑图案。当光投射到场景中时，来自光图案的光斑落到一个或多个感兴趣对象上。在一些情况下，光由照明源165使用衍射光学元件(DOE)投射以将单个激光光斑分割成多个光斑，如图1A中所述。诸如光点、线、形状和/或它们的组合之类的其他图案可被投射在场景上。在一些情况下，照明单元不包括DOE。
在一些情况下，每个反射光图案(例如，光斑)被ToF传感器像素中的一者或多者覆盖。例如，每个光斑可被5×5像素窗口覆盖。
在步骤230处，例如在处理器152处接收由ToF传感器126捕获的场景的一个或多个图像。所捕获图像包括由一个或多个感兴趣对象反射(和/或由其他对象反射)的光图案(即，“反射光图案”或光斑)。另外，所接收图像包括每个反射光图案(例如，光斑)的所得散斑图案，该散斑图源自照亮的一个或多个对象的微结构的干扰和/或源自对象的移动。
任选地，在步骤240处，分析所接收图像以识别和/或分类场景中的一个或多个对象。
在步骤250处，由处理器152分析所接收图像以产生深度数据，所接收图像包括由一个或多个感兴趣对象反射(和/或由其他对象反射)的光图案(即，“反射光图案”)。另外，分析所接收图像以提取包括场景的测量环境光(例如，背景)和/或一个或多个感兴趣对象的一个或多个图像。
具体地讲，通过测量投射调制光和反射调制光之间的相位差来提取深度数据。更具体地讲，深度数据包括由ToF传感器获得和测量的深度参数，该深度参数可以如下提取：
连续波调制-测量发送信号与接收信号之间的相位差，调制频率(例如，其中范围为10MHz至100MHz)。
相移与距对象的距离x之间的关系
Figure BDA0003142070470000131
其中f是调制频率
根据实施方案，基于发送信号和接收信号之间的互相关来估计phi。
例如，根据以下公式(3)。
公式(3)
phi＝arctan((c3-c4)/(c1-c2))
另外，强度和环境光估计如下：
A＝sqrt((c1-c2)^2+(c3-c4)^2)/2
B＝(c1+c2+c3+c4)/4
其中：
A是强度
B是偏移或背景。
C1、C2、C3、C4是四个测量点
在步骤260处，所测量的包括由ToF传感器126获得的反射光图案的系数环境光B图像用于分析在每个光斑处形成的一个或多个散斑图案结构随时间推移的变化以识别一个或多个对象的一个或多个振动，诸如微振动。
图2B示出根据一个实施方案的包括反射结构化光图案的所获得的环境光B图像205的示例。图像205包括呈光斑(白光斑206)图案形式的反射结构化光图案，该光斑从包括诸如驾驶员207和乘客208之类的多个对象的车辆舱室的选定区段投射并反射，该选定区段例如驾驶员前座椅A、乘客前座椅B、乘客后座椅C和D。根据实施方案，在多个图像中的至少一些连续图像(例如，图像206和顺序图像)中分析结构化光图案(例如，光斑206)的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化，以基于所述散斑图案分析和所述深度数据来识别至少一个对象的振动(例如，微振动)。
根据一些实施方案，所识别的振动(例如，微振动)可用于各种应用程序和系统。例如，所识别的微振动和深度数据允许快速和直接发现在场景中检测到的对象的一个或多个对象分类(类别)和/或属性(例如，运动、姿势、面部表情、身体定位、肢体定位、尺寸、形状等)，以及/或者对象的运动。
根据一些实施方案，步骤260的一个或多个微振动的识别可包括例如呼吸、心跳、脉搏、眼球运动、眼睑运动、细微的肢体(例如，手、腿)运动、细微的头部运动等，这是通过分析包括所测量的环境光(B)和结构化光(例如，光斑)的所捕获图像中的至少一些所捕获图像以检测从场景105中存在的对象反射回的结构化光图案的漫射光元件中的一个或多个漫射光元件的散斑图案的变化来进行的。散斑图案的变化可以指示微振动，即非常小且细微的移动，其可能太小而不能通过分析从所捕获图像中提取的深度数据的变化来检测。
在一些情况下，散斑图案分析可包括通过以下方式来检测散斑图案的变化：测量多个连续捕获图像上相应反射漫射光元件的强度的时间标准偏差，以识别时间失真图案。例如，假设In是灰度级强度，则描绘反射漫射光图案和/或其部分的特定像素在图像n中。例如，处理器152可根据下面的公式(4)计算时间标准偏差：
公式(4)：
Figure BDA0003142070470000141
其中n是当前图像，并且k是先前图像的数量。
该分析还包括将时间标准偏差的结果与预定义阈值进行比较，以确定是否发生微振动。在时间标准偏差值超过预定义阈值的情况下，例如由处理器确定微振动增加，而在时间标准偏差值未超过预定义阈值的情况下，处理器152可确定微振动未发生变化。在一些情况下，预定义阈值可以是固定的和预先设定的。任选地，预定义阈值根据随时间推移测量的时间标准偏差的值动态地调节。
任选地，为了提高对可能影响散斑图案的强度等级的噪声的抗扰性，并且增加散斑图案的强度的信噪比(SNR)，可以在每个光斑的多个像素(例如，5×5像素)上对时间标准偏差进行平均。
任选地，为了提高对可能影响散斑图案的强度等级的噪声的抗扰性，并且增加散斑图案的强度的信噪比(SNR)，可以在从相同表面反射且在所捕获图像中的相同区域中描绘的漫射光元件的多个散斑图案上对时间标准偏差进行平均。
根据另一个实施方案，可例如由处理器152通过分析散斑图案的横向平移来检测散斑图案的变化，该横向平移指示散斑图案相对于传感器(例如，ToF传感器126)的倾斜。例如在微弧度的尺度上可能非常小的倾斜可从一个或多个散斑图案点随时间(连续帧)推移的角速度得出。假设散斑图案点随时间推移的恒定强度，则可根据下面的公式(5)从对多个连续捕获的图像中描绘的漫射光元件的散斑图案点的横向平移的分析得出角速度。
公式(5)：
Figure BDA0003142070470000151
其中I是相对于时间t或位置x微分的以灰度级计的捕获图像中像素的强度。
在所捕获图像n中，某个像素(i,j)相对于其在i方向上的相邻像素的变化的角速度可由下面的公式(6)表示。
公式(6)：
Figure BDA0003142070470000152
某个像素(i,j)的变化的角速度可类似地在j方向上表示。角速度的结果以每帧单位的像素表示。
任选地，像素(i,j)的强度Ii,j可例如由处理器随时间推移而归一化，以补偿由于光斑强度包络效应导致的强度Ii,j的不均匀性。例如，强度Ii,j可通过应用滑动时间窗口来归一化以对所捕获图像中的一个或多个像素(i,j)的强度Ii,j进行平均。
在另一个示例中，分析器240可通过向Ii,j施加无限脉冲响应来平滑时间域的强度Ii,j以产生如下面公式(7)中表示的平滑强度
Figure BDA0003142070470000161
公式(7)：
Figure BDA0003142070470000162
其中α是小因数，例如0.05。
像素(i,j)中的一个或多个像素的强度Ii,j可通过将该强度除以在多个连续捕获的图像中随时间推移测量的平均强度来归一化以产生如以下等式(8)中表示的归一化强度
Figure BDA0003142070470000163
公式(8)：
Figure BDA0003142070470000164
用归一化强度
Figure BDA0003142070470000165
代替公式(6)中的强度
Figure BDA0003142070470000166
的表示，角速度可以由下面的公式(9)表示。
公式(9)：
Figure BDA0003142070470000167
在一些情况下，为了进一步提高所测量的强度对噪声效应的鲁棒性，处理器可进一步在所捕获图像中的多个相邻反射漫射光元件(例如，光点、光斑等)上对强度进行空间平均。处理器还可对空间平均的强度值应用时间滤波以改进所得强度信号。
关于用于检测微振动的散斑图案分析的另外细节可见于2015年12月27日提交的名称为“System and Method for Detecting Surface Vibrations”的国际申请号IL2015/051255(公布WO2016/103271)中，该申请的内容全文以引用方式并入本文。
图3A示出用于检测场景中的一个或多个感兴趣对象并进一步识别场景中所识别的一个或多个对象的振动(例如，微振动)的方法的一个实施方案的流程图300。例如，该方法可包括识别场景中婴儿和/或婴儿座椅(例如，感兴趣对象)的存在，并且可进一步识别婴儿是醒着的和/或婴儿安全带被松开或未松开。在其他实施方案中，该方法包括与结合图3A描述的步骤不同或附加的步骤。另外，在各种实施方案中，该方法的步骤可以以与结合图3A描述的次序不同的次序来执行。
在步骤315处，调制光例如通过ToF成像装置120的照明源132(例如，第二照明源)投射到场景中，如上文进一步所述。
在步骤320处，例如通过照明源165(例如，外部照明源)将结构化光图案投射到场景105。在各种实施方案中，投射光图案可以是例如均匀覆盖场景或场景的选择性部分的光斑图案。当光投射到场景中时，来自光图案的光斑落到一个或多个感兴趣对象上。在一些情况下，光由照明源165使用衍射光学元件(DOE)投射以将单个激光光斑分割成多个光斑，如图1A中所述。诸如线之类的其他图案也是可能的。诸如光点、线、形状和/或它们的组合之类的其他图案可被投射在场景上。在一些情况下，照明单元不包括DOE。
在步骤330处，例如在处理器处接收由ToF传感器126捕获的场景的一个或多个图像。所捕获图像包括由一个或多个感兴趣对象反射(以及由其他对象反射)的光图案(即，“反射光图案”或光斑)。另外，所接收图像包括每个反射光图案(例如，光斑)的所得散斑图案，该散斑图源自照亮的一个或多个对象的微结构的干扰和/或源自对象的移动。
任选地，在步骤340处，例如通过视觉分析所接收图像中的至少一个所接收图像和/或通过分析例如在接下来的步骤(步骤350)中获得的深度数据来对一个或多个对象进行分类和/或识别。例如，由处理器152分析图像以检测和分类场景105中存在的一个或多个对象，例如人、物品等。该分析可应用一个或多个机器学习模型和/或算法，例如神经网络、支持向量机(SVM)、决策树学习算法、k最近邻算法和/或如本领域中已知的被训练以检测和/或分类场景中的对象的任何其他机器学习算法。可以进一步训练机器学习模型和/或算法以识别所检测对象的一个或多个属性，例如运动、姿势、面部表情、身体定位、肢体定位、尺寸、形状等。
在步骤350处，由处理器152分析所接收图像以产生深度数据，所接收图像包括由一个或多个感兴趣对象反射(以及由其他对象反射)的光图案(即，“反射光图案”)。另外，分析所接收图像以提取包括场景的测量环境光(例如，背景)和/或一个或多个感兴趣对象的一个或多个图像。
在步骤360处，所测量的包括由ToF传感器获得的反射光图案的系数环境光B图像用于分析在每个光斑处形成的一个或多个散斑图案结构随时间推移的变化以识别一个或多个对象的振动(例如，一个或多个微振动)。例如，在多个图像中的至少一些连续图像中分析结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化，以基于所述散斑图案分析和所述深度数据来识别至少一个对象的振动。
根据一些实施方案，所识别的微振动可用于各种应用程序和系统。例如，在步骤370处，所识别的微振动和深度数据允许快速和直接发现在场景中检测到的对象的一个或多个对象分类(类别)和/或属性(例如，运动、姿势、面部表情、身体定位、肢体定位、尺寸、形状等)，以及/或者对象的运动。
在一些情况下，基于对反射光图案的分析，将一个或多个感兴趣对象从场景分割，从而允许快速和直接发现场景的对象并且快速识别场景中的感兴趣对象(例如，头部、腿)。例如，扫描由场景反射的光的图像，并且将图像中的每个像素识别为“背景”或识别为“对象”(例如，头部)。
例如在步骤370处，处理器可输出在场景中检测到的对象的分类(类别)、属性(例如，运动、姿势、面部表情、身体定位、肢体定位、尺寸、形状等)、如从深度数据分析得出的对象的运动、以及针对对象检测到的微振动，分类可包括一个或多个类别标签，每个类别标签与指示所检测对象具有相应类别(例如，向量、列表、表格等)的概率的概率分数相关联。
根据一些实施方案，分类可例如由处理器152使用经训练的神经网络分类器来执行。其他选项可包括模板匹配、边缘检测等。
例如，一个或多个处理器，诸如处理器152可应用一个或多个机器学习模型和/或算法，例如神经网络、支持向量机(SVM)、决策树学习算法、k最近邻算法和/或如本领域中已知的被训练以检测和/或分类场景中的对象的任何其他机器学习算法。可以进一步训练机器学习模型和/或算法以识别所检测对象的一个或多个属性，例如运动、姿势、面部表情、身体定位、肢体定位、尺寸、形状等。
机器学习模型和/或算法可被构建和训练以根据图像中描绘的视觉数据来检测和分类对象，其中视觉数据与对象本身相关并且不包括从对象反射的反射结构化光图案。
在一些情况下，为了防止由反射结构化光图案引起的伪影和/或视觉效果，处理器152可操作光源以周期性地投射结构化光图案。例如，由于照明源(例如，132和/或165)和传感器(例如，ToF传感器126)可以是时间同步的，因此处理器152可操作光源以每隔一帧、每3帧、每5帧等发射由成像传感器捕获的结构化光图案。
任选地，为了提高场景105中存在的对象的检测和分类的准确度，机器学习模型和/或算法可被构建和训练以根据包括从对象反射的结构化光图案的图像中所描绘的视觉数据来检测和分类对象。因此，机器学习模型和/或算法可被训练以根据对象的视觉特性以及根据从对象反射并因此在图像中描绘的光元件所表示的深度数据来对对象和/或其属性进行分类。
现在参考图3B，其为根据一些实施方案的用于视觉分析由设备或系统(诸如包括ToF相机120的系统100)捕获的图像以检测和分类场景中的对象的示例性神经网络的示意图。示例性神经网络301，例如卷积神经网络(CNN)等可以由分析器或处理器诸如处理器152应用以检测和分类场景诸如场景105中的一个或多个对象以及任选对象的属性中的一个或多个属性。
处理器152可应用神经网络301来视觉分析所捕获图像中的一个或多个所捕获图像，其可包括描绘反射结构化光图案和/或反射调制光的图像以及/或者不描绘反射结构化光图案的图像。基于该实施方案，机器学习模型和/或算法可被训练以根据对象的视觉信息并且任选地根据表示对象的深度特性的反射结构化光图案和反射调制光来检测和分类对象。
神经网络301可包括接收所捕获图像的输入层、第一卷积层302、第一池化(下采样)层304、第二卷积层306、第二池化层308、第三卷积层310、第一完全连接层312、第二完全连接层314、SOFTMAX损失层316以及输出估计分类的输出层。该分类通常可包括一个或多个类别标签，每个类别标签与指示检测对象具有相应类别的概率的概率分数相关联。
神经网络301可用包括多个训练图像的多个训练数据集来训练，该多个训练图像描绘场景诸如场景105，例如其中存在一个或多个对象的车辆舱室等，该一个或多个对象例如为车辆乘员(例如，驾驶员、乘客、宠物等)、舱室的对象、与车辆乘员中的一者或多者相关联的物品等。任选地，神经网络301用包括多个训练图像的多个训练数据集来训练，其中除了场景的视觉数据之外，图像还描绘从场景中的对象反射的结构化光图案。
根据一些实施方案，所有模态，即视觉数据、深度数据和散斑图案全部从相同图像中提取，并且有利地，分类、运动和微振动可以在相同坐标系中固有地配准(对准)。因此，分类、运动和微振动可以根据模态中的每个模态的数据的空间参数(坐标)容易地与对象相关，这些模态全部参考相同坐标系。因此，将属性、运动和微振动与在场景105中检测到的对应对象相关联的准确度可显著提高。
当部署在车辆舱室中时，处理器可向一个或多个车辆相关应用程序提供对象类别、属性、运动和/或微振动，该一个或多个车辆相关应用程序可利用所提供的数据。例如，驾驶员监控安全系统和/或应用程序可分析所提供的数据，以验证驾驶员是清醒的并集中精力于驾驶车辆。在另一个示例中，乘客安全系统和/或应用程序可分析所提供的数据，以验证在车辆舱室中检测到的每个车辆乘员(例如，驾驶员、乘客)正确地佩戴他的安全带。在另一个示例中，乘客安全系统和/或应用程序可分析所提供的数据，以验证在其他乘客已离开场景之后，没有婴儿和/或宠物被遗忘在舱室中。在另一个示例中，乘客舒适度系统和/或应用程序可根据在舱室中检测到的车辆乘员的计数(数量)来调节空调系统。
根据另一实施方案，信息娱乐系统和/或应用程序可根据在舱室内检测到的车辆乘员的计数，特别是根据乘员在舱室内的位置，例如前座椅、后座椅、右座椅、左座椅等来调节一个或多个多媒体系统。在另一个示例中，车辆安全系统和/或应用程序可检测进入和/或尝试进入舱室的闯入者。
根据另一个实施方案，所有模态，例如视觉数据、深度数据和散斑图案可以使用包括ToF传感器和单个照明源的单个ToF成像装置来提取，并且有利地，与现有技术成像系统相比，系统的尺寸甚至更紧凑而且扩展更小。这样的装置的示例在图4中示出，该图为根据实施方案的包括ToF成像装置420的系统400的示意图，该系统被配置为并且能够捕获一个或多个对象，诸如场景405中的对象406和407的感测数据，并且分析所捕获的感测数据以提取场景405中的对象的视觉数据、深度数据和微振动数据。系统400可包括与ToF成像装置420通信的控制板450，并且可包括处理器452、存储器454和通信电路456中的一者或多者。控制板450的部件可被配置为传输、存储和/或分析所捕获的感测数据，如本文进一步详细描述的。
照明单元430被配置为例如以一个或多个光谱在场景405上投射结构化光图案。结构化光图案可由多个漫射光元件构成，例如光点、光和/或它们的组合。根据一些实施方案，照明单元430可包括光源432，诸如相干光源，例如激光器等，其被配置为发射相干光以使得结构化光图案是相干结构化光图案。
根据一些实施方案，光源432可以是被配置为以特定光图案将光投射到场景中的单模激光源。例如，光可被成形为一个或多个光斑。因此，将在反射光斑图像以及反射散斑中获得深度数据，诸如距离，如下文将详细解释的。
在一些情况下，照明源432可包括一个或多个光学元件，用于生成诸如光斑图案之类的图案。例如，这可通过使用一个或多个光学元件来实现，诸如被配置为将单个激光光斑分割成多个光斑的衍射光学元件(DOE)。诸如光点、线、形状和/或它们的组合之类的其他图案可被投射在场景上。在一些情况下，照明单元不包括DOE。
特别地，照明源432可被控制以便以多个空间或二维图案产生或发射光。照明可采取电磁能的各种各样的波长或波长范围中的任一者的形式。例如，照明可包括在电磁波谱的光学范围或部分中的波长的电磁能，该波长包括人类可见范围或部分(例如，约390nm-750nm)中的波长以及/或者电磁波谱的近红外(NIR)(例如，约750nm-1400nm)或红外(例如，约750nm-1mm)部分和/或近紫外(NUV)(例如，约400nm-300nm)或紫外(例如，约400nm-122nm)部分中的波长。特定波长是示例性的，而不意在限制。可以采用电磁能的其他波长。在一些情况下，照明源432波长可以是830nm或840nm或850nm或940nm中的任一者。
根据一个实施方案，ToF成像装置420可以是连续波调制(CWM)ToF成像装置。ToF成像装置420可包括换能器或传感器426，诸如CMOS或CCD传感器。例如，传感器可包括光敏或光响应元件的二维阵列，例如光电二极管的二维阵列或电荷耦合装置的二维阵列(其中传感器426的每个像素测量光从照明单元430行进(到对象且返回到焦平面阵列)所花费的时间)。根据一个实施方案，ToF传感器426可以是与照明源一起使用的VGA 640×480像素传感器，该照明源产生以75MHz调制的波长为950nm的光束(产生2m范围)，然而可以使用不同范围中的其他类型的照明源和传感器。根据实施方案的调制可涉及正弦波振荡，以便提取调制的相位，并因此提取深度数据。
ToF成像装置420包括光学单元422，该光学单元包括用于将来自场景的反射光和图像收集到传感器426上的一个或多个透镜。在一些情况下，光学单元422还可包括一个或多个光学带通滤波器，例如，用于仅使与照明源具有相同波长的光通过。
ToF成像装置420可任选地包括缓冲器，该缓冲器通信地耦合到传感器126以接收由传感器126测量、捕获或以其他方式感测或获取的图像数据。缓冲器可以暂时存储图像数据，直到图像数据被处理。
根据实施方案，传感器426的每个像素被配置为在每个帧处以不同的时间间隔执行多于一个测量，通常是四个不同的测量，用于例如根据如上所示的4-Bucket方法来估计互相关信号的四个值。
图5示出了用于使用单个ToF成像装置检测场景中的一个或多个对象的微振动的方法的一个实施方案的流程图500。在其他实施方案中，该方法包括与结合图5描述的步骤不同或附加的步骤。另外，在各种实施方案中，该方法的步骤可以以与结合图5描述的次序不同的次序来执行。
在步骤510处，例如通过ToF成像装置420的照明源432将包括光图案(诸如特定光图案)的调制和结构化光投射到场景中。
在各种实施方案中，投射光图案可以是例如均匀覆盖场景或场景的选择性部分的光斑图案。诸如线之类的其他图案也是可能的。诸如光点、线、形状和/或它们的组合之类的其他图案可被投射在场景上。
在一些情况下，每个反射光图案(例如，光斑)被ToF传感器像素中的一者或多者覆盖。例如，每个光斑可由多于或少于5×5、4×4、3×3像素覆盖。
在步骤520处，例如在处理器452处接收由ToF传感器426捕获的场景的一个或多个图像。所捕获图像包括由一个或多个感兴趣对象反射(以及由其他对象反射)的调制和结构化光图案(例如，“反射光图案”，诸如光斑)。另外，所接收图像包括每个反射光图案(例如，光斑)的所得散斑图案，该散斑图源自照亮的一个或多个对象的微结构的干扰和/或源自对象的移动。
要强调的是，虽然投射光的调制可在一定程度上减小散斑对比度，但是由于引起一些波长偏移，存在足够的反射散斑对比度以允许微振动分析，如下面将说明的。
在步骤530处，由一个或多个感兴趣对象反射(以及由其他对象反射)的光图案(即，“反射光图案”)由处理器分析以产生深度数据，并且更具体地提取用于测量接收信号的距离和反射系数A(即，振幅)的相位(其取决于对象的反射率和传感器的灵敏度)以获得反射散斑图案的强度。具体地讲，根据相移与距离x之间的关系来测量相位：
Figure BDA0003142070470000231
其中f是调制频率
在步骤540处，所测量的包括由ToF传感器获得的反射光图案的反射系数图像用于分析在每个光斑处形成的一个或多个散斑图案结构随时间推移的变化以识别一个或多个对象的一个或多个微振动。
例如，在多个图像中的至少一些连续图像中分析结构化光图案的反射中的至少一个反射的一个或多个散斑图案的一个或多个变化，以基于所述散斑图案分析和所述深度数据来识别至少一个对象的振动。
根据一些实施方案，所识别的微振动可用于各种应用程序和系统。
例如，在步骤550处，所识别的微振动和深度数据允许快速和直接发现在场景中检测到的对象的一个或多个对象分类(类别)和/或属性(例如，运动、姿势、面部表情、身体定位、肢体定位、尺寸、形状等)，以及/或者对象的运动。
要强调的是，上文所示的细节仅作为示例，并且仅用于本发明的优选实施方案的示例性讨论的目的，并且是为了提供被认为是本发明的原理和概念方面的最有用和容易理解的描述而呈现的。
根据一些实施方案，步骤550的一个或多个微振动的识别可包括例如呼吸、眼球运动、眼睑运动、细微的肢体(例如，手、腿)运动、细微的头部运动等，这是通过分析包括所测量的环境光(B)和结构化光(例如，光斑)的所捕获图像中的至少一些所捕获图像以检测从场景405中存在的对象反射回的结构化光图案的漫射光元件中的一个或多个漫射光元件的散斑图案的变化来进行的。散斑图案的变化可以指示微振动，即非常小且细微的移动，其可能太小而不能通过分析从所捕获图像中提取的深度数据的变化来检测。
在另外的实施方案中，处理单元可以是数字处理装置，其包括执行装置的功能的一个或多个硬件中央处理单元(CPU)。在其他另外的实施方案中，数字处理装置还包括被配置为执行可执行指令的操作系统。在一些实施方案中，数字处理装置任选连接到计算机网络。在另外的实施方案中，数字处理装置任选地连接到互联网，使得其访问万维网。在其他另外的实施方案中，数字处理装置任选连接到云计算基础设施。在其他实施方案中，数字处理装置任选地连接到内联网。在其他实施方案中，数字处理装置任选连接到数据存储装置。
根据本文的描述，作为非限制性示例，合适的数字处理装置包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、小型笔记本计算机、上网本计算机、上网平板计算机、机顶盒计算机、手持式计算机、互联网器具、移动智能手机、平板计算机、个人数字助理、视频游戏控制台和车辆。本领域技术人员将认识到，许多智能手机适用于本文所述的系统中。本领域技术人员还将认识到，具有任选计算机网络连通性的选择电视适用于本文所述的系统中。合适的平板计算机包括具有本领域技术人员已知的小册子，平板和可转换配置的那些平板计算机。
在一些实施方案中，数字处理装置还包括被配置为执行可执行指令的操作系统。操作系统为例如软件，包括程序和数据，其管理装置的硬件，并为应用程序的执行提供服务。本领域技术人员将认识到，作为非限制性示例，合适的服务器操作系统包括FreeBSD、OpenBSD、
Figure BDA0003142070470000241
Linux、
Figure BDA0003142070470000242
Mac OS X
Figure BDA0003142070470000243
Windows
Figure BDA0003142070470000244
和
Figure BDA0003142070470000245
Figure BDA0003142070470000246
本领域技术人员将认识到，作为非限制性示例，合适的个人计算机操作系统包括
Figure BDA0003142070470000247
Mac OS
Figure BDA0003142070470000248
和UNIX类操作系统诸如
Figure BDA0003142070470000249
在一些实施方案中，操作系统由云计算提供。本领域技术人员还将认识到，作为非限制性示例，合适的移动智能手机操作系统包括
Figure BDA00031420704700002410
OS、
Figure BDA00031420704700002411
Research In
Figure BDA00031420704700002412
BlackBerry
Figure BDA00031420704700002413
Windows
Figure BDA00031420704700002414
OS、
Figure BDA00031420704700002415
Windows
Figure BDA00031420704700002416
OS、
Figure BDA00031420704700002417
和
Figure BDA00031420704700002418
在一些实施方案中，装置包括存储装置和/或存储器装置。存储装置和/或存储器装置是一个或多个物理设备，其用于暂时或永久地存储数据或程序。在一些实施方案中，所述装置是易失性存储器，并且需要电力来维持存储的信息。在一些实施方案中，装置是非易失性存储器，并且当数字处理装置未被供电时保留存储的信息。在另外的实施方案中，非易失性存储器包括闪存存储器。在一些实施方案中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施方案中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施方案中，非易失性存储器包括相变随机存取存储器(PRAM)。在其他实施方案中，装置是存储装置，作为非限制性示例，包括CD-ROM、DVD、闪存存储器装置、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储装置。在另外的实施方案中，存储装置和/或存储器装置是诸如本文中所公开的那些的装置的组合。
在一些实施方案中，数字处理装置包括将视觉信息发送给用户的显示器。在一些实施方案中，显示器是阴极射线管(CRT)。在一些实施方案中，显示器是液晶显示器(LCD)。在另外的实施方案中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施方案中，显示器是有机发光二极管(OLED)显示器。在各种另外的实施方案中，OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施方案中，显示器是等离子体显示器。在其他实施方案中，显示器是视频投影机。在其他另外的实施方案中，显示器是诸如本文中所公开的那些的装置的组合。
在一些实施方案中，数字处理装置包括用以从用户接收信息的输入装置。在一些实施方案中，输入装置是键盘。在一些实施方案中，输入装置是指向装置，作为非限制性示例，包括鼠标、跟踪球、跟踪板、操纵杆、游戏控制器或触笔。在一些实施方案中，输入装置是触摸屏或多触摸屏。在其他实施方案中，输入装置是用以捕获语音或其他声音输入的麦克风。在其他实施方案中，输入装置是用以捕获运动或视觉输入的摄像机。在其他另外的实施方案中，输入装置是诸如本文中所公开的那些的装置的组合。
在一些实施方案中，本文公开的系统包括用程序编码的一个或多个非暂态计算机可读存储介质，该程序包括能够由任选联网的数字处理装置的操作系统执行的指令。在另外的实施方案中，计算机可读存储介质是数字处理装置的有形部件。在其他另外的实施方案中，计算机可读存储介质能够任选地从数字处理装置移除。
在一些实施方案中，作为非限制性示例，计算机可读存储介质包括CD-ROM、DVD、闪存存储器装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令被永久地、基本上永久地、半永久地或非暂态地编码在介质上。在一些实施方案中，本文公开的系统包括至少一个计算机程序，或其用途。计算机程序包括为执行指定任务而写入的、能够在数字处理装置的CPU中执行的指令序列。计算机可读指令可被实现为执行特定任务或实现特定抽象数据类型的程序模块，诸如函数、对象、应用程序编程接口(API)、数据结构等。根据本文提供的公开内容，本领域的技术人员将认识到，计算机程序可以以各种语言的各种版本来编写。
计算机可读指令的功能可以根据需要在各种环境中组合或分布。在一些实施方案中，计算机程序包括一个指令序列。在一些实施方案中，计算机程序包括多个指令序列。在一些实施方案中，计算机程序从一个位置提供。在其他实施方案中，计算机程序从多个位置提供。在各种实施方案中，计算机程序包括一个或多个软件模块。在各种实施方案中，计算机程序部分或整体包括一个或多个web应用程序、一个或多个移动应用程序、一个或多个独立应用程序、一个或多个web浏览器插件、扩展名、加载项或附件或它们的组合。在一些实施方案中，计算机程序包括提供给移动数字处理装置的移动应用程序。在一些实施方案中，移动应用程序在制造时被提供给移动数字处理装置。在其他实施方案中，移动应用程序经由本文所述的计算机网络提供给移动数字处理装置。
鉴于本文提供的公开内容，通过本领域技术人员已知的技术使用本领域已知的硬件、语言和开发环境来创建移动应用程序。本领域的技术人员将认识到，移动应用程序以若干种语言编写。作为非限制性示例，合适的编程语言包括C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML和具有或不具有CSS的XHTML/HTML，或它们的组合。
合适的移动应用程序开发环境可从若干来源获得。作为非限制性示例，商业上可用的开发环境包括AirplaySDK、alcheMo、
Figure BDA0003142070470000261
Celsius、Bedrock、FlashLite、.NET Compact Framework、Rhomobile和WorkLight移动平台。其他开发环境是免费可用的，作为非限制性示例，包括Lazarus、MobiFlex、MoSync和Phonegap。此外，移动装置制造商分发软件开发工具包，作为非限制性示例，包括iPhone和iPad(iOS)SDK、AndroidTM SDK、
Figure BDA0003142070470000271
SDK、BREW SDK、
Figure BDA0003142070470000272
OS SDK、Symbian SDK、webOS SDK和
Figure BDA0003142070470000273
Mobile SDK。
本领域技术人员将认识到，若干商业论坛可用于分发移动应用程序，作为非限制性示例，包括
Figure BDA0003142070470000274
App Store、AndroidTM Market、
Figure BDA0003142070470000275
App World、用于Palm装置的App Store、用于webOS的App Catalog、用于Mobile的
Figure BDA0003142070470000276
Marketplace、用于
Figure BDA0003142070470000277
装置的Ovi Store、
Figure BDA0003142070470000278
Apps和
Figure BDA0003142070470000279
DSi Shop。
在一些实施方案中，本文公开的系统包括软件、服务器和/或数据库模块，或它们的用途。鉴于本文提供的公开内容，通过本领域技术人员已知的技术使用本领域已知的机器、软件和语言来创建软件模块。本文公开的软件模块以多种方式实现。在各种实施方案中，软件模块包括文件、代码区段、编程对象、编程结构或它们的组合。在另外的各种实施方案中，软件模块包括多个文件、多个代码区段、多个编程对象、多个编程结构或它们的组合。在各种实施方案中，作为非限制性示例，一个或多个软件模块包括web应用程序、移动应用程序和独立应用程序。在一些实施方案中，软件模块在一个计算机程序或应用程序中。在其他实施方案中，软件模块在不止一个计算机程序或应用程序中。在一些实施方案中，软件模块被托管在一台机器上。在其他实施方案中，软件模块被托管在不止一台机器上。在另外的实施方案中，软件模块被托管在云计算平台上。在一些实施方案中，软件模块被托管在一台或多台机器上的一个位置中。在其他实施方案中，软件模块被托管在一台或多台机器上的不止一个位置中。
在一些实施方案中，本文公开的系统包括一个或多个数据库，或其用途。鉴于本文提供的公开内容，本领域的技术人员将认识到，许多数据库适用于如本文所述存储和检索信息。在各种实施方案中，作为非限制性示例，合适的数据库包括关系数据库、非关系数据库、面向对象的数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。在一些实施方案中，数据库是基于互联网的。在另外的实施方案中，数据库是基于web的。在其他另外的实施方案中，数据库是基于云计算的。在其他实施方案中，数据库基于一个或多个本地计算机存储装置。
在以上描述中，实施方案是本发明的示例或实施方式。“一个实施方案”、“实施方案”或“一些实施方案”的各种出现不一定都指相同的实施方案。
尽管可以在单个实施方案的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合来提供这些特征。相反，尽管为了清楚起见，在本文中可以在单独的实施方案的上下文中描述本发明，但是本发明也可在单个实施方案中实现。
说明书中提及“一些实施方案”、“实施方案”、“一个实施方案”或“其他实施方案”意指结合实施方案描述的特定特征、结构或特性包括在本发明的至少一些实施方案，但不一定是所有实施方案中。
应当理解，本文所采用的措辞和术语不应解释为限制性的，而仅用于描述性目的。
可以参考随附的描述、图和示例更好地理解本发明的教导内容的原理和用途。
应当理解，本文阐述的细节不解释对本发明的应用的限制。
此外，应当理解，本发明可以以各种方式实施或实践，并且本发明可在除以上描述中概述的实施方案之外的实施方案中实现。
应当理解，术语“包括”、“包含”、“组成”和它们的语法变型形式不排除添加一个或多个部件、特征、步骤或整数或它们的组，并且这些术语应被解释为指定部件、特征、步骤或整数。
如果说明书或权利要求书提到“附加”元件，则不排除存在不止一个的附加元件。
应当理解，在权利要求书或说明书提到“一种”或“一个”元件的情况下，这样的提及不应被解释为仅存在一个该元件。应当理解，在说明书陈述“可以”、“可能”或“能够”包括部件、特征、结构或特性的情况下，不要求包括特定部件、特征、结构或特性。在适用的情况下，尽管状态图、流程图或两者均可用于描述实施方案，但本发明不限于那些图或对应描述。例如，流程不需要移动通过每个图示的框或状态，或者以与所示出和描述的完全相同的次序移动。本发明的方法可通过手动、自动或以它们的组合执行或完成选定步骤或任务来实现。
权利要求书和说明书中呈现的描述、示例、方法和材料不应解释为限制性的，而应解释为仅仅示例性的。除非另外定义，否则本文所用的技术和科学术语的含义通常被本发明所属领域的普通技术人员理解。本发明可以用与本文所述的那些方法和材料等同或类似的方法和材料在测试或实践中实现。
虽然本发明已相对于有限数量的实施方案进行描述，但这些实施方案不应被解释为对本发明的范围的限制，而应被解释为一些优选实施方案的例示。其他可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围不应受迄今为止描述的内容限制，而应受所附权利要求书及其法律等同物限制。
本说明书中提到的所有出版物、专利和专利申请全文以引用方式并入本文的说明书中，其程度如同每个单独的出版物、专利或专利申请被具体地和单独地指明以引用方式并入本文。另外，本申请中对任何参考文献的引用或标识不应解释为承认此类参考文献是本发明现有技术可用的。就使用章节标题而言，不应将其解释为必要的限制。

Claims (22)

1.一种用于检测场景中的一个或多个对象的振动的系统，所述系统包括：
至少一个照明源，所述至少一个照明源被配置为在所述场景上以结构化光图案投射光；
飞行时间(ToF)成像装置，所述ToF成像装置包括：
照明源，所述照明源被配置为将调制光投射到所述场景中；
ToF传感器，所述ToF传感器被配置为：
捕获多个图像，所述多个图像包括所述调制光和所述结构化光图案从所述场景中的所述一个或多个对象的反射，以及所述场景中的一个或多个对象的环境光图像；以及
至少一个处理器，所述至少一个处理器被配置为：
通过分析所述多个图像来提取所述一个或多个对象的深度数据；
分析所述多个图像中的至少一些连续图像中的所述结构化光图案的所述反射中的至少一个反射的一个或多个散斑图案的一个或多个变化；以及
基于所述散斑图案分析和所述深度数据来识别所述一个或多个对象的所述振动。
2.如权利要求1所述的系统，其中通过以下方式来提取所述深度数据：测量所投射调制光和所反射调制光之间的相位差，并且进一步分析所述多个图像以提取所述场景的所述环境照明图像，并且其中所述环境照明图像用于分析所述多个图像中的至少一些连续图像中的多个反射漫射光元件中的至少一个反射漫射光元件的所述散斑图案的一个或多个变化。
3.如权利要求2所述的系统，其中同时获得并检测所述深度数据、所述环境光图像和所述检测到的振动。
4.如权利要求1所述的系统，其中所述照明源是激光器或LED(发光二极管)。
5.如权利要求1所述的系统，其中所述至少一个照明源是单模激光源，其包括用于将多光束图案投射到所述场景上的分束器。
6.如权利要求5所述的系统，其中所述分束器包括用于分割所述光束的光学元件中的一个或多个光学元件，所述光学元件选自包括以下各项的组：
DOE、分割镜、漫射器。
7.如权利要求1所述的系统，包括单个照明源，所述单个照明源被配置为以所述结构化光图案投射所述调制光。
8.如权利要求7所述的系统，其中所述至少一个处理器被配置为：
测量反射调制结构化光图案的相位和振幅以产生所述一个或多个散斑图案的照明强度；分析所述相位以提取所述场景的深度数据；并且
在所述测量的照明强度上分析所述多个图像中的至少一些连续图像中的所述多个反射漫射光元件中的至少一个反射漫射光元件的所述散斑图案的所述一个或多个变化；
基于所述散斑图案分析和所述测量的照明强度识别所述一个或多个对象的至少一个微振动。
9.如权利要求1所述的系统，其中所述处理器进一步被配置为：
基于所述识别的至少一个微振动来分类或识别所述一个或多个对象的属性。
10.如权利要求1所述的系统，其中所述处理器进一步被配置为：
通过视觉分析所述多个图像中的至少一个图像来对所述场景中存在的所述至少一个或多个对象进行分类。
11.根据权利要求10所述的系统，其中视觉分析包括使用至少一个经训练的机器学习模型来对所述一个或多个对象进行分类。
12.如权利要求1所述的系统，其中所述处理器能够基于所述振动识别人。
13.如权利要求1所述的系统，其中预定义光图案选自包括以下各项的组：光点、线和它们的组合。
14.如权利要求1所述的系统，其中所述ToF传感器包括光电二极管或光电二极管阵列，并且每个散斑场被映射到所述ToF传感器的1-100个像素。
15.如权利要求1所述的系统，其被配置用于安装在车辆内部。
16.一种用于检测场景中的一个或多个对象的振动的系统，所述系统包括：
单个照明源，所述单个照明源被配置为在所述场景上投射调制和结构化光图案；
飞行时间(ToF)成像装置，所述ToF成像装置包括：
ToF传感器，所述ToF传感器被配置为：
捕获多个图像，所述多个图像包括所述调制和结构化光图案从所述场景中的一个或多个对象的反射；以及
至少一个处理器，所述至少一个处理器被配置为：
通过分析所述多个图像来提取所述一个或多个对象的深度数据；
分析所述多个图像中的至少一些连续图像中的所述结构化光图案的所述反射中的至少一个反射的一个或多个散斑图案的一个或多个变化；以及
基于所述散斑图案分析和所述深度数据来识别至少一个对象的所述振动。
17.如权利要求16所述的系统，其中通过以下方式来提取所述深度数据：通过测量投射之间的所述相位差，并且进一步分析所述多个图像以提取所述场景的环境照明图像，并且其中所述环境照明图像用于分析所述多个图像中的至少一些连续图像中的所述多个反射漫射光元件中的至少一个反射漫射光元件的所述散斑图案的一个或多个变化。
18.如权利要求17所述的系统，其中所述至少一个处理器被配置为：
测量所述反射调制结构化光图案的所述相位和所述振幅以产生所述一个或多个散斑图案的照明强度；
分析所述相位以提取所述场景的深度信息数据；并且
在所述测量的照明强度上分析所述多个图像中的至少一些连续图像中的所述多个反射漫射光元件中的至少一个反射漫射光元件的所述散斑图案的所述一个或多个变化；
基于所述散斑图案分析和所述测量的照明强度识别所述一个或多个对象的至少一个微振动。
19.如权利要求18所述的系统，其中所述处理器进一步被配置为：
基于所述识别的至少一个微振动来分类或识别所述一个或多个对象的属性。
20.如权利要求18所述的系统，其中所述处理器进一步被配置为：
通过视觉分析所述多个图像中的至少一个图像来对所述场景中存在的所述至少一个或多个对象进行分类。
21.如权利要求20所述的系统，其中所述视觉分析包括使用至少一个经训练的机器学习模型来对一个或多个至少一个对象进行分类。
22.一种其上存储有指令的非暂态计算机可读存储介质，所述指令在由计算系统执行时，致使所述计算系统执行用于检测场景中的一个或多个对象的振动的方法，所述方法包括：
接收由ToF成像装置捕获的所述场景的一个或多个图像，其中所述一个或多个图像中的每个图像包括由所述ToF成像装置的照明源以及由结构化光照明源投射并且从所述场景中的一个或多个对象反射的调制和结构化光的反射；
分析所述图像以产生所述场景的深度和照明数据；
分析所述多个图像中的至少一些连续图像中的所述结构化光图案的所述反射中的至少一个反射的一个或多个散斑图案的一个或多个变化或动态；以及
基于所述散斑图案分析和所述深度数据来识别所述至少一个对象的所述振动。
CN201980087562.5A 2018-12-02 2019-12-01 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法 Active CN113286979B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862774255P 2018-12-02 2018-12-02
US62/774,255 2018-12-02
PCT/IL2019/051317 WO2020115737A1 (en) 2018-12-02 2019-12-01 SYSTEMS, DEVICES AND METHODS FOR MICRO-VIBRATION DATA EXTRACTION USING A TIME OF FLIGHT (ToF) IMAGING DEVICE

Publications (2)

Publication Number Publication Date
CN113286979A true CN113286979A (zh) 2021-08-20
CN113286979B CN113286979B (zh) 2023-06-20

Family

ID=70973501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087562.5A Active CN113286979B (zh) 2018-12-02 2019-12-01 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法

Country Status (4)

Country Link
US (1) US20210341620A1 (zh)
EP (1) EP3887756A4 (zh)
CN (1) CN113286979B (zh)
WO (1) WO2020115737A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190310374A1 (en) * 2018-04-05 2019-10-10 Wavefront Analysis, Inc. Machine vision method and system
CN113280906B (zh) * 2021-06-18 2022-05-10 太原理工大学 基于计算机视觉的泡生法籽晶最佳接种时机振动感知方法
CN118786059A (zh) 2022-03-09 2024-10-15 金泰克斯公司 驾驶员醉酒测试系统和方法
CN115375827B (zh) * 2022-07-21 2023-09-15 荣耀终端有限公司 光照估计方法及电子设备
CN116772742B (zh) * 2023-08-23 2023-10-27 江苏永钢集团有限公司 一种连铸方坯振痕深度测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268372A1 (en) * 2011-04-19 2012-10-25 Jong Soon Park Method and electronic device for gesture recognition
US20130144137A1 (en) * 2011-01-28 2013-06-06 Universitat De Valencia Method and system for non-invasively monitoring biological or biochemical parameters of individual
US20130201324A1 (en) * 2012-02-02 2013-08-08 Xerox Corporation Automated running-engine detection in stationary motor vehicles
WO2014033157A1 (en) * 2012-08-30 2014-03-06 Softkinetic Sensors Nv Tof illumination system and tof camera and method for operating, with control means for driving electronic devices located in the scene
US20150176948A1 (en) * 2013-12-24 2015-06-25 Deepak Varshneya Electro-optic system for crosswind measurement
US20180266876A1 (en) * 2014-12-27 2018-09-20 National University Corporattion Gunma University System and method for detecting surface vibrations

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US9347742B2 (en) * 2013-12-24 2016-05-24 Deepak Varshneya Electro-optic system for crosswind measurement
US9760837B1 (en) * 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN107704808A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144137A1 (en) * 2011-01-28 2013-06-06 Universitat De Valencia Method and system for non-invasively monitoring biological or biochemical parameters of individual
US20120268372A1 (en) * 2011-04-19 2012-10-25 Jong Soon Park Method and electronic device for gesture recognition
US20130201324A1 (en) * 2012-02-02 2013-08-08 Xerox Corporation Automated running-engine detection in stationary motor vehicles
WO2014033157A1 (en) * 2012-08-30 2014-03-06 Softkinetic Sensors Nv Tof illumination system and tof camera and method for operating, with control means for driving electronic devices located in the scene
US20150176948A1 (en) * 2013-12-24 2015-06-25 Deepak Varshneya Electro-optic system for crosswind measurement
US20180266876A1 (en) * 2014-12-27 2018-09-20 National University Corporattion Gunma University System and method for detecting surface vibrations

Also Published As

Publication number Publication date
WO2020115737A1 (en) 2020-06-11
US20210341620A1 (en) 2021-11-04
CN113286979B (zh) 2023-06-20
EP3887756A4 (en) 2022-01-26
EP3887756A1 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
US11706377B2 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
CN113286979B (zh) 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法
US11935248B2 (en) System, device, and methods for detecting and obtaining information on objects in a vehicle
US11447085B2 (en) 3D time of flight active reflecting sensing systems and methods
US11861867B2 (en) Systems, devices and methods for measuring the mass of objects in a vehicle
EP3589978B1 (en) Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
JP6667596B2 (ja) 物体検出システム、それを用いた自律走行車、およびその物体検出方法
US10452947B1 (en) Object recognition using depth and multi-spectral camera
CN110998223B (zh) 用于确定至少一个对像的位置的检测器
CN113574406A (zh) 用于识别至少一种材料特性的检测器
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
KR20170097201A (ko) 표면 진동 감지 시스템 및 방법
CN114746905A (zh) 通过显示器的深度测量
JP2008518195A (ja) 乗員検出システム
JP2013205368A (ja) 被測定物情報取得装置
CN106803284B (zh) 构建脸部的三维图像的方法及装置
JP2021003929A (ja) 学習用データ生成装置及び物体検知装置
CN114627520A (zh) 活体检测模型训练方法、系统、设备及存储介质
KR102159996B1 (ko) 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
JP2011158447A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
CN116601689A (zh) 电子装置、方法和计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: Michigan, USA

Applicant after: GENTEX Corp.

Address before: Tel Aviv

Applicant before: GUARDIAN OPTICAL TECHNOLOGIES LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant