CN112519789A - 确定车辆乘员的活动的方法和系统 - Google Patents

确定车辆乘员的活动的方法和系统 Download PDF

Info

Publication number
CN112519789A
CN112519789A CN202010966496.3A CN202010966496A CN112519789A CN 112519789 A CN112519789 A CN 112519789A CN 202010966496 A CN202010966496 A CN 202010966496A CN 112519789 A CN112519789 A CN 112519789A
Authority
CN
China
Prior art keywords
computer
sensor data
occupant
sensor
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010966496.3A
Other languages
English (en)
Inventor
P·韦尔斯
A·巴尔特
D·席贝纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN112519789A publication Critical patent/CN112519789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

本公开涉及确定车辆乘员的活动的方法和系统，尤其涉及一种确定车辆乘员的活动的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：使用至少一5个传感器获取乘员的传感器数据；基于传感器数据针对乘员的身体的多个预定部位确定相应的二维坐标或三维坐标；基于传感器数据和二维坐标或三维坐标确定传感器数据的示出乘员的预定身体部位的至少一部分；以及基于二维坐标或三维坐标以及传感器数据的至少一部分确定乘员的活动。

Description

确定车辆乘员的活动的方法和系统
技术领域
本公开涉及用于确定车辆乘员的活动的方法和系统，尤其涉及车辆中的内部感测。
背景技术
近来的驾驶员辅助系统的技术进步正在增加批量生产车辆的自动化程度。在某些情况和场景下，人类驾驶员可以将车辆的控制移交给汽车。例如，3级驾驶员辅助功能减轻了驾驶员的多项驾驶任务，让他专注于驾驶以外的其它活动。
然而，现今，驾驶员仍然负责驾驶任务。即使在更高水平自动化的情况下，人类驾驶员仍将负责监测车辆，并且，如果需要，必须能够在合理的时间内收回对车辆的控制。因此，驾驶员在紧急情况下仍然起到应变(fallback)的作用。为了允许驾驶员专注于其它活动并同时将其用作应变计划，需要对驾驶员状态有适当了解，以在需要时有效地警告或通知驾驶员。
在汽车需要将控制交还给驾驶员的情况下，必须评估驾驶员的当前状态和活动，以便确定他是否能够进行控制。同样，对于具有高级主动安全功能的非自主驾驶汽车，了解驾驶员的当前活动和认知可能会有所帮助，以使得在驾驶员不了解所发生的紧急情况时，汽车可以调整警告策略以防止事故或甚至紧急情况。
因此，需要用于驾驶员活动分类的有效方法和设备。
发明内容
本公开提供了一种计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
在一个方面，本公开涉及一种确定车辆乘员的活动的计算机实现的方法，该方法包括由计算机硬件组件执行(换句话说，实施)的以下步骤：使用至少一个传感器获取乘员的传感器数据；基于该传感器数据确定乘员的身体的多个预定部位的相应的二维坐标或三维坐标；基于传感器数据和二维坐标或三维坐标确定传感器数据的示出乘员的预定身体部位的至少一部分；以及基于二维坐标或三维坐标以及传感器数据的所述至少一部分确定乘员的活动。
根据另一方面，传感器数据包括(由图像传感器获取的)一个图像或(由图像传感器获取的)多个图像，以及(由至少一个其它传感器获取的)其它传感器数据，并且传感器数据的至少一部分包括图像的至少一部分。可以基于其它传感器数据和/或图像和/或二维坐标或三维坐标来确定所述图像的所述至少一部分。
换句话说，可以基于乘员的身体的预定部位的坐标(二维或三维)并基于图像的示出了乘员身体的相关部位的部分来确定(或估计)车辆的乘员(驾驶员或乘客)的活动，其中，可以基于图像自身或基于不同于获取图像的传感器的其它传感器数据来确定图像的该部分。
该图像可以是常规图像，也可以指强度图像或2D图像。该图像可以是灰度图像或彩色图像。
所述其它传感器可以是与图像传感器不同的传感器，或者提供与(常规)图像不同的传感器数据的传感器。例如，所述其它传感器可以提供距离信息(或深度信息)；例如，所述其它传感器可以是ToF(飞行时间)摄像头、雷达传感器、激光雷达传感器、超声传感器或红外传感器。
二维坐标或三维坐标可以在坐标系中提供，例如，具有由其它传感器限定的原点的坐标系，或具有由车辆的预定点限定的原点的坐标系。
图像的至少一部分(其可以称为裁剪)可以包括图像的任何形状的一部分。例如，对于矩形图像，图像的至少一部分可以是矩形或圆形或任何其它形状。当确定图像的多于一个的部分时，多个部分可以具有相同的形状或不同的形状，并且可以具有相同大小或不同大小。该部分的大小可以指该图像的该部分的像素数(例如，对于图像的矩形部分，该图像的该部分的大小可以由矩形形状的宽度和高度给出(分别以像素为单位))。
已经发现的是，仅使用图像的至少一部分(而不是整个图像)可以增强活动确定的结果。例如，当使用神经网络来确定活动时，仅使用图像的至少一部分可以避免神经网络(或另一分类器)对图像的非相关部分的过度拟合。
根据另一方面，图像包括多个强度像素，各个强度像素指示在各强度像素处接收的预定波长或波长范围的光的强度，并且其它传感器数据包括多个距离像素，各个距离像素指示其它传感器与对应于各距离像素的对象之间的距离。
因此，该图像提供了人类观察者将视觉观察到的内容的视觉表示，而其它传感器数据包括距离信息。已经发现的是，将图像的视觉表示与其它传感器数据的距离信息相结合提供了动作确定的可靠结果。
根据另一方面，乘员的预定身体部位包括乘员的一只手和/或乘员的面部和/或乘员的一个肩膀。已经发现的是，在确定乘员的活动时，使用这些身体部位(尤其使用乘员的一只或两只手和/或乘员的面部)提供可靠的结果。然而，将理解的是，可以使用任何其它身体部位。
根据另一方面，基于二维坐标或三维坐标来确定图像的至少一部分。
在该方法的多个步骤中，可以使用当前时间和先前时间(例如，当前时间步长和先前时间步长)的传感器数据。例如，包含来自多个时间步长的信息的分类器(例如，3D卷积网络、递归神经网络或LSTM(长短期记忆))可以用于考虑先前时间步长的传感器数据。
根据另一方面，获取多个图像和多个其它传感器数据，基于所述多个图像和多个其它传感器数据中的至少一者来确定二维坐标或三维坐标。
例如，可以在多个时间点(或时间步长)处获取图像和其它传感器数据，并且可以针对各个时间点确定二维坐标或三维坐标、图像的至少一部分以及活动。已经发现的是，与仅在单个时间点具有确定的活动相比，具有确定的活动的历史可以增强进一步的处理，例如，可以增强确定车辆要采取或不采取的动作。
根据另一方面，基于一个或更多个神经网络来确定活动。例如，神经网络可以用于基于图像的至少一部分来确定特征向量。可以基于二维坐标或三维坐标来确定其它特征向量。可以将基于图像的至少一部分确定的特征向量和其它特征向量提供给包含来自多个时间步长的信息的分类器，例如，3D卷积网络、递归神经网络或LSTM(换句话说：具有LSTM结构的神经网络)。
根据另一方面，基于softmax方法来确定活动。Softmax函数(也可以称为softargmax或归一化指数函数)可以是将实数向量作为输入并将其归一化成由与输入数的指数成比例的概率组成的概率分布的函数。在应用softmax之前，一些矢量分量可能为负或大于1，并且它们的和可能不等于1。在应用softmax之后，各个分量可能在0至1之间，并且分量可能加起来为1，因此可以将它们解释为概率。
例如，可以将包含来自多个时间步长的信息(例如，3D卷积网络、递归神经网络或LSTM)的分类器的输出提供给softmax方法，并且softmax方法的结果可以表示确定的活动(或对确定的活动进行编码)。
根据另一方面，确定活动包括将驾驶员的动作分类成多个动作类别中的一个或更多个类别。分类成类别可以包括指示该动作在相应类别中的概率，并且如果识别出多于一个的动作，则分类可以被设置成动作的标识符或确定的动作的阵列(或向量)。
根据另一方面，分类包括确定概率向量，其中，该概率向量中的各个项指示多个动作类别中的各个类别的相应概率。
应该理解的是，概率可以表示成介于0至1之间(或介于0％至100％之间)的实数，但是任何其它表示都是可能的，例如，模糊表示，例如，概率水平为“最可能不是”、“可能不是”、“可能是”、“最可能是”或其它任何适合指示概率的表示。
已经发现的是，提供概率向量基于所确定的活动增强了进一步的处理，例如，在活动确定提供的结果不是以高置信度确定的情况下。提供概率向量不仅可以提供最可能的活动，而且可以提供各个可能活动的概率。
根据另一方面，多个动作类别包括以下动作中的一个或更多个：进入汽车；离开汽车；将对象放入汽车；从汽车移除对象；将婴儿座椅放入汽车；从汽车移除婴儿座椅；将儿童放入汽车；从汽车带走儿童；将婴儿放入汽车；从汽车带走婴儿；系好安全带；解开安全带；与电话交互；握住电话；主动控制电话；在电话上打字；进行通话；与对象交互；与书交互；与杂志交互；与笔记本电脑交互；与平板电脑交互；与方向盘交互；吸烟；吃；喝；操作车辆信息娱乐系统；操作车辆控制装置。
在另一方面，本公开涉及计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现的方法中的几个或全部步骤。
该计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储单元和至少一个非易失性数据存储器)。将理解的是，可以提供其它的计算机硬件组件并将其用于执行计算机系统中的计算机实现的方法的步骤。该非暂时性数据存储器和/或存储单元可以包括计算机程序，该计算机程序用于指示计算机例如使用处理单元和至少一个存储单元来执行本文所描述的计算机实现的方法中的几个或全部步骤或方面。
根据另一方面，该计算机系统还可以包括图像传感器和至少一个其它传感器。所述至少一个其它传感器可以包括或者可以是飞行时间摄像头。图像传感器和至少一个其它传感器可以被设置成组合传感器(例如，图像传感器和至少一个其它传感器可以共享共用的壳体和/或处理组件)。
在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现的方法中的几个或全部步骤或方面的指令。计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等。此外，计算机可读介质可以被配置成经由诸如互联网连接的数据连接能够访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储。
本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法中的几个或全部步骤或方面。
附图说明
本文结合示意性示出的以下附图来描述本公开的示例实施方式和功能：
图1是根据各个实施方式可以如何确定用于驾驶员活动分类的输入数据的例示；
图2是示例性身体关键点的例示；
图3是根据各个实施方式的从具有身体关键点的图像确定手部图块(patches)的例示；
图4是根据各个实施方式的身体关键点数据融合的例示；
图5是根据各个实施方式的确定到动作分类器的输入数据的例示；
图6是根据各个实施方式的分类系统的例示；
图7是根据各个实施方式的分类系统的例示；
图8是根据各个实施方式的使用手部裁剪(crop)和3D骨架数据的分类系统的例示；
图9是正弦波的例示；以及
图10是例示了根据各个实施方式的用于确定车辆乘员的活动的方法的流程图。
参考编号列表
100 确定用于驾驶员活动分类的输入数据的例示
102 传感器数据
104 身体关键点
106 3D身体关键点
108 手部裁剪
110 面部裁剪
200 示例性身体关键点的例示
202 灰度图像
204 2D骨架
206 3D骨架
300 确定手部图块的例示
302 图像
304 裁剪区域
306 裁剪区域
308 例示所计算出的手部位置的圆圈
310 例示所计算出的手部位置的圆圈
400 身体关键点数据融合的例示
402 ToF系统
404 2D摄像头
406 其它传感器
408 ToF相关身体关键点
410 2D摄像头相关身体关键点
412 其它传感器相关身体关键点
500 确定用于动作分类器的输入数据的例示
502 动作分类器
600 分类系统的例示
602 传感器数据
604 数据融合模块
606 第一特征集
608 箭头
610 第二特征集
612 箭头
614 分类器集成
700 分类系统的例示
702 2D身体关键点
704 身体分割
706 手部裁剪
708 面部裁剪
710 观察方向
712 占用分类器
714 位置分类器
716 手部占用分类器
718 手部动作分类器
800 分类系统的例示
802 第一神经网络
804 第二神经网络
806 特征向量
808 特征向量
810 特征向量
812 结合的特征向量
814 LSTM(长短期记忆)网络
816 softmax方法
818 分类向量
900 正弦波的例示
1000 流程图
1002 方法步骤
1004 方法步骤
1006 方法步骤
1008 方法步骤
具体实施方式
根据各个实施方式，可以提供一种用于例如基于安装在汽车内部的飞行时间(ToF)摄像头的常规(强度)图像和深度图像来辨识驾驶员的当前活动的方法。该方法可以基于飞行时间图像序列(即，距离信息的序列)、驾驶员身体关键点以及经训练的人工神经网络来对驾驶员的不同动作进行分类。
可以对驾驶员身体的关键部位进行定位，并且可以评估相关图像区域，以便对驾驶员坐在汽车上时通常可能执行的多种行为和活动进行分类。除了身体运动之外，还可以在他们的手部旁边找到用于辨识人的活动的最有用的信息，尤其是在某人坐在汽车中时多少有些受限的情况下。
图1示出了根据各个实施方式的可以如何确定用于驾驶员活动分类的输入数据的例示100。传感器(或者两个或更多个传感器)可以确定传感器数据102。
该传感器数据102可以包括(灰度)图像序列和由飞行时间摄像头记录的对应深度信息。飞行时间摄像头提供覆盖汽车前排座椅的视场(例如，120°的视场)中的灰度图像和深度信息。这些图像和深度信息可以被裁剪成仅包含驾驶员侧。
可以在传感器数据102中确定身体关键点数据104；换句话说：可以确定传感器数据102中与身体关键点相关的数据；例如，可以在传感器数据102中识别(并选择)传感器数据102的与身体关键点相关(换句话说：表示围绕身体关键点的预定区域)的部分。
例如，可以使用以下九个身体关键点来模拟驾驶员的姿势：左肩、右肩、左肘、右肘、左手、右手、左臀部、右臀部、左膝和右膝。
基于身体关键点数据104，可以确定三维(3D)身体关键点106和/或手部裁剪108和/或面部裁剪110。三维(3D)身体关键点106可以包括例如在传感器的坐标系中或在车辆的坐标系中的各身体部位的位置的三维坐标。手部裁剪108可以是图像的包括车辆乘员的左手和/或右手的部分。面部裁剪110可以是图像的包括车辆乘员的面部的部分。
可以考虑身体关键点的位置(例如，一只或更多只手、一个或更多个肘、一个或更多个肩、一个或更多个臀部点和/或一个或更多个膝)，并且仅围绕那些关键点的最相关图像部分(例如，手部裁剪108和/或面部裁剪110)和3D身体关键点106可以用作实际活动辨识系统的输入。
已经发现的是，关注于最相关图像部分可以将(神经)网络的注意力引向对于动作重要的图像区域。在没有此类附加知识的情况下进行端到端训练的方法将需要显著更多的训练数据。此外，仅使用最相关图像部分有助于避免过度拟合不相关的图像特征，例如，车辆内部空间的背景特征(例如，如果某些动作始终在特定汽车内部的情况下记录)，并且可能有助于降低网络的计算复杂度，这对于能够在汽车内的嵌入式平台上运行系统可能至关重要。
图2示出了示例性身体关键点的例示200。例如，示出了具有指示骨架的线的灰度图像202、完整2D骨架204和完整3D骨架206。一些关键点在灰度图像202中可能不可见(例如，左肩和左臀部)，并且这些关键点可以被估计以用于进一步处理或者可以在进一步处理中被忽略。
为了计算各个帧的身体关键点，可以如下文更详细描述的那样在数据集上(在单个深度帧上(即，可以独立地针对各个帧计算关键点及它们的对应置信度))训练全卷积神经网络。对于各个关键点，如果相应身体部位可见，则网络输出指示其位置的热图。在训练阶段中，如果身体部位可见，则地面真实热图包含以所期望的关键点位置为中心的高斯分布的值，否则为全黑。因此，如果网络很好地定位了身体关键点，则返回的热图在其位置处将具有强且大致呈高斯形状的点。如果未辨识出身体部位，则热图保持黑暗，并且如果在多于一个位置中检测到身体部位，则将存在多个局部最大值。为了确定关键点是否被定位和应该使用，可以基于围绕最大值的热图区域的强度以及相对于该最大值的加权标准偏差来计算置信度值。如果围绕该最大值的强度值很高而标准偏差很低，则这些结果可能具有高置信度。可以将关键点的2D位置计算成热图值的重心。为了避免远处非零值引起的失真，仅具有最大值的点附近的像素才可以用于确定重心。
然后可以使用深度图像将2D身体关键点变换成3D摄像头坐标。针对各个2D关键点，可以使用来自深度图中围绕各个2D关键点的小窗口的中间深度值。使用摄像头的固有参数，可以根据点的2D坐标和深度来计算该点的3D位置。另选地，如果关键点已经定位在两个或更多个2D(或3D)摄像头图像中，则可以在考虑摄像头的几何关系的情况下从这两个或更多个2D位置计算关键点的3D位置。3D坐标以及置信度用作到动作辨识网络的递归(recurrent)部分的输入的一部分。
场景中的最相关部分(可能是驾驶员的姿势)可以由身体关键点描述，并且可以用于确定所关注的图像子区域(或裁剪)，例如，包含驾驶员手部的图像子区域。例如，可以使用(强度)图像的手部被定位的图块(或裁剪)。为了获得这些图块，可以针对各个帧动态地裁剪围绕所计算出的手部关键点的区域。
图3示出了根据各个实施方式的从具有身体关键点的(强度、彩色或深度)图像302确定手部图块(换句话说：裁剪区域304、306)的例示300。示出了围绕乘员的左手和右手的裁剪区域304、306。圆圈308、310例示了所计算出的手部位置，并且围绕这些手部位置裁剪出了裁剪区域304、306。
裁剪区域304、306可以是预定的固定大小，或者可以是大小可变的，例如，取决于强度图像302中示出的手部有多大和/或它们到摄像头的距离。
裁剪区域304、306(换句话说：图像的手部被定位的图块)可以用作神经网络的输入，如下面更详细描述的。
通过将身体姿势与最相关图像特征(例如，来自手部附近)相结合，可以以一种对于背景变化具有鲁棒性的有效方式来辨识驾驶员的当前活动。
由此获得的活动信息可以例如用于估计驾驶员在任何时刻对紧急情况做出反应或接管半自主驾驶汽车的控制的能力，并且该活动信息对于配置例如娱乐系统、照明或气候控制也可能是有用的。
将理解的是，虽然以上示例将手部用作预定身体部位(因此，强度图像的该部分示出了手部)，但也可以使用身体的其它部位，例如，乘员的面部。
此外，将理解的是，虽然根据以上示例是基于ToF摄像头来确定身体关键点和3D身体关键点，但也可以使用各种其它传感器。
图4示出了根据各个实施方式的身体关键点数据融合的例示400。例如，可以提供ToF系统402、2D摄像头404以及一个或更多个其它传感器406。ToF系统402可以用于确定ToF相关身体关键点408。2D摄像头404可以用于确定2D摄像头相关身体关键点410。其它传感器406可以用于确定其它传感器相关身体关键点412。ToF相关身体关键点408、2D摄像头相关身体关键点410和其它传感器相关身体关键点412中的一个或更多个可以用于确定3D身体关键点106。如图4中的双向箭头所示，3D身体关键点106也可以用于确定ToF相关身体关键点408、2D摄像头相关身体关键点410和其它传感器相关身体关键点412中的一个或更多个(即，可以在相反方向上提供确定)。然后可以使用相应关键点来补充或增强相应传感器数据。例如，ToF相关身体关键点408可以用于增强由ToF系统402提供的传感器数据，2D摄像头相关身体关键点410可以用于增强由2D摄像头404提供的传感器数据，并且其它传感器相关身体关键点412可用于增强由其它传感器406提供的传感器数据。相应关键点包括相应数据的示出(或包括或表示)乘员的身体的预定部位的一部分。例如，ToF相关身体关键点408可以是由ToF系统402提供的数据的示出(或包括或获取)乘员的身体的一个或更多个预定部位的一个或更多个部分；2D摄像头相关身体关键点410可以是2D摄像头404提供的数据的示出(或包括或获取)乘员的身体的一个或更多个预定部位的一个或更多个部分；其它传感器相关身体关键点412可以是由其它传感器406提供的数据的示出(或包括或获取)乘员的身体的一个或更多个预定部位的一个或更多个部分。
图5示出了根据各个实施方式的确定用于动作分类器502的输入数据的例示500。ToF系统402可以提供ToF相关身体关键点408，该ToF相关身体关键点408可以用于确定3D身体关键点106和手部裁剪108。由ToF系统402、手部裁剪108和3D身体关键点106提供的数据可以被设置成到动作分类器502的输入。
图6示出了根据各个实施方式的分类系统的例示600。传感器数据602(例如，在不同尺度上或来自不同传感器)可以被提供给数据融合模块604。数据融合模块604可以执行上面参照图4描述的处理。数据融合的结果可以是第一特征集606，该第一特征集606可以例如包括关键点，例如，2D关键点和/或3D关键点。第一特征集606可以用于确定第二特征集610，如箭头608所示。第二特征集610可以包括与乘员的身体相关的特征(例如，分割)、与乘员的手部相关的特征(例如，裁剪、分割或手指指向矢量，例如，指示乘员用他的手指中的一个手指所指向的位置或方向的矢量)和/或与乘员的面部相关(例如，裁剪、分割和/或观察方向，例如，指示乘员引导他的面部朝向或他正在看的位置或方向的矢量)。可以将第二特征集610提供给分类器集成614(换句话说：分类器或分类器模块)，如箭头612所示。
图7示出了根据各个实施方式的分类系统的例示700。图7所例示的分类系统的各个部分与图6所示的分类系统的部分相似或相同，因此可能使用相同的附图标记，并且可能省略重复的描述。
第一特征点集可以包括例如基于各种不同传感器而确定的2D身体关键点702，如以上参照图4所描述的。基于这些2D身体关键点702，可以确定3D身体关键点106。
第二特征集610可以基于特征提取，并且可以例如包括身体分割704、不同尺度的手部裁剪706、不同尺度的面部裁剪708和/或观察方向710。分类器集成614可以包括：被配置成确定乘员是否占用座位的占用分类器712、被配置成确定车辆的乘员是否处于驾驶位置的位置分类器714、被配置成确定乘员的手部是否被占用(例如，通过使用移动电话)的手部占用分类器716以及被配置成对乘员的动作进行分类的手部动作分类器718。例如，仅当由占用分类器712确定座位被占用时，才可以使用位置分类器714(以及随后的手部占用分类器716、手部动作分类器718)。同样，仅当位置分类器714确定乘员处于驾驶位置时，才可以使用手部占用分类器716(以及随后的手部动作分类器718)。同样，仅当手部占用分类器716确定乘员的手部被占用时，才可以使用手部动作分类器718。
根据各个实施方式，为了对观察到的动作进行分类，使用了多对多CNN(卷积神经网络)-LSTM(长短期记忆)架构(或通常包含来自多个时间步长的信息的任何分类器，例如，3D卷积网络、递归神经网络或LSTM)。这意味着，还在考虑从过去输入获得的信息的情况下，针对各个输入示例帧确定分类结果。
图8示出了根据各个实施方式的使用手部裁剪304、306和3D骨架数据206的分类系统的例示800。手部裁剪304、306(换句话说：对应于手部区域的子图像)可以被馈送到一个或更多个卷积神经网络(CNN)中(例如，左手的手部裁剪304可以被馈送到第一神经网络802中，并且右手的手部裁剪306可以馈送到第二神经网络804中)，以将图像内容编码成一些嵌入内容(特征向量806、808)，这些嵌入内容可以由网络学习，并且可以具有或可能没有人类操作员可以解释的含义。第一神经网络802和第二神经网络804可以是相同的(例如，被相同地训练)或者可以是不同的(例如，具有不同结构的网络，或者具有相同结构的网络但是被不同地训练，例如，具有不同的训练数据，或者部分不同的训练数据(一些部分是相同的，而一些部分是不同的，例如，具有部分不同的结构或具有不同地训练的部分))。来自左手和右手二者的特征向量806、808可以被联合(或被添加)到一起。此外，基于3D骨架数据206的3D身体关键点，3D坐标(以及可选地，相应不确定性)可以被包括在另一特征向量810中。可以将特征向量806、808和另一特征向量810添加到一起以获得结合的特征向量812。
表示当前时间步长的结合的特征向量812被馈送到时间(temporal)网络结构(例如，LSTM(长短期记忆)网络814)中以考虑动作的时间方面。将理解的是，虽然在图8中例示了LSTM网络814，但也可以使用包含来自多个时间步长的信息的任何分类器，诸如，3D卷积网络、递归神经网络或LSTM。分类向量818的最终输出可以在分类步骤中生成，例如，使用softmax方法816。分类向量818可以是概率向量，其中，概率向量中的各个项指示动作落入相应类别中的多个动作类别中的各个类别的相应概率。
在各个实施方式中，可以使用数据集，该数据集包括利用飞行时间摄像头记录的序列。各个序列包含由坐在测试汽车中的一个汽车的驾驶员座椅上的人执行的动作。摄像头覆盖了不同汽车前部内部的视场(例如，120°)。图像具有两个通道，灰度通道(或强度通道)和深度通道。可以考虑以下动作：没有动作、进入汽车、下车、系安全带、解安全带、智能手机：空闲、智能手机：电话、智能手机：交互、瓶子：闲置、瓶子：喝水、瓶子：交互。可以利用几种增强(augmentation)技术来增强数据。例如，可以通过在固定范围内随机移动2D位置来将噪声添加到身体关键点。因此，由于每次移动关键点时手部位置都会略微移动，所以手部图像会自动增强。此外，可以将随机噪声添加到图像。
为了增强数据的时间分量，可以计算正弦振荡，该正弦振荡描述序列中的帧的使用。在预定范围内随机选择正弦波的延展(dilation)和相位角。可以将振幅0.5和偏置1分配给振荡，以得到0.5至1.5之间的值。图9示出了这种正弦波的例示900。该序列可以被分成N个部分，并且正弦波的一个值可以顺序地分配给各个部分。这些值是描述使用一个部分的多少帧的系数。例如，系数为0.5时，将仅使用该部分的一半帧，从而导致将序列的此部分的速度提高2倍。以此方式，可以随机地加快或减慢动作序列。
根据各个实施方式，整个系统可以包括至少一个摄像头(2D摄像头，换句话说：强度/灰度或RGB(红绿蓝)或RGBIR(红绿蓝红外)或IR(红外)或其它摄像头和/或3D摄像头(例如，ToF或立体摄像系统)、处理单元以及将输出信号传输到至少一个其它处理单元的输出单元。
根据各个实施方式，可以提供用于驾驶员活动分类的动作和对象交互辨识的方法和设备。可以基于作为输入的运动信息和图像序列来考虑动作的时间方面。
利用根据各个实施方式的用于确定车辆乘员的活动的方法和系统，可以实现以下动作辨识特征和用例(换句话说：可以基于以下类别对乘员的活动进行分类)：检测到人进入或离开汽车；检测到人将对象放入汽车或从汽车移除；检测到人将婴儿座椅放入汽车或从汽车移除；检测到人将儿童/婴儿放入汽车或从汽车带走；检测到人系好/解开安全带；检测到人与电话交互(例如，区分握住电话与主动控制，即，打字)；检测到人在进行通话；检测到驾驶员与一些其它对象(例如，书或杂志、笔记本电脑、平板电脑)交互；检测到驾驶员与方向盘交互；检测到车厢中的人吸烟；检测到车厢内人吃或喝；检测到汽车中的人正在操作某些信息娱乐或其它车辆控件(包括触摸屏、控制旋钮、按钮等)。
例如，关于汽车中的人是否正在操作某些信息娱乐或其它车辆控件的信息可以用于得出有关车辆使用的统计。数据可以在车辆内部或外部上载并分析(例如，云服务)，并且此类数据可以用于改进用户体验(例如，与哪些功能经常使用或哪些功能很少使用相关)，并且可能有助于OEMS(原始设备制造商)在未来的车辆中修改HMI(人机接口)概念。
尽管一些实施方式使用车顶安装的ToF摄像头(具有自上向下的视野)专注于驾驶员，但是其它座椅可能会相应地被另选传感器位置(或多传感器配置)覆盖。
利用通过根据各个实施方式的用于确定车辆乘员的活动的方法和系统获得的信息，可以调节ADAS(高级驾驶员辅助系统)功能或自动驾驶系统的参数。某些确定的动作可能导致不同的警告策略。同时，在必要时，此类信息可以用于预测驾驶员收回车辆控制的响应时间。
身体关键点可以用于确定图像的一部分，该部分对于确定乘员所穿的衣服的类型是信息性的(换言之：该部分包括可以使用的信息)。
图10示出了例示根据各个实施方式的用于确定车辆乘员的活动的方法的流程图1000。在1002处，可以使用至少一个传感器来获取乘员的传感器数据。在1004处，可以基于传感器数据确定乘员的身体的多个预定部位的相应的二维坐标或三维坐标。在1006处，可以基于传感器数据和二维坐标或三维坐标来确定传感器数据的示出乘员的预定身体部位的至少一部分。在1008处，可以基于二维坐标或三维坐标以及传感器数据的至少一部分来确定乘员的活动。
根据各个实施方式，传感器数据可以包括或者可以是图像以及其它传感器数据，并且传感器数据的至少一部分可以包括或者可以是图像的至少一部分。
根据各个实施方式，图像可以包括多个强度像素，各个强度像素指示在各强度像素处接收的预定波长或波长范围的光的强度，并且其它传感器数据可以包括多个距离像素，各个距离像素指示在其它传感器与对应于各距离像素的对象之间的距离。
根据各个实施方式，乘员的预定身体部位可以包括乘员的一只手和/或乘员的面部和/或乘员的一个肩膀。
根据各个实施方式，可以基于神经网络来确定图像的至少一部分。
根据各个实施方式，可以获取多个图像和多个其它传感器数据，可以基于多个图像和多个其它传感器数据中的至少一者来确定二维坐标或三维坐标。
根据各个实施方式，可以基于softmax方法来确定活动。
根据各个实施方式，确定活动可以包括或可以将驾驶员的动作分类成多个动作类别中的一个或更多个类别。
根据各个实施方式，分类可以包括或可以确定概率向量，其中，概率向量中的各个项指示多个动作类别中的各个类别的相应概率。
根据各个实施方式，多个动作类别可以包括或者可以是以下动作中的一个或更多个：进入汽车；离开汽车；将对象放入汽车；从汽车移除对象；将婴儿座椅放入汽车；从汽车移除婴儿座椅；将儿童放入汽车；从汽车带走儿童；将婴儿放入汽车；从汽车带走婴儿；系好安全带；解开安全带；与电话交互；握住电话；主动控制电话；在电话上打字；进行通话；与对象交互；与书交互；与杂志交互；与笔记本电脑交互；与平板电脑交互；与方向盘交互；吸烟；吃；喝。
上述步骤1002、1004、1006、1008和其它步骤中的各个步骤都可以由计算机硬件组件执行。

Claims (15)

1.一种确定车辆乘员的活动的计算机实现的方法，
所述计算机实现的方法包括由计算机硬件组件执行的以下步骤：
-使用至少一个传感器获取所述乘员的传感器数据；
-基于所述传感器数据确定所述乘员的身体的多个预定部位的相应的二维坐标或三维坐标；
-基于所述传感器数据和所述二维坐标或三维坐标确定所述传感器数据的示出所述乘员的预定身体部位的至少一部分；以及
-基于所述二维坐标或三维坐标以及所述传感器数据的所述至少一部分确定所述乘员的所述活动。
2.根据权利要求1所述的计算机实现的方法，
其中，所述传感器数据包括图像和其它传感器数据；
其中，所述传感器数据的所述至少一部分包括所述图像的至少一部分。
3.根据权利要求2所述的计算机实现的方法，
其中，所述图像包括多个强度像素，各个强度像素指示在相应强度像素处接收到的预定波长或波长范围的光的强度；并且
其中，所述其它传感器数据包括多个距离像素，各个距离像素指示所述其它传感器与对应于相应距离像素的对象之间的距离。
4.根据权利要求1至3中任一项所述的计算机实现的方法，
其中，所述乘员的所述预定身体部位包括所述乘员的一只手和/或所述乘员的面部。
5.根据权利要求1至4中任一项所述的计算机实现的方法，
其中，获取多个图像和多个其它传感器数据；并且
其中，所述二维坐标或三维坐标是基于所述多个图像和所述多个其它传感器数据中的至少一者来确定的。
6.根据权利要求1至5中任一项所述的计算机实现的方法，
其中，所述活动是基于神经网络来确定的。
7.根据权利要求1至6中任一项所述的计算机实现的方法，
其中，所述活动是基于softmax方法来确定的。
8.根据权利要求1至7中任一项所述的计算机实现的方法，
其中，确定所述活动包括将驾驶员的动作分类成多个动作类别中的一个或更多个类别。
9.根据权利要求8所述的计算机实现的方法，
其中，分类包括确定概率向量，其中，所述概率向量中的各个项指示所述多个动作类别中的各个类别的相应概率。
10.根据权利要求8至9中任一项所述的计算机实现的方法，
其中，所述多个动作类别包括以下动作中的一个或更多个：进入汽车；离开汽车；将对象放入汽车；从汽车移除对象；将婴儿座椅放入汽车；从汽车移除婴儿座椅；将儿童放入汽车；从汽车带走儿童；将婴儿放入汽车；从汽车带走婴儿；系好安全带；解开安全带；与电话交互；握住电话；主动控制电话；在电话上打字；进行通话；与对象交互；与书交互；与杂志交互；与笔记本电脑交互；与平板电脑交互；与方向盘交互；吸烟；吃；喝；操作车辆信息娱乐系统；操作车辆控制装置。
11.一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行根据权利要求1至10中的至少一项所述的计算机实现的方法的步骤。
12.根据权利要求11所述的计算机系统，所述计算机系统还包括图像传感器和至少一个其它传感器。
13.根据权利要求12所述的计算机系统，
其中，所述至少一个其它传感器包括飞行时间摄像头。
14.根据权利要求12或13中任一项所述的计算机系统，其中，所述图像传感器和所述至少一个其它传感器被设置成组合的传感器。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至10中的至少一项所述的计算机实现的方法的指令。
CN202010966496.3A 2019-09-17 2020-09-15 确定车辆乘员的活动的方法和系统 Pending CN112519789A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19197820.4A EP3796209A1 (en) 2019-09-17 2019-09-17 Method and system for determining an activity of an occupant of a vehicle
EP19197820.4 2019-09-17

Publications (1)

Publication Number Publication Date
CN112519789A true CN112519789A (zh) 2021-03-19

Family

ID=67997371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010966496.3A Pending CN112519789A (zh) 2019-09-17 2020-09-15 确定车辆乘员的活动的方法和系统

Country Status (3)

Country Link
US (1) US11308722B2 (zh)
EP (1) EP3796209A1 (zh)
CN (1) CN112519789A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406659A (zh) * 2021-05-28 2021-09-17 浙江大学 一种基于激光雷达信息的移动机器人位置重识别方法
US20230029545A1 (en) * 2018-12-27 2023-02-02 Intel Corporation Technologies for providing a cognitive capacity test for autonomous driving
CN115690748A (zh) * 2021-07-29 2023-02-03 Aptiv技术有限公司 占据类预测方法和系统以及遮挡值确定方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493116B1 (en) 2017-12-04 2023-05-10 Aptiv Technologies Limited System and method for generating a confidence value for at least one state in the interior of a vehicle
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
US20230004745A1 (en) * 2021-06-30 2023-01-05 Fotonation Limited Vehicle occupant monitoring system and method
CN114701409B (zh) * 2022-04-28 2023-09-05 东风汽车集团股份有限公司 一种手势交互式智能座椅调节方法和系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59200370A (ja) * 1983-04-27 1984-11-13 Hitachi Ltd 画像歪の補正方式
DE10321750A1 (de) * 2002-04-25 2004-03-04 Visteon Global Technologies, Inc., Dearborn Fahrzeugpersonalisierung durch biometrische Identifizierung
US20060256197A1 (en) * 2005-05-11 2006-11-16 Fultz William W Method of operation for a vision-based occupant sensing system
EP1985505A2 (en) * 2007-04-24 2008-10-29 Takata Corporation Occupant information detection system, occupant restraint system, and vehicle
US20100241309A1 (en) * 2009-03-20 2010-09-23 Toyota Motor Engineering & Manufacturing NA (TEMA) Electronic control system, electronic control unit and associated methodology of adapting a vehicle system based on visually detected vehicle occupant information
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
CN103707781A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于距离图像的驾驶员座椅位置自动调整系统
DE102013000083A1 (de) * 2013-01-08 2014-07-10 Audi Ag Kraftfahrzeug mit einer personenspezifischen Bedienschnittstelle
WO2017198945A1 (fr) * 2016-05-20 2017-11-23 Safran Procédé de reconstruction tridimensionnelle à l'aide d'une caméra plénoptique
US20180025240A1 (en) * 2016-07-21 2018-01-25 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
CN107798699A (zh) * 2016-09-01 2018-03-13 福特全球技术公司 用立体图像进行深度图估计
GB201801668D0 (en) * 2017-02-03 2018-03-21 Ford Global Tech Llc A system and method for assessing the interior of an autonomous vehicle
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
US10140533B1 (en) * 2015-01-13 2018-11-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating data representative of vehicle occupant postures
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
DE112017004754T5 (de) * 2016-09-21 2019-06-19 Intel Corporation Insassenprofilerstellungssystem
US20190213406A1 (en) * 2018-01-11 2019-07-11 Futurewei Technologies, Inc. Activity recognition method using videotubes
CN110114246A (zh) * 2016-12-07 2019-08-09 乔伊森安全系统收购有限责任公司 3d飞行时间有源反射感测系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445988B1 (en) 1997-02-06 2002-09-03 Automotive Technologies International Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
EP1602063A1 (en) 2003-03-13 2005-12-07 Intelligent Mechatronic Systems, Inc. Automotive occupant detection and classification method and system
US7472007B2 (en) 2005-09-02 2008-12-30 Delphi Technologies, Inc. Method of classifying vehicle occupants
US7483866B2 (en) 2005-12-19 2009-01-27 Trw Automotive U.S. Llc Subclass partitioning in a pattern recognition classifier for controlling deployment of an occupant restraint system
US20130204457A1 (en) 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
US10997421B2 (en) * 2017-03-30 2021-05-04 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
US10592785B2 (en) 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
EP3493116B1 (en) 2017-12-04 2023-05-10 Aptiv Technologies Limited System and method for generating a confidence value for at least one state in the interior of a vehicle
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
CN108764185B (zh) * 2018-06-01 2022-07-19 京东方科技集团股份有限公司 一种图像处理方法及装置
US20200017124A1 (en) * 2018-07-12 2020-01-16 Sf Motors, Inc. Adaptive driver monitoring for advanced driver-assistance systems

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59200370A (ja) * 1983-04-27 1984-11-13 Hitachi Ltd 画像歪の補正方式
DE10321750A1 (de) * 2002-04-25 2004-03-04 Visteon Global Technologies, Inc., Dearborn Fahrzeugpersonalisierung durch biometrische Identifizierung
US20060256197A1 (en) * 2005-05-11 2006-11-16 Fultz William W Method of operation for a vision-based occupant sensing system
EP1985505A2 (en) * 2007-04-24 2008-10-29 Takata Corporation Occupant information detection system, occupant restraint system, and vehicle
US20100241309A1 (en) * 2009-03-20 2010-09-23 Toyota Motor Engineering & Manufacturing NA (TEMA) Electronic control system, electronic control unit and associated methodology of adapting a vehicle system based on visually detected vehicle occupant information
US20160018904A1 (en) * 2010-05-20 2016-01-21 Edge3 Technologies Llc Gesture Recognition in Vehicles
US20140099019A1 (en) * 2010-05-20 2014-04-10 Edge3 Technologies Llc Gesture Recognition in Vehicles
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles
US20130156296A1 (en) * 2010-05-20 2013-06-20 Edge3 Technologies Llc Three Dimensional Gesture Recognition in Vehicles
DE102013000083A1 (de) * 2013-01-08 2014-07-10 Audi Ag Kraftfahrzeug mit einer personenspezifischen Bedienschnittstelle
CN103707781A (zh) * 2013-12-26 2014-04-09 苏州清研微视电子科技有限公司 基于距离图像的驾驶员座椅位置自动调整系统
US10140533B1 (en) * 2015-01-13 2018-11-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating data representative of vehicle occupant postures
US10147008B1 (en) * 2015-01-13 2018-12-04 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for determining whether a vehicle system is distracting to a vehicle operator
CN109313807A (zh) * 2016-05-20 2019-02-05 赛峰集团 使用光场相机的三维重建方法
WO2017198945A1 (fr) * 2016-05-20 2017-11-23 Safran Procédé de reconstruction tridimensionnelle à l'aide d'une caméra plénoptique
US20180025240A1 (en) * 2016-07-21 2018-01-25 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
CN107798699A (zh) * 2016-09-01 2018-03-13 福特全球技术公司 用立体图像进行深度图估计
DE112017004754T5 (de) * 2016-09-21 2019-06-19 Intel Corporation Insassenprofilerstellungssystem
CN110114246A (zh) * 2016-12-07 2019-08-09 乔伊森安全系统收购有限责任公司 3d飞行时间有源反射感测系统和方法
GB201801668D0 (en) * 2017-02-03 2018-03-21 Ford Global Tech Llc A system and method for assessing the interior of an autonomous vehicle
CN108038453A (zh) * 2017-12-15 2018-05-15 罗派智能控制技术（上海）有限公司 一种基于rgbd的汽车驾驶员状态检测和识别系统
US20190213406A1 (en) * 2018-01-11 2019-07-11 Futurewei Technologies, Inc. Activity recognition method using videotubes
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230029545A1 (en) * 2018-12-27 2023-02-02 Intel Corporation Technologies for providing a cognitive capacity test for autonomous driving
CN113406659A (zh) * 2021-05-28 2021-09-17 浙江大学 一种基于激光雷达信息的移动机器人位置重识别方法
CN115690748A (zh) * 2021-07-29 2023-02-03 Aptiv技术有限公司 占据类预测方法和系统以及遮挡值确定方法和系统
CN115690748B (zh) * 2021-07-29 2023-09-29 Aptiv技术有限公司 用于占据类预测的方法和用于遮挡值确定的方法

Also Published As

Publication number Publication date
US20210081689A1 (en) 2021-03-18
US11308722B2 (en) 2022-04-19
EP3796209A1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
CN112519789A (zh) 确定车辆乘员的活动的方法和系统
CN111587437B (zh) 使用视频管的活动识别方法
US10387725B2 (en) System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
US10877485B1 (en) Handling intersection navigation without traffic lights using computer vision
Bila et al. Vehicles of the future: A survey of research on safety issues
US11654770B1 (en) Limiting car behavior based on a pre-set driver profile enabled by face recognition
CN111695401A (zh) 针对遗留在自主车辆中的物品的光度立体对象检测
Altun et al. Road scene content analysis for driver assistance and autonomous driving
CN114207541A (zh) 轨线预测
Weyers et al. Action and object interaction recognition for driver activity classification
US20210019620A1 (en) Device and method for operating a neural network
US11783636B2 (en) System and method for detecting abnormal passenger behavior in autonomous vehicles
US10967824B1 (en) Situational impact mitigation using computer vision
JP7269694B2 (ja) 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置
KR20190023362A (ko) 핸드폰을 이용한 차량운전 중 휴대폰 사용 경고장치 및 그 제어방법
CN116710971A (zh) 物体识别方法和飞行时间物体识别电路
JP2021152826A (ja) 情報処理装置、被写体分類方法、及び被写体分類プログラム
US20230109171A1 (en) Operator take-over prediction
US11951833B1 (en) Infotainment system permission control while driving using in-cabin monitoring
JP7230710B2 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
Zhang et al. A review on pedestrian crossing detection and behavior analysis: In intelligent transportation system
Apatean et al. Kernel and Feature Selection for Visible and Infrared based Obstacle Recognition
Vaghasiya Detecting the unexpected: a safety enabled multi-task approach towards unknown object-segmentation and depth estimation
CN115690719A (zh) 用于车辆周围的对象接近监测的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240229

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg