CN111741884B - 交通遇险和路怒症检测方法 - Google Patents

交通遇险和路怒症检测方法 Download PDF

Info

Publication number
CN111741884B
CN111741884B CN201980014866.9A CN201980014866A CN111741884B CN 111741884 B CN111741884 B CN 111741884B CN 201980014866 A CN201980014866 A CN 201980014866A CN 111741884 B CN111741884 B CN 111741884B
Authority
CN
China
Prior art keywords
driver
estimate
vehicle
normal driving
deviation score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980014866.9A
Other languages
English (en)
Other versions
CN111741884A (zh
Inventor
法提赫·波里克利
吴玉珠
路易斯·比尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111741884A publication Critical patent/CN111741884A/zh
Application granted granted Critical
Publication of CN111741884B publication Critical patent/CN111741884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种用于确定车辆驾驶员的交通遇险的系统，包括多个传感器，包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统(global positioning system，简称GPS)数据传感器。所述系统还包括一个或多个处理器，用于接收所述多个传感器的输入，并处理所述接收到的输入以获得驾驶员热量变化估计、驾驶员表情估计、驾驶员姿势估计、车载诊断系统(on‑board diagnostics，简称OBD)估计和GPS估计。所述一个或多个处理器还用于：将所述估计存储在存储器中；使用所述存储的估计为每个估计生成偏差得分；执行机器学习算法以便基于所述偏差得分将驾驶员行为分类为正常或异常；基于指示驾驶员行为异常的所述分类生成警告。

Description

交通遇险和路怒症检测方法
相关申请案交叉申请
本申请要求于2018年2月22日递交的发明名称为“交通遇险和路怒症检测方法”的第15/902,729号美国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及用于车辆安全的自动化系统，尤其涉及用于检测驾驶员和乘客交通遇险和路怒症的系统和方法。
背景技术
车辆安全自动化系统已适应于避免冲突。以往的车辆驾驶员路怒症检测系统重点关注血压、心率监测等侵入性系统，以及主要使用图像和录音的非侵入性系统。此外，以前的侵入性系统使用广泛的传感器安装和复杂的数据采集，而非侵入性系统依赖于对微妙提示的解读，这些微妙提示可能各个驾驶员有所不同。
发明内容
提供了检测驾驶员、乘客交通遇险和路怒症的方法、装置和系统。现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。
根据本发明的一个方面，提供了一种确定车辆驾驶员交通遇险的方法。所述方法包括：一个或多个处理器从多个传感器接收输入，所述传感器包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统(global positioning system，简称GPS)数据传感器；处理所述接收的输入以获得驾驶员热量变化估计、驾驶员表情估计、驾驶员姿势估计、车载诊断系统(on-board diagnostics，简称OBD)估计和GPS估计。所述估计存储在存储器中，所述存储的估计用于为所述驾驶员热量变化估计、所述驾驶员表情估计、所述驾驶员姿势估计、所述OBD估计和所述GPS估计中的每一个生成偏差得分。所述一个或多个处理器执行机器学习算法，以根据所述偏差得分将驾驶员行为分类为正常或异常，并根据指示异常的驾驶员行为分类生成警告。
可选地，在上述任一方面中，生成驾驶员或乘客热量变化估计的所述偏差得分，包括：利用驾驶员或乘客的正常驾驶热像离线生成正常驾驶模型；比较所述正常驾驶模型与所述驾驶员或乘客的实时热像数据，得到比较结果；将概率密度函数(probabilitydensity function，简称PDF)应用于所述比较结果，得到所述驾驶员或乘客热量变化估计的偏差得分。
可选地，在上述任一方面中，生成所述驾驶员或乘客表情估计的所述偏差得分，包括：使用检测跟踪验证(detection-tracking-validation，简称DTV)对所述驾驶员或乘客的正面人脸图像进行局部处理；从所述正面人脸图像的分割后的人脸区域构造人脸流帧；使用编码器将全卷积网络(fully convolutional network，简称FCN)应用于所述人脸流帧，包括使用多个卷积、池化、批量归一化和校正线性单元(rectified linear unit，简称ReLU)层；将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络(recurrent neural network，简称RNN)以通过高斯混合模型(Gaussianmixture model，简称GMM)获得正常驾驶表情模型；比较实时驾驶员或乘客表情与所述正常驾驶表情模型，以计算所述驾驶员或乘客表情估计的偏差得分。
可选地，在上述任一方面中，生成驾驶员或乘客姿势估计的偏差得分，包括：检测驾驶员或乘客的姿势，获取所述驾驶员或乘客的手部区域的图像；从所述图像中构造两层手流，并对所述两层手流进行归一化以进行尺寸调整；使用编码器将全卷积网络(fullyconvolutional network，简称FCN)应用于所述两层手流，包括使用多个卷积、池化、批量归一化和校正线性单元(rectified linear unit，简称ReLU)层；将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络(recurrentneural network，简称RNN)以通过高斯混合模型(Gaussian mixture model，简称GMM)获得正常驾驶姿势模型；比较实时驾驶员或乘客姿势与所述正常驾驶或乘客姿势模型，计算所述驾驶员或乘客姿势估计的偏差得分。
可选地，在上述任一方面中，生成OBD估计的偏差得分，包括：从OBD中采集与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中两个或两个以上相关的正常驾驶数据；利用所述正常驾驶数据，为车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上的每一个生成正常驾驶模型；比较实时数据与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上的每一个的正常驾驶模型，以生成车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上的每一个的偏差得分。
可选地，在上述任一方面中，所述警告包括视觉警报。可选地，在上述任一方面中，所述警告包括音频输出。可选地，在上述任一方面中，所述警告包括使用显示器的建议的纠正驾驶员动作。可选地，在上述任一方面中，使用所述处理器执行所述机器学习算法将所述驾驶员行为分类为正常或异常包括使用高斯混合模型(Gaussian mixture model，简称GMM)。可选地，在上述任一方面中，期望最大化用于估计所述GMM的模型参数。可选地，在上述任一方面中，所述处理器用于离线生成正常驾驶模型，以便与实时驾驶数据进行比较。
根据本发明的另一方面，提供了一种确定车辆驾驶员交通遇险的系统。所述系统包括：多个传感器，包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统(global positioning system，简称GPS)数据传感器；与所述多个传感器通信的处理器。所述处理器用于：接收来自所述多个传感器的输入；处理所述接收到的输入以获得驾驶员或乘客热量变化估计、驾驶员或乘客表情估计、驾驶员或乘客姿势估计、车载诊断系统(on-board diagnostics，简称OBD)估计和GPS估计；将所述估计存储在存储器中。所述存储的估计用于为所述驾驶员或乘客热量变化估计、所述驾驶员或乘客表情估计、所述驾驶员姿势估计、所述OBD估计和所述GPS估计中的每一个生成偏差得分。执行机器学习算法以便根据所述偏差得分将驾驶员行为分类为正常或异常。根据指示驾驶员或乘客行为异常的分类生成警告。
可选地，在上述任一方面中，所述多个传感器还包括所述车辆的面向外部的传感器。可选地，在上述任一方面中，所述处理器还用于接收交通信息输入，包括限速和车道方向中的至少一种。可选地，在上述任一方面中，所述警告包括使用显示器的建议的纠正驾驶员动作。
根据本发明的另一方面，提供了一种非瞬时性计算机可读介质，所述介质存储计算机指令以确定车辆驾驶员的交通遇险并发出警告；当所述计算机指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：从多个传感器接收输入，包括车内图像传感器、车内音频传感器、车内数据传感器和全球定位系统(global positioningsystem，简称GPS)数据传感器；处理接收到的输入，得到驾驶员或乘客热量变化估计、驾驶员或乘客表情估计、驾驶员姿势估计、车载诊断系统(on-board diagnostics，简称OBD)估计和GPS估计；将所述估计存储在存储器中；使用所述存储的估计为所述驾驶员或乘客热量变化估计、所述驾驶员或乘客表情估计、所述驾驶员姿势估计、所述OBD估计和所述GPS估计中的每一个生成偏差得分；执行机器学习算法以便根据所述偏差得分将驾驶员行为分类为正常或异常；根据指示驾驶员或乘客行为异常的分类生成警告。
可选地，在上述任一方面中，生成驾驶员或乘客热量变化估计的偏差得分，包括：利用驾驶员或乘客的正常驾驶热像离线生成正常驾驶模型；比较所述正常驾驶模型与所述驾驶员或乘客的实时热像数据，得到比较结果；将概率密度函数(probability densityfunction，简称PDF)应用于所述比较结果，得到所述驾驶员或乘客热量变化估计的偏差得分。
可选地，在上述任一方面中，为所述驾驶员或乘客表情估计生成所述偏差得分包括：使用检测跟踪验证(detection-tracking-validation，简称DTV)对所述驾驶员或乘客的正面人脸图像进行局部处理；从所述正面人脸图像的分割后的人脸区域构造人脸流帧；使用编码器将全卷积网络(fully convolutional network，简称FCN)应用于所述人脸流帧，包括使用多个卷积、池化、批量归一化和校正线性单元(rectified linear unit，简称ReLU)层；将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络(recurrent neural network，简称RNN)以通过高斯混合模型(Gaussianmixture model，简称GMM)获得正常驾驶表情模型；比较实时驾驶员或乘客表情与所述正常驾驶表情模型，以计算所述驾驶员或乘客表情估计的偏差得分。
可选地，在上述任一方面中，生成驾驶员或乘客姿势估计的偏差得分，包括：检测驾驶员的姿势，获取所述驾驶员或乘客的手部区域的图像；从所述图像中构造两层手流，并对所述两层手流进行归一化以进行尺寸调整；使用编码器将全卷积网络(fullyconvolutional network，简称FCN)应用于所述两层手流，包括使用多个卷积、池化、批量归一化和校正线性单元(rectified linear unit，简称ReLU)层；将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络(recurrentneural network，简称RNN)以通过高斯混合模型(Gaussian mixture model，简称GMM)获得正常驾驶姿势模型；比较实时驾驶员或乘客姿势与所述正常驾驶或乘客姿势模型，计算所述驾驶员或乘客姿势估计的偏差得分。
可选地，在上述任一方面中，生成OBD估计的偏差得分，包括：从OBD中采集与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中两个或两个以上相关的正常驾驶数据；利用所述正常驾驶数据，为车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间所述两个或两个以上的每一个生成正常驾驶模型；比较实时数据与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上的每一个的正常驾驶模型，以生成车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上的每一个的偏差得分。
本发明内容概述了本申请的一些指导，并非意在对本发明主题进行排他性或穷举处理。有关本发明主题的更多细节，请参见具体实施方式和所附权利要求。本发明主题的范围通过所附权利要求及其合法等效物定义。
附图说明
图1A-1B为各种实施例提供的检测驾驶员和乘客交通遇险的系统框图；
图2为各种实施例提供的检测驾驶员和乘客交通遇险的方法流程图；
图3为各种实施例提供的驾驶员手势发生密度图；
图4为各种实施例提供的检测驾驶员和乘客交通遇险的系统框图；
图5为各种实施例提供的在检测驾驶员和乘客交通遇险的系统中计算驾驶员或乘客热量变化估计的偏差得分的框图；
图6A-6B为各种实施例提供的检测驾驶员或乘客的表情以及计算驾驶员或乘客表情估计的偏差得分的框图；
图7A-7C是各种实施例提供的在检测驾驶员和乘客交通遇险的系统中计算驾驶员姿势估计的偏差得分的图；
图8为各种实施例提供的计算梅尔频率倒谱系数(mel-frequency cepstralcoefficient，简称MFCC)的偏差得分的流程图；
图9A-9B是各种实施例提供的使用图像传感器流将手部和脸部与驾驶员相关联的方法流程图；
图10A-10B为各种实施例提供的本发明主题的图像传感器和来自所述传感器的捕获图像的示例图；
图11为各种实施例提供的检测驾驶员和乘客交通遇险的方法流程图；
图12为各种实施例提供的检测驾驶员和乘客交通遇险的系统示意图；
图13为示例性实施例提供的用于实现设备执行方法的电路图；
图14为示例性实施例提供的用于实现设备执行方法的电路原理图。
具体实施方式
以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体实施例。这些实施例将充分详细描述，使本领域技术人员能够实施所述创新性发明主题，而且应该明白的是可以使用其它实施例并且在不脱离本发明的范围的情况下可以做出结构上、逻辑上、电学上的改变。因此，以下描述的示例性实施例并不当作限定，本发明的范围由所附权利要求书界定。
当驾驶员生气或沮丧时，他们变得更具有进攻性和不那么专心，这可能导致事故。作为驾驶员辅助系统的一部分，本发明主题的实施例实时监控交通遇险和路怒症。对交通遇险和路怒症的识别通常依赖于对非常微妙的提示的解读，这些提示可能在不同的个体中有所不同。因此，本发明主题的实施例监控多种模态(例如面部表情、手势、车速等)，以便创建一个稳健的系统，用于检测驾驶员脾气的变化。
路怒症可以分为四个阶段：在第一阶段，当驾驶员被某人惹怒时，他们通常会开始进行非威胁性的姿势或面部表情来表现出恼怒；在第二阶段，愤怒的驾驶员在表现出不满后，可以通过按喇叭、闪灯、恶意制动、尾随、挡车等方式加重情况；在第三阶段，攻击性驾驶员可能诅咒、吼叫和威胁其他驾驶员；在第四阶段，最坏的情况是一些驾驶员可能会开火、用物体打车、追赶车辆或者跑出道路。
本发明主题提供了一个交通遇险和路怒症监测系统，可以监测驾驶员或乘客以检测交通遇险和路怒症程度，并在检测到交通遇险或路怒症时发出通知。在各种实施例中，所述系统包含但不限于热成像、语音、视觉信息以及其它模态，例如驾驶行为表现和手势。对处理单元的输入可以是来自音频传感器、图像传感器(例如，近红外反射(near infrayedray，简称NIR)摄像头或热成像摄像机)以及整车数据的信息。然后，所述系统可以帮助驾驶员或乘客降低事故发生的可能性。通过多模态方法，本发明系统能够获得当仅仅依靠单个信息源时无法获得的重要信息。每个模态可以提供在其它模态中可能找不到的信息(例如，来自图像传感器的图像信息与来自声换能器的声音信息)。
此外，本发明主题的实施例使用神经网络、强化学习和其它机器学习技术，以便所述系统在检测到路怒症和压力时，能够了解关于所述驾驶员和所述车辆的哪些特征是有用的。
本发明涉及用于车辆安全的自动化系统，尤其涉及用于检测驾驶员和乘客交通遇险和路怒症的系统和方法。虽然提供了用于驾驶员检测的示例，但是在各种实施例中，所述系统也可用于乘客检测。在一个实施例中，提供了一种用于确定车辆驾驶员的交通遇险的系统，所述系统包括多个传感器，包括但不限于车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统(global positioning system，简称GPS)数据传感器。所述系统还包括处理器，用于接收来自所述多个传感器的输入，并处理所述接收到的输入以获得驾驶员或乘客热量变化估计、驾驶员或乘客表情估计、驾驶员姿势估计、车载诊断系统(on-board diagnostics，简称OBD)估计和GPS估计。所述处理器还用于：将所述估计存储在存储器中；使用所述存储的估计为每个估计生成偏差得分；执行机器学习算法以便基于所述偏差得分将驾驶员行为分类为正常或异常；在所述分类指示驾驶员行为异常时生成警告。
在一个实施例中，本文描述的功能或算法可以通过软件实现。该软件可包含计算机可执行指令，所述计算机可执行指令存储在计算机可读介质上或者计算机可读存储设备上，如一个或多个非瞬时性存储器或其它类型的本地或联网的硬件存储设备。此外，这些功能对应模块，这些模块可以是软件、硬件、固件或其任意组合。多个功能可以根据需要在一个或多个模块中执行，所描述的实施例仅为示例。该软件可以在数字信号处理器、专用集成电路(application-specific integrated circuit，简称ASIC)、微处理器上执行或者在个人计算机、服务器、或其它计算机系统等其它类型的计算机系统上运行的处理器上执行，从而使这些计算机系统变成一个专门编程的机器。
根据本发明的一个方面，提供了一种确定车辆驾驶员交通遇险的方法。所述方法包括：从多个传感器接收输入，所述传感器包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统(global positioning system，简称GPS)数据传感器；处理所述接收的输入以获得驾驶员或乘客热量变化估计、驾驶员或乘客表情估计、驾驶员或乘客姿势估计、车载诊断系统(on-board diagnostics，简称OBD)估计和GPS估计。所述估计存储在存储器中，所述存储的估计用于为所述驾驶员或乘客热量变化估计、所述驾驶员或乘客表情估计、所述驾驶员或乘客姿势估计、所述OBD估计和所述GPS估计中的每一个生成偏差得分。执行机器学习算法以便根据所述偏差得分将驾驶员行为分类为正常或异常，并在所述分类指示驾驶员或乘客行为异常时生成警告。
在各种实施例中，计算机执行系统确定所述驾驶员(和乘客，如果有的话)的驾驶信息，所述驾驶信息基于由图像传感器、位置传感器、声音传感器和车辆传感器采集的传感器信息，然后所述驾驶信息可用于理解驾驶员和乘客的状态，从而使得所述系统能够进一步判断驾驶员状态中是否存在交通遇险或路怒症。在各种实施例中，所述系统使用机器学习和预训练的模型来学习如何预测交通遇险和路怒症，并将该模型存储在存储器中。在各种实施例中，机器学习技术，例如强化学习，使得系统能够适应驾驶员的交通遇险/路怒症驾驶行为表现和非交通遇险/路怒症驾驶行为表现。
本发明主题的系统和方法生成所述驾驶员的交通遇险和路怒症程度的预测模型。方法的各种实施例包括：识别车辆内的所述驾驶员和乘客；识别驾驶员和乘客的手和面部；跟踪所述手和面部；使用该信息来检测面部表情、姿势、热状态和作为交通遇险指标的活动。在各种实施例中，所述方法还包括识别环境的状态，例如交通状况、所述车辆附近的物体、所述车辆周围的声音(例如，其它车辆鸣笛)、道路状况和限速。在各种实施例中，所述方法还包括获取驾驶行为表现数据，例如加速、速度、转向角和其它嵌入式传感器数据。在不脱离本发明主题范围的情况下，可以使用其它输入。在各种实施例中，所述方法包括融合上述指标、状态和数据，以判断所述驾驶员是被激怒还是遇到危险。
本发明系统的各种实施例使用多模态方法(例如，图像、音频、车辆数据等多个数据流)，如下面结合图4所描述的，其中每个模态可用于检测有助于系统了解驾驶员的交通遇险和路怒症程度的特征。在各种实施例中，所述系统能够适应和获知不同的驾驶员可能会展现的愤怒和沮丧表情的方式，并确定如何发出警告和驾驶辅助以符合驾驶员的偏好。例如，一些驾驶员倾向于频繁和重复的警告，所述系统将提供帮助直到驾驶员冷静下来，而其他驾驶员倾向于短暂警告，因为这些驾驶员可能会被警报和警告分心。在各种实施例中，驾驶员辅助可包括降低或限制所述车辆的所述速度、利用所述车辆的所述刹车或振动所述方向盘。在不脱离本发明主题范围的情况下，可以使用其它类型的驾驶员辅助。本发明系统的各种实施例也接受使用强化学习的驾驶员反馈，该强化学习允许系统持续地适应驾驶员。本发明主题的技术改进的优点包括：本发明系统提供了所需的警告，而不需要侵入式感知，如血压袖带或其它特殊设备。
图1A-1B是各种实施例提供的示出用于检测驾驶员和乘客交通遇险的系统框图。所描述的实施例包括多个传感器100，包括至少一个图像传感器101、至少一个音频传感器102、用于获取车辆数据的OBD接入设备103和用于获取车辆位置的GPS输入104。各种实施例包括处理单元10，以及所述处理单元10根据驾驶员5的条件生成的输出(例如，产生听觉或视觉警报或控制车辆)20。各种实施例还包括面向外部的图像传感器105，其记录车辆外部环境的信息，如图1B所示。在各种实施例中，所述处理单元10可以包括任何具有运行神经处理计算能力的平台，例如现有车辆硬件、手机或连接到车辆OBD和GPS的专用设备。所述处理单元10可包括在各种实施例中愤怒和交通遇险检测器21、驾驶员行为表现分析器22、周围环境处理器23、交通遇险和路怒症管理处理器24、用于强化25的模块以及用于驾驶员反馈26的输入。所述愤怒和交通遇险检测器21使用统计模型，该统计模型允许所述系统使用统计分类来确定交通遇险和路怒症程度。由于交通遇险和路怒症的程度不同，所述系统可以对作为输入的每个模态使用参考点。例如，所述系统使用统计分布模型，该统计分布模型确定与当前检测到的交通遇险和路怒症与正常值或者平均值之间的距离是多少。所述系统可以离线或实时获知特定驾驶员的正常驾驶基线，并且根据驾驶行为表现偏离正常驾驶行为表现的程度，所述系统判断驾驶员的交通遇险和路怒症程度是否可接受。正常驾驶的一些指标可以包括但不限于：基于GPS信息以等于或低于所述限速行驶；不包括攻击性语言的词语使用，语音的正常音量；不包括在攻击性手势类别中的手势。在各种实施例中，所述系统实时适配所述模型以适应驾驶员的正常驾驶行为表现，包括学习所述正常驾驶速度、所述正常身体部位热能标记以及所述车厢内的正常噪声水平。然后，使用强化学习技术，所述系统重新调整当前使用的参数和模型，以判断交通遇险程度和路怒症程度是否在所述特定驾驶员的正常驾驶行为表现范围内。
图1B示出了使用多种模态的样本数据流和样本数据分析示意图。在一实施例中，所述系统使用图像传感器101(例如，热和NIR)流作为输入自动检测和跟踪所述驾驶员的面部和眼睛。通过面部和眼睛，所述系统能够识别出驾驶员的热量变化和面部表情。在各种实施例中，所述系统使用图像传感器流检测驾驶员的手。利用手部区域作为空间锚点，系统识别驾驶员的姿势。在一实施例中，所述系统还可以使用从车辆内部的麦克风获取的音频流作为输入来分析驾驶员的声音和车辆内部的声音。所述愤怒和交通遇险检测器21分析所述输入，以了解驾驶员的驾驶行为表现。
在各种实施例中，图1A-1B中的音频传感器102可以是车载麦克风或智能手机麦克风。音频传感器102可以用于记录各种音频特征，包括但不限于语音识别，因为存在某些关键词和音调强度，表明驾驶员遇到了危险；话音音量(无论驾驶员是说话还是音频信号中有乘客的声音)；或者驾驶员在交通遇险和愤怒的时刻是否用手敲击/撞击车辆车厢的某一部分。其它因素可能是车辆外部环境的一部分，例如其它车辆鸣笛或其他驾驶员对驾驶员大喊大叫。所述车辆外部的声音也可能是能够增加驾驶员的交通遇险的因素，这种交通遇险可能导致路怒症。使用机器学习，所述系统可以获知哪些特定和重复的声音可能加深驾驶员的交通遇险和路怒症程度。
图1A-1B中的所述OBD接入设备或车辆数据设备103。接收、处理并存储传感器和驾驶信息，并将此类传感器和驾驶信息提供给愤怒和交通遇险检测器21和驾驶员行为表现分析器22。所述OBD接入设备103可以由车辆的原始设备制造商(original equipmentmanufacturer，简称OEM)制造，也可以是售后设备。在各种实施例中，所述OBD接入设备103可以例如通过OBD记录器接入控制器局域网络(controller area network，简称CAN)总线，并且可以接入传感器，例如加速计、陀螺仪、GPS传感器和其它类型的传感器，并且还可以通过有线或无线连接与用户设备，例如智能手机通信。
所述驾驶员行为表现分析器22用于评估交通遇险和路怒症下的驾驶行为表现异常。当驾驶员感到沮丧或愤怒时，他/她通常反应得更不规律(有时反应时间更慢)。所述系统可以采用行为表现异常的两级模型。在第一级，代表较小的退化，驾驶员通常能够准确地控制车辆，驾驶行为表现没有显著降低。在第二级，随着异常程度的加重，驾驶员无法保持相同的驾驶行为表现。
图1B中的周围环境处理器23可以使用来自面向外部图像传感器105的视频帧以及来自GPS输入104的GPS数据来检测道路状况，例如凹坑、车道标记和道路曲率，以及周围物体，例如其它车辆、行人、摩托车、自行车、交通标志或路灯。在不脱离本发明主题范围的情况下，可以检测到其它道路状况和周围物体。通过使用缓冲流更新交通遇险/路怒症检测器模型，所述驾驶员反馈26可与强化25学习算法一起使用。在各种实施例中，交通遇险和路怒症管理处理器24生成警告并建议对驾驶员采取纠正措施。
图2为各种实施例提供的检测驾驶员和乘客交通遇险的方法200的流程图。在205处，处理器用于接收多个传感器的输入，包括车内图像传感器、车内音频传感器、车辆数据传感器和GPS数据传感器。所述处理器用于处理接收到的输入，得到210处的驾驶员或乘客热量变化估计、驾驶员或乘客表情估计、驾驶员姿势估计、OBD估计和GPS估计。在215处，所述处理器用于将所述估计存储在存储器中。在220处，所述处理器和存储的估计用于为所述驾驶员或乘客热量变化估计、所述驾驶员或乘客表情估计、所述驾驶员姿势估计、所述OBD估计和所述GPS估计中的每一个生成偏差得分。在225处，所述处理器用于执行机器学习算法，以基于所述偏差得分将驾驶员行为分类为正常或异常，在230处，所述处理器用于在所述分类指示驾驶员行为异常时生成警告。
图3是各种实施例提供的驾驶员手势发生的密度图。该图描绘了正常驾驶行为表现的正态分布模型的样本，该正态分布模型展示出了正常驾驶姿势302如何朝向分布的中间累积(更常见或重复)，以及不是那么常见的304的姿势如何趋向于在分布的一侧累积(较不重复或不常见)。常见手势包括握住方向盘，而较不常见的手势包括所述驾驶员的拳头姿势或中指姿势，如描绘的实施例所示。
图4为各种实施例提供的检测驾驶员和乘客交通遇险的系统框图。所述描绘的实施例示出了图1A中的愤怒和交通遇险检测器21的详细信息，因为其通过几个流处理数据。在各种实施例中，所述系统接收来自车辆的车厢图像传感器2101的输入，包括所述驾驶员2005的图像、音频传感器2102的输入、车辆数据2103的输入以及GPS传感器2104的输入。在各种实施例中，所述车厢图像传感器2101的输入由人脸检测器2111、热量变化比较器2301、表情估计器2202和表情密度估计器2302处理，并进一步由手部检测器2112、姿势检测器2203和姿势密度估计器2303处理。在各种实施例中，所述音频传感器2102的输入被处理用于梅尔频率倒谱系数(mel-frequency cepstral coefficient，简称MFCC)特征2204和MFCC特征密度估计器2304，以及由自然语言处理(natural language processing，简称NLP)检测器2205和NLP密度估计器2305处理。所述车辆数据2103的输入由OBD测量生成器2206和OBD密度估计器2306处理，所述GPS传感器2104的输入由GPS特征密度估计器2307处理2207。对于每个方面，将使用概率模型，例如高斯混合模型和密度估计器，预先训练正常驾驶模型。为了学习所述模型，使用期望最大化(expectation maximization，简称EM)来估计混合模型的参数，包括使用最大似然估计技术，该技术试图将模型参数的观测数据的概率或可能性最大化。然后，在各种实施例中，所述拟合模型可用于执行各种形式的推断。当驾驶员2005正在驾驶时，比较实时驾驶模型与预训练的正常驾驶模型，并计算每个估计的偏差得分。所述偏差得分包括，但不限于，热量变化偏差得分生成器2401的热量变化偏差得分σH，表情偏差得分生成器2402表情偏差得分σE，姿势偏差得分生成器2403的姿势偏差得分σG，MFCC偏差得分生成器2404的MFCC偏差得分σMFCC，NLP偏差得分生成器2405的NLP偏差得分σNLP，OBD偏差得分生成器2406的车辆OBD偏差得分(例如，车速偏差得分σsp，方向盘偏差得分σsw，方向盘误差偏差得分σswe，车道通过时间偏差得分σttl，冲突时间偏差得分σttc等)和GPS偏差得分生成器2407的GPS偏差得分σGPS(例如，所述GPS偏差得分可在比较车辆的速度和当前位置的限速时很有帮助)。在各种实施例中，这些偏差得分将被输入到融合层2500，而融合层2500的输出由分类器2600用于将所述驾驶状态分类为正常驾驶行为或者路怒症和交通遇险驾驶行为。
对于具有M个分量的高斯混合模型(p(xi))：
Figure BDA0002644478270000081
Figure BDA0002644478270000082
其中：
ai是所述混合分量权重；
μi是所述分量均值；
∑i是分量方差/协方差。
图5为各种实施例提供的在检测驾驶员和乘客交通遇险系统中计算驾驶员或乘客热量变化估计的偏差得分的框图。为计算热量变化偏差得分402，正常驾驶模型生成器311采集正常驾驶热像312，预处理所述图像用于正常驾驶模型313。在各种实施例中，可以使用统计分析方法例如高斯混合模型(Gaussian mixture model，简称GMM)离线生成所述正常驾驶模型313。在一个实施例中，所述预处理使用所述正常驾驶模型连续图像传感器帧的顺序，得到每个像素的平均读数。然后比较该平均读数和图像传感器的实时输入，得到偏差得分。在各种实施例中，使用数学运算315如减法比较所述正常驾驶模型313和实时热像314。比较系统301的所述比较结果的输出为热量变化偏差得分生成器的输入，所述热量变化偏差得分生成器可以使用概率密度函数(probability density function，简称PDF)401生成热量变化偏差得分402σH。如图4所示，所述热量变化偏差得分402σH可以作为融合层2500的输入。
本发明还将热成像结合为多模态方法的一部分。随着皮肤的温度根据正在进行的活动而变化以及根据人的情绪状态而变化时，为了理解驾驶员的压力状态和情绪状态，可以使用热成像传感器。然而，由于皮肤的温度不仅可因压力而改变，而且还可基于其它因素，例如体力活动而变化，因此本发明主题使用附加模态来确定驾驶员或乘客的压力水平。因此，驾驶员的手的温度也被考虑在内，因为手的温度也是情绪和交通遇险状态的良好指标。本发明系统的多模态方法利用活动识别、语音识别和所有其它上述模态。将所有这些模态与驾驶员的面部和手的热能标记相结合，产生了更通用且更稳健的模型，能够抵抗误报。
图6A-6B是各种实施例提供的示出了检测驾驶员或乘客表情以及计算驾驶员或乘客表情估计2700的偏差得分的框图。在各种实施例中，为计算所述表情偏差得分2402σE，所述系统接收来自车厢图像传感器2101的输入，使用人脸检测器2111，人脸验证器2702，人脸跟踪器2704建立人脸流2706。所述系统使用实时人脸检测和跟踪技术，称为检测跟踪验证(detection-tracking-validation，简称DTV)。离线训练后的所述人脸检测器2111对正面人脸进行局部处理，在线训练后的人脸验证器2702判断跟踪后的人脸是否与驾驶员对应。在各种实施例中，使用每个图像，从划分的脸/眼区域构造脸流2706帧，并进行归一化以进行尺寸调整。应用具有多个卷积、池化、批量归一化和校正线性单元(rectified linearunit，简称ReLU)层的二维(two-dimensional，简称2D)全卷积网络(fully convolutionalnetwork，简称FCN)2708。在各种实施例中，编码器的最后一层的特征图被重塑为向量形式2710，并且所述输出应用于递归神经网络(recurrent neural network，简称RNN)，例如RNN1 2712，例如长短期存储器(long-short term memory，简称LSTM)。在各种实施例中，使用具有面部表情数据的反向传播对该网络进行离线训练。在各种实施例中，使用高斯混合模型(Gaussian mixture model，简称GMM)预先训练正常驾驶表情模型。当所述驾驶员正在驾驶时，使用表情检测器2714将所述实时表情与所述正常驾驶模型进行比较。计算出的表情偏差得分作为融合层2500的输入，如图4所示。图7A-7C是各种实施例提供的在检测驾驶员和乘客交通遇险的系统中计算驾驶员姿势估计的偏差得分的图。为计算姿势偏差得分2403σG，所述系统首先检测驾驶员的姿势，例如紧握的拳头、握住方向盘、挥手、指着某物、握住智能手机、掌掴或中指。在各种实施例中，图4的姿势检测器2203接收图像，分割手部区域，构造两层手流。在各种实施例中，对手流进行归一化以进行大小调整，并应用具有多个卷积、池化、批量归一化和ReLU层的2D FCN。在各种实施例中，编码器的最后一层的特征图被重塑为向量形式，并应用于RNN。在各种实施例中，使用具有姿势数据的反向传播对网络进行离线训练。对正常驾驶姿势模型进行预训练，在驾驶时，将实时姿势(如图7B所示)与正常驾驶姿势模型进行比较，如图7C所示，得到作为融合层2500的输入的姿势偏差得分2403。图7A示出了在车辆内检测到的姿势的分布。图的中间部分(平均值或预期姿势)指示什么被认为是正常的。图8为各种实施例提供的计算梅尔频率倒谱系数(mel-frequency cepstralcoefficient，简称MFCC)的偏差得分的流程图。时域音频信号通过采样步长、加窗步长和去噪步长进行处理，得到语音信号802，然后计算MFCC。MFCC计算器800包含快速傅里叶变换(fast Fourier transform，简称FFT)806，梅尔标度滤波808、对数函数810、离散余弦变换812和导数814，得到特征向量804。在各种实施例中，将使用GMM或密度估计器预先训练正常驾驶MFCC模型。驾驶时，所述MFCC将与正常驾驶MFCC模型进行比较，生成所述MFCC偏差得分2404σMFCC作为所述融合层2500的一个输入。在各种实施例中，所述系统利用自然语言处理(natural language processing，简称NLP)检测诅咒和辱骂性言语。在各种实施例中，将使用GMM和密度估计器预训练正常驾驶NLP模型。驾驶时，所述驾驶员的言语会与所述正常驾驶NLP模型进行比较，所述NLP偏差得分2405σNLP会被计算作为所述融合层2500的一个输入。
此外，可以使用驾驶行为表现测量生成OBD偏差得分，所述OBD偏差得分包括，但不限于，车速，方向盘角度，方向盘角度误差，车道通过时间，冲突时间。在一实施例中，多通道偏差得分生成器可以用于OBD数据。根据各种实施例，采集并使用正常驾驶OBD数据，以生成测量，包括预训练正常驾驶模型以便与实时数据进行比较。使用所述多个通道中的每一个计算偏差得分，例如，车速偏差得分σsp，方向盘偏差得分σsw，方向盘误差偏差得分σswe，车道通过时间偏差得分σttl，冲突时间偏差得分σttc等。在各种实施例中，所述偏差得分将作为所述融合层2500的输入。
根据各种实施例，本发明系统使用GPS数据，因为车辆在给定时间的位置可以提供关于驾驶员的交通遇险和路怒症程度的有用信息。获得交通信息(如限速、车道方向、禁止停车区、位置等)。并与车辆数据进行比较，以计算初始交通违规指标。结合GPS数据，所述系统还可以使用面向外部的传感器(例如，SONAR、图像传感器、LIDAR等)来检测驾驶环境因素，如车辆与附近物体的距离、车道标记的位置或交通标志，作为附加信息来源。
在各种实施例中，每个模态处理模块输出一个偏差得分作为所述融合层2500的输入。所述偏差得分指示模态输出偏离正常值的量。在统计分布的情况下，所述偏差得分可以包括标准或平均测量的离散度(即，当前测量与正常测量的差异)。例如，如果乘客尖叫，则所述噪声模态的当前测量的偏差得分将会很高。
如图4所示，所述车厢图像传感器2101可以包括至少一个面向车厢的图像传感器，例如NIR摄像头、热红外摄像头和/或智能手机摄像头。所述图像传感器用于提取视觉特征，所述视觉特征有助于系统判断所述驾驶员是否存在路怒症和交通遇险。这些视觉特征中的一些可以包括但不限于热特征，例如所述驾驶员面部温度的变化和驾驶员手部温度的变化。在各种实施例中，温度测量可以来自温度的瞬时变化(例如，特定时间的温度)，或者也可以随着时间(例如，测量一小时以上温度变化)进行跟踪。本发明系统能够观察温度随时间的变化。随着时间的推移，温度的变化可以帮助所述系统结合其它特征判断是否随着时间的推移正在发生危险。例如，如果车辆车厢内的温度随着时间的推移而升高，则驾驶员的体温也可能升高。这种温度升高可以由摄像头测量，然后作为未来的交通遇险的指示。
根据各种实施例，本发明系统还使用图像传感器来理解其它视觉提示，其可以包括但不限于面部表情以及车厢内的手势和活动。例如，图像传感器在检测到所述驾驶员的手和脸后会感测驾驶员挥动其拳头的图像，同时脸部和手的温度升高，同时驾驶员的嘴张开(例如，尖叫)。这些情况可以理解为所述驾驶员可能出现的交通遇险和路怒症的迹象。
根据各种实施例，图9A-9B是使用图像传感器流将手和脸与驾驶员相关联的方法的流程图。当本发明系统检测到车辆车厢内有多个人时，所述系统会学习将特定的手与特定的脸相匹配，这样所述系统就会知道要跟踪哪一只手和哪一张脸。图9A示出了匹配来自图像传感器流902的手和脸的实施例。所描述的方法包括执行以下操作的算法：在904处检测手部，在906处测量检测到的最近的手与检测到的脸之间的距离，在908处将最近的手与当前检测到的脸进行匹配，并为脸/手对分配识别标签(identification tag，简称ID)，以及在910处使用该信息构建手流。图9B示出了另一实施例，其中检测到驾驶员的骨架并分配识别标签(操作950)，该识别标签用于获取面部和手相对于骨架在三维空间中的位置(操作952)。该实施例通过使用手部检测器954来构建手流956和使用人脸检测器958来构建脸流960，以将每个手和脸与车辆内的人进行关联。
本发明主题采用机器学习方法，通过适应驾驶员和乘客之间的活动，进一步细化流程。例如，所述系统可以获知，不仅环境中的外部驾驶员可能会导致交通遇险和路怒症，而且还会将车厢内的环境因素结合在一起(例如，孩子尖叫)。所述图像传感器还可用于检测手势，例如，诅咒姿势，以及可能具有不同含义(例如，国家/文化相关的姿势)的其它姿势。系统使用存储的数据来预测是否发生了交通遇险和路怒症，或者是否可能在不久的将来发生。嵌入到车辆中的图像传感器越来越普遍，市场上的一些车辆不仅包括外部图像传感器，还包括能够捕获整个车厢的内部图像传感器。
图10A-10B示出了各种实施例提供的本发明主题的图像传感器和来自传感器的捕获图像的示例。所述图像传感器可以包括安装在仪表板上或内部并朝向驾驶员1002的面部的NIR摄像头1001，以生成驾驶员面部的图像1010以进行进一步处理。
图11为各种实施例提供的检测驾驶员和乘客交通遇险的方法流程图。所描述的实施例示出了本发明主题的多模态方法，所述多模态方法从多个来源收集信息，包括但不限于姿势输入1101、情绪输入1102、驾驶行为输入1103、交通状况输入1104、语音输入1105、OBD/车辆状态数据1106和GPS数据1107，以检测驾驶员交通遇险和路怒症1110。
本系统的可替代实施例还可以包括可附着到方向盘的生物信号传感器和车辆中的其它接触点。例如，用于车辆的变速箱离合器可以具有嵌入在所述结构中的传感器，所述传感器能够测量心跳和手部温度。此外，这些生物信号传感器可以嵌入车辆的其它部分，例如单选按钮和控制面板按钮。在驾驶过程中，方向盘是车辆触摸最多的部分之一，因此在各种实施例中，方向盘可以包括一个或多个生物信号传感器，以帮助更好地了解驾驶员的当前状态。此外，在一实施例中，可以从位于车辆内部的OBD端口获取从嵌入在车辆的结构和设备中的这些触摸传感器收集的数据。更多的实施例可以包括使用附着在车辆座椅上或附着在车辆内部且用于感测乘员的心跳的雷达、电容式或电感式传感器。在一实施例中，这些座椅传感器能够以无触控的方式工作。可替代实施例还可以包括使用车辆内部的图像传感器来执行远程光电体积描记术(remote photoplethysmography，简称rPPG)。远程光电体积描记术是一种使用图像传感器来检测皮肤发生的变化的技术，例如，由于血压的变化而直接导致心跳速率的变化。这是一种无触摸技术，意味着也可以使用用于检测面部表情和活动识别的相同图像传感器来进行光电体积描记术。在各种实施例中，图像传感器的选择可以是RGB成像传感器或近红外成像传感器。rPPG提供的附加信息也可以与从热成像摄像机获取的信息相结合。使用机器学习算法，所述系统可以进一步学习识别所述驾驶员皮肤中与压力水平以及路怒症相关的变化。此外，除了rPPG等技术之外，还可以使用其它方法来检测驾驶员面部的血流变化，包括使用欧拉视频放大方法来放大人面部的微妙变化。这可以进一步帮助机器学习算法跟踪随着时间推移发生的变化，并预测驾驶员是否会出现交通遇险并容易出现路怒症。
图12示出了各种实施例提供的用于检测驾驶员和乘客交通遇险的系统。在所描述的实施例中，手机1201作为系统的一部分安装在风挡上。然而，与之前的应用不同，本发明主题使用手机1201外部的多个传感器作为输入，因此不限于手机1201的车载传感器。另外，本发明主题可以将手机1201中的处理器作为主要计算设备，也可以使用车辆计算单元中的嵌入式处理器、指定单元或其组合。
图13示出了示例性实施例提供的用于实现设备执行方法的电路原理图；不是所有的组件都需要在各种实施例中使用。例如，所述计算设备可以分别使用不同组的组件和存储设备。
计算机1300形式的一个示例性计算设备可以包括处理单元1302、存储器1303、可移动存储器1310和不可移动存储器1312。虽然示例性计算设备图示并描述为计算机1300，但在不同实施例中，计算设备可以是不同的形式。例如，计算设备可以是智能手机、平板电脑、智能手表或包括与图13所示和所述的相同或相似元件的其它计算设备。智能手机、平板电脑和智能手表等设备通常统称为“移动设备”。此外，虽然各种数据存储元件被图示为所述计算机1300的一部分，但是存储器还可以或者可替代地包括通过网络例如互联网可访问的基于云的存储器，或者基于服务器的存储器。根据一实施例，计算机1300的各种组件通过系统总线1320连接。
所述存储器1303可包括易失性存储器1314和/或非易失性存储器1308。所述计算机1300可包括或访问计算环境。该计算环境包括各种计算机可读介质，如易失性存储器1314和/或非易失性存储器1308、可移动存储器1310和/或不可移动存储器1312。计算机存储器包括随机存取存储器(random access memory，简称RAM)、只读存储器(read onlymemory，简称ROM)、可擦除可编程只读存储器(erasable programmable read-onlymemory，简称EPROM)或电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory，简称EEPROM)、闪存或其它存储器技术、只读光盘(compact disc read-only memory，简称CD ROM)、数字多功能光盘(digital versatiledisc，简称DVD)或其它光盘存储器、盒式磁带、磁带、磁盘存储器或其它磁存储设备，或者任何其它能够存储计算机可读指令的介质。
计算机1300可以包括或者可以访问包括输入设备1306、输出设备1304和通信接口1316的计算环境。在各种实施例中，通信接口1316包括收发器和天线。所述输出设备1304可以包括可以用作输入设备的显示设备，例如触摸屏。输入设备1306可以包括触摸屏、触摸板、鼠标、键盘、摄像头、一个或多个设备特定按钮以及其它输入设备中的一个或多个。各种实施例包括一个或多个集成在计算机1300内部或通过有线或无线数据连接耦合到计算机1300的传感器1307。计算机1300可以使用通信连接在联网环境中运行，以连接到一个或多个远程计算机，例如数据库服务器。所述远程计算机可以包括个人计算机(personalcomputer，简称PC)、服务器、路由器、网络PC、对等设备或其它公共网络节点等。通信连接可以包括局域网(local area network，简称LAN)、广域网(wide area network，简称WAN)、蜂窝网络、Wi-Fi网络、蓝牙网络或其它网络。
计算机可读指令例如程序1318包括存储在计算机可读介质上可由计算机1300的处理单元1302执行的指令。硬盘驱动器、CD-ROM或RAM是产品的一些示例，所述产品包括如存储设备的非瞬时性计算机可读介质。所述术语“计算机可读介质”和“存储设备”不包括载波，在一定程度上，载波被认为过于短暂。存储器也可包括联网存储器，例如存储区域网络(storage area network，简称SAN)。
图14示出了示例性实施例提供的用于实现设备执行方法的电路原理图；计算机1400形式的一个示例性计算设备可以包括处理单元1402、程序运行所在的存储器1403、通用存储组件1410和深度学习模型存储器1411。虽然所述示例性计算设备图示并描述为计算机1400，但在不同实施例中，计算设备可以是不同的形式。例如，所述计算设备可以替代为智能手机、平板电脑、智能手表、嵌入式平台或包括图14所示和描述的相同或相似元件的其它计算设备。根据一个实施例，计算机1400的各种组件通过系统总线1420连接。
存储器1403可包括用于包括但不限于人脸检测程序1431和姿势检测程序1432的程序的存储器，以及用于音频数据处理1433和传感器数据1434的存储器。计算机1400可以包括或者可以访问包括输入1406、系统输出1404和通信接口1416的计算环境。在各种实施例中，通信接口1416包括收发器和天线以及端口，例如OBD端口。所述系统输出1404可以包括可以用作输入设备的显示设备，例如触摸屏。在各种实施例中，所述系统输出1404可提供听觉或视觉警告。所述输入1406可以包括触摸屏、触摸板、鼠标、键盘、摄像头、麦克风中、一个或多个设备特定按钮和/或图像传感器输入1461、音频信号输入1462、车辆数据输入1463和GPS数据输入1464等一个或多个传感器输入中的一个或多个。在不脱离本发明主题范围的情况下，可以使用其它输入。计算机可读指令，即，一种程序，例如人脸检测程序1403，包括存储在计算机可读介质上且可由计算机1400的处理单元1402执行的指令。
结合各种实施例描述了本发明。然而，通过研究附图、本发明以及所附权利要求书，能够理解并获得公开实施例的其它变形和修改；此类变形和修改将被解释为涵盖在所附权利要求书中。在权利要求书中，词语“包括”不排除其它元素或步骤，单数形式不排除复数的情况。单个处理器或其它单元可满足权利要求中描述的几项的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被使用。计算机程序可存储或分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过互联网或者其它有线或无线电信系统分发。
虽然上文详细描述了几个实施例但是可能进行其它修改。例如为了获得期望的结果附图中描绘的逻辑流不需要按照所示的特定顺序或者先后顺序。所述流程中可提供其它步骤或删除步骤，所述系统中可以添加或移除其它组件。其它实施例可以在所附权利要求书的范围内。

Claims (19)

1.一种警告生成方法，其特征在于，所述方法包括：
一个或多个处理器从多个传感器接收输入，所述多个传感器包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统数据传感器；
所述一个或多个处理器处理接收到的输入，得到驾驶员热量变化估计、驾驶员表情估计、驾驶员姿势估计、车载诊断系统估计和全球定位系统估计；
所述一个或多个处理器将所述估计存储在存储器中；
所述一个或多个处理器使用所述存储的估计为所述驾驶员热量变化估计、所述驾驶员表情估计、所述驾驶员姿势估计、所述车载诊断系统估计和所述全球定位系统估计中的每一个生成偏差得分；
所述一个或多个处理器执行机器学习算法以便根据所述偏差得分将驾驶员行为分类为正常或异常；
所述一个或多个处理器基于指示驾驶员行为异常的所述分类生成警告；
其中，为所述车载诊断系统估计生成所述偏差得分，包括：
从车载诊断系统中采集与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中的两个或两个以上相关的正常驾驶数据；
使用所述正常驾驶数据为车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个生成正常驾驶模型；
比较实时数据与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个的正常驾驶模型，以生成车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个的偏差得分。
2.根据权利要求1所述的方法，其特征在于，为所述驾驶员热量变化估计生成所述偏差得分，包括：
使用所述驾驶员的正常驾驶热像离线生成正常驾驶模型；
比较所述正常驾驶模型与所述驾驶员的实时热像数据，得到比较结果；
将概率密度函数应用于所述比较结果，得到所述驾驶员热量变化估计的偏差得分。
3.根据权利要求1所述的方法，其特征在于，为所述驾驶员表情估计生成所述偏差得分，包括：
使用检测跟踪验证对所述驾驶员的正面人脸图像进行局部处理；
从所述正面人脸图像的分割后的人脸区域构造人脸流帧；
使用编码器将全卷积网络应用于所述人脸流帧，包括使用多个卷积、池化、批量归一化和校正线性单元层；
将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络以通过高斯混合模型获得正常驾驶表情模型；
比较实时驾驶员或乘客表情与所述正常驾驶表情模型，以计算所述驾驶员表情估计的所述偏差得分。
4.根据权利要求1所述的方法，其特征在于，为所述驾驶员姿势估计生成所述偏差得分，包括：
检测驾驶员姿势，获取所述驾驶员的手部区域的图像；
从所述图像中构造两层手流，并对所述两层手流进行归一化以进行尺寸调整；
使用编码器将全卷积网络应用于所述两层手流，包括使用多个卷积、池化、批量归一化和校正线性单元层；
将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络以通过高斯混合模型获得正常驾驶姿势模型；
比较实时驾驶员姿势与所述正常驾驶姿势模型，以计算所述驾驶员姿势估计的所述偏差得分。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述警告包括视觉警报。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述警告包括音频输出。
7.根据权利要求1至4任一项所述的方法，其特征在于，所述警告包括使用显示器的建议的纠正驾驶员动作。
8.根据权利要求1至4任一项所述的方法，其特征在于，使用所述处理器执行所述机器学习算法以将所述驾驶员行为分类为正常或异常包括使用高斯混合模型。
9.根据权利要求8所述的方法，其特征在于，期望最大化用于估计所述高斯混合模型的模型参数。
10.根据权利要求1所述的方法，其特征在于，所述处理器用于离线生成正常驾驶模型，以便与实时驾驶数据进行比较。
11.一种警告生成系统，其特征在于，所述系统包括：
多个传感器，包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统数据传感器；
一个或多个处理器，与所述多个传感器通信，所述一个或多个处理器用于：
接收来自所述多个传感器的输入；
处理接收到的输入，得到驾驶员热量变化估计、驾驶员表情估计、驾驶员姿势估计、车载诊断系统估计和全球定位系统估计；
将所述估计存储在存储器中；
使用所述存储的估计，为所述驾驶员热量变化估计、所述驾驶员表情估计、所述驾驶员姿势估计、所述车载诊断系统估计和所述全球定位系统估计中的每一个生成偏差得分；
执行机器学习算法以便根据所述偏差得分将驾驶员行为分类为正常或异常；
根据指示驾驶员行为异常的所述分类生成警告；
其中，为所述车载诊断系统估计生成所述偏差得分，包括：
从车载诊断系统中采集与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中的两个或两个以上相关的正常驾驶数据；
使用所述正常驾驶数据为车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个生成正常驾驶模型；
比较实时数据与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个的正常驾驶模型，以生成车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个的偏差得分。
12.根据权利要求11所述的系统，其特征在于，所述多个传感器还包括所述车辆的面向外部的传感器。
13.根据权利要求11所述的系统，其特征在于，所述处理器还用于接收交通信息输入，包括限速和车道方向中的至少一种。
14.根据权利要求11所述的系统，其特征在于，所述警告包括使用显示器的建议的纠正驾驶员动作。
15.一种车辆，包含权利要求11至14任一项所述的警告生成系统。
16.一种非瞬时性计算机可读介质，其特征在于，所述非瞬时性计算机可读介质存储计算机指令以生成警告；当所述计算机指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
从多个传感器接收输入，包括车内图像传感器、车内音频传感器、车辆数据传感器和全球定位系统数据传感器；
处理接收到的输入，得到驾驶员热量变化估计、驾驶员表情估计、驾驶员姿势估计、车载诊断系统估计和全球定位系统估计；
将所述估计存储在存储器中；
使用所述存储的估计为所述驾驶员热量变化估计、所述驾驶员表情估计、所述驾驶员姿势估计、所述车载诊断系统估计和所述全球定位系统估计中的每一个生成偏差得分；
执行机器学习算法以便根据所述偏差得分将驾驶员行为分类为正常或异常；
根据指示驾驶员行为异常的所述分类生成警告；
其中，为所述车载诊断系统估计生成所述偏差得分，包括：
从车载诊断系统中采集与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中的两个或两个以上相关的正常驾驶数据；
使用所述正常驾驶数据为车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个生成正常驾驶模型；
比较实时数据与车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个的正常驾驶模型，以生成车速、方向盘角度、方向盘角度误差、车道通过时间和冲突时间中所述两个或两个以上中的每一个的偏差得分。
17.根据权利要求16所述的计算机可读介质，其特征在于，为所述驾驶员热量变化估计生成所述偏差得分，包括：
利用所述驾驶员的正常驾驶热像离线生成正常驾驶模型；
比较所述正常驾驶模型与所述驾驶员的实时热像数据，得到比较结果；
将概率密度函数应用于所述比较结果，得到所述驾驶员热量变化估计的所述偏差得分。
18.根据权利要求16所述的计算机可读介质，其特征在于，为所述驾驶员表情估计生成所述偏差得分，包括：
使用检测跟踪验证对所述驾驶员的正面人脸图像进行局部处理；
从所述正面人脸图像的分割后的人脸区域构造人脸流帧；
使用编码器将全卷积网络应用于所述人脸流帧，包括使用多个卷积、池化、批量归一化和校正线性单元层；
将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络以通过高斯混合模型获得正常驾驶表情模型；
比较实时驾驶员表情与所述正常驾驶表情模型，以计算所述驾驶员或乘客表情估计的所述偏差得分。
19.根据权利要求16所述的计算机可读介质，其特征在于，为所述驾驶员姿势估计生成所述偏差得分，包括：
检测驾驶员姿势，获取所述驾驶员的手部区域的图像；
从所述图像中构造两层手流，并对所述两层手流进行归一化以进行尺寸调整；
使用编码器将全卷积网络应用于所述两层手流，包括使用多个卷积、池化、批量归一化和校正线性单元层；
将所述编码器的最后一层的特征图重塑为向量形式以获得输出，并将所述输出应用于递归神经网络以通过高斯混合模型获得正常驾驶姿势模型；
比较实时驾驶员姿势与所述正常驾驶姿势模型，以计算所述驾驶员姿势估计的所述偏差得分。
CN201980014866.9A 2018-02-22 2019-02-20 交通遇险和路怒症检测方法 Active CN111741884B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/902,729 2018-02-22
US15/902,729 US10322728B1 (en) 2018-02-22 2018-02-22 Method for distress and road rage detection
PCT/CN2019/075558 WO2019161766A1 (en) 2018-02-22 2019-02-20 Method for distress and road rage detection

Publications (2)

Publication Number Publication Date
CN111741884A CN111741884A (zh) 2020-10-02
CN111741884B true CN111741884B (zh) 2022-11-04

Family

ID=66826167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980014866.9A Active CN111741884B (zh) 2018-02-22 2019-02-20 交通遇险和路怒症检测方法

Country Status (4)

Country Link
US (1) US10322728B1 (zh)
EP (1) EP3755597A4 (zh)
CN (1) CN111741884B (zh)
WO (1) WO2019161766A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11823055B2 (en) * 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10973470B2 (en) 2015-07-19 2021-04-13 Sanmina Corporation System and method for screening and prediction of severity of infection
US10750981B2 (en) 2015-09-25 2020-08-25 Sanmina Corporation System and method for health monitoring including a remote device
US10932727B2 (en) 2015-09-25 2021-03-02 Sanmina Corporation System and method for health monitoring including a user device and biosensor
US9788767B1 (en) 2015-09-25 2017-10-17 Sanmina Corporation System and method for monitoring nitric oxide levels using a non-invasive, multi-band biosensor
US10194871B2 (en) 2015-09-25 2019-02-05 Sanmina Corporation Vehicular health monitoring system and method
US10952682B2 (en) 2015-07-19 2021-03-23 Sanmina Corporation System and method of a biosensor for detection of health parameters
US10736580B2 (en) 2016-09-24 2020-08-11 Sanmina Corporation System and method of a biosensor for detection of microvascular responses
US10321860B2 (en) 2015-07-19 2019-06-18 Sanmina Corporation System and method for glucose monitoring
US10744261B2 (en) 2015-09-25 2020-08-18 Sanmina Corporation System and method of a biosensor for detection of vasodilation
US9636457B2 (en) 2015-07-19 2017-05-02 Sanmina Corporation System and method for a drug delivery and biosensor patch
US10888280B2 (en) 2016-09-24 2021-01-12 Sanmina Corporation System and method for obtaining health data using a neural network
US10945676B2 (en) 2015-09-25 2021-03-16 Sanmina Corporation System and method for blood typing using PPG technology
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
US11373460B2 (en) * 2017-08-28 2022-06-28 Cox Communications, Inc. Remote asset detection system
EP3493116B1 (en) 2017-12-04 2023-05-10 Aptiv Technologies Limited System and method for generating a confidence value for at least one state in the interior of a vehicle
US10466783B2 (en) 2018-03-15 2019-11-05 Sanmina Corporation System and method for motion detection using a PPG sensor
US11934520B2 (en) * 2018-03-28 2024-03-19 Nvidia Corporation Detecting data anomalies on a data interface using machine learning
US11074434B2 (en) * 2018-04-27 2021-07-27 Microsoft Technology Licensing, Llc Detection of near-duplicate images in profiles for detection of fake-profile accounts
US10655978B2 (en) * 2018-06-27 2020-05-19 Harman International Industries, Incorporated Controlling an autonomous vehicle based on passenger behavior
EP3856596A4 (en) * 2018-09-30 2022-10-12 Strong Force Intellectual Capital, LLC INTELLIGENT TRANSPORT SYSTEMS
US10696305B2 (en) * 2018-11-15 2020-06-30 XMotors.ai Inc. Apparatus and method for measuring physiological information of living subject in vehicle
US11200438B2 (en) 2018-12-07 2021-12-14 Dus Operating Inc. Sequential training method for heterogeneous convolutional neural network
US10635917B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
US11068069B2 (en) * 2019-02-04 2021-07-20 Dus Operating Inc. Vehicle control with facial and gesture recognition using a convolutional neural network
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11068701B2 (en) * 2019-06-13 2021-07-20 XMotors.ai Inc. Apparatus and method for vehicle driver recognition and applications of same
JP7247790B2 (ja) * 2019-07-02 2023-03-29 株式会社デンソー 走行環境監視装置、走行環境監視システム、及び走行環境監視プログラム
US11983952B2 (en) * 2019-09-05 2024-05-14 Mitsubishi Electric Corporation Physique determination apparatus and physique determination method
CN110705370B (zh) * 2019-09-06 2023-08-18 中国平安财产保险股份有限公司 基于深度学习的路况识别方法、装置、设备及存储介质
JP2021041800A (ja) * 2019-09-10 2021-03-18 株式会社Ｓｕｂａｒｕ 車両用制御装置
EP3795441A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
EP3796209A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and system for determining an activity of an occupant of a vehicle
US20240095836A1 (en) * 2019-10-02 2024-03-21 BlueOwl, LLC Cloud-based vehicular telematics systems and methods for generating hybrid epoch driver predictions and hazard alerts
CN110525447A (zh) * 2019-10-09 2019-12-03 吉林大学 一种防商用车驾驶员路怒的人机共驾系统
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
CN113393664A (zh) * 2020-02-26 2021-09-14 株式会社斯巴鲁 驾驶辅助装置
US11494865B2 (en) 2020-04-21 2022-11-08 Micron Technology, Inc. Passenger screening
US11091166B1 (en) 2020-04-21 2021-08-17 Micron Technology, Inc. Driver screening
CN111605556B (zh) * 2020-06-05 2022-06-07 吉林大学 一种防路怒症识别及控制系统
US11418863B2 (en) 2020-06-25 2022-08-16 Damian A Lynch Combination shower rod and entertainment system
US11753047B2 (en) * 2020-06-29 2023-09-12 Micron Technology, Inc. Impaired driver assistance
US11840246B2 (en) * 2020-06-29 2023-12-12 Micron Technology, Inc. Selectively enable or disable vehicle features based on driver classification
DE112020007404T5 (de) * 2020-07-09 2023-05-17 Mitsubishi Electric Corporation Insassenzustandserkennungsvorrichtung und insassenzustandserkennungsverfahren
GB2597944A (en) * 2020-08-11 2022-02-16 Daimler Ag A method for predicting a user of a user with an autoencoder algorithm, as well as electronic computing device
US20220073085A1 (en) * 2020-09-04 2022-03-10 Waymo Llc Knowledge distillation for autonomous vehicles
KR20220074566A (ko) * 2020-11-27 2022-06-03 현대자동차주식회사 차량용 영상 녹화 장치 및 그 방법
US11753019B2 (en) * 2020-11-30 2023-09-12 Sony Group Corporation Event determination for vehicles and occupants of mobility provider on MaaS platform
CN112906617B (zh) * 2021-03-08 2023-05-16 济南中凌电子科技有限公司 一种基于手部检测的驾驶员异常行为识别方法与系统
JP2022187273A (ja) * 2021-06-07 2022-12-19 トヨタ自動車株式会社 情報処理装置および運転評価システム
CN113415286B (zh) * 2021-07-14 2022-09-16 重庆金康赛力斯新能源汽车设计院有限公司 路怒检测方法和设备
GB2618313A (en) * 2022-04-22 2023-11-08 Continental Automotive Tech Gmbh A method and system for detecting a state of abnormality within a cabin
WO2024022963A1 (de) 2022-07-29 2024-02-01 Saint-Gobain Glass France Anordnung für fahrerassistenzsystem
CN115223104B (zh) * 2022-09-14 2022-12-02 深圳市睿拓新科技有限公司 一种基于场景识别的违章作业行为检测方法及系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6156629A (ja) 1984-08-28 1986-03-22 アイシン精機株式会社 車上心拍計
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7394393B2 (en) * 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
DE102006011481A1 (de) * 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
US7839292B2 (en) * 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US20110187518A1 (en) * 2010-02-02 2011-08-04 Ford Global Technologies, Llc Steering wheel human/machine interface system and method
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
TWI447039B (zh) * 2011-11-25 2014-08-01 駕駛行為分析警示系統與方法
US9031293B2 (en) 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20150213555A1 (en) 2014-01-27 2015-07-30 Hti Ip, Llc Predicting driver behavior based on user data and vehicle data
US9563998B2 (en) 2014-06-11 2017-02-07 Veridium Ip Limited System and method for facilitating user access to vehicles based on biometric information
CN104112335A (zh) * 2014-07-25 2014-10-22 北京机械设备研究所 一种基于多信息融合的疲劳驾驶检测方法
WO2016151554A1 (en) * 2015-03-26 2016-09-29 Lightmetrics Technologies Pvt. Ltd. Driver monitoring to determine context of event
US9821657B2 (en) * 2015-04-22 2017-11-21 Motorola Mobility Llc Drowsy driver detection
WO2016195474A1 (en) * 2015-05-29 2016-12-08 Charles Vincent Albert Method for analysing comprehensive state of a subject
US10932727B2 (en) 2015-09-25 2021-03-02 Sanmina Corporation System and method for health monitoring including a user device and biosensor
US10244983B2 (en) * 2015-07-20 2019-04-02 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20170091872A1 (en) 2015-09-24 2017-03-30 Renesas Electronics Corporation Apparatus and method for evaluating driving ability, and program for causing computer to perform method
JP6985005B2 (ja) 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
US20170105667A1 (en) 2015-10-15 2017-04-20 Josh WEI Stress and Heart Rate Trip Monitoring System and Method
JP2017121286A (ja) 2016-01-05 2017-07-13 富士通株式会社 情動推定システム、情動推定方法および情動推定プログラム
JP6971017B2 (ja) 2016-04-12 2021-11-24 ソニーモバイルコミュニケーションズ株式会社 検出装置、検出方法、およびプログラム
US10318831B2 (en) * 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
CN106114516A (zh) * 2016-08-31 2016-11-16 合肥工业大学 一种自适应驾驶人特性的愤怒驾驶行为监测及干预装置
CN206885034U (zh) * 2017-06-29 2018-01-16 吉林大学 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统
CN107235045A (zh) * 2017-06-29 2017-10-10 吉林大学 考虑生理与操控信息的驾驶员路怒状态车载识别交互系统

Also Published As

Publication number Publication date
CN111741884A (zh) 2020-10-02
WO2019161766A1 (en) 2019-08-29
EP3755597A1 (en) 2020-12-30
US10322728B1 (en) 2019-06-18
EP3755597A4 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
CN111741884B (zh) 交通遇险和路怒症检测方法
US11375338B2 (en) Method for smartphone-based accident detection
Alkinani et al. Detecting human driver inattentive and aggressive driving behavior using deep learning: Recent advances, requirements and open challenges
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
US20200331387A1 (en) System and method for driver distraction determination
Omerustaoglu et al. Distracted driver detection by combining in-vehicle and image data using deep learning
US20190370580A1 (en) Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
US10655978B2 (en) Controlling an autonomous vehicle based on passenger behavior
CN110765807B (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
Sathyanarayana et al. Information fusion for robust ‘context and driver aware’active vehicle safety systems
JP7303901B2 (ja) 複数の候補からドライバーを選択する提案システム
Jafarnejad et al. Non-intrusive Distracted Driving Detection based on Driving Sensing Data.
Lashkov et al. Aggressive behavior detection based on driver heart rate and hand movement data
Tarba et al. The driver's attention level
Xie et al. An SVM parameter learning algorithm scalable on large data size for driver fatigue detection
Pradhan et al. Driver Drowsiness Detection Model System Using EAR
EP4332886A1 (en) Electronic device, method for controlling electronic device, and program
KASHEVNIK et al. PERSONALIZED DANGEROUS SITUATION DETECTION IN VEHICLE CABINS USING SMARTPHONE SENSORS
Abut et al. Vehicle Systems and Driver Modelling: DSP, human-to-vehicle interfaces, driver behavior, and safety
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers
Hijaz et al. Driver Visual Focus of Attention Estimation in Autonomous Vehicles
Sakethram et al. Inattentional Driver Detection Using Faster R-CNN and Resnet
Rimal et al. Driver Monitoring System using an Embedded Computer Platform
Huang et al. Air Traffic Controller Fatigue Detection Based on Facial and Vocal Features Using Long Short-Term Memory
Abut et al. Intelligent Vehicles and Transportation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant