CN105740767A - 一种基于脸部特征的驾驶员路怒症实时识别和预警方法 - Google Patents

一种基于脸部特征的驾驶员路怒症实时识别和预警方法 Download PDF

Info

Publication number
CN105740767A
CN105740767A CN201610044980.4A CN201610044980A CN105740767A CN 105740767 A CN105740767 A CN 105740767A CN 201610044980 A CN201610044980 A CN 201610044980A CN 105740767 A CN105740767 A CN 105740767A
Authority
CN
China
Prior art keywords
rgb
depth
driver
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610044980.4A
Other languages
English (en)
Inventor
毛启容
刘鹏
刘峰
詹永照
陈龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201610044980.4A priority Critical patent/CN105740767A/zh
Publication of CN105740767A publication Critical patent/CN105740767A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于脸部特征的驾驶员路怒症实时识别和预警方法，首先，运用Kinect从实时视频数据中追踪驾驶员人脸、提取驾驶员人脸的RGB图像和Depth图像，然后，将这两种图像信息进行灰度化、图像大小归一化以及均值滤波去除噪声等预处理操作后分别输入到训练好的CNN模型中进行特征提取，将提取的特征输入Softmax分类器进行识别，分别对人脸的RGB图像和Depth图像连续的30帧的分类结果进行融合，计算得到两通道置信度的概率值，比较两个置信度大小，置信度最高的为驾驶员表情最终识别结果，并根据识别结果对驾驶员进行预警。本发明融合RGB?D驾驶员脸部特征信息，在夜间或者恶劣驾驶环境下，依然能实现实时、高精度地识别驾驶员愤怒情感进行预警。

Description

一种基于脸部特征的驾驶员路怒症实时识别和预警方法
技术领域
本发明涉及一种实时识别和预警驾驶员路怒症的方法，特指一种基于脸部特征的驾驶员路怒症实时识别和预警方法。
背景技术
近年来，由于经济的高速发展使得人民生活水平大大提高，国民拥有私家车的数量不断增加，于此同时交通事故的发生率也不断上升，车辆与安全问题已经成为社会关注的热点。其中驾驶员路怒症也是影响安全驾驶的重要原因。
“路怒症”概念最早来自国外心理学。随着中国汽车数量增多，这一心理问题也受到国内越来越多专家的关注。“路怒”(road rage)是形容在交通阻塞情况下，开车压力与挫折所导致的愤怒情绪，发作者会袭击他人的汽车，有时无辜的同车乘客也会遭殃。医学界把“路怒症”归类为阵发型暴怒障碍，指多重的怒火爆发出来，猛烈程度叫人大感意外。路怒症发作的人经常会口出威胁、动粗甚至毁损他人财物，也就是攻击性驾驶。研究表明，相当多的司机都有这些症状，但是很多司机并意识不到自己的病态。近些年，通过新闻报道也了解到很多交通事故的发生就是因为路怒症，路怒症现象越来越多，给我们的生命和财产造成了重大损失。
目前对驾驶员路怒症报道的文献很多，多数主要分析驾驶员愤怒情绪对驾驶安全的影响，而针对驾驶员愤怒情绪的实时识别和预警方法方面的研究，目前还未见报道。虽然很多学者针对日常生活中的情感信息进行分析和识别，取得了一定的突破，但是这些模型复杂，实时性很难达到，在图像光照不好的情况下，识别精度不高，不适合驾驶员愤怒情绪的检测和预警。
发明内容
本发明为了克服现已存在的问题，通过引入Kinect这一高速3D摄像设备提取驾驶员脸部的RGB图像信息和Depth图像信息，并针对这些特征提出了一整套切实可行的基于脸部特征的驾驶员路怒症识别和预警方法，大大提高了识别精度与速度。具体技术方案如下：
一种基于脸部特征的驾驶员路怒症实时识别和预警方法，包括CNN模型训练的步骤和表情识别的步骤；
所述CNN模型训练的步骤包括：
S1，基于Kinect获取驾驶员脸部RGB图像和Depth图像数据库；
S2,对S1数据库中的RGB图像和Depth图像分别进行预处理；
S3,利用预处理得到的RGB图像训练CNN模型，得到基于RGB信息的驾驶员路怒症识别模型；利用预处理得到的Depth图像训练CNN模型，得到基于Depth信息的驾驶员路怒症识别模型；
所述表情识别的步骤包括：
S4，实时采集连续N帧驾驶员脸部图像并进行预处理操作；
S5，针对S4中采集的N帧图像，利用S3所述的基于RGB信息的驾驶员路怒症识别模型获得基于RGB图像的输出判别信息；
S6，针对S4中采集的N帧图像，利用S3所述的基于Depth信息的驾驶员路怒症识别模型获得基于Depth图像的输出判别信息；
S7，融合S5的输出判别信息和S6的输出判别信息，对两者分配不同的权重之后求置信度，置信度最大值对应的判别信息即为最终输出的表情识别结果。
进一步优选方案，S7还包括：根据表情识别结果通过语音提示对驾驶员进行预警。
进一步优选方案，步骤S1的实现包括：
S1.1，制定规范，包括录制规范以及图像文件命名规范；
S1.2，利用基于FaceBasics-D2D编写的录制软件从Kinect的实时视频流中追踪若干名驾驶员脸部并提取RGB图像和Depth图像信息，建立由若干组RGB信息和Depth信息组成的数据库；
S1.3，对S1.2中所述数据库中的若干组RGB信息和Depth信息进行无监督K-means训练分类，然后人工选取和标定愤怒表情和正常表情。
进一步优选方案，所述若干名驾驶员为20名，所述若干组RGB信息和Depth信息为20000组。
进一步优选方案，步骤S2中所述的预处理具体包括：图像灰度化、图像大小归一化以及均值滤波。
进一步优选方案，步骤S3中所述利用预处理得到的RGB图像训练CNN模型的具体实现包括：
将愤怒表情的数据的标签置为1，正常表情的数据的标签置为0，然后运用这些标签过的RGB数据训练CNN模型；然后CNN模型识别出给定的RGB数据是否属于正常表情类别，如果是，输出0，否则输出1；
步骤S3中所述利用预处理得到的Depth图像训练CNN模型的具体实现包括：
将愤怒表情的数据的标签置为1，正常表情的数据的标签置为0，然后运用这些标签过的Depth数据训练CNN模型；然后CNN模型识别出给定的RGB数据是否属于正常表情类别，如果是，输出0，否则输出1。
进一步优选方案，所述N＝30。
进一步优选方案，所述步骤S5的具体实现包括：利用一个长度为30的队列实时存储最新30帧的判别信息：
G R G B ( i ) = C R G B ( i ) + R R G B ( i | j ) , 0 < j &le; 30. C R G B ( i ) + R R G B ( i | j ) - R R G B ( i | ( j - 30 ) ) , j > 30. , ( i = 1 , 2 ; j = 1 , 2... ) ;
其中，CRGB(i)表示各帧的识别结果累加和，RRGB(i|j)表示各帧的识别结果，i表示表情类别的编号，j表示帧的序列号；
所述步骤S6的具体实现包括：利用一个长度为30的队列实时存储最新30帧的判别信息：
G D e p t h ( i ) = C D e p t h ( i ) + R D e p t h ( i | j ) , 0 < j &le; 30. C D e p t h ( i ) + R D e p t h ( i | j ) - R D e p t h ( i | ( j - 30 ) ) , j > 30. , ( i = 1 , 2 ; j = 1 , 2... ) ;
其中，CDepth(i)表示各帧的识别结果累加和，RDepth(i|j)表示各帧的识别结果，i表示表情类别的编号，j表示帧的序列号。
进一步优选方案，所述步骤S7的具体实现包括：
S7.1，计算RGB通道的正常表情和愤怒表情的概率PRGB(i)：
PRGB(i)＝a*CRGB(i)/(a*CRGB(i)+b*CDepth(i))，i＝1,2；
S7.2，计算Depth通道的正常表情和愤怒表情的概率PDepth(i):
PDepth(i)＝b*CDepth(i)/(a*CRGB(i)+b*CDepth(i))，i＝1,2；
S7.3，比较S7.1、S7.2中计算结果的大小，拥有较高置信度ER的即为对最新30帧图像的最终表情识别结果：
ER＝max{PRGB(i)，PDepth(i)}，i＝1,2；
其中，a为基于RGB图像的输出判别信息的权重，b为基于Depth图像的输出判别信息的权重
本发明的有益效果：
1、成功解决了基于表情驾驶员路怒症识别和预警的问题，凭借RGB-D实现了高精度实时表情识别。
2、充分考虑了情感表达的非瞬时性，通过统计最新连续30帧(即1秒内)图像所表现的表情，得到了综合的表情识别结果，同时能够实时识别驾驶员表情。
3、通过融合RGB和Depth双通道输出得到的识别结果，最终得到更为可靠的驾驶员情感识别结果，即使在夜间或者恶劣驾驶环境下，依然能够实现实时、高精度地识别驾驶员愤怒情感。
4、驾驶员情感被识别为愤怒时进行预警，预警的方法是语音提示或者播放一段轻松的音乐进行提示。
附图说明
图1是基于表情驾驶员路怒症识别和预警方法的流程图；
图2是决策层最大置信融合的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
图1给出了本发明的总体过程，运用Kinect从实时视频数据中追踪驾驶员人脸、获取驾驶员脸部的RGB图像和深度(Depth)图像，然后，将这两种图像信息进行灰度化、图像大小归一化以及均值滤波去除噪声等预处理操作后分别输入到训练好的CNN(Convolutional Neural Network)模型(如图1中所示，CNN结构选用两层)做特征提取，将提取的特征输入Softmax分类器进行驾驶员情感识别，然后对连续的30帧图像的分类结果进行融合，融合的方法是将得到RGB和Depth通道的识别结果分别累加，再乘以白天和晚上预设的权重(权重值由实验得到)，之后来比较两个通道输出结果的置信度大小，置信度最高的即为最终的表情识别结果，最后根据最终的表情识别结果判断是否预警。
图2给出的是决策层融合的方法。得到每帧图像的两个通道的识别结果，如果是正常表情，输出0，否则，输出1。保存连续30帧的图像识别结果后，之后累加，最后比较两个通道的置信度大小，置信度大的就是最终的表情识别结果。
由于现实中人的表情变化是个动态过程，并且这一过程不可能如同帧的刷新那么迅速，与其从某一帧的信息中识别表情，不如综合判断一段连续帧中的信息更为合理。本发明Kinect的图像的刷新频率为30帧/秒，可实时对最新30帧(即1秒内)表现的表情进行识别。
本发明提出的一种基于脸部特征的驾驶员路怒症实时识别和预警方法，由以下两个部分实现。
一、CNN模型的训练。包括：
S1.基于Kinect获取驾驶员实时脸部表情图像(包括RGB图像和Depth图像)数据库；具体包括：
S1.1：制定脸部表情数据库规范
在脸部表情特征数据库的整个录制过程中的每一步都应遵从特定的规范，包括录制规范及图像文件命名规范。根据脸部表情研究的应用需求，具体涉及到的制作规范和含义如下：
(1)录制规范
为了使实验更切合实际环境，录制的场所在行驶的自家车上，时间选白天和夜间录制，录制设备为传感器Kinect For Windows，以及配置为Inter dual-core,2.8GHz CPU,4G RAM的电脑一台,录制软件是基于配套开发工具FaceBasics-D2D编写的。
(2)图像文件命名规范
为了方便脸部表情特征数据的组织和检索，对单个表情特征有直观的描述，我们设计了特征文件命名规范。由于RGB图像和Depth图像是分开处理的，在命名时不对驾驶员脸部表情类型进行区别，而是将其分别放于RGB图像和Depth图像的文件夹中，文件名分别是RGB_i(i＝1,2,3,4...)和Depth_i(i＝1,2,3...)，之后就是分类加标签,包括正常表情(非愤怒时的表情)和愤怒表情，我们用到的方法是无监督k-means聚类，之后人工处理对类别归为两类，分别加标签。
S1.2：利用基于FaceBasics-D2D编写的录制软件从Kinect的实时视频流中追踪若干名驾驶员脸部并提取RGB图像和Depth图像信息，建立由若干组RGB信息和Depth信息组成的数据库。录制的具体步骤如下：
(1)选择驾驶路径，并且记录驾驶员的个人信息(编号)，并保证kinect能够准确的采集到驾驶员的面部，然后实时的跟踪，保存在所有场景下的驾驶员脸部表情变化。
(2)在驾驶员驾驶过程中需要进行人员的调换，以保证训练CNN模型的数据充足，调换的人员后重复步骤(1)。
(3)进行信息汇总，得到20名驾驶员的表情数据(实际中，驾驶员数量越多，对表情最终识别的准确度越有帮助)，约20000组数据。
(4)分别创建驾驶员RGB图像情感数据库和Depth图像情感数据库。
S1.3：对所属数据的RGB信息和Depth信息进行无监督K-means训练分类，然后再人工选取和标定愤怒表情和正常表情。
S2，对数据库中RGB信息和Depth信息进行灰度化、图像大小归一化以及均值滤波去除噪声等预处理操作。
S3，训练CNN模型，包括如下：
基于RGB信息的驾驶员路怒症识别模型：将愤怒的表情图像标签置为1，正常的表情图像标签均置为0，然后运用这些标签过的RGB数据训练CNN模型，此CNN模型便可用于识别给定的RGB图像数据是否正常表情类别，如果是，输出0，否则输出1。
基于Depth信息的驾驶员路怒症识别模型：将愤怒的表情图像标签置为1，正常的表情图像标签均置为0，然后运用这些标签过的Depth数据训练CNN模型，此CNN模型便可用于识别给定的RGB图像数据是否正常表情类别，如果是，输出0，否则输出1。
二、进行驾驶员路怒症识别，包括如下步骤：
S4，实时采集连续N帧驾驶员脸部图像并进行预处理操作；
S5，利用所述的基于RGB信息的驾驶员路怒症识别模型获得基于RGB图像的输出判别信息。具体操作为：
将预处理操作后的RGB图像输入到训练好的基于RGB信息的驾驶员路怒症识别模型中进行特征提取，将提取的特征输入Softmax分类器进行识别，输出的识别结果可记为RRGB(i|j)，其中i＝1或2，i＝1时代表正常表情，i＝2时代表愤怒表情，j(j＝1,2…)代表帧的序列号；当模型输出第j帧的判别结果为0时，RRGB(1|j)＝1，RRGB(2|j)＝0，j＝1,2，…；当模型输出第j帧的判别结果为1时，RRGB(2|j)＝1，RRGB(1|j)＝0，j＝1,2,…。
对于RGB图像，每帧的识别结果将存储在缓冲存储器中，各帧的识别结果的累加和表示为CRGB(i)(i＝1,2)，其初始值为0，可表示为：
G R G B ( i ) = C R G B ( i ) + R R G B ( i | j ) , 0 < j &le; 30. C R G B ( i ) + R R G B ( i | j ) - R R G B ( i | ( j - 30 ) ) , j > 30. , ( i = 1 , 2 ; j = 1 , 2... ) - - - ( 1 )
缓冲存储器的功能类似于一个长度为30的队列，它实时存储最新30帧的预识别结果，当总的帧数还未超过30时，识别结果RRGB(i|j)(1或0)将直接累计至CRGB(i)；当总的帧数超过30时，累计最新的识别结果RRGB(i|j)(i＝1,2)之前应先将30帧之前的识别结果RRGB(i|(j-30))出队
S6，利用所述的基于Depth信息的驾驶员路怒症识别模型获得基于Depth图像的输出判别信息。具体操作为：
将预处理操作后的Depth图像输入到训练好的基于Depth信息的驾驶员路怒症识别模型中进行特征提取，将提取的特征输入Softmax分类器进行识别，输出的识别结果记为RDepth(i|j)，其中i＝1或2，i＝1时代表正常表情，i＝2时代表愤怒表情，j(j＝1,2…)代表帧的序列号；当模型输出第j帧的判别结果为0时，RDepth(1|j)＝1，RDepth(2|j)＝0，j＝1,2，…；当模型输出第j帧的判别结果为1时，RDepth(2|j)＝1，RDepth(1|j)＝0，j＝1,2,…。
对于Depth图像，每帧的识别结果将存储在缓冲存储器中，各帧的预识别结果的累加和表示为CRGB(i)(i＝1,2)，其初始值为0，可表示为：
G D e p t h ( i ) = C D e p t h ( i ) + R D e p t h ( i | j ) , 0 < j &le; 30. C D e p t h ( i ) + R D e p t h ( i | j ) - R D e p t h ( i | ( j - 30 ) ) , j > 30. , ( i = 1 , 2 ; j = 1 , 2... ) - - - ( 2 )
缓冲存储器的功能类似于一个长度为30的队列，它实时存储最新30帧的预识别结果，当总的帧数还未超过30时，识别结果RDepth(i|j)(1或0)将直接累计至CDepth(i)；当总的帧数超过30时，累计最新的识别结果RDepth(i|j)(i＝1,2)之前应先将30帧之前的识别结果RDepth(i|(j-30))出队。
S7，融合S5的输出判别信息和S6的输出判别信息，对两者分配不同的权重之后求置信度，置信度最大值对应的判别信息即为最终输出的表情识别结果。具体操作为：
将RGB通道和Depth通道输出的累加和分别乘以预设的权重a、b，如果是白天，设a＝0.7，b＝0.3，如果是夜晚，设a＝0.1，b＝0.9。
计算RGB通道的正常表情和愤怒表情的概率PRGB(i)，如公式(3)所示。
PRGB(i)＝a*CRGB(i)/(a*CRGB(i)+b*CDepth(i)) (i＝1,2) (3)
计算Depth通道的正常表情和愤怒表情的概率PDepth(i)，如公式(4)所示。
PDepth(i)＝b*CDepth(i)/(a*CRGB(i)+b*CDepth(i)) (i＝1,2) (4)
比较这两个结果的置信度，如公式(5)所示，拥有较高置信度ER即为对最新30帧图像的最终表情识别结果。
ER＝max{PRGB(i)，PDepth(i)} (i＝1,2) (5)
判断驾驶员表情识别结果，是否需要进行预警，如果驾驶员的表情被识别为愤怒，则通过语音提示或者播放一段轻松的音乐提示进行预警；否则，不预警。
以上所述仅为本发明技术方案和具体实施例的描述，并不用于限定本发明的保护范围，应当理解，在不违背本发明实质内容和精神的前提下，所作任何修改、等同替换等都将落入本发明的保护范围内。

Claims (9)

1.一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，包括CNN模型训练的步骤和表情识别的步骤；
所述CNN模型训练的步骤包括：
S1,基于Kinect获取驾驶员脸部RGB图像和Depth图像数据库；
S2,对S1数据库中的RGB图像和Depth图像分别进行预处理；
S3,利用预处理得到的RGB图像训练CNN模型，得到基于RGB信息的驾驶员路怒症识别模型；利用预处理得到的Depth图像训练CNN模型，得到基于Depth信息的驾驶员路怒症识别模型；
所述表情识别的步骤包括：
S4，实时采集连续N帧驾驶员脸部图像并进行预处理操作；
S5，针对S4中采集的N帧图像，利用S3所述的基于RGB信息的驾驶员路怒症识别模型获得基于RGB图像的输出判别信息；
S6，针对S4中采集的N帧图像，利用S3所述的基于Depth信息的驾驶员路怒症识别模型获得基于Depth图像的输出判别信息；
S7，融合S5的输出判别信息和S6的输出判别信息，对两者分配不同的权重之后求置信度，置信度最大值对应的判别信息即为最终输出的表情识别结果。
2.根据权利要求1所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，S7还包括：根据表情识别结果通过语音提示对驾驶员进行预警。
3.根据权利要求1所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，步骤S1的实现包括：
S1.1，制定规范，包括录制规范以及图像文件命名规范；
S1.2，利用基于FaceBasics-D2D编写的录制软件从Kinect的实时视频流中追踪若干名驾驶员脸部并提取RGB图像和Depth图像信息，建立由若干组RGB信息和Depth信息组成的数据库；
S1.3，对S1.2中所述数据库中的若干组RGB信息和Depth信息进行无监督K-means训练分类，然后人工选取和标定愤怒表情和正常表情。
4.根据权利要求3所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，所述若干名驾驶员为20名，所述若干组RGB信息和Depth信息为20000组。
5.根据权利要求1所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，步骤S2中所述的预处理具体包括：图像灰度化、图像大小归一化以及均值滤波。
6.根据权利要求1所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，步骤S3中所述利用预处理得到的RGB图像训练CNN模型的具体实现包括：
将愤怒表情的数据的标签置为1，正常表情的数据的标签置为0，然后运用这些标签过的RGB数据训练CNN模型；然后CNN模型识别出给定的RGB数据是否属于正常表情类别，如果是，输出0，否则输出1；
步骤S3中所述利用预处理得到的Depth图像训练CNN模型的具体实现包括：
将愤怒表情的数据的标签置为1，正常表情的数据的标签置为0，然后运用这些标签过的Depth数据训练CNN模型；然后CNN模型识别出给定的RGB数据是否属于正常表情类别，如果是，输出0，否则输出1。
7.根据权利要求1所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，所述N＝30。
8.根据权利要求7所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，所述步骤S5的具体实现包括：利用一个长度为30的队列实时存储最新30帧的判别信息：
C R G B ( i ) = C R G B ( i ) + R R G B ( i | j ) , 0 < j &le; 30. R R G B ( i ) + R R G B ( i | j ) - R R G B ( i | ( j - 30 ) ) , j > 30 , ( i = 1 , 2 ; j = 1 , 2... ) ;
其中，CRGB(i)表示各帧的识别结果累加和，RRGB(i|j)表示各帧的识别结果，i表示表情类别的编号，j表示帧的序列号；
所述步骤S6的具体实现包括：利用一个长度为30的队列实时存储最新30帧的判别信息：
C D e p t h ( i ) = C D e p t h ( i ) + R D e p t h ( i | j ) , 0 < j &le; 30. R D e p t h ( i ) + R D e p t h ( i | j ) - R D e p t h ( i | ( j - 30 ) ) , j > 30 , ( i = 1 , 2 ; j = 1 , 2... ) ;
其中，CDepth(i)表示各帧的识别结果累加和，RDepth(i|j)表示各帧的识别结果，i表示表情类别的编号，j表示帧的序列号。
9.根据权利要求8所述一种基于脸部特征的驾驶员路怒症实时识别和预警方法，其特征在于，所述步骤S7的具体实现包括：
S7.1，计算RGB通道的正常表情和愤怒表情的概率PRGB(i)：
PRGB(i)＝a*CRGB(i)/(a*CRGB(i)+b*CDepth(i))，i＝1,2；
S7.2，计算Depth通道的正常表情和愤怒表情的概率PDepth(i):
PDepth(i)＝b*CDepth(i)/(a*CRGB(i)+b*CDepth(i))，i＝1,2；
S7.3，比较S7.1、S7.2中计算结果的大小，拥有较高置信度ER的即为对最新30帧图像的最终表情识别结果：
ER＝max{PRGB(i)，PDepth(i)}，i＝1,2；
其中，a为基于RGB图像的输出判别信息的权重，b为基于Depth图像的输出判别信息的权重。
CN201610044980.4A 2016-01-22 2016-01-22 一种基于脸部特征的驾驶员路怒症实时识别和预警方法 Pending CN105740767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610044980.4A CN105740767A (zh) 2016-01-22 2016-01-22 一种基于脸部特征的驾驶员路怒症实时识别和预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610044980.4A CN105740767A (zh) 2016-01-22 2016-01-22 一种基于脸部特征的驾驶员路怒症实时识别和预警方法

Publications (1)

Publication Number Publication Date
CN105740767A true CN105740767A (zh) 2016-07-06

Family

ID=56246390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610044980.4A Pending CN105740767A (zh) 2016-01-22 2016-01-22 一种基于脸部特征的驾驶员路怒症实时识别和预警方法

Country Status (1)

Country Link
CN (1) CN105740767A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106114516A (zh) * 2016-08-31 2016-11-16 合肥工业大学 一种自适应驾驶人特性的愤怒驾驶行为监测及干预装置
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
CN107633061A (zh) * 2017-09-21 2018-01-26 天时汇（北京）电子商务有限公司 一种腕表识别系统
CN107729986A (zh) * 2017-09-19 2018-02-23 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN108320735A (zh) * 2018-01-23 2018-07-24 北京易智能科技有限公司 一种多数据融合的情感识别方法及系统
CN108537198A (zh) * 2018-04-18 2018-09-14 济南浪潮高新科技投资发展有限公司 一种基于人工智能的驾驶习惯的分析方法
CN109165685A (zh) * 2018-08-21 2019-01-08 南京邮电大学 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN109299639A (zh) * 2017-07-25 2019-02-01 虹软(杭州)多媒体信息技术有限公司 一种用于表情识别的方法和装置
US10198655B2 (en) 2017-01-24 2019-02-05 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
CN109344781A (zh) * 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音视觉联合特征的视频内表情识别方法
CN109717792A (zh) * 2018-11-06 2019-05-07 余姚市雷阵雨电器有限公司 电动机噪声消除平台
WO2019126908A1 (zh) * 2017-12-25 2019-07-04 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
US20190227310A1 (en) * 2016-08-23 2019-07-25 Beijing Ileja Tech. Co. Ltd. Head-up display device
CN110378256A (zh) * 2019-07-04 2019-10-25 西北大学 一种即时视频中的表情识别方法及装置
CN110796838A (zh) * 2019-12-03 2020-02-14 吉林大学 一种驾驶员面部表情的自动定位和识别系统
CN112287818A (zh) * 2020-10-28 2021-01-29 白彧 一种智能车载驾驶员辅助系统及其工作方法
CN112562687A (zh) * 2020-12-11 2021-03-26 天津讯飞极智科技有限公司 音视频处理方法、装置、录音笔和存储介质
CN113191212A (zh) * 2021-04-12 2021-07-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种驾驶员路怒风险预警方法及系统
CN113591525A (zh) * 2020-10-27 2021-11-02 蓝海（福建）信息科技有限公司 一种深度融合面部表情和语音的驾驶员路怒症识别方法
CN115359532A (zh) * 2022-08-23 2022-11-18 润芯微科技(江苏)有限公司 一种基于3d传感人脸情绪捕捉输出装置
CN115984944A (zh) * 2023-01-20 2023-04-18 北京字跳网络技术有限公司 表情信息识别方法、装置、设备、可读存储介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669824A (zh) * 2009-09-22 2010-03-17 浙江工业大学 基于生物特征识别的人与身份证同一性检验装置
CN101923669A (zh) * 2008-07-18 2010-12-22 史迪芬·凯斯 智能的适应式设计
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
CN102779269A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于图像传感器成像系统的人脸识别算法
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
CN101923669A (zh) * 2008-07-18 2010-12-22 史迪芬·凯斯 智能的适应式设计
CN101669824A (zh) * 2009-09-22 2010-03-17 浙江工业大学 基于生物特征识别的人与身份证同一性检验装置
CN102779269A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于图像传感器成像系统的人脸识别算法
CN104123545A (zh) * 2014-07-24 2014-10-29 江苏大学 一种实时表情特征提取及表情识别方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227310A1 (en) * 2016-08-23 2019-07-25 Beijing Ileja Tech. Co. Ltd. Head-up display device
CN106114516A (zh) * 2016-08-31 2016-11-16 合肥工业大学 一种自适应驾驶人特性的愤怒驾驶行为监测及干预装置
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
CN106627589A (zh) * 2016-12-27 2017-05-10 科世达（上海）管理有限公司 一种车辆行驶安全辅助方法、系统及车辆
US11062167B2 (en) 2017-01-24 2021-07-13 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
US10452946B2 (en) 2017-01-24 2019-10-22 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
US10198655B2 (en) 2017-01-24 2019-02-05 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
US11023715B2 (en) * 2017-07-25 2021-06-01 Arcsoft Corporation Limited Method and apparatus for expression recognition
CN112861760A (zh) * 2017-07-25 2021-05-28 虹软科技股份有限公司 一种用于表情识别的方法和装置
CN109299639A (zh) * 2017-07-25 2019-02-01 虹软(杭州)多媒体信息技术有限公司 一种用于表情识别的方法和装置
CN107729986A (zh) * 2017-09-19 2018-02-23 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN107729986B (zh) * 2017-09-19 2020-11-03 平安科技（深圳）有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN107633061A (zh) * 2017-09-21 2018-01-26 天时汇（北京）电子商务有限公司 一种腕表识别系统
CN107633061B (zh) * 2017-09-21 2020-08-21 天时汇（北京）电子商务有限公司 一种腕表识别系统
WO2019126908A1 (zh) * 2017-12-25 2019-07-04 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN108320735A (zh) * 2018-01-23 2018-07-24 北京易智能科技有限公司 一种多数据融合的情感识别方法及系统
CN108537198A (zh) * 2018-04-18 2018-09-14 济南浪潮高新科技投资发展有限公司 一种基于人工智能的驾驶习惯的分析方法
CN109165685A (zh) * 2018-08-21 2019-01-08 南京邮电大学 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN109165685B (zh) * 2018-08-21 2021-09-10 南京邮电大学 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN109344781A (zh) * 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音视觉联合特征的视频内表情识别方法
CN109717792A (zh) * 2018-11-06 2019-05-07 余姚市雷阵雨电器有限公司 电动机噪声消除平台
CN110378256A (zh) * 2019-07-04 2019-10-25 西北大学 一种即时视频中的表情识别方法及装置
CN110796838A (zh) * 2019-12-03 2020-02-14 吉林大学 一种驾驶员面部表情的自动定位和识别系统
CN110796838B (zh) * 2019-12-03 2023-06-09 吉林大学 一种驾驶员面部表情的自动定位和识别系统
CN113591525A (zh) * 2020-10-27 2021-11-02 蓝海（福建）信息科技有限公司 一种深度融合面部表情和语音的驾驶员路怒症识别方法
CN113591525B (zh) * 2020-10-27 2024-03-01 蓝海（福建）信息科技有限公司 一种深度融合面部表情和语音的驾驶员路怒症识别方法
CN112287818A (zh) * 2020-10-28 2021-01-29 白彧 一种智能车载驾驶员辅助系统及其工作方法
CN112562687A (zh) * 2020-12-11 2021-03-26 天津讯飞极智科技有限公司 音视频处理方法、装置、录音笔和存储介质
CN112562687B (zh) * 2020-12-11 2023-08-04 天津讯飞极智科技有限公司 音视频处理方法、装置、录音笔和存储介质
CN113191212A (zh) * 2021-04-12 2021-07-30 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种驾驶员路怒风险预警方法及系统
CN113191212B (zh) * 2021-04-12 2022-06-07 合肥中聚源智能科技有限公司 一种驾驶员路怒风险预警方法及系统
CN115359532A (zh) * 2022-08-23 2022-11-18 润芯微科技(江苏)有限公司 一种基于3d传感人脸情绪捕捉输出装置
CN115984944A (zh) * 2023-01-20 2023-04-18 北京字跳网络技术有限公司 表情信息识别方法、装置、设备、可读存储介质及产品

Similar Documents

Publication Publication Date Title
CN105740767A (zh) 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
CN104123545B (zh) 一种实时表情特征提取及表情识别方法
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN108198620A (zh) 一种基于深度学习的皮肤疾病智能辅助诊断系统
CN106529503B (zh) 一种集成卷积神经网络人脸情感识别方法
WO2022227280A1 (zh) 基于智能眼镜的灾害救援检伤分类及辅助诊断方法
CN109376610B (zh) 视频监控中基于图像概念网络的行人不安全行为检测方法
CN111599463B (zh) 基于声音认知模型的智能辅助诊断系统
CN108764169A (zh) 一种基于机器学习的驾驶员情绪识别与显示装置及方法
CN106845373A (zh) 面向监控视频的行人属性预测方法
CN115064246A (zh) 一种基于多模态信息融合的抑郁症评估系统及设备
CN101593273A (zh) 一种基于模糊综合评价的视频情感内容识别方法
CN104166548A (zh) 基于运动想象脑电数据的深度学习方法
Xu et al. Intelligent emotion detection method based on deep learning in medical and health data
WO2023143000A1 (zh) 一种基于多源大数据的老龄友好街道建成环境审计系统
CN107320115A (zh) 一种自适应的精神疲劳评估装置及方法
CN112101103A (zh) 一种基于深度集成网络的视频驾驶员疲劳检测方法
CN109086794A (zh) 一种基于t-lda主题模型的驾驶行为模式识方法
CN107437090A (zh) 基于语音、表情与心电信号的三模态连续情感预测方法
Li et al. Research on lane change prediction model based on GBDT
CN112168190B (zh) 驾驶压力实时监测系统及方法
CN109101568A (zh) 基于XgBoost算法的交通高危人员识别方法
CN109766848A (zh) 一种基于监控视频的行人视力状况调查分析方法
Nguyen et al. Lightweight CNN-Based Driver Eye Status Surveillance for Smart Vehicles
Liu et al. Intelligent image recognition system for detecting abnormal features of scenic spots based on deep learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706