CN110555346A - 驾驶员情绪检测方法、装置、电子设备及存储介质 - Google Patents
驾驶员情绪检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110555346A CN110555346A CN201810557477.8A CN201810557477A CN110555346A CN 110555346 A CN110555346 A CN 110555346A CN 201810557477 A CN201810557477 A CN 201810557477A CN 110555346 A CN110555346 A CN 110555346A
- Authority
- CN
- China
- Prior art keywords
- driver
- video
- neural network
- audio
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 103
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000004458 analytical method Methods 0.000 claims abstract description 169
- 238000013528 artificial neural network Methods 0.000 claims abstract description 95
- 230000002996 emotional effect Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims description 51
- 239000013598 vector Substances 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 19
- 230000000306 recurrent effect Effects 0.000 claims description 17
- 230000006837 decompression Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 206010038743 Restlessness Diseases 0.000 description 9
- 206010039203 Road traffic accident Diseases 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000002040 relaxant effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 208000001431 Psychomotor Agitation Diseases 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013019 agitation Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例提供了一种驾驶员情绪检测方法、装置、电子设备及存储介质，应用于信息处理技术领域，所述驾驶员情绪检测方法包括：获取驾驶员的视频数据及音频数据；将视频数据输入到第一神经网络，由第一神经网络对视频数据进行检测分析，得到视频分析结果；将音频数据输入到第二神经网络，由第二神经网络对音频数据进行检测分析，得到音频分析结果；对视频分析结果和音频分析结果进行综合分析，确定驾驶员当前的情绪状态。本发明实施例的驾驶员情绪检测方法，结合驾驶员的视频数据及音频数据进行分析，确定驾驶员当前的情绪状态，可以提高驾驶员情绪检测的准确性。
Description
技术领域
本发明涉及信息处理技术领域，特别是涉及驾驶员情绪检测方法、装置、电子设备及存储介质。
背景技术
驾驶员作为自己以及他人出行乘坐交通工具的主要安全负责人，需要受到行为的约束。Road Rage(路怒)是指驾驶员带着愤怒去开车，当汽车或其他机动车的驾驶员处于路怒状态时，会表现出攻击性或愤怒的行为。例如在交通阻塞情况下，开车压力与挫折会导致驾驶员的愤怒情绪，产生路怒症。路怒症发作者会袭击他人的汽车，一些情况下同车的乘客也会受到伤害。因此，在机动车行驶过程中，检测驾驶员的情绪对安全驾驶尤为重要。
在相关的驾驶员情绪检测方法中，会采集汽车行驶过程中的相关参数，例如方向盘的转动速度、汽车的加速度等，来判断是否存在急加速、急减速或急转弯的情况，从而判断驾驶员当前的情绪。但是汽车行驶过程中的相关参数还与路况及驾驶员的驾驶习惯等多方面因素有关，通过汽车行驶过程中的相关参数判断驾驶员的情绪，准确性低。
发明内容
本发明实施例的目的在于提供一种驾驶员情绪检测方法、装置、电子设备及存储介质，以实现提高驾驶员情绪检测的准确性。具体技术方案如下：
第一方面，本发明实施例提供了一种驾驶员情绪检测方法，所述方法包括：
获取驾驶员的视频数据及音频数据；
将所述视频数据输入到第一神经网络，由所述第一神经网络对所述视频数据进行检测分析，得到视频分析结果；
将所述音频数据输入到第二神经网络，由所述第二神经网络对所述音频数据进行检测分析，得到音频分析结果；
对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态。
可选的，所述获取驾驶员的视频数据及音频数据，包括：
获取所述驾驶员的视频图像，并采用滑动窗口机制提取所述视频图像的视频帧序列，作为所述视频数据；
获取所述驾驶员的语音信息，提取预设时长的语音信息，作为所述音频数据。
可选的，所述第一神经网络包括第一卷积神经网络及第一循环神经网络，所述将所述视频数据输入到第一神经网络，由所述第一神经网络对所述视频数据进行检测分析，得到视频分析结果，包括：
采用预先训练的所述第一卷积神经网络提取所述视频数据中各视频帧的第一特征向量；
采用预先训练的所述第一循环神经网络，对各视频帧的第一特征向量进行时间及空间维度上的关联，得到特征序列，并基于对所述特征序列的解析，确定视频分析结果。
可选的，所述第二神经网络包括第二卷积神经网络，所述将所述音频数据输入到第二神经网络，由所述第二神经网络对所述音频数据进行检测分析，得到音频分析结果，包括：
采用预先训练的所述第二卷积神经网络提取所述音频数据的音频特征，确定所述音频特征所在的分类，并将所述音频特征所在的分类对应的情绪状态，作为音频分析结果。
可选的，所述视频分析结果包括视频路怒指数X，所述音频分析结果包括音频路怒指数Y；
所述对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态，包括：
根据公式Z＝aX+bY计算所述驾驶员的综合路怒指数，其中，Z为所述综合路怒指数，a及b为预设系数；
确定所述综合路怒指数对应的情绪状态，作为所述驾驶员当前的情绪状态。
可选的，在所述对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态之后，所述方法还包括：
若所述驾驶员当前的情绪状态为愤怒状态，播放预设的减压音乐并降低驾驶室内的温度；或
若所述驾驶员当前的情绪状态为失控状态，启动自动驾驶。
第二方面，本发明实施例提供了一种驾驶员情绪检测装置，所述装置包括：
数据获取模块，用于获取驾驶员的视频数据及音频数据；
视频分析模块，用于将所述视频数据输入到第一神经网络，由所述第一神经网络对所述视频数据进行检测分析，得到视频分析结果；
音频分析模块，用于将所述音频数据输入到第二神经网络，由所述第二神经网络对所述音频数据进行检测分析，得到音频分析结果；
综合分析模块，用于对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态。
可选的，所述数据获取模块，包括：
视频数据获取子模块，用于获取所述驾驶员的视频图像，并采用滑动窗口机制提取所述视频图像的视频帧序列，作为所述视频数据；
音频数据获取子模块，用于获取所述驾驶员的语音信息，提取预设时长的语音信息，作为所述音频数据。
可选的，所述第一神经网络包括第一卷积神经网络及第一循环神经网络，所述视频分析模块，包括：
特征提取子模块，用于采用预先训练的所述第一卷积神经网络提取所述视频数据中各视频帧的第一特征向量；
结果确定子模块，用于采用预先训练的所述第一循环神经网络，对各视频帧的第一特征向量进行时间及空间维度上的关联，得到特征序列，并基于对所述特征序列的解析，确定视频分析结果。
可选的，所述第二神经网络包括第二卷积神经网络，所述音频分析模块，具体用于：
采用预先训练的所述第二卷积神经网络提取所述音频数据的音频特征，确定所述音频特征所在的分类，并将所述音频特征所在的分类对应的情绪状态，作为音频分析结果。
可选的，所述视频分析结果包括视频路怒指数X，所述音频分析结果包括音频路怒指数Y；
所述综合分析模块，包括：
指数计算子模块，用于根据公式Z＝aX+bY计算所述驾驶员的综合路怒指数，其中，Z为所述综合路怒指数，a及b为预设系数；
情绪确定子模块，用于确定所述综合路怒指数对应的情绪状态，作为所述驾驶员当前的情绪状态。
可选的，本发明实施例的驾驶员情绪检测装置还包括：
减压模块，用于若所述驾驶员当前的情绪状态为愤怒状态，播放预设的减压音乐并降低驾驶室内的温度；或若所述驾驶员当前的情绪状态为失控状态，启动自动驾驶。
第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器、摄像头及麦克风；
所述摄像头用于采集驾驶员的视频图像；所述麦克风用于采集驾驶员的语音信息。
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的驾驶员情绪检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的驾驶员情绪检测方法。
本发明实施例提供的驾驶员情绪检测方法、装置、电子设备及存储介质，获取驾驶员的视频数据及音频数据；将视频数据输入到第一神经网络，由第一神经网络对视频数据进行检测分析，得到视频分析结果；将音频数据输入到第二神经网络，由第二神经网络对音频数据进行检测分析，得到音频分析结果；对视频分析结果和音频分析结果进行综合分析，确定驾驶员当前的情绪状态。结合驾驶员的视频数据及音频数据进行分析，可以提高驾驶员情绪检测的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的驾驶员情绪检测装置的一种示意图；
图2为本发明实施例的驾驶员情绪检测方法的一种流程示意图；
图3a为本发明实施例的获取视频数据的一种示意图；
图3b为本发明实施例的获取视频数据的另一种示意图；
图4为本发明实施例的确定特征序列的一种示意图；
图5为本发明实施例的驾驶员情绪检测方法的一种流程示意图；
图6为本发明实施例的提取第一特征向量的一种示意图；
图7为本发明实施例的驾驶员情绪检测装置的另一种示意图；
图8为本发明实施例的电子设备的一种示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
术语解释：
车载相机：安装在车内(例如公交车、大巴、出租车等公共交通工具内)，用于监控司机驾驶状态。
语音识别：将人类的语音中的词汇内容转换为计算机可读的输入。
本发明实施例提供一种如图1所示的驾驶员情绪检测装置，来执行如图2所示的驾驶员情绪检测方法，用以预判驾驶员是否路怒，同时采取措施，以舒缓驾驶员状态，相对于现有技术，预判准确率有所提高。如图1所示，主要包括视频检测模块101、语音检测模块102和综合判断模块103，由驾驶员情绪检测装置来执行的驾驶员情绪检测方法，如图2，主要包括以下步骤：
步骤一，视频检测模块获取驾驶员行驶过程中视频，采用深度学习对驾驶员视频中的行为进行分析，判断驾驶员是否处于愤怒状态。
步骤二，语音检测模块使用语音设备同步采集驾驶员语音，深度学习提取语音信息，判断驾驶员是否处于愤怒状态。
步骤三，综合判断模块结合视频、语音，判断驾驶员是否处于愤怒状态。
步骤四，若综合判断模块判断驾驶员处于愤怒状态，综合判断模块调整驾驶室温度，并播放舒缓的音乐，以缓解驾驶员情绪。
视频检测模块101、语音检测模块102和综合判断模块103执行的步骤具体包括以下内容：
本发明实施例的驾驶员情绪检测方法，可以用于检测驾驶员是否路怒。也就是说最终研究对象是待检测的“驾驶员”。采用深度学习技术分析驾驶员开车时的状态。
视频检测模块101，采用滑动窗口机制完成视频帧序列的提取。
对于给定的视频流，采用滑动窗口机制完成视频帧序列的提取，如图3a和图3b所示所示。设定长度为L的滑动窗口在视频流上滑动，则采取窗口内的视频帧进行异常事件检测，这里设定滑动步长为s。
视频检测模块101，进行特征提取及建模。
假定视频帧有m帧，针对每一帧，我们可以利用CNN(Convolutional NeuralNetwork，卷积神经网络)、3D(3dimension，三维)CNN技术实现特征的提取，因此可以获取m个特征向量，其中每个特征向量的维度设定为n。
特征提取之后，需要在视频序列在时间及空间维度上的建模，以期望获取足够的视频上下文信息。这里使用循环神经网络，例如朴素RNN(Recurrent Neural Networks，循环神经网络)、LSTM(Long Short-Term Memory，长短期记忆网络)、BLSTM(BidirectionalLong Short-Term Memory，双向长短期记忆网络)或GRU(Gated Recurrent Unit)等来加强上下文信息的建模，其示意图如4所示，其中，x1，x2及x3表示提取的视频帧序列，各矩形表示隐层特征，y0，y1，y2为LSTM建模后的特征序列。
视频检测模块101，进行解码：解码阶段可以看做编码的逆过程。可以简单的使用RNN，还可以采取Attention(注意力模型)进行解码操作。Attention模型会计算一个权值分布，对LSTM提取后的特征序列进行加权，然后得到加权和后的一个特征向量，并把该特征向量喂给RNN，实现该特征向量的解码，判断此时，驾驶员是否处于路怒状态。
语音检测模块102，通过音频设备提取驾驶员的语音信息，然后提取特征，最后将提取到的特征进行分类，判断驾驶员当前情绪状态。一种方法是，将一段时间内的语音信号，利用CNN进行特征提取，然后进行分类，给出驾驶员当前的情绪状态。
综合处理模块103，通过视频分析模块及语音识别模块，我们可以得到驾驶员是否处于愤怒状态信号。若驾驶员处于愤怒状态，打开音响设备，播放舒缓的音乐，同时降低驾驶室内温度，提醒驾驶员放松心情。
本发明实施例具有以下有益效果：
(1)本发明实施例提供的驾驶员情绪检测方法，能够实时监测驾驶员是否处于路怒状态。
(2)本发明实施例利用端到端的深度学习技术，分析视频中驾驶员路怒行为，分析驾驶员是否处于路怒状态，同时结合视频信息进一步提升准确率。
(3)本发明实施例检测到驾驶员处于路怒状态后，播放舒缓的音乐，并调节车内温度，可减缓驾驶员路怒状态。
随着汽车保有量的提升，交通安全问题也越发突出。研究表明驾驶员在情绪异常的情况下，会增加交通事故的发生率，因此需要对驾驶员的情绪进行检测。
有鉴于此，本发明实施例提供了一种驾驶员情绪检测方法，参见图5，该方法包括：
S501，获取驾驶员的视频数据及音频数据。
本发明实施例中的驾驶员情绪检测方法可以通过情绪检测系统实现，情绪检测系统为任意能够实现本发明实施例的驾驶员情绪检测方法的系统。例如：
情绪检测系统可以为一种设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明实施例的驾驶员情绪检测方法。例如情绪检测系统可以为一种车载设备，或一种云端服务器等。
情绪检测系统还可以为一种应用程序，用于在运行时执行本发明实施例的驾驶员情绪检测方法。
情绪检测系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本发明实施例的驾驶员情绪检测方法。
情绪检测系统可以通过车载摄像头实时采集驾驶员的视频数据，通过麦克风实时采集驾驶员的音频数据。情绪检测系统还可以从数据库中获取驾驶员的视频数据及音频数据。上述视频数据包括驾驶员的面部表情，还可以包括驾驶员的肢体动作；上述音频数据包括驾驶员的声音。
S502，将上述视频数据输入到第一神经网络，由上述第一神经网络对上述视频数据进行检测分析，得到视频分析结果。
第一神经网络为任意的通过驾驶员的视频数据判断驾驶员当前情绪的深度学习算法。例如，第一神经网络可以为第一CNN(Convolutional Neural Network，卷积神经网络)、RNN(Recurrent Neural Networks，循环神经网络)及DNN(Deep Neural Network，深度神经网络)等，还可以为任意多种算法的结合。
例如，预设的第一神经网络为预先训练的CNN。训练CNN的过程可以为：将多组驾驶员的视频数据及与视频数据相应的驾驶员的情绪输入到CNN模型中，使CNN模型确定出驾驶员的各种情绪分别对应的视频数据特征。
视频分析结果可以为任意的形式。例如视频分析结果可以为驾驶员的情绪为平静或驾驶员的情绪为路怒；视频分析结果还可以为视频路怒指数等。
S503，将上述音频数据输入到第二神经网络，由上述第二神经网络对上述音频数据进行检测分析，得到音频分析结果。
第二神经网络为任意的通过驾驶员的音频数据判断驾驶员当前情绪的深度学习算法。例如，可以为CNN(Convolutional Neural Network，卷积神经网络)、RNN(RecurrentNeural Networks，循环神经网络)及DNN(Deep Neural Network，深度神经网络)等，还可以为任意多种算法的结合。
例如，预设的第二神经网络为预先训练的第二CNN。训练CNN的过程可以为：将多组驾驶员的音频数据及与音频数据相应的驾驶员的情绪输入到CNN模型中，使CNN模型确定出驾驶员的各种情绪分别对应的音频数据特征。
音频分析结果可以为任意的形式。例如音频分析结果可以为驾驶员的情绪为平静或驾驶员的情绪为路怒；音频分析结果还可以为音频路怒指数等。
S504，对上述视频分析结果和上述音频分析结果进行综合分析，确定上述驾驶员当前的情绪状态。
例如，当视频分析结果为：平静、躁动、愤怒或失控，音频分析结果为：平静、躁动、愤怒或失控时。选取视频分析结果及音频分析结果中情绪级别最高的分析结果作为驾驶员当前的情绪状态，其中，情绪级别由高到低的顺序依次为失控、愤怒、躁动及平静。
或，当视频分析结果为：平静、躁动、愤怒或失控，音频分析结果为：平静、躁动、愤怒或失控时。令平静的值为0，躁动的值为1，愤怒的值为2，失控的值为3。则可以根据：Z＝aX+bY，确定驾驶员当前的情绪状态。其中。a及b均为预设的系数，可以根据实际情况进行设定，且a+b＝1，X为视频分析结果的数值，Y为音频分析结果的数值。若Z＝0，则驾驶员当前的情绪状态为平静；若Z∈(0，1]，则驾驶员当前的情绪状态为躁动；若Z∈(1，2]，则驾驶员当前的情绪状态为愤怒；若Z∈(2，3]，则驾驶员当前的情绪状态为失控。
在本发明实施例中，结合驾驶员的视频分析结果和音频分析结果确定驾驶员的情绪状态，可以提高驾驶员情绪检测的准确性。
可选的，上述获取驾驶员的视频数据及音频数据，包括：
步骤一，获取上述驾驶员的视频图像，并采用滑动窗口机制提取上述视频图像的视频帧序列，作为上述视频数据；
在实际应用场景中，为了保证对驾驶员的实时监控，可以周期性的检测并输出驾驶员的情绪状态。相应的，情绪检测系统可以通过车载摄像头，实时获取驾驶员的视频图像，并采用滑动窗口机制提取视频图像的视频帧序列，作为视频数据。例如，设定长度为L(L帧视频帧)的滑动窗口在视频图像的视频流上滑动，如图3a所示，选取滑动窗口(图中的虚线框)内的视频帧序列，作为视频数据，确定当前视频数据的视频分析结果。每次滑动的步长为S(S帧视频帧)如图3b所示，并选取滑动窗口内的视频帧序列，作为视频数据，以确定各检测周期中的视频分析结果。
步骤二，获取上述驾驶员的语音信息，提取预设时长的语音信息，作为上述音频数据。
情绪检测系统可以通过麦克风，实时获取驾驶员的语音信息，每次选取预设时长的语音信息，作为音频数据。预设时长为任意的时长，可以根据实际情况进行设定。可选的，同一检测周期中，音频数据与视频数据的采集时间段相同，以提高提高驾驶员情绪检测的准确性。
在本发明实施例中，给出了获取音频数据及视频数据的具体方法，可以提高数据获取的实时性，从而能够实时监控驾驶员的情绪状态。
可选的，上述第一神经网络包括第一卷积神经网络及第一循环神经网络，上述将上述视频数据输入到第一神经网络，由上述第一神经网络对上述视频数据进行检测分析，得到视频分析结果，包括：
步骤一，采用预先训练的第一卷积神经网络提取上述视频数据中各视频帧的第一特征向量。
预先训练的第一卷积神经网络为任意的卷积神经网络，例如2D(二维)CNN或3DCNN等。参见图6，在视频数据中包含m帧视频帧时，针对每一帧视频帧，通过预先训练的第一卷积神经网络提取视频帧的视频特征，得到m个第一特征向量，每个第一特征向量的维度可以设定为n。
训练第一卷积神经网络的流程可以为：将多组驾驶员的视频数据及与视频数据相应的驾驶员的情绪状态输入到第一卷积神经网络中，使第一卷积神经网络确定出驾驶员的各种情绪分别对应的视频数据特征。
步骤二，采用预先训练的第一循环神经网络，对各视频帧的第一特征向量进行时间及空间维度上的关联，得到特征序列，并基于对上述特征序列的解析，确定视频分析结果。
预先训练的第一循环神经网络为任意的循环神经网络，例如朴素RNN、LSTM(LongShort-Term Memory，长短期记忆网络)、BLSTM(Bidirectional Long Short-Term Memory，双向长短期记忆网络)或GRU(Gated Recurrent Unit)等。对各第一特征向量进行时间上的关联，并对各第一特征向量进行空间维度上的关联，得到特征序列，例如图4所示，x1，x2及x3表示提取的各第一特征向量，各矩形表示隐层特征，y0，y1，y2为LSTM建模后的特征序列。对各特征序列进行解析，例如，可以使用RNN进行解析，或采取Attention(注意力模型)及RNN进行解析。Attention模型会计算一个权值分布，对LSTM提取后的特征序列进行加权，然后得到加权和后的一个特征向量，并把该特征向量发送给RNN，实现该特征向量的解析，判断此时，驾驶员的视频分析结果。
训练第一循环神经网络的流程可以为：将多组第一特征向量及与各第一特征向量对应的驾驶员的情绪状态输入循环神经网络模型中，通过BPTT(Back PropagationThrough Time，反向传播算法)进行训练。
在本发明实施例中，利用第一卷积神经网络对视频数据进行特征提取，利用第一循环神经网络对提取的特征向量进行时间及空间上的关联，并进行解析得到视频分析结果，得到的视频分析结果准确度高。
可选的，上述第二神经网络包括第二卷积神经网络，上述将上述音频数据输入到第二神经网络，由上述第二神经网络对上述音频数据进行检测分析，得到音频分析结果，包括：
采用预先训练的第二卷积神经网络提取上述音频数据的音频特征，确定上述音频特征所在的分类，并将上述音频特征所在的分类对应的情绪状态，作为音频分析结果。
预先训练的第二卷积神经网络为任意的卷积神经网络。训练第二卷积神经网络的过程可以为：将多组驾驶员的音频数据及与音频数据相应的驾驶员的情绪状态输入到第二卷积神经网络中，使第二卷积神经网络确定出驾驶员的各种情绪分别对应的音频数据特征。
在本发明实施例中，利用第二卷积神经网络对音频数据进行特征提取，确定音频特征所在的分类对应的情绪状态，作为音频分析结果，得到的音频分析结果准确度高。
可选的，在本发明实施例的驾驶员情绪检测方法中，上述视频分析结果包括视频路怒指数X，上述音频分析结果包括音频路怒指数Y。
相应的，上述结合上述视频分析结果和上述音频分析结果，通过预设结合分析算法，确定上述驾驶员当前的情绪状态，包括：
步骤一，根据公式Z＝aX+bY计算上述驾驶员的综合路怒指数，其中，Z为上述综合路怒指数，a及b为预设系数。
步骤二，确定上述综合路怒指数对应的情绪状态，作为上述驾驶员当前的情绪状态。
例如，视频分析结果中平静的视频路怒指数X＝0，躁动的视频路怒指数X＝1，愤怒的视频路怒指数X＝2，失控的视频路怒指数X＝3；音频分析结果中平静的音频路怒指数X＝0，躁动的音频路怒指数X＝1，愤怒的音频路怒指数X＝2，音频的视频路怒指数X＝3。根据：Z＝aX+bY，确定驾驶员当前的综合路怒指数。其中。a及b均为预设的系数，可以根据实际情况进行设定，且a+b＝1，Z为综合路怒指数。若Z＝0，则驾驶员当前的情绪状态为平静；若Z∈(0，1]，则驾驶员当前的情绪状态为躁动；若Z∈(1，2]，则驾驶员当前的情绪状态为愤怒；若Z∈(2，3]，则驾驶员当前的情绪状态为失控。
可选的，在上述对上述视频分析结果和上述音频分析结果进行综合分析，确定上述驾驶员当前的情绪状态之后，上述方法还包括：
执行与上述驾驶员当前的情绪状态相对应的减压操作。
情绪检测系统执行与情绪状态对应的预设减压操作，例如，或若驾驶员当前的情绪状态为路怒，打开音响设备，播放舒缓的音乐，同时降低驾驶室内温度等；若驾驶员当前的情绪状态为平静，不进行任何操作；或若驾驶员当前的情绪状态为躁动，产生休息提示；或若驾驶员当前的情绪状态为愤怒，打开音响设备，播放舒缓的音乐，同时降低驾驶室内温度等；或若驾驶员当前的情绪状态为失控，启动自动驾驶。
在本发明实施例中，执行与驾驶员当前的情绪状态相对应的减压操作，有助于帮助驾驶员舒缓情绪，大大减少公共交通监管的工作量，减少人工成本，督促交通工具驾驶员规范自己的行为，能够减少交通事故的发生。
可选的，上述执行与上述驾驶员当前的情绪状态相对应的减压方法，包括：
若上述驾驶员当前的情绪状态为愤怒状态，播放预设的减压音乐并降低驾驶室内的温度。
在本发明实施例中检测到驾驶员处于愤怒状态后，播放舒缓的音乐，并调节车内温度，可舒缓驾驶员情绪，能够减少交通事故的发生。
可选的，上述执行与上述驾驶员当前的情绪状态相对应的减压方法，包括：
若上述驾驶员当前的情绪状态为失控状态，启动自动驾驶。
当驾驶员当前的情绪状态为失控状态时，若驾驶员继续驾驶车辆，可能会引发严重的交通事故。情绪检测系统在检测到驾驶员当前的情绪状态为失控状态时，启动自动驾驶，同时还可以向驾驶员发出警告。
在本发明实施例中，当驾驶员当前的情绪状态为失控状态时，启动自动驾驶，防止驾驶员做出过激行为，能够减少交通事故的发生。
本发明实施例还提供了一种驾驶员情绪检测装置，参见图7，该装置包括：
数据获取模块701，用于获取驾驶员的视频数据及音频数据；
视频分析模块702，用于将上述视频数据输入到第一神经网络，由上述第一神经网络对上述视频数据进行检测分析，得到视频分析结果；
音频分析模块703，用于将上述音频数据输入到第二神经网络，由上述第二神经网络对上述音频数据进行检测分析，得到音频分析结果；
综合分析模块704，用于对上述视频分析结果和上述音频分析结果进行综合评估，确定上述驾驶员当前的情绪状态。
在本发明实施例中，结合驾驶员的视频分析结果和音频分析结果确定驾驶员的情绪状态，可以提高驾驶员情绪检测的准确性。
在本发明实施例的驾驶员情绪检测装置中，数据获取模块701的视频数据获取功能及视频分析模块702可以存在于图1中的视频检测模块101，数据获取模块701的音频数据获取功能及音频分析模块703可以存在于图1中的语音检测模块102，综合分析模块704可以理解为图1中的综合判断模块103。
可选的，上述数据获取模块701，包括：
视频数据获取子模块，用于获取上述驾驶员的视频图像，并采用滑动窗口机制提取上述视频图像的视频帧序列，作为上述视频数据；
音频数据获取子模块，用于获取上述驾驶员的语音信息，提取预设时长的语音信息，作为上述音频数据。
在本发明实施例中，给出了获取音频数据及视频数据的具体方法，可以提高数据获取的实时性，从而能够实时监控驾驶员的情绪状态。
可选的，上述第一神经网络包括第一卷积神经网络及第一循环神经网络，上述视频分析模块702，包括：
特征提取子模块，用于采用预先训练的第一卷积神经网络提取上述视频数据中各视频帧的第一特征向量；
结果确定子模块，用于采用预先训练的循环神经网络，对各视频帧的第一特征向量进行时间及空间维度上的关联，得到特征序列，并基于对上述特征序列的解析，确定视频分析结果。
在本发明实施例中，利用第一卷积神经网络对视频数据进行特征提取，利用循环神经网络对提取的特征向量进行时间及空间上的关联，并进行解析得到视频分析结果，得到的视频分析结果准确度高。
可选的，上述第二神经网络包括第二卷积神经网络，上述音频分析模块703，具体用于：
采用预先训练的第二卷积神经网络提取上述音频数据的音频特征，确定上述音频特征所在的分类，并将上述音频特征所在的分类对应的情绪状态，作为音频分析结果。
在本发明实施例中，利用第二卷积神经网络对音频数据进行特征提取，确定音频特征所在的分类对应的情绪状态，作为音频分析结果，得到的音频分析结果准确度高。
可选的，上述视频分析结果包括视频路怒指数X，上述音频分析结果包括音频路怒指数Y；
相应的，上述综合分析模块704，包括：
指数计算子模块，用于根据公式Z＝aX+bY计算上述驾驶员的综合路怒指数，其中，Z为上述综合路怒指数，a及b为预设系数；
情绪确定子模块，用于确定上述综合路怒指数对应的情绪状态，作为上述驾驶员当前的情绪状态。
在本发明实施例中，结合视频分析结果和音频分析结果确定驶员当前的情绪状态，驾驶员情绪检测更加准确。
可选的，本发明实施例的驾驶员情绪检测装置还包括：
减压模块，用于执行与上述驾驶员当前的情绪状态相对应的减压操作。
在本发明实施例中，执行与驾驶员当前的情绪状态相对应的减压操作，有助于帮助驾驶员舒缓情绪，大大减少公共交通监管的工作量，减少人工成本，督促交通工具驾驶员规范自己的行为，能够减少交通事故的发生。
可选的，上述减压模块，具体用于：
若上述驾驶员当前的情绪状态为愤怒状态，播放预设的减压音乐并降低驾驶室内的温度。
在本发明实施例中检测到驾驶员处于愤怒状态后，播放舒缓的音乐，并调节车内温度，可舒缓驾驶员情绪，能够减少交通事故的发生。
可选的，上述减压模块，具体用于：
若上述驾驶员当前的情绪状态为失控状态，启动自动驾驶。
在本发明实施例中，当驾驶员当前的情绪状态为失控状态时，启动自动驾驶，防止驾驶员做出过激行为，能够减少交通事故的发生。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801存储器802、摄像头803及麦克风804；
上述摄像头803用于采集驾驶员的视频图像；上述麦克风804用于采集驾驶员的语音信息。
上述存储器802，用于存放计算机程序；
上述处理器801，用于执行存储器802上所存放的程序时，实现如下步骤：
将上述视频数据输入到第一神经网络，由上述第一神经网络对上述视频数据进行检测分析，得到视频分析结果；
将上述音频数据输入到第二神经网络，由上述第二神经网络对上述音频数据进行检测分析，得到音频分析结果；
对上述视频分析结果和上述音频分析结果进行综合分析，确定上述驾驶员当前的情绪状态。
在本发明实施例中，结合驾驶员的视频分析结果和音频分析结果确定驾驶员的情绪状态，可以提高驾驶员情绪检测的准确性。
可选的，上述处理器801用于执行存储器802上所存放的程序时，还可以实现上述任一驾驶员情绪的检测方法。
可选的上述电子设备，还可以包括通信接口及通信总线，通信接口、处理器801、存储器802、摄像头803及麦克风804通过通信总线完成相互间的通信。通信接口用于上述电子设备与其他设备之间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：
获取驾驶员的视频数据及音频数据；
将上述视频数据输入到第一神经网络，由上述第一神经网络对上述视频数据进行检测分析，得到视频分析结果；
将上述音频数据输入到第二神经网络，由上述第二神经网络对上述音频数据进行检测分析，得到音频分析结果；
对上述视频分析结果和上述音频分析结果进行综合分析，确定上述驾驶员当前的情绪状态。
在本发明实施例中，结合驾驶员的视频分析结果和音频分析结果确定驾驶员的情绪状态，可以提高驾驶员情绪检测的准确性。
可选的，上述计算机可读存储介质内存储的计算机程序被处理器执行时，还可以实现上述任一驾驶员情绪的检测方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (14)
1.一种驾驶员情绪检测方法，其特征在于，所述方法包括：
获取驾驶员的视频数据及音频数据；
将所述视频数据输入到第一神经网络，由所述第一神经网络对所述视频数据进行检测分析，得到视频分析结果；
将所述音频数据输入到第二神经网络，由所述第二神经网络对所述音频数据进行检测分析，得到音频分析结果；
对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态。
2.根据权利要求1所述的方法，其特征在于，所述获取驾驶员的视频数据及音频数据，包括：
获取所述驾驶员的视频图像，并采用滑动窗口机制提取所述视频图像的视频帧序列，作为所述视频数据；
获取所述驾驶员的语音信息，提取预设时长的语音信息，作为所述音频数据。
3.根据权利要求1所述的方法，其特征在于，所述第一神经网络包括第一卷积神经网络及第一循环神经网络，所述将所述视频数据输入到第一神经网络，由所述第一神经网络对所述视频数据进行检测分析，得到视频分析结果，包括：
采用预先训练的所述第一卷积神经网络提取所述视频数据中各视频帧的第一特征向量；
采用预先训练的所述第一循环神经网络，对各视频帧的第一特征向量进行时间及空间维度上的关联，得到特征序列，并基于对所述特征序列的解析，确定视频分析结果。
4.根据权利要求1所述的方法，其特征在于，所述第二神经网络包括第二卷积神经网络，所述将所述音频数据输入到第二神经网络，由所述第二神经网络对所述音频数据进行检测分析，得到音频分析结果，包括：
采用预先训练的所述第二卷积神经网络提取所述音频数据的音频特征，确定所述音频特征所在的分类，并将所述音频特征所在的分类对应的情绪状态，作为音频分析结果。
5.根据权利要求1所述的方法，其特征在于，所述视频分析结果包括视频路怒指数X，所述音频分析结果包括音频路怒指数Y；
所述对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态，包括：
根据公式Z＝aX+bY计算所述驾驶员的综合路怒指数，其中，Z为所述综合路怒指数，a及b为预设系数；
确定所述综合路怒指数对应的情绪状态，作为所述驾驶员当前的情绪状态。
6.根据权利要求1所述的方法，其特征在于，在所述对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态之后，所述方法还包括：
若所述驾驶员当前的情绪状态为愤怒状态，播放预设的减压音乐并降低驾驶室内的温度；或
若所述驾驶员当前的情绪状态为失控状态，启动自动驾驶。
7.一种驾驶员情绪检测装置，其特征在于，所述装置包括：
数据获取模块，用于获取驾驶员的视频数据及音频数据；
视频分析模块，用于将所述视频数据输入到第一神经网络，由所述第一神经网络对所述视频数据进行检测分析，得到视频分析结果；
音频分析模块，用于将所述音频数据输入到第二神经网络，由所述第二神经网络对所述音频数据进行检测分析，得到音频分析结果；
综合分析模块，用于对所述视频分析结果和所述音频分析结果进行综合分析，确定所述驾驶员当前的情绪状态。
8.根据权利要求7所述的装置，其特征在于，所述数据获取模块，包括：
视频数据获取子模块，用于获取所述驾驶员的视频图像，并采用滑动窗口机制提取所述视频图像的视频帧序列，作为所述视频数据；
音频数据获取子模块，用于获取所述驾驶员的语音信息，提取预设时长的语音信息，作为所述音频数据。
9.根据权利要求7所述的装置，其特征在于，所述第一神经网络包括第一卷积神经网络及第一循环神经网络，所述视频分析模块，包括：
特征提取子模块，用于采用预先训练的所述第一卷积神经网络提取所述视频数据中各视频帧的第一特征向量；
结果确定子模块，用于采用预先训练的所述第一循环神经网络，对各视频帧的第一特征向量进行时间及空间维度上的关联，得到特征序列，并基于对所述特征序列的解析，确定视频分析结果。
10.根据权利要求7所述的装置，其特征在于，所述第二神经网络包括第二卷积神经网络，所述音频分析模块，具体用于：
采用预先训练的所述第二卷积神经网络提取所述音频数据的音频特征，确定所述音频特征所在的分类，并将所述音频特征所在的分类对应的情绪状态，作为音频分析结果。
11.根据权利要求7所述的装置，其特征在于，所述视频分析结果包括视频路怒指数X，所述音频分析结果包括音频路怒指数Y；
所述综合分析模块，包括：
指数计算子模块，用于根据公式Z＝aX+bY计算所述驾驶员的综合路怒指数，其中，Z为所述综合路怒指数，a及b为预设系数；
情绪确定子模块，用于确定所述综合路怒指数对应的情绪状态，作为所述驾驶员当前的情绪状态。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
减压模块，用于若所述驾驶员当前的情绪状态为愤怒状态，播放预设的减压音乐并降低驾驶室内的温度；或若所述驾驶员当前的情绪状态为失控状态，启动自动驾驶。
13.一种电子设备，其特征在于，包括处理器、存储器、摄像头及麦克风；
所述摄像头用于采集驾驶员的视频图像；所述麦克风用于采集驾驶员的语音信息。
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810557477.8A CN110555346A (zh) | 2018-06-01 | 2018-06-01 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810557477.8A CN110555346A (zh) | 2018-06-01 | 2018-06-01 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110555346A true CN110555346A (zh) | 2019-12-10 |
Family
ID=68735276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810557477.8A Pending CN110555346A (zh) | 2018-06-01 | 2018-06-01 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555346A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199205A (zh) * | 2019-12-30 | 2020-05-26 | 科大讯飞股份有限公司 | 车载语音交互体验评估方法、装置、设备及存储介质 |
| CN111605556A (zh) * | 2020-06-05 | 2020-09-01 | 吉林大学 | 一种防路怒症识别及控制系统 |
| CN113771859A (zh) * | 2021-08-31 | 2021-12-10 | 智新控制系统有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
| CN113815625A (zh) * | 2020-06-19 | 2021-12-21 | 广州汽车集团股份有限公司 | 车辆辅助驾驶控制方法、装置及智能方向盘 |
| CN114170585A (zh) * | 2021-11-16 | 2022-03-11 | 广西中科曙光云计算有限公司 | 危险驾驶行为的识别方法、装置、电子设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005018534A (ja) * | 2003-06-27 | 2005-01-20 | Sony Corp | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
| CN1838237B (zh) * | 2000-09-13 | 2010-04-28 | 株式会社A·G·I | 情绪探测方法及其系统 |
| CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达（上海）管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107223101A (zh) * | 2016-06-23 | 2017-09-29 | 驭势科技（北京）有限公司 | 车辆自动驾驶方法和车辆自动驾驶系统 |
| CN107256228A (zh) * | 2017-05-02 | 2017-10-17 | 清华大学 | 基于结构化注意力机制的答案选择系统及方法 |
| CN107392177A (zh) * | 2017-08-05 | 2017-11-24 | 江西中医药大学 | 一种人体身份识别验证方法及其装置 |
| CN107608956A (zh) * | 2017-09-05 | 2018-01-19 | 广东石油化工学院 | 一种基于cnn‑grnn的读者情绪分布预测算法 |
| CN107636684A (zh) * | 2015-03-18 | 2018-01-26 | 阿凡达合并第二附属有限责任公司 | 视频会议中的情绪识别 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| CN108052982A (zh) * | 2017-12-22 | 2018-05-18 | 北京联合网视文化传播有限公司 | 一种基于贴图表情的情感检测方法以及系统 |
-
2018
- 2018-06-01 CN CN201810557477.8A patent/CN110555346A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1838237B (zh) * | 2000-09-13 | 2010-04-28 | 株式会社A·G·I | 情绪探测方法及其系统 |
| JP2005018534A (ja) * | 2003-06-27 | 2005-01-20 | Sony Corp | 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体 |
| CN107636684A (zh) * | 2015-03-18 | 2018-01-26 | 阿凡达合并第二附属有限责任公司 | 视频会议中的情绪识别 |
| CN107223101A (zh) * | 2016-06-23 | 2017-09-29 | 驭势科技（北京）有限公司 | 车辆自动驾驶方法和车辆自动驾驶系统 |
| CN106627589A (zh) * | 2016-12-27 | 2017-05-10 | 科世达（上海）管理有限公司 | 一种车辆行驶安全辅助方法、系统及车辆 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN107256228A (zh) * | 2017-05-02 | 2017-10-17 | 清华大学 | 基于结构化注意力机制的答案选择系统及方法 |
| CN107392177A (zh) * | 2017-08-05 | 2017-11-24 | 江西中医药大学 | 一种人体身份识别验证方法及其装置 |
| CN107608956A (zh) * | 2017-09-05 | 2018-01-19 | 广东石油化工学院 | 一种基于cnn‑grnn的读者情绪分布预测算法 |
| CN107662611A (zh) * | 2017-11-06 | 2018-02-06 | 吉林大学 | 一种基于驾驶员情绪识别的自动驾驶模式切换系统 |
| CN108052982A (zh) * | 2017-12-22 | 2018-05-18 | 北京联合网视文化传播有限公司 | 一种基于贴图表情的情感检测方法以及系统 |
Non-Patent Citations (4)
| Title |
|---|
| ERIKA S. CHUANG: "《Facial Expression Space Learning》", 《PROCEEDINGS OF THE 10 TH PACIFIC CONFERENCE ON COMPUTER GRAPHICS AND APPLICATIONS》 * |
| MYUNGHOON SUK: "《Real-time Facial Expression Recognition on Smartphones》", 《2015 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 * |
| PENG YANG: "《Facial Expression Recognition Using Encoded Dynamic Features》", 《CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 李江: "《基于深度学习的人脸表情识别研究与实现》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199205A (zh) * | 2019-12-30 | 2020-05-26 | 科大讯飞股份有限公司 | 车载语音交互体验评估方法、装置、设备及存储介质 |
| CN111199205B (zh) * | 2019-12-30 | 2023-10-31 | 科大讯飞股份有限公司 | 车载语音交互体验评估方法、装置、设备及存储介质 |
| CN111605556A (zh) * | 2020-06-05 | 2020-09-01 | 吉林大学 | 一种防路怒症识别及控制系统 |
| CN113815625A (zh) * | 2020-06-19 | 2021-12-21 | 广州汽车集团股份有限公司 | 车辆辅助驾驶控制方法、装置及智能方向盘 |
| CN113815625B (zh) * | 2020-06-19 | 2024-01-19 | 广州汽车集团股份有限公司 | 车辆辅助驾驶控制方法、装置及智能方向盘 |
| CN113771859A (zh) * | 2021-08-31 | 2021-12-10 | 智新控制系统有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
| CN113771859B (zh) * | 2021-08-31 | 2024-01-26 | 智新控制系统有限公司 | 智能行车干预方法、装置、设备及计算机可读存储介质 |
| CN114170585A (zh) * | 2021-11-16 | 2022-03-11 | 广西中科曙光云计算有限公司 | 危险驾驶行为的识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555346A (zh) | 驾驶员情绪检测方法、装置、电子设备及存储介质 | |
| CN108492555B (zh) | 一种城市路网交通状态评价方法及装置 | |
| Kao et al. | R-crnn: Region-based convolutional recurrent neural network for audio event detection | |
| Omerustaoglu et al. | Distracted driver detection by combining in-vehicle and image data using deep learning | |
| Halim et al. | Artificial intelligence techniques for driving safety and vehicle crash prediction | |
| Eren et al. | Estimating driving behavior by a smartphone | |
| US10235768B2 (en) | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium | |
| CN110765807B (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| CN108319909B (zh) | 一种驾驶行为分析方法及系统 | |
| CN108372785A (zh) | 一种基于图像识别的汽车非安全驾驶检测装置及检测方法 | |
| CN112744174B (zh) | 车辆碰撞监测方法、装置、设备及计算机可读存储介质 | |
| WO2021169742A1 (zh) | 交通工具运行状态的预测方法、装置、终端及存储介质 | |
| Del Campo et al. | A real-time driver identification system based on artificial neural networks and cepstral analysis | |
| Sathyanarayana et al. | Information fusion for robust ‘context and driver aware’active vehicle safety systems | |
| CN110143202A (zh) | 一种危险驾驶识别与预警方法及系统 | |
| JP7303901B2 (ja) | 複数の候補からドライバーを選択する提案システム | |
| CN114973209A (zh) | 识别驾驶员情绪的方法、装置、设备、介质和车辆 | |
| CN116386277A (zh) | 疲劳驾驶检测方法、装置、电子设备及介质 | |
| CN111797755A (zh) | 一种汽车乘员情绪识别方法及电子设备 | |
| JP7181654B2 (ja) | 自律走行自動車のパーセプションネットワークを学習させるためのオン‐ビークルアクティブラーニング方法及び装置 | |
| CN113183977A (zh) | 车辆制动控制方法、装置及电子设备 | |
| CN117456516A (zh) | 一种驾驶员疲劳驾驶状态检测方法及装置 | |
| CN111278708A (zh) | 用于辅助驾驶的方法和装置 | |
| CN112053686B (zh) | 一种音频中断方法、装置以及计算机可读存储介质 | |
| Malta et al. | Multi-modal real-world driving data collection, transcription, and integration using Bayesian network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191210 |