CN111444863A - 基于相机的5g车载网络云辅助的驾驶员情绪识别方法 - Google Patents

基于相机的5g车载网络云辅助的驾驶员情绪识别方法 Download PDF

Info

Publication number
CN111444863A
CN111444863A CN202010239768.XA CN202010239768A CN111444863A CN 111444863 A CN111444863 A CN 111444863A CN 202010239768 A CN202010239768 A CN 202010239768A CN 111444863 A CN111444863 A CN 111444863A
Authority
CN
China
Prior art keywords
heart rate
camera
vehicle
recognition method
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010239768.XA
Other languages
English (en)
Other versions
CN111444863B (zh
Inventor
杜广龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010239768.XA priority Critical patent/CN111444863B/zh
Publication of CN111444863A publication Critical patent/CN111444863A/zh
Application granted granted Critical
Publication of CN111444863B publication Critical patent/CN111444863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于相机的5G车载网络云辅助的驾驶员情绪识别方法。所述方法首先通过相机从面部皮肤信息中提取几何特征，并且从RGB分量的变化中提取心率。然后卷积神经网络（CNN）用于分析面部的几何特征，双向长短期记忆‑条件随机域（Bi‑LSTM‑CRF）用于分析心率。最后将由面部表情的几何特征分析得到的情绪分类概率和由心率变化分析得到的概率相加，然后使用Softmax函数得出情绪相对应的置信度，根据置信度将驾驶员情绪分类为五种常见的情绪：快乐，愤怒，悲伤，恐惧和中立。本发明不仅保留了传统的单帧人脸结构状态情感识别方法的优点，而且增加了对心率变化的考虑。

Description

基于相机的5G车载网络云辅助的驾驶员情绪识别方法
技术领域
本发明属于情绪识别领域，特别涉及一种基于相机的5G车载网络云辅助的驾驶员情绪识别方法。
背景技术
5G移动通信技术的成熟使得能够将大量数据实时上传到远程处理中心成为可能。远程处理中心可以对大量的数据执行繁重的任务，例如大数据分析、神经网络参数调整等。随着传感器技术和光学学习算法的最新发展，实时情感识别变得越来越准确并且开始广泛应用于现实世界。特别是对于汽车领域，实时识别驾驶员的情绪已成为解决疲劳驾驶、醉酒驾驶等问题的重要的解决方案。这有利于提高驾驶员的安全性。
许多功能都能用来提高为了实时识别情绪的准确性，例如声音，文字，面部表情，视线方向、生物电信号等。某些语音和文字功能可用于识别人们的情绪状态(S.Ramakrishnan and I.M.M.E.Emary,“Speech emotion recognition approaches inhuman computer interaction,”Telecommunication Systems,vol.52,no.3,pp.1467-1478,2013.Y.Chavhan,M.L.Dhore and P.Yesaware,“Speech Emotion RecognitionUsing Support Vector Machine,”vol.1,no.20,pp.6-9,2011.)，但是在现实的驾驶情况下，获取这些特征的难度较大。相比而言，视觉特征的获取比较容易。
目前一些方案也是通过面部表情来识别情绪。例如，基于照相机的检测方法，通过定时拍摄观察者的面部表情判断用户情绪(Monkaresi,Hamed,et al.“Automateddetection of engagement using video-based estimation of facial expressionsand heart rate,”IEEE Transactions on Affective Computing,vol.8,no.1,pp.15-28,2017.S.Mariooryad and C.Busso,“Facial Expression Recognition in the Presenceof Speech Using Blind Lexical Compensation,”IEEE Transactions on AffectiveComputing,vol.7,no.4,pp.346-359,2016.F.Xu,J.Zhang and J.Z.Wang,“Microexpression Identification and Categorization Using a Facial DynamicsMap,”IEEE Transactions on Affective Computing,vol.8,issue 2,pp.1-1,2017.)。通常，有两种类型的面部识别方法，即基于几何的方法(Hu,Min,et al."Video facialemotion recognition based on local enhanced motion history image and CNN-CTSLSTM networks."Journal of Visual Communication and Image Representation 59(2019):176-185.)和基于外观的方法(Wu,Suowei,et al."Continuous EmotionRecognition in Videos by Fusing Facial Expression,Head Pose and Eye Gaze."2019International Conference on Multimodal Interaction.2019.Jiang,Dazhi,etal."A probability and integrated learning based classification algorithm forhigh-level human emotion recognition problems."Measurement 150(2020):107049.)。然而，仅使用面部特征在准确地识别情绪这一方面还远远不够。除了视觉和语音功能外，生物特征识别信号，如心电图(ECG)、肌电图(EMG)等也已经广泛用于大多数情感检测实验中。一些方法也使用微波、热成像等方法检测心率。但是，这些方法要求用户穿上专用设备并要求直接与人体接触(L.G.Juan-Miguel,et al.“Method for Improving EEGBased Emotion Recognition by Combining It with Synchronized Biometric and EyeTracking Technologies in a Non-invasive and Low Cost Way,”Frontiers inComputational Neuroscience,vol.10,no.465,pp.85,2016.H.Ferdinando,et al.,“Emotion Recognition by Heart Rate Variability,”Australian Journal of Basic&Applied Sciences,vol.8,no.10,pp.50-55,2014.S.Katsigiannis,N.Ramzan,“DREAMER:ADatabase for Emotion Recognition Through EEG and ECG Signals from WirelessLow-cost Off-the-Shelf Devices,”IEEE Journal of Biomedical&HealthInformatics,vol.22,no.1,pp.98-107,2018.M.Nardelli,et al.,“RecognizingEmotions Induced by Affective Sounds through Heart Rate Variability,”IEEETransactions on Affective Computing,vol.6,no.4,pp.385-394,2015.G.Valenza,etal.,“Dominant Lyapunov exponent and approximate entropy in heart ratevariability during emotional visual elicitation,”Frontiers inNeuroengineering,vol.5,no.5,pp.3,2012.A.Goshvarpour,A.Abbasi,andA.Goshvarpour,“Fusion of heart rate variability and pulse rate variabilityfor emotion recognition using lagged poincare plots,”Australasian Physical&Engineering Sciences in Medicine,vol.6,pp.1-13,2017.N.J.Dabanloo,et al.,“Emotion Recognition based on Utilizing Occurrence Sequence of Heart Rate'sPhase Space Points,”Actapress Com,2012.Alam,Md Golam Rabiul,et al."HealthcareIoT-based Affective State Mining Using a Deep Convolutional Neural Network."IEEE Access(2019))，这会干扰驾驶员的活动从而导致测量出现偏差。
发明内容
本发明的目的是为了解决上述现有技术存在的缺陷，提出了一种基于相机的5G车载网络云辅助的驾驶员情绪识别方法。首先通过相机从面部皮肤信息中提取几何特征，并且从RGB分量的变化中提取心率。然后卷积神经网络(CNN)用于分析面部的几何形状，双向长短期记忆-条件随机域(Bi-LSTM-CRF)用于分析心率。最后这些信息用于Softmax函数，对五种常见的不同类型的情绪进行分类：快乐，愤怒，悲伤，恐惧和中立。本发明不仅保留了传统的单帧人脸结构状态情感识别方法的优点，而且增加了对时间变化的考虑。
本发明的目的至少通过如下技术方案之一实现。
基于相机的5G车载网络云辅助的驾驶员情绪识别方法，包括以下步骤：
S1、在方向盘中嵌入光学相机，通过光学相机采用脸部识别技术从实时视频流中的面部信息中提取几何特征并且从信号通道分量的变化中提取心率，将提取出来的面部几何特征和心率通过5G车载网络发送到数据处理中心；
S2、数据处理中心使用卷积神经网络分析面部的几何特征；
S3、数据处理中心使用双向长短期记忆-条件随机域分析心率；
S4、数据处理中心根据步骤S2和S3中分析得到的数据使用Softmax函数得到五种常见的不同类型的情绪中最大可能性的那一种情绪。
进一步地，步骤S1中，通过检测皮肤亮度变化提取心率信号；随着血液的流动，人体皮肤的表面会发生轻微变化，光学相机摄像头传感器检测到的皮肤亮度与血液通过脸部肌肉吸收的光量成反比，因此通过皮肤亮度的周期性变化确定心率的信号；所述光学相机必须具备RGB图像读取功能以及红外读取功能，所述数据处理中心在云端。
进一步地，步骤S1中，提取心率的过程包括以下步骤：
S11、采用特征矩阵联合逼近对角化的独立分量分析算法(Cardoso J F,Souloumiac A.Blind beamforming for non-Gaussian signals[C]//IEE proceedings F(radar and signal processing).IET Digital Library,1993,140(6):362-370.)，为红，绿，蓝和红外辐射4信号通道混合数据提供分离矩阵；然后得以分离出4个信号通道的信号独立成分；
S12、将分离出来的4个信号通道的信号独立成分与心率匹配，采用低通滤波来找到匹配的心率频段范围，即找到信号频段范围介于0.7Hz和4Hz之间，对应于每分钟42次和240次心跳之间的心率；
S13、需要使用脸部识别技术提取脸部图像；由于光线、角度或背景的影响，从相机获得的图像必须经过剪切、缩放、滤波、去噪、直方图均衡和灰度均衡的预处理，成为归一化的标准图像，即固定分辨率的图像，标准图像的分辨率依据设备处理能力来设定；将标准图像用小波变换提取面部特征向量；最后应用主成分分析以获得低维度的脸部特征向量描述。
进一步地，步骤S2中，所述卷积神经网络的框架如下：
Figure BDA0002432165700000041
其中，在符号
Figure BDA0002432165700000042
中，x表示卷积层张量，l表示第l个卷积层，i表示第i个卷积输出矩阵，j代表相应输出矩阵的数目；f表示sigmoid函数，即
Figure BDA0002432165700000043
bj为第j个偏置项；m为卷积大小；同时，卷积神经网络的池化层使用平均池化层，最终输出面部特征得到的情感概率。
进一步地，步骤S3中，所述双向长短期记忆-条件随机域结合了最大熵模型和隐马尔可夫模型的特征，是一种无向图模型(Lample G,Ballesteros M,Subramanian S,etal.Neural architectures for named entity recognition[J].arXiv preprint arXiv:1603.01360,2016.)；所述双向长短期记忆-条件随机域的线性随机条件采用线性条件随机场模型；利用条件随机域对输出结果进行优化；条件随机域更关注整个心率序列局部特征的线性加权组合。
进一步地，步骤S3中，所述分析心率的过程包括以下步骤：
S31、首先，通过双向长短期记忆-条件随机域内的循环神经网络计算心率序列在神经网络里面每一层的中间结果；
S32、然后，使用条件随机域模型计算联合概率作为优化结果(Lample G,Ballesteros M,Subramanian S,et al.Neural architectures for named entityrecognition[J].arXiv preprint arXiv:1603.01360,2016.)。
进一步地，步骤S4中，所述Softmax函数的输入有两个：步骤S2中卷积神经网络模型输出的面部特征得到的情感概率和步骤S3中双向长短期记忆-条件随机域模型输出的联合概率；Softmax函数为：
Figure BDA0002432165700000051
其中i指第i个值，x为输入的参数，即面部特征得到的情感概率和心率得到的联合概率的和。最后，Softmax函数的输出的最大值对应的情感为最终的分类结果，即argmaxiSoftmaxi(x)。
进一步地，所述五种常见的情绪包括快乐，愤怒，悲伤，恐惧和中立。
与现有技术相比，本发明具有以下优势：
(1)在5G车载辅助网络中集成情绪识别系统，这有助于迅速对紧急情况作出反应。
(2)利用面部亮度变化检测心率，补偿了单纯依靠脸部识别来检测情绪的准确率。
附图说明
图1为本发明一种基于相机的5G车载网络云辅助的驾驶员情绪识别方法的流程图；
图2为本发明实施例中车载摄像机嵌入方向盘的示意图。
具体实施方式
下面结合实施例和附图对本发明的具体实施做进一步的说明，但本发明的实施方式不限于此。
实施例：
基于相机的5G车载网络云辅助的驾驶员情绪识别方法，如图1所示，包括以下步骤：
S1、如图2所示，在方向盘1中嵌入深度相机2，通过深度相机2采用脸部识别技术从实时视频流中的面部信息中提取几何特征并且从信号通道分量的变化中提取心率，将提取出来的面部几何特征和心率通过5G车载网络发送到数据处理中心；
通过检测皮肤亮度变化提取心率信号；随着血液的流动，人体皮肤的表面会发生轻微变化，光学相机摄像头传感器检测到的皮肤亮度与血液通过脸部肌肉吸收的光量成反比，因此通过皮肤亮度的周期性变化确定心率的信号；所述光学相机必须具备RGB图像读取功能以及红外读取功能，所述数据处理中心在云端。
提取心率的过程包括以下步骤：
S11、采用特征矩阵联合逼近对角化的独立分量分析算法(Cardoso J F,Souloumiac A.Blind beamforming for non-Gaussian signals[C]//IEE proceedings F(radar and signal processing).IET Digital Library,1993,140(6):362-370.)，为红，绿，蓝和红外辐射4信号通道混合数据提供分离矩阵；然后得以分离出4个信号通道的信号独立成分；
S12、将分离出来的4个信号通道的信号独立成分与心率匹配，采用低通滤波来找到匹配的心率频段范围，即找到信号频段范围介于0.7Hz和4Hz之间，对应于每分钟42次和240次心跳之间的心率；
S13、需要使用脸部识别技术提取脸部图像；由于光线、角度或背景的影响，从相机获得的图像必须经过剪切、缩放、滤波、去噪、直方图均衡和灰度均衡的预处理，成为归一化的标准图像，即固定分辨率的图像，标准图像的分辨率依据设备处理能力来设定；将标准图像用小波变换提取面部特征向量；最后应用主成分分析以获得低维度的脸部特征向量描述，本实施例中，选取前10％的数据维度。
S2、数据处理中心使用卷积神经网络分析面部的几何特征；
所述卷积神经网络的框架如下：
Figure BDA0002432165700000071
其中，在符号
Figure BDA0002432165700000072
中，x表示卷积层张量，l表示第l个卷积层，i表示第i个卷积输出矩阵，j代表相应输出矩阵的数目；f表示sigmoid函数，即
Figure BDA0002432165700000073
bj为第j个偏置项；m为卷积大小；同时，卷积神经网络的池化层使用平均池化层，最终输出面部特征得到的情感概率。
S3、数据处理中心使用双向长短期记忆-条件随机域分析心率；
所述双向长短期记忆-条件随机域结合了最大熵模型和隐马尔可夫模型的特征，是一种无向图模型(Lample G,Ballesteros M,Subramanian S,et al.Neuralarchitectures for named entity recognition[J].arXiv preprint arXiv:1603.01360,2016.)；所述双向长短期记忆-条件随机域的线性随机条件采用线性条件随机场模型；利用条件随机域对输出结果进行优化；条件随机域更关注整个心率序列局部特征的线性加权组合。
所述分析心率的过程包括以下步骤：
S31、首先，通过双向长短期记忆-条件随机域内的循环神经网络计算心率序列在神经网络里面每一层的中间结果；
S32、然后，使用条件随机域模型计算联合概率作为优化结果(Lample G,Ballesteros M,Subramanian S,et al.Neural architectures for named entityrecognition[J].arXiv preprint arXiv:1603.01360,2016.)。
S4、数据处理中心根据步骤S2和S3中分析得到的数据使用Softmax函数得到五种常见的不同类型的情绪中最大可能性的那一种情绪；
所述五种常见的情绪包括快乐，愤怒，悲伤，恐惧和中立。
所述Softmax函数的输入有两个：步骤S2中卷积神经网络模型输出的面部特征得到的情感概率和步骤S3中双向长短期记忆-条件随机域模型输出的联合概率；Softmax函数为：
Figure BDA0002432165700000081
其中i指第i个值，x为输入的参数，即面部特征得到的情感概率和心率得到的联合概率的和。最后，Softmax函数的输出的最大值对应的情感为最终的分类结果，即argmaxiSoftmaxi(x)。

Claims (8)

1.基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，包括以下步骤：
S1、在方向盘中嵌入光学相机，通过光学相机采用脸部识别技术从实时视频流中的面部信息中提取几何特征并且从信号通道分量的变化中提取心率，将提取出来的面部几何特征和心率通过5G车载网络发送到数据处理中心；
S2、数据处理中心使用卷积神经网络分析面部的几何特征；
S3、数据处理中心使用双向长短期记忆-条件随机域分析心率；
S4、数据处理中心根据步骤S2和S3中分析得到的数据使用Softmax函数得到五种常见的不同类型的情绪中最大可能性的那一种情绪。
2.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，步骤S1中，通过检测皮肤亮度变化提取心率信号；随着血液的流动，人体皮肤的表面会发生轻微变化，光学相机摄像头传感器检测到的皮肤亮度与血液通过脸部肌肉吸收的光量成反比，因此通过皮肤亮度的周期性变化确定心率的信号；所述光学相机必须具备RGB图像读取功能以及红外读取功能，所述数据处理中心在云端。
3.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，步骤S1中，提取心率的过程包括以下步骤：
S11、采用特征矩阵联合逼近对角化的独立分量分析算法，为红，绿，蓝和红外辐射4信号通道混合数据提供分离矩阵；然后得以分离出4个信号通道的信号独立成分；
S12、将分离出来的4个信号通道的信号独立成分与心率匹配，采用低通滤波来找到匹配的心率频段范围，即找到信号频段范围介于0.7Hz和4Hz之间，对应于每分钟42次和240次心跳之间的心率；
S13、需要使用脸部识别技术提取脸部图像；由于光线、角度或背景的影响，从相机获得的图像必须经过剪切、缩放、滤波、去噪、直方图均衡和灰度均衡的预处理，成为归一化的标准图像，即固定分辨率的图像，标准图像的分辨率依据设备处理能力来设定；将标准图像用小波变换提取面部特征向量；最后应用主成分分析以获得低维度的脸部特征向量描述。
4.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，步骤S2中，所述卷积神经网络的框架如下：
Figure FDA0002432165690000021
其中，在符号
Figure FDA0002432165690000022
中，x表示卷积层张量，l表示第l个卷积层，i表示第i个卷积输出矩阵，j代表相应输出矩阵的数目；f表示sigmoid函数，即
Figure FDA0002432165690000023
bj为第j个偏置项；m为卷积大小；同时，卷积神经网络的池化层使用平均池化层，最终输出面部特征得到的情感概率。
5.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，步骤S3中，所述双向长短期记忆-条件随机域结合了最大熵模型和隐马尔可夫模型的特征，是一种无向图模型；所述双向长短期记忆-条件随机域的线性随机条件采用线性条件随机场模型；利用条件随机域对输出结果进行优化；条件随机域更关注整个心率序列局部特征的线性加权组合。
6.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，步骤S3中，所述分析心率的过程包括以下步骤：
S31、首先，通过双向长短期记忆-条件随机域内的循环神经网络计算心率序列在神经网络里面每一层的中间结果；
S32、然后，使用条件随机域模型计算联合概率作为优化结果。
7.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，其特征在于，步骤S4中，所述Softmax函数的输入有两个：步骤S2中卷积神经网络模型输出的面部特征得到的情感概率和步骤S3中双向长短期记忆-条件随机域模型输出的联合概率；Softmax函数为：
Figure FDA0002432165690000024
其中i指第i个值，x为输入的参数，即面部特征得到的情感概率和心率得到的联合概率的和；最后，Softmax函数的输出的最大值对应的情感为最终的分类结果，即argmaxiSoftmaxi(x)。
8.根据权利要求1所述的基于相机的5G车载网络云辅助的驾驶员情绪识别方法，步骤S4中，所述五种常见的情绪包括快乐，愤怒，悲伤，恐惧和中立。
CN202010239768.XA 2020-03-30 2020-03-30 基于相机的5g车载网络云辅助的驾驶员情绪识别方法 Active CN111444863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010239768.XA CN111444863B (zh) 2020-03-30 2020-03-30 基于相机的5g车载网络云辅助的驾驶员情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010239768.XA CN111444863B (zh) 2020-03-30 2020-03-30 基于相机的5g车载网络云辅助的驾驶员情绪识别方法

Publications (2)

Publication Number Publication Date
CN111444863A true CN111444863A (zh) 2020-07-24
CN111444863B CN111444863B (zh) 2023-05-23

Family

ID=71649290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010239768.XA Active CN111444863B (zh) 2020-03-30 2020-03-30 基于相机的5g车载网络云辅助的驾驶员情绪识别方法

Country Status (1)

Country Link
CN (1) CN111444863B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370058A (zh) * 2020-11-11 2021-02-19 西北工业大学 一种基于移动端对用户的情感进行识别与监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108805088A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的生理信号分析子系统
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN109993068A (zh) * 2019-03-11 2019-07-09 华南理工大学 一种基于心率和面部特征的非接触式的人类情感识别方法
CN110516658A (zh) * 2019-09-06 2019-11-29 山东理工大学 一种基于面部图像和车辆运行信息的驾驶员情绪的识别算法设计

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426765A (zh) * 2017-08-23 2019-03-05 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN108805087A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108805088A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态情绪识别系统的生理信号分析子系统
CN109993068A (zh) * 2019-03-11 2019-07-09 华南理工大学 一种基于心率和面部特征的非接触式的人类情感识别方法
CN110516658A (zh) * 2019-09-06 2019-11-29 山东理工大学 一种基于面部图像和车辆运行信息的驾驶员情绪的识别算法设计

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112370058A (zh) * 2020-11-11 2021-02-19 西北工业大学 一种基于移动端对用户的情感进行识别与监测方法
WO2022100187A1 (zh) * 2020-11-11 2022-05-19 西北工业大学 一种基于移动端对用户的情感进行识别与监测方法

Also Published As

Publication number Publication date
CN111444863B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108009520B (zh) 基于卷积变分自编码器网络的手指静脉识别方法及系统
CN112307958B (zh) 基于时空外观运动注意力网络的微表情识别方法
CN110033002B (zh) 基于多任务级联卷积神经网络的车牌检测方法
Adithya et al. Artificial neural network based method for Indian sign language recognition
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN110956082B (zh) 基于深度学习的人脸关键点检测方法和检测系统
KR20100032699A (ko) 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
CN112597873A (zh) 一种基于深度学习的双通道人脸表情识别方法
Muthalagu et al. Vehicle lane markings segmentation and keypoint determination using deep convolutional neural networks
Sinha et al. Real time facial emotion recognition using deep learning
CN115188084A (zh) 非接触式声纹与掌纹掌静脉的多模态身份识别系统和方法
CN111444863A (zh) 基于相机的5g车载网络云辅助的驾驶员情绪识别方法
Luqman et al. Utilizing motion and spatial features for sign language gesture recognition using cascaded CNN and LSTM models
Borra et al. Face recognition based on convolutional neural network
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN115063717B (zh) 一种基于重点区域实景建模的视频目标检测与跟踪方法
CN115147450B (zh) 基于运动帧差图像的移动目标检测方法及检测装置
CN111191598A (zh) 一种基于智能陪伴机器人的人脸表情识别方法
CN116359846A (zh) 一种基于联合学习的动态毫米波雷达点云人体解析方法
Tamrakar et al. Low resolution fingerprint image verification using CNN filter and LSTM classifier
CN115937945A (zh) 基于视觉Transformer和卷积网络相融合的人脸表情识别方法
Brahmankar et al. Indian sign language recognition using canny edge detection
CN115063612A (zh) 基于面审视频的欺诈预警方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant