CN109770925A - 一种基于深度时空网络的疲劳检测方法 - Google Patents
一种基于深度时空网络的疲劳检测方法 Download PDFInfo
- Publication number
- CN109770925A CN109770925A CN201910108850.6A CN201910108850A CN109770925A CN 109770925 A CN109770925 A CN 109770925A CN 201910108850 A CN201910108850 A CN 201910108850A CN 109770925 A CN109770925 A CN 109770925A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- data set
- feature
- eye
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000000306 recurrent effect Effects 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 230000006835 compression Effects 0.000 claims abstract description 4
- 238000007906 compression Methods 0.000 claims abstract description 4
- 210000004556 brain Anatomy 0.000 claims description 23
- 239000011521 glass Substances 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000007664 blowing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000005507 spraying Methods 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 25
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于深度时空网络的疲劳检测方法，涉及机器学习技术领域，所述方法包括：模拟驾驶环境，包括不同天气和路况下的驾驶环境；在所述驾驶环境下采集样本数据并进行分类，包括第一数据集和第二数据集；构建深度时空网络模型，生成特征提取器对样本数据中眼部特征进行提取；利用自动编解码器对第一数据集的眼部特征进行特征压缩并输入循环神经网络RNN；利用第二数据集对循环神经网络RNN进行训练，得到训练完成的疲劳检测模型；利用训练完成的疲劳检测模型进行实时检测，输出检测结果并通过警示模块做出反馈。本发明实施例能够解决现有技术中的疲劳检测方法不能精确分类疲劳程度、操作不方便等问题。
Description
技术领域
本发明实施例涉及机器学习技术领域，具体涉及一种基于深度时空网络的疲劳检测方法。
背景技术
对于驾驶类岗位，需要操作人员保持清醒状态，在造成交通事故中频发的原因中，其中一个很重要的因素就是疲劳驾驶。驾驶员在长时间连续行车后，产生生理机能和心理机能的失调，出现驾驶技能下降的现象。疲劳驾驶会影响驾驶员的注意力、感觉、知觉、思维、判断、意志、决定和运动等诸方面。在相关统计中，如果能够检测驾驶员的疲劳状态并在发现出现疲劳驾驶时能及时提醒驾驶员，使其反应时间能够提高0.5秒，交通事故的发生可能性会降低60％。因此，对驾驶过程中驾驶员的疲劳状态进行实时监测，并且对驾驶员的疲劳状态进行判断对安全驾驶具有重要意义。
现有检测或者监测人的疲劳状态的常见方法包括：脑电波检测、眼部监测、面部状态检测以及血压、血氧量等生理指标检测。但现有的方法存在不能精确分类疲劳程度、湿式脑电电极操作繁琐，被测试者存在抵触情绪；基于自发脑电的疲劳检测，容易伪装疲劳；基于生理指标的设备结构复杂，不便携带等缺点。
因此，利用机器学习提供更好的疲劳检测方法很有必要。
发明内容
为此，本发明实施例提供一种基于深度时空网络的疲劳检测方法，以解决现有技术中的疲劳检测方法不能精确分类疲劳程度、操作不方便等问题。
为了实现上述目的，本发明的实施方式提供如下技术方案：
提供一种基于深度时空网络的疲劳检测方法，所述方法包括：模拟驾驶环境，包括不同天气和路况下的驾驶环境；在所述驾驶环境下采集样本数据并进行分类，包括第一数据集和第二数据集；构建深度时空网络模型，生成特征提取器对样本数据中眼部特征进行提取；利用自动编解码器对第一数据集的眼部特征进行特征压缩并输入循环神经网络RNN；利用第二数据集对循环神经网络RNN进行训练，得到训练完成的疲劳检测模型；利用训练完成的疲劳检测模型进行实时检测，输出检测结果并通过警示模块做出反馈。
优选地，所述方法包括：实验者模拟路况进行驾驶时，通过VR虚拟装置呈现不同的路况环境；在驾驶仓内设置温控装置、喷雾装置和吹风装置模拟不同的气候条件；通过脑电波分析仪采集实验者的脑电波；通过疲劳检测眼镜采集实验者的眼部图像和视频特征。
优选地，所述第一数据集包括若干帧清醒、疲劳状态和眨眼时的不同状态下的眼部图像，第一数据集还包括数据增强后的眼部图像，所述数据增强包括改变眼部图像的亮度、饱和度、对比度、锐度和旋转角度。
优选地，所述第二数据集包括若干眼部动态视频数据，所述眼部动态视频数据包括实验者处于不同场景、不同疲劳状态下的眼部动态视频数据，且根据脑电波分析仪的分析结果对所述眼部动态视频数据进行状态标注。
优选地，所述特征提取器包括具有全卷积网络的VGG19分类器网络模型，其中，使用特征提取器进行特征提取前，对第一数据集的图像进行预处理。
优选地，所述自动编解码器包括由3层BP网络构成的BP编解码器，BP编解码器包括编码器和解码器，将第一数据集眼睛图像的融合特征输入到编码器，得到紧凑的特征表示，将所述紧凑的特征表示通过解码器形成重构特征，所述重构特征与第一数据集眼睛图像的融合特征构成重构误差，通过生成损失和KL散度调整编码器和解码器的参数来减小所述重构误差，得到重构误差最小的压缩特征。
优选地，所述利用第二数据集对循环神经网络RNN进行训练的方法包括：采用批标准化策略对训练样本进行校正，提高模型的泛化能力，使用梯度下降调整RNN权值，并采用长短时记忆架构LSTM对RNN进行改进。
优选地，利用所述疲劳检测模型进行实时检测时，保持VGG19的权值不变，在线微调RNN的权值，被检测者根据系统提示进行挣眼、闭眼和眨眼动作，利用训练完成的疲劳检测模型进行疲劳检测，若检测结果为疲劳驾驶，则警示模块给出提示。
根据本发明的实施方式，本发明具有如下优点：本发明采用全卷积网络的VGG19分类器网络模型对样本特征进行提取，具有精确的特征表示；本发明采用3层BP网络作为编解码器，能够学习高级的抽象特征，提高模型的眼睛表示能力；本发明采用长短时记忆架构LSTM对RNN进行改进，能够避免误差曲线的梯度爆发与消失；本发明采用疲劳检测眼镜采集眼部数据，检测过程快速便捷。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的一种基于深度时空网络的疲劳检测方法的步骤图；
图2为本发明实施例提供的一种基于深度时空网络模型的架构图；
图3为本发明实施例提供的一种特征提取器的结构图；
图4为本发明实施例提供的一种疲劳检测眼镜的结构示意图；
图5为本发明实施例提供的一种疲劳检测眼镜和脑电波分析仪的佩戴示意图。
图中：特征提取器1、自动编解码器2、RNN3、警示模块4、疲劳检测眼镜本体5、标清摄像头6、USB数据接口7、数据处理装置8、电源9、脑电波分析仪10。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，本实施例提供一种基于深度时空网络的疲劳检测方法，所述方法包括：
S1，模拟驾驶环境，包括不同天气和路况下的驾驶环境；
具体地，实验者带上VR虚拟装置，通过VR虚拟装置呈现虚拟驾驶环境，模拟路况进行驾驶；在实验者所在的驾驶仓内设置温控装置、喷雾装置和吹风装置模拟不同的气候条件，温控装置可以模拟不同的气温条件，喷雾装置可以模拟环境湿度，吹风装置可以模拟风向和风力。参考图5，实验者戴上脑电波分析仪10，通过脑电波分析仪10采集实验者的脑电波，来判断实验者的疲劳程度；通过疲劳检测眼镜采集实验者处于清醒或疲劳状态时的眼部图像和视频特征。
参考图4，本实施例提供的疲劳检测眼镜包括疲劳检测眼镜本体5、数据处理装置8和电源9，疲劳检测眼镜本体5通过USB数据接口7与数据处理装置8相连，数据处理装置8与电源9电连接，数据处理装置8可以为计算机主机等具有对数据进行处理分析的功能的设备。疲劳检测眼镜本体5上设置有警示模块4用于提醒驾驶者。
其中，利用脑电波端疲劳程度的原理为：大脑可产生四类脑电波，当人在紧张状态下，大脑产生的是β波；当人的身体放松，大脑比较活跃，灵感不断的时候，就导出了α波；当人感到睡意朦胧时，脑电波就变成θ波；当人进入深睡时，变成δ波。且研究表明人们在清醒且闭眼后的脑电波为8-12Hz的α波，而睁开眼睛后的脑电波处于13-30Hz的β波，因此本发明利用脑电波判断实验者的疲劳程度，且通过人为对所处的状态进行标定，即对眼部动态视频数据进行状态标注，以提高检测的正确率。
S2，在所述驾驶环境下采集样本数据并进行分类，包括第一数据集和第二数据集；
具体地，样本数据的对象包括不同种族、性别、年龄的若干人的数据，样本数据的环境包括模拟的白天、黑夜、下雨、下雪、雾天等，所述
第一数据集包括不同情况下的若干帧实验者清醒、疲劳状态和眨眼时等不同状态下的眼部图像，为了提高样本的数量，第一数据集还包括数据增强后的眼部图像，所述数据增强包括改变眼部图像的亮度、饱和度、对比度、锐度和旋转角度。
第二数据集包括若干眼部动态视频数据，所述眼部动态视频数据包括实验者处于不同场景、不同疲劳状态下的眼部动态视频数据，且根据脑电波分析仪10的分析结果对所述眼部动态视频数据进行状态标注组成第二数据集。
S3，构建深度时空网络模型，生成特征提取器1对样本数据中眼部特征进行提取；
参考图2，深度时空网络模型属于深度学习网络的范畴，在此不再赘述，具体地，本实施例中的特征提取器1包括基于ImageNet数据集的VGG19分类器网络模型，在VGG19模型中底层输出的是图像的细节信息，高层输出的是眼部图像的轮廓信息。利用VGG19模型不同阶段不同分辨率的空间信息来细化特征表示。
本实施例中VGG19分类器网络模型将原分类网络中的卷积层固定不变，去掉全连接层，形成具有全卷积的网络模型对眼睛图片进行特征提取，使模型能够将深的、粗糙的网络层语义信息和浅的、精细的网络层的表层信息结合起来，生成精确的特征表示。
参考图3，VGG19分类器网络模型的结构依次包括：输入层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层、卷积层、池化层、池化层、特征拼接层、特征拼接层、特征拼接层。其中的池化层均为最大池化层。
进一步地，使用特征提取器1进行特征提取前，需要对第一数据集的图像进行预处理。由于原始输入往往以深度学习架构难以表示的形式出现，需要许多较精细的预处理。计算机视觉通常只需要相对少的这种预处理。图像应该被标准化，从而使得它们的像素都在相同并且合理的范围内，将图像格式化为具有相同的比例严格上说是一种必要的预处理。因此在使用特征提取器1时，应该满足模型训练时用的格式，即对于VGG19输入的图像需要将RGB转换成BGR，并将图像大小重构成为224*224*3。
另外，在使用大型数据集和大型模型训练时，减少模型需要考虑的变化量通常是不必要的，并且最好只是让模型学习哪些变化性应该保留。因此本实施例的预处理包括将图片中每个像素需要减去在ImageNet上训练的样本平均值，保留其差别特征。
S4，利用自动编解码器2对第一数据集的眼部特征进行特征压缩并输入循环神经网络RNN3；
具体地，BP神经网络实质上实现了一个从输入到输出的映射功能，数学理论证明三层的神经网络就能够以任意精度逼近任何非线性连续函数。这使得其特别适合于求解内部机制复杂的问题，即BP神经网络具有较强的非线性映射能力。另外，BP神经网络具有高度泛化能力和容错能力。因此本实施例采用3层BP网络作为自动编解码器2，自动编解码器2是自监督算法，其标签产生于自输入数据，在第一数据集上自编码器的任务是学习到高级的抽象特征，以提高模型的眼睛表示能力。自动编解码器2包括编码器和解码器，将第一数据集眼睛图像的融合特征输入到编码器，得到紧凑的特征表示，将所述紧凑的特征表示通过解码器形成重构特征，所述重构特征与第一数据集眼睛图像的融合特征构成重构误差，通过生成损失和KL散度调整编码器和解码器的参数来减小所述重构误差，得到重构误差最小的压缩特征，合并成1*1*512维数据输入给RNN3。
S5，利用第二数据集对循环神经网络RNN3进行训练，得到训练完成的疲劳检测模型；
具体地，批标准化Batch Normalization简称BN算法，是为了克服神经网络层数加深导致难以训练而诞生的一个算法，根据ICS理论，当训练集的样本数据和目标样本集分布不一致的时候，训练得到的模型无法很好的泛化。因此在训练过程中，为了避免过拟合以提高泛化能力，采用批标准化策略，批大小设置为64，其他参数如学习率为0.00001，剪枝率为0.5。
另外，使用梯度下降调整RNN3权值，并采用长短时记忆架构LSTM对RNN3进行改进。LSTM可以协助在强制的输入、适当的回应与防止梯度爆发之间建立一个长期的时滞。这个架构强制其在特殊记忆单元中的内部状态保持一个常数误差流，这样一来训练曲线既不会爆发也不会消失。
S6，利用训练完成的疲劳检测模型进行实时检测，输出检测结果并通过警示模块4做出反馈。
利用所述疲劳检测模型进行实时检测时，保持VGG19的权值不变，在线微调RNN3的权值，被检测者根据系统提示进行挣眼、闭眼和眨眼动作，利用训练完成的疲劳检测模型进行疲劳检测，若检测结果为疲劳驾驶，则警示模块4给出提示，达到提醒司机的作用。
参考图4，本发明实施例在疲劳检测眼镜本体5上还可以设置标清摄像头6，用来采集司机的面部表情图像或视频，再提取特征制作数据集，对疲劳检测模型进行训练，其过程和采用的方法基本一致。基于同样的原理，稍加改进也可应用于远置式疲劳检测设备中。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (8)
1.一种基于深度时空网络的疲劳检测方法，其特征在于，所述方法包括：
模拟驾驶环境，包括不同天气和路况下的驾驶环境；
在所述驾驶环境下采集样本数据并进行分类，包括第一数据集和第二数据集；
构建深度时空网络模型，生成特征提取器对样本数据中眼部特征进行提取；
利用自动编解码器对第一数据集的眼部特征进行特征压缩并输入循环神经网络RNN；
利用第二数据集对循环神经网络RNN进行训练，得到训练完成的疲劳检测模型；
利用训练完成的疲劳检测模型进行实时检测，输出检测结果并通过警示模块做出反馈。
2.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，所述方法包括：实验者模拟路况进行驾驶时，通过VR虚拟装置呈现不同的路况环境；在驾驶仓内设置温控装置、喷雾装置和吹风装置模拟不同的气候条件；通过脑电波分析仪采集实验者的脑电波；通过疲劳检测眼镜采集实验者的眼部图像和视频特征。
3.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，所述第一数据集包括若干帧清醒、疲劳状态和眨眼时的不同状态下的眼部图像，第一数据集还包括数据增强后的眼部图像，所述数据增强包括改变眼部图像的亮度、饱和度、对比度、锐度和旋转角度。
4.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，所述第二数据集包括若干眼部动态视频数据，所述眼部动态视频数据包括实验者处于不同场景、不同疲劳状态下的眼部动态视频数据，且根据脑电波分析仪的分析结果对所述眼部动态视频数据进行状态标注。
5.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，所述特征提取器包括具有全卷积网络的VGG19分类器网络模型，其中，使用特征提取器进行特征提取前，对第一数据集的图像进行预处理。
6.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，所述自动编解码器包括由3层BP网络构成的BP编解码器，BP编解码器包括编码器和解码器，将第一数据集眼睛图像的融合特征输入到编码器，得到紧凑的特征表示，将所述紧凑的特征表示通过解码器形成重构特征，所述重构特征与第一数据集眼睛图像的融合特征构成重构误差，通过生成损失和KL散度调整编码器和解码器的参数来减小所述重构误差，得到重构误差最小的压缩特征。
7.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，所述利用第二数据集对循环神经网络RNN进行训练的方法包括：采用批标准化策略对训练样本进行校正，提高模型的泛化能力，使用梯度下降调整RNN权值，并采用长短时记忆架构LSTM对RNN进行改进。
8.如权利要求1所述的一种基于深度时空网络的疲劳检测方法，其特征在于，利用所述疲劳检测模型进行实时检测时，保持VGG19的权值不变，在线微调RNN的权值，被检测者根据系统提示进行挣眼、闭眼和眨眼动作，利用训练完成的疲劳检测模型进行疲劳检测，若检测结果为疲劳驾驶，则警示模块给出提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910108850.6A CN109770925B (zh) | 2019-02-03 | 2019-02-03 | 一种基于深度时空网络的疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910108850.6A CN109770925B (zh) | 2019-02-03 | 2019-02-03 | 一种基于深度时空网络的疲劳检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109770925A true CN109770925A (zh) | 2019-05-21 |
| CN109770925B CN109770925B (zh) | 2020-04-24 |
Family
ID=66504239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910108850.6A Active CN109770925B (zh) | 2019-02-03 | 2019-02-03 | 一种基于深度时空网络的疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109770925B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110151203A (zh) * | 2019-06-06 | 2019-08-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
| CN110575163A (zh) * | 2019-08-01 | 2019-12-17 | 深圳大学 | 一种检测驾驶员分心的方法及装置 |
| CN110717389A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
| CN110738190A (zh) * | 2019-10-28 | 2020-01-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶的判断方法、装置及设备 |
| CN111242065A (zh) * | 2020-01-17 | 2020-06-05 | 江苏润杨汽车零部件制造有限公司 | 一种便携式车载智能驾驶系统 |
| CN111803028A (zh) * | 2020-06-19 | 2020-10-23 | 天津大学 | 一种基于网络参数迁移的个性化癫痫发作检测装置 |
| CN113297981A (zh) * | 2021-05-27 | 2021-08-24 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
| CN113887386A (zh) * | 2021-09-29 | 2022-01-04 | 电子科技大学 | 基于深度学习和机器学习的多特征融合的疲劳检测方法 |
| CN114821968A (zh) * | 2022-05-09 | 2022-07-29 | 西南交通大学 | 动车司机疲劳驾驶干预方法、装置、设备及可读存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140097957A1 (en) * | 1995-06-07 | 2014-04-10 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
| CN204016312U (zh) * | 2014-07-22 | 2014-12-17 | 杭州电子科技大学 | 一种基于生物电技术的驾驶疲劳检测模拟系统 |
| CN205680247U (zh) * | 2016-04-19 | 2016-11-09 | 陈进民 | 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器 |
| CN106845371A (zh) * | 2016-12-31 | 2017-06-13 | 中国科学技术大学 | 一种城市路网机动车尾气排放遥感监控系统 |
| CN106980608A (zh) * | 2017-03-16 | 2017-07-25 | 四川大学 | 一种中文电子病历分词和命名实体识别方法及系统 |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
| CN107909037A (zh) * | 2017-11-16 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 信息输出方法和装置 |
| CN108294759A (zh) * | 2017-01-13 | 2018-07-20 | 天津工业大学 | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 |
| CN108309311A (zh) * | 2018-03-27 | 2018-07-24 | 北京华纵科技有限公司 | 一种列车驾驶员实时盹睡检测装置及检测算法 |
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| CN108694815A (zh) * | 2018-07-25 | 2018-10-23 | 合肥市智信汽车科技有限公司 | 一种疲劳驾驶辅助装置及疲劳驾驶检测方法 |
| CN108764142A (zh) * | 2018-05-25 | 2018-11-06 | 北京工业大学 | 基于3dcnn的无人机影像森林烟雾检测和分类方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN108899050A (zh) * | 2018-06-14 | 2018-11-27 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的语音信号分析子系统 |
| CN105769120B (zh) * | 2016-01-27 | 2019-01-22 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
-
2019
- 2019-02-03 CN CN201910108850.6A patent/CN109770925B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140097957A1 (en) * | 1995-06-07 | 2014-04-10 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
| CN204016312U (zh) * | 2014-07-22 | 2014-12-17 | 杭州电子科技大学 | 一种基于生物电技术的驾驶疲劳检测模拟系统 |
| CN105769120B (zh) * | 2016-01-27 | 2019-01-22 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
| CN205680247U (zh) * | 2016-04-19 | 2016-11-09 | 陈进民 | 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器 |
| CN106845371A (zh) * | 2016-12-31 | 2017-06-13 | 中国科学技术大学 | 一种城市路网机动车尾气排放遥感监控系统 |
| CN108294759A (zh) * | 2017-01-13 | 2018-07-20 | 天津工业大学 | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 |
| CN106980608A (zh) * | 2017-03-16 | 2017-07-25 | 四川大学 | 一种中文电子病历分词和命名实体识别方法及系统 |
| CN107194346A (zh) * | 2017-05-19 | 2017-09-22 | 福建师范大学 | 一种汽车疲劳驾驶预测方法 |
| CN107909037A (zh) * | 2017-11-16 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 信息输出方法和装置 |
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| CN108309311A (zh) * | 2018-03-27 | 2018-07-24 | 北京华纵科技有限公司 | 一种列车驾驶员实时盹睡检测装置及检测算法 |
| CN108764142A (zh) * | 2018-05-25 | 2018-11-06 | 北京工业大学 | 基于3dcnn的无人机影像森林烟雾检测和分类方法 |
| CN108875595A (zh) * | 2018-05-29 | 2018-11-23 | 重庆大学 | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 |
| CN108899050A (zh) * | 2018-06-14 | 2018-11-27 | 南京云思创智信息科技有限公司 | 基于多模态情绪识别系统的语音信号分析子系统 |
| CN108694815A (zh) * | 2018-07-25 | 2018-10-23 | 合肥市智信汽车科技有限公司 | 一种疲劳驾驶辅助装置及疲劳驾驶检测方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110151203A (zh) * | 2019-06-06 | 2019-08-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
| CN110151203B (zh) * | 2019-06-06 | 2021-11-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
| WO2021017329A1 (zh) * | 2019-08-01 | 2021-02-04 | 深圳大学 | 一种检测驾驶员分心的方法及装置 |
| CN110575163A (zh) * | 2019-08-01 | 2019-12-17 | 深圳大学 | 一种检测驾驶员分心的方法及装置 |
| CN110717389A (zh) * | 2019-09-02 | 2020-01-21 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
| CN110717389B (zh) * | 2019-09-02 | 2022-05-13 | 东南大学 | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 |
| CN110738190A (zh) * | 2019-10-28 | 2020-01-31 | 北京经纬恒润科技有限公司 | 一种疲劳驾驶的判断方法、装置及设备 |
| CN111242065A (zh) * | 2020-01-17 | 2020-06-05 | 江苏润杨汽车零部件制造有限公司 | 一种便携式车载智能驾驶系统 |
| CN111803028A (zh) * | 2020-06-19 | 2020-10-23 | 天津大学 | 一种基于网络参数迁移的个性化癫痫发作检测装置 |
| CN113297981A (zh) * | 2021-05-27 | 2021-08-24 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
| CN113297981B (zh) * | 2021-05-27 | 2023-04-07 | 西北工业大学 | 一种基于注意力机制的端到端脑电情感识别方法 |
| CN113887386A (zh) * | 2021-09-29 | 2022-01-04 | 电子科技大学 | 基于深度学习和机器学习的多特征融合的疲劳检测方法 |
| CN113887386B (zh) * | 2021-09-29 | 2023-04-28 | 电子科技大学 | 基于深度学习和机器学习的多特征融合的疲劳检测方法 |
| CN114821968A (zh) * | 2022-05-09 | 2022-07-29 | 西南交通大学 | 动车司机疲劳驾驶干预方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109770925B (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109770925A (zh) | 一种基于深度时空网络的疲劳检测方法 | |
| CN106611169B (zh) | 一种基于深度学习的危险驾驶行为实时检测方法 | |
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| CN205680247U (zh) | 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器 | |
| CN109063728A (zh) | 一种火灾图像深度学习模式识别方法 | |
| CN107007257B (zh) | 面部不自然度的自动评级方法和装置 | |
| CN108464839A (zh) | 一种基于机器学习的车载疲劳驾驶监测预警系统 | |
| CN103258204B (zh) | 一种基于Gabor和EOH特征的自动微表情识别方法 | |
| CN110197729A (zh) | 基于深度学习的静息态fMRI数据分类方法和装置 | |
| CN108664947A (zh) | 一种基于表情识别的疲劳驾驶预警方法 | |
| CN110464366A (zh) | 一种情绪识别方法、系统及存储介质 | |
| CN108294759A (zh) | 一种基于cnn眼部状态识别的驾驶员疲劳检测方法 | |
| CN108288015A (zh) | 基于时间尺度不变性的视频中人体动作识别方法及系统 | |
| CN109086754A (zh) | 一种基于深度学习的人体姿态识别方法 | |
| CN110135242B (zh) | 基于低分辨率红外热成像深度感知的情绪识别装置及方法 | |
| CN209313951U (zh) | 一种基于arm9的温室大棚移动智能监控系统 | |
| CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
| CN109431523A (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
| CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
| CN111714118A (zh) | 一种基于集成学习的脑认知模型融合方法 | |
| CN109998497A (zh) | 光环境中入睡检判系统及被照平面照度检测装置 | |
| CN110063736A (zh) | 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统 | |
| CN109106384A (zh) | 一种心理压力状况预测方法及系统 | |
| CN109886086A (zh) | 基于hog特征和线性svm级联分类器的行人检测方法 | |
| CN109875583A (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240514 Address after: 230000 b-1018, Woye Garden commercial office building, 81 Ganquan Road, Shushan District, Hefei City, Anhui Province Patentee after: HEFEI WISDOM DRAGON MACHINERY DESIGN Co.,Ltd. Country or region after: China Address before: No. 1 Wenxian Road, Daxue City, Minhou County, Fuzhou City, Fujian Province, 350108 Patentee before: MINJIANG University Country or region before: China |