CN110427871B - 一种基于计算机视觉的疲劳驾驶检测方法 - Google Patents

一种基于计算机视觉的疲劳驾驶检测方法 Download PDF

Info

Publication number
CN110427871B
CN110427871B CN201910701129.8A CN201910701129A CN110427871B CN 110427871 B CN110427871 B CN 110427871B CN 201910701129 A CN201910701129 A CN 201910701129A CN 110427871 B CN110427871 B CN 110427871B
Authority
CN
China
Prior art keywords
image
fatigue driving
target
fatigue
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910701129.8A
Other languages
English (en)
Other versions
CN110427871A (zh
Inventor
马素刚
侯志强
刘晓义
惠飞
王忠民
孙韩林
赵祥模
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Xian University of Posts and Telecommunications
Original Assignee
Changan University
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University, Xian University of Posts and Telecommunications filed Critical Changan University
Priority to CN201910701129.8A priority Critical patent/CN110427871B/zh
Publication of CN110427871A publication Critical patent/CN110427871A/zh
Application granted granted Critical
Publication of CN110427871B publication Critical patent/CN110427871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于疲劳驾驶检测技术领域，具体涉及一种基于计算机视觉的疲劳驾驶检测方法。现有的检测方法在检测准确性和反应速度上不能很好地满足实际产品的需求，存在着不能有效避免疲劳事故的发生的问题。本发明提供的一种基于计算机视觉的疲劳驾驶检测方法，启动设备，对摄像头进行初始化操作；然后进行视频采集、人脸检测、目标跟踪、神经网络判断、缓存图像和报警步骤，利用深度特征提取、目标检测、目标跟踪和行为识别等方法，实现对疲劳驾驶行为的准确判断。该方法准确度高，检测速度快，利用定期检测更新跟踪模板有效解决了跟踪失败问题，同时采用了单幅图像特征和连续多幅图像序列特征对疲劳行为进行描述，从而提高整个系统判断的准确性。

Description

一种基于计算机视觉的疲劳驾驶检测方法
技术领域
本发明属于疲劳驾驶检测技术领域，具体涉及一种基于计算机视觉的疲劳驾驶检测方法。
背景技术
据美国汽车交通安全基金会的一项调查表明，疲劳驾驶在美国的交通事故死亡事件中占据21％。据美国国家公路交通安全管理局统计，仅2015年就有近9万次交通事故是由疲劳驾驶引发的。在我国随着汽车保有量的逐年增加，交通安全形势愈发严峻。相关数据表明，疲劳驾驶造成的事故约占交通事故总数的7％，约占特大交通事故总数的40％。由此可见，疲劳驾驶导致了非常高比例的交通事故，对疲劳驾驶行为的及时准确预测对于保障驾乘人员生命财产安全具有重要的现实意义。
在目前众多的疲劳驾驶检测方法中，基于计算机视觉的检测方法具有无需与驾驶员物理接触，不会干扰驾驶员的正常操作等特点，而且稳定性好，能够实时检测驾驶员状态，具有较高的推广价值。
常见的基于计算机视觉的检测方法是：通过图像输入设备对驾驶员的表情、姿态、行为等特征进行实时检测，根据检测到的状态变化判断驾驶员是否处于疲劳状态，例如：当驾驶员出现打哈欠、眯眼睛、点头及其他疲劳驾驶行为时，预警系统将会对此类行为进行分析，并进行及时告警。
但是因现实环境中存在光照变化、尺度变化、背景干扰等多种复杂因素的影响，现有的检测方法在检测准确性和反应速度上仍然不能很好地满足实际产品的需求，并不能有效避免疲劳事故的发生。
发明内容
本发明要解决现有技术存在的检测准确性和反应速度不够高的问题，提供一种基于计算机视觉的疲劳驾驶检测方法。
为解决上述技术问题，本发明采用的技术方案是：
一种基于计算机视觉的疲劳驾驶检测方法，首先启动设备，对摄像头进行初始化操作；然后依次进行以下步骤：
步骤一、视频采集：对驾驶员面部视频进行采集，获取驾驶员面部图像序列；
步骤二、人脸检测：
1)输入图像I，经过深层卷积网络提取特征，获得输入图像的特征图。
2)在RPN网络中使用双阈值-非极大值抑制方法获得多个候选区域，具体公式为：
Figure BDA0002150857970000021
式中，Si为该检测框的原始得分，Sf为该检测框的最后得分，M为得分最高的候选框，bi为待检测框，IoU(M,bi)为当前检测框bi和M的交并比，Nt和Ni为阈值。
3)得到特征图的候选区域信息后，结合深层卷积网络提取的特征，使用双线性插值法替换原始的最近邻插值法，将不同大小的候选框变换成统一尺寸。
4)经过两个全连接层得到一个特征向量，该特征向量分别再经过两个全连接层，其中一个输出为图像的矩形框的位置与大小，另一个输出经过Softmax分类器，从而确定对象的类别。
步骤三、目标跟踪：对步骤一获得的驾驶员面部图像序列中的人脸进行跟踪，获得更为精确的驾驶员面部图像。
步骤四、神经网络Fatigue-CNN：利用神经网络Fatigue-CNN对步骤三获得的驾驶员面部图像逐帧进行判断，确定是否为疲劳驾驶；
步骤五、缓存图像：将步骤三获得的图像进行缓存；
步骤六、神经网络Conv-LSTM：从步骤五缓存的图像序列中，选择连续的N帧图像，并将这N帧图像视为一个整体，用来表示一种行为；利用神经网络Conv-LSTM中的重复模块A提取该种行为的特征，并通过Softmax分类器判断是否为疲劳驾驶；
步骤七、告警：在判断为疲劳驾驶的情况下，发出告警信号。
上述步骤三具体包括以下步骤：
1)利用DenseNet网络的某一层L对输入图像进行特征提取。
2)利用首帧图像构建核相关位置滤波器(KCF)，第二帧以后的图像经过该位置滤波器后，能够得到目标的中心位置，即实现了目标的定位。c0对应目标的中心位置。
Figure BDA0002150857970000031
3)对获得的目标进行N个尺度采样，得到N个尺度的目标样本。
4)对多个尺度的样本分别进行fHOG特征提取，得到N个fHOG特征。
5)利用首帧图像构建相关尺度滤波器(CF)，第二帧以后的图像经过该尺度滤波器后，能够得到目标的尺度，即实现了目标的尺度估计。
6)利用跟踪得到的目标位置和尺度，分别对位置滤波器和尺度滤波器进行模型更新，提高跟踪准确度和成功率。尺度模型更新策略如公式(11)、(12)所示：
Figure BDA0002150857970000032
Figure BDA0002150857970000033
η′为尺度滤波器的学习率。
上述步骤四中的神经网络Fatigue-CNN是参照卷积神经网络模型VGG-19进行设计的，对输入面部图像进行疲劳驾驶行为判断；该神经网络Fatigue-CNN，首先在一般的图像数据集ImageNet上进行训练，然后在疲劳驾驶数据集YawDD上进行微调训练。
上述步骤六中的神经网络Conv-LSTM是参照长短期记忆模型LSTM，同时结合卷积神经网络CNN进行设计的，对输入的图像序列进行疲劳驾驶行为判断。
与现有技术相比，本发明的优点是：
1、本发明利用深度特征提取、目标检测、目标跟踪和行为识别等方法，实现对疲劳驾驶行为的准确判断，该方法准确度高，检测速度快，易于在实际场景中推广应用。
2、步骤二中通过定期检测方式，持续更新下一阶段目标跟踪的模板，有效解决了跟踪失败问题。
3、步骤四与步骤六同步执行，由于同时采用了单幅图像特征和连续多幅图像序列特征对疲劳行为进行描述，从而提高整个系统判断的准确性。
附图说明：
图1是本发明的结构图；
图2是步骤四中神经网络Fatigue-CNN结构图；
图3是步骤六中神经网络Conv-LSTM结构图。
具体实施方式：
下面将结合附图和实施例对本发明进行详细地描述。
本发明综合采用了深度学习技术、目标检测技术、目标跟踪技术和行为识别技术，总体结构如图1所示：
S0(启动设备)：启动设备，检测设备集成的摄像头，对摄像头进行初始化。
S1(视频采集)：对驾驶员面部视频进行采集，即获取驾驶员面部图像序列。这里采集的图像序列含有较多的背景信息。
S2(人脸检测)：定期对图像进行人脸检测，得到更为精确的驾驶员面部图像。该图像作为下一步目标跟踪的首帧模板。定期(如每5分钟)进行人脸检测，是为了定期更新下一阶段目标跟踪的模板，这样能够有效解决跟踪失败问题。
S3(目标跟踪)：对步骤S1获得的驾驶员面部图像序列中的人脸进行跟踪，获得更为精确的驾驶员面部图像。
S4(神经网络)：利用神经网络Fatigue-CNN对步骤S3获得的驾驶员面部图像逐帧进行判断，确定是否为疲劳驾驶。
S5(缓存图像)：将步骤S3获得的图像进行缓存，即对步骤S3的跟踪结果进行缓存。
S6(特征提取)：对S5缓存的图像序列进行疲劳驾驶行为判断。从步骤S5缓存的图像序列中，选择连续的N帧图像，并将这N帧图像视为一个整体，用来表示一种行为(例如打哈欠、眯眼睛、点头等)。利用神经网络Conv-LSTM中的重复模块A提取该种行为的特征，并通过Softmax分类器判断是否为疲劳驾驶。这里的神经网络结构与步骤S4中Fatigue-CNN不同。步骤S6与步骤S4同步执行，从而提高整个系统判断的准确性。
S7(告警)：在判断为疲劳驾驶的情况下，通过指示灯或蜂鸣器告警。
实施例：
本发明提供了一种基于计算机视觉的疲劳驾驶检测方法，具体包括以下步骤：
步骤一、视频采集：对驾驶员面部视频进行采集，即获取驾驶员面部图像序列。这里采集的图像序列含有较多的背景信息。
步骤二、人脸检测：
步骤1)输入图像I，经过深层卷积网络提取特征(feature extraction)，获得输入图像的特征图(feature)。
步骤2)在RPN网络中使用双阈值-非极大值抑制(DT-NMS)方法获得多个候选框，具体公式为：
Figure BDA0002150857970000051
式中，Si为该检测框的原始得分，Sf为该检测框的最后得分，M为得分最高的候选框，bi为待检测框，IoU(M,bi)为当前检测框bi和M的交并比，Nt和Ni为阈值。
本实施例中选取出得分在前300的窗口作为建议窗口用于之后检测阶段。
步骤3)结合feature，经过BI-RoI pooling方法，将不同大小的候选框变换成统一尺寸。BI-RoI pooling方法的具体步骤如下：
首先，将候选区域分成7×7个单元，使候选区域和每一个单元的浮点坐标保持不变，这样使得候选区域中的全部像素信息都被使用。然后，将每个单元平均分成4等份，取每一等份的中心点作为采样点。假设采样点分别为a,b,c,d点，根据以下公式，
Figure BDA0002150857970000061
使用双线性插值法计算出这四个点处的像素值。最后，取这四个像素值中的最大值，进行池化操作。
步骤4)经过两个全连接层得到一个特征向量，该特征向量分别再经过两个全连接层。其中一个输出为图像的矩形框的位置与大小(bbox_pred)，另一个输出经过Softmax分类器，从而确定对象的类别(cls_prob)。
步骤三、目标跟踪：
在目标跟踪算法中引入了密集连接卷积神经网络(DenseNet)，用于目标特征提取,通过尺度变换技术，能够适应跟踪过程中目标尺度的不断变化。具体步骤如下：
步骤1)利用DenseNet网络的某一层L对输入图像进行特征提取；
步骤2)利用首帧图像构建核相关位置滤波器(KCF)，第二帧以后的图像经过该位置滤波器后，能够得到目标的中心位置，即实现了目标的定位。
核相关滤波器可以用公式(3)表示，
Figure BDA0002150857970000062
其中，y为通过高斯函数构建的响应值，
Figure BDA0002150857970000063
为y的傅里叶变换，λ为正则项。
如果选择高斯核，则kxx可以用公式(4)计算，
Figure BDA0002150857970000064
其中，exp表示指数函数，||·||表示向量的2-范数，x表示样本特征，
Figure BDA0002150857970000065
表示
Figure BDA0002150857970000066
的共轭，σ为常数，F-1表示傅里叶逆变换，⊙表示点乘运算。
假设输入图像中感兴趣区域(Region of Interest,RoI)大小为m×n×3，经过DenseNet网络提取后，得到的特征大小分别为m′×n′×l′，l′表示所提取特征的通道数。该特征经过核相关位置滤波器后，得到响应图大小为s×t，在响应图中值最大的点对应目标的中心位置。
设cpq表示响应图中一个响应值，其所在的行为p，列为q，p＝1,2,…,s，q＝1,2,…t，则如公式(5)所示，c0对应目标的中心位置。
Figure BDA0002150857970000071
步骤3)对获得的目标进行N个尺度(例如，取尺度个数N＝33)采样，得到N个尺度的目标样本。
步骤4)对多个尺度的样本分别进行fHOG特征提取，得到N个fHOG特征。
步骤5)利用首帧图像构建相关尺度滤波器(CF)，第二帧以后的图像经过该尺度滤波器后，能够得到目标的尺度，即实现了目标的尺度估计。
依据目标中心位置，进行尺度采样，得到33个不同尺度的样本，把所有样本变换成相同大小，分别提取每个样本的fHOG特征(共有d维)。33个特征向量，经过尺度滤波器，响应值最大的点对应当前帧中目标的精确尺度。
尺度滤波器如公式(6)所示，
Figure BDA0002150857970000072
其中，G为利用高斯函数构建的响应值，G*表示G的共轭，Fl表示第l维特征的傅里叶变换，d表示特征维数，λ为正则项。
尺度滤波器的分子项、部分分母项可以分别用A、B表示，如公式(7)、(8)所示。
Al＝G*⊙Fl (7)
Figure BDA0002150857970000073
响应值y如公式(9)所示，
Figure BDA0002150857970000074
y中最大值位置对应目标最佳尺度。
步骤6)利用跟踪得到的目标位置和尺度，分别对位置滤波器和尺度滤波器进行模型更新，提高跟踪准确度和成功率。
确定第t帧图像中目标的位置和尺度后，为了使得跟踪算法更加鲁棒，需要在第t+1帧跟踪前对位置滤波器和尺度滤波器分别进行更新。
参照公式(3)，位置模型更新策略如公式(10)所示：
αt＝(1-η)αt-1+ηα(t) (10)
其中，αt-1表示对第t帧图像跟踪前求得的滤波器模板，α(t)表示根据第t帧图像求得的滤波器模板，η为位置滤波器的学习率。
参照公式(6)，对第t帧图像跟踪后，尺度模型更新策略如公式(11)、(12)所示：
Figure BDA0002150857970000081
Figure BDA0002150857970000082
η′为尺度滤波器的学习率。
步骤四、设计神经网络Fatigue-CNN：
参照卷积神经网络模型VGG-19，设计神经网络Fatigue-CNN，对输入面部图像进行疲劳驾驶行为判断。神经网络Fatigue-CNN结构如图2所示，首先在一般的图像数据集ImageNet上进行训练，使其具有提取一般图像特征的能力；然后在疲劳驾驶数据集YawDD上进行微调训练，使其能够更好地对打哈欠等疲劳驾驶行为进行判断。参见图2，具体包括下述步骤：
1、图像预处理：对输入图像大小进行重置，输入面部图像为彩色图像，大小为：224×224×3，即长、宽均为224像素，通道数为3。
2、卷积Conv1：卷积核大小为3×3，卷积核个数为64，得到的卷积结果为：224×224×64。
3、池化Pooling1：采用最大值池化max-pooling方法，max-pooling的窗口是4×4，步长设置为4。池化结果为：56×56×64。
4、卷积Conv2：卷积核大小为3×3，卷积核个数为256，得到的卷积结果为：56×56×256。
5、池化Pooling2：采用最大值池化max-pooling方法，max-pooling的窗口是4×4，步长设置为4。池化结果为：14×14×256。
6、卷积Conv3：卷积核大小为3×3，卷积核个数为512，得到的卷积结果为：14×14×512。
7、池化Pooling3：采用最大值池化max-pooling方法，max-pooling的窗口是2×2，步长设置为2。池化结果为：7×7×512。
8、全连接层FC：包含的神经元个数为1024，即全连接输出为：1×1×1024。
9、分类器Softmax：这里选择二分类器，判断输入图像是否为疲劳驾驶。
步骤五、缓存图像：将步骤三获得的图像进行缓存，即对步骤三的跟踪结果进行缓存。
步骤六、设计神经网络Conv-LSTM
参照长短期记忆模型LSTM(Long Short-Term Memory)，同时结合卷积神经网络CNN(Convolutional Neural Network)，设计神经网络Conv-LSTM，对输入的图像序列进行疲劳驾驶行为判断。LSTM是一种能够对以前的信息进行记忆的神经网络模型，即利用了连续多帧图像的时间信息。结合CNN模型，能够更好地利用图像的空间信息。神经网络Conv-LSTM结构参见图3。该神经网络Conv-LSTM，可以通过疲劳驾驶数据集YawDD进行训练。
1、图像预处理：对输入图像大小进行重置，输入面部图像为彩色图像，大小为：224×224×3，即长、宽均为224像素，通道数为3。
2、卷积Conv：卷积核大小为3×3，卷积核个数为64，得到的卷积结果为：224×224×64。
3、池化Pooling：采用最大值池化max-pooling方法，max-pooling的窗口是4×4，步长设置为4。池化结果为：56×56×64。
4、LSTM中的重复模块A对输入图像进行特征提取，并把提取的特征向前反馈，与下一帧图像一起作为输入。这样就能够对连续多帧图像时间信息进行充分利用。
5、分类器Softmax：这里选择多分类器，能够对输入图像序列表示的行为进行判断，例如打哈欠、眯眼睛、点头、正常驾驶、唱歌等，从而判断是否存在疲劳驾驶行为。
步骤七、告警：在判断为疲劳驾驶的情况下，通过指示灯或蜂鸣器告警。
对于本技术领域的普通技术人员来说，在不脱离本发明所属原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于计算机视觉的疲劳驾驶检测方法，其特征在于，首先启动设备，对摄像头进行初始化操作；然后依次进行以下操作：
步骤一、视频采集：对驾驶员面部视频进行采集，获取驾驶员面部图像序列；
步骤二、人脸检测：
1)输入图像I，经过深层卷积网络提取特征，获得输入图像的特征图；
2)在RPN网络中使用双阈值-非极大值抑制方法获得多个候选区域，具体公式为：
Figure FDA0002150857960000011
式中，Si为该检测框的原始得分，Sf为该检测框的最后得分，M为得分最高的候选框，bi为待检测框，IoU(M,bi)为当前检测框bi和M的交并比，Nt和Ni为阈值；
3)得到特征图的候选区域信息后，结合深层卷积网络提取的特征，使用双线性插值法替换原始的最近邻插值法，将不同大小的候选框变换成统一尺寸；
4)经过两个全连接层得到一个特征向量，该特征向量分别再经过两个全连接层，其中一个输出为图像的矩形框的位置与大小，另一个输出经过Softmax分类器，从而确定对象的类别；
步骤三、目标跟踪：对步骤一获得的驾驶员面部图像序列中的人脸进行跟踪，获得更为精确的驾驶员面部图像；
步骤四、神经网络Fatigue-CNN：利用神经网络Fatigue-CNN对步骤三获得的驾驶员面部图像逐帧进行判断，确定是否为疲劳驾驶；
步骤五、缓存图像：将步骤三获得的图像进行缓存；
步骤六、神经网络Conv-LSTM：从步骤五缓存的图像序列中，选择连续的N帧图像，并将这N帧图像视为一个整体，用来表示一种行为；利用神经网络Conv-LSTM中的重复模块A提取该种行为的特征，并通过Softmax分类器判断是否为疲劳驾驶；
步骤七、告警：在判断为疲劳驾驶的情况下，发出告警信号。
2.如权利要求1所述的一种基于计算机视觉的疲劳驾驶检测方法，其特征在于：所述步骤三具体包括以下步骤
1)利用DenseNet网络的某一层L对输入图像进行特征提取；
2)利用首帧图像构建核相关位置滤波器(KCF)，第二帧以后的图像经过该位置滤波器后，能够得到目标的中心位置，即实现了目标的定位；c0对应目标的中心位置；
Figure FDA0002150857960000021
3)对获得的目标进行N个尺度采样，得到N个尺度的目标样本；
4)对多个尺度的样本分别进行fHOG特征提取，得到N个fHOG特征；
5)利用首帧图像构建相关尺度滤波器(CF)，第二帧以后的图像经过该尺度滤波器后，能够得到目标的尺度，即实现了目标的尺度估计；
6)利用跟踪得到的目标位置和尺度，分别对位置滤波器和尺度滤波器进行模型更新，提高跟踪准确度和成功率；尺度模型更新策略如公式(11)、(12)所示：
Figure FDA0002150857960000022
Figure FDA0002150857960000023
η′为尺度滤波器的学习率。
3.如权利要求1或2所述的一种基于计算机视觉的疲劳驾驶检测方法，其特征在于：所述步骤四中的神经网络Fatigue-CNN是参照卷积神经网络模型VGG-19进行设计的，对输入面部图像进行疲劳驾驶行为判断；该神经网络Fatigue-CNN，首先在一般的图像数据集ImageNet上进行训练，然后在疲劳驾驶数据集YawDD上进行微调训练。
4.如权利要求3所述的一种基于计算机视觉的疲劳驾驶检测方法，其特征在于：所述步骤六中的神经网络Conv-LSTM是参照长短期记忆模型LSTM，同时结合卷积神经网络CNN进行设计的，对输入的图像序列进行疲劳驾驶行为判断。
CN201910701129.8A 2019-07-31 2019-07-31 一种基于计算机视觉的疲劳驾驶检测方法 Active CN110427871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910701129.8A CN110427871B (zh) 2019-07-31 2019-07-31 一种基于计算机视觉的疲劳驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910701129.8A CN110427871B (zh) 2019-07-31 2019-07-31 一种基于计算机视觉的疲劳驾驶检测方法

Publications (2)

Publication Number Publication Date
CN110427871A CN110427871A (zh) 2019-11-08
CN110427871B true CN110427871B (zh) 2022-10-14

Family

ID=68411775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910701129.8A Active CN110427871B (zh) 2019-07-31 2019-07-31 一种基于计算机视觉的疲劳驾驶检测方法

Country Status (1)

Country Link
CN (1) CN110427871B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027391A (zh) * 2019-11-12 2020-04-17 湖南大学 一种基于cnn金字塔特征和lstm的疲劳状态识别方法
CN111368830B (zh) * 2020-03-03 2024-02-27 西北工业大学 基于多视频帧信息和核相关滤波算法的车牌检测识别方法
CN111354019B (zh) * 2020-03-31 2024-01-26 中国人民解放军军事科学院军事医学研究院 一种基于神经网络的视觉跟踪失效检测系统及其训练方法
CN111666875A (zh) * 2020-06-05 2020-09-15 浙江工业大学 一种基于机器视觉的制造业工人疲劳状态检测方法
CN113205081B (zh) * 2021-06-11 2024-01-05 北京惠朗时代科技有限公司 一种基于显著性检测的svm模型工人疲劳精准判别方法
CN114596624B (zh) * 2022-04-20 2022-08-05 深圳市海清视讯科技有限公司 人眼状态检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013487A1 (zh) * 2011-07-26 2013-01-31 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109886241A (zh) * 2019-03-05 2019-06-14 天津工业大学 基于长短期记忆网络的驾驶员疲劳检测

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190077409A1 (en) * 2017-07-31 2019-03-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013487A1 (zh) * 2011-07-26 2013-01-31 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109886241A (zh) * 2019-03-05 2019-06-14 天津工业大学 基于长短期记忆网络的驾驶员疲劳检测

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于卷积神经网络的哈欠检测算法;马素刚等;《计算机科学》;20180615;全文 *
基于深度学习的驾驶人疲劳监测算法研究;游峰等;《武汉理工大学学报(交通科学与工程版)》;20180615(第03期);全文 *
驾驶员疲劳检测实时控制系统设计;唐新星等;《制造业自动化》;20161125(第11期);全文 *

Also Published As

Publication number Publication date
CN110427871A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110427871B (zh) 一种基于计算机视觉的疲劳驾驶检测方法
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Molina-Cabello et al. Vehicle type detection by ensembles of convolutional neural networks operating on super resolved images
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
CN108447078A (zh) 基于视觉显著性的干扰感知跟踪算法
CN114445430B (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN109886200B (zh) 一种基于生成式对抗网络的无人驾驶车道线检测方法
CN112861635A (zh) 一种基于深度学习的火灾及烟雾实时检测方法
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
CN111860274A (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
JP7374001B2 (ja) 学習モデルの生成方法、プログラム及び情報処理装置
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
CN111985403A (zh) 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN114267025A (zh) 基于高分辨率网络与轻量注意力机制的交通标志检测方法
CN110837769B (zh) 一种图像处理与深度学习的嵌入式远红外行人检测方法
CN115880658A (zh) 一种夜间场景下汽车车道偏离预警方法及系统
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN110827319B (zh) 一种基于局部敏感直方图改进的Staple目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant