CN112070051A - 基于剪枝压缩的疲劳驾驶快速检测方法 - Google Patents

基于剪枝压缩的疲劳驾驶快速检测方法 Download PDF

Info

Publication number
CN112070051A
CN112070051A CN202010973894.8A CN202010973894A CN112070051A CN 112070051 A CN112070051 A CN 112070051A CN 202010973894 A CN202010973894 A CN 202010973894A CN 112070051 A CN112070051 A CN 112070051A
Authority
CN
China
Prior art keywords
face
pruning
model
frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010973894.8A
Other languages
English (en)
Other versions
CN112070051B (zh
Inventor
戴丽珍
郭建钦
杨刚
杨辉
陆荣秀
李中奇
徐芳萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202010973894.8A priority Critical patent/CN112070051B/zh
Publication of CN112070051A publication Critical patent/CN112070051A/zh
Application granted granted Critical
Publication of CN112070051B publication Critical patent/CN112070051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供基于剪枝压缩的疲劳驾驶快速检测方法，包括以下步骤S1：采用基本回归树的人脸对比算法，获取各类人脸数据库中的人脸样本数据，构建人脸区域数据集，并将人脸样本数据中的人脸、眼和嘴部区域进行标注，删除复杂场景；S2：使用K‑means算法对标注的脸部和眼部目标框的大小进行聚类，采用YOLO V3模型通过DarkNet‑53网络结构进行回归训练；S3：在YOLO V3模型中引入BN层，对BN层中的缩放因子γ进行L1正则化处理，判别出不重要的卷积通道或神经元通道；稀疏化训练后根据剪枝率对模型进行剪枝压缩，之后再对剪枝后的模型进行微调；S4：采用检测到的闭眼图片数量和嘴部张开图片数量在单位时间内所检测图片数量的占比来进行眼部疲劳判定和嘴部哈欠判定。

Description

基于剪枝压缩的疲劳驾驶快速检测方法
技术领域
本发明涉及疲劳驾驶检测技术领域，具体涉及基于剪枝压缩的疲劳驾驶快速检测方法。
背景技术
驾驶疲劳是指驾驶员在连续行车时间过久后，导致心理和生理机能的失衡，而在客观上影响驾驶操作的现象，主要表现有瞌睡、哈欠等行为。尽管引起驾驶疲劳的因素有许多，但驾驶员一旦出现疲劳，很轻易就能导致重大交通事故。此外，在交通法律法规中，对疲劳驾驶的检测判断是间接的，主要通过连续驾驶时长来判定，具有很大的局限性。因此，很有必要对驾驶员的疲劳状态进行实时检测并给予及时的警示，对维护道路安全具有十分重要的意义。
由于深度学习在图片处理、语音识别等领域的突出性能，基于深度学习的疲劳检测已经成为了近年来最主要的研究途径。其中的很多方法是借鉴adaboost级联分类进行的，先对图片多级分类定位出人脸，再做之后脸部其他区域的检测。但由于在实际行车过程中，会有很多光照的变化和驾驶员脸部姿势的复杂变动，以及驾驶员背后的乘客人脸对检测的影响，因此上述方法在一定程度上浪费了前期对图片的特征提取，导致其检测的准确性、实时性和鲁棒性都有待提高。另一方面，复杂的网络结果对于硬件设备的要求较高。
因此，本发明提出了基于剪枝压缩的疲劳驾驶快速检测方法。
发明内容
为解决上述问题，本发明的目的在于提供基于剪枝压缩的疲劳驾驶快速检测方法，
为实现上述目的，本发明提供了如下的技术方案。
基于剪枝压缩的疲劳驾驶快速检测方法，包括以下步骤：
S1：采用基本回归树的人脸对比算法，获取各类人脸数据库中的人脸样本数据，构建人脸区域数据集，使用YawDD疲劳驾驶视频数据和CEW闭眼数据集对人脸区域数据集进行扩充；将人脸样本数据中的人脸、眼和嘴部区域进行标注，删除复杂场景；
S2：定义损失函数，使用K-means算法对标注的脸部和眼部目标框的大小进行聚类，获取若干个先验框；采用YOLO V3模型通过DarkNet-53网络结构对标注后的人脸样本数据进行回归训练，获取若干个预测框；求解预测框位置参数、类别置信度和类别信息；
S3：在YOLO V3模型中引入Batch Normalization层，对Batch Normalization层中的缩放因子γ进行L1正则化处理，判别出不重要的卷积通道或神经元通道；根据初始网络规模及实际问题复杂程度，设定阈值，当其重要性小于阈值时，将相关通道剪掉；稀疏化训练后根据剪枝率对模型进行剪枝压缩，之后再对剪枝后的模型进行微调；
S4：采集驾驶员的驾驶视频流，按帧提取视频图片并放入剪枝微调后的YOLO V3模型，采用检测到的闭眼图片数量在单位时间内所检测图片数量的占比来进行眼部疲劳判定；采用检测到的嘴部张开图片数量在单位时间内所检测图片数量的占比来进行嘴部哈欠判定，根据眼部疲劳判定和嘴部哈欠判定结果进行判断是否属于疲劳驾驶。
优选地，所述S2中每个预测框的目标置信度
Figure BDA0002685060180000022
如下：
Figure BDA0002685060180000021
Figure BDA0002685060180000031
其中，obj表示目标种类，一共5类，p(obj)表示网格是否存在该种类目标，存在时其值为1，不存在时其值为0；
Figure BDA0002685060180000032
表示预测框Box(pred)和真实值Box(truth)的交并比。
优选地，所述S2中还包括回归边框转换：
bx＝σ(tx)+cx；
by＝σ(ty)+cy；
Figure BDA0002685060180000033
Figure BDA0002685060180000034
Figure BDA0002685060180000035
其中，tx和ty表示预测的坐标偏移值；pw和ph表示尺度缩放；bx、by、bw和bh表示目标的框体坐标和大小；σ(t)表示Logistic回归函数；Cx和Cy表示单个预测网络的偏移量。
优选地，所述S2中损失函数loss定义如下：
loss＝-boxloss-conloss-claloss；
其中，boxloss表示边框误差，conloss表示置信度误差，claloss表示分类误差；
具体误差如下式所示：
Figure BDA0002685060180000036
Figure BDA0002685060180000037
Figure BDA0002685060180000041
其中，
Figure BDA0002685060180000042
用于协调不同框对误差的影响；
Figure BDA0002685060180000043
和
Figure BDA0002685060180000044
分别为网络预测及实际标记的矩形框中心坐标；
Figure BDA0002685060180000045
表示标记边框的宽高；
Figure BDA0002685060180000046
表示第i个网格第j个边框不负责该目标，即该框内不存在目标，需要减少置信度；
Figure BDA0002685060180000047
表示第i个网格第j个边框是负责这个类，含有标记框时真实标记框的
Figure BDA0002685060180000048
为1，否则为0；
当且仅当存在目标置信度时，计算置信度误差；当含有类别时类别概率
Figure BDA0002685060180000049
为1，否则为0；当且仅当第i个网格第j个边框负责某个真实值时，使用条件概率计算每种类别的概率误差；置信度C和类别概率p以及tx和ty均经过sigmoid函数变换，输出在0-1之间。
优选地，所述S3中Batch Normalization层的公式如下：
Figure BDA00026850601800000410
Figure BDA00026850601800000411
Figure BDA00026850601800000412
Figure BDA00026850601800000413
其中，m表示批处理规模的大小；μB表示均值；
Figure BDA00026850601800000414
表示方差；γ表示缩放因子；β表示偏置；yi表示BN层的输出；xi表示卷积层计算结果。
优选地，所述S3中稀疏训练目标函数L为：
Figure BDA00026850601800000415
其中，(x,y)表示训练数据和标签；W表示网络的可训练参数，g(.)是缩放因子上的乘法项，g(γ)＝|x|，即L1正则化；λ是稀疏度因子。
优选地，所述S4中的图片检测时，将原始图像尺寸缩小，使用YOLO V3模型定位出有人脸区域，并记录人脸的左上和右下的两个坐标位置；使用前一帧的人脸两个坐标位置信息对后一帧图像进行裁切，把人脸区域的图像信息输入到YOLO V3模型中。
本发明有益效果：
本发明提出了基于剪枝压缩的疲劳驾驶快速检测方法，首先，抛弃了以往使用人脸关键点检测方法对眼部进行定位，而是直接使用YOLO V3网络对检测图片的人脸和眼部进行精确定位，速度相比于其他模型更快。其次，使用剪枝方法对模型进行压缩，使模型能更好的检测小目标的同时，在保持可接受的精度略微下降的同时加快网络速度，完成了人眼和嘴部的多目标定位。最后根据PERCLOSE准则，实现了疲劳驾驶的检测判定。本发明提出的方法在计算精度和速度上有了更好的融合，具有更好的实时性，能够及时判断驾驶员的疲劳状态。同时，基于剪枝压缩的方法可以减少系统对硬件的要求，有利于应用推广。
以下结合附图及实施例对本发明作进一步的说明。
附图说明
图1是本发明实施例的基于剪枝压缩的疲劳驾驶快速检测方法的流程图；
图2是本发明实施例的基于剪枝压缩的疲劳驾驶快速检测方法的检测流程图；
图3是本发明实施例的基于剪枝压缩的疲劳驾驶快速检测方法的YOLO V3-pruning模型的测试图片；
图4是本发明实施例的基于剪枝压缩的疲劳驾驶快速检测方法的测试图片；
图5是本发明实施例的基于剪枝压缩的疲劳驾驶快速检测方法的眼部状态分析图；
图6是本发明实施例的基于剪枝压缩的疲劳驾驶快速检测方法的嘴部状态分析图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
基于剪枝压缩的疲劳驾驶快速检测方法，流程图如图1所示，包括以下步骤：
S1：采用基本回归树的人脸对比算法获取各类人脸数据库中的人脸样本数据构建人脸区域数据集，使用YawDD疲劳驾驶视频数据和CEW闭眼数据集对人脸区域数据集进行扩充；将人脸样本数据中的人脸、眼和嘴部区域进行标注，删除复杂场景；
S2：定义损失函数，使用K-means算法对标注的脸部和眼部目标框大小进行聚类，获取若干个先验框；采用YOLO V3模型通过DarkNet-53网络结构进行回归训练，获取若干个预测框；求解预测框位置参数、类别置信度和类别信息；
S3：在YOLO V3模型中引入Batch Normalization层，对Batch Normalization层中的缩放因子γ进行L1正则化处理，判别出不重要的卷积通道或神经元通道；根据初始网络规模及实际问题复杂程度，设定阈值，当其重要性小于阈值时，将相关通道剪掉；稀疏化训练后根据剪枝率对模型进行剪枝压缩，之后再对剪枝后的模型进行微调；
其中，YOLO模型是将图片多层卷积层提取图像特征后对图像分块，分块的大小影响检测的精度。然后对每个分块区域绘制出多个先验框和类别，再对目标位置进行回归，把分类任务变成了回归问题。由于YOLO采用了全局信息进行预测，背景预测错的概率很低，不容易出现误检，使其作为一个预警任务有更好的鲁棒性；
S4：采集驾驶员的驾驶视频流，按帧提取视频图片并放入剪枝微调后的YOLO V3模型，采用检测到的闭眼图片数量在单位时间内所检测图片数量的占比来进行眼部疲劳判定；采用检测到的嘴部张开图片数量在单位时间内所检测图片数量的占比来进行嘴部哈欠判定，具体检测流程如图2所示。
进一步的，所述S2中每个预测框的目标置信度
Figure BDA0002685060180000071
如下：
Figure BDA0002685060180000072
Figure BDA0002685060180000073
其中，obj表示目标种类，一共5类，p(obj)表示网格是否存在该种类目标，存在时其值为1，不存在时其值为0；
Figure BDA0002685060180000074
表示预测框Box(pred)和真实值Box(truth)的交并比。
较佳的，为了使每个网格的多个预测框更好索引，所述S2中还包括回归边框转换：
bx＝σ(tx)+cx；
by＝σ(ty)+cy；
Figure BDA0002685060180000075
Figure BDA0002685060180000076
Figure BDA0002685060180000077
其中，tx和ty表示预测的坐标偏移值；pw和ph表示尺度缩放；bx、by、bw和bh表示目标的框体坐标和大小；σ(t)表示Logistic回归函数；Cx和Cy表示单个预测网络的偏移量。
再进一步的，所述S2中损失函数loss定义如下：
loss＝-boxloss-conloss-claloss；
其中，boxloss表示边框误差，conloss表示置信度误差，claloss表示分类误差；
具体误差如下式所示：
Figure BDA0002685060180000081
Figure BDA0002685060180000082
Figure BDA0002685060180000083
其中，
Figure BDA0002685060180000084
用于协调不同框对误差的影响；
Figure BDA0002685060180000085
和
Figure BDA0002685060180000086
分别为网络预测及实际标记的矩形框中心坐标；
Figure BDA0002685060180000087
表示标记边框的宽高；
Figure BDA0002685060180000088
表示第i个网格第j个边框不负责该目标，即该框内不存在目标，需要减少置信度；
Figure BDA0002685060180000089
表示第i个网格第j个边框是负责这个类，含有标记框时真实标记框的
Figure BDA00026850601800000810
为1，否则为0；
当且仅当存在目标置信度时，计算置信度误差；当含有类别时类别概率
Figure BDA00026850601800000811
为1，否则为0；当且仅当第i个网格第j个边框负责某个真实值时，使用条件概率计算每种类别的概率误差；置信度C和类别概率p以及tx和ty均经过sigmoid函数变换，输出在0-1之间。
此外，所述S3中Batch Normalization层的公式如下：
Figure BDA00026850601800000812
Figure BDA00026850601800000813
Figure BDA00026850601800000814
Figure BDA0002685060180000091
其中，m表示批处理规模的大小，μB表示均值，
Figure BDA0002685060180000092
为方差，γ为缩放因子，β为偏置，yi为BN层的输出，xi为卷积层计算结果。
另外，所述S3中稀疏训练目标函数为：
Figure BDA0002685060180000093
其中，(x,y)代表训练数据和标签，W是网络的可训练参数g(.)是缩放因子上的乘法项，g(γ)＝|x|，即L1正则化；λ是稀疏度因子。
较佳的，所述S4中的图片检测时，将原始图像尺寸缩小，使用YOLO V3模型定位出有人脸区域，并记录人脸的左上和右下的两个坐标位置；使用前一帧的人脸两个坐标位置信息对后一帧图像进行裁切，只把是人脸区域的图像信息输入到YOLO V3模型中；
这样增大了检测人脸尺寸，并且在保持检测速度的前提下，提高眼、嘴部区域的检测和抗干扰能力。在使用人脸区域的时候通过设置最小人脸大小，当检测出的人脸小于设定值时，则判定为非司机抛弃，减少了背景乘客人脸的干扰。
本实施例中，
建立人脸区域数据集：采用的训练和测试框架为torch框架，通过人工筛选和制作标签数据集最终取得大小为5000张各种环境下的样本图片；
实验结果分析:对5000张被标注的图片进行训练，从中取500图片作为测试，训练次数设置为50个循环，初始学习率为1e-4，并且使用动量方法(Momentun)使网络更好的收敛，分别对YOLO V3和YOLO V3tiny模型进行训练，训练结果如下表1所示：
表1实验结果
Figure BDA0002685060180000094
Figure BDA0002685060180000101
通过上表两种网络模型的训练结果所示，可以明显的看出YOLO V3tiny模型的检测率更低，并且主要体现在小目标的检测上，像眼睛和嘴巴的检测效果就很低，所以最终的平均AP值即mAP值很低。并且查看两个模型的权重大小，YOLO V3模型有236MB，而YOLOV3tiny只有33.1MB，因此，进行稀疏化训练和剪枝方法对YOLO V3模型进行压缩。保持训练设置参数不变，设置稀疏度s为0.01对模型进行稀疏训练，之后使用剪枝算法对模型进行剪枝，最后对剪枝模型进行微调。模型最后结果如上表YOLO V3-pruning所示。
通过上表的结果明显看出YOLO V3模型经过剪枝后在保持准确率稍微下降的情况下，权重大小减少很大，图片的检测速度也有了很大的提高，而且相比YOLO V3tiny模型能更好的检测小目标的，如眼睛和嘴部位置，YOLO V3-pruning模型的测试图片如图3所示。
从测试图片中可以看出，检测本文的网络模型对于人脸的多姿态角度都能很好的检测出来，从图3图组中第一张图可以发现，由于眼部的睁眼和闭眼两个类别的类类差距不是很明显，所以对于眼部小目标这种类类差距不明显的检测还是有一定的误检的。
在实车环境下采集了3段视频，自制了包含了不同光照条件下的疲劳视频，其中都包含有频繁眨眼的瞌睡行为和少数哈欠行为。对3个视频进行检测的结果如表2所示：
表2眨眼瞌睡行为判定算法测试结果
Figure BDA0002685060180000102
Figure BDA0002685060180000111
由上表2实验结果可知，本发明提出的疲劳驾驶检测方法，在416*416大小的输入图片下，能保持平均18帧/s的处理图片能力，而且算法能很好的检测出眼部和嘴部。检测图片如图4所示。
通过图4所示的检测图片，可以看出在有遮挡和头部转动较大的情况下，本发明的模型都能很好的检测出来，但是在眼部眯眼状态，类类差距很小的情况下，模型不能精确的判断出类别。之后对其中一段视频中的部分片段眼部状态进行详细描绘。在检测的时候记录睁闭眼状况，0代表睁眼，1代表闭合状态，并统计每两秒内闭眼帧占总帧的比率，实验结果如图5和图6所示。
通过图5，可以看出，在坐标20、60、100三个地方检测出了眼睛闭合太久超出阈值，检测出了为频繁眨眼疲劳状态，与实际情况完全相同。并且也可以得出，在40秒的时候闭眼时间超过了2秒，这是很危险的。同上所述再对哈欠状态进行详细描绘，如图6所示，实验制作拍摄的三次哈欠都检测出来了，并且哈欠持续时间都很长，本发明的方法可以很好的检测出哈欠状态。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，包括以下步骤：
S1：采用基本回归树的人脸对比算法，获取各类人脸数据库中的人脸样本数据，构建人脸区域数据集，使用YawDD疲劳驾驶视频数据和CEW闭眼数据集对人脸区域数据集进行扩充；将人脸样本数据中的人脸、眼和嘴部区域进行标注，删除复杂场景；
S2：定义损失函数，使用K-means算法对标注的脸部和眼部目标框的大小进行聚类，获取若干个先验框；采用YOLO V3模型通过DarkNet-53网络结构对标注后的人脸样本数据进行回归训练，获取若干个预测框；求解预测框位置参数、类别置信度和类别信息；
S3：在YOLO V3模型中引入Batch Normalization层，对Batch Normalization层中的缩放因子γ进行L1正则化处理，判别出不重要的卷积通道或神经元通道；根据初始网络规模及实际问题复杂程度，设定阈值，当其重要性小于阈值时，将相关通道剪掉；稀疏化训练后根据剪枝率对模型进行剪枝压缩，之后再对剪枝后的模型进行微调；
S4：采集驾驶员的驾驶视频流，按帧提取视频图片并放入剪枝微调后的YOLO V3模型，采用检测到的闭眼图片数量在单位时间内所检测图片数量的占比来进行眼部疲劳判定；采用检测到的嘴部张开图片数量在单位时间内所检测图片数量的占比来进行嘴部哈欠判定，根据眼部疲劳判定和嘴部哈欠判定结果进行判断是否属于疲劳驾驶。
2.根据权利要求1所述的基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，所述S2中每个预测框的目标置信度
Figure FDA0002685060170000011
如下：
Figure FDA0002685060170000012
Figure FDA0002685060170000013
其中，obj表示目标种类，一共5类，p(obj)表示网格是否存在该种类目标，存在时其值为1，不存在时其值为0；
Figure FDA0002685060170000021
表示预测框Box(pred)和真实值Box(truth)的交并比。
3.根据权利要求1所述的基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，所述S2中还包括回归边框转换：
bx＝σ(tx)+cx；
by＝σ(ty)+cy；
Figure FDA0002685060170000022
Figure FDA0002685060170000023
Figure FDA0002685060170000024
其中，tx和ty表示预测的坐标偏移值；pw和ph表示尺度缩放；bx、by、bw和bh表示目标的框体坐标和大小；σ(t)表示Logistic回归函数；Cx和Cy表示单个预测网络的偏移量。
4.根据权利要求3所述的基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，所述S2中损失函数loss定义如下：
loss＝-boxloss-conloss-claloss；
其中，boxloss表示边框误差，conloss表示置信度误差，claloss表示分类误差；
具体误差如下式所示：
Figure FDA0002685060170000025
Figure FDA0002685060170000031
Figure FDA0002685060170000032
其中，
Figure FDA0002685060170000033
用于协调不同框对误差的影响；
Figure FDA0002685060170000034
和
Figure FDA0002685060170000035
分别为网络预测及实际标记的矩形框中心坐标；
Figure FDA0002685060170000036
表示标记边框的宽高；
Figure FDA0002685060170000037
表示第i个网格第j个边框不负责该目标，即该框内不存在目标，需要减少置信度；
Figure FDA0002685060170000038
表示第i个网格第j个边框是负责这个类，含有标记框时真实标记框的
Figure FDA0002685060170000039
为1，否则为0；
当且仅当存在目标置信度时，计算置信度误差；当含有类别时类别概率
Figure FDA00026850601700000315
为1，否则为0；当且仅当第i个网格第j个边框负责某个真实值时，使用条件概率计算每种类别的概率误差；置信度C和类别概率p以及tx和ty均经过sigmoid函数变换，输出在0-1之间。
5.根据权利要求1所述的基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，所述S3中Batch Normalization层的公式如下：
Figure FDA00026850601700000310
Figure FDA00026850601700000311
Figure FDA00026850601700000312
Figure FDA00026850601700000313
其中，m表示批处理规模的大小，μB表示均值，
Figure FDA00026850601700000314
为方差，γ为缩放因子，β为偏置，yi为BN层的输出，xi为卷积层计算结果。
6.根据权利要求1所述的基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，所述S3中稀疏训练目标函数L为：
Figure FDA0002685060170000041
其中，(x,y)表示训练数据和标签；W表示网络的可训练参数；g(.)是缩放因子上的乘法项，g(γ)＝|x|，即L1正则化；λ是稀疏度因子。
7.根据权利要求1所述的基于剪枝压缩的疲劳驾驶快速检测方法，其特征在于，所述S4中的图片检测时，将原始图像尺寸缩小，使用YOLO V3模型定位出有人脸区域，并记录人脸的左上和右下的两个坐标位置；使用前一帧的人脸两个坐标位置信息对后一帧图像进行裁切，把人脸区域的图像信息输入到YOLO V3模型中。
CN202010973894.8A 2020-09-16 2020-09-16 基于剪枝压缩的疲劳驾驶快速检测方法 Active CN112070051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010973894.8A CN112070051B (zh) 2020-09-16 2020-09-16 基于剪枝压缩的疲劳驾驶快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010973894.8A CN112070051B (zh) 2020-09-16 2020-09-16 基于剪枝压缩的疲劳驾驶快速检测方法

Publications (2)

Publication Number Publication Date
CN112070051A true CN112070051A (zh) 2020-12-11
CN112070051B CN112070051B (zh) 2022-09-20

Family

ID=73696054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973894.8A Active CN112070051B (zh) 2020-09-16 2020-09-16 基于剪枝压缩的疲劳驾驶快速检测方法

Country Status (1)

Country Link
CN (1) CN112070051B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699768A (zh) * 2020-12-25 2021-04-23 哈尔滨工业大学（威海） 基于脸部信息的疲劳驾驶检测方法、装置和可读存储介质
CN112836751A (zh) * 2021-02-03 2021-05-25 歌尔股份有限公司 一种目标检测方法和装置
CN113177527A (zh) * 2021-05-27 2021-07-27 安阳工学院 一种车型识别方法及装置
CN114359879A (zh) * 2021-12-31 2022-04-15 西安航空学院 一种基于yolo神经网络的驾驶员疲劳检测方法
CN114758326A (zh) * 2022-03-31 2022-07-15 深圳市正威智能有限公司 一种交通岗位工作行为状态实时检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024395A1 (zh) * 2018-08-02 2020-02-06 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微系统与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024395A1 (zh) * 2018-08-02 2020-02-06 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微系统与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
KENING LI等: ""A Fatigue Driving Detection Algorithm Based on Facial Multi-Feature Fusion"", 《IEEE ACCESS》, vol. 8, 1 June 2020 (2020-06-01), pages 101244 - 101259, XP011792330, DOI: 10.1109/ACCESS.2020.2998363 *
SPARSH MITTAL: ""A Survey on optimized implementation of deep learning models on the NVIDIA Jetson platform"", 《JOURNAL OF SYSTEMS ARCHITECTURE》, vol. 97, 25 January 2019 (2019-01-25), pages 428 - 442, XP085712272, DOI: 10.1016/j.sysarc.2019.01.011 *
姚巍巍等: "基于模型剪枝和半精度加速改进YOLOv3-tiny算法的实时司机违章行为检测", 《计算机系统应用》, vol. 29, no. 04, 15 April 2020 (2020-04-15), pages 41 - 47 *
朱金铭等: "基于深度可分离卷积与通道裁剪的YOLOv3改进方法", 《江苏理工学院学报》, vol. 26, no. 02, 15 April 2020 (2020-04-15), pages 30 - 38 *
白善今: ""基于卷积神经网络的小尺度人脸检测算法研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 12, 15 December 2019 (2019-12-15), pages 138 - 560 *
郭佳伟: ""基于计算机视觉的驾驶员异常行为识别与预警"", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》, no. 06, 15 June 2020 (2020-06-15), pages 035 - 187 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699768A (zh) * 2020-12-25 2021-04-23 哈尔滨工业大学（威海） 基于脸部信息的疲劳驾驶检测方法、装置和可读存储介质
CN112836751A (zh) * 2021-02-03 2021-05-25 歌尔股份有限公司 一种目标检测方法和装置
CN113177527A (zh) * 2021-05-27 2021-07-27 安阳工学院 一种车型识别方法及装置
CN114359879A (zh) * 2021-12-31 2022-04-15 西安航空学院 一种基于yolo神经网络的驾驶员疲劳检测方法
CN114758326A (zh) * 2022-03-31 2022-07-15 深圳市正威智能有限公司 一种交通岗位工作行为状态实时检测系统

Also Published As

Publication number Publication date
CN112070051B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN112070051B (zh) 基于剪枝压缩的疲劳驾驶快速检测方法
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN111462488B (zh) 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
US20230222844A1 (en) Parking lot management and control method based on object activity prediction, and electronic device
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
CN114220035A (zh) 一种基于改进yolo v4的快速害虫检测方法
Lyu et al. Small object recognition algorithm of grain pests based on SSD feature fusion
CN114283469B (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN111898432A (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
CN111027370A (zh) 一种多目标跟踪及行为分析检测方法
CN111222449B (zh) 一种基于固定摄像头图像的驾驶员行为检测方法
CN106682681A (zh) 一种基于相关反馈的识别算法自动改进方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN118334604B (zh) 基于多模态大模型的事故检测、数据集构建方法及设备
CN116797979A (zh) 基于改进YOLOv5与DeepSORT的小模型交通流检测方法、装置及系统
CN118230354A (zh) 一种基于改进YOLOv5的复杂场景下手语识别方法
CN114373162A (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
CN111626197B (zh) 一种基于人体行为识别网络模型的识别方法
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及系统
Park et al. Intensity classification background model based on the tracing scheme for deep learning based CCTV pedestrian detection
CN115311458A (zh) 基于多任务学习的实时高速公路行人闯入事件检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant