CN107578008A - 基于分块特征矩阵算法和svm的疲劳状态检测方法 - Google Patents
基于分块特征矩阵算法和svm的疲劳状态检测方法 Download PDFInfo
- Publication number
- CN107578008A CN107578008A CN201710782008.1A CN201710782008A CN107578008A CN 107578008 A CN107578008 A CN 107578008A CN 201710782008 A CN201710782008 A CN 201710782008A CN 107578008 A CN107578008 A CN 107578008A
- Authority
- CN
- China
- Prior art keywords
- image
- mouth
- eye
- values
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
基于分块特征矩阵算法和SVM的疲劳状态检测方法属图像处理和模式识别技术领域，本发明通过面部特征分析判断驾驶员是否处于疲劳状态，首先获取驾驶员视频图像，进行光照补偿和人脸区域检测；然后在人脸区域进行眼部和嘴部区域检测；本发明利用眼部分块特征矩阵算法对眼部图像进行特征提取，可降低光照条件、戴眼镜对检测的影响；利用嘴部分块特征矩阵算法对嘴部图像进行特征提取，可减少牙齿外露、嘴部留有胡须对检测的干扰；利用SVM算法对提取特征后的图像进行分类，在小样本训练集情况下提高可靠性；本发明结合眼部和嘴部疲劳特征分析，在检测到驾驶员处于疲劳状态时发出警告信息，可减少交通事故的发生。
Description
技术领域
本发明属图像处理和模式识别技术领域，具体涉及一种基于分块特征矩阵算法和SVM的疲劳状态检测方法。
背景技术
近年来，我国因机动车驾驶员疲劳而引发的交通事故每年多达数万起，疲劳驾驶已成为交通事故频发的重要因素之一，给驾驶员和行人的生命安全和财产带来了巨大损失。因此，驾驶员疲劳检测已成为当前安全辅助驾驶措施的一个研究热点，越来越多的学者对疲劳检测感兴趣。
针对这一问题，研究人员已经提出了许多疲劳检测的方法，大致可分为三种类型：生理参数、车辆行为以及面部特征分析。第一种方法是测量驾驶员的生理参数，如脑电图(EEG)、心电图(ECG)等，但这类方法是侵入性的，需要设备和驾驶员身体接触，会给驾驶带来干扰。第二种方法是测量车辆的行为，如速度、方向盘转动角度以及车道偏离检测等，但这种方法受驾驶条件、驾驶经验、车辆类型等的影响较大。第三种方法是对驾驶员面部进行分析，如PERCLOS值检测、眨眼频率、头部姿态以及打哈欠检测等。这种方法是非侵入性的，不需要和驾驶员身体接触。
在面部特征分析方法中，通过方差或积分投影来估计虹膜高度和宽度，根据高度和宽度之间的比率来确定眼睛状态，这种方法受光照条件影响较大。对嘴部区域进行水平和垂直灰度投影，得到嘴巴张开的高度和宽度，根据其宽高比率判断是否打哈欠，但当牙齿露出或嘴部留有胡须时，这种检测方法效果不佳。
由于以上算法的缺陷，在实际应用中很难取得理想的效果，有待改进。
发明内容
为解决以上算法的缺陷，本发明的目的在于提供一种基于分块特征矩阵算法和SVM的疲劳状态检测方法，结合眼部和嘴部疲劳特征，最大程度地提高疲劳状态检测的准确率。
本发明解决其问题所采用的技术方案是：
基于分块特征矩阵算法和SVM的疲劳状态检测方法，是提前构建训练样本图像库，所述训练样本图像库包括眼部训练集和嘴部训练集，眼部训练集特征向量由眼部分块特征矩阵算法计算而得，嘴部训练集特征向量由嘴部分块特征矩阵算法计算而得，所述疲劳状态检测方法包括以下步骤：
1.将获取的驾驶员视频流转化成帧图像；
2.用“参考白”算法对步骤1的帧图像进行光照补偿：将整个图像中所有像素的亮度值从高到低进行排列，取亮度值在前5％的像素，设置其RGB分量为255，其他像素的RGB分量值按比例线性调整；
3.检测人脸区域：对步骤2获取的光照补偿后的帧图像，利用Viola Jones人脸检测算法进行人脸检测，获取驾驶员面部区域；
4.检测眼部区域和状态分析：对步骤3获取的人脸图像，利用EyeMap算法检测眼部区域，获取人眼图像，然后利用眼部分块特征矩阵算法计算人眼图像的特征向量，由SVM分类器对图像进行分类，判断眼睛处于睁开还是闭合状态，具体包括下列步骤：
4.1根据眼睛在人脸区域的分布特性，选取垂直方向的人脸二分之一到八分之七之间的区域，设为眼部ROI区域A，并检测；
4.2首先，将图像从RGB空间转换到YCrCb空间；其次，建立两个眼图，其中一个根据色度分量Cr和Cb，建立眼图EyeMapC，另一个根据亮度分量Y，建立眼图EyeMapL；最后，将这两个眼图相乘，建立眼图EyeMap；
4.3通过OTSU算法获得最佳阈值T，将EyeMap灰度图像转换成二值图像，综合分析每个连通域的纵横比，位置等特点来排除非眼睛区域，最后保留一对连通域视为眼睛区域；
4.4对获取的人眼图像，利用眼部分块特征矩阵算法计算出特征向量，将此特征向量输入SVM分类器，根据提前训练好的眼部图像样本库，对获取的人眼图像进行分类，判断此时人眼处于睁开还是闭合状态；
5.检测嘴部区域和状态分析：对步骤3获取的人脸图像，通过唇分割算法精确定位嘴部区域，然后利用嘴部分块特征矩阵算法对嘴部图像计算特征向量，由SVM分类器对图像进行分类，从而判断嘴部张开状态，具体包括下列步骤：
5.1根据嘴部在人脸区域的分布特性，选取垂直方向的人脸下三分之一以下和水平方向的左四分之一至右四分之一之间的区域，设为嘴部ROI区域B，并检测；
5.2根据嘴唇和皮肤颜色之间的差异，对嘴部ROI区域B所有像素利用公式计算s值：
其中：s代表唇色和肤色之间的差异值；R、G和B分别代表像素的红色分量、蓝色分量和绿色分量；
对所有像素的s值进行从大到小排序，考虑到嘴唇区域s值比皮肤大，选取其中s值最大的N个像素视为嘴唇区域，N为ROI区域像素个数的20％，通过连通域分析，获取的嘴唇外接矩形区域为最终嘴部图像；
5.3对获取的嘴部图像，利用嘴部分块特征矩阵算法计算出特征向量，将此特征向量输入SVM分类器，根据提前训练好的嘴部图像样本库，对获取的嘴部图像进行分类，判断此时嘴巴张开大小，是否达到打哈欠时的嘴巴张开程度，同时考虑当前帧嘴部图像与前后两帧图像的相似度；
6.建立疲劳状态评估模型：根据步骤4.4对眼睛睁闭状态进行判断，计算PERCLOS值，当PERCLOS值大于阈值时，说明驾驶员可能处于疲劳状态；用K值记录眼睛持续闭合的帧数，当K值超过阈值时，说明驾驶员处于疲劳状态；根据步骤5.3对嘴巴张开程度进行判断，用P值记录嘴巴张开程度达到打哈欠时张开程度的持续帧数，当P值超过阈值时，说明驾驶员在打哈欠，处于疲劳状态；
7.综合疲劳判断：根据步骤6得到的PERCLOS值、K值和P值，判断驾驶员是否处于疲劳状态，在PERCLOS值超过阈值时，提醒驾驶员可能正处于疲劳驾驶状态，注意行驶；在K值或P值超过阈值时，发出警告，提醒驾驶员正处于疲劳驾驶状态，应马上到安全地带停车休息或更换驾驶员。
进一步，利用眼部分块特征矩阵算法对获取的人眼图像计算特征向量包括以下步骤：
步骤A1，将人眼图像从RGB空间转换到HSV空间，获取饱和度S图像；将人眼图像从RGB空间转换到YCrCb空间，根据公式获取眼图EM图像；其中，cr为YCrCb空间的红色分量，cb为YCrCb空间的蓝色分量；
步骤A2，分别对S图像和EM图像进行均值滤波，并利用双线性插值算法调整图像尺寸为48×32；
步骤A3，分别对S图像和EM图像进行图像灰度值归一化，将图像灰度值归一化到0-1区间内；定义饱和度-眼图矩阵，大小为16×16，横坐标值从0到1划分16个区间，对应EM图像灰度值范围，纵坐标值从0到1也划分16个区间，对应S图像灰度值范围，区间宽度都为1/16，区间序号从1到16；
其中：EM权重为横坐标区间序号；S权重为纵坐标区间序号；区间像素数为遍历人眼图像所有像素，其S值和EM值落入此区间的像素个数，S值为S图像对应像素灰度值，EM值为EM图像对应像素灰度值；
步骤A4，分别对S图像和EM图像依次从左到右，从上到下进行8×8分块，S图像和EM图像各分成24个局部图像块，计算对应每个局部人眼图像块的矩阵特征值，最终得到人眼图像的24维特征向量。
进一步，利用嘴部分块特征矩阵算法对获取的嘴部图像计算特征向量包括以下步骤：
步骤B1，获取嘴部图像对应的灰度G图像，将人眼图像从RGB空间转换到YCrCb空间，根据公式CD＝cr-cb，获取色差CD图像；
步骤B2，分别对G图像和CD图像进行均值滤波，并利用双线性插值算法调整图像尺寸为48×64；
步骤B3，分别对G图像和CD图像进行图像灰度值归一化，将图像灰度值归一化到0-1区间内；定义灰度-色差矩阵，大小为16×16，横坐标值从0到1划分16个区间，对应G图像灰度值范围，纵坐标值从0到1也划分16个区间，对应CD图像灰度值范围，区间宽度都为1/16，区间序号从1到16；
其中：G权重为横坐标区间序号；CD权重为纵坐标区间序号；区间像素数为遍历嘴部图像所有像素，其G值和CD值落入此区间的像素个数，G值为G图像对应像素灰度值，CD值为CD图像对应像素灰度值；
步骤B4，分别对G图像和CD图像依次从左到右，从上到下进行8×8分块，G图像和CD图像各分成48个局部图像块，计算对应每个局部嘴部图像块的矩阵特征值，最终得到嘴部图像的48维特征向量。
上述的步骤4和步骤5同步进行，即眼部和嘴部疲劳状态检测同步进行。
本发明的有益效果是：
本发明采用一种基于分块特征矩阵算法和SVM的疲劳状态检测方法，在获取到人眼图像和嘴部图像后，利用眼部分块特征矩阵算法对人眼图像进行状态特征提取，提取的特征受光照条件影响小，在眼睛睁开情况下，人眼图像的矩阵特征值较小，而在眼睛闭合情况下，矩阵特征值大。因此，提取的特征能够准确判断眼睛睁开还是闭合。利用嘴部分块特征矩阵算法对嘴部图像进行状态特征提取，在嘴巴闭合或张开较小情况下，嘴部图像的矩阵特征值大，而在嘴巴张开程度达到打哈欠时张开程度情况下，矩阵特征值较小，因此可以通过提取的特征判断嘴巴张开程度，进而判断驾驶员是否打哈欠。即使在牙齿外露和嘴部留有胡须时，提取的特征也能准确判断嘴巴张开程度。同时，考虑当前帧嘴部图像与前后两帧图像的相似度，因为打哈欠时，嘴巴状态变化很小，相邻帧图像相似度高，使得打哈欠状态检测更准确。
本发明结合眼部状态和嘴部状态这两个特征来对驾驶员疲劳状况进行检测，与单一参数检测疲劳状态相比准确率和可靠性更高，并且在驾驶员处于疲劳状态时，发出警告提醒驾驶员停车休息或更换驾驶员，可以减少交通事故的发生。
附图说明
图1为基于分块特征矩阵算法和SVM的疲劳状态检测方法的流程图
图2为利用眼部分块特征矩阵算法计算人眼图像特征向量的流程图
图3为利用嘴部分块特征矩阵算法计算嘴部图像特征向量的流程图
图4为对EyeMap灰度图像二值化后的图像
图5为初步确定嘴唇区域(白色部分)的图像
图6为眼部ROI区域划分示意图
图7为嘴部ROI区域划分示意图
具体实施方式
下面结合附图进一步说明本发明的实施流程，以便本领域的技术人员更好地理解本发明。一种基于分块特征矩阵算法和SVM的疲劳状态检测方法，包括提前构建训练样本图像库，如图1所示，该方法包括以下步骤：
1.将获取到的驾驶员视频流转换成帧图像。
2.用“参考白”算法对步骤1的帧图像进行光照补偿：由于光源的高光和阴影对人脸检测影响较大，因此先进行光照补偿，可以更好的检测人脸区域。将整个图像中所有像素的亮度值从高到低进行排列，取亮度值在前5％的像素，设置其RGB分量为255，其他像素的RGB分量值按比例线性调整。
3.检测人脸区域：对步骤2获取的光照补偿后的帧图像，利用Viola Jones人脸检测算法进行人脸检测，获取驾驶员面部区域。
4.检测眼部区域和状态分析：对步骤3获取的驾驶员面部区域，利用EyeMap算法检测眼部区域，获取人眼图像，然后利用眼部分块特征矩阵算法计算人眼图像的特征向量，由SVM分类器对图像进行分类，判断眼睛处于睁开还是闭合状态，具体包括下列步骤。
4.1根据眼睛在人脸区域的分布特性，选取垂直方向的人脸二分之一到八分之七之间的区域，设为眼部ROI区域A(如图6所示)，并检测。
4.2首先，将图像从RGB空间转换到YCrCb空间；其次，建立两个眼图，其中一个根据色度分量Cr和Cb根据公式(1)：建立眼图EyeMapC；
另一个根据亮度分量Y根据公式(2)：建立眼图EyeMapL；
最后，这两个眼图利用公式(3)：EyeMap＝EyeMapC×EyeMapL，建立眼图EyeMap。
其中：Y(x,y)表示亮度分量；g(x,y)表示球结构元素；Θ分别表示灰度膨胀和灰度腐蚀。
4.3通过OTSU算法获得最佳阈值T，将EyeMap灰度图像转换成二值图像，如图4所示，综合分析每个连通域白色部分)的纵横比，位置等特点来排除非眼睛区域，最后保留一对连通域视为眼睛区域。
4.4对获取的人眼图像，利用眼部分块特征矩阵算法计算出特征向量，将此特征向量输入SVM分类器，根据提前训练好的眼部图像样本库，对获取的人眼图像进行分类，判断此时人眼处于睁开还是闭合状态。
5.检测嘴部区域和状态分析：对步骤3获取的人脸图像，通过唇分割算法精确定位嘴部区域，然后利用嘴部分块特征矩阵算法对嘴部图像计算特征向量，由SVM分类器对图像进行分类，从而判断嘴部张开状态，具体包括下列步骤：
5.1根据嘴部在人脸区域的分布特性，选取垂直方向的人脸下三分之一以下和水平方向的左四分之一至右四分之一之间的区域，设为嘴部ROI区域B(如图7所示)，并检测；
5.2根据嘴唇和皮肤颜色之间的差异，对嘴部ROI区域B所有像素利用下列公式计算s值：
其中：s代表唇色和肤色之间的差异值；R、G和B分别代表像素的红色分量、蓝色分量和绿色分量。
对所有像素的s值进行从大到小排序，考虑到嘴唇区域s值比皮肤大，选取其中s值最大的N个像素视为嘴唇区域，N为ROI区域像素个数的20％，如图5所示，白色部分为初步确定的嘴唇区域，通过连通域分析排除非嘴唇区域，获取的嘴唇外接矩形区域为最终嘴部图像。
5.3对获取的嘴部图像，利用嘴部分块特征矩阵算法计算出特征向量，将此特征向量输入SVM分类器，根据提前训练好的嘴部图像样本库，对获取的嘴部图像进行分类，判断此时嘴巴张开大小，是否达到打哈欠时的嘴巴张开程度。同时考虑当前帧嘴部图像与前后两帧图像的相似度，因为打哈欠时，嘴巴状态变化很小，相邻帧图像相似度高，当相似度超过阈值时，说明嘴巴张开程度达到打哈欠时的嘴巴张开程度，使得打哈欠状态判断更准确。
6.建立疲劳状态评估模型：根据步骤4.4对眼睛睁闭状态进行判断，计算PERCLOS值，当PERCLOS值大于阈值时，说明驾驶员可能处于疲劳状态；用K值记录眼睛持续闭合的帧数，当K值超过阈值时，说明驾驶员处于疲劳状态；根据步骤5.3对嘴巴张开程度进行判断，用P值记录嘴巴张开程度达到打哈欠时张开程度的持续帧数，当P值超过阈值时，说明驾驶员在打哈欠，处于疲劳状态。
7.综合疲劳判断：根据步骤6得到的PERCLOS值、K值和P值，判断驾驶员是否处于疲劳状态，在PERCLOS值超过阈值时，提醒驾驶员可能正处于疲劳驾驶状态，注意行驶；在K值或P值超过阈值时，发出警告，提醒驾驶员正处于疲劳驾驶状态，应马上到安全地带停车休息或更换驾驶员。
本发明利用眼部分块特征矩阵算法对获取的人眼图像计算特征向量(如图2所示)，包括以下步骤：
步骤A1，将人眼图像从RGB空间转换到HSV空间，获取饱和度S图像；将人眼图像从RGB空间转换到YCrCb空间，根据公式(5)：获取眼图EM图像。
其中：cr为YCrCb空间的红色分量；cb为YCrCb空间的蓝色分量； 这三项的值都归一化到0-255区间内。
步骤A2，分别对S图像和EM图像进行均值滤波，并利用双线性插值算法调整图像尺寸为48×32。
步骤A3，分别对S图像和EM图像进行图像灰度值归一化，将图像灰度值归一化到0-1区间内；定义饱和度-眼图矩阵，大小为16×16，横坐标值从0到1划分16个区间，对应EM图像灰度值范围，纵坐标值从0到1也划分16个区间，对应S图像灰度值范围，区间宽度都为1/16，区间序号从1到16。
其中：EM权重为横坐标区间序号；S权重为纵坐标区间序号；区间像素数为遍历人眼图像所有像素，其S值和EM值落入此区间的像素个数，S值为S图像对应像素灰度值，EM值为EM图像对应像素灰度值。
步骤A4，分别对S图像和EM图像依次从左到右，从上到下进行8×8分块，S图像和EM图像各分成24个局部图像块，计算对应每个局部人眼图像块的矩阵特征值，最终得到人眼图像的24维特征向量。在眼睛睁开情况下，人眼图像的矩阵特征值较小，而在眼睛闭合情况下，矩阵特征值大，因此可以通过提取的特征检测眼睛睁开还是闭合。
本发明利用嘴部分块特征矩阵算法对获取的嘴部图像计算出特征向量(如图3所示)，包括以下步骤：
步骤B1，获取嘴部图像对应的灰度G图像，将人眼图像从RGB空间转换到YCrCb空间，根据公式(6)：CD＝cr-cb，获取色差CD图像。
步骤B2，分别对G图像和CD图像进行均值滤波，并利用双线性插值算法调整图像尺寸为48×64。
步骤B3，分别对G图像和CD图像进行图像灰度值归一化，将图像灰度值归一化到0-1区间内；定义灰度-色差矩阵，大小为16×16，横坐标值从0到1划分16个区间，对应G图像灰度值范围，纵坐标值从0到1也划分16个区间，对应CD图像灰度值范围，区间宽度都为1/16，区间序号从1到16。
其中：G权重为横坐标区间序号；CD权重为纵坐标区间序号；区间像素数为遍历嘴部图像所有像素，其G值和CD值落入此区间的像素个数，G值为G图像对应像素灰度值，CD值为CD图像对应像素灰度值。
步骤B4，分别对G图像和CD图像依次从左到右，从上到下进行8×8分块，G图像和CD图像各分成48个局部图像块，计算对应每个局部嘴部图像块的矩阵特征值，最终得到嘴部图像的48维特征向量。在嘴巴闭合或张开较小情况下，嘴部图像的矩阵特征值大，而在嘴巴张开程度达到打哈欠时张开程度情况下，矩阵特征值较小，因此可以通过提取的特征判断嘴巴张开程度，进而判断驾驶员是否打哈欠。
在本发明中，上述的步骤4和步骤5同步进行，即眼部和嘴部疲劳状态检测同步进行，提高检测效率。
Claims (4)
1.一种基于分块特征矩阵算法和SVM的疲劳状态检测方法，其特征在于，提前构建训练样本图像库，所述训练样本图像库包括眼部训练集和嘴部训练集，眼部训练集特征向量由眼部分块特征矩阵算法计算而得，嘴部训练集特征向量由嘴部分块特征矩阵算法计算而得，所述疲劳状态检测方法包括下列步骤：
1.1将获取的驾驶员视频流转化成帧图像；
1.2用“参考白”算法对步骤1.1的帧图像进行光照补偿：将整个图像中所有像素的亮度值从高到低进行排列，取亮度值在前5％的像素，设置其RGB分量为255，其他像素的RGB分量值按比例线性调整；
1.3检测人脸区域：对步骤1.2获取的光照补偿后的帧图像，利用Viola Jones人脸检测算法进行人脸检测，获取驾驶员面部区域；
1.4检测眼部区域和状态分析：对步骤1.3获取的驾驶员面部区域，利用EyeMap算法检测眼部区域，获取人眼图像，然后利用眼部分块特征矩阵算法计算人眼图像的特征向量，由SVM分类器对图像进行分类，判断眼睛处于睁开还是闭合状态，具体包括下列步骤：
1.4.1根据眼睛在人脸区域的分布特性，选取垂直方向的人脸二分之一到八分之七之间的区域，设为眼部ROI区域(A)，并检测；
1.4.2首先，将图像从RGB空间转换到YCrCb空间；其次，建立两个眼图，其中一个根据色度分量Cr和Cb，建立眼图EyeMapC，另一个根据亮度分量Y，建立眼图EyeMapL；最后，将这两个眼图相乘，建立眼图EyeMap；
1.4.3通过OTSU算法获得最佳阈值T，将EyeMap灰度图像转换成二值图像，综合分析每个连通域的纵横比，位置等特点来排除非眼睛区域，最后保留一对连通域视为眼睛区域；
1.4.4对获取的人眼图像，利用眼部分块特征矩阵算法计算出特征向量，将此特征向量输入SVM分类器，根据提前训练好的眼部图像样本库，对获取的人眼图像进行分类，判断此时人眼处于睁开还是闭合状态；
1.5检测嘴部区域和状态分析：对步骤1.3获取的人脸图像，通过唇分割算法精确定位嘴部区域，然后利用嘴部分块特征矩阵算法对嘴部图像计算特征向量，由SVM分类器对图像进行分类，从而判断嘴部张开状态，具体包括下列步骤：
1.5.1根据嘴部在人脸区域的分布特性，选取人脸垂直方向的下三分之一以下和水平方向的左四分之一至右四分之一之间的区域，设为嘴部ROI区域(B)，并检测；
1.5.2根据嘴唇和皮肤颜色之间的差异，对嘴部ROI区域(B)所有像素利用公式计算s值：
<mrow>
<mi>s</mi>
<mo>=</mo>
<mn>2</mn>
<mo>&times;</mo>
<msup>
<mi>tan</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mi>R</mi>
<mo>-</mo>
<mi>G</mi>
</mrow>
<mi>R</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>&pi;</mi>
</mrow>
其中：s代表唇色和肤色之间的差异值；R、G和B分别代表像素的红色分量、蓝色分量和绿色分量；
对所有像素的s值进行从大到小排序，考虑到嘴唇区域s值比皮肤大，选取其中s值最大的N个像素视为嘴唇区域，N为ROI区域像素个数的20％，通过连通域分析，获取的嘴唇外接矩形区域为最终嘴部图像；
1.5.3对获取的嘴部图像，利用嘴部分块特征矩阵算法计算出特征向量，将此特征向量输入SVM分类器，根据提前训练好的嘴部图像样本库，对获取的嘴部图像进行分类，判断此时嘴巴张开大小，是否达到打哈欠时的嘴巴张开程度，同时考虑当前帧嘴部图像与前后两帧图像的相似度；
1.6建立疲劳状态评估模型：根据步骤1.4.4对眼睛睁闭状态进行判断，计算PERCLOS值，当PERCLOS值大于阈值时，说明驾驶员可能处于疲劳状态；用K值记录眼睛持续闭合的帧数，当K值超过阈值时，说明驾驶员处于疲劳状态；根据步骤1.5.3对嘴巴张开程度进行判断，用P值记录嘴巴张开程度达到打哈欠时张开程度的持续帧数，当P值超过阈值时，说明驾驶员在打哈欠，处于疲劳状态；
1.7综合疲劳判断：根据步骤1.6得到的PERCLOS值、K值和P值，判断驾驶员是否处于疲劳状态，在PERCLOS值超过阈值时，提醒驾驶员可能正处于疲劳驾驶状态，注意行驶；在K值或P值超过阈值时，发出警告，提醒驾驶员正处于疲劳驾驶状态，应马上到安全地带停车休息或更换驾驶员。
2.按权利要求1所述的基于分块特征矩阵算法和SVM的疲劳状态检测方法，其特征在于，步骤1.4.4所述的利用眼部分块特征矩阵算法对获取的人眼图像计算特征向量包括下列步骤：
2.1将人眼图像从RGB空间转换到HSV空间，获取饱和度S图像；将人眼图像从RGB空间转换到YCrCb空间，根据下列公式获取眼图EM图像：
<mrow>
<mi>E</mi>
<mi>M</mi>
<mo>=</mo>
<mn>255</mn>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>c</mi>
<mi>b</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<mn>255</mn>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>r</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<mfrac>
<msub>
<mi>c</mi>
<mi>b</mi>
</msub>
<msub>
<mi>c</mi>
<mi>r</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mn>3</mn>
</mrow>
其中:cr为YCrCb空间的红色分量；cb为YCrCb空间的蓝色分量；
2.2分别对S图像和EM图像进行均值滤波，并利用双线性插值算法调整图像尺寸为48×32；
2.3分别对S图像和EM图像进行图像灰度值归一化，将图像灰度值归一化到0-1区间内；定义饱和度--眼图矩阵，大小为16×16，横坐标值从0到1划分16个区间；对应EM图像灰度值范围，纵坐标值从0到1也划分16个区间；对应S图像灰度值范围，区间宽度都为1/16，区间序号从1到16；
其中：EM权重为横坐标区间序号；S权重为纵坐标区间序号；区间像素数为遍历人眼图像所有像素，其S值和EM值落入此区间的像素个数，S值为S图像对应像素灰度值，EM值为EM图像对应像素灰度值；
2.4分别对S图像和EM图像依次从左到右，从上到下进行8×8分块，S图像和EM图像各分成24个局部图像块，计算对应每个局部人眼图像块的矩阵特征值，最终得到人眼图像的24维特征向量。
3.按权利要求1所述的基于分块特征矩阵算法和SVM的疲劳状态检测方法，其特征在于，步骤1.5.3所述的利用嘴部分块特征矩阵算法，对获取的嘴部图像计算出特征向量包括下列步骤：
3.1获取嘴部图像对应的灰度G图像，将人眼图像从RGB空间转换到YCrCb空间，根据公式CD＝cr-cb，获取色差CD图像；
3.2分别对G图像和CD图像进行均值滤波，并利用双线性插值算法调整图像尺寸为48×64；
3.3分别对G图像和CD图像进行图像灰度值归一化，将图像灰度值归一化到0-1区间内；定义灰度-色差矩阵，大小为16×16，横坐标值从0到1划分16个区间，对应G图像灰度值范围，纵坐标值从0到1也划分16个区间，对应CD图像灰度值范围，区间宽度都为1/16，区间序号从1到16；
其中：G权重为横坐标区间序号；CD权重为纵坐标区间序号；区间像素数为遍历嘴部图像所有像素，其G值和CD值落入此区间的像素个数，G值为G图像对应像素灰度值，CD值为CD图像对应像素灰度值；
3.4分别对G图像和CD图像依次从左到右，从上到下进行8×8分块，G图像和CD图像各分成48个局部图像块，计算对应每个局部嘴部图像块的矩阵特征值，最终得到嘴部图像的48维特征向量。
4.按权利要求1所述的基于分块特征矩阵算法和SVM的疲劳状态检测方法，其特征在于，所述的步骤1.4和步骤1.5同步进行，即眼部和嘴部疲劳状态检测同步进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710782008.1A CN107578008B (zh) | 2017-09-02 | 2017-09-02 | 基于分块特征矩阵算法和svm的疲劳状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710782008.1A CN107578008B (zh) | 2017-09-02 | 2017-09-02 | 基于分块特征矩阵算法和svm的疲劳状态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578008A true CN107578008A (zh) | 2018-01-12 |
| CN107578008B CN107578008B (zh) | 2020-07-17 |
Family
ID=61030534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710782008.1A Active CN107578008B (zh) | 2017-09-02 | 2017-09-02 | 基于分块特征矩阵算法和svm的疲劳状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578008B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805894A (zh) * | 2018-06-19 | 2018-11-13 | 合肥凌极西雅电子科技有限公司 | 图像分析方法及其系统 |
| CN109192275A (zh) * | 2018-08-06 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 人物精神状态的确定方法、装置及服务器 |
| CN109190515A (zh) * | 2018-08-14 | 2019-01-11 | 深圳壹账通智能科技有限公司 | 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备 |
| CN109460703A (zh) * | 2018-09-14 | 2019-03-12 | 华南理工大学 | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 |
| CN110210382A (zh) * | 2019-05-30 | 2019-09-06 | 上海工程技术大学 | 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置 |
| CN110956781A (zh) * | 2019-11-28 | 2020-04-03 | 同济大学 | 一种基于视频分析的疲劳驾驶监测系统 |
| CN111078000A (zh) * | 2019-11-18 | 2020-04-28 | 中北大学 | 一种根据眼行为特征进行眼机交互的方法、装置及系统 |
| CN111222360A (zh) * | 2018-11-23 | 2020-06-02 | 隆基绿能科技股份有限公司 | 硅料熔化状态的检测方法、设备及存储介质 |
| CN111460950A (zh) * | 2020-03-25 | 2020-07-28 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| CN111582086A (zh) * | 2020-04-26 | 2020-08-25 | 湖南大学 | 基于多特征的疲劳驾驶识别方法及系统 |
| WO2021077863A1 (zh) * | 2019-10-25 | 2021-04-29 | 华为技术有限公司 | 终端消息处理方法及其图像识别方法、装置、介质和系统 |
| CN114049676A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安财产保险股份有限公司 | 疲劳状态检测方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096810A (zh) * | 2011-01-26 | 2011-06-15 | 北京中星微电子有限公司 | 一种电脑前疲劳状态的检测方法和装置 |
| CN104809445A (zh) * | 2015-05-07 | 2015-07-29 | 吉林大学 | 基于眼部和嘴部状态的疲劳驾驶检测方法 |
| CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技（深圳）有限公司 | 一种驾驶员疲劳状态检测方法及系统 |
-
2017
- 2017-09-02 CN CN201710782008.1A patent/CN107578008B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102096810A (zh) * | 2011-01-26 | 2011-06-15 | 北京中星微电子有限公司 | 一种电脑前疲劳状态的检测方法和装置 |
| CN104809445A (zh) * | 2015-05-07 | 2015-07-29 | 吉林大学 | 基于眼部和嘴部状态的疲劳驾驶检测方法 |
| CN106485191A (zh) * | 2015-09-02 | 2017-03-08 | 腾讯科技（深圳）有限公司 | 一种驾驶员疲劳状态检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| HASHEM KALBKHANI等: "Efficient algorithms for detection of face, eye and eye state", 《IET COMPUTER VISION》 * |
| JING PAN等: "A New Color Transformation Based Fast Outer Lip Contour Extraction", 《JOURNAL OF INFORMATION & COMPUTATIONAL SCIENCE》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805894A (zh) * | 2018-06-19 | 2018-11-13 | 合肥凌极西雅电子科技有限公司 | 图像分析方法及其系统 |
| CN109192275A (zh) * | 2018-08-06 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 人物精神状态的确定方法、装置及服务器 |
| US11055512B2 (en) | 2018-08-06 | 2021-07-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and server for determining mental state of human |
| CN109190515A (zh) * | 2018-08-14 | 2019-01-11 | 深圳壹账通智能科技有限公司 | 一种疲劳驾驶检测方法、计算机可读存储介质及终端设备 |
| WO2020034541A1 (zh) * | 2018-08-14 | 2020-02-20 | 深圳壹账通智能科技有限公司 | 一种疲劳驾驶检测方法、可读存储介质、终端设备及装置 |
| CN109460703A (zh) * | 2018-09-14 | 2019-03-12 | 华南理工大学 | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 |
| CN109460703B (zh) * | 2018-09-14 | 2022-03-29 | 华南理工大学 | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 |
| CN111222360A (zh) * | 2018-11-23 | 2020-06-02 | 隆基绿能科技股份有限公司 | 硅料熔化状态的检测方法、设备及存储介质 |
| CN111222360B (zh) * | 2018-11-23 | 2023-10-31 | 隆基绿能科技股份有限公司 | 硅料熔化状态的检测方法、设备及存储介质 |
| CN110210382A (zh) * | 2019-05-30 | 2019-09-06 | 上海工程技术大学 | 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置 |
| WO2021077863A1 (zh) * | 2019-10-25 | 2021-04-29 | 华为技术有限公司 | 终端消息处理方法及其图像识别方法、装置、介质和系统 |
| CN111078000A (zh) * | 2019-11-18 | 2020-04-28 | 中北大学 | 一种根据眼行为特征进行眼机交互的方法、装置及系统 |
| CN111078000B (zh) * | 2019-11-18 | 2023-04-28 | 中北大学 | 一种根据眼行为特征进行眼机交互的方法、装置及系统 |
| CN110956781A (zh) * | 2019-11-28 | 2020-04-03 | 同济大学 | 一种基于视频分析的疲劳驾驶监测系统 |
| CN111460950A (zh) * | 2020-03-25 | 2020-07-28 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| CN111460950B (zh) * | 2020-03-25 | 2023-04-18 | 西安工业大学 | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
| CN111582086A (zh) * | 2020-04-26 | 2020-08-25 | 湖南大学 | 基于多特征的疲劳驾驶识别方法及系统 |
| CN114049676A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安财产保险股份有限公司 | 疲劳状态检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578008B (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578008A (zh) | 基于分块特征矩阵算法和svm的疲劳状态检测方法 | |
| CN104809445B (zh) | 基于眼部和嘴部状态的疲劳驾驶检测方法 | |
| CN108038456B (zh) | 一种人脸识别系统中的防欺骗方法 | |
| CN108216254B (zh) | 基于面部图像与脉搏信息融合的路怒情绪识别方法 | |
| Horng et al. | Driver fatigue detection based on eye tracking and dynamic template matching | |
| CN108875642A (zh) | 一种多指标融合的驾驶员疲劳检测的方法 | |
| CN112241658B (zh) | 一种基于深度相机的疲劳驾驶预警方法 | |
| CN103714660B (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 | |
| Rongben et al. | Monitoring mouth movement for driver fatigue or distraction with one camera | |
| CN103839379B (zh) | 汽车及用于其的驾驶员疲劳预警检测方法和系统 | |
| CN103400110B (zh) | Atm取款机前的异常人脸检测方法 | |
| CN101941425B (zh) | 对驾驶员疲劳状态的智能识别装置与方法 | |
| CN108309311A (zh) | 一种列车驾驶员实时盹睡检测装置及检测算法 | |
| Wang et al. | Blink detection using Adaboost and contour circle for fatigue recognition | |
| CN106845328B (zh) | 一种基于双摄像头的智能人脸识别方法及系统 | |
| CN102122357B (zh) | 一种基于人眼睁闭状态的疲劳检测方法 | |
| CN106250801A (zh) | 基于人脸检测和人眼状态识别的疲劳检测方法 | |
| CN104123549B (zh) | 一种用于疲劳驾驶实时监测的眼睛定位方法 | |
| CN105139404A (zh) | 一种可检测拍摄质量的证照相机及拍摄质量检测方法 | |
| CN102054163A (zh) | 基于单目视觉的驾驶员疲劳检测方法 | |
| CN109344802A (zh) | 一种基于改进的级联卷积神经网的人体疲劳检测方法 | |
| Tabrizi et al. | Open/closed eye analysis for drowsiness detection | |
| CN101604446B (zh) | 用于疲劳检测的嘴唇图像分割方法及系统 | |
| CN108256378A (zh) | 基于眼球动作识别的驾驶员疲劳检测方法 | |
| Rezaee et al. | Real-time intelligent alarm system of driver fatigue based on video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |