CN106446849B - 一种疲劳驾驶检测方法 - Google Patents

Abstract

本发明公开了一种疲劳驾驶检测方法，包括以下步骤：首先，对人脸视频图像采集，每隔一段时间拍摄一副图像；对采集到的视频图像分析，提取PERCLOS、眨眼频率和平均闭合时间三种眼动特征；同时对人体脉搏信息采集，对脉搏信号信息分析，提取人体脉搏信息中的主波间期均值、主波间期标准差和高低频功率比三个脉搏特征；通过对眼动特征和脉搏特征的融合，采用极限学习机作为分类器，将疲劳和正常状态下两类不同数据分开，对驾驶员当前是否处于疲劳状态进行识别。本发明设计了基于极限学习机的信息融合与疲劳驾驶识别算法，可以有效地提高疲劳驾驶的识别精度。

Description

一种疲劳驾驶检测方法

技术领域

本发明涉及一种疲劳驾驶检测方法。

背景技术

交通安全是与国计民生直接相关的热点问题，其中疲劳驾驶作为交通事故多发的主要问题之一，受到了人们的广泛关注。疲劳驾驶会导致驾驶员精力不集中、肢体反应迟钝、对突发情况的应变能力下降，极易引发交通事。据统计，由疲劳驾驶所造成的交通事故约占事故总数的20％，站重特大交通事故的40％，占交通死亡率的80％。由此可见驾驶员疲劳驾驶已经成为交通事故的主要隐患，而且不容易被察觉和监测。

疲劳驾驶是严重影响交通安全的主要隐患之一，目前针对疲劳驾驶研究，存在信号源单一，识别精度低，实用性能差的不足。

发明内容

本发明要解决的技术问题是提供一种疲劳驾驶检测方法。

一种疲劳驾驶检测方法，包括以下步骤：

S1：人脸视频图像采集，每隔一段时间▽t拍摄一副图像；对采集到的视频图像分析，提取PERCLOS(Percent Eye Closure,眼睛闭合时间占特定时间的百分率)、眨眼频率和平均闭合时间三种眼动特征，具体包括以下步骤：

S1-1：将采集到的视频图像进行背景去除操作，将图像纵坐标范围在1-219和421-640的像素点作为背景去除掉；

S1-2：首先对步骤S1-1处理后的图像进行水平积分投影，得到水平投影曲线，对该曲线进行平滑处理，并记录曲线最低点所对应的纵坐标，记作y,该值即为图像中眼睛位置的纵坐标，将图像中纵坐标范围在y-20至y+20之间的图像部分单独提取出来；对上述提取出来的图像进行垂直投影，得到垂直投影曲线，对该曲线进行平滑处理，并记录曲线最小值对应的横坐标，记作x，该值即为图像中眼睛位置的横坐标，将图像中横坐标范围在x-40至x+40之间的图像部分提取出来；得到眼睛的一个点坐标(x,y)和一副尺寸为40*80的有效信息图像；

S1-3：对步骤S1-2所得的图像进行直方图均衡化处理；

S1-4：对步骤S1-3所得图像进行分割，首先，构造一个320*3的矩阵O，将图像中的每个像素点按照从左到右，从上到下的顺序进行遍历，并以此点的横坐标、纵坐标和灰度值分别作为矩阵O每一行三个元素的值，将O的每一行作为一个样本点，即实现了图像的数学建模；然后，设置核函数和容许误差，分别以每个样本点作为初始点运行mean-shift算法直至收敛；最后，选择图像中灰度值最小的像素点作为图像的特征点S，以S的收敛点为圆心，以5为半径限定一个球域，将所有收敛至此球域的样本点提取出来，即实现了人眼的分割；

S1-5：从分割后的人眼图像得到眼睛高度db和宽度da，计算眼睛开度dr，计算公式为将dr归一化为[0，1]的范围内，并以时间t为x轴，以归一化的dr为y轴,在平面坐标系中作出dr随t变化的离散点图，根据dr和t之间的对应关系，即可计算的出PERCLOS、眨眼频率和平均闭合时间三个特征值的大小；

PERCLOS值的计算，计算公式如下：

其中，f为眼睛闭合时间占设定时间段的百分率；t₁为眼睛睁开程度减小到80％的时刻；t₂为眼睛睁开程度减小到20％的时刻；t₃为眼睛再次睁开到20％的时刻；t₄眼睛再次睁开到80％的时刻；

眨眼频率的计算方法为，在单位时间内眼睛闭合的次数；

平均闭合时间的计算方法为，单位时间内眼睛处于闭合状态所占的时间长度；

S2：与步骤S1同时，人体脉搏信息采集，对脉搏信号信息分析，提取人体脉搏信息中的主波间期均值、主波间期标准差和高低频功率比三个脉搏特征，具体包括以下步骤：

S2-1:选用基于Stein无偏似然估计分层阈值的方法对脉搏信息进行去噪处理；

S2-2：选择正交小波Coiflet作为小波基，对脉搏信息进行三层小波分解；单独提取分解后的第三层高频系数，并以此重构第三层高频信号；在第三层高频系数中，采用自适应阈值法，检测每个周期范围内的最大值点；以此最大值点为基准点，并将其对应到原始信号中；在原始信号中，前后各取100个点作为搜索范围检测该范围内原始信号的最大值点，该点即为脉搏的主波波峰位置；

S2-3：计算主波间期均值、主波间期标准差和高低频功率比特征，具体计算方法为，取一段脉搏信号，采用步骤S2-2方法检测出各主波的波峰，求出两个相邻主波之间时间差，记作x_i，i＝1,2,3...，则x_i的均值即为主波间期均值，x_i的标准差即为主波间期标准差；将脉搏信号通过FFT变换至频率域，分别计算其在高频0.15-0.4Hz与低频0.04-0.15Hz分量的功率HF和LF，两者相除即可得到脉搏的高低频功率比；

S3:通过对眼动特征和脉搏特征的融合，采用极限学习机作为分类器，将疲劳和正常状态下两类不同数据分开，对驾驶员当前是否处于疲劳状态进行识别，具体包括以下步骤：

S3-1：假设当前的训练样本中共有m个正常样本和m个疲劳样本，根据步骤S1和S2中的方法，分别提取每一个样本的眼动疲劳特征和脉搏疲劳特征；

S3-2：将所有特征数据进行归一化和无量纲化处理；

S3-3：设定ELM训练时所需的参数，如下表所示，

S3-4：以m个样本对ELM进行训练，确定输出权值；

S3-5：以训练后的ELM作为分类器，对测试样本进行识别，输出为1时判定为疲劳，输出为0时判定为正常。

本发明的有益效果是：

1)本发明设计了基于混合积分投影与mean-shift相结合的眼部疲劳状态特征提取方法，能够快速准确的对人眼部份图像进行分割，从而实现眼动特征的有效提取；

2)设计了基于极限学习机的信息融合与疲劳驾驶识别算法，可以有效地提高疲劳驾驶的识别精度。

具体实施方式

以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。

选取8位身体健康的驾驶人作为被试者进行实验，针对每位被试者都分别进行两组实验，得到10分钟的正常状态数据和10分钟的疲劳状态数据，采集数据实验的具体步骤如下：

S1：被试者在实验前先进行正常状态下的眼动信息和脉搏信息采集，选取10分钟连续数据作为样本，接着进行连续工作长时间而没有休息；

S2：被试者听3分钟轻音乐进入平静状态，然后在进行5分钟的模拟驾驶环境体验，熟悉模拟驾驶操作，降低正式实验时的新鲜感；

S3：被试者进行30分钟的文献阅读，使得被试者在试验正式开始前进一步疲劳；

S4：被试者进入模拟实验环境开始模拟驾驶，观察眼动信息和脉搏信号的采集状态，当两种信息显示正常时，同步开始时间长度为30分钟的信号采集；

S5：实验结束后选取疲劳状态最为明显的连续10分钟数据作为样本。

以1分钟作为信息采集时长，将每段数据等分为10个样本，一共得到160个实验样本。

对于得到的80个脉搏信号样本，根据本发明的脉搏特征提取方法进行处理，得到每个样本的主波间期均值、主波间期标准差和高低频功率比三种特征；

对于得到的80个眼动信息样本，以0.25s为时间间隔进行采样，每个样本得到240幅图像，根据本发明的眼动特征提取方法对图像数据进行处理，得到每个样本的PERCLOS、眨眼频率和平均闭合时间三种特征；

根据本发明的疲劳状态识别方法，分别对每种特征进行归一化和无量纲化，得到一个160*6的特征矩阵，然后再选取样本对极限学习机进行训练，根据已有的160组样本数据，分别从以下三个方面进行效果验证：

第一，单独以脉搏特征或者眼动特征作为样本，验证每种信息独立工作时的识别率。

首先随机选取40个正常状态下的脉搏样本和40个疲劳状态下的脉搏样本，组成80*3的脉搏特征矩阵，并以此为输入对分类器进行训练；然后以剩余的80个脉搏样本作为测试样本对算法当前的分类效果进行验证。

按照同样的方式也可以得到单独以眼动特征作为输入样本时的分类效果。单独特征的识别结果统计如下表1所示。

表1单独特征的识别率

特征种类	测试样本(个)	正确结果数目	错误结果数目	识别率(％)
					脉搏特征	80	58	22	72.5
眼动特征	80	63	8	78.75

第二，对两种信息相融合时的分类效果进行验证。

首先，随机选取40个正常状态下的样本和40个疲劳状态下的样本，组成80*6的特征矩阵，并以此为输入对分类器进行训练；然后以剩余的80个样本作为测试样本对算法当前的分类效果进行验证。两种信息相融合时的识别结果统计如下表2所示。

表2两种信息相融合时的识别率

第三，单独以某一位被试者的所有特征作为样本总体，验证两种信息相融合时算法对当前被试者的分类效果，并验证其平均识别率。

首先，随机选取当前被试者5个正常状态下的样本和5个疲劳状态下的样本，组成10*6的特征矩阵，并以此为输入对分类器进行训练；然后以剩余的10个样本作为测试样本对算法当前的分类效果进行验证。对每一位被试者的样本执行该操作，并对最终的平均识别效果进行验证，得到的识别结果统计如下表3所示。

表3单独一位被试者的识别率及其平均识别率

分类对象	测试样本(个)	正确结果数目	错误结果数目	识别率(％)
					被试者1	10	9	1	90
被试者2	10	9	1	90
					被试者3	10	8	2	80
被试者4	10	10	0	100
					被试者5	10	9	1	90
被试者6	10	7	3	70
					被试者7	10	9	1	90
被试者8	10	10	0	100
					平均	-	-	-	88.75

对比表1和表2的数据可以看出，两种信息融合时的驾驶疲劳识别率高于单独任何一种信息的识别率；对比表2和表3的数据可以看出，本发明的方法针对某一位被试者进行疲劳驾驶识别时，可以具有更好的识别效果。

由于本实验所采集的样本空间有限，当以某一位被试者的特征作为分类对象时，训练样本和测试样本数目仅有10个，因而影响识别率，若能进一步增加样本空间，加大训练力度和测试力度，将会取得更好的识别效果。

Claims (1)

1.一种疲劳驾驶检测方法，其特征在于，包括以下步骤：

S1：人脸视频图像采集，每隔一段时间▽t拍摄一副图像；对采集到的视频图像分析，提取PERCLOS(Percent Eye Closure,眼睛闭合时间占特定时间的百分率)、眨眼频率和平均闭合时间三种眼动特征，具体包括以下步骤：

S1-1：将采集到的视频图像进行背景去除操作，将图像纵坐标范围在1-219和421-640的像素点作为背景去除掉；

S1-2：首先对步骤S1-1处理后的图像进行水平积分投影，得到水平投影曲线，对该曲线进行平滑处理，并记录曲线最低点所对应的纵坐标，记作y,该值即为图像中眼睛位置的纵坐标，将图像中纵坐标范围在y-20至y+20之间的图像部分单独提取出来；对上述提取出来的图像进行垂直投影，得到垂直投影曲线，对该曲线进行平滑处理，并记录曲线最小值对应的横坐标，记作x，该值即为图像中眼睛位置的横坐标，将图像中横坐标范围在x-40至x+40之间的图像部分提取出来；得到眼睛的一个点坐标(x,y)和一副尺寸为40*80的有效信息图像；

S1-3：对步骤S1-2所得的图像进行直方图均衡化处理；

S1-4：对步骤S1-3所得图像进行分割，首先，构造一个320*3的矩阵O，将图像中的每个像素点按照从左到右，从上到下的顺序进行遍历，并以此点的横坐标、纵坐标和灰度值分别作为矩阵O每一行三个元素的值，将O的每一行作为一个样本点，即实现了图像的数学建模；然后，设置核函数和容许误差，分别以每个样本点作为初始点运行mean-shift算法直至收敛；最后，选择图像中灰度值最小的像素点作为图像的特征点S，以S的收敛点为圆心，以5为半径限定一个球域，将所有收敛至此球域的样本点提取出来，即实现了人眼的分割；

S1-5：从分割后的人眼图像得到眼睛高度db和宽度da，计算眼睛开度dr，计算公式为将dr归一化为[0，1]的范围内，并以时间t为x轴，以归一化的dr为y轴,在平面坐标系中作出dr随t变化的离散点图，根据dr和t之间的对应关系，即可计算的出PERCLOS、眨眼频率和平均闭合时间三个特征值的大小；

PERCLOS值的计算，计算公式如下：

其中，f为眼睛闭合时间占设定时间段的百分率；t₁为眼睛睁开程度减小到80％的时刻；t₂为眼睛睁开程度减小到20％的时刻；t₃为眼睛再次睁开到20％的时刻；t₄眼睛再次睁开到80％的时刻；

眨眼频率的计算方法为，在单位时间内眼睛闭合的次数；

平均闭合时间的计算方法为，单位时间内眼睛处于闭合状态所占的时间长度；

S2：与步骤S1同时，人体脉搏信息采集，对脉搏信号信息分析，提取人体脉搏信息中的主波间期均值、主波间期标准差和高低频功率比三个脉搏特征，具体包括以下步骤：

S2-1:选用基于Stein无偏似然估计分层阈值的方法对脉搏信息进行去噪处理；

S2-2：选择正交小波Coiflet作为小波基，对脉搏信息进行三层小波分解；单独提取分解后的第三层高频系数，并以此重构第三层高频信号；在第三层高频系数中，采用自适应阈值法，检测每个周期范围内的最大值点；以此最大值点为基准点，并将其对应到原始信号中；在原始信号中，前后各取100个点作为搜索范围检测该范围内原始信号的最大值点，该点即为脉搏的主波波峰位置；

S2-3：计算主波间期均值、主波间期标准差和高低频功率比特征，具体计算方法为，取一段脉搏信号，采用步骤S2-2方法检测出各主波的波峰，求出两个相邻主波之间时间差，记作x_i，i＝1,2,3...，则x_i的均值即为主波间期均值，x_i的标准差即为主波间期标准差；将脉搏信号通过FFT变换至频率域，分别计算其在高频0.15-0.4Hz与低频0.04-0.15Hz分量的功率HF和LF，两者相除即可得到脉搏的高低频功率比；

S3:通过对眼动特征和脉搏特征的融合，采用极限学习机作为分类器，将疲劳和正常状态下两类不同数据分开，对驾驶员当前是否处于疲劳状态进行识别，具体包括以下步骤：

S3-1：假设当前的训练样本中共有m个正常样本和m个疲劳样本，根据步骤S1和S2中的方法，分别提取每一个样本的眼动疲劳特征和脉搏疲劳特征；

S3-2：将所有特征数据进行归一化和无量纲化处理；

S3-3：设定ELM训练时所需的参数，如下表所示，

S3-4：以m个样本对ELM进行训练，确定输出权值；

S3-5：以训练后的ELM作为分类器，对测试样本进行识别，输出为1时判定为疲劳，输出为0时判定为正常。