CN106407922A - 一种基于在线字典学习形变模型的疲劳状态识别方法 - Google Patents

Abstract

本发明涉及计算机视觉与模式识别领域，尤其涉及一种基于在线字典学习形变模型的疲劳状态识别方法。本发明包括：(1)建立疲劳人脸形变模型，以训练样本集整体的疲劳面部特征作为输入；(2)建立在线字典学习形变模型，将在线字典学习算法引入到人脸形变模型中，构建训练样本集的过完备基函数矩阵，进而将待测样本表示为过完备基函数矩阵的线性组合，即在线字典学习形变模型。在线字典学习形变模型充分考虑驾驶者疲劳时面部特征维数和识别时系统运算量等问题，最大程度提高实际环境下疲劳状态的识别率。

Description

一种基于在线字典学习形变模型的疲劳状态识别方法

技术领域

本发明涉及计算机视觉与模式识别领域，尤其涉及一种基于在线字典学习形变模型的疲劳状态识别方法。

背景技术

在汽车驾驶过程中，疲劳驾驶是引发交通事故的重要原因之一，已经成为当前社会不可忽视的一个重大问题。据社科院调查显示，近几年因交通事故造成的死亡人数高达7万多人，其中由于疲劳驾驶造成的死亡人数占总死亡人数的65％。因此，研究驾驶员在行车过程中的疲劳状态识别方法对预防交通事故的发生有着重大的意义。

疲劳驾驶是指驾驶员在长时间的行车过程中，由于驾驶动作的反复连续，使其生理上、心理上发生某种变化，出现驾驶机能下降的现象。现阶段，驾驶员疲劳状态的识别方法主要有五类：基于生理信息的识别方法，基于行车参数的识别方法，基于操控行为的识别方法，基于计算机视觉的识别方法和融合多源信息的识别方法。基于生理信息的识别方法本质上是通过脑电图信号、眼电图信号和心电图信号等各项生理性能指标来判断驾驶员的疲劳状态等级。这种识别方法可以实时、准确地对疲劳状态进行识别，但是监控设备复杂，成本高，而且与驾驶员直接的接触，不太适合扩展应用。基于行车参数的识别方法是通过实时监测车速、运动轨迹、横向位移等分析驾驶员所处的疲劳状态。此类方法虽然得到许多研究者的关注，但需要在特定环境和特殊道路的条件下进行，由于行车过程中路面情况的复杂、气象的变化和车辆类型的不同等外界因素的干扰，往往很难保证其可靠性。基于操控行为的识别方法主要是通过检测驾驶者在疲劳发生时的一些行为表现来识别疲劳的程度，如方向盘运动情况监测、转向角信号监测等。这种方法虽然对驾驶者不具有侵犯性，且具有很好地应用前景，但是算法复杂，易受环境因素的影响，抗干扰能力差，识别率较低。基于计算机视觉的识别方法是通过直接对驾驶者的面部疲劳特征进行识别实现的，主要有PERCLOS值检测、眨眼频率检测、视线方向检测等。该方法是目前最流行的识别方法，具有非接触的优点，可以进行实时地分类识别，但由于识别标准都是人为规定的，没有考虑个体的差异性，因此得到的识别效果并不是很理想。融合多源信息的识别方法是指融合驾驶疲劳时的各类信息，根据其可靠性和影响大小给出合理的综合疲劳度量标准。该类方法受限于实验条件，现阶段研究较少，识别效果不一定优于单一信息。

本发明基于计算机视觉，不仅考虑特征维数对疲劳状态的识别效果，而且考虑时间段对识别结果的影响。利用在线字典学习算法来改进形变模型，并引入时间窗。本发明在经典形变模型识别分类方法的基础上设计了一种基于在线字典学习形变模型的疲劳状态识别方法，并对比分析了它们对疲劳状态的识别效果，节省了整体算法的运行时间。

发明内容

本发明的目的在于提供一种基于在线字典学习形变模型的疲劳状态识别方法，本方法实现了形变模型的优化利用，使其满足实际驾驶环境所需，同时考虑时间段对识别结果的影响。这样不仅可以缩短系统的识别运行时间，而且可以提高疲劳状态的识别率，提高实际环境下的应用效率。

本发明的目的是这样实现的：

(1)建立疲劳人脸形变模型，以训练样本集整体的疲劳面部特征作为输入；

(2)建立在线字典学习形变模型，将在线字典学习算法引入到人脸形变模型中，构建训练样本集的过完备基函数矩阵，进而将待测样本表示为过完备基函数矩阵的线性组合，即在线字典学习形变模型；

(3)利用在线字典学习形变模型对疲劳状态进行识别，根据原图像与重构图像的误差进行疲劳状态识别。在识别过程中，原图像和重构图像的误差越小意味着疲劳状态的识别结果越准确，因此要尽量减少二者的误差，并使其达到最小，否则重复执行步骤(3)；

(4)基于时间窗进行疲劳状态识别。针对不同时间段的时间窗内的图像帧进行识别，将该时间窗中出现最多的识别结果作为该时间窗的疲劳状态结果。

本发明的有益效果在于：

(1)在线字典学习形变模型充分考虑驾驶者疲劳时面部特征维数和识别时系统运算量等问题，最大程度提高实际环境下疲劳状态的识别率。

(2)考虑疲劳状态与时间段有关，设计整个识别过程在不同时间段的时间窗下进行，进一步提高识别的准确率。

本发明包括如下步骤：

(1)建立疲劳人脸形变模型，以训练样本集整体的疲劳面部特征作为输入。

(2)建立在线字典学习形变模型。将在线字典学习算法引入到人脸形变模型中，构建训练样本集的过完备基函数矩阵，进而将待测样本表示为过完备基函数矩阵的线性组合，即在线字典学习形变模型。

(3)利用在线字典学习形变模型对疲劳状态进行识别。根据原图像与重构图像的误差进行疲劳状态识别。在识别过程中，原图像和重构图像的误差越小意味着疲劳状态的识别结果越准确，因此要尽量减少二者的误差，并使其达到最小，否则重复执行步骤(3)。

(4)基于时间窗进行疲劳状态识别。针对不同时间段的时间窗内的图像帧进行识别，将该时间窗中出现最多的识别结果作为该时间窗的疲劳状态结果。

附图说明

图1基于在线字典学习形变模型的时间窗疲劳状态识别流程图；

图2基于视频段的时间窗选取；

图3针对单帧图像，A数据库中不同分类识别算法的识别率；

图4针对单帧图像，B数据库中不同分类识别算法的识别率；

图5不同算法在时间窗内的平均识别率。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

基于在线字典学习形变模型的疲劳状态识别方法设计，包括在线建立在线字典学习形变模型和基于时间窗进行疲劳状态识别两个环节。其特点是：针对疲劳预警系统中的疲劳状态识别，将在线字典学习算法引入到形变模型中，采用基函数矩阵代替训练样本整体对待测样本进行线性组合表示，即在线字典学习形变模型；为使识别结果更接近实际值、更加准确，在识别过程中加入时间窗的概念。

本发明提出的一种基于在线字典学习形变模型的疲劳状态识别方法具体包括以下几个步骤。

步骤一：建立人脸形变模型，以训练样本集整体的疲劳面部特征作为输入。

首先根据行车过程中可能出现的疲劳状态将训练样本分为清醒状态、轻度疲劳状态、中度疲劳状态和重度疲劳状态四类。将训练样本中每个样本图像看作是一个由疲劳特征构成的列向量，整个训练样本可表示为：

式中，m为样本大小；n为训练样本总数；n_i为第i类训练样本的数量；为第i类训练样本的第n_i个样本的特征向量，其中i＝1,2,3,4，则第i类的训练样本可以表示为其中n＝n₁+n₂+…+n₄。

设y为某一待测样本，疲劳人脸形变模型可表示为：

式中， 表示第i类训练样本中第j个样本的稀疏系数；

表示保留线性组合中第i类的相关系数，其他类的系数为0。

步骤二：建立在线字典学习模型。

针对传统形变模型采用所有训练样本来对待测样本进行线性组合描述造成的特征维数大、计算复杂等问题，根据线性知识，采用在线字典学习算法提取出能有效表达训练样本全体的过完备基函数矩阵，将待测样本用基函数矩阵的线性组合表示出来，即在线字典学习形变模型，在一定程度可以降低特征维数和算法的运算量，提高算法的识别率。

采用在线字典学习算法提取过完备基函数矩阵的过程如图1所示，首先从步骤一中的整体训练样本F中随机选取一定数量的训练样本，获取其特征向量，通过K-means聚类获取初始并对其进行初始化；定义矩阵A＝[a¹,…,a^K]∈R^K×K和B＝[b¹,…,b^K]∈R^m×K并初始化A₀＝0，B₀＝0；设置λ和T。其次采用在线字典学习算法迭代更新基函数矩阵随机选取训练样本集n_t为样本x_t的数量，在基础上求解即接着根据更新矩阵A、B、

式(4)中，为中第j列原子。

最后判断迭代次数t＝T是否成立，成立则获得最终过完备基函数矩阵否则继续迭代更新。

将式(2)中的训练样本整体F用ODL算法提取到的基函数矩阵代替，则在线字典学习形变模型可表示为：

式中，y为待测样本；为完备基函数矩阵；为稀疏系数；K(K≤n)为基函数矩阵大小。

比较F和的维数可得知，采用ODL算法改进后的形变模型可以实现用较少维数的特征向量表征整个训练样本，从而实现用较少的稀疏系数对待测样本进行表示，一定程度上可以降低计算的复杂度，提高疲劳状态的识别率。

步骤三：利用在线字典学习形变模型对疲劳状态进行识别。

如图1所示，采用在线字典学习形变模型对单帧图像进行分类识别首先要通过求解线性方程组获取疲劳状态相关的最优稀疏系数解，即求解l₁-minmization问题，如下所示：

考虑实际情况下，由于环境干扰、面部遮挡与建模误差等因素，并不能保证y只被中同类别的数据表示。因此，通过求取到的结合对图像进行重构，重构图像可表示为：

式中，为重构图像的稀疏系数。

则误差判别式如下表示：

式中，r_i(y)为两图像误差。定义最小误差ε＞0，则r_i(y)＜ε，否则去掉r_i(y)中非最小对应的稀疏系数，重新获取重构图像进行误差计算识别。

步骤四：基于时间窗进行疲劳状态识别。

由于疲劳驾驶是指某一段时间内驾驶员面部出现疲劳特征，一帧图像的识别往往不能准确判断驾驶员是否真正处于疲劳状态。因此引入时间窗，根据驾驶员所处的不同阶段(清醒阶段和疲劳阶段)选取不同的时间窗t_k(k＝1,2分别表示疲劳阶段和清醒阶段)，如图2所示。为了避免每次提取到的图像都是闭眼图像，根据不同的阶段选取不同的时间间隔t^k(t¹＝2s，t²＝1.2s)，其中表示人每次眨眼的时间间隔；以间隔时间t^k从时间窗中获取r帧图像作为待测样本，这里r＝8。

如图1所示，对时间窗内每帧图像进行识别，并统计各状态出现的次数，当8帧图像全部识别完毕，则根据式(9)输出该时间窗内的疲劳状态结果，否则继续识别下一帧。

A＝max<f(0),f(1),f(2),f(3)>；f(0)+f(1)+f(2)+f(3)＝r (9)

式中，状态出现的次数f(i)为第i类疲劳状态出现的次数，其中i＝0,1,2,3分别代表清醒状态、轻度疲劳状态、中度疲劳状态、重度疲劳状态。

考虑到实际驾驶环境中驾驶员的疲劳状态与不同时间段有关，采用基于时间窗的方法可以进一步提高系统的运行效率和疲劳状态的识别率。

步骤六：实例仿真

为验证本发明的识别效果，采用红外摄像机CCD采集不同时间段内包含四种疲劳状态的驾驶员人脸图像作为实验数据库。将实验数据库分为清醒阶段的数据库(A数据库)和疲劳阶段的数据库(B数据库)。两数据库均包含10名测试者，每人6个视频段，共480张人脸图像。

本发明中选用具有旋转不变性和光照鲁棒性的LBP特征表征疲劳时人脸变形部位特征，如眼睛、眉毛和嘴巴等部位的纹理特征。采用MATLAB编写形变模型识别方法(LBP+DM)和在线字典学习形变模型识别方法(LBP+ODL)整体程序，在数据库A和数据库B上进行仿真实验，并与传统识别方法LBP+SVM进行比较，对比基于时间窗和单个帧图像的识别效果。

首先采用三种算法在A数据库和B数据库中进行实验，其中两个数据库均随机选取一半图像作为训练样本，一半作为测试样本，不同疲劳状态的识别率如图4和图5所示。加入时间窗后，选取A数据库和B数据库中的30个视频段240张图像作为训练样本，剩余30个视频段240张图像作为测试集，采用三种算法对30个测试集进行疲劳状态识别，则不同算法下的平均识别率如图5所示。

由图4和图5可以看出，三种算法对疲劳状态的平均识别率都很高。比较三种识别算法的平均识别率，LBP+ODM算法最高，LBP+DM算法次之，最后是LBP+SVM算法。通过对比图4和图5，图4中的疲劳状态识别率明显高于图5，即清醒阶段的疲劳状态识别结果优于疲劳阶段。分析三种算法对两个数据库的平均识别率，相比于A数据库，LBP+SVM、LBP+DM和LBP+ODM算法在B中平均识别率分别降低了3.96％、，1.59％和0.32％。比较三种算法的运行时间，LBP+ODM最短，LBP+DM次之，LBP+SVM最长，但都满足实际需求。实验结果表明，改进后算法对不同时间段的疲劳状态都能达到很高的识别率。

由图5知，基于时间窗的方法，LBP+SVM、LBP+DM和LBP+ODM三种算法在数据库A上的平均识别率分别为88.43％、92.64％和96.08％，在B数据库中的平均识别率分别为84.5％、91.33％和95.11％。与图3和图4的实验结果相比，基于时间窗的方法平均识别率明显有所提高。由此可见，基于时间窗的识别系统在实际行车环境中更具有使用价值。

Claims (1)

1.一种基于在线字典学习形变模型的疲劳状态识别方法，其特征在于,包括如下步骤：

(1)建立疲劳人脸形变模型，以训练样本集整体的疲劳面部特征作为输入；

(2)建立在线字典学习形变模型，将在线字典学习算法引入到人脸形变模型中，构建训练样本集的过完备基函数矩阵，进而将待测样本表示为过完备基函数矩阵的线性组合，即在线字典学习形变模型；

(3)利用在线字典学习形变模型对疲劳状态进行识别，根据原图像与重构图像的误差进行疲劳状态识别。在识别过程中，原图像和重构图像的误差越小意味着疲劳状态的识别结果越准确，因此要尽量减少二者的误差，并使其达到最小，否则重复执行步骤(3)；

(4)基于时间窗进行疲劳状态识别。针对不同时间段的时间窗内的图像帧进行识别，将该时间窗中出现最多的识别结果作为该时间窗的疲劳状态结果。