CN108664947A

CN108664947A - 一种基于表情识别的疲劳驾驶预警方法

Info

Publication number: CN108664947A
Application number: CN201810488076.1A
Authority: CN
Inventors: 应自炉; 龙祥; 甄俊杰; 赵毅鸿
Original assignee: Wuyi University
Current assignee: Wuyi University
Priority date: 2018-05-21
Filing date: 2018-05-21
Publication date: 2018-10-16

Abstract

本发明涉及计算机视觉技术领域，具体公开一种基于表情识别的疲劳驾驶预警方法，包括以下步骤，S1、获取图像：S2、人脸识别分割：S3、表情识别：S4、预输出识别结果：根据上一步骤的表情识别结果，输出初步识别结果；S5、判断是否符合要求：若不符合要求，则再次执行步骤S1‑S4；若符合要求，则执行步骤S6；S6、输出识别结果。本发明利用大数据训练出一个疲劳表情识别网络模型，将实时采集的驾驶员面部表情输入至模型中，识别分割出人脸图像区域，并进行表情分析，最后判断驾驶员是否处于疲劳驾驶状态，有效解决了现有技术中驾驶员疲劳驾驶检测不准确的缺陷，提高了驾驶员疲劳驾驶检测的精确度，从而达到有效提醒预防驾驶员疲劳驾驶的目的。

Description

一种基于表情识别的疲劳驾驶预警方法

技术领域

本发明涉及计算机视觉技术领域，更具体地说，涉及一种基于表情识别的疲劳驾驶预警方法。

背景技术

疲劳驾驶是导致交通事故的重要因素之一。疲劳驾驶预警系统可以在驾驶员处于疲劳状态时，及时提醒驾驶员。这对预防因疲劳驾驶而产生的交通事故的发生和避免因事故发生而造成的巨大费用损失有着重要的作用。

目前公开的驾驶员疲劳检测方法有一下两种。一、采集驾驶员的心率信息和脑电信息，然后进行综合分析。但是检测仪器会给驾驶员带来极大的不便，另外，各种检测仪器价格也会给驾驶员带来较大的经济负担，所以可行性不高。二、在方向盘上安装压力传感器，实时采集驾驶员对方向盘的握力。当驾驶员处于疲惫状态时，握力有可能会变小，从而得到驾驶员处于疲惫状态。但是，不同的驾驶员都有各自的驾驶习惯，比较难统一数据标准，所以得到的检测结果就存在不确定性。

发明内容

有鉴于此，本发明提供了一种基于表情识别的疲劳驾驶预警方法，解决现有技术中驾驶员疲劳驾驶检测不准确的缺陷。

一种基于表情识别的疲劳驾驶预警方法，包括以下步骤：

S1、获取图像：通过固定在车身驾驶位前方的若干个摄像头拍摄获取图像信息，并将图像信息进行下一步处理；优选地，在步骤S1中，摄像头的数量至少为3个，且按照三维格局呈等边三角形方式布置成立体全景监控摄像头固定在正对于主驾驶位前的车架上。

S2、人脸识别分割：对图像信息进行人脸识别，并将识别后的图像进行人脸区域分割，提取出人脸区域信息进行下一步处理；优选地，该步骤S2具体为：S21、运用第一算法，对步骤S1中获取的图像信息进行人脸检测；S22、判断是否存在人脸；若不存在人脸，则执行步骤S21；若存在人脸，则执行步骤S23；S23、运用第二算法，对步骤S1中获取的图像信息进行人脸定位；S24、运用第三算法，对步骤S1中获取的图像信息进行人脸截取。

S3、表情识别：对人脸区域信息输出到卷积神经网络中进行表情识别处理，判断出当前用户的驾驶表情状态；优选地，该步骤S3具体为：S31、预设图像识别数据I以及实际图像数量i＝0；S32、接收获取步骤S2中分割的人脸图像区域；S33、对人脸图像区域进行人脸表情识别；优选地，该步骤S33具体为：S331、接收获取步骤S2中分割的人脸图像区域信息；S332、对人脸图像区域信息进行初次卷积层处理；S333、对人脸图像区域信息进行第一池化层处理；S334、对人脸图像区域信息进行再次卷积层处理；S335、对人脸图像区域信息进行第二池化层处理；S336、对人脸图像区域信息进行Dropout层处理；S337、对人脸图像区域信息进行全连接层处理。S34、实际图像数量i＝i+1；S35、判断i是否大于I；若i不大于I，则返回执行步骤S32-S34；若i大于I，则执行步骤S4。

S4、预输出识别结果：根据上一步骤的表情识别结果，输出初步识别结果；

S5、判断是否符合要求：若不符合要求，则再次执行步骤S1-S4；若符合要求，则执行步骤S6；

S6、输出识别结果。

优选地，该第一算法为harr特征检测算法。

优选地，该第二算法为Adaboost算法。

优选地，该初次卷积层和再次卷积层的传递函数为Relu函数f(x)＝max{0,x}。

优选地，该初次卷积层和再次卷积层的计算方法为：对于尺寸为(M，N)的待卷积图像X，其卷积核W为尺寸为(p，p)，偏置值为b，卷积层计算的输出结果为：

优选地，该第一池化层采用采样核为2的最大池化层，其计算方法为：

y(m,n)＝max{X(2m:2m+2,2n:2n+2)},(0≤m≤M/2,0≤n≤N/2)，其中M,N表示输入第一池化层的图像尺寸，m,n表示输出第一池化层的图像尺寸。

从上述的技术方案可以看出，本发明的有益效果为：

本发明利用摄像头抓拍采集驾驶员图像信息，然后对图像信息进行识别，刷选出人脸图像，并对人脸图像进行区域处理，然后对人脸图像区域进行表情识别，并预输出识别结果，然后驾驶员对预输出识别结果进行确认反馈，最后输出最终的识别结果。本发明利用大数据训练出一个疲劳表情识别网络模型，实时采集驾驶员图像信息，将实时采集的驾驶员面部表情输入至模型中，对驾驶员图像信息进行分析识别分割出人脸图像区域，并对人脸图像区域进行分析表情数据，最后判断驾驶员是否处于疲劳驾驶状态，有效解决了现有技术中驾驶员疲劳驾驶检测不准确的缺陷，提高了驾驶员疲劳驾驶检测的精确度，从而达到有效提醒预防驾驶员疲劳驾驶的目的。

附图说明

图1为本发明实施例提供的一种基于表情识别的疲劳驾驶预警方法的步骤流程图。

图2为人脸识别分割的具体步骤流程图。

图3为表情识别的具体步骤流程图。

图4为人脸表情识别的具体步骤流程图。

图5为人脸识别分割的训练步骤流程图。

图6为人脸识别分割的步骤中识别分割器的工作流程图。

图7为人脸表情识别的结构框图。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所述的附图作简单地介绍，显而易见，下面的描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

具体实施方式

如图1-7所示，本发明实施例提供了一种基于表情识别的疲劳驾驶预警方法，包括以下步骤：

S3、表情识别：对人脸区域信息输出到卷积神经网络中进行表情识别处理，判断出当前用户的驾驶表情状态；优选地，该步骤S3具体为：S31、预设图像识别数据I以及实际图像数量i＝0；S32、接收获取步骤S2中分割的人脸图像区域；S33、对人脸图像区域进行人脸表情识别；优选地，该步骤S33具体为：S331、接收获取步骤S2中分割的人脸图像区域信息；S332、对人脸图像区域信息进行初次卷积层处理；S333、对人脸图像区域信息进行第一池化层处理；S334、对人脸图像区域信息进行再次卷积层处理；S335、对人脸图像区域信息进行第二池化层处理；S336、对人脸图像区域信息进行Dropout层处理；S337、对人脸图像区域信息进行全连接层处理。S34、实际图像数量i＝i+1；S35、判断i是否大于I；若i不大于I，则返回执行步骤S32-S34；若i大于I，则执行步骤S4。S4、预输出识别结果：根据上一步骤的表情识别结果，输出初步识别结果；S5、判断是否符合要求：若不符合要求，则再次执行步骤S1-S4；若符合要求，则执行步骤S6；S6、输出识别结果。

具体地，该第一算法为harr特征检测算法。该第二算法为Adaboost算法。该初次卷积层和再次卷积层的传递函数为Relu函数f(x)＝max{0,x}。该初次卷积层和再次卷积层的计算方法为：对于尺寸为(M，N)的待卷积图像X，其卷积核W为尺寸为(p，p)，偏置值为b，卷积层计算的输出结果为：

该第一池化层采用采样核为2的最大池化层，其计算方法为：

在本实施例中，该方法是基于表情识别的疲劳驾驶预警系统完成；该基于表情识别的疲劳驾驶预警系统包括有人脸检测模块、表情识别模块、在线学习模块。其中，人脸检测模块：该模块包括图像采集、图像预处理、人脸检测、人脸区域的定位及截取。摄像头拍摄图像区域内如果出现人脸，则对人脸进行定位，再将人脸区域截取，将人脸图像Resize处理后传输至表情识别模块。表情识别模块：该模块主要包括一个卷积神经网络模型。神经网络模型对表情识别包括以下两个步骤。一、神经网络的学习过程。在这过程中需要用大量的数据样本对网络模型中的权值参数进行不断的调整，直到网络达到收敛状态。二、用训练好的网络模型进行实时分析。这一步骤需要将采集到的人脸图像传输进训练完成的网络，输出驾驶员是否处于疲劳状态的分析结果。用于训练的数据集有人工标记成三类，分别是不疲劳、轻度疲劳、重度疲劳。驾驶员根据分析结果选择减速行驶或者停车休息。在线学习模块：驾驶员需要根据自身生理状态判断表情识别模块的输出结果对或错。该模块可以根据驾驶员反馈的信息进行在线学习，让系统更快的适应驾驶员的驾驶习惯。在本实施例中，所述人脸检测模块用于执行步骤S1；所述表情识别模块用于执行步骤S2、S3、S4以及S6；所述在线学习模块用于执行步骤S5。所述人脸检测模块、表情识别模块、在线学习模块相互协调控制整个系统的正常运转。本发明提出的一种基于表情识别的疲劳驾驶预警系统不需要大型检测设备，所以具有低成本优点。本系统只需要用摄像头实时采集驾驶员的面部表情，不占用过多的空间，而且能够快速的输出分析结果，所以具有实时性和便捷性优点。在系统中有在线学习模块，随着使用时间的持续，系统可以更好的适应不同驾驶员的驾驶习惯。

更具体的过程为：在摄像头采集的图像中检测人脸，并将人脸所在的区域进行截取。人脸检测算法利用harr特征检测算法识别采集的图像中是否存在人脸。若存在，则对人脸区域进行定位。定位算法采用Adaboost分类器和Cascade级联分类器。完成人脸定位后，将该区域截取，并传输进表情识别模块。用Adaboost算法实现人脸检测分为一下三步。一、肤色区域检测。肤色的差别主要是亮度的差别而不是常见的RGB颜色空间，所以采用的是YCbCr色彩空间，这样可以使得肤色有较好的聚类性。二、人脸候选区域分割。在YCbCr色彩空间中，眼睛与皮肤的Cb和Cr分量有很大的差异，眼睛的灰度值相对较低，Y分量集中分布在(0,120)内，而且眼睛的Cb分量普遍比Cr分量的值高，由此将眼睛的色彩和亮度映射结合起来就能检测出眼睛区域的大小和位置。多数情况下嘴巴的方向和人脸的方向一致，具有很强的稳定性，嘴巴检测的情况类似眼睛的检测，此时Cb比Cr分量的值高很多，也就是说，嘴巴相对眼睛更容易检测到。最后根据人体学特征，根据人脸各部件的大体位置很容易确定人脸候选区域。三、人脸候选区域分类。这一步利用AdaBoost算法，通过对人脸候选区域进行积分图计算，快速计算Harr-like特征，利用AdaBoost算法将Harr-like特征生成的弱分类器叠加成为强分类器，再将多个强分类器级联成人脸检测分类器。

在步骤S3中，首先需要搭建用于表情识别的卷积神经网络模型。卷积神经网络模型按照顺序依次是输入层，初次卷积层，第一池化层，再次卷积层，第二池化层，Dropout层，全连接层以及输出层；其中，所述全连接层包括有第一全连接层和第二全连接层；模型的层与层之间不是全连接，而是局部连接，这样可以有效的减少计算参数，降低网络模型的复杂度，提高训练效率。

本实施例中的卷积神经网络模型的输入图像大小设置为227*227。初次卷积层，卷积核的大小设置为11*11，步长为4，卷积核的数目为96，边缘无填充。再次卷积层，卷积核的大小设置为3*3，步长为2，卷积核的数目为128，边缘填充2。第一池化层，对再次卷积层得到的特征图进行下采样处理，下采样的窗口大小设置为3，步长设置为2。第二池化层，对再次卷积层得到的特征图进行下采样处理，下采样的窗口大小设置为2，步长设置为2。Dropout层：为了使网络有更好的适应性，同时也是为了防止过拟合。第一全连接层，使用512个神经元对经过第二池化层下采样处理后的特征图进行全连接，将特征图转换为一维的特征向量。第二全连接层，适用3个神经元对第一全连接层中512个神经元进行全连接，在将结果输入到Softmax分类器，输出不疲劳、轻度疲劳、重度疲劳三种分类结果。卷积神经网络模型的激活函数采用Relu函数f(x)＝max{0x,。}建立用于训练模型的大数据集。数据集需要人工将其分为三类，分别是不疲劳、轻度疲劳、重度疲劳。轻度疲劳状态下，驾驶员需要减速慢行，找适当的时机休息。重度疲劳状态下，驾驶员应该立刻停车休息。用建立好的大数据集训练搭建的卷积神经网络，使得网络收敛。在实际测试时，将人脸检测模块的输出图像输入至收敛的网络模型，最终可得到疲劳状态的预测结果。在线学习模块是为了系统能够更快更好的适应驾驶员的驾驶习惯。当神经网络的预测结果不符合驾驶员反馈的状态时，该模块会将图片存储到训练数据集，以此达到提高系统准确度的目的。

Adaboost算法的基本原理。该算法是一种监督式迭代学习算法，使用有差别的特征学习大量样本后获取不同的学习结果，也就是分类器。再将各种分类器做级联变成一个强分类器。通过大量正样本和负样本的学习，通过学习的反馈，弱分类器在不知道先验的训练误差的前提下，自适应的调整错误率以及相应的权重，直到强分类器达到预定的性能。

Adaboost算法训练步骤：(1)训练集样本X中有m个样本，样本用y标注，如果为人脸y＝1,否则y＝0。(2)初始化所有样本权重：(3)设置T个弱分类器，迭代的次数为T。第t(t＝1，…T)次循环中，第j个弱分类器的误差和选择e_j值最小的弱分类器h_t(x)，计算弱分类器的权重更新权重若样本i正确分类θ_i＝0，否则等于1。权重归一化(4)级联弱分类器形成强分类器。

Adaboost人脸检测算法的优点：相比于基于肤色的人脸检测算法和基于模板匹配的人脸检测算法，有较高的检测速度和较准确的检测精度。

识别依据：用于训练卷积神经网络的数据集由人工标记为三类：不疲劳、轻度疲劳、重度疲劳。不疲劳状态下的主要特征是人脸的表情呈现放松状态，注意力集中。轻度疲劳状态的主要特征是人脸表情呈现打哈欠状，头部位置略向下倾斜，眼睛呈现半睁半闭状态。重度疲劳状态的主要特征是人脸表情呈现双眼闭合状态。

识别原理：在训练卷积神经网络时，用(1,0,0),(0,1,0),(0,0,1)矩阵分别表示不疲劳、轻度疲劳、重度疲劳。每输入进网络模型一张人为标记的训练图像，都会输出该图像属于某一类的概率。根据模型的输出概率计算模型的损失值，通过大量的数据训练和多次迭代不断更新网络权值参数，使得损失值不断减小，直到小于人为设定的可接受的临界值，网络达到收敛状态，训练停止。模型的初始化完成。在实际应用时，只需要将采集到的人脸图像经过处理后输入至训练完成的模型，就可得到驾驶员是否处于疲劳状态的输出结果。

卷积神经网络公式：其中表示第l层的第j个特征图，f表示激活函数，M是输入特征图的集合，*表示卷积运算，k表示卷积核，b表示偏置项。激活函数采用Relu(修正线性单元)，其基本公式：f(x)＝max{0,x}。该激活函数相比于sigmoid和tanh可以较快的提升卷积神经网络的收敛速度。卷积神经网络使用交叉熵作为损失函数。其计算公式如下：

其中m表示输出类别，在本专利中m＝3。θ表示网络模型中的参数，xⁱ表示输入的样本数据，yⁱ表示类别标号，假设函数softmax分类器。根据神经网络的节点权值的输入，输出该表情属于某一类的概率，可看作是概率分布。其公式：n为类别，n＝3。

为保证模型输出的准确性，模型的输出采用累加的方式进行预警通知。当从摄像头采集的某一帧图像输入至神经网络模型后，输出的结果是驾驶员处于疲劳状态，系统不会立刻发出预警通知。当模型识别多帧表情图像后均输出驾驶员处于疲劳状态，系统才会发出预警通知。

在本实施例中，本方法利用摄像头抓拍采集驾驶员图像信息，然后对图像信息进行识别，刷选出人脸图像，并对人脸图像进行区域处理，然后对人脸图像区域进行表情识别，并预输出识别结果，然后驾驶员对预输出识别结果进行确认反馈，最后输出最终的识别结果。本发明利用大数据训练出一个疲劳表情识别网络模型，实时采集驾驶员图像信息，将实时采集的驾驶员面部表情输入至模型中，对驾驶员图像信息进行分析识别分割出人脸图像区域，并对人脸图像区域进行分析表情数据，最后判断驾驶员是否处于疲劳驾驶状态，有效解决了现有技术中驾驶员疲劳驾驶检测不准确的缺陷，提高了驾驶员疲劳驾驶检测的精确度，从而达到有效提醒预防驾驶员疲劳驾驶的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分相互参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于表情识别的疲劳驾驶预警方法，其特征在于，包括以下步骤：

S1、获取图像：通过固定在车身驾驶位前方的若干个摄像头拍摄获取图像信息，并将图像信息进行下一步处理；

S2、人脸识别分割：对图像信息进行人脸识别，并将识别后的图像进行人脸区域分割，提取出人脸区域信息进行下一步处理；

S3、表情识别：对人脸区域信息输出到卷积神经网络中进行表情识别处理，判断出当前用户的驾驶表情状态；

S6、输出识别结果。

2.如权利要求1所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，在步骤S1中，摄像头的数量至少为3个，且按照三维格局呈等边三角形方式布置成立体全景监控摄像头固定在正对于主驾驶位前的车架上。

3.如权利要求1所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述步骤S2具体为：

S21、运用第一算法，对步骤S1中获取的图像信息进行人脸检测；

S22、判断是否存在人脸；若不存在人脸，则执行步骤S21；若存在人脸，则执行步骤S23；

S23、运用第二算法，对步骤S1中获取的图像信息进行人脸定位；

S24、运用第三算法，对步骤S1中获取的图像信息进行人脸截取。

4.如权利要求3所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述第一算法为harr特征检测算法。

5.如权利要求3所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述第二算法为Adaboost算法。

6.如权利要求1所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述步骤S3具体为：

S31、预设图像识别数据I以及实际图像数量i＝0；

S32、接收获取步骤S2中分割的人脸图像区域；

S33、对人脸图像区域进行人脸表情识别；

S34、实际图像数量i＝i+1；

S35、判断i是否大于I；若i不大于I，则返回执行步骤S32-S34；若i大于I，则执行步骤S4。

7.如权利要求6所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述步骤S33具体为：

S331、接收获取步骤S2中分割的人脸图像区域信息；

S332、对人脸图像区域信息进行初次卷积层处理；

S333、对人脸图像区域信息进行第一池化层处理；

S334、对人脸图像区域信息进行再次卷积层处理；

S335、对人脸图像区域信息进行第二池化层处理；

S336、对人脸图像区域信息进行Dropout层处理；

S337、对人脸图像区域信息进行全连接层处理。

8.如权利要求7所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述初次卷积层和再次卷积层的传递函数为Relu函数f(x)＝max{0,x}。

9.如权利要求8所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述初次卷积层和再次卷积层的计算方法为：对于尺寸为(M，N)的待卷积图像X，其卷积核W为尺寸为(p，p)，偏置值为b，卷积层计算的输出结果为：

10.如权利要求7所述的一种基于表情识别的疲劳驾驶预警方法，其特征在于，所述第一池化层采用采样核为2的最大池化层，其计算方法为：

y(m,n)＝max{X(2m:2m+2,2n:2n+2)},(0≤m≤M/2,0≤n≤N/2)。