CN110287759A

CN110287759A - 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法

Info

Publication number: CN110287759A
Application number: CN201910229277.4A
Authority: CN
Inventors: 张小波; 范俊宏
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2019-09-27
Anticipated expiration: 2039-03-25
Also published as: CN110287759B

Abstract

本发明涉及疲劳检测技术领域，具体涉及一种基于简化输入卷积神经网络O‑CNN的眼部疲劳检测方法，本发明首先，借助图像分类中成熟的人脸识别与人眼识别技术提取多帧眼部图像，利用基于OTSU的改进算法对图像进行统一预处理，获得简化后的训练网络输入；然后，通过卷积神经网络完成对其进行学习分类，获得最佳分类模型；经过实验对比，发现此模式下的眼部状态判定较传统模式具有更高的效率，同时能保持极高的准确率和时效性。

Description

一种基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法

技术领域

本发明涉及疲劳检测技术领域，具体涉及一种基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法。

背景技术

近年来，由于失眠疲劳，作业疲劳，单一疲劳造成极其严重后果的案例越来越多，亟待解决。

在很久前就有相关的解决方案提出，其主要可分为接触式疲劳检测和非接触式疲劳检测两种。接触式疲劳检测主要通过检测脑电，心电，肌电等指标对疲劳进行判断，其检测设备通常比较庞大，不易于携带，使用成本高，容易对被检测者产生干扰。非接触式疲劳检测主要通过摄像头记录图像，对图像进行数字化处理，并提取相应的特征，进行系统建模对疲劳进行判断。由于在多数应用场景下后者相对前者优势明显，所以非接触疲劳检测所逐渐成为主流的研究方向。在此领域种出现了很多有前瞻性的理论成果,但由于实际运用中却容易受到外界因素干扰，特征的提取困难，检测样本数据量过少，机器处理数据能力不强，导致实际疲劳检测的准确率不高。在上世纪九十年代到本世纪初，疲劳检测研究处于理论成果颇丰，实际应用停滞不前的阶段，未能有突破性研究成果出现，更不谈商业化的应用。

近年来，伴随着大数据、算法、机器算力的飞速发展，人工智能正在迅猛崛起。海量数据存取，专供人工智能领域的专业GPU的出现配套越来越完善高效的算法研究，使得机器学习在图像分类应用中焕发了巨大潜力，并且出现了大量有实际意义的研究成果，尝试借助图像识别技术解决“疲劳检测”难题重新回到许多国内外研究者的视线当中。

眼部状态作为疲劳与否的最直接反映，在疲劳检测中可作为重要指标。本文借助图像分类中成熟的人脸识别与人眼识别技术提取多帧眼部图像，利用基于OTSU自适应图像阈值分割算法的改进算法对图像进行批量统一预处理，获得简化后的卷积神经网络的输入；然后，通过自主设计的卷积神经网络完成对大批量数据进行学习分类，获得最佳分类模型通过实验，并将此方法成功实际运用并保有较高的准确性。

发明内容

针对现有技术的不足，本发明公开了一种基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，用于解决机器学习在图像识别应用过程中对机器算力要求过高，学习周期过长、识别效率不高等问题。

本发明通过以下技术方案予以实现：

一种基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述方法包括以下步骤：

S1使用图像分类中成熟的人脸识别与人眼识别技术提取多帧眼部图像；

S2利用OTSU自适应图像分割算法对图像进行统一预处理；

S3将得简化后的训练网络输入；

S4通过卷积神经网络完成对其进行学习分类，获得最佳分类模型。

优选的，所述OTSU算法具体为，假设图像的像素点总个数是N，灰度值为i的像素的个数为ni

若以像素级别T为阈值进行图片前景和后景分割，定义θ(t)为总方差。

θ(t)＝P_a(w_a-w₀)²+P_b(w_b-w₀)²

其中Pa表示前景像素点所占的比例；wa表示前景图像的灰度平均值；w0表示整体图像的灰度平均值；pb表示后景像素点所占的比例； wb表示后景图像的灰度平均值；当像素级别t从区间[T₀，T_max]历遍时所得θ(t)最小时，T即为最佳的分割阈值：

即

T＝t|_θ(t)mint∈[T₀，T_max]。

优选的，所述S4中，简化输入的卷积神经网络包括滑动窗口卷积、批量正则化、线性修正、最大池化和全连接操作。

优选的，所述滑动窗口卷积对输入图像中局部区域进行顺序选择，使用同一卷积核与之进行线性操作，由此获得多张输出图像，其计算过程如下：

其中R_i，j，c表示输入图像；Q_w′，h′表示输出图像；f_{w′，h′，c′} 表示卷积核大小；(S_w，S_h)表示窗口移动距离；

表示各个上的零填充数量。

优选的，其特征在于，所述批量正则化操作中通过对神经网络隐藏层的输出作归一化处理,防止反向传播过程中发生梯度弥散,使神经网络在运算时能够快速收敛。数学描述如下：

其中R_{w，h，c，d}表示输入图像；Q_{w，h，c，d}表示输出图像；w_c、b_c表示线性变换系数；μ_C、为均值和方差。

优选的，所述线性修正采用一个非线性函数作为网络中的激活函数，帮助网络理解和学习更加复杂的数据。

Q_whc＝max{0|R_w，h，c}

其中R_w，h，c表示输入图像；Q_w，h，c表示输出图像。

优选的，最大池化过程采用滑动窗口分割图像,将每个滑窗内取最大值作为该窗口内所有元素的值输出

其中Q_w-，h-，c表示输出值；

窗口的大小由参数W′、H′、C三个参数决定，每次移动一个窗口的距离。

优选的，全连接操作对输入图像的所有数据进行加权求和的线性运算,其实现方式可通过卷积操作的方式来实现.只需将滑动窗口卷积中的卷积核大小修改为最大值即可。

本发明的有益效果为：

本发明借助OTSU的改进算法对图像进行统一预处理，获得简化后的卷积神经网络的输入，通过卷积神经网络训练完成对其进行学习分类，获得最佳分类模型；实验结果说明了简化输入后的卷积神经网络能够在有限较少次迭代过程中获得收敛，并且拥有很高的识别性能，这种操作能够降低学习系统对训练机器算力的要求，也能带来更高的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明的整体流程示意图；

图2是本发明实施例利用OTSU自适应阈值分割算法可获得输出图；

图3是本发明实施例网络训练时目标参数loss结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例公开了如图1所示的一种基于简化输入卷积神经网络 O-CNN的眼部疲劳检测方法，所述方法包括以下步骤：

S2利用OTSU自适应图像分割算法对图像进行统一预处理；

S3将得简化后的训练网络输入；

所述OTSU算法具体为，假设图像的像素点总个数是N，灰度值为 i的像素的个数为ni

θ(t)＝P_a(w_a-w₀)²+P_b(w_b-w₀)²

即

T＝t|_θ(t)mint∈[T₀，T_max]。

所述S4中，简化输入的卷积神经网络包括滑动窗口卷积、批量正则化、线性修正、最大池化和全连接操作。

所述滑动窗口卷积对输入图像中局部区域进行顺序选择，使用同一卷积核与之进行线性操作，由此获得多张输出图像，其计算过程如下：

表示各个上的零填充数量。

其特征在于，所述批量正则化操作中通过对神经网络隐藏层的输出作归一化处理,防止反向传播过程中发生梯度弥散,使神经网络在运算时能够快速收敛。数学描述如下：

所述线性修正采用一个非线性函数作为网络中的激活函数，帮助网络理解和学习更加复杂的数据。

Q_whc＝max{0|R_w，h，c}

其中R_w，h，c表示输入图像；Q_w，h，c表示输出图像。

最大池化过程采用滑动窗口分割图像,将每个滑窗内取最大值作为该窗口内所有元素的值输出

其中Q_w-，h-，c表示输出值；

全连接操作对输入图像的所有数据进行加权求和的线性运算,其实现方式可通过卷积操作的方式来实现.只需将滑动窗口卷积中的卷积核大小修改为最大值即可。

实施例2

本实施例中，卷积神经网络是一种多层网络结构学习算法，其思想是模拟人脑神经元对外界信息的提取，处理及传递过程从而实现对图像进行特征检测提取。一般由输入层、卷积层、池化层、全连接层和输出层组成。由于卷积神经网络的局部感受及权重共享等特点，其网络结构较为简单，在提取过程中更为高效，因此被广泛运用于模式识别、图像处理域。卷积层中局部感受域与上一输入层中神经元作部分连接，从而实现神经元与图像中的信息编码相关联，迫使神经元提取相应并且与前一层的中的神经元之间相关联，即权值共享，使得网络中的参数减少，复杂度降低。卷积层在CNN特征提取的过程中起着至关重要的作用。的局部特征，同时网络中的不同层中分布着许许多多的神经元，神经元的输入权值不同

池化层也叫特征映射层，首先选定池化区域，然后取特征的最大值或平均值作为池化区域的特征，从而减少特征向量维度，实现特征图中局部平均和抽样，降低了特征映射输出对平移、旋转、比例缩放等形式变换的敏感度。池化层通常跟在卷积层之后，这样便构成了一个两次特征提取的结构，经过池化后的网络具有很好的畸变容忍能力。

全连接层是本层神经元与上层神经元两两连接但本层神经元之间不连接的结构，相当于多层感知器中的隐含层，局部特征信息作为输出层的输入，其后不再接卷积层，因通过全连接层之后，图像特征已由二维信息降为一维信息，已无法进行二维卷积运算。

本实施例提出了一种简化输入图像的卷积神经网络分类算法，用于连续状态下眼部状态的判定。基于OTSU自适应阈值分割算法获取输入图像，以及相应卷积神经网络训练分类模型，最终建立连续状态下的检测模型。

一幅经过降维去噪的眼部图像可看做是一个二维矩阵，矩阵中的每个点代表了图像中对应点的像素，像素的深浅由其灰度级决定，通过简化，我们把图像中每个点的像素值转为[0,255]范围内。

即

和

T＝t|θ(T)_mint∈[T₀，T_max]t∈[T0，Tmax]

根据上式可以将图像进行分割

经过阈值分割之后的图像中有效信息得到保留，去除了背景和噪音，能实现简化输入的效果；

为了避免简化后的图像的边缘、局部错误信息对后续操作产生影响，我们需要对此时的图像作一定的模糊处理，包括散点腐蚀，边缘腐蚀等操作，在保证输入信息准确性的前提下，使输入图像差异化更加明显。

实验配置：

硬件配置：英特尔i5处理器，主频为1.90Hz，8G内存，4GB独立显卡，500G硬盘。软件配置：开源图像处理视觉库opencv2.4，开发编译工具vs2013，操作系统windows8.1的dos环境。

依据PROPOSED METHOD，实验步骤可以描述为：

Step1:人眼图像数据源获取；

Step2:源数据图像批量预处理；

Step3:O-CNN最佳分类模型训练；

Step4:最佳分类模型性能测试。

下列是算法流程图：(可能要将流程图改成英文+部分)

整个疲劳检测研究过程中需要获取数据源，需要用到一款名为 opencv的视觉库，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库。此工具在物体识别、图像分割、机器视觉领域有很多杰出的应用。我们使用此工具解决本实验过程中获取图像源，图像批量预处理处理等问题。

下列是一些关键的实验步骤及结果记录。

Step1：人眼图像数据源获取

人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。实验中人脸特征提取过程所用到的技术原理已经相当成熟，具体可以参见基于梁涛等人所著《OpenCV的视频图像人眼跟踪方法的研究》中用到的 Haar分类器算法。

通过以上图像处理操作，我们可以从连续的视频图像帧获得海量的人眼图像，作为后续实验所用到的数据源。

Step2：源数据图像批量预处理

本实验设置目的是在确保图像信息不失真的情况下获得卷积神经网络中统一且差异化明显的输入，以加速训练网络的收敛性。所以我们需要对图像进行归一化处理。其中包括源数据的大小统一设置为28 ×28，图像通道数设置为1，利用OTSU自适应图像分割算法对图像进行阈值分割。下表中是个图像参数一览。

根据PROPOSED METHOD中所述眼部状态可归为睁眼、眯眼三种状态，利用OTSU自适应阈值分割算法可获得输出图像如图2所示。

通过以上操作获得28×28简化输入图像，用作O-CNN网络训练的数据集，这样操作获得数据集的意义在于统一且简化网络输出层中的输出数据，尽量避免网络在传播过程中由于无关信息所导致的训练震荡，使得训练时，可以在简单的网络结构下次数较少的迭代即可达到网络收敛，达到加快网络训练的目的。

Step3：O-CNN分类模型训练

依据PROPOSED METHOD所设计的训练网络结构，采用逐层梯度下降的方法以输出参数为loss(对数损失交叉熵)的目标函数进行优化。将训练集中的所有数据进行分块进行一次正向传播训练，训练完所有数据为一次迭代结束。通过设置迭代次数寻找最优的网络参数。基础学习率设置为0.001，学习率调整采取阶跃下降方式,输入O-CNN数据集中经过预处理的28×28大小的单通道图像,输出为表征目标函数优化程度的loss数值,通过迭代次数的设置获取最优的分类器模型。

数据集参数设置如下表所示：

网络训练时我们关注目标参数loss，通过实验，我们在一台有4GB 独立显存的计算机上搭建训练环境并进行了不同迭代次数的训练，并记录结果如图3所示，其中横坐标代表迭代次数，纵坐标代表loss的值：从表中可以分析得出，训练迭代过程中，在经历短暂震荡后，学习系统开始迅速收敛，在迭代次数达到50左右时，loss的值已经稳定趋向于0；因此我们可以使用迭代次数为50的训练所得分类器作为最佳分类器，对测试集进行测试，获得检测准确率。

Step4:最佳分类模型性能测试。

针对每个状态标签，我们各准备了8000个测试样本进行实验，实验结果如下表所示：

从上表中分析得出，测试集中每个状态标签的准确识别率都达到 97％以上，拥有非常高的识别精度，也就是说，我们训练得出的分类器是准确而且高效的。

本文借助OTSU的改进算法对图像进行统一预处理，获得简化后的卷积神经网络的输入，通过卷积神经网络训练完成对其进行学习分类，获得最佳分类模型；实验结果说明了简化输入后的卷积神经网络能够在有限较少次迭代过程中获得收敛，并且拥有很高的识别性能，这种操作能够降低学习系统对训练机器算力的要求，也能带来更高的效率。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述方法包括以下步骤：

S2利用OTSU自适应图像分割算法对图像进行统一预处理；

S3将得简化后的训练网络输入；

2.根据权利要求1所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述OTSU算法具体为，假设图像的像素点总个数是N，灰度值为i的像素的个数为ni

θ(t)＝P_a(w_a-w₀)²+P_b(w_b-w₀)²

其中Pa表示前景像素点所占的比例；wa表示前景图像的灰度平均值；w0表示整体图像的灰度平均值；pb表示后景像素点所占的比例；wb表示后景图像的灰度平均值；当像素级别t从区间[T₀，T_max]历遍时所得θ(t)最小时，T即为最佳的分割阈值：

即

T＝t|_θ(t)min t∈[T₀，T_max]。

3.根据权利要求1所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述S4中，简化输入的卷积神经网络包括滑动窗口卷积、批量正则化、线性修正、最大池化和全连接操作。

4.根据权利要求3所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述滑动窗口卷积对输入图像中局部区域进行顺序选择，使用同一卷积核与之进行线性操作，由此获得多张输出图像，其计算过程如下：

其中R_i，j，c表示输入图像；表示输出图像；f_{w’，h’，c’}表示卷积核大小；(S_w，S_h)表示窗口移动距离；

表示各个上的零填充数量。

5.据权利要求3所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述批量正则化操作中通过对神经网络隐藏层的输出作归一化处理,防止反向传播过程中发生梯度弥散,使神经网络在运算时能够快速收敛。数学描述如下：

6.权利要求3所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，所述线性修正采用一个非线性函数作为网络中的激活函数，帮助网络理解和学习更加复杂的数据。

Q_whc＝max{0|R_w，h，c}

其中R_w，h，c表示输入图像；Q_w，h，c表示输出图像。

7.根据权利要求3所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，最大池化过程采用滑动窗口分割图像,将每个滑窗内取最大值作为该窗口内所有元素的值输出

其中Q_{w”，h”，c}表示输出值；

窗口的大小由参数W’、H’、C三个参数决定，每次移动一个窗口的距离。

8.根据权利要求3所述的基于简化输入卷积神经网络O-CNN的眼部疲劳检测方法，其特征在于，全连接操作对输入图像的所有数据进行加权求和的线性运算,其实现方式可通过卷积操作的方式来实现.只需将滑动窗口卷积中的卷积核大小修改为最大值即可。