CN101642374A - 疲劳检测装置及方法 - Google Patents

Abstract

疲劳检测装置及方法通过光源照射眼睛以增强红眼效应，在红眼效应增强的情况下获得瞳孔图像。由于红眼效应的增强，可以获得清晰度较高的瞳孔图像，从而确保在此基础上进行的后续分析的结果更为准确。

Description

疲劳检测装置及方法

技术领域

本申请涉及疲劳检测领域。

背景技术

疲劳是指由于持续地进行体力和脑力劳动而造成的生理和心理的失调。人在疲劳状态下，其反应就会变得迟钝，对身体的控制能力也会降低。例如，驾驶员在疲劳状态下驾驶车辆，具有以下明显特征：头脑不清醒，昏昏欲睡，反应迟钝，不能准确判断和迅速处理各种异常情况；动作失调，手脚不听使唤；烦躁不安，注意力不集中，判断误差较大。因此，进一步的研究将可进一步判断人体的疲劳状况。

发明内容

一种疲劳检测装置的实施方式，包括：

光源，照射眼睛以增强红眼效应；

图像获取单元，在红眼效应增强的情况下获得瞳孔图像；

计算单元，基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；

疲劳分析单元，对眼部特征数据进行分析，确定人体疲劳程度。

一种疲劳检测的方法的实施方式，包括：

光源照射眼睛以增强红眼效应；

在红眼效应增强的情况下获得瞳孔图像；

基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；

对眼部特征数据进行分析，确定人体疲劳程度。

上述所公开的疲劳检测装置及方法的实施方式中，通过光源增强红眼效应，使得所述图像获取单元获得的瞳孔图像更加明亮，因而提高了瞳孔图像的清晰度，使得之后计算得到的眼部特征数据更加准确，因而也使得疲劳检测的结果更加准确。

附图说明

图1是疲劳检测装置的一种实施方式图；

图2a是图1所示疲劳检测装置的图像获取单元的一种实施例图；

图2b是图1所示疲劳检测装置的图像获取单元的另一种实施例图；

图3是图2所示摄像单元摄取瞳孔图像示意图；

图4a是图1所示疲劳检测装置的计算单元的一种实施例图；

图4b是图1所示疲劳检测装置的计算单元的另一种实施例图；

图4c是图1所示疲劳检测装置的计算单元的又一种实施例图；

图5是计算眼睑闭合时间比示意图；

图6是神经网络结构示意图；

图7是疲劳检测装置的另一种实施方式图；

图8是疲劳检测方法的实施方式图。

具体实施方式

参照图1所示，疲劳检测装置的一种实施方式包括：

光源10，照射眼睛以增强红眼效应；

图像获取单元20，在红眼效应增强的情况下获得瞳孔图像；

计算单元30，基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；

疲劳分析单元40，对眼部特征数据进行分析，确定人体疲劳程度。

由于人体处于不同的疲劳状态时，眼部会相应呈现不同的特征，例如眨眼的频率等，因此在上述实施方式中，可以采用眼部特征数据来分析人体的疲劳程度。

可以基于瞳孔图像来进行一系列的处理过程，从而获得眼部运动特征数据。由于眼部特征数据的精确度受到瞳孔图像的清晰度的影响，上述实施方式中，提高瞳孔图像的清晰度的措施是通过光源增强红眼效应，使得图像获取单元获得的瞳孔图像更加明亮。

红眼效应是指在使用电子闪光灯拍摄彩色片时，人物的眼睛瞳孔会变成红色或瞳孔里出现红点，这种现象就是“红眼效应”。

在获得眼部特征数据后，分析人体的疲劳程度的具体过程中，可以将眼部特征数据与预先得到的标准值进行比较，以确定人体的疲劳程度。

上述实施方式中，光源10和图像获取单元20之间并无特定位置关系的限制，只要光源10发出的光能够到达眼睛，而图像获取单元20能够获得瞳孔图像即可。

所述光源10也可与图像获取单元20装配在一起以提供能够增强红眼效应，并且在红眼效应增强的情况下获得瞳孔图像的装置。

下面通过实施例的形式，对疲劳检测装置作进一步举例说明。

在一个实施例中，所述光源10可以为红外光源，例如环形连接的发光二极管，所述发光二极管所发出光的中心波长可以为所述图像获取单元20敏感的光，例如所述图像获取单元20对红外光敏感，则光源的中心波长为红外光的波长，即800-900nm，例如，800nm、820nm、850nm、880nm、900nm等，功率可以为10nw，但并非仅限于此，可以通过实验最终确定适合的功率值。

在另一个实施例中，为了进一步提高图像获取单元20获得的瞳孔图像的清晰度。所述光源10可以包括红外光源和可见光滤除装置，所述可见光滤除装置使得仅有红外光能通过。滤除可见光是为了使得昼夜成像效果相同，从而提高图像获取单元20获得的瞳孔图像的清晰度。所述可见光滤除装置可以采用例如红外带通滤波器，所述红外带通滤波器的中心波长可以与光源10的中心波长一致，半带宽可以为12nm，即允许通过红外带通滤波器的光的波长为中心波长±6nm。

在一个实施例中，所述图像获取单元20可以包括摄像单元，所述摄像单元可以为对红外线敏感的摄像机，即在800-900nm处有较高的灵敏度，可以采用例如对红外线敏感的黑白CCD摄像机，或对红外线敏感的长焦距黑白CCD摄像机。

当上述摄像单元为CCD摄像机时，所述CCD摄像机获得瞳孔图像的过程可以参照图3所示：由红外发光二极管1′发出的光经红外带通滤波器3′滤除可见光后，仅剩余红外光射入眼球内部的孔道(瞳孔4′)聚焦照射在视网膜上，视网膜上的血管反射红外光经瞳孔射出，被所述CCD摄像机2′的摄像头摄像，获得很明亮的瞳孔图像。上述实施例中，为了能够对于眼睛的运动状态进行追踪，所述CCD摄像机是实时摄取瞳孔图像的。

参照图2a所示，在另一个实施例中，当摄像单元201摄取的瞳孔图像为数字图像时，为了在后续步骤中能够顺利计算眼部特征数据，所述图像获取单元20还可以包括信号分离单元203。所述信号分离单元203将所述摄像单元201摄取的数字图像信号分离成水平信号和垂直信号，分离出水平信号和垂直信号可以便于后续计算时获得图像上每一点的横坐标和纵坐标。

参照图2b所示，在又一个实施例中，当摄像单元201摄取的瞳孔图像为模拟图像时，为了在后续步骤中能够顺利计算眼部特征数据，所述图像获取单元20还可以包括模数转换单元202以及信号分离单元203。所述模数转换单元202将摄像单元201摄取的模拟图像信号转换成数字图像信号。所述信号分离单元203将模数转换单元202获得的数字图像信号分离成水平信号和垂直信号。分离出水平信号和垂直信号可以便于后续计算时获得图像上每一点的横坐标和纵坐标。

为了能够对于眼睛的运动状态进行追踪，上述实施例中的摄像单元201摄取的图像为实时图像，而所述模数转换单元202以及信号分离单元203也是实时运作的。

在其他实施例中，为了获得更准确的计算结果，所述图像获取单元20还可以包括图像预处理单元(图未示)，对图像进行例如抑制噪声、突出轮廓、排除次要信息等图像预处理，以获得更清晰的图像，尤其凸现出明亮的瞳孔。

参照图4a所述，在一个实施例中，当所述图像获取单元20包括模数转换单元202和信号分离单元203时，所述计算单元可以包括第一计算单元301″以及第二计算单元302″。所述第一计算单元301″，用于计算所获得的瞳孔图像中眼睛的眼睑闭合程度；所述第二计算单元302″，用于根据所述眼睑闭合程度和/或瞳孔图像计算用于分析疲劳的眼部特征数据。其中，所述眼部特征数据可以包括例如眨眼频率、眼睑闭合时间、瞳孔变化的大小、眼睑盖住瞳孔面积、眼睑闭合时间比中的一种或组合。

所述第一计算单元301″首先根据水平信号和垂直信号计算瞳孔图像中没有被眼睑盖住的瞳孔面积，然后计算被眼睑盖住的瞳孔面积与眼睛完全睁开时的瞳孔面积之比，即计算眼睑闭合程度。当获得了眼睑闭合程度之后，就可通过所述第二计算单元302″计算用于分析疲劳的眼部特征数据。

人体疲劳时，对于眼部来说通常呈现的情况就是打瞌睡，即眼睑时而渐渐闭合，盖过瞳孔；时而又渐渐开启，使瞳孔复现。由于当眼睑盖住的瞳孔面积与眼睛完全睁开时的瞳孔面积比达到70％-80％时，由光源10发出的光已无法通过瞳孔照射在视网膜上，从而视网膜上的血管也不会反射红外光，图像获取单元20中的摄像单元201也无法获得明亮的瞳孔图像，即明亮的瞳孔图像消失。因而设定当眼睑闭合程度达到70％-80％时，认为瞳孔消失；而当眼睑闭合程度又下降到20％时，认为瞳孔复现。

以计算眼睑闭合时间Tc为例，定义瞳孔消失的时刻为Tb，而瞳孔复现的时刻为Ta，定义从瞳孔消失到瞳孔复现的时间为眼睛闭合的时间Tc，则眼睛闭合时间Tc通过下述公式获得：

T_c＝T_a-T_b

如前所述的，所述摄像单元201是实时摄取瞳孔图像的，而所述模数转换单元202和信号分离单元203也是实时运作的，因而第二计算单元302″所获得的每一帧瞳孔图像的信号数据都有对应的时间值信息(摄像时刻)，所述瞳孔消失的时刻Tb和瞳孔复现的时刻Ta也可从所述时间值信息获得。

以计算眼睑闭合时间比Perclos为例，参照图5所示，定义眼睑完全盖住瞳孔时，即眼睑闭合程度为100％时对应的摄像时刻为t1，眼睑闭合程度为80％时对应的摄像时刻为t2，眼睛完全睁开，即眼睑闭合程度为0％时对应的摄像时刻为t3，则眼睑的闭合时间比Perclos可根据例如下述公式计算：

$\mathrm{Perclos}=\frac{t_2-t_1}{t_3-t_1}\×100\%$

以计算眨眼频率F为例，定义眼睛完全睁开-眼睑完全闭合-眼睛再度完全睁开为一次眨眼过程，并且设定眼睛完全睁开时，即眼睑闭合程度为0％的摄像时刻为Ta′，眼睑完全闭合时，即眼睑闭合程度为100％的摄像时刻为Tb′，眼睛再度完全睁开时，即眼睑闭合程度为0％的摄像时刻为Tc′。则眨眼一次的时间即是Tc′-Ta′，则眨眼频率即1/(Tc′-Ta′)。

以计算瞳孔变化大小D_v为例，可以定义眼睑闭合程度为一定值时为疲劳，为另一定值时为不疲劳，则设不疲劳时的瞳孔大小(直径)为D1，疲劳时的瞳孔大小(直径)为D2，则定义瞳孔变化大小为D_v＝(D2-D1)/D1，这是个相对变化值。瞳孔大小(直径)可通过例如下述方法计算：

以明亮瞳孔图像中心点为原点建立一个X轴和Y轴组成的二维坐标系统，X轴或Y轴与瞳孔图像边缘线左右或上下的交点分别记作D′和D″，则瞳孔大小(直径)为D＝D″-D′。

此外，当图像获取单元中的摄像单元摄取的瞳孔图像为数字图像，且图像获取单元包括信号分离单元203时，所述计算单元可以包括第一计算单元301″以及第二计算单元302″。

参照图4b所述，在另一个实施例中，当所述图像获取单元20输出的瞳孔图像为模拟图像时，所述计算单元30可以包括模数转换单元301′、信号分离单元302′、第一计算单元303′以及第二计算单元304′。所述模数转换单元301′将摄像单元摄取的模拟图像信号转换成数字图像信号。所述信号分离单元302′将所述摄像单元摄取的数字图像信号分离成水平信号和垂直信号，分离出水平信号和垂直信号可以便于后续计算时获得图像上每一点的横坐标和纵坐标。所述第一计算单元303′，用于计算所获得的瞳孔图像中眼睛的眼睑闭合程度；所述第二计算单元304′，用于根据所述眼睑闭合程度和/或瞳孔图像计算用于分析疲劳的眼部特征数据。其中，所述眼部特征数据可以包括例如眨眼频率、眼睑闭合时间、瞳孔变化的大小、眼睑盖住瞳孔面积、眼睑闭合时间比中的一种或组合。

所述第一计算单元303′和第二计算单元304′的工作过程请参照上述实施例中第一计算单元302以及第二计算单元303的相关描述，这里就不再赘述了。

参照图4c所示，在又一个实施例中，当所述图像获取单元输出的瞳孔图像为数字图像时，所述计算单元30可以包括信号分离单元301、第一计算单元302以及第二计算单元303。所述信号分离单元301将所述数字图像信号分离成水平信号和垂直信号，分离出水平信号和垂直信号可以便于后续计算时获得图像上每一点的横坐标和纵坐标。所述第一计算单元302计算所获得的瞳孔图像中眼睛的眼睑闭合程度；所述第二计算单元303根据所述眼睑闭合程度和/或瞳孔图像计算用于分析疲劳的眼部特征数据。其中，所述眼部特征数据可以包括例如眨眼频率、眼睑闭合时间、瞳孔变化的大小、眼睑盖住瞳孔面积、眼睑闭合时间比中的一种或组合。

所述第一计算单元302和第二计算单元303的工作过程请参照上述实施例中第一计算单元302以及第二计算单元303的相关描述，这里就不再赘述了。

当通过计算单元30获得各个眼部特征数据后，则可通过疲劳分析单元40来对各个眼部特征数据进行综合分析，给出疲劳分析结果。

在一个实施例中，所述疲劳分析单元40进行综合分析所挑选的眼部特征数据不少于2个，进行综合分析可采用例如人工神经网络算法。下面以对眨眼频率F、眼睑闭合时间Tc、瞳孔的变化大小D_v、眼睑闭合时间比Perclos以及眼睑盖住瞳孔面积S五个参数进行综合分析为例，来对人工神经网络算法的分析过程进行介绍。

依据增强红眼效应获得的明亮瞳孔图像而计算得到的眨眼频率F、眼睑闭合时间Tc、瞳孔变化的大小D_v、眼睑盖住瞳孔面积S、眼睑闭合时间比Perclos等五个参数之间应存在着一定的关联性，所述五个参数在由其构成的五维空间中综合的影响决定了疲劳特性(而其中任何一个参数由于人的个体差异并不能单独地很准确地确定疲劳)。因此可以找到一个五维的曲面，这个曲面将空间分为两个部分：疲劳和不疲劳。

由于人工神经网络有很好的学习能力和对任意非线性函数的拟合能力，可以引入一个前馈型网络，利用误差反向传播(BP，Error Back Propagation)算法训练网络，以期能很好的拟合这个五维曲面来准确区分疲劳和不疲劳的生理特性。例如，至少将已知疲劳和不疲劳的各16个人的所述五个参数眨眼频率F、眼睑闭合时间Tc、瞳孔变化的大小D_v、眼睑盖住瞳孔面积S、眼睑闭合时间比Perclos输入该神经网络进行训练，以获得较为准确的五维空间曲面。然后将未知的疲劳或不疲劳的所述五个参数输入该神经网络，即可快速自动区分疲劳和不疲劳。

下面详述误差反向传播算法，误差反向传播算法的基本思想是，人工神经网络的学习过程由信号的正向传播与误差的反向传播两个过程组成。

1)信号的正向传播过程：参照图6所示：

输入样本是指例如上述的已知疲劳和不疲劳的各16个人的五个参数。而输入层接收所述输入样本并传输至隐层。隐层的处理过程为根据所述的输入样本进行疲劳或不疲劳的区分训练和判别过程，而输出层输出的是疲劳或不疲劳的结果，例如，假定输出层输出值为1时是疲劳，输出层输出值为0时是不疲劳，以不疲劳时的值作为期望值，则当输出层输出值大于0.5时为疲劳，小于0.5为不疲劳。这里的0.5其实可以理解为输出层的输出值与期望值的最大误差值。即当输出层的输出值与不疲劳的期望值的差未超过最大误差值，则认为仍与不疲劳期望值相符，属于不疲劳状态；而当输出层的输出值与不疲劳的期望值的差超过最大误差值，则认为与不疲劳期望值不符，则已不属于不疲劳状态，因而归为疲劳状态。

若输出层输出与期望输出不符，则转入2)。

2)误差反向传播过程：

误差反向传播的主要目的是通过将输出误差反传，将误差分摊给隐层所有的单元，从而获得各单元的误差信号，进而修正各单元的权值，一般权值在-1至+1中取随机数。而权值调整的过程，也就是网络的学习训练过程。

而误差反向传播算法实现步骤可以如下：

步骤1)初始化，例如，主要是对权值的初始化，权值的初始值为0.2至0.4区间中的随机数；

步骤2)输入训练样本，计算各层输出，例如，至少将已知疲劳和不疲劳的各16人的所述五个参数眨眼频率F、眼睑闭合时间Tc、瞳孔大小变化Dv、眼睑盖住瞳孔面积S、眼睑闭合时间比Perclos输入该神经网络依次单独训练。

步骤3)计算网络输出误差，即输出与期望值的差值；

步骤4)计算各层误差信号；

步骤5)调整各层权值；

步骤6)检查网络总误差是否达到精度要求，这里所说的网络总误差是对上述每个人所获得的网络总误差，若满足精度要求，则该人的训练结束，并返回步骤2)，继续输入下一人的所述五个参数；而若不满足精度要求，则返回步骤2)就该人的五个参数重新进行训练。例如以0.5作为预定误差值，则若网络总误差值大于0.5，就认为输出层输出与期望值输出不符，返回步骤2)重新训练。

然后将未知的疲劳或不疲劳的所述五个参数输入该神经网络，即可快速自动区分疲劳和不疲劳。

参照图7所示，疲劳检测装置的另一种实施方式包括：

光源10′，照射眼睛以增强红眼效应；

图像获取单元20′，在红眼效应增强的情况下获得瞳孔图像；

处理单元30′，基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据，对眼部特征数据进行分析，确定人体疲劳程度；

输出单元40′，输出所述处理单元30′得到的疲劳程度。

在具体实现时，处理单元30′可以是具有数据处理能力的各类电子设备，例如计算机、服务器、单片机或者微控制器等。

在具体实现时，输出单元40′可以通过声音、文字、图像等多种形式实现疲劳状态结果的输出，以适合不同的场合和需求。

参照图8所示，疲劳检测方法的一种实施方式包括：

步骤s1，用光源照射眼睛以增强红眼效应；

步骤s2，在红眼效应增强的情况下获得瞳孔图像；

步骤s3，基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；

步骤s4，对眼部特征数据进行分析，确定人体疲劳程度。

在一个实施例中，所述光源可以为红外光源，例如环形连接的发光二极管，所述发光二极管所发出光的中心波长可以为对获得瞳孔图像敏感的光，例如对红外光敏感，则光源的中心波长为红外光的波长，即800-900nm，例如，800nm、820nm、850nm、880nm、900nm等，功率可以为10nw，但并非仅限于此，可以通过实验最终确定适合的功率值。

在另一个实施例中，为了进一步提高瞳孔图像的清晰度。所述光源可以包括红外光源和可见光滤除装置，所述可见光滤除装置使得仅有红外光能通过。滤除可见光是为了使得昼夜成像效果相同，从而提高瞳孔图像的清晰度。所述可见光滤除装置可以采用例如红外带通滤波器，所述红外带通滤波器的中心波长可以与光源的中心波长一致，半带宽可以为12nm，即允许通过红外带通滤波器的光的波长为中心波长±6nm。

在红眼效应增强的情况下获得瞳孔图像；基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；以及对眼部特征数据进行分析，确定人体疲劳程度的过程请参照上述疲劳检测装置实施例中的相关描述，这里就不再赘述了。

上述基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；以及对眼部特征数据进行分析，确定人体疲劳程度的过程，也可以通过下述方式实现：将所述过程以可执行程序代码进行描述，将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。

此时，只要该系统或者设备具有执行程序的功能，则实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，客户计算机通过连接到因特网上的相应网站，并且将计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现上述过程。

Claims (22)

1.一种疲劳检测装置，包括：

光源，照射眼睛以增强红眼效应；

图像获取单元，在红眼效应增强的情况下获得瞳孔图像；

计算单元，基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；

疲劳分析单元，对眼部特征数据进行分析，确定人体疲劳程度。

2.如权利要求1所述的疲劳检测装置，其中，所述光源包括红外光源。

3.如权利要求2所述的疲劳检测装置，其中，所述光源包括中心波长为800-900nm的发光二极管。

4.如权利要求3所述的疲劳检测装置，其中，所述发光二极管中心波长为850nm。

5.如权利要求3所述的疲劳检测装置，其中，所述发光二极管的功率为10nw。

6.如权利要求2所述的疲劳检测装置，其中，所述光源还包括可见光滤除装置。

7.如权利要求6所述的疲劳检测装置，其中，所述可见光滤除装置包括红外带通滤波器，其中心波长为800-900nm，半带宽为12nm。

8.如权利要求7所述的疲劳检测装置，其中，所述红外带通滤波器的中心波长为850nm。

9.如权利要求1所述的疲劳检测装置，其中，所述图像获取单元包括：

摄像单元，用于摄取经红眼效应增强后的瞳孔，获得模拟图像信号；

模数转换单元，用于将所述模拟图像信号转换成数字图像信号；

信号分离单元，用于将所述数字图像信号分离成水平信号和垂直信号。

10.如权利要求9所述的疲劳检测装置，其中，所述摄像单元为对红外线敏感的摄像机。

11.如权利要求10所述的疲劳检测装置，其中，所述摄像机为长焦距黑白CCD摄像机。

12.如权利要求1所述的疲劳检测装置，其中，所述计算单元包括：

第一计算单元，用于计算所述瞳孔图像中眼睛的眼睑闭合程度；

第二计算单元，用于根据所述眼睑闭合程度和/或瞳孔图像计算用于分析疲劳的眼部特征数据。

13.如权利要求1所述的疲劳检测装置，其特征在于，所述眼部特征数据包括眨眼频率、眼睑闭合时间、瞳孔变化的大小、眼睑盖住瞳孔面积、眼睑闭合时间比中的任意一种或组合。

14.如权利要求1所述的疲劳检测装置，其特征在于，所述疲劳分析单元根据眼部特征数据分析人体疲劳程度采用人工神经网络算法分析。

15.一种疲劳检测方法，包括：

光源照射眼睛以增强红眼效应；

在红眼效应增强的情况下获得瞳孔图像；

基于所述瞳孔图像进行计算，获得能够用于分析疲劳的眼部特征数据；

对眼部特征数据进行分析，确定人体疲劳程度。

16.如权利要求15所述的疲劳检测方法，其中，所述光源包括红外光源。

17.如权利要求16所述的疲劳检测方法，其中，所述光源包括中心波长为800-900nm的发光二极管。

18.如权利要求17所述的疲劳检测方法，其中，所述发光二极管中心波长为850nm。

19.如权利要求17所述的疲劳检测方法，其中，所述发光二极管的功率为10nw。

20.如权利要求16所述的疲劳检测方法，其中，所述光源还包括可见光滤除装置。

21.如权利要求20所述的疲劳检测方法，其中，所述可见光滤除装置包括红外带通滤波器，其中心波长为800-900nm，半带宽为12nm。

22.如权利要求21所述的疲劳检测方法，其中，所述红外带通滤波器的中心波长为850nm。

Images