CN109717830B - 基于眼动及头动参数监测的疲劳检测及促醒系统 - Google Patents

Abstract

本发明公开了一种基于眼动及头动参数监测的疲劳检测及促醒系统，包括：眼镜本体；图像采集模块；头动数据采集模块，用于采集佩戴者的头动数据；促醒模块，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块；后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块。本发明的基于眼动及头动参数监测的疲劳检测及促醒系统，通过眼动及头动数据融合评定，能自动判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动相结合的促醒刺激，促使人体疲劳程度降低，使人体警觉度及作业能力提升；本发明采用基于MRCNN的人眼眨眼分析算法进行数据分析，能提高眨眼状态判断的准确性和效率。

Description

基于眼动及头动参数监测的疲劳检测及促醒系统

技术领域

本发明涉及疲劳检测与觉醒刺激技术领域，特别涉及一种基于眼动及头动参数监测的疲劳检测及促醒系统。

背景技术

随机社会的发展，当前工作的自动化水平在提高，各类工作岗位要求工作人员如飞行员，保持高度的机敏度及充沛的精力和注意力，确保高端设备操作无失误及相关作业的顺利实施，但是持续性、高强度、非时间定式的作业影响工作人员的判断、决策和作战执行能力。因此，准确评价持续作业条件下，时间生物节律及其功能状态对相关作业能力的影响，并给予科学的干预，以提升相关人员作业效能。

目前，国内外针对疲劳检测的手段主要分为主观检测和客观检测两种，其中客观检测主要包括行为特征检测(如眨眼，头部动作，嘴部动作等)和生理特征检测(如脑电，眼电，肌电等)；主观检测主要包括评价性检测和生理反应检测。促醒方法主要包括物理调节，化学调节和生物调节。相关研究表明，80％的PRECLOS与人的疲劳程度相关性较大，特定波长的光刺激，特定频率和响度的声音刺激和振动刺激对觉醒度的提高具有较好的作用。

目前，市售的相关设备主要集中在驾驶疲劳检测装置的研发上，还没有用于个人作业能力提升等相关领域课题的研究。更没有针对以上需求的、集合觉醒状态评估、预警和刺激于一体的便携式装置。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眼动及头动参数监测的疲劳检测及促醒系统。

为解决上述技术问题，本发明采用的技术方案是：一种基于眼动及头动参数监测的疲劳检测及促醒系统，包括：

眼镜本体，其用于佩戴到眼部；

图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的眼动数据；

头动数据采集模块，其设置于所述眼镜本体上，用于采集佩戴者的头动数据；

促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；

电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；

后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；

其中，所述后台处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。

优选的是，所述眼动数据分析模块采用基于MRCNN的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：

1)将所述图像采集模块采集的眼动图像输入到MRCNN网络；

2)MRCNN网络对图像进行区域提取后送入Resnet101分类网络，对区域进行分类，检测是否为眼部区域；

3)对眼部区域进行MASK预测，即对每一个像素点进行0-1分类得到各个像素点的二分类概率分布图；

4)对MASK进行三角拐点提取，对三个拐点进行直线拟合，拟合出两条直线，分别为上眼睑线和下眼睑线；

5)通过反三角函数计算两条直线的夹角，作为眼睛闭合度，从而判断眨眼状态。

优选的是，所述步骤3)中，MASK所包含的区域为完全眼部区域，即：在眼部上覆盖了一层0-1的掩膜，把眼部贴合式的提取出来。

优选的是，所述图像采集模块包括摄像头和红外照明光源，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。

优选的是，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述后台处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。

优选的是，所述眼镜本体包括镜片支架及连接在所述镜片支架两侧的左、右支腿。

优选的是，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；其中，一组蓝光光源与所述红外照明光源集成设置在设有所述摄像头的眼镜支腿上。

优选的是，所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激。

所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供特定序列的振动。

优选的是，所述后台处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。

优选的是，所述眼镜的支腿上还设置有USB接口，以与所述平板电脑有线连接。

本发明的有益效果是：本发明的基于眼动及头动参数监测的疲劳检测及促醒系统，通过眼动及头动数据融合评定，能自动判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动相结合的促醒刺激，促使人体疲劳程度降低，使人体警觉度及作业能力提升；本发明采用基于MRCNN的人眼眨眼分析算法进行数据分析，能提高眨眼状态判断的准确性和效率；本发明的眼镜本体佩戴舒适、功能齐全，可实时监测佩戴人员的疲劳状态，适时给出促醒刺激，能实现提高人员觉醒程度的目的。

附图说明

图1为本发明的基于眼动及头动参数监测的疲劳检测及促醒系统的原理框图；

图2为本发明的一种实施例中的眼镜的结构示意图。

附图标记说明：

1—镜片支架；2—左支腿；3—右支腿；4—电源模块；5—蓝光光源；6—蓝光光源和红外照明光源集成模块；7—蜂鸣器；8—振动马达；9—摄像头；10—USB接口；11—头动数据采集模块。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

如图1所示，本实施例的一种基于眼动及头动参数监测的疲劳检测及促醒系统，包括：眼镜本体、图像采集模块、头动数据采集模块、促醒模块、电源模块、后台处理模块。

眼镜本体用于佩戴到眼部；图像采集模块设置于所述眼镜本体上，用于采集佩戴者的眼动数据；头动数据采集模块设置于所述眼镜本体上，用于采集佩戴者的头动数据；促醒模块设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块设置于所述眼镜本体上，用于为上述各模块供电。

后台处理模块包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；其中，所述后台处理模块与上述各模块均通信连接(无线或有线通信)，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒；具体的，根据人体疲劳程度得到人体觉醒等级；当觉醒等级低于设定值时，主控模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激。

其中，所述眼动数据分析模块采用基于MRCNN的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：

1)将所述图像采集模块采集的眼动图像输入到MRCNN网络；MRCNN网络对图像进行模数转换；

2)MRCNN网络对图像进行区域提取后送入Resnet101分类网络，对区域进行分类，检测是否为眼部区域；原始图像经过MRCNN网络多层卷积后产生的FeatureMap图，Resnet101分类网络进行二分类，得到分类结果的概率分布；

3)对眼部区域进行MASK预测，即对每一个像素点进行0-1分类得到各个像素点的二分类概率分布图；经过多层卷积后的FeatureMap，从P1-P6进行图像金字塔式MASK提取，得到各个像素点的二分类概率分布图；MASK所包含的区域为完全眼部区域，即：在眼部上覆盖了一层0-1的掩膜，把眼部贴合式的提取出来；

4)对MASK进行三角拐点提取，对三个拐点进行直线拟合，拟合出两条直线，分别为上眼睑线和下眼睑线；

5)通过反三角函数计算两条直线的夹角，作为眼睛闭合度，从而判断眨眼状态。

该方法准确度高，在640*480分辨率下，该算法效率可达到30FPS。

其中，所述图像采集模块包括摄像头和红外照明光源，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。红外照明光源为摄像头提供照明。

加速度计在较长时间的测量值是正确的，而在较短时间内由于信号噪声的存在，而有误差。陀螺仪在较短时间内则比较准确而较长时间则会有与漂移而存有误差。因此，需要两者(相互调整)来确保航向的正确，这就需要姿态融合算法，选用卡尔曼滤波方法。本实施例中，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述后台处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。

其中，参照图2，眼镜本体包括镜片支架1及连接在所述镜片支架1两侧的左、右支腿。该系统还包括设置在所述眼镜的支腿上的电源模块4。所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源5，用于发出蓝光以刺激眼部；其中，一组蓝光光源5与所述红外照明光源集成一体形成蓝光光源和红外照明光源集成模块6，并设置在设有所述摄像头9的眼镜支腿上。所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器7，用于提供不同频率和响度的声音刺激。所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达8，用于提供特定序列的振动，进一步优选的，振动刺激单元还包括线性马达控制器，振动马达8采用微型偏振马达。所述眼镜的支腿上还设置有USB接口10，以与所述后台处理模块有线连接。

具体的，参照图2，在进一步的优选实施例中，一组蓝光光源5与所述红外照明光源集成设置在眼镜左支腿2上，摄像头9、振动马达8、USB接口10、蜂鸣器7、头动数据采集模块也均设置在左支腿2上，且摄像头9的角度和位置可调节；电源模块4和另一组蓝光光源5设置在右支腿3上，且蓝光光源5布置在眼镜支腿与镜片支架1的连接处。眼镜主体结构采用3D打印技术加工制造，应用轻质的树脂材料，整体质量轻盈，佩戴舒适。眼镜支腿呈扁平结构，曲线构造适合人耳佩戴及支撑。

在进一步的优选实施例中，所述后台处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。

在另一种优选的实施例中，后台处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块的处理芯片，其内嵌余于镜中。

上述基于眼动及头动参数监测的疲劳检测及促醒系统的一种工作流程为：

1、头动数据采集模块采集佩戴者的头动数据，并传输至所述头动数据分析模块；

2、摄像头9采集佩戴者的眼部图像，并传输至所述眼动数据分析模块；

3、头动数据分析模块对头动数据进行分析计算得到与疲劳度相关的参数；

4、眼动数据分析模块对眼动数据进行分析计算，得到人眼闭合度值；

5、疲劳程度分析模块结合眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，并得到人体觉醒等级；当觉醒等级低于设定值时，主控模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激；具体为：蓝光光源5发出蓝光以刺激眼部，蜂鸣器7发出声音刺激，振动马达8发出振动刺激。其中，根据人体不同的觉醒等级，可匹配设置不同的促醒信号等级，即不同强度的蓝光刺激、不同响度和频率的声音刺激、不同频率和序列的振动刺激。

6、当佩戴人员响应预警促醒信息时(觉醒等级高于设定值)，促醒模块停止刺激，系统保持持续监测状态。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (8)

1.一种基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，包括：

眼镜本体，其用于佩戴到眼部；

图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的眼动数据；

头动数据采集模块，其设置于所述眼镜本体上，用于采集佩戴者的头动数据；

促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；

电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；

后台处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块；

其中，所述后台处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述主控模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒；

所述眼动数据分析模块采用基于MRCNN的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：

1）将所述图像采集模块采集的眼动图像输入到MRCNN网络；

2）MRCNN网络对图像进行区域提取后送入Resnet101分类网络，对区域进行分类，检测是否为眼部区域；

3）对眼部区域进行MASK预测，即对每一个像素点进行0-1分类得到各个像素点的二分类概率分布图；

4）对MASK进行三角拐点提取，对三个拐点进行直线拟合，拟合出两条直线，分别为上眼睑线和下眼睑线；

5）通过反三角函数计算两条直线的夹角，作为眼睛闭合度，从而判断眨眼状态；

所述步骤3）中，MASK所包含的区域为完全眼部区域，即：在眼部上覆盖了一层0-1的掩膜，把眼部贴合式的提取出来。

2.根据权利要求1所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述图像采集模块包括摄像头和红外照明光源，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。

3.根据权利要求2所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述后台处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。

4.根据权利要求3所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述眼镜本体包括镜片支架及连接在所述镜片支架两侧的左、右支腿。

5.根据权利要求4所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；其中，一组蓝光光源与所述红外照明光源集成设置在设有所述摄像头的眼镜支腿上。

6.根据权利要求4所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激；

所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供振动。

7.根据权利要求4所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述后台处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。

8.根据权利要求7所述的基于眼动及头动参数监测的疲劳检测及促醒系统，其特征在于，所述眼镜的支腿上还设置有USB接口，以与所述平板电脑有线连接。

Images