CN109847168A - 可穿戴式疲劳检测及干预系统 - Google Patents

Abstract

本发明公开了可穿戴式疲劳检测及干预系统，包括：穿戴装置本体；图像采集模块，用于采集佩戴者的眼动数据；红外照明光源；头动数据采集模块，用于采集佩戴者的头动数据；促醒模块，包括光刺激单元、声音刺激单元和振动刺激单元；核心处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块。本发明的可穿戴式疲劳检测及干预系统，通过眼动及头动信息融合评定，智能化判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动结合方式的促醒刺激，促使人体疲劳程度降低，警觉度及作业能力提升；本发明采用基于加和梯度的人眼眨眼分析算法进行数据分析，能提高眨眼状态判断的鲁棒性、抗干扰能力和效率。

Description

可穿戴式疲劳检测及干预系统

技术领域

本发明涉及疲劳检测与觉醒刺激技术领域，特别涉及一种可穿戴式疲劳检测及干预系统。

背景技术

随机社会的发展，当前工作的自动化水平在提高，各类工作岗位要求工作人员如飞行员，保持高度的机敏度及充沛的精力和注意力，确保高端设备操作无失误及相关作业的顺利实施，但是持续性、高强度、非时间定式的作业影响工作人员的判断、决策和作战执行能力。因此，准确评价持续作业条件下，时间生物节律及其功能状态对相关作业能力的影响，并给予科学的干预，以提升相关人员作业效能。

目前，国内外针对疲劳检测的手段主要分为主观检测和客观检测两种，其中客观检测主要包括行为特征检测(如眨眼，头部动作，嘴部动作等)和生理特征检测(如脑电，眼电，肌电等)；主观检测主要包括评价性检测和生理反应检测。促醒方法主要包括物理调节，化学调节和生物调节。相关研究表明，80％的PRECLOS与人的疲劳程度相关性较大，特定波长的光刺激，特定频率和响度的声音刺激和振动刺激对觉醒度的提高具有较好的作用。

目前，市售的相关设备主要集中在驾驶疲劳检测装置的研发上，还没有用于个人作业能力提升等相关领域课题的研究。更没有针对以上需求的、集合觉醒状态评估、预警和刺激于一体的便携式装置。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种可穿戴式疲劳检测及干预系统。

为解决上述技术问题，本发明采用的技术方案是：一种可穿戴式疲劳检测及干预系统，包括：

穿戴装置本体，其用于佩戴到眼部；

图像采集模块，其设置于所述穿戴装置本体上，用于采集佩戴者的眼动数据；

红外照明光源，用于为所述图像采集模块提供照明；

头动数据采集模块，其设置于所述穿戴装置本体上，用于采集佩戴者的头动数据；

促醒模块，其设置于所述穿戴装置本体上，包括光刺激单元、声音刺激单元和振动刺激单元；

核心处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块；

其中，所述核心处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述控制模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。

优选的是，所述图像采集模块包括摄像头，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。

优选的是，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述核心处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。

优选的是，所述眼动数据分析模块采用基于加和梯度的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：

1)接受所述图像采集模块采集的眼动图像；

2)针对图像中每个像素点进行纵向加和计算：针对图像中的像素点，计算该像素点上方m个像素点灰度值sum₁和下方m个像素点的灰度值sum₂，该像素点的纵向加和值T＝sum₁-sum₂；

3)根据经验阈值设置梯度动态范围t；

4)比较提取纵向加和值大于梯度动态范围t的像素点：即当像素点的纵向加和值TT＞t时，保留该像素点，否则舍弃；

5)计算所有保留的像素点的纵向质心，根据其纵向质心的位置判断眨眼状态，并绘制曲线。

优选的是，所述穿戴装置本体为眼镜，其包括镜片支架及连接在所述镜片支架两侧的左、右支腿。

优选的是，还包括设置在所述眼镜的支腿上的电源模块。

优选的是，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；其中，一组蓝光光源与所述红外照明光源集成设置在设有所述摄像头的眼镜支腿上。

优选的是，所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激。

所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供特定序列的振动。

优选的是，所述核心处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。

优选的是，所述眼镜的支腿上还设置有USB接口，以与所述平板电脑有线连接。

本发明的有益效果是：本发明的可穿戴式疲劳检测及干预系统，通过眼动及头动信息融合评定，智能化判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动结合方式的促醒干预刺激，促使人体疲劳程度降低，警觉度及作业能力提升；本发明采用基于加和梯度的人眼眨眼分析算法进行数据分析，能提高眨眼状态判断的鲁棒性、抗干扰能力和效率；本发明佩戴舒适、功能齐全，可实时监测佩戴人员的疲劳状态，适时给出促醒干预刺激，能实现提高人员觉醒程度的目的。

附图说明

图1为本发明的可穿戴式疲劳检测及干预系统的原理框图；

图2为本发明的一种实施例中的眼镜的结构示意图。

附图标记说明：

1—镜片支架；2—左支腿；3—右支腿；4—电源模块；5—蓝光光源；6—蓝光光源和红外照明光源集成模块；7—蜂鸣器；8—振动马达；9—摄像头；10—USB接口；11—头动数据采集模块。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

如图1所示，本实施例的一种可穿戴式疲劳检测及干预系统，包括：

穿戴装置本体，其用于佩戴到眼部；

图像采集模块，其设置于所述穿戴装置本体上，用于采集佩戴者的眼动数据；

红外照明光源，用于为所述图像采集模块提供照明；

头动数据采集模块，其设置于所述穿戴装置本体上，用于采集佩戴者的头动数据；

促醒模块，其设置于所述穿戴装置本体上，包括光刺激单元、声音刺激单元和振动刺激单元；

核心处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块；

其中，所述核心处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述控制模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒；具体的，根据人体疲劳程度得到人体觉醒等级；当觉醒等级低于设定值时，控制模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激。

其中，所述图像采集模块包括摄像头9，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。

加速度计在较长时间的测量值是正确的，而在较短时间内由于信号噪声的存在，而有误差。陀螺仪在较短时间内则比较准确而较长时间则会有与漂移而存有误差。因此，需要两者(相互调整)来确保航向的正确，这就需要姿态融合算法，选用卡尔曼滤波方法。本实施例中，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述核心处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。

其中，所述眼动数据分析模块采用基于加和梯度的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：

1)接受所述图像采集模块采集的眼动图像；

2)针对图像中每个像素点进行纵向加和计算：针对图像中的像素点，计算该像素点上方m个像素点灰度值sum₁和下方m个像素点的灰度值sum₂，该像素点的纵向加和值T＝sum₁-sum₂；

3)根据经验阈值设置梯度动态范围t；

4)比较提取纵向加和值大于梯度动态范围t的像素点：即当像素点的纵向加和值TT＞t时，保留该像素点，否则舍弃；

5)计算所有保留的像素点的纵向质心，根据其纵向质心的位置判断眨眼状态，并绘制人眼闭合度曲线，得到人眼闭合度值。

此方法鲁棒性较高，抗噪声和光照能力较强，在640*480分辨率下，通过实验验证该算法效率可达到30FPS。

其中，参照图2，穿戴装置本体为眼镜，其包括镜片支架1及连接在所述镜片支架1两侧的左、右支腿3。该系统还包括设置在所述眼镜的支腿上的电源模块4。所述光刺激单元包括分别设置在所述眼镜的左、右支腿3上的两组蓝光光源5，用于发出蓝光以刺激眼部；其中，一组蓝光光源5与所述红外照明光源集成一体形成蓝光光源和红外照明光源集成模块6，并设置在设有所述摄像头9的眼镜支腿上。所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器7，用于提供不同频率和响度的声音刺激。所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达8，用于提供特定序列的振动，进一步优选的，振动刺激单元还包括线性马达控制器，振动马达8采用微型偏振马达。所述眼镜的支腿上还设置有USB接口10，以与所述核心处理模块有线连接。

具体的，参照图2，在进一步的优选实施例中，一组蓝光光源5与所述红外照明光源集成设置在眼镜左支腿2上，摄像头9、振动马达8、USB接口10、蜂鸣器7、头动数据采集模块也均设置在左支腿2上，且摄像头9的角度和位置可调节；电源模块4和另一组蓝光光源5设置在右支腿3上，且蓝光光源5布置在眼镜支腿与镜片支架1的连接处。眼镜主体结构采用3D打印技术加工制造，应用轻质的树脂材料，整体质量轻盈，佩戴舒适。眼镜支腿呈扁平结构，曲线构造适合人耳佩戴及支撑。

在进一步的优选实施例中，所述核心处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。

在另一种优选的实施例中，核心处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块的处理芯片，其内嵌于眼镜中。

上述可穿戴式疲劳检测及干预系统的一种工作流程为：

1、头动数据采集模块采集佩戴者的头动数据，并传输至所述头动数据分析模块；

2、摄像头9采集佩戴者的眼部图像，并传输至所述眼动数据分析模块；

3、头动数据分析模块对头动数据进行分析计算得到与疲劳度相关的参数；

4、眼动数据分析模块对眼动数据进行分析计算，得到人眼闭合度值；

5、疲劳程度分析模块结合眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，并得到人体觉醒等级；当觉醒等级低于设定值时，控制模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动干预刺激；具体为：蓝光光源5发出蓝光以刺激眼部，蜂鸣器7发出声音刺激，振动马达8发出振动刺激。其中，根据人体不同的觉醒等级，可匹配设置不同的促醒信号等级，即不同强度的蓝光刺激、不同响度和频率的声音刺激、不同频率和序列的振动刺激。

6、当佩戴人员响应预警促醒信息时(觉醒等级高于设定值)，促醒模块停止刺激，系统保持持续监测状态。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种可穿戴式疲劳检测及干预系统，其特征在于，包括：

穿戴装置本体，其用于佩戴到眼部；

图像采集模块，其设置于所述穿戴装置本体上，用于采集佩戴者的眼动数据；

红外照明光源，用于为所述图像采集模块提供照明；

头动数据采集模块，其设置于所述穿戴装置本体上，用于采集佩戴者的头动数据；

促醒模块，其设置于所述穿戴装置本体上，包括光刺激单元、声音刺激单元和振动刺激单元；

核心处理模块，其包括眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块；

其中，所述核心处理模块与上述各模块均通信连接，所述疲劳程度分析模块融合所述眼动数据分析模块和头动数据分析模块的分析结果，判定人体疲劳程度，所述控制模块再根据判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。

2.根据权利要求1所述的可穿戴式疲劳检测及干预系统，其特征在于，所述图像采集模块包括摄像头，用于实时采集佩戴者的眼部图像，并传输至所述眼动数据分析模块。

3.根据权利要求2所述的可穿戴式疲劳检测及干预系统，其特征在于，所述头动数据采集模块包括陀螺仪、加速度传感器和与所述核心处理模块通信连接的姿态传感芯片，所述姿态传感芯片采用卡尔曼滤波算法将陀螺仪和加速度传感器采集的数据进行姿态融合，从而测得佩戴者的头动数据，并传输至所述头动数据分析模块。

4.根据权利要求3所述的可穿戴式疲劳检测及干预系统，其特征在于，所述眼动数据分析模块采用基于加和梯度的人眼眨眼分析算法进行数据分析，以判断眨眼状态，具体包括以下步骤：

1)接受所述图像采集模块采集的眼动图像；

2)针对图像中每个像素点进行纵向加和计算：针对图像中的像素点，计算该像素点上方m个像素点灰度值sum₁和下方m个像素点的灰度值sum₂，该像素点的纵向加和值T＝sum₁-sum₂；

3)根据经验阈值设置梯度动态范围t；

4)比较提取纵向加和值大于梯度动态范围t的像素点：即当像素点的纵向加和值TT＞t时，保留该像素点，否则舍弃；

5)计算所有保留的像素点的纵向质心，根据其纵向质心的位置判断眨眼状态，并绘制曲线。

5.根据权利要求4所述的可穿戴式疲劳检测及干预系统，其特征在于，所述穿戴装置本体为眼镜，其包括镜片支架及连接在所述镜片支架两侧的左、右支腿。

6.根据权利要求5所述的可穿戴式疲劳检测及干预系统，其特征在于，还包括设置在所述眼镜的支腿上的电源模块。

7.根据权利要求5所述的可穿戴式疲劳检测及干预系统，其特征在于，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；其中，一组蓝光光源与所述红外照明光源集成设置在设有所述摄像头的眼镜支腿上。

8.根据权利要求5所述的可穿戴式疲劳检测及干预系统，其特征在于，所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激。

所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供特定序列的振动。

9.根据权利要求5所述的可穿戴式疲劳检测及干预系统，其特征在于，所述核心处理模块为内嵌有所述眼动数据分析模块、头动数据分析模块、疲劳程度分析模块及控制模块的基于安卓系统的平板电脑，所述平板电脑与所述图像采集模块、头动数据采集模块、促醒模块、红外照明光源通过有线或无线方式建立通信连接。

10.根据权利要求9所述的可穿戴式疲劳检测及干预系统，其特征在于，所述眼镜的支腿上还设置有USB接口，以与所述平板电脑有线连接。