CN103426275B - 检测用眼疲劳度的装置、台灯及方法 - Google Patents

Abstract

本发明公开了一种检测用眼疲劳度的装置、台灯及方法，所述装置包括图像采集模块、图像处理模块和提示模块，所述图像处理模块分别与图像采集模块和提示模块相连；所述图像采集模块用于采集使用者的视频图像；所述图像处理模块用于根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，并根据所述提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号；所述提示模块用于根据所述提示信号进行提示。本发明通过提取人脸特征图像并根据所述人脸部各器官的特征值进行疲劳特征检测，使得疲劳度判断更准确、更有针对性，提醒更及时。

Description

检测用眼疲劳度的装置、台灯及方法

技术领域

本发明涉及疲劳检测技术领域，具体涉及检测用眼疲劳度的装置、台灯及方法。

背景技术

随着社会的发展，人们的生活节奏在逐步加快，来自多方面的压力也越来越大，很多人的疲劳感在加剧，因此，疲劳已经被公认为是一种严重的社会问题。在疲劳状态下工作的人们大多数反应迟钝、注意力分散、记忆力下降，不利于高效工作。

目前对用眼疲劳度的检测主要是根据用眼时间的长短来判断是否疲劳，是否需要休息，在工作量很大的情况下，根据用眼时间来判断是否疲劳，无法做到实时、准确的检测，并且不能对处于疲劳状态的使用者进行及时提醒，达不到检测效果。

发明内容

有鉴于此，本发明实施例提供一种检测用眼疲劳度的装置、台灯及方法，来解决以上背景技术部分提到的问题。

一方面，本发明实施例提供了一种检测用眼疲劳度的装置，包括图像采集模块、图像处理模块和提示模块，所述图像处理模块分别与图像采集模块和提示模块相连；

所述图像采集模块用于采集使用者的视频图像；

所述图像处理模块用于根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，并根据所述提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号；

所述提示模块用于根据所述提示信号进行提示。

其中，所述图像处理模块用于：

从所述采集到的使用者视频图像中提取人脸特征图像；

从所述提取到的人脸特征图像中提取人脸部各器官的特征值。

其中，所述图像处理模块用于：

根据眼睛闭合时间、眨眼频率和持续时间增加、嘴巴变化中的至少一项进行疲劳特征判定。

其中，所述提示模块包括：

显示提示单元，用于显示提示信息；

声音提示单元，用于发出声音提示信息。

其中，所述提示模块还包括：

气味散发单元，用于散发气味。

另一方面，本发明实施例提供了一种检测用眼疲劳度的台灯，其包括上述检测用眼疲劳度的装置。

对应地，本发明实施例还提供了一种检测用眼疲劳度的方法，包括以下步骤：

采集使用者的视频图像；

根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，并根据所述提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号；

根据所述提示信号进行提示。

其中，所述提取人脸特征图像和人脸部各器官的特征值包括：

从所述采集到的使用者视频图像中提取人脸特征图像；

从所述提取到的人脸特征图像中提取人脸部各器官的特征值。

其中，根据所述提取到的人脸部各器官的特征值进行疲劳状态判断包括：

根据眼睛闭合时间、眨眼频率和持续时间增加、嘴巴变化中的至少一项进行疲劳特征判定。

其中，所述根据所述疲劳特征进行提示包括：

显示提示提示信息；

发出声音提示信息。

其中，所述根据所述疲劳特征进行提示还包括：

散发气味提示信息。

本发明实施例提供的检测用眼疲劳度的装置、台灯及方法通过图像采集模块采集使用者的视频图像，图像处理模块根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，根据所述人脸部各器官的特征值进行疲劳检测，当检测到疲劳状态时向提示模块发送提示信号，提示模块根据提示信号进行及时提醒。能够实时检测疲劳状态，且对使用者的疲劳提醒更及时、更准确。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：

图1是本发明第一实施例的检测用眼疲劳度装置的整体结构示意图。

图2是本发明第二实施例的检测用眼疲劳度装置的整体结构示意图。

图3是本发明第三实施例的检测用眼疲劳度装置的整体结构示意图。

图4是本发明第四实施例的检测用眼疲劳度方法的流程图。

图5是本发明第四实施例的疲劳特征检测的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

在图1中示出了本发明的第一实施例。

图1是本发明第一实施例的检测用眼疲劳度装置的整体结构示意图。如图1所示，本实施例所述的检测用眼疲劳度的装置包括图像采集模块11、图像处理模块12和提示模块13，所述提示模块13包括显示提示单元131和声音提示单元132。

所述图像采集模块11用于采集使用者的视频图像。在本实施例一个优选实施方式中，可以采用基于通用串行总线（USB）的摄像头来捕捉使用者的视频图像，将采集到的视频图像发送到图像处理模块进行图像处理。

本领域技术人员可以理解，本实施例所采用的基于通用串行总线（USB）的摄像头来直接捕捉使用者的视频图像并不限制于本发明，所有现有的能够采集使用者视频图像的技术均可应用于本实施例。

所述图像处理模块12用于根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，并根据所述提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号。

首先，图像处理模块根据所述视频图像提取人脸特征图像。具体地，图像处理模块对图像采集模块采集到的每一帧图像划分特征块，并计算帧图像之间特征块的关联度；再根据帧图像之间特征块的差异度和关联度，勾勒出动态区域，由于使用者是动态的，相对于使用者来说其所处的周围背景环境是静态的，这样处理的好处是弱化了背景元素的干扰，以提升判断的准确度；根据勾勒出的动态区域，即人物的简单轮廓特征，进行动态区域激活处理，以缩小判定区域与后续帧的重点跟踪区域，降低误判，提升算法效率；根据重点跟踪的动态区域进行人脸特征图像提取。

其次，从所述提取到的人脸特征图像中提取人脸部各器官的特征值。运用通用的算法从所述提取到的人脸特征图像中提取人脸部各器官的特征值，所述人脸部各器官的特征值包括眼睛闭合时间、眨眼频率和持续时间以及嘴巴的变化。在本实施例中，可以采用子空间分析法、奇异特征值法、特征脸法等方法中的其中一种从人脸特征图像中提取人脸部各器官的特征值，且能够解决人脸特征图像的动态跟踪过程中的遮挡和表情变化等因素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于可读取存储介质中，这里所指的存储介质，如：ROM和RAM等。在本实施例中，可以通过对可编程的数字信号处理器（DigitalSignalProcessing，简称DSP芯片）编程来实现从采集到的使用者视频图像中提取人脸特征图像。

最后，图像处理模块根据提取到的人脸部各器官的特征值进行疲劳特征检测。根据眼睛闭合时间、眨眼频率和持续时间增加及嘴巴的变化中的至少一项进行疲劳特征判定。根据提取到的人脸部各器官的特征值，在检测到疲劳特征时，图像处理模块向提示模块发送提示信号。

例如：图像处理模块在人脸特征图像的动态跟踪中，发现眼睛闭合在持续3到5秒时间内出现缺失或异常、眨眼频率和持续时间增加（在人脸特征图像的动态跟踪过程中，检测到眨眼频率和持续时间较之前的眨眼频率和持续时间增加的趋势）及嘴巴变化（在人脸特征图像的动态跟踪过程中，检测到嘴巴特征值有较大的变化，例如：打哈欠时嘴巴大张），如果出现上述三项中的其中任意一项或者三项中的任意两项（例如：嘴巴大张并且眼睛闭合或者眨眼频率和持续时间增加并且嘴巴大张）或者三项同时出现，均可判定使用者处于疲劳状态，此时图像处理模块就会向提示模块发送提示信号。

所述提示模块13用于根据所述提示信号进行提示。当接收到疲劳提示信号时，提示模块的显示提示单元131显示疲劳状态的信息，可以通过检测用眼疲劳度装置上的显示装置显示提示信息，例如可以为闪烁提示；同时声音提示单元132发出声音信息进行提示，例如可以通过检测用眼疲劳度装置上的音响发出提示声音，提醒使用者调整疲劳状态进行休息。

本实施例通过图像采集模块采集使用者的视频图像，图像处理模块根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，根据所述人脸部各器官的特征值进行疲劳检测，当检测到疲劳状态时向提示模块发送提示信号，提示模块根据提示信号进行及时提醒。从而更准确、更及时的提醒使用者处于疲劳状态。

在图2中示出了本发明的第二实施例。

图2是本发明第二实施例的检测用眼疲劳度装置的整体结构示意图。如图2所示，本实施例所述的检测用眼疲劳度的装置包括图像采集模块21、图像处理模块22、提示模块23，所述提示模块23包括显示提示单元231、声音提示单元232和气味散发单元233。

在第二实施例中，上述检测用眼疲劳度的装置所使用的图像采集模块21和图像处理模块22与第一实施例的图像采集模块11和图像处理模块12相同，在此不再赘述。

从图2中可以看出，与第一实施例不同的是，第二实施例中的提示模块增加了气味散发单元233。

这样处理的好处在于当图像处理模块检测到使用者处于疲劳状态时，向提示模块发送提示信号，提示模块的显示提示单元和声音提示单元根据所述提示信号进行疲劳状态提示，提示使用者调整状态，使用者接收提示模块的提示进行休息，例如：趴在桌子上或者离开图像采集区域，此时图像采集模块捕捉不到人脸图像。当使用者经过一段时间后结束休息重新回到图像采集区域进行工作、学习时，图像采集模块通过摄像头再次捕捉到使用者的人脸图像，此时，提示模块的气味散发单元233散发清新的味道，例如：水果味道、咖啡味道、薄荷味道以及一些提神醒脑能够愉悦身心的味道，来刺激使用者的大脑神经和嗅觉神经，从而振奋精神，继续学习、工作。

本实施例通过图像采集模块采集使用者的视频图像，图像处理模块根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，根据所述人脸部各器官的特征值进行疲劳检测，通过提示模块进行疲劳提示，提醒使用者进行休息，当使用者结束休息重新回到学习、工作区域的时候，提示模块的气味散发单元能够散发清新的味道，刺激使用者的大脑神经和嗅觉神经，从而振奋精神，提高使用者的学习和工作效率。

在图3中示出了本发明的第三实施例。

图3是本发明第三实施例的检测用眼疲劳度装置的整体结构示意图。如图3所示，本实施例所述的检测用眼疲劳度的装置包括图像采集模块31、图像处理模块32、提示模块33、开关与亮度控制模块34和照明模块35，所述提示模块33包括声音提示单元331和气味散发单元332。

在第三实施例中，上述检测用眼疲劳度的装置所使用的图像采集模块31和图像处理模块32与第二实施例的图像采集模块21和图像处理模块22相同，在此不再赘述。

从图3中可以看出，与第二实施例不同的是，第三实施例中用照明模块35替代了第二实施例中的显示提示单元231，并增加了开关与亮度控制模块34，所述开关与亮度控制模块分别与图像处理模块和照明模块相连。

这样处理的好处在于当图像处理模块检测到使用者处于疲劳状态时，向提示模块发送提示信号，提示模块的声音提示单元根据所述提示信号进行疲劳状态提示，提示使用者调整状态进行休息。

当使用者接收提示模块的声音提示单元331的疲劳提示进行休息时，例如：趴在桌子上或者离开图像采集区域，图像采集模块捕捉不到人脸图像，此时开关与亮度控制模块可以直接控制照明灯的灯光变暗或者关闭照明灯。

当使用者经过一段时间后结束休息重新回到图像采集区域进行工作或者学习时，图像采集模块通过摄像头再次捕捉到人脸图像，提示模块的气味散发单元332散发清新的味道来刺激使用者的大脑神经和嗅觉神经，从而振奋精神，此时开关与亮度控制模块可以直接控制照明灯的灯光变亮或者打开照明灯，方便使用者继续学习或工作。

本实施例通过图像采集模块采集使用者的学习和工作状态，图像处理模块根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，根据所述人脸部各器官的特征值进行疲劳检测，提示模块进行疲劳提示，当使用者接收提示进行休息时，开关与亮度控制模块控制照明灯的灯光变暗或者关闭照明灯，当使用者结束休息重新回到学习或者工作区域的时候，开关与亮度控制模块控制照明灯的灯光变亮或者开启照明灯，从而方便使用者使用。

在图4中示出了本发明的第四实施例。

图4是本发明第四实施例的检测用眼疲劳度方法的流程图。具体流程详述如下：

步骤410、采集使用者的视频图像。

步骤420、根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，并根据所述提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号。

步骤430、根据所述提示信号进行提醒。

在本实施例中，步骤420中根据所述视频图像提取人脸特征图像和人脸部各器官的特征值，并根据所述提取到的人脸部各器官的特征值进行疲劳特征检测的流程如图5所示，具体流程详述如下：

步骤421、对采集到的每一帧图像划分特征块，并计算帧图像之间特征块的关联度。

步骤422、根据帧图像之间特征块的差异度和关联度，勾勒出动态区域，由于使用者是动态的，相对于使用者来说背景是静态的，这样处理的好处是弱化了背景元素的干扰，以提升判断的准确度。

步骤423、根据勾勒出的动态区域，即人物的简单轮廓特征，进行动态区域激活处理，以缩小判定区域与后续帧的重点跟踪区域，降低误判，提升算法效率。

步骤424、根据重点跟踪的动态区域进行人脸特征图像提取。

步骤425、从所述提取到的人脸特征图像提取人脸部各器官的特征值。运用通用的算法从所述提取到的人脸特征图像中提取人脸部各器官的特征值，所述人脸部各器官的特征值包括眼睛闭合时间、眨眼频率和持续时间以及嘴巴的变化。在本实施例中，可以采用子空间分析法、奇异特征值法、特征脸法等方法中的其中一种从人脸特征图像中提取人脸部各器官的特征值，且能够解决人脸特征图像的动态跟踪过程中的遮挡和表情变化等因素。

本领域技术人员可以理解，本实施例所采用的人脸特征提取算法并不限制于本发明，所有现有的人脸特征提取技术均可应用于本实施例。

步骤426、根据提取到的人脸部各器官的特征值进行疲劳特征检测，判定所提取的人脸部各器官的特征值是否出现缺失或异常。根据眼睛闭合时间、眨眼频率和持续时间增加及嘴巴的变化中的至少一项进行疲劳特征判定。

例如：图像处理模块在人脸特征图像的动态跟踪中，发现眼睛闭合在持续3到5秒时间内出现缺失或异常、眨眼频率和持续时间增加（在人脸特征图像的动态跟踪过程中，检测到眨眼频率和持续时间较之前的眨眼频率和持续时间增加的趋势）及嘴巴变化（在人脸特征图像的动态跟踪过程中，检测到嘴巴特征值有较大的变化，例如：打哈欠时嘴巴大张），如果出现上述三项中的其中任意一项或者三项中的任意两项（例如：嘴巴大张并且眼睛闭合或者眨眼频率和持续时间增加并且嘴巴大张）或者三项同时出现，均可判定使用者处于疲劳状态，此时图像处理模块就会向提示模块发送提示信号。

若检测到使用者处于疲劳状态，则对使用者进行疲劳状态的提示，执行步骤427。

若检测到使用者不处于疲劳状态，则继续对采集到的下一帧视频图像提取人脸特征图像，执行步骤421。

步骤427、提示使用者处于疲劳状态。提醒使用者调整疲劳状态进行休息，避免在疲劳状态下学习或者工作。

本实施例通过采集使用者的视频图像，从所述视频图像提取人脸特征图像和人脸部各器官的特征值，根据所述人脸部各器官的特征值进行疲劳检测，当检测到疲劳状态时向提示模块发送提示信号，提示模块根据提示信号进行及时提醒。能够实时检测到使用者的精神状态，使得疲劳度判断更准确，提醒更及时。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种检测用眼疲劳度的装置，其特征在于，包括图像采集模块、图像处理模块和提示模块，所述图像处理模块分别与图像采集模块和提示模块相连；

所述图像采集模块用于采集使用者的视频图像；

所述图像处理模块用于对采集到的使用者的每一帧视频图像进行划分特征块处理，并计算各帧图像之间的特征块的差异度和关联度；根据所述差异度和关联度确定动态区域；从所述动态区域中提取人脸特征图像；从提取到的人脸特征图像中提取人脸部各器官的特征值；根据提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号；

所述提示模块用于根据所述提示信号进行提示。

2.根据权利要求1所述的一种检测用眼疲劳度的装置，其特征在于，所述图像处理模块用于：

根据眼睛闭合时间、眨眼频率和持续时间增加、嘴巴变化中的至少一项进行疲劳特征判定。

3.根据权利要求1所述的一种检测用眼疲劳度的装置，其特征在于，所述提示模块包括：

显示提示单元，用于显示提示信息；

声音提示单元，用于发出声音提示信息。

4.根据权利要求1所述的一种检测用眼疲劳度的装置，其特征在于，所述提示模块还包括：

气味散发单元，用于散发气味。

5.一种检测用眼疲劳度的台灯，其特征在于，包括如权利要求1至4中任一权利要求所述的检测用眼疲劳度的装置。

6.一种检测用眼疲劳度的方法，其特征在于，包括：

采集使用者的视频图像；

对采集到的使用者的每一帧视频图像进行划分特征块处理，并计算各帧图像之间的特征块的差异度和关联度；

根据所述差异度和关联度确定动态区域；

从所述动态区域中提取人脸特征图像；

从提取到的人脸特征图像中提取人脸部各器官的特征值；

根据提取到的人脸部各器官的特征值进行疲劳特征检测，在检测到疲劳特征时，向提示模块发送提示信号；

根据所述提示信号进行提示。

7.根据权利要求6所述的一种检测用眼疲劳度的方法，其特征在于，根据所述提取到的人脸部各器官的特征值进行疲劳状态判断包括：

根据眼睛闭合时间、眨眼频率和持续时间增加、嘴巴变化中的至少一项进行疲劳特征判定。

8.根据权利要求6所述的一种检测用眼疲劳度的方法，其特征在于，所述根据所述疲劳特征进行提示包括：

显示提示信息；

发出声音提示信息。

9.根据权利要求6所述的一种检测用眼疲劳度的方法，其特征在于，所述根据所述疲劳特征进行提示还包括：

散发气味提示信息。