CN105512613A - 一种基于智能手机检测眼睛疲劳的方法 - Google Patents
一种基于智能手机检测眼睛疲劳的方法 Download PDFInfo
- Publication number
- CN105512613A CN105512613A CN201510835170.6A CN201510835170A CN105512613A CN 105512613 A CN105512613 A CN 105512613A CN 201510835170 A CN201510835170 A CN 201510835170A CN 105512613 A CN105512613 A CN 105512613A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- eye
- eyes
- mobile phone
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Telephone Function (AREA)
Abstract
本发明实施例公开了一种基于智能手机检测眼睛疲劳的方法，包括如下步骤：以每隔120毫秒的时间采集1帧图像数据；精确定位包含人眼的小矩形；计算人眼定位矩形的面积，并根据阈值判断眼睛的睁闭情况；计算和更新评价人眼疲劳程度的PERCLOS值；基于PERCLOS值判断眼睛是否疲劳，如果检测到眼睛已经疲劳则根据疲劳程度作出不同的干预措施。本发明实施例通过检测智能手机用户的眼睛疲劳状态，根据疲劳状态值给该用户相应的疲劳干预措施，可以在非常低成本代价下，达到有效保护用户视力和身心健康的目的。
Description
技术领域
本发明涉及计算机技术领域，尤其涉一种基于智能手机检测眼睛疲劳的方法。
背景技术
智能手机的易用性、可玩性(娱乐、社交、多媒体视频等功能)，给人们带来了很多便利，极大丰富了大家的生活，让大家对智能手机产生了非常严重的依赖。据GOOGLE和IPSOS联合推出的对中国市场智能手机情况调查报告称，中国城市智能手机的普及从2012年的33％上升至47％。其中大约有70％的用户每天都会使用智能手机访问互联网，智能手机已经成为了他们生活不可分离的重要部分，而且大部分人在晚上也有使用智能手机的习惯。不可避免地，智能手机的过度使用给用户的身心健康带来了重大的影响，其中数字眼疲劳问题就是一个非常值得重视的问题。数字眼疲劳就是长时间在数字屏幕前产生不适。一些典型的症状包括眼干、眼睛发红甚至眼睛发炎，视力模糊，更为严重的可以造成后背、颈部和肩膀疼痛等问题。而智能手机的普及无疑成为了其中最为主要的幕后凶手。智能手机除了造成眼睛聚焦系统疲劳之外，它释放出的高能量可见光是会给视力健康带来长期影响的。研究显示，过度暴露在高能量可见光下会危害视网膜，引发年龄相关性黄斑变性与白内障等眼部疾病的几率大大增加。而且大部分人并未意识到使用智能手机等电子设备带来的这些消极影响。所以设计一种可以检测用户在使用智能手机过程中的视觉疲劳问题并作提醒或者强制性介入是非常有必要的。
相关的技术方案中没有依赖于智能手机来检测用户使用智能手机设备的用眼疲劳的，已经存在的主要是一些依赖于大量专用硬件并应用在驾驶疲劳的解决方案。
(1)驾驶疲劳检测的方案：驾驶员佩戴的定位眼镜镜框和设置在汽车仪表台上人眼疲劳检测仪；定位眼镜镜框四周设置有标识装置；人眼疲劳检测仪包括壳体、摄像头和图像处理模块、中央处理单元、存储模块、输入模块和报警模块，摄像头的信号输出端通过图像处理模块连接中央处理单元的信号输入端，中央处理单元连接存储模块和输入模块，中央处理单元的信号输出端连接报警模块的信号输入端。
(2)智能手机使用中用眼保护方案：使用智能手机设备的用眼保护解决方案没有基于眼睛疲劳检测的方案，而是仅仅通过检测眼睛与设备距离的简单方法来提醒用户保持适当的用眼距离。
驾驶疲劳检测的方案中依赖于大量的专用硬件，成本高，也并不适用于用户使用智能手机设备过程中相对地理位置变化大的特点。而且方案中眼睛的定位是通过特制的定位眼镜镜框，是接触式的，会给很多用户带来不适感；
基于距离检测和提醒的眼睛保护方案比较简单，可以一定程序上延长导致眼睛疲劳的时间，但并不能检测到眼睛所处的疲劳状态，无法在长时间使用设备后导致眼疲劳的干预；
眼睛疲劳检测方案中由于大量应用在驾驶疲劳检测中，较稳定的光照环境和专用设备能够产生较高质量的图像数据信息，同时驾驶员的姿势比较稳定，这些可以使用上述方案产生较好的检测效果。而对于使用智能手机的用户来说，所处的环境是比较复杂的，在若光线下采取到低质量图像信息是比较正常的情况，而且用户使用手机的姿势也是随着时间会经常变化的，而且用户可能佩戴眼镜。这样就导致这样的方案不能很好地定位人眼。同时这样的算法用同样的处理步骤处理每一帧图像信息，实时效果差，大量的计算任务对智能手机设备正常工作造成干扰。
发明内容
本发明的目的通过手机摄像设备非接触性地采集用户人脸图像，并利用现在智能手机比较的计算处理能力来处理图像检测人眼的疲劳状态，最后也借助智能手机的交互设备(如显示屏、扩音器等设备)和手机操作系统的控制接口来达到反馈结果的目的。
为了解决上述问题，本发明提出了一种基于智能手机检测眼睛疲劳的方法，包括如下步骤：
以每隔120毫秒的时间采集1帧图像数据；
精确定位包含人眼的最小矩形；
计算人眼定位矩形的面积，并根据阈值判断眼睛的睁闭情况；
计算和更新评价人眼疲劳程度的PERCLOS值；
基于PERCLOS值判断眼睛是否疲劳，如果检测到眼睛已经疲劳则根据疲劳程度作出不同的干预措施。
所述方法包括：
使用肤色模型分割肤色区域进行人脸检测。
所述基于PERCLOS值判断眼睛是否疲劳具体为：
PERCLOS计算公式的具体含义就是在30秒内眼睛睁开情况小于0.7次数占总检测次数的比例，PERCLOS值就是在30秒中一次疲劳检测过程中疲劳状态的判断标准。
所述检测到眼睛已经疲劳则根据疲劳程度作出不同的干预措施具体为：
如果是轻度疲劳的状况，使用语音提醒，并使用具有对眼视觉比较友好UI全屏提醒休息和给出眼睛保护建议；
如果是中度疲劳状态，使用语音提醒，并直接触发手机黑屏待机；
如果是重度疲劳状态，使用语音提醒，并短暂时间倒计时后触发关机指令。
所述方法还包括：
如果检测到眼睛未疲劳，则调整眼睛疲劳检测的频率。
通过实施本发明实施例，通过检测智能手机用户的眼睛疲劳状态，根据疲劳状态值给该用户相应的疲劳干预措施，可以在非常低成本代价下，达到有效保护用户视力和身心健康的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于智能手机检测眼睛疲劳的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明拟基于以上原则设计可以较精准检测用户使用智能手机过程中的眼睛状况，即使在采集到的是弱光照等恶劣环境中的较低质量图像信息。在发生不同程度的疲劳状态后激发有效的干预系统，达到阻止眼疲劳恶化而导致的各种问题，同时要尽可能地减少干扰智能手机设备的正常任务执行。
相应的，图1示出了本发明实施例中的基于智能手机检测眼睛疲劳的方法流程图，包括如下步骤：
S101、以每隔120毫秒的时间采集1帧图像数据；
在应用PERCLOS方法对眼睛疲劳程度进行判定时，图像的采样率需要达到一定的要求。采样间隔时间至少小于等于120ms时，PERCLOS的值是稳定的，这样才不会影响疲劳判定结果。
S102、精确定位包含人眼的最小矩形；
S103、计算人眼定位矩形的面积，并根据阈值判断眼睛的睁闭情况；
S104、计算和更新评价人眼疲劳程度的PERCLOS值；
使用基于PERLOG特征的计算方法来评价人眼疲劳状态，指在一定的时间内眼睛闭合时所占的时间比例。根据大量数据研究表明：在单位时间内若眼睛闭合的比例达到了70％以上，满足下面的式子，则可以认为用户已经眼疲劳了。
从PERLOG的定义可以看出，该计算方法的关键在于计算出眼睛的闭合程度。通过前面肤色模型所得的预测的眼睛图像可以计算出两眼的面积，从而表征眼睛的睁开程度是非常好的做法。其具体做法分为下面三个步骤：人眼睁开面积有一个最大值和最小值，记为M左、M右和m左、m右；随着数据的采集，可以得到两眼面积随时间的变化函数，记为s(t)左和s(t)右。其中M左、M右和m左、m右根据每个用户前面所采集到的数据来确定(注：M左和M右为非0的最小值)。
在检测阶段，若s(t)左和s(t)右出现了比M左、M右大的值或出现了比M左和M右小的值，这些值记为M左、M右和m左、m右，在下一帧，调整M左、M右和m左、m右的值。
记左右眼的睁开程度为p(t)左和p(t)右：
p(t)左＝(s(t)左-m左)/(M左-m左)
p(t)右＝(s(t)右-m右)/(M右-m右)
p(t)左和p(t)右是归一化后的值，眼睛睁开程度p(t)和PERLOG为：
PERCLOS计算公式的具体含义就是在30秒内眼睛睁开情况小于0.7(最大睁眼为1)次数占总检测次数的比例。PERCLOS的值就是在30秒中一次疲劳检测过程中疲劳状态的判断标准。
S105、基于PERCLOS值判断眼睛是否疲劳，如果检测到疲劳则进入到S106，否则进入到S107；
S106、根据疲劳程度作出不同的干预措施；
在预测模型中，将眼疲劳分为三个不同程度的级别：轻度眼疲劳、中度眼疲劳和重度眼疲劳。根据预测模型的判断，分别对着三种不同程度眼疲劳给出不同的干预：
如果是轻度疲劳的状况，使用语音提醒，并使用具有对眼视觉比较友好UI全屏提醒休息和给出眼睛保护建议；
如果是中度疲劳状态，使用语音提醒，并直接触发手机黑屏待机；
如果是重度疲劳状态，使用语音提醒，并短暂时间倒计时后触发关机指令。
S107、调整眼睛疲劳检测的频率。
为了避免不断检测疲劳带来的多度消耗资源，在人眼未疲劳的状态下需要调整人眼疲劳检测的频率。在人眼状态越好的时候，需要进行疲劳检测的频率越低。
综上，本发明通过检测智能手机用户的眼睛疲劳状态，根据疲劳状态值给该用户相应的疲劳干预措施，可以在非常低成本代价下，达到有效保护用户视力和身心健康的目的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的基于智能手机检测眼睛疲劳的方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种基于智能手机检测眼睛疲劳的方法，其特征在于，包括如下步骤：
以每隔120毫秒的时间采集1帧图像数据；
精确定位包含人眼的最小矩形；
计算人眼定位矩形的面积，并根据阈值判断眼睛的睁闭情况；
计算和更新评价人眼疲劳程度的PERCLOS值；
基于PERCLOS值判断眼睛是否疲劳，如果检测到眼睛已经疲劳则根据疲劳程度作出不同的干预措施。
2.如权利要求1所述的基于智能手机检测眼疲劳的方法，其特征在于，所述方法包括：
使用肤色模型分割肤色区域进行人脸检测。
3.如权利要求1所述的基于智能手机检测眼睛疲劳的方法，其特征在于，所述基于PERCLOS值判断眼睛是否疲劳具体为：
PERCLOS计算公式的具体含义就是在30秒内眼睛睁开情况小于0.7次数占总检测次数的比例，PERCLOS值就是在30秒中一次疲劳检测过程中疲劳状态的判断标准。
4.如权利要求1所述的基于智能手机检测眼睛疲劳的方法，其特征在于，所述检测到眼睛已经疲劳则根据疲劳程度作出不同的干预措施具体为：
如果是轻度疲劳的状况，使用语音提醒，并使用具有对眼视觉比较友好UI全屏提醒休息和给出眼睛保护建议；
如果是中度疲劳状态，使用语音提醒，并直接触发手机黑屏待机；
如果是重度疲劳状态，使用语音提醒，并短暂时间倒计时后触发关机指令。
5.如权利要求1至4任一项所述的基于智能手机检测眼睛疲劳的方法，其特征在于，所述方法还包括：
如果检测到眼睛未疲劳，则调整眼睛疲劳检测的频率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510835170.6A CN105512613A (zh) | 2015-11-26 | 2015-11-26 | 一种基于智能手机检测眼睛疲劳的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510835170.6A CN105512613A (zh) | 2015-11-26 | 2015-11-26 | 一种基于智能手机检测眼睛疲劳的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105512613A true CN105512613A (zh) | 2016-04-20 |
Family
ID=55720580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510835170.6A Pending CN105512613A (zh) | 2015-11-26 | 2015-11-26 | 一种基于智能手机检测眼睛疲劳的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105512613A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055111A (zh) * | 2016-06-28 | 2016-10-26 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106125935A (zh) * | 2016-06-29 | 2016-11-16 | 广东欧珀移动通信有限公司 | 基于终端设备的视力保护方法、装置和终端设备 |
| CN106200936A (zh) * | 2016-06-29 | 2016-12-07 | 广东欧珀移动通信有限公司 | 基于终端设备的视力保护方法、装置和终端设备 |
| CN106963385A (zh) * | 2017-03-21 | 2017-07-21 | 苏州合欣美电子科技有限公司 | 一种针对看电视者的眼睛疲劳提醒方法及系统 |
| CN107506689A (zh) * | 2017-07-20 | 2017-12-22 | 防城港市港口区天平电子科技有限公司 | 一种判断倒班工人疲劳作业的系统 |
| WO2019095155A1 (zh) * | 2017-11-15 | 2019-05-23 | 华为技术有限公司 | 一种疲劳提示方法和终端 |
| CN111580651A (zh) * | 2020-04-30 | 2020-08-25 | 英华达（上海）科技有限公司 | 终端控制方法、终端及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
| CN102122357A (zh) * | 2011-03-17 | 2011-07-13 | 电子科技大学 | 一种基于人眼睁闭状态的疲劳检测方法 |
| CN102622600A (zh) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | 基于面像与眼动分析的高速列车驾驶员警觉度检测方法 |
| CN104013414A (zh) * | 2014-04-30 | 2014-09-03 | 南京车锐信息科技有限公司 | 一种基于移动智能手机的驾驶员疲劳检测系统 |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
| CN105373767A (zh) * | 2015-07-23 | 2016-03-02 | 中山大学深圳研究院 | 一种智能手机使用的眼睛疲劳检测方法 |
-
2015
- 2015-11-26 CN CN201510835170.6A patent/CN105512613A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101732055A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 驾驶员疲劳检测方法及系统 |
| US9198575B1 (en) * | 2011-02-15 | 2015-12-01 | Guardvant, Inc. | System and method for determining a level of operator fatigue |
| CN102122357A (zh) * | 2011-03-17 | 2011-07-13 | 电子科技大学 | 一种基于人眼睁闭状态的疲劳检测方法 |
| CN102622600A (zh) * | 2012-02-02 | 2012-08-01 | 西南交通大学 | 基于面像与眼动分析的高速列车驾驶员警觉度检测方法 |
| CN104013414A (zh) * | 2014-04-30 | 2014-09-03 | 南京车锐信息科技有限公司 | 一种基于移动智能手机的驾驶员疲劳检测系统 |
| CN104574817A (zh) * | 2014-12-25 | 2015-04-29 | 清华大学苏州汽车研究院（吴江） | 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统 |
| CN105373767A (zh) * | 2015-07-23 | 2016-03-02 | 中山大学深圳研究院 | 一种智能手机使用的眼睛疲劳检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 苑玮琦等: "眼睛疲劳程度判定方法研究", 《计算机工程与应用》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055111A (zh) * | 2016-06-28 | 2016-10-26 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
| CN106125935A (zh) * | 2016-06-29 | 2016-11-16 | 广东欧珀移动通信有限公司 | 基于终端设备的视力保护方法、装置和终端设备 |
| CN106200936A (zh) * | 2016-06-29 | 2016-12-07 | 广东欧珀移动通信有限公司 | 基于终端设备的视力保护方法、装置和终端设备 |
| CN106963385A (zh) * | 2017-03-21 | 2017-07-21 | 苏州合欣美电子科技有限公司 | 一种针对看电视者的眼睛疲劳提醒方法及系统 |
| CN107506689A (zh) * | 2017-07-20 | 2017-12-22 | 防城港市港口区天平电子科技有限公司 | 一种判断倒班工人疲劳作业的系统 |
| WO2019095155A1 (zh) * | 2017-11-15 | 2019-05-23 | 华为技术有限公司 | 一种疲劳提示方法和终端 |
| CN111580651A (zh) * | 2020-04-30 | 2020-08-25 | 英华达（上海）科技有限公司 | 终端控制方法、终端及计算机可读存储介质 |
| CN111580651B (zh) * | 2020-04-30 | 2023-12-15 | 英华达（上海）科技有限公司 | 终端控制方法、终端及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105512613A (zh) | 一种基于智能手机检测眼睛疲劳的方法 | |
| US11726324B2 (en) | Display system | |
| CN109416865B (zh) | 用于监控装置的使用的设备与方法 | |
| US10108262B2 (en) | User physical attribute based device and content management system | |
| CN102028577B (zh) | 眼睛视力智能保护系统 | |
| CN101470460B (zh) | 一种应用计算机时对视力进行保护的方法和计算机 | |
| US10986276B2 (en) | Mobile device | |
| US20220253137A1 (en) | User physical attribute based device and content management system | |
| US9700200B2 (en) | Detecting visual impairment through normal use of a mobile device | |
| CN104391572B (zh) | 具有眼球追踪功能的电子装置及其控制方法 | |
| CN107783643A (zh) | 一种保护用户视力的方法及装置 | |
| DE112015002673T5 (de) | Anzeige zur Informationsverwaltung | |
| WO2017001146A1 (en) | A scene image analysis module | |
| CN105373767A (zh) | 一种智能手机使用的眼睛疲劳检测方法 | |
| CN105204651A (zh) | 一种控制方法及装置 | |
| CN107832029B (zh) | 显示处理方法及装置、终端、计算机可读存储介质 | |
| CN109871169A (zh) | Ui界面调整方法、装置、终端及存储介质 | |
| CN107195163B (zh) | 一种报警方法、装置和可穿戴设备 | |
| US20240000312A1 (en) | System and Method for Monitoring and Responding to Surrounding Context | |
| CN106293421B (zh) | 控制方法及移动终端 | |
| CN109947240B (zh) | 显示控制方法、终端及计算机可读存储介质 | |
| CN111614841B (zh) | 闹钟控制方法、装置、存储介质及移动终端 | |
| CN204859299U (zh) | 显示装置 | |
| CN113946390A (zh) | 一种屏幕显示控制方法、装置、电子设备及存储介质 | |
| CN113824832B (zh) | 提示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |
|
| RJ01 | Rejection of invention patent application after publication |