CN107959756B - 睡眠自动关闭电子设备的系统及其方法 - Google Patents

睡眠自动关闭电子设备的系统及其方法 Download PDF

Info

Publication number
CN107959756B
CN107959756B CN201711240053.0A CN201711240053A CN107959756B CN 107959756 B CN107959756 B CN 107959756B CN 201711240053 A CN201711240053 A CN 201711240053A CN 107959756 B CN107959756 B CN 107959756B
Authority
CN
China
Prior art keywords
state
eye
human body
pupil
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711240053.0A
Other languages
English (en)
Other versions
CN107959756A (zh
Inventor
张捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen pusmei Medical Technology Co., Ltd
Original Assignee
Shenzhen Pusmei Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pusmei Medical Technology Co Ltd filed Critical Shenzhen Pusmei Medical Technology Co Ltd
Priority to CN201711240053.0A priority Critical patent/CN107959756B/zh
Publication of CN107959756A publication Critical patent/CN107959756A/zh
Application granted granted Critical
Publication of CN107959756B publication Critical patent/CN107959756B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种睡眠自动关闭电子设备的系统,包括:眼睛状态检测系统、温度传感系统、体位检测系统及控制系统;其中,所述眼睛状态检测系统用于检测眼睛状态,判断眼睛处于睁开状态或者闭合状态;所述温度传感系统用于检测人体温度;所述体位检测系统用于检测人体体位,判断人体处于活动状态或者静止状态;所述控制系统用于通过所述眼睛状态、所述人体温度及所述人体体位来检测睡眠状态,并向电子设备发送控制命令。本发明提供的睡眠自动关闭电子设备的系统,避免了能源的浪费,节能减排且利于提高用户的睡眠质量。

Description

睡眠自动关闭电子设备的系统及其方法
技术领域
本发明涉及电子技术领域,特别涉及一种睡眠自动关闭电子设备的系统及其方法。
背景技术
随着科学技术的日新月异的发展,电子技术也在不断的向前探索,以满足人们的生活需求。近年来,电子生产行业以突飞猛进的速度迅崛起,我国的电子产品的生产、销售都在逐年快速增加,电子产业已经成为我国国民经济的一大支柱产业,大量新技术、新工艺不断应用于生产实际,大量高、新、精产品层出不穷,电子行业的发展也带动着相关行业的快速发展,拉动了我国国民经济的迅猛增长。电子产品与人们的生活密切相关,电子产品不断地改善着人们的生活方式和生活质量,人们的日常生活越来越离不开电子技术,“电子产品无处不在,电子技术无所不用,我们生活在电子时代”。
电子技术的发展将朝着智能化,集成化的方向发展。电子技术的发展带动各个学科的交叉发展。机械技术、微电子技术、自动控制技术、计算机技术、信息技术、传感控制技术、电力电子技术等形成综合电子技术。从传统的工业、交通、电力等部门扩展到信息及通信、节能、家用电器等各个领域。我国信息产业结构不合理,能源消耗大,环境污染日益严重,资源数量与污染治理约束着电子产业的发展。因此严格要求电子行业的节能减排,对电子产业乃至其它产业的可持续发展具有重要意义。
电视、手机、平板电脑等是现代生活必备的电子设备。在中国,智能手机的普及率达到37%以上,很多人将睡前读书看报的阅读习惯迁移到了智能手机的电子媒体,在睡前人们听着音乐,看着手机很容易睡着;抑或人们在使用电视或者电脑的时候也会悄然入睡。长此以往,不但会造成能源浪费,不利于节能减排,对人睡眠质量也会造成影响,进而影响身体健康。
发明内容
因此,为解决现有技术存在的技术缺陷和不足,本发明提出一种睡眠自动关闭电子设备的系统及其方法。
具体地,本发明一个实施例提出的一种睡眠自动关闭电子设备的系统,包括:
眼睛状态检测系统、温度传感系统、体位检测系统及控制系统;其中,
所述眼睛状态检测系统用于检测眼睛状态,判断眼睛处于睁开状态或者闭合状态;
所述温度传感系统用于检测人体温度;
所述体位检测系统用于检测人体体位,判断人体处于活动状态或者静止状态;
所述控制系统用于通过所述眼睛状态、所述人体温度及所述人体体位来检测睡眠状态,并向电子设备发送关闭控制命令。
在本发明的一个实施例中,所述眼睛状态检测系统包括图像采集单元、眼部识别单元、畸变校正单元及眼睛状态判断单元;其中,
所述图像采集单元用于采集人脸图像;
所述眼部识别单元用于将所述人脸图像提取出眼部区域;
所述畸变校正单元用于将眼部区域图像进行坐标标定以校正所述眼部区域图像;
所述眼睛状态判断单元用于检测校正后的所述眼部区域图像,判断眼睛处于睁开状态或者闭合状态。
在本发明的一个实施例中,所述体位检测系统包括运动传感器,所述运动传感器用于提取人体的运动参数;其中,
当所述运动参数的变化次数小于第一阈值时,人体处于静止状态;
当所述运动参数的变化次数大于第一阈值时,人体处于活动状态。
在本发明的一个实施例中,所述控制系统包括计时单元、状态判断单元及命令单元;其中,
所述计时单元用于记录所述眼睛状态为闭合状态的持续时间,记为第一计时时间;
所述状态判断单元用于分别接收所述眼睛状态检测系统的眼睛状态、温度传感系统的人体温度、体位检测系统的人体体位,并根据所述第一计时时间判断人体是否处于睡眠状态;
所述计时单元用于记录所述眼睛状态为闭合状态的持续时间,记为第一计时时间;
所述命令单元用于根据所述状态判断单元确定的所述睡眠状态控制所述电子设备关机。
在本发明的一个实施例中,所述状态判断单元接收的眼睛状态为闭合状态且所述第一计时时间大于第二阈值时,当所述人体温度的变化值大于第三阈值且所述人体体位为静止状态时确定人体处于所述睡眠状态。
在本发明的一个实施例中,所述命令单元还用于控制所述计时单元的清零操作;其中,
当所述眼睛状态为
睁开状态时,所述命令单元控制所述计时单元将计时清零。
本发明一个实施例提出的另一种睡眠自动关闭电子设备的方法,包括:
根据人脸图像检测眼睛状态;
根据所述眼睛状态、人体温度及人体体位确定人体是否处于睡眠状态;
在确定处于所述睡眠状态时关闭电子设备。
在本发明的一个实施例中,根据人脸图像检测眼睛状态,包括:
根据所述人脸图像提取眼部区域图像;
将所述眼部区域图像进行畸变校正;
通过畸变校正后的所述眼部区域图像确定所述眼睛状态。
在本发明的一个实施例中,通过畸变校正后的所述眼部区域图像确定所述眼睛状态,包括:
根据眼部区域图像定位第一瞳孔中心点;
根据所述第一瞳孔中心点,提取第一瞳孔边界点;
通过所述第一瞳孔边界点定位第二瞳孔中心点;
根据所述第二瞳孔中心点分别计算第一瞳孔面积和第二瞳孔面积;
根据所述第一瞳孔面积和第二瞳孔面积判断所述眼睛状态。
在本发明的一个实施例中,根据所述眼睛状态、人体温度及人体体位确定人体是否处于睡眠状态;包括:
确定所述眼睛状态为闭合且处于闭合状态的持续时间大于第二阈值时,判断在所述第二阈值时间周期内所述人体温度的变化值是否大于第三阈值且所述人体体位是否为静止状态,若是,则确定人体处于睡眠状态。
基于此,本发明具备如下优点:
本发明提供的睡眠自动关闭电子设备的系统及其方法的优点有:
1)本发明通过判断用户眼睛状态确定用户睡眠状态,无需大量训练样本,算法简便,计算效率高;
2)本发明结合眼睛状态、人体温度、人体体位判断睡眠状态,准确率高,降低误判率;
3)本发明判断用户眼睛状态的方法不受眼部图片方向的限制,准确率较高;
4)本发明避免了能源的浪费,节能减排;
5)本发明有利于提高用户的睡眠质量。
通过以下参考附图的详细说明,本发明的其它方面和特征变得明显。但是应当知道,该附图仅仅为解释的目的设计,而不是作为本发明的范围的限定,这是因为其应当参考附加的权利要求。还应当知道,除非另外指出,不必要依比例绘制附图,它们仅仅力图概念地说明此处描述的结构和流程。
附图说明
下面将结合附图,对本发明的具体实施方式进行详细的说明。
图1为本发明实施例提供的一种睡眠自动关闭电子设备的系统示意图;
图2为本发明实施例提供的一种眼睛状态检测系统示意图;
图3为本发明实施例提供的一种控制系统示意图;
图4为本发明实施例提供的一种睡眠自动关闭电子设备的方法示意图;
图5为本发明实施例提供的一种眼睛睁开状态示意图;
图6为本发明实施例提供的一种眼睛闭合状态示意图;
图7为本发明实施例提供的一种眼睛半睁半闭状态示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
实施例一
请参见图1,图1为本发明实施例提供的一种睡眠自动关闭电子设备的系统示意图。该系统包括:
眼睛状态检测系统21、温度传感系统22、体位检测系统23及控制系统24;其中,
所述眼睛状态检测系统21用于检测眼睛状态,判断眼睛处于睁开状态或者闭合状态;
所述温度传感系统22用于检测人体温度;
所述体位检测系统23用于检测人体体位,判断人体处于活动状态或者静止状态;
所述控制系统24用于通过所述眼睛状态、所述人体温度及所述人体体位来检测睡眠状态,并向电子设备发送关闭控制命令。
进一步地,所述眼睛状态检测系统21包括图像采集单元、眼部识别单元、畸变校正单元及眼睛状态判断单元;其中,
所述图像采集单元用于采集人脸图像;
所述眼部识别单元用于将所述人脸图像提取出眼部区域;
所述畸变校正单元用于将眼部区域图像进行坐标标定以校正所述眼部区域图像;
所述眼睛状态判断单元用于检测校正后的所述眼部区域图像,判断眼睛处于睁开状态或者闭合状态。
进一步地,所述体位检测系统23包括运动传感器,所述运动传感器用于提取人体的运动参数;其中,
当所述运动参数的变化次数小于第一阈值时,人体处于静止状态;
当所述运动参数的变化次数大于第一阈值时,人体处于活动状态。
进一步地,所述控制系统24包括计时单元、状态判断单元及命令单元;其中,
所述计时单元用于记录所述眼睛状态为闭合状态的持续时间,记为第一计时时间;
所述状态判断单元用于分别接收所述眼睛状态检测系统21的眼睛状态、温度传感系统22的人体温度、体位检测系统23的人体体位,并根据所述第一计时时间判断人体是否处于睡眠状态;
所述命令单元用于根据所述状态判断单元确定的所述睡眠状态控制所述电子设备关机。
进一步地,所述状态判断单元接收的眼睛状态为闭合状态且所述第一计时时间大于第二阈值时,当所述人体温度的变化值大于第三阈值且所述人体体位为静止状态时确定人体处于所述睡眠状态。
进一步地,所述命令单元还用于控制所述计时单元的清零操作;其中,
当所述眼睛状态为睁开状态时,所述命令单元控制所述计时单元将计时清零。
实施例二
在上述实施例的基础上,本实施例对睡眠自动关闭电子设备的系统进一步说明。
如图1所示,本系统包括眼睛状态检测系统21、温度传感系统22、体位检测系统23及控制系统24。
请参见图2,图2为本发明实施例提供的一种眼睛状态检测系统示意图。其中,眼睛状态检测系统21包括图像采集单元211、眼部识别单元212、畸变校正单元213及眼睛状态判断单元214。
优选地,眼睛状态检测系统21可以设置在电子设备上,也可以独立于电子设备。
图像采集单元211包括相机或者摄像头等具备拍照功能的设备,为了能够在夜间或者光线比较暗的场景下获取到人脸图像,设备必须为夜视拍照设备。
眼部识别单元212用于对眼睛区域的定位,将眼部区域在人脸图像中识别出来,进行后续操作,可以有利于眼睛状态的判断;粗定位眼部区域可以减小系统对非眼部图像的判断降低误差。例如,用户在被窝中睡着后,如果图像采集单元211采集到的图像为被子褶皱图像,此时如果不进行眼部区域的识别的话,被子褶皱很有可能会被判断为眼睛状态,导致产生误差,影响系统的精度。
当用户睡着后,可能处于不同的体位状态,侧着、趴着或者斜着等。当处于趴着的状态时,采集不到人脸图像,默认该场景为眼睛闭合,因为一般人趴着的时候眼睛为闭眼。但是当用户体位为侧着或者斜着时,提取到的眼部区域相对于水平方向发生了挤压和形变,因此通过畸变校正单元213校正眼部区域图像,将眼部区域图像校正为正面水平图像,提高系统的判断精度。
眼睛状态判断单元214判断畸变校正后的眼部区域图像,确定出眼睛处于闭合状态或者睁开状态。眼睛状态判断单元214判断眼睛状态的算法如下所示:
步骤1、将眼部区域图像转化为眼部灰度图,对眼部灰度图进行灰度对比度增强预处理,处理方法为:
f=c*log(1+double(f0))
其中,f0表示原图像,f表示对比度增强后的图像。
将对比度增强后的图像做拉普拉斯滤波处理。
对眼部灰度图进行灰度对比度增强预处理更有利于瞳孔和外部区域的区分;另外拉普拉斯滤波的无方向性可以对眼部图像做各个方向的去噪。
步骤2、将步骤1中处理后的眼部灰度图估算出眼部中心区域,查找眼部中心区域灰度值最小的点,若该点近似位于眼部中心区域的中点,则定位为第一瞳孔中心点;否则,继续查找,直到找到近似位于眼部中心区域的中点附近的灰度值最小点。
步骤3、以第一瞳孔中心点为原点,分别向y轴正半轴方向和y轴负半轴方向各发M条第一射线,第一射线对称于x轴;
计算第一射线方向的灰度梯度,计算步骤如下:
a)、计算第一射线方向的灰度值偏微分:
Figure BDA0001489660410000091
其中,f(i,j)为眼部图像在坐标(i,j)处的灰度值。
b)、计算第一射线方向的灰度梯度:
Figure BDA0001489660410000101
提取D最大的点,记作Dmax;当Dmax>边界点阈值,则该点为瞳孔边界点。其中,边界点阈值选取大于瞳孔和皮肤交界处的灰度梯度且小于瞳孔和眼白交界处的灰度梯度的特定值,根据个体差异自行定义。瞳孔边界点处于瞳孔部分和眼白部分交替处。
步骤4、拟合步骤3中确定的第一瞳孔边界点,将第一瞳孔边界点近似拟合为圆形,通过均值法提取第一瞳孔边界点的中心点;将该中心点作为第二瞳孔中心点。
步骤5、以第二瞳孔中心点为原点,分别向y轴正半轴方向和y轴负半轴方向各发M条第二射线,第二射线对称于x轴;
计算第二射线方向的灰度梯度,计算步骤如下:
a)、计算第二射线方向的灰度值偏微分:
Figure BDA0001489660410000102
其中,f(i,j)为眼部图像在坐标(i,j)处的灰度值。
b)、计算第二射线方向的灰度梯度:
Figure BDA0001489660410000103
选取灰度梯度D最大的点作为第二瞳孔边界点。
步骤6、拟合步骤5中确定的第二瞳孔边界点,将第二瞳孔边界点近似拟合为圆形,计算圆形的面积,将所述圆形面积作为第一瞳孔面积。
步骤7、将第二瞳孔边界点两两直连,连接形成多边形;计算所述多边形面积作为所述第二瞳孔面积。
步骤8、眼部状态公式为:
Figure BDA0001489660410000111
其中,S1为所述第一瞳孔面积,S2为所述第二瞳孔面积;将步骤6和步骤7中得出的第一瞳孔面积和第二瞳孔面积代入眼部状态公式求解眼部状态值;选取第一眼部状态阈值cth1和第二眼部状态阈值cth2;
当θ>cth1时,眼睛处于闭合状态,
当θ<cth2时,眼睛处于睁开状态,
当cth1≤θ≤cth2时,眼睛处于半睁半闭状态。
人的眼睛瞳孔较小,灰度低,不会因为个人生理因素导致瞳孔图像被眼睑遮挡,当正常睁开状态时,瞳孔是完整的,当处于闭合是通孔消失,当处于睁开和闭合中间态时,瞳孔上下边缘被遮挡,因此利用检测瞳孔边界判断眼睛睁闭。
温度传感系统22可以检测人体温度,温度传感器选择红外温度传感器,提高温度检测的精度。当人体进入睡眠状态后,人体的温度会降低,比正常体温低2-3度,因此可以根据体温的变化来判断用户是否进入睡眠状态。
优选地,红外温度传感器可以内置于在电子设备上,也可以独立于电子设备。
体位检测系统23主要包括运动传感器。
优选地,运动传感器可以为运动手环,便于用户佩戴。
预设时间段内运动参数的变化次数,指的是一段时间内运动参数变化了多少次。在用户睡觉且保持身体不动的时候,运动传感器采集到用户的运动参数是不变的,始终保持一个数值。但是,在用户睡觉的时候,用户可能会处于身体本能自然的翻身,那么在用户翻身的过程中,运动参数会随着用户运动而发生变化;在用户翻身结束且保持身体不动后,运动参数又会保持一个数值。运动参数的变化次数越大,说明用户运动的频繁程度越大,运动参数的变化次数越小,说明用户运动的频繁程度越小。
在预设时间段通过运动传感器获得运动参数的变化次数之后,体位检测系统23需要判断在预设时间段内运动参数的变化次数与第一阈值的关系,当运动参数的变化次数小于第一阈值时,人体处于静止状态;当运动参数的变化次数大于第一阈值时,人体处于活动状态。人体处于静止状态时,可以作为人体是否进入睡眠状态的重要标志。
如图3所示,图3为本发明实施例提供的一种控制系统示意图;控制系统24包括状态判断单元241、计时单元242及命令单元243。
状态判断单元241接收眼睛状态检测系统21的眼睛状态、温度传感系统22的人体温度、体位检测系统23的人体体位,即状态判断单元241分别接收眼睛状态检测系统21、温度传感系统22和体位检测系统23的输出值。状态判断单元241读取计时单元242的第一计时时间。当接收到的眼睛状态为闭合时,判断第一计时时间与第二阈值的大小关系;若第一计时时间大于第二阈值时,继续判断人体温度的变化值及人体体位的状态。当人体温度的变化值在第二阈值时间周期内的变化值大于第三阈值,人体体位在第二阈值时间周期内静止状态,此时可以确定出用户处于睡眠状态。
通过眼睛状态、人体温度变化值及人体体位三种参数结合判断是否处于睡眠状态,精度较高,降低误差,提高了用户体验度。
当状态判断单元241接收的眼睛状态为闭合状态时,命令单元243控制计时单元242开始计时;当状态判断单元241接收的眼睛状态为睁开状态时,命令单元243控制所述计时单元242将计时清零,将计时单元242记录的时间记为第一计时时间。
通过状态判断单元241确定出用户处于睡眠状态后,命令单元243发送控制命令至电子设备,将电子设备关闭。
至此,完成了睡眠自动关闭电子设备的操作,有利于节省电量,保证用户在安静的环境下继续休息,提高睡眠质量。
实施例三
请参见图4,图4为本发明实施例提供的一种睡眠自动关闭电子设备的方法示意图;该方法包括如下步骤:
步骤1、根据人脸图像检测眼睛状态;
步骤2、根据所述眼睛状态、人体温度及人体体位确定人体是否处于睡眠状态;
步骤3、通过所述睡眠状态确定是否关闭电子设备。
其中,对于步骤1,可以包括:
步骤a)、根据所述人脸图像提取眼部区域图像;
步骤b)、将所述眼部区域图像进行畸变校正;
步骤c)、通过畸变校正后的所述眼部区域图像确定所述眼睛状态。
其中,对于步骤c,可以包括:
步骤c1)、根据眼部区域图像定位第一瞳孔中心点;
步骤c2)、根据所述第一瞳孔中心点,提取第一瞳孔边界点;
步骤c3)、通过所述第一瞳孔边界点定位第二瞳孔中心点;
步骤c4)、根据所述第二瞳孔中心点分别计算第一瞳孔面积和第二瞳孔面积;
步骤c5)、根据所述第一瞳孔面积和第二瞳孔面积判断所述眼睛状态。
其中,对于步骤2,可以包括:
所述眼睛状态为闭合状态后且所述第一计时时间大于第二阈值时,判断所述第二阈值时间周期内所述人体温度的变化值及所述人体体位的状态,根据判断结果判断人体是否处于睡眠状态;其中,
当所述人体温度的变化值大于第三阈值且所述人体体位为静止状态时人体处于睡眠状态。
实施例四
在上述实施例的基础上,本实施例对睡眠自动关闭电子设备的方法进一步说明。该方法包括:
步骤1、采集人脸图像
采用相机或者摄像头等具备拍照功能的设备采集人脸图像,为了能够在夜间或者光线比较暗的场景下获取到人脸图像,设备必须为夜视拍照设备。
步骤2、检测眼睛状态
首先在人脸图像中对眼睛区域进行定位,将眼部区域在人脸图像中识别出来,进行后续操作,可以有利于眼睛状态的判断;粗定位眼部区域可以减小系统对非眼部图像的判断降低误差。例如,用户在被窝中睡着后,如果图像采集单元采集到的图像为被子褶皱图像,此时如果不进行眼部区域的识别的话,被子褶皱很有可能会被判断为眼睛状态,导致产生误差,影响系统的精度。
将眼部区域图像进行畸变校正。当用户睡着后,可能处于不同的体位状态,侧着、趴着或者斜着等。当处于趴着的状态时,采集不到人脸图像,默认该场景为眼睛闭合,因为一般人趴着的时候眼睛为闭眼。但是当用户体位为侧着或者斜着时,提取到的眼部区域相对于水平方向发生了挤压和形变,因此通过畸变校正单元校正眼部区域图像,将眼部区域图像校正为正面水平图像,提高系统的判断精度。
利用眼睛状态算法判断畸变校正后的眼部区域图像,确定出眼睛处于闭合状态或者睁开状态。判断眼睛状态的算法如下所示:
步骤21、将眼部区域图像转化为眼部灰度图,对眼部灰度图进行灰度对比度增强预处理,处理方法为:
f=c*log(1+double(f0))
其中,f0表示原图像,f表示对比度增强后的图像。
将对比度增强后的图像做拉普拉斯滤波处理。
对眼部灰度图进行灰度对比度增强预处理更有利于瞳孔和外部区域的区分;另外拉普拉斯滤波的无方向性可以对眼部图像做各个方向的去噪。
步骤22、将步骤21中处理后的眼部灰度图估算出眼部中心区域,查找眼部中心区域灰度值最小的点,若该点近似位于眼部中心区域的中点,则定位为第一瞳孔中心点;否则,继续查找,直到找到近似位于眼部中心区域的中点附近的灰度值最小点。
步骤23、以第一瞳孔中心点为原点,分别向y轴正半轴方向和y轴负半轴方向各发M条第一射线,第一射线对称于x轴;
计算第一射线方向的灰度梯度,计算步骤如下:
a)、计算第一射线方向的灰度值偏微分:
Figure BDA0001489660410000161
其中,f(i,j)为眼部图像在坐标(i,j)处的灰度值。
b)、计算第一射线方向的灰度梯度:
Figure BDA0001489660410000162
提取D最大的点,记作Dmax;当Dmax>边界点阈值,则该点为瞳孔边界点。其中,边界点阈值选取大于瞳孔和皮肤交界处的灰度梯度且小于瞳孔和眼白交界处的灰度梯度的特定值,根据个体差异自行定义。瞳孔边界点处于瞳孔部分和眼白部分交替处。
步骤24、拟合步骤23中确定的第一瞳孔边界点,将第一瞳孔边界点近似拟合为圆形,通过均值法提取第一瞳孔边界点的中心点;将该中心点作为第二瞳孔中心点。
步骤25、以第二瞳孔中心点为原点,分别向y轴正半轴方向和y轴负半轴方向各发M条第二射线,第二射线对称于x轴;
计算第二射线方向的灰度梯度,计算步骤如下:
a)、计算第二射线方向的灰度值偏微分:
Figure BDA0001489660410000163
其中,f(i,j)为眼部图像在坐标(i,j)处的灰度值。
b)、计算第二射线方向的灰度梯度:
Figure BDA0001489660410000171
选取灰度梯度D最大的点作为第二瞳孔边界点。
步骤26、拟合步骤25中确定的第二瞳孔边界点,将第二瞳孔边界点近似拟合为圆形,计算圆形的面积,将所述圆形面积作为第一瞳孔面积。
步骤27、将第二瞳孔边界点两两直连,连接形成多边形;计算所述多边形面积作为所述第二瞳孔面积。
步骤28、眼部状态公式为:
Figure BDA0001489660410000172
其中,S1为所述第一瞳孔面积,S2为所述第二瞳孔面积;将步骤26和步骤27中得出的第一瞳孔面积和第二瞳孔面积代入眼部状态公式求解眼部状态值;选取第一眼部状态阈值cth1和第二眼部状态阈值cth2;
当θ>cth1时,眼睛处于闭合状态,
当θ<cth2时,眼睛处于睁开状态,
当cth1≤θ≤cth2时,眼睛处于半睁半闭状态。
步骤3、判断睡眠状态
利用红外温度传感器测量人体的温度,提高温度检测的精度。当人体进入睡眠状态后,人体的温度会降低,比正常体温低2-3度,因此可以根据体温的变化来判断用户是否进入睡眠状态。
通过运动传感器检测人体体位。预设时间段内运动参数的变化次数,指的是一段时间内运动参数变化了多少次。在用户睡觉且保持身体不动的时候,运动传感器采集到用户的运动参数是不变的,始终保持一个数值。但是,在用户睡觉的时候,用户可能会处于身体本能自然的翻身,那么在用户翻身的过程中,运动参数会随着用户运动而发生变化;在用户翻身结束且保持身体不动后,运动参数又会保持一个数值。运动参数的变化次数越大,说明用户运动的频繁程度越大,运动参数的变化次数越小,说明用户运动的频繁程度越小。
在预设时间段通过运动传感器获得运动参数的变化次数之后,判断在预设时间段内运动参数的变化次数与第一阈值的关系,当运动参数的变化次数小于第一阈值时,人体处于静止状态;当运动参数的变化次数大于第一阈值时,人体处于活动状态。人体处于静止状态时,可以作为人体是否进入睡眠状态的重要标志。
当眼睛状态为闭合时,判断第一计时时间与第二阈值的大小关系;若第一计时时间大于第二阈值时,继续判断人体温度的变化值及人体体位的状态。当人体温度的变化值在第二阈值时间周期内的变化值大于第三阈值,人体体位在第二阈值时间周期内静止状态,此时可以确定出用户处于睡眠状态。
当眼睛状态为闭合状态时,计时单元开始计时;当眼睛状态为睁开状态时,计时单元将计时清零,将计时单元记录的时间记为第一计时时间。
通过眼睛状态、人体温度变化值及人体体位三种参数结合判断是否处于睡眠状态,精度较高,降低误差,提高了用户体验度。
当用户处于睡眠状态后,将电子设备关闭。至此,完成了睡眠自动关闭电子设备的操作,有利于节省电量,保证用户在安静的环境下继续休息,提高睡眠质量。
实施例五
本实施例对眼部状态的判断方法举例说明。
请参见图5,图5为本发明实施例提供的眼睛睁开状态示意图。如图所示,选取第一闭合度阈值为0.8,第二闭合度阈值为0.2,拟合第二瞳孔边界点,将第二瞳孔边界点近似拟合为圆形,计算圆形的面积为3.14,将第二瞳孔边界点两两直连,连接形成多边形,计算多边形的面积为2.6,带入眼睛闭合度公式,求得θ为0.17,θ小于第二闭合度阈值为0.2,因此眼睛处于睁开状态。
请继续参见图6,图6为本发明实施例提供的眼睛闭合状态示意图。如图所示,如图所示,选取第一闭合度阈值为0.8,第二闭合度阈值为0.2,拟合第二瞳孔边界点,将第二瞳孔边界点近似拟合为圆形,计算圆形的面积为3.14,将第二瞳孔边界点两两直连,连接形成多边形,计算多边形的面积为0.42,带入眼睛闭合度公式,求得θ为0.86,θ大于第一闭合度阈值为0.2,因此眼睛处于闭合状态。
请参见图7,图7为本发明实施例提供的眼睛半睁半闭状态示意图。如图所示,选取第一闭合度阈值为0.8,第二闭合度阈值为0.2,拟合第二瞳孔边界点,将第二瞳孔边界点近似拟合为圆形,计算圆形的面积为3.14,将第二瞳孔边界点两两直连,连接形成多边形,计算多边形的面积为1.7,带入眼睛闭合度公式,求得θ为0.46,θ大于第二闭合度阈值为0.2,小于第一闭合度阈值为0.8,因此眼睛处于半睁半闭状态。
本发明提出的眼部状态的判断方法,无需大量的高清图像学习模板,能够较好的降低运算复杂度,提高实时性,可靠性高,具有广泛的应用前景,此外本发明无需昂贵复杂的设备,成本低廉。
综上所述,本文中应用了具体个例对本发明一种睡眠自动关闭电子设备的系统及其方法进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制,本发明的保护范围应以所附的权利要求为准。

Claims (6)

1.一种睡眠自动关闭电子设备的系统,其特征在于,包括:眼睛状态检测系统、温度传感系统、体位检测系统及控制系统;其中,
所述眼睛状态检测系统用于检测眼睛状态,判断眼睛处于睁开状态或者闭合状态;所述眼睛状态检测系统包括眼睛状态判断单元,所述眼睛状态判断单元通过畸变校正后的眼部区域图像确定所述眼睛状态,具体用于:1)根据眼部区域图像定位第一瞳孔中心点;2)根据所述第一瞳孔中心点,提取第一瞳孔边界点;3)通过所述第一瞳孔边界点定位第二瞳孔中心点;4)根据所述第二瞳孔中心点分别计算第一瞳孔面积和第二瞳孔面积;5)根据所述第一瞳孔面积和第二瞳孔面积,利用眼部状态公式
Figure FDA0002468318280000011
判断所述眼睛状态;其中,S1为所述第一瞳孔面积,S2为所述第二瞳孔面积;cth1为选取的第一眼部状态阈值,cth2为选取的第二眼部状态阈值;当θ>cth1时,眼睛处于闭合状态,当θ<cth2时,眼睛处于睁开状态,当cth1≤θ≤cth2时,眼睛处于半睁半闭状态;
所述温度传感系统用于检测人体温度;
所述体位检测系统用于检测人体体位,判断人体处于活动状态或者静止状态;
所述控制系统包括计时单元、状态判断单元及命令单元;所述计时单元用于记录所述眼睛状态为闭合状态的持续时间,记为第一计时时间;所述状态判断单元用于分别接收所述眼睛状态检测系统的眼睛状态、所述温度传感系统的人体温度、所述体位检测系统的人体体位;当所述状态判断单元接收的眼睛状态为闭合状态且所述第一计时时间大于第二阈值时,当所述人体温度的变化值大于第三阈值且所述人体体位为静止状态时确定人体处于睡眠状态;所述命令单元用于根据所述状态判断单元确定的所述睡眠状态控制所述电子设备关机。
2.根据权利要求1所述的系统,其特征在于,所述眼睛状态检测系统包括图像采集单元、眼部识别单元、畸变校正单元及眼睛状态判断单元;其中,
所述图像采集单元用于采集人脸图像;
所述眼部识别单元用于将所述人脸图像提取出眼部区域;
所述畸变校正单元用于将眼部区域图像进行坐标标定以校正所述眼部区域图像;
所述眼睛状态判断单元用于检测校正后的所述眼部区域图像,判断眼睛处于睁开状态或者闭合状态。
3.根据权利要求1所述的系统,其特征在于,所述体位检测系统包括运动传感器,所述运动传感器用于提取人体的运动参数;其中,
当所述运动参数的变化次数小于第一阈值时,人体处于静止状态;
当所述运动参数的变化次数大于第一阈值时,人体处于活动状态。
4.根据权利要求1所述的方法,其特征在于,所述命令单元还用于控制所述计时单元的清零操作;其中,
当所述眼睛状态为睁开状态时,所述命令单元控制所述计时单元将计时清零。
5.一种睡眠自动关闭电子设备的方法,其特征在于,包括:
根据人脸图像检测眼睛状态;包括通过畸变校正后的眼部区域图像确定所述眼睛状态,其中包括步骤:1)根据眼部区域图像定位第一瞳孔中心点;2)根据所述第一瞳孔中心点,提取第一瞳孔边界点;3)通过所述第一瞳孔边界点定位第二瞳孔中心点;4)根据所述第二瞳孔中心点分别计算第一瞳孔面积和第二瞳孔面积;5)根据所述第一瞳孔面积和第二瞳孔面积,利用眼部状态公式
Figure FDA0002468318280000031
判断所述眼睛状态;其中,S1为所述第一瞳孔面积,S2为所述第二瞳孔面积;cth1为选取的第一眼部状态阈值,cth2为选取的第二眼部状态阈值;当θ>cth1时,眼睛处于闭合状态,当θ<cth2时,眼睛处于睁开状态,当cth1≤θ≤cth2时,眼睛处于半睁半闭状态;
确定所述眼睛状态为闭合且处于闭合状态的持续时间大于第二阈值时,判断在所述第二阈值时间周期内人体温度的变化值是否大于第三阈值且人体体位是否为静止状态,若是,则确定人体处于睡眠状态;
在确定处于所述睡眠状态时关闭电子设备。
6.根据权利要求5所述的方法,其特征在于,根据人脸图像检测眼睛状态,包括:
根据所述人脸图像提取眼部区域图像;
将所述眼部区域图像进行畸变校正;
通过畸变校正后的所述眼部区域图像确定所述眼睛状态。
CN201711240053.0A 2017-11-30 2017-11-30 睡眠自动关闭电子设备的系统及其方法 Expired - Fee Related CN107959756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711240053.0A CN107959756B (zh) 2017-11-30 2017-11-30 睡眠自动关闭电子设备的系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711240053.0A CN107959756B (zh) 2017-11-30 2017-11-30 睡眠自动关闭电子设备的系统及其方法

Publications (2)

Publication Number Publication Date
CN107959756A CN107959756A (zh) 2018-04-24
CN107959756B true CN107959756B (zh) 2020-09-18

Family

ID=61961977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711240053.0A Expired - Fee Related CN107959756B (zh) 2017-11-30 2017-11-30 睡眠自动关闭电子设备的系统及其方法

Country Status (1)

Country Link
CN (1) CN107959756B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108683816B (zh) * 2018-08-29 2021-03-19 广东小天才科技有限公司 基于穿戴式设备的闹钟关闭方法、装置、设备及存储介质
CN109274817A (zh) * 2018-08-30 2019-01-25 上海与德科技有限公司 基于智能终端的控制方法、装置、智能终端及存储介质
CN113531851B (zh) * 2021-07-08 2022-12-23 青岛海尔空调器有限总公司 辅助治疗的空调控制方法、空调器和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
CN103257877A (zh) * 2013-05-06 2013-08-21 苏州三星电子电脑有限公司 显示设备自动休眠控制系统及其控制方法
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN104318237A (zh) * 2014-10-28 2015-01-28 厦门大学 基于人脸识别的疲劳驾驶预警方法
CN106101415A (zh) * 2016-06-15 2016-11-09 朱森 一种智能手机
CN107133595A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 红外图像的眼睛开闭检测方法
CN206542554U (zh) * 2017-03-15 2017-10-03 常州信息职业技术学院 一种新型耳机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032726B1 (ko) * 2009-09-01 2011-05-06 엘지이노텍 주식회사 눈 상태 검출방법
CN103257877A (zh) * 2013-05-06 2013-08-21 苏州三星电子电脑有限公司 显示设备自动休眠控制系统及其控制方法
CN104021370A (zh) * 2014-05-16 2014-09-03 浙江传媒学院 一种基于视觉信息融合的驾驶员状态监测方法及系统
CN104318237A (zh) * 2014-10-28 2015-01-28 厦门大学 基于人脸识别的疲劳驾驶预警方法
CN106101415A (zh) * 2016-06-15 2016-11-09 朱森 一种智能手机
CN206542554U (zh) * 2017-03-15 2017-10-03 常州信息职业技术学院 一种新型耳机
CN107133595A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 红外图像的眼睛开闭检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《嵌入式驾驶员疲劳检测系统的研究》;胡捷;《中国优秀硕士论文全文数据库》;20150215;第I140-824 *

Also Published As

Publication number Publication date
CN107959756A (zh) 2018-04-24

Similar Documents

Publication Publication Date Title
CN107959756B (zh) 睡眠自动关闭电子设备的系统及其方法
CN105700363A (zh) 一种智能家居设备语音控制装置的唤醒方法及系统
CN104732601A (zh) 一种基于人脸识别技术的高识别率自动考勤装置及方法
CN108197564B (zh) 一种画钟试验的评估系统及方法
TWI603293B (zh) 眨眼偵測方法及裝置
WO2017098265A1 (en) Method and apparatus for monitoring
CN203644047U (zh) 开放式手指静脉认证装置
CN107832744A (zh) 一种婴儿睡眠监测系统及其方法
CN114926957B (zh) 基于智能家居的婴幼儿监护系统及监护方法
CN107943527A (zh) 睡眠自动关闭电子设备的方法及其系统
US10621424B2 (en) Multi-level state detecting system and method
CN110533012A (zh) 一种基于深度学习图像识别的睡眠状态监测节能助老系统
CN111144198B (zh) 智能支架的控制方法和智能支架
CN107273810A (zh) 一种自动学习划定人脸检测兴趣区域的方法
Wu et al. Appearance-based gaze block estimation via CNN classification
CN103019381B (zh) 控制显示屏自动背光的方法
CN112843425B (zh) 基于睡眠枕的睡姿检测方法、装置、电子设备及存储介质
CN109145845A (zh) 住宅权限电子分辨方法
JP4945617B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN112700568A (zh) 一种身份认证的方法、设备及计算机可读存储介质
Zou et al. Design of smart home controller based on raspberry PI
CN110765911A (zh) 闹钟关闭方法及装置
CN112101275B (zh) 多目摄像头的人脸检测方法、装置、设备及介质
CN205721793U (zh) 一种具有脸部识别功能的移动装置
Li et al. Human Action Recognition Based on State Detection in Low-resolution Infrared Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200827

Address after: No.301, 389 AI Nan Road, Nanlian community, Longgang street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen pusmei Medical Technology Co., Ltd

Address before: 710065 No. 86 Leading Times Square (Block B), No. 2, Building No. 1, Unit 22, Room 12202, No. 51, High-tech Road, Xi'an High-tech Zone, Shaanxi Province

Applicant before: Xi'an Cresun Innovation Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200918

Termination date: 20201130