CN107340849A - 移动装置及其护眼控制方法 - Google Patents

移动装置及其护眼控制方法 Download PDF

Info

Publication number
CN107340849A
CN107340849A CN201610277983.2A CN201610277983A CN107340849A CN 107340849 A CN107340849 A CN 107340849A CN 201610277983 A CN201610277983 A CN 201610277983A CN 107340849 A CN107340849 A CN 107340849A
Authority
CN
China
Prior art keywords
image
user
mobile device
processor
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610277983.2A
Other languages
English (en)
Inventor
徐宛真
苏姮月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hannstouch Solution Inc
Original Assignee
Hannstouch Solution Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hannstouch Solution Inc filed Critical Hannstouch Solution Inc
Priority to CN201610277983.2A priority Critical patent/CN107340849A/zh
Priority to US15/243,956 priority patent/US10171741B2/en
Publication of CN107340849A publication Critical patent/CN107340849A/zh
Priority to US16/203,620 priority patent/US10986276B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本发明提供一种移动装置及其护眼控制方法。移动装置包括显示屏幕、图像撷取单元、以及处理器。显示屏幕用以显示信息。图像撷取单元拍摄第一图像。处理器耦接此图像撷取单元以获得第一图像。处理器对此第一图像进行人脸检测,以判断此第一图像是否具备使用者的人脸信息。处理器计数在此第一图像已具备所述人脸信息时的时间段,将这些时间段累计为累加时间,并且处理器通过此累加时间与时间阀值来判断是否进行护眼操作。移动装置可借此来提醒使用者进行护眼动作,避免使用者的眼睛使用过度。

Description

移动装置及其护眼控制方法
技术领域
本发明是有关于一种移动装置的控制技术,且特别是有关于一种具备使用者护眼功能的移动装置及其护眼控制方法。
背景技术
由于无线传输技术的发达以及信息环境的成熟,愈来愈多人使用手持式移动装置(手机、个人数字助理、或是平板电脑)来处理许多事情,例如以通讯软件与朋友相互联系、观看网络信息或视频图像、玩游戏…等。基于手持式移动装置的普及化以及便利性,使用者往往会长时间或经常地使用手持式移动装置,导致使用者产生与用眼过度或不当观看姿势有关的文明病。换句话说,由于手持式移动装置的显示屏幕较小,且若是使用者并未注意眼睛与显示屏幕之间的距离、眼睛对于显示屏幕的视角或使用者姿势的话,将可能造成用眼过度,导致使用者的眼睛逐渐产生酸涩甚至视力衰退等问题。
因此,如何通过现代科技来提醒使用者适当地使用移动装置而不使用过度,便是目前厂商正在研究的方向之一。
发明内容
本发明提供一种具备使用者护眼功能的移动装置及其护眼控制方法,其可主动检测与记录使用者在注视移动装置的时间、观看距离和/或眼部动作(如,眨眼、斜眼注视屏幕…等),并借此来提醒使用者进行护眼动作,从而避免使用者的眼睛使用过度。
本发明的移动装置包括显示屏幕、图像撷取单元以及处理器。显示屏幕用以显示信息。图像撷取单元用以拍摄与移动装置中显示屏幕的显示方向相同方向的第一图像。处理器耦接所述图像撷取单元以获得第一图像。处理器对所述第一图像进行人脸检测,以判断所述第一图像是否具备使用者的人脸信息。处理器计数在所述第一图像已具备所述人脸信息时的多个时间段,将所述时间段累计为累加时间。并且,此处理器通过累加时间与时间阀值进行判断。当累加时间大于时间阀值时,处理器进行护眼操作。所述护眼操作包括:使所述移动装置的显示屏幕出现提醒信息或警示信息、暂时关闭所述显示屏幕、或是将所述移动装置关机。
本发明的移动装置的护眼控制方法包括下列步骤,且所述移动装置包括图像撷取单元。通过所述图像撷取单元撷取第一图像。对所述第一图像进行人脸检测,以判断所述第一图像是否具备使用者的人脸信息。计数在第一图像已具备所述人脸信息时的多个时间段,并将所述时间段累计为累加时间。以及,通过所述累加时间与时间阀值进行判断,当所述累加时间大于所述时间阀值时,进行所述护眼操作。
本发明的移动装置包括显示屏幕、图像撷取单元以及处理器。显示屏幕用以显示信息。图像撷取单元拍摄第一图像。处理器耦接所述图像撷取单元以获得第一图像。其中所述处理器对所述第一图像进行人脸检测以从第一图像中获得使用者的人脸信息,检测所述人脸信息的左脸面积与右脸面积,且当所述左脸面积及所述右脸面积之间的比例在预定时间内不等于预设比例时,判断所述使用者以斜眼方式观看所述显示屏幕,并进行所述护眼操作。
基于上述,本发明实施例所述的移动装置及其护眼控制方法可通过图像撷取单元来主动检测与记录使用者在使用移动装置的时间段、使用者观看显示屏幕的视角以及观看距离、甚至是使用者的眼部动作(如,眨眼或使斜眼观看显示屏幕…等动作),并通过累加的时间段判断是否提醒使用者保护眼睛,或是进行护眼操作,从而避免使用者的眼睛使用过度,来达到提醒正确地使用移动装置的功能,且避免使用者长久地或不当地注视显示屏幕而伤害眼睛。此外,本发明实施例还可通过分析使用者的人脸信息来获知使用者目前的健康状况,进而提供相应的建议。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例的一种移动装置的功能方块图;
图2是依照本发明第一实施例的一种移动装置的护眼控制方法的流程图;
图3是依照本发明第二实施例的一种移动装置的护眼控制方法的流程图;
图4A以及图4B为相邻的两个时间段的示意图;
图5是依照本发明第三实施例的一种移动装置的护眼控制方法的流程图;
图6A及图6B为估计使用者在看向显示屏幕的视角的示意图;
图7是依照本发明第四实施例的一种移动装置的护眼控制方法的流程图;
图8是依照本发明第五实施例的一种移动装置的护眼控制方法的流程图;
图9A及图9B是依照本发明第五实施例的人脸信息的左脸面积与右脸面积示意图。
附图标记说明:
100:移动装置;
110:显示屏幕;
120:图像撷取单元;
130:处理器;
600:使用者;
610、620:人脸信息;
S210~S250、S310~S350、S510~S540:步骤;
T1、T2:时间段;
TD:累加时间;
A1、A2:间隔;
M1、M2:第一图像;
θ1、θ2:使用者对于显示屏幕的视角。
具体实施方式
为了提醒使用者不过度使用眼睛,本发明实施例通过移动装置中的图像撷取单元来获取使用者的人脸信息,并通过图像分析技术来主动检测使用者的观看时间、使用者观看显示屏幕的视角、使用者与显示屏幕之间的观看距离、以及使用者的眼部动作(如,眨眼或斜眼观看显示屏幕…等动作),从而综合考量这些参数以判断是否进行护眼操作(如,提醒使用者休息或是强制关机…等),借以避免使用者的双眼过度疲劳。以下提供符合本发明精神的实施例以作为应用本发明者的参考。
图1是依照本发明一实施例的一种移动装置100的功能方块图。移动装置100至少包括显示屏幕110、图像撷取单元120以及处理器130。处理器130耦接图像撷取单元120以及显示屏幕110。本发明实施例所指的移动装置100可以是智能移动电话、功能型移动电话、平板电脑、个人数字助理…等具备显示屏幕110并可让使用者手持的电子装置。显示屏幕110可以是液晶显示屏幕、主动有机发光二极管(AMOLED)显示屏幕…等。处理器130可控制显示屏幕110以显示文字或图像信息。
在本实施例中,图像撷取单元120用来拍摄操作此移动装置100的使用者的脸部情形,从而判断使用者是否正在注视显示屏幕110、估计注视显示屏幕110的视角以及估计使用者眼睛与移动装置100之间的距离…等参数。换句话说,图像撷取单元120用以拍摄与移动装置100中显示面板110的显示方向相同方向的第一图像,并且图像撷取单元120会将此第一图像传输至处理器130以供后续处理。在实作上,图像撷取单元120应为移动装置100的后置镜头,才能拍摄到正在注视移动装置100的使用者。在部分实施例中,移动装置100可以有多个镜头(如,前置镜头与后置镜头),本发明实施例是将移动装置100的后置镜头来作为本发明实施例的图像撷取单元120来使用。在其他实施例中,移动装置100也可通过无线通讯来外接位于移动装置100外部的图像撷取单元120,从而达到本发明实施例中“拍摄操作此移动装置100的使用者的脸部情形”的效果。
本发明实施例可将使用者在使用移动装置100的各个分离的时间段进行累加,并通过累加后的时间信息来判断使用者是否过度用眼而需要进行护眼操作。图2是依照本发明第一实施例的一种移动装置100的护眼控制方法的流程图。请同时参照图1及图2,在步骤S210中,处理器130通过图像撷取单元120来拍摄或撷取第一图像。换句话说,图像撷取单元120拍摄第一图像,并且处理器130从图像撷取单元120处来获得所述第一图像。图像撷取单元120可以是移动装置100的后置镜头,也就是与显示屏幕110位于同侧的镜头。
在步骤S220中,处理器130对此第一图像进行人脸检测,以判断此第一图像是否具备使用者的人脸信息。所谓的“人脸检测”也可以称为是“人像脸部辨识技术”,应用本实施例者可依据目前的人像脸部辨识技术来判断使用者是否正在注视移动装置100。若步骤S220为是,表示移动装置100正在被使用者使用及注视,因此处理器130则进入步骤S230以计数在此第一图像已具备使用者人脸信息时的时间段,借以知悉此使用者在此时注视移动装置100的显示屏幕110的时间有多长。
若此时间段已超过预设的或是使用者设定的阀值(例如,每次使用时间的阀值被设定为30分钟)的话,则表示使用者已用眼过度而需要让眼睛休息,因此将会进行护眼操作。由于大多数的使用者不会直接使用移动装置100如此长的时间,并且使用者通常是在不同时间段中累计加总的时间过长,但是目前尚未有相关机制来将使用者在不同时间使用移动装置100的时间段进行累加。因此,在步骤S240中,处理器130将使用者在注视显示屏幕时的这些分离的时间段进行累计,以计算出一个累加时间,并同时回到步骤S220以持续地判断第一图像中是否有人脸信息,从而获得上述的时间段。与此同时,在步骤S250中,处理器130将会通过上述的累加时间与时间阀值来判断是否进行护眼操作。例如,本发明实施例的移动装置100会每天固定时间将此累加时间归零,并且当上述的累加时间在同一天内达到例如两小时(时间阀值)的话(也就是累加时间大于时间阀值的时候),表示使用者用眼过度,因此需要进行护眼操作。时间阀值可以是移动装置100在出厂时预设的数值,此时间阀值也可让使用者来设定其所需的数值。
本实施例的护眼操作例如可以包括下列操作:处理器130使移动装置100的显示屏幕110出现提醒信息或警示信息,或使移动装置100通过其音讯设备来发出声音来提醒使用者已过度用眼。若使用者在同天内已经多次触发护眼操作时,则处理器130还可以通过暂时关闭显示屏幕110、将移动装置100强制进入休眠待机状态、或是直接将移动装置100关机。此处的护眼操作可依使用者需求以及移动装置100上的相应功能元件来适度地调整,只要能够让使用者知悉其已用眼过度即可。
特别说明的是,本发明实施例的处理器130还可以判断是否自动累计相邻的时间段,让相隔在间隔阀值内的时间段另外进行累计以成为另一个累加时间TD,并通过此累加时间TD来判断是否进行护眼操作。图3是依照本发明第二实施例的一种移动装置100的护眼控制方法的流程图。请同时参照图1及图3,其中图3中的步骤S310、S320及S330与图2中的步骤S210、S220与S230相同。
在步骤S332中,处理器130判断从步骤S330所计算得到的此时间段与前一个时间段之间的时间间隔是否超过预设的间隔阀值(例如,此间隔阀值设定为10分钟)。为了方便说明,请参照图4A以及图4B并配合图3的相应步骤。图4A以及图4B为相邻的两个时间段的示意图,其中间隔A1并未超过间隔阀值,而间隔A2已超过间隔阀值。详细来说,处理器130在获得从步骤S330所计算得到的时间段T2后,会判断前一次的时间段T1与本次的时间段T2之间的间隔A1及A2是否超过间隔阀值(10分钟)。当步骤S330为否(如图4A所示),则进入步骤S340,处理器130将位于间隔A1、A2之后的时间段T2累计至累加时间TD中。假设时间段T1之前并未有其他时间段,则在图4A的右方处,累加时间TD便为时间段T1加时间段T2。相对地,当步骤S330为是(如图4B所示),表示时间段T1不会加入到累加时间中,则从步骤S332进入步骤S334,处理器130便会先行将累加时间TD归零(也就是先行设定TD=0)。然后,在步骤S340中,处理器130将位于时间间隔之后的时间段T2累计至累加时间TD中。因此,此时的累加时间TD变为仅剩下时间段T2,而无其他的时间段信息。
回到图3,在步骤S350中,处理器130将会通过上述的累加时间TD与时间阀值来判断是否进行护眼操作。例如,当相隔不到间隔阀值(10分钟)的累加时间TD超过时间阀值(如,60分钟)时,则处理器130便进行护眼操作。
请回到图1,本发明实施例的处理器130还可以从第一图像中获得使用者的人脸信息,并通过人脸信息来估计使用者在看向显示屏幕的视角,从而判断使用者看向移动装置100的视角是否为建议的护眼角度区间(如,15度至30度)之间,让使用者维持良好的使用习惯。图5是依照本发明第三实施例的一种移动装置100的护眼控制方法的流程图。请同时参照图1及图5,在步骤S510中,处理器130通过图像撷取单元120撷取第一图像。在步骤S520中,处理器130对第一图像进行人脸检测以从此第一图像中获得使用者的人脸信息。在步骤S530中,处理器130通过所述人脸信息来估计使用者在看向显示屏幕110的视角。之后,在步骤S540中,处理器130判断所述视角是否位于护眼角度区间(例如,15度至30度的角度区间),从而判断是否进行护眼操作。上述的护眼角度区间可由移动装置100在出厂时预先设定,也可由使用者来自行调整。
特别说明的是,本发明实施例可通过多种方式来估计图5中步骤S530的视角。第一种方式为,处理器130可分析人脸信息中的眼睛部分,并将眼睛部分的眼白区域跟瞳孔区域进行分析,借以判断使用者的视角。第二种方式为,处理器130可依据使用者的人脸信息中的眼球部分以及耳朵部分来估计使用者在看向显示屏幕110的视角。例如,当第一图像中仅出现使用者的单个耳朵部份以及两个眼球部分的话,表示使用者的眼睛应没有看向移动装置100的显示屏幕110,而是将眼睛视线看向他方。另一方面,处理器130在判断出人脸信息中的眼球部分以及耳朵部分之后,就可以根据人脸面积、眼球部分以及耳朵部分之间的距离…等参数来判断使用者的视角。
估计使用者视角的第三种方式则为,处理器130可依据所述人脸信息位于第一图像的位置来估计使用者在看向显示屏幕110的视角。图6A及图6B为估计使用者600在看向显示屏幕110的视角的示意图。请参照图6A,当使用者600在看向显示屏幕110的视角θ1为约略90度时,图像撷取单元120所拍摄的第一图像M1便会如图6A左侧所绘示,使用者600的人脸信息610便会位于第一图像M1的正中央。请参照图6B,当使用者600在看向显示屏幕110的视角θ2为约略15度至30度时,图像撷取单元120所拍摄的第一图像M2便会如图6B左侧所绘示,使用者600的人脸信息620便会位于第一图像M1的下方。如此一来,移动装置100中的处理器便可依据使用者600的人脸信息位于第一图像的位置来估计使用者600在看向显示屏幕110的视角。
另一方面,图1的处理器130还可以通过分析使用者的人脸信息来提供相关的健康信息给使用者。例如,处理器130可以通过分析使用者的人脸信息来得知使用者眼睛到移动装置100之间的距离,并在此距离过短时进行护眼操作。处理器130还可分析使用者的人脸信息中眼白部分的颜色及血丝分布情形,从而判断使用者的肝功能情况,并提供相关建议,甚至建议使用者补充睡眠。处理器130还可分析人脸信息中的轮廓,以判断使用者的体重是否增加或减少。处理器130还可分析人脸信息中的肤质,以通过显示屏幕110来显示使用者的肤质建议信息。
本发明实施例的移动装置100除了通过连续或不连续的时间段以及使用者观看显示屏幕110的视角来做为是否进行护眼操作的判断依据以外,还可通过使用者的眼部动作(如,眨眼次数、斜眼观看显示屏幕…等)来判断是否通过护眼操作来提醒使用者,避免使用者产生不良的眼部使用习惯。
依据医学相关研究机构所做的调查显示,一般人的眨眼次数约略为每分钟15次至20次;看书时的眨眼次数约略为每分钟10次;操作电脑时的眨眼次数约略为4次至5次,而当使用者在驾车或玩游戏时的眨眼次数仅为2次至3次。若眨眼次数减少到每分钟10次左右,眼睛仍然可以维持泪液膜的完整,但若减到每分钟4次至5次时,就会出现眼睛干涩的症状。依照上述数据即可得知,当使用者愈专心时,每分钟眨眼的次数则会愈低。长时间不眨眼会使泪液快速挥发,导致眼睛过度干燥。另外,长时间看近物,睫状肌会呈现紧绷状态,眼睛容易疲劳,尤其远视者,更容易有睫状肌过度使用的情形。上述因素将会加速泪液分泌不足,因而导致眼睛酸涩甚至干眼症的情形更为严重。因此,本发明第四实施例的移动装置100中的处理器130还可以从第一图像中人脸信息的眼睛部分来计算使用者在从多个时间段累计而成的累加时间内的眨眼次数,依据此眨眼次数来判断是否进行护眼操作(如,提醒使用者眨眼次数过少),借以避免使用者在观看显示屏幕时过度专心而忘记眨眼。
图7是依照本发明第四实施例的一种移动装置100的护眼控制方法的流程图。请同时参照图1及图7,在步骤S710中,处理器130通过图像撷取单元120撷取第一图像,并依据此第一图像中人脸信息的眼睛部分来计算使用者在上述累加时间内的眨眼次数。在步骤S720中,处理器130便依据此眨眼次数来判断是否进行护眼操作。步骤S720可由步骤S722及724来组成。在步骤S722中,处理器130判断此段预定时间内的眨眼次数是否低于预设数值。在本实施例中,此预设数值可以是每分钟4次或每分钟5次。当眨眼次数低于上述的预设数值时,则从步骤S722进入步骤S724,处理器130便会进行护眼操作。相对地,当眨眼次数高于上述的预设数值时,则从步骤S722回到步骤S710,使处理器130持续检测使用者在预定时间内的眨眼次数。
在此提出以“斜眼”作为使用者眼部动作的第五实施例,并期望可通过移动装置100来协助调整或矫正使用者的斜视问题。“斜眼”是眼睛的一种不正常情况。具斜视的人的双眼无法对准同一位置,因而使得双眼视觉能力以及对景深的感觉都比视力正常者低。斜视可以导致弱视等较为严重的视力问题。为了避免后天斜视,本发明第五实施例的移动装置100中的处理器130还可以依据第一图像中人脸信息来计算其中的左脸面积以及右脸面积,当在预定时间内的左脸面积以及右脸面积不对称时(也就是,左脸面积及右脸面积之间的比例差异过大),表示使用者长时间地以斜眼方式在观看显示屏幕110,此时便需进行护眼操作以避免使用者养成后天斜视的习惯。
图8是依照本发明第五实施例的一种移动装置100的护眼控制方法的流程图。图9A及图9B是依照本发明第五实施例的人脸信息的左脸面积与右脸面积示意图。请同时参照图1及图8,在步骤S810中,处理器130通过图像撷取单元120撷取第一图像,并计算此第一图像中人脸信息的左脸面积与右脸面积。在步骤S820中,处理器130判断左脸面积及右脸面积之间的比例在预定时间内是否等于预设比例。例如,请参照图9A,当并未具备斜视的使用者在观看显示屏幕110时,图像撷取单元120所撷取到的图像910如图9A所示,其右脸面积920及左脸面积930的比例理论上应为接近1:1(预设比例)。在实作上,可由脸部轮廓、右眼以及鼻子之间的面积来作为右脸面积920,由脸部轮廓、左眼以及鼻子之间的面积来作为左脸面积930。然而,若具备斜视的使用者在观看显示屏幕110时,则会如图9B所示,其右脸面积920及左脸面积930的比例便不会是接近1:1(例如,可设定左脸与右脸面积比值在0.9~1.1为预设的正常值),而是依照其斜视的方向所对应的该脸面积(如,左脸面积932)大于另一脸面积(如,右脸面积922),如右脸面积与左脸面积的比例可能是2:3或是1:2。因此,当左脸面积及右脸面积之间的比例在预定时间内不等于所述预设比例时,便从步骤S820进入步骤S830,处理器130便判断此使用者以斜眼方式观看显示屏幕110,并进行上述护眼操作。另一方面,当左脸面积及右脸面积之间的比例在预定时间内等于所述预设比例时,便从步骤S820回到进步骤S810,处理器130便持续检测使用者是否有斜眼观看显示屏幕110的情况发生。
综上所述,本发明实施例所述的移动装置及其护眼控制方法可通过图像撷取单元来主动检测与记录使用者在使用移动装置的时间段、使用者观看显示屏幕的视角以及观看距离,并通过累加的时间段判断是否提醒使用者保护眼睛,或是进行护眼操作,从而避免使用者的眼睛使用过度,来达到提醒正确地使用移动装置的功能,且避免使用者长久地或不当地注视显示屏幕而伤害眼睛。此外,本发明实施例还可通过分析使用者的人脸信息来获知使用者目前的健康状况,进而提供相应的建议。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种移动装置,其特征在于,包括:
显示屏幕,用以显示信息;
图像撷取单元,其中所述图像撷取单元用以拍摄与所述移动装置中显示屏幕的显示方向相同方向的第一图像;以及
处理器,耦接所述图像撷取单元以获得所述第一图像,
其中所述处理器对所述第一图像进行人脸检测,以判断所述第一图像是否具备使用者的人脸信息,
所述处理器计数在所述第一图像已具备所述人脸信息时的多个时间段,将所述多个时间段累计为累加时间,并且所述处理器通过所述累加时间与时间阀值进行判断,当所述累加时间大于所述时间阀值时,所述处理器进行护眼操作,其中所述护眼操作包括:使所述移动装置的显示屏幕出现提醒信息或警示信息、暂时关闭所述显示屏幕、或是将所述移动装置关机。
2.根据权利要求1所述的移动装置,其特征在于,所述处理器判断相邻的两个时间段之间的间隔是否超过间隔阀值,
当相邻的两个时间段之间的所述间隔并未超过所述间隔阀值时,所述处理器将所述多个时间段累计至所述累加时间中,并且,
当相邻的两个时间段之间的间隔已超过所述间隔阀值时,所述处理器将所述累加时间归零,并将位于所述间隔之后的所述多个时间段累计至所述累加时间中,
其中,所述时间阀值与所述间隔阀值为所述移动装置预设的数值或是让所述使用者设定的数值。
3.根据权利要求1所述的移动装置,其特征在于,在所述第一图像已具备所述人脸信息时,所述处理器还对所述第一图像进行眼球检测,以判断所述使用者是否确实注视所述移动装置的所述显示屏幕,从而在所述使用者确实注视所述显示屏幕时计数所述多个时间段。
4.根据权利要求1所述的移动装置,其特征在于,所述处理器依据所述第一图像中所述人脸信息的眼睛部分来计算所述使用者在所述累加时间内的眨眼次数,并依据所述眨眼次数来判断是否进行所述护眼操作,
其中当所述眨眼次数低于预设数值时,所述处理器进行所述护眼操作。
5.根据权利要求1所述的移动装置,其特征在于,所述处理器计算所述第一图像中所述人脸信息的左脸面积与右脸面积,且当所述左脸面积及所述右脸面积之间的比例在预定时间内不等于预设比例时,判断所述使用者以斜眼方式观看所述显示屏幕,并进行所述护眼操作。
6.一种移动装置的护眼控制方法,其中所述移动装置包括图像撷取单元,其特征在于,所述护眼控制方法包括:
通过所述图像撷取单元撷取第一图像;
对所述第一图像进行人脸检测,以判断所述第一图像是否具备使用者的人脸信息;
计数在所述第一图像已具备所述人脸信息时的多个时间段,并将所述多个时间段累计为累加时间;以及
通过所述累加时间与时间阀值进行判断,当所述累加时间大于所述时间阀值时,进行所述护眼操作。
7.根据权利要求6所述的护眼控制方法,其特征在于,计数在所述第一图像已具备所述人脸信息时的所述多个时间段,并将所述多个时间段累计为所述累加时间的步骤包括;
判断相邻的两个时间段之间的间隔是否超过间隔阀值;以及
当相邻的两个时间段之间的间隔并未超过所述间隔阀值时,将所述多个时间段累计至所述累加时间中;以及
当相邻的两个时间段之间的间隔已超过所述间隔阀值时,所述处理器将所述累加时间归零,并将位于所述间隔之后的所述多个时间段累计至所述累加时间中。
8.根据权利要求6所述的护眼控制方法,其特征在于,还包括:
依据所述第一图像中所述人脸信息的眼睛部分来计算所述使用者在预定时间内的眨眼次数;以及
依据该眨眼次数来判断是否进行该护眼操作,
其中当所述眨眼次数低于预设数值时,进行所述护眼操作。
9.根据权利要求6所述的护眼控制方法,其特征在于,还包括:
计算所述第一图像中所述人脸信息的左脸面积与右脸面积;以及
当所述左脸面积及所述右脸面积之间的比例在预定时间内不等于预设比例时,判断所述使用者以斜眼方式观看所述显示屏幕,并进行所述护眼操作。
10.一种移动装置,其特征在于,包括:
显示屏幕,用以显示信息;
图像撷取单元,其中所述图像撷取单元拍摄第一图像;以及
处理器,耦接所述图像撷取单元以获得所述第一图像,
其中所述处理器对所述第一图像进行人脸检测以从所述第一图像中获得使用者的人脸信息,检测所述人脸信息的左脸面积与右脸面积,且当所述左脸面积及所述右脸面积之间的比例在预定时间内不等于预设比例时,判断所述使用者以斜眼方式观看所述显示屏幕,并进行所述护眼操作。
11.根据权利要求10所述的移动装置,其特征在于,所述处理器还通过所述人脸信息来估计所述使用者在看向所述显示屏幕的视角,并判断该视角是否位于护眼角度区间,从而判断是否进行所述护眼操作,
所述处理器依据所述人脸信息中的眼球部分以及耳朵部分来估计所述使用者在看向所述显示屏幕的所述视角。
12.根据权利要求10所述的移动装置,其特征在于,所述处理器还依据所述第一图像中所述人脸信息的眼睛部分来计算所述使用者在一预定时间内的眨眼次数,并依据所述眨眼次数来判断是否进行所述护眼操作,其中当所述眨眼次数低于预设数值时,进行所述护眼操作。
13.根据权利要求10所述的移动装置,其特征在于,所述处理器还分析所述人脸信息中眼白部分的颜色及血丝分布情形来判断所述使用者的肝功能情况。
14.根据权利要求10所述的移动装置,其特征在于,所述处理器还分析所述人脸信息中的轮廓,以判断所述使用者的体重是否增加或减少。
15.根据权利要求10所述的移动装置,其特征在于,所述处理器还分析所述人脸信息中的肤质,以通过所述显示屏幕来显示所述使用者的肤质建议信息。
CN201610277983.2A 2016-04-29 2016-04-29 移动装置及其护眼控制方法 Pending CN107340849A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610277983.2A CN107340849A (zh) 2016-04-29 2016-04-29 移动装置及其护眼控制方法
US15/243,956 US10171741B2 (en) 2016-04-29 2016-08-22 Eye-protection control method of mobile device
US16/203,620 US10986276B2 (en) 2016-04-29 2018-11-29 Mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610277983.2A CN107340849A (zh) 2016-04-29 2016-04-29 移动装置及其护眼控制方法

Publications (1)

Publication Number Publication Date
CN107340849A true CN107340849A (zh) 2017-11-10

Family

ID=60158685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610277983.2A Pending CN107340849A (zh) 2016-04-29 2016-04-29 移动装置及其护眼控制方法

Country Status (2)

Country Link
US (2) US10171741B2 (zh)
CN (1) CN107340849A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012026A (zh) * 2017-11-27 2018-05-08 维沃移动通信有限公司 一种保护视力方法及移动终端
CN108733547A (zh) * 2018-03-30 2018-11-02 百度在线网络技术(北京)有限公司 监控方法和装置
CN109448455A (zh) * 2018-12-20 2019-03-08 广东小天才科技有限公司 一种实时纠错的背诵方法及家教设备
CN109979167A (zh) * 2019-03-29 2019-07-05 曾文华 一种终端护眼方法及系统
CN110322858A (zh) * 2018-03-29 2019-10-11 南宁富桂精密工业有限公司 屏幕显示方法、电子装置和计算机存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854159B2 (en) * 2012-07-20 2017-12-26 Pixart Imaging Inc. Image system with eye protection
WO2020168487A1 (zh) * 2019-02-20 2020-08-27 东莞市讯天宏智能科技有限公司 一种终端使用控制方法及一种终端
CN110349310B (zh) * 2019-07-03 2021-08-27 源创客控股集团有限公司 一种用于园区企业的定制提醒云平台服务系统
KR102314385B1 (ko) * 2019-08-08 2021-10-19 엘지전자 주식회사 로봇 및 그의 제어 방법
US10803778B1 (en) * 2019-08-30 2020-10-13 Rovi Guides, Inc. Systems and methods for monitoring light emissions of electronic devices
CN111444789B (zh) * 2020-03-12 2023-06-20 深圳市时代智汇科技有限公司 一种基于视频感应技术的近视预防方法及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096801A (zh) * 2009-12-14 2011-06-15 北京中星微电子有限公司 一种坐姿检测方法及装置
CN103019917A (zh) * 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端监测用眼过度的方法、系统和移动终端
CN103093124A (zh) * 2013-02-07 2013-05-08 歌尔声学股份有限公司 一种实现限制使用电子设备的方法和一种电子设备
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN103729981A (zh) * 2014-01-03 2014-04-16 东南大学 一种儿童坐姿监控智能终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
US9053524B2 (en) * 2008-07-30 2015-06-09 Fotonation Limited Eye beautification under inaccurate localization
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US20130218582A1 (en) * 2011-11-08 2013-08-22 Cardiac Pacemakers, Inc. Telemedicine system for imd patients using audio/video data
HK1181255A2 (en) * 2013-07-18 2013-11-01 Leung Spencer Yu Cheong Monitor system and method for smart device
JP6122735B2 (ja) * 2013-08-28 2017-04-26 ヤフー株式会社 情報処理装置、判定方法および判定プログラム
TWI549069B (zh) * 2014-12-15 2016-09-11 Sheng Hui Meng Method and device for passenger barge
JP2017111469A (ja) * 2015-12-14 2017-06-22 富士通株式会社 道路標識視認判定システム、道路標識視認判定方法、及びプログラム
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
KR102636243B1 (ko) * 2016-02-19 2024-02-14 삼성전자주식회사 이미지를 처리하기 위한 방법 및 그 전자 장치
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US20170297581A1 (en) * 2016-04-19 2017-10-19 Caterpillar Inc. System and method for controlling operation of machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096801A (zh) * 2009-12-14 2011-06-15 北京中星微电子有限公司 一种坐姿检测方法及装置
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN103019917A (zh) * 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端监测用眼过度的方法、系统和移动终端
CN103093124A (zh) * 2013-02-07 2013-05-08 歌尔声学股份有限公司 一种实现限制使用电子设备的方法和一种电子设备
CN103729981A (zh) * 2014-01-03 2014-04-16 东南大学 一种儿童坐姿监控智能终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012026A (zh) * 2017-11-27 2018-05-08 维沃移动通信有限公司 一种保护视力方法及移动终端
CN108012026B (zh) * 2017-11-27 2020-06-05 维沃移动通信有限公司 一种保护视力方法及移动终端
CN110322858A (zh) * 2018-03-29 2019-10-11 南宁富桂精密工业有限公司 屏幕显示方法、电子装置和计算机存储介质
CN110322858B (zh) * 2018-03-29 2021-01-29 南宁富桂精密工业有限公司 屏幕显示方法、电子装置和计算机存储介质
CN108733547A (zh) * 2018-03-30 2018-11-02 百度在线网络技术(北京)有限公司 监控方法和装置
CN108733547B (zh) * 2018-03-30 2022-04-26 百度在线网络技术(北京)有限公司 监控方法和装置
CN109448455A (zh) * 2018-12-20 2019-03-08 广东小天才科技有限公司 一种实时纠错的背诵方法及家教设备
CN109979167A (zh) * 2019-03-29 2019-07-05 曾文华 一种终端护眼方法及系统

Also Published As

Publication number Publication date
US10986276B2 (en) 2021-04-20
US20170318227A1 (en) 2017-11-02
US20190098219A1 (en) 2019-03-28
US10171741B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
CN107340849A (zh) 移动装置及其护眼控制方法
US10045737B2 (en) Clip-on device with inward-facing cameras
KR101868597B1 (ko) 올바른 기기사용자세 유도 장치 및 방법
JP5109922B2 (ja) ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
CN104219992A (zh) 自闭症诊断辅助方法和系统以及自闭症诊断辅助装置
WO2015158087A1 (zh) 一种检测人眼健康状态的方法、装置及移动终端
US10076250B2 (en) Detecting physiological responses based on multispectral data from head-mounted cameras
CN104581127B (zh) 一种自动调节屏幕亮度的方法、系统和头戴显示设备
US10489661B1 (en) Medical environment monitoring system
US20220238220A1 (en) Headset integrated into healthcare platform
CN110262074B (zh) 一种智能护眼仪
US11157078B2 (en) Information processing apparatus, information processing method, and program
CN107066089A (zh) 一种基于计算机视觉技术的手机用眼姿势保护方法
CN110717161A (zh) 应用于智能终端的视力保护方法及系统
JP6334484B2 (ja) メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
CN214122599U (zh) 智能眼镜
WO2021019360A1 (ja) 疲労度評価システム、および疲労度評価装置
CN109044375A (zh) 一种实时跟踪检测眼球疲劳度的控制系统及其方法
US11231591B2 (en) Information processing apparatus, information processing method, and program
CA3231733A1 (en) System and method for monitoring human-device interactions
CN213218193U (zh) 多功能面罩
CN106931923A (zh) 视力保护芯片
Marks A healthy dose of Google Glass
WO2020152732A1 (ja) 注意力判定装置、注意力判定システム、注意力判定方法、およびプログラム
US20240115129A1 (en) Face image processing, eye fatigue detection, statistical data collection and methods for myopia prevention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171110

WD01 Invention patent application deemed withdrawn after publication