CN109299645A - 用于视力保护提示的方法、装置、系统和存储介质 - Google Patents

用于视力保护提示的方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN109299645A
CN109299645A CN201810805465.2A CN201810805465A CN109299645A CN 109299645 A CN109299645 A CN 109299645A CN 201810805465 A CN201810805465 A CN 201810805465A CN 109299645 A CN109299645 A CN 109299645A
Authority
CN
China
Prior art keywords
user
threshold value
prompt
scheduled time
face character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810805465.2A
Other languages
English (en)
Inventor
何益升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810805465.2A priority Critical patent/CN109299645A/zh
Publication of CN109299645A publication Critical patent/CN109299645A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time

Abstract

本发明提供了一种用于视力保护提示的方法、装置、系统和存储介质,该方法包括:获取当前使用电子设备的用户的多个人脸图像,其中,多个人脸图像是在一段时间内以一定频率采集的;确定与多个人脸图像所对应的用户是否为同一用户,如果是,则对多个人脸图像中的至少一个人脸图像进行人脸属性检测;基于人脸属性确定用于视力保护提示的预定时间阈值,并确定该一段时间是否大于预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。本发明的用于视力保护提示的方法在用户使用电子设备时间过长时发出提示,提示信息的触发条件及其展现方式根据不同的人/场景自适应调整,能够为用户的视力保护提供提醒的同时提高用户体验。

Description

用于视力保护提示的方法、装置、系统和存储介质
技术领域
本发明涉及人脸识别技术领域,更具体地涉及一种用于视力保护提示的方法、装置、系统和存储介质。
背景技术
在网络化的时代,电子设备已经成为人们的必需品,几乎人手一部手机、一个电脑或平板电脑。然而长时间面对电子设备屏幕,会造成用户视觉上的疲劳甚至视力的下降,尤其对儿童或正在发育期间的青少年的视力会产生较严重的影响。因此,如何在用户使用电子设备时提醒用户保护视力是本领域技术人员亟待解决的问题。
发明内容
本发明提出了一种关于用于视力保护提示的方案,其通过在一段时间内持续采集使用电子设备的用户的人脸图像,并在确定同一用户持续使用电子设备时间过长时向用户发出提示,提示信息的触发条件及其展现方式根据不同的人/场景自适应调整,能够为用户的视力保护提供主动且有效的提醒的同时提高用户体验。下面简要描述本发明提出的关于用于视力保护提示的方案,更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面,提供了一种用于视力保护提示的方法,所述方法包括:获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的;确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性;以及基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定时间阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。
在一个实施例中,所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,所述方法还包括:在确定所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
根据本发明另一方面,提供了一种用于视力保护提示的装置,所述装置包括:获取模块,用于获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的;检测模块,用于确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性;以及确定模块,用于基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定时间阈值是所述确定模块基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述确定模块基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。
在一个实施例中,所述检测模块进行的所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述确定模块基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述确定模块基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,所述确定模块还用于:在确定所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
根据本发明又一方面,提供了一种用于视力保护提示的系统,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行上述任一项所述的用于视力保护提示的方法。
根据本发明再一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行上述任一项所述的用于视力保护提示的方法。
根据本发明实施例的用于视力保护提示的方法、装置、系统和存储介质在用户持续使用电子设备时间过长时向用户发出提示,且对于不同情况采用不同的时间控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的用于视力保护提示的方法、装置、系统和存储介质的示例电子设备的示意性框图;
图2示出根据本发明实施例的用于视力保护提示的方法的示意性流程图;
图3示出根据本发明实施例的用于视力保护提示的装置的示意性框图;以及
图4示出根据本发明实施例的用于视力保护提示的系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的用于视力保护提示的方法、装置、系统和存储介质的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄使用该电子设备的用户的图像,并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的用于视力保护提示的方法和装置的示例电子设备可以为诸如智能手机、平板电脑等等移动终端。示例性地,用于实现根据本发明实施例的用于视力保护提示的方法和装置的示例电子设备也可以为任何具有计算能力的计算设备。
下面,将参考图2描述根据本发明实施例的用于视力保护提示的方法200。如图2所示,用于视力保护提示的方法200可以包括如下步骤:
在步骤S210,获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的。
在本发明的实施例中,可以基于一定的条件触发电子设备的图像采集部件(例如摄像头等)持续采集(例如以一定频率采集)当前使用该电子设备的用户的多个人脸图像(例如每30秒或每分钟等采集一张人脸图像),以用于确定是否是同一用户在持续使用电子设备,从而可用于确定该用户是否持续使用电子设备过长时间而对该用户进行视力保护提示(后续步骤中将详细描述)。该条件例如可以包括但不限于:电子设备开始运行、电子设备的某应用(电子书应用、视频应用、聊天应用、浏览器应用等等)开始运行等。
在步骤S220,确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性。
在本发明的实施例中,可以对步骤S210所获取的多个人脸图像进行人脸检测,以确定与所述多个人脸图像所对应的用户是否为同一用户:如果确定为同一用户,可以在后续判断该用户是否用眼时间过长(即采集该用户人脸图像的这段时间是否大于预定时间阈值);如果确定不是同一用户,则可确定这段时间内出现的用户中是否存在同一用户用眼时间过长(即采集用户人脸图像的这段时间中关于同一用户的时间是否大于预定时间阈值)。
进一步地,在本发明的实施例中,可对同一用户的至少一个人脸图像进行人脸属性检测得到所述用户的人脸属性,以用于确定用于视力保护提示的预定时间阈值,这样可以有针对性地对不同的用户提供个性化的视力保护提示服务(将在后文中详细阐述)。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括上述三者中的任意组合。在其他示例中,人脸属性检测所得到的人脸属性还可以包括任何其他的关于人脸属性的信息。
在本发明的实施例中,所述确定与所述多个人脸图像所对应的用户是否为同一用户可以包括:针对所述多个人脸图像中的每个人脸图像进行人脸检测,并基于所述人脸检测的结果抽取人脸特征;以及对所抽取的人脸特征进行特征匹配,以确定所述人脸特征是否表示同一用户。
在一个示例中,可以采用人脸识别神经网络进行上述的人脸检测、特征提取、特征匹配和人脸属性检测。示例性地,该人脸识别神经网络可以部署在用户当前使用的所述电子设备上。可以根据电子设备的类型选用合适的人脸识别神经网络。例如,当电子设备为具有较强计算能力的计算设备(诸如台式计算机等)时,可以采用大型的人脸识别神经网络,以快速实施人脸检测;当电子设备为具有有限计算能力的手持终端设备(诸如手机、ipad、kindle)时,可以采用轻量级人脸识别神经网络(例如shufflenet),以确保不影响终端设备其他应用的性能。
在步骤S230,基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
在本发明的实施例中,在用户长时间观看电子设备时进行提示以提醒用户保护视力。因此,需要设定预定时间阈值以用于确定用户是否观看电子设备时间过长。在本发明的实施例中,针对不同的用户,可采用不用的时间判断和提示方法,这样可以有针对性地对不同情况的用户进行视力保护。例如,如上所述的,可以基于人脸属性来确定用于视力保护提示的预定时间阈值,下面结合具体的实施例加以描述。
在一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息,基于此,步骤S230中基于所述人脸属性确定用于视力保护提示的预定时间阈值的操作可以包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。在该实施例中,当用户为未成年人时,采用相对较小的预定时间阈值,当用户为成年人时,采用相对较大的预定时间阈值,也就是说,相对于成年人,对于未成年人进行时间过长提示所采用的阈值更为严格,这样更有利于保护尚处于发育阶段的未成年人的视力。
示例性地,可以通过检测用户的两瞳孔之间的距离来确定用户是否为未成年人。例如,假定确定该用户的两瞳孔之间的距离在第一数值范围(例如45mm到58mm),则可确定该用户为未成年人,针对未成年人的时间控制应更为严格,因此上述的预定时间阈值可采用相对较小的数值。再如,假定确定该用户的两瞳孔之间的距离在第二数值范围(例如58mm到64mm),则可确定该用户为成年人,针对成年人的时间控制可适当放宽,因此上述的预定时间阈值可采用相对较大的数值。在其他示例中,也可以采用任何其他合适的方法来确定用户是否为未成年人。
在另一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息,基于此,步骤S230中基于所述人脸属性确定用于视力保护提示的预定时间阈值的操作可以包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。在该实施例中,未佩戴眼镜的用户可能是视力较好的用户,对其的时间提示可以适当放宽,即可采用相对大的预定时间阈值;而对于佩戴眼镜的用户可能是视力较差的用户,对其的时间提示可以适当严格,即可采用相对较小的预定时间阈值。当然,也可以出于其他的考虑。例如,对于未佩戴眼镜的用户,考虑到其在观看电子设备时没有眼镜这层防护措施,因此可以采用相对较小的预定时间阈值;反之,对于佩戴眼镜的用户,可采用相对较大的预定时间阈值。
在又一个实施例中,当人脸属性包括指示所述用户佩戴了眼镜的属性信息时,人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,基于此,步骤S230中基于所述人脸属性确定用于视力保护提示的预定时间阈值的操作可以包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。在该实施例中,对于佩戴了防护眼镜(例如防蓝光眼镜)的用户,可适当放宽时间的控制,即上述的预定时间阈值可采用相对较大的数值;对于佩戴了普通眼镜(例如普通近视或老花眼镜)的用户,上述的预定时间阈值可采用相对较小的数值来保护本就视力不好的眼睛。此外,与未佩戴眼镜的用户相比,对于佩戴防护眼镜的用户可适当放宽时间的控制,即上述的第五阈值与上述的第三阈值相比可以为更大的数值,即上述的第五阈值可以大于上述的第三阈值。
示例性地,可以通过训练能够进行防护眼镜与普通眼镜的二分类的神经网络来确定用户佩戴了防护眼镜还是普通眼镜,该神经网络例如可以为能够在电子设备上运行的轻量级神经网络或是类似的变型,比如在轻量级神经网络上减少或增加几个卷积层。示例性地,训练该神经网络的训练数据可以通过如下方式获得:通过采购市面上的各种防护眼镜和普通眼镜,尽量覆盖所有类型;然后针对戴上这些眼镜的一定数量的人(例如10000人左右)采集人脸图像,每人分别在距离电子设备的图像采集部件若干距离(例如20cm、40cm、60cm)处按照例如九宫格方向(即以人脸为中心向上、下、左、右偏移例如30度角)采集若干张(例如3*9=27张)人脸图像;接着用人脸检测算法如OpenCv的LBF算法检测出人脸关键点,可以以瞳孔关键点为中心,将人眼关键点例如扩张一倍作为眼镜关键点;最后用Graham扫描法求出眼镜关键点的凸包,从而抠出眼镜区域图像作为网络输入,用眼镜区域图像的数据训练出一个小型神经网络模型进行二分类。
在其他实施例中,人脸属性还可以包括其他任何关于人脸属性的信息,可以基于该信息确定应采用的合适的用于进行视力提示的预定时间阈值。例如,在上面描述的实施例中,当确定用户为成年人时可采用的第二阈值可以与当确定用户未佩戴眼镜时所采用的第三阈值相同。再如,可以根据不同的属性信息综合确定预定时间阈值,例如先判断是否为未成年人(第一分支),再判断是否佩戴了眼镜(第二分支)以及佩戴了何种类型的眼镜(第三分支),然后可以基于这些不同分支的判断结果的各种组合综合确定对应于不同组合的预定时间阈值,诸如此类等等。
在一个实施例中,当确定同一用户持续使用电子设备的时间(即以一定频率采集同一用户的多个人脸图像的该段时间)大于上述预定时间阈值时,可以基于提示模式实施相应的预定操作以提示用户用眼时间过长。此处,不同情况下的提示模式可以是不同的,也就是说,不同情况下采用的用于进行提示的预定操作可以是不同的,下面结合具体的实施例加以描述。
在一个实施例中,预定操作一般可以包括以下中的任一项或至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。不同的提示模式可以对应于不同的预定操作。示例性地,提示模式可以取决于所述电子设备的当前运行情况或预设的用户输入。
例如,在一个实施例中,可以确定所述电子设备的当前运行情况,所述当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。例如,当所述电子设备上当前运行的应用为重要办公软件(如远程会议软件)时,对于时间的提示应当更为柔和,诸如可以向用户发出振动提示或弹幕消息等,而不会直接自动锁屏甚至关机。再如,当所述电子设备上当前运行的应用为娱乐软件时,对于时间的提示应当更为严格,即可以进行语音提示、自动锁屏或关机等。
在另一个实施例中,可以接收用户关于预设提示模式的输入作为预设的用户输入,所述预设的用户输入可以指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。例如,用户可以预先设置不同应用的重要等级(例如根据应用的不同将应用划分为3到5个等级:如非常重要、重要、普通、不太重要、不重要),基于这些预先设置的等级,当确定同一用户观看电子设备时间太长时,可以采用相应的预定操作来提示用户用眼时间过长而不会对用户造成不良影响,从而提高用户体验。例如,等级由高到低对应的预定操作可以分别为:向用户发出弹幕消息、向用户发出振动提示、向用户发出语音提示、自动锁屏、自动关闭所述电子设备。在其他实施例中,提示模式还可以取决于任何其他的因素,且相应的用于提示的预定操作也可以为任何其他合适的操作。
在一个实施例中,当确定同一用户持续使用电子设备的时间(即以一定频率采集同一用户的多个人脸图像的该段时间)不大于上述预定时间阈值时,可继续监控该用户持续使用该电子设备的时间,并在该用户持续使用该电子设备的时间超过预定时间阈值时基于上述提示模式实施上述预定操作以提示用户用眼时间过长。
在又一个实施例中,方法200还可以包括:在确定采集用户多个人脸图像的所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作。
在一个示例中,可以根据眼睛出现在图像中的位置、眼睛和屏幕的距离及瞳孔的角度来判断眼睛是否盯着屏幕。在另一个示例中,可以获取大量数据训练出一个能够进行眼睛是否注视屏幕的二分类的神经网络来判断用户视线是否在屏幕上,该神经网络例如可以为能够在电子设备上运行的轻量级神经网络或是类似的变型,比如在轻量级神经网络上减少或增加几个卷积层或池化层。示例性地,训练该神经网络的训练数据可以通过如下方式获得:针对一定数量的人(例如10000人左右)采集人脸图像,每人分别在距离电子设备的图像采集部件若干距离(例如20cm、40cm、60cm)处按照例如九宫格方向(即以人脸为中心向上、下、左、右偏移例如30度角)采集若干张(例如3*9=27张)人脸图像;接着用人脸检测算法如OpenCv的LBF算法检测出人脸关键点,然后可以根据眼睛的关键点抠出眼睛区域图像作为网络输入,用眼睛区域图像的数据训练出一个小型神经网络模型进行二分类。
基于上面的描述,根据本发明实施例的用于视力保护提示的方法在用户持续使用电子设备时间过长时向用户发出提示,且对于不同情况采用不同的时间控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
以上示例性地描述了根据本发明实施例的用于视力保护提示的方法。示例性地,根据本发明实施例的用于视力保护提示的方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外,根据本发明实施例的用于视力保护提示的方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地,根据本发明实施例的用于视力保护提示的方法还可以部署在服务器端(或云端)。替代地,根据本发明实施例的用于视力保护提示的方法还可以分布地部署在服务器端(或云端)和个人终端处。
下面结合图3描述本发明另一方面提供的用于视力保护提示的装置。图3示出了根据本发明实施例的用于视力保护提示的装置300的示意性框图。
如图3所示,根据本发明实施例的用于视力保护提示的装置300包括获取模块310、检测模块320和确定模块330。所述各个模块可分别执行上文中结合图2描述的用于视力保护提示的方法的各个步骤/功能。以下仅对用于视力保护提示的装置300的各模块的主要功能进行描述,而省略以上已经描述过的细节内容。
获取模块310用于获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的。检测模块320用于确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性。确定模块330用于基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。获取模块310、检测模块320和确定模块330均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
在本发明的实施例中,获取模块310可以部署在电子设备上,其可以基于一定的条件触发电子设备的图像采集部件(例如摄像头等)持续采集(例如以一定频率采集)当前使用该电子设备的用户的多个人脸图像(例如每30秒或每分钟等采集一张人脸图像),以用于由检测模块320确定是否是同一用户在持续使用电子设备,从而可用于由确定模块330确定该用户是否持续使用电子设备过长时间而对该用户进行视力保护提示。该条件例如可以包括但不限于:电子设备开始运行、电子设备的某应用(电子书应用、视频应用、聊天应用、浏览器应用等等)开始运行等。
在本发明的实施例中,检测模块320可以部署在上述电子设备上。检测模块320可以对获取模块310所获取的多个人脸图像进行人脸检测,以确定与所述多个人脸图像所对应的用户是否为同一用户:如果确定为同一用户,可以在后续由确定模块330判断该用户是否用眼时间过长(即采集该用户人脸图像的这段时间是否大于预定时间阈值);如果确定不是同一用户,则可确定这段时间内出现的用户中是否存在同一用户用眼时间过长(即采集用户人脸图像的这段时间中关于同一用户的时间是否大于预定时间阈值)。
进一步地,在本发明的实施例中,检测模块320可对同一用户的至少一个人脸图像进行人脸属性检测得到所述用户的人脸属性,以用于确定用于视力保护提示的预定时间阈值,这样可以有针对性地对不同的用户提供个性化的视力保护提示服务。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括上述三者中的任意组合。在其他示例中,人脸属性检测所得到的人脸属性还可以包括任何其他的关于人脸属性的信息。
在本发明的实施例中,检测模块320确定与所述多个人脸图像所对应的用户是否为同一用户可以包括:针对所述多个人脸图像中的每个人脸图像进行人脸检测,并基于所述人脸检测的结果抽取人脸特征;以及对所抽取的人脸特征进行特征匹配,以确定所述人脸特征是否表示同一用户。
在一个示例中,检测模块320可以采用人脸识别神经网络进行上述的人脸检测、特征提取、特征匹配和人脸属性检测。示例性地,该人脸识别神经网络可以部署在用户当前使用的所述电子设备上。可以根据电子设备的类型选用合适的人脸识别神经网络。例如,当电子设备为具有较强计算能力的计算设备(诸如台式计算机等)时,可以采用大型的人脸识别神经网络,以快速实施人脸检测;当电子设备为具有有限计算能力的手持终端设备(诸如手机、ipad、kindle)时,可以采用轻量级人脸识别神经网络(例如shufflenet),以确保不影响终端设备其他应用的性能。
在本发明的实施例中,在用户长时间观看电子设备时进行提示以提醒用户保护视力。因此,需要设定预定时间阈值以用于确定用户是否观看电子设备时间过长。在本发明的实施例中,针对不同的用户,可采用不用的时间判断和提示方法,这样可以有针对性地对不同情况的用户进行视力保护。例如,如上所述的,可以基于人脸属性来确定用于视力保护提示的预定时间阈值,下面结合具体的实施例加以描述。
在一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息,基于此,确定模块330基于所述人脸属性确定用于视力保护提示的预定时间阈值的操作可以包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。在该实施例中,当用户为未成年人时,采用相对较小的预定时间阈值,当用户为成年人时,采用相对较大的预定时间阈值,也就是说,相对于成年人,对于未成年人进行时间过长提示所采用的阈值更为严格,这样更有利于保护尚处于发育阶段的未成年人的视力。示例性地,检测模块320可以通过检测用户的两瞳孔之间的距离来确定用户是否为未成年人,从而得到指示所述用户是否为未成年人的属性信息。在其他示例中,检测模块320也可以采用任何其他合适的方式来确定用户是否为未成年人。
在另一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息,基于此,确定模块330基于所述人脸属性确定用于视力保护提示的预定时间阈值的操作可以包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。在该实施例中,未佩戴眼镜的用户可能是视力较好的用户,对其的时间提示可以适当放宽,即可采用相对大的预定时间阈值;而对于佩戴眼镜的用户可能是视力较差的用户,对其的时间提示可以适当严格,即可采用相对较小的预定时间阈值。当然,也可以出于其他的考虑。例如,对于未佩戴眼镜的用户,考虑到其在观看电子设备时没有眼镜这层防护措施,因此可以采用相对较小的预定时间阈值;反之,对于佩戴眼镜的用户,可采用相对较大的预定时间阈值。
在又一个实施例中,当人脸属性包括指示所述用户佩戴了眼镜的属性信息时,人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,基于此,确定模块330基于所述人脸属性确定用于视力保护提示的预定时间阈值的操作可以包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。在该实施例中,对于佩戴了防护眼镜(例如防蓝光眼镜)的用户,可适当放宽时间的控制,即上述的预定时间阈值可采用相对较大的数值;对于佩戴了普通眼镜(例如普通近视或老花眼镜)的用户,上述的预定时间阈值可采用相对较小的数值来保护本就视力不好的眼睛。此外,与未佩戴眼镜的用户相比,对于佩戴防护眼镜的用户可适当放宽时间的控制,即上述的第五阈值与上述的第三阈值相比可以为更大的数值,即上述的第五阈值可以大于上述的第三阈值。
在其他实施例中,人脸属性还可以包括其他任何关于人脸属性的信息,确定模块330可以基于该信息确定应采用的合适的用于进行视力提示的预定时间阈值。
在一个实施例中,确定模块330可以部署在上述电子设备上。当确定模块330确定同一用户持续使用电子设备的时间(即以一定频率采集同一用户的多个人脸图像的该段时间)大于上述预定时间阈值时,可以基于提示模式实施相应的预定操作以提示用户用眼时间过长。此处,不同情况下的提示模式可以是不同的,也就是说,不同情况下采用的用于进行提示的预定操作可以是不同的,下面结合具体的实施例加以描述。
在一个实施例中,预定操作一般可以包括以下中的任一项或至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。不同的提示模式可以对应于不同的预定操作。示例性地,提示模式可以取决于所述电子设备的当前运行情况或预设的用户输入。
例如,在一个实施例中,确定模块330可以确定所述电子设备的当前运行情况,所述当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。例如,当所述电子设备上当前运行的应用为重要办公软件(如远程会议软件)时,对于时间的提示应当更为柔和,诸如可以向用户发出振动提示或弹幕消息等,而不会直接自动锁屏甚至关机。再如,当所述电子设备上当前运行的应用为娱乐软件时,对于时间的提示应当更为严格,即可以进行语音提示、自动锁屏或关机等。
在另一个实施例中,装置300还可以接收模块(未在图3中示出),其可以接收用户关于预设提示模式的输入作为预设的用户输入,所述预设的用户输入可以指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。例如,用户可以预先设置不同应用的重要等级(例如根据应用的不同将应用划分为3到5个等级:如非常重要、重要、普通、不太重要、不重要),基于这些预先设置的等级,当确定同一用户观看电子设备时间太长时,可以采用相应的预定操作来提示用户用眼时间过长而不会对用户造成不良影响,从而提高用户体验。例如,等级由高到低对应的预定操作可以分别为:向用户发出弹幕消息、向用户发出振动提示、向用户发出语音提示、自动锁屏、自动关闭所述电子设备。在其他实施例中,提示模式还可以取决于任何其他的因素,且相应的用于提示的预定操作也可以为任何其他合适的操作。
在又一个实施例中,确定模块330还可以用于:在确定采集用户多个人脸图像的所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作,这可以使得对用户的视力保护提示更为准确。
基于上面的描述,根据本发明实施例的用于视力保护提示的装置在用户持续使用电子设备时间过长时向用户发出提示,且对于不同情况采用不同的时间控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
图4示出了根据本发明实施例的用于视力保护提示的系统400的示意性框图。用于视力保护提示的系统400包括存储装置410以及处理器420。
其中,存储装置410存储用于实现根据本发明实施例的用于视力保护提示的方法中的相应步骤的程序代码。处理器420用于运行存储装置410中存储的程序代码,以执行根据本发明实施例的用于视力保护提示的方法的相应步骤,并且用于实现根据本发明实施例的用于视力保护提示的装置中的相应模块。
在一个实施例中,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行以下步骤:获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的;确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性;以及基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定时间阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。
在一个实施例中,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于视力保护提示的系统400执行以下步骤:在确定所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的用于视力保护提示的方法的相应步骤,并且用于实现根据本发明实施例的用于视力保护提示的装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的用于视力保护提示的装置的各个功能模块,并且/或者可以执行根据本发明实施例的用于视力保护提示的方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的;确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性;以及基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定时间阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:在确定所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
根据本发明实施例的用于视力保护提示的装置中的各模块可以通过根据本发明实施例的用于视力保护提示的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的用于视力保护提示的方法、装置、系统和存储介质在用户持续使用电子设备时间过长时向用户发出提示,且对于不同情况采用不同的时间控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
根据本发明实施例,还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的用于视力保护提示的方法的相应步骤,并且用于实现根据本发明实施例的用于视力保护提示的装置中的相应模块。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种用于视力保护提示的方法,其特征在于,所述方法包括:
获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的;
确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性;以及
基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
2.根据权利要求1所述的方法,其特征在于,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定时间阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
3.根据权利要求2所述的方法,其特征在于,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:
如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定时间阈值,反之,则确定采用第二阈值作为所述预定时间阈值,其中所述第一阈值小于所述第二阈值。
4.根据权利要求3所述的方法,其特征在于,所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
5.根据权利要求2所述的方法,其特征在于,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:
如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定时间阈值,反之,则确定采用第四阈值作为所述预定时间阈值,其中所述第三阈值大于所述第四阈值。
6.根据权利要求5所述的方法,其特征在于,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定时间阈值包括:
如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定时间阈值,反之,则确定采用所述第四阈值作为所述预定时间阈值,其中所述第五阈值大于所述第四阈值。
7.根据权利要求1-6中的任一项所述的方法,其特征在于,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
8.根据权利要求7所述的方法,其特征在于,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
9.根据权利要求7所述的方法,其特征在于,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
10.根据权利要求1-6中的任一项所述的方法,其特征在于,所述方法还包括:
在确定所述一段时间是否大于所述预定时间阈值之前,基于所述多个人脸图像确定所述用户的视线在所述一段时间内是否一直在所述电子设备的屏幕上,如果是,才实施所述一段时间与所述预定时间阈值之间大小关系的判断和所述预定操作。
11.根据权利要求1-6中的任一项所述的方法,其特征在于,所述预定操作包括以下中的至少一项:
向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
12.一种用于视力保护提示的装置,其特征在于,所述装置包括:
获取模块,用于获取当前使用电子设备的用户的多个人脸图像,其中,所述多个人脸图像是在一段时间内以一定频率采集的;
检测模块,用于确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测以得到所述用户的人脸属性;以及
确定模块,用于基于所述人脸属性确定用于视力保护提示的预定时间阈值,并确定所述一段时间是否大于所述预定时间阈值,如果是,则基于提示模式实施相应的预定操作以提示用户用眼时间过长。
13.一种用于视力保护提示的系统,其特征在于,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-11中的任一项所述的用于视力保护提示的方法。
14.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-11中的任一项所述的用于视力保护提示的方法。
CN201810805465.2A 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质 Pending CN109299645A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810805465.2A CN109299645A (zh) 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810805465.2A CN109299645A (zh) 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质

Publications (1)

Publication Number Publication Date
CN109299645A true CN109299645A (zh) 2019-02-01

Family

ID=65172262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810805465.2A Pending CN109299645A (zh) 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN109299645A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458890A (zh) * 2019-08-15 2019-11-15 北京字节跳动网络技术有限公司 控制方法、装置、电子设备及存储介质
CN111601064A (zh) * 2020-05-18 2020-08-28 维沃移动通信有限公司 信息交互方法和信息交互装置
CN114419862A (zh) * 2022-01-26 2022-04-29 高创(苏州)电子有限公司 电子设备的视力保护方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841354A (zh) * 2012-08-09 2012-12-26 广东欧珀移动通信有限公司 一种具有显示屏幕的电子设备的保护视力实现方法
CN106485117A (zh) * 2016-09-19 2017-03-08 惠州Tcl移动通信有限公司 一种基于人脸识别的智能终端操作控制方法及系统
CN107392150A (zh) * 2017-07-21 2017-11-24 惠州Tcl移动通信有限公司 一种调节用眼的方法、存储介质以及终端设备
CN107632663A (zh) * 2017-08-31 2018-01-26 维沃移动通信有限公司 一种屏幕控制方法及移动终端
CN108055398A (zh) * 2017-12-19 2018-05-18 广东小天才科技有限公司 一种护眼提醒的控制方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841354A (zh) * 2012-08-09 2012-12-26 广东欧珀移动通信有限公司 一种具有显示屏幕的电子设备的保护视力实现方法
CN106485117A (zh) * 2016-09-19 2017-03-08 惠州Tcl移动通信有限公司 一种基于人脸识别的智能终端操作控制方法及系统
CN107392150A (zh) * 2017-07-21 2017-11-24 惠州Tcl移动通信有限公司 一种调节用眼的方法、存储介质以及终端设备
CN107632663A (zh) * 2017-08-31 2018-01-26 维沃移动通信有限公司 一种屏幕控制方法及移动终端
CN108055398A (zh) * 2017-12-19 2018-05-18 广东小天才科技有限公司 一种护眼提醒的控制方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458890A (zh) * 2019-08-15 2019-11-15 北京字节跳动网络技术有限公司 控制方法、装置、电子设备及存储介质
CN111601064A (zh) * 2020-05-18 2020-08-28 维沃移动通信有限公司 信息交互方法和信息交互装置
CN114419862A (zh) * 2022-01-26 2022-04-29 高创(苏州)电子有限公司 电子设备的视力保护方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114758406B (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
CN109191802A (zh) 用于视力保护提示的方法、装置、系统和存储介质
CN106471419B (zh) 管理信息显示
CN107087431B (zh) 用于辨别眼睛信号和连续生物识别的系统和方法
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
US20170177941A1 (en) Threat identification system
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
US20160343168A1 (en) Virtual personification for augmented reality system
CN108875452A (zh) 人脸识别方法、装置、系统和计算机可读介质
CN104036169B (zh) 生物认证方法及生物认证装置
CN106682540A (zh) 一种智能防偷窥方法及装置
CN107077593A (zh) 用于显示屏增强的系统和方法
CN109299645A (zh) 用于视力保护提示的方法、装置、系统和存储介质
CN109358922A (zh) 一种个性化菜单展示方法、装置、智能终端及存储介质
WO2018127782A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN109670456A (zh) 一种内容推送方法、装置、终端和存储介质
CN110610768B (zh) 一种用眼行为的监测方法及服务器
Tayibnapis et al. Driver's gaze zone estimation by transfer learning
CN103631503B (zh) 信息交互方法及信息交互装置
CN114021211A (zh) 一种智能防偷窥系统
CN110174937A (zh) 注视信息控制操作的实现方法及装置
CN111612780B (zh) 人眼视力识别方法、装置及计算机存储介质
Kim et al. Eye Detection for near Infrared Based Gaze Tracking System
CN117930975A (zh) 一种视力保护方法、装置、护眼穿戴设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190201