CN109191802A - 用于视力保护提示的方法、装置、系统和存储介质 - Google Patents

用于视力保护提示的方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN109191802A
CN109191802A CN201810805462.9A CN201810805462A CN109191802A CN 109191802 A CN109191802 A CN 109191802A CN 201810805462 A CN201810805462 A CN 201810805462A CN 109191802 A CN109191802 A CN 109191802A
Authority
CN
China
Prior art keywords
user
face
prompt
electronic equipment
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810805462.9A
Other languages
English (en)
Other versions
CN109191802B (zh
Inventor
何益升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810805462.9A priority Critical patent/CN109191802B/zh
Publication of CN109191802A publication Critical patent/CN109191802A/zh
Application granted granted Critical
Publication of CN109191802B publication Critical patent/CN109191802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Abstract

本发明提供了一种用于视力保护提示的方法、装置、系统和存储介质,该方法包括:获取当前使用电子设备的用户的人脸图像,并对人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;基于人脸位置计算用户的人脸距离电子设备的距离,并基于人脸属性确定用于视力保护提示的预定阈值;以及确定距离是否小于预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与电子设备的距离。根据本发明的用于视力保护提示的方法、装置、系统和存储介质在用户人脸与电子设备之间的距离过小时提示用户拉大距离,且对于不同情况采用不同的距离控制阈值和/或不同的提示操作,能为用户的视力保护提供主动且有效的提醒的同时提高用户体验。

Description

用于视力保护提示的方法、装置、系统和存储介质
技术领域
本发明涉及人脸识别技术领域,更具体地涉及一种用于视力保护提示的方法、装置、系统和存储介质。
背景技术
在网络化的时代,电子设备已经成为人们的必需品,几乎人手一部手机、一个电脑或平板电脑。然而长时间面对电子设备屏幕,会造成用户视觉上的疲劳甚至视力的下降。近距离观看手机、平板电脑或者计算机等电子设备的屏幕,对儿童或正在发育期间的青少年的视力产生较严重的影响。因此,如何在用户使用电子设备时提醒用户保护视力是本领域技术人员亟待解决的问题。
发明内容
本发明提出了一种关于用于视力保护提示的方案,其在用户人脸与电子设备之间的距离过小时提示用户拉大距离,且对于不同情况采用不同的距离控制阈值和/或不同的提示操作,能够为用户的视力保护提供主动且有效的提醒的同时提高用户体验。下面简要描述本发明提出的关于用于视力保护提示的方案,更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面,提供了一种用于视力保护提示的方法,所述方法包括:获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值;以及确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。
在一个实施例中,所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,所述方法还包括:在确定所述距离是否小于所述预定阈值之前,确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施所述距离与所述预定阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
在一个实施例中,所述方法还包括:获取当前使用所述电子设备的用户的多个人脸图像,所述多个人脸图像是在预定时间内以一定频率采集的;以及确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值,如果是,则实施所述预定操作。
在一个实施例中,所述基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离包括:基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。
根据本发明另一方面,提供了一种用于视力保护提示的装置,所述装置包括:检测模块,用于获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;计算模块,用于基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值;以及确定模块,用于确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定阈值是所述计算模块基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述计算模块基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。
在一个实施例中,所述检测模块进行的所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述计算模块基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述计算模块基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,所述确定模块还用于:在确定所述距离是否小于所述预定阈值之前,确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施所述距离与所述预定阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
在一个实施例中,所述检测模块还用于:获取当前使用所述电子设备的用户的多个人脸图像,所述多个人脸图像是在预定时间内以一定频率采集的,并确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则所述确定模块确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值,如果是,则实施所述预定操作。
在一个实施例中,所述计算模块基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离包括:基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。
根据本发明又一方面,提供了一种用于视力保护提示的系统,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行上述任一项所述的用于视力保护提示的方法。
根据本发明再一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行上述任一项所述的用于视力保护提示的方法。
根据本发明实施例的用于视力保护提示的方法、装置、系统和存储介质在用户人脸与电子设备之间的距离过小时提示用户拉大距离,且对于不同情况采用不同的距离控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的用于视力保护提示的方法、装置、系统和存储介质的示例电子设备的示意性框图;
图2示出根据本发明实施例的用于视力保护提示的方法的示意性流程图;
图3示出根据本发明实施例的用于视力保护提示的装置的示意性框图;以及
图4示出根据本发明实施例的用于视力保护提示的系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的用于视力保护提示的方法、装置、系统和存储介质的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄使用该电子设备的用户的图像,并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的用于视力保护提示的方法和装置的示例电子设备可以为诸如智能手机、平板电脑等等移动终端。示例性地,用于实现根据本发明实施例的用于视力保护提示的方法和装置的示例电子设备也可以为任何具有计算能力的计算设备。
下面,将参考图2描述根据本发明实施例的用于视力保护提示的方法200。如图2所示,用于视力保护提示的方法200可以包括如下步骤:
在步骤S210,获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性。
在一个示例中,可以基于一定的条件触发电子设备的图像采集部件(例如摄像头等)采集当前使用该电子设备的用户的人脸图像,该条件例如可以包括但不限于:电子设备开始运行、电子设备的某应用(电子书应用、视频应用、聊天应用、浏览器应用等等)开始运行等。
在一个实施例中,获取经采集的当前使用电子设备的用户的人脸图像并对该人脸图像进行人脸检测,以从人脸图像中检测到人脸的位置用于计算用户的人脸(即用户的人眼)与电子设备(的图像采集部件)之间的距离。此外,可以对该人脸图像进行人脸属性检测,以得到诸如用户年龄、用户穿戴等人脸属性,以用于确定用于视力保护提示的预定阈值(将在后文中详细阐述)。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括上述三者中的任意组合。在其他示例中,人脸属性检测所得到的人脸属性还可以包括任何其他的关于人脸属性的信息。
在一个示例中,可以采用人脸识别神经网络进行上述的人脸检测和人脸属性检测。示例性地,该人脸识别神经网络可以部署在用户当前使用的所述电子设备上。可以根据电子设备的类型选用合适的人脸识别神经网络。例如,当电子设备为具有较强计算能力的计算设备(诸如台式计算机等)时,可以采用大型的人脸识别神经网络,以快速实施人脸检测;当电子设备为具有有限计算能力的手持终端设备(诸如手机、ipad、kindle)时,可以采用轻量级人脸识别神经网络(例如shufflenet),以确保不影响终端设备其他应用的性能。
在步骤S220,基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值。
在本发明的实施例中,在用户近距离观看电子设备时进行提示以提醒用户保护视力。因此,需要计算用户人脸距离电子设备的距离,当该距离小于预定阈值时,则认为用户距离电子设备过近。
在一个实施例中,可以基于所述人脸位置获取所述人脸图像中的人脸深度信息,然后基于所述人脸深度信息计算所述用户的人脸距离所述电子设备的距离。在一个示例中,可以采用奥比等结构光或泛光设备来获取人脸深度信息。在另一个示例中,也可以采用深度学习模型来获取人脸深度信息。基于人脸深度信息计算用户的人脸与电子设备之间的距离能够得到非常准确的距离信息。
在另一个实施例中,可以基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。其中,凸包(Convex Hull)是计算几何(图形学)中的概念。在一个实数向量空间V中,对于给定集合X,所有包含X的凸集的交集S被称为X的凸包。X的凸包可以用X内所有点(X1,…,Xn)的凸组合来构造。示例性地,可以用Graham扫描算法根据人脸关键点的坐标获取凸包并计算人脸关键点的凸包围成的面积,该面积例如可以表示为S1。接着,可以计算该面积S1占整个人脸图像面积(例如表示为S)的比例(例如表示为r),该比例r可以用于确定所述用户的人脸距离所述电子设备的距离。具体地,可以针对电子设备的图像采集部件事先标定若干经验值,做法可以如下:按照一定的距离值(例如1cm)为梯度,从人脸距离该图像采集部件第一距离(例如20cm)到第二距离(例如100cm)拍摄若干张(例如80张)人脸图像,并针对每张人脸图像计算上述的比例r,并记录下每个r与该张人脸图像拍摄时人脸距离图像采集部件的距离之间的对应关系。基于该对应关系以及前述计算得到的比例r,可以确定所述用户的人脸距离所述电子设备的距离。
以上示例性地描述了基于人脸关键点的凸包围成的面积的大小计算所述用户的人脸距离所述电子设备的距离的过程。基于人脸关键点中的若干点(例如两瞳孔、两嘴角这四个点)围成的面积的大小计算所述用户的人脸距离所述电子设备的距离的方法也是类似的,只不过是将面积从人脸关键点的凸包围成的面积改为人脸关键点中的若干点围成的面积,其他操作均是相同的,为了简洁,此处不再赘述。基于人脸关键点的凸包围成的面积的大小或基于人脸关键点中的若干点围成的面积的大小计算用户的人脸距离电子设备的距离实现简单,无需额外的测试设备或模型。
在其他实施例中,也可以采用任何其他合适的方式来计算得到用户的人脸与电子设备之间的距离。
进一步地,在本发明的实施例中,针对不同的用户,可采用不用的距离判断和提示方法,这样可以有针对性地对不同情况的用户进行视力保护。例如,如上所述的,可以基于人脸属性来确定用于视力保护提示的预定阈值,下面结合具体的实施例加以描述。
在一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息,基于此,步骤S220中基于所述人脸属性确定用于视力保护提示的预定阈值的操作可以包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。在该实施例中,当用户为未成年人时,采用相对较大的预定阈值,当用户为成年人时,采用相对较小的预定阈值,也就是说,相对于成年人,对于未成年人进行距离过近提示所采用的阈值更为严格,这样更有利于保护尚处于发育阶段的未成年人的视力。
示例性地,可以通过检测用户的两瞳孔之间的距离来确定用户是否为未成年人。例如,假定确定该用户的两瞳孔之间的距离在第一数值范围(例如45mm到58mm),则可确定该用户为未成年人,针对未成年人的距离控制应更为严格,因此上述的预定阈值可采用相对较大的数值。再如,假定确定该用户的两瞳孔之间的距离在第二数值范围(例如58mm到64mm),则可确定该用户为成年人,针对成年人的距离控制可适当放宽,因此上述的预定阈值可采用相对较小的数值。在其他示例中,也可以采用任何其他合适的方法来确定用户是否为未成年人。
在另一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息,基于此,步骤S220中基于所述人脸属性确定用于视力保护提示的预定阈值的操作可以包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。在该实施例中,未佩戴眼镜的用户可能是视力较好的用户,对其的距离提示可以适当放宽,即可采用相对小的预定阈值;而对于佩戴眼镜的用户可能是视力较差的用户,对其的距离提示可以适当严格,即可采用相对较大的预定阈值。当然,也可以出于其他的考虑。例如,对于未佩戴眼镜的用户,考虑到其在观看电子设备时没有眼镜这层防护措施,因此可以采用相对较大的预定阈值;反之,对于佩戴眼镜的用户,可采用相对较小的预定阈值。
在又一个实施例中,当人脸属性包括指示所述用户佩戴了眼镜的属性信息时,人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,基于此,步骤S220中基于所述人脸属性确定用于视力保护提示的预定阈值的操作可以包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。在该实施例中,对于佩戴了防护眼镜(例如防蓝光眼镜)的用户,可适当放宽距离的控制,即上述的预定阈值可采用相对较小的数值;对于佩戴了普通眼镜(例如普通近视或老花眼镜)的用户,上述的预定阈值可采用相对较大的数值来保护本就视力不好的眼睛。此外,与未佩戴眼镜的用户相比,对于佩戴防护眼镜的用户可适当放宽距离的控制,即上述的第五阈值与上述的第三阈值相比可以为更小的数值,即上述的第五阈值可以小于上述的第三阈值。
示例性地,可以通过训练能够进行防护眼镜与普通眼镜的二分类的神经网络来确定用户佩戴了防护眼镜还是普通眼镜,该神经网络例如可以为能够在电子设备上运行的轻量级神经网络或是类似的变型,比如在轻量级神经网络上减少或增加几个卷积层。示例性地,训练该神经网络的训练数据可以通过如下方式获得:通过采购市面上的各种防护眼镜和普通眼镜,尽量覆盖所有类型;然后针对戴上这些眼镜的一定数量的人(例如10000人左右)采集人脸图像,每人分别在距离电子设备的图像采集部件若干距离(例如20cm、40cm、60cm)处按照例如九宫格方向(即以人脸为中心向上、下、左、右偏移例如30度角)采集若干张(例如3*9=27张)人脸图像;接着用人脸检测算法如OpenCv的LBF算法检测出人脸关键点,可以以瞳孔关键点为中心,将人眼关键点例如扩张一倍作为眼镜关键点;最后用Graham扫描法求出眼镜关键点的凸包,从而抠出眼镜区域图像作为网络输入,用眼镜区域图像的数据训练出一个小型神经网络模型进行二分类。
在其他实施例中,人脸属性还可以包括其他任何关于人脸属性的信息,可以基于该信息确定应采用的合适的用于进行视力提示的预定阈值。例如,在上面描述的实施例中,当确定用户为成年人时可采用的第二阈值可以与当确定用户未佩戴眼镜时所采用的第三阈值相同。再如,可以根据不同的属性信息综合确定预定阈值,例如先判断是否为未成年人(第一分支),再判断是否佩戴了眼镜(第二分支)以及佩戴了何种类型的眼镜(第三分支),然后可以基于这些不同分支的判断结果的各种组合综合确定对应于不同组合的预定阈值,诸如此类等等。下面继续参考图2,描述方法200的后续步骤。
在步骤S230,确定所述距离是否小于预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
在一个实施例中,当确定步骤S220计算得到的用户人脸与电子设备之间的距离小于步骤S220基于人脸属性确定的用于视力保护提示的预定阈值时,可以基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。此处,不同情况下的提示模式可以是不同的,也就是说,不同情况下采用的用于进行提示的预定操作可以是不同的,下面结合具体的实施例加以描述。
在一个实施例中,预定操作一般可以包括以下中的任一项或至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。不同的提示模式可以对应于不同的预定操作。示例性地,提示模式可以取决于所述电子设备的当前运行情况或预设的用户输入。
例如,在一个实施例中,可以确定所述电子设备的当前运行情况,所述当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。例如,当所述电子设备上当前运行的应用为重要办公软件(如远程会议软件)时,对于距离的提示应当更为柔和,诸如可以向用户发出振动提示或弹幕消息等,而不会直接自动锁屏甚至关机。再如,当所述电子设备上当前运行的应用为娱乐软件时,对于距离的提示应当更为严格,即可以进行语音提示、自动锁屏或关机等。
在另一个实施例中,可以接收用户关于预设提示模式的输入作为预设的用户输入,所述预设的用户输入可以指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。例如,用户可以预先设置不同应用的重要等级(例如根据应用的不同将应用划分为3到5个等级:如非常重要、重要、普通、不太重要、不重要),基于这些预先设置的等级,当检测到用户人脸距离电子设备屏幕太近时,可以采用相应的预定操作来提示用户增大与电子设备的距离而不会对用户造成不良影响,从而提高用户体验。例如,等级由高到低对应的预定操作可以分别为:向用户发出弹幕消息、向用户发出振动提示、向用户发出语音提示、自动锁屏、自动关闭所述电子设备。在其他实施例中,提示模式还可以取决于任何其他的因素,且相应的用于提示的预定操作也可以为任何其他合适的操作。
在又一个实施例中,方法200还可以包括:在步骤S220之后、步骤S230之前,先确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施所述步骤S230,也就是说,当确定用户的视线确实在盯着电子设备的屏幕后才实施后续的距离判断以及提示操作。
在一个示例中,可以根据眼睛出现在图像中的位置、眼睛和屏幕的距离及瞳孔的角度来判断眼睛是否盯着屏幕。在另一个示例中,可以获取大量数据训练出一个能够进行眼睛是否注视屏幕的二分类的神经网络来判断用户视线是否在屏幕上,该神经网络例如可以为能够在电子设备上运行的轻量级神经网络或是类似的变型,比如在轻量级神经网络上减少或增加几个卷积层或池化层。示例性地,训练该神经网络的训练数据可以通过如下方式获得:针对一定数量的人(例如10000人左右)采集人脸图像,每人分别在距离电子设备的图像采集部件若干距离(例如20cm、40cm、60cm)处按照例如九宫格方向(即以人脸为中心向上、下、左、右偏移例如30度角)采集若干张(例如3*9=27张)人脸图像;接着用人脸检测算法如OpenCv的LBF算法检测出人脸关键点,然后可以根据眼睛的关键点抠出眼睛区域图像作为网络输入,用眼睛区域图像的数据训练出一个小型神经网络模型进行二分类。
在本发明的又一个实施例中,上述步骤S210中获取人脸图像的步骤可以进一步包括:获取当前使用所述电子设备的用户的多个人脸图像并确定与所述多个人脸图像所对应的用户是否为同一用户,其中,所述多个人脸图像是在预定时间内以一定频率采集的。如果确定与所述多个人脸图像所对应的用户是否为同一用户,则对所述多个人脸图像中的每个人脸图像进行人脸检测,并对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测得到该用户的人脸属性。接着,上述步骤S220可以进一步包括:计算所述多个人脸图像中每个人脸图像中的人脸距离电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值。最后,上述步骤S230可以进一步包括:确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值(此处,“确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值”可以理解为以下中的任意一种:确定所述多个人脸图像中是否存在一个或多个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值;确定所述多个人脸图像中是否最后一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值;确定所述多个人脸图像中是否每间隔N(N为自然数)个人脸图像存在一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值;确定所述多个人脸图像中是否每个人脸图像中的人脸距离所述电子设备的距离均小于所述预定阈值;确定所述多个人脸图像中的人脸距离所述电子设备的距离的平均值是否小于所述预定阈值,等等),如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。在该实施例中,当同一用户在预定时间内的任意时刻距离电子设备太近时,可对该用户发出提示;或者,当同一用户在一段时间(例如10分钟、20分钟等)之内持续距离电子设备太近时,才对该用户发出提示。
基于上面的描述,根据本发明实施例的用于视力保护提示的方法在用户人脸与电子设备之间的距离过小时提示用户拉大距离,且对于不同情况采用不同的距离控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
以上示例性地描述了根据本发明实施例的用于视力保护提示的方法。示例性地,根据本发明实施例的用于视力保护提示的方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外,根据本发明实施例的用于视力保护提示的方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地,根据本发明实施例的用于视力保护提示的方法还可以部署在服务器端(或云端)。替代地,根据本发明实施例的用于视力保护提示的方法还可以分布地部署在服务器端(或云端)和个人终端处。
下面结合图3描述本发明另一方面提供的用于视力保护提示的装置。图3示出了根据本发明实施例的用于视力保护提示的装置300的示意性框图。
如图3所示,根据本发明实施例的用于视力保护提示的装置300包括检测模块310、计算模块320和确定模块330。所述各个模块可分别执行上文中结合图2描述的用于视力保护提示的方法200的各个步骤/功能。以下仅对用于视力保护提示的装置300的各模块的主要功能进行描述,而省略以上已经描述过的细节内容。
检测模块310用于获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性。计算模块320用于基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值。确定模块330用于确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。检测模块310、计算模块320和确定模块330均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
在一个示例中,检测模块310可以部署在电子设备上,其可以基于一定的条件触发电子设备的图像采集部件(例如摄像头等)采集当前使用该电子设备的用户的人脸图像,该条件例如可以包括但不限于:电子设备开始运行、电子设备的某应用(电子书应用、视频应用、聊天应用、浏览器应用等等)开始运行等。
在一个实施例中,基于所得到的用户的人脸图像,检测模块310可以对该人脸图像进行人脸检测,以从人脸图像中检测到人脸的位置用于计算用户的人脸(即用户的人眼)与电子设备(的图像采集部件)之间的距离。此外,检测模块310可以对该人脸图像进行人脸属性检测,以得到诸如用户年龄、用户穿戴等人脸属性,以用于确定用于视力保护提示的预定阈值。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息。示例性地,人脸属性检测所得到的人脸属性可以包括上述三者中的任意组合。在其他示例中,人脸属性检测所得到的人脸属性还可以包括任何其他的关于人脸属性的信息。
在一个示例中,检测模块310可以采用人脸识别神经网络进行上述的人脸检测和人脸属性检测。示例性地,该人脸识别神经网络可以部署在用户当前使用的所述电子设备上。检测模块310所采用的人脸识别神经网络可以根据电子设备的类型来选择。例如,当电子设备为具有较强计算能力的计算设备(诸如台式计算机等)时,检测模块310可以采用大型的人脸识别神经网络,以快速实施人脸检测;当电子设备为具有有限计算能力的手持终端设备(诸如手机、ipad、kindle)时,检测模块310可以采用轻量级人脸识别神经网络(例如shufflenet),以确保不影响终端设备其他应用的性能。
基于检测模块310进行上述人脸检测得到的人脸位置,计算模块320可以计算用户的人脸距离电子设备的距离。在一个实施例中,计算模块320可以部署在该电子设备上。在一个实施例中,计算模块320可以基于所述人脸位置获取所述人脸图像中的人脸深度信息,然后基于所述人脸深度信息计算所述用户的人脸距离所述电子设备的距离。在一个示例中,计算模块320可以采用奥比等结构光或泛光设备来获取人脸深度信息。在另一个示例中,计算模块320也可以采用深度学习模型来获取人脸深度信息。计算模块320基于人脸深度信息计算用户的人脸与电子设备之间的距离能够得到非常准确的距离信息。在另一个实施例中,计算模块320可以基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。可以基于上文中关于根据本发明实施例的用于视力保护提示的方法的描述理解计算模块320的具体操作,为了简洁,此处不再赘述。计算模块320基于人脸关键点的凸包围成的面积的大小或基于人脸关键点中的若干点围成的面积的大小计算用户的人脸与电子设备之间的距离实现简单,无需额外的测试设备或模型。在其他实施例中,计算模块320也可以采用任何其他合适的方式来计算得到用户的人脸与电子设备之间的距离。
在本发明的实施例中,针对不同的用户,可采用不用的距离判断和提示方法,这样可以有针对性地对不同情况的用户进行视力保护。例如,如上所述的,可以基于人脸属性来确定用于视力保护提示的预定阈值。
在一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否为未成年人的属性信息,基于此,计算模块320基于所述人脸属性确定用于视力保护提示的预定阈值的操作可以包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。在该实施例中,当用户为未成年人时,采用相对较大的预定阈值,当用户为成年人时,采用相对较小的预定阈值,也就是说,相对于成年人,对于未成年人进行距离过近提示所采用的阈值更为严格,这样更有利于保护尚处于发育阶段的未成年人的视力。示例性地,检测模块310可以通过检测用户的两瞳孔之间的距离来确定用户是否为未成年人,从而得到指示所述用户是否为未成年人的属性信息。在其他示例中,检测模块310也可以采用任何其他合适的方式来确定用户是否为未成年人。
在另一个实施例中,如上所述的,人脸属性检测所得到的人脸属性可以包括指示所述用户是否佩戴了眼镜的属性信息,基于此,计算模块320基于所述人脸属性确定用于视力保护提示的预定阈值的操作可以包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。在该实施例中,未佩戴眼镜的用户可能是视力较好的用户,对其的距离提示可以适当放宽,即可采用相对小的预定阈值;而对于佩戴眼镜的用户可能是视力较差的用户,对其的距离提示可以适当严格,即可采用相对较大的预定阈值。当然,也可以出于其他的考虑。例如,对于未佩戴眼镜的用户,考虑到其在观看电子设备时没有眼镜这层防护措施,因此可以采用相对较大的预定阈值;反之,对于佩戴眼镜的用户,可采用相对较小的预定阈值。
在又一个实施例中,当人脸属性包括指示所述用户佩戴了眼镜的属性信息时,人脸属性还可以包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,基于此,计算模块320基于所述人脸属性确定用于视力保护提示的预定阈值的操作可以包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。在该实施例中,对于佩戴了防护眼镜(例如防蓝光眼镜)的用户,可适当放宽距离的控制,即上述的预定阈值可采用相对较小的数值;对于佩戴了普通眼镜(例如普通近视或老花眼镜)的用户,上述的预定阈值可采用相对较大的数值来保护本就视力不好的眼睛。此外,与未佩戴眼镜的用户相比,对于佩戴防护眼镜的用户可适当放宽距离的控制,即上述的第五阈值与上述的第三阈值相比可以为更小的数值,即上述的第五阈值可以小于上述的第三阈值。
在其他实施例中,人脸属性还可以包括其他任何关于人脸属性的信息,计算模块320可以基于该信息确定应采用的合适的用于进行视力提示的预定阈值。
在一个实施例中,确定模块330可以部署在上述电子设备上。当确定计算模块320计算得到的用户人脸与电子设备之间的距离小于计算模块320基于人脸属性确定的用于视力保护提示的预定阈值时,确定模块330可以基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。此处,不同情况下的提示模式可以是不同的,也就是说,不同情况下采用的用于进行提示的预定操作可以是不同的。
在一个实施例中,预定操作一般可以包括以下中的任一项或至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。不同的提示模式可以对应于不同的预定操作。示例性地,提示模式可以取决于所述电子设备的当前运行情况或预设的用户输入。
例如,在一个实施例中,确定模块330可以确定所述电子设备的当前运行情况,所述当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。例如,当所述电子设备上当前运行的应用为重要办公软件(如远程会议软件)时,对于距离的提示应当更为柔和,诸如可以向用户发出振动提示或弹幕消息等,而不会直接自动锁屏甚至关机。再如,当所述电子设备上当前运行的应用为娱乐软件时,对于距离的提示应当更为严格,即可以进行语音提示、自动锁屏或关机等。
在另一个实施例中,装置300还可以接收模块(未在图3中示出),其可以接收用户关于预设提示模式的输入作为预设的用户输入,所述预设的用户输入可以指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。例如,用户可以预先设置不同应用的重要等级(例如根据应用的不同将应用划分为3到5个等级:如非常重要、重要、普通、不太重要、不重要),基于这些预先设置的等级,当检测到用户人脸距离电子设备屏幕太近时,可以采用相应的预定操作来提示用户增大与电子设备的距离而不会对用户造成不良影响,从而提高用户体验。例如,等级由高到低对应的预定操作可以分别为:向用户发出弹幕消息、向用户发出振动提示、向用户发出语音提示、自动锁屏、自动关闭所述电子设备。
在又一个实施例中,确定模块330还可以用于:先确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施后续的距离判断以及提示操作,这可以使得对用户的视力保护提示更为准确。
在本发明的另一个实施例中,上述检测模块310还可以进一步用于:获取当前使用所述电子设备的用户的多个人脸图像并确定与所述多个人脸图像所对应的用户是否为同一用户,其中,所述多个人脸图像是在预定时间内以一定频率采集的;如果确定与所述多个人脸图像所对应的用户是否为同一用户,则对所述多个人脸图像中的每个人脸图像进行人脸检测,并对所述多个人脸图像中的至少一个人脸图像进行人脸属性检测得到该用户的人脸属性。上述计算模块320还可以进一步用于:计算所述多个人脸图像中每个人脸图像中的人脸距离电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值。上述确定模块330还可以进一步用于:确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。在该实施例中,当同一用户在预定时间内的任意时刻距离电子设备太近时,可对该用户发出提示;或者,当同一用户在一段时间之内持续距离电子设备太近时,才对该用户发出提示。
基于上面的描述,根据本发明实施例的用于视力保护提示的装置在用户人脸与电子设备之间的距离过小时提示用户拉大距离,且对于不同情况采用不同的距离控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
图4示出了根据本发明实施例的用于视力保护提示的系统400的示意性框图。用于视力保护提示的系统400包括存储装置410以及处理器420。
其中,存储装置410存储用于实现根据本发明实施例的用于视力保护提示的方法中的相应步骤的程序代码。处理器420用于运行存储装置410中存储的程序代码,以执行根据本发明实施例的用于视力保护提示的方法的相应步骤,并且用于实现根据本发明实施例的用于视力保护提示的装置中的相应模块。
在一个实施例中,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行以下步骤:获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值;以及确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。
在一个实施例中,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于视力保护提示的系统400执行以下步骤:在确定所述距离是否小于所述预定阈值之前,确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施所述距离与所述预定阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
在一个实施例中,在所述程序代码被处理器420运行时还使得用于视力保护提示的系统400执行以下步骤:获取当前使用所述电子设备的用户的多个人脸图像,所述多个人脸图像是在预定时间内以一定频率采集的;以及确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值,如果是,则实施所述预定操作。
在一个实施例中,在所述程序代码被处理器420运行时使得用于视力保护提示的系统400执行的所述基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离包括:基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的用于视力保护提示的方法的相应步骤,并且用于实现根据本发明实施例的用于视力保护提示的装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的用于视力保护提示的装置的各个功能模块,并且/或者可以执行根据本发明实施例的用于视力保护提示的方法。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值;以及确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
在一个实施例中,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
在一个实施例中,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
在一个实施例中,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。
在一个实施例中,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。
在一个实施例中,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
在一个实施例中,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
在一个实施例中,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:在确定所述距离是否小于所述预定阈值之前,确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施所述距离与所述预定阈值之间大小关系的判断和所述预定操作。
在一个实施例中,所述预定操作包括以下中的至少一项:向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:获取当前使用所述电子设备的用户的多个人脸图像,所述多个人脸图像是在预定时间内以一定频率采集的;以及确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值,如果是,则实施所述预定操作。
在一个实施例中,所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离包括:基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。
根据本发明实施例的用于视力保护提示的装置中的各模块可以通过根据本发明实施例的用于视力保护提示的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的用于视力保护提示的方法、装置、系统和存储介质在用户人脸与电子设备之间的距离过小时提示用户拉大距离,且对于不同情况采用不同的距离控制阈值和/或不同的提示操作,使得提示信息的触发条件及其展现方式能够根据不同的人/场景自适应调整而更为个性化和合理化,从而能够实现为用户的视力保护提供主动且有效的提醒的同时提高用户体验。
根据本发明实施例,还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的用于视力保护提示的方法的相应步骤,并且用于实现根据本发明实施例的用于视力保护提示的装置中的相应模块。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种用于视力保护提示的方法,其特征在于,所述方法包括:
获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;
基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值;以及
确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
2.根据权利要求1所述的方法,其特征在于,所述人脸属性包括以下中的一项或多项:指示所述用户是否为未成年人的属性信息、指示所述用户是否佩戴了眼镜的属性信息、以及指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,并且所述预定阈值是基于所述人脸属性所包括的所述一项或多项而综合确定的。
3.根据权利要求2所述的方法,其特征在于,所述人脸属性包括指示所述用户是否为未成年人的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:
如果所述属性信息指示所述用户为未成年人,则确定采用第一阈值作为所述预定阈值,反之,则确定采用第二阈值作为所述预定阈值,其中所述第一阈值大于所述第二阈值。
4.根据权利要求3所述的方法,其特征在于,所述人脸属性检测包括:检测所述用户的两瞳孔之间的距离,并基于所述用户的两瞳孔之间的距离确定所述用户是否为未成年人。
5.根据权利要求2所述的方法,其特征在于,所述人脸属性包括指示所述用户是否佩戴了眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:
如果所述属性信息指示所述用户未佩戴眼镜,则确定采用第三阈值作为所述预定阈值,反之,则确定采用第四阈值作为所述预定阈值,其中所述第三阈值小于所述第四阈值。
6.根据权利要求5所述的方法,其特征在于,所述人脸属性还包括指示所述用户佩戴的眼镜是否为防护眼镜的属性信息,所述基于所述人脸属性确定用于视力保护提示的预定阈值包括:
如果所述属性信息指示所述用户佩戴的眼镜是防护眼镜,则确定采用第五阈值作为所述预定阈值,反之,则确定采用所述第四阈值作为所述预定阈值,其中所述第五阈值小于所述第四阈值。
7.根据权利要求1-6中的任一项所述的方法,其特征在于,所述提示模式取决于所述电子设备的当前运行情况或预设的用户输入。
8.根据权利要求7所述的方法,其特征在于,所述电子设备的当前运行情况包括所述电子设备的当前屏幕亮度、当前正在运行的应用以及外界光照强度中的至少一项,并且,所述预定操作基于所述当前运行情况的不同而有所不同。
9.根据权利要求7所述的方法,其特征在于,所述预设的用户输入指示所述电子设备上不同应用的重要等级,并且所述预定操作基于所述电子设备上当前运行的应用的重要等级的不同而有所不同。
10.根据权利要求1-6中的任一项所述的方法,其特征在于,所述方法还包括:
在确定所述距离是否小于所述预定阈值之前,确定所述用户的视线是否在所述电子设备的屏幕上,如果是,才实施所述距离与所述预定阈值之间大小关系的判断和所述预定操作。
11.根据权利要求1-6中的任一项所述的方法,其特征在于,所述预定操作包括以下中的至少一项:
向用户发出语音提示、向用户发出弹幕消息、向用户发出振动提示、自动锁屏以及自动关闭所述电子设备。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取当前使用所述电子设备的用户的多个人脸图像,所述多个人脸图像是在预定时间内以一定频率采集的;以及
确定与所述多个人脸图像所对应的用户是否为同一用户,如果是,则确定所述多个人脸图像中是否至少一个人脸图像中的人脸距离所述电子设备的距离小于所述预定阈值,如果是,则实施所述预定操作。
13.根据权利要求1或12所述的方法,其特征在于,所述基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离包括:
基于所述人脸位置获取人脸关键点,并基于所述人脸关键点的凸包围成的面积的大小或基于所述人脸关键点中的若干点围成的面积的大小计算所述用户的人脸距离所述电子设备的距离。
14.一种用于视力保护提示的装置,其特征在于,所述装置包括:
检测模块,用于获取当前使用电子设备的用户的人脸图像,并对所述人脸图像进行人脸检测和人脸属性检测以分别得到人脸位置和人脸属性;
计算模块,用于基于所述人脸位置计算所述用户的人脸距离所述电子设备的距离,并基于所述人脸属性确定用于视力保护提示的预定阈值;以及
确定模块,用于确定所述距离是否小于所述预定阈值,如果是,则基于提示模式实施相应的预定操作以提示用户增大与所述电子设备的距离。
15.一种用于视力保护提示的系统,其特征在于,所述系统包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行如权利要求1-13中的任一项所述的用于视力保护提示的方法。
16.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如权利要求1-13中的任一项所述的用于视力保护提示的方法。
CN201810805462.9A 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质 Active CN109191802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810805462.9A CN109191802B (zh) 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810805462.9A CN109191802B (zh) 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN109191802A true CN109191802A (zh) 2019-01-11
CN109191802B CN109191802B (zh) 2021-08-31

Family

ID=64936883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810805462.9A Active CN109191802B (zh) 2018-07-20 2018-07-20 用于视力保护提示的方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN109191802B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458890A (zh) * 2019-08-15 2019-11-15 北京字节跳动网络技术有限公司 控制方法、装置、电子设备及存储介质
CN112286347A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 视力保护方法、装置、存储介质以及终端
CN112286411A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 显示模式的控制方法、装置、存储介质以及电子设备
CN112465910A (zh) * 2020-11-26 2021-03-09 成都新希望金融信息有限公司 一种目标拍摄距离获取方法、装置、存储介质及电子设备
CN112492101A (zh) * 2020-11-23 2021-03-12 惠州Tcl移动通信有限公司 终端处理方法、装置、存储介质及终端
CN112948778A (zh) * 2019-12-11 2021-06-11 百度在线网络技术(北京)有限公司 智能设备的控制方法、装置以及智能设备
CN113029018A (zh) * 2021-02-03 2021-06-25 深圳市优必选科技股份有限公司 护眼提示方法、装置、终端设备及计算机可读存储介质
CN114625456A (zh) * 2020-12-11 2022-06-14 腾讯科技(深圳)有限公司 目标图像显示方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101301236A (zh) * 2008-06-27 2008-11-12 北京中星微电子有限公司 基于三维摄像的视力保护系统及方法
CN102841354A (zh) * 2012-08-09 2012-12-26 广东欧珀移动通信有限公司 一种具有显示屏幕的电子设备的保护视力实现方法
KR20130106535A (ko) * 2012-03-20 2013-09-30 이영훈 휴대폰 분실 및 도용 방지 시스템
CN103700229A (zh) * 2013-12-06 2014-04-02 乐视致新电子科技(天津)有限公司 一种提醒方法和电子设备
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN107783643A (zh) * 2016-08-27 2018-03-09 深圳市诺维创科技有限公司 一种保护用户视力的方法及装置
CN108055398A (zh) * 2017-12-19 2018-05-18 广东小天才科技有限公司 一种护眼提醒的控制方法及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101301236A (zh) * 2008-06-27 2008-11-12 北京中星微电子有限公司 基于三维摄像的视力保护系统及方法
KR20130106535A (ko) * 2012-03-20 2013-09-30 이영훈 휴대폰 분실 및 도용 방지 시스템
CN102841354A (zh) * 2012-08-09 2012-12-26 广东欧珀移动通信有限公司 一种具有显示屏幕的电子设备的保护视力实现方法
CN103700229A (zh) * 2013-12-06 2014-04-02 乐视致新电子科技(天津)有限公司 一种提醒方法和电子设备
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN107783643A (zh) * 2016-08-27 2018-03-09 深圳市诺维创科技有限公司 一种保护用户视力的方法及装置
CN108055398A (zh) * 2017-12-19 2018-05-18 广东小天才科技有限公司 一种护眼提醒的控制方法及电子设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458890A (zh) * 2019-08-15 2019-11-15 北京字节跳动网络技术有限公司 控制方法、装置、电子设备及存储介质
CN112948778A (zh) * 2019-12-11 2021-06-11 百度在线网络技术(北京)有限公司 智能设备的控制方法、装置以及智能设备
CN112286347A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 视力保护方法、装置、存储介质以及终端
CN112286411A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 显示模式的控制方法、装置、存储介质以及电子设备
CN112492101A (zh) * 2020-11-23 2021-03-12 惠州Tcl移动通信有限公司 终端处理方法、装置、存储介质及终端
CN112465910A (zh) * 2020-11-26 2021-03-09 成都新希望金融信息有限公司 一种目标拍摄距离获取方法、装置、存储介质及电子设备
CN112465910B (zh) * 2020-11-26 2021-12-28 成都新希望金融信息有限公司 一种目标拍摄距离获取方法、装置、存储介质及电子设备
CN114625456A (zh) * 2020-12-11 2022-06-14 腾讯科技(深圳)有限公司 目标图像显示方法、装置及设备
CN114625456B (zh) * 2020-12-11 2023-08-18 腾讯科技(深圳)有限公司 目标图像显示方法、装置及设备
CN113029018A (zh) * 2021-02-03 2021-06-25 深圳市优必选科技股份有限公司 护眼提示方法、装置、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN109191802B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109191802A (zh) 用于视力保护提示的方法、装置、系统和存储介质
KR102358677B1 (ko) 생체 인증 보안을 위한 청색 광 조정
CN114758406B (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及系统
JP7109655B2 (ja) 眼鏡用仮想試着システム及び方法
CN106527679B (zh) 检测不正确的观看姿势的方法和系统
US9619712B2 (en) Threat identification system
US9794550B2 (en) Eye-fatigue reduction system for head-mounted displays
TWI581178B (zh) 混合實境顯示器中使用者控制的真實物件的消失
US20170115742A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US9135508B2 (en) Enhanced user eye gaze estimation
CN108875452A (zh) 人脸识别方法、装置、系统和计算机可读介质
US10254831B2 (en) System and method for detecting a gaze of a viewer
US20150293586A1 (en) Eye gaze direction indicator
CN108734057A (zh) 活体检测的方法、装置及计算机存储介质
WO2018127782A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN108875473A (zh) 活体验证方法、装置和系统及存储介质
US20170156585A1 (en) Eye condition determination system
US20190235246A1 (en) Method and apparatus for showing emoji on display glasses
US20190235621A1 (en) Method and apparatus for showing an expression of how an object has been stared at in a displayed video
CN109299645A (zh) 用于视力保护提示的方法、装置、系统和存储介质
WO2020033073A1 (en) Controlling focal parameters of a head mounted display based on estimated user age
CN107847124B (zh) 用于监测至少一个显示设备的使用者的视觉能力修改参数的监测部件及方法
CN107924229B (zh) 一种虚拟现实设备中的图像处理方法和装置
CN112099622B (zh) 一种视线追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant