CN115599219B - 一种显示屏的护眼控制方法、系统、设备及存储介质 - Google Patents

一种显示屏的护眼控制方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115599219B
CN115599219B CN202211351407.XA CN202211351407A CN115599219B CN 115599219 B CN115599219 B CN 115599219B CN 202211351407 A CN202211351407 A CN 202211351407A CN 115599219 B CN115599219 B CN 115599219B
Authority
CN
China
Prior art keywords
data
display screen
person
gesture
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211351407.XA
Other languages
English (en)
Other versions
CN115599219A (zh
Inventor
张天勇
万成
李湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiuzhou Zhihe Technology Co ltd
Original Assignee
Shenzhen Jiuzhou Zhihe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiuzhou Zhihe Technology Co ltd filed Critical Shenzhen Jiuzhou Zhihe Technology Co ltd
Priority to CN202211351407.XA priority Critical patent/CN115599219B/zh
Publication of CN115599219A publication Critical patent/CN115599219A/zh
Application granted granted Critical
Publication of CN115599219B publication Critical patent/CN115599219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本发明提出一种显示屏的护眼控制方法、系统、设备及存储介质,所述方法包括:检测到显示屏启动时,实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据,并唤醒计时模块;根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;从所述计时模块读取时间数据;根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整。通过本发明的方案,能根据周围环境、观众状态自动调整显示屏的显示状态以保护用户眼睛,准确高效,能提高用户体验。

Description

一种显示屏的护眼控制方法、系统、设备及存储介质
技术领域
本发明涉及智能控制技术领域,具体涉及一种显示屏的护眼控制方法、系统、设备及存储介质。
背景技术
电子产品已经深入到我们社会生活的各个领域,我们的生活、休闲、购物、娱乐和学习等活动中,电子产品都扮演着重要的角色。然而,使用电子产品越来越频繁,使用电子的平均时间呈现上升趋势,近视的发病率也越来越高。
目前,护眼功能已普遍应用于带屏幕的电子产品(如电视、手机、电脑等),比如,可以通过蓝光过滤实现护眼功能,根据用户手动设置的固定护眼强度值进行调节;再如,为了避免用户长时间观看显示屏幕,通过显示屏幕页面内容的观看时间对显示屏幕进行控制,如根据视频播放固定时间、游戏的游玩时间或者屏幕的点亮时长等。然而,根据用户手动设置的固定护眼强度值进行调节,手法单一、处理不灵活,无法根据设备显示内容或设备使用者的状态进行自适应的调整,导致显示效果下降;仅仅通过获取页面内容的观看时间对显示屏幕进行控制容易出现误判,如显示屏幕在显示时用户不一定正在观看屏幕,此时对显示屏幕进行控制就会影响用户体验。
发明内容
本发明正是基于上述问题,提出了一种显示屏的护眼控制方法、系统、设备及存储介质,通过本发明的方案,能根据周围环境、观众状态自动调整显示屏的显示状态以保护用户眼睛,准确高效,能提高用户体验。
有鉴于此,本发明的一方面提出了一种显示屏的护眼控制方法,包括:
检测到显示屏启动时,实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据,并唤醒计时模块;
根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;
从所述计时模块读取时间数据;
根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整。
可选地,所述方法还包括:
根据所述第一人物图像数据识别出第一人脸数据,并采集所述第一人脸数据对应人员的的人物特征数据,所述人物特征数据包括视力特征数据、显示偏好数据;
对每个所述第一人脸数据和所述人物特征数据设置唯一标识符;
将所述唯一标识符发送至所述计时模块,由所述计时模块分别为每个所述唯一标识符创建一个计时器,并启动所有所述计时器开始计时;
获取处于所述显示屏前方的人员的第二人物图像数据;
根据所述第二人物图像数据和所述第一人物图像数据的比对结果,对所述计时模块和所述计时器的工作进行控制。
可选地,所述根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据的步骤,包括:
以所述显示屏的显示平面的中心为坐标原点O、以在所述显示平面内并经过所述坐标原点的水平线为X轴、以在所述显示平面内并经过所述坐标原点的竖直线为Y轴、以经过所述坐标原点并同时垂直于X轴与Y轴的直线为Z轴建立三维坐标系OXYZ;
获取所述第一物图像数据的图像采集装置的位置信息,并根据所述位置信息得到所述图像采集装置在所述三维坐标系OXYZ中的第一坐标值;
根据所述第一人脸数据确定各人脸对应的各个人员的身体关键点与所述图像采集装置间的第一空间位置数据;
根据所述第一坐标值与所述第一空间位置数据,得到所述各个人员的身体关键点对应在所述三维坐标系OXYZ中的各个第二坐标值,以得到对应的各个人员与所述显示屏的空间位置数据,所述空间位置数据包括与所述显示屏的距离数据、与所述坐标原点O的角度数据;
根据所述第一人脸数据,将所述第二坐标值与所述唯一标识符建立对应关系;
从所述身体关键点对应的各个所述第二坐标值中,选取左眼中心点的坐标值、右眼中心点的坐标值、左鼻孔中心点的坐标值、右鼻孔中心点的坐标值、嘴中心点坐标值、下巴中点坐标值、左肩关节点坐标值、右肩关节点坐标值作为第一姿势判断点集;
根据所述唯一标识符将所述第一姿势判断点集里的所有坐标值分成多个小组,形成第二姿势判断点集;
分别对所述第二姿势判断点集里的每个小组里的坐标值进行计算分析,得到所述各个人员的姿势数据。
可选地,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
根据所述环境光数据得到环境光线亮度、环境光线照射到所述显示屏的照射角度;
根据所述环境光线亮度和所述照射角度,调整所述显示屏的屏幕亮度、显示分辨率、显示颜色对比度、色温、颜色模式中一个或多个。
可选地,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
从所述空间位置数据提取每个人员的所述距离数据和所述角度数据;
分别判断每个所述距离数据和所述角度数据是否在预设的距离范围内和预设的角度范围内并进行统计;
当所述距离数据不在所述预设的距离范围内的比例超过第一预设值和/或所述角度数据不在所述预设的角度范围内的比例超过第二预设值时,统计所述距离数据不在所述预设的距离范围内的第一距离数据集和/或所述角度数据不在所述预设的角度范围内的第一角度数据集;
根据所述第一距离数据集和/或所述第一角度数据、所述人物特征数据对所述显示屏的变焦模块进行控制以调节所述显示屏投射成像的位置;
当所述距离数据不在所述预设的距离范围内的比例未超过第一预设值且所述角度数据不在所述预设的角度范围内的比例未超过第二预设值时,根据所述第一人脸数据判断是否存在特殊人员;
若存在,则根据所述特殊人员的唯一标识符从所述计时模块创建的对应计时器中读取时间数据,并根据所述时间数据判断所述特殊人员使用所述显示屏的时长是否超过第一预设时长;
若是,则在所述显示屏上显示提醒信息。
可选地,在所述若是,则在所述显示屏上显示提醒信息的步骤之后,包括:
在所述提醒信息在所述显示屏上进行显示并经过第二预设时长后,采集所述显示屏前的当前人物图像数据;
通过人脸识别算法判断所述当前人物图像数据中是否存在所述特殊人员;
若是,则控制所述显示屏停止显示画面,并记录所述显示屏播放的影像数据的当前帧的当前时间点;
以所述当前时间点为第一起始点,从所述影像数据中获取第三预设时长的第一影像数据;
将所述第一影像数据转换成对所述第一影像数据进行描述的第一语音数据;
播放所述第一语音数据,并在所述第一语音数据播放完成后,控制所述显示屏以所述当前时间点加上所述第三预设时长后的时间点为第二起始点显示所述影像数据。
可选地,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
分别判断每个所述姿势数据是否在预设的姿势库内并进行统计;
当所述姿势数据不在所述预设的姿势库内的比例超过第三预设值时,确定所述姿势数据不在所述预设的姿势库内的第一姿势数据集;
结合所述第一人物图像数据,根据所述第一姿势数据集确定对应人员的第一空间位置;
根据所述第一姿势数据集、所述第一空间位置,控制所述显示屏的运动调节模块工作;
调节所述显示屏与所述显示屏前方的人员的相对距离以及角度。
本发明的另一方面提供一种显示屏的护眼控制系统,包括用于检测显示屏是否启动的检测模块、采集模块、唤醒模块和处理模块;其中,
当所述检测模块检测到显示屏启动时,所述采集模块被配置为:实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据;
所述唤醒模块被配置为唤醒计时模块;
所述处理模块被配置为:
根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;
从所述计时模块读取时间数据;
根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏的显示数据进行调整。
本发明的另一方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如前述任一项所述的显示屏的护眼控制方法。
本发明的另一方面提供一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如前述任意一项所述的设备控制方法。
采用本发明的技术方案,在检测到显示屏启动时,实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据,并唤醒计时模块;根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;从所述计时模块读取时间数据;根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整。通过本方案,能根据周围环境、观众状态自动调整显示屏的显示状态以保护用户眼睛,准确高效,能提高用户体验。
附图说明
图1是本发明一个实施例提供的显示屏的护眼控制方法流程图;
图2是本发明一个实施例提供的显示屏的护眼控制系统的示意框图;
图3是本发明另一个实施例提供的电子设备的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图3来描述根据本发明一些实施方式提供的一种显示屏的护眼控制方法、系统、设备及存储介质。
如图1所示,本发明一个实施例提供一种显示屏的护眼控制方法,包括:
检测到显示屏启动时,实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据,并唤醒计时模块;
在本步骤中,可以通过检测模块检测显示屏是否启动,在显示屏启动后,通过环境光采集模块实时采集环境光数据,并通过图像采集模块实时采集处于所述显示屏前方的人员的第一人物图像数据,同时唤醒计算模块进行执行计时操作。可以理解的是,所述检测模块、所述环境光采集模块、所述图像采集模块和所述计时模块可以集成设置于所述显示屏内部,也可以独立设置于所述显示屏,如所述检测模块的功能可以是独立于显示屏的智能终端、所述环境光采集模块可以为独立于显示屏且配置有环境光传感器的设备、所述图像采集模块可以为独立于显示屏的摄像头或配置有摄像模组的智能终端、所述计时模块也可以为具有多线程计时功能的设备或终端。
根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;
在本步骤中,可以通过对所述第一人物图像数据的处理与分析,得到所述第一人物图像数据中涉及的各个人员的姿势数据(如头部姿势数据、上半身姿势数据和整体身体姿势数据等)和各个人员与显示屏的空间位置数据(如各个人员/观众与显示屏(具体可以是显示屏上的特设的点)间的距离、视线与显示屏间的角度等)。
从所述计时模块读取时间数据;
在本步骤中,从从所述计时模块读取时间数据,以获得显示屏的工作时长、各个人员(观众)的观看时长等。
根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整。
在本步骤中,可以根据所述环境光数据(如环境光线亮度)、所述空间位置数据(如观众视线与显示屏间的角度、观众与显示屏间的距离等)、所述姿势数据(如观众的头部姿势、上半身姿势数据,包括在与显示屏显示平面平行的面内的姿势数据和面外的姿势数据)和所述时间数据(如观看时长)对所述显示屏(的显示参数、显示内容、距离、角度等)进行调整。
在本发明的实施例中,获取的人物图像数据(如第一人物图像数据)为三维图像数据。
可以理解的是,采用该实施例的技术方案,在检测到显示屏启动时,实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据,并唤醒计时模块;根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;从所述计时模块读取时间数据;根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整。通过本方案,能根据周围环境、观众状态自动调整显示屏的显示状态以保护用户眼睛,准确高效,能提高用户体验。
在本发明一些可能的实施方式中,所述方法还包括:
根据所述第一人物图像数据识别出第一人脸数据,并采集所述第一人脸数据对应人员的的人物特征数据,所述人物特征数据包括视力特征数据、显示偏好数据;
在本步骤中,通过利用人脸识别/检测算法从属于显示屏前方的人员(即观众)的第一人物图像数据中识别出所有的人脸作为第一人脸数据,并根据所述第一人脸数据采集这些人脸各自对应的人员的人物特征数据,所述人物特征数据包括但不限于年龄特征数据、健康特征数据、视力特征数据、显示偏好数据。通过采集各个人员的人物特征数据,可以按其特征提供能同时适合个体和群体显示需求的显示方案。另外,识别出人脸后,还可以进一步进行人体轮廓识别,从而得到人物未遮挡部分的人体数据。
对每个所述第一人脸数据和所述人物特征数据设置唯一标识符;
在本步骤中,因人脸数据具有唯一性且人脸数据更符合智能终端使用环境(验证方便、采集快速等),故为了后续数据处理的方便与快捷,对每个所述第一人脸数据和每个所述第一人脸数据对应的人员的所述人物特征数据设置唯一标识符,唯一标识符可以采用字符串编码,数据量小、兼容性高,当然,唯一标识符也可以采用其他编码方式,本发明的实施例对此并不限制。
将所述唯一标识符发送至所述计时模块,由所述计时模块分别为每个所述唯一标识符创建一个计时器,并启动所有所述计时器开始计时;
在本步骤中,为了方便统计每个人员注视或使用显示屏的时间,需要给每个人员单独设置计时器,所以本实施例中,将所述唯一标识符发送至所述计时模块,由所述计时模块分别为每个所述唯一标识符创建一个计时器,并启动所有所述计时器开始计时。
获取处于所述显示屏前方的人员的第二人物图像数据;
在本步骤中,在启动各个计时器后,为了确定计时器的暂停或关闭时间,每隔预设时间就获取处于所述显示屏前方的人员的第二人物图像数据用于确定人员的增减,预设时间可以根据历史观看大数据分析而得,比如,假设在1分钟内离开并返回的短暂离场对于眼睛保健作用可以忽略不计,则可以把预设时间定为1分钟。对于获取第二人物图像数据流程的启动,可以通过多种方式,比如还可以通过其他传感器,如红外线传感器、激光传感器等,检测显示屏前是否有人物走动,当检测到有人物走动时,获取处于所述显示屏前方的人员的第二人物图像数据。当然,还可以将前述两种方式结合使用,或者与其他方式结合使用,本发明的实施例对此不作限制。
根据所述第二人物图像数据和所述第一人物图像数据的比对结果,对所述计时模块和所述计时器的工作进行控制。
在本步骤中,在通过所述第二人物图像数据和所述第一人物图像数据的比对后,可以确定是否有新加入的人员或是否有人员离开。当有人员离开时,通过对应的人脸数据可以确定其唯一标识符从而可以确定其对应的计时器,将其对应的计时器暂停,当下次进行人员增减检测时,若此人员还是不存在,则关闭其计时器,若此人员已返回,则其计时器继续计时。当有新加入的人员时,为其配置唯一标识符,由计时模块为其唯一标识符创建计时器形如计时。
在本实施例中,通过人脸数据来为每个人员创建计时器,可以做到更精细化的显示屏管理。
应当说明的是,在本发明的所有实施例中,涉及的人脸识别方法可以采用如下步骤:
S1、首先从原始图像(如第一人物图像数据或第二人物图像数据)中提取若干待检测图像,如将原始图像按区域等分提取,或者以检测到的符合预设规则的成对亮点(即眼睛)所形成的线段的中心为对称中心、以预设距离为边长的正方形,提取正方形对应的图像作为待检测图像,利用检测窗口对待检测图像进行检测。
S2、将检测窗口划分为16×16的子块。
S3、对于每个子块中的一个像素,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,3*3邻域内的8个点经比较可产生8位二进制数,即得到该窗口中心像素点的LBP值,生成LBP图谱。
S4、计算每个子块的直方图,即每个数字出现的频率;然后对该直方图进行归一化处理。
S5、将得到的每个子块的统计直方图进行连接成为一个特征向量,也就是整待检测图像的LBP纹理特征向量。
S6、提取待检测图像的HOG特征,每个块由4个子块组成,每次向右和向下移动单位为一个子块的长度。将每个块的直方图特征使用L2范数进行归一化之后,将每个块的特征直方图融合成整体的HOG特征Hh。
S7、将LBP图谱分成同等的块,统计每个块的直方图特征,融合成整体的直方图特征Hl。
S8、对获取到的HOG特征和LBP特征进行加权处理,LBP特征赋权为1。
S9、HOG特征赋权为N,最终的加权融合特征为H={Hl,N*Hh},据此进行识别。
S10、重复上述S2至S9,直到对所有所述待检测图像的检测完成。
在本发明一些可能的实施方式中,所述根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据的步骤,包括:
以所述显示屏的显示平面的中心为坐标原点O、以在所述显示平面内并经过所述坐标原点的水平线为X轴、以在所述显示平面内并经过所述坐标原点的竖直线为Y轴、以经过所述坐标原点并同时垂直于X轴与Y轴的直线为Z轴建立三维坐标系OXYZ;
获取所述第一物图像数据的图像采集装置的位置信息,并根据所述位置信息得到所述图像采集装置在所述三维坐标系OXYZ中的第一坐标值;
根据所述第一人脸数据确定各人脸对应的各个人员的身体关键点与所述图像采集装置间的第一空间位置数据;
根据所述第一坐标值与所述第一空间位置数据,得到所述各个人员的身体关键点对应在所述三维坐标系OXYZ中的各个第二坐标值,以得到对应的各个人员与所述显示屏的空间位置数据,所述空间位置数据包括与所述显示屏的距离数据、与所述坐标原点O的角度数据;
根据所述第一人脸数据,将所述第二坐标值与所述唯一标识符建立对应关系,以方便将属于同一人的各关键点进行分类,从而可以准确地计算单个人的位置与姿势数据;
从所述身体关键点对应的各个所述第二坐标值中,选取左眼中心点的坐标值、右眼中心点的坐标值、左鼻孔中心点的坐标值、右鼻孔中心点的坐标值、嘴中心点坐标值、下巴中点坐标值、左肩关节点坐标值、右肩关节点坐标值作为第一姿势判断点集;
根据所述唯一标识符将所述第一姿势判断点集里的所有坐标值分成多个小组,形成第二姿势判断点集;
分别对所述第二姿势判断点集里的每个小组里的坐标值进行计算分析,得到所述各个人员的姿势数据。
可以理解的是,在本实施例中,为了方便、准确确定各个人员与显示屏的空间位置关系以及各人的姿势,以显示屏为中心建立了三维坐标系统,以此来确定图像采集装置在此三维坐标系中的第一坐标值,再结合第一图像数据,根据所述第一人脸数据确定各人脸对应的各个人员的身体关键点与所述图像采集装置间的第一空间位置数据,从而可以确定各关键点的第二坐标值,进而就可以计算出各个人员与显示屏间的空间位置数据(包括但不限于与所述显示屏的距离数据、与所述坐标原点O的角度数据等)。
另外,根据每个人的各个关键点的坐标值可以计算出各人的姿势数据,例如可以根据坐标值计算各人的两眼中心点和/或两鼻孔中心点与坐标原点的距离,进而可以计算出空间角度,从而可以得到人脸距离显示屏的距离和人脸与显示屏间的角度;还可以通过两眼中心点坐标值、两鼻孔中心点坐标值、嘴中心点坐标值、下巴中点坐标值、左右肩关节点坐标值计算各关键点与坐标原点的距离和空间角度,从而得到各人上半身的姿势,如躺、卧等。
在本发明一些可能的实施方式中,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
根据所述环境光数据得到环境光线亮度、环境光线照射到所述显示屏的照射角度;
根据所述环境光线亮度和所述照射角度,调整所述显示屏的屏幕亮度、显示分辨率、显示颜色对比度、色温、颜色模式中一个或多个。
可以理解的是,因环境光可能随着时间在变化,为了使得显示屏的显示效果能契合环境光的变化,在本实施例中,采集环境光数据并根据环境光数据调节显示屏的显示参数。所述环境光数据包括但不限于光源方向、环境光线亮度等。
在本发明一些可能的实施方式中,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
从所述空间位置数据提取每个人员的所述距离数据和所述角度数据;
分别判断每个所述距离数据和所述角度数据是否在预设的距离范围内和预设的角度范围内并进行统计;
当所述距离数据不在所述预设的距离范围内的比例超过第一预设值和/或所述角度数据不在所述预设的角度范围内的比例超过第二预设值时,统计所述距离数据不在所述预设的距离范围内的第一距离数据集和/或所述角度数据不在所述预设的角度范围内的第一角度数据集;
根据所述第一距离数据集和/或所述第一角度数据、所述人物特征数据对所述显示屏的变焦模块进行控制以调节所述显示屏投射成像的位置;
当所述距离数据不在所述预设的距离范围内的比例未超过第一预设值且所述角度数据不在所述预设的角度范围内的比例未超过第二预设值时,根据所述第一人脸数据判断是否存在特殊人员;
若存在,则根据所述特殊人员的唯一标识符从所述计时模块创建的对应计时器中读取时间数据,并根据所述时间数据判断所述特殊人员使用所述显示屏的时长是否超过第一预设时长;
若是,则在所述显示屏上显示提醒信息。
可以理解的是,当存在多个人员在观看/使用显示屏时,为了照顾到所有人的使用体验,只有当所有人员中不在标准视角的人员的比例超过第一预设值时,同时,根据之前设置的唯一标识符确定不在标准视角的人员的人物特征数据(如视力、身高、显示偏好等),结合人物特征数据进行综合评估后,才对显示屏内设置的变焦模块进行控制以调节所述显示屏投射成像的位置。当所有人员中不在标准视角的人员的比例未超过第一预设值时,进一步检测是否存在特殊人员(如幼儿),若存在,则获取特殊人员的使用时长和/或判断特殊人员是否处于标准视角,若使用时长超过第一预设时长和/或不处于标准视角,则在显示屏上显示提醒内容。
在本发明一些可能的实施方式中,在所述若是,则在所述显示屏上显示提醒信息的步骤之后,包括:
在所述提醒信息在所述显示屏上进行显示并经过第二预设时长后,采集所述显示屏前的当前人物图像数据;
通过人脸识别算法判断所述当前人物图像数据中是否存在所述特殊人员;
若是,则控制所述显示屏停止显示画面,并记录所述显示屏播放的影像数据的当前帧的当前时间点;
以所述当前时间点为第一起始点,从所述影像数据中获取第三预设时长的第一影像数据;
将所述第一影像数据转换成对所述第一影像数据进行描述的第一语音数据;
播放所述第一语音数据,并在所述第一语音数据播放完成后,控制所述显示屏以所述当前时间点加上所述第三预设时长后的时间点为第二起始点显示所述影像数据。
可以理解的是,为了对显示屏的使用行为进行有效监督,在所述提醒信息在所述显示屏上进行显示并经过第二预设时长后,采集所述显示屏前的当前人物图像数据,以判断特殊人员是否还在使用/观看显示屏,若是,暂停显示画面以进行强制休息,同时,以语音播放的形式继续“翻译”影像数据中时长为第三预设时长的第一影像数据,“翻译”结束后,继续进行后续内容的显示。应当说明的是,本实施例中的“翻译”,不仅仅是对影像数据中的音频数据进行提取后的播放,还包括对影像数据中的图像、文本、行为动作等内容进行识别后通过语音进行描述。如此,既让特殊人员进行了强制休息,也保证了显示屏对影像数据的持续“显示”。
在本发明一些可能的实施方式中,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
分别判断每个所述姿势数据是否在预设的姿势库内并进行统计;
当所述姿势数据不在所述预设的姿势库内的比例超过第三预设值时,确定所述姿势数据不在所述预设的姿势库内的第一姿势数据集;
结合所述第一人物图像数据,根据所述第一姿势数据集确定对应人员的第一空间位置;
根据所述第一姿势数据集、所述第一空间位置,控制所述显示屏的运动调节模块工作;
调节所述显示屏与所述显示屏前方的人员的相对距离以及角度。
可以理解的是,在本实施例中,通过将人员的姿势数据与预设的姿势库(标准姿势库)进行比对并进行统计,当人员的姿势不在所述预设的姿势库内的比例超过第三预设值时,确定不在所述预设的姿势库内的第一姿势数据集,并结合所述第一人物图像数据确定对应人员的第一空间位置;再根据所述第一姿势数据集、所述第一空间位置,控制所述显示屏的运动调节模块工作,以调节所述显示屏与所述显示屏前方的人员的相对距离以及角度。所述运动调节模块包括在供显示屏在竖直面内上下左右、左上方、左下方、右上方、右下方八个方向的导轨、供显示屏前后运动的导轨、控制显示屏在导轨内运动的传动结构和控制显示屏进行转动的转动机构。通过本实施例的方案,在人员姿势不正确的情况下,可以通过调节显示屏的位置和角度来实现保护眼睛的目的。
请参见图2,本发明的另一实施例提供一种显示屏的护眼控制系统,包括用于检测显示屏是否启动的检测模块、采集模块、唤醒模块和处理模块;其中,
当所述检测模块检测到显示屏启动时,所述采集模块被配置为:实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据;
所述唤醒模块被配置为唤醒计时模块;
所述处理模块被配置为:
根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;
从所述计时模块读取时间数据;
根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏的显示数据进行调整。
应当知道的是,图2所示的显示屏的护眼控制系统的框图仅作示意,其所示出的各模块的数量并不对本发明的保护范围进行限定。
请参见图3,本发明的另一实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如前述任一项所述的显示屏的护眼控制方法。
本发明的另一实施例提供一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如前述任意一项所述的设备控制方法。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,可轻易想到变化或替换,均可作各种更动与修改,包含上述不同功能、实施步骤的组合,包含软件和硬件的实施方式,均在本发明的保护范围。

Claims (5)

1.一种显示屏的护眼控制方法,其特征在于,包括:
检测到显示屏启动时,实时采集环境光数据和处于所述显示屏前方的人员的第一人物图像数据,并唤醒计时模块;
根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据;
从所述计时模块读取时间数据;
根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整;
所述方法还包括:
根据所述第一人物图像数据识别出第一人脸数据,并采集所述第一人脸数据对应人员的的人物特征数据,所述人物特征数据包括视力特征数据、显示偏好数据;
对每个所述第一人脸数据和所述人物特征数据设置唯一标识符;
将所述唯一标识符发送至所述计时模块,由所述计时模块分别为每个所述唯一标识符创建一个计时器,并启动所有所述计时器开始计时;
获取处于所述显示屏前方的人员的第二人物图像数据;
根据所述第二人物图像数据和所述第一人物图像数据的比对结果,对所述计时模块和所述计时器的工作进行控制;
所述根据所述第一人物图像数据分别得到对应的各个人员与所述显示屏的空间位置数据和各个人员的姿势数据的步骤,包括:
以所述显示屏的显示平面的中心为坐标原点O、以在所述显示平面内并经过所述坐标原点的水平线为X轴、以在所述显示平面内并经过所述坐标原点的竖直线为Y轴、以经过所述坐标原点并同时垂直于X轴与Y轴的直线为Z轴建立三维坐标系OXYZ;
获取所述第一人物图像数据的图像采集装置的位置信息,并根据所述位置信息得到所述图像采集装置在所述三维坐标系OXYZ中的第一坐标值;
根据所述第一人脸数据确定各人脸对应的各个人员的身体关键点与所述图像采集装置间的第一空间位置数据;
根据所述第一坐标值与所述第一空间位置数据,得到所述各个人员的身体关键点对应在所述三维坐标系OXYZ中的各个第二坐标值,以得到对应的各个人员与所述显示屏的空间位置数据,所述空间位置数据包括与所述显示屏的距离数据、与所述坐标原点O的角度数据;
根据所述第一人脸数据,将所述第二坐标值与所述唯一标识符建立对应关系;
从所述身体关键点对应的各个所述第二坐标值中,选取左眼中心点的坐标值、右眼中心点的坐标值、左鼻孔中心点的坐标值、右鼻孔中心点的坐标值、嘴中心点坐标值、下巴中点坐标值、左肩关节点坐标值、右肩关节点坐标值作为第一姿势判断点集;
根据所述唯一标识符将所述第一姿势判断点集里的所有坐标值分成多个小组,形成第二姿势判断点集;
分别对所述第二姿势判断点集里的每个小组里的坐标值进行计算分析,得到所述各个人员的姿势数据;
所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
根据所述环境光数据得到环境光线亮度、环境光线照射到所述显示屏的照射角度;
根据所述环境光线亮度和所述照射角度,调整所述显示屏的屏幕亮度、显示分辨率、显示颜色对比度、色温、颜色模式中一个或多个;
从所述空间位置数据提取每个人员的所述距离数据和所述角度数据;
分别判断每个所述距离数据和所述角度数据是否在预设的距离范围内和预设的角度范围内并进行统计;
当所述距离数据不在所述预设的距离范围内的比例超过第一预设值和/或所述角度数据不在所述预设的角度范围内的比例超过第二预设值时,统计所述距离数据不在所述预设的距离范围内的第一距离数据集和/或所述角度数据不在所述预设的角度范围内的第一角度数据集;
根据所述第一距离数据集和/或所述第一角度数据、所述人物特征数据对所述显示屏的变焦模块进行控制以调节所述显示屏投射成像的位置;
当所述距离数据不在所述预设的距离范围内的比例未超过第一预设值且所述角度数据不在所述预设的角度范围内的比例未超过第二预设值时,根据所述第一人脸数据判断是否存在特殊人员;
若存在,则根据所述特殊人员的唯一标识符从所述计时模块创建的对应计时器中读取时间数据,并根据所述时间数据判断所述特殊人员使用所述显示屏的时长是否超过第一预设时长;
若是,则在所述显示屏上显示提醒信息。
2.根据权利要求1所述的护眼控制方法,其特征在于,在所述若是,则在所述显示屏上显示提醒信息的步骤之后,包括:
在所述提醒信息在所述显示屏上进行显示并经过第二预设时长后,采集所述显示屏前的当前人物图像数据;
通过人脸识别算法判断所述当前人物图像数据中是否存在所述特殊人员;
若是,则控制所述显示屏停止显示画面,并记录所述显示屏播放的影像数据的当前帧的当前时间点;
以所述当前时间点为第一起始点,从所述影像数据中获取第三预设时长的第一影像数据;
将所述第一影像数据转换成对所述第一影像数据进行描述的第一语音数据;
播放所述第一语音数据,并在所述第一语音数据播放完成后,控制所述显示屏以所述当前时间点加上所述第三预设时长后的时间点为第二起始点显示所述影像数据。
3.根据权利要求1或2所述的护眼控制方法,其特征在于,所述根据所述环境光数据、所述空间位置数据、所述姿势数据和所述时间数据对所述显示屏进行调整的步骤,包括:
分别判断每个所述姿势数据是否在预设的姿势库内并进行统计;
当所述姿势数据不在所述预设的姿势库内的比例超过第三预设值时,确定所述姿势数据不在所述预设的姿势库内的第一姿势数据集;
结合所述第一人物图像数据,根据所述第一姿势数据集确定对应人员的第一空间位置;
根据所述第一姿势数据集、所述第一空间位置,控制所述显示屏的运动调节模块工作;
调节所述显示屏与所述显示屏前方的人员的相对距离以及角度。
4.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-3任一所述的显示屏的护眼控制方法。
5.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至3任一所述的显示屏的护眼控制方法。
CN202211351407.XA 2022-10-31 2022-10-31 一种显示屏的护眼控制方法、系统、设备及存储介质 Active CN115599219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211351407.XA CN115599219B (zh) 2022-10-31 2022-10-31 一种显示屏的护眼控制方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211351407.XA CN115599219B (zh) 2022-10-31 2022-10-31 一种显示屏的护眼控制方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115599219A CN115599219A (zh) 2023-01-13
CN115599219B true CN115599219B (zh) 2023-06-30

Family

ID=84849938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211351407.XA Active CN115599219B (zh) 2022-10-31 2022-10-31 一种显示屏的护眼控制方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115599219B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156708B (zh) * 2023-04-23 2023-08-08 深圳市帝狼光电有限公司 台灯照明控制方法、装置、电子设备以及存储介质
CN116795144B (zh) * 2023-06-21 2024-04-02 中山市正科电器实业有限公司 一种液晶显示器自适应调整屏幕角度和高度的方法
CN116893773B (zh) * 2023-08-25 2024-03-26 东莞市触美电子科技有限公司 一种触控屏控制方法、系统及触控屏
CN117012135B (zh) * 2023-10-08 2024-02-02 深圳市卓信特通讯科技有限公司 显示屏调节方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184810A1 (zh) * 2014-11-18 2015-12-10 中兴通讯股份有限公司 一种调整屏幕显示的方法和装置
CN106502710A (zh) * 2016-11-22 2017-03-15 何晓川 一种眼睛保护方法和装置
CN112286347A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 视力保护方法、装置、存储介质以及终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115877B2 (en) * 2008-01-04 2012-02-14 International Business Machines Corporation System and method of adjusting viewing angle for display based on viewer positions and lighting conditions
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
CN103645749A (zh) * 2013-12-23 2014-03-19 张志增 自动调节型显示设备及调节方法
JP2016021206A (ja) * 2014-07-16 2016-02-04 株式会社リコー 表示装置、表示システム、表示方法及び表示プログラム
CN105719439A (zh) * 2014-12-05 2016-06-29 富泰华工业(深圳)有限公司 护眼系统及方法
US20170372679A1 (en) * 2016-06-28 2017-12-28 Ulsee Inc. Mobile Terminal for Automatically Adjusting a Text Size and a Method Thereof
CN106200926B (zh) * 2016-06-28 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106200966A (zh) * 2016-07-12 2016-12-07 陆汉明 一种显示屏、显示及控制软件设置方法
CN108037845B (zh) * 2017-11-30 2021-07-23 努比亚技术有限公司 显示控制方法、移动终端及计算机可读存储介质
CN111699698A (zh) * 2019-10-12 2020-09-22 深圳海付移通科技有限公司 缓解眼疲劳方法及智能终端
US11452441B2 (en) * 2019-12-26 2022-09-27 International Business Machines Corporation System and method for training a lazy eye
CN114413141B (zh) * 2022-03-30 2022-06-24 广东中强精英电子科技有限公司 一种显示屏的位姿调整方法、装置、终端设备和存储介质
CN115223514B (zh) * 2022-07-18 2023-05-16 深圳市安信泰科技有限公司 一种智能调节参数的液晶显示驱动系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184810A1 (zh) * 2014-11-18 2015-12-10 中兴通讯股份有限公司 一种调整屏幕显示的方法和装置
CN106502710A (zh) * 2016-11-22 2017-03-15 何晓川 一种眼睛保护方法和装置
CN112286347A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 视力保护方法、装置、存储介质以及终端

Also Published As

Publication number Publication date
CN115599219A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN115599219B (zh) 一种显示屏的护眼控制方法、系统、设备及存储介质
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN105184246B (zh) 活体检测方法和活体检测系统
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
CN105243371B (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
CN107231529A (zh) 图像处理方法、移动终端及存储介质
CN101390128B (zh) 脸部器官的位置的检测方法及检测系统
TWI729983B (zh) 電子裝置、螢幕調節系統及方法
CN106911962B (zh) 基于场景的移动视频智能播放交互控制方法
CN105072327A (zh) 一种防闭眼的人像拍摄处理的方法和装置
CN110837750B (zh) 一种人脸质量评价方法与装置
CN103955272A (zh) 一种终端设备用户姿态检测系统
WO2020020022A1 (zh) 视觉识别方法及其系统
CN104581127B (zh) 一种自动调节屏幕亮度的方法、系统和头戴显示设备
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN109993115A (zh) 图像处理方法、装置及可穿戴设备
CN111801700B (zh) 支付过程中防止偷窥的方法及电子设备
CN113495629A (zh) 笔记本电脑显示屏亮度调节系统及方法
CN108124150A (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法
CN105095885A (zh) 一种人眼状态的检测方法和检测装置
CA3050456C (en) Facial modelling and matching systems and methods
CN107329570A (zh) 一种根据个体观看者位置自动调节显示设备角度的方法
CN114021211A (zh) 一种智能防偷窥系统
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant