CN112286347A - 视力保护方法、装置、存储介质以及终端 - Google Patents
视力保护方法、装置、存储介质以及终端 Download PDFInfo
- Publication number
- CN112286347A CN112286347A CN202011069199.5A CN202011069199A CN112286347A CN 112286347 A CN112286347 A CN 112286347A CN 202011069199 A CN202011069199 A CN 202011069199A CN 112286347 A CN112286347 A CN 112286347A
- Authority
- CN
- China
- Prior art keywords
- user
- face image
- screen
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004438 eyesight Effects 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000001815 facial effect Effects 0.000 claims 3
- 230000006870 function Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Abstract
本申请实施例公开了一种视力保护方法、装置、存储介质以及终端。所述方法包括：通过摄像头采集人脸图像，对所述人脸图像进行预处理操作，基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态，根据所述用户距离屏幕的状态执行护眼操作。本申请通过上述方法，实时采集人脸图像，基于预先训练好的距离识别模型对人脸图像进行识别，对系统占用率低，识别速度快，能够实时得到用户距离屏幕的状态，在用户距离近时，提醒用户调整坐姿，从而保护用户的视力。
Description
技术领域
本申请涉及在线教育领域，尤其涉及一种视力保护方法、装置、存储介质以及终端。
背景技术
随着互联网的发展，智能设备越来越多地应用在人们的日常生活中，尤其是对于年轻人来说，衣食住行都需要用到智能设备。智能设备一方面给人们的日常生活带来了极大的便利，另一方面也存在着问题，长时间使用智能设备，势必会影响用户的视力。尤其是在线教育的普及，越来越多的学生使用智能设备在网上学习，而且网上学习的时间也不短，那么如何在学生使用智能设备进行在线学习的时候，能够较好的保护学生的视力是个亟需解决的问题。
发明内容
本申请实施例提供了一种视力保护方法、装置、计算机存储介质以及终端，旨在解决学生进行线上学习时，如何保护学生视力的技术问题。所述技术方案如下：
第一方面，本申请实施例提供了一种视力保护方法，所述方法包括：
通过摄像头采集人脸图像；
对所述人脸图像进行预处理操作；
基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态；
根据所述用户距离屏幕的状态执行护眼操作。
可选地，所述对所述人脸图像进行预处理操作，包括：
对所述人脸图像进行图像大小变换处理和标准化处理。
可选地，所述距离识别模型的训练过程包括：
获取样本人脸图像集合；其中，所述人脸图像集合中包括第一样本人脸图像、第二样本人脸图像以及第三样本人脸图像中的一种或多种；
计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值；
根据所述比例值确定各个样本用户距离屏幕的状态；
将所述样本人脸图像集合作为预设识别模型的输入，将所述各个样本用户距离屏幕的状态作为所述预设识别模型的输出，对所述预设识别模型进行训练，得到所述距离识别模型。
可选地，所述计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值之前，还包括：
识别所述人脸区域在所述人脸图像中的位置。
可选地，所述第一样本人脸图像为历史教学视频中截取的图像，所述第二样本人脸图像包括用户配饰品区域，所述第三样本人脸图像为特定环境条件下生成的图像。
可选地，所述根据所述比例值确定各个样本用户距离屏幕的状态，包括：
在所述比例值大于所述第一比例阈值时，确定所述用户距离屏幕近；
在所述比例值小于所述第一比例阈值且大于第二比例阈值时，确定所述用户距离屏幕适中；
在所述比例值小于所述第二比例阈值时，确定所述用户距离屏幕远。
可选地，所述根据所述用户距离屏幕的状态执行护眼操作，包括：
在所述用户距离屏幕的状态为近时，通过震动单元发出护眼震动提醒，和/或通过显示单元显示护眼提示消息。
可选地，所述方法还包括：
在所述用户距离屏幕的状态为远或适中时，通过显示单元显示护眼提示时间。
第二方面，本申请实施例提供了一种视力保护装置，所述装置包括：
图像采集模块，用于通过摄像头采集人脸图像；
图像处理模块，用于对所述人脸图像进行预处理操作；
图像识别模块，用于基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态；
提醒模块，用于根据所述用户距离屏幕的状态执行护眼操作。
第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供了一种终端，可包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述存储器加载并执行上述的方法步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例的方案在执行时，通过摄像头采集人脸图像，基于距离识别模型对所述人脸图像进行识别，得到用户距离屏幕的状态，在所述用户距离屏幕近时，执行提醒操作。本申请通过上述方法，实时采集人脸图像，基于预先训练好的距离识别模型对人脸图像进行识别，得到用户距离屏幕的状态，在用户距离近时，提醒用户调整坐姿，从而保护用户的视力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请显示模式的控制方法的系统架构示意图；
图2是本申请实施例提供的一种视力保护方法的流程示意图；
图3是本申请实施例提供的一种视力保护方法的流程示意图；
图4是本申请实施例提供的一种视力保护装置的结构示意图；
图5是本申请实施例提供的终端的结构示意图。
具体实施方式
为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参见图1，其示出了可以应用本申请实施例的视力保护方法或视力保护装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机、台式计算机和电视机等等。
本申请中的终端设备101、102、103可以为提供各种服务的终端设备。例如用户通过终端设备103(也可以是终端设备101或102)的通过摄像头采集人脸图像；对所述人脸图像进行预处理操作；基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态；根据所述用户距离屏幕的状态执行护眼操作。
在此需要说明的是，本申请实施例所提供的视力保护方法可以由终端设备101、102、103中的一个或多个，和/或，服务器105执行，相应地，本申请实施例所提供的视力保护装置一般设置于对应终端设备中，和/或，服务器105中，但本申请不限于此。
在下述方法实施例中，为了便于说明，仅以各步骤的执行主体为终端进行介绍说明。
请参见图2，为本申请实施例提供的一种视力保护方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：
S201，通过摄像头采集人脸图像。
本申请实施例可以应用在线上教学中，学生可以通过终端上的应用程序进行在线学习，终端可以是手机、平板、笔记本以及台式电脑等智能设备。在终端打开应用程序学习时，通过终端的前置摄像头实时采集包含人脸的图像，需要说明的是，本申请实施例是在终端开启视力保护功能的前提下执行的，视力保护功能可以添加在终端的设置中，可以设计为由用户手动开启或关闭该功能，也可以设计为在特定时间段，终端自动开启或关闭该功能，并且用户可以自己设定在哪些应用程序中开启视力保护功能。
S202，对人脸图像进行预处理操作。
其中，预处理操作包括图像大小变换处理和标准化处理。
可以理解的是，基于S201中采集的人脸图像，在将人脸图像输入至距离识别模型进行识别之前，可以对人脸图像进行预处理操作。在图像处理技术中，图像大小变换处理通常有五种算法，包括：最近邻、双线性、双三次、基于像素区域关系、兰索斯插值。本申请实施例主要使用双线性插值对人脸图像进行处理，其他算法在此不再赘述。在图像处理技术中，图像标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果,数据标准化是数据预处理的常见方法之一。
S203，基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态。
可以理解的是，基于S202中对人脸图像进行预处理操作之后，得到的是预处理人脸图像，进一步地，可以将预处理人脸图像输入至预先训练好的距离识别模型对人脸图像进行识别，得到学生距离屏幕的状态。本申请实施例中的人脸图像只包括一个学生的人脸图像，比如：在学生离终端屏幕的距离小于25cm时，终端识别出学生距离屏幕近，输出为近；在学生离终端屏幕的距离大于25cm并且小于35cm时，终端识别出学生距离屏幕适中，输出为中；在学生离终端屏幕的距离大于35cm时，终端识别出学生距离屏幕远，输出为远。
S204，根据用户距离屏幕的状态执行护眼操作。
其中，护眼操作用于提醒用户调整坐姿保护视力。
可以理解的是，在终端识别出用户距离屏幕的状态为近时，可以通过震动单元发出护眼震动提醒，比如发出连续的震动或间隔性的震动；和/或可以通过显示单元显示护眼提示消息，护眼提示消息可以在终端显示屏的最上方、或最上方、或最左边或最右边进行显示。在终端识别出用户距离屏幕的状态为远或适中时，可以通过显示单元显示护眼提示时间，护眼提示时间用于告诉用户在这个应用程序中观看屏幕的时间，用户可以根据这个时间决定是否休息来保护眼睛。
本申请实施例的方案在执行时，通过摄像头采集人脸图像，基于距离识别模型对所述人脸图像进行识别，得到用户距离屏幕的状态，在所述用户距离屏幕近时，执行提醒操作。本申请通过上述方法，实时采集人脸图像，基于预先训练好的距离识别模型对人脸图像进行识别，对系统占用率低，识别速度快，能够实时得到用户距离屏幕的状态，在用户距离近时，提醒用户调整坐姿，从而保护用户的视力。
请参见图3，为本申请实施例提供的一种视力保护方法的流程示意图。如图3所示，本申请实施例的所述方法可以包括以下步骤：
S301，通过摄像头采集人脸图像。
一般的，具体可参见图2中的S201，在此不再赘述。
S302，对人脸图像进行预处理操作。
根据图2中的S202，可以知道预处理操作包括对人脸图像进行图像大小变换处理和标准化处理。对人脸图像进行图像大小变换处理就是将人脸图像统一到固定的尺寸，本申请实施例中是将人脸图像都固定到128*128的大小。标准化处理是将经图像大小变换处理后的人脸图像做标准化处理。由于图像是由像素组成的，每一个图像都是一个个的像素值。并且，图像是分通道数的，RGB图像有三个通道，分别是R，G，B。每个RGB的图像由三个通道组成，每个通道都是一个个的像素值组成的矩阵。
可以理解的是，本申请实施例是将预处理之后的人脸图像输入至距离模型进行识别，本申请实施例中，距离模型的训练集约28w个图像，在对这些图像进行图像大小变化处理之后，进行标准化处理时，可以计算上述图像的R，G，B通道的均值和方差。比如说，计算得到上述图像的通道均值为[0.60225594，0.4725217，0.41689953]，方差为[0.18740211，0.17475483，0.16676547]，可以得到标准化之后的每个图像的RGB通道的值为(每个像素值-均值)/方差。
S303，基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态。
需要说明的是，本申请实施例在采集人脸图像后，对人脸图像进行预处理操作，预处理之后，则将预处理后的人脸图像输入至距离识别模型进行识别，输出用户距离屏幕的状态，用户距离屏幕的状态在本申请实施例中只有三种状态：远、近和适中。接下来，对本申请实施例中的距离识别模型的训练过程进行说明：获取样本人脸图像集合；识别人脸区域在各个人脸样本图像中的位置；计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值；根据比例值确定各个样本用户距离屏幕的状态；将样本人脸图像集合作为预设识别模型的输入，将各个样本用户距离屏幕的状态作为预设识别模型的输出，对预设识别模型进行训练，得到距离识别模型。
其中，样本人脸图像集合的获取过程为：首先，从历史教学视频中截取人脸样本图像，使用人脸检测加裁剪的方式，手工构造一批人脸图像，这些人脸图像可以称为第一样本人脸图像；然后，从公开的图像数据集和上述整理好的第一样本人脸图像中找出一些配戴配饰品的人脸图像，比如戴眼镜的人脸图像，通过人脸检测加裁剪的方式，分别构造出一些距离屏幕远和距离屏幕近的样本人脸图像，将这些样本人脸图像添加进第一样本人脸图像中，得到第二样本人脸图像；最后，针对在实际应用中的特定环境构造一批距离屏幕远和距离屏幕近的样本人脸图像，特定环境可以包括逆光、大姿态、较暗的光线等实际场景，将这些特定环境下的样本人脸图像添加进第一样本人脸图像和第二样本人脸图像中，得到第三样本人脸图像。
其中，识别人脸区域在各个样本人脸图像中位置，可以根据人脸检测技术识别人脸区域在各样本人脸图像中的位置。人脸检测技术通常可以检测出图像中的人脸区域，并能够标示出人脸区域在图像中的位置。人脸检测技术主要是先检测图像中是否包括人脸区域，如果有人脸区域，将人脸区域的位置预测出来。在人脸检测的过程中，输入的一个图像，输出的是人脸区域的矩形框，这个矩形框所在的位置即是人脸区域在预处理操作之后的人脸图像中的位置。
对于本申请实施例来说，本申请实施例应用线上教学的场景中，通常是一对多的教学场景，但是一个学生终端采集的是一个学生的人脸图像，所以每个人脸图像只包括一个学生，那么人脸检测技术只需识别出这个学生的人脸区域在人脸图像中的位置。
其中，计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值，基于上述识别到的人脸区域在各个样本人脸图像中的位置，用矩形框标记出人脸区域在样本人脸图像中的位置，可以计算矩形框的面积和人脸图像的面积的比例值，将该比例值作为人脸区域在各样本人脸图像中的比例值。
其中，根据比例值确定各个样本用户距离屏幕的状态，可以根据上述获取的第三样本人脸图像，分别计算各样本人脸图像中人脸区域占人脸图像的比例值，在比例值大于第一比例阈值时，将对应的人脸图像标记为距离屏幕远的状态；在比例值小于第二比例阈值时，将对应的人脸图像标记为距离屏幕近的状态；在比例值大于第二比例阈值并且小于第一比例阈值时，将对应的人脸图像标记为裁剪使用的图像。
进一步地，可以将距离屏幕远的人脸图像和距离屏幕近的人脸图像输入预设识别模型，使用CE+SGD优化器训练预设识别模型，直至得到训练好的距离识别模型。
可以理解的是，本申请实施例将用户距离屏幕的状态划分为三种情况，包括远、近和适中。在比例值大于第一比例阈值时，确定用户距离屏幕的状态为近的情况；在比例值小于第二比例阈值时，确定用户距离屏幕的状态为远的情况；在比例值大于第二比例阈值并且小于第一比例阈值时，确定用户距离屏幕为适中的状态。
S304，判断用户距离屏幕的状态是否为近。
可以理解的是，本申请实施例通过将预处理好的图片输入预先训练的距离识别模型直接得到用户距离屏幕的状态，包括远、近以及适中，不需要实时计算人脸区域在人脸图像中所占的比例值，也不需要计算距离，识别速度快。
S305，在用户距离屏幕的状态为近时，通过震动单元发出护眼震动提醒，和/或通过显示单元显示护眼提示消息。
可以理解的是，通过距离识别模型识别出用户距离屏幕近时，终端向震动单元发出震动指令，用于指示震动单元发出护眼震动提醒，和/或向显示单元发出显示指令，用于指示显示单元显示护眼提示消息。
其中，护眼震动提醒和护眼提示消息都用于提醒用户调整坐姿，当前姿态距离屏幕较近，影响视力。护眼震动提醒可以设置为连续震动5次，在震动的过程中，如果终端检测到比例值小于第一比例阈值，在完成一次震动提醒之后可以停止震动；如果终端检测到比例值还是大于第一比例阈值，继续进行下一次的震动提醒。当然，在震动的过程中，用户经过提醒意识到自己距离屏幕近时，可以点击显示单元上的虚拟按钮停止此次震动，或者按下终端上的组合按键停止此次震动。
同样地，通过显示单元显示护眼提示消息时，可以设置以弹窗的形式显示护眼提示消息，弹窗可以设置在显示界面的任意位置，本申请实施例对弹窗的位置不作任何限定。显示护眼提示消息的时长可以设置为10秒钟，在护眼提示消息的过程中，如果检测到比例值小于第一比例阈值，在完成一次显示提醒之后，可以自动关闭该弹窗；如果检测到比例值还是大于第一比例阈值，继续进行下一次的显示提醒。当然，在显示护眼提示消息的过程中，用户经过提醒意识到自己距离屏幕近时，可以点击弹窗上的关闭按钮关闭弹窗，停止显示护眼提示消息。
S306，在用户距离屏幕的状态为远或适中时，通过显示单元显示护眼提示时间。
其中，护眼提示时间，用于提醒用户在打开应用程序之后观看屏幕的时间。
举例来说：本申请实施例应用于线上教学场景，用户设置在学习类型的应用程序中开启视力保护功能，在用户打开应用程序进行学习时，终端不仅通过摄像头采集人脸图像，同时还通过计时器计算用户观看屏幕的时间，并在显示屏上进行显示用户观看屏幕的时间。终端对人脸图像进行识别是一个动态的实时识别过程，进而可以知道用户距离屏幕的状态也是不断更新的，在用户距离屏幕的状态不为近，也就是为远或适中时，就可以在显示屏上显示用户观看屏幕的时间，用于提醒用户是否适当休息从而保护视力。
本申请实施例的方案在执行时，通过摄像头采集人脸图像，基于距离识别模型对所述人脸图像进行识别，得到用户距离屏幕的状态，在所述用户距离屏幕近时，执行提醒操作。本申请通过上述方法，实时采集人脸图像，基于预先训练好的距离识别模型对人脸图像进行识别，对系统占用率低，识别速度快，能够实时得到用户距离屏幕的状态，在用户距离近时，提醒用户调整坐姿，从而保护用户的视力。
请参见图4，为本申请实施例提供的一种视力保护装置的结构示意图。该显示模式的控制装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置400包括：
图像采集模块410，用于通过摄像头采集人脸图像；
图像处理模块420，用于对所述人脸图像进行预处理操作；
图像识别模块430，用于基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态；
提醒模块440，用于根据所述用户距离屏幕的状态执行护眼操作。
可选地，图像处理模块420包括：
图像预处理单元，用于对所述人脸图像进行图像大小变换处理和标准化处理。
可选地，图像识别模块430包括：
第一单元，用于获取样本人脸图像集合；其中，所述人脸图像集合中包括第一样本人脸图像、第二样本人脸图像以及第三样本人脸图像中的一种或多种；
第二单元，用于计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值；
第三单元，用于根据所述比例值确定各个样本用户距离屏幕的状态；
第四单元，用于将所述样本人脸图像集合作为预设识别模型的输入，将所述各个样本用户距离屏幕的状态作为所述预设识别模型的输出，对所述预设识别模型进行训练，得到所述距离识别模型。
可选地，图像处理模块420还包括：
第五单元，用于识别所述人脸区域在所述人脸图像中的位置。
可选地，图像识别模块430中的第三单元包括：
第一状态确定单元，用于在所述比例值大于所述第一比例阈值时，确定所述用户距离屏幕近；
第二状态确定单元，用于在所述比例值小于所述第一比例阈值且大于第二比例阈值时，确定所述用户距离屏幕适中；
第三状态确定单元，用于在所述比例值小于所述第二比例阈值时，确定所述用户距离屏幕远。
可选地，提醒模块440包括：
第一状态响应单元，用于在所述用户距离屏幕的状态为近时，通过震动单元发出护眼震动提醒，和/或通过显示单元显示护眼提示消息。
可选地，提醒模块440还包括：
第二状态响应单元，用于在所述用户距离屏幕的状态为远或适中时，通过显示单元显示护眼提示时间。
本申请实施例的方案在执行时，通过摄像头采集人脸图像，基于距离识别模型对所述人脸图像进行识别，得到用户距离屏幕的状态，在所述用户距离屏幕近时，执行提醒操作。本申请通过上述方法，实时采集人脸图像，基于预先训练好的距离识别模型对人脸图像进行识别，对系统占用率低，识别速度快，能够实时得到用户距离屏幕的状态，在用户距离近时，提醒用户调整坐姿，从而保护用户的视力。
请参见图5，其示出了本申请实施例所涉及的一种终端的结构示意图，该终端可以用于实施上述实施例中的视力保护方法。具体来讲：
存储器520可用于存储软件程序以及模块，处理器590通过运行存储在存储器520的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器520还可以包括存储器控制器，以提供处理器590和输入单元530对存储器520的访问。
输入单元530可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元530可包括触敏表面531(例如：触摸屏、触摸板或触摸框)。触敏表面531，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面531上或在触敏表面531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器590，并能接收处理器590发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面531。
显示单元540可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元540可包括显示面板541，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板541。进一步的，触敏表面531可覆盖显示面板锐541，当触敏表面531检测到在其上或附近的触摸操作后，传送给处理器590以确定触摸事件的类型，随后处理器590根据触摸事件的类型在显示面板541上提供相应的视觉输出。虽然在图5中，触敏表面531与显示面板541是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面531与显示面板541集成而实现输入和输出功能。
处理器590是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器520内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器590可包括一个或多个处理核心；其中，处理器590可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器590中。
具体在本实施例中，终端设备的显示单元是触摸屏显示器，终端设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含实现视力保护方法的步骤。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述的方法步骤，具体执行过程可以参见图2和图3所示实施例的具体说明，在此不进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (11)
1.一种视力保护方法，其特征在于，所述方法包括：
通过摄像头采集人脸图像；
对所述人脸图像进行预处理操作；
基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态；
根据所述用户距离屏幕的状态执行护眼操作。
2.根据权利要求1所述的方法，其特征在于，所述对所述人脸图像进行预处理操作，包括：
对所述人脸图像进行图像大小变换处理和标准化处理。
3.根据权利要求1所述的方法，其特征在于，所述距离识别模型的训练过程包括：
获取样本人脸图像集合；其中，所述人脸图像集合中包括第一样本人脸图像、第二样本人脸图像以及第三样本人脸图像中的一种或多种；
计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值；
根据所述比例值确定各个样本用户距离屏幕的状态；
将所述样本人脸图像集合作为预设识别模型的输入，将所述各个样本用户距离屏幕的状态作为所述预设识别模型的输出，对所述预设识别模型进行训练，得到所述距离识别模型。
4.根据权利要求3所述的方法，其特征在于，所述计算各个样本人脸图像中的人脸区域在各个样本人脸图像中所占的比例值之前，还包括：
识别所述人脸区域在所述人脸图像中的位置。
5.根据权利要求3所述的方法，其特征在于，所述第一样本人脸图像为历史教学视频中截取的图像，所述第二样本人脸图像包括用户配饰品区域，所述第三样本人脸图像为特定环境条件下生成的图像。
6.根据权利要求3所述的方法，其特征在于，所述根据所述比例值确定各个样本用户距离屏幕的状态，包括：
在所述比例值大于所述第一比例阈值时，确定所述用户距离屏幕近；
在所述比例值小于所述第一比例阈值且大于第二比例阈值时，确定所述用户距离屏幕适中；
在所述比例值小于所述第二比例阈值时，确定所述用户距离屏幕远。
7.根据权利要求1所述的方法，其特征在于，所述根据所述用户距离屏幕的状态执行护眼操作，包括：
在所述用户距离屏幕的状态为近时，通过震动单元发出护眼震动提醒，和/或通过显示单元显示护眼提示消息。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
在所述用户距离屏幕的状态为远或适中时，通过显示单元显示护眼提示时间。
9.一种实力保护装置，其特征在于，所述装置包括：
图像采集模块，用于通过摄像头采集人脸图像；
图像处理模块，用于对所述人脸图像进行预处理操作；
图像识别模块，用于基于距离识别模型对预处理之后的人脸图像进行识别，得到用户距离屏幕的状态；
提醒模块，用于根据所述用户距离屏幕的状态执行护眼操作。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。
11.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069199.5A CN112286347A (zh) | 2020-09-30 | 2020-09-30 | 视力保护方法、装置、存储介质以及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011069199.5A CN112286347A (zh) | 2020-09-30 | 2020-09-30 | 视力保护方法、装置、存储介质以及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112286347A true CN112286347A (zh) | 2021-01-29 |
Family
ID=74422344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011069199.5A Pending CN112286347A (zh) | 2020-09-30 | 2020-09-30 | 视力保护方法、装置、存储介质以及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112286347A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112968995A (zh) * | 2021-03-18 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种护眼控制方法、装置、电子设备及存储介质 |
| CN115473960A (zh) * | 2021-05-24 | 2022-12-13 | 北京字跳网络技术有限公司 | 视力保护方法、设备及电子设备 |
| CN115599219A (zh) * | 2022-10-31 | 2023-01-13 | 深圳市九洲智和科技有限公司（Cn） | 一种显示屏的护眼控制方法、系统、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140120158A (ko) * | 2013-04-02 | 2014-10-13 | 이재근 | 시력 보호 기능을 가진 휴대가 용이한 단말장치 및 시력 보호 방법 |
| CN105759971A (zh) * | 2016-03-08 | 2016-07-13 | 珠海全志科技股份有限公司 | 一种自动提示人眼离屏幕距离的方法和系统 |
| CN109191802A (zh) * | 2018-07-20 | 2019-01-11 | 北京旷视科技有限公司 | 用于视力保护提示的方法、装置、系统和存储介质 |
| CN109977727A (zh) * | 2017-12-27 | 2019-07-05 | 广东欧珀移动通信有限公司 | 视力保护方法、装置、存储介质及移动终端 |
| CN111460962A (zh) * | 2020-03-27 | 2020-07-28 | 武汉大学 | 一种口罩人脸识别方法及系统 |
-
2020
- 2020-09-30 CN CN202011069199.5A patent/CN112286347A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140120158A (ko) * | 2013-04-02 | 2014-10-13 | 이재근 | 시력 보호 기능을 가진 휴대가 용이한 단말장치 및 시력 보호 방법 |
| CN105759971A (zh) * | 2016-03-08 | 2016-07-13 | 珠海全志科技股份有限公司 | 一种自动提示人眼离屏幕距离的方法和系统 |
| CN109977727A (zh) * | 2017-12-27 | 2019-07-05 | 广东欧珀移动通信有限公司 | 视力保护方法、装置、存储介质及移动终端 |
| CN109191802A (zh) * | 2018-07-20 | 2019-01-11 | 北京旷视科技有限公司 | 用于视力保护提示的方法、装置、系统和存储介质 |
| CN111460962A (zh) * | 2020-03-27 | 2020-07-28 | 武汉大学 | 一种口罩人脸识别方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112968995A (zh) * | 2021-03-18 | 2021-06-15 | 北京字节跳动网络技术有限公司 | 一种护眼控制方法、装置、电子设备及存储介质 |
| CN115473960A (zh) * | 2021-05-24 | 2022-12-13 | 北京字跳网络技术有限公司 | 视力保护方法、设备及电子设备 |
| CN115599219A (zh) * | 2022-10-31 | 2023-01-13 | 深圳市九洲智和科技有限公司（Cn） | 一种显示屏的护眼控制方法、系统、设备及存储介质 |
| CN115599219B (zh) * | 2022-10-31 | 2023-06-30 | 深圳市九洲智和科技有限公司 | 一种显示屏的护眼控制方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112286347A (zh) | 视力保护方法、装置、存储介质以及终端 | |
| US20200073122A1 (en) | Display System | |
| CN109684980B (zh) | 自动阅卷方法及装置 | |
| CN108076290B (zh) | 一种图像处理方法及移动终端 | |
| US20220083153A1 (en) | System and method of determining input characters based on swipe input | |
| CN108616448B (zh) | 一种信息分享的路径推荐方法及移动终端 | |
| CN111641677B (zh) | 消息提醒方法、消息提醒装置及电子设备 | |
| CN107066778A (zh) | 用于老年保健陪伴的Nounou智能监护系统 | |
| CN109756626B (zh) | 一种提醒方法和移动终端 | |
| WO2019112154A1 (ko) | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 | |
| CN112287767A (zh) | 交互控制方法、装置、存储介质以及电子设备 | |
| US20200125398A1 (en) | Information processing apparatus, method for processing information, and program | |
| CN109947988B (zh) | 一种信息处理方法、装置、终端设备及服务器 | |
| CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
| CN112286411A (zh) | 显示模式的控制方法、装置、存储介质以及电子设备 | |
| CN107016224A (zh) | 用于老年保健陪伴的Nounou智能监护装置 | |
| CN113283383A (zh) | 一种直播行为识别方法、装置、设备和可读介质 | |
| CN109819331B (zh) | 一种视频通话方法、装置、移动终端 | |
| CN107422854A (zh) | 应用于虚拟现实的动作识别方法及终端 | |
| CN111857338A (zh) | 一种适合大屏幕上使用移动应用的方法 | |
| Bilange et al. | IoT based smart mirror using Raspberry Pi 4 | |
| US11188158B2 (en) | System and method of determining input characters based on swipe input | |
| CN107896282B (zh) | 一种日程查看方法、装置及终端 | |
| CN112150777A (zh) | 一种智能作业提醒装置及方法 | |
| WO2022070747A1 (ja) | アシストシステム、アシスト方法、およびアシストプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |