CN111967436A - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN111967436A CN111967436A CN202010910627.6A CN202010910627A CN111967436A CN 111967436 A CN111967436 A CN 111967436A CN 202010910627 A CN202010910627 A CN 202010910627A CN 111967436 A CN111967436 A CN 111967436A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- target
- feature
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本说明书提供图像处理方法及装置,其中所述图像处理方法包括:获取图像采集模块采集的图像;将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
Description
技术领域
本说明书涉及机器学习技术领域,特别涉及图像处理方法及装置。
背景技术
随着互联网技术的发展,越来越多的视频播放软件应运而生,用户不仅可以通过视频播放软件观看比赛,追剧,还能够学习知识,使得用户能够通过视频播放软件获取到的信息越来越多;随之而来的就是用户经常使用该类软件导致用眼过度,以及观看方式不正确的问题,尤其是青少年在使用终端设备时,由于自制力较差,注意力过于集中等原因,往往会有意识或者无意识的将眼睛凑近屏幕,长时间近距离观看屏幕会对青少年视力带来较大损害;故亟需一种提醒用户保持和屏幕的距离的方案,以解决该问题。
发明内容
有鉴于此,本说明书实施例提供了一种图像处理方法。本说明书同时涉及一种图像处理装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
获取图像采集模块采集的图像;
将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
可选的,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
确定所述人脸区域中的所述至少一个人脸特征,并根据所述识别框中包含的所述识别点,确定所述至少一个人脸特征对应的特征识别点;
根据所述位置信息确定所述特征识别点的特征位置信息;
通过对所述特征位置信息进行计算,获得所述特征识别点间的所述第一间距。
可选的,所述数值阈值,通过如下方式建立:
确定所述展示模块和用户人脸之间的基准安全距离,并基于所述基准安全距离创建所述人脸特征所属维度的基准图像;
在所述基准图像中确定所述人脸特征的基准识别点间的基准间距;
根据所述基准间距和所述基准图像的基准图像宽度计算所述数值阈值,其中,所述基准图像的基准图像宽度与所述图像宽度相等。
可选的,所述根据比较结果调用展示模块展示目标信息,包括:
在所述比较结果为所述目标数值大于所述数值阈值的情况下,获取所述图像采集模块采集所述图像的时间节点;
确定在所述时间节点所述展示模块所展示内容的属性信息,并基于所述属性信息在预设的护眼提醒策略中选择目标护眼提醒策略;
根据所述目标护眼提醒策略和所述展示内容生成所述目标信息,并通过所述展示模块进行展示。
可选的,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
识别所述人脸区域中包含的n个人脸特征,n≥1,且n为正整数;
确定所述n个人脸特征中的各个人脸特征对应的目标识别点,并根据所述位置信息确定所述目标识别点的目标位置信息;
通过对所述目标位置信息进行计算,获得所述n个人脸特征对应的n个第一间距。
可选的,所述根据所述第一间距和所述图像的图像宽度计算目标数值,包括:
根据所述n个第一间距和所述图像宽度,计算所述n个人脸特征对应的n个目标数值。
可选的,所述将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息,包括:
判断所述n个目标数值中的第i个目标数值是否大于第i个人脸特征所属维度的数值阈值,i从1开始取值,且1≤i≤n,i为正整数;
若是,将护眼提醒信息作为所述目标信息,并调用所述展示模块展示所述护眼提醒信息;
若否,i自增1,再次执行所述判断所述n个目标数值中的第i个目标数值是否大于第i个人脸特征所属维度的数值阈值步骤。
可选的,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
基于所述识别框构建平面坐标系,并基于所述位置信息确定所述识别点对应的坐标信息;
确定所述人脸区域中所述人脸特征的特征识别点,以及根据所述坐标信息确定所述特征识别点的特征坐标信息;
通过对所述特征坐标信息进行计算,获得所述特征识别点间的所述第一间距。
可选的,所述获取图像采集模块采集的图像,包括:
获取所述图像采集模块每隔预设的时间间隔采集的所述图像,其中,所述预设的时间间隔根据终端配置信息确定,或者根据用户的设置指令确定。
可选的,所述将所述图像输入至识别模型进行特征识别步骤执行之前,还包括:
检测所述图像中是否包含人脸区域;
若否,执行所述获取所述图像采集模块每隔预设的时间间隔采集的所述图像步骤;
若是,执行所述将所述图像输入至识别模型进行特征识别步骤。
可选的,所述根据比较结果调用展示模块展示目标信息步骤执行之后,还包括:
获取所述图像采集模块在所述时间间隔后采集的待识别图像;
计算所述待识别图像和所述图像的匹配度,并判断匹配度是否大于匹配度阈值;
若是,调用所述展示模块展示所述目标信息;
若否,将所述待识别图像作为所述图像,并再次执行所述将所述图像输入至识别模型进行特征识别步骤。
可选的,所述根据比较结果调用展示模块展示目标信息,包括:
在所述比较结果为所述目标数值不大于所述数值阈值的情况下,将所述展示模块所展示的内容作为所述目标信息进行展示。
可选的,所述识别模型,采用如下方式训练:
在训练集中提取训练图像;
采用样本识别框对所述训练图像中的人脸区域进行标注,以及确定所述人脸区域中包含的识别点的样本位置信息;
基于所述训练图像、样本框和所述样本位置信息构成训练样本,对待训练识别模型进行训练,获得所述识别模型。
可选的,所述展示模块包括下述至少一项:
声音展示模块、图像展示模块、视频展示模块。
可选的,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距步骤执行之前,还包括:
通过对所述人脸区域进行划分,获得至少两个子人脸区域;
对所述至少两个子人脸区域进行特征检测,根据检测结果确定包含人脸特征的子人脸区域;
相应的,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
基于所述位置信息计算所述子人脸区域中的至少一个人脸特征的识别点间的所述第一间距。
根据本说明书实施例的第二方面,提供了一种图像处理装置,包括:
获取图像模块,被配置为获取图像采集模块采集的图像;
图像识别模块,被配置为将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
计算数值模块,被配置为基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
展示信息模块,被配置为将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
获取图像采集模块采集的图像;
将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述图像处理方法的步骤。
本申请提供的图像处理方法,通过获取图像采集模块采集的图像后,将图像输入至识别模型进行特征识别,获得所述图像中包含的人脸区域对应的识别框,以及在识别框中包含的识别点的位置信息,之后基于位置信息计算人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据第一间距和图像的图像宽度计算目标数值,最后将目标数值与人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息,实现了可以在不受终端设备硬件影响的情况下,监测用户距离屏幕的距离,并通过展示目标信息的方式对用户作出提醒,有效的降低了用户用眼不规范带来的损害,进一步提高了用户的体验效果。
附图说明
图1是本说明书一实施例提供的一种图像处理方法的流程图;
图2是本说明书一实施例提供的护眼模式开启界面的示意图;
图3是本说明书一实施例提供的护眼模式开启过程中提醒界面的示意图;
图4是本说明书一实施例提供的训练图像的示意图;
图5是本说明书一实施例提供的一种图像采集模块采集的图像的示意图;
图6是本说明书一实施例提供的另一种图像采集模块采集的图像的示意图;
图7是本说明书一实施例提供的展示目标信息的示意图;
图8是本说明书一实施例提供的一种应用于播放场景中的图像处理方法的处理流程图;
图9是本说明书一实施例提供的一种图像处理装置的结构示意图;
图10是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
人脸检测:(face detection)是一种在任意数字图像中找到人脸的位置和大小的计算机技术。它将人脸部区域作为前景区域,可以检测出面部特征,并忽略诸如建筑物、树木和身体等其他任何背景物体。有些人脸检测技术可以同时找到面部的细微特征,如眼睛、鼻子、嘴巴等的精细位置。人脸检测是目前所有目标检测子方向中被研究的最充分的问题之一,它在安防监控,人证比对,人机交互,社交和娱乐等方面有很强的应用价值。
深度学习:(deep learning)是机器学习的分支,是一种以人工神经网络为架构,对数据进行表征学习的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如人脸检测或面部表情识别等)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
护眼模式:通过对用户与设备间距离进行监控并反应,从而达到保护用户视力的目的的一种应用模式。系统内置默认使用安全距离(比如25cm),当用户眼睛距离屏幕较近的时候,护眼模式会给予用户一定提醒,同时自动暂停播放,提醒用户调整正确距离。
在本说明书中,提供了一种图像处理方法,本说明书同时涉及一种图像处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一实施例提供的一种图像处理方法的流程图,具体包括以下步骤:
步骤S102,获取图像采集模块采集的图像。
实际应用中,由于终端设备开启护眼模式需要依靠硬件的支持,导致护眼模式很难应用到更多的终端设备,并且现有技术中的护眼模式再进行护眼防护时,如果用户的脸部被遮挡,或者终端设备采集到的用户人脸不完整,即使用户人脸距离终端设备的屏幕较近,也无法正常开启护眼模式,很大程度上限制了护眼模式的应用,无法针对用户的眼部作出有效的防护,使得用户对护眼模式的开启重视度大大降低,影响用户的体验效果。
本申请提供的图像处理方法,通过获取图像采集模块采集的图像后,将图像输入至识别模型进行特征识别,获得所述图像中包含的人脸区域对应的识别框,以及在识别框中包含的识别点的位置信息,之后基于位置信息计算人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据第一间距和图像的图像宽度计算目标数值,最后将目标数值与人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息,实现了可以在不受终端设备硬件影响的情况下,监测用户距离屏幕的距离,并通过展示目标信息的方式对用户作出提醒,有效的降低了用户用眼不规范带来的损害,并且通过人脸特征对应的目标数值反映用户距离屏幕的距离,实现即使在图像中用户人脸不完整的情况下,也可以判断用户距离屏幕的位置,可以针对从任意角度观看屏幕的用户的观看距离进行监控,进一步提高了用户的体验效果。
具体实施时,所述图像处理方法应用于终端设备,实现终端设备无论处于离线状态还出处于非离线状态都可以对用户的观看距离进行监控;其中,终端设备具体是指用户持有的设备,可以是手机、笔记本电脑或者平板电脑等,需要说明的是,所述终端设备需要配置有图像采集模块,且所述图像采集模块能够实现在用户观看终端设备的屏幕时,采集用户的人脸图像;相应的,所述图像采集模块具体是指能够进行拍摄图像的组件,如手机前置摄像头,或者电脑外置摄像头等;所述图像具体是指所述图像采集模块在终端设备展示画面时采集到的图像。
其中,所述图像采集模块在采集图像时,所述终端设备需要处于运行状态,即终端设备正在播放视频,或者终端设备正在展示用户浏览的内容,此时即可通过图像采集模块采集图像对用户与屏幕之间的距离进行判断,需要说明的是,本实施例提供的图像处理方法在实现监控用户用眼距离时,可以配置在终端设备安装的应用程序中,当用户通过终端设备使用该应用程序时,可以进行用户用眼距离的监控,还可以配置在终端设备上,实现用户只要使用终端设备就可以对用户用眼距离的监控,具体配置方式本实施例在此不作任何限定。
此外,所述终端设备上配置的所述展示模块可以是声音展示模块、图像展示模块、视频展示模块;其中所述展示模块用于根据所述比较结果展示所述提醒信息;即当比较结果是用户距离屏幕过近的情况下,通过声音展示模块可以向用户发出声音提醒,如“您距离屏幕过近,请您向后移动,保持用眼安全距离”的声音提醒等;或者通过图像展示模块可以向用户图像提醒,如展示用眼过度导致近视眼的示意图等;再或者通过视频展示模块可以向用户展示视频提醒,如展示眼保健操的视频教学等。而当比较结果是用户距离屏幕距离安全的情况下,可以通过视频展示模块继续播放当前终端设备展示的画面,避免对用户造成打扰。
本实施例将以所述终端设备为手机,所述图像采集模块为手机的前置摄像头,所述终端设备正在播放视频为例,对所述图像处理方法进行描述,即说明在手机播放视频时,如何对用户用眼距离进行监控进行详细的描述,其它应用场景均可参见本实施例相应的描述内容,在此不作过多赘述。
进一步的,在通过所述图像采集模块采集所述图像时,由于不同的终端设备耗电量不同,如果通过图像采集模块不间断的采集图像,将会占用终端设备较多的运行内存,加快电量的消耗,故为了能够减少资源占用和电量消耗,可以根据预设的时间间隔进行图像采集,本实施例中,具体实现方式如下所述:
获取所述图像采集模块每隔预设的时间间隔采集的所述图像,其中,所述预设的时间间隔根据终端配置信息确定,或者根据用户的设置指令确定。
实际应用中,所述预设的时间间隔可以根据所述终端配置信息确定,或者根据用户的设置指令确定,即当检测到终端设备的配置信息较高(硬件较好)的情况下,可以将预设的时间间隔设置的较近,如每隔1s采集一张图像;当检测到终端设备的配置信息较低的情况下,可以将预设的时间间隔设置的较远,如每隔4s采集一张图像,以此来动态调整所述预设的时间间隔,此外,还可以根据用户的设置指令确定所述预设的时间间隔,如用户设置2s采集一张图像,预设的时间间隔即为2s;其中,所述图像采集模块在采集图像是需要保持焦距不变,从而实现每个时间间隔所采集的图像的尺寸相同,成像条件相同,实现更加准确的分析出用户与屏幕的距离是否安全。
根据所述终端配置信息或所述用户的设置指令确定所述预设的时间间隔,可以实现在不占用终端设备过多运行内存的情况下,实现用户用眼距离的监控,不仅可以满足护眼模式的运行,还能够避免终端设备的损耗,进一步提高用户的体验效果。
此外,由于护眼模式的开启会消耗终端设备的电量和运行内存的原因,故可以根据持有终端设备的用户的开启/关闭指令选择是否开启护眼模式,参见图2所示,当用户需要开启护眼模式的情况下,可以进入终端设备中的如图2中(a)所示的界面,通过点击“护眼模式”对应的控件,开启/关闭护眼模式,当护眼模式开启的情况下,变化后的界面为如图2中(b)所示的界面,表示护眼模式已经开启。
基于此,在开启所述终端设备的护眼模式的过程中,由于需要调用终端设备的图像采集模块采集图像,故需要向用户询问是否针对护眼模式开放图像采集模块的权限。如当用户点击护眼模式对应的控件后,将展示如图3中(a)所示的界面,提醒用户摄像头权限未开启,为保障护眼模式的距离探测正常使用,请在设置中开启相机权限;当用户点击“去开启”控件的情况下,将跳转至如图3中(b)所示的界面,询问用户“xxx软件”想要获取手机摄像头的使用权限,是否允许;若用户点击不允许控件,则停止护眼模式的开启,若用户点击允许控件,则跳转至如图3中(c)所示的界面,提醒用户护眼模式需要使用摄像头,请允许获取摄像头权限,并且该页面中存在“好的”控件和“护眼原理”控件,用户不仅可以正常开启护眼模式,还能够对护眼模式的原理进行了解,满足用户需求的同时,可以对用户进行科普,有效提高了用户的体验效果。
更进一步的,在获取到所述图像之后,由于用户的随意性较大,每时每刻与终端设备屏幕的距离都可能发生变化,这就导致图像采集模块采集的图像中可能出现不包含用户人脸区域的情况,此时若继续进行距离的判断将无法实现,故在获取到图像之后可以进行人脸区域的检测,本实施例中,具体实现方式如下所述:
检测所述图像中是否包含人脸区域;
若否,返回执行所述步骤S102;若是,执行所述步骤S104。
实际应用中,在检测所述图像中是否包含人脸区域的过程中,可以通过所述识别模型实现,即若所述识别模型未输出识别框和位置信息,就说明图像中未存在人脸区域,则返回执行所述步骤S102,重新采集图像即可;还可以通过分类模型实现,只需要通过分类模型检测出图像中是否包含人脸区域即可,分类模型输入结果为是,则确定图像中包含人脸区域,则继续执行步骤S104即可,分类模型输入结果为否,则确定图像中未包含人脸区域,则返回执行所述步骤S102。
在进行图像识别之前,将对所述图像中的人脸区域进行检测,避免因图像中不包含人脸区域导致无法正确的执行图像处理过程的问题发生。
步骤S104,将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息。
具体的,在上述获取所述图像之后,此时需要对所述图像进行识别,从而实现在所述图像中获取人脸区域,以及人脸区域对应的识别框中包含的识别的位置信息,用于后续根据位置信息计算用户距离屏幕的距离是否安全;基于此,将通过所述识别模型实现特征识别,即将所述图像输入至所述识别模型,获得所述识别模型输出的所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息。
其中,所述人脸区域具体是指图像中包含的用户人脸所对应的区域,所述人脸区域可以是用户的整张人脸,或者用户的部分人脸;相应的,所述识别框为对所述人脸区域进行框选的线框,所述识别点具体是指所述人脸区域中包含的人脸特征所对应的点;所述位置信息具体是指所述识别点在所述图像中相对于所述识别框的位置信息。例如,图像中包含用户的整张人脸,则人脸区域中将包含人脸特征:鼻子,眼睛,嘴,眉毛,耳朵,每个人脸特征均对应有识别点;以用于后续可以根据识别点的位置信息计算人脸特征对应的间距,间距越大,说明采集图像时用户距离图像采集模块越近,则用户距离屏幕的位置也就越近,反之,间距越小,说明采集图像时用户距离图像采集模块越远,则用户距离屏幕的位置也就越远,以用于后续决定是否向用户进行护眼提醒。
进一步的,为了能够提高所述识别模型的识别效果,从而精准的在所述图像中针对人脸区域生成识别框,以及识别出识别框中识别点的位置信息,需要对识别模型进行训练,本实施例中,具体实现方式如下所述:
在训练集中提取训练图像;
采用样本识别框对所述训练图像中的人脸区域进行标注,以及确定所述人脸区域中包含的识别点的样本位置信息;
基于所述训练图像、样本框和所述样本位置信息构成训练样本,对待训练识别模型进行训练,获得所述识别模型。
实际应用中,为了能够满足识别精准度,以及提取出更加符合需求的人脸特征,所述识别模型可以采用深度学习中的RetinaFace进行创建,从而实现准确的识别图像中的人脸特征,用于后续判断用户距离屏幕的距离。
其中,基于RetinaFace创建的识别模型采用了特征金字塔技术,实现了多尺度信息的融合,对检测精度有着重要的作用,并且采用建议策略,通过对层特征图的每一层识别框分别进行建议,实现生成3个不同尺度上的识别框,每个尺度上又引入了不同尺寸的锚点大小,保证了可以检测到不同大小的人脸特征。
基于此,由于用户在观看终端设备播放的屏幕时,随意性比较大,可能从不同的角度进行观看,或者不同的姿势进行观看所述终端设备的屏幕,这个时候如果通过进行人脸特征识别,将存在识别不准确的情况,即如果人脸图像中只包含半张人脸区域,此时就无法正确的对用户距离屏幕的距离进行监控,所受限制比较大;故为了能够解决该问题,以实现在用户人脸被遮挡,或者人脸区域只对应用户部分人脸的情况下,依旧可以完成用户距离屏幕的安全距离的监控,将通过训练图像集中的训练图像对所述识别模型进行训练,需要说明的是,所述训练集中包含具有完整人脸的图像和部分人脸的图像,参见图4所示,训练图像中不仅包含图4中(a)所示的完整人脸图像,还包括图4中(b)、图4中(c)、图4中(d)所示的不完整的人脸图像。
之后采用样本识别框对各个图像的人脸区域进行标注,以及确定各个人脸区域中包含的识别点的样本位置信息,即确定各个人脸特征对应的识别点的位置信息,最后基于训练图像、样本框以及样本位置信息构成大量的训练样本对所述待训练识别模型进行训练,获得所述识别模型,实现后续可以根据所述识别模型对真实场景中的图像中的人脸区域进行识别,精准的通过识别框对所述人脸区域进行框选,以及输出更加精准的识别点的位置信息,提高确定用户与屏幕的真实距离的准确度,更加准确的做出响应。
更进一步的,在获得所述位置信息和所述识别框之后,后续即可通过计算识别点间的间距确定用户的人脸特征的间距,以用于分析用户与屏幕的距离,而在此之前,可能存在用户的人脸特征被遮挡物覆盖,如果基于覆盖的人脸特征计算间距,将耗费较多的计算量,并且无法正确的计算出被遮挡的人脸特征的间距,故为了能够提高计算效率,以及节省计算量,可以将被遮挡的区域设置为空集,只计算识别出的未被遮挡的人脸特征的间距,本实施例中,具体实现方式如下所述:
通过对所述人脸区域进行划分,获得至少两个子人脸区域;对所述至少两个子人脸区域进行特征检测,根据检测结果确定包含人脸特征的子人脸区域;
相应的,执行下述步骤S106基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,所述步骤S106具体是指基于所述位置信息计算所述子人脸区域中的至少一个人脸特征的识别点间的所述第一间距。
具体的,在获得所述识别模型输出的识别框和所述识别点的位置信息的情况下,即可确定识别框对应的人脸区域,此时对所述人脸区域进行划分,即可获得至少两个子人脸区域,之后再对所述人脸区域进行特征检测,根据检测结果确定包含人脸特征的子人脸区域,以用于后续对所述子人脸区域中的人脸特征的间距进行计算,实现监控用户与屏幕的距离,实现及时在用户人脸的人脸特征被遮挡或者不完整的情况下,依旧可以完成用户与屏幕距离的监控,进一步提高了护眼模式的适用性。
例如,用户甲通过手机观看视频的方式学习历史知识,手机通过前置摄像头采集到用户甲的人脸图像如图5中(a)所示,用户甲由于生病带了口罩,并且因为眼睛有弱视的问题,带了遮布的眼镜,此时用户甲的脸部被口罩和遮布两部分遮挡,为了能够监控用户甲距离手机屏幕的距离,保证用户甲观看视频处于安全距离,避免对眼睛造成进一步的伤害,将通过识别模型获取人脸图像中用户甲的人脸区域对应的识别框,并通过对人脸区域进行划分,获得3个子人脸区域,如图5中(b)所示,之后确定子人脸区域a中包含用户的眼部特征,则将子人脸区域a作为用于后续进行计算眼部特征间距的人脸区域,从而实现在用户甲的人脸被遮挡的情况下,依旧可以分析出距离屏幕的距离。
此外,在所述图像中包含的人脸区域只有用户的部分人脸的情况下,也可以只检测出包含人脸特征的子人脸区域用于后续计算人脸特征的间距,从而实现只要图像中包含任意一个人脸特征,即可以通过计算该人脸特征的间距的方式确定用户与屏幕的距离,做出有效的应对。
综上,为了能够提高护眼模式防护的适用性,将通过检测出包含人脸特征的子人脸区域进行后续的间距计算,实现在用户人脸被遮挡,或者用户人脸采集不完整的情况下,依旧可以监控用户与屏幕的距离,更进一步的提高了用户的体验效果。
此外,在对包含人脸区域的图像进行识别的过程中,由于图像中可能包含较多的人脸区域,即对应不同用户的人脸区域,此时可以通过识别模型识别出面积最大的人脸区域的识别框,以用于后续处理。
步骤S106,基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值。
具体的,在上述获得所述识别框和所述识别点的位置信息的情况下,此时将根据所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,所述第一间距具体是指所述图像中的人脸特征的间距,间距越大,说明采集图像时用户距离图像采集模块越近,则用户距离屏幕的位置也就越近,反之,间距越小,说明采集图像时用户距离图像采集模块越远,则用户距离屏幕的位置也就越远。
基于此,在确定所述第一间距之后,若通过所述第一间距分析用户被采集图像时与屏幕的距离,将耗费较多的计算量才能够确定,并且计算出的用户与屏幕的距离只是预估值,准确性较低,为了避免这一问题,本实施例将通过计算第一间距和图像宽度的比值确定所述目标数值,后续再通过所述目标数值与所述人脸特征所属维度的数值阈值进行比较的方式,确定用户与屏幕的距离是否安全,从而确定是否进行护眼提醒,而在此过程中只要保证数值阈值足够精准,就可以保证准确的分析出用户与屏幕的距离是否安全,并不需要去估算该距离,有效的提高了容错率,实现更加精准的决定是否进行护眼提醒。
进一步的,一方面在计算所述第一间距的过程中,实则是计算所述人脸特征在图像中的尺寸,从而分析出采集图像时用户与屏幕的距离远近,本实施例中,具体实现方式如下所述:
确定所述人脸区域中的所述至少一个人脸特征,并根据所述识别框中包含的所述识别点,确定所述至少一个人脸特征对应的特征识别点;
根据所述位置信息确定所述特征识别点的特征位置信息;
通过对所述特征位置信息进行计算,获得所述特征识别点间的所述第一间距。
具体的,确定所述人脸区域中的所述至少一个人脸特征之后,将根据所述识别框中包含的识别点,确定所述至少一个人脸区域对应的特征识别点,之后根据所述识别模型输出的位置信息确定所述特征识别点的特征位置信息,最后再通过对所述特征位置信息进行计算,即可获得所述第一间距。需要说明的是,计算所述第一间距的方式为采用识别点在图像中的位置信息进行计算,即通过识别点对应的像素点计算所述第一间距,以用于后续处理。
另一方面,计算所述第一间距还可以根据所述识别框创建所述平面坐标系进行计算,本实施例中,具体实现方式如下所述:
基于所述识别框构建平面坐标系,并基于所述位置信息确定所述识别点对应的坐标信息;
确定所述人脸区域中所述人脸特征的特征识别点,以及根据所述坐标信息确定所述特征识别点的特征坐标信息;
通过对所述特征坐标信息进行计算,获得所述特征识别点间的所述第一间距。
具体的,由于所述识别框所框选的是所述图像中的人脸区域,故所述人脸特征对应的识别点均包含在所述识别框内,此时根据所述识别框构建平面坐标系,之后根据所述位置信息确定所述识别点在所述平面坐标系中的坐标信息;之后选择所述人脸区域中所述人脸特征的特征识别点的特征坐标信息计算所述第一间距,即可确定所述人脸特征对应的尺寸。
沿用上例,在确定用户甲的人脸图像中的人脸区域包含的眼部特征后,此时根据框选人脸区域的识别框创建平面坐标系,以识别框的左上角的线条交点作为坐标原点,沿着原点向右的边为x轴,沿着原点向下的边为y轴,之后确定识别框中各个识别点的坐标信息,通过各个坐标信息确定眼部特征对应的特征识别点Se1坐标信息是(x1,y1),Se2坐标信息是(x2,y2),最后计算Se1和Se2的距离确定眼部特征的间距是Le,而手机前置摄像头采集人脸图像的图像宽度是Li,通过计算Le和Li的比值,即可确定用户甲在观看手机时眼部特征与图像宽度的比例,以用于后续判断用户甲是否处于安全观看距离。
通过建立坐标系的方式计算人脸特征的识别点间的间距,可以有效的提高第一间距的计算精准度,并且通过将第一间距与所述图像宽度进行计算,实现不需要估算用户与屏幕的距离即可判断出用户是否处于安全距离进行观看,有效的提高了护眼提醒的容错率。
此外,为了能够提高后续判断是否进行护眼提醒的判断准确度,可以计算多个维度的人脸特征的识别点间的第一间距,针对每个维度都进行判断,从而实现更加广泛的覆盖性,避免出现偶然情况,优选的所述人脸区域中包含的人脸特征至少为一个,本实施例中,具体实现方式如下所述:
识别所述人脸区域中包含的n个人脸特征,n≥1,且n为正整数;
确定所述n个人脸特征中的各个人脸特征对应的目标识别点,并根据所述位置信息确定所述目标识别点的目标位置信息;
通过对所述目标位置信息进行计算,获得所述n个人脸特征对应的n个第一间距;
根据所述n个第一间距和所述图像宽度,计算所述n个人脸特征对应的n个目标数值。
本实施例将以n=3为例,对第一间距和目标数值的计算过程进行描述,n为任意正整数的计算过程均可参见本实施例相应的描述内容,在此不作过多赘述。
图6示出了图像采集模块采集到的图像,基于该图像识别出人脸区域中包含3个人脸特征,分别是左眼特征,右眼特征和嘴部特征,此时确定3个人脸特征分别对应的目标识别点,以及各个识别点的位置信息,之后通过计算确定左眼特征对应的第一间距为L1,右眼特征对应的第一间距为L2,嘴部特征对应的第一间距为L3。
此时再确定图像的图像宽度是Ln,通过计算左眼特征对应的第一间距L1与图像宽度Ln的比值,确定左眼特征所属维度对应的目标数值T1=L1/Ln,通过计算右眼特征对应的第一间距L2与图像宽度Ln的比值,确定右眼特征所属维度对应的目标数值T2=L2/Ln,通过计算嘴部特征对应的第一间距L3与图像宽度Ln的比值,确定嘴部特征所属维度对应的目标数值T3=L3/Ln,以用于后续对三个维度的目标数值均进行比较,判断用户与屏幕的距离是否安全。
综上,通过计算多个人脸特征对应的第一间距,以及目标数值,实现了后续在判断用户与屏幕的距离时,可能从多个人脸特征维度进行分析,进一步提高了距离判断准确性,能够更加有效的对用户的眼睛进行防护,提高用户的体验效果。
步骤S108,将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
具体的,在上述通过第一间距和图像宽度计算出所述目标数值之后,此时即可通过所述目标数值与所述人脸特征所属维度的数值阈值进行比较,在目标数值大于所述数值阈值的情况下,表明用户与屏幕的距离较近,会对用户的眼睛造成损害,则可以将护眼提醒信息作为所述目标信息,通过所述展示模块进行展示;在目标数值不大于所述数值阈值的情况下,表明用户与屏幕的距离较远,不会对用户的眼睛造成损害,则可以将展示模块中展示的信息作为所述目标信息,继续通过所述展示模块进行展示,避免对用户观看过程造成影响。
基于此,由于未估算用户与屏幕的预测距离,而是通过将目标数值与数值阈值比较的方式进行用户与屏幕的距离判断,故需要保证所述数值阈值足够准确才能够实现,本实施例中,所述数值阈值将采用如下方式确定:
确定所述展示模块和用户人脸之间的基准安全距离,并基于所述基准安全距离创建所述人脸特征所属维度的基准图像;
在所述基准图像中确定所述人脸特征的基准识别点间的基准间距;
根据所述基准间距和所述基准图像的基准图像宽度计算所述数值阈值,其中,所述基准图像的基准图像宽度与所述图像宽度相等。
具体的,所述基准安全距离是指用户在不损伤眼睛的前提下与展示模块最近的距离,所述基准图像具体是指用户处于基准安全距离时对应的图像,所述基准间距具体是指用户处于基准安全距离时,基准图像中人脸特征对应的间距。
基于此,在确定所述基准安全距离后,将根据所述基准安全距离创建所述人脸特征所属维度的基准图像,并在所述基准图像中确定所述人脸特征的基准识别点间的基准间距,最后再通过所述基准间距和所述基准图像的基准图像宽度即可计算出所述数值阈值,其中,所述基准图像的基准图像宽度与所述图像宽度相等,从而满足通过比对目标数值确定用户与屏幕的距离是否安全。
例如,用户与手机上的屏幕的安全距离是40cm,则在距离屏幕40cm的位置布置虚拟人物,并通过手机上的前置摄像头采集此时虚拟人物的人脸图像作为基准图像,之后确定基准图像中眼部特征的基准间距是L11,嘴部特征的基准间距是L12,而基准图像的图像宽度是Ln,通过计算L11与Ln的比值,确定眼部特征所属维度的数值阈值是T11,计算L12与Ln的比值,确定嘴部特征所属维度的数值阈值是T12,以用于在对用户与屏幕的距离进行判断时所使用。
需要说明的是,不同人脸特征维度的数值阈值均可采用上述描述内容进行确定,本实施例在此不作过多赘述;其中,所述基准安全距离也可以根据不同需求进行设定,本实施例在此不作过多限定。
综上所述,通过目标数值与所述数值阈值比较的方式判断用户与屏幕的距离是否安全,实现了无需估算用户与屏幕的预测距离就可以分析出用户是否处于安全距离,有效的提高了护眼提醒的容错率。
进一步的,将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,在比较结果为所述目标数值大于所述数值阈值的情况下,说明此时用户与屏幕的距离较近,则需要进行护眼提醒,本实施例中,提醒过程如下所述:
在所述比较结果为所述目标数值大于所述数值阈值的情况下,获取所述图像采集模块采集所述图像的时间节点;
确定在所述时间节点所述展示模块所展示内容的属性信息,并基于所述属性信息在预设的护眼提醒策略中选择目标护眼提醒策略;
根据所述目标护眼提醒策略和所述展示内容生成所述目标信息,并通过所述展示模块进行展示。
具体的,所述时间节点具体是指所述图像采集模块采集所述图像时的时间,所述展示内容具体是指所述展示模块在所述时间节点所展示的画面,所述属性信息具体是指该画面相关的信息,如类型信息,适用人群信息,媒体流信息等,所述护眼提醒策略具体是指向用户进行护眼提醒的方式。
基于此,在所述比较结果为所述目标数值大于所述数值阈值的情况下,说明此时用户与屏幕的距离较近,则需要进行护眼提醒,则确定在所述时间节点所述展示模块所展示内容的属性信息,并基于所述属性信息在预设的护眼提醒策略中选择目标护眼提醒策略,实现可以根据不同的用户选择不同的策略用于后续提醒;例如手机正在播放的视频是小学作文撰写学习课程,此时若检测到观看手机的用户处于与手机距离较近的位置的情况下,则可以选择适用于学生的护眼提醒策略作为目标护眼提醒策略,或者手机正在播放的视频是热播电视剧,此时若检测到观看手机的用户处于与手机距离较近的位置的情况下,则可以选择适用于成年人的护眼提醒策略作为目标护眼提醒策略。
最后根据所述目标护眼提醒策略和所述展示内容生成所述目标信息,并通过所述展示模块进行展示,实现了通过展示模块向用户进行护眼提醒,避免对用户的眼睛造成损害。
需要说明的是,所述护眼提醒策略中包含适用于不同场景的提醒策略,如声音护眼提醒策略或视频护眼提醒策略等,并且在根据所述目标护眼提醒策略和所述展示内容生成所述目标信息时,将根据所述目标护眼提醒策略对所述展示内容进行调整,不同的护眼策略调整方式不同,如停止播放展示内容,并插入提醒画面;或者将展示内容进行模糊化;再或者调整展示内容的颜色、透明度和内容模糊;以生成所述目标信息通过所述展示模块进行展示,有效的对用户进行提醒,并且内容不枯燥能够提高用户的体验效果。
更进一步的,在所述比较结果为所述目标数值不大于所述数值阈值的情况下,说明此时用户与屏幕的距离安全,不需要进行护眼提醒,则继续通过所述展示模块展示用户观看的画面即可,本实施例中,具体实现方式如下所述:
在所述比较结果为所述目标数值不大于所述数值阈值的情况下,将所述展示模块所展示的内容作为所述目标信息进行展示。
例如,用户在通过手机观看视频,在确定观看视频时用户的眼部特征与图像的图像宽度比值是P1后,将P1与眼部特征所属维度的数值阈值进行比较,在P1大于数值阈值的情况下,说明用户距离手机较近,此时确定手机正在播放的视频内容,确定视频内容是古诗二首解析课程,则在预设的护眼提醒策略中选择学生护眼提醒策略作为目标护眼提醒策略,并根据目标护眼提醒策略和视频内容生成的目标信息如图7所示,并通过用户的手机向用户进行展示,实现提醒的效果;在P1小于等于数值阈值的情况下,说明用户距离手机较远,此时确定手机正在播放的视频内容,并继续播放该视频内容即可。
综上,为了能够更好的服务于用户,并且能够有效的对所述用户进行护眼提醒,可以根据所述展示模块所展示内容的属性信息选择目标护眼提醒策略,实现针对观看不同展示内容的用户采用不同的目标信息进行护眼提醒,能够更好的触达用户,使得用户更加注重对眼睛的防护。
更进一步的,在所述人脸特征为多个的情况下,需要根据不同的人脸特征计算多个目标数值,并分别与所属维度的数值阈值进行比较,只要存在一个维度的目标数值大于所述数值阈值的情况下,就通过展示模块展示所述目标信息,若当前维度的目标数值不大于所述数值阈值,就选择下一维度的目标数值与所属维度的数值阈值进行比较,本实施例中,具体实现方式如下所述:
步骤1,判断所述n个目标数值中的第i个目标数值是否大于第i个人脸特征所属维度的数值阈值,i从1开始取值,且1≤i≤n,i为正整数;
若是,执行步骤2;若否,i自增1,并返回执行步骤1;
其中,步骤2是指将护眼提醒信息作为所述目标信息,并调用所述展示模块展示所述护眼提醒信息。
具体的,在确定左眼特征所属维度对应的目标数值T1,右眼特征所属维度对应的目标数值T2,嘴部特征所属维度对应的目标数值T3后,此时判断目标数值T1是否大于左眼特征所属维度的数值阈值TH1,若是,则执行将护眼提醒信息作为目标信息,并调用所述展示模块展示所述护眼提醒信息,若否,则判断目标数值T2是否大于右眼特征所属维度的数值阈值TH2,若大于,则执行将护眼提醒信息作为目标信息,并调用所述展示模块展示所述护眼提醒信息,若不大于,则判断目标数值T3是否大于嘴部特征所属维度的数值阈值TH3,若是,则执行将护眼提醒信息作为目标信息,并调用所述展示模块展示所述护眼提醒信息,若否,则将当前展示模块展示的内容作为目标信息进行展示,说明用户与屏幕的距离足够安全。
此外,在通过所述展示模块展示所述目标信息之后,在预设的时间间隔之后,还需要重新采集图像进行识别和计算,确定时间间隔后的用户与屏幕的距离是否安全,而为了能够有效的节省计算量,可以将预设的时间间隔后的图像与上一时间间隔的图像进行匹配,以分析出当前时刻展示模块应该展示的目标信息是什么内容,本实施例中,具体实现方式如下所述:
获取所述图像采集模块在所述时间间隔后采集的待识别图像;
计算所述待识别图像和所述图像的匹配度,并判断匹配度是否大于匹配度阈值;
若是,调用所述展示模块展示所述目标信息;
若否,将所述待识别图像作为所述图像,并再次执行所述将所述图像输入至识别模型进行特征识别步骤。
例如,在时间节点10:22:07时采集的图像是图像a,通过对图像a进行处理,确定用户与手机的距离较远,则继续播放手机上的视频;在3s后,重新采集的图像是图像b,此时为了节省计算资源,可以计算图像a与图像b的匹配度,在匹配度较大的情况下,说明采集图像a的时刻和采集图像b的时刻,用户所处位置并未发生变化,依旧与手机保持安全距离,不需要继续进行图像处理,在匹配度较小的情况下,说明采集图像a的时刻和采集图像b的时刻,用户所处位置发生变化,需要重新进行处理,确定采集图像b时刻用户距离手机的距离,以实现及时发出护眼提醒的目的。
通过将相邻时间间隔的两张图像进行比对,实现了在两张图像相似度较高的情况下,不需要进行运算即可完成用户与屏幕是否处于安全距离的判断,可以有效降低每次都进行运算所消耗的资源。
本实施例提供的图像处理方法,通过获取图像采集模块采集的图像后,将图像输入至识别模型进行特征识别,获得所述图像中包含的人脸区域对应的识别框,以及在识别框中包含的识别点的位置信息,之后基于位置信息计算人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据第一间距和图像的图像宽度计算目标数值,最后将目标数值与人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息,实现了可以在不受终端设备硬件影响的情况下,监测用户距离屏幕的距离,并通过展示目标信息的方式对用户作出提醒,有效的降低了用户用眼不规范带来的损害,并且通过人脸特征对应的目标数值反映用户距离屏幕的距离,实现即使在图像中用户人脸不完整的情况下,也可以判断用户距离屏幕的位置,可以针对从任意角度观看屏幕的用户的观看距离进行监控,进一步提高了用户的体验效果。
下述结合附图8,以本说明书提供的图像处理方法在播放场景中的应用为例,对所述图像处理方法进行进一步说明。其中,图8示出了本说明书一实施例提供的一种应用于播放场景中的图像处理方法的处理流程图,具体包括以下步骤:
步骤S802,获取手机前置摄像头每隔预设的时间间隔采集的图像。
本实施例以用户通过手机观看讲课视频为例,对判断用户与手机的距离是否为安全距离的过程进行描述,需要说明的是,本实施例相应的内容均可参见上述实施例的描述内容,在此不作过多赘述。
步骤S804,检测图像中是否包含人脸区域;若是,执行步骤S806;若否,执行步骤S824。
步骤S806,将图像输入至识别模型进行特征识别,获得图像包含的人脸区域对应的识别框,以及识别框中包含的识别点的位置信息。
步骤S808,识别人脸区域中包含的左眼特征,右眼特征和嘴部特征。
步骤S810,确定左眼特征对应的第一识别点,右眼特征对应的第二识别点以及嘴部特征对应的第三识别点。
步骤S812,根据位置信息确定第一识别点的第一位置信息,第二识别点的第二位置信息和第三识别点的第三位置信息。
步骤S814,计算第一位置信息确定左眼特征的左眼间距,计算第二位置信息确定右眼特征的右眼间距,计算第三位置信息确定嘴部特征的嘴部间距。
步骤S816,计算左眼间距与图像宽度的比值获得第一目标值,计算右眼间距与图像宽度的比值获得第二目标值,计算嘴部间距与图像宽度的比值获得第三目标值。
步骤S818,判断第一目标值是否大于左眼特征所属维度的数值阈值;若否,执行步骤S820;若是,执行步骤S826。
步骤S820,判断第二目标值是否大于右眼特征所属维度的数值阈值;若否,执行步骤S822;若是,执行步骤S826。
步骤S822,判断第三目标值是否大于嘴部特征所属维度的数值阈值;若否,执行步骤S824;若是执行步骤S826。
步骤S824,继续播放手机展示内容。
步骤S826,确定目标护眼提醒策略,并根据目标护眼提醒策略和手机展示内容生成护眼提醒通过手机进行展示。
综上所述,实现了可以在不受终端设备硬件影响的情况下,监测用户距离屏幕的距离,并通过展示目标信息的方式对用户作出提醒,有效的降低了用户用眼不规范带来的损害,并且通过人脸特征对应的目标数值反映用户距离屏幕的距离,实现即使在图像中用户人脸不完整的情况下,也可以判断用户距离屏幕的位置,可以针对从任意角度观看屏幕的用户的观看距离进行监控,进一步提高了用户的体验效果。
与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图9示出了本说明书一实施例提供的一种图像处理装置的结构示意图。如图9所示,该装置包括:
获取图像模块902,被配置为获取图像采集模块采集的图像;
图像识别模块904,被配置为将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
计算数值模块906,被配置为基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
展示信息模块908,被配置为将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
一个可选的实施例中,所述计算数值模块906,包括:
确定特征识别点单元,被配置为确定所述人脸区域中的所述至少一个人脸特征,并根据所述识别框中包含的所述识别点,确定所述至少一个人脸特征对应的特征识别点;
确定特征位置信息单元,被配置为根据所述位置信息确定所述特征识别点的特征位置信息;
计算特征位置信息单元,被配置为通过对所述特征位置信息进行计算,获得所述特征识别点间的所述第一间距。
一个可选的实施例中,所述数值阈值,通过如下方式建立:
确定所述展示模块和用户人脸之间的基准安全距离,并基于所述基准安全距离创建所述人脸特征所属维度的基准图像;
在所述基准图像中确定所述人脸特征的基准识别点间的基准间距;
根据所述基准间距和所述基准图像的基准图像宽度计算所述数值阈值,其中,所述基准图像的基准图像宽度与所述图像宽度相等。
一个可选的实施例中,所述展示信息模块908,包括:
获取时间节点单元,被配置为在所述比较结果为所述目标数值大于所述数值阈值的情况下,获取所述图像采集模块采集所述图像的时间节点;
确定属性信息单元,被配置为确定在所述时间节点所述展示模块所展示内容的属性信息,并基于所述属性信息在预设的护眼提醒策略中选择目标护眼提醒策略;
第一展示信息单元,被配置为根据所述目标护眼提醒策略和所述展示内容生成所述目标信息,并通过所述展示模块进行展示。
一个可选的实施例中,所述计算数值模块906,包括:
识别人脸特征单元,被配置为识别所述人脸区域中包含的n个人脸特征,n≥1,且n为正整数;
确定目标识别点单元,被配置为确定所述n个人脸特征中的各个人脸特征对应的目标识别点,并根据所述位置信息确定所述目标识别点的目标位置信息;
计算目标位置信息单元,被配置为通过对所述目标位置信息进行计算,获得所述n个人脸特征对应的n个第一间距。
一个可选的实施例中,所述计算数值模块906进一步被配置为:
根据所述n个第一间距和所述图像宽度,计算所述n个人脸特征对应的n个目标数值。
一个可选的实施例中,所述展示信息模块908,包括:
判断目标数值单元,被配置为判断所述n个目标数值中的第i个目标数值是否大于第i个人脸特征所属维度的数值阈值,i从1开始取值,且1≤i≤n,i为正整数;
若是,运行第二展示信息单元,所述第二展示信息单元,被配置为将护眼提醒信息作为所述目标信息,并调用所述展示模块展示所述护眼提醒信息;
若否,i自增1,运行判断目标数值单元。
一个可选的实施例中,所述计算数值模块906,包括:
确定坐标信息单元,被配置为基于所述识别框构建平面坐标系,并基于所述位置信息确定所述识别点对应的坐标信息;
确定特征坐标信息单元,被配置为确定所述人脸区域中所述人脸特征的特征识别点,以及根据所述坐标信息确定所述特征识别点的特征坐标信息;
计算特征坐标信息单元,被配置为通过对所述特征坐标信息进行计算,获得所述特征识别点间的所述第一间距。
一个可选的实施例中,所述获取图像模块902,包括:
获取图像单元,被配置为获取所述图像采集模块每隔预设的时间间隔采集的所述图像,其中,所述预设的时间间隔根据终端配置信息确定,或者根据用户的设置指令确定。
一个可选的实施例中,所述图像处理装置,还包括:
检测人脸区域模块,被配置为检测所述图像中是否包含人脸区域;
若否,运行所述获取图像单元;
若是,运行所述图像识别模块904。
一个可选的实施例中,所述图像处理装置,还包括:
获取待识别图像模块,被配置为获取所述图像采集模块在所述时间间隔后采集的待识别图像;
计算匹配度模块,被配置为计算所述待识别图像和所述图像的匹配度,并判断匹配度是否大于匹配度阈值;
若是,运行展示模块,所述展示模块,被配置为调用所述展示模块展示所述目标信息;
若否,将所述待识别图像作为所述图像,并再次运行所述图像识别模块904。
一个可选的实施例中,所述展示信息模块908进一步被配置为:
在所述比较结果为所述目标数值不大于所述数值阈值的情况下,将所述展示模块所展示的内容作为所述目标信息进行展示。
一个可选的实施例中,所述识别模型,采用如下方式训练:
在训练集中提取训练图像;
采用样本识别框对所述训练图像中的人脸区域进行标注,以及确定所述人脸区域中包含的识别点的样本位置信息;
基于所述训练图像、样本框和所述样本位置信息构成训练样本,对待训练识别模型进行训练,获得所述识别模型。
一个可选的实施例中,所述展示模块包括下述至少一项:
声音展示模块、图像展示模块、视频展示模块。
一个可选的实施例中,所述图像处理装置,还包括:
划分模块,被配置为通过对所述人脸区域进行划分,获得至少两个子人脸区域;
检测模块,被配置为对所述至少两个子人脸区域进行特征检测,根据检测结果确定包含人脸特征的子人脸区域;
相应的,所述计算数值模块906进一步被配置为:
基于所述位置信息计算所述子人脸区域中的至少一个人脸特征的识别点间的所述第一间距。
本申请提供的图像处理装置,通过获取图像采集模块采集的图像后,将图像输入至识别模型进行特征识别,获得所述图像中包含的人脸区域对应的识别框,以及在识别框中包含的识别点的位置信息,之后基于位置信息计算人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据第一间距和图像的图像宽度计算目标数值,最后将目标数值与人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息,实现了可以在不受终端设备硬件影响的情况下,监测用户距离屏幕的距离,并通过展示目标信息的方式对用户作出提醒,有效的降低了用户用眼不规范带来的损害,并且通过人脸特征对应的目标数值反映用户距离屏幕的距离,实现即使在图像中用户人脸不完整的情况下,也可以判断用户距离屏幕的位置,可以针对从任意角度观看屏幕的用户的观看距离进行监控,进一步提高了用户的体验效果。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
图10示出了根据本说明书一实施例提供的一种计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接,数据库1050用于保存数据。
计算设备1000还包括接入设备1040,接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图10所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1000可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
其中,处理器1020用于执行如下计算机可执行指令:
获取图像采集模块采集的图像;
将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
获取图像采集模块采集的图像;
将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (18)
1.一种图像处理方法,其特征在于,包括:
获取图像采集模块采集的图像;
将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
确定所述人脸区域中的所述至少一个人脸特征,并根据所述识别框中包含的所述识别点,确定所述至少一个人脸特征对应的特征识别点;
根据所述位置信息确定所述特征识别点的特征位置信息;
通过对所述特征位置信息进行计算,获得所述特征识别点间的所述第一间距。
3.根据权利要求1所述的图像处理方法,其特征在于,所述数值阈值,通过如下方式建立:
确定所述展示模块和用户人脸之间的基准安全距离,并基于所述基准安全距离创建所述人脸特征所属维度的基准图像;
在所述基准图像中确定所述人脸特征的基准识别点间的基准间距;
根据所述基准间距和所述基准图像的基准图像宽度计算所述数值阈值,其中,所述基准图像的基准图像宽度与所述图像宽度相等。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据比较结果调用展示模块展示目标信息,包括:
在所述比较结果为所述目标数值大于所述数值阈值的情况下,获取所述图像采集模块采集所述图像的时间节点;
确定在所述时间节点所述展示模块所展示内容的属性信息,并基于所述属性信息在预设的护眼提醒策略中选择目标护眼提醒策略;
根据所述目标护眼提醒策略和所述展示内容生成所述目标信息,并通过所述展示模块进行展示。
5.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
识别所述人脸区域中包含的n个人脸特征,n≥1,且n为正整数;
确定所述n个人脸特征中的各个人脸特征对应的目标识别点,并根据所述位置信息确定所述目标识别点的目标位置信息;
通过对所述目标位置信息进行计算,获得所述n个人脸特征对应的n个第一间距。
6.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述第一间距和所述图像的图像宽度计算目标数值,包括:
根据所述n个第一间距和所述图像宽度,计算所述n个人脸特征对应的n个目标数值。
7.根据权利要求6所述的图像处理方法,其特征在于,所述将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息,包括:
判断所述n个目标数值中的第i个目标数值是否大于第i个人脸特征所属维度的数值阈值,i从1开始取值,且1≤i≤n,i为正整数;
若是,将护眼提醒信息作为所述目标信息,并调用所述展示模块展示所述护眼提醒信息;
若否,i自增1,再次执行所述判断所述n个目标数值中的第i个目标数值是否大于第i个人脸特征所属维度的数值阈值步骤。
8.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
基于所述识别框构建平面坐标系,并基于所述位置信息确定所述识别点对应的坐标信息;
确定所述人脸区域中所述人脸特征的特征识别点,以及根据所述坐标信息确定所述特征识别点的特征坐标信息;
通过对所述特征坐标信息进行计算,获得所述特征识别点间的所述第一间距。
9.根据权利要求1所述的图像处理方法,其特征在于,所述获取图像采集模块采集的图像,包括:
获取所述图像采集模块每隔预设的时间间隔采集的所述图像,其中,所述预设的时间间隔根据终端配置信息确定,或者根据用户的设置指令确定。
10.根据权利要求9所述的图像处理方法,其特征在于,所述将所述图像输入至识别模型进行特征识别步骤执行之前,还包括:
检测所述图像中是否包含人脸区域;
若否,执行所述获取所述图像采集模块每隔预设的时间间隔采集的所述图像步骤;
若是,执行所述将所述图像输入至识别模型进行特征识别步骤。
11.根据权利要求9所述的图像处理方法,其特征在于,所述根据比较结果调用展示模块展示目标信息步骤执行之后,还包括:
获取所述图像采集模块在所述时间间隔后采集的待识别图像;
计算所述待识别图像和所述图像的匹配度,并判断匹配度是否大于匹配度阈值;
若是,调用所述展示模块展示所述目标信息;
若否,将所述待识别图像作为所述图像,并再次执行所述将所述图像输入至识别模型进行特征识别步骤。
12.根据权利要求1所述的图像处理方法,其特征在于,所述根据比较结果调用展示模块展示目标信息,包括:
在所述比较结果为所述目标数值不大于所述数值阈值的情况下,将所述展示模块所展示的内容作为所述目标信息进行展示。
13.根据权利要求1所述的图像处理方法,其特征在于,所述识别模型,采用如下方式训练:
在训练集中提取训练图像;
采用样本识别框对所述训练图像中的人脸区域进行标注,以及确定所述人脸区域中包含的识别点的样本位置信息;
基于所述训练图像、样本框和所述样本位置信息构成训练样本,对待训练识别模型进行训练,获得所述识别模型。
14.根据权利要求1所述的图像处理方法,其特征在于,所述展示模块包括下述至少一项:
声音展示模块、图像展示模块、视频展示模块。
15.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距步骤执行之前,还包括:
通过对所述人脸区域进行划分,获得至少两个子人脸区域;
对所述至少两个子人脸区域进行特征检测,根据检测结果确定包含人脸特征的子人脸区域;
相应的,所述基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,包括:
基于所述位置信息计算所述子人脸区域中的至少一个人脸特征的识别点间的所述第一间距。
16.一种图像处理装置,其特征在于,包括:
获取图像模块,被配置为获取图像采集模块采集的图像;
图像识别模块,被配置为将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
计算数值模块,被配置为基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
展示信息模块,被配置为将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
17.一种计算设备,其特征在于,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现下述方法:
获取图像采集模块采集的图像;
将所述图像输入至识别模型进行特征识别,获得所述图像包含的人脸区域对应的识别框,以及所述识别框中包含的识别点的位置信息;
基于所述位置信息计算所述人脸区域中的至少一个人脸特征的识别点间的第一间距,并根据所述第一间距和所述图像的图像宽度计算目标数值;
将所述目标数值与所述人脸特征所属维度的数值阈值进行比较,根据比较结果调用展示模块展示目标信息。
18.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1至15任意一项所述图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010910627.6A CN111967436B (zh) | 2020-09-02 | 2020-09-02 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010910627.6A CN111967436B (zh) | 2020-09-02 | 2020-09-02 | 图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111967436A true CN111967436A (zh) | 2020-11-20 |
CN111967436B CN111967436B (zh) | 2024-03-19 |
Family
ID=73393194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010910627.6A Active CN111967436B (zh) | 2020-09-02 | 2020-09-02 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111967436B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022111236A1 (zh) * | 2020-11-24 | 2022-06-02 | 华中师范大学 | 一种结合注意力机制的面部表情识别方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018113523A1 (zh) * | 2016-12-24 | 2018-06-28 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置、存储介质 |
CN109376518A (zh) * | 2018-10-18 | 2019-02-22 | 深圳壹账通智能科技有限公司 | 基于人脸识别的防止隐私泄露方法及相关设备 |
WO2019232866A1 (zh) * | 2018-06-08 | 2019-12-12 | 平安科技(深圳)有限公司 | 人眼模型训练方法、人眼识别方法、装置、设备及介质 |
-
2020
- 2020-09-02 CN CN202010910627.6A patent/CN111967436B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018113523A1 (zh) * | 2016-12-24 | 2018-06-28 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置、存储介质 |
WO2019232866A1 (zh) * | 2018-06-08 | 2019-12-12 | 平安科技(深圳)有限公司 | 人眼模型训练方法、人眼识别方法、装置、设备及介质 |
CN109376518A (zh) * | 2018-10-18 | 2019-02-22 | 深圳壹账通智能科技有限公司 | 基于人脸识别的防止隐私泄露方法及相关设备 |
Non-Patent Citations (1)
Title |
---|
寇毛蕊;: "基于Matlab的人脸识别系统设计", 软件导刊, no. 11 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022111236A1 (zh) * | 2020-11-24 | 2022-06-02 | 华中师范大学 | 一种结合注意力机制的面部表情识别方法及系统 |
US11967175B2 (en) | 2020-11-24 | 2024-04-23 | Central China Normal University | Facial expression recognition method and system combined with attention mechanism |
Also Published As
Publication number | Publication date |
---|---|
CN111967436B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2714096C1 (ru) | Способ, оборудование и электронное устройство для обнаружения витальности лица | |
US20210073953A1 (en) | Method for applying bokeh effect to image and recording medium | |
CN107886032B (zh) | 终端设备、智能手机、基于脸部识别的认证方法和系统 | |
WO2018177379A1 (zh) | 手势识别、控制及神经网络训练方法、装置及电子设备 | |
US9075453B2 (en) | Human eye controlled computer mouse interface | |
US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
CN109558008B (zh) | 控制方法、装置、计算机设备和存储介质 | |
KR20200118076A (ko) | 생체 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
CN104049760B (zh) | 一种人机交互命令的获取方法及系统 | |
CN110741377A (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
CN105912126B (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
CN113591562B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110298569B (zh) | 基于眼动识别的学习评价方法及装置 | |
CN110858316A (zh) | 对时间序列图像数据进行分类 | |
JP2014186505A (ja) | 視線検出装置及び撮像装置 | |
CN114092985A (zh) | 一种终端控制方法、装置、终端及存储介质 | |
CN110543813B (zh) | 一种基于场景的人脸画像、目光计数方法及系统 | |
CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
CN111967436B (zh) | 图像处理方法及装置 | |
CN112700568B (zh) | 一种身份认证的方法、设备及计算机可读存储介质 | |
CN115410240A (zh) | 智能人脸的痘痘和色斑分析方法、装置及存储介质 | |
CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
CN112822393B (zh) | 图像处理方法、装置及电子设备 | |
CN116469156A (zh) | 体态识别方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |