CN117495937B - 人脸图像处理的方法及电子设备 - Google Patents
人脸图像处理的方法及电子设备 Download PDFInfo
- Publication number
- CN117495937B CN117495937B CN202311796373.XA CN202311796373A CN117495937B CN 117495937 B CN117495937 B CN 117495937B CN 202311796373 A CN202311796373 A CN 202311796373A CN 117495937 B CN117495937 B CN 117495937B
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- distance
- user
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 230000036541 health Effects 0.000 description 39
- 230000004044 response Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000012937 correction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种人脸图像处理的方法及电子设备,涉及图像处理技术领域。本申请提供一种人脸图像处理的方法,包括:实时采集第一人脸图像,获取与该第一人脸图像匹配的标准人脸图像对应的第一匹配信息,该第一匹配信息指示了人脸到屏幕的距离与人脸图像中人脸的偏航角为0度时的双眼间距之间的对应关系;基于该第一匹配信息以及第一人脸图像中矫正后的双眼间距确定当前用户的人脸到屏幕的距离。采用本申请中的方法,电子设备可以准确确定出当前用户的人脸与屏幕之间的距离;且在电子设备实时检测当前用户的人脸与屏幕之间的距离时,电子设备的功耗低。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种人脸图像处理的方法及电子设备。
背景技术
随着移动终端的广泛应用,用户使用移动终端的时长增加,增加了用户的用眼时长。而用户的人脸距离移动终端的屏幕越近,对用户的双眼造成的损耗越大。通常移动终端会检测用户的人脸(或者人眼)与屏幕的距离,以及时提醒用户用眼姿势。此外,在一些应用场景中,也需要获取到用户的人脸与屏幕的距离,例如,移动终端可以根据用户的人脸与屏幕的距离,确定屏幕显示的显示内容。
目前通常会基于人脸图像的面积占移动终端的屏幕的大小,确定用户的人脸与屏幕的距离,该方式确定的人脸与屏幕的距离不准确。或者,移动终端通过结构光等深度检测器件,检测双眼到屏幕的距离作为人脸与屏幕的距离,但该方式会大大增加移动终端的功耗。
发明内容
为了解决上述技术问题,本申请提供一种人脸图像处理的方法及电子设备,使得电子设备可以准确确定出当前用户的人脸与屏幕之间的距离;且在电子设备实时检测当前用户的人脸与屏幕之间的距离时,电子设备的功耗低。
第一方面,本申请提供了一种人脸图像处理的方法,应用于电子设备,包括:获取第一人脸图像,第一人脸图像属于低分辨率的图像;获取与第一人脸图像匹配的标准人脸图像所对应的第一匹配信息,第一匹配信息用于指示在电子设备拍摄标准人脸图像时,标准人脸图像所属用户的人脸到电子设备的屏幕的距离与第一间距之间的对应关系,第一间距为在标准人脸图像中人脸的偏航角被矫正到0度时双眼的间距;获取第一人脸图像中人脸的偏航角被矫正到0度时双眼的间距作为目标间距;根据目标间距以及第一匹配信息,确定在电子设备拍摄第一人脸图像时,第一人脸图像所属用户的人脸到电子设备的屏幕的距离。
这样,当人的头部发生变动时,电子设备拍摄的人脸图像中人脸的偏航角的角度会影响该图像中双眼间距,也就是说,在相同位置拍摄同一用户的人脸图像时,偏航角度大的图像中的双眼间距小于偏航角度小的图像中的双眼间距。电子设备在相同位置拍摄的多张人脸图像,因人脸图像中的偏航角的角度不同会导致中每张人脸图像中的双眼间距不同,若电子设备存储人脸图像中的双眼间距与人脸到屏幕的距离之间的对应关系,会导致该对应关系不准确,确定的人脸到屏幕的距离也不准确。本示例中,电子设备存储第一间距与人脸到屏幕的距离之间的对应关系,该第一间距为电子设备将标准人脸图像中人脸的偏航角矫正到0时,该标准人脸图像中的双眼间距,从而使得电子设备在相同位置拍摄的同一用户的多张人脸图像,即使每张人脸图像的偏航角的角度均不同时,也不会导致确定的第一间距不同,进而确保了基于该第一间距与人脸到屏幕之间的距离的对应关系的准确。该第一对应关系准确,也就确保了电子设备可以基于该对应关系和第一人脸图像中的目标间距(即矫正后的双眼间距),准确确定出人脸到屏幕的距离。另外,本示例中,电子设备存储了不同用户的标准人脸图像以及对应的对应关系(即该用户的人脸到屏幕的距离与第一间距的对应关系),使得不同用户的采用的对应关系并不相同,从而可以更好的适用于不同用户,提高确定人脸到屏幕的距离的准确性。另外,电子设备可以按照预设频率(如每秒采集10帧人脸图像的频率)获取低分辨率的人脸图像,本示例中,低分辨率的图像可以包括分辨率小于分辨率最小的高分辨率的图像,最小的高分辨率可以为包括:1280×720像素;该低分辨率的图像例如可以是240×320像素的图像。电子设备可以获取低分辨率的图像中人脸的双眼间距,不会对确定人脸到屏幕的距离造成影响;且电子设备拍摄低分辨率的人脸图像消耗的功耗小于拍摄高分辨率的人脸图像消耗的功耗,从而可以降低电子设备的功耗。
根据第一方面,在获取第一人脸图像之前,该方法还包括:响应于接收到的第一用户操作,显示第一界面,第一界面包括第一指示信息,第一指示信息用于指示用户在第一界面录入标准人脸图像的姿势;响应于用户在第一界面输入的录入操作,采集N张当前用户的人脸图像,N为大于0的整数;根据采集的N张当前用户的人脸图像,确定当前用户的标准人脸图像;保存当前用户的标准人脸图像。这样,电子设备根据用户输入的第一用户操作(如开启电子设备中检测人脸到屏幕距离的功能),可以录入该用户的标准人脸图像,使得后续基于该用户的标准人脸图像,可以获取到与该用户匹配的对应关系,提高了确定人脸到屏幕的距离的准确性;此外,电子设备在第一界面显示第一指示信息,可以提醒用户如何录入标准人脸图像,避免录入不符合录入条件的人脸图像,录入条件可以是检测到用户录入正面的人脸图像。
根据第一方面,根据采集的N张当前用户的人脸图像,确定当前用户的标准人脸图像,包括:检测采集的N张当前用户的人脸图像中是否存在满足第一预设条件的人脸图像,第一预设条件为人脸图像中人脸的偏航角的角度在预设范围内;在检测到N张当前用户的人脸图像中存在满足第一预设条件的人脸图像的情况下,获取满足第一预设条件的人脸图像;从满足第一预设条件的人脸图像中选取一张作为当前用户的标准人脸图像。这样,电子设备选取偏航角小的人脸图像作为标准人脸图像,可以增加从人脸图像中提取的人脸特征值,便于后续基于该标准人脸图像可以准确获取到与用户匹配的对应关系。
根据第一方面,从满足第一预设条件的人脸图像中选取一张作为当前用户的标准人脸图像,包括:在满足第一预设条件的人脸图像的数量大于1的情况下,从满足第一预设条件的人脸图像中选取最小偏航角的一张人脸图像作为标准人脸图像。这样,电子设备选取偏航角最小的一张作为标准人脸图像,可以尽可能减小人脸图像中的人脸偏航角对标准人脸图像中双眼间距的影响。
根据第一方面,在保存当前用户的标准人脸图像之后,该方法还包括:获取标准人脸图像所属用户的人脸到电子设备的屏幕的距离;获取当前用户的标准人脸图像中的双眼间距作为第二间距;根据标准人脸图像中人脸的偏航角,对第二间距进行矫正,获得第一间距;根据标准人脸图像所属用户的人脸到电子设备的屏幕的距离与第一间距,确定第一匹配信息。这样,电子设备基于标准人脸图像中的双眼间距以及标准人脸图像中人脸的偏航角,对第二间距进行矫正,可以尽可能消除偏航角对双眼间距的影响(如减小了双眼间距的距离)。
根据第一方面,在保存当前用户的标准人脸图像之后,该方法还包括:获取标准人脸图像所属用户的人脸到电子设备的屏幕的距离;获取当前用户的标准人脸图像中的双眼间距作为第一间距;根据标准人脸图像所属用户的人脸到电子设备的屏幕的距离与第一间距,确定第一匹配信息。这样,标准人脸图像中人脸的偏航角处于预设范围内,该预设范围可以是0~10度;当偏航角处于预设范围之内时,将该标准人脸图像中的双眼间距作为第一间距与偏航角为0时的双眼间距的误差很小(可以忽略不计);故可以将该该标准人脸图像中的双眼间距作为标准人脸图像中人脸的偏航角被矫正到0度时双眼的间距;该方式确定的第一间距的速度快。
根据第一方面,获取标准人脸图像所属用户的人脸到电子设备的屏幕的距离,包括:获取标准人脸图像中虹膜的直径作为第一直径;获取拍摄装拍摄标准人脸图像时的拍摄焦距;获取当前用户的虹膜的直径作为第二直径;获取第二直径与第一直径之间的比值作为第一比值;获取第一比值与焦距的乘积作为标准人脸图像所属用户的人脸到电子设备的屏幕的距离。这样,电子设备可以根据标准人脸图像中人脸的虹膜确定出当前人脸到屏幕的距离,该计算方式简单,可以快速确定出人脸到屏幕的距离。
根据第一方面,该方法还包括:在采集N张当前用户的人脸图像的情况下,获取每张人脸图像对应的深度图像;在确定当前用户的标准人脸图像之后,该方法还包括:保存当前用户的标准人脸图像对应的深度图像;获取标准人脸图像所属用户的人脸到电子设备的屏幕的距离,包括:获取标准人脸图像对应的深度图像中双眼之间的中心点的深度,并将深度作为标准人脸图像所属用户的人脸到电子设备的屏幕的距离。这样,电子设备可以获取标准人脸图像对应的深度图像,基于深度图像确定人脸到屏幕的距离,该方式可以快速且准确确定出人脸到屏幕的距离。
根据第一方面,根据标准人脸图像中人脸的偏航角,对第二间距进行矫正,获得第一间距,包括:获取标准人脸图像中人脸的偏航角的余弦函数的值作为第一数值;获取第二间距与第一数值之间的商作为第一间距。这样,电子设备基于余弦函数可以快速确定出第一间距。
根据第一方面,获取与第一人脸图像匹配的标准人脸图像所对应的第一匹配信息,包括:获取第一人脸图像的人脸特征值;将第一人脸图像的人脸特征值分别与存储的每个用户的标准人脸图像的人脸特征值进行比较,获取与每个标准人脸图像的匹配相似度;
在检测到超过预设的相似度阈值的匹配相似度时,获取匹配相似度对应的标准人脸图像作为与第一人脸图像匹配的标准人脸图像;根据与第一人脸图像匹配的标准人脸图像,获取第一匹配信息。这样,电子设备通过第一人脸图像的人脸特征值可以准确在与电子设备中存储的不同用户的标准人脸图像查找是否存在与第一人脸图像匹配的标准人脸图像,进而可以基于标准人脸图像查找到与该标准人脸图像对应的对应关系;电子设备可以采用与用户的人脸图像匹配的第一匹配信息确定人脸到屏幕的距离,提高确定人脸到屏幕的距离的准确性。
根据第一方面,在按照预设周期获取第一人脸图像之前,该方法还包括:响应于接收到的第二用户操作,获取用户指定的人脸识别图像,人脸识别图像为电子设备录入的用于识别人脸的图像;将用户指定的人脸识别图像作为用户的标准人脸图像。这样,电子设备根据第二用户操作(如从电子设备已存储的人脸图像中选取标准人脸图像的操作),从电子设备已存储的人脸图像中选取用户指定的人脸图像作为当前用户的标准人脸图像,该方式无需用户重复录入人脸图像,减少用户操作的步骤。
第二方面,本申请提供了一种芯片系统,包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片系统的电子设备执行第一方面以及第一方面的任一种实现方式的人脸图像处理的方法。
第三方面,本申请提供了一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行第一方面以及第一方面的任一种实现方式对应的人脸图像处理的方法。
第二方面、第二方面的任意一种实现方式以及第三方面均与第一方面以及第一方面的任意一种实现方式相对应。第二方面、第二方面的任意一种实现方式以及第三方面所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请提供了一种计算机可读介质,用于存储计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行上述第一方面以及第一方面的任意一种实现方式所对应的人脸图像处理的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1 是示例性示出的一种电子设备检测人脸到屏幕的距离的应用场景;
图2是示例性示出的在人脸处于不同角度下电子设备拍摄的人脸图像;
图3是示例性示出的人脸图像中人脸姿态角度的示意图;
图4是示例性示出的一种电子设备的结构示意图;
图5 是示例性示出的一种电子设备的软件结构示意图;
图6是示例性示出的一种人脸图像处理的流程框图;
图7是示例性示出的一种录入标准人脸图像的界面图;
图8是示例性示出的提示重新录入人脸的界面图;
图9是示例性示出的一种录入标准人脸图像的界面图;
图10是示例性示出的一种基于人脸图像中的虹膜确定人脸与屏幕之间的距离的示意图;
图11是示例性示出的一种人脸的深度图像;
图12是示例性示出的一种标准人脸图像中双眼间距的示意图;
图13是示例性示出的一种矫正双眼间距的示意图;
图14是示例性示出的一种人脸图像与存储的对应关系之间的映射图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
在对本申请实施例进行详细地解释说明之前,先对本申请中的应用场景予以说明。用户使用手机观看视频,该手机放置与桌面上,如图1所示。用户在观看视频的过程中,经常无意识靠近屏幕,这会导致用户的眼睛与屏幕之间的距离过近,对用户的视力造成损伤。如图1所示,用户的眼睛与手机的屏幕之间的距离d1为10厘米。该距离小于屏幕与用户的眼睛之间的最小安全距离,通常用户的眼睛与屏幕之间的最小安全距离为手机的屏幕对角线尺寸的2倍,本示例中,该手机屏幕对角线的尺寸为7.45厘米。也就是说,图1中用户的眼睛与手机屏幕之间的距离过近。
目前为了避免用户在使用手机过程中,用户的眼睛与屏幕之间的距离过近(即眼睛与屏幕之间的距离小于最小安全距离),手机需要检测用户的眼睛与屏幕之间的距离,以及时提醒用户注意用眼距离。本示例中,用户眼睛与屏幕之间的距离可以理解为用户双眼之间连线的中点到屏幕之间的距离,后文也可以表述为人眼到屏幕的距离。本申请中,人眼到屏幕的距离可以等同于人脸到屏幕的距离。
下面具体说明几种确定用户的人脸与屏幕之间的距离的方式。
第一种:获取用户人脸区域面积;计算人脸区域面积占手机屏幕面积的比值(即人脸屏占比)。该手机可以预先存储各人脸屏占比与人脸实际到手机屏幕的距离之间的对应关系(后文称为人脸屏占比对应关系)。该手机通过人脸屏占比以及人脸屏占比对应关系,可以计算该人脸实际相对于手机的距离。该人脸屏占比对应关系可以是电子设备(如服务器、手机、电脑等)通过历史统计或实验的方式确定,并预先将该人脸屏占比对应关系存储在手机中。例如,服务器将该人脸屏占比对应关系下发至手机,由手机存储。
第二种:手机还可以预先存储人脸区域面积与人脸到屏幕的距离之间的函数关系。当手机获取到用户当前的人脸区域面积的情况下,可以根据预存的函数关系以及当前的人脸区域面积,即可计算得到人脸到屏幕的距离。
第三种:手机采用深度测量器件检测用户的人脸到屏幕的距离,例如结构光器件或飞行时间法(Time of Flight, ToF)器件等。
上述的第一种方式和第二种方式依赖于人脸区域面积,但是,在三维空间中人脸运动主要有三种角度,分别为偏航角(记为yaw)、俯仰角(记为pitch)以及翻滚角(记为roll)。如图3所示,Z轴的方向指向人脸正面,X轴的方向与人的双耳连线的方向平行,Y轴的方向与人站立时从脚底指向头顶的方向平行。在该坐标系中,偏航角对应人头部左右转动,俯仰角对应人头部的上下转动,翻滚角对应人头部的侧面转动。手机在拍摄人脸图像的过程中,人的头部可能发生左右、上下或侧面的转动,导致人脸区域面积发生改变,导致计算的人脸到屏幕距离不准确的问题。如图2所示,2a所示的人脸为正面,2b所示的人脸图像中人脸的偏航角大于2a所示的人脸图像中人脸的偏航角,2b所示的人脸图像的人脸区域面积小于2a所示人脸图像的人脸区域面积。图2中2c所示的人脸图像为手机仰拍人脸获得,该2c所示人脸图像中人脸的俯仰角大于2a所示的人脸图像中人脸的俯仰角,导致拍摄到的人脸的区域变小,该2c所示的人脸图像中的人脸区域面积会小于正面拍摄的人脸区域面积。
手机在相同位置对人脸进行拍摄,由于人头部的运动或拍摄角度的问题,拍摄的人脸图像中人脸的偏航角、俯仰角大于0,导致获取的人脸区域面积不准确,计算的人脸与屏幕的距离也不准确。电子设备不能准确获取到人脸到屏幕的距离,会导致不能准确基于人脸到屏幕的距离进行后续操作,例如,手机获取到的人脸到屏幕的距离不准确,会导致手机不能准确提醒用户用眼距离,出现误提醒的情况。再如,手机获取到人脸到屏幕的距离不准确,不能准确基于人脸到屏幕的距离在显示界面显示预设的内容。
本申请提供一种人脸图像处理的方法,该方法由电子设备执行,该电子设备可以预先存储当前用户的正面人脸图像,并将该正面人脸图像作为该用户的人脸图像模板。电子设备可以存储该用户的人脸图像模板,获取该人脸图像模板中矫正后的双眼间距与人脸到屏幕的距离之间的对应关系,矫正后的双眼间距是指该人脸图像中人脸的偏航角为0度时该人脸图像中双眼间距。该电子设备以该用户的人脸图像模板作为该对应关系存储的标识信息。电子设备在开启监测用户人脸与屏幕之间距离的功能后,实时拍摄用户的人脸图像,根据拍摄的人脸图像中的双眼间距,确定拍摄的人脸图像中矫正后的双眼间距。电子设备根据人脸图像中矫正后的双眼间距和存储的该用户的人脸图像模板的对应关系,即可准确确定出该用户的人脸到屏幕之间的距离。本示例中,实时拍摄可以是按照预设频率拍摄,例如,每秒拍摄10张人脸图像。
本示例中,电子设备存储当前待监测用户的人脸图像中矫正后的双眼间距与人脸到屏幕的距离之间的对应关系,使得该对应关系更加符合待监测用户,提高确定人脸到屏幕的距离的准确性。另外,存储的对应关系为人脸图像模板中矫正后的双眼间距与人脸到屏幕的距离之间的对应关系,使得即使人脸图像中人脸出现了偏航角,也不会影响确定人脸到屏幕的距离的准确性。
图4为本申请实施例示出的一种电子设备100的结构示意图。应该理解的是,图4示出的电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图4中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。本示例中,电子设备100以手机为例。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
图5是本申请实施例的电子设备的软件结构框图。电子设备的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为三层,从上至下分别为应用程序层,应用程序框架层,以及内核层。可以理解的是,图5的软件结构中的层以及各层中包含的部件,并不构成对可穿戴设备200的具体限定。在本申请另一些实施例中,可穿戴设备200可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
如图5所示,应用程序层可以包括一系列应用程序包。应用程序包可以包括健康应用,相机,图库,日历,短消息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
健康应用中可以包括用眼提醒功能,该功能开启后,可以实时获取用户的人脸到屏幕的距离,以根据该用户的人脸到屏幕的距离和最小安全距离,对用户的用眼安全进行提醒。
应用程序层还可以包括其他应用程序,如显示应用,显示应用在息屏的过程中实时获取人脸与屏幕之间的距离,根据距离在屏幕上显示不同的内容。
如图5所示,应用程序框架层可以包括窗口管理器,资源管理器,内容提供器,视图系统,电话管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。
电话管理器用于提供电子设备200的通信功能。例如通话状态的管理(包括接通,挂断等)。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,传感器驱动,蓝牙驱动,音频驱动和Wi-Fi驱动等。
本申请中提供的人脸图像处理的方法包括两个阶段,第一阶段为录入人脸的阶段,第二阶段为使用阶段。图6示例性示出了人脸图像处理方法的两个阶段的过程。
如图6中的6a所示的录入人脸的过程包括:
步骤6011:电子设备获取人脸高清图像。
具体地,电子设备可以是手机、智能手环、平板电脑、笔记本电脑等设备。本申请中电子设备以手机为例。
在一个示例中,电子设备可以响应于用户输入的第一用户操作,显示第一界面,该第一界面中可以包括录入人脸的提示信息,例如该提示信息可以是:请用户正对屏幕,将面部完全移入识别区。可选地,该提示信息还可以包括动画信息,该动画信息为正确录入人脸的视频。当电子设备显示第一界面时,该第一界面可以开始播放录入人脸的动画,并在电子设备接到用户输入的开始录入人脸的操作(如点击开始录入的按钮)后,停止播放该动画。电子设备响应于用户在第一界面输入的录入人脸的操作,采集用户当前的人脸图像。其中,采集频率可以是每秒k帧图像,k为大于1的整数,如k为10、15、20等。
举例来说,手机的健康应用中设置有用眼安全提醒的功能。手机响应于用户启动健康应用的操作,运行健康应用。在健康应用的应用界面701中包括用眼安全提醒的选项。当该用眼安全提醒功能开启后,该健康应用可以获取人脸与屏幕之间的距离,判断用户当前的人脸与屏幕的距离是否小于预设的最小安全距离。当健康应用检测到用户的人脸与屏幕之间的距离小于最小安全距离时,提示用户眼睛与屏幕之间的距离过近。例如,健康应用在屏幕中显示“请注意用眼距离”,或者,健康应用发出语音提示信息,以提示用户用眼安全。
该健康应用首次启动时,默认关闭该用眼安全提醒功能,如图7中7a中的应用界面701所示,该用眼安全提醒功能处于关闭状态。如图7中7a所示,用户可以点击开关702,手机响应于用户的点击操作,开启该用眼安全提醒功能,并跳转至界面703(如图7中的7b所示的界面)。该界面703中包括录入人脸的选项704,用户点击选项704,健康应用响应于用户的点击操作,跳转至录入界面705。界面705中可以包括录入人脸的提示信息,该提示信息包括录入人脸的图像提示信息7061和录入人脸的文字提示信息7062。界面705中还包括开始录入的控件707,健康应用响应于用户点击开始录入的控件707的操作,跳转至录入界面708。该录入界面708包括识别区709和录入姿势提示信息710。用户按照录入姿势提示信息的指示,正对屏幕,将面部完全移入该识别区709中。健康应用可以在界面跳转至录入界面707的情况下,指示摄像头实时采集人脸图像。摄像头将实时采集的人脸图像发送至健康应用。健康应用可以检测拍摄的人脸图像中人脸的关键部位是否均处于该识别区内,若检测到人脸图像中的人脸的关键部位未处于识别区内,可以在界面中显示提示信息,以提示用户调整拍照姿势。人脸的关键部位可以包括:眼睛、鼻子、嘴巴、耳朵等。本示例中健康应用指示摄像头实时采集人脸图像可以是指健康应用指示摄像头按照预设频率采集人脸图像,预设频率为每秒10帧。
健康应用检测到人脸图像中人脸的关键部位均处于识别区内,获取人脸的关键部位均处于识别区的人脸图像。健康应用将获取的人脸图像作为第一候选图像。健康应用可以检测每个第一候选图像中人脸的偏航角的角度是否处于预设范围之内,获取人脸的偏航角的角度处于预设范围之内的第一候选图像作为第二候选图像。其中,预设范围可以是10度以内、15度以内或者30度以内。在健康应用获得的第二候选图像的数值大于1的情况下,可以从多张第二候选图像中选取人脸的偏航角的角度最小的一张图像作为该用户的标准人脸图像。若健康应用获得的第二候选图像的数值等于1,可以将该第二候选图像作为该用户的标准人脸图像。
在健康应用检测到采集的人脸图像中不存在人脸的偏航角的角度未处于预设范围之内,可以显示提示信息,以指示用户重新以正确的姿势录入人脸。可选地,健康应用在检测到不存在人脸的偏航角的角度处于预设范围之内的人脸图像的情况下,还可以指示摄像头停止采集人脸图像。如图8所示,在显示界面801中显示提示信息802以及重新录入的控件803,该提示信息提示用户的面部正对屏幕,重新录入人脸图像。健康应用响应于用户点击控件803的操作,指示摄像头重新开始采集人脸图像。
在另一些实施例中,手机已存储有至少一个用户生物识别信息,每个用户的生物识别信息包括各自的人脸图像。该健康应用可以响应于用户的选定操作,从手机存储的人脸图像中获取用户选定的人脸图像作为该用户的标准人脸图像。
举例来说,图9中的9a和9b示出了用户录入生物识别信息过程。如图9中的9a所示,手机的设置界面901包括多个选项。手机响应于用户点击控件902(即生物识别和密码选项)的操作,跳转至界面903,该界面903中包括录入指纹选项和录入人脸选项904。手机响应于用户点击录入指纹选项的操作,跳转至指纹录入的界面,以供用户录入指纹。如图9中9b所示,手机响应于用户点击录入人脸的操作,跳转至录入人脸的界面,以供用户录入人脸。录入人脸的界面可以如图7中的7c所示,手机响应于用户点击开始录入的控件的操作,实时采集用户的人脸图像(可以参考图7中7d的界面)。手机可以检测拍摄的人脸图像中人脸的关键部位是否均处于识别区内,若检测到拍摄的人脸图像中不存在人脸的关键部位均处于识别区内的人脸图像时,可以在界面中显示提示信息,以提示用户调整拍照姿势。当手机检测到到拍摄的人脸图像中存在人脸关键部位处于识别区内的人脸图像时,获取处于人脸关键部位均处于识别区的人脸图像,并将获取的人脸图像作为第三候选图像。可选地,手机可以从获取的第三候选图像中选取关键点特征最多的图像作为录入的人脸图像。
手机响应于用户启动健康应用的操作,启动健康应用。手机响应于用户点击健康应用的选项,显示健康应用的界面(可以参照图7中7a所示的界面701)。该健康应用的界面包括用眼安全提醒的选项。健康应用响应于用户点击该用眼安全提醒的开关(参照图7中7a所示的开关702)的操作,显示该用眼安全提醒的界面905(如图9中的9c所示)。该用眼安全提醒的界面905包括:录入人脸的选项906以及选择已录入的人脸的选项907。健康应用响应于用户点击选项907的操作,显示界面908,界面908中包括多个不同用户各自录入的人脸图像(如9d所示界面908包括5个不同用户的人脸图像)。健康应用响应于用户的选择操作(如图9中的9d所示点击选项906的操作),获取人脸1所对应的人脸图像作为当前用户的标准人脸图像。
可选地,手机中可以存储多个用户的生物识别信息,本示例中,存储的生物识别信息包括人脸图像,手机可以存储每个用户的多张人脸图像,以提高识别到用户的准确率。在手机存储了不同用户的多张人脸图像的情况下,手机响应于用户选取人脸1的操作,可以从该人脸1对应的多张人脸图像中选取人脸的偏航角最小的一张作为当前待检测用户的标准人脸图像。例如,手机存储了人脸1所对应的10张人脸图像。健康应用响应于用户的选择操作,获取人脸1所对应的10张人脸图像,可以从人脸1所对应的10张人脸图像中选取人脸的偏航角最小的一张图像作为该用户的标准人脸图像。
在另一些实施例中,手机已存储有至少一个用户生物识别信息,每个用户的生物识别信息包括各自的人脸图像。该健康应用可以响应于用户采用已录入的人脸操作,呼气每个不同用户的人脸图像作为不同用户的标准人脸图像。
需要说明的是,本示例中,摄像头采集的人脸图像为高清人脸图像,如分辨率为1280×720、1600×900、1920×1080、2560×1440等。电子设备录入高清的人脸图像,有利于后续准确识别出该录入人脸的用户。
步骤S6012:电子设备提取人脸特征值,注册人脸。
具体地,电子设备获取到该用户的标准人脸图像后,可以提取该用户的标准人脸图像中的人脸特征值,存储该用户的标准人脸图像的人脸特征值以及该标准人脸图像,完成注册人脸的操作。另外,健康应用还可以将该人脸特征值作为识别该用户的人脸图像的识别信息。
步骤S6013:电子设备标定人眼间距和人脸到屏幕的距离。
具体地,电子设备可以根据用户的标准人脸图像,确定拍摄该标准人脸图像时,该用户的人脸与屏幕的距离。电子设备采用RGB摄像头采集标准人脸图像的情况下,可以获取标准人脸图像中虹膜的尺寸,根据标准人脸图像中虹膜的尺寸以及采集该标准人脸图像时的焦距,确定拍摄该标准人脸图像时,该用户的人脸与屏幕之间的距离。下面结合图10具体说明确定拍摄该标准人脸图像时,该用户的人眼与屏幕之间的距离的过程。
据统计人的虹膜的尺寸相对固定,人的虹膜的直径为11.7±0.5(mm)。如图10所示,用户的人眼与屏幕1001之间的距离标记为d,该用户的人眼的虹膜的直径记为M。人的虹膜在标准人脸图像中的直径记为m。根据成像原理可获取如下公式(1):
公式(1);
根据公式(1),可以得到公式(2):
公式(2);
公式(2)中的M的值可以设置为11.7mm。f为采集该标准人脸图像时的焦距,m为标准人脸图像中的虹膜的直径,M为用户的人眼的虹膜的直径。
电子设备识别标准人脸图像中的人眼,并获取的该标准人脸图像中的虹膜直径。电子设备根据该公式(2)、用户的人眼的虹膜的直径、该用户的标准人脸图像中的虹膜的直径以及拍摄该标准人脸图像时的焦距,即可得到拍摄该标准人脸图像时,该用户的人脸与屏幕之间的距离。
在另一些实施例中,电子设备采集标准人脸图像时,同时还采集该人脸的深度图像。电子设备可以采用主动深度传感的方式获得人脸的深度图像,主动深度传感的方式包括TOF、结构光和激光扫描。
本示例中,电子设备在获得深度图像后,可以通过检测红外光谱(Infraredspectrometry,IR)和深度图像中人脸关键点,确定深度图像中眼部关键点的深度,可以根据眼部关键点的深度,确定人眼与屏幕之间的距离(即人脸与屏幕的距离)。
举例来说,如图11所示,该图像为人脸深度图像,手机识别到该深度图像中的人眼右眼1101以及左眼1102,可以获取右眼的深度值以及左眼的深度值。手机可以获取左眼深度值和右眼深度值的均值作为该用户的人脸到屏幕之间的距离。可选地,手机也可以获取左眼的深度值或右眼的深度值作为该用户的人脸到屏幕之间的距离。
电子设备可以根据用户录入的标准人脸图像,获取该标准人脸图像中第一间距。在一个示例中,由于标准人脸图像中人脸的偏航角在预设范围(如10度)内,该标准人脸图像中的双眼间距与标准人脸图像中人脸的偏航角被矫正为0度时的双眼间距相差很小,可以忽略不计,故本示例中电子设备可以直接获取该标准人脸图像中人脸的双眼间距作为第一间距。举例来说,如图12所示,屏幕1201的右侧的眼睛为人实际的双眼,该双眼之间连线的中点到屏幕的距离作为人脸到屏幕的距离d。屏幕1201的左侧的双眼为电子设备采集的标准人脸图像中的眼睛1202和眼睛1203。本示例中,用户在录入人脸时,录入的人脸图像的偏航角的角度在预设范围内(如在0~10度之间),则获取该录入的人脸图像作为标准人脸图像,本示例中,电子设备可以直接获取该标准人脸图像中的眼睛1202与眼睛1203之间的间距作为该第一间距y。该第一间距与标准人脸图像对应的距离之间的对应关系表示为:d=y/k。电子设备已知该对应关系中的标准人脸图像对应的距离d以及该第一间距y,获取系数k=y/d。当电子设备确定该系数后,即确定了该第一间距与标准人脸图像中人脸到屏幕的距离之间的对应关系。
在另一个示例中,电子设备还根据人脸图像,获取该人脸图像中矫正后的双眼间距,并基于该矫正后的双眼间距进行标定。
下面结合图13具体说明获取标准人脸图像的矫正后的双眼间距(即第一间距)的过程。
如图13所示,屏幕1301的右侧的眼睛为人实际的双眼,该双眼之间连线的中点到屏幕的距离作为人脸到屏幕的距离d。屏幕1301的左侧的双眼为电子设备采集的标准人脸图像中的眼睛1302和眼睛1303。图13中的双眼为标准人脸图像中的双眼,x为标准人脸图像中双眼间距,y为标准人脸图像中矫正后的双眼间距(如图13中的虚线所示距离)。矫正后的双眼间距为标准人脸图像中人脸的偏航角为0时的双眼间距。当人脸发生左右转动时,拍摄的人脸图像中的偏航角大于0时的双眼间距会小于无偏航角时的双眼间距。图13中,矫正后的双眼间距和矫正前的双眼间距之间的夹角即为偏航角,记为yaw。电子设备根据三角函数关系,可以确定矫正后的双眼间距为:y=x/cos(yaw)。
电子设备可以标定拍摄该标准人脸图像时人脸与屏幕之间的距离(后文称为标准人脸图像对应的距离)与标准人脸图像中矫正后的双眼间距的对应关系。该矫正后的双眼间距与标准人脸图像对应的距离之间的系数k=y/d,y为矫正后的双眼间距(即y=x/cos(yaw)),d为标准人脸图像对应的距离。电子设备根据获取的y和d,确定出该系数k的值,从而可以确定出标准人脸图像的距离与矫正后双眼间距的对应关系:d=y/k。
电子设备存储不同标准人脸图像的距离与第一间距的对应关系,并以每个标准人脸图像作为查询每个对应关系的识别信息。例如,电子设备还可以将每个标准人脸图像的标识信息(如人脸的身份信息)作为每个对应关系的标识信息,并进行存储。如图14所示,手机存储了5个不同用户的标准人脸图像,以及每个标准人脸图像对应的标准人脸图像的距离与第一间距的对应关系。图14中,face_1~face_5为每个标准人脸图像的标识信息,relationship_1~ relationship_5为存储的5个对应关系,每个对应关系的关系式为:d=y/kx,其中,x的取值范围为1~5;不同关系中的k的取值不同,即k1~ k5的值不相同。
上述步骤为录入人脸的阶段,下面结合图6中的6b具体说明使用阶段的过程。
步骤6021:电子设备获取低功耗AO人脸图像。
具体地,在用户录入了人脸后,该电子设备可以实时采集低功耗的人脸图像。本示例中的实时采集可以电子设备按照预设频率采集,预设频率可以是每秒采集g帧图像,g可以为大于1的整数,如10、15等。可选地,电子设备中用于采集人脸图像的传感器可以是低功耗传感器,该低功耗传感器采集到的人脸图像为低分辨率的图像,低分辨率的图像可以是分辨率小于高分辨率的图像,高分辨率可以包括:1280×720像素、1600×900像素、1920×1080像素、2560×1440像素等。本示例中,低分辨率可以包括:240×320像素。本示例中,电子设备实时采集的是低分率的人脸图像,可以降低采集人脸图像的功耗。
步骤6022:电子设备识别人脸ID。
具体地,当电子设备获取到人脸图像后,针对每张人脸图像进行如下处理:电子设备检测存储的标准人脸图像中是否存在与该人脸图像匹配的图像,若存在,获取匹配的标准人脸图像作为目标人脸图像。电子设备通过目标人脸图像可以获取与该目标人脸图像对应的对应关系,进而计算人脸到屏幕的距离。下面以具体的例子进行说明:
举例来说,该手机中已录入了5个不同用户的人脸,该手机在T1时刻采集了10帧人脸图像,分别记为P1~P10。手机获取第一帧图像(即P1图像)的人脸特征值1(记为Feature1)。手机将该人脸特征值1与每个标准人脸图像的人脸特征值进行比较,获取该人脸特征值1与每个标准人脸图像的人脸特征值之间的相似度。手机检测是否存在大于相似度阈值的相似度;若手机检测到存于大于相似度阈值的相似度时,获取该超过相似度阈值的相似度,并获取生成该相似度的标准人脸图像作为目标标准人脸图像。该手机可以根据该目标标准人脸图像获取到对应的对应关系,即获取到与该P1图像匹配的标准人脸图像的对应关系。如,本示例中,手机检测到人脸3(即图13中的face_3)的人脸特征值与人脸特征值1之间的相似度大于相似度阈值,人脸3的标识信息。手机基于该人脸3的标识信息查找到该人脸3对应的对应关系3(即relationship_3),relationship_3表示该人脸3对应的标准人脸图像中矫正后双眼间距与拍摄人脸3对应的标准人脸图像时人脸到屏幕距离的对应关系。本示例中,相似度阈值可以为70%、80%、85%、90%等。若手机未检测到存于大于相似度阈值的相似度时,则不做操作,直接检测存储的标准人脸图像中是否存在与下一时刻(如T2时刻)采集到的人脸图像匹配的图像
在另一个实施例中,电子设备在录入人脸的阶段可以存储多个不同用户的标准人脸图像。电子设备可以响应于用户输入的选定人脸的操作,从存储的不同用户的标准人脸图像中选取用户选定的标准人脸图像作为本次的目标人脸图像。当电子设备实时采集人脸图像后,电子设备分别将每个采集到的人脸图像与目标人脸图像进行比较,判断是否与目标人脸图像匹配,若检测到匹配,则获取该目标人脸图像对应的标准人脸图像的距离与矫正后双眼间距的对应关系。若检测到不匹配,电子设备可以直接丢弃该人脸图像。可选地,电子设备判断采集的人脸图像是否与目标人脸图像匹配,可以将采集到的人脸图像的人脸特征值与目标人脸图像的人脸特征值进行比较,获取比较后的相似度,当电子设备检测到该相似度大于或等于相似度阈值,则确定该采集到的人脸图像与目标人脸图像匹配。当电子设备检测到该相似度小于该相似度阈值,则确定该采集到的人脸图像与目标人脸图像不匹配。
步骤6023:电子设备根据人脸ID的标定和人眼间距,计算人脸到屏幕的距离。
具体地,电子设备根据匹配的标准人脸图像的标识信息(即人脸ID),获取到标准人脸图像的标识信息对应的标准人脸图像的距离与第一间距的对应关系。电子设备根据标准人脸图像的距离与第一间距的对应关系以及该采集的人脸图像中的双眼间距,即可获的采集该人脸图像时人脸到屏幕之间的距离。
举例来说,假设电子设备采集到的人脸图像如图2中2b所示,电子设备提取该人脸图像的人脸特征值,并将该人脸图像的人脸特征值与存储的每个标准人脸图像的特征值进行比较,获得与每个标准人脸图像的人脸特征值的相似度。该电子设备检测到相似度Sim1大于相似度阈值(如80%),获取该相似度Sim1对应的标准人脸图像face_3,获取该face_3对应的对应关系relationship_3。该relationship_3包括:d=x/(cos(yaw) ×k3);k3为对应关系relationship_3中的系数,x为人脸图像中的双眼间距,yaw为人脸图像中人脸的偏航角,d为拍摄当前人脸图像时与屏幕的距离。
电子设备在拍摄人脸的图像的过程中,人脸可能出现左右转动,即人脸出现偏航角,导致图像中的双眼间距不准确的问题。如图2中2a所示,用户的人脸在距离手机屏幕d1的位置对人脸进行拍摄,获得如2a中所示的人脸图像(此时为人脸正面图像)。手机检测该人脸图像中双眼间距为y1。用户在同一位置头部向右转动,手机对该位置的用户人脸进行拍摄,获得如2b中的人脸图像,2b中的人脸图像中双眼间距标记为x1,该x1小于y1。可见,电子设备对同一位置的同一用户进行人脸图像采集时,当该用户的头部发生转动,会导致采集的多张人脸图像中双眼间距不同。为了避免在同一位置采集的人脸图像中的双眼间距不一致,导致计算的人脸到屏幕距离不准确。本示例中,电子设备获取采集的人脸图像中人脸的偏航角被矫正到0度时双眼的间距(即目标间距)。电子设备确定目标间距的过程如下:
电子设备获取该人脸图像中的双眼间距,如图2中2b所示,该人脸图像中的双眼间距为x1。该yaw1为该图2中2b所示的人脸图像中人脸的偏航角,为矫正后的双眼间距(即目标间距);电子设备根据该对应关系relationship_3(即d=y/k3,k3为该对应关系中的系数)和人脸图像中的目标间距(x1/cos(yaw1)),确定当前拍摄该图2中2b所示的人脸图像时与屏幕之间的距离d1= x1/(cos(yaw1) ×k3)。
在一些实施例中,电子设备采集到的人脸图像中双眼佩戴有墨镜时,电子设备可以可以获取墨镜的左右镜片的中心点之间的距离作为该人脸图像中的双眼间距。
本示例中,电子设备在获取到采集该人脸图像时人脸到屏幕的距离后,判断用户的人脸与屏幕的距离是否处于最小安全距离,若不是,则提醒用户用眼距离。在另一些示例中,第三应用程序还可以根据采集该人脸图像时人脸到屏幕的距离以预存的多个距离范围,判断当前显示界面的显示内容。例如,手机在灭屏状态下,检测到人脸到屏幕的距离处于第一预设范围(如10~15厘米),可以触发显示屏幕显示第一内容(如显示灭屏前的界面);若检测到人脸到屏幕的距离处于第二预设范围(如16~25厘米),可以在显示屏幕显示第二内容(如显示时间)。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例还提供一种芯片系统,该芯片系统包括至少一个处理器和至少一个接口电路。处理器和接口电路可通过线路互联。例如,接口电路可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路可用于向其它装置(例如处理器)发送信号。示例性的,接口电路可读取存储器中存储的指令,并将该指令发送给处理器。当所述指令被处理器执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的人脸图像处理的方法。存储介质包括:U盘、移动硬盘、只读存储器(read onlymemory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的人脸图像处理的方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的人脸图像处理的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (14)
1.一种人脸图像处理的方法,其特征在于,应用于电子设备,包括:
获取第一人脸图像,所述第一人脸图像属于低分辨率的图像;
获取与所述第一人脸图像匹配的标准人脸图像所对应的第一匹配信息,所述第一匹配信息用于指示在所述电子设备拍摄所述标准人脸图像时,所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离与第一间距之间的对应关系,所述第一间距为在所述标准人脸图像中人脸的偏航角被矫正到0度时双眼的间距;
获取所述第一人脸图像中人脸的偏航角被矫正到0度时双眼的间距作为目标间距;
根据所述目标间距以及所述第一匹配信息,确定在所述电子设备拍摄所述第一人脸图像时,所述第一人脸图像所属用户的人脸到所述电子设备的屏幕的距离。
2.根据权利要求1所述的方法,其特征在于,在获取第一人脸图像之前,所述方法还包括:
响应于接收到的第一用户操作,显示第一界面,所述第一界面包括第一指示信息,所述第一指示信息用于指示用户在所述第一界面录入标准人脸图像的姿势;
响应于用户在所述第一界面输入的录入操作,采集N张当前用户的人脸图像,N为大于0的整数;
根据采集的N张当前用户的人脸图像,确定所述当前用户的标准人脸图像;
保存所述当前用户的标准人脸图像。
3.根据权利要求2所述的方法,其特征在于,根据采集的N张当前用户的人脸图像,确定所述当前用户的标准人脸图像,包括:
检测采集的N张当前用户的人脸图像中是否存在满足第一预设条件的人脸图像,所述第一预设条件为所述人脸图像中人脸的偏航角的角度在预设范围内;
在检测到N张当前用户的人脸图像中存在满足第一预设条件的人脸图像的情况下,获取满足第一预设条件的人脸图像;
从所述满足第一预设条件的人脸图像中选取一张作为当前用户的标准人脸图像。
4.根据权利要求3所述的方法,其特征在于,从所述满足第一预设条件的人脸图像中选取一张作为当前用户的标准人脸图像,包括:
在所述满足第一预设条件的人脸图像的数量大于1的情况下,从满足第一预设条件的人脸图像中选取最小偏航角的一张人脸图像作为标准人脸图像。
5.根据权利要求2所述的方法,其特征在于,在保存所述当前用户的标准人脸图像之后,所述方法还包括:
获取所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离;
获取所述当前用户的标准人脸图像中的双眼间距作为第二间距;
根据所述标准人脸图像中人脸的偏航角,对所述第二间距进行矫正,获得所述第一间距;
根据所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离与所述第一间距,确定所述第一匹配信息。
6.根据权利要求2所述的方法,其特征在于,在保存所述当前用户的标准人脸图像之后,所述方法还包括:
获取所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离;
获取所述当前用户的标准人脸图像中的双眼间距作为第一间距;
根据所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离与所述第一间距,确定所述第一匹配信息。
7.根据权利要求5所述的方法,其特征在于,所述获取所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离,包括:
获取所述标准人脸图像中虹膜的直径作为第一直径;
获取拍摄装拍摄所述标准人脸图像时的拍摄焦距;
获取所述当前用户的虹膜的直径作为第二直径;
获取所述第二直径与所述第一直径之间的比值作为第一比值;
获取所述第一比值与所述焦距的乘积作为所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离。
8.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在采集N张当前用户的人脸图像的情况下,获取每张人脸图像对应的深度图像;
在确定所述当前用户的标准人脸图像之后,所述方法还包括:
保存所述当前用户的标准人脸图像对应的深度图像;
所述获取所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离,包括:
获取所述标准人脸图像对应的深度图像中双眼之间的中心点的深度,并将所述深度作为所述标准人脸图像所属用户的人脸到所述电子设备的屏幕的距离。
9.根据权利要求5所述的方法,其特征在于,根据所述标准人脸图像中人脸的偏航角,对所述第二间距进行矫正,获得所述第一间距,包括:
获取所述标准人脸图像中人脸的偏航角的余弦函数的值作为第一数值;
获取所述第二间距与所述第一数值之间的商作为所述第一间距。
10.根据权利要求2所述的方法,其特征在于,获取与所述第一人脸图像匹配的标准人脸图像所对应的第一匹配信息,包括:
获取所述第一人脸图像的人脸特征值;
将所述第一人脸图像的人脸特征值分别与存储的每个用户的标准人脸图像的人脸特征值进行比较,获取与每个标准人脸图像的匹配相似度;
在检测到超过预设的相似度阈值的匹配相似度时,获取所述匹配相似度对应的所述标准人脸图像作为与所述第一人脸图像匹配的标准人脸图像;
根据与所述第一人脸图像匹配的标准人脸图像,获取所述第一匹配信息。
11.根据权利要求1所述的方法,其特征在于,在获取第一人脸图像之前,所述方法还包括:
响应于接收到的第二用户操作,获取用户指定的人脸识别图像,所述人脸识别图像为所述电子设备录入的用于识别人脸的图像;
将用户指定的人脸识别图像作为所述用户的标准人脸图像。
12.一种芯片系统,其特征在于,包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片系统的电子设备执行权利要求1至11中任意一项所述的人脸图像处理的方法。
13.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器与所述处理器耦合;
所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行权利要求1至11中任意一项所述的人脸图像处理的方法。
14.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行权利要求1至11中任意一项所述的人脸图像处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311796373.XA CN117495937B (zh) | 2023-12-25 | 2023-12-25 | 人脸图像处理的方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311796373.XA CN117495937B (zh) | 2023-12-25 | 2023-12-25 | 人脸图像处理的方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117495937A CN117495937A (zh) | 2024-02-02 |
CN117495937B true CN117495937B (zh) | 2024-05-10 |
Family
ID=89674828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311796373.XA Active CN117495937B (zh) | 2023-12-25 | 2023-12-25 | 人脸图像处理的方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117495937B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178769A (zh) * | 2007-12-10 | 2008-05-14 | 北京中星微电子有限公司 | 健康保护装置及其实现方法 |
CN101192270A (zh) * | 2007-11-08 | 2008-06-04 | 北京中星微电子有限公司 | 一种实现视力保护的显示器、装置及方法 |
CN101893858A (zh) * | 2010-07-15 | 2010-11-24 | 华中科技大学 | 一种用于控制用户眼睛与电子设备屏幕之间距离的方法 |
WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
CN104460993A (zh) * | 2014-11-21 | 2015-03-25 | 浙江工业职业技术学院 | 基于arm的角度及距离提醒装置 |
WO2018192280A1 (zh) * | 2017-04-20 | 2018-10-25 | 腾讯科技(深圳)有限公司 | Vr设备中的图像显示方法和装置以及vr设备 |
CN114724232A (zh) * | 2020-12-18 | 2022-07-08 | 华为技术有限公司 | 姿态识别和矫正方法、装置、系统以及电子设备 |
WO2023071884A1 (zh) * | 2021-10-29 | 2023-05-04 | Oppo广东移动通信有限公司 | 注视检测方法、电子设备的控制方法及相关设备 |
-
2023
- 2023-12-25 CN CN202311796373.XA patent/CN117495937B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101192270A (zh) * | 2007-11-08 | 2008-06-04 | 北京中星微电子有限公司 | 一种实现视力保护的显示器、装置及方法 |
CN101178769A (zh) * | 2007-12-10 | 2008-05-14 | 北京中星微电子有限公司 | 健康保护装置及其实现方法 |
CN101893858A (zh) * | 2010-07-15 | 2010-11-24 | 华中科技大学 | 一种用于控制用户眼睛与电子设备屏幕之间距离的方法 |
WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
CN104460993A (zh) * | 2014-11-21 | 2015-03-25 | 浙江工业职业技术学院 | 基于arm的角度及距离提醒装置 |
WO2018192280A1 (zh) * | 2017-04-20 | 2018-10-25 | 腾讯科技(深圳)有限公司 | Vr设备中的图像显示方法和装置以及vr设备 |
CN114724232A (zh) * | 2020-12-18 | 2022-07-08 | 华为技术有限公司 | 姿态识别和矫正方法、装置、系统以及电子设备 |
WO2023071884A1 (zh) * | 2021-10-29 | 2023-05-04 | Oppo广东移动通信有限公司 | 注视检测方法、电子设备的控制方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117495937A (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10191564B2 (en) | Screen control method and device | |
CN108399349B (zh) | 图像识别方法及装置 | |
EP3163498B1 (en) | Alarming method and device | |
US11379960B2 (en) | Image processing method, image processing apparatus, and wearable device | |
US11163995B2 (en) | User recognition and gaze tracking in a video system | |
US9924090B2 (en) | Method and device for acquiring iris image | |
US10928904B1 (en) | User recognition and gaze tracking in a video system | |
US20160323503A1 (en) | Electronic device | |
US11217210B2 (en) | Method for controlling display of screen of mobile terminal, and mobile terminal | |
JP7203955B2 (ja) | 顔認識方法および装置 | |
CN113515987B (zh) | 掌纹识别方法、装置、计算机设备及存储介质 | |
CN108012026B (zh) | 一种保护视力方法及移动终端 | |
US20170339287A1 (en) | Image transmission method and apparatus | |
US11816924B2 (en) | Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
CN109525837B (zh) | 图像的生成方法和移动终端 | |
US20140369553A1 (en) | Method for triggering signal and in-vehicle electronic apparatus | |
US20210406524A1 (en) | Method and device for identifying face, and computer-readable storage medium | |
KR101000130B1 (ko) | 얼굴인식 가능한 단말기 및 그의 얼굴인식 방법 | |
CN117495937B (zh) | 人脸图像处理的方法及电子设备 | |
CN108960097B (zh) | 一种获取人脸深度信息的方法及装置 | |
US20230048952A1 (en) | Image registration method and electronic device | |
CN114973347B (zh) | 一种活体检测方法、装置及设备 | |
CN116052261A (zh) | 视线估计方法及电子设备 | |
CN108875352B (zh) | 用户身份的验证方法、装置及移动终端 | |
CN109521899B (zh) | 确定指纹可输入区域的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |