CN114120431B - 一种人脸识别的方法、介质和电子设备 - Google Patents

一种人脸识别的方法、介质和电子设备 Download PDF

Info

Publication number
CN114120431B
CN114120431B CN202210098417.0A CN202210098417A CN114120431B CN 114120431 B CN114120431 B CN 114120431B CN 202210098417 A CN202210098417 A CN 202210098417A CN 114120431 B CN114120431 B CN 114120431B
Authority
CN
China
Prior art keywords
face
face image
user
image
reflectivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210098417.0A
Other languages
English (en)
Other versions
CN114120431A (zh
Inventor
周俊伟
刘小伟
陈兵
王国毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Glory Smart Technology Development Co ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210098417.0A priority Critical patent/CN114120431B/zh
Publication of CN114120431A publication Critical patent/CN114120431A/zh
Application granted granted Critical
Publication of CN114120431B publication Critical patent/CN114120431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及人脸识别技术领域,特别涉及一种人脸识别的方法、介质和电子设备,该方法包括:在检测到用户的人脸录入操作的情况下,采集所述用户的第一人脸图像,并基于所述第一人脸图像确定所述用户的人脸反射率;基于所述人脸反射率确定出人脸录入过程中采集第二人脸图像所需的曝光时间;采用确定的所述曝光时间采集所述第二人脸图像;在所述第二人脸图像满足第一预设条件的情况下,基于所述第二人脸图像进行人脸识别。电子设备可以基于调节后的曝光时间,在一定程度上得到符合预设曝光条件的人脸图像,再利用满足一定曝光条件的第二人脸图像进行人脸识别。在一定程度上,能够有效提高了电子设备人脸识别的成功率,提高用户体验。

Description

一种人脸识别的方法、介质和电子设备
技术领域
本申请涉及人脸识别技术领域,特别涉及一种人脸识别的方法、介质和电子设备。
背景技术
人脸识别解锁(face-to-unlock)是指电子设备通过识别用户的人脸来允许用户登录电子设备的过程。
现有的人脸识别解锁过程是:用户事先在电子设备中开启“人脸识别解锁”功能,通过电子设备的摄像头录制自己的脸部,使电子设备预先记忆自己的脸部信息。如此,电子设备再次检测到用户的人脸识别解锁请求时,便可以通过摄像头采集自己的人脸图像,如果电子设备判断出该人脸图像的脸部信息与“预先记忆用户的脸部信息”相匹配,那么用户就可以登入电子设备。
然而,现有技术中,在上述人脸识别解锁的过程中,在电子设备再次检测到用户的人脸识别解锁请求时,摄像头会基于预先设置的初始曝光时间拍摄当前人脸图像。由于初始曝光时间固定,初始曝光时间不能随着环境光亮度以及人脸肤色的差异而变化,而且由于环境光过亮或者过暗以及人脸肤色的过亮或者过暗,得到的人脸图像会出现过曝或欠曝的问题。过曝或欠曝的人脸图像会与实际的存在差别,此时电子设备判断出该人脸图像的脸部信息与“预先记忆用户的脸部信息”不匹配,造成用户无法登入电子设备,初次解锁失败。电子设备还需要继续采集人像图像及进行人脸匹配才有可能解锁成功,如此使得人脸识别解锁的成功率较低,且导致人脸识别解锁时间变长,影响用户体验。
发明内容
本申请实施例提供了一种人脸识别的方法、介质和电子设备。
第一方面,本申请实施例提供了一种人脸识别的方法,所述方法应用于电子设备,所述方法包括:
在检测到用户的人脸录入操作的情况下,采集所述用户的第一人脸图像,并基于所述第一人脸图像确定所述用户的人脸反射率;
基于所述人脸反射率确定出人脸录入过程中采集第二人脸图像所需的曝光时间;
采用确定的所述曝光时间采集所述第二人脸图像;
在所述第二人脸图像满足第一预设条件的情况下,基于所述第二人脸图像进行人脸识别。
可以理解,第二人脸图像是利用环境光和电子设备中的飞行时差光源发射器两种光源发射的光配合曝光得到的。
可以理解,由于人脸图像过曝或者欠曝在一定程度上受人脸肤色的影响,而反应人脸肤色的重要物理参数是人脸反射率,因此,基于上述方案可以获取合适的曝光时间,从而在人脸识别阶段,电子设备可以基于调节后的曝光时间,在一定程度上得到符合预设曝光条件的人脸图像,再利用满足一定曝光条件的第二人脸图像进行人脸识别。在一定程度上,能够有效提高了电子设备人脸识别的成功率,提高用户体验。
在上述第一方面的一种可能的实现中,所述基于所述第一人脸图像确定所述用户的人脸反射率,包括:
获取用户的人脸与电子设备之间的距离;
基于所述第一人脸图像确定所述第一人脸图像中用户人脸区域的灰度值;
基于所述用户人脸与电子设备之间的距离以及所述第一人脸图像中用户人脸区域的灰度值确定当前人脸反射率。
在上述第一方面的一种可能的实现中,人脸反射率可以通过如下公式计算得到:
Figure 612789DEST_PATH_IMAGE001
其中,
Figure 958320DEST_PATH_IMAGE002
为所述第一人脸图像中用户人脸区域的灰度值,
Figure 108679DEST_PATH_IMAGE003
为所述 电子设备距离所述用户人脸的距离。
在上述第一方面的一种可能的实现中,通过如下公式将初始曝光时间调节为第一曝光时间:
第一曝光时间=初始曝光时间*初始人脸反射率/用户人脸反射率。
在上述第一方面的一种可能的实现中,所述在所述第二人脸图像满足第一预设条件的情况下,基于所述第二人脸图像进行人脸识别,包括:
获取所述第二人脸图像中过曝像素的数量;
判断出过曝像素的数量小于等于预设值,则利用所述第二人脸图像进行人脸识别。
在上述第一方面的一种可能的实现中,判断出过曝像素的数量大于预设值,获取第三人脸图像,所述第三人脸图像是关闭所述电子设备中的飞行时差光源发射器得到的;
对所述第二人脸图像和第三人脸图像进行预处理得到预处理后的第四人脸图像;
利用所述第四人脸图像进行人脸识别。
在上述第一方面的一种可能的实现中,所述预处理包括:
将第二人脸图像和第三人脸图像中各像素的灰度值对应相减。
第二方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,该指令在电子设备上执行时使电子设备执行上述第一方面中任一项所述的人脸识别的方法。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存储由电子设备的一个或多个处理器执行的指令,以及
处理器,是电子设备的处理器之一,用于执行上述第一方面中任一项所述的人脸识别的方法。
第四方面,本申请实施例提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述第一方面中任一项所述的人脸识别的方法。
附图说明
图1示出了电子设备在正常、过曝和欠曝状态下获取的人脸图像;
图2示出了一种人脸识别解锁的场景;
图3A示出了一种设置界面的示意图;
图3B示出了一种生物识别和密码的界面示意图;
图3C示出了一种人脸识别的界面示意图;
图3D示出了一种正在录入人脸界的界面示意图;
图3E示出了一种人脸录入成功的界面示意图;
图4根据本申请的一些实施例,示出了一种在人脸录入阶段的人脸识别的方法的流程示意图;
图5示出了手机100中的飞行时间(Time of flight,TOF)相机101的结构及原理示意图;
图6根据本申请的一些实施例,示出了一种在人脸图像采集和处理以及人脸匹配阶段的人脸识别的方法的流程示意图;
图7根据本申请的一些实施例,示出了一种适用于本申请提供的人脸识别的方法的手机100的结构示意图。
具体实施方式
本申请的说明性实施例包括但不限于一种人脸识别的方法、电子设备和计算机可读存储介质。
下面先对本申请涉及到的术语“过曝和欠曝”进行简要概述。
(1)曝光(Exposure),在摄影领域,曝光是指摄影的过程中,进入摄像头镜头且照在摄像头的图像传感器上的光量。“曝光”可以经由摄像头的光圈,快门和感光媒体的感光度的组合来控制。
(2)过曝,就是进入摄像头镜头且照在摄像头的图像传感器上的光过亮导致的过度曝光。图像过曝时,图像中特别亮的地方的有效特征(即高光细节)就会损失。
(3)欠曝,与过曝相对,就是进入摄像头镜头且照在摄像头的图像传感器上的光过暗或者不足导致的缺少曝光。图像欠曝时,图像中特别暗的区域的有效特征信息也会损失。
(4)过曝和欠曝图像,过曝和欠曝都是针对图像中所需要表达的有效特征信息而言的,若图像中未表达出有效特征信息,且未表达出有效特征信息的原因为图像过白,则该图像是过曝图像;若图像中未表达出有效特征信息,且未表达出有效特征信息的原因为图像过暗,则该图像是欠曝图像。
例如,图1示出了电子设备在正常、过曝和欠曝状态下获取的人脸图像。如图1所示,在正常曝光状态下,电子设备获取到的人脸图像能够完整显示用户的五官(眉毛、眼睛、鼻子、嘴巴、耳朵)和脸型(脸部轮廓)。因此,电子设备能够从人脸图像中提取到用户的五官和脸型特征信息,该五官特征信息和脸型特征信息即为用户有效脸部特征信息,人脸图像A为正常人脸图像。
在过曝状态下,电子设备获取的人脸图像B不能完全显示用户的五官和脸型,例如人脸图像B不能完整显示用户五官中的眉毛、眼睛、耳朵。因此,电子设备不能够从人脸图像B中完整提取到用户的五官特征信息,且电子设备不能够从人脸图像B中完整提取到用户的五官的特征信息的原因是人脸图像B过白,则人脸图像B为过曝人脸图像。
在欠曝状态下,电子设备获取的人脸图像C不能完整显示用户的五官和脸型,例如,人脸图像C不能完整显示用户五官中的眉毛、眼睛、耳朵等信息。电子设备不能从人脸图像C中完整提取到用户的五官和脸型特征信息,且电子设备不能从人脸图像C中完整提取到用户的五官和脸型特征信息的原因是人脸图像C过白,则人脸图像C为欠曝人脸图像。
如前所述:在上述人脸录入的过程中,在电子设备再次检测到用户的人脸识别解锁请求时,摄像头会基于预先设置的初始曝光时间拍摄当前人脸图像。由于初始曝光时间固定,初始曝光不能随着环境光亮度以及人脸肤色的差异而变化,环境光过亮或者过暗以及人脸肤色的过亮或者过暗,得到的人脸图像会出现过曝或欠曝的问题,从而导致电子设备不能从过曝或欠曝的人脸图像中得到具有有效脸部特征信息的人脸图像,在这种情况下,电子设备将定义出该人脸图像的脸部信息与“预先记忆用户的脸部信息”不匹配,用户无法登入电子设备,初次解锁失败,电子设备还需要继续采集人像图像及判断才有可能解锁成功,如此使得人脸识别解锁的成功率较低,且导致人脸识别解锁时间变长,影响用户体验。
例如,图2示出了一种人脸识别解锁的场景。如图2所示,用户利用手机100的人脸识别解锁功能进行解锁的过程中,若用户肤色较白皙,皮肤反射率过高,环境光较亮,手机100基于预先设置的初始曝光时间会拍摄出过曝人脸图像,手机100从该图像中提取不到有效脸部人脸特征信息。例如,如图1中的人脸图像B所示,手机100从该图像中只能提取出用户鼻子、嘴巴等人脸特征信息,而无法提取出用户脸部其他器官的人脸特征信息,例如,用户的眼睛、额头等人脸特征信息。
同理,若用户肤色较黑,皮肤反射率较低,环境光较暗,手机100基于预先设置的初始曝光时间会拍摄出欠曝的人脸图像,手机100从该图像中提取不到有效脸部人脸特征信息。例如,如图1中的人脸图像C所示,手机100从该图像中只能提取出用户的脸部轮廓(脸型)信息,而无法提取出用户脸部其他器官的人脸特征信息,例如,用户的眼睛、鼻子、耳朵等人脸特征信息。
在以上两种场景中,手机100判断出该人脸图像的脸部信息与“预先记忆用户的脸部信息”不匹配,用户无法登入手机100,初次解锁失败。手机100还需要继续采集人像图像及进行人脸匹配才有可能解锁成功。如此使得人脸识别解锁的成功率较低,且导致人脸识别解锁时间变长,影响用户体验。
为了解决上述技术问题,本申请实施例提出了一种人脸识别的方法,首先在人脸录入阶段,电子设备基于人脸反射率调整曝光时间,其具体方式为:电子设备先获取人脸反射率,然后基于人脸反射率将初始曝光时间调节为能使电子设备拍摄出符合预设曝光条件的人脸图像的曝光时间,该符合预设曝光条件的曝光时间为调节后的曝光时间,其中,符合预设曝光条件的人脸图像可以为提取出有效人脸特征信息的人脸图像。
如前所述,由于人脸图像过曝或者欠曝在一定程度上受人脸肤色的影响,而反应人脸肤色的重要物理参数是人脸反射率,因此,基于上述方案可以获取合适的曝光时间,从而在人脸识别解锁阶段,电子设备可以基于调节后的曝光时间,得到符合预设曝光条件的人脸图像,能够有效提高了电子设备人脸识别解锁的成功率,提高用户体验。
其次,在人脸识别解锁技术中的人脸图像采集和处理阶段,电子设备会去除人脸图像中的过曝像素,其具体方式为:电子设备先基于上述得到的调节后的曝光时间采集人脸图像。然后,电子设备在判断出采集的人脸图像中过曝像素较多的情况下,获取电子设备在开启飞行时间法(Time of flight,TOF)发射器状态下得到的第一张人脸图像,该人脸图像是环境光和TOF发射器共同曝光得到的,再获取电子设备在关闭TOF发射器状态下得到的一张人脸图像,该人脸图像是环境光曝光得到的,基于两张人脸图获取正常人脸图像。基于两张人脸图获取正常人脸图像的获取方式为:获取两张人脸图像中各像素的灰度值,将该两张人脸图像中各像素的灰度值相减。如此,除去了环境光的干扰,得到了正常人脸图像。
如前所述,电子设备先基于上述得到的调节后的曝光时间采集人脸图像,在人脸反射率维度上降低人脸图像过曝或者欠曝的程度。然后再进一步从环境光亮度维度降低人脸图像过曝或者欠曝的程度,在人脸识别解锁技术中的人脸匹配阶段,电子设备便能从正常人脸图像中提取出有效人脸特征信息,利用该有效人脸特征信息得到匹配成功的结果,进而成功登录电子设备。
综上,电子设备从人脸反射率维度和环境光亮度维度降低人脸图像过曝或者欠曝的程度,使得电子设备在人脸匹配阶段能够提取出有效人脸特征信息,提高了电子设备人脸识别解锁的成功率,提高用户体验。
可以理解,在本申请实施例中,适应于本申请实施例的电子设备可以是具有人脸识别解锁功能的各种电子设备,包括但不限于手机、电脑、平板等,本申请实施例不做限定。下面以电子设备为手机为例,结合具体实施例对本申请的技术方案进行详细介绍。
下面先介绍手机100在人脸录入阶段的人脸识别解锁的技术方案。对应于图2的应用场景,图3A至3E根据本申请的一些实施例,示出了一种用户在手机100上进行人脸图像录入的操作界面变化示意图。
图3A示出了一种设置界面的示意图。如图3A所示,手机100利用获取到的系统账号和密码登录设置系统软件。手机100的设置界面包括“生物识别和密码”控件10,用户可以在手机100的设置界面中,找到用于采集用户生物信息的“生物识别和密码设置”控件10。在用户点击“生物识别和密码”控件10后,手机100检测到此操作,进入生物识别和密码设置界面。除此之外,用户还可以通过语音的方式选择“生物识别和密码”控件10,但不限于此。
图3B示出了一种生物识别和密码的界面示意图。如图3B所示,手机100显示生物识别和密码设置界面,在该生物识别和密码设置界面包括用于人脸识别设置的控件,例如,“人脸识别”控件20。
用户可以通过点击操作选择用于人脸识别的设置控件,例如,用户点击“人脸识别”控件20,进入人脸识别界面。除此之外,用户还可以通过语音的方式选择“人脸识别”控件20,但不限于此。
图3C示出了一种人脸识别的界面示意图。如图3C所示,手机100显示人脸识别界面,在该人脸识别界面,用户可以通过点击操作选择人脸录入功能,例如,用户点击“开始录入”控件30,手机100检测到此操作,此时,手机100便可以通过摄像头开始录入面部数据(例如人脸图像)。除此之外,用户还可以通过语音的方式选择“开始录入”控件30,但不限于此。
图3D示出了一种正在录入人脸界的界面示意图。如图3D所示,手机100打开摄像头,采集用户的人脸图像。在手机100采集用户的人脸图像的过程中,
手机100先获取人脸反射率,然后基于人脸反射率将初始曝光时间调节为能使手机100拍摄出符合预设曝光条件的曝光时间,该符合预设曝光条件的曝光时间为调节后的曝光时间,其中,符合预设曝光条件的人脸图像可以为提取出有效人脸特征信息的人脸图像。从而在后续人脸识别解锁阶段,手机100可以基于调节后的曝光时间,得到符合预设曝光条件的人脸图像。从而提高了电子设备人脸识别解锁的成功率,提高用户体验。
图3E示出了一种人脸录入成功的界面示意图。如图3E所示,当手机100成功采集用户的人脸图像后,手机100显示录入成功的提示信息。
下面再介绍手机100在人脸识别解锁的人脸图像采集和处理以及人脸匹配阶段的技术方案。对应于图2的应用场景,在一些实施例中,由于人脸图像过曝或者欠曝还受环境光亮度的影响,故本申请实施例还可以通过制定人脸图像的过曝像素去除策略。具体地,在人脸识别解锁技术中的人脸图像采集和处理阶段,手机100先基于上述得到的调节后的曝光时间采集人脸图像,在人脸反射率维度上降低人脸图像过曝或者欠曝的程度。然后再进一步从环境光亮度维度降低人脸图像过曝或者欠曝的程度,具体地,手机100在判断出采集的人脸图像中过曝像素较多的情况下,获取手机100在开启TOF发射器状态下得到的一张人脸图像,该人脸图像是环境光和TOF共同曝光得到的,再获取手机100在关闭TOF发射器状态下得到的一张人脸图像,该人脸图像是环境光曝光得到的,将该两种人脸图像中各像素的灰度值相减,除去了环境光的干扰,得到了正常人脸图像。如此,在人脸识别解锁技术中的人脸匹配阶段,手机100便能从正常人脸图像中提取出有效人脸特征信息,利用该有效人脸特征信息得到匹配成功的结果,进而成功登录手机100。
下面继续以电子设备为手机100为例,详细介绍本申请的技术方案。
图4根据本申请的一些实施例,示出了一种在人脸录入阶段的人脸识别的方法的流程示意图。该流程的执行主体可以是图2中的手机100。如图4所示,该流程包括以下步骤:
401:检测到用户的人脸录入操作,获取初始曝光时间、初始人脸反射率、人脸与手机100之间的距离以及当前人脸的灰度值。
可以理解,在一些实施例中,初始曝光时间和初始人脸反射率为基于大量实验数据得到的适合大多数用户的默认曝光时间初值和人脸反射率。初始曝光时间可以为700微秒(μs),但不限此。
可以理解初始曝光时间为预先设置在手机100中的默认参数。
可以理解,不同的人脸有不同的反射率,根据光的漫反射原理得出,图像传感器1012接收到的从人脸反射的光信号对应的灰度值,以及手机100距离用户人脸的距离的平方的乘积为定值,约等于当前人脸反射率。例如,如图5所示,图像传感器1012接收到的从人脸反射的光信号对应的灰度值1和灰度值2,以及手机100距离用户人脸的距离深度1和深度2,其中,灰度1和深度1的平方的乘积为结果1,灰度2和深度2的平方的乘积为结果2,结果1和结果2相等,为定值,约等于当前人脸人脸反射率。
因此,手机100便可以通过计算图像传感器1012接收到的从人脸反射的光信号对应的灰度值,以及手机100距离用户人脸的距离的平方的乘积,得到人脸人脸反射率。
人脸反射率计算公式为:
Figure 906870DEST_PATH_IMAGE001
,其中,
Figure 371350DEST_PATH_IMAGE002
为 图像传感器1012接收到的从人脸反射的光信号对应的灰度值,
Figure 571387DEST_PATH_IMAGE003
为手机100距离用户 人脸的距离,手机100可以根据下文中介绍的飞行时间计算方案得到手机100距离用户人脸 的距离。
可以理解,手机100检测到用户的人脸录入操作,拍摄该用户的第一人脸图像,基于第一人脸图像获取当前人脸的灰度值。
具体地,手机100从第一人脸图像中确定用户的人脸区域,从用户的人脸区域中的每个像素的灰度值以及上述人脸反射率公式计算得到用户的人脸区域的多个反射率。若前述计算得到的反射率与手机100中默认的初始人脸反射率相比超过预设范围,例如,前述计算得到的反射率与手机100中默认的初始人脸反射率相比超过默认的初始人脸反射率的a%或者默认的初始人脸反射率的-a%。则滤除超过预设范围的反射率。否则,保留在预设范围内的反射率,例如保留前述计算得到的反射率与手机100中默认的初始人脸反射率相比在默认的初始人脸反射率的a%至-a%之间的。
然后手机100将保留下来的前述计算得到的反射率进行平均值处理或者加权处理得到处理后的反射率,若处理后的反射率与手机100中存储的默认的初始人脸反射率不同,则更新默认的初始人脸反射率,进而更新默认的初始曝光参数。
可以理解,第一人脸图像的数量可以为至少一帧,基于上述方法得到的每一帧处理后的反射率,再对各帧处理后的反射率进行加权处理,得到再处理后的反射率,若再处理后的反射率与手机100中存储的默认的初始人脸反射率不同,则更新默认的初始人脸反射率,进而更新默认的初始曝光参数。
下面以手机100中的飞行时间相机101为例,介绍根据飞行时间得到手机100距离用户人脸的距离的方案。图5示出了手机100中的飞行时间相机101的结构及原理示意图。
如图5所示,TOF相机101使用光源发射器1011朝用户的人脸发射光源(例如激光或LED),主动照亮用户的人脸,并用对发射光源敏感的图像传感器1012捕捉反射光,以此测量手机100距离用户人脸的距离(例如深度1和深度2)。计时器1013可以通过图像传感器1012得到发射出的光源经用户的人脸反射,回到图像传感器1012的延迟时间∆T。该延迟时间∆T与TOF相机101与用户人脸间的两倍距离(往返)成正比,因此,TOF相机101与用户人脸间的距离的计算公式为:
Figure 95909DEST_PATH_IMAGE004
,其中,c是光速。
可以理解,由于TOF相机101与用户人脸间的距离过远或者过近,会降低当前人脸反射率和初始人脸反射率的测量精度,为了提高该测量精度,当前人脸反射率和初始人脸反射率的测量条件之一是,TOF相机101与用户人脸间的距离在15至70cm范围内。
402:基于人脸与手机100之间的距离以及人脸的灰度值确定当前人脸反射率。
基于上述人脸反射率计算公式和TOF相机101与用户人脸间的距离的计算公式得到当前人脸反射率。
403:基于当前人脸反射率、初始人脸反射率和初始曝光时间确定曝光时间调节结果。
可以理解,在一些实施例中,手机100根据当前人脸反射率、初始人脸反射率和初始曝光时间这些默认参数调节初始曝光时间。调节公式如下:
曝光时间调节结果=初始曝光时间*初始人脸反射率/当前人脸反射率。
如此,在后续人脸匹配阶段,电子设备便可以得到能提取出有效人脸特征信息的人脸图像,提高了电子设备人脸识别解锁的成功率,提高用户体验。
404:存储曝光时间调节结果。
可以理解,曝光时间调节结果存储在手机100中,便于后续手机100在人脸图像处理和人脸匹配阶段,基于该曝光时间拍摄人脸图像,并利用拍摄的人脸图像解锁手机100的屏幕。
405:基于曝光时间调节结果录入人脸图像。
可以理解,该人脸图像作为手机100“预先记忆用户的脸部信息”,手机100便可以在后续阶段用该人脸图像进行人脸匹配。
图6根据本申请的一些实施例,示出了一种在人脸图像采集和处理以及人脸匹配阶段的人脸识别的方法的流程示意图。该流程的执行主体可以是图2中的手机100。如图6所示,该流程包括以下步骤:
601:检测到用户的人脸解锁操作,基于曝光时间调节结果采集当前用户的第二人脸图像和第三人脸图像,第二人脸图像是利用环境光和TOF发射器两种光源发射的光配合曝光得到的,第三人脸图像是关闭TOF发射器,利用环境光曝光得到的。
可以理解,当手机100检测到用户的人脸与手机100之间的距离在预设范围内的情况下,即检测到用户的人脸识别解锁操作。
曝光时间调节结果为初始曝光时间经过前述方法得到的调节后的曝光时间。
602:获取第二人脸图像中过曝像素的数量。
可以理解,灰度值表示灰色图像中的颜色深度,灰度值越大表示像素越白,灰度值越小表示像素越暗。过曝像素可以是灰度值大于预设灰度值的像素。
若灰度值的取值范围为0到4095,4095表示白色灰度级数,0表示黑色灰度级数,则预设灰度值的取值可以是4000至4095范围内的任意一个。若灰度值的取值范围为0至255,255表示白色灰度级数,0表示黑色灰度级数,则预设灰度值的取值可以是200至255范围内的任意一个,但不限于此。
603:判断过曝像素的数量是否大于预设值,若判断结果为过曝像素的数量小于等于预设值,则表明人脸图像为正常图像,则执行步骤604。若过曝像素的数量大于预设值,则表明该人脸图像是过曝图像。需要优化过曝像素,从而可以从该人脸图像中提取有效的人脸特征信息,则进入步骤607。
604:利用人脸图像进行人脸匹配,判断是否匹配。若匹配结果为匹配,则执行步骤605,若匹配结果为不匹配,则执行步骤606。
605:允许用户登录手机100
606:不允许用户登录手机100。
607:基于第二人脸图像和第三人脸图像获取预处理后的第四人脸图像。
可以理解,在一些实施例中,预处理的方式为:将第二人脸图像和第三人脸图像中各像素的灰度值对应相减。如此,除去了环境光的干扰,得到了能提取出有效人脸特征信息的人脸图像,从人脸反射率维度和环境光亮度维度降低人脸图像过曝或者欠曝的程度,提高电子设备进行人脸识别解锁的成功率,提高用户体验。
608:利用预处理后的第四人脸图像进行人脸匹配,判断是否匹配。若匹配结果为匹配,则执行步骤609;若匹配结果为不匹配,则执行步骤610。
609:允许用户登录手机100。
610:不允许用户登录手机100。
可以理解,由于人脸图像过曝或者欠曝还受环境光亮度的影响,故本申请实施例还可以通过制定人脸图像的过曝像素去除策略,在人脸图像处理和人脸匹配阶段,先基于上述得到的调节后的曝光时间采集人脸图像,在人脸反射率维度上降低人脸图像过曝或者欠曝的程度。然后再进一步从环境光亮度维度降低人脸图像过曝或者欠曝的程度,具体地,电子设备在判断出采集的人脸图像中过曝像素较多的情况下,获取电子设备在开启TOF发射器状态下得到的一张人脸图像,该人脸图像是环境光和TOF共同曝光得到的,再获取电子设备在关闭TOF发射器状态下得到的一张人脸图像,该人脸图像是环境光曝光得到的,该两种人脸图像中各像素的灰度值相减,除去了环境光的干扰,得到了能提取出有效人脸特征信息的人脸图像,从人脸反射率维度和环境光亮度维度降低人脸图像过曝或者欠曝的程度。如此,提高了电子设备人脸识别解锁的成功率,提高用户体验。
可以理解,本申请实施例提供的人脸识别方法出来应用于人脸识别解锁的应用场景,还可以用于人脸识别的身份认证的应用场景等,但不限于此。
图7根据本申请的一些实施例,示出了一种适用于本申请提供的人脸识别的方法的手机100的结构示意图。如图7所示,手机100可以包括处理器110、电源模块140、存储器180,移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键101以及显示屏102等。
可以理解的是,本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如,可以包括中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)、数字信号处理器(Digital Signal Processor,DSP)、微处理器(Micro-programmed Control Unit,MCU)、人工智能(Artificial Intelligence,AI)处理器或可编程逻辑器件(Field ProgrammableGate Array,FPGA)等的处理模块或处理电路。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110中可以设置存储单元,用于存储指令和数据。在一些实施例中,处理器110中的存储单元为高速缓冲存储器180。本申请实施例中,处理器110可以执行本申请实施例提供的人脸识别的方法。
电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中,电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入;电源管理模块用于连接电源,充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入,为处理器110,显示屏102,摄像头170,及无线通信模块120等供电。
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、低噪声放大器(Low noise amplify,LNA)等。移动通信模块130可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以由天线接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大,经天线转为电磁波辐射出去。在一些实施例中,移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块130至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivisionmultiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),蓝牙 (bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),无线局域网(wireless local areanetworks,WLAN),近距离无线通信技术(near field communication,NFC),调频(frequency modulation,FM)和/或field communication,NFC),红外技术(infrared,IR)技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidounavigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
无线通信模块120可以包括天线,并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。手机100可以通过无线通信技术与网络以及其他设备进行通信。
在一些实施例中,手机100的移动通信模块130和无线通信模块120也可以位于同一模块中。
显示屏102用于显示人机交互界面、图像、视频等。显示屏102包括显示面板。显示面板可以采用液晶显示屏 (liquid crystal display,LCD),有机发光二极管(organiclight-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED),柔性发光二极管(flexlight-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。
传感器模块190可以包括接近光传感器、压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
音频模块150用于将数字音频信息转换成模拟音频信号输出,或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中,音频模块150可以设置于处理器110中,或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中,音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。
摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号,之后将电信号传递给图像信号处理(Image SignalProcessing,ISP)转换成数字图像信号。手机100可以通过ISP,摄像头170,视频编解码器,图形处理器(Graphic Processing Unit,GPU),显示屏102以及应用处理器等实现拍摄功能。
接口模块160包括外部存储器接口、通用串行总线(universal serial bus,USB)接口及用户标识模块(subscriber identification module,SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口与处理器110通信,实现数据存储功能。通用串行总线接口用于手机100和其他电子设备进行通信。用户标识模块卡接口用于与安装至手机100的SIM卡进行通信,例如读取SIM卡中存储的电话号码,或将电话号码写入SIM卡中。
在一些实施例中,手机100还包括按键101、马达以及指示器等。其中,按键101可以包括音量键、开/关机键等。马达用于使手机100产生振动效果,例如在用户的手机100被呼叫的时候产生振动,以提示用户接听手机100来电。指示器可以包括激光指示器、射频指示器、LED指示器等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程 系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述 的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电 路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制 不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机计算机可读存储介质分发。因此,机器计算机可读存储介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器计算机可读存储介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器计算机可读存储介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。 然而,应该理解,可能不需要这样的特定布置和/或排序。 而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。 另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (9)

1.一种人脸识别的方法,其特征在于,所述方法应用于电子设备,所述方法包括:
在检测到用户的人脸录入操作的情况下,采集所述用户的第一人脸图像,并基于所述第一人脸图像确定所述用户的人脸反射率,所述人脸反射率是通过如下方式得到的:基于人脸图像得到多个预设范围内的人脸反射率,并对所述多个预设范围内的人脸反射率进行平均值处理或者加权处理;
基于所述人脸反射率确定出人脸录入过程中采集第二人脸图像所需的第一曝光时间;
采用确定的所述曝光时间采集所述第二人脸图像;
在所述第二人脸图像满足第一预设条件的情况下,基于所述第二人脸图像进行人脸识别。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一人脸图像确定所述用户的人脸反射率,包括:
获取用户的人脸与电子设备之间的距离;
基于所述第一人脸图像确定所述第一人脸图像中用户人脸区域的灰度值;
基于所述用户人脸与电子设备之间的距离以及所述第一人脸图像中用户人脸区域的灰度值确定当前人脸反射率。
3.根据权利要求2所述的方法,其特征在于,人脸反射率可以通过如下公式计算得到:
Figure DEST_PATH_IMAGE001
其中,
Figure 545986DEST_PATH_IMAGE002
为所述第一人脸图像中用户人脸区域的灰度值,
Figure DEST_PATH_IMAGE003
为所述电子 设备距离所述用户人脸的距离。
4.根据权利要求3所述的方法,其特征在于,所述方法包括:
通过如下公式将初始曝光时间调节为所述第一曝光时间:
所述第一曝光时间=初始曝光时间*初始人脸反射率/用户人脸反射率。
5.根据权利要求3所述的方法,其特征在于,所述在所述第二人脸图像满足第一预设条件的情况下,基于所述第二人脸图像进行人脸识别,包括:
获取所述第二人脸图像中过曝像素的数量;
判断出过曝像素的数量小于等于预设值,则利用所述第二人脸图像进行人脸识别。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
判断出过曝像素的数量大于预设值,获取第三人脸图像,所述第三人脸图像是关闭所述电子设备中的飞行时差光源发射器得到的;
对所述第二人脸图像和第三人脸图像进行预处理得到预处理后的第四人脸图像;
利用所述第四人脸图像进行人脸识别。
7.根据权利要求6所述的方法,其特征在于,所述预处理包括:
将第二人脸图像和第三人脸图像中各像素的灰度值对应相减。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,该指令在电子设备上执行时使电子设备执行权利要求1至7中任一项所述的人脸识别的方法。
9.一种电子设备,其特征在于,包括:
存储器,用于存储由电子设备的一个或多个处理器执行的指令,以及
处理器,是电子设备的处理器之一,用于执行权利要求1至7中任一项所述的人脸识别的方法。
CN202210098417.0A 2022-01-27 2022-01-27 一种人脸识别的方法、介质和电子设备 Active CN114120431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210098417.0A CN114120431B (zh) 2022-01-27 2022-01-27 一种人脸识别的方法、介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210098417.0A CN114120431B (zh) 2022-01-27 2022-01-27 一种人脸识别的方法、介质和电子设备

Publications (2)

Publication Number Publication Date
CN114120431A CN114120431A (zh) 2022-03-01
CN114120431B true CN114120431B (zh) 2022-06-28

Family

ID=80361349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210098417.0A Active CN114120431B (zh) 2022-01-27 2022-01-27 一种人脸识别的方法、介质和电子设备

Country Status (1)

Country Link
CN (1) CN114120431B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863510B (zh) * 2022-03-25 2023-08-01 荣耀终端有限公司 一种人脸识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924409A (zh) * 2018-06-13 2018-11-30 北京蜂盒科技有限公司 曝光值调整方法、装置、存储介质及电子设备
CN112672069A (zh) * 2020-12-24 2021-04-16 维沃移动通信有限公司 曝光方法和装置
CN113807172A (zh) * 2021-08-11 2021-12-17 荣耀终端有限公司 一种人脸识别方法和装置
CN113891009A (zh) * 2021-06-25 2022-01-04 荣耀终端有限公司 曝光调整方法及相关设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130231A (ja) * 2008-11-26 2010-06-10 Olympus Imaging Corp 撮像装置
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
CN108629298A (zh) * 2018-04-23 2018-10-09 Oppo广东移动通信有限公司 人脸识别方法、电子装置和非易失性计算机可读存储介质
CN113923372B (zh) * 2021-06-25 2022-09-13 荣耀终端有限公司 曝光调整方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924409A (zh) * 2018-06-13 2018-11-30 北京蜂盒科技有限公司 曝光值调整方法、装置、存储介质及电子设备
CN112672069A (zh) * 2020-12-24 2021-04-16 维沃移动通信有限公司 曝光方法和装置
CN113891009A (zh) * 2021-06-25 2022-01-04 荣耀终端有限公司 曝光调整方法及相关设备
CN113807172A (zh) * 2021-08-11 2021-12-17 荣耀终端有限公司 一种人脸识别方法和装置

Also Published As

Publication number Publication date
CN114120431A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2021136050A1 (zh) 一种图像拍摄方法及相关装置
CN114946169B (zh) 一种图像获取方法以及装置
US20190340420A1 (en) Technologies for efficient identity recognition based on skin features
CN110750772A (zh) 一种电子设备及传感器控制方法
KR102548317B1 (ko) 색소 검출 방법 및 전자 장치
CN111543049B (zh) 一种拍照方法及电子设备
WO2021037157A1 (zh) 图像识别方法及电子设备
CN112037162A (zh) 一种面部痤疮的检测方法及设备
US20170339287A1 (en) Image transmission method and apparatus
CN113741681B (zh) 一种图像校正方法与电子设备
CN114127686A (zh) 一种开启应用程序的方法、装置及终端
CN114120431B (zh) 一种人脸识别的方法、介质和电子设备
US20230064281A1 (en) Data processing method and apparatus
CN111368765A (zh) 车辆位置的确定方法、装置、电子设备和车载设备
CN111199171B (zh) 一种皱纹检测方法和终端设备
CN112334977A (zh) 一种语音识别方法、可穿戴设备及系统
CN111417982B (zh) 一种色斑检测方法及电子设备
CN108830194B (zh) 生物特征识别方法及装置
CN115130491A (zh) 一种自动扫码方法和终端
CN115706869A (zh) 终端的图像处理方法、装置和终端设备
CN115700841A (zh) 检测方法及电子设备
CN114125145B (zh) 显示屏解锁的方法、电子设备及存储介质
CN114531542A (zh) 一种镜头脏污检测的方法和电子设备
WO2021135659A1 (zh) 车辆信息的推送方法、装置、用户账号服务器和用户设备
CN114125300B (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230930

Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, Pudong New Area, Shanghai

Patentee after: Shanghai Glory Smart Technology Development Co.,Ltd.

Address before: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee before: Honor Device Co.,Ltd.

TR01 Transfer of patent right