CN111985454A - 人脸识别方法、装置、设备及计算机可读存储介质 - Google Patents

人脸识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111985454A
CN111985454A CN202010925577.9A CN202010925577A CN111985454A CN 111985454 A CN111985454 A CN 111985454A CN 202010925577 A CN202010925577 A CN 202010925577A CN 111985454 A CN111985454 A CN 111985454A
Authority
CN
China
Prior art keywords
face
image
preset
face image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010925577.9A
Other languages
English (en)
Inventor
张仁娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010925577.9A priority Critical patent/CN111985454A/zh
Publication of CN111985454A publication Critical patent/CN111985454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸识别方法、装置、设备及计算机可读存储介质，涉及人脸识别技术领域，该方法包括：获取用户人脸图像；将用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；当人脸识别失败时，提取用户人脸图像中可识别部位的第一位置信息，并获取可识别部位在预设人脸图像中的第二位置信息；根据第一位置信息和第二位置信息检测可识别部位在用户人脸图像和预设人脸图像中的位置是否一致；若一致，则根据用户人脸图像对预设人脸图像进行误差训练，并根据误差训练结果对预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。本发明能解决因脸部变化或存在遮挡时、人脸识别的精准度和通过率较低的问题。

Description

人脸识别方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置、设备及计算机可读存储介质。
背景技术
随着人脸识别技术越来越成熟、越来越普及，人们也越来越依赖人脸识别功能。目前，系统及手机的人脸识别系统均是先录入人脸图像后，在人脸识别时，将获取到的人脸图像与预设的人脸图像进行比对，以进行人脸识别。就目前的技术来说，人脸识别的成功率还是比较高的。但是在人脸设置完成后，随着时间的推移，用户的脸部还是存在微小的变化的，此外，除了人脸的变化，发型的改变、附加物(如口罩、眼镜等)的佩戴等情形往往也会影响人脸识别结果，给人们生活带来一定的不便。此时，如果再次进行人脸的录入和训练也会很浪费时间，且在脸部存在遮挡的情况下，无法实现人脸的录入。因此，如何解决这一痛点，提高人脸识别的精准度、从而提升人脸识别的通过率，是目前亟需解决的问题。
发明内容
本发明的主要目的在于提供一种人脸识别方法、装置、设备及计算机可读存储介质，旨在解决因脸部变化或存在遮挡时、人脸识别的精准度和通过率较低的问题。
为实现上述目的，本发明提供一种人脸识别方法，所述人脸识别方法包括：
在接收到人脸识别请求时，根据所述人脸识别请求获取用户人脸图像；
将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；
当人脸识别失败时，提取所述用户人脸图像中可识别部位的第一位置信息，并获取所述可识别部位在所述预设人脸图像中的第二位置信息；
根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致；
若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置一致，则根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
可选地，所述根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别的步骤包括：
提取所述用户人脸图像的第一人脸特征，并提取所述预设人脸图像的第二人脸特征；
根据所述第一人脸特征和所述第二人脸特征确定得到所述可识别部位的第三人脸特征及遮挡部位的第四人脸特征；
基于所述第三人脸特征和所述第四人脸特征对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
可选地，所述提取所述用户人脸图像的第一人脸特征，并提取所述预设人脸图像的第二人脸特征的步骤包括：
根据所述第一位置信息，对所述用户人脸图像进行分割，得到所述用户人脸图像中所述可识别部位的第一图像及遮挡部位的第二图像；
对所述第一图像进行特征提取，得到人脸部位特征，并对所述第二图像进行特征提取，得到遮挡部位特征，其中，所述第一人脸特征包括所述人脸部位特征和所述遮挡部位特征；
根据所述第二位置信息，对所述预设人脸图像进行分割，得到所述预设人脸图像中所述可识别部位的第三图像；
对所述第三图像进行特征提取，得到第二人脸特征。
可选地，所述根据所述第一人脸特征和所述第二人脸特征确定得到所述可识别部位的第三人脸特征及遮挡部位的第四人脸特征的步骤包括：
根据所述第一人脸特征中的人脸部位特征、所述第二人脸特征、预设权重系数，计算得到所述可识别部位的第三人脸特征；
将所述第一人脸特征中的遮挡部位特征作为遮挡部位的第四人脸特征。
可选地，所述基于所述第三人脸特征和所述第四人脸特征对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别的步骤包括：
根据所述第三人脸特征对所述预设人脸图像中所述可识别部位的图像部分进行更新，得到第一人脸更新图像；
根据所述第四人脸特征分别对所述预设人脸图像和所述第一更新人脸图像的遮挡图像部分进行更新，得到第二人脸更新图像，以基于所述第一人脸更新图像和所述第二人脸更新图像进行人脸识别。
可选地，所述根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致的步骤包括：
根据所述第一位置信息计算得到各可识别部位之间的第一距离信息，根据所述第一距离信息生成第一距离特征向量；
根据所述第二位置信息计算得到各可识别部位之间的第二距离信息，根据所述第二距离信息生成第二距离特征向量；
计算所述第一距离特征向量与所述第二距离特征向量之间的相似度，检测所述相似度与预设阈值的大小关系，以检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致。
可选地，所述将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判定人脸识别是否成功的步骤之后，还包括：
当人脸识别成功时，获取当前应用和当前界面；
根据所述当前应用和当前界面确定目标操作，并执行所述目标操作。
此外，为实现上述目的，本发明还提供一种人脸识别装置，所述人脸识别装置包括：
第一获取模块，用于在接收到人脸识别请求时，根据所述人脸识别请求获取用户人脸图像；
图像比对模块，用于将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；
位置提取模块，用于当人脸识别失败时，提取所述用户人脸图像中可识别部位的第一位置信息，并获取所述可识别部位在所述预设人脸图像中的第二位置信息；
位置检测模块，用于根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致；
图像更新模块，用于若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置一致，则根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
此外，为实现上述目的，本发明还提供一种人脸识别设备，所述人脸识别设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的人脸识别程序，其中所述人脸识别程序被所述处理器执行时，实现如上所述的人脸识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序，其中所述人脸识别程序被处理器执行时，实现如上所述的人脸识别方法的步骤。
本发明提供一种人脸识别方法、装置、设备及计算机可读存储介质，在接收到人脸识别请求时，根据人脸识别请求获取用户人脸图像；将用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；当人脸识别失败时，提取用户人脸图像中可识别部位的第一位置信息，并获取可识别部位在预设人脸图像中的第二位置信息；然后，根据第一位置信息和第二位置信息检测可识别部位在用户人脸图像和预设人脸图像中的位置是否一致；若可识别部位在用户人脸图像和预设人脸图像中的位置一致，则根据用户人脸图像对预设人脸图像进行误差训练，并根据误差训练结果对预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。本发明中，在人脸识别流程中引入了人脸误差训练，能自动判断检验人脸识别功能，当人脸识别失败，但可识别部位的位置一致时，即脸部变化或存在遮挡时，通过人脸误差训练对预先设置的人脸图像(即预设人脸图像)进行更新，使得更新后的预设人脸图像更接近于现在人脸的变化，从而可提高人脸识别的精准度和通过率，提升用户的使用体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明人脸识别方法第一实施例的流程示意图；
图3为本发明人脸识别装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例涉及的人脸识别设备可以是智能手机、还可以是PC(personalcomputer，个人计算机)、笔记本电脑、服务器等终端设备。
如图1所示，该人脸识别设备可以包括：处理器1001，例如CPU(CentralProcessing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真Wireless-Fidelity，Wi-Fi接口)；存储器1005可以是高速随机存取存储器(random accessmemory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的人脸识别设备结构并不构成对人脸识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及人脸识别程序。在图1中，网络通信模块可用于连接服务器，与服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的人脸识别程序，并执行本发明实施例提供的人脸识别方法。
基于上述硬件结构，提出本发明人脸识别方法的各个实施例。
本发明提供一种人脸识别方法。
请参照图2，图2为本发明人脸识别方法第一实施例的流程示意图。
在本实施例中，该人脸识别方法包括：
步骤S10，在接收到人脸识别请求时，根据所述人脸识别请求获取用户人脸图像；
在本实施例中，该人脸识别方法由人脸识别设备实现，该人脸识别设备可以是智能手机、PC、笔记本电脑、服务器等设备，该人脸识别设备以智能手机为例进行说明。
在本实施例中，用户在进行解锁、支付等过程时，可触发人脸识别请求，此时，智能手机端在接收到该人脸识别请求时，启动摄像头进行拍摄，以获取得到用户人脸图像。
步骤S20，将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；
将用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功。具体的比对过程可参照现有技术，例如，以相似度来表征其比对结果，可根据比对得到的相似度来判断人脸识别是否成功。若相似度大于预设值，则判定人脸识别成功。当用户出现发型变化、胡须变化，或用户戴着口罩时，获取得到的用户人脸图像就会与预设人脸图像差距比较大，很可能导致人脸识别失败，从而影响人脸识别的通过率，即，若相似度小于或等于预设值，则判定人脸识别失败。
步骤S30，当人脸识别失败时，提取所述用户人脸图像中可识别部位的第一位置信息，并获取所述可识别部位在所述预设人脸图像中的第二位置信息；
当人脸识别失败时，提取用户人脸图像中可识别部位的第一位置信息，并获取可识别部位在预设人脸图像中的第二位置信息。
具体的，先对用户人脸图像进行识别，确定该用户人脸图像中是否存在目标人脸部位，其中，目标人脸部位可以包括但不限于：眼睛、眉毛、鼻梁、脸颊、嘴巴、耳朵。然后，根据识别结果确定可识别部位，并提取可识别部位的位置信息，记为第一位置信息。可以理解，可识别部位即为目标人脸部位的部分或全部。
对于第二位置信息的获取，可预先提取出预设人脸图像中各目标人脸部位的位置信息，进而从中获取得到可识别部位对应的第二位置信息。
步骤S40，根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致；
然后，根据第一位置信息和第二位置信息检测可识别部位在用户人脸图像和预设人脸图像中的位置是否一致。
具体的，步骤S40包括：
步骤a41，根据所述第一位置信息计算得到各可识别部位之间的第一距离信息，根据所述第一距离信息生成第一距离特征向量；
步骤a42，根据所述第二位置信息计算得到各可识别部位之间的第二距离信息，根据所述第二距离信息生成第二距离特征向量；
步骤a43，计算所述第一距离特征向量与所述第二距离特征向量之间的相似度，检测所述相似度与预设阈值的大小关系，以检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致。
本实施例中，可识别部位在用户人脸图像和预设人脸图像中的位置是否一致的检测过程具体如下：
先根据第一位置信息计算得到各可识别部位之间的第一距离信息，根据第一距离信息生成第一距离特征向量。例如，可识别部位包括3个部位时，分别记为1、2、3，此时，则分别计算1与2之间的距离d12，1与3之间的距离d13，2与3之间的距离d23，然后，生成第一距离特征向量t1：{d12，d13，d23}。
然后，根据第二位置信息计算得到各可识别部位之间的第二距离信息，根据第二距离信息生成第二距离特征向量。第二距离特征向量的生成过程与第一距离特征向量的生成过程相似，此次不作赘述，为便于说明，将第二距离特征向量记为t2：{d’12，d’13，d’23}，其中，d’12为预设人脸图像中部位1和2之间的距离，d’13为预设人脸图像中部位1和3之间的距离，d’23为预设人脸图像中部位2和3之间的距离。
最后，计算第一距离特征向量与第二距离特征向量之间的相似度，其中，相似度可用欧式距离、余弦距离、杰卡德距离、相关系数等进行表征，进而，检测相似度与预设阈值的大小关系，以检测可识别部位在用户人脸图像和预设人脸图像中的位置是否一致。例如，若相似度以欧式距离表征，则检测相似度是否小于第一预设阈值，若相似度小于第一预设阈值，则判定可识别部位在用户人脸图像和预设人脸图像中的位置一致；若相似度大于或等于第一预设阈值，则判定可识别部位在用户人脸图像和预设人脸图像中的位置不一致。再例如，相似度以相关系数表征时，则检测相似度是否大于第二预设阈值，若相似度大于第二预设阈值，则判定可识别部位在用户人脸图像和预设人脸图像中的位置一致；若相似度小于或等于预设阈值，则判定可识别部位在用户人脸图像和预设人脸图像中的位置不一致。
步骤S50，若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置一致，则根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
若可识别部位在用户人脸图像和预设人脸图像中的位置一致，则说明人脸部位的位置可匹配上，但是人脸识别却失败，这可能是由于人脸特征的变化导致了人脸识别相似度的下降，例如，眉毛形状的变化、化妆导致各部位的变化；也可能是因为人脸的部分区域被一些物体遮挡，导致了人脸识别相似度的下降，例如，预设人脸图像中无口罩，而在识别过程中，用户戴着口罩，或，预设人脸图像中无刘海，而在识别过程中，用户留有刘海，或，预设人脸图像中无胡须，而在识别过程中，用户留有胡须。此时，则根据用户人脸图像对预设人脸图像进行误差训练，并根据误差训练结果对预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
具体的，可提取用户人脸图像的第一人脸特征，并提取预设人脸图像的第二人脸特征；然后，根据第一人脸特征和第二人脸特征确定得到可识别部位的第三人脸特征及遮挡部位的第四人脸特征；进而，基于第三人脸特征和第四人脸特征对预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。具体的误差训练过程可参照下述第二实施例。通过对预设人脸图像进行误差训练，可以完善修复预先设置的人脸模型图像(即预设人脸图像)，从而使预设人脸图像更接近于现在人脸的变化，提高人脸识别的通过率，提升用户的体验。
进一步地，在上述步骤S40之后，该人脸识别方法还包括：
若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置不一致，则生成对应的提示信息，以提示用户再次进行人脸识别。
本实施例中，若可识别部位在用户人脸图像和预设人脸图像中的位置不一致，则生成对应的提示信息，以提示用户再次进行人脸识别。此外，在检测到人脸识别的失败次数达到预设次数时，可进行锁屏、告警等操作。
本发明提供一种人脸识别方法，在接收到人脸识别请求时，根据人脸识别请求获取用户人脸图像；将用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；当人脸识别失败时，提取用户人脸图像中可识别部位的第一位置信息，并获取可识别部位在预设人脸图像中的第二位置信息；然后，根据第一位置信息和第二位置信息检测可识别部位在用户人脸图像和预设人脸图像中的位置是否一致；若可识别部位在用户人脸图像和预设人脸图像中的位置一致，则根据用户人脸图像对预设人脸图像进行误差训练，并根据误差训练结果对预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。本发明实施例中，在人脸识别流程中引入了人脸误差训练，能自动判断检验人脸识别功能，当人脸识别失败，但可识别部位的位置一致时，即脸部变化或存在遮挡时，通过人脸误差训练对预先设置的人脸图像(即预设人脸图像)进行更新，使得更新后的预设人脸图像更接近于现在人脸的变化，从而可提高人脸识别的精准度和通过率，提升用户的使用体验。
进一步地，基于上述第一实施例，提出本发明人脸识别方法的第二实施例。
本实施例中，步骤S50可以包括：
步骤a51，提取所述用户人脸图像的第一人脸特征，并提取所述预设人脸图像的第二人脸特征；
在本实施例中，在人脸识别失败，但用户人脸图像中可识别部位的第一位置信息与可识别部位在预设人脸图像中的第二位置信息相一致时，则说明人脸存在变化、或存在遮挡，此时，先提取用户人脸图像的第一人脸特征，并提取预设人脸图像的第二人脸特征。其中，第一人脸特征和第二人脸特征的类型可以包括但不限于纹理特征、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征、HOG(Histogram of OrientedGradient，方向梯度直方图)特征和LBP(Local Binary Pattern，局部二值模式)特征等。
具体的，步骤a51包括：
步骤a511，根据所述第一位置信息，对所述用户人脸图像进行分割，得到所述用户人脸图像中所述可识别部位的第一图像及遮挡部位的第二图像；
步骤a512，对所述第一图像进行特征提取，得到人脸部位特征，并对所述第二图像进行特征提取，得到遮挡部位特征，其中，所述第一人脸特征包括所述人脸部位特征和所述遮挡部位特征；
步骤a513，根据所述第二位置信息，对所述预设人脸图像进行分割，得到所述预设人脸图像中所述可识别部位的第三图像；
步骤a514，对所述第三图像进行特征提取，得到第二人脸特征。
具体的，先根据第一位置信息，对用户人脸图像进行分割，得到用户人脸图像中可识别部位的第一图像及遮挡部位的第二图像。其中，第一位置信息即为各可识别部位在用户人脸图像中的位置信息，可根据各可识别部位的位置信息、预设的各可识别部位的大小信息及各可识别部位之间的位置关系来确定分割方式，即确定各可识别部位的分割线位置信息，进而根据该分割线位置信息对用户人脸图像进行分割，得到可识别部位的第一图像。然后，根据可识别部位的位置信息、目标脸部部位的位置关系确定出遮挡部位及其位置信息，进而基于遮挡部位的位置信息对用户人脸图像中除第一图像外的区域进行分割，得到遮挡部位的第二图像。
然后，对第一图像进行特征提取，得到人脸部位特征，并对第二图像进行特征提取，得到遮挡部位特征，其中，第一人脸特征包括人脸部位特征和遮挡部位特征。其中，人脸部位特征和遮挡部位特征的类型可以包括但不限于纹理特征、SIFT特征、HOG特征和LBP特征等。其中，纹理特征的提取方法包括基于分形维数提取法、小波提取法、Gabor(加博尔)滤波器提取法、灰度共生矩阵提取法；SIFT特征的提取方法为SIFT特征提取算法，可通过构建dog尺度空间、关键点搜索和定位、方向赋值和关键点描述子的生成这几个步骤，最终提取得到SIFT特征；HOG特征的提取方法为HOG特征提取算法，可通过检测窗口、归一化图像、计算梯度、构建梯度直方图、块内进行细胞归一化梯度直方图和生成HOG特征向量这几个步骤，最终提取得到HOG特征；LBP特征的提取过程为：首先将检测窗口划分为预设尺寸(以16×16为例)的小区域(cell)，然后对于每个cell中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；再计算每个cell的直方图，即每个数字(假定是十进制数LBP值)出现的频率；然后对该直方图进行归一化处理；最后将得到的每个cell的统计直方图进行连接成为一个特征向量。具体的提取过程可参照现有技术。
在提取第一人脸特征的同时，可根据第二位置信息，对预设人脸图像进行分割，得到预设人脸图像中可识别部位的第三图像；其中，第二位置信息即为各可识别部位在预设人脸图像中的位置信息，第三图像的分割过程与第一图像分割过程相似，可参照上述实施过程。然后，对第三图像进行特征提取，得到第二人脸特征。其中，第二人脸特征即为预设人脸图像中各可识别部位的特征，其提取过程可参照上述人脸部位特征的提取过程。
需要说明的是，步骤a511-a512与步骤a513-a514的执行顺序不分先后。
步骤a52，根据所述第一人脸特征和所述第二人脸特征确定得到所述可识别部位的第三人脸特征及遮挡部位的第四人脸特征；
在获取到用户人脸图像的第一人脸特征及预设人脸图像的第二人脸特征之后，根据第一人脸特征和第二人脸特征确定得到可识别部位的第三人脸特征及遮挡部位的第四人脸特征。
具体的，步骤a52包括：
步骤a521，根据所述第一人脸特征中的人脸部位特征、所述第二人脸特征、预设权重系数，计算得到所述可识别部位的第三人脸特征；
步骤a522，将所述第一人脸特征中的遮挡部位特征作为遮挡部位的第四人脸特征。
根据第一人脸特征中的人脸部位特征(记为T1)、第二人脸特征(记为T2)、预设权重系数，计算得到可识别部位的第三人脸特征。其中，预设权重系数包括第一权重系数c1和第二权重系数c2，可计算得到第三人脸特征T＝c1*T1+c2*T2。
同时，将第一人脸特征中的遮挡部位特征作为遮挡部位的第四人脸特征。当然，在具体实施时，也可以获取预设人脸图像中所述遮挡部位对应的第四图像，进而对第四图像进行特征提取，得到预设人脸图像中的遮挡部位特征，进而根据用户人脸图像中的遮挡部位特征、预设人脸图像中的遮挡部位特征和预设权重系数，计算得到遮挡部位的第四人脸特征。
步骤a53，基于所述第三人脸特征和所述第四人脸特征对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
最后，基于第三人脸特征和第四人脸特征对预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
具体的，步骤a53包括：
步骤a531，根据所述第三人脸特征对所述预设人脸图像中所述可识别部位的图像部分进行更新，得到第一人脸更新图像；
步骤a532，根据所述第四人脸特征分别对所述预设人脸图像和所述第一更新人脸图像的遮挡图像部分进行更新，得到第二人脸更新图像，以基于所述第一人脸更新图像和所述第二人脸更新图像进行人脸识别。
预设人脸图像的更新过程如下：
根据第三人脸特征对预设人脸图像中可识别部位的图像部分进行更新，得到第一人脸更新图像，本步骤的更新是针对脸部部位变化的更新。
然后，根据第四人脸特征分别对预设人脸图像和第一更新人脸图像的遮挡图像部分进行更新，得到第二人脸更新图像，以基于第一人脸更新图像和第二人脸更新图像进行人脸识别。其中，第二人脸更新图像包括基于第四人脸特征更新后的预设人脸图像及基于第四人脸特征更新后的第一更新人脸图像。本步骤的更新是针对脸部遮挡部位的更新。
通过上述方式，可对预先设置的人脸图像(即预设人脸图像)进行更新，可以实现对脸部部位变化部分的融合，同时实现对遮挡部位的更新，增加预设人脸图像的数量，即增加后续识别过程的比对样本量，提高人脸识别结果的精准性和通过率。
进一步地，基于上述第一和第二实施例，提出本发明人脸识别方法的第三实施例。
在本实施例中，在步骤S20之后，该人脸识别方法还包括：
步骤A，当人脸识别成功时，获取当前应用和当前界面；
在本实施例中，将用户人脸图像与预设人脸图像进行比对，当根据比对结果判定人脸识别成功时，则可以获取当前应用和当前界面，其中，当前应用即为当面界面对应的应用名称，如支付宝、微信，当前界面可以包括但不限于登录界面、支付界面、授权界面等。
步骤B，根据所述当前应用和当前界面确定目标操作，并执行所述目标操作。
然后，根据当前应用和当前界面确定目标操作，并执行目标操作，如解锁、支付等。具体的，可预先设定不同应用的不同界面与各操作之间的映射关系，然后根据该映射关系，确定当前应用和当前界面所对应的目标操作，进而执行该目标操作。
本实施例中，在人脸识别成功时，则根据当前应用和当前界面执行对应的目标操作，以响应用户的操作需求。
本发明还提供一种人脸识别装置。
参照图3，图3为本发明人脸识别装置第一实施例的功能模块示意图。
在本实施例中，所述人脸识别装置包括：
第一获取模块10，用于在接收到人脸识别请求时，根据所述人脸识别请求获取用户人脸图像；
图像比对模块20，用于将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；
位置提取模块30，用于当人脸识别失败时，提取所述用户人脸图像中可识别部位的第一位置信息，并获取所述可识别部位在所述预设人脸图像中的第二位置信息；
位置检测模块40，用于根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致；
图像更新模块50，用于若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置一致，则根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
其中，上述人脸识别装置的各虚拟功能模块存储于图1所示人脸识别设备的存储器1005中，用于实现人脸识别程序的所有功能；各模块被处理器1001执行时，可实现预设人脸图像的误差训练、以对预设人脸图像进行更新，从而提升人脸识别的精准度和通过率的功能。
进一步地，所述图像更新模块50包括：
特征提取单元，用于提取所述用户人脸图像的第一人脸特征，并提取所述预设人脸图像的第二人脸特征；
特征确定单元，用于根据所述第一人脸特征和所述第二人脸特征确定得到所述可识别部位的第三人脸特征及遮挡部位的第四人脸特征；
图像更新单元，用于基于所述第三人脸特征和所述第四人脸特征对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
进一步地，所述特征提取单元具体用于：
根据所述第一位置信息，对所述用户人脸图像进行分割，得到所述用户人脸图像中所述可识别部位的第一图像及遮挡部位的第二图像；
对所述第一图像进行特征提取，得到人脸部位特征，并对所述第二图像进行特征提取，得到遮挡部位特征，其中，所述第一人脸特征包括所述人脸部位特征和所述遮挡部位特征；
根据所述第二位置信息，对所述预设人脸图像进行分割，得到所述预设人脸图像中所述可识别部位的第三图像；
对所述第三图像进行特征提取，得到第二人脸特征。
进一步地，所述特征确定单元具体用于：
根据所述第一人脸特征中的人脸部位特征、所述第二人脸特征、预设权重系数，计算得到所述可识别部位的第三人脸特征；
将所述第一人脸特征中的遮挡部位特征作为遮挡部位的第四人脸特征。
进一步地，所述图像更新单元具体用于：
根据所述第三人脸特征对所述预设人脸图像中所述可识别部位的图像部分进行更新，得到第一人脸更新图像；
根据所述第四人脸特征分别对所述预设人脸图像和所述第一更新人脸图像的遮挡图像部分进行更新，得到第二人脸更新图像，以基于所述第一人脸更新图像和所述第二人脸更新图像进行人脸识别。
进一步地，所述位置检测模块40包括：
第一计算单元，用于根据所述第一位置信息计算得到各可识别部位之间的第一距离信息，根据所述第一距离信息生成第一距离特征向量；
第二计算单元，用于根据所述第二位置信息计算得到各可识别部位之间的第二距离信息，根据所述第二距离信息生成第二距离特征向量；
位置检测单元，用于计算所述第一距离特征向量与所述第二距离特征向量之间的相似度，检测所述相似度与预设阈值的大小关系，以检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致。
进一步地，所述人脸识别装置还包括：
第二获取模块，用于当人脸识别成功时，获取当前应用和当前界面；
操作执行模块，用于根据所述当前应用和当前界面确定目标操作，并执行所述目标操作。
其中，上述人脸识别装置中各个模块的功能实现与上述人脸识别方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序被处理器执行时实现如以上任一项实施例所述的人脸识别方法的步骤。
本发明计算机可读存储介质的具体实施例与上述人脸识别方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸识别方法，其特征在于，所述人脸识别方法包括以下步骤：
在接收到人脸识别请求时，根据所述人脸识别请求获取用户人脸图像；
将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；
当人脸识别失败时，提取所述用户人脸图像中可识别部位的第一位置信息，并获取所述可识别部位在所述预设人脸图像中的第二位置信息；
根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致；
若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置一致，则根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
2.如权利要求1所述的人脸识别方法，其特征在于，所述根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别的步骤包括：
提取所述用户人脸图像的第一人脸特征，并提取所述预设人脸图像的第二人脸特征；
根据所述第一人脸特征和所述第二人脸特征确定得到所述可识别部位的第三人脸特征及遮挡部位的第四人脸特征；
基于所述第三人脸特征和所述第四人脸特征对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
3.如权利要求2所述的人脸识别方法，其特征在于，所述提取所述用户人脸图像的第一人脸特征，并提取所述预设人脸图像的第二人脸特征的步骤包括：
根据所述第一位置信息，对所述用户人脸图像进行分割，得到所述用户人脸图像中所述可识别部位的第一图像及遮挡部位的第二图像；
对所述第一图像进行特征提取，得到人脸部位特征，并对所述第二图像进行特征提取，得到遮挡部位特征，其中，所述第一人脸特征包括所述人脸部位特征和所述遮挡部位特征；
根据所述第二位置信息，对所述预设人脸图像进行分割，得到所述预设人脸图像中所述可识别部位的第三图像；
对所述第三图像进行特征提取，得到第二人脸特征。
4.如权利要求3所述的人脸识别方法，其特征在于，所述根据所述第一人脸特征和所述第二人脸特征确定得到所述可识别部位的第三人脸特征及遮挡部位的第四人脸特征的步骤包括：
根据所述第一人脸特征中的人脸部位特征、所述第二人脸特征、预设权重系数，计算得到所述可识别部位的第三人脸特征；
将所述第一人脸特征中的遮挡部位特征作为遮挡部位的第四人脸特征。
5.如权利要求2至4中任一项所述的人脸识别方法，其特征在于，所述基于所述第三人脸特征和所述第四人脸特征对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别的步骤包括：
根据所述第三人脸特征对所述预设人脸图像中所述可识别部位的图像部分进行更新，得到第一人脸更新图像；
根据所述第四人脸特征分别对所述预设人脸图像和所述第一更新人脸图像的遮挡图像部分进行更新，得到第二人脸更新图像，以基于所述第一人脸更新图像和所述第二人脸更新图像进行人脸识别。
6.如权利要求1至4中任一项所述的人脸识别方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致的步骤包括：
根据所述第一位置信息计算得到各可识别部位之间的第一距离信息，根据所述第一距离信息生成第一距离特征向量；
根据所述第二位置信息计算得到各可识别部位之间的第二距离信息，根据所述第二距离信息生成第二距离特征向量；
计算所述第一距离特征向量与所述第二距离特征向量之间的相似度，检测所述相似度与预设阈值的大小关系，以检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致。
7.如权利要求1至4中任一项所述的人脸识别方法，其特征在于，所述将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判定人脸识别是否成功的步骤之后，还包括：
当人脸识别成功时，获取当前应用和当前界面；
根据所述当前应用和当前界面确定目标操作，并执行所述目标操作。
8.一种人脸识别装置，其特征在于，所述人脸识别装置包括：
第一获取模块，用于在接收到人脸识别请求时，根据所述人脸识别请求获取用户人脸图像；
图像比对模块，用于将所述用户人脸图像与预设人脸图像进行比对，根据比对结果判断人脸识别是否成功；
位置提取模块，用于当人脸识别失败时，提取所述用户人脸图像中可识别部位的第一位置信息，并获取所述可识别部位在所述预设人脸图像中的第二位置信息；
位置检测模块，用于根据所述第一位置信息和所述第二位置信息检测所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置是否一致；
图像更新模块，用于若所述可识别部位在所述用户人脸图像和所述预设人脸图像中的位置一致，则根据所述用户人脸图像对所述预设人脸图像进行误差训练，并根据误差训练结果对所述预设人脸图像进行更新，以基于更新后的预设人脸图像进行人脸识别。
9.一种人脸识别设备，其特征在于，所述人脸识别设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的人脸识别程序，其中所述人脸识别程序被所述处理器执行时，实现如权利要求1至7中任一项所述的人脸识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸识别程序，其中所述人脸识别程序被处理器执行时，实现如权利要求1至7中任一项所述的人脸识别方法的步骤。
CN202010925577.9A 2020-09-03 2020-09-03 人脸识别方法、装置、设备及计算机可读存储介质 Pending CN111985454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010925577.9A CN111985454A (zh) 2020-09-03 2020-09-03 人脸识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010925577.9A CN111985454A (zh) 2020-09-03 2020-09-03 人脸识别方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111985454A true CN111985454A (zh) 2020-11-24

Family

ID=73448226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010925577.9A Pending CN111985454A (zh) 2020-09-03 2020-09-03 人脸识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111985454A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507989A (zh) * 2021-02-04 2021-03-16 北京远鉴信息技术有限公司 一种面部识别方法、装置、电子设备及可读存储介质
CN113115060A (zh) * 2021-04-07 2021-07-13 中国工商银行股份有限公司 视频传输方法、装置及系统
CN115857413A (zh) * 2022-12-14 2023-03-28 中通建设股份有限公司 一种基于物联网的智能楼宇安全监测系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507989A (zh) * 2021-02-04 2021-03-16 北京远鉴信息技术有限公司 一种面部识别方法、装置、电子设备及可读存储介质
CN113115060A (zh) * 2021-04-07 2021-07-13 中国工商银行股份有限公司 视频传输方法、装置及系统
CN113115060B (zh) * 2021-04-07 2022-10-25 中国工商银行股份有限公司 视频传输方法、装置及系统
CN115857413A (zh) * 2022-12-14 2023-03-28 中通建设股份有限公司 一种基于物联网的智能楼宇安全监测系统及方法

Similar Documents

Publication Publication Date Title
US10713532B2 (en) Image recognition method and apparatus
US10635890B2 (en) Facial recognition method and apparatus, electronic device, and storage medium
CN109389562B (zh) 图像修复方法及装置
WO2019237846A1 (zh) 图像处理方法、人脸识别方法、装置和计算机设备
US20190251571A1 (en) Transaction verification system
CN105893920B (zh) 一种人脸活体检测方法和装置
CN111985454A (zh) 人脸识别方法、装置、设备及计算机可读存储介质
CN107463865B (zh) 人脸检测模型训练方法、人脸检测方法及装置
CN110069989B (zh) 人脸图像处理方法及装置、计算机可读存储介质
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN111429554A (zh) 运动视频数据处理方法、装置、计算机设备和存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
EP3944188A1 (en) Image processing device, image processing method, and recording medium in which program is stored
WO2022257456A1 (zh) 头发信息识别方法、装置、设备及存储介质
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
JP2010176504A (ja) 画像処理装置、画像処理方法及びプログラム
CN111507165A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
KR100847142B1 (ko) 얼굴 인식을 위한 전처리 방법, 이를 이용한 얼굴 인식방법 및 장치
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN113128427A (zh) 人脸识别方法、装置、计算机可读存储介质及终端设备
CN110688872A (zh) 基于唇部的人物识别方法、装置、程序、介质及电子设备
CN111079587B (zh) 人脸的识别方法、装置、计算机设备及可读存储介质
CN115410257A (zh) 图像保护方法及相关设备
CN114038030A (zh) 图像篡改识别方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination