CN116229546A - 基于多任务的人脸识别方法、网络模型、训练方法及介质 - Google Patents

基于多任务的人脸识别方法、网络模型、训练方法及介质 Download PDF

Info

Publication number
CN116229546A
CN116229546A CN202310140780.9A CN202310140780A CN116229546A CN 116229546 A CN116229546 A CN 116229546A CN 202310140780 A CN202310140780 A CN 202310140780A CN 116229546 A CN116229546 A CN 116229546A
Authority
CN
China
Prior art keywords
face
key point
face recognition
information
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310140780.9A
Other languages
English (en)
Inventor
郑新莹
陈训教
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202310140780.9A priority Critical patent/CN116229546A/zh
Publication of CN116229546A publication Critical patent/CN116229546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于多任务的人脸识别方法、网络模型、训练方法及介质，该方法包括：获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图；将人脸框图输入训练完成的人脸识别网络模型进行分类识别和关键点检测，得到分类信息和关键点信息；根据分类信息和关键点信息，得到人脸识别结果。通过本申请方案的实施，在人脸识别时能够利用一个神经网络模型执行包括人脸分类识别以及人脸关键点检测的多任务，减少了需要对多个神经网络模型进行训练和维护的工作量。

Description

基于多任务的人脸识别方法、网络模型、训练方法及介质
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种基于多任务的人脸识别方法、网络模型、训练方法及介质。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，目前广泛应用于公安、金融、机场、地铁、边防口岸等场所的身份核验场景，以及门禁系统、移动设备等产品的人脸解锁场景。在相关技术中，人脸识别需要运用到神经网络模型对人脸图像进行特征识别，以得到人脸识别结果。此外还会运用到其他神经网络模型对人脸图像进行如图像质量检测等处理，以提高人脸识别结果的精度。然而对同一人脸图像进行特征识别、图像质量检测等处理，使用多个神经网络模型，在实际应用中，则需要针对每个神经网络模型做训练、维护等工作。
发明内容
本申请提供了一种基于多任务的人脸识别方法、网络模型、训练方法及介质，至少能够解决相关技术中需要运用多个神经网络模型对人脸图像进行图像处理的问题。
本申请第一方面提供了一种基于多任务的人脸识别方法，包括：获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图；将人脸框图输入训练完成的人脸识别网络模型进行分类识别和关键点检测，得到分类信息和关键点信息；根据分类信息和关键点信息，得到人脸识别结果。
本申请第二方面提供了一种基于多任务的人脸识别装置，包括人脸检测模块、人脸识别模块和结果比对模块；人脸检测模块，用于获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图；人脸识别模块，用于将人脸框图输入训练完成的人脸识别模型进行分类识别和关键点检测，得到分类信息和关键点信息；结果比对模块，用于根据分类信息和关键点信息，得到人脸识别结果。
本申请第三方面提供了一种人脸识别网络模型，包括特征提取单元、分类识别单元和关键点检测单元；特征提取单元，用于根据人脸框图进行特征提取，得到特征信息；分类识别单元，用于根据特征信息进行特征检测，得到分类信息；关键点检测单元，用于根据特征信息进行关键点检测，得到关键点信息。
本申请第四方面提供了一种人脸识别网络模型的训练方法，对第三方面提供的人脸识别网络模型进行训练，包括：将训练样本输入至待训练的人脸识别网络模型，得到预测分类信息和预测关键点信息；根据预测分类信息与训练样本相应的真实分类信息，计算第一损失值；根据预测关键点信息与训练样本相应的真实关键点信息，计算第二损失值；根据第一损失值和第二损失值更新网络模型参数并迭代训练，直到损失值收敛，得到训练完成的人脸识别网络模型。
本申请第五方面提供了一种人脸识别模组，包括：相机、存储器及处理器；所述相机用于采集待识别图像；所述处理器用于执行存储在所述存储器上的计算机程序；所述处理器执行所述计算机程序时，实现上述本申请实施例第一方面提供的基于多任务的人脸识别方法中的各步骤。
本申请第六方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的基于多任务的人脸识别方法或第四方面提供的人脸识别网络模型的训练方法中的各步骤。
由上可见，根据本申请方案所提供的基于多任务的人脸识别方法、网络模型、训练方法及介质，通过获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图；将人脸框图输入训练完成的人脸识别网络模型进行分类识别和关键点检测，得到分类信息和关键点信息；根据分类信息和关键点信息，得到人脸识别结果。通过本申请方案的实施，在人脸识别时能够利用一个神经网络模型执行包括人脸分类识别以及人脸关键点检测的多任务，减少了需要对多个神经网络模型进行训练和维护的工作量。
附图说明
图1为本申请一实施例提供的一种智能门锁的结构示意图；
图2为本申请一实施例提供的一种人脸识别模组的结构示意图；
图3为本申请一实施例提供的一种人脸识别方法的基本流程示意图；
图4为本申请一实施例提供的一种生成人脸框图的原理示意图；
图5为本申请一实施例提供的一种不同面部遮挡状态下所检测的关键点的示意图；
图6为本申请一实施例提供的一种人脸识别网络模型的网络示意图；
图7为本申请一实施例提供的一种人脸识别网络模型的训练方法的流程示意图；
图8为本申请一实施例提供的一种特征提取单元的网络示意图；
图9为本申请一实施例提供的一种分类识别单元的网络示意图；
图10为本申请一实施例提供的一种关键点检测单元的网络示意图；
图11为本申请一实施例提供的一种人脸对齐的原理示意图；
图12为本申请一实施例提供的人脸识别方法的细化流程示意图；
图13为本申请一实施例提供的人脸识别装置的程序模块示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
下面将结合附图详细说明本申请实施例的一种基于多任务的人脸识别方法、网络模型、训练方法及介质。
为了减少在人脸识别过程中所需要训练和维护的神经网络模型的数量，本申请一实施例提供了一种基于多任务的人脸识别方法，应用于智能门锁中的人脸识别模组，如图1所示为本申请一实施例提供的一种智能门锁的结构示意图。该智能门锁主要包括：人脸识别模组10、电子锁控20以及锁体30，电子锁控20分别与人脸识别模组10以及锁体30通信连接。
其中，人脸识别模组10用于执行如下基于多任务的人脸识别方法的流程，包括：获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图；将人脸框图输入训练完成的人脸识别网络模型进行分类识别和关键点检测，得到分类信息和关键点信息；根据分类信息和关键点信息，得到人脸识别结果。
另外，电子锁控20则用于根据人脸识别模组10获取的人脸识别结果对锁体30进行控制，本实施例的锁体30中包括驱动组件以及机械结构，锁体30的驱动组件根据电子锁控20发送的控制指令对机械结构执行相应控制，应当说明的是，本实施例的控制类型包括但不限于开锁、关锁，在实际应用中，当人脸识别结果为合法人脸时，电子锁控20向锁体30发送开锁指令。
如图2所示为本实施例提供的一种人脸识别模组的结构示意图，主要包括：相机101、存储器102及处理器103，处理器103的数量可以是一个或多个，存储器102上存储有可在处理器103上运行的计算机程序104，存储器102和处理器103通信连接，处理器103执行该计算机程序104时，实现前述基于多任务的人脸识别方法的流程。
在一种实施方式中，相机101可以采用深度相机实现，深度相机为结构光相机、飞行时间相机、双目相机或多目相机等，此处不作限制。优选的，本实施例的相机101可以包括激光发射模组、红外成像模组以及深度计算模块；其中，激光发射模组用于向预设的目标空间中投射经编码的结构光图案化光束，红外成像模组用于接收返回的结构光图案化光束，获得结构光图像，深度计算模块用于根据结构光图像进行深度计算得到深度图像。
在一种实施方式中，存储器102可以是内部存储单元，例如硬盘或内存；存储器也可以是外部存储设备，例如配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括内部存储单元也包括外部存储设备，存储器还可以用于暂时地存储已经输出或者将要输出的数据。需要说明的是，当处理器为神经网络芯片时，电子设备可不包括存储器，电子设备是否需使用存储器存储相应的计算机程序取决于处理器的类型。
在一种实施方式中，处理器103可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)、神经网络芯片或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请一实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于前述人脸识别模组中，该计算机可读存储介质可以是前述图2所示实施例中的存储器。
在一种实施方式中，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时可实现前述基于多任务的人脸识别方法的流程。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请一实施例还提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机或处理器上运行时，可以实现前述基于多任务的人脸识别方法的流程。
如图3所示为本申请一实施例提供的一种基于多任务的人脸识别方法的基本流程图，该人脸识别方法可以由图1或图2中的人脸识别模组执行，具体包括以下的步骤：
步骤301、获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图。
如图4所示为本实施例提供的一种生成人脸框图的原理示意图，图4中a表示待识别图像，b表示人脸框图。在实际应用中，相机所拍摄的待识别图像中不仅限于人脸区域，本实施例为了降低后续检测工作的计算量，预先对待识别图像进行预处理，也即提取待识别图像中的人脸区域，得到人脸框图。根据待识别人脸图像进行人脸检测的方法包括边缘轮廓检测方法和利用人脸检测神经网络模型进行检测的方法。
步骤302、将人脸框图输入训练完成的人脸识别网络模型进行分类识别和关键点检测，得到分类信息和关键点信息。
如图5所示为本实施例提供一种不同面部遮挡状态下所检测的关键点的示意图，在本实施例中一个人脸框图得到的关键点信息包括65个关键点(也可以是25个、98个和106个，在此不作限定)，关键点通常取自人脸的眼睛、眉毛、鼻子、嘴巴、脸部外廓等部位，可以分为内部关键点以及轮廓关键点两类。另外，本实施例的分类信息用于区分不同面部状态，在实际应用中，如活体或非活体，在本实施例中，分类信息包括无遮挡人脸、有遮挡人脸，进一步的，还可以针对有遮挡人脸进行细分，例如可以包括有口罩遮挡人脸、有眼镜遮挡人脸、有帽子遮挡人脸或眼部被遮挡、面部轮廓被遮挡、口鼻部被遮挡等，本实施例对此不作唯一限定。
在本实施例可选实施方式中，上述基于人脸框图进行人脸分类识别及人脸关键点检测，得到分类信息及关键点信息的步骤，包括：将人脸框图输入至训练完成的人脸识别网络模型中的特征提取单元，输出特征信息；将特征信息分别输入至人脸识别网络模型中的分类识别单元以及关键点检测单元，输出相应的分类信息及关键点信息。
本申请一实施例提供了一种人脸识别网络模型，如图6所示为本实施例提供的一种人脸识别网络模型的结构示意图，该人脸识别网络模型包括特征提取单元、分类识别单元以及关键点检测单元，特征提取单元的输出同时连接于分类识别单元以及关键点检测单元的输入；其中，特征提取单元用于对基于待识别图像获取的人脸框图进行人脸特征提取，输出特征信息；分类识别单元用于对特征信息进行分类识别，输出分类信息；关键点检测单元用于对特征信息进行关键点检测，输出关键点信息。也即，本实施例的人脸识别网络模型共有两个任务输出，分别是分类任务输出以及关键点检测任务输出。
本申请一实施例提供了一种人脸识别网络模型的训练方法，如图7所示为本实施例提供的一种人脸识别网络模型的训练方法的流程示意图，该人脸识别网络模型的训练方法包括以下步骤：
步骤701、将训练样本输入至待训练的人脸识别网络模型，得到预测分类信息和预测关键点信息；
步骤702、根据预测分类信息与训练样本相应的真实分类信息，计算第一损失值；
步骤703、根据预测关键点信息与训练样本相应的真实关键点信息，计算第二损失值；
步骤704、根据第一损失值和第二损失值更新网络模型参数并迭代训练，直到损失值收敛，得到训练完成的人脸识别网络模型。
应当说明的是，本实施例在对人脸识别网络模型进行训练时，采用两种损失函数来衡量该网络训练过程输出的模型预测数据与样本真实标签数据之间的差距。在网络训练过程中，先获取大量图像样本，图像样本类型可以包括普通人脸图像、戴口罩人脸图像、戴墨镜人脸图像、戴普通眼镜人脸图像、其他被遮挡人脸图像等，并进行人脸提取，得到可供训练的人脸框图集合，然后将人脸框图集合作为训练样本输入已初始化的人脸识别网络模型并前向传递，再分别计算分类任务对应的第一损失值cls_loss以及关键点检测任务对应的第二损失值lmks_loss，得到总损失值total_loss。
还应当说明的是，分类任务对应的损失值可以采用BCE loss计算，关键点检测任务对应的损失值可以采用wing loss计算。值得注意的是，本实施例在分类任务输出人脸框图为有遮挡人脸时，会将该人脸框图判定为负样本，不参与损失计算，也即将cls_loss置为0，仅对正样本进行损失计算，以提升关键点检测任务的精度，总损失计算公式表示为total_loss＝cls_loss+lmks_loss。
最后，根据总损失值判断人脸识别网络模型是否收敛，若是，则结束网络训练，得到训练完成的人脸识别网络模型，若否，则采用反向传播算法计算网络各参数梯度，并更新网络参数权值，继续进行迭代训练，直至网络收敛。
请再次参阅图6，本实施例的特征提取单元设置有多个级联的特征提取网络层，如图8所示为本实施例提供的一种特征提取单元的结构示意图，本实施例的特征提取单元优选的可以设置有8个级联的特征提取网络层，图8中箭头的指向表示特征提取模块之间的级联关系，每一特征提取网络层均由卷积层Conv、激活层Relu以及融合模块Add组成，每一特征提取模块的卷积层的权重W以及偏置B有所不同。本实施例可以将人脸框图输入至训练完成的人脸识别网络模型中的特征提取单元，利用特征提取单元中多个级联的特征提取模块依次对不同人脸局部区域进行特征提取，输出特征信息。
如图9所示为本实施例提供的一种分类识别单元的结构示意图，该分类识别单元包括依次连接的池化层和若干个卷积层。其中，池化层采用平均池化层，能保留整体数据的特征，能凸出背景的信息。每相邻两个卷积层之间设置有一个激活层。如图10所示为本实施例提供的一种关键点检测单元的结构示意图，该关键点检测单元包括若干个卷积层，每相邻两个卷积层之间设置有一个激活层。
步骤303、根据分类信息和关键点信息，得到人脸识别结果。
在本实施例一种可选实施方式中，根据分类信息和所述关键点信息，得到人脸识别结果包括：根据分类信息，判断待识别人脸图像是否符合预设要求；若否，则输出人脸识别结果为识别失败；若是，则根据关键点信息与预存的人脸底库进行信息比对，得到人脸识别结果。例如，分类信息表示为人眼被遮挡，则该数据的图像质量不合格，不适合进行信息比对，因此直接输出人脸识别结果为识别失败。人脸识别结果为识别失败还可以是提示用户人眼被遮挡了，需要消除类似影响图像质量的因素再进行人脸采集。
其中，人脸底库中预存的人脸图像或特征数据是用于与关键点信息一一匹配。人脸底库可以存储再云端服务器中，也可以存储在本地存储器中。关键点信息与预存的人脸底库进行信息比对，包括：计算关键点信息与预存的人脸底库的任一人脸图像或特征数据中特征向量的欧氏距离，如果人脸底库某个人脸图像或特征数据的特征向量与所述关键点信息的特征向量之间的欧式距离小于或等于预定阈值，则可以认为比对成功；若均大于预定阈值，则输出人脸识别结果为识别失败。
进一步地，为了更精准的进行信息比对，将关键点信息与预存的人脸底库进行信息比对前可以包括：根据关键点信息，得到仿射变换矩阵；根据仿射变换矩阵对人脸框图进行仿射变换，得到对齐后的关键点信息；将对齐后的关键点信息与预存的人脸底库进行信息比对，得到人脸识别结果。
在本实施例一种可选实施方式中，可以根据分类信息获取相应的目标特征匹配度；基于关键点信息与目标特征匹配度获取人脸特征识别结果。
具体的，本实施例考量到不同分类信息对应于不同面部状态，也即人脸是否发生遮挡、何种遮挡类型，且不同面部状态下所检测出的关键点信息的参考性有所不同，而为了提高人脸特征识别的精度和可实现性，本实施例针对不同分类信息分别关联不同的特征匹配度，例如无遮挡人脸要求的特征匹配度为80％、有眼镜遮挡人脸要求的特征匹配度为70％、有口罩遮挡人脸要求的特征匹配度为60％等，从而可以针对不同关键点信息采用相适应的特征匹配度进行人脸特征识别。
进一步地，在本实施例一种可选实施方式中，上述基于关键点信息与目标特征匹配度获取人脸特征识别结果的步骤，包括：将关键点信息与本地存储的关键点信息库进行匹配；其中，关键点信息库中包括至少一个合法关键点信息；将关键点信息与合法关键点信息的实际特征匹配度，与目标特征匹配度进行比较；根据比较结果获取人脸特征识别结果；其中，当比较结果为实际特征匹配度大于或等于目标特征匹配度时，人脸特征识别结果为合法人脸。
具体的，本实施例预置有关键点信息库，关键点信息库中包括所注册的合法用户的合法关键点信息，根据实际应用场景的需求，关键点信息库中可以预置一个或多个合法关键点信息。应当理解的是，在本实施例中，可以将关键点信息库存储于人脸识别模组本地，从而可以由人脸识别模组直接调用本地的合法关键点信息进行特征匹配，若实际检测的关键点信息与关键点信息库中至少之一的特征匹配度大于分类信息对应的目标特征匹配度，则确定识别到合法人脸。当然，在实际应用中，关键点信息库还可以存储于后台服务器，那么人脸识别模组可以将实际检测的关键点信息上传至后台服务器，由后台服务器执行前述特征匹配以及匹配度比较的动作，然后最终由后台服务器将人脸特征识别结果返回至人脸识别模组。
进一步地，在本实施例一种可选实施方式中，上述根据分类信息获取相应的目标特征匹配度的步骤，包括：获取当前应用场景对应的权限管理等级；根据权限管理等级从多个特征匹配度索引表中，选取相应的目标特征匹配度索引表；其中，特征匹配度索引表中包括分类信息与特征匹配度的映射关系，不同特征匹配度索引表的映射关系不同；根据分类信息从目标特征匹配度索引表中查询相应的目标特征匹配度。
具体的，在基于人脸特征识别结果进行身份核验的应用场景中，适应于不同安全性要求可以设置不同的权限管理等级，权限管理等级与特征匹配度呈正相关关系，也即若要求的权限管理等级越高，则进行特征匹配时对合法人脸所要求的特征匹配度也越高，例如针对同一分类信息，在高权限管理等级对应的特征匹配度索引表中，其特征匹配度可以设置为90％，在中权限管理等级对应的特征匹配度索引表中，其特征匹配度可以设置为85％，在低权限管理等级对应的特征匹配度索引表中，其特征匹配度可以设置为80％，由此，可以有效保证应用平台的安全应用需求。
在本实施例另一种可选实施方式中，上述结合分类信息以及关键点信息，获取人脸特征识别结果的步骤，包括：基于分类信息从关键点信息的所有关键点位置信息中选取多个目标关键点位置信息，得到目标关键点信息；基于目标关键点信息获取人脸特征识别结果。
具体的，在实际应用中，各面部状态下所检测出的关键点信息中不同关键点对于人脸特征识别的有效性有所不同，对于人脸被遮挡部位的关键点，其有效性相对较低，那么，本实施例可以按照分类信息从所有关键点位置信息中筛除有效性较低的关键点位置信息，仅选取部分目标关键点位置信息进行人脸特征识别，例如当分类信息为有眼镜遮挡人脸时，可以从所有关键点位置信息中选取眼睛、眉毛、鼻子、脸部外廓等部位的目标关键点位置信息，可以降低人脸特征识别的运算量。应当说明的是，本实施方式中基于目标关键点信息获取人脸特征识别结果的具体实现过程，可以参考前述实施方式采用等同方式实现，在此不再赘述。
还应当说明的是，除了前述实施例中由人脸识别模组将人脸特征识别结果发送至电子锁控，且由电子锁控根据人脸特征识别结果生成相应的控制指令的实现方式，在其它实施方式中，还可以由人脸识别模组直接根据人脸特征识别结果生成相应的控制指令，然后将控制指令发送至电子锁控，进而控制锁体执行相应控制指令，本实施例对此不做唯一限定。
在本实施例一种可选实施方式中，上述结合分类信息以及关键点信息，获取人脸特征识别结果的步骤之前，还包括：从关键点信息包括的多个关键点位置信息中确定目标关键点位置信息；基于目标关键点位置信息获取仿射变换矩阵；根据仿射变换矩阵对关键点信息进行仿射变换，得到人脸对齐后的关键点信息。
如图11所示为本实施例提供的一种人脸对齐的原理示意图，图中A表示检测得到的人脸，B表示经仿射变换对齐后的人脸。具体的，本实施例的目标关键点示例性的可以为两只人眼的中心点以及嘴唇的中心点，通过目标关键点位置信息计算得到仿射变换矩阵，作为人脸对齐的基础，然后通过仿射变换矩阵对关键点信息进行仿射变换，实现人脸区域的平移、旋转和缩放等操作，最终得到人脸对齐后的关键点信息，由此可以降低数据之间的差异性，提高人脸识别的准确性。
图12中的方法为本申请一实施例提供的一种细化的基于多任务的人脸识别方法，应用于人脸识别模组，该人脸识别方法的具体实现流程包括如下步骤：
步骤1201、对待识别图像进行人脸检测，得到人脸框图；
步骤1202、将人脸框图输入至训练完成的人脸识别网络模型中的特征提取单元，输出特征信息；
步骤1203、将特征信息分别输入至人脸识别网络模型中的分类识别单元以及关键点检测单元，输出相应的分类信息及关键点信息；
步骤1204、根据分类信息获取相应的目标特征匹配度，并将关键点信息与本地存储的关键点信息库进行匹配；
步骤1205、将关键点信息与关键点信息库中合法关键点信息的实际特征匹配度，与目标特征匹配度进行比较；
步骤1206、当比较结果为实际特征匹配度大于或等于目标特征匹配度时，确定人脸特征识别结果为合法人脸；
步骤1207、向电子锁控发送解锁指令，以控制锁体执行解锁操作。
应当理解的是，本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成唯一限定。
图13为本申请一实施例提供的一种基于多任务的人脸识别装置。该人脸识别装置可用于实现前述实施例中的基于多任务的人脸识别方法，该人脸识别装置主要包括：
人脸检测模块1301，用于获取待识别人脸图像，并根据待识别人脸图像进行人脸检测，得到人脸框图；
人脸识别模块1302，用于将人脸框图输入训练完成的人脸识别模型进行分类识别和关键点检测，得到分类信息和关键点信息；
结果比对模块1303，用于根据分类信息和关键点信息，得到人脸识别结果。
在本实施例的一些实施方式中，人脸识别检测模块具体用于：将人脸框图输入至训练完成的人脸识别网络模型中的特征提取单元，输出特征信息；将特征信息分别输入至人脸识别网络模型中的分类识别单元以及关键点检测单元，输出相应的分类信息及关键点信息。
在本实施例的一些实施方式中，人脸识别检测模块在执行上述将人脸框图输入至训练完成的人脸识别网络模型中的特征提取单元，输出特征信息的功能时，具体用于：将人脸框图输入至训练完成的人脸识别网络模型中的特征提取单元，利用特征提取单元中多个级联的特征提取模块依次对不同人脸局部区域进行特征提取，输出特征信息。
在本实施例的一些实施方式中，该人脸识别装置还包括对齐模块，用于从关键点信息包括的多个关键点位置信息中确定目标关键点位置信息；基于目标关键点位置信息获取仿射变换矩阵；根据仿射变换矩阵对关键点信息进行仿射变换，得到人脸对齐后的关键点信息。
在本实施例的一些实施方式中，识别模块具体用于：根据分类信息获取相应的目标特征匹配度；基于关键点信息与目标特征匹配度获取人脸特征识别结果。
在本实施例的一些实施方式中，识别模块在执行上述根据分类信息获取相应的目标特征匹配度的功能时，具体用于：获取当前应用场景对应的权限管理等级；根据权限管理等级从多个特征匹配度索引表中，选取相应的目标特征匹配度索引表；其中，特征匹配度索引表中包括分类信息与特征匹配度的映射关系，不同特征匹配度索引表的映射关系不同；根据分类信息从目标特征匹配度索引表中查询相应的目标特征匹配度。
在本实施例的一些实施方式中，识别模块在执行上述基于关键点信息与目标特征匹配度获取人脸特征识别结果的功能时，具体用于：将关键点信息与本地存储的关键点信息库进行匹配；其中，关键点信息库中包括至少一个合法关键点信息；将关键点信息与合法关键点信息的实际特征匹配度，与目标特征匹配度进行比较；根据比较结果获取人脸特征识别结果；其中，当比较结果为实际特征匹配度大于或等于目标特征匹配度时，人脸特征识别结果为合法人脸。
在本实施例的另一些实施方式中，识别模块在执行上述基于关键点信息与目标特征匹配度获取人脸特征识别结果的功能时，具体用于：基于分类信息从关键点信息的所有关键点位置信息中选取多个目标关键点位置信息，得到目标关键点信息；基于目标关键点信息获取人脸特征识别结果。
应当说明的是，前述实施例中的人脸识别方法均可基于本实施例提供的人脸识别装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的人脸识别装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于本申请上述实施例的技术方案，对待识别图像进行人脸检测，得到人脸框图；基于人脸框图进行人脸分类识别及人脸关键点检测，得到分类信息及包括多个关键点位置信息的关键点信息；结合分类信息以及关键点信息，获取人脸特征识别结果。通过本申请方案的实施，在人脸检测时需要执行包括人脸分类识别以及人脸关键点检测的多任务，并结合分类信息以及关键点信息两者进行人脸特征识别，有效提高了人脸识别结果的精度，保证了应用平台执行相关控制的可实现性。
应当说明的是，在本申请所提供的几个实施例中所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的基于多任务的人脸识别方法、网络模型、训练方法及介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于多任务的人脸识别方法，其特征在于，包括：
获取待识别人脸图像，并根据所述待识别人脸图像进行人脸检测，得到人脸框图；
将所述人脸框图输入训练完成的人脸识别网络模型进行分类识别和关键点检测，得到分类信息和关键点信息；
根据所述分类信息和所述关键点信息，得到人脸识别结果。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述人脸识别网络模型包括特征提取单元、分类识别单元和关键点检测单元；
所述特征提取单元，用于根据所述人脸框图进行特征提取，得到特征信息；
所述分类识别单元，用于根据所述特征信息进行特征检测，得到分类信息；
所述关键点检测单元，用于根据所述特征信息进行关键点检测，得到关键点信息。
3.根据权利要求1所述的人脸识别方法，其特征在于，所述根据所述分类信息和所述关键点信息，得到人脸识别结果包括：
根据所述分类信息，判断所述待识别人脸图像是否符合预设要求；
若否，则输出所述人脸识别结果为识别失败。
4.根据权利要求1所述的人脸识别方法，其特征在于，所述根据所述分类信息和所述关键点信息，得到人脸识别结果包括：
将所述关键点信息与预存的人脸底库进行信息比对，得到人脸识别结果。
5.根据权利要求1所述的人脸识别方法，其特征在于，所述根据所述分类信息和所述关键点信息，得到人脸识别结果包括：
根据所述关键点信息，得到仿射变换矩阵；
根据所述仿射变换矩阵对所述人脸框图进行仿射变换，得到对齐后的关键点信息；
将所述对齐后的关键点信息与预存的人脸底库进行信息比对，得到人脸识别结果。
6.一种基于多任务的人脸识别装置，其特征在于，包括：
人脸检测模块，用于获取待识别人脸图像，并根据所述待识别人脸图像进行人脸检测，得到人脸框图；
人脸识别模块，用于将所述人脸框图输入训练完成的人脸识别模型进行分类识别和关键点检测，得到分类信息和关键点信息；
结果比对模块，用于根据所述分类信息和所述关键点信息，得到人脸识别结果。
7.一种人脸识别网络模型，其特征在于，包括：
特征提取单元，用于根据所述人脸框图进行特征提取，得到特征信息；
分类识别单元，用于根据所述特征信息进行特征检测，得到分类信息；
关键点检测单元，用于根据所述特征信息进行关键点检测，得到关键点信息。
8.一种基于权利要求7所述的人脸识别网络模型的训练方法，其特征在于，包括：
将训练样本输入至待训练的人脸识别网络模型，得到预测分类信息和预测关键点信息；
根据所述预测分类信息与所述训练样本相应的真实分类信息，计算第一损失值；
根据所述预测关键点信息与所述训练样本相应的真实关键点信息，计算第二损失值；
根据所述第一损失值和所述第二损失值更新网络模型参数并迭代训练，直到损失值收敛，得到训练完成的人脸识别网络模型。
9.一种人脸识别模组，其特征在于，包括相机、存储器及处理器；
所述相机用于采集待识别图像；
所述处理器用于执行存储在所述存储器上的计算机程序；
所述处理器执行所述计算机程序时，实现权利要求1至5中任意一项的所述基于多任务的人脸识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5中任意一项所述基于多任务的人脸识别方法或权利要求8所述人脸识别网络模型的训练方法的步骤。
CN202310140780.9A 2023-02-14 2023-02-14 基于多任务的人脸识别方法、网络模型、训练方法及介质 Pending CN116229546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310140780.9A CN116229546A (zh) 2023-02-14 2023-02-14 基于多任务的人脸识别方法、网络模型、训练方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310140780.9A CN116229546A (zh) 2023-02-14 2023-02-14 基于多任务的人脸识别方法、网络模型、训练方法及介质

Publications (1)

Publication Number Publication Date
CN116229546A true CN116229546A (zh) 2023-06-06

Family

ID=86569090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310140780.9A Pending CN116229546A (zh) 2023-02-14 2023-02-14 基于多任务的人脸识别方法、网络模型、训练方法及介质

Country Status (1)

Country Link
CN (1) CN116229546A (zh)

Similar Documents

Publication Publication Date Title
Meyer An alternative probabilistic interpretation of the huber loss
CN111814902A (zh) 目标检测模型训练方法、目标识别方法、装置和介质
CN107330439A (zh) 一种图像中物体姿态的确定方法、客户端及服务器
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
EP2091021A1 (en) Face authentication device
CN107316029B (zh) 一种活体验证方法及设备
CN113205057B (zh) 人脸活体检测方法、装置、设备及存储介质
Padmapriya et al. Real time smart car lock security system using face detection and recognition
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN109961062A (zh) 图像识别方法、装置、终端和可读存储介质
CN112001932A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN112241667A (zh) 图像检测方法、装置、设备及存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
Murtaza et al. PMHI: Proposals from motion history images for temporal segmentation of long uncut videos
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
CN113822256B (zh) 人脸识别方法、电子设备及存储介质
CN110688878B (zh) 活体识别检测方法、装置、介质及电子设备
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN116229546A (zh) 基于多任务的人脸识别方法、网络模型、训练方法及介质
CN115019364A (zh) 基于人脸识别的身份认证方法、装置、电子设备及介质
Mazumdar et al. Forgery detection in digital images through lighting environment inconsistencies
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
Chattopadhyay et al. Exploiting pose information for gait recognition from depth streams
Goenetxea Imaz et al. Efficient multi-task based facial landmark and gesture detection in monocular images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination