CN116030517A - 模型训练方法、人脸识别方法、装置以及计算机存储介质 - Google Patents

模型训练方法、人脸识别方法、装置以及计算机存储介质 Download PDF

Info

Publication number
CN116030517A
CN116030517A CN202211678698.3A CN202211678698A CN116030517A CN 116030517 A CN116030517 A CN 116030517A CN 202211678698 A CN202211678698 A CN 202211678698A CN 116030517 A CN116030517 A CN 116030517A
Authority
CN
China
Prior art keywords
face
features
key point
core
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211678698.3A
Other languages
English (en)
Inventor
许愿权
李亚鹏
王宁波
郭思郁
朱树磊
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202211678698.3A priority Critical patent/CN116030517A/zh
Publication of CN116030517A publication Critical patent/CN116030517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提出一种模型训练方法、人脸识别方法、装置以及计算机可读存储介质，所述模型训练方法包括：提取人脸图像的人脸特征；将人脸特征输入待训练模型的热力图输出网络，获取人脸特征的核心关键点热力图；获取核心关键点热力图的人脸关键点偏移坐标；按照核心关键点热力图和真实人脸核心点，获取第一损失值；按照人脸关键点偏移坐标和真实人脸关键点偏移坐标，获取第二损失值；基于第一损失值和所述第二损失值对所述待训练模型进行训练。通过上述方法，使得待训练模型既能有热力图对核心点的准确估计优势，又有使用回归网络回归关键点时能够保留人脸整体结构信息的优势，从而使得待训练模型能够更加准确的估计人脸关键点。

Description

模型训练方法、人脸识别方法、装置以及计算机存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种模型训练方法、人脸识别方法、装置以及计算机存储介质。
背景技术
人脸关键点检测旨在从输入图像中获取指定数目的坐标点以用来表示人脸以及人脸各部位如眉毛，眼睛，鼻子，嘴巴以及人脸轮廓等在图像上的位置。基于人脸关键点检测的结果，可以进行后续的各种面部分析任务或者针对人脸的处理任务，如人脸识别，表情识别，三维人脸重建，自动面部美颜，美妆或者是添加特效等。所以人脸关键点检测与人脸检测类似，都是众多人脸相关任务的重要前提步骤，因此人脸关键点检测也一直是人脸领域的一大热门领域。但是人脸关键点检测的准确率受到输入图像中人脸的质量的影响，当人脸处于模糊，遮挡或者不良光照条件的影响下是，人脸关键点的准确率将会大大降低，而研究人员也一直在探索新的方法用以更加准确的检测人脸关键点。
早期阶段，研究人员采用各种模型如主动形状模型(Active Shape Model，ASM)，主动外观模型(Active Appearance Model,AAM)来估计人脸关键点的位置，这些方法通过迭代拟合，寻找最优的模型参数以使模型能够最好的拟合输入人脸，再从拟合的模型中提取出人脸关键点。由于这些基于模型的方法需要进行迭代拟合，运行效率低下，因此有研究人员提出采用独立的局部检测器或者回归器来对每个人脸关键点进行检测，再使用全局的形状模型如局部约束模型(Constrain Local Model，CLM)，可形变部件模型(DeformablePart Model，DPM)等对人脸关键点坐标进行约束调整，进而得到最终的人脸关键点。随着深度学习技术的发展，深度学习强大学习拟合能力大大提高了人脸关键点检测的准确率，并且有大量的基于深度学习的方法被提出以用来检测人脸关键点。
发明内容
为解决上述技术问题，本申请提出了一种模型训练方法人脸识别方法、装置以及计算机存储介质。
为解决上述技术问题，本申请提出了一种模型训练方法，包括：
获取待训练的人脸图像，并提取所述人脸图像的人脸特征；将所述人脸特征输入待训练模型的热力图输出网络，获取所述人脸特征的核心关键点热力图；将所述核心关键点热力图输入所述待训练模型的偏移坐标输出网络，获取所述核心关键点热力图的人脸关键点偏移坐标；按照所述核心关键点热力图和真实人脸核心点，获取第一损失值；按照所述人脸关键点偏移坐标和真实人脸关键点偏移坐标，获取第二损失值；基于所述第一损失值和所述第二损失值对所述待训练模型进行训练。
其中，所述核心关键点热力图包括人脸核心点热力图和分类核心图，所述人脸图像内包括若干人脸；
其中，所述将所述人脸特征输入待训练模型的热力图输出网络，获取所述人脸特征的核心关键点热力图之后，包括：按照所述分类核心图和真实人脸分类，获取第三损失值；基于第一损失值、第二损失值以及第三损失值对所述待训练模型进行训练。
其中，所述提取所述人脸图像的人脸特征，包括：将所述人脸图像输入到所述待训练模型的特征提取网络，获取所述人脸图像的人脸特征；其中，所述特征提取网络包括第一卷积网络、第二卷积网络以及第三卷积网络，所述第一卷积网络用于提取所述人脸图像的原始尺寸人脸特征，所述第二卷积网络用于提取所述人脸图像的第一下采样尺寸人脸特征，所述第三卷积网络用于提取所述人脸图像的第二下采样尺寸人脸特征，所述特征提取网络输出的人脸特征由所述原始尺寸人脸特征、所述第一下采样尺寸人脸特征以及所述第二下采样尺寸人脸特征融合得到。
其中，所述获取所述人脸图像的人脸特征，包括：在特征提取过程中，将所述原始尺寸人脸特征按照所述第一下采样尺寸人脸特征和所述第二下采样尺寸人脸特征进行下采样，得到第一原始尺寸人脸特征和第二原始尺寸人脸特征；将所述第一原始尺寸人脸特征和所述第一下采样尺寸人脸特征进行融合，得到第一融合人脸特征；将所述第二原始尺寸人脸特征和所述第二下采样尺寸人脸特征进行融合，得到第二融合人脸特征；按照所述原始尺寸人脸特征将所述第一融合人脸特征和所述第二融合人脸特征进行上采样，并与所述原始尺寸人脸特征进行融合，得到所述人脸图像的人脸特征。
其中，所述将所述第二原始尺寸人脸特征和所述第二下采样尺寸人脸特征进行融合，得到第二融合人脸特征，包括：将所述第一下采样尺寸人脸特征按照所述第二下采样尺寸人脸特征进行下采样，得到第三下采样尺寸人脸特征；将所述第二原始尺寸人脸特征、所述第二下采样尺寸人脸特征和所述第三下采样尺寸人脸特征进行融合，得到所述第二融合人脸特征。
其中，所述热力图输出网络包括叠加的若干沙漏块组成，每一沙漏块包括若干残差模块、下采样模块以及下采样模块。
为解决上述技术问题，本申请提出一种人脸识别方法，所述人脸识别方法包括：获取人脸图像；将所述人脸图像输入到预先训练好的人脸识别模型中，获取所述人脸识别模型输出的人脸核心关键点，以及人脸关键点偏移坐标；根据所述人脸核心关键点和人脸关键点偏移坐标确定所述人脸图像对应的人脸关键点；其中，所述人脸识别模型由上述模型训练方法训练所得。
其中，所述根据所述人脸核心关键点和人脸关键点偏移坐标确定所述人脸图像对应的人脸关键点，包括：获取所述人脸识别模型输出的分类核心图；按照最大值求参函数计算所述人脸核心关键点和所述分类核心图，获取各人脸关键点坐标；按照所述各人脸关键点坐标关联的分类核心图，获取关联的人脸关键点偏移坐标；将所述各人脸关键点坐标与其关联的人脸关键点偏移坐标相加，得到各人脸的人脸关键点。
为解决上述技术问题，本申请提出一种人脸识别装置，所述人脸识别装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据上述模型训练方法和/或上述人脸识别方法。
为解决上述技术问题，本申请提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述模型训练方法和/或上述的人脸识别方法。
与现有技术相比，本申请的有益效果是：人脸识别装置获取待训练的人脸图像，并提取人脸图像的人脸特征；将人脸特征输入待训练模型的热力图输出网络，获取人脸特征的核心关键点热力图；将核心关键点热力图输入所述待训练模型的偏移坐标输出网络，获取核心关键点热力图的人脸关键点偏移坐标；按照核心关键点热力图和真实人脸核心点，获取第一损失值；按照人脸关键点偏移坐标和真实人脸关键点偏移坐标，获取第二损失值；基于第一损失值和所述第二损失值对所述待训练模型进行训练。通过上述方式，针对现有的人脸关键点检测方案要么只采用回归网络直接回归人脸关键点坐标或者只采用热力图的方式输出人脸关键点热力图在计算得到人脸关键点的形式，本申请提出了使用热力图估计核心人脸关键点的中心位置，按照核心关键点热力图和真实人脸核心点的损失值和人脸关键点偏移坐标和真实人脸关键点偏移坐标的损失值对待训练模型进行训练，使得待训练模型既能有热力图对核心点的准确估计优势，又有使用回归网络回归关键点时能够保留人脸整体结构信息的优势，从而使得待训练模型能够更加准确的估计人脸关键点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1是本申请提供的模型训练方法的第一实施例的流程示意图；
图2是本申请提供的模型训练方法的第二实施例的流程示意图；
图3是本申请提供的模型训练方法的特征提取流程示意图；
图4是本申请提供的模型训练方法的关键点检测流程示意图；
图5是本申请提供的模型训练方法的整体流程示意图；
图6是本申请提供的人脸识别方法的一实施例的流程示意图；
图7是本申请提供的人脸识别方法的一实施例中步骤S33的子步骤流程示意图；
图8是本申请提供的人脸识别装置一实施例的结构示意图；
图9是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
具体请参阅图1，图1是本申请提供的模型训练方法的第一实施例的流程示意图；
本申请的模型训练方法应用于一种人脸识别装置，其中，本申请的人脸识别装置可以为服务器，也可以为本地终端，还可以为由服务器和本地终端相互配合的系统。相应地，表情识别装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于本地终端中，还可以分别设置于服务器和本地终端中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
如图1所示，其具体步骤如下：
步骤S11：获取待训练的人脸图像，并提取人脸图像的人脸特征。
具体地，人脸识别装置获取待训练的人脸图像，其中，人脸识别装置可以获取监控视频进行截取，或者也可以直接输入人脸视频帧或者人脸图像，该人脸图像可以为多张人脸图像或者多人脸图像。
在本申请一实施例中，在人脸识别装置获取待训练的人脸图像后，还包括预处理过程，人脸识别装置对于输入的待训练的人脸图像，进行缩放操作，使整张图片的大小变成统一的384×288像素大小，并且对图像内的元素进行归一化操作，即所有像素均除以255，使图像内的所有像素归一化到[0,1]的区间内，保证人脸图像的统一。同时，人脸识别装置对图像添加随机的高斯噪声以及模糊并且进行随机的横向翻转操作，使得训练出来的模型能够适应更多复杂场景。
本申请提出一实施例，具体请参见图2和图3，图2是本申请提供的模型训练方法的第二实施例的流程示意图；图3是本申请提供的模型训练方法的特征提取流程示意图，人脸识别装置将预处理后的图像输入到人脸图像输入到所述待训练模型的特征提取网络，进行特征提取，获取人脸图像的人脸特征。
其中，本实施例中的特征提取网络包括第一卷积网络、第二卷积网络以及第三卷积网络，第一卷积网络用于提取所述人脸图像的原始尺寸人脸特征，第二卷积网络用于提取所述人脸图像的第一下采样尺寸人脸特征，第三卷积网络用于提取所述人脸图像的第二下采样尺寸人脸特征，特征提取网络输出的人脸特征由原始尺寸人脸特征、第一下采样尺寸人脸特征以及第二下采样尺寸人脸特征融合得到。
在本申请其他实施例中，可以使用任何一种特征提取方法或者特征提取网络进行特征提取。
如图2所示，其具体步骤如下：
步骤S21：在特征提取过程中，将原始尺寸人脸特征按照第一下采样尺寸人脸特征和第二下采样尺寸人脸特征进行下采样，得到第一原始尺寸人脸特征和第二原始尺寸人脸特征。
具体地，如图3所示，人脸识别装置将待训练的人脸图像输入到待训练网络的特征提取网络，对待训练的人脸图像使用第一卷积块提取特征后，使用最大值池化对该特征进行两次下采样，获取变为原来的1/2得到第一原始尺寸人脸特征以及变为原来的1/4得到第二原始尺寸人脸特征。
步骤S22：将第一原始尺寸人脸特征和第一下采样尺寸人脸特征进行融合，得到第一融合人脸特征。
具体地，人脸识别装置将第一原始尺寸人脸特征和第一下采样尺寸人脸特征进行融合，即将大尺寸特征图中提取到的特征继续使用最大值池化下采样到原来的1/2，并叠加到小尺寸的特征图上面，以便多尺度特征的融合。
步骤S23：将第二原始尺寸人脸特征和第二下采样尺寸人脸特征进行融合，得到第二融合人脸特征。
具体地，人脸识别装置可以将第二原始尺寸人脸特征和第二下采样尺寸人脸特征进行融合，即将大尺寸特征图中提取到的特征继续使用最大值池化下采样到原来的1/4，并叠加到小尺寸的特征图上面，以便多尺度特征的融合。
进一步地，如图3所示，人脸识别装置可以将第一下采样尺寸人脸特征按照第二下采样尺寸人脸特征继续下采样，得到第三下采样尺寸人脸特征，实现第三下采样尺寸人脸特征与第二下采样尺寸人脸特征的特征融合，以及第三下采样尺寸人脸特征、第二下采样尺寸人脸特征以及第二原始尺寸人脸特征的特征融合。
为了整合不同尺度之间的特征，在后续的处理操作中将大尺寸特征图中提取到的特征继续使用最大值池化下采样到原来的1/2以及1/4，并叠加到小尺寸的特征图上面，以便多尺度特征的融合。
步骤S24：按照原始尺寸人脸特征将第一融合人脸特征和第二融合人脸特征进行上采样，并与原始尺寸人脸特征进行融合，得到人脸图像的人脸特征。
具体地，人脸识别装置在形成输出特征前，分别对1/2大小的第一融合人脸特征以及1/4大小的第二融合人脸特征进行上采样操作，叠加到原始尺寸的特征图上，进一步融合不同尺度的特征，最后在经过一个卷积块之后，得到最终的人脸特征输出。
通过上述方式，针对多人脸中可能存在的多尺度人脸图像，将多个尺度的特征进行融合，充分利用输入图像中的局部信息以及全局信息，从而能够准确的对各种尺度的人脸进行人脸关键点检测。
步骤S12：将人脸特征输入待训练模型的热力图输出网络，获取人脸特征的核心关键点热力图。
其中，在本实施例中，热力图输出网络包括叠加的若干沙漏块(Hourglass块)组成，每一沙漏块包括若干残差模块、下采样模块以及下采样模块。
热力图输出网络由两个带跳层连接的Hourglass块叠加在一起组成，每一个沙漏块均由4个残差模块，1个最大值池化下采样以及1个上采样模块组成。带跳层连接的沙漏块能够整合局部以及全局的信息，能够尽可能的保留多个尺度的信息，从而使得尺度可能相差较大的人脸核心关键点都能被检测到。
步骤S13：将核心关键点热力图输入待训练模型的偏移坐标输出网络，获取核心关键点热力图的人脸关键点偏移坐标。
具体地，如图4所示，图4是本申请提供的模型训练方法的关键点检测流程示意图，人脸识别装置将步骤S12中输出的核心关键点热力图输入到待训练模型的偏移坐标输出网络，根据人脸关键点相对于人脸核心关键点的偏移程度，获取核心关键点热力图的人脸关键点偏移坐标。
其中，在本申请一实施例中，人脸核心关键点为左眼中心，右眼中心，鼻尖或者嘴巴中心，在其他实施例中，人脸核心关键点还可以为其他脸部器官部位，可以通过预先主动选取或者自动识别最佳核心点位的方式进行设置选取。
其中，人脸关键点为除了人脸核心关键点之外的人脸关键点位，例如，当人脸核心关键点为左眼中心，右眼中心，鼻尖或者嘴巴中心时，人脸关键点可以为额头中心、脸颊、人脸轮廓点、下巴等。
进一步地，在本申请一实施例中，人脸关键点位的识别数量可以进行预先设定，在本申请其他实施例中，人脸识别装置还可以根据人脸识别的难易程度和清晰程度决定，当人脸识别装置通过训练好的人脸识别模型获取人脸核心关键点坐标后，训练好的人脸识别模型可以通过对人脸图像的像素值、清晰度进行解析，进而判断完整识别该人脸图像需要多少人脸关键点，进而获取相应数量的人脸关键点相对于人脸核心关键点偏移坐标。例如，当输入人脸图像足够完整、清晰时，人脸识别装置只需要识别数量较少的人脸关键点即可获取整个人脸关键点坐标，进而完成人脸识别。
在本实施例中，偏移坐标输出网络采用回归网络设计，回归网络采用全连接网络(Fully Connected Network)网络结构，输出大小为[B,N,k1,k2]的向量，其中，B为批次大小，N为每张人脸的人脸关键点数量*2(x，y坐标)，k1*k2＝K,其中K是预设的最大人脸数目。
步骤S14：按照核心关键点热力图和真实人脸核心点，获取第一损失值。
具体地，人脸识别装置按照热力图输出网络输出的核心关键点热力图的预测核心关键点热力图和真实人脸核心点热力图，采用热力图损失函数adaptive wing(Awing)loss对核心关键点热力图进行约束，获取第一损失值，公式定义如下：
Figure BDA0004018224690000101
Figure BDA0004018224690000102
其中A和C为：
Figure BDA0004018224690000103
Figure BDA0004018224690000104
其中ω,θ,∈以及α均为正值。
步骤S15：按照人脸关键点偏移坐标和真实人脸关键点偏移坐标，获取第二损失值。
具体地，人脸识别装置按照人脸关键点偏移坐标的预测值和真实人脸关键点偏移坐标，采用L1损失函数对其进行约束，获取第二损失值。具体公式如下：
Figure BDA0004018224690000105
其中Kv为有效的人脸数目，Kv总是小于等于预设的最大人脸数目K，off为估计的人脸关键点偏移坐标，offgt为真实的人脸关键点偏移坐标。
进一步地，在本申请一实施例中，核心关键点热力图包括人脸核心点热力图和分类核心图，人脸图像内包括若干人脸，具体请参见图5，图5是本申请提供的模型训练方法的整体流程示意图，在本申请一实施例中，热力图输出网络还包括核心关键点热力图和分类核心图。
将人脸特征输入待训练模型的热力图输出网络，获取所述人脸特征的核心关键点热力图之后，人脸识别装置按照分类核心图和真实人脸分类，获取第三损失值。进一步人脸识别装置基于第一损失值、第二损失值以及第三损失值对所述待训练模型进行训练。
在本实施例中，热力图输出模块的输入为上一个特征提取网络中提取到的特征，并且输出大小为[B,8,H,W]的特征图，其中B为批次大小,H为输入图像的高度，W为输入图像的宽度，8个channel中前四个channel分别为左眼中心，右眼中心，鼻尖以及嘴巴中心的核心关键点热力图，后四个channel分别为左眼中心，右眼中心，鼻尖以及嘴巴中心的分类图，用来指明前4个channel中各热点图中热点位置分别属于哪张人脸的对应核心关键点。
对于输出的分类图，采用Focal Loss对核心分类图中的结果进行约束，根据公式定义如下：
Figure BDA0004018224690000111
其中pt如下，p表示该点是某一分类的概率：
pt＝p if y＝1
pt＝1-p otherwise
在本实施例中，待训练模型的整体损失函数如下：
Figure BDA0004018224690000112
通过上述方式，能够在不需要额外的人脸检测网络对人脸进行检测并裁剪出对应的人脸图像以进行人脸关键点检测，只需要将多人脸图像输入到本方法提出的人脸关键点检测模块中，便能够一次性得到图像上所有人脸关键点的坐标，避免了因为多个人脸需要进行多次裁剪以及运行多次人脸关键点检测模块，大大减少了多人脸关键点检测耗时，提高人脸检测模型的训练效果。
步骤S16：基于第一损失值和第二损失值对待训练模型进行训练。
整个人脸关键点检测模块的总损失函数如下：
Figure BDA0004018224690000121
通过步骤S11-步骤S16，针对现有的人脸关键点检测方案要么只采用回归网络直接回归人脸关键点坐标或者只采用热力图的方式输出人脸关键点热力图在计算得到人脸关键点的形式，本申请提出了使用热力图估计核心人脸关键点的中心位置，按照核心关键点热力图和真实人脸核心点的损失值和人脸关键点偏移坐标和真实人脸关键点偏移坐标的损失值对待训练模型进行训练，使得待训练模型既能有热力图对核心点的准确估计优势，又有使用回归网络回归关键点时能够保留人脸整体结构信息的优势，从而使得待训练模型能够更加准确的估计人脸关键点。
本申请采用核心关键点热力图+关键点偏移坐标结合的方式进行人脸关键点估计，能够充分利用热力图以及回归网络直接回归关键点两者的共同优势，热力图在关键点的定位精确度上要比使用回归网络直接回归所有关键点的定位精确度高，但是在人脸存在大角度或者被遮挡的情况下，点的位置可能会出现混乱，丧失人脸关键点应该具有的结构性信息，比如眼睛嘴巴鼻子等的关键点应该在人脸轮廓关键点的内部，并且各部位的相对位置分布需要符合人脸上对应部位；而使用回归网络直接回归人脸关键点能够保留人脸关键点原有的结构性信息，即使遇到严重遮挡或者极端大角度的情况，整个人脸的关键点坐标也会维持基本的人脸形状，不会出现关键点紊乱的情况。采用热力图估计人脸核心关键点的位置，并且使用回归网络回归人脸关键点偏移坐标，能够充分利用热力图对关键点估计准确的优势，同时关键点的偏移坐标是采用回归网络回归出来的，因此也能充分保留关键点之间的结构信息，从而能够更加准确的估计人脸关键点。
本申请提出一种人脸识别方法，用于利用上述任一实施例中所述的模型训练方法获取的训练好的人脸识别模型来确定人脸关键点。具体请参见图6，图6是本申请提供的人脸识别方法的一实施例的流程示意图。
如图6所示，其具体步骤如下：
步骤S31：获取人脸图像。
具体地，人脸识别装置多张人脸图像或者多人脸图像，该人脸图像可以来源于图像输入，也可以来源于视频截取。
步骤S32：将人脸图像输入到预先训练好的人脸识别模型中，获取人脸识别模型输出的人脸核心关键点，以及人脸关键点偏移坐标。
具体地，人脸识别装置将人脸图像输入到上述实施例中预先训练好的人脸识别模型中，获取人识别模型输出的人脸核心关键点的位置，进而获取人脸核心关键点的坐标，人脸识别装置根据人脸核心关键点坐标继续获取其他人脸关键点的相对于人脸核心关键点坐标的偏移坐标。
其中，在本申请一实施例中，人脸核心关键点为左眼中心，右眼中心，鼻尖或者嘴巴中心，在其他实施例中，人脸核心关键点还可以为其他脸部器官部位，可以通过预先主动选取或者自动识别最佳核心点位的方式进行设置选取。
其中，人脸关键点为除了人脸核心关键点之外的人脸关键点位，例如，当人脸核心关键点为左眼中心，右眼中心，鼻尖或者嘴巴中心时，人脸关键点可以为额头中心、脸颊、人脸轮廓点、下巴等。
进一步地，在本申请一实施例中，人脸关键点位的识别数量可以进行预先设定，在本申请其他实施例中，人脸识别装置还可以根据人脸识别的难易程度和清晰程度决定，当人脸识别装置通过训练好的人脸识别模型获取人脸核心关键点坐标后，训练好的人脸识别模型可以通过对人脸图像的像素值、清晰度进行解析，进而判断完整识别该人脸图像需要多少人脸关键点，进而获取相应数量的人脸关键点相对于人脸核心关键点偏移坐标。例如，当输入人脸图像足够完整、清晰时，人脸识别装置只需要识别数量较少的人脸关键点即可获取整个人脸关键点坐标，进而完成人脸识别。
步骤S33：根据人脸核心关键点和人脸关键点偏移坐标确定人脸图像对应的人脸关键点。
具体地，人脸识别装置按照人脸核心关键点和人脸关键点相对于人脸核心关键点的偏移坐标确定人脸图像对应的全部人脸关键点。
为了能够根据人脸核心关键点和人脸关键点偏移坐标确最终的人脸图像对应的人脸关键点，本申请提出步骤S33的子步骤，使用分类核心图最大值求参函数确定最终的人脸关键点。具体请参见图7，图7是本申请提供的人脸识别方法的一实施例中步骤S33的子步骤流程示意图。
如图7所示，其具体步骤如下：
步骤S331：获取人脸识别模型输出的分类核心图。
具体地，人脸识别装置将人脸图像输入到上述实施例中训练好的人脸识别模型中，获取人脸识别模型中热力图输出网络输出的分类核心图。
其中，分类核心图用于指明核心关键点热力图中热点位置分别属于哪张人脸的对应的人脸核心关键点。
步骤S332：按照最大值求参函数计算人脸核心关键点和分类核心图，获取各人脸关键点坐标。
步骤S333：按照各人脸关键点坐标关联的分类核心图，获取关联的人脸关键点偏移坐标。
具体地，人脸识别装置使用热力图输出网络中得到的核心关键点结合分类图，通过算法或者最大值求参函数，即argmax操作计算各人脸对应核心关键点在原图上的坐标，并使用对应类别关联偏移坐标输出网络得到的偏移坐标关键点。
步骤S334：将各人脸关键点坐标与其关联的人脸关键点偏移坐标相加，得到各人脸的人脸关键点。
具体地，人脸识别装置将将各人脸关键点坐标与其关联的人脸关键点偏移坐标相加，得到各人脸的人脸关键点。
通过上述方式，通过分类核心图，指明核心关键点热力图中热点位置分别属于哪张人脸的对应的人脸核心关键点，并将各人脸关键点坐标与其关联的人脸关键点偏移坐标相加，得到各人脸的人脸关键点能够在不需要额外的人脸检测网络对人脸进行检测并裁剪出对应的人脸图像以进行人脸关键点检测，只需要将多人脸图像输入到本方法提出的人脸关键点检测模块中，便能够一次性得到图像上所有人脸关键点的坐标，避免了因为多个人脸需要进行多次裁剪以及运行多次人脸关键点检测模块，大大减少了多人脸关键点检测耗时，提高人脸识别效率。
为实现上述模型训练方法和/或人脸识别方法，本申请还提出了一种人脸识别装置，具体请参阅图8，图8是本申请提供的人脸识别装置一实施例的结构示意图。
本实施例的人脸识别装置400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的模型训练方法和/或人脸识别方法。
在本申请实施例中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图9，图9是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质500中存储有计算机程序51，该计算机程序51在被处理器执行时，用以实现上述实施例的模型训练方法和/或人脸识别方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种模型训练方法，其特征在于，所述模型训练方法包括：
获取待训练的人脸图像，并提取所述人脸图像的人脸特征；
将所述人脸特征输入待训练模型的热力图输出网络，获取所述人脸特征的核心关键点热力图；
将所述核心关键点热力图输入所述待训练模型的偏移坐标输出网络，获取所述核心关键点热力图的人脸关键点偏移坐标；
按照所述核心关键点热力图和真实人脸核心点，获取第一损失值；
按照所述人脸关键点偏移坐标和真实人脸关键点偏移坐标，获取第二损失值；
基于所述第一损失值和所述第二损失值对所述待训练模型进行训练。
2.根据权利要求1所述的模型训练方法，其特征在于，
其中，所述核心关键点热力图包括人脸核心点热力图和分类核心图，所述人脸图像内包括若干人脸；
所述将所述人脸特征输入待训练模型的热力图输出网络，获取所述人脸特征的核心关键点热力图之后，包括：
按照所述分类核心图和真实人脸分类，获取第三损失值；
基于第一损失值、第二损失值以及第三损失值对所述待训练模型进行训练。
3.根据权利要求1所述的模型训练方法，其特征在于，
所述提取所述人脸图像的人脸特征，包括：
将所述人脸图像输入到所述待训练模型的特征提取网络，获取所述人脸图像的人脸特征；
其中，所述特征提取网络包括第一卷积网络、第二卷积网络以及第三卷积网络，所述第一卷积网络用于提取所述人脸图像的原始尺寸人脸特征，所述第二卷积网络用于提取所述人脸图像的第一下采样尺寸人脸特征，所述第三卷积网络用于提取所述人脸图像的第二下采样尺寸人脸特征，所述特征提取网络输出的人脸特征由所述原始尺寸人脸特征、所述第一下采样尺寸人脸特征以及所述第二下采样尺寸人脸特征融合得到。
4.根据权利要求3所述的模型训练方法，其特征在于，
所述获取所述人脸图像的人脸特征，包括：
在特征提取过程中，将所述原始尺寸人脸特征按照所述第一下采样尺寸人脸特征和所述第二下采样尺寸人脸特征进行下采样，得到第一原始尺寸人脸特征和第二原始尺寸人脸特征；
将所述第一原始尺寸人脸特征和所述第一下采样尺寸人脸特征进行融合，得到第一融合人脸特征；
将所述第二原始尺寸人脸特征和所述第二下采样尺寸人脸特征进行融合，得到第二融合人脸特征；
按照所述原始尺寸人脸特征将所述第一融合人脸特征和所述第二融合人脸特征进行上采样，并与所述原始尺寸人脸特征进行融合，得到所述人脸图像的人脸特征。
5.根据权利要求4所述的模型训练方法，其特征在于，
所述将所述第二原始尺寸人脸特征和所述第二下采样尺寸人脸特征进行融合，得到第二融合人脸特征，包括：
将所述第一下采样尺寸人脸特征按照所述第二下采样尺寸人脸特征进行下采样，得到第三下采样尺寸人脸特征；
将所述第二原始尺寸人脸特征、所述第二下采样尺寸人脸特征和所述第三下采样尺寸人脸特征进行融合，得到所述第二融合人脸特征。
6.根据权利要求1所述的模型训练方法，其特征在于，
所述热力图输出网络包括叠加的若干沙漏块组成，每一沙漏块包括若干残差模块、下采样模块以及下采样模块。
7.一种人脸识别方法，其特征在于，所述人脸识别方法包括：
获取人脸图像；
将所述人脸图像输入到预先训练好的人脸识别模型中，获取所述人脸识别模型输出的人脸核心关键点，以及人脸关键点偏移坐标；
根据所述人脸核心关键点和人脸关键点偏移坐标确定所述人脸图像对应的人脸关键点；
其中，所述人脸识别模型由权利要求1至6任一项所述的模型训练方法训练所得。
8.根据权利要求7所述的人脸识别方法，其特征在于，
所述根据所述人脸核心关键点和人脸关键点偏移坐标确定所述人脸图像对应的人脸关键点，包括：
获取所述人脸识别模型输出的分类核心图；
按照最大值求参函数计算所述人脸核心关键点和所述分类核心图，获取各人脸关键点坐标；
按照所述各人脸关键点坐标关联的分类核心图，获取关联的人脸关键点偏移坐标；
将所述各人脸关键点坐标与其关联的人脸关键点偏移坐标相加，得到各人脸的人脸关键点。
9.一种人脸识别装置，其特征在于，所述人脸识别装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至6任一项所述的模型训练方法和/或权利要求7至8任一项所述的人脸识别方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至6任一项所述的模型训练方法和/或权利要求7至8任一项所述的人脸识别方法。
CN202211678698.3A 2022-12-26 2022-12-26 模型训练方法、人脸识别方法、装置以及计算机存储介质 Pending CN116030517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211678698.3A CN116030517A (zh) 2022-12-26 2022-12-26 模型训练方法、人脸识别方法、装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211678698.3A CN116030517A (zh) 2022-12-26 2022-12-26 模型训练方法、人脸识别方法、装置以及计算机存储介质

Publications (1)

Publication Number Publication Date
CN116030517A true CN116030517A (zh) 2023-04-28

Family

ID=86075336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211678698.3A Pending CN116030517A (zh) 2022-12-26 2022-12-26 模型训练方法、人脸识别方法、装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN116030517A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958584A (zh) * 2023-09-21 2023-10-27 腾讯科技（深圳）有限公司 关键点检测方法、回归模型的训练方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958584A (zh) * 2023-09-21 2023-10-27 腾讯科技（深圳）有限公司 关键点检测方法、回归模型的训练方法、装置及电子设备
CN116958584B (zh) * 2023-09-21 2024-01-05 腾讯科技（深圳）有限公司 关键点检测方法、回归模型的训练方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Li et al. In ictu oculi: Exposing ai generated fake face videos by detecting eye blinking
Li et al. In ictu oculi: Exposing ai created fake videos by detecting eye blinking
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN108345818B (zh) 一种人脸活体检测方法及装置
CN111199230B (zh) 目标检测的方法、装置、电子设备及计算机可读存储介质
US11216652B1 (en) Expression recognition method under natural scene
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
CN107871098B (zh) 人脸特征点的获取方法和装置
Wimmer et al. Low-level fusion of audio and video feature for multi-modal emotion recognition
US20100111375A1 (en) Method for Determining Atributes of Faces in Images
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN107871103B (zh) 一种人脸认证方法和装置
US20240135956A1 (en) Method and apparatus for measuring speech-image synchronicity, and method and apparatus for training model
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN114140844A (zh) 人脸静默活体检测方法、装置、电子设备及存储介质
CN116030517A (zh) 模型训练方法、人脸识别方法、装置以及计算机存储介质
CN107153806B (zh) 一种人脸检测方法及装置
Gürel Development of a face recognition system
CN115862120B (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
WO2023124869A1 (zh) 用于活体检测的方法、装置、设备及存储介质
Liu et al. A3GAN: An attribute-aware attentive generative adversarial network for face aging
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置
CN110675312A (zh) 图像数据处理方法、装置、计算机设备以及存储介质
CN112347843A (zh) 一种训练皱纹检测模型的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination