CN113255539A - 多任务融合的人脸定位方法、装置、设备及存储介质 - Google Patents

多任务融合的人脸定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113255539A
CN113255539A CN202110609385.1A CN202110609385A CN113255539A CN 113255539 A CN113255539 A CN 113255539A CN 202110609385 A CN202110609385 A CN 202110609385A CN 113255539 A CN113255539 A CN 113255539A
Authority
CN
China
Prior art keywords
face
detection model
face detection
updating
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110609385.1A
Other languages
English (en)
Other versions
CN113255539B (zh
Inventor
胡魁
戴磊
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110609385.1A priority Critical patent/CN113255539B/zh
Publication of CN113255539A publication Critical patent/CN113255539A/zh
Priority to PCT/CN2022/072186 priority patent/WO2022252635A1/zh
Application granted granted Critical
Publication of CN113255539B publication Critical patent/CN113255539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人脸识别技术领域，并公开了一种多任务融合的人脸定位方法、装置、设备及存储介质，通过将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型后，基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。能够解决人脸识别模型由于人脸姿态不均衡而导致的识别误差，提升人脸识别精度的同时能够保证识别效率。

Description

多任务融合的人脸定位方法、装置、设备及存储介质
技术领域
本申请涉及人脸识别技术领域，尤其涉及一种多任务融合的人脸定位方法、装置、设备及存储介质。
背景技术
目前，基于大数据的人脸识别技术，其识别性能主要依赖于采集的人脸数据质量，而由于人脸数据质量受众多因素的影响。因此，在进行人脸识别时，需要同时对跟踪的人脸进行质量判断，并选取质量较好的图像帧进行人脸识别。现有技术中就需要人脸跟踪模型与人脸质量判断模型对同一张图片进行识别，在有些情况下，进行人脸质量判断时甚至需要多个模型(例如光照模型，模糊模型，姿态判断模型，遮挡判断模型等)，这就导致整个人脸识别过程的算力较低，产生严重延时问题，影响用户的体验效果。
发明内容
本申请提供了一种多任务融合的人脸定位方法、装置、设备及存储介质，能够解决人脸识别模型由于人脸姿态不均衡而导致的识别误差，提升人脸识别精度的同时能够保证识别效率。
第一方面，本申请提供了一种多任务融合的人脸定位方法，所述方法包括：
将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数；
基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；
基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
第二方面，本申请还提供了一种多任务融合的人脸定位装置，包括：
第一得到模块，用于将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数；
第二得到模块，用于基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；
第三得到模块，用于基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
第三方面，本申请还提供了一种多任务融合的人脸定位设备，包括：
存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上第一方面所述的多任务融合的人脸定位方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的多任务融合的人脸定位方法的步骤。
本申请公开了一种多任务融合的人脸定位方法、装置、设备及存储介质，通过将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型后，基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。能够解决人脸识别模型由于人脸姿态不均衡而导致的识别误差，提升人脸识别精度的同时能够保证识别效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的多任务融合的人脸定位方法的实现流程图；
图2是图1中S101的具体实现流程图；
图3是图1中S102的具体实现流程图；
图4是本申请实施例提供的多任务融合的人脸定位装置的结构示意图；
图5是本申请实施例提供的多任务融合的人脸定位设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种多任务融合的人脸定位方法、装置、设备及存储介质。本申请实施例提供的多任务融合的人脸定位方法，通过将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型后，基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。能够解决人脸识别模型由于人脸姿态不均衡而导致的识别误差，提升人脸识别精度的同时能够保证识别效率。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请一实施例提供的多任务融合的人脸定位方法的示意流程图。该多任务融合的人脸定位方法可以由服务器或者终端实现，所述服务器可以是单个服务器或者服务器集群。所述终端可以是手持终端、笔记本电脑、可穿戴设备或者机器人等。
如图1所示，图1是本申请一实施例提供的多任务融合的人脸定位方法的实现流程图。具体包括：步骤S101至步骤S103。详述如下：
S101，将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数。
其中，至少两个与人脸识别相关联的模型可以是人脸定位模型、人脸质量检测模型，和/或人脸姿态识别模型等。示例性地，人脸定位模型用于从图像中定位人脸位置；人脸质量检测模型用于检测人脸是否存在遮挡以及存在遮挡的位置；人脸姿态识别模型用于识别人脸的各预设关键点是否存在较大幅度的姿态，例如是否存在闭眼、张嘴等姿态。在本实施例中，通过将具有不同功能的与人脸识别相关联的至少两个模型进行融合，使得融合之后的模型可以直接进行多任务人脸识别，例如同时进行人脸定位以及人脸质量检测(遮挡或者存在大幅度姿态)等，能够有效提升多任务识别的效率。
具体地，将至少两个与人脸识别相关联的模型进行融合，可以得到具有公共基础网络以及多个输出分支的第一人脸检测模型。
示例性地，如图2所示，图2是图1中S101的具体实现流程图。由图2可知，在本实施例中，S101包括S1011至S1013。详述如下：
S1011，分别获取至少两个与人脸识别相关联的模型的基础网络，将获取的各个所述基础网络的模型参数进行共享，构建所述第一人脸检测模型的所述公共网络结构。
其中，至少两个与人脸识别相关联的模型的基础网络可以分别由不同或者相同的卷积层构成；在本实施例中，将获取的各个所述基础网络的模型参数进行共享，构建所述第一人脸检测模型的所述公共网络结构的过程为将获取的各个与人脸识别相关联的模型的卷积层通过共享的方式分别进行合并，得到所有卷积层的合集，得到所述第一人脸检测模型的所述公共网络结构。
S1012，分别获取至少两个与人脸识别相关联的模型的损失函数，以获取的各个所述损失函数作为所述第一人脸检测模型的各个输出分支。
其中，各个与人脸识别相关联的模型的损失函数可以分别为在各个与人脸识别相关联的模型的训练过程中预设的分类函数，例如，绝对值损失函数，log对数损失函数，平方损失函数，指数损失函数，Hinge损失函数，交叉熵损失函数等。可以理解地，各个与人脸识别相关联的模型的损失函数可以相同，也可以不同，其主要由各个与人脸识别相关联的模型的用途进行确定，在此不再赘述。
S1013，基于所述公共网络结构和各个所述输出分支，得到所述第一人脸检测模型。
在本实施例中，所述第一人脸检测模型包括基础网络结构和多个输出分支，其中，基础网络结构为各个与人脸识别相关联的模型的卷积层的并集，多个输出分支分别为各个与人脸识别相关联的模型的损失函数。
S102，基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型。
在一实施例中，预设的损失权重为各个与人脸识别相关联的模型各自对应的损失函数的权重，各个预设的损失权重用于均衡各自对应损失函数在第一人脸检测模型拟合过程中的占比，分别根据各自对应损失函数的数量级调整损失函数的值。
进一步地，预设的损失权重随着对第一人脸检测模型的训练，以及根据第一人脸识别模型对不同任务场景识别要求的不同，可以进行调整。例如，在第一人脸识别模型用于人脸姿态精度要求较高的场景识别中，可以调整该场景识别下对应损失函数的权重，以提升第一人脸识别模型在该识别场景下的拟合能力。
其中，全量关键点损失函数可以表示为：
Figure BDA0003095395470000051
其中，Llmk的值用于表示人脸关键点是否有大幅度姿态，例如Llmk的值为1表示没有大幅度姿态，Llmk的值为0表示预设的人脸关键点处有大幅度姿态；z为识别得到的目标人脸关键点，y，p，r分别为预设的人脸关键点(例如，眼睛、嘴巴、鼻子等)，x为对应识别得到的目标关键点的变化幅度，θ为人脸关键点对应的姿态角变化大小。
在一实施例中，全量关键点损失函数主要用于对第一人脸检测模型训练过程中，针对第一人脸检测模型输出的对各个预设的人脸关键点，例如人脸轮廓、眼睛、嘴巴、鼻子等人脸关键点置信度的检测结果进行调整。
示例性地，如图3所示，图3是图1中S102的具体实现流程图。由图3可知，在本实施例中，S102包括S1021至S1022。详述如下：
S1021，根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数。
在一实施例中，所述根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数，可以包括：将所述训练样本集中的各个训练样本输入所述第一人脸检测模型，基于所述各个训练样本的预设数据标签，对所述第一人脸检测模型的各个输出分支进行参数更新；基于对所述第一人脸检测模型的各个输出分支的参数更新结果，反向更新所述第一人脸检测模型的所述公共网络结构。
S1022，基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型。
在一实施例中，所述基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型，可以包括：基于预设的所述损失权重均衡所述第一人脸检测模型的各个输出分支进行参数更新过程中的占比，根据各个输出分支的数量级调整各自对应的参数；基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
其中，所述第一人脸检测模型收敛稳定性由预设的人脸定位损失系数α’的值确定，具体地，α’可以表示为：
Figure BDA0003095395470000061
其中，α表示人脸定位的概率值，Llmk的值用于表示人脸关键点是否有大幅度姿态；θ为人脸关键点对应的姿态角变化大小；y，p，r分别为预设的人脸关键点(例如，眼睛、嘴巴、鼻子等)；maski表示定位到人脸的概率值。
其中，所述全量关键点损失函数包括对人脸姿态具有影响的人脸关键点置信度标签；所述基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型，可以包括：基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
示例性地，所述对人脸姿态具有影响的人脸关键点置信度标签与人脸关键点的遮挡程度以及人脸姿态角大小相关；在一实施例中，所述基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型，可以包括：基于所述对人脸姿态具有影响的人脸关键点置信度标签，确定人脸关键点的遮挡程度以及人脸姿态角大小；根据人脸关键点的遮挡程度以及人脸姿态角大小，更新所述第一人脸检测模型对人脸定位的损失系数；根据更新后的所述第一人脸检测模型对人脸定位的损失系数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
S103，基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
其中，基于所述第二人脸检测模型可以对待识别人脸进行人脸定位以及人脸质量检测；对应地，人脸质量检测包括人脸是否存在遮挡、人脸存在遮挡时，对应遮挡区域对应的人脸关键点、人脸关键点是否存在姿态变化以及存在姿态变化时对应的姿态角大小。
通过上述分析可知，本实施例提供的多任务融合的人脸定位方法，通过将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型后，基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。能够解决人脸识别模型由于人脸姿态不均衡而导致的识别误差，提升人脸识别精度的同时能够保证识别效率。
请参阅图4，图4是本申请实施例提供的多任务融合的人脸定位装置的结构示意图。该语音合成装置用于执行图1实施例所示的多任务融合的人脸定位方法的步骤。该多任务融合的人脸定位装置可以是单个服务器或服务器集群，或者该多任务融合的人脸定位装置可以是终端，该终端可以是手持终端、笔记本电脑、可穿戴设备或者机器人等。
如图4所示，多任务融合的人脸定位装置400包括：
第一得到模块401，用于将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数；
第二得到模块402，用于基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；
第三得到模块403，用于基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
在一实施例中，第一得到模块401，包括：
构建单元，用于分别获取至少两个与人脸识别相关联的模型的基础网络，将获取的各个所述基础网络的模型参数进行共享，构建所述第一人脸检测模型的所述公共网络结构；
获取单元，用于分别获取至少两个与人脸识别相关联的模型的损失函数，以获取的各个所述损失函数作为所述第一人脸检测模型的各个输出分支；
第一得到单元，用于基于所述公共网络结构和各个所述输出分支，得到所述第一人脸检测模型。
在一实施例中，第二得到模块402，包括：
更新单元，用于根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数；
确定单元，用于基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型。
在一实施例中，更新单元，包括：
第一更新子单元，用于将所述训练样本集中的各个训练样本输入所述第一人脸检测模型，基于所述各个训练样本的预设数据标签，对所述第一人脸检测模型的各个输出分支进行参数更新；
第二更新子单元，用于基于对所述第一人脸检测模型的各个输出分支的参数更新结果，反向更新所述第一人脸检测模型的所述公共网络结构。
在一实施例中，确定单元，包括：
调整子单元，用于基于预设的所述损失权重均衡所述第一人脸检测模型的各个输出分支进行参数更新过程中的占比，根据各个输出分支的数量级调整各自对应的参数；
更新子单元，用于基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
在一实施例中，所述全量关键点损失函数包括对人脸姿态具有影响的人脸关键点置信度标签；所述更新子单元，具体用于：
基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
在一实施例中，所述对人脸姿态具有影响的人脸关键点置信度标签与人脸关键点的遮挡程度以及人脸姿态角大小相关；所述更新子单元，具体用于：
基于所述对人脸姿态具有影响的人脸关键点置信度标签，确定人脸关键点的遮挡程度以及人脸姿态角大小；
根据人脸关键点的遮挡程度以及人脸姿态角大小，更新所述第一人脸检测模型对人脸定位的损失系数；
根据更新后的所述第一人脸检测模型对人脸定位的损失系数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的语音合成装置和各模块的具体工作过程，可以参考图1实施例所述的多任务融合的人脸定位方法实施例中的对应过程，在此不再赘述。
上述的语音合成方法可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的装置上运行。
请参阅图5，图5是本申请实施例提供的多任务融合的人脸定位设备的结构示意性框图。该多任务融合的人脸定位设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种多任务融合的人脸定位方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种多任务融合的人脸定位方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的多任务融合的人脸定位设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数；
基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；
基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
在一实施例中，所述将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，包括：
分别获取至少两个与人脸识别相关联的模型的基础网络，将获取的各个所述基础网络的模型参数进行共享，构建所述第一人脸检测模型的所述公共网络结构；
分别获取至少两个与人脸识别相关联的模型的损失函数，以获取的各个所述损失函数作为所述第一人脸检测模型的各个输出分支；
基于所述公共网络结构和各个所述输出分支，得到所述第一人脸检测模型。
在一实施例中，所述基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型，包括：
根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数；
基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型。
在一实施例中，所述根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数，包括：
将所述训练样本集中的各个训练样本输入所述第一人脸检测模型，基于所述各个训练样本的预设数据标签，对所述第一人脸检测模型的各个输出分支进行参数更新；
基于对所述第一人脸检测模型的各个输出分支的参数更新结果，反向更新所述第一人脸检测模型的所述公共网络结构。
在一实施例中，所述基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型，包括：
基于预设的所述损失权重均衡所述第一人脸检测模型的各个输出分支进行参数更新过程中的占比，根据各个输出分支的数量级调整各自对应的参数；
基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
在一实施例中，所述全量关键点损失函数包括对人脸姿态具有影响的人脸关键点置信度标签；
所述基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型，包括：
基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
在一实施例中，所述对人脸姿态具有影响的人脸关键点置信度标签与人脸关键点的遮挡程度以及人脸姿态角大小相关；
所述基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型，包括：
基于所述对人脸姿态具有影响的人脸关键点置信度标签，确定人脸关键点的遮挡程度以及人脸姿态角大小；
根据人脸关键点的遮挡程度以及人脸姿态角大小，更新所述第一人脸检测模型对人脸定位的损失系数；
根据更新后的所述第一人脸检测模型对人脸定位的损失系数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请图1实施例提供的多任务融合的人脸定位方法的步骤。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种多任务融合的人脸定位方法，其特征在于，所述方法包括：
将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数；
基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；
基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
2.根据权利要求1所述的多任务融合的人脸定位方法，其特征在于，所述将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，包括：
分别获取至少两个与人脸识别相关联的模型的基础网络，将获取的各个所述基础网络的模型参数进行共享，构建所述第一人脸检测模型的所述公共网络结构；
分别获取至少两个与人脸识别相关联的模型的损失函数，以获取的各个所述损失函数作为所述第一人脸检测模型的各个输出分支；
基于所述公共网络结构和各个所述输出分支，得到所述第一人脸检测模型。
3.根据权利要求1或2所述的多任务融合的人脸定位方法，其特征在于，所述基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型，包括：
根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数；
基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型。
4.根据权利要求3所述的多任务融合的人脸定位方法，其特征在于，所述根据所述训练样本集中各个训练样本的预设数据标签，更新所述第一人脸检测模型的参数，包括：
将所述训练样本集中的各个训练样本输入所述第一人脸检测模型，基于所述各个训练样本的预设数据标签，对所述第一人脸检测模型的各个输出分支进行参数更新；
基于对所述第一人脸检测模型的各个输出分支的参数更新结果，反向更新所述第一人脸检测模型的所述公共网络结构。
5.根据权利要求4所述的多任务融合的人脸定位方法，其特征在于，所述基于预设的所述损失权重均衡所述第一人脸检测模型的参数更新，基于所述全量关键点损失函数，确定参数更新后的所述第一人脸检测模型的收敛度，得到所述第二人脸检测模型，包括：
基于预设的所述损失权重均衡所述第一人脸检测模型的各个输出分支进行参数更新过程中的占比，根据各个输出分支的数量级调整各自对应的参数；
基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
6.根据权利要求5所述的多任务融合的人脸定位方法，其特征在于，所述全量关键点损失函数包括对人脸姿态具有影响的人脸关键点置信度标签；
所述基于所述全量关键点损失函数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型，包括：
基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
7.根据权利要求6所述的多任务融合的人脸定位方法，其特征在于，所述对人脸姿态具有影响的人脸关键点置信度标签与人脸关键点的遮挡程度以及人脸姿态角大小相关；
所述基于所述对人脸姿态具有影响的人脸关键点置信度标签，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型，包括：
基于所述对人脸姿态具有影响的人脸关键点置信度标签，确定人脸关键点的遮挡程度以及人脸姿态角大小；
根据人脸关键点的遮挡程度以及人脸姿态角大小，更新所述第一人脸检测模型对人脸定位的损失系数；
根据更新后的所述第一人脸检测模型对人脸定位的损失系数，更新所述第一人脸检测模型对人脸关键点置信度的检测结果，直至所述第一人脸检测模型收敛稳定，得到所述第二人脸检测模型。
8.一种多任务融合的人脸定位装置，其特征在于，包括：
第一得到模块，用于将至少两个与人脸识别相关联的模型进行融合，得到第一人脸检测模型，所述第一人脸检测模型包括所述相关联的模型的公共网络结构、若干个输出分支、每个所述输出分支各自对应的损失函数；
第二得到模块，用于基于预设的损失权重和全量关键点损失函数，对所述第一人脸检测模型根据训练样本集进行训练，得到第二人脸检测模型；
第三得到模块，用于基于所述第二人脸检测模型对待识别人脸进行检测，得到对所述待识别人脸的人脸定位结果和人脸质量检测结果。
9.一种多任务融合的人脸定位设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的多任务融合的人脸定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的多任务融合的人脸定位方法的步骤。
CN202110609385.1A 2021-06-01 2021-06-01 多任务融合的人脸定位方法、装置、设备及存储介质 Active CN113255539B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110609385.1A CN113255539B (zh) 2021-06-01 2021-06-01 多任务融合的人脸定位方法、装置、设备及存储介质
PCT/CN2022/072186 WO2022252635A1 (zh) 2021-06-01 2022-01-14 多任务融合的人脸定位方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110609385.1A CN113255539B (zh) 2021-06-01 2021-06-01 多任务融合的人脸定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113255539A true CN113255539A (zh) 2021-08-13
CN113255539B CN113255539B (zh) 2024-05-10

Family

ID=77185716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110609385.1A Active CN113255539B (zh) 2021-06-01 2021-06-01 多任务融合的人脸定位方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN113255539B (zh)
WO (1) WO2022252635A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252635A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666873A (zh) * 2020-06-05 2020-09-15 汪金玲 一种基于多任务深度学习网络的训练方法、识别方法及系统
CN111860259A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112380923A (zh) * 2020-10-26 2021-02-19 天津大学 基于多任务的智能自主视觉导航与目标检测方法
WO2021051611A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、系统、装置及存储介质
CN112580572A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 多任务识别模型的训练方法及使用方法、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11556784B2 (en) * 2019-11-22 2023-01-17 Samsung Electronics Co., Ltd. Multi-task fusion neural network architecture
CN111325108B (zh) * 2020-01-22 2023-05-26 中能国际高新科技研究院有限公司 一种多任务网络模型及使用方法、装置、和存储介质
CN111814706B (zh) * 2020-07-14 2022-06-24 电子科技大学 基于多任务卷积神经网络的人脸识别及属性分类方法
CN113255539B (zh) * 2021-06-01 2024-05-10 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051611A1 (zh) * 2019-09-19 2021-03-25 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、系统、装置及存储介质
CN111666873A (zh) * 2020-06-05 2020-09-15 汪金玲 一种基于多任务深度学习网络的训练方法、识别方法及系统
CN111860259A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 驾驶检测模型的训练、使用方法、装置、设备及介质
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112380923A (zh) * 2020-10-26 2021-02-19 天津大学 基于多任务的智能自主视觉导航与目标检测方法
CN112580572A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 多任务识别模型的训练方法及使用方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RANJAN, R ET AL.: "HyperFace: A Deep Multi-Task Learning Framework for Face Detection, Landmark Localization, Pose Estimation, and Gender Recognition", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 41, no. 1, pages 3 - 5 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252635A1 (zh) * 2021-06-01 2022-12-08 平安科技（深圳）有限公司 多任务融合的人脸定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113255539B (zh) 2024-05-10
WO2022252635A1 (zh) 2022-12-08

Similar Documents

Publication Publication Date Title
CN111461203A (zh) 跨模态处理方法、装置、电子设备和计算机存储介质
US9349076B1 (en) Template-based target object detection in an image
US9460398B2 (en) Apparatus and method for recognizing user activity
WO2020244075A1 (zh) 手语识别方法、装置、计算机设备及存储介质
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
CN111582021A (zh) 场景图像中的文本检测方法、装置及计算机设备
CN109743311A (zh) 一种WebShell检测方法、装置及存储介质
CN110287775B (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN111783626B (zh) 图像识别方法、装置、电子设备及存储介质
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN108986137B (zh) 人体跟踪方法、装置及设备
CN109710788A (zh) 图像样本标注和管理方法及设备
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
WO2019000817A1 (zh) 手势识别控制方法和电子设备
CN108960046A (zh) 一种训练数据采样方法及其装置、计算机服务器
CN111401318A (zh) 动作识别方法及装置
CN113255539B (zh) 多任务融合的人脸定位方法、装置、设备及存储介质
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN109034199A (zh) 数据处理方法及装置、存储介质和电子设备
CN115063656A (zh) 图像检测方法、装置、计算机可读存储介质及电子设备
CN114925651A (zh) 一种电路走线确定方法及相关设备
CN114360027A (zh) 一种特征提取网络的训练方法、装置及电子设备
CN113822097B (zh) 单视角人体姿态识别方法、装置、电子设备和存储介质
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056147

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant