CN112926379A - 一种构建人脸识别模型的方法及装置 - Google Patents

一种构建人脸识别模型的方法及装置 Download PDF

Info

Publication number
CN112926379A
CN112926379A CN202110020180.XA CN202110020180A CN112926379A CN 112926379 A CN112926379 A CN 112926379A CN 202110020180 A CN202110020180 A CN 202110020180A CN 112926379 A CN112926379 A CN 112926379A
Authority
CN
China
Prior art keywords
face
feature data
image
unmarked
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110020180.XA
Other languages
English (en)
Inventor
刘向阳
刘星
赵晨旭
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110020180.XA priority Critical patent/CN112926379A/zh
Publication of CN112926379A publication Critical patent/CN112926379A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种构建人脸识别模型的方法及装置，其中，该方法包括：获取标签标记的人脸标记图像集及未进行标签标记的人脸未标记图像集；对人脸标记图像集进行数据增强，得到人脸标记增强图像集；将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器，得到人脸标签特征数据集及人脸标签增强特征数据集；人脸未标记图像集输入第二编码器，得到人脸未标记特征数据集；基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算融合损失，若融合损失不满足收敛条件，更新第一编码器，利用更新的第一编码器更新第二编码器，直至融合损失满足收敛条件。可以提高训练人脸识别模型的效率。

Description

一种构建人脸识别模型的方法及装置
技术领域
本发明涉及人脸识别技术领域，具体而言，涉及一种构建人脸识别模型的方法及装置。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。通过利用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别。脸部识别一般通过训练的人脸识别模型执行，已被广泛应用在安全防控、智能安防、身份识别、轨迹追踪、金融支付、门禁打卡等领域。但为了使得训练的人脸识别模型具有较高的识别精度，人脸识别模型的训练需要大量的人脸数据，例如，需要对数十万的人脸标识(ID)及上千万的图片进行标注，标注所需的财力和时间极为庞大，使得训练人脸识别模型的效率较低。
发明内容
有鉴于此，本发明的目的在于提供构建人脸识别模型的方法及装置，以提高训练人脸识别模型的效率。
第一方面，本发明实施例提供了构建人脸识别模型的方法，包括：
获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；
针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；
将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；
从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；
基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；
依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，包括：
针对每一次迭代，选取人脸标记图像集中预设第一数量的人脸标记图像，将选取的人脸标记图像以及与该人脸标记图像对应的人脸标记增强图像，输入人脸识别模型。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述从人脸未标记图像集中提取人脸未标记图像，包括：
选取人脸未标记图像集中预设第二数量的人脸未标记图像，构建字典；
在每次进行迭代后，从字典中删除预设第三数量的人脸未标记图像，从人脸未标记图像集中，提取预设第三数量的人脸未标记图像，添加至字典中。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失，包括：
基于人脸标记图像集中的各人脸标记图像的注意力集中标签或注意力未集中标签，将人脸标签特征数据集分类为人脸注意力集中特征数据子集以及人脸注意力未集中特征数据子集，以及，将人脸标签增强特征数据集分类为人脸注意力集中增强特征数据子集以及人脸注意力未集中增强特征数据子集；
依据人脸注意力集中特征数据子集和人脸注意力集中增强特征数据子集，以及，人脸注意力未集中特征数据子集和人脸注意力未集中增强特征数据子集，构建正样本对集；
依据人脸注意力集中特征数据子集和人脸注意力未集中增强特征数据子集、人脸注意力未集中特征数据子集和人脸注意力集中增强特征数据子集、人脸标签特征数据集和人脸未标记特征数据集、以及，人脸标签增强特征数据集和人脸未标记特征数据集，构建负样本对集；
依据正样本对集和负样本对集计算对比损失。
结合第一方面、第一方面的第一种可能的实施方式至或第三种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述获取未进行标签标记的人脸未标记图像集，包括：
利用网络爬虫程序，从互联网上抓取人脸图像，对抓取的人脸图像进行人脸对齐，得到人脸未标记图像，置于所述人脸未标记图像集，所述人脸未标记图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相一致。
结合第一方面、第一方面的第一种可能的实施方式至或第三种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：
获取第一人脸图片以及第二人脸图片，将第一人脸图片和第二人脸图片输入完成训练的人脸识别模型的第一编码器或第二编码器，得到第一人脸图片对应的第一人脸特征数据以及第二人脸图片对应的第二人脸特征数据；
计算第一人脸特征数据与第二人脸特征数据的相似度值，基于相似度值判断第一人脸图片与第二人脸图片是否属于同一人脸。
第二方面，本发明实施例还提供了一种构建人脸识别模型的装置，包括：
图像集获取模块，用于获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；
图像增强模块，用于针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；
第一特征识别模块，用于将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；
第二特征识别模块，用于从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；
分类损失计算模块，用于基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；
收敛判断模块，用于依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述第一特征识别模块，具体用于：
针对每一次迭代，选取人脸标记图像集中预设第一数量的人脸标记图像，将选取的人脸标记图像以及与该人脸标记图像对应的人脸标记增强图像，输入人脸识别模型。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
本发明实施例提供的构建人脸识别模型的方法及装置，通过获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。这样，利用已有的有标签的人脸标记图像集和未标注标签的人脸未标记图像，计算包含深度人脸识别的附加角边缘损失和对比损失的融合损失，基于融合损失对人脸识别模型进行训练，可以有效提升人脸识别模型的性能，减少标注人脸图像所需的时间和成本，从而提升人脸识别模型的构建效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的构建人脸识别模型的方法流程示意图；
图2示出了本发明实施例所提供的构建人脸识别模型的框图流程示意图；
图3示出了本发明实施例所提供的构建人脸识别模型的装置结构示意图；
图4为本申请实施例提供的一种计算机设备400的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种构建人脸识别模型的方法及装置，下面通过实施例进行描述。
图1示出了本发明实施例所提供的构建人脸识别模型的方法流程示意图；
图2示出了本发明实施例所提供的构建人脸识别模型的框图流程示意图。
如图1和图2所示，该方法包括：
步骤101，获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；
本发明实施例中，作为一可选实施例，获取未进行标签标记的人脸未标记图像集，包括：
利用网络爬虫程序，从互联网上抓取人脸图像，对抓取的人脸图像进行人脸对齐，得到人脸未标记图像，置于所述人脸未标记图像集，所述人脸未标记图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相一致。
本发明实施例中，可以利用OpenCV的warpAffine函数进行人脸对齐。人脸未标记图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相同，例如，人脸标记图像集中的每一人脸标记图像的尺寸均为256x256，则每一人脸未标记图像的尺寸也为256x256。
步骤102，针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；
本发明实施例中，作为一可选实施例，人脸标记增强图像集中的人脸标记增强图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相同，人脸标记增强图像包括标签为注意力集中的人脸标记增强图像以及标签为注意力未集中的人脸标记增强图像。
本发明实施例中，作为一可选实施例，数据增强包括但不限于：平移、光照变化、颜色变化、随机裁剪等。每一人脸标记图像对应一人脸标记增强图像。
步骤103，将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；
本发明实施例中，将人脸标记图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标签特征数据集，以及，将人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标签增强特征数据集。作为一可选实施例，第一编码器为人脸识别模型主干网络，包括但不限于：ResNet50、MobileNet，利用第一编码器提取输入图像的图像特征，本发明实施例中，图像特征为人脸特征。
本发明实施例中，由于在对人脸识别模型进行训练时，需要进行多次迭代。因而，在每一次迭代过程中，可以从人脸标记图像集中选取一定数量的人脸标记图像进行该次迭代的训练。作为一可选实施例，将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，包括：
针对每一次迭代，选取人脸标记图像集中预设第一数量的人脸标记图像，将选取的人脸标记图像以及与该人脸标记图像对应的人脸标记增强图像，输入人脸识别模型。
本发明实施例中，在下一次迭代时，从人脸标记图像集中未被选取的人脸标记图像中，选取预设第一数量的人脸标记图像。
步骤104，从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；
本发明实施例中，作为一可选实施例，在开始进行迭代时，第二编码器与第一编码器具有相同的初始编码器参数。
本发明实施例中，与人脸标记图像选取相类似，作为一可选实施例，从人脸未标记图像集中提取人脸未标记图像，包括：
选取人脸未标记图像集中预设第二数量的人脸未标记图像，构建字典；
在每次进行迭代后，从字典中删除预设第三数量的人脸未标记图像，从人脸未标记图像集中，提取预设第三数量的人脸未标记图像，添加至字典中。
本发明实施例中，对于第一次迭代，从人脸未标记图像集中选取预设第二数量的人脸未标记图像，构建字典，将字典中的人脸未标记图像输入人脸识别模型的第二编码器，进行第一次迭代，在第一次迭代结束后，可以是按照先进先出的原则，从字典中删除预设第三数量的人脸未标记图像，再从人脸未标记图像集中未选取的人脸未标记图像中，提取预设第三数量的人脸未标记图像，添加至字典中作为人脸识别模型的第二编码器的第二次迭代输入。其中，第三数量小于第二数量，第二数量可以与第一数量相等，也可以不等。
步骤105，基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；
本发明实施例中，作为一可选实施例，对于第一编码器，采用有监督损失函数计算深度人脸识别的附加角边缘损失(ArcFace Loss，Additive Angular Margin Loss forDeep Face Recognition)，对于第二编码器，采用无监督损失函计算对比损失(Contrastive Loss)。其中，有监督损失函数包括但不限于：交叉熵损失函数、三元组损失函数、带间隔的交叉熵损失函数等，无监督损失函数包括但不限于：欧几里得损失函数、L1损失函数、SmoothL1损失函数等。ArcFace Loss用于监督人脸识别模型的识别能力，Contrastive Loss用于监督人脸识别模型对人脸图像的编码能力。
本发明实施例中，使用ArcFace Loss衡量第一编码器在人脸识别上的性能，使用Contrastive Loss衡量第二编码器在人脸图像的编码性能。
本发明实施例中，作为一可选实施例，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失，包括：
基于人脸标记图像集中的各人脸标记图像的注意力集中标签或注意力未集中标签，将人脸标签特征数据集分类为人脸注意力集中特征数据子集以及人脸注意力未集中特征数据子集，以及，将人脸标签增强特征数据集分类为人脸注意力集中增强特征数据子集以及人脸注意力未集中增强特征数据子集；
依据人脸注意力集中特征数据子集和人脸注意力集中增强特征数据子集，以及，人脸注意力未集中特征数据子集和人脸注意力未集中增强特征数据子集，构建正样本对集；
依据人脸注意力集中特征数据子集和人脸注意力未集中增强特征数据子集、人脸注意力未集中特征数据子集和人脸注意力集中增强特征数据子集、人脸标签特征数据集和人脸未标记特征数据集、以及，人脸标签增强特征数据集和人脸未标记特征数据集，构建负样本对集；
依据正样本对集和负样本对集计算对比损失。
本发明实施例中，作为一可选实施例，标签包括：注意力集中标签以及注意力未集中标签。记人脸标签特征数据集为数据集1，人脸标签增强特征数据集为数据集2，人脸未标记特征数据集为数据集3，其中，数据集1中的人脸标签特征数据的标签为注意力集中或注意力未集中，数据集2中的人脸标签增强特征数据的标签为注意力集中或注意力未集中，数据集3中的人脸未标记特征数据未设置有标签。在计算Contrastive loss时，包含四部分样本对子集：数据集1和数据集3组成的负样本对子集，数据集2和数据集3组成的负样本对子集，数据集1和数据集2中，相同标签组成的正样本对集，不同标签组成的负样本对子集，各负样本对子集组成负样本对集。
本发明实施例中，采用无监督损失函数，可以有效处理孪生神经网络中的配对数据(paired data)的关系，作为一可选实施例，利用下式计算对比损失：
Figure BDA0002888339470000111
式中，
Lcon为对比损失；
N为样本对数；
y为两个样本是否匹配的标签，若两个样本相匹配，y＝1，若两个样本不相匹配，y＝0；
d为两个样本的欧氏距离；
margin为设定的阈值。
本发明实施例中，利用下式计算两个样本的欧氏距离：
d＝||an-bn||2
式中，
an、bn为两个样本。
步骤106，依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。
本发明实施例中，作为一可选实施例，利用下式计算融合损失(Loss Fusion)：
Lfusion＝αLarc+(1-α)Lcon
式中，
Lfusion为融合损失；
α为预设的超参数；
Larc为深度人脸识别的附加角边缘损失；
Lcon为对比损失。
本发明实施例中，作为一可选实施例，利用下式更新第一编码器的编码器参数：
Figure BDA0002888339470000121
式中，
θq'为第一编码器更新后的编码器参数；
θq为第一编码器更新前的编码器参数；
Figure BDA0002888339470000131
为第一编码器更新前后的编码器参数变动量。
本发明实施例中，作为一可选实施例，利用下式更新第二编码器的编码器参数：
θk＝mθk+(1-m)θ'q
式中，
θk为第二编码器更新后的编码器参数；
m为动量系数，m∈[0,1)。
本发明实施例中，作为一可选实施例，m＝0.999。
本发明实施例中，作为一可选实施例，初始化时，第一编码器(EncoderQ)与第二编码器(EncoderK)的编码器参数相同。在每一次迭代后，EncoderQ通过Loss Fusion更新(图2中虚实线)，EncoderK通过EncoderQ动量获得。
本发明实施例中，若融合损失满足预先设置的收敛条件，则停止迭代，完成人脸识别模型的训练和构建。
本发明实施例中，基于半监督学习进行人脸识别模型构建，能够利用已有的有标签的人脸标记图像集和未标注标签的人脸未标记图像，计算包含深度人脸识别的附加角边缘损失和对比损失的融合损失，由于融合损失能够兼顾人脸识别任务和特征提取的能力，可以有效提升人脸识别模型的性能，减少标注人脸图像所需的时间和成本，提升人脸识别模型的构建效率。进一步地，通过合理设置正样本对和负样本对，能够更全面兼顾人脸识别任务和特征提取的能力。
本发明实施例中，作为一可选实施例，该方法还包括：
获取第一人脸图片以及第二人脸图片，将第一人脸图片和第二人脸图片输入完成训练的人脸识别模型的第一编码器或第二编码器，得到第一人脸图片对应的第一人脸特征数据以及第二人脸图片对应的第二人脸特征数据；
计算第一人脸特征数据与第二人脸特征数据的相似度值，基于相似度值判断第一人脸图片与第二人脸图片是否属于同一人脸。
本发明实施例中，将训练完成的人脸识别模型应用于人脸识别，将两张经过预处理后的第一人脸图片以及第二人脸图片依次输入完成训练的人脸识别模型的第一编码器或第二编码器，进行人脸特征提取，得到第一人脸特征数据与第二人脸特征数据，并依据两者的余弦相似度值进行判断：若第一人脸特征数据与第二人脸特征数据的相似度值大于或等于预先设置的相似度阈值，表明第一人脸图片与第二人脸图片属于同一人脸(同一人)，否则，第一人脸图片与第二人脸图片不属于同一人脸。
图3示出了本发明实施例所提供的构建人脸识别模型的装置结构示意图。如图3所示，该装置包括：
图像集获取模块301，用于获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；
本发明实施例中，人脸未标记图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相一致。
本发明实施例中，作为一可选实施例，图像集获取模块301具体用于：
利用网络爬虫程序，从互联网上抓取人脸图像，对抓取的人脸图像进行人脸对齐，得到人脸未标记图像，置于所述人脸未标记图像集，所述人脸未标记图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相一致。
图像增强模块302，用于针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；
本发明实施例中，人脸标记增强图像集中的人脸标记增强图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相同。
本发明实施例中，作为一可选实施例，数据增强包括但不限于：平移、光照变化、颜色变化、随机裁剪等。每一人脸标记图像对应一人脸标记增强图像。
第一特征识别模块303，用于将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；
本发明实施例中，作为一可选实施例，第一编码器为人脸识别模型主干网络，包括但不限于：ResNet50、MobileNet。
本发明实施例中，作为一可选实施例，第一特征识别模块303，具体用于：
针对每一次迭代，选取人脸标记图像集中预设第一数量的人脸标记图像，将选取的人脸标记图像以及与该人脸标记图像对应的人脸标记增强图像，输入人脸识别模型。
第二特征识别模块304，用于从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；
本发明实施例中，作为一可选实施例，第二特征识别模块304具体用于：
选取人脸未标记图像集中预设第二数量的人脸未标记图像，构建字典；
在每次进行迭代后，从字典中删除预设第三数量的人脸未标记图像，从人脸未标记图像集中，提取预设第三数量的人脸未标记图像，添加至字典中。
分类损失计算模块305，用于基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；
本发明实施例中，作为一可选实施例，分类损失计算模块305具体用于：
基于人脸标记图像集中的各人脸标记图像的注意力集中标签或注意力未集中标签，将人脸标签特征数据集分类为人脸注意力集中特征数据子集以及人脸注意力未集中特征数据子集，以及，将人脸标签增强特征数据集分类为人脸注意力集中增强特征数据子集以及人脸注意力未集中增强特征数据子集；
依据人脸注意力集中特征数据子集和人脸注意力集中增强特征数据子集，以及，人脸注意力未集中特征数据子集和人脸注意力未集中增强特征数据子集，构建正样本对集；
依据人脸注意力集中特征数据子集和人脸注意力未集中增强特征数据子集、人脸注意力未集中特征数据子集和人脸注意力集中增强特征数据子集、人脸标签特征数据集和人脸未标记特征数据集、以及，人脸标签增强特征数据集和人脸未标记特征数据集，构建负样本对集；
依据正样本对集和负样本对集计算对比损失。
本发明实施例中，利用下式计算对比损失：
Figure BDA0002888339470000161
本发明实施例中，利用下式计算融合损失：
Lfusion＝αLarc+(1-α)Lcon
本发明实施例中，利用下式更新第一编码器的编码器参数：
Figure BDA0002888339470000162
本发明实施例中，利用下式更新第二编码器的编码器参数：
θk＝mθk+(1-m)θ'q
收敛判断模块306，用于依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。
本发明实施例中，作为一可选实施例，该装置还包括：
人脸识别模块(图中未示出)，用于获取第一人脸图片以及第二人脸图片，将第一人脸图片和第二人脸图片输入完成训练的人脸识别模型的第一编码器或第二编码器，得到第一人脸图片对应的第一人脸特征数据以及第二人脸图片对应的第二人脸特征数据；
计算第一人脸特征数据与第二人脸特征数据的相似度值，基于相似度值判断第一人脸图片与第二人脸图片是否属于同一人脸。
如图4所示，本申请一实施例提供了一种计算机设备400，用于执行图1中的构建人脸识别模型的方法，该设备包括存储器401、处理器402及存储在该存储器401上并可在该处理器402上运行的计算机程序，其中，上述处理器402执行上述计算机程序时实现上述构建人脸识别模型的方法的步骤。
具体地，上述存储器401和处理器402能够为通用的存储器和处理器，这里不做具体限定，当处理器402运行存储器401存储的计算机程序时，能够执行上述构建人脸识别模型的方法。
对应于图1中的构建人脸识别模型的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述构建人脸识别模型的方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述构建人脸识别模型的方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种构建人脸识别模型的方法，其特征在于，包括：
获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；
针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；
将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；
从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；
基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；
依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。
2.根据权利要求1所述的方法，其特征在于，所述将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，包括：
针对每一次迭代，选取人脸标记图像集中预设第一数量的人脸标记图像，将选取的人脸标记图像以及与该人脸标记图像对应的人脸标记增强图像，输入人脸识别模型。
3.根据权利要求1所述的方法，其特征在于，所述从人脸未标记图像集中提取人脸未标记图像，包括：
选取人脸未标记图像集中预设第二数量的人脸未标记图像，构建字典；
在每次进行迭代后，从字典中删除预设第三数量的人脸未标记图像，从人脸未标记图像集中，提取预设第三数量的人脸未标记图像，添加至字典中。
4.根据权利要求1所述的方法，其特征在于，所述基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失，包括：
基于人脸标记图像集中的各人脸标记图像的注意力集中标签或注意力未集中标签，将人脸标签特征数据集分类为人脸注意力集中特征数据子集以及人脸注意力未集中特征数据子集，以及，将人脸标签增强特征数据集分类为人脸注意力集中增强特征数据子集以及人脸注意力未集中增强特征数据子集；
依据人脸注意力集中特征数据子集和人脸注意力集中增强特征数据子集，以及，人脸注意力未集中特征数据子集和人脸注意力未集中增强特征数据子集，构建正样本对集；
依据人脸注意力集中特征数据子集和人脸注意力未集中增强特征数据子集、人脸注意力未集中特征数据子集和人脸注意力集中增强特征数据子集、人脸标签特征数据集和人脸未标记特征数据集、以及，人脸标签增强特征数据集和人脸未标记特征数据集，构建负样本对集；
依据正样本对集和负样本对集计算对比损失。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述获取未进行标签标记的人脸未标记图像集，包括：
利用网络爬虫程序，从互联网上抓取人脸图像，对抓取的人脸图像进行人脸对齐，得到人脸未标记图像，置于所述人脸未标记图像集，所述人脸未标记图像的尺寸与人脸标记图像集中的人脸标记图像的尺寸相一致。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取第一人脸图片以及第二人脸图片，将第一人脸图片和第二人脸图片输入完成训练的人脸识别模型的第一编码器或第二编码器，得到第一人脸图片对应的第一人脸特征数据以及第二人脸图片对应的第二人脸特征数据；
计算第一人脸特征数据与第二人脸特征数据的相似度值，基于相似度值判断第一人脸图片与第二人脸图片是否属于同一人脸。
7.一种构建人脸识别模型的装置，其特征在于，包括：
图像集获取模块，用于获取进行标签标记的人脸标记图像集，以及，获取未进行标签标记的人脸未标记图像集；
图像增强模块，用于针对人脸标记图像集中的每一人脸标记图像，分别进行数据增强，得到人脸标记增强图像集；
第一特征识别模块，用于将人脸标记图像集以及人脸标记增强图像集输入人脸识别模型的第一编码器进行人脸特征识别，得到人脸标记图像集对应的人脸标签特征数据集以及人脸标记增强图像集对应的人脸标签增强特征数据集；
第二特征识别模块，用于从人脸未标记图像集中提取人脸未标记图像，输入人脸识别模型的第二编码器进行人脸特征识别，得到人脸未标记特征数据集；
分类损失计算模块，用于基于人脸标签特征数据集，计算深度人脸识别的附加角边缘损失，基于人脸标签特征数据集、人脸标签增强特征数据集以及人脸未标记特征数据集，计算对比损失；
收敛判断模块，用于依据深度人脸识别的附加角边缘损失以及对比损失，计算融合损失，若融合损失不满足预先设置的收敛条件，更新第一编码器的编码器参数，利用更新的第一编码器参数动量更新第二编码器的编码器参数，直至融合损失满足预先设置的收敛条件。
8.根据权利要求7所述的装置，其特征在于，所述第一特征识别模块，具体用于：
针对每一次迭代，选取人脸标记图像集中预设第一数量的人脸标记图像，将选取的人脸标记图像以及与该人脸标记图像对应的人脸标记增强图像，输入人脸识别模型。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的构建人脸识别模型的方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至6任一所述的构建人脸识别模型的方法的步骤。
CN202110020180.XA 2021-01-07 2021-01-07 一种构建人脸识别模型的方法及装置 Withdrawn CN112926379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110020180.XA CN112926379A (zh) 2021-01-07 2021-01-07 一种构建人脸识别模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110020180.XA CN112926379A (zh) 2021-01-07 2021-01-07 一种构建人脸识别模型的方法及装置

Publications (1)

Publication Number Publication Date
CN112926379A true CN112926379A (zh) 2021-06-08

Family

ID=76163185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110020180.XA Withdrawn CN112926379A (zh) 2021-01-07 2021-01-07 一种构建人脸识别模型的方法及装置

Country Status (1)

Country Link
CN (1) CN112926379A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113553961A (zh) * 2021-07-27 2021-10-26 北京京东尚科信息技术有限公司 人脸识别模型的训练方法、装置、电子设备和存储介质
CN113591655A (zh) * 2021-07-23 2021-11-02 上海明略人工智能(集团)有限公司 视频的对比损失计算方法、系统、存储介质及电子设备
CN116453201A (zh) * 2023-06-19 2023-07-18 南昌大学 基于相邻边缘损失的人脸识别方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591655A (zh) * 2021-07-23 2021-11-02 上海明略人工智能(集团)有限公司 视频的对比损失计算方法、系统、存储介质及电子设备
CN113553961A (zh) * 2021-07-27 2021-10-26 北京京东尚科信息技术有限公司 人脸识别模型的训练方法、装置、电子设备和存储介质
CN113553961B (zh) * 2021-07-27 2023-09-05 北京京东尚科信息技术有限公司 人脸识别模型的训练方法、装置、电子设备和存储介质
CN116453201A (zh) * 2023-06-19 2023-07-18 南昌大学 基于相邻边缘损失的人脸识别方法及系统
CN116453201B (zh) * 2023-06-19 2023-09-01 南昌大学 基于相邻边缘损失的人脸识别方法及系统

Similar Documents

Publication Publication Date Title
Min et al. Convolutional hough matching networks
CN110197146B (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
Yi et al. Scene text recognition in mobile applications by character descriptor and structure configuration
CN112926379A (zh) 一种构建人脸识别模型的方法及装置
CN112818951B (zh) 一种票证识别的方法
CN108805076B (zh) 环境影响评估报告书表格文字的提取方法及系统
WO2017016240A1 (zh) 一种钞票冠字号识别方法
JP2016134175A (ja) ワイルドカードを用いてテキスト−画像クエリを実施するための方法およびシステム
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
CN113033465A (zh) 活体检测模型训练方法、装置、设备以及存储介质
CN106203539B (zh) 识别集装箱箱号的方法和装置
CN111967429A (zh) 一种基于主动学习的行人重识别模型训练方法及装置
Qin et al. A fast and robust text spotter
Xu et al. End-to-end subtitle detection and recognition for videos in East Asian languages via CNN ensemble
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN116311214B (zh) 车牌识别方法和装置
Mannan et al. Classification of degraded traffic signs using flexible mixture model and transfer learning
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN110414622B (zh) 基于半监督学习的分类器训练方法及装置
CN112070744B (zh) 一种人脸识别的方法、系统、设备及可读存储介质
CN111242114B (zh) 文字识别方法及装置
Zuo et al. An intelligent knowledge extraction framework for recognizing identification information from real-world ID card images
Bains et al. Dynamic features based stroke recognition system for signboard images of Gurmukhi text
Chen et al. An intelligent character recognition method to filter spam images on cloud
CN113947801B (zh) 人脸识别方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210608