CN111832440B - 人脸特征提取模型的构建方法、计算机存储介质及设备 - Google Patents

人脸特征提取模型的构建方法、计算机存储介质及设备 Download PDF

Info

Publication number
CN111832440B
CN111832440B CN202010597945.1A CN202010597945A CN111832440B CN 111832440 B CN111832440 B CN 111832440B CN 202010597945 A CN202010597945 A CN 202010597945A CN 111832440 B CN111832440 B CN 111832440B
Authority
CN
China
Prior art keywords
triplet
network
face
sample
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010597945.1A
Other languages
English (en)
Other versions
CN111832440A (zh
Inventor
凌康杰
王祥雪
林焕凯
朱婷婷
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN202010597945.1A priority Critical patent/CN111832440B/zh
Publication of CN111832440A publication Critical patent/CN111832440A/zh
Application granted granted Critical
Publication of CN111832440B publication Critical patent/CN111832440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸特征提取模型的构建方法、计算机存储介质及电子设备，方法包括以下步骤：S1、获取人脸数据集，通过构建训练批次对收集到的人脸数据进行人脸检测和人脸校正，构建三元组；S2、选取一个训练批次的数据，分别送入导师网络和学生网络中，计算各自的前向传播结果，得到导师网络输出特征向量和学生网络输出特征向量；S3、根据导师网络输出特征向量，计算三元组中的距离；S4、将导师网络的三元组中的距离压缩至指定范围；S5、根据步骤S4计算出的动态阈值，计算对应的双梯度三元组的损失函数；S6、根据损失函数，选择一第一三元组；S7、根据第一三元组，计算其双向梯度，输出到学生网络，学生网络根据双向梯度更新网络权重。

Description

人脸特征提取模型的构建方法、计算机存储介质及设备
技术领域
本发明涉及人脸识别技术领域，更具体地，涉及一种人脸特征提取模型的构建方法、计算机存储介质及电子设备。
背景技术
人脸识别技术作为一种低成本的生物特征识别技术，目前在安防监控、人机交换、电子商务、移动支付等领域有着广泛的应用。人脸特征提取模型是人脸识别系统的核心技术，是构建人脸属性识别、人脸比对、跨年龄识别、活体检测系统的关键模块。针对人脸特征提取模型中精度低、运算效率低问题，提出一种基于双梯度三元组知识提纯的人脸特征提取模型构建方法，特别适用于构建轻量化人脸识别网络，适用于部署于移动终端和低功耗设备。
当前人脸特征提取模型中，往往采用数十层乃至上百层的深度CNN(卷积神经网络)进行基础模型架构设计，所训练出来的网络模型具有参数量大、计算量大、网络推理时间长等缺点，无法适应部署于终端设备。另一方面，模型训练过程中往往采用交叉熵等损失函数，该方法严重依赖于样本标签，实际数据收集过程中，往往会存在收集样本重复问题，对于同一个人不同标签，会对训练网络产生较大影响，进而降低模型精度。基于上述问题，亟需一种能够将模型轻量化，并减少样本标签干扰，提高模型精度的方法。
专利CN109190521A提出了一种基于柔性最大值传输函数(Softmax)的模型知识提纯方法，该方法将训练好的大型超深卷积神经网络的输出作为导师网络特征向量，将尚未训练的小型轻量化网络的输出作为学生网络特征向量，通过计算两者间交叉熵，得出两个网络特征分布，根据梯度反向传播算法更新与优化基于知识提纯的轻量化网络。该方法的缺点是，模型精度容易受到样本标签影响，需要强监督信号，所训练出的人脸特征提取模型类内间距不够小、类间间距不够大，较难以区分难例样本。
专利CN108805077A提出了一种基于三元组的深度学习网络训练方法，具体方法是利用互关联匹配卷积神经网络、干支集成卷积神经网络、深度卷积网络集成三个网络分布提取静止感兴趣区、静止感兴趣区相似样本、静止感兴趣区不相似样本的特征，通过三元组损失函数计算三个网络的梯度，实现梯度更新迭代训练。该方法的缺点是，使用多个分离网络，大大增加了计算空间复杂度，不适用构建轻量化网络，所使用的三元组函数梯度信号来源计算低效，无法针对大规模人脸样本数据挖掘。
现有技术在构建轻量化网络时，往往会存在模型精度低问题，参数量巨大的深度卷积神经网络(导师网络)往往比参数量小的卷积神经网络(学生网络)学习得更好，人脸特征提取更准确。在进行导师网络与学生网络提纯时，普遍采用基于软目标的Softmax损失函数作为学生网络中监督信号的来源，所构建出的学生网络难以区分人脸难例样本，存在精度低、易受到重复标签影响等问题。其中，难例样本是指相似度过大(相似度大于某阈值)的人脸。具体含义是，在一批不同人的人脸图片中，分别提取出每个人对应的人脸特征，这些特征所构成集合记为FS，集合FS中任意两个特征向量的相似度大于某阈值，则该集合的样本称为难例样本。
发明内容
有鉴于此，本发明提供一种人脸特征提取模型的构建方法、计算机存储介质及电子设备，能有效提高学生模型的精度和泛化能力。
为解决上述技术问题，一方面，本发明提供一种人脸特征提取模型的构建方法，包括以下步骤：S1、获取人脸数据集，通过构建训练批次对收集到的人脸数据进行人脸检测和人脸校正，构建三元组；S2、选取一个训练批次的数据，分别送入导师网络和学生网络中，计算各自的前向传播结果，得到导师网络输出特征向量和学生网络输出特征向量；S3、根据所述导师网络输出特征向量，计算三元组中的距离；S4、将所述导师网络的三元组中的距离压缩至指定范围；S5、根据步骤S4计算出的动态阈值，计算对应的双梯度三元组的损失函数；S6、根据所述损失函数，选择一第一三元组；S7、根据第一三元组，计算其双向梯度，输出到学生网络，所述学生网络根据所述双向梯度更新网络权重。
根据本发明实施例的人脸特征提取模型的构建方法，首先构造两个深度学习网络，通过导师网络的动态阈值指导学生网络构建双梯度三元组，结合多种有效双梯度三元组样本选取策略，提高网络知识提纯效果。
根据本发明的一些实施例，在步骤S1中，通过收集公开人脸数据库或自建人脸数据集获取人脸数据集。
根据本发明的一些实施例，在步骤S1中，一次训练有P个人，每个人有M张人脸图片，构建训练批次时，一个训练批次大小是B，其中B是M与P的乘积，M≥2。
根据本发明的一些实施例，在步骤S1中，在构建三元组时，定义锚样本和正样本为来自同一个人的人脸图片，负样本为与锚样本不同人的人脸图片。
根据本发明的一些实施例，在步骤S3中，采用三元组距离函数计算三元组中的距离d，
式中，分别是第i个锚样本、负样本、正样本的特征，/>是导师网络中锚样本特征向量与负样本特征向量的距离，/>是导师网络中锚样本特征向量与正样本特征向量的距离。
根据本发明的一些实施例，在步骤S4中，采用指定范围内的长度压缩函数压缩所述三元组中的距离d，
式中，F(d)是压缩后的距离函数，dmax为步骤S3计算得到的d的最大值，mmax和mmin分别为指定阈值的最大值和最小值。
根据本发明的一些实施例，在步骤S5中，双梯度三元组的损失函数为：
式中，N是三元组的数量，分别为步骤S2中由学生网络提取特征后，动态阈值计算单元计算得到的锚样本与正样本的特征向量距离、锚样本与负样本的特征向量距离、正样本与负样本的特征向量距离。
根据本发明的一些实施例，在步骤S6中，选取有效的三元组的方法包括：
选取满足步骤S5中双梯度三元组的损失函数所有的三元组；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，则从该负样本对中随机选取部分负样本对作为梯度更新来源；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，选取具有最大距离的正样本对和最小距离的负样本对；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，选取具有最小距离的正样本对和最小距离的负样本对；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，将负样本对的距离进行排序，选取具有最小距离的负样本对；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，将负样本对的距离进行排序，选取大于某一距离的负样本对；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，将负样本对的距离进行排序，随机选取一定数量的大于某一距离的负样本对；
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，并且最难三元组中负样本对的距离小于某一阈值，将负样本对的距离进行排序，随机选取一个或几个较小距离的负样本对，和一个或几个中等难度负样本对。
第二方面，本发明实施例提供一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述实施例所述的方法。
根据本发明第三方面实施例的电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如上述任一实施例所述的方法。
附图说明
图1为根据本发明实施例的人脸特征提取模型的构建方法的流程图；
图2为根据本发明实施例的人脸特征提取模型的构建方法中系统的示意图；
图3为本发明实施例的电子设备的示意图。
附图标记：
数据集10；导师网络20；学生网络30；动态阈值计算单元40；双梯度三元组计算单元50；
电子设备300；
存储器310；操作系统311；应用程序312；
处理器320；网络接口330；输入设备340；硬盘350；显示设备360。
具体实施方式
下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
下面首先结合附图具体描述根据本发明实施例的人脸特征提取模型的构建方法。
如图1所示，根据本发明实施例的人脸特征提取模型的构建方法包括以下步骤：
S1、获取人脸数据集，通过构建训练批次对收集到的人脸数据进行人脸检测和人脸校正，构建三元组。
S2、选取一个训练批次的数据，分别送入导师网络和学生网络中，计算各自的前向传播结果，得到导师网络输出特征向量和学生网络输出特征向量。
S3、根据所述导师网络输出特征向量，计算三元组中的距离。
S4、将所述导师网络的三元组中的距离压缩至指定范围。
S5、根据步骤S4计算出的动态阈值，计算对应的双梯度三元组的损失函数。
S6、根据所述损失函数，选择一第一三元组。
S7、根据第一三元组，计算其双向梯度，输出到学生网络，所述学生网络根据所述双向梯度更新网络权重。
其中需要说明的是，根据本发明实施例的人脸特征提取模型的构建方法是基于知识提纯的人脸特征提取模型构建方法，如图2所示，采用该方法的整个系统由5部分组成，分别是数据集10、导师网络20、学生网络30、动态阈值计算单元40和双梯度三元组计算单元50。
其中，数据集是经过人脸检测、人脸校正后的人脸数据集，数据集的构建特征是，可以是单一公开人脸识别数据集，亦可是多个人脸识别数据集。每个数据集上的人的ID数量可以不同，也可以相同。同一数据集上，相同的人具有同一ID标签，不同人的ID标签和其他人的ID标签不同；不同数据集上，相同的人可以有不同的ID标签。如数据集D1由甲和乙两人的人脸图像构成，数据集D2由甲、乙、丙三人的人脸图像构成，在数据集D1上，假设甲的ID标签为0，乙的ID标签为1。那么在数据集D2上，甲的ID标签可以是任意整数，乙的ID标签为和其他ID标签不同的任意整数，丙的ID标签为和其他ID标签不同的任意整数。
导师网络是通用的深度卷积神经网络，是由多个卷积层、池化层、连接层构建的卷积神经网络，可以是但不局限于VGG、GoogLeNet、ResNet、DenseNet、SphereFace、ZFNet等卷积神经网络及其变体。
学生网络是通用的深度卷积神经网络，是由多个卷积层、池化层、连接层构建的卷积神经网络，可以是但不局限于MobileNet V1、MobileNet V2、MobileFaceNet、EfficientNet、ShuffleNet等卷积神经网络及其变体，一般情况下，学生网络的计算复杂度和空间复杂度均小于导师网络。
动态阈值计算单元输入的数据是包含训练批次大小和导师网络输出特征的信息，输入的矩阵大小的格式可以是B×D，或D×B，或1×C，或C×1，其中B是训练批次大小，D是导师网络输出特征向量的维度，C是B乘以D得到的结果。输出的数据是三元组样本对被压缩至指定范围后的距离。
双梯度三元组计算单元的输入是动态阈值计算单元的输出和学生网络的特征输出，输出是双梯度三元组损失函数的梯度。
由此，根据本发明实施例的人脸特征提取模型的构建方法是针对当前知识提纯中所构建出的学生网络精度不足问题，提出的一种基于双梯度三元组知识提纯的人脸特征提取模型构建方法，通过将导师网络中产生动态阈值指导学生网络进行三元组知识的学习。首先分别构建训练完毕的导师网络和尚未训练的学生网络，提取导师网络位于分类层前一层的全连接层归一化特征，计算其三元组间距，将此间距压缩至统一的度量空间里，构造成动态阈值；同时计算学生网络三元组中锚(anchor)样本－正样本与锚样本－负样本的距离，锚样本－正样本与正样本－负样本的距离，通过加入导师网络的动态阈值，求得其对应的梯度，进而构成指导学生网络更新的双梯度信号来源，最后用此梯度更新网络权重。该方法泛化性能好，精度高，对重复人脸的不同标签不敏感，所构建的学生网络适用于、但不局限于轻量化模型，在一般模型上亦有明显精度提升。
根据本发明的一个实施例，在步骤S1中，通过收集公开人脸数据库或自建人脸数据集获取人脸数据集。可选地，在步骤S1中，一次训练有P个人，每个人有M张人脸图片，构建训练批次时，一个训练批次大小是B，其中B是M与P的乘积，M≥2。
进一步地，在步骤S1中，在构建三元组时，定义锚样本和正样本为来自同一个人的人脸图片，负样本为与锚样本不同人的人脸图片。
也就是说，根据本发明实施例的人脸特征提取模型在批量式数据集构建过程中，首先，可以收集公开人脸数据库或自建人脸数据集，同一数据集上，相同的人具有同一ID标签，不同人的ID标签和其他人的ID标签不同；不同数据集上，相同的人可以有不同的ID标签。然后对收集到的人脸数据集进行人脸检测、人脸校正。设一次训练有P个人，每个人有M张人脸图片，构建训练批次时，一个训练批次大小是B，其中B是M与P的乘积，M≥2。在构建三元组时，定义锚样本和正样本是来自同一个人的人脸图片，负样本是与锚样本不同人的人脸图片。
在本发明的一些具体实施方案中，在步骤S3中，采用三元组距离函数计算三元组中的距离d，
式中，分别是第i个锚样本、负样本、正样本的特征，/>是导师网络中锚样本特征向量与负样本特征向量的距离，/>是导师网络中锚样本特征向量与正样本特征向量的距离。
可选地，在步骤S4中，采用指定范围内的长度压缩函数压缩所述三元组中的距离d，
式中，F(d)是压缩后的距离函数，dmax为步骤S3计算得到的d的最大值，mmax和mmin分别为指定阈值的最大值和最小值。
在步骤S5中，双梯度计算单元根据步骤S4导师网络计算出的动态阈值，计算对应的双梯度三元组的损失函数，双梯度三元组的损失函数为：
式中，N是三元组的数量，分别为步骤S2中由学生网络提取特征后，动态阈值计算单元计算得到的锚样本与正样本的特征向量距离、锚样本与负样本的特征向量距离、正样本与负样本的特征向量距离。
定义负样本对是指锚样本与负样本，或正样本与负样本构成的人脸图像对，正样本对是指锚样本与正样本构成的人脸图像对。双梯度三元组计算单元进行有效的三元组选取策略包括以下8种策略：
策略1：全部选取法，选取满足步骤S5中双梯度三元组的损失函数所有的三元组；
策略2：随机选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，则从该负样本对中随机选取部分负样本对作为梯度更新来源；
策略3：最大最小距离选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，选取具有最大距离的正样本对和最小距离的负样本对；
策略4：最小最小距离选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，选取具有最小距离的正样本对和最小距离的负样本对；
策略5：最难负样本对选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，将负样本对的距离进行排序，选取具有最小距离的负样本对；
策略6：中等难度负样本对全部选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，将负样本对的距离进行排序，选取大于某一距离的负样本对；
策略7：中等难度负样本对随机选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，将负样本对的距离进行排序，随机选取一定数量的大于某一距离的负样本对；
策略8：最难负样本对——中等难度负样本对随机选取法，在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，并且最难三元组中负样本对的距离小于某一阈值，将负样本对的距离进行排序，随机选取一个或几个较小距离的负样本对，和一个或几个中等难度负样本对。
其中，最难三元组是指，针对某一锚样本，在满足步骤S5中双梯度三元组的损失函数的前提下的所有的三元组中，每个三元组中的负样本对的距离与该三元组中的正样本对的距离相减得到的具有最小值的三元组。较小距离的负样本对是指，该负样本对的距离大小和最难三元组中的负样本对的距离大小相接近的负样本对。中等难度负样本对是指，大于某一设定阈值，小于另一设定阈值的负样本对，具体是，设负样本对的距离范围为D1到D2，某一设定阈值为T1，另一设定阈值为T2，其中D1＜T1＜T2＜D2，中等难度负样本是指负样本的距离在T1和T2之间的负样本对。
总而言之，根据本发明实施例的人脸特征提取模型的构建方法，整个系统由5部分组成，分别是数据集、导师网络、学生网络、动态阈值计算单元、双梯度三元组计算单元。每个模块均有不同的功能，具体的算法过程是首先进行批量式数据集的构建，然后选取某一个训练批次的数据分别输入到导师网络和学生网络中，分别进行前向计算，其中动态阈值计算单元根据导师网络的输出特征，计算三元组中的距离并压缩至指定范围，然后将计算结果输入到双梯度三元组计算单元，双梯度三元组计算单元根据动态阈值计算单元和学生网络的输出特征向量，计算双梯度三元组的损失函数后，执行有效三元组选对策略，并计算其对应的双向梯度，最后输出到学生网络，学生网络根据这个梯度更新网络权重，进行迭代训练，直到训练收敛。
其中，动态阈值计算单元和双梯度三元组计算单元，关键方法是双梯度三元组损失函数和8种有效三元组选取策略。通过双梯度动态三元组计算单元，能将有效梯度信号提高一倍，通过导师网络得到的动态阈值，相对于固定阈值，动态阈值使得学生网络在相同样本情况下，得到的损失函数值更准确，进而加快收敛速度。通过8种有效三元组选取策略，能大面积覆盖训练样本的三元组组合空间，加快收敛速度。通过负样本对随机选取法，能减少学生网络的计算复杂度。
并且，根据本发明实施例的人脸特征提取模型的构建方法，使用了双梯度三元组损失函数。在相同的三元组数量下，双梯度三元组损失函数比单一的三元组损失函数增加了正样本对与负样本对的梯度计算，因而能提高将有效梯度信号提高一倍，提高模型收敛效率。通过8种有效三元组选取策略，能大面积覆盖训练样本的三元组组合空间，提高了模型的泛化能力，加快收敛速度。通过负样本对随机选取法，减少了学生网络的计算复杂度。通过导师网络得到的动态阈值，相对固定阈值，动态阈值使得学生网络在相同样本情况下，得到的损失函数值更准确，进而加快收敛速度。本发明提出的一种基于知识提纯的人脸特征提取模型构建方法能有效提高学生模型的精度和泛化能力。
此外，本发明还提供一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的人脸特征提取模型的构建方法。
也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的人脸特征提取模型的构建方法。
如图3所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。
也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。
进一步地，如图3所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。
所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
所述显示设备360，可以将处理器320执行指令获得的结果进行显示。
所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统311和应用程序312。
其中，操作系统311，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。
本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种人脸特征提取模型的构建方法，其特征在于，包括以下步骤：
S1、获取人脸数据集，通过构建训练批次对收集到的人脸数据进行人脸检测和人脸校正，构建三元组；
S2、选取一个训练批次的数据，分别送入导师网络和学生网络中，计算各自的前向传播结果，得到导师网络输出特征向量和学生网络输出特征向量；
S3、根据所述导师网络输出特征向量，计算三元组中的距离；
S4、将所述导师网络的三元组中的距离压缩至指定范围；
S5、根据步骤S4计算出的动态阈值，计算对应的双梯度三元组的损失函数；
S6、根据所述损失函数，选择一第一三元组；
S7、根据所述第一三元组，计算其双向梯度，输出到学生网络，所述学生网络根据所述双向梯度更新网络权重；
在步骤S3中，采用三元组距离函数计算三元组中的距离d，
，
式中，分别是第i个锚样本、负样本、正样本的特征，/>是导师网络中锚样本特征向量与负样本特征向量的距离，/>是导师网络中锚样本特征向量与正样本特征向量的距离；
在步骤S4中，采用指定范围内的长度压缩函数压缩所述三元组中的距离d，
，
式中，是压缩后的距离函数，/>为步骤S3计算得到的d的最大值，/>和分别为指定阈值的最大值和最小值；
在步骤S5中，双梯度三元组的损失函数为：
，
式中，N是三元组的数量，分别为步骤S2中由学生网络提取特征后，动态阈值计算单元计算得到的锚样本与正样本的特征向量距离、锚样本与负样本的特征向量距离、正样本与负样本的特征向量距离。
2.根据权利要求1所述的方法，其特征在于，在步骤S1中，通过收集公开人脸数据库或自建人脸数据集获取人脸数据集。
3.根据权利要求1所述的方法，其特征在于，在步骤S1中，一次训练有P个人，每个人有M张人脸图片，构建训练批次时，一个训练批次大小是B，其中B是M与P的乘积，M≥2。
4.根据权利要求1所述的方法，其特征在于，在步骤S1中，在构建三元组时，定义锚样本和正样本为来自同一个人的人脸图片，负样本为与锚样本不同人的人脸图片。
5.根据权利要求1所述的方法，其特征在于，在步骤S6中，选取有效的三元组的方法包括：
在满足步骤S5中双梯度三元组的损失函数的前提下，针对某一锚样本，如果其负样本对的数量大于某一设定阈值，则从该负样本对中随机选取部分负样本对作为梯度更新来源。
6.一种计算机存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如权利要求1-5中任一项所述的方法。
7.一种电子设备，包括存储器和处理器，其特征在于，
所述存储器用于存储一条或多条计算机指令；
所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如权利要求1-5中任一项所述的方法。
CN202010597945.1A 2020-06-28 2020-06-28 人脸特征提取模型的构建方法、计算机存储介质及设备 Active CN111832440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010597945.1A CN111832440B (zh) 2020-06-28 2020-06-28 人脸特征提取模型的构建方法、计算机存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010597945.1A CN111832440B (zh) 2020-06-28 2020-06-28 人脸特征提取模型的构建方法、计算机存储介质及设备

Publications (2)

Publication Number Publication Date
CN111832440A CN111832440A (zh) 2020-10-27
CN111832440B true CN111832440B (zh) 2024-04-02

Family

ID=72898215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010597945.1A Active CN111832440B (zh) 2020-06-28 2020-06-28 人脸特征提取模型的构建方法、计算机存储介质及设备

Country Status (1)

Country Link
CN (1) CN111832440B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734046A (zh) * 2021-01-07 2021-04-30 支付宝(杭州)信息技术有限公司 模型训练及数据检测方法、装置、设备及介质
CN116052218B (zh) * 2023-02-13 2023-07-18 中国矿业大学 一种行人重识别方法
CN116091849B (zh) * 2023-04-11 2023-07-25 山东建筑大学 基于分组解码器的轮胎花纹分类方法、系统、介质及设备
CN116894985B (zh) * 2023-09-08 2023-12-15 吉林大学 半监督图像分类方法及半监督图像分类系统
CN117312976A (zh) * 2023-10-12 2023-12-29 国家电网有限公司华东分部 基于小样本学习的物联网设备指纹识别系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法
CN109902665A (zh) * 2019-03-28 2019-06-18 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
GB201908574D0 (en) * 2019-06-14 2019-07-31 Vision Semantics Ltd Optimised machine learning
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
FR3084946A1 (fr) * 2018-08-07 2020-02-14 Amadeus S.A.S. Procedes et systemes d'apprentissage automatique pour des sequences attribuees
CN111191461A (zh) * 2019-06-06 2020-05-22 北京理工大学 一种基于课程学习的远程监督关系抽取方法
CN111222534A (zh) * 2019-11-15 2020-06-02 重庆邮电大学 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776716B2 (en) * 2017-06-13 2020-09-15 Microsoft Technology Licensing, Llc Unsupervised learning utilizing sequential output statistics
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846426A (zh) * 2018-05-30 2018-11-20 西安电子科技大学 基于深度双向lstm孪生网络的极化sar分类方法
FR3084946A1 (fr) * 2018-08-07 2020-02-14 Amadeus S.A.S. Procedes et systemes d'apprentissage automatique pour des sequences attribuees
CN109902665A (zh) * 2019-03-28 2019-06-18 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质
CN111191461A (zh) * 2019-06-06 2020-05-22 北京理工大学 一种基于课程学习的远程监督关系抽取方法
GB201908574D0 (en) * 2019-06-14 2019-07-31 Vision Semantics Ltd Optimised machine learning
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN111222534A (zh) * 2019-11-15 2020-06-02 重庆邮电大学 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究;李幼军;黄佳进;王海渊;钟宁;;通信学报;20171225(12);全文 *
基于孪生卷积神经网络与三元组损失函数的图像识别模型;张安琪;;电子制作(21);全文 *

Also Published As

Publication number Publication date
CN111832440A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111832440B (zh) 人脸特征提取模型的构建方法、计算机存储介质及设备
CN111737476B (zh) 文本处理方法、装置、计算机可读存储介质及电子设备
JP7331171B2 (ja) 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
Li et al. Hashing nets for hashing: A quantized deep learning to hash framework for remote sensing image retrieval
US20220222918A1 (en) Image retrieval method and apparatus, storage medium, and device
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
Yang et al. Local label descriptor for example based semantic image labeling
CN112132032A (zh) 交通标志牌检测方法、装置、电子设备及存储介质
CN111079753A (zh) 一种基于深度学习与大数据结合的车牌识别方法及装置
Aziguli et al. A robust text classifier based on denoising deep neural network in the analysis of big data
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN113822282A (zh) 图像语义分割方法、装置、计算机设备及存储介质
Zheng et al. Learning from the web: Webly supervised meta-learning for masked face recognition
CN117095460A (zh) 基于长短时关系预测编码的自监督群体行为识别方法及其识别系统
Ke et al. Dense small face detection based on regional cascade multi‐scale method
Li et al. Deep unsupervised hashing for large-scale cross-modal retrieval using knowledge distillation model
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质
Qin Application of efficient recognition algorithm based on deep neural network in English teaching scene
CN115482436B (zh) 图像筛选模型的训练方法、装置以及图像筛选方法
Li et al. Superdense-scale network for semantic segmentation
CN116704433A (zh) 基于上下文感知关系预测编码的自监督群体行为识别方法
CN116468043A (zh) 嵌套实体识别方法、装置、设备及存储介质
Yang et al. Asymmetric deep semantic quantization for image retrieval
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
Zhao et al. Face Verification Between ID Document Photos and Partial Occluded Spot Photos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant