CN115410265A - 模型训练方法、人脸识别方法、电子设备及存储介质 - Google Patents

模型训练方法、人脸识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115410265A
CN115410265A CN202211352999.7A CN202211352999A CN115410265A CN 115410265 A CN115410265 A CN 115410265A CN 202211352999 A CN202211352999 A CN 202211352999A CN 115410265 A CN115410265 A CN 115410265A
Authority
CN
China
Prior art keywords
face
features
population
loss
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211352999.7A
Other languages
English (en)
Other versions
CN115410265B (zh
Inventor
刘冲冲
付贤强
何武
朱海涛
户磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Lushenshi Technology Co ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202211352999.7A priority Critical patent/CN115410265B/zh
Publication of CN115410265A publication Critical patent/CN115410265A/zh
Application granted granted Critical
Publication of CN115410265B publication Critical patent/CN115410265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请实施例涉及人脸识别领域，公开了一种模型训练方法、人脸识别方法、电子设备及存储介质。模型训练方法包括：将人脸图像输入人脸特征提取网络所得到的人脸特征中部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征，构建第一特征损失；将剩余特征输入到第二群体特征提取网络中，得到第二群体特征；根据第一群体特征和第二群体特征对人脸图像进行群体类别分类，获取人脸图像所属的群体类别，构建第一分类损失；基于第一特征损失和第一分类损失对人脸特征提取网络、第一群体特征提取网络和第二群体特征提取网络进行联合训练，得到训练好的人脸特征提取网络。训练好的人脸特征提取网络在不同群体间表现一致。

Description

模型训练方法、人脸识别方法、电子设备及存储介质
技术领域
本申请实施例涉及人脸识别技术领域，特别涉及一种模型训练方法、人脸识别方法、电子设备及存储介质。
背景技术
基于深度学习的人脸识别技术总体上已经接近甚至超越人类人脸识别水平，然而在处理不同群体的人脸识别任务时，目前基于深度学习的人脸识别模型往往不能达到很好的效果。
不同群体的概念包括但不限于不同场景、不同人种、不同年龄、不同姿态角、不同脸型等等。常规的人脸识别模型在不同群体间的人脸图像上识别效果差异较大，例如：以室内场景的人脸图像作为训练集的人脸识别模型在室外场景的人脸图像上识别效果较差；以黄种人的人脸图像作为训练集的人脸识别模型在黑种人的人脸图像上识别效果较差；以小姿态角的人脸图像作为训练集的人脸识别模型在大姿态角的人脸图像上识别效果较差等等。人脸图像间的群体特性严重影响了人脸识别模型在不同领域的推广应用。
目前，常用来解决人脸识别模型在不同群体间识别效果不一致的方法有两种：第一种，使用群体均衡数据集训练人脸识别模型。第二种，使用不同群体的人脸数据集训练多个人脸识别模型，多个人脸识别模型分数处理不同群体的人脸识别任务。
然而，不同群体人脸图像之间的固有差异导致第一种方法不能较好的解决问题，比如：室内场景的人脸图像的光照变化总体上比室外场景的人脸图像的光照变化小，黄种人的人脸图像间的差异总体上比黑种人的人脸图像间的差异大等等。第二种方法多个人脸识别模型需要大量的存储空间和算力支持，且每次处理人脸识别任务之前都需要额外的群体类别预测网络来获取人脸图像所属的群体类别，如此才能选择出与群体类别对应的人脸识别模型，这使得群体类别预测的准确性直接影响人脸识别的准确性，模型之间依赖性较强。
发明内容
本申请实施方式的目的在于提供一种模型训练方法、人脸识别方法、电子设备及存储介质，仅使用一个训练好的人脸特征提取网络就可以实现在不同群体间的人脸图像上都能达到较好的人脸识别效果，无需占用大量的存储空间，也不依赖高算力的硬件平台支持，应用范围广。
为解决上述技术问题，本申请的实施方式提供了一种模型训练方法，包括：将人脸图像输入人脸特征提取网络所得到的人脸特征中，部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征，并构建使每个身份的类中心向量和与该类中心向量距离最近的类中心向量之间的夹角均靠近同一夹角值的第一特征损失；其中每个身份的所述类中心向量是根据对所述部分人脸特征按对应身份进行聚类后获得；将所述人脸特征中除所述部分人脸特征之外的剩余特征，输入到第二群体特征提取网络中，得到第二群体特征；根据所述第一群体特征和所述第二群体特征对所述人脸图像进行群体类别分类，获取所述人脸图像所属的群体类别，并构建使所述人脸图像所属的群体类别服从均匀分布的第一分类损失；基于所述第一特征损失和所述第一分类损失对所述人脸特征提取网络、所述第一群体特征提取网络和所述第二群体特征提取网络进行联合训练，得到训练好的人脸特征提取网络。
本申请的实施方式还提供了一种人脸识别方法，包括：将待测人脸图像输入到已训练好的人脸特征提取网络中，得到人脸特征；根据所述人脸特征中的部分人脸特征对所述待测人脸图像进行人脸识别，获取所述待测人脸图像的人脸识别结果；其中，所述人脸特征提取网络通过如上所述的模型训练方法获取。
本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸识别方法。
本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的模型训练方法，或者能够执行上述实施方式提及的人脸识别方法。
本申请实施方式提供的模型训练方法，通过将人脸特征中的部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征，将剩余特征输入到第二群体特征提取网络中，得到第二群体特征，并根据第一群体特征和第二群体特征进行群体类别分类获得人脸图像所属的群体类别，然后对人脸特征提取网络、第一群体特征提取网络和第二群体特征提取网络进行联合训练，在联合训练过程中，使每个身份的类中心向量和与该类中心向量距离最近的类中心向量之间的夹角均靠近同一夹角值，也就是说，某一身份的类中心向量和与该身份的类中心向量距离最近的类中心向量所对应的两个人脸图像最相似，即具有某一群体特征，让最相似但属于不同身份的人脸图像的部分人脸特征对应的类中心向量之间的夹角均靠近同一夹角值，如此使得人脸特征中的部分人脸特征在不同群体间的人脸图像上都表现一致，相当于使部分人脸特征仅包含与身份识别相关的特征而不包含群体相关特征、剩余特征仅包含群体相关特征。与此同时，使人脸图像所属的群体类别服从均匀分布，也就是说，当符合某个群体特征的人脸图像的数量超过一定值时，才将该群体特征作为分类特征，如此使得群体类别的分类更符合人脸图像的实际情况，即使第一群体特征（基于部分人脸特征得到的群体无关特征）和第二群体特征（基于剩余特征得到的群体相关特征）之间界限更准确、合理。三个网络结合梯度反转层联合训练使得人脸特征提取网络输出的部分人脸特征仅与身份特征相关，与群体特征无关，如此后续仅依靠一个人脸特征提取网络就可执行不同群体间的人脸识别任务，无需占用大量的存储空间，也不依赖高算力的硬件平台支持，应用范围广。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请实施方式提供的模型训练方法的流程图；
图2是本申请实施方式提供的模型训练方法中各模型的训练过程示意图；
图3是本申请实施方式提供的人脸识别方法的流程图；
图4是本申请实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
下面对本实施方式的模型训练的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
本申请的实施方式涉及一种模型训练方法，如图1所示，包括：
步骤101，将人脸图像输入人脸特征提取网络所得到的人脸特征中，部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征，并构建使每个身份的类中心向量和与该类中心向量距离最近的类中心向量之间的夹角均靠近同一夹角值的第一特征损失。
本实施例中，每个身份的类中心向量是根据对部分人脸特征按对应身份进行聚类后获得。人脸图像为已标注身份信息的人脸图像，将人脸图像输入到人脸特征提取网络中得到人脸特征，将人脸特征中的部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征。
需要注意的是，将人脸特征中的部分人脸特征输入到第一群体特征提取网络中，具体输入的是人脸特征中的哪一部分是网络不断训练优化得到的。比如：人脸特征提取网络输出的人脸特征为n维（根据经验可取n=128），初始时可以将人脸特征中的前ni维特征作为部分人脸特征（ni小于n）输入到第一群体特征提取网络，也可以将人脸特征中的任意ni维特征作为部分人脸特征。在训练过程中，不断优化确定ni维的位置和维度。
由于训练集中会有不同人（不同身份）的人脸图像，也会有同一人（同一身份）的不同人脸图像（如：不同角度、不同场景、不同姿态、不同年龄等等），每个人脸图像的部分人脸特征（ni维）按对应身份进行聚类可以得到每个身份的类中心向量（ni维），训练优化时，本实施例让每个身份的类中心向量和与该类中心向量距离最近的类中心向量之间的夹角均靠近同一夹角值。比如：聚类后得到10个身份的类中心向量，类中心向量1与类中心向量2距离最近（1-2），类中心向量3与类中心向量5距离最近（3-5），其余距离最近的类中心向量为：4-6，7-9，8-10，训练时就使类中心向量1和2的夹角、类中心向量3和5的夹角、类中心向量4和6的夹角、类中心向量7和9的夹角、类中心向量8和10的夹角均靠近同一夹角值，至于类中心向量1和3、类中心向量2和3、类中心向量3和4、类中心向量4和5等等其余身份类中心向量之间的夹角，本申请训练时并不约束，也不关注。
也就是说，若两个不同身份的类中心向量之间的距离很近，说明这两个身份对应的人脸图像很相似，即这两个身份对应的人脸图像具有某一群体特征。基于此，训练时让最相似但属于不同身份的人脸图像的部分人脸特征对应的类中心向量之间的夹角均靠近同一夹角值，这使得部分人脸特征在不同群体间的人脸图像上都表现一致，即让网络去挖掘和使用更具备普适性的身份区分特征（即部分人脸特征）。
另外，第一群体特征提取网络前置有梯度反转层，梯度反转层在执行前向传播时，输出与输入一致，在执行反向传播时，将误差（预测值和真实值的差距）乘以一个负数然后逐层向后传递。梯度反转层的作用是使前后连接的网络训练目标相反。
本实施例中，梯度反转层之前连接的网络为人脸特征提取网络，之后连接的网络为第一群体特征提取网络，而人脸特征提取网络的训练目标是提取出能识别不同身份的人脸图像的特征，而第一群体特征提取网络的训练目标是提取出第一群体特征以使第一群体特征和第二群体特征结合能识别人脸图像的群体类别。也就是说，人脸特征提取网络输出的人脸特征期望能区分出不同人的身份，而第一群体特征提取网络输出的第一群体特征期望能区分出具有同一群体特性的一类人，而不区分每个人的身份。
因此，将部分人脸特征输入到带有梯度反转层的第一群体特征提取网络中，其目的是通过设计的损失项优化使部分人脸特征不包含群体相关特征，而仅包含群体无关特征（与身份识别相关的特征）。即第一群体特征为群体无关特征。
需要说明的是，一旦确定第一群体特征（群体无关特征），那么就相当于间接地确定了第二群体特征（群体相关特征），同样地，一旦确定了第二群体特征（群体相关特征），那么就相当于间接地确定了第一群体特征（群体无关特征）。两者可以互相监督训练。
步骤102，将人脸特征中除所述部分人脸特征之外的剩余特征，输入到第二群体特征提取网络中，得到第二群体特征。
具体地说，本实施例将人脸特征分成了两部分，一部分人脸特征输入到第一群体特征提取网络中，用于提取得到第一群体特征（群体无关特征），另一部分人脸特征输入到第二群体特征提取网络中，用于提取得到第二群体特征（群体相关特征）。而具体哪一部分人脸特征可以得到群体无关特征，哪一部分人脸特征可以得到群体相关特征是需要网络不断训练才能确定的。
步骤103，根据第一群体特征和第二群体特征对人脸图像进行群体类别分类，获取人脸图像所属的群体类别，并构建使人脸图像所属的群体类别服从均匀分布的第一分类损失。
本实施例中，根据第一群体特征和第二群体特征对人脸图像进行群体类别分类，分类时训练使群体类别的分类结果符合均匀分布。也就是说，当符合某个群体特征的人脸图像的数量超过一定值时，才将该群体特征作为分类特征，如此使得群体类别的分类更符合人脸图像的实际情况，即使第一群体特征（基于部分人脸特征得到的群体无关特征）和第二群体特征（基于剩余特征得到的群体相关特征）之间界限更准确、合理。
可以理解的是，一个人脸图像可以具有多个与身份识别无关的特征，而将哪一个特征作为该人脸图像的群体特征是合理且准确的，这需要网络去训练约束，比如：人脸图像A可能的群体特征包括：室外场景、圆脸、大姿态角、戴配饰、成年人、发型、化妆风格等，若训练集中所有人脸图像都是室外场景，那么网络将人脸图像的不同场景作为分类特征没有任何意义，不能达到在不同群体间都实现较好的人脸识别效果的目的。若训练集中大部分人脸图像都为成年人，而很小一部分人脸图像为婴幼儿人脸图像，那么网络将人脸图像的不同年龄作为分类特征也是没有意义的。需要说明的是，网络最终确定的群体特征并不一定和人类理解的一致，甚至是人类不能理解的。
不同的群体特征得到的人脸图像的群体类别不同，若要使群体类别的分类准确、合理，就要训练得到准确的群体无关特征和群体相关特征。因此，本申请通过第一分类损失去约束群体类别分类结果的准确性和合理性，进而间接地去约束第一群体特征（基于部分人脸特征得到）和第二群体特征（基于剩余特征得到）的准确性，从而使部分人脸特征仅包含身份识别相关特征，剩余特征仅包含群体类别特征。
步骤104，基于第一特征损失和第一分类损失对人脸特征提取网络、第一群体特征提取网络和第二群体特征提取网络进行联合训练，得到训练好的人脸特征提取网络。
具体地说，根据第一特征损失和第一分类损失对人脸特征提取网络、第一群体特征提取网络和第二群体特征提取网络进行联合训练，使得训练好的人脸特征提取网络输出的部分人脸特征仅包含与身份识别相关的特征，不包含与群体类别相关的特征，以实现人脸特征在不同群体间的人脸图像上都表现出很好的识别效果，提高人脸特征提取网络的鲁棒性。
在一实施例中，为了辅助训练，人脸特征提取网络之后还连接第二分类网络，训练时将人脸特征中部分人脸特征输入到第二分类网络中，得到部分人脸特征对应的人脸图像所属的身份类别。联合训练的损失约束还包括：使相同身份人脸图像的所述部分人脸特征相互靠近、不同身份人脸图像的所述部分人脸特征相互远离的第三特征损失。
具体地说，通过训练部分人脸特征类间分开、类内聚拢，期望人脸特征中的部分人脸特征也能区分不同身份的人脸图像，训练完毕后，应用阶段实际参与人脸识别任务的即为这ni维部分人脸特征。也就是说，当训练网络实现了部分人脸特征也能区分人脸图像的身份时，那么除部分人脸特征之外剩余特征其实是与身份识别无关的、而与群体类别有关的特征，即达到了让网络挖掘并使用与群体无关的特征的目的。
在一实施例中，为了辅助训练，人脸特征提取网络之后还连接第三分类网络，训练时将脸特征输入到第三分类网络中，得到人脸特征对应的人脸图像所属的身份类别；联合训练的损失约束还包括：使相同身份人脸图像的人脸特征相互靠近、不同身份人脸图像的人脸特征相互远离的第四特征损失。
具体地说，将人脸特征提取网络输出的整个人脸特征输入到第三分类网络实现人脸图像的身份识别。训练约束时使人脸特征类间分开、类内聚拢。
也就是说，为了辅助人脸特征提取网络的训练，人脸特征提取网络后连接了第三分类网络（输入为人脸特征）、第二分类网络（输入为部分人脸特征）、第一群体特征提取网络（输入为部分人脸特征）和第二群体特征提取网络（输入为除部分人脸特征之外的剩余特征）。即人脸特征提取网络输出的人脸特征feat(b,n)用于常规的人脸身份识别，其中部分人脸特征feati (b,ni)既用于人脸身份识别，也用于提取群体无关特征，剩余特征feati (b,nd)用于提取群体相关特征。其中，b表示第几个人脸图像，n、ni和nd表示特征的维度，ni+nd=n。
在一实施例中，为了辅助训练，第一群体特征提取网络和第二群体特征提取网络均与第一分类网络连接；所述根据所述第一群体特征和所述第二群体特征对所述人脸图像进行群体类别分类，获取所述人脸图像所属的群体类别，包括：对第一群体特征和第二群体特征进行拼接得到群体特征；采用第一分类网络对群体特征进行群体类别分类，得到群体特征对应的人脸图像所属的群体类别。其中联合训练的损失约束还包括：使群体特征和群体特征所属群体类别的类中心向量互相靠近的第二特征损失。
具体地说，对第一群体特征和第二群体特征进行拼接得到群体特征，这一过程可以通过单独的处理网络实现，也可以通过第一分类网络实现，还可以通过第一群体特征提取网络和第二群体特征提取网络配合实现，特征的拼接在深度学习中为常规手段，在此不做赘述。
为了更好地理解本申请的训练过程，将对包括第一分类网络、第二分类网络和第三分类网络的整个模型框架进行说明，具体如图2所示，将第b个人脸图像输入到人脸特征提取网络netf中得到第b个人脸图像的n维人脸特征feat(b,n)，将人脸特征feat(b,n)输入到第三分类网络fcf中，第三分类网络在训练过程中会聚类产生第k个身份的n维类中心向量fcfw (k,n)，而人脸特征feat(b,n)中的ni维部分人脸特征feati (b,ni)输入到第二分类网络，第二分类网络在训练过程中会聚类产生第k个身份的ni维类中心向量fciw (k,ni)，同时部分人脸特征feati (b,ni)还输入到第一群体特征提取网络fcci中，得到第b个人脸图像q维第一群体特征featfcci (b,q)，除部分人脸特征之外的剩余特征feati (b,nd)输入到第二群体特征提取网络fccd中，得到第b个人脸图像的p维第二群体特征featfccd (b,p)，第一群体特征和第二群体特征拼接得到第b个人脸图像的r维群体特征featr (b,r)，群体特征featr (b,r)输入到第一分类网络fcc中进行群体类别分类，得到第b个人脸图像属于第c个群体类别的概率cls(b,c)。其中ni、nd、q和p均表示特征的维度，ni+nd=n，q+p=r。
需要说明的是，第一分类网络、第二分类网络和第三分类网络均是根据特征进行身份分类或群体类别分类，因此图2所示整个模型框架中三个分类网络也可以采用其他网络或方法，只要可以实现根据特征进行分类即可，在此不做限制。
进一步地，第一特征损失的损失函数通过如下公式构建：
Figure 208503DEST_PATH_IMAGE001
其中，L1为第一特征损失的损失函数，α3为大于0的超参数，K为身份类别的数量，θ’ k为第k个身份的ni维类中心向量和与该类中心向量距离最近的第j个身份的ni维类中心向量之间的夹角，θavg为所有θ’ k的平均值，fciw (k,ni)为第k个身份的ni维类中心向量，fciw (j ,ni)为第j个身份的ni维类中心向量，j≠k。
第一分类损失和第二特征损失对应的损失函数采用如下公式构建：
Figure 562124DEST_PATH_IMAGE002
其中，L2为第一分类损失和第二特征损失对应的损失函数，B为人脸图像的数量，α4为大于0的超参数，p为中间参数，cls(b,c)第b个人脸图像属于第c个群体类别的概率，center(c,r)为预设的第c个群体类别的r维类中心向量，featr (b,r)为第b个人脸图像的r维群体特征，d(A,B) 表示A和B的距离，该距离可以是欧式距离，也可以是KL散度，JS散度等等。上述公式中，加号前半部分对应第一分类损失，加号后半部分对应第二特征损失。第一分类损失用信息熵的负数来表示，最小化第一分类损失可以强迫群体分类服从均匀分布。
第三特征损失的损失函数采用如下公式构建：
Figure DEST_PATH_IMAGE003
其中，L3为第三特征损失的损失函数，B为人脸图像的数量，α2、s和m为大于0的超参数，K为身份类别的数量，θ* yi(b)第b个人脸图像的ni维人脸特征与该人脸图像所属身份类别的ni维类中心向量之间的夹角，θ* k为第b个人脸图像的ni维部分人脸特征与第k个身份的ni维类中心向量之间的夹角，yi(b)为第b个人脸图像所属身份的索引，所述部分人脸特征的维度数ni小于人脸特征的维度n。
第四特征损失的损失函数采用如下公式构建：
Figure 501261DEST_PATH_IMAGE004
其中，L4为第四特征损失的损失函数，B为人脸图像的数量，α1、s和m为大于0的超参数，K为身份类别的数量，θk为第b个人脸图像的n维人脸特征与第k个身份的n维类中心向量之间的夹角，θyi(b)为第b个人脸图像的n维人脸特征与该人脸图像所属身份类别的n维类中心向量之间的夹角，yi(b)为第b个人脸图像所属身份的索引，n为所述人脸特征的维度数。
本申请的模型训练方法，既可以用于训练与群体无关的人脸特征提取网络，也可以迁移到与其他因素无关的模型训练过程中，比如：训练与妆容无关的人脸特征提取网络等。整个方法易于训练、得到的模型鲁棒性强，方便迁移到其他识别任务。
本申请实施方式提供的模型训练方法，通过将人脸特征中的部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征，将剩余特征输入到第二群体特征提取网络中，得到第二群体特征，并根据第一群体特征和第二群体特征进行群体类别分类获得人脸图像所属的群体类别，然后对人脸特征提取网络、第一群体特征提取网络和第二群体特征提取网络进行联合训练，在联合训练过程中，使每个身份的类中心向量和与该类中心向量距离最近的类中心向量之间的夹角均靠近同一夹角值，也就是说，某一身份的类中心向量和与该身份的类中心向量距离最近的类中心向量所对应的两个人脸图像最相似，即具有某一群体特征，让最相似但属于不同身份的人脸图像的部分人脸特征对应的类中心向量之间的夹角均靠近同一夹角值，如此使得人脸特征中的部分人脸特征在不同群体间的人脸图像上都表现一致，相当于使部分人脸特征仅包含与身份识别相关的特征而不包含群体相关特征、剩余特征仅包含群体相关特征。与此同时，使人脸图像所属的群体类别服从均匀分布，也就是说，当符合某个群体特征的人脸图像的数量超过一定值时，才将该群体特征作为分类特征，如此使得群体类别的分类更符合人脸图像的实际情况，即使第一群体特征（基于部分人脸特征得到的群体无关特征）和第二群体特征（基于剩余特征得到的群体相关特征）之间界限更准确、合理。三个网络结合梯度反转层联合训练使得人脸特征提取网络输出的部分人脸特征仅与身份特征相关，与群体特征无关，如此后续仅依靠一个人脸特征提取网络就可执行不同群体间的人脸识别任务，无需占用大量的存储空间，也不依赖高算力的硬件平台支持，应用范围广。
本申请的实施方式涉及一种人脸识别方法，如图3所示，包括：
步骤201，将待测人脸图像输入到已训练好的人脸特征提取网络中，得到人脸特征。
步骤202，根据人脸特征中的部分人脸特征对待测人脸图像进行人脸识别，获取待测人脸图像的人脸识别结果。
本实施例中，人脸特征提取网络通过上述实施方式所述的模型训练方法获得。在得到人脸特征后，可以采用分类器对人脸特征中的部分人脸特征进行识别得到待测人脸图像所属的身份，实际应用时的分类器可以与训练阶段相同，也可以与训练阶段不同。需要说明的时，在得到训练好的人脸特征提取网络的同时，也得到了人脸特征feat(b,n)中部分人脸特征feati (b,ni)的位置和维度ni，而这部分人脸特征仅与身份识别有关，与群体特征无关，因此部分人脸特征可以在不同群体间的人脸图像上都得到很好的识别效果。
另外，本实施例中的人脸特征提取网络还可以用来判断两个人脸图像书否属于同一身份（同一人），可以用于儿童走失查找等场景，具体步骤为：将两个人脸图像输入到人脸特征提取网络中得到对应的两个人脸特征，计算两个人脸特征中部分人脸特征的夹角余弦值，当夹角余弦值大于预设阈值时，这两个人脸图像属于同一身份，否则属于不同身份。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施方式涉及一种电子设备，如图4所示，包括：
至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行如上述实施方式提及的模型训练，或者能够执行上述实施方式提及的人脸识别方法。
该电子设备包括：一个或多个处理器301以及存储器302，图3中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接，图3中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述模型训练方法或人脸识别方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器302中，当被一个或者多个处理器301执行时，执行上述任意实施方式中的模型训练方法，或者能够执行上述实施方式提及的人脸识别方法。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (12)

1.一种模型训练方法，其特征在于，包括：
将人脸图像输入人脸特征提取网络所得到的人脸特征中，部分人脸特征输入到前置有梯度反转层的第一群体特征提取网络中，得到第一群体特征，并构建使每个身份的类中心向量和与该类中心向量距离最近的类中心向量之间的夹角均靠近同一夹角值的第一特征损失；其中每个身份的所述类中心向量是根据对所述部分人脸特征按对应身份进行聚类后获得；
将所述人脸特征中除所述部分人脸特征之外的剩余特征，输入到第二群体特征提取网络中，得到第二群体特征；
根据所述第一群体特征和所述第二群体特征对所述人脸图像进行群体类别分类，获取所述人脸图像所属的群体类别，并构建使所述人脸图像所属的群体类别服从均匀分布的第一分类损失；
基于所述第一特征损失和所述第一分类损失对所述人脸特征提取网络、所述第一群体特征提取网络和所述第二群体特征提取网络进行联合训练，得到训练好的人脸特征提取网络。
2.根据权利要求1所述的模型训练方法，其特征在于，所述第一群体特征提取网络和所述第二群体特征提取网络均与第一分类网络连接；
所述根据所述第一群体特征和所述第二群体特征对所述人脸图像进行群体类别分类，获取所述人脸图像所属的群体类别，包括：
对所述第一群体特征和所述第二群体特征进行拼接得到群体特征；
采用所述第一分类网络对所述群体特征进行群体类别分类，得到所述群体特征对应的人脸图像所属的群体类别。
3.根据权利要求2所述的模型训练方法，其特征在于，所述联合训练的损失约束还包括：使所述群体特征和所述群体特征所属群体类别的类中心向量互相靠近的第二特征损失。
4.根据权利要求1所述的模型训练方法，其特征在于，所述人脸特征提取网络还连接第二分类网络；
所述方法还包括：
将所述人脸特征中部分人脸特征输入到第二分类网络中，得到所述部分人脸特征对应的人脸图像所属的身份类别；
其中，所述联合训练的损失约束还包括：使相同身份人脸图像的所述部分人脸特征相互靠近、不同身份人脸图像的所述部分人脸特征相互远离的第三特征损失。
5.根据权利要求1-4中任一项所述的模型训练方法，其特征在于，所述人脸特征提取网络还连接第三分类网络；
所述方法还包括：
将所述人脸特征输入到所述第三分类网络中，得到所述人脸特征对应的人脸图像所属的身份类别；
其中，所述联合训练的损失约束还包括：使相同身份人脸图像的所述人脸特征相互靠近、不同身份人脸图像的所述人脸特征相互远离的第四特征损失。
6.根据权利要求1所述的模型训练方法，其特征在于，采用如下公式构建所述第一特征损失的损失函数：
Figure 966854DEST_PATH_IMAGE001
其中，L1为第一特征损失的损失函数，α3为大于0的超参数，K为身份类别的数量，θ’ k为第k个身份的ni维类中心向量和与该类中心向量距离最近的第j个身份的ni维类中心向量之间的夹角，θavg为所有θ’ k的平均值，fciw (k,ni)为第k个身份的ni维类中心向量，fciw (j,ni)为第j个身份的ni维类中心向量，j≠k。
7.根据权利要求3所述的模型训练方法，其特征在于，采用如下公式构建所述第一分类损失和所述第二特征损失对应的损失函数：
Figure 415153DEST_PATH_IMAGE002
其中，L2为第一分类损失和第二特征损失对应的损失函数，B为人脸图像的数量，α4为大于0的超参数，p为中间参数，cls(b,c)第b个人脸图像属于第c个群体类别的概率，center(c,r)为预设的第c个群体类别的r维类中心向量，featr (b,r)为第b个人脸图像的r维群体特征，d(A,B) 表示A和B的距离。
8.根据权利要求4所述的模型训练方法，其特征在于，采用如下公式构建所述第三特征损失的损失函数：
Figure 585103DEST_PATH_IMAGE003
其中，L3为第三特征损失的损失函数，B为人脸图像的数量，α2、s和m为大于0的超参数，K为身份类别的数量，θ* yi(b)第b个人脸图像的ni维人脸特征与该人脸图像所属身份类别的ni维类中心向量之间的夹角，θ* k为第b个人脸图像的ni维部分人脸特征与第k个身份的ni维类中心向量之间的夹角，yi(b)为第b个人脸图像所属身份的索引，所述部分人脸特征的维度数ni小于人脸特征的维度n。
9.根据权利要求5所述的模型训练方法，其特征在于，采用如下公式构建所述第四特征损失的损失函数：
Figure 511471DEST_PATH_IMAGE004
其中，L4为第四特征损失的损失函数，B为人脸图像的数量，α1、s和m为大于0的超参数，K为身份类别的数量，θk为第b个人脸图像的n维人脸特征与第k个身份的n维类中心向量之间的夹角，θyi(b)为第b个人脸图像的n维人脸特征与该人脸图像所属身份类别的n维类中心向量之间的夹角，yi(b)为第b个人脸图像所属身份的索引，n为所述人脸特征的维度数。
10.一种人脸识别方法，其特征在于，包括：
将待测人脸图像输入到已训练好的人脸特征提取网络中，得到人脸特征；
根据所述人脸特征中的部分人脸特征对所述待测人脸图像进行人脸识别，获取所述待测人脸图像的人脸识别结果；
其中，所述人脸特征提取网络通过如权利要求1-9中任一项所述的模型训练方法获取。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任一所述的模型训练方法，或者能够执行如权利要求10所述的人脸识别方法。
12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的模型训练方法，或者实现如权利要求10中所述的人脸识别方法。
CN202211352999.7A 2022-11-01 2022-11-01 模型训练方法、人脸识别方法、电子设备及存储介质 Active CN115410265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211352999.7A CN115410265B (zh) 2022-11-01 2022-11-01 模型训练方法、人脸识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352999.7A CN115410265B (zh) 2022-11-01 2022-11-01 模型训练方法、人脸识别方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115410265A true CN115410265A (zh) 2022-11-29
CN115410265B CN115410265B (zh) 2023-01-31

Family

ID=84168057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352999.7A Active CN115410265B (zh) 2022-11-01 2022-11-01 模型训练方法、人脸识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115410265B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311464A (zh) * 2023-03-24 2023-06-23 北京的卢铭视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2869239A2 (en) * 2013-11-04 2015-05-06 Facebook, Inc. Systems and methods for facial representation
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
CN108764207A (zh) * 2018-06-07 2018-11-06 厦门大学 一种基于多任务卷积神经网络的人脸表情识别方法
CN109522945A (zh) * 2018-10-31 2019-03-26 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109919093A (zh) * 2019-03-07 2019-06-21 苏州科达科技股份有限公司 一种人脸识别方法、装置、设备及可读存储介质
CN110826408A (zh) * 2019-10-09 2020-02-21 西安工程大学 一种分区域特征提取人脸识别方法
CN111133433A (zh) * 2017-09-29 2020-05-08 通用电气公司 使用面部识别用于访问控制的自动认证
CN111160189A (zh) * 2019-12-21 2020-05-15 华南理工大学 一种基于动态目标训练的深度神经网络人脸表情识别方法
CN111951381A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建系统
CN111985310A (zh) * 2020-07-08 2020-11-24 华南理工大学 一种用于人脸识别的深度卷积神经网络的训练方法
CN112801054A (zh) * 2021-04-01 2021-05-14 腾讯科技（深圳）有限公司 人脸识别模型的处理方法、人脸识别方法及装置
CN112926506A (zh) * 2021-03-24 2021-06-08 重庆邮电大学 一种基于卷积神经网络的非受控人脸检测方法及系统
CN113128526A (zh) * 2021-06-17 2021-07-16 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备和计算机可读存储介质
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN113887538A (zh) * 2021-11-30 2022-01-04 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN114080632A (zh) * 2019-04-30 2022-02-22 华为技术有限公司 图像中的面部定位
CN114093002A (zh) * 2021-11-22 2022-02-25 河海大学 一种基于原型与对抗学习的单样本人脸识别方法
CN114926872A (zh) * 2022-04-14 2022-08-19 合肥的卢深视科技有限公司 模型训练方法、亲属关系识别方法、电子设备及存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150125049A1 (en) * 2013-11-04 2015-05-07 Facebook, Inc. Systems and methods for facial representation
CN105874474A (zh) * 2013-11-04 2016-08-17 脸谱公司 用于面部表示的系统和方法
EP2869239A2 (en) * 2013-11-04 2015-05-06 Facebook, Inc. Systems and methods for facial representation
CN111133433A (zh) * 2017-09-29 2020-05-08 通用电气公司 使用面部识别用于访问控制的自动认证
CN108764207A (zh) * 2018-06-07 2018-11-06 厦门大学 一种基于多任务卷积神经网络的人脸表情识别方法
CN109522945A (zh) * 2018-10-31 2019-03-26 中国科学院深圳先进技术研究院 一种群体情感识别方法、装置、智能设备及存储介质
CN109919093A (zh) * 2019-03-07 2019-06-21 苏州科达科技股份有限公司 一种人脸识别方法、装置、设备及可读存储介质
CN114080632A (zh) * 2019-04-30 2022-02-22 华为技术有限公司 图像中的面部定位
CN110826408A (zh) * 2019-10-09 2020-02-21 西安工程大学 一种分区域特征提取人脸识别方法
CN111160189A (zh) * 2019-12-21 2020-05-15 华南理工大学 一种基于动态目标训练的深度神经网络人脸表情识别方法
CN111985310A (zh) * 2020-07-08 2020-11-24 华南理工大学 一种用于人脸识别的深度卷积神经网络的训练方法
CN111951381A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建系统
CN112926506A (zh) * 2021-03-24 2021-06-08 重庆邮电大学 一种基于卷积神经网络的非受控人脸检测方法及系统
CN112801054A (zh) * 2021-04-01 2021-05-14 腾讯科技（深圳）有限公司 人脸识别模型的处理方法、人脸识别方法及装置
CN113128526A (zh) * 2021-06-17 2021-07-16 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备和计算机可读存储介质
CN114093002A (zh) * 2021-11-22 2022-02-25 河海大学 一种基于原型与对抗学习的单样本人脸识别方法
CN113850243A (zh) * 2021-11-29 2021-12-28 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN113887538A (zh) * 2021-11-30 2022-01-04 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN114926872A (zh) * 2022-04-14 2022-08-19 合肥的卢深视科技有限公司 模型训练方法、亲属关系识别方法、电子设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FLORIAN SCHROFF ET AL: "FaceNet: A Unified Embedding for Face Recognition and Clustering", 《PROCEEDINGS OF THE IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2015》 *
张延安等: "基于深度卷积神经网络与中心损失的人脸识别", 《科学技术与工程》 *
李振东等: "基于深度特征聚类的海量人脸图像检索", 《哈尔滨工业大学学报》 *
王飞等: "基于捷径的卷积神经网络在人脸识别中的应用研究", 《电子测量与仪器学报》 *
董火明等: "多分类器融合的人脸识别与身份认证", 《系统仿真学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311464A (zh) * 2023-03-24 2023-06-23 北京的卢铭视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质
CN116311464B (zh) * 2023-03-24 2023-12-12 北京的卢铭视科技有限公司 模型训练方法、人脸识别方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN115410265B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN107766850B (zh) 基于结合人脸属性信息的人脸识别方法
Wu et al. RGB-infrared cross-modality person re-identification
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN110414432A (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN111164601A (zh) 情感识别方法、智能装置和计算机可读存储介质
US10169683B2 (en) Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
TW201909112A (zh) 圖像特徵獲取
CN105631398A (zh) 识别对象的方法和设备以及训练识别器的方法和设备
CN108205684B (zh) 图像消歧方法、装置、存储介质和电子设备
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
EP3138058A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
EP3136293A1 (en) Method and device for processing an image of pixels, corresponding computer program product and computer readable medium
CN115410265B (zh) 模型训练方法、人脸识别方法、电子设备及存储介质
Karaman et al. L1-regularized logistic regression stacking and transductive crf smoothing for action recognition in video
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
Ueki et al. Waseda_Meisei_SoftBank at TRECVID 2019: Ad-hoc Video Search.
CN113850243A (zh) 模型训练、人脸识别方法、电子设备及存储介质
Lai et al. Learning sample specific weights for late fusion
Phan et al. Multimedia event detection using event-driven multiple instance learning
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
CN109697457B (zh) 物体重识别系统的训练方法、物体重识别方法及相关设备
CN115131858A (zh) 模型训练方法、人脸识别方法、电子设备及存储介质
CN114038052A (zh) 行人重识别方法及系统
CN114912540A (zh) 迁移学习方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230823

Address after: Room 799-4, 7th Floor, Building A3A4, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, Gaoxin District, Hefei Free Trade Experimental Zone, Anhui Province, 230031

Patentee after: Anhui Lushenshi Technology Co.,Ltd.

Address before: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right