CN110414550B - 人脸识别模型的训练方法、装置、系统和计算机可读介质 - Google Patents

人脸识别模型的训练方法、装置、系统和计算机可读介质 Download PDF

Info

Publication number
CN110414550B
CN110414550B CN201910516876.4A CN201910516876A CN110414550B CN 110414550 B CN110414550 B CN 110414550B CN 201910516876 A CN201910516876 A CN 201910516876A CN 110414550 B CN110414550 B CN 110414550B
Authority
CN
China
Prior art keywords
loss function
intra
pictures
class distance
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910516876.4A
Other languages
English (en)
Other versions
CN110414550A (zh
Inventor
王塑
王泽荣
杜佳慧
刘宇
李亮亮
肖�琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910516876.4A priority Critical patent/CN110414550B/zh
Publication of CN110414550A publication Critical patent/CN110414550A/zh
Application granted granted Critical
Publication of CN110414550B publication Critical patent/CN110414550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人脸识别模型的训练方法、装置、系统和计算机可读介质，该人脸识别模型的训练方法包括：在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数；基于所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，用于监控所述类内距离的分布差异；计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数；以及优化所述总损失函数，以使之收敛。本发明在训练过程中引入类内距离分布差别损失函数，规整了类内距离的分布，能够解决由于不同数据集分布差异导致阈值难以统一的问题。

Description

人脸识别模型的训练方法、装置、系统和计算机可读介质
技术领域
本发明涉及人脸识别技术领域，更具体地涉及一种人脸识别模型的训练方法、装置、系统和计算机可读介质。
背景技术
目前的人脸识别任务主要分为三类，即人脸验证(验证是否为同一人)、人脸识别(找到查询人脸图片与很多目标人脸图片中最相近的人)和聚类(目标人脸图片，将其分为看起来相互之间最像的几种)。通常采用的方法是通过训练深度网络模型将人脸图片转化到特征空间中的点，并使得在特征空间中，距离近的点对应的人脸最像同一个人，距离远的对应为不同的人。那么，人脸验证任务等价于计算特征空间中点的距离是否小于阈值；人脸识别等价于寻找与查询人脸图片对应点最近的目标人脸图片对应点；聚类则等价于使用k-means方法的聚类算法。在此基础上，人脸识别任务等价于训练一个好的深度网络模型，将人脸图片转化到特征空间。
现在普遍使用的方法包括两类学习方案，三元组学习方案(triplet)和分类学习方案(classification)。人脸识别模型在训练结束后，需要设定阈值，当两张图片的距离大于阈值则判定为不是同一个人，小于阈值时则判定为是同一个人。但当前的模型在不同数据集上存在显著的阈值差异。例如，当模型使用全人种数据集训练后，由于黄种人的人脸图片可区分度更大，黑人的人脸图片更难区分，使用黄种人数据集确定的阈值显著大于使用黑人确定的阈值。多数据集阈值不对齐导致选定阈值后，在特定的数据上的误通过率很低、误拒绝率很高，而再另一些数据集上误通过率很高、误拒绝率很低，破坏模型的整体表现。
发明内容
为了解决上述问题，本发明提出了一种基于类内距离分布对齐的人脸识别模型的训练方案。下面简要描述本发明提出的关于人脸识别模型的训练方案，更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明实施例一方面，提供了一种人脸识别模型的训练方法，所述方法包括：在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数；基于每组图片的所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异；计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数；以及优化所述总损失函数，以使之收敛。
在一个实施例中，所述第一损失函数关注所述类内距离的均值和/或标准差的趋同。
在一个实施例中，所述第一损失函数表示为：L＝abs(mean(di)-R)+abs(std(di)-S)，其中，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
在一个实施例中，所述第一损失函数表示为：L＝F3(abs(mean(F1(di))-R))+F4(abs(std(F2(di))-S))，其中F1、F2是单调函数，F3、F4是正相关函数，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
在一个实施例中，F3为0。
在一个实施例中，采用随机梯度下降方法优化所述总损失函数。
在一个实施例中，所述每组图片为针对同一个人的两张图片。
根据本发明实施例另一方面，提供了一种人脸识别模型的训练装置，所述人脸识别模型的训练装置包括：输入模块，用于在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数；第一计算模块，用于计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异；第二计算模块，用于计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数；以及优化模块，用于优化所述总损失函数，使之达到极小。
根据本发明实施例再一方面，提供了一种人脸识别模型的训练系统，所述人脸识别模型的训练系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的人脸识别模型的训练方法。
根据本发明实施例又一方面，提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序在运行时执行上述任一项所述的人脸识别模型的训练方法。
本发明实施例的人脸识别模型的训练方法、装置、系统和计算机可读介质在训练过程中引入类内距离分布差别损失函数，规整了类内距离的分布，能够解决由于不同数据集分布差异导致阈值难以统一的问题。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出了现有的人脸识别模型的训练方法中存在的问题；
图2示出用于实现根据本发明实施例的人脸识别模型的训练方法、装置、系统和计算机可读介质的示例电子设备的示意性框图；
图3示出根据本发明实施例的人脸识别模型的训练方法的示意性流程图；
图4示出根据本发明实施例的人脸识别模型的训练装置的示意性框图；以及
图5示出根据本发明实施例的人脸识别模型的训练系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在人脸识别模型的训练过程中，对损失函数的优化可以使各个数据集的类间距离与类内距离的差基本相同。在人脸识别模型训练结束以后，需要设定阈值，当两张图片的距离大于阈值则判定为不是同一个人，小于阈值时则判定为是同一个人。然而，如图1所示，A数据集和B数据集都满足损失函数的要求，但对阈值的选取需要确定一个阈值距离，用于确定两张图片是否属于同一个人，但如图1所示，B数据集的类内距离大于A数据集的类内距离，若使用A数据集确定阈值，则可能造成在B数据集上的数据误拒绝率很高，即各个数据集的阈值难以统一。
为改善此问题，本发明实施例提供的一种基于类内距离分布对齐的人脸识别模型的训练方法、识别方法、装置及处理设备，以下对本发明实施例进行详细介绍。
首先，参照图2来描述用于实现本发明实施例的人脸识别模型的训练方法、装置、系统和计算机可读介质的示例电子设备200。
如图2所示，电子设备200包括一个或多个处理器202、一个或多个存储装置204、输入装置206、输出装置208以及图像传感器210，这些组件通过总线系统212和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备200的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器202可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备200中的其它组件以执行期望的功能。
所述存储装置204可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器202可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置206可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置208可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器210可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置204中以供其它组件使用。所述图像传感器210可以实现为外接设备的形式。
当注意，图2所示的电子设备200的组件和结构只是示例性的，尽管图2示出的电子设备200包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
示例性地，用于实现根据本发明实施例的人脸识别模型的训练方法、识别方法、装置及处理设备的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。
下面，将参考图3描述根据本发明实施例的人脸识别模型的训练方法200。
如图3所示，在步骤S310，在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数。
在一个实施例中，所述图片为来自多个人脸数据集的人脸图片，所述N组图片中的每组图片包括两张属于同一人的图片。神经网络提取图片中的特征向量，例如，gabor特征、LBP(Local binary patterns，局部二值模式)特征等。所述神经网络可以采用任何合适的神经网络，例如可以是ResNet、DenseNet、MobileNet、ShuffleNet、Inception等中的任一种网络结构。上述神经网络仅是示例性的，本发明实施例对所使用的神经网络的网络结构不作限定。
在本发明实施例中，每个批次(batch)输入N组图片以进行训练，直到总损失函数达到一个极小值，之后进行下一批次的训练，如此进行多次的迭代，直到训练所得的人脸识别模型满足要求。其中，每个批次所输入的N组图片可以来自不同的数据集。
在步骤S320，基于每组图片的所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异。
在本发明实施例中，为了便于描述，将类内距离分布差异损失函数称为第一损失函数，将通用的损失函数称为第二损失函数。也就是说，第一损失函数(即类内距离分布差异损失函数)用于监控类内距离的分布差异，降低第一损失函数时，不同数据集类内距离分布的差异将趋同，即图1中A数据集合B数据集的圆的大小将趋同，从而有利于实现一个统一的阈值选取方案。
本实施例中，所述类内距离可以采用欧式距离或1-余弦相似度等向量之间的距离表征。
如上所述，当每个批次输入N组图片，每组图片包括两张属于同一个人的人脸图片时，计算每组两张图片人脸特征之间的距离di，其中i＝1，2,3，…N，并根据di计算所述第一损失函数。
在一个实施例中，所述第一损失函数关注均值和/或标准差的趋同。即通过优化第一损失函数，可以使不同数据集之间的均值和/或标准差趋同。
作为示例，当基于均值和标准差计算第一损失函数时，可以将所述第一损失函数定义为：L＝abs(mean(di)-R)+abs(std(di)-S)。其中，mean(di)是类内距离d1、d2、d3…di的均值，std(di)是di的标准差，R和S是待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs是绝对值函数。
进一步地，第一损失函数可以定义为L＝F3(abs(mean(F1(di))-R))+F4(abs(std(F2(di))-S))，其中F1、F2是单调函数，F3、F4是正相关函数。增加上述函数可以改变训练速率，但不会改变收敛点。
在一个实施例中，F3可以为0，即只关注均值的趋同，不关注标准差的趋同，此时第一损失函数L＝F4(abs(std(F2(di))-S))。
需要说明的是，上文列举的第一损失函数仅是示例性的，而不构成对第一损失函数的限制；并且，除了均值和标准差之外，对于类内距离的分布差别还可以有其他评价方式，只要其能够监控不同数据集之间类内距离的分布即可。
在步骤S330，计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数。
其中，如上所述，所述第二损失函数可以是模型训练常用的各种损失函数，所述第二损失函数主要用于使得类内距离尽量小，类间距离尽量大。所述第二损失函数包括三元组损失函数(triplet loss)、或三元组损失函数与分类损失函数的组合。在一个实施例中，所述第二损失函数也可以是现有的多种损失函数的组合，例如SoftMax loss、余弦相似度损失、Center Loss等。
接着，将第一损失函数和第二损失函数按照预设的权重系数求和，得到总损失函数。总损失函数既关注类内距离和类间距离的大小，又关注类内距离的分布差异。
在步骤S340，优化所述总损失函数，使之收敛。
具体地，以降低总损失函数为目标，可以利用随机梯度下降、梯度回传、反向传播等优化算法来优化模型中的各个参数，当总损失函数收敛时，将总损失函数收敛时对应的参数作为人脸识别模型的参数。由于本发明实施例的总损失函数既包括第一损失函数，又包括第二损失函数，当总损失函数达到极小时，可以使得类内距离尽量近，类间距离尽量远，同时又能保证不同数据集间类内距离分布的差异趋同，有利于阈值的选取。
完成训练之后，可设置一个阈值，当使用人脸识别模型执行人脸识别任务时，若两张图片之间的距离大于阈值，则可判定为不是同一个人，若两张图片之间的距离小于阈值，则可判定为是同一个人。由于本发明实施例的训练方法通过引入类内距离分布差别损失函数而使每个数据集的类内分布趋同，因而不存在在不同数据集上阈值存在显著差异的问题。
以上示例性地描述了根据本发明实施例的人脸识别模型的训练方法。示例性地，根据本发明实施例的人脸识别模型的训练方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外，根据本发明实施例的人脸识别模型的训练方法可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地，根据本发明实施例的人脸识别模型的训练方法还可以部署在服务器端(或云端)。替代地，根据本发明实施例的人脸识别模型的训练方法还可以分布地部署在服务器端(或云端)和个人终端处。
基于上面的描述，根据本发明实施例的人脸识别模型的训练方法在训练过程中引入类内距离分布差别损失函数，规整了类内距离的分布，能够解决由于不同数据集分布差异导致阈值难以统一的问题。
以上示例性地描述了根据本发明实施例的人脸识别模型的训练方法所包括的示例性步骤流程。
下面结合图4描述本发明另一方面提供的人脸识别模型的训练装置。图4示出了根据本发明实施例的人脸识别模型的训练装置400的示意性框图。
如图4所示，根据本发明实施例的人脸识别模型的训练装置300包括输入模块410、第一计算模块420、第二计算模块430和优化模块440。所述各个模块可分别执行上文中结合图3描述的人脸识别模型的训练方法的各个步骤/功能。
输入模块410用于在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数。
在一个实施例中，所述图片为人脸图片，所述N组图片中的每组图片包括两张属于同一人的图片。神经网络提取图片中的特征向量，例如，gabor特征、LBP(Local binarypatterns，局部二值模式)特征等。所述神经网络可以采用任何合适的神经网络，例如可以是ResNet、DenseNet、MobileNet、ShuffleNet、Inception等中的任一种网络结构。上述神经网络仅是示例性的，本发明实施例对所使用的神经网络的网络结构不作限定。
在本发明实施例中，每个批次(batch)输入N组图片以进行训练，直到总损失函数达到一个极小值，之后进行下一批次的训练，如此进行多次的迭代，直到训练所得的人脸识别模型满足要求。其中，每个批次所输入的N组图片可以来自不同的数据集。
第一计算模块420用于根据所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异。
在本发明实施例中，为了便于描述，将类内距离分布差异损失函数称为第一损失函数，将通用的损失函数称为第二损失函数。也就是说，第一损失函数(即类内距离分布差异损失函数)用于监控类内距离的分布差异，降低第一损失函数时，不同数据集类内距离分布的差异将趋同，即图1中A数据集合B数据集的圆的大小将趋同，从而有利于实现一个统一的阈值选取方案。
本实施例中，所述类内距离可以采用欧式距离或1-余弦相似度等向量之间的距离表征。
如上所述，当每个批次输入N组图片，每组图片包括两张属于同一个人的人脸图片时，计算每组两张图片之间的距离di，其中i＝1，2,3，…N，并根据di计算所述第一损失函数。
在一个实施例中，所述第一损失函数关注均值和/或标准差的趋同。即通过优化第一损失函数，可以使不同数据集之间的均值和/或标准差趋同。
作为示例，当基于均值和标准差计算第一损失函数时，可以将所述第一损失函数定义为：L＝abs(mean(di)-R)+abs(std(di)-S)。其中，mean(di)是类内距离d1、d2、d3…di的均值，std(di)是di的标准差，R和S是待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs是绝对值函数。
进一步地，第一损失函数可以定义为L＝F3(abs(mean(F1(di))-R))+F4(abs(std(F2(di))-S))，其中F1、F2是单调函数，F3、F4是正相关函数。增加上述函数可以改变训练速率，但不会改变收敛点。
在一个实施例中，F3可以为0，即只关注均值的趋同，不关注标准差的趋同，此时第一损失函数L＝F4(abs(std(F2(di))-S))。
需要说明的是，上文列举的第一损失函数仅是示例性的，而不构成对第一损失函数的限制；并且，除了均值和标准差之外，对于类内距离的分布差别还可以有其他评价方式，只要其能够监控不同数据集之间类内距离的分布即可。
第二计算模块430用于计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数。
其中，如上所述，所述第二损失函数可以是模型训练常用的各种损失函数，所述第二损失函数主要用于使得类内距离尽量小，类间距离尽量大。所述第二损失函数包括三元组损失函数(triplet loss)、或三元组损失函数与分类损失函数的组合。在一个实施例中，所述第二损失函数也可以是现有的多种损失函数的组合，例如SoftMax loss、余弦相似度损失、Center Loss等。
接着，将第一损失函数和第二损失函数按照预设的权重系数求和，得到总损失函数。总损失函数既关注类内距离和类间距离的大小，又关注类内距离的分布差异。
优化模块440用于优化所述总损失函数，使之收敛。
具体地，以降低总损失函数为目标，可以利用随机梯度下降、梯度回传、反向传播等优化算法来优化模型中的各个参数，当总损失函数收敛时，将总损失函数收敛时对应的参数作为人脸识别模型的参数。由于本发明实施例的总损失函数既包括第一损失函数，又包括第二损失函数，当总损失函数达到极小时，可以使得类内距离尽量近，类间距离尽量远，同时又能保证不同数据集间类内距离分布的差异趋同，有利于阈值的选取。
完成训练之后，可设置一个阈值，当使用人脸识别模型执行人脸识别任务时，若两张图片之间的距离大于阈值，则可判定为不是同一个人，若两张图片之间的距离小于阈值，则可判定为是同一个人。由于本发明实施例的训练方法通过引入类内距离分布差别损失函数而使每个数据集的类内分布趋同，因而不存在在不同数据集上阈值存在显著差异的问题。
以上示例性地描述了根据本发明实施例的人脸识别模型的训练装置。示例性地，根据本发明实施例的人脸识别模型的训练装置可以在具有存储器和处理器的设备、装置或者系统中实现。
此外，根据本发明实施例的人脸识别模型的训练装置可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地，根据本发明实施例的人脸识别模型的训练装置还可以部署在服务器端(或云端)。替代地，根据本发明实施例的人脸识别模型的训练装置还可以分布地部署在服务器端(或云端)和个人终端处。
基于上面的描述，根据本发明实施例的人脸识别模型的训练装置在训练过程中引入类内距离分布差别损失函数，规整了类内距离的分布，能够解决由于不同数据集分布差异导致阈值难以统一的问题。
图5示出了根据本发明实施例的人脸识别模型的训练系统500的示意性框图。人脸识别模型的训练系统500包括存储装置510以及处理器520。
其中，存储装置510存储用于实现根据本发明实施例的人脸识别模型的训练方法中的相应步骤的程序代码。处理器520用于运行存储装置510中存储的程序代码，以执行根据本发明实施例的人脸识别模型的训练方法的相应步骤，并且用于实现根据本发明实施例的人脸识别模型的训练装置中的相应模块。
在一个实施例中，在所述程序代码被处理器520运行时使得人脸识别模型的训练系统500执行以下步骤：在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数；基于每组图片的所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异；计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数；以及优化所述总损失函数，以使之收敛。
在一个实施例中，所述第一损失函数关注所述类内距离的均值和/或标准差的趋同。
在一个实施例中，所述第一损失函数表示为：L＝abs(mean(di)-R)+abs(std(di)-S)，其中，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
在一个实施例中，所述第一损失函数表示为：L＝F3(abs(mean(F1(di))-R))+F4(abs(std(F2(di))-S))，其中F1、F2是单调函数，F3、F4是正相关函数，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
在一个实施例中，F3为0。
在一个实施例中，采用随机梯度下降方法优化所述总损失函数。
在一个实施例中，所述每组图片为针对同一个人的两张图片。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸识别模型的训练方法的相应步骤，并且用于实现根据本发明实施例的人脸识别模型的训练装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸识别模型的训练装置的各个功能模块，并且/或者可以执行根据本发明实施例的人脸识别模型的训练方法。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数；基于每组图片的所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异；计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数；以及优化所述总损失函数，以使之收敛。
在一个实施例中，所述第一损失函数关注所述类内距离的均值和/或标准差的趋同。
在一个实施例中，所述第一损失函数表示为：L＝abs(mean(di)-R)+abs(std(di)-S)，其中，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
在一个实施例中，所述第一损失函数表示为：L＝F3(abs(mean(F1(di))-R))+F4(abs(std(F2(di))-S))，其中F1、F2是单调函数，F3、F4是正相关函数，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
在一个实施例中，F3为0。
在一个实施例中，采用随机梯度下降方法优化所述总损失函数。
在一个实施例中，所述每组图片为针对同一个人的两张图片。
根据本发明实施例的人脸识别模型的训练方法、装置、系统和计算机可读介质在训练过程中引入类内距离分布差别损失函数，规整了类内距离的分布，能够解决由于不同数据集分布差异导致阈值难以统一的问题。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者其他合适的处理器来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种人脸识别模型的训练方法，其特征在于，所述人脸识别模型的训练方法包括：
在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数，所述每组图片为针对同一个人的两张图片；
基于每组图片的所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异，所述第一损失函数关注所述类内距离的标准差的趋同，或者所述第一损失函数关注所述类内距离的均值和标准差的趋同；
计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数，第二损失函数用于使得类内距离尽量小，类间距离尽量大；以及
优化所述总损失函数，以使之收敛；
所述第一损失函数表示为：
L＝abs(mean(di)-R)+abs(std(di)-S)，
其中，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
2.根据权利要求1所述的人脸识别模型的训练方法，其特征在于，所述第一损失函数表示为：
L＝F3(abs(mean(F1(di))-R))+F4(abs(std(F2(di))-S))，
其中F1、F2是单调函数，F3、F4是正相关函数，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
3.根据权利要求2所述的人脸识别模型的训练方法，其特征在于，F3为0。
4.根据权利要求1所述的人脸识别模型的训练方法，其特征在于，采用随机梯度下降方法优化所述总损失函数。
5.一种人脸识别模型的训练装置，其特征在于，所述人脸识别模型的训练装置包括：
输入模块，用于在每个批次中将N组图片输入神经网络，得到每张图片所对应的特征向量，其中，所述N组图片中的每组图片属于同一类别，N为大于或等于1的自然数，所述每组图片为针对同一个人的两张图片；
第一计算模块，用于基于每组图片的所述特征向量计算每组图片的类内距离，并根据所述类内距离计算第一损失函数，所述第一损失函数用于监控所述类内距离的分布差异，所述第一损失函数关注所述类内距离的标准差的趋同，或者所述第一损失函数关注所述类内距离的均值和标准差的趋同；
第二计算模块，用于计算第二损失函数，并与所述第一损失函数加权，以得到总损失函数，第二损失函数用于使得类内距离尽量小，类间距离尽量大；以及
优化模块，用于优化所述总损失函数，使之达到极小；
所述第一损失函数表示为：
L＝abs(mean(di)-R)+abs(std(di)-S)，
其中，di为每个批次中的类内距离，mean表示均值，std表示标准差，R和S为待学习参数，分别表示所述类内距离的总体均值和总体标准差，abs为绝对值函数。
6.一种人脸识别模型的训练系统，其特征在于，所述人脸识别模型的训练系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-4中的任一项所述的人脸识别模型的训练方法。
7.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-4中的任一项所述的人脸识别模型的训练方法。
CN201910516876.4A 2019-06-14 2019-06-14 人脸识别模型的训练方法、装置、系统和计算机可读介质 Active CN110414550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910516876.4A CN110414550B (zh) 2019-06-14 2019-06-14 人脸识别模型的训练方法、装置、系统和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910516876.4A CN110414550B (zh) 2019-06-14 2019-06-14 人脸识别模型的训练方法、装置、系统和计算机可读介质

Publications (2)

Publication Number Publication Date
CN110414550A CN110414550A (zh) 2019-11-05
CN110414550B true CN110414550B (zh) 2022-07-29

Family

ID=68359071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910516876.4A Active CN110414550B (zh) 2019-06-14 2019-06-14 人脸识别模型的训练方法、装置、系统和计算机可读介质

Country Status (1)

Country Link
CN (1) CN110414550B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062479B (zh) * 2019-12-19 2024-01-23 北京迈格威科技有限公司 基于神经网络的模型快速升级方法及装置
CN111275183B (zh) * 2020-01-14 2023-06-16 北京迈格威科技有限公司 视觉任务的处理方法、装置和电子系统
CN112949618A (zh) * 2021-05-17 2021-06-11 成都市威虎科技有限公司 一种人脸特征码转换方法及装置和电子设备
CN113191461B (zh) * 2021-06-29 2021-09-17 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
CN113657289B (zh) * 2021-08-19 2023-08-08 北京百度网讯科技有限公司 阈值估计模型的训练方法、装置和电子设备
CN115661909A (zh) * 2022-12-14 2023-01-31 深圳大学 人脸图像处理方法、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和系统
CN108197669A (zh) * 2018-01-31 2018-06-22 北京陌上花科技有限公司 卷积神经网络的特征训练方法及装置
CN108647583A (zh) * 2018-04-19 2018-10-12 浙江大承机器人科技有限公司 一种基于多目标学习的人脸识别算法训练方法
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置
CN109583322A (zh) * 2018-11-09 2019-04-05 长沙小钴科技有限公司 一种人脸识别深度网络训练方法和系统
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897390A (zh) * 2017-01-24 2017-06-27 北京大学 基于深度度量学习的目标精确检索方法
CN108985135A (zh) * 2017-06-02 2018-12-11 腾讯科技（深圳）有限公司 一种人脸检测器训练方法、装置及电子设备
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和系统
CN108197669A (zh) * 2018-01-31 2018-06-22 北京陌上花科技有限公司 卷积神经网络的特征训练方法及装置
CN108647583A (zh) * 2018-04-19 2018-10-12 浙江大承机器人科技有限公司 一种基于多目标学习的人脸识别算法训练方法
CN109583322A (zh) * 2018-11-09 2019-04-05 长沙小钴科技有限公司 一种人脸识别深度网络训练方法和系统
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
CN109492624A (zh) * 2018-12-29 2019-03-19 北京灵汐科技有限公司 一种人脸识别方法、特征提取模型的训练方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人脸识别方法的研究;曾岳;《中国优秀博士学位论文全文数据库 信息科技辑》;20120515(第05期);I138-41 *
基于全局与局部信息的人脸识别研究;易玉根;《中国优秀博士学位论文全文数据库 信息科技辑》;20160615(第06期);I138-18 *

Also Published As

Publication number Publication date
CN110414550A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110414550B (zh) 人脸识别模型的训练方法、装置、系统和计算机可读介质
CN108875522B (zh) 人脸聚类方法、装置和系统及存储介质
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
US20200097742A1 (en) Training neural networks for vehicle re-identification
US11074434B2 (en) Detection of near-duplicate images in profiles for detection of fake-profile accounts
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
CN109284675B (zh) 一种用户的识别方法、装置及设备
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
TW201909112A (zh) 圖像特徵獲取
CN107679513B (zh) 图像处理方法、装置及服务器
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN103582884A (zh) 用于视觉搜索的稳健特征匹配
CN109241888B (zh) 神经网络训练与对象识别方法、装置和系统及存储介质
WO2014082496A1 (zh) 客户端特征的识别方法、装置及存储介质
WO2020114108A1 (zh) 聚类结果的解释方法和装置
CN115862088A (zh) 一种身份识别方法及装置
CN112231592A (zh) 基于图的网络社团发现方法、装置、设备以及存储介质
CN111382666A (zh) 具有用户验证的设备和方法
CN111414803A (zh) 人脸识别方法、装置、电子设备
KR20200020107A (ko) 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템
CN111597921A (zh) 场景识别方法、装置、计算机设备和存储介质
Xi et al. Finger vein recognition based on the hyperinformation feature
Cheng et al. Deep learning based face recognition with sparse representation classification
Shahab et al. Android application for presence recognition based on face and geofencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant