CN110070037A - 人脸识别模型的平滑升级方法、装置和可读存储介质 - Google Patents
人脸识别模型的平滑升级方法、装置和可读存储介质 Download PDFInfo
- Publication number
- CN110070037A CN110070037A CN201910326051.6A CN201910326051A CN110070037A CN 110070037 A CN110070037 A CN 110070037A CN 201910326051 A CN201910326051 A CN 201910326051A CN 110070037 A CN110070037 A CN 110070037A
- Authority
- CN
- China
- Prior art keywords
- model
- recognition model
- human face
- face recognition
- upgraded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸识别模型的平滑升级方法,人脸识别模型的平滑升级方法包括以下步骤构建与原始人脸识别模型对应的待升级模型,其中,所述待升级模型与所述原始人脸识别模型输出的人脸特征的维度相等;将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型,以得到各张所述人脸图像对应的人脸特征;设计所述待升级模型的损失函数,以对各个所述人脸特征进行损失监督学习,使得所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征满足预设条件。本发明还公开一种人脸识别模型的平滑升级装置和可读存储介质。本发明在提高人脸识别精度的同时,降低了人脸识别模型的平滑升级成本。
Description
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种人脸识别模型的平滑升级方法、装置和可读存储介质。
背景技术
基于深度卷积神经网络技术的人脸识别算法的巨大成功,已经广泛应用于社会安全、公共服务等各种领域。人脸识别应用首先通过人脸采集设备如摄像头等采集到图像,通过人脸检测算法对人脸进行定位。在对检测到的人脸做对齐操作后输入到人脸识别模块进行特征提取,并与之前注册的人脸库进行匹配。当相似度超过事先设定的阈值时,便将最相似的注册人脸作为该人脸的身份信息。在整个识别的过程中,人脸识别的精度主要取决于人脸特征,最终决定于人脸识别模型。
随着算法改进和数据的增加,要提高人脸识别的精度就需要重新训练新的人脸识别模型来更新神经网路的参数。这样一来,旧的版本的人脸识别模型和新的版本的模型所提取的人脸特征就不在一个特征空间中,导致新版本的人脸识别模型提取的特征与旧版本的人脸识别模型提取的特征无法向前兼容,从而导致了人脸识别模型的升级成本较高。
发明内容
本发明的主要目的在于提供一种人脸识别模型的平滑升级方法、装置和可读存储介质,旨在解决人脸识别模型的升级成本较高的问题。
为实现上述目的,本发明提供的一种人脸识别模型的平滑升级方法,所述人脸识别模型的训练方法包括以下步骤:
构建与原始人脸识别模型对应的待升级模型,其中,所述待升级模型与所述原始人脸识别模型输出的人脸特征的维度相等;
将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型,以得到各张所述人脸图像对应的人脸特征,其中,所述数据集中含有新增人脸图像以及历史人脸图像;
设计所述待升级模型的损失函数,以对各个所述人脸特征进行损失监督学习,使得所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征满足预设条件,其中,所述预设条件包括待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征相等以及所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征之间的夹角余弦值大于预设阈值中的至少一个。
在一实施例中,所述人脸特征包括所述原始人脸识别模型输出的第一人脸特征,以及所述待升级模型输出的第二人脸特征,所述对各个所述人脸特征进行损失监督学习的步骤包括:
计算所述第一人脸特征与各个预存人脸特征之间的相似度,并计算所述第一人脸特征与所述第二人脸特征之间的目标均方误差;
根据各个所述相似度以及所述目标均方误差确定所述人脸图像对应的损失值;
根据所述损失值对所述第二人脸特征进行损失监督学习。
在一实施例中,所述根据各个所述相似度以及所述目标均方误差确定所述人脸图像对应的损失值的步骤包括:
在各个所述相似度中确定最大的相似度,并将最大的所述相似度作为目标相似度;
在所述目标相似度大于或等于预设相似度阈值时,将所述目标均方误差作为所述人脸图像对应的损失值;
在所述目标相似度小于预设相似度阈值时,根据所述待升级模型设置的损失函数计算所述人脸图像对应的损失值。
在一实施例中,所述待升级模型设置的损失函数为交叉熵函数,或者交叉熵函数与三元组损失函数。
在一实施例中,所述计算所述第一人脸特征与所述第二人脸特征之间的目标均方误差的步骤包括:
确定所述原始人脸识别模型中深度卷积神经网络中各个网络层输出的第一人脸特征,以及所述升级模型中深度卷积神经网络中各个网络层输出的第二人脸特征;
依次计算相同网络层的所述第一人脸特征与第二人脸特征之间的均方误差;
将各个所述第一人脸特征与第二人脸特征之间的均方误差之和作为所述目标均方误差。
在一实施例中,所述将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型的步骤包括:
对各个所述人脸图像进行数据预处理;
将各个数据预处理的所述人脸图像分别输入所述待升级模型以及所述原始人脸识别模型。
在一实施例中,所述对各个所述人脸特征进行损失监督学习的步骤之后,还包括:
在所述待升级模型中的损失函数小于第一预设阈值,或者,所述待升级模型的训练迭代次数达到预设迭代次数时,判定人脸识别模型完成平滑升级,并将平滑升级后的模型保存。
在一实施例中,所述构建与原始人脸识别模型对应的待升级模型的步骤之前,还包括:
对人脸识别模型设置交叉熵函数,并向所述人脸识别模型输入各张人脸图像;
在所述人脸识别模型的损失函数小于第二预设阈值时,判定所述人脸识别模型完成训练,并将完成训练的所述人脸识别模型作为原始人脸识别模型。
为实现上述目的,本发明还提供一种人脸识别模型的平滑升级装置,所述人脸识别模型的平滑升级装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的人脸识别模型的平滑升级程序,所述人脸识别模型的平滑升级程序被所述处理器执行时实现如上所述的人脸识别模型的平滑升级方法的各个步骤。
为实现上述目的,本发明还提供一种可读存储介质,所述可读存储介质存储有人脸识别模型的平滑升级程序,所述人脸识别模型的平滑升级程序被所述处理器执行时实现如上所述的人脸识别模型的平滑升级方法的各个步骤。
本发明提供的人脸识别模型的平滑升级方法、装置和可读存储介质,人脸识别模型的平滑升级装置构建与原始人脸识别模型对应的待升级模型,待升级模型以及原始人脸识别模型输出的人脸特征的维度相等,再将数据集中的历史人脸图像以及新增分别输入原始人脸识别模型以及待升级模型中,得到各个人脸图像训练对应的人脸特征,再设计待升级模型的损失函数,以对各个人脸特征进行损失监督学习,从而待升级模型经过训练后提取的人脸特征与原始人脸模型提取的人脸特征位于相同的特征空间或者在可接受范围内波动,这样既继承了原始模型的正确特征表达,也校正了错误的人脸特征表达,新模型的人脸识别的精度较高,且新旧模型输出的特征位于同一特征空间达到了向前兼容的目的,而无需在其它机器上重新开发人脸识别的新模型,节省了大量的人力以及物力,故,在提高人脸识别精度的同时,使得人脸识别模型的平滑升级成本较低。
附图说明
图1为本发明实施例涉及的人脸识别模型的平滑升级装置的硬件结构示意图;
图2为本发明人脸识别模型的平滑升级方法第一实施例的流程示意图;
图3为图2中步骤S300的细化流程示意图;
图4为本发明人脸识别模型的平滑升级方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:构建与原始人脸识别模型对应的待升级模型,其中,所述待升级模型与所述原始人脸识别模型输出的人脸特征的维度相等;将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型,以得到各张所述人脸图像对应的人脸特征,其中,所述数据集中含有新增人脸图像以及历史人脸图像;设计所述待升级模型的损失函数,以对各个所述人脸特征进行损失监督学习,使得所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征满足预设条件,其中,所述预设条件包括待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征相等以及所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征之间的夹角余弦值大于预设阈值中的至少一个。
由于待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征位于相同的特征空间或者在可接受范围内波动,这样既继承了原始模型的正确特征表达,也校正了错误的人脸特征表达,新模型的人脸识别的精度较高,且新旧模型输出的特征位于同一特征空间达到了向前兼容的目的,而无需在其它机器上重新开发人脸识别的新模型,节省了大量的人力以及物力,故,在提高人脸识别精度的同时,使得人脸识别模型的平滑升级成本较低。
作为一种实现方案,人脸识别模型的平滑升级装置可以如图1所示。
本发明实施例方案涉及的是人脸识别模型的平滑升级装置,人脸识别模型的平滑升级装置包括:处理器101,例如CPU,存储器102,通信总线103。其中,通信总线103用于实现这些组件之间的连接通信。此外,人脸识别模型的平滑升级装置包括CPU,负责执行人脸识别模型的平滑升级程序并进行数据读取以及模型的存储;另外,人脸识别模型的平滑升级装置包括GPU(图形处理器),GPU用于模型的训练;在CPU调用存储器中存储的人脸识别模型的平滑升级程序后,CPU从本地磁盘中读取一批训练图像文件解码成训练数据格式,拷贝到GPU显存,并在GPU中进行前向计算和后向推理,并更新模型参数,读取下一批数据,不断反复。
存储器102可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。如图1所示,作为一种计算机存储介质的存储器102中可以包括人脸识别模型的平滑升级程序;而处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
构建与原始人脸识别模型对应的待升级模型,其中,所述待升级模型与所述原始人脸识别模型输出的人脸特征的维度相等;
将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型,以得到各张所述人脸图像对应的人脸特征,其中,所述数据集中含有新增人脸图像以及历史人脸图像;
设计所述待升级模型的损失函数,以对各个所述人脸特征进行损失监督学习,使得所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征满足预设条件,其中,所述预设条件包括待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征相等以及所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征之间的夹角余弦值大于预设阈值中的至少一个。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
计算所述第一人脸特征与各个预存人脸特征之间的相似度,并计算所述第一人脸特征与所述第二人脸特征之间的目标均方误差;
根据各个所述相似度以及所述目标均方误差确定所述人脸图像对应的损失值;
根据所述损失值对所述第二人脸特征进行损失监督学习。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
在各个所述相似度中确定最大的相似度,并将最大的所述相似度作为目标相似度;
在所述目标相似度大于或等于预设相似度阈值时,将所述目标均方误差作为所述人脸图像对应的损失值;
在所述目标相似度小于预设相似度阈值时,根据所述待升级模型设置的损失函数计算所述人脸图像对应的损失值。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
所述待升级模型设置的损失函数为交叉熵函数,或者交叉熵函数与三元组损失函数。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
确定所述原始人脸识别模型中深度卷积神经网络中各个网络层输出的第一人脸特征,以及所述升级模型中深度卷积神经网络中各个网络层输出的第二人脸特征;
依次计算相同网络层的所述第一人脸特征与第二人脸特征之间的均方误差;
将各个所述第一人脸特征与第二人脸特征之间的均方误差之和作为所述目标均方误差。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
对各个所述人脸图像进行数据预处理;
将各个数据预处理的所述人脸图像分别输入所述待升级模型以及所述原始人脸识别模型。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
在所述待升级模型中的损失函数小于第一预设阈值,或者,所述待升级模型的训练迭代次数达到预设迭代次数时,判定人脸识别模型完成平滑升级,并将平滑升级后的模型保存。
在一实施例中,处理器101可以用于调用存储器102中存储的人脸识别模型的平滑升级程序,并执行以下操作:
对人脸识别模型设置交叉熵函数,并向所述人脸识别模型输入各张人脸图像;
在所述人脸识别模型的损失函数小于第二预设阈值时,判定所述人脸识别模型完成训练,并将完成训练的所述人脸识别模型作为原始人脸识别模型。
本实施例根据上述方案,人脸识别模型的平滑升级装置构建与原始人脸识别模型对应的待升级模型,待升级模型以及原始人脸识别模型输出的人脸特征的维度相等,再将数据集中的历史人脸图像以及新增分别输入原始人脸识别模型以及待升级模型中,得到各个人脸图像训练所需的人脸特征,再设计待升级模型的损失函数,以对各个人脸特征进行损失监督学习,从而使得待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征位于相同的特征空间或者在可接受范围内波动,这样既继承了原始模型的正确特征表达,也校正了错误的人脸特征表达,新模型的人脸识别的精度较高,且新旧模型输出的特征位于同一特征空间达到了向前兼容的目的,而无需在其它机器上重新开发人脸识别的新模型,节省了大量的人力以及物力,故,在提高人脸识别精度的同时,使得人脸识别模型的平滑升级成本较低。
基于上述人脸识别模型的平滑升级装置的硬件构架,提出本发明人脸识别模型的平滑升级方法的实施例。
参照图2,图2为本发明人脸识别模型的平滑升级方法的第一实施例,所述人脸识别模型的平滑升级方法包括以下步骤:
步骤S100,构建与原始人脸识别模型对应的待升级模型,其中,所述待升级模型与所述原始人脸识别模型输出的人脸特征的维度相等;
在本发明中,执行主体为人脸识别模型的平滑升级装置,而人脸识别模型的平滑升级指的是升级后的人脸识别模型与升级前的人脸识别模型兼容,此兼容指的是向前兼容。人脸识别模型的平滑升级装置包括有CPU、存储器以及GPU,存储器存储有人脸识别模型的平滑升级程序,此外,人脸识别模型的平滑升级装置还设有存储量较大的存储器(例如,本地磁盘),该存储器存储有大量的人脸图像,例如,存储器可存储30G甚至更大容量的用于训练的人脸图像;CPU是负责执行人脸识别模型的平滑升级程序,而GPU则是用于模型的训练。
在对模型进行训练时,将本地磁盘中的人脸图像数据分为多个批次以进行多次的模型训练,每一批次的模型训练的流程一致,具体的,CPU调用存储器中存储的人脸识别模型的平滑升级程序,CPU再从本地磁盘中读取一定量的用于训练的人脸图像数据,CPU再对人脸图像数据解码成训练数据格式,再将其拷贝至GPU显存中,并在GPU中进行前向计算和后向推理,并更新以及保存模型。可以理解的是,人脸识别模型的平滑升级装置通过不同批次的人脸图像不断反复的对模型进行训练。
在进行人脸识别模型的平滑升级时,需要有原始的人脸识别模型作为基础进行平滑升级,而原始的人脸识别模型的建立,具体如下:
1、对人脸识别模型设置交叉熵函数,并向所述人脸识别模型输入各个人脸图像;
为人脸识别模型搭建深度卷积神经网络,选择的网络结构为RexNet50,RexNet50主要分为5个网络层,按照远离输入层的顺序依次为Module0、Module1、Module2、Module3、Module4,其中,Module0是简单的对原始图像进行卷积、批归一化、池化等操作,Module1到Module4是四个残差阶段,分别包含3,4,6,3个残差结构,每个残差结构由1个CONV BLOCK和若干个ID BLOCK组成。完成网络的搭建后,对人脸识别模型设置损失函数,损失韩式可为交叉熵损失函数,交叉熵损失函数中的类别数据选择人脸ID的数据,也即文件夹的个数,每一个文件夹中存储有同一人的不同人脸图像。
数据集中存储有多个文件夹,每一个文件夹即为同一人的不同人脸图像,在当数据集中人脸图像输入人脸识别模型之前,需要做数据预处理,数据预处理包括图像缩放、归一化像素、随机水平翻转以及颜色抖动等;而数据集分为训练集以及验证集,训练集中文件夹的数量与验证集中文件夹的数据可为10:1,且训练集与验证集中文件夹是随机被选择的,训练集中的数据需要进行图像缩放至网络设定的大小尺度并归一化像素处理,还可同时采用随机水平翻转或者颜色抖动等增强操作;对于验证集中的人脸图像,只需将图像大小缩放至网络数据大小尺寸和像素值归一化处理即可。
此外,若人脸识别模型采用的不同的训练框架,那么需要数据集中的数据的格式转化为训练框架所需的格式;例如,若人脸识别模型采用Caffe训练框架,则需将数据转化为LMDB格式,若人脸识别模型采用TensorFlow训练框架,则需将数据转化为TFRecord格式。
在数据集中的人体图像完成数据预处理后,即可将数据集中的各个人脸图像输入人脸识别模型中,并设置好人脸识别模型的各个参数,以对人脸识别模型进行训练。
2、在所述人脸识别模型的损失函数小于第二预设阈值时,判定所述人脸识别模型完成训练,并将完成训练的所述人脸识别模型作为原始人脸识别模型。
在当人脸识别模型中的深度卷积神经网络的损失函数小于预设阈值(第二预设阈值)时,即可判定所述人脸识别模型完成训练,第二预设阈值可为经验值,在当损失函数小于第二预设阈值时,即可判定损失函数不再下降,此时保存训练的人脸识别模型,该人脸识别模型即为原始人脸识别模型。
在得到原始人脸识别模型之后,若原始人脸识别模型需要进行平滑升级时,则构成原始人脸识别模型对应的待升级模型,待升级模型与原始人脸识别模型输出的人脸特征的维度相等,人脸特征指的是人脸特征向量,且待升级模型建立的网络与原始人脸识别模型的的主干网可相同也可不同。
步骤S200,将所述数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型,以得到各张所述人脸图像对应的人脸特征,其中,所述数据集中含有新增人脸图像以及历史人脸图像;
在构建好升级模型后,将数据集中的各张人脸图像分别输入待升级模型以及原始人脸识别模型中,从而得到各个人脸图像对应的人脸特征,人脸特征包括第一人脸特征以及第二人脸特征,第一人脸特征为原始人脸识别模型输出的人脸特征,而第二人脸特征则为待升级模型输出的人脸特征。数据集中含有历史人脸图像以及新增人脸图像,新增人脸图像可以是数据集中某一文件夹对应的人的新增人脸图像,也可以是新的人脸,也即数据集中新增一个或多个文件夹。
步骤S300,设计所述待升级模型的损失函数,以对各个所述人脸特征进行损失监督学习,使得所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征满足预设条件,其中,所述预设条件包括待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征相等以及所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征之间的夹角余弦值大于预设阈值中的至少一个。
在本发明中,待升级模型设置的损失函数为交叉熵损失函数,或者交叉熵损失函数与三元组损失函数的组合损失函数。在设计待升级模型的损失函数后,对各个人脸特征进行损失监督学习,具体的,参照图3,即步骤S300包括:
步骤S310,计算所述第一人脸特征与各个预存人脸特征之间的相似度,并计算所述第一人脸特征与所述第二人脸特征之间的目标均方误差;
步骤S320,根据各个所述相似度以及所述目标均方误差确定所述人脸图像对应的损失值;
步骤S330,根据所述损失值对所述第二人脸特征进行损失监督学习。
将同一人脸图像分别输入原始人脸识别模型以及待升级模型之中,原始人脸识别模型输出的为第一人脸特征,而待升级模型输出的是第二人脸特征,然后计算第一人脸特征与第二人脸特征图像之间的偏差,该偏差即为L2Loss(均方误差)。
在原始人脸识别模型输出第一人脸特征后,计算第一人脸特征与数据库中各个预存人脸特征之间的相似度,然后选择最大的相似度作为目标相似度,若是目标相似度大于预设相似度阈值,则表明原始人脸识别模型对人脸图像识别正确,此时,将L2Loss作为人脸图像对应的损失值;在当目标相似度小于预设相似度阈值,则表明原始人脸识别模型对人脸图像识别错误,此时,根据待升级模型设置的损失函数计算人脸图像的损失值。
需要说明的是,在当原始人脸识别模型输出第一人脸特征之后,将第一人脸特征输入人脸识别器,得到识别结果,也即人脸识别器计算第一人脸特征与各个预存人脸特征之间的相似度;而待升级模型输出的第二人脸特征后,若人脸识别器识别不准确,则将第二人脸特征输入人脸分类器,从而根据人脸分类器的分类结果对人脸图像设置对应的损失值,再通过人脸图像对应的损失值对人脸图像对应的第二人脸特征进行损失监督学习,从而使得待升级模型经过训练后提取的人脸特征与原始人脸模型提取的人脸特征满足预设条件,预设条件包括待升级模型经过训练后提取的人脸特征与原始人脸模型提取的人脸特征相等,以及待升级模型经过训练后提取的人脸特征与原始人脸模型提取的人脸特征之间的夹角余弦值大于预设阈值中的至少一个,夹角余弦值对应的预设阈值可为任何合适的数值,例如,0.95。
由于数据集中的新增人脸图像或者历史人脸图像识别不准确,那么根据交叉熵损失函数,或者交叉熵损失函数与三元组损失函数,计算这些人脸图像的损失值,以对这些人脸图像进行校正;而识别准确的历史人脸图像或新增图像则将原始人脸识别模型以及待升级模型输出的人脸特征之间的偏差,作为这些人脸图像的损失值,使得新的人脸识别模型继承这些人脸图像的特征表达,也即使得模型的参数的学习过程为原模型的继承与校正过程,对于确定的识别结果,拟合原来的特征空间,对于错误的识别结果,则寻找新的特征表达。可以理解的是,本发明将损失函数设计成在既定人脸特征空间下,让模型参数缓慢学习使得:
A、识别正确的样本损失惩罚趋于0;
B、识别错误的样本损失惩罚缓和增大。最后使得正确的人脸样本的特征与原始的模型近似,而错误的人脸样本特征被纠正过来。
在待升级模型中深度卷积神经网络的损失函数小于第一预设阈值时,即可判断人脸识别模型的平滑升级完成,此时,保存人脸识别模型,损失函数小于第一预设阈值,即可表征深度卷积神经网络的损失函数不再下降。或者,在待升级模型的训练迭代次数达到预设迭代次数时,即可判定人脸识别模型的平滑升级完成。
在本实施例提供的技术方案中,人脸识别模型的平滑升级装置构建与原始人脸识别模型对应的待升级模型,待升级模型以及原始人脸识别模型输出的人脸特征的维度相等,再将数据集中的历史人脸图像以及新增分别输入原始人脸识别模型以及待升级模型中,得到各个人脸图像训练对应的人脸特征,再设计待升级模型的损失函数,以对各个人脸特征进行损失监督学习,从而待升级模型经过训练后提取的人脸特征与原始人脸模型提取的人脸特征位于相同的特征空间或者在可接受范围内波动,这样既继承了原始模型的正确特征表达,也校正了错误的人脸特征表达,新模型的人脸识别的精度较高,且新旧模型输出的特征位于同一特征空间达到了向前兼容的目的,而无需在其它机器上重新开发人脸识别的新模型,节省了大量的人力以及物力,故,在提高人脸识别精度的同时,使得人脸识别模型的平滑升级成本较低。
参照图4,图4为本发明人脸识别模型的平滑升级方法的第二实施例,基于第一实施例,所述步骤S310包括:
步骤S311,确定所述原始人脸识别模型中深度卷积神经网络中各个网络层输出的第一人脸特征,以及所述待升级模型中深度卷积神经网络中各个网络层输出的第二人脸特征;
步骤S312,依次计算相同网络层的所述第一人脸特征与第二人脸特征之间的均方误差;
步骤S313,将各个所述均方误差之和作为所述目标均方误差。
在一实施例中,通过深度卷积神经网络最后的特征输出层设计以L2Loss来限制模型在学习过程中人脸空间的平滑改进。但是对于网络很深的模型,涉及的模型参数特别多,每次的参数更新都会导致很复杂的变换,这样会导致模型很难训练。
在本实施例中,采用Hint指导学习(Hint Learning),可以将人脸识别模型的主干网络做更多的条件限制,最后加快网络训练的收敛。
深度卷神经网络的基本功能单元为网络层,对输入数据进行不同的操作,如卷积层(CONV)、池化层(POOL)和激活层(ReLU)等。由不同的网络层可以组成特定形式的网络结构(CNN Module),类似于残差网络中的残差结构。多个这些网路结构构成整个神经网络。图中的每个Module(网络层)之后,都会生成一个特征图像,这些特征图就叫做Hint。利用原始人脸识别模型和新训练模型(待升级模型)的特征图的L2Loss,可以作为损失监督信号来综合控制各个Module的参数更新。这样原始的人脸识别模型对新训练的模型控制更加严格。具体的,待升级模型与原始人脸识别模型的网络均分为5个网络层分别为Module0、Module1、Module2、Module3、Module4,也即含有五组网络层对应的第一人脸特征与第二人脸特征,然后,计算相同网络层的第一人脸特征与第二人脸特征之间的L2Loss,得到5个L2Loss,5个L2Loss之和即为目标均方误差。
在本实施例提供的技术方案中,通过计算相同网络层输出的第一人脸特征与第二人脸特征之间的均方误差,得到目标均方误差,从而能够加快网络训练的收敛,缩短人脸识别模型平滑升级的时长。
为实现上述目的,本发明还提供一种人脸识别模型的平滑升级装置,所述人脸识别模型的平滑升级装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的人脸识别模型的平滑升级程序,所述人脸识别模型的平滑升级程序被所述处理器执行时实现如上实施例所述的人脸识别模型的平滑升级方法的各个步骤。
本发明还提供一种可读存储介质,所述可读存储介质存储有人脸识别模型的平滑升级程序,所述人脸识别模型的平滑升级程序被所述处理器执行时实现如上实施例所述的人脸识别模型的平滑升级方法的各个步骤。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸识别模型的平滑升级方法,其特征在于,所述人脸识别模型的平滑升级方法包括以下步骤:
构建与原始人脸识别模型对应的待升级模型,其中,所述待升级模型与所述原始人脸识别模型输出的人脸特征的维度相等;
将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型,以得到各张所述人脸图像对应的人脸特征,其中,所述数据集中含有新增人脸图像以及历史人脸图像;
设计所述待升级模型的损失函数,以对各个所述人脸特征进行损失监督学习,使得所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征满足预设条件,其中,所述预设条件包括待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征相等以及所述待升级模型经过训练后提取的人脸特征与所述原始人脸模型提取的人脸特征之间的夹角余弦值大于预设阈值中的至少一个。
2.如权利要求1所述的人脸识别模型的平滑升级方法,其特征在于,所述人脸特征包括所述原始人脸识别模型输出的第一人脸特征,以及所述待升级模型输出的第二人脸特征,所述对各个所述人脸特征进行损失监督学习的步骤包括:
计算所述第一人脸特征与各个预存人脸特征之间的相似度,并计算所述第一人脸特征与所述第二人脸特征之间的目标均方误差;
根据各个所述相似度以及所述目标均方误差确定所述人脸图像对应的损失值;
根据所述损失值对所述第二人脸特征进行损失监督学习。
3.如权利要求2所述的人脸识别模型的平滑升级方法,其特征在于,所述根据各个所述相似度以及所述目标均方误差确定所述人脸图像对应的损失值的步骤包括:
在各个所述相似度中确定最大的相似度,并将最大的所述相似度作为目标相似度;
在所述目标相似度大于或等于预设相似度阈值时,将所述目标均方误差作为所述人脸图像对应的损失值;
在所述目标相似度小于预设相似度阈值时,根据所述待升级模型设置的损失函数计算所述人脸图像对应的损失值。
4.如权利要求3所述的人脸识别模型的平滑升级方法,其特征在于,所述待升级模型设置的损失函数为交叉熵函数,或者交叉熵函数与三元组损失函数。
5.如权利要求2所述的人脸识别模型的平滑升级方法,其特征在于,所述计算所述第一人脸特征与所述第二人脸特征之间的目标均方误差的步骤包括:
确定所述原始人脸识别模型中深度卷积神经网络中各个网络层输出的第一人脸特征,以及所述升级模型中深度卷积神经网络中各个网络层输出的第二人脸特征;
依次计算相同网络层的所述第一人脸特征与第二人脸特征之间的均方误差;
将各个所述第一人脸特征与第二人脸特征之间的均方误差之和作为所述目标均方误差。
6.如权利要求1-5任一项所述的人脸识别模型的平滑升级方法,其特征在于,所述将数据集中的各张人脸图像分别输入所述待升级模型以及所述原始人脸识别模型的步骤包括:
对各个所述人脸图像进行数据预处理;
将各个数据预处理的所述人脸图像分别输入所述待升级模型以及所述原始人脸识别模型。
7.如权利要求1-5任一项所述的人脸识别模型的平滑升级方法,其特征在于,所述对各个所述人脸特征进行损失监督学习的步骤之后,还包括:
在所述待升级模型中的损失函数小于第一预设阈值,或者,所述待升级模型的训练迭代次数达到预设迭代次数时,判定人脸识别模型完成平滑升级,并将平滑升级后的模型保存。
8.如权利要求1-5任一项所述的人脸识别模型的平滑升级方法,其特征在于,所述构建与原始人脸识别模型对应的待升级模型的步骤之前,还包括:
对人脸识别模型设置交叉熵函数,并向所述人脸识别模型输入各张人脸图像;
在所述人脸识别模型的损失函数小于第二预设阈值时,判定所述人脸识别模型完成训练,并将完成训练的所述人脸识别模型作为原始人脸识别模型。
9.一种人脸识别模型的平滑升级装置,其特征在于,所述人脸识别模型的平滑升级装置包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的人脸识别模型的平滑升级程序,所述人脸识别模型的平滑升级程序被所述处理器执行时实现如权利要求1-8任一项所述的人脸识别模型的平滑升级方法的各个步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质存储有人脸识别模型的平滑升级程序,所述人脸识别模型的平滑升级程序被所述处理器执行时实现如权利要求1-8任一项所述的人脸识别模型的平滑升级方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910326051.6A CN110070037B (zh) | 2019-04-22 | 2019-04-22 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910326051.6A CN110070037B (zh) | 2019-04-22 | 2019-04-22 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110070037A true CN110070037A (zh) | 2019-07-30 |
CN110070037B CN110070037B (zh) | 2022-11-01 |
Family
ID=67368316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910326051.6A Active CN110070037B (zh) | 2019-04-22 | 2019-04-22 | 人脸识别模型的平滑升级方法、装置和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110070037B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401456A (zh) * | 2020-03-20 | 2020-07-10 | 杭州涂鸦信息技术有限公司 | 人脸姿态识别模型的训练方法及其系统和装置 |
CN111832522A (zh) * | 2020-07-21 | 2020-10-27 | 深圳力维智联技术有限公司 | 人脸数据集的构建方法、系统及计算机可读存储介质 |
CN112560721A (zh) * | 2020-12-21 | 2021-03-26 | 平安银行股份有限公司 | 无感知模型切换方法、装置、电子设备及存储介质 |
CN113011339A (zh) * | 2021-03-19 | 2021-06-22 | 支付宝(杭州)信息技术有限公司 | 用户身份的校验方法、装置和电子设备 |
WO2022252432A1 (zh) * | 2021-06-03 | 2022-12-08 | 华为技术有限公司 | 特征提取方法及装置、模型训练方法及装置 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008242833A (ja) * | 2007-03-27 | 2008-10-09 | National Institute Of Information & Communication Technology | 3次元の人の顔の表面データを再構築するための装置及びプログラム |
JP2012118896A (ja) * | 2010-12-03 | 2012-06-21 | Seiko Epson Corp | 画像処理方法、制御プログラムおよび画像処理装置 |
CN103235825A (zh) * | 2013-05-08 | 2013-08-07 | 重庆大学 | 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法 |
CN104573726A (zh) * | 2015-01-12 | 2015-04-29 | 山东师范大学 | 基于四等分及各成分重构误差最优组合的人脸图像识别方法 |
CN107194357A (zh) * | 2017-05-25 | 2017-09-22 | 湖南警察学院 | 人脸识别系统及其检测方法 |
CN107564049A (zh) * | 2017-09-08 | 2018-01-09 | 北京达佳互联信息技术有限公司 | 人脸模型重建方法、装置以及存储介质、计算机设备 |
CN107844784A (zh) * | 2017-12-08 | 2018-03-27 | 广东美的智能机器人有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
CN108062532A (zh) * | 2017-12-28 | 2018-05-22 | 北京智慧眼科技股份有限公司 | 深度学习人脸识别网络优化方法、装置及存储介质 |
CN108280413A (zh) * | 2018-01-17 | 2018-07-13 | 百度在线网络技术(北京)有限公司 | 人脸识别方法和装置 |
CN108351961A (zh) * | 2015-09-11 | 2018-07-31 | 眼验股份有限公司 | 图像及特征质量、用于眼部血管及面部识别的图像增强及特征提取及针对生物识别系统融合眼部血管与面部及/或子面部信息 |
CN108537120A (zh) * | 2018-03-06 | 2018-09-14 | 安徽电科恒钛智能科技有限公司 | 一种基于深度学习的人脸识别方法及系统 |
CN108710788A (zh) * | 2018-05-22 | 2018-10-26 | 上海众人网络安全技术有限公司 | 一种安全认证方法、装置、终端及存储介质 |
CN108765261A (zh) * | 2018-04-13 | 2018-11-06 | 北京市商汤科技开发有限公司 | 图像变换方法和装置、电子设备、计算机存储介质、程序 |
CN109035394A (zh) * | 2018-08-22 | 2018-12-18 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
CN109034048A (zh) * | 2018-07-20 | 2018-12-18 | 苏州中德宏泰电子科技股份有限公司 | 人脸识别算法模型切换方法与装置 |
CN109117801A (zh) * | 2018-08-20 | 2019-01-01 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN109660747A (zh) * | 2019-01-09 | 2019-04-19 | 张爱兰 | 兼容型面部检测系统及方法 |
-
2019
- 2019-04-22 CN CN201910326051.6A patent/CN110070037B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008242833A (ja) * | 2007-03-27 | 2008-10-09 | National Institute Of Information & Communication Technology | 3次元の人の顔の表面データを再構築するための装置及びプログラム |
JP2012118896A (ja) * | 2010-12-03 | 2012-06-21 | Seiko Epson Corp | 画像処理方法、制御プログラムおよび画像処理装置 |
CN103235825A (zh) * | 2013-05-08 | 2013-08-07 | 重庆大学 | 一种基于Hadoop云计算框架的海量人脸识别搜索引擎设计方法 |
CN104573726A (zh) * | 2015-01-12 | 2015-04-29 | 山东师范大学 | 基于四等分及各成分重构误差最优组合的人脸图像识别方法 |
CN108351961A (zh) * | 2015-09-11 | 2018-07-31 | 眼验股份有限公司 | 图像及特征质量、用于眼部血管及面部识别的图像增强及特征提取及针对生物识别系统融合眼部血管与面部及/或子面部信息 |
CN107194357A (zh) * | 2017-05-25 | 2017-09-22 | 湖南警察学院 | 人脸识别系统及其检测方法 |
CN107564049A (zh) * | 2017-09-08 | 2018-01-09 | 北京达佳互联信息技术有限公司 | 人脸模型重建方法、装置以及存储介质、计算机设备 |
CN107844784A (zh) * | 2017-12-08 | 2018-03-27 | 广东美的智能机器人有限公司 | 人脸识别方法、装置、计算机设备和可读存储介质 |
CN108062532A (zh) * | 2017-12-28 | 2018-05-22 | 北京智慧眼科技股份有限公司 | 深度学习人脸识别网络优化方法、装置及存储介质 |
CN108280413A (zh) * | 2018-01-17 | 2018-07-13 | 百度在线网络技术(北京)有限公司 | 人脸识别方法和装置 |
CN108537120A (zh) * | 2018-03-06 | 2018-09-14 | 安徽电科恒钛智能科技有限公司 | 一种基于深度学习的人脸识别方法及系统 |
CN108765261A (zh) * | 2018-04-13 | 2018-11-06 | 北京市商汤科技开发有限公司 | 图像变换方法和装置、电子设备、计算机存储介质、程序 |
CN108710788A (zh) * | 2018-05-22 | 2018-10-26 | 上海众人网络安全技术有限公司 | 一种安全认证方法、装置、终端及存储介质 |
CN109034048A (zh) * | 2018-07-20 | 2018-12-18 | 苏州中德宏泰电子科技股份有限公司 | 人脸识别算法模型切换方法与装置 |
CN109117801A (zh) * | 2018-08-20 | 2019-01-01 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN109035394A (zh) * | 2018-08-22 | 2018-12-18 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、系统及移动终端 |
CN109660747A (zh) * | 2019-01-09 | 2019-04-19 | 张爱兰 | 兼容型面部检测系统及方法 |
Non-Patent Citations (1)
Title |
---|
伊力哈木·亚尔买买提: "一种改进的深度学习人脸识别算法研究", 《计算机仿真》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111401456A (zh) * | 2020-03-20 | 2020-07-10 | 杭州涂鸦信息技术有限公司 | 人脸姿态识别模型的训练方法及其系统和装置 |
CN111401456B (zh) * | 2020-03-20 | 2023-08-22 | 杭州涂鸦信息技术有限公司 | 人脸姿态识别模型的训练方法及其系统和装置 |
CN111832522A (zh) * | 2020-07-21 | 2020-10-27 | 深圳力维智联技术有限公司 | 人脸数据集的构建方法、系统及计算机可读存储介质 |
CN111832522B (zh) * | 2020-07-21 | 2024-02-27 | 深圳力维智联技术有限公司 | 人脸数据集的构建方法、系统及计算机可读存储介质 |
CN112560721A (zh) * | 2020-12-21 | 2021-03-26 | 平安银行股份有限公司 | 无感知模型切换方法、装置、电子设备及存储介质 |
CN112560721B (zh) * | 2020-12-21 | 2023-12-08 | 平安银行股份有限公司 | 无感知模型切换方法、装置、电子设备及存储介质 |
CN113011339A (zh) * | 2021-03-19 | 2021-06-22 | 支付宝(杭州)信息技术有限公司 | 用户身份的校验方法、装置和电子设备 |
WO2022252432A1 (zh) * | 2021-06-03 | 2022-12-08 | 华为技术有限公司 | 特征提取方法及装置、模型训练方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110070037B (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070037A (zh) | 人脸识别模型的平滑升级方法、装置和可读存储介质 | |
CN109934197A (zh) | 人脸识别模型的训练方法、装置和计算机可读存储介质 | |
CN107844784A (zh) | 人脸识别方法、装置、计算机设备和可读存储介质 | |
CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
CN112766399B (zh) | 一种面向图像识别的自适应神经网络训练方法 | |
CN111832581B (zh) | 肺部特征识别方法、装置、计算机设备及存储介质 | |
CN112560964A (zh) | 基于半监督学习训练中草药病虫害识别模型的方法与系统 | |
CN110059677A (zh) | 基于深度学习的数字表识别方法及设备 | |
CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
CN105868767A (zh) | 人脸特征点定位方法和装置 | |
CN111401193A (zh) | 获取表情识别模型的方法及装置、表情识别方法及装置 | |
CN114821736A (zh) | 基于对比学习的多模态人脸识别方法、装置、设备及介质 | |
CN110472495A (zh) | 一种基于图形推理全局特征的深度学习人脸识别方法 | |
CN110222817A (zh) | 基于学习自动机的卷积神经网络压缩方法、系统及介质 | |
CN113936314A (zh) | 一种面部表情识别的方法和系统 | |
CN108549899A (zh) | 一种图像识别方法及装置 | |
CN117173677A (zh) | 手势识别方法、装置、设备及存储介质 | |
CN112308149A (zh) | 基于机器学习的图像信息识别的优化方法及装置 | |
CN111738157B (zh) | 面部动作单元数据集的构建方法、装置和计算机设备 | |
CN109409226B (zh) | 一种基于级联优化cnn的手指静脉图质量评估方法及其装置 | |
CN112132269A (zh) | 模型处理方法、装置、设备及存储介质 | |
CN112149571A (zh) | 一种基于神经网络仿射变换的人脸识别方法 | |
CN112749364A (zh) | 基于人工智能的网页生成方法、装置、设备及存储介质 | |
CN111104937A (zh) | 车门信息检测方法、装置、计算机设备和存储介质 | |
CN112733574B (zh) | 一种人脸识别的方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |