CN112183492B - 一种人脸模型精度矫正方法、装置及存储介质 - Google Patents
一种人脸模型精度矫正方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112183492B CN112183492B CN202011222677.1A CN202011222677A CN112183492B CN 112183492 B CN112183492 B CN 112183492B CN 202011222677 A CN202011222677 A CN 202011222677A CN 112183492 B CN112183492 B CN 112183492B
- Authority
- CN
- China
- Prior art keywords
- face
- recognition system
- face recognition
- detection algorithm
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012937 correction Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000004821 distillation Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000005314 correlation function Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/147—
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸模型精度矫正方法、装置及存储介质，分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练；将第一人脸识别系统作为学生网络，经过以上步骤训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；将第二人脸检测算法结合经过以上步骤训练后的学生网络形成第三人脸识别系统。该方法高速、有效，简化了人脸检测算法更换后精度矫正的全流程。
Description
技术领域
本发明涉及人脸检测领域，具体涉及一种人脸模型精度矫正方法、装置及存储介质。
背景技术
随着新型人脸检测技术的不断涌现，如何高效、保质地在人脸识别系统中进行人脸检测算法替换成为迫切面临的问题。由于人脸特征提取模型在人脸检测算法抽取的样本集基础上训练和实现，所以非常依赖于人脸检测时设定的各种参数，而细微的位置和角度差异都将导致后期人脸识别精度的大幅下降。传统的精度矫正方法就是利用新的人脸检测算法重新建立人脸特征训练样本集并重新调整模型，这在面对数以亿计的人脸图片库时显得十分低效。
传统方案的做法基本等同于重新训练人脸特征提取模型，需要完成数以亿次的人脸检测、特征点提取及人脸对齐流程，形成全新的人脸特征提取训练集，并进行微调式训练，非常低效。在现有技术中还没有存在更加高效的方法可以采用。
有鉴于此，建立一种人脸模型精度矫正方法和装置是非常具有意义的。
发明内容
针对上述提到在人脸识别系统中进行人脸检测算法替换会导致人脸识别精度大幅降低、重新存在效率低、训练量大等问题。本申请的实施例的目的在于提出了一种人脸模型精度矫正方法、装置及存储介质来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供一种人脸模型精度矫正方法，包括以下步骤：
S1：分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；
S2：以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复步骤S2直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；
S3：将第一人脸识别系统作为学生网络，经过步骤S2训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；以及
S4：将第二人脸检测算法结合经过步骤S3训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复步骤S3直至第二精度矫正结果达到第二范围。
在一些实施例中，步骤S1具体包括：
S11：通过第一人脸检测算法和第二人脸检测算法分别对同一个数据集进行人脸图像提取得到第一人脸区域图像和第二人脸区域图像，第一人脸区域图像和第二人脸区域图像形成原始目标样本对；
S12：剔除原始目标样本对的无效样本对，得到目标样本对。
在一些实施例中，步骤S12中通过相似度比较计算第一人脸区域图像和第二人脸区域图像的相似度，并将相似度结果低于设定阈值的原始目标样本对进行剔除。
在一些实施例中，在步骤S2中微调超参数包括调整学习率和权重衰减，数据增强变换方案包括随机仿射变换、随机裁剪、随机人脸关键点扰动后再执行相似变换或随机掩膜。
在一些实施例中，知识蒸馏中的第一损失函数采用CosineLoss：
其中，x1和x2分别是教师网络与学生网络输出的特征潜码向量，m是距离常量，y是张量标签。
在一些实施例中，知识蒸馏中的第二损失函数采用L2Loss：
x＝x1-x2；
其中，k为n个目标样本对中的第k个样本对。
在一些实施例中，知识蒸馏中的第三损失函数采用FSP矩阵约束法，其矩阵元素为：
其中，F1、F2分别是低层特征图和高层特征图，h、w分别是特征图的长宽，i、j分别是低层特征图、高层特征图的通道索引号，W为神经网络的权重参数，
通过以下公式形成第三损失函数：
其中，以T或t下标表示教师网络的相关内容，S或s下标表示学生网络的相关内容，N为batch大小，λ表示权重，度量函数Cor采用皮尔逊相关函数。
在一些实施例中，最终的损失函数为：
loss＝loss(x,y)+20||x||p+L(Wt,Ws)。
第二方面，本申请的实施例还提出了一种人脸模型精度矫正装置，包括：
目标样本对获取模块，被配置为分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；
微调模块，被配置为以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复微调模块直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；
知识蒸馏模块，被配置为将第一人脸识别系统作为学生网络，经过微调模块训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；以及
精度矫正模块，被配置为将第二人脸检测算法结合经过知识蒸馏模块训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复知识蒸馏模块直至第二精度矫正结果达到第二范围。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本发明提出了一种人脸模型精度矫正方法、装置及存储介质，分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复以上步骤直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；将第一人脸识别系统作为学生网络，经过以上步骤训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；将第二人脸检测算法结合经过以上步骤训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复以上步骤直至第二精度矫正结果达到第二范围。以上方法可以针对更换人脸检测算法后的人脸识别系统精度大幅下降的情况进行改善，实验证明该方法高速、有效，可以对人脸识别算法研发流程产生非常积极的影响，在几乎完全还原精度的同时将整个矫正流程在1亿规模训练集上提速50-100倍。首创性地利用差异输入知识蒸馏方法进行模型精度矫正，简化了人脸检测算法更换后人脸模型精度矫正的全流程，简单明了实用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的人脸模型精度矫正方法的流程示意图；
图3为本发明的实施例的人脸模型精度矫正方法的步骤S1的流程示意图；
图4为本发明的实施例的人脸模型精度矫正装置的示意图；
图5是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的人脸模型精度矫正方法或人脸模型精度矫正装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的人脸模型精度矫正方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，人脸模型精度矫正装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
本实施例中提到的人脸识别系统不受具体的人脸检测算法所限，以下实施例中的人脸检测算法只要以基于深度学习的人脸检测算法即可。
图2示出了本申请的实施例公开提供一种人脸模型精度矫正方法，包括以下步骤：
S1：分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；
S2：以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复步骤S2直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；
S3：将第一人脸识别系统作为学生网络，经过步骤S2训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；以及
S4：将第二人脸检测算法结合经过步骤S3训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复步骤S3直至第二精度矫正结果达到第二范围。
在本申请的实施例中涉及两种人脸检测算法，例如，第一人脸检测算法可以为mtcnn算法，第二人脸检测算法可以为retinnaface算法。在其他可选的实施例中，也可以采用其他人脸检测算法。将第一人脸检测算法作为当前人脸识别系统中的人脸检测方式，而将第二人脸检测算法快速替换第一人脸检测算法，当前人脸识别系统中的人脸特征提取模型不发生改变，但是由于人脸检测算法的更换，人脸特征提取模型推理精度大幅下降。为了不影响因为人脸检测算法的替换而导致整个人脸识别系统的精度，本申请的实施例中提出了以上人脸模型精度矫正方法。
在具体的实施例中，如图3所示，步骤S1具体包括：
S11：通过第一人脸检测算法和第二人脸检测算法分别对同一个数据集进行人脸图像提取得到第一人脸区域图像和第二人脸区域图像，第一人脸区域图像和第二人脸区域图像形成原始目标样本对；
S12：剔除原始目标样本对的无效样本对，得到目标样本对。
在具体的实施例中，准备一个人脸识别训练数据集，步骤S11中通过第一人脸检测算法和第二人脸检测算法分别从数据集中的同一张照片中提取两张人脸区域图像，分别为第一人脸区域图像和第二人脸区域图像，构成原始目标样本对。最终原始目标样本对的提取数量需大于100万对。
在具体的实施例中，还需要剔除原始目标样本对中的无效样本对。步骤S12中通过相似度比较计算第一人脸区域图像和第二人脸区域图像的相似度，并将相似度结果低于设定阈值的原始目标样本对进行剔除。在本实施例中，其相似度比较函数采用余弦距离，具体为：
dist(A,B)＝1-cos(A,B)；
其中，A、B分别是第一人脸区域图像和第二人脸区域图像，cos(A,B)为余弦相似度，dist(A,B)为余弦距离，值域为[0,2]。
以当前人脸识别系统中的人脸特征提取模型为初始化参数，第一人脸识别系统中的人脸特征提取模型与第二人脸识别系统中的人脸特征提取模型没有发现更换，以人脸识别训练数据集作为训练集进行卷积神经网络微调。在具体的实施例中，在步骤S2中微调超参数包括调整学习率和权重衰减，在优选的实施例中，学习率从0.0003-0.001之间选取，权重衰减从0.0001-0.0002之间选取。训练迭代持续10000次即可，单次batchsize为384。
在具体的实施例中，微调需要执行特定的数据增强变换方案，数据增强变换方案包括随机仿射变换、随机裁剪、随机人脸关键点扰动后再执行相似变换或随机掩膜。
1、随机仿射变换，即对图像按照指定的角度范围进行随机仿射，并将随机仿射结果纳入当前待训练的样本batch中。其中仿射变换为平移、缩放、旋转、翻转和错切的复合过程，复合过程就是将随机组合平移、缩放、旋转、翻转和错切中的多种进行变换。在其中一个实施例中，如绕x轴旋转，以矩阵形式表示如下：
2、随机裁剪，即按照指定大小从目标样本对的图像中裁剪出区域，裁剪位置为随机指定，裁剪后的图像经过拉伸、分辨率重置后，加入当前待训练样本batch中。
3、随机人脸关键点扰动后再执行相似变换，其中人脸关键点特指双眼、鼻尖及双嘴角的平面坐标，在其中一个实施例中，扰动方案为：x坐标在10个像素内随机偏移，y坐标在5个像素内随机偏移。
4、执行随机掩膜，掩膜为黑色，掩膜形状为矩形，掩膜大小为长50、宽50。
测试步骤S2的微调结果，微调应带来轻微而直接的精度矫正结果(如0.1％的改善)。得到训练后的人脸特征提取模型的第一精度矫正结果后，如果第一精度矫正结果并未改善，则降低学习率50％，并重复步骤S2的微调过程，直至满足要求。
将第一人脸识别系统作为学生网络，经过步骤S2训练后的人脸特征提取模型为教师网络，利用步骤S1得到的目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构。在具体的实施例中，知识蒸馏中的第一损失函数采用CosineLoss：
其中，x1和x2分别是教师网络与学生网络输出的特征潜码向量，m是距离常量，y是张量标签。
在具体的实施例中，知识蒸馏中的第二损失函数采用L2Loss：
x＝x1-x2；
其中，k为n个目标样本对中的第k个样本对。
在具体的实施例中，知识蒸馏中的第三损失函数采用FSP矩阵约束法，其矩阵元素为：
其中，F1、F2分别是低层特征图和高层特征图，h、w分别是特征图的长宽，i、j分别是低层特征图、高层特征图的通道索引号，W为神经网络的权重参数，流程相当于计算一个偏心协方差矩阵。
然后进一步通过以下公式形成第三损失函数：
其中，以T或t下标表示教师网络的相关内容，S或s下标表示学生网络的相关内容，N为batch大小，λ表示权重，度量函数Cor采用皮尔逊相关函数。
在具体的实施例中，最终的损失函数为：
loss＝loss(x,y)+20||x||p+L(Wt,Ws)。
其中，其中第二损失函数需进行尺度放大约20倍。蒸馏训练迭代次数为20000次以上，单次batchsize为128，训练时需关闭Dropout，权重衰减为0.0001。实验测试结果表明本申请提出的方法让整个矫正流程在1亿规模训练集上加速50-100倍。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种聊天文本特征分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请的实施例还提出了一种人脸模型精度矫正装置，包括：
目标样本对获取模块1，被配置为分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；
微调模块2，被配置为以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复微调模块直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；
知识蒸馏模块3，被配置为将第一人脸识别系统作为学生网络，经过微调模块训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；以及
精度矫正模块4，被配置为将第二人脸检测算法结合经过知识蒸馏模块训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复知识蒸馏模块直至第二精度矫正结果达到第二范围。
本发明提出了一种人脸模型精度矫正方法、装置及存储介质，分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复以上步骤直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；将第一人脸识别系统作为学生网络，经过以上步骤训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；将第二人脸检测算法结合经过以上步骤训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复以上步骤直至第二精度矫正结果达到第二范围。以上方法可以针对更换人脸检测算法后的人脸识别系统精度大幅下降的情况进行改善，实验证明该方法高速、有效，可以对人脸识别算法研发流程产生非常积极的影响，在几乎完全还原精度的同时将整个矫正流程在1亿规模训练集上提速50-100倍。首创性地利用差异输入知识蒸馏方法进行模型精度矫正，简化了人脸检测算法更换后人脸模型精度矫正的全流程，简单明了实用。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机装置500包括中央处理单元(CPU)501和图形处理器(GPU)502，其可以根据存储在只读存储器(ROM)503中的程序或者从存储部分509加载到随机访问存储器(RAM)506中的程序而执行各种适当的动作和处理。在RAM 504中，还存储有装置500操作所需的各种程序和数据。CPU 501、GPU502、ROM 503以及RAM504通过总线505彼此相连。输入/输出(I/O)接口506也连接至总线505。
以下部件连接至I/O接口506：包括键盘、鼠标等的输入部分507；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分508；包括硬盘等的存储部分509；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分510。通信部分510经由诸如因特网的网络执行通信处理。驱动器511也可以根据需要连接至I/O接口506。可拆卸介质512，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器511上，以便于从其上读出的计算机程序根据需要被安装入存储部分509。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分510从网络上被下载和安装，和/或从可拆卸介质512被安装。在该计算机程序被中央处理单元(CPU)501和图形处理器(GPU)502执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对第一人脸识别系统中的人脸特征提取模型进行训练，重复以上步骤直至训练后的人脸特征提取模型的第一精度矫正结果达到第一范围；将第一人脸识别系统作为学生网络，经过以上步骤训练后的人脸特征提取模型为教师网络，利用目标样本对通过知识蒸馏对学生网络进行训练，知识蒸馏采用异质同源样本自蒸馏结构；将第二人脸检测算法结合经过以上步骤训练后的学生网络形成第三人脸识别系统，测试第三人脸识别系统，得到第二精度矫正结果，重复以上步骤直至第二精度矫正结果达到第二范围。
应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (11)
1.一种人脸模型精度矫正方法，其特征在于，包括以下步骤：
S1：分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；
S2：以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对所述第一人脸识别系统中的人脸特征提取模型进行训练，重复所述步骤S2直至训练后的所述人脸特征提取模型的第一精度矫正结果达到第一范围；
S3：将所述第一人脸识别系统作为学生网络，经过所述步骤S2训练后的所述人脸特征提取模型为教师网络，利用所述目标样本对通过知识蒸馏对所述学生网络进行训练，所述知识蒸馏采用异质同源样本自蒸馏结构；以及
S4：将所述第二人脸检测算法结合经过所述步骤S3训练后的所述学生网络形成第三人脸识别系统，测试所述第三人脸识别系统，得到第二精度矫正结果，重复所述步骤S3直至所述第二精度矫正结果达到第二范围。
2.根据权利要求1所述的人脸模型精度矫正方法，其特征在于，所述步骤S1具体包括：
S11：通过第一人脸检测算法和第二人脸检测算法分别对同一个数据集进行人脸图像提取得到第一人脸区域图像和第二人脸区域图像，所述第一人脸区域图像和所述第二人脸区域图像形成原始目标样本对；
S12：剔除所述原始目标样本对的无效样本对，得到所述目标样本对。
3.根据权利要求2所述的人脸模型精度矫正方法，其特征在于，所述步骤S12中通过相似度比较计算比较所述第一人脸区域图像和所述第二人脸区域图像的相似度，并将相似度结果低于设定阈值的原始目标样本对进行剔除。
4.根据权利要求1所述的人脸模型精度矫正方法，其特征在于，在所述步骤S2中所述微调超参数包括调整学习率和权重衰减，所述数据增强变换方案包括随机仿射变换、随机裁剪、随机人脸关键点扰动后再执行相似变换或随机掩膜。
5.根据权利要求1所述的人脸模型精度矫正方法，其特征在于，所述知识蒸馏中的第一损失函数采用CosineLoss：
其中，x1和x2分别是所述教师网络与所述学生网络输出的特征潜码向量，m是距离常量，y是张量标签。
6.根据权利要求5所述的人脸模型精度矫正方法，其特征在于，所述知识蒸馏中的第二损失函数采用L2Loss：
x＝x1-x2；
其中，k为n个目标样本对中的第k个样本对。
7.根据权利要求6所述的人脸模型精度矫正方法，其特征在于，所述知识蒸馏中的第三损失函数采用FSP矩阵约束法，其矩阵元素为：
其中，F1、F2分别是低层特征图和高层特征图，h、w分别是特征图的长宽，i、j分别是低层特征图、高层特征图的通道索引号，W为神经网络的权重参数，
通过以下公式形成所述第三损失函数：
其中，以T或t下标表示所述教师网络的相关内容，S或s下标表示所述学生网络的相关内容，度量函数Cor采用皮尔逊相关函数。
8.根据权利要求7所述的人脸模型精度矫正方法，其特征在于，最终的损失函数为：
loss＝loss(x,y)+20||x||p+L(Wt,Ws)。
9.一种人脸模型精度矫正装置，其特征在于，包括：
目标样本对获取模块，被配置为分别采用包含有第一人脸检测算法的第一人脸识别系统和包含有第二人脸检测算法的第二人脸识别系统对同一个数据集进行人脸图像提取，获取目标样本对；
微调模块，被配置为以人脸识别训练数据集作为训练集通过微调超参数并执行数据增强变换方案对所述第一人脸识别系统中的人脸特征提取模型进行训练，重复所述微调模块直至训练后的所述人脸特征提取模型的第一精度矫正结果达到第一范围；
知识蒸馏模块，被配置为将所述第一人脸识别系统作为学生网络，经过所述微调模块训练后的所述人脸特征提取模型为教师网络，利用所述目标样本对通过知识蒸馏对所述学生网络进行训练，所述知识蒸馏采用异质同源样本自蒸馏结构；以及
精度矫正模块，被配置为将所述第二人脸检测算法结合经过所述知识蒸馏模块训练后的所述学生网络形成第三人脸识别系统，测试所述第三人脸识别系统，得到第二精度矫正结果，重复所述知识蒸馏模块直至所述第二精度矫正结果达到第二范围。
10.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011222677.1A CN112183492B (zh) | 2020-11-05 | 2020-11-05 | 一种人脸模型精度矫正方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011222677.1A CN112183492B (zh) | 2020-11-05 | 2020-11-05 | 一种人脸模型精度矫正方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183492A CN112183492A (zh) | 2021-01-05 |
| CN112183492B true CN112183492B (zh) | 2022-07-15 |
Family
ID=73917319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011222677.1A Active CN112183492B (zh) | 2020-11-05 | 2020-11-05 | 一种人脸模型精度矫正方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183492B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723238B (zh) * | 2021-08-18 | 2024-02-09 | 厦门瑞为信息技术有限公司 | 一种人脸轻量网络模型构建方法和人脸识别方法 |
| CN113947801B (zh) * | 2021-12-21 | 2022-07-26 | 中科视语(北京)科技有限公司 | 人脸识别方法、装置和电子设备 |
| CN116416666A (zh) * | 2023-04-17 | 2023-07-11 | 北京数美时代科技有限公司 | 一种基于分布式蒸馏的人脸识别方法、系统和存储介质 |
| CN116758391B (zh) * | 2023-04-21 | 2023-11-21 | 大连理工大学 | 噪声抑制蒸馏的多域遥感目标泛化性识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103905821A (zh) * | 2014-04-23 | 2014-07-02 | 深圳英飞拓科技股份有限公司 | 能够识别人脸的视频编码方法及装置 |
| KR20150068631A (ko) * | 2013-12-12 | 2015-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
| CN111860362A (zh) * | 2020-07-24 | 2020-10-30 | 北京百度网讯科技有限公司 | 生成人脸图像校正模型及校正人脸图像的方法和装置 |
-
2020
- 2020-11-05 CN CN202011222677.1A patent/CN112183492B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150068631A (ko) * | 2013-12-12 | 2015-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
| CN103905821A (zh) * | 2014-04-23 | 2014-07-02 | 深圳英飞拓科技股份有限公司 | 能够识别人脸的视频编码方法及装置 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
| CN111860362A (zh) * | 2020-07-24 | 2020-10-30 | 北京百度网讯科技有限公司 | 生成人脸图像校正模型及校正人脸图像的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于主动表观模型姿态矫正和局部加权匹配人脸识别》;赵恒、俞鹏;《中国图象图形学报》;20131216;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183492A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183492B (zh) | 一种人脸模型精度矫正方法、装置及存储介质 | |
| CN108509915B (zh) | 人脸识别模型的生成方法和装置 | |
| CN110929780B (zh) | 视频分类模型构建、视频分类的方法、装置、设备及介质 | |
| CN113326764A (zh) | 训练图像识别模型和图像识别的方法和装置 | |
| CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| US20210200971A1 (en) | Image processing method and apparatus | |
| CN108491812B (zh) | 人脸识别模型的生成方法和装置 | |
| CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN114186564A (zh) | 语义表示模型的预训练方法、装置以及电子设备 | |
| CN111915480A (zh) | 生成特征提取网络的方法、装置、设备和计算机可读介质 | |
| CN112749695A (zh) | 文本识别的方法和装置 | |
| CN111061877A (zh) | 文本主题提取方法和装置 | |
| CN109697442B (zh) | 一种字符识别模型的训练方法和装置 | |
| CN114036051A (zh) | 测试方法、装置、设备以及存储介质 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN113408507B (zh) | 基于履历文件的命名实体识别方法、装置和电子设备 | |
| CN114564971A (zh) | 深度学习模型的训练方法、文本数据处理方法和装置 | |
| CN113657411A (zh) | 神经网络模型的训练方法、图像特征提取方法及相关装置 | |
| CN116152577B (zh) | 图像分类方法及装置 | |
| CN115546554A (zh) | 敏感图像的识别方法、装置、设备和计算机可读存储介质 | |
| CN115565186A (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
| CN114863450A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114463361A (zh) | 网络模型训练方法、装置、设备、介质及程序产品 | |
| CN114332561A (zh) | 超分辨率模型的训练方法、装置、设备及介质 | |
| CN111062995B (zh) | 生成人脸图像的方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |