CN111985434B - 模型增强的人脸识别方法、装置、设备及存储介质 - Google Patents

模型增强的人脸识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111985434B
CN111985434B CN202010887394.2A CN202010887394A CN111985434B CN 111985434 B CN111985434 B CN 111985434B CN 202010887394 A CN202010887394 A CN 202010887394A CN 111985434 B CN111985434 B CN 111985434B
Authority
CN
China
Prior art keywords
neural network
network model
convolution
convolutional neural
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010887394.2A
Other languages
English (en)
Other versions
CN111985434A (zh
Inventor
关涛
施建安
庄一波
赵友平
陈俊海
孙志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yilianzhong Yihui Technology Co ltd
Original Assignee
Xiamen Yilianzhong Yihui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yilianzhong Yihui Technology Co ltd filed Critical Xiamen Yilianzhong Yihui Technology Co ltd
Priority to CN202010887394.2A priority Critical patent/CN111985434B/zh
Publication of CN111985434A publication Critical patent/CN111985434A/zh
Application granted granted Critical
Publication of CN111985434B publication Critical patent/CN111985434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种模型增强的人脸识别方法、装置、设备及存储介质，方法包括：构建卷积神经网络模型，并对所述卷积神经网络模型进行训练，得到第一卷积神经网络模型；获取经由所述第一卷积神经网络模型识别后生成的第二人脸数据集；对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练；对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型。本发明能提高人脸识别的准确率。

Description

模型增强的人脸识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种模型增强的人脸识别方法、装置、设备及存储介质。
背景技术
人脸识别是通过提取人脸的相关特征形成特征向量，通过计算不同人脸特向量之间的“距离”，得出两个人脸的相似度，从而判断两个人脸是否是同一人。人脸识别准确率在具体应用场景具有非常重要的意义，例如在支付场景，人脸识别错误将导致错误的支付交易发生。
目前，基于深度学习的人脸识别模型普遍使用多层卷积神经网络，由于卷积神经网络的平移不变性和对层次模式特征的提取非常适用于处理图像应用，在人脸识别应用中通常用于提取和生成人脸图像的特征向量。不同的卷积神经网络模型的隐藏层设计是不一样的，比较有名有vggface、SENet、ResNet等，从简单的几层到复杂的几十层设计都有。
在使用卷积神经网络模型进行人脸识别时，需要先对其进行训练，其一般是通过输入大量的训练数据集训练全连接层分类器以及卷积层权重，但这种训练方法由于采用的训练数据集多是通用的数据集，因此在一些特定的情况下，可能会出现识别准确率不稳定的问题。
发明内容
有鉴于此，本发明的目的在于提供一种模型增强的人脸识别方法、装置、设备及存储介质，能提高人脸识别的准确率。
本发明实施例提供了一种模型增强的人脸识别方法，包括如下步骤：
构建卷积神经网络模型，并采用带有标签的第一人脸数据集对所述卷积神经网络模型进行训练，得到训练好后的第一卷积神经网络模型；其中，所述第一卷积神经网络模型包括卷积层以及全连接层；
获取经由所述第一卷积神经网络模型识别生成的第二人脸数据集；所述第二人脸数据集包括输入至所述第一卷积神经网络模型的人脸数据以及由所述第一卷积神经网络模型识别输出的识别结果；
对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练；
对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型，以基于所述增强的第二卷积神经网络模型进行人脸识别。
优选地，所述第一人脸数据集为开源训练数据集。
优选地，所述指定卷积层组为隐藏层中相对靠近输出层的多个卷积层。
优选地，在对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练之前，还包括：
从全连接层以上的层开始，随机生成多个卷积层组；其中，每个卷积层组包括多个卷积层，且不同卷积层组内包含的卷积层不完全相同；
在每次增强训练时，解冻全连接层以及其中一个卷积层组，并采用所述第二人脸数据集进行重新训练，获得对应的多个增强模型；
使用测试数据集对所述多个增强模型的识别准确率进行验证，并获取识别准确率最高的增强模型；
将获取的识别准确率最高的增强模型对应的卷积层组设置为指定卷积层组。
优选地，在对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型之后，还包括：
获取多个基于不同算法构建的第二卷积神经网络模型；
通过多个第二卷积神经网络模型对人脸数据进行识别，以获取对应的多个识别结果；
根据每个第二卷积神经网络模型的权重系数，对所述多个识别结果进行合并，得到最终识别结果。
优选地，所述识别结果采用三元组(r,c,s*W)表示,其中：r是识别出的身份信息；c是同一身份匹配的次数；s是归一化后的算法相似度评分；W是当前算法的权重系数；
则根据每个第二卷积神经网络模型的权重系数，对所述多个识别结果进行合并，得到最终识别结果，具体为：
根据识别出的身份信息对识别结果进行分类，并对身份信息相同的识别结果的c和s*W进行累加，得到至少一个合并结果；
对所述至少一个合并结果，依次根据其累加的c和累加的s*W进行排序，并根据排序的结果确定最终识别结果。
优选地，还包括：
对待识别的人脸图像统一进行图像预处理、检测人脸位置，并提取人脸数据；
将所述人脸数据输入给基于不同算法的第二卷积神经网络模型，并使用多线程实现不同的第二卷积神经网络模型的并行计算。
本发明实施例还提供了一种模型增强的人脸识别装置，包括：
模型训练单元，用于构建卷积神经网络模型，并采用带有标签的第一人脸数据集对所述卷积神经网络模型进行训练，得到训练好后的第一卷积神经网络模型；其中，所述第一卷积神经网络模型包括卷积层以及全连接层；
人脸数据集获取单元，用于获取经由所述第一卷积神经网络模型识别生成的第二人脸数据集；所述第二人脸数据集包括输入至所述第一卷积神经网络模型的人脸数据以及由所述第一卷积神经网络模型识别输出的识别结果；
全连接层训练单元，用于对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练；
增强训练单元，用于对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型，以基于所述增强的第二卷积神经网络模型进行人脸识别。
本发明实施例还提供了一种模型增强的人脸识别设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的模型增强的人脸识别方法。
本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的模型增强的人脸识别方法。
本发明通过将由卷积神经网络模型识别过的结果作为用于增强训练的第二人脸数据集，再采用解冻部分卷积层的方法来实现使用数据量较少的第二人脸数据集对卷积神经网络模型进行增强训练，从而可以有效的增加卷积神经网络模型的训练效率和识别准确率。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明第一实施例提供的模型增强的人脸识别方法的流程示意图。
图2是从SeNet50卷积网络选取出的指定卷积层的示意图。
图3是结合多个卷积神经网络模型进行人脸识别的流程示意图。
图4是本发明实施例提供的分布式并行运算的示意图。
图5是本发明第二实施例提供的模型增强的人脸识别装置的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本发明的多个实施例提供了一种模型增强的人脸识别方法、装置、设备及存储介质，用于提高人脸识别的准确率和稳定性。为便于对本发明的理解，下面先对本发明的模型增强的人脸识别方法进行介绍。
请参阅图1，本发明第一实施例提供了一种模型增强的人脸识别方法，其可由模型增强的人脸识别设备(以下检测人脸识别设备)来执行，特别的，由人脸识别设备内的一个或者多个处理器来执行，以实现如下步骤：
S101，构建卷积神经网络模型，并采用带有标签的第一人脸数据集对所述卷积神经网络模型进行训练，得到训练好后的第一卷积神经网络模型；其中，所述第一卷积神经网络模型包括卷积层以及全连接层。
在本实施例中，所述人脸识别设备可为具有计算处理能力的智能设备，如计算机、笔记本电脑、工作站或者分布式服务集群等，本发明不做具体限定。
在本实施例中，所述卷积神经网络模型可以是SeNet50卷积神经网络，也可以是LeNet、AlexNet、ZFNet等，本发明不做具体限定。其中，在本实施例中，卷积神经网络模型包括用于进行特征提取的卷积层以及作为分类器的全连接层。
在本实施例中，在构建得到卷积神经网络模型后，需要通过训练数据集对其进行训练来确定卷积层和全连接层的各个神经元的参数。
在本实施例中，作为训练用的第一人脸数据集可包括：(A)中国人脸数据集；(B)西方人脸数据集；(C)东方人脸数据集。三个数据集均来自不同的开源测试数据集，人脸图片质量各有不同。
在构建第一人脸数据集时，可通过如下方法构建：
从每个数据集选取预定数量的人(一般需要较大的人数，例如大于10000人)，每人取多张人脸图片，随机取其中一部分作为训练数据集进行训练，将剩余部分用于作为测试数据集进行验证(用于作为测试数据集的人数可以根据实际需要设置得少一点)。
当然，需要说明的是，在本发明的其他实施例中，可以根据实际需要调整每个数据集选取的人数，每人选取的人脸图片、用于训练和用于验证的人脸图片的比例等，本发明均不作具体限定。
S102，获取经由所述第一卷积神经网络模型识别生成的第二人脸数据集；所述第二人脸数据集包括输入至所述第一卷积神经网络模型的人脸数据以及由所述第一卷积神经网络模型识别输出的识别结果。
在本实施例中，在训练好第一卷积神经网络模型后，即可将其用于进行人脸识别。其中，卷积神经网络模型通过提取人脸的相关特征形成特征向量，通过计算不同人脸特征向量之间的“距离”，得出两个人脸的相似度，从而判断两个人脸是否是同一人(通常所说1:1人脸比对)。同样原理，可在一组已知身份的人脸特征值向量库中搜索相似度最高的一个人脸特征向量，从而识别未知人脸的身份(通常所说1:N人脸识别)。
其中，在本实施例中，所述人脸识别设备会收集所述第一卷积神经网络模型的识别结果，并根据其识别结果来生成第二人脸数据集。
S103，对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练。
S104，对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型，以基于所述增强的第二卷积神经网络模型进行人脸识别。
在本实施例中，在收集得到第二人脸数据集后，即可采用所述第二人脸数据集对所述第一卷积神经网络模型进行增强训练。
具体地，在本实施例中，解冻所述第一卷积神经网络模型的指定卷积层，而冻结其余卷积层来调整解冻的卷积层的权重。模型增强训练时，只会对解冻的卷积层的权重进行调整，没有解冻的层的权重将保持不变，不受影响。
其中，不解冻全部卷积层的原因在于：
首先，第一卷积神经网络模型的卷积层的权重都是已经训练过的，模型增强只是改善，不是重新训练，因此只解冻部分卷积层。
其次，对一个有上百层的卷积神经网络，卷积层总的输入参数大概有上千万个，考虑到模型增强训练时使用的第二人脸数据集的数据量并不大，解冻过多层，参与训练和调整的参数越多，出现过拟合的风险越大。过拟合的结果是，模型权重可以良好的匹配训练数据集，但对测试数据集达不到同等水平的拟合效果，或许会更差。
在本实施例中，需要说明的是，为减少误差传播的影响，在模型增强训练之前，需要先使用第二人脸数据集对全连接层进行训练，即解冻全连接层而冻结所有的卷积层。因为如果全连接层分类器没有训练好，在训练卷积层期间，全连接层会产生一定误差信号，并且通过网络传播的误差信号会比较大，会破坏被解冻的卷积层在之前已训练的权重。
综上所述，本实施例通过将由卷积神经网络模型识别过的结果作为用于增强训练的第二人脸数据集，再采用解冻部分卷积层的方法来实现使用数据量较少的第二人脸数据集对卷积神经网络模型进行增强训练，从而可以有效的增加卷积神经网络模型的训练效率和识别准确率。
为便于对本发明的理解，下面对本发明的一些优选实施例做更进一步的描述。
在上述实施例中，采用了解冻部分卷积层的方法来实现增强训练，然而具体解冻哪些卷积层而冻结哪些卷积层将关系到增强训练的效果。
具体地，在本实施例中，解冻的所述指定卷积层组为隐藏层中相对靠近输出层的多个卷积层。
其中，靠顶部(或者说靠近输入层)的卷积层通常是做比较通用的变换和特征抽取，靠底部(靠近输出层)的卷积层通常是做与具体问题(如人脸特征)相关性更高的变换和特征抽取。因此，对底部问题相关性高的卷积层进行增强训练会比对顶部通用性卷积层训练获得更好的效果。
在上述实施例中，靠底部的卷积层的数量仍然比较大，因此还是需要对其进行筛选来确定最终要解冻的卷积层。具体地：
首先，从全连接层以上的层开始，随机生成多个卷积层组；其中，每个卷积层组包括多个卷积层，且不同卷积层组内包含的卷积层不完全相同；
然后，在每次增强训练时，解冻全连接层以及其中一个卷积层组，并采用所述第二人脸数据集进行重新训练，获得对应的多个增强模型。
例如，假设生成了N个卷积层组，则需要进行N次重新训练，来获得N个增强模型。
接着，使用测试数据集对所述多个增强模型的识别准确率进行验证，并获取识别准确率最高的增强模型。
最后，将获取的识别准确率最高的增强模型对应的卷积层组设置为指定卷积层组。
以SeNet50卷积网络为例，如图2所示，通过筛选发现，对从conv5_3_1x1_reduce开始到avg_pool结束的卷积层进行解冻，并增强训练这些卷积层的权重，可以有效的提高识别的准确率。当然，需要说明的是，不同的卷积神经网络模型解冻的卷积层可能是不同的，其视具体情况而定，本发明不做具体限定。
在本实施例中，首先从网络底部开始选取不同的几个卷积层组。选取一定的训练集(即第二人脸数据集)和测试数据集，对选取的解冻方案分别使用训练集数据进行增强训练，然后使用测试数据集进行验证，对比识别准确率，选择对准确率改善比较大的解冻方案作为后续定期进行模型增强训练的方案，如此，可以提高增强训练的训练效率和训练效果。
在上述实施例的基础上，在本发明的一个优选实施例中，在步骤S104之后，还包括：
首先，获取多个基于不同算法构建的第二卷积神经网络模型。
其中，不同的卷积神经网络模型基于不同的特征提取方法和不同的计算模型，因此，不同的卷积神经网络模型提取的特征向量对同一特征点(例如眼睛)的特征表达程度和敏感度是不尽相同的。因此，基于相同的人脸图像数据，使用不同的卷积神经网络模型进行人脸比对或人脸识别时，会得到不同的准确率。同时，这种准确率的差异，是体现在不同的人脸特征上。因此，综合不同算法的卷积神经网络模型的识别结果将有助于提高人脸识别结果的最终准确率。
为此，在本实施例中，可同时获取多个不同算法的第二卷积神经网络模型，再使用这多个第二卷积神经网络模型同时对待识别的人脸数据进行识别。
其次，通过多个第二卷积神经网络模型对人脸数据进行识别，以获取对应的多个识别结果。
最后，根据每个第二卷积神经网络模型的权重系数，对所述多个识别结果进行合并，得到最终识别结果。
其中，在本实施例中，所述识别结果可采用三元组(r,c,s*W)表示。这里，r是识别出的身份信息；c是同一身份匹配的次数；s是归一化后的算法相似度评分；W是当前算法的权重系数。
在得到多个不同算法的卷积神经网络模型的识别结果后，需对其进行合并来得到最终的识别结果。合并过程为：
根据识别出的身份信息对识别结果进行分类，并对身份信息相同的识别结果的c和s*W进行累加，得到至少一个合并结果。
对所述至少一个合并结果，依次根据其累加的c和累加的s*W进行排序，并根据排序的结果确定最终识别结果。
具体地，记由M个不同算法的第二卷积神经网络模型的识别结果集为：
Rm＝{(rm,1,cm,1,sm,1*Wm),(rm,2,cm,2,sm,2*Wm),...,(rm,N,cm,N,sm,N*Wm)},
其中m＝1..M
则合并过程为：
步骤1：令Rf＝R1；
步骤2：对Rx，其中x＝2..M，依次执行步骤3到步骤7，全部执行完后转到步骤8；
步骤3：对Rx中的元素(ri,ci,si*Wx)，其中i＝1..Nx，依次执行步骤4到步骤7，全部执行完后转到步骤2；
步骤4：判断ri是否在Rf中存在？如果存在，暂记为(rf,cf,sf)，则转到步骤5，如果不存在转到步骤6；
步骤5：将(ri,ci,si*Wx)合并到Rf的对应结果(rf,cf,sf)中，合并后计算新的三元组(rf’,cf’,sf’)：
rf＝rf
cf’＝cf+ci
sf’＝sf+si*Wx
然后转到步骤7；
步骤6：将(ri,ci,si*Wx)添加到Rf的结果集中；
步骤7：转到步骤3；
步骤8：如果Rf中只有一个三元组，则此三元组就是识别结果，算法结束，否则继续步骤9；
步骤9：对Rf中元素进行降序排序，排序依据三元组中的ci值，当ci相同时，则依据si值；
步骤10：Rf中的所有三元组均为可能的识别结果，第1个三元组的可能性最大，最后一个三元组的可能性最小，算法结束。
如表1所示，表1示出了单独的卷积神经网络模型(SeNet50和IR152)和二者合并的模型对3个测试数据集的进行对比测试的对照表。
表1
由表1可以看出，算法合并的识别准确率相比于单独的算法具有明显的提高。
综上所述，本实施例选择多个适当的不同算法的卷积神经网络模型进行合并来获取最终识别结果。由于不同模型算法对不同人脸特征的表达和敏感度具有一定的差异，多个模型算法的结合有助于形成互补，提高人脸特征向量的整体表达能力，进而提高识别的准确率和稳定性。
在上述实施例的基础上，在本发明的一个优选实施例中，还包括：
对待识别的人脸图像统一进行图像预处理、检测人脸位置，并提取人脸数据；
将所述人脸数据输入给基于不同算法的第二卷积神经网络模型，并使用多线程实现不同的第二卷积神经网络模型的并行计算；其中，不同的卷积神经网络模型运行于不同的物理机器。
目前人脸识别系统普遍使用GPU进行神经网络计算，基于GPU的硬件成本普遍高于传统CPU硬件。而实际应用中，对人脸识别处理的需求即计算能力的需求是有一点周期性和不确定性，例如，交易高峰期和交易低谷期对算力需求差异巨大，因此完全按最大算力需求进行部署和配置硬件，势必需要极高成本投入。因此，基于低成本硬件，同时根据算力需求周期进行灵活增减硬件部署，是实际应用中平衡算力与成本的有效方法。
为此，在本实施例中，提出了如下改进方案：
(1)、通过多线程或多进程并发执行多个第二卷积神经网络模型。
(2)、通过分布式部署方式，将第二卷积神经网络模型服务部署在不同的物理机器上执行，减轻单台物理机器的运行压力，提高整体并发处理能力；
(3)、通过部署消息中间件解耦前端请求模块与后端算法处理模块，将前端高并发请求转化为后端序列化算法服务进行处理，降低高并发造成的网络和计算阻塞风险。
如图3和图4所示，在本实施例中，假设选取了两种算法的卷积神经网络模型，第一个模型为模型D，对应的分类器为F，第二个模型为模型E，对应的分类器为G，则其完整的分布式并行处理流程如图4所示。
请参阅图5，本发明第二实施例还提供了一种模型增强的人脸识别装置，包括：
模型训练单元210，用于构建卷积神经网络模型，并采用带有标签的第一人脸数据集对所述卷积神经网络模型进行训练，得到训练好后的第一卷积神经网络模型；其中，所述第一卷积神经网络模型包括卷积层以及全连接层；
人脸数据集获取单元220，用于获取经由所述第一卷积神经网络模型识别生成的第二人脸数据集；所述第二人脸数据集包括输入至所述第一卷积神经网络模型的人脸数据以及由所述第一卷积神经网络模型识别输出的识别结果；
全连接层训练单元230，用于对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练；
增强训练单元240，用于对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型，以基于所述增强的第二卷积神经网络模型进行人脸识别。
本发明第三实施例还提供了一种模型增强的人脸识别设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的模型增强的人脸识别方法。
本发明第四实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上述的模型增强的人脸识别方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种模型增强的人脸识别方法，其特征在于，包括如下步骤：
构建卷积神经网络模型，并采用带有标签的第一人脸数据集对所述卷积神经网络模型进行训练，得到训练好后的第一卷积神经网络模型；其中，所述第一卷积神经网络模型包括卷积层以及全连接层；
获取经由所述第一卷积神经网络模型识别后生成的第二人脸数据集；所述第二人脸数据集包括输入至所述第一卷积神经网络模型的人脸数据以及由所述第一卷积神经网络模型识别输出的识别结果；
对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练；
从全连接层以上的层开始，随机生成多个卷积层组；其中，每个卷积层组包括多个卷积层，且不同卷积层组内包含的卷积层不完全相同；
在每次增强训练时，解冻全连接层以及其中一个卷积层组，并采用所述第二人脸数据集进行重新训练，获得对应的多个增强模型；
使用测试数据集对所述多个增强模型的识别准确率进行验证，并获取识别准确率最高的增强模型；
将获取的识别准确率最高的增强模型对应的卷积层组设置为指定卷积层组；
对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型，以基于所述增强的第二卷积神经网络模型进行人脸识别。
2.根据权利要求1所述的模型增强的人脸识别方法，其特征在于，所述第一人脸数据集为通用的开源测试数据集。
3.根据权利要求1所述的模型增强的人脸识别方法，其特征在于，所述指定卷积层组为隐藏层中相对靠近输出层的多个卷积层。
4.根据权利要求1所述的模型增强的人脸识别方法，其特征在于，在对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型之后，还包括：
获取多个基于不同算法构建的第二卷积神经网络模型；
通过多个第二卷积神经网络模型对人脸数据进行识别，以获取对应的多个识别结果；
根据每个第二卷积神经网络模型的权重系数，对所述多个识别结果进行合并，得到最终识别结果。
5.根据权利要求4所述的模型增强的人脸识别方法，其特征在于，所述识别结果采用三元组(r,c,s*W)表示,其中：r是识别出的身份信息；c是同一身份匹配的次数；s是归一化后的算法相似度评分；W是当前算法的权重系数；
则根据每个第二卷积神经网络模型的权重系数，对所述多个识别结果进行合并，得到最终识别结果，具体为：
根据识别出的身份信息对识别结果进行分类，并对身份信息相同的识别结果的c和s*W进行累加，得到至少一个合并结果；
对所述至少一个合并结果，依次根据其累加的c和累加的s*W进行排序，并根据排序的结果确定最终识别结果。
6.根据权利要求4所述的模型增强的人脸识别方法，其特征在于，还包括：
对待识别的人脸图像统一进行图像预处理、检测人脸位置，并提取人脸数据；
将所述人脸数据输入给基于不同算法的第二卷积神经网络模型，并使用多线程实现不同的第二卷积神经网络模型的并行计算；其中，不同的卷积神经网络模型运行于不同的物理机器。
7.一种模型增强的人脸识别装置，其特征在于，包括：
模型训练单元，用于构建卷积神经网络模型，并采用带有标签的第一人脸数据集对所述卷积神经网络模型进行训练，得到训练好后的第一卷积神经网络模型；其中，所述第一卷积神经网络模型包括卷积层以及全连接层；
人脸数据集获取单元，用于获取经由所述第一卷积神经网络模型识别生成的第二人脸数据集；所述第二人脸数据集包括输入至所述第一卷积神经网络模型的人脸数据以及由所述第一卷积神经网络模型识别输出的识别结果；
全连接层训练单元，用于对所述第一卷积神经网络模型的全连接层解冻，并冻结全部的所述卷积层后，采用所述第二人脸数据集对所述第一卷积神经网络模型的全连接层进行训练；
卷积层组设置单元，用于从全连接层以上的层开始，随机生成多个卷积层组；其中，每个卷积层组包括多个卷积层，且不同卷积层组内包含的卷积层不完全相同；在每次增强训练时，解冻全连接层以及其中一个卷积层组，并采用所述第二人脸数据集进行重新训练，获得对应的多个增强模型；使用测试数据集对所述多个增强模型的识别准确率进行验证，并获取识别准确率最高的增强模型；将获取的识别准确率最高的增强模型对应的卷积层组设置为指定卷积层组；
增强训练单元，用于对所述第一卷积神经网络模型的全连接层以及指定卷积层组进行解冻，并采用所述第二人脸数据集对所述第一卷积神经网络模型进行重新训练，以更新解冻的指定卷积层组中的每个卷积层的权重，进而获得增强的第二卷积神经网络模型，以基于所述增强的第二卷积神经网络模型进行人脸识别。
8.一种模型增强的人脸识别设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至6任意一项所述的模型增强的人脸识别方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如权利要求1至6任意一项所述的模型增强的人脸识别方法。
CN202010887394.2A 2020-08-28 2020-08-28 模型增强的人脸识别方法、装置、设备及存储介质 Active CN111985434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010887394.2A CN111985434B (zh) 2020-08-28 2020-08-28 模型增强的人脸识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010887394.2A CN111985434B (zh) 2020-08-28 2020-08-28 模型增强的人脸识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111985434A CN111985434A (zh) 2020-11-24
CN111985434B true CN111985434B (zh) 2023-07-28

Family

ID=73441202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010887394.2A Active CN111985434B (zh) 2020-08-28 2020-08-28 模型增强的人脸识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111985434B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112809697B (zh) * 2021-01-11 2022-05-13 福建思特电子有限公司 一种5g智能门卫机器人
CN114359949B (zh) * 2021-12-23 2023-04-25 华南理工大学 针对电网接线图文字的识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110247930A (zh) * 2019-07-01 2019-09-17 北京理工大学 一种基于深度神经网络的加密网络流量识别方法
CN110543815A (zh) * 2019-07-22 2019-12-06 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN111078902A (zh) * 2018-10-22 2020-04-28 三星电子株式会社 显示装置及其操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111078902A (zh) * 2018-10-22 2020-04-28 三星电子株式会社 显示装置及其操作方法
CN110247930A (zh) * 2019-07-01 2019-09-17 北京理工大学 一种基于深度神经网络的加密网络流量识别方法
CN110543815A (zh) * 2019-07-22 2019-12-06 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于级联卷积神经网络的驾驶员分心驾驶行为检测;陈军 等;科学技术与工程;第20卷(第14期);第5702-5708页 *

Also Published As

Publication number Publication date
CN111985434A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
Farfade et al. Multi-view face detection using deep convolutional neural networks
Eskandari et al. Fusion of face and iris biometrics using local and global feature extraction methods
Ming et al. Simple triplet loss based on intra/inter-class metric learning for face verification
CN107330383A (zh) 一种基于深度卷积神经网络的人脸识别方法
JP2827994B2 (ja) 指紋特徴抽出装置
WO2016086330A1 (en) A method and a system for face recognition
CN111985434B (zh) 模型增强的人脸识别方法、装置、设备及存储介质
Perdana et al. Face recognition using light-convolutional neural networks based on modified vgg16 model
CN110443174B (zh) 一种基于解耦自适应判别性特征学习的行人重识别方法
Song et al. Fingerprint indexing based on pyramid deep convolutional feature
Kamboj et al. CED-Net: context-aware ear detection network for unconstrained images
Kumar et al. Fingerprint matching using multi-dimensional ANN
Wang et al. Discriminative and generative vocabulary tree: With application to vein image authentication and recognition
CN112613474B (zh) 一种行人重识别的方法和装置
CN105069427B (zh) 一种基于改进的稀疏编码的虹膜识别方法及装置
Khodadoust et al. Design and implementation of a multibiometric system based on hand’s traits
Su et al. Evaluation of rarity of fingerprints in forensics
Janarthanan et al. An Efficient Face Detection and Recognition System Using RVJA and SCNN
Said et al. Wavelet networks for facial emotion recognition
Boughrara et al. Facial expression recognition based on perceived facial images and local feature matching
Tivive et al. A hierarchical learning network for face detection with in-plane rotation
Kuban et al. A NOVEL MODIFICATION OF SURF ALGORITHM FOR FINGERPRINT MATCHING.
Darma et al. The Regularization Effect of Pre-activation Batch Normalization on Convolutional Neural Network Performance for Face Recognition System Paper
Boutella et al. Fingerprint identification by wave atoms transform and SVM
Lupascu et al. A multiscale approach to automatic and unsupervised retinal vessel segmentation using Self-Organizing Maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 361000 one of 504, No. 18, guanri Road, phase II, software park, Xiamen, Fujian

Applicant after: XIAMEN YILIANZHONG YIHUI TECHNOLOGY CO.,LTD.

Address before: Room 504, No.18, guanri Road, phase II, software park, Xiamen City, Fujian Province, 361000

Applicant before: XIAMEN YILIANZHONG YIHUI TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant