CN115966006A - 基于深度学习模型的跨年龄式人脸识别系统 - Google Patents

Abstract

本发明涉及计算机视觉在人脸智能识别领域的应用，具体为基于深度学习模型的跨年龄式人脸识别系统，该系统识别方法包括以下步骤：基于视频输入设备的数据收集阶段：视频输入设备将会把人脸图像传输到数据存储和后台处理设备中；基于Retinaface的人脸检测阶段：将视频输入设备视频中的人脸数据传入到Retinaface中，截选出需要的待识别人脸数据；对待识别人脸数据预处理：对待识别人脸数据清洗和数据一致化，最终排除不符合标准的人脸数据；将预处理后的待识别人脸数据输入至网络模型中，通过预先训练的网络模型实现待检测人脸的跨年龄人脸识别。本系统在视频监控中指向性锁定目标人脸完成高精度的跨年龄人脸识别，提高了该人脸识别系统的普适性及精确率。

Description

基于深度学习模型的跨年龄式人脸识别系统

技术领域

本发明涉及计算机视觉在人脸智能识别领域的应用，具体为基于深度学习模型的跨年龄式人脸识别系统。

背景技术

人脸识别技术在日常生活中有着广泛的应用，是计算机视觉技术的重要组成部分，随着近年来计算机视觉技术的快速发展，人脸识别技术也在不断的突破创新，跨年龄人脸识别作为人脸识别的重要组成部分也得到发展应用。但是回顾过往的跨年龄人脸识别方法，不难发现大多数并不适用于处理黄种人年龄变化显著的人脸识别，此外早期研究主要关注于将传统的人脸识别方法适配于跨年龄人脸识别系统当中，例如依赖于手工模型制作特征方法和基于传统机器学习的方法等，通过图像处理技术提取特征来匹配人脸，但这些传统方法在跨年龄任务中不仅存在准确度低的情况，而且还受限于人工特征的设计，存在一系列问题。而AIFR技术在针对失踪儿童的寻找，海关护照检测以及识别多年潜逃犯等方面的应用有着广阔的发展前景。因此一个适用于我国国情的人脸识别系统的出现有着至关重要的作用。

发明内容

本发明为了解决现有的跨年龄人脸识别方法由于人种差异而准确率下降不具备高普适性的问题，提出了基于深度学习模型的跨年龄式人脸识别系统。

基于深度学习模型的跨年龄式人脸识别系统，包括视频输入设备，如摄像头；以计算机为基础的用户数据存储和后台处理设备，将视频输入设备与后台的数据存储和后台处理设备连接，数据存储和后台处理设备中有网络模型。

本发明所述的基于深度学习模型的跨年龄式人脸识别系统，其识别方法包括以下步骤：

第一步：基于视频输入设备的数据收集阶段：当目标人员出现在视频输入设备前时，视频输入设备将会把人脸图像传输到数据存储和后台处理设备中，进而准备下一步操作。

第二步：基于现有的Retinaface的人脸检测阶段。将视频输入设备视频中的人脸数据传入到Retinaface中，Retinaface中特征金字塔网络（FPN）提取人脸数据的特征并输出，SSH网络对输出的特征层加强特征提取，然后从特征中获取到预测结果，最后采用非极大抑制（NMS）去除预测结果中冗余的预测框；对预测结果进行调整修正，最后截选出需要的待识别人脸数据。

第三步：对待识别人脸数据预处理：对待识别人脸数据清洗和数据一致化，最终排除不符合标准的人脸数据。

第四步：将预处理后的待识别人脸数据输入至网络模型中，通过预先训练的网络模型实现待检测人脸的跨年龄人脸识别。

上述的基于深度学习模型的跨年龄式人脸识别系统，预处理的具体过程为：

1、清洗：将待识别人脸数据中的不符合规范的数据进行选择性删除或修复。

2、数据一致化：将数据中心化和归一化，即通过平移和缩放对数据进行一致化处理，去除数据的单位限制。

上述的基于深度学习模型的跨年龄式人脸识别系统，第四步的具体过程为：通过预先训练的网络模型将待识别人脸数据与后台跨年龄人脸数据库中数据进行对比，根据网络模型计算出的待识别人脸数据的特征向量和后台人脸数据的特征向量进行相似度计算，得到相似度差值；设定阈值，若所有的相似度差值都高于设定的阈值，则无法识别出该待识别人脸数据，若有相似度差值小于设定的阈值，则筛选出最小的相似度差值对应的后台人脸数据，待识别人脸数据与该后台人脸数据匹配，完成人脸识别。

上述的基于深度学习模型的跨年龄式人脸识别系统，系统的网络模型选用Resnet-50网络模型，且对Resnet-50网络模型进行了改进，将原有的首个7*7卷积层替换为3*3卷积层（步长为1），并在原有网络上增加了两种不同的注意力机制，选用Arcface loss作为损失函数，将每个类之间的特征距离拉大且增大类内相似性。深层的网络模型训练中，在保证正确率高的同时，减少网络参数， 降低训练时间，实现高精度、高时效的跨年龄人脸识别。利用注意力机制对网络模型进行相关改进，后又结合Arcface loss损失函数使分类结果更加有效，逐渐使跨年龄人脸识别模型趋近于高精度、高稳定性。

上述的的基于深度学习模型的跨年龄式人脸识别系统，包括以下步骤：

Resnet-50网络模型的训练使用自制数据集，且将自制数据集按3：7的比例分为测试集和训练集。

上述的基于深度学习模型的跨年龄式人脸识别系统，后台跨年龄人脸数据库中包括不同年龄段的人脸数据。

本发明提供了基于深度学习模型Resnet-50的跨年龄式人脸识别系统，本系统在视频监控中指向性锁定目标人脸完成高精度的跨年龄人脸识别，提高了该人脸识别系统的普适性及精确率。在进行不同年龄跨度的人脸识别中，该系统会自动检索出与之相似性最高的人脸。

附图说明

图1为本发明流程图。

图2为ResNet50模型的工作原理示意图。

具体实施方式

基于深度学习模型的跨年龄式人脸识别系统，包括视频输入设备，如摄像头；以计算机为基础的用户数据存储和后台处理设备，将视频输入设备与后台的数据存储和后台处理设备连接。

基于深度学习模型的跨年龄式人脸识别系统的识别过程包括以下步骤：

第一步：基于视频输入设备的数据收集阶段：当目标人员出现在视频输入设备前时，视频输入设备将会把人脸图像传输到数据存储和后台处理设备中，进而准备下一步操作。

第二步：基于现有的Retinaface的人脸检测阶段。基于现有的Retinaface的人脸检测阶段。将视频输入设备视频中的人脸数据传入到Retinaface中，Retinaface中特征金字塔网络（FPN）提取人脸数据的特征并输出，SSH网络对输出的特征层加强特征提取，然后从特征中获取到预测结果，最后采用非极大抑制（NMS）去除预测结果中冗余的预测框；对预测结果进行调整修正，最后截选出需要的待识别人脸数据。

第三步：待识别人脸数据进行预处理：数据进行清洗和数据一致化。最终排除不符合标准的人脸数据。

1、清洗：将待识别人脸数据中的不符合规范的数据进行选择性删除或修复。

2、数据一致化：将数据中心化和归一化，即通过平移和缩放对数据进行一致化处理，去除数据的单位限制。

第四步：基于深度学习模型的跨年龄式人脸识别系统。通过预先训练的网络模型将待识别人脸数据与后台跨年龄人脸数据库中数据进行对比，根据网络模型计算出的待识别人脸数据的特征向量和后台数据的特征向量进行相似度计算（欧氏距离计算），得到相似度差值；设定阈值，若所有的相似度差值都高于设定的阈值，则无法识别出该待识别人脸数据，若有相似度差值小于设定的阈值，则筛选出最小的相似度差值对应的后台数据，待识别人脸数据与该后台数据匹配，完成人脸识别。

以下结合实施例以及相关附图对本发明作出进一步的详细描述。

实施例：如图1所示：本发明所述的基于深度学习模型的跨年龄式人脸识别系统的识别方法，采用如下步骤实现：

第一步：当目标人员出现在摄像头前时，摄像头会将目标者的图像资源通过网线连接上传到计算机中。

第二步：基于现有的Retinaface的人脸检测阶段。在这一阶段将会使摄像头视频中的人脸数据传输到人脸检测的网络中，首先使用特征金字塔网络（FPN）提取人脸数据的特征并输出，SSH网络对输出的特征层加强特征提取，然后从特征中获取到预测结果，在这过程中FPN网络利用1*1卷积对主干网络Mobilenet输出的特征层进行通道数调整之后进行上采样特征融合，SSH网络则是进一步对特征层加强特征提取，利用三个并行的卷积：3*3卷积堆叠、两次3*3卷积代替5*5卷积、三次3*3卷积代替7*7卷积。这一过程完成后从特征中获取到预测结果，对预测结果进行调整修正，在进行调整修正时利用ClassHead判断先验框是否包含人脸；BoxHead进行人脸框检测获得预测框；使用LandmarkHead确定人脸关键点，包括左右眼、鼻子、左右嘴角五个关键位置。最后采用非极大抑制（NMS）去除冗余的预测框。最后截选出需要的待识别人脸数据。

第三步：跨年龄式人脸识别系统对待识别人脸数据进行数据预处理，数据预处理包括：选择性删除和修复图片，改变图片格式大小，通过平移和缩放将图像数据中心化和归一化处理，去除数据的单位限制。最终汇总一个属于目标人物的当前现状的人脸数据库。

第四步：跨年龄式人脸识别系统对待识别人脸数据通过网络模型Gf进行特征提取，通过特征提取过程 Fi＝Gf (xi ,F )，得到所述待识别人脸数据xi的面部表征Fi；其中，F为所述特征提取网络模型的参数，Fi∈h×w×Rc，h×w×Rc表示h×w×c维度的实数空间， h ,w ,c 分别是所述面部表征的高、宽和通道数。

根据网络模型计算出的待识别人脸数据的特征向量和后台数据的特征向量进行相似度计算（欧氏距离计算），得到相似度差值；在设定阈值，若所有的相似度差值都高于设定的阈值，则无法识别出该待识别人脸数据，若有相似度差值小于设定的阈值，则筛选出最小的相似度差值对应的后台数据，待识别人脸数据于该后台数据匹配，完成人脸识别。

为了提高识别效率，将其性能发挥到最大化，将原有的卷积神经网络进行改进，利用提前准备的人脸数据集的特征图像进行训练，最终生成精准的细粒度识别模型。本发明通过对目前的卷积神经网络进行测评，最终得出Resnet-50网络模型无论是从准确率，还是稳定性来看都明显强于其他的网络模型。因此，本发明选取Resnet-50网络模型进行改进，最终得到R-Resnet50网络模型。

本发明对Resnet-50网络模型进行了修改，采用112*112*3的像素层进行训练模型。本发明将人脸图像预处理为112*112大小。从而符合模型卷积对于图像大小的要求，避免因图像像素的问题而使训练模型出现误差。改进后的Resnet_50模型的配置如下：

ResNet-50网络模型的主要组成单元为卷积块、注意力块、残差块、全连接块。

卷积块（Convolution block）：首先输入112*112*3的人脸图像，使用3*3的卷积核，卷积到的FeatureMap为112*112*64；将卷积核输出的FeatureMap输入到bn1和PReLU函数中，输出为112*112*64；

注意力块（一）：输入112*112*64的FeatureMap，使用通道注意力机制后得到FeatureMap为1*1*64；将FeatureMap继续输入到空间注意力机制后，输出得到FeatureMap为112*112*1；

残差块（Residual block）：在所有Resnet-50网络层中分为5部分，其中运用残差结构的是4部分（Layer1、Layer2、 Layer3、 Layer4），在各层所使用的残差结构数量分别为（3，8，11，3）。

输入112*112*1的FeatureMap，通过bn变更为112*112*64图像数据，在经历Layer1、Layer2、 Layer3、 Layer4这4部分后FeatureMap所输出的结果依次为（56*56*64）、（28*28*128）、（14*14*256）、（7*7*512）；最终输出7*7*512的FeatureMap；

注意力块（二）：输入7*7*512的FeatureMap，使用通道注意力机制后得到FeatureMap为1*1*512；将FeatureMap继续输入到空间注意力机制后，输出得到FeatureMap为7*7*1；

全连接块：输入为7*7*1的FeatureMap，经过bn后输出7*7*512的FeatureMap。将7*7*512的FeatureMap进行Dropout操作(Dropout：抑制过拟合的出现，随机的不激活某些神经元或者是断开某些神经元的连接），最后经过线性化处理和归一化处理，得出结果。

本发明提供了一种基于深度学习模型的跨年龄式人脸识别系统，本发明允许用户使用该系统即可通过在视频监控中指向性锁定目标人脸的条件下完成高精度的跨年龄人脸识别。

Claims (6)

1.基于深度学习模型的跨年龄式人脸识别系统，其特征在于：包括视频输入设备和数据存储和后台处理设备，将视频输入设备与数据存储和后台处理设备连接；该系统识别方法包括以下步骤：

第一步：基于视频输入设备的数据收集阶段：当目标人员出现在视频输入设备前时，视频输入设备将会把人脸图像传输到数据存储和后台处理设备中，进而准备下一步操作；

第二步：基于Retinaface的人脸检测阶段：将视频输入设备视频中的人脸数据传入到Retinaface中，Retinaface中特征金字塔网络提取人脸数据的特征并输出，SSH网络对输出的特征层加强特征提取，然后从特征中获取到预测结果，最后采用非极大抑制去除预测结果中冗余的预测框，对预测结果进行调整修正，最后截选出需要的待识别人脸数据；

第三步：对待识别人脸数据预处理：对待识别人脸数据清洗和数据一致化，最终排除不符合标准的人脸数据；

第四步：将预处理后的待识别人脸数据输入至网络模型中，通过预先训练的网络模型实现待检测人脸的跨年龄人脸识别。

2.根据权利要求1所述的基于深度学习模型的跨年龄式人脸识别系统，其特征在于：预处理的具体过程为：

清洗：将待识别人脸数据中的不符合规范的数据进行选择性删除或修复；

数据一致化：将数据中心化和归一化，即通过平移和缩放对数据进行一致化处理，去除数据的单位限制。

3.根据权利要求2所述的基于深度学习模型的跨年龄式人脸识别系统，其特征在于：第四步的具体过程为：通过预先训练的网络模型将待识别人脸数据与后台跨年龄人脸数据库中数据进行对比，根据网络模型计算出的待识别人脸数据的特征向量和后台人脸数据的特征向量进行相似度计算，得到相似度差值；设定阈值，若所有的相似度差值都高于设定的阈值，则无法识别出该待识别人脸数据，若有相似度差值小于设定的阈值，则筛选出最小的相似度差值对应的后台人脸数据，待识别人脸数据与该后台人脸数据匹配，完成人脸识别。

4.根据权利要求3所述的基于深度学习模型的跨年龄式人脸识别系统，其特征在于：网络模型选用Resnet-50网络模型，且对Resnet-50网络模型进行了改进，将原有的首个7*7卷积层替换为3*3卷积层，并增加了通道注意力机制和空间注意力机制，选用Arcface loss作为损失函数，将每个类之间的特征距离拉大且增大类内相似性。

5.根据权利要求3或4所述的基于深度学习模型的跨年龄式人脸识别系统，其特征在于：包括以下步骤：Resnet-50网络模型的训练使用自制数据集，且将自制数据集按3：7的比例分为测试集和训练集。

6.根据权利要求3或4所述的基于深度学习模型的跨年龄式人脸识别系统，其特征在于：后台跨年龄人脸数据库中包括不同年龄段的人脸数据。

Images