CN109558798B - 一种基于卷积特征图匹配的人脸识别方法及系统 - Google Patents

Abstract

本发明提供一种基于卷积特征图匹配的人脸识别方法，通过构建图像标准数据库，采集人脸图像数据；计算所述人脸图像的VggFace描述向量，并与标准数据库中所有图像的VggFace描述向量计算匹配分数；根据匹配分数选择候选帧，并对所述人脸图像与候选帧进行特征匹配，统计匹配数目；基于预设阈值信息，选择所述候选帧中匹配数目最多的图像与预设阈值信息进行对比，完成对当前输入图像与标准数据库中的对应图像关系的识别。本发明还提供一种基于卷积特征图匹配的人脸识别系统，配合人脸识别方法，准确识别当前输入的人脸图像与标准数据库中的人脸图像之间的关系，实现对人脸图像的有效、准确识别。

Description

一种基于卷积特征图匹配的人脸识别方法及系统

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种基于卷积特征图匹配的人脸识别方法，还涉及一种基于卷积特征图匹配的人脸识别系统。

背景技术

人脸识别技术是一种利用人脸生物特征进行身份认证的技术，人脸识别技术目前被广泛应用于支付、安保、监控等领域。

人脸识别技术目前大体可分为两大技术方向，其一是基于图像局部信息生成对应描述子并进行匹配识别，但其生成描述子的时间较长，且只利用了局部的图像信息，并未挖掘全图的所有信息，因此导致其识别准确率与识别速度有一定瓶颈；其二是基于学习的方法，基于学习的方法是通过卷积核对输入图像进行处理，充分挖掘图像的全局信息，并生成对应的全局描述向量，直接使用全局描述向量在未训练过的数据集上进行人脸识别时，其识别准确率并不理想，对局部信息生成描述子也存在不足。

发明内容

本发明为克服现有的人脸识别技术识别准确率不高的技术缺陷，提供一种基于卷积特征图匹配的人脸识别方法。

本发明还提供一种基于卷积特征图匹配的人脸识别系统。

为解决上述技术问题，本发明的技术方案如下：

一种基于卷积特征图匹配的人脸识别方法，包括以下步骤：

S1：构建图像标准数据库，采集人脸图像数据；

S2：计算所述人脸图像的VggFace描述向量，并与标准数据库中所有图像的VggFace描述向量计算匹配分数；

S3：根据匹配分数选择候选帧，并对所述人脸图像与候选帧进行特征匹配，统计匹配数目；

S4：基于预设阈值信息，选择所述候选帧中匹配数目最多的图像与预设阈值信息进行对比，完成对当前输入图像与标准数据库中的对应图像关系的识别。

其中，所述步骤S2包括以下步骤：

S21：对输入的人脸图像进行下采样与裁剪，使其满足VggFace要求的尺寸大小为224×224×3的人脸图像，记为目标图像I_input；

S22：生成VggFace的描述向量：

VggFace卷积神经网络是由16个卷积层组成，即

h_Vgg＝{h₁,h₂,...,h₁₆}；

对目标图像I_input依次与VggFace卷积神经网络h_Vgg中的每个卷积层进行卷积，即

生成目标图像I_input的描述向量

该描述向量

同时保存指定卷积层L的卷积特征图conv_featmap_input∈R^14×14×512；

S23：计算VggFace描述向量与标准数据库中所有图像的VggFace描述向量的匹配分数：

将所述描述向量

与标准数据库中所有图像的描述向量，即

进行其匹配分数，即有：

其中，m表示人脸数据集中的人数，所述标准数据库由人脸数据集选取出每个人自然状态的人脸图像组合而成；该标准数据库中所有图像的描述向量：

均由所述VggFace卷积神经网络生成，并将所述数据库中所有图像的描述向量，卷积特征图与对应标签作为标准数据集；最后将所述标准数据库中所有图像的描述向量Vgg_database与所述目标图像I_input分别计算匹配分数。

其中，所述步骤S3包括以下步骤：

S31：对步骤S23所述的所有匹配分数进行排序，记录匹配分数最高的前K帧匹配候选帧在所述标准数据库中的ID，即：

对所述匹配分数最高的前K帧匹配候选帧提取其对应ID，在标准数据库中，根据所述ID提取出其对应的卷积特征图，其中，标准数据库database表示为：

提取出对应的卷积特征图的计算公式为：

S32：对目标图像I_input的卷积特征图与候选帧的卷积特征图进行特征匹配：

根据所述目标图像I_input卷积特征图conv_featmap_input中196个512维的特征向量，即：

在所述候选帧的卷积特征图

的每一个候选帧中的特征向量中找到最优匹配；

取所述匹配分数最高的候选帧的卷积特征图为：

且：

对于所述目标图像I_input卷积特征图中的特征向量

与所述匹配分数最高的候选帧的卷积特征图中所有特征向量计算匹配分数，并选取匹配分数最高的特征向量为最优匹配，其中，匹配分数最高的候选帧的卷积特征图中所有特征向量表示为：

即有：

其中，i＝1,2,...,196；根据所述匹配分数计算公式，计算所述目标图像卷积特征图中的特征向量

与所述匹配分数最高的候选帧的卷积特征图中特征向量

匹配关系，且每个匹配对间有对应匹配分数，即：

S33：根据阈值分数match_scores_thresh筛选最优匹配结果，对于所有匹配分数大于阈值分数的匹配对，均视为最优匹配，并统计其匹配数目

S34：通过步骤S31～S33进一步完成对所述候选帧卷积特征图特征向量的匹配，统计匹配数目N_candidate，具体为：

其中，所述步骤S4具体为：

根据所选预设阈值信息N_{good_match}，对所述目标图像I_input卷积特征图中的特征向量与所述候选帧的的每一帧的卷积特征图中的特征向量匹配数目进行筛选，在匹配数目N_candidate中选取最大值并记录对应ID与标签，与阈值信息N_{good_match}进行比较，若N_candidate＞N_{good_match}，则说明识别是同一个人，返回正确识别的状态以及其对应的ID与标签信息；否则，则识别失败，返回识别失败的状态。

一种基于卷积特征图匹配的人脸识别装置，包括图像采集模块、图像处理模块、图像识别模块和结果反馈模块；其中：

所述图像采集模块用于采集人脸图像数据，并将数据传输给所述图像处理模块；

所述图像处理模块用于对输入图像与标准数据库中的图像计算匹配分数，并基于匹配分数选择候选帧，在输入图像与候选帧间的卷积特征图进行特征匹配，统计最优匹配数目，并将处理结果传输给所述图像识别模块；

所述图像识别模块用于对候选帧中的最优匹配数目集进行筛选，选择最优候选帧，并基于阈值信息，判断并通过结果反馈模块输出识别结果。

其中，所述图像采集模块的主体为摄像机，用于对用户进行拍摄，获得人脸图像。

其中，所述图像处理模块包括人脸图像预处理子模块、VggFace描述向量匹配子模块、候选帧选择子模块和卷积特征图特征匹配子模块；其中：

所述人脸图像预处理子模块用于对所述输入人脸图像数据进行缩放和裁剪，获得VggFace卷积神经网络输入所要求尺寸大小为224×224×3的人脸图像；

所述VggFace描述向量匹配子模块用于对所述尺寸大小为224×224×3的人脸图像进行VggFace卷积生成描述向量，并与标准数据库中的描述向量计算匹配分数；

所述候选帧选择子模块用于对所述匹配分数进行排序并选取匹配分数最大的前K帧图像；

所述卷积特征图特征匹配子模块用于对预处理后的人脸图像的卷积特征图与候选帧间的特征图进行特征匹配，并根据预设阈值，统计出各自对应的最优匹配数目。

其中，所述结果反馈模块包括语音提示子模块和屏幕显示子模块；所述语音提示子模块用于语音提示当前验证状态；屏幕显示子模块用于在屏幕上显示当前验证状态。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的一种基于卷积特征图匹配的人脸识别方法及系统，通过构建VggFace卷积神经网络，计算输入目标图像的卷积特征图与这K帧匹配候选帧的卷积特征图进行特征匹配，并基于阈值分数信息进行筛选，根据最优匹配阈值分数，对所有匹配数目进行筛选，输出识别结果，准确识别当前输入的人脸图像与标准数据库中的人脸图像之间的关系，实现对人脸图像的有效、准确识别。

附图说明

图1为本发明流程示意图；

图2为本发明装置连接示意图。

其中：51、图像采集模块；52、图像处理模块、53、图像识别模块；54、结果反馈模块。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于卷积特征图匹配的人脸识别方法，包括以下步骤：

S1：构建图像标准数据库，采集人脸图像数据；

S2：计算所述人脸图像的VggFace描述向量，并与标准数据库中所有图像的VggFace描述向量计算匹配分数；

S3：根据匹配分数选择候选帧，并对所述人脸图像与候选帧进行特征匹配，统计匹配数目；

S4：基于预设阈值信息，选择所述候选帧中匹配数目最多的图像与预设阈值信息进行对比，完成对当前输入图像与标准数据库中的对应图像关系的识别。

更具体的，所述步骤S2包括以下步骤：

S21：对输入的人脸图像进行下采样与裁剪，使其满足VggFace要求的尺寸大小为224×224×3的人脸图像，记为目标图像I_input；

S22：生成VggFace的描述向量：

VggFace卷积神经网络是由16个卷积层组成，即

h_Vgg＝{h₁,h₂,...,h₁₆}；

对目标图像I_input依次与VggFace卷积神经网络h_Vgg中的每个卷积层进行卷积，即

生成目标图像I_input的描述向量

该描述向量

同时保存指定卷积层L的卷积特征图conv_featmap_input∈R^14×14×512；

S23：计算VggFace描述向量与标准数据库中所有图像的VggFace描述向量的匹配分数：

将所述描述向量

与标准数据库中所有图像的描述向量，即

进行其匹配分数，即有：

其中，m表示人脸数据集中的人数，所述标准数据库由人脸数据集选取出每个人自然状态的人脸图像组合而成；该标准数据库中所有图像的描述向量：

均由所述VggFace卷积神经网络生成，并将所述数据库中所有图像的描述向量，卷积特征图与对应标签作为标准数据集；最后将所述标准数据库中所有图像的描述向量Vgg_database与所述目标图像I_input分别计算匹配分数。

更具体的，所述步骤S3包括以下步骤：

S31：对步骤S23所述的所有匹配分数进行排序，记录匹配分数最高的前K帧匹配候选帧在所述标准数据库中的ID，即：

对所述匹配分数最高的前K帧匹配候选帧提取其对应ID，在标准数据库中，根据所述ID提取出其对应的卷积特征图，其中，标准数据库database表示为：

提取出对应的卷积特征图的计算公式为：

S32：对目标图像I_input的卷积特征图与候选帧的卷积特征图进行特征匹配：

根据所述目标图像I_input卷积特征图conv_featmap_input中196个512维的特征向量，即：

在所述候选帧的卷积特征图

的每一个候选帧中的特征向量中找到最优匹配；

取所述匹配分数最高的候选帧的卷积特征图为：

且：

对于所述目标图像I_input卷积特征图中的特征向量

与所述匹配分数最高的候选帧的卷积特征图中所有特征向量计算匹配分数，并选取匹配分数最高的特征向量为最优匹配，其中，匹配分数最高的候选帧的卷积特征图中所有特征向量表示为：

即有：

其中，i＝1,2,...,196；根据所述匹配分数计算公式，计算所述目标图像卷积特征图中的特征向量

与所述匹配分数最高的候选帧的卷积特征图中特征向量

匹配关系，且每个匹配对间有对应匹配分数，即：

S33：根据阈值分数match_scores_thresh筛选最优匹配结果，对于所有匹配分数大于阈值分数的匹配对，均视为最优匹配，并统计其匹配数目

S34：通过步骤S31～S33进一步完成对所述候选帧卷积特征图特征向量的匹配，统计匹配数目N_candidate，具体为：

更具体的，所述步骤S4具体为：

根据所选预设阈值信息N_{good_match}，对所述目标图像I_input卷积特征图中的特征向量与所述候选帧的的每一帧的卷积特征图中的特征向量匹配数目进行筛选，在匹配数目N_candidate中选取最大值并记录对应ID与标签，与阈值信息N_{good_match}进行比较，若N_candidate＞N_{good_match}，则说明识别是同一个人，返回正确识别的状态以及其对应的ID与标签信息；否则，则识别失败，返回识别失败的状态。

如图2所示，一种基于卷积特征图匹配的人脸识别装置，包括图像采集模块、图像处理模块、图像识别模块和结果反馈模块；其中：

所述图像采集模块用于采集人脸图像数据，并将数据传输给所述图像处理模块；

所述图像处理模块用于对输入图像与标准数据库中的图像计算匹配分数，并基于匹配分数选择候选帧，在输入图像与候选帧间的卷积特征图进行特征匹配，统计最优匹配数目，并将处理结果传输给所述图像识别模块；

所述图像识别模块用于对候选帧中的最优匹配数目集进行筛选，选择最优候选帧，并基于阈值信息，判断并通过结果反馈模块输出识别结果。

更具体的，所述图像采集模块的主体为摄像机，用于对用户进行拍摄，获得人脸图像。

更具体的，所述图像处理模块包括人脸图像预处理子模块、VggFace描述向量匹配子模块、候选帧选择子模块和卷积特征图特征匹配子模块；其中：

所述人脸图像预处理子模块用于对所述输入人脸图像数据进行缩放和裁剪，获得VggFace卷积神经网络输入所要求尺寸大小为224×224×3的人脸图像；

所述VggFace描述向量匹配子模块用于对所述尺寸大小为224×224×3的人脸图像进行VggFace卷积生成描述向量，并与标准数据库中的描述向量计算匹配分数；

所述候选帧选择子模块用于对所述匹配分数进行排序并选取匹配分数最大的前K帧图像；

所述卷积特征图特征匹配子模块用于对预处理后的人脸图像的卷积特征图与候选帧间的特征图进行特征匹配，并根据预设阈值，统计出各自对应的最优匹配数目。

更具体的，所述结果反馈模块包括语音提示子模块和屏幕显示子模块；所述语音提示子模块用于语音提示当前验证状态；屏幕显示子模块用于在屏幕上显示当前验证状态。

在具体实施过程中，通过构建VggFace卷积神经网络，计算输入目标图像的卷积特征图与这K帧匹配候选帧的卷积特征图进行特征匹配，并基于阈值分数信息进行筛选，根据最优匹配阈值分数，对所有匹配数目进行筛选，输出识别结果，准确识别当前输入的人脸图像与标准数据库中的人脸图像之间的关系，实现对人脸图像的有效、准确识别。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于卷积特征图匹配的人脸识别方法，其特征在于，包括以下步骤：

S1：构建图像标准数据库，采集人脸图像数据；

S2：计算所述人脸图像的VggFace描述向量，并与标准数据库中所有图像的VggFace描述向量计算匹配分数；

S3：根据匹配分数选择候选帧，并对所述人脸图像与候选帧进行特征匹配，统计匹配数目；

S4：基于预设阈值信息，选择所述候选帧中匹配数目最多的图像与预设阈值信息进行对比，完成对当前输入图像与标准数据库中的对应图像关系的识别；

所述步骤S2包括以下步骤：

S21：对输入的人脸图像进行下采样与裁剪，使其满足VggFace要求的尺寸大小为224×224×3的人脸图像，记为目标图像I_input；

S22：生成VggFace的描述向量：

VggFace卷积神经网络是由16个卷积层组成，即

h_Vgg＝{h₁,h₂,...,h₁₆}；

对目标图像I_input依次与VggFace卷积神经网络h_Vgg中的每个卷积层进行卷积，即

生成目标图像I_input的描述向量

该描述向量

同时保存指定卷积层L的卷积特征图conv_featmap_input∈R^14×14×512；

S23：计算VggFace描述向量与标准数据库中所有图像的VggFace描述向量的匹配分数：

将所述描述向量

与标准数据库中所有图像的描述向量，即

进行其匹配分数，即有：

其中，m表示人脸数据集中的人数，所述标准数据库由人脸数据集选取出每个人自然状态的人脸图像组合而成；该标准数据库中所有图像的描述向量：

均由所述VggFace卷积神经网络生成，并将所述数据库中所有图像的描述向量，卷积特征图与对应标签作为标准数据集；最后将所述标准数据库中所有图像的描述向量Vgg_database与所述目标图像I_input分别计算匹配分数。

2.根据权利要求1所述的一种基于卷积特征图匹配的人脸识别方法，其特征在于，所述步骤S3包括以下步骤：

S31：对步骤S23所述的所有匹配分数进行排序，记录匹配分数最高的前K帧匹配候选帧在所述标准数据库中的ID，即：

对所述匹配分数最高的前K帧匹配候选帧提取其对应ID，在标准数据库中，根据所述ID提取出其对应的卷积特征图，其中，标准数据库database表示为：

提取出对应的卷积特征图的计算公式为：

S32：对目标图像I_input的卷积特征图与候选帧的卷积特征图进行特征匹配：

根据所述目标图像I_input卷积特征图conv_featmap_input中196个512维的特征向量，即：

在所述候选帧的卷积特征图

的每一个候选帧中的特征向量中找到最优匹配；

取所述匹配分数最高的候选帧的卷积特征图为：

且：

对于所述目标图像I_input卷积特征图中的特征向量

与所述匹配分数最高的候选帧的卷积特征图中所有特征向量计算匹配分数，并选取匹配分数最高的特征向量为最优匹配，其中，匹配分数最高的候选帧的卷积特征图中所有特征向量表示为：

即有：

其中，i＝1,2,...,196；根据所述匹配分数计算公式，计算所述目标图像卷积特征图中的特征向量

与所述匹配分数最高的候选帧的卷积特征图中特征向量

匹配关系，且每个匹配对间有对应匹配分数，即：

S33：根据阈值分数match_scores_thresh筛选最优匹配结果，对于所有匹配分数大于阈值分数的匹配对，均视为最优匹配，并统计其匹配数目

S34：通过步骤S31～S33进一步完成对所述候选帧卷积特征图特征向量的匹配，统计匹配数目N_candidate，具体为：

3.根据权利要求2所述的一种基于卷积特征图匹配的人脸识别方法，其特征在于，所述步骤S4具体为：

根据所选预设阈值信息N_{good_match}，对所述目标图像I_input卷积特征图中的特征向量与所述候选帧的的每一帧的卷积特征图中的特征向量匹配数目进行筛选，在匹配数目N_candidate中选取最大值并记录对应ID与标签，与阈值信息N_{good_match}进行比较，若N_candidate＞N_{good_match}，则说明识别是同一个人，返回正确识别的状态以及其对应的ID与标签信息；否则，则识别失败，返回识别失败的状态。

4.一种基于卷积特征图匹配的人脸识别装置，其特征在于：包括图像采集模块(51)、图像处理模块(52)、图像识别模块(53)和结果反馈模块(54)；其中：

所述图像采集模块(51)用于采集人脸图像数据，并将数据传输给所述图像处理模块(52)；

所述图像处理模块(52)用于对输入图像与标准数据库中的图像计算匹配分数，并基于匹配分数选择候选帧，在输入图像与候选帧间的卷积特征图进行特征匹配，统计最优匹配数目，并将处理结果传输给所述图像识别模块(53)；

所述图像识别模块(53)用于对候选帧中的最优匹配数目集进行筛选，选择最优候选帧，并基于阈值信息，判断并通过结果反馈模块(54)输出识别结果；

所述图像处理模块(52)计算匹配分数的过程具体为：

对输入的人脸图像进行下采样与裁剪，使其满足VggFace要求的尺寸大小为224×224×3的人脸图像，记为目标图像I_input；生成VggFace的描述向量：

VggFace卷积神经网络是由16个卷积层组成，即

h_Vgg＝{h₁,h₂,...,h₁₆}；

对目标图像I_input依次与VggFace卷积神经网络h_Vgg中的每个卷积层进行卷积，即

生成目标图像I_input的描述向量

该描述向量

同时保存指定卷积层L的卷积特征图conv_featmap_input∈R^14×14×512；

计算VggFace描述向量与标准数据库中所有图像的VggFace描述向量的匹配分数；

将所述描述向量

与标准数据库中所有图像的描述向量，即

进行其匹配分数，即有：

其中，m表示人脸数据集中的人数，所述标准数据库由人脸数据集选取出每个人自然状态的人脸图像组合而成；该标准数据库中所有图像的描述向量：

均由所述VggFace卷积神经网络生成，并将所述数据库中所有图像的描述向量，卷积特征图与对应标签作为标准数据集；最后将所述标准数据库中所有图像的描述向量Vgg_database与所述目标图像I_input分别计算匹配分数。

5.根据权利要求4所述的一种基于卷积特征图匹配的人脸识别装置，其特征在于：所述图像采集模块(51)的主体为摄像机，用于对用户进行拍摄，获得人脸图像。

6.根据权利要求4所述的一种基于卷积特征图匹配的人脸识别装置，其特征在于：所述图像处理模块(52)包括人脸图像预处理子模块、VggFace描述向量匹配子模块、候选帧选择子模块和卷积特征图特征匹配子模块；其中：

所述人脸图像预处理子模块用于对所述输入人脸图像数据进行缩放和裁剪，获得VggFace卷积神经网络输入所要求尺寸大小为224×224×3的人脸图像；

所述VggFace描述向量匹配子模块用于对所述尺寸大小为224×224×3的人脸图像进行VggFace卷积生成描述向量，并与标准数据库中的描述向量计算匹配分数；

所述候选帧选择子模块用于对所述匹配分数进行排序并选取匹配分数最大的前K帧图像；

所述卷积特征图特征匹配子模块用于对预处理后的人脸图像的卷积特征图与候选帧间的特征图进行特征匹配，并根据预设阈值，统计出各自对应的最优匹配数目。

7.根据权利要求4所述的一种基于卷积特征图匹配的人脸识别装置，其特征在于：所述结果反馈模块(54)包括语音提示子模块和屏幕显示子模块；所述语音提示子模块用于语音提示当前验证状态；屏幕显示子模块用于在屏幕上显示当前验证状态。

8.一种基于卷积特征图匹配的人脸识别系统，包括处理器和服务器，其特征在于：包括如权利要求4-7所述的一种基于卷积特征图匹配的人脸识别装置，该装置用于实现如权利要求1-3所述的一种基于卷积特征图匹配的人脸识别方法。

Images