CN111160216A - 一种多特征多模型的活体人脸识别方法 - Google Patents

Abstract

本发明提供一种多特征多模型的活体人脸识别方法，包括：获取待识别的RGB人脸图像；将RGB人脸图像的整体区域分解为多个局部区域，并分割得到关联于每个局部区域的RGB图像；将局部区域的RGB图像进行特征变换以得到对应的HSV图像，并将RGB图像和HSV图像合并形成输入图像信息并输出；将输入图像信息分别输入到对应的分类网络模型中的每个神经网络模型中进行识别，以分别得到局部区域对应的每个神经网络模型输出的模型特征；将所有分类网络模型中的所有神经网络模型输出的模型特征统一输入至特征输出层中，以形成并将特征输出矩阵输入至融合特征网络模型中进行识别，以输出RGB人脸图像的活体人脸识别结果。本发明的有益效果在于：提高活体人脸识别的精确度。

Description

一种多特征多模型的活体人脸识别方法

技术领域

本发明涉及图片分析技术领域，尤其涉及一种多特征多模型的活体人脸识别方法。

背景技术

目前，人脸识别已广泛应用到各个领域，尤其是门禁支付等场景。如果活体检测效果不好，就会出现以下危险情况，例如危险人员误入园区、或盗刷别人账户等类似问题，因此活体检测在这类场景中就至关重要。

现有技术中的针对活体问题，大多采用RGB+NIR近红外的双目活体检测，或者RGB+结构光的双目活体检测算法；然而上述方法需要硬件的搭配，从而制造成本较高，并且不能满足大多数的活体检测场景；目前还可以采用单分类模型，直接分类活体或非活体的方法，然而采用上述的单分类模型很难适应所有场景，没有泛化性，而且模型准确率不高。

发明内容

针对现有技术中存在的上述问题，现提供一种旨在多特征多模型的活体人脸识别方法。

具体技术方案如下：

一种多特征多模型的活体人脸识别方法，其中，设置有多个分类网络模型，每个分类网络模型中包括多个神经网络模型；

活体人脸识别方法包括：

步骤S1，获取待识别的RGB人脸图像；

步骤S2，将RGB人脸图像的整体区域分解为多个局部区域，并分割得到关联于每个局部区域的RGB图像，其中，局部区域与分类网络模型一一对应；

步骤S3，针对每个局部区域，将局部区域的RGB图像进行特征变换以得到对应的HSV图像，并将RGB图像和HSV图像合并形成关联于局部区域的输入图像信息并输出；

步骤S4，针对每个局部区域，将输入图像信息分别输入到对应的分类网络模型中的每个神经网络模型中进行识别，以分别得到局部区域对应的每个神经网络模型输出的模型特征；

步骤S5，针对所有局部区域，将所有分类网络模型中的所有神经网络模型输出的模型特征统一输入至一特征输出层中，以形成一特征输出矩阵；

步骤S6，将特征输出矩阵输入至一预先训练形成的融合特征网络模型中进行识别，以输出RGB人脸图像的活体人脸识别结果。

优选的，多特征多模型的活体人脸识别方法，其中，局部区域包括：

人脸中间区域，用于在人脸上提取鼻子、嘴巴和眼睛的细节特征；

人脸其他区域，用于在人脸上提取除人脸中间区域的细节特征之外的其他特征；

人脸左扩充区域，用于在人脸之外的左侧提取左侧背景特征；

人脸右扩充区域，用于在人脸之外的右侧提取右侧背景特征。

优选的，多特征多模型的活体人脸识别方法，其中，步骤S2具体包括：

步骤S21，将RGB人脸图像的整体区域进行分解，以得到分解区域，分解区域和局部区域一一对应；

步骤S22，将每个分解区域的区域尺寸调节到与分解区域对应的局部区域的第一预设尺寸，以得到局部区域。

优选的，多特征多模型的活体人脸识别方法，其中，分类网络模型包括：

SENet神经网络模型，用于提取局部区域的通道分解特征；

Inception神经网络模型，用于提取局部区域的区域显著性特征；

Resnet神经网络模型，用于提取局部区域的抽象特征。

优选的，多特征多模型的活体人脸识别方法，其中，步骤S4具体包括以下步骤：

针对每个局部区域，将输入图像信息输入到SENet神经网络模型中，以得到局部区域对应的第一模型特征；

针对每个局部区域，将输入图像信息输入到Inception神经网络模型，以得到局部区域对应的第二模型特征；

针对每个局部区域，将输入图像信息输入到Resnet神经网络模型，以得到局部区域对应的第三模型特征。

优选的，多特征多模型的活体人脸识别方法，其中，步骤S4之前具体包括以下步骤：

步骤S401，获取每个局部区域的区域尺寸；

步骤S402，将大于一第二预设尺寸的局部区域的区域尺寸调整为第二预设尺寸。

优选的，多特征多模型的活体人脸识别方法，其中，融合特征网络模型依次包括：第一卷积层，第一池化层，第二卷积层、第二池化层，第三卷积层，第三池化层，第一全连接层和第二全连接层；

于第一卷积层和第一池化层之间设置有激活函数；

于第二卷积层和第二池化层之间设置有激活函数；

于第三卷积层和第三池化层之间设置有激活函数；

于第三池化层和第一全连接层之间设置有一flatten函数。

优选的，多特征多模型的活体人脸识别方法，其中，步骤S6具体包括：

步骤S61，将特征输出矩阵输入至一预先训练形成的融合特征网络模型中进行识别，以输出一预评估结果；

步骤S62，判断预评估结果是否大于一预设阈值：

若是，则将RGB人脸图像确认为活体人脸图像；

若否，则将RGB人脸图像确认为非活体人脸图像。

优选的，多特征多模型的活体人脸识别方法，其中，第一全连接层的神经元个数为256个，第二全连接层的神经元个数为2个，使得融合特征网络模型输出处于0到1之间的预评估结果。

优选的，多特征多模型的活体人脸识别方法，其中，激活函数采用leakyrelu激活函数。

上述技术方案具有如下优点或有益效果：将分类网络模型输出的每个局部区域的每个模型特征输入到融合特征网络模型中进行识别，从而可以避免模型阈值选择不当的问题，进而提高活体人脸识别的精确度，并且能够在保证高活体通过率的情况下，具有高非活体拒绝率。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明多特征多模型的活体人脸识别方法的实施例的流程图；

图2为本发明多特征多模型的活体人脸识别方法的实施例的步骤S2的流程图；

图3为本发明多特征多模型的活体人脸识别方法的实施例的步骤S4之前的流程图；

图4为本发明多特征多模型的活体人脸识别方法的实施例的步骤S6的流程图；

图5为本发明多特征多模型的活体人脸识别方法的实施例的结构框图一；

图6为本发明多特征多模型的活体人脸识别方法的实施例的结构框图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明包括一种多特征多模型的活体人脸识别方法，其中，设置有多个分类网络模型3，每个分类网络模型3中包括多个神经网络模型；

如图1所示，活体人脸识别方法包括：

步骤S1，获取待识别的RGB人脸图像；

步骤S2，将RGB人脸图像的整体区域分解为多个局部区域，并分割得到关联于每个局部区域的RGB图像，其中，局部区域与分类网络模型3一一对应；

步骤S3，针对每个局部区域，将局部区域的RGB图像进行特征变换以得到对应的HSV图像，并将RGB图像和HSV图像合并形成关联于局部区域的输入图像信息2并输出；

步骤S4，针对每个局部区域，将输入图像信息2分别输入到对应的分类网络模型3中的每个神经网络模型中进行识别，以分别得到局部区域对应的每个神经网络模型输出的模型特征；

步骤S5，针对所有局部区域，将所有分类网络模型3中的所有神经网络模型输出的模型特征统一输入至一特征输出层4中，以形成一特征输出矩阵；

步骤S6，将特征输出矩阵输入至一预先训练形成的融合特征网络模型5中进行识别，以输出RGB人脸图像的活体人脸识别结果。

在上述实施例中，通过上述多特征多模型的活体人脸识别方法来针对单目RGB人脸图像来判断是否是活体人脸。

首先，将一张待识别的RGB人脸图像划分为多个局部区域后进行一系列识别操作，以提高活体人脸识别的精确度；

将每个局部区域的RGB图像转为HSV图像，随后将每个局部区域的RGB图像和HSV图像合并形成输入图像信息2，随后对每个输入图像信息2进行一系列识别操作，可以提高活体人脸识别的精确度；

其中，上述RGB图像包括RGB的三个通道，HSV图像包括HSV的三个通道，因此输入图像信息2包括六个通道，将具有六个通道的输入图像信息2输入到分类网络模型3中的神经网络模型中进行识别，可以分别提取每个局部区域不同种类的特征，从而可以提高活体人脸识别的精确度，进而使得活本检测更具鲁棒性；

将所有相关联的神经网络模型输出的模型特征统一输入到特征输出层4中，以形成特征输出矩阵，将特征输出矩阵输入到融合特征网络模型5中进行识别，从而可以避免模型阈值选择不当的问题，进而提高活体人脸识别的精确度，并且能够在保证高活体通过率的情况下，具有高非活体拒绝率。

进一步地，在上述实施例中，局部区域的数量为第一预设数量，其中第一预设数量可以为4；

局部区域包括：

人脸中间区域11，用于在人脸上提取鼻子、嘴巴和眼睛的细节特征；

人脸其他区域12，用于在人脸上提取除人脸中间区域11的细节特征之外的其他特征；

人脸左扩充区域13，用于在人脸之外的左侧提取左侧背景特征；

人脸右扩充区域14，用于在人脸之外的右侧提取右侧背景特征。

在上述实施例中，现有技术中通常只将人脸区域进行人脸识别，并没有对背景特征进行识别；而本申请不仅将一张RGB人脸图像的整体区域中的人脸区域划分为人脸中间区域11和人脸其他区域12，并且将RGB人脸图像的整体区域中划分为用于提取背景特征的人脸左扩充区域13和人脸右扩充区域14。

上述背景特征可以为纸张、手机、pad等这些伪造设备。

从而对RGB人脸图像的活体人脸识别过程中，不止针对人脸区域进行识别，还将人脸区域周围的背景特征(例如纸张和手机)也进行识别，从而实现将背景特征作为辅助作用，整体提升活体人脸识别的精度。

进一步地，在上述实施例中，如图2所示，步骤S2具体包括：

步骤S21，将RGB人脸图像的整体区域进行分解，以得到分解区域，分解区域和局部区域一一对应；

步骤S22，将每个分解区域的区域尺寸调节到与分解区域对应的局部区域的第一预设尺寸，以得到局部区域。

在上述实施例中，例如当人脸中间区域11的第一预设尺寸为56，人脸其他区域12的第一预设尺寸为112，人脸左扩充区域13和人脸右扩充区域14的第一预设尺寸均为336时；

需要将对应于人脸中间区域11的分解区域的区域尺寸调节到56，将对应于人脸其他区域12的分解区域的区域尺寸调节到112，将对应于人脸左扩充区域13的分解区域的区域尺寸调节到336，将对应于人脸右扩充区域14的分解区域的区域尺寸调节到336。

进一步地，在上述实施例中，分类网络模型3包括：

SENet(Squeeze-and-Excitation Networks，一种网络结构)神经网络模型31，用于提取局部区域的通道分解特征；

Inception神经网络模型32，用于提取局部区域的区域显著性特征；

Resnet神经网络模型33，用于提取局部区域的抽象特征。

在上述实施例中，通过将每一个局部区域的具有六个通道的输入图像信息2输入到分类网络模型3中的用于检测不同特征的多个神经网络模型中进行识别，可以提高活体人脸识别的精确度，进而使得活本检测更具鲁棒性。

作为优选的实施方式，如图5所示，以人脸中间区域11为例，将人脸中间区域11的RGB图像进行特征变换以得到对应的HSV图像，并将RGB图像和HSV图像合并形成关联于局部区域的输入图像信息2，并将输入图像信息2分别输入到分类网络模型3中的SENet神经网络模型31、Inception神经网络模型32和Resnet神经网络模型33中，以分别得到第一模型特征61、Resnet神经网络模型33和第三模型特征63。

进一步地，在上述实施例中，步骤S4具体包括以下步骤：

针对每个局部区域，将输入图像信息2输入到SENet神经网络模型31中，以得到局部区域对应的第一模型特征61；

针对每个局部区域，将输入图像信息2输入到Inception神经网络模型32，以得到局部区域对应的第二模型特征62；

针对每个局部区域，将输入图像信息2输入到Resnet神经网络模型33，以得到局部区域对应的第三模型特征63。

在上述实施例中，步骤S4的三个步骤可以同时进行也可以顺序执行。

进一步地，在上述实施例中，如图3所示，步骤S4之前具体包括以下步骤：

步骤S401，获取每个局部区域的区域尺寸；

步骤S402，将大于一第二预设尺寸的局部区域的区域尺寸调整为第二预设尺寸。

在上述实施例中，没有将小于第二预设尺寸的局部区域调整到第二预设尺寸是为了防止小图到大图时，由于调整的插值效应导致出现毛边，这些毛边与屏幕攻击和纸张攻击中的人脸毛边相似，会导致误识别。

例如，以局部区域包括人脸中间区域11、人脸其他区域12、人脸左扩充区域13和人脸右扩充区域14为例，其中，人脸中间区域11的尺寸为56，人脸其他区域12的尺寸为112；人脸左扩充区域13和人脸右扩充区域14的尺寸均为336；

第二预设尺寸可以设置为112，只将人脸左扩充区域13和人脸右扩充区域14的尺寸均调节为112。

进一步地，在上述实施例中，融合特征网络模型5依次包括：第一卷积层，第一池化层，第二卷积层、第二池化层，第三卷积层，第三池化层，第一全连接层和第二全连接层；

于第一卷积层和第一池化层之间设置有激活函数；

于第二卷积层和第二池化层之间设置有激活函数；

于第三卷积层和第三池化层之间设置有激活函数；

于第三池化层和第一全连接层之间设置有一flatten函数。

在上述实施例中，第一卷积层的通道数为32，第二池化层的通道数为64，第二池化层的通道数为128，第一池化层、第二池化层和第三池化层的盒个数均为22。

并且上述融合特征网络模型5没有使用残差结构，由于在本实施例中不使用残差结构，不仅对活体的指标并没有影响，还可以提升推理速度，并且在部署时，对前向框架的要求也会降低，防止前向框某些算子不支持，导致无法应用的问题。

在上述实施例中，现有技术中直接将模型的输出结果输入到全连接层，并采用softmax激活函数进行二分类来判断活体和非活体，现有技术采用的方法的识别精度较低，而本申请先将每个局部区域的每个模型特征输入到具有128个神经元的特征输出层4，以得到128*n的特征矩阵，随后将特征矩阵输入到上述融合特征网络模型5中，以得到最终的RGB人脸图像的活体人脸识别结果。

其中，n＝a*b；a用于表示第一预设数量；b用于表示第二预设数量。

作为优选的实施方式，如图6所示，以局部区域包括人脸中间区域11，人脸其他区域12，人脸左扩充区域13和人脸右扩充区域14，以及分类网络模型3包括SENet神经网络模型31，Inception神经网络模型32和Resnet神经网络模型33为例；

分类网络模型3分别输出：

对应于人脸中间区域11的第一模型特征61，第二模型特征62和第三模型特征63；

对应于人脸其他区域12的第一模型特征61，第二模型特征62和第三模型特征63；

对应于人脸左扩充区域13的第一模型特征61，第二模型特征62和第三模型特征63；以及

对应于人脸右扩充区域14的第一模型特征61，第二模型特征62和第三模型特征63；

即分类网络模型3一共输出12个模型特征，接着将12个模型特征统一输入至特征输出层中，以形成特征输出矩阵；

随后将特征输出矩阵输入至融合特征网络模型中进行识别，以输出RGB人脸图像的活体人脸识别结果。

进一步地，在上述实施例中，如图4所示，步骤S6具体包括：

步骤S61，将特征输出矩阵输入至一预先训练形成的融合特征网络模型5中进行识别，以输出一预评估结果；

步骤S62，判断预评估结果是否大于一预设阈值：

若是，则将RGB人脸图像确认为活体人脸图像；

若否，则将RGB人脸图像确认为非活体人脸图像。

进一步地，在上述实施例中，第一全连接层的神经元个数为256个，第二全连接层的神经元个数为2个，使得融合特征网络模型5输出处于0到1之间的预评估结果。

作为优选的实施方式，预设阈值可以根据需求进行自定义，例如，本实施方式可以将预设阈值设置为0.9，当预评估结果大于0.9时，将大于0.9的预评估结果对应的RGB人脸图像确认为活体人脸图像，将小于或等于0.9的预评估结果对应的RGB人脸图像确认为非活体人脸图像。

进一步地，在上述实施例中，激活函数采用leakyrelu激活函数。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种多特征多模型的活体人脸识别方法，其特征在于，设置有多个分类网络模型，每个所述分类网络模型中包括多个神经网络模型；

所述活体人脸识别方法包括：

步骤S1，获取待识别的RGB人脸图像；

步骤S2，将所述RGB人脸图像的整体区域分解为多个局部区域，并分割得到关联于每个所述局部区域的RGB图像，其中，所述局部区域与所述分类网络模型一一对应；

步骤S3，针对每个所述局部区域，将所述局部区域的所述RGB图像进行特征变换以得到对应的HSV图像，并将所述RGB图像和所述HSV图像合并形成关联于所述局部区域的输入图像信息并输出；

步骤S4，针对每个所述局部区域，将所述输入图像信息分别输入到对应的所述分类网络模型中的每个所述神经网络模型中进行识别，以分别得到所述局部区域对应的每个所述神经网络模型输出的模型特征；

步骤S5，针对所有所述局部区域，将所有所述分类网络模型中的所有所述神经网络模型输出的所述模型特征统一输入至一特征输出层中，以形成一特征输出矩阵；

步骤S6，将所述特征输出矩阵输入至一预先训练形成的融合特征网络模型中进行识别，以输出所述RGB人脸图像的活体人脸识别结果。

2.如权利要求1所述的多特征多模型的活体人脸识别方法，其特征在于，所述局部区域包括：

人脸中间区域，用于在人脸上提取鼻子、嘴巴和眼睛的细节特征；

人脸其他区域，用于在所述人脸上提取除所述人脸中间区域的所述细节特征之外的其他特征；

人脸左扩充区域，用于在所述人脸之外的左侧提取左侧背景特征；

人脸右扩充区域，用于在所述人脸之外的右侧提取右侧背景特征。

3.如权利要求2所述的多特征多模型的活体人脸识别方法，其特征在于，所述步骤S2具体包括：

步骤S21，将所述RGB人脸图像的整体区域进行分解，以得到分解区域，所述分解区域和所述局部区域一一对应；

步骤S22，将每个所述分解区域的区域尺寸调节到与所述分解区域对应的所述局部区域的第一预设尺寸，以得到所述局部区域。

4.如权利要求1所述的多特征多模型的活体人脸识别方法，其特征在于，所述分类网络模型包括：

SENet神经网络模型，用于提取所述局部区域的通道分解特征；

Inception神经网络模型，用于提取所述局部区域的区域显著性特征；

Resnet神经网络模型，用于提取所述局部区域的抽象特征。

5.如权利要求4所述的多特征多模型的活体人脸识别方法，其特征在于，所述步骤S4具体包括以下步骤：

针对每个所述局部区域，将所述输入图像信息输入到所述SENet神经网络模型中，以得到所述局部区域对应的第一模型特征；

针对每个所述局部区域，将所述输入图像信息输入到所述Inception神经网络模型，以得到所述局部区域对应的第二模型特征；

针对每个所述局部区域，将所述输入图像信息输入到所述Resnet神经网络模型，以得到所述局部区域对应的第三模型特征。

6.如权利要求1所述的多特征多模型的活体人脸识别方法，其特征在于，

所述步骤S4之前具体包括以下步骤：

步骤S401，获取每个所述局部区域的区域尺寸；

步骤S402，将大于一第二预设尺寸的所述局部区域的区域尺寸调整为所述第二预设尺寸。

7.如权利要求1所述的多特征多模型的活体人脸识别方法，其特征在于，所述融合特征网络模型依次包括：第一卷积层，第一池化层，第二卷积层、第二池化层，第三卷积层，第三池化层，第一全连接层和第二全连接层；

于所述第一卷积层和所述第一池化层之间设置有激活函数；

于所述第二卷积层和所述第二池化层之间设置有所述激活函数；

于所述第三卷积层和所述第三池化层之间设置有所述激活函数；

于所述第三池化层和所述第一全连接层之间设置有一flatten函数。

8.如权利要求7所述的多特征多模型的活体人脸识别方法，其特征在于，所述步骤S6具体包括：

步骤S61，将所述特征输出矩阵输入至一预先训练形成的融合特征网络模型中进行识别，以输出一预评估结果；

步骤S62，判断所述预评估结果是否大于一预设阈值：

若是，则将所述RGB人脸图像确认为活体人脸图像；

若否，则将所述RGB人脸图像确认为非活体人脸图像。

9.如权利要求8所述的多特征多模型的活体人脸识别方法，其特征在于，所述第一全连接层的神经元个数为256个，所述第二全连接层的神经元个数为2个，使得所述融合特征网络模型输出处于0到1之间的所述预评估结果。

10.如权利要求7所述的多特征多模型的活体人脸识别方法，其特征在于，所述激活函数采用leakyrelu激活函数。

Images