CN114360009A - 一种复杂场景下的多尺度特征人脸属性识别系统及其方法 - Google Patents

Abstract

本发明属于人脸识别技术领域，公开了一种复杂场景下的多尺度特征人脸属性识别系统及其方法，包括特征提取模块、特征融合模块和多任务输出网络模块，特征提取模块用于将输入的图像信息进行批归一化，将得到的特征图分别进行卷积和空洞卷积；特征融合模块用于利用普通卷积和空洞卷积实现特征计算和融合；多任务输出网络模块用于通过全连接层进行分类，在网络分支之前依次设置全连接，负责共享特征提取。本发明不仅能够保证网络具有强大的特征提取能力，也能够将不同尺度的信息进行有效融合，使用专用的特征共享通道保证了特征的有效流动，使网络性能得到提升，无论是局部属性特征还是全局属性特征性能都有了巨大的提升。

Description

一种复杂场景下的多尺度特征人脸属性识别系统及其方法

技术领域

本发明属于人脸识别技术领域，尤其涉及一种复杂场景下的多尺度特征人脸属性识别系统及其方法。

背景技术

目前，在复杂场景下人脸图像中首先存在图像的模糊、曝光、暗光、噪声等影响，导致图像质量降低；其次也受到图像中的人脸姿态、拍摄角度、人脸扭曲、人脸老化等造成的有效信息丢失。其次不同的人脸属性对模型的多尺度特征提取能力也提出了很高的要求。上述两种情况都会使从人脸图像中提取到有效的人脸特征变得十分困难，识别准确度也不理想。

A-Net网络结构较为简单，难以提取到更加深层次的全局属性特征，因此在局部特征属性上的识别效果要好于全局特征属性，但是整体的识别准确率依然不高。MCFA采用不同层次的特征图共享，获得不同尺度的特征图信息，相比于A-Net网络，其在全局特征属性的识别准确率更高，因此取得了较好的识别效果，网络的特征提取能力显著增强。MCNN网络充分利用了不同尺度的特征，但是其分支点的确定将会影响网络整体的识别准确率，虽然准确率也获得了较大的提升，但是在局部属性特征的准确率上略低于MCFA网络，其在全局属性特征的准确率更高。MCFA、MCNN虽然采取了多尺度特征的思想，但是其忽略了多尺度特征的有效融合和流动共享。

通过上述分析，现有技术存在的问题及缺陷为：

现有的人脸属性识别方法主要关注对不同人脸尺度特征进行有效的提取，忽略了利用特征共享来提升算法性能，依然存在精度不高等问题。

解决以上问题及缺陷的意义为：

目前方法的网络共享采用软参数共享的方式，这种方法需要多个子任务之间进行参数链接，存在模型冗余、计算复杂等情况。本发明通过特征共享通道进行参数共享，降低了网络复杂度，也一定程度上提高了网络的特征提取能力和特征共享能力，进一步提高了算法的准确率

发明内容

针对现有技术存在的问题，本发明提供了一种复杂场景下的多尺度特征人脸属性识别系统及其方法。

本发明是这样实现的，一种复杂场景下的多尺度特征人脸属性识别系统包括：

特征提取模块，用于将输入的图像信息进行批归一化，将得到的特征图分别进行卷积和空洞卷积；

特征融合模块，用于利用普通卷积和空洞卷积实现特征计算和融合；

多任务输出网络模块，用于通过全连接层进行分类，在网络分支之前依次设置全连接，负责共享特征提取。

进一步，所述特征提取模块中，输入经过第一层1×1卷积后获得的输出为X，对其进行批归一化和PRelu操作，将当前输出进行3×3的普通卷积和空洞率为2的3×3空洞卷积，再次进行批归一化和PRelu，经过1×1的卷积和批归一化，其输出X_BN为：

X_BN1＝F_R＝1(X_BN)

X_BN2＝F_R＝2(X_BN)

公式中，F表示进行卷积操作，R＝2表示空洞率为2的空洞卷积，R＝1为普通卷积，将得到的特征图进行相加，获得输出Y，表达式如下：

Y＝X_BN1+X_BN2。

进一步，所述特征融合模块中的普通卷积的尺寸为3×3，空洞卷积的尺寸为3×3且空洞率为2。

进一步，所述特征融合模块将不同分辨率的特征图进行通道维度上的累加，之后使用1×1的卷积进行不同通道的特征共享，使输出获得不同尺度上的特征。

进一步，所述复杂场景下的多尺度特征人脸属性识别系统的训练方法包括：

(1)数据预处理；

(2)使用kaiming初始化方法对模型进行初始化；

(3)使用模型获得分类损失；

(4)使用模型获得验证集的平均准确率；

(5)判断当前准确率是否最高，是则保存当前的模型，否则下一步；

(6)进行反向传播更新模型

(7)判断损失是否继续下降，否则返回步骤(3)，是则下一步；

(8)使用保存模型获得测试集准确率；

(9)训练结束。

进一步，步骤(3)使用模型获得分类损失中，采用交叉熵损失函数，表达式如下所示：

其中，y_i表示第i个输入的真实标注，

表示模型对第i个输入的输出值。

进一步，步骤(4)使用模型获得验证集的平均准确率中，准确率的表达式如下所示：

TP表示被正确识别的正样本的数量，TN表示被正确识别的负样本的数量，FP表示被错误识别为正样本的负样本数量，FN表示被错误识别为负样本的正样本数量。

本发明的另一目的在于提供一种复杂场景下的多尺度特征人脸属性识别方法进一步包括：

步骤一，在普通分辨率通道中，首先使用卷积核对人脸图像进行卷积操作，，再经过池化操作后图像尺寸变为原来1/2，使用特征提取模块进行多次处理，每一次的输出特征图大小都为输入的1/2；

步骤二，在高分辨率通道中，使用卷积核进行操作，不需要经过池化操作，使用特征提取模块进行特征提取，每个模块处理后的输出大小都为输入的1/2；

步骤三，高分辨率通道、普通分辨率通道以及上层共享特征网络的特征图进行通道拼接操作，使用卷积操作进行特征降维，提取出更高维的人脸属性特征；

步骤四，经过上述多轮操作后，提取出具有不同尺度的人脸属性特征，全连接层包含高分辨率通道和普通分辨率通道提取出来的人脸属性共享特征；

步骤五，使用若干个独立的多属性分类网络进行人脸属性识别，对每一个人脸属性进行二分类估计。

进一步，所述步骤一中的人脸图像输入尺寸统一为160×192×3，卷积核尺寸为7×7，步长设置为1，经过2×2池化操作，特征图大小为80×96×32。

进一步，所述步骤二中卷积核尺寸为7×7，步长设置为1，特征图大小为160×192×32。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的复杂场景下的多尺度特征人脸属性识别方法。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的复杂场景下的多尺度特征人脸属性识别方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明所提出的特征提取和融合模块，不仅能够保证网络具有强大的特征提取能力，也能够将不同尺度的信息进行有效融合，使用专用的特征共享通道保证了特征的有效流动，使网络性能得到提升，无论是局部属性特征还是全局属性特征性能都有了巨大的提升。

本发明验证集的准确率最高达到了92.05％，在测试集上进行测试获得了91.55％的准确率。

(1)训练过程的准确率，如图6所示。单个属性具体的准确率对比如图7所示。

全局特征属性和局部特征属性准确率对比：

与现有技术相比，优势如下：

A-Net方法的特征提取能有限，人脸属性识别效果不能保证，本发明准确率提高了4％。MCFA方法其损失函数十分复杂，在训练过程中难以收敛，其在训练过程中有更多的人脸监督信息，而本发明多任务网络在训练过程中不需要引入额外的人脸信息，准确率提升了0.57％。对于同样采用多尺度特征的MCNN方法，需要通过大量实验来确定分支点，网络拓扑构设计复杂，而本发明网络结构简单，且准确率提升了0.9％。本发明中的多尺度特征提取网络，其特有的特征提取和融合模块能够提取不同分辨率下的图像特征并保证特征有效共享，关注到不同尺寸下的人脸属性信息，在平均准确率上有了较大提升，达到了91.55％的平均准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的复杂场景下的多尺度特征人脸属性识别系统的结构原理图。

图2是本发明实施例提供的特征提取模块示意图。

图3是本发明实施例提供的特征融合模块示意图。

图4是本发明实施例提供的多任务输出模块示意图。

图5是本发明实施例提供的复杂场景下的多尺度特征人脸属性识别系统的训练方法流程图。

图6是本发明实施例提供的训练过程的准确率图。

图7是本发明实施例提供的单个属性具体的准确率对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种复杂场景下的多尺度特征人脸属性识别系统及方法，下面结合附图对本发明作详细的描述。

人脸属性的不同任务识别具有较大差异，例如在识别性别时，需要针对整个人脸输入图像进行特征提取，更加侧重于全局特征；在人脸是否微笑的属性任务识别中，则主要针对人脸的局部特征进行分析，一般都是嘴部特征(例如微笑)。因此，本发明为了更加有效地进行人脸属性识别，采用多尺度特征提取网络，其能够将不同分辨率的图像特征进行融合，有效处理不同尺度特征下的人脸属性识别任务。

如图1所示，本发明实施例提供的复杂场景下的多尺度特征人脸属性识别系统包括：特征提取模块、特征融合模块和多任务输出网络。

特征提取模块：首先将输入的图像信息进行批归一化，将得到的特征图分别进行卷积和空洞卷积，以提高网络的鲁棒性和特征提取能力。本发明使用的特征提取模块如图2所示：

假设输入经过第一层1×1卷积后获得的输出为X，对其进行批归一化和PRelu操作，将当前输出进行3×3的普通卷积和空洞率为2的3×3空洞卷积，再次进行批归一化和PRelu，经过1×1的卷积和批归一化，其输出X_BN为：

X_BN1＝F_R＝1(X_BN)

X_BN2＝F_R＝2(X_BN)

公式中，F表示进行卷积操作，R＝2表示空洞率为2的空洞卷积，R＝1为普通卷积，将得到的特征图进行相加，获得输出Y，表达式如下：

Y＝X_BN1+X_BN2

特征融合模块：为了有效地将不同分辨率的信息进行融合，本发明采用了一种特征融合模块，利用尺寸为3×3的普通卷积以及尺寸为3×3且空洞率为2的空洞卷积实现特征计算和融合。该操作将不同分辨率的特征图进行通道维度上的累加，之后使用1×1的卷积进行不同通道的特征共享，从而使该输出获得不同尺度上的特征。该操作能够有效提升网络的特征融合能力。特征融合方式如图3所示。

多任务输出网络：在多任务输出网络中，使用全连接层进行分类，在网络分支之前依次设置神经元数量为1024和512的全连接，负责共享特征提取。每个分支都拥有独立的全连接层，本方法中一共有40个输出分支，每个分支的本质是一个二分类网络。分支网络为256的全连接，然后进行批归一化和PReLU操作，最后为2的全连接输出，多任务输出模块如图4所示。

如图5所示，本发明实施例提供的复杂场景下的多尺度特征人脸属性识别系统的训练方法包括：

1、数据预处理(步骤8)。

2、使用kaiming初始化方法对模型(步骤1)进行初始化(步骤5)。

3、使用模型获得分类损失(步骤6)。

4、使用模型获得验证集的平均准确率(步骤7)。

5、判断当前准确率是否最高(是则保存当前的模型，否则下一步)。

6、进行反向传播(步骤9)更新模型。

7、判断损失是否继续下降(否则返回步骤3，是则下一步)。

8、使用保存模型获得测试集准确率。

9、训练结束。

初始化方法：

本发明将对所使用的Kaiming初始化方法进行详细的介绍。Kaiming初始化的作者提出了针对ReLU等函数的初始化方法，如下式所示：

其中，fan_in表示当前层的输入神经元数量。

损失函数：人脸属性识别的本质是一个有多个输出的二分类网络，对于人脸属性识别任务中最常用的损失函数为交叉熵(Cross Entropy)损失函数，具体表达如下所示：

其中，y_i表示第i个输入的真实标注，

表示模型对第i个输入的输出值。在本发明的人脸属性识别任务中，每张输入的人脸图片会有多个标注(性别，是否戴眼镜等)，需要计算每个属性的损失值，最终损失为所有属性损失值的和。

评价指标：准确率是目前使用最为广泛的测试指标。准确率(Acc)的表达式如下所示：

TP(True Positive)表示被正确识别的正样本的数量，TN(True Negative)表示被正确识别的负样本的数量，FP(False Positive)表示被错误识别为正样本的负样本数量，FN(False Negative)表示被错误识别为负样本的正样本数量。

数据集：

本发明使用主流的人脸属性数据集：CelebA[26]。CelebA是香港中文大学发布的一个大型的人脸数据集。该数据集内容为人脸图片以及对应人脸属性和人脸分类标注，其中包含了一万多个人脸分类，全部的人脸图像超过二十万张。CelebA包含40个人脸相关的属性标注。CelebA数据集的人脸图像尺寸为218(高度)×178(宽度)×3，本发明将其处理为160(高度)×192(宽度)×3，作为网络的输入。

本发明采取的第一种数据增强方法为随机水平翻转，这是深度学习常用的数据增强方式，对每张输入图片进行水平翻转。本发明采用的另一种数据增强方法为添加随机噪声，即在图像中不同位置添加一定比例的噪声。

本发明使用的CelebA数据集被划分为训练集、验证集和测试集三个部分。每个数据集包含的数量不完全一致，训练集、验证集和测试集的图片分别为图片总数的80％、10％和10％，其中训练集图片为162770张，验证集和测试集包含的图片数量分别为19867张和19962张。

实验条件：

本发明使用1.9.0版本的Pytorch进行实验，计算平台为一块GTX3060显卡。每次训练输入的Bacth Size(批大小)为128，将初始学习率设置为0.1，共训练40轮，每过10轮将学习率调整为原来的0.1倍，使用随机梯度下降作为模型优化器。在训练过程中，为了能够获得最佳的模型参数。本发明在每轮训练结束后，使用验证集对当前模型的准确率进行测试，将首次训练的模型暂定为最优模型，如果在后续的训练过程中模型准确率更优，则取代当前保存的模型。在40轮的训练结束后，使用保存的最优模型对测试集图片进行测试，获得在测试集上的准确率。为了确保实验的严谨性和合理性，将使用完全一致的参数进行多次实验。

实验结果：

本发明选用准确率作为评价指标。本发明将所设计的网络模型与当前几种主流的人脸属性识别网络进行对比，验证本发明设计网络的有效性。本发明验证集的准确率最高达到了92.05％，在测试集上进行测试获得了91.55％的准确率。A-Net方法为87.55％，MCFA网络为98％，MCNN方法为90.65％本发明为91.55％。

本发明验证集的准确率最高达到了92.05％，在测试集上进行测试获得了91.55％的准确率。

训练过程的准确率，如图6所示。单个属性具体的准确率对比如图7所示。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种用复杂场景下的多尺度特征人脸属性识别方法，其特征在于，所述复杂场景下的多尺度特征人脸属性识别方法包括：

步骤一，在普通分辨率通道中使用卷积核对人脸图像进行卷积操作，再经过池化操作后图像尺寸变为原来1/2，使用特征提取模块进行多次处理，每一次的输出特征图大小都为输入的1/2；

步骤二，在高分辨率通道中使用卷积核进行操作，不经过池化操作，使用特征提取模块进行特征提取，每个模块处理后的输出大小都为输入的1/2；

步骤三，高分辨率通道、普通分辨率通道以及上层共享特征网络的特征图进行通道拼接操作，使用卷积操作进行特征降维，提取出更高维的人脸属性特征；

步骤四，经过上述多轮操作后，提取出具有不同尺度的人脸属性特征，全连接层包含高分辨率通道和普通分辨率通道提取出来的人脸属性共享特征；

步骤五，使用若干个独立的多属性分类网络进行人脸属性识别，对每一个人脸属性进行二分类估计。

2.如权利要求1所述的复杂场景下的多尺度特征人脸属性识别方法，其特征在于，所述步骤一中的人脸图像输入尺寸统一为160×192×3，卷积核尺寸为7×7，步长设置为1，经过2×2池化操作，特征图大小为80×96×32；

所述特征提取模块输入经过第一层1×1卷积后获得的输出为X，对其进行批归一化和PRelu操作，将当前输出进行3×3的普通卷积和空洞率为2的3×3空洞卷积，再次进行批归一化和PRelu，经过1×1的卷积和批归一化，输出X_BN为：

X_BN1＝F_R＝1(X_BN)

X_BN2＝F_R＝2(X_BN)

公式中，F表示进行卷积操作，R＝2表示空洞率为2的空洞卷积，R＝1为普通卷积，将得到的特征图进行相加，获得输出Y，表达式如下：

Y＝X_BN1+X_BN2。

3.如权利要求1所述的复杂场景下的多尺度特征人脸属性识别方法，其特征在于，所述步骤二将不同分辨率的特征图进行通道维度上的累加，之后使用1×1的卷积进行不同通道的特征共享，使输出获得不同尺度上的特征。

4.如权利要求1所述的复杂场景下的多尺度特征人脸属性识别方法，其特征在于，所述复杂场景下的多尺度特征人脸属性识别方法进一步包括：

(1)数据预处理；

(2)使用kaiming初始化方法对模型进行初始化；

(3)使用模型获得分类损失；

(4)使用模型获得验证集的平均准确率；

(5)判断当前准确率是否最高，是则保存当前的模型，否则下一步；

(6)进行反向传播更新模型：

(7)判断损失是否继续下降，否则返回步骤(3)，是则下一步；

(8)使用保存模型获得测试集准确率；

(9)训练结束。

5.一种复杂场景下的多尺度特征人脸属性识别系统，其特征在于，所述复杂场景下的多尺度特征人脸属性识别系统包括：

特征提取模块，用于将输入的图像信息进行批归一化，将得到的特征图分别进行卷积和空洞卷积；

特征融合模块，用于利用普通卷积和空洞卷积实现特征计算和融合。

6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～5任意一项所述的复杂场景下的多尺度特征人脸属性识别方法。

Images