CN110210321B - 基于多维尺度变换网络与分块加权法的欠样本人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，步骤如下：首先，对由单张人脸图像构成的样本集中每一张图像进行分块处理，获得新的样本数据集；然后，利用新的样本数据集学习多维尺度变换网络的滤波器参数，并利用滤波器参数提取样本图像的特征表达，并构建对应的特征库；接着，通过调用滤波器参数，对分块后的测试图像数据集进行特征提取，并利用加权的方式对所提取的特征进行合成后，再与特征库中的特征进行匹配处理；最后，利用匹配结果，获得最终测试人脸图像的分类识别信息。该发明用非监督特征提取网络框架准确提取人脸图像特征，进而提高人脸识别的准确率，为公共安全的建设打下坚实基础。

Description

基于多维尺度变换网络与分块加权法的欠样本人脸识别方法

技术领域

本发明涉及深度学习应用技术领域，具体涉及一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法。

背景技术

近年来视频监控在全国大中城市普及，并已广泛应用于社会治安防控体系建设中，并成为公安机关侦查破案的有力技术手段。特别是在群体事件、重特大案件及两抢案件中，视频监控中获取的证据线索对于案件的快速侦破起到关键作用。由于拍摄时间、空间以及环境的影响，所能拍摄的人脸图像是多样化的。事实证明，利用每人一张人脸图像样本来识别不同光照、不同表情，甚至不同遮挡因素下的人脸图像，有利于对罪犯的准确定位跟踪，进而维护公共的安全。但是，具有标签的人脸图像样本数量往往是有限，甚至有时只有一张证件照能够用于人脸识别的模型训练。这就给人脸识别带来了极大的困难。

近年来，人工智能领域已经被提到国家重点建设的范围。这预示着人工智能与相关行业的结合是我国朝着智能化方向发展的必然趋势，对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机算力的提高，网络训练的难度大大减低，网络预测精度也在不断提高。深度学习网络的基本特点是模型拟合能力强、信息量大和精度高，能够满足不同行业中不同需求。对于欠样本的人脸识别问题，所拍摄的人脸图像往往是具有不同光照、不同表情等因素，而可供训练的标签数据过少，进而严重影响人脸识别的准确率。如果针对这一问题，设计相应合理的深度学习网络框架，利用高性能的计算机来提取人脸的深层次特征，并排除人脸表情、光照等问题，将可以大大提高人脸识别的准确率。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，利用非监督的形式构建特征提取网络框架，用于准确提取人脸图像特征，进而提高人脸识别的准确率，为公共安全的建设打下坚实基础。

本发明的目的可以通过采取如下技术方案达到：

一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，所述的人脸识别方法包括以下步骤：

S1、多维尺度变换网络模型设计步骤：通过将卷积深度网络的卷积核替换为多维尺度变换滤波器，构建基于多维尺度变换网络的非监督人脸特征提取模型实现人脸信息的降维，并在低维特征空间的线性可分，进而可以获得准确而精炼的人脸特征表达；

S2、网络训练步骤：对由单张人脸图像构成的样本集中的每一张图像进行不重叠的分块处理，获得多个分块区域数据；然后，利用分块区域数据学习多维尺度变换网络中的滤波器参数，并利用滤波器参数提取样本图像的特征表达，并构建对应的特征库；

S3、人脸识别预测步骤：首先，对测试图像进行不重叠的分块操作；然后对于每一块区域，利用训练完毕的非监督人脸特征提取模型进行特征提取，获得对应的特征表达；再次，利用距离匹配算法，搜索特征库中与提取的特征最相似的目标；最后，利用加权方法，对测试图像的每一块区域的识别结果进行加权融合，获得整张人脸图像的识别结果。

进一步地，所述的步骤S1中多维尺度变换滤波器的多维尺度变换过程如下：

S11、假设有n个样本x＝{x₁,x₂,...,x_n}，两两之间的距离构成的距离矩阵为：

d_i,j＝||x_i-x_j||² (2)

S12、构建内积矩阵

B中对应的第i行第j列元素计算公式如下：

S13、对内积矩阵B进行分解，即B＝ZΣZ^T，其中Σ＝diag(λ₁,λ₂,...,λ_n)是矩阵B特征值所构成的对角矩阵，且λ₁≥λ₂≥...≥λ_n，Z表示每个特征值对应的特征向量所构成的矩阵；通过贡献累计的方式，选取前p个特征值直到满足

(T为设置的阈值)，并选取对应的特征矩阵，构成重构矩阵

其中Z_p表示选取的前p个特征值对应的特征向量所组成的矩阵，Σ_p为前p个特征值组成的对角矩阵；

S14、利用重构矩阵F将样本进行投影，获得样本在低维空间下的特征表达。

进一步地，所述的步骤S1中多维尺度变换滤波器的核函数如下：

其中，x_i,x_j∈X，X为输入的数据空间，Y为映射的结果空间，

为从空间X到空间Y的映射，<.>为内积计算，核函数计算在空间Y中不同样本之间的距离，不同的核函数将产生不同的结构空间。通过将高维空间内的数据表示为一种内积形式，将高维数据的点映射到低维空间，并且要求任意两个样本之间的距离在对应的两个空间都基本相等，从而保证了数据的稳定性。

进一步地，所述的步骤S2中，输入的样本集由N张不同类型的人脸图像组成，图像的大小为m×n，多维尺度变换网络包括两级滤波层以及一级输出层，每个滤波层包含有多个滤波器，根据输入样本对滤波器参数进行调节，获得人脸特征提取所需的滤波器参数，输出层根据第二级滤波器的特征输出，进行特征归类表达。

进一步地，所述的步骤S2过程如下：

S21、图像分块处理：对每张图像进行分块，每张图像分成m_df×n_df的图像块，并将每个图像块区域作为输入的样本；

S22、图像量化处理：首先，输入的第i个图像的第j个图像块区域为I_i,j，则每个图像块区域大小为m₁×n₁，其中i＝1,2,...,N，j＝1,2,...,m_dfn_df，

表示向下取整。其次，对图像块区域进行遍历，在每一个像素点位置，向周围八连通区域采样一个与多维尺度变换滤波器相同尺寸大小的图像区域，并定义为Ω_k,k＝1,2,...,m₁n₁，再次，将每个图像区域Ω_k,k＝1,2,...,m₁n₁分别进行向量化，并组合为图像块I_i,j的向量化形式

最后，利用上述的方法对样本图像块区域进行处理，获得样本集的图像向量化矩阵

S23、多维尺度变换网络中的滤波器参数的学习分为两级进行计算：

第一级计算如下：首先，为了构建多维尺度变换网络中滤波器的核函数，先计算数据集中样本之间的距离矩阵，并利用步骤S1中的重构矩阵的方法，获得重构矩阵F_I；其次，求取重构矩阵F_I对角化矩阵，选取其前Q₁个特征向量

进而构成第一级滤波层的Q₁个滤波器，即

最后，利用获得第一级滤波层对步骤S22中获得的图像向量化矩阵I进行卷积处理，获得第一级的特征输出

其中i＝1,2,...,N；j＝1,2,...,m_dfn_df；q₁＝1,2,...,Q₁；

第二级计算如下：重复第一级计算中的方法，选取前Q₂个特征值向量，构成第二级滤波层，即为

进而获得第二级的特征输出

其中i＝1,2,...,N；j＝1,2,...,m_dfn_df；q₁＝1,2,...,Q₁,q₂＝1,2,...,Q₂；

S24、特征输出：首先，对第二级的特征输出分别进行十进制编码，即

其中Υ(·)表示十进制编码；接着，分别求解十进制编码后的特征图

的直方图矩阵，进而获得对应的直方图特征向量

最后，将Q₁个直方图特征向量进行拼接，获得图像I_i,j的特征表达为

S25、特征库构建：对所有的样本图像的所有图像块重复利用上述步骤进行处理，获得对应的特征库为Feature＝{β_i,j}。

进一步地，所述的步骤S3过程如下：

S31、对测试图像进行分块处理，将测试图像分成不重叠的m_df×n_df块图像；

S32、对每一个图像分块

其中j＝1,2,...,m_dfn_df，利用所学习到的多维尺度变换网络的滤波器参数对图像分块进行特征提取，获得对应的特征feature_j；

S33、将获取的特征feature_j与特征库中的特征进行匹配，寻找与之最近距离的特征标签，并将其作为图像块

的分类标签，即

Num_j＝match(Feature_i,*,feature_j)，其中i＝1,2,...,N；j＝1,2,...,m_dfn_df；

S34、根据人脸不同区域的重要程度，每一个分块区域都被分配一个对应的权重W_j，然后计算获得的识别结果：

其中函数M(·)的作用是选取计算集中出现次数最多的分类标签。

本发明相对于现有技术具有如下的优点及效果：

本发明将深度学习网络技术应用到欠样本的人脸识别中，用来进行只有单张人脸样本情况下的人脸识别；用多维尺度变换网络的方法，能够将特征空间拓展到任意的高维空间，使到对应的人脸特征信息具有线性可分性；同时，利用分块加权的方法处理不同情形下的人脸图像，能够突出不同人脸区域的重要性，减少不同情形对识别率的影响。

附图说明

图1是本发明中公开的基于多维尺度变换网络与分块加权法的欠样本人脸识别方法的流程图；

图2是本发明实施例中多维尺度变换网络的基本框架示意图；

图3是本发明实施例中多维尺度变换网络中的滤波器框架示意图；

图4是本发明实施例中网络设计的整体框架示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，在网络模型设计方面主要涉及如下几类技术：1)多维尺度变换网络滤波器的设计：利用滤波器代替深度卷积网络中的卷积函数，能将特征信息拓展到高维可分；2)分块加权法：利用分块加权的方法处理不同情形下的人脸图像，能够突出人脸不同区域的重要程度。

本实施例公开基于多维尺度变换网络与分块加权法的欠样本人脸识别方法基于TensorFlow框架和Pycharm开发环境，其中，TensorFlow框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学习网络，同时具有很好的跨平台交互能力。TensorFlow提供了深度学习架构中的众多封装函数和各类图像处理函数的接口，包括OpenCV相关的图像处理函数。TensorFlow框架同时能够使用GPU对模型进行训练和验证，提高计算的效率。

在Windows平台或者Linux平台下的Pycharm开发环境成开发环境(IDE)，是目前深度学习网路设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。

本实施例提供一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，首先，对由单张人脸图像构成的样本集中的每一张图像进行分块处理，获得新的样本数据集；然后，利用新的样本数据集学习多维尺度变换网络中的滤波器参数，并利用滤波器参数提取样本图像的特征表达，并构建对应的特征库；接着，通过调用滤波器参数，对分块后的测试图像数据集进行特征提取，并与特征库中的特征进行匹配处理；最后，根据匹配的结果，利用加权的方式，获得最终测试人脸图像的分类识别信息；如图1为本方法的总体流程图。具体过程如下：

多维尺度变换模型设计步骤，多维尺度变换是一种数据降维的方法，通过将卷积网络中的卷积核进行替换，进而设计一种非监督人脸特征提取模型；

网络训练步骤，利用图像分块的方法，对多维尺度变换模型进行模型训练，进而获得非监督人脸特征提取模型提取后的人脸特征空间；

人脸识别预测步骤，针对现实所获取的人脸图像，结合分块加权法，对非监督模型提取的特征进行加权处理后，在特征空间中匹配出识别结果。

图2是多维尺度变换网络的基本框架示意图，本实施例中借鉴两级的卷积神经网络架构，将滤波器替代网络架构中的卷积函数，从而实现非监督的图像特征提取学习。

图3是多维尺度变换中滤波器的框架示意图(以第一级滤波器为例)。滤波器的大小为k×k。首先，对应的输入图像中以大小为k×k的区域图像进行分块，并构成向量化的矩阵；然后，计算对应块之间的距离矩阵，并利用步骤S1中重构矩阵的方法，获得重构矩阵F_I；最后，对重构矩阵F_I进行对角化，获得前Q₁个特征向量

进而构成对应的滤波器

图4是网络设计的整体框架示意图。识别的过程可以分为两个阶段，分别是训练阶段和测试阶段。在训练阶段，训练集中的人脸图片被切分为多个不重叠图像子块，这些新生成的图像块组成新的训练样本集。利用这些样本，多维尺度变换网络模型可以学习到一组滤波器。然后利用训练完毕的多维尺度变换网络模型对每个分块区域中的所有图像块进行特征提取，就可以为每个分块区域构建对应的特征库。在测试阶段，测试图像经过同样的预处理得到多个不重叠分块。对于每一个分块，利用多维尺度变换网络模型提取对应的特征，然后通过距离函数在对应区域的特征库计算出距离最近即最相似的目标。最后，利用加权法融合每一个分块的结果，给出整张人脸图像的识别结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，其特征在于，所述的人脸识别方法包括：

S1、多维尺度变换网络模型设计步骤：通过将卷积深度网络的卷积核替换为多维尺度变换滤波器，构建基于多维尺度变换网络的非监督人脸特征提取模型；

S2、网络训练步骤：对由单张人脸图像构成的样本集中的每一张图像进行不重叠的分块处理，获得多个分块区域数据；然后，利用分块区域数据学习多维尺度变换网络中的滤波器参数，并利用滤波器参数提取每一个分块后图像区域的特征表达，并构建对应的特征库；

S3、人脸识别预测步骤：首先，对测试图像进行不重叠的分块操作；然后对于每一块区域，利用训练完毕的非监督人脸特征提取模型进行特征提取，获得对应的特征表达；再次，利用距离匹配算法，搜索特征库中与提取的特征最相似的目标；最后，利用加权方法，对测试图像的每一块区域的识别结果进行加权融合，获得整张人脸图像的识别结果。

2.根据权利要求1所述的基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，其特征在于，所述的步骤S1中多维尺度变换网络中的滤波器设计过程如下：

S11、假设有n个样本x＝{x₁,x₂,...,x_n}，两两之间的距离构成的距离矩阵为：

d_i,j＝||x_i-x_j||² (2)

S12、构建内积矩阵

B中对应的第i行第j列元素计算公式如下：

S13、对内积矩阵B进行分解，即B＝ZΣZ^T，其中Σ＝diag(λ₁,λ₂,...,λ_n)是矩阵B特征值所构成的对角矩阵，且λ₁≥λ₂≥...≥λ_n，Z表示每个特征值对应的特征向量所构成的矩阵；通过贡献累计的方式，选取前p个特征值直到满足

T为设置的阈值，并选取对应的特征矩阵，构成重构矩阵

其中Z_p表示选取的前p个特征值对应的特征向量所组成的矩阵，Σ_p为前p个特征值组成的对角矩阵；

S14、利用重构矩阵F对样本x进行投影，获得样本在低维空间下的特征表达。

3.根据权利要求1所述的基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，其特征在于，所述的步骤S1中多维尺度变换网络中的滤波器核函数如下：

其中，x_i,x_j∈X，X为输入的数据空间，Y为映射的结果空间，

为从空间X到空间Y的映射，<.>为内积计算。

4.根据权利要求1所述的基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，其特征在于，所述的步骤S2中，输入的样本集由N张不同类型的人脸图像组成，图像的大小为m×n，多维尺度变换网络包括两级滤波层以及一级输出层，每个滤波层包含有多个滤波器，根据输入样本对滤波器参数进行调节，获得稳定的人脸特征提取的滤波器参数；输出层根据第二级滤波层的输出，对人脸特征进行归类表达。

5.根据权利要求4所述的基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，其特征在于，所述的步骤S2过程如下：

S21、图像分块处理：对每张图像进行分块，每张图像分成m_df×n_df的图像块，并将每个图像块区域作为输入的样本；

S22、图像量化处理：首先，输入的第i个图像的第j个图像块区域为I_i,j，则每个图像块区域大小为m₁×n₁，其中i＝1,2,...,N，j＝1,2,...,m_dfn_df，

表示向下取整；其次，对图像块区域进行遍历，在每一个像素点位置，向周围八连通区域采样一个与多维尺度变换滤波器相同尺寸大小的图像区域，并定义为Ω_k,k＝1,2,...,m₁n₁，再次，将每个图像区域Ω_k,k＝1,2,...,m₁n₁分别进行向量化，并组合为图像块I_i,j的向量化形式

最后，利用上述的方法对样本图像块区域进行处理，获得样本集的图像向量化矩阵

S23、滤波器参数学习：多维尺度变换网络中的滤波器参数的学习分为两级进行计算：

第一级计算如下：首先，为了构建多维尺度变换网络中滤波器的核函数，先计算数据集中样本之间的距离矩阵，并利用步骤S1中的重构矩阵的方法，获得重构矩阵F_I；其次，求取重构矩阵F_I对角化矩阵，选取其前Q₁个特征向量

进而构成第一级滤波层的Q₁个滤波器，即

最后，利用获得第一级滤波层对步骤S22中获得的图像向量化矩阵I进行卷积处理，获得第一级的特征输出

其中i＝1,2,...,N；j＝1,2,...,m_dfn_df；q₁＝1,2,...,Q₁；

第二级计算如下：重复第一级计算中的方法，选取前Q₂个特征值向量，构成第二级滤波层，即为

进而获得第二级的特征输出

其中i＝1,2,...,N；j＝1,2,...,m_dfn_df；q₁＝1,2,...,Q₁,q₂＝1,2,...,Q₂；

S24、特征输出：首先，对第二级的特征输出分别进行十进制编码，即

其中Υ(·)表示十进制编码；接着，分别求解十进制编码后的特征图

的直方图矩阵，进而获得对应的直方图特征向量

最后，将Q₁个直方图特征向量进行拼接，获得图像I_i,j的特征表达为

S25、特征库构建：对所有的样本图像的所有图像块重复利用上述步骤进行处理，获得对应的特征库。

6.根据权利要求5所述的基于多维尺度变换网络与分块加权法的欠样本人脸识别方法，其特征在于，所述的步骤S3过程如下：

S31、对测试图像进行分块处理，将测试图像分成不重叠的m_df×n_df块图像；

S32、对每一个图像分块

其中j＝1,2,...,m_dfn_df，利用所学习到的多维尺度变换网络的滤波器参数对图像分块进行特征提取，获得对应的特征feature_j；

S33、将获取的特征feature_j与特征库中的特征进行匹配，寻找与之最近距离的特征标签，并将其作为图像块

的分类标签，即

Num_j＝match(Feature_i,*,feature_j)，其中i＝1,2,...,N；j＝1,2,...,m_dfn_df；

S34、根据人脸不同区域的重要程度，每一个分块区域都被分配一个对应的权重W_j，然后计算获得的识别结果：

其中函数M(·)的作用是选取计算集中出现次数最多的分类标签。

Images