CN110210311A - 一种基于通道特征融合稀疏表示的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于通道特征融合稀疏表示的人脸识别方法，该方法计算复杂度较低，运行速度快，能够方便处理人脸识别实际应用中类别增加或者减少的问题，并且对于现实生活环境中人脸的各种变化，如拍摄角度，表情等变化具有较强的鲁棒性，首先将预训练好的ResNet网络的全连接层去掉，剩余部分用作特征提取网络，然后将待测图片和样本库里的图片输入特征提取网络，得到他们的特征图，之后将每64个通道的特征图进行相加，得到8个通道的融合特征图，接着对待测图片和样本库图片的8个融合特征图进行稀疏表示分类，求出其稀疏表示系数，最后将8个通道求出的类别差值相加，差值最小的那一类即为待测人脸图片的类别。

Description

一种基于通道特征融合稀疏表示的人脸识别方法

技术领域

本发明涉及人脸识别技术领域，具体为一种基于通道特征融合稀疏表示的人脸识别方法。

背景技术

近年来人脸识别技术发展迅速，并且已经被广泛应用于许多实际场景，如手机解锁，出入境管理，刑事侦查等。目前主流的人脸识别技术主要分为2大类，包括传统的基于统计学习的方法，如PCA，LDA，稀疏表示法等，还有就是基于深度卷积神经网络的方法。深度卷积神经网络有很强的非线性表达能力，因此将其应用在深度学习上的效果很好。但是目前大多数基于深度学习的人脸识别方法存在一个问题，就是其分类的类别是是固定的，若果要增加或者减少一个分类，都需要重新设计并训练网络。此外，基于深度学习的人脸识别方法一般参数量巨大，运行速度漫，难以达到实时人脸识别的目的。本专利提出一种基于通道特征融合稀疏表示的人脸识别方法，它先通过残差卷积神经网络提取人脸图片的特征图，然后对特征图的各通道的特征进行特征融合，最后利用稀疏表示分类法进行分类。该方法既解决了一般基于深度学习的人脸识别算法中人脸类别需要预先设定的问题，也提升了人脸识别算法的运行速度和正确率。

目前基于深度学习的人脸识别方法一般要求人脸分类的类别是固定的，当增加或者减少一个分类类别时，都需要重新设计和训练网络，这会对人脸识别的实际应用带来极大的不便；目前大多数识别率较高的人脸识别算法都存在计算复杂，运行速度慢的问题。

发明内容

本发明的目的在于提供一种基于通道特征融合稀疏表示的人脸识别方法，以解决上述背景技术中提出的大多数识别率较高的人脸识别算法都存在计算复杂，运行速度慢等问题。

为实现上述目的，本发明提供如下技术方案：一种基于通道特征融合稀疏表示的人脸识别方法，包括以下步骤：

(1)残差网络特征图提取，将预训练好的ResNet网络的全连接层去掉，剩余部分用作特征提取网络，将待测图片和样本库里的图片输入特征提取网络，得到他们的特征图，步骤如下：

①将预训练好的残差卷积神经网络的最后一层全连接层去掉，从而大大减少网络的参数量，提高算法的运行速度；

②将尺寸为224*224*3的图片输入该网络进行特征提取，经过卷积层1-1的滑动步长为2的64个卷积核卷积之后，我们得到尺寸为112*112*64的特征图；

③经过池化层1，特征图的尺寸继续减半，变为56*56*64；

④当特征图经过卷积层3-1的128个滑动步长为2的卷积核之后，其尺寸变为28*28*128；

⑤当特征图经过卷积层4-1的256个滑动步长为2的卷积核之后，其尺寸变成14*14*256；

⑥再经过卷积层5-1后，特征图的尺寸变为7*7*512，这是最终得到的经过残差网络特征图提取得到的特征图的尺寸，后面剩下的若干卷积层不会使其尺寸继续发生改变；

(2)特征图通道特征融合，步骤如下：

①将尺寸为224*224*3的人脸图片输入上述特征提取网络之后，我们将得到尺寸为7*7*512的特征图；

②该特征图有512个通道的子特征图，设它们分别为特征图1，特征图2，…,特征图512；

③通道数量过多会造成后面的稀疏分类计算复杂，运行速度慢，因此将每64个子特征图相加，得到8个尺寸为7*7的融合子特征图，设它们分别为融合特征图1，融合特征图2，…，融合特征图8(例如融合特征图1＝特征图1+特征图2+…+特征图64)；

(3)特征图稀疏系数求解，步骤如下：

①通过前面的特征提取网络和特征图通道融合这两个步骤，我们可以得到待识别图片和样本库中人脸图片的7*7*8的融合特征图；

②融合特征图有8个通道，每个通道的子特征图的大小为7*7，将7*7的子特征图重新排列为49*1的子特征张量；

③设待识别人脸图像的第一个子特征张量为q₁,q₁∈R^49*1，设样本库中共有N个类别的人脸图像，每个类别的人脸图像有s个样本，设表示样本库中第一个类别的所有样本的第一个子特征张量构成的集合，设表示所有类别样本的第一个子特征张量构成的集合，用G₁向量的线性组合去逼近q₁，因此可以列出式子如下：

其中L是逼近误差，W₁∈R^(s*N)是稀疏表示系数，λ是常数项，要求的是使得L最小的W₁的值，W₁可以用下式求出：

W₁＝(G₁ ^TG₁+λI)G₁ ^Tq₁

其中I是单位矩阵。类似地，可以求出其他子特征张量对应的稀疏表示系数W₂,W₃,...,W₈；

(4)类别差值累加分类，步骤如下：

①设表示样本库中第一类样本的第一个子特征张量构成的集合对应的稀疏系数，我们可以求出待识别样本与该类别样本的差值为：

②可以求出样本库中第一类样本其他子特征张量对应的差值将这8个差值加起来，我们就可以得到第一类样本的累加差值e¹；

③同理可以求出其他类别样本的累加差值e²,e³,...,eⁿ,最后，待识别样本q将会被判定为属于累加差值最小的那一类。

与现有技术相比，本发明的有益效果是：

本专利所提方法通过将残差神经网络和稀疏表示分类法相结合，解决了基于深度学习的人脸识别中分类类别需要预先设定的问题；此外，通过舍弃残差神经网络的全连接层，使得整个网络的参数量大大减少，从而减少了运算复杂度，提升了算法的运行速度；另外，通过通道特征图的融合，也大大减少了后续稀疏表示分类的计算复杂度，并且提升了算法的识别正确率。

附图说明

图1为本发明的方法流程图；

图2为本发明的特征图通道特征融合示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

请参阅图1-2，对本发明进行进一步的详述：

一种基于通道特征融合稀疏表示的人脸识别方法，包括以下步骤：

(1)残差网络特征图提取，将预训练好的ResNet网络的全连接层去掉，剩余部分用作特征提取网络，将待测图片和样本库里的图片输入特征提取网络，得到他们的特征图，步骤如下：

①将预训练好的残差卷积神经网络的最后一层全连接层去掉，从而大大减少网络的参数量，提高算法的运行速度；

②将尺寸为224*224*3的图片输入该网络进行特征提取，经过卷积层1-1的滑动步长为2的64个卷积核卷积之后，我们得到尺寸为112*112*64的特征图；

③经过池化层1，特征图的尺寸继续减半，变为56*56*64；

④当特征图经过卷积层3-1的128个滑动步长为2的卷积核之后，其尺寸变为28*28*128；

⑤当特征图经过卷积层4-1的256个滑动步长为2的卷积核之后，其尺寸变成14*14*256；

⑥再经过卷积层5-1后，特征图的尺寸变为7*7*512，这是最终得到的经过残差网络特征图提取得到的特征图的尺寸，后面剩下的若干卷积层不会使其尺寸继续发生改变；

(2)特征图通道特征融合，步骤如下：

①将尺寸为224*224*3的人脸图片输入上述特征提取网络之后，我们将得到尺寸为7*7*512的特征图；

②该特征图有512个通道的子特征图，设它们分别为特征图1，特征图2，…,特征图512；

③通道数量过多会造成后面的稀疏分类计算复杂，运行速度慢，因此将每64个子特征图相加，得到8个尺寸为7*7的融合子特征图，设它们分别为融合特征图1，融合特征图2，…，融合特征图8(例如融合特征图1＝特征图1+特征图2+…+特征图64)；

(3)特征图稀疏系数求解，步骤如下：

①通过前面的特征提取网络和特征图通道融合这两个步骤，我们可以得到待识别图片和样本库中人脸图片的7*7*8的融合特征图；

②融合特征图有8个通道，每个通道的子特征图的大小为7*7，将7*7的子特征图重新排列为49*1的子特征张量；

③设待识别人脸图像的第一个子特征张量为q₁,q₁∈R^49*1，设样本库中共有N个类别的人脸图像，每个类别的人脸图像有s个样本，设表示样本库中第一个类别的所有样本的第一个子特征张量构成的集合，设表示所有类别样本的第一个子特征张量构成的集合，用G₁向量的线性组合去逼近q₁，因此可以列出式子如下：

其中L是逼近误差，W₁∈R^(s*N)是稀疏表示系数，λ是常数项，要求的是使得L最小的W₁的值，W₁可以用下式求出：

W₁＝(G₁ ^TG₁+λI)G₁ ^Tq₁

其中I是单位矩阵。类似地，可以求出其他子特征张量对应的稀疏表示系数W₂,W3,...,W₈；

(4)类别差值累加分类，步骤如下：

①设表示样本库中第一类样本的第一个子特征张量构成的集合对应的稀疏系数，我们可以求出待识别样本与该类别样本的差值为：

②可以求出样本库中第一类样本其他子特征张量对应的差值

将这8个差值加起来，我们就可以得到第一类样本

的累加差值e¹；

③同理可以求出其他类别样本的累加差值e²,e³,...,eⁿ,最后，待识别样本q将会被判定为属于累加差值最小的那一类。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (1)

1.一种基于通道特征融合稀疏表示的人脸识别方法，其特征在于，包括以下步骤：

(1)残差网络特征图提取，将预训练好的ResNet网络的全连接层去掉，剩余部分用作特征提取网络，将待测图片和样本库里的图片输入特征提取网络，得到他们的特征图，步骤如下：

①将预训练好的残差卷积神经网络的最后一层全连接层去掉，从而大大减少网络的参数量，提高算法的运行速度；

②将尺寸为224*224*3的图片输入该网络进行特征提取，经过卷积层1-1的滑动步长为2的64个卷积核卷积之后，我们得到尺寸为112*112*64的特征图；

③经过池化层1，特征图的尺寸继续减半，变为56*56*64；

④当特征图经过卷积层3-1的128个滑动步长为2的卷积核之后，其尺寸变为28*28*128；

⑤当特征图经过卷积层4-1的256个滑动步长为2的卷积核之后，其尺寸变成14*14*256；

⑥再经过卷积层5-1后，特征图的尺寸变为7*7*512，这是最终得到的经过残差网络特征图提取得到的特征图的尺寸，后面剩下的若干卷积层不会使其尺寸继续发生改变；

(2)特征图通道特征融合，步骤如下：

①将尺寸为224*224*3的人脸图片输入上述特征提取网络之后，我们将得到尺寸为7*7*512的特征图；

②该特征图有512个通道的子特征图，设它们分别为特征图1，特征图2，…,特征图512；

③通道数量过多会造成后面的稀疏分类计算复杂，运行速度慢，因此将每64个子特征图相加，得到8个尺寸为7*7的融合子特征图，设它们分别为融合特征图1，融合特征图2，…，融合特征图8；

(3)特征图稀疏系数求解，步骤如下：

①通过前面的特征提取网络和特征图通道融合这两个步骤，我们可以得到待识别图片和样本库中人脸图片的7*7*8的融合特征图；

②融合特征图有8个通道，每个通道的子特征图的大小为7*7，将7*7的子特征图重新排列为49*1的子特征张量；

③设待识别人脸图像的第一个子特征张量为q₁,q₁∈R^49*1，设样本库中共有N个类别的人脸图像，每个类别的人脸图像有s个样本，设表示样本库中第一个类别的所有样本的第一个子特征张量构成的集合，设表示所有类别样本的第一个子特征张量构成的集合，用G₁向量的线性组合去逼近q₁，因此可以列出式子如下：

其中L是逼近误差，W₁∈R^(s*N)是稀疏表示系数，λ是常数项，要求的是使得L最小的W₁的值，W₁可以用下式求出：

W₁＝(G₁ ^TG₁+λI)G₁ ^Tq₁

其中I是单位矩阵。类似地，可以求出其他子特征张量对应的稀疏表示系数W₂,W₃,...,W₈；

(4)类别差值累加分类，步骤如下：

①设表示样本库中第一类样本的第一个子特征张量构成的集合对应的稀疏系数，我们可以求出待识别样本与该类别样本的差值为：

②可以求出样本库中第一类样本其他子特征张量对应的差值将这8个差值加起来，我们就可以得到第一类样本的累加差值e¹；

③同理可以求出其他类别样本的累加差值e²,e³,...,eⁿ,最后，待识别样本q将会被判定为属于累加差值最小的那一类。