CN105678232A - 一种基于深度学习的人脸图片特征提取与对比方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的人脸图片特征提取与对比方法，具体为：将人脸库中的图像经局部模块化；构建卷积神经网络，将图像模块输入到卷积神经网络进行训练；将人脸库的图像经局部模块化后得到图像模块，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到与每一图像对应的特征向量；将待对比的人脸图像，经局部模块化后使用训练好的卷积神经网络模型提取每一图像模块的特征，得到待对比人脸图像对应的特征向量；将待对比人脸图像对应的特征向量依次与得到的每一图像对应的特征向量，使用余弦相似度进行对比。本发明的有益效果是：本发明提取与对比方法在OFD东方人脸库中的人脸比对排名前5，准确率高达95%。

Description

一种基于深度学习的人脸图片特征提取与对比方法

技术领域

本发明涉及信息技术领域，特别涉及一种基于深度学习的人脸图片特征提取与对比方法。

背景技术

人脸比对致力于鉴定两张人脸是否属于同一个人，难点在于能否获取到稳定的特征。早期常用人脸特征提取算法诸如：LBP，Gabor，haar等等，但准确率受到环境因素影响存在瓶颈。近些年越来越多的深度模型，尤其是卷积神经网络(CNN)被用来提取深层视觉特征，通过模仿人大脑皮层的神经网络，采用卷积、池化、非线性变化等手段提出的卷积神经网络模型，可以获取更抽象更本质的视觉特征。但仍然存在人脸图像受到光照、表情、姿态、化妆等多种因素的影响，给人脸图像特征的提取带来了很大的干扰，从而大大降低了识别的效率。

发明内容

为了降低人脸姿态和光照变化等环境对人脸特征提取的影响和提高人脸对比准确率，本发明提供了一种基于深度学习的人脸图片特征提取与对比方法。

本发明的发明构思为：本发明不同于以往将整张人脸作为训练模型的输入，而是给出一种有效的人脸区域分割方法，将一张人脸扩容，截取人脸的十块不同区域，每个区域生成三种尺寸，并在RGB空间和灰度空间生成这些新模块图像，综上所述每张人脸可以扩容到60张，相较整张人脸可以提取到局部稳定的特征。之后为每个新模块都建立一个基于混合局部特征的卷积神经网络模型，相较传统特征如LBP和HOG，可以提取深层的人脸特征信息，综合所有模块的特征采用COS距离进行人脸比对。首先将一对人脸图像模块化，其次提取每组图像的关系特征，然后使用卷积神经网络提取关系特征的深层特征，最后使用COS距离进行人脸比对。近几年OFD东方人脸库被应用到了越来越多的人脸比对实验中，它包含了视点和光照两个子库，本发明的提取与对比方法在该人脸库中的人脸比对排名前5的准确率高达95％。

为了实现上述发明目的，本发明提供了一种基于深度学习的人脸图片特征提取与对比方法，其中，所述方法具体为：

步骤S101：将OFD东方人脸库中的每张图像经过局部模块化后，得到60个图像模块；

步骤S102：构建卷积神经网络，将步骤S101得到的图像模块输入到所述卷积神经网络进行训练，得到最终训练好的卷积神经网络模型；其中，所述卷积神经网络包括输入层、4层卷积池化层、2层全连接层和输出层，其中每层卷积池化层由卷积层、最大池化层和relu层组成；

步骤S103：将OFD东方人脸库的图像经局部模块化后得到图像模块，然后输入到卷积神经网络，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到与每一图像对应的特征向量；

步骤S104：将待对比的人脸图像，经局部模块化后输入到卷积神经网络，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到待对比人脸图像对应的特征向量；

步骤S105：将步骤S104输出的待对比人脸图像特征向量集依次与步骤S103得到的每一图像对应的特征向量集，使用余弦相似度进行对比，输出一组相似度值，将相似度值从大到小排序，输出OFD东方人脸库中最大相似度值对应的图像。

进一步地，所述步骤S101、所述步骤S103、所述步骤S104中，所述局部模块化依次包括按区域划分、尺寸划分和颜色空间划分，具体步骤为：

步骤S201：按区域划分，采用ASM人脸特征点定位的方法对完整人脸图像进行区域划分得到十个区域模块，划分结果如下：①整张人脸模块；②头发、额头和人眼模块；③头发、额头、人眼和鼻子模块；④额头、人眼、鼻子和嘴模块；⑤人眼、鼻子、嘴和下巴模块；⑥以左眼为中心的模块；⑦以右眼为中心的模块；⑧以鼻尖为中心的模块；⑨以左嘴角为中心的模块；⑩以右嘴角为中心的模块；其中①-⑤模块图像尺寸为39×31mm，⑥-⑩模块图像尺寸为31×31mm；

步骤S202：按尺寸划分，将每个上述区域模块以区域模块中心点为基准，在完整人脸图像的基础上分别按照1.1:1、1.3:1和0.8:1三种尺寸进行延展，每个区域模块获取到由3种具有不同区域的图像模块组成的区域模块集，然后按照与对应的区域模块尺寸将所有区域模块集中的每个图像模块进行尺寸归一化；

步骤S203：按色彩空间划分，将所有区域模块集中的每个模块分为RGB空间和灰度空间两张图像；

通过上述三种划分方式，每张图像共得到60个图像模块。

进一步地，所述步骤S102中，所述卷积层提取人脸的深层特征，卷积层输入为：input_data:WI*HI，输出为：output_data:WO*WO，卷积核大小为：w*h，步长为：stride，具体为：

WO＝(WI-w)/stride(1)

HO＝(HI-h)/stride(2)

$PO(i,j)=\underset{k=-w*h/2}{\overset{w*h/2}{\Σ}}PI(i+k,j+k)*W(wn+k,hn+k)---\left(3\right)$

其中，公式(3)中，待卷积图像的(i，j)点像素值表示为PI(i,j)，卷积核的权重表示为W(wn,hn)，卷积核大小为w*h，则对应(i，j)像素点卷积后的像素值为PO(i,j)。

进一步地，所述步骤S103和所述步骤S104中，每个图像模块通过一个160维向量表示，将每个图像对应的60个图像模块合成一个特征向量，用来表示一张人脸的全部特征信息。

进一步地，所述步骤S105中，做人脸比对时，用余弦相似度计算两个特征向量所成角度，具体计算公式如下：

$cos\mathrm{\θ}=\frac{\underset{i=1}{\overset{n}{\Σ}}(A_i*B_i)}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}*\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}=\frac{A^T\·B}{\left|\right|A\left|\right|*\left|\right|B\left|\right|}---\left(4\right)$

公式(4)中，A、B表示两个人脸的特征向量，||A||表示A特征向量的2范数，||B||表示B特征向量的2范数，i表示特征向量的第i维数据，n表示特征向量共有n维数据，θ为两个特征向量的空间夹角，夹角越小表示两个特征向量越相似。

本发明的有益效果是：本发明提取与对比方法在OFD东方人脸库中的人脸比对排名前5，准确率高达95％。本发明有两个创新点，首先是给出一种有效的人脸区域分割方法，相较整张人脸可以提取到局部稳定的特征；其次是提出了一个新的基于混合局部特征的卷积神经网络模型，相较传统特征如LBP和HOG，可以提取深层的人脸特征信息。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例方法对应的框架图。

图3为本发明实施例中区域划分图。

图4为本发明实施例中尺寸划分图。

图5为本发明实施例中卷积神经网络模型的结构示意图。

图6为本发明OFD东方人脸库的图像示意图。

具体实施方式

本发明提出了一种基于深度学习的混合局部特征提取与对比方法，首先是给出一种有效的人脸区域分割方法，相较整张人脸可以提取到局部稳定的特征，其次提出了一个新的基于混合局部特征的卷积神经网络模型，相较传统特征如LBP和HOG，可以提取深层的人脸特征信息，通过特征点定位方法，对人脸的60个不同区域、尺寸、颜色空间进行特征提取，并比对两张人脸的COS距离。本发明采用OFD大型东方人脸库，包含视点和光照两个字库，共采集整理了1247人的33669张人脸图像，每人拍摄19张视点图像和8张光照图像，其中图6仅提供了19张视点图像中的8张和8张光照图像。由于OFD包含了影响人脸比对的两大环境因素，光照和角度变化，并且图像数量和质量均符合本发明的需求，因此选用OFD人脸库。

本发明实施例提供了一种基于深度学习的混合局部特征提取与对比方法，其流程如图1和图2所示，包括：

步骤S101：将OFD东方人脸库中的每张图像经过局部模块化后，得到60个图像模块；

步骤S102：构建卷积神经网络(参见图5)，将步骤S101得到的图像模块输入到所述卷积神经网络进行训练，得到最终训练好的卷积神经网络模型；其中，所述卷积神经网络包括输入层、4层卷积池化层、2层全连接层和输出层，其中每层卷积池化层由卷积层、最大池化层和relu层组成；

步骤S103：将OFD东方人脸库的图像经局部模块化后得到图像模块，然后输入到卷积神经网络，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到与每一图像对应的特征向量；

步骤S104：将待对比的人脸图像，经局部模块化后输入到卷积神经网络，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到待对比人脸图像对应的特征向量；

步骤S105：将步骤S104输出的待对比人脸图像特征向量集依次与步骤S103得到的每一图像对应的特征向量集，使用余弦相似度进行对比，输出一组相似度值，将相似度值从大到小排序，输出OFD东方人脸库中最大相似度值对应的图像。

其中，步骤S101、步骤S103和步骤S104中，局部模块化依次包括按区域划分、尺寸划分和颜色空间划分，具体步骤为：

步骤S201：按区域划分，采用ASM人脸特征点定位的方法对完整人脸图像进行区域划分得到十个区域模块(参见图3)，划分结果如下：①整张人脸模块；②头发、额头和人眼模块；③头发、额头、人眼和鼻子模块；④额头、人眼、鼻子和嘴模块；⑤人眼、鼻子、嘴和下巴模块；⑥以左眼为中心的模块；⑦以右眼为中心的模块；⑧以鼻尖为中心的模块；⑨以左嘴角为中心的模块；⑩以右嘴角为中心的模块；其中①-⑤模块图像尺寸为39×31mm，⑥-⑩模块图像尺寸为31×31mm；

步骤S202：按尺寸划分，将每个上述区域模块以区域模块中心点为基准，在完整人脸图像的基础上分别按照1.1:1、1.3:1和0.8:1三种尺寸进行延展(参见图4)，每个区域模块获取到由3种具有不同区域的图像模块组成的区域模块集，然后按照与对应的区域模块尺寸将所有区域模块集中的每个图像模块进行尺寸归一化；

步骤S203：按色彩空间划分，将所有区域模块集中的每个模块分为RGB空间和灰度空间两张图像；

通过上述三种划分方式，每张图像共得到60个图像模块。

其中，步骤S102中，卷积层提取人脸的深层特征，卷积层输入为：input_data:WI*HI，输出为：output_data:WO*WO，卷积核大小为：w*h，步长为：stride，具体为：

WO＝(WI-w)/stride(1)

HO＝(HI-h)/stride(2)

$PO(i,j)=\underset{k=-w*h/2}{\overset{w*h/2}{\Σ}}PI(i+k,j+k)*W(wn+k,hn+k)---\left(3\right)$

其中，公式(3)中，待卷积图像的(i，j)点像素值表示为PI(i,j)，卷积核的权重表示为W(wn,hn)，卷积核大小为w*h，则对应(i，j)像素点卷积后的像素值为PO(i,j)。

步骤S103和所述步骤S104中，每个图像模块通过一个160维向量表示，将每个图像对应的60个图像模块合成一个特征向量，用来表示一张人脸的全部特征信息。

步骤S105中，做人脸比对时，用余弦相似度计算两个特征向量所成角度，具体计算公式如下：

$cos\mathrm{\θ}=\frac{\underset{i=1}{\overset{n}{\Σ}}(A_i*B_i)}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}*\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}=\frac{A^T\·B}{\left|\right|A\left|\right|*\left|\right|B\left|\right|}---\left(4\right)$

公式(4)中，A、B表示两个人脸的特征向量，||A||表示A特征向量的2范数，||B||表示B特征向量的2范数，i表示特征向量的第i维数据，n表示特征向量共有n维数据，θ为两个特征向量的空间夹角，夹角越小表示两个特征向量越相似。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的人脸图片特征提取与对比方法，其特征在于，所述方法具体为：

步骤S101：将OFD东方人脸库中的每张图像经局部模块化后，得到60个图像模块；

步骤S102：构建卷积神经网络，将步骤S101得到的图像模块输入到所述卷积神经网络进行训练，得到最终训练好的卷积神经网络模型；其中，所述卷积神经网络包括输入层、4层卷积池化层、2层全连接层和输出层，其中每层卷积池化层由卷积层、最大池化层和relu层组成；

步骤S103：将OFD东方人脸库的图像经局部模块化后得到图像模块，然后输入到卷积神经网络，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到与每一图像对应的特征向量；

步骤S104：将待对比的人脸图像，经局部模块化后输入到卷积神经网络，使用训练好的卷积神经网络模型提取每一图像模块的特征，得到待对比人脸图像对应的特征向量；

步骤S105：使用余弦相似度将步骤S104输出的待对比人脸图像对应的特征向量依次与步骤S103得到的每一图像对应的特征向量进行对比，输出一组相似度值，将相似度值从大到小排序，输出OFD东方人脸库中最大相似度值对应的图像。

2.根据权利要求1所述的基于深度学习的人脸图片特征提取与对比方法，其特征在于，所述步骤S101、所述步骤S103和所述步骤S104中，所述局部模块化依次包括按区域划分、尺寸划分和颜色空间划分，具体步骤为：

步骤S201：按区域划分，采用ASM人脸特征点定位的方法对完整人脸图像进行区域划分得到十个区域模块，划分结果如下：①整张人脸模块；②头发、额头和人眼模块；③头发、额头、人眼和鼻子模块；④额头、人眼、鼻子和嘴模块；⑤人眼、鼻子、嘴和下巴模块；⑥以左眼为中心的模块；⑦以右眼为中心的模块；⑧以鼻尖为中心的模块；⑨以左嘴角为中心的模块；⑩以右嘴角为中心的模块；其中①-⑤模块图像尺寸为39×31mm，⑥-⑩模块图像尺寸为31×31mm；

步骤S202：按尺寸划分，将每个上述区域模块以区域模块中心点为基准，在完整人脸图像的基础上分别按照1.1:1、1.3:1和0.8:1三种尺寸进行延展，每个区域模块获取到由3种具有不同区域的图像模块组成的区域模块集，然后按照与对应的区域模块尺寸将所有区域模块集中的每个图像模块进行尺寸归一化；

步骤S203：按色彩空间划分，将所有区域模块集中的每个模块分为RGB空间和灰度空间两张图像；

通过上述三种划分方式，每张图像共得到60个图像模块。

3.根据权利要求1所述的基于深度学习的人脸图片特征提取与对比方法，其特征在于，所述步骤S102中，所述卷积层提取人脸的深层特征，卷积层输入为：input_data:WI*HI，输出为：output_data:WO*WO，卷积核大小为：w*h，步长为：stride，具体为：

WO＝(WI-w)/stride(1)

HO＝(HI-h)/stride(2)

$PO\left(i,j\right)=\underset{k=-w*h/2}{\overset{w*h/2}{\Σ}}PI\left(i+k,j+k\right)*W\left(wn+k,hn+k\right)---\left(3\right)$

其中，公式(3)中，待卷积图像的(i，j)点像素值表示为PI(i,j)，卷积核的权重表示为W(wn,hn)，卷积核大小为w*h，则对应(i，j)像素点卷积后的像素值为PO(i,j)。

4.根据权利要求1所述的基于深度学习的人脸图片特征提取与对比方法，其特征在于，所述步骤S103和所述步骤S104中，每个图像模块通过一个160维向量表示，将每个图像对应的60个图像模块合成一个特征向量，用来表示一张人脸的全部特征信息。

5.根据权利要求1所述的基于深度学习的人脸图片特征提取与对比方法，其特征在于，所述步骤S105中，做人脸比对时，用余弦相似度计算两个特征向量所成角度，具体计算公式如下：

$cos\mathrm{\θ}=\frac{\underset{i=1}{\overset{n}{\Σ}}(A_i*B_i)}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(A_i\right)}^2}*\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left(B_i\right)}^2}}=\frac{A^T\·B}{\left|\right|A\left|\right|*\left|\right|B\left|\right|}---\left(4\right)$

公式(4)中，A、B表示两个人脸的特征向量，||A||表示A特征向量的2范数，||B||表示B特征向量的2范数，i表示特征向量的第i维数据，n表示特征向量共有n维数据，θ为两个特征向量的空间夹角，夹角越小表示两个特征向量越相似。