CN111274883A - 基于多尺度hog特征和深层特征的合成素描人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于多尺度HOG特征和深层特征的合成素描人脸识别的算法。本发明具体包括如下步骤：S1、对素描‑照片人脸对进行预处理；S2、根据图像面部关键点对图像进行关键部位的提取；S3、提取图像全图以及各个关键部位的HOG特征，得到多尺度HOG特征，以此描述图像的底层特征，利用预训练好的深度学习网络模型对图像全图进行深度特征提取，以此描述图像的高层特征；S4、求取各类特征对应的相似度矩阵，通过自适应权重的方法对图像的各类特征进行特征重要度判断，利用得到的权重将各类特征的相似度矩阵进行分数层融合，得到最终相似度矩阵，通过相似度矩阵得到最终的识别结果。本方法具有素描人脸图像的识别准确率高的优点。

Description

基于多尺度HOG特征和深层特征的合成素描人脸识别方法

技术领域

本发明属于计算机视觉领域，涉及一种基于多尺度HOG特征和深层特征的合成素描人脸识别的算法。

背景技术

随着人脸识别技术的不断发展，人脸识别为公安部门抓捕嫌犯提供了许多有效的信息，但大多数情况下，嫌疑人的人脸照片是无法直接获取的。此时，肖像专家根据目击证人的描述绘制而成的人脸素描便成为获取嫌疑人人脸信息的主要途径。由于素描的绘制方式的不同，人脸素描分为手绘素描和合成素描。手绘素描是由肖像专家用笔在纸上绘制的素描，合成素描是目击者使用电脑软件生成的一类素描。由于培养一个专业的肖像专家需花费很大精力，而合成素描易学习且操作快，故而使得公安部门对合成素描人脸识别青睐有加。在合成素描人脸识别中，人脸特征提取是识别中的一个重要步骤，其中，提取人脸特征的好坏直接影响到了素描人脸识别系统的性能，因此如何提取更为鲁棒、有效的人脸特征成为了合成素描人脸识别系统应用于实际中的一个至关重要的问题。

目前，合成素描人脸识别算法分为两种：一是基于人脸转化合成的算法；二是基于特征的算法。

在基于人脸转化合成的算法中，由于人脸素描和照片不处于同一模态内，所以可以先将素描(照片)转为照片(素描)，再进行传统人脸的匹配和识别。由于合成素描人脸画像在人脸的轮廓和五官上存在一定的夸张与形变，故而即使将两个不同模态的转为同一模态，其算法识别率并不如传统的人脸识别算法。

在基于特征的算法中，研究人员在不转换模态的前提下直接通过提取鲁棒性特征的方法进行人脸匹配。由于传统的识别算法一般采用HOG、SIFT等描述符提取跨模态特征，这样提取出来的低层次特征无法描述高度抽象的素描细节特征。基于深度学习的识别算法在训练网络模型时需要准备大量的样本数据，时间成本较高。故而需发明一种在同时考虑低层次纹理特征和高层次特征的前提下能有效实现素描人脸图像和人脸照片之间的直接匹配且识别率高的合成素描人脸识别算法。

发明内容

本发明的目的是提供一种在同时考虑低层次纹理特征和高层次特征的前提下能有效实现素描人脸图像和人脸照片之间的直接匹配且识别率高的结合多尺度HOG特征和深度模型特征的合成素描人脸识别算法。在本发明中，该算法在考虑人脸细节特征的同时，增加了对人脸整体结构的特征描述；在考虑人脸关键部位特征的同时，考虑到了额头以上头发的特征，有效区分了长发和短发的发型；在考虑底层特征的同时，利用深层模型增加了人脸的高层人脸信息。本发明通过提取合成素描人脸的全局HOG特征以及各个人脸组件的局部HOG特征来表征人脸的低层特征，通过利用深度学习网络模型提取合成素描人脸的深度特征来表征人脸的高层特征，之后将得到的低层特征和高层特征通过权重判析进行分数层融合，得到最终的匹配结果。从而提高素描人脸的识别率。

本发明解决其技术问题采用的技术方案包括如下步骤：

S1、人脸预处理；

S2、面部关键部位的提取；

S3、多尺度HOG特征提取和深度特征提取；

S4、分数层自适应融合和匹配素描-人脸对；

所述步骤S1具体包括：

S11、将素描人脸库中的N张彩色素描-照片对转为单通道的灰度图像；

S12、使用Dlib库检测人脸68个关键点坐标；

S13、通过68个关键点坐标通过仿射矩阵将图像对齐；

S14、裁剪对齐后的图像，让裁剪后的图像相对传统的人脸剪裁区域使得人脸头发区域也可见；

S15、将裁剪后的照片和素描进行尺度归一化处理，分别得到尺度统一的照片和素描。

所述步骤S2具体包括：

S21、经过步骤S1之后，得到尺度统一的人脸照片和人脸素描，分别对其进行人脸关键点提取；

S22、通过面部关键点确定面部关键部位的宽，通过长宽比确定面部关键部位对应的长，之后对图像进行关键部位的分割。关键部位包括头发、眉毛、眼睛、鼻子、嘴巴和下颌轮廓六个部位；

所述步骤S3具体包括：

S31、经过步骤S2后，每张图像均对应一张图和六个局部图像块，分别对整图和六个局部图像块提取HOG特征，以此描述图像的低层细节特征。其中整图和六个局部图像块提取HOG特征的原理是一致的，HOG特征的提取原理将在后面详细说明。

S32、为了得到更具分辨性的特征，对以上得到的HOG特征进行LDA降维操作，得到最终的HOG特征。

S33、将图像输入到预训练好的网络模型中进行深度特征提取，以此描述图像的高层特征。这里我们用LFW数据集预训练好的VGGFACE网络模型直接提取图像的深度特征。其中VGGFACE网络模型结构包括：十三层卷积层、三层全连接层以及一层基于softmax方法的非线性分类层。

所述步骤S4具体包括：

S41、经过步骤S3后，将会得到素描人脸和人脸照片对应的特征，通过计算素描人脸和人脸照片的特征向量之间的欧式距离来表达它们之间的相似度(两张图之间的距离越小，相似度越高。)。其中，每张图像对应八类特征向量(整图的HOG特征，六个局部图像块的HOG特征以及整图的深度特征)，将测试集中所有图像的每类特征向量汇到一起组成一个特征矩阵，则测试集中的M张人脸素描对应八个特征矩阵，同理，测试集中的N张人脸照片也对应八个特征矩阵。以鼻子部位为例，素描人脸测试集对应的鼻子部位的特征矩阵为：

人脸照片测试集对应的鼻子部位的特征矩阵为：

素描测试集与人脸照片测试集之间，鼻子部位对应的特征相似矩阵为：

根据上述方法，可以得出整图的HOG特征，六个关键部位的HOG特征和整图深度特征对应的八个特征相似度矩阵(D_all,D_hair,D_eyebrows,D_eyes,D_nose,D_mouth,D_jaw,D_deep)。由于不同特征得到的相似度并不在同一尺度下，本文采用零-均值标准化的方法对相似度矩阵进行归一化处理。

S42、人脸认知理论表明，人脸的每一个关键部位都能提供重要的识别信息，由于不同关键部位在同一张人脸的重要性各不相同，故而不同特征在同一张人脸的重要性也各不相同。所以需要提供一种方法，其可以判断不同特征对于人脸的重要性，根据特征的重要程度，为该特征对应的相似度矩阵赋予合适的权重。这里将该方法成为自适应权重法。

S43、经过步骤S42后，测试集中每张素描人脸均对应八个特征权重，则m张素描人脸对应m*8个特征权重，通过这m*8个特征权重将八个特征相似度矩阵进行融合，得到最终的相似度矩阵：

D＝[D_all,D_hair,D_eyebrows,D_eyes,D_nose,D_mouth,D_jaw,D_deep]×W^T

其中，W^T表示自适应方法得到的特征权重。之后，根据最终所得的相似度矩阵，根据相似度从大到小的顺序，得到最终的匹配列表。

所述步骤S31(HOG特征的提取原理)具体包括：

S311、将图像进行分块，记图像块大小为s*s。将每个s*s的图像块平均分为4个小块，每个小块再被平均分为4个胞元，其中每个胞元的尺寸为(s/4)*(s/4)。

S312、计算胞元中每个像素的梯度大小和方向。

S313、将梯度方向平均分为n个方向，之后统计每个胞元位于同一梯度方向取值范围内的像素点的梯度幅值，将其累加，得到一个n维的胞元特征向量，例如n＝8。

S314、计算每个小块中的胞元特征向量，将其串联在一起组成一个小块的特征向量，将小块的特征向量串联在一起，构成一个块的特征向量，将每个块的特征向量串联在一起，便构成一张图像的特征向量，该特征向量即为要提取的图像的HOG特征向量。

所述步骤S42具体包括：

S421、为了判断不同特征在人脸识别时的重要性，首先，要对特征进行归一化，将其归一化到0到1之间，使其在同一尺度下方便判断，以鼻子部位特征为例，其特征归一化公式为：

其中F_nose为未归一化的特征，F_min为测试集中鼻子特征向量最小的特征向量，F_max为测试集中鼻子特征向量最大的特征向量，F_nose-norm为归一化后的鼻子特征向量。将归一化后的向量与平均向量做差，得到对应的差向量。将其余七类向量也按以上步骤操作，得到相对应的差向量。通过比较同一张素描人脸七个特征向量(深度向量的权重另算)对应的差向量的向量大小，将其按照从大到小的顺序排列，

S422、经过步骤S421，得到一张素描人脸七个特征向量对应的顺序，将其对应的顺序代入下列公式，便可得到八个特征向量对应的权重。公式如下：

其中i表示七个特征向量对应的顺序，Y为常数，例如Y＝14，W(i)代表七个特征向量对应的权重，W(deep)代表深度特征向量对应的权重。

本发明有益效果如下：本发明在考虑了图像的底层细节特征的同时，加入了利用深度学习提取的图像的高层特征，并改良了以往手工调特征权重的方法，提出一种自适应权重方法调节不同特征的权重来表示特征的重要性。经过试验，本方法在prip-VSGC数据集上取得了72.90％的识别精度，在Uom-SGFS(SETA)扩充数据集上取得了92.3％的识别精度，在Uom-SGFS(SETB)扩充数据集上取得了95.8％的识别精度。表明了本方法的有效性。

附图说明

图1为本发明所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别的算法的流程图。

图2为图像预处理前后的对比图。

图3为面部关键部位分割实例图。

图4为卷积神经网络结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的算法流程图如图1所示。

本实施例中有123对素描-人脸图像。结合本发明的步骤，具体过程如下：

S11、将素描人脸库中的123张彩色素描-照片对转为单通道的灰度图像；

S12、使用Dlib库检测人脸68个关键点坐标；

S13、通过68个关键点坐标通过仿射矩阵将123对图像对齐；

S14、裁剪对齐后的图像，让裁剪后的图像相对传统的人脸剪裁区域使得人脸头发区域也可见；

S15、将裁剪后的照片和素描进行尺度归一化处理，得到尺寸为200*250的图像。图2为预处理之后的效果图。

S21、分别对预处理过的图像进行人脸关键点提取；

S22、通过面部关键点定位人脸关键部位头发、眉毛、眼睛、鼻子、嘴巴和下颌轮廓所在的局部矩形图像块。其中，这六个部位尺寸的像素大小分别为：150×75，125×25，100×20，45×45，60×24和272×16。图3为面部关键部位分割示例图。

S311、将123张图分为测试集和训练集，其中测试集大小为75，训练集大小为48。分别对整图和六个局部图像块提取HOG特征，在提取不同部位的HOG特征时，采取不重叠分块的方式，由于不同部位的图像块大小不同，故而设置的胞元大小也不同。对于眉毛、眼睛、鼻子和嘴巴部位，其胞元大小设置为5，下颌轮廓和头发部位的胞元大小分别设为4和10。在提取整图的HOG特征时，图像采取重叠分块的方式，重叠部位占块大小的1/2。胞元大小为8。以提取整图的HOG特征为例，将图像进行分块，记图像块大小为32*32。将每个32*32的图像块平均分为4个小块，每个小块再被平均分为4个胞元，其中每个胞元的尺寸为8*8。

S312、计算胞元中每个像素的梯度大小和方向。

S313、将梯度方向平均分为8个方向，之后统计每个胞元位于同一梯度方向取值范围内的像素点的梯度幅值，将其累加，得到一个8维的胞元特征向量。

S314、计算每个块中的特征向量，得到一个128维的块向量。将每个块的特征向量串联在一起，便构成一张图像的特征向量。

S32、对上面提取好的HOG特征进行LDA降维，降维后的特征即为最后各部位对应的特征向量。

S33、将预处理好的图像尺寸统一为224*224，输入到预训练好的VGG网络模型中进行深度特征提取，以此描述图像的高层特征。VGGFACE网络结构图如图4所示。这里选取FC8

层的特征作为最终的深度特征，特征维度为2622，最终得到75*2622维的特征矩阵。

S41、对以上八类特征矩阵，求取素描人脸和人脸照片特征之间的特征相似矩阵，并对其进行零均值归一化处理。最终得到8个75*75的相似度矩阵。

S42、对得到的8类特征分别进行特征归一化处理，求取其各自对应的偏差特征向量及偏差特征向量对应的重要性顺序。

S422、通过自适应权重公式求出每一类特征对应的权重。

S43、算出每张图像各类特征对应的权重后，将得到一个75*8的权重矩阵。将权重矩阵和8个特征相似矩阵相乘，最终将得到一个75*75的特征相似矩阵，将特征相似矩阵的每一行根据相似度从大到小排序，每行的前10行便是对应图像的rank10(找到与待检索素描对应的照片人脸中，最相似的10张照片，按照相似程度从大到小排序)匹配列表。

以上所述便是本发明的具体实例及所运用的计数原理，若依本发明的构想所做的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属该发明的保护范围。

Claims (5)

1.一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法，其特征在于：同时考虑低层次纹理特征和高层次特征，实现素描人脸图像和人脸照片之间的直接匹配，具体实现步骤如下：

S1、人脸预处理；

S2、面部关键部位的提取；

S3、多尺度HOG特征提取和深度特征提取；

S4、分数层自适应融合和匹配素描-人脸对。

2.根据权利要求1所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法，其特征在于所述步骤S1具体包括：

S11、将素描人脸库中的N张彩色素描-照片对转为单通道的灰度图像；

S12、使用Dlib库检测人脸68个关键点坐标；

S13、通过68个关键点坐标通过仿射矩阵将图像对齐；

S14、裁剪对齐后的图像，让裁剪后的图像相对传统的人脸剪裁区域使得人脸头发区域也可见；

S15、将裁剪后的照片和素描进行尺度归一化处理，分别得到尺度统一的照片和素描。

3.根据权利要求2所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法，其特征在于所述步骤S2具体包括：

S21、经过步骤S1之后，得到尺度统一的人脸照片和人脸素描，分别对其进行人脸关键点提取；

S22、通过面部关键点确定面部关键部位的宽，通过长宽比确定面部关键部位对应的长，之后对图像进行关键部位的分割，所述关键部位包括头发、眉毛、眼睛、鼻子、嘴巴和下颌轮廓六个部位。

4.根据权利要求3所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法，其特征在于所述步骤S3具体包括：

S31、经过步骤S2后，每张图像均对应一张图和六个局部图像块，分别对整图和六个局部图像块提取HOG特征，以此描述图像的低层细节特征；

S311、分别对整图和六个局部图像块提取HOG特征，以此描述图像的低层细节特征；HOG特征原理如下：将图像进行分块，记图像块大小为s*s。将每个s*s的图像块平均分为4个小块，每个小块再被平均分为4个胞元，其中每个胞元的尺寸为(s/4)*(s/4)；

S312、计算胞元中每个像素的梯度大小和方向；

S313、将梯度方向平均分为n个方向，之后统计每个胞元位于同一梯度方向取值范围内的像素点的梯度幅值，将其累加，得到一个n维的胞元特征向量；

S314、计算每个小块中的胞元特征向量，将其串联在一起组成一个小块的特征向量，将小块的特征向量串联在一起，构成一个块的特征向量，将每个块的特征向量串联在一起，便构成一张图像的特征向量，该特征向量即为要提取的图像的HOG特征向量；

S32、为了得到更具分辨性的特征，对以上得到的HOG特征进行LDA降维操作，得到最终的HOG特征；

S33、将图像输入到预训练好的网络模型中进行深度特征提取，以此描述图像的高层特征；用LFW数据集预训练好的VGGFACE网络模型直接提取图像的深度特征，其中VGGFACE网络模型结构包括：十三层卷积层、三层全连接层以及一层基于softmax方法的非线性分类层。

5.根据权利要求4所述的一种基于多尺度HOG特征和深层特征的合成素描人脸识别方法，其特征在于所述步骤S4具体包括：

S41、经过步骤S3后，将会得到素描人脸和人脸照片对应的特征，通过计算素描人脸和人脸照片的特征向量之间的欧式距离来表达它们之间的相似度；其中，每张图像对应八类特征向量，包括整图的HOG特征，六个局部图像块的HOG特征以及整图的深度特征，将测试集中所有图像的每类特征向量汇到一起组成一个特征矩阵，则测试集中的M张人脸素描对应八个特征矩阵，同理，测试集中的N张人脸照片也对应八个特征矩阵；以鼻子部位为例，素描人脸测试集对应的鼻子部位的特征矩阵为：

人脸照片测试集对应的鼻子部位的特征矩阵为：

素描测试集与人脸照片测试集之间，鼻子部位对应的特征相似矩阵为：

根据上述方法，可以得出整图的HOG特征，六个关键部位的HOG特征和整图深度特征对应的八个特征相似度矩阵(D_all,D_hair,D_eyebrows,D_eyes,D_nose,D_mouth,D_jaw,D_deep)，由于不同特征得到的相似度并不在同一尺度下，采用零-均值标准化的方法对相似度矩阵进行归一化处理；

S421、首先，要对特征进行归一化，将其归一化到0到1之间，使其在同一尺度下方便判断，以鼻子部位特征为例，其特征归一化公式为：

其中F_nose为未归一化的特征，F_min为测试集中鼻子特征向量最小的特征向量，F_max为测试集中鼻子特征向量最大的特征向量，F_nose-norm为归一化后的鼻子特征向量；将归一化后的向量与平均向量做差，得到对应的差向量；将其余七类向量也按以上步骤操作，得到相对应的差向量；通过比较同一张素描人脸七个特征向量对应的差向量的向量大小，将其按照从大到小的顺序排列；

S422、经过步骤S421，得到一张素描人脸七个特征向量对应的顺序，将其对应的顺序代入下列公式，便可得到八个特征向量对应的权重；公式如下：

其中i表示七个特征向量对应的顺序，Y为常数，W(i)代表七个特征向量对应的权重，W(deep)代表深度特征向量对应的权重；

S43、经过步骤S42后，测试集中每张素描人脸均对应八个特征权重，则m张素描人脸对应m*8个特征权重，通过这m*8个特征权重将八个特征相似度矩阵进行融合，得到最终的相似度矩阵：

D＝[D_all,D_hair,D_eyebrows,D_eyes,D_nose,D_mouth,D_jaw,D_deep]×W^T

其中，W^T表示自适应方法得到的特征权重。之后，根据最终所得的相似度矩阵，根据相似度从大到小的顺序，得到最终的匹配列表。

Images