CN115798012A - 基于热点区域特征融合的正侧脸特征的判断方法 - Google Patents

Abstract

本发明公开一种基于热点区域特征融合的正侧脸特征的判断方法，涉及数据识别领域。包括：确定数据集，划分原训练集和原测试集；对数据集中的图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集；以热点灰度图特征图像训练集作为分类模型的输入，原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型；热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断。本发明解决基于传统机器学习分类模型的正侧脸判断方法存在判断速度慢，在光照、遮挡等不确定因素下的鲁棒性差的问题。

Description

基于热点区域特征融合的正侧脸特征的判断方法

技术领域

本发明涉及数据识别领域，尤其涉及一种基于热点区域特征融合的正侧脸特征的判断方法。

背景技术

人脸识别过程中，涉及正侧脸识别，尽管在正侧脸识别过程中添加人脸矫正过程，但，因左右旋转导致侧脸无法矫正为正脸。为保证人脸比对时正脸图片与正脸图片进行比对，现有存在多种方法实现从多张图片中选取正脸图片，包括：基于传统机器学习分类模型的正侧脸判断方法、基于人脸欧拉角进行的正侧脸判断方法和基于卷积神经网络分类模型的正侧脸判断方法。

其中，现有基于传统机器学习分类模型的正侧脸判断方法以整个人脸区域特征作为输入实现正侧脸判断，存在判断速度慢，在光照、遮挡等不确定因素下的鲁棒性差的问题。

发明内容

本发明的目的在于提供一种基于热点区域特征融合的正侧脸特征的判断方法，以解决基于传统机器学习分类模型的正侧脸判断方法存在判断速度慢，在光照、遮挡等不确定因素下的鲁棒性差的问题。

本发明提供一种基于热点区域特征融合的正侧脸特征的判断方法，包括：

S1，基于预先设定的裁剪方式对原图片集中包含人脸的图片进行裁剪，得到数据集，所述数据集划分为原训练集和原测试集；

S2，所述数据集中的图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集；

S3，以所述热点灰度图特征图像训练集作为分类模型的输入，所述原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型；

S4，所述热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断；

其中，S2中对任意一张图片X进行热点灰度图的特征提取，具体为：

S201，以所述原训练集对卷积神经网络分类模型进行训练，得到卷积神经网络分类模型M；

S202，利用所述卷积神经网络分类模型M读取所述图片X的特征图，获取所述特征图的可视化热力图；

S203，构建热点区域，具体为：利用所述卷积神经网络分类模型M获取所述原训练集中各个图片的可视化热力图，进行均值计算后，得到平均热力图；从所述平均热力图中选取至少一个子区域作为热点子区域；所述热点子区域拼接为正方形，得到热点区域；

S204，利用所述热点区域剪裁所述图片X的灰度图，得到所述图片X的热点灰度图；分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取。

在本发明的上述实施例中，可选地，S1，具体为：

S101，获取包含至少一张图片的原图片集；

S102，依据预设剪裁规则，对所述原图片集中包含人脸的图片剪裁，得到数据集；所述预设剪裁规则为裁剪区域为正方形，所述正方形的中心为人脸目标框的中心，且所述正方形的宽从所述人脸目标框的宽和所述人脸目标框的高中选择；

S103，所述数据集划分为原训练集和原测试集；对所述原训练集的各图片标记标签；所述标签包括正脸、左侧脸和右侧脸。

在本发明的上述实施例中，可选地，S202中，所述获取所述特征图的可视化热力图，具体为：对所述特征图依次进行图片缩放处理、归一化处理，得到所述特征图的可视化热力图；其中，所述特征图的尺寸为所述卷积神经网络分类模型M输入图片尺寸的1/8；所述特征图缩放后的尺寸与所述可视化热力图的尺寸相同，均为所述卷积神经网络分类模型M输入图片尺寸的1/2。

在本发明的上述实施例中，可选地，S204中，利用预先获取的热点区域，所述图片X的灰度图转换为热点灰度图，具体为：

S2041，从数据集中获取任意一张图片X，所述图片X转成灰度图像X^′；

S2042，利用预先获取的热点区域，剪裁所述灰度图像X^′得到热点灰度图。

在本发明的上述实施例中，可选地，S204中，分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取；具体为：

S001，提取所述热点灰度图的HOG特征，提取所述热点灰度图的LBP特征；

S002，对所述HOG特征进行L2标准化得到标准化后的HOG特征；

对所述LBP特征进行L1标准化得到标准化后的LBP特征；

S003，所述标准化后的HOG特征和所述标准化后的LBP特征拼接得到所述热点灰度图特征，完成所述图片X的热点灰度图特征的提取。

在本发明的上述实施例中，可选地，所述热点子区域的选取要求为：所有热点子区域的面积总和/可视化热力图的面积＝1/4；利用每个热点子区域对所述平均热力图剪裁得到对应二维数组，每个二维数组先加和得到加和数据，所有加和数据累加得到一个最终加和结果，在选取热点子区域时保证累加得到的所述最终加和结果最大。

在本发明的上述实施例中，可选地，所述热点子区域的个数为1、2、3或4。

在本发明的上述实施例中，可选地，当所述热点子区域的个数为1时，从所述平均热力图中选取一个子区域作为热点子区域，该热点子区域即为热点区域。

在本发明的上述实施例中，可选地，S2，对所述数据集中包括的各个图片进行热点灰度图的特征提取，得到热点灰度图特征图像，所述热点灰度图特征图像的尺寸为其对应图片尺寸的1/4。

与现有技术相比，本发明的技术方案所述基于热点区域特征融合的正侧脸判断方法的有益效果是：

1)本发明的技术方案通过卷积神经网络分类模型的特征图，定位对于分类效果影响较大的图像区域，从而将传统机器学习分类模型的输入图像减少至原图像的四分之一，大大提升了判断效率。

2)热点区域外的人脸是否被遮挡对于本发明的技术方案的精度没有任何影响，提高基于传统机器学习分类模型的正侧脸判断方法在遮挡因素下的鲁棒性。

3)本发明的技术方案中采用HOG特征和LBP特征，HOG特征可提取图像的轮廓信息，LBP特征可提取图像的纹理信息，二者对于光照因素的鲁棒性较高。二者拼接前的归一化方式有多种，经多次实验，将HOG特征L2标准化、LBP特征L1标准化后进行拼接，精度最高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了根据本发明的一个实施例的一种基于热点区域特征融合的正侧脸判断方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本申请的原理：本申请的技术方案通过卷积神经网络分类模型的特征图，定位对于分类效果影响较大的图像区域，从而将传统机器学习分类模型的输入图像减少至原图像的四分之一。HOG特征和LBP特征拼接之前采用不同的标准化方式作为图像特征，其中HOG特征采用L2标准化方式、LBP特征采用L1标准化方式，分类精度较高。

实施例

本实施例提供一种基于热点区域特征融合的正侧脸特征的判断方法，包括：

S1，基于预先设定的裁剪方式对原图片集中包含人脸的图片进行裁剪，得到数据集，所述数据集划分为原训练集和原测试集，具体为：

S101，获取包含至少一张图片的原图片集；

S102，依据预设剪裁规则，对所述原图片集中包含人脸的图片剪裁，得到数据集；所述预设剪裁规则为裁剪区域为正方形，所述正方形的中心为人脸目标框的中心，且所述正方形的宽从所述人脸目标框的宽和所述人脸目标框的高中选择；在此，所述正方形的宽＝max(所述人脸目标框的宽，所述人脸目标框的高)表示：当所述人脸目标框的宽大于所述人脸目标框的高时，所述正方形的宽＝所述人脸目标框的宽；当所述人脸目标框的宽小于所述人脸目标框的高时，所述正方形的宽＝所述人脸目标框的高；当所述人脸目标框的宽等于所述人脸目标框的高时，所述正方形的宽＝所述人脸目标框的宽＝所述人脸目标框的高；

S103，所述数据集划分为原训练集和原测试集；对所述原训练集的各图片标记标签；所述标签包括正脸、左侧脸和右侧脸。

S2，对所述数据集中包括的各个图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集。

S3，以所述热点灰度图特征图像训练集作为分类模型的输入，所述原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型。

S4，所述热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断。

其中，S2中对任意一张图片X进行热点灰度图的特征提取，具体为：

S201，以所述原训练集对预先构建的卷积神经网络分类模型进行训练，得到精度高的卷积神经网络分类模型M；

S202，利用所述卷积神经网络分类模型M读取所述图片X的特征图，获取所述特征图的可视化热力图；其中，所述获取所述特征图的可视化热力图，具体为：对所述特征图依次进行图片缩放处理、归一化处理，得到所述特征图的可视化热力图；所述特征图的尺寸为所述卷积神经网络分类模型M输入图片尺寸的1/8；所述特征图缩放后的尺寸与所述可视化热力图的尺寸相同，均为所述卷积神经网络分类模型M输入图片尺寸的1/2。

S203，利用所述热点区域剪裁所述图片X的灰度图，得到所述图片X的热点灰度图；分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取。

在此，利用预先获取的热点区域，所述图片X的灰度图转换为热点灰度图，具体为：从数据集中获取任意一张图片X，所述图片X转成灰度图像X'；利用预先获取的热点区域，剪裁所述灰度图像X'得到热点灰度图。热点灰度图的尺寸为所述图片X尺寸的1/4，且所述热点灰度图为正方形。

在此，分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取；具体为：S001，提取所述热点灰度图的HOG特征，提取所述热点灰度图的LBP特征；S002，对所述HOG特征进行L2标准化得到标准化后的HOG特征；对所述LBP特征进行L1标准化得到标准化后的LBP特征；S003，所述标准化后的HOG特征和所述标准化后的LBP特征拼接得到所述热点灰度图特征，完成所述图片X的热点灰度图特征的提取。

在本实施例中，S203，构建热点区域。具体为：利用所述卷积神经网络分类模型M获取所述原训练集中各个图片的可视化热力图，进行均值计算后，得到平均热力图；从所述平均热力图中选取至少一个子区域作为热点子区域；在此，所述热点子区域的个数为1、2、3或4；目的为降低图片裁剪拼接带来效率损失。所述热点子区域拼接为正方形，得到热点区域；在此，当所述热点子区域的个数为1时，从所述平均热力图中选取一个子区域作为热点子区域，该热点子区域即为热点区域；当所述热点子区域的个数为两个以上时，从所述平均热力图中选取两个以上子区域作为热点子区域，两个以上所述热点子区域拼接为正方形，得到热点区域。在此，可视化热力图是一个二维数组(height*width)，训练数据集所有图片的可视化热力图可以记作一个三维数组(image_num*height*width)，均值就是这个三维数组在image_num这一维度的均值，均值结果是一个二维数组(height*width)，在本申请的实施例中，均值即为平均热力图。热点子区域基于平均热力图哪个区域加和的最终结果最大确定。

在此，热点子区域本身就是位置信息。比如，热点子区域可表示为：(x1,y1,x2,y2)，其中x1、y1、x2、y2的含义为：热点子区域左上角点(x1,y1)相对于“可视化热力图”左上角的x轴坐标、y轴坐标，热点子区域右下角点(x2,y2)相对于“可视化热力图”左上角的x轴坐标、y轴坐标。本申请的上述实施例中热点子区域的选取要求两点：第一点：所有热点子区域的面积总和/可视化热力图的面积＝1/4。第二点利用每个热点子区域对所述平均热力图剪裁得到对应二维数组，每个二维数组先加和得到加和数据，所有加和数据累加得到一个最终加和结果，在选取热点子区域时保证累加得到的所述最终加和结果最大。

示例：

本示例所述基于热点区域特征融合的正侧脸判断方法，具体包括以下步骤：

第一步、已知人脸图片中人脸目标框坐标(x1,y1,x2,y2)，其中x1、y1、x2、y2，含义为：人脸目标框矩形左上角点相对于图片左上角的x轴坐标、y轴坐标，右下角点相对于图片左上角的x轴坐标、y轴坐标。以((x1+x2)/2,(y1+y2)/2)为中心位置，裁剪边长为max(x2-x1,y2-y1)的图像区域。若待裁剪区域超出图像范围，则超出部分用127作为图像值填充。

第二步、使用上一步的裁剪方式制作正侧脸分类数据集，分类标签为：正脸、左侧脸、右侧脸。其中，正脸为人脸偏航角不超过30度的人脸，左侧脸为人脸向左旋转且人脸偏航角不少于40度的人脸，右侧脸为人脸向右旋转且人脸偏航角不少于40度的人脸。为避免标注错误、数据类间差异过小等因素的干扰，对于图片中人脸偏航角30～40度之间的图像暂不考虑。

第三步、构建卷积神经网络分类模型，模型输入为112*112像素的灰度图像，当待输入图像不是112*112像素尺寸时，则需要缩放为112*112像素的图像。模型输出为正脸、左侧脸、右侧脸三个类别。该卷积神经网络模型中先后使用三个kernel为3*3、stride为1、padding为1的卷积层，且每个卷积层后紧接跟一个kernel为2*2的最大池化层。使用正侧脸分类数据集进行模型训练，得到精度较高的卷积神经网络分类模型。

第四步、使用训练好的卷积神经网络分类模型，对训练数据集进行推理。在对每张图片进行推理的过程中，读取网络中最后一个宽高为14*14像素的特征图。将该特征图在通道维度累加，使用三次样条插值法放大至56*56像素，放大后的特征图矩阵/特征图矩阵中的最大值*255，进而得到归一化后的可视化热力图。

第五步、求取训练数据集所有图片的可视化热力图均值，记作平均热力图。使用滑动窗口法遍历平均热力图，在其中找寻四个互不重叠、宽高为14*14像素的热点子区域，四个热点子区域像素值之和最大的热点区域，根据从左往右、从上到下的顺序，将四个热点区域记作热点区域A、B、C、D。在此，热点子区域的尺寸基于放大后的特征图确定，所述热点子区域的尺寸/放大后的特征图尺寸的1/4。

第六步、从训练数据集读取正侧脸图片，将其根据Gray＝0.2989*R+0.5870*G+0.1140*B转换为灰度图像，并缩放至宽高56*56像素的尺寸，其中Gray、R、G、B分别代表灰度值、红色通道值、绿色通道值、蓝色通道值。根据热点区域将灰度图像裁剪为热点灰度子图A、B、C、D，其中各热点灰度子图大小均为14*14像素。将热点灰度子图拼接成大小为28*28像素的热点灰度图，其中热点灰度子图A置于左上角、B置于右上角、C置于左下角、D置于右下角。

第七步、构建窗口大小winSize＝(28,28)、块大小blockSize＝(14,14)、块移动步长blockStride＝(7,7)、胞元大小cellSize＝(7,7)、梯度方向数nbins＝9的HOG特征描述。对热点灰度图进行方向梯度直方图(HOG)特征提取，得到324维HOG特征。

第八步、使用原始局部二值模式(LBP)对热点灰度图处理，得到尺寸为28*28像素、取值为0～255的LBP特征图像。对LBP特征图像进行直方图统计，得到256维LBP特征。

第九步、将HOG特征进行L2标准化，将LBP特征进行L1标准化，二者拼接成的580维特征作为热点灰度图的特征。

第十步、使用线性核函数构建支持向量机三分类模型，以580维热点灰度图特征作为分类模型的输入，以原数据集正脸、左侧脸、右侧脸的标签作为分类标签。进行模型训练，即可得到最终分类模型。使用最终分类模型推理时，待推理图像的处理步骤(即从第四步至第九步)和训练数据中图片的处理步骤保持一致即可。

对本实施例中涉及到的图片尺寸进行说明：

1)第四步中，卷积神经网络输入图片尺寸：112*112。

2)第四步中，选取的特征图尺寸：14*14，注：选取的特征图尺寸＝卷积神经网络输入图片尺寸*1/8。

3)第四步中，选取的特征图放大后尺寸：56*56，注：选取的特征图放大后尺寸＝卷积神经网络输入图片尺寸*1/2。

4)第四步中，可视化热力图尺寸：56*56，注：可视化热力图尺寸与选取的特征图放大后尺寸一致，均为卷积神经网络输入图片尺寸的1/2。

5)第五步中，热点子区域面积总和：14*14*4，所有热点子区域的面积总和/所述训练集中对应图片的面积＝1/4。

6)第五步中，热点区域尺寸：28*28，注：热点区域尺寸＝卷积神经网络输入图片尺寸的*1/4。

7)第六步中，正侧脸图片“缩放至宽高56*56的尺寸”，目的为与可视化热力图尺寸保持一致。其中，传统机器学习分类模型的输入图像的尺寸为56*56。正侧脸图片＝卷积神经网络输入图片尺寸的*1/2。

8)第六步“热点灰度子图”和“热点子区域”尺寸一致：14*14*4。

9)第六步“热点灰度图”和“热点区域”尺寸一致：28*28，注：热点灰度图＝卷积神经网络输入图片尺寸的*1/4。

在此，使用9)28*28尺寸的热点灰度图进行特征提取和使用7)中56*56尺寸的图片进行特征提取，最终分类精度几乎没有差别，所以实现了发明效果所述的将传统机器学习分类模型的输入图像减少至原图像的四分之一，大大提升了算法效率。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

1)本发明的技术方案通过卷积神经网络分类模型的特征图，定位对于分类效果影响较大的图像区域，从而将传统机器学习分类模型的输入图像减少至原图像的四分之一，大大提升了判断效率。

2)热点区域外的人脸是否被遮挡对于本发明的技术方案的精度没有任何影响，提高基于传统机器学习分类模型的正侧脸判断方法在遮挡因素下的鲁棒性。

3)本发明的技术方案中采用HOG特征和LBP特征，HOG特征可提取图像的轮廓信息，LBP特征可提取图像的纹理信息，二者对于光照因素的鲁棒性较高。二者拼接前的归一化方式有多种，经多次实验，将HOG特征L2标准化、LBP特征L1标准化后进行拼接，精度最高。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于热点区域特征融合的正侧脸特征的判断方法，其特征在于，包括：

S1，基于预先设定的裁剪方式对原图片集中包含人脸的图片进行裁剪，得到数据集，所述数据集划分为原训练集和原测试集；

S2，对所述数据集中的图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集；

S3，以所述热点灰度图特征图像训练集作为分类模型的输入，所述原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型；

S4，所述热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断；

其中，S2中对任意一张图片X进行热点灰度图的特征提取，具体为：

S201，以所述原训练集对卷积神经网络分类模型进行训练，得到卷积神经网络分类模型M；

S202，利用所述卷积神经网络分类模型M读取所述图片X的特征图，获取所述特征图的可视化热力图；

S203，构建热点区域，具体为：利用所述卷积神经网络分类模型M获取所述原训练集中各个图片的可视化热力图，进行均值计算后，得到平均热力图；从所述平均热力图中选取至少一个子区域作为热点子区域；所述热点子区域拼接为正方形，得到热点区域；

S204，利用所述热点区域剪裁所述图片X的灰度图，得到所述图片X的热点灰度图；分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取。

2.根据权利要求1所述方法，其特征在于，S1，具体为：

S101，获取包含至少一张图片的原图片集；

S102，依据预设剪裁规则，对所述原图片集中包含人脸的图片剪裁，得到数据集；所述预设剪裁规则为裁剪区域为正方形，所述正方形的中心为人脸目标框的中心，且所述正方形的宽从所述人脸目标框的宽和所述人脸目标框的高中选择；

S103，所述数据集划分为原训练集和原测试集；对所述原训练集的各图片标记标签；所述标签包括正脸、左侧脸和右侧脸。

3.根据权利要求1所述方法，其特征在于，S202中，所述获取所述特征图的可视化热力图，具体为：对所述特征图依次进行图片缩放处理、归一化处理，得到所述特征图的可视化热力图；其中，所述特征图的尺寸为所述卷积神经网络分类模型M输入图片尺寸的1/8；所述特征图缩放后的尺寸与所述可视化热力图的尺寸相同，均为所述卷积神经网络分类模型M输入图片尺寸的1/2。

4.根据权利要求1所述方法，其特征在于，S203中，利用预先获取的热点区域，所述图片X的灰度图转换为热点灰度图，具体为：

S2031，从数据集中获取任意一张图片X，所述图片X转成灰度图像X^′；

S2032，利用预先获取的热点区域，剪裁所述灰度图像X^′得到热点灰度图。

5.根据权利要求1所述方法，其特征在于，S203中，分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取；具体为：

S001，提取所述热点灰度图的HOG特征，提取所述热点灰度图的LBP特征；

S002，对所述HOG特征进行L2标准化得到标准化后的HOG特征；

对所述LBP特征进行L1标准化得到标准化后的LBP特征；

S003，所述标准化后的HOG特征和所述标准化后的LBP特征拼接得到所述热点灰度图特征，完成所述图片X的热点灰度图特征的提取。

6.根据权利要求1所述方法，其特征在于，所述热点子区域的选取要求为：所有热点子区域的面积总和/可视化热力图的面积＝1/4；利用每个热点子区域对所述平均热力图剪裁得到对应二维数组，每个二维数组先加和得到加和数据，所有加和数据累加得到一个最终加和结果，在选取热点子区域时保证累加得到的所述最终加和结果最大。

7.根据权利要求1或6所述方法，其特征在于，所述热点子区域的个数为1、2、3或4。

8.根据权利要求7所述方法，其特征在于，当所述热点子区域的个数为1时，从所述平均热力图中选取一个子区域作为热点子区域，该热点子区域即为热点区域。

9.根据权利要求1所述方法，其特征在于，S2，对所述数据集中包括的各个图片进行热点灰度图的特征提取，得到热点灰度图特征图像，所述热点灰度图特征图像的尺寸为其对应图片尺寸的1/4。

Images