CN110969101A

CN110969101A - 一种基于hog和特征描述子的人脸检测与跟踪方法

Info

Publication number: CN110969101A
Application number: CN201911145226.XA
Authority: CN
Inventors: 李伟; 章军伟
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2019-11-21
Filing date: 2019-11-21
Publication date: 2020-04-07

Abstract

一种基于HOG特征描述子的人脸检测与跟踪方法，在人脸检测过程中，利用方向梯度直方图(HOG)特征来检测视频帧中的人脸，提高了检测的准确度；在人脸跟踪过程中，采用了一种结合特征描述子的跟踪校正策略，利用基于欧氏距离的方法进行人脸相似度对比，并以此更新跟踪结果，降低了多人脸因素的干扰。

Description

一种基于HOG和特征描述子的人脸检测与跟踪方法

技术领域

本发明涉及人脸识别、检测跟踪、特征提取，是一种多人脸检测与跟踪方法。

背景技术

人脸识别技术增强了目标检测的可用性，可以帮助搜索目标用户或执行其他操作。一般而言，人脸识别的研究历史可以按时间分为三个阶段。(1)1950年到1980年，人脸识别被认为是一般的模式识别问题，主流技术基于人脸的几何特征。(2)1980年到1990年，人脸识别技术发展迅速，出现了许多经典方法，例如Eigen Face和弹性图匹配，此时主流技术路线为脸部建模。(3)1990年到现在，人脸识别的研究不断深入，研究人员逐渐重视真实场景下的人脸识别问题，包括以下四个方面的研究：1)研究了不同的人脸结构模型，包括线性建模方法、非线性建模方法和三维建模方法；2)探讨影响人脸识别的条件，包括光照不变条件、姿态不变条件和表情不变条件等；3)使用新特征表示，包括局部描述子(Gabor Face，LBP Face等)和神经网络模型；4)寻求基于新数据源的人脸识别方式，例如基于视频、基于素描和基于近红外图像的人脸识别。

在20世纪90年代早期，由美国国防部发起的FERET是人脸识别的原型，该项目为未来的生物识别提供了原始数据，并进一步指出了人脸识别技术初始阶段的方向。Keinert等人提出了一种稀疏表示变分法的人脸识别算法，能够在有遮挡和伪装的情况下识别人脸，在大量实验数据下准确度较高。Ebied等人提出将主成分分析法应用在人脸特征提取以及降维中，结合特征图谱的奇偶性分析，能够解决较大的人脸面部维度而导致的人脸识别率下降的问题，有效地提高了人脸识别率。Brandt等人在ASM的基础上提出了一种基于面部组件划分的人脸特征提取方法，在人工干预下可以主观地修改算法，对各个组件之间的相对形状起到了一定的约束作用。

国内在实际应用中逐渐产生了对人脸识别技术的需求。吴晓萍等人提出了基于人脸关键点与增量聚类的多姿态人脸识别方法，利用CNN模型，识别准确率显著。雷超等人结合曲面局部纹理特征，分析了mesh-LBP对于人脸纹理的描述能力，提高了不同表情变化下的人脸识别率，在3维人脸识别中具有重要的意义。刘宇琦等人提出了一种基于QPSO优化的流形学习的视频人脸识别算法，将视频人脸识别视为图像集相似度度量问题，对齐帧图像后提取纹理特征并进行融合，再利用带有QPSO优化的黎曼流形和SVM分类器获得分类结果，在含有大量遮挡和人脸旋转的视频场景中提升了人脸识别的精度。王玉等人基于改进的Fisher加权准则，采用分块TPLBP级联直方图和多示例学习算法生成分类器，实现对测试视频人脸的分类及预测，通过实验结果分析改算法有较高的识别率，鲁棒性良好。

发明内容

为了克服现有技术的不足，通过对现有人脸识别的算法的深入调查和分析，集合市场上现有的人脸检测与跟踪的技术方案，本发明提出了一种基于HOG和特征描述子的人脸检测与跟踪方法。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于HOG和特征描述子的人脸检测与跟踪方法，包括以下步骤：

步骤1基于HOG特征的人脸检测，过程如下：

1.1)归一化伽马，使用伽马变换归一化图像，有效地降低图像局部的阴影和光照变化；

1.2)滑动窗口设置，分割图像为若干个滑动窗口block，block用于在整幅图像上滑动提取人脸HOG特征；

1.3)计算梯度，将block均匀分成4个单元，block之间采用重叠两个细胞单元的形式进行滑动，计算出图像的像素点(x,y)的水平方向和垂直方向的梯度，水平方向上的梯度Ix(x,y)为

I_x(x,y)＝I(x+1,y)-I(x-1,y) (1)

垂直方向上的梯度Iy(x,y)为

I_y(x,y)＝I(x,y+1)-I(x,y-1) (2)

得出像素点(x,y)的梯度幅值m(x,y)为

同样可得像素点(x,y)的梯度方向θ(x,y)为

累加计算获得空间细胞的梯度方向。将梯度方向均匀分成m个方向，如果梯度方向存在正负，则将360°均匀分成m个区间，否则将180°均匀分成m个区间，将相同单元上所有相同梯度方向的点梯度幅值进行基于权重的累加计算，得出该单元的梯度直方图HOG；

1.4)在重叠的细胞块内进行归一化对比，归一化每个block内的多个cell梯度直方图为一个直方图来表示当前block的HOG特征；

1.5)收集检测窗口上所有块的HOG，通过滑动block窗口完成整幅图像的HOG特征的提取；

1.6)输出HOG特征；

步骤2基于特征描述子的人脸跟踪，过程如下：

2.1)利用ResNet获取特征描述子

采用ResNet模型提取人脸特征描述子，输入人脸图像及对应的关键点，返回一个128维的人脸特征描述子，在人脸特征描述子提取完成后，依次添加对应的人脸标识，便于跟踪结果的更新；

2.2)利用欧氏距离计算相似性度量

欧氏距离指两点在m维空间上的真实距离，2个n维向量A(x11,x12,…,x1n)和B(x21,x22,…,x2n)的欧氏距离为

2.3)利用人脸标识队列更新跟踪目标

分别计算得出两个人脸特征描述子的欧氏距离，选取最小的距离值后，用阈值评价两个描述子的相似程度，当距离值小于阈值即相似度较高，则认定两个人脸属于同一个人，跟踪结果更新；否则相似度较低，认定人脸属于他人，跟踪目标转移。

进一步，当认定检测的视频帧中人脸为存储的人脸时，将人脸标识对应的原特征描述子进行更新，由于视频帧的连贯性，人脸的姿态变化在检测的连续两帧中变化较小，采用检测的上一帧中相同人脸的特征描述子作为基准，能从最大程度上抑制人脸姿态变化产生的干扰；当新提取的特征描述子与当前存储的特征描述子相似度过低时，将新出现的人脸特征描述子替换原特征描述子并同时替换人脸标识。

再进一步，基于时间顺序的长度为L的人脸标识队列，L为大于1的奇数，该队列中根据时间先后顺序，将每一帧中检测到的人脸标识放入队列末尾，根据队列的先入先出原则，当队列元素总数达到L，则移除开头的元素，队列中始终存储当前帧和前L－1帧的人脸标识，队列中数目最多的人脸标识则为连续帧中的人脸检测结果。只有在当前帧的人脸检测结果与连续帧的人脸检测结果相同时，原特征描述子才进行更新，能够较好地降低某一帧的误差影响。

本发明的技术构思为：本发明包括基于HOG特征的人脸检测和基于特征描述子的人脸跟踪两个部分组成。提出了一种基于HOG和特征描述子的人脸检测与跟踪的技术方案。人脸检测首先通过提取HOG特征，然后运用匹配人脸检测器进行训练。人脸跟踪通过人脸检测得到的特征然后利用ResNet获取特征描述子。利用欧氏距离计算相似性最后利用人脸标识队列更新跟踪目标。

本发明的有益效果主要表现在：1、实现基于HOG特征的人脸检测。输入含有人脸图像的视频帧，提取HOG特征，与人脸检测器进行匹配，得到精准的人脸图像。2、在人脸识别中，经过图像预处理后，系统能够以90％的准确率检测人脸，以85％的准确率跟踪目标人脸，在3秒之内识别人脸对应的用户身份，人脸识别准确率90％以上。

附图说明

图1为基于HOG特征的人脸检测流程图，首先输入一张人脸图像，然后提取HOG特征，再与人脸检测器进行匹配，最后输出检测的结果。

图2为人脸检测器的HOG特征图。首先通过伽马变换归一化图像，有效地降低图像局部的阴影和光照变化。然后计算梯度。通过窗口手机所有HOG特征得到HOG特征图像。

图3为基于特征描述子的人脸跟踪流程图。

图4为图像预处理的结果，其中，(a)是原始图像，(b)是直方图均衡化图，(c)是中值滤波图，(d)是HOG特征提取图。

图5为人脸的特征描述子。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种基于HOG和特征描述子的人脸检测与跟踪方法，包括以下步骤：

步骤1基于HOG特征的人脸检测

特征提取是模式识别研究的基本问题之一。对于图像识别，高质量的图像特征可以有效地表示原始图像的性质，且在图像分类中起决定作用。在人体关键部位图像中合适的特征描述包括HOG特征和Haar-like特征等。方向梯度直方图(Histogram of orientedgradient，HOG)特征的核心思想是在一个大小统一、网格密集的细胞单元上进行计算，利用相互重叠的局部对比度归一化技术来提高描述能力。HOG特征能够很好地描述图像局部差分信息且不易受噪声干扰，在目标检测和跟踪领域中是描述边缘和形状最好的特征之一。另一种常用的Haar-like特征反映了目标的灰度变化情况，适合描述目标阴影。与Haar-like特征相比，HOG特征保持了几何和光学转化不变性，能够很好地描述目标轮廓，因此笔者采用HOG特征作为人脸检测中的特征表示。

HOG特征提取步骤如下：

1.1)归一化伽马。使用伽马变换归一化图像，有效地降低图像局部的阴影和光照变化。

1.2)滑动窗口设置。分割图像为若干个滑动窗口(block)，block用于在整幅图像上滑动提取人脸HOG特征。

1.3)计算梯度。将block均匀分成4个单元(cell)，block之间采用重叠两个细胞单元(cell)的形式进行滑动。计算出图像的像素点(x,y)的水平方向和垂直方向的梯度，水平方向上的梯度Ix(x,y)为

I_x(x,y)＝I(x+1,y)-I(x-1,y) (1)

垂直方向上的梯度Iy(x,y)为

I_y(x,y)＝I(x,y+1)-I(x,y-1) (2)

得出像素点(x,y)的梯度幅值m(x,y)为

同样可得像素点(x,y)的梯度方向θ(x,y)为

累加计算获得空间细胞的梯度方向。将梯度方向均匀分成m(m通常为9)个方向(bin)，如果梯度方向存在正负，则将360°均匀分成m个区间，否则将180°均匀分成m个区间。将相同cell上所有相同梯度方向的点梯度幅值进行基于权重的累加计算，得出该cell的梯度直方图(HOG)。

1.4)在重叠的细胞块内进行归一化对比。归一化每个block内的多个cell梯度直方图为一个直方图来表示当前block的HOG特征。

1.5)收集检测窗口上所有块的HOG。通过滑动block窗口完成整幅图像的HOG特征的提取。

1.6)输出HOG特征。

步骤2基于特征描述子的人脸跟踪，过程如下：

2.1)利用ResNet获取特征描述子

卷积神经网络(Convolutional neural network，CNN)在图像处理、模式识别和计算机视觉等方面引起了人们广泛的关注，因为CNN模型能够有效提取图像的特征描述子。深度残差网络(Residual networks，ResNet)是由HE等提出的一种改良的卷积神经网络，动机是神经网络的退化问题。传统CNN与ResNet相比，传统CNN中卷积层和全连接层在传递信息时，存在信息丢失、损耗等问题；而ResNet能通过旁路支线将输入连接到后面的层，使其可以直接学习残差，优化基础网络性能的同时保护了信息的完整性。因此笔者采用ResNet模型，在提取特征描述子方面能够比传统CNN取得更好的效果。

算法采用ResNet模型提取人脸特征描述子，输入人脸图像及对应的关键点，返回一个128维的人脸特征描述子。在人脸特征描述子提取完成后，依次添加对应的人脸标识，便于跟踪结果的更新。

2.2)利用欧氏距离计算相似性度量

特征描述子本质上是特征向量，计算特征向量的相似性可用距离进行评价。常用的距离有曼哈顿距离、欧氏距离和切比雪夫距离，通过实验对比将3种距离分别用于计算人脸特征描述子的相似性度量，最后选取区分度较好的欧氏距离作为衡量人脸特征描述子的标准。欧氏距离指两点在m维空间上的真实距离，2个n维向量A(x11,x12,…,x1n)和B(x21,x22,…,x2n)的欧氏距离为

2.3)利用人脸标识队列更新跟踪目标

因为一张图片可能有多个人脸，需分别计算得出两个人脸特征描述子的欧氏距离。选取最小的距离值后，需要用阈值评价两个描述子的相似程度。当距离值小于阈值即相似度较高，则认定两个人脸属于同一个人，跟踪结果更新；否则相似度较低，认定人脸属于他人，跟踪目标转移。因为视频帧中人脸的姿态时刻发生变化，每一帧的人脸都不尽相同。如果始终以初始检测的人脸描述子为基准进行相似度计算，在视频帧中始终只有同一人的前提下，会出现因人脸姿态变化过大导致距离值偏大，使得跟踪结果出现偏差。且新检测的视频帧中的人脸不可能与存储的原特征描述子的人脸完全一致，从而使距离值总有一定的误差。为了尽可能地消除这种误差，当认定检测的视频帧中人脸为存储的人脸时，将人脸标识对应的原特征描述子进行更新。由于视频帧的连贯性，人脸的姿态变化在检测的连续两帧中变化较小。采用检测的上一帧中相同人脸的特征描述子作为基准，能从最大程度上抑制人脸姿态变化产生的干扰。当新提取的特征描述子与当前存储的特征描述子相似度过低时，将新出现的人脸特征描述子替换原特征描述子并同时替换人脸标识。

为了防止某一帧中由于随机干扰因素过于严重导致的相同人脸也检测错误的情况出现，设计了一种基于时间顺序的长度为L(L为大于1的奇数)的人脸标识队列。该队列中根据时间先后顺序，将每一帧中检测到的人脸标识放入队列末尾，根据队列的先入先出原则，当队列元素总数达到L，则移除开头的元素。队列中始终存储当前帧和前L－1帧的人脸标识，队列中数目最多的人脸标识则为连续帧中的人脸检测结果。只有在当前帧的人脸检测结果与连续帧的人脸检测结果相同时，原特征描述子才进行更新，能够较好地降低某一帧的误差影响。

本实施例的基于HOG和特征描述子图的人脸检测与跟踪方法，包括以下步骤：

步骤1基于HOG特征的人脸检测

HOG特征提取见图1，人脸检测阶段主要分为预处理和训练两个阶段。

1.1、预处理阶段：图4为预处理后的结果。1.1.1)输入采集的人脸图像训练集、测试集，标记每一张图片的具体的人脸边界(bounding box)；1.1.2)进行图片上采样，目的是为了放大较小的人脸，使检测准确度提高，上采样的同时调整相应的bounding box；1.1.3)对训练集中的人脸图像进行镜像处理，扩充样本数量。

1.2、训练阶段：1.2.1)定义扫描器(scanner)，用于扫描图片并提取HOG特征；1.2.2)设置scanner的窗口尺寸，通过图像金字塔变换实现在不同尺寸上检测人脸的目的；1.2.3)定义训练器(trainer)，用于训练人脸检测器，其通过scanner初始化；1.2.4)进行训练，生成并完善人脸检测器，当出现未确认的人脸边界时对该区域进行忽略，防止出现错误的人脸检测信息；1.2.5)进行测试，得到返回的检测结果。

图2为一种正面人脸检测器的HOG特征，该人脸检测器对正脸的匹配度较好。相较于现有常用的基于Haar-like特征的人脸检测算法，该算法精度更高，能够识别更多的人脸。为了在输入的视频帧中能更好地提取人脸的有效信息，基于HOG特征的人脸检测算法具有根号的优势。

步骤2基于特征描述子的人脸跟踪

图3为特征描述子。人脸跟踪流程：首先输入当前帧通过人脸检测得到的结果，定位各张人脸的68个关键点，将其分别输入到ResNet模型中得到内容为128维向量的特征描述子。若原先未存有特征描述子，则初始化该特征描述子为跟踪目标的判断基准，若已存在特征描述子，则计算两者的欧氏距离。考虑到当前帧中可能有多个人脸，会生成多个距离值，选择距离值最小的作为当前帧的计算值。如果距离值低于默认阈值，则表明两个特征描述子都基于同一张人脸生成，更新特征描述子为当前帧生成的描述子并更新跟踪区域；反之则认为两个特征描述子不属于同一张人脸，此时替换存储的特征描述子，转移跟踪目标为新特征描述子表示的人脸。当前帧处理完后，载入下一帧，循环进行人脸跟踪。

Claims

1.一种基于HOG和特征描述子的人脸检测与跟踪方法，其特征在于，所述方法包括以下步骤：

步骤1 基于HOG特征的人脸检测，过程如下：

I_x(x,y)＝I(x+1,y)-I(x-1,y) (1)

垂直方向上的梯度Iy(x,y)为

I_y(x,y)＝I(x,y+1)-I(x,y-1) (2)

得出像素点(x,y)的梯度幅值m(x,y)为

同样可得像素点(x,y)的梯度方向θ(x,y)为

累加计算获得空间细胞的梯度方向，将梯度方向均匀分成m个方向，如果梯度方向存在正负，则将360°均匀分成m个区间，否则将180°均匀分成m个区间，将相同单元上所有相同梯度方向的点梯度幅值进行基于权重的累加计算，得出该单元的梯度直方图HOG；

1.6)输出HOG特征；

步骤2 基于特征描述子的人脸跟踪，过程如下：

2.1)利用ResNet获取特征描述子

2.2)利用欧氏距离计算相似性度量

2.3)利用人脸标识队列更新跟踪目标

2.如权利要求1所述的一种基于HOG和特征描述子的人脸检测与跟踪方法，其特征在于，当认定检测的视频帧中人脸为存储的人脸时，将人脸标识对应的原特征描述子进行更新，由于视频帧的连贯性，人脸的姿态变化在检测的连续两帧中变化较小，采用检测的上一帧中相同人脸的特征描述子作为基准，能从最大程度上抑制人脸姿态变化产生的干扰；当新提取的特征描述子与当前存储的特征描述子相似度过低时，将新出现的人脸特征描述子替换原特征描述子并同时替换人脸标识。

3.如权利要求1或2所述的一种基于HOG和特征描述子的人脸检测与跟踪方法，其特征在于，基于时间顺序的长度为L的人脸标识队列，L为大于1的奇数，该队列中根据时间先后顺序，将每一帧中检测到的人脸标识放入队列末尾，根据队列的先入先出原则，当队列元素总数达到L，则移除开头的元素，队列中始终存储当前帧和前L－1帧的人脸标识，队列中数目最多的人脸标识则为连续帧中的人脸检测结果，只有在当前帧的人脸检测结果与连续帧的人脸检测结果相同时，原特征描述子才进行更新，能够较好地降低某一帧的误差影响。