CN101567043B - 基于分类识别的人脸跟踪方法 - Google Patents

Abstract

本发明提供一种带分类识别功能的人脸跟踪方法，包括步骤(一)当前帧的待匹配序列为{F₁ ^C，F₂ ^C......F_j ^C}；前面帧的为{F₁ ^L，F₂ ^L......F_j ^L}；(二)依次取出当前帧的F_m ^C计算其LBP编码图；(三)得出LBP编码图后与前面帧的LBP编码图比对，找出与F_m ^C匹配度最高的F_n ^L；(四)根据匹配度、中心位置距离关系判断是否为同一个人；若是将同一人物的人脸图像归为同一类，若不是在F^L序列中添加F_j+1 ^L＝F_m ^C；(五)重复(二)-(四)，直到当前帧待匹配序列被历遍；(六)回到第(一)步处理下一帧。本发明采用旋转的统一模式的LBP特征对人物身份进行分类判别，使同一人的人脸归为一类，解决了传统人脸跟踪方法中人物被遮挡后信息随之丢失的问题，扩展了人脸跟踪系统的功能，提高了其应用价值。

Description

基于分类识别的人脸跟踪方法

技术领域

本发明涉及一种人脸跟踪的方法，特别涉及一种视频中人脸跟踪的方法。

背景技术

人脸跟踪技术在安全监控、身份识别、虚拟游戏等方面具有广泛的实际应用价值。然而传统的人脸跟踪方法在实际应用中还存在着一些性能和功能上的不足。尤其是对于同一个人脸间断出现的情况(如被障碍物或其他人脸遮挡了几帧)，由于中间跟踪信息的丢失，当同一个人再次出现时基于颜色的跟踪方法将无法判别出重新检测出来的人脸与之前跟踪丢失的人脸是否为同一个人。

此外，在实时的视频安全监控的应用中，一般的做法是对每一帧跟踪到的所有人脸图像都与数据库的所有目标模板进行比对，当比对发现与目标模板匹配的时候发出警报。这样做的一个缺点就是对每一帧出现的每一个人脸都要与数据库模板比对一次，比对部分的运算量比较大，尤其是在目标模板的数量比较多的时候，比对部分的开销会直接影响到系统的负担和处理速度，使得系统在实际应用中受阻。

Timo Ojala在1996年提出的局部二元模式(Local Binary Pattern，简称LBP)是一种能有效表达图像纹理信息的算子，在纹理信息处理方面得到了非常广泛的应用。而LBP的扩展模式“统一模式”(Uniform Patterns)在人脸识别方面有着良好的表现，成为现在主流的人脸识别方法之一。Timo Ahonen等人系统地探讨了如何利用LBP特征来进行人脸识别，得出了令人满意的结果。

发明内容

本发明的目的在于克服现有的人脸跟踪方法的不足，提供一种实用性强、不会造成跟踪信息丢失、比对运算量小的基于分类识别的人脸跟踪方法。

本发明的目的通过下述技术方案实现：基于分类识别的人脸跟踪方法，其特征在于包括以下步骤：

(一)从当前帧跟踪到的人脸序列

中截取出跟踪到的人脸图像，调整每一帧跟踪到的人脸图像，使其大小一致，保存到当前帧待匹配人脸序列

前面帧待匹配人脸序列为

(二)依次取出当前帧待匹配人脸序列中的每一个人脸图像

计算其对应的LBP编码图；

(三)得出人脸图像

的LBP编码图后，与前面帧待匹配人脸序列的LBP编码图比对，找出与

匹配度最高的

(四)根据

与

的LBP特征匹配度、中心位置距离关系判断它们是否为同一个人；如果是，则将同一个人物的人脸图像归为同一类，如果不是，在前面帧待匹配人脸序列F^L中添加

(五)重复步骤(二)-(四)，直到当前帧待匹配人脸序列被遍历为止；

(六)当前面帧处理结束以后，回到第(一)步处理下一帧。

作为本发明的优选方案，在上述基于分类识别的人脸跟踪方法的步骤(一)中，用于记录前面帧待匹配人脸序列

中对应的人脸目标连续没有出现的帧数的计时器序列为{C₁，C₂......C_j}，当所对应的人脸目标出现时计时器清零，当计时器超出允许的最大值C_MAX时判别该人脸目标已经离开画面范围；步骤(四)中，如果是同一个人时，把

替换为

计时器C_n置零；如果不是同一个人时，在计时器序列C中添加C_j+1＝0；步骤(六)中，当前面帧处理结束以后，所有计时器的值加1。增加计算器序列后，本发明跟踪方法可将一定长时间内未出现在视频中的人物图像删除，从而减小了跟踪时的比对运算量；当所删除的人物再次出现时，就将该人物作为新的人物，增加到前面帧待匹配人脸序列中。

作为本发明的优选方案，上述基于分类识别的人脸跟踪方法的步骤(二)计算LBP编码图的步骤如下：提取中心像素点的原始LBP特征；根据原始LBP特征，计算旋转的统一模式的LBP编码，计算公式为：

${\mathrm{LBP}}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{c}\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c),U\left(G_p\right)\≤2\\ P+1,U\left(G_p\right)>2\end{array}\right.$

其中，

g_c为中心点的灰度值，g₀......g_P-1为邻域中抽样点的灰度值；s(x)为步函数，当x大于等于0时取1，否则取0；P表示在邻域中取样点的个数，R表示取样邻域的半径。

步骤(三)比对的具体步骤为：设两个人脸的LBP编码直方图分别为H₁和H₂，并设H₁(i)为LBP编码直方图H₁对应第i维上的值，H₂(i)为LBP编码直方图H₂对应第i维上的值，两个直方图的卡方距离X²(H₁，H₂)为：

$X^2(H_1,H_2)=\underset{i}{\mathrm{\Σ}}\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)}$

X²(H₁，H₂)值最小的匹配度最高。

优选地，本发明步骤(四)中，当同时符合以下4个条件时，判别两个人脸属于同一个人：

a)两个人脸的LBP特征匹配度大于阈值α；

b)两个人脸的中心位置距离小于阈值β；

c)如果有多个待匹配的人脸目标，当前人脸与匹配人脸的LBP特征匹配度大于当前人脸与其它待匹配人脸的LBP特征匹配度；

d)两个人脸所相隔的帧数小于或等于C_MAX。

本发明与现有技术相比，具有如下优点及有益效果：

1)本发明通过提取跟踪目标相关的LBP特征来对前后数帧中出现的人脸进行匹配，达到具有分类识别功能的效果，用分类识别来补充跟踪方面的不足，解决了人脸跟踪系统中跟踪信息丢失的技术问题，提高人脸跟踪系统的实际应用价值，改善了人脸跟踪系统的功能。

2)本发明用能够识别人脸身份的LBP特征对先后出现的人脸图像进行身份比对，有效解决了跟踪过程中人物被暂时遮挡的问题，这是传统的人脸跟踪方法不能做到的。而且本发明所用的LBP特征的计算简单，系统具有实时性，符合实际应用的要求。

3)本发明把视频中一定时间范围内出现人脸图像进行分类，使得同一个人的人脸归为一类。这种识别虽然不是直接确认出该人脸的身份，但能对人脸的身份进行分类，用每一类身份中的一张人脸与模板进行比对，代替原来的每一张人脸与模板进行比对，大大地减少比对的次数，减少了比对的运算量。

附图说明

图1是本发明的算法流程图；

图2是LBP算子的计算过程；

图3是人脸灰度图像及其LBP编码图；

图4是本发明测试用的6组人脸图像；

图5是本发明的分类跟踪结果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明基于分类识别的人脸跟踪方法，其实施过程的算法流程如图1所示，实施步骤如下：

(1)以CAMShift算法为基础建立基本的人脸跟踪系统，具体见“Gary R.Bradski，‘Computer Vision Face Tracking For Use in a Perceptual User Interface’，Intel Technology Journal Q2’98”。

(2)从当前帧跟踪到的人脸序列

中截取出跟踪到的人脸图像，调整每一帧跟踪到的人脸图像，使其大小一致，保存到待匹配人脸序列

前面帧保存的待匹配人脸序列为

对应的计时器为{C₁，C₂......C_j}(计时器用于记录该人脸目标连续没有出现的帧数，当该目标出现时计时器清零，当计时器超出允许的最大值时判别该目标已经离开画面范围)，匹配度控制阈值为α，中心位置距离控制阈值为β。其中计时器允许的最大值为C_MAX，因此人脸目标若连续C_MAX帧都没出现，则系统将该人脸目标的图像删除，从而进一步减小了比对的运算量。

需要说明的是，本步骤将人脸图像调整成相同大小只是为了计算LBP编码图，调整以后的图像以序列的形式另存在一个内存空间内进行比对运算；而原来的人脸在图像中的位置和大小信息还会被保留下来，用于衡量两个人脸之间的距离。在本实施例中，α为231，β为两个人脸图像比对时面积较大的一方的人脸框对角线长度的1.3倍，C_MAX为15。

(3)依次取出当前帧序列中的每一个人脸

计算其对应的LBP编码图(如图3所示)。

计算LBP编码图时，首先要提取人脸图像旋转的统一模式的LBP特征。LBP特征的具体提取过程在“Timo Ahonen，Abdenour Hadid & Matti Pietikainen，‘FaceRecognition with Local Binary Patterns，Computer Vision Proceedings’，ECCV，Lecture Notes in Computer Science 3021，Springer，2004，pp.469-481”中有记载。

如图2所示，LBP提取过程为：采用一个3×3像素的窗口作为基本的LBP算子，每个窗口中的像素用其灰度值来表示，周围8个像素点中灰度值大于或者等于中心点灰度值的话就先标记为1，否则就标记为0。然后按顺时针方向把这些0、1标记读出，串连成为一个二进制码，作为该中心像素点的原始LBP特征值。

“统一模式”(Uniform Patterns)的LBP算子是原始LBP算子的另一种重要拓展，在人脸识别中具有重要的应用价值。“统一模式”的LBP特征通过对原始LBP特征进行降维，减少了匹配特征时的计算量，而且其识别性能比原始LBP特征要高。在LBP特征的二进制模式串中，将模式串看作环形结构，定义至多出现两次0、1变换(0到1变换或1到0变换)的二进制模式为“统一模式”的LBP码，例如00000000、11000000。具有这种“统一”特性的LBP码在LBP特征提取中具有重要作用。统计表明，在LBP_8，1和LBP_16，2编码中，这种“统一”的LBP码的比重分别占到90％以上和70％以上。所以LBP特征信息很大一部分都是集中在这种“统一”的LBP码上。一种简单的能够度量LBP码的“统一性”的方法就是计算一个LBP码移位一位后与原码的差，如下式所示：

$U\left(G_p\right)=|s(g_{p-1}-g_c)-s(g_0-g_c)|+\underset{p=1}{\overset{P-1}{\mathrm{\Σ}}}|s(g_p-g_c)-s(g_{p-1}-g_c)|$ ①

其中g_c为中心点的灰度值，g₀......g_P-1为邻域中抽样点的灰度值，s(x)为步函数(当x大于等于0时取1，否则取0)。用上式计算出来的“统一值”小于等于2的LBP码就是“统一”的LBP码。根据公式①可得00000000的“统一模式”LBP码值为0，11000000的“统一模式”LBP码值为2。

而“旋转的统一模式”的LBP编码是着重于区分“统一”的LBP特征，对于“非统一”的LBP特征看作同一类来处理，从而减少了特征的维数。如图2所示，中心像素点的LBP码为01001001，属于出现了三次0、1变换的二进制模式，为“非统一”的LBP码。用

来表示“旋转的统一模式”的LBP编码(上标riu2表示是“旋转的统一模式”)，则有：

${\mathrm{LBP}}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{c}\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c),U\left(G_p\right)\≤2\\ P+1,U\left(G_p\right)>2\end{array}\right.$ ②

其中，g_c为中心点的灰度值，g₀......g_P-1为邻域中抽样点的灰度值，s(x)为步函数(当x大于等于0时取1，否则取0)，下标P表示在邻域中取样点的个数，R表示取样邻域的半径。根据公式②，图2中心像素点为非统一LBP码，P＝8，R＝1，它的“旋转的统一模式”LBP码为P+1＝9。

(4)得出人脸图像

的LBP编码图后，就与前面帧

的LBP编码图比对，找出与

匹配度最高的

两个人脸的LBP特征通过比较它们的LBP编码直方图来得到它们之间的匹配度。要说明的是，为了得到更好的匹配准确度，LBP编码直方图并不是直接统计整幅图像的LBP编码值得来。在统计直方图之前应把人脸图像划分为m×n个小区域(本文采用的是4×5)，统计出每个小区域的LBP编码直方图后再按顺序把所有小区域的直方图组合成整幅图像的LBP编码直方图。如第一个小区域的直方图h₁各维的值分别为h₁(0)＝1、h₁(1)＝5、h₁(2)＝0，第二个小区域的直方图h₂各维的值分别为h₂(0)＝4、h₂(1)＝2、h₂(2)＝3，则由这两个小区域直方图组合出来的整幅图像的直方图H各维(维数为所有小区域直方图维数之和)的值分别为H(0)＝1、H(1)＝5、H(2)＝0、H(3)＝4、H(4)＝2、H(5)＝3。

比对的具体步骤为：设两个人脸的LBP编码直方图分别为H₁和H₂，并设H₁(i)为LBP编码直方图H₁对应第i维上的值，H₂(i)为LBP编码直方图H₂对应第i维上的值。定义两个直方图的卡方距离X²(H₁，H₂)为：

$X^2(H_1,H_2)=\underset{i}{\mathrm{\Σ}}\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)}$ ③

因此，计算得到的X²(H₁，H₂)的值越小，表明两个人脸的LBP编码直方图越相似，匹配度越高。

(5)根据

与

的LBP特征匹配度、中心位置距离关系判断它们是否为同一个人，是的话将同一个人物的人脸图像归为同一类(类别中保存该人物的类别号和人物的最新一幅人脸图像)，具体为：把

替换为

计时器C_n置零；不是的话表明出现新的人物，则增加新类，具体为：在F^L序列中添加

在C序列中添加C_j+1＝0。在本发明中，中心位置距离通过计算直方图的卡方距离获得。

在本发明中，当同时符合以下4个条件时，判别两个人脸属于同一个人：

a)两个人脸的LBP特征匹配度大于阈值α；

b)两个人脸的中心位置距离小于阈值β；

c)如果有多个待匹配的人脸目标，当前人脸与匹配人脸的LBP特征匹配度大于当前人脸与其它待匹配人脸的匹配度；

d)两个人脸出现的时间不能相差太远。

在本实施例中，两个人脸出现的时间差通过计时器体现出来；条件d)等同于两个人脸所相隔的帧数小于或等于C_MAX。

(6)重复步骤(3)-(5)，直到当前帧待匹配序列

被遍历为止。

(7)当前面帧处理结束以后所有计时器的值加1，并从F^L序列中删除计时器值大于C_MAX的人脸(即对于已经很长时间都没有出现的人物，则把其从类序列中删除)，回到第(2)步处理下一帧。

通过以上步骤，就可以组成一个能够对相同身份的人物进行连续跟踪的系统。

下面将结合例图来说明采用本发明的人脸跟踪实验结果：

为了说明本方法采用的“旋转的统一模式”LBP特征和LBP特征的匹配方法在人脸分类识别中的有效性，首先采用静态人脸图片来做LBP特征匹配度比较的实验。如图4所示为测试图片，共有6组人脸图像，其中每组里面有3张人脸图像，同一组里的人脸对应同一个人，处理的时候所有图片的大小均统一调整为100×100像素，以便于后面的匹配。

对图4中的18张人脸图像分别计算其“旋转的统一模式”LBP编码图，并用②式对这些LBP编码图进行两两匹配，计算其直方图的卡方距离值，结果如下表1所示：

表1  LBP编码图像两两匹配结果

从表1的匹配结果可以看到，相同图像的卡方距离值基本上为0；同一个人的不同人脸图像的卡方距离值都比较小，一般在200以下；而不同人的人脸图像之间的卡方距离值则比较大，一般在300以上。由此可见，本文采用的“旋转的统一模式”LBP特征是可以有效区分出不同人物的人脸图像的，而比对所需的时间也很短，每次比对只需3毫秒左右，因此这种算法是符合实际应用要求的。

接下来就按照图1的方法把人脸分类识别加入到跟踪系统中，测试整个系统的运行情况。实验采用320×240大小的视频序列作为输入，分类跟踪的部分结果如图5所示。

图5中的矩形框为跟踪到的人脸，框里的数字表明该人脸的身份识别号码，不同帧中具有相同数字的人脸判别为同一个人。用视频中实际出现的人物数与系统跟踪到的人物数作对比，统计结果如下表2所示(误异判是指相同的人被判别为不同的人，误同判是指不同的人被判别为相同的人)：

	实际人物数	跟踪人物数	误异判数	误同判数	准确率
						视频1	17	18	2	1	83.33％
视频2	25	27	4	1	81.48％

表2  分类跟踪结果统计

由图5的结果可以看出：

1、对于同一个人连续出现若干帧的情况，都能比较准确地判别为相同身份，如图5中的(a)、(b)所示。

2、对于新出现的人物，都能比较准确地判别出来，为其分配一个新的身份识别号码，如(b)到(c)。

3、对于人物在连续出现时有部分时间被遮挡的情况，在人物遮挡前后两部分的人脸能判别为属于同一个人，如(d)至(f)的8号，(h)至(j)的12、13号。

总体来说，从结果可以看到本文采用的识别跟踪方法是有效的，在大部分的情况下都能把出现进行准确的分类。本方法在人脸跟踪中加入的基于LBP特征的人脸分类识别功能可以对一定时间范围内出现人脸图像进行快速的分类，使得同一个人的人脸归为一类，使其在身份识别的应用中能大大地减少比对次数，并解决了传统人脸跟踪方法中人物被暂时遮挡后信息随之丢失的问题，扩展了人脸跟踪系统的功能，提高了其应用价值。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于分类识别的人脸跟踪方法，其特征在于包括以下步骤：

(一)从当前帧跟踪到的人脸序列

中截取出跟踪到的人脸图像，调整每一帧跟踪到的人脸图像，使其大小一致，保存到当前帧待匹配人脸序列前面帧待匹配人脸序列为

(二)依次取出当前帧待匹配人脸序列中的每一个人脸图像

计算其对应的LBP编码图；

(三)得出人脸图像

的LBP编码图后，与前面帧待匹配人脸序列

的LBP编码图比对，找出与

匹配度最高的

(四)根据

与

的LBP特征匹配度、中心位置距离关系判断它们是否为同一个人；如果是，则将同一个人物的人脸图像归为同一类，如果不是，则在前面帧待匹配人脸序列F^L中添加

(五)重复步骤(二)-(四)，直到当前帧待匹配人脸序列被遍历为止；

(六)当前面帧处理结束以后，回到第(一)步处理下一帧；

步骤(一)中，用于记录前面帧待匹配人脸序列

中对应的人脸目标连续没有出现的帧数的计时器序列为{C₁，C₂......C_j}，当所对应的人脸目标出现时计时器清零，当计时器超出允许的最大值C_MAX时判别该人脸目标已经离开画面范围；

步骤(四)中，如果是同一个人时，把

替换为

计时器C_n置零；如果不是同一个人时，在计时器序列C中添加C_j+1＝0；

步骤(六)中，当前面帧处理结束以后，所有计时器的值加1；

步骤(二)计算LBP编码图的步骤如下：提取中心像素点的原始LBP特征；根据原始LBP特征，计算旋转的统一模式的LBP编码

计算公式为：

${\mathrm{LBP}}_{P,R}^{\mathrm{riu}2}=\left\{\begin{array}{c}\underset{p=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_p-g_c),U\left(G_p\right)\≤2\\ P+1,U\left(G_p\right)>2\end{array}\right.$

其中，

g_c为中心点的灰度值，g₀......g_P-1为邻域中抽样点的灰度值；s(x)为步函数，当x大于等于0时取1，否则取0；P表示在邻域中取样点的个数，R表示取样邻域的半径。

2.根据权利要求1所述的基于分类识别的人脸跟踪方法，其特征在于步骤(三)比对的具体步骤为：设两个人脸的LBP编码直方图分别为H₁和H₂，并设H₁(i)为LBP编码直方图H₁对应第i维上的值，H₂(i)为LBP编码直方图H₂对应第i维上的值，两个直方图的卡方距离X²(H₁，H₂)为：

$X^2(H_1,H_2)=\underset{i}{\mathrm{\Σ}}\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)}$

X²(H₁，H₂)值最小的匹配度最高。

3.根据权利要求1所述的基于分类识别的人脸跟踪方法，其特征在于：

步骤(四)中，当同时符合以下3个条件时，判别两个人脸属于同一个人：

a)两个人脸的LBP特征匹配度大于阈值α；

b)两个人脸的中心位置距离小于阈值β；

c)如果有多个待匹配的人脸目标，当前人脸与匹配人脸的LBP特征匹配度大于当前人脸与其它待匹配人脸的LBP特征匹配度。

4.根据权利要求2所述的基于分类识别的人脸跟踪方法，其特征在于：

步骤(四)中，当同时符合以下4个条件时，判别两个人脸属于同一个人：

a)两个人脸的LBP特征匹配度大于阈值α；

b)两个人脸的中心位置距离小于阈值β；

c)如果有多个待匹配的人脸目标，当前人脸与匹配人脸的LBP特征匹配度大于当前人脸与其它待匹配人脸的LBP特征匹配度；

d)两个人脸所相隔的帧数小于或等于C_MAX。

5.根据权利要求4所述的基于分类识别的人脸跟踪方法，其特征在于：当采用旋转的统一模式的LBP编码且特征匹配度采用卡方距离来计算时，所述α为231，β为两个人脸图像比对时面积较大的一方的人脸框对角线长度的1.3倍，C_MAX为15。

Images