CN101661554A - 远距离视频下的正面人体自动身份识别方法 - Google Patents

Abstract

本发明提供的是一种远距离视频下的正面人体自动身份识别方法。包括步态模块和人脸模块；首先读入视频文件，用Adaboost方法检测行人，若检测到便自动开启人脸模块和步态模块，分别对步态和人脸采用核主成分分析进行特征提取，最后采用人脸特征辅助步态特征在决策级的融合方法进行识别。本发明为远距离身份识别提出新的解决思路，采用人脸特征辅助步态特征在决策级融合方法。在单样本的步态识别中辅助人脸特征的优点在于，即使步态训练样本是单样本，而人脸图像是多个的，这样便从另外一个角度扩充了训练样本的数目，有助于身份识别，融合人脸特征可以提高2.4％的识别精度。

Description

远距离视频下的正面人体自动身份识别方法

(一)技术领域

本发明属于模式识别技术领域，具体涉及步态识别方法。

(二)背景技术

美国国防部高级研究项目署DARPA在2000年资助的HID计划中，联合了马里兰大学、麻省理工学院、卡耐基梅隆大学等诸多知名院校参与，它的任务就是开发多模式的、大范围的视觉监控技术以实现远距离下的人的检测、分类与识别，从而增强国防、民用等场合免受恐怖分子的袭击。另外，加拿大、日本、瑞士等国家的一些高校和研究机构也开始了这方面的积极探索。国内也展开了这方面的研究，中国科学院自动化所模式识别国家重点实验室(NLPR)最早就“基于步态的身份识别”问题展开了深入的研究。步态识别是根据人们走路姿势的不同来识别其身份的，步态识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值，因此激发了国内外广大科研工作者的研究热情。与此相关的公开报道有：

[1]Constantine P P，Michael O，Tomaso P.A general framework for objectdetection[C].Sixth International Conference on Computer Vision，1998：555-562；

[2]Oren M，Papageorgiou C，Sinha P，et al.Pedestrian detection using wavelettemplates[C].IEEE Computer Society Conference on Computer Vision and PatternRecognition，1997：193-199；

[3]Paul Viola，Michael J J.Rapid object detection using a boosted cascade of simplefeatures[C].IEEE CVPR，2001；

[4]Rainer Lienhart，ochen Maydt.An extended set of haar-like features for rapidobject detection[C].IEEE ICIP，2002；

[5]Zhang D，Chen S，Zhou Z.Recognizing face or object from a single image：Linear vs.kernel methods on 2d patterns[C].In：Proceedings of the Joint IAPRInternational Workshops on Structural and Syntactic Pattern Recognition andStatistical Techniques in Pattern Recognition(S+SSPR′06)，HongKong，China，2006：889-897；

[6]王海贤.有限混合模型、非线性二维主成分分析及其在模式分类中应用[D].安徽大学博士学位论文，2005。

但至今未见成型的步态识别系统，现有研究停留在理论上。

(三)发明内容

本发明的目的在于提供一种能够提高识别精度的远距离视频下的正面人体自动身份识别方法。

本发明的目的是这样实现的：

本发明的远距离视频下的正面人体自动身份识别方法，包括步态模块和人脸模块；首先读入视频文件，用Adaboost方法检测行人，若检测到便自动开启人脸模块和步态模块，分别对步态和人脸采用核主成分分析(KPCA)进行特征提取，最后采用人脸特征辅助步态特征在决策级的融合方法进行识别。

所述的用Adaboost方法检测行人，是对读入的视频文件采用Adaboost方法检测人体，并加入帧间差分方法验证。

所述的步态模块是对步态序列图像进行预处理，再进行步态周期检测，最终将表征步态特征的步态能量图归一到64*64像素。

所述的人脸模块是用Adaboost方法检测人脸，再进行肤色验证判断，将人脸图像灰度化并统一归一到32*32像素。

为了实现实时的自动步态识别，本发明设计出一套远距离视频下的正面人体自动身份识别系统。考虑到Constantine等人^[1]使用Adaboost方法对物体检测提出了一个整体框架，Oren等人^[2]使用Haar小波进行行人检测，P.Viola^[3]提出了一种基于Haar特征的Adaboost算法，已达到实时的效果，Rainer等人采用积分图^[4]进一步降低计算成本，本发明也将Adaboost方法嵌入到自动身份识别系统中。

本发明的主要贡献和特点在于：为远距离身份识别提出新的解决思路，采用人脸特征辅助步态特征在决策级融合的方法。在单样本的步态识别中辅助人脸特征的优点在于，即使步态训练样本是单样本，而人脸图像是多个的，这样便从另外一个角度扩充了训练样本的数目，有助于身份识别，融合人脸特征可以提高2.4％的识别精度。

(四)附图说明

图1是远距离视频下的正面人体自动身份识别系统的模块组成示意图；

图2是使用的矩形特征；

图3是检测错误的人脸情况；

图4是加入肤色验证的检测结果；

图5是检测错误的人体情况；

图6是加入差分验证的检测结果；

图7是部分肢体占身高比例；

图8是单独步态特征的识别结果，其中“fn”表示前n个样本训练，“sn”表示单独第n个样本训练；

图9是人脸特征辅助步态特征识别的性能比较表1。

(五)具体实施方式

下面结合附图举例对本发明做更详细地描述：

1.行人检测与人脸检测

行人检测与人脸检测均采用Adaboost算法实现。

1.1Adaboost算法

给定样本图像集(x₁，y₁)，...，(x_n，y_n)，其中y_i＝{0，1}分别表示负样本和正样本。初始化权值：

分别对应y_i＝0，1样本的权值

其中m，l分别表示负、正样本个数。

Adaboost算法训练的过程如下：

(1)权值归一化，

对于每一个特征j，构造弱分类器h_j，统计样本集上特征j分布的极大值F_max(j)和极小值F_min(j)，令穷举搜索阈值参数θ_j∈[F_min(j)，F_max(j)]，使得h_j的错误率ε_j最小，

ε_j＝∑_iw_i|h_j(x_i)-y_i|    (1)

(2)选择ε_t＝arg minε_j，并将其对应的弱分类器作为h_t；

(3)更新样本权重：

如果样本x_i被正确分类，则e_i＝0；否则e_i＝1，其中，

${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}---\left(2\right)$

(4)最后输出强分类器

$h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\\ 0& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中：

重复(1)～(4)过程T次，t＝1，...，T。

1.2Adaboost检测人脸模块以及肤色验证

本发明将Adaboost与积分图的Haar-like特征结合检测人脸，并采用矩形特征如图2所示。Adaboost分类器是由多层弱分类器级联而成，从第一层分类器出来的正确结果触发第二层分类器，从第二层出来的正确结果触发第三层分类器，以此类推。相反，从任何一个结点输出的被否定的结果都会导致对这个子窗口的检测立即停止。通过设置每层的阈值，使得绝大多数人脸都能通过，非人脸不能通过，这样靠近级联分类器后端的层拒绝了大部分的非人脸。

人脸检测结果如图3所示，深色矩形框为检测到的人脸区域。这里存在检测错误的情况，因为视频场景中的某些区域类似于人脸的局部特征，眼睛部位的“黑白黑”与定标带十分相近。若保留这些样本，对远距离的身份识别不利。我们发现，检测错误的人脸与真实人脸相差甚远，人肉眼很容易区分，这里采用肤色模型对人脸区域加以验证。不同种族、不同年龄、不同性别的人的肤色看起来存在差异，这个差异主要体现在亮度上，当去除亮度，肤色就具有很高的聚类性，选取YCbCr色彩空间，归一色度直方图后假定肤色满足二维高斯模型

p(Cb，Cr)＝exp[-0.5(x-m)^TC^-1(x-m)]    (4)

其中：m为均值，C为协方差矩阵，x＝(Cb，Cr)^T。通过式(4)得肤色似然图像，Ostu法求出最佳二值化阈值，从而区分人脸与非人脸。Adaboost加上肤色模型验证结果如图4所示。

1.3Adaboost行人检测模块

设置Adaboost行人检测模块的目的在于该系统能够触发自动开启步态周期检测模块和人脸检测模块。Adaboost行人检测模块设计思想与Adaboost人脸检测的基本一致，选用的也是“矩形特征”，由于我们想实现的是正面行人检测，我们没有选择“三角特征”。单纯的Adaboost行人检测也会出现误检情况，如图5所示，浅色的矩形框为检测人体的结果，将支架也检测为人体，这是因为支架的“腿”与人的腿部类似。因此需要验证环节，鉴于步态识别的研究对象是行人的姿态，必然是运动个体，而支架始终是静止不动的，假定室内光线不会出现急剧的变化，将相邻两帧图像中的人体中各像素点的RGB值按下式进行运算：

m＝|r₁-r₂|+|g₁-g₂|+|b₁-b₂|    (5)

式中，r₁，g₁，b₁和r₂，g₂，b₂分别为相邻两帧的图像中待处理像素点的RGB值。把当前图像的Em和预设阈值T进行比较，当Em＞T时，认为其区域属于步态区域，人体检测浅色矩形框给予保留；反之，当Em≤T时，则认为其区域属于非步态区域，人体检测浅色矩形框删除。其中，E*表示期望。针对CASIA(B)视频，考虑一定的光照影响，选择T＝20。Adaboost加上差分验证的实验结果如图6所示。

2.步态预处理与周期检测

读入视频文件，用Adaboost方法检测行人，若检测到便自动对步态序列图像进行预处理，以便进行步态周期检测。

2.1步态序列图像预处理

为了提取人体目标，首先从原始视频中提取单帧图像进行灰度变换；然后计算各像素点在逐帧中的中值，作为整个序列的背景图像；最后，采用背景减除法提取人体目标，用数学形态学填补二值化图像的空洞、单连通分析提取人的侧影。为了消除图像大小对识别的影响应使人体居中，将图像的大小统一为64*64像素。

2.2周期检测

步态周期定义为同一只脚连续两次脚跟触地的时间间隔。在进行步态识别时，通常提取一个步态周期或多个步态周期的平均来进行分析。因为在一个周期内比较，一方面能够消除图像序列长度不同的影响；另一方面，也能够降低特征提取、分类识别的运算复杂度。

解剖学中，利用人体的正面影像抽取人体的骨架，假设H表示人体身高，则部分肢体占身高的比例关系如图7所示。统计下臂摇摆区域的像素数目的逐帧变化来判定步态周期。具体方法如下：设累计区域像素值为NH，找到NH的一个局部极小值(或极大值)，然后按顺序向后查找NH的第3个极小值(或极大值)，记下这两帧图像在序列中的帧号，则两帧中间所夹的就是一个步态周期。前面所述的步态序列图像预处理中已将图像统一归一到64*64像素，则下臂摇摆区域在图像平面的第25～29行。

3.特征提取与识别

采用CASIA(B)步态数据库上的正面视角实验，该库包含124个人。选择正常步态作为研究对象。实验分为两个阶段：训练阶段和识别阶段。训练时，读入视频文件，首先采用Adaboost方法和差分验证进行行人检测，一旦检测到存在运动人体，便自动开启步态周期检测模块和人脸检测模块(包含Adaboost人脸检测模块和肤色验证)。由于远距离情况下，人脸区域很小，主要以步态作为身份识别的依据，人脸为辅助特征。将人脸图像归一到32*32像素；通过检测到的一个周期的步态图像加权平均生成GEI，即

$G(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{B}_t(x,y)---\left(6\right)$

其中，B_t(x，y)为步态单帧图像，N是步态周期的长度，t为时间，x，y为二维图像平面坐标。

采用KPCA方法分别进行步态和人脸的特征提取，通过核映射升维，使原输入数据在Rⁿ空间中线性不可分的模式在特征空间F中可能变得线性可分。本专利并没有采用基于矩阵的核主成分分析方法(如核二维主成分分析，K2DPCA)，这是因为K2DPCA定义的图像矩阵A_i(i＝1，...，M)(A_i∈R^m×n)的核映射为

$\mathrm{\Φ}\left(A_i\right)={[\mathrm{\φ}{\left(A_i^1\right)}^T,...,\mathrm{\φ}{\left(A_i^m\right)}^T]}^T---\left(7\right)$

其中，A_i ^j为A_i ^j的第j(j＝1，...，m)个行向量。它的本质是将图像矩阵的行作为输入单元进行KPCA，将样本数扩充到原来的行数(m)倍，是KPCA分段线性化的特殊情况，理论上应该比KPCA获得更好的识别结果。但是K2DPCA的核矩阵维数将变为原来的m²倍，这无疑会造成核矩阵的特征值、特征向量求取的计算负担。张道强在文献[5]中提出的近似计算方法，也需要计算一个维数为M×M大小的核矩阵和另外一个维数为Mm×M大小的核矩阵，在求取投影轴也较KPCA加大了计算量。王海贤在他的博士论文^[6]中对K2DPCA提出了三种改进模型，但是计算复杂度都很大。所以，本专利采用KPCA方法，核函数选择为高斯核函数：κ(x，y)＝exp(||x-y||²/2σ²)，其中核宽度σ选择为训练样本的标准差。

3.1单独步态特征

由于每人有6个样本，分别选择前5个样本、前4个样本、前3个样本、前2个样本和单样本训练，余下的样本采用最近邻分类器(NN)来测试识别。实验结果如图8所示。我们发现，特征维数等于样本数时，有最佳识别率，当保留特征的维数越少时，识别率下降；当特征维数相等时，每一类提供的训练样本越多，识别率就越高；单样本训练的识别率较多样本训练下降得很多，因为一个样本存在很大的局限性与特殊性，而且如果没有先验知识，也很难做到通过一个样本去扩充生成多个样本。前5个样本训练时得到的识别精度为95.97％，此时的特征维数为110维；而单样本训练的平均识别精度为88.52％，特征维数保持在124维。

3.2人脸特征辅助步态特征

当步态存在多个训练样本时，识别性能较好，但是一旦出现训练样本只有一个时，识别率会大大降低，所以针对此问题，本发明采用人脸特征辅助步态特征进行远距离的视频下正面人体身份自动识别任务，分别采用KPCA对GEI和人脸灰度特征进行特征提取，识别时采用计分法对两组特征在决策级融合的方法，计分方法如下：

$\mathrm{Score}(X,j)=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}{w}_i{\mathrm{\μ}}_j\left(X_i\right)---\left(8\right)$

式中：X是待识别样本；X_i是待识别样本X的第i种特征；w_i是一个权值，其值来自利用第i种特征识别时的识别率，是一个先验概率；μ_j(X_i)表示待识样本X，利用第i种特征对第j类的隶属度，

${\mathrm{\μ}}_j\left(X_i\right)=\frac{1/\left|\right|X_i-c_{\mathrm{ij}}|{|}^{2/(b-1)}}{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}1/{\left|\right|X_i-c_{\mathrm{ij}}\left|\right|}^{2/(b-1)}}---\left(9\right)$

其中，b＞1是一个可以控制聚类结果的模糊程度的常数，通过实验选取b＝1.5；k为总的类别数；c_ij为利用第i种特征的第j类的聚类中心，且c_ij通过k-均值聚类方法得到。若

则X属于类c。

在单样本训练的步态识别中，为了验证人脸特征辅助步态特征的有效性，采用上述决策级融合方法，实验结果如表1所示，人脸特征辅助步态特征识别可以较单独的步态特征提高2.4个百分点。辅助人脸特征的优点在于，即使步态训练样本是单样本，而人脸图像是多个的，这样便从另外一个角度扩充了训练样本的数目，有助于身份识别。

Claims (5)

1、一种远距离视频下的正面人体自动身份识别方法，其特征是：包括步态模块和人脸模块；首先读入视频文件，用Adaboost方法检测行人，若检测到便自动开启人脸模块和步态模块，分别对步态和人脸采用核主成分分析进行特征提取，最后采用人脸特征辅助步态特征在决策级的融合方法进行识别。

2、根据权利要求1所述的远距离视频下的正面人体自动身份识别方法，其特征是：所述的用Adaboost方法检测行人，是对读入的视频文件采用Adaboost方法检测人体，并加入帧间差分方法验证。

3、根据权利要求1或2所述的远距离视频下的正面人体自动身份识别方法，其特征是：所述的步态模块是对步态序列图像进行预处理，再进行步态周期检测，最终将表征步态特征的步态能量图归一到64*64像素。

4、根据权利要求1或2所述的远距离视频下的正面人体自动身份识别方法，其特征是：所述的人脸模块是用Adaboost方法检测人脸，再进行肤色验证判断，将人脸图像灰度化并统一归一到32*32像素。

5、根据权利要求3所述的远距离视频下的正面人体自动身份识别方法，其特征是：所述的人脸模块是用Adaboost方法检测人脸，再进行肤色验证判断，将人脸图像灰度化并统一归一到32*32像素。

Images