CN101587541A - 基于人体轮廓的人物识别方法 - Google Patents

Abstract

本发明涉及一种基于人体轮廓的人物识别方法，具体涉及一种从单个固定摄像机提取人体轮廓信息，并据此特征信息将人物分辨出来的方法。包括：(1)提取目标人物视频中的人体轮廓前景图像；(2)人体轮廓图像的高度、宽度、步态周期等信息的提取与人体轮廓图像缩放；(3)合成步态能量图；(4)求出步态能量图的梯度直方图；(5)主元分析、最近邻匹配。本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点，在降低噪声影响的同时，又把人体轮廓信息凸现出来，可广泛应用于非接触式远距离的身份识别，智能监控，辅助破案等。

Description

基于人体轮廓的人物识别方法

技术领域

本发明涉及一种基于人体轮廓的人物识别方法，具体涉及一种从单个固定摄像机提取人体轮廓信息，并据此特征信息将人物分辨出来的方法。可广泛应用于非接触式远距离的身份识别，智能监控，辅助破案等，属于模式识别中的人物识别领域。

背景技术

随着科学技术的飞速发展，利用摄像机来监控动态场景早已被广泛应用于社会各个领域，例如对安全性要求敏感的门禁系统、安全监控。由于广泛的应用前景和潜在的经济价值，人体运动的视频监控是近年来备受关注的前沿课题，而利用生物识别技术辅助人体运动分析更是发展的趋势。在目前的远距离身份识别视频监控系统中步态被认为是最具潜力的生物特征，脸像、指纹、虹膜等第一代生物特征，通常要求近距离地或者接触性地感知，如指纹需要接触指纹扫描仪、脸像需要近距离捕捉以满足分辨率等。而步态在此方面却突出了它的优越性，尤其是在远距离的情况下，人的步态易于感知、非侵犯性、非接触性、难于隐藏和伪装的优点已经使其成为一个独具特色的生物行为。步态识别是根据人物走路的姿势进行人的身份识别，以提取的人体轮廓图像为基础，旨在不考虑衣服、背景等因素。由于光线、环境等因素，视频中检测到的人体轮廓总是受到大量噪声的影响，因此如何在减少噪声的影响同时又能尽可能的将人体轮廓信息凸现出来成为工程、实际中亟待解决的问题。

经过对现有技术文献的查找发现，目前基于步态的人物识别方法主要分为两类：一类是基于模型的方法，Lee等人于2002年发表在Proceedings of the Fifth IEEEInternational Conference on Automatic Face Gesture Recognition上的论文Gait analysisfor recognition and classification(基于步态分析的识别和分类)提出用7个椭圆来建模人体的各个部分，提取椭圆参数(长短轴之比、质心坐标、主轴夹角)以及人体结构参数(质心坐标)共29个参数作为步态识别的特征。该方法对人自身的遮挡鲁棒性非常差，而且运算量大，因此不适合于工程应用。另外一类是非模型的方法，Ju Han等人于2006年发表在IEEE Transactions On Pattern Analysis And Machine Intelligence上的论文Individual Recognition Using Gait Energy Image(基于步态能量图的人物识别)向人们提出了一种新的表示人体轮廓信息的非模型的方法：将一个步态周期内得到的二值化人体轮廓图像相加在一起，得到一幅反映人体运动姿态分布的步态能量图。该方法的优点是易于获得，抗噪能力强，然而步态能量图直接用于匹配有个很大的缺陷：模糊了人体轮廓的特征，因此该方法的准确性不高，限制了其实际应用。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于人体轮廓的人物识别方法，能在光照变化、检测噪声等实际工程应用的复杂环境下，将人体轮廓特征信息凸现出来。

为实现上述目的，本发明首先提取目标人物视频中的人体轮廓图像，根据人体轮廓的宽度变化划分步态周期，保持高宽比不变将人体轮廓图像缩放到同一大小；然后将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图；再计算步态能量图的梯度直方图；最后对训练用的步态能量图的梯度直方图进行主元分析，得到转换矩阵，利用转换矩阵分别对训练用的和待识别的步态能量图的梯度直方图进行降维，得到训练好的步态数据和待识别的步态数据，对两种数据进行最近邻匹配，完成人体轮廓的人物识别。

本发明的方法通过以下具体步骤实现：

1)首先把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的人体轮廓前景图像；调用OpenCV中的功能函数，将人体轮廓前景图像中存在的空洞和零散白点去除；

2)从人体轮廓前景图像中提取人体轮廓的特征，将每个人体轮廓最左面的点与最右面的点的距离作为该人体轮廓的宽度，最上面的点与最下面的点的距离作为该人体轮廓的高度；选择人体轮廓水平方向的变化作为划分步态周期的标志；按人体轮廓的宽度和高度将人体轮廓图像扣出；保持高宽比不变，将所有人体轮廓图像缩放到同一大小；

3)分别将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图；

4)依据步态能量图的大小把步态能量图划分为大小相同的若干个单元，相邻的单元组成一个区域，区域之间允许拥有相同的单元；求出每个单元的梯度直方图，然后对每个区域内的单元梯度直方图进行归一化，得到步态能量图的梯度直方图；

5)将步态能量图的梯度直方图分为两部分：一部分用作训练，一部分用作识别；对训练用的步态能量图的梯度直方图进行主元分析，从中提取能代表人体轮廓信息的特征向量，构成转换矩阵；利用转换矩阵对训练用的步态能量图的梯度直方图进行降维，得到训练好的步态数据，将转换矩阵和训练好的步态数据储存起来；同时，利用转换矩阵对待识别的步态能量图的梯度直方图进行降维，得到待识别的步态数据，再与训练好的步态数据进行最近邻匹配，完成人体轮廓的人物识别。

本发明针对智能视频监控中的目标识别和跟踪，利用人物轮廓特征信息，将人物识别出来，具有算法简单、精确度高、鲁棒性强等优点。本发明在降低了噪声影响的同时，凸出了步态周期内人体姿势信息。另外对实际中出现的光照变化、检测噪声、前景检测误差等干扰具有较高的鲁棒性。由于克服了实际中复杂环境带来的噪声因素，而且同时提高了人物轮廓特征信息的分析能力，因此真正做到了复杂环境中人物的准确识别，为智能视频监控中目标识别和跟踪提供一种新的可靠的方法。

本发明可广泛应用于非接触式远距离的身份识别，智能监控，辅助破案等技术领域。

附图说明

图1本发明方法流程图。

图2人体步态运动的轮廓分割示例，其中(a)背景图像；(b)二值化后的前景轮廓图像；(c)OpenCV处理后的前景轮廓图像。

图3步态能量图合成示意图。

图4特征空间中特征值的幅度图。

图5特征空间中特征值的累计曲线图。

图6训练步态和待识别步态通过转换矩阵降维后的示例。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明实施例按图1所示流程进行，包括：读入目标人物的视频，提取与处理人体轮廓特征，合成步态能量图，求出步态能量图的梯度直方图，进行主元分析并作最近邻匹配。具体实施步骤如下(使用Visual C++语言编程)：

(1)提取目标人物视频中的人体轮廓前景图像：

首先采用OpenCV(Intel开源计算机视觉库)中的功能函数把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的人体轮廓前景图像；由于诸多客观因素的影响，得到的人体轮廓前景图像总是存在空洞和零散的白点，为了消除这一不利因素，本发明调用OpenCV中的功能函数把轮廓最大的区域像素值填充为255，把剩余区域的像素值赋为0，得到比较准确的人体轮廓前景图像，效果可见图2。图2中，(a)背景图像；(b)二值化后的前景轮廓图像；(c)OpenCV处理后的前景轮廓图像。

(2)提取与处理人体轮廓信息：

人体轮廓的宽度和高度的提取：每幅人体轮廓前景图像实际上是平面点的集合，可以根据平面几何知识提取人体轮廓的特征。每个人体轮廓最左面的点与最右面的点的距离作为该人体轮廓的宽度，最上面的点与最下面的点的距离作为该人体轮廓的高度。

人体轮廓的步态周期的提取：考虑到水平运动比垂直运动有着更大的变化，从而有着更强的分辨力，本实施例选择人体轮廓水平方向的变化作为划分步态周期的标志。实际中人迈出两步为一个步态周期，本实施例的步态周期从两脚靠拢开始，此时人体轮廓宽度最小，经过一次两脚靠拢，再到下一次两脚靠拢时完成两步，形成一个步态周期。

人体轮廓的缩放：按人体轮廓的宽度和高度将人体轮廓图像扣出，本实施例的高宽比为2，不满足者上下或左右添加相同的值为零的行或者列，考虑到运算的复杂度和匹配的准确度，本实施例将处理好扣出的轮廓图缩放到32*64。

(3)合成步态能量图：

分别将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图，

$G(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{B}_t(x,y)$

其中，N是步态周期内轮廓的个数，t是步态周期内轮廓的序号，x和y两维图像坐标值，B_t(x，y)是该点的灰度值。

步态能量合成如图3所示：箭头左面的每个二值化图像对应于一个步态周期内每帧经过缩放处理的人体轮廓图像，箭头右面灰度图像是该步态周期对应的步态能量图，可以看出步态能量图反映了一个步态周期内人体运动姿势的变化。

(4)求出步态能量图的梯度直方图：

步态能量图的划分：本实施例步态能量图的大小为32*64，可以划分为32个8*8的单元，相邻的4个单元组成一个区域，区域之间可以拥有相同的单元，这样共有21个区域。

点的梯度方向：单元内的任一点(x，y)的梯度方向：

$r(x,y)=\arg \tan \frac{h(x,y-1)-h(x,y+1)}{h(x-1,y)-h(x+1,y)}$

If  r(x，y)＜0

r(x，y)＝180+r(x，y)

其中h(x，y)为步态能量图中坐标为(x，y)的灰度值。

单元的梯度直方图：经过实验证明采用双线性插值、点的灰度值作为权值并将梯度方向范围(0，180)分为九个等级能取到相对良好梯度直方图。

hist[int(r(x，y)/20)]+＝h(x，y)*(1-(r(x，y)/20-int((r(x，y)/20)))

hist[(int(r(x，y)/20)+1)％9]+＝h(x，y)*(r(x，y)/20-int((r(x，y)/20))其中hist[]为该单元的梯度直方图，r(x，y)为上步求得的单元内点的梯度方向。

区域直方图的归一化：对每个区域内的所有单元梯度直方图临时看成一个直方图并进行归一化，得到步态能量图的梯度直方图。

(5)主元分析、最近邻匹配：

将步态能量图的梯度直方图分为两部分：一部分用作训练，一部分用作识别。

给定s个训练类别，每个类别代表一个人的步态能量图的梯度直方图形成的信号序列，下述基于主元分析的训练过程。

令D_i，j是类i的第j个信号特征，并且N_i是类i的个数，则总的训练样本数为N_t＝N₁+N₂+…+N_s，整个样本集为 $[D_{\mathrm{1,1}},D_{\mathrm{1,2}},\·\·\·,D_{1,N_1},\·\·\·D_{s,N_s}],$ 该训练集的均值m_d和全局方差

为：

$m_d=\frac{1}{N_t}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}{D}_{i,j}$

$\∂=\frac{1}{N_t}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}(D_{i,j}-m_d){(D_{i,j}-m_d)}^T$

如果矩阵的秩是N。则利用奇异值分解理论能够得到N个非零特征值λ₁，λ₂，…，λ_N及其对应特征向量e₁，e₂，…，e_N，本实施例全局方差矩阵维数为756*756，秩为20，对应于20个非零特征值，这些特征值从大到小显示如图4所示。

一般而言，特征值较大的包含有用的信息多，小的包含有用的信息少。出于对存储和计算的有效性考虑，本实施例对非零特征值按绝对值大小排列并使用阈值为90％来忽略那些绝对值小的特征值：

$W_k=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}<90\%$

图5为本实施例特征空间中特征值的累计曲线图：前七位的特征值累加就已经超过了全部特征值的90％。

我们可以构建转换矩阵E为[e₁，e₂，…，e_k]，利用E对每个训练信号D_i，j降维：

P_i，j＝[e₁，e₂，…，e_k]^TD_i，j

得到数据量小的易于储存和运算的训练好的步态数据。

最近邻匹配：利用转换矩阵对待识别的步态能量图的梯度直方图进行降维，得到待识别的步态数据，再与训练好的步态数据进行最近邻匹配，完成人体轮廓的人物识别。如图6所示：本实施例选取了前七位特征值的特征向量作为转换矩阵，其中实线表示训练好的某人的步态，虚线和点划线是待识别的步态，可以看出，实线与点划线的相差很小，可以判定是同一个人，而实线与虚线相差较大，可以判定是另外一个人，与实际相符。

Claims (1)

1、一种基于人体轮廓的人物识别方法，其特征在于包括如下具体步骤：

1)首先把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的人体轮廓前景图像；调用OpenCV中的功能函数，将人体轮廓前景图像中存在的空洞和零散白点去除；

2)从人体轮廓前景图像中提取人体轮廓的特征，将每个人体轮廓最左面的点与最右面的点的距离作为该人体轮廓的宽度，最上面的点与最下面的点的距离作为该人体轮廓的高度；选择人体轮廓水平方向的变化作为划分步态周期的标志；按人体轮廓的宽度和高度将人体轮廓图像扣出；保持高宽比不变，将所有人体轮廓图像缩放到同一大小；

3)分别将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图；

4)依据步态能量图的大小把步态能量图划分为大小相同的若干个单元，相邻的单元组成一个区域，区域之间允许拥有相同的单元；求出每个单元的梯度直方图，然后对每个区域内的单元梯度直方图进行归一化，得到步态能量图的梯度直方图；

5)将步态能量图的梯度直方图分为两部分：一部分用作训练，一部分用作识别；对训练用的步态能量图的梯度直方图进行主元分析，从中提取能代表人体轮廓信息的特征向量，构成转换矩阵；利用转换矩阵对训练用的步态能量图的梯度直方图进行降维，得到训练好的步态数据，将转换矩阵和训练好的步态数据储存起来；同时，利用转换矩阵对待识别的步态能量图的梯度直方图进行降维，得到待识别的步态数据，再与训练好的步态数据进行最近邻匹配，完成人体轮廓的人物识别。

Images