CN101635031B - 小样本人物轮廓特征提取与识别方法 - Google Patents

Abstract

本发明涉及一种小样本人物轮廓特征提取与识别方法，首先提取目标人物视频中的人体轮廓图像；其次划分步态周期，统一人体轮廓图像的大小，提取人体轮廓的特征因子；然后求出每个步态周期对应的步态能量图及其特征因子，步态能量图的灰度直方图乘以步态能量图的特征因子得到人物的轮廓特征数据；再将训练好的目标人物的轮廓特征数据放入训练库；最后求出待识别人物的轮廓特征数据，与训练库中的人物进行改进的最近邻匹配，其中与待识别人物距离最小的那个训练库中的人物被判定为与待识别人物同属一个人物，完成人物的识别。本发明消除了实际复杂环境中大量噪声影响，凸现了人体轮廓信息且提取到了有效的人物特征，可以用于家庭场景中人物的识别。

Description

小样本人物轮廓特征提取与识别方法

技术领域

本发明涉及一种小样本人物轮廓特征提取与识别方法，具体涉及一种从单个固定摄像机提取人体轮廓信息，并据此特征信息将人物识别出来的方法。可广泛应用于家庭场景中的人物识别等，属于模式识别中的人物识别领域。

背景技术

近年来，世界家电行业高科技的发展引人瞩目，人们在密切关注它们给人们生活带来一系列新变化的同时，也特别关注其未来发展趋势。日本家电制造巨头现在针对国际家电竞争形态嬗变以及未来竞争的要求，凭借其高科技方面的优势，提出了“智能家电”的新方案。能自动识别用户身份，满足用户需求的人性化智能家电终将会成为家电产品发展的趋势。智能家电中人物的识别属于小样本的人物识别，具有人物库少，人物体型相差大、活动自由等特点。目前，在中远距离身份识别系统中步态被认为是最具潜力的生物特征，脸像、指纹、虹膜等第一代生物特征，通常要求近距离地或者接触性地感知(如指纹需要接触指纹扫描仪、脸像需要近距离捕捉以满足分辨率等)，而步态在此方面却突出了它的优越性，尤其是在中远距离的情况下，人的步态易于感知、非侵犯性、非接触性、难于隐藏和伪装的优点已经使其成为一个独具特色的生物行为；步态识别是根据人物走路的姿势进行人的身份识别，以提取的人体轮廓图像为基础，旨在不考虑衣服、背景等因素。然而由于光线、环境等因素，视频中检测到的人体轮廓总是受到大量噪声的影响，而且由于人物活动的自由性太强，很难提取可用于区分的特征，因此如何尽可能的减少噪声的影响，凸现人体轮廓信息且提取到有效的人物特征成为工程、实际中亟待解决的问题。

经过对现有技术文献的查找发现，目前基于步态的人物识别方法主要分为两类：一类是基于模型的方法，Lee等人于2002年发表在Proceedings of the Fifth IEEEInternational Conference on Automatic Face Gesture Recognition上的论文Gait analysisfor recognition and classification(基于步态分析的识别和分类)提出用7个椭圆来建模人体的各个部分，提取椭圆参数(长短轴之比、质心坐标、主轴夹角)以及人体结构参数(质心坐标)共29个参数作为步态识别的特征。该方法对人自身的遮挡鲁棒性非常差，而且运算量大，因此不适合于工程应用。另外一类是非模型的方法，Ju Han等人于2006年发表在IEEE Transactions On Pattern Analysis And Machine Intelligence上的论文Individual Recognition Using Gait Energy Image(基于步态能量图的人物识别)向人们提出了一种新的表示人体轮廓信息的非模型的方法：将一个步态周期内得到的二值化人体轮廓图像相加在一起，得到一幅反映人体运动姿态分布的步态能量图。该方法的优点是易于获得，抗噪能力强，然而步态能量图直接用于匹配有个很大的缺陷：鲁棒性不高，限制了其实际应用。

发明内容

本发明的目的在于针对现有技术的不足，提出一种小样本人物轮廓特征提取与识别方法，可在复杂环境和人物自由移动条件下，快速准确的将人物识别出来，尤其适用于家庭场景中的人物识别。

为实现上述目的，本发明基于人体轮廓，运用不同人物的运动特征来进行人物识别。首先提取目标人物视频中的人体轮廓图像，根据人体轮廓的宽度变化划分步态周期，保持高宽比不变将人体轮廓图像缩放到同一大小，人体轮廓高度的平方与人体轮廓像素总数之比作为该人体轮廓的特征因子；然后将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图，将每个步态周期内得到的所有人体轮廓的特征因子相加再除以人体轮廓图像的个数，得到与该步态能量图对应的特征因子，步态能量图的灰度直方图乘以步态能量图的特征因子得到人物的轮廓特征数据；再将训练好的目标人物的轮廓特征数据放入训练库；最后求出待识别人物的轮廓特征数据，与训练库中的人物进行改进的最近邻匹配，其中与待识别人物距离最小的那个训练库中的人物被判定为与待识别人物同属一个人，完成人物的识别。

本发明的方法通过以下具体步骤实现：

1)首先把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的人体轮廓前景图像；调用OpenCV中的功能函数，将人体轮廓前景图像中存在的空洞和零散白点去除。

2)从人体轮廓前景图像中提取人体轮廓的特征，将每个人体轮廓最左面的点与最右面的点的距离作为该人体轮廓的宽度，最上面的点与最下面的点的距离作为该人体轮廓的高度；人体轮廓高度的平方与人体轮廓像素总数之比作为该人体轮廓的特征因子；选择人体轮廓水平方向的变化作为划分步态周期的标志；按人体轮廓的宽度和高度将人体轮廓图像扣出；保持高宽比不变，将所有人体轮廓图像缩放到同一大小。

3)分别将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图。

4)依据不同人物运动时人体各个部位具有的不同活动属性，将步态能量图划分为若干个区域；求出每个区域的灰度直方图，得到步态能量图的灰度直方图；将步态能量图对应步态周期内所有人体轮廓的特征因子相加再除以人体轮廓图像的个数，得到该步态能量图的特征因子；将步态能量图的灰度直方图乘以特征因子得到标识该人物身份的轮廓特征数据。

5)将所有目标人物的轮廓特征数据T₁，T₂…T_m放入训练库。

6)采用步骤1-4的方法，提取待识别人物的轮廓特征数据，将待识别人物与训练库中的人物进行改进的最近邻匹配，按下式求取待识别人物与训练库中某个人物之间的距离：

$S=\underset{n=2}{\overset{N-3}{\mathrm{\Σ}}}\left\{\right|(0.1*T_i[n-2]+0.2*T_i[n-1]+0.4*T_i[n]+0.2*T_i[n+1]+0.1*T_i[n+2\left]\right)-$

$(0.1*R[n-2]+0.2*R[n-1]+0.4*R[n]+0.2*R[n-1]+0.1*R[n+2\left]\right)\left|\right\}$

式中，n为待识别人物的轮廓特征数据的序号，N为待识别人物的轮廓特征数据的个数；T_i为训练库中的某个人物的轮廓特征数据，i＝1，2，…，m；m为训练库中的人物数；R为待识别人物的轮廓特征数据。

求出待识别人物与训练库中各个人物之间的距离，其中与待识别人物距离最小的那个训练库中的人物被判定为与待识别人物同属一个人，完成人物的识别。

本发明针对人物库少、人物活动自由的小样本人物识别，主要用于家庭场景中人物的识别。与现有技术相比显著效果在于：本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点，极大地消除了实际复杂环境中光照变化、检测噪声、前景检测误差等大量噪声影响，凸现了人体轮廓信息且提取到了有效的人物特征，克服真正工程应用的主要障碍。本发明使用人物移动的步态信息并结合人物的个性化体格特征，实现了人物的自动识别，最终为小样本的人物识别提供了一种新的可靠的方法。

附图说明

图1本发明方法流程图。

图2人体步态运动的轮廓分割示例，其中(a)背景图像；(b)二值化后的前景轮廓图像；(c)OpenCV处理后的前景轮廓图像。

图3步态能量图合成示意图。

图4待识别人物的轮廓特征数据与训练库中各个人物的轮廓特征数据之间的距离示意图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图1本发明方法流程图所示，本实施例具体实施步骤如下(使用Visual C++语言编程)：

(1)提取目标人物视频中的人体轮廓前景图像：

首先采用OpenCV(Intel开源计算机视觉库)中的功能函数把目标人物的视频读入计算机机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的人体轮廓前景图像。由于诸多客观因素的影响，得到的人体轮廓前景图像总是存在空洞和零散的白点，为了消除这一不利因素，本发明调用OpenCV中的功能函数，把轮廓最大的区域像素值填充为255，把剩余区域的像素值赋为0，得到比较准确的人体轮廓前景图像，效果可见图2。图2中，(a)背景图像；(b)二值化后的前景轮廓图像；(c)OpenCV处理后的前景轮廓图像。

(2)提取与处理人体轮廓信息：

人体轮廓的宽度和高度的提取：每幅人体轮廓前景图像实际上是平面点的集合，可以根据平面几何知识提取人体轮廓的特征。将每个人体轮廓最左面的点与最右面的点的距离作为该人体轮廓的宽度，最上面的点与最下面的点的距离作为该人体轮廓的高度。

人体轮廓的步态周期的提取：考虑到水平运动比垂直运动有着更大的变化，从而有着更强的分辨力，可选择人体轮廓水平方向的变化作为划分步态周期的标志，本实施例从人体轮廓宽度比上下三帧都小开始，经过两次这种情况结束。

人体轮廓的特征因子：人物的体型反映了人物的特征，而且相对于其他特征具有易于提取、准确度高的特点，本实施例将人体轮廓高度的平方与人体轮廓像素总数之比作为该人体轮廓的特征因子。

人体轮廓的缩放：按人体轮廓的宽度和高度将人体轮廓图像扣出，本实施例的高宽比为2，不满足者则上下或左右添加相同的值为零的行或者列，考虑到运算的复杂度和匹配的准确度，本实施例将处理好扣出的轮廓图缩放到32*64。

(3)合成步态能量图：

分别将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数：

$G(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{B}_t(x,y)$

其中N是步态周期内轮廓的个数，t是步态周期内轮廓的序号，x和y两维图像坐标值，B_t(x，y)是该点的灰度值，G(x，y)即为该步态周期对应的步态能量图灰度值，合成示意如图3。

(4)提取轮廓特征数据：

步态能量图的划分：本实施例步态能量图的大小为32*64，依据不同人物运动时人体各个部位具有的不同活动属性，将步态能量图划分为四个区域：区域1(0-33行，0-11列)，区域2(0-33行，12-19列)，区域3(0-33行，20-31列)，区域4(34-63行，0-31列)。

步态能量图的灰度直方图：本实施例步态能量图为256灰度级图像，为了减少运算量和存储空间，本实施例在求灰度直方图时将灰度级缩为12，这样得到的灰度直方图是一个4*12个矩阵。

步态能量图的特征因子：分别将每个步态周期内得到的所有人体轮廓的特征因子相加再除以人体轮廓图像的个数，得到与该步态能量图对应的特征因子。

轮廓特征数据：步态能量图的灰度直方图乘以步态能量图的特征因子。

(5)获取人物轮廓特征数据训练库：

本实施例共5个人物，将5个目标人物的轮廓特征数据T₁，T₂…T₅放入训练库。

(6)改进的最近邻匹配：

采用步骤1-4的方法，提取待识别人物的轮廓特征数据，将待识别人物与训练库中的人物进行改进的最近邻匹配，按下式求取待识别人物与训练库中某个人物之间的距离：

$S=\underset{n=2}{\overset{N-3}{\mathrm{\Σ}}}\left\{\right|(0.1*T_i[n-2]+0.2*T_i[n-1]+0.4*T_i[n]+0.2T_i[n+1]0.1*T_i[n+2\left]\right)-$

$(0.1*R[n-2]+0.2*R[n-1]+0.4*R[n]+0.2*R[n+1]+0.1*R[n+2\left]\right)\left|\right\}$

式中，n为待识别人物的轮廓特征数据的序号；T_i为训练库中某个人物的轮廓特征数据，i＝1，2，…，5；R为待识别人物的轮廓特征数据；

本实施例中，待识别人物的轮廓特征数据的个数N为48，求和公式中的N-3＝45。

求出待识别人物与训练库中各个人物之间的距离，其中与待识别人物距离最小的那个训练库中的人物被判定为与待识别人物同属一个人，如图4所示：横坐标表示轮廓特征数据的序号，本示意图将相邻3个数据点的距离相加用一个点表示，纵坐标表示距离，各个线段表示待识别人物与训练库中的各个人物之间的距离，可以看出实线是距离之和最短的线段，由此得出训练库中和待识别人物距离最小的人物，二者同属一个人物，与事实相符，完成人物的识别。

Claims (1)

1.一种小样本人物轮廓特征提取与识别方法，其特征在于包括如下具体步骤：

1)首先把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的人体轮廓前景图像；调用OpenCV中的功能函数，将人体轮廓前景图像中存在的空洞和零散白点去除；

2)从人体轮廓前景图像中提取人体轮廓的特征，将每个人体轮廓最左面的点与最右面的点的距离作为该人体轮廓的宽度，最上面的点与最下面的点的距离作为该人体轮廓的高度；人体轮廓高度的平方与人体轮廓像素总数之比作为该人体轮廓的特征因子；选择人体轮廓水平方向的变化作为划分步态周期的标志；按人体轮廓的宽度和高度将人体轮廓图像扣出；保持高宽比不变，将所有人体轮廓图像缩放到同一大小；

3)分别将每个步态周期内得到的所有人体轮廓图像的灰度值相加再除以人体轮廓图像的个数，得到与该步态周期对应的步态能量图；

4)依据不同人物运动时人体各个部位具有的不同活动属性，将步态能量图划分为若干个区域；求出每个区域的灰度直方图，得到步态能量图的灰度直方图；将步态能量图对应步态周期内所有人体轮廓的特征因子相加再除以人体轮廓图像的个数，得到该步态能量图的特征因子；将步态能量图的灰度直方图乘以特征因子得到标识该人物身份的轮廓特征数据；

5)将所有目标人物的轮廓特征数据放入训练库；

6)采用步骤1-4的方法，提取待识别人物的轮廓特征数据；将待识别人物与训练库中的人物进行改进的最近邻匹配，具体为：

按下式求取待识别人物与训练库中某个人物之间的距离：

式中，n为待识别人物的轮廓特征数据的序号，N为待识别人物的轮廓特征数据的个数；T_i为训练库中的某个人物的轮廓特征数据，i＝1，2，…，m；m为训练库中的人物数；R为待识别人物的轮廓特征数据；

求出待识别人物与训练库中各个人物之间的距离，其中与待识别人物距离最小的那个训练库中的人物被判定为与待识别人物同属一个人，完成人物的识别。 

Images