CN101833653A - 低分辨率视频中的人物识别方法 - Google Patents

Abstract

本发明涉及一种低分辨率视频中的人物识别方法，具体是对提取到的人物前景轮廓求出SVB Frieze特征，并对SVB Frieze特征进行动态时间规正距离匹配和最近邻分类，包括：(1)提取目标人物视频中的人物轮廓前景图像；(2)人物轮廓图像的高度、宽度、步态周期等信息的提取与人物轮廓图像缩放；(3)求出横向SVB Frieze特征、纵向SVB Frieze特征、横向左右步SVB Frieze差异特征、纵向左右步SVB Frieze差异特征；(4)对此四种特征用动态时间规正距离匹配，加权求和并进行最近邻分类。本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点，在帧的基础上实现了对人物运动特征的分析，可以作为智能家电中行人目标识别实时可靠的方法。

Description

低分辨率视频中的人物识别方法

技术领域

本发明涉及一种低分辨率视频中的人物识别方法，具体涉及一种从单个固定低分辨率摄像机提取人物的SVB Frieze特征信息，并据此特征信息将人物分辨出来的方法。可广泛应用于非接触式远距离的身份识别，智能家电，辅助监控等，属于模式识别中的人物识别领域。

背景技术

步态识别是根据人物走路姿势进行的人物身份识别，以提取的人物轮廓图像为基础，旨在不考虑衣服、背景等因素。随着计算机视觉技术在家电行业中的应用，能实时自动识别人物身份的智能家电成为世界家电行业新的竞争点。由于广泛的应用前景和潜在的经济价值，人物身份识别是近年来备受关注的前沿课题，而利用生物识别技术辅助人物运动分析更是发展的趋势，在远距离人物身份识别中步态被认为是最具潜力的特征，脸像、指纹、虹膜等第一代生物特征，通常要求近距离地或者接触性地感知(如指纹需要接触指纹扫描仪、脸像需要近距离捕捉以满足分辨率等)，而步态在此方面却突出了它的优越性，尤其是在远距离的情况下，人的步态易于感知、非侵犯性、非接触性、难于隐藏和伪装的优点已经使其成为一个独具特色的生物行为。由于人物行走时经常会携带一些小的物品，视频中检测到的人物轮廓经常会有很大的变化，因此如何实时自动的提取人物特征同时又能尽可能的降低携带物品的干扰成为工程、实际中亟待解决的问题。

经过对现有技术文献的查找发现，目前基于步态的人物识别方法主要分为两类：一类是基于模型的方法，Lee等人于2002年发表在Proceedings of the Fifth IEEEInternational Conference on Automatic Face Gesture Recognition上的论文Gait analysisfor recognition and classification(基于步态分析的识别和分类)提出用7个椭圆来建模人体的各个部分，提取椭圆参数(长短轴之比、质心坐标、主轴夹角)以及人体结构参数(质心坐标)共29个参数作为步态识别的特征。该方法对人自身的遮挡鲁棒性非常差，而且运算量大，因此不适合于工程应用。另外一类是非模型的方法，Seungkyu等人于2007年发表在Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition上的论文Shape Variation-Based Frieze Patternfor Robust Gait Recognition(一种鲁棒性强的步态识别SVB Frieze)向人们提出了一种新的提取人物运动特征的方法：在一个步态周期内，选取一个关键帧，求出其余帧与关键帧的差异，并向横轴和纵轴方向叠加得到纵向SVB Frieze特征和横向SVBFrieze特征，再求出纵向左右步SVB Frieze差异特征、横向左右步SVB Frieze差异特征，最后将此四种特征相加得到匹配人物身份的判别式。该方法的优点是降低了携带物品的干扰，然而该方法需要解决SVB Frieze特征维数变化问题，而Seungkyu提出的对SVB Frieze特征求平均值的方法，将每帧人物步态运动特征模糊了，因此识别准确性不高。

发明内容

本发明的目的在于针对现有技术的不足，提出一种低分辨率视频中的人物识别方法，能在人物携带物品等干扰条件下，准确将人物运动信息凸现出来。

为实现上述目的，本发明首先提取目标人物视频中的人物轮廓图像，根据人物轮廓的宽度变化划分步态周期，保持高宽比不变将人物轮廓图像缩放到同一大小；然后选取一个关键帧，求出其余帧与关键帧之间的差异，并向横轴和纵轴方向叠加得到纵向SVB Frieze特征和横向SVB Frieze特征，再用动态时间规正算法求出纵向左右步SVB Frieze差异特征、横向左右步SVB Frieze差异特征，最后用动态时间规正算法对待识别的步态数据进行以上四种特征的匹配，完成人物识别。

本发明的方法通过以下具体步骤实现：

1)首先把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的轮廓前景图像；并将人物轮廓前景图像中存在的空洞和零散白点去除；

2)从人物轮廓前景图像中提取人物轮廓的特征，将每个人物轮廓最左面的点与最右面的点的距离作为该人物轮廓的宽度，将最上面的点与最下面的点的距离作为该人物轮廓的高度；选择人物轮廓水平方向的变化作为划分步态周期的标志；按人物轮廓的宽度和高度将人物轮廓图像扣出；保持高宽比不变，将所有人物轮廓图像缩放到同一大小；

3)选取人物两脚分开最远时的人物轮廓图像作为关键帧，其余帧与关键帧相减，并向横轴和纵轴方向叠加得到纵向SVB Frieze特征和横向SVB Frieze特征，并用动态时间规正算法求出纵向左右步SVB Frieze差异特征、横向左右步SVB Frieze差异特征；

4)用动态时间规正算法对待识别步态的纵向SVB Frieze特征、横向SVB Frieze特征、纵向左右步SVB Frieze差异特征、横向左右步SVB Frieze差异特征进行匹配，完成人物识别。

本发明与现有技术相比的显著效果在于：真正做到了在帧的基础上对人物步态运动信息进行比较，解决了人物步态周期经常发生变化而引发的维数变化问题，克服了人物携带物品造成的干扰影响，具有算法简单、精确度高、鲁棒性强等优点。由于对每帧人物步态运动都做出了局部最优匹配，提高了人物步态运动的分析能力，消除了实现真正工程应用的主要障碍，克服了以往技术方法都难以克服的难点，真正做到了复杂人物运动的自动识别，最终为智能家电中的人物识别提供了一种新的可靠的方法。

附图说明

图1本发明方法流程图。

图2人物步态运动的轮廓分割示例，其中(a)背景图像；(b)二值化后的前景轮廓图像；(c)处理后的前景轮廓图像。

图3关键帧与普通帧的差异。

图4SVB Frieze特征。

图5左右步SVB Frieze差异特征的匹配路径。

图6左右步SVB Frieze差异特征。

图7识别结果。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

本发明方法流程如图1所示，读取目标人物视频后，先进行人物轮廓的提取与处理，再提取横向SVB Frieze特征、纵向SVB Frieze特征，并用动态时间规正算法求出横向左右步SVB Frieze差异特征、纵向左右步SVB Frieze差异特征，最后用动态时间规正算法匹配上述特征并最小邻分类。具体实施步骤如下(实施例使用VisualC++语言编程)：

(1)提取目标人物视频中的人物轮廓前景图像：

首先把目标人物的视频读入计算机机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的轮廓前景图像；由于诸多客观因素的影响，得到的人物轮廓前景图像总是存在空洞和零散的白点，为了消除这一不利因素，本发明把轮廓最大的区域像素值填充为255，把剩余区域的像素值赋为0，得到比较准确的人物轮廓前景图像，效果可见图2，图2中，(a)背景图像；(b)二值化后的前景轮廓图像；(c)处理后的前景轮廓图像。

(2)提取与处理人物轮廓信息：

人物轮廓的宽度和高度的提取：每幅人物轮廓前景图像实际上是平面点的集合，我们可以根据平面几何知识提取人物轮廓的特征。每个人物轮廓最左面的点与最右面的点的距离作为该人物轮廓的宽度，最上面的点与最下面的点的距离作为该人物轮廓的高度。

人物轮廓的步态周期的提取：考虑到水平运动比垂直运动有着更大的变化，从而有着更强的分辨力，我们选择人物轮廓水平方向的变化作为划分步态周期的标志，本实施例从人物轮廓宽度比上下三帧都小开始，经过两次这种情况结束。

人物轮廓的缩放：按人物轮廓的宽度和高度将人物轮廓图像扣出，本实施例的高宽比为5∶3，不满足者上下或左右添加相同的值为零的行或者列，考虑到运算的复杂度和匹配的准确度，本实施例将处理好的轮廓图缩放到100*60，所有人物轮廓图像缩放到同一大小。

(3)提取SVB Frieze特征：

人物行走时，左脚作支撑点为右步，右脚作支撑点为左步，左右步合在一起组成一个步态周期。选取人物两脚分开最远时的人物轮廓图像作为关键帧，其余为普通帧，求出每个普通帧与关键帧之间的差异，如图3所示。

将求得的这些差异帧分别横向纵向叠加，这样两维的帧转换为两个一维的“能量”向量，

其中FP_h(y，t)为横向SVBFrieze特征在时间序列t的轮廓图像坐标为y的值，FP_v(x，t)为纵向SVB Frieze特征在时间序列t的轮廓图像坐标为x的值，如图4所示。

用动态时间规正算法求出横向左右步SVB Frieze差异特征SM_h和纵向左右步SVB Frieze差异特征SM_v，以SM_h为例，具体算法为：

a)左步横向SVB Frieze特征：FP_lh∈R^m×1，右步横向SVB Frieze特征：

FP_rh∈R^n×1，初始化一个元素值为正无穷的矩阵G∈R^m×n。

b)依次计算FP_lh中的元素与FP_rh中每个元素的欧式距离，约束条件为FP_lh中的元素位置与FP_rh中的元素位置相差不可超过常数N，本实施例取N＝14，否则直接认为这两个元素间的动态时间规正距离为正无穷，计算公式为G[i，j]＝D[i，j]+min(G[i-1，j]，G[i，j-1]，G[i-1，j-1])，其中G[i，j]是数列FP_lh中第i个元素与FP_rh中第j个元素之间的动态时间规正距离，D[i，j]为FP_lh中第i个元素与FP_rh中第j个元素之间的欧式距离。

c)G[m-1，n-1]是数列FP_lh与数列FP_rh之间的动态时间规正距离，然后从

G[m-1，n-1]开始往前推算出FP_lh与FP_rh匹配路径，如图5所示，按照这个匹配路径求出FP_lh与FP_rh对应的差异，得到SM_h，如图6所示。

(4)动态时间规正距离匹配及最近邻分类

分别计算训练视频和待识别视频的FP_v、FP_h、SM_h和SM_v之间的动态时间规正距离，以FP_v为例，具体算法为：

a)训练视频的FP_hi(y，t)∈R^m×1，待识别视频的FP_hj(y，t)∈R^n×1，初始化一个元素值为正无穷的矩阵G∈R^m×n。

b)依次计算FP_hi中的元素与FP_hj中每个元素的欧式距离，约束条件为FP_hi中的元素位置与FP_hj中的元素位置相差不可超过常数N，本实施例取N＝14，否则直接认为这两个元素间的动态时间规正距离为正无穷，计算公式为G[i，j]＝D[i，j]+min(G[i-1，j]，G[i，j-1]，G[i-1，j-1])，其中G[i，j]是数列FP_hi中第i个元素与FP_hj中第j个元素之间的动态时间规正距离，D[i，j]为FP_hi中第i个元素与FP_hj中第j个元素之间的欧式距离。

c)

是数列FP_hi与数列FP_hj之间的动态时间规正距离，匹配人物身份的判别式为：

C_ij＝αD_FPh+βD_FPv+γD_SMh+ηD_SMv

其中i为训练视频序列号，j为识别视频序列号，D_FPh为横向SVB Frieze特征之间的动态时间规正距离，D_FPv为纵向SVB Frieze特征之间的动态时间规正距离，D_SMh为横向左右步SVB Frieze差异特征之间的动态时间规正距离，D_SMv为纵向左右步SVB Frieze差异特征之间的动态时间规正距离，α、β、γ、η为加权因子。

如图7所示：本实施例设置α＝0.3、β＝0.3、γ＝0.2、η＝0.2，其中各线段表示待识别人物与已训练人物的匹配距离，可以看出，实线相对与其他种类的线段具有较小的匹配距离，可以判定是同一个人训练数据和识别数据相匹配的结果，与实际相符。

Claims (1)

1.一种低分辨率视频中的人物识别方法，其特征在于包括如下具体步骤：

1)首先把目标人物的视频读入计算机，再对视频进行背景建模与背景实时更新，采用当前帧与背景帧相减的方法得到目标人物的轮廓前景图像；并将人物轮廓前景图像中存在的空洞和零散白点去除；

2)从人物轮廓前景图像中提取人物轮廓的特征，将每个人物轮廓最左面的点与最右面的点的距离作为该人物轮廓的宽度，将最上面的点与最下面的点的距离作为该人物轮廓的高度；选择人物轮廓水平方向的变化作为划分步态周期的标志；按人物轮廓的宽度和高度将人物轮廓图像扣出；保持高宽比不变，将所有人物轮廓图像缩放到同一大小；

3)选取人物两脚分开最远时的人物轮廓图像作为关键帧，其余帧与关键帧相减，并向横轴和纵轴方向叠加得到纵向SVB Frieze特征和横向SVB Frieze特征，并用动态时间规正算法求出纵向左右步SVB Frieze差异特征、横向左右步SVB Frieze差异特征；

4)用动态时间规正算法对待识别步态的纵向SVB Frieze特征、横向SVB Frieze特征、纵向左右步SVB Frieze差异特征、横向左右步SVB Frieze差异特征进行匹配，完成人物识别。

Images