CN101571924B - 一种多区域特征融合的步态识别方法及系统 - Google Patents

Abstract

本发明公开了一种多区域特征融合的步态识别方法，将测试图片序列与每个测试者的参考图片序列分别进行步态区域检测，得到每幅图片的步态区域图像；提取所有步态区域图像中包括紧致度在内的一个或一个以上区域特征；对提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行融合，根据融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。本发明还同时公开了另一种多区域特征融合的步态识别方法、以及各步态识别方法对应的系统，采用本发明的方法和系统，可使步态识别中的特征提取简单、有效，采用融合技术的方法，能够实现步态识别的较高识别率。

Description

一种多区域特征融合的步态识别方法及系统 

技术领域

本发明涉及步态识别技术，特别是指一种多区域特征融合的步态识别方法及系统。 

背景技术

随着安全敏感场合对智能监控系统需求的增加，非接触远距离监控系统成为当前生物识别领域的一个研究热点，例如美国远距离身份识别(HID，HumanIdentification at a Distance)计划，旨在远距离情况下进行人的检测、分类和识别。步态作为唯一可远程识别的生物认证技术，越来越受社会及科研机构的关注。在社会安全、身份认证、视频监测等方面有着广泛的应用前景。 

步态特征在早期的医学研究以及近期的步态分析中证明了其中含有人的身份信息，这使得步态识别成为生物识别研究中的新兴领域。与传统的生物识别技术相比，步态识别技术具有非侵犯性、远距离识别性、清晰度要求低以及难以隐藏等优点。 

步态识别技术主要通过人行走时的姿态来识别个人的身份，目前，步态识别技术主要是基于人体侧面轮廓进行研究的，由于轮廓的区域特征很直观，因此很多研究者尝试基于人体轮廓提取区域参数用于步态识别。例如：Cunado等将大腿建模为链接的钟摆；Johnson和Bobick使用人体静态参数，包括腿长、步长等作为步态特征；Hayfron-Acquah等使用广义对称算子分析人体运动的对称性；Little和Boyd基于人体轮廓提取出了质心等参数，并且，以此为基础分析人体的相位来进行步态识别。 

还有，田光见等人利用人体步态轮廓图像边界到重心的距离矢量对步态轮廓图像进行描述，采用步态图像的宽高比(细长度)进行步态的准周期性分析， 利用隐马尔可夫模型进行步态识别；黄凤岗等人根据面积变化确定运动周期，提取人体宽度信息，对下肢进行Radon变换，提取运动角度信息，最后对所得到的信息降维并进行动态时间规整。 

以上各种算法都是独立、单一的算法，在特征提取方面，基本也是仅基于某一类提取的特征完成步态识别。 

近年来融合技术日益流行，在步态识别中，所谓融合主要是指将现有不同步态识别的方法、或者不同步态识别方法得到的结果，运用一定算法集合在一起。融合技术应用在步态识别上，将现有不同的步态识别方法的优点集合在一起，效果往往比较好，不失为一种好的步态识别方法。具体的，Agus Santoso Lie等将adaboost算法用在步态识别上，在分类决策层面上进行了融合；Xiaoli Zhou等通过融合不同的特征来提高步态识别的效果，提出的算法大致如下：先用主成分分析(PCA，principal components analysis)把构造的高分辨率人脸侧面图(High-Resolution Side Face Image)和步态能量图(GEI，Gait Energy Image)分别提取出重要特征向量，然后用多重判别分析(MDA，Multiple DiscriminantAnalysis)进一步提取重要的特征，再将提取到的人脸和步态特征整合在一起作为个人的特征，最后用最近邻法进行分类。 

上述通过融合技术的方法，可以改善特征过少的问题。然而，基于融合技术的方法，需要对多个特征进行提取，且提取的特征越简单、有效将越适用于通过融合技术来进行步态识别，如果特征提取过于复杂势必会增加运算开销，影响融合技术在步态识别中的应用。 

发明内容

有鉴于此，本发明的主要目的在于提供一种多区域特征融合的步态识别方法和系统，能提高步态识别率，且实现简单、方便、有效。 

为达到上述目的，本发明的技术方案是这样实现的： 

本发明提供了一种多区域特征融合的步态识别方法，包括以下几个步骤： 

a1.将测试图片序列与每个测试对象的参考图片序列分别进行步态区域检测，得到每幅图片的步态区域图像；

b1.提取所有步态区域图像中包括紧致度在内的一个或一个以上区域特征；所述紧致度为所述步态区域图像中运动对象的轮廓周长的平方除以运动对象轮廓的面积； 

c1.对步骤b1中提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行融合，根据融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。其中，步骤b1中所述一个以上区域特征还包括矩形度、细长度、质心高度三者中的一个或三者的任意组合。 

其中，步骤c1所述将各个区域特征的相似值进行融合具体为：将各个区域特征的相似值采用乘性原则进行融合。步骤c1中所述相似性度量具体为：利用动态时间规整算法将测试图片序列与每个测试对象的参考图片序列进行动态时间规整，并计算出基于欧式距离的各个区域特征的相似值。 

本发明又提供了一种多区域特征融合的步态识别方法，包括以下几个步骤： 

a2.将测试图片序列与每个测试对象的参考图片序列分别进行步态区域检测，得到每幅图片的步态区域图像； 

b2.提取所有步态区域图像中包括矩形度在内的一个或一个以上区域特征；所述矩形度为所述步态区域图像中运动对象轮廓面积和最小外接矩形面积之比； 

c2.对步骤b2中提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行融合，根据融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。 

其中，步骤b2中所述一个以上区域特征还包括细长度、和/或质心高度。 

本发明还提供了一种多区域特征融合的步态识别系统，包括： 

步态区域检测模块，用于得到较佳的测试图片序列和每个测试对象的参考图片序列的步态区域图像； 

特征提取模块，用于提取所有步态区域图像包括紧致度的一个或一个以上区域特征；所述紧致度为所述步态区域图像中运动对象的轮廓周长的平方除以 运动对象轮廓的面积； 

分类识别模块，用于将特征提取模块提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行乘性融合，按照融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。 

其中，所述步态区域检测模块进一步包括背景建模子模块、时域差分子模块和图像二值化子模块；其中，背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模； 

时域差分子模块，用于根据背景建模得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理； 

图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。 

本发明还提供了一种多区域特征融合的步态识别系统，包括： 

步态区域检测模块，用于得到较佳的测试图片序列和每个测试对象的参考图片序列的步态区域图像；特征提取模块，用于提取所有步态区域图像中包括矩形度在内的一个或一个以上区域特征；所述矩形度为所述步态区域图像中运动对象轮廓面积和最小外接矩形面积之比； 

分类识别模块，用于将特征提取模块提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行乘性融合，按照融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。 

本发明所提供的多区域特征融合的步态识别方法和系统，通过引入新的区域特征：紧致度和/或矩形度，由于这两个区域特征的算法比较简单，所以，提取相应区域特征的方法也相对容易；并且，这两个区域特征既能够反映轮廓形状的静态特征，也能够反映步态变化的信息，间接包含了步长和步宽的信息，且紧致度和矩形度这两个区域特征是独立于线性变换的，将紧致度、矩形度之一或全部作为基本的区域特征，可以同其他的区域特征相融合，能够达到步态识别的较高识别率。 

附图说明

图1为本发明基于紧致度实现多区域特征融合步态识别方法的流程示意图； 

图2为本发明针对测试图片序列中一幅图片的步态区域检测的效果示意图； 

图3为本发明在UCSD数据库上的ROS曲线图； 

图4为本发明在SOTON数据库上的ROS曲线图。 

具体实施方式

本发明的基本思想是：将步态区域图像的紧致度和/或矩形度作为基本区域特征，并与其他区域特征相融合，进行步态识别，从而实现步态识别的较高识别率。 

下面结合附图及具体实施例对本发明再作进一步详细的说明。 

如图1所示，本发明基于紧致度实现多区域特征融合步态识别的方法包括以下步骤： 

步骤101：对当前的测试图片序列进行背景建模，得到背景图像； 

一般，当需要对某个对象进行步态识别时，先拍摄该对象一系列的运动轨迹，得到由n幅图像组成的测试图片序列，然后再对得到的测试图片序列进行背景建模。其中，背景建模可在图像处理软件，如Matlab中采用中值滤波法建立背景模型，下文均以采用Matlab为例。假设：I^t表示测试图片序列中的第t幅图像，序列的长度为N，则背景图像B(x，y)可以表达为公式(1)： 

$B(x,y)=\mathrm{median}\{I_{\mathrm{xy}}^1,\·\·\·,I_{\mathrm{xy}}^t,\·\·\·,I_{\mathrm{xy}}^N\}---\left(1\right)$

其中，median{…}表示对测试图片序列中每幅图像的(x，y)点求中值。 

步骤102：根据得到的背景图像，对测试图片序列中的每幅图像进行时域差分及二值化处理，得到步态区域图像； 

在得到背景图像之后，将测试图片序列中的每幅图像作为前景图像分别对 背景图像进行时域差分，得到该序列图片对应的差分图像；经过时域差分后，设定阈值，阈值需要根据具体的拍摄环境和其他条件综合来选择，选择阈值大小一般在20～30之间。比如：拍摄环境为室内还是室外；拍摄的摄像机的性能和前景图像的对比度等等。将所有差分图像采用公式(2)进行二值化： 

$F^t(x,y)=\left\{\begin{array}{cc}1,& \mathrm{if}|I_{\mathrm{xy}}^t-B(x,y)|>\mathrm{\ϵ}\\ 0,& \mathrm{else}\end{array}\right.---\left(2\right)$

公式(2)中，ε为所设定阈值，F^t(x，y)为第t帧二值化图像，1表示步态发生的区域，0表示背景。 

通常，在得到二值化图像F^t(x，y)之后，由于前景图像内的部分像素会不可避免的被漏检，导致前景图像区域会存在很多空洞，且部分较小的背景图像区域也可能被检测为前景图像，这种情况下，需要用形态学的开闭运算对每幅二值化图像进行图像处理，从而得到较佳的二值化后的步态区域图像，完成对步态区域的检测。 

图2为对测试图片序列中一幅图片的步态区域检测的效果示意图，其中，201为背景图像，202为该图片的原图像，203为经过二值化处理后得到的步态区域图像。 

步骤103：利用步骤102得到的所有步态区域图像，进行包括紧致度在内的一个或者一个以上区域特征的提取； 

本例中，对每幅步态区域图像提取的区域特征还包括：矩形度、细长度和质心高度三者之一、或三者的任意组合。 

具体的，对于二维平面物体，所谓紧致度表示该物体周长的平方除以面积，如公式(3)所示： 

$c=\frac{L^2}{A}---\left(3\right)$

其中，L表示运动对象轮廓的周长，A表示运动对象轮廓的面积。 

相应的，紧致度的提取为：通过Matlab进行步态区域图像处理，得到步态区域图像中运动对象的轮廓周长L和运动对象轮廓面积A，利用公式(3)，将 步态区域图像中运动对象轮廓周长的平方除以运动对象轮廓面积，得到当前图像的紧致度。 

矩形度表示运动对象轮廓面积和最小外接矩形面积之比，如公式(4)所示， 

$R=\frac{A}{H*W}---\left(4\right)$

公式(4)中，H表示运动对象轮廓高度，W表示运动对象轮廓宽度。 

基于公式(4)，矩形度的提取为：由Matlab进行步态区域图像处理，得到运动对象轮廓面积A，同时，得到图像中运动对象轮廓的最上、最下、最左、最右四个点坐标，由最上与最下点坐标得出运动对象轮廓高度H，最左与最右点坐标得出运动对象轮廓宽度W，将H与W相乘得到最小外接矩形面积，步态区域图像中运动对象轮廓面积除以最小外接矩形面积，得到所要的矩形度。矩形度表示运动对象轮廓面积与其外接矩形面积之比的大小，取值范围为0～1。 

紧致度和矩形度这两个区域特征能够从不同角度反映运动对象行走时的步态信息，且紧致度和矩形度这两个区域特征是独立于线性变换的平移、旋转和尺度之外的。 

同时，利用Matlab的步态区域图像处理，提取能够用于进行步态周期检测的区域特征参数：细长度与质心高度。在这里，细长度和质心高度分别按公式(5)、公式(6)所示进行提取。 

$E=\frac{W}{H}---\left(5\right)$

其中，H表示运动对象轮廓高度，W表示运动对象轮廓宽度。根据公式(5)，将图像中运动对象轮廓宽度除以运动对象轮廓高度，即可得到此步态区域图像的细长度。 

$y_c=\frac{\underset{p(x,y)\∈\mathrm{sih}}{\mathrm{\Σ}}y}{\mathrm{count}}---\left(6\right)$

公式(6)中，sih为运动对象轮廓边界，count为边界像素总数。 

为了对测试图片序列中的对象进行识别，还需要提取数据库中每个测试对象的视频图像作为参考图片序列，再将测试图片序列与每个测试对象的参考图 片序列所提取的区域特征进行相似性度量。因此，上述步骤101～103中，还需分别对每个测试对象的参考图片序列进行背景建模、时域差分及二值化，得到步态区域图像，之后再对所有步态区域图像提取与测试图片序列相同的区域特征。 

步骤104：对步态区域图像所提取的各个区域特征进行相似性度量； 

这里，采用动态时间规整(DTW，Dynamic Time Wrapping)算法，将测试图片序列与每个测试对象的参考图片序列进行动态时间规整，使得测试图片序列与参考图片序列中图片同相位的区域特征相匹配，从而对测试图片序列与每个测试对象的参考图片序列的各个区域特征进行比较，计算出基于欧式距离的各个区域特征的相似值。 

步骤105：将区域特征的相似值分别进行乘性融合，并根据测试图片序列与参考图片序列的相似程度，识别出测试图片序列中的对象； 

通过步骤104得到测试图片序列与每个测试对象的参考图片序列的各个区域特征的相似值；然后分别将这些值进行乘性融合，融合后的值作为最终分类的相似值；在得到融合后的相似值之后，利用此相似值的大小来衡量测试图片序列与每个测试对象的参考图片序列的相似程度。以此，识别出该测试图片序列中的对象与哪个参考图片序列中的对象较为相近，然后将该测试图片序列分类到与之最相近的参考图片序列中，从而识别出该测试图片序列中的对象。 

以上为本发明的一较佳实施例，基于紧致度实现多区域特征融合的步态识别。当然，在步骤103中也可以增加其他的区域特征进行提取，但特征的提取如果比较复杂，将可能会增大特征提取的计算量，使步态识别变得复杂，一般不采用。 

本发明的另一较佳实施例是：基于矩形度实现多区域特征融合的步态识别，其具体步骤与基于紧致度实现多区域特征融合的步态识别方法基本相同，区别仅在于：步骤103中对特征的提取，至少提取矩形度，进一步可提取紧致度、和/或细长度、和/或质心高度。 

为实现上述方法，本发明还提供了一种实现多区域特征融合步态识别的系 统，该系统包括：步态区域检测模块、特征提取模块、分类识别模块；其中， 

步态区域检测模块，用于对测试图片序列进行背景建模，并根据背景建模得到的背景图像，完成对测试图片序列对应图像的时域差分和二值化处理，得到步态区域图像； 

特征提取模块，用于提取所有步态区域图像包括紧致度或矩形度的一个或一个以上区域特征，进一步的，该模块还用于对矩形度或紧致度、细长度、质心高度等特征进行提取； 

分类识别模块，用于将特征提取模块提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行乘性融合，按照融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。 

进一步的，步态区域检测模块还包括：背景建模子模块、时域差分子模块和图像二值化子模块；其中，背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模；时域差分子模块，用于根据背景建模得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理；图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。 

在进行步态识别时，步态区域检测模块将测试图片序列和每个测试对象的参考图片序列经过背景建模、时域差分及二值化处理，得到二值化后的步态区域图像；特征提取模块根据得到的步态区域图像，提取至少包括紧致度或矩形度的区域特征；之后，通过分类识别模块对每个测试对象的参考图片序列和测试图片序列中所提取的各个区域特征进行相似性度量，并计算得到基于欧氏距离的相似值；然后把各个区域特征基于欧氏距离的相似值进行乘性融合，融合后的值作为最终分类的相似值，利用此相似值的大小衡量测试图片序列与每个测试对象的参考图片序列的相似程度；识别出该测试图片序列中的对象与哪个参考图片序列中的对象较为相近，将该测试图片序列分类到与之最相近的参考图片序列中，从而识别出该测试图片序列中的对象。 

下面结合具体实施例详细说明本发明的方法及装置的实现过程和原理。 

在此所用的步态序列图片是南加州大学的UCSD数据库和南安普顿大学的SOTON数据库，这些数据库对不同的测试者有多个测试图片序列。 

对于任意序列中的图片I_t，设其特征为f_i，序列中的共有N幅图片，则用F＝[f₁，f₂，…，f_N]来表征该序列；取测试者的任意一个序列作为参考图片序列，设为F_i ^R，下标表示第i个测试者，测试者总数为c，即1≤i≤c。将除了作为参考图片序列外的测试对象序列作为测试图片序列，设其总数为M，每个测试图片序列的表征为F_j ^T(1≤j≤M)，则需用f_j ^T(1≤j≤M)同F_i ^R的每个区域特征进行比较，以决定测试图片序列的分类，并给出正确识别率。通过将测试图片序列与参考图片序列进行比较，得到各个区域特征的相似值，结果如表1所示。 

表1 

从表1中可以看出，单个特征的识别率是有限的，将多个特征进行融合，就能够达到较高的识别率。 

图3和图4分别画出了在UCSD数据库和SOTON数据库上进行实验的分类性能度量ROS曲线，该曲线表示一个测试度量的实际类别在它的最前k个匹配值之间的累计概率p(k)。性能统计特性以累积匹配分值(CMS，cumulativematch scores，)来表示，阶次表示为横轴，而垂直轴表示正确匹配的累计百分比，实际正确的分辨率等价于阶次为1的分辨率。其中，图3与图4中带“*”的曲线代表质心高度；带“+”的曲线代表紧致度；带“□”的曲线代表矩形度；带“○”的曲线代表细长度；平滑曲线代表质心高度、紧致度、矩形度以及细长度四种特征融合后的曲线。从图3和图4中可以看出，实际正确的分辨率， 即在阶次为1时，将多个特征进行融合后的识别率要高于其中任意单个特征的识别率，显然，特征融合的方法能够达到较高的识别率。 

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (14)

1.一种多区域特征融合的步态识别方法，其特征在于，该方法包括以下几个步骤：

a1.将测试图片序列与每个测试对象的参考图片序列分别进行步态区域检测，得到每幅图片的步态区域图像；

b1.提取所有步态区域图像中包括紧致度在内的一个或一个以上区域特征；所述紧致度为所述步态区域图像中运动对象的轮廓周长的平方除以运动对象轮廓的面积；

c1.对步骤b1中提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行融合，根据融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。

2.根据权利要求1所述的方法，其特征在于，步骤b1中所述一个以上区域特征还包括矩形度、细长度、质心高度三者中的一个或三者的任意组合。

3.根据权利要求1或2所述的方法，其特征在于，步骤c1所述将各个区域特征的相似值进行融合具体为：将各个区域特征的相似值采用乘性原则进行融合。

4.根据权利要求3所述的方法，其特征在于，步骤c1中所述相似性度量具体为：利用动态时间规整算法将测试图片序列与每个测试对象的参考图片序列进行动态时间规整，并计算出基于欧式距离的各个区域特征的相似值。

5.一种多区域特征融合的步态识别方法，其特征在于，该方法包括以下几个步骤：

a2.将测试图片序列与每个测试对象的参考图片序列分别进行步态区域检测，得到每幅图片的步态区域图像；

b2.提取所有步态区域图像中包括矩形度在内的一个或一个以上区域特征；所述矩形度为所述步态区域图像中运动对象轮廓面积和最小外接矩形面积之比；

c2.对步骤b2中提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行融合，根据融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。

6.根据权利要求5所述的方法，其特征在于，步骤b2中所述一个以上区域特征还包括细长度、和/或质心高度。

7.根据权利要求5或6所述的方法，其特征在于，步骤c2所述将各个区域特征的相似值进行融合，具体为：将各个区域特征的相似值采用乘性原则进行融合。

8.根据权利要求7所述的方法，其特征在于，步骤c2中所述相似性度量具体为：利用动态时间规整算法将测试图片序列与每个测试对象的参考图片序列进行动态时间规整，并计算出基于欧式距离的各个区域特征的相似值。

9.一种多区域特征融合的步态识别系统，其特征在于，该系统包括：

步态区域检测模块，用于得到较佳的测试图片序列和每个测试对象的参考图片序列的步态区域图像；

特征提取模块，用于提取所有步态区域图像包括紧致度的一个或一个以上区域特征；所述紧致度为所述步态区域图像中运动对象的轮廓周长的平方除以运动对象轮廓的面积；

分类识别模块，用于将特征提取模块提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行乘性融合，按照融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。

10.根据权利要求9所述的系统，其特征在于，所述特征提取模块提取的一个以上区域特征还包括矩形度、细长度、质心高度三者中的任意一个或者三者的任意组合。

11.根据权利要求9或10所述的系统，其特征在于，所述步态区域检测模块进一步包括背景建模子模块、时域差分子模块和图像二值化子模块；其中，

背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模；

时域差分子模块，用于根据背景建模得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理；

图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。

12.一种多区域特征融合的步态识别系统，其特征在于，该系统包括：

步态区域检测模块，用于得到较佳的测试图片序列和每个测试对象的参考图片序列的步态区域图像；

特征提取模块，用于提取所有步态区域图像中包括矩形度在内的一个或一个以上区域特征；所述矩形度为所述步态区域图像中运动对象轮廓面积和最小外接矩形面积之比；

分类识别模块，用于将特征提取模块提取的各个区域特征进行相似性度量，并将各个区域特征的相似值分别进行乘性融合，按照融合后测试图片序列与参考图片序列的相似程度识别出测试图片序列中的对象。

13.根据权利要求12所述的系统，其特征在于，所述特征提取模块提取的一个以上特征还包括细长度、和/或质心高度。

14.根据权利要求12或13所述的系统，其特征在于，所述步态区域检测模块进一步包括背景建模子模块、时域差分子模块和图像二值化子模块；其中，

背景建模子模块，用于对测试图片序列与每个测试对象的参考图片序列进行背景建模；

时域差分子模块，用于根据背景建模得到的背景图像，完成对测试图片序列与每个测试对象的参考图片序列对应图像的时域差分处理；

图像二值化子模块，用于将差分后的图像进行二值化处理，得到步态区域图像。

Images