CN101226597B - 一种基于热红外步态的夜间行人识别方法及系统 - Google Patents

Abstract

本发明公开一种基于热红外步态的夜间行人识别方法及系统，方法步骤是：从红外视频图像中检测分割出行人，获取热红外步态图像序列，采用平均灰度图来描述热红外步态视频，进而获取热红外步态特征；基于最近邻分类器，以平均灰度图为身份属性描述，对热红外视频图像中行人的热红外步态进行身份识别。系统包括：热红外视频图像获取模块，红外图像分析处理模块。在CASIA夜间红外步态数据库和在NLPR日间可见光模态步态数据库上的实验证明了本发明对于夜间行人身份识别的有效性和步态表征方式具有较强的识别能力。本发明应用到特殊场合的安全监控。

Description

一种基于热红外步态的夜间行人识别方法及系统

技术领域

本发明属于模式识别应用领域，涉及对步态的生物特征进行数字图像处理、计算机视觉和模式识别技术。

背景技术

步态意指人的行走方式。广义来说，步态既包含有行人运动过程中的动态信息也含有人体形这一静态信息。早期的心理物理学与医学步态分析研究结果证明步态包含有丰富的个体特性，同时相对个体而言，具有唯一性，因此它可以被用于身份识别。

美国911恐怖袭击事件之后，各国政府和民众对安全保障有了比以往更为强烈的需求。传统的人力密集型监控系统存在一些局限性：

①要求工作人员长时间注意力保持高度集中；

②大量实时视频数据的监测；

③对多个目标同时监控存在一定的困难性；

④在全天候工作条件下存在欠妥性；

⑤较高的人员工作强度。

这些局限性凸现出传统人力密集型监控系统的技术不足之处。在这种强烈的市场和技术需求条件下，智能视觉监控受到了人们更为广泛的关注。智能视觉监控是一个多学科交叉的应用领域，它目前是计算机视觉最为活跃的应用领域之一，智能视觉监控可能的应用领域有银行安保，边境检查，安全敏感场合的访问控制，流量统计等。目前智能视觉监控研究的目标是实现以计算机为主体，以人为辅，对动态场景实现实时监控目的，以减轻工作人员的劳动强度(注意：“辅”意指人只进行指导计算机如何进行有效学习规则)和提高监控效率。例如，由美国国防高级研究项目署DARPA牵头的VSAM项目瞄准了智能视觉监控在战场和民用场景中的应用。卡内基梅隆大学与Sarnoff公司联合进行视频监控与监测子项目开发出了利用多个协同工作的视频传感器来对复杂的环境中的人和车辆进行监控。MIT视觉监控研究组的集群传感器项目利用大量廉价摄像头，开发出一套监控系统，能够对场景进行持续、全范围的监控与监测，此外，此系统还具有自动配置和处理的特点。而MIT多媒体实验室则侧重于视频图像中行为的理解，即对视频序列进行解释，以告知环境中正在发生些什么。从实际应用来考虑，全天候应该是一个鲁棒的视觉监控系统的必备条件，因此夜间视觉监控是视觉监控系统的一个不可缺少的有机组成部分。当前视觉监控的研究对象一般只考虑行人和车辆。

另一方面，人运动视觉分析则为智能视觉监控中人的监控部分提供了必要的理论基础。人运动视觉分析侧重于研究：

1.人体各组成部分的运动分析；

2.从单目或多目摄像机中对行人进行跟踪；

3.从图像序列中识别人的行为。

人运动分析的广泛应用前景引起了广大学术和工业界人士的浓厚兴趣。由美国国防高级研究项目署(DARPA)资助的HID(HumanIdentification at a Distance)计划的目的则是开发自动生物特征识别技术用于在远距离条件下对人进行检测、分类、识别，以期提高国防和民用设施对于恐怖分子、犯罪分子和其它人为攻击的防御能力。许多世界知名大学，如麻省理工，卡内基梅隆，佐治亚理工，马里兰等大学均参与到这个计划当中。HID计划拟采用人脸和步态特征相结合的策略，对人进行识别。在近距离时，可通过跟踪人脸实现对人的识别；在远距离时，由于脸部特征较难获取，故利用步态特征对人进行识别；在中等距离时，采用多模态融合策略，来产生一个更为快速、准确、无约束的行人识别系统。值得注意的是当前HID研究工作大都集中于日间或可见光范围内的行人监控识别。这主要是由于夜间的光照条件低，在可见光条件下，一般很难对运动目标进行鲁棒有效的检测。

早期一些学者利用普通CCD摄像头加高强度探照灯的组合，在夜晚通过探照灯对被监控区域进行光照增强，然后再由普通可见光摄像头对被监控区域进行图像采集。这种方法存在的一个问题是探照灯的选择对最终监控系统性能有着重要影响：若探照灯发生故障，整个监控系统则将不能正常工作；图像质量受光照强度的影响较大。另外，探照灯的高强度对人眼有较强的刺激作用，如果用在交通监控场景，则探照灯的使用会转移驾驶员的注意力，容易造成交通事故。值得注意的是近年来由于随着红外成像设备成本的下降以及红外成像技术的不断完善进步，利用计算机视觉算法来对红外图像进行智能分析的研究不断增加，并且为夜间视觉监控的研究提供了一种可行的途径。一些研究者利用红外成像技术克服了早期人脸识别中的光照依赖性，进而进一步提高人脸系统在光照变化条件下的系统性能。此外，还有一些研究工作在假设行人体温比环境温度高的条件下来对红外图像中的行人进行检测和跟踪。红外成像具有先天的光照无关性和可见光谱中的阴影免疫特点，使得它成为夜视监控中一种颇具吸引力的成像模态，其最大优点是它的夜视能力。

此外，步态作为一种新兴的生物特征，具有远距离可感知性、非接触性和非侵犯性的特点。与人脸，虹膜，指纹等生物特征相比，步态是目前唯一的可远距离提取的生物特征技术。步态的缺点是它受到行人的情绪、疲劳、健康状况等条件的影响。综上，就夜间视觉监控而言，基于热红外步态的行人识别方法具有迫切需求，此外，我们有必要进一步提高步态识别方法的效率和准确率。

近年来，基于可见光条件下的步态识别的研究工作大都集中于步态特征提取问题上，忽视行人检测这一重要功能模块。以下是近年来的可对比性技术及本发明的参考文献：

[1]C.BenAbdelkader，R.Culter，H.Nanda and L.Davis.EigenGait：motion-based recognition of people using image self-similarity，in Proc.ofIntl.Conf.on Audio-and Video-based Biometric Person Authentication，pp：284-294，2001.

[2]B.Bhanu and J.Han.Kinematic-based Human Motion Analysis inInfrared Sequeces.Proc.the 6th IEEE Workshop on Applications ofComputer Vision，pp：208-212，2002.

[3]R.Collins.Silhouette-based Human Identification from BodyShape and Gait.Proc.the 5th IEEE International Conference on AutomaticFace and Gesture Recognition，pp：351-356，2002.

[4]S.Sarkar，P.Philips，Z.Liu，I.Vega，P.Grother and K.Bowyer.TheHuman Gait Challenge Problem：Data Sets，Performance and Analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence，27(2)：162-177，2005.

[5]C.Stauffer and W.E.L Grimson.Adaptive Background MixtureModels for Real-time Tracking.Proc.Conference on Computer Vision andPattern Recognition，PP：246-252，1999.

[6]L.Wang，T.Tan，H.Ning and W.Hu.Silhouette Analysis-basedGait Recognition for Human Identification.IEEE Transactions on PatternAnalysis and Machine Intelligence，25(12)：1505-1518，2003.

[7]J.K.Aggarwal and Q.Cai.Human Motion Analysis：A Review.Computer Vision andImage Understanding，73(3)，pp：428-440，1999.

[8]R.Collins et al.A System for Video Surveillance and Monitoring：VSAM Final Report.Technical Report：CMU-RI-TR-00-12，CarnegieMellon University，2000.

[9]http://www.ai.mit.edu/projects/vsam/.

尽管目前针对步态识别提取这一研究领域，已经提出了许多富有希望的研究成果，但是它们大都是针对可见光模态下日间行人的身份识别，并且还有很大空间来进一步提升步态识别系统的性能。例如，当前的步态识别算法普遍计算复杂度高，计算效率低，因而对于实时性要求高的场合来说，是不能满足要求的。

发明内容

现有技术针对可见光模态下日间行人的身份识别，步态识别算法计算复杂度高，计算效率低，不能适应实时性要求高的场合使用，为了解决现有技术的问题，本发明的目的是提供步态识别算法计算简单，计算效率高，能适应实时性要求高的场合使用的一种基于热红外步态的夜间行人识别的方法及系统。

为了实现所述的目的，本发明的一方面，提出一种基于热红外步态的夜间行人识别方法，步骤如下：

训练热红外步态视频图像步骤：从红外视频图像中检测分割出行人，获取热红外步态图像序列，采用平均灰度图来描述热红外步态视频，进而获取热红外步态特征；

识别热红外步态视频图像步骤：基于最近邻分类器，以平均灰度图为身份属性描述，对热红外视频图像中行人的热红外步态进行身份识别。

优选地，所述训练热红外步态视频图像的步骤如下：

S1：输入热红外步态视频图像；

S2：对热红外步态视频序列中图像的每个像素的灰度分布用自适应更新的混合高斯模型近似逼近，实现对整个热红外步态图像的像素灰度分布建模；

S3：利用热红外图像像素分布模型，对整幅热红外步态视频图像中的热红外运动目标进行粗检测，获取热红外步态视频图像像素二值分类结果；

S4：对二值分类结果进行后处理去除无关噪声信号，得到二值化热红外行人步态前景图像，通过计算获取人行走序列中一个周期的热红外步态剪影；

S5：利用热红外步态剪影图像的时空运动特点和人体形信息，判断当前剪影帧是否属于一个周期内的热红外步态剪影，如果是，则执行步骤S6；如果不属于一个周期的热红外步态剪影，则执行步骤S7；

S6：对热红外步态剪影图像尺寸进行归一化，累加归一化的热红外步态视频序列中有效步态剪影，返回步骤S2；

S7：对一个周期的热红外步态剪影人体形信息进行平均灰度图计算，获取热红外步态特征；

S8：接收热红外步态进入训练集步态库。

优选地，所述识别热红外步态视频图像步骤：

步骤1：对待识别热红外步态建立灰度模型、粗检测、后处理、计算平均灰度图；

步骤2：将待识别热红外步态平均灰度图信息作步态特征和训练集步态库输入最近邻分类器，使最近邻分类器基于步态信息对行人身份进行识别。

优选地，所述基于像素二值分类的热红外运动目标粗检测，采用贝叶斯原理将热红外图像像素分成前景运动目标和背景目标；

对于当前灰度值为x_t的某像素，由贝叶斯原理，它为前景运动目标

            $P\left(O\right|x_t)=\frac{P(x_t,O)}{p\left(x_t\right)}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}P(x_t,O,f_i)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}p\left(x_t\right|f_i)P\left(f_i\right)}$

的概率由 $=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}P\left(f_i\right)p\left(x_t\right|f_i)P\left(O\right|x_t,f_i)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}p\left(x_t\right|f_i)P\left(f_i\right)}$ 来确定；当P(O|x_i)＞P_OT

       $=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{P}_{i,t}p\left(x_t\right|f_i)P\left(O\right|f_i)}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{P}_{i,t}p\left(x_t\right|f_i)}$

时，则认为当前像素为前景；否则，为背景；其中，P_OT为阈值，取值大于0.5；

P(O|f_i)按如下规则确定：

1.对分量高斯函数f_i按权值P_it升序进行排序；

2.将前个高斯函数取为前景分量函数，即当i≤k时，P(O|f_i)＝1；否则，P(O|f_i)＝0。P_PT取值在(0，1)范围内。

优选地，所述基于像素二值分类的热红外运动目标粗检测，或采用可信度阈值的像素分类步骤如下：

选择|x_i-u_i，t|＜2.5σ_i，t来评价像素值x_t与分量高斯函数f_i的匹配，则像素分类按如下原则进行：

1.当x_t与像素灰度模型中任何一f_i均不匹配时，则认为x_t对应像素为前景；

2.当x_y与某f_i，m匹配时，则当前f_i，m权重P_i，t更新为前一时刻权重P_i，t-1的100×(1-α)％加上一个固定学习值α；将α与f_i，m在x_t处函数值乘积作为f_i，m更新参数ρ，则f_i，m的均值更新为前一时刻均值u_i，t-1与当前x_t按(1-ρ)的加权平均，此外，计算当前灰度与f_i，m的均值之差的平方，将其与f_i，m前一时刻方差σ_i，t-1 ²按ρ的加权求和作为f_i，m在当前时刻的方差更新；然后，对先验概率P_it进行规一化；其次，按P_i，t/σ_i，t降序，对f_i进行排序；记

若f_i，m在前k个f_i中，则认为x_t对应像素为背景，否则，为前景。

优选地，所述利用平均灰度图来表征红外步态步骤如下：

1)对检测出的前景行人灰度图像进行二值化处理，得到行人剪影图像；

2)从得到的行人剪影轮廓图像计算包含前景行人的最小矩形框，截取出矩形框内的二值行人图像；

3)对二值行人图像进行规一化，得到具有相同的分辨率掩码后的二值图像，并且行人中心水平坐标位于掩码后的二值图像的中间位置；

4)对于一个序列的行人步态视频，其步态被表征为GF

$\mathrm{GF}=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{P}_M(x,y,t)$

P_M(x，y，t)＝P_N(x，y，t)∩M(x，y，t)

$M(x,y,t)=\left\{\begin{array}{cc}1& y\≤\mathrm{cH}\\ 0& \mathrm{otherwise}\end{array}\right.$

其中N表示有效步态视频帧数，P_M(x，y，t)是掩码后的二值图像，M(x，y，t)是掩码图像，它的取值表明对P_N(x，y，t)中人体部分的提取，H为图像高度，比例系数c的取值在[0.769，1]范围内。

优选地，所述后处理步骤如下：

Sa.输入热红外图像像素粗分类；

Sb.对红外图像像素粗分类进行连通域分析，得到连通图像运动区域块；

Sc.对运动区域块进行像素二值化，运动区域像素的偏差使得运动区域块生成噪声；

Sd.对分割出的前景运动区域块内部一些细小孔洞的噪声信号，采用形态学中的腐蚀和膨胀算法进行滤波；

Se.利用金字塔算法，去掉滤波结果中的孔洞噪声信号，得到一幅二值化的人体前景图像；

Sf.用人体前景图像区域面积、长宽比和紧致性大小来判断它是否对应一个行人，使人体前景图像区域的面积、长宽比和紧致性在一定的阈值范围内，消除无关区域，使人体前景图像区域对应为前景运动物体；

Sg.对人体前景图像区域对应为前景运动物体；采用形态学中的腐蚀和膨胀算法进行滤波；

Sh.对滤波结果进行归一化处理得到二值化热红外步态前景图像。

为了实现所述的目的，本发明的另一方面，实现一种基于热红外步态的夜间行人识别系统包括：

热红外视频图像获取模块，在夜间低光照条件下，用于获得电磁波谱里红外光谱段内的成像模态；

红外图像分析处理模块，用于建立热红外图像像素灰度模型，对运动物体粗检测，对粗检测进行后处理；用平均灰度图表征红外步态，对红外步态特征识别。

优选地，所述热红外图像分析处理模块，是在夜间红外视频中的行人身份识别包括：

热红外图像像素灰度模型单元，用于对整幅热红外步态图像的像素分布建模；

运动物体粗检测单元，用于对整幅热红外步态视频图像中的热红外运动目标进行粗检测，生成热红外步态视频图像像素二值分类结果；

后处理单元，用于对二值分类结果去除噪声信号，生成具有二值化热红外步态前景图像，获取热红外步态剪影；

步态表征单元，利用平均灰度图对热红外步态剪影表征红外步态，用于行人身份识别；

步态特征识别单元，基于多模板的最近邻分类器，对热红外步态视频图像中行人的热红外步态进行身份识别。

附图说明

图1.基于热红外步态的夜间行人身份识别算法流程，图1a为训练过程，图1b为识别过程。

图2.行人检测后处理算法流程，图中虚线表示可选取部分，当系统硬件配置计算能力高，加入金子塔算法，否则，可不用金子塔算法。

图3.某行人的热红外步态图像。

图4.基于红外图像像素灰度模型的粗检测结果。

图5.对应于c＝1的热红外行人步态平均灰度图。

图6.对应于c＝0.769的热红外行人步态平均灰度图。

图7.一个周期内被检测出的归一化的行人步态剪影。

图8.热红外步态识别系统方案图。

图9.热红外图像分析处理模块流程图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明与人的运动分析相关，更确切的说，与以视频图像数据流中人步态分析为手段的行人身份识别相关，属于模式识别应用领域。本发明充分利用了数字图像处理、计算机视觉和模式识别等领域的技术，促进了步态这一生物特征技术在夜间视觉监控中的应用。

本发明的主要贡献和特点在于：

1)利用自适应更新的混合高斯模型来对红外图像像素灰度进行统计建模，它使系统能较鲁棒的从复杂动态变化场景中检测出运动物体；

2)选取基于行人体形特征的平均灰度图作为步态特征；

3)基于模板匹配的快速识别算法；

4)较高识别率；

5)克服了步速对识别性能的影响；

6)能实时的对红外视频中的行人进行身份识别；

7)本发明有机的整合了图像处理、计算机视觉和模式识别等领域的技术，尽管它是在假设行人侧视行走条件下，但在正视和斜视条件下的识别试验验证了其鲁棒性能。就一些实际限定场合下基于步态的人身份识别而言，本发明具有技术上的创新和突破。

本发明以夜间视觉监控为背景(夜间视觉监控无疑是智能视觉监控中一个重要的有机组成部分)，以行人为研究对象，研究基于热红外步态的夜间行人步态分析与识别问题，涉及到热红外步态视频图像获取、图像灰度建模、行人检测、步态特征提取、分类器训练和识别这些子问题。这里我们假设，行人运动方向与摄像机光轴方向近似垂直，并且行人在行走过程中身体始终保持直立姿态。

受到人识别过程启发，我们认为体形特征是一种重要的识别信息。本发明先从红外视频图像中检测分割出行人，利用步态的时空运动特点，通过体形信息来对行人进行识别，进而实现了一种独特的基于热红外步态的夜间远距离行人身份识别方法。

如图8所示，本发明的一种基于热红外步态的夜间行人识别系统方框图，其技术方案主要包括两大模块，其中：

热红外视频图像获取模块1，利用热红外成像仪，通过视频采集卡连接到计算机，在夜间低光照条件下，可获取电磁波谱里热红外光谱段内的成像模态；

热红外图像分析处理模块2，通过计算机由软件算法实现，用于建立热红外图像像素灰度模型；对运动物体粗检测，对粗检测进行后处理；用平均灰度图表征红外步态；对红外步态特征识别。

如图9所示，是本发明热红外图像分析处理模块2方框图，夜间红外视频中的行人身份识别有赖于这五个功能模块的协调工作来完成。

热红外图像分析处理模块2包括：

热红外图像像素灰度模型单元21，用于对整幅热红外步态图像的象素分布建模；

运动物体粗检测单元22，用于对整幅热红外步态视频图像中的热红外运动目标进行粗检测，生成热红外步态视频图像像素二值分类结果；

后处理单元23，用于对二值分类结果去除噪声信号，生成具有二值化热红外步态前景图像，获取热红外步态剪影；

步态表征单元24，利用平均灰度图表征红外步态，用于行人身份识别；

步态特征识别单元25，基于多模板的最近邻分类器，对热红外步态视频图像中行人的热红外步态进行身份识别。

本发明的方法利用红外成像原理获取夜间行人的热红外步态视频图像；基于多高斯混合模型的背景减除策略检测出前景行人运动目标；借助形态学滤波和金字塔算法去除检测噪声；使用人体征信息作为行人身份属性描述；综合多模板匹配和最近邻决策方法，实现对行人的身份识别。

本发明的技术方案流程图见附图1所示，图1a为红外步态视频训练过程步骤如下：

S1：输入热红外步态视频图像；

S2：对热红外步态视频图像的视频序列中每个像素的灰度分布用自适应更新的混合高斯模型近似逼近，实现对整体热红外步态图像的像素分布建模；

S3：利用热红外图像像素分布模型，对整幅热红外步态视频图像中的热红外运动目标进行粗检测，获取热红外步态视频图像像素二值分类结果；

S4：对二值分类结果进行后处理去除无关噪声信号，得到二值化热红外步态前景图像，通过计算获取人行走序列中一个周期的热红外步态剪影；

S5：利用热红外步态剪影图像的时空运动特点和人体形信息，判断当前剪影帧是否属于一个周期内的热红外步态剪影，如果是，则执行步骤S6；如果不属于一个周期的热红外步态剪影，则执行步骤S7；

S6：对热红外步态剪影图像尺寸进行归一化，累加归一化的热红外步态视频序列中有效步态剪影，返回步骤S2；

S7：对一个周期的热红外步态剪影人体形信息进行平均灰度图计算，获取热红外步态；

S8：接收热红外步态进入训练集步态库。

图1b为红外步态视频识别过程步骤如下：

步骤1：对待识别热红外步态建立灰度模型、粗检测、后处理、计算平均灰度图；

步骤2：将待识别热红外步态平均灰度图信息作为步态特征和训练集步态库输入最近邻分类器，使最近邻分类器基于步态信息对人身份进行识别。大量的实验结果验证了我们方法的有效性。下面将对该发明技术方案中所涉及的各个细节问题进行详细说明：

1、热红外视频图像获取

本部分模块的功能是在夜间低光照条件下，提供一种便捷的方式来获得电磁波谱里红外光谱段内的成像模态，提高低光图像对比度，为夜间视觉监控提供一种夜视能力。它可以通过使用热红外摄像头或红外热像仪或其它一些热红外成像设备来实现上述目的。

2、基于混合高斯模型的红外图像灰度分布模型

动态场景中行人检测是一个步态识别系统的基石。目前，在可见光下的目标检测方法主要有：背景减除、光流法、帧间差和基于boosting的学习方法的目标检测。研究表明：基于光流方法的假设条件，在红外视频图像中一般不直接成立；基于帧间差的方法一般通过利用动态信息来恢复出目标轮廓，但是具有检测不完整的缺点；基于boosting的行人检测效率难以满足实时性要求。另一方面，背景减除方法的简单和直接性促使我们采用基于背景减除的目标检测算法，其核心是背景图像的构建。传统的背景图像构造由沿时间轴上的不含运动物体的图像序列平均得到，但这种方法受噪音和动态变化影响大，检测效果不鲁棒。另一方面，由于实际应用场合一般是一个动态场景，故可对场景红外图像中每个像素的灰度值分布用一个混合高斯函数来近似逼近表示：

$f_i\left(x_t\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{1}{2}}{\mathrm{\σ}}_{i,t}}{e}^{-\frac{{(x_t-u_{i,t})}^2}{2{{\mathrm{\σ}}_{i,t}}^2}}---\left(2\right)$

其中式(1)-(2)中各符号意义如表1所示。

表1.像素灰度高斯混合模型中数学符号之意义

符号	数学意义
		x<sub>t</sub>	当前像素灰度值
p(x<sub>t</sub>)	x<sub>t</sub>处的概率密度
		P<sub>i，t</sub>	对应于f<sub>i</sub>(x<sub>t</sub>)的先验概率
f<sub>i</sub>(x<sub>t</sub>)	第i个高斯分量函数
		N	高斯函数个数
u<sub>i，t</sub>	第i个高斯函数的均值
		σ<sub>i，t</sub>	第i个高斯函数的方差

一般情况下，混合高斯函数中的参数是未知的。传统的方法是利用期望最大化算法对这些参数进行基于学习样本的推理估计。尽管期望最大化算法的学习精度较高，但它的高计算代价使得算法整体的实时性大打折扣。目前，已经有许多学者提出针对上述问题的参数学习算法。本发明拟采用Stauffer等人[15]的混合高斯函数参数学习算法，以牺牲部分计算精度换取算法的高效率。本发明采取的高斯混合函数参数学习公式如式(3)-(7)所示。

P_i，t＝(1-α)P_i，t-1+αM_k，t              (3)

$M_{k,i}=\left\{\begin{array}{cc}1& |x_t-u_{i,t}|<2.5{\mathrm{\&sigma;}}_{i,t}\\ 0& \mathrm{otherwise}\end{array}\right.---\left(4\right)$

u_i，t＝(1-ρ)u_i，t-1+ρx_t                 (5)

σ_i，t ²＝(1-ρ)σ_i，t-1 ²+ρ(x_t-u_i，t)²    (6)

ρ＝αf_i(x_t)                              (7)

其中t表示当前时刻，α表示学习速率，M_k，i表示一种winner-take-all的策略。

对一幅热红外图像中的每个像素灰度值分布采用相同个数的多高斯函数进行统计逼近，进而可实现对整幅图像的像素分布建模。

3、热红外运动目标粗检测

如图3所示，本发明获取的某行人的热红外步态图像，在前述热红外图像像素灰度值分布模型基础上，热红外图像中的运动目标粗检测则变成一个二值分类问题。对于此问题我们采用两种方法进行处理：1.基于贝叶斯原理的方法；2.基于可信度阈值的方法。

3.1基于贝叶斯原理的像素分类

对于当前灰度值为x_t的某像素，由贝叶斯原理，它为前景运动目标的概率由式(8)来确定。当P(O|x_t)＞P_OT时，则认为当前像素为前景；否则，为背景。其中，P_OT为阈值，取值大于0.5即可，具体值视保守性与否来定。P(O|f_i)按如下规则确定：1.对分量高斯函数f_i按权值P_it升序进行排序；2.将前

(注意P_1，t≤P_2，t≤...≤P_k，t)个高斯函数取为前景分量函数，即当i≤k时，P(O|f_i)＝1；否则，P(O|f_i)＝0。P_PT取值在(0，1)范围内，具体由实际情况来定。注意式(8)中其它符号意义同前。

$P\left(O\right|x_t)=\frac{P(x_t,O)}{p\left(x_t\right)}=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}P(x_t,O,f_i)}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}p\left(x_t\right|f_i)P\left(f_i\right)}$

$=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}P\left(f_i\right)p\left(x_t\right|f_i)P\left(O\right|x_t,f_i)}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}p\left(x_t\right|f_i)P\left(f_i\right)}---\left(8\right)$

$=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_{i,t}p\left(x_t\right|f_i)P\left(O\right|f_i)}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_{i,t}p\left(x_t\right|f_i)}$

3.2基于可信度阈值的像素分类

这种方法采用Stauffer等人[15]的像素分类思想。首先，我们定义像素值x_t与分量高斯函数f_i的匹配：当|x_t-u_i，t|＜2.5σ_i，t时，我们称x_t与f_i匹配。则对像素的分类按如下原则进行：

1.当x_t与像素灰度模型中任何一f_i均不匹配时，则认为x_t对应像素为前景；

2.当x_t与某f_i，m匹配时，则首先对f_i，m按式(3)-(7)进行参数更新；然后，对先验概率P_it进行规一化；其次，按P_i，t/σ_i，t降序(P_1，t/σ_1，t≥P_2，t/σ_2，t≥...≥P_N，t/σ_N，t)对f_i进行排序；记

若f_i，m在前k个f_i中，则认为x_t对应像素为背景，否则，为前景。

如图4所示，本发明的行人粗检测结果。本发明的红外图像像素灰度统计模型为像素二值分类(前景或背景)提供了理论依据。在上述像素二值分类结果基础上，利用连通域分析方法，进一步可以得到一些连通图像运动区域块。值得注意的是一些像素的二值分类的偏差会使得这些初步的运动区域块必然含有噪声，故而我们需要进行后续处理来抑制噪声块。

4、检测结果后处理

由于热红外图像的低信噪比特点和分割检测过程中出现的偏差，一般而言，计算得到的前景图像或多或少含有噪声信号，如孤立的无实际意义的物体。对于这些无意义的区域，本发明通过计算区域面积S、长宽比R和紧致性C大小来判断它是否对应一个行人，只有当区域的S、R和C在一定的阈值范围内，才认为此区域对应为前景运动物体。上述策略只能消除离散的虚假检测物体。另一方面，分割出的前景物体内部可能包含有一些细小的孔洞。对于这些噪声信号，我们采用形态学中的腐蚀和膨胀算法加金字塔算法去掉这些孔洞噪声信号，以期最终得到一幅较好的二值化的人体前景图像。如图2所示，行人检测后处理流程图，所述后处理步骤如下：

Sa.输入热红外图像像素粗分类；

Sb.对红外图像像素粗分类进行连通域分析，得到连通图像运动区域块；

Sc.对运动区域块进行像素二值化，运动区域像素的偏差使得运动区域块生成噪声；

Sd.对分割出的前景运动区域块内部一些细小孔洞的噪声信号，采用形态学中的腐蚀和膨胀算法进行滤波；

Se.利用金字塔算法，去掉滤波结果中的孔洞噪声信号，得到一幅二值化的人体前景图像；

Sf.用人体前景图像区域面积、长宽比和紧致性大小来判断它是否对应一个行人，使人体前景图像区域的面积、长宽比和紧致性在一定的阈值范围内，消除无关区域，使人体前景图像区域对应为前景运动物体；

Sg.对人体前景图像区域对应为前景运动物体；采用形态学中的腐蚀和膨胀算法进行滤波；

Sh.对滤波结果进行归一化处理得到二值化热红外步态前景图像。

图7显示了按照上述处理算法所得到的某人正常行走序列中一个周期的热步态剪影图像。

5、步态表征

步态特征的表示方式对行人的正确识别起着关键性的作用。目前，学术界已经提出了各种不同的步态特征表示方法，用于行人身份识别目的。但是，这些方法受检测分割结果的影响较大。例如，当算法不能很准确的对行人进行检测和分割时，很多算法的识别率急剧下降。

由于人行走过程是一个动静结合的过程，本发明通过启发式的思想，从体形信息着手，并考虑随时间变化的运动信息，利用平均灰度图来表征红外步态：

1)假设I(x，y，t)为检测出的前景行人灰度图像，通过对I(x，y，t)进行二值化处理，得到行人剪影图像P(x，y，t).其中，符号(x，y)表示图像空间坐标，而t表示时间。

2)从得到的行人剪影轮廓图像P(x，y，t)计算包含前景行人的最小矩形框，截取出矩形框内的二值行人图像P_B(x，y，t)。

3)对P_B(x，y，t)进行规一化得到P_N(x，y，t)，使P_N(x，y，t)具有相同的分辨率(2^K*2^K，K为一整数)，并且行人中心水平坐标位于P_N(x，y，t)的中间位置。

4)对于一个序列的行人步态视频，其步态被表征为GF

$\mathrm{GF}=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\&Sigma;}}}{P}_M(x,y,t)$

P_M(x，y，t)＝P_N(x，y，t)∩M(x，y，t)

$M(x,y,t)=\left\{\begin{array}{cc}1& y\&le;\mathrm{cH}\\ 0& \mathrm{otherwise}\end{array}\right.$

其中N表示有效步态视频帧数，P_M(x，y，t)是掩码后的二值图像，M(x，y，t)是掩码图像，它的取值表明对P_N(x，y，t)中人体部分的提取，H为图像高度，比例系数c的取值在[0.769，1]范围内，其中，下限值c＝0.769是根据理想腿长占身高比例(0.231)确定的，此时的步态特征称为HTI；上限值c＝1表示包括行人的整个身体。c的具体值结合实际应用场合来决定。从图5和图6中可以看出识别出各种步态。

如图5对应于C＝1的热红外步态平均灰度模板图所示，其中：

如图5a为正常走，如图5b为背包走，如图5c为慢走，如图5d为快走。

如图6对应于C＝0.769的热红外步态平均灰度模板图所示，其中：如图6a为正常走，如图6b为背包走，如图6c为慢走，如图6d为快走。

6、基于最近邻分类器的步态识别

对于一个模式识别系统，特征选取是系统成败的关键，而分类器设计的好坏对于系统的最后性能同时具有重要的影响。本发明采用最近邻分类器这一最简单而直接的方法来对未知步态特征进行识别。最近邻方法中的一个关键问题是距离度量的定义，这里我们利用l₁范数定义两幅步态特征图像间的距离来进一步提高识别计算效率：

ID＝argmin_kDis(U，K)          (9)

Dis(U，K)＝min_iDis(U，K_i)     (10)

$\mathrm{Dis}(U,K_i)=\underset{x,y}{\mathrm{\&Sigma;}}|U(x,y)-K_i(x,y)|---\left(11\right)$

其中K表示步态数据库中某行人目标的标识，K_i表示拥有标识K的行人步态模板。

下面将介绍本发明的实验结果：

为了验证本发明的有效性，我们分别在两个步态数据库上验证了本发明的步态识别系统性能：在CASIA夜间热红外步态库上验证其在夜间对行人的识别能力；在NLPR步态数据库上进一步验证了我们的步态特征表达的有效性。CASIA红外步态库中包含46人的步态视频数据，考虑了步速(正常步速走、快速走和慢速走)和携带条件(携带背包与否)两种步态变化因素，每位行人被记录10个序列的步态视频(正常走4序列，背包2序列，快走2序列，慢走2序列)，共460序列；NLPR步态库含有20人的步态图像序列，考虑了3个视角(正视、侧视和斜视)，对于每个角度，每人被记录4个步态图像序列，总共有240个序列。

我们将从两个层次对本发明与现有技术进行比较：红外模态下的视频分析比较和步态表征识别性能的比较。本发明与技术文献[2]的比较：1)研究目的：本发明与文献[2]都是基于热红外图像的视频分析工作，但侧重点不同。本发明以行人的身份识别为目的，而文献[2]是以人的简单行为(如跑，跳，走等)分析为目的。2)方法复杂性：文献[2]依赖于一个复杂的三维人体模型，计算复杂度非常之高，难以满足实时性要求。而本发明是基于二维图像特征的方法，计算复杂度与[2]相比低很多，满足实时性要求。3)实验数据：文献[2]所使用的实验数据所含人数不超过5人，非常有限。而本发明是在46人的步态数据上进行验证，结果更具信服力。本发明与技术文献[1，3，4，6]中的方法进行了定性的比较：1)步态数据库：到目前为止，除了我们的夜间红外步态数据库外，世界上还未有其它的夜间红外步态数据库。本发明所用步态数据库是专门针对夜间室外真实场景红外行人步态，以期能够应用到夜间视觉监控中；而文献[1，3，4，6]中的算法均针对日间可见光下的步态识别。2)特征表示：本发明利用平均灰度图来表达具有时空特性的步态特征，只进行加减法运算，计算效率高。方法[1]通过建立相邻帧图像间的相似度来表达步态变化的时间特性。[3]利用行人行走过程中4个关键姿态作为行人步态的表征。[4]则考虑了步态序列中行人的每一个姿态，它是利用有效像素个数来表达两帧图像间的相似度。[6]对每幅剪影图像利用一组沿人体形轮廓展开的一维距离信号来表示原始步态特性。3)训练过程：本发明未进行特征子空间变换，直接进行对原始步态特征表示的比较。[1，6]利用PCA降维方法对原始特征表示进行降维。4)识别率：在红外步态数据库上，正常条件下，我们的方法识别率可达90％以上；而在NLPR步态数据库上，我们的特征表达方法最高识别率可达98％以上，比[1，3，4，6]都更有效。5)计算效率：本发明只进行基于单幅图像的比较识别，对于一段视频，可进行实时性的识别。[3]的计算复杂度最高，这是因为它是基于两两帧图像间的匹配识别方法。由[6]知，[6]的效率优于[1，3，4]。而本发明的计算速度又优于[6]，故本发明具有较高的计算效率。6)鲁棒性：[6]对于检测效果比较敏感，当分割效果较差时，识别率会受影响。我们的方法对于分割错误，丢帧等现象比较鲁棒。总之，我们的算法在特征表征、计算效率、识别准确度、实时性和鲁棒性方面都有着一定的优越性。

本发明技术实施包括系统学习训练和识别两个阶段。在学习训练阶段，我们首先利用红外成像设备对每个享有某种访问特权的行人记录多个序列的步态视频，然后按上述方法提取出对应不同序列的多个步态序列特征模板。最后，我们将这些具有相同标识的模板归为一类，作为此类的学习样本。

在识别阶段，对于未知身份的行人步态视频，基于同前的视频处理方法，先提取出此序列中的步态特征表征，然后进行基于模板匹配的最近邻方法，对其进行分类识别。

总之，利用行人体形这一启发式特征，本发明提出了一种简单有效且实时的自动夜间红外步态识别算法。首先，利用基于多高斯的图像灰度值分布模型对红外视频中的行人进行粗检测；然后，对粗检测结果进行后处理，以期去掉无关噪声区域；之后，对于随时间变化的步态运动信息，用一幅人体体形平均灰度图进行表征；最后，进行基于最近邻分类器的行人身份识别。在CASIA夜间红外步态数据库上的实验，证明了我们方法的有效性，而在NLPR步态库上的实验进一步说明了我们的步态表征方式具有较强的识别能力。对于具有一定约束条件下的基于远距离步态的行人身份识别应用来说，本发明中的工作具有重要的理论基础和实际应用价值。

本发明的方法整合了数字图像处理、计算机视觉和模式识别等领域的技术，促进了步态这一生物特征技术在夜间视觉监控中的应用。

本发明的行人检测提取技术，采用贝叶斯原理或可信度阈值对像素进行二值分类和后处理去除无关噪声信号，能够准确的行人步态剪影。

本发明的步态表征技术提取出行人步态剪影，利用步态视频序列中有效平均步态剪影来表示行人步态特征，有效降低了数据冗余度。

本发明的基于多模板的最近邻分类识别方法，获得了实时并令人满意的识别结果。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种基于热红外步态的夜间行人识别方法，包括训练热红外步态视频图像步骤和识别热红外步态视频图像步骤，其特征在于，

所述训练热红外步态视频图像的步骤如下：

步骤S1：输入热红外步态视频图像；

建立灰度模型步骤S2：对热红外步态视频序列中图像的每个像素的灰度分布用自适应更新的混合高斯模型近似逼近，实现对整个热红外步态图像的像素灰度分布建模；

运动目标粗检测步骤S3：利用热红外图像像素分布模型，对整幅热红外步态视频图像中的热红外运动目标进行粗检测，获取热红外步态视频图像像素二值分类结果；

后处理步骤S4：对二值分类结果进行后处理去除无关噪声信号，得到二值化热红外行人步态前景图像，通过计算获取人行走序列中一个周期的热红外步态剪影；

步骤S5：利用热红外步态剪影图像的时空运动特点和人体形信息，判断当前剪影帧是否属于一个周期内的热红外步态剪影，如果是，则执行步骤S6；如果不属于一个周期的热红外步态剪影，则执行步骤S7；

步骤S6：对热红外步态剪影图像尺寸进行归一化，累加归一化的热红外步态视频序列中有效步态剪影，返回步骤S2；

计算平均灰度图步骤S7：对一个周期的热红外步态剪影人体形信息进行平均灰度图计算，获取热红外步态特征；

步骤S8：接收热红外步态进入训练集步态库；

所述识别热红外步态视频图像步骤如下：

步骤1：对待识别热红外步态视频图像执行与训练热红外步态视频图像的步骤中相同的建立灰度模型步骤、运动目标粗检测步骤、后处理步骤、计算平均灰度图步骤；

步骤2：将待识别热红外步态平均灰度图信息作为步态特征，和训练集步态库一起输入最近邻分类器，使最近邻分类器基于步态信息对行人身份进行识别。

2.根据权利要求1所述的识别方法，其特征在于，所述后处理步骤如下：

Sa.输入热红外图像像素粗分类；

Sb.对红外图像像素粗分类进行连通域分析，得到连通图像运动区域块；

Sc.对运动区域块进行像素二值化，运动区域像素的偏差使得运动区域块生成噪声；

Sd.对分割出的前景运动区域块内部一些细小孔洞的噪声信号，采用形态学中的腐蚀和膨胀算法进行滤波；

Se.利用金字塔算法，去掉滤波结果中的孔洞噪声信号，得到一幅二值化的人体前景图像；

Sf.用人体前景图像区域面积、长宽比和紧致性大小来判断它是否对应一个行人，使人体前景图像区域的面积、长宽比和紧致性在一定的阈值范围内，消除无关区域，使人体前景图像区域对应为前景运动物体；

Sg.对人体前景图像区域对应为前景运动物体，采用形态学中的腐蚀和膨胀算法进行滤波；

Sh.对滤波结果进行归一化处理得到二值化热红外步态前景图像。

Images