CN102799856A - 基于双通道红外信息融合的人体动作识别方法 - Google Patents

Abstract

一种基于双通道红外信息融合的人体动作识别方法：分别使用红外摄像头采集人体运动视频图像，使用热释电红外传感器采集人体运动电压信号；对采集到的人体运动视频图像和人体运动电压信号分别进行特征提取，其中，从人体运动视频图像中得到人体轮廓能量，从人体运动电压信号中得到频谱特征；分别对人体轮廓能量和频谱特征进行主成分分析；将主成分分析结果在特征层上融合；采用支持向量机的方法并结合人体红外动作数据库相应数据对融合后的特征进行分类识别。本发明充分利用红外图像中多层次的人体动作信息，并融合热释电传感器输出信号中人体方向信息，实现对人体不同方向的不同动作进行分类识别，保证了动作的正确识别率。

Description

基于双通道红外信息融合的人体动作识别方法

技术领域

本发明涉及一种人体动作识别方法。特别是涉及一种将热释电传感器和红外摄像头相结合对人体动作进行识别的基于双通道红外信息融合的人体动作识别方法。能够对人的行为动作做出分析、判断和识别，从而辅助安全职守人员及时做出响应。

背景技术

对人体动作识别的相关研究具有重大的应用价值和研究意义，国外很多著名高校、公司以及研究机构都围绕该课题开展了一系列的探索和研究，例如美国麻省理工学院、卡内基梅隆大学等国外知名高校组建了基于计算机视觉和多媒体控制的实验室；Nice和ObjectVideo等公司也已经相继开发出了一些用于机场、国防线以及其他安全性场所的数字智能监控系统；国内虽然在这一领域的研究开始较晚，但是一些科研机构和院所的学者也已经开始了对人体运动分析领域的研究并取得了一定的成果。

近年来，基于红外热成像的人体动作识别正逐渐成为智能视频监控中十分活跃的课题，人体的热辐射特性与环境背景热辐射存在一定的差异，其对应的红外热成像区域与环境呈现出不同的灰度表现，而且基于红外视频的人体动作检测对各种人体动作普遍适用。因此利用红外摄像头在昼间和夜间对人体目标进行监视已经成为连续视频监控系统不可缺少的重要组成部分。但是目前存在的人体运动分析算法在红外图像中表现不佳，特别是红外图像本身固有的特点，如低对比度、低信噪比、无法校验的黑白极性反转以及人体周围易出现的光晕效应等，使得红外图像中人体目标的检测、跟踪和行为识别依然是一个极具挑战性的课题。

此外，热释电传感器利用热释电效应，通过探测人体运动时红外辐射能量的变化，可以实现对人体运动的检测。热释电传感器只获取探测目标的运动信息，信息获取简单精准，而且信号分析和处理算法相对比较简单，成本较低，这使得利用热释电传感器进行人体动作识别更是成为一个非常有突破性而且具有理论和实际价值的研究方向。

当处于探测区域内的人体运动时，热释电元件表面接收到变化的红外信号，从而产生相应的电信号输出。如果人体静止，则热释电传感器输出为零。实际上，热释电传感器探测到的人体红外能量变化信号，与人体运动形态之间形成了一个很好的对应关系，热释电红外信号中包含有丰富的与人体运动形态相关的动作频率、幅度、方位等多项信息，不同动作的热释电信号有明显的差异。但热释电传感器只对比较简单的动作形态有较好的响应。

研究表明，热释电传感器输出信号中含有被检测对象的运动方向信息。移动人体在通过由菲涅尔透镜形成的空间交替的监控区域时，从一个方向到另一个方向移动和按相反方向移动时的热释电红外传感器上积累了电荷，而且产生的电信号的方向成对称状态。可以从这些信号的起始沿（或过零点）来判断物体的方向。导致这种情况发生原因是使用的热释电红外传感器中的两个敏感元是串联的，同时接收到红外辐射信号的顺序是依次的，这两个敏感元的电极化方向正好相反，一个产生正向电信号，一个产生负向电信号。

发明内容

本发明所要解决的技术问题是，提供一种能够对人的行为动作做出分析、判断和识别，从而辅助安全职守人员及时做出响应的基于双通道红外信息融合的人体动作识别方法。

本发明所采用的技术方案是：一种基于双通道红外信息融合的人体动作识别方法，包括如下阶段：

1）分别使用红外摄像头采集人体运动视频图像，使用热释电红外传感器采集人体运动电压信号；

2）对采集到的人体运动视频图像和人体运动电压信号分别进行特征提取，其中，从人体运动视频图像中得到人体轮廓能量，从人体运动电压信号中得到频谱特征；

3）分别对人体轮廓能量和频谱特征进行主成分分析；

4）将主成分分析结果在特征层上融合；

5）采用支持向量机的方法并结合人体红外动作数据库相应数据对融合后的特征进行分类识别。

所述的从人体运动视频图像中得到人体轮廓能量包括如下步骤：

（1）采用混合高斯模型的背景减除法来进行红外图像中运动人体目标的检测；

（2）对检测到的运动人体目标进行形态学处理；

（3）对运动人体目标进行轮廓提取并进行轮廓等距采样；

（4）得到人体轮廓能量图。

所述的对运动人体目标进行轮廓提取是采用目标邻域点边界跟踪算法进行，具体包括：

（i）确定起始点。起始点的选择准则规定为：按从左到右，从下到上的顺序搜索，找到第一个黑点；

（ii）从起始点开始，定义初始的搜索方向为左上方；

（iii）若该方向上的邻点为黑点，则将该黑点标记为边界点；

（iv）否则搜索方向逆时针旋转45°，直到找到第一个黑点为止；

（v）以这个黑点为新的边界点，在当前搜索方向的基础上逆时针旋转90°，并以此方向作为新的初始搜索方向，重复步骤（ii）～（iv）；

（vi）当新找到的黑点和起始点重合时，停止搜索，边界跟踪结束。

所述的对运动人体目标进行轮廓等距采样包括如下步骤：

（i）将轮廓坐标表示按顺时针排列，建立一个累计长度度量l′，初始值为0，将起点作为当前点；

（ii）判断下一个点与当前点之间的位置关系，若为非对角l′增加1，否则增加

（iii）比较l′与i*d的大小，其中i是当前已采完的点数，d为单位距离，若l′<i*d取下一个点，重复步骤（ii）；

（iv）若l′>i*d，则将这点纳入采样点，并将该点作为当前点，重复步骤（ii），直到i=N-1，当取到满足累计长度度量l′＞(N-1)*d第一个点时，结束采样，并以该点作为最后一个采样点。

所述的从人体运动电压信号中得到频谱特征图包括：首先对采集的人体运动电压信号进行去噪处理，对时域信号进行频谱特征提取。

阶段4）所述的特征层上融合是：首先将步态能量图特征经主成分分析后的特征矩阵R_n×m，热释电红外传感器频谱信号经主成分分析后的特征矩阵P_n×s，以前后组合方式合并成一个新的特征矩阵T，即T＝[R，P]；然后，采用次优搜索算法进行特征选择。

阶段5）所述的人体红外动作数据库包括有：在六条规定的路径上及一条随机路径上人体行走并做出特定动作的红外动作数据。

本发明的基于双通道红外信息融合的人体动作识别方法，充分利用红外图像中多层次的人体动作信息，并融合热释电传感器输出信号中人体方向信息，实现对人体不同方向的不同动作进行分类识别，保证了动作的正确识别率。

附图说明

图1是本发明的整体流程框图；

图2是膨胀运算示意图；

图3是腐蚀运算示意图；

图4是边界跟踪算法示意图，其中，（a）运动人体区域示意图，（b）起始点和初始搜索方向确定示意图，（c)第一个黑点搜索示意图，（d）边界跟踪示意图；

图5是红外行为侧影轮廓能量示意图，其中：（a）踢，（b）跳，（c）走，（d）跑；

图6是数据采集路线示意图；

图7是热释电红外传感器的工作原理图；

图8是人体沿不同路径运动的波形图。

具体实施方式

下面结合实施例和附图对本发明的基于双通道红外信息融合的人体动作识别方法做出详细说明。

如图1所示，本发明的基于双通道红外信息融合的人体动作识别方法，包括如下阶段：

1）分别使用红外摄像头1采集人体运动视频图像，使用热释电红外传感器2采集人体运动电压信号；

2）对采集到的人体运动视频图像和人体运动电压信号分别进行特征提取，其中，从人体运动视频图像中得到人体轮廓能量，从人体运动电压信号中得到频谱特征；

红外视频监控系统使用红外摄像头作为图像传感器，通过探测目标物体的红外辐射，并通过光电转换、信号处理等手段，将目标物体的表面温度分布图像转换成视频图像，对一个动态场景中的目标进行监测，通过检测、分类和跟踪视频序列中的运动目标，监视场景中目标的活动，理解和描述目标的行为动作。

红外摄像头用于人体动作识别时，对红外视频图像中的运动人体进行检测是进行其他诸如目标跟踪和行为理解等高层次任务的基础。人体目标检测通常包括两个环节：目标检测和分类。目标检测的目的是为了从视频图像中将运动目标区域从背景中提取出来。目标分类的目的则是要确定视频中感兴趣的目标所属的类别。视频监控中不同的运动区域可能对应于不同的运动目标，因此有必要对运动目标进行正确分类，以进一步对感兴趣的目标进行跟踪和行为分析。

本发明采用混合高斯模型的背景减除法来实现红外图像中运动人体目标的检测，然后通过边界跟踪算法提取人体轮廓能量特征。

本发明所述的从人体运动视频图像中得到人体轮廓能量包括如下步骤：

（1）采用混合高斯模型的背景减除法来进行红外图像中运动人体目标的检测；

背景减除法是利用当前帧图像与背景图像的差分运算进行运动检测的一种方法，背景减除法的关键是背景模型的构造。对图像背景建立高斯模型时，图像灰度直方图反映了图像中某个灰度值出现的频次。如果图像所包含的目标区域和背景区域相比较大，且背景区域和目标区域在灰度上有一定的差异时，该图像的灰度直方图将呈现“双峰—谷”形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。混合高斯模型使用K（3-5）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型进行匹配,如果成功则判定该点为背景点,否则为前景点，以此得到二值图像。

（2）对检测到的运动人体目标进行形态学处理；

由于天气、光照、影子等其他外界因素的影响，得到的二值图像中含有很多噪声点，产生空洞或者不连接。这就需要对图像进行进一步处理，以获得最佳的分割效果。本发明使用形态学滤波来消除二值图像中的噪声并填补运动目标的缺失。

形态学中，膨胀的规则是输出图像的值为输入像素所有相邻像素值的最大值。二值图像中，如果任何相邻像素的值为1，则输出像素的值设置为1，如图2所示。定义X(x,y)为二维灰度图像，S(x,y)为结构元素，则X被S膨胀定义为：

$(X\&CirclePlus;S)(x,y)=\max \{X(x-a,y-t)+S(a,t)\}---\left(1\right)$

腐蚀的规则是输入图像的值为输入像素所有相邻像素值的最小值。二值图像中，如果任何相邻像素的值为0，则输出像素的值设为0，如图3所示。X被S腐蚀的定义为：

$(X\&CircleTimes;S)(x,y)-\min \{X(x+a,y+t)-S(a,t)\}---\left(2\right)$

在数学形态学中，最为重要的两个组合运算是形态学开运算和闭运算。X被S的形态学开运算可以记做XοS，这种运算是X被S腐蚀后再用S来膨胀腐蚀结果，即：

开运算可以完全删除不能包含结构元素的对象，平滑对象的凸轮廓，断开狭窄的连接，并去掉细小的突起部分。闭运算与开运算刚好相反，X被S的形态学闭运算记做X·S，它是先膨胀再腐蚀的结果，即：

$X\&CenterDot;S=(X\&CirclePlus;S)\&CircleTimes;S---\left(4\right)$

闭运算可填充比结构元素小的洞，平滑对象的凹轮廓，将狭长的缺口连接成细长的弯口。利用开运算和闭运算的这些性质，实现滤波和填充空洞的功能。

形态学开运算和闭运算结合起来可以对对象进行一定的滤波操作，但形态学滤波处理后，噪声并不一定完全消除，有的杂散噪声可能会形成大小不一的块，而运动目标往往是这些块中最大的，因此可对图像进行连通域分析，目的在于使图像中仅保留运动目标。

（3）对运动人体目标进行轮廓提取；

运动人体二维轮廓提取的实质就是边界跟踪。边界跟踪的基本方法是从一个起始点开始，按照四连接或八连接关系逐点跟踪边界，输出每一步移动的方向，直到跟踪回到起始点为止。在边界跟踪前必须仔细选择起始点，保证起始点是从某个确定的边界点开始。本发明中采用目标邻域点边界跟踪算法进行边界跟踪。数字图像中任一点(x,y)总有8个点和它相邻，即8邻域点。若用黑点表示运动人体区域，空白格代表背景区域，如图4所示。

所述的对运动人体目标进行轮廓提取是采用目标邻域点边界跟踪算法进行，具体包括：

（i）确定起始点。起始点的选择准则规定为：按从左到右，从下到上的顺序搜索，找到第一个黑点，这样找到的第一个黑点一定是最左下方的边界点；

（ii）从起始点开始，定义初始的搜索方向为左上方；

（iii）若该方向上的邻点为黑点，则将该黑点标记为边界点；

（iv）否则搜索方向逆时针旋转45°，直到找到第一个黑点为止；

（v）以这个黑点为新的边界点，在当前搜索方向的基础上逆时针旋转90°，并以此方向作为新的初始搜索方向，重复步骤（ii）～（iv）；

（vi）当新找到的黑点和起始点重合时，停止搜索，边界跟踪结束。

由于运动人体目标在图像中的位置是不断变化的，为了能使用统一的坐标系，本发明将轮廓的质心设置为坐标系的原点。另外，不同对象离镜头的距离不可能总保持一致，且个体之间存在着身高差异，这导致了获取的序列图像中运动人体形状大小有一定的差异。而图像的基本单元是像素，因此这种差异体现在图像中就是构成轮廓的像素点个数的不同。为了便于后面计算的统一，必须对边界进行重新采样，使得轮廓序列具有固定的点数。坐标系中心化指把坐标系的原点移到轮廓的质心处。二值化图像的灰度值是均匀分布的，可直接用公式（5）计算轮廓的质心：

$\left\{\begin{array}{c}{x}_o=\frac{1}{N_b}{\mathrm{\&Sigma;}}_{t=1}^{N_b}{x}_t\\ y_o=\frac{1}{N_b}{\mathrm{\&Sigma;}}_{t=1}^{N_b}{y}_t\end{array}\right.---\left(5\right)$

式中N_b为边界像素总数，(x_c,y_c)为质心坐标，(x_t,y_t)为边界上的像素点。

轮廓线等间隔采样一般有两种方法，即等角度间隔和等距离间隔，由于人体轮廓比较复杂，四肢会成为边界中的深窄凹陷或细长突起，为了保证从轮廓中心至边界的延伸向量与边界仅相交一次，本发明选择等距离采样。

进行等距离间隔采样前先要计算轮廓的周长l，本发明对边界跟踪是8连接方式，因此在计算周长时，将像素点垂直和水平平移的距离计为1，若假设这样的像素点数个数为N₁，对角平移距离计为像素点数为N₂，则周长的计算公式为：

$l=1\&times;N_1+\sqrt{2}\&times;N_2---\left(6\right)$

为了保证采样序列有相同的起始点，规定过质心从左至右画一条水平线，以该水平线与边界相交的第一个点作为起点。等距采样的步骤为：

（i）将轮廓坐标表示按顺时针排列，建立一个累计长度度量l′，初始值为0，将起点作为当前点；

（ii）判断下一个点与当前点之间的位置关系（对角或非对角），若为非对角l′增加1，否则增加

（iii）比较l′与i*d的大小，其中i是当前已采完的点数，d为单位距离。若l′<i*d则取下一个点，重复（2）；

（iv）若l′>i*d，则将这点纳入采样点，并将该点作为当前点，重复（2），直到i=N-1，当取到满足累计长度度量l′>(N-1)*d第一个点时，结束采样，并以该点作为最后一个采样点。

（4）得到人体轮廓能量图。

对于给定的一系列的轮廓二值图像，其能量图的定义如下：

$G(x,y)=\frac{1}{N}{\mathrm{\&Sigma;}}_{t=1}^N{B}_t(x,y)---\left(7\right)$

其中，N表示所提取的图像序列中一个完整的动作所包含的帧数；t表示图像序列中的第t帧；(x,y)分别表示图像中的坐标值；B_t(x，y)则表示图像在第t帧(x,y)点的像素值。

图5中给出了几种常见动作的红外侧影轮廓能量图图例，从图中可以看到，步态能量图反映了侧影轮廓的主要形状，每一帧的侧影轮廓图像都是人体运动能量在该时刻的一个反映，也是对人体运动整个过程能量积累的一个反映，在得到的轮廓能量图中，某点的像素值越大，表示人体在整个运动过程中出现在该点的频率越高。因而轮廓能量图是对人体运动特征的一个较好的描述。

所述的从人体运动电压信号中得到频谱特征图包括：首先对采集的人体运动电压信号进行去噪处理，然后对时域信号进行频谱特征提取。

运动人体经过热释电传感器时，传感器因热释电效应有微弱的电压输出，将电压放大，利用数据采集卡进行A/D转换，接入计算机进行数据分析。

传感器的安装高度H对测试数据及识别正确率有直接的影响，由文献本发明中传感器的安装高度H=1.2m。发明中运动人体的热释电红外信息采集包括：特定路线人体运动数据采集，随机路径、随机速度人体运动数据采集。

（1）特定路径运动人体信息采集

实验环境：室内大空间区域，正常光照度，探测器周围无任何物体遮挡，室温20℃左右。测试者以正常速度（约1.2米/秒）在的动作。同时用NI数据采集卡采集热释电探测器输出的信号。在每条路线上重复10次实验以排除实验的偶然误差。六条规定的路径如图6所示。六条路径分别为以探测器为中心半径分别为3m、4m和5m的半圆弧路径定义为EF，CD和AB。直线路径以探测器视野范围中心线为水平线，与之垂直的距离探测器4m远的直线路径为路径JI，再分别取与路径JI成45°和135°角的路径KM和HG。

（2）随机路径、随机速度人体运动数据采集

实验环境：室内大空间区域，白天，正常光照度，探测器周围无任何物体遮挡，在室温为20℃左右的环境下进行实验。人体在实验场地中沿随机路径以随机速度行走并做出相应的动作，随机路径如图6中R所示。同时用NI数据采集卡采集探测器输出的信号。

热释电传感器通常与菲涅耳透镜结合起来，通过探测人体运动时红外辐射能量的变化，实现对人体运动的检测。当处于探测区域内的人体运动时，该透镜使热释电元件表面接收到变化的红外信号，从而产生相应的电信号输出。如果人体静止，则热释电传感器输出为零。图7所示即为热释电红外传感器的工作原理。

如图7，当某一运动的运动某红外源A经过覆盖有菲涅尔透镜B的热释电传感器的探测区域C时，第一热释电元首先被激发，而后是第二个热释电元被激发，从而产生图中所示的电压信号D输出。实际中，两个热释电元件总是同时被激发的，但由于接收到的红外能量的数量不同，两个热释电元件便有一个差动的信号输出。其他背景热源由于同时激发两个热释电元而没有信号输出，因此热释电传感器一般都有较好的信噪比输出。

本发明首先对采集的电压信号进行去噪处理，而只在时域上对信号进行判定，无法实现对信号中所含信息的深入挖掘。当人体动作形态发生改变时，相对应的动作信号中的频谱成分也会相应地发生变化，据此，本发明中选择对时域信号进行频谱特征提取，得到特征向量。

3）分别对人体轮廓能量和频谱特征进行主成分分析；

主成分分析（Principal Component Analysis，PCA）是设法将原来指标重新组成一组新的互相无关的几个综合指标，并用其代替原来指标，同时根据实际需要从中选取几个较少的综合指标尽可能多地反映指标的统计方法。

通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标，如果不加限制，则可以有很多。若将选取的第一个线性组合即第一个综合指标记为F₁，就希望F₂尽可能多地反映原来指标的信息。最经典的方法就是用F₁的方差来表达该信息，即V_ar(F₂)越大，表示F₁包含的信息越多。因此在所有的线性组合中所选取的F₁应该是方差最大的，故称为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取即选第二个线性组合，为了有效反映原来信息，F₁已有的信息就不需要出现在F₂中，用数学语言表达就是要求F₁和F₂的协方差C_av(F₁，F₂)＝0，称F₂为第二主成分，依此类推可以构造出第三，四，…，第P个主成分。

由于图像数据量大且包含有冗余的信息，因此本发明采用PCA（主成份分析）对人体红外轮廓能量图进行降维。假设已经得到了数据库上N个人的K张轮廓能量图，每个人的轮廓能量图经过模板化后都变成了大小统一的图像，这里假设为得到了尺寸大小为80×48的图像。首先要对得到的所有轮廓能量图进行向量化，即把大小为80×48的图像变成3840×1的向量，这样N个人的K张轮廓能量图就可以变成一个3840×(N×k)的二维矩阵，此矩阵称为样本矩阵，然后利用PCA提取其主成分作为特征，并达到数据的降维。

4）将主成份分析结果在特征层上融合；

本发明在提取红外图像的轮廓能量图特征及红外热释电频域特征后，对其在特征层上进行融合，步态能量图特征经主成分分析后的特征矩阵为R_n×m，热释电红外传感器频谱信号经主成分分析后的特征矩阵为P_n×s，将这两种特征以前后组合方式合并成一个新的特征矩阵，即T＝[R，P]。将特征矩阵T中所有特征用于分类识别，效果并不一定是最好的，其中有些特征参与分类不但增加运算规模，还给分类带来负面影响。因此当状态类较复杂时，必须通过相关技术，选择出规模小但分类效果好的特征子集。特征选择的任务是使特征子集具有最好的分类能力，既要避免分类信息的损失，又要避免引入干扰特征。

常用的特征选择算法有独立算法，穷举算法，分支定界算法和次优算法等。其中，独立算法要求各特征相互独立，准则函数满足可加性，否则独立算法所得到的特征组合均不能保证是最优的特征组合。因此除特殊情况外，独立算法并不实用；穷举算法得到的特征组合虽然是最优的，但往往因计算量太大而无法实现；分支定界算法虽然比盲目穷举效率高，但在有些情况下计算量仍然很大而难以实现。因此，进行特征选择时往往会放弃最优解而采用计算量小的次优搜索算法。

次优搜索算法包括顺序前进法（SFS），顺序后退法（SBS）和动态顺序前进法（m-r）等。本发明采用次优算法中的动态顺序前进法进行特征选择。即按照单步最优的原则从未入选的特征中选择m个特征，再从已入选的特征中剔除r个特征，使得仍保留的特征组合所得到的准则函数值最大。如果m和r能实现良好的动态调节，则其计算量比分支定界法小，而效果相当。

5）采用支持向量机的方法对融合后的特征进行分类识别；

人体动作识别实验中，数据样本数是有限的，而支持向量机算法在解决小样本问题时具有良好的泛化能力。本发明中采用支持向量机的方法并结合人体红外动作数据库对融合后的特征进行分类识别。

支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。建立方向合适的分隔超平面使两个与之平行的超平面间的距离最大化。其假定为，平行超平面间的距离或差距越大，分类器的总误差越小。

对于线性不可分的样本，可以通过一个核函数进行改善，然后在高维空间中寻找一个最优超平面来把不同类别的数据分开。它与传统学习算法的不同之处是它的解总是全局最优的，而且避免了在训练过程中出现的过学习和局部最小值的问题。

运用支持向量机进行人体动作分类识别过程中，除对分类器选择匹配特征外，还要对分类器参数进行优化。特征选择和分类器参数的优化过程是互相依赖的，优化其一需要有另一个才能测试。因此，为了使分类结果具有更好的精度，特征选择和分类器参数优化应该同步进行。这种同步优化的方法，可以解决特征选择与SVM参数优化的不匹配问题。另外，同步优化与单独优化特征以及单独优化SVM参数相比，可以达到最佳的分类精度，而且同步优化的速度也更快，能够以更短的时间搜索出最优特征子集和分类器参数，提高动作分类精度，降低错误率。

本发明采用红外图像和红外热释电双通道信息实现人体动作的识别。人体红外图像中含有丰富的人体运动信息，对各种人体动作普遍适用。对比图8中人体沿不同路径运动的波形，可以发现热释电传感器输出信号中包含的人体方向信息，但热释电传感器只对比较简单的动作形态有较好的响应。出于对多角度及较复杂动作的考虑，即对不同方向的不同人体动作进行分类识别，设计中充分利用红外图像中多层次的人体动作信息，并融合热释电传感器输出信号中人体方向信息，提出了将红外热释电和红外成像相结合的方法，保证了动作的正确识别率。

Claims (7)

1.一种基于双通道红外信息融合的人体动作识别方法，其特征在于，包括如下阶段：

1）分别使用红外摄像头采集人体运动视频图像，使用热释电红外传感器采集人体运动电压信号；

2）对采集到的人体运动视频图像和人体运动电压信号分别进行特征提取，其中，从人体运动视频图像中得到人体轮廓能量，从人体运动电压信号中得到频谱特征；

3）分别对人体轮廓能量和频谱特征进行主成分分析；

4）将主成分分析结果在特征层上融合；

5）采用支持向量机的方法并结合人体红外动作数据库相应数据对融合后的特征进行分类识别。

2.根据权利要求1所述的基于双通道红外信息融合的人体动作识别方法，其特征在于，所述的从人体运动视频图像中得到人体轮廓能量包括如下步骤：

（1）采用混合高斯模型的背景减除法来进行红外图像中运动人体目标的检测；

（2）对检测到的运动人体目标进行形态学处理；

（3）对运动人体目标进行轮廓提取并进行轮廓等距采样；

（4）得到人体轮廓能量图。

3.根据权利要求2所述的基于双通道红外信息融合的人体动作识别方法，其特征在于，所述的对运动人体目标进行轮廓提取是采用目标邻域点边界跟踪算法进行，具体包括：

（i）确定起始点。起始点的选择准则规定为：按从左到右，从下到上的顺序搜索，找到第一个黑点；

（ii）从起始点开始，定义初始的搜索方向为左上方；

（iii）若该方向上的邻点为黑点，则将该黑点标记为边界点；

（iv）否则搜索方向逆时针旋转45°，直到找到第一个黑点为止；

（v）以这个黑点为新的边界点，在当前搜索方向的基础上逆时针旋转90°，并以此方向作为新的初始搜索方向，重复步骤（ii）～（iv）；

（vi）当新找到的黑点和起始点重合时，停止搜索，边界跟踪结束。

4.根据权利要求1所述的基于双通道红外信息融合的人体动作识别方法，其特征在于，所述的对运动人体目标进行轮廓等距采样包括如下步骤：

（i）将轮廓坐标表示按顺时针排列，建立一个累计长度度量l′，初始值为0，将起点作为当前点；

（ii）判断下一个点与当前点之间的位置关系，若为非对角l′增加1，否则增加

（iii）比较l′与i*d的大小，其中i是当前已采完的点数，d为单位距离，若l′<i*d则取下一个点，重复步骤（ii）；

（iv）若l′>i*d，则将这点纳入采样点，并将该点作为当前点，重复步骤（ii），直到i＝N-1，当取到满足累计长度度量l′>(N-1)*d第一个点时，结束采样，并以该点作为最后一个采样点。

5.根据权利要求1所述的基于双通道红外信息融合的人体动作识别方法，其特征在于，所述的从人体运动电压信号中得到频谱特征图包括：首先对采集的人体运动电压信号进行去噪处理，对时域信号进行频谱特征提取。

6.根据权利要求1所述的基于双通道红外信息融合的人体动作识别方法，其特征在于，阶段4）所述的特征层上融合是：首先将步态能量图特征经主成分分析后的特征矩阵R_n×m，热释电红外传感器频谱信号经主成分分析后的特征矩阵P_n×s，以前后组合方式合并成一个新的特征矩阵T，即T＝[R，P]；然后，采用次优搜索算法进行特征选择。

7.根据权利要求1所述的基于双通道红外信息融合的人体动作识别方法，其特征在于，阶段5）所述的人体红外动作数据库包括有：在六条规定的路径上及一条随机路径上人体行走并做出特定动作的红外动作数据。

Images