CN101241546A - 弥补步态二值图失真的方法 - Google Patents

Abstract

本发明公开了一种弥补步态二值图失真的方法，主要解决步态数据库中的步态二值图所含人体信息缺损的问题。该方法的具体过程是：对步态二值图进行去噪、裁剪的预处理，得到标准步态图；将当前表征步态图与前一帧标准步态图的差值作为标准步态图的帧差；将步态周期中的各幅标准步态图相加，并取其平均，得到本周期的步态能量图；按照设定域值对步态能量图进行过滤，去除能量图的噪声或较弱的信号得到步态主体图；将步态主体图与标准步态图的帧差进行合并，得到帧差主体图，以弥补步态二值图因人体信息缺损造成的失真，并体现人体在行走过程中形态上的变化。本发明具有能有效地表征步态二值图，提高识别率的优点，可用于步态识别中的图像处理过程。

Description

弥补步态二值图失真的方法

技术领域

本发明属于图像处理技术领域，特别涉及对步态二值图失真的处理，可用于对人体信息缺损严重的步态二值图的弥补。

背景技术

步态识别作为一种新兴的生物特征识别方法，主要是指通过人走路姿势的分析来识别人，区别于人脸识别、指纹识别、虹膜识别等生物识别技术，步态识别有非侵犯性、远距离识别及不易被掩饰的优点，越来越受到研究者的关注。

早期的医学研究表明：人的步态中有24种不同的成分，如果把这24种成分都考虑到，则步态是为个体所特有的。1973年，Johansson在文献“Visual Perception ofbiological motion and a model for its analysis”中给出了物理心理学实验，受试者能够仅仅通过观察附着在运动中人的几个关节上的灯泡的运动轨迹识别MLD运动的类型。后来的实验表明：熟人的身份、人的性别都能够通过这种MLD实验识别出来。近年来，步态分析这一跨学科领域的研究成果进一步说明了在步态视频序列中含有人的身份信息。从生物力学的角度来看，人的步态包含身体上百种肌肉和关节的综合运动。这些运动对所有人来说都遵从基本的双足模式，然而不同的人运动又有差异，例如相对时序和幅度的不同。这些差异是整个肌肉和骨架，包括身体的重量、肢体的长度、骨骼的结构的函数。因为人体结构难以复制，所以步态被认为是个体特有的，且完全决定于几百个运动学参数。这些运动学参数包括特定关节点的角速度、加速度以及肢体的边界等。英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、体重、重心、肌肉或骨骼磨损的程度以及个人走路的“风格”上都存在细微差异。尼克松指出，对一个人来说，要伪装走路的姿势非常困难，不管罪犯是自然地走向银行出纳员还是从犯罪现场逃跑，他们仍然可以被识别出来。这些研究是步态识别作为一种生物认证技术的科学依据。

虽然步态识别的研究起步不久，但它已经被用于一些重大案件的侦破。瑞典警察四年前用它成功地识别出一起银行抢劫案的抢劫者。在这起案件中，一名顾客被无辜杀害，负责调查瑞典外交部长安娜·琳德命案的警官请专家鉴定嫌犯米亚伊洛·米亚伊洛维奇的走路姿势。2006年，英国科学家得到了国防部50万英镑的科研经费的支持，开展“自动步态识别”技术的研究。警察和法庭将借助该技术比较嫌犯的走路姿势和闭路电视捕捉到的影像，从而找出犯罪元凶。最终，英国将建立一个全国性的数据库，它将提供不同走路姿势的资料，帮助法庭断案，这种鉴定技术对用做证据来说更安全。

步态识别系统一般包括视频分割、背景去除、图像处理、特征提取及特征匹配五个部分，如图1所示。视频分割可以将步态视频中的图像分割为初始图像序列，对得到的图像序列通过背景建模等方法去除背景，仅保留运动的人体部分，得到步态二值图。现实条件下从环境中捕捉图像会受到多种因素的影响，比如气候条件的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、摄像机的运动等。这些外界因素都给准确有效的背景去除带来了挑战，仅依靠建立背景模型消除干扰得到的步态二值图往往比较粗糙，包含很多噪声并可能存在肢体缺失，而现有的步态识别方法受图像质量影响很大，这些因素充分说明了对步态二值图的图像处理过程的重要性。

现有的多数步态识别方面的文献重点在识别的方法，目前还没有很成熟的针对步态二值图的图像处理的方法，多数文献采用形态学的方法对步态二值图进行简单的处理。还有些文献通过某种步态表征方式达到图像处理和特征提取的双重目的，比如2006年在杂志IEEE transaction on pattern analysis and machineintelligence第二期第316-322页上发表的文献“Individual recognition usinggait energy image”中，Ju Han等提出的步态能量图表征方法，即使用一个步态周期的平均图像来表征这个周期；2007年Qingyong Ma等人在会议Eighth ACISInternational Conference on SNPD上发表的文献“Recognizing humans based ongait moment image”中提出了步态时刻图，该表征方式首先选取关键时刻S个，对每个关键时刻对应的各个周期中的步态二值图相加求均值，得到S个步态时刻图，用得到的这些步态时刻图识别。2007年Seungkyu Lee在会议IEEE InternationalConference on CVPR上发表的文献“Shape Variation-Based Frieze Pattern forRobust Gait Recognition”中使用基于形态变化的绒布特征进行步态识别，首先找到一个周期的关键帧，一般取5幅，计算步态二值图M与关键帧的距离，找出最小的距离对应的关键帧N，然后计算图像M与关键帧N差值的绝对值图像，将关键帧N和绝对值图像的和在两坐标轴方向分别投影就得到了步态二值图M的基于形态变化的绒布特征。

步态能量图的方法可以达到对噪声鲁棒的目的，但仅用一幅步态能量图来表征一个步态周期会丢失很多细节信息，在训练样本周期较少的情况下很难发挥其优势；步态时刻图的表征方式能够从步态序列中提取更多的运动信息，但是关键时刻的选择是一个很大的问题，不同人的关键时刻是不同的，即使是同一个人对应的不同周期往往也是有差别的，这种方法同样需要多个训练周期；基于形态变化的绒布特征的方法基于关键帧及其它步态二值图相对于关键帧的变化得到，从实验结果看有助于提高实验的整体性能，对外观的变化不敏感，但是也忽略了一些细节，而且过分依赖关键帧，如果关键帧选取不好或者是关键帧的质量较差就会有较大的影响。

发明的内容

本发明的目的在于克服上述已有技术的缺点，提出一种弥补步态二值图失真的方法，此法不依赖关键帧的提取，能保留每帧图像的动态和静态特征，弥补图像因人体信息缺损造成的失真，提高图像识别性能。

实现本发明目的的技术方案是：根据步态序列本身的特点用帧差主体图的方法消除噪声、弥补步态二值图中人体信息的缺失。由于众多外部因素的干扰，致使经过背景去除的步态二值图周期中有些帧有人体缺失或是噪声较多的现象，而在这个周期中大多数帧是比较完整的，因此用主体图来表示步态周期的共性，用帧差来表示运动中带来的变化，帧差主体图就把两者加和起来，既能同时体现人体的静态特征和动态特征，又能达到弥补人体信息的效果。具体步骤如下：

图像预处理步骤，对背景去除后的步态二值图进行预处理，得到大小合适、质心对齐的标准步态图B(x，y，t)；

标准步态图帧差计算步骤，给定一个步态周期，将当前标准步态图与前一帧标准步态图的差作为当前标准步态图的帧差D(x，y，t)，对于周期中的第一帧标准步态图，将它与本周期最后一帧标准步态图的差作为帧差D(x，y，1)；

步态能量图计算步骤，将步态周期中的各幅标准步态图相加，并取其平均，得到本周期的步态能量图E(x，y)；

步态主体图计算步骤，设定域值th对步态能量图进行过滤，去除步态能量图的噪声或较弱的信号，保留步态能量图的主要部分作为步态主体图M(x，y)；

帧差主体图计算步骤，将当前标准步态图的帧差与其所在周期的步态主体图相加，得到该帧的帧差主体图F(x，y，t)，即

F(x，y，t)＝D(x，y，t)+M(x，y)，

式中，D(x，y，t)＝B(x，y，t)-B(x，y，(t-1))，

B(x，y，t)代表在t时刻的预处理后的标准步态图，

x和y代表标准步态图上的坐标值。

当t＝1时，B(x，y，(t-1))代表周期中的最后一帧标准步态图；

M(x，y)代表B(x，y，t)所在周期的主体图。

上述图像预处理步骤中所述的对背景去除后的步态二值图进行预处理，按如下步骤进行：

(1)用形态学中膨胀、腐蚀的方法分别去除步态二值图中的小噪声点、填补步态二值图中的小空洞；

(2)对步骤(1)处理后的步态二值图中每个连通的部分进行标记，设定像素点数门限，计算每个连通部分包含的像素点数，将小于该门限的部分看作噪声并去除；

(3)计算步骤(2)处理后的步态二值图的质心坐标，以其为原点裁剪，得到大小合适、质心对齐的标准步态图。

上述主体图计算步骤所述的设定域值th对能量图进行过滤，是将域值设定在0.5～0.7之间，对于小于此域值的能量图中的像素点去除，对于大于此域值的能量图中的像素点保留，并作为主体图M(x，y)，即当E(x，y)≥th时，则M(x，y)＝E(x，y)，否则，M(x，y)＝0，

式中， $E(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}B(x,y,t),$

E(x，y)代表B(x，y，t)所在周期的能量图，

N代表B(x，y，t)所在周期中图像的数目。

本发明具有如下效果：

1.由于采用帧差和主体图分别代表动态和静态信息，使得帧差主体图既能表示出人体形态随时间变化的改变，又能弥补步态二值图由于人体信息缺损或噪声带来的误差，解决了步态识别中因人体信息缺失造成识别性能下降的问题；

2.由于帧差主体图和步态二值图是一一对应的关系，使帧差主体图包含了足够多的步态信息，不会造成细节信息的丢失，因此能够从中提取各种有效特征进行识别。

3.采用帧差主体图处理步态二值图，能有效的消除噪声的影响，在步态二值图质量较差的情况下，仍然能够取得较好的识别效果。

仿真结果表明，本发明可有效提高图像的识别率。

附图说明

图1是已有步态识别系统框图；

图2是本发明的流程图；

图3是本发明的图像预处理过程示意图，其中(3a)是数据库中去除背景后的步态二值图，(3b)是经过预处理后的标准步态图；(3c)是反转前的标准步态图；(3d)是反转后的标准步态图；

图4是本发明的帧差主体图示意图，其中(4a)是当前标准步态图，(4b)是前一帧标准步态图，(4c)是帧差，(4d)是能量图，(4e)是主体图，(4f)是帧差主体图；

图5是本发明仿真训练过程图；

图6是本发明仿真识别过程图；

图7是本发明仿真提取的步态特征图，其中(7a)帧差主体图的一维投影图；(7b)平滑后的帧差主体图的一维投影图；

图8是本发明仿真在NLPR数据库上0度实验的累积匹配曲线图；

图9是本发明仿真在NLPR数据库上45度实验的累积匹配曲线图。

具体实施方式

参照图2，本发明的具体过程包括：

1.对步态二值图图像进行预处理

图像预处理，是指使用一些图像处理的方法对图像进行初加工的过程。图像预处理的过程虽然比较简单，但是对步态识别的结果有很大影响。以图3a所示的大小为352×240的步态二值图的图像预处理为例，具体的预处理操作有：

(1)用形态学中膨胀、腐蚀的方法分别去除步态二值图中的小噪声点、填补步态二值图中的小空洞；

(2)进一步处理一些较大的噪声区域，有一些较大的噪声区域用形态学的方法无法去除，需要进行进一步对膨胀腐蚀后的步态二值图中每个连通的部分，即像素具有同一灰度值的部分进行标记，计算每个连通的部分包含的像素点数，设定像素点数门限，一般可以选此门限为200～300个，将包含的像素点数小于该门限的连通的部分看作噪声并去除；

(3)去噪处理后的步态二值图中人体的位置进行归一化，由于拍摄时镜头是固定的，去噪处理后的步态二值图中人体的位置变化较大，需要进行归一化，即对遍历经过去噪处理后的图3a所示的步态二值图的像素点，分别计算值为1的点的横坐标的和sum(x)及纵坐标的和sum(y)，同时统计值为1的点的数目num，则经过去噪处理后的图3a所示的步态二值图的质心横坐标x_h＝sum(x)/num，质心纵坐标x_v＝sum(y)/num。以计算出来的质心为原点裁剪大小为190×240的包含人体的区域，得到图3a所示的步态二值图的标准步态图，如图3b所示。

如果运动方向是相反的步态序列可以进行反转，以图3c所示的标准步态图为例，则先按照上述步骤(3)方法计算图3c所示的标准步态图的质心坐标，找出质心横坐标所在的列；然后对质心横坐标所在列两边的相互对称的像素点的值进行互换，得到如图3d的标准步态图。

2.计算标准步态图的帧差

帧差，是指当前标准步态图的帧相对于前一帧的变化，体现人在行走过程中形态的变化。帧差图反映了人行走过程中动态变化的步态信息，是图像识别的重要因素之一，其计算过程是：

以图4a所示的标准步态图的帧差计算为例，图4b表示图4a的前一帧标准步态图，利用公式D(x，y，t)＝B(x，y，t)-B(x，y，(t-1))计算图4a与图4b的帧差，其中B(x，y，t)为图4a所示的标准步态图，B(x，y，(t-1))为图4b所示的标准步态图，得到的帧差D(x，y，t)就是图4a所示的标准步态图的帧差，如图4c所示。

对于标准步态图周期中的第一帧标准步态图，将它与本周期最后一帧标准步态图的差作为帧差，该种情况下的B(x，y，(t-1))代表周期中的最后一帧标准步态图。

3.计算标准步态图周期的能量

以图4a所示的标准步态图所在周期的步态能量图的计算为例，将图4a所示的标准步态图所在周期中的各幅标准步态图，按公式 $E(x,y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}B(x,y,t)$ 相加，并取其平均值，得到本周期标准步态图的步态能量图，如图4d所示，其中公式中N是该周期中图像的数目，该步态能量图反映了人体活动的大致形态。

4.对步态能量图进行滤波

将滤波的域值th设定在0.5～0.7之间，将图4d所示的步态能量图按照当E(x，y)≥th时，则M(x，y)＝E(x，y)，否则，M(x，y)＝0的规则滤波，即将小于此域值的能量图中的像素点去除，将大于此域值的步态能量图中的像素点保留，得到步态主体图，如图4e所示。该步态主体图更能反应人体的形态。

5.将步态主体图与标准步态图的帧差进行合并

将图4c所示的标准步态图的帧差和图4e所示的步态主体图，按公式F(x，y，t)＝D(x，y，t)+M(x，y)相加，得到帧差主体图，如图4f所示。其中D(x，y，t)是指图4c所示的标准步态图的帧差，M(x，y)是指图4e的步态主体图。该帧差主体图可有效综合了帧差图和能量图的优点，即能弥补人体信息缺失带来的不利影响，又可有效的体现了人行走过程中的变化。

本发明的有效性可通过以下仿真实验进一步说明：

1.仿真条件及过程

本仿真实验基于中国科学研究院提供的NLPR步态数据库A。固定在三角架上的数字摄像机用来在户外环境中捕捉图像序列。行人相对于摄像机而言以侧面、正面和倾斜三个视角行走，相应于图像平面分别是0度、90度及45度。该数据库A包含20个人，每人每个视角4个序列，属于2个行走方向，总计包括240个序列。这些彩色图像序列以25帧每秒的速率拍摄，原始尺寸为352×240，且平均长度约为100帧。

我们采用了NLPR数据库A中0度和45度两个角度的步态序列分别进行实验，用同一角度对应的一个行走方向训练，另外一个行走方向测试，比如用0度对应的从左到右训练，用从右到左测试，然后用从右到左训练，用从左到右测试，统计两次实验的结果作为0度序列的结果。

训练系统如图5所示，首先用弥补步态二值图失真的方法对训练数据库中的步态二值图进行处理，得到帧差主体图4f，然后对帧差主体图向纵轴方向投影，得到一维特征向量如图7a，对一维特征向量进行滤波得到平滑的一维特征向量如图7b，然后用隐马尔可夫模型对平滑的一维特征向量进行训练，得到每个人对应的隐马尔可夫模型。

识别系统如图6所示，用与处理训练数据库相同的方法处理待测序列，得到平滑的一维特征向量，然后用训练得到的隐马尔可夫模型进行识别。

2.实验结果及分析

实验结果以累积匹配曲线的形式给出，累计匹配曲线反映了识别结果随排列数变化的结果，是识别性能的一种反应形式。

图8所示的是0度实验的累积匹配曲线；图9所示的是45度实验的累积匹配曲线。图8和图9中的EXP.步态二值图代表直接将步态二值图向纵轴方向投影后的测试结果，EXP.帧差主体图代表用基于帧差的步态主体图向纵轴方向投影平滑后的测试结果。

由图8和图9对比可知，对0度和45度两个实验，基于帧差主体图的识别率都有很大的优越性。在排列数为1时，0度实验对应的EXP.帧差主体图识别率为96％，而EXP.步态二值图的识别率只有88％；45度实验对应的EXP.帧差主体图识别率为87.5％，而EXP.步态二值图的识别率只有50％。随着排列数的增大，对0度和45度两个实验，EXP.帧差主体图都比EXP.步态二值图更迅速的达到100％。这也充分说明了本发明能弥补步态二值图的失真，能明显提高步态识别识别率。

上面描述仅是本发明的一个具体实施例，显然在本发明的技术方案指导下本领域的任何人所作的修改或局部替换，均属于本发明权利要求书限定的范围。

Claims (3)

1.一种弥补步态二值图失真的方法，包括如下步骤：

图像预处理步骤，对背景去除后的步态二值图进行预处理，得到大小合适、质心对齐的标准步态图B(x，y，t)；

标准步态图帧差计算步骤，给定一个步态周期，将当前标准步态图与前一帧标准步态图的差作为当前标准步态图的帧差D(x，y，t)，对于周期中的第一帧标准步态图，将它与本周期最后一帧标准步态图的差作为帧差D(x，y，1)；

步态能量图计算步骤，将步态周期中的各幅标准步态图相加，并取其平均，得到本周期的步态能量图E(x，y)；

步态主体图计算步骤，设定域值th对步态能量图进行过滤，去除能量图的噪声或较弱的信号，保留能量图的主要部分作为步态主体图M(x，y)；

帧差主体图计算步骤，将当前标准步态图的帧差与其所在周期的步态主体图相加，得到该帧的帧差主体图F(x，y，t)，即

F(x，y，t)＝D(x，y，t)+M(x，y)，

式中，D(x，y，t)＝B(x，y，t)-B(x，y，(t-1))，

B(x，y，t)代表在t时刻的预处理后的标准步态图，

x和y代表标准步态图上的坐标值。

当t＝1时，B(x，y，(t-1))代表周期中的最后一帧标准步态图；

M(x，y)代表B(x，y，t)所在周期的主体图。

2.根据权利要求1所述的方法，其中图像预处理步骤中所述的对背景去除后的步态二值图进行预处理，按如下步骤进行：

(1)用形态学中膨胀、腐蚀的方法去除步态二值图中的小噪声点、填补步态二值图中的小空洞；

(2)对步骤(1)处理后的步态二值图中每个连通的部分进行标记，设定象素点数门限，计算每个连通部分包含的象素点数，将小于该门限的部分看作噪声并去除；

(3)计算步骤(2)处理后的步态二值图的质心坐标，以其为原点裁剪，得到大小合适、质心对齐的标准步态图。

3.根据权利要求1所述的方法，其中步态主体图计算步骤所述的设定域值th对能量图进行过滤，是将域值设定在0.5～0.7之间，对于小于此域值的能量图中的象素点去除，对于大于此域值的能量图中的象素点保留，并作为主体图M(x，y)，即当E(x，y)≥th时，则M(x，y)＝E(x，y)，否则，M(x，y)＝0，式中， $E(x.y)=\frac{1}{N}\underset{t=1}{\overset{N}{\mathrm{\Σ}}}B(x,y,t),$

E(x，y)代表B(x，y，t)所在周期的能量图，

N代表B(x，y，t)所在周期中图像的数目。

Images