CN110991398A - 一种基于改进步态能量图的步态识别方法及系统 - Google Patents

Abstract

本发明公开一种基于改进步态能量图的步态识别方法及系统，包括从步态序列图像中提取单帧图像进行灰度变换，采用动态背景建模的背景减除法提取人体目标轮廓；对人体轮廓图像进行形态学去噪处理，然后等比例缩放到指定高度，建立一个标准模板，计算缩放后人体轮廓图像静态区域的重心，将其与标准模板的重心对齐，得到尺寸归一化后的人体目标轮廓图像；提取每个步态序列的步态周期并由此计算生成改进步态能量图；对改进步态能量图进行降维处理，进一步提取步态特征；将步态特征输入到最近邻分类器进行距离度量和身份判别。应用本发明，可以提取到图像中更加清晰、丰富的行人轮廓静态特征，从而提高识别率。

Description

一种基于改进步态能量图的步态识别方法及系统

技术领域

本发明属于生物特征识别和计算机视觉领域，尤其涉及一种基于改进步态能量图的步态识别方法及系统。

背景技术

银行、机场、政府机关等安全敏感场所对智能监控系统的需求与日俱增，传统的生物特征例如人脸、虹膜、指纹、声纹等等都有各自的缺陷，需要待识别人的主动配合，难以满足实际应用的需求。步态识别技术拥有远距离识别、非接触、对视频图像分辨率要求低和难以伪装等优势，适合在远距离情况下对行人进行身份识别。集成步态识别技术的智能监控系统拥有巨大的研究价值和市场需求。

目前最流行的步态表征方法是提取步态能量图(GEI)，它通过计算步态周期，把一个步态周期内的行人轮廓图像进行取平均，得到一张灰度图像来表示整个周期的步态。然而传统步态能量图的尺寸归一化过程是基于人体目标轮廓的整体重心进行配准的，人体在行走过程中重心位置不断变化，并且携带物品、背包等协变量因素也会导致人体外观轮廓的变化，使得计算得到的步态能量图存在重影，清晰度较差，不利于对图像的步态特征提取。

为了克服这些问题，需要对人体目标轮廓图像的尺寸归一化方法进行改进，通过划分轮廓图像的动态区域和静态区域，提取静态区域的重心与标准模板重心进行对齐，由此计算得到的改进步态能量图图像更加清晰，可以提取到更为丰富，判别力更强的静态轮廓图像。

发明内容

本发明针对传统步态能量图(GEI)基于人体目标轮廓图像的整体重心与标准模板进行配准的尺寸归一化方法，导致得到的步态能量图图像存在重影，清晰度较差的情况，提出一种新颖的重心对齐方法。通过计算人体目标轮廓图像静态区域的重心，将其与标准模板重心对齐完成尺寸归一化，最后计算得到的改进步态能量图的图像更加清晰，能够提取到判别力更强的静态轮廓特征，有利于提高步态识别的准确率。本申请的目标是通过一种新颖的重心对齐归一化方法，使得生成的改进步态能量图的图像更加清晰，以提高图像质量，从而提高步态识别的准确率。

为了达到上述目的，本发明采用如下技术方案：

一种基于改进步态能量图的步态识别方法及系统，步骤如下：

S1，从步态序列图像中提取单帧图像进行灰度变换，采用动态背景建模的背景减除法提取人体目标轮廓；

S2，对人体目标轮廓图像进行形态学去噪处理，然后等比例缩放到指定高度，建立一个标准模板，计算缩放后人体轮廓图像静态区域的重心，将其与标准模板的重心对齐，得到尺寸归一化后的人体目标轮廓图像；

S3，提取每个步态序列的步态周期并由此计算生成改进步态能量图；

S4，对改进步态能量图进行降维处理，进一步提取步态特征；

S5，将步态特征输入到最近邻分类器进行距离度量和身份判别。

所述S1中提取人体目标轮廓的方法在于：

S1.1，建立初始背景图像。将一个步态序列图像中对应像素点的灰度值进行取平均，得到的初始背景图像为B(x,y)。

S1.2，计算阈值参数T(x,y)。首先计算帧图像之间的像素差，然后分别计算其均值和标准差。

f_t(x,y)＝|I_t(x,y)-I_t-n(x,y)|

其中I_t(x,y)和I_t-n(x,y)分别表示t和t-n时刻的帧图像，f_t(x,y)表示它们的帧间像素差，M为序列总帧数，μ(x,y)为该步态序列帧图像的均值，σ(x,y)为该步态序列帧图像的方差。阈值参数T(x,y)可以通过下式求得，其中β常数一般设置为2。

T(x,y)＝μ(x,y)+β×σ(x,y)

S1.3，更新背景图像和阈值参数。更新后的背景图像、均值、方差分别为B'(x,y)、μ'(x,y)和σ'(x,y)，其中α为更新率，设为1。将μ'(x,y)、σ'(x,y)代入上式即可求得更新后的阈值参数T'(x,y)。

B'(x,y)＝(1-α)×B(x,y)+α×I(x,y)

μ'(x,y)＝(1-α)×μ(x,y)+α×f(x,y)

σ'(x,y)＝(1-α)×σ(x,y)+α×|f(x,y)-μ'(x,y)|

T'(x,y)＝μ'(x,y)+β×σ'(x,y)

S1.4，分割人体目标轮廓图像。将原始帧图像与更新后的背景图像做差，通过比较阈值划分为二值前景图像，如下式所示：

S1.5，循环计算S1.3和S1.4，不断更新各种参数，一直到步态序列所有帧的人体目标轮廓图像全部分割完成。

所述S2中对人体目标轮廓进行去噪、重心对齐和尺寸归一化的方法在于：

形态学去噪处理的方法在于：采用半径为3的圆形结构元素对图像进行开运算的形态学方法，实现行人前景图像的去噪和平滑。

尺寸归一化的方法在于：

S2.1，假设人体目标轮廓图像的高为H，宽为W，将其等比例缩放至高为128像素，则宽为128×W/H像素；

S2.2，计算缩放后的人体目标轮廓图像静态区域的重心：

式中，x_i和y_i表示行人轮廓图像中像素值为1的像素点的横纵坐标；N表示行人轮廓图像中所有像素值为1的像素点的总数；x_c和y_c表示行人轮廓图像重心的横纵坐标；

S2.3，建立一个像素值全为0，高128像素，宽100像素的标准模板，则模板的重心坐标为(64,50)，将人体目标轮廓图像的静态区域重心与模板的重心对齐后，得到归一化后的人体目标轮廓图像。

所述S3中计算生成改进步态能量图的方法在于：

在对步态序列进行步态周期检测后，将一个步态周期内经过预处理和静态区域重心对齐的人体目标轮廓图像进行取平均，得到改进步态能量图：

其中IGEI(x,y)为计算得到的改进步态能量图，B(x,y,t)为一个步态周期内的人体目标轮廓图像，x和y为像素点坐标，t为一个步态周期内的人体目标轮廓图像序列号，T为一个步态周期内的总帧数。

所述S4中，对改进步态能量图进行降维处理的方法在于：

采用二维主成分分析(2DPCA)对改进步态能量图进行特征降维，以进一步提取步态特征。2DPCA又叫广义主成分分析，是一种基于图像矩阵且包含于类平均图像中的判别信息的最优压缩技术。一个大小为m×n的图像A，令投影矩阵P∈R^n×d(n≥d)，将图像矩阵A投影到P，得到一个m×d的矩阵Y：

Y＝AgP

其中，P为投影轴，Y为图像矩阵A的投影特征向量。最佳投影轴P可以根据特征向量Y的散步情况来决定，在2DPCA中，用投影后向量的总离散度作为准则函数来衡量投影轴P的优劣。

所述S5中将步态特征输入到最近邻分类器进行距离度量和身份判别的方法在于：

S5.1，将步骤S4中得到的改进步态能量图降维后的步态特征G＝(g⁽¹⁾,g⁽²⁾,g⁽³⁾,...,g⁽ⁿ⁾)输入到最近邻分类器；

S5.2，依次计算待识别改进步态能量图的步态特征G＝(g⁽¹⁾,g⁽²⁾,g⁽³⁾,...,g⁽ⁿ⁾)与最近邻分类器的样本库中所有样本的欧式距离：

式中，P(i)＝(p(i)⁽¹⁾,p(i)⁽²⁾,p(i)⁽³⁾,...,p(i)⁽ⁿ⁾)为最近邻分类器的样本库中的第i个样本；

S5.3，选择样本库中与待测改进步态能量图的步态特征距离最近的样本，将该样本的类别预测为待识别的改进步态能量图的步态特征的类别，以识别待识别的改进步态能量图对应行人的身份。

所述S2.2中人体目标轮廓图像静态区域的划分方法为：

依据医学原理先验知识，人体重心所在位置约为头顶到身高的47％，将人体重心以上的部分看作是静态区域。

本发明的有益技术效果是：

本发明解决了传统步态能量图像清晰度较差的问题，有效提高了真实应用场景下的步态识别准确率。本发明计算简单，能够有效提高各种应用场景下的步态识别准确率。

附图说明

图1是基于改进步态能量图的步态识别方法及系统的一个实施例的流程图。

图2是基于动态背景建模的背景减除法示意图，(a)为原始图像，(b)为得到的背景模型，(c)为原始图像与背景模型做差之后得到的人体目标轮廓图像。

图3是人体目标轮廓图像经过多种形态学方法处理后的示意图，(a)为原始人体目标轮廓图像，(b)为经腐蚀处理后的图像，(c)为经膨胀处理后的图像，(d)为经开运算处理后的图像，(e)为经闭运算处理后的图像。

图4是人体各部位比例示意图。

图5是各种重心对齐方式得到的步态能量图的对比示意图，(a)为没有经过重心对齐合成的步态能量图；(b)为经过行人轮廓区域整体重心对齐合成的步态能量图；(c)为本发明提出的经过静态区域重心对齐合成的改进步态能量图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例提供一种基于改进步态能量图的步态识别方法及系统的具体实施过程，步骤如下：

S1.从步态序列图像中提取单帧图像进行灰度变换，采用动态背景建模的背景减除法提取人体目标轮廓；

S1.1建立初始背景图像。将一个步态序列图像中对应像素点的灰度值进行取平均，得到的初始背景图像为B(x,y)。

S1.2计算阈值参数T(x,y)。首先计算帧图像之间的像素差，然后分别计算其均值和标准差。

f_t(x,y)＝|I_t(x,y)-I_t-n(x,y)|

其中I_t(x,y)和I_t-n(x,y)分别表示t和t-n时刻的帧图像，f_t(x,y)表示它们的帧间像素差，M为序列总帧数，μ(x,y)为该步态序列帧图像的均值，σ(x,y)为该步态序列帧图像的方差。阈值参数T(x,y)可以通过下式求得，其中β常数一般设置为2。

T(x,y)＝μ(x,y)+β×σ(x,y)

S1.3更新背景图像和阈值参数。更新后的背景图像、均值、方差分别为B'(x,y)、μ'(x,y)和σ'(x,y)，其中α为更新率，设为1。将μ'(x,y)、σ'(x,y)代入上式即可求得更新后的阈值参数T'(x,y)。

B'(x,y)＝(1-α)×B(x,y)+α×I(x,y)

μ'(x,y)＝(1-α)×μ(x,y)+α×f(x,y)

σ'(x,y)＝(1-α)×σ(x,y)+α×|f(x,y)-μ'(x,y)|

T'(x,y)＝μ'(x,y)+β×σ'(x,y)

S1.4分割人体目标轮廓图像。将原始帧图像与更新后的背景图像做差，通过比较阈值划分为二值前景图像，如下式所示：

S1.5循环计算S1.3和S1.4，不断更新各种参数，一直到步态序列所有帧的人体目标轮廓图像全部分割完成。背景减除法的流程示意图如图2所示，其中(a)为CASIA-B步态数据库某条步态序列中的原始帧图像，(b)为采用背景减除法中的动态背景建模求得的背景图像，(c)为原始帧图像与背景图像做差后分割出的行人轮廓图像。

S2.对人体目标轮廓图像进行形态学去噪处理，然后等比例缩放到指定高度，建立一个标准模板，计算缩放后人体轮廓图像静态区域的重心，将其与标准模板的重心对齐，得到尺寸归一化后的人体目标轮廓图像；

S2.1采用半径为3的圆形结构元素对图像进行开运算的形态学方法，实现行人前景图像的去噪和平滑，如图3所示，为经过形态学去噪处理后的图像。(a)为原始行人前景图像，(b)为经腐蚀处理后的图像，(c)为经膨胀处理后的图像，(d)为经开运算处理后的图像，(e)为经闭运算处理后的图像。可见经开运算处理后的图像更加平滑饱满，贴近于实际行人轮廓；

S2.2对人体目标轮廓图像进行尺寸归一化：

S2.2.1通过遍历人体目标轮廓图像的每个像素点，确定最左、最右、最高和最低这四个边界点，框选出宽W，高H的行人轮廓最小矩形，将其等比例缩放至高为128像素，则宽为128×W/H像素；

S2.2.2依据医学原理先验知识，人体重心所在位置约为头顶到身高的47％，如图4所示。将人体重心以上的部分看作是静态区域。计算缩放后的人体目标轮廓图像静态区域的重心：

式中，x_i和y_i表示行人轮廓图像中像素值为1的像素点的横纵坐标；N表示行人轮廓图像中所有像素值为1的像素点的总数；x_c和y_c表示行人轮廓图像重心的横纵坐标；

S2.2.3建立一个像素值全为0，高128像素，宽100像素的标准模板，则模板的重心坐标为(64,50)，将人体目标轮廓图像的静态区域重心与模板的重心对齐后，得到归一化后的人体目标轮廓图像。

S3.提取每个步态序列的步态周期并由此计算生成改进步态能量图；

在对步态序列进行步态周期检测后，将一个步态周期内经过预处理和静态区域重心对齐的人体目标轮廓图像进行取平均，得到改进步态能量图，如图5所示，其中(a)为没有经过重心对齐合成的步态能量图；(b)为经过行人轮廓区域整体重心对齐合成的步态能量图；(c)为本发明提出的经过静态区域重心对齐合成的改进步态能量图：

其中IGEI(x,y)为计算得到的改进步态能量图，B(x,y,t)为一个步态周期内的人体目标轮廓图像，x和y为像素点坐标，t为一个步态周期内的人体目标轮廓图像序列号，T为一个步态周期内的总帧数。

S4.对改进步态能量图进行降维处理，进一步提取步态特征；

对改进步态能量图进行降维处理的过程为：

采用二维主成分分析(2DPCA)对改进步态能量图进行特征降维，以进一步提取步态特征。2DPCA又叫广义主成分分析，是一种基于图像矩阵且包含于类平均图像中的判别信息的最优压缩技术。一个大小为m×n的图像A，令投影矩阵P∈R^n×d(n≥d)，将图像矩阵A投影到P，得到一个m×d的矩阵Y：

Y＝AgP

其中，P为投影轴，Y为图像矩阵A的投影特征向量。最佳投影轴P可以根据特征向量Y的散步情况来决定，在2DPCA中，用投影后向量的总离散度作为准则函数来衡量投影轴P的优劣。

S5.将步态特征输入到最近邻分类器进行距离度量和身份判别；

S5.1将步骤S4中得到的改进步态能量图降维后的步态特征G＝(g⁽¹⁾,g⁽²⁾,g⁽³⁾,...,g⁽ⁿ⁾)输入到最近邻分类器；

S5.2依次计算待识别改进步态能量图的步态特征G＝(g⁽¹⁾,g⁽²⁾,g⁽³⁾,...,g⁽ⁿ⁾)与最近邻分类器的样本库中所有样本的欧式距离：

式中，P(i)＝(p(i)⁽¹⁾,p(i)⁽²⁾,p(i)⁽³⁾,...,p(i)⁽ⁿ⁾)为最近邻分类器的样本库中的第i个样本；

S5.3选择样本库中与待测改进步态能量图的步态特征距离最近的样本，将该样本的类别预测为待识别的改进步态能量图的步态特征的类别，以识别待识别的改进步态能量图对应行人的身份。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种基于改进步态能量图的步态识别方法及系统，其特征在于，包括如下步骤：

S1，从步态序列图像中提取单帧图像进行灰度变换，采用动态背景建模的背景减除法提取人体目标轮廓；

S2，对人体目标轮廓图像进行形态学去噪处理，然后等比例缩放到指定高度，建立一个标准模板，计算缩放后人体轮廓图像静态区域的重心，将其与标准模板的重心对齐，得到尺寸归一化后的人体目标轮廓图像；

S3，提取每个步态序列的步态周期并由此计算生成改进步态能量图；

S4，对改进步态能量图进行降维处理，进一步提取步态特征；

S5，将步态特征输入到最近邻分类器进行距离度量和身份判别。

2.根据权利要求1所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S1中，采用动态背景建模的背景减除法提取人体目标轮廓的具体实现过程为：

S1.1，建立初始背景图像。将一个步态序列图像中对应像素点的灰度值进行取平均，得到的初始背景图像为B(x,y)。

S1.2，计算阈值参数T(x,y)。首先计算帧图像之间的像素差，然后分别计算其均值和标准差。

f_t(x,y)＝|I_t(x,y)-I_t-n(x,y)|

其中I_t(x,y)和I_t-n(x,y)分别表示t和t-n时刻的帧图像，f_t(x,y)表示它们的帧间像素差，M为序列总帧数，μ(x,y)为该步态序列帧图像的均值，σ(x,y)为该步态序列帧图像的方差。阈值参数T(x,y)可以通过下式求得，其中β常数一般设置为2。

T(x,y)＝μ(x,y)+β×σ(x,y)

S1.3，更新背景图像和阈值参数。更新后的背景图像、均值、方差分别为B'(x,y)、μ'(x,y)和σ'(x,y)，其中α为更新率，设为1。将μ'(x,y)、σ'(x,y)代入上式即可求得更新后的阈值参数T'(x,y)。

B'(x,y)＝(1-α)×B(x,y)+α×I(x,y)

μ'(x,y)＝(1-α)×μ(x,y)+α×f(x,y)

σ'(x,y)＝(1-α)×σ(x,y)+α×|f(x,y)-μ'(x,y)|

T'(x,y)＝μ'(x,y)+β×σ'(x,y)

S1.4，分割人体目标轮廓图像。将原始帧图像与更新后的背景图像做差，通过比较阈值划分为二值前景图像，如下式所示：

S1.5，循环计算S1.3和S1.4，不断更新各种参数，一直到步态序列所有帧的人体目标轮廓图像全部分割完成。

3.根据权利要求1所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S2中，对人体目标轮廓图像进行形态学去噪处理的过程为：

采用半径为3的圆形结构元素对图像进行开运算的形态学方法，实现行人前景图像的去噪和平滑。

4.根据权利要求1所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S2中，对人体目标轮廓图像进行尺寸归一化的过程为：

S2.1，通过遍历人体目标轮廓图像的每个像素点，确定最左、最右、最高和最低这四个边界点，框选出宽W，高H的行人轮廓最小矩形，将其等比例缩放至高为128像素，则宽为128×W/H像素；

S2.2，计算缩放后的人体目标轮廓图像静态区域的重心：

式中，x_i和y_i表示行人轮廓图像中像素值为1的像素点的横纵坐标；N表示行人轮廓图像中所有像素值为1的像素点的总数；x_c和y_c表示行人轮廓图像重心的横纵坐标；

S2.3，建立一个像素值全为0，高128像素，宽100像素的标准模板，则模板的重心坐标为(64,50)，将人体目标轮廓图像的静态区域重心与模板的重心对齐后，得到归一化后的人体目标轮廓图像。

5.根据权利要求1所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S3中，计算生成改进步态能量图的过程为：

在对步态序列进行步态周期检测后，将一个步态周期内经过预处理和静态区域重心对齐的人体目标轮廓图像进行取平均，得到改进步态能量图：

其中IGEI(x,y)为计算得到的改进步态能量图，B(x,y,t)为一个步态周期内的人体目标轮廓图像，x和y为像素点坐标，t为一个步态周期内的人体目标轮廓图像序列号，T为一个步态周期内的总帧数。

6.根据权利要求1所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S4中，对改进步态能量图进行降维处理的过程为：

采用二维主成分分析(2DPCA)对改进步态能量图进行特征降维，以进一步提取步态特征。2DPCA又叫广义主成分分析，是一种基于图像矩阵且包含于类平均图像中的判别信息的最优压缩技术。一个大小为m×n的图像A，令投影矩阵P∈R^n×d(n≥d)，将图像矩阵A投影到P，得到一个m×d的矩阵Y：

Y＝AgP

其中，P为投影轴，Y为图像矩阵A的投影特征向量。最佳投影轴P可以根据特征向量Y的散步情况来决定，在2DPCA中，用投影后向量的总离散度作为准则函数来衡量投影轴P的优劣。

7.根据权利要求1所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S5中，将步态特征输入到最近邻分类器进行距离度量和身份判别的过程为：

S5.1，将步骤S4中得到的改进步态能量图降维后的步态特征G＝(g⁽¹⁾,g⁽²⁾,g⁽³⁾,...,g⁽ⁿ⁾)输入到最近邻分类器；

S5.2，依次计算待识别改进步态能量图的步态特征G＝(g⁽¹⁾,g⁽²⁾,g⁽³⁾,...,g⁽ⁿ⁾)与最近邻分类器的样本库中所有样本的欧式距离：

式中，P(i)＝(p(i)⁽¹⁾,p(i)⁽²⁾,p(i)⁽³⁾,...,p(i)⁽ⁿ⁾)为最近邻分类器的样本库中的第i个样本；

S5.3，选择样本库中与待测改进步态能量图的步态特征距离最近的样本，将该样本的类别预测为待识别的改进步态能量图的步态特征的类别，以识别待识别的改进步态能量图对应行人的身份。

8.根据权利要求4所述一种基于改进步态能量图的步态识别方法及系统，其特征在于，步骤S2.2中，人体目标轮廓图像静态区域的划分过程为：

依据医学原理先验知识，人体重心所在位置约为头顶到身高的47％，将人体重心以上的部分看作是静态区域。

Images