CN109711387B - 一种基于多类能量图的步态图像预处理方法 - Google Patents

Abstract

本发明提供一种基于多类能量图的步态图像预处理方法，对数据集中多个已知的步态视频序列，利用遍历图像的像素点的方法，进行人体矩形区域的切割提取；采用双线性插值法，对提取出的行人图像进行大小归一化和质心归一化；采用高宽比的方法进行步态周期检测，采集并处理行走一个周期的步态信息，将图片分别生成步态能量图GEI、活动能量图AEI和步态熵图像GEnI；将生成的三种能量图按照RGB三通道原理，同时输入到网络模型中。本发明采用三种能量图来进行步态特征提取，得到了更多的步态特征，并按照三通道处理的方法，提出将三种能量图按三通道输入到网络中，并利用卷积神经网络实现模型，本发明可广泛用于模式识别尤其是步态识别领域以提高识别的准确率。

Description

一种基于多类能量图的步态图像预处理方法

技术领域

本发明属于模式识别与图像处理领域，具体涉及一种基于多类能量图的步态图像预处理方法。

背景技术

步态识别作为当前远距离下最具潜力的生物特征识别技术，其与指纹识别、人脸识别等传统的生物特征识别方式相比，具有非侵犯性、非接触性、无需人们的配合且易于采集等优点，所以近几年关于步态识别的研究成为智能视频监控、医疗诊断、人员识别、公司考勤、罪犯检测等领域的热门研究课题。步态识别为远距离生物特征识别提供了方向和思想，具有广泛的应用前景和社会意义。

在步态识别研究中，现有的提取步态信息的方法主要是提取视频中的步态序列，然后生成剪影图像。步态表示方法在基于视频传感器的步态识别系统中起着关键作用，能量图是基于外观的最重要的步态表示方法之一。步态的能量图是基于非模型方法特征提取的经典方法。步态的能量图主要是将人物在一个步态周期的行走信息进行压缩、帧差等处理，将分散的信息集合起来形成信息量更大的步态信息图。不同的能量图具有不同的特性，比如论文(Individual recognition using gait energy image.IEEE Trans on PatternAnalysis and Machine Intelligence,2006,10(2):316-322)中提出的步态能量图(GaitEnergy Image，GEI)，步态能量图包含步态的动态信息和静态信息，但不包括时间信息。而论文(The recognition of human movement using temporal templates.IEEETransactions on pattern analysis and machine intelligence,2001,23(3):257-267)中提出的运动历史图像(Motion History Image，MHI)包括动态信息和时间信息，但不包括静态信息。基于步态能量图的特点，大体可将步态能量图分为三类：

1.步态信息累积方法。步态信息累积能量图是将步态轮廓序列通过使用数学方法进行平均，差异，最大和最小操作来得到表示一个或若干个矩阵状二阶图像。步态信息累积法对轮廓误差不敏感，并且表现更好，并提供比原始二进制步态图像更丰富的步态信息。

2.步态信息引入方法。步态信息累积方法仅重构步态序列作为整体特征，可能失去步态的一些内在动态特性。为了削弱这种效应，步态信息引入方法通过采用数学变换的平均，差分和运动区域提取的方法得到基于GEI的静态轮廓图像从而引入动态信息。

3.步态信息融合方法。步态信息融合方法采用判决层和特征层融合方法来实现静态，动态和时间信息的融合。该方法方法主要考虑的是不相关的不同的特征图像，然后在特征层或决策层进行融合得到一张能量图。

在利用步态的能量图进行步态识别的研究中，研究者大都只采用某一种能量图，但是单一能量图只能相对的表示步态信息的某一种特性，因此这些方法在对步态特征的提取上存在着一定的局限性。

发明内容

本发明的目的在于提供了一种基于多类能量图的步态图像预处理方法，可广泛用于模式识别尤其是步态识别领域，可有效提高步态识别准确率

本发明的目的是这样实现的：

一种基于多类能量图的步态图像预处理方法，具体的实现步骤为.

步骤1.对数据集中多个已知的步态视频序列，利用遍历图像的像素点的方法，进行人体矩形区域的切割提取；

步骤2.采用双线性插值法，对提取出的行人图像进行大小归一化；

步骤3.对大小归一化后的行人图像进行质心归一化；

步骤4.采用高宽比的方法进行步态周期检测，采集并处理行走一个周期的步态信息，将图片分别生成步态能量图GEI、活动能量图AEI和步态熵图像GEnI；

步骤5.将生成的三种能量图按照RGB三通道原理，同时输入到网络模型中。

步骤4所述的生成步态能量图GEI，步态能量图的计算公式为

其中B(x,y,n)为第n帧的二值图像，(x,y)为运动发生的像素点坐标，N是一个步态周期中图片的个数，n代表一个周期中的第n张；

步骤4所述的活动能量图AEI，活动能量图AEI的计算公式为

D_n(x,y,n)＝|B(x,y,n+1)-B(x,y,n)|

其中D(x,y,n)表示运动区域的二值差分图像；

步骤4所述的步态熵图像GEnI，步态熵能量图GEnI的计算公式为：

E_GEnI(x,y)＝-E_GEI(x,y)log₂E_GEI(x,y)-(1-E_GEI(x,y))log₂(1-E_GEI(x,y))。

步骤5所述的输入到网络模型为，将三种能量图以三个通道同时输入到网络中，分别通过后续网络的卷积池化过程，最后全连接生成特征向量进行分类识别。

步骤1所述的遍历图像像素点的方法为遍历整个图像得到分别得出最上、最下、最左、最右位置的像素点的坐标，依此4个坐标切割出人体矩形区域。

步骤3所述的质心归一化为求解图像质心，然后将每个图像的质心统一放在一新画布的中心位置，将原图切割到新画布上，图像质心的求解公式为

其中p_x(i)、p_y(i)是图像第i个元素的坐标，N为图像人体所有像素点的和。

本发明的有益效果在于：本发明与之前的步态识别研究中采用单一能量图提取步态信息为对比，采用三种能量图来进行步态特征提取，得到了更多的步态特征并依照网络对彩色图分为RGB三通道处理的方法，提出将三种能量图按三通道输入到网络中，并利用卷积神经网络实现模型，本发明提出的基于多类能量图的图像预处理方法可广泛用于模式识别尤其是步态识别领域以提高识别的准确率。

附图说明

图1为基于多类能量图的图像预处理方法流程图提取人体步态轮廓。

图2为提取人体步态轮廓。

图3为距离远近对任务信息的影响。

图4为双线性插值法示意图。

图5为质心归一化前后对比图。

图6为人物行走时宽高比变化示意图。

图7为宽高比步态周期检测曲线。

图8为步态能量图。

图9为活动能量图。

图10为步态熵图像。

图11为彩色图的RGB空间。

图12为RGB三通道输入三种能量图网络实现示意。

图13为尺寸归一化效果图。

具体实施方式

下面结合附图对本发明做进一步的描述：

实施例1

在传统的步态识别研究方法中，一次只采用一种能量图开展研究，而单一能量图近能提取有限的步态信息。因此本发明针对传统步态识别研究方法中对步态信息提取的不足，并针对不同种类能量图提取出的步态信息相互补充的特点，提出一种基于多类能量图的步态图像预处理方法，该方法采用三种能量图来进行步态特征提取，得到更多的步态特征并依照网络对彩色图分为RGB三通道处理的方法，提出将三种能量图按三通道输入到网络中，利用深度卷积神经网络来实现。本发明提出的基于多类能量图的图像预处理方法可广泛用于模式识别尤其是步态识别领域，可有效提高步态识别准确率。

实现本发明目的技术方案为：

步骤1.对训练集中多个已知的步态视频序列利用遍历图像像素点的方法进行人体矩形区域的切割提取；

采用某大型步态数据库，而该数据库采用大小为240×320的人行走步态二值图片。其中待测人体图像只占原图的一部分，用于步态识别时我们只需人体图像的信息即可，故需将人体所占矩形区域与无用区域分割开来，即有用区域的提取；

针对二值图像非黑即白(像素为0或255)的特点，可以利用遍历图像像素点的方法来进行人体矩形区域的切割提取，即通过从左至右，从上到下的顺序和从右至左，从下至上的遍历整个图像，分别得到像素大小为255的点的坐标位置，分别得出其中位于最上、最下、最左和最右位置的像素点的坐标，依此4个坐标切割出人体矩形区域，用于之后的步态周期检测和归一化处理，实际效果如图2所示；

步骤2.采用双线性插值法对在步骤1中提取出的行人图像进行大小归一化；

由于行人行走过程中与位置固定的摄像头之间的距离是不断变化的，而这种变化会造成行走图像的大小不一；因此在在进行步态特征提取之前我们要把行人图像大小归一化，不然在一个序列周期内人物的步态信息差别会很大，影响识别结果；本发明中图像尺寸归一化的方法为双线性插值法，该方法原理为对待测点最近的四个点在两个方向上进行插值，即计算出的像素值是该点最邻近的2×2距离内点像素值的加权平均，并不是直接复制像素值来填充目标像素，所以相比最邻近插值，效果更佳。将已知四方形的四个顶点分别设为f(0,0),f(0,1),f(1,0),f(1,1)如图4所示；

若要使用双线性插值法求取任意f(x,y)的值。首先对上端的两个点插值得到：

f(0,y)＝f(0,0)+y[f(0,1)-f(0,0)]

然后对下面的两个端点进行插值后得：

f(1,y)＝f(1,0)+y[f(1,1)-f(1,0)]

最后对竖直方向进行插值后得：

f(x,y)＝f(0,y)+x[f(1,y)-f(0,y)]

综上所述：

步骤3.对在步骤2中提取出的尺寸相同的行人图像进行质心归一化使每个图像的质心统一在画面的中心位置；

在尺度归一化过程中我们可以看到步态库的原图有距离远近的变化，所以人物不仅有大小的不同，还有在图像中位置的不同；所以我们不仅要对原图进行尺度归一化，还要对其进行质心归一化；图像质心可以通过利用x,y坐标像素点的和与整体像素和之比来求得；然后将每个图像的质心统一放在一新画布的中心位置，将原图切割到新画布上，使所有图像质心坐标相同，达到质心归一化的目的；图像质心的求解公式如下：

其中p_x(i)，p_y(i)是图像第i个元素的x坐标，N为图像人体所有像素点的和。质心归一化前后对比图如图5所示；

步骤4.采用高宽比的方法进行步态周期检测，并将图片生成三种能量图分别为步态能量图(GEI)、活动能量图(AEI)和步态熵图像(GEnI)；

步骤4.1.采用高宽比的方法进行步态周期检测采集行走一个周期的步态信息；

人行走是一个有规律的循环运动，所以人的行走有周期性和重复性，我们要想获得一个人的步态信息，只需获得他的步态周期，采集行走一个周期的步态信息即可；在本发明中采用轮廓宽高比实现步态周期检测；对于一个连续的步态序列，人物随着手和脚的摆动，整个人体的宽度和高度在不断变化，如图6所示；

由图可看出人在行走过程中两腿合并交替的阶段宽度最窄，但高度最高，在跨步行走阶段宽度最宽，但高度最低，人体高宽比有明显的起伏，将一个步态序列的高宽比用曲线连接起来；

由图7所示，波峰和波谷分别代表双腿合并交替阶段和分离最大阶段；其中连续的两个波峰分别为两次腿合并阶段(一次左脚支撑，一次右腿支撑)，连续的两个波谷为两次最大跨步阶段(一次左脚在前，一次右脚在前)；即一个步态周期的时间是某一个波峰(波谷)，中间隔一个波峰(波谷)，到下下次波峰(波谷)之间的时间。

步骤4.2.为将步骤4.1中截取的行人行走一个周期的步态信息处理，分别生成三种能量图；

步态的能量图是基于非模型方法特征提取的经典方法。步态的能量图主要是将人物在一个步态周期的行走信息进行压缩、帧差等处理，将分散的信息集合起来形成信息量更大的步态信息图。近些年利用步态的能量图来进行步态识别的研究很受人关注，所以产生了许多包含各种信息的能量图。不同的能量图具有不同的特性，比如GEI包含步态的动态信息和静态信息，但不包括时间信息。而MHI包括动态信息和时间信息，但不包括静态信息。经过对不同能量图中包含的信息对比分析后，本发明选GEI、AEI和GEnI。

步骤4.2.1，为提取GEI，步态能量图包含步态的动态信息和静态信息，其中以静态信息居多；步态能量图通过步态序列求和取平均得到，公式如下：

其中B(x,y,n)为第n帧的二值图像，(x,y)为运动发生的像素点坐标，是一个步态周期中图片的个数，1代表一个周期中的第1张；步态能量图反映的是在一个完整的步态周期里每种姿势所占的时间长度；在GEI能量图中，某个像素点的强度值越高，意味着，在这个位置上人的出现的更频繁；如图8所示；

步骤4.2.2，为提取AEI，活性能量图包含步态信息的静态特征；同时可以在一定程度上减少衣着服装和携带物品的影响，克服了步态能量图的缺点，AEI的公式如下：

D_n(x,y,n)＝|B(x,y,n+1)-B(x,y,n)

其中D(x,y,n)表示运动区域的二值差分图像；活性能量图主要是通过计算一个周期的步态序列中两个相邻轮廓之间的差异来提取活动区域，然后再将每相邻两张轮廓之间的差值加和，再取平均；因为活动能量图提取了活动部分，所以其包含了比步态能量图更多的动态的特征；生成的AEI的图像如图9所示；

步骤4.2.3，为提取GEnI，步态熵图像通过计算步态能量图能量图中每个像素位置的香农熵来区分步态能量图的动态区域和静态区域；将固定像素位置处的剪影的强度值当作离散随机变量；香农熵主要测量在一个完整步态周期中与随机变量相关的不确定性；步态熵能量图的计算公式为：

E_GEnI(x,y)＝-E_GEI(x,y)log₂E_GEI(x,y)-(1-E_GEI(x,y))log₂(1-E_GEI(x,y))

步态熵能量图在步态能量图提取的步态特征的基础上，进一步计算出这些特征的相关性，同时自动选择出静态条件不变的特征用于步态识别；由于动态区域具有更多的不确定性，动态区域的步态熵能量图强度值较大，而静态区域不确定性相对较小，所以静态区域的强度值较小；提取的步态熵图如图10所示。

步骤5.将生成的三种能量图类比RGB三通道原理，同时输入到网络模型中；

该步骤将同时利用GEI、AEI和GEnI将三种能量图根据RGB三通道原理，同时输入到网络模型中；

色彩由红、绿、蓝三种原色构成，颜色模型空间的RGB三个分量又称为RGB三个通道，其中R、G、B分别反映了颜色在某个通道上的亮度值；彩色图是由红、绿、蓝三原色灰度图构成，如图11所示；

根据网络模型的特性，彩色图在输入网络中后，会被分解为RGB三幅灰度图像，分别通过后续网络的卷积池化过程，最后全连接生成特征向量进行分类识别；根据彩色图分解为RGB三通道的原理，将三种能量图按照RGB三个通道输入，基本的网络结构如图12所示。

在测试方法效果时，在将图像输入改为3通道，并按照一一对应的关系，将三种能量图的二维矩阵数据赋值到预先建立好的三维数组中，每幅能量图对应矩阵的一个维度，类似于彩色图的RGB三维矩阵。如此送入网络模型中进行交叉式训练测试。在验证集中，以三种能量图三通道方式输入进行训练，并与采用单能量图的训练结果进行对比。同样的验证集下，采用三通道输入三种能量图的方法要比使用单种能量图的训练识别效果要好，能够达到90％以上的验证识别率。随机采用的样本测试可知采用了单一的步态能量图输入模型虽然top-5的识别结果准确率超过了90％，但是top-1的识别率很低，不足50％，可见此样本的测试结果并不好，分类到其他类别的概率依然很高，分类错误率较高。而采用三种能量图交叉视角步态识别时的样本测试中top-5的识别率较单一步态能量图有一定提高。而且正确识别率即top-1识别率同样超过了90％，比之前的测试这改样本时的识别率有较大幅度的提升。经过在的测试集上的交叉式跨视角步态识别测试，可推断是当三种能量图输入时信息量有较大的提升，因此较大幅度提高了模型预测的准确率。

Claims (3)

1.一种基于多类能量图的步态图像预处理方法，其特征在于，具体的实现步骤为.

步骤1.对数据集中多个已知的步态视频序列，利用遍历图像的像素点的方法，进行人体矩形区域的切割提取；

步骤2.采用双线性插值法，对提取出的行人图像进行大小归一化；

步骤3.对大小归一化后的行人图像进行质心归一化；

求解图像质心，然后将每个图像的质心统一放在一新画布的中心位置，将原图切割到新画布上，图像质心的求解公式为：

其中，p_x(i)、p_y(i)是图像第i个元素的坐标；M为图像人体所有像素点的和；

步骤4.采用高宽比的方法进行步态周期检测，采集并处理行走一个周期的步态信息，将图片分别生成步态能量图GEI、活动能量图AEI和步态熵图像GEnI；

步态能量图GEI的计算公式为：

其中，B(x,y,n)为第n帧的二值图像；(x,y)为运动发生的像素点坐标；N是一个步态周期中图片的个数，n代表一个周期中的第n张；

活动能量图AEI的计算公式为：

D_n(x,y,n)＝|B(x,y,n+1)-B(x,y,n)|

其中，D(x,y,n)表示运动区域的二值差分图像；

步态熵能量图GEnI的计算公式为：

E_GEnI(x,y)＝-E_GEI(x,y)log₂E_GEI(x,y)-(1-E_GEI(x,y))log₂(1-E_GEI(x,y))

步骤5.将生成的三种能量图按照RGB三通道原理，同时输入到网络模型中。

2.根据权利要求1所述的一种基于多类能量图的步态图像预处理方法，其特征在于：步骤5所述的输入到网络模型为，将三种能量图以三个通道同时输入到网络中，分别通过后续网络的卷积池化过程，最后全连接生成特征向量进行分类识别。

3.根据权利要求1所述的一种基于多类能量图的步态图像预处理方法，其特征在于：步骤1所述的遍历图像像素点的方法为遍历整个图像得到分别得出最上、最下、最左、最右位置的像素点的坐标，依此4个坐标切割出人体矩形区域。

Images