CN103886287A - 一种基于3d投影的跨视角步态识别方法 - Google Patents

Abstract

本发明公开了一种基于3D投影的跨视角步态识别方法，该方法主要包括二维步态图像处理，重心轨迹提取，三维步态特征还原和三维视角转换四个步骤，该方法实现了不同拍摄视角之间步态特征精确转换的步态识别，并且可以将摄像机中平面图像的步态特征还原为3D空间中的立体步态特征，从而使步态识别过程不再需要多台摄像机实现立体还原。同时，由于该方法极大的提高了跨视角步态识别的运算速度和不受拍摄视角影响的特点，任意位置的摄像机拍摄得到的步态图像均可以进行识别，使用该方法开发出的步态识别系统既可应用于简单的门禁系统的开发，也可应用于流量大的街道、机场、公交站等公共场所监控系统的开发，使智能监控水平上升到一个新的高度。

Description

一种基于3D投影的跨视角步态识别方法

技术领域

本发明涉及视频图像识别领域，具体涉及一种基于3D投影的跨视角步态识别方法。 

背景技术

步态是远距离识别的唯一特征，而且具有难以伪装、不需目标配合的独特优势。由于步态具有连续变化和周期循环的特点，当行人刻意伪装步态破坏到行走周期性时，极易引起他人察觉，这正是步态识别与人脸识别、指纹识别相比最为独特的优势。 

当前的步态特征提取方法主要分为模型法和移动法。 

模型法是指根据步态图像中人体的结构进行建模，将人体模型的移动特征作为步态特征。该类方法由于要牵涉到人体的具体形状，而不同的视角下拍摄得到的2D人体形状是有较大差距的，所以该类方法实现3D跨视角识别的唯一方法是通过设置多个摄像头对人体步态进行全方位拍摄，将各个角度下拍摄到的2D图片通过重构、组合，还原成3D视角下的立体步态特征，方可实现跨视角的精确识别。该方法会产生庞大的计算量，运算过程缓慢，而且对摄像头的数量、拍摄质量、分辨率均有较高要求，所以不适用于现实生活中步态识别系统的应用。 

移动法是指将包含步态的图片视为二维矩阵，通过数学中PCA、LDA等分析方法，对矩阵的特征进行分析，从而得到步态特征。该类方法具有简便、 实用性强的优点，然而识别精度不高。原因在于该类方法对人体区域的完整性要求较高，前期图像处理产生的噪声、或者拍摄过程中偶然的干扰均会对提取到的特征产生很大影响。原因在于该类方法主要基于人体在行走过程中腿部、手臂的规律摆动，而没有考虑到人体在行走过程中的整体特征，从而导致当腿部、手臂等关键部分的信息被遮挡时丧失识别能力。 

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于3D投影的跨视角步态识别方法。 

为了达到上述发明目的，本发明采用以下技术方案： 

一种基于3D投影的跨视角步态识别方法，包括下述步骤： 

S1、使用三帧差分法消除原始步态视频中的背景，得到行人的运动图像，并对图像进行二值化处理，得到行人行走的黑白图像； 

S2、计算得到运动目标中每一帧图像的重心坐标并在同一坐标系中连接，得到行人的重心轨迹； 

S3、根据步骤S2中行人的重心轨迹,采用直线拟合的方法拟合出反映重心轨迹上升或下降趋势的直线，并用该直线的斜率来估计摄像机拍摄的仰角或俯角，同时将行走方向与摄像机光轴的夹角作为侧面方向，两个方向结合即为立体三维空间中的视角方向； 

S4、根据上述立体三维空间中的视角方向计算出与该视角方向垂直的视角平面，并将该视角平面称为目标视角平面，将测量得到的重心轨迹按照帧序号分布在所述目标视角平面上，并计算出重心轨迹在X,Y,Z轴的坐标，从而得出重心轨迹映射到目标视角平面上的3D重心轨迹方程； 

S5、将上述的3D重心轨迹方程向目标视角平面投影，得到的投影后的方程即为视角转换后的步态特征。 

优选的，在步骤S1中，采用三帧差分法将高斯滤波后的图像转化为运动目标的二值图像，具体计算如下： 

$\left\{\begin{array}{c}|I_n\left(x\right)-I_{n-1}\left(x\right)|>T_n\left(x\right)\\ |I_n\left(x\right)-I_{n-2}\left(x\right)|>T_n\left(x\right)\end{array}\right.$

式中：I_n(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，I_n-1(x)表示第n-1帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，I_n-2(x)表示第n-2帧图像在像素位置x处的灰度域值，T_n(x)则表示第n帧图像灰度变化的阈值；当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为该点像素属于运动目标，将该点的像素值设置为255，其余的像素值设置为0。 

优选的，在步骤S2中，重心轨迹提取方法如下： 

S21、首先通过目标区域像素计算得到每帧图像中人体的重心坐标，计算公式如下： 

$x_{w\left(i\right)}=\frac{1}{N}\underset{x_i\∈\mathrm{Area}}{\mathrm{\Σ}}{x}_i$

$y_{w\left(i\right)}=\frac{1}{N}\underset{y_i\∈\mathrm{Area}}{\mathrm{\Σ}}{y}_i$

其中，N为目标区域内像素点数，x_w(i)为人体重心的横坐标值，y_w(i)为人体重心的纵坐标值，x_i为像素点i的横坐标，y_i为像素点i的纵坐标，Area为人体区域。 

S22、根据目标高度归一化重心坐标值，具体采用将每帧图像中计算得到的重心坐标值除以当前帧人体高度的方法消除该影响，公式如下： 

h=y_max-y_min

${\mathrm{gait}}_2=\frac{{\mathrm{gait}}_1}{h}$

式中，h表示当前帧人体高度，y_max表示人体目标的y坐标最大值，y_min表示人体目标的y坐标最小值，gait₁表示初始得到的重心坐标值，gait₂表示归一化后的重心坐标值，依次求出视频中每帧图像的目标重心并记录； 

S23、根据重心计算公式计算测试者的重心位置，计算并实时记录跟踪重心位置的移动轨迹，将运动轨迹波形存储，构建步态波形数据库。 

优选的，在步骤S4中，所述重心轨迹映射到目标视角平面的具体方法如下： 

S41、所述的直线拟合的方法选用最小二乘法，拟合出反映所述行人的重心轨迹上升或下降趋势的直线，具体公式如下： 

Gα=d 

α=(α₀,α₁…,α_n)^T

式中，

表示一个函数类，

表示相互线性无关的函数，一般取

G表示格莱姆矩阵，α是直线方程的系数向量，对应的α_n即为直线的斜率，由于该拟合是线性拟合，所以n取1，此时即得到拟合后的直线方程为y=α₀+α₁x。 

S42、已知上述拟合得到的直线斜率α_n，此处α_n即为实际拍摄过程中因摄像机与拍摄者距离的变化而产生仰角或俯角； 

S43、而视角在水平面的旋转方向则表示为摄像机光轴方向与行走方向的夹角，该夹角可在拍摄过程中进行记录即可，或通过原始视频进行估计，此时即可根据拟合直线的斜率和摄像机光轴方向与行走方向的夹角还原出实际拍摄过程中的立体视角平面； 

S44、构造三维空间XYOZ，将得到的立体视角方向向量置入三维空间中，计算方向向量的法平面，即得到还原后三维空间中的立体视角平面，定义该平面为目标视角平面，然后将行人的重心轨迹的点序列按照序号均匀分布到目标视角平面上，即完成将重心轨迹分布到立体空间中并得到重心轨迹方程。 

优选的，在步骤S5中，将重心轨迹投影到目标视角平面的具体方法为：将重心轨迹方程向目标视角平面进行投影，投影后的重心轨迹即为视角转换后的重心轨迹，设已有的重心轨迹方程如下： 

已知目标视角平面方程为： 

Ax+By+Cz+D=0 

则投影后的重心轨迹方程可表示为： 

y=ψ(t)-BΦ(t), 

z=ω(t)-CΦ(t), 

式中，

本发明相对于现有技术具有如下的优点及效果： 

1、本发明不仅能解决当前提取特征方法面临的难题，还能从复杂的步态图像中提取出一维的步态特征向量，便于进一步的分析、训练和识别。 

2、采用本发明的技术方案，已知一个人行走一次的步态序列特征，当其改变其服饰（包括覆盖至腿部以下的服饰）、携带物和行走方向时，得到的步态特征是类相似的，可以有效与其他行人提取的特征区分开。 

3、本发明将重心的波动轨迹作为步态描述的基本特征，重心波动同时受到骨骼密度、肢体躯干比例、腿部长度等多方面因素的影响，具有不易伪装的优势，而且通过以点代面的方式动态地研究步态规律，避免了传统的轮廓分析的复杂过程。即使行人轮廓被部分遮挡，只要能拍摄到行人行走周期的视频，即可提取出重心的波动。 

4、本发明中二维图像的重心计算公式使用了加和的计算方法，可以有效地消除运动目标检测过程中引起的空洞和随机噪声，所以对于不具有较高清晰度的步态视频仍可以进行提取和识别。 

5、本发明充分考虑到了实际拍摄过程中摄像机与测试者距离远近对特征提取产生的影响，并提出了消除该影响的具体方法，找到了拍摄视角迟迟得不到解决的根源所在，解决了当前各类步态特征提取方法均面临的拍摄视角干扰的难题。 

6、本发明将重心轨迹看作空间曲线函数，则重心轨迹在不同视角之间的投影即转换为不同函数曲线之间的转换，而函数转换是精确的，所以视角的转换也是精确的。解决了当前视角转换方法的转换过程带来的特征丢失的问题。 

7、本发明的立体视角还原和视角转换的过程均是一维信号之间的运算，而且重心轨迹一般只需80个特征点即可表示完整的步态特征，所以使得该视角转换方法可以在ms级时间段内完成。 

附图说明

图1是基于3D投影的跨视角步态识别方法的流程方框图； 

图2是从步态图像序列中提取出的二维重心特征移动轨迹图； 

图3是将二维重心移动轨迹转换到三维立体空间轨迹图； 

图4是3D视角转换过程图。 

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。 

实施例 

如图1所示，本发明公开了一种基于3D投影的跨视角步态识别方法，该方法主要包括以下四个步骤：S1、二维步态图像处理，S2、重心轨迹提取，S3、三维步态特征还原，S4、三维视角转换。 

步骤S1、二维步态图像处理； 

已知一个任意位置的摄像头拍摄到的任意侧面的一段行人的步态视频，以二维图像的形式存储在摄像机的存储卡中，首先将二维图像进行高斯滤波处理，高斯滤波起到平滑图像信号的作用，经过高斯滤波处理后的二图像信号信噪比较高，能够更加真实反应原始图像；然后再将处理过后的图像采用三帧差分法得到二值化的黑白图像信号。具体的三帧差分法如下： 

$\left\{\begin{array}{c}|I_n\left(x\right)-I_{n-1}\left(x\right)|>T_n\left(x\right)\\ |I_n\left(x\right)-I_{n-2}\left(x\right)|>T_n\left(x\right)\end{array}\right.$

式中：I_n(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，I_n-1(x)表示第n-1帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，I_n-2(x)表示第n-2帧图像在像素位置x处的灰度域值，T_n(x)则表示第n帧图像灰度变化的阈值；当某像素位置x处的灰度值相对于上 一帧和前一帧都有较大变化，即超过阈值时，则认为该点像素属于运动目标，将该点的像素值设置为255，其余的像素值设置为0。这样将运动目标从背景中分离，重复操作即得到每一帧目标区域的二值化图像。 

本实施例中，采用的滤波技术为高斯滤波，实践中，通常还可以采用均值滤波，中值滤波或者双边滤波技术等等。 

本实施例中，采用的图像二值化方法为三帧差分法，实践中，通常还可以采用基于最大类间差的OTSU算法或者基于快速的全局阈值的Kittler算法等等。 

步骤S2、重心轨迹提取； 

重心轨迹包含了人行走的步态特征，通过对重心轨迹进行频谱分析得到步态特征向量。当行人的服饰或携带物变化时，每一帧目标区域图像的重心坐标会相应变化，但重心的起伏规律不会受到影响。 

S21、首先通过目标区域像素计算得到每一帧图像中人体的重心坐标；由于对检测出的运动目标区域内部通常产生中空，而目标重心的计算公式中的求和运算具有正负抵消作用，这样一定程度上消除了中空对特征检测的影响，因此后续的目标特征选取为目标的重心变化，计算如下： 

$x_{w\left(i\right)}=\frac{1}{N}\underset{x_i\∈\mathrm{Area}}{\mathrm{\Σ}}{x}_i$

$y_{w\left(i\right)}=\frac{1}{N}\underset{y_i\∈\mathrm{Area}}{\mathrm{\Σ}}{y}_i$

其中，N为目标区域内像素点数，x_w(i)为人体重心的横坐标值，y_w(i)为人体重心的纵坐标值，x_i为像素点i的横坐标，y_i为像素点i的纵坐标，Area为人体区域。 

使用上述加和的二维图像重心计算公式，可以有效地消除运动目标检测过程中引起的空洞和随机噪声，所以对于不具有较高清晰度的步态视频仍可以进行提取和识别。 

S22、根据目标高度归一化重心坐标值；由于行人在行走过程中与摄像头的距离不断变化，导致照片中人体大小产生变化，从而使检测到的人体重心轨迹呈现整体升高或下降的趋势，本发明的实施例根据目标高度归一化重心坐标值，具体采用将每帧图像中计算得到的重心坐标值除以当前帧人体高度的方法消除该影响，公式如下： 

h=y_max-y_min

${\mathrm{gait}}_2=\frac{{\mathrm{gait}}_1}{h}$

式中，h表示当前帧人体高度，y_max表示人体目标的y坐标最大值，y_min表示人体目标的y坐标最小值，gait₁表示初始得到的重心坐标值，gait₂表示归一化后的重心坐标值。依次求出视频中每一帧图像的目标重心并记录，同时将运动目标运动中每一帧图像的重心坐标在同一坐标系中连接，就可绘出行走目标的重心运动轨迹波形图，如图2所示。 

S23、根据重心计算公式计算测试者的重心位置，计算并实时记录跟踪重心位置的移动轨迹，将运动轨迹波形存储，构建步态波形数据库。 

由上述可知，根据重心计算公式计算测试者的重心位置，并实时记录跟踪重心位置的移动轨迹的方法，可以即将步态特征量从高维图像空间转换到一维电气信号波形的空间。 

S3、三维步态特征还原； 

将重心轨迹映射到3D空间的具体方法为：根据步骤S2计算出的重心轨迹 通过最小二乘法拟合出反映重心轨迹上升或下降趋势的直线，用直线的斜率来估计摄像机拍摄的仰角或俯角，将行走方向与摄像机光轴的夹角作为侧面方向，两个方向结合即为三维空间中的立体视角方向。根据该三维空间中的立体视角方向计算与该视角方向垂直的法平面，即为目标视角的视角平面，简称目标视角平面。将测量得到的重心轨迹按照帧序号分布在该目标视角平面上，计算出重心轨迹在X,Y,Z轴的坐标，从而得到在该视角平面上三维空间中的重心轨迹方程。 

S31、拟合出反映重心轨迹上升或下降趋势的直线；由于重心轨迹的上升或下降趋势表现为持续性，所以可通过最小二乘法拟合出反映持续趋势的直线，公式如下： 

Gα=d 

α=(α₀,α₁…,α_n)^T

式中，

表示一个函数类，

表示相互线性无关的函数，一般取

G表示格莱姆矩阵，α是直线方程的系数向量，对应的α_n即为直线的斜率，由于该拟合是线性拟合，所以n取1，此时即得到拟合后的直线方程为y=α₀+α₁x。 

S32、根据拟合直线的斜率还原出拍摄的立体视角平面；已知拟合得到的直线斜率为α_n，此时得到实际拍摄过程中因摄像机与拍摄者距离的变化而产生仰角或俯角即为α_n。而视角在水平面的旋转方向则表示为摄像机光轴方向与行走方向的夹角，该夹角只需在拍摄过程中进行记录即可，也可通过原始视频进行估计。此时，根据拟合得到的直线斜率和摄像机光轴方向与行走方向的夹角即可还原出实际拍摄过程中的立体视角。构造三维空间xyoz，将得到的立体视角方向向量置入三维空间中，计算方向向量的法平面，即得到还原后三维空间中的立体视角平面，定义该平面为目标视角的视角平面，简称目标视角平面。假设目标视角平面方程为：Ax+By+Cz+D=0。将计算得到的重心轨迹点序列按照序号均匀分布到目标视角平面上，即将重心轨迹分布到立体空间中，如图3所示。 

S4、三维视角转换； 

按照步骤3方法计算出目标视角平面，同时将步骤3中计算出的重心轨迹方程向目标视角平面投影，得到的投影后的方程即为视角转换后的步态特征，3D视角转换过程如图4所示。该步态特征即可与数据库中存储的步态特征进行匹配，得到识别结果。 

将重心轨迹投影到目标视角平面的具体方法为：首先根据步骤S3中所述方法计算出目标视角平面，然后将现有的重心轨迹方程向目标视角平面进行投影，投影后的重心轨迹即为视角转换后的重心轨迹。投影的公式如下：设已有的重心轨迹方程如下： 

已知目标视角平面方程为： 

Ax+By+Cz+D=0； 

则投影后的重心轨迹方程可表示为： 

y=ψ(t)-BΦ(t), 

z=ω(t)-CΦ(t), 

式中，

由于重心轨迹本身对于视角变化具有较强的鲁棒性，所以即使在视角估算的过程中有偏差，对视角转换后的步态识别并没有太大影响。 

可见，在上述步骤S4的视角转换过程中，将重心轨迹看作空间曲线函数，则重心轨迹在不同视角之间的投影即转换为不同函数曲线之间的转换，由于函数转换是精确的，所以视角的转换也是精确的，避免了视角转换方法在转换过程中带来的特征丢失的问题。 

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。 

Claims (5)

1.一种基于3D投影的跨视角步态识别方法，其特征在于，包括下述步骤：

S1、使用三帧差分法消除原始步态视频中的背景，得到行人的运动图像，并对图像进行二值化处理，得到行人行走的黑白图像；

S2、计算得到运动目标中每一帧图像的重心坐标并在同一坐标系中连接，得到行人的重心轨迹；

S3、根据步骤S2中行人的重心轨迹,采用直线拟合的方法拟合出反映重心轨迹上升或下降趋势的直线，并用该直线的斜率来估计摄像机拍摄的仰角或俯角，同时将行走方向与摄像机光轴的夹角作为侧面方向，两个方向结合即为立体三维空间中的视角方向；

S4、根据上述立体三维空间中的视角方向计算出与该视角方向垂直的视角平面，并将该视角平面称为目标视角平面，将测量得到的重心轨迹按照帧序号分布在所述目标视角平面上，并计算出重心轨迹在X,Y,Z轴的坐标，从而得出重心轨迹映射到目标视角平面上的3D重心轨迹方程；

S5、将上述的3D重心轨迹方程向目标视角平面投影，得到的投影后的方程即为视角转换后的步态特征。

2.根据权利要求1所述的一种基于3D投影的跨视角步态识别方法，其特征在于，在步骤S1中，采用三帧差分法将高斯滤波后的图像转化为运动目标的二值图像，具体计算如下：

$\left\{\begin{array}{c}|I_n\left(x\right)-I_{n-1}\left(x\right)|>T_n\left(x\right)\\ |I_n\left(x\right)-I_{n-2}\left(x\right)|>T_n\left(x\right)\end{array}\right.$

式中：I_n(x)表示第n帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，I_n-1(x)表示第n-1帧图像在像素位置x处的具有统计意义的描述灰度变化的灰度域值，I_n-2(x)表示第n-2帧图像在像素位置x处的灰度域值，T_n(x)则表示第n帧图像灰度变化的阈值；当某像素位置x处的灰度值相对于上一帧和前一帧都有较大变化，即超过阈值时，则认为该点像素属于运动目标，将该点的像素值设置为255，其余的像素值设置为0。

3.根据权利要求1所述的一种基于3D投影的跨视角步态识别方法，其特征在于，在步骤S2中，重心轨迹提取方法如下：

S21、首先通过目标区域像素计算得到每帧图像中人体的重心坐标，计算公式如下：

$x_{w\left(i\right)}=\frac{1}{N}\underset{x_i\∈\mathrm{Area}}{\mathrm{\Σ}}{x}_i$

$y_{w\left(i\right)}=\frac{1}{N}\underset{y_i\∈\mathrm{Area}}{\mathrm{\Σ}}{y}_i$

其中，N为目标区域内像素点数，x_w(i)为人体重心的横坐标值，y_w(i)为人体重心的纵坐标值，x_i为像素点i的横坐标，y_i为像素点i的纵坐标，Area为人体区域；

S22、根据目标高度归一化重心坐标值，具体采用将每帧图像中计算得到的重心坐标值除以当前帧人体高度的方法消除该影响，公式如下：

h=y_max-y_min

${\mathrm{gait}}_2=\frac{{\mathrm{gait}}_1}{h}$

式中，h表示当前帧人体高度，y_max表示人体目标的y坐标最大值，y_min表示人体目标的y坐标最小值，gait₁表示初始得到的重心坐标值，gait₂表示归一化后的重心坐标值，依次求出视频中每帧图像的目标重心并记录；

S23、根据重心计算公式计算测试者的重心位置，计算并实时记录跟踪重心位置的移动轨迹，将运动轨迹波形存储，构建步态波形数据库。

4.根据权利要求1所述的一种基于3D投影的跨视角步态识别方法，其特征在于，在步骤S4中，所述重心轨迹映射到目标视角平面的具体方法如下：

S41、所述的直线拟合的方法选用最小二乘法，拟合出反映所述行人的重心轨迹上升或下降趋势的直线，具体公式如下：

Gα=d

α=(α₀,α₁…,α_n)^T

式中，

表示一个函数类，

表示相互线性无关的函数，一般取

G表示格莱姆矩阵，α是直线方程的系数向量，对应的α_n即为直线的斜率，由于该拟合是线性拟合，所以n取1，此时即得到拟合后的直线方程为y=α₀+α₁x；

S42、已知上述拟合得到的直线斜率α_n，此处α_n即为实际拍摄过程中因摄像机与拍摄者距离的变化而产生仰角或俯角；

S43、而视角在水平面的旋转方向则表示为摄像机光轴方向与行走方向的夹角，该夹角可在拍摄过程中进行记录即可，或通过原始视频进行估计，此时即可根据拟合直线的斜率和摄像机光轴方向与行走方向的夹角还原出实际拍摄过程中的立体视角平面；

S44、构造三维空间XYOZ，将得到的立体视角方向向量置入三维空间中，计算方向向量的法平面，即得到还原后三维空间中的立体视角平面，定义该平面为目标视角平面，然后将行人的重心轨迹的点序列按照序号均匀分布到目标视角平面上，即完成将重心轨迹分布到立体空间中并得到重心轨迹方程。

5.根据权利要求4所述的一种基于3D投影的跨视角步态识别方法，其特征在于，在步骤S5中，将重心轨迹投影到目标视角平面的具体方法为：将重心轨迹方程向目标视角平面进行投影，投影后的重心轨迹即为视角转换后的重心轨迹，设已有的重心轨迹方程如下：

已知目标视角平面方程为：

Ax+By+Cz+D=0；

则投影后的重心轨迹方程可表示为：

y=ψ(t)-BΦ(t),

z=ω(t)-CΦ(t),

式中，

Images