CN110458116B - 基于姿态信息的步态多特征表达和匹配方法 - Google Patents

Abstract

本发明提供一种基于姿态信息的步态多特征表达和匹配方法，包括以下步骤：有肩、无肩姿态能量图提取、时变姿态特征及其二维频谱提取、基于MvDA降维矩阵的训练、自适应匹配得分计算及识别结果预测。主要从以下三个方面提高行走状态改变时步态识别的鲁棒性，其一：提取的无肩姿态能量图，通过忽略服装变化导致人体肩膀宽度的差异，只考虑胳膊和腿部摆动等特征，有助于提高穿衣变化的识别结果。其二：提取时变姿态特征的二维频谱特征，不仅考虑同一特征不同时刻的频谱，还考虑同一时刻不同特征的频谱，有助于提取人体关节之间的关联性；其三：采用自适应加权匹配得分计算的方法，有效地提高了背包和服装改变两种行走状态下步态识别的鲁棒性。

Description

基于姿态信息的步态多特征表达和匹配方法

技术领域

本发明涉及步态的姿态匹配技术领域，具体而言，尤其涉及基于姿态信息的步态多特征表达和匹配方法。

背景技术

基于视频序列的步态识别大致分为两种：基于模型的方法和无模型的方法；

1)无模型的方法：通常将一个周期内的步态侧影图求和取平均得到步态能量图，包括基于步态能量图延伸出的步态差分熵图像，以及将步态轮廓序列组成一个独立的步态集合的方法等；

2)基于模型的方法：通过提取与预先设定的人体模型相匹配的特征，用来减少人体外观变化的影响。最早如钟摆模型，“五连杆双足”等人体运动模型。近几年提出基于Kinect传感器得到的人体姿态关键点信息，提取胳膊、腿部等的角度、距离等特征。

3)深度学习被广泛应用于基于无模型的步态识别和基于模型的步态识别领域中，并取得了很大的进展。

目前步态识别存在的问题是：通过人体轮廓进行步态识别，对轮廓的质量和背景噪音较敏感，如受步态拍摄视频的光照条件、以及背景等影响，导致提取的步态轮廓不完整。基于非模型的步态表达方法，当行走状态发生改变，如：服装改变和携带包裹等，均会影响步态侧影图的形状特征，增加整个识别过程的难度，降低识别的准确性；且基于模型的步态识别根据先验知识预定义的人体模型提取特征点的难点是难以从步态序列中标记人体的关键点坐标，鲁棒性较差。

发明内容

根据上述提出的技术问题，而提供一种基于姿态信息的步态多特征表达和匹配方法。本发明主要利用基于姿态信息的步态多特征表达和匹配方法，其特征在于，包括以下步骤：

步骤S1：基于姿态信息的步态多特征表达；所述步骤S1还包括：S11：无肩姿态能量图特征表达；S12：时变姿态特征表达；

所述步骤S11还包括以下步骤：

步骤S111：通过姿态估计方法从步态视频序列中获取到人体的25个关键点坐标；

步骤S112：对所述关键点坐标进行坐标变换；

将右肩RShoulder，右肘RElbow，右手腕RWrist和左肩LShoulder，左肘LElbow，左手腕LWrist的坐标均向以Neck和MidHip之间的连线为轴移动肩膀宽度一半的距离；

设RShoulder坐标为(x_RShoulder,y_RShoulder)，LShoulder坐标为(x_LShoulder,y_LShoulder)，Neck坐标为(x_Neck,y_Neck)，RElbow坐标为(x_RElbow,y_RElbow)，LElbow坐标为(x_LElbow,y_LElbow)，RWrist坐标为(x_RWrist,y_RWrist)，LWrist坐标为(x_LWrist,y_LWrist)；

在不考虑人体肩膀宽度的姿态关键点的坐标变换：RShoulder坐标变为(x'_RShoulder,y'_RShoulder)，LShoulder坐标变为(x'_LShoulder,y'_LShoulder)，RElbow的坐标变为(x'_RElbow,y'_RElbow)，LElbow坐标变为(x'_LElbow,y'_LElbow)，RWrist坐标变为(x'_RWrist,y'_RWrist)，LWrist坐标变为(x'_LWrist,y'_LWrist)；其它关键点坐标保持不变；

步骤S113：构建无肩姿态能量图；以线宽为4个像素，颜色为白色直线，背景为黑色的格式连接成姿态的二值图，对于没有检测到的关键点，用线性插值求得，找到姿态二值图的最小外接矩，然后保证高宽比为16/11的情况下，以姿态二值图的MidHip为中心，规格化为128×88；

将所述步态视频序列中所有有效帧的无肩姿态二值图相加求平均得到无肩姿态能量图，所述无肩姿态能量图为：

其中f₂(x,y)表示无肩姿态能量图，P_t(x,y)表示第t帧的无肩姿态二值图，x和y分别为无肩姿态图的空间坐标，N表示步态序列的长度；

步骤S114：姿态能量图的非线性激活；

将有肩姿态能量图和所述无肩姿态能量图分别经过非线性激活函数增强图像的对比度：

g₁(x,y)＝f₁(x,y)^0.4；

g₂(x,y)＝f₂(x,y)^0.4；

其中，f₁(x,y)表示有肩姿态能量图的原始图像，f₂(x,y)表示无肩姿态能量图的原始图像，且0≤f₁(x,y)≤1，0≤f₂(x,y)≤1，g₁(x,y)为有肩姿态能量图经过非线性激活后的图像，g₂(x,y)为无肩姿态能量图经过非线性激活后的图像，x和y分别为姿态能量图的空间坐标。

进一步地，所述S12还包括以下步骤：

步骤S121：时态姿态特征的提取；

设RShoulder坐标为A₁(x_RShoulder,y_RShoulder)，LShoulder坐标为A₂(x_LShoulder,y_LShoulder)，RElbow坐标为B₁(x_RElbow,y_RElbow)，LElbow坐标为B₂(x_LElbow,y_LElbow)，RWrist坐标为C₁(x_RWrist,y_RWrist)，LWrist坐标为C₂(x_LWrist,y_LWrist)，某一时刻i的特征θ_i ⁽¹⁾，θ_i ⁽²⁾，θ_i ⁽³⁾的定义如下，其中i＝1,2,...,n，n表示步态序列的长度：

步态序列胳膊的角度特征为

设RHip坐标为M₁(x_RHip,y_RHip)，LHip坐标为M₂(x_LHip,y_LHip)，RKnee坐标为N₁(x_RKnee,y_RKnee)，LKnee坐标为N₂(x_LKnee,y_LKnee)，RAnkle坐标为K₁(x_RAnkle,y_RAnkle)，LAnkle坐标为K₂(x_LAnkle,y_LAnkle)，MidHip的坐标为

某一时刻i的特征

为：

步态序列腿部的角度特征为

某一时刻i的腿部摆动的距离特征D_i ⁽¹⁾，D_i ⁽²⁾，D_i ⁽³⁾为：

步态序列腿部摆动的距离为

某一时刻i的膝盖和脚抬起的高度特征H_i ⁽¹⁾，H_i ⁽²⁾为：

H_i ⁽¹⁾＝|y_LAnkle|；

H_i ⁽²⁾＝|y_RAnkle|；

步态序列膝盖、脚部抬起的高度特征为：

设MidHip坐标为G(x_MidHip,y_MidHip)，RAnkle坐标为E₁(x_RAnkle,y_RAnkle)，LAnkle坐标为F₁(x_LAnkle,y_LAnkle)，RKnee坐标为E₂(x_RKnee,y_RKnee)，LKnee坐标为F₂(x_LKnee,y_LKnee)，某一时刻i的面积特征S_i ⁽¹⁾，S_i ⁽²⁾为：

步态序列上肢、下肢的面积特征定义为：

步骤S122：时变姿态特征的预处理；

步骤S123：提取时变姿态特征的频谱；

将所述θ,β,D,H,S特征分别经过二维傅里叶变换，取傅里叶变换频谱的幅值，分别记为θ^*,β^*,D^*,H^*,S^*，频谱特征的矩阵化表示为：

步骤S124：提取时变姿态特特征和频谱的统计特征；提取所述时变特征f₃和所述特征频谱f₄的均值、标准差和四分位距：

M₁＝mean(f₃)

M₂＝mean(f₄)

T₁＝std(f₃)

T₂＝std(f₄)

Q₁＝f₃(Q₃)-f₃(Q₁)

Q₂＝f₄(Q₃)-f₄(Q₁)；

其中n为特征向量的长度，Q₃表示特征向量长度的3/4位置，Q₁表示特征向量长度的1/4位置处；

为均值矩阵，

为标准差矩阵，

为四分位距矩阵，将均值、标准差和四分位距矩阵化为：

步骤S125：时变姿态特征、特征频谱和姿态的统计特征相融合；

将所述时变姿态特征f₃、所述姿态特征的频谱f₄以及所述姿态的统计特征f₅采用直接拼接的方式表示为一个二维矩阵的形式，最后重构融合特征矩阵F₃，F₃如下定义，其行代表了样本特征，列代表了特征维度：

进一步地，步态特征的投影矩阵训练过程，将所述有肩姿态能量图、无肩姿态能量图和时变姿态融合特征分别经过多视角判别分析即Multi-view Discriminant Analysis，MvDA方法训练投影矩阵W₁,W₂,W₃，并且将训练得到的投影矩阵保存到投影矩阵数据库中。

更进一步地，所述方法还包含步骤S2：基于姿态信息的步态识别；

所述步骤S2还包含以下步骤：

步骤S21：将待识别步态序列通过预处理得到步态的多特征表达，分别为有肩姿态能量图：记为F₁，无肩姿态能量图：记为F₂，时变姿态特征：记为F₃；

步骤S22：将所述F₁、F₂、F₃三种步态特征分别经过预先训练好的MvDA降维矩阵W₁,W₂,W₃投影到低维线性子空间中；

步骤S23：在低维线性子空间中，分别计算待识别步态序列的F₁,F₂,F₃特征和数据库中相同特征数据的余弦相似度：s₁,s₂,s₃；

步骤S24：将三种特征的余弦相似度s₁,s₂,s₃以四组不同的权重系数加权融合：

其中ω_ij(i＝1,2,3,4；j＝1,2,3)表示融合权重系数，且满足

步骤S25：求不同权重系数加权融合得到的score₁，score₂，score₃，score₄中的最大值作为匹配得分Score：

Score＝max(score₁,score₂,score₃,score₄)

步骤S26：最后将匹配得分Score序列降序排列，取得分中排名第一对应的标签判定为最终的识别结果。

更进一步地，所述步骤S122还包括以下步骤：

步骤S1221：删除满足样本特征点减去样本均值大于3倍样本方差的异常点；

步骤S1222：用中值滤波滤除噪声；

步骤S1223：由于D,H,S特征受拍摄步态视频距离的影响，因此将特征D,H,S减去各自特征曲线的平均值以及线性趋势，使得特征沿着零均值附近震荡；

步骤S1224：选择距离特征中D³即D⁽³⁾离散信号曲线所有波峰中对应横坐标最大的位置作为终止点，向前移动45个采样点的位置作为起始点，记录起始点和终止点的横坐标；

步骤S1225：将所有步态特征θ,β,D,H,S根据起始点和终止点的位置抽样出来，最后所有抽样得到的特征经过线性插值得到50个采样点，并且将特征归一化到[0,1]之间。

步骤S1226：将预处理以及相同采样点的姿态特征表示为一个二维矩阵，记为f₃，其中：

较现有技术相比，本发明具有以下优点：

本发明由于采取以上技术方案，其具有以下优点：

(1)由于本发明采用的是人体的姿态关键点信息，因此提取的姿态能量图在考虑人体轮廓的基础上，不受携带包裹的影响。

(2)当行走状态发生改变，如服装改变，可能造成相同的人，外表形状轮廓的差异，在穿衣状态下的有肩姿态能量图比正常状态下的有肩姿态能量图明显比较宽，因此本发明提取的一种新型的基于姿态关键点的无肩姿态能量图，通过忽略人体上半部分肩膀宽度的特征，如由于衣服变换导致的外观胖瘦，只考虑胳膊和腿部摆动的幅度等特征，有助于提高穿衣状态下的步态识别的鲁棒性。

(3)考虑动态信息的时变姿态特征，从统计特征的角度评估人在行走时的胳膊摆动的角度、距离等特征，将提取的所有姿态特征视为一个二维矩阵，通过二维傅里叶变换，从空域映射到频域上，本发明不仅考虑同一特征不同时刻水平方向的频谱特征，还考虑不同特征同一时刻之间的竖直方向的频谱特征，这样可以直观的观察不同特征之间的关联。

(4)在行走状态改变中，有肩姿态能量图侧重解决携带包裹的影响因素，无肩姿态能量图侧重解决服装改变的影响因素，因此在相似度加权融合过程中本发明采用自适应的匹配得分计算的方法，有效的提高了两种行走状态下步态识别的鲁棒性。

(5)一般情况下人在行走时的姿态信息不受外界因素的影响，基于姿态信息的步态识别方法，通过人体的姿态特征，弥补了当行走状态改变时基于外观模型步态能量图方法的缺陷，增强了步态识别的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明有肩姿态能量图的提取过程，其中图1-1表示有肩膀的人体关键点示意图，图1-2表示原始有肩姿态二值图，图1-3表示规格化为128×88大小的有肩姿态二值图，图1-4表示有肩姿态能量图；

图2为本发明两种状态下的有肩姿态能量图，图2-1表示正常状态，图2-2表示穿衣状态；

图3为本发明无肩姿态能量图的提取过程，图3-1表示无肩膀的人体关键点示意图，图3-2表示原始无肩姿态二值图，图3-3表示规格化为128×88大小的无肩姿态二值图，图3-4表示无肩姿态能量图；

图4为人体部分的结构示意图，图4-1表示人体上部分结构示意图，图4-2、图4-3均表示人体下部分结构示意图。

图5为本发明特征D_i ³曲线的零均值化的过程，图5-1表示原始特征D_i ³的曲线，图5-2表示去掉线性趋势后的D_i ³特征曲线

图6为本发明时变姿态特征点的采样过程，图6-1表示起始点和终止点的选择过程，图6-2表示原始特征曲线，图6-3表示根据起始点和终止点采样之后的特征曲线。

图7为本发明基于有肩姿态能量图、无肩姿态能量图和时变姿态特征的模型训练过程

图8为本发明基于有肩姿态能量图、无肩姿态能量图和时变姿态特征的在线识别过程。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1-8所示，基于姿态信息的步态多特征表达和匹配方法，包括以下步骤：

步骤S1：基于姿态信息的步态多特征表达；所述步骤S1还包括：S11：无肩姿态能量图特征表达；S12：时变姿态特征表达；

所述步骤S11还包括以下步骤：

步骤S111：通过姿态估计方法从步态视频序列中获取到人体的25个关键点坐标；

步骤S112：对所述关键点坐标进行坐标变换；

将右肩RShoulder，右肘RElbow，右手腕RWrist和左肩LShoulder，左肘LElbow，左手腕LWrist的坐标均向以Neck和MidHip之间的连线为轴移动肩膀宽度一半的距离；

设RShoulder坐标为(x_RShoulder,y_RShoulder)，LShoulder坐标为(x_LShoulder,y_LShoulder)，Neck坐标为(x_Neck,y_Neck)，RElbow坐标为(x_RElbow,y_RElbow)，LElbow坐标为(x_LElbow,y_LElbow)，RWrist坐标为(x_RWrist,y_RWrist)，LWrist坐标为(x_LWrist,y_LWrist)；

在不考虑人体肩膀宽度的姿态关键点的坐标变换：RShoulder坐标变为(x'_RShoulder,y'_RShoulder)，LShoulder坐标变为(x'_LShoulder,y'_LShoulder)，RElbow的坐标变为(x'_RElbow,y'_RElbow)，LElbow坐标变为(x'_LElbow,y'_LElbow)，RWrist坐标变为(x'_RWrist,y'_RWrist)，LWrist坐标变为(x'_LWrist,y'_LWrist)；其它关键点坐标保持不变；

步骤S113：构建无肩姿态能量图；以线宽为4个像素，颜色为白色直线，背景为黑色的格式连接成姿态的二值图，对于没有检测到的关键点，用线性插值求得，找到姿态二值图的最小外接矩，然后保证高宽比为16/11的情况下，以姿态二值图的MidHip为中心，规格化为128×88；

将所述步态视频序列中所有有效帧的无肩姿态二值图相加求平均得到无肩姿态能量图，所述无肩姿态能量图为：

其中f₂(x,y)表示无肩姿态能量图，P_t(x,y)表示第t帧的无肩姿态二值图，x和y分别为无肩姿态图的空间坐标，N表示步态序列的长度；

步骤S114：姿态能量图的非线性激活；

将有肩姿态能量图和所述无肩姿态能量图分别经过非线性激活函数增强图像的对比度：

g₁(x,y)＝f₁(x,y)^0.4；

g₂(x,y)＝f₂(x,y)^0.4；

其中，f₁(x,y)表示有肩姿态能量图的原始图像，f₂(x,y)表示无肩姿态能量图的原始图像，且0≤f₁(x,y)≤1，0≤f₂(x,y)≤1，g₁(x,y)为有肩姿态能量图经过非线性激活后的图像，g₂(x,y)为无肩姿态能量图经过非线性激活后的图像，x和y分别为姿态能量图的空间坐标。

作为一种优选的实施方式，所述S12还包括以下步骤：

步骤S121：时态姿态特征的提取；

设RShoulder坐标为A₁(x_RShoulder,y_RShoulder)，LShoulder坐标为A₂(x_LShoulder,y_LShoulder)，RElbow坐标为B₁(x_RElbow,y_RElbow)，LElbow坐标为B₂(x_LElbow,y_LElbow)，RWrist坐标为C₁(x_RWrist,y_RWrist)，LWrist坐标为C₂(x_LWrist,y_LWrist)，某一时刻i的特征θ_i ⁽¹⁾，θ_i ⁽²⁾，θ_i ⁽³⁾的定义如下，其中i＝1,2,...,n，n表示步态序列的长度：

步态序列胳膊的角度特征为

设RHip坐标为M₁(x_RHip,y_RHip)，LHip坐标为M₂(x_LHip,y_LHip)，RKnee坐标为N₁(x_RKnee,y_RKnee)，LKnee坐标为N₂(x_LKnee,y_LKnee)，RAnkle坐标为K₁(x_RAnkle,y_RAnkle)，LAnkle坐标为K₂(x_LAnkle,y_LAnkle)，MidHip的坐标为

某一时刻i的特征

为：

步态序列腿部的角度特征为

某一时刻i的腿部摆动的距离特征D_i ⁽¹⁾，D_i ⁽²⁾，D_i ⁽³⁾为：

步态序列腿部摆动的距离为

某一时刻i的膝盖和脚抬起的高度特征H_i ⁽¹⁾，H_i ⁽²⁾为：

H_i ⁽¹⁾＝|y_LAnkle|；

H_i ⁽²⁾＝|y_RAnkle|；

步态序列膝盖、脚部抬起的高度特征为：

设MidHip坐标为G(x_MidHip,y_MidHip)，RAnkle坐标为E₁(x_RAnkle,y_RAnkle)，LAnkle坐标为F₁(x_LAnkle,y_LAnkle)，RKnee坐标为E₂(x_RKnee,y_RKnee)，LKnee坐标为F₂(x_LKnee,y_LKnee)，某一时刻i的面积特征S_i ⁽¹⁾，S_i ⁽²⁾为：

步态序列上肢、下肢的面积特征定义为：

步骤S122：时变姿态特征的预处理；

步骤S123：提取时变姿态特征的频谱；

将所述θ,β,D,H,S特征分别经过二维傅里叶变换，取傅里叶变换频谱的幅值，分别记为θ^*,β^*,D^*,H^*,S^*，频谱特征的矩阵化表示为：

步骤S124：提取时变姿态特特征和频谱的统计特征；提取所述时变特征f₃和所述特征频谱f₄的均值、标准差和四分位距：

M₁＝mean(f₃)

M₂＝mean(f₄)

T₁＝std(f₃)

T₂＝std(f₄)

Q₁＝f₃(Q₃)-f₃(Q₁)

Q₂＝f₄(Q₃)-f₄(Q₁)；

其中n为特征向量的长度，Q₃表示特征向量长度的3/4位置，Q₁表示特征向量长度的1/4位置处；

为均值矩阵，

为标准差矩阵，

为四分位距矩阵，将均值、标准差和四分位距矩阵化为：

步骤S125：时变姿态特征、特征频谱和姿态的统计特征相融合；

将所述时变姿态特征f₃、所述姿态特征的频谱f₄以及所述姿态的统计特征f₅采用直接拼接的方式表示为一个二维矩阵的形式，最后重构融合特征矩阵F₃，F₃如下定义，其行代表了样本特征，列代表了特征维度：

在本申请中，作为优选的实施方式，步态特征的投影矩阵训练过程，将所述有肩姿态能量图、无肩姿态能量图和时变姿态融合特征分别经过多视角判别分析即Multi-viewDiscriminant Analysis，MvDA方法训练投影矩阵W₁,W₂,W₃，并且将训练得到的投影矩阵保存到投影矩阵数据库中。

作为优选的实施方式，所述方法还包含步骤S2：基于姿态信息的步态识别；

所述步骤S2还包含以下步骤：

步骤S21：将待识别步态序列通过预处理得到步态的多特征表达，分别为有肩姿态能量图：记为F₁，无肩姿态能量图：记为F₂，时变姿态特征：记为F₃；

步骤S22：将所述F₁、F₂、F₃三种步态特征分别经过预先训练好的MvDA降维矩阵W₁,W₂,W₃投影到低维线性子空间中；

步骤S23：在低维线性子空间中，分别计算待识别步态序列的F₁,F₂,F₃特征和数据库中相同特征数据的余弦相似度：s₁,s₂,s₃；

步骤S24：将三种特征的余弦相似度s₁,s₂,s₃以四组不同的权重系数加权融合：

其中ω_ij(i＝1,2,3,4；j＝1,2,3)表示融合权重系数，且满足

步骤S25：求不同权重系数加权融合得到的score₁，score₂，score₃，score₄中的最大值作为匹配得分Score：

Score＝max(score₁,score₂,score₃,score₄)

步骤S26：最后将匹配得分Score序列降序排列，取得分中排名第一对应的标签判定为最终的识别结果。

更进一步地，所述步骤S122还包括以下步骤：

步骤S1221：删除满足样本特征点减去样本均值大于3倍样本方差的异常点；

步骤S1222：用中值滤波滤除噪声；

步骤S1223：由于D,H,S特征受拍摄步态视频距离的影响，因此将特征D,H,S减去各自特征曲线的平均值以及线性趋势，使得特征沿着零均值附近震荡；

步骤S1224：选择距离特征中D³即D⁽³⁾离散信号曲线所有波峰中对应横坐标最大的位置作为终止点，向前移动45个采样点的位置作为起始点，记录起始点和终止点的横坐标；

步骤S1225：将所有步态特征θ,β,D,H,S根据起始点和终止点的位置抽样出来，最后所有抽样得到的特征经过线性插值得到50个采样点，并且将特征归一化到[0,1]之间。

步骤S1226：将预处理以及相同采样点的姿态特征表示为一个二维矩阵，记为f₃，其中：

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.基于姿态信息的步态多特征表达和匹配方法，其特征在于，包括以下步骤：

S1：基于姿态信息的步态多特征表达；所述步骤S1还包括：S11：无肩姿态能量图特征表达；S12：时变姿态特征表达；

所述S11还包括以下步骤：

S111：通过姿态估计方法从步态视频序列中获取到人体的25个关键点坐标；

S112：对所述关键点坐标进行坐标变换；

将右肩RShoulder，右肘RElbow，右手腕RWrist和左肩LShoulder，左肘LElbow，左手腕LWrist的坐标均向以Neck和MidHip之间的连线为轴移动肩膀宽度一半的距离；

设RShoulder坐标为(x_RShoulder,y_RShoulder)，LShoulder坐标为(x_LShoulder,y_LShoulder)，Neck坐标为(x_Neck,y_Neck)，RElbow坐标为(x_RElbow,y_RElbow)，LElbow坐标为(x_LElbow,y_LElbow)，RWrist坐标为(x_RWrist,y_RWrist)，LWrist坐标为(x_LWrist,y_LWrist)；

在不考虑人体肩膀宽度的姿态关键点的坐标变换：RShoulder坐标变为(x'_RShoulder,y'_RShoulder)，LShoulder坐标变为(x'_LShoulder,y'_LShoulder)，RElbow的坐标变为(x'_RElbow,y'_RElbow)，LElbow坐标变为(x'_LElbo,wy'_LEwl)_b，RWrist坐标变为(x'_RWrist,y'_RWrist)，LWrist坐标变为(x'_LWrist,y'_LWrist)；其它关键点坐标保持不变；

S113：构建无肩姿态能量图；以线宽为4个像素，颜色为白色直线，背景为黑色的格式连接成姿态的二值图，对于没有检测到的关键点，用线性插值求得，找到姿态二值图的最小外接矩，然后保证高宽比为16/11的情况下，以姿态二值图的MidHip为中心，规格化为128×88；

将所述步态视频序列中所有有效帧的无肩姿态二值图相加求平均得到无肩姿态能量图，所述无肩姿态能量图为：

其中f₂(x,y)表示无肩姿态能量图，P_t(x,y)表示第t帧的无肩姿态二值图，x和y分别为无肩姿态图的空间坐标，N表示步态序列的长度；

S114：姿态能量图的非线性激活；

将有肩姿态能量图和所述无肩姿态能量图分别经过非线性激活函数增强图像的对比度：

g₁(x,y)＝f₁(x,y)^0.4；

g₂(x,y)＝f₂(x,y)^0.4；

其中，f₁(x,y)表示有肩姿态能量图的原始图像，f₂(x,y)表示无肩姿态能量图的原始图像，且0≤f₁(x,y)≤1，0≤f₂(x,y)≤1，g₁(x,y)为有肩姿态能量图经过非线性激活后的图像，g₂(x,y)为无肩姿态能量图经过非线性激活后的图像，x和y分别为姿态能量图的空间坐标；

所述S12还包括以下步骤：

S121：时态姿态特征的提取；

设RShoulder坐标为A₁(x_RShoulder,y_RShoulder)，LShoulder坐标为A₂(x_LShoulder,y_LShoulder)，RElbow坐标为B₁(x_RElbow,y_RElbow)，LElbow坐标为B₂(x_LElbow,y_LElbow)，RWrist坐标为C₁(x_RWrist,y_RWrist)，LWrist坐标为C₂(x_LWrist,y_LWrist)，某一时刻i的特征θ_i ⁽¹⁾，θ_i ⁽²⁾，θ_i ⁽³⁾的定义如下，其中i＝1,2,...,n，n表示步态序列的长度：

步态序列胳膊的角度特征为

设RHip坐标为M₁(x_RHip,y_RHip)，LHip坐标为M₂(x_LHip,y_LHip)，RKnee坐标为N₁(x_RKnee,y_RKnee)，LKnee坐标为N₂(x_LKnee,y_LKnee)，RAnkle坐标为K₁(x_RAnkle,y_RAnkle)，LAnkle坐标为K₂(x_LAnkle,y_LAnkle)，MidHip的坐标为G(x_MidHip,y_MidHip)，某一时刻i的特征

为：

步态序列腿部的角度特征为

某一时刻i的腿部摆动的距离特征D_i ⁽¹⁾，D_i ⁽²⁾，D_i ⁽³⁾为：

步态序列腿部摆动的距离为

某一时刻i的膝盖和脚抬起的高度特征H_i ⁽¹⁾，H_i ⁽²⁾为：

步态序列膝盖、脚部抬起的高度特征为：

设MidHip坐标为G(x_MidHip,y_MidHip)，RAnkle坐标为E₁(x_RAnkle,y_RAnkle)，LAnkle坐标为F₁(x_LAnkle,y_LAnkle)，RKnee坐标为E₂(x_RKnee,y_RKnee)，LKnee坐标为F₂(x_LKnee,y_LKnee)，某一时刻i的面积特征S_i ⁽¹⁾，S_i ⁽²⁾为：

步态序列上肢、下肢的面积特征定义为：

S122：时变姿态特征的预处理；

S123：提取时变姿态特征的频谱；

将所述θ,β,D,H,S特征分别经过二维傅里叶变换，取傅里叶变换频谱的幅值，分别记为θ^*,β^*,D^*,H^*,S^*，频谱特征的矩阵化表示为：

S124：提取时变姿态特特征和频谱的统计特征；提取时变特征f₃和特征频谱f₄的均值、标准差和四分位距：

M₁＝mean(f₃)

M₂＝mean(f₄)

T₁＝std(f₃)

T₂＝std(f₄)

Q₁＝f₃(Q₃)-f₃(Q₁)

Q₂＝f₄(Q₃)-f₄(Q₁)；

其中n为特征向量的长度，Q₃表示特征向量长度的3/4位置，Q₁表示特征向量长度的1/4位置处；

为均值矩阵，

为标准差矩阵，

为四分位距矩阵，将均值、标准差和四分位距矩阵化为：

S125：时变姿态特征、特征频谱和姿态的统计特征相融合；

将所述时变姿态特征f₃、所述姿态特征的频谱f₄以及所述姿态的统计特征f₅采用直接拼接的方式表示为一个二维矩阵的形式，最后重构融合特征矩阵F₃，F₃如下定义，其行代表了样本特征，列代表了特征维度：

2.根据权利要求1所述的基于姿态信息的步态多特征表达和匹配方法，其特征还在于：步态特征的投影矩阵训练过程，将所述有肩姿态能量图、无肩姿态能量图和时变姿态融合特征分别经过多视角判别分析即Multi-view Discriminant Analysis，MvDA方法训练投影矩阵W₁,W₂,W₃，并且将训练得到的投影矩阵保存到投影矩阵数据库中。

3.根据权利要求1所述的基于姿态信息的步态多特征表达和匹配方法，其特征还在于：所述方法还包含步骤S2：基于姿态信息的步态识别；

所述步骤S2还包含以下步骤：

S21：将待识别步态序列通过预处理得到步态的多特征表达，分别为有肩姿态能量图：记为F₁，无肩姿态能量图：记为F₂，时变姿态特征：记为F₃；

S22：将所述F₁、F₂、F₃三种步态特征分别经过预先训练好的MvDA降维矩阵W₁,W₂,W₃投影到低维线性子空间中；

S23：在低维线性子空间中，分别计算待识别步态序列的F₁,F₂,F₃特征和数据库中相同特征数据的余弦相似度：s₁,s₂,s₃；

S24：将三种特征的余弦相似度s₁,s₂,s₃以四组不同的权重系数加权融合：

其中ω_ij(i＝1,2,3,4；j＝1,2,3)表示融合权重系数，且满足

S25：求不同权重系数加权融合得到的score₁，score₂，score₃，score₄中的最大值作为匹配得分Score：

Score＝max(score₁,score₂,score₃,score₄)

S26：最后将匹配得分Score序列降序排列，取得分中排名第一对应的标签判定为最终的识别结果。

4.根据权利要求1所述的基于姿态信息的步态多特征表达和匹配方法，其特征还在于：所述步骤S122还包括以下步骤：

S1221：删除满足样本特征点减去样本均值大于3倍样本方差的异常点；

S1222：用中值滤波滤除噪声；

S1223：由于D,H,S特征受拍摄步态视频距离的影响，因此将特征D,H,S减去各自特征曲线的平均值以及线性趋势，使得特征沿着零均值附近震荡；

S1224：选择距离特征中D³即D⁽³⁾离散信号曲线所有波峰中对应横坐标最大的位置作为终止点，向前移动45个采样点的位置作为起始点，记录起始点和终止点的横坐标；

S1225：将所有步态特征θ,β,D,H,S根据起始点和终止点的位置抽样出来，最后所有抽样得到的特征经过线性插值得到50个采样点，并且将特征归一化到[0,1]之间；

S1226：将预处理以及相同采样点的姿态特征表示为一个二维矩阵，记为f₃，其中：

Images