CN112396014B - 基于特征融合的视触融合步态识别方法 - Google Patents

Abstract

本发明为基于特征融合的视触融合步态识别方法，该识别方法包括以下内容：获取视觉数据和触觉数据；根据双脚运动情况与对应压力的耦合关系，对视觉和触觉的数据进行时间上的统一；触觉根据足底压力值为0和视觉依据脚跟着地和脚尖离地情况来划分步态周期，提取同一个步态周期的视觉和触觉特征；将视觉和触觉的时间配准，时间配准后，获得同一时间片内的视觉和触觉数据；采用三次拉格朗日插值法将触觉数据填充：数据填充后，则挑选所有分割点对应的视觉特征和触觉特征数据，将二者整合在一起，形成视触融合特征F，完成特征融合；将融合后的视触融合特征F输入到分类器中，实现步态识别。该方法能提高步态识别的识别精度。

Description

基于特征融合的视触融合步态识别方法

技术领域

本发明涉及步态识别技术领域，具体是一种基于特征融合的视触融合的步态识别方法。

背景技术

生物特征识别是一种基于人的生理或者行为特征进行识别或验证的技术。其中步态识别是一种新兴的生物特征识别技术，可根据人的行走姿势进行个体识别。与其他生物特征识别(指纹、人脸、虹膜等)相比，步态识别具有远距离、非接触性、非侵入性等显著优势。因此，步态识别在监控、门禁、刑事侦查等领域得到广泛关注。

基于视觉的步态特征都是以人体轮廓图进行扩展研究，虽然包含了大量的步态信息，但是并没有嵌入任何的运动或者动力学信息；在医学上面将步态足底压力数据提取出来进行病情分析，足底压力分析准确，但能提取的特征比较少。步态的单一特征，不能保证识别的准确性。为了保证步态识别高的唯一性，会采用多特征识别。但如何将不同的人体特征进行融合以及分类识别成为了难以解决的问题。文献《基于视触觉多特征融合的步态识别方法研究》以人体单个下肢为研究对象，选择下肢关节角和足底压力极值作为特征数据，通过BP神经网络进行特征融合，其识别的准确率有待提高。

如何能将视觉特征与触觉特征有效融合一步提高步态识别的准确率，达到更高的唯一性，成为待解决的问题。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是如何将视觉特征与触觉特征进行多特征融合，使步态识别的识别精度更高。

本发明解决所述技术问题采用的技术方案是，提供一种基于特征融合的视触融合步态识别方法，该识别方法包括以下内容：

获取视觉数据和触觉数据；

提取同一步态周期的视觉和触觉数据：根据双脚运动情况与对应压力的耦合关系，对视觉和触觉的数据进行时间上的统一；触觉根据足底压力值为0和视觉依据脚跟着地和脚尖离地情况来划分步态周期；提取同一个步态周期的视觉和触觉特征，并记录同一步态周期下视觉数据和触觉数据，视觉数据包括总帧数i、所有帧人体行走水平方向的位移、划分步态周期时各分割点时刻、所有帧的人体的各个关节角；触觉数据包括步态周期开始时间t₀、一个周期内所采集到触觉数据点的总数j、每个数据点的足底总压力值；

将视觉和触觉的时间配准：即将两种数据的一个周期的时间点进行对齐，假设视觉一个周期中共有i帧，步态周期为T₁，视觉传感器的采集周期为δ₁；触觉一个周期共采集到j组数据，时间为T₂，触觉传感器的采集周期为δ₂，开始采集时间为t₀；

视觉和触觉的周期差为t，则

t＝|T₁-T₂|＝|iδ₁-jδ₂|

若将触觉中j组数据，每组平均变化Δt能使视觉和触觉的时间配准则

触觉第m组数据对应的时刻为t₀，其中0≤n≤j,那么第m+n组数据对应时刻t_n为

时间配准后，获得同一时间片内的视觉和触觉数据；

采用三次拉格朗日插值法将触觉数据填充：

将同一时间片内的视觉和触觉数据按时间进行增序排序，然后将触觉数据分别向视觉时间点内插、外推，以形成一系列和视觉数据相同时间间隔的触觉数据；在触觉数据中按照时间p进行等间隔划分，则t_p-1、t_p、t_p+1时刻对应的触觉数据为α_p-1、α_p、α_p+1，则运用拉格朗日三次插值法计算插值点t_x时刻的触觉数据α_x为

数据填充后，则挑选所有分割点对应的视觉特征和触觉特征数据，将二者整合在一起，形成视触融合特征F，完成特征融合；

将融合后的视触融合特征F输入到分类器中，实现步态识别。

所述视觉特征包括人体下半身的八个关节角和分割点相对周期开始时刻过程中的人体行走水平方向的位移s；八个关节角分别记为关节角1、关节角2、关节角3、关节角4、关节角5、关节角6、关节角7、关节角8；关节角1是骨盆中心与右髋关节连线l₁与垂直方向的夹角θ₁；关节角2是右髋关节与右膝关节连线l₂与垂直方向的夹角θ₂；关节角3是右膝关节与右踝关节连线l₃与垂直方向的夹角θ₃；关节角4是右踝关节与右足中点连线l₄与垂直方向的夹角θ₄；关节角5是骨盆中心与左髋关节连线l₅与垂直方向的夹角θ₅；关节角6是左髋关节与左膝关节连线l₆与垂直方向的夹角θ₆；关节角7是左膝关节与左踝关节连线l₇与垂直方向的夹角θ₇；关节角8是左踝关节与左足中点连线l₈与垂直方向的夹θ₈；触觉特征包括足底总压力N；视触融合特征F中包括各个分割点处对应的上述各特征。

所述分割点分别为a、b、c、d、e，这五个特殊点在压力曲线中的压力值都为0；视觉得到五个特殊时刻图像，a帧左脚尖离地、b帧左脚跟着地、c帧右脚尖离地、d帧右脚跟着地、e帧左脚尖离地；则视触融合特征F表达式为：

式中，上标表示分割点，t^a是分割点a的时间值，

是b时刻的关节角1的值；s^a为分割点a处对应的人体行走水平位移，s^a＝s₀，s0为分割点a后一帧到分割点a时刻的人体行走水平方向位移；s^b表示由分割点a到分割点b过程中的人体行走水平方向位移，用

表示，s_q＝x^a+q+1-x^a+q，x^a+q+1为a+q+1帧的骨盆x像素坐标，x^a+q为a+q帧的骨盆x像素坐标；同理，s^c为分割点a到分割点c过程中的人体行走水平方向位移，s^d为分割点a到分割点d过程中的人体行走水平方向位移，s^e为分割点a到分割点e过程中的人体行走水平方向位移。

本发明还保护一种基于视触融合的步态识别实验数据采集平台，该数据采集平台包括计算机、Kinect系统和Walkway步道式足底压力测试仪；Walkway步道式足底压力测试仪与计算机相连，计算机内存储有Walkway步道式足底压力测试仪自带的数据采集及处理系统；Kinect系统的摄像机用于采集人体行走时的图像，即步态视觉信息；Walkway步道式足底压力测试仪用于采集行走时的足底压力数据，即步态触觉信息；

安装实验数据采集平台时，摄像机与地面之间的最佳高度为1.6m，摄像机与Walkway步道式足底压力测试仪之间的最佳水平距离为2m；应保证一个步态周期中人体轮廓完全位于摄像机的采集区域内。

与现有的技术相比，本发明具有的优点在于：

(1)本发明步态识别方法中进行数据级的特征融合，考虑到多传感器的采集起始时间、采集频率所造成的时间误差、数据缺失问题，得到数据精准的视触融合特征，解决了多传感器的采集起始时间、采集频率所造成的步态信息的时间误差、数据缺失问题。采用本发明的融合方式(时间配准+三次拉格朗日插值法)得到数据精准的视触融合特征，实验结果表明本申请获得的视触融合特征相对于单一视觉或触觉特征有更好的辨别能力，显著提高步态识别的准确率。

(2)本发明以视觉数据为准，采用时间配准法将触觉时间向视觉时间进行统一；对于触觉特征缺失的数据采用三次拉格朗日插值方法填充得到视触融合特征，让原始的数据组在时间和数据上达到了统一，数据精度提高。

(3)本发明提出视触融合步态识别方法，其中视触融合特征包含了人类行走在时间和空间上的人体结构和动力学信息，不依赖人体轮廓或形状，消减数据的不稳定性。

(4)本发明识别方法中在进行特征选择时先用多种仪器采集了大量步态数据，再采用随机森林的基尼指数、皮尔逊相关系数进行特征选择，特征选择得到了更多的关键步态信息(步态的时间和空间上的人体结构和动力学信息)。可将不相关的、冗余的特征剔除，经过特征选择得到辨识性能优异的11个关键特征，将这11个关键特征用于本申请的特征融合中，将具有代表性的特征再进行融合、识别，可以有效减少计算量，进一步提高识别效率。

(5)本发明识别方法中特征选择以人体下半身为研究对象，得到的特征包含足底总压力、8个关节角、时间、分割点相对周期开始时刻过程中的人体行走水平方向位移，共11个特征。这些特征包含了步态的时间和空间上的人体结构和动力学信息。

(6)本发明采集平台中采用传感器组合为足底压力仪器+Kinect系统，能够得到更多的相关步态的信息，不存在现有技术中由于拟合过程而导致的误差，同时降低了使用研发成本。

附图说明

图1：本发明识别方法的过程结构示意图；

图2：单侧下半身的特征重要性评估图；

图3：单侧下半身的特征相关系数图；

图4：本发明在时间配准中的视触融合过程示意图；

图5：实验数据采集平台搭建的整体结构示意图；

图6：同周期的视觉和触觉信息，上图是足底压力图，浅色为右脚压力曲线，深色为左脚压力曲线；下图为五个特殊时刻视觉图片，图中框线为不同分割点时刻脚状态。

图7：不同样本数量的识别率。

图8：单侧下半身各关节角的结构示意图、

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请的保护范围。

本发明基于特征融合的视触融合步态识别方法，该识别方法的具体步骤是：

图1中Kinect系统采集到的为视觉数据、足底压力测力仪采集到的信息是触觉数据，分别提取视觉特征和触觉特征，然后对所有提取的视觉特征和触觉特征进行特征重要性和相关性分析，选择出相关性小且重要的特征为最终融合用特征，对融合用特征按照时间配准、拉格朗日差值法、视触融合特征，实现视触融合。

S1、视觉特征提取

用Kinect系统进行各骨骼点的二维坐标提取，再对数据进行预处理，如下：

1)人体行走水平方向位移s：本文以骨盆中心为人体质心，所以人体人体行走水平方向位移即骨盆中心水平位移。水平方向位移s可用对相应时刻的骨盆的x像素坐标进行计算：

s＝x^z+1-x^z

x^z为z帧的骨盆x像素坐标，x^z+1为z+1帧的骨盆x像素坐标，z和z+1为相邻帧的概念。

2)垂直方向位移h：垂方向位移h可用对相应时刻的骨盆的y像素坐标进行计算：

h＝y^z+1-y^z

y^z为z帧的骨盆y像素坐标，y^z+1为z+1帧的骨盆y像素坐标。

本实施例中人体行走水平方向位移、垂直位移采用骨盆中心的像素坐标进行计算。

3)关节角：假设两个相邻关节点，一个记为关节点1，一个记为关节点2，关节点1像素坐标为(x₁,y₁)和关节点2像素坐标为(x₂,y₂)，两个关节点的坐标点的连线与竖直方向的夹角为关节角θ，计算公式为：

视觉特征包括人体下半身的八个关节角和人体行走水平方向位移s；

关节角定义：关节角1是骨盆中心与右髋关节连线l₁与垂直方向的夹角θ₁；关节角2是右髋关节与右膝关节连线l₂与垂直方向的夹角θ₂；关节角3是右膝关节与右踝关节连线l₃与垂直方向的夹角θ₃；关节角4是右踝关节与右足中点连线l₄与垂直方向的夹角θ₄；关节角5是骨盆中心与左髋关节连线l₅与垂直方向的夹角θ₅；关节角6是左髋关节与左膝关节连线l₆与垂直方向的夹角θ₆；关节角7是左膝关节与左踝关节连线l₇与垂直方向的夹角θ₇；关节角8是左踝关节与左足中点连线l₈与垂直方向的夹角θ₈。

S2、触觉特征提取

1)足底压力分析：由于在单支撑期只有一只脚受力并时刻发生变化，双支撑期两只脚分别受力且两脚的足底压力随着时间也发生变化，用Walkway步道式足底压力测试可以将这个动态过程采集出来。N为总压力、N₁为左脚的支反力、N₂为右脚的支反力。

N＝N₁+N₂

2)步频、步距、步宽：Walkway步道式足底压力测试仪采集出数据并储存txt格式。

S3、特征选择

1)特征重要性评估：对采集到的特征进行重要性评估和相关性分析，既能评估这些步态特征有效性，而且能够剔除不相关的、冗余的特征、减少过拟合。采用随机森林算法的基尼指数进行特征重要性评估。若基尼指数越大，说明特征的差异性大，对步态识别的贡献值越大。图2为人体下半身单侧的特征重要程度由大到小分别为关节角4、足底总压力、关节角3、时间、关节角1、关节角2、人体行走水平方向位移、步频、步距、步宽、人体行走垂直位移。

2)特征相关性分析：考虑到特征之间的相关性很强，造成特征冗余。针对此问题，采用皮尔逊相关系数进行特征间相关性分析。皮尔逊相关系数值是在-1和1之间变化，相关系数越接近于1和-1，相关度越强；相关系数越接近0，相关度越弱。两特征之间的相关系数在-0.5与.05之间可作为步态特征。图3特征相关系数更好的观察特征之间的相关性，步频与人体行走水平方向位移的相关性是0.73，步距与步宽的相关性为0.54，这两组特征相关性比较大，若选其中一个作为特征需舍弃另一个特征。

本实施例中经特征选择后，最终选择足底总压力、关节角1-8、人体行走水平方向位移、时间这11个特征进行特征融合。

S4、特征层融合

1)提取同一周期的视觉和触觉数据：根据双脚运动情况与对应压力的耦合关系，对视觉和触觉的数据进行时间上的统一。触觉根据足底压力值为0和视觉依据脚跟着地和脚尖离地情况来划分步态周期。

同周期的视觉和触觉特征提取：图6，a、b、c、d、e这五个特殊点在压力曲线中的压力值都为0，其中a-b时间段上，左脚压力值为0、右脚压力值随时间变化，说明是左脚没有接触地面，为右单支撑期；视觉得到的五个特殊时刻图像(a帧左脚尖离地、b帧左脚跟着地、c帧右脚尖离地、d帧右脚跟着地、e帧左脚尖离地)，a帧左脚尖离地至b帧左脚跟着地，期间右脚一直在接触地面，说明为右单支撑期。同理得b-c是右双支撑期、c-d是左单支撑期、d-e是左双支撑期。以此为依据提取同一个周期的视觉和触觉特征。并记录同一周期下视觉数据；总帧数i、所有帧人体行走水平方向的位移、划分步态周期时各分割点时刻、所有帧的人体下半身的各个关节角，不同帧下的图像及对应的时刻；

视觉特征为不同分割点过程中的人体行走水平方向位移、关节角1-8、不同分割点对应的时刻；

触觉数据：步态周期开始时间t₀、一个周期内所采集到触觉数据点的总数j、每个数据点的足底压力值；

触觉特征为分割点处的足底总压力值及对应的时刻。

2)时间配准：由于数据传播的延迟、传感器采样频率的不统一等问题，就会造成时间上的误差。将视觉和触觉的时间配准，即将两类数据的一个周期的时间点进行对齐(图4)。假设视觉一个周期中共有i帧，时间为T₁，视觉传感器的采集周期为δ₁；触觉一个周期共采集到j组数据，时间为T₂，触觉传感器的采集周期为δ₂，开始采集时间为t₀。

视觉和触觉的周期差为t，则

t＝|T₁-T₂|＝|iδ₁-jδ₂|

若将触觉中j组数据，每组平均变化Δt可使视觉和触觉的时间配准，则

触觉第m组数据对应的时刻为t₀，其中0≤n≤j,那么第m+n组数据对应时刻t_n为

当T₁>T₂时，将触觉中j组数据，每组平均增加Δt可使视觉和触觉的时间配准，则

触觉第m组数据对应的时刻为t₀，其中0≤n≤j,那么第m+n组数据对应时刻t_n为

当T₁<T₂时，将触觉中j组数据，每组平均减少Δt可使视觉和触觉的时间配准，则触觉第m组数据对应的时刻为t₀，其中0≤n≤j,那么第m+n组数据对应时刻t_n为：

上述δ2是加还是减Δt与T1和T2的相对大小有关，若T₁>T₂，则δ2+Δt，若T₁<T₂，则δ2-Δt。同时周期差t的正负号也与T1和T2的相对大小有关。

3)三次拉格朗日插值法将触觉数据填充

视觉和触觉的时间配准了，但是对应在视觉时间点的触觉数据有缺失(图4中的无数据点)。将同一时间片内的视觉和触觉数据按时间进行增序排序，然后将触觉数据分别向视觉时间点内插、外推，以形成一系列和视觉数据相同时间间隔的触觉数据。假设t_p-1、t_p、t_p+1时刻对应的触觉数据为α_p-1、α_p、α_p+1，其中t_p-1、t_p、t_p+1是等间隔的，p实际上即为触觉传感器的采集周期δ₂，则运用拉格朗日三次插值法计算插值点t_x时刻的触觉数据α_x为

因为视觉的采集频率低，数据不精准，不建议用本来精度低的视觉数据进行填补。本申请以视觉的时间为基准，进行触觉数据填补这样子可以降低数据的误差。

4)特征融合：

数据填充后，则挑选所有分割点对应的视觉特征和触觉特征数据，将二者整合在一起，形成视触融合特征F，完成特征融合；

将所有分割点的同时间点、关节角1、关节角2、关节角3、关节角4、关节角5、关节角6、关节角7、关节角8、足底总压力、分割点相对周期开始时刻过程中的人体行走水平方向位移组成视触融合特征F，如下：

其中t^a是分割点a的时间值，记为周期开始时刻，

是分割点b时刻的关节角1的值，其余符号如此类推，上角标分别对应分割点。s^a为分割点a处对应的人体行走水平位移，s^a＝s₀，s0为分割点a后一帧到分割点a时刻的人体行走水平方向位移；s^b表示由分割点a到分割点b过程中的人体行走水平方向位移；s^c为分割点a到分割点c过程中的人体行走水平方向位移，s^d为分割点a到分割点d过程中的人体行走水平方向位移，s^e为分割点a到分割点e过程中的人体行走水平方向位移

依次类推s^c、s^d、s^e。

令s₀是a帧的人体行走水平方向位移，x^a+1为a+1帧的骨盆x像素坐标，x^a为a帧的骨盆x像素坐标，则s₀＝x^a+1-x^a。依次类推s₁是a+1帧的人体行走水平方向位移；

s₀＝x^a+1-x^a

s₁＝x^a+2-x^a+1

s_q＝x^a+q+1-x^a+q，

由此可以算出a+q帧的人体行走水平方向位移，用s_q表示，x^a+q+1为a+q+1帧的骨盆x像素坐标，x^a+q为a+q帧的骨盆x像素坐标；

则视触融合中分割点a处对应的人体行走水平方向位移s^a＝s₀，s^b表示由分割点a到分割点b过程中的人体行走水平方向位移，即由分割点a到分割点b过程中的每帧人体行走水平方向位移的累加，用

；s^c为分割点a到分割点c过程中的人体行走水平方表示

向位移，用

表示，依次类推s^d、s^e。

S5、支持向量机算法进行分类识别

支持向量机算法进行训练：将视触融合特征F的数据进行分析，找出不同人两两之间的最优分类超平面f(x)＝xw+b＝0，训练实现w、b两个参数的调优；由于是非线性问题要将输入向量映射到高维的特征向量空间，并在特征空间中构造出超平面,这个超平面既能保证分类精度，也能使超平面两侧的空白区域最大化。支持向量机(SVM)是一个类分类器，正式的定义是一个能够将不同类样本(也就是不同人，本申请中目的是要识别很多人)在样本空间分隔的超平面。给定两种标记(label)好的训练样本,SVM算法输出一个最优化的分隔超平面(wx+b＝0)。

将视触融合特征用支持向量机算法进行训练，得到的最优分类超平面并进行识别。

实施例

本实施例提供了一种基于特征融合的视触融合步态识别方法(简称识别方法，参见图1-6)，该识别方法采用的实验数据采集平台包括计算机1、Kinect系统的摄像机2和Walkway步道式足底压力测试仪3；Walkway步道式足底压力测试仪3与计算机1相连，计算机1内存储有Walkway步道式足底压力测试仪自带的数据采集及处理系统；摄像机2用于采集人体行走时的图像，即步态视觉信息；Walkway步道式足底压力测试仪用于采集行走时的足底压力数据，即步态触觉信息；

安装实验数据采集平台时，摄像机2与地面之间的最佳高度为1.6m，摄像机2与Walkway步道式足底压力测试仪3之间的最佳水平距离为2m；应保证一个步态周期中人体轮廓完全位于摄像机2的采集区域内；

该识别方法的具体步骤是：

S1、数据采集

Kinect系统中将各骨骼点的坐标进行储存成txt格式，Walkway步道式足底压力测试仪的左右脚足底压力值、步频、步距、步宽存储成xlsx格式。

S2、提取视觉数据、触觉数据

根据骨骼点的坐标进行预处理，得到每帧的人体行走水平方向位移s、垂直方向的位移h、下半身的各关节角(图8左右侧所取关节角相同)、时间；根据左右脚足底压力值计算得到各时刻足底总压力值。

S3、特征选择

由于人身体的左右部分对称而且运动规律相同，所以只用一侧的数据进行重要性评估和相关性分析。获得最终的视觉特征和触觉特征，将其构成训练特征样本，训练特征样本包括时间、关节角1-8，足底总压力、分割点相对周期开始时刻过程中的人体行走水平方向位移、步频、步距、步宽、垂直位移，共有11个特征，样本大小为75；

数据集是指一个数据的集合。通常以表格形式出现。每一列代表一个特定变量(指足底总压力、人体行走水平方向位移等)。每一行都对应着不同时间。本发明的75个样本是指75个时间点中包含的特定变量。

特征选择是指从已有的M个特征中选择N个特征使得系统的特定指标最优化，也就是从原始特征中选择出一些最有效特征以降低数据维度的过程。

从特征重要性与相关性综合考虑，最后得到关节角、人体行走水平方向位移、足底压力、时间这11个特征的重要性程度大以及特征间相关性小的特点，满足步态特征的要求。

S4、视触融合特征

(1)同周期的视觉和触觉特征提取：图6，a、b、c、d、e这五个特殊点在压力曲线中的压力值都为0，其中a-b时间段上，左脚压力值为0、右脚压力值随时间变化，说明是左脚没有接触地面，为右单支撑期；视觉得到的五个特殊时刻图像(a帧左脚尖离地、b帧左脚跟着地、c帧右脚尖离地、d帧右脚跟着地、e帧左脚尖离地)，a帧左脚尖离地至b帧左脚跟着地，期间右脚一直在接触地面，说明为右单支撑期。同理得b-c是右双支撑期、c-d是左单支撑期、d-e是左双支撑期。以此为依据提取同一个周期的视觉和触觉特征。并记录同一周期下视觉数据和触觉数据。

(2)视触融合特征：将t₀、i、j、a、b、c、d、e所对应数值作为输入值，进行时间配准、拉格朗日插值之后得到视触融合的数据组。每组视触特征是每帧的8个关节角、分割点相对周期开始时刻过程中的人体行走水平方向位移、足底总压力组成。由于采集周期的视觉帧数不同，也就造成视触特征维数不同(每个人的步态周期不同所以一个周期所包含的帧数也就不同，本文选择a、b、c、d、e五个特殊时刻的步态特征，保证了帧数相同，视触特征维数相同55*1)。本实施例提取五个特殊时刻的8个关节角、人体行走水平方向位移、足底压力作为视触融合特征。

用支持向量机算法对样本进行训练和测试，得到识别结果。采用支持向量机将视觉特征(8个关节角、人体行走水平方向位移、时间)、触觉特征(足底总压力、时间)、视觉和触觉特征(未经特征层融合的11个特征)、视触融合特征进行分类识别，对比不同特征处理方式步态的识别效果，将数据样本量(样本量是不同个体的在正常行走状态下的多次实验步态实验数据)，从4至19依次增加，共进行了15次实验。识别率结果如图7所示，图7中纵坐标为识别率。

本方法的平均识别率平均识别率达到了99.43％，文献《基于视触觉多特征融合的步态识别方法研究》的平均识别率为91.6﹪。从结果可以看出，本方案中特征选择方法可得到更具有辨识力的步态特征。将四组特征(视觉、触觉、视觉和触觉特征、视触融合特征)在识别率上进行对比得到：

(1)多特征步态识别率高于单一特征识别率。视觉特征识别率低的主要原因是其受光照、噪音等影响造成数据质量差；触觉特征受外界环境影响少，数据精准，但步态信息少；视触融合特征减小了环境对数据的影响、步态信息多样化，步态识别精度提高。

(2)本文的视触融合方法可以有效地提高步态识别系统的性能。本文视触融合特征比视觉和触觉特征(未经融合算法)的识别率高，主要原因是视触融合特征考虑到时间上的误差，使在同一时间点上的步态的视觉信息和触觉信息进行了融合，使数据精准并提高了步态识别系统的性能，数据更精准。

本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于特征融合的视触融合步态识别方法，该识别方法包括以下内容：

获取视觉数据和触觉数据；

提取同一步态周期的视觉和触觉数据：根据双脚运动情况与对应压力的耦合关系，对视觉和触觉的数据进行时间上的统一；触觉根据足底压力值为0和视觉依据脚跟着地和脚尖离地情况来划分步态周期；提取同一个步态周期的视觉和触觉特征，并记录同一步态周期下视觉数据和触觉数据，视觉数据包括总帧数i、所有帧人体行走水平方向的位移、划分步态周期时各分割点时刻、所有帧的人体的各个关节角；触觉数据包括步态周期开始时间t₀、一个周期内所采集到触觉数据点的总数j、每个数据点的足底总压力值；

将视觉和触觉的时间配准：即将两种数据的一个周期的时间点进行对齐，假设视觉一个周期中共有i帧，步态周期为T₁，视觉传感器的采集周期为δ₁；触觉一个周期共采集到j组数据，时间为T₂，触觉传感器的采集周期为δ₂，开始采集时间为t₀；

视觉和触觉的周期差为t，则

t＝|T₁-T₂|＝|iδ₁-jδ₂|

若将触觉中j组数据，每组平均变化Δt能使视觉和触觉的时间配准则

触觉第m组数据对应的时刻为t₀，其中0≤n≤j,那么第m+n组数据对应时刻t_n为

时间配准后，获得同一时间片内的视觉和触觉数据；

采用三次拉格朗日插值法将触觉数据填充：

将同一时间片内的视觉和触觉数据按时间进行增序排序，然后将触觉数据分别向视觉时间点内插、外推，以形成一系列和视觉数据相同时间间隔的触觉数据；在触觉数据中按照时间p进行等间隔划分，则t_p-1、t_p、t_p+1时刻对应的触觉数据为α_p-1、α_p、α_p+1，则运用拉格朗日三次插值法计算插值点t_x时刻的触觉数据α_x为

数据填充后，则挑选所有分割点对应的视觉特征和触觉特征数据，将二者整合在一起，形成视触融合特征F，完成特征融合；

将融合后的视触融合特征F输入到分类器中，实现步态识别。

2.根据权利要求1所述的步态识别方法，其特征在于，所述视觉特征包括人体下半身的八个关节角和分割点相对周期开始时刻过程中的人体行走水平方向的位移s；八个关节角分别记为关节角1、关节角2、关节角3、关节角4、关节角5、关节角6、关节角7、关节角8；关节角1是骨盆中心与右髋关节连线l₁与垂直方向的夹角θ₁；关节角2是右髋关节与右膝关节连线l₂与垂直方向的夹角θ₂；关节角3是右膝关节与右踝关节连线l₃与垂直方向的夹角θ₃；关节角4是右踝关节与右足中点连线l₄与垂直方向的夹角θ₄；关节角5是骨盆中心与左髋关节连线l₅与垂直方向的夹角θ₅；关节角6是左髋关节与左膝关节连线l₆与垂直方向的夹角θ₆；关节角7是左膝关节与左踝关节连线l₇与垂直方向的夹角θ₇；关节角8是左踝关节与左足中点连线l₈与垂直方向的夹θ₈；触觉特征包括足底总压力N；视触融合特征F中包括各个分割点处对应的上述各特征。

3.根据权利要求2所述的步态识别方法，其特征在于，所述人体行走水平方向的位移s采用骨盆中心的像素横坐标进行计算。

4.根据权利要求2所述的步态识别方法，其特征在于，所述特征获取方式是：

S1、视觉特征提取

用Kinect系统进行各骨骼点的二维坐标提取，再对数据进行预处理：

1)人体行走水平方向位移s：以骨盆中心为人体质心，人体行走水平方向位移即骨盆中心水平位移，人体行走水平方向位移s用对相应时刻的骨盆的x像素坐标进行计算：

s＝x^z-x^z+1

x^z为z帧的骨盆x像素坐标，x^z+1为z+1帧的骨盆x像素坐标，z为某一帧；

2)垂直方向位移h：垂方向位移h可用对相应时刻的骨盆的y像素坐标进行计算：

h＝y^z-y^z+1

y^z为z帧的骨盆y像素坐标，y^z+1为z+1帧的骨盆y像素坐标；

3)关节角：两个关节点坐标点的连线与竖直方向的夹角为关节角θ；

S2、触觉特征提取

1)足底压力分析：由于在单支撑期只有一只脚受力并时刻发生变化，双支撑期两只脚分别受力且两脚的足底压力随着时间也发生变化，用Walkway步道式足底压力测试将这个动态过程采集出来；N为总压力、N₁为左脚的支反力、N₂为右脚的支反力；

N＝N₁+N₂

2)步频、步距、步宽：Walkway步道式足底压力测试仪采集出数据并储存txt格式；

S3、特征选择

1)特征重要性评估：对采集到的特征采用随机森林算法的基尼指数进行特征重要性评估；若基尼指数越大，说明特征的差异性大，对步态识别的贡献值越大；

2)特征相关性分析：采用皮尔逊相关系数进行特征间相关性分析，皮尔逊相关系数值是在-1和1之间变化，相关系数越接近于1和-1，相关度越强；相关系数越接近0，相关度越弱，两特征之间的相关系数在-0.5与0.5之间能作为步态特征。

5.根据权利要求1所述的步态识别方法，其特征在于，所述分类器采用支持向量机算法，

支持向量机算法进行训练：将视触融合特征F的数据进行分析，找出最优分类超平面f(x)＝xw+b＝0，训练实现w、b两个参数的调优，用于步态分类识别。

6.根据权利要求1所述的步态识别方法，其特征在于，所述分割点分别为a、b、c、d、e，这五个特殊点在压力曲线中的压力值都为0；视觉得到五个特殊时刻图像，a帧左脚尖离地、b帧左脚跟着地、c帧右脚尖离地、d帧右脚跟着地、e帧左脚尖离地；则视触融合特征F表达式为：

式中，上标表示分割点，t^a是分割点a的时间值，

是b时刻的关节角1的值；s^a为分割点a处对应的人体行走水平位移，s^a＝s₀，s0为分割点a后一帧到分割点a时刻的人体行走水平方向位移；s^b表示由分割点a到分割点b过程中的人体行走水平方向位移，用

表示，s_q＝x^a+q+1-x^a+q，x^a+q+1为a+q+1帧的骨盆x像素坐标，x^a+q为a+q帧的骨盆x像素坐标；同理，s^c为分割点a到分割点c过程中的人体行走水平方向位移，s^d为分割点a到分割点d过程中的人体行走水平方向位移，s^e为分割点a到分割点e过程中的人体行走水平方向位移。

7.一种基于视触融合的步态识别实验数据采集平台，其特征在于，使用权利要求1-6任一所述的基于特征融合的视触融合步态识别方法，该数据采集平台包括计算机、Kinect系统和Walkway步道式足底压力测试仪；Walkway步道式足底压力测试仪与计算机相连，计算机内存储有Walkway步道式足底压力测试仪自带的数据采集及处理系统；Kinect系统的摄像机用于采集人体行走时的图像，即步态视觉信息；Walkway步道式足底压力测试仪用于采集行走时的足底压力数据，即步态触觉信息；

安装实验数据采集平台时，摄像机与地面之间的最佳高度为1.6m，摄像机与Walkway步道式足底压力测试仪之间的最佳水平距离为2m；应保证一个步态周期中人体轮廓完全位于摄像机的采集区域内。

Images