CN107578019B - 一种视觉触觉融合的步态识别系统及识别方法 - Google Patents

Abstract

本发明公开了一种视觉触觉融合的步态识别系统及识别方法。该系统包括Kinect骨骼跟踪系统、足底压力测试系统、上位机数据处理系统、光电检测开关和身份证识别装置；所述Kinect骨骼跟踪系统、足底压力测试系统、光电检测开关和身份证识别装置分别与上位机数据处理系统连接；所述上位机数据处理系统包括滤波器、检测数据寄存器、视触数据融合处理器、步态特征寄存器、录入寄存器、匹配寄存器和个体步态特征数据库。通过Kinect骨骼跟踪系统采集视觉数据和足底压力测试系统采集足底压力触觉数据，将视觉和足底压力触觉相结合，增加特征元素的基数，并且利用触觉数据的确定性减轻甚至消除视觉数据的不稳定性，从而快速准确地对人体的步态进行识别。

Description

一种视觉触觉融合的步态识别系统及识别方法

技术领域

本发明涉及人体身份识别技术，具体是一种视觉触觉融合的步态识别系统及识别方法。

背景技术

步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别。与其他的生物识别技术相比，步态识别具有非接触、远距离和难伪装的优点。在智能视频监控领域，比面像识别更具优势。

英国南安普敦大学电子与计算机系的马克尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个体走路的“风格”上都存在细微差异，证明了步态识别的可行性。同时医学研究表明，人体骨骼肌肉系统的细微差异和行为习惯的差异使得足底压力分布具有唯一性，因此根据人体的足底压力分布信息获取步态触觉特征，从而达到不同人身份的识别具有特殊性和唯一性。

Kinect采用Light Coding技术和红外线技术相结合，检测人体的红外线信号，并确定热源的空间位置，再利用其骨骼跟踪技术便可以屏蔽衣物的影响准确的测量到人体的骨骼关节点的三维空间坐标。

传统的步态识别方法一般采用单纯的视频数据分析或足底压力数据分析。视频数据受外界影响比较大，衣服、背景、背负情况和行走速度等都会影响视频数据的准确度，但是视频数据可提取的特征量丰富；足底压力分析也会受到穿鞋与否的影响，而且其可提取的特征量比较少，但是足底压力分析的空间位置和获取数据准确。所以如何充分利用视频数据分析和足底压力分析(视触融合)的优点成为亟待解决的问题。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种视觉触觉融合的步态识别系统及识别方法。通过Kinect骨骼跟踪系统采集视觉数据和足底压力测试系统采集足底压力触觉数据，将视觉和足底压力触觉相结合，增加特征元素的基数，并且利用触觉数据的确定性减轻甚至消除视觉数据的不稳定性，能在较少的数据、时间和距离内完成步态识别过程，从而快速准确地对人体的步态进行识别。

本发明解决所述系统技术问题的技术方案是，提供一种视觉触觉融合的步态识别系统，其特征在于该系统包括Kinect骨骼跟踪系统、足底压力测试系统、上位机数据处理系统、光电检测开关和身份证识别装置；所述Kinect骨骼跟踪系统、足底压力测试系统、光电检测开关和身份证识别装置分别与上位机数据处理系统连接；

所述上位机数据处理系统包括滤波器、检测数据寄存器、视触数据融合处理器、步态特征寄存器、录入寄存器、匹配寄存器和个体步态特征数据库；所述Kinect骨骼跟踪系统、足底压力测试系统、光电检测开关和身份证识别装置分别与滤波器连接，滤波器与检测数据寄存器连接，检测数据寄存器与视触数据融合处理器连接，视触数据融合处理器与步态特征寄存器连接；所述录入寄存器分别与步态特征寄存器和个体步态特征数据库连接；所述匹配寄存器分别与步态特征寄存器和个体步态特征数据库连接。

本发明解决所述方法技术问题的技术方案是，提供一种视觉触觉融合的步态识别方法，其特征在于该方法包括以下步骤：

步骤一、行走个体首先通过身份证识别装置进行身份证识别，根据是否已录入个体身份信息和个体步态特征信息，判断个体本次识别过程是个体步态特征录入还是个体步态特征匹配；

步骤二、行走个体遮挡光电检测开关，此时Kinect骨骼跟踪系统和足底压力测试系统开始对此个体进行步态数据收集；收集的数据经滤波器过滤后存储到检测数据寄存器中；之后光电检测开关恢复原位，数据收集结束；

步骤三、数据收集结束后，视触数据融合处理器对收集的数据进行分析和处理，得到个体步态特征数据，再将个体步态特征数据存储到步态特征寄存器中；

步骤四、当识别过程是个体步态特征录入时，步态特征寄存器将所有的同一个体的步态特征数据按照一定的排列规则组成完整的个体步态特征信息并存储到录入寄存器中，与之前存储到录入寄存器中的个体身份信息一起存储到个体步态特征数据库中；

当识别过程是个体步态特征匹配时，将步态特征寄存器中的数据存储到匹配寄存器中，然后通过之前存储到匹配寄存器中的个体身份信息一起存储到个体步态特征数据库中；从个体步态特征数据库中提取该个体录入过的个体步态特征与此时匹配寄存器中的数据进行分析和比较，判断是不是个体本人，如果不是则进行提示，如果是本人则将最新的步态特征数据更新到个体步态特征数据库中；

步骤五、至此，完成整个个体步态特征录入和个体步态特征匹配过程。

与现有技术相比，本发明有益效果在于：

(1)通过Kinect骨骼跟踪系统采集视觉数据和足底压力测试系统采集足底压力触觉数据，将视觉和足底压力触觉相结合，增加特征元素的基数，并且利用触觉数据的确定性减轻甚至消除视觉数据的不稳定性，能在较少的数据、时间和距离内完成步态识别过程，从而快速准确地对人体的步态进行识别。

(2)相比于现有的视觉步态测量系统，识别匹配时比对应的步态特征基数大，步态特征量多，从而提高识别的准确性。

(3)获得的分析数据准确。由足底压力测量系统获得的数据和Kinect骨骼跟踪系统获得的数据进行滤波后还会进行互相矫正，充分利用触觉接触平面位置的准确性和视觉的空间范围性，得到相对准确的特征数据，且特征数据还具备自动更新功能。

(4)不同行走周期内，数据采样时间准确。Kinect骨骼跟踪系统根据足底压力测量系统的受力分布判断步态阶段，从而在每个步态阶段的固定时刻，同时采样，使不同时刻的同一阶段的数据具有可分析性和特征属性。

(5)数据可自动更新，不必反复录入。当匹配到个体并识别出个体时，会将最新的特征数据替换到个体步态特征数据库的该个体的特征数据中，从而实现自动更新。

(6)检测识别速度快。该系统能够在2米的检测范围内准确获取到人体运动学数据和人体关键骨骼的静态模型，从而进行特征录入和身份识别。

(7)不受穿着及背负影响。Kinect骨骼跟踪系统采用红外线监测，可以准确的获取人体步态数据。

附图说明

图1为本发明视觉触觉融合的步态识别系统及识别方法一种实施例的系统整体结构连接示意框图；

图2为本发明视觉触觉融合的步态识别系统及识别方法一种实施例的系统硬件搭建的整体结构示意图；(图中：1、Kinect骨骼跟踪系统；2、足底压力测试系统；3、上位机数据处理系统；4、光电检测开关；5、身份证识别装置；31、滤波器；32、检测数据寄存器；33、视触数据融合处理器；34、步态特征寄存器；35、录入寄存器；36、匹配寄存器；37、个体步态特征数据库)

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。

本发明提供了一种视觉触觉融合的步态识别系统(简称系统，参见图1-2)，其特征在于该系统包括Kinect骨骼跟踪系统1、足底压力测试系统2、上位机数据处理系统3、光电检测开关4和身份证识别装置5；所述Kinect骨骼跟踪系统1、足底压力测试系统2、光电检测开关4和身份证识别装置5均通过USB串口线与上位机数据处理系统3连接；所述光电检测开关4安装于足底压力测试系统2前端的左侧，距离地面20厘米高处；所述身份证识别装置5安装于足底压力测试系统2前端的右侧，距离地面120厘米处；

所述Kinect骨骼跟踪系统1用于获取行走个体的红外线图像，提取出骨骼节点的三维空间坐标及相关数据，建立人体骨骼静态模型；具体是Kinect骨骼跟踪系统1能够获得人体骨骼24个关键关节点的深度图像，并可以根据深度图像得到确定时刻的24个骨骼关键节点的三维空间坐标，从而确定相对位置，建立人体骨骼静态模型以及获取运动学特征参数。其中四肢和躯干的关键关节点的空间位置获取准确，稳定；手掌和脚掌等位姿变化频率高且变化角度大的关节点空间位置获取不稳定，跳动幅度大。因此选取四肢和躯干的关键关节点作为建立人体骨骼静态模型的主要数据来源。

所述足底压力测试系统2能够获得人体的行走姿态阶段，以及人体重力、步距、脚宽和停留时间等步态特征，用于测量人体行走过程中的足底压力变化。

所述上位机数据处理系统3用于处理和存储由足底压力测试系统2和Kinect骨骼跟踪系统1获得的数据；所述上位机数据处理系统3包括滤波器31、检测数据寄存器32、视触数据融合处理器33、步态特征寄存器34、录入寄存器35、匹配寄存器36和个体步态特征数据库37；所述Kinect骨骼跟踪系统1、足底压力测试系统2、光电检测开关4和身份证识别装置5分别与滤波器31连接，滤波器31与检测数据寄存器32连接，检测数据寄存器32与视触数据融合处理器33连接，视触数据融合处理器33与步态特征寄存器34连接；所述录入寄存器35分别与步态特征寄存器34和个体步态特征数据库37连接；所述匹配寄存器36分别与步态特征寄存器34和个体步态特征数据库37连接；由足底压力测试系统2、Kinect骨骼跟踪系统1、光电检测开关4和身份证识别装置5获得的行走个体相关数据均流向上位机数据处理系统3的滤波器31，然后依次流向检测数据寄存器32、视触数据融合处理器33、步态特征寄存器34、录入寄存器35、匹配寄存器36和个体步态特征数据库37；

所述滤波器31用于对Kinect骨骼跟踪系统1和足底压力测试系统2获得的数据进行误差值调整，包括泊松滤波、中值滤波和阀值滤波，从而消除数据的零点和跳动误差值。

所述检测数据寄存器32用于在整个检测时间内，将滤波器31获得的数据进行临时储存，以便对数据进行分析和整理。

所述视触数据融合处理器33用于对Kinect骨骼跟踪系统1和足底压力测试系统2获得的数据进行视触融合，具体包括三个步骤：(1)视触数据初步融合：由足底压力测试系统2测量获得行走个体相对于Kinect骨骼跟踪系统1的角度和距离，从而计算出人体的行走姿态；(2)比例扩大：由足底压力测试系统2测量获得两脚之间的距离，称为触觉步距；由Kinect骨骼跟踪系统1中图像中的两脚之间的距离，称为视觉步距；通过视觉步距与触觉步距比例运算，调整步骤(1)中的行走姿态的大小，获得与行走个体姿态和大小均一致的行走模型；(3)特征提取：通过对检测时间内每个时刻的行走模型进行分析，获得相关步态特征。

所述步态特征寄存器34用于储存由视触数据融合处理器33分析处理后提取出来的步态特征；

所述录入寄存器35用于当本次数据采集过程是用于个体步态特征录入时，则将步态特征寄存器34中的数据复制到录入寄存器35，录入寄存器35中还存有录入个体的身份信息；

所述个体步态特征数据库37用于储存和整理从录入寄存器35中获得的个体身份信息和个体步态特征信息；

所述匹配寄存器36用于当本次数据采集过程是用于个体步态特征匹配时，则将步态特征寄存器34中的数据复制到匹配寄存器36，并将匹配寄存器36中的数据和个体步态特征数据库37中的数据进行对比，寻找匹配个体进行身份识别，识别出后进行显示，并将最新数据对原来的数据进行修正；

所述光电检测开4用来检测行走个体是否处于检测范围之内，判定检测过程的开始和结束；

所述身份证识别装置5用来进行身份的确认；检测之前首先识别身份证，个体步态特征数据库37中有该个体身份信息，则此次步态识别用于匹配是否是本人；个体步态特征数据库37中没有该个体身份信息，则此次步态识别用于录入新的个体步态特征。

本发明同时提供了一种视觉触觉融合的步态识别方法(简称方法)，其特征在于该方法包括以下步骤：

步骤一、当行走个体(进行步态识别时对该个体保密)进入安检通道之前，首先通过该系统的身份证识别装置5进行身份证识别，根据是否已录入个体身份信息和个体步态特征信息，判断个体本次安检检测过程为个体步态特征录入还是个体步态特征匹配；

步骤二、当行走个体进入安检通道时会遮挡光电检测开关4，此时Kinect骨骼跟踪系统1和足底压力测试系统2开始对此个体进行步态数据收集；收集的数据经滤波器31过滤后存储到检测数据寄存器32中；当行走个体走出安检通道时，光电检测开关4恢复原位，数据收集结束；

步骤三、数据收集结束后，视触数据融合处理器33对收集的数据进行分析和处理，具体是：

(1)空间位置标定：对Kinect骨骼跟踪系统1和足底压力测试系统2进行静态三维空间标定，保证相同坐标点在两系统中测量得到的三维空间坐标一致；

(2)时间修正匹配：对Kinect骨骼跟踪系统1和足底压力测试系统2测得的数据进行步态阶段曲线分析，并进行步态阶段曲线拟合，从而修正测量时间偏差，保证时间的同时性；

(3)最优竖向骨骼(旋转轴平行于地面的骨骼)模型获取：根据Kinect骨骼跟踪系统1获取的行走个体的骨骼节点半个行走周期内的空间位置坐标和足底压力测试系统2获取的半个行走周期内的足底压力点空间位置坐标，分别对人体的单个竖向骨骼进行长度测量：测量某一特定骨骼时选取半个行走周期内最适合测量的若干个时刻作为数据源进行平均求和，得到该骨骼的长度；然后按照此方法测量所有的竖向骨骼长度，从而得到最优竖向骨骼模型；

(4)反向匹配得到最优整体骨骼模型：用最优竖向骨骼模型反向匹配Kinect骨骼跟踪系统1获取的行走个体的红外线图像；由准确的关节点和关节长度，计算关节另一侧的模糊关节点位置，从而计算出该红外线图像对应的最优整体骨骼模型；

(5)特征提取：对整个检测时间段内的红外线图像进行反向匹配，得到人体骨骼行走轨迹图，然后进行运动学特征提取，得到准确的个体步态特征数据；

再将个体步态特征数据存储到步态特征寄存器34中；提取的个体步态特征数据包括不同步态阶段的运动学特征数据、不同步态阶段的静态骨骼数据和不同步态阶段之间的联系特征数据；

步骤四、当本次安检目的是个体步态特征录入时，步态特征寄存器34将所有的同一个体的步态特征数据按照一定的排列规则组成完整的个体步态特征信息并存储到录入寄存器35中，与之前存储到录入寄存器35中的个体身份信息一起存储到个体步态特征数据库37中；步态特征数据在步态特征寄存器34中的处理分析过程不仅包括对不同步态阶段内的数据分别进行特征提取，还包括各个数据之间的互相矫正以及分析不同步态阶段之间的相互联系与区别；

当本次安检目的是个体步态特征匹配个体身份信息时，将步态特征寄存器34中的数据存储到匹配寄存器36中，然后通过之前存储到匹配寄存器36中的个体身份信息组成完整的个体数据一起存储到个体步态特征数据库37中；所述完整的个体数据包括不同步态阶段的运动学特征数据、不同步态阶段的静态骨骼数据和不同步态阶段之间的联系特征数据；从个体步态特征数据库37中提取该个体录入过的个体步态特征与此时匹配寄存器36中的数据进行分析和比较，判断是不是个体本人，如果不是则进行语音提示，如果是本人则将最新的步态特征数据更新到个体步态特征数据库37中；

步骤五、至此，完成整个个体步态特征录入和个体步态特征匹配过程。

本发明未述及之处适用于现有技术。

Claims (4)

1.一种视觉触觉融合的步态识别系统，其特征在于该系统包括Kinect骨骼跟踪系统、足底压力测试系统、上位机数据处理系统、光电检测开关和身份证识别装置；所述Kinect骨骼跟踪系统、足底压力测试系统、光电检测开关和身份证识别装置分别与上位机数据处理系统连接；

所述上位机数据处理系统包括滤波器、检测数据寄存器、视触数据融合处理器、步态特征寄存器、录入寄存器、匹配寄存器和个体步态特征数据库；所述Kinect骨骼跟踪系统、足底压力测试系统、光电检测开关和身份证识别装置分别与滤波器连接，滤波器与检测数据寄存器连接，检测数据寄存器与视触数据融合处理器连接，视触数据融合处理器与步态特征寄存器连接；所述录入寄存器分别与步态特征寄存器和个体步态特征数据库连接；所述匹配寄存器分别与步态特征寄存器和个体步态特征数据库连接；

识别方法是：

步骤一、行走个体首先通过身份证识别装置进行身份证识别，根据是否已录入个体身份信息和个体步态特征信息，判断个体本次识别过程是个体步态特征录入还是个体步态特征匹配；

步骤二、行走个体遮挡光电检测开关，此时Kinect骨骼跟踪系统和足底压力测试系统开始对此个体进行步态数据收集；收集的数据经滤波器过滤后存储到检测数据寄存器中；之后光电检测开关恢复原位，数据收集结束；

步骤三、数据收集结束后，视触数据融合处理器对收集的数据进行分析和处理，得到个体步态特征数据，再将个体步态特征数据存储到步态特征寄存器中；

视触数据融合处理器对收集的数据进行分析和处理的具体步骤是：

(1)空间位置标定：对Kinect骨骼跟踪系统和足底压力测试系统进行静态三维空间标定，保证相同坐标点在两系统中测量得到的三维空间坐标一致；

(2)时间修正匹配：对Kinect骨骼跟踪系统和足底压力测试系统测得的数据进行步态阶段曲线分析，并进行步态阶段曲线拟合，从而修正测量时间偏差，保证时间的同时性；

(3)最优竖向骨骼模型获取：根据Kinect骨骼跟踪系统获取的行走个体的骨骼节点半个行走周期内的空间位置坐标和足底压力测试系统获取的半个行走周期内的足底压力点空间位置坐标，分别对人体的单个竖向骨骼进行长度测量：测量某一特定骨骼时选取半个行走周期内最适合测量的若干个时刻作为数据源进行平均求和，得到该骨骼的长度；然后按照此方法测量所有的竖向骨骼长度，从而得到最优竖向骨骼模型；

(4)反向匹配得到最优整体骨骼模型：用最优竖向骨骼模型反向匹配Kinect骨骼跟踪系统获取的行走个体的红外线图像；由准确的关节点和关节长度，计算关节另一侧的模糊关节点位置，从而计算出该红外线图像对应的最优整体骨骼模型；

(5)特征提取：对整个检测时间段内的红外线图像进行反向匹配，得到人体骨骼行走轨迹图，然后进行运动学特征提取，得到个体步态特征数据；

步骤四、当识别过程是个体步态特征录入时，步态特征寄存器将所有的同一个体的步态特征数据按照一定的排列规则组成完整的个体步态特征信息并存储到录入寄存器中，与之前存储到录入寄存器中的个体身份信息一起存储到个体步态特征数据库中；

当识别过程是个体步态特征匹配时，将步态特征寄存器中的数据存储到匹配寄存器中，然后通过之前存储到匹配寄存器中的个体身份信息一起存储到个体步态特征数据库中；从个体步态特征数据库中提取该个体录入过的个体步态特征与此时匹配寄存器中的数据进行分析和比较，判断是不是个体本人，如果不是则进行提示，如果是本人则将最新的步态特征数据更新到个体步态特征数据库中；

步骤五、至此，完成整个个体步态特征录入和个体步态特征匹配过程。

2.根据权利要求1所述的视觉触觉融合的步态识别系统，其特征在于所述光电检测开关安装于足底压力测试系统前端的左侧，距离地面20厘米处。

3.根据权利要求1所述的视觉触觉融合的步态识别系统，其特征在于所述身份证识别装置安装于足底压力测试系统前端的右侧，距离地面120厘米处。

4.根据权利要求1所述的视觉触觉融合的步态识别系统，其特征在于步骤四中，步态特征数据在步态特征寄存器中的处理分析过程不仅包括对不同步态阶段内的数据分别进行特征提取，还包括各个数据之间的互相矫正以及分析不同步态阶段之间的相互联系与区别。

Images