CN111582108A - 一种步态识别及意图感知的方法 - Google Patents

一种步态识别及意图感知的方法 Download PDF

Info

Publication number
CN111582108A
CN111582108A CN202010352050.1A CN202010352050A CN111582108A CN 111582108 A CN111582108 A CN 111582108A CN 202010352050 A CN202010352050 A CN 202010352050A CN 111582108 A CN111582108 A CN 111582108A
Authority
CN
China
Prior art keywords
amplifier
resistor
capacitor
pressure
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010352050.1A
Other languages
English (en)
Other versions
CN111582108B (zh
Inventor
贾晓辉
王涛
刘今越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010352050.1A priority Critical patent/CN111582108B/zh
Publication of CN111582108A publication Critical patent/CN111582108A/zh
Application granted granted Critical
Publication of CN111582108B publication Critical patent/CN111582108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明为一种步态识别及意图感知的方法,该方法包括一套数据采集系统,用于采集足底压力、踝关节加速度和角速度信息;包括:利用数据采集系统采集的实际数据信息建立实测数据库;接着利用AnyBody软件进行人体模型运动仿真得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,并建立仿真数据库;通过特征提取、特征匹配建立实测数据库和仿真数据库之间的映射关系,最后利用卷积神经网络算法进行步态识别,感知意图,在不清楚人体现场所处姿势的情况下,能得到人体当前的姿势,从而达到步态识别及感知人体意图的目的。克服了现有技术存在的压力采集范围不全面、特征单一、无法预测人体姿势及实时识别准确性和速率低的问题。

Description

一种步态识别及意图感知的方法
技术领域
本发明涉及生物识别技术领域,具体是一种步态识别及意图感知的方法。
背景技术
助力型外骨骼机器人的控制策略是当前国内外研究的热点,准确的预测人体行走的状态是控制系统具有预见性及快速响应能力的前提及基础,其中比较有代表性的主要是利用人体足底压力、关节加速度、关节角速度等步态信息对步行状态进行识别判断。目前采集足底压力的方法主要有压力板、测试台和薄膜压力传感器,但压力板和测试台不方便移动,不能获取实时动态行走的数据,在足底特殊部位安装薄膜压力传感器获取的压力范围不全面,可能丢失关键的压力信息;王欣(王欣.基于卷积神经网络与足底压力信息的步态识别[D].安徽大学,2015)利用卷积神经网络与足底压力信息进行步态识别,仅仅引用了足底压力信息,特征单一,且其卷积神经网络算法识别准确性仅为93%。因此,能够提供一种融合多种步态信息,更加精确地实时进行步态识别及意图感知的方法是十分必要的。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提供一种步态识别及意图感知的方法。该步态识别及意图感知的方法建立实测数据库和仿真数据库之间的映射关系,利用AnyBody软件进行人体模型运动仿真得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,最后利用卷积神经网络算法CNN进行步态识别及意图感知,在不清楚人体现场所处姿势的情况下,可以得到人体当前的姿势,从而达到步态识别及感知人体意图的目的,克服了现有技术存在的压力采集范围不全面、特征单一、无法预测人体姿势及实时识别准确性和速率低的问题。
本发明解决所述技术问题采用的技术方案是,提供一种步态识别及意图感知的方法,该方法包括一套数据采集系统,用于采集足底压力、踝关节加速度和角速度信息;其特征在于,该方法包括:利用数据采集系统采集的实际数据信息建立实测数据库;接着利用AnyBody软件进行人体模型运动仿真得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,并建立仿真数据库;通过特征提取、特征匹配建立实测数据库和仿真数据库之间的映射关系,最后利用卷积神经网络算法进行步态识别,感知意图,在不清楚人体现场所处姿势的情况下,能得到人体当前的姿势,从而达到步态识别及感知人体意图的目的。
所述数据采集系统包括用于采集足底压力的安装有压力传感器鞋垫的智能鞋、数据采集卡、上位机;
所述压力传感器鞋垫的传感元件采用交叉电极形成的阵列式结构;
所述数据采集卡包括MCU、正弦电压产生电路、第二多路复用开关6、第一低通放大1、第一多路复用开关3、第二低通放大2、IMU模块,压力传感器鞋垫的输出端依次连接第一低通放大1、第一多路复用开关3、第二低通放大2、MCU、正弦电压产生电路、第二多路复用开关6至压力传感器鞋垫的输入端;由MCU自带的外设功能产生PWM矩形波,经过正弦电压产生电路5,第二多路复用开关6、鞋垫、第一低通放大1、第一多路复用开关3和第二低通放大2,最终由MCU的A/D转换后将足底压力信号成数字量存储;
IMU模块的SDA、SCL引脚分别与MCU的SDA、SCL引脚相连,实现对当前加速度,角速度和磁力的采集;
上位机接收数据采集卡的数据并进行预处理,具有图形显示界面,能实时显示足底压力变化的彩色图像和足部的速度、位置变化。
步态识别及意图感知的方法的具体步骤是:
第一步:建立实测数据库和仿真数据库
利用数据采集系统采集多人行走状态下的步态信息,并将每帧足底压力、踝关节加速度和角速度信息进行实时保存,建立实测数据库;
利用AnyBody软件定义体节、关节、运动、肌肉力和外载建立人体模型,在人体模型的足底布置与数据采集系统的鞋垫布置传感器数量位置一致的节点,对人体行走过程进行运动学和动力学仿真分析,得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,建立仿真数据库;
第二步:建立实测数据库和仿真数据库之间的映射关系
将两个数据库中的数据分别按照下述方式进行特征提取:根据足底的外形,提取足部的宽高比和接触面积形状特征;根据足底的结构特点,将足部按1:3:2的比例划分为脚趾部分、脚掌部分和脚跟部分,提取每部分的最大压力及其坐标值,各个部分占足底总压力的比例值;提取整个足底最大压力及其坐标值,总压力大小;提取踝关节X轴,Y轴,Z轴方向的加速度和角速度数据;
将以上特征融合组成特征向量,进行特征匹配,建立实测数据库和仿真数据库之间的映射关系;
第三步:建立训练集和测试集
对仿真数据库中的数据进行手动划分,将人体步态周期划分为足跟着地、足弓着地、足平放、足跟离地、足前支撑、足尖离地六个标准步态相位,建立训练集和测试集;
第四步:建立卷积神经网络CNN
(1)构建卷积神经网络的网络架构;
(2)初始化卷积神经网络的参数,权值、偏置、学习率、迭代次数;
(3)网络训练,完成前向运算,反向传播及参数更新;
(4)网络测试,测试准确率并绘图;
第五步:进行实时步态识别及意图感知
保存第四步训练好的卷积神经网络模型,用于实时步态相位识别,利用数据采集系统实时传上来的数据,经过第二步建立的映射关系特征映射后输入到卷积神经网络模型中,识别出目前人体足部所处的步态相位;再根据第一步建立的足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,确定当前测试者的人体姿态进而确定其动作意图。
与现有技术相比,本发明的有益效果是:
1)本发明方法同时获得仿真数据库和实测数据库,并建立实测数据库和仿真数据库之间的映射关系,利用AnyBody软件进行人体模型运动仿真得到其足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,进而能实现在识别步态的基础上,感知出人体姿态。
2)将足底压力信息和IMU信息融合,二者同频采集,并利用本申请设定的卷积神经网络算法架构进行步态识别,识别准确性可达95%以上。
3)本发明中的足底压力传感器的鞋垫采用导电银浆印刷,制备工艺简单,电阻小,导电性能好。
4)本发明中的数据采集卡将硬件电路滤波和软件信号滤波相结合,通过切换通道开关采集交流信号波谷点的方式得到信号幅值,进而表征输入端电容大小变化,同时采集足底压力数据和IMU数据,可以解决两者帧率不同或者延迟导致的数据不匹配的问题。
附图说明
图1为本发明一种步态识别及意图感知的方法一种实施例的整体结构示意图;
图2(a)为本发明一种步态识别及意图感知的方法一种实施例的数据采集卡硬件系统结构原理图;
图2(b)为本发明一种步态识别及意图感知的方法一种实施例的数据采集卡正弦电压产生电路图;
图2(c)为本发明一种步态识别及意图感知的方法一种实施例的数据采集卡第一低通放大电路图;
图2(d)为本发明一种步态识别及意图感知的方法一种实施例的数据采集卡第二低通放大电路图;
图3为本发明一种步态识别及意图感知的方法一种实施例的数据采集卡软件系统流程图;
图4为本发明一种步态识别及意图感知的方法一种实施例的步态相位转化图;
图5为本发明一种步态识别及意图感知的方法一种实施例的步态识别算法网络结构图;
图6为本发明一种步态识别及意图感知的方法一种实施例的各代训练分类准确率;
图7为本发明一种步态识别及意图感知的方法一种实施例的各次迭代最大值间误差平方和/2后部图;
图8为本发明一种步态识别及意图感知的方法一种实施例的步态识别算法实时识别结果图。
具体实施方式
下面结合实施例及附图进一步解释本发明,但并不以此作为对本申请权利要求保护范围的限定。
本发明一种步态识别及意图感知的方法(参见图1),该步态识别及意图感知的方法首先设计了一套数据采集系统,采集足底压力、踝关节加速度和角速度信息,建立实测数据库,接着利用AnyBody软件进行人体模型运动仿真得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,建立仿真数据库,通过特征提取、特征融合、特征匹配建立实测数据库和仿真数据库之间的映射关系,最后利用卷积神经网络算法CNN进行步态识别及意图感知,在不清楚人体现场所处姿势的情况下,可以得到人体当前的姿势,从而达到步态识别及感知人体意图的目的。
数据采集系统具体实施方案包括以下内容及步骤:
(1)制作一双安装压力传感器鞋垫的智能鞋。由于压力板和测试台不方便移动,在足底特殊部位安装薄膜压力传感器获取的压力范围不全面,本发明使用自制的安装压力传感器鞋垫的智能鞋,鞋垫布置有32行16列的电容测力单元,可实时检测人体动态行走过程中足底各个部位的压力信息。压力传感器鞋垫的传感元件是采用交叉电极形成的阵列式结构,假设上极板有m条电极,下极板有n条电极,上下两层电极在空间呈垂直分布,共形成m×n个电容单元,每个电容单元都类似平行板电容器,各电容单元容值大小可反应出所对应区域所受压力的变化情况,通过对传感元件上各电容单元容值采集即可实现分布式压力检测。该压力传感器由上缓冲层、上电极层、介电层、下电极层和下缓冲层构成,与专利号为ZL201920516473.5的中国专利相比,上电极层和下电极层的电极材料由原来的导电布粘贴变为了导电银浆印刷,其制作工艺更加简单方便,导电性能提高了50%以上,从而使传感器的精度更好。
(2)制作数据采集卡。其硬件部分(参见图2(a))压力信息采集具体是由MCU自带的外设功能产生PWM矩形波,经过正弦电压产生电路5(参见图2(b)),第二多路复用开关6、鞋垫、第一低通放大1(参见图2(c))、第一多路复用开关3和第二低通放大2(参见图2(d)),最终由MCU的A/D转换后将足底压力信号成数字量存储。IMU信息通过板载MPU9250芯片(IMU模块)的SDA、SCL引脚分别与MCU的SDA、SCL引脚相连,实现对当前加速度,角速度和磁力的采集。
正弦电压产生电路经过二阶低通滤波,将50%矩形波转换成正弦波,具体是由电容C1、电容C2、电容C3、电阻R1、电阻R2、电阻R3、电阻R4、放大器U1组成,其中电阻R1、电阻R2、电阻R3和电容C2共结点,电容C2另一端连接偏距电压Vref,电阻R1的另一端和电容C1串联接入MCU的PWM输出引脚,电阻R2的另一端接入放大器U1的输出端,电阻R3的另一端与电容C3共结点接入放大器U1的反相输入端,电容C3的另一端接入放大器U1的输出端,电阻R4一端接入偏距电压Vref,另一端接入放大器U1的正相输入端;经过一阶低通滤波,对前面输出的正弦波进行放大和整形,具体是由电容C4、电阻R5、电阻R6、放大器U2组成,其中电容C4和电阻R6并联后的两端分别接入放大器U2的反相输入端和输出端,电阻R5的一端连接放大器U1的输出端,另一端接入放大器U2的反相输入端,放大器U2的同相输入端连接偏距电压Vref,放大器U2的输出端连接第二多路复用开关的CY输入引脚;
第二多路复用开关6的CY为输入引脚,CY0-CY7为输出引脚,共4个开关;
第一低通放大1为80KHZ带宽反向有源低通放大,具体是由电阻R7、电阻R8、电容C5、放大器U3组成,其中电阻R7一端连接鞋垫多路信号中的一路CX0信号,另一端接入放大器U3的反相输入端,电容C5和电阻R8并联后两端分别接入放大器U3的反相输入端和输出端,放大器U3的正相输入端连接偏距电压Vref,放大器的输出端连接第一多路复用开关的AX0输入引脚;
第一多路复用开关3的AX0-AX7为输入引脚,CX为输出引脚,共4个开关;
第二低通放大2为110KHZ带宽反向有源低通放大,具体是由电阻R9、电阻R10、电阻R7、电容C6、电容C7、二极管D1、放大器U4组成,其中电阻R9一端连接第一多路复用开关的CX输出引脚,一端接入放大器U4的反相输入端,电容C6和电阻R10并联后两端分别接入放大器U4的反相输入端和输出端,放大器U4的正相输入端连接偏距电压Vref,电阻R11的一端连接放大器U4的输出端,另一端与二极管D1正极、电容C7共结点接入MCU的AD采集引脚,二极管D1负极连接3.3V电压,电容C7另一端接GND;
所述U1、U2、U4具体为OPA2350,U3具体为TLV2464A,八个多路复用开关为RS2251,MCU为STM32F405。
MCU内加载软件采集程序,具体程序流程为(参见图3):启动时首先是系统初始化,接着设置好PWM波形与频率,设置A/D与DMA传输,同时设置好1-2ms定时器,方便接下来以轮询的方式工作;之后开始做主要部分工作,即压力信息通过切换多路复用开关进行扫描采集,A/D转换的时间点会选择在信号的波谷点开启,IMU模块则以相同的频率采集加速度、角速度和磁力信息;判断定时器当前值是否清零(计时结束),没有结束则继续进行扫描采集,结束后则判断是否接收到发送数据命令,未接收到发送命令则将数据存储在DMA内存当中,并在DMA内存中对数据进行了滤波(滑动平均)处理,接收到发送命令则将DMA内存中的当前数据传送至串口;同时该数据采集卡上还集成了无线传输电路(wifi模块或蓝牙模块),利用无线串口将串口数据传至上位机。
相比现有的单独采集足底压力信息和IMU信息的数据采集卡来说,可以解决两者帧率不匹配存在时间差的弊端。
(3)数据预处理及图形界面显示。上位机接收数据采集卡的数据并进行预处理,处理足底压力信息主要用到了形态学处理(膨胀、腐蚀、开运算和闭运算),去除底层噪声,边缘噪声等,为了让采集到的压力信息更加平滑,也使得足底的轮廓信息更为清晰,对足底压力数据进行了插值运算;处理IMU信息进行姿态解算,将IMU模块实际测量出来的加速度、磁力数据和根据当前四元数的姿态值估算出的各重力分量、地磁分量进行对比求误差,将误差进行比例和积分运算用来修正角速度的积分结果,从而实现对四轴姿态的修正;为了更直观的观察人体足底压力和姿态的信息,编程设计了图形显示界面,可以实时显示足底压力变化的彩色图像和足部的速度、位置变化,显示效率可达1秒10帧以上。
步态识别及意图感知的方法具体实施方案包括以下内容及步骤:
(1)建立实测数据库和仿真数据库。利用上述数据采集系统采集多人行走状态下的步态信息,并将每帧足底压力、踝关节加速度和角速度信息进行实时保存,建立实测数据库。利用AnyBody软件定义体节、关节、运动、肌肉力和外载建立人体模型,在足底布置32行16列的节点(因为数据采集系统的鞋垫布置有32行16列的传感器),对人体行走过程进行运动学和动力学仿真分析,得到其足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,建立仿真数据库。
(2)建立实测数据库和仿真数据库之间的映射关系。将两个数据库中的数据分别按照行书方式进行特征提取:根据足底的外形,提取足部的宽高比和接触面积形状特征;根据足底的结构特点,将足部按1:3:2的比例划分为脚趾部分、脚掌部分和脚跟部分,提取每部分的最大压力及其坐标值,各个部分占足底总压力的比例值;提取整个足底最大压力及其坐标值,总压力大小;提取踝关节X轴,Y轴,Z轴方向的加速度和角速度数据;将以上特征融合组成特征向量(足部的宽高比、接触面积、每部分的最大压力及其坐标、各个部分占足底总压力的比例值、整个足部最大压力及其坐标、总压力大小),进行特征匹配,建立实测数据库和仿真数据库之间的映射关系。
(3)建立训练集和测试集。对仿真数据库进行手动划分,人体行走是一个周期性过程,同一条腿连续两次足跟着地构成一个步态周期,本专利将步态周期划分为足跟着地,足弓着地,足平放,足跟离地,足前支撑,足尖离地六个标准步态相位(参见图4),并对这六个步态相位进行识别分类及意图感知。
(4)建立卷积神经网络CNN,进行步态识别及意图感知。利用MATLAB软件编写步态识别及意图感知算法(卷积神经网络CNN),并将训练集和测试集应用于该算法的训练测试中,主要包括以下步骤:
1)构建卷积神经网络的网络架构(参见图5),综合卷积神经网络分类准确率和计算效率,确定卷积神经网络深度为5层(不含输出层和全连接层),选取训练集和测试集作为卷积神经网络的输入层,第一卷积层包含5-10个特征图,卷积核大小为5*5,步长为1,第一降采样层采用最大降采样法,降幅为2,第二卷积层包含10-20个特征图,卷积核大小为5*5,步长为1,第二降采样层采用最大降采样法,降幅为2,将人体运动步态相位作为卷积神经网络的输出,包括足跟着地、足弓着地、足平放、足跟离地、足弓离地、足尖离地6种步态。其中卷积层、全连接层和输出层的激活函数选用sigmoid函数,降采样层的激活函数选用y=x函数。
2)初始化卷积神经网络的参数。权值为-1到1之间的随机数,偏置为0,学习率为1,迭代次数为200,批次为20等。
3)网络训练,完成前向运算,反向传播及参数更新。损失函数为
Figure BDA0002472236310000061
其中,
Figure BDA0002472236310000062
为第j批次神经元的实际输出最大值,tjmax为输出层第j批次神经元的期望输出最大值,h为批次数量,所有批次顺序进行迭代,直至迭代次数后程序截止。对损失函数求一阶偏导,则网络权值更新公式为
Figure BDA0002472236310000063
其中,
Figure BDA0002472236310000064
为第l层第m个神经元与第l-1层第i个神经元的连接权值,η为学习率
4)网络测试,测试准确率并绘图。准确率计算公式为:
Figure BDA0002472236310000065
5)保存模型,进行实时步态识别及意图感知。
保存训练好的模型,用于实时步态相位识别,利用数据采集系统实时传上来的数据,经过步骤(2)建立的映射关系特征映射后输入到模型中,识别出目前人体足部所处的步态相位,再根据步骤(1)建立的足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,确定当前测试者的人体姿态进而确定其动作意图,用于后续一系列的控制决策,实时识别准确性高,速度快。
方案验证,首先建立实测数据库和仿真数据库,通过特征提取、特征融合、特征匹配建立实测数据库和仿真数据库之间的映射关系,然后将仿真数据库进行步态划分,对卷积神经网络进行训练,确定卷积神经网络每一层的连接权值,从而得到训练好的卷积神经网络,迭代200次识别准确率可达98%以上,最大值间误差率2%以下,保存模型(参见图6、图7);以普通成年人170cm、140kg,穿戴安装压力传感器鞋垫的智能鞋,将数据采集卡(大约尺寸5*5cm)固定于踝关节位置,实时采集人体行走过程的数据,进行特征映射后输入到卷积神经网络,得到目前人体所处的步态相位及人体姿势和意图(参见图8),经验证,本实施例可准确感知人体意图,进行步态识别。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本发明未述及之处适用于现有技术。

Claims (8)

1.一种步态识别及意图感知的方法,该方法包括一套数据采集系统,用于采集足底压力、踝关节加速度和角速度信息;其特征在于,该方法包括:利用数据采集系统采集的实际数据信息建立实测数据库;接着利用AnyBody软件进行人体模型运动仿真得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,并建立仿真数据库;通过特征提取、特征匹配建立实测数据库和仿真数据库之间的映射关系,最后利用卷积神经网络算法进行步态识别,感知意图,在不清楚人体现场所处姿势的情况下,能得到人体当前的姿势,从而达到步态识别及感知人体意图的目的。
2.根据权利要求1所述的步态识别及意图感知的方法,其特征在于,所述数据采集系统包括用于采集足底压力的安装有压力传感器鞋垫的智能鞋、数据采集卡、上位机;
所述压力传感器鞋垫的传感元件采用交叉电极形成的阵列式结构;
所述数据采集卡包括MCU、正弦电压产生电路、第二多路复用开关、第一低通放大、第一多路复用开关、第二低通放大、IMU模块,压力传感器鞋垫的输出端依次连接第一低通放大、第一多路复用开关、第二低通放大、MCU、正弦电压产生电路、第二多路复用开关至压力传感器鞋垫的输入端;由MCU自带的外设功能产生PWM矩形波,经过正弦电压产生电路,第二多路复用开关、鞋垫、第一低通放大、第一多路复用开关和第二低通放大,最终由MCU的A/D转换后将足底压力信号成数字量存储;
IMU模块的SDA、SCL引脚分别与MCU的SDA、SCL引脚相连,实现对当前加速度,角速度和磁力的采集;
上位机接收数据采集卡的数据并进行预处理,具有图形显示界面,能实时显示足底压力变化的彩色图像和足部的速度、位置变化。
3.根据权利要求2所述的方法,其特征在于,所述正弦电压产生电路经过二阶低通滤波,将50%矩形波转换成正弦波,具体电路构成是:由电容C1、电容C2、电容C3、电阻R1、电阻R2、电阻R3、电阻R4、放大器U1组成,其中电阻R1、电阻R2、电阻R3和电容C2共结点,电容C2另一端连接偏距电压Vref,电阻R1的另一端和电容C1串联接入MCU的PWM输出引脚,电阻R2的另一端接入放大器U1的输出端,电阻R3的另一端与电容C3共结点接入放大器U1的反相输入端,电容C3的另一端接入放大器U1的输出端,电阻R4一端接入偏距电压Vref,另一端接入放大器U1的正相输入端;
经过一阶低通滤波,对二阶低通滤波输出的正弦波进行放大和整形,具体电路构成是:由电容C4、电阻R5、电阻R6、放大器U2组成,其中电容C4和电阻R6并联后的两端分别接入放大器U2的反相输入端和输出端,电阻R5的一端连接放大器U1的输出端,另一端接入放大器U2的反相输入端,放大器U2的同相输入端连接偏距电压Vref,放大器U2的输出端连接第二多路复用开关的CY输入引脚;
第二多路复用开关的CY为输入引脚,CY0-CY7为输出引脚,共4个开关;
第一低通放大为80KHZ带宽反向有源低通放大,具体电路构成是:由电阻R7、电阻R8、电容C5、放大器U3组成,其中电阻R7一端连接鞋垫多路信号中的一路CX0信号,另一端接入放大器U3的反相输入端,电容C5和电阻R8并联后两端分别接入放大器U3的反相输入端和输出端,放大器U3的正相输入端连接偏距电压Vref,放大器的输出端连接第一多路复用开关的AX0输入引脚;
第一多路复用开关的AX0-AX7为输入引脚,CX为输出引脚,共4个开关;
第二低通放大为110KHZ带宽反向有源低通放大,具体电路构成是:由电阻R9、电阻R10、电阻R7、电容C6、电容C7、二极管D1、放大器U4组成,其中电阻R9一端连接第一多路复用开关的CX输出引脚,一端接入放大器U4的反相输入端,电容C6和电阻R10并联后两端分别接入放大器U4的反相输入端和输出端,放大器U4的正相输入端连接偏距电压Vref,电阻R11的一端连接放大器U4的输出端,另一端与二极管D1正极、电容C7共结点接入MCU的AD采集引脚,二极管D1负极连接3.3V电压,电容C7另一端接GND。
4.根据权利要求3所述的方法,其特征在于,所述放大器U1、放大器U2、放大器U4具体为OPA2350放大器,放大器U3具体为TLV2464A放大器,八个多路复用开关均为RS2251多路复用开关,MCU为STM32F405。
5.根据权利要求3所述的方法,其特征在于,MCU内加载软件采集程序,具体程序流程为(参见图3):启动时首先是系统初始化,接着设置好PWM波形与频率,设置A/D与DMA传输,同时设置好1-2ms定时器,方便接下来以轮询的方式工作;之后开始做主要部分工作,即压力信息通过切换多路复用开关进行扫描采集,A/D转换的时间点会选择在信号的波谷点开启,IMU模块则以相同的频率采集加速度、角速度和磁力信息;判断定时器当前值是否清零,即判断定时器是否计时结束,没有结束则继续进行扫描采集,结束后则判断是否接收到发送数据命令,未接收到发送命令则将数据存储在DMA内存当中,并在DMA内存中对数据进行了滤波处理,接收到发送命令则将DMA内存中的当前数据传送至串口;
同时该数据采集卡上还集成了无线传输电路,利用无线串口将串口数据传至上位机。
6.根据权利要求1所述的方法,其特征在于,步态识别及意图感知的方法的具体步骤是:
第一步:建立实测数据库和仿真数据库
利用数据采集系统采集多人行走状态下的步态信息,并将每帧足底压力、踝关节加速度和角速度信息进行实时保存,建立实测数据库;
利用AnyBody软件定义体节、关节、运动、肌肉力和外载建立人体模型,在人体模型的足底布置与数据采集系统的鞋垫布置传感器数量位置一致的节点,对人体行走过程进行运动学和动力学仿真分析,得到足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,建立仿真数据库;
第二步:建立实测数据库和仿真数据库之间的映射关系
将两个数据库中的数据分别按照下述方式进行特征提取:根据足底的外形,提取足部的宽高比和接触面积形状特征;根据足底的结构特点,将足部按1:3:2的比例划分为脚趾部分、脚掌部分和脚跟部分,提取每部分的最大压力及其坐标值,各个部分占足底总压力的比例值;提取整个足底最大压力及其坐标值,总压力大小;提取踝关节X轴,Y轴,Z轴方向的加速度和角速度数据;
将以上特征融合组成特征向量,进行特征匹配,建立实测数据库和仿真数据库之间的映射关系;
第三步:建立训练集和测试集
对仿真数据库中的数据进行手动划分,将人体步态周期划分为足跟着地、足弓着地、足平放、足跟离地、足前支撑、足尖离地六个标准步态相位,建立训练集和测试集;
第四步:建立卷积神经网络CNN
(1)构建卷积神经网络的网络架构;
(2)初始化卷积神经网络的参数,权值、偏置、学习率、迭代次数;
(3)网络训练,完成前向运算,反向传播及参数更新;
(4)网络测试,测试准确率并绘图;
第五步:进行实时步态识别及意图感知;
保存第四步训练好的卷积神经网络模型,用于实时步态相位识别,利用数据采集系统实时传上来的数据,经过第二步建立的映射关系特征映射后输入到卷积神经网络模型中,识别出目前人体足部所处的步态相位;再根据第一步建立的足底压力、踝关节加速度、角速度信息及相应人体姿态之间的对应关系,确定当前测试者的人体姿态进而确定其动作意图。
7.根据权利要求6所述的方法,其特征在于,所述卷积神经网络的网络架构为:卷积神经网络深度为5层,这五层中不含输出层和全连接层,选取训练集和测试集作为卷积神经网络的输入层,第一卷积层包含5-10个特征图,卷积核大小为5*5,步长为1,第一降采样层采用最大降采样法,降幅为2,第二卷积层包含10-20个特征图,卷积核大小为5*5,步长为1,第二降采样层采用最大降采样法,降幅为2;
将人体运动步态相位作为卷积神经网络的输出,包括足跟着地、足弓着地、足平放、足跟离地、足弓离地、足尖离地六种步态;
其中卷积层、全连接层和输出层的激活函数选用sigmoid函数,降采样层的激活函数选用y=x函数。
8.根据权利要求2所述的方法,其特征在于,安装压力传感器鞋垫的智能鞋,鞋垫布置有32行16列的电容测力单元,该压力传感器由上缓冲层、上电极层、介电层、下电极层和下缓冲层构成,上电极层和下电极层的电极材料为导电银浆印刷制成。
CN202010352050.1A 2020-04-28 2020-04-28 一种步态识别及意图感知的方法 Active CN111582108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352050.1A CN111582108B (zh) 2020-04-28 2020-04-28 一种步态识别及意图感知的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352050.1A CN111582108B (zh) 2020-04-28 2020-04-28 一种步态识别及意图感知的方法

Publications (2)

Publication Number Publication Date
CN111582108A true CN111582108A (zh) 2020-08-25
CN111582108B CN111582108B (zh) 2022-09-20

Family

ID=72124564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352050.1A Active CN111582108B (zh) 2020-04-28 2020-04-28 一种步态识别及意图感知的方法

Country Status (1)

Country Link
CN (1) CN111582108B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101219A (zh) * 2020-09-15 2020-12-18 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112287810A (zh) * 2020-10-27 2021-01-29 南京大学 一种可动态增加运动识别姿态的装置和方法
CN113180641A (zh) * 2021-04-12 2021-07-30 福建省立医院 一种慢性踝关节不稳者特征性步态识别系统
CN113298051A (zh) * 2021-07-26 2021-08-24 湖南灵之心心理学应用技术有限公司 基于感知地毯标定的人体形体精确测量系统及方法
CN114028775A (zh) * 2021-12-08 2022-02-11 福州大学 一种基于足底压力的踝关节运动意图识别方法及系统
CN114176571A (zh) * 2022-01-18 2022-03-15 北京航空航天大学 一种基于足底压力的运动状态检测系统
CN114777818A (zh) * 2022-03-09 2022-07-22 西门子数控(南京)有限公司 编码器的信号激励单元及编码器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104165637A (zh) * 2008-01-28 2014-11-26 佳明瑞士有限责任公司 用于确定运动感测装置的附着位置的方法和装置
CN105740523A (zh) * 2016-01-26 2016-07-06 西安交通大学 一种基于宿主骨应力环境的定制化假体优化设计方法
CN107890166A (zh) * 2017-11-03 2018-04-10 温州鞋都网络科技有限公司 一种基于足底压力姿态识别的智能鞋垫
CN110141239A (zh) * 2019-05-30 2019-08-20 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法
CN110303471A (zh) * 2018-03-27 2019-10-08 清华大学 助力外骨骼控制系统及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104165637A (zh) * 2008-01-28 2014-11-26 佳明瑞士有限责任公司 用于确定运动感测装置的附着位置的方法和装置
CN105740523A (zh) * 2016-01-26 2016-07-06 西安交通大学 一种基于宿主骨应力环境的定制化假体优化设计方法
CN107890166A (zh) * 2017-11-03 2018-04-10 温州鞋都网络科技有限公司 一种基于足底压力姿态识别的智能鞋垫
CN110303471A (zh) * 2018-03-27 2019-10-08 清华大学 助力外骨骼控制系统及控制方法
CN110141239A (zh) * 2019-05-30 2019-08-20 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SOKOLOVA等: "Gait recognition based on convolutional neural networks", 《REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
何楠: "异构双腿机器人步态规划及模式识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101219A (zh) * 2020-09-15 2020-12-18 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112101219B (zh) * 2020-09-15 2022-11-04 济南大学 一种面向老年陪护机器人的意图理解方法和系统
CN112287810A (zh) * 2020-10-27 2021-01-29 南京大学 一种可动态增加运动识别姿态的装置和方法
CN113180641A (zh) * 2021-04-12 2021-07-30 福建省立医院 一种慢性踝关节不稳者特征性步态识别系统
CN113298051A (zh) * 2021-07-26 2021-08-24 湖南灵之心心理学应用技术有限公司 基于感知地毯标定的人体形体精确测量系统及方法
CN114028775A (zh) * 2021-12-08 2022-02-11 福州大学 一种基于足底压力的踝关节运动意图识别方法及系统
CN114176571A (zh) * 2022-01-18 2022-03-15 北京航空航天大学 一种基于足底压力的运动状态检测系统
CN114777818A (zh) * 2022-03-09 2022-07-22 西门子数控(南京)有限公司 编码器的信号激励单元及编码器
CN114777818B (zh) * 2022-03-09 2024-03-15 西门子数控(南京)有限公司 编码器的信号激励单元及编码器

Also Published As

Publication number Publication date
CN111582108B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111582108B (zh) 一种步态识别及意图感知的方法
CN111368810B (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
Johnson et al. Predicting athlete ground reaction forces and moments from spatio-temporal driven CNN models
CN105125216B (zh) 一种基于足底压力的步态检测系统
CN110537922B (zh) 基于深度学习的人体行走过程下肢运动识别方法及系统
CN105795571B (zh) 一种用于外骨骼压力鞋的数据采集系统及方法
CN112766142B (zh) 足底压力图像处理方法、识别方法及步态分析系统
Kukreja et al. Deep learning in human gait recognition: An overview
CN108334827B (zh) 一种基于智能鞋的步态身份认证方法及智能鞋
Pasinetti et al. Assisted gait phase estimation through an embedded depth camera using modified random forest algorithm classification
CN113331829B (zh) 一种足底信息监测方法及智能鞋垫装置
KR101696909B1 (ko) 보행 단계 인식 시스템
Colella et al. Semi-passive RFID electronic devices with on-chip sensor fusion capabilities for motion capture and biomechanical analysis
CN113947119A (zh) 一种利用足底压力信号检测人体步态的方法
CN113283373A (zh) 一种用于增强深度相机检测肢体运动参数的方法
CN108903947A (zh) 步态分析方法、步态分析装置以及可读存储介质
CN116108391B (zh) 一种基于无监督学习的人体姿态分类识别系统
CN112102951A (zh) 一种基于人体体态估计算法的健康监测方法和装置
CN109924981A (zh) 一种高弓足检测系统及方法
CN111820902A (zh) 一种基于活动度特征的踝关节韧带损伤智能决策系统
CN116226727A (zh) 一种基于ai的运动识别系统
KR20210046121A (ko) 검출정보별 신경망 분석을 실시하여 파킨슨 환자 및 족관절염 환자를 식별하는 장치 및 방법
CN210697638U (zh) 具有检测压力、湿度和收集能量功能的足底压力传感器
Delgado et al. Estimation of joint angle from sEMG and inertial measurements based on deep learning approach
KR102565867B1 (ko) 지면 반력 측정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant