CN112487902A - 面向外骨骼的基于tcn-hmm的步态相位分类方法 - Google Patents

面向外骨骼的基于tcn-hmm的步态相位分类方法 Download PDF

Info

Publication number
CN112487902A
CN112487902A CN202011312850.7A CN202011312850A CN112487902A CN 112487902 A CN112487902 A CN 112487902A CN 202011312850 A CN202011312850 A CN 202011312850A CN 112487902 A CN112487902 A CN 112487902A
Authority
CN
China
Prior art keywords
tcn
hmm
gait
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011312850.7A
Other languages
English (en)
Other versions
CN112487902B (zh
Inventor
孔万增
王雪岩
王伟富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011312850.7A priority Critical patent/CN112487902B/zh
Publication of CN112487902A publication Critical patent/CN112487902A/zh
Application granted granted Critical
Publication of CN112487902B publication Critical patent/CN112487902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1657—Movement of interface, i.e. force application means
    • A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5071—Pressure sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明公开了面向外骨骼的基于TCN‑HMM的步态相位分类方法。本发明的具体步骤如下：1.IMU数据采集。2.对步骤1中采集的步态数据进行预处理。3.构建训练集和测试集。4.构建混合TCN‑HMM模型。5.利用训练集对混合TCN‑HMM模型进行训练。6.利用训练好的混合TCN‑HMM模型对新的行走IMU数据进行分类。本发明创新性地利用TCN网络来获取状态的后验概率，并利用后验概率获取HMM模型所需的发射概率，构成了混合TCN‑HMM模型，该模型将运动数据的时间特征与空间特征有机地结合在了一起并对步态相位信息进行了判别。本发明不仅得到了准确率很高的步态相位分类结果，同时抑制了错误的分类。

Description

面向外骨骼的基于TCN-HMM的步态相位分类方法
技术领域
本发明属于下肢外骨骼人机协同运动控制领域，涉及一种基于混合TCN(TemporalConvolutional Networks)以及HMM(Hidden Markov Model)模型的人类行走步态相位分类方法。
背景技术
近年来，外骨骼机器人已经成为医疗、生活、工业和军事应用中的新兴技术。其中，下肢外骨骼体现出了巨大的价值，它将人的智力和机器人的“体力”完美结合，在助力、助老、助残及军事领域有广阔应用前景。
步态相位分类是分析步行运动的通用方法，不同步态相位的准确分类对于控制下肢外骨骼和检测用户意图至关重要。目前步态相位的识别方法通常可以分为两类，一是阈值方法，它通过设置不同的阈值来确定相应的步态相位信息。这种方法较为常见，但是这种方法比较粗糙，鲁棒性较低，很难处理复杂的情况。二是近年来不断发展的人工智能方法，研究人员们将不同类型的传感器数据处理后输入到机器学习或深度学习模型中，从而达到检测步态相位的目的。常用的算法包括支持向量机(SVM)、长短期记忆网络(LSTM)、隐马尔可夫模型(HMM)等，这些方法虽然也取得了较好的结果，但是它们并没有将数据的空间特征与时间特征有机地结合起来，因此仍有改进的空间。并且传统的基于计算机视觉，或者通过对肌电信号、足底压力信号进行处理分析的检测步态相位的方法在实际应用中都存在着鲁棒性不足，易受环境干扰且设备易磨损等问题。
发明内容
本发明的目的是针对现存方案存在的不足和改善需要，提出了一种基于TCN-HMM的步态相位实时分类方法。同时，为了解决当前许多人体运动信号采集装置所存在的易磨损、易受干扰等问题，本发明采用了更加便携、耐用且可靠的IMU传感器，它可以根据需要安装在身体的不同部位，从而获取丰富的人体运动信息。本发明通过混合TCN-HMM算法对高维IMU信号的空间特征和时间特征进行了提取和分析，实现了对人行走时步态相位的实时分类并将其应用到下肢外骨骼设备的控制中，帮助实现对下肢外骨骼设备行走运动的柔顺控制。
本发明的具体步骤如下：
步骤1.IMU数据采集
在一个或多个被试者的腰部、小腿部、大腿部设置IMU传感器。在被试者行走中采集步态数据。
步骤2.对步骤1中采集的步态数据进行预处理。
步骤3.构建训练集和测试集
3.1数据划分
将采集到的步态数据内的步态周期按照足跟接触、足平、脚趾脱离这三个步态事件划分为三个步态相位，并对各个相位打上标签，获得训练集。
3.2对步态数据进行数据分段。
步骤4.构建混合TCN-HMM模型
在TCN模型的输出层使用softmax激活函数，从而获得各个状态的后验概率，通过贝叶斯规则将后验概率转换为用于输入HMM模型的发射概率，使得HMM模型能够推断出最佳隐藏状态序列，即所分类的步态相位。
步骤5.利用训练集对混合TCN-HMM模型进行训练。
步骤6.利用训练好的混合TCN-HMM模型对新的行走IMU数据进行分类。
作为优选，步骤1中，被试者在行走时穿着带有足底压力传感器的压力鞋；步骤3.1中根据压力鞋中的压力传感器检测到的压力情况进行相位划分。
作为优选，步骤2中的预处理采用了5Hz三阶的巴特沃斯低通滤波。
作为优选，步骤3-2中，采用滑动窗口的方式进行数据分段，且滑动窗口采用固定窗口大小且有数据重叠。滑动的步长为1帧。
作为优选，步骤4的具体过程如下：
4.1TCN序列建模
将步骤3.2分段后的数据转化为一维向量输入到TCN网络中进行训练，训练所获得的TCN模型用于输出每一个相位类别的后验概率估计值。
TCN网络包括一维全卷积网络结构、因果卷积、扩张卷积以及残差连接。
1)一维全卷积网络结构：在一维全卷积网络结构中，每个隐藏层与输入层长度相同，并对后续层进行零填充以保持其长度与前一层相同。
2)因果卷积：卷积层在t时刻的输出仅与来自t时刻以及上一层中更早的元素卷积。
3)扩张卷积：对于输入的一维序列x，扩张卷积运算F(s)定义为:
Figure BDA0002790358990000021
其中，d为扩张因子；k为卷积核的大小；f(i)表示卷积核的第i个权重；xs-d·i表示输入的一维序列x中编号为s-d·i的元素；s为要进行扩张卷积运算的位置。
4)残差连接：使用残差模块来代替卷积层，残差模块主要包含两层扩张的因果卷积以及整流线性单元(ReLU)。同时，为了保证输入和残差模块的输出具有相同的宽度，额外使用了1×1卷积。
4.2HMM步态相位预测
将TCN网络输出层的每个单元与模型的特定状态相关联，训练它来估计每个状态的后验概率，即通过在输出层使用softmax激活函数获取状态y∈{1,…,Q}的分布：
Figure BDA0002790358990000031
其中，sy表示TCN网络输出层在使用softmax函数前的第y个输出值；Q表示状态数，即步态相位类型数。
TCN模型的输出值是基于输入的状态概率分布的估计值：
Figure BDA0002790358990000032
其中，
Figure BDA0002790358990000036
表示代表状态yt的输出。
然后，再通过贝叶斯规则将输出的后验概率估计
Figure BDA0002790358990000033
转换为HMM所需要的发射概率：
Figure BDA0002790358990000034
其中，p(yt)为先验概率，对于先验概率p(yt)本发明根据训练数据中每个步态相位出现的相对频率来进行估计；
Figure BDA0002790358990000035
为比例系数。
最后，通过Viterbi算法推断出最佳隐藏状态序列。
本发明的有益效果是：
1、本发明创新性地利用TCN网络来获取状态的后验概率，并利用后验概率获取HMM模型所需的发射概率，构成了混合TCN-HMM模型，该模型将运动数据的时间特征与空间特征有机地结合在了一起并对步态相位信息进行了判别。不仅得到了准确率很高的步态相位分类结果，同时基于判别的学习抑制了错误的分类，对于下肢外骨骼设备的稳定控制具有重要意义。
2、本发明使用惯性传感器(IMU)来采集人体运动信息。IMU以非侵入的方式安装在人体相关部位，不会对使用者造成太多不便。同时，相比传统的足底压力或肌肉电信号的信息收集方式IMU具有便携、耐用、稳定性高的特点，从而为步态相位分类任务提供了稳定有效的运动数据。
附图说明
图1是本发明步态相位在线判别流程图；
图2为本发明采用混合TCN-HMM模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案和要点更加清楚，下面将结合附图对本发明实施方式做进一步地详细描述。
如图1所示，一种面向外骨骼的基于TCN-HMM的步态相位分类方法，包括以下步骤：
步骤1.IMU数据采集
将5个IMU传感器分别固定在被试者的腰部、左大腿、左小腿、右大腿、右小腿；大腿部的IMU传感器固定在大腿侧面膝关节上方约6cm处，小腿部的IMU传感器则固定在小腿侧面踝关节上方约10cm处。为了方便为不同步态相位的IMU信号打上标签，被试者也会被要求穿上带有足底压力传感器的压力鞋。压力鞋能够检测脚掌压力和脚跟压力；被试者以2km/h的速度进行直线步行运动。通过上位机设备实时地获取5个IMU传感器的三轴加速度、三轴角速度以及脚底压力数据，采样率为100Hz。
步骤2.IMU数据预处理
因为人类行走时左右腿的运动具有对称性，所以对分类模型的构建只选择单条腿的运动作为研究对象。本实例中选择左腿做为研究对象，故将腰部、左大腿和左小腿的IMU数据进行处理。
本发明采用了5Hz三阶的巴特沃斯低通滤波。对采集到的原始IMU传感器信号进行数据滤波处理，其目的是为了减少来自用户和传感器本身的噪声提高信噪比，从而减少干扰，提高深度学习模型构建的准确性。
步骤3.构建训练集和测试集
3.1数据划分
本发明中IMU数据的标签是依据步态事件来区分的。通过对之前采集的足底压力信息的分析，依据“足跟接触(Heel Strike)”、“足平(Foot Flat)”以及“脚趾脱离(ToeOff)”三个步态事件将一个步态周期分为三个相位，并将相应步态阶段的IMU数据帧打上标签。足跟接触对应的相位表示足跟接触地面到足尖接触地面之间的过程；足平对应的相位表示足尖接触地面到足尖离开地面之间的过程；脚趾脱离对应的相位表示足尖离开地面到足跟再次接触地面之间的过程。
针对每个被试者的行走IMU数据，以单个步态周期做为最小单位，从中抽取70％的步态周期数据作为训练集，记作Train_i；剩下的30％作为测试集，记作Test_i；其中，i表示第i个被试者。
3.2IMU数据分段
本发明中构建训练集和测试集的另一个步骤是数据分段，本发明使用滑动窗口的方式对连续的IMU数据流进行分段。本发明采用固定窗口大小且有数据重叠的数据分段方法，即一个数据窗口中包含多个数据帧；单个数据帧αt如式(3.1)所示；每个帧包含给定时刻的所有传感器的值，将一个数据窗口中的所有帧连接起来形成神经网络的输入向量。每个数据窗口的长度固定，滑动的步长为1帧，每个窗口的类别Yt是该数据窗口最后一个数据帧的类别如式(3.2)所示。单个窗口的数据Xt如式(3.3)所示：
αt＝[x1,t x2,t … xn,t] (3.1)
Yt＝yt (3.2)
Figure BDA0002790358990000051
其中，xi,t表示t时刻的第i个数据特征；len表示数据窗口的长度；n表示特征的维度，其值为18；yt表示t时刻数据帧αt的类别。
步骤4.如图2所示，构建混合TCN-HMM模型。
步态相位的快速而准确的判别往往对下肢外骨骼的流畅控制具有直接的影响。在本发明中，我们将时间卷积网络(TCN)强大的判别能力与隐马尔可夫模型(HMM)出色的动态时间规整能力相结合，从而为动态系统提供更好的分类结果。训练所得到的模型是一种混合TCN-HMM模型，其数据的空间特征通过TCN网络提取、时间特征通过HMM状态转换建模，并使用TCN网络对HMM的状态分布进行建模。
4.1TCN序列建模
本发明中使用的数据窗口长度为18，采集的传感数据的维度为18，即每个窗口为一个18*18的数据矩阵。我们运用序列建模的思想对训练数据进行建模：将每一个窗口的数据视为一维序列，并将它们以一个324×1的序列的形式输入到TCN网络中进行训练，训练所获得的TCN模型用于输出每一个相位类别的后验概率估计值。
本发明中所构建的TCN网络包括一维全卷积网络(1D FCN)结构、因果卷积(causalconvolutions)、扩张卷积(DilatedConvolutions)以及残差连接(ResidualConnections)。
1)一维全卷积网络结构：在一维全卷积网络结构中，每个隐藏层与输入层长度相同，并对后续层进行零填充以保持其长度与前一层相同。
2)因果卷积：TCN网络使用了因果卷积，即卷积层在t时刻的输出仅与来自t时刻以及上一层中的更早的元素卷积。
3)扩张卷积：在本发明中输入的数据为一个324×1的长序列，为了加强网络在解决需要较长历史的任务时的性能，网络添加了扩张卷积。对于输入的一维序列x，以及包含k个参数的卷积核f，一维序列x中第s个元素的扩张卷积运算F(s)定义为:
Figure BDA0002790358990000061
其中，d为扩张因子；(x*d f)表示扩张因子为d的扩张卷积运算；k为卷积核的大小；f(i)表示卷积核的第i个权重；xs-d·i表示输入的一维序列中编号为s-d·i的元素；s为要进行扩张卷积运算的位置。扩张等效于在每两个过滤器之间引入一个固定的步长。使用较大的扩张参数可使顶层的输出能代表更大范围的输入，从而有效地扩展了卷积神经网络的感受域，使得网络可以在较大的范围内进行特征提取，从而得到了数据的空间特征。
4)残差连接：TCN网络中使用残差模块来替代卷积层，在残差模块内，TCN具有两层扩张的因果卷积，为此使用了整流线性单元(ReLU)。为了进行归一化，将权值归一化应用于卷积滤波器。此外，在每一次扩张卷积后添加空间缺失以进行正则化。同时，为了保证输入和残差模块的输出具有相同的宽度，额外使用了1×1卷积。
将预处理过的数据以1维序列的形式输入到TCN网络中进行模型训练，设置其超参数学习率lr＝0.002,优化器为adam，批次大小batch_size＝64,迭代次数epochs＝30。训练完成后得到TCN模型。
4.2HMM步态相位预测
在经典的隐马尔可夫建模方法中，必须针对马尔可夫链的每个状态yt估计发射概率密度
Figure BDA0002790358990000062
在本发明中，可观察变量由传感器特征空间的特征组成，隐藏变量是要识别的步态相位类别。利用训练好的TCN模型作为发射概率的估计器，而采用标准隐马尔可夫模型(HMM)来捕捉时间动态信息。
将TCN网络输出层的每个单元与模型的特定状态相关联，训练它来估计每个状态的后验概率，即通过在输出层使用softmax激活函数获取状态y∈{1,…,Q}的分布：
Figure BDA0002790358990000071
其中，sy表示TCN网络输出层在使用softmax函数前的第y个输出值；Q表示状态数，即步态相位类型数。
而TCN模型的输出值是基于输入的状态概率分布的估计值：
Figure BDA0002790358990000072
其中，gyt表示代表状态yt的输出。
然后，再通过贝叶斯规则将输出的后验概率估计
Figure BDA0002790358990000073
转换为HMM所需要的发射概率：
Figure BDA0002790358990000074
其中，p(yt)为先验概率，对于先验概率p(yt)本发明根据训练数据中每个步态相位出现的相对频率来进行估计；
Figure BDA0002790358990000075
为比例系数，在模型的判别过程中
Figure BDA0002790358990000076
对于所有状态都是常数，可以省略。因此，本发明中将
Figure BDA0002790358990000077
直接作为HMM模型的发射概率使用。
本发明通过统计框架将将TCN分类模型与HMM模型集成为混合结构连接模型，从而利用TCN分类模型在每个时间片上获得具有更好判别性能的HMM所需的发射概率，且无需对数据的统计分布进行任何假设。
最后，通过Viterbi算法推断出最佳隐藏状态序列，即所分类的步态相位，从而得到分类结果。
步骤5.利用训练集对混合TCN-HMM模型进行训练。
使用训练集训练混合TCN-HMM模型，然后利用训练好的模型预测出测试集中数据所对应的类别。最后将预测分类结果与这些特征向量的实际类别进行比较，得到步态相位的分类准确率。分类的准确率为96.13％。
步骤6.利用训练好的混合TCN-HMM模型对新的行走IMU数据进行分类，所分类得到的步态相位结果为下肢外骨骼设备提供实时的步态相位信息，帮助对外骨骼设备进行更好的控制。

Claims (5)

1.面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：
步骤1.IMU数据采集
在一个或多个被试者的腰部、小腿部、大腿部设置IMU传感器；在被试者行走中采集步态数据；
步骤2.对步骤1中采集的步态数据进行预处理；
步骤3.构建训练集和测试集
3.1数据划分
并将采集到的步态数据内的步态周期按照足跟接触、足平、脚趾脱离这三个步态事件划分为三个步态相位，并对各个相位打上标签，获得训练集；
3.2对步态数据进行数据分段；
步骤4.构建混合TCN-HMM模型
在TCN模型的输出层使用softmax激活函数，从而获得各个状态的后验概率，通过贝叶斯规则将后验概率转换为用于输入HMM模型的发射概率，使得HMM模型能够推断出最佳隐藏状态序列，即所分类的步态相位；
步骤5.利用训练集对混合TCN-HMM模型进行训练；
步骤6.利用训练好的混合TCN-HMM模型对新的行走IMU数据进行分类。
2.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤1中，被试者在行走时穿着带有足底压力传感器的压力鞋；步骤3.1中根据压力鞋中的压力传感器检测到的压力情况进行相位划分。
3.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤2中的预处理采用了5Hz三阶的巴特沃斯低通滤波。
4.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤3-2中，采用滑动窗口的方式进行数据分段，且滑动窗口采用固定窗口大小且有数据重叠；滑动的步长为1帧。
5.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤4的具体过程如下：
4.1 TCN序列建模
将步骤3.2分段后的数据转化为一维向量输入到TCN网络中进行训练，训练所获得的TCN模型用于输出每一个相位类别的后验概率估计值；
TCN网络包括一维全卷积网络结构、因果卷积、扩张卷积以及残差连接；
1)一维全卷积网络结构：在一维全卷积网络结构中，每个隐藏层与输入层长度相同，并对后续层进行零填充以保持其长度与前一层相同；
2)因果卷积：卷积层在t时刻的输出仅与来自t时刻以及上一层中更早的元素卷积；
3)扩张卷积：对于输入的一维序列x，扩张卷积运算F(s)定义为:
Figure FDA0002790358980000021
其中，d为扩张因子；k为卷积核的大小；f(i)表示卷积核的第i个权重；xs-d·i表示输入的一维序列x中编号为s-d·i的元素；s为要进行扩张卷积运算的位置；
4)残差连接：使用残差模块来代替卷积层，残差模块主要包含两层扩张的因果卷积以及整流线性单元(ReLU)；同时，为了保证输入和残差模块的输出具有相同的宽度，额外使用了1×1卷积；
4.2HMM步态相位预测
将TCN网络输出层的每个单元与模型的特定状态相关联，训练它来估计每个状态的后验概率，即通过在输出层使用softmax激活函数获取状态y∈{1,…,Q}的分布：
Figure FDA0002790358980000022
其中，sy表示TCN网络输出层在使用softmax函数前的第y个输出值；Q表示状态数，即步态相位类型数；
TCN模型的输出值是基于输入的状态概率分布的估计值：
Figure FDA0002790358980000023
其中，
Figure FDA0002790358980000024
表示代表状态yt的输出；
然后，再通过贝叶斯规则将输出的后验概率估计
Figure FDA0002790358980000025
转换为HMM所需要的发射概率：
Figure FDA0002790358980000026
其中，p(yt)为先验概率，对于先验概率p(yt)本发明根据训练数据中每个步态相位出现的相对频率来进行估计；
Figure FDA0002790358980000031
为比例系数；
最后，通过Viterbi算法推断出最佳隐藏状态序列。
CN202011312850.7A 2020-11-20 2020-11-20 面向外骨骼的基于tcn-hmm的步态相位分类方法 Active CN112487902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011312850.7A CN112487902B (zh) 2020-11-20 2020-11-20 面向外骨骼的基于tcn-hmm的步态相位分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011312850.7A CN112487902B (zh) 2020-11-20 2020-11-20 面向外骨骼的基于tcn-hmm的步态相位分类方法

Publications (2)

Publication Number Publication Date
CN112487902A true CN112487902A (zh) 2021-03-12
CN112487902B CN112487902B (zh) 2024-02-02

Family

ID=74932406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011312850.7A Active CN112487902B (zh) 2020-11-20 2020-11-20 面向外骨骼的基于tcn-hmm的步态相位分类方法

Country Status (1)

Country Link
CN (1) CN112487902B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372538A (zh) * 2022-03-22 2022-04-19 中国海洋大学 拖曳式传感器阵列中尺度涡时间序列卷积分类方法
CN115517667A (zh) * 2022-11-25 2022-12-27 安徽哈工标致医疗健康产业有限公司 一种基于辅助步行外骨骼训练器的步态评估系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170000451A (ko) * 2015-06-23 2017-01-03 인하대학교 산학협력단 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법
CN111611859A (zh) * 2020-04-21 2020-09-01 河北工业大学 一种基于gru的步态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170000451A (ko) * 2015-06-23 2017-01-03 인하대학교 산학협력단 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법
CN111611859A (zh) * 2020-04-21 2020-09-01 河北工业大学 一种基于gru的步态识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372538A (zh) * 2022-03-22 2022-04-19 中国海洋大学 拖曳式传感器阵列中尺度涡时间序列卷积分类方法
CN115517667A (zh) * 2022-11-25 2022-12-27 安徽哈工标致医疗健康产业有限公司 一种基于辅助步行外骨骼训练器的步态评估系统及方法

Also Published As

Publication number Publication date
CN112487902B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
Attal et al. Automatic recognition of gait phases using a multiple-regression hidden Markov model
Tan et al. Time series classification using a modified LSTM approach from accelerometer-based data: A comparative study for gait cycle detection
CN112754468B (zh) 一种基于多源信号的人体下肢运动检测及识别方法
Wang et al. Integral real-time locomotion mode recognition based on GA-CNN for lower limb exoskeleton
CN109953761A (zh) 一种下肢康复机器人感知系统及运动意图推理方法
CN112487902B (zh) 面向外骨骼的基于tcn-hmm的步态相位分类方法
CN106210269A (zh) 一种基于智能手机的人体动作识别系统及方法
CN108171278A (zh) 一种基于运动训练数据的运动模式识别方法和系统
Papageorgiou et al. Experimental validation of human pathological gait analysis for an assisted living intelligent robotic walker
Sun et al. Continuous estimation of human knee joint angles by fusing kinematic and myoelectric signals
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
CN117690583B (zh) 基于物联网的康复护理交互式管理系统及方法
Zhang et al. Deep learning analysis based on multi-sensor fusion data for hemiplegia rehabilitation training system for stoke patients
Huang et al. A gait phase detection method in complex environment based on DTW-mean templates
Zhang et al. Gaussian-guided feature alignment for unsupervised cross-subject adaptation
Tan et al. Phase variable based recognition of human locomotor activities across diverse gait patterns
Barua et al. Deep learning techniques in estimating ankle joint power using wearable IMUs
Hu et al. A novel fusion strategy for locomotion activity recognition based on multimodal signals
Liu et al. A novel method for detecting misclassifications of the locomotion mode in lower-limb exoskeleton robot control
Yin et al. Research on Recognition of Human Motion State Based on Force and Motion Sensor Fusion
Zhang et al. Recent development in human motion and gait prediction
Arshad et al. Gait-based human identification through minimum gait-phases and sensors
Wang et al. A New Hidden Markov Model Algorithm to Detect Human Gait Phase Based on Information Fusion Combining Inertial with Plantar Pressure.
Qin et al. Lower Limb Motion Classification Using Energy Density Features of Surface Electromyography Signals’ Activation Region and Dynamic Ensemble Model
CN113887486B (zh) 基于时空注意力增强图卷积的异常步态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant