CN112487902B - 面向外骨骼的基于tcn-hmm的步态相位分类方法 - Google Patents
面向外骨骼的基于tcn-hmm的步态相位分类方法 Download PDFInfo
- Publication number
- CN112487902B CN112487902B CN202011312850.7A CN202011312850A CN112487902B CN 112487902 B CN112487902 B CN 112487902B CN 202011312850 A CN202011312850 A CN 202011312850A CN 112487902 B CN112487902 B CN 112487902B
- Authority
- CN
- China
- Prior art keywords
- tcn
- data
- gait
- hmm
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000001364 causal effect Effects 0.000 claims description 11
- 230000010339 dilation Effects 0.000 claims description 10
- 210000000689 upper leg Anatomy 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 210000003141 lower extremity Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 244000309466 calf Species 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1036—Measuring load distribution, e.g. podologic studies
- A61B5/1038—Measuring plantar pressure during gait
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6804—Garments; Clothes
- A61B5/6807—Footwear
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1657—Movement of interface, i.e. force application means
- A61H2201/1659—Free spatial automatic movement of interface within a working area, e.g. Robot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5071—Pressure sensors
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Dentistry (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Fuzzy Systems (AREA)
- Social Psychology (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
Abstract
本发明公开了面向外骨骼的基于TCN‑HMM的步态相位分类方法。本发明的具体步骤如下：1.IMU数据采集。2.对步骤1中采集的步态数据进行预处理。3.构建训练集和测试集。4.构建混合TCN‑HMM模型。5.利用训练集对混合TCN‑HMM模型进行训练。6.利用训练好的混合TCN‑HMM模型对新的行走IMU数据进行分类。本发明创新性地利用TCN网络来获取状态的后验概率，并利用后验概率获取HMM模型所需的发射概率，构成了混合TCN‑HMM模型，该模型将运动数据的时间特征与空间特征有机地结合在了一起并对步态相位信息进行了判别。本发明不仅得到了准确率很高的步态相位分类结果，同时抑制了错误的分类。
Description
技术领域
本发明属于下肢外骨骼人机协同运动控制领域，涉及一种基于混合TCN(TemporalConvolutional Networks)以及HMM(Hidden Markov Model)模型的人类行走步态相位分类方法。
背景技术
近年来，外骨骼机器人已经成为医疗、生活、工业和军事应用中的新兴技术。其中，下肢外骨骼体现出了巨大的价值，它将人的智力和机器人的“体力”完美结合，在助力、助老、助残及军事领域有广阔应用前景。
步态相位分类是分析步行运动的通用方法，不同步态相位的准确分类对于控制下肢外骨骼和检测用户意图至关重要。目前步态相位的识别方法通常可以分为两类，一是阈值方法，它通过设置不同的阈值来确定相应的步态相位信息。这种方法较为常见，但是这种方法比较粗糙，鲁棒性较低，很难处理复杂的情况。二是近年来不断发展的人工智能方法，研究人员们将不同类型的传感器数据处理后输入到机器学习或深度学习模型中，从而达到检测步态相位的目的。常用的算法包括支持向量机(SVM)、长短期记忆网络(LSTM)、隐马尔可夫模型(HMM)等，这些方法虽然也取得了较好的结果，但是它们并没有将数据的空间特征与时间特征有机地结合起来，因此仍有改进的空间。并且传统的基于计算机视觉，或者通过对肌电信号、足底压力信号进行处理分析的检测步态相位的方法在实际应用中都存在着鲁棒性不足，易受环境干扰且设备易磨损等问题。
发明内容
本发明的目的是针对现存方案存在的不足和改善需要，提出了一种基于TCN-HMM的步态相位实时分类方法。同时，为了解决当前许多人体运动信号采集装置所存在的易磨损、易受干扰等问题，本发明采用了更加便携、耐用且可靠的IMU传感器，它可以根据需要安装在身体的不同部位，从而获取丰富的人体运动信息。本发明通过混合TCN-HMM算法对高维IMU信号的空间特征和时间特征进行了提取和分析，实现了对人行走时步态相位的实时分类并将其应用到下肢外骨骼设备的控制中，帮助实现对下肢外骨骼设备行走运动的柔顺控制。
本发明的具体步骤如下：
步骤1.IMU数据采集
在一个或多个被试者的腰部、小腿部、大腿部设置IMU传感器。在被试者行走中采集步态数据。
步骤2.对步骤1中采集的步态数据进行预处理。
步骤3.构建训练集和测试集
3.1数据划分
将采集到的步态数据内的步态周期按照足跟接触、足平、脚趾脱离这三个步态事件划分为三个步态相位，并对各个相位打上标签，获得训练集。
3.2对步态数据进行数据分段。
步骤4.构建混合TCN-HMM模型
在TCN模型的输出层使用softmax激活函数，从而获得各个状态的后验概率，通过贝叶斯规则将后验概率转换为用于输入HMM模型的发射概率，使得HMM模型能够推断出最佳隐藏状态序列，即所分类的步态相位。
步骤5.利用训练集对混合TCN-HMM模型进行训练。
步骤6.利用训练好的混合TCN-HMM模型对新的行走IMU数据进行分类。
作为优选，步骤1中，被试者在行走时穿着带有足底压力传感器的压力鞋；步骤3.1中根据压力鞋中的压力传感器检测到的压力情况进行相位划分。
作为优选，步骤2中的预处理采用了5Hz三阶的巴特沃斯低通滤波。
作为优选，步骤3-2中，采用滑动窗口的方式进行数据分段，且滑动窗口采用固定窗口大小且有数据重叠。滑动的步长为1帧。
作为优选，步骤4的具体过程如下：
4.1TCN序列建模
将步骤3.2分段后的数据转化为一维向量输入到TCN网络中进行训练，训练所获得的TCN模型用于输出每一个相位类别的后验概率估计值。
TCN网络包括一维全卷积网络结构、因果卷积、扩张卷积以及残差连接。
1)一维全卷积网络结构：在一维全卷积网络结构中，每个隐藏层与输入层长度相同，并对后续层进行零填充以保持其长度与前一层相同。
2)因果卷积：卷积层在t时刻的输出仅与来自t时刻以及上一层中更早的元素卷积。
3)扩张卷积：对于输入的一维序列x，扩张卷积运算F(s)定义为:
其中，d为扩张因子；k为卷积核的大小；f(i)表示卷积核的第i个权重；xs-d·i表示输入的一维序列x中编号为s-d·i的元素；s为要进行扩张卷积运算的位置。
4)残差连接：使用残差模块来代替卷积层，残差模块主要包含两层扩张的因果卷积以及整流线性单元(ReLU)。同时，为了保证输入和残差模块的输出具有相同的宽度，额外使用了1×1卷积。
4.2HMM步态相位预测
将TCN网络输出层的每个单元与模型的特定状态相关联，训练它来估计每个状态的后验概率，即通过在输出层使用softmax激活函数获取状态y∈{1,…,Q}的分布：
其中，sy表示TCN网络输出层在使用softmax函数前的第y个输出值；Q表示状态数，即步态相位类型数。
TCN模型的输出值是基于输入的状态概率分布的估计值：
其中，表示代表状态yt的输出。
然后，再通过贝叶斯规则将输出的后验概率估计转换为HMM所需要的发射概率：
其中，p(yt)为先验概率，对于先验概率p(yt)本发明根据训练数据中每个步态相位出现的相对频率来进行估计；为比例系数。
最后，通过Viterbi算法推断出最佳隐藏状态序列。
本发明的有益效果是：
1、本发明创新性地利用TCN网络来获取状态的后验概率，并利用后验概率获取HMM模型所需的发射概率，构成了混合TCN-HMM模型，该模型将运动数据的时间特征与空间特征有机地结合在了一起并对步态相位信息进行了判别。不仅得到了准确率很高的步态相位分类结果，同时基于判别的学习抑制了错误的分类，对于下肢外骨骼设备的稳定控制具有重要意义。
2、本发明使用惯性传感器(IMU)来采集人体运动信息。IMU以非侵入的方式安装在人体相关部位，不会对使用者造成太多不便。同时，相比传统的足底压力或肌肉电信号的信息收集方式IMU具有便携、耐用、稳定性高的特点，从而为步态相位分类任务提供了稳定有效的运动数据。
附图说明
图1是本发明步态相位在线判别流程图；
图2为本发明采用混合TCN-HMM模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案和要点更加清楚，下面将结合附图对本发明实施方式做进一步地详细描述。
如图1所示，一种面向外骨骼的基于TCN-HMM的步态相位分类方法，包括以下步骤：
步骤1.IMU数据采集
将5个IMU传感器分别固定在被试者的腰部、左大腿、左小腿、右大腿、右小腿；大腿部的IMU传感器固定在大腿侧面膝关节上方约6cm处，小腿部的IMU传感器则固定在小腿侧面踝关节上方约10cm处。为了方便为不同步态相位的IMU信号打上标签，被试者也会被要求穿上带有足底压力传感器的压力鞋。压力鞋能够检测脚掌压力和脚跟压力；被试者以2km/h的速度进行直线步行运动。通过上位机设备实时地获取5个IMU传感器的三轴加速度、三轴角速度以及脚底压力数据，采样率为100Hz。
步骤2.IMU数据预处理
因为人类行走时左右腿的运动具有对称性，所以对分类模型的构建只选择单条腿的运动作为研究对象。本实例中选择左腿做为研究对象，故将腰部、左大腿和左小腿的IMU数据进行处理。
本发明采用了5Hz三阶的巴特沃斯低通滤波。对采集到的原始IMU传感器信号进行数据滤波处理，其目的是为了减少来自用户和传感器本身的噪声提高信噪比，从而减少干扰，提高深度学习模型构建的准确性。
步骤3.构建训练集和测试集
3.1数据划分
本发明中IMU数据的标签是依据步态事件来区分的。通过对之前采集的足底压力信息的分析，依据“足跟接触(Heel Strike)”、“足平(Foot Flat)”以及“脚趾脱离(ToeOff)”三个步态事件将一个步态周期分为三个相位，并将相应步态阶段的IMU数据帧打上标签。足跟接触对应的相位表示足跟接触地面到足尖接触地面之间的过程；足平对应的相位表示足尖接触地面到足尖离开地面之间的过程；脚趾脱离对应的相位表示足尖离开地面到足跟再次接触地面之间的过程。
针对每个被试者的行走IMU数据，以单个步态周期做为最小单位，从中抽取70％的步态周期数据作为训练集，记作Train_i；剩下的30％作为测试集，记作Test_i；其中，i表示第i个被试者。
3.2IMU数据分段
本发明中构建训练集和测试集的另一个步骤是数据分段，本发明使用滑动窗口的方式对连续的IMU数据流进行分段。本发明采用固定窗口大小且有数据重叠的数据分段方法，即一个数据窗口中包含多个数据帧；单个数据帧αt如式(3.1)所示；每个帧包含给定时刻的所有传感器的值，将一个数据窗口中的所有帧连接起来形成神经网络的输入向量。每个数据窗口的长度固定，滑动的步长为1帧，每个窗口的类别Yt是该数据窗口最后一个数据帧的类别如式(3.2)所示。单个窗口的数据Xt如式(3.3)所示：
αt＝[x1,t x2,t … xn,t] (3.1)
Yt＝yt (3.2)
其中，xi,t表示t时刻的第i个数据特征；len表示数据窗口的长度；n表示特征的维度，其值为18；yt表示t时刻数据帧αt的类别。
步骤4.如图2所示，构建混合TCN-HMM模型。
步态相位的快速而准确的判别往往对下肢外骨骼的流畅控制具有直接的影响。在本发明中，我们将时间卷积网络(TCN)强大的判别能力与隐马尔可夫模型(HMM)出色的动态时间规整能力相结合，从而为动态系统提供更好的分类结果。训练所得到的模型是一种混合TCN-HMM模型，其数据的空间特征通过TCN网络提取、时间特征通过HMM状态转换建模，并使用TCN网络对HMM的状态分布进行建模。
4.1TCN序列建模
本发明中使用的数据窗口长度为18，采集的传感数据的维度为18，即每个窗口为一个18*18的数据矩阵。我们运用序列建模的思想对训练数据进行建模：将每一个窗口的数据视为一维序列，并将它们以一个324×1的序列的形式输入到TCN网络中进行训练，训练所获得的TCN模型用于输出每一个相位类别的后验概率估计值。
本发明中所构建的TCN网络包括一维全卷积网络(1D FCN)结构、因果卷积(causalconvolutions)、扩张卷积(DilatedConvolutions)以及残差连接(Residual Connections)。
1)一维全卷积网络结构：在一维全卷积网络结构中，每个隐藏层与输入层长度相同，并对后续层进行零填充以保持其长度与前一层相同。
2)因果卷积：TCN网络使用了因果卷积，即卷积层在t时刻的输出仅与来自t时刻以及上一层中的更早的元素卷积。
3)扩张卷积：在本发明中输入的数据为一个324×1的长序列，为了加强网络在解决需要较长历史的任务时的性能，网络添加了扩张卷积。对于输入的一维序列x，以及包含k个参数的卷积核f，一维序列x中第s个元素的扩张卷积运算F(s)定义为:
其中，d为扩张因子；(x*d f)表示扩张因子为d的扩张卷积运算；k为卷积核的大小；f(i)表示卷积核的第i个权重；xs-d·i表示输入的一维序列中编号为s-d·i的元素；s为要进行扩张卷积运算的位置。扩张等效于在每两个过滤器之间引入一个固定的步长。使用较大的扩张参数可使顶层的输出能代表更大范围的输入，从而有效地扩展了卷积神经网络的感受域，使得网络可以在较大的范围内进行特征提取，从而得到了数据的空间特征。
4)残差连接：TCN网络中使用残差模块来替代卷积层，在残差模块内，TCN具有两层扩张的因果卷积，为此使用了整流线性单元(ReLU)。为了进行归一化，将权值归一化应用于卷积滤波器。此外，在每一次扩张卷积后添加空间缺失以进行正则化。同时，为了保证输入和残差模块的输出具有相同的宽度，额外使用了1×1卷积。
将预处理过的数据以1维序列的形式输入到TCN网络中进行模型训练，设置其超参数学习率lr＝0.002,优化器为adam，批次大小batch_size＝64,迭代次数epochs＝30。训练完成后得到TCN模型。
4.2HMM步态相位预测
在经典的隐马尔可夫建模方法中，必须针对马尔可夫链的每个状态yt估计发射概率密度在本发明中，可观察变量由传感器特征空间的特征组成，隐藏变量是要识别的步态相位类别。利用训练好的TCN模型作为发射概率的估计器，而采用标准隐马尔可夫模型(HMM)来捕捉时间动态信息。
将TCN网络输出层的每个单元与模型的特定状态相关联，训练它来估计每个状态的后验概率，即通过在输出层使用softmax激活函数获取状态y∈{1,…,Q}的分布：
其中，sy表示TCN网络输出层在使用softmax函数前的第y个输出值；Q表示状态数，即步态相位类型数。
而TCN模型的输出值是基于输入的状态概率分布的估计值：
其中，gyt表示代表状态yt的输出。
然后，再通过贝叶斯规则将输出的后验概率估计转换为HMM所需要的发射概率：
其中，p(yt)为先验概率，对于先验概率p(yt)本发明根据训练数据中每个步态相位出现的相对频率来进行估计；为比例系数，在模型的判别过程中/>对于所有状态都是常数，可以省略。因此，本发明中将/>直接作为HMM模型的发射概率使用。
本发明通过统计框架将将TCN分类模型与HMM模型集成为混合结构连接模型，从而利用TCN分类模型在每个时间片上获得具有更好判别性能的HMM所需的发射概率，且无需对数据的统计分布进行任何假设。
最后，通过Viterbi算法推断出最佳隐藏状态序列，即所分类的步态相位，从而得到分类结果。
步骤5.利用训练集对混合TCN-HMM模型进行训练。
使用训练集训练混合TCN-HMM模型，然后利用训练好的模型预测出测试集中数据所对应的类别。最后将预测分类结果与这些特征向量的实际类别进行比较，得到步态相位的分类准确率。分类的准确率为96.13％。
步骤6.利用训练好的混合TCN-HMM模型对新的行走IMU数据进行分类，所分类得到的步态相位结果为下肢外骨骼设备提供实时的步态相位信息，帮助对外骨骼设备进行更好的控制。
Claims (4)
1.面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：
步骤1.IMU数据采集
在一个或多个被试者的腰部、小腿部、大腿部设置IMU传感器；在被试者行走中采集步态数据；
步骤2.对步骤1中采集的步态数据进行预处理；
步骤3.构建训练集和测试集
3.1数据划分
并将采集到的步态数据内的步态周期按照足跟接触、足平、脚趾脱离这三个步态事件划分为三个步态相位，并对各个相位打上标签，获得训练集；
3.2对步态数据进行数据分段；
步骤4.构建混合TCN-HMM模型
在TCN模型的输出层使用softmax激活函数，从而获得各个状态的后验概率，通过贝叶斯规则将后验概率转换为用于输入HMM模型的发射概率，使得HMM模型能够推断出最佳隐藏状态序列，即所分类的步态相位；
步骤5.利用训练集对混合TCN-HMM模型进行训练；
步骤6.利用训练好的混合TCN-HMM模型对新的行走IMU数据进行分类；
步骤4的具体过程如下：
4.1TCN序列建模
将步骤3.2分段后的数据转化为一维向量输入到TCN网络中进行训练，训练所获得的TCN模型用于输出每一个相位类别的后验概率估计值；
TCN网络包括一维全卷积网络结构、因果卷积、扩张卷积以及残差连接；
1)一维全卷积网络结构：在一维全卷积网络结构中，每个隐藏层与输入层长度相同，并对后续层进行零填充以保持其长度与前一层相同；
2)因果卷积：卷积层在t时刻的输出仅与来自t时刻以及上一层中更早的元素卷积；
3)扩张卷积：对于输入的一维序列x，扩张卷积运算F(s)定义为:
其中，d为扩张因子；k为卷积核的大小；f(i)表示卷积核的第i个权重；xs-d·i表示输入的一维序列x中编号为s-d·i的元素；s为要进行扩张卷积运算的位置；
4)残差连接：使用残差模块来代替卷积层，残差模块主要包含两层扩张的因果卷积以及整流线性单元(ReLU)；同时，为了保证输入和残差模块的输出具有相同的宽度，额外使用了1×1卷积；
4.2HMM步态相位预测
将TCN网络输出层的每个单元与模型的特定状态相关联，训练它来估计每个状态的后验概率，即通过在输出层使用softmax激活函数获取状态y∈{1,…,Q}的分布：
其中，sy表示TCN网络输出层在使用softmax函数前的第y个输出值；Q表示状态数，即步态相位类型数；
TCN模型的输出值是基于输入的状态概率分布的估计值：
其中，表示代表状态yt的输出；
然后，再通过贝叶斯规则将输出的后验概率估计转换为HMM所需要的发射概率：
其中，p(yt)为先验概率，对于先验概率p(yt)本发明根据训练数据中每个步态相位出现的相对频率来进行估计；为比例系数；
最后，通过Viterbi算法推断出最佳隐藏状态序列。
2.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤1中，被试者在行走时穿着带有足底压力传感器的压力鞋；步骤3.1中根据压力鞋中的压力传感器检测到的压力情况进行相位划分。
3.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤2中的预处理采用了5Hz三阶的巴特沃斯低通滤波。
4.根据权利要求1所述的面向外骨骼的基于TCN-HMM的步态相位分类方法，其特征在于：步骤3-2中，采用滑动窗口的方式进行数据分段，且滑动窗口采用固定窗口大小且有数据重叠；滑动的步长为1帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011312850.7A CN112487902B (zh) | 2020-11-20 | 2020-11-20 | 面向外骨骼的基于tcn-hmm的步态相位分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011312850.7A CN112487902B (zh) | 2020-11-20 | 2020-11-20 | 面向外骨骼的基于tcn-hmm的步态相位分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112487902A CN112487902A (zh) | 2021-03-12 |
| CN112487902B true CN112487902B (zh) | 2024-02-02 |
Family
ID=74932406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011312850.7A Active CN112487902B (zh) | 2020-11-20 | 2020-11-20 | 面向外骨骼的基于tcn-hmm的步态相位分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112487902B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372538B (zh) * | 2022-03-22 | 2023-04-18 | 中国海洋大学 | 拖曳式传感器阵列中尺度涡时间序列卷积分类方法 |
| CN115517667A (zh) * | 2022-11-25 | 2022-12-27 | 安徽哈工标致医疗健康产业有限公司 | 一种基于辅助步行外骨骼训练器的步态评估系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170000451A (ko) * | 2015-06-23 | 2017-01-03 | 인하대학교 산학협력단 | 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법 |
| CN111611859A (zh) * | 2020-04-21 | 2020-09-01 | 河北工业大学 | 一种基于gru的步态识别方法 |
-
2020
- 2020-11-20 CN CN202011312850.7A patent/CN112487902B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170000451A (ko) * | 2015-06-23 | 2017-01-03 | 인하대학교 산학협력단 | 상하향 계단보행을 위한 근전도 신호 기반 보행단계 인식 방법 |
| CN111611859A (zh) * | 2020-04-21 | 2020-09-01 | 河北工业大学 | 一种基于gru的步态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112487902A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Human activity recognition based on motion sensor using u-net | |
| CN112754468B (zh) | 一种基于多源信号的人体下肢运动检测及识别方法 | |
| Attal et al. | Automatic recognition of gait phases using a multiple-regression hidden Markov model | |
| CN110427924A (zh) | 一种基于lstm的心冲击信号自动多分类识别方法 | |
| CN112487902B (zh) | 面向外骨骼的基于tcn-hmm的步态相位分类方法 | |
| Wang et al. | Quantitative assessment of dual gait analysis based on inertial sensors with body sensor network | |
| CN106210269A (zh) | 一种基于智能手机的人体动作识别系统及方法 | |
| CN110956141B (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
| Schmid et al. | SVM versus MAP on accelerometer data to distinguish among locomotor activities executed at different speeds | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| Tao et al. | Attention-based sensor fusion for human activity recognition using IMU signals | |
| CN112801009B (zh) | 基于双流网络的面部情感识别方法、装置、介质及设备 | |
| Kong et al. | Design of computer interactive system for sports training based on artificial intelligence and improved support vector | |
| Hu et al. | A novel fusion strategy for locomotion activity recognition based on multimodal signals | |
| Ding et al. | HAR-DeepConvLG: Hybrid deep learning-based model for human activity recognition in IoT applications | |
| Tan et al. | Phase variable based recognition of human locomotor activities across diverse gait patterns | |
| Su et al. | A novel method for short-time human activity recognition based on improved template matching technique | |
| CN115393956A (zh) | 改进注意力机制的CNN-BiLSTM跌倒检测方法 | |
| Arshad et al. | Gait-based human identification through minimum gait-phases and sensors | |
| CN113095379A (zh) | 一种基于穿戴式六轴传感数据的人体运动状态识别方法 | |
| CN113887335A (zh) | 基于多尺度时空层级网络的跌倒风险实时评估系统和方法 | |
| Karg et al. | Human movement analysis: Extension of the f-statistic to time series using hmm | |
| Zhang | Real-time detection of lower limb training stability function based on smart wearable sensors | |
| Xu et al. | An improved SVM method for movement recognition of lower limbs by MIMU and sEMG | |
| CN117690583B (zh) | 基于物联网的康复护理交互式管理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |