CN113705353B - 一种基于周期帧全局特征的下肢运动模式识别方法及系统 - Google Patents
一种基于周期帧全局特征的下肢运动模式识别方法及系统 Download PDFInfo
- Publication number
- CN113705353B CN113705353B CN202110876064.8A CN202110876064A CN113705353B CN 113705353 B CN113705353 B CN 113705353B CN 202110876064 A CN202110876064 A CN 202110876064A CN 113705353 B CN113705353 B CN 113705353B
- Authority
- CN
- China
- Prior art keywords
- motion
- joint angle
- lower limb
- matrix
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 207
- 210000003141 lower extremity Anatomy 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000737 periodic effect Effects 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 210000004394 hip joint Anatomy 0.000 claims abstract description 22
- 210000000629 knee joint Anatomy 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012567 pattern recognition method Methods 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 14
- 230000000875 corresponding effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 210000000689 upper leg Anatomy 0.000 claims description 9
- 244000309466 calf Species 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000003909 pattern recognition Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000009432 framing Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于周期帧全局特征的下肢运动模式识别方法及系统，方法过程包括：对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理，得到融合后的矩阵；利用融合后的矩阵识别、提取运动周期帧；基于运动周期帧，对融合后的矩阵进行特征提取，得到不同运动周期的帧的全局特征；根据不同运动周期的帧的全局特征，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别。本发明采用根据运动周期分帧、进行全局特征提取，识别准确率受滑动窗口长度影响小，无需根据经验反复调试选择最佳的窗口长度，对运动模式的平均识别准确率高，利于改善机器人的人机交互性，提高人机协调控制性能，促进可穿戴式智能设备的发展。
Description
技术领域
本发明涉及人体运动模式识别技术领域，特别是涉及一种基于周期帧全局特征的下肢运动模式识别方法及系统。
背景技术
人体运动模式识别能够实现不同场景下对人体整体或者局部肢体的运动模式的识别，具有广泛的运用。例如外骨骼机器人的感知系统需要根据人体运动模式和环境的变换，及时自主调整控制策略与感知参数，以提高机器人的自适应性和智能化水平。因此，如何提高人体下肢运动模式识别的准确性将是改善机器人的人机交互性，提高人机协调控制性能的重要途径。从信号的来源可以将目前的人体下肢运动模式的识别分为基于生物电信号的识别与基于物理运动信号的识别。由于在感知原理和手段的不同，二者在信号获取的可靠性、识别预测的精度和速度等方面存在较大差异。脑电信号产生于意图形成的最前端，相对实际动作具有意图信号提前量大的优势，但对于非侵入式的脑机接口，仍存在信号带宽高、噪声大带来的辨识难度高的问题，距离实际应用还存在较大挑战。肌电信号产生于肌肉的收缩过程，一般超前于实际动作30～150ms，是一种理想的意图感知信号。但是由于肌电传感器对佩戴环境要求较高，同时受穿戴者个体差异、汗液和皮肤温度等因素的影响较大，在信号感知的稳定性和适应性方面还需进一步的加强。相比之下基于物理运动信号的感知方法，在传感器的穿戴便捷性、抗干扰能力、环境适应性以及算法通用性上更具优势。但是由于物理运动信号产生于实际运动后，相较于生物电信号存在时间延迟，在实际使用时需要通过信号预测来攻克其时延的弊端。同时，为了实现良好的辨识与预测，传感器要能最大程度的反映出系统状态，虽然通过增加传感器的数量和类型在一定程度上可以提高信息交互的准确性，但是相应的也会带来系统数据复杂度和冗余度的增加，降低实时应用性能。
发明内容
为解决现有技术中存在的问题，本发明的目的在于提供一种基于周期帧全局特征的下肢运动模式识别方法及系统，本发明通过算法优化提高人体下肢运动模式识别的准确率与实时性，使得能够采用少量物理传感器得以实现。
为实现上述目的，本发明采用的技术方案如下：
一种基于周期帧全局特征的下肢运动模式识别方法，包括如下过程：
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理，得到融合后的矩阵；
利用融合后的矩阵识别、提取运动周期帧；
基于运动周期帧，对融合后的矩阵进行特征提取，得到不同运动周期的帧的全局特征；
根据不同运动周期的帧的全局特征，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别。
优选的，获取的人体下肢髋关节角度运动信息和膝关节角度运动信息时，采用分别设置于大腿前侧和小腿前侧的IMU传感器进行。
优选的，对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理过程包括：
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行数据清洗、滤波和归一化，得到时间序列信号，将得到的时间序列信号融合为矩阵，得到融合后的矩阵。
优选的，所述时间序列信号包括髋关节角度运动信息、膝关节角度运动信息和滤波得到的关节角度数据。
优选的，对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行数据清洗的过程包括：选择单个角速度通道作为标定通道，通过连续滑动查询角速度数值在[-0.1,0.1]区间作为删除区域，并识别剔除起点和终点，最后将剔除后的起点与终点进行拼接；
对清洗后的数据进行滤波处理时，采用动态截止频率的巴特沃斯滤波器来对采集数据进行滤波处理，截止频率ωc＝max(ωs)·w，其中max(ωs)为人体运动数据频率范围的最大值，w为系数，满足4<w<6，w与人体运动的剧烈程度成正相关。
优选的，利用融合后的矩阵识别、提取运动周期帧时，利用矩阵自相关算法计算融合后的矩阵的周期，以足底接触地面时对应信号中的点作为运动周期划分起始点，实现对运动周期帧的识别和提取。
优选的，基于运动周期帧，利用图像处理均值哈希特征算法进行对融合后的矩阵进行哈希特征提取，得到不同运动周期的帧的全局特征；
利用支持向量机分类器构建的分类模型以及采用混淆矩阵验证待测分类与目标分类的关系，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别。
本发明还提供了一种基于周期帧全局特征的下肢运动模式识别系统，包括：
预处理模块：用于对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理，得到融合后的矩阵；
运动周期帧获取模块：用于利用融合后的矩阵识别、提取运动周期帧；
特征提取模块：用于基于运动周期帧，对融合后的矩阵进行特征提取，得到不同运动周期的帧的全局特征；
运动模式的识别模块：根据不同运动周期的帧的全局特征，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别。
本发明还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明如上所述的基于周期帧全局特征的下肢运动模式识别方法。
本发明还提供了一种存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明如上所述的基于周期帧全局特征的下肢运动模式识别方法。
本发明具有如下有益效果：
本发明基于周期帧全局特征的下肢运动模式识别方法创新性的采用根据运动周期分帧、进行全局特征提取，因此识别准确率受滑动窗口长度影响小，无需根据经验反复调试选择最佳的窗口长度，对运动模式的平均识别准确率高，具有良好的泛化性能，利于改善机器人的人机交互性，提高人机协调控制性能，促进可穿戴式智能设备的发展。
附图说明
图1为本发明基于周期帧全局特征的下肢运动模式识别方法的流程图；
图2(a)为本发明实施例中IMU传感器布局示意图；图2(b)为本发明实施例中关节关系示意图；
图3为本发明实施例中IMU传感器获得的数据经预处理后在矩阵中的存储方式示意图；
图4为本发明运动周期帧的分割起始点提取算法流程图；
图5为本发明运动周期分割起始点识别点及识别结果示意图；
图6为本发明基于图像均值哈希特征提取算法得到不同运动模式下运动周期帧对应的哈希编码示意图；
图7为本发明采用欧式距离作为特征度量指标下哈希特征的欧式距离矩阵示意图；
图8为本发明分类识别模型训练过程示意图；
图9为本发明模式识别算法采用KNN、DT、SVM识别结果的混淆矩阵对比示意图。
具体实施方式
下面结合附图对本发明做进一步的说明，以使本发明的优势和特征更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
本发明能够实现对人体下肢运动模式的准确识别，改善机器人的人机交互性，利用物理传感器来获取人体下肢关节的运动信息，结合下肢运动数据的周期性特点对数据分帧，采用图像全局特征的特征提取方法进行特征提取，构建SVM分类识别模型，以实现对下肢运动模式的准确识别，本发明识别准确率高，在线识别速度快，具有良好的泛化性能。
参照图1、图2(a)、图2(b)、图3、图4、图5、图6和图8，本发明基于周期帧全局特征的下肢运动模式识别方法，具体实施方式如下：
S1、为了获取人体下肢关节的运动信息，如图2(a)和图2(b)所示，将两个IMU传感器分别布置于大腿前侧和小腿前侧，以获得髋关节角度θhip＝θX1和膝关节角度θknee＝θX1-θX2的实时角度。
其中，θX1为大腿IMU测量的相对地面坐标系的倾角/°，θX2为小腿IMU测量的相对地面坐标系的倾角/°。
S2、对获取的下肢关节运动角度数据进行预处理；选择单个角速度通道作为标定通道，对原始数据进行清洗，具体的，通过连续滑动查询角速度数值在[-0.1,0.1]区间作为删除区域，并识别剔除起点和终点，最后将剔除后的起点与终点进行拼接；防止采集过程中偶然产生的高频随机噪声的影响，根据人体运动频率的主要分布范围，构建截止频率为20Hz的巴特沃斯滤波器来对采集数据进行滤波处理；巴特沃斯滤波器截止频率ωc＝max(ωs)·w，其中max(ωs)为人体运动数据频率范围的最大值，w为系数，满足4<w<6，w与人体运动的剧烈程度成正相关。
将IMU的多通道数据归一化到[0,1]区间，如图3所示，采集系统获取的14维时间序列信号，包括IMU获取的12维运动数据和经过卡尔曼滤波输出的2维关节角度数据，12维数据包括两个IMU传感器获取的六轴数据：x轴加速度accx、y轴加速度accyy、z轴加速度accyz、x轴角速度gyrox、y轴角速度gyroy和z轴角速度gyroz，每一维数据可表示为Xn＝[x(1)，x(2)，x(3)，...，x(n)]，n为时间序列；根据以下顺序，将大腿IMU获取六轴数据、小腿IMU获取六轴数据、2维关节角度数据(大腿关节角度在前)进行矩阵化融合，得到维度为m＝14，长度为n的多维数据序列Xm×n＝[xi(1)，xi(2)，xi(3)，...，xi(n)](1≤i≤m)，融合后的矩阵数学表达为：
其中，xi(n)为多维序列Xm×n第i维的第n个数据，具体表示第i维对应的IMU六轴原始数据或2维关节角度数据在n时刻的数值。数据矩阵化融合得到矩阵数据流，便于后续基于图像处理算法识别运动周期、提取周期帧全局特征。
S3、如图4所示，以下肢IMU传感器获取的12通道运动信息矩阵数据为对象，通过图像领域矩阵自相关算法来识别运动周期。为了便于筛选信号的波峰和计算波峰距离，采用公式对相关系数曲线进行归一化。如图5所示，利用波形形态相对规律的小腿IMU的X轴角速度通道作为数据分割的标定通道，识别标定通道波形的所有极小值点，通过设置幅值阈值α与间距阈值β(双阈值算法)准确识别A点(足底接触地面产生)，得到稳定的周期分割起始点，选择A点作为运动周期划分起始点的识别稳定性更高，同时也符合实际运动周期帧分割的要求。其中，周期性运动包括行走、慢跑、上楼梯、下楼梯和原地踏步，参照图6和图7。
S4、基于运动周期帧，利用图像处领域的理均值哈希特征算法对不同运动模式的运动周期帧的全局特征进行哈希特征提取，将原始运动周期帧的哈希矩阵转化为性能优异的表征不同运动模式特征的1×64的向量编码，得到运动周期帧的全局特征。将原始运动帧矩阵数据压缩到8×8的尺寸，共保留64个矩阵元素；计算64个矩阵元素的均值；遍历矩阵中所有元素，对于每个元素，大于或等于均值取1，小于均值取0，获得由0、1组成的哈希矩阵；将哈希矩阵转化为1×64的向量编码；如图7所示，选择欧式距离作为特征度量指标，其中，De为欧式距离，m为特征向量的维度，xi为特征向量x的第i个分量，yi为特征向量y的第i个分量，图6展示的是不同运动模式下运动周期帧对应的哈希编码示意图。
S5、使用支持向量机分类器(SVM)构建模型，用于运动模式的识别，基于周期帧全局特征对运动模式进行分类，其中选择分类模型最常用的混淆矩阵来验证待测分类与目标分类的关系，实现对人体下肢运动模式的快速准确识别。滑动窗口步长为窗口长度的50％，具体的，以4s的滑动窗口长度，2s的窗口步长，提取窗口内的运动周期帧数据并通过哈希特征提取算法建立用于训练的特征样本数据集，选择分类模型最常用的混淆矩阵来验证待测分类与目标分类的关系。本方法对窗口长度的适应性强，要求窗口内包含多个运动周期即可，无需像传统方法需要根据经验反复调试选择最佳的窗口长度。
本发明进一步的改进在于，S1中，IMU传感器布置于下肢大腿和小腿前侧，通过简单换算即可得到髋关节和膝关节角度，且对IMU传感器的布置要求不高。
本发明进一步的改进在于，S2中，为防止采集过程中偶然产生的高频随机噪声的影响，根据人体运动频率的主要分布范围，构建对应截止频率的巴特沃斯滤波器来对采集数据进行滤波处理，如此可以使得滤波处理过程具有动态调整性能，具有更强的适应能力。
本发明进一步的改进在于，S3中，选择足底接触地面时对应信号中的A点作为运动周期划分起始点，从整体上看，在一个周期内存在A、B两个极小值点，其中A点是因足底接触地面产生，相对而言，选择A点作为运动周期划分起始点的识别稳定性更高，同时也符合实际运动周期帧分割的要求。
本发明进一步的改进在于，S4中，借鉴图像处理领域的均值哈希全局特征提取方法，对不同运动模式的运动周期帧的全局特征进行提取，并利用欧式距离度量准则对五种运动模式下的直方图、灰度共生矩阵和哈希特征进行了评价，证明哈希特征对人体下肢运动模式的表征能力强。
本发明进一步的改进在于，本发明模式识别算法采用KNN、DT、SVM识别的性能对比如表1所示：
表1
可以看出，S5中，提出了基于周期帧全局特征的运动模式识别模型，对比分析了SVM、KNN和DT三种分类算法对模型识别性能的影响，从分类识别准确率、运行速度和混淆矩阵指标角度证明SVM的性能要优于其余两种方法，识别时间仅为0.0383s；
本发明进一步的改进在于，S5中，基于运动周期帧的方法，受滑动窗口长度影响较小，无需像传统方法需要根据经验反复调试选择最佳的窗口长度，要求窗口内包含多个运动周期即可，算法适应性大幅度提高；
实施例
参见图1，本实施例基于周期帧全局特征的下肢运动模式识别方法，包括步骤：
S1、为了获取人体下肢关节的运动信息，如图2(a)和图2(b)所示，将两个IMU传感器分别布置于大腿前侧和小腿前侧，以获得髋关节角度θhip＝θX1和膝关节角度θknee＝θX1-θX2的实时角度。
其中，θX1为大腿IMU测量的相对地面坐标系的倾角/°，θX2为小腿IMU测量的相对地面坐标系的倾角/°。
S2、对获取的下肢关节运动角度数据进行预处理；选择小腿X轴角速度通道作为标定通道，对原始数据进行清洗，具体的，通过连续滑动查询角速度数值在[-0.1，0.1]区间作为删除区域，并识别剔除起点和终点，最后将剔除后的起点与终点进行拼接；构建截止频率为20Hz的巴特沃斯滤波器来对采集数据进行滤波处理；
将IMU的多通道数据归一化到[0，1]区间，如图3所示，采集系统获取的14维时间序列信号，包括IMU获取的12维运动数据和经过卡尔曼滤波输出的2维关节角度数据，12维数据包括两个IMU传感器获取的六轴数据：x轴加速度accx、y轴加速度accyy、z轴加速度accyz、x轴角速度gyrox、y轴角速度gyroy和z轴角速度gyroz，按上述顺序进行矩阵化融合得到矩阵数据流：
其中，xi(n)为多维序列Xm×n第i维的第n个数据，具体表示第i维对应的IMU六轴原始数据或2维关节角度数据在n时刻的数值。
S3、如图4所示，以下肢IMU传感器获取的12通道运动信息矩阵数据为对象，通过图像领域矩阵自相关算法来识别运动周期。为了便于筛选信号的波峰和计算波峰距离，采用公式对相关系数曲线进行归一化。如图5所示，利用波形形态相对规律的小腿IMU的X轴角速度通道作为数据分割的标定通道，识别标定通道波形的所有极小值点，通过设置幅值阈值α与间距阈值β(双阈值算法)准确识别A点(足底接触地面产生)，得到稳定的周期分割起始点，选择A点作为运动周期划分起始点的识别稳定性更高，同时也符合实际运动周期帧分割的要求。其中，周期性运动包括行走、慢跑、上楼梯、下楼梯和原地踏步，参照图6和图7。
S4、基于运动周期帧，利用图像处领域的理均值哈希特征算法对不同运动模式的运动周期帧的全局特征进行哈希特征提取，将原始运动周期帧的哈希矩阵转化为性能优异的表征不同运动模式特征的1×64的向量编码，得到运动周期帧的全局特征。将原始运动帧矩阵数据压缩到8×8的尺寸，共保留64个矩阵元素；计算64个矩阵元素的均值；遍历矩阵中所有元素，对于每个元素，大于或等于均值取1，小于均值取0，获得由0、1组成的哈希矩阵；将哈希矩阵转化为1×64的向量编码，图6展示的是不同运动模式下运动周期帧对应的哈希编码示意图；如图7所示，选择欧式距离作为特征度量指标，其中，De为欧式距离，m为特征向量的维度，xi为特征向量x的第i个分量，yi为特征向量y的第i个分量，得到哈希特征的欧氏距离矩阵，任意方块表示对应横、纵坐标模式的特征距离。数值越大表示对应模式间的距离越小，相关性越大。各运动模式对应的特征距离呈对角线分布，对五种运动模式的表征能力最好。
S5、使用支持向量机分类器(SVM)构建模型，用于运动模式的识别，基于周期帧全局特征对运动模式进行分类，其中选择分类模型最常用的混淆矩阵来验证待测分类与目标分类的关系，实现对人体下肢运动模式的快速准确识别。滑动窗口步长为窗口长度的50％，具体的，以4s的滑动窗口长度，2s的窗口步长，提取窗口内的运动周期帧数据并通过哈希特征提取算法建立用于训练的特征样本数据集，选择分类模型最常用的混淆矩阵来验证待测分类与目标分类的关系。图9为本发明采用的SVM分类方法与KNN分类、DT分类的混淆矩阵对比图，对角线数值越接近1，表明分类效果越好，可见本方法效果性能更好，识别平均准确率为99.26％，模型识别时间为0.0383s。本方法对窗口长度的适应性强，要求窗口内包含多个运动周期即可，无需像传统方法需要根据经验反复调试选择最佳的窗口长度。
综上，本发明基于周期帧全局特征的下肢运动模式识别方法，通过物理传感器获取人体下肢髋关节角度和膝关节角度运动信息，通过对数据清洗、滤波、归一化操作后采用图像矩阵的形式存储数据，针对传统滑动窗口数据分帧处理方法自适应差的问题，提出了基于运动周期的滑动窗口数据分帧方法，利用矩阵自相关算法计算多通道运动信息矩阵的周期，并以小腿IMU的X轴角速度通道作为标定通道，实现了对运动周期帧的准确识别与提取。借鉴图像处理领域的全局特征提取方法，利用欧式距离度量准则对五种运动模式下的直方图、灰度共生矩阵和哈希特征进行了评价，哈希特征对五种运动模式的表征能力最好，并作为人体下肢运动模式识别的特征提取方法。构建基于周期帧全局特征的运动模式识别模型，对比分析了SVM、KNN和DT三种分类算法对模型识别性能的影响，SVM分类识别准确率、运行速度和混淆矩阵指标最好。本方法受滑动窗口长度影响小，无需根据经验反复调试选择最佳的窗口长度，对五种运动模式的平均识别准确率高、实时性强，具有良好的泛化性能，利于改善机器人的人机交互性，提高人机协调控制性能，促进可穿戴式智能设备的发展。
需要说明的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (6)
1.一种基于周期帧全局特征的下肢运动模式识别方法，其特征在于，包括如下过程：
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理，得到融合后的矩阵；
利用融合后的矩阵识别、提取运动周期帧；
基于运动周期帧，对融合后的矩阵进行特征提取，得到不同运动周期的帧的全局特征；
根据不同运动周期的帧的全局特征，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别；
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理过程包括：
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行数据清洗、滤波和归一化，得到时间序列信号，将得到的时间序列信号融合为矩阵，得到融合后的矩阵；
所述时间序列信号包括髋关节角度运动信息、膝关节角度运动信息和滤波得到的关节角度数据；
利用融合后的矩阵识别、提取运动周期帧时，利用矩阵自相关算法计算融合后的矩阵的周期，以足底接触地面时对应信号中的点作为运动周期划分起始点，实现对运动周期帧的识别和提取；
基于运动周期帧，利用图像处理均值哈希特征算法进行对融合后的矩阵进行哈希特征提取，得到不同运动周期的帧的全局特征；
利用支持向量机分类器构建的分类模型以及采用混淆矩阵验证待测分类与目标分类的关系，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别。
2.根据权利要求1所述的一种基于周期帧全局特征的下肢运动模式识别方法，其特征在于，获取的人体下肢髋关节角度运动信息和膝关节角度运动信息时，采用分别设置于大腿前侧和小腿前侧的IMU传感器进行。
3.根据权利要求1所述的一种基于周期帧全局特征的下肢运动模式识别方法，其特征在于，对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行数据清洗的过程包括：选择单个角速度通道作为标定通道，通过连续滑动查询角速度数值在[-0.1,0.1]区间作为删除区域，并识别剔除起点和终点，最后将剔除后的起点与终点进行拼接；
对清洗后的数据进行滤波处理时，采用动态截止频率的巴特沃斯滤波器来对采集数据进行滤波处理，截止频率，其中/>为人体运动数据频率范围的最大值，w为系数，满足4<w<6，w与人体运动的剧烈程度成正相关。
4.一种基于周期帧全局特征的下肢运动模式识别系统，其特征在于，包括：
预处理模块：用于对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理，得到融合后的矩阵；
运动周期帧获取模块：用于利用融合后的矩阵识别、提取运动周期帧；
特征提取模块：用于基于运动周期帧，对融合后的矩阵进行特征提取，得到不同运动周期的帧的全局特征；
运动模式的识别模块：根据不同运动周期的帧的全局特征，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别；
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行预处理过程包括：
对获取的人体下肢髋关节角度运动信息和膝关节角度运动信息进行数据清洗、滤波和归一化，得到时间序列信号，将得到的时间序列信号融合为矩阵，得到融合后的矩阵；
所述时间序列信号包括髋关节角度运动信息、膝关节角度运动信息和滤波得到的关节角度数据；
利用融合后的矩阵识别、提取运动周期帧时，利用矩阵自相关算法计算融合后的矩阵的周期，以足底接触地面时对应信号中的点作为运动周期划分起始点，实现对运动周期帧的识别和提取；
基于运动周期帧，利用图像处理均值哈希特征算法进行对融合后的矩阵进行哈希特征提取，得到不同运动周期的帧的全局特征；
利用支持向量机分类器构建的分类模型以及采用混淆矩阵验证待测分类与目标分类的关系，对人体下肢的运动模式进行分类，实现对人体下肢的运动模式的识别。
5.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至3中任意一项所述的基于周期帧全局特征的下肢运动模式识别方法。
6.一种存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述的基于周期帧全局特征的下肢运动模式识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110876064.8A CN113705353B (zh) | 2021-07-30 | 2021-07-30 | 一种基于周期帧全局特征的下肢运动模式识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110876064.8A CN113705353B (zh) | 2021-07-30 | 2021-07-30 | 一种基于周期帧全局特征的下肢运动模式识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705353A CN113705353A (zh) | 2021-11-26 |
| CN113705353B true CN113705353B (zh) | 2024-04-02 |
Family
ID=78651055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110876064.8A Active CN113705353B (zh) | 2021-07-30 | 2021-07-30 | 一种基于周期帧全局特征的下肢运动模式识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705353B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539320A (zh) * | 2020-04-22 | 2020-08-14 | 山东大学 | 基于互相学习网络策略的多视角步态识别方法及系统 |
| AU2020103811A4 (en) * | 2020-11-18 | 2021-02-11 | Shandong Kuaimai Electronic Technology Co., Ltd. | Method for recognizing human knee motion postures based on extreme learning machine |
| CN112535474A (zh) * | 2020-11-11 | 2021-03-23 | 西安交通大学 | 一种基于相似规律搜索的下肢运动关节角度实时预测方法 |
| CN112754468A (zh) * | 2021-01-07 | 2021-05-07 | 华南理工大学 | 一种基于多源信号的人体下肢运动检测及识别方法 |
| WO2021115066A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 基于惯性传感器的步态特征提取和步态识别方法 |
-
2021
- 2021-07-30 CN CN202110876064.8A patent/CN113705353B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021115066A1 (zh) * | 2019-12-10 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 基于惯性传感器的步态特征提取和步态识别方法 |
| CN111539320A (zh) * | 2020-04-22 | 2020-08-14 | 山东大学 | 基于互相学习网络策略的多视角步态识别方法及系统 |
| CN112535474A (zh) * | 2020-11-11 | 2021-03-23 | 西安交通大学 | 一种基于相似规律搜索的下肢运动关节角度实时预测方法 |
| AU2020103811A4 (en) * | 2020-11-18 | 2021-02-11 | Shandong Kuaimai Electronic Technology Co., Ltd. | Method for recognizing human knee motion postures based on extreme learning machine |
| CN112754468A (zh) * | 2021-01-07 | 2021-05-07 | 华南理工大学 | 一种基于多源信号的人体下肢运动检测及识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 叶波 ; 文玉梅 ; 何卫华 ; .多分类器信息融合的步态识别算法.中国图象图形学报.2009,(第08期),全文. * |
| 黄梓亮 ; 方晨昊 ; 欧阳小平 ; 杨金江 ; 杨华勇 ; .基于多信息融合的下肢外骨骼机器人感知系统研究.工程设计学报.2018,(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705353A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112754468B (zh) | 一种基于多源信号的人体下肢运动检测及识别方法 | |
| CN105868694B (zh) | 基于面部表情和眼球动作的双模态情感识别方法及系统 | |
| WO2020018469A1 (en) | System and method for automatic evaluation of gait using single or multi-camera recordings | |
| Verlekar et al. | Using transfer learning for classification of gait pathologies | |
| CN109299641B (zh) | 一种列车调度员疲劳监测图像自适应处理算法 | |
| CN109063661A (zh) | 步态分析方法及装置 | |
| CN111860196B (zh) | 手部作业动作评分装置、方法及计算机可读存储介质 | |
| Haratian et al. | Toward flexibility in sensor placement for motion capture systems: a signal processing approach | |
| CN111053552B (zh) | 一种基于深度学习的qrs波检测方法 | |
| CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
| CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
| CN113705353B (zh) | 一种基于周期帧全局特征的下肢运动模式识别方法及系统 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| CN113128585B (zh) | 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法 | |
| Patel et al. | EMG-based human machine interface control | |
| CN116115239A (zh) | 基于多模态数据融合的建筑工人尴尬工作姿势识别方法 | |
| CN110694252A (zh) | 一种基于六轴传感器的跑步姿态检测方法 | |
| CN114596632A (zh) | 基于架构搜索图卷积网络的中大型四足动物行为识别方法 | |
| CN110232976B (zh) | 一种基于腰肩表面肌电测量的行为识别方法 | |
| CN113657266A (zh) | 基于智能手环和人体三维重建的健身训练管理方法及系统 | |
| CN109985369B (zh) | 一种基于智能腕戴式设备的自适应泳姿识别方法 | |
| CN114533010A (zh) | 心率检测方法和装置 | |
| CN102339477B (zh) | 一种自动建立人体链状结构模型的方法及其系统 | |
| Tan et al. | Quantitative measurement of Parkinson’s disease gait based on the rehabilitation monitoring robot | |
| KR20190061874A (ko) | Emg 신호에 기반한 보행패턴을 이용한 사용자 인식 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |