CN114529985A - 一种面向老年人日常复杂地形运动的意图识别方法 - Google Patents
一种面向老年人日常复杂地形运动的意图识别方法 Download PDFInfo
- Publication number
- CN114529985A CN114529985A CN202210060944.2A CN202210060944A CN114529985A CN 114529985 A CN114529985 A CN 114529985A CN 202210060944 A CN202210060944 A CN 202210060944A CN 114529985 A CN114529985 A CN 114529985A
- Authority
- CN
- China
- Prior art keywords
- motion
- data
- leg
- conversion
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims abstract description 39
- 210000002414 leg Anatomy 0.000 claims description 122
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000005021 gait Effects 0.000 claims description 28
- 238000003909 pattern recognition Methods 0.000 claims description 22
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 230000001174 ascending effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 210000003141 lower extremity Anatomy 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 244000309466 calf Species 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 210000000689 upper leg Anatomy 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims 1
- 210000003371 toe Anatomy 0.000 description 14
- 210000002683 foot Anatomy 0.000 description 7
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 3
- 238000011217 control strategy Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/08—Elderly
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提出了一种面向老年人日常复杂地形运动的意图识别方法，属于人体运动意图识别领域，本发明通过数据采集模块对使用者运动中的下肢不同部位的三维加速度和三维角速度进行实时采集，并对运动数据进行空间域和时间域上的处理，最后通过基于深度学习所构建的运动类别识别模型对使用者进行复杂地形情况中不同下肢运动模式的精准识别，为运动辅助装置的控制策略提供的依据。
Description
技术领域
本发明涉及人体运动意图识别领域，特别是涉及一种面向老年人日常复杂地形运动的意图识别方法。
背景技术
老年化指的是人生理上与心理上的衰老现象。老年期以后，由于生理机能自然衰退，老年慢性疾病如心脑血管疾病，阿尔茨海默症等发病率不断上升而引起运动能力降低，而在下肢力量衰减方面表现最为突出，并且往往在单侧肢体上表现较为突出，导致双侧运动不平衡，从而影响老年人的行动能力与生活质量。
在各种日常生活所需要的能力中，行走能力对老年人是影响力最大的一种。因此市面上存在许多老年人下肢运动辅助产品，如：拐杖，助步椅，无动力轮椅等。此类辅助产品虽然能一定程度上辅助老年人进行移动，但是由于其无动力，很容易消耗老年人体力，造成疲劳。另一方面，这种运动方式也受地形影响较大，如楼梯，坡道等复杂地形，不方便使用。为此，目前兴起的各种智能运动辅助装置，例如智能外骨骼和智能义肢可以通过预测使用者的运动意图，来辅助使用者进行地形转换和运动，从而降低使用者的行走负担，更好地辅助使用者日常活动。
发明内容
为使得运动辅助装置能够更加准确、合理的为下肢运动障碍人群，尤其是老年人提供助力，对于使用者下肢运动意图的准确和及时的识别是帮助使用者稳定、自然行动的关键，本发明的目的是提出了一种面向老年人日常复杂地形运动的意图识别方法，通过安置在使用者下肢不同部位的数据采集模块进行实时的运动数据采集，并对原始运动数据进行预处理后对使用者当前下肢运动模式进行识别。
本发明为实现上述目的所采用的技术方案是：一种面向老年人日常复杂地形运动的意图识别方法，其特征在于，所述方法包括：
步骤S1：运动意图识别数据采集并建立人体运动数据库
通过佩戴在被监测对象下肢的数据采集模块实时采集被监测对象下肢多个采样点的运动数据并建立人体运动数据库，所述运动数据包括三轴加速度信息和三轴角速度信息；
步骤S2：通过对各采样点的运动数据进行姿态解算，得到俯仰角；
步骤S3：对步骤S1和步骤S2中得到的加速度、角速度和俯仰角进行空间域和时间域上的处理，以使时间域和空间域的特征融合，生成融合后的数据；
步骤S4：将经步骤S3处理后的数据输入至运动模式识别模块，运动模式识别模块调取已训练好的运动类别识别模型，将处理好的数据作为输入，由已训练好的运动类别识别模型进行运动模式的识别；
步骤S5：根据识别出的运动模式，完成运动意图的识别，成功识别出运动意图，通过步骤S4识别的运动模式分类结果设定运动辅助装置控制策略。
作为本发明的优选实施方案，步骤S1中，所述数据采集模块为多维IMU传感器采集模块，数据采集模块包括MPU9250六轴运动传感器，数量为四个，四个MPU9250六轴运动传感器分别佩戴在被监测对象左右侧大腿中间处和小腿中间处。
进一步，步骤S2中使用卡尔曼滤波法获取俯仰角。
进一步，所述步骤S3具体包括：
在空间域上将加速度、角速度和俯仰角映射到一个共同的空间中，使得同一时刻在所述空间中加速度、角速度和俯仰角由一组共同的特征表达为一个向量
其中
分别表示为t时刻的x轴、y轴和z轴三轴加速度，
分别表示为t时刻对应的x轴、y轴和z轴三轴角速度，Pt为t时刻对应的俯仰角，Dt为加速度、角速度和俯仰角合并后的t时刻向量；
时间域上采用滑动窗口方法进行处理，根据数据采集模块采集频率进行滑动窗口的移动，将当前时刻采集的数据处理为合法输入，设当前时刻t，滑动窗口大小为s，单位：采样频率个数，则当前时刻输入：
Xt＝(Dt-s、Dt-s+1、…、Dt)，其中Dt为t时刻加速度At、角速度Gt和俯仰角Pt合并后的数据向量，
Dt-s、Dt-s+1分别为t-s时刻合并后的数据向量、t-s+1时刻的合并后的数据向量。
进一步，所述步骤S4具体包括：
(1)获取模型训练集
从步骤S1中所述人体运动数据库调取历史数据形成数据集
人体步态周期通常指行走时从一条腿的脚跟触地开始，到同一条腿的下一次脚跟触地结束，同时人体步态周期有脚跟触地和脚趾离地两个步态事件，通过步态周期中步态事件来对所述数据集中的每次步态运动数据进行不同运动状态的划分：
在运动状态定义之前，首先将步态周期中处于地面的腿称为支撑腿，将要发生摆动或正在摆动状态中的腿称为摆动腿；
运动状态的定义如下：
①将步态周期内的运动分为稳态和转换态，一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期；
②当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式相同，称这个周期为一个稳态周期；
③当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式不同时，称这个周期为一个转换态周期，得到七种稳态数据和八种转换态数据，作为模型的训练集，其中七种稳态数据对应七种稳定模式的参数信息，七种稳定模式分别为：坐、站、平地走、上楼梯、下楼梯、上坡、下坡；八种转换态数据对应八种转换模式的参数信息，八种转换模式分别为：平地走向上坡转换、平地走向下坡转换、平地走向上楼梯转换、平地走向下楼梯转换、上坡向平地走转换、下坡向平地走转换、上楼梯向平地走转换、下楼梯向平地走转换；
(2)运动类别识别模型的选取
选取长短期记忆人工神经网络LSTM作为运动类别识别模型的神经网络，并使用全连接层作分类器层，再进行softmax归一化处理，将模型输出结果映射为一个1×15的输出向量，该输出向量可视为步骤(1)中15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果，即[y0,y1,y2，y3,…,y13,y14]对应运动模式编号0,1,2,3…13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号；
(3)训练运动类别识别模型
选取人体一侧腿作为主使用腿进行运动类别识别模型的训练，另一侧腿则作为辅助来修正运动类别识别模型输出结果；对两侧腿分别设定影响权重矩阵WL和WR，WL、WR分别表示左、右侧腿输出结果对于最终识别结果的影响程度；训练过程中以交叉熵损失函数作为损失函数，Adam优化器作为梯度下降方式对两侧腿的输出结果影响权重WL和WR进行调整，训练中分别对两条腿的运动数据进行单独训练，选择主使用侧腿的运动数据作为训练结果的输出，并根据同时刻另一侧腿的运动数据训练后运动类别识别模型的输出结果进行辅助修正；
(4)运动模式识别模块接收数据采集模块实时向其传输的处理后的运动数据，并输入到运动类别识别模型中进行当前时刻被监测对象下肢运动模式的识别。
进一步，步骤S4中，所述运动模式识别模块与数据采集模块实时无线传输数据，运动模式识别模块与数据采集模块的通信协议为蓝牙低功耗协议BLE5.0。
通过上述设计方案，本发明可以带来如下有益效果：
1、通过数据采集模块对使用者运动中的下肢不同部位的三维加速度和三维角速度进行实时采集，并对运动数据进行空间域和时间域上的处理，最后通过基于深度学习所构建的运动类别识别模型对使用者进行复杂地形情况中不同下肢运动模式的精准识别，为运动辅助装置的控制策略提供的依据。
2、为了使智能运动辅助装置能够自然顺畅地辅助使用者进行日常运动，智能运动辅助装置需要通过使用者的运动参数来得出运动意图，再结合老年人双侧腿运动不平衡的特点，为了实现辅助双侧腿平衡自然运动的需求，设计实现一种通过单侧腿运动参数预测并矫正双侧腿运动的运动辅助系统将有十分重要的意义。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：
图1为本发明提出的面向老年人日常复杂地形运动的意图识别方法基于的系统总体结构框图；
图2为本发明提出的面向老年人日常复杂地形运动的意图识别方法程序流程图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
如图1所示，本实施例中提出了一种基于IMU数据的面向老年人的日常复杂地形运动的实时辅助系统，系统包括数据采集模块和运动模式识别模块，其中数据采集模块主要负责使用者运动时的腿部运动数据的实时采集，并对原始运动数据进行时间域和空间域上的处理(具体空间域上对数据进行滤波处理、并且将同一时刻的数据采集模块中多个传感器的x、y、z三轴数据进行合并为一个数据向量Xt；时间域上将一定时间段内(时间窗口)的Xt再合并为一个输入Dt。即假设窗口长度为n，当前时刻为t，本发明是用t时刻和t时刻之前的n个时刻的数据对t时刻的运动模式进行预测)；运动模式识别模块主要负责接收数据采集模块所传输的处理后的数据，将处理好的数据作为输入，由预训练好的运动类别识别模型进行运动模式的识别。其中数据采集模块与运动模式识别模块之间通过蓝牙低功耗协议BLE5.0通信。
在具体的实例中，被监测对象佩戴好数据采集模块，开启数据采集模块后首先对数据采集模块中的MPU9250六轴运动传感器和蓝牙设备等初始化，然后检查蓝牙是否连接成功，如果连接成功，则开始采集三轴加速度和三轴角速度，否则就继续等待连接。连接成功后，数据采集模块采集上述三轴加速度Ax、Ay、Az和三轴角速度Gx、Gy、Gz，然后进行姿态解算，得到俯仰角P，并用滑动窗口方法进行数据时间域上的划分，本实施例中，数据采集模块中的MPU9250六轴运动传感器采集频率1000Hz，滑动窗口的大小为s，s等于250；数据采集模块将采集好的数据传输到运动模式识别模块，如果上传失败则重新进行数据采集；传输数据成功后，运动模式识别模块根据数据进行运动模式识别。如果选择断开连接，则数据采集模块关闭，如图2所示。
如图1和图2所示，一种面向老年人日常复杂地形运动的意图识别方法，包括如下步骤：
步骤一、被监测对象佩戴数据采集模块实时采集其下肢的运动数据；
步骤二、数据采集模块通过步骤一中得到的运动数据进行姿态解算，得到俯仰角；
步骤三、数据采集模块对步骤一、步骤二中得到的加速度、角速度和俯仰角进行空间域和时间域上的处理；
步骤四、数据采集模块将步骤三的结果无线传输给运动模式识别模块；
步骤五、运动模式识别模块将步骤三处理后的数据通过预训练好的运动类别识别模型进行识别；(被监测对象的左右腿)
步骤六、根据步骤五识别的运动模式分类结果设定运动辅助装置控制策略。
优选的是，步骤一中，数据采集模块为多维IMU传感器采集模块，数据采集模块中带有MPU9250六轴运动传感器，总共四个MPU9250六轴运动传感器分别采集被监测对象左右侧大腿中间处和小腿中间处的三维加速度和三维角速度。
优选的是，步骤二中，姿态解算中使用卡尔曼滤波法获取俯仰角。
优选的是，步骤三中，将MPU9250六轴运动传感器的数据在空间域上处理，将同一时刻不同部位的MPU9250六轴运动传感器合并为一个向量。数据采集模块时刻t所记录的三轴加速度
三轴角速度
以及俯仰角Pt，合并后的t时刻的向量为：
时间域上采用滑动窗口方法进行处理，根据数据采集模块采集频率进行滑动窗口的移动，将当前时刻采集的数据处理为合法输入，设当前时刻t，滑动窗口大小为s，单位：采样频率个数，则当前时刻输入：Xt＝(Dt-s、Dt-s+1、…、Dt)，其中Dt为t时刻加速度At、角速度Gt和俯仰角Pt合并后的数据向量，
窗口大小s应表示为该窗口有s个时刻的采集数据D，其中Dt为t时刻的采样数据，Dt由三维加速度、三维角速度和俯仰角合并而成。
优选的是，步骤四中，数据采集模块与运动模式识别模块的通信协议为蓝牙低功耗协议BLE5.0。
优选的是，步骤五中，首先是对模型的预训练：
(一)对人体下肢运动周期进行分析
采用运动类别识别模型对运动数据进行模式识别。人体下肢运动具有一定的周期性和规律性，人体步态周期通常指行走时从一条腿的脚跟触地开始，到同一条腿的下一次脚跟触地结束。同时人体步态周期有脚跟触地和脚趾离地两个特殊步态事件。基于以上，通过步态周期中步态事件来对数据集中的每次步态运动数据进行不同运动状态的划分：
在新的运动状态定义之前，本发明将步态周期中处于地面的腿称为支撑腿，将要发生摆动或正在摆动状态中的腿称为摆动腿。定义如下：
①本发明将步态周期内的运动分为稳态和转换态，一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期；
②当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式相同，本发明称这个周期为一个稳态周期；
③当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式不同时，本发明称这个周期为一个转换态周期。
由上述数据处理方法本发明得到七种稳态和八种转换态的数据集来进行模型的训练(见表1)。
表1
一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期。对于步态运动中的时刻，当前脚跟触地的一侧腿我们定为支撑腿，另一侧则为摆动腿。对于支撑腿脚跟触地时的运动状态为StateA，对于前一次摆动腿脚趾离地时的运动状态为StateB，当StateA＝StateB时，即为稳态，StateA≠StateB时，为StateB→StateA的转换态。(其中StateA和StateB可能的运动状态为：{坐，站，平地走，上坡，下坡，上楼梯，下楼梯})
对于稳态模式：即当前支撑腿脚跟触地时运动状态与前一次摆动腿脚趾离地时的运动状态相同时，即为稳态。
1、其中模式坐和站是静止状态下的模式，与步态周期无关，即当前所处的静止状态。
2、平地走：前一次摆动腿脚趾离地时运动模式为平地走，当前支撑腿脚跟触地时运动状态也为平地走。
3、上坡：前一次摆动腿脚趾离地时运动模式为上坡，当前支撑腿脚跟触地时运动状态也为上坡。
4、下坡：前一次摆动腿脚趾离地时运动模式为下坡，当前支撑腿脚跟触地时运动状态也为下坡。
5、上楼梯：前一次摆动腿脚趾离地时运动模式为上楼梯，当前支撑腿脚跟触地时运动状态也为上楼梯。
6、下楼梯：前一次摆动腿脚趾离地时运动模式为下楼梯，当前支撑腿脚跟触地时运动状态也为下楼梯。
对于转换态模式：即当前支撑腿脚跟触地时运动状态与前一次摆动腿脚趾离地时的运动状态不相同时，即为转换态。
7、平地走→上坡：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为上坡。
8、平地走→下坡：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为下坡。
9、平地走→上楼梯：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为上楼梯。
10、平地走→下楼梯：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为下楼梯。
11、上坡→平地走：前一次摆动腿脚趾离地时运动状态为上坡，当前支撑腿脚跟触地时运动状态为平地走。
12、下坡→平地走：前一次摆动腿脚趾离地时运动状态为下坡，当前支撑腿脚跟触地时运动状态为平地走。
13、上楼梯→平地走：前一次摆动腿脚趾离地时运动状态为上楼梯，当前支撑腿脚跟触地时运动状态为平地走。
14、下楼梯→平地走：前一次摆动腿脚趾离地时运动状态为下楼梯，当前支撑腿脚跟触地时运动状态为平地走。
(二)运动类别识别模型的选取
在运动类别识别模型的选取上，本发明选取长短期记忆人工神经网络(LSTM)来进行模型的训练和识别。LSTM是一种特殊的循环神经网络，能够利用时间序列信息中之前的信息来进行当前信息的预测。LSTM对一般的循环神经网络进行了改进，引入了门函数来解决长时依赖问题。LSTM中有三个门：
①输入门：It＝σ(WixXt+WihHt-1+bi)
②遗忘门：Ft＝σ(WfxXt+WfhHt-1+bf)
③输出门：Ot＝σ(WoxXt+WohHt-1+bo)
其中，It表示输入门，选择向记忆细胞中新加入哪些信息；
Ft表示遗忘门，选择上一记忆细胞的遗忘程度；
Ot表示输出门，选择记忆细胞中输出哪些信息；
这里的新加入哪些信息，和遗忘程度是具体到应用场景的，(It、Ft、Ot都是一个值域在[0,1]的值，如果为0，则表示全部忘记，如果为1，则表示全部记住)。模型在训练中会更新三个门的投影矩阵和权重矩阵，根据当前输入Xt和上一时刻状态Ht-1来决定当前时刻的输入系数It、遗忘系数Ft和输出系数Ot，通过三个系数来维护记忆细胞cell，即
表示当前时刻的记忆细胞Ct等于上一状态的记忆细胞Ct-1乘以遗忘程度Ft加上当前时刻的候选记忆细胞
乘以输入系数It，It和Ft分别为新加入信息的程度和遗忘信息的程度。
σ表示sigmoid函数：
其中x表示输入，e表示自然常数。
Wix、Wfx、Wox是三个门的投影矩阵；
Wih、Wfh、Woh是三个门的权重矩阵；
bi、bf、bo是三个门的偏差参数；
通过这三个门来维护一个隐藏状态H和一个与隐藏状态形状相同的记忆细胞C来记录之前时间序列中所隐含的信息：
候选记忆细胞：
记忆细胞：
隐藏状态：Ht＝Ot☉tanh(Ct)
其中，
表示t时刻的候选记忆细胞；Ct表示记忆细胞，通过上一时间步的记忆细胞Ct-1和当前时间步的候选记忆细胞
计算得到；其中☉表示Hadamard乘积，表示对应元素相乘；Wcx和Wch表示候选记忆细胞的权重参数，Ht-1表示t-1时刻的隐藏状态，bc表示候选记忆细胞的偏差参数。
Ht表示隐藏状态；
tanh表示双曲正切函数：
其中x表示输入，e表示自然常数。
分类器的设计：
使用全连接层作分类器层，再进行softmax归一化处理，将模型输出结果映射为一个1×15的输出向量，该输出向量可视为15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果。
即[y0,y1,y2，y3,…,y13,y14]对应表1中运动模式编号0,1,2,3…13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号。
(三)具体训练方法
人的步态运动是有一定周期性和规律性的，而左右腿的运动数据也有各自的周期和规律，不同人在步态运动中的双腿有不同偏重，尤其是老年人，很多老年人有一条单侧腿行动不便，因此选取一侧腿作为主使用腿进行模型的训练，训练过程中当该侧腿识别错误时，另一侧识别正确时，则对输出结果进行修正。
在训练中分别对两条腿的运动数据进行单独训练，选择主使用侧腿的运动数据作为训练结果的输出，并根据同时刻另一侧腿的运动数据训练后模型的输出结果进行辅助，尤其在遇到主使用侧腿识别错误，而另一侧腿识别正确时，模式识别结果为ModePredic t：
ModePredic t＝WL·LPredict+WR·RPredict，
其中LPredict、RPredict分别表示左侧腿数据和右侧腿数据的模式识别结果；WL和WR表示左侧腿和右侧腿的对当前预测结果影响的权重矩阵，以交叉熵损失函数作为损失函数，Adam优化器作为梯度下降方式对WL和WR进行更新。这样分别通过两侧腿同时刻的不同运动周期相位对照来增加模型的运动模式识别准确率。
优选的是，步骤六中，运动模式分类总共分为两大类：稳定模式、转换模式。其中稳定模式有七种，分别为：坐、站、平地走、上楼梯、下楼梯、上坡、下坡；转换模式有八种，分别为：平地走向上坡转换、平地走向下坡转换、平地走向上楼梯转换、平地走向下楼梯转换、上坡向平地走转换、下坡向平地走转换、上楼梯向平地走转换、下楼梯向平地走转换。
模型使用交叉熵损失函数作为损失函数，Adam优化器作为梯度下降方式来进行参数矩阵的更新。模型将输入与参数矩阵进行相应的计算得到模型的输出结果，该结果可理解为将输入映射到分类空间中的位置，再经过分类器去得到其所在空间位置所属的的模式类别分布。
对于模型输出结果，由模型中的分类器层进行输出结果的判定，对输出结果进行softmax归一化处理，将模型输出结果映射为一个1×15的输出向量，该输出向量可视为15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果。即[y0,y1,y2，y3,…,y13,y14]对应表1中运动模式编号0,1,2,3…13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种面向老年人日常复杂地形运动的意图识别方法，其特征在于，所述方法包括：
步骤S1：运动意图识别数据采集并建立人体运动数据库
通过佩戴在被监测对象下肢的数据采集模块实时采集被监测对象下肢多个采样点的运动数据并建立人体运动数据库，所述运动数据包括三轴加速度信息和三轴角速度信息；
步骤S2：通过对各采样点的运动数据进行姿态解算，得到俯仰角；
步骤S3：对步骤S1和步骤S2中得到的加速度、角速度和俯仰角进行空间域和时间域上的处理，以使时间域和空间域的特征融合，生成融合后的数据；
步骤S4：将经步骤S3处理后的数据输入至运动模式识别模块，运动模式识别模块调取已训练好的运动类别识别模型，将处理好的数据作为输入，由已训练好的运动类别识别模型进行运动模式的识别；
步骤S5：根据识别出的运动模式，完成运动意图的识别，成功识别出运动意图。
2.根据权利要求1所述的面向老年人日常复杂地形运动的意图识别方法，其特征在于：步骤S1中，所述数据采集模块为多维IMU传感器采集模块，数据采集模块包括MPU9250六轴运动传感器，数量为四个，四个MPU9250六轴运动传感器分别佩戴在被监测对象左右侧大腿中间处和小腿中间处。
3.根据权利要求1所述的面向老年人日常复杂地形运动的意图识别方法，其特征在于：步骤S2中使用卡尔曼滤波法获取俯仰角。
4.根据权利要求1所述的面向老年人日常复杂地形运动的意图识别方法，其特征在于：所述步骤S3具体包括：
在空间域上将加速度、角速度和俯仰角映射到一个共同的空间中，使得同一时刻在所述空间中加速度、角速度和俯仰角由一组共同的特征表达为一个向量Dt，
其中
分别表示为t时刻的x轴、y轴和z轴三轴加速度，
分别表示为t时刻对应的x轴、y轴和z轴三轴角速度，Pt为t时刻对应的俯仰角，Dt为加速度、角速度和俯仰角合并后的t时刻向量；
时间域上采用滑动窗口方法进行处理，根据数据采集模块采集频率进行滑动窗口的移动，将当前时刻采集的数据处理为合法输入，设当前时刻t，滑动窗口大小为s，单位：采样频率个数，则当前时刻输入：Xt＝(Dt-s、Dt-s+1、...、Dt)，其中Dt为t时刻加速度At、角速度Gt和俯仰角Pt合并后的数据向量，
Dt-s、Dt-s+1分别为t-s时刻合并后的数据向量、t-s+1时刻的合并后的数据向量。
5.根据权利要求1所述的面向老年人日常复杂地形运动的意图识别方法，其特征在于：所述步骤S4具体包括：
(1)获取模型训练集
从步骤S1中所述人体运动数据库调取历史数据形成数据集
人体步态周期通常指行走时从一条腿的脚跟触地开始，到同一条腿的下一次脚跟触地结束，同时人体步态周期有脚跟触地和脚趾离地两个步态事件，通过步态周期中步态事件来对所述数据集中的每次步态运动数据进行不同运动状态的划分：
在运动状态定义之前，首先将步态周期中处于地面的腿称为支撑腿，将要发生摆动或正在摆动状态中的腿称为摆动腿；
运动状态的定义如下：
①将步态周期内的运动分为稳态和转换态，一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期；
②当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式相同，称这个周期为一个稳态周期；
③当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式不同时，称这个周期为一个转换态周期，得到七种稳态数据和八种转换态数据，作为模型的训练集，其中七种稳态数据对应七种稳定模式的参数信息，七种稳定模式分别为：坐、站、平地走、上楼梯、下楼梯、上坡、下坡；八种转换态数据对应八种转换模式的参数信息，八种转换模式分别为：平地走向上坡转换、平地走向下坡转换、平地走向上楼梯转换、平地走向下楼梯转换、上坡向平地走转换、下坡向平地走转换、上楼梯向平地走转换、下楼梯向平地走转换；
(2)运动类别识别模型的选取
选取长短期记忆人工神经网络LSTM作为运动类别识别模型的神经网络，并使用全连接层作分类器层，再进行softmax归一化处理，将模型输出结果映射为一个1×15的输出向量，该输出向量可视为步骤(1)中15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果，即[y0,y1,y2，y3,…,y13,y14]对应运动模式编号0,1,2,3…13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号；
(3)训练运动类别识别模型
选取人体一侧腿作为主使用腿进行运动类别识别模型的训练，另一侧腿则作为辅助来修正运动类别识别模型输出结果；对两侧腿分别设定影响权重矩阵WL和WR，WL、WR分别表示左、右侧腿输出结果对于最终识别结果的影响程度；训练过程中以交叉熵损失函数作为损失函数，Adam优化器作为梯度下降方式对两侧腿的输出结果影响权重WL和WR进行调整，训练中分别对两条腿的运动数据进行单独训练，选择主使用侧腿的运动数据作为训练结果的输出，并根据同时刻另一侧腿的运动数据训练后运动类别识别模型的输出结果进行辅助修正；
(4)运动模式识别模块接收数据采集模块实时向其传输的处理后的运动数据，并输入到运动类别识别模型中进行当前时刻被监测对象下肢运动模式的识别。
6.根据权利要求1所述的面向老年人日常复杂地形运动的意图识别方法，其特征在于：步骤S4中，所述运动模式识别模块与数据采集模块实时无线传输数据，运动模式识别模块与数据采集模块的通信协议为蓝牙低功耗协议BLE5.0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210060944.2A CN114529985A (zh) | 2022-01-19 | 2022-01-19 | 一种面向老年人日常复杂地形运动的意图识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210060944.2A CN114529985A (zh) | 2022-01-19 | 2022-01-19 | 一种面向老年人日常复杂地形运动的意图识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114529985A true CN114529985A (zh) | 2022-05-24 |
Family
ID=81621464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210060944.2A Pending CN114529985A (zh) | 2022-01-19 | 2022-01-19 | 一种面向老年人日常复杂地形运动的意图识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529985A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115476345A (zh) * | 2022-11-04 | 2022-12-16 | 华南理工大学 | 一种老年人登山助行设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087482A (zh) * | 2018-09-18 | 2018-12-25 | 西安交通大学 | 一种跌倒检测装置与方法 |
| CN110097037A (zh) * | 2019-05-22 | 2019-08-06 | 天津联图科技有限公司 | 智能监测方法、装置、存储介质及电子设备 |
| CN110245718A (zh) * | 2019-06-21 | 2019-09-17 | 南京信息工程大学 | 一种基于联合时域频域特征的人体行为识别方法 |
| CN110279557A (zh) * | 2019-07-02 | 2019-09-27 | 安徽工业大学 | 一种下肢康复机器人控制系统及控制方法 |
| US10605605B2 (en) * | 2015-12-21 | 2020-03-31 | Shanghai Huace Navigation Technology Ltd. | Method of determining GNSS-INS vehicle attitude based on single antenna |
| CN113243907A (zh) * | 2021-05-18 | 2021-08-13 | 江苏理工学院 | 一种用于跌倒检测的智能检测方法 |
| CN113449265A (zh) * | 2021-06-28 | 2021-09-28 | 湖南汇视威智能科技有限公司 | 一种基于堆叠lstm的腰载式航向角计算方法 |
-
2022
- 2022-01-19 CN CN202210060944.2A patent/CN114529985A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10605605B2 (en) * | 2015-12-21 | 2020-03-31 | Shanghai Huace Navigation Technology Ltd. | Method of determining GNSS-INS vehicle attitude based on single antenna |
| CN109087482A (zh) * | 2018-09-18 | 2018-12-25 | 西安交通大学 | 一种跌倒检测装置与方法 |
| CN110097037A (zh) * | 2019-05-22 | 2019-08-06 | 天津联图科技有限公司 | 智能监测方法、装置、存储介质及电子设备 |
| CN110245718A (zh) * | 2019-06-21 | 2019-09-17 | 南京信息工程大学 | 一种基于联合时域频域特征的人体行为识别方法 |
| CN110279557A (zh) * | 2019-07-02 | 2019-09-27 | 安徽工业大学 | 一种下肢康复机器人控制系统及控制方法 |
| CN113243907A (zh) * | 2021-05-18 | 2021-08-13 | 江苏理工学院 | 一种用于跌倒检测的智能检测方法 |
| CN113449265A (zh) * | 2021-06-28 | 2021-09-28 | 湖南汇视威智能科技有限公司 | 一种基于堆叠lstm的腰载式航向角计算方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王婕: "惯性动捕数据驱动的智能下肢假肢运动意图识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 社会科学Ⅱ辑》 * |
| 黄岚: "一种求解矩形排样问题的遗传-离散粒子群优化算法", 《电子学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115476345A (zh) * | 2022-11-04 | 2022-12-16 | 华南理工大学 | 一种老年人登山助行设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Martinez-Hernandez et al. | Adaptive Bayesian inference system for recognition of walking activities and prediction of gait events using wearable sensors | |
| Liu et al. | Intent pattern recognition of lower-limb motion based on mechanical sensors | |
| Massé et al. | Improving activity recognition using a wearable barometric pressure sensor in mobility-impaired stroke patients | |
| Huang et al. | A strategy for identifying locomotion modes using surface electromyography | |
| Zhang et al. | Rehabilitation exercise recognition and evaluation based on smart sensors with deep learning framework | |
| CN111700620B (zh) | 一种步态异常早期识别与风险预警方法和装置 | |
| Hossain et al. | Deepbbwae-net: A cnn-rnn based deep superlearner for estimating lower extremity sagittal plane joint kinematics using shoe-mounted imu sensors in daily living | |
| CN107194193A (zh) | 一种踝泵运动监测方法及装置 | |
| CN111588597A (zh) | 一种智能交互式步行训练系统及其实现方法 | |
| WO2015047499A2 (en) | Ambulation prediction controller for assistive device | |
| CN110893100A (zh) | 基于足底压力传感器监测体态变化的装置和方法 | |
| CN114529985A (zh) | 一种面向老年人日常复杂地形运动的意图识别方法 | |
| Kang et al. | Subject-independent continuous locomotion mode classification for robotic hip exoskeleton applications | |
| Khademi et al. | Toward minimal-sensing locomotion mode recognition for a powered knee-ankle prosthesis | |
| US11426098B2 (en) | System and method for gait monitoring and improvement | |
| Peng et al. | Human walking pattern recognition based on KPCA and SVM with ground reflex pressure signal | |
| Zheng et al. | Designing deep reinforcement learning systems for musculoskeletal modeling and locomotion analysis using wearable sensor feedback | |
| Kim et al. | Seamless and intuitive control of a powered prosthetic leg using deep neural network for transfemoral amputees | |
| CN109805935A (zh) | 一种基于人工智能分层分级运动识别方法的智能腰带 | |
| Lee et al. | A machine learning-based initial difficulty level adjustment method for balance exercise on a trunk rehabilitation robot | |
| CN115544777B (zh) | 一种表征关节助力补偿值的方法及系统 | |
| Chen et al. | An adaptive gait learning strategy for lower limb exoskeleton robot | |
| Sheng et al. | Finite Class Bayesian Inference System for Circle and Linear Walking Gait Event Recognition Using Inertial Measurement Units | |
| Prost et al. | Biomechanical Evaluation of Prosthetic Feet Designed Using the Lower Leg Trajectory Error Framework | |
| Martinez-Hernandez et al. | Prediction of gait events in walking activities with a Bayesian perception system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220524 |
|
| RJ01 | Rejection of invention patent application after publication |