CN111062247B - 一种面向外骨骼控制的人体运动意图预测方法 - Google Patents

一种面向外骨骼控制的人体运动意图预测方法 Download PDF

Info

Publication number
CN111062247B
CN111062247B CN201911084054.XA CN201911084054A CN111062247B CN 111062247 B CN111062247 B CN 111062247B CN 201911084054 A CN201911084054 A CN 201911084054A CN 111062247 B CN111062247 B CN 111062247B
Authority
CN
China
Prior art keywords
data
exoskeleton
motion
human
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911084054.XA
Other languages
English (en)
Other versions
CN111062247A (zh
Inventor
吕培
郑永康
赵灿
徐明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN201911084054.XA priority Critical patent/CN111062247B/zh
Publication of CN111062247A publication Critical patent/CN111062247A/zh
Application granted granted Critical
Publication of CN111062247B publication Critical patent/CN111062247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/44—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing persons
    • G01G19/50—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing persons having additional measuring devices, e.g. for height
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Mathematical Optimization (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明公开了一种面向外骨骼控制的人体运动意图预测方法。该方法包括步骤有采集实验数据、构建位姿模型、计算体力消耗和预测运动轨迹，主要是通过运动实验采集运动数据集，然后基于人体外骨骼抽象简化为多个关节点组成的多连杆结构人体外骨骼坐标矩阵，再计算得到体力消耗，然后通过运动数据集对预测模型进行训练后，利用该预测模型进行人体运动意图预测。该方法融入了运动中的体力消耗情况，预测精度不会随着时间推移而降低，更加贴近人机工程的实际效果。

Description

一种面向外骨骼控制的人体运动意图预测方法
技术领域
本发明涉及机器辅助运动领域，尤其涉及一种面向外骨骼控制的人体运动意图预测方法。
背景技术
随着社会及时代的发展，劳动人员成本越来越高，“机器换人”正成为越来越多企业转型升级的共识，但仍然存在一些工作领域人力劳动很难被机械劳动所替代，例如物流运输，货物装卸等。在这些工作中，工人需要长时间从事体力劳动，不仅工作效率低下，长期工作还会对工人自身的健康产生影响。
外骨骼机器人为解决这些问题提供了可行的解决方案，人机一体化的外骨骼装置可以有效的为人的运动提供助力，极大地降低了人的负担并且提高了生产力，具有广泛的应用前景与研究意义。
在外骨骼的研究中，通常采用脑电信号、肌电信号和动力学信号获取人体的运动意图，其中脑电信号和肌电信号的采集装置需要贴附在人体表面，不适于长时间的穿戴。相较之下，惯性传感器这种非接触式的传感器在需要外骨骼进行长时间作业的场所表现更为稳定。运动意图可以描述为未来时刻外骨骼的运动姿态，对运动意图的预测是外骨骼控制中非常重要的技术之一，然而传统的预测方法没有考虑运动中的体力消耗情况，随着时间的推移预测精度会有所下降。
发明内容
本发明主要解决的技术问题是提供一种面向外骨骼控制的人体运动意图预测方法，解决现有技术中的预测方法的预测结果不能够随着体力的变化而变化，预测精度不高的问题。
为解决上述技术问题，本发明采用的一个技术方案是提供一种一种面向外骨骼控制的人体运动意图预测方法，包括以下步骤：
采集实验数据，实验人员进行运动实验，通过使用采集设备采集获取实验人员的运动数据和生理数据，并对应形成运动数据集；
构建位姿模型，将人体外骨骼抽象简化为由多个关节点组成的多连杆结构，从中选取一个关节点为根关节点，建立所述根关节点坐标和其他关节点坐标之间的转换关系，形成人体外骨骼坐标矩阵；
计算体力消耗，所述运动数据集中的运动数据与所述关节点相对应，进一步计算出关节力矩，再与所述生理数据相结合输入到高斯过程回归模型，计算出对应的体力消耗；
预测运动轨迹，进一步将所述运动数据集的运动数据、生理数据和体力消耗与所述人体外骨骼坐标矩阵结合，组成一维向量输入到预测模型中进行训练，最终获得优化的预测模型进行运动轨迹预测。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，所述运动数据包括加速度、角速度、姿态角，所述生理数据包括心率值和体力消耗。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，人体外骨骼简化为包括13个关节点，分别对应为腹部节点，也作为根关节点，左肩节点左肘节点，左腕节点，右肩节点，右肘节点，右腕节点，左胯节点，左膝节点，左踝节点，右胯节点，右膝节点，右踝节点。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，使用齐次坐标U＝(x,y,z,w)T来表示关节点的坐标(a,b,c)T，对应有：a＝x/w,b＝y/w,c＝z/w，w是齐次坐标中的归一化因子，再通过变换矩阵将其他关节点坐标转换为相对于所述根关节点坐标的表示形式，其中变换矩阵包括：
第一，平移变换矩阵为：
Figure BDA0002264849060000031
第二，绕X轴旋转θ角的变换矩阵为：
Figure BDA0002264849060000032
第三，绕Y轴旋转θ角的变换矩阵为：
Figure BDA0002264849060000033
第四，绕Z轴旋转θ角的变换矩阵为：
Figure BDA0002264849060000034
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，通过12个变换矩阵A0,1～A0,12，可以计算出13个关节点n0～n12的空间坐标，对应的人体外骨骼坐标矩阵表示为：
Figure BDA0002264849060000035
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，所述关节力矩可以通过Newton-Euler动力学算法计算，具有以下形式：
Figure BDA0002264849060000036
式中，D(q)表示n×n的质量矩阵，
Figure BDA0002264849060000037
表示离心力和哥氏力，G(q)表示重力，q为关节状态变量，包括关节角度、角速度和加速度，/>
Figure BDA0002264849060000041
是的q一阶微分，/>
Figure BDA0002264849060000042
是q的二阶微分。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，计算各关节力矩之后，与心率计值h一起作为输入，即xt＝{τ0,τ1,…,τ12,h}，表示t时刻各关节力矩与心率计值h组成的一维特征向量。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，在高斯过程回归模型中，体力消耗EE′t和输入xt的关系可以表示为y＝f(X)+εy，εy表示高斯白噪声，εy～N(0,δn)，f(X)是特定的多维高斯分布f(X)＝g(m(X),K(X))，m(X)是高斯分布的均值向量，K(X)表示协方差矩阵，可以用径向基核函数来近似表示:
Figure BDA0002264849060000043
其中，x,x′表示任意两个输入样本，l表示尺度系数。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，对于数据集中的一段连续运动data＝{T0,T1,…,Tt}，包含t个时刻的实验数据，Tt表示t时刻的实验数据，Tt＝{Acc,Gyro,Angle,h,EE}；首先计算T0时刻人体外骨骼坐标矩阵Xpose(13×13)，并将其转换为包含39个元素的一维向量，记为p，依次表示关节点n0～n12的坐标，再将数据集中体力消耗EE作为额外元素添加进p中组成新的一维向量x，即x＝(p,EE)；对于data中的各时刻进行同样处理，即可求得新的数据data′＝{x0,x1,…,xt}。
在本发明一种面向外骨骼控制的人体运动意图预测方法另一实施例中，预测模型中进行训练的方法包括：
取data′中时间窗大小为15的连续数据{x1,x2,…,x15|p16}作为训练数据，其中x1～x15为输入数据，p16为标签数据，p16∈x16；
初始化记忆单元C0和系统状态h0，用全0矩阵表示，记忆单元和系统状态在建模过程中，记忆单元会根据输入数据进行更新；
首先，提取输入特征
Figure BDA0002264849060000044
根据输入特征对记忆单元进行更新，记忆单元的更新方式采用记忆与遗忘相结合的方式：使用记忆门限参数it限制输入特征流入记忆单元，使用遗忘门限参数ft限制记忆单元自身的知识更新，最终记忆单元的更新方式为：
Figure BDA0002264849060000051
其中：i1＝σ(Wi·[h0,x1]+bi)，f1＝σ(Wf·[h0,x1]+bf)，记忆单元更新之后，对系统状态进行更新，h1＝O1*tanhC1，其中O1表示输出门限系数，用于限制记忆单元的输出，O1＝σ(W0·[h0,x1]+b0)；
以此为基础，继续根据t＝2时刻的输入x2计算该时刻的门限系数i2,f2,O2，从而求得t＝2时刻的系统状态h2和记忆单元C2；
以此类推，模型会对该15个连续数据建模获得最终的系统状态h15，h15中包含记忆单元从输入中提取的时序特征，p16的预测值为y′16＝Wh15+b,其中y′16与p16均为一维向量，使用loss函数：
Figure BDA0002264849060000052
计算预测值与标签值之间的误差，式中i表示一维向量的元素下标，m＝39与p16元素个数保持一致；
使用反向传播算法对上述参数矩阵和偏置矩阵进行更新，更新完成后将时间窗后移一位，即取data′中{x2,x3,…,x16|p17}作为训练数据重复上述过程直至loss函数值保持稳定，在该过程中损失函数的值会逐步下降至稳定，模型获得更好的预测效果；
训练完成后保存所有的参数矩阵值W，Wi，Wf，Wc，W0以及偏置值b,bi,bf,bc,b0作为模型参数，并使用计算所得体力消耗EE′替代数据集中EE作为输入，即可实现作业场景中的意图预测。
本发明的有益效果是：本发明公开了一种面向外骨骼控制的人体运动意图预测方法。该方法包括步骤有采集实验数据、构建位姿模型、计算体力消耗和预测运动轨迹，主要是通过运动实验采集运动数据集，然后基于人体外骨骼抽象简化为多个关节点组成的多连杆结构人体外骨骼坐标矩阵，再计算得到体力消耗，然后通过运动数据集对预测模型进行训练后，利用该预测模型进行人体运动意图预测。该方法融入了运动中的体力消耗情况，预测精度不会随着时间推移而降低，更加贴近人机工程的实际效果。
附图说明
图1是根据本发明一种面向外骨骼控制的人体运动意图预测方法一实施例的流程图；
图2是根据本发明一种面向外骨骼控制的人体运动意图预测方法一实施例中的外骨骼关节点示意图；
图3是根据本发明一种面向外骨骼控制的人体运动意图预测方法一实施例中的预测模型组成框图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1显示了本发明一种面向外骨骼控制的人体运动意图预测方法一实施例的流程图。在图1中，包括：
步骤S101，采集实验数据，实验人员进行运动实验，通过使用采集设备采集获取实验人员的运动数据和生理数据，并对应形成运动数据集；
步骤S102，构建位姿模型，将人体外骨骼抽象简化为由多个关节点组成的多连杆结构，从中选取一个关节点为根关节点，建立所述根关节点坐标和其他关节点坐标之间的转换关系，形成人体外骨骼坐标矩阵；
步骤S103，计算体力消耗，所述运动数据集中的运动数据与所述关节点相对应，进一步计算出关节力矩，再与所述生理数据相结合输入到高斯过程回归模型，计算出对应的体力消耗；
步骤S104，预测运动轨迹，进一步将所述运动数据集的运动数据、生理数据和体力消耗与所述人体外骨骼坐标矩阵结合，组成一维向量输入到预测模型中进行训练，最终获得优化的预测模型进行运动轨迹预测。
对于步骤S101采集的实验数据主要由于后面的运动预测。优选的，采集数据包括由惯性传感器系统采集到的运动数据，如加速度、角速度、角度等，传感器系统中各惯性传感器分别布置在外骨骼各连杆部位(参见图2)，用于后续计算外骨骼在不同时刻的姿态。因此，这样的运动数据实际上包括外骨骼多个部位的运动数据，也就是说其中的每一个部位都包括加速度、角速度、姿态角等运动数据，因此这种采集的运动数据在外骨骼上具有空间分布的特点，即在不同的外骨骼部位具有不同的运动数据，而运动数据保护有多个，通常可以用一个向量来表示运动数据。
优选的，除了运动数据外，采集数据还包括采集参与实验人员的生理数据，包括身高、体重、腿长等静态生理数据，以及运动过程中心率计采集到的心率信息等动态生理数据。
优选的，采集数据还包括通过便携式气体分析仪测量参与实验人员在运动过程的代谢速率。
优选的，这里的运动过程是根据外骨骼实际工作环境设计的一系列运动实验，包括行走、蹲起、摆动手臂、托举动作等，每个动作持续5分钟，并且参与者在每个运动间隔应进行一段时间的休息，使代谢水平恢复至静止代谢速率。
上述采集数据的具体过程包括，在采集数据之前，参与者在室内环境中保持静止站立状态，记录参与实验人员的身高、体重、腿长等生理参数，使用肺应力实验装置来测量实验人员静止期间的氧气和二氧化碳的气体代谢状况，实验人员的手腕处佩戴心率计采集静止时的心率计示数。上述准备完成后即可开始运动实验，并采集数据。
采集设备包括安装于外骨骼平台的惯性传感器网络(实验人员穿戴该外骨骼平台)人体手腕处心率计以及肺应力实验装置。
优选的，运动实验以行走为例，记录人员发出开始实验的指令后，实验人员开始行走，记录人员随即开始记录各传感器数据，单次行走过程持续5分钟，实验结束后记录人员停止记录数据，将采集的数据导出保存，行走数据集形式为Walki＝{T1,T2,…Tt}，其中Walki表示第i次行走实验，Tt表示t时刻的实验数据，Tt＝{Acc,Gyro,Angle,h,EE}，其中Acc、Gyro、Angle均为长度为9的向量，表示惯性传感器网络中各传感器得到的加速度、角速度和姿态角的测量示数，h表示心率计示数，加速计对加速度的测量示数Acc、陀螺仪对角速度的测量示数Gyro、姿态角Angle、心率计示数h均由传感器直接获取。
优选的，EE表示体力消耗，计算方式是：
EE(kcal/min)＝3.9*VO2(L/min)+1.1*VCO2(L/min)
进一步优选的，上述行走实验需采集5次，当行走动作实验采集结束后，实验人员进行一段时间的休息，当代谢水平恢复至静止代谢速率后开始下个动作的数据采集实验。
对于步骤S102，在外骨骼系统中，为了使穿戴者具有舒适的穿戴体验，外骨骼的机械结构设计应符合人体的生理结构，即外骨骼关节与对应人体关节具有相同的自由度和近似的活动范围，但相较于人体的生理结构，外骨骼具有更为严格的关节约束，因此采用外骨骼的位姿模型来代替人体的骨架模型。
优选的，如图2所示，人体外骨骼可以简化成由一系列连杆与转动关节串联的多连杆结构，其中n0～n12表示13个关节点，分别n0对应为腹部节点，也作为根关节点，n1对应为左肩节点，n2对应为左肘节点，n3对应为左腕节点，n4对应为右肩节点，n5对应为右肘节点，n6对应为右腕节点，n7对应为左胯节点，n8对应为左膝节点，n9对应为左踝节点，n10对应为右胯节点，n11对应为右膝节点，n12对应为右踝节点。使用li,j来表示关节点ni与关节点nj之间的连杆，例如l7,8表示外骨骼的左大腿连杆。
优选的，在外骨骼位姿模型中，每个连杆对应一个坐标系，与安装于连杆上的惯性传感器相对应，在运动时，不同连杆坐标系间存在位置、角度偏转，为了便于描述，本发明使用齐次坐标U＝(x,y,z,w)T来表示关节点的坐标(a,b,c)T，它们的关系为：
a＝x/w,b＝y/w,c＝z/w
这里w是齐次坐标中的归一化因子，一般设为1，例如使用(1，1，1，1)来表示空间坐标(1，1，1)。
通过变换矩阵，将各连杆末端的坐标通过变换矩阵转换为相对于根关节点坐标的表示形式，其中变换矩阵包括：
第一，平移变换矩阵为：
Figure BDA0002264849060000091
第二，绕X轴旋转θ角的变换矩阵为：
Figure BDA0002264849060000092
第三，绕Y轴旋转θ角的变换矩阵为：
Figure BDA0002264849060000093
第四，绕Z轴旋转θ角的变换矩阵为：
Figure BDA0002264849060000101
通过以上变换矩阵，可以根据图2所示结构，从根关节节点n0开始依次计算其余关节点坐标。
优选的，以采集数据中t时刻数据为例，以根关节点的坐标n0为参考坐标原点，则n7相对于n0的旋转矩阵A0,7可以通过平移旋转使得n0与n7坐标轴重合来计算，具体实现过程为：
第一步，将n0坐标系绕
Figure BDA0002264849060000102
轴旋转一个角度θn；第二步，沿/>
Figure BDA0002264849060000103
轴平移一个距离dn；第三步，沿着旋转后的/>
Figure BDA0002264849060000104
平移一个距离an；第四步，沿着旋转后的/>
Figure BDA0002264849060000105
旋转一个角度αn。
则从n0坐标系到n7坐标系的变换矩阵为：
A0，7＝R(Z，θn)T(0，0，dn)T(an，0，0)R(X，αn)
展开为：
Figure BDA0002264849060000106
则n7相对于根关节的坐标表示为n7＝n0A0,7。同理，可求得从n7坐标系到n8坐标系的变换矩阵为A7,8，则从n0坐标系到n8坐标系的变换矩阵A0,8＝A0,7A7,8，则n8相对于根关节的坐标表示为n8＝n0A0,8。
则通过12个变换矩阵A0,1～A0,12，可以计算出13个关节点的空间坐标n0～n12，对应的人体外骨骼坐标矩阵表示为：
Figure BDA0002264849060000107
由前述已知，在构造的数据集中，已经通过便携式气体分析仪采集了运动中的体力消耗数据，但是在外骨骼的实际工作中不宜引入额外的装置，因此本发明使用关节力矩和心率计数据作为输入，替代便携式气体分析仪计算运动中的体力消耗。
优选的，在步骤S103中，关节力矩可以通过Newton-Euler动力学算法计算，具有以下形式：
Figure BDA0002264849060000111
式中，D(q)表示n×n的质量矩阵，
Figure BDA0002264849060000112
表示离心力和哥氏力，G(q)表示重力，q为关节状态变量，包括关节角度、角速度和加速度，可由上述关节点空间坐标和采集的数据集计算得到。/>
Figure BDA0002264849060000113
是的q一阶微分，/>
Figure BDA0002264849060000114
是q的二阶微分，例如当q表示关节角度，/>
Figure BDA0002264849060000115
表示角速度，/>
Figure BDA0002264849060000116
表示加速度。
计算各关节力矩之后，与心率计数据一起作为输入，即xt＝{τ0,τ1,…,τ12,h}，表示t时刻各关节力矩与心率计示数h组成的一维特征向量。
进一步的，使用高斯过程回归模型，建立xt与体力消耗之间的映射关系。
体力消耗EE′t和输入xt的关系可以表示为y＝f(X)+εy，εy表示高斯白噪声，εy～N(0，δn)，f(X)是特定的多维高斯分布f(X)＝g(m(X),K(X))，m(X)是高斯分布的均值向量，K(X)表示协方差矩阵，可以用径向基核函数来近似表示:
Figure BDA0002264849060000117
其中x,x′表示任意两个输入样本，l表示尺度系数，对于径向基核函数中的参数，可以使用最大似然估计确定，确定参数之后，利用该模型即可在任意时刻给定输入xt后计算出体力消耗EE′t。
对于步骤S104，预测模型的作用是在历史信息和当前观测信息的基础上，对未来时刻的关节运动轨迹进行预测，可以使用时序预测的方式进行建模。
优选的，对于数据集中的一段连续运动data＝{T0,T1,…,Tt}，包含t个时刻的实验数据，Tt表示t时刻的实验数据，Tt＝{Acc,Gyro,Angle,h,EE}，首先计算T0时刻人体外骨骼坐标矩阵Xpose(13×13)，并将其转换为包含39个元素的一维向量，记为p，依次表示关节点n0～n12的坐标，再将数据集中体力消耗EE作为额外元素添加进p中组成新的一维向量x，即x＝(p,EE)；对于data中的各时刻进行同样处理，即可求得新的数据data′＝{x0,x1,…,xt}。
取data′中时间窗大小为15的连续数据{x1,x2,…,x15|p16}作为训练数据，其中x1～x15为输入数据，p16为标签数据，p16∈x16；
如图3所示，图3中C表示记忆单元，h表示系统状态，由于模型具有时序更新的功能因此C、h均具有下标t，表示不同时刻的记忆单元和系统状态。图3中除向量乘法
Figure BDA0002264849060000121
和向量加法/>
Figure BDA0002264849060000122
运算外，tanh表示tanh()函数，σ表示σ()函数。
初始化记忆单元C0和系统状态h0，用全0矩阵表示，记忆单元和系统状态在建模过程中，记忆单元会根据输入数据进行更新；
首先，提取输入特征
Figure BDA0002264849060000123
根据输入特征对记忆单元进行更新，记忆单元的更新方式采用记忆与遗忘的方式：使用记忆门限参数it限制输入特征流入记忆单元，使用遗忘门限参数ft限制记忆单元自身的知识更新，最终记忆单元的更新方式为：
Figure BDA0002264849060000124
W、Wc、Wi、Wf、W0均为参数矩阵，使用W*统一表示；b、bc、bi、bf、b0均为偏置矩阵，使用b*统一表示；该网络的核心是根据当前时刻的输入xt,将网络的两个状态h和C，由ht-1、Ct-1更新至ht、Ct，有这样一个时序的过程。可以认为网络的输入是xt、ht-1、Ct-1、，输出是ht、Ct。而对于第一个时刻x1，不存在上一时刻的概念，因此h0、C0是初始化的结果。
其中：i1＝σ(Wi·[h0,x1]+bi)，f1＝σ(Wf·[h0,x1]+bf)，记忆单元更新之后，对系统状态进行更新，h1＝O1*tanhC1，其中O1表示输出门限系数，用于限制记忆单元的输出，O1＝σ(W0·[h0,x1]+b0)。至此，根据t＝1时刻的输入数据x1计算了该时刻的系统状态h1和记忆单元C1。
以此为基础，依照上述方法可以根据t＝2时的输入x2计算该时刻的门限系数i2,f2,O2，从而求得t＝2时刻的系统状态h2和记忆单元C2；
以此类推，模型会对该15个连续数据建模获得最终的系统状态h15，h15中包含记忆单元从输入中提取的时序特征，p16的预测值为y′16＝Wh15+b,其中y′16与p16均为一维向量，使用loss函数：
Figure BDA0002264849060000131
计算预测值与标签值之间的误差，式中i表示一维向量的元素下标，m＝39与p16元素个数保持一致；
使用反向传播算法对上述参数矩阵W*和偏置矩阵b*进行更新，都是首先经过随机初始化，在训练的过程中通过反向传播算法进行更新，更新完成后将时间窗后移一位，即取data′中{x2,x3,…,x16|p17}作为训练数据重复上述过程直至loss函数值保持稳定，在该过程中损失函数的值会逐步下降至稳定，模型获得更好的预测效果；
训练完成后保存所有的参数矩阵值W，Wi，Wf，Wc，W0以及偏置值b,bi,bf,bc,b0作为模型参数，并使用计算所得体力消耗EE′替代数据集中EE作为输入，即可实现作业场景中的意图预测。
由此可见，本发明公开了一种面向外骨骼控制的人体运动意图预测方法。该方法包括步骤有采集实验数据、构建位姿模型、计算体力消耗和预测运动轨迹，主要是通过运动实验采集运动数据集，然后基于人体外骨骼抽象简化为多个关节点组成的多连杆结构人体外骨骼坐标矩阵，再计算得到体力消耗，然后通过运动数据集对预测模型进行训练后，利用该预测模型进行人体运动意图预测。该方法融入了运动中的体力消耗情况，预测精度不会随着时间推移而降低，更加贴近人机工程的实际效果。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种面向外骨骼控制的人体运动意图预测方法，其特征在于，包括以下步骤：
采集实验数据，实验人员进行运动实验，通过使用采集设备采集获取实验人员的运动数据和生理数据，并对应形成运动数据集；
构建位姿模型，将人体外骨骼抽象简化为由多个关节点组成的多连杆结构，从中选取一个关节点为根关节点，建立所述根关节点坐标和其他关节点坐标之间的转换关系，形成人体外骨骼坐标矩阵；
计算体力消耗，所述运动数据集中的运动数据与所述关节点相对应，进一步计算出关节力矩，再与所述生理数据相结合输入到高斯过程回归模型，计算出对应的体力消耗；
预测运动轨迹，进一步将所述运动数据集的运动数据、生理数据和体力消耗与所述人体外骨骼坐标矩阵结合，组成一维向量输入到预测模型中进行训练，最终获得优化的预测模型进行运动轨迹预测。
2.根据权利要求1所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，所述运动数据包括加速度、角速度、姿态角，所述生理数据包括心率值和体力消耗。
3.根据权利要求2所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，人体外骨骼简化为包括13个关节点，分别对应为腹部节点，也作为根关节点，左肩节点左肘节点，左腕节点，右肩节点，右肘节点，右腕节点，左胯节点，左膝节点，左踝节点，右胯节点，右膝节点，右踝节点。
4.根据权利要求3所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，使用齐次坐标U＝(x,y,z,w)T来表示关节点的坐标(a,b,c)T，对应有：a＝x/w,b＝y/w,c＝z/w，w是齐次坐标中的归一化因子，再通过变换矩阵将其他关节点坐标转换为相对于所述根关节点坐标的表示形式，其中变换矩阵包括：
第一，平移变换矩阵为：
Figure FDA0002332382770000021
第二，绕X轴旋转θ角的变换矩阵为：
Figure FDA0002332382770000022
第三，绕Y轴旋转θ角的变换矩阵为：
Figure FDA0002332382770000023
第四，绕Z轴旋转θ角的变换矩阵为：
Figure FDA0002332382770000024
5.根据权利要求4所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，通过12个变换矩阵A0,1～A0,12，可以计算出13个关节点n0～n12的空间坐标，对应的人体外骨骼坐标矩阵表示为：
Figure FDA0002332382770000025
6.根据权利要求5所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，所述关节力矩可以通过Newton-Euler动力学算法计算，具有以下形式：
Figure FDA0002332382770000026
式中，D(q)表示n×n的质量矩阵，
Figure FDA0002332382770000027
表示离心力和哥氏力，G(q)表示重力，q为关节状态变量，包括关节角度、角速度和加速度，/>
Figure FDA0002332382770000031
是的q一阶微分，/>
Figure FDA0002332382770000032
是q的二阶微分。
7.根据权利要求6所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，计算各关节力矩之后，与心率计值h一起作为输入，即xt＝{τ0,τ1,…,τ12,h}，表示t时刻各关节力矩与心率计值h组成的一维特征向量。
8.根据权利要求7所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，在高斯过程回归模型中，体力消耗EE't和输入xt的关系可以表示为y＝f(X)+εy，εy表示高斯白噪声，εy～N(0,δn)，f(X)是特定的多维高斯分布f(X)＝g(m(X),K(X))，m(X)是高斯分布的均值向量，K(X)表示协方差矩阵，可以用径向基核函数来近似表示:
Figure FDA0002332382770000033
其中，x,x'表示任意两个输入样本，l表示尺度系数。
9.根据权利要求8所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，对于数据集中的一段连续运动data＝{T0,T1,…,Tt}，包含t个时刻的实验数据，Tt表示t时刻的实验数据，Tt＝{Acc,Gyro,Angle,h,EE}；首先计算T0时刻人体外骨骼坐标矩阵Xpose(13×13)，并将其转换为包含39个元素的一维向量，记为p，依次表示关节点n0～n12的坐标，再将数据集中体力消耗EE作为额外元素添加进p中组成新的一维向量x，即x＝(p,EE)；
对于data中的各时刻进行同样处理，即可求得新的数据data'＝{x0,x1,…,xt}。
10.根据权利要求9所述的面向外骨骼控制的人体运动意图预测方法，其特征在于，预测模型中进行训练的方法包括：
取data'中时间窗大小为15的连续数据{x1,x2,…,x15|p16}作为训练数据，其中x1～x15为输入数据，p16为标签数据，p16∈x16；
初始化记忆单元C0和系统状态h0，用全0矩阵表示，记忆单元和系统状态在建模过程中，记忆单元会根据输入数据进行更新；
首先，提取输入特征
Figure FDA0002332382770000041
根据输入特征对记忆单元进行更新，记忆单元的更新方式采用记忆与遗忘相结合的方式：使用记忆门限参数it限制输入特征流入记忆单元，使用遗忘门限参数ft限制记忆单元自身的知识更新，最终记忆单元的更新方式为：
Figure FDA0002332382770000042
其中：i1＝σ(Wi·[h0,x1]+bi)，f1＝σ(Wf·[h0,x1]+bf)，记忆单元更新之后，对系统状态进行更新，h1＝O1*tanhC1，其中O1表示输出门限系数，用于限制记忆单元的输出，O1＝σ(W0·[h0,x1]+b0)；
以此为基础，继续根据t＝2时刻的输入x2计算该时刻的门限系数i2,f2,O2，从而求得t＝2时刻的系统状态h2和记忆单元C2；
以此类推，模型会对该15个连续数据建模获得最终的系统状态h15，h15中包含记忆单元从输入中提取的时序特征，p16的预测值为y'16＝Wh15+b,其中y'16与p16均为一维向量，使用loss函数：
Figure FDA0002332382770000043
计算预测值与标签值之间的误差，式中i表示一维向量的元素下标，m＝39与p16元素个数保持一致；
使用反向传播算法对上述参数矩阵和偏置矩阵进行更新，更新完成后将时间窗后移一位，即取data'中{x2,x3,…,x16|p17}作为训练数据重复上述过程直至loss函数值保持稳定，在该过程中损失函数的值会逐步下降至稳定，模型获得更好的预测效果；
训练完成后保存所有的参数矩阵值W,Wi,Wf,Wc,W0以及偏置值b，bi，bf，bc，b0作为模型参数，并使用计算所得体力消耗EE'替代数据集中EE作为输入，即可实现作业场景中的意图预测。
CN201911084054.XA 2019-11-07 2019-11-07 一种面向外骨骼控制的人体运动意图预测方法 Active CN111062247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911084054.XA CN111062247B (zh) 2019-11-07 2019-11-07 一种面向外骨骼控制的人体运动意图预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911084054.XA CN111062247B (zh) 2019-11-07 2019-11-07 一种面向外骨骼控制的人体运动意图预测方法

Publications (2)

Publication Number Publication Date
CN111062247A CN111062247A (zh) 2020-04-24
CN111062247B true CN111062247B (zh) 2023-05-26

Family

ID=70298043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911084054.XA Active CN111062247B (zh) 2019-11-07 2019-11-07 一种面向外骨骼控制的人体运动意图预测方法

Country Status (1)

Country Link
CN (1) CN111062247B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116072291A (zh) * 2021-10-29 2023-05-05 华为终端有限公司 运动分析方法、装置、电子设备及计算机存储介质
CN114129392B (zh) * 2021-12-07 2023-07-28 山东大学 可调控末端指尖力的自适应冗余驱动外骨骼康复机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107397649A (zh) * 2017-08-10 2017-11-28 燕山大学 一种基于径向基神经网络的上肢外骨骼康复机器人控制方法
WO2018000854A1 (zh) * 2016-06-29 2018-01-04 深圳光启合众科技有限公司 对人体上肢进行运动意图识别和助力的方法及装置
CN107898466A (zh) * 2017-10-17 2018-04-13 深圳大学 一种基于惯性传感器的肢体运动捕捉系统和方法
CN110141239A (zh) * 2019-05-30 2019-08-20 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000854A1 (zh) * 2016-06-29 2018-01-04 深圳光启合众科技有限公司 对人体上肢进行运动意图识别和助力的方法及装置
CN107397649A (zh) * 2017-08-10 2017-11-28 燕山大学 一种基于径向基神经网络的上肢外骨骼康复机器人控制方法
CN107898466A (zh) * 2017-10-17 2018-04-13 深圳大学 一种基于惯性传感器的肢体运动捕捉系统和方法
CN110141239A (zh) * 2019-05-30 2019-08-20 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卡尔曼预测的外骨骼摆动腿随动控制研究;曹志刚等;《科学技术与工程》;20161018(第29期);全文 *
基于牛顿-欧拉法的人体下肢动力学分析与建模;张玉叶等;《咸阳师范学院学报》;20180725(第04期);全文 *

Also Published As

Publication number Publication date
CN111062247A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
Schepers et al. Xsens MVN: Consistent tracking of human motion using inertial sensing
Baghdadi et al. Hip and trunk kinematics estimation in gait through Kalman filter using IMU data at the ankle
El-Gohary et al. Human joint angle estimation with inertial sensors and validation with a robot arm
Xiang et al. Optimization‐based dynamic human walking prediction: One step formulation
US9597015B2 (en) Joint angle tracking with inertial sensors
JP4764431B2 (ja) 閉形式ダイナミクスのアプローチを用いて関節荷重を推定するシステム及び方法
CN106527738A (zh) 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN111062247B (zh) 一种面向外骨骼控制的人体运动意图预测方法
CN107616898B (zh) 基于日常动作的上肢穿戴式康复机器人及康复评价方法
JP2008527579A (ja) 三次元系における関節荷重を推定するシステム及び方法
CN107194193A (zh) 一种踝泵运动监测方法及装置
Kim et al. StrokeTrack: wireless inertial motion tracking of human arms for stroke telerehabilitation
CN114417738B (zh) 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
EP4064986A1 (en) A wearable device for determining motion and/or a physiological state of a wearer
Bonnet et al. A constrained extended kalman filter for dynamically consistent inverse kinematics and inertial parameters identification
CN115373511A (zh) 基于惯性动作捕捉技术的人体运动数字孪生的构建方法
Pathirana et al. Robust and accurate capture of human joint pose using an inertial sensor
CN110638456B (zh) 用于计算跑步或行走个体的实时步长和速度的方法
Liu et al. A new IMMU-based data glove for hand motion capture with optimized sensor layout
Chen et al. IMU-based estimation of lower limb motion trajectory with graph convolution network
Chen et al. Human motion capture algorithm based on inertial sensors
Puchaud et al. Direct multiple shooting and direct collocation perform similarly in biomechanical predictive simulations
Chen et al. Drift-free joint angle calculation using inertial measurement units without magnetometers: An exploration of sensor fusion methods for the elbow and wrist
Nicolas et al. From bone to plausible bipedal locomotion using inverse kinematics
Yang et al. Research on human motion monitoring method based on multi-joint constraint filter model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant