CN115937255A - 一种基于反向运动学的人体运动学分析方法及系统 - Google Patents
一种基于反向运动学的人体运动学分析方法及系统 Download PDFInfo
- Publication number
- CN115937255A CN115937255A CN202211583696.6A CN202211583696A CN115937255A CN 115937255 A CN115937255 A CN 115937255A CN 202211583696 A CN202211583696 A CN 202211583696A CN 115937255 A CN115937255 A CN 115937255A
- Authority
- CN
- China
- Prior art keywords
- imu
- joint
- kinematics
- angle
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000033001 locomotion Effects 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 39
- 230000003044 adaptive effect Effects 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 49
- 230000001133 acceleration Effects 0.000 claims description 21
- 210000001503 joint Anatomy 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 210000002683 foot Anatomy 0.000 claims description 6
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 5
- 210000000245 forearm Anatomy 0.000 claims description 5
- 210000000323 shoulder joint Anatomy 0.000 claims description 5
- 210000000689 upper leg Anatomy 0.000 claims description 5
- 210000003857 wrist joint Anatomy 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 244000309466 calf Species 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 210000002310 elbow joint Anatomy 0.000 claims description 3
- 230000005358 geomagnetic field Effects 0.000 claims description 3
- 210000001624 hip Anatomy 0.000 claims description 3
- 210000004394 hip joint Anatomy 0.000 claims description 3
- 210000000629 knee joint Anatomy 0.000 claims description 3
- 210000002414 leg Anatomy 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 210000004197 pelvis Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 210000001519 tissue Anatomy 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001095 motoneuron effect Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000009529 traumatic brain injury Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于反向运动学的人体运动学分析方法及系统，该方法包括：利用自适应误差状态卡尔曼滤波器AESKF估计附着在身体段上的惯性传感单元IMU的姿态角；构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU；将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。该方法及系统有利于准确测量人体运动学数据，且计算量小，实时性好。
Description
技术领域
本发明属于人体运动学分析技术领域，具体涉及一种基于反向运动学的人体运动学分析方法及系统。
背景技术
人体运动学测量与分析在医疗诊断和康复治疗领域有许多应用，包括神经运动障碍的诊断、治疗评估以及可能影响个人活动能力的损伤康复。为了评估这种疾病和运动障碍的程度，临床医生经常使用各种临床评定量表。然而，这些评分量表是主观的、瞬时的、粗略的，无法捕捉患者运动状态的细微变化。
因此，目前有许多研究利用光学、磁、声学等运动捕捉和分析系统等对患者日常身体活动连续和客观地测量，并评估不同治疗和疗法的效果，这些测量也可用于康复，以帮助恢复中风或创伤性脑损伤患者的运动功能。这些运动分析系统虽然能够提供准确的测量结果，但是依赖于特定场地条件、专业设备和人员。这些系统通常作为测量的黄金标准，但是造价昂贵，并不适用于大众日常的测量。
惯性传感器的快速发展被广泛用于运动测量与分析。惯性测量单元(IMU)集成了加速度计、陀螺仪和磁力计，分别测量运动过程中的加速度、角速度和磁场强度。连接到身体不同部位的IMU，可以突破实验室环境的限制，连续检测日常活动中的运动信号，跟踪算法的快速进步使个人能够量化自己的运动。目前市面上已经有许多商用的全身惯性动捕系统，如Xsens、诺亦腾等，但是这些商业系统均是基于自身设计的硬件与分析软件，并非开源的，而且这些系统价格不菲。
在大多数使用IMU评估人体运动学的研究中，“直接运动学”是一种常见的方法。该方法直接将IMU按照预定义的方向连接到身体片段上，以估计关节运动学。正向运动学理论也被广泛运用，通过自上而下的分析方法，给定上级骨骼的方位和变换顺序，带动相连的下级骨骼运动，继而求解末端骨骼在上级骨骼运动过程中每时刻的位姿。在构建层次关节连骨骼模型的基础上，运用Denavit-Hartenberg约束的全身姿态融合算法，通过对每个关节点建立固定坐标系，利用惯性传感器的测量数据确定从父节点到子节点的姿态变化角，然后建立正向运动学方程进行姿态求解。近些年机器学习方法在人体姿态跟踪领域中的应用也层出不穷，通过建立循环神经网络等模型求解蒙皮多人线性模型参数，再实现可视化。
这些方法通常需要结合卡尔曼滤波器、扩展卡尔曼滤波器以及互补滤波器等计算IMU自身的姿态。卡尔曼滤波器虽然能提供较为准确的估计，但限制于线性系统；扩展卡尔曼滤波器突破了卡尔曼滤波器的限制，但计算复杂度大，不适用于实时系统分析；互补滤波器基于梯度下降法，计算效率高，但易受磁干扰的影响。并且这些算法的应用往往需要根据实际应用场景做出参数调整，非专业人员很难迁移运用。
发明内容
本发明的目的在于提供一种基于反向运动学的人体运动学分析方法及系统，该方法及系统有利于准确测量人体运动学数据，且计算量小，实时性好。
为实现上述目的，本发明采用的技术方案是：一种基于反向运动学的人体运动学分析方法，包括：
利用自适应误差状态卡尔曼滤波器AESKF估计附着在身体段上的惯性传感单元IMU的姿态角；
构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU；
将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。
进一步地，利用AESKF估计附着在身体段上的IMU的姿态角，其具体方法为：
将IMU三轴加速度计、陀螺仪、磁力计的数据输入到AESKF，即得到IMU当前的姿态角；AESKF通过两个误差状态卡尔曼滤波器ESKF分别估计倾角误差和航向角误差，以此自适应更新卡尔曼增益，所述倾角为IMU在xy平面上的角度；
当采样间隔时间dt足够小的时候，当前时刻k的角速度四元数近似表示为：
由此，通过整合来自陀螺仪的角速度测量得到的姿态估计为：
其中
表示四元数乘法；
当得到磁力计的初始测量值ym,0、加速度计的初始测量值ya,0、地球的磁场href和重力加速度gref时，则利用当前IMU姿态四元数计算出重力加速度和磁场强度的参考估计值，分别表示为
由此通过测量值减去参考估计值得到加速度和磁干扰误差模型：
将IMU加速度计和磁力计受到的干扰建模为一阶自回归过程，由此得到地球重力加速度和地磁场的测量模型：
其中，参数ca设置为0.1，cm设置为0.99；白噪声过程wa,k和wm,k设置为0；则改进的传感器参考系中的重力加速度和地磁场估计为：
将加速度计和磁力计的测量值表示为vk，在全局坐标系的姿态四元数表示为
在
是准确的情况下，对应的地球重力加速度估计值矢量或地磁场的水平分量gvk与其参考矢量eref重合；假设干扰模型充分准确，则将gvk与eref之间的差量化为关于对应轴nk的角度差，进一步简化为：
将姿态误差分解为两个测量误差：倾角误差γa,k和偏航误差γm,k：
倾角的误差先验估计
和误差状态协方差先验估计
由下列式子定义：
其中，
为误差状态协方差的后验估计，零均值过程的方差Qa,k取决于陀螺仪测量值在x和y轴的方差；
同理，偏航角误差后验估计
和误差状态协方差后验估计
由下列式子定义：
由大小为N的滑动窗口上γk的样本方差计算得到系统测量的协方差Rk，通过组合误差状态协方差先验估计和测量残差Sk的协方差确定卡尔曼增益μk，具体过程如下：
利用加速度计测得的倾角误差γa,k来修正q′k；Ra,k是分别用窄窗口和宽窗口计算得到的系统测量协方差，则利用加速度计校正后的姿态四元数q″k计算过程如下：
由此，ESKF仅使用磁力计来校正姿态估计的航向角，因此只要分析全局坐标系中磁场强度的变化量gΔbxy,k：
如果磁场强度变化量gΔbxy,k小于ζxy，则磁力计测量值被认为是可信的，因此进行ESKF校正：
由此，将磁力计进一步校准得到的姿态四元数qk″′输入到陀螺仪更新，进行下一时刻的更新计算。
进一步地，构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU，其具体方法为：
忽略肌肉、皮肤组织，将复杂的人体运动过程简化为各个骨骼围绕着相应关节旋转运动的组合，且在建模过程中忽略运动范围小的骨骼和关节，构建一个包含15块骨骼和14个关节的人体运动学模型，所述15块骨骼包括头部、左右上臂、左右前臂、左右手、胸、盆骨、左右大腿、左右小腿和左右脚，所述14个关节包括颈关节、左右肩关节、左右肘关节、左右腕关节、腰部关节、左右髋关节、左右膝关节和左右踝关节；所述人体运动学模型具有关节旋转自由度约束和转动角范围约束；
定义人体模型坐标系，人体处于T姿势下：身体直立，目视前方，双臂自然张开与肩膀平齐，手掌向下，双腿直立平行，双脚朝前；人体模型坐标系的X轴水平指向身体的前方，Y轴垂直指向身体上方，Z轴水平指向身体右方；
在人体运动学模型中预定义与实际穿戴位置相对应的虚拟IMU，虚拟IMU规定初始方向；
将IMU坐标系校正到人体模型坐标系；将所有IMU按照预定义的方向穿戴在身体上后，人体保持T姿势，在相应的佩戴位置上，存在对应的虚拟IMU的坐标系方向；假设在佩戴IMU时产生了偏移，则静止时的理想初始四元数
为：
其中，
为已经转化为人体模型坐标系的实际IMU测得的初始四元数，由此得到初始放置偏差四元数hqΔ，将虚拟IMU的四元数姿态补偿标定后的偏移量。
进一步地，将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角，其具体方法为：
利用IMU运动数据驱动校准后的人体运动学模型，先利用式(16)计算实际测量的IMU旋转矩阵
相对于人体运动学模型虚拟IMU的旋转矩阵
的轴角差θi，然后通过式(17)最小化轴角差的加权平方和，即成本函数来求解人体运动关节角q；
其中，wi表示第i个IMU的权重；上述最小化问题为无约束的整体优化，每个时间帧都独立于先前的时间帧，对于每个时间帧的关节角，通过梯度下降法迭代寻找成本函数的全局最小值；虚拟IMU的初始旋转矩阵来源于前一时刻解算的数据，由式(16)得到初始的轴角差θi,0；设梯度下降的步长为α，终止调节为η，则由式(18)得到第N次迭代后的轴角差θi,N，当满足迭代终止条件
时，则得到反向运动学优化后的轴角差与其对应的关节角；
本发明还提供了一种用于实现上述方法的基于反向运动学的人体运动学分析系统，包括IMU和计算机，所述IMU包括电源模块、主控模块、惯性测量模块和蓝牙mesh模块；所述电源模块主要由USB充电电路、锂电池、电压转换电路和稳压滤波电路组成，用于为IMU提供工作电压；所述主控模块用于控制、连接惯性测量模块和蓝牙mesh模块，并且执行自适应误差状态卡尔曼滤波器解算IMU姿态；所述惯性测量模块集成陀螺仪、加速度计和磁力计；所述蓝牙mesh模块用于实现IMU与计算机的组网通讯，完成数据采集过程的时间戳同步与数据传输；所述计算机用于构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU，然后将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。
与现有技术相比，本发明具有以下有益效果：提供了一种基于反向运动学的人体运动学分析方法及系统，该方法将IMU测量得到的数据经过自适应误差状态卡尔曼滤波器解算的四元数姿态数据与人体运动学模型相结合，通过基于优化的反向运动学方法求解得到人体运动过程中的关节角，从而可以准确测量全身运动学数据。该方法准确性高，对噪声的抗干扰能力强，计算量小，适用于实时运动学监测。自适应误差状态卡尔曼滤波器对于IMU姿态的估计误差小，一次求解只需要65次加法、88次减法和214次乘法运算，反向运动学优化算法的计算效率取决于IMU的数量与数据传输速度，整体计算时长满足实时性要求。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中AESKF的工作流程图。
图3是本发明实施例中人体运动学模型示意图。
图4是本发明实施例中系统实现原理框图。
图5是本发明实施例中主控模块的工作流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于反向运动学的人体运动学分析方法，其特征在于，包括：
1)利用自适应误差状态卡尔曼滤波器AESKF估计附着在身体段上的惯性传感单元IMU的姿态角。
2)构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU。
3)将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。
1.基于四元数的自适应误差状态卡尔曼滤波器(AESKF)
将IMU三轴加速度计、陀螺仪、磁力计的数据输入到AESKF，即得到IMU当前的姿态角。AESKF通过两个误差状态卡尔曼滤波器(ESKF)分别估计倾角(IMU在xy平面上的角度)误差和航向角误差，以此自适应更新卡尔曼增益，其工作流程如图2所示。
1.1陀螺仪更新
当采样间隔时间dt足够小的时候，当前时刻k的角速度四元数可以近似表示为：
由此，通过整合来自陀螺仪的角速度测量得到的姿态估计为：
其中，
表示四元数乘法。
1.2IMU载体参考系(s系)中的加速度和磁干扰误差模型
当得到磁力计的初始测量值ym,0、加速度计的初始测量值ya,0、地球的磁场href和重力加速度gref时，则可以利用当前IMU姿态四元数计算出重力加速度和磁场强度的参考估计值，分别表示为
由此通过测量值减去参考估计值便可得到加速度和磁干扰误差模型：
1.3传感器参考系中地球重力加速度和地磁场的测量模型
将IMU加速度计和磁力计受到的干扰建模为一阶自回归过程，由此可以得到地球重力加速度和地磁场的测量模型：
在本实施例中，将参数ca设置为0.1，cm设置为0.99；白噪声过程wa,k和wm,k设置为0。则改进的传感器参考系中的重力加速度和地磁场估计为：
1.4测量姿态误差γk
将加速度计和磁力计的测量值表示为vk，在全局坐标系(GFR，g系)的姿态四元数表示为
在
是准确的情况下，对应的地球重力加速度估计值矢量或地磁场的水平分量gvk应该与其参考矢量eref重合。假设干扰模型充分准确，则gvk与eref之间的差都可以量化为关于对应轴nk的角度差，并且这个角度比较小可以进一步简化：
姿态误差可以分解为两个测量误差——倾角误差γa,k和偏航误差γm,k：
1.5误差状态卡尔曼滤波器(ESKF)
(1)先验值预测
倾角的误差先验估计
和误差状态协方差先验估计
由下列式子定义：
其中，
为误差状态协方差的后验估计，零均值过程的方差Qa,k取决于陀螺仪测量值在x和y轴的方差。
同理，偏航角误差后验估计
和误差状态协方差后验估计
由下列式子定义：
(2)测量噪声的在线估计
系统测量的协方差Rk由大小为N的滑动窗口上γk的样本方差计算而得，卡尔曼增益μk是通过组合误差状态协方差先验估计和测量残差Sk的协方差来确定的，具体过程如下：
(3)估计值校正
利用加速度计的测得的倾角误差γa,k来修正q′k。Ra,k是分别用窄窗口和宽窗口计算得到的系统测量协方差，则利用加速度计校正后的姿态四元数q″k计算过程如下：
由此，ESKF仅使用磁力计来校正姿态估计的航向角，因此只要分析全局坐标系中磁场强度的变化量gΔbxy,k：
如果磁场强度变化量|gΔbxy,k|小于ζxy(可取5个单位)，那么磁力计测量值被认为是可信的，因此则进行ESKF校正：
由此，将磁力计进一步校准得到的姿态四元数qk″′输入到陀螺仪更新，进行下一时刻的更新计算。
2.人体运动学模型
构建一个符合人体基本运动特征的人体运动学模型是实现对人体运动的跟踪、重构和分析的基础。骨骼和关节是人体结构中最底层的部分，因此可以忽略肌肉、皮肤等组织，将复杂的人体运动过程简化为各个骨骼围绕着相应关节旋转运动的组合。根据研究需要，本实施例在建模过程中忽略了运动范围小的骨骼和关节，构建了一个包含15块骨骼(头部，左右上臂，左右前臂，左右手，胸，盆骨，左右大腿，左右小腿，左右脚)和14个关节(颈关节，左右肩关节，左右肘关节，左右腕关节，腰部关节，左右髋关节，左右膝关节，左右踝关节)的人体运动学模型，模型如图所示。棒状表示骨骼，黑点用来表示关节。
为了便于运动学描述，本方法定义了人体坐标系(h系)。如图3所示，人体处于T姿势下：身体直立，目视前方，双臂自然张开与肩膀平齐，手掌向下，双腿直立平行，双脚朝前。则h系的X轴水平指向身体的前方，Y轴垂直指向身体上方，Z轴水平指向身体右方。
根据人体关节解剖结构，人体的各个类型的关节具有不同的旋转自由度，可分为单轴关节，双轴关节和多轴关节。同时，不同的关节拥有不同的旋转角度范围，因此所建立的人体模型具有关节旋转自由度约束和转动角范围约束，具体的关节约束如下表所示。利用关节约束可以判断惯性动捕数据是否超过了人体关节的正常活动范围，从而剔除异常的数据。
表1人体运动学模型关节约束
对于每块骨骼，都需要有一个对应的IMU进行跟踪。因此在人体模型中预定义了虚拟IMU，虚拟IMU规定了初始方向，在采集数据的过程中，实际穿戴的IMU方向应尽可能与虚拟IMU方向一致。而在实际应用中，IMU的穿戴根据研究需求即可，例如研究步态过程的下肢运动学数据，只要穿戴在身体段3、10-15共7个IMU，研究上肢运动学则只要穿戴在身体段1-9共9个IMU。
3.IMU到身体段的静态校准
IMU在佩戴的过程中不可能完全标准的将传感器载体坐标系的轴线与人体模型定义的坐标系(h系)的轴线重合，人体皮肤表面也不具有理想的平面，因此需要将IMU坐标系校正到人体模型坐标系。
将所有IMU尽量按照预定义的方向穿戴在身体上后，人体保持T姿势，在相应的佩戴位置上，存在对应的虚拟IMU的坐标系方向。假设在佩戴IMU时产生了偏移，则静止时的理想初始四元数
为：
其中，
为已经转化为人体模型坐标系的实际IMU测得的初始四元数，由此得到初始放置偏差四元数hqΔ，将虚拟IMU的四元数姿态补偿标定后的偏移量。
4.运动跟踪与反向运动学计算
静态校准完成后，基于模型的反向运动学优化目标是计算整个模型的关节角度，以确定实验IMU的方向与附加到模型上的相应虚拟IMU的方向之间的最佳匹配，其中人体运动学模型需要遵循人体关节旋转自由度和旋转角范围限制。利用IMU运动数据驱动校准后的人体运动学模型，先利用式(16)计算实际测量的IMU旋转矩阵
相对于人体运动学模型虚拟IMU的旋转矩阵
的轴角差θi，然后通过式(17)最小化轴角差的加权平方和(成本函数)来求解人体运动关节角q。wi表示第i个IMU的权重，可以根据实验设置的条件，例如IMU的位置、硬件特性等决定权重大小。
上述最小化问题为无约束的整体优化，每个时间帧都独立于先前的时间帧，对于每个时间帧的关节角本专利通过梯度下降法迭代寻找成本函数的全局最小值。虚拟IMU的初始旋转矩阵来源于前一时刻解算的数据，由式(16)可得到初始的轴角差θi,0。设梯度下降的步长为α，终止调节为η，则由下列式子可以得到第N次迭代后的轴角差θi,N，当满足迭代终止条件
时，则可以得到反向运动学优化后的轴角差与其对应的关节角。
5.系统设计
本实施例还提供了用于实现上述方法的基于反向运动学的人体运动学分析系统，包括IMU和计算机，如图4所示。所述IMU包括电源模块、主控模块、惯性测量模块和蓝牙mesh模块。
所述电源模块主要由USB充电电路、锂电池、电压转换电路和稳压滤波电路组成，用于为IMU提供工作电压。所述主控模块采用STM32F103C8T6芯片，用于控制、连接惯性测量模块和蓝牙mesh模块，并且执行自适应误差状态卡尔曼滤波器解算IMU姿态，其实现流程图如图5所示。所述惯性测量模块采用MPU-9250模块，其集成了陀螺仪、加速度计和磁力计。所述蓝牙mesh模块用于实现IMU与计算机的组网通讯，完成数据采集过程的时间戳同步与数据传输。所述计算机用于构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU，然后将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。计算机将IMU数据与建立好的人体模型相结合，完成静态校准、驱动人体模型运动跟踪，并且在计算机中执行反向运动学优化算法，得到关节角。
本系统的使用过程具体如下：
1、将IMU按照预定义的方向穿戴在各身体部位上；
2、将各个IMU开机，利用蓝牙mesh组网，完成时间戳同步；
3、采集静态校准数据，并在模型中更新虚拟IMU的方向；
4、采集运动数据，模型执行跟踪与反向运动学计算；
5.输出关节角数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (5)
1.一种基于反向运动学的人体运动学分析方法，其特征在于，包括：
利用自适应误差状态卡尔曼滤波器AESKF估计附着在身体段上的惯性传感单元IMU的姿态角；
构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU；
将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。
2.根据权利要求1所述的一种基于反向运动学的人体运动学分析方法，其特征在于，利用AESKF估计附着在身体段上的IMU的姿态角，其具体方法为：
将IMU三轴加速度计、陀螺仪、磁力计的数据输入到AESKF，即得到IMU当前的姿态角；AESKF通过两个误差状态卡尔曼滤波器ESKF分别估计倾角误差和航向角误差，以此自适应更新卡尔曼增益，所述倾角为IMU在xy平面上的角度；
当采样间隔时间dt足够小的时候，当前时刻k的角速度四元数近似表示为：
由此，通过整合来自陀螺仪的角速度测量得到的姿态估计为：
其中
表示四元数乘法；
当得到磁力计的初始测量值ym,0、加速度计的初始测量值ya,0、地球的磁场href和重力加速度gref时，则利用当前IMU姿态四元数计算出重力加速度和磁场强度的参考估计值，分别表示为
由此通过测量值减去参考估计值得到加速度和磁干扰误差模型：
将IMU加速度计和磁力计受到的干扰建模为一阶自回归过程，由此得到地球重力加速度和地磁场的测量模型：
其中，参数ca设置为0.1，cm设置为0.99；白噪声过程wa,k和wm,k设置为0；则改进的传感器参考系中的重力加速度和地磁场估计为：
将加速度计和磁力计的测量值表示为vk，在全局坐标系的姿态四元数表示为
在
是准确的情况下，对应的地球重力加速度估计值矢量或地磁场的水平分量gvk与其参考矢量eref重合；假设干扰模型充分准确，则将gvk与eref之间的差量化为关于对应轴nk的角度差，进一步简化为：
将姿态误差分解为两个测量误差：倾角误差γa,k和偏航误差γm,k：
倾角的误差先验估计
和误差状态协方差先验估计
由下列式子定义：
其中，
为误差状态协方差的后验估计，零均值过程的方差Qa,k取决于陀螺仪测量值在x和y轴的方差；
同理，偏航角误差后验估计
和误差状态协方差后验估计
由下列式子定义：
由大小为N的滑动窗口上γk的样本方差计算得到系统测量的协方差Rk，通过组合误差状态协方差先验估计和测量残差Sk的协方差确定卡尔曼增益μk，具体过程如下：
利用加速度计测得的倾角误差γa,k来修正q′k；Ra,k是分别用窄窗口和宽窗口计算得到的系统测量协方差，则利用加速度计校正后的姿态四元数q″k计算过程如下：
由此，ESKF仅使用磁力计来校正姿态估计的航向角，因此只要分析全局坐标系中磁场强度的变化量gΔbxy,k：
如果磁场强度变化量|gΔbxy,k|小于ζxy，则磁力计测量值被认为是可信的，因此进行ESKF校正：
由此，将磁力计进一步校准得到的姿态四元数qk″′输入到陀螺仪更新，进行下一时刻的更新计算。
3.根据权利要求2所述的一种基于反向运动学的人体运动学分析方法，其特征在于，构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU，其具体方法为：
忽略肌肉、皮肤组织，将复杂的人体运动过程简化为各个骨骼围绕着相应关节旋转运动的组合，且在建模过程中忽略运动范围小的骨骼和关节，构建一个包含15块骨骼和14个关节的人体运动学模型，所述15块骨骼包括头部、左右上臂、左右前臂、左右手、胸、盆骨、左右大腿、左右小腿和左右脚，所述14个关节包括颈关节、左右肩关节、左右肘关节、左右腕关节、腰部关节、左右髋关节、左右膝关节和左右踝关节；所述人体运动学模型具有关节旋转自由度约束和转动角范围约束；
定义人体模型坐标系，人体处于T姿势下：身体直立，目视前方，双臂自然张开与肩膀平齐，手掌向下，双腿直立平行，双脚朝前；人体模型坐标系的X轴水平指向身体的前方，Y轴垂直指向身体上方，Z轴水平指向身体右方；
在人体运动学模型中预定义与实际穿戴位置相对应的虚拟IMU，虚拟IMU规定初始方向；
将IMU坐标系校正到人体模型坐标系；将所有IMU按照预定义的方向穿戴在身体上后，人体保持T姿势，在相应的佩戴位置上，存在对应的虚拟IMU的坐标系方向；假设在佩戴IMU时产生了偏移，则静止时的理想初始四元数
为：
其中，
为已经转化为人体模型坐标系的实际IMU测得的初始四元数，由此得到初始放置偏差四元数hqΔ，将虚拟IMU的四元数姿态补偿标定后的偏移量。
4.根据权利要求3所述的一种基于反向运动学的人体运动学分析方法，其特征在于，将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角，其具体方法为：
利用IMU运动数据驱动校准后的人体运动学模型，先利用式(16)计算实际测量的IMU旋转矩阵
相对于人体运动学模型虚拟IMU的旋转矩阵
的轴角差θi，然后通过式(17)最小化轴角差的加权平方和，即成本函数来求解人体运动关节角q；
其中，wi表示第i个IMU的权重；上述最小化问题为无约束的整体优化，每个时间帧都独立于先前的时间帧，对于每个时间帧的关节角，通过梯度下降法迭代寻找成本函数的全局最小值；虚拟IMU的初始旋转矩阵来源于前一时刻解算的数据，由式(16)得到初始的轴角差θi,0；设梯度下降的步长为α，终止调节为η，则由式(18)得到第N次迭代后的轴角差θi,N，当满足迭代终止条件
时，则得到反向运动学优化后的轴角差与其对应的关节角；
5.一种用于实现如权利要求1-4任一项所述方法的基于反向运动学的人体运动学分析系统，其特征在于，包括IMU和计算机，所述IMU包括电源模块、主控模块、惯性测量模块和蓝牙mesh模块；所述电源模块主要由USB充电电路、锂电池、电压转换电路和稳压滤波电路组成，用于为IMU提供工作电压；所述主控模块用于控制、连接惯性测量模块和蓝牙mesh模块，并且执行自适应误差状态卡尔曼滤波器解算IMU姿态；所述惯性测量模块集成陀螺仪、加速度计和磁力计；所述蓝牙mesh模块用于实现IMU与计算机的组网通讯，完成数据采集过程的时间戳同步与数据传输；所述计算机用于构建带关节自由度与关节活动范围约束的人体运动学模型，并且生成与实际穿戴位置相对应的虚拟IMU，然后将姿态角数据与人体运动学模型结合，通过最小化实际IMU与虚拟IMU轴角差的反向运动学估计方法计算人体运动过程的关节角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211583696.6A CN115937255A (zh) | 2022-12-10 | 2022-12-10 | 一种基于反向运动学的人体运动学分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211583696.6A CN115937255A (zh) | 2022-12-10 | 2022-12-10 | 一种基于反向运动学的人体运动学分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115937255A true CN115937255A (zh) | 2023-04-07 |
Family
ID=86697389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211583696.6A Pending CN115937255A (zh) | 2022-12-10 | 2022-12-10 | 一种基于反向运动学的人体运动学分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937255A (zh) |
-
2022
- 2022-12-10 CN CN202211583696.6A patent/CN115937255A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Slade et al. | An open-source and wearable system for measuring 3D human motion in real-time | |
| Bonnet et al. | Monitoring of hip and knee joint angles using a single inertial measurement unit during lower limb rehabilitation | |
| El-Gohary et al. | Human joint angle estimation with inertial sensors and validation with a robot arm | |
| US9597015B2 (en) | Joint angle tracking with inertial sensors | |
| Cloete et al. | Benchmarking of a full-body inertial motion capture system for clinical gait analysis | |
| EP2796123B1 (en) | Movement assistance device | |
| CN107616898B (zh) | 基于日常动作的上肢穿戴式康复机器人及康复评价方法 | |
| Li et al. | The lower limbs kinematics analysis by wearable sensor shoes | |
| CN108338791B (zh) | 失稳运动数据的检测装置及检测方法 | |
| CN107115114A (zh) | 人体运动能力评价方法、装置及系统 | |
| CN110021398A (zh) | 一种步态分析、训练方法及系统 | |
| WO2014186076A1 (en) | Mobile gait force and motion analysis system | |
| Bonnet et al. | Fast determination of the planar body segment inertial parameters using affordable sensors | |
| WO2023169465A1 (zh) | 基于多源信息融合的人体运动监测方法、装置 | |
| Gastaldi et al. | Evaluation of functional methods for human movement modelling | |
| CN113892942A (zh) | 一种实时追踪人体下肢运动的穿戴设备 | |
| CN112472531A (zh) | 面向医疗复健和助力行走的下肢外骨骼机器人步态平稳算法 | |
| CN114224325A (zh) | 利用惯性传感器计算关节力矩和角度的步态分析系统及方法 | |
| Palani et al. | Real-time joint angle estimation using mediapipe framework and inertial sensors | |
| Bravo-Illanes et al. | IMU Sensor Fusion Algorithm for Monitoring Knee Kinematics in ACL Reconstructed Patients | |
| Nasr et al. | Scalable musculoskeletal model for dynamic simulations of upper body movement | |
| Zhu et al. | IMU shoulder angle estimation: effects of sensor-to-segment misalignment and sensor orientation error | |
| Duong et al. | Improving the accuracy of wearable sensors for human locomotion tracking using phase-locked regression models | |
| CN109887570B (zh) | 一种基于rgb-d相机与imu传感器的机器人辅助康复训练方法 | |
| Chen et al. | An inertial-based human motion tracking system with twists and exponential maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |