CN109297507B - 基于惯性传感器的免对准动作的人体四肢运动捕捉方法 - Google Patents

基于惯性传感器的免对准动作的人体四肢运动捕捉方法 Download PDF

Info

Publication number
CN109297507B
CN109297507B CN201811127371.0A CN201811127371A CN109297507B CN 109297507 B CN109297507 B CN 109297507B CN 201811127371 A CN201811127371 A CN 201811127371A CN 109297507 B CN109297507 B CN 109297507B
Authority
CN
China
Prior art keywords
coordinate system
imu
human body
limb
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811127371.0A
Other languages
English (en)
Other versions
CN109297507A (zh
Inventor
谭彩铭
高翔
徐国政
陈盛
王强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201811127371.0A priority Critical patent/CN109297507B/zh
Publication of CN109297507A publication Critical patent/CN109297507A/zh
Application granted granted Critical
Publication of CN109297507B publication Critical patent/CN109297507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration

Abstract

本发明公开了一种基于惯性传感器的免对准动作的人体四肢运动捕捉方法，包括如下步骤：利用参照物提供水平和方位姿态参考；人体正对参照物，将一个IMU平稳放置在参照物上，使得IMU坐标系和参考坐标系一致；利用IMU输出得到的IMU相对于地理坐标系的姿态，进而实现参考坐标系与地理坐标系之间的对准；在IMU外壳上设定箭头标记，根据标记将若干个IMU分别佩戴在人体四肢的相应位置上，实现IMU和四肢坐标系之间的有效对准；实现对于人体四肢运动的捕捉。本发明通过合理的准备工作和佩戴方案，避免了通常所需要的对准动作就可以实现对准，进而实现四肢的运动捕捉，在保证精度的前提下，减少了对准时间，在偏瘫运动康复和体感游戏等领域具有极大的应用价值。

Description

基于惯性传感器的免对准动作的人体四肢运动捕捉方法
技术领域
本发明属于人体运动捕捉技术领域，涉及一种用于人体运动捕捉的惯性传感器初始对准技术，具体涉及一种基于惯性传感器的免对准动作的人体四肢运动捕捉方法。
背景技术
人体运动捕捉技术在医学诊断、运动康复、虚拟现实、人机交互等方面有广阔的应用前景。
目前比较成熟的人体运动捕捉方法是基于多个标志点的红外光学测量方法，例如商业产品Vicon、Optitrack等，但其有效测量范围只能限定在安装这套系统的实验区域，标记点要根据人体解剖学原理佩戴在人体特定位置，且价格昂贵；基于视觉的人体运动捕捉系统研究近年来取得显著的发展，但这种方法同样受场地限制，容易受光线、遮挡等影响，测量精度不高；基于微型惯性测量单元(简称IMU，由三轴陀螺和三轴加速度计组成，通常包含三轴磁传感器)的人体运动捕捉系统不受光线、场地或遮挡等限制，动态性能好，可以用于测量人体的户外运动，尤其适用于偏瘫患者的居家运动康复、体育运动分析、影视动画等。
由于人体不是标准的几何体，且人体骨骼到表皮之间的软组织容易发生形变，无法使得IMU真正沿着确定的肢体方向佩戴，需要进行对准，以获得IMU坐标系与肢体坐标系之间姿态。另外，要能够重构人体姿态，需将人体各部位的姿态统一到某参考坐标系，该参考坐标系通常相对于地理坐标系的姿态保持不变。因此初始对准过程主要包括：地理坐标系和参考坐标系之间的对准，IMU坐标系和肢体坐标系之间的对准。
以往的基于惯性的运动捕捉方法，通常需要将IMU佩戴在身体部位，并进行特定的肢体动作，如四肢的摆动，内外旋，人体呈‘T’字形站立，沿直线行走等，进而获得IMU相对于肢体的姿态，以及地理坐标系相对于参考系的姿态，然后才可以进行动作捕捉。对于偏瘫患者，因为他们可能无法完成特定的对准动作。对于普通用户，也难以保证对准动作准确，且容易导致准备时间较长。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种无需执行特定的对准动作，佩戴IMU后可直接进行动作捕捉的基于惯性传感器的免对准动作的人体四肢运动捕捉方法。
技术方案：为实现上述目的，本发明提供一种基于惯性传感器的免对准动作的人体四肢运动捕捉方法，包括如下步骤：
1)利用参照物提供水平和方位姿态参考；
2)人体正对参照物，将人体躯干坐标系设定为参考坐标系，将一个IMU平稳放置在参照物上，使得IMU坐标系和人体躯干坐标系一致；
3)利用IMU输出得到的IMU相对于地理系的姿态，进而实现参考坐标系与地理坐标系之间的对准；
4)将若干个IMU分别对应佩戴在人体的四肢上，实现IMU和四肢坐标系之间的有效对准；
5)实现对于人体四肢运动的捕捉。
进一步地，所述参照物为桌子，步骤2中的IMU参照桌子边沿平稳放置在桌面上。
进一步地，所述步骤3中参考坐标系与地理坐标系的对准方法为：将人体躯干坐标系，也就是参考坐标系记为r系，其x轴指天，z轴垂直于人体冠状面由后背指向前胸，y轴由右手坐标准则确定；将当地东北天坐标系g系记为地理坐标系；记b系为IMU坐标系，各坐标轴均沿IMU的xyz三轴方向，通过步骤2可知，b系和r系一致，即近似满足
Figure BDA0001812779340000021
这里
Figure BDA0001812779340000022
表示m系到n系的姿态变换矩阵，I为单位正交矩阵，根据IMU输出计算出IMU坐标系到地理坐标系的姿态变换矩阵
Figure BDA0001812779340000023
再根据式(1)可实现参考系与地理系之间的对准。
Figure BDA0001812779340000024
如果下次在同一地点面向同一方向进行四肢运动捕捉，可以不用反复进行参考系与地理系之间的对准，利用上一次计算得到的
Figure BDA0001812779340000025
即可。
进一步地，所述步骤4中佩戴在人体的四肢上的IMU的数量为10个，其中6个沿两个上肢方向分别佩戴在上肢外侧，剩余的4个沿两个下肢方向分别佩戴在大、小腿前侧。
进一步地，所述IMU的外壳上设置有用于标示其y轴方向的箭头标记，给IMU在人体四肢上的佩戴位置提供参考，便于将IMU快速、正确地佩戴在四肢上。
进一步地，所述步骤4中IMU和四肢坐标系之间的对准具体为：借助IMU外壳上的箭头标记作为参考，使得佩戴在四肢上的IMU的坐标系的y轴向分别沿着四肢方向，记ui系为上肢各肢体坐标系，记li为下肢各肢体坐标系，下标i表示四肢不同的部位，记
Figure BDA0001812779340000027
和
Figure BDA0001812779340000026
为佩戴在相应肢体部位的IMU坐标系，四肢各部位坐标系与相应IMU坐标系之间的姿态变换矩阵近似为
Figure BDA0001812779340000031
Figure BDA0001812779340000032
从而实现IMU坐标系与肢体坐标系之间的对准。
Figure BDA0001812779340000033
和
Figure BDA0001812779340000034
均保持不变。要能还原四肢运动，即求解
Figure BDA0001812779340000035
和
Figure BDA0001812779340000036
它们可分别由式(4)和式(5)求得：
Figure BDA0001812779340000037
Figure BDA0001812779340000038
有益效果：本发明与现有技术相比，通过合理的准备工作和佩戴方案，避免了通常所需要的对准动作就可以实现对准，进而实现四肢的运动捕捉，本发明技术方案尤其适用于进行康复训练的偏瘫患者，因为他们可能无法完成特定的对准动作，对于普通用户，也难以保证对准动作的准确，因此本发明在保证精度的前提下，减少了对准时间，在偏瘫运动康复和体感游戏等领域具有极大的应用价值。
附图说明
图1为四肢运动捕捉前的对准示意图；
图2为IMU佩戴于四肢的具体位置示意图；
图3为肢体坐标系定义示意图；
图4为IMU安装于人体四肢可能构成的安装误差分析示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
本发明提供一种基于惯性传感器的免对准动作的人体四肢运动捕捉方法，包括如下步骤：
1)利用参照物提供水平和方位姿态参考；
2)人体正对参照物，将人体躯干坐标系设定为参考坐标系，将一个IMU平稳放置在参照物上，使得IMU坐标系和人体躯干坐标系一致；
3)利用IMU输出得到的IMU相对于地理系的姿态，进而实现参考坐标系与地理坐标系之间的对准；
4)将若干个IMU分别佩戴在人体的四肢上，实现IMU和四肢坐标系之间的有效对准；
5)实现对于人体四肢运动的捕捉。
参照以上步骤，给出如下实施例：
如图1所示，记人体躯干坐标系r系为参考坐标系，将人体躯干坐标系，也就是参考坐标系记为r系，其x轴指天，z轴垂直于人体冠状面由后背指向前胸，y轴由右手坐标准则确定；将当地东北天坐标系g系记为地理坐标系；记b系为IMU坐标系，各坐标轴均沿IMU的xyz三轴方向。
本实施例中桌子作为参照物，人体正面朝向桌子，人体躯干部分尽量保持竖直，参考平直桌面的四个边沿，将其中一个IMU平稳放置在桌面，使得b系和r系基本一致，即近似满足
Figure BDA0001812779340000041
这里
Figure BDA0001812779340000042
表示m系到n系的姿态变换矩阵，I为单位正交矩阵。电子计算机采集10s时间IMU的9轴数据，并在程序中根据9轴IMU姿态解算算法计算得到该b系到当地东北天地理坐标系g系的姿态变换矩阵
Figure BDA0001812779340000043
并保存。
在电子计算机程序中由式(1)计算得到参考系r系与地理系g系之间的姿态变换矩阵
Figure BDA0001812779340000044
实现参考系与地理系之间的对准。
Figure BDA0001812779340000045
如图2所示，将10个IMU中的6个沿两个上肢方向分别佩戴在上肢外侧，具体分布在人体的右掌、右下臂、右上臂、左掌、左下臂和左上臂，剩余的4个沿两个下肢方向分别佩戴在大、小腿前侧。
如图3给出了右掌、右下臂、右上臂、左掌、左下臂、左上臂、两个大腿和两个小腿的坐标系，分别对应10个IMU的坐标系，在安装IMU的时候，借助IMU外壳上的箭头标记作为参考，使得10个IMU各自的坐标系和右掌、右下臂、右上臂、左掌、左下臂、左上臂、两个大腿和两个小腿的坐标系分别对应一致，其具体的理论依据为：记ui系为上肢各肢体坐标系，记li为下肢各肢体坐标系，下标i表示四肢不同的部位，记
Figure BDA0001812779340000048
和
Figure BDA0001812779340000049
为佩戴在相应肢体部位的IMU坐标系，四肢各部位坐标系与相应IMU坐标系之间的姿态变换矩阵近似为
Figure BDA0001812779340000046
Figure BDA0001812779340000047
从而实现IMU坐标系与肢体坐标系之间的对准。
下面对IMU坐标系与肢体坐标系之间的对准的误差问题进行说明：由于上、下肢类似于圆柱体，如图4所示，在理想的情况下，希望IMU如图4(a)放置，这样IMU的姿态就能准确反映出圆柱体的姿态。可是将IMU安装在圆柱体上时，会出现方位安装误差、俯仰安装误差和横滚安装误差，当出现这些安装误差时，直接由IMU姿态得到圆柱体姿态(如图4中的虚线框所示)，就会出现相应的偏差。由于通常手臂上没有如图4所示的明确的A、B位置，IMU较容易出现横滚安装误差，这样由IMU得出的四肢姿态较容易出现内外旋偏差，但这并不明显影响四肢在空间中运动轨迹的判断。故近似认为式(2)和式(3)成立，从而实现IMU坐标系与肢体坐标系之间的对准。
接下来便是实现对于人体四肢运动的捕捉，其具体为：
在进行四肢运动捕捉的整个过程中，人体面对桌面，上身保持竖直。电子计算机实时同步采集所有IMU的原始9轴数据，并根据9轴IMU姿态解算算法分别实时计算出佩戴在上下肢的10个IMU坐标系相对于地理系的姿态变换矩阵
Figure BDA0001812779340000051
和
Figure BDA0001812779340000052
因为
Figure BDA0001812779340000053
Figure BDA0001812779340000054
和
Figure BDA0001812779340000055
均不随时间变化，它们分别根据式(1)、(2)、(3)求得，在电子计算机软件中分别由式(4)和式(5)求得
Figure BDA0001812779340000056
和
Figure BDA0001812779340000057
Figure BDA0001812779340000058
Figure BDA0001812779340000059
根据计算出的
Figure BDA00018127793400000510
和
Figure BDA00018127793400000511
电子计算机实时控制显示器中的虚拟人的四肢运动，从而重构人体四肢运动。
本实施例中的被测试者为偏瘫患者，在整个测试过程中，被测试者无需完成指定的对准动作，在保证精度的前提下，不但减少了对准时间，而且顺利的完成了测试。

Claims (2)

1.一种基于惯性传感器的免对准动作的人体四肢运动捕捉方法，其特征在于：包括如下步骤：
1)利用参照物提供水平和方位姿态参考；
2)人体正对参照物，将人体躯干坐标系设定为参考坐标系，将一个IMU平稳放置在参照物上，使得IMU坐标系和人体躯干坐标系一致；
3)利用IMU输出得到的IMU相对于地理系的姿态，进而实现参考坐标系与地理坐标系之间的对准；
4)将若干个IMU分别佩戴在人体的四肢上，实现IMU和四肢坐标系之间的有效对准；
5)实现对于人体四肢运动的捕捉；
所述步骤3中参考坐标系与地理坐标系的对准方法为：将人体躯干坐标系，也就是参考坐标系记为r系，其x轴指天，z轴垂直于人体冠状面由后背指向前胸，y轴由右手坐标准则确定；将当地东北天坐标系g系记为地理坐标系；记b系为IMU坐标系，各坐标轴均沿IMU的xyz三轴方向，通过步骤2可知，b系和r系一致，即近似满足
Figure FDA0003253632140000011
这里
Figure FDA0003253632140000012
表示m系到n系的姿态变换矩阵，I为单位正交矩阵，根据IMU输出计算出IMU坐标系到地理坐标系的姿态变换矩阵
Figure FDA0003253632140000013
再根据式(1)可实现参考系与地理系之间的对准；
Figure FDA0003253632140000014
所述步骤4中佩戴在人体的四肢上的IMU的数量为10个，其中6个沿两个上肢方向分别佩戴在上肢外侧，剩余的4个沿两个下肢方向分别佩戴在大、小腿前侧；
所述IMU的外壳上设置有用于标示其y轴方向的箭头标记；
所述步骤4中IMU和四肢坐标系之间的对准具体为：借助IMU外壳上的箭头标记作为参考，使得佩戴在四肢上的IMU的坐标系的y轴向分别沿着四肢方向，记ui系为上肢各肢体坐标系，记li为下肢各肢体坐标系，下标i表示四肢不同的部位，记
Figure FDA0003253632140000017
和
Figure FDA0003253632140000018
为佩戴在相应肢体部位的IMU坐标系，四肢各部位坐标系与相应IMU坐标系之间的姿态变换矩阵近似为
Figure FDA0003253632140000015
Figure FDA0003253632140000016
从而实现IMU坐标系与肢体坐标系之间的对准。
2.根据权利要求1所述的一种基于惯性传感器的免对准动作的人体四肢运动捕捉方法，其特征在于：所述参照物为桌子，步骤2中的IMU参照桌子边沿平稳放置在桌面上。
CN201811127371.0A 2018-09-27 2018-09-27 基于惯性传感器的免对准动作的人体四肢运动捕捉方法 Active CN109297507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811127371.0A CN109297507B (zh) 2018-09-27 2018-09-27 基于惯性传感器的免对准动作的人体四肢运动捕捉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811127371.0A CN109297507B (zh) 2018-09-27 2018-09-27 基于惯性传感器的免对准动作的人体四肢运动捕捉方法

Publications (2)

Publication Number Publication Date
CN109297507A CN109297507A (zh) 2019-02-01
CN109297507B true CN109297507B (zh) 2021-11-12

Family

ID=65164550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811127371.0A Active CN109297507B (zh) 2018-09-27 2018-09-27 基于惯性传感器的免对准动作的人体四肢运动捕捉方法

Country Status (1)

Country Link
CN (1) CN109297507B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110646014B (zh) * 2019-09-30 2023-04-25 南京邮电大学 基于人体关节位置捕捉设备辅助的imu安装误差校准方法
CN112711332B (zh) * 2020-12-29 2022-07-15 上海交通大学宁波人工智能研究院 一种基于姿态坐标的人体动作捕捉方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN87105637A (zh) * 1986-08-18 1988-04-20 休斯航空公司 空间飞行器加速度计自动校准
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
CN104075716A (zh) * 2014-06-30 2014-10-01 南京理工大学 基于高精度imu的捷联惯导初始对准方法
CN104571135A (zh) * 2013-10-20 2015-04-29 郁杰夫 一种云台追踪摄影系统和云台追踪摄影方法
CN107544330A (zh) * 2017-09-08 2018-01-05 驭势科技（北京）有限公司 自主调校的调度方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN87105637A (zh) * 1986-08-18 1988-04-20 休斯航空公司 空间飞行器加速度计自动校准
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
CN104571135A (zh) * 2013-10-20 2015-04-29 郁杰夫 一种云台追踪摄影系统和云台追踪摄影方法
CN104075716A (zh) * 2014-06-30 2014-10-01 南京理工大学 基于高精度imu的捷联惯导初始对准方法
CN107544330A (zh) * 2017-09-08 2018-01-05 驭势科技（北京）有限公司 自主调校的调度方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Alignment-Free, Self-Calibrating Elbow Angles Measurement using Inertial Sensors;M¨uller P, et al;《Proceedings of the 2016 IEEE-EMBS International Conference on Biomedical and Health Informatics》;20161231;第583-586页 *
Calibration Free Upper Limb Joint Motion Estimation Algorithm with Wearable Sensors;Max van Lith,et al;《2016 14th International Conference on Control, Automation, Robotics & Vision》;20161115;第1-6页 *

Also Published As

Publication number Publication date
CN109297507A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN106153077B (zh) 一种用于m-imu人体运动捕获系统的初始化校准方法
CN106648088B (zh) 惯性运动捕捉姿态瞬时校准方法及其系统
WO2018196227A1 (zh) 人体运动能力评价方法、装置及系统
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
Zhou et al. Reducing drifts in the inertial measurements of wrist and elbow positions
US6820025B2 (en) Method and apparatus for motion tracking of an articulated rigid body
US20150149104A1 (en) Motion Tracking Solutions Using a Self Correcting Three Sensor Architecture
WO2016183812A1 (zh) 一种混合运动捕捉系统及方法
CN110327048B (zh) 一种基于可穿戴式惯性传感器的人体上肢姿态重建系统
US20150097937A1 (en) Single-camera motion capture system
WO2013070171A1 (en) Method and apparatus for calibrating a motion tracking system
CN110609621B (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
EP2171688A2 (en) Object motion capturing system and method
JP2004264060A (ja) 姿勢の検出装置における誤差補正方法及びそれを利用した動作計測装置
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
CN107330967A (zh) 基于惯性传感技术的骑师运动姿态捕捉及三维重建系统
CN104424650B (zh) 一种光学式人体运动捕捉中手臂信息补偿方法
CN109297507B (zh) 基于惯性传感器的免对准动作的人体四肢运动捕捉方法
CN106125908A (zh) 一种动作捕捉校准系统
CN106112997B (zh) 外骨骼服
CN111158482B (zh) 一种人体动作姿态捕捉方法及系统
Lin et al. Using hybrid sensoring method for motion capture in volleyball techniques training
CN109003300A (zh) 一种基于人体质心位移计算算法的虚拟现实系统
CN109102572A (zh) 变电仿真vr系统中虚拟手骨骼比例推定方法
JP6205387B2 (ja) 仮想マーカーの位置情報の取得方法及び装置、動作計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant