CN113220119A - 一种惯性传感器运动捕捉装置 - Google Patents
一种惯性传感器运动捕捉装置 Download PDFInfo
- Publication number
- CN113220119A CN113220119A CN202110436183.1A CN202110436183A CN113220119A CN 113220119 A CN113220119 A CN 113220119A CN 202110436183 A CN202110436183 A CN 202110436183A CN 113220119 A CN113220119 A CN 113220119A
- Authority
- CN
- China
- Prior art keywords
- data
- motion
- human body
- module
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种惯性传感器运动捕捉装置，包括：人体运动数据采集模块、数据判断模块、惯性动作捕捉模块、无线传输模块、第一数据融合处理模块、运动数据转换模块、第一运动数据检验模块、第二数据融合处理模块、融合后数据检测模块、骨架模型检验模块，用于对最终获取到的完整骨架模型再次采用骨架模型的生理与运动约束条件进行检验，验证运动数据的可靠性、人体运动特征提取模块；通过采用惯性传感器和体感设备获得人体全身运动数据并进行数据融合处理，并将融合提取的运动数据转换为人体关节运动特征，驱动虚拟人运动，解决了目前光学跟踪系统进行人体运动测量时数据处理算法复杂、计算量大、当标记点混淆或被遮挡时无法工作的问题。
Description
技术领域
本发明涉及动作捕捉技术领域，具体涉及一种惯性传感器运动捕捉装置。
背景技术
目前，应用广泛的光学跟踪式运动测量,由于其具有非接触测量和可测高速运动的物体等其他方式不具备的特点,在动画等娱乐产业得到了广泛的应用。
但是光学跟踪式运动测量方式也有其缺点,装置标定较为繁琐、数据处理算法复杂、计算量大、当光学标记点被遮挡时无法工作，大范围运动捕捉系统造价高；Kinect作为基于光学跟踪的体感设备，造价低，但测量跟踪范围小，精度不高，不能实现精细动作的识别。基于惯性传感器的运动捕捉系统存在无法进行绝对定位，无法消除累计误差等问题。
发明内容
本发明的目的就在于为了解决上述问题，而提供一种惯性传感器运动捕捉装置。
本发明通过以下技术方案来实现上述目的，一种惯性传感器运动捕捉装置，包括一装置主体，所述装置主体包括：
人体运动数据采集模块，用于获取人体运动数据，从深度数据流中识别人体轮廓，将人体轮廓从深度图像中分离出来，并使用机器学习算法，用特征值记录并识别人体的各种行为，通过特征值来快速分类定位人体的部位，其中，所述数据采集模块包括惯性传感器；
惯性动作捕捉模块，包括关节佩戴传感器，将关节佩戴传感器佩戴于人体关节上进行姿态计算，得到关节姿态数据，其中，所述惯性动作捕捉模块包括体感设备；
数据判断模块，用于对人体运动数据采集模块采集到的数据与惯性动作捕捉模块捕捉到的关节姿态数据进行可信度判断，对可信度低或者没有识别的关节，进行标记；
运动数据转换模块，用于人体运动数据与关节姿态运动数据进行空间转换，统一到人体空间坐标系下；
第一数据融合处理模块，将获得人体运动数据与关节姿态运动数据经过时间对准和空间重投影后利用卡尔曼滤波算法进行数据融合，得到高质量的人体骨架模型；
第一运动数据检验模块，用于将处于统一人体空间坐标系中的人体运动数据与关节姿态运动数据采用骨架模型的生理与运动约束条件进行检验，排除不符合人体运动规则的错误数据；
第二数据融合处理模块，采用基于关节点变权重计算的数据融合算法，对获取到的人体运动数据与关节姿态运动数据进行数据融合，得到高质量的人体骨架模型；
融合后数据检测模块，用于检查数据融合完成后的骨架模型，是否存在关节点的缺失，并采用基于改进的卡尔曼滤波器预测关节点三维空间坐标位置的方法补全人体的骨架模型；
骨架模型检验模块，用于对最终获取到的完整骨架模型再次采用骨架模型的生理与运动约束条件进行检验，验证运动数据的可靠性；
人体运动特征提取模块，基于人体统一骨架模型计算关节相对角度、相对位置和运动速度，提取人体运动特征识别动作，并驱动的虚拟人完成相应的动作。
优选的，所述人体运动数据包括人体骨骼关节点的位置信息及加速度信息。
优选的，所述体感跟踪子模块包括骨骼跟踪单元，用于获取人体关节点的位置数据。
优选的，所述关节佩戴传感器包括磁力计、加速度计及陀螺仪9轴运动传感器。
优选的，人体运动特征提取模块包括基于时空连续性的运动数据预处理单元、基于主成分分析方法的人体运动数据特征提取单元及基于统计学习方法的人体运动行为识别单元。
优选的，所述装置主体包括还包括无线传输模块，用于将关节姿态数据传输至处理器，然后通过处理器传输给计算机进关节姿态运动数据采集。
本发明的有益效果是：
通过采用惯性传感器和体感设备获得人体全身运动数据并进行数据融合处理，并将融合提取的运动数据转换为人体关节运动特征，驱动虚拟人运动；通过将惯性传感器和体感设备获得的人体运动数据进行融合处理，解决了目前光学跟踪系统进行人体运动测量时数据处理算法复杂、计算量大、当标记点混淆或被遮挡时无法工作的问题，同时解决了MEMS惯性传感器运动捕捉系统中无法进行人体定位和累计误差控制的问题。
附图说明
图1为本发明结构模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：
本实施例中一种惯性传感器运动捕捉装置，包括一装置主体，所述装置主体包括：
人体运动数据采集模块，用于获取人体运动数据，从深度数据流中识别人体轮廓，将人体轮廓从深度图像中分离出来，并使用机器学习算法，用特征值记录并识别人体的各种行为，通过特征值来快速分类定位人体的部位，其中，所述数据采集模块包括惯性传感器；
惯性动作捕捉模块，包括关节佩戴传感器，将关节佩戴传感器佩戴于人体关节上进行姿态计算，得到关节姿态数据，其中，所述惯性动作捕捉模块包括体感设备；
数据判断模块，用于对人体运动数据采集模块采集到的数据与惯性动作捕捉模块捕捉到的关节姿态数据进行可信度判断，对可信度低或者没有识别的关节，进行标记；
运动数据转换模块，用于人体运动数据与关节姿态运动数据进行空间转换，统一到人体空间坐标系下；
第一数据融合处理模块，将获得人体运动数据与关节姿态运动数据经过时间对准和空间重投影后利用卡尔曼滤波算法进行数据融合，得到高质量的人体骨架模型；
第一运动数据检验模块，用于将处于统一人体空间坐标系中的人体运动数据与关节姿态运动数据采用骨架模型的生理与运动约束条件进行检验，排除不符合人体运动规则的错误数据；
第二数据融合处理模块，采用基于关节点变权重计算的数据融合算法，对获取到的人体运动数据与关节姿态运动数据进行数据融合，得到高质量的人体骨架模型；
融合后数据检测模块，用于检查数据融合完成后的骨架模型，是否存在关节点的缺失，并采用基于改进的卡尔曼滤波器预测关节点三维空间坐标位置的方法补全人体的骨架模型；
骨架模型检验模块，用于对最终获取到的完整骨架模型再次采用骨架模型的生理与运动约束条件进行检验，验证运动数据的可靠性；
人体运动特征提取模块，基于人体统一骨架模型计算关节相对角度、相对位置和运动速度，提取人体运动特征识别动作，并驱动的虚拟人完成相应的动作。
所述人体运动数据包括人体骨骼关节点的位置信息及加速度信息。
所述体感跟踪子模块包括骨骼跟踪单元，用于获取人体关节点的位置数据。
所述关节佩戴传感器包括磁力计、加速度计及陀螺仪9轴运动传感器。
人体运动特征提取模块包括基于时空连续性的运动数据预处理单元、基于主成分分析方法的人体运动数据特征提取单元及基于统计学习方法的人体运动行为识别单元。
所述装置主体包括还包括无线传输模块，用于将关节姿态数据传输至处理器，然后通过处理器传输给计算机进关节姿态运动数据采集。
本发明惯性传感器运动捕捉装置，通过采用惯性传感器和体感设备获得人体全身运动数据并进行数据融合处理，并将融合提取的运动数据转换为人体关节运动特征，驱动虚拟人运动；通过将惯性传感器和体感设备获得的人体运动数据进行融合处理，解决了目前光学跟踪系统进行人体运动测量时数据处理算法复杂、计算量大、当标记点混淆或被遮挡时无法工作的问题，同时解决了MEMS惯性传感器运动捕捉系统中无法进行人体定位和累计误差控制的问题。
于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种惯性传感器运动捕捉装置，其特征在于，包括一装置主体，所述装置主体包括：
人体运动数据采集模块，用于获取人体运动数据，从深度数据流中识别人体轮廓，将人体轮廓从深度图像中分离出来，并使用机器学习算法，用特征值记录并识别人体的各种行为，通过特征值来快速分类定位人体的部位，其中，所述数据采集模块包括惯性传感器；
惯性动作捕捉模块，包括关节佩戴传感器，将关节佩戴传感器佩戴于人体关节上进行姿态计算，得到关节姿态数据，其中，所述惯性动作捕捉模块包括体感设备；
数据判断模块，用于对人体运动数据采集模块采集到的数据与惯性动作捕捉模块捕捉到的关节姿态数据进行可信度判断，对可信度低或者没有识别的关节，进行标记；
运动数据转换模块，用于人体运动数据与关节姿态运动数据进行空间转换，统一到人体空间坐标系下；
第一数据融合处理模块，将获得人体运动数据与关节姿态运动数据经过时间对准和空间重投影后利用卡尔曼滤波算法进行数据融合，得到高质量的人体骨架模型；
第一运动数据检验模块，用于将处于统一人体空间坐标系中的人体运动数据与关节姿态运动数据采用骨架模型的生理与运动约束条件进行检验，排除不符合人体运动规则的错误数据；
第二数据融合处理模块，采用基于关节点变权重计算的数据融合算法，对获取到的人体运动数据与关节姿态运动数据进行数据融合，得到高质量的人体骨架模型；
融合后数据检测模块，用于检查数据融合完成后的骨架模型，是否存在关节点的缺失，并采用基于改进的卡尔曼滤波器预测关节点三维空间坐标位置的方法补全人体的骨架模型；
骨架模型检验模块，用于对最终获取到的完整骨架模型再次采用骨架模型的生理与运动约束条件进行检验，验证运动数据的可靠性；
人体运动特征提取模块，基于人体统一骨架模型计算关节相对角度、相对位置和运动速度，提取人体运动特征识别动作，并驱动的虚拟人完成相应的动作。
2.根据权利要求1所述的一种惯性传感器运动捕捉装置，其特征在于：所述人体运动数据包括人体骨骼关节点的位置信息及加速度信息。
3.根据权利要求1所述的一种惯性传感器运动捕捉装置，其特征在于：所述体感跟踪子模块包括骨骼跟踪单元，用于获取人体关节点的位置数据。
4.根据权利要求1所述的一种惯性传感器运动捕捉装置，其特征在于：所述关节佩戴传感器包括磁力计、加速度计及陀螺仪9轴运动传感器。
5.根据权利要求1所述的一种惯性传感器运动捕捉装置，其特征在于：人体运动特征提取模块包括基于时空连续性的运动数据预处理单元、基于主成分分析方法的人体运动数据特征提取单元及基于统计学习方法的人体运动行为识别单元。
6.根据权利要求1所述的一种惯性传感器运动捕捉装置，其特征在于：所述装置主体包括还包括无线传输模块，用于将关节姿态数据传输至处理器，然后通过处理器传输给计算机进关节姿态运动数据采集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110436183.1A CN113220119A (zh) | 2021-04-22 | 2021-04-22 | 一种惯性传感器运动捕捉装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110436183.1A CN113220119A (zh) | 2021-04-22 | 2021-04-22 | 一种惯性传感器运动捕捉装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113220119A true CN113220119A (zh) | 2021-08-06 |
Family
ID=77088597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110436183.1A Withdrawn CN113220119A (zh) | 2021-04-22 | 2021-04-22 | 一种惯性传感器运动捕捉装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220119A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850865A (zh) * | 2021-09-26 | 2021-12-28 | 北京欧比邻科技有限公司 | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 |
| CN114028784A (zh) * | 2021-11-25 | 2022-02-11 | 深圳先进技术研究院 | 应用于链球训练的穿戴式运动生物信息监测系统及方法 |
| CN114562993A (zh) * | 2022-02-28 | 2022-05-31 | 联想(北京)有限公司 | 一种轨迹处理方法、装置及电子设备 |
| CN115211847A (zh) * | 2022-06-08 | 2022-10-21 | 赵玉斌 | 传统健身功法训练姿态的智能监测装置、方法及应用 |
| CN115376161A (zh) * | 2022-08-22 | 2022-11-22 | 北京航空航天大学 | 一种基于低分辨率红外阵列传感器的居家伴学系统 |
| CN115389246A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种动作捕捉系统的速度精度测量方法、系统及装置 |
| WO2023169465A1 (zh) * | 2022-03-11 | 2023-09-14 | 中国科学院深圳先进技术研究院 | 基于多源信息融合的人体运动监测方法、装置 |
| CN117115341A (zh) * | 2023-08-03 | 2023-11-24 | 广州盘古文化传播有限公司 | 一种基于传感器的数字动作捕捉系统 |
-
2021
- 2021-04-22 CN CN202110436183.1A patent/CN113220119A/zh not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850865A (zh) * | 2021-09-26 | 2021-12-28 | 北京欧比邻科技有限公司 | 一种基于双目视觉的人体姿态定位方法、系统和存储介质 |
| CN114028784A (zh) * | 2021-11-25 | 2022-02-11 | 深圳先进技术研究院 | 应用于链球训练的穿戴式运动生物信息监测系统及方法 |
| CN114562993A (zh) * | 2022-02-28 | 2022-05-31 | 联想(北京)有限公司 | 一种轨迹处理方法、装置及电子设备 |
| WO2023169465A1 (zh) * | 2022-03-11 | 2023-09-14 | 中国科学院深圳先进技术研究院 | 基于多源信息融合的人体运动监测方法、装置 |
| CN115211847A (zh) * | 2022-06-08 | 2022-10-21 | 赵玉斌 | 传统健身功法训练姿态的智能监测装置、方法及应用 |
| CN115376161A (zh) * | 2022-08-22 | 2022-11-22 | 北京航空航天大学 | 一种基于低分辨率红外阵列传感器的居家伴学系统 |
| CN115376161B (zh) * | 2022-08-22 | 2023-04-04 | 北京航空航天大学 | 一种基于低分辨率红外阵列传感器的居家伴学系统 |
| CN115389246A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种动作捕捉系统的速度精度测量方法、系统及装置 |
| CN115389246B (zh) * | 2022-10-31 | 2023-03-03 | 之江实验室 | 一种动作捕捉系统的速度精度测量方法、系统及装置 |
| CN117115341A (zh) * | 2023-08-03 | 2023-11-24 | 广州盘古文化传播有限公司 | 一种基于传感器的数字动作捕捉系统 |
| CN117115341B (zh) * | 2023-08-03 | 2024-02-13 | 广州盘古文化传播有限公司 | 一种基于传感器的数字动作捕捉系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113220119A (zh) | 一种惯性传感器运动捕捉装置 | |
| CN104658012B (zh) | 一种基于惯性与光学测量融合的运动捕捉方法 | |
| KR101768958B1 (ko) | 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템 | |
| CN112631314B (zh) | 基于多线激光雷达与事件相机slam的机器人控制方法、系统 | |
| CN106056664A (zh) | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 | |
| CN102788572B (zh) | 一种工程机械吊钩姿态的测量方法、装置及系统 | |
| CN109242887A (zh) | 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 | |
| EP4155873A1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
| CN114676956A (zh) | 基于多维数据融合的老人跌倒风险预警系统 | |
| CN108917746A (zh) | 头盔姿态测量方法、测量装置及测量系统 | |
| Yang et al. | Infrared LEDs-based pose estimation with underground camera model for boom-type roadheader in coal mining | |
| CN112179373A (zh) | 一种视觉里程计的测量方法及视觉里程计 | |
| CN113243907A (zh) | 一种用于跌倒检测的智能检测方法 | |
| CN113419563A (zh) | 一种无人机定位装置、方法、设备及介质 | |
| CN114323008A (zh) | 基于机器学习分类的融合航向角估计方法及系统 | |
| CN113701750A (zh) | 一种井下多传感器的融合定位系统 | |
| CN107345814A (zh) | 一种移动机器人视觉定位系统及定位方法 | |
| CN111881899B (zh) | 机器人的定位部署方法、装置、设备及存储介质 | |
| CN110236560A (zh) | 智能穿戴设备的六轴姿态检测方法、系统 | |
| CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
| Hartmann et al. | Worker behavior interpretation for flexible production | |
| CN107883979A (zh) | 用于统一惯性传感器坐标系和参考坐标系的方法和系统 | |
| Ogata et al. | A robust position and posture measurement system using visual markers and an inertia measurement unit | |
| CN111861275A (zh) | 家政工作模式的识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210806 |