CN203630717U - 基于轻型惯导传感输入设备的交互系统 - Google Patents
基于轻型惯导传感输入设备的交互系统 Download PDFInfo
- Publication number
- CN203630717U CN203630717U CN201320751470.2U CN201320751470U CN203630717U CN 203630717 U CN203630717 U CN 203630717U CN 201320751470 U CN201320751470 U CN 201320751470U CN 203630717 U CN203630717 U CN 203630717U
- Authority
- CN
- China
- Prior art keywords
- inertial navigation
- sensing input
- duty
- navigation sensing
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003993 interaction Effects 0.000 title abstract 4
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 210000003141 lower extremity Anatomy 0.000 claims description 6
- 210000001364 upper extremity Anatomy 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 210000000689 upper leg Anatomy 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 abstract description 2
- 230000036544 posture Effects 0.000 abstract 3
- 238000000034 method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
Images
Abstract
本实用新型公开了一种基于轻型惯导传感输入设备的交互系统，包括多个轻型惯导传感输入设备、采集单元、3D重构单元、控制单元和布景单元，采集单元实时采集每个轻型惯导传感输入设备的检测信号，并通过3D重构单元重构表演者的当前人体三维模型，控制单元根据存储的预设姿态和当前姿态的对应关系，发出相应的控制信号，布景单元根据控制信号选择相应的场景画面投影到舞台上。本实用新型，通过固定在表演者四肢、躯干和头部上的多个惯导测试单元采集表演者关节的运动学数据，然后重构表演者三维模型，从而准确地跟踪和识别表演者的当前姿态，并选择相应的场景画面投影到舞台上，实现了虚拟影像与真实场景相结合的舞台效果。
Description
技术领域
本实用新型涉及舞台展示，具体涉及基于轻型惯导传感输入设备的交互系统。
背景技术
如今，艺术演出的舞台展示对演出效果的作用越来越突出，人们已经不在满足于常规布景式的舞台设计，虚拟影像与真实场景相结合的舞台效果越来越受到人们的关注。
要实现虚实交互的舞台表演呈现，重点在于舞台场景中的表演对象的实时数据获取，在交互舞台场景中，由于表演者自遮挡、相互遮挡、姿态变化和光照变化的影响，特别是在复杂背景情况下（用户站立在环形的大屏幕投影前，可能部分屏幕也变为用户背景），要准确地跟踪和识别表演对象的姿态是非常困难的。
实用新型内容
本实用新型所要解决的技术问题是在交互舞台场景中，很难准确地跟踪和识别表演对象的姿态的问题。
为了解决上述技术问题，本实用新型所采用的技术方案是提供一种基于轻型惯导传感输入设备的交互系统，包括：
多个轻型惯导传感输入设备，分别固定在表演者的头部、躯干部以及上肢和下肢上；
采集单元，实时采集每个所述轻型惯导传感输入设备的检测信号，获得表演者的当前关节运动学数据；
3D重构单元，根据所述表演者的当前关节运动学数据重构表演者的当前人体三维模型；
控制单元，其上设有姿态识别模块，所述姿态识别模块利用支持向量机分类器学习表演者的各种姿态的训练数据得到表演者的预设姿态，再根据表演者的当前关节运动学数据与所述预设姿态的对应关系，发出相应的控制信号；
布景单元，其上保存有与表演者预设姿态相对应的多个场景画面，所述布景单元根据所述控制信号，选择相应的场景画面投影到舞台上。
在上述方案中，每个所述轻型惯导传感输入设备均集成有一个3维加速度传感器、一个3维陀螺仪和一个3维磁力传感器。
在上述方案中，所述轻型惯导传感输入设备的数量为12－16个，其中，1个所述轻型惯导传感输入设备固定头部，1－5个所述轻型惯导传感输入设备分散地固定在躯干部，2个所述轻型惯导传感输入设备分别固定在一个上肢的上臂上和下臂上，3个所述轻型惯导传感输入设备分别固定在一个下肢的大腿、小腿和脚上。
在上述方案中，还包括校正单元，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正。
在上述方案中，所述某个已知的轻型惯导传感输入设备为设置在头部的轻型惯导传感输入设备。
在上述方案中，所述采集单元采集每个所述轻型惯导传感输入设备在表演者静止状态下的检测信号，获得表演者静止状态下的关节运动学数据；所述3D重构单元根据所述表演者静止状态下的关节运动学数据重构获得所述标准人体三维模型。
本实用新型，通过固定在表演者四肢、躯干和头部上的多个惯导测试单元采集表演者关节的运动学数据，然后利用3D重建技术重构表演者三维模型，从而准确地跟踪和识别表演者的当前姿态，并根据据表演者的当前姿态选择相应的场景画面投影到舞台上，从而实现了虚拟影像与真实场景相结合的舞台效果。
附图说明
图1为本实用新型的结构示意图。
具体实施方式
本实用新型提供了一种基于轻型惯导传感输入设备的交互系统，通过固定在表演者四肢、躯干和头部上的多个轻型惯导传感输入设备采集表演者的关节运动学数据，然后利用3D重建技术重构表演者三维模型，从而准确地跟踪和识别表演对象的姿态，并根据表演者的当前姿态选择相应的场景画面投影到舞台上。下面结合说明书附图和具体实施例对本实用新型做出详细的说明。
如图1所示，本实用新型提供的基于轻型惯导传感输入设备的交互系统，包括多个轻型惯导传感输入设备1、采集单元2、3D重构单元3、控制单元4和布景单元5。
每个轻型惯导传感输入设备均集成有一个3维加速度传感器、一个3维陀螺仪和一个3维磁力传感器。多个惯导传感输入设备1分别固定在表演者的上肢、下肢、躯干和头部，本实施例中，惯轻型惯导传感输入设备的数量为12－16个，其中，1个所述惯轻型惯导传感输入设备固定头部，1－5个所述惯轻型惯导传感输入设备分散地固定在躯干部，2个所述惯轻型惯导传感输入设备分别固定在一个上肢的上臂上和下臂上，3个所述惯轻型惯导传感输入设备分别固定在一个下肢的大腿、小腿和脚上。
采集单元2实时采集每个轻型惯导传感输入设备1的检测信号，获得表演者的当前关节运动学数据。并通过滤波、姿态解算等系列数字信号处理，作为为上层3D重构软件系统提供基础数据。
3D重构单元3根据表演者的当前关节运动学数据重构表演者的当前人体三维模型。
控制单元4上设有姿态识别模块41，姿态识别模块41采用向量机分类器学习表演者的各种姿态的训练数据得到表演者的预设姿态，并将表演者预设姿态的训练数据存储到存储模块内，控制单元4再根据表演者的当前关节运动学数据与预设姿态的对应关系，发出相应的控制信号；
布景单元5上保存有与表演者预设姿态相对应的多个场景画面51，布景单元5根据控制单元4发出的相应控制信号，选择相应的场景画面51投影到舞台上，产生虚拟影像与真实场景相结合的舞台效果。
其中，标准人体三维模型采用如下方式获得，采集单元2采集每个轻型惯导传感输入设备1在表演者静止状态下的检测信号，获得表演者静止状态下的关节运动学数据，3D重构单元3根据表演者静止状态下的关节运动学数据重构获得所述标准人体三维模型。
由于轻型惯导传感输入设备附加到表演者身上时，与人体躯段间的初始位置未知，很难通过加速度数值积分的方法来估计人体躯段间的距离。因此，应当采取适当的校正过程来确定传感器与躯段间的空间关系和身体的维度信息。为此，本实用新型中还设有校正单元，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正。其中，某个已知的轻型惯导传感输入设备可以选择设置在头部的轻型惯导传感输入设备。具体作法是：将轻型惯导传感输入设备中各传感器信号和人体三维模型描述为随机事件，构建含有预测和校正步骤的传感器融合过程对其进行聚合。在预测过程中，各个传感器的信号都通过惯性导向系统（INS）算法进行处理，其后利用某个已知的传感器与相应身体躯段间的空间关系以及人体生物机械模型来预测躯段的机械运动。在较长时间执行上述处理过程后，由于存在传感器噪声、信号偏移和姿态错误等因素，对惯性传感器数据进行积分会导致漂移误差。为纠正诸如方向、速度、位移一类的估计量，传感器融合过程会不断更新这些估计量。校正过程会包含上述数据更新，这些更新基于人体生物运动学特征、主要关节、包含外界位置和速度限制因素的躯段连接点检测，运动估计的结果被反馈到将被应用于下一帧的INS算法和躯段运动过程。
本实用新型不局限于上述最佳实施方式，任何人应该得知在本实用新型的启示下作出的结构变化，凡是与本实用新型具有相同或相近的技术方案，均落入本实用新型的保护范围之内。
Claims (6)
1.基于轻型惯导传感输入设备的交互系统，其特征在于，包括：
多个轻型惯导传感输入设备，分别固定在表演者的头部、躯干部以及上肢和下肢上；
采集单元，实时采集每个所述轻型惯导传感输入设备的检测信号，获得表演者的当前关节运动学数据；
3D重构单元，根据所述表演者的当前关节运动学数据重构表演者的当前人体三维模型；
控制单元，其上设有姿态识别模块，所述姿态识别模块利用支持向量机分类器学习表演者的各种姿态的训练数据得到表演者的预设姿态，再根据表演者的当前关节运动学数据与所述预设姿态的对应关系，发出相应的控制信号；
布景单元，其上保存有与表演者预设姿态相对应的多个场景画面，所述布景单元根据所述控制信号，选择相应的场景画面投影到舞台上。
2.如权利要求1所述的交互系统，其特征在于，每个所述轻型惯导传感输入设备均集成有一个3维加速度传感器、一个3维陀螺仪和一个3维磁力传感器。
3.如权利要求1所述的交互系统，其特征在于，所述轻型惯导传感输入设备的数量为12－16个，其中，1个所述轻型惯导传感输入设备固定头部，1－5个所述轻型惯导传感输入设备分散地固定在躯干部，2个所述轻型惯导传感输入设备分别固定在一个上肢的上臂上和下臂上，3个所述轻型惯导传感输入设备分别固定在一个下肢的大腿、小腿和脚上。
4.如权利要求1所述的交互系统，其特征在于，还包括校正单元，利用某个已知的轻型惯导传感输入设备与相应身体躯段间的空间关系以及人体生物机械模型对其他轻型惯导传感输入设备进行校正。
5.如权利要求1所述的交互系统，其特征在于，所述某个已知的轻型惯导传感输入设备为设置在头部的轻型惯导传感输入设备。
6.如权利要求1所述的交互系统，其特征在于，所述采集单元采集每个所述轻型惯导传感输入设备在表演者静止状态下的检测信号，获得表演者静止状态下的关节运动学数据；所述3D重构单元根据所述表演者静止状态下的关节运动学数据重构获得所述标准人体三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201320751470.2U CN203630717U (zh) | 2013-11-25 | 2013-11-25 | 基于轻型惯导传感输入设备的交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201320751470.2U CN203630717U (zh) | 2013-11-25 | 2013-11-25 | 基于轻型惯导传感输入设备的交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN203630717U true CN203630717U (zh) | 2014-06-04 |
Family
ID=50817175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201320751470.2U Expired - Lifetime CN203630717U (zh) | 2013-11-25 | 2013-11-25 | 基于轻型惯导传感输入设备的交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN203630717U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104615117A (zh) * | 2015-02-06 | 2015-05-13 | 恒德数字舞美科技有限公司 | 一种舞台元素集中控制系统 |
| CN107077197A (zh) * | 2014-12-19 | 2017-08-18 | 惠普发展公司，有限责任合伙企业 | 3d可视化图 |
| CN107485091A (zh) * | 2017-04-17 | 2017-12-19 | 河南工程学院 | 一种用体感进行服装设计的系统和方法 |
-
2013
- 2013-11-25 CN CN201320751470.2U patent/CN203630717U/zh not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107077197A (zh) * | 2014-12-19 | 2017-08-18 | 惠普发展公司，有限责任合伙企业 | 3d可视化图 |
| CN104615117A (zh) * | 2015-02-06 | 2015-05-13 | 恒德数字舞美科技有限公司 | 一种舞台元素集中控制系统 |
| CN107485091A (zh) * | 2017-04-17 | 2017-12-19 | 河南工程学院 | 一种用体感进行服装设计的系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103578135B (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法 | |
| CN107833271B (zh) | 一种基于Kinect的骨骼重定向方法及装置 | |
| US20240085211A1 (en) | System, methods, device and apparatuses for preforming simultaneous localization and mapping | |
| CN102697508B (zh) | 采用单目视觉的三维重建来进行步态识别的方法 | |
| CN104933734B (zh) | 一种基于多kinect的人体姿态数据融合方法 | |
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| CN104035557B (zh) | 一种基于关节活跃度的Kinect动作识别方法 | |
| US10825197B2 (en) | Three dimensional position estimation mechanism | |
| RU2708027C1 (ru) | Способ передачи движения субъекта из видео на анимированного персонажа | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
| KR20160096473A (ko) | 동작 평가 시스템 및 방법 | |
| CN203630822U (zh) | 虚拟影像与真实场景相结合的舞台交互集成系统 | |
| CN110544302A (zh) | 基于多目视觉的人体动作重建系统、方法和动作训练系统 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| CN112668549B (zh) | 行人姿态分析方法、系统、及终端、存储介质 | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN203630717U (zh) | 基于轻型惯导传感输入设备的交互系统 | |
| Ingwersen et al. | SportsPose-A Dynamic 3D sports pose dataset | |
| Kondori et al. | Direct hand pose estimation for immersive gestural interaction | |
| CN109711421A (zh) | 一种数据处理方法和装置 | |
| Hao et al. | Cromosim: A deep learning-based cross-modality inertial measurement simulator | |
| Abd Shattar et al. | Experimental Setup for Markerless Motion Capture and Landmarks Detection using OpenPose During Dynamic Gait Index Measurement | |
| CN116485953A (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| CN114663917A (zh) | 基于多视角的多人三维人体位姿估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 401 Qingdao economic and Technological Development Zone, Shandong, No. 266000 Hao Shan Road, room 578 Patentee after: HENGDE TECHNOLOGY Co.,Ltd. Address before: 401 Qingdao economic and Technological Development Zone, Shandong, No. 266000 Hao Shan Road, room 578 Patentee before: HENGDE DIGITAL STAGE SCIENCE & TECHNOLOGY CO.,LTD. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CX01 | Expiry of patent term |
Granted publication date: 20140604 |
|
| CX01 | Expiry of patent term |