CN113157093A - 一种虚拟人物对象姿态同步控制系统 - Google Patents

一种虚拟人物对象姿态同步控制系统 Download PDF

Info

Publication number
CN113157093A
CN113157093A CN202110421468.8A CN202110421468A CN113157093A CN 113157093 A CN113157093 A CN 113157093A CN 202110421468 A CN202110421468 A CN 202110421468A CN 113157093 A CN113157093 A CN 113157093A
Authority
CN
China
Prior art keywords
virtual character
osg
data
kinect
character object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110421468.8A
Other languages
English (en)
Inventor
李波
王祥凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Engineering
Original Assignee
Shenyang Institute of Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Engineering filed Critical Shenyang Institute of Engineering
Priority to CN202110421468.8A priority Critical patent/CN113157093A/zh
Publication of CN113157093A publication Critical patent/CN113157093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及计算机仿真领域，具体的说是一种虚拟人物对象姿态同步控制系统。本发明包括软件和硬件两部分。硬件包括Kinect一套、数据手套两套和图形工作站一台，软件部分由OSG实现。具体实现步骤如下：规划了44个关键位置描述人体姿态；从Kinect和数据手套获取44个关键位置的姿态信息；由OSG将44个关键位置的姿态信息同步更新到虚拟人物对象上，达到虚拟人物和真实人物动作同步的目的。本发明能够有效地控制虚拟人物和真实人物保持姿态同步，降低了虚拟人物动作制作成本，提高了仿真逼真度。

Description

一种虚拟人物对象姿态同步控制系统
技术领域
本发明涉及计算机仿真领域，具体的说是一种利用Kinect对人体姿态进行捕捉，利用数据手套对人体手部姿态进行捕捉，进而同步控制计算机中的虚拟人物对象的系统。
背景技术
虚拟现实和增强现实中，经常需要进行人与虚拟人物对象的交互。目前普遍使用的方法是通过3DMAX等建模工具制作动作动画，然后通过程序控制，当产生特定事件时触发特定动画，产生交互现象。这种交互可做到的姿态有限，而且无法做到虚拟对象与用户动作的同步进行。
发明内容
本发明提供了一种用户同步控制虚拟人物对象动作的方法，包括肢体动作和手部动作，能够有效提高虚拟对象的动作逼真度。
本发明为实现上述目的所采用的技术方案是：一种虚拟人物对象姿态同步控制系统，包括以下装置：
(1) Kinect 2.0 一套；
(2) 数据手套两套；
(3) 图形工作站一台。
具体实现步骤：
(1)构建虚拟人物三维模型；
(2)使用CREATOR为虚拟人物对象构建16个关键位置的局部坐标系，可分别控制每个关键位置的转动；
(3)为虚拟人物对象构建每个手部14个关节的局部坐标系，可分别控制每个关节转动；
(4)使用Kinect获取人体姿态中的16个关键位置的数据；
(5)建立关键位置与虚拟人物模型间的一一映射关系，将Kinect获取的关节数据赋予虚拟人物对象，可获得基本的同步动作姿态；
(6)由于Kinect对手部姿态的获取不够详细，仅能获取拇指和手部尖端的位置，而且数据不准确，因此通过数据手套获取手部14个关节的姿态数据，并与虚拟手部关节建立一一映射关系；
(7)依据实时获取到的关节数据，使用OSG(OpenSceneGraph)同步对虚拟人物的关节数据进行更新渲染，达到虚拟人物与用户同一姿态的目的；
(8)当用户做出动作时，由Kinect获取16个关键位置的位姿数据，数据手套获取每个手部14个关节点的位姿数据，转换到每个在局部坐标系下三个方向的位姿变化，由OSG进行渲染绘制。
本发明具有以下优点及有益效果：
(1) 可以实时依据用户动作控制虚拟人物对象进行同步动作，提高虚拟人物对象的仿真逼真度；
(2) 克服了kinect无法对手部姿态进行细致提取的弊端，可以准确控制手部的拳、掌等姿态，提高动作的仿真逼真度。
附图说明
图1为本发明的系统架构图。
图2为从kinect中提取的16个用于描述身体姿态的关键位置。
图3为手部14个关节局部坐标系的示意图。
具体实施方式
（1）使用3Dmax构建虚拟人物三维模型，包括手部的14个关节点模型，并输出为FLT格式。
（2）使用CREATOR导入FLT模型，为虚拟人物对象构建包含手部关节的30个关键位置建立DOF节点，并建立相应的局部坐标系，以分别在每个局部坐标系下描述关键位置的转动。
（3）将FLT模型转换成ive模型，通过OSG导入虚拟环境并为每个关键位置建立局部坐标系。
（4）实现OSG环境下的姿态控制算法：关键位置的运动轨迹取决于和它相关联的其他关键位置的运动轨迹。例如，手部的运动轨迹取决于连接肩膀到手部的三个关节的运动，可视为连杆运动。依据DH运动模型，将每个关节的局部坐标系都看作一个连杆坐标系，在此基础上可以计算出关节的运动模型。设连杆变换
Figure DEST_PATH_GDA0003112460030000021
表示连杆坐标系i相对于连杆坐标系i-1的变换，则根据D-H算法，有
Figure 713578DEST_PATH_IMAGE002
连杆系统中第三个位置相对于第1个位置的运动变换矩阵可以描述为：
Figure 236963DEST_PATH_IMAGE003
由此，可以推算连杆系统中每个关节位置的运动矩阵。
（5）以10次/秒的速度获取44个关节位置的数据（身体关键位置16个，每个手部关节14个），由OSG解算为各个局部坐标系下的姿态角(Pitch、Yaw、Roll)，并同步更新虚拟人物的关键位置和手部关节姿态。

Claims (5)

1.一种虚拟人物对象姿态同步控制系统，其特征在于，包括硬件和软件两部分内容：
硬件部分包括：
(1)Kinect 2.0 一套
(2)数据手套 两套
(3)图形工作站 一台
软件部分由OSG开发完成。
2.根据权利要求1所述的一种虚拟人物对象姿态同步控制系统，其特征在于，使用3Dmax创建FLT格式的虚拟人物模型，并选取了身体上的16个关节位置和每只手部14个关节位置，共44个数据描述人体姿态。
3.根据权利要求1所述的一种虚拟人物对象姿态同步控制系统，其特征在于，使用CREATOR创建DOF节点并初始化局部坐标系。
4.根据权利要求1所述的一种虚拟人物对象姿态同步控制系统，其特征在于， OSG将FLT格式数据转换为ive格式数据进行操作控制。
5.根据权利要求1所述的一种虚拟人物对象姿态同步控制系统，其特征在于，基于DH算法计算关键位置姿态信息，并使用OSG以10次/秒的速度进行动作解算并绘制更新。
CN202110421468.8A 2021-04-20 2021-04-20 一种虚拟人物对象姿态同步控制系统 Pending CN113157093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421468.8A CN113157093A (zh) 2021-04-20 2021-04-20 一种虚拟人物对象姿态同步控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421468.8A CN113157093A (zh) 2021-04-20 2021-04-20 一种虚拟人物对象姿态同步控制系统

Publications (1)

Publication Number Publication Date
CN113157093A true CN113157093A (zh) 2021-07-23

Family

ID=76868780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421468.8A Pending CN113157093A (zh) 2021-04-20 2021-04-20 一种虚拟人物对象姿态同步控制系统

Country Status (1)

Country Link
CN (1) CN113157093A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107219918A (zh) * 2017-04-28 2017-09-29 西北工业大学 一种数据手套接口模块的设计方法
US20180067545A1 (en) * 2015-03-01 2018-03-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods
CN109782911A (zh) * 2018-12-30 2019-05-21 广州嘉影软件有限公司 基于虚拟现实的全身动作捕捉方法和系统
CN112596611A (zh) * 2020-12-25 2021-04-02 南方电网深圳数字电网研究院有限公司 基于体感定位的虚拟现实角色同步控制方法和控制装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180067545A1 (en) * 2015-03-01 2018-03-08 Tactical Haptics Embedded grasp sensing devices, systems, and methods
CN107219918A (zh) * 2017-04-28 2017-09-29 西北工业大学 一种数据手套接口模块的设计方法
CN109782911A (zh) * 2018-12-30 2019-05-21 广州嘉影软件有限公司 基于虚拟现实的全身动作捕捉方法和系统
CN112596611A (zh) * 2020-12-25 2021-04-02 南方电网深圳数字电网研究院有限公司 基于体感定位的虚拟现实角色同步控制方法和控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹俞等: "航天员虚拟交互操作训练多体感融合驱动方法研究", 《图学学报》 *

Similar Documents

Publication Publication Date Title
US10751877B2 (en) Industrial robot training using mixed reality
KR101711736B1 (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
CN111223171A (zh) 图像处理方法、装置、电子设备及存储介质
CN104376309A (zh) 一种基于手势识别的手势运动基元模型结构化方法
CN110385694A (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
CN103019386A (zh) 一种人机互动的控制方法及其运用
WO2016188551A1 (en) Animating a virtual object in a virtual world
US20170221248A1 (en) Animating a virtual object in a virtual world
Teleb et al. Data glove integration with 3d virtual environments
CN113157093A (zh) 一种虚拟人物对象姿态同步控制系统
Bhati et al. Analysis of design principles and requirements for procedural rigging of bipeds and quadrupeds characters with custom manipulators for animation
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Garbaya et al. Modeling dynamic behavior of parts in virtual assembly environment
CN107243147A (zh) 基于体感传感器的拳击训练虚拟现实系统及其实现方法
Kim et al. Haptic puppetry for interactive games
Luciano et al. 3D animation of telecollaborative anthropomorphic avatars
Xia et al. Recent advances on virtual human synthesis
CN113496168A (zh) 手语数据采集方法、设备、存储介质
CN105139455B (zh) 运动捕捉数据的处理方法及系统
Luo et al. Puppet playing: An interactive character animation system with hand motion control
CN111438499A (zh) 一种基于5g+工业ar的使用无约束力反馈的装配方法
Han et al. Ar pottery: Experiencing pottery making in the augmented space
KR102589194B1 (ko) 서로 다른 캐릭터 사이의 애니메이션 데이터를 호환 가능하게 연결하는 모션 커버 방법, 장치 및 시스템
Ferguson Lessons from digital puppetry: updating a design framework for a perceptual user interface
Zhao et al. Interactive mechanical arm control system based on Kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723