CN110363841A - 一种虚拟驾驶环境中手部运动跟踪方法 - Google Patents

一种虚拟驾驶环境中手部运动跟踪方法 Download PDF

Info

Publication number
CN110363841A
CN110363841A CN201810282904.6A CN201810282904A CN110363841A CN 110363841 A CN110363841 A CN 110363841A CN 201810282904 A CN201810282904 A CN 201810282904A CN 110363841 A CN110363841 A CN 110363841A
Authority
CN
China
Prior art keywords
animation
virtual
hand
driving environment
steering wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810282904.6A
Other languages
English (en)
Other versions
CN110363841B (zh
Inventor
陈禄
李熠
王伟东
芦宏川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everything Mirror Beijing Computer System Co ltd
Original Assignee
Mobile Internet Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobile Internet Technology Group Co Ltd filed Critical Mobile Internet Technology Group Co Ltd
Priority to CN201810282904.6A priority Critical patent/CN110363841B/zh
Publication of CN110363841A publication Critical patent/CN110363841A/zh
Application granted granted Critical
Publication of CN110363841B publication Critical patent/CN110363841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟驾驶环境中手部运动跟踪方法，通过捕捉真实世界人物手势数据，实现与虚拟世界交互。在虚拟驾驶环境中，通过现实世界捕捉用户双手对方向盘操作数据，反馈于虚拟世界中的驾驶员模型，使在虚拟世界中亦可以看到，如现实世界一样自然的双手操作方式，使用Leap Motion设备捕捉的手部姿态数据，通过IK动画精确计算，从而实现整只手臂的动作模拟，增强了仿真体验的真实感和沉浸感。

Description

一种虚拟驾驶环境中手部运动跟踪方法
技术领域
本发明涉及虚拟驾驶仿真领域，具体涉及一种虚拟驾驶环境中手部运动跟踪方法。
背景技术
在传统的计算机图形技术中，视场的改变是通过鼠标或键盘来实现的，用户的视觉系统和运动感知系统是分离的，如今伴随虚拟现实技术发展，出现了一批虚拟现实技术解决方案，利用头部跟踪来改变图像的视角，用户的视觉系统和运动感知系统之间就可以联系起来，感觉更逼真。用户不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境，该方案着重解决了虚拟现实技术中的虚拟环境模拟问题，通过佩戴相应设备，可广角、实时、立体、显示由计算机生成的三维图像，但对虚拟现实中的交互感，仍使用传统的手柄操作，用户需要通过按键操作，完成和虚拟世界的交互。
目前的领域中，由于捕捉设备及技术缺陷，只能获取手部的姿态，无法获取人物手部以外部分的姿态特征数据；尚无法精确还原现实手部所有姿态特征；在驾驶员旋转方向盘时，会出现对手势的遮挡，设备无法捕捉到正确手部位置和姿态，导致手势识别失效。另外，在捕捉手部动作数据、将数据传回虚拟世界并赋予模型、驱动模型动画的一系列过程中，会造成延时问题，导致虚拟手部位置无法匹配现实手部位置，从而降低了仿真体验真实感。
为实现更逼真的虚拟现实体验，通过手柄，按键方式实现与虚拟世界的互动并非最佳方案，事实上虚拟现实技术包括了对环境模拟、感知、自然技能和传感设备等多方面。本发明提出一种虚拟驾驶环境中手部运动跟踪方法，通过捉真实世界人物手势数据，实现与虚拟世界交互。
发明内容
本发明提供一种虚拟驾驶环境中手部运动跟踪方法，用户可以在虚拟世界中看到自己的双手对方向盘等物体操作，增强了仿真体验的真实感和沉浸感。
为实现上述目的，本发明提供如下技术方案：一种虚拟驾驶环境中手部运动跟踪方法，包括如下步骤：
步骤一：使用Leap Motion的API，获取设备捕捉到的双手姿态数据；
步骤二：通过Leap Motion的API实时获取的手部姿态数据，经由Unreal Engine动画蓝图实时赋值于虚拟人物手部模型骨骼上，从而实现自然手势运行追踪操作；其中包括：（一）依据Unreal Engine动画蓝图中TwoBoneIK节点进行IK计算，实现虚拟人物手臂的自然控制；（二）依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合，当现实世界中人物手部接近方向盘时，虚拟世界中的人物，会自动切换至播放驾驶员操作方向盘动画状态，并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
所述Leap Motion是面向PC以及Mac的体感控制器制造公司Leap发布的体感控制器，用于人体手部动作捕捉。
所述模型动画使用三维建模软件，制作的虚拟人物模型，拥有现实人物一样的外部特征，包括四肢。
所述捕捉数据回传给Unreal4引擎中的虚拟人物，人物使用动画蓝图驱动动画，只需在在动画蓝图中使用Transform Modify Bone节点。
所述Leap Motion未开启或未激活时，虚拟人物动画会依据现实世界的方向盘旋转状态，通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画，虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
所述LeapMotion开启并激活时，如果由于遮挡或其他原因造成丢失捕捉数据的情况时，Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画。避免造成虚拟世界中驾驶员操作异常的情况
本发明的有益效果是：
1. 本发明通过捕捉真实世界人物手势数据，实现与虚拟世界交互，用户可以在虚拟世界中看到自己的双手对方向盘等物体操作，增强了仿真体验的真实感和沉浸感。
2. 使用Leap Motion设备捕捉的手部姿态数据，通过IK动画精确计算，从而实现整只手臂的动作模拟。
3.在虚拟驾驶环境中，当现实人物手部接触方向盘，虚拟世界人物自动切换播放动画，并根据Leap Motion捕捉数据计算播放动画位置，使双手紧握方向盘同时，可以根据真实手部位置改变虚拟世界手部在方向盘上的位置。实现虚拟世界完美仿真手握方向盘操作。
4.通过使用预先设置好的动画，可以在Leap Motion丢失捕捉或捕捉错误时自动切换播放动画。避免造成丢失手部数据或延时造成的，虚拟世界仿真不真实情况。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明所述的捕捉数据流程图；
图2是本发明所述的手部运动跟踪流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
一种虚拟驾驶环境中手部运动跟踪方法，包括如下步骤：
步骤一：参阅图1，使用Leap Motion的API，获取设备捕捉到的双手姿态数据，包括每根手指的位置和旋转数据：通过Leap Motion的API，获取设备捕捉到的双手姿态数据，包括每根手指的位置和旋转数据，将获取的这些数据回传给Unreal Engine引擎中虚拟人物的手部模型的骨骼上，在Unreal Engine中虚拟人物的动作使用动画蓝图进行驱动，动画蓝图中使用Transform Modify Bone节点即可实时控制模型骨骼动画，将Leap Motion捕捉到的双手姿态数据，包括每根手指的位置和旋转数据赋值于动画蓝图中对应的虚拟人物手部模型骨骼上即可。
步骤二：参阅图2，通过Leap Motion的API实时获取的手部姿态数据，经由UnrealEngine动画蓝图实时赋值于虚拟人物手部模型骨骼上，从而实现自然手势运行追踪操作；
其中包括：
(a)手臂运动控制：通过Leap Motion的API实时获取手部根部姿态，依据UnrealEngine动画蓝图中Two Bone IK节点进行IK计算，实现通过手部根部姿态，反向驱动整只手臂运动，从而实现虚拟人物手臂的自然控制；
(b)与方向盘交互：依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合，实现当现实世界中人物手部接近方向盘时，虚拟世界中的人物，会自动切换至播放驾驶员操作方向盘动画状态，并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
(c)识别状态丢失，异常或无法识别状态下处理：
当捕捉设备LeapMotion未开启或未激活时，虚拟人物动画会依据现实世界的方向盘旋转状态，通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画，虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
在LeapMotion开启并激活时，如果由于遮挡或其他原因造成丢失捕捉数据的情况时，Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画。避免造成虚拟世界中驾驶员操作异常的情况。
与现有技术相比，通过使用预先设置好的动画，可以在Leap Motion丢失捕捉或捕捉错误时自动切换播放动画。避免造成丢失手部数据或延时造成的，虚拟世界仿真不真实情况；通过捕捉真实世界人物手势数据，实现与虚拟世界交互，用户可以在虚拟世界中看到自己的双手对方向盘等物体操作，增强了仿真体验的真实感和沉浸感。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，包括如下步骤：
步骤一：使用Leap Motion的API，获取设备捕捉到的双手姿态数据；
步骤二：通过Leap Motion的API实时获取的手部姿态数据，经由Unreal Engine动画蓝图实时赋值于虚拟人物手部模型骨骼上，从而实现自然手势运行追踪操作；其中包括：（一）依据Unreal Engine动画蓝图中TwoBoneIK节点进行IK计算，实现虚拟人物手臂的自然控制；（二）依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合，当现实世界中人物手部接近方向盘时，虚拟世界中的人物，会自动切换至播放驾驶员操作方向盘动画状态，并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
2.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，所述Leap Motion是面向PC以及Mac的体感控制器制造公司Leap发布的体感控制器，用于人体手部动作捕捉。
3.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，所述模型动画使用三维建模软件，制作的虚拟人物模型，拥有现实人物一样的外部特征，包括四肢。
4.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，所述捕捉数据回传给Unreal4引擎中的虚拟人物，人物使用动画蓝图驱动动画，只需在在动画蓝图中使用Transform Modify Bone节点。
5.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，所述Leap Motion未开启或未激活时，虚拟人物动画会依据现实世界的方向盘旋转状态，通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画，虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
6.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，所述LeapMotion开启并激活时，如果由于遮挡或其他原因造成丢失捕捉数据的情况时，UnrealEngine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画，避免造成虚拟世界中驾驶员操作异常的情况。
CN201810282904.6A 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法 Active CN110363841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810282904.6A CN110363841B (zh) 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810282904.6A CN110363841B (zh) 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法

Publications (2)

Publication Number Publication Date
CN110363841A true CN110363841A (zh) 2019-10-22
CN110363841B CN110363841B (zh) 2022-12-09

Family

ID=68213686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810282904.6A Active CN110363841B (zh) 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法

Country Status (1)

Country Link
CN (1) CN110363841B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN114187803A (zh) * 2021-12-17 2022-03-15 山东万正网络科技有限公司 一种驾驶员培训中车辆基础部件模拟教学的方法及系统
CN114356090A (zh) * 2021-12-31 2022-04-15 北京字跳网络技术有限公司 一种控制方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057921A1 (en) * 2016-09-23 2018-03-29 Interdigital Technology Corporation System and method for situation awareness in immersive digital experiences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057921A1 (en) * 2016-09-23 2018-03-29 Interdigital Technology Corporation System and method for situation awareness in immersive digital experiences

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张玉军等: "基于手势交互的三维电子沙盘系统设计与实现", 《指挥控制与仿真》 *
张秋实等: "基于手势交互的输电线路运维沉浸式操作训练平台", 《电力科学与技术学报》 *
赵锟: "沉浸式虚拟现实语境下肢体交互模式实现探析", 《科技与创新》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
WO2022166264A1 (zh) * 2021-02-04 2022-08-11 三一汽车起重机械有限公司 作业机械的模拟训练系统、方法、装置和电子设备
CN114187803A (zh) * 2021-12-17 2022-03-15 山东万正网络科技有限公司 一种驾驶员培训中车辆基础部件模拟教学的方法及系统
CN114356090A (zh) * 2021-12-31 2022-04-15 北京字跳网络技术有限公司 一种控制方法、装置、计算机设备及存储介质
CN114356090B (zh) * 2021-12-31 2023-11-07 北京字跳网络技术有限公司 一种控制方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110363841B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
Riley et al. Enabling real-time full-body imitation: a natural way of transferring human movement to humanoids
CN107861714B (zh) 基于Intel RealSense的汽车展示应用的开发方法及系统
WO2022021686A1 (zh) 虚拟对象的控制方法及装置、存储介质、电子装置
Oprea et al. A visually realistic grasping system for object manipulation and interaction in virtual reality environments
LaViola et al. 3D spatial interaction: applications for art, design, and science
Tsai et al. Unity game engine: Interactive software design using digital glove for virtual reality baseball pitch training
CN108027653A (zh) 虚拟环境中的触觉交互
WO2016205143A1 (en) Gloves that include haptic feedback for use with hmd systems
CN108369478A (zh) 用于交互反馈的手部跟踪
Hirschmanner et al. Virtual reality teleoperation of a humanoid robot using markerless human upper body pose imitation
CN110363841A (zh) 一种虚拟驾驶环境中手部运动跟踪方法
CN107844195B (zh) 基于Intel RealSense的汽车虚拟驾驶应用的开发方法及系统
LEite et al. Mani-pull-action: Hand-based digital puppetry
CN107918482A (zh) 沉浸式vr系统中避免过度刺激的方法与系统
CN115337634A (zh) 一种应用于餐食游戏类的vr系统及方法
EP4235629A1 (en) Recorded physical interaction playback
CN104239119A (zh) 一种基于kinect实现电力培训仿真的方法及系统
Dhanasree et al. Hospital emergency room training using virtual reality and leap motion sensor
Chapoulie et al. Finger-based manipulation in immersive spaces and the real world
Bernardes Jr et al. Design and implementation of a flexible hand gesture command interface for games based on computer vision
CN112181139B (zh) 一种虚拟现实和混合现实的协作控制交互方法
Yusof et al. Virtual Block Augmented Reality Game Using Freehand Gesture Interaction
Kirakosian et al. Immersive simulation and training of person-to-3d character dance in real-time
Laszlo et al. Predictive feedback for interactive control of physics-based characters
Mendes Manipulation of 3d objects in immersive virtual environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086

Applicant after: Beijing Wuyi Vision digital twin Technology Co.,Ltd.

Address before: Room 307, 3 / F, public building, Mantingfangyuan community, qingyunli, Haidian District, Beijing

Applicant before: DANGJIA MOBILE GREEN INTERNET TECHNOLOGY GROUP Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: Room 315, 3rd Floor, Supporting Public Building, Mantingfangyuan Community, Qingyunli, Haidian District, Beijing 100000

Applicant after: Everything mirror (Beijing) computer system Co.,Ltd.

Address before: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086

Applicant before: Beijing Wuyi Vision digital twin Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant