CN108664126B - 一种虚拟现实环境下可变形手抓取交互方法 - Google Patents

一种虚拟现实环境下可变形手抓取交互方法 Download PDF

Info

Publication number
CN108664126B
CN108664126B CN201810464798.3A CN201810464798A CN108664126B CN 108664126 B CN108664126 B CN 108664126B CN 201810464798 A CN201810464798 A CN 201810464798A CN 108664126 B CN108664126 B CN 108664126B
Authority
CN
China
Prior art keywords
virtual
hand
skin
distance field
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810464798.3A
Other languages
English (en)
Other versions
CN108664126A (zh
Inventor
朱晓强
李正华
薛铭健
蓝岚
肖宁
史璇
宋磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810464798.3A priority Critical patent/CN108664126B/zh
Publication of CN108664126A publication Critical patent/CN108664126A/zh
Application granted granted Critical
Publication of CN108664126B publication Critical patent/CN108664126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种虚拟现实环境下可变形手抓取交互方法，具体包括构建并采用两层蒙皮绑定手骨骼形成虚拟3D手模型，用平滑滤波算子构建虚拟3D物体的光滑有向距离场，然后采用距离场驱动三维虚拟手接触表面的形变。本发明改变虚拟现实手柄交互的不自然及非力反馈手套识别的手部易穿透物体的缺点，通过两层蒙皮绑定虚拟3D手骨架和用等距面构建的虚拟3D物体实现交互，并用平滑算子滤除接触高频毛刺，使手部模型始终贴在被抓取物体表面以改进自然交互体验。

Description

一种虚拟现实环境下可变形手抓取交互方法
技术领域
本发明涉及计算机图形学建模和虚拟现实人机手势交互领域，特别是涉及一种虚拟现实环境下可变形手抓取交互方法。
背景技术
随着虚拟现实技术的发展和普及，基于视觉的手势识别技术已成为手势交互领域内的研究热点之一。手势交互是利用计算机图形学等技术识别人手静动态信息并转化为命令来操作设备，弥补鼠标、键盘和触屏等人机交互方式不自然的缺点。然而目前国内外对这一方面的研究均有一定的缺陷，比如：利用最大似然准则Hausdorff距离的方法和多分辨率搜索策略较好地识别字母手势(参见何力,傅忠谦,顾理.一种基于最大似然Hausdorff距离的手势识别算法[J].电子技术,2010,47(5))，但是对于发生变形(旋转和缩放)的手势效果不好。通过图像特征提取和多类支持向量机可对手势较好地识别，但由于SIFT算法的计算复杂度导致识别速度较慢，实时性差(参见张秋余,王道东,张墨逸等.基于特征包支持向量机的手势识别[J].计算机应用,2012,32(12):3392-3396)。
Leap Motion是面向PC和Mac的体感控制器制造公司Leap研发的专门识别手并进行手势交互的体感控制器。其优势在于能够直接获取一些关于手的静态、动态信息，缺陷在于封装了识别方法和过程自身的封闭性及其提供信息的局限性的影响，难以直接通过这些信息完整地估计手的姿态，必须借助以下两种基于视觉的人手姿态估计方法：一、基于表观，通过机器学习从二维图像特征空间到三维人手姿态空间建立映射来估计人手的状态；二、基于模型，把人手三维模型投影到二维图像空间，通过特征比较和数据估算修正三维模型中估计的姿态参数。
为增强VR环境下手势交互的直观性，需构建可变形手抓取系统。虚拟现实眼镜暴风魔镜与全球领先的科技公司Leap Motion进行深度合作，在原有的暴风魔镜中内置LeapMotion,开发出世界首项基于移动虚拟现实的3D动态手势识别追踪技术，与PC相比功耗更低、更便捷。可实时追踪手部22个关键点，26个自由度,可以完全模拟手部的各个动作(参见胡弘,晁建刚,杨进等.Leap Motion关键点模型手姿态估计方法[J],计算机辅助设计与图形学报,2015,27(7):1211-1216)。
本发明拟通过构建虚拟3D手骨架以及用两层蒙皮(第一层用于骨骼绑定的隐藏层，第二层用于变形的显示层)的特殊方式驱动3D手模型，同时采用等距面构建虚拟3D物体(参见一种基于卷积曲面的头戴设备虚拟现实环境下生成可直接三维打印的建模系统ZhuX.,Song L.,You L.,et al.Brush2Model:Convolution surface‐based brushes for 3Dmodelling in head‐mounted display‐based virtual environments[J].ComputerAnimation&Virtual Worlds,2017,28(3-4))。此外采用基于骨架半径的滤波策略(参考Mathieu S.,Oleg F.,Pierre-Alain F.,et al.Convolution Filtering of ContinuousSigned Distance Fields for Polygonal Meshes.Computer Graphics Forum 34(6):277-288(2015))去除非连续变化的距离场后有效生成处处光滑的距离场。既可避免虚拟3D手指穿透虚拟3D物体，又给用户在虚拟环境中更直观、自然3D手虚拟抓取效果，从而增强虚拟交互性和真实感。
发明内容
本发明目的为提出涉及一种虚拟现实环境下可变形手抓取交互方法。该方法主要构建两层蒙皮方式绑定虚拟3D手骨骼，并与基于距离场构建的虚拟3D物体接触交互，使虚拟3D手模型始终贴在被抓取虚拟3D物体表面，同时用平滑滤波算子滤掉距离场不够光滑的过渡区域来避免虚拟3D手模型形变产生凹凸现象，从而提高虚拟现实的交互体验和沉浸感。
为达到上述目的，本发明采用如下技术方案：
一种虚拟现实环境下可变形手抓取交互方法，包括以下步骤：
1)构建虚拟3D手模型；
2)基于距离场构建虚拟3D物体C；
3)Leap Motion采集帧数据驱动虚拟3D手模型；
4)平滑滤波虚拟3D手模型有向距离场；
5)3D虚拟手与虚拟3D物体C交互。
所述步骤1)中按照如下方式进行构建虚拟3D手模型：首先根据手部几何模型，建立虚拟3D手骨架，然后根据位置及旋转角实时保持相同的两层蒙皮的特殊方式绑定虚拟3D手骨骼形成虚拟3D手模型，其中，两层蒙皮为蒙皮A和蒙皮B，蒙皮A为绑定的隐式层，B为不绑定的显式层。
所述步骤2)中按照如下方式进行基于距离场构建虚拟3D物体C：分别对三维空间中的复杂多组件物体中的点、线、面骨架计算可变权重距离场，再对多组件的距离场进行混合加、布尔减运算生成复杂距离场，用基于骨架半径的低通滤波有效地生成处处连续变化的复杂物体的距离场C。
所述步骤3)中根据Leap Motion的API提供的关于度量位置和手、手指的实体信息的快照运动追踪数据库，从控制器通过摄像头捕获含追踪信息的一帧数据。
所述步骤4)中平滑滤波是采用5×5×5精度低通滤波模板进行离散距离场滤波，按照以下方式进行：
选取接触部分空间中P点紧密围绕的125点，其中边界处点特殊处理，依照“离P点越近权值越高”的原则对应的函数如下：
Figure BDA0001661777140000031
式中DistFeildp表示周围125个点，包括P点，对P点势能距离场影响权值，wi表示第i个点对P点的权重系数，DistFeildi表示第i个点对P点的势能距离场影响权值。
所述步骤5)中所述的交互对应如下：
蒙皮B上点fi(xi,yi,zi)距离虚拟3D物体C的距离为di，默认虚拟3D物体C提取的等距面的阈值为X＝0，当虚拟3D手模型未接触或者刚好接触虚拟3D物体C时，设蒙皮A与蒙皮B所有点空间位置和旋转方向实时相等，即当di≥X，令A＝B；当手接触并陷入虚拟3D物体C时，即当di＜X，令di＝X，求解蒙皮B上的fi(xi,yi,zi)，得到虚拟3D手模型顶点变形后的位置，对应的函数表达式如下：
Figure BDA0001661777140000032
式中fi(xi,yi,zi)表示蒙皮B上空间中的i点坐标，Fai(xi,yi,zi)表示蒙皮A上空间中的i点坐标，Fci(xi,yi,zi)表示虚拟3D物体C中与蒙皮B接触的部分空间中的i点坐标，从而实现虚拟3D手模型与虚拟3D物体的自然交互。
与现有技术相比，本发明具有如下突出的实质性特点和显著的优点如下：
本发明提高了现有Oculus Rift和Htc Vive等相对比较成熟的虚拟现实头盔显示设备中手柄交互、输入方式的不直接自然的不足以及Leap Motion和诺亦腾公司的非力反馈手套识别的手部动画，在虚拟现实环境中容易穿透被抓取的物体的缺点。本发明实时交互，算法明确，自然变形，提高虚拟现实的交互体验。
附图说明
图1是本发明方法对应的流程示意图。
图2是两层蒙皮绑定虚拟3D手骨架对应的示意草图。
图3是虚拟3D手未接触虚拟3D物体对应的示意图。
图4(a)是虚拟3D手接触并陷入虚拟3D物体变形前对应的示意图。
图4(b)是虚拟3D手接触并陷入虚拟3D物体变形后对应的示意图。
具体实施方式
下面结合附图对本发明方法通过实施例进行详细说明。
如图1所示，本发明提出了一种虚拟现实环境下可变形手抓取交互方法，主要包括构建并采用两层蒙皮绑定手骨骼形成虚拟3D手模型，用平滑滤波算子构建虚拟3D物体的光滑有向距离场，然后采用距离场驱动虚拟3D手模型接触表面的形变。具体步骤如下：
1)构建虚拟3D手模型；
首先根据手部几何模型，在3D动画编辑软件，如Maya中建虚拟3D手骨架。然后根据位置及旋转角实时保持相同的两层蒙皮(蒙皮A和蒙皮B)的特殊方式(蒙皮A为绑定的隐式层，蒙皮B为不绑定的显式层)绑定虚拟3D手骨骼形成虚拟3D手模型，如图2所示，白色为蒙皮B，外围黑色轮廓为蒙皮A。
2)基于距离场构建虚拟3D物体C；
在三维渲染引擎如Unity中，分别对三维空间中的复杂多组件物体中的点、线、面骨架计算可变权重距离场，再对多组件的距离场进行混合加、布尔减等运算生成复杂距离场，用基于骨架半径的低通滤波有效地生成处处连续变化的复杂物体的距离场C。
3)Leap Motion采集帧数据驱动虚拟3D手模型；
根据Leap Motion的API提供的关于度量位置和手、手指的实体信息的快照运动追踪数据库，可以从控制器通过摄像头捕获含追踪信息的一帧数据。由于三维渲染引擎(如Unity)的帧速率和Leap Motion的帧速率不同，采用轮询的方法：将已保存的处理过的帧ID与当前的帧ID比较来检测当前帧是否为已处理的帧；在历史缓存中访问由三维渲染引擎(如Unity)帧速率过快导致丢失的帧；用回调获取多线程中的独立数据来防止由于任务过多导致数据帧不能加入历史缓存中。再从数据帧中获取数据得到追踪的手和手指实体，由手掌坐标获取手的坐标，由运动速度获取运动的属性，由运动因子获取一只手在两帧时的位移、旋转和缩放值的变化，同时由当前的ID获取关联的手指，从获取到的帧数据来驱动已绑定好的虚拟3D手模型。
4)平滑滤波虚拟3D手模型有向距离场
由于蒙皮B有向距离场驱动变形时取离散的点集，导致虚拟3D手模型与虚拟3D物体接触时，接触部位出现锯齿和凹凸不平的现象，因此采用5×5×5精度低通滤波模板进行离散距离场滤波。选取接触部分空间中P点紧密围绕的125点(边界处点特殊处理)，依照“离P点越近权值越高”的原则对应的函数如下：
Figure BDA0001661777140000051
式中DistFeildp表示周围125个点(包括P点)对P点势能距离场影响权值，wi表示第i个点对P点的权重系数，DistFeildi表示第i个点对P点的势能距离场影响权值。
通过平滑算子低通滤波后，实现接触部分的变形过渡自然。
5)3D虚拟手与虚拟3D物体C交互；
设蒙皮B上点fi(xi,yi,zi)距离虚拟3D物体C的距离为di。当虚拟3D手模型未接触或者刚好接触虚拟3D物体C时，如图3所示，A表示绑定的隐式层蒙皮A，B表示不绑定的显式层蒙皮B，C表示由两个球与线段组成的复杂虚拟3D物体，X表示C提取的等距面的阈值，默认为0，Fai(x,y,z)表示蒙皮A上空间中的i点坐标，Fci(x,y,z)表示虚拟3D物体C空间中的i点坐标。设蒙皮A与蒙皮B所有点空间位置和旋转方向实时相等，即当di≥X，令A＝B，蒙皮B上的fi(xi,yi,zi)对应的函数表达式如下：
fi(xi,yi,zi)＝Fai(x,y,z)
当手接触并陷入虚拟3D物体C时，如图4(a)所示，A表示绑定的隐式层蒙皮A，B表示不绑定的显式层蒙皮B，C表示由两个球与线段组成的复杂虚拟3D物体，X表示C提取的等距面的阈值，di表示蒙皮B上点fi(xi,yi,zi)距离虚拟3D物体C质心O(x0,y0,z0)的距离，Fai(x,y,z)表示蒙皮A上空间中的i点坐标，Fci(x,y,z)表示虚拟3D物体C空间中的i点坐标。当di＜X，令di＝X，如图4(b)所示，蒙皮B上的fi(xi,yi,zi)应的函数表达式如下：
fi(xi,yi,zi)＝Fci(x,y,z)
综上两种情况，得到虚拟3D手模型顶点变形后的位置对应的函数表达式如下：
Figure BDA0001661777140000052
式中fi(xi,yi,zi)表示蒙皮B上空间中的i点坐标，Fai(xi,yi,zi)表示蒙皮A上空间中的i点坐标，Fci(xi,yi,zi)表示虚拟3D物体C中与蒙皮B接触的部分空间中的i点坐标。

Claims (4)

1.一种虚拟现实环境下可变形手抓取交互方法，其特征在于，包括以下步骤：
1)构建虚拟3D手模型；
2)基于距离场构建虚拟3D物体C；
3)LeapMotion采集帧数据驱动虚拟3D手模型；
4)平滑滤波虚拟3D手模型有向距离场；
5)3D虚拟手与虚拟3D物体C交互；
所述的交互对应如下：
蒙皮B上点fi(xi,yi,zi)距离虚拟3D物体C的距离为di，默认虚拟3D物体C提取的等距面的阈值为X＝0，当虚拟3D手模型未接触或者刚好接触虚拟3D物体C时，设蒙皮A与蒙皮B所有点空间位置和旋转方向实时相等，即当di≥X，令A＝B；当手接触并陷入虚拟3D物体C时，即当di＜X，令di＝X，求解蒙皮B上的fi(xi,yi,zi)，得到虚拟3D手模型顶点变形后的位置，对应的函数表达式如下：
Figure FDA0002946230700000011
式中fi(xi,yi,zi)表示蒙皮B上空间中的i点坐标，Fai(xi,yi,zi)表示蒙皮A上空间中的i点坐标，Fci(xi,yi,zi)表示虚拟3D物体C中与蒙皮B接触的部分空间中的i点坐标，从而实现虚拟3D手模型与虚拟3D物体的自然交互；
根据手部几何模型，在3D动画编辑软件，如Maya中建虚拟3D手骨架， 然后根据位置及旋转角实时保持相同蒙皮A和蒙皮B的特殊方式绑定虚拟3D手骨骼形成虚拟3D手模型，白色为蒙皮B，外围黑色轮廓为蒙皮A,蒙皮A为绑定的隐式层，蒙皮B为不绑定的显式层。
2.根据权利要求1所述的虚拟现实环境下可变形手抓取交互方法，其特征在于，所述步骤2)中按照如下方式进行基于距离场构建虚拟3D物体C：分别对三维空间中的复杂多组件物体中的点、线、面骨架计算可变权重距离场，再对多组件的距离场进行混合加、布尔减运算生成复杂距离场，用基于骨架半径的低通滤波有效地生成处处连续变化的复杂物体的距离场C。
3.根据权利要求1所述的虚拟现实环境下可变形手抓取交互方法，其特征在于，所述步骤3)中根据LeapMotion的API提供的关于度量位置和手、手指的实体信息的快照运动追踪数据库，从控制器通过摄像头捕获含追踪信息的一帧数据。
4.根据权利要求1所述的虚拟现实环境下可变形手抓取交互方法，其特征在于，所述步骤4)中平滑滤波是采用5×5×5精度低通滤波模板进行离散距离场滤波，按照以下方式进行：
Figure FDA0002946230700000021
选取接触部分空间中P点紧密围绕的125点，其中边界处点特殊处理，依照“离P点越近权值越高”的原则对应的函数如下：
式中DistFeildp表示周围125个点，包括P点，对P点势能距离场影响权值，wi表示第i个点对P点的权重系数，DistFeildi表示第i个点对P点的势能距离场影响权值。
CN201810464798.3A 2018-05-16 2018-05-16 一种虚拟现实环境下可变形手抓取交互方法 Active CN108664126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810464798.3A CN108664126B (zh) 2018-05-16 2018-05-16 一种虚拟现实环境下可变形手抓取交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810464798.3A CN108664126B (zh) 2018-05-16 2018-05-16 一种虚拟现实环境下可变形手抓取交互方法

Publications (2)

Publication Number Publication Date
CN108664126A CN108664126A (zh) 2018-10-16
CN108664126B true CN108664126B (zh) 2021-06-04

Family

ID=63779502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810464798.3A Active CN108664126B (zh) 2018-05-16 2018-05-16 一种虚拟现实环境下可变形手抓取交互方法

Country Status (1)

Country Link
CN (1) CN108664126B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753153B (zh) * 2018-12-26 2020-05-22 浙江大学 用于360°悬浮光场三维显示系统的触觉交互装置及方法
CN112379771A (zh) * 2020-10-10 2021-02-19 杭州翔毅科技有限公司 基于虚拟现实的实时交互方法、装置、设备及存储介质
CN113703570B (zh) * 2021-08-16 2023-01-31 广东工业大学 基于vr环境的虚拟手模型构建方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050062744A1 (en) * 2002-06-28 2005-03-24 Microsoft Corporation Methods and system for general skinning via hardware accelerators
CN102722249A (zh) * 2012-06-05 2012-10-10 上海鼎为软件技术有限公司 操控方法、操控装置及电子装置
CN103679783A (zh) * 2013-10-18 2014-03-26 中国科学院自动化研究所 基于几何变形的三维动画角色模型皮肤变形方法
CN103729879A (zh) * 2013-12-20 2014-04-16 浙江大学 基于力觉计算的虚拟手稳定抓取方法
CN105302972A (zh) * 2015-11-05 2016-02-03 北京航空航天大学 一种基于元球模型的软组织形变方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050062744A1 (en) * 2002-06-28 2005-03-24 Microsoft Corporation Methods and system for general skinning via hardware accelerators
CN102722249A (zh) * 2012-06-05 2012-10-10 上海鼎为软件技术有限公司 操控方法、操控装置及电子装置
CN103679783A (zh) * 2013-10-18 2014-03-26 中国科学院自动化研究所 基于几何变形的三维动画角色模型皮肤变形方法
CN103729879A (zh) * 2013-12-20 2014-04-16 浙江大学 基于力觉计算的虚拟手稳定抓取方法
CN105302972A (zh) * 2015-11-05 2016-02-03 北京航空航天大学 一种基于元球模型的软组织形变方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"A Digital Hand to Mimic Human Hand in Real Time Operation";Hiroshi Hashimoto et al.;《International Conference on Computer Graphics Theory and Applications》;20161231;第99-104页 *
"Convolution Filtering of Continuous Signed Distance Fields for Polygonal Meshes";Mathieu S et al.;《Computer Graphics Forum》;20151231;第34卷(第6期);第277-288页 *
"基于蒙皮骨骼的虚拟手交互碰撞模拟方法";李懿等;《浙江大学学报（工学版）》;20140131;第48卷(第1期);第105-112页 *
"头戴设备VR环境下基于网格变形的交互雕刻建模";朱晓强等;《浙江大学学报（工学版）》;20180331;第52卷(第3期);第599-604页 *

Also Published As

Publication number Publication date
CN108664126A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
US11687230B2 (en) Manipulating 3D virtual objects using hand-held controllers
Jiang et al. Gesture recognition based on skeletonization algorithm and CNN with ASL database
Wang et al. Real-time hand-tracking with a color glove
Garg et al. Vision based hand gesture recognition
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
CN108664126B (zh) 一种虚拟现实环境下可变形手抓取交互方法
Demirdjian et al. 3-d articulated pose tracking for untethered diectic reference
Schlattman et al. Simultaneous 4 gestures 6 dof real-time two-hand tracking without any markers
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN107632699A (zh) 基于多感知数据融合的人机自然交互系统
CN111639531A (zh) 一种基于手势识别的医学模型交互可视化方法及系统
Liang et al. Bare-hand depth perception used in augmented reality assembly supporting
Olsen et al. A Taxonomy of Modeling Techniques using Sketch-Based Interfaces.
CN104820584B (zh) 一种面向层次化信息自然操控的3d手势界面的构建方法及系统
CN111796708A (zh) 一种在触摸屏上再现图像三维形状特征的方法
Cohen et al. A 3d virtual sketching system using NURBS surfaces and leap motion controller
CN115494938A (zh) 非接触式交互方法及装置
Chaudhary Finger-stylus for non touch-enable systems
CN115481489A (zh) 基于增强现实的白车身与生产线适配性验证系统及方法
Xu et al. A novel multimedia human-computer interaction (HCI) system based on kinect and depth image understanding
Shi et al. A real-time bimanual 3D interaction method based on bare-hand tracking
Jiang et al. A brief analysis of gesture recognition in VR
Humberston et al. Hands on: interactive animation of precision manipulation and contact
Choi et al. A study on providing natural two-handed interaction using a hybrid camera
Wang Real-time hand-tracking as a user input device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant