CN102663197A - 一种基于运动捕获的虚拟手抓取的仿真方法 - Google Patents

一种基于运动捕获的虚拟手抓取的仿真方法 Download PDF

Info

Publication number
CN102663197A
CN102663197A CN201210115125XA CN201210115125A CN102663197A CN 102663197 A CN102663197 A CN 102663197A CN 201210115125X A CN201210115125X A CN 201210115125XA CN 201210115125 A CN201210115125 A CN 201210115125A CN 102663197 A CN102663197 A CN 102663197A
Authority
CN
China
Prior art keywords
hand
model
virtual hand
virtual
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210115125XA
Other languages
English (en)
Inventor
刘艳
杨杰凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201210115125XA priority Critical patent/CN102663197A/zh
Publication of CN102663197A publication Critical patent/CN102663197A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于运动捕获的虚拟手抓取的仿真方法,按照真实人手的生理解剖学特性,建立正确的虚拟手骨骼模型;通过虚拟手骨骼模型构建骨骼运动学模型;将骨骼运动学模型导入试验平台,根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测;根据线性弹簧模型,获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型,计算每个手指的5个抓取作用力;分别对每个手指的5个抓取作用力进行合成,获取每个手指的合力,给出合力的渲染结果;判断所述合力的渲染结果是否满足人机工程学的测试,如果是,流程结束;如果否,对相应的产品进行调整,直到产品满足人机工程学的测试。本发明缩短了产品生产周期、降低了产品的成本。

Description

一种基于运动捕获的虚拟手抓取的仿真方法
技术领域
本发明涉及虚拟现实技术领域,将虚拟现实中的虚拟手交互技术和工业产品设计中的人机工程学技术进行了结合,特别涉及一种基于运动捕获的虚拟手抓取的仿真方法。
背景技术
虚拟现实技术能够让用户像在真实世界中一样在虚拟场景中进行真实的体验,提供给用户真实的视觉和声音效果,最近几年随着触觉和力反馈的研究逐渐兴起,这将给虚拟现实的用户带来更加卓越的真实感受,综合使用运动捕获设备和力反馈设备,能够让用户在虚拟场景中抓取虚拟物体,同时手能感受到抓取时受到的作用力。
手是人体中最具灵活性的器官,人的灵活性通过手得到了完美的表达,在我们的日常生活中,无论是握手、问候、表达感情和抓取物体还是进行其它的活动,无时无处不要用到手,而抓取运动又是所有手部运动中最为复杂的运动,所以基于运动捕获的虚拟抓取的相关研究有重要的研究意义和广泛的应用前景。
在工业设计领域,人的因素得到了更多的重视。在产品设计中,无论是产品的外观设计还是功能设计,都充分考虑了人的因素。在产品的外观设计中,所设计的产品形状要符合人的生理特点,如设计一个杯子,杯子的形状要考虑到人手抓取的舒适度要求,不能某个部分过于尖锐,会导致手抓取杯子时局部受力过大,有不舒适感。在功能设计中,人的因素也得到了很大的重视,比如一个瓶子的某个部位被设计为比较粗糙的,通过在瓶子的中间部位增加一些圆点,就是为了增加手握瓶子时候的摩擦力,有利于人手更加省力的握住瓶子。当代的工业产品设计在满足了产品的基本功能的基础上,更多的考虑了使用产品的用户在使用方面、感觉舒适程度方面的因素。
发明人在实现本发明的过程中,发现现有技术中至少存在以下不足:
现有技术中只有在产品生产出来后才能对产品进行测试,根据测试结果再对产品进行修改,这样产品的生产周期很长,而且增加了产品的成本。
发明内容
本发明提供了一种基于运动捕获的虚拟手抓取的仿真方法,本发明缩短了生产周期,降低了产品的成本,详见下文描述:
一种基于运动捕获的虚拟手抓取的仿真方法,所述方法包括以下步骤:
(1)按照真实人手的生理解剖学特性,建立正确的虚拟手骨骼模型;
(2)通过虚拟手骨骼模型构建骨骼运动学模型;
(3)将骨骼运动学模型导入试验平台,根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测;
(4)根据线性弹簧模型,获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型,计算每个手指的5个抓取作用力;
(5)分别对每个手指的5个抓取作用力进行合成,获取每个手指的合力,给出合力的渲染结果;
(6)判断所述合力的渲染结果是否满足人机工程学的测试,如果是,流程结束;如果否,对相应的产品进行调整,直到产品满足人机工程学的测试。
步骤(2)中的所述通过虚拟手骨骼模型构建骨骼运动学模型具体包括:
1)对人手的运动进行合理的简化,构建人手运动学模型;
2)通过所述人手运动学模型构建虚拟手的模型;
3)通过数据手套和数据衣捕获真实人手的运动情况,将捕获数据进行计算转换,并将所述捕获数据映射到虚拟手的模型上,获取所述骨骼运动学模型,其中,所述数据手套捕获的数据含义是手指的各个关节的弯曲程度,所述数据衣捕获的数据代表了手在空间中的位置和朝向。
所述对人手的运动进行合理的简化,构建人手运动学模型具体包括:
(1)去掉肌肉、韧带、腱和皮肤,为骨骼增加肌肉和皮肤层,进行变形控制;
(2)将人手简化为一系列的关节和连接这些关节的连接杆;
(3)将整个手掌看作一个刚体,对骨骼的数量进行简化;
(4)对真实人手的自由度进行简化,建立每个自由度的角度约束;
其中,步骤(1)、步骤(2)、步骤(3)和步骤(4)之间是同时进行的。
所述扭力弹簧模型具体为:
&tau; = K t 1 ( A w - A s ) + b t 1 ( W w - W s ) , &Delta;&theta; < &Omega; 1 K t 2 ( A w - A s ) a + b t 2 ( W w - W s ) a , &Omega; 1 < &Delta;&theta; < &Omega; 2 B , &Delta;&theta; > &Omega; 2 - - - ( 2 )
所述拉伸力弹簧模型具体为:
f = K f 1 ( P w - P s ) + b f 1 ( V w - V s ) , &Delta;d < d 1 K f 2 ( P w - P s ) a + b f 2 ( V w - V s ) a , d 1 < &Delta;d < d 2 B , &Delta;d > d 2 - - - ( 3 )
其中,Kt1、Kt2、Kf1和Kf2分别是弹性系数;bt1、bt2、bf1和bf2是阻尼系数;Aw是线框手每帧的角度;As是实体手停留在物体表面时的角度;Ww和Ws分别是线框手和实体手的角速度;Δθ是实体手和场景中物体发生碰撞检测后,线框手和实体手之间产生的手指角度差异;B和a都是固定的常量参数;Ω1是非线性弹簧模型中扭力由线性变换阶段到指数缓慢变换阶段过渡的阈值;Ω2是由指数缓慢变换阶段到常数阶段的过渡阈值;Δd是实体手和线框手之间手指的位置差异;d1是非线性弹簧模型中拉伸力由线性阶段到指数缓慢变换阶段过渡的阈值;d2是由指数缓慢变换阶段到常数阶段过渡的阈值;Pw是线框手每帧的位置,Ps是实体手停留在物体表面时的位置,Vw和Vs分别是线框手和实体手的速度;
Ww=(A-Apre)/Δt    (4)
A和Apre分别是连续两帧关节的角度,Δt是一帧的时间间隔;
Vw=(P-Ppre)/Δt    (5)
P和Ppre分别是连续两帧线框手对应点的位置。
本发明提供的技术方案的有益效果是:本发明将虚拟手、虚拟抓取等相关的虚拟现实技术应用到工业设计中的人机工程测试方面,并结合特定的评价标准,通过对抓取作用力的计算,在没有力反馈设备下,得到各个手指的受力矢量箭头的视觉反馈,从而可以确定各个手指的受力程度,进而能够在工业产品的设计初期对工业产品设计的人机工程学方面进行评估测试,如果发现问题,可以及时更改设计,直到测试的产品符合要求再进行产品的生产;从而缩短了产品生产周期、降低了产品的成本,同时由于进行虚拟产品测试时充分考虑了人的因素,能够使生产出的产品更加的人性化、更加适合人的生理、心理特征,能够避免由于工具的设计不当而导致人的疾患或事故。
附图说明
图1为本发明提供的一种基于运动捕获的虚拟手抓取的仿真方法的流程图;
图2为本发明提供的人手解剖学模型的示意图;
图3为本发明提供的手的简化骨架模型的示意图;
图4为本发明提供的手指的运动自由度的示意图;
图5a为本发明提供的VRML虚拟手模型的示意图;
图5b为本发明提供的三角面片虚拟手模型的示意图;
图5c为本发明提供的Metaball虚拟手模型的示意图;
图6为本发明提供的3D模型表达的分类方法的示意图;
图7为本发明提供的线性弹簧模型的示意图;
图8a为本发明提供的两种简单形体抓取渲染受力效果图;
图8b为本发明提供的索引面片形体抓取渲染受力效果图;
图8c为本发明提供的手在运动过程中反馈作用力的动态变化的示意图;
图9为本发明提供的抓取仿真的硬件环境的示意图;
图10为本发明提供的虚拟手抓取的仿真结构图;
图11a为本发明提供的基于Novodex平台的虚拟手抓取小球并移动小球的示意图;
图11b为本发明提供的基于Novodex平台的虚拟手勾起圆环并套在手指上旋转的示意图;
图11c为本发明提供的基于Novodex平台的抓取力的视觉渲染的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了缩短了生产周期,降低了产品的成本,本发明实施例提供了一种基于运动捕获的虚拟手抓取的仿真方法,参见图1,详见下文描述:
一种基于运动捕获的虚拟手抓取的仿真方法,该方法包括以下步骤:
101:按照真实人手的生理解剖学特性,建立正确的虚拟手骨骼模型;
其中,参见图2,在计算机中要想建立合理的人手模型,并在实际应用中发挥重要的作用,就必须按照真实人手的生理解剖学特性,建立正确的虚拟手骨骼模型。
102:通过虚拟手骨骼模型构建骨骼运动学模型;
其中,该步骤具体包括:
1)对人手的运动进行合理的简化,构建人手运动学模型;
通过前面分析的手的解剖学结构和骨骼构造及运动特点,对人手的运动进行合理的简化:
(1)去掉肌肉、韧带、腱和皮肤,为骨骼增加肌肉和皮肤层,进行变形控制;
其中,由于目的是建立人手运动学模型,就只需要考虑骨骼构造,为此去掉肌肉、韧带、腱和皮肤等。为骨骼增加肌肉和皮肤层,并进行变形控制是虚拟手真实感建模中要考虑的问题。
(2)将人手简化为一系列的关节和连接这些关节的连接杆;
其中,参见图3,本发明实施例不考虑手骨骼之间的相对滑动和软组织的变形,将人手简化为一系列的关节和连接这些关节的连接杆,黑色实心小圆圈代表关节,连接黑色小圆圈之间的线段代表连接杆。人手的运动就是这些关节的转动运动,连接杆的位置决定了手的姿态。
(3)将整个手掌看作一个刚体,对骨骼的数量进行简化;
其中,本发明实施例不考虑手掌的变形,将整个手掌看作一个刚体,对骨骼的数量进行简化,所以关节数量也就进行了相应简化,从图3中可以看出关节数量由真实人手的17个简化为15个,同时由于忽略了手掌的变形,也降低了1个自由度,即手掌弧度自由度。
(4)对真实人手的自由度进行简化,建立每个自由度的角度约束。
其中,步骤(1)、步骤(2)、步骤(3)和步骤(4)之间是同时进行的,本发明实施例对此不做限制,通过步骤(1)、步骤(2)、步骤(3)和步骤(4)可以获得人手运动学模型。
从图3中可以看出,拇指画出了两个关节IP和MCP,真实人手中MCP关节有2个自由度,现将MCP自由度简化为1个,IP关节的自由度保持和真实人手一致。其余四个手指分别画出了DIP、PIP和MCP关节,这三个关节的自由度保持不变。另外,拇指和手腕连接的TM关节仍然保持2个自由度。这样一只右手的自由度(不考虑手腕的自由度,后面会介绍手腕的自由度可以通过数据衣捕获的数据进行相应的映射)就由真实人手的22个简化为20个。参见图4,远离手掌的两个关节只有弯曲动作对应的1个自由度,分别为J2F和J3F,而连接手掌的关节有关节的弯曲和关节的伸展动作,对应2个自由度,为J1F和J1A。此外,根据手的生理特点,手指的运动是有一定的范围的,每个关节并不是无限制的转动的,所以在建立的骨骼运动学模型中,各个自由度是有一定的约束的,约束的角度限制参见表1。
表1
  J1F   J2F   J3F   J1A
  拇指   -10≤angle≤30   0≤angle≤60   0≤angle≤90   -45≤angle≤45
  食指   -30≤angle≤90   0≤angle≤110   0≤angle≤90   -20≤angle≤10
  中指   -30≤angle≤90   0≤angle≤110   0≤angle≤90   -15≤angle≤15
  无名指   -30≤angle≤90   0≤angle≤110   0≤angle≤90   -10≤angle≤20
2)通过人手运动学模型构建虚拟手的模型;
其中,参见图5a、图5b和图5c,本发明实施例介绍了三种虚拟手几何外观建模方法,它们分别是:用圆柱、球等简单几何形体进行虚拟手建模、用三角面片进行虚拟手建模和用metaball进行虚拟手的几何建模。这三种方法获得的人手几何模型真实感的程度是从弱到强的,而且不同的方法各有优缺点,第一种方法缺点是视觉效果比较差,与真实人手的视觉效果相距甚远,从某种程度上看好像更像机器人的手,手指段的粗细相同。优点是建模的复杂度比较低,建模相对容易,有利于碰撞检测的计算。第二种方法建立的人手几何模型要好很多,手掌的形状更加真实,有一定的手掌弧度,手指的形状也更加真实,手指各个部分有粗细之分。但从建模的复杂程度来看,这种方法要比第一种方法复杂。由于几何形体的形状是不规则形体,碰撞检测的计算相对第一种方法来说,更加复杂一些。第三种方法建立的虚拟手模型达到了较好的视觉效果,但是计算量大。从运动学角度看,它们都是完全正确的虚拟手的模型。
3)通过数据手套和数据衣捕获真实人手的运动情况,将捕获数据进行计算转换,并将捕获数据映射到虚拟手的模型上,获取骨骼运动学模型。
其中,数据手套捕获的数据含义是手指的各个关节的弯曲程度,数据衣捕获的数据代表了手在空间中的位置和朝向。
103:将骨骼运动学模型导入试验平台,根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测;
其中,碰撞检测的目的就是在几何体(虚拟物体)已经发生碰撞或者即将发生碰撞时,报告碰撞的发生。现有技术中虽然有很多种不同的碰撞检测和碰撞反应方法,但这些方法的设计还是依赖于模型的表达方式的。在CAD/CAM及3D图形学应用中,有很多种类型的模型表达方式,参见图6,本方法采用3D模型表达的分类方法,但是在所有碰撞检测的方法中,层次包围盒是使用的比较多的一种方法,其基本想法是给每个几何模型建立一个包围盒,这个包围盒是比几何模型的体积略大的规则简单的几何模型,通过用包围盒来近似的表达复杂的几何模型,进而通过构造树状层次结构逐步逼近几何模型,直到包围盒与几何模型之间的差距可以忽略为止。
104:根据线性弹簧模型,获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型,计算每个手指的5个抓取作用力;
其中,参见图7,在反馈作用力的计算中,使用比较多的是线性弹簧模型,虚拟手用图7中的小球来表达,虚拟场景中与虚拟手交互的物体可以用一个虚拟墙来代表。
其中,线性弹簧模型具体为:
F = 0 x > x w K ( x w - x ) x &le; x w - - - ( 1 )
xw是虚拟墙的位置,x是小球的位置。
根据该线性弹簧模型的计算公式,作用力的计算结果随小球深入墙的距离是线性增加的,但在真实世界中,当手抓取一个物体时作用力的增加会随着皮肤和肌肉的形变逐渐达到一个饱和,抓取力不会无限制增加,会逐渐趋于一个常数,而且作用力和抓取力的增加并不完全是线性的,当超过一定的阈值后,呈现逐渐缓慢的趋势,因此本方法对线性弹簧模型进行扩展,提出使用非线性分段函数建弹簧模型,计算交互作用力。对于比较小的差异,使用线性函数计算,对于比较大的差异,使用常数饱和力,中间用曲线函数计算,使增加呈现逐渐缓慢的趋势,计算过程见公式2和3,其中,公式2是非线性弹簧模型中的扭力弹簧模型,公式3是非线性弹簧模型中的拉伸力弹簧模型。
&tau; = K t 1 ( A w - A s ) + b t 1 ( W w - W s ) , &Delta;&theta; < &Omega; 1 K t 2 ( A w - A s ) a + b t 2 ( W w - W s ) a , &Omega; 1 < &Delta;&theta; < &Omega; 2 B , &Delta;&theta; > &Omega; 2 - - - ( 2 )
f = K f 1 ( P w - P s ) + b f 1 ( V w - V s ) , &Delta;d < d 1 K f 2 ( P w - P s ) a + b f 2 ( V w - V s ) a , d 1 < &Delta;d < d 2 B , &Delta;d > d 2 - - - ( 3 )
其中,Kt1、Kt2、Kf1和Kf2分别是弹性系数;bt1、bt2、bf1和bf2是阻尼系数;Aw是线框手每帧的角度;As是实体手停留在物体表面时的角度;Ww和Ws分别是线框手和实体手的角速度;Δθ是实体手和场景中物体发生碰撞检测后,线框手和实体手之间产生的手指角度差异;B和a都是固定的常量参数;Ω1是非线性弹簧模型中扭力由线性变换阶段到指数缓慢变换阶段过渡的阈值;Ω2是由指数缓慢变换阶段到常数阶段的过渡阈值;Δd与Δθ类似,是实体手和线框手之间手指的位置差异;d1是非线性弹簧模型中拉伸力由线性阶段到指数缓慢变换阶段过渡的阈值;d2是由指数缓慢变换阶段到常数阶段过渡的阈值;实际计算时,Ws的取值为0。Pw是线框手每帧的位置,Ps是实体手停留在物体表面时的位置,Pw和Ps通过正向运动学方法计算得到,Vw和Vs分别是线框手和实体手的速度。
Ww=(A-Apre)/Δt    (4)
其中,A和Apre分别是连续两帧关节的角度,Δt是一帧的时间间隔。
Vw=(P-Ppre)/Δt    (5)
其中,P和Ppre分别是连续两帧线框手对应点的位置,Δt是一帧的时间间隔。
前面讨论过手的形态占据20个自由度,这20个自由度每个自由度都由非线性弹簧模型中的扭力部分来建模计算,而五个手指每个手指分别由非线性弹簧模型中的拉伸力部分建模,这样总共相当于所建立的非线性弹簧模型中总共包括20个扭力弹簧模型和5个拉伸力弹簧模型,用这些弹簧模型计算出人手每个部分的作用力,然后再对每个手指的多个作用力进行合成处理。公式(2)计算出每个关节自由度的扭力,公式(3)计算出每个手指部分的拉伸力。
105:分别对每个手指的5个抓取作用力进行合成,获取每个手指的合力,给出合力的渲染结果;
其中,参见图8a、图8b和图8c,本方法提出以视觉反馈的形式给出抓取力的结果。每个手指对应4个自由度,分别对应4个扭力弹簧模型,每个手指还有1个线性弹簧模型,所以对这5个力合成,求出每个手指的合力,并给出渲染结果。渲染结果的形式是简洁直观的,用箭头来表示力,在每个手指上画出一个箭头表示合成力的结果。
106:判断合力的渲染结果是否满足人机工程学的测试,如果是,流程结束;如果否,对相应的产品进行调整,直到产品满足人机工程学的测试。
其中,人机工程学的测试采用现有技术中通用的测试方法,本发明实施例在此不做赘述,通过对相应的产品进行调整可以及时的更改设计,从而缩短了产品生产周期、降低了产品的成本。
下面以一个具体的试验来验证本发明实施例提供的一种基于运动捕获的虚拟手抓取的仿真方法的可行性,详见下文描述:
参见图9和图10,本方法可以基于OpenInventor和Novodex仿真工具平台进行架构和实验。虚拟手建模、虚拟手与虚拟物体之间的抓取交互、碰撞检测以及抓取作用力反馈渲染都是在一台PC上实现的,该PC具有IntelPentium(R)4CPU 3.00GHz CPU,1.00GB内存。数据手套和数据衣捕获人手的运动,V8立体头盔进行立体显示,tracker头部跟踪器对头部的运动进行跟踪。
参见图8a、图8b和图8c,基于OpenInventor平台的仿真:虚拟手由VRML建立虚拟实体手和虚拟线框手层次模型,初始化的同时,虚拟实体手和虚拟线框手层次模型被导入OpenInventor的场景中,接收运动捕获处理后的数据,从而驱动实体手和线框手模型的运动,同时根据场景树的结构指定需要进行碰撞检测的场景,碰撞发生时刻,记录关节角度,根据已经建立的弹簧模型计算抓取力,并把合力的渲染结果反馈给用户。
参见图11a、图11b和图11c,基于Novodex平台的仿真:两个平台所不同的是,在OpenInventor平台下由于是启发式的抓取方法,抓取方法人为指定,所以没有物理交互效果,而且由于OpenInventor白带的碰撞检测机制的限制,实时性较差。而在Novodex平台下,仿真得到了很好的物理交互效果,而且在复杂场景模式下也能达到比较实时的交互。如果具有力反馈设备,速度基本可以满足力反馈的频率要求,同时因为虚拟手模型要导入到Novodex中进行仿真,导入手模型所选择的几何形体类型不同,获得的仿真效果是完全不同的,经过实验得出结论:为了获得更好的仿真效果,虚拟手应该以convex mesh形体导入到Novodex中。此外由于虚拟手要受到数据手套捕获的数据的完全控制(即受真实人手的运动控制),所以在物理仿真中,将其设定为kinematic类型的物体,这种物体是不受仿真控制其运动的,运动通过API形式提供给用户,运动完全由用户指定。因此最佳的实施方式是利用Novodex进行物理仿真,同时根据具体的实际情况和模型的特点对仿真中大量物理参数的进行设定,从而能够获得更好的实时仿真效果。
综上所述,本发明实施例提供了一种基于运动捕获的虚拟手抓取的仿真方法,本方法将虚拟手、虚拟抓取等相关的虚拟现实技术应用到工业设计中的人机工程测试方面,并结合特定的评价标准,通过对抓取作用力的计算,在没有力反馈设备下,得到各个手指的受力矢量箭头的视觉反馈,从而可以确定各个手指的受力程度,进而能够在工业产品的设计初期对工业产品设计的人机工程学方面进行评估测试,如果发现问题,可以及时更改设计,直到测试的产品符合要求再进行产品的生产;从而缩短了产品生产周期、降低了产品的成本,同时由于进行虚拟产品测试时充分考虑了人的因素,能够使生产出的产品更加的人性化、更加适合人的生理、心理特征,能够避免由于工具的设计不当而导致人的疾患或事故。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于运动捕获的虚拟手抓取的仿真方法,其特征在于,所述方法包括以下步骤:
(1)按照真实人手的生理解剖学特性,建立正确的虚拟手骨骼模型;
(2)通过虚拟手骨骼模型构建骨骼运动学模型;
(3)将骨骼运动学模型导入试验平台,根据3D模型表达的分类方法和层次包围盒实现虚拟手与物体之间的碰撞检测;
(4)根据线性弹簧模型,获取非线性弹簧模型中的扭力弹簧模型和拉伸力弹簧模型,计算每个手指的5个抓取作用力;
(5)分别对每个手指的5个抓取作用力进行合成,获取每个手指的合力,给出合力的渲染结果;
(6)判断所述合力的渲染结果是否满足人机工程学的测试,如果是,流程结束;如果否,对相应的产品进行调整,直到产品满足人机工程学的测试。
2.根据权利要求1所述的一种基于运动捕获的虚拟手抓取的仿真方法,其特征在于,步骤(2)中的所述通过虚拟手骨骼模型构建骨骼运动学模型具体包括:
1)对人手的运动进行合理的简化,构建人手运动学模型;
2)通过所述人手运动学模型构建虚拟手的模型;
3)通过数据手套和数据衣捕获真实人手的运动情况,将捕获数据进行计算转换,并将所述捕获数据映射到虚拟手的模型上,获取所述骨骼运动学模型,其中,所述数据手套捕获的数据含义是手指的各个关节的弯曲程度,所述数据衣捕获的数据代表了手在空间中的位置和朝向。
3.根据权利要求2所述的一种基于运动捕获的虚拟手抓取的仿真方法,其特征在于,所述对人手的运动进行合理的简化,构建人手运动学模型具体包括:
(1)去掉肌肉、韧带、腱和皮肤,为骨骼增加肌肉和皮肤层,进行变形控制;
(2)将人手简化为一系列的关节和连接这些关节的连接杆;
(3)将整个手掌看作一个刚体,对骨骼的数量进行简化;
(4)对真实人手的自由度进行简化,建立每个自由度的角度约束;
其中,步骤(1)、步骤(2)、步骤(3)和步骤(4)之间是同时进行的。
4.根据权利要求1所述的一种基于运动捕获的虚拟手抓取的仿真方法,其特征在于,所述扭力弹簧模型具体为:
&tau; = K t 1 ( A w - A s ) + b t 1 ( W w - W s ) , &Delta;&theta; < &Omega; 1 K t 2 ( A w - A s ) a + b t 2 ( W w - W s ) a , &Omega; 1 < &Delta;&theta; < &Omega; 2 B , &Delta;&theta; > &Omega; 2 - - - ( 2 )
所述拉伸力弹簧模型具体为:
f = K f 1 ( P w - P s ) + b f 1 ( V w - V s ) , &Delta;d < d 1 K f 2 ( P w - P s ) a + b f 2 ( V w - V s ) a , d 1 < &Delta;d < d 2 B , &Delta;d > d 2 - - - ( 3 )
其中,Kt1、Kt2、Kf1和Kf2分别是弹性系数;bt1、bt2、bf1和bf2是阻尼系数;Aw是线框手每帧的角度;As是实体手停留在物体表面时的角度;Ww和Ws分别是线框手和实体手的角速度;Δθ是实体手和场景中物体发生碰撞检测后,线框手和实体手之间产生的手指角度差异;B和a都是固定的常量参数;Ω1是非线性弹簧模型中扭力由线性变换阶段到指数缓慢变换阶段过渡的阈值;Ω2是由指数缓慢变换阶段到常数阶段的过渡阈值;Δd是实体手和线框手之间手指的位置差异;d1是非线性弹簧模型中拉伸力由线性阶段到指数缓慢变换阶段过渡的阈值;d2是由指数缓慢变换阶段到常数阶段过渡的阈值;Pw是线框手每帧的位置,Ps是实体手停留在物体表面时的位置,Vw和Vs分别是线框手和实体手的速度;
Ww=(A-Apre)/Δt    (4)
A和Apre分别是连续两帧关节的角度,Δt是一帧的时间间隔;
Vw=(P-Ppre)/Δt    (5)
P和Ppre分别是连续两帧线框手对应点的位置。
CN201210115125XA 2012-04-18 2012-04-18 一种基于运动捕获的虚拟手抓取的仿真方法 Pending CN102663197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210115125XA CN102663197A (zh) 2012-04-18 2012-04-18 一种基于运动捕获的虚拟手抓取的仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210115125XA CN102663197A (zh) 2012-04-18 2012-04-18 一种基于运动捕获的虚拟手抓取的仿真方法

Publications (1)

Publication Number Publication Date
CN102663197A true CN102663197A (zh) 2012-09-12

Family

ID=46772688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210115125XA Pending CN102663197A (zh) 2012-04-18 2012-04-18 一种基于运动捕获的虚拟手抓取的仿真方法

Country Status (1)

Country Link
CN (1) CN102663197A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930753A (zh) * 2012-10-17 2013-02-13 中国石油化工股份有限公司 加油站虚拟培训系统及应用
CN102929393A (zh) * 2012-10-11 2013-02-13 北京理工大学 虚拟手自动手势选择方法
CN103440037A (zh) * 2013-08-21 2013-12-11 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
CN103760967A (zh) * 2013-09-29 2014-04-30 中山大学 一种手指弯曲度avatar控制传感器件
CN104606887A (zh) * 2014-12-30 2015-05-13 北京像素软件科技股份有限公司 一种碰撞判定方法
CN105892754A (zh) * 2016-05-27 2016-08-24 北京小鸟看看科技有限公司 一种手指动作识别方法和系统
CN105945945A (zh) * 2016-05-20 2016-09-21 哈尔滨工业大学 基于人手运动功能分析的手指模块划分方法
CN105999652A (zh) * 2016-04-26 2016-10-12 珠海云智医疗科技有限公司 脑损伤双指指腹夹捏康复训练装置
CN107443374A (zh) * 2017-07-20 2017-12-08 深圳市易成自动驾驶技术有限公司 机械手操控系统及其操控方法、操控装置、存储介质
CN109116992A (zh) * 2018-08-31 2019-01-01 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统
CN109147057A (zh) * 2018-08-28 2019-01-04 北京航空航天大学 一种面向穿戴式触觉设备的虚拟手碰撞检测方法
CN109739358A (zh) * 2019-01-03 2019-05-10 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
CN111546377A (zh) * 2020-04-22 2020-08-18 哈尔滨工业大学 一种空间机械臂的快速自碰撞检测方法
US11003917B2 (en) 2013-10-17 2021-05-11 Drägerwerk AG & Co. KGaA Method for monitoring a patient within a medical monitoring area
CN113268139A (zh) * 2021-04-14 2021-08-17 佛山科学技术学院 一种面向虚拟实验的虚实物体自然交互方法和系统
WO2021195916A1 (zh) * 2020-03-31 2021-10-07 西门子股份公司 动态手部仿真方法、装置和系统
CN113703570A (zh) * 2021-08-16 2021-11-26 广东工业大学 基于vr环境的虚拟手模型构建方法及系统
CN117315375A (zh) * 2023-11-20 2023-12-29 腾讯科技(深圳)有限公司 虚拟部件分类方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000311047A (ja) * 1999-04-28 2000-11-07 Tadatoshi Goto インテリジェント型手袋型手形入力装置
WO2004114107A1 (en) * 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000311047A (ja) * 1999-04-28 2000-11-07 Tadatoshi Goto インテリジェント型手袋型手形入力装置
WO2004114107A1 (en) * 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘欣 等: "一种基于非线性弹簧模型的虚拟手交互新方法", 《中国图象图形学报》 *
孙立博 等: "面向人机工程学测试的虚拟手仿真模型", 《计算机工程》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929393B (zh) * 2012-10-11 2015-07-22 北京理工大学 虚拟手自动手势选择方法
CN102929393A (zh) * 2012-10-11 2013-02-13 北京理工大学 虚拟手自动手势选择方法
CN102930753A (zh) * 2012-10-17 2013-02-13 中国石油化工股份有限公司 加油站虚拟培训系统及应用
CN102930753B (zh) * 2012-10-17 2014-11-12 中国石油化工股份有限公司 加油站虚拟培训系统及应用
CN103440037A (zh) * 2013-08-21 2013-12-11 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
CN103440037B (zh) * 2013-08-21 2017-02-08 中国人民解放军第二炮兵工程大学 一种基于有限输入信息的虚拟人体运动实时交互控制方法
CN103760967A (zh) * 2013-09-29 2014-04-30 中山大学 一种手指弯曲度avatar控制传感器件
US11003917B2 (en) 2013-10-17 2021-05-11 Drägerwerk AG & Co. KGaA Method for monitoring a patient within a medical monitoring area
CN104606887A (zh) * 2014-12-30 2015-05-13 北京像素软件科技股份有限公司 一种碰撞判定方法
CN105999652A (zh) * 2016-04-26 2016-10-12 珠海云智医疗科技有限公司 脑损伤双指指腹夹捏康复训练装置
CN105945945A (zh) * 2016-05-20 2016-09-21 哈尔滨工业大学 基于人手运动功能分析的手指模块划分方法
CN105892754A (zh) * 2016-05-27 2016-08-24 北京小鸟看看科技有限公司 一种手指动作识别方法和系统
CN107443374A (zh) * 2017-07-20 2017-12-08 深圳市易成自动驾驶技术有限公司 机械手操控系统及其操控方法、操控装置、存储介质
CN109147057A (zh) * 2018-08-28 2019-01-04 北京航空航天大学 一种面向穿戴式触觉设备的虚拟手碰撞检测方法
CN109116992A (zh) * 2018-08-31 2019-01-01 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统
CN109116992B (zh) * 2018-08-31 2020-12-04 北京航空航天大学 一种用于虚拟手力反馈交互的碰撞响应系统
CN109739358A (zh) * 2019-01-03 2019-05-10 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
CN109739358B (zh) * 2019-01-03 2022-05-24 京东方科技集团股份有限公司 基于裸眼3d的手势碰撞检测方法及设备
WO2021195916A1 (zh) * 2020-03-31 2021-10-07 西门子股份公司 动态手部仿真方法、装置和系统
CN111546377A (zh) * 2020-04-22 2020-08-18 哈尔滨工业大学 一种空间机械臂的快速自碰撞检测方法
CN113268139A (zh) * 2021-04-14 2021-08-17 佛山科学技术学院 一种面向虚拟实验的虚实物体自然交互方法和系统
CN113703570A (zh) * 2021-08-16 2021-11-26 广东工业大学 基于vr环境的虚拟手模型构建方法及系统
CN117315375A (zh) * 2023-11-20 2023-12-29 腾讯科技(深圳)有限公司 虚拟部件分类方法、装置、电子设备及可读存储介质
CN117315375B (zh) * 2023-11-20 2024-03-01 腾讯科技(深圳)有限公司 虚拟部件分类方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN102663197A (zh) 一种基于运动捕获的虚拟手抓取的仿真方法
CN101286188B (zh) 一种虚拟仿真系统中力觉反馈的计算方法
Badler et al. Simulating humans: computer graphics animation and control
CN103400023B (zh) 软组织形变仿真方法
CN104008564B (zh) 一种人脸表情克隆方法
Zhang et al. The application of virtual reality technology in physical education teaching and training
CN102622766A (zh) 多目标优化的多镜头人体运动跟踪方法
CN102184541A (zh) 多目标优化人体运动跟踪方法
CN110289104B (zh) 软组织按压和形变恢复的模拟方法
CN105069826A (zh) 弹性物体变形运动的建模方法
CN109192030A (zh) 基于虚拟现实的真实腔镜微创手术仿真训练系统及方法
CN105045496A (zh) 一种基于关节点变换的手势交互方法
CN106408035A (zh) 基于人力触觉感知特性的力触觉再现真实感客观评价方法
CN103729879A (zh) 基于力觉计算的虚拟手稳定抓取方法
Tao et al. Human modeling and real-time motion reconstruction for micro-sensor motion capture
Yin et al. A systematic review on digital human models in assembly process planning
Portillo-Rodriguez et al. Real-time gesture recognition, evaluation and feed-forward correction of a multimodal tai-chi platform
CN107392163A (zh) 一种基于短基线立体成像的人手及其对象交互跟踪方法
Shiro et al. InterPoser: Visualizing interpolated movements for bouldering training
Yadav et al. Haptic science and technology
Mi Task-based prediction of upper body motion
Lee Biomechanical modeling and control of the human body for computer animation
Ma et al. A framework of motion capture system based human behaviours simulation for ergonomic analysis
Qi et al. Research and prospects of virtual reality systems applying exoskeleton technology
Kim et al. A perioral dynamic model for investigating human speech articulation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120912