CN103729879A - 基于力觉计算的虚拟手稳定抓取方法 - Google Patents

Abstract

本发明公开了一种基于力觉计算的虚拟手稳定抓取方法，包括如下步骤：步骤1，输入模型信息，包括虚拟手网格模型以及对应的运动骨骼模型；步骤2，由模型信息获取一次三维规则网格，并构建虚拟手耦合模型；步骤3，驱动虚拟手耦合模型运动，实时检测虚拟手耦合模型中的柔体部分是否发生碰撞，碰撞时记录碰撞过程中柔体部分的位移差，根据位移差计算柔体部分的软硬度参数以及碰撞完成时刻的姿态并进入步骤4；步骤4，根据软硬度参数以及一次三维规则网格得到抓取稳定时的二次三维规则网格；步骤5，通过自由变形算法将二次三维规则网格传递给虚拟手耦合模型，得到抓取稳定的虚拟手。本发明方法虚拟手抓取方法具有很强的真实感、实时性和稳定性。

Description

基于力觉计算的虚拟手稳定抓取方法

技术领域

本发明涉及虚拟手运动建模领域及虚拟手抓取领域，尤其涉及一种基于力觉计算的虚拟手稳定抓取方法。

背景技术

目前，虚拟手交互技术作为虚拟现实技术的重要组成部分，是实现自然高效的人机交互所必须的一种新型的人机交互；虚拟手交互技术的核心是强调人通过虚拟手与虚拟环境进行交互操作，用户通过相应的软硬件设备对虚拟手进行实时操控，并与虚拟环境中的物体进行交互，复制人手的真实感受，模拟人手的真实动作，给人一种沉浸其中的真实感觉。在此过程中，交互操作的实时性、准确性与真实性都直接影响着用户交互体验的沉浸感与真实感。虚拟手交互技术是一门多学科交叉的新技术，涉及到虚拟手建模技术、虚拟手三维位置跟踪技术、虚拟手手势动作采集技术、虚拟手变形技术等，随着计算机科学技术的高速发展，虚拟手交互技术将具有更广阔的应用前景，目前已经在游戏娱乐、工程仿真、军事演戏、医疗模拟等很多领域都发挥着重要作用。

虚拟手抓取交互可以使虚拟手与虚拟场景中的三维物体之间发生实质性的交互，更逼近真实世界中的人手和物体的真实交互，而且如果将日常生活中获得的经验技能直接应用到虚拟手与虚拟场景的交互过程中，不仅可以增强交互的真实性，还将大大提高计算机的可操作性。

近年来，无论是在游戏娱乐领域，还是在医疗领域，都急切需要真实高效的虚拟手抓取交互建模技术。传统的抓取算法存在真实感不足或实时性差等缺陷，而且很难实现稳定抓取，也就模拟不出真实人手的抓取效果。因此，如何在实时性的前提下模拟真实感很强的具有稳定抓取特性的虚拟手交互技术是虚拟手技术研究的重要课题。

公开号为102930599A的专利文献提出了一种基于双四元数的手运动的三维模拟方法，包括如下步骤：(1)输入待建模的虚拟手网格模型及其对应的运动骨骼模型；(2)确定虚拟手网格模型中各顶点初始位置以及各顶点的法线；(3)计算运动骨骼模型中每个关节点的双四元数；(4)针对虚拟手网格模型中每一个顶点查找与其相绑定的骨骼所对应的双四元数并赋以各自的权重值，再计算线性混合后的双四元数；(5)单位化线性混合后的双四元数；(6)计算所有顶点变形后的顶点位置及法线，对手进行三维模拟。该专利文献通过计算单位化线性混合后的双四元数，重新计算顶点变形后的位置和法线并对手进行三维模拟，使虚拟手具有更强的运动及视觉真实感，避免了裹糖纸、塌陷等现象。

然而该问题未解决虚拟手抓取物体的变形问题。在此基础上，如何进行虚拟手的物体抓取的模拟成为需要解决的问题。

发明内容

本发明方法利用具有实时性与稳定性的双四元数蒙皮算法驱动人手运动，并利用OpenCCD碰撞检测算法实时检测整个抓取过程，最后快速求和算法提高整个匹配与抓取的实时性。

本发明提供了一种基于力觉计算的虚拟手稳定抓取方法，包括如下步骤：

步骤1，输入模型信息，包括虚拟手网格模型以及对应的运动骨骼模型；

步骤2，由模型信息获取一次三维规则网格，并构建虚拟手耦合模型；

步骤3，驱动虚拟手耦合模型运动，利用碰撞检测算法实时检测虚拟手耦合模型中的柔体部分是否发生碰撞，在碰撞时记录碰撞过程中柔体部分的位移差以及碰撞完成时刻虚拟手耦合模型的姿态，根据位移差计算柔体部分的软硬度参数并进入步骤4；

步骤4，根据软硬度参数以及一次三维规则网格得到抓取稳定时的二次三维规则网格；

步骤5，通过自由变形算法将二次三维规则网格传递给处于碰撞完成时刻姿态的虚拟手耦合模型，即得到抓取稳定的虚拟手。

步骤1中的虚拟手网格模型、对应的运动骨骼模型以及步骤2中的一次三维规则网格通过蒙皮算法进行绑定构成虚拟手耦合模型。

根据人手的解剖结构以及运动学分析，本发明将人手结构进行了简化，将手部骨骼简化为20块，不仅具有运动真实感，还易于操作，利用蒙皮算法把两者结合在一起仿真人手运动。

在碰撞发生前，一次三维规则网格随着整个虚拟手耦合模型运动而运动。

所述一次三维规则网格通过对柔体部分进行光栅化处理得到，其中，柔体部分为虚拟手网格模型中手掌内侧手指部分。

本发明模拟的是手指的抓取，对于抓取物体，只有手掌内侧的手指面才会与物体接触。因此，本发明把虚拟手网格模型中掌侧手指部分（即手掌内侧手指部分）看作柔体部分，该部分能完成对物体的稳定抓取，并根据抓取力度的大小，实现与物体接触面的形状匹配。

在步骤3中，通过双四元数来驱动虚拟手耦合模型运动。通过蒙皮算法将运动骨骼模型与虚拟手网格模型绑定，会产生裹糖纸、塌陷等现象，通过采用双四元数驱动虚拟手耦合模型运动，使虚拟手具有更强的运动及视觉真实感，避免了裹糖纸、塌陷等现象。

在步骤3中，碰撞过程中柔体部分的位移差计算方法为：

设碰撞发生时刻为t_k，碰撞完成时刻为t_d+t_k，则位移差Collision_moveoff计算公式为：

式中，v_i为t_d+t_k时刻第i个碰撞点的位置，v_i'为t_k时刻第i个碰撞点的位置。

在虚拟手进行抓取时，虚拟手耦合模型中的柔体部分发生形变，柔体部分中的顶点与被抓取的物体发生碰撞，其中碰撞点是指柔体部分中发生碰撞的各个顶点。

根据位移差计算柔体部分的软硬度参数的步骤如下：

（a）由位移差Collision_moveoff计算出碰撞力f_ext的大小，计算公式为：f_ext=μ*Collision_moveoff，其中μ由用户设定，取值范围为1.0至1.5；

（b）根据碰撞力f_ext以及碰撞点个数n，计算出平均碰撞力f_avg，计算公式为： $f_{\mathrm{avg}}=\frac{1}{n}\mathrm{\Σ}\left|f_{\mathrm{ext}}\right|;$

（c）根据平均碰撞力f_avg，计算出柔体部分的软硬度参数ω，计算公式为：ω=round（f_avg/f_max）+1，

式中，f_max为由用户设定的最大碰撞力，取值范围为40到60。

为了获取具有视觉真实感的稳定抓取，就需要模拟人手与被抓物体接触面的形状匹配以及人手在抓取力度下的形变。同时人手的形变是有一定局限的，在抓取力度达到一定值时，形变很小，可以忽略，本发明设定该抓取力为f_max。

在步骤4中，得到二次三维规则网格的步骤为：

步骤4-1，根据ω的值计算一次三维规则网格每个网格顶点的局部刚性区域；

步骤4-2，将局部刚性区域进行形状匹配，得到二次三维规则网格。

步骤4-1中，网格顶点的局部刚性区域的计算方法为：

将待计算的网格顶点作为起始网格顶点，由所述起始网格顶点出发，在不超过ω环邻域范围内所经过的所有网格顶点组成了所述起始网格顶点的ω环邻域集，该ω环邻域集为所述起始网格顶点的局部刚性区域。

其中ω环邻域的领域半径ω为步骤3所得的软硬度参数。

步骤4-2中将局部刚性区域进行形状匹配的步骤如下：

步骤4-21，计算出每个网格顶点的局部刚性区域的变化量

其中R_r为局部刚性区域，v_i表示局部刚性区域内第i个网格顶点的位置坐标，m_i为v_i的权重值，m_i=¹/_|vvi|，其中|vv_i|为网格顶点与其局部刚性区域内的第i个网格顶点之间的距离，v为网格顶点的位置坐标，如果|vv_i|=0，则m_i=1；

步骤4-22，根据变化量找出最优转换矩阵

式中，T_r为最优转换矩阵，M_r为该局部刚性区域内所有网格顶点的权重值之和;

步骤4-23，根据最优转换矩阵求出每个网格顶点的最终位置g，则所有网格顶点的最终三维位置的集合即为所述二次三维规则网格，其中每个顶点的最终位置g的计算公式为：g=T_rv，其中v为网格顶点的位置坐标。

其中，m_i权重值的取值范围在0～1之间。v所对应的网格顶点为一次三维规则网格中任意的网格顶点，v_i所对应的的网格顶点为局部刚性区域内的网格顶点。

步骤5中，通过自由变形算法FFD传递二次三维规则网格的计算方法为：

将二次三维规则网格中每个网格单元作为一个FFD块，FFD块的控制点在t_d+t_k时刻的位置坐标为P_ijk，其中i，j和k为位置坐标中的坐标元素，该控制点所对应的网格顶点的位置坐标v；

在变形完成时刻，由FFD块的控制点坐标信息得到FFD块中柔体部分的各个网格顶点v'的位置坐标v'(s,t,u)，表达式如下：

$v^{\′}(s,t,u)=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}\underset{k=0}{\overset{1}{\mathrm{\Σ}}}{B}_{i,1}\left(s\right)B_{j,1}\left(t\right)B_{k,1}\left(u\right)P_{\mathrm{ijk}}^{\′},$

式中，P'_ijk为FFD块中的控制点在变形完成时的位置，即g=T_rv计算出来的最终位置g，B_i,1(s)、B_j,1(t)、B_k,1(u)为对应坐标元素的Bernstein基函数。

二次三维规则网格中的每一个网格单元相当于一个FFD块，FFD块发生形变，也就带动FFD块内的柔体部分发生形变，实现形状匹配的转移，也就实现了柔体部分对物体的稳定抓取，即整个虚拟手耦合模型对物体的稳定抓取。

本发明方法的虚拟手抓取方法具有很强的真实性、实时性和稳定性，避免了现有技术虚拟手运动过程中的“裹糖纸”和塌陷现象。

附图说明

图1a为本发明实施例中的虚拟手网格模型；

图1b为该实施例中虚拟手网格模型所对应的运动骨骼模型；

图1c为该实施例中虚拟手耦合模型的柔体部分；

图1d为该实施例中的一次三维规则网格；

图2a至图2e为该实施例利用本发明方法的第一运动序列效果图；

图3a至图3e为该实施例利用本发明方法的第二运动序列效果图；

图4a为该实施例利用本发明方法抓取物体时在碰撞时刻的效果图；

图4b为该实施例利用本发明方法抓取物体时稳定抓取时刻效果图对比图；

图5为本发明方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步描述：

如图5流程图所示，一种基于力觉计算的虚拟手稳定抓取方法，包括以下步骤：

步骤1，输入待建模的虚拟手网格模型及其对应的运动骨骼模型。

虚拟手网格模型如图1a所示，利用细分曲面构建虚拟手网格模型，由于细分曲面独特的特征，使得虚拟手网格模型具有很高的视觉真实感。同时根据人手的生理解剖结构，且根据实时稳定抓取的需要与要求，提出了简化的虚拟手运动学模型。图1b为对应的运动骨骼模型。

步骤2，设定虚拟手网格模型中掌侧手指为柔体部分（图1c），对柔体部分进行光栅化处理，获取包裹柔体部分的一次三维规则网格，如图1d所示。虚拟手网格模型、运动骨骼模型以及一次三维网格通过蒙皮算法构成虚拟手耦合模型。

本发明利用光栅化处理，把柔体部分嵌入到三维规则网格中，所得到的最初状态三维网格为一次三维规则网格。在发生碰撞之前，一次三维规则网格随着整个虚拟手耦合模型的运动而运动。图2a至图2e以及图3a至图3e为本发明方法运动序列效果图。

步骤3，驱动虚拟手耦合模型运动，利用碰撞检测算法实时检测虚拟手耦合模型中的柔体部分是否发生碰撞，在发生碰撞时记录碰撞过程中柔体部分的位移差，根据位移差计算柔体部分的软硬度参数并进入步骤4；未发生碰撞时继续进行检测。

虚拟手耦合模型的运动是基于骨骼驱动的，整个虚拟手耦合模型都在双四元数蒙皮算法下驱动下慢慢抓向物体。连续碰撞检测算法OpenCCD实时检测虚拟手耦合模型中的柔体部分是否与物体发生碰撞，当发生碰撞时，记录下碰撞时开始时刻t_k虚拟手耦合模型的姿态Ψ_k，以及经过t_d时刻后整个虚拟手耦合模型所处的姿态Ψ_d从而得到位移差Collision_moveoff，计算公式如下：

其中，v_i为Ψ_d姿态下的柔体部分中碰撞点（即发生碰撞的顶点）的位置坐标，为Ψ_k姿态下的柔体部分碰撞点的位置坐标。

根据位移差Collision_moveoff，利用以下公式计算出碰撞力f_ext：

f_ext=μ*Collision_moveoff

其中，μ为设定值，由用户根据实际情况进行设定，本发明实施例中取值为1.25，取值越大则碰撞力随位移差的变化越大。

根据碰撞力可得到平均碰撞力，计算公式如下：

$f_{\mathrm{avg}}=\frac{1}{n}\mathrm{\Σ}\left|f_{\mathrm{ext}}\right|;$

其中，n为柔体部分的碰撞点个数。

根据所得平均碰撞力以及预设的最大碰撞力f_max，可得到柔体部分的软硬度参数ω：ω=round(f_avg/f_max)+1，其中本发明实施例中f_max取值为50。

步骤4，根据软硬度参数ω和一次三维规则网格，利用快速求和算法计算获得抓取稳定后的二次三维规则网格。

步骤4-1，根据步骤3得到的软硬度参数ω的值计算一次三维规则网格每个顶点的局部刚性区域，具体方法为：

将一次三维规则网格记为ζ，一次三维规则网格ζ的每个网格顶点的初始位置为v，变形后位置为v'；

由起始网格顶点出发，在不超过ω环邻域范围内所经过的所有网格顶点组成了所述起始网格顶点的ω环邻域集，该ω环邻域集为所述起始网格顶点的局部刚性区域。

快速求和算法利用一次三维规则网格的规则性，以空间换取时间，实现一次三维规则网格的快速匹配。快速求和算法的核心原理是重用局部刚性匹配区域上的冗余计算，最终使得计算时间仅与晶格顶点数目呈线性关系，而与区域匹配半宽度ω（此处ω取值即软硬度参数ω的取值）无关，该算法在一定程度上满足了本发明实时稳定抓取的要求。

步骤4-2，将局部刚性区域进行形状匹配，步骤如下：

步骤4-21，计算出每个网格顶点的局部刚性区域的变化量

其中

R_r为局部刚性区域，v_i表示局部刚性区域内第i个网格顶点的位置坐标，m_i为v_i的权重值，m_i=¹/_|vvi|，其中|vv_i|为网格顶点与其局部刚性区域内的第i个网格顶点之间的距离，v为网格顶点的位置坐标，如果|vv_i|=0，则m_i=1；

步骤4-22，根据变化量找出最优转换矩阵

式中，T_r为最优转换矩阵，M_r为该局部刚性区域的总权重，即该区域内每个顶点的权重值之和;

步骤4-23，根据最优转换矩阵求出每个网格顶点的最终位置g，则所有顶点最终三维位置的集合即为所述二次三维规则网格，其中每个顶点的最终位置g的计算公式为：g=T_rv。

步骤5，利用自由变形算法FFD，把二次三维规则网格传递给虚拟手耦合模型的柔体部分，获得抓取稳定后的虚拟手耦合模型。效果如图4a以及图4b所示。

将二次三维规则网格中每个网格单元作为一个FFD块，FFD块的控制点在t_d+t_k时刻的位置坐标为P_ijk，其中i，j和k为位置坐标中的坐标元素，该控制点所对应的网格顶点的位置坐标v；

在变形完成时刻，由FFD块的控制点坐标信息得到FFD块中柔体部分的各个网格顶点v'的位置坐标v'(s,t,u)，表达式如下：

$v^{\′}(s,t,u)=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}\underset{k=0}{\overset{1}{\mathrm{\Σ}}}{B}_{i,1}\left(s\right)B_{j,1}\left(t\right)B_{k,1}\left(u\right)P_{\mathrm{ijk}}^{\′},$

式中，P'_ijk为FFD块中的控制点在变形完成时的位置，即g=T_rv计算出来的最终位置g，B_i,1(s)、B_j,1(t)、B_k,1(u)为对应坐标元素的Bernstein基函数。

通过将二次三维规则网格中的控制点的位置转换为虚拟手耦合模型中柔体部分的碰撞点位置，将二次三维规则网格传递给处于碰撞完成时姿态虚拟手耦合模型，从而得到抓取稳定的虚拟手。

本发明方法所具有的优点：

1）真实感很强。本发明方法采用基于双四元数的虚拟手变形算法完全消除了“裹糖纸”、“塌陷”等一般蒙皮算法的缺陷，同时具有实时性与真实性；其次根据抓取力的大小动态地调整接触面的大小，使得整个稳定抓取过程具有很强的真实感。

2）实时性。本发明方法采用快速连续碰撞检测OpenCCD算法快速检测是否发生碰撞，同时缩小检测范围，仅检测柔体部分，其次采用快速求和算法加速稳定抓取的计算。

3）稳定性。本发明方法为了避免几何模型的拓扑结构与网格模型的拓扑结构不一致所产生的不自然变形问题，把虚拟手柔体部分的手指段作为独立的模型进行处理。

Claims (9)

1.一种基于力觉计算的虚拟手稳定抓取方法，其特征在于，包括如下步骤：

步骤1，输入模型信息，包括虚拟手网格模型以及对应的运动骨骼模型；

步骤2，由模型信息获取一次三维规则网格，并构建虚拟手耦合模型；

步骤3，驱动虚拟手耦合模型运动，利用碰撞检测算法实时检测虚拟手耦合模型中的柔体部分是否发生碰撞，在碰撞时记录碰撞过程中柔体部分的位移差以及碰撞完成时刻虚拟手耦合模型的姿态，根据位移差计算柔体部分的软硬度参数并进入步骤4；

步骤4，根据软硬度参数以及一次三维规则网格得到抓取稳定时的二次三维规则网格；

步骤5，通过自由变形算法将二次三维规则网格传递给处于碰撞完成时刻姿态的虚拟手耦合模型，即得到抓取稳定的虚拟手。

2.如权利要求1所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，所述一次三维规则网格通过对柔体部分进行光栅化处理得到，其中，柔体部分为虚拟手网格模型中手掌内侧手指部分。

3.如权利要求1所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，在步骤3中，通过双四元数来驱动虚拟手耦合模型运动。

4.如权利要求1所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，在步骤3中，碰撞过程中柔体部分的位移差计算方法为：

设碰撞发生时刻为t_k，碰撞完成时刻为t_d+t_k，则位移差Collision_moveoff计算公式为：

式中，v_i为t_d+t_k时刻第i个碰撞点的位置，v_i'为t_k时刻第i个碰撞点的位置。

5.如权利要求1所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，根据位移差计算柔体部分的软硬度参数的步骤如下：

（a）由位移差Collision_moveoff计算出碰撞力f_ext的大小，计算公式为：f_ext=μ*Collision_moveoff，其中μ由用户设定，取值范围为1.0至1.5；

（b）根据碰撞力f_ext以及碰撞点个数n，计算出平均碰撞力f_avg，计算公式为： $f_{\mathrm{avg}}=\frac{1}{n}\mathrm{\Σ}\left|f_{\mathrm{ext}}\right|;$

（c）根据平均碰撞力f_avg，计算出柔体部分的软硬度参数ω，计算公式为：ω=round（f_avg/f_max）+1，

式中，f_max为由用户设定的最大碰撞力，取值范围为40到60。

6.如权利要求1所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，在步骤4中，得到二次三维规则网格的步骤为：

步骤4-1，根据ω的值计算一次三维规则网格每个网格顶点的局部刚性区域；

步骤4-2，将局部刚性区域进行形状匹配，得到二次三维规则网格。

7.如权利要求6所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，步骤4-1中，网格顶点的局部刚性区域的计算方法为：

将待计算的网格顶点作为起始网格顶点，由所述起始网格顶点出发，在不超过ω环邻域范围内所经过的所有网格顶点组成了所述起始网格顶点的ω环邻域集，该ω环邻域集为所述起始网格顶点的局部刚性区域。

8.如权利要求7所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，步骤4-2中将局部刚性区域进行形状匹配的步骤如下：

步骤4-21，计算出每个网格顶点的局部刚性区域的变化量

其中

R_r为局部刚性区域，v_i表示局部刚性区域内第i个网格顶点的位置坐标，m_i为v_i的权重值，m_i=¹/_|vvi|，其中|vv_i|为网格顶点与其局部刚性区域内的第i个网格顶点之间的距离，v为网格顶点的位置坐标，如果|vv_i|=0，则m_i=1；

步骤4-22，根据变化量找出最优转换矩阵

式中，T_r为最优转换矩阵，M_r为该局部刚性区域内所有网格顶点的权重值之和;

步骤4-23，根据最优转换矩阵求出每个网格顶点的最终位置g，则所有网格顶点的最终三维位置的集合即为所述二次三维规则网格，其中每个顶点的最终位置g的计算公式为：g=T_rv，其中v为网格顶点的位置坐标。

9.如权利要求8所述基于力觉计算的虚拟手稳定抓取方法，其特征在于，步骤5中，通过自由变形算法FFD传递二次三维规则网格的计算方法为：

将二次三维规则网格中每个网格单元作为一个FFD块，FFD块的控制点在t_d+t_k时刻的位置坐标为P_ijk，其中i，j和k为位置坐标中的坐标元素，该控制点所对应的网格顶点的位置坐标v；

在变形完成时刻，由FFD块的控制点坐标信息得到FFD块中柔体部分的各个网格顶点v'的位置坐标v'(s,t,u)，表达式如下：

$v^{\′}(s,t,u)=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}\underset{k=0}{\overset{1}{\mathrm{\Σ}}}{B}_{i,1}\left(s\right)B_{j,1}\left(t\right)B_{k,1}\left(u\right)P_{\mathrm{ijk}}^{\′},$

式中，P'_ijk为FFD块中的控制点在变形完成时的位置，即g=T_rv计算出来的最终位置g，B_i,1(s)、B_j,1(t)、B_k,1(u)为对应坐标元素的Bernstein基函数。

Images