CN102693350B - 面向虚拟现实牙科操作训练的多点接触力觉反馈系统 - Google Patents

Abstract

本发明公开了一种面向虚拟现实牙科操作训练的多点接触力觉反馈系统，该多点接触力觉反馈系统中的力反馈设备状态读取模块(1)读取力反馈设备(44)的手柄运动轨迹并转化为力觉工具末端位姿输出给工具模型(41)和力/力矩计算模块(4)；球状树碰撞检测模块(2)采用层次化的递归碰撞检测策略对工具模型(41)输出的动态力觉工具球树和多层次牙齿模型(42)输出的静态牙列球树进行碰撞剔除处理，获得叶节点的所有相交球体对；多点接触碰撞响应模块(3)采用碰撞响应优化模型对叶节点的所有相交球体对进行处理，得到图形工具的末端位姿；力/力矩计算模块(4)依据广义弹簧力模型对图形工具末端位姿进行处理得到反馈力/力矩，该反馈力/力矩作用到力反馈设备(44)上。本发明的多点接触力觉反馈系统能够准确求解连续碰撞检测时图形工具与虚拟牙列表面的接触位置和姿态。

Description

面向虚拟现实牙科操作训练的多点接触力觉反馈系统

技术领域

本发明涉及一种适用于虚拟现实牙科操作训练系统，更特别地说，是指一种基于力觉合成技术的碰撞检测阶段中的多点接触力觉反馈系统。

背景技术

在2009年第39卷第1期的《中国科学》杂志中公开了“面向牙科手术培训的力觉合成技术”一文。在此文的图4中介绍了力觉合成技术的计算结构框架。在接触状态确定过程中，要求研究具有高更新率的碰撞检测算法，能够检测用户的随机动作输入下，虚拟环境内的虚拟化身和被操作物体的细节碰撞信息。

力觉合成计算结构框架中的接触状态确定可以分解为两个阶段：碰撞检测和碰撞响应。碰撞检测的内容是判断虚拟化身和被操作物体是否发生碰撞；碰撞响应的内容是计算嵌入深度和方向、接触点准确位置、接触点局部法线方向信息等。由干被操作物体(例如虚拟牙齿)表面大多是具有凹形区域形状复杂的曲面，而且手术工具的形状各不相同，工具的运动轨迹是空间任意轨迹，因此接触状态确定算法必须解决复杂在线计算量和高的更新频率之间的矛盾。

参见图1所示，在虚拟现实牙科操作训练中的虚拟场景10中，手术工具的虚拟化身记为图形工具100，被操作物体的虚拟化身记为虚拟牙列20。虚拟牙列20是由多颗牙齿和牙龈组成。但是，三自由度力觉渲染算法是一种基于点与物体交互的算法，无法模拟这样一种物体与物体，多接触区域交互的场景。换句话说，当力觉工具200与虚拟牙列20中的其它物体发生碰撞并且嵌入(穿透效应)时，而图形工具100显示给训练者的应该是停留在物体表面，而不允许出现任何的嵌套量。此外，目前的三自由度力觉渲染算法不能正确反映力觉工具200的不同运动轨迹对于交互力和力矩计算结果的影响。

发明内容

为了解决虚拟现实牙科操作训练中图形工具100与虚拟牙列20出现视觉穿透现象，以及交互力不真实的缺陷，本发明提出一种多点接触力觉反馈系统，该系统能够准确求解连续碰撞检测时图形工具100与虚拟牙列20表面的接触位置和姿态。该力觉反馈系统通过模拟刚体与刚体之间交互时所产生的力与力矩，采用具有层次关系的球体来表示一个物体，即球状树。这样一种表示方法既能实现快速的进行碰撞检测，同时也方便了单边不可穿越约束(non-penetrated constraints)的建立。

本发明是一种面向虚拟现实牙科操作训练的多点接触力觉反馈系统，该多点接触力觉反馈系统包括有力反馈设备状态读取模块(1)、球状树碰撞检测模块(2)、多点接触碰撞响应模块(3)、力/力矩计算模块(4)、工具模型(41)、多层次牙齿模型(42)、图形显示设备(43)和力反馈设备(44)；

力反馈设备状态读取模块(1)读取力反馈设备(44)的手柄运动轨迹并转化为力觉工具末端位姿输出给工具模型(41)和力/力矩计算模块(4)；

球状树碰撞检测模块(2)采用层次化的递归碰撞检测策略对工具模型(41)输出的动态力觉工具球树和多层次牙齿模型(42)输出的静态牙列球树进行碰撞剔除处理，获得叶节点的所有相交球体对；

多点接触碰撞响应模块(3)采用碰撞响应优化模型对叶节点的所有相交球体对进行处理，得到图形工具的末端位姿；

力/力矩计算模块(4)依据广义弹簧力模型对图形工具末端位姿进行处理得到反馈力/力矩，并将反馈力/力矩输出至力反馈设备(44)。

本发明多点接触六自由度力觉反馈系统的优点在于：

①本发明在力觉工具和牙列的建模中采用基于球状树的几何建模方法，既可以准确地逼近任意复杂形状的物体，又提供了简易的建立单边不可穿越约束方程的方法。

②本发明在球状树碰撞检测模块以基于球状树的层次化的碰撞检测策略进行嵌套判断，满足了力觉仿真1kHz的计算频率，保证了仿真的真实感和稳定性。

③本发明在多点接触碰撞响应模块采用基于图形工具位姿变量的优化模型，能够准确求解多点接触状态下图形工具的位姿，消除了传统方法带来的视觉嵌套误差问题。

附图说明

图1是虚拟现实牙科操作训练中虚拟场景示意图。

图1A是虚拟场景中单个牙齿与多工具配置的示意图。

图2是本发明多点接触力觉反馈系统的结构框图。

图3A是力觉工具的球树分解示意图。

图3B是牙列的球树分解示意图。

图4是本发明多点接触碰撞响应模块中坐标转换关系图。

图4A是图形工具球树与牙列球树在同一层球状树下的碰撞检测简示图。

具体实施方式

下面将结合附图对本发明做进一步的详细说明。

参见图1所示，一个虚拟现实牙科操作训练系统的虚拟场景10中至少包含有虚拟牙列20和图形工具100。其中虚拟牙列20包括虚拟的3D牙齿模型30和虚拟的3D牙龈模型40(参见图1A所示)。参见图4所示，在坐标转换中，将虚拟牙列20球状树中的任意一个球的球心记为半径记为r_o。

参见图1A所示；在碰撞检测阶段中，操作者以单颗3D牙齿模型30进行防碰撞处理与整个口腔进行牙科操作训练是相同的手段。发明人将手术工具虚拟成图形工具100，将力反馈设备虚拟成力觉工具200。在图中，虚拟场景10的坐标记为O_wX_wY_wZ_w，图形工具100质心点的坐标记为O_gX_gY_gZ_g，力觉工具200质心点的坐标记为O_hX_hY_hZ_h。参见图4所示，在坐标转换中，将图形工具100看着一个长方体，在长方体的某一顶点记为球树的任意一个球，该球心记为半径记为r_g。

参见图2所示，本发明是一种面向虚拟现实牙科操作训练的多点接触力觉反馈系统，该多点接触力觉反馈系统包括有力反馈设备状态读取模块1、球状树碰撞检测模块2、多点接触碰撞响应模块3、力/力矩计算模块4、工具模型41、多层次牙齿模型42、图形显示设备43和力反馈设备44。

力反馈设备状态读取模块1读取力反馈设备44的手柄运动轨迹并转化为力觉工具末端位姿输出给工具模型41和力/力矩计算模块4；在本发明中，力觉工具末端位姿的向量表示为{x_h，y_h，z_h，α_h，β_h，γ_h}^T，其中x_h，y_h，z_h表示力觉工具的质心点O_h在世界坐标系O_wX_wY_wZ_w中的位置分量，α_h，β_h，γ_h表示力觉工具相对于世界坐标系O_wX_wY_wZ_w下绕X_w轴、Y_w轴、Z_w轴转动的三个欧拉角，T表示坐标转制，h表示力觉工具，t表示对象的向量表达形式。

球状树碰撞检测模块2采用层次化的递归碰撞检测策略对工具模型41输出的动态力觉工具球树和多层次牙齿模型42输出的静态牙列球树进行碰撞剔除处理，获得叶节点的所有相交球体对；

多点接触碰撞响应模块3采用碰撞响应优化模型 $\left\{\begin{array}{c}\frac{1}{2}{(q_g^t-q_h^t)}^{T}G(q_g^t-q_h^t)\\ G(x_i\left(q_g^i\right),y_i\left(q_g^t\right),z_i\left(q_g^i\right))\≥0\end{array}\right.$ 对叶节点的所有相交球体对进行处理，得到图形工具的末端位姿在本发明中，图形工具末端位姿的向量表示为{x_g，y_g，z_g，α_g，β_g，γ_g}^T，其中x_g，y_h，z_h表示图形工具的形心点O_g在世界坐标系O_wX_wY_wZ_w中的位置分量，α_g，β_g，γ_g表示图形工具相对于世界坐标系O_wX_wY_wZ_w下绕X_w轴、Y_w轴、Z_w轴转动的三个欧拉角，T表示坐标转制，g表示图形工具，t表示对象的向量表达形式。

力/力矩计算模块4依据广义弹簧力模型对图形工具末端位姿进行处理得到反馈力/力矩，并将反馈力/力矩作用到力反馈设备44上。

在本发明中，操作者操作力反馈设备末端手柄，末端手柄的运动轨迹将实时显示在图形显示设备43的屏幕上。

(一)工具模型41

工具模型41依据Hubbard的内轴理论对力觉工具200进行球状树的建模，得到力觉工具球树，如图3A所示。图中显示出力觉工具层次化为多个球相接触的排列构形。

在本发明中，力觉工具200的球状树建模包括下列步骤：

建模第一步：将力觉工具200虚拟成一个球体，也是球状树的第0层，即根节点h表示力觉工具200；

建模第二步：对球体采用Hubbard的内轴理论进行剖分，得到球状树的第一层的8个子节点；

建模第三步：对第一层的每个子节点采用Hubbard的内轴理论进行剖分，得到球状树的第二层的64个子节点；

建模第四步：对第二层的每个子节点采用Hubbard的内轴理论进行剖分，得到球状树的第三层的512个子节点；

建模第五步：对第三层的每个子节点采用Hubbard的内轴理论进行剖分，得到球状树的第四层的4096个子节点，也是球状树的叶节点。

在本发明中，依据球状树建模步骤同理可得图形工具100的图形工具球树。

本发明在力觉工具200和图形工具100的建模中采用基于球状树的几何建模方法，既可以准确地逼近任意复杂形状的物体，又提供了简易的建立单边不可穿越约束方程的方法。

(二)多层次牙齿模型42

多层次牙齿模型42依据Hubbard的内轴理论对虚拟牙列20进行球状树的建模，得到虚拟牙列球树，如图3B所示。图中显示出虚拟牙列层次化为多个接触球排列的构形。

在本发明中，虚拟牙列20的球状树建模包括下列步骤：

建模第一步：将虚拟牙列20虚拟成一个球体，也是球状树的第0层，即根节点o表示虚拟牙列20；

建模第二步：对球体采用Hubbard的内轴理论进行剖分，得到球状树的第一层的8个子节点；

建模第三步：对第一层的每个子节点采用Hubbard的内轴理论进行剖分，得到球状树的第二层的64个子节点；

建模第四步：对第二层的每个子节点采用Hubbard的内轴理论进行剖分，得到球状树的第三层的512个子节点；

建模第五步：对第三层的每个子节点采用Hubbard的内轴理论进行剖分，得到球状树的第四层的4096个子节点，也是球状树的叶节点。

本发明在虚拟牙列20的建模中采用基于球状树的几何建模方法，既可以准确地逼近任意复杂形状的物体，又提供了简易的建立单边不可穿越约束方程的方法。

(三)力反馈设备状态读取模块1

参见图1、图1A、图2、图4所示，力反馈设备状态读取模块1第一方面用于读取力反馈设备44的末端手柄在运动状态下的轨迹和姿态信息，该轨迹和姿态信息映射到虚拟场景10中体现在力觉工具200的位姿，记为力觉工具位姿O_hX_hY_hZ_h；第二方面将力觉工具位姿O_hX_hY_hZ_h输出给工具模型41；第三方面将力觉工具位姿O_hX_hY_hZ_h输出给力/力矩计算模块4。

在本发明中，图形显示设备43中实时显示的虚拟场景10中力觉工具200的运动轨迹，其质心点O_h显示出的参数代表了力觉工具200的位置，X_hY_hZ_h的三轴上的参数代表了力觉工具200的姿态。

(四)球状树碰撞检测模块2

球状树碰撞检测模块2对接收到的动态力觉工具球树和静态牙列球树采用层次化的递归碰撞检测策略进行处理，获得叶节点堆栈S_leaf；其中叶节点堆栈S_leaf存储有叶节点的所有相交球对。

层次化的递归碰撞检测策略分为粗略碰撞检测和精细碰撞检测两个阶段。在粗略碰撞检测阶段，判断力觉工具根节点的球与牙列根节点的球是否发生嵌套，其判断规则：若两个球心之间的距离小于两球的半径之和，则认为两球发生嵌套。如果没有发生嵌套，则退出碰撞检测程序；如果发生嵌套，则将力觉工具根节点的球与牙列根节点的球作为一个球体对，进入精细碰撞检测阶段。精细碰撞检测针对两个层次化的球状树进行广度优先的相交判断搜索，精细碰撞检测步骤如下：

碰撞检测步骤一：力觉工具球树的根节点记为虚拟牙列球树的根节点记为

碰撞检测步骤二：将动态堆栈S置为空集；

碰撞检测步骤三：将叶节点堆栈S_leaf置为空集；

碰撞检测步骤四：将根节点的球体对送入动态堆栈S；

碰撞检测步骤五：当动态堆栈S不为空时，一直进行下述循环；

步骤501：将动态堆栈S的顶层元素弹出堆栈S，并记为球对(s1，s2)；

步骤502：将s1的下一层8个子球构成集合S₁；

步骤503：将s2的下一层8个子球构成集合S₂；

步骤504：针对S₁与S₂中所有的元素两两配对组成64个球体对(s′₁，s′₂)，s′₁∈S₁ s′₂∈S₂；

步骤505：如果s′₁和s′₂发生了嵌套，且s′₁和s′₂均为叶节点，将(s′₁，s′₂)添加到叶节点堆栈S_leaf中，转至碰撞检测步骤六；

步骤506：如果s′₁和s′₂发生了嵌套，且s′₁和s′₂不为叶节点，将(s′₁，s′₂)送入动态堆栈S中，转至步骤501继续循环；

碰撞检测步骤六：输出叶节点堆栈S_leaf，该叶节点堆栈S_leaf中存储有叶节点的所有相交球体对。

本发明在球状树碰撞检测模块以基于球状树的层次化的碰撞检测策略进行嵌套判断，满足了力觉仿真1kHz的计算频率，保证了仿真的真实感和稳定性。

(五)多点接触碰撞响应模块3

多点接触碰撞响应模块3对发生碰撞的球体对进行碰撞响应优化模型 $\left\{\begin{array}{c}\frac{1}{2}{(q_g^t-q_h^t)}^{T}G(q_g^t-q_h^t)\\ G(x_i\left(q_g^i\right),y_i\left(q_g^t\right),z_i\left(q_g^i\right))\≥0\end{array}\right.$ 处理，得到图形工具的末端位姿

在本发明中，优化得到的图形工具位姿能够实时在图形显示设备43中显示出，以供操作者观察；同时操作者也能够对图形显示设备43中显示的结果进行控制。

所述碰撞响应优化模型 $\left\{\begin{array}{c}\frac{1}{2}{(q_g^t-q_h^t)}^{T}G(q_g^t-q_h^t)\\ G(x_i\left(q_g^i\right),y_i\left(q_g^t\right),z_i\left(q_g^i\right))\≥0\end{array}\right.$ 中字母的物理意义为：

表示图形工具的末端位姿；

表示力觉工具的末端位姿；

G表示海森矩阵；

C表示碰撞响应条件，即图形工具球树的球心与牙列球树的球心之间的距离d应当大于等于图形工具球树的半径r_g与牙列球树的r_o之和，数学表达式为d≥r_g+r_o，如图4A所示；

x_i y_i z_i表示图形工具上第i个球的球心三维坐标。

在图1A中，牙列模型20所在的坐标系记为世界坐标系O_wX_wY_wZ_w，力觉工具200的坐标系记为O_hX_hY_hZ_h，图形工具100的坐标系记为O_gX_gY_gZ_g。

力觉工具的位姿向量x_h，y_h，z_h表示力觉工具的质心点O_h在世界坐标系O_wX_wY_wZ_w中的位置分量。α_h，β_h，γ_h表示力觉工具相对于世界坐标系O_wX_wY_wZ_w的三个欧拉角。

图形工具的位姿向量x_g，y_g，z_g表示图形工具的形心点O_g在世界坐标系O_wX_wY_wZ_w中的位置分量。α_g，β_g，γ_g表示图形工具相对于世界坐标系O_wX_wY_wZ_w的三个欧拉角。

在本发明中，碰撞响应优化模型 $\left\{\begin{array}{c}\frac{1}{2}{(q_g^t-q_h^t)}^{T}G(q_g^t-q_h^t)\\ G(x_i\left(q_g^i\right),y_i\left(q_g^t\right),z_i\left(q_g^i\right))\≥0\end{array}\right.$ 包括有优化目标优化变量和约束条件首先，将虚拟图形工具的位姿用一个六维向量表示，并且将这个六维向量表示选为优化的变量，优化目标是在满足约束的前提下让力觉工具的位姿与图形工具的位姿之间的差异最小，即一种最小二乘，公式中的海森矩阵G选取为对角矩阵。而约束的建立是利用碰撞检测的得到的相交球体对信息，让这些球体对之间满足不嵌套的关系，这样就得到了一组关于组成图形工具球的球心坐标应该满足的部等式组，然后通过坐标变换建立起优化变量与球心坐标之间的关系，从而得到了一组关于优化变量的不等式组，将这样一组不等式看成是当前时刻图形工具位形空间的约束，为了加快优化算法的收敛速度，利用一阶泰勒展开将这样一组非线性的不等式线性化，然后利用经典的有效集方法求解此优化问题。

(六)力/力矩计算模块4

力/力矩计算模块4依据广义的弹簧力模型对图形工具的末端位姿进行处理，输出反馈力/力矩；

该反馈力/力矩将作用到力反馈设备44上。操作者能够依据反馈力/力矩改变手柄运动。

在本发明中，力与力矩的计算采用广义的弹簧力模型K表示刚度系数，即图形工具与力觉工具变化量乘以一个刚度系数得到需要输出的反馈力与力矩，在本发明中，力的刚度系数取1N/mm，力矩刚度系数取30mNm/rad。

在本发明中，借助计算机硬件平台，并将“多点接触力觉反馈系统”保存在该计算机的处理器(CPU)中，从而实现参数的计算以及平面坐标下的参数获取。计算机是一种能够按照事先存储的程序，自动、高速地进行大量数值计算和各种信息处理的现代化智能电子设备。最低配置为CPU 2GHz，内存2GB，硬盘180GB；操作系统为windows 2000/2003/XP。

Claims (1)

1.一种面向虚拟现实牙科操作训练的多点接触力觉反馈系统；该多点接触力觉反馈系统包括有力反馈设备状态读取模块(1)、球状树碰撞检测模块(2)、多点接触碰撞响应模块(3)、力/力矩计算模块(4)、工具模型(41)、多层次牙齿模型(42)、图形显示设备(43)和力反馈设备(44)；

力反馈设备状态读取模块(1)读取力反馈设备(44)的手柄运动轨迹并转化为力觉工具末端位姿输出给工具模型(41)和力/力矩计算模块(4)；

球状树碰撞检测模块(2)采用层次化的递归碰撞检测策略对工具模型(41)输出的动态力觉工具球树和多层次牙齿模型(42)输出的静态牙列球树进行碰撞剔除处理，获得叶节点的所有相交球体对；

多点接触碰撞响应模块(3)采用碰撞响应优化模型对叶节点的所有相交球体对进行处理，得到图形工具的末端位姿；多点接触碰撞响应模块(3)对发生碰撞的球体对进行碰撞响应优化模型 $\left\{\begin{array}{c}\frac{1}{2}{(q_g^t-q_h^t)}^{T}G(q_g^t-q_h^t)\\ C(x_i\left(q_g^t\right),y_i\left(q_g^t\right),z_i\left(q_g^t\right))\≥0\end{array}\right.$ 处理，得到图形工具的末端位姿；

力/力矩计算模块(4)依据广义弹簧力模型对图形工具末端位姿进行处理得到反馈力/力矩，并将反馈力/力矩输出至力反馈设备(44)；力/力矩计算模块(4)采用的广义弹簧力模型K表示刚度系数，即图形工具与力觉工具变化量乘以一个刚度系数得到需要输出的力与力矩，力的刚度系数取1N/mm，力矩刚度系数取30mNm/rad；

其特征在于：

层次化的递归碰撞检测策略分为粗略碰撞检测和精细碰撞检测两个阶段；在粗略碰撞检测阶段，判断力觉工具根节点的球与牙列根节点的球是否发生嵌套，其判断规则：若两个球心之间的距离小于两球的半径之和，则认为两球发生嵌套；如果没有发生嵌套，则退出碰撞检测程序；如果发生嵌套，则将力觉工具根节点的球与牙列根节点的球作为一个球体对，进入精细碰撞检测阶段；精细碰撞检测针对两个层次化的球状树进行广度优先的相交判断搜索，精细碰撞检测步骤如下：

碰撞检测步骤一：力觉工具球树的根节点记为虚拟牙列球树的根节点记为

碰撞检测步骤二：将动态堆栈S置为空集；

碰撞检测步骤三：将叶节点堆栈S_leaf置为空集；

碰撞检测步骤四：将根节点的球体对送入动态堆栈S；

碰撞检测步骤五：当动态堆栈S不为空时，一直进行下述循环；

步骤501：将动态堆栈S的顶层元素弹出堆栈S，并记为球对(s1，s2)；

步骤502：将s1的下一层8个子球构成集合S₁；

步骤503：将s2的下一层8个子球构成集合S₂；

步骤504：针对S₁与S₂中所有的元素两两配对组成64个球体对(s′₁,s′₂)，s′₁∈S₁ s′₂∈S₂；

步骤505：如果s′₁和s′₂发生了嵌套，且s′₁和s′₂均为叶节点，将(s′₁,s′₂)添加到叶节点堆栈S_leaf中，转至碰撞检测步骤六；

步骤506：如果s′₁和s′₂发生了嵌套，且s′₁和s′₂不为叶节点，将(s′₁,s′₂)送入动态堆栈S中，转至步骤501继续循环；

碰撞检测步骤六：输出叶节点堆栈S_leaf，该叶节点堆栈S_leaf中存储有叶节点的所有相交球体对。