CN111127663A - 一种基于凸集分解算法的虚拟人机交互控制方法 - Google Patents

Abstract

本发明公开了一种基于凸集分解算法的虚拟人机交互控制方法，包括虚拟手的建模仿真过程、利用虚拟交互的凸集分解算法对于虚拟手和零部件之间的碰撞、穿透、抓取、拖放判断过程和基于数据手套的交互式虚拟维修过程，对于虚拟手与和零部件之间的碰撞、穿透、抓取、过程应用凸集分解算法进行判断，加快碰撞检测、虚拟手抓取及移动零部件的速度，使得整个模拟维修过程的仿真过程中画面流畅，没有迟滞现象发生，在虚拟维修过程中具有很强的可行性和有效性；而且虚拟手对变速箱进行拆卸维修过程，可使维修人员更好的了解变速箱组成及其内部结构，优化了虚拟手抓取规则，突破了虚拟环境下沉浸式虚拟维修人机，因此，本发明具有实用性高、操作性好的特点。

Description

一种基于凸集分解算法的虚拟人机交互控制方法

方法领域

本发明涉及虚拟图像处理、模式识别等领域，尤其涉及一种基于凸集分解算法的虚拟人机交互控制方法。

背景方法

随着计算机方法的发展应用，虚拟现实方法得到了极大的发展，并开始在维修训练方面应用，从20世纪80年代起，发达国家都十分重视虚拟维修训练系统建设，欧盟为推动信息方法的发展，在1983-1998年间开展了ESPRIT计划，15年处于欧洲信息方法研究与开发的前列，共实施了1000多个研究开发项目和900多项辅助行动，产生了巨大的成效和影响；美军80％以上的主战装备均不同程度地采用了虚拟维修训练，各种类型的故障诊断和维修训练专家系统已用于美国F-16战斗机、B-2B轰炸机、海军舰艇、陆军军械装备等在役装备的故障诊断和维修训练中；采用虚拟维修训练后，训练经费可以节省40％以上，时间节省30％左右，与现有的维修训练方法手段相比，费效优势明显，虚拟维修训练已经成为一个非常有潜力和应用前景的方法领域；

我国自1996年开始，在863计划的资助下，以北京航空航天大学计算机系为系统集成单位，国防科技大学、装甲兵工程学院、中科院软件所、浙江大学、北航仿真所和解放军测绘学院等单位为关键方法研究单位，开展了分布式虚拟战场环境DVENET(DistributedVirtual Environment NET work)的研究开发工作，相比外国发达国家，我国在虚拟维修训练方面起步较晚，发展较快；

现有的虚拟维修训练系统大致分为沉浸式、非沉浸式和增强型三类，其中沉浸式虚拟维修训练系统利用典型的沉浸式虚拟现实外部设备，如头盔式显示器、数据手套、操作手柄等，把受训人员的视觉、听觉和其他感觉封闭起来，从而产生一种身临其境、全身心投入和沉浸其中的感觉，实验数据表明，虚拟现实方法的运用极大地方便了各种与飞机维修保障相关的研究活动的开展，并加深了参加训练的检测人员对于工效学相关因素对检测过程影响的理解，现有的沉浸式的虚拟维修是靠虚拟手来完成的，虚拟手操作可以通过OpenInventor软件平台实现，但是在虚拟维修过程中，针对碰撞检测难度大、虚拟手穿透限制、虚拟手的抓取与拖放难以控制、装备虚拟维修训练的实时性、沉浸感不强的关键问题难以解决。

发明内容

针对上述现有技术存在的缺陷，本发明的主要目的是提供一种基于凸集分解算法的虚拟人机交互控制方法，包括虚拟手的建模仿真过程、利用虚拟交互的凸集分解算法对于虚拟手和零部件之间的碰撞、穿透、抓取、拖放判断过程和基于数据手套的交互式虚拟维修过程，在虚拟手和零部件之间的碰撞、穿透、抓取、拖放判断过程应用凸集分解算法，加快了碰撞检测、虚拟手抓取及移动零部件的速度，使得整个模拟维修过程的仿真过程中画面比较流畅，没有迟滞停顿现象发生，在虚拟维修过程中具有很强的可行性和有效性。

为了实现上述目的，本发明所采用的技术方案如下：

一种基于凸集分解算法的虚拟人机交互控制方法，所述的虚拟人机交互控制方法包括：

S1：虚拟手的建模仿真过程，利用3DS MAX软件、VC++和Open Inventor图形接口软件建立虚拟手的模型；

S2：利用虚拟交互的凸集分解算法对S1建立的虚拟手模型和零部件之间的碰撞、穿透、抓取和拖放关系的判断；

S3：经S2对虚拟手模型和零部件之间的关系判断后，进行基于数据手套的交互式虚拟维修过程。

优选的，步骤S1所述的虚拟手的建模仿真过程具体包括以下步骤：

S11：测量人手数据，将数据手套戴到需要测量的手上，测量人手数据；

S12：虚拟手的建模，将步骤一数据手套测得的人手数据利用3DS MAX软件映射到虚拟场景中，完成数据手套和虚拟环境的交互工作；

S13：虚拟手的加载，利用VC++和Open Inventor图形接口软件来建立一个视口，读取步骤二虚拟手3D文件中的数据，并将其绘制在窗口中，形成新的虚拟手的模型。

优选的，步骤S2所述的虚拟交互的凸集分解算法包括：面向对象的基于凸集面片的AABB层次包围盒碰撞检测算法、基于凸集面片的虚拟手穿透限制算法、虚拟手的抓取和拖放操作算法。

优选的，所述的基于凸集面片的AABB层次包围盒碰撞检测算法的具体判断步骤为：

1)设当前虚拟手的包围盒为h_a,零部件的包围盒为h_b，将虚拟手的造型和三维零部件均分解成凸集面片的集合，设虚拟手的面片数为N_a,凸集面片数为N_a′；零部件的面片数为N_b，凸集面片数为N_b′(N_b′≤N_b)；

2)判断虚拟手的包围盒为h_a与零部件的包围盒为h_b是否相交，若相交，进行下一步判断，若不相交，进行下一个零部件的判断；

3)根据步骤2的判断结果，判断虚拟手的面片数为N_a与零部件的面片数为N_b是否相交，若相交，进行下一步判断，若不相交，进行下一个零部件的判断；

4)根据步骤3的判断结果，进一步判断虚拟手的凸集面片数为N_a′与零部件的凸集面片数为N_b′是否相交，若相交，记录发生碰撞的零部件、发生碰撞的凸面和凸面片的集合，若不相交，进行下一个零部件的判断；

其中：N_a′≤N_a，N_b′≤N_b，N_a′≤N_a≤h_a，N_b′≤N_b≤h_b。

优选的，所述的基于凸集面片的虚拟手穿透限制算法的具体判断步骤为：

1)将虚拟手和零部件投影在三维坐标系中，设虚拟手的手指为F(x_f,y_f,z_f),零部件面片为T，虚拟手的手指F(x_f,y_f,z_f)与零部件面片T的接触点为P，P点处三角面片的法线方向为n(n_x、n_y、n_z)，n的反方向为物体的内部，n_x、n_y、n_z为n在X，Y，Z三坐标轴上的投影；

2)判断虚拟手的手指F在运动方向的三个分量x_f,y_f,z_f与P点处三角面片的法线方向为n的三个对应分量n_x、n_y、n_z是否具有相同的方向：

a.x_f,y_f,z_f与n_x、n_y、n_z具有相同的方向，即虚拟手没有接触或穿透物体，此时将虚拟手的颜色不变化；

b.x_f,y_f,z_f与n_x、n_y、n_z三个分量之一具有相反的方向，虚拟手处于抓取接触状态，虚拟手的颜色变为绿色。

优选的，所述的虚拟手的抓取和拖放操作算法的具体判断步骤为：

1)读取虚拟手在场景中的数据信息；

2)利用基于凸集面片的AABB层次包围盒碰撞检测算法判断虚拟手与零部件是否发生相交，若相交，进行下一步判断，若不相交，调整虚拟手的位置和姿态；

3)根据步骤2判断结果，进一步判断虚拟手是否符合抓取条件，若符合抓取条件，进行下一步判断，若符合抓取条件，调整虚拟手的位置和姿态；

4)根据步骤3判断结果，控制虚拟手对零部件进行抓取和拖放操作，从而进行维修；

其中：在虚拟手进行抓取和拖放操作过程中，必须有两个或两个以上的手指与零部件相接触，并且其中一个必须为大拇指；虚拟手指与零部件接触面的法线方向的夹角大于给定值；要实现虚拟手对零部件的抓取，手和物体的两个接触点的法线方向的夹角必须大于临界值。

优选的，步骤S3所述的基于数据手套的交互式虚拟维修的具体过程为：

S31.将虚拟手的建模仿真过程建立的虚拟手和需要维修的部件加载在构建的虚拟场景中；

S32.维修人员佩戴立体眼镜，并且借助Joystick交互工具，对虚拟现实场景中的变速箱、主减速器和底盘进行维修和拆卸，并按约束路径将拆卸下的零部件拖放到预定位置；

其中：维修人员借助于Joystick维修人员可以实现在虚拟场景中对视角远近及方向的控制，并结合数据手套的灵活性完成对变速箱的维修操作；所述的约束路径预加载在虚拟维修系统中，对每一个待拆卸的零部件在其约束参数节点处添加坐标变换值，完成对底盘每一零部件的拆卸/装配的设定。

与现有技术相比，本发明的有益效果：由于本发明提供了一种基于凸集分解算法的虚拟人机交互控制方法，采用凸集分解算法，加快了碰撞检测、虚拟手抓取及移动零部件的速度，使得整个模拟维修过程的仿真过程中画面比较流畅，没有迟滞停顿现象发生，在虚拟维修过程中具有很强的可行性和有效性；而且虚拟手对变速箱进行拆卸的维修过程，可使维修人员更好的了解变速箱组成及其内部结构，优化了虚拟手抓取规则，突破了虚拟环境下沉浸式虚拟维修人机，因此，本发明具有实用性高、操作性好的特点。

附图说明

图1为本发明基于凸集分解算法的虚拟人机交互控制的流程图。

图2为本发明基于凸集分解算法的虚拟人机交互控制的虚拟维修故障诊断和排除过程的流程图。

图3为本发明虚拟手的模型。

图4为本发明基于凸集面片碰撞检测算法的流程图。

图5为本发明基于凸集面片的穿透限制算法的算法模型。

图6为本发明虚拟手与零部件之间的抓取算法的流程图。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

参照附图1-6所示的一种基于凸集分解算法的虚拟人机交互控制方法，所述的虚拟人机交互控制方法包括：

S1：虚拟手的建模仿真过程，利用3DS MAX软件、VC++和Open Inventor图形接口软件建立虚拟手的模型；

S2：利用虚拟交互的凸集分解算法对S1建立的虚拟手模型和零部件之间的碰撞、穿透、抓取和拖放关系的判断；

S3：经S2对虚拟手模型和零部件之间的关系判断后，进行基于数据手套的交互式虚拟维修过程。

步骤S1所述的虚拟手的建模仿真过程具体包括以下步骤：

S11：测量人手数据，将数据手套戴到需要测量的手上，测量人手数据；

S12：虚拟手的建模，将步骤S11数据手套测得的人手数据利用3DS MAX软件映射到虚拟场景中，完成数据手套和虚拟环境的交互工作，所述建模的具体过程为：

(1)利用3DS MAX软件建立一个虚拟手的模型；

(2)同时，创建一个包括虚拟手在内的虚拟环境；

其中：所述的虚拟手由17个部分组成，包括一个手掌、一个前臂、5个手指，每个手指由3个指节组成，虚拟手运动时，手掌部分为父结点，即手掌的平移和旋转将带动5个手指共同运动；每个手指为一个子节点，它们的运动将不影响手掌的运动；

S13：虚拟手的加载，利用VC++和Open Inventor图形接口软件来建立一个视口，读取步骤二虚拟手3D文件中的数据，并将其绘制在窗口中，形成新的虚拟手的模型，S1₃所述的虚拟手的加载的具体过程为：

1)利用VC++和Open Inventor图形接口软件来建立一个视口，读取虚拟手3D文件中的数据；

2)随后利用Open Inventor开发接口，在显示窗口中重新绘制，形成新的虚拟手；

在虚拟手的加载中，可以确定每个手指的旋转中心、整个手的旋转中心和旋转坐标轴，所述的手指的旋转中心在每个指根中间，所述的整个手的旋转中心在手掌下部的中间位置；

其中：所述的3D文件的主要部分是按照一定的拓扑关系储存三角形所有顶点的坐标；读取过程就是按照一定的顺序读出这些顶点的坐标；Open Inventor开发接口所绘制的新的虚拟手的模型是由无数的三角网格组成的；

所述的虚拟交互的凸集分解算法包括面向对象的基于凸集面片的AABB层次包围盒碰撞检测算法、基于凸集面片的虚拟手穿透限制算法和虚拟手的抓取和拖放操作算法，来解决虚拟手在虚拟维修环境中的虚拟操作过程中的碰撞检测、手的穿透限制、手的抓取和拖放等问题；

所述的基于凸集面片的AABB层次包围盒碰撞检测算法的具体判断步骤为：

1)设当前虚拟手的包围盒为h_a,零部件的包围盒为h_b，将虚拟手的造型和三维零部件均分解成凸集面片的集合，设虚拟手的面片数为N_a,凸集面片数为N_a′；零部件的面片数为N_b，凸集面片数为N_b′(N_b′≤N_b)；

2)判断虚拟手的包围盒为h_a与零部件的包围盒为h_b是否相交，若相交，进行下一步判断，若不相交，进行下一个零部件的判断；

3)根据步骤2的判断结果，判断虚拟手的面片数为N_a与零部件的面片数为N_b是否相交，若相交，进行下一步判断，若不相交，进行下一个零部件的判断；

4)根据步骤3的判断结果，进一步判断虚拟手的凸集面片数为N_a′与零部件的凸集面片数为N_b′是否相交，若相交，记录发生碰撞的零部件、发生碰撞的凸面和凸面片的集合，若不相交，进行下一个零部件的判断；

其中：N_a′≤N_a，N_b′≤N_b，N_a′≤N_a≤h_a，N_b′≤N_b≤h_b。

所述的基于凸集面片的虚拟手穿透限制算法的具体判断步骤为：

1)将虚拟手和零部件投影在三维坐标系中，设虚拟手的手指为F(x_f,y_f,z_f),零部件面片为T，虚拟手的手指F(x_f,y_f,z_f)与零部件面片T的接触点为P，P点处三角面片的法线方向为n(n_x、n_y、n_z)，n的反方向为物体的内部，n_x、n_y、n_z为n在X，Y，Z三坐标轴上的投影；

2)判断虚拟手的手指F在运动方向的三个分量x_f,y_f,z_f与P点处三角面片的法线方向为n的三个对应分量n_x、n_y、n_z是否具有相同的方向：

a.x_f,y_f,z_f与n_x、n_y、n_z具有相同的方向，即虚拟手没有接触或穿透物体，此时将虚拟手的颜色不变化；

b.x_f,y_f,z_f与n_x、n_y、n_z三个分量之一具有相反的方向，虚拟手处于抓取接触状态，虚拟手的颜色变为绿色。

所述的虚拟手的抓取和拖放操作算法的具体判断步骤为：

1)读取虚拟手在场景中的数据信息；

2)利用基于凸集面片的AABB层次包围盒碰撞检测算法判断虚拟手与零部件是否发生相交，若相交，进行下一步判断，若不相交，调整虚拟手的位置和姿态；

3)根据步骤2判断结果，进一步判断虚拟手是否符合抓取条件，若符合抓取条件，进行下一步判断，若符合抓取条件，调整虚拟手的位置和姿态；

4)根据步骤3判断结果，控制虚拟手对零部件进行抓取和拖放操作，从而进行维修；

其中：在虚拟手进行抓取和拖放操作过程中，必须有两个或两个以上的手指与零部件相接触，并且其中一个必须为大拇指；虚拟手指与零部件接触面的法线方向的夹角大于给定值；要实现虚拟手对零部件的抓取，手和物体的两个接触点的法线方向的夹角必须大于临界值；

如附图6所示，当虚拟手模型的碰撞检测、手的穿透限制、手的抓取和拖放经判断调试后，利用基于数据手套的交互式虚拟维修过程对虚拟现实场景中的变速箱、主减速器和底盘进行维修和拆卸。

所述基于数据手套的交互式虚拟维修过程的具体步骤为：

S31.将虚拟手的建模仿真过程建立的虚拟手和需要维修的部件加载在构建的虚拟场景中；

S32.维修人员佩戴立体眼镜，并且借助Joystick交互工具，对虚拟现实场景中的变速箱、主减速器和底盘进行维修和拆卸，并按约束路径将拆卸下的零部件拖放到预定位置；

其中：维修人员借助于Joystick维修人员可以实现在虚拟场景中对视角远近及方向的控制，并结合数据手套的灵活性完成对变速箱的维修操作；所述的约束路径预加载在虚拟维修系统中，对每一个待拆卸的零部件在其约束参数节点处添加坐标变换值，完成对底盘每一零部件的拆卸/装配的设定。

在虚拟维修系统中，添加了所需的装配路径规划节点和约束节点，并根据装配顺序将Group节点进行重新排序，对每一个待拆卸的子部件在其约束参数节点处添加坐标变换值，完成对底盘每一子部件的拆卸/装配的设定。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于，所述的虚拟人机交互控制方法包括：

S1：虚拟手的建模仿真过程，利用3DS MAX软件、VC++和Open Inventor图形接口软件建立虚拟手的模型；

S2：利用虚拟交互的凸集分解算法对S1建立的虚拟手模型和零部件之间的碰撞、穿透、抓取和拖放关系的判断；

S3：经S2对虚拟手模型和零部件之间的关系判断后，进行基于数据手套的交互式虚拟维修过程。

2.根据权利要求1所述的一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于：步骤S1所述的虚拟手的建模仿真过程具体包括以下步骤：

S11：测量人手数据，将数据手套戴到需要测量的手上，测量人手数据；

S12：虚拟手的建模，将步骤一数据手套测得的人手数据利用3DS MAX软件映射到虚拟场景中，完成数据手套和虚拟环境的交互工作；

S13：虚拟手的加载，利用VC++和Open Inventor图形接口软件来建立一个视口，读取步骤二虚拟手3D文件中的数据，并将其绘制在窗口中，形成新的虚拟手的模型。

3.根据权利要求1所述的一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于：步骤S2所述的虚拟交互的凸集分解算法包括：面向对象的基于凸集面片的AABB层次包围盒碰撞检测算法、基于凸集面片的虚拟手穿透限制算法、虚拟手的抓取和拖放操作算法。

4.根据权利要求3所述的一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于：所述的基于凸集面片的AABB层次包围盒碰撞检测算法的具体判断步骤为：

1)设当前虚拟手的包围盒为h_a,零部件的包围盒为h_b，将虚拟手的造型和三维零部件均分解成凸集面片的集合，设虚拟手的面片数为N_a,凸集面片数为N_a′；零部件的面片数为N_b，凸集面片数为N_b′(N_b′≤N_b)；

2)判断虚拟手的包围盒为h_a与零部件的包围盒为h_b是否相交，若相交，进行下一步判断，若不相交，进行下一个零部件的判断；

3)根据步骤2的判断结果，判断虚拟手的面片数为N_a与零部件的面片数为N_b是否相交，若相交，进行下一步判断，若不相交，进行下一个零部件的判断；

4)根据步骤3的判断结果，进一步判断虚拟手的凸集面片数为N_a′与零部件的凸集面片数为N_b′是否相交，若相交，记录发生碰撞的零部件、发生碰撞的凸面和凸面片的集合，若不相交，进行下一个零部件的判断；

其中：N_a′≤N_a，N_b′≤N_b，N_a′≤N_a≤h_a，N_b′≤N_b≤h_b。

5.根据权利要求3所述的一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于：所述的基于凸集面片的虚拟手穿透限制算法的具体判断步骤为：

1)将虚拟手和零部件投影在三维坐标系中，设虚拟手的手指为F(x_f,y_f,z_f),零部件面片为T，虚拟手的手指F(x_f,y_f,z_f)与零部件面片T的接触点为P，P点处三角面片的法线方向为n(n_x、n_y、n_z)，n的反方向为物体的内部，n_x、n_y、n_z为n在X，Y，Z三坐标轴上的投影；

2)判断虚拟手的手指F在运动方向的三个分量x_f,y_f,z_f与P点处三角面片的法线方向为n的三个对应分量n_x、n_y、n_z是否具有相同的方向：

a.x_f,y_f,z_f与n_x、n_y、n_z具有相同的方向，即虚拟手没有接触或穿透物体，此时将虚拟手的颜色不变化；

b.x_f,y_f,z_f与n_x、n_y、n_z三个分量之一具有相反的方向，虚拟手处于抓取接触状态，虚拟手的颜色变为绿色。

6.根据权利要求3所述的一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于：所述的虚拟手的抓取和拖放操作算法的具体判断步骤为：

1)读取虚拟手在场景中的数据信息；

2)利用基于凸集面片的AABB层次包围盒碰撞检测算法判断虚拟手与零部件是否发生相交，若相交，进行下一步判断，若不相交，调整虚拟手的位置和姿态；

3)根据步骤2判断结果，进一步判断虚拟手是否符合抓取条件，若符合抓取条件，进行下一步判断，若符合抓取条件，调整虚拟手的位置和姿态；

4)根据步骤3判断结果，控制虚拟手对零部件进行抓取和拖放操作，从而进行维修；

其中：在虚拟手进行抓取和拖放操作过程中，必须有两个或两个以上的手指与零部件相接触，并且其中一个必须为大拇指；虚拟手指与零部件接触面的法线方向的夹角大于给定值；要实现虚拟手对零部件的抓取，手和物体的两个接触点的法线方向的夹角必须大于临界值。

7.根据权利要求1所述的一种基于凸集分解算法的虚拟人机交互控制方法，其特征在于：步骤S3所述的基于数据手套的交互式虚拟维修的具体过程为：

S31.将虚拟手的建模仿真过程建立的虚拟手和需要维修的部件加载在构建的虚拟场景中；

S32.维修人员佩戴立体眼镜，并且借助Joystick交互工具，对虚拟现实场景中的变速箱、主减速器和底盘进行维修和拆卸，并按约束路径将拆卸下的零部件拖放到预定位置；

其中：维修人员借助于Joystick维修人员可以实现在虚拟场景中对视角远近及方向的控制，并结合数据手套的灵活性完成对变速箱的维修操作；所述的约束路径预加载在虚拟维修系统中，对每一个待拆卸的零部件在其约束参数节点处添加坐标变换值，完成对底盘每一零部件的拆卸/装配的设定。

Images