CN104156068A - 一种基于虚拟手交互特征层模型的虚拟维修交互操作方法 - Google Patents

Abstract

本发明提供了一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，属于维修性设计中虚拟维修的技术领域。本发明包括：通过实验确定虚拟手与维修工具的交互区域；对得到的交互区域简化，在虚拟环境中进行虚拟手交互特征点标识；通过数据手套实现虚拟手交互。获取虚拟手与虚拟维修工具接触的点，将所得到的接触点与对应的交互特征点进行匹配，当匹配成功时，将维修工具的坐标系依附于虚拟手坐标系上，进行虚拟维修。本发明实现沉浸式虚拟维修环境中维修动作的交互，从而提高了虚拟交互的准确性和用户操作的沉浸感。

Description

一种基于虚拟手交互特征层模型的虚拟维修交互操作方法

技术领域

本发明提供一种基于虚拟手交互特征层模型的虚拟手交互操作方法，具体的说，是一种应用于虚拟维修中改善产品的维修性设计，能够使之达到提高系统效能、减少寿命周期费用目标的方法，它属于维修性设计中虚拟维修的技术领域。

背景技术

维修性是产品在规定的条件下和规定的时间内，按规定的程序和方法进行维修时，保持或恢复其规定状态的能力。改善产品的维修性能够达到提高系统效能、减少寿命周期费用的目标。维修性的设计与分析是把维修性设计到产品中去，是实现维修性要求的核心和关键。

作者周栋、霍琳等在北京航空航天大学学报2011年02期公开了虚拟维修技术研究与应用。虚拟维修是利用虚拟现实技术对物理世界形象、直观的表达能力，在计算机生成的虚拟环境中，进行维修工程和维修性工程活动。通过对产品寿命周期中的维修性设计活动和维修过程进行统一建模，实时、并行地模拟出产品未来维修的全过程，突出对维修仿真过程的调度、控制、决策能力及其对产品设计的影响，预测产品维修性设计特性并优化产品维修方案，支持全过程、全系统的维修性设计评价、资源规划和维修规划决策。

通过利用虚拟维修技术，设计人员可以在虚拟环境中通过对产品的维修、零部件的拆卸仿真来发现设计中存在的维修问题，进行维修性分析；直至通过完整的维修过程模拟来辅助维修人员的训练，生成相应的维修技术手册。目前虚拟维修中，主要有两种交互方法，一种是基于抓取规则的交互方法，这种交互方法是通过制定一定的抓取规则，若满足此规则则视为已将虚拟物体抓起，但是这种交互方法仅仅是适用于物体抓取的过程，而不适用于使用过程；另一种交互方法是通过手势库匹配的交互方法，该方法是通过判断虚拟手的手势确定是否将虚拟物体抓取。现有的这些交互方法存在虚拟环境中人与虚拟物体间交互不准确性问题，虚拟人与虚拟维修工具间的交互性需要改进。

发明内容

本发明的目的是提供一种适用于沉浸式虚拟维修的基于虚拟手交互特征层模型的虚拟手交互方法，主要是根据虚拟环境中虚拟人与虚拟维修工具间的交互特点，对现有的交互方法进行改进，解决了虚拟环境中人与虚拟物体间交互的不准确性问题，提高了沉浸式虚拟维修中用户操作的准确性和沉浸感。

本发明提供了一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，包括如下步骤：

步骤一、通过实验确定虚拟手与维修工具的交互区域；

步骤二、进行虚拟手交互特征点标识，具体是：首先将虚拟手进行网格划分，其次将步骤一得到的交互区域一一标识在虚拟手网格中，形成虚拟手交互区域；最后，将虚拟手交互区域简化为交互特征点；

步骤三、虚拟手交互实现，具体是：通过数据手套把操作人员的手的状态信息输入到计算机，用虚拟手模拟操作人员的手在虚拟环境中的运动，获取虚拟手与虚拟维修工具接触的点，将所得到的接触点与步骤二得到的交互特征点进行匹配，若匹配成功，将维修工具的坐标系依附于虚拟手坐标系上，进行虚拟维修，若匹配不成功，操作人员对手形或位置进行调整，直至匹配成功为止。

所述的步骤一的实验方法是：首先将颜料涂抹在要进行实验的维修工具上，然后实验者手戴一次性手套去抓握维修工具，维修工具与虚拟手的交互区域便以颜料的形式在一次性手套中反映出来。

所述的步骤二中，将虚拟手进行网格划分，具体是：把虚拟环境中处于自然状态下的虚拟手进行横向40等分、纵向20等分的网格划分，定义图中左下方的点为坐标原点，每个网格的单位为1。

所述的步骤二中，将虚拟手交互区域简化为交互特征点，具体是：对于手指上以及手掌上方位置的各交互区域，简化为各交互区域的重心点；对于手掌下方位置的各交互区域，选取该交互区域长度方向的两个顶点以及该交互区域的重心点作为代表。

本发明的优点与积极效果在于：本发明实现了基于虚拟手交互特征点匹配的沉浸式虚拟维修交互方法，通过建立虚拟手交互特征点模型，确定虚拟手和维修对象的维修交互标志点，构建基于虚拟手交互特征点的交互系统架构，实现沉浸式虚拟维修环境中维修动作的交互，从而提高了虚拟交互的准确性和用户操作的沉浸感。

附图说明

图1是虚拟手交互标志点确定的示意图；

图2是观察法记录接触区域的示意图；

图3是不同颜料实验效果对比的示意图；

图4是虚拟手网格划分的示意图

图5是基于虚拟手交互特征层的交互系统架构的示意图；

图6是虚拟手交互实现方法流程图；

图7是扳手交互区域实验结果示意图；

图8中，(a)是扳手的虚拟手交互区域示意图，(b)是扳手的虚拟手交互特征点示意图；

图9中，(a)和(b)均是虚拟手交互结果的示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明在综合分析了虚拟维修过程中虚拟人与物体间交互原理的基础上，提出了通过实际操作实验确定手与操作对象的交互特征点，并将其反映在虚拟手上。并在此基础上形成虚拟手交互特征层模型。在交互过程中，通过碰撞检测得到虚拟手与操作对象间的接触点，并与得到的交互特征层模型中的交互特征点进行匹配，若匹配成功则实现交互。从而，使得虚拟维修中人与操作对象间的交互更加准确快速。本发明的基于虚拟手交互特征层模型的虚拟维修交互操作方法包括两大部分，即虚拟手交互特征点确定和虚拟手交互实现。

本发明是一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，具体实施步骤如下：

步骤一、设计实验确定虚拟手与维修工具的交互区域。

确定虚拟手交互特征点的原理框架如图1所示，包括三部分：基于单一维修操作实验的虚拟手交互区域确定、基于统计学基础的虚拟手网格划分、基于网格划分的虚拟手交互特征点标识。本步骤说明如何确定虚拟手与维修工具的交互区域。

虚拟手交互区域的确定是基于维修操作实验的基础上的。虚拟手交互区域即为手在使用维修工具时手与维修工具的接触区域，该区域的确定可以通过让实验者使用维修工具，然后将其在抓握工具时的接触区域记录下来。

起初选择把实验者使用维修工具的过程用拍照和录像的过程记录下来，之后再用观察的方法记录接触区域，如图2所示。但是以这种方式所记录的接触区域比较主观，有一部分接触区域是看不到的，只能凭借主观的猜想去记录，不够准确。因此，为了保证所记录的接触区域的准确性，最终确定的实验方法为：首先将合适的颜料涂抹在要进行实验的维修工具上，然后实验者手戴一次性手套去抓握维修工具，这样维修工具与虚拟手的交互区域便以颜料的形式在一次性手套中反映出来。

为了使接触区域清晰而准确的被记录下来，选取合适的涂料是必要的。实验分别选取粉笔末、墨水、粉笔末和墨水的混合颜料作为涂料，手去抓握带有涂料的维修工具后得到的实验结果如图3所示。图3中(a)为用粉笔末做涂料，(b)为用墨水做涂料，(c)为用粉笔末和墨水的混合颜料做涂料。从图中(a)(b)(c)对比的三种实验结果可以得知，由粉笔末和墨水混合而成的涂料既避免了粉笔末作为涂料时接触区域不清晰的缺点，又避免了由于单一使用墨水浓度较低，很难在工具上涂抹均匀的弊端，使得交互区域清晰而准确的被记录下来。

本发明通过设定的实验方案来确定虚拟手和操作对象的交互区域，进而所得到的交互特征点更加规范、准确，并且更具代表性。

步骤二、虚拟手交互特征点标识。

为了建立虚拟手交互特征层模型，需要将通过实验过程确定的接触区域反映在虚拟手上。根据ISO7250和GB10000中国成年人人体尺寸统计数据中人体手部尺寸表，可以计算得出人的食指指长与整只手的长度比例在0.365-0.370之间，因此可以近似认为人手的手指长度和整只手的比例是相同的。基于此，为了更准确的定位交互区域和交互特征点，可采取对虚拟手建立网格的方式，每个交点都有相对应的坐标值。本发明把虚拟环境中处于自然状态下的虚拟手进行横向40等分、纵向20等分的网格划分，定义图中左下方的点为坐标原点，每个网格的单位为1，划分结果如图4所示。

建立好虚拟手网格之后，将接触的交互区域一一反映在虚拟手网格中，形成虚拟手交互区域。为了更好的实现交互，需要对交互特征区域作简化处理，即将这些区域简化为交互特征点，所有的交互特征点形成了虚拟手交互特征点库。一般情况下，一块区域可被简化为它的重心点，对于扳手的交互特征区域来说，各个手指上以及手掌上方位置的交互区域可用该区域的重心点表示。但是当一块区域长和宽的比例较大时如掌心下方的区域，只取重心点已不能够准确表达交互区域，因此还要选取区域长度方向的两个顶点作为交互特征点，才能够准确表达该交互区域。至此便形成了虚拟手交互特征点集，为下一步的交互实现奠定了基础。

步骤三、虚拟手交互实现。

对虚拟手交互特征层的交互系统进行框架构建，如图5所示，该交互系统包括三层：人机交互接口层、数据处理层、数据库层。其中各层次的功能如下。

1)人机交互接口层：主要负责计算机、数据手套及人机交互界面、虚拟场景、碰撞检测包等各种软硬件的接口技术。

2)数据处理层：该层是整个系统的核心层，通过分析输入的数据手套数据信息，对虚拟人手模型通过碰撞检测得到与虚拟维修工具接触的点，将得到的交互点与数据库中的交互特征点进行匹配，然后返还匹配信息，若匹配成功，则将维修工具的坐标系依附于虚拟手坐标系上，并将虚拟模型的数据信息输出给人机交互界面。

3)数据库层：数据库层包括交互特征点库、交互匹配规则库、虚拟对象信息库(行为库)。

虚拟手交互操作通过数据手套，把操作人员手的状态信息输入到计算机，用虚拟手模拟操作人员的手在虚拟环境中的运动，并通过抓取、移动、释放维修工具完成虚拟维修过程。其中虚拟手与虚拟维修工具的交互实现方法的流程如图6所示。由操作人员对数据手套进行操作，通过获取数据手套各传感器和位置跟踪器的数据，对虚拟手的空间位置和方位值进行确定。然后通过虚拟手和维修工具碰撞检测获得所有接触点的坐标，之后对所获得的这些接触点与步骤二得到的该维修工具所对应的交互特征点进行匹配，若得到的接触点与交互特征点一致，则将维修工具的坐标系依附于虚拟手上，随虚拟手的移动带动维修工具的运动。若匹配不成功，则将匹配信息反馈给操作人员，操作人员根据反馈的匹配信息对手形或位置进行调整，直至满足匹配要求为止，实现交互。

实施例：

本实施例以虚拟人使用扳手的交互系统为例说明。以Delmia虚拟环境为背景，并利用数据手套采集手的姿态和动作，主要完成在虚拟环境下的虚拟手操纵虚拟扳手完成维修操作。

交互系统的主要功能为手部建模、坐标系转换、交互特征点匹配。包括三个子系统：人机交互接口层、数据处理层和数据库层。利用本发明实现该系统的交互，其应用的步骤和方法如下：

步骤一、通过实验确定交互区域。

依据所确定的实验方案，首先按照粉笔末和钢笔水1:2的比例混合得到合适密度的颜料；然后用刷子将颜料在扳手上涂抹均匀；实验者手戴一次性手套去抓取涂抹着颜料的扳手，所得到的实验结果如图7所示。

步骤二、虚拟手交互特征点标识。

在通过实验得到扳手的交互区域后，需要按照一一对应的关系将这些区域反映到虚拟手中，形成虚拟手交互区域。并通过交互区域简化得到虚拟手交互特征点。从实验结果可以得知，手在使用扳手时，与扳手交互的接触区域主要有10块。将这些区域一一反映在虚拟手中，得到的结果如图8中(a)所示。

为了更好的实现交互，对交互特征区域作简化处理。对于扳手的虚拟手交互特征区域，其各个手指及手掌上方位置的交互区域均可简化为各区域的重心点，如图8中(b)所示。其简化后的交互特征点坐标分别为A(11,16)B(17,21)C(14,24)D(10,24)E(6,24)F(14,32)G(11,34)H(6,33)I(2,29)。而对于虚拟手手掌下方位置的交互区域，由于该区域的长宽比例较大，只用其重心点已经不足以能够表达该交互区域，因此还要选取区域长度方向的两个顶点作为交互特征点，才可将该区域准确的表达出来。该交互区域的交互特征点坐标为J(2,3)K(6,8)L(9.5,12)。至此便形成了扳手的虚拟手交互特征点集，为下一步实现虚拟手与虚拟物体的交互奠定了基础。

步骤三、实现虚拟手交互。

首先操作者将数据手套佩戴好。然后在Delmia环境中，通过接口程序把通过数据手套采集的数据发送给虚拟环境。操作者通过观察虚拟环境中虚拟手与扳手的相对位置，不断调整虚拟手的位置，并不断向扳手靠近。在靠近扳手之后，以合适的手势去抓取扳手，进行虚拟手交互特征点匹配。并通过碰撞检测反馈的结果不断调整手的位置直至满足匹配条件，匹配成功后便可实现对扳手的移动旋转等操作，完成交互。交互结果如图9的(a)和(b)所示。

Claims (4)

1.一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，其特征在于，包括如下步骤：

步骤一、通过实验确定虚拟手与维修工具的交互区域；

步骤二、进行虚拟手交互特征点标识，具体是：首先将虚拟手进行网格划分，其次将步骤一得到的交互区域一一标识在虚拟手网格中，形成虚拟手交互区域；最后，将虚拟手交互区域简化为虚拟手交互特征点；

其中，将虚拟手交互区域简化为交互特征点，具体是：对于手指上以及手掌上方位置的各交互区域，简化为各交互区域的重心点；对于手掌下方位置的各交互区域，选取该交互区域长度方向的两个顶点以及该交互区域的重心点作为代表；

步骤三、虚拟手交互实现，具体是：通过数据手套把操作人员的手的状态信息输入到计算机，用虚拟手模拟操作人员的手在虚拟环境中的运动，获取虚拟手与虚拟维修工具接触的点，将所得到的接触点与步骤二得到的交互特征点进行匹配，若匹配成功，将维修工具的坐标系依附于虚拟手坐标系上，进行虚拟维修，若匹配不成功，操作人员对手形或位置进行调整，直至匹配成功为止。

2.根据权利要求1所述的一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，其特征在于，步骤一所述的实验，方法是：首先将颜料涂抹在要进行实验的维修工具上，然后实验者手戴一次性手套去抓握维修工具，维修工具与虚拟手的交互区域便以颜料的形式在一次性手套中反映出来。

3.根据权利要求2所述的一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，其特征在于，所述的颜料是用粉笔末和墨水混合的颜料。

4.根据权利要求1所述的一种基于虚拟手交互特征层模型的虚拟维修交互操作方法，其特征在于，步骤二中所述的将虚拟手进行网格划分，具体是：把虚拟环境中处于自然状态下的虚拟手进行横向40等分、纵向20等分的网格划分，定义图中左下方的点为坐标原点，每个网格的单位为1。