CN113419636B

CN113419636B - 虚拟维修中手势识别方法及工具自动匹配方法

Info

Publication number: CN113419636B
Application number: CN202110965204.9A
Authority: CN
Inventors: 金玉雪; 耿杰; 李颖; 吕川; 彭旭; 邱标
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2021-08-23
Filing date: 2021-08-23
Publication date: 2021-11-30
Anticipated expiration: 2041-08-23
Also published as: CN113419636A

Abstract

本发明公开一种虚拟维修中手势识别方法及工具自动匹配方法，涉及虚拟维修技术，包括建立采集人手在真实空间中手势的数据手套与生成虚拟手的虚拟手生成设备的连接；通过将数据手套捕获的人手在真实空间中手势变化的位置信息同步到虚拟手生成设备，使虚拟手生成设备生成对应的虚拟手的手势位置信息；在手势与工具匹配数据库中查询与虚拟手的手势位置信息对应的工具位置信息；根据查询结果确定匹配工具，本发明避免了在整个手部选取特征点时的繁琐匹配计算；同时适用于非沉浸式和沉浸式虚拟维修仿真两种工作模式；降低了虚拟维修仿真中手部姿态调整的重复性和复杂性工作；为虚拟现实领域中自动化和智能化的发展方向提供了技术可行性。

Description

虚拟维修中手势识别方法及工具自动匹配方法

技术领域

本发明涉及虚拟维修技术领域，具体涉及一种虚拟维修中手势识别方法及工具自动匹配方法。

背景技术

维修性是产品，尤其是高技术装备产品的一项重要特性。装备的维修性好坏直接决定了装备的经济性好坏和使用率的高低。良好维修性，是保持、恢复乃至提高作业效率的重要因素。传统的基于专家知识、相似装备的维修经验等依托实物样机的维修性分析，由于周期长、滞后性大、研制费用高等问题，已经不能够很好地适应越来越复杂的装备维修性分析。

近年来，随着数字样机和虚拟现实技术的发展，基于虚拟现实的维修性分析技术得到了广泛的应用。虚拟维修仿真技术作为虚拟现实技术在产品维修性设计领域中的重要应用，对产品维修性设计的提高有着重要的作用，近年来，不管是维修性的定性因素和定量因素，虚拟维修仿真技术都有着相应的技术手段对这两个重要方面提供了技术支撑。

在维修过程中，维修工具使用作为维修人员维修操作的辅助手段，是顺利完成复杂零部件拆卸装配等维修工作重要环节。更快捷、简单的实现工具选择，可以提高虚拟维修仿真的效率，然而在在实际维修活动中常用的工具有紧固件拆装工具（如扳手、解刀等），夹具，钳类，刀具，量具（如游标卡尺、电表等），焊接工具，锤类、刮刀、钢丝刷等。工具种类繁多，同一类型工具也有着许多不同的型号。维修操作者在使用工具时，面临着工具选择的问题。在目前的虚拟仿真系统中主要有两种工具选择方法，一种是人工选择，用户通过鼠标键盘输入已掌握的工具特征信息，从工具列表中搜索选定合适的工具，其大多应用于非沉浸式仿真过程中，交互方式不够自然，且需要用户选择之前必须掌握大量特征信息。另一种是自动选择，其实现方法有很多种，例如基于元件形状特征的方法、基于装配特征的方法，这些方法很好解决了虚拟装配系统中装配工具的自动选择和定位，但其忽视了在工具选择过程中人的交互作用。

发明内容

为解决目前存在的问题，本发明提供一种虚拟维修中手势识别及工具自动匹配方法，本发明方法通过匹配作业过程中手的末端位置信息与工具操作时的位置信息所生成的映射关系，实现具有更佳交互效果的虚拟装配系统中装配工具的自动选择和定位。

为实现本发明的技术目的，本发明第一方面提供虚拟维修中手势识别方法及工具自动匹配方法，包括：

建立用于采集人手在真实空间中手势的数据手套与生成虚拟手的虚拟手生成设备的连接；

通过将所述数据手套捕获的人手在真实空间中手势变化的位置信息同步到虚拟手生成设备，使虚拟手生成设备生成与人手在真实空间中手势位置信息对应的虚拟手的手势位置信息；

在手势与工具匹配数据库中查询与所述虚拟手的手势位置信息对应的工具位置信息；

根据查询结果确定与虚拟手的手势位置信息相匹配的手势匹配工具。

其中，所述虚拟维修中手势识别方法及工具自动匹配方法，还包括：

虚拟手生成设备在生成所述虚拟手的手势位置信息之后，发出查询请求；

所述手势与工具匹配数据库根据所述查询请求，在手势与工具匹配数据库中查询与所述虚拟手的手势位置信息对应的工具位置信息。

其中，人手在真实空间中手势位置信息是人手在真实空间中的手部末端位置信息；所述虚拟手的手势位置信息是虚拟手的手部末端位置信息。

其中，建立手势与工具匹配数据库包括：

通过获取手部末端位置信息，得到手部末端特征点位置；

通过获取手部末端与工具接触时的工具位置信息，得到工具特征点位置；

建立手部末端特征点位置与工具特征点位置的映射关系。

其中，所述在手势与工具匹配数据库中查询与虚拟手的手势位置信息对应的工具位置信息包括：

利用所述映射关系将虚拟手生成设备生成的虚拟手的手部末端位置信息映射为工具位置信息；

通过将所映射的工具位置信息与手势与工具匹配数据库中保存的工具位置信息进行逐一比对，从所述手势与工具匹配数据库中查找相同的工具位置信息。

其中，所述人手在真实空间中手势位置信息是人手在真实空间中的手部指尖位置信息；所述虚拟手的手势位置信息是虚拟手的手部指尖位置信息。

其中，建立手势与工具匹配数据库包括：

通过获取手部指尖位置信息，得到手部指尖特征点位置；

通过获取手部指尖与工具接触时的工具位置信息，得到工具特征点位置；

建立手部指尖特征点位置与工具特征点位置的映射关系。

其中，在手势与工具匹配数据库中查询与虚拟手的手势位置信息对应的工具位置信息包括：

利用所述映射关系将虚拟手生成设备生成的虚拟手的指尖位置信息映射为工具位置信息；

其中，根据查询结果确定与系列虚拟手的手势位置信息相匹配的手势匹配工具包括：

若从所述手势与工具匹配数据库中查找到相同的工具位置信息，则将查找到的相同工具位置信息所对应的工具作为所述手势匹配工具；

将所述手势匹配工具自动匹配到虚拟手手中。

其中，在手势与工具匹配数据库中查询与虚拟手的手势位置信息对应的工具位置信息还包括：

所述手势与工具匹配数据库判断所述虚拟手的手部末端位置信息是否满足预置的可容忍匹配误差，若满足，则开始查询；反之，则拒绝查询；或者

所述手势与工具匹配数据库判断所述虚拟手的指尖位置信息是否满足预置的可容忍匹配误差，若满足，则开始查询；反之，则拒绝查询。

有益效果

1、本发明利用手指末端的空间位置信息即可确定维修手势，简化了传统的在整个手部进行特征点选取所进行的繁琐匹配计算，方法简单，手势识别效果佳；

2、本发明通过维修过程中手指末端与工具接触点在手指的位置构建了手势与工具的匹配库，降低了虚拟维修仿真中手部姿态调整的重复性和复杂性工作。

3、本发明提供的匹配方法既可以适用于非沉浸式和沉浸式虚拟维修仿真两种工作模式，普适应广。

4、本发明方法简化了传统的虚拟维修，提高了虚拟维修仿真效率，为虚拟现实领域中自动化和智能化的发展方向提供了基础。

附图说明

图1为本发明提供的一种虚拟维修中手势识别方法的步骤流程图；

图2为实施例1的考虑手指末端位置的手势识别及工具自动匹配方法原理框图；

图3为实施例1的手势与工具的匹配建立流程图；

图4为实施例1的虚拟手运动控制基本流程图；

图5为应用实施例提供的棘轮扳手的抓握动作的手势识别与工具自动匹配过程示意图。

具体实施方式

下面将结合示意图对本发明方法和系统进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

下述实施例中所使用的实验方法如无特殊说明，均为常规方法。下述实施例中所用的结构、材料等，如无特殊说明，均可从商业途径得到。

如图1所示，本发明提供的虚拟维修中手势识别方法及工具自动匹配方法，包括：

步骤S101，建立用于采集人手在真实空间中手势的数据手套与生成虚拟手的虚拟手生成设备的连接；

步骤S102，通过将所述数据手套捕获的人手在真实空间中手势变化的位置信息同步到虚拟手生成设备，使虚拟手生成设备生成与人手在真实空间中手势位置信息对应的虚拟手的手势位置信息；

步骤S103，在手势与工具匹配数据库中查询与所述虚拟手的手势位置信息对应的工具位置信息。

步骤S104，根据查询结果确定与虚拟手的手势位置信息相匹配的手势匹配工具。

具体的，本发明提供的虚拟维修中手势识别方法及工具自动匹配方法，还包括：

步骤S105，虚拟手生成设备在生成所述虚拟手的手势位置信息之后，发出查询请求；

进一步的，人手在真实空间中手势位置信息是人手在真实空间中的手部末端位置信息；所述虚拟手的手势位置信息是虚拟手的手部末端位置信息。

进一步的，建立手势与工具匹配数据库包括：

通过获取手部末端位置信息，得到手部末端特征点位置；

建立手部末端特征点位置与工具特征点位置的映射关系

进一步的，在手势与工具匹配数据库中查询与虚拟手的手势位置信息对应的工具位置信息包括：

进一步的，人手在真实空间中手势位置信息是人手在真实空间中的手部指尖位置信息；所述虚拟手的手势位置信息是虚拟手的手部指尖位置信息。

进一步的，建立手势与工具匹配数据库包括：

通过获取手部指尖位置信息，得到手部指尖特征点位置；

建立手部指尖特征点位置与工具特征点位置的映射关系。

进一步的，根据查询结果确定与系列虚拟手的手势位置信息相匹配的手势匹配工具包括：

将所述手势匹配工具自动匹配到虚拟手手中。

进一步的，在手势与工具匹配数据库中查询与虚拟手的手势位置信息对应的工具位置信息还包括：

利用本发明上述方法在虚拟维修中进行手势识别和工具自动匹配的具体过程如下：

实施例1

本发明提供的考虑手指末端位置的手势识别及工具自动匹配方法原理如图2所示，具体为：

1、建立手势与工具的匹配库

在现实环境中，利用动捕设备抓握工具，将手的末端位置作为手势特征点，并采集获取该特征点在人体自身局部坐标系中的位置信息。同时，结合抓握工具时工具自身与手接触点的信息，获取该特征点在工具自身局部坐标系中的位置信息。以手和工具位置信息为基础，形成二者的映射关系，实现匹配库的建立。

具体的：首先利用动捕设备抓握工具时采集获取手部末端位置信息，并在其中提取手的特征点位置信息，确定手势特征；然后结合工具操作时接触位置上的空间位置数据，建立手势特征与工具的映射关系，从而得到手势与工具的匹配库。匹配库的建立如附图3所示。

在对工具的实际操作过程中，手部指尖位置的位置信息通过动捕设备采集，是人体各标志点在人体坐标系下的三维坐标数据

，其中

表示手部的第

个指尖。设操作工具时共需要n个特征点，采用齐次空间规范表示，则手的特征点位置的集合为A：

指尖与工具的接触位置可以作为工具特征点，其位置信息通过建模采集，是在其局部坐标系下的三维坐标数据

，其中

表示手部的第

个指尖与其接触。设操作工具时共需要n个特征点，采用齐次空间规范表示，则特征点位置的集合为B：

在操作工具的过程中，由于对每个工具的作业位置都可以对应手部点的位置，也就是说，存在法则f，使得对指尖位置集合A中的每一个元素x_i，B中都有唯一确定的元素y（为了便于理解，可以记为f(x)）与x对应，可以得出工具位置识别集与指尖位置识别集的映射关系如下：

2、虚实空间手势同步

建立数据手套和虚拟手的连接关系，实现虚拟和真实空间中手势动作的者同步。

装备维修过程包含很多维修手势，每个维修手势有一组与空间坐标一一对应的位置信息。

动捕设备对手部信息的追踪描述是通过对手部信息包括指尖、关节点、方向向量、法向量等的精细化描述，利用这些信息实现对手势的特征提取和准确识别。

在本发明中考虑实际匹配时，只对手部末端肢节的空间位置信息提取，将动捕设备和虚拟手二者的信息同步，建立数据手套与虚拟手的连接关系，为得到虚拟手空间位置信息提供基准。

3、实时获取手部指尖空间位置信息

在步骤2的基础上，实时获取手指末端肢节的空间位置信息，记录工具操作过程中手部空间位置的数据变化。

虚拟环境空间内手势识别时，姿态更新可分为两部分，首先获取手掌和指骨本体坐标各轴向的当前指向，并将其转化为场景全局坐标，而后依次绕各轴旋转，使本体坐标各轴指向为0，完成姿态更新，手势姿态的更新可以体现在手部末端肢节空间位置的更新。

由于手部姿态的连续变化导致设备采集到的数据产生变化，记录在工具操作这一过程中，手部空间位置的数据变化，保留坐标值，虚拟手运动控制的基本流程如图4所示。

4、计算手部当前位置和数据库标准位置关系

结合步骤1中得到的手势与工具库的匹配库，通过指尖标准空间位置数据与工具接触位置数据的映射关系，计算指尖当前位置与数据库中标准位置的关系。

步骤1中的指尖位置坐标和工具位置坐标之间的一一对应映射，实现了工具和手势空间位置之间的匹配库建立。结合指尖标准空间位置数据与工具接触位置数据的映射关系，计算指尖当前位置与数据库中标准位置的关系。

5、工具配对手势，实现自动匹配

以步骤3中实时获取的指尖空间位置信息为基础，与数据库中手势位置集合进行配对。同时考虑设定一定的误差阈值，实现二者的自动匹配。设定可容忍误差，当小于误差时，工具虚拟样机绑定到虚拟手对应的指尖位置，匹配成功。

其中，可容忍误差的计算是利用均方根进行计算。

在本发明的一个实施例中，针对实际应用时，不同虚拟工具对虚拟人维修的实际需求，如对于扳手这一工具，采取抓握这一姿态时，y坐标轴上的要求并不高，则其可容忍误差范围相对较大，因此，在这过程中引入可容忍误差

，可表示如下：

当两部分数据误差在可容忍误差

之内时，表示匹配成功，最终实现工具到手的自动匹配。这一配对过程相对于原始的过程更加简练，避免了在整个手部选取特征点时的繁琐匹配计算，降低了虚拟维修仿真中手部姿态调整的重复性和复杂性工作。

应用实施例

如图5所示，本发明以棘轮扳手的抓握动作为例，完成手势识别及工具的自动匹配，具体步骤如下：

1、启动动捕设备，并在虚拟场景中构建虚拟手，实现同步；

2、在实际环境中，调整手势，过程如下：2.1.手部呈放松状态；2.2.大拇指向掌心靠拢，四指自然张开；2.3.五指微弯，掌心微曲；2.4.手指弯曲，呈预抓取状态；2.5.手指围绕物体被握部位（假想）呈握拳状,抓握动作基本实现。

3、虚拟环境中，虚拟手的姿态也在实时同步地呈现上述5个变化；

4、实时获取虚拟手指尖的空间位置信息，并进行空间位置信息与数据库中标准位置信息的比对，并反馈于调整过程中；

5、当指尖与数据库中手指末端标准位置的关系满足设定的可容忍匹配误差时，触发数据库中当前手势下的工具选择，即目标工具被激活；

7、棘轮扳手的虚拟样机自动匹配到虚拟手中，完成工具的自动抓取。

以上所述仅为帮助理解本发明的优选实例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种虚拟维修中手势识别方法及工具自动匹配方法，其特征在于，包括：

通过将所述数据手套捕获的人手在真实空间中手部末端变化的位置信息同步到虚拟手生成设备，使虚拟手生成设备生成与人手在真实空间中手部末端位置信息对应的虚拟手的手部末端位置信息；

在手势与工具匹配数据库中查询与所述虚拟手的手部末端位置信息对应的工具位置信息；

根据查询结果确定与虚拟手的手部末端位置信息相匹配的手势匹配工具；

其中，所述手势与工具匹配数据库是预先建立的，建立手势与工具匹配数据库包括：

通过获取手部末端位置信息，得到手部末端特征点位置；

建立手部末端特征点位置与工具特征点位置的映射关系。

2.根据权利要求1所述的虚拟维修中手势识别方法及工具自动匹配方法，其特征在于还包括：

虚拟手生成设备在生成所述虚拟手的手部末端位置信息之后，发出查询请求；

所述手势与工具匹配数据库根据所述查询请求，在手势与工具匹配数据库中查询与所述虚拟手的手部末端位置信息对应的工具位置信息。

3.根据权利要求2所述的虚拟维修中手势识别方法及工具自动匹配方法，其特征在于，在手势与工具匹配数据库中查询与虚拟手的手部末端位置信息对应的工具位置信息包括：

4.根据权利要求1或2所述的虚拟维修中手势识别方法及工具自动匹配方法，其特征在于，所述手部末端是手部指尖；所述手部末端位置信息是人手在真实空间中的手部指尖位置信息；所述虚拟手的手部末端位置信息是虚拟手的手部指尖位置信息。

5.根据权利要求3所述的虚拟维修中手势识别方法及工具自动匹配方法，其特征在于，根据查询结果确定与虚拟手的手部末端位置信息相匹配的手势匹配工具包括：

将所述手势匹配工具自动匹配到虚拟手手中。

6.根据权利要求3所述的虚拟维修中手势识别方法及工具自动匹配方法，其特征在于，在手势与工具匹配数据库中查询与虚拟手的手部末端位置信息对应的工具位置信息还包括：

所述手势与工具匹配数据库判断所述虚拟手的手部末端位置信息是否满足预置的可容忍匹配误差，若满足，则开始查询；反之，则拒绝查询。