CN115644539A - 一种联合触觉与力反馈的操作感知手套及其人机交互方法 - Google Patents

Abstract

本发明公开了一种联合触觉与力反馈的操作感知手套，涉及人工智能交互领域，包括手套本体、手指运动采集器、软体阻尼器、柔性触觉执行器、感知反馈驱动器和主控制器，手指运动采集器用于实时测量手指运动参数；软体阻尼器用于提供手套抓握过程中的阻尼感和力反馈；柔性触觉执行器用于生成手指弯曲运动阻力和触觉反馈；感知反馈驱动器用于驱动软体阻尼器和柔性触觉执行器，动态设定驱动参数；主控制器用于实时记录运动参数和空间位姿，根据虚拟操作/抓握状态或主从操作/抓握状态生成驱动参数。本发明实现了手指运动参数、力反馈和触觉反馈等三种操作感知特征的有机融合，显著提升了操作虚拟环境五指手或遥操作从手过程中的临场感和沉浸感。

Description

一种联合触觉与力反馈的操作感知手套及其人机交互方法

技术领域

本发明涉及人工智能交互领域，尤其涉及一种联合触觉与力反馈的操作感知手套及其人机交互方法。

背景技术

数据手套是手势识别、虚拟现实(VR)场景交互、遥操作等人机技术的直观控制输入，比如，在VR领域手套有望代替手柄成为VR触觉的主流输入设备，在工业/安防排爆场景运用手套进行机器人遥操作，可增强操作者对远端、危险环境的操控能力。然而，现有的数据手套大多仅能提供关节角度的测量，缺乏对控制场景的感知反馈，如交互力、触觉等，因此难以满足操作者对临场感和沉浸感的需求。

数据手套的力反馈通常指将机器人灵巧手或VR场景虚拟手与环境的作用力，通过执行器产生压力、振动等方式反馈给操作者的过程。人机交互的力反馈手套能够进行交互力反馈并大大增加手指运动的自由度，增强用户在虚拟场景中的沉浸感。近年来，大量研究者利用不同原理开发了各式各样的力反馈手套，如HaptX利用微流体技术和力反馈技术，让用户在虚拟环境中感受虚拟物体；微软利用手指关节处的离合器组件提供的反作用力以提供触觉反馈。这些技术和产品极大地提高了力反馈手套的功能和便携性，推进了力反馈技术的发展。但现有的力反馈手套仍然存在诸多问题和挑战：过多聚焦于实现手部的交互力反馈，缺少触觉的反馈，难以实现对操作物体的纹理、重量、硬度等属性的感知，在抓取操作场景下容易出现失真感；力反馈装置大多采用刚性结构，体积大、重量重、功耗大，长时佩戴容易导致用户疲劳；手套的设计不符合人体工学，外骨骼样式的力反馈装置限制了手指的灵活运动和运动范围，且无法实现手指全关节的精细运动控制。

因此，本领域的技术人员致力于开发一种联合触觉与力反馈的操作感知手套及其人机交互方法，能够实现力反馈和触觉反馈，提升抓取操作场景下的沉浸感，并且能降低手套重量，提升穿戴舒适性和交互体验。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在数据手套上集成柔性穿戴式触觉和力反馈系统，借助力阻抗、机械刺激构建力反馈及触觉的联合感知反馈，以实现沉浸式的人机交互体验。

为实现上述目的，本发明提供了一种联合触觉与力反馈的操作感知手套，包括手套本体、手指运动采集器、软体阻尼器、柔性触觉执行器、手部运动定位追踪器、感知反馈驱动器和主控制器，其中，所述手指运动采集器用于实时测量手指运动参数；所述软体阻尼器用于提供手套抓握过程中的阻尼感和力反馈；所述柔性触觉执行器用于生成手指弯曲运动阻力和触觉反馈；所述感知反馈驱动器用于驱动所述软体阻尼器和所述柔性触觉执行器，动态设定阻尼感、力反馈和触觉反馈的大小；所述主控制器用于实时记录所述手指运动采集器测量的运动参数和所述手部运动定位追踪器感知的空间位姿；所述主控制器根据虚拟操作/抓握状态或主从操作/抓握状态生成阻尼感、力反馈和触觉反馈的值，并传输给所述感知反馈驱动器。

进一步地，所述手指运动采集器为柔性基底传感器，所述柔性基底传感器集成于所述手套本体内部，穿戴时与人手指背接触。

进一步地，所述手指运动采集器为手指运动传感器，所述手指运动传感器集成于手套远指关节背部。

进一步地，所述软体阻尼器集成于所述手套本体手背处；所述软体阻尼器包括软体阻尼器固定座、气动波纹管、波纹管输气管。

进一步地，所述软体阻尼器通过所述软体阻尼器固定座安装在所述手套本体上，模拟人手关节韧带与骨骼的拓扑连接模式，结合人手肌骨系统的拮抗、拉压、协同作用机制，通过所述气动波纹管和所述波纹管输气管提供手套抓握过程中的阻尼感和力反馈。

进一步地，所述柔性触觉执行器集成于所述手套本体手掌处、指腹及指尖，所述柔性触觉执行器包括触觉气泡组、柔性触觉执行器输气管；所述触觉气泡组为多个脊状充气塑料片或充气囊阵列。

进一步地，所述手部运动定位追踪器采用惯性测量单元结合卡尔曼滤波方法实时解算手套的空间位姿。

进一步地，所述感知反馈驱动器为伺服电机、气泵或人工肌肉。

一种联合触觉与力反馈的操作感知手套的人机交互方法，所述方法包括以下步骤：

步骤1、人手戴上操作感知手套，主控制器建立手套至虚拟手或遥操作从手的双向映射关系模型；

步骤2、通过所述手指运动采集器测量的运动参数和所述手部运动定位追踪器感知的空间位姿控制虚拟手或遥操作从手的同步运动；

步骤3、将虚拟手或遥操作从手的阻尼感、力反馈和触觉反馈经机械刺激编码反馈至人手。

进一步地，所述步骤3还包括：

所述主控制器根据虚拟手或遥操作从手的抓握状态生成阻尼感、力反馈和触觉反馈；

所述主控制器通过对所述气动波纹管进行气压控制，使手指产生力反馈效果；

所述主控制器通过对所述触觉气泡组进行气压控制，使手指产生触觉反馈效果。

与现有技术相比，本发明具有如下有益技术效果：

(1)本发明实现了手指运动参数、力反馈和触觉反馈等三种操作感知特征的有机融合，显著提升了操作虚拟环境五指手或遥操作从手过程中的临场感和沉浸感；

(2)本发明中力反馈和触觉反馈采用柔性设计，避免了运动和感知的相互干涉，降低手套重量的同时，提升了穿戴舒适性与交互体验。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的系统结构框图；

图2是本发明的一个较佳实施例的总体示意图；

图3是本发明的一个较佳实施例的单手指示意图；

图4是本发明的一个较佳实施例的手背示意图；

图5是本发明的一个较佳实施例的单通道气路的控制系统示意图；

图6是本发明的一个较佳实施例的人机交互方法框图。

其中，1-手套本体；2-软体阻尼器；3-柔性触觉执行器；4-软体阻尼器固定座；5-手指运动传感器；6-气动波纹管；7-柔性触觉执行器输气管；8-触觉气泡组；9-波纹管输气管；10-主控制器；11-气路总成；12-气泵；13-压强传感器；14-二位四通电磁阀；15-执行气动元件。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明提供了一种联合触觉与力反馈的操作感知手套，包括手套本体1、手指运动采集器、软体阻尼器2、柔性触觉执行器3、手部运动定位追踪器、感知反馈驱动器和主控制器10。

具体地，如图2、图3和图4所示，手指运动采集器、软体阻尼器2、柔性触觉执行器3、主控制器10和手部运动定位追踪器集成在手套本体1上。手指运动采集器由手指运动传感器5实现，集成于手套远指关节背部，通过惯性测量单元(IMU)，实时测量手指弯曲角度及速度等运动参数，测量数据由主控制器10实时记录；软体阻尼器2集成于手套本体1手背处，通过软体阻尼器固定座4安装在手套本体1上，模拟人手关节韧带与骨骼的拓扑连接模式，结合人手肌骨系统的拮抗、拉压、协同作用机制，通过气动波纹管6和波纹管输气管9提供手套抓握过程中的阻尼感和力反馈；柔性触觉执行器3集成于手套本体1的手掌处、指腹及指尖，由触觉气泡组8实现，用以生成手指弯曲运动阻力和触觉反馈，触觉气泡组8由多个脊状充气塑料片或充气囊阵列组成；手部运动定位追踪器集成于手套本体1手背处，可采用惯性测量单元结合卡尔曼滤波方法实时解算手套的空间位姿。

感知反馈驱动器由气泵12实现，通过气路总成11驱动软体阻尼器2和柔性触觉执行器3，经压强传感器13、二位四通电磁阀14动态设定阻尼感、力反馈和触觉反馈的大小，如图5所示。气路总成11包含一系列波纹管输气管9和柔性触觉执行器输气管7，执行气动元件15包含一系列气动波纹管6和触觉气泡组8，分别用于实现软体阻尼器2和柔性触觉执行器3的既定功能。感知反馈驱动器的驱动参数，由主控制器10根据虚拟操作/抓握状态或主从操作/抓握状态生成。当主控制器10需要对手指传递压力或张力时，通过对气动波纹管6的气路进行气压控制，便可对手指产生力反馈效果；类似的，也可通过相似的气路系统对触觉气泡组8进行气压控制，使得手指产生触觉感受。主控制器10和感知反馈驱动器可以根据遥操作远端反馈的信息提供阻力限制手指的运动，使得操作者可以感知远端从手的姿态。

除气泵12外，感知反馈驱动器也可采用伺服电机或人工肌肉等方式实现；特别地，用于柔性触觉执行器3的感知反馈驱动器优选为气泵12；特别地，若用于软体阻尼器2的感知反馈驱动器为伺服电机，则手背部分采用牵引绳机构进行作作用力控制，根据牵绳机构的力-位混合控制方法实现力反馈功能。

在另一实施例中，手指运动采集器可由柔性基底传感器实现，柔性基底传感器集成于手套本体1内部，穿戴时与人手指背接触，可采用压阻式或光纤式或柔性电容式传感器，用于实时测量手指弯曲角度及速度等运动参数，测量数据由主控制器10实时记录。

如图6所示，为本实施例的人机交互方法框图，通过人手运动参数测量、虚拟手或遥操作从手控制、感知信号测量、反馈力及触觉模式的机械刺激编码、软体阻尼器2和柔性触觉执行器3的作动实现。主控制器10建立手套至虚拟手或遥操作从手的双向映射关系模型，通过人手运动参数测量控制虚拟手或遥操作从手的同步运动，同时将虚拟手或遥操作从手的接触力信号、触觉信号、运动阻抗信号等感知信息经机械刺激编码反馈至人手。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种联合触觉与力反馈的操作感知手套，其特征在于，包括手套本体、手指运动采集器、软体阻尼器、柔性触觉执行器、手部运动定位追踪器、感知反馈驱动器和主控制器，其中，所述手指运动采集器用于实时测量手指运动参数；所述软体阻尼器用于提供手套抓握过程中的阻尼感和力反馈；所述柔性触觉执行器用于生成手指弯曲运动阻力和触觉反馈；所述感知反馈驱动器用于驱动所述软体阻尼器和所述柔性触觉执行器，动态设定阻尼感、力反馈和触觉反馈的大小；所述主控制器用于实时记录所述手指运动采集器测量的运动参数和所述手部运动定位追踪器感知的空间位姿；所述主控制器根据虚拟操作/抓握状态或主从操作/抓握状态生成阻尼感、力反馈和触觉反馈的值，并传输给所述感知反馈驱动器。

2.如权利要求1所述的联合触觉与力反馈的操作感知手套，其特征在于，所述手指运动采集器为柔性基底传感器，所述柔性基底传感器集成于所述手套本体内部，穿戴时与人手指背接触。

3.如权利要求1所述的联合触觉与力反馈的操作感知手套，其特征在于，所述手指运动采集器为手指运动传感器，所述手指运动传感器集成于手套远指关节背部。

4.如权利要求1所述的联合触觉与力反馈的操作感知手套，其特征在于，所述软体阻尼器集成于所述手套本体手背处；所述软体阻尼器包括软体阻尼器固定座、气动波纹管、波纹管输气管。

5.如权利要求4所述的联合触觉与力反馈的操作感知手套，其特征在于，所述软体阻尼器通过所述软体阻尼器固定座安装在所述手套本体上，模拟人手关节韧带与骨骼的拓扑连接模式，结合人手肌骨系统的拮抗、拉压、协同作用机制，通过所述气动波纹管和所述波纹管输气管提供手套抓握过程中的阻尼感和力反馈。

6.如权利要求5所述的联合触觉与力反馈的操作感知手套，其特征在于，所述柔性触觉执行器集成于所述手套本体手掌处、指腹及指尖，所述柔性触觉执行器包括触觉气泡组、柔性触觉执行器输气管；所述触觉气泡组为多个脊状充气塑料片或充气囊阵列。

7.如权利要求6所述的联合触觉与力反馈的操作感知手套，其特征在于，所述手部运动定位追踪器采用惯性测量单元结合卡尔曼滤波方法实时解算手套的空间位姿。

8.如权利要求7所述的联合触觉与力反馈的操作感知手套，其特征在于，所述感知反馈驱动器为伺服电机、气泵或人工肌肉。

9.如权利要求8所述的联合触觉与力反馈的操作感知手套的人机交互方法，其特征在于，所述方法包括以下步骤：

步骤1、人手戴上操作感知手套，主控制器建立手套至虚拟手或遥操作从手的双向映射关系模型；

步骤2、通过所述手指运动采集器测量的运动参数和所述手部运动定位追踪器感知的空间位姿控制虚拟手或遥操作从手的同步运动；

步骤3、将虚拟手或遥操作从手的阻尼感、力反馈和触觉反馈经机械刺激编码反馈至人手。

10.如权利要求9所述的联合触觉与力反馈的操作感知手套的人机交互方法，其特征在于，所述步骤3还包括：

所述主控制器根据虚拟手或遥操作从手的抓握状态生成阻尼感、力反馈和触觉反馈；

所述主控制器通过对所述气动波纹管进行气压控制，使手指产生力反馈效果；

所述主控制器通过对所述触觉气泡组进行气压控制，使手指产生触觉反馈效果。

Images