CN116841396A - 基于振动和皮肤位移控制的触觉手套装置及渲染方法 - Google Patents

Abstract

本发明涉及一种基于振动和皮肤位移控制的触觉手套装置及渲染方法，属于虚拟现实与人机交互领域。通过建立指尖与物体表面距离、物体刚度系数与表面曲率等形状特征与触觉驱动信号各参数之间的映射模型实现虚拟空间中三维物体轮廓、弹性、表面纹理、冲击和流体流动的触觉再现，触觉手套装置包括视听觉呈现单元、计算单元、姿态传感单元、触觉交互单元、指令控制单元和信号驱动单元。本发明优点在于：该触觉反馈装置可以在不施加强动觉力的情况下实现对虚拟空间三维物体的凸起、凹陷、边缘、软硬程度和表面纹理等特征以及冲击力、流体流动等触感的触觉再现，丰富触觉体验，增强与虚拟物体交互的真实感和沉浸感。

Description

基于振动和皮肤位移控制的触觉手套装置及渲染方法

技术领域

本发明属于虚拟现实与人机交互领域，尤其涉及一种基于振动和皮肤位移控制的触觉手套装置及渲染方法。

背景技术

触觉作为人体重要的感受通道，负责向人体传递外界的形状、体积、轮廓、材质、纹理和温湿度等触觉感受信息，目前现有的虚拟现实装备往往可以向使用者提供高清视觉呈现和环绕听觉呈现，但无法向使用者提供可信的真实感触觉呈现。随着虚拟现实显示技术的快速发展以及AR、VR设备的广泛普及，越来越多的人选择在虚拟空间进行娱乐、社交、购物和工作等活动，这对于触觉反馈的需求也日益增加，因此在虚拟空间中再现与物体交互的触觉反馈是一项亟待解决的问题。

目前应用在AR、VR领域，可以向人体提供触觉反馈的可穿戴装置大多集中在手套、腰带、背心、腕带和鞋等设备形式的研究，其中手套式的可穿戴装置普遍采用电机驱动产生动觉力推动整个手指运动，产生抓握、外部力作用等触觉感受；在皮肤触觉再现方面大多仅利用振动器向指尖提供单一的振动反馈提示，对于如何呈现虚拟世界中物体的轮廓、软硬程度和表面纹理的真实触觉感受这一关键问题研究较少，触觉反馈装置在指尖产生法向压力、多方向的皮肤位移和皮肤接触面积变化等触觉刺激方式被忽略。因此，开发出使用上述触觉刺激方式以呈现虚拟空间中三维物体轮廓、软硬程度和表面纹理的触觉感受的手套式触觉反馈装置和渲染方法是十分必要的。

目前已经有了一些手套式触觉反馈装置及渲染方法。

中国专利“面向移动终端的可穿戴指套式力触觉交互装置及实现方法”CN104898842A公开了一种应用在移动终端屏幕表面的可穿戴指套式力触觉交互装置及实现方法，它通过在指腹位置的3行3列压电陶瓷振动器阵列振动实现图片上粗糙度、形状、硬度等触觉感受的呈现，但其触觉刺激方式较为单一，真实感弱，没有考虑手部姿态对交互效果的影响，且只能应用于移动终端。

中国专利“一种多元触觉反馈手套”CN109375772A公开了一种可应用在虚拟现实的多元触觉反馈手套，该装置能够测量手指在空间的位置和姿态，在手指关节处通过改变装置刚度产生动觉力反馈，在指尖处通过软体驱动器弯曲产生指腹压力以及通过触觉反馈单元产生温度或纹理触觉感受。该装置能够简单的呈现人手抓握和捏握时的力觉感受，但是没有考虑到虚拟物体的弹性和边缘轮廓等特征的呈现，忽视了纹理触觉特征渲染方法，提供动觉力反馈具有一定的危险性，装置占用的手部空间大，可穿戴性较差。

2021年公布的中国专利“一种具有高精度力反馈的可穿戴柔性XR体感手套”CN113261727A、2017年公布的中国专利“一种体感游戏手套”CN107413047A、实用新型专利“一种可调节阻力的VR体感手套”CN215075756U分别通过微型减速电机、气动驱动以及液压驱动实现了手指整体或指关节的动觉力触觉反馈，能够呈现简单的抓握感，但以上装置结构复杂，可穿戴性较差，忽视了皮肤触觉信息的呈现。

中国专利“一种可提供夹持力感觉的波纹管式球囊型触觉手套及制作方法”CN107422855A公开了一种气动驱动的可穿戴式触觉反馈手套装置，该装置通过对手掌处球囊的充放气实现指尖接触感和压力，但仅能提供抓握动作下的触觉反馈。中国专利“一种用于虚拟现实系统的多信息体感交互手套系统及方法”CN106527738A公开了一种通过振动实现触觉反馈的手套系统及触觉呈现方法，但其振动器位于手指近指节的掌心一侧，仅能提供振动触觉提示，触觉呈现真实感弱。

发明内容

本发明提供一种基于振动和皮肤位移控制的触觉手套装置及渲染方法，以解决现有手套式可穿戴触觉反馈装置忽视指尖皮肤各方向位移这一刺激方式，缺失向使用者提供三维物体轮廓、柔软程度、表面纹理以及冲击力、流体流动等触觉感受的能力及渲染方法的问题。

本发明采取的技术方案是，建立虚拟空间下三维物体交互特征参数与触觉信号参数之间的数学映射模型，通过手套式触觉再现装置使用特定渲染方法以向使用者提供三维物体轮廓、柔软程度、表面纹理以及冲击力、流体流动等的触觉感受，具体渲染方法如下：

1)指尖位置的触觉反馈渲染方法：使用振动刺激渲染轮廓和纹理，使用法向压力刺激渲染弹性，使用指尖皮肤切向力刺激渲染摩擦力；

2)非指尖位置的触觉反馈渲染方法：使用安装在手指近端指节、手掌心、手背等其它非指尖部位的振动器产生振动触觉以渲染冲击力、虚拟物体轮廓以及流动状态下的气体或液体。

本发明所述的指尖位置的触觉反馈渲染方法，包括下列步骤：

1)虚拟空间中手指与物体表面交互过程分为四个阶段，分别为：无触觉效果阶段、示廓阶段、接触阶段、穿透警告阶段；

具体阶段划分方法为：获得手指指腹中心点在虚拟空间中的空间坐标P，以P点为中心在指腹切面方向上构建一个对应半径为0.5cm的圆，称之为指尖圆，在指尖圆上均匀获取12个点，称之为指尖点，其空间坐标为P_i，i为1到12；以12个指尖点为起点求得各指尖点距离虚拟空间物体表面的最小距离，其指尖点距离长度为L_i，i为1到12；选取12个指尖点距离长度中的最小值作为指尖到虚拟物体表面的距离为L_f，当指尖点在物体外部L_f为正值，在物体内部L_f为负值；L_f对应的与物体表面的交点称为表面接触点P_s；

根据L_f的值判定当前手指所处于的交互过程阶段，具体为：当L_f∈[0.5×l₁,+∞)，为无触觉效果阶段；当L_f∈[0.2×l₂,0.5×l₁)，为示廓阶段；当L_f∈[-0.5×l₃,0.2×l₂)，为接触阶段；当L_f∈(-∞，-0.5×l₃)，为穿透警告阶段；以上长度单位均为厘米，l₁、l₂、l₃均为不等于0的系数；

2)根据手指位置计算示廓阶段振动触觉反馈所需要的驱动信号电压幅值为：

其中a_s0为初始示廓振动加速度、a_s1为附加最大示廓振动加速度、b₁为示廓振动线性系数，g₁为示廓振动加速度截距；

3)接触阶段振动触觉反馈所需要的驱动信号：

(1)当手指从示廓阶段进入接触阶段时，振动器产生一次模拟碰撞感或接触感的振动触觉反馈。接触碰撞时指尖振动器驱动信号电压幅值为：

A_c＝b₂[a_c0×V_n+1.5(a_s1+a_s0)]+g₂

其中，a_c0为碰撞速度参考加速度，V_n为阶段变更时刻指尖速度在虚拟物体表面法向分量，b₂为接触碰撞振动线性系数，g₂为接触碰撞振动加速度截距；

(2)当手指在接触阶段接近虚拟三维物体的轮廓边缘，振动器产生持续的、有尖锐感和压力感的振动触觉反馈。渲染虚拟物体轮廓边缘时指尖振动器驱动信号电压幅值为：

其中a_e0为初始边缘振动加速度、a_e1为附加最大边缘振动加速度，b₃为边缘振动线性系数，g₃为边缘振动加速度截距；

(3)当手指于接触阶段在虚拟三维物体表面切向移动时，振动器产生持续且细腻的振动触觉反馈以渲染物体表面纹理。渲染虚拟物体表面纹理时指尖振动器驱动信号电压幅值为：

其中，h_nt1为旧归一化灰度，h_nt2为新归一化灰度，a_t0为底噪纹理振动加速度、a_t1为初始纹理振动加速度，a_t2为附加最大纹理振动加速度，m_t为纹理振动参考系数；驱动电压A_t的值每隔t₁时间刷新一次，b₄为纹理振动线性系数，g₄为纹理振动加速度截距；

4)根据手指位置计算穿透警告阶段振动触觉反馈所需要的驱动信号电压幅值A_w：

A_w＝b₅(m_w×a_w)+g₅

其中，a_w为初始穿透警告振动加速度、m_w为穿透警告系数，b₅为穿透警告振动线性系数，g₅为穿透警告振动加速度截距；

5)对施加给振动器的驱动信号进行预处理以克服启动时间和停止时间速度慢、初始振感弱、停止振感拖延的问题，具体方法为：

振动器从无振动状态转换为有振动状态或是从低加速度振动状态向高加速度振动状态转变时，将新施加的振动驱动信号的前2个周期的电压幅值提升到原来的2倍；振动器从有振动状态转换为无振动状态时，将最后施加的振动驱动信号延续一个周期，该信号的相位移动180°、电压幅值降低到原来的一半；

6)接触阶段法向压力刺激触觉反馈用以渲染物体弹性，指尖压力致动器所产生的指尖法向压力F_n为：

F_n＝(0.2l₂-L_f)×k_n×F_n1+F_n0

其中，k_n为虚拟物体的刚度系数，F_n1为附加最大指尖压力系数、F_n0为初始指尖压力系数；

7)接触阶段指尖切向力刺激触觉反馈用以渲染摩擦力与摩擦力方向，X方向移动致动器和Y方向移动致动器施加的驱动电压表达式分别为：

其中，V_t为指尖速度在虚拟物体表面的切向分量，V_tx、V_ty为指尖速度在虚拟物体表面X、Y方向上的切向分量，F_t0为最大单方向皮肤切向力，b₆为切向力线性系数，g₆为切向力截距。

本发明所述的非指尖位置的触觉反馈渲染方法，包括下列步骤：

1)使用位于手掌心正中间的振动电机渲染冲击力，包络为指数衰减形式，仅输出前三个周期，载波的频率参数F_hv通过主观区分度和真实感实验获取，获取手掌与物体之间的相对速度V_c、物体质量M并构建掌心振动器的驱动信号表达式为：

其中k_hv为冲击强度系数。

2)使用位于手掌心、手背、手指近端指节内侧、手指近端指节外侧处的振动电机阵列渲染手部与虚拟物体轮廓接触的触觉感受。各振动电机的强度随着该电机所处位置与虚拟物体表面距离L_tv而发生变化，单个振动器驱动信号表达式为：

A_tv＝(k_tv×|L_tv|+k_tv0)×sin(2π×F_tv×t)

其中，k_tv为接触振动放大系数，k_tv0为接触振动初始幅值；

3)使用位于手掌心、手背、手指近端指节内侧、手指近端指节外侧处的振动电机阵列渲染气体或液体在手部流动时的触觉感受。施加给每个振动器的驱动信号为单周期重复的标准正弦波，虚拟气体或液体流动方向上的第一个振动器的正弦波相位为0并产生单周期、频率为F_fv的振动，其它振动器根据与第一个振动器在流动方向上的映射距离d_v的不同和流动速度v_f的不同而产生延迟的同频率单周期振动，各振动器驱动信号的相位变化为：式中/>为流体振动延时系数。

本发明所述的手套式触觉再现装置，包括视听觉呈现单元、计算单元、姿态传感单元、触觉交互单元、指令控制单元和信号驱动单元，其中：

姿态传感单元获取使用者的手部位置、姿态、指尖压力等信息并传输至计算单元；计算单元处理传感数据并在虚拟三维空间中实时计算、生成使用者的手部模型和虚拟三维物体，使用触觉渲染方法生成各致动器的驱动指令，向视听觉呈现单元传输视听觉数据、向触觉交互单元传输驱动指令数据；视听觉呈现单元通过视频和声音将虚拟三维空间的场景呈现给使用者，帮助使用者依据自身本体感觉判断虚拟手与虚拟三维空间的相对位置并进行同步的交互动作；指令控制单元接收驱动指令数据后控制信号驱动单元向触觉交互单元传输各致动器的驱动信号，以供触觉交互单元向使用者提供触觉刺激，再现触觉感受。

本发明所述的触觉交互单元可分为指尖部分和其他部分，由承载体手套、振动触觉模块、指尖压力模块、指尖三自由度皮肤位移模块以及属于姿态传感单元的传感器模块构成，用以向使用者提供触觉刺激，产生触觉反馈；

所述的触觉交互单元中其他部分由振动器嵌入手套织物或粘接在手套承载体上，振动器位置为各手指近指节、指腹、指背及手掌掌心、掌背；指尖部分由指尖移动平台和指背固定平台组成，其中指背固定平台通过嵌入手套织物、粘接于手套承载体、弹性绷带绑定手指等方式固定在远节指指背；指尖移动平台与指背固定平台之间使用弹簧连接，防止手部姿态改变后移动平台重力对指尖压力和接触面积产生影响；指尖移动平台由软质硅胶作为基底，部分执行器与传感器安装或镶嵌在硅胶基底上，指背固定平台上可选择搭载执行器用以控制移动平台产生移动。

本发明优点在于：触觉反馈装置可以在不施加强动觉力的情况下实现对虚拟空间三维物体的凸起、凹陷、边缘、软硬程度和表面纹理等特征以及冲击力、流体流动等触感的触觉再现，丰富触觉体验，增强与虚拟物体交互的真实感和沉浸感。

附图说明

图1是本发明的结构示意图；

图2是触觉交互单元的结构示意图；

图3是驱动电路框图；

图4是触觉再现渲染方法框图；

图5是指尖触觉渲染阶段划分示意图；

图6是振动器的驱动电压与最大加速度数据拟合曲线图；

图7是指尖振动刺激渲染表面纹理方法示意图；

图8是振动器驱动信号启动预处理示意图；

图9是振动器驱动信号停止预处理示意图；

图10是非指尖触觉渲染方法示意图。

具体实施方式

为了使本发明的目的、特征和优点能更明显易懂，下文通过附图和具体实施方式进行详细说明。

首先介绍基于振动和皮肤位移控制的触觉手套装置，其结构示意图如图1所示，包括：

(1)视听觉呈现单元1，包括能呈现给使用者视觉和听觉的设备，例如集成的平面显示器、VR头盔、XR眼镜以及配套的耳机或音响系统；

(2)计算单元2，包括个人电脑、笔记本电脑、工作站、专用计算设备或云端服务器设备等，用于传感器数据处理及虚拟空间物理模拟运算；

(3)姿态传感单元3，包括IMU传感器、弯曲传感器、超声定位装置、红外定位装置或视觉摄像头实现空间定位或姿态传感，以上传感器可以分布式搭载在承载体手套、VR头盔、VR手柄或手臂上的固定架上，用于向计算单元以及指令控制单元提供使用者头部和手部的位置信息和姿态信息；

(4)触觉交互单元4，由承载体手套、振动触觉模块、指尖压力模块、指尖三自由度皮肤位移模块以及属于姿态传感单元的传感器模块构成，用于向使用者提供触觉刺激、产生触觉反馈；

上述的承载体手套样式为日常所见的全指手套或指套形式，材质为棉、尼龙、皮革或橡胶等，可供使用者手部进行自由穿戴。振动触觉模块、指尖压力模块、指尖2自由度皮肤位移模块以及传感器模块均搭载、安装或连接粘附在承载体手套上。

上述的振动触觉模块是指振动器或振动器阵列在手部产生振动触觉的机构。振动器安装在每个手指的指尖处，也可以选择同时安装在各手指指节处、手掌心、手背处或手腕处等手部所有位置。振动器可以为线性马达、压电陶瓷片、音圈电机以及记忆金属或气液压原理的振动器等。

上述的指尖压力模块是指向指尖提供法向下压力致使皮肤发生法向位移，在手部产生压触觉的机构。提供压力的致动器安装在远指节处，致动器可以为交流电机、直流电机、伺服电机、气动机构或音圈电机等。

上述的指尖三自由度皮肤位移模块是指致动器驱动移动平台使指尖皮肤产生法向、切向位移的机构。致动器可以为交流电机、直流电机、伺服电机、气动机构或音圈电机等。致动器驱动移动平台的连接方式可以为机械连杆、支架固定、线缆连接等。移动平台可以由弹性橡胶或延展性好的塑料材质制作，与指尖皮肤直接接触；接触面为橡胶或粘胶等材料以最大程度紧贴皮肤并提供足够的摩擦力和皮肤牵引力；同时移动平台作为振动器和弯曲致动器等其他致动器的载体。

上述的传感器模块属于姿态传感单元的一部分，是安装在承载体手套上实现手部位置与姿态检测、手指各关节弯曲度检测等功能的机构。该模块可以选择搭载IMU传感器、弯曲传感器、红外或超声传感器、压力传感器和视觉相机标识色块等。

(5)指令控制单元5，由处理器模块、信号传输模块、传感器信号处理模块和电源模块构成，用于接收与发送传感器采集数据、接收虚拟空间搭建单元传输的触觉指令、生成并输出触觉反馈信号；

(6)信号驱动单元6，由信号预处理模块、电压放大模块、功率放大模块等模块构成，用于放大触觉反馈信号的电压及功率，生成驱动信号来驱动各类驱动器工作并产生触觉反馈。具体的驱动电路形式可以为DAC模拟信号生成电路、PWM模拟信号生成电路等。

所述的手套式可穿戴触觉反馈装置具体组成如下：装置由上述的视听觉呈现单元、计算单元、姿态传感单元、触觉交互(显示)单元、指令控制单元和信号驱动单元构成。视听觉呈现单元使用商用虚拟现实头显。姿态传感单元使用商用虚拟现实设备自带的定位与姿态传感设备。计算单元使用个人笔记本电脑，其上搭载unity 3D互动内容创作和运营平台。指令控制单元和信号驱动单元直接集成在袖套或承载体手套背面，电源使用可充电锂电池供电，采用2.4GHz无线技术实现与虚拟空间搭建单元的信息传递，通过柔性电路向触觉交互单元传输驱动信号以及与姿态传感单元传递传感数据。

以下叙述手套式触觉再现装置工作流程及其各单元功能与联系：姿态传感单元获取使用者的手部位置、姿态、指尖压力等信息并传输至计算单元；计算单元处理传感数据并在虚拟三维空间中实时计算、生成使用者的手部模型和虚拟三维物体，使用触觉渲染方法生成各致动器的驱动指令，向视听觉呈现单元传输视听觉数据、向触觉交互单元传输驱动指令数据；视听觉呈现单元通过视频和声音将虚拟三维空间的场景呈现给使用者，帮助使用者依据自身本体感觉判断虚拟手与虚拟三维空间的相对位置并进行同步的交互动作；指令控制单元接收驱动指令数据后控制信号驱动单元向触觉交互单元传输各致动器的驱动信号，以供触觉交互单元向使用者提供触觉刺激，再现触觉感受。

所述的触觉交互单元具体结构如下：触觉交互单元结构分为非指尖部分与指尖部分。非指尖部分由振动器嵌入手套织物或粘接在手套承载体上，振动器位置为各手指近指节指腹、指背及手掌掌心、掌背。指尖部分由指尖移动平台和指背固定平台组成。其中指背固定平台通过嵌入手套织物、粘接于手套承载体、弹性绷带绑定手指等方式固定在远节指指背。指尖移动平台与指背固定平台之间使用弹簧连接，防止手部姿态改变后移动平台重力对指尖压力和接触面积产生影响。指尖移动平台由软质硅胶作为基底，部分执行器与传感器安装或镶嵌在硅胶基底上。指背固定平台上可选择搭载执行器用以控制移动平台产生移动。

以下叙述一种具体的手套式可穿戴触觉反馈装置实施例：

听觉呈现单元使用商用虚拟现实头戴显示设备Oculus；姿态传感单元中，手部整体定位和姿态传感使用Oculus设备自带的定位与姿态传感设备，手指定位和手势姿态使用弯曲传感器和IMU传感器；计算单元使用搭载unity 3D引擎的个人笔记本电脑；指令控制单元和信号驱动单元作为控制和驱动电路集成在袖套或承载体手套背面，电源使用可充电锂电池供电，采用2.4GHz无线技术实现与计算单元的信息传递，通过柔性电路向触觉交互单元传输驱动信号以及与姿态传感单元传递传感数据。

以下叙述一种具体的触觉交互单元结构实施例，图2是触觉交互单元结构示意图。

触觉交互单元结构分为非指尖部分与指尖部分。以右手为例，非指尖部分由振动器嵌入手套承载体或粘接在手套承载体401上，仅向非指尖区域提供振动刺激。非指尖区域共使用12个线性振动器安装于单只手套上，其中10个振动器402要求横向截面积小于1.5平方厘米、厚度小于5毫米以满足可穿戴性要求，掌心侧振动器安装于各手指近指骨向掌心方向的延长线1厘米左右，手背侧振动器安装于手背侧的各手指近指骨中心；另外2个振动器使用MarkⅡ马达403以满足较强的振动力要求，分别安装在手掌心中央与手背中央位置。

指尖部分由指尖移动平台404和指背固定平台405组成。

指背固定平台通过嵌入手套织物、粘接于手套承载体、弹性绷带406绑定手指等方式固定在远节指指背。指尖移动平台与指背固定平台之间使用可绕连接点前后旋转的弹簧407连接，防止手部姿态改变后移动平台重力对指尖压力和接触面积产生影响。指尖移动平台由软质硅胶作为基底408，部分执行器与传感器安装或镶嵌在硅胶基底上，沿指尖皮肤向外的方向依次为接触面硅胶409、可变曲率执行器410、压力传感器411和线性振动器412。指背致动固定平台上搭载三个小型伺服电机413，其中两个伺服电机装配行星齿轮变速箱后分别从两边使用高弹性线缆414牵引移动平台，控制移动平台沿左右、上下方向移动；另外一个伺服电机采用曲杆415连接移动平台，控制移动平台前后移动。

指令控制单元和信号驱动单元共同构成触觉手套装置的驱动电路，以下叙述一种具体的驱动电路实施例：

指令控制单元中，采用STM32芯片及其最小系统电路作为处理器模块，采用可充电锂电池模块作为电源模块，采用蓝牙模块作为信号传输模块；信号驱动单元中，采用TLV5632八通道八位数模转换器和由电容、电阻以及OPA1678运算放大器构成的一阶低通有源滤波器及电压线性放大器作为信号处理模块和电压放大模块，采用OPA547运算放大器和L298电机驱动模块作为功率放大模块以分别驱动线性振动器和伺服电机；驱动信号最终通过柔性电路传输至各驱动器。图3是驱动电路框图。

图4是触觉再现渲染方法框图，主要包括以下内容：

指尖位置的触觉反馈渲染使用振动刺激渲染轮廓和纹理，使用法向压力刺激渲染弹性，使用指尖皮肤切向力刺激渲染摩擦力；其中振动刺激根据所处的不同阶段分为多个渲染情形，包括示廓阶段的示廓振动，接触阶段的接触振动、边缘振动和纹理振动，穿透警告阶段的穿透警告振动；法向压力刺激和指尖皮肤切向力刺激均处于接触阶段。

非指尖位置的触觉反馈渲染使用安装在手指近端指节、手掌心、手背等其它非指尖部位的振动器产生振动触觉以渲染冲击力、虚拟物体轮廓以及流动状态下的气体或液体。

图5是指尖触觉渲染阶段划分示意图，将虚拟空间中手指与物体表面交互过程分为四个阶段，分别为：无触觉效果阶段、示廓阶段、接触阶段、穿透警告阶段。

以下为划分指尖触觉渲染阶段的具体步骤：首先获取判定距离参数L_f，具体方法为获得手指指腹中心点在虚拟空间中的空间坐标P，以P点为中心在指腹切面方向上构建一个对应半径为0.5cm的圆，称之为指尖圆，在指尖圆上均匀获取12个点，称之为指尖点，其空间坐标为P_i，i为1到12。以12个指尖点为起点求得各指尖点距离虚拟空间物体表面的最小距离，其指尖点距离长L_i度为，i为1到12。选取12个指尖点距离长度中的最小值作为指尖到虚拟物体表面的距离为L_f，当指尖点在物体外部L_f为正值，在物体内部L_f为负值。然后划分各阶段：当L_f∈[0.5×l₁,+∞)，为无触觉效果阶段；当L_f∈[0.2×l₂,0.5×l₁)，为示廓阶段；当L_f∈[-0.5×l₃,0.2×l₂)，为接触阶段；当L_f∈(-∞，-0.5×l₃)，为穿透警告阶段；以上长度单位均为cm，l₁、l₂、l₃均为不等于0的系数。

振动刺激用于渲染轮廓和纹理，在示廓、接触、穿透警告三个阶段产生触觉反馈，触觉反馈装置向振动器输出的驱动信号为幅度A、频率F、波形W和单周期重复次数N等参数均可控的标准波形，其中波形包括正弦波、三角波、方波、锯齿波、脉冲波等波形。

获取振动器的驱动电压与最大加速度之间的函数关系，以驱动频率200Hz为例，首先测量固定频率200Hz下正弦波驱动电压幅值从1V至6V以0.5V间隔逐步增加时线性振动器的加速度数据，从加速度数据中选取稳定状态下十个周期的最大加速度值求取平均数作为平均最大加速度，在平面直角坐标系上绘制电压幅值A与平均最大加速度a的描点图且基本呈现线性关系，使用线性函数进行拟合获得函数关系式A＝ba+g，其中b为振动线性系数，g为振动加速度截距，以上系数与驱动频率和振动器结构等因素有关。图6是振动器的驱动电压与最大加速度数据拟合曲线图。

以下叙述各阶段下的指尖振动刺激触觉渲染与振动刺激驱动信号生成方法：

振动刺激在示廓阶段中的触觉反馈旨在向使用者示意虚拟三维物体的大致大小与形状，帮助使用者快速定位自身手指与虚拟物体的相对位置并控制手指迅速进入接触阶段。示廓阶段振动触觉反馈所需要的驱动信号参数设计和渲染方法如下：

示廓阶段的示廓振动使用标准正弦波作为驱动信号，驱动信号频率为F₁时振动器最大加速度与驱动电压之间的函数关系式为：A＝b₁a+g₁，b₁为示廓振动线性系数，g₁为示廓振动加速度截距。示廓振动的强度需要随着指尖距物体轮廓表面距离的减小而增大，因而振动器产生的加速度a_s是指尖到虚拟物体表面距离L_f的函数：其中a_s0为初始示廓振动加速度、a_s1为附加最大示廓振动加速度。获得示廓振动阶段指尖振动器驱动信号电压为：/>

振动刺激在接触阶段中的触觉反馈旨在向使用者渲染手指指尖与物体轮廓面接触、指尖接触到物体较为尖锐的轮廓边缘和指尖接触虚拟物体表面纹理的触觉效果，帮助使用者获取三维物体轮廓面接触、轮廓边缘和表面纹理等触觉特征，增强触觉交互的真实感和沉浸感。接触阶段振动触觉反馈所需要的驱动信号参数设计和渲染方法如下：

(1)使用振动刺激渲染指尖与虚拟物体轮廓面接触：当手指从示廓阶段进入接触阶段时，振动器需要产生一次模拟碰撞感或接触感的振动触觉反馈，其使用的驱动信号设定为单周期重复N_c次的脉冲信号或其它标准波形，N_c为一个较小的值，需控制整个振动反馈的持续时间小于0.2s，因为超过0.2s的振动带给人体的冲击感会减弱，具体参数通过主观实验获取；其频率规定为定值，具体的频率参数F₂通过主观区分度和真实感实验获取。获取频率为F₂时振动器最大加速度与驱动电压之间的函数关系，即A＝b₂a+g₂。轮廓面接触振动需要模拟渲染冲击感，因而振动器产生的加速度a_c需要大于1.5倍的示廓振动最大加速度a_s，且该加速度a_c是阶段变更瞬间指尖速度在虚拟物体表面法向分量V_n的函数，故设定加速度表达式为：a_s＝a_c0×V_n+1.5(a_s1+a_s0)，其中a_c0为碰撞速度参考加速度。获得接触碰撞时指尖振动器驱动信号电压为：A_c＝b₂[a_c0×V_n+1.5(a_s1+a_s0)]+g₂，其中b₂为接触碰撞振动线性系数，g2为接触碰撞振动加速度截距。

(2)使用振动刺激渲染虚拟物体轮廓边缘：当手指在接触阶段接近虚拟三维物体的轮廓边缘，振动器需要产生持续的、有尖锐感和压力感的振动触觉反馈。

首先获取虚拟三维物体的轮廓边缘，限定提供轮廓边缘振动反馈的条件。虚拟物体的两个或多个曲率不连续的面相交产生的空间线段视作虚拟三维物体的轮廓边缘，当12个指尖点到轮廓边缘线段的距离L_e满足L_e∈[-0.5×l₃,0.2×l₂)时，向使用者提供轮廓边缘振动反馈。

轮廓边缘振动反馈使用的驱动信号设定为标准正弦波或其它标准波形，其频率规定为定值，具体的频率参数F₃通过主观区分度和真实感实验获取。获得频率为F₃时振动器最大加速度与驱动电压之间的函数关系，即A＝b₃a+g₃。轮廓边缘振动的强度需要随着指尖距轮廓边缘距离L_e的减小而增大，因而设定振动器产生的加速度a_e是指尖到虚拟物体轮廓边缘距离L_e的函数：其中a_e0为初始边缘振动加速度、a_e1为附加最大边缘振动加速度。获得渲染虚拟物体轮廓边缘时指尖振动器驱动信号电压为：其中b₃为边缘振动线性系数，g₃为边缘振动加速度截距。

图7是指尖振动刺激渲染表面纹理方法示意图，当手指于接触阶段在虚拟三维物体表面切向移动时，振动器需要产生持续且细腻的振动触觉反馈以渲染物体表面纹理，接触阶段的纹理振动驱动信号生成方法如下：

首先获取虚拟物体表面的纹理灰度信息，然后根据灰度信息改变振动器驱动信号的电压，具体方法如下：以指尖表面接触点P_s为中心点，获取边长为5cm的正方形区域内物体表面的“纹理贴图”或“法向高度贴图”的灰度矩阵H_a，灰度点提取间距为0.05cm。获取指尖速度在虚拟物体表面切向分量V_t、指尖在t₀时间段内移动的距离d。设定仅当V_t≥V_t0且d≥d₀时，振动器才能产生用以渲染纹理的振动触觉反馈，并在此时产生第一个灰度矩阵H_a2；且在此区间内指尖每移动2.5cm，获取一个新的灰度矩阵H_a2，上一次获取的灰度矩阵成为H_a1。对灰度矩阵进行归一化处理，获得归一化灰度矩阵其中H_n(x,y)为归一化灰度矩阵H_n中第x行、第y列的元素，H_a(x,y)为灰度矩阵H_a中第x行、第y列的元素，h_amax和h_amin分别为灰度矩阵H_a中元素的最大值和最小值。每隔时间t₁获取一次归一化灰度矩阵H_n2中手指与物体表面接触点的P_s的归一化灰度h_nt，新获得的归一化灰度为h_nt2，上一次获得的归一化灰度为h_nt1。渲染纹理的振动触觉反馈使用的驱动信号设定为持续的、时间宽度极小的脉冲波或频率较高的正弦波，具体的时间宽度t₂和频率参数F₄通过主观区分度和真实感实验获取。获得频率为F₄时振动器最大加速度与驱动电压之间的函数关系，即A＝b₄a+g₄。渲染纹理的振动强度需要随着指尖距物体轮廓表面距离的减小而增大，因而设定振动器产生的加速度a_t是指尖到虚拟物体轮廓边缘距离L_f和归一化灰度h_nt2的函数：

其中a_t0为底噪纹理振动加速度、a_t1为初始纹理振动加速度，a_t2为附加最大纹理振动加速度，m_t为纹理振动参考系数。加速度a_t的值每隔t₁时间刷新一次。获得渲染虚拟物体表面纹理时指尖振动器驱动信号电压为：

其中b₄为纹理振动线性系数，g₄为纹理振动加速度截距。

振动刺激在穿透警告阶段中的触觉反馈旨在向使用者提供手指穿透表面进入物体内部的警告提示信息，帮助使用者快速确定自身手指与虚拟物体的相对位置并控制手指迅速抽离虚拟物体内部。穿透警告阶段振动触觉反馈所需要的驱动信号参数设计和渲染方法如下：

穿透警告振动使用的驱动信号设定为每间隔时间t_W1播放一次持续时间为t_W2的正弦波或其它标准波形信号，标准波形频率规定为定值，具体的频率参数F₅通过主观区分度和真实感实验获取。获得频率为F₅时振动器最大加速度与驱动电压之间的函数关系，即A＝b₅(a)+g₅。穿透警告振动是一种提示性的触觉反馈，因此振动强度与距离L_f、手指法向速度V_n等参数无关，振动器产生的加速度a_w函数关系式为：a_w＝m_w×a_w，其中a_w为初始穿透警告振动加速度、m_w为穿透警告系数。获得穿透警告阶段指尖振动器驱动信号电压为：A_w＝b₅(m_w×a_w)+g₅，其中b₅为穿透警告振动线性系数，g₅为穿透警告振动加速度截距。

法向压力刺激用于渲染弹性，其中法向压力刺激用于渲染物体表面施加给手指的弹性力，该触觉反馈仅在接触阶段产生。触觉反馈装置向指尖压力致动器输出电压驱动信号，下面具体说明法向压力刺激的触觉渲染方法。

根据压力传感器采集到的压力数据闭环控制指尖压力致动器所产生的指尖法向压力F_n。指尖法向压力F_n与指尖到虚拟物体表面距离L_f的函数关系式为：F_n＝(0.2l₂-L_f)×k_n×F_n1+F_n0，其中k_n为虚拟物体的刚度系数，F_n1为附加最大指尖压力系数、F_n0为初始指尖压力系数。

以下叙述接触阶段下的指尖切向力刺激触觉渲染方法：

指尖切向力刺激仅用于在接触阶段渲染手指在物体表面切向移动产生的摩擦力与摩擦力方向。所使用的X方向移动致动器和Y方向移动致动器控制移动平台在不与指腹皮肤产生相对位移的情况下提供指腹皮肤的切向牵引力。X方向移动致动器和Y方向移动致动器在相同最大电压下可以分别产生相同的最大单方向皮肤切向力F_t0，施加给方向移动致动器的驱动电压与产生的皮肤切向力之间的函数关系式为A_t＝b₆F_t+g₆，其中b₆为切向力线性系数，g₆为切向力截距。获取指尖速度在虚拟物体表面切向分量V_t分别在X、Y方向上的切向速度分量V_tx、V_ty，X方向移动致动器和Y方向移动致动器施加的驱动电压表达式分别为：

为了克服振动器在常规控制时存在启动时间和停止时间速度慢、初始振感弱、停止振感拖延的问题，对上述三个阶段施加给振动器的驱动信号进行预处理，预处理后的信号作为实际振动驱动信号发送至振动器。具体方法如下：

对施加给振动器的驱动信号进行预处理，预处理后的信号作为实际振动驱动信号发送至振动器。当振动器需要从无振动状态转换为有振动状态或是从低加速度振动状态向高加速度振动状态转变时，对新施加的振动驱动信号进行启动预处理，具体的启动算法为：将新施加的振动驱动信号的前2个周期的电压幅值提升到原来的2倍。图8是振动器驱动信号启动预处理示意图。

当振动器需要从有振动状态转换为无振动状态时，对最后施加的振动驱动信号进行停止预处理，具体的停止算法为：将最后施加的振动驱动信号延续一个周期，该信号的相位移动180°、电压幅值降低到原来的一半。图9是振动器驱动信号停止预处理示意图

以下叙述非指尖位置的触觉反馈渲染方法，图10是非指尖触觉渲染方法示意图。

非指尖振动刺激触觉渲染与振动刺激驱动信号生成方法如下：使用安装在手指近端指节、手掌心、手背等其它非指尖部位的振动器产生振动触觉以渲染冲击力、虚拟物体轮廓以及流动状态下的气体或液体。

使用位于手掌心正中间或手背正中间的振动电机渲染冲击力，驱动信号设为调幅波，包络为指数衰减形式，仅输出前三个周期，载波的频率参数为F_hv。获取手掌与物体之间的相对速度V_c、物体质量M并构建掌心振动器的驱动信号表达式为：

使用位于手掌心、手背、手指近端指节内侧、手指近端指节外侧处的振动电机阵列渲染手部与虚拟物体轮廓接触的触觉感受。驱动信号设为频率参数为F_tv的标准正弦波形。各振动电机的强度随着该电机所处位置与虚拟物体表面距离L_tv而发生变化，且L_tv∈[-0.5×l₃,0.2×l₂)，获得单个振动器驱动信号表达式为：

A_tv＝(k_tv×|L_tv|+k_tv0)×sin(2π×F_tv×t)，式中k_tv为接触振动放大系数，k_tv0为接触振动初始幅值。

使用位于手掌心、手背、手指近端指节内侧、手指近端指节外侧处以及指尖处的振动电机阵列渲染气体或液体在手部流动时的触觉感受。施加给单个振动器的驱动信号为单周期重复、频率参数为F_fv的标准正弦波形。虚拟气体或液体流动方向上的第一个振动器的正弦波相位为0并产生单周期振动，其它振动器根据与第一个振动器在流动方向上的映射距离d_v的不同和流动速度v_f的不同而产生延迟振动，各振动器驱动信号的相位变化为：式中/>为流体振动延时系数。当各振动器依次振动完成且映射距离最大的振动器单周期振动完成后，重复以上过程开始新一轮的振动。

主观区分度和真实感实验方法如下：

以上触觉渲染需要确定不同渲染情形下的多个振动器驱动信号频率，分别为示廓振动频率参数F₁、接触碰撞振动频率参数F₂、边缘振动频率参数F₃、纹理振动频率参数F₄、穿透警告振动频率参数F₅、掌心冲击力振动频率参数F_hv、轮廓接触振动频率参数F_tv和气液体流动振动频率参数F_fv。将20至800赫兹的频率范围按每20赫兹为间隔划分为40个频率点，随机将40个频率点划分给以上频率参数；对每个频率参数进行如下的实验：选取10名触感正常的成年实验者，在各频率点振动主观振感差距不大的情况下由每名实验者在触觉手套穿戴状态下进行触觉渲染感知实验，通过与其它渲染情形下触感对比根据自身的主观感受自由上下调整该频率参数所对应的频率点；在10名实验者调整并选择完以上频率参数后，各实验者交叉对其他实验者设定的频率参数分别进行区分度和真实感两方面考量因素的主观打分，分值为1～10。将获得的每个频率参数的区分度和真实感评分进行平均，选取得分最高的频率点值作为该频率参数的频率值。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于振动和皮肤位移控制的触觉手套的渲染方法，其特征在于：建立虚拟空间下三维物体交互特征参数与触觉信号参数之间的数学映射模型，通过手套式触觉再现装置使用特定渲染方法以向使用者提供三维物体轮廓、柔软程度、表面纹理以及冲击力、流体流动等的触觉感受，该渲染方法如下：

1)指尖位置的触觉反馈渲染方法：使用振动刺激渲染轮廓和纹理，使用法向压力刺激渲染弹性，使用指尖皮肤切向力刺激渲染摩擦力；

2)非指尖位置的触觉反馈渲染方法：使用安装在手指近端指节、手掌心、手背等其它非指尖部位的振动器产生振动触觉以渲染冲击力、虚拟物体轮廓以及流动状态下的气体或液体。

2.根据权利要求1所述的基于振动和皮肤位移控制的触觉手套的渲染方法，其特征在于：步骤1)中所述的指尖位置的触觉反馈渲染方法，包括下列步骤：

1)虚拟空间中手指与物体表面交互过程分为四个阶段，分别为：无触觉效果阶段、示廓阶段、接触阶段、穿透警告阶段；

具体阶段划分方法为：获得手指指腹中心点在虚拟空间中的空间坐标P，以P点为中心在指腹切面方向上构建一个对应半径为0.5cm的圆，称之为指尖圆，在指尖圆上均匀获取12个点，称之为指尖点，其空间坐标为P_i，i为1到12；以12个指尖点为起点求得各指尖点距离虚拟空间物体表面的最小距离，其指尖点距离长度为L_i，i为1到12；选取12个指尖点距离长度中的最小值作为指尖到虚拟物体表面的距离为L_f，当指尖点在物体外部L_f为正值，在物体内部L_f为负值；L_f对应的与物体表面的交点称为表面接触点P_s；

根据L_f的值判定当前手指所处于的交互过程阶段，具体为：当L_f∈[0.5×l₁,+∞)，为无触觉效果阶段；当L_f∈[0.2×l₂,0.5×l₁)，为示廓阶段；当L_f∈[-0.5×l₃,0.2×l₂)，为接触阶段；当L_f∈(-∞，-0.5×l₃)，为穿透警告阶段；以上长度单位均为厘米，l₁、l₂、l₃均为不等于0的系数；

2)根据手指位置计算示廓阶段振动触觉反馈所需要的驱动信号电压幅值为：

其中a_s0为初始示廓振动加速度、a_s1为附加最大示廓振动加速度、b₁为示廓振动线性系数，g₁为示廓振动加速度截距；

3)接触阶段振动触觉反馈所需要的驱动信号：

(1)当手指从示廓阶段进入接触阶段时，振动器产生一次模拟碰撞感或接触感的振动触觉反馈，接触碰撞时指尖振动器驱动信号电压幅值为：

A_c＝b₂[a_c0×V_n+1.5(a_s1+a_s0)]+g₂

其中，a_c0为碰撞速度参考加速度，V_n为阶段变更时刻指尖速度在虚拟物体表面法向分量，b₂为接触碰撞振动线性系数，g₂为接触碰撞振动加速度截距；

(2)当手指在接触阶段接近虚拟三维物体的轮廓边缘，振动器产生持续的、有尖锐感和压力感的振动触觉反馈，渲染虚拟物体轮廓边缘时指尖振动器驱动信号电压幅值为：

其中a_e0为初始边缘振动加速度、a_e1为附加最大边缘振动加速度，b₃为边缘振动线性系数，g₃为边缘振动加速度截距；

(3)当手指于接触阶段在虚拟三维物体表面切向移动时，振动器产生持续且细腻的振动触觉反馈以渲染物体表面纹理，渲染虚拟物体表面纹理时指尖振动器驱动信号电压幅值为：

其中，h_nt1为旧归一化灰度，h_nt2为新归一化灰度，a_t0为底噪纹理振动加速度、a_t1为初始纹理振动加速度，a_t2为附加最大纹理振动加速度，m_t为纹理振动参考系数；驱动电压A_t的值每隔t₁时间刷新一次，b₄为纹理振动线性系数，g₄为纹理振动加速度截距；

4)根据手指位置计算穿透警告阶段振动触觉反馈所需要的驱动信号电压幅值A_w：

A_w＝b₅(m_w×a_w)+g₅

其中，a_w为初始穿透警告振动加速度、m_w为穿透警告系数，b₅为穿透警告振动线性系数，g₅为穿透警告振动加速度截距；

5)对施加给振动器的驱动信号进行预处理以克服启动时间和停止时间速度慢、初始振感弱、停止振感拖延的问题，具体方法为：

振动器从无振动状态转换为有振动状态或是从低加速度振动状态向高加速度振动状态转变时，将新施加的振动驱动信号的前2个周期的电压幅值提升到原来的2倍；振动器从有振动状态转换为无振动状态时，将最后施加的振动驱动信号延续一个周期，该信号的相位移动180°、电压幅值降低到原来的一半；

6)接触阶段法向压力刺激触觉反馈用以渲染物体弹性，指尖压力致动器所产生的指尖法向压力F_n为：

F_n＝(0.2l₂-L_f)×k_n×F_n1+F_n0

其中，k_n为虚拟物体的刚度系数，F_n1为附加最大指尖压力系数、F_n0为初始指尖压力系数；

7)接触阶段指尖切向力刺激触觉反馈用以渲染摩擦力与摩擦力方向，X方向移动致动器和Y方向移动致动器施加的驱动电压表达式分别为：

其中，V_t为指尖速度在虚拟物体表面的切向分量，V_tx、V_ty为指尖速度在虚拟物体表面X、Y方向上的切向分量，F_t0为最大单方向皮肤切向力，b₆为切向力线性系数，g₆为切向力截距。

3.根据权利要求1所述的基于振动和皮肤位移控制的触觉手套的渲染方法，其特征在于，所述的步骤2)中非指尖位置的触觉反馈渲染方法，包括下列步骤：

1)使用位于手掌心正中间的振动电机渲染冲击力，包络为指数衰减形式，仅输出前三个周期，载波的频率参数F_hv通过主观区分度和真实感实验获取，获取手掌与物体之间的相对速度V_c、物体质量M并构建掌心振动器的驱动信号表达式为：

A_hv＝k_hv×V_c×M×e^-t×sin(2π×F_hv×t)t∈[0,3/F_hv]；其中k_hv为冲击强度系数；

2)使用位于手掌心、手背、手指近端指节内侧、手指近端指节外侧处的振动电机阵列渲染手部与虚拟物体轮廓接触的触觉感受，各振动电机的强度随着该电机所处位置与虚拟物体表面距离L_tv而发生变化，单个振动器驱动信号表达式为：

A_tv＝(k_tv×|L_tv|+k_tv0)×sin(2π×F_tv×t)

其中，k_tv为接触振动放大系数，k_tv0为接触振动初始幅值；

3)使用位于手掌心、手背、手指近端指节内侧、手指近端指节外侧处的振动电机阵列渲染气体或液体在手部流动时的触觉感受，施加给每个振动器的驱动信号为单周期重复的标准正弦波，虚拟气体或液体流动方向上的第一个振动器的正弦波相位为0并产生单周期、频率为F_fv的振动，其它振动器根据与第一个振动器在流动方向上的映射距离d_v的不同和流动速度v_f的不同而产生延迟的同频率单周期振动，各振动器驱动信号的相位变化为：式中/>为流体振动延时系数。

4.根据权利要求1所述的基于振动和皮肤位移控制的触觉手套的渲染方法，其特征在于：所述手套式触觉再现装置，包括视听觉呈现单元、计算单元、姿态传感单元、触觉交互单元、指令控制单元和信号驱动单元构成，其中：

姿态传感单元获取使用者的手部位置、姿态、指尖压力等信息并传输至计算单元；计算单元处理传感数据并在虚拟三维空间中实时计算、生成使用者的手部模型和虚拟三维物体，使用触觉渲染方法生成各致动器的驱动指令，向视听觉呈现单元传输视听觉数据、向触觉交互单元传输驱动指令数据；视听觉呈现单元通过视频和声音将虚拟三维空间的场景呈现给使用者，帮助使用者依据自身本体感觉判断虚拟手与虚拟三维空间的相对位置并进行同步的交互动作；指令控制单元接收驱动指令数据后控制信号驱动单元向触觉交互单元传输各致动器的驱动信号，以供触觉交互单元向使用者提供触觉刺激，再现触觉感受。

5.根据权利要求4所述的基于振动和皮肤位移控制的触觉手套的渲染方法，其特征在于：所在述的触觉交互单元分为指尖部分和其他部分，由承载体手套、振动触觉模块、指尖压力模块、指尖三自由度皮肤位移模块以及属于姿态传感单元的传感器模块构成，用以向使用者提供触觉刺激，产生触觉反馈；

所述的触觉交互单元中其他部分由振动器嵌入手套织物或粘接在手套承载体上，振动器位置为各手指近指节、指腹、指背及手掌掌心、掌背；指尖部分由指尖移动平台和指背固定平台组成，其中指背固定平台通过嵌入手套织物、粘接于手套承载体、弹性绷带绑定手指等方式固定在远节指指背；指尖移动平台与指背固定平台之间使用弹簧连接，防止手部姿态改变后移动平台重力对指尖压力和接触面积产生影响；指尖移动平台由软质硅胶作为基底，部分执行器与传感器安装或镶嵌在硅胶基底上，指背固定平台上可选择搭载执行器用以控制移动平台产生移动。