CN109284005A - 一种融合静电力和振动的可穿戴式触觉再现装置和方法 - Google Patents

Abstract

本发明涉及一种融合静电力和振动的可穿戴式触觉再现装置和方法，属于虚拟现实与人机交互领域。手指定位单元、手指速度检测单元、信号处理单元、静电力触觉再现单元、振动触觉再现单元和多媒体信息终端。手指定位单元和手指速度检测单元实时获取手指在触摸屏上的位置信息和手指的速度信息，信号处理单元根据手指的位置和速度信息进行处理得到相应的静电力触觉和振动触觉的驱动信号幅度参数，输出驱动信号到静电力触觉再现单元和振动触觉再现单元，改变手指受到的切向静电摩擦力和法向振动刺激，产生静电力和振动触觉反馈。优点在于：在平面触觉交互中，可同时呈现两种不同的触觉反馈，丰富触觉体验，增强触觉反馈的真实感。

Description

一种融合静电力和振动的可穿戴式触觉再现装置和方法

技术领域

本发明属于虚拟现实与人机交互领域，尤其涉及一种二元触觉再现装置及方法。

背景技术

随着科技的发展，触摸屏移动设备在日常生活中广泛使用，并在人机交互领域起到了越来越重要的作用。触觉交互技术的出现能够提高人机交互任务的沉浸感，丰富人类的任务体验，因此广泛应用于医疗、教育、购物、娱乐等领域。在触摸屏移动设备上增加触觉再现功能、提高触觉再现的真实感、并将其与视觉听觉等反馈方式更好的结合起来是科技发展的必然趋势和研究的前沿问题。目前，已经存在一些能应用于触摸屏移动终端设备上的触觉再现装置和方法。

中国专利“一种基于静电力触觉再现的装置”(公开号102662477A)、中国专利“一种应用于移动终端的静电力触觉再现方法和装置”(公开号104199554A)及中国专利“一种基于开关阵列的多点静电力触觉再现装置及方法”(公开号104793746A)分别公开了一种基于静电力的触觉再现装置和方法，该装置和方法具有一定的灵活性和实用性，但只能够通过改变静电吸引力调节手指受到的切向摩擦力，实现物体表面摩擦力感知维度的触觉再现，而且只有当手指运动时才能产生静电摩擦力，触感单一，触觉反馈真实感较差，对于触觉反馈的感知有条件限制，可移植性差。

中国专利申请“整体式传感器和触觉致动器”(公开号108255296A)公开了一种用于感测触摸并传递触觉信号的双功能装置，具有用于传递静电力的触觉接口，并能够根据手指对触摸表面施加的压力改变设备电极间的导电性进而改变静电力触觉信号的功能。该设备能够动态地调节手指感知的触觉反馈，但是该装置结构复杂，电极之间的柔性连接对于环境有一定的要求，不易于控制。

中国专利“面向移动终端的可穿戴指套式力触觉交互装置及实现方法”(公开号104898842A)公开了一种面向移动终端的可穿戴指套式力触觉交互装置及实现方法，该装置通过采集交互过程中的手指压力信息和手指姿态信息，结合从图像中提取的触觉表达信息，建模得到振动触觉刺激信号作用于手指产生触觉感受，操控原理简单、便携性好。但是该装置必须通过套在整个手指外的指套产生触觉感受，移动终端上并不直接产生触觉反馈，不属于在触摸屏上进行裸指触觉交互的范畴，且该装置只能产生垂直于手指方向(即法向)的振动触觉反馈，触感单一，真实感较差。

中国专利“一种基于手指振动触觉刺激的定向注意力测量系统及方法”(公开号107411761A)及中国专利“一种基于手指振动触觉刺激的执行控制注意力测量系统及方法”(公开号107468259A)公开了一种基于手指振动触觉刺激的注意力测量系统及方法，该系统通过振动触觉刺激用户并接收用户反馈来测量被测者的反应时间以及根据该反应时间计算得出用户的注意力。但该系统只是通过单一的振动触觉反馈作用于被测者手指，且没有与多媒体设备集成，触觉感受单一，只能起到提示作用。

中国专利“一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置”(公开号106502393A)公开了一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置，该装置通过连杆机构、直流电机和音圈振动器可为人手指提供多模式的力觉和振动触觉反馈。但该装置的硬件结构复杂，可移植性差，且很大程度上限制了操作者手指的自由活动。

中国专利“多功能触觉输出装置的系统和方法”(公开号107024983A)公开了一种多功能触觉输出装置的系统和方法。该装置通过采集接触的压力量或者表面积经过一定的处理，产生多种触觉反馈效果，包括静电触觉效果、振动触觉效果或者变形触觉效果，其中静电触觉效果在其他触觉效果之前被输出。该系统虽然能够产生多种触觉效果，但其多功能触觉输出是分开作用的，不能同时产生多种触觉感受，即同一时间内手指感知到的触感仍然是单一触觉方式产生的。

中国专利“融合静电力与振动的触觉再现方法与装置”(公开号107943290A)公开了一种融合静电力与振动的触觉再现方法与装置。该装置通过采集手指的坐标信息和视觉对象对应位置的视觉信息产生触觉驱动信号，通过固定在触摸屏表面的静电触摸屏和振动源进行渲染，改变手指受到的切向力及法向力，实现三维的触觉再现效果。但是直接固定在触摸屏设备上的振动源会导致振动产生的机械波在传播的过程中衰减，振动触觉的强度与输出强度不成比例，影响触觉真实感，造成资源的浪费。

发明内容

本发明提供一种融合静电力和振动的可穿戴式触觉再现装置和方法，通过静电触觉触摸屏上的静电力触觉反馈为手指提供切向摩擦力，渲染多媒体终端显示的图片上物体的纹理特性；通过可穿戴式振动触觉指环为手指提供法向的振动触觉刺激，渲染多媒体终端显示的图片上物体的精细粗糙度；通过融合两种触觉反馈方式，提高了触觉再现的真实感；将振动电机通过塑料指环固定在手指的近端指骨，减少了由于设备重量和体积引起的能量损耗。

本发明采取的技术方案是，融合静电力和振动的可穿戴式触觉再现装置包括：

(1)手指定位单元包括实现定位功能的装置，其作用在于实时读取多媒体终端触摸屏上手指的当前位置坐标P(x,y)，并将手指的当前位置坐标P(x,y)信息发送到信号处理单元；

(2)手指速度检测单元包括实时检测手指速度的深度传感器或摄像头等装置，其作用在于通过实时捕捉手部运动信息，手指前一时刻的位置P₀(x₀,y₀)和当前时刻的位置P(x,y)计算得到手指速度信息并发送到触觉处理单元；

(3)信号处理单元作用在于手指位置信息处理得到静电力驱动信号幅度参数矩阵E，然后根据手指当前时刻的位置坐标P(x,y)信息选取静电力驱动信号幅度参数E(x,y)，并根据计算得到的手指速度信息处理得到振动驱动信号幅度参数V(x,y)，产生相应的触觉驱动信号分别发送给静电力触觉再现单元、可穿戴式振动触觉再现单元；并根据图像信息处理得到视觉显示信息，产生相应的显示信号发送给多媒体信息终端，呈现视觉信息；

(4)静电力触觉再现单元，包括静电电容触摸屏，其作用在于实时根据静电力触觉驱动信号幅度参数E(x,y)改变手指受到的切向静电摩擦力，产生相应的静电力触觉反馈；

(5)可穿戴式振动触觉再现单元，其作用在于可实时根据振动驱动信号幅度参数V(x,y)改变手指受到的振动触觉刺激，产生相应的振动触觉；

(6)多媒体信息终端，其作用在于可呈现视觉信息。

本发明所述的静电力触觉再现单元采用静电电容触摸屏，其结构分为三层，底层为玻璃板，起到支撑的作用；中间层为透明导电层，喷镀在玻璃板上，激励信号在其中传播；顶层为绝缘薄膜，喷镀在导电层上，起到绝缘的作用，电容屏可以完成静电力触觉再现的功能。

本发明所述的可穿戴式振动触觉再现装置的结构包括：

(1)使用3D打印的塑料指环：指环环形部分呈圆形，指环的内侧直径可适应不同直径的手指，可紧密固定在用户手指的近端指骨上；在指腹侧有足够的间隙，指环的上部带有一个长方形凹槽，用于固定振动源；

(2)振动源，其作用在于通过塑料指环直接对手指产生法向的振动触觉刺激。

本发明所述的信号处理单元的结构包括：主控制器、静电力驱动芯片、振动驱动芯片和显示芯片；其作用在于将信号处理单元根据手指的位置信息发出的静电力驱动信号幅度参数E(x,y)、根据手指的速度信息发出的振动驱动信号幅度参数V(x,y)和需要呈现的图片信息送入主控制器中，再由主控制器将静电力驱动信号幅度参数E(x,y)发送给静电力驱动芯片，振动驱动信号幅度参数V(x,y)发送给振动驱动芯片，视觉显示信息发送给显示芯片；静电力驱动芯片将产生的静电力驱动信号送入静电电容触摸屏的透明导电层，产生切向反馈力，同时振动驱动芯片将振动驱动信号送入振动源中，产生作用于手指的振动刺激，显示芯片将图像视觉信息送入多媒体信息终端，则静电力触觉和振动触觉同时作用于手指，从而实现更真实触觉反馈，并将图像信息显示在多媒体信息终端的显示屏上。

一种融合静电力和振动的可穿戴式触觉再现方法，包括：

(一)、可穿戴式触觉再现装置的振动驱动信号幅度参数V(x,y)的求解过程如下：

(1)首先，将表面粗糙度近似定义为一正弦表面，给定的波长为λ，当手指以一定的速度在虚拟的正弦曲面上滑动，从前一时刻的位置P₀(x₀,y₀)运动到当前时刻的位置P(x,y)时，手指速度表示为：

(2)然后，将输入的振动电压V(x,y)根据手指速度和波形表面的空间频率f调制如下：

其中A是振动的电压幅度，f是波形表面的空间频率，根据材料使用不同的f值呈现不同的粗糙度感知；

(二)、静电力触觉再现单元的静电力驱动信号幅度参数E(x,y)的求解过程如下：

(1)首先，测量基于静电力触觉反馈的静电力驱动信号幅度A₁与静电反馈力F₁之间的关系：

其中k₁为静电力触觉反馈的比例系数，

(2)进一步求解静电力驱动信号幅度参数E(x,y)的过程为：

提取图像的灰度值，得到灰度矩阵也即高度矩阵H，对高度矩阵H横向求偏导，得到图像的梯度矩阵G_x：

然后对梯度矩阵G_x进行归一化处理：

其中G_x′为对梯度矩阵G_x归一化，g_xmax为矩阵G_x中元素的最大值，g_xmin为矩阵G_x中元素的最小值，然后对图像进行渲染，得到图像对应的切向反馈力分量矩阵F_e：

F_e＝G_x′f_m

其中f_m为静电力触觉反馈所能提供的最大切向力，然后再根据静电力驱动信号幅度A₁与静电反馈力F₁的对应关系，即可求出静电力驱动信号幅度参数

为了增强触觉再现的真实感，丰富触觉反馈的感知，将多种触觉反馈方式结合起来，如静电力触觉反馈和振动触觉反馈。这两种触觉产生方式作用于手指分别产生动态的切向摩擦力和静态的法向力，可以对手指感知触觉产生互补的效果，增强触觉反馈的真实感。并且不论手指处在运动状态还是静止状态均能产生触觉感受，实用性更强。本发明提出的静电力触摸屏和可穿戴振动指套的融合触觉再现装置及方法，不仅可以产生更加真实的触觉感受，而且在通过装置中的可穿戴振动指套产生振动触觉反馈时，能够将振动电机根据触觉驱动信号输出的振动直接作用于手指产生法向力，增大手指感知到的触觉感受，节约振动电机的输出能源，减少不必要的能量损耗。

本发明优点在于：

1.融合了静电力与振动两种触觉再现方式，可提供切向反馈力渲染物体表面纹理信息，还可同时提供法向反馈力渲染物体表面的精细粗糙度，丰富反馈力触觉感受，扩展反馈力维度，提高触觉反馈真实性；

2.可穿戴指环可以提高振动触觉反馈的有效性，减少由于不必要的重量和体积造成的振动触觉刺激的损耗。

3.静电力触觉设备和振动触觉指环可以应用于任何多媒体终端和场景，可移植性好。

附图说明

图1是本发明的结构示意图；

图2是本发明静电电容触摸屏的结构示意图；

图3是本发明可穿戴式振动触觉再现装置的结构示意图；

图4是本发明信号处理单元的结构示意图；

图5是本发明静电力触觉再现受力分析图；

图6是本发明振动触觉再现受力分析图；

图7是本发明振动驱动信号幅度参数V(x,y)的求解过程示意图；

图8A是本发明将表面粗糙度近似定义为一正弦表面的示意图；

图8B是本发明表面粗糙度的渲染过程示意图；

图9是本发明静电力驱动信号幅度参数E(x,y)的求解过程示意图。

具体实施方式

融合静电力和振动的可穿戴式触觉再现装置结构示意图如图1所示，包括：

(1)手指定位单元11，包括实现定位功能的装置，其作用在于实时读取多媒体终端触摸屏上手指的当前位置坐标P(x,y)，并将手指的当前位置坐标P(x,y)信息发送到信号处理单元13；

(2)手指速度检测单元12，包括实时检测手指速度的深度传感器(如LeapMotion)或摄像头等装置，其作用在于通过实时捕捉手部运动信息，如手指前一时刻的位置P₀(x₀,y₀)和当前时刻的位置P(x,y)计算得到手指速度信息并发送到信号处理单元13；

(3)信号处理单元13，包括：主控制器131、静电力驱动芯片132、振动驱动芯片133和显示芯片134；其作用在于手指位置信息处理得到静电力驱动信号幅度参数矩阵E，然后根据手指当前时刻的位置坐标P(x,y)信息选取静电力驱动信号幅度参数E(x,y)，并根据计算得到的手指速度信息处理得到振动驱动信号幅度参数V(x,y)，产生相应的触觉驱动信号发送给静电力触觉再现单元14、可穿戴式振动触觉再现单元15；并根据图像信息处理得到视觉显示信息，产生相应的显示信号发送给多媒体信息终端16，呈现视觉信息；

(4)静电力触觉再现单元14，采用静电电容触摸屏，其作用在于可实时根据静电力触觉驱动信号幅度参数E(x,y)改变手指受到的切向静电摩擦力，产生相应的静电力触觉反馈；

(5)可穿戴式振动触觉再现单元15，其作用在于可实时根据振动驱动信号幅度参数V(x,y)改变手指受到的振动触觉刺激，产生相应的振动触觉；

(6)多媒体信息终端16，其作用在于可呈现视觉信息。

所述的静电力触觉再现单元14包括静电电容触摸屏，其结构分为三层，如图2所示：底层为玻璃板141，起到支撑的作用；中间层为透明导电层142，喷镀在玻璃板上，激励信号可以在其中传播；顶层为绝缘薄膜143，喷镀在导电层上，起到绝缘的作用，电容屏可以完成静电力触觉再现的功能；

所述的可穿戴式振动触觉再现装置15的结构正视图如图3所示，其结构包括：

(1)使用3D打印的塑料指环：指环环形部分151呈圆形，指环的内侧直径可适应不同直径的手指，可紧密固定在用户手指的近端指骨上；在指腹侧有足够的间隙152，指环的上部带有一个长方形凹槽153，用于固定振动源154，振动源采用振动电机；

(2)振动源154，其作用在于通过塑料指环直接对手指产生法向的振动触觉刺激。

所述的信号处理单元13的结构如图4所示，包括：主控制器131、静电力驱动芯片132、振动驱动芯片133和显示芯片134；其作用在于将信号处理单元13根据手指的位置信息发出的静电力驱动信号幅度参数E(x,y)、根据手指的速度信息发出的振动驱动信号幅度参数V(x,y)和需要呈现的图片信息送入主控制器131中，再由主控制器131将静电力驱动信号幅度参数E(x,y)发送给静电力驱动芯片132，振动驱动信号幅度参数V(x,y)发送给振动驱动芯片133，视觉显示信息发送给显示芯片134；静电力驱动芯片132将产生的静电力驱动信号送入静电电容触摸屏的透明导电层142，产生切向反馈力，同时振动驱动芯片133将振动驱动信号送入振动源154中，产生作用于手指的振动刺激，显示芯片134将图像视觉信息送入多媒体信息终端16，则静电力触觉和振动触觉同时作用于手指，从而实现更真实触觉反馈，并将图像信息显示在多媒体信息终端的显示屏上。

静电力触觉再现受力分析如图5所示，当手指在静电电容触摸屏14上运动时，在静电电容触摸屏的透明导电层142施加静电力驱动信号幅度参数E(x,y)，透明导电层142上带有相应极性的电荷，绝缘薄膜143靠近透明导电层142的一侧感应出相反极性的电荷，远离的一侧感应出与透明导电层142极性相同的电荷。手指直接接触绝缘薄膜143，感应出极性相反的电荷，电荷之间相互吸引产生库仑力。当手指运动时，由于库仑力的作用，会在手指上产生与手指运动方向相反的切向摩擦力F_x。因此，当给透明导电层142发送不同的静电力驱动信号幅度参数E(x,y)，手指会受到不同的切向摩擦力，进而感受到不同的纹理触觉信息。

振动触觉再现受力分析如图6所示，当手指的运动速度v(t)不同时，信号处理单元13可根据不同的速度v(t)处理得到不同的振动驱动信号幅度参数V(x,y)，振动源154根据输入的振动驱动信号产生不同的振动，改变手指受到的法向反馈力F_y，从而使手指感受到不同的表面精细粗糙度触觉感受。

一种融合静电力和振动的可穿戴式触觉再现方法，包括

(一)、可穿戴式触觉再现装置的振动驱动信号幅度参数V(x,y)的求解过程如图7所示：

(1)首先，将表面粗糙度近似定义为一正弦表面，如图8A所示，给定的波长为λ，当手指以一定的速度在虚拟的正弦曲面上滑动，从前一时刻的位置P₀(x₀,y₀)运动到当前时刻的位置P(x,y)时，如图8B所示，手指速度表示为：

(2)然后，将输入的振动电压V(x,y)根据手指速度和波形表面的空间频率f调制如下：

其中A是振动的电压幅度，f是波形表面的空间频率根据材料使用不同的f值呈现不同的粗糙度感知；

(二)、静电力触觉再现单元的静电力驱动信号幅度参数E(x,y)的求解过程如图9所示：

(1)首先，测量基于静电力触觉反馈的静电力驱动信号幅度A₁与静电反馈力F₁之间的关系：

其中k₁为静电力触觉反馈的比例系数，由实验设备和当前的实验环境决定；

(2)进一步求解静电力驱动信号幅度参数E(x,y)的过程为：

提取图像的灰度值，得到灰度矩阵也即高度矩阵H，对高度矩阵H横向求偏导，得到图像的梯度矩阵G_x：

然后对梯度矩阵G_x进行归一化处理

其中G_x′为对梯度矩阵G_x归一化，g_xmax为矩阵G_x中元素的最大值，g_xmin为矩阵G_x中元素的最小值，然后对图像进行渲染，得到图像对应的切向反馈力分量矩阵F_e：

F_e＝G_x′f_m

其中f_m为静电力触觉反馈所能提供的最大切向力，然后再根据静电力驱动信号幅度A₁与静电反馈力F₁的对应关系，即可求出静电力驱动信号幅度参数

Claims (5)

1.一种融合静电力和振动的可穿戴式触觉再现装置，其特征在于包括：

(1)手指定位单元包括实现定位功能的装置，其作用在于实时读取多媒体终端触摸屏上手指的当前位置坐标P(x,y)，并将手指的当前位置坐标P(x,y)信息发送到信号处理单元；

(2)手指速度检测单元包括实时检测手指速度的深度传感器或摄像头等装置，其作用在于通过实时捕捉手部运动信息，手指前一时刻的位置P₀(x₀,y₀)和当前时刻的位置P(x,y)计算得到手指速度信息并发送到触觉处理单元；

(3)信号处理单元作用在于手指位置信息处理得到静电力驱动信号幅度参数矩阵E，然后根据手指当前时刻的位置坐标P(x,y)信息选取静电力驱动信号幅度参数E(x,y)，并根据计算得到的手指速度信息处理得到振动驱动信号幅度参数V(x,y)，产生相应的触觉驱动信号分别发送给静电力触觉再现单元、可穿戴式振动触觉再现单元；并根据图像信息处理得到视觉显示信息，产生相应的显示信号发送给多媒体信息终端，呈现视觉信息；

(4)静电力触觉再现单元，包括静电电容触摸屏，其作用在于实时根据静电力触觉驱动信号幅度参数E(x,y)改变手指受到的切向静电摩擦力，产生相应的静电力触觉反馈；

(5)可穿戴式振动触觉再现单元，其作用在于可实时根据振动驱动信号幅度参数V(x,y)改变手指受到的振动触觉刺激，产生相应的振动触觉；

(6)多媒体信息终端，其作用在于可呈现视觉信息。

2.根据权利要求1所述一种融合静电力和振动的可穿戴式触觉再现装置，其特征在于：所述的静电力触觉再现单元采用静电电容触摸屏，其结构分为三层，底层为玻璃板，起到支撑的作用；中间层为透明导电层，喷镀在玻璃板上，激励信号在其中传播；顶层为绝缘薄膜，喷镀在导电层上，起到绝缘的作用，电容屏可以完成静电力触觉再现的功能。

3.根据权利要求1所述一种融合静电力和振动的可穿戴式触觉再现装置，其特征在于：所述的可穿戴式振动触觉再现装置的结构包括：

(1)使用3D打印的塑料指环：指环环形部分呈圆形，指环的内侧直径可适应不同直径的手指，可紧密固定在用户手指的近端指骨上；在指腹侧有足够的间隙，指环的上部带有一个长方形凹槽，用于固定振动源；

(2)振动源，其作用在于通过塑料指环直接对手指产生法向的振动触觉刺激。

4.根据权利要求1所述一种融合静电力和振动的可穿戴式触觉再现装置，其特征在于：所述的信号处理单元的结构包括：主控制器、静电力驱动芯片、振动驱动芯片和显示芯片；其作用在于将信号处理单元根据手指的位置信息发出的静电力驱动信号幅度参数E(x,y)、根据手指的速度信息发出的振动驱动信号幅度参数V(x,y)和需要呈现的图片信息送入主控制器中，再由主控制器将静电力驱动信号幅度参数E(x,y)发送给静电力驱动芯片，振动驱动信号幅度参数V(x,y)发送给振动驱动芯片，视觉显示信息发送给显示芯片；静电力驱动芯片将产生的静电力驱动信号送入静电电容触摸屏的透明导电层，产生切向反馈力，同时振动驱动芯片将振动驱动信号送入振动源中，产生作用于手指的振动刺激，显示芯片将图像视觉信息送入多媒体信息终端，则静电力触觉和振动触觉同时作用于手指，从而实现更真实触觉反馈，并将图像信息显示在多媒体信息终端的显示屏上。

5.一种融合静电力和振动的可穿戴式触觉再现方法，其特征在于包括：

(一)、可穿戴式触觉再现装置的振动驱动信号幅度参数V(x,y)的求解过程如下：

(1)首先，将表面粗糙度近似定义为一正弦表面，给定的波长为λ，当手指以一定的速度在虚拟的正弦曲面上滑动，从前一时刻的位置P₀(x₀,y₀)运动到当前时刻的位置P(x,y)时，手指速度表示为：

(2)然后，将输入的振动电压V(x,y)根据手指速度和波形表面的空间频率f调制如下：

其中A是振动的电压幅度，f是波形表面的空间频率，根据材料使用不同的f值呈现不同的粗糙度感知；

(二)、静电力触觉再现单元的静电力驱动信号幅度参数E(x,y)的求解过程如下：

(1)首先，测量基于静电力触觉反馈的静电力驱动信号幅度A₁与静电反馈力F₁之间的关系：

其中k₁为静电力触觉反馈的比例系数，

(2)进一步求解静电力驱动信号幅度参数E(x,y)的过程为：

提取图像的灰度值，得到灰度矩阵也即高度矩阵H，对高度矩阵H横向求偏导，得到图像的梯度矩阵G_x：

然后对梯度矩阵G_x进行归一化处理：

其中G_x′为对梯度矩阵G_x归一化，g_xmax为矩阵G_x中元素的最大值，g_xmin为矩阵G_x中元素的最小值，然后对图像进行渲染，得到图像对应的切向反馈力分量矩阵F_e：

F_e＝G_x′f_m

其中f_m为静电力触觉反馈所能提供的最大切向力，然后再根据静电力驱动信号幅度A₁与静电反馈力F₁的对应关系，即可求出静电力驱动信号幅度参数