CN107943290A - 融合静电力与振动的触觉再现方法与装置 - Google Patents

Abstract

本发明涉及一种融合静电力与振动的触觉再现方法与装置，属于人机交互领域。包括：手指定位单元、触觉处理单元、触觉驱动单元和触觉呈现单元；手指定位单元获取手指的坐标信息，触觉处理单元提取视觉对象的视觉信息并进行渲染然后得到相应的触觉驱动信号参数，触觉驱动单元根据驱动信号参数产生相应的驱动信号，触觉呈现单元改变手指受到的切向力以及法向力，从而实现三维的触觉再现效果。其优点在于：在平面交互的过程中同时改变手指受到的切向力以及法向力，从而呈现更真实的三维触觉感受，并且装置的结构简单、容易实现、移植性好，可集成在各种多媒体终端上。

Description

融合静电力与振动的触觉再现方法与装置

技术领域

本发明涉及一种触觉再现装置，属于虚拟现实与人机交互领域。

背景技术

触觉是人类五种感觉通道之一，可以实现人类与环境之间的双向信息交互。近年来，随着人机交互、虚拟现实技术的不断发展，触觉再现技术的应用使得用户在视觉、听觉交互的基础上，又打开了触觉的交互通道，从而在交互的过程中有了更加真实的沉浸感。因此触觉在人机交互中起着非常重要的作用。

目前，已经有一些实现触觉再现的方法与装置。

中国专利“一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置”(申请号201610900663.8)公开了一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置，可为人手指提供多模式的力觉和振动触觉反馈，这种装置结构复杂并且不容易集成，有很大的局限性。中国专利“一种超声波触觉反馈系统及其制造方法”(申请号201510266849.8)公开了一种基于电容式超声传感器的超声波触觉反馈系统，通过声波聚焦在空间某点产生触觉反馈，这种阵列式触觉再现装置所产生的触觉非常微弱，并且结构复杂、不容易集成。

中国专利“一种基于静电力触觉再现的装置”(申请号201210143828.3)以及中国专利“一种应用阻抗检测的自适应多点静电力触觉再现装置”(申请号201420098225.0)公开了一种基于静电力触觉再现的方法与装置，这种方法与装置只能改变手指所受到的切向摩擦力，并不能改变手指所受到的法向力，而且只有手指处于运动状态时才能感受到触觉反馈，呈现的触觉效果较差。

中国专利“触觉反馈模块及按钮”(申请号201611059008.0)公开了一种里用压电陶瓷振动实现局部定点精确反馈，中国专利“基于高压电特性陶瓷材料的振动装置”(申请号201620476481.8)公开了一种基于压电陶瓷实现的振动触觉反馈。这种振动反馈实现的触感单一，适合信息提示等功能，所以其局限性比较大。

通过上述分析，可以将静电力与振动这两种触觉再现方式融合到一起，从而达到优势互补的效果。手指静止时可以通过振动源的振动来产生触觉感受，手指运动时，可以结合静电力与振动来改变手指受到的切向力与法向力，从而产生更加精细的触觉感受，这样就可以达到更好的触觉再现效果。因此，本发明提出的融合静电力与振动的触觉再现方法与装置，可以达到更好的触觉再现效果，从而提高触觉再现的真实感。

发明内容

本发明提供一种融合静电力与振动的触觉再现方法与装置，以解决基于阵列式的触觉再现装置以及力触觉再现装置的结构都比较复杂，且可移植性差，不易集成在多媒体终端上，而静电力触觉再现装置只能提供切向力的变化，且手指静止时无触觉反馈，振动触觉再现装置的触感单一、真实性差等问题。通过融合静电力以及振动触觉反馈的触觉呈现方式，可以同时改变手指所受到的切向力以及法向力，能在平面呈现出三维的触觉反馈效果，从而呈现出更加真实的触感。

本发明采取的技术方案是，一种融合静电力与振动的触觉再现装置，包括：

(1)手指定位单元，包括能实现定位功能的装置，其作用在于实时读取手指的位置坐标，并将该坐标信息发送到触觉处理单元；

(2)触觉处理单元，包括多媒体终端，其作用在于呈现视觉信息，同时对视觉信息进行特征提取与渲染将其映射成触觉驱动信号参数，然后将驱动信号参数发送到触觉驱动单元；

(3)触觉驱动单元，其作用在于同时产生静电力以及振动这两种触觉再现方式所需要的驱动信号，并将其施加到触觉呈现单元；

(4)触觉呈现单元，包括单点电容屏和振动源，其作用在于改变手指所受的切向力和法向力，实现三维触觉的呈现功能。

本发明所述的触觉呈现单元的结构为：

(1)单点电容屏，其结构分为三层：底层为玻璃板，起到支撑作用；中间层为透明导电极板，喷镀在玻璃地底上，可施加激励信号；顶层为一层绝缘膜，喷镀在导电极板上，起到绝缘的作用；

(2)振动源，主要产生法向振动力而其他方向的振动力较小，牢固的粘贴在单点电容屏的绝缘膜侧，且需要对称粘贴在单点电容屏的长边边缘，数量需要根据电容屏的尺寸来确定；

本发明所述触觉驱动单元包括：

(1)核心控制器模块，存储着常见波形的波形数据，负责接收两种触觉再现方式的驱动信号参数，同时控制其他功能模块的工作状态；

(2)静电力驱动模块，包括数模转换器一、数模转换器二、低通滤波器、功率放大器，负责产生符合静电力触觉再现条件的驱动信号；

(3)振动驱动模块，负责产生符合振动触觉再现条件的驱动信号。

本发明所述的触觉呈现单元与触觉处理单元的显示屏幕之间使用双面胶粘贴连接。

一种融合静电力与振动的触觉再现方法，包括下列步骤：

(1)得到静电力信号幅度矩阵E

对于一个M像素*N像素的图像，首先提取其灰度值，得到图像的灰度矩阵H，然后对图像的灰度矩阵H横向求偏导，可以求得图像的梯度矩阵G_x

然后将G_x进行归一化处理，得到归一化梯度矩阵G_x′

其中g_xmin为梯度矩阵G_x中元素的最小值，g_xmax为梯度矩阵G_x中元素的最大值；

接下来根据归一化梯度矩阵G_x′求得切向力分量矩阵F_x

其中f_e为静电力触觉再现方式所能产生的最大切向力；

接下来测量静电力触觉再现中，不同驱动信号幅度V_E所能产生的切向力f_x，得到驱动信号幅度V_E与切向力f_x的关系曲线：

f_x＝kV_E ²

其中k为比例系数；

最后，根据静电力触觉再现中驱动信号幅度V_E与切向力f_x的关系曲线，即可得到切向力分量矩阵F_x所对应的静电力信号幅度矩阵E；

(2)得到夹角矩阵θ

当手指触摸到图片的某一像素点P(i,j)时，手指在P点受到虚拟物体的支持力为F_n、摩擦力为F_f，这两个力的合力为F′，合力F′与水平面夹角α_ij计算方法如下：

α_ij＝90-arctang_{x ij}-arctanμ

其中1≤i≤M、1≤j≤N，g_xij为梯度矩阵G_x中第i行、第j列的元素，μ为触觉呈现单元的摩擦系数，这样即可计算出手指在该点所受合力与水平面的夹角α_ij；

用同样的方法，即可求出图像中每一点手指所受合力与水平面的夹角，从而得到夹角矩阵θ；

(3)得到振动信号幅度矩阵V

将切向力分量矩阵F_x中的元素与夹角矩阵θ中对应位置元素的正切值相乘，得到法向力分量矩阵F_y中的元素，即

其中为夹角矩阵θ中第i行、第j列元素；

然后测量振动触觉再现中，不同驱动信号幅度V_V所能产生的法向力f_y，得到驱动信号幅度V_V与法向力f_y的关系曲线：

f_y＝mV_V

其中m为比例系数。

最后，根据振动触觉再现中驱动信号幅度V_V与法向力f_y的关系曲线，即可得到法向力分量矩阵F_y所对应的振动信号幅度矩阵V；

本发明优点在于：

1.融合了静电力与振动两种触觉再现方式，可同时提供法向力与切向力，使得触觉再现的效果更加真实；

2.触觉再现装置可以放在任何多媒体终端上使用，增强了可移植性；

3.提出了一种基于图像的触觉再现算法，使得该算法更具有普遍性。

附图说明

图1是本发明的结构示意图；

图2是本发明触觉驱动单元的原理框图；

图3是本发明触觉呈现单元的结构示意图；

图4是本发明静电力触觉再现受力分析图；

图5是本发明振动触觉再现受力分析图；

图6是本发明基于融合装置的图像渲染过程图；

图7是本发明手指触摸图片中虚拟物体的受力分析图；

图8是本发明融合触觉再现装置的再现效果分析图。

具体实施方式

一种融合静电力与振动的触觉再现装置1，如图1所示，包括：

(1)手指定位单元13，包括能实现定位功能的装置，其作用在于实时读取手指的位置坐标，并将该坐标信息发送到触觉处理单元15；

(2)触觉处理单元15，包括多媒体终端，其作用为通过显示器1501呈现视觉信息，同时对视觉信息进行特征提取与渲染将其映射成触觉驱动信号参数，然后将驱动信号参数发送到触觉驱动单元14；

(3)触觉驱动单元14，其作用在于同时产生静电力触觉与振动触觉所需要的驱动信号，并将其施加到触觉呈现单元；

(4)触觉呈现单元，包括单点电容屏12和振动源16，其作用在于改变手指所受的切向力和法向力，实现三维触觉的呈现功能。

所述的触觉驱动单元14如图2所示，其功能单元以及工作流程如下：

(1)核心控制器模块1401，存储着常见波形的波形数据，负责接收振动触觉驱动信号参数：幅度A_V、频率F_V、波形W_V，以及静电力触觉驱动信号参数：幅度A_E、频率F_E、波形W_E，同时控制其他功能模块的工作状态；

(2)静电力驱动模块1402，包括数模转换器一140201、数模转换器二140202、低通滤波器140203、功率放大器140204，其中数模转换器一140201通过接收核心控制器模块1401发送的波形数据产生频率F_E、波形W_E可调的基础信号，该基础信号作为数模转换器二140202的参考电压，再结合核心控制器模块1401的幅度控制数据A_E就可以实现基础信号的电压调节，之后将该信号输入到低通滤波器140203进行滤波得到平滑的波形信号，再将该信号输入到功率放大器140204进行电压放大，即可产生符合静电力触觉再现条件的驱动信号，即静电力触觉驱动信号1405；

(3)振动驱动模块1403，需要根据振动源的选择而定，可以是一般振动源的通用驱动芯片，也可以使某种振动源的特定驱动芯片，通过对驱动芯片的控制产生符合振动触觉再现条件的驱动信号，即振动触觉驱动信号1404。

所述的触觉呈现单元如图3所示，包括：

(1)单点电容屏12，主要改变手指受到的切向力，其结构以及受力分析如图4所示，最底层为玻璃板1201，起到支撑作用，中间层为透明导电极板1202，可施加激励信号，顶层为一层绝缘膜1203，当手指触摸屏幕时，指尖内的组织液和导电极板形成一个电容结构，改变施加在导电极板上的信号参数，就会导致手指受到的吸引力发生变化，当手指在屏幕上滑动时，手指受到的摩擦力发生相应的变化，也即改变了手指受到的切向力；

(2)振动源16，主要改变手指受到的法向力，选型时要注意振动源应满足法向振动力较大而其他方向的振动力较小，振动源16需要牢固的粘贴在单点电容屏12的绝缘膜1203侧，且需要对称粘贴在单点电容屏的长边边缘，数量需要根据电容屏的尺寸来确定，其受力分析如图5所示，振动源16产生的机械波在单点电容屏12的表面传播，从而使手指受到相应的法向力，调节驱动信号的大小，即可改变手指受到法向力的大小。

所述的触觉呈现单元与触觉处理单元的显示屏幕之间使用双面胶粘贴连接，由于振动源产生的机械波要以单点电容屏为媒介进行传播，当单点电容屏幕与显示屏幕之间粘贴过紧时会导致机械波严重衰减，从而使得感受到的法向力非常微弱，所以触觉呈现单元与触觉处理单元的显示屏幕之间要是用双面胶进行粘贴，最好是软质的双面胶。

已经有文献表明触觉感受主要由皮肤所受的切向力产生，所以上述融合静电力与振动的触觉再现方法与装置中，特征提取与渲染的思路为切向力为主、法向力为辅，如图6所示，步骤如下：

(1)得到静电力信号幅度矩阵E

对于一个M像素*N像素的图像，首先提取其灰度值，得到图像的灰度矩阵H，然后对图像的灰度矩阵H横向求偏导，可以求得图像的梯度矩阵G_x

然后将G_x进行归一化处理，得到归一化梯度矩阵G_x′

其中g_xmin为梯度矩阵G_x中元素的最小值，g_xmax为梯度矩阵G_x中元素的最大值；

接下来根据归一化梯度矩阵G_x′求得切向力分量矩阵F_x

其中f_e为静电力触觉再现方式所能产生的最大切向力；

接下来测量静电力触觉再现中，不同驱动信号幅度V_E所能产生的切向力f_x，得到驱动信号幅度V_E与切向力f_x的关系曲线：

f_x＝kV_E ²

其中k为比例系数；

最后，根据静电力触觉再现中驱动信号幅度V_E与切向力f_x的关系曲线，即可得到切向力分量矩阵F_x所对应的静电力信号幅度矩阵E；

(2)得到夹角矩阵θ

当手指触摸到图片的某一像素点P(i,j)时，如图7所示，手指在P点受到虚拟物体的支持力为F_n、摩擦力为F_f，这两个力的合力为F′，合力F′与水平面夹角α_ij计算方法如下：

α_ij＝90-arctang_{x ij}-arctanμ

其中1≤i≤M、1≤j≤N，g_{x ij}为梯度矩阵G_x中第i行、第j列的元素，μ为触觉呈现单元的摩擦系数，这样即可计算出手指在该点所受合力与水平面的夹角α_ij；

用同样的方法，即可求出图像中每一点手指所受合力与水平面的夹角，从而得到夹角矩阵θ；

(3)得到振动信号幅度矩阵V

将切向力分量矩阵F_x中的元素与夹角矩阵θ中对应位置元素的正切值相乘，得到法向力分量矩阵F_y中的元素，即

其中为夹角矩阵θ中第i行、第j列元素；

然后测量振动触觉再现中，不同驱动信号幅度V_V所能产生的法向力f_y，得到驱动信号幅度V_V与法向力f_y的关系曲线：

f_y＝mV_V

其中m为比例系数。

最后，根据振动触觉再现中驱动信号幅度V_V与法向力f_y的关系曲线，即可得到法向力分量矩阵F_y所对应的振动信号幅度矩阵V；

这样，当手指划过图像的某一个像素时，就可以根据振动信号幅度矩阵V和静电力信号幅度矩阵E进行对应的驱动，从而使手指受到相应的切向力F_x以及法向力F_y，这两个力的合力为F_合，如图8所示，通过前面的求解过程可知合力F_合与切向力F_x的夹角为θ，这样就可以再现出手指触摸虚拟物体时所受到的力，包括大小和方向，从而达到更加真实的触觉再现效果。

以上通过实例对本发明所述的多通道自然切换算法进行了详细说明，但本发明的具体实现形式并不局限于此。本领域的一般技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见变化与修改。本发明的保护范围应以权利要求书所述为准。

Claims (5)

1.一种融合静电力与振动的触觉再现装置，其特征在于，包括：

(1)手指定位单元，包括能实现定位功能的装置，其作用在于实时读取手指的位置坐标，并将该坐标信息发送到触觉处理单元；

(2)触觉处理单元，包括多媒体终端，其作用在于呈现视觉信息，同时对视觉信息进行特征提取与渲染将其映射成触觉驱动信号参数，然后将驱动信号参数发送到触觉驱动单元；

(3)触觉驱动单元，其作用在于同时产生静电力以及振动这两种触觉再现方式所需要的驱动信号，并将其施加到触觉呈现单元；

(4)触觉呈现单元，包括单点电容屏和振动源，其作用在于改变手指所受的切向力和法向力，实现三维触觉的呈现功能。

2.根据权利要求1所述的融合静电力与振动的触觉再现装置，其特征在于所述的触觉呈现单元的结构为：

(1)单点电容屏，其结构分为三层：底层为玻璃板，起到支撑作用；中间层为透明导电极板，喷镀在玻璃地底上，可施加激励信号；顶层为一层绝缘膜，喷镀在导电极板上，起到绝缘的作用；

(2)振动源，主要产生法向振动力而其他方向的振动力较小，牢固的粘贴在单点电容屏的绝缘膜侧，且需要对称粘贴在单点电容屏的长边边缘，数量需要根据电容屏的尺寸来确定。

3.根据权利要求1所述的融合静电力与振动的触觉再现装置，其特征在于所述触觉驱动单元包括：

(1)核心控制器模块，存储着常见波形的波形数据，负责接收两种触觉再现方式的驱动信号参数，同时控制其他功能模块的工作状态；

(2)静电力驱动模块，包括数模转换器一、数模转换器二、低通滤波器、功率放大器，负责产生符合静电力触觉再现条件的驱动信号；

(3)振动驱动模块，负责产生符合振动触觉再现条件的驱动信号。

4.根据权利要求1所述的融合静电力与振动的触觉再现装置，其特征在于所述的触觉呈现单元与触觉处理单元的显示屏幕之间使用双面胶粘贴连接。

5.一种融合静电力与振动的触觉再现方法，其特征在于，包括下列步骤：

(1)得到静电力信号幅度矩阵E

对于一个M像素*N像素的图像，首先提取其灰度值，得到图像的灰度矩阵H，然后对图像的灰度矩阵H横向求偏导，可以求得图像的梯度矩阵G_x

然后将G_x进行归一化处理，得到归一化梯度矩阵G_x′

其中g_xmin为梯度矩阵G_x中元素的最小值，g_xmax为梯度矩阵G_x中元素的最大值；

接下来根据归一化梯度矩阵G_x′求得切向力分量矩阵F_x

其中f_e为静电力触觉再现方式所能产生的最大切向力；

接下来测量静电力触觉再现中，不同驱动信号幅度V_E所能产生的切向力f_x，得到驱动信号幅度V_E与切向力f_x的关系曲线：

f_x＝kV_E ²

其中k为比例系数；

最后，根据静电力触觉再现中驱动信号幅度V_E与切向力f_x的关系曲线，即可得到切向力分量矩阵F_x所对应的静电力信号幅度矩阵E；

(2)得到夹角矩阵θ

当手指触摸到图片的某一像素点P(i,j)时，手指在P点受到虚拟物体的支持力为F_n、摩擦力为F_f，这两个力的合力为F′，合力F′与水平面夹角α_ij计算方法如下：

α_ij＝90-arctang_{x ij}-arctanμ

其中1≤i≤M、1≤j≤N，g_{x ij}为梯度矩阵G_x中第i行、第j列的元素，μ为触觉呈现单元的摩擦系数，这样即可计算出手指在该点所受合力与水平面的夹角α_ij；

用同样的方法，即可求出图像中每一点手指所受合力与水平面的夹角，从而得到夹角矩阵θ；

(3)得到振动信号幅度矩阵V

将切向力分量矩阵F_x中的元素与夹角矩阵θ中对应位置元素的正切值相乘，得到法向力分量矩阵F_y中的元素，即

其中为夹角矩阵θ中第i行、第j列元素；

然后测量振动触觉再现中，不同驱动信号幅度V_V所能产生的法向力f_y，得到驱动信号幅度V_V与法向力f_y的关系曲线：

f_y＝mV_V

其中m为比例系数。

最后，根据振动触觉再现中驱动信号幅度V_V与法向力f_y的关系曲线，即可得到法向力分量矩阵F_y所对应的振动信号幅度矩阵V；