CN103853332B - 一种用于移动终端的指套式力触觉交互装置及交互方法 - Google Patents

Abstract

本发明公开了一种用于移动终端的指套式力触觉交互装置，包括指套组件和移动终端，触摸屏表面贴有绝缘薄膜和静电薄膜；指套组件包括控制模块、导电橡胶套、测力传感器和压电传送器，测力传感器固定连接在压电传送器上表面；控制模块包括触觉装置控制单元、电源、无线通信模块、第一触觉驱动器和第二触觉驱动器，无线通信模块与触觉装置控制单元的串口连接，第一触觉驱动器的电压输出端口与压电传送器连接，第二触觉驱动器的电压输出端口与静电薄膜连接。该交互装置使用穿戴式指套和移动终端进行力触觉交互，便于携带。同时还提供该装置的交互方法，该方法提供切向和法向的力触觉反馈，给使用者提供良好的触觉交互体验。

Description

一种用于移动终端的指套式力触觉交互装置及交互方法

技术领域

本发明属于力触觉交互领域，具体来说，涉及一种用于移动终端的指套式力触觉交互装置及交互方法。

背景技术

高效自然的力触觉再现技术能够加强虚拟现实的沉浸感和真实感，能够提供更为真实和直接的交互体验，将人类与虚拟世界的交流推向一个新的阶段，是目前虚拟现实领域的热点。随着力触觉再现技术应用领域的拓宽，便携式、能与移动终端无缝衔接的力触觉交互装置的设计也日益迫切。

国内外在移动终端的力触觉交互设备研究中，大部分采用了静电薄膜的方法。日本电信通信大学研制的一种用于移动触摸屏的透明电触觉薄膜，该薄膜在显示屏关机情况下能看出其形状，但在显示屏亮起后近似为透明，可以贴附在普通电容屏上使用，电极点阵式分布，触摸时会根据图像的凹凸给予静电反馈，增强手部触觉感受。美国西北大学的Michael A.Peshkin研制了一种能够让人感知运动过程中剪切力的静电薄膜。也有一些力触觉交互设备仅仅采用振动的方法。布里斯托尔大学计算机科学系研制了一款能够提供多点力触觉反馈的移动电视辅助装置。该力反馈装置安装在普通移动电视的背面，在移动电视背面安装超声发射器阵列，手指触摸时能够感受到超声空气压力波的振动感。韩国釜山国立大学的Jin-Hun Park等人致力于提升手机中的线性振动传感器性能，提出了一个新颖有效的磁路设计，从而增加了磁力，使其在保证快速响应的同时，提高线性振动器传递的力，增强线型振动器的振动强度。

目前大部分移动终端的力触觉交互设备均采用静电力与移动终端结合的方式设计，外置式的力触觉交互设备较少。此外，力反馈大多局限在开关型力信号的输出，难以表达出图像完整的凹凸信息。以上用于移动终端的力触觉交互设备体积较大，不利于携带，成本较高，并且只能提供切向或者法向的力反馈，无法给使用者提供良好的交互体验。

发明内容

技术问题：本发明所要解决的技术问题是：提供一种用于移动终端的指套式力触觉交互装置，该交互装置使用穿戴式指套和移动终端进行力触觉交互，便于携带和穿戴、体积小、成本低。同时还提供该装置的交互方法，该方法提供切向和法向的力触觉反馈，能够给使用者提供良好的触觉交互体验。

技术方案：为解决上述技术问题，本发明采用的技术方案是：

一种用于移动终端的指套式力触觉交互装置，该力触觉交互装置包括指套组件和含有触摸屏的移动终端，触摸屏表面贴有绝缘薄膜和静电薄膜，静电薄膜位于触摸屏表面和绝缘薄膜之间；指套组件包括控制模块、呈指套状的导电橡胶套、以及位于导电橡胶套内侧底端的测力传感器和压电传送器，导电橡胶套的上端为开口端，压电传送器固定连接在导电橡胶套的底面，测力传感器固定连接在压电传送器上表面；控制模块包括触觉装置控制单元、电源、无线通信模块、第一触觉驱动器和第二触觉驱动器，电源为触觉装置控制单元供电，无线通信模块与触觉装置控制单元的串口连接，第一触觉驱动器的I²C端口和第二触觉驱动器的I²C端口分别通过I²C总线与触觉装置控制单元连接，第一触觉驱动器的电压输出端口通过导线与压电传送器连接，第二触觉驱动器的电压输出端口通过导线与静电薄膜连接。

进一步，所述的用于移动终端的指套式力触觉交互装置，其特征在于：还包括腕带，控制模块连接在腕带上。

一种上述的用于移动终端的指套式力触觉交互装置的交互方法，该交互方法包括以下步骤：

步骤1）检测人手指的触摸位置以及人手指主动施加的作用力：将导电橡胶套套装在人手指上，人手指用导电橡胶套触碰移动终端屏幕上的虚拟物体，移动终端感应导电橡胶套和屏幕的接触点，控制模块通过测力传感器测量人手指通过导电橡胶套向虚拟物体施加的压力，该压力为虚拟接触力，控制模块将该虚拟接触力通过无线通信模块发送给移动终端；

步骤2）力触觉建模：移动终端根据导电橡胶套和屏幕的接触点位置，建立力触觉模型，测算出虚拟接触力的切向力和法向力，再通过无线通信发送给控制模块；其中，法向力方向是垂直于屏幕并指向操作者的方向，切向力方向是平行于屏幕并和人手指在屏幕上的运动方向相反的方向；

步骤3）手指和移动终端的触觉交互：控制模块根据移动终端建立的力触觉模型，进行虚拟接触力的力信号和电信号的转换，然后通过控制第一触觉驱动器产生对应频率和幅值的正弦电压作用于压电传送器，使手指感受到法向的振动力；通过控制第二触觉驱动器产生对应频率和幅值的正弦电压作用于静电薄膜，使手指感受到切向的摩擦力，实现人手指和移动终端的触觉交互。

进一步：所述的步骤3）中，虚拟接触力的力信号和电信号转换的过程为：触觉装置控制单元实时采集测力传感器的信号，计算人手指的主动按压力F，并通过无线通信发送给移动终端，移动终端接收到压力F后，将其作为手指刺穿虚拟物体的深度信号对虚拟物体进行力触觉建模，得到虚拟接触力的法向力f_e和切向力f_r，并通过无线通信发送给触觉装置控制单元，触觉装置控制单元控制通过I²C通信控制第一触觉驱动器产生正弦电压V₁(t)，该正弦电压V₁(t)作用于压电传送器产生法向作用力，同时通过I²C通信控制第二触觉驱动器产生正弦电压V₂(t)，该正弦电压V₂(t)作用于静电薄膜产生切向力；

$V_1\left(t\right)=k_1\×\sqrt{F}\×\sin (k_2\×k\×t)$

$V_2\left(t\right)=k_3\×\sqrt{F\×f_c}\×\sin (k_4\×k\×t)$

其中，t表示时间，k表示与虚拟物体的材质有关的参数，为常数；F表示人手指主动按压虚拟物体的作用力，f_c为触摸屏中虚拟物体表面的摩擦系数，k₁表示和不同压电传送器的厚度相关的参数，k₂表示和不同压电传送器的层数相关的参数；k₃表示与绝缘薄膜厚度相关的第一参数，k₄表示与绝缘薄膜厚度相关的第二参数。

有益效果：与现有技术相比较，本发明的优点在于：

（1）采用指套式结构实现力触觉交互，便于携带和穿戴、体积小、成本低、灵活性高、适用性强。本发明的指套式力触觉交互装置，包括指套组件和含有触摸屏的移动终端。指套组件包括控制模块、呈指套状的导电橡胶套、以及位于导电橡胶套内侧底端的测力传感器和压电传送器。在使用时，人的一根手指位于导电橡胶套中，通过手指向位于导电橡胶套内侧底端的测力传感器和压电传送器施加压力，移动终端根据导电橡胶套和屏幕的接触点位置，建立力触觉模型，测算出虚拟接触力的切向力和法向力，再通过无线通信发送给控制模块。力触觉交互中过程，人手指只要带上导电橡胶套即可实现该交互体验。尤其，所述的用于移动终端的指套式力触觉交互装置还包括腕带，控制模块连接在腕带上。在使用时，腕带戴在人的手腕上。

（2）在移动终端上实现力触觉交互。本发明的交互方法中，移动终端根据手指在移动终端触摸屏上主动施加的作用力和导电橡胶套和屏幕的接触点位置，建立力触觉模型。控制模块根据移动终端建立的力触觉模型，进行虚拟接触力的力信号和电信号的转换，然后通过控制第一触觉驱动器产生对应频率和幅值的正弦电压作用于压电传送器，使手指感受到法向的振动力，通过控制第二触觉驱动器产生对应频率和幅值的正弦电压作用于静电薄膜，使手指感受到切向的摩擦力，实现人手指和移动终端的触觉交互。该力触觉交互过程具有高度真实感。

附图说明

图1为本发明的安装示意图。

图2为本发明的使用状态示意图。

图3为本发明交互过程中虚拟力的计算示意图。

图中有：导电橡胶套101、测力传感器102、压电传送器103、绝缘薄膜104、静电薄膜105、触摸屏106、腕带107。

具体实施方式

下面结合附图，对本发明的技术方案进行详细的说明。

如图1和图2所示，本发明的一种用于移动终端的指套式力触觉交互装置，包括指套组件和含有触摸屏106的移动终端。触摸屏106表面贴有绝缘薄膜104和静电薄膜105。静电薄膜105位于触摸屏106表面和绝缘薄膜104之间。指套组件包括控制模块、呈指套状的导电橡胶套101、以及位于导电橡胶套101内侧底端的测力传感器102和压电传送器103。作为优选方案，所述的测力传感器102为薄膜测力传感器。导电橡胶套101的上端为开口端。压电传送器103固定连接在导电橡胶套101的底面，测力传感器102固定连接在压电传送器103上表面。控制模块包括触觉装置控制单元、电源、无线通信模块、第一触觉驱动器和第二触觉驱动器。电源为触觉装置控制单元供电，无线通信模块与触觉装置控制单元的串口连接，第一触觉驱动器的I²C端口和第二触觉驱动器的I²C端口分别通过I²C总线与触觉装置控制单元连接，第一触觉驱动器的电压输出端口通过导线与压电传送器103连接，第二触觉驱动器的电压输出端口通过导线与静电薄膜105连接。

进一步，所述的用于移动终端的指套式力触觉交互装置还包括腕带，控制模块连接在腕带107上。在使用时，腕带107戴在人的手腕上，导电橡胶套101套在人的手指上。

上述的用于移动终端的指套式力触觉交互装置的交互方法，包括以下步骤：

步骤1）检测人手指的触摸位置以及人手指主动施加的作用力：将导电橡胶套101套装在人手指上，人手指用导电橡胶套101触碰移动终端屏幕上的虚拟物体，移动终端感应导电橡胶套101和屏幕的接触点，控制模块通过测力传感器102测量人手指通过导电橡胶套101向虚拟物体施加的压力，该压力为虚拟接触力，控制模块将该虚拟接触力通过无线通信模块发送给移动终端。

步骤2）力触觉建模：移动终端根据导电橡胶套101和屏幕的接触点位置，建立力触觉模型，测算出虚拟接触力的切向力和法向力，再通过无线通信发送给控制模块；其中，法向力方向是垂直于屏幕并指向操作者的方向，切向力方向是平行于屏幕并和人手指在屏幕上的运动方向相反的方向。建立力触觉模型为现有技术，例如：弹簧质子模型、有限元模型。

步骤3）手指和移动终端的触觉交互：控制模块根据移动终端建立的力触觉模型，进行虚拟接触力的力信号和电信号的转换，然后通过控制第一触觉驱动器产生对应频率和幅值的正弦电压作用于压电传送器103，使手指感受到法向的振动力，通过控制第二触觉驱动器产生对应频率和幅值的正弦电压作用于静电薄膜105，使手指感受到切向的摩擦力，实现人手指和移动终端的触觉交互。

如图3所示，所述的步骤3）中，虚拟接触力的力信号和电信号转换的过程为：触觉装置控制单元实时采集测力传感器102的信号，计算人手指的主动按压力F，并通过无线通信发送给移动终端，移动终端接收到压力F后，将其作为手指刺穿虚拟物体的深度信号对虚拟物体进行力触觉建模，得到虚拟接触力的法向力f_e和切向力f_r，并通过无线通信发送给触觉装置控制单元，触觉装置控制单元控制通过I²C通信控制第一触觉驱动器产生正弦电压V₁(t)，该正弦电压V₁(t)作用于压电传送器103产生法向作用力，同时通过I²C通信控制第二触觉驱动器产生正弦电压V₂(t)，该正弦电压V₂(t)作用于静电薄膜105产生切向力；

$V_1\left(t\right)=k_1\×\sqrt{F}\×\sin (k_2\×k\×t)$

$V_2\left(t\right)=k_3\×\sqrt{F\×f_c}\×\sin (k_4\×k\×t)$

其中，t表示时间，k表示与虚拟物体的材质有关的参数，为常数；虚拟物体硬度越高，k值越大；F表示人手指主动按压虚拟物体的作用力，f_c为触摸屏（106）中虚拟物体表面的摩擦系数，k₁表示和不同压电传送器的厚度相关的参数，k₂表示和不同压电传送器的层数相关的参数；k₃表示与绝缘薄膜104厚度相关的第一参数，k₄表示与绝缘薄膜104厚度相关的第二参数。k₃和k₄值不相等。

对于V₁(t)，由于人的主动按压能量和压电传送器103产生的能量是成正比的，即f_e=F∝A₁ ²，符号∝表示呈正比，人感觉到的虚拟物体的软硬度和振动频率成正比，k∝ω₁，ω₁表示正弦电压V₁(t)的角速度，A₁表示正弦电压V₁(t)的角速度的幅值。

对于V₂(t)，摩擦力产生能量和静电薄膜105产生的能量成正比，即f_r=F×f_c∝A₂ ²，虚拟物体的软硬度和振动频率成正比，即k∝ω2，ω₂表示正弦电压V₂(t)的角速度，A₂表示正弦电压V₂(t)的角速度的幅值。

虚拟接触力的法向力和切向力是通过对触摸位置的虚拟物体进行力触觉建模得到的。不同大小和厚度的压电传送器103产生相同的力需要的电压是不一样的。因此，在使用不同型号的压电传送器103时，通过调节k₁而产生相同的法向力。对于不同厚度的绝缘薄膜，产生相同的力所需要施加的电压也是不一样的，可以通过调节k₃。

本发明利用测力传感器102检测人手指主动按压屏幕的作用力，当检测到手指与虚拟物体之间有接触，且人手指有主动力作用时，根据虚拟物体的材质硬度及主动施加力来计算虚拟触觉响应。本力触觉交互装置能产生振动触觉刺激，而人手主动施加的作用力是低频压力信号，测力传感器102测量的两者的合力可以通过滤波器合理分离出人手主动按压的作用力和装置的振动触觉输出力。移动终端根据人的主动按压作用力和虚拟物体的材质进行力触觉的建模，计算切向摩擦力与法向振动触觉刺激的大小。模型中，法向振动触觉刺激的强度和人手主动按压力以及虚拟物体材质有关；切向摩擦力与人手主动按压作用力和虚拟物体表面粗糙度有关。

本发明中，导电橡胶套101和静电薄膜105作为两个电极，当两者之间有正弦电压作用，并且人手指在触摸屏106上移动时，会感受到切向的静电作用力，测力传感器102用来测量手指和屏幕之间的法向作用力，压电传送器103是用以产生法向上的触觉振动，绝缘薄膜104是为了防止导电橡胶101和静电薄膜105之间有电流通过伤害人体。

本发明中，移动终端基于自带的系统平台，实时检测手指触摸过程中手指相对位置的变化并对该位置的虚拟图像进行力触觉建模，导电橡胶套101根据移动终端建立的力触觉模型，完成力信号和电信号转换并产生触觉力。移动终端实时监测手指的触摸位置并对该点的图像进行力触觉建模，将图像的纹理转化为沿轮廓方向上的切向力和法向力，之后通过无线通信将法向和切向力发送给触觉装置控制单元，触觉装置控制单元完成力信号和电信号的转换后，通过控制触觉驱动器产生特定频率和幅值的正弦电压分别作用于压电传送器103和静电薄膜105，使手指感受到切向的摩擦力和法向的振动力，穿戴式指套外端的导电橡胶套101和绝缘薄膜104下端的静电薄膜105分别作为正弦电压信号的两个电极，当手指移动时，由于静电力作用会感受到跟电压信号相关的切向摩擦力，实现手指的移动终端的触觉交互。

Claims (5)

1.一种用于移动终端的指套式力触觉交互装置，其特征在于：该力触觉交互装置包括指套组件和含有触摸屏(106)的移动终端，触摸屏(106)表面贴有绝缘薄膜(104)和静电薄膜(105)，静电薄膜(105)位于触摸屏(106)表面和绝缘薄膜(104)之间；指套组件包括控制模块、呈指套状的导电橡胶套(101)、以及位于导电橡胶套(101)内侧底端的测力传感器(102)和压电传送器(103)，导电橡胶套(101)的上端为开口端，压电传送器(103)固定连接在导电橡胶套(101)的底面，测力传感器(102)固定连接在压电传送器(103)上表面；控制模块包括触觉装置控制单元、电源、无线通信模块、第一触觉驱动器和第二触觉驱动器，电源为触觉装置控制单元供电，无线通信模块与触觉装置控制单元的串口连接，第一触觉驱动器的I²C端口和第二触觉驱动器的I²C端口分别通过I²C总线与触觉装置控制单元连接，第一触觉驱动器的电压输出端口通过导线与压电传送器(103)连接，第二触觉驱动器的电压输出端口通过导线与静电薄膜(105)连接。

2.根据权利要求1所述的用于移动终端的指套式力触觉交互装置，其特征在于：所述的测力传感器(102)为薄膜测力传感器。

3.根据权利要求1所述的用于移动终端的指套式力触觉交互装置，其特征在于：还包括腕带，控制模块连接在腕带上。

4.一种权利要求1所述的用于移动终端的指套式力触觉交互装置的交互方法，其特征在于：该交互方法包括以下步骤：

步骤1)检测人手指的触摸位置以及人手指主动施加的作用力：将导电橡胶套(101)套装在人手指上，人手指用导电橡胶套(101)触碰移动终端屏幕上的虚拟物体，移动终端感应导电橡胶套(101)和屏幕的接触点，控制模块通过测力传感器(102)测量人手指通过导电橡胶套(101)向虚拟物体施加的压力，该压力为虚拟接触力，控制模块将该虚拟接触力通过无线通信模块发送给移动终端；

步骤2)力触觉建模：移动终端根据导电橡胶套(101)和屏幕的接触点位置，以及人手指通过导电橡胶向虚拟物体施加的虚拟接触力，建立力触觉模型，测算出虚拟接触力的切向力和法向力，再通过无线通信发送给控制模块；其中，法向力方向是垂直于屏幕并指向操作者的方向，切向力方向是平行于屏幕并和人手指在屏幕上的运动方向相反的方向；

步骤3)手指和移动终端的触觉交互：控制模块根据移动终端建立的力触觉模型，进行虚拟接触力的力信号和电信号的转换，然后通过控制第一触觉驱动器产生对应频率和幅值的第一正弦电压作用于压电传送器(103)，使手指感受到法向的振动力；通过控制第二触觉驱动器产生对应频率和幅值的第二正弦电压作用于静电薄膜(105)，使手指感受到切向的摩擦力，实现人手指和移动终端的触觉交互。

5.按照权利要求4所述的用于移动终端的指套式力触觉交互装置的交互方法，其特征在于：所述的步骤3)中，虚拟接触力的力信号和电信号转换的过程为：触觉装置控制单元实时采集测力传感器(102)的信号，计算人手指的主动按压力F，并通过无线通信发送给移动终端，移动终端接收到压力F后，将其作为手指刺穿虚拟物体的深度信号对虚拟物体进行力触觉建模，得到虚拟接触力的法向力f_e和切向力f_r，并通过无线通信发送给触觉装置控制单元，触觉装置控制单元通过I²C通信控制第一触觉驱动器产生正弦电压V₁(t)，该正弦电压V₁(t)作用于压电传送器(103)产生法向作用力，同时通过I²C通信控制第二触觉驱动器产生正弦电压V₂(t)，该正弦电压V₂(t)作用于静电薄膜(105)产生切向力；

$V_1\left(t\right)=k_1\×\sqrt{F}\×sin(k_2\×k\×t)$

$V_2\left(t\right)=k_3\×\sqrt{F\×f_c}\×sin(k_4\×k\×t)$

其中，t表示时间，k表示与虚拟物体的材质有关的参数，为常数；F表示人手指主动按压虚拟物体的作用力，f_c为触摸屏(106)中虚拟物体表面的摩擦系数，k₁表示和不同压电传送器的厚度相关的参数，k₂表示和不同压电传送器的层数相关的参数；k₃表示与绝缘薄膜(104)厚度相关的第一参数，k₄表示与绝缘薄膜(104)厚度相关的第二参数，且k₃和k₄不相等。