CN109284005B - 一种融合静电力和振动的可穿戴式触觉再现装置和方法 - Google Patents

一种融合静电力和振动的可穿戴式触觉再现装置和方法 Download PDF

Info

Publication number
CN109284005B
CN109284005B CN201811292063.3A CN201811292063A CN109284005B CN 109284005 B CN109284005 B CN 109284005B CN 201811292063 A CN201811292063 A CN 201811292063A CN 109284005 B CN109284005 B CN 109284005B
Authority
CN
China
Prior art keywords
finger
electrostatic force
vibration
touch
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811292063.3A
Other languages
English (en)
Other versions
CN109284005A (zh
Inventor
孙晓颖
张佳丽
孙铭会
刘国红
陈建
燕学智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201811292063.3A priority Critical patent/CN109284005B/zh
Publication of CN109284005A publication Critical patent/CN109284005A/zh
Application granted granted Critical
Publication of CN109284005B publication Critical patent/CN109284005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种融合静电力和振动的可穿戴式触觉再现装置和方法,属于虚拟现实与人机交互领域。手指定位单元、手指速度检测单元、信号处理单元、静电力触觉再现单元、振动触觉再现单元和多媒体信息终端。手指定位单元和手指速度检测单元实时获取手指在触摸屏上的位置信息和手指的速度信息,信号处理单元根据手指的位置和速度信息进行处理得到相应的静电力触觉和振动触觉的驱动信号幅度参数,输出驱动信号到静电力触觉再现单元和振动触觉再现单元,改变手指受到的切向静电摩擦力和法向振动刺激,产生静电力和振动触觉反馈。优点在于:在平面触觉交互中,可同时呈现两种不同的触觉反馈,丰富触觉体验,增强触觉反馈的真实感。

Description

一种融合静电力和振动的可穿戴式触觉再现装置和方法
技术领域
本发明属于虚拟现实与人机交互领域,尤其涉及一种二元触觉再现装置及方法。
背景技术
随着科技的发展,触摸屏移动设备在日常生活中广泛使用,并在人机交互领域起到了越来越重要的作用。触觉交互技术的出现能够提高人机交互任务的沉浸感,丰富人类的任务体验,因此广泛应用于医疗、教育、购物、娱乐等领域。在触摸屏移动设备上增加触觉再现功能、提高触觉再现的真实感、并将其与视觉听觉等反馈方式更好的结合起来是科技发展的必然趋势和研究的前沿问题。目前,已经存在一些能应用于触摸屏移动终端设备上的触觉再现装置和方法。
中国专利“一种基于静电力触觉再现的装置”(公开号102662477A)、中国专利“一种应用于移动终端的静电力触觉再现方法和装置”(公开号104199554A)及中国专利“一种基于开关阵列的多点静电力触觉再现装置及方法”(公开号104793746A)分别公开了一种基于静电力的触觉再现装置和方法,该装置和方法具有一定的灵活性和实用性,但只能够通过改变静电吸引力调节手指受到的切向摩擦力,实现物体表面摩擦力感知维度的触觉再现,而且只有当手指运动时才能产生静电摩擦力,触感单一,触觉反馈真实感较差,对于触觉反馈的感知有条件限制,可移植性差。
中国专利申请“整体式传感器和触觉致动器”(公开号108255296A)公开了一种用于感测触摸并传递触觉信号的双功能装置,具有用于传递静电力的触觉接口,并能够根据手指对触摸表面施加的压力改变设备电极间的导电性进而改变静电力触觉信号的功能。该设备能够动态地调节手指感知的触觉反馈,但是该装置结构复杂,电极之间的柔性连接对于环境有一定的要求,不易于控制。
中国专利“面向移动终端的可穿戴指套式力触觉交互装置及实现方法”(公开号104898842A)公开了一种面向移动终端的可穿戴指套式力触觉交互装置及实现方法,该装置通过采集交互过程中的手指压力信息和手指姿态信息,结合从图像中提取的触觉表达信息,建模得到振动触觉刺激信号作用于手指产生触觉感受,操控原理简单、便携性好。但是该装置必须通过套在整个手指外的指套产生触觉感受,移动终端上并不直接产生触觉反馈,不属于在触摸屏上进行裸指触觉交互的范畴,且该装置只能产生垂直于手指方向(即法向)的振动触觉反馈,触感单一,真实感较差。
中国专利“一种基于手指振动触觉刺激的定向注意力测量系统及方法”(公开号107411761A)及中国专利“一种基于手指振动触觉刺激的执行控制注意力测量系统及方法”(公开号107468259A)公开了一种基于手指振动触觉刺激的注意力测量系统及方法,该系统通过振动触觉刺激用户并接收用户反馈来测量被测者的反应时间以及根据该反应时间计算得出用户的注意力。但该系统只是通过单一的振动触觉反馈作用于被测者手指,且没有与多媒体设备集成,触觉感受单一,只能起到提示作用。
中国专利“一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置”(公开号106502393A)公开了一种面向触摸屏的手指外骨架可穿戴式力触觉交互装置,该装置通过连杆机构、直流电机和音圈振动器可为人手指提供多模式的力觉和振动触觉反馈。但该装置的硬件结构复杂,可移植性差,且很大程度上限制了操作者手指的自由活动。
中国专利“多功能触觉输出装置的系统和方法”(公开号107024983A)公开了一种多功能触觉输出装置的系统和方法。该装置通过采集接触的压力量或者表面积经过一定的处理,产生多种触觉反馈效果,包括静电触觉效果、振动触觉效果或者变形触觉效果,其中静电触觉效果在其他触觉效果之前被输出。该系统虽然能够产生多种触觉效果,但其多功能触觉输出是分开作用的,不能同时产生多种触觉感受,即同一时间内手指感知到的触感仍然是单一触觉方式产生的。
中国专利“融合静电力与振动的触觉再现方法与装置”(公开号107943290A)公开了一种融合静电力与振动的触觉再现方法与装置。该装置通过采集手指的坐标信息和视觉对象对应位置的视觉信息产生触觉驱动信号,通过固定在触摸屏表面的静电触摸屏和振动源进行渲染,改变手指受到的切向力及法向力,实现三维的触觉再现效果。但是直接固定在触摸屏设备上的振动源会导致振动产生的机械波在传播的过程中衰减,振动触觉的强度与输出强度不成比例,影响触觉真实感,造成资源的浪费。
发明内容
本发明提供一种融合静电力和振动的可穿戴式触觉再现装置和方法,通过静电触觉触摸屏上的静电力触觉反馈为手指提供切向摩擦力,渲染多媒体终端显示的图片上物体的纹理特性;通过可穿戴式振动触觉指环为手指提供法向的振动触觉刺激,渲染多媒体终端显示的图片上物体的精细粗糙度;通过融合两种触觉反馈方式,提高了触觉再现的真实感;将振动电机通过塑料指环固定在手指的近端指骨,减少了由于设备重量和体积引起的能量损耗。
本发明采取的技术方案是,融合静电力和振动的可穿戴式触觉再现装置包括:
(1)手指定位单元包括实现定位功能的装置,其作用在于实时读取多媒体终端触摸屏上手指的当前位置坐标P(x,y),并将手指的当前位置坐标P(x,y)信息发送到信号处理单元;
(2)手指速度检测单元包括实时检测手指速度
Figure BDA0001849935410000031
的深度传感器或摄像头等装置,其作用在于通过实时捕捉手部运动信息,手指前一时刻的位置P0(x0,y0)和当前时刻的位置P(x,y)计算得到手指速度信息
Figure BDA0001849935410000032
并发送到触觉处理单元;
(3)信号处理单元作用在于手指位置信息处理得到静电力驱动信号幅度参数矩阵E,然后根据手指当前时刻的位置坐标P(x,y)信息选取静电力驱动信号幅度参数E(x,y),并根据计算得到的手指速度信息处理得到振动驱动信号幅度参数V(x,y),产生相应的触觉驱动信号分别发送给静电力触觉再现单元、可穿戴式振动触觉再现单元;并根据图像信息处理得到视觉显示信息,产生相应的显示信号发送给多媒体信息终端,呈现视觉信息;
(4)静电力触觉再现单元,包括静电电容触摸屏,其作用在于实时根据静电力触觉驱动信号幅度参数E(x,y)改变手指受到的切向静电摩擦力,产生相应的静电力触觉反馈;
(5)可穿戴式振动触觉再现单元,其作用在于可实时根据振动驱动信号幅度参数V(x,y)改变手指受到的振动触觉刺激,产生相应的振动触觉;
(6)多媒体信息终端,其作用在于可呈现视觉信息。
本发明所述的静电力触觉再现单元采用静电电容触摸屏,其结构分为三层,底层为玻璃板,起到支撑的作用;中间层为透明导电层,喷镀在玻璃板上,激励信号在其中传播;顶层为绝缘薄膜,喷镀在导电层上,起到绝缘的作用,电容屏可以完成静电力触觉再现的功能。
本发明所述的可穿戴式振动触觉再现装置的结构包括:
(1)使用3D打印的塑料指环:指环环形部分呈圆形,指环的内侧直径可适应不同直径的手指,可紧密固定在用户手指的近端指骨上;在指腹侧有足够的间隙,指环的上部带有一个长方形凹槽,用于固定振动源;
(2)振动源,其作用在于通过塑料指环直接对手指产生法向的振动触觉刺激。
本发明所述的信号处理单元的结构包括:主控制器、静电力驱动芯片、振动驱动芯片和显示芯片;其作用在于将信号处理单元根据手指的位置信息发出的静电力驱动信号幅度参数E(x,y)、根据手指的速度信息发出的振动驱动信号幅度参数V(x,y)和需要呈现的图片信息送入主控制器中,再由主控制器将静电力驱动信号幅度参数E(x,y)发送给静电力驱动芯片,振动驱动信号幅度参数V(x,y)发送给振动驱动芯片,视觉显示信息发送给显示芯片;静电力驱动芯片将产生的静电力驱动信号送入静电电容触摸屏的透明导电层,产生切向反馈力,同时振动驱动芯片将振动驱动信号送入振动源中,产生作用于手指的振动刺激,显示芯片将图像视觉信息送入多媒体信息终端,则静电力触觉和振动触觉同时作用于手指,从而实现更真实触觉反馈,并将图像信息显示在多媒体信息终端的显示屏上。
一种融合静电力和振动的可穿戴式触觉再现方法,包括:
(一)、可穿戴式触觉再现装置的振动驱动信号幅度参数V(x,y)的求解过程如下:
(1)首先,将表面粗糙度近似定义为一正弦表面,给定的波长为λ,当手指以一定的速度
Figure BDA0001849935410000041
在虚拟的正弦曲面上滑动,从前一时刻的位置P0(x0,y0)运动到当前时刻的位置P(x,y)时,手指速度
Figure BDA0001849935410000042
表示为:
Figure BDA0001849935410000043
(2)然后,将输入的振动电压V(x,y)根据手指速度和波形表面的空间频率f调制如下:
Figure BDA0001849935410000044
其中A是振动的电压幅度,f是波形表面的空间频率,
Figure BDA0001849935410000045
根据材料使用不同的f值呈现不同的粗糙度感知;
(二)、静电力触觉再现单元的静电力驱动信号幅度参数E(x,y)的求解过程如下:
(1)首先,测量基于静电力触觉反馈的静电力驱动信号幅度A1与静电反馈力F1之间的关系:
Figure BDA0001849935410000046
其中k1为静电力触觉反馈的比例系数,
(2)进一步求解静电力驱动信号幅度参数E(x,y)的过程为:
提取图像的灰度值,得到灰度矩阵也即高度矩阵H,对高度矩阵H横向求偏导,得到图像的梯度矩阵Gx
Figure BDA0001849935410000051
然后对梯度矩阵Gx进行归一化处理:
Figure BDA0001849935410000052
其中Gx′为对梯度矩阵Gx归一化,gxmax为矩阵Gx中元素的最大值,gxmin为矩阵Gx中元素的最小值,然后对图像进行渲染,得到图像对应的切向反馈力分量矩阵Fe
Fe=Gx′fm
其中fm为静电力触觉反馈所能提供的最大切向力,然后再根据静电力驱动信号幅度A1与静电反馈力F1的对应关系,即可求出静电力驱动信号幅度参数
Figure BDA0001849935410000053
为了增强触觉再现的真实感,丰富触觉反馈的感知,将多种触觉反馈方式结合起来,如静电力触觉反馈和振动触觉反馈。这两种触觉产生方式作用于手指分别产生动态的切向摩擦力和静态的法向力,可以对手指感知触觉产生互补的效果,增强触觉反馈的真实感。并且不论手指处在运动状态还是静止状态均能产生触觉感受,实用性更强。本发明提出的静电力触摸屏和可穿戴振动指套的融合触觉再现装置及方法,不仅可以产生更加真实的触觉感受,而且在通过装置中的可穿戴振动指套产生振动触觉反馈时,能够将振动电机根据触觉驱动信号输出的振动直接作用于手指产生法向力,增大手指感知到的触觉感受,节约振动电机的输出能源,减少不必要的能量损耗。
本发明优点在于:
1.融合了静电力与振动两种触觉再现方式,可提供切向反馈力渲染物体表面纹理信息,还可同时提供法向反馈力渲染物体表面的精细粗糙度,丰富反馈力触觉感受,扩展反馈力维度,提高触觉反馈真实性;
2.可穿戴指环可以提高振动触觉反馈的有效性,减少由于不必要的重量和体积造成的振动触觉刺激的损耗。
3.静电力触觉设备和振动触觉指环可以应用于任何多媒体终端和场景,可移植性好。
附图说明
图1是本发明的结构示意图;
图2是本发明静电电容触摸屏的结构示意图;
图3是本发明可穿戴式振动触觉再现装置的结构示意图;
图4是本发明信号处理单元的结构示意图;
图5是本发明静电力触觉再现受力分析图;
图6是本发明振动触觉再现受力分析图;
图7是本发明振动驱动信号幅度参数V(x,y)的求解过程示意图;
图8A是本发明将表面粗糙度近似定义为一正弦表面的示意图;
图8B是本发明表面粗糙度的渲染过程示意图;
图9是本发明静电力驱动信号幅度参数E(x,y)的求解过程示意图。
具体实施方式
融合静电力和振动的可穿戴式触觉再现装置结构示意图如图1所示,包括:
(1)手指定位单元11,包括实现定位功能的装置,其作用在于实时读取多媒体终端触摸屏上手指的当前位置坐标P(x,y),并将手指的当前位置坐标P(x,y)信息发送到信号处理单元13;
(2)手指速度检测单元12,包括实时检测手指速度
Figure BDA0001849935410000061
的深度传感器(如LeapMotion)或摄像头等装置,其作用在于通过实时捕捉手部运动信息,如手指前一时刻的位置P0(x0,y0)和当前时刻的位置P(x,y)计算得到手指速度信息
Figure BDA0001849935410000062
并发送到信号处理单元13;
(3)信号处理单元13,包括:主控制器131、静电力驱动芯片132、振动驱动芯片133和显示芯片134;其作用在于手指位置信息处理得到静电力驱动信号幅度参数矩阵E,然后根据手指当前时刻的位置坐标P(x,y)信息选取静电力驱动信号幅度参数E(x,y),并根据计算得到的手指速度信息处理得到振动驱动信号幅度参数V(x,y),产生相应的触觉驱动信号发送给静电力触觉再现单元14、可穿戴式振动触觉再现单元15;并根据图像信息处理得到视觉显示信息,产生相应的显示信号发送给多媒体信息终端16,呈现视觉信息;
(4)静电力触觉再现单元14,采用静电电容触摸屏,其作用在于可实时根据静电力触觉驱动信号幅度参数E(x,y)改变手指受到的切向静电摩擦力,产生相应的静电力触觉反馈;
(5)可穿戴式振动触觉再现单元15,其作用在于可实时根据振动驱动信号幅度参数V(x,y)改变手指受到的振动触觉刺激,产生相应的振动触觉;
(6)多媒体信息终端16,其作用在于可呈现视觉信息。
所述的静电力触觉再现单元14包括静电电容触摸屏,其结构分为三层,如图2所示:底层为玻璃板141,起到支撑的作用;中间层为透明导电层142,喷镀在玻璃板上,激励信号可以在其中传播;顶层为绝缘薄膜143,喷镀在导电层上,起到绝缘的作用,电容屏可以完成静电力触觉再现的功能;
所述的可穿戴式振动触觉再现装置15的结构正视图如图3所示,其结构包括:
(1)使用3D打印的塑料指环:指环环形部分151呈圆形,指环的内侧直径可适应不同直径的手指,可紧密固定在用户手指的近端指骨上;在指腹侧有足够的间隙152,指环的上部带有一个长方形凹槽153,用于固定振动源154,振动源采用振动电机;
(2)振动源154,其作用在于通过塑料指环直接对手指产生法向的振动触觉刺激。
所述的信号处理单元13的结构如图4所示,包括:主控制器131、静电力驱动芯片132、振动驱动芯片133和显示芯片134;其作用在于将信号处理单元13根据手指的位置信息发出的静电力驱动信号幅度参数E(x,y)、根据手指的速度信息发出的振动驱动信号幅度参数V(x,y)和需要呈现的图片信息送入主控制器131中,再由主控制器131将静电力驱动信号幅度参数E(x,y)发送给静电力驱动芯片132,振动驱动信号幅度参数V(x,y)发送给振动驱动芯片133,视觉显示信息发送给显示芯片134;静电力驱动芯片132将产生的静电力驱动信号送入静电电容触摸屏的透明导电层142,产生切向反馈力,同时振动驱动芯片133将振动驱动信号送入振动源154中,产生作用于手指的振动刺激,显示芯片134将图像视觉信息送入多媒体信息终端16,则静电力触觉和振动触觉同时作用于手指,从而实现更真实触觉反馈,并将图像信息显示在多媒体信息终端的显示屏上。
静电力触觉再现受力分析如图5所示,当手指在静电电容触摸屏14上运动时,在静电电容触摸屏的透明导电层142施加静电力驱动信号幅度参数E(x,y),透明导电层142上带有相应极性的电荷,绝缘薄膜143靠近透明导电层142的一侧感应出相反极性的电荷,远离的一侧感应出与透明导电层142极性相同的电荷。手指直接接触绝缘薄膜143,感应出极性相反的电荷,电荷之间相互吸引产生库仑力。当手指运动时,由于库仑力的作用,会在手指上产生与手指运动方向相反的切向摩擦力Fx。因此,当给透明导电层142发送不同的静电力驱动信号幅度参数E(x,y),手指会受到不同的切向摩擦力,进而感受到不同的纹理触觉信息。
振动触觉再现受力分析如图6所示,当手指的运动速度v(t)不同时,信号处理单元13可根据不同的速度v(t)处理得到不同的振动驱动信号幅度参数V(x,y),振动源154根据输入的振动驱动信号产生不同的振动,改变手指受到的法向反馈力Fy,从而使手指感受到不同的表面精细粗糙度触觉感受。
一种融合静电力和振动的可穿戴式触觉再现方法,包括
(一)、可穿戴式触觉再现装置的振动驱动信号幅度参数V(x,y)的求解过程如图7所示:
(1)首先,将表面粗糙度近似定义为一正弦表面,如图8A所示,给定的波长为λ,当手指以一定的速度
Figure BDA0001849935410000081
在虚拟的正弦曲面上滑动,从前一时刻的位置P0(x0,y0)运动到当前时刻的位置P(x,y)时,如图8B所示,手指速度
Figure BDA0001849935410000082
表示为:
Figure BDA0001849935410000083
(2)然后,将输入的振动电压V(x,y)根据手指速度和波形表面的空间频率f调制如下:
Figure BDA0001849935410000084
其中A是振动的电压幅度,f是波形表面的空间频率
Figure BDA0001849935410000085
根据材料使用不同的f值呈现不同的粗糙度感知;
(二)、静电力触觉再现单元的静电力驱动信号幅度参数E(x,y)的求解过程如图9所示:
(1)首先,测量基于静电力触觉反馈的静电力驱动信号幅度A1与静电反馈力F1之间的关系:
Figure BDA0001849935410000091
其中k1为静电力触觉反馈的比例系数,由实验设备和当前的实验环境决定;
(2)进一步求解静电力驱动信号幅度参数E(x,y)的过程为:
提取图像的灰度值,得到灰度矩阵也即高度矩阵H,对高度矩阵H横向求偏导,得到图像的梯度矩阵Gx
Figure BDA0001849935410000092
然后对梯度矩阵Gx进行归一化处理
Figure BDA0001849935410000093
其中Gx′为对梯度矩阵Gx归一化,gxmax为矩阵Gx中元素的最大值,gxmin为矩阵Gx中元素的最小值,然后对图像进行渲染,得到图像对应的切向反馈力分量矩阵Fe
Fe=Gx′fm
其中fm为静电力触觉反馈所能提供的最大切向力,然后再根据静电力驱动信号幅度A1与静电反馈力F1的对应关系,即可求出静电力驱动信号幅度参数
Figure BDA0001849935410000094

Claims (5)

1.一种融合静电力和振动的可穿戴式触觉再现方法,其特征在于包括:
(一)、可穿戴式触觉再现装置的振动驱动信号幅度参数V(x,y)的求解过程如下:
(1)首先,将表面粗糙度近似定义为一正弦表面,给定的波长为λ,当手指以一定的速度
Figure FDA0002819056420000011
在虚拟的正弦曲面上滑动,从前一时刻的位置P0(x0,y0)运动到当前时刻的位置P(x,y)时,手指速度
Figure FDA0002819056420000012
表示为:
Figure FDA0002819056420000013
(2)然后,将输入的振动电压V(x,y)根据手指速度和波形表面的空间频率f调制如下:
Figure FDA0002819056420000014
其中A是振动的电压幅度,f是波形表面的空间频率,
Figure FDA0002819056420000015
根据材料使用不同的f值呈现不同的粗糙度感知;
(二)、静电力触觉再现单元的静电力驱动信号幅度参数E(x,y)的求解过程如下:
(1)首先,测量基于静电力触觉反馈的静电力驱动信号幅度A1与静电反馈力F1之间的关系:
Figure FDA0002819056420000016
其中k1为静电力触觉反馈的比例系数,
(2)进一步求解静电力驱动信号幅度参数E(x,y)的过程为:
提取图像的灰度值,得到灰度矩阵也即高度矩阵H,对高度矩阵H横向求偏导,得到图像的梯度矩阵Gx
Figure FDA0002819056420000017
然后对梯度矩阵Gx进行归一化处理:
Figure FDA0002819056420000018
其中Gx′为对梯度矩阵Gx归一化,gxmax为矩阵Gx中元素的最大值,gxmin为矩阵Gx中元素的最小值,然后对图像进行渲染,得到图像对应的切向反馈力分量矩阵Fe
Fe=Gx′fm
其中fm为静电力触觉反馈所能提供的最大切向力,然后再根据静电力驱动信号幅度A1与静电反馈力F1的对应关系,即可求出静电力驱动信号幅度参数
Figure FDA0002819056420000021
2.根据权利要求1所述的一种融合静电力和振动的可穿戴式触觉再现方法,其特征在于:所述步骤(一)中可穿戴式触觉再现装置包括:
(1)手指定位单元包括实现定位功能的装置,其作用在于实时读取多媒体终端触摸屏上手指的当前位置坐标P(x,y),并将手指的当前位置坐标P(x,y)信息发送到信号处理单元;
(2)手指速度检测单元包括实时检测手指速度
Figure FDA0002819056420000022
的深度传感器或摄像头等装置,其作用在于通过实时捕捉手部运动信息,手指前一时刻的位置P0(x0,y0)和当前时刻的位置P(x,y)计算得到手指速度信息
Figure FDA0002819056420000023
并发送到触觉处理单元;
(3)信号处理单元作用在于手指位置信息处理得到静电力驱动信号幅度参数矩阵E,然后根据手指当前时刻的位置坐标P(x,y)信息选取静电力驱动信号幅度参数E(x,y),并根据计算得到的手指速度信息处理得到振动驱动信号幅度参数V(x,y),产生相应的触觉驱动信号分别发送给静电力触觉再现单元、可穿戴式振动触觉再现单元;并根据图像信息处理得到视觉显示信息,产生相应的显示信号发送给多媒体信息终端,呈现视觉信息;
(4)静电力触觉再现单元,包括静电电容触摸屏,其作用在于实时根据静电力触觉驱动信号幅度参数E(x,y)改变手指受到的切向静电摩擦力,产生相应的静电力触觉反馈;
(5)可穿戴式振动触觉再现单元,其作用在于可实时根据振动驱动信号幅度参数V(x,y)改变手指受到的振动触觉刺激,产生相应的振动触觉;
(6)多媒体信息终端,其作用在于可呈现视觉信息。
3.根据权利要求2所述的一种融合静电力和振动的可穿戴式触觉再现方法,其特征在于:所述的静电力触觉再现单元采用静电电容触摸屏,其结构分为三层,底层为玻璃板,起到支撑的作用;中间层为透明导电层,喷镀在玻璃板上,激励信号在其中传播;顶层为绝缘薄膜,喷镀在导电层上,起到绝缘的作用,电容屏可以完成静电力触觉再现的功能。
4.根据权利要求2所述的一种融合静电力和振动的可穿戴式触觉再现方法,其特征在于:所述的可穿戴式振动触觉再现装置的结构包括:
(1)使用3D打印的塑料指环:指环环形部分呈圆形,指环的内侧直径可适应不同直径的手指,可紧密固定在用户手指的近端指骨上;在指腹侧有足够的间隙,指环的上部带有一个长方形凹槽,用于固定振动源;
(2)振动源,其作用在于通过塑料指环直接对手指产生法向的振动触觉刺激。
5.根据权利要求2所述的一种融合静电力和振动的可穿戴式触觉再现方法,其特征在于:所述的信号处理单元的结构包括:主控制器、静电力驱动芯片、振动驱动芯片和显示芯片;其作用在于将信号处理单元根据手指的位置信息发出的静电力驱动信号幅度参数E(x,y)、根据手指的速度信息发出的振动驱动信号幅度参数V(x,y)和需要呈现的图片信息送入主控制器中,再由主控制器将静电力驱动信号幅度参数E(x,y)发送给静电力驱动芯片,振动驱动信号幅度参数V(x,y)发送给振动驱动芯片,视觉显示信息发送给显示芯片;静电力驱动芯片将产生的静电力驱动信号送入静电电容触摸屏的透明导电层,产生切向反馈力,同时振动驱动芯片将振动驱动信号送入振动源中,产生作用于手指的振动刺激,显示芯片将图像视觉信息送入多媒体信息终端,则静电力触觉和振动触觉同时作用于手指,从而实现更真实触觉反馈,并将图像信息显示在多媒体信息终端的显示屏上。
CN201811292063.3A 2018-10-31 2018-10-31 一种融合静电力和振动的可穿戴式触觉再现装置和方法 Active CN109284005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811292063.3A CN109284005B (zh) 2018-10-31 2018-10-31 一种融合静电力和振动的可穿戴式触觉再现装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811292063.3A CN109284005B (zh) 2018-10-31 2018-10-31 一种融合静电力和振动的可穿戴式触觉再现装置和方法

Publications (2)

Publication Number Publication Date
CN109284005A CN109284005A (zh) 2019-01-29
CN109284005B true CN109284005B (zh) 2021-01-29

Family

ID=65174680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811292063.3A Active CN109284005B (zh) 2018-10-31 2018-10-31 一种融合静电力和振动的可穿戴式触觉再现装置和方法

Country Status (1)

Country Link
CN (1) CN109284005B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032281B (zh) * 2019-04-19 2021-06-04 吉林大学 基于融合静电力与振动触觉再现装置的3d凸起渲染方法
CN110221720A (zh) * 2019-04-29 2019-09-10 华为技术有限公司 一种触摸方法及电子设备
CN110764619B (zh) * 2019-10-24 2021-08-27 吉林大学 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法
CN111552420A (zh) * 2020-03-25 2020-08-18 瑞声科技(新加坡)有限公司 一种触摸交互方法、装置、终端设备及存储介质
CN111897427A (zh) * 2020-07-29 2020-11-06 东南大学 基于触觉感知仿生特性的硬度触觉再现方法
CN113093948B (zh) * 2021-04-28 2024-03-01 东南大学 一种柔性触觉式移动机器人操作输入装置及交互方法
CN114428551B (zh) * 2021-12-29 2024-02-06 南京信息工程大学 一种在触摸屏上产生局部振动的装置及控制方法
CN114860078B (zh) * 2022-05-03 2024-07-19 吉林大学 车载终端界面虚拟旋钮的触觉反馈渲染方法与装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
CN103853332A (zh) * 2014-03-20 2014-06-11 东南大学 一种用于移动终端的指套式力触觉交互装置及交互方法
CN104898842A (zh) * 2015-06-01 2015-09-09 东南大学 面向移动终端的可穿戴指套式力触觉交互装置及实现方法
CN105159459A (zh) * 2015-09-06 2015-12-16 东南大学 一种可用于移动终端的虚拟物体三维形状触觉再现方法
CN108536280A (zh) * 2018-01-30 2018-09-14 吉林大学 一种应用指垫的静电力和振动融合触觉再现装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587541B2 (en) * 2010-04-19 2013-11-19 Tactus Technology, Inc. Method for actuating a tactile interface layer
US9684374B2 (en) * 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
CN103853332A (zh) * 2014-03-20 2014-06-11 东南大学 一种用于移动终端的指套式力触觉交互装置及交互方法
CN104898842A (zh) * 2015-06-01 2015-09-09 东南大学 面向移动终端的可穿戴指套式力触觉交互装置及实现方法
CN105159459A (zh) * 2015-09-06 2015-12-16 东南大学 一种可用于移动终端的虚拟物体三维形状触觉再现方法
CN108536280A (zh) * 2018-01-30 2018-09-14 吉林大学 一种应用指垫的静电力和振动融合触觉再现装置及方法

Also Published As

Publication number Publication date
CN109284005A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN109284005B (zh) 一种融合静电力和振动的可穿戴式触觉再现装置和方法
CN109101111B (zh) 融合静电力、空气压膜和机械振动的触觉再现方法与装置
CN107943290B (zh) 融合静电力与振动的触觉再现方法与装置
JP6840702B2 (ja) 触覚装置における3次元レリーフのための摩擦変調
US8330590B2 (en) User interface feedback apparatus, user interface feedback method, and program
Choi et al. Vibrotactile display: Perception, technology, and applications
JP2020038685A (ja) 摩擦効果及び振動触覚効果を生成するシステム及び方法
Kajimoto et al. SmartTouch: Electric skin to touch the untouchable
US8866788B1 (en) Interactivity model for shared feedback on mobile devices
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
CN107831892B (zh) 一种基于指套式装置的虚拟物体三维形状再现方法
Emgin et al. Haptable: An interactive tabletop providing online haptic feedback for touch gestures
JP6319328B2 (ja) 教育用触感提供装置、及び、システム
CN103858081A (zh) 触觉输出设备和在触觉输出设备内产生触觉效果的方法
Nojima et al. Hairlytop interface: An interactive surface display comprised of hair-like soft actuators
Khurelbaatar et al. Tactile presentation to the back of a smartphone with simultaneous screen operation
Mengoni et al. A method to identify VR-based set-up to foster elderly in design evaluation
CN108536280B (zh) 一种应用指垫的静电力和振动融合触觉再现装置及方法
Coe et al. Generating localized haptic feedback over a spherical surface
Chen et al. Tactile rendering of fabric textures based on texture recognition
Okumoto et al. Tactoglove presenting tactile sensations for intuitive gestural interaction
JP3855561B2 (ja) 触覚力覚呈示装置及び情報入出力装置
Vardar Tactile perception by electrovibration
Kugler Touching the virtual
Fakhri et al. Haptics for sensory substitution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant