CN112925417A - 一种用于信息识别的虚拟键盘按键触觉传输方法 - Google Patents

一种用于信息识别的虚拟键盘按键触觉传输方法 Download PDF

Info

Publication number
CN112925417A
CN112925417A CN202110213624.1A CN202110213624A CN112925417A CN 112925417 A CN112925417 A CN 112925417A CN 202110213624 A CN202110213624 A CN 202110213624A CN 112925417 A CN112925417 A CN 112925417A
Authority
CN
China
Prior art keywords
information
vibration
vibrotactile
tactile
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110213624.1A
Other languages
English (en)
Other versions
CN112925417B (zh
Inventor
孙晓颖
尹馨予
苏宇宁
孟振驰
刘佳林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110213624.1A priority Critical patent/CN112925417B/zh
Publication of CN112925417A publication Critical patent/CN112925417A/zh
Application granted granted Critical
Publication of CN112925417B publication Critical patent/CN112925417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于信息识别的虚拟键盘按键触觉传输方法,属于人机交互领域。采用带有触控屏的移动终端设备,以单、多电机驱动的振动式虚拟键盘按键触觉信息传输方法,实时获取用户在触控屏上的虚拟键盘按键触控操作与该按键表述的文本信息,将信息指令传输到振动触觉反馈元件中的处理单元,根据指令信息调用提供力反馈的元件,并施加相应的振动触觉信号,提供相应的法向振动反馈,使其通过手指触觉通道获取信息。本发明利用单、多个振动触觉执行元件根据虚拟键盘按键不同的指令操作以局部、半局或全局的方式产生相对应的振动效果,设计了用户操作的虚拟键盘按键模型,编写虚拟界面配置文件,增强人机信息交流能力。

Description

一种用于信息识别的虚拟键盘按键触觉传输方法
技术领域
本发明属于通信系统与人机交互领域,尤其涉及一种用于信息识别的虚拟键盘按键触觉传输方法。
背景技术
触控屏终端设备提供了大面积的交互区域,是当下主流的人机交互工具,这不仅是视觉与听觉的扩展应用,也为触觉提供了新的传输的方式。目前在触控屏终端设备上的触觉反馈效果包含再现真实物体触感与人工传输触觉信息,再现真实物体触感包括物体表面纹理、物理形变及运动轨迹,这种触觉效果处理主要是为了提高人机交互的触觉真实感。为了让用户在使用触控屏终端设备时能够通过触觉通道传输获取信息,有必要针对所要传输的文本信息进行触觉信号设计,打开触觉信息传输通道,增强人机信息交流能力,高质量、高效率的触觉信息传输方法可以方便于如视障人士等特殊人群的日常生活与学习。
选用触控屏终端设备上常用的人机交互界面作为触觉信息传输的载体,以虚拟键盘按键模型搭建交互环境。考虑到目前的触控屏终端设备大多是以电机振动的方式增加触觉效果,而能够在虚拟键盘按键上实现的触觉效果,多数以单一的振动反馈作为用户“点击”、“按下”或“长按”操作的提示应用,未能达到传输触觉信息的功能。因此,开发具有触觉信息传输功能的虚拟键盘按键,以及振动触觉反馈的虚拟键盘按键识别的触觉传输方法是十分必要的。
发明内容
本发明提供一种用于信息识别的虚拟键盘按键触觉传输方法,利用能够接受一种或多种物理信号的单、多振动触觉执行元件产生全局、半局或局部的触觉效果传输虚拟键盘按键表述的文本信息,基于心理-物理学与通信学调整振动触觉信号参数,编写振动触觉反馈驱动线路板程序并通过用户交互界面进行调用,在触控屏上显示虚拟键盘的部分按键(或指定输入区域)根据用户的实际操作,例如触摸和、或滑动输入时生成特定触觉单次、循环输出,以供用户识别该触觉输出部分的文本信息。
本发明采取的技术方案是,包括单、多振动触觉反馈元件、触控屏终端设备上的虚拟键盘按键盘按键模型以及振动触觉信息传输方法,其中:
(1)利用单、多振动触觉反馈元件输出振动触觉信号,并产生全局、半局或局部的振动效果,其结构包括能够产生振动触觉效果的执行元件和振动触觉反馈驱动线路板,振动执行元件连接到驱动线路板I/O输出串口,单、多振动触觉反馈元件由电信号、声学信号或光学信号等物理信号驱动;
(2)触控屏终端设备,作为虚拟键盘按键模型的载体,实时获取虚拟键盘按键表述的信息与用户操作方式,操作方式可包括短或长时间的触摸和、或滑动的单一或组合形式,将其作为指令传输至振动触觉反馈元件的处理单元,根据指令信息调用振动触觉执行元件并施加不同的振动触觉信号;
(3)振动触觉信息传输方法,根据人体对振动触觉信号特征参数的生理阈值以及振动触觉执行元件性能调整振动触觉信号形式,用以表征不同触觉信息,如数字,文字或指定语句等交流信息,编写到下位机存储单元,供上位机的虚拟键盘按键以不同操作方式进行调用,根据用户对该振动触觉信号的响应效率,对振动触觉信号形式进行二次调整。
在用户操作触控屏终端设备上的虚拟键盘按键时,设备根据用户的实时交互动作获取相应的指令信息,将其传输到振动触觉反馈驱动线路板的处理单元中,处理单元根据指令调用振动触觉执行元件输出振动触觉信号,产生相对应的触觉效果,完成触觉信息传输流程。
本发明所述部分(1)中的单、多输出的振动触觉反馈元件包括:两个以上的振动触觉执行元件以及振动触觉反馈驱动线路板,振动触觉执行元件连接到振动触觉反馈驱动线路板的振动触觉信号输出端口,振动触觉执行元件与振动触觉反馈驱动线路板一同放置在触控屏设备外部或嵌入至触控屏设备内部,振动触觉执行元件分别安装于设备中心且水平对称的边缘位置;
本发明所述的振动触觉反馈驱动线路板能够实现多种振动触觉信号调制方式,如DRV2605库调用、PWM调制以及ARM处理器存储调用等信号输出途径。
本发明所述部分(1)中的振动触觉反馈驱动线路板能够实现多种信号输入方式,即触控屏终端设备调用振动触觉反馈驱动线路板的方式,如PC端信号输入、Android端信号输入及语音信号输入等用于终端设备上的信号输入类型。
本发明所描述的虚拟键盘按键模型,每一个虚拟键盘按键表面标有所对应的文本符号,键盘分布按照QWERTY式键盘、手机九键式键盘分布及计算机键盘分布等现有的文本输入方式进行设计。
本发明所述部分(2)中的触控屏终端设备的功能,触控屏交互界面实时获取用户操作不同虚拟键盘按键的交互动作,振动触觉执行元件根据指令信息驱动相应振动触觉信号,在用户手指与触控屏表面虚拟键盘按键交互的过程中产生法向的反馈力来传递触觉信息。
本发明所述部分(2)中的虚拟键盘按键盘按键模型上的每一个虚拟键盘按键表面标有所对应的文本符号,键盘分布按照QWERTY式键盘、手机九键式键盘分布及计算机键盘分布等现有的文本输入方式进行设计。
本发明所述部分(3)中的振动触觉信息传输方法,结合人体生理机理确定人体对振动触觉信号特征参数的生理阈值,并参考振动触觉执行元件性能调整能够表征触觉信息的振动触觉信号形式,将该振动触觉信号用程序语言编写至振动触觉反馈的驱动线路板存储单元中,在上位机设计表述文本符号信息的虚拟键盘按键,根据不同的按键操作方式通过驱动线路板I/O串口进行振动触觉信号调用,再根据用户对振动触觉信号的实际响应效率二次调整振动触觉信号形式。
本发明所述部分(3)中的振动触觉信息传输方法,其人体对振动触觉信号特征参数生理阈值部分,需要结合生理、心理学理论进行阈值判定,根据心理-物理学中的韦伯费希纳定律确定人体对振动触觉信号特征参数的生理阈值,对振动触觉信号进行各参数分级与调节,从时域、空域参数调整表征触觉信息的振动触觉信号。
本发明所述的心理-物理学的韦伯费希纳定律确定人体对触觉信号的阈值大小,具体计算方法如下:
1)确定能够在手指上产生最小振动触感的刺激量,即振动触觉的绝对阈值,当手指所接收到的刺激量超过绝对阈值时,刺激的强度需增加、减少一定量级,所增加的触觉量级能够使手指能够接收到的最小的差异变化量,即差异阈值(JND);
2)根据振动触觉强度信息用下式计算刺激变化量与刺激强度的恒定比值;ΔΦ/Φ=c
ΔΦ:振动触觉刺激强度增加、减少量;
Φ:振动触觉刺激强度;
c:差异阈值恒定分数;
3)以JND作为一个标准的感知单位,振动触觉信号的幅度值可通过将刺激强度的物理变化与感知JND间接量化,物理强度与感知强度之间存在对数关系;
4)根据物理强度信息用下式计算感知强度;
Ψ=k logΦ
Ψ:感知强度;
Φ:物理刺激强度;
k:差异阈值恒定乘数。
本发明所述部分(3)中的振动触觉信息传输方法,其对振动触觉信号形式二次调整部分,需要结合通信学理论进行用户对振动触觉信号的响应效率判定,根据信息理论确定用户接收振动触觉信号的信息量大小与码元传输效率,进而对振动触觉信号各参数二次调整。
本发明所述的信息理论确定用户接收振动触觉信号的信息量大小与码元传输效率,具体计算方法如下:
1)根据刺激阈值与信息编码方案建立振动触觉传输的刺激集与响应集;
2)构造一组刺激集为K(Si,i=1,2,…,k),其相应的响应集R(Rj,j=1,2,…,k),当i=j时Rj对Si正确响应;
3)从刺激集中随机选择一个刺激,每当选中一个刺激后从响应集中选择一个响应结果;
4)以刺激-响应混合矩阵A的形式建模,其中行对应刺激,列对应响应,对角线数据为“正确”测试数据,错误测试数据分布在混合矩阵的非对角区域之间,数据标志点为aij
Figure BDA0002952851580000041
从刺激-响应混合矩阵数据计算振动触觉信息编码信号IT,测量从传输到接受过程信息不确定性减少;
Figure BDA0002952851580000042
P(Si|Rj):Rj给定情况下Si的条件概率;
P(Si):Si的先验概率。
本发明具有以下优点:
1.本发明提出的单、多振动触觉反馈元件适用于当下的智能终端设备,可移植性好,功耗低,易于集成;
2.本发明提出的单、多振动触觉反馈元件。具有多种信号输出方式,且接口能够识别不同设备的信号输入方式,如PC端信号接口、Android端信号接口等,便于不同终端设备使用,调用适合不同机型的振动触觉信号输出方式;
3.本发明提出的虚拟键盘按键盘按键模型搭建环境可以应用在带有触控屏的终端设备上,模型设计符合用户常用文本输入方式,便于用户使用,在用户以短或长时间的触摸和、或滑动等方式操作虚拟键盘按键时,通过单、多振动触觉执行元件实时产生法向上的振动触感;
4.本发明提供的振动触觉信息传输方法参考人体生理机理与心理-物理理论,所设计的触觉信号能够使用户在触控屏终端设备上接收并识别,增强振动触觉反馈方式的人机触觉信息传输能力。
附图说明
图1a是带有振动触觉反馈元件的触控屏终端设备示意图、且为嵌入式安装方式;
图1b是带有振动触觉反馈元件的触控屏终端设备示意图、且为外部安装方式;
图2是虚拟键盘按键振动触觉传输示意图;
图3是信息识别的触觉传输方法示意图;
图4是虚拟键盘按键振动触觉信息传输流程图;
图5是振动触觉信号驱动流程图;
图6是虚拟键盘按键选用模型-QWERTY式键盘;
图7是虚拟键盘按键选用模型-手机九键式键盘;
图8是振动触觉信息传输实验流程图;
图9是实例虚拟键盘案件平台示意图;
图10是实例4种振动触觉信号示意图。
具体实施方式
本发明的目的在于提供一种用于信息识别的虚拟键盘按键触觉传输方法,利用能够接受一种或多种物理信号的单、多振动触觉执行元件产生全局、半局或局部的触觉效果传输虚拟键盘按键表述的文本信息,基于心理-物理学调整振动触觉信号参数,编写振动触觉反馈驱动线路板程序并通过用户交互界面进行调用,在触控屏上显示虚拟键盘的部分按键(或指定输入区域)根据用户的实际操作,例如触摸和、或滑动输入时生成特定触觉单次、循环输出,以供用户识别该触觉输出部分的文本信息,实现触觉通道的人机信息交流。
本发明的具体实现方式包括下列部分:
本发明采取的技术方案是,包括单、多振动触觉反馈元件、触控屏终端设备上的虚拟键盘按键盘按键模型以及振动触觉信息传输方法,其中:
(1)单、多振动触觉反馈元件(可以由电信号、声学信号或光学信号等物理信号驱动)输出振动触觉信号并产生全局、半局或局部的振动效果,其结构包括能够产生振动触觉效果的执行元件和振动触觉反馈驱动线路板,振动执行元件连接到驱动线路板I/O输出串口;
(2)触控屏终端设备,作为虚拟键盘按键模型的载体,实时获取虚拟键盘按键表述的信息与用户操作方式,操作方式可包括短或长时间的触摸和、或滑动的单一或组合形式,将其作为指令传输至振动触觉反馈元件的处理单元,根据指令信息调用振动触觉执行元件并施加不同的振动触觉信号;
(3)振动触觉信息传输方法,根据人体对振动触觉信号特征参数的生理阈值以及振动触觉执行元件性能调整振动触觉信号形式,用以表征不同触觉信息,如数字,文字或指定语句等交流信息,编写到下位机存储单元,供上位机的虚拟键盘按键以不同操作方式进行调用,根据用户对该振动触觉信号的响应效率,对振动触觉信号形式进行二次调整。
在用户操作触控屏终端设备上的虚拟键盘按键时,设备根据用户的实时交互动作获取相应的指令信息,将其传输到振动触觉反馈驱动线路板的处理单元中,处理单元根据指令调用振动触觉执行元件输出振动触觉信号,产生相对应的触觉效果,完成触觉信息传输流程。
本发明所描述的单、多振动触觉反馈元件包括:两个以上的振动触觉执行元件103以及振动触觉反馈驱动电路线路板104,振动触觉执行元件连接到振动触觉反馈驱动线路板的振动触觉信号输出端口,振动触觉执行元件与振动触觉反馈驱动线路板一同放置在触控屏101终端设备102外部或嵌入至触控屏终端设备内部,振动触觉执行元件分别安装于设备中心且水平对称的边缘位置。
本发明所描述的振动触觉反馈驱动线路板能够实现多种振动触觉信号调制方式,如DRV2605库调用、PWM调制以及ARM处理器存储调用等信号输出途径。
本发明所描述的振动触觉反馈驱动线路板能够实现多种信号输入方式,即触控屏终端设备调用振动触觉反馈驱动线路板的方式,如PC端信号输入、Android端信号输入及语音信号输入等用于终端设备上的信号输入类型。
本发明所描述的虚拟键盘按键模型,每一个虚拟键盘按键105表面标有所对应的文本符号,键盘分布按照QWERTY式键盘、手机九键式键盘分布及计算机键盘分布等现有的文本输入方式进行设计。
本发明所描述的触控屏终端设备的功能,触控屏交互界面实时获取用户操作不同虚拟键盘按键的交互动作,振动触觉执行元件根据指令信息驱动相应振动触觉信号,在用户手指与触控屏表面虚拟键盘按键交互的过程中产生法向的反馈力来传递触觉信息。
本发明所描述的虚拟键盘按键盘按键模型上的每一个虚拟键盘按键表面标有所对应的文本符号,键盘分布按照QWERTY式键盘、手机九键式键盘分布及计算机键盘分布等现有的文本输入方式进行设计。
本发明所描述的振动触觉信息传输方法,结合人体生理机理确定人体对振动触觉信号特征参数的生理阈值,并参考振动触觉执行元件性能调整能够表征触觉信息的振动触觉信号形式,将该振动触觉信号用程序语言编写至振动触觉反馈的驱动线路板存储单元中,在上位机设计表述文本符号信息的虚拟键盘按键,根据不同的按键操作方式通过驱动线路板I/O串口进行振动触觉信号调用,再根据用户对振动触觉信号的实际响应效率二次调整振动触觉信号形式。
本发明所描述的振动触觉信息传输方法,其人体对振动触觉信号特征参数生理阈值部分,需要结合生理、心理学理论进行阈值判定,根据心理-物理学中的韦伯费希纳定律确定人体对振动触觉信号特征参数的生理阈值,对振动触觉信号进行各参数分级与调节,从时域、空域参数调整表征触觉信息的振动触觉信号。
本发明所描述的心理-物理学的韦伯费希纳定律确定人体对触觉信号的阈值大小,具体计算方法如下:
1)确定能够在手指上产生最小振动触感的刺激量,即振动触觉的绝对阈值,当手指所接收到的刺激量超过绝对阈值时,刺激的强度需增加、减少一定量级,所增加的触觉量级能够使手指能够接收到的最小的差异变化量,即差异阈值(JND);
2)根据振动触觉强度信息用下式计算刺激变化量与刺激强度的恒定比值;ΔΦ/Φ=c
ΔΦ:振动触觉刺激强度增加、减少量;
Φ:振动触觉刺激强度;
c:差异阈值恒定分数;
3)以JND作为一个标准的感知单位,振动触觉信号的幅度值可通过将刺激强度的物理变化与感知JND间接量化,物理强度与感知强度之间存在对数关系;
4)根据物理强度信息用下式计算感知强度;
Ψ=k logΦ
Ψ:感知强度;
Φ:物理刺激强度;
k:差异阈值恒定乘数。
本发明所描述的振动触觉信息传输方法,其对振动触觉信号形式二次调整部分,需要结合通信学理论进行用户对振动触觉信号的响应效率判定,根据信息理论确定用户接收振动触觉信号的信息量大小与码元传输效率,进而对振动触觉信号各参数二次调整。
本发明所描述的信息理论确定用户接收振动触觉信号的信息量大小与码元传输效率,具体计算方法如下:
1)根据刺激阈值与信息编码方案建立振动触觉传输的刺激集与响应集;
2)构造一组刺激集为K(Si,i=1,2,…,k),其相应的响应集R(Rj,j=1,2,…,k),当i=j时Rj对Si正确响应;
3)从刺激集中随机选择一个刺激,每当选中一个刺激后从响应集中选择一个响应结果;
4)以刺激-响应混合矩阵A的形式建模,其中行对应刺激,列对应响应,对角线数据为“正确”测试数据,错误测试数据分布在混合矩阵的非对角区域之间,数据标志点为aij
Figure BDA0002952851580000081
从刺激-响应混合矩阵数据计算振动触觉信息编码信号IT,测量从传输到接受过程信息不确定性减少;
Figure BDA0002952851580000082
P(Si|Rj):Rj给定情况下Si的条件概率;
P(Si):Si的先验概率。
本发明所描述的振动触觉信息传输方法,其中振动触觉信号的客观数据评估主要是对振动触觉执行元件所产生的法向力进行理论测算与实际测量,具体计算方法与操作步骤如下:
1)指尖通过施加静态力进行静态预压缩,指尖内侧朝向振动平面;
2)平面持续施加谐波振动,采用线性扰动程序分析指尖的稳态动态响应;
3)根据力平衡模型计算平面与指尖之间的接触力;
Fn=F―F1=F―Δ·K
F:指尖对触控平面的压力值;
F1:振动触觉信号模拟弹簧K的力;
Δ:振动触觉信号模拟弹簧K的变化量;
4)利用力传感器测量振动触觉信号实际法向力大小及变换趋势,与理论测算数据对比并作为调节振动触觉信号参数依据。
本发明所描述的振动触觉信息传输方法中的振动触觉信号参数调节具体实施操作:
根据心理-物理学的韦伯费希纳定律以及人体阈值对振动触觉信号的幅度、频率、周期以及时间长度进行划分;
幅度参数划分为低、中和高三种单个振动触觉信号振感大小;
频率参数与周期参数划分为快和慢三种单个振动触觉信号振感长度;
时间长度参数与所传递的振动触觉信息比特位数和人体对时间维度信号识别阈值相关。
本发明所描述的振动触觉信息传输方法中的用户在虚拟键盘按键上的操作与接收到的振动触觉信息方式:
当用户以短时间触摸和、或滑动操作使用虚拟键盘按键时,振动触觉执行元件接收一个符号的振动触觉信息传输信号;
当用户以长时间触摸和、或滑动操作使用虚拟键盘按键时,判断虚拟键盘按键按下时长,达到一定时间长度后,振动触觉执行元件接收该符号的振动触觉信息传输信号,并以一定的时间间隔有规律的循环输出;
直到用户以停止短、长时间触摸和、或滑动操作释放虚拟键盘按键后,停止振动触觉信号发送。
本发明所描述的振动触觉反馈驱动线路板多种信号输入方式的调用方法:
仅针对振动触觉信号的幅度参数调节输出,选用DRV2605库函数调用频率、周期及时间长度相同的一组振动触觉信号,该振动触觉信号包含不同的振动幅度,在每个振动触觉信号之间添加延时时间,以便用户区分每两个信号变化;
仅针对振动触觉信号的频率、周期参数调节输出,选用PWM调制方式输出振动触觉信号,在脉冲高度相同条件下调整脉冲宽度与信号周期,输出低、高频的周期或非周期信号;
针对振动触觉信号的所有特征参数进行调整,选用ARM处理器存储调用,实现以上两种调试效果并组合处理。
除了以上三种信号调用形式,也可选择适用于其他特殊需求的终端设备信号传输方式。
本发明所描述的振动触觉信息传输方法中的振动触觉信号参数调节参考现有的文本编码方式,如摩尔斯编码、二进制编码等数据化编码方案,便于用户识别不同文本的振动触觉信息传输。
下面结合附图来进一步说明本发明。
图1a与图1b为带有振动触觉反馈元件的触控屏终端设备示意图,分别为嵌入式安装方式与外部安装方式,振动触觉反馈元件包含两个振动触觉执行元件,也可以用其他类型的触觉执行器进行替换。
图2为虚拟键盘按键振动触觉传输示意图,表述在触控屏终端设备上通过虚拟键盘按键传输触觉信息的具体方式及各部分单元对触觉信息传输的处理及作用。
图3为用于信息识别的触觉传输方法示意图,在当下已有的信息交流编码方法中选择适用于表述触觉信号参数特征的方式,根据编码变换特点设置信号形式,所设置的触觉信号驱动振动元件输出从而达到信息识别效果。
图4和图5分别为虚拟键盘按键振动触觉信息传输流程图与振动触觉信号驱动流程图,主要包括以下步骤:
步骤[401]:搭建虚拟键盘按键模型;
步骤[402]:获取用户操作虚拟键盘按键动作指令,判断其操作方式与按键信息;
步骤[403]:触控屏设备将虚拟键盘按键操作指令传输至振动触觉反馈元件处理单元;
步骤[404]:处理单元根据步骤[403]的指令选择振动触觉信号的驱动方式;
步骤[405]和步骤[406]:将振动触觉驱动信号传输至振动触觉执行元件在触控屏设备上实现局部、半局或全局的振动触觉效果;
步骤[407]:用户在触控屏终端设备上接收并识别振动触觉信号传输的信息,实现人机触觉通道信息交流。
图6和图7为虚拟键盘按键选用模型,分别为QWERTY式键盘与手机九键式键盘。
图8为振动触觉信息传输实验流程图,主要针对表述虚拟键盘按键文本信息的振动触觉信号实验与设计,本实验将虚拟键盘按键的驱动操作局限于“点击”、“长按”和“抬起”操作,分析振动触觉传输方法的效率及可靠性,包括以下步骤:
首先,建立文本符号集作为振动触觉传输信息,以现有的编码方式作为振动触觉信号参数调整依据,设置本文符号集的振动触觉编码传输信号;
在触控屏设备上初步设置一个虚拟键盘按键作为振动触觉信号传输载体,当实验者以“点击”操作驱动虚拟键盘按键时,虚拟键盘按键随机输出一个文本符号的振动触觉信号,该本文信号仅驱动一次;
实验者依据一次振动触觉信号输出判断其传输的文本信息,若信息判断正确,则记录该文本信息实验结果,驱动其他符号的振动触觉信号,若信息判断错误,虚拟键盘按键驱动信号保持该振动触觉信号不变;
实验者以“长按”操作驱动虚拟键盘按键时,虚拟键盘按键循环输出该文本符号的振动触觉传输信号,实验者依据循环的振动触觉信号输出再次判断其传输的文本信息,若信息判断正确,则记录该文本信息实验结果,驱动其他符号的振动触觉信号,若信息判断错误,则需要重新调整表征该文本信息的振动触觉信号参数,再进行实验测试。
下面结合实例来进一步说明本发明:
该实例应用两个振动执行元件实现,分别放置于触控屏终端设备背面的顶部与底部,在两个马达的中间位置建立虚拟键盘按键区域,如图1b、图9所示,该实例仅为简单实验示例说明,实际操作中可替代或增加、减少振动触觉执行元件,基本原理不变。
所设计的振动触觉信号以数字文本作为传输的信息,以数字“1”、“2”、“3”和“4”作为触觉信息进行传输测试,四种文本的振动触觉信号如图10所示。
根据心理-物理学对触觉感知的分级定律,将幅值设定在5v与10v电压,刺激集持续时长设定为500ms、250ms和150ms,频率设定为振动执行元件谐振频率160HZ,上述方法利用以下公式计算:
ΔΦ/Φ=c
Ψ=k logΦ
ΔΦ:振动触觉刺激强度增加、减少量;
Φ:振动触觉刺激强度;
c:差异阈值恒定分数;
Ψ:感知强度;
k:差异阈值恒定乘数。
当手指按下触控屏上的一个按键时,根据力平衡模型与Nano17力传感器测算手指对平面施加的力与振动触觉信号所产生的法向力,手指对平面施加的力保持为80cN左右,其振动触觉信号所产生的法向力为20cN(±5cN)和50cN(±5cN)的组合变化。
根据信息理论计算示例实验者所接收并识别振动触觉信息效率,当实验者用手指以“按下”方式操作虚拟键盘按键时,手指、手掌接收到施加在终端设备上的触觉信号,记录实验者正确、错误识别数据建立刺激-响应混合矩阵模型,根据模型中的数据分布情况计算四种振动触觉信号的信息传输容量与效率,上述方法利用以下公式计算:
Fn=F―F1=F―Δ·K
Figure BDA0002952851580000121
Figure BDA0002952851580000122
F:指尖对触控平面的压力值;
F1:振动触觉信号模拟弹簧K的力;
Δ:振动触觉信号模拟弹簧K的变化量;
aij:刺激-响应集识别数据;
P(Si|Rj):Rj给定情况下Si的条件概率;
P(Si):Si的先验概率。
由此,得到表征“1”和“2”的振动触觉信号传输效率为1.2-1.5bit/s,表征“3”和“4”的振动触觉信号传输效率为1.9-2.2bit/s,“3”和“4”在信号编码位数上比“1”和“2”多2bit,因此该触觉信息方案的传输效率合理可证。
在测试运行的基础上,对于500ms、250ms和150ms的刺激集IT平均估计值上限分别为6.7bit、6.5bit和6.0bit,对于500ms、250ms和150ms的刺激集IT平均估计值下限分别为6.5bit、6.2bit和5.6bit,对于持续时间为500ms和250ms的振动触觉信号所传输的信息量较为稳定,容易使实验者接收并识别,对于持续时间为150ms的振动触觉信号传输能力较差,这与人体对刺激信号的时域阈值相关,对于人体能够最小分辨两个刺激的间隔时长为50ms。
上述测试方法中的理论依据由下式表示:
Figure BDA0002952851580000131
nij:联合概率事件(Si,Rj)发生次数;
Figure BDA0002952851580000132
Figure BDA0002952851580000133
是刺激-混合矩阵行和列的总和;
Figure BDA0002952851580000134
是收集的测试总数。
根据以上的理论知识与实际测试可以验证这种用于信息识别的虚拟键盘按键触觉传输方法的有效性,可进一步将其他文本信息转换为振动触觉信号形式在触控屏终端设备上进行触觉传输。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域技术的技术人员在本发明公开的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种用于信息识别的虚拟键盘按键触觉传输方法,其特征在于,包括下列部分:
(1)利用单、多振动触觉反馈元件输出振动触觉信号,并产生全局、半局或局部的振动效果,其结构包括能够产生振动触觉效果的执行元件和振动触觉反馈驱动线路板,振动执行元件连接到驱动线路板I/O输出串口,单、多振动触觉反馈元件由电信号、声学信号或光学信号等物理信号驱动;
(2)触控屏终端设备,作为虚拟键盘按键模型的载体,实时获取虚拟键盘按键表述的信息与用户操作方式,操作方式可包括短或长时间的触摸和、或滑动的单一或组合形式,将其作为指令传输至振动触觉反馈元件的处理单元,根据指令信息调用振动触觉执行元件并施加不同的振动触觉信号;
(3)振动触觉信息传输方法,根据人体对振动触觉信号特征参数的生理阈值以及振动触觉执行元件性能调整振动触觉信号形式,用以表征不同触觉信息,编写到下位机存储单元,供上位机的虚拟键盘按键以不同操作方式进行调用,根据用户对该振动触觉信号的响应效率,对振动触觉信号形式进行二次调整。
2.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于,所述部分(1)中的单、多输出的振动触觉反馈元件包括:两个以上的振动触觉执行元件以及振动触觉反馈驱动线路板,振动触觉执行元件连接到驱动电路的振动触觉信号输出端口,振动触觉执行元件与振动触觉反馈驱动线路板一同放置在触控屏设备外部或嵌入至触控屏设备内部,振动触觉执行元件分别安装于设备中心且水平对称的边缘位置;
所述的振动触觉反馈驱动线路板能够实现多种振动触觉信号调制方式,包括DRV2605库调用信号输出途径、PWM调制信号输出途径以及ARM处理器存储调用信号输出途径。
3.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述部分(1)中的振动触觉反馈驱动线路板能够实现多种信号输入方式,即触控屏终端设备调用振动触觉反馈驱动线路板的方式,用于终端设备上的信号输入类型包括PC端信号输入、Android端信号输入及语音信号输入。
4.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述部分(2)中的触控屏终端设备的功能,触控屏交互界面实时获取用户操作不同虚拟键盘按键的交互动作,振动触觉执行元件根据指令信息驱动相应振动触觉信号,在用户手指与触控屏表面虚拟键盘按键交互的过程中产生法向的反馈力来传递触觉信息。
5.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述部分(2)中的虚拟键盘按键模型,每一个虚拟键盘按键表面标有所对应的文本符号,键盘分布按照现有的文本输入方式进行设计,包括QWERTY式键盘、手机九键式键盘分布及计算机键盘分布。
6.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述部分(3)中的振动触觉信息传输方法,结合人体生理机理确定人体对振动触觉信号特征参数的生理阈值,并参考振动触觉执行元件性能调整能够表征触觉信息的振动触觉信号形式,将该振动触觉信号用程序语言编写至振动触觉反馈的驱动线路板存储单元中,在上位机设计表述文本符号信息的虚拟键盘按键,根据不同的按键操作方式通过驱动线路板I/O串口进行振动触觉信号调用,再根据用户对振动触觉信号的实际响应效率二次调整振动触觉信号形式。
7.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述部分(3)中的振动触觉信息传输方法,其人体对振动触觉信号特征参数生理阈值部分,需要结合生理、心理学理论进行阈值判定,根据心理-物理学中的韦伯费希纳定律确定人体对振动触觉信号特征参数的生理阈值,对振动触觉信号进行各参数分级与调节,从时域、空域参数调整表征触觉信息的振动触觉信号。
8.根据权利要求7所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述的心理-物理学的韦伯费希纳定律确定人体对触觉信号的阈值大小,具体计算方法如下:
(1)确定能够在手指上产生最小振动触感的刺激量,即振动触觉的绝对阈值,当手指所接收到的刺激量超过绝对阈值时,刺激的强度需增加、减少一定量级,所增加的触觉量级能够使手指能够接收到的最小的差异变化量,即差异阈值(JND);
(2)根据振动触觉强度信息用下式计算刺激变化量与刺激强度的恒定比值;ΔΦ/Φ=c
ΔΦ:振动触觉刺激强度增加、减少量;
Φ:振动触觉刺激强度;
c:差异阈值恒定分数;
(3)以JND作为一个标准的感知单位,振动触觉信号的幅度值可通过将刺激强度的物理变化与感知JND间接量化,物理强度与感知强度之间存在对数关系;
(4)根据物理强度信息用下式计算感知强度;
Ψ=klogΦ
Ψ:感知强度;
Φ:物理刺激强度;
k:差异阈值恒定乘数。
9.根据权利要求1所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述部分(3)中的振动触觉信息传输方法,其对振动触觉信号形式二次调整部分,需要结合通信学理论进行用户对振动触觉信号的响应效率判定,根据信息理论确定用户接收振动触觉信号的信息量大小与码元传输效率,进而对振动触觉信号各参数二次调整。
10.根据权利要求9所述的用于信息识别的虚拟键盘按键触觉传输方法,其特征在于:所述的信息理论确定用户接收振动触觉信号的信息量大小与码元传输效率,具体计算方法如下:
(1)根据刺激阈值与信息编码方案建立振动触觉传输的刺激集与响应集;
(2)构造一组刺激集为K(Si,i=1,2,…,k),其相应的响应集R(Rj,j=1,2,…,k),当i=j时Rj对Si正确响应;
(3)从刺激集中随机选择一个刺激,每当选中一个刺激后从响应集中选择一个响应结果;
(4)以刺激-响应混合矩阵A的形式建模,其中行对应刺激,列对应响应,对角线数据为“正确”测试数据,错误测试数据分布在混合矩阵的非对角区域之间,数据标志点为aij
Figure FDA0002952851570000031
从刺激-响应混合矩阵数据计算振动触觉信息编码信号IT,测量从传输到接受过程信息不确定性减少;
Figure FDA0002952851570000032
P(Si|Rj):Rj给定情况下Si的条件概率;
P(Si):Si的先验概率。
CN202110213624.1A 2021-02-25 2021-02-25 一种用于信息识别的虚拟键盘按键触觉传输方法 Active CN112925417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213624.1A CN112925417B (zh) 2021-02-25 2021-02-25 一种用于信息识别的虚拟键盘按键触觉传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213624.1A CN112925417B (zh) 2021-02-25 2021-02-25 一种用于信息识别的虚拟键盘按键触觉传输方法

Publications (2)

Publication Number Publication Date
CN112925417A true CN112925417A (zh) 2021-06-08
CN112925417B CN112925417B (zh) 2022-04-12

Family

ID=76172012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213624.1A Active CN112925417B (zh) 2021-02-25 2021-02-25 一种用于信息识别的虚拟键盘按键触觉传输方法

Country Status (1)

Country Link
CN (1) CN112925417B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536599A (zh) * 2021-08-15 2021-10-22 吉林大学 一种具有人体生物力学差异性特征的裸指力触觉信号生成方法
CN113778312A (zh) * 2021-08-17 2021-12-10 咪咕数字传媒有限公司 虚拟键盘显示方法、装置、设备及计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110078567A1 (en) * 2009-09-30 2011-03-31 Pantech Co., Ltd. Apparatus and method for providing virtual keyboard
US20110201388A1 (en) * 2010-02-15 2011-08-18 Research In Motion Limited Prominent selection cues for icons
US20130125037A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Displaying a prediction candidate after a typing mistake
CN106255942A (zh) * 2014-05-06 2016-12-21 高通股份有限公司 用于优化触觉反馈的系统和方法
CN106959814A (zh) * 2017-03-27 2017-07-18 联想(北京)有限公司 一种虚拟键盘的显示方法、装置及终端
CN107025019A (zh) * 2017-01-12 2017-08-08 瑞声科技(新加坡)有限公司 虚拟按键的交互方法及终端设备
US20170371405A1 (en) * 2016-06-28 2017-12-28 Center Of Human-Centered Interaction For Coexistence Apparatus for outputting virtual keyboard and method of controlling the same
CN108079576A (zh) * 2016-11-23 2018-05-29 意美森公司 用于修改触觉效应的设备和方法
CN208969624U (zh) * 2017-08-31 2019-06-11 苹果公司 电子设备
CN110413189A (zh) * 2018-04-28 2019-11-05 北京钛方科技有限责任公司 一种虚拟键盘控制方法及系统
CN110703952A (zh) * 2019-10-11 2020-01-17 吉林大学 一种基于双马达装置的法向虚拟按键渲染方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110078567A1 (en) * 2009-09-30 2011-03-31 Pantech Co., Ltd. Apparatus and method for providing virtual keyboard
US20110201388A1 (en) * 2010-02-15 2011-08-18 Research In Motion Limited Prominent selection cues for icons
US20130125037A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Displaying a prediction candidate after a typing mistake
CN106255942A (zh) * 2014-05-06 2016-12-21 高通股份有限公司 用于优化触觉反馈的系统和方法
US20170371405A1 (en) * 2016-06-28 2017-12-28 Center Of Human-Centered Interaction For Coexistence Apparatus for outputting virtual keyboard and method of controlling the same
CN108079576A (zh) * 2016-11-23 2018-05-29 意美森公司 用于修改触觉效应的设备和方法
CN107025019A (zh) * 2017-01-12 2017-08-08 瑞声科技(新加坡)有限公司 虚拟按键的交互方法及终端设备
CN106959814A (zh) * 2017-03-27 2017-07-18 联想(北京)有限公司 一种虚拟键盘的显示方法、装置及终端
CN208969624U (zh) * 2017-08-31 2019-06-11 苹果公司 电子设备
CN110413189A (zh) * 2018-04-28 2019-11-05 北京钛方科技有限责任公司 一种虚拟键盘控制方法及系统
CN110703952A (zh) * 2019-10-11 2020-01-17 吉林大学 一种基于双马达装置的法向虚拟按键渲染方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536599A (zh) * 2021-08-15 2021-10-22 吉林大学 一种具有人体生物力学差异性特征的裸指力触觉信号生成方法
CN113778312A (zh) * 2021-08-17 2021-12-10 咪咕数字传媒有限公司 虚拟键盘显示方法、装置、设备及计算机可读存储介质
CN113778312B (zh) * 2021-08-17 2024-04-23 咪咕数字传媒有限公司 虚拟键盘显示方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112925417B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN112925417B (zh) 一种用于信息识别的虚拟键盘按键触觉传输方法
Kaaresoja et al. Towards the temporally perfect virtual button: touch-feedback simultaneity and perceived quality in mobile touchscreen press interactions
Rantala et al. Methods for presenting braille characters on a mobile device with a touchscreen and tactile feedback
Hoggan et al. Designing audio and tactile crossmodal icons for mobile devices
Tan et al. Methodology for maximizing information transmission of haptic devices: A survey
US8841991B2 (en) Information processing apparatus and information processing method
Tan et al. Optimum information transfer rates for communication through haptic and other sensory modalities
EP3235540A1 (en) Auxiliary device for training and auxiliary method for training
Reed et al. Note on information transfer rates in human communication
Chaudhari et al. Perceptual and bitrate-scalable coding of haptic surface texture signals
WO2009082682A1 (en) Kinesthetically concordant optical, haptic image sensing device
Martínez et al. Vitaki: a vibrotactile prototyping toolkit for virtual reality and video games
CN114740981B (zh) 信息处理方法、装置、可读介质、电子设备及程序产品
EP3425630A1 (en) Electronic device-awakening method and apparatus, device and computer-readable storage medium
CN110703952B (zh) 一种基于双马达装置的法向虚拟按键渲染方法
US9230450B1 (en) Systems and methods for distributed adaptive simulator training
Park et al. Vibration-augmented buttons: Information transmission capacity and application to interaction design
CA3211140A1 (en) Interactive avatar training system
Frid et al. Physical and perceptual characterization of a tactile display for a live-electronics notification system
Wu et al. A haptic keypad design with a novel interactive haptic feedback method
Kyung et al. Pen-like haptic interface and its application on touch screen
Qian et al. Determining the efficacy of multi-parameter tactons in the presence of real-world and simulated audio distractors
Tamer et al. A low duration vibro-tactile representation of Braille characters
Thomas et al. Alternate braille display designs: A review
Chase et al. Learning vibes: Communication bandwidth of a single wrist-worn vibrotactile actuator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant