CN109101111B - 融合静电力、空气压膜和机械振动的触觉再现方法与装置 - Google Patents

融合静电力、空气压膜和机械振动的触觉再现方法与装置 Download PDF

Info

Publication number
CN109101111B
CN109101111B CN201810978283.5A CN201810978283A CN109101111B CN 109101111 B CN109101111 B CN 109101111B CN 201810978283 A CN201810978283 A CN 201810978283A CN 109101111 B CN109101111 B CN 109101111B
Authority
CN
China
Prior art keywords
matrix
force
electrostatic force
mechanical vibration
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810978283.5A
Other languages
English (en)
Other versions
CN109101111A (zh
Inventor
孙晓颖
刘国红
王庆龙
陈建
燕学智
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201810978283.5A priority Critical patent/CN109101111B/zh
Priority to US16/644,874 priority patent/US11334162B2/en
Priority to PCT/CN2018/109627 priority patent/WO2020037790A1/zh
Publication of CN109101111A publication Critical patent/CN109101111A/zh
Application granted granted Critical
Publication of CN109101111B publication Critical patent/CN109101111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种融合静电力、空气压膜和机械振动的触觉再现方法与装置，属于人机交互与人工智能领域。通过建立图像梯度、曲率和高度特征与触觉驱动信号幅度和频率参数之间的映射模型实现视觉对象轮廓、纹理和粗糙度的同时触觉再现，实现触觉再现的装置包括交互单元、处理单元和驱动单元。优点是：充分利用静电力触觉反馈可增加切向摩擦力，空气压膜触觉反馈可减小切向摩擦力，机械振动触觉反馈可提供法向反馈维度的特性，提供了静电力、空气压膜和机械振动相融合的触觉再现装置，实现了触摸屏上触觉反馈力动态范围和维度的同时扩展，显著提升了触摸屏上触觉再现的真实性与丰富性。

Description

融合静电力、空气压膜和机械振动的触觉再现方法与装置
技术领域
本发明涉及一种融合静电力、空气压膜和机械振动的触觉再现装置与方法，属于人机交互与人工智能领域。
背景技术
具有触觉再现功能的智能手机、平板电脑等在医疗卫生、电子商务、教育娱乐、视障人群等具有广泛应用前景。通过触觉再现技术，利用裸指触摸多媒体终端屏幕可感知被显示物体的形状、纹理、粗糙度、柔韧性等表面属性，极大地提高了交互过程的真实感与交互体验的丰富性。在触觉再现设备中，触觉反馈力的动态范围和维度、触觉感知方法是决定触摸屏上视觉对象触觉再现真实感的两个关键因素。
以提高触觉再现真实感为目标，目前可在触摸屏上实现触觉再现的装置和方法主要有机械振动式、空气压膜式和静电力式。
机械振动触觉再现通过控制线性马达等使装置振动刺激操作者手指来呈现触感。论文“Active click:tactile feedback for touch panels”将音圈振动器用于移动电话和PDA，通过单一频率振动产生触觉反馈；论文“SemFeel:A user interface withsemantic tactile feedback for mobile touch-screen devices”通过嵌入手机后端的5个电机改变振动模式实现不同形状的触觉再现；论文“Vibrotactile display pad withspatial and directional information for hand-held device”将由12个振动嵌板组成的触觉显示板用于智能手机；中国专利“基于高压电特性陶瓷材料的振动装置”(申请号201620476481.8)公开了一种基于压电陶瓷的振动触觉反馈装置；论文“Modeling andsynthesis of tactile texture with spatial spectrograms for display onvariable friction surfaces”通过纹理集合实时地合成振动信号实现了图像纹理信息的触觉再现。
空气压膜触觉再现通过在触摸屏上施加高频振动产生空气薄膜以减小切向摩擦力，使操作者感知触觉纹理。论文“A method for controlling tactile sensation ofsurface roughness using ultrasonic vibration”设计了第一个空气压膜触觉再现装置，使操作者感受到了表面摩擦力的变化；美国专利“Electronic device having tactiledisplay using squeeze film effect”(申请号：US 2013/0321299A1)以及论文“Frictionmeasurements on a large area TPaD”公开了一种基于空气压膜触觉再现的装置与方法，通过在屏幕与手指之间形成的空气膜来减小手指受到的摩擦力；论文“TPadFire:surfacehaptic tablet”将前述成果集成到便携终端TPaD Fire上，可在玻璃表面上呈现出可定制的纹理；论文“Localized haptic texture:arendering technique based on taxels forhigh density tactile feedback”提出了一种局部纹理的触觉再现方法，采用局部网格编码技术实现了局部纹理的触觉再现。
静电力触觉再现利用手指和触觉面板中的电极构成电容，在电极上施加激励信号使手指感受到静电摩擦力的变化，呈现触觉。国际专利“Device with surface structurefor electrosensory vibration”(申请号：PCT/EP2017/053673)以及中国专利“一种基于静电力触觉再现的装置”(申请号201210143828.3)公开了一种基于静电力触觉再现的装置与方法，通过改变静电吸引力来增加用户手指和屏幕之间的摩擦力以实现触觉再现；论文“Electrotactile touch surface by using transparent grapheme”研制了基于石墨烯的静电力表面触觉反馈系统ET，实现了可定制纹理的触觉再现；论文“Tactile renderingof 3D features on touch surfaces”提出了一种触觉再现方法，基于虚拟视觉对象表面的局部梯度信息建立3D触觉感知模型，实现了凹凸等三维几何特征的触觉再现；论文“Tactile modeling and rendering image-textures based on electrovibration”分析了驱动信号频率对硬度的影响，提出了图像的纹理与硬度的联合渲染方法。
真实的触觉感知通常意味着触觉再现装置能够同时呈现视觉对象的轮廓、纹理、粗糙度、柔韧性等多种表面属性。上述基于单一反馈机制的触觉再现装置和方法在实现视觉对象多表面属性联合触觉感知方面面临以下两个主要挑战：(1)单一触觉再现机制的触觉再现装置的触觉反馈力的范围和维度均有待扩展，具体而言，机械振动触觉再现仅能提供法向反馈力，空气压膜触觉再现仅能减小触摸屏上的切向摩擦力，而静电力触觉再现仅能增大触摸屏上的切向摩擦力；(2)受到单一触觉再现反馈力动态范围和维度的局限，目前的渲染方法往往仅能再现视觉对象的某一种表面属性，这影响了触觉再现效果的真实性与丰富性。
为解决上述单一触觉再现装置和方法的局限性，国内外学者提出了两种触觉再现机制相融合的触觉再现装置和方法。论文“Merging two tactile stimulationprinciples:electrovibration and squeeze film effect”从理论上分析了静电力触觉以及空气压膜触觉的异同，并提出了两种方式融合的可能途径。论文“Physical andperceptual independence of ultrasonic vibration and electrovibration forfriction modulation”提出了融合静电力与空气压膜的触觉再现装置与方法，并证明了这两者的触觉再现效果可线性叠加；论文“HUE:A hybrid ultrasonic and electrostaticvariable friction touchscreen”应用融合静电力与空气压膜的触觉再现装置实现了对光栅纹理的渲染；论文“A texture display using vibrotactile and electrostaticfriction stimuli surpasses one based on either type of stimulus”中提出了一种融合静电力与振动的触觉再现装置与方法，该装置通过使用指垫实现了黑白条纹的触觉再现。论文“Colorful tactile stimuli.association between colors and tactile-display stimuli on Russell’s psychological plane”探索了驱动信号频率与颜色的映射关系，实现了颜色的渲染。
与基于单一触觉反馈机制的触觉再现技术相比，上述两种触觉反馈机制相融合的触觉再现装置和方法扩展了触觉反馈力的范围或者维度，在一定程度上提升了视觉对象触觉感知的真实性。然而，上述融合技术依然面临如下问题：(1)静电力与空气压膜相融合的触觉再现技术仅能改变触摸屏上的切向摩擦力，缺少法向反馈维度，而静电力与机械振动相融合的触觉再现技术虽可提供法向反馈力，但触摸屏上的切向摩擦力仅表现为增加趋势；(2)现有的基于融合装置的触觉渲染方法最多可同时实现视觉对象两种表面属性的触觉感知，触觉再现真实感仍有待进一步提升。
发明内容
本发明提供一种融合静电力、空气压膜和机械振动的触觉再现方法与装置，以解决现有融合技术存在的问题：(1)静电力与空气压膜相融合的触觉再现技术仅能改变触摸屏上的切向摩擦力，缺少法向反馈维度，而静电力与机械振动相融合的触觉再现技术虽可提供法向反馈力，但触摸屏上的切向摩擦力仅表现为增加趋势；(2)基于融合装置的触觉渲染方法最多可同时实现视觉对象两种表面属性的触觉感知，触觉再现真实感仍有待进一步提升。
本发明采取的技术方案是：包括：同时实现视觉对象的轮廓属性、纹理属性以及粗糙度属性的触觉再现，其中：
轮廓属性通过建立轮廓梯度信息与静电力、空气压膜以及机械振动三种触觉反馈的驱动信号幅度参量之间的映射模型实现触觉再现；
纹理属性通过建立纹理曲率信息与静电力触觉反馈驱动信号幅度、纹理高度信息与机械振动触觉反馈驱动信号幅度之间的映射模型实现触觉再现；
粗糙度属性通过建立纹理曲率信息与静电力触觉反馈的驱动信号频率参量之间的映射模型实现触觉再现。
本发明所述视觉对象的预处理方法为：获取视觉对象M×N像素高度、梯度和曲率信息，需要将视觉信息由RGB颜色模型转换成HSI颜色模型，其具体方法为：
Figure BDA0001777286480000041
Figure BDA0001777286480000042
Figure BDA0001777286480000043
其中H为色调，S为饱和度，I为亮度，
Figure BDA0001777286480000044
为划分不同主色调的弧度，计算为：
Figure BDA0001777286480000045
将获取的亮度信息I作为高度矩阵HEI，利用Sobel方法计算梯度矩阵P，其第(x,y)个元素表示为：
Figure BDA0001777286480000046
其中△x和△y分别为高度矩阵HEI对x和对y的偏导数，P(x,y)为梯度矩阵P的第x行、第y列的元素，HEI(x,y)为高度矩阵HEI的第x行、第y列的元素，1≤x≤M，1≤y≤N；
进一步分别计算与纹理属性相关的高度矩阵HT和与轮廓属性相关的梯度矩阵PC，其第(x,y)个元素分别表示为：
HT(x,y)＝HEI(x,y)⊙SM(x,y)
PC(x,y)＝P(x,y)-P(x,y)⊙SM(x,y)
其中：
Figure BDA0001777286480000047
其中HT(x,y)为纹理高度矩阵HT的第x行、第y列的元素，PC(x,y)为轮廓梯度矩阵PC的第x行、第y列的元素，SM(x,y)划分轮廓和纹理梯度的矩阵SM的第z行、第y列的元素，符号⊙为Schur运算，p为划分轮廓属性与纹理属性的经验梯度值；
基于纹理高度矩阵HT，利用曲率卷积核获得与纹理和粗糙度属性相关的曲率矩阵C，其第(x,y)个元素可计算为：
Figure BDA0001777286480000048
其中C(x,y)为纹理曲率矩阵C的第x行、第y列的元素，E、Q和Z为高度矩阵第(x,y)个元素HT(x,y)的一阶卷积核系数，L、W和K为纹理高度矩阵HT第(x,y)个元素HT(x,y)的二阶卷积核系数。
本发明所述的轮廓属性的触觉再现方法包括以下步骤：
(1)确定驱动电压与触觉反馈力的定量关系
基于静电力触觉反馈，利用力测量平台确定静电力驱动电压VE与切向静电摩擦力之fx间的定量关系：
fx＝k1VE 2
其中k1为比例系数；
基于空气压膜触觉反馈，利用力测量平台确定空气压膜驱动电压VA与切向压膜摩擦力fy之间的定量关系：
Figure BDA0001777286480000051
其中k2为比例系数；
基于机械振动触觉反馈，利用力测量平台确定机械振动驱动电压VV与法向振动反馈力fz之间的定量关系：
Figure BDA0001777286480000052
其中k3为比例系数；
(2)建立轮廓梯度信息与静电力、空气压膜触觉反馈的驱动信号幅度参量之间的映射模型
对轮廓梯度矩阵PC进行归一化处理，得到归一化的轮廓梯度矩阵PN，其第(x,y)个元素可计算为：
Figure BDA0001777286480000053
其中PN(x,y)为归一化梯度矩阵PN中第x行、第y列的元素，PC(x,y)为轮廓梯度矩阵PC中第x行、第y列的元素，pxmin为轮廓梯度矩阵PC中元素的最小值，pxmax为轮廓梯度矩阵中PC元素的最大值，1≤x≤M，1≤y≤N；
根据归一化梯度矩阵PN求得切向力矩阵Fx，其第(x,y)个元素计算为：
Fx(x,y)＝(fo-fa)+PN(x,y)(fe+fa)
其中Fx(x,y)为切向力矩阵Fx中第x行、第y列的元素，fo为不施加任何触觉反馈时手指划过装置屏幕所受到的切向力，fe为静电力触觉所能增加的最大切向力，fa为空气压膜触觉所能减小的最大切向力；
将切向力矩阵Fx分解为静电力矩阵FxE和空气压膜力矩阵FxA，其第(x,y)个元素分别计算为：
Figure BDA0001777286480000061
Figure BDA0001777286480000062
其中FxE(x,y)为静电力矩阵FxE中第x行、第y列的元素，FxA(x,y)为空气压膜力矩阵FxA中第x行、第y列的元素；
根据步骤(1)中得到的静电力驱动电压与切向摩擦力的定量关系，建立轮廓梯度较大部分相对应的静电力矩阵FxE与静电力驱动信号幅度矩阵AmpE1之间的映射模型，其第(x,y)个元素计算为：
Figure BDA0001777286480000063
其中AmpE1(x,y)为静电力信号幅度矩阵AmpE1中第x行、第y列的元素；
同理，根据步骤(1)中得到的空气压膜驱动电压与切向摩擦力的定量关系，可建立与轮廓梯度较小部分相对应的空气压膜力矩阵FxA与空气压膜驱动信号幅度矩阵AmpA之间的映射模型，其第(x,y)个元素可计算为：
Figure BDA0001777286480000064
其中AmpA(x,y)为空气压膜信号幅度矩阵AmpA中第x行、第y列的元素；
(3)建立轮廓梯度信息与机械振动触觉反馈驱动信号幅度间的映射模型
当手指触摸到图像的某一点D(x,y)时，手指在该点受到虚拟物体的支持力为Fn、摩擦力为Ff，这两个力的合力为F′，合力F′与水平面夹角θ(x,y)计算方法为：
θ(x,y)＝90-α(x,y)-arctanμ
其中α(x,y)的计算方式为：
Figure BDA0001777286480000065
上述θ(x,y)为夹角矩阵θ中第x行、第y列的元素，μ为虚拟物体表面摩擦系数；
将切向力矩阵Fx中的元素与夹角矩阵θ中对应位置元素的正切值相乘，得到法向力矩阵Fy中的元素，其第(x,y)个元素可计算为：
Fy(x,y)＝Fx(x,y)tanθ(x,y)
其中Fy(x,y)为法向力分量矩阵Fy中第x行、第y列的元素。
根据步骤(1)中得到的机械振动电压与法向反馈力的定量关系，建立与法向轮廓梯度信息相对应的机械振动力矩阵Fy与机械振动驱动信号幅度矩阵之AmpV1间的映射模型，其第(x,y)个元素可计算为：
Figure BDA0001777286480000071
其中AmpV1(x,y)为振动信号幅度矩阵AmpV1中第x行、第y列的元素。
本发明所述的纹理属性和粗糙度属性的触觉再现方法包括以下步骤：
(1)建立触觉感知强度与驱动信号幅度和频率参量的感知模型
基于静电力和空气压膜触觉反馈，建立感知切向摩擦力强度与驱动信号幅度之间的感知模型为：
YE＝k4VE+a
YA＝k5VA+b
其中YE和YA分别为静电力和空气压膜触觉反馈切向摩擦力感知强度，VE和VA分别为静电力和空气压膜触觉反馈的驱动电压幅度，k4、k5、a和b均为常数；
基于静电力触觉反馈，建立感知切向摩擦力强度YF与驱动信号频率FE之间的感知模型为：
YF＝k6FE+c
其中k6和c均为常数；
基于机械振动触觉反馈，建立法向感知强度YV与驱动信号幅度VV之间的感知模型为：
YV＝k7VV+d
其中k7和d均为常数；
(2)建立纹理曲率信息、高度信息与静电力、机械振动触觉反馈驱动信号幅度之间的映射模型
对曲率矩阵C进行归一化处理，获得归一化曲率矩阵CN，其第(x,y)个元素计算为：
Figure BDA0001777286480000072
其中CN(x,y)为归一化曲率矩阵CN中第x行、第y列的元素，C(x,y)为曲率矩阵C中第x行、第y列的元素，cxmin为曲率矩阵C中元素的最小值，cxmax为曲率矩阵C中元素的最大值，1≤x≤M，1≤y≤N；
根据步骤(1)中得到的静电切向摩擦力感知强度与驱动信号电压幅度的感知模型，建立归一化曲率矩阵CN与静电力驱动信号幅度AmpE2之间的映射模型，其第(x,y)个元素可计算为：
AmpE2(x,y)＝k4VEmax(1-CN(x,y))
其中AmpE2(x,y)为静电力信号幅度矩阵AmpE2中第x行、第y列的元素，VEmax为静电力触觉反馈所能提供的最大驱动电压；
对纹理高度矩阵HT进行归一化处理，获得归一化高度矩阵HN，其第(x,y)个元素计算为：
Figure BDA0001777286480000081
其中HN(x,y)为归一化的高度矩阵HN中第x行、第y列的元素，HT(x,y)为高度矩阵HT中第x行、第y列的元素，hxmin为高度矩阵HT中元素的最小值，hxmax为高度矩阵HT中元素的最大值；
根据步骤(1)中得到的机械振动法向力感知强度与驱动信号电压幅度的感知模型，建立归一化高度矩阵与HN机械振动驱动信号幅度AmpV2之间的映射模型，其第(x,y)个元素可计算为：
AmpV2(x,y)＝k6VVmaxHN(x,y)
其中AmpV2(x,y)为机械振动信号幅度矩阵AmpV2中第x行、第y列的元素，VVmax为振动触觉反馈所能提供的最大驱动电压；
(3)建立粗糙度曲率信息与静电力触觉反馈驱动信号频率之间的映射模型
根据步骤(1)中得到的静电切向摩擦力感知强度与驱动信号电压频率的感知模型，建立归一化曲率矩阵CN与静电力驱动信号频率FEC之间的映射模型，其第(x,y)个元素可计算为：
FEC(x,y)＝k7fEmaxCN(x,y)
其中FEC(x,y)为静电力驱动信号频率矩阵FEC的第x行、第y列的元素，fEmax为静电力触觉反馈所提供的最高频率。
一种实现融合静电力、空气压膜和机械振动的触觉再现方法的装置，包括：
(1)交互单元，包括单点电容屏、压电陶瓷与振动源，能实时地追踪手指的位置坐标并将该坐标发送给处理单元，接收驱动单元的驱动信号并呈现相应的触觉反馈；
(2)处理单元，包括多媒体终端，能呈现视觉信息，根据视觉信息进行预处理得到相应的触觉驱动信号参数，还能根据手指的位置坐标查找驱动信号参数并将该参数发送给驱动单元；
(3)驱动单元，包括驱动电路，可以根据接收的驱动信号参数产生相应的静电力、空气压膜与机械振动三种触觉反馈的驱动信号，可以实现单点电容屏的触觉反馈功能与手指定位功能的分时复用。
本发明所述交互单元中单点电容屏结构为三层：底层是玻璃板，起支撑作用，能使屏幕的机械结构更加稳定；中层是透明的导电极板，喷镀在底层玻璃板上，能施加激励信号；顶层是绝缘膜，喷镀在中层导电极板上，起到绝缘作用。
本发明所述的驱动单元包括：核心控制模块，能接收上位机的驱动信号参数并协调整个系统的工作；静电力驱动模块，能产生静电力触觉所需要的驱动信号；压电陶瓷驱动模块，能产生空气压膜触觉所需要的驱动信号；机械振动驱动模块，能产生机械振动触觉所需要的驱动信号；定位模块，能实现静电力触摸屏的触觉反馈功能与手指定位功能之间的分时复用。
本发明所述多媒体终端在底层，单点电容屏的玻璃板侧与多媒体终端的屏幕粘贴，振动源对称粘贴在单点电容屏绝缘膜侧的一组对边上，压电陶瓷对称粘贴在单点电容屏绝缘膜侧的另一组对边上。
本发明的优点是：(1)充分利用静电力触觉反馈可增加切向摩擦力，空气压膜触觉反馈可减小切向摩擦力，机械振动触觉反馈可提供法向反馈维度的特性，提供了静电力、空气压膜和机械振动相融合的触觉再现装置，通过同时驱动静电力和空气压膜触觉反馈以扩大触摸屏切向摩擦力动态范围，通过驱动机械振动触觉反馈以增加法向触觉反馈力维度，即实现了触摸屏上触觉反馈力动态范围和维度的同时扩展。(2)本发明提出了一种虚拟视觉对象轮廓、纹理、粗糙度属性同时触觉再现方法，通过建立轮廓梯度信息与静电力、空气压膜以及机械振动三种触觉反馈的驱动信号幅度参量之间的映射模型实现轮廓触觉再现，通过建立纹理曲率信息与静电力触觉反馈驱动信号幅度、纹理高度信息与机械振动触觉反馈驱动信号幅度之间的映射模型实现纹理触觉再现，通过建立纹理曲率信息与静电力触觉反馈的驱动信号频率参量之间的映射模型实现粗糙度触觉再现，显著提升了触摸屏上触觉再现的真实性与丰富性。
附图说明
图1是本发明触觉再现装置的结构示意图；
图2是本发明静电力触觉受力分析图；
图3是本发明空气压膜触觉受力分析图；
图4是本发明机械振动触觉受力分析图；
图5是本发明驱动单元结构框图；
图6是本发明力测量平台结构示意图；
图7是本发明静电摩擦力与驱动电压关系测量时驱动信号加载方式图；
图8是本发明手指触摸图片某点受力分析图；
图9是本发明触觉感知真实感主观评测实验界面图。
具体实施方式
如图1所示，一种融合静电力、空气压膜和机械振动的触觉再现装置，包括：
(1)交互单元11，包括单点电容屏111、压电陶瓷112与振动源113，可以实时地追踪手指的位置坐标并将该坐标发送给处理单元12，可以接收驱动单元13的驱动信号并呈现相应的触觉反馈；
(2)处理单元12，包括多媒体终端，可以呈现视觉信息，并根据视觉信息进行预处理得到相应的触觉驱动信号参数，可以根据手指的位置坐标查找驱动信号参数并将该参数发送给驱动单元13；
(3)驱动单元13，包括驱动电路，可以根据接收的驱动信号参数产生相应的静电力、空气压膜与机械振动三种触觉的驱动信号，可以实现单点电容屏的触觉反馈功能与手指定位功能的分时复用。
所述的交互单元11中主要结构及反馈力分析如下：
(1)单点电容屏111的结构及其改变手指切向力的原理如图2所示，单点电容屏111的结构分为三层：底层1113是玻璃板，起到支撑单点电容屏的作用，可以使屏幕的机械结构更加稳定；中层1112是透明的导电极板，将其喷镀在底层1113上，可以施加激励信号；顶层1111是绝缘膜，将其喷镀在中层1112上，起到绝缘作用；向中层1112的导电极板施加变化的电信号时，手指内的组织液会感应出电荷，与导电极板之间产生静电吸引力Fe，当手指在屏幕上滑动时，手指所受到的摩擦力F1就会改变，从而产生触感；
(2)压电陶瓷112改变手指受到切向力的原理如图3所示，压电陶瓷112带动单点电容屏111高频振动，在屏幕与手指之间形成了一层空气膜，从而减小了手指受到的摩擦力；
(3)振动源113改变手指法向力的原理如图4所示，振动源113振动产生的机械波在单点电容屏111的表面传播，当手指触摸屏幕时就会感受到屏幕振动产生的法向力F2'，从而产生触感。
所述的驱动单元13的结构如图5所示，包括：
(1)核心控制模块132，可以通过通信模块131接收上位机的驱动信号参数，并根据参数控制整个系统的工作状态；
(2)静电力驱动模块，根据静电力触觉的需求，核心控制器132向DDS模块134发送控制信号从而调节驱动信号的频率和波形，再结合数字电位器135即可对该信号的幅度值进行调节，最后利用功率放大器136对信号的幅度进行放大，即可产生符合要求的静电力触觉驱动信号；
(3)压电陶瓷驱动模块，根据空气压膜触觉的需求，核心控制器132向DDS模块134发送控制信号从而调节驱动信号的频率和波形，再结合数字电位器137即可对该信号的幅度值进行调节，最后利用高频放大器138对信号的幅度进行放大，即可产生符合要求的空气压膜触觉驱动信号；
(4)机械振动驱动模块，包括振动源驱动器133，根据振动源型号的不同会有较大的差别，所以需要针对选定的振动源来选择相应的驱动芯片，核心控制器132向振动源驱动器133发送相应的控制信号就可产生需要的机械振动触觉驱动信号。
(5)定位模块，核心控制器132通过控制数字开关139，进而控制单点电容屏与静电力驱动模块连接或者与处理单元连接，当单点电容屏与静电力驱动模块连接时可以改变手指的受力状态从而提供触觉反馈，当单点电容屏与处理单元连接时可以获取手指的位置信息，这样就实现了触觉反馈与定位的分时复用。
所述的触觉再现装置的结构构成方式如图1所示，多媒体终端在底层，单点电容屏111的玻璃板侧1113与多媒体终端的屏幕121粘贴，振动源113对称粘贴在单点电容屏111绝缘膜侧1111的一组对边上，压电陶瓷112对称粘贴在单点电容屏111绝缘膜侧1111的另一组对边上。
一种融合静电力、空气压膜和机械振动的触觉再现方法，包括：同时实现视觉对象的轮廓属性、纹理属性以及粗糙度属性的触觉再现，其中：
轮廓属性通过建立轮廓梯度信息与静电力、空气压膜以及机械振动三种触觉反馈的驱动信号幅度参量之间的映射模型实现触觉再现；
纹理属性通过建立纹理曲率信息与静电力触觉反馈驱动信号幅度、纹理高度信息与机械振动触觉反馈驱动信号幅度之间的映射模型实现触觉再现；
粗糙度属性通过建立纹理曲率信息与静电力触觉反馈的驱动信号频率参量之间的映射模型实现触觉再现。
本发明所述视觉对象的预处理方法为：获取视觉对象(M×N像素)高度、梯度和曲率信息，需要将视觉信息由RGB颜色模型转换成HSI颜色模型，其具体方法为：
Figure BDA0001777286480000121
Figure BDA0001777286480000122
Figure BDA0001777286480000123
其中H为色调，S为饱和度，I为亮度，
Figure BDA0001777286480000124
为划分不同主色调的弧度，计算为：
Figure BDA0001777286480000125
将获取的亮度信息I作为高度矩阵HEI，利用Sobel方法计算梯度矩阵P，其第(x,y)个元素表示为：
Figure BDA0001777286480000126
其中△x和△y分别为高度矩阵HEI对x和对y的偏导数，P(x,y)为梯度矩阵P的第x行、第y列的元素，HEI(x,y)为高度矩阵HEI的第x行、第y列的元素，1≤x≤M，1≤y≤N；
进一步分别计算与纹理属性相关的高度矩阵HT和与轮廓属性相关的梯度矩阵PC，其第(x,y)个元素分别表示为：
HT(x,y)＝HEI(x,y)⊙SM(x,y)
PC(x,y)＝P(x,y)-P(x,y)⊙SM(x,y)
其中：
Figure BDA0001777286480000127
其中HT(x,y)为纹理高度矩阵HT的第x行、第y列的元素，PC(x,y)为轮廓梯度矩阵PC的第x行、第y列的元素，SM(x,y)划分轮廓和纹理梯度的矩阵SM的第z行、第y列的元素，符号⊙为Schur运算，p为划分轮廓属性与纹理属性的经验梯度值；
基于纹理高度矩阵HT，利用曲率卷积核获得与纹理和粗糙度属性相关的曲率矩阵C，其第(x,y)个元素可计算为：
Figure BDA0001777286480000131
其中C(x,y)为纹理曲率矩阵C的第x行、第y列的元素，E、Q和Z为高度矩阵第(x,y)个元素HT(x,y)的一阶卷积核系数，L、W和K为纹理高度矩阵HT第(x,y)个元素HT(x,y)的二阶卷积核系数。
本发明所述的轮廓属性的触觉再现方法包括以下步骤：
(1)确定驱动电压与触觉反馈力的定量关系
基于静电力触觉反馈，利用力测量平台确定静电力驱动电压VE与切向静电摩擦力之fx间的定量关系：
fx＝k1VE 2
其中k1为比例系数；
比例系数k1的测量方法：基于如图6所示的力测量平台，邀请12名实验者(5男7女，平均年龄为25岁)进行静电摩擦力测量实验，所有实验者均熟悉实验设备并应用右手进行实验，采用如图7所示的方式加载静电力触觉驱动信号，信号频率选择为人体敏感频率120Hz，信号幅度从0V增加到400V，变化间隔为40V。为避免实验者手指移动速度和压力差异性对测量结果的影响，应用图6中的步进电机控制手指运动速度，利用手指固定装置控制手指压力，实验过程中，在每一个驱动信号幅度下，所有实验者在触摸屏上滑动右手并感知静电力触觉反馈，应用图6中的压力传感器测量手指受到的切向摩擦力，上述实验过程重复5次，将5次记录结果的平均值作为计算比例系数的有效数据，采用平方拟合法对实验数据进行处理，在相关系数为0.9375时，获得如下式所示的拟合结果，可知比例系数k1为4×10-6；
fx＝k1VE 2＝4×10-6VE 2
基于空气压膜触觉反馈，利用力测量平台确定空气压膜驱动电压VA与切向压膜摩擦力fy之间的定量关系：
Figure BDA0001777286480000132
其中k2为比例系数；
比例系数k2的测量方法：实验设计方法与测量比例系数k1的方法相同，不同之处在于触觉反馈方式为空气压膜，信号幅度从0V增加到100V，变化间隔为10V，信号频率为压电陶瓷片谐振频率。实验过程与测量比例系数k1的实验过程相同，重复5次实验可获得不同信号幅度下触觉摩擦力的平均值，采用平方拟合法对实验数据进行处理，在相关系数为0.9430时，获得如下式所示的拟合结果，可知比例系数k2为3×10-5；
Figure BDA0001777286480000141
基于机械振动触觉反馈，利用力测量平台确定机械振动驱动电压VV与法向振动反馈力fz之间的定量关系：
Figure BDA0001777286480000142
其中k3为比例系数；
比例系数k3的测量方法：基于如图6所示的力测量平台，机械振动触觉驱动信号频率选择为人体敏感频率220Hz，信号幅度从0V增加到160V，变化间隔为10V。实验过程中不邀请任何实验者，将融合装置的3M屏固定在图6的压力传感器上，对于每一个振动驱动信号幅度，压力传感器可直接测量由机械振动产生的法向触觉反馈力，采用平方拟合法对实验数据进行处理，在相关系数为0.9745时，获得如下式所示的拟合结果，可知比例系数k3为3.7×10-5；
Figure BDA0001777286480000143
(2)建立轮廓梯度信息与静电力、空气压膜触觉反馈的驱动信号幅度参量之间的映射模型
对轮廓梯度矩阵PC进行归一化处理，得到归一化的轮廓梯度矩阵PN，其第(x,y)个元素可计算为：
Figure BDA0001777286480000144
其中PN(x,y)为归一化梯度矩阵PN中第x行、第y列的元素，PC(x,y)为轮廓梯度矩阵PC中第x行、第y列的元素，pxmin为轮廓梯度矩阵PC中元素的最小值，pxmax为轮廓梯度矩阵中PC元素的最大值，1≤x≤M，1≤y≤N；
根据归一化梯度矩阵PN求得切向力矩阵Fx，其第(x,y)个元素计算为：
Fx(x,y)＝(fo-fa)+PN(x,y)(fe+fa)
其中Fx(x,y)为切向力矩阵Fx中第x行、第y列的元素，fo为不施加任何触觉反馈时手指划过装置屏幕所受到的切向力，fe为静电力触觉所能增加的最大切向力，fa为空气压膜触觉所能减小的最大切向力；
将切向力矩阵Fx分解为静电力矩阵FxE和空气压膜力矩阵FxA，其第(x,y)个元素分别计算为：
Figure BDA0001777286480000151
Figure BDA0001777286480000152
其中FxE(x,y)为静电力矩阵FxE中第x行、第y列的元素，FxA(x,y)为空气压膜力矩阵FxA中第x行、第y列的元素；
根据步骤(1)中得到的静电力驱动电压与切向摩擦力的定量关系，建立轮廓梯度较大部分相对应的静电力矩阵FxE与静电力驱动信号幅度矩阵AmpE1之间的映射模型，其第(x,y)个元素计算为：
Figure BDA0001777286480000153
其中AmpE1(x,y)为静电力信号幅度矩阵AmpE1中第x行、第y列的元素；
同理，根据步骤(1)中得到的空气压膜驱动电压与切向摩擦力的定量关系，可建立与轮廓梯度较小部分相对应的空气压膜力矩阵FxA与空气压膜驱动信号幅度矩阵AmpA之间的映射模型，其第(x,y)个元素可计算为：
Figure BDA0001777286480000154
其中AmpA(x,y)为空气压膜信号幅度矩阵AmpA中第x行、第y列的元素；
(3)建立轮廓梯度信息与机械振动触觉反馈驱动信号幅度间的映射模型
如图8所示，当手指触摸到图像的某一点D(x,y)时，手指在该点受到虚拟物体的支持力为Fn、摩擦力为Ff，这两个力的合力为F′，合力F′与水平面夹角θ(x,y)计算方法为：
θ(x,y)＝90-α(x,y)-arctanμ
其中α(x,y)的计算方式为：
Figure BDA0001777286480000161
上述θ(x,y)为夹角矩阵θ中第x行、第y列的元素，μ为虚拟物体表面摩擦系数；
将切向力矩阵Fx中的元素与夹角矩阵θ中对应位置元素的正切值相乘，得到法向力矩阵Fy中的元素，其第(x,y)个元素可计算为：
Fy(x,y)＝Fx(x,y)tanθ(x,y)
其中Fy(x,y)为法向力分量矩阵Fy中第x行、第y列的元素。
根据步骤(1)中得到的机械振动电压与法向反馈力的定量关系，建立与法向轮廓梯度信息相对应的机械振动力矩阵Fy与机械振动驱动信号幅度矩阵之AmpV1间的映射模型，其第(x,y)个元素可计算为：
Figure BDA0001777286480000162
其中AmpV1(x,y)为振动信号幅度矩阵AmpV1中第x行、第y列的元素。
本发明所述的纹理属性和粗糙度属性的触觉再现方法包括以下步骤：
(1)建立触觉感知强度与驱动信号幅度和频率参量的感知模型
基于静电力和空气压膜触觉反馈，建立感知切向摩擦力强度与驱动信号幅度之间的感知模型为：
YE＝k4VE+a
YA＝k5VA+b
其中YE和YA分别为静电力和空气压膜触觉反馈切向摩擦力感知强度，VE和VA分别为静电力和空气压膜触觉反馈的驱动电压幅度，k4、k5、a和b均为常数；
常数k4、k5、a和b的测量方法：在所发明的融合装置中，静电力触觉反馈产生的最大切向摩擦力约为空气压膜触觉反馈产生的最大切向摩擦力的3倍，因此，当将感知摩擦力强度划分为100个等级时，空气压膜触觉感知强度为0到25分，静电触觉感知强度为25到100分。空气压膜触觉驱动信号选择为正弦波，频率为压电陶瓷谐振频率，幅度从53.5V(感知绝对阈值)变化到100V，变化间隔为5V。静电力触觉驱动信号选择为正弦波，频率为人体敏感频率120Hz，幅度从35.5V(感知绝对阈值)变化到400V，变化间隔为40V。邀请12名实验者(5男7女，平均年龄25岁)进行感知实验，对于每一种驱动信号幅度，所有实验室应用标记的手指在触摸屏上活动并感知触觉摩擦力，依据感知的摩擦力给出相应的主观感知强度分数。依据感知强度打分结果与驱动电压关系，应用线性拟合对实验数据进行处理，可获得相关系数高于0.9的拟合结果为
YE＝k4VE+a＝0.21VE+18.18
YA＝k5VA+b＝-0.51VA+50.87
基于静电力触觉反馈，建立感知切向摩擦力强度YF与驱动信号频率FE之间的感知模型为：
YF＝k6FE+c
其中k6和c均为常数；
常数k6和c的测量方法：将不同静电力驱动信号频率下的感知摩擦力强度划分为100个等级，驱动信号选择为正弦波，幅度为200V，频率从100Hz变化到1000Hz，变化间隔为100Hz。邀请12名实验者(5男7女，平均年龄25岁)进行感知实验，对于每一种驱动信号频率，所有实验室应用标记的手指在触摸屏上活动并感知触觉摩擦力，依据感知的摩擦力给出相应的主观感知强度分数。依据感知强度打分结果与驱动频率关系，应用线性拟合对实验数据进行处理，可获得相关系数高于0.9的拟合结果为：
YF＝k6FE+c＝-0.1FE+112.15
基于机械振动触觉反馈，建立法向感知强度YV与驱动信号幅度VV之间的感知模型为：
YV＝k7VV+d
其中k7和d均为常数；
常数k7和d的测量方法：将不同机械振动驱动信号幅度下的感知强度划分为100个等级，驱动信号选择为正弦波，频率为人体敏感频率220Hz，幅度从31V(感知绝对阈值)变化到148V，变化间隔为13V；邀请12名实验者(5男7女，平均年龄25岁)进行感知实验，对于每一种机械振动驱动信号幅度，所有实验室应用标记的手指在触摸屏上活动并感知法向反馈力变化，依据感知的法向反馈力大小给出相应的主观感知强度分数，依据感知强度打分结果与驱动信号幅度关系，应用线性拟合对实验数据进行处理，可获得相关系数高于0.9的拟合结果为：
YV＝k7VV+d＝0.88VV-26.15
(2)建立纹理曲率信息、高度信息与静电力、机械振动触觉反馈驱动信号幅度之间的映射模型
对曲率矩阵C进行归一化处理，获得归一化曲率矩阵CN，其第(x,y)个元素计算为：
Figure BDA0001777286480000181
其中CN(x,y)为归一化曲率矩阵CN中第x行、第y列的元素，C(x,y)为曲率矩阵C中第x行、第y列的元素，cxmin为曲率矩阵C中元素的最小值，cxmax为曲率矩阵C中元素的最大值，1≤x≤M，1≤y≤N；
根据步骤(1)中得到的静电切向摩擦力感知强度与驱动信号电压幅度的感知模型，建立归一化曲率矩阵CN与静电力驱动信号幅度AmpE2之间的映射模型，其第(x,y)个元素可计算为：
AmpE2(x,y)＝k4VEmax(1-CN(x,y))
其中AmpE2(x,y)为静电力信号幅度矩阵AmpE2中第x行、第y列的元素，VEmax为静电力触觉反馈所能提供的最大驱动电压；
对纹理高度矩阵HT进行归一化处理，获得归一化高度矩阵HN，其第(x,y)个元素计算为：
Figure BDA0001777286480000182
其中HN(x,y)为归一化的高度矩阵HN中第x行、第y列的元素，HT(x,y)为高度矩阵HT中第x行、第y列的元素，hxmin为高度矩阵HT中元素的最小值，hxmax为高度矩阵HT中元素的最大值；
根据步骤(1)中得到的机械振动法向力感知强度与驱动信号电压幅度的感知模型，建立归一化高度矩阵与HN机械振动驱动信号幅度AmpV2之间的映射模型，其第(x,y)个元素可计算为：
AmpV2(x,y)＝k6VVmaxHN(x,y)
其中AmpV2(x,y)为机械振动信号幅度矩阵AmpV2中第x行、第y列的元素，VVmax为振动触觉反馈所能提供的最大驱动电压；
(3)建立粗糙度曲率信息与静电力触觉反馈驱动信号频率之间的映射模型
根据步骤(1)中得到的静电切向摩擦力感知强度与驱动信号电压频率的感知模型，建立归一化曲率矩阵CN与静电力驱动信号频率FEC之间的映射模型，其第(x,y)个元素可计算为：
FEC(x,y)＝k7fEmaxCN(x,y)
其中FEC(x,y)为静电力驱动信号频率矩阵FEC的第x行、第y列的元素，fEmax为静电力触觉反馈所提供的最高频率。
下面通过实验例进一步分析本发明所提出的视觉对象轮廓、纹理、粗糙度同时触觉再现方法的性能。
实验设备为所发明的融合静电力、空气压膜和机械振动的触觉再现装置。实验过程中，本发明所提出的的方法简称为EUMV方法，现有的融合静电力和机械振动的触觉再现方法简称为EMV方法，现有的融合静电力和空气压膜的触觉再现方法简称为EUV方法，其中EMV方法和EUV方法作为评估本发明所提出的EUMV方法触觉感知真实感提升效果的对比方法。
主观评测实验：实验界面如图9所示，所发明的融合装置的触觉交互界面划分为两个区域，分别为选择区域和感知区域。在图像选择区域，四幅来自于STEX纹理库的图片被依次标记为图像1、图像2、图像3和图像4；在感知区域，EUMV方法、EMV方法和EUV方法可以随机被选择以实现相应图像的触觉再现。触觉感知真实感通过主观问卷形式进行，问卷中设置的问题为“你认为每种触觉再现方法的触觉真实感可以打多少分”。触觉感知真实感程度采用里格特量表进行划分，共分为10个等级，10分为感知真实感最强，1分为感知真实感最弱。实验共邀请20名(9男11女，平均年龄为26岁)实验者参与实验，所有实验者均通过一个预实验熟悉实验设备和实验任务，并了解不同触觉再现方法触觉感知真实感的差异性。
实验过程分为四个阶段进行，分别实现对4幅图像触觉感知真实感的主观评估。以第一阶段为例，图像1出现在感知区域，EUMV方法、EMV方法和EUV方法分别加载至该图像实现相应的触觉感知，所有实验者用标记的手指触摸感知区域，并对每种触觉再现方法的触觉再现真实感进行打分。每种触觉再现方法随机出现5次，三种触觉在线方法共出现15次，则每个实验者需进行主观打分15次。类似第一阶段的实验过程，依次进行阶段二、阶段三和阶段四，可分别实现对图像2、图像3和图像4的触觉感知真实感的主观评测。
依据记录的主观评测结果，计算三种触觉再现方法对4幅图像感知真实感打分的均值和标准差，如表1所示。
表1三种触觉再现方法对4幅图像感知真实感打分的均值和标准差表
Figure BDA0001777286480000201
可以看出，本发明所提出的EUMV方法对4幅图像触觉感知真实感打分的平均值均高于EMV方法和EUV方法，即所提方法的触觉感知真实感更高；在标准差方面，所提EUMV方法对图像3和图像4主观评分的标准差明显小于其他两种方法，即表明相应的实验数据更加稳定。
应用SPSS软件，采用方差分析法(ANOVA)对实验数据进行统计显著性分析，结果如表2所示。
表2采用方差分析法(ANOVA)对实验数据进行统计显著性分析表
Figure BDA0001777286480000202
可以看出，相应的显著性因子p均小于0.05，即与EMV方法和EUV方法相比，本发明所提出的EUMV方法对4幅图像的触觉感知真实性均有显著性提升。

Claims (8)

1.一种融合静电力、空气压膜和机械振动的触觉再现方法，其特征在于包括：同时实现视觉对象的轮廓属性、纹理属性以及粗糙度属性的触觉再现，其中：
轮廓属性通过建立轮廓梯度信息与静电力、空气压膜以及机械振动三种触觉反馈的驱动信号幅度参量之间的映射模型实现触觉再现；
纹理属性通过建立纹理曲率信息与静电力触觉反馈驱动信号幅度、纹理高度信息与机械振动触觉反馈驱动信号幅度之间的映射模型实现触觉再现；
粗糙度属性通过建立纹理曲率信息与静电力触觉反馈的驱动信号频率参量之间的映射模型实现触觉再现。
2.根据权利要求1所述的一种融合静电力、空气压膜和机械振动的触觉再现方法，其特征在于：所述视觉对象的预处理方法为：获取M×N像素的视觉对象高度、梯度和曲率信息，需要将视觉信息由RGB颜色模型转换成HSI颜色模型，其具体方法为：
Figure FDA0002840234330000011
Figure FDA0002840234330000012
Figure FDA0002840234330000013
其中H为色调，S为饱和度，I为亮度，
Figure FDA0002840234330000014
为划分不同主色调的弧度，计算为：
Figure FDA0002840234330000015
将获取的亮度信息I作为高度矩阵HEI，利用Sobel方法计算梯度矩阵P，其第(x,y)个元素表示为：
Figure FDA0002840234330000016
其中△x和△y分别为高度矩阵HEI对x和对y的偏导数，P(x,y)为梯度矩阵P的第x行、第y列的元素，HEI(x,y)为高度矩阵HEI的第x行、第y列的元素，1≤x≤M，1≤y≤N；
进一步分别计算与纹理属性相关的高度矩阵HT和与轮廓属性相关的梯度矩阵PC，其第(x,y)个元素分别表示为：
HT(x,y)＝HEI(x,y)⊙SM(x,y)
PC(x,y)＝P(x,y)-P(x,y)⊙SM(x,y)
其中：
Figure FDA0002840234330000021
其中HT(x,y)为纹理高度矩阵HT的第x行、第y列的元素，PC(x,y)为轮廓梯度矩阵PC的第x行、第y列的元素，SM(x,y)划分轮廓和纹理梯度的矩阵SM的第z行、第y列的元素，符号⊙为Schur运算，p为划分轮廓属性与纹理属性的经验梯度值；
基于纹理高度矩阵HT，利用曲率卷积核获得与纹理和粗糙度属性相关的曲率矩阵C，其第(x,y)个元素可计算为：
Figure FDA0002840234330000022
其中C(x,y)为纹理曲率矩阵C的第x行、第y列的元素，E、Q和Z为高度矩阵第(x,y)个元素HT(x,y)的一阶卷积核系数，L、W和K为纹理高度矩阵HT第(x,y)个元素HT(x,y)的二阶卷积核系数。
3.根据权利要求2所述的一种融合静电力、空气压膜和机械振动的触觉再现方法，其特征在于：所述的轮廓属性的触觉再现方法包括以下步骤：
(1)确定驱动电压与触觉反馈力的定量关系
基于静电力触觉反馈，利用力测量平台确定静电力驱动电压VE与切向静电摩擦力之fx间的定量关系：
fx＝k1VE 2
其中k1为比例系数；
基于空气压膜触觉反馈，利用力测量平台确定空气压膜驱动电压VA与切向压膜摩擦力fy之间的定量关系：
Figure FDA0002840234330000023
其中k2为比例系数；
基于机械振动触觉反馈，利用力测量平台确定机械振动驱动电压VV与法向振动反馈力fz之间的定量关系：
Figure FDA0002840234330000024
其中k3为比例系数；
(2)建立轮廓梯度信息与静电力、空气压膜触觉反馈的驱动信号幅度参量之间的映射模型
对轮廓梯度矩阵PC进行归一化处理，得到归一化的轮廓梯度矩阵PN，其第(x,y)个元素可计算为：
Figure FDA0002840234330000031
其中PN(x,y)为归一化梯度矩阵PN中第x行、第y列的元素，PC(x,y)为轮廓梯度矩阵PC中第x行、第y列的元素，pxmin为轮廓梯度矩阵PC中元素的最小值，pxmax为轮廓梯度矩阵中PC元素的最大值，1≤x≤M，1≤y≤N；
根据归一化梯度矩阵PN求得切向力矩阵Fx，其第(x,y)个元素计算为：
Fx(x,y)＝(fo-fa)+PN(x,y)(fe+fa)
其中Fx(x,y)为切向力矩阵Fx中第x行、第y列的元素，fo为不施加任何触觉反馈时手指划过装置屏幕所受到的切向力，fe为静电力触觉所能增加的最大切向力，fa为空气压膜触觉所能减小的最大切向力；
将切向力矩阵Fx分解为静电力矩阵FxE和空气压膜力矩阵FxA，其第(x,y)个元素分别计算为：
Figure FDA0002840234330000032
Figure FDA0002840234330000033
其中FxE(x,y)为静电力矩阵FxE中第x行、第y列的元素，FxA(x,y)为空气压膜力矩阵FxA中第x行、第y列的元素；
根据步骤(1)中得到的静电力驱动电压与切向摩擦力的定量关系，建立轮廓梯度较大部分相对应的静电力矩阵FxE与静电力驱动信号幅度矩阵AmpE1之间的映射模型，其第(x,y)个元素计算为：
Figure FDA0002840234330000034
其中AmpE1(x,y)为静电力信号幅度矩阵AmpE1中第x行、第y列的元素；
同理，根据步骤(1)中得到的空气压膜驱动电压与切向摩擦力的定量关系，可建立与轮廓梯度较小部分相对应的空气压膜力矩阵FxA与空气压膜驱动信号幅度矩阵AmpA之间的映射模型，其第(x,y)个元素可计算为：
Figure FDA0002840234330000041
其中AmpA(x,y)为空气压膜信号幅度矩阵AmpA中第x行、第y列的元素；
(3)建立轮廓梯度信息与机械振动触觉反馈驱动信号幅度间的映射模型
当手指触摸到图像的某一点D(x,y)时，手指在该点受到虚拟物体的支持力为Fn、摩擦力为Ff，这两个力的合力为F′，合力F′与水平面夹角θ(x,y)计算方法为：
θ(x,y)＝90°-α(x,y)-arctanμ
其中α(x,y)的计算方式为：
Figure FDA0002840234330000042
上述θ(x,y)为夹角矩阵θ中第x行、第y列的元素，μ为虚拟物体表面摩擦系数；
将切向力矩阵Fx中的元素与夹角矩阵θ中对应位置元素的正切值相乘，得到法向力矩阵Fy中的元素，其第(x,y)个元素可计算为：
Fy(x,y)＝Fx(x,y)tanθ(x,y)
其中Fy(x,y)为法向力分量矩阵Fy中第x行、第y列的元素；
根据步骤(1)中得到的机械振动电压与法向反馈力的定量关系，建立与法向轮廓梯度信息相对应的机械振动力矩阵Fy与机械振动驱动信号幅度矩阵之AmpV1间的映射模型，其第(x,y)个元素可计算为：
Figure FDA0002840234330000043
其中AmpV1(x,y)为振动信号幅度矩阵AmpV1中第x行、第y列的元素。
4.根据权利要求2所述的一种融合静电力、空气压膜和机械振动的触觉再现方法，其特征在于：所述的纹理属性和粗糙度属性的触觉再现方法包括以下步骤：
(1)建立触觉感知强度与驱动信号幅度和频率参量的感知模型
基于静电力和空气压膜触觉反馈，建立感知切向摩擦力强度与驱动信号幅度之间的感知模型为：
YE＝k4VE+a
YA＝k5VA+b
其中YE和YA分别为静电力和空气压膜触觉反馈切向摩擦力感知强度，VE和VA分别为静电力和空气压膜触觉反馈的驱动电压幅度，k4、k5、a和b均为常数；
基于静电力触觉反馈，建立感知切向摩擦力强度YF与驱动信号频率FE之间的感知模型为：
YF＝k6FE+c
其中k6和c均为常数；
基于机械振动触觉反馈，建立法向感知强度YV与驱动信号幅度VV之间的感知模型为：
YV＝k7VV+d
其中k7和d均为常数；
(2)建立纹理曲率信息、高度信息与静电力、机械振动触觉反馈驱动信号幅度之间的映射模型
对曲率矩阵C进行归一化处理，获得归一化曲率矩阵CN，其第(x,y)个元素计算为：
Figure FDA0002840234330000051
其中CN(x,y)为归一化曲率矩阵CN中第x行、第y列的元素，C(x,y)为曲率矩阵C中第x行、第y列的元素，cxmin为曲率矩阵C中元素的最小值，cxmax为曲率矩阵C中元素的最大值，1≤x≤M，1≤y≤N；
根据步骤(1)中得到的静电切向摩擦力感知强度与驱动信号电压幅度的感知模型，建立归一化曲率矩阵CN与静电力驱动信号幅度AmpE2之间的映射模型，其第(x,y)个元素可计算为：
AmpE2(x,y)＝k4VEmax(1-CN(x,y))
其中AmpE2(x,y)为静电力信号幅度矩阵AmpE2中第x行、第y列的元素，VEmax为静电力触觉反馈所能提供的最大驱动电压；
对纹理高度矩阵HT进行归一化处理，获得归一化高度矩阵HN，其第(x,y)个元素计算为：
Figure FDA0002840234330000052
其中HN(x,y)为归一化的高度矩阵HN中第x行、第y列的元素，HT(x,y)为高度矩阵HT中第x行、第y列的元素，hxmin为高度矩阵HT中元素的最小值，hxmax为高度矩阵HT中元素的最大值；
根据步骤(1)中得到的机械振动法向力感知强度与驱动信号电压幅度的感知模型，建立归一化高度矩阵与HN机械振动驱动信号幅度AmpV2之间的映射模型，其第(x,y)个元素可计算为：
AmpV2(x,y)＝k6VVmaxHN(x,y)
其中AmpV2(x,y)为机械振动信号幅度矩阵AmpV2中第x行、第y列的元素，VVmax为振动触觉反馈所能提供的最大驱动电压；
(3)建立粗糙度曲率信息与静电力触觉反馈驱动信号频率之间的映射模型
根据步骤(1)中得到的静电切向摩擦力感知强度与驱动信号电压频率的感知模型，建立归一化曲率矩阵CN与静电力驱动信号频率FEC之间的映射模型，其第(x,y)个元素可计算为：
FEC(x,y)＝k7fEmaxCN(x,y)
其中FEC(x,y)为静电力驱动信号频率矩阵FEC的第x行、第y列的元素，fEmax为静电力触觉反馈所提供的最高频率。
5.一种实现融合静电力、空气压膜和机械振动的触觉再现方法的装置，其特征在于包括：
(1)交互单元，包括单点电容屏、压电陶瓷与振动源，能实时地追踪手指的位置坐标并将该坐标发送给处理单元，接收驱动单元的驱动信号并呈现相应的触觉反馈；
(2)处理单元，包括多媒体终端，能呈现视觉信息，根据视觉信息进行预处理得到相应的触觉驱动信号参数，还能根据手指的位置坐标查找驱动信号参数并将该参数发送给驱动单元；
(3)驱动单元，包括驱动电路，可以根据接收的驱动信号参数产生相应的静电力、空气压膜与机械振动三种触觉反馈的驱动信号，可以实现单点电容屏的触觉反馈功能与手指定位功能的分时复用。
6.根据权利要求5所述的实现融合静电力、空气压膜和机械振动的触觉再现方法的装置，其特征在于：所述交互单元中单点电容屏结构为三层：底层是玻璃板，起支撑作用，能使屏幕的机械结构更加稳定；中层是透明的导电极板，喷镀在底层玻璃板上，能施加激励信号；顶层是绝缘膜，喷镀在中层导电极板上，起到绝缘作用。
7.根据权利要求5所述的实现融合静电力、空气压膜和机械振动的触觉再现方法的装置，其特征在于：所述的驱动单元包括：核心控制模块，能接收上位机的驱动信号参数并协调整个系统的工作；静电力驱动模块，能产生静电力触觉所需要的驱动信号；压电陶瓷驱动模块，能产生空气压膜触觉所需要的驱动信号；机械振动驱动模块，能产生机械振动触觉所需要的驱动信号；定位模块，能实现静电力触摸屏的触觉反馈功能与手指定位功能之间的分时复用。
8.根据权利要求5所述的实现融合静电力、空气压膜和机械振动的触觉再现方法的装置，其特征在于：所述多媒体终端在底层，单点电容屏的玻璃板侧与多媒体终端的屏幕粘贴，振动源对称粘贴在单点电容屏绝缘膜侧的一组对边上，压电陶瓷对称粘贴在单点电容屏绝缘膜侧的另一组对边上。
CN201810978283.5A 2018-08-24 2018-08-24 融合静电力、空气压膜和机械振动的触觉再现方法与装置 Active CN109101111B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810978283.5A CN109101111B (zh) 2018-08-24 2018-08-24 融合静电力、空气压膜和机械振动的触觉再现方法与装置
US16/644,874 US11334162B2 (en) 2018-08-24 2018-10-10 Tactile sensation providing device and method
PCT/CN2018/109627 WO2020037790A1 (zh) 2018-08-24 2018-10-10 触感提供方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810978283.5A CN109101111B (zh) 2018-08-24 2018-08-24 融合静电力、空气压膜和机械振动的触觉再现方法与装置

Publications (2)

Publication Number Publication Date
CN109101111A CN109101111A (zh) 2018-12-28
CN109101111B true CN109101111B (zh) 2021-01-29

Family

ID=64851071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810978283.5A Active CN109101111B (zh) 2018-08-24 2018-08-24 融合静电力、空气压膜和机械振动的触觉再现方法与装置

Country Status (3)

Country Link
US (1) US11334162B2 (zh)
CN (1) CN109101111B (zh)
WO (1) WO2020037790A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
ES2896875T3 (es) 2015-02-20 2022-02-28 Ultrahaptics Ip Ltd Percepciones en un sistema háptico
CA2976319C (en) 2015-02-20 2023-06-27 Ultrahaptics Ip Limited Algorithm improvements in a haptic system
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
JP7483610B2 (ja) 2017-12-22 2024-05-15 ウルトラハプティクス アイピー リミテッド 触覚システムにおける不要な応答の最小化
KR20210002703A (ko) 2018-05-02 2021-01-08 울트라햅틱스 아이피 엘티디 개선된 음향 전송 효율을 위한 차단 플레이트 구조체
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
CN109753156B (zh) * 2019-01-04 2022-03-25 Oppo（重庆）智能科技有限公司 触控显示组件及电子设备
US11550395B2 (en) * 2019-01-04 2023-01-10 Ultrahaptics Ip Ltd Mid-air haptic textures
CN109960411A (zh) * 2019-03-19 2019-07-02 上海俊明网络科技有限公司 一种辅助vr观测的可触摸式建筑素材数据库
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110221720A (zh) * 2019-04-29 2019-09-10 华为技术有限公司 一种触摸方法及电子设备
WO2021060019A1 (ja) * 2019-09-25 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法、サーバ装置、および、プログラム
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
WO2021074604A1 (en) 2019-10-13 2021-04-22 Ultraleap Limited Dynamic capping with virtual microphones
CN111124127B (zh) * 2019-12-25 2021-08-20 吉林大学 基于振动和压膜效应的数字按键触觉渲染方法及装置
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
CN111291677B (zh) * 2020-02-05 2022-09-09 吉林大学 一种动态视频触觉特征提取及渲染的方法
CN111258432B (zh) * 2020-02-07 2021-04-23 吉林大学 一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法
CN111338471B (zh) * 2020-02-11 2021-04-16 吉林大学 应用于融合静电力和空气压膜触觉再现装置的图像渲染方法
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
CN114415822B (zh) * 2020-10-28 2024-03-15 京东方科技集团股份有限公司 触觉反馈方法、触觉反馈装置以及计算机存储介质
CN113607045B (zh) * 2021-08-03 2023-04-14 中国计量大学 粗糙触感复现装置及方法和基于粗糙触感复现的网购方法
CN113536599B (zh) * 2021-08-15 2022-04-29 吉林大学 一种具有人体生物力学差异性特征的裸指力触觉信号生成方法
EP4379510A1 (en) * 2022-11-30 2024-06-05 LG Display Co., Ltd. Display apparatus
CN117074291B (zh) * 2023-10-17 2024-01-02 西南交通大学 一种非接触式纹理摩擦预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199554A (zh) * 2014-09-21 2014-12-10 吉林大学 一种应用于移动终端的静电力触觉再现方法和装置
CN107122056A (zh) * 2017-05-31 2017-09-01 吉林大学 一种基于挤压气膜效应的触觉再现装置与方法
CN107145225A (zh) * 2017-04-13 2017-09-08 浙江大学 一种面向移动终端的摩擦力触觉再现系统及再现方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030127105A1 (en) * 2002-01-05 2003-07-10 Fontana Richard Remo Complete compact
CN101819462B (zh) * 2010-03-12 2011-07-20 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9368046B2 (en) * 2010-07-14 2016-06-14 Macronix International Co., Ltd. Color tactile vision system
US8717151B2 (en) * 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US9592093B2 (en) * 2011-09-06 2017-03-14 University of Pittsburgh—of the Commonwealth System of Higher Education Tactile feedback system for robotic surgery
JP5908969B2 (ja) * 2012-02-27 2016-04-26 京セラ株式会社 入力装置、表示装置、および電子機器
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
US10303187B1 (en) * 2014-03-21 2019-05-28 Amazon Technologies, Inc. Dynamic inventory management user interface
CN104063054B (zh) * 2014-06-06 2017-02-15 南京航空航天大学 基于双向摩擦力控制的触觉再现装置及触觉再现方法
EP3172526A1 (en) * 2014-07-22 2017-05-31 SynTouch, LLC Method and applications for measurement of object tactile properties based on how they likely feel to humans
KR20170118864A (ko) * 2015-02-25 2017-10-25 임머숀 코퍼레이션 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들
CN107943290B (zh) * 2017-11-18 2020-08-21 吉林大学 融合静电力与振动的触觉再现方法与装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199554A (zh) * 2014-09-21 2014-12-10 吉林大学 一种应用于移动终端的静电力触觉再现方法和装置
CN107145225A (zh) * 2017-04-13 2017-09-08 浙江大学 一种面向移动终端的摩擦力触觉再现系统及再现方法
CN107122056A (zh) * 2017-05-31 2017-09-01 吉林大学 一种基于挤压气膜效应的触觉再现装置与方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Haptic interfaces and devices;Hayward V等;《Sensor Review》;20041231;16-29 *
多模态力触觉交互技术及应用;宋爱国等;《中国科学：信息科学》;20171231;1184-1197 *

Also Published As

Publication number Publication date
WO2020037790A1 (zh) 2020-02-27
CN109101111A (zh) 2018-12-28
US11334162B2 (en) 2022-05-17
US20210165491A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN109101111B (zh) 融合静电力、空气压膜和机械振动的触觉再现方法与装置
US10175761B2 (en) Haptic output device and method of generating a haptic effect in a haptic output device
CN107943290B (zh) 融合静电力与振动的触觉再现方法与装置
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
US8963888B2 (en) Apparatus comprising an optically transparent sheet and related methods
WO2015121971A1 (ja) 触感提供装置、及び、システム
CN109284005B (zh) 一种融合静电力和振动的可穿戴式触觉再现装置和方法
CN110032281B (zh) 基于融合静电力与振动触觉再现装置的3d凸起渲染方法
WO2015121970A1 (ja) 教育用触感提供装置、及び、システム
CN107831892B (zh) 一种基于指套式装置的虚拟物体三维形状再现方法
JP3929881B2 (ja) 皮膚感覚提示装置
Liu et al. Tri-modal tactile display and its application into tactile perception of visualized surfaces
CN109240485B (zh) 一种纹理触觉再现装置、显示装置与弧度再现装置
CN110764619B (zh) 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法
Tian et al. Image-based haptic display via a novel pen-shaped haptic device on touch screens
CN109144261B (zh) 一种基于平面交互的三维触觉再现装置与方法
CN108536280B (zh) 一种应用指垫的静电力和振动融合触觉再现装置及方法
CN111368251A (zh) 基于均方根误差的振动式触觉再现纹理渲染真实感的定量评估方法
Chen et al. Tactile rendering of fabric textures based on texture recognition
Kim et al. An empirical study of rendering sinusoidal textures on a ultrasonic variable-friction haptic surface
Vardar Tactile perception by electrovibration
Yan et al. Improving the tactile perception of image textures based on adjustable amplitude, frequency, and waveform
CN111338471B (zh) 应用于融合静电力和空气压膜触觉再现装置的图像渲染方法
Zhang et al. A review of enabling tactile rendering on multimedia terminals
Zophoniasson Static and dynamic haptic feedback using time reversal and electrovibration stimulations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant