CN104395866B - 触觉提示装置及触觉提示方法 - Google Patents

触觉提示装置及触觉提示方法 Download PDF

Info

Publication number
CN104395866B
CN104395866B CN201380033837.XA CN201380033837A CN104395866B CN 104395866 B CN104395866 B CN 104395866B CN 201380033837 A CN201380033837 A CN 201380033837A CN 104395866 B CN104395866 B CN 104395866B
Authority
CN
China
Prior art keywords
touch
transmission characteristic
panel
touch location
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380033837.XA
Other languages
English (en)
Other versions
CN104395866A (zh
Inventor
广濑良文
荒木昭
荒木昭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Electronic Systems Co ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104395866A publication Critical patent/CN104395866A/zh
Application granted granted Critical
Publication of CN104395866B publication Critical patent/CN104395866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

触觉提示装置(300)具备:触摸信息取得部(105),取得触摸信息,该触摸信息包含表示检测到多个触摸时的面板(101)的状态的信息和表示在多个触摸位置上与面板(101)接触的多个物体的至少1个特性的信息中的至少一方;以及驱动信号取得部(301),取得以下信号作为驱动信号,该信号是用于以在第1触摸位置上面板(101)按照触觉信号振动并且在第2触摸位置上面板(101)振动得比第1触摸位置小的方式驱动各致动器(102)的信号,并且是使用从各致动器(102)到第1触摸位置及第2触摸位置各自的、与触摸信息对应的面板(101)的传递特性而生成的信号。

Description

触觉提示装置及触觉提示方法
技术领域
本发明涉及一种针对用户在触摸面板上的操作进行触觉提示的触觉提示装置以及触觉提示方法。
背景技术
现已有具备触摸面板的公用终端(例如,ATM(Automated Teller Machine)或者自动售票机等)。并且,具备触摸面板的私用设备(例如,平板PC(Personal Computer)或者智能手机等)也在增多。
触摸面板是一种将针对面板进行的触摸处理检测为输入的输入装置。一般而言,触摸面板具备液晶显示器或者有机EL显示器等。在此情况下,触摸面板也被称为触摸显示器。例如,触摸面板检测用户针对显示区域中显示的GUI(Graphical User Interface)目标(例如键等)进行的触摸。
采用这种触摸面板的用户界面的优点在于GUI目标的配置灵活性高。但是,采用触摸面板的用户界面与历来的利用机械式按键的用户界面相比,按压按键时的感觉反馈小。因此存在着当用户触摸面板时难以识别出该触摸是否被正确检测的缺点。
因此,提出了在触摸面板上针对触摸进行触觉(haptics)提示的方法(参照专利文献1)。专利文献1公开了在能够检测出多点触摸的触摸面板(以下称之为“多点触摸面板”)上提示触觉的方法。
现有技术文献
专利文献
专利文献1:美国申请专利公开第2009/0250267号说明书
非专利文献
非专利文献1:“利用红外线方式触摸面板的接触面积的推入操作的基础研究”,内藤真树等,信息处理学会全国大会演讲论文集,第71回,平成21年(4),“4―173”―“4―174”
发明内容
发明要解决的问题
但是,在上述以往的技术中,有难以对多点触摸提示适当的触觉的情况。
所以,本发明提供一种能够对多点触摸提示适当的触觉的触觉提示装置。
用于解决问题的手段
有关本发明的一形态的触觉提示装置,通过使面板振动,向用户提示触觉,具备:面板;多个致动器,设置在所述面板的互不相同的位置,用于使所述面板振动;触摸位置取得部,通过检测具有同时与所述面板接触的状态的多个触摸,取得所述面板上的多个触摸位置;触摸信息取得部,取得触摸信息,所述触摸信息包含表示检测到所述多个触摸时的所述面板的状态的信息和表示在所述多个触摸位置上与所述面板接触的多个物体的至少1个特性的信息中的至少一方;触觉提示决定部,从所述多个触摸位置中,决定通过预先设定的触觉信号所表示的振动来提示触觉的第1触摸位置;以及驱动信号取得部,取得以下信号作为驱动信号,该信号是用于以在所述第1触摸位置上所述面板按照所述触觉信号振动、且在所述多个触摸位置所包含的第2触摸位置上所述面板振动得比所述第1触摸位置小的方式驱动各致动器的信号,并且是使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息对应的所述面板的传递特性而生成的信号;所述各致动器基于所述驱动信号使所述面板振动。
另外,这些总括性或具体的形态既可以通过系统、方法、集成电路、计算机程序或记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
发明效果
根据有关本发明的一形态的触觉提示装置,能够对多点触摸提示适当的触觉。
附图说明
图1是表示以往的触觉提示装置的结构的图。
图2是表示实施方式1的触觉提示装置的功能结构的框图。
图3是表示实施方式1的触觉提示装置的构造的一例的图。
图4是表示由载荷带来的传递特性的变化的图。
图5是表示振动从致动器向面板上的点传播的路径的图。
图6A是表示TSP信号的一例的图。
图6B是表示TSP响应的一例的图。
图6C是表示TSP信号的逆函数的一例的图。
图6D是表示根据TSP响应计算的脉冲响应的一例的图。
图7是表示实施方式1的传递特性存储部所存储的传递特性的一例的图。
图8A是表示向触觉信号存储部存储的触觉信号的一例的图。
图8B是表示向触觉信号存储部存储的触觉信号的一例的图。
图9是表示实施方式1的触觉提示装置的处理动作的流程图。
图10是用于说明实施方式1的触觉提示装置的处理动作的图。
图11是表示在实施方式1的面板上显示的图像的具体例的图。
图12是表示滤波器的一例的图。
图13是表示驱动信号的一例的图。
图14是表示实施方式1的各触摸位置的面板的振动的实验结果的图。
图15是表示比较例的各触摸位置的面板的振动的实验结果的图。
图16是表示实施方式1的变形例2的传递特性存储部所存储的传递特性的一例的图。
图17是表示实施方式2的触觉提示装置的功能结构的框图。
图18是表示通过插补而得到的传递特性的一例的图。
图19是表示通过每个频率的插补而得到的传递特性的图。
图20是表示实施方式2的触觉提示装置的处理动作的流程图。
图21是表示一实施方式的触觉提示装置的功能结构的框图。
图22是表示一实施方式的触觉提示装置的处理动作的流程图。
具体实施方式
在本说明书中,多点触摸意味着具有同时与面板接触的状态的多个触摸。换言之,多点触摸意味着,在某时刻与面板接触的多个触摸。即,多点触摸是针对面板上的多个位置的多个触摸,且是在时间上重复的多个触摸。因此,多点触摸不仅包括同时开始的多个触摸,还包括在不同的时刻开始并在某时刻被同时检测出的多个触摸。具体而言,第一触摸开始之后,若在第一触摸持续的状态下开始了第二触摸,那么在第二触摸的开始时刻,第一触摸和第二触摸相当于多点触摸。
(本发明的基础知识)
多点触摸面板上,多个用户能够同时进行操作。另外,多点触摸面板上,用户能够利用多个手指直观性地进行使对象目标扩大或者旋转等的操作。在这种多点触摸面板中,当考虑针对多点触摸的触觉反馈时,最好是针对各个触摸有区别地进行触觉提示。
通常而言,在只利用1个致动器在2个以上的触摸位置同时提示触觉的情况下,在各触摸位置上会同时提示出同种类的触觉。另外,只利用1个致动器,难以仅在2个以上的触摸位置中的某一个触摸位置上提示出触觉。
因此,专利文献1的触摸面板如图1所示,在柔软的表面层1001之下,分别独立地在上下方向上隆起/下陷的多个致动器1002被铺设成阵列状。通过使配置在触摸位置下方的多个致动器1002独立地隆起,可针对多点触摸有区别地进行触觉提示。
如上所述,根据专利文献1的方法,通过在表面层1001之下以阵列状铺设多个致动器1002,能够在多个触摸位置同时提示不同的触觉。但是,要想在表面层1001上的任意位置提示触觉,需要以人的手指的分辩率(10mm~20mm程度)以下的单位来配置致动器1002。因此,根据专利文献1的方法,需要非常多的致动器。
另外,为了能够直接对画面上显示的GUI目标(按键等)进行触摸,需要在致动器1002的下方配置液晶显示器等的显示装置。因此,致动器1002必须是透明的。但是,难以在触摸面板上安装这种透明的致动器。
所以,可以考虑通过将配置在面板的周缘部的多个致动器基于多个触摸位置及多个致动器间的面板的传递特性来进行控制,在多个触摸位置同时提示不同的触觉。例如,控制各致动器,以使得在想要提示触觉的位置上面板的振动为波腹、在不想提示触觉的位置上面板的振动为波节。
但是,在此情况下,由于用户在面板上触摸,所以触摸位置上被施加由触摸带来的载荷。于是,与触摸位置不被施加载荷的情况相比,从各致动器到各触摸位置的面板的振动的系统变化。即,通过触摸,面板的传递特性发生变化。如果不考虑该面板的传递特性的变化来控制各致动器,则难以对多点触摸提示适当的触觉。例如,即使基于不考虑由触摸带来的向面板的载荷的传递特性来控制致动器,也有在不想提示触觉的触摸位置上也提示触觉的情况。
所以,有关本发明的一形态的触觉提示装置,通过使面板振动,向用户提示触觉,具备:面板;多个致动器,设置在所述面板的互不相同的位置,用于使所述面板振动;触摸位置取得部,通过检测具有同时与所述面板接触的状态的多个触摸,取得所述面板上的多个触摸位置;触摸信息取得部,取得触摸信息,所述触摸信息包含表示检测到所述多个触摸时的所述面板的状态的信息和表示在所述多个触摸位置上与所述面板接触的多个物体的至少1个特性的信息中的至少一方;触觉提示决定部,从所述多个触摸位置中,决定通过预先设定的触觉信号所表示的振动来提示触觉的第1触摸位置;以及驱动信号取得部,取得以下信号作为驱动信号,该信号是用于以在所述第1触摸位置上所述面板按照所述触觉信号振动、且在所述多个触摸位置所包含的第2触摸位置上所述面板振动得比所述第1触摸位置小的方式驱动各致动器的信号,并且是使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息对应的所述面板的传递特性而生成的信号;所述各致动器基于所述驱动信号使所述面板振动。
根据该结构,能够取得使用与触摸信息对应的面板的传递特性而生成的信号作为驱动信号。因而,能够适应于由触摸带来的面板的传递特性的变化来使面板振动,能够对多点触摸提示适当的触觉。具体而言,能够在第1触摸位置上对面板赋予基于触觉信号的振动,在第2触摸位置上相比第1触摸位置抑制面板的振动。例如,能够将第2触摸位置上的面板的振动的振幅抑制为人通过触觉感知不到的程度的振幅(例如1μm以下)。在此情况下,能够在第1触摸位置上提示触觉,在第2触摸位置上几乎不提示触觉。
进而,根据该结构,用于驱动各致动器的驱动信号是使用传递特性而生成的信号。因而,即使第1触摸位置和致动器不接近,也能够在第1触摸位置上赋予振动,在第2触摸位置上不赋予振动。即,由于不需要将许多致动器铺设在面板的下方,所以针对多点触摸能够高效地提示触觉。进而,在显示装置设置在面板的下方的情况下也不需要安装透明的致动器,能够比较简单地制造触觉提示装置。
此外,例如也可以是,所述触摸信息取得部取得包含载荷信息的所述触摸信息,所述载荷信息表示在所述多个触摸位置上分别施加到所述面板上的载荷中的至少1个。
根据该结构,能够取得包含载荷信息的触摸信息,该载荷信息表示在多个触摸位置上分别施加到面板上的载荷中的至少1个。因而,能够使用如下驱动信号使面板振动,该驱动信号是利用与对面板的传递特性带来变化的载荷对应的面板的传递特性而生成的信号,并且能够提示更适当的触觉。
此外,例如也可以是,所述触摸信息取得部也可以取得包含接触面积信息的所述触摸信息,所述接触面积信息表示所述多个触摸位置上的所述面板与所述多个物体的接触面积中的至少1个。
根据该结构,能够取得包含接触面积信息的触摸信息,该接触面积信息表示多个触摸位置上的面板与多个物体的接触面积中的至少1个。因而,能够使用如下驱动信号使面板振动,该驱动信号是利用与对面板的传递特性带来变化的接触面积对应的面板的传递特性而生成的信号,并且能够提示更适当的触觉。
此外,例如也可以是,所述触摸信息取得部取得包含硬度信息的所述触摸信息,所述硬度信息表示在所述多个触摸位置上分别接触的多个物体中的至少1个的硬度。
根据该结构,能够取得包含硬度信息的触摸信息,该硬度信息表示在多个触摸位置上分别触摸的多个物体中的至少1个的硬度。因而,能够使用如下驱动信号使面板振动,该驱动信号是利用与对面板的传递特性带来变化的触摸物体的硬度对应的面板的传递特性而生成的信号,并且能够提示更适当的触觉。
此外,例如也可以是,所述触觉提示装置也可以还具备滤波器计算部,该滤波器计算部使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息对应的所述面板的传递特性,计算滤波器,该滤波器用于通过对任意的触觉信号进行滤波处理而生成用于以在所述第1触摸位置上所述面板按照所述任意的触觉信号振动、并且在所述第2触摸位置上所述面板不振动的方式驱动所述各致动器的驱动信号;所述驱动信号取得部使用所述滤波器对所述触觉信号进行滤波处理,由此取得所述驱动信号。
根据该结构,能够通过使用滤波器对触觉信号进行滤波处理来生成驱动信号。并且,该滤波器可对任意的触觉信号使用。即,在对多个触觉信号生成驱动信号的情况下,能够共同使用滤波器,能够减轻用于生成驱动信号的负荷。
此外,例如也可以是,所述滤波器计算部计算所述滤波器,以使从所述各致动器到所述第1触摸位置的与所述触摸信息对应的传递特性和所述滤波器在时域中的卷积运算结果之和表示脉冲,并且从所述各致动器到所述第2触摸位置的与所述触摸信息对应的传递特性和所述滤波器在时域中的卷积运算结果之和表示零。
根据该结构,能够在时域中计算滤波器。
此外,例如也可以是,所述滤波器计算部计算所述滤波器,以使从所述各致动器到所述第1触摸位置的与所述触摸信息对应的传递特性和所述滤波器在频域中的积的和表示脉冲,并且从所述各致动器到所述第2触摸位置的与所述触摸信息对应的传递特性和所述滤波器在频域中的积的和表示零。
根据该结构,能够在频域中计算滤波器。即,与在时域中计算滤波器的情况相比能够降低处理负荷。
此外,例如也可以是,所述滤波器计算部使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息中的有关所述第2触摸位置的信息对应的所述面板的传递特性计算所述滤波器。
根据该结构,能够使用与触摸信息中的有关第2触摸位置的信息对应的传递特性计算滤波器。因而,也可以不取得与有关第1触摸位置的信息及有关第2触摸位置的信息的组合对应的传递特性,所以能够削减预先存储的传递特性的数量。即,能够削减用于存储传递特性的存储容量。此外,相比使用与有关第1触摸位置的信息对应的传递特性的情况,能够抑制第2触摸位置上的面板的振动,能够提示更适当的触觉。
此外,例如也可以是,所述触觉提示装置还具备:传递特性取得部,取得对应于与所取得的所述触摸信息类似的多个触摸信息的多个传递特性;以及传递特性插补部,使用所取得的所述多个传递特性,对与所取得的所述触摸信息对应的传递特性进行插补;所述滤波器计算部使用插补后的所述传递特性计算所述滤波器。
根据该结构,能够使用对应于与所取得的触摸信息类似的多个触摸信息的多个传递特性,对与所取得的触摸信息对应的传递特性进行插补。因而,在不能取得与所取得的触摸信息对应的传递特性的情况下,能够通过插补来得到适合于所取得的触摸信息的传递特性。即,能够得到更正确的传递特性,所以能够提示更适当的触觉。此外,还能够削减预先存储的传递特性的数量,能够削减用于存储传递特性的存储容量。
此外,例如也可以是,所述传递特性插补部使用所取得的所述多个传递特性的线性结合,对与所取得的所述触摸信息对应的传递特性进行插补。
此外,例如也可以是,所述传递特性插补部使用所取得的所述多个传递特性的各频率下的振幅及相位、以及与所述触摸信息类似的多个触摸信息进行多项式近似,并使用通过所述多项式近似而得到的多项式,对与所取得的所述触摸信息对应的传递特性进行插补。
另外,这些总括性或具体的形态也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等的记录介质实现,也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下,参照附图对本发明的实施方式进行说明。
另外,以下说明的实施方式都表示总括性或具体的例子。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例,并不是限定发明范围的意思。此外,关于以下的实施方式的构成要素中的、表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。
(实施方式1)
“触觉提示装置的结构”
图2表示实施方式1的触觉提示装置100的功能结构。此外,图3表示实施方式1的触觉提示装置100的构造的一例。该触觉提示装置100通过使面板101振动而提示触觉。
如图2所示,触觉提示装置100具备面板101、多个致动器102、触摸位置取得部103、触觉提示决定部104、触摸信息取得部105、传递特性存储部106、传递特性取得部107、滤波器计算部108、触觉信号存储部109和滤波处理部110。以下,对触觉提示装置100具备的各构成要素进行说明。
<面板101>
面板101是传递用于提示触觉的振动的部件。具体而言,面板101例如是由玻璃或者丙烯树脂制成的具有透光性的板状部件。
另外,对面板101的形状、大小、厚度、硬度以及固定方法等,无需特作限定。但是,从致动器102至面板101上的各位置(以下也称之为“点”)的传递特性依赖于面板101的形状、大小、厚度、硬度以及固定方法等而变化。
另外,通过在面板101的下方设置液晶显示器或有机EL显示器等的显示装置120,能够实现基于GUI的接口。
<致动器102>
多个致动器102被设置在面板101上的互不相同的位置。例如,如图3所示,多个致动器102被贴在面板101的端部。即,多个致动器102被设置在面板101的图像显示区域外。
各致动器102按照驱动信号使面板101振动。通过这样,由各致动器102赋予面板101的振动传播到面板101上的触摸位置,从而向用户提示触觉。
在本实施方式中,致动器102的个数例如是触摸位置取得部103可同时检测出的触摸数以上的个数。由此,触觉提示装置100能够针对可检测出的多个触摸,提示互不相同的触觉。另外,致动器102的个数并非定要是可同时检测出的触摸数以上的个数。即,致动器102的个数也可以小于可同时检测出的触摸数。在此情况下,触觉提示装置100能够在多个触摸位置中的与致动器102的个数相等的触摸位置上进行触觉控制。
致动器102例如也可以是压电元件(piezo元件)。或者,致动器102还可以是音圈。另外,致动器102可以包含用于放大驱动信号的放大器。在此,对于致动器102的种类无需特作限定。
对致动器102的配置间隔,无需特作限定。例如,将多个致动器102配置成能够使面板101有效率地进行振动即可。
<触摸位置取得部103>
触摸位置取得部103通过检测具有与面板101同时接触的状态的多个触摸(MultiTouch,多点触摸),从而取得面板101上的多个触摸位置。即,触摸位置取得部103通过检测用户对面板101进行的多点触摸,取得面板101上面的多个触摸位置。例如,触摸位置取得部103取得多个触摸位置的坐标。
触摸位置取得部103例如由静电电容方式或者压敏方式的多点触摸面板构成。例如,在触摸位置取得部103由静电电容方式的多点触摸面板构成的情况下,触摸位置取得部103根据多点触摸所致的静电电容的变化,取得多个触摸位置。再例如,在触摸位置取得部103由压敏方式的多点触摸面板构成的情况下,触摸位置取得部103根据多点触摸所致的压力变化,取得多个触摸位置。
另外,多点触摸面板并非定要限定于静电电容方式或者压敏方式的多点触摸面板。即,只要能检测出多点触摸,多点触摸面板可以是任何方式的多点触摸面板。
另外,在触摸位置取得部103由多点触摸面板构成的情况下,可使面板101和构成触摸位置取得部103的多点触摸面板形成为一体。例如,可通过在面板101上粘贴静电电容方式的多点触摸面板,使触摸位置取得部103和面板101形成为1个部件。
另外,如图3所示,在面板101或者触摸位置取得部103的下方可设置液晶显示器或者有机EL显示器等的显示装置120。由此,触觉提示装置100可发挥作为触摸显示器的功能。在此,并非是定要设置显示装置120。
另外,面板101上的多个触摸位置不仅包括用户与面板101直接接触的位置,而且也可以包括由用户操作的笔等与面板101接触的位置。
<触觉提示决定部104>
触觉提示决定部104从多个触摸位置中,决定通过预先设定的触觉信号所表示的振动提示触觉的第1触摸位置(以后,也称作“提示位置”)。进而,触觉提示决定部104决定不通过触觉信号所表示的振动来提示触觉的至少1个第2触摸位置(以后,也称作“非提示位置”)。
具体而言,触觉提示决定部104例如基于GUI目标的显示位置、触摸位置上的载荷或多个触摸位置之间的时间或空间上的关系,从多个触摸位置中决定1个提示位置。此外,触觉提示决定部104将多个触摸位置中的提示位置以外的触摸位置决定为非提示位置。另外,提示位置的决定方法不需要被特别限定。
<触摸信息取得部105>
触摸信息取得部105取得触摸信息。触摸信息包括表示检测到多个触摸时的面板101的状态的信息和表示多个触摸物体的至少1个特性的信息中的至少一方。所谓触摸物体,是在多个触摸位置上与面板101接触的物体。具体而言,触摸物体例如是用户的手指或触控笔等。
所谓面板101的状态,例如表示通过触摸施加到面板101上的载荷、面板101与触摸物体的接触面积、面板101的温度或面板101的姿势等。此外,所谓触摸物体的特性,例如表示触摸物体的硬度、形状、大小或振动特性等。面板101的传递特性根据这些面板101的状态及触摸物体的特性而变化。
例如,触摸信息取得部105也可以取得包含表示在多个触摸位置上分别施加到面板101上的载荷中的至少1个的载荷信息的触摸信息。此外,例如触摸信息取得部105也可以取得包含表示多个触摸位置上的面板101与多个触摸物体的接触面积中的至少1个的接触面积信息的触摸信息。此外,例如触摸信息取得部105也可以取得包含表示在多个触摸位置上分别接触的多个物体中的至少1个的硬度的硬度信息的触摸信息。
即,触摸信息也可以包含载荷信息、接触面积信息及硬度信息中的至少1个。即,触摸信息也可以包含载荷信息、接触面积信息及硬度信息的1个或任意的组合。
在此,对触摸信息取得部105取得包含载荷信息的触摸信息的情况下的触摸信息取得部105的具体结构的一例进行说明。触摸信息取得部105例如如图3所示,使用配置在面板101的下面的四角处的各载荷传感器121的输出值推测各触摸位置的载荷。以下,对使用载荷传感器121推测各触摸位置的载荷的方法进行说明。
首先,对触摸位置为1点的情况进行说明。各载荷传感器的输出值Sj根据施加到触摸位置Pi及Pi上的载荷Wi而变动。此时,关于各载荷传感器的输出值Sj,通过将由触摸位置Pi带来的影响用线性回归直线近似,可得到式1的关系。
[数式1]
在式1中,px i及py i分别表示触摸位置Pi的x坐标及y坐标,Aj=[aj1aj2aj3]表示回归系数。
由此,在触摸位置是1点的情况下,使用载荷传感器的输出值Sj、触摸位置Pi及系数Aj如式2所示那样推测触摸位置Pi上的载荷Wi
[数式2]
接着,对触摸位置为2点以上的情况进行说明。在将触摸位置Pi上的载荷对载荷传感器的输出值Sj带来的影响表示为系数Cji的情况下,系数Cji可以如式3那样表示。
[数式3]
各载荷传感器的输出值Sj由于能够表现为由多个触摸位置Pi的载荷带来的影响之和,所以可以如式4那样表示。
[数式4]
此时,如果设系数矩阵C的广义逆矩阵为C*,则各触摸位置Pi上的载荷Wi可以通过式5计算。
[数式5]
另外,在式5中,当M≥N时可以计算载荷Wi
通过以上的方法,触摸信息取得部105能够使用设置在面板101的周缘部的载荷传感器121推测各触摸位置的载荷。
在取得表示触摸位置上的触摸的接触面积的接触面积信息作为触摸信息的情况下,触摸信息取得部105例如使用红外线方式的触摸面板取得各触摸位置上的接触面积。在红外线方式的触摸面板中,可以推测触摸位置上的接触面积和触摸时的推入力(参照非专利文献1)。
另外,触摸信息取得部105也可以根据像这样使用红外线方式的触摸面板得到的各触摸位置上的接触面积及推入力来推测各触摸位置上的载荷。
在取得表示触摸物体的硬度的硬度信息作为触摸信息的情况下,触摸信息取得部105例如使用触摸物体触摸了面板101时的面板101的振动频率来推测触摸物体的硬度。一般而言,有由触摸的冲击带来的面板101的振动频率越高则触摸物体越硬的趋势。
在此,触摸物体的硬度例如使用表示与用户的手指的指肚部分(即有指纹的部分)相比硬多少的值来表示。具体而言,触摸的硬度例如通过用触摸物体触摸了面板101时的振动频率相对于用手指的指肚部分触摸了面板101时的振动频率(预先测量出的振动频率)的比来表示。在此情况下,当触摸物体是比手指的指肚部分硬的物体(例如触控笔)时,表示触摸物体的硬度的值比“1”大。另一方面,在触摸物体是比手指的指肚部分软的物体的情况下,表示触摸物体的硬度的值比“1”小。
另外,除了载荷信息、接触面积信息或硬度信息以外,触摸信息取得部105也可以取得包含表示面板101的温度的温度信息或表示面板101的姿势的姿势信息的触摸信息。面板101的姿势例如用面板101相对于基准面(例如水平面)的倾斜来表示。即,触摸信息也可以包含温度信息或姿势信息。
如果面板101的温度不同,则面板101的振动特性也不同。即,面板101的振动特性根据面板101的温度而变化。此外,面板101相对于水平面平行的情况下的面板101的振动特性与面板101相对于水平面垂直的情况下的振动特性不同。即,面板101的振动特性根据面板101的姿势而变化。
在触摸信息包含温度信息的情况下,触摸信息取得部105只要从设置在面板101的下面的温度传感器等取得面板101的温度信息就可以。此外,在触摸信息包含姿势信息的情况下,触摸信息取得部105只要从设置在面板101的下面的陀螺仪传感器等取得面板101的姿势信息就可以。
<传递特性存储部106>
传递特性存储部106例如是硬盘或半导体存储器。传递特性存储部106对于面板101上的各点,按每个触摸信息存储有从各致动器102到该点的传递特性。即,传递特性存储部106存储有与面板101上的多个位置、多个致动器102及触摸信息的各组合对应的传递特性。
传递特性表示系统的输入与输出的关系。在此,致动器的驱动信号相当于输入,面板上的1点处的振动相当于输出。一般而言,传递特性G(ω)用从系统的输出Y(ω)相对于向系统的输入X(ω)的比来表示(G(ω)=Y(ω)/X(ω))。例如,在输入X(ω)是脉冲的情况下(X(ω)=1),传递特性G(ω)与输出Y(ω)(脉冲响应)一致。
在此,对传递特性与触摸位置及触摸信息的关系进行说明。
通过致动器102的驱动,致动器102附近的面板101部分振动。并且,致动器102附近的面板101部分的振动在面板101中传播到提示位置。结果,触觉提示装置100能够在提示位置向用户提示触觉。
但是,当用户触摸在面板101上时,在面板101上传播的振动受触摸的影响。因此,与用户没有触摸在面板101上的情况相比,从致动器102到触摸位置的振动的系统不同。即,根据触摸位置上的载荷或接触面积等,面板101的传递特性发生变化。
因此,为了将更适当的触觉提示给用户,优选使用考虑了触摸对面板101的传递特性带来的影响的传递特性。即,优选的是,例如按每个载荷信息、接触面积信息或硬度信息存储传递特性。
以下,使用图4,对施加在面板101上的载荷与传递特性的关系进行说明。图4表示施加在面板101上的载荷与传递特性的关系。在图4所示的曲线图中,用放置在面板101上的砝码的重量表示施加在面板101上的载荷。
根据图4可知,在面板101上没有被施加载荷的状态(砝码的重量:0g)的传递特性与被施加载荷的状态(砝码的重量:10g或20g)的传递特性不同。具体而言,可知在砝码的重量为10g下成为峰值的振幅值的频率值比在砝码的重量为0g下成为峰值的振幅值的频率值小。此外,可知在砝码的重量为20g下成为峰值的振幅值的频率值比在砝码的重量为10g下成为峰值的振幅值的频率值小。即,有施加在面板101上的载荷越大则峰值的频率越向低频率侧移动的趋势。
进而,可知在200Hz以上的频带中,在面板101上没有被施加载荷的状态的振幅值比在面板101上被施加载荷的状态的振幅值大。即,在高频带中,有施加在面板101上的载荷越大则振幅的强度越下降的趋势。如以上那样,面板101的传递特性根据施加在面板101上的载荷而变化。
所以,在本实施方式中,传递特性存储部106对于面板101上的各点,按每个触摸信息(例如载荷值)存储从各致动器102到该点的脉冲响应作为传递特性。另外,脉冲响应既可以在时域上表示,也可以在频域上表示。即,在传递特性存储部106中,既可以存储脉冲响应的时间波形,也可以存储脉冲响应的波谱。
在此,面板101上的各点例如可以是面板101上的各分割区域的代表点(例如,中心或者重心等)。分割区域例如将面板101上的区域分割成10mm单位的格子状而得到。另外,分割区域的形状并非定要是矩形状,也可以是其他形状。另外,分割区域的大小并非定要在全部的分割区域都相同。例如,分割区域的大小可根据面板101上的位置而异。
在此,各分割区域越小(即,分割区域的数量越多),越能提高触觉提示的分辨率,但用于存储传递特性的存储容量增大。即,由于分辨率和存储容量是相抵消的关系,因此,根据所需要的分辨率或者被容许的存储容量等,决定各分割区域的大小即可。
以下,关于被存储在传递特性存储部106的传递特性,进行更详细的说明。
在此,设想传递特性存储部106中按每个触摸信息存储有从M(M为2以上的整数)个致动器102(A1、A2、……、AM)分别到面板101上的N(N为2以上的整数)个位置(P1(x1,y1)、P2(x2,y2)、……、PN(xN,yN))的每一个位置的M×N个传递特性的情况进行说明。
图5表示振动从致动器102传播到面板101上的某个位置的路径。
如图5所示,位置Pi上的振动是从致动器Aj直接到达位置Pi(xi,yi)的振动以及在面板101的端部被反射而到达位置Pi(xi,yi)的振动等被合成之后的振动。因此,传递特性包含从致动器Aj到面板上的某个位置Pi的所有路径的传播特性。
另外,传递特性可以被表现在时域中,也可以被表现在频域中。被表现在时域中的传递特性和被表现在频域中的传递特性,作为信息是等价的,能够彼此变换。
例如,通过测量向致动器Aj输入脉冲时的位置Pi(xi,yi)上的振动(脉冲响应),能够取得从致动器Aj到位置Pi(xi,yi)的传递特性。脉冲响应能够完全表现从致动器Aj到位置Pi(xi,yi)的系统特性。因此,本实施方式中作为传递特性利用脉冲响应。
另外,通常在直接施加脉冲的情况下,由于脉冲的持续时间非常短,因此有脉冲响应的信噪比变低的倾向。因此,可用TSP(Time Stretched Pulse)代替脉冲来测量脉冲响应。由此,作为传递特性能够获得信噪比高的脉冲响应。以下,关于使用TSP来测量脉冲响应的方法进行说明。
TSP是如式(6)所示,通过使脉冲的相位与频率的2次方成比例地变化,从而比起脉冲在时间轴上被拉长的信号。图6A表示TSP的一个例子。
[数式6]
在式(6)中,H(n)表示在频域中的TSP。j表示虚数单位(-1的平方根)。K是常数,表示伸缩的程度。n表示被离散化的频率单位。H*表示H的复共轭。
利用对式(6)所示的TSP进行逆傅里叶变换而得到的信号驱动致动器Aj,并测量面板101上的位置Pi(xi,yi)的振动(以下,称之为“TSP响应”)。对测量方法特无限定,例如利用多普勒位移计等来测量振动(TSP响应)。图6B表示TSP响应的一个例子。
利用测量出的TSP响应,计算脉冲响应。具体而言,通过利用式(7)所示的TSP的反函数进行卷积运算,从而计算出脉冲响应。
[数式7]
在式(7)中,H-1(n)表示TSP的反函数。图6C表示TSP的反函数的一个例子。另外,图6D表示根据图6B的TSP响应而计算的脉冲响应的一个例子。
如上所述,利用TSP,测量从致动器Aj到位置Pi(xi,yi)的脉冲响应。通过按每个触摸信息对M个致动器102(A1、A2、……、AM)和N个位置(P1(x1,y1)、P2(x2,y2)、……、PN(xN,yN))的全部组合进行如上所述的测量,可按每个触摸信息获得M×N个传递特性。这样获得的M×N个的每个触摸信息的传递特性被存储到传递特性存储部106中。
在此,传递特性的测量方法并不限定于以上的方法。例如,也可以利用M序列信号来测量传递特性。再例如,还可以利用高斯随机数来测量传递特性。
以下,使用图7,具体地说明在触摸信息包含载荷信息、致动器的数量是两个(M=2)、并且触摸位置的数量是两个(N=2)的情况下存储在传递特性存储部106中的传递特性。
图7表示实施方式1的传递特性存储部106按每个触摸信息存储的传递特性的一例。在该例中,传递特性存储部106存储有与致动器102(致动器)、两个触摸位置(位置1,位置2)及两个触摸位置上的载荷(重量1,重量2)的组合建立了对应的传递特性(trans.func.)。对载荷而言,在通过通常的触摸产生的载荷值的范围内准备多个种类。载荷的种类数没有特别限定。载荷的种类数只要基于存储容量等决定就可以。例如也可以在0g重到100g重之间以10g重单位对11种载荷存储传递特性。或者,也可以按设定为使低载荷值的分辨率(跨度(日文原文:刻み幅))小、高载荷值的分辨率(跨度)大的每个载荷值存储传递特性。由此,能够使在通常的触摸中产生的较小的载荷值的分辨率变细致,并且还能够存储与在异常的触摸中产生的较大的载荷值对应的传递特性。
<传递特性取得部107>
传递特性取得部107从存储在传递特性存储部106中的多个传递特性中,取得与由触摸位置取得部103取得的触摸位置及由触摸信息取得部105取得的触摸信息对应的传递特性。即,传递特性取得部107根据触摸信息从传递特性存储部106读出从各致动器102到各触摸位置的传递特性。
具体而言,传递特性取得部107基于由触摸位置取得部103取得的两个以上的触摸位置(P1(x1,y1),P2(x2,y2),…,Pi(xi,yi),…,PN(xN,yN))、和由触摸信息取得部105取得的两个以上的触摸位置各自的载荷(w1,w2,…,wn),取得与触摸信息对应的从各致动器(A1,A2,…,Aj,…,AM)到各触摸位置的传递特性。例如,在触摸位置是N个、致动器是M个的情况下,传递特性取得部107取得N×M个传递特性gij。这样得到的传递特性gij包含N个触摸位置及触摸信息。
<滤波器计算部108>
滤波器计算部108计算用于通过对任意的触觉信号进行滤波处理而生成希望的驱动信号的滤波器。在此,希望的驱动信号是指,用于以在提示位置上面板101按照任意的触觉信号进行振动、并且在非提示位置上面板101不振动的方式驱动各致动器102的信号。
即,滤波器计算部108利用由传递特性取得部107取得的传递特性,计算在由触摸位置取得部103取得的多个触摸位置中,仅在提示位置提示触觉,而在其他的触摸位置(非提示位置)不提示触觉的滤波器。关于更具体的滤波器计算方法,详情后述。
<触觉信号存储部109>
触觉信号存储部109例如是硬盘或者半导体存储器。触觉信号存储部109存储有触觉信号。触觉信号表示向用户提示的触觉。即,触觉信号表示提示位置上的面板101的振动。
图8A以及图8B分别表示触觉信号的一个例子。在本实施方式中,触觉信号存储部109存储有例如图8A以及图8B所示的触觉信号。
只要能够向用户提示触觉,触觉信号可以是任何信号,例如,可以根据面板101的振动特性来决定触觉信号。具体而言,触觉信号例如可以是面板101的谐振频率或其附近频率的信号。由此,能够使面板101有效地振动,并且能够提高能量效率。
在此,说明触觉信号的生成方法的一个例子。在根据频率fc的正弦波的r周期量的信号来生成触觉信号的情况下,如式(8)所示,利用r周期正好成为半周期的调制频率fm来调制正弦波,从而生成如图8A所示的触觉信号s(n)。
[数式8]
在此,Ts表示采样周期。在图8A的例子中,fc=200Hz、r=10,因此调制频率fm是10Hz。这样生成的触觉信号可用作例如在点击了作为GUI目标的按键时用于提示触觉的信号。
另外,触觉信号并非定要是通过以上方式生成的信号。例如,不必进行如式(8)所示的调制。即,作为触觉信号可以使用正弦波。
另外,只要是人能够通过触觉感知到的频率,频率fc可以是任何频率。例如,可以根据面板101的振动特性来决定频率fc。
例如,可以将频率fc决定为与面板101的谐振频率一致的频率。通过这样决定频率fc,能够使由致动器102赋予面板101的振动的衰减变小,从而能够有效率地提示触觉。
另外,在本实施方式中,预先在脱线下生成触觉信号并将其存储在触觉信号存储部109,但也可以在检测出多点触摸之后,在线生成触觉信号。由此,能够削减用于触觉信号的存储区域。
<滤波处理部110>
滤波处理部110利用由滤波器计算部108计算的、用于各致动器102的滤波器,对被存储在触觉信号存储部109中的触觉信号进行滤波处理(滤波),从而生成用于驱动各致动器102的驱动信号。
各致动器102按照这样由滤波处理部110生成的驱动信号,使面板101振动。其结果,只在多个触摸位置中的提示位置上发生基于触觉信号的振动,而在非提示位置上抑制振动。由此,触觉提示装置100,可在提示位置上向用户提示触觉,而在非提示位置不提示触觉。
<触觉提示装置的动作>
以下,关于具有如上所述的结构的触觉提示装置100的动作进行具体说明。图9是表示实施方式1的触觉提示装置100的处理动作的流程图。图10是用于说明实施方式1的触觉提示装置100的处理动作的图。
<步骤S101>
首先,触摸位置取得部103通过检测多点触摸,取得面板101上的多个触摸位置(S101)。例如,触摸位置取得部103取得如图10所示的2个触摸位置P1、P2
具体而言,触摸位置取得部103例如按规定的时间间隔,取得在面板101上的用户手指的中央位置,以此作为触摸位置。另外,触摸位置取得部103并非定要取得手指的中央位置作为触摸位置。例如,触摸位置取得部103可以取得由手指带来的载荷的重心位置作为触摸位置。
<步骤S102>
接着,触觉提示决定部104从取得的多个触摸位置中,决定提示触觉的第一触摸位置(提示位置)以及不提示触觉的第二触摸位置(非提示位置)(S102)。例如,触觉提示决定部104从2个触摸位置P1、P2中,将触摸位置P1决定为提示位置,将触摸位置P2决定为非提示位置。
具体而言,触觉提示决定部104例如根据被显示的信息来决定提示位置。更具体而言,触觉提示决定部104例如将显示有GUI目标(例如,按键或者滑动键等)的触摸位置决定为提示位置。再例如,触觉提示决定部104可以将显示有Web浏览器上的链接信息的触摸位置决定为提示位置。
例如,在显示有由多人玩的游戏等的情况下,触觉提示决定部104也可以按照游戏的状况将需要提示触觉的触摸位置决定为提示位置。具体而言,在显示在如图11所示的画面上的曲棍球游戏的情况下,当球与球拍接触时,优选的是在该球拍的显示位置提示触觉。所以,触觉提示决定部104将与球接触的球拍的显示位置(触摸位置)决定为提示位置,将另一个球拍的显示位置(触摸位置)决定为非提示位置。
另外,触觉提示决定部104并非定要根据被显示的信息来决定提示位置。例如,触觉提示决定部104还可以根据载荷的大小、触摸的持续时间或者多个触摸位置间的位置关系,来决定提示位置。
另外,触觉提示决定部104在触摸位置取得部103取得了多个触摸位置时,没必要总是决定出提示位置。例如,触觉提示决定部104在多个触摸位置中不存在满足规定条件的触摸位置的情况下,可以不决定提示位置,而将所有的触摸位置都决定为非提示位置。再例如,触摸位置在时间上有大的变化的情况下,可以将所有的触摸位置都决定为非提示位置。在此情况下,不需要触觉提示,因此返回到步骤S101的处理。
<步骤S103>
接着,触摸信息取得部105取得检测到多个触摸时的、包括表示面板101的状态的信息及表示触摸物体的特性的信息中的至少一方的触摸信息(S103)。具体而言,触摸信息取得部105取得触摸位置上的载荷、触摸位置上的接触面积及触摸物体的硬度的至少1个。触摸信息的具体的取得方法没有特别限定,例如也可以使用如图3所示配置在面板101的下侧的四角的载荷传感器121取得各触摸位置的载荷作为触摸信息。
<步骤S104>
接着,传递特性取得部107从传递特性存储部106取得与由触摸位置取得部103及触摸信息取得部105取得的多个触摸位置及触摸信息对应的传递特性(S104)。例如,触觉提示决定部104从传递特性存储部106读出与触摸位置P1及触摸位置P2的两个载荷的组合对应的从致动器A1,A2,A3,A4各自到触摸位置P1的传递特性g11,g12,g13,g14和从致动器A1,A2,A3,A4各自到触摸位置P2的传递特性g21,g22,g23,g24
<步骤S105>
接下来,滤波器计算部108计算用于在提示位置提示触觉,而在非提示位置不提示触觉的滤波器(S105)。具体而言,滤波器计算部108利用从各致动器102到提示位置的传递特性和从各致动器102到非提示位置的传递特性,计算滤波器。例如,触觉提示决定部104利用传递特性g11、g12、g13、g14、g21、g22、g23、g24计算用于在触摸位置P1提示触觉,而在触摸位置P2不提示触觉的滤波器。
以下,说明滤波器计算方法的更为具体的一个例子。
在此,从致动器Aj到触摸位置Pi的传递特性(脉冲响应)gij如式(9)所示。另外,用于生成用于致动器Aj的驱动信号的滤波器hj如式(10)所示。另外,触摸位置Pi上的针对向所有的致动器A1~AM的输入的响应(输出)di如式(11)所示。
[数式9]
gij=[gij(0) gij(1) … gij(Lg)]T (9)
[数式10]
hj=[hj(0) hj(1) … hj(L)]T (10)
[数式11]
di=[di(0) di(1) … di(Lg+L)]T (11)
在式(9)中,Lg表示脉冲响应的长度。在式(10)中,L表示滤波器的长度(滤波器长度)。该滤波器长度越长,能进行越细致的控制。
在此,关于向致动器A1~AM的输入以及滤波器h1~hM和1个触摸位置Pi上的响应di之间的关系进行考察。通过对滤波器hj和传递特性gij进行卷积运算,计算1个触摸位置Pi上的针对向1个致动器Aj的输入的响应。然后,针对所有的致动器A1~AM,将1个触摸位置Pi上的针对向1个致动器Aj的输入的响应进行重合,由此能够计算1个触摸位置Pi上的针对向所有的致动器A1~AM的输入的响应di。即,利用滤波器hj和传递特性gij,能够如式(12)所示地表示响应di
[数式12]
如式(12)所示,用从各致动器Aj到各触摸位置Pi的传递特性gij与应该计算的滤波器hj的卷积运算结果之和,来表示触摸位置P1~PN上的针对向致动器A1~AM的输入的响应d1~dN
在此,如果能够计算在多个触摸位置P1~PN中,只使触摸位置Pk(0<k≤N)上的响应dk成为脉冲(dk(0)=1、dk(1)=0、dk(2)=0、……、dk(M)=0),而使其他触摸位置P1(0<l≤N,l≠k)上的响应成为零(dl(0)=0、dl(1)=0、dl(2)=0、……、dl(M)=0)的滤波器hj,就能够获得所希望的滤波器。即,通过利用这样计算的滤波器hj对任意的触觉信号进行滤波处理,能够生成用于只在触摸位置Pk按照该任意的触觉信号提示触觉,而在其他触摸位置Pl(l≠k)不提示触觉的驱动信号。
因此,滤波器计算部108计算滤波器,以使从各致动器102到提示位置的传递特性和滤波器在时域中的卷积运算结果之和表示脉冲,并使从各致动器102到非提示位置的传递特性和滤波器在时域中的卷积运算结果之和表示零。
对如上所述的滤波器计算方法并没有特别限定,通过计算G的广义逆矩阵G*,能够如式(13)所示地计算滤波器。即,根据G的广义逆矩阵G*和表示脉冲的D,能够计算表示所希望的滤波器的H。
[数式13]
H=G*D (13)
一般而言,如果致动器的个数(M)为触摸位置数(N)以上,就能够求解式(13)。另外,为了针对任意的触摸位置组合都稳定地求解(13),优选使来自多个致动器102的传递特性gij在各位置上不持有相同的零点。例如,在触摸位置数为2个的情况下,通过如图3所示的那样在面板101的长边侧的端部各配置2个致动器102,能够以任意2点上的传递特性不同的方式配置致动器102。
另外,零点是指在频域中传递特性的水平为0或者无限接近0的频率。即,在传递特性中包含零点的情况下,即使输入中包含零点的频率成分,但输出中几乎不包含该频率成分。
因此,如果从所有的致动器102到某位置的传递特性在同一频率持有零点,则无论输入什么样的信号,在该位置上在该频率下面板101都不会振动。即,在特定的频率下将无法控制振动。因此,优选的是,在作为控制对象的各频率下,至少来自1个致动器102的传递特性持有非零点的特性。
图12表示滤波器的一个例子。具体而言,图12表示在图10中将触摸位置P1决定为提示位置的情况下计算的滤波器。
<步骤S106>
然后,滤波处理部110,针对被存储在触觉信号存储部109中的触觉信号,利用在步骤S105计算的滤波器进行滤波处理,从而生成用于驱动各致动器102的驱动信号。具体而言,滤波处理部110通过对触觉信号S(n)和滤波器hj(n)进行卷积运算,生成用于致动器Aj的驱动信号。
另外,在触觉信号存储部109中存储有多个触觉信号的情况下,滤波处理部110从多个触觉信号中选择1个触觉信号,并对被选择的触觉信号进行滤波处理。例如,滤波处理部110从图8A以及图8B所示的触觉信号中,选择图8A所示的触觉信号。在此,无需对触觉信号的选择方法进行特别限定。
在此,关于滤波处理进行更详细的说明。
滤波处理部110如式(14)所示,生成用于驱动致动器Aj的驱动信号uj(n)。即,滤波处理部110通过对触觉信号s(n)和由滤波器计算部108计算的滤波器hj(n)进行卷积运算,生成驱动信号uj(n)。
[数式14]
图13表示驱动信号的一个例子。即,图13表示根据式(14)由滤波处理部110生成的驱动信号的一个例子。更具体而言,图13表示利用图12所示的滤波器,对图8A所示的触觉信号进行处理而生成的驱动信号。
在此,对于在考虑了触摸信息的情况和没有考虑触摸信息的情况下、作为非提示位置的触摸位置P2上的振动的差异进行说明。
首先,对考虑了触摸信息的情况进行说明。图14表示实施方式1的各触摸位置的振动特性的实验结果。具体而言,图14表示考虑触摸信息而生成驱动信号的情况下的各触摸位置上的振动特性的实验结果。更具体地讲,图14表示在图10的结构时使用图13所示的驱动信号对致动器102进行了驱动时的触摸位置P1及触摸位置P2上的振动特性。在图14中,在设触摸位置P1的振幅强度为1的情况下,触摸位置P2的振幅强度大致是零。即,仅在两个触摸位置中的触摸位置P1提示触觉。
接着,对没有考虑触摸信息的情况进行说明。图15表示比较例的各触摸位置的振动特性的实验结果。具体而言,图15表示不考虑触摸信息而生成了驱动信号的情况下的各触摸位置上的振动特性。更具体地讲,图15表示使用利用施加在面板101上的载荷是零的情况下的传递特性生成的驱动信号对致动器102进行了驱动时的触摸位置P1及触摸位置P2上的振动特性。在图15中,在设触摸位置P1的振幅强度为1的情况下,触摸位置P2的振幅强度是约0.3左右。即,除了触摸位置P1以外,在触摸位置P2也提示触觉。在这样不考虑伴随着触摸的面板101的传递特性的变化的情况下,对于不想提示触觉的位置也提示某种程度的触觉。此外,由此对用户带来设计者不想要的反馈。
<步骤S107>
接着,使用在步骤S106中生成的驱动信号uj(n)驱动致动器Aj(S107)。即,致动器Aj按照驱动信号uj(n)使面板101振动。结果,如图14所示,仅在两个触摸位置中的触摸位置P1提示触觉。
另外,根据致动器102的种类,有需要高电压的驱动信号的情况。在这样的情况下,致动器102也可以具备用于将驱动信号放大的放大器。
另外,在图14中表示了触摸位置P1、P2上的振动特性,但在触摸位置P1,P2以外的位置也发生振动。但是,由于触摸位置P1、P2以外的位置为没有被用户触摸的位置,所以不论发生怎样的振动也不向用户提示触觉。
“效果”
如以上这样,根据本实施方式的触觉提示装置100,能够使用利用与触摸信息对应的面板101的传递特性生成的驱动信号对致动器102的驱动进行控制。因而,触觉提示装置100能够适应于由触摸带来的面板的传递特性的变化使面板101振动。由此,触觉提示装置100能够针对多点触摸向用户提示适当的触觉。例如,触觉提示装置100能够仅对多点触摸中的需要触觉提示的触摸提示触觉,能够进行适当的触觉反馈。即,触觉提示装置100能够抑制因触觉提示带来的不必要的混乱。
此外,用于将各致动器102驱动的驱动信号是使用传递特性生成的信号。因而,即使提示位置和致动器不接近,也能够在提示位置赋予振动、在非提示位置不赋予振动。即,由于不需要将许多致动器铺设在面板的下方,所以能够针对多点触摸进行高效的触觉提示。进而,在显示装置设置在面板的下方的情况下,也不需要安装透明的致动器,能够比较简单地制造触觉提示装置。
此外,根据本实施方式的触觉提示装置100,能够使用包含载荷信息、接触面积信息及硬度信息中的至少1个的触摸信息对各致动器102进行控制。即,能够使用对面板101的传递特性带来变化的信息对各致动器102进行控制,能够提示更适当的触觉。
另外,在本实施方式中,触觉提示装置100具备传递特性存储部106以及触觉信号存储部109,但并非定要具备这些存储部。在此情况下,触觉提示装置100例如可以从通过网络连接的存储装置取得传递特性或者触觉信号。
(实施方式1的变形例1)
实施方式1的变形例1的触觉提示装置与实施方式1的不同点在于,不是在时域,而是在频域计算滤波器。以下,以与实施方式1的不同点为中心说明本变形例。
滤波器计算部108计算使得从各致动器102到提示位置的传递特性和滤波器在频域的积的和表示脉冲,并使从各致动器102到非提示位置的传递特性和滤波器在频域的积的和不表示零的方式计算滤波器。
具体而言,滤波器计算部108如下述那样在频域计算滤波器。
关于在频域中表示的响应D,利用在频域中表示的传递特性G以及滤波器H,可表示为式(15)。
[数式15]
D=GH (15)
在式(15)中,传递特性Gij(ω)是从致动器Aj到触摸位置Pi的传递特性在频域中的表现。另外,滤波器Hj(ω)是用于生成致动器Aj的驱动信号的滤波器在频域中的表现。另外,响应Di(ω)是在触摸位置Pi上的响应在频域中的表现。
在此,在作为控制对象的频带中,如果能够计算使得只有多个触摸位置P1~PN中的触摸位置Pk(0<k≤N)的响应dk成为脉冲(Dk(ω)=1),而使其他触摸位置Pl(0<l≤N,l≠k)的响应成为零(Dl(ω)=0)的滤波器H,就能够获得所希望的滤波器。
另外,关于作为控制对象的频带,例如根据人能够通过触觉检测的频带来决定即可。一般而言,人对于数Hz至500Hz有较强的触觉灵敏度,因此可以将控制对象的频带定为例如10Hz~500Hz。
对于上述的滤波器的计算方法无特别限定,通过计算G的广义逆矩阵G*,能够如(16)所示地计算滤波器。即,根据G的广义逆矩阵G*和表示脉冲的D,能够计算表示所希望的滤波器的H。
[数式16]
H=G*D (16)
如上所述,滤波器计算部108若能计算如式(16)所示的广义逆矩阵G*,就能够容易地计算滤波器。在本变形例中,如(15)所示,在频域中表现的G是N行M列矩阵。因此,与实施方式1的式(7)所示的在时域中表现的G相比,能够更容易地计算广义逆矩阵G*,从而能够降低处理负荷。
即,根据本变形例的触觉提示装置,通过在频域中计算滤波器,能够比较容易地计算表示传递特性的矩阵的逆矩阵,从而能够降低处理负荷。由此,在智能手机或者平板计算机等处理能力低的设备中,也能够针对多点触摸进行适当的触觉提示。另外,能够降低用于进行触觉提示的处理负荷,因此能够与其他处理并行执行用于触觉提示的处理。
(实施方式1的变形例2)
在本变形例中,与实施方式1不同的是传递特性存储部106将传递特性与多个致动器102、多个触摸位置、以及多个触摸位置中的通过触觉信号提示触觉的触摸位置以外的触摸位置上的载荷的组合建立对应来存储。
具体而言,在实施方式1中,传递特性存储部106将传递特性与多个致动器102、多个触摸位置和多个触摸位置上的载荷的组合建立对应来存储。但是,在将传递特性与多个致动器102、多个触摸位置和多个触摸位置上的载荷的组合建立对应来存储的情况下,传递特性存储部106需要存储庞大的数量的传递特性。即,当面板上的栅格点的数量是C、同时触摸的触摸位置数是N、载荷值的图案(pattern)是K的情况下,在实施方式1中,传递特性存储部106需要存储CCN×K种传递特性。
所以,在本变形例中,传递特性存储部106将传递特性与多个致动器、多个触摸位置和多个触摸位置中的仅不想提示触觉的触摸位置的组合建立对应来存储。由此,传递特性存储部106能够削减传递特性的存储容量。即,在本变形例中,传递特性存储部106只要存储比CCN×K种传递特性少的CCN-1×K种传递特性就可以。
以下,以与实施方式1的不同点为中心说明本变形例。
<传递特性存储部106>
传递特性存储部106按每个触摸信息存储有从各个致动器102到面板101上的各点的传递特性。
图16表示实施方式1的变形例2的传递特性存储部106按每个触摸信息存储的传递特性的一例。在该例中,传递特性存储部106存储有与致动器102(致动器)、两个触摸位置(位置1、位置2)及两个触摸位置中的一方的载荷(重量)的组合建立对应的传递特性(trans.func.)。
例如,在图16的第1行,存储有触摸位置2(第2触摸位置)的载荷为10g的情况下的从致动器1到触摸位置1(第1触摸位置)的传递特性。同样,在第2行,存储有触摸位置2的载荷为20g的情况下的从致动器1到触摸位置1的传递特性。像这样,在本变形例中,传递特性存储部106将传递特性仅与触摸位置1(提示位置)及触摸位置2(非提示位置)中的触摸位置2的载荷建立对应来存储。
像这样,不是与多个触摸位置全部的载荷的组合建立对应、而是与不提示触觉的触摸位置上的载荷的组合建立对应来存储传递特性,由此与实施方式1相比能够大幅削减存储传递特性所需要的存储容量。
<传递特性取得部107>
传递特性取得部107基于由触摸位置取得部103取得的两个以上的触摸位置(P1(x1,y1),P2(x2,y2),…,Pi(xi,yi),…,PN(xN,yN))和由触摸信息取得部105取得的两个以上的触摸位置的载荷(w1,w2,…,wN)中的非提示位置的载荷,取得从各致动器(A1,A2,…,Aj,…,AM)到各触摸位置的传递特性。
<滤波器计算部108>
滤波器计算部108使用由传递特性取得部107取得的传递特性计算滤波器。即,滤波器计算部108使用从各致动器到提示位置及非提示位置各自的、与触摸信息中的有关非提示位置的信息对应的面板101的传递特性计算滤波器。
像这样,滤波器计算部108使用不是与提示位置的载荷对应、而是与非提示位置的载荷对应的传递特性计算滤波器,由此能够高精度地抑制不提示基于触觉信号的触觉的触摸位置(非提示位置)上的振动。
另外,作为触摸信息而使用载荷信息进行了说明,但并不限定于此。触摸信息也可以包含接触面积信息或触摸物体的硬度信息。
如以上这样,根据本变形例的触觉提示装置100,能够使用与触摸信息中的有关非提示位置的信息对应的传递特性计算滤波器。因而,触觉提示装置100相比使用与有关提示位置的信息对应的传递特性的情况,能够抑制非提示位置上的面板101的振动,能够提示更适当的触觉。
此外,传递特性存储部106只要将传递特性与触摸信息中的有关非提示位置的信息建立对应来存储就可以。因而,与传递特性存储部106将传递特性与提示位置及非提示位置的组合建立对应而存储的情况相比,能够大幅削减应存储的传递特性的数量。即,触觉提示装置100能够削减用于存储传递特性的存储容量。因此,触觉提示装置100在智能电话或平板PC等的具备存储容量较小的存储器的便携终端中也能够使用。
(实施方式2)
在实施方式2中,触觉提示装置使用存储在传递特性存储部中的多个传递特性,将与触摸信息对应的传递特性进行插补。由此,在所取得的触摸信息与存储在传递特性存储部中的触摸信息不同的情况下,触觉提示装置也能够使用适合于触摸信息的传递特性来生成滤波器,能够提示适当的触觉。进而,触觉提示装置能够削减存储到传递特性存储部中的传递特性的数量。
“触觉提示装置的结构”
图17表示实施方式2的触觉提示装置200的功能结构。在图17中,对于与图2同样的构成要素赋予相同的标号,并适当省略说明。
触觉提示装置200具备面板101、多个致动器102、触摸位置取得部103、触觉提示决定部104、触摸信息取得部105、传递特性存储部106、传递特性取得部207、传递特性插补部211、滤波器计算部108、触觉信号存储部109和滤波处理部110。
<传递特性取得部207>
传递特性取得部207从传递特性存储部106取得对应于与由触摸信息取得部105取得的触摸信息类似的多个触摸信息的多个传递特性。具体而言,传递特性取得部207基于由触摸位置取得部103取得的两个以上的触摸位置(P1(x1,y1),P2(x2,y2),…,Pi(xi,yi),…,PN(xN,yN))和由触摸信息取得部105取得的两个以上的触摸位置上的载荷值w1,w2,…,wN,取得从各致动器(A1,A2,…,Aj,…,AM)到各触摸位置的传递特性。在此,在没有存储与触摸信息取得部105取得的载荷值对应的传递特性的情况下,传递特性取得部207取得多个对应于与所取得的载荷值类似的载荷值的传递特性。
例如,传递特性取得部207取得对应于与所取得的载荷值的类似度为规定的阈值以内的载荷值的传递特性。此外,例如也可以是,传递特性取得部207以与所取得的载荷值的类似度从高到低的顺序取得预先设定的数量的传递特性。
例如,在取得K个所取得的载荷值的类似度较高的传递特性的情况下,当触摸位置为N个、致动器为M个时,传递特性取得部207取得N×M×K个传递特性gij k
这样得到的传递特性gij对应于N个触摸位置及触摸信息(载荷值)。因而,传递特性取得部207能够取得考虑了触摸对面板101带来的影响的传递特性。
<传递特性插补部211>
传递特性插补部211使用对应于与所取得的触摸信息类似的多个触摸信息的多个传递特性,对与所取得的触摸信息对应的传递特性进行插补。具体而言,传递特性插补部211使用由传递特性取得部207取得的多个传递特性gij k,对与触摸信息取得部105所取得的触摸信息对应的、从致动器j到触摸位置i的传递特性gij进行插补。
例如,传递特性插补部211在时域中对与所取得的触摸信息对应的传递特性进行插补。此外,例如也可以是,传递特性插补部211在频域中对与所取得的触摸信息对应的传递特性进行插补。
例如,在时域中对传递特性进行插补的情况下,传递特性插补部211也可以使用所取得的多个传递特性的线性结合,对与所取得的触摸信息对应的传递特性进行插补。具体而言,传递特性插补部211可以使用式17对传递特性进行插补。
[数式17]
在此,Wk表示第k个传递特性的权重。该权重Wk基于由触摸信息取得部105取得的触摸信息和与存储在传递特性存储部106中的第k个传递特性对应的触摸信息的类似度来决定。例如,权重Wk被决定为,类似度越高则权重Wk越大。但是,权重Wk需要满足式18。
[数式18]
例如,在触摸信息是触摸位置的载荷值的情况下,触摸信息的类似度可以用载荷值的差的倒数定义。权重Wk并不限于此,只要基于类似度决定,则可以是任何权重。此外,权重Wk也可以是一定的值。
此外,例如在频域中对传递特性进行插补的情况下,传递特性插补部211可以使用式19对传递特性进行插补。
图18表示由传递特性插补部211插补的传递特性的一例。具体而言,图18表示使用在触摸位置上施加5g或15g的载荷的情况下的传递特性对施加10g的载荷的情况下的传递特性进行插补而得到的结果。
[数式19]
在此,Wk表示第k个传递特性的权重。该权重Wk基于由触摸信息取得部105取得的触摸信息和与从传递特性存储部106取得的第k个传递特性对应的触摸信息的类似度决定。例如,权重Wk被决定为,类似度越高则权重Wk越大。但是,Wk需要满足式18。
此外,例如在频域中对传递特性进行插补的情况下,传递特性插补部211也可以使用所取得的多个传递特性的各频率下的振幅及相位、和与触摸信息类似的多个触摸信息进行多项式近似,使用通过多项式近似得到的多项式对与所取得的触摸信息对应的传递特性进行插补。具体而言,传递特性插补部211也可以使用式20及式21计算与由触摸信息取得部105取得的载荷值对应的传递特性的各频率的振幅Rij及相位Aij。式20及式21是将与由触摸信息取得部105取得的载荷值对应的传递特性的各频率的振幅Rij及相位Aij,用从传递特性存储部106取得的多个传递特性的振幅及相位的P次多项式近似的近似函数。并且,传递特性插补部211也可以使用这样计算出的振幅Rij及相位Aij通过式22计算传递特性Gij
通过这样对传递特性进行插补,传递特性插补部211不是进行单纯的线性插补,而能够按每个频率进行适当的插补,能够高精度地对传递特性进行插补。
图19表示200Hz的传递特性的载荷特性(实线)和将载荷特性用1次的多项式近似的情况下的近似直线(虚线)。通过在各频率下进行这样的近似,能够进行很细致的插补,而非单纯的线性近似,。
另外,在本实施方式中利用多项式近似,但也可以利用使用载荷值的附近的值的线性插补。此外,也可以利用样条曲线等其他插补方法。
[数式20]
[数式21]
[数式22]
Gij(f)=Rij(f)exp(Aij(f)) (22)
如以上这样,传递特性插补部211在传递特性存储部106没有存储与触摸信息(例如载荷值)对应的传递特性的情况下,也能够使用对应于与该触摸信息类似的触摸信息的传递特性,来对与该触摸信息对应的传递特性进行插补。
“触觉提示装置的动作”
接着,使用图20说明如以上那样构成的触觉提示装置的具体的动作。
图20是表示实施方式2的触觉提示装置200的处理动作的流程图。另外,在图20中,对于与图9同样的步骤赋予相同的标号,并适当省略说明。
<步骤S201>
传递特性取得部207取得对应于与步骤S103中取得的触摸信息类似的多个触摸信息的多个传递特性。
<步骤S202>
传递特性插补部211使用步骤S201中取得的多个传递特性,对与步骤S103中取得的触摸信息对应的传递特性进行插补。具体而言,传递特性插补部211例如通过式18或式21进行插补处理,从而生成与由触摸信息取得部105取得的触摸信息对应的传递特性。
“效果”
如以上那样,根据实施方式2的触觉提示装置200,能够使用对应于与所取得的触摸信息类似的多个触摸信息的多个传递特性,来对与所取得的触摸信息对应的传递特性进行插补。因而,触觉提示装置200在不能从传递特性存储部106取得与所取得的触摸信息对应的传递特性的情况下,能够通过插补来得到适合于所取得的触摸信息的传递特性。即,触觉提示装置200能够得到更正确的传递特性,所以能够提示更适当的触觉。此外,触觉提示装置200还能够削减预先存储在传递特性存储部106中的传递特性的数量,能够削减用于存储传递特性的存储容量。因而,触觉提示装置200在智能电话或平板PC等具备存储容量较小的存储器的便携终端中也能够使用。
以上,基于实施方式对有关本发明的1个或多个形态的触觉提示装置进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,对本实施方式实施了本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也可以包含在本发明的1个或多个形态的范围内。
例如,在上述各实施方式中,在第2触摸位置(非提示位置)没有提示触觉,但也可以在第2触摸位置提示触觉。即,在第2触摸位置上,只要比第1触摸位置(提示位置)抑制触觉就可以。即,只要第2触摸位置上的面板的振动比第1触摸位置上的面板的振动小就可以。在这样的情况下,触觉提示装置也能够在第1触摸位置上提示比第2触摸位置强的触觉,能够抑制因触觉提示造成的用户的混乱。即,触觉提示装置能够提示适当的触觉。
另外,在这样的情况下,优选的是使第2触摸位置上的面板101的振动的振幅为需要触觉提示的触摸位置上的面板101的振动的振幅的一半值、优选的是1/10以下。由此,触觉提示装置在第1触摸位置及第2触摸位置能够提示能够更好地判别的触觉,能够进一步抑制因触觉提示造成的用户的混乱。
另外,为了在第2触摸位置不提示触觉,也可以使用用于以使第2触摸位置上的面板的振动的振幅成为人通过触觉感知不到的程度的振幅(例如1μm以下)的方式驱动各致动器的信号作为驱动信号。
此外,在上述各实施方式中,触觉提示装置如图21所示,也可以不具备图2或图17所示的构成要素的某些。此外,触觉提示装置如图21所示,也可以具备与图2或图17所示的构成要素不同的构成要素。
图21表示一实施方式的触觉提示装置300的功能结构。此外,图22是表示一实施方式的触觉提示装置300的动作的流程图。在图21中,对于与图2相同的构成要素赋予相同的标号而省略说明。此外,在图22中,对于与图9相同的步骤赋予相同的标号而省略说明。
如图21所示,触觉提示装置300具备面板101、致动器102、触摸位置取得部103、触觉提示决定部104、触摸信息取得部105和驱动信号取得部301。
驱动信号取得部301从驱动信号存储部302取得如下信号作为驱动信号,该信号是用于以在第1触摸位置上面板按照触觉信号振动、并且在多个触摸位置中包含的第2触摸位置上面板振动得比第1触摸位置小的方式驱动各致动器的信号,并且是使用从各致动器到第1触摸位置及第2触摸位置各自的、与触摸信息对应的面板的传递特性而生成的信号(S301)。
驱动信号存储部302将用于驱动各致动器102的多个驱动信号与多个触摸位置及触摸信息的多个组合建立对应而存储。
这样的触觉提示装置300也能够取得使用与触摸信息对应的面板101的传递特性而生成的信号作为驱动信号。因而,触觉提示装置300能够适应于因触摸造成的面板的传递特性的变化来使面板101振动,对于多点触摸能够提示适当的触觉。
另外,在上述各实施方式中,各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素适的软件程序来实现。各构成要素也可以通过由CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。在此,实现上述各实施方式的图像解码装置等的软件是以下这样的程序。
即,该程序用于使计算机执行触觉提示方法,所述触觉提示方法通过使用设置在面板上的多个致动器使所述面板振动而提示触觉,包括:触摸位置取得步骤,通过检测具有同时与所述面板接触的状态的多个触摸,取得所述面板上的多个触摸位置;触觉提示决定步骤,从所述多个触摸位置中,决定通过预先设定的触觉信号所表示的振动来提示触觉的第1触摸位置;触摸信息取得步骤,取得触摸信息,所述触摸信息包含表示检测到所述多个触摸时的所述面板的状态的信息和表示在所述多个触摸位置上与所述面板接触的多个物体的至少1个特性的信息中的至少一方;驱动信号取得步骤,取得以下信号作为驱动信号,该信号是用于以在所述第1触摸位置上所述面板按照所述触觉信号振动、且在所述多个触摸位置所包含的第2触摸位置上所述面板振动得比所述第1触摸位置小的方式驱动各致动器的信号,并且是使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息对应的所述面板的传递特性而生成的信号;以及驱动步骤,基于所述驱动信号驱动所述各致动器。
工业实用性
有关本发明的一形态的触觉提示装置由于能够对多点触摸提示相互不同的触觉,所以能够在具备触摸面板的电视机、数字照相机、电影、个人计算机、便携信息终端或便携电話等中使用。此外,也能够应用于电子黑板或数字标牌用显示器等多人可同时触摸的设备的操作。
标号说明
100、200、300触觉提示装置
101面板
102致动器
103触摸位置取得部
104触觉提示决定部
105触摸信息取得部
106传递特性存储部
107、207传递特性取得部
108滤波器计算部
109触觉信号存储部
110滤波处理部
120显示装置
211传递特性插补部
301驱动信号取得部
302驱动信号存储部

Claims (9)

1.一种触觉提示装置,通过使面板振动,向用户提示触觉,具备:
面板;
多个致动器,设置在所述面板的互不相同的位置,用于使所述面板振动;
触摸位置取得部,通过检测具有同时与所述面板接触的状态的多个触摸,取得所述面板上的多个触摸位置;
触摸信息取得部,取得包含载荷信息、接触面积信息、以及硬度信息中的至少一个的触摸信息,所述载荷信息表示在所述多个触摸位置上分别施加到所述面板上的载荷中的至少1个,所述接触面积信息表示所述多个触摸位置上的所述面板与在所述多个触摸位置上分别接触的多个物体的接触面积的大小中的至少1个,所述硬度信息表示所述多个物体中的至少1个的硬度;
触觉提示决定部,从所述多个触摸位置中,决定通过预先设定的触觉信号所表示的振动来提示触觉的第1触摸位置;
传递特性存储部,针对相互不同的多个触摸信息,分别存储有从所述多个致动器到所述面板上的多个位置的各个传递特性;
传递特性取得部,从所述传递特性存储部取得与由所述触摸位置取得部取得的所述多个触摸位置及由所述触摸信息取得部取得的所述触摸信息对应的传递特性;以及
驱动信号取得部,取得以下信号作为驱动信号,该信号是用于以在所述第1触摸位置上所述面板按照所述触觉信号振动、且在所述多个触摸位置所包含的第2触摸位置上所述面板振动得比所述第1触摸位置小的方式驱动各致动器的信号,并且是使用由所述传递特性取得部取得的所述传递特性而生成的信号;
所述各致动器基于所述驱动信号使所述面板振动。
2.如权利要求1所述的触觉提示装置,
所述触觉提示装置还具备滤波器计算部,该滤波器计算部使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息对应的所述面板的传递特性,计算滤波器,该滤波器用于通过对任意的触觉信号进行滤波处理而生成用于以在所述第1触摸位置上所述面板按照所述任意的触觉信号振动、且在所述第2触摸位置上所述面板不振动的方式驱动所述各致动器的驱动信号;
所述驱动信号取得部使用所述滤波器对所述触觉信号进行滤波处理,由此取得所述驱动信号。
3.如权利要求2所述的触觉提示装置,
所述滤波器计算部计算所述滤波器,以使从所述各致动器到所述第1触摸位置的与所述触摸信息对应的传递特性和所述滤波器在时域中的卷积运算结果之和表示脉冲,并且从所述各致动器到所述第2触摸位置的与所述触摸信息对应的传递特性和所述滤波器在时域中的卷积运算结果之和表示零。
4.如权利要求2所述的触觉提示装置,
所述滤波器计算部计算所述滤波器,以使从所述各致动器到所述第1触摸位置的与所述触摸信息对应的传递特性和所述滤波器在频域中的积的和表示脉冲,并且从所述各致动器到所述第2触摸位置的与所述触摸信息对应的传递特性和所述滤波器在频域中的积的和表示零。
5.如权利要求2所述的触觉提示装置,
所述滤波器计算部使用从所述各致动器到所述第1触摸位置及所述第2触摸位置各自的、与所述触摸信息中的有关所述第2触摸位置的信息对应的所述面板的传递特性计算所述滤波器。
6.如权利要求2所述的触觉提示装置,
所述传递特性取得部还取得对应于与所取得的所述触摸信息类似的多个触摸信息的多个传递特性;
所述触觉提示装置还具备传递特性插补部,该传递特性插补部使用所取得的所述多个传递特性,对与所取得的所述触摸信息对应的传递特性进行插补;
所述滤波器计算部使用插补后的所述传递特性计算所述滤波器。
7.如权利要求6所述的触觉提示装置,
所述传递特性插补部使用所取得的所述多个传递特性的线性结合,对与所取得的所述触摸信息对应的传递特性进行插补。
8.如权利要求6所述的触觉提示装置,
所述传递特性插补部使用所取得的所述多个传递特性的各频率下的振幅及相位、以及与所述触摸信息类似的多个触摸信息进行多项式近似,并使用通过所述多项式近似而得到的多项式,对与所取得的所述触摸信息对应的传递特性进行插补。
9.一种触觉提示方法,使用设置在面板的多个致动器使所述面板振动,从而提示触觉,包括:
触摸位置取得步骤,通过检测具有同时与所述面板接触的状态的多个触摸,取得所述面板上的多个触摸位置;
触觉提示决定步骤,从所述多个触摸位置中,决定通过预先设定的触觉信号所表示的振动来提示触觉的第1触摸位置;
触摸信息取得步骤,取得包含载荷信息、接触面积信息、以及硬度信息中的至少一个的触摸信息,所述载荷信息表示在所述多个触摸位置上分别施加到所述面板上的载荷中的至少1个,所述接触面积信息表示所述多个触摸位置上的所述面板与在所述多个触摸位置上分别接触的多个物体的接触面积的大小中的至少1个,所述硬度信息表示所述多个物体中的至少1个的硬度;
传递特性取得步骤,从针对相互不同的多个触摸信息分别预先存储的从所述多个致动器到所述面板上的多个位置的各个传递特性之中,取得与所述触摸位置取得步骤中取得的所述多个触摸位置及所述触摸信息取得步骤中取得的所述触摸信息对应的传递特性;
驱动信号取得步骤,取得以下信号作为驱动信号,该信号是用于以在所述第1触摸位置上所述面板按照所述触觉信号振动、且在所述多个触摸位置所包含的第2触摸位置上所述面板振动得比所述第1触摸位置小的方式驱动各致动器的信号,并且是使用在所述传递特性取得步骤中取得的所述传递特性而生成的信号;以及
驱动步骤,基于所述驱动信号驱动所述各致动器。
CN201380033837.XA 2012-11-30 2013-10-11 触觉提示装置及触觉提示方法 Active CN104395866B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012263669 2012-11-30
JP2012-263669 2012-11-30
PCT/JP2013/006093 WO2014083751A1 (ja) 2012-11-30 2013-10-11 触感呈示装置および触感呈示方法

Publications (2)

Publication Number Publication Date
CN104395866A CN104395866A (zh) 2015-03-04
CN104395866B true CN104395866B (zh) 2018-02-23

Family

ID=50827416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380033837.XA Active CN104395866B (zh) 2012-11-30 2013-10-11 触觉提示装置及触觉提示方法

Country Status (4)

Country Link
US (1) US20150153830A1 (zh)
JP (1) JP6183661B2 (zh)
CN (1) CN104395866B (zh)
WO (1) WO2014083751A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR101784472B1 (ko) * 2015-01-13 2017-10-11 주식회사 씨케이머티리얼즈랩 촉각 정보 제공 기기
CN107735750A (zh) * 2015-07-08 2018-02-23 阿尔卑斯电气株式会社 触觉再现装置
WO2017094211A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 力覚提示装置、認識装置、制御装置、および力覚提示方法
JP6566045B2 (ja) * 2015-12-09 2019-08-28 富士通株式会社 電子機器
CN108369462B (zh) * 2015-12-25 2021-03-30 住友理工株式会社 触觉振动提示装置
CN107193464A (zh) * 2016-03-15 2017-09-22 百度在线网络技术(北京)有限公司 一种在移动设备的当前应用中进行重按操作的方法和装置
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
CN109475079B (zh) * 2016-07-22 2023-03-14 哈曼国际工业有限公司 触觉驾驶引导系统
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
JP6877995B2 (ja) * 2016-12-27 2021-05-26 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法
CN106775128B (zh) * 2017-02-09 2020-06-23 联想(北京)有限公司 一种输入设备及电子设备
JP6594920B2 (ja) 2017-03-01 2019-10-23 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
CN108874243B (zh) * 2017-05-11 2021-11-12 京东方科技集团股份有限公司 触控面板、电子装置及其驱动方法
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10504342B1 (en) 2018-06-12 2019-12-10 Immersion Corporation Devices and methods for providing localized haptic effects to a display screen
CN109189208B (zh) * 2018-07-19 2021-09-07 南京阿凡达机器人科技有限公司 一种屏幕触感反馈系统及方法
US20220080304A1 (en) * 2019-01-21 2022-03-17 Sony Group Corporation Information processing apparatus, information processing method, and program
US11468750B2 (en) 2019-10-14 2022-10-11 Lofelt Gmbh Authoring an immersive haptic data file using an authoring tool
US10996693B1 (en) 2020-02-17 2021-05-04 Robert Bosch Gmbh Haptic feedback actuation via open/closed loop control system
TWI769438B (zh) * 2020-03-18 2022-07-01 友達光電股份有限公司 具有振動回饋的觸控顯示裝置
CN112416477B (zh) * 2020-11-27 2022-04-26 瑞声新能源发展(常州)有限公司科教城分公司 信号转换方法、装置、计算机设备和存储介质
US11474650B1 (en) * 2021-05-03 2022-10-18 Image Match Design Inc. Fingerprint recognition device and fingerprint recognition method thereof
CN116547636A (zh) * 2021-12-01 2023-08-04 京东方科技集团股份有限公司 电子设备和操作电子设备的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373414A (zh) * 2007-08-22 2009-02-25 三星电子株式会社 在便携式终端中提供输入反馈的方法和设备
CN101868776A (zh) * 2007-12-12 2010-10-20 三星电子株式会社 触觉输入/输出设备及其驱动方法
CN102449593A (zh) * 2010-01-22 2012-05-09 电子部品研究院 基于碰触压力的ui提供方法及采用该方法的电子装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191011A1 (en) * 2001-06-04 2002-12-19 Firooz Rasouli Virtual remote touch system
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
GB0724149D0 (en) * 2007-12-11 2008-01-23 New Transducers Ltd Touch-sensitive device
JP5309793B2 (ja) * 2008-08-27 2013-10-09 日本電気株式会社 タッチパネル振動方法およびタッチパネル装置
GB2464117B (en) * 2008-10-03 2015-01-28 Hiwave Technologies Uk Ltd Touch sensitive device
US9041521B2 (en) * 2009-06-04 2015-05-26 The Royal Institution For The Advancement Of Learning/Mcgill University Floor-based haptic communication system
US8378797B2 (en) * 2009-07-17 2013-02-19 Apple Inc. Method and apparatus for localization of haptic feedback
WO2011024434A1 (ja) * 2009-08-27 2011-03-03 京セラ株式会社 触感呈示装置及び触感呈示装置の制御方法
WO2011051722A2 (en) * 2009-10-29 2011-05-05 New Transducers Limited Touch sensitive device
US8884913B2 (en) * 2010-03-19 2014-11-11 Smart Skin Technologies Systems and methods for determining the location and pressure of a touchload applied to a touchpad
GB2482190A (en) * 2010-07-23 2012-01-25 New Transducers Ltd Methods of generating a desired haptic sensation in a touch sensitive device
JP5963600B2 (ja) * 2011-08-09 2016-08-03 キヤノン株式会社 除振装置
JP5787807B2 (ja) * 2012-03-26 2015-09-30 京セラ株式会社 電子機器
JP6032657B2 (ja) * 2012-04-27 2016-11-30 パナソニックIpマネジメント株式会社 触感呈示装置、触感呈示方法、駆動信号生成装置および駆動信号生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373414A (zh) * 2007-08-22 2009-02-25 三星电子株式会社 在便携式终端中提供输入反馈的方法和设备
CN101868776A (zh) * 2007-12-12 2010-10-20 三星电子株式会社 触觉输入/输出设备及其驱动方法
CN102449593A (zh) * 2010-01-22 2012-05-09 电子部品研究院 基于碰触压力的ui提供方法及采用该方法的电子装置

Also Published As

Publication number Publication date
JP6183661B2 (ja) 2017-08-23
US20150153830A1 (en) 2015-06-04
WO2014083751A1 (ja) 2014-06-05
JPWO2014083751A1 (ja) 2017-01-05
CN104395866A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
CN104395866B (zh) 触觉提示装置及触觉提示方法
CN103649885B (zh) 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法
US10318006B2 (en) High definition haptic effects generation using primitives
JP6392747B2 (ja) ディスプレイ装置
JP6037252B2 (ja) 電子機器
CN104285205B (zh) 触控面板器件和触控面板器件的控制方法
CN105373274B (zh) 触摸面板及其操作方法
CN104321723B (zh) 触觉输入输出装置
JP5746186B2 (ja) タッチ感知デバイス
KR101322373B1 (ko) 입력장치
CN104679233A (zh) 用于生成摩擦和振动触感效果的系统和方法
CN105593792A (zh) 驱动控制装置、电子设备以及驱动控制方法
EP3455704A1 (en) Multimodal haptic effects
JP2018128741A (ja) 制御装置、入力システムおよび制御方法
KR20150047455A (ko) 터치 및 햅틱 디바이스
JP2019145146A (ja) 表面特徴を生成するために波形テッセレーションを使用する装置、システム及び方法
KR101528797B1 (ko) 압전 고분자를 사용한 햅틱 피드백 디바이스
JP2010282665A (ja) 入力装置および入力装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240319

Address after: Kanagawa, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Ri Ben

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Ri Ben

TR01 Transfer of patent right