CN104321723B - 触觉输入输出装置 - Google Patents

触觉输入输出装置 Download PDF

Info

Publication number
CN104321723B
CN104321723B CN201380027409.6A CN201380027409A CN104321723B CN 104321723 B CN104321723 B CN 104321723B CN 201380027409 A CN201380027409 A CN 201380027409A CN 104321723 B CN104321723 B CN 104321723B
Authority
CN
China
Prior art keywords
touch
touch location
vibration
input
panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380027409.6A
Other languages
English (en)
Other versions
CN104321723A (zh
Inventor
荒木昭
荒木昭一
广濑良文
藤亩健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Electronic Systems Co ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104321723A publication Critical patent/CN104321723A/zh
Application granted granted Critical
Publication of CN104321723B publication Critical patent/CN104321723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种能够确认输入结果的触觉输入输出装置，具有：面板(101)，受理用户的触摸输入并通过振动来输出结果；触摸信息取得部(103)，取得在面板的多个位置同时检测的触摸位置；顺序输入判定部(105)，根据在面板(101)同时检测出的多个触摸位置的检测顺序和空间顺序，决定与在设定信息存储部(104)中存储的空间顺序对应的设定信息；振动提示位置决定部(107)，将与所决定的设定信息对应的空间顺序的触摸位置决定为提示振动的第1触摸位置，将同时检测出的第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置；多点同时振动控制部(109)，按照各触摸位置同时控制面板(101)的振动，以便使在第1触摸位置提示规定的振动，在第2触摸位置不提示所述规定的振动。

Description

触觉输入输出装置
技术领域
本发明是关于在向能够检测触摸位置的面板进行了基于触摸操作的输入时，通过使面板振动将基于触摸操作的输入已被受理这一情况输出给用户的发明。本发明特别涉及触觉输入输出装置及电子设备，在用多个手指进行了触摸操作时，通过同时对多个手指分别提示不同的振动，将输入已被受理这一情况提示给用户。
背景技术
近年来，在智能电话、平板电脑、车载用导航设备、个人电脑、游戏机、ATM、票券机等各种设备中安装了触摸屏或触摸垫。在这些设备中，检测用户触摸触摸屏的位置来操作在触摸位置显示的GUI。通常，触摸屏与机械的按钮开关不同，在操作GUI时不能得到如同按压按钮开关那样的感觉，因而通过在操作GUI时使触摸屏振动来让用户识别已受理输入的结果的技术得到应用。
在专利文献1中公开了这样的技术，根据使触摸屏振动的振动模式，通过触觉对触摸触摸屏的操作者的指尖进行信息的提供，并将触摸状态下的指尖引导到所显示的规定的按钮位置。
现有技术文献
专利文献
专利文献1：日本专利第3888099号
发明概要
发明要解决的问题
在专利文献1中公开了这样的技术，根据振动模式，通过触觉对触摸触摸屏的操作者的指尖进行信息的提供，并将触摸状态下的指尖引导到所显示的规定的按钮位置。但是，根据专利文献1记载的技术，由于需要将手指引导到操作对象的按钮位置，因而存在不能进行快速的输入操作的问题。因此，本发明提供用户能够根据面板振动进行输入结果的确认的触觉输入输出装置。
发明内容
用于解决问题的手段
本发明的触觉输入输出装置，该触觉输入输出装置具有：面板，受理用户进行的触摸输入并通过振动来输出结果；多个致动器，设置在所述面板的彼此不同的位置，用于使所述面板振动；触摸信息取得部，取得在所述面板的多个位置被同时检测的触摸位置；设定信息存储部，将要触摸输入的设定信息与触摸位置的空间顺序关联起来进行存储；顺序输入判定部，根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算表示被同时检测的多个触摸位置的空间关系的空间顺序，将计算出的所述空间顺序与在所述设定信息存储部中存储的空间顺序进行比较，并决定与计算出的所述空间顺序对应的设定信息；振动提示位置决定部，将所述多个触摸位置中与所决定的所述设定信息对应的触摸位置决定为第1触摸位置，将所述多个触摸位置中第1触摸位置以外的触摸位置决定为第2触摸位置；以及多点同时振动控制部，计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示规定的振动，在所述第2触摸位置不提示所述规定的振动。
另外，这些总括性或者具体性的方式也可以以系统、方法、集成电路、计算机系统、记录介质或者存储器的方式来实现，还可以以系统、方法、集成电路、计算机系统、记录介质或者存储器的任意组合来实现。
本发明的实施方式提供的更进一步的益处和优点根据说明书和附图将更加明确。存在这些益处和优点是根据各个实施方式和说明书和附图的特点而独立得到的情况，为了得到一个以上的益处和优点，不一定需要提供全部方式。
发明效果
本发明的一个方式的触觉输入输出装置的效果之一是，通过控制使在用户触摸的哪个触摸位置提示振动，能够让用户适当确认被受理的设定信息。
附图说明
图1是表示实施方式1的触觉输入输出装置的结构的框图。
图2是表示实施方式1的触觉输入输出装置的构造的图。
图3是表示在实施方式1的触觉输入输出装置中使用的设定信息的一例的图。
图4是表示实施方式1的触觉输入输出装置的动作的流程图。
图5A是表示选择内容的触摸输入和面板的振动位置的一例的图。
图5B是表示提高音量的触摸输入和面板的振动位置的一例的图。
图5C是表示降低音量的触摸输入和面板的振动位置的一例的图。
图6A是表示再现或暂停的触摸输入和面板的振动位置的一例的图。
图6B是表示将内容回退的触摸输入和面板的振动位置的一例的图。
图6C是表示将内容快进的触摸输入和面板的振动位置的一例的图。
图7A是表示触感信号的一例的图。
图7B是表示触感信号的一例的图。
图8是表示实施方式1的多点同时振动控制部的结构的一例的框图。
图9是表示振动从致动器传递到面板上的某个位置的路径的图。
图10A是表示TSP的一例的图。
图10B是表示TSP响应的一例的图。
图10C是表示TSP的反函数的一例的图。
图10D是表示根据TSP响应计算的脉冲响应的一例的图。
图11是表示实施方式1的多点同时振动控制部的动作的流程图。
图12是说明实施方式1的多点同时振动控制部的处理动作的图。
图13是表示滤波器的一例的图。
图14是表示驱动信号的一例的图。
图15是表示各触摸位置的面板的振动的实验结果的图。
图16是表示实施方式2的触觉输入输出装置的结构的框图。
图17是表示实施方式2的触觉输入输出装置的动作的流程图。
图18是表示在实施方式2的触觉输入输出装置中使用的设定信息的一例的图。
图19A是表示降低音轨设定的触摸输入的一例的图。
图19B是表示提高音轨设定的触摸输入的一例的图。
图20是表示实施方式2的触觉输入输出装置的结构的框图。
图21是表示被层次化的设定信息的一例的图。
图22是表示实施方式2的触觉输入输出装置的动作的流程图。
图23是表示被层次化的设定信息的一例的图。
具体实施方式
本发明的一个方式的触摸屏的控制方法包括：检测在触摸屏表面或者其附近多触摸输入的包括第1触摸输入和第2触摸输入的至少两个输入；检测所述第1触摸输入所输入的位置即第1位置和所述第2触摸输入所输入的位置即第2位置；判定所述第1触摸输入和所述第2触摸输入的检测顺序；根据所述第1位置与所述第2位置的位置关系和所述检测顺序，选择及执行指定的动作；以及在使所述第1位置的附近和所述第2位置的附近中的一方振动的步骤中，使与第1触摸输入和第2触摸输入中新检测出的一个输入对应的位置附近振动。
根据这种结构，通过控制在用户的哪个触摸位置提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。
本发明的一个方式的触摸屏控制装置具有：能够进行多触摸输入而构成的触摸屏；多个致动器；以及处理器，所述处理器构成为进行以下控制：检测在触摸屏表面或者其附近多触摸输入的包括第1触摸输入和第2触摸输入的至少两个输入，检测所述第1触摸输入所输入的位置即第1位置和所述第2触摸输入所输入的位置即第2位置，判定所述第1触摸输入和所述第2触摸输入的检测顺序，根据所述第1位置与所述第2位置的位置关系和所述检测顺序，选择及执行指定的动作，在使所述第1位置的附近和所述第2位置的附近中的一方振动的步骤中，使与第1触摸输入和第2触摸输入中新检测出的一个输入对应的位置附近振动。
根据这种结构，通过控制在用户的哪个触摸位置提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。
本发明的另一个方式的触觉输入输出装置具有：面板，受理用户进行的触摸输入并通过振动来输出结果；多个致动器，设置在所述面板的彼此不同的位置，用于使所述面板振动；触摸信息取得部，取得在所述面板的多个位置被同时检测的触摸位置；设定信息存储部，将要触摸输入的设定信息与触摸位置的空间顺序关联起来进行存储；顺序输入判定部，根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算表示被同时检测的多个触摸位置的空间关系的空间顺序，将计算出的所述空间顺序与在所述设定信息存储部中存储的空间顺序进行比较，并决定与计算出的所述空间顺序对应的设定信息；振动提示位置决定部，将所述多个触摸位置中与所决定的所述设定信息对应的触摸位置决定为第1触摸位置，将所述多个触摸位置中第1触摸位置以外的触摸位置决定为第2触摸位置；以及多点同时振动控制部，计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示规定的振动，在所述第2触摸位置不提示所述规定的振动。
根据这种结构，通过根据与作为选择项的多个设定信息预先关联起来的触摸位置的空间顺序、控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。并且，通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI即不需注视面板，即可容易在面板上的任意位置选择多个设定信息。
本发明的另一个方式的触觉输入输出装置还具有：设定信息变更部，变更由所述顺序输入判定部决定的所述设定信息的设定值；以及提示振动决定部，根据所述设定信息的设定值，决定表示在所述第1触摸位置提示的振动的触感信号。
根据这种结构，用户能够根据基于触感信号的振动来确认被受理的设定信息的设定值。
本发明的另一个方式的触觉输入输出装置包括受理用户进行的触摸输入并通过振动来输出结果的面板，该触觉输入输出装置具有：面板；多个致动器，设置在所述面板的彼此不同的位置，用于使所述面板振动；触摸信息取得部，取得在所述面板的多个位置被同时检测的触摸位置；设定信息存储部，将要触摸输入的设定信息与触摸位置的移动方向关联起来进行存储；移动输入判定部，根据在所述面板检测出的多个触摸位置的时间序列信息，计算所述多个触摸位置的移动方向，并与在所述设定信息存储部中存储的移动方向进行比较，以决定与计算出的移动方向对应的设定信息；设定信息变更部，根据所述触摸位置有无移动、移动距离、移动次数、移动速度中的至少一项，变更由所述移动输入判定部决定的所述设定信息的设定值；振动提示条件决定部，在所述多个触摸位置的移动方向相同时，计算相对于所述相同的移动方向的开头顺序的触摸位置，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置；提示振动决定部，根据所述设定信息的设定值，生成表示在所述第1触摸位置提示的振动的触感信号；以及多点同时振动控制部，计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示振动，在所述第2触摸位置不提示振动。
根据这种结构，通过判定使在触摸多个触摸位置的状态下移动的移动输入，并根据移动方向变更提示振动的触摸位置，用户能够根据触觉确认设备受理的移动输入的方向及操作对象的行进方向。
在本发明的另一个方式的触觉输入输出装置中所述振动提示条件决定部在所述多个触摸位置的移动方向相同时，计算相对于所述相同的移动方向的开头顺序的触摸位置，当在触摸位置的移动中以及/或者所述移动的停止位置附近所述触摸位置继续的情况下，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置。
根据这种结构，即使是在移动输入停止后，也能够根据振动确认被受理的设定信息及设定值。
本发明的另一个方式的触觉输入输出装置包括受理用户进行的触摸输入并通过振动来输出结果的面板，该触觉输入输出装置具有：面板；触摸信息取得部，取得在所述面板的多个位置被同时检测的触摸位置；多个致动器，设置在所述面板的彼此不同的位置，用于使所述面板振动；设定信息层次化存储部，将设备的设定信息分层为多个选择模式，并与触摸位置的空间顺序关联起来进行存储；层次化信息输入判定部，根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算被同时检测出的多个触摸位置的检测顺序和空间顺序，根据按照所述检测顺序而选择的所述触摸位置的空间顺序、和在所述设定信息层次化存储部中存储的第N层的选择模式的设定项目的空间顺序，决定与所选择的所述触摸位置的空间顺序一致的所述设定项目并进入第N+1层的选择模式，并且，在检测出第1输入模式时进入第1层的选择模式，在检测出第2输入模式时进入第N-1层的选择模式；设定信息变更部，变更由所述层次化信息输入判定部决定的所述设定信息的设定值；各层振动提示条件决定部，按照每个层以及/或者每个选择模式，决定提示振动的第1触摸位置和不提示振动的第2触摸位置；提示振动决定部，根据所述第1输入模式、所述第2输入模式、所述设定信息的设定值、或者层值N中的至少一项，决定表示在所述第1触摸位置提示的振动的触感信号；以及多点同时振动控制部，计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示振动，在所述第2触摸位置不提示振动。
根据这种结构，对于被层次化的设定项目，通过振动来通知选择了哪层、哪个设定项目，由此即使是在多个设备的功能混合存在的系统中，用户也能够不注视触摸输入用的面板即可进行输入设定。
在本发明的另一个方式的触觉输入输出装置中，所述第2输入模式是在各选择模式中与选择项的数量相同数量的触摸位置被检测，而且所述触摸位置之外的其他触摸位置被检测的输入模式。
根据这种结构，对于被层次化的设定项目，通过振动来通知选择了哪层、哪个设定项目，由此即使是在多个设备的功能混合存在的系统中，用户也能够不注视触摸输入用的面板即可进行输入设定。
本发明的另一个方式的触觉输入输出方法根据用户进行的触摸输入使面板振动，并控制在所述面板附近的彼此不同的位置设置的用于使所述面板振动的多个致动器，该触觉输入输出方法包括如下步骤：取得在所述面板的多个位置被同时检测的触摸位置；根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算被同时检测的多个触摸位置的空间顺序；决定与所述空间顺序相关联的设定信息；将所述多个触摸位置中、与所决定的所述设定信息对应的触摸位置决定为提示振动的第1触摸位置，将所述多个触摸位置中、被同时检测的第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置；以及计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示规定的振动，在所述第2触摸位置不提示所述规定的振动。
根据这种结构，通过根据与作为选择项的多个设定信息预先关联起来的触摸位置的空间顺序、控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。并且，通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI即不需注视面板，即可容易在面板上的任意位置选择多个设定信息。
本发明的另一个方式的触觉输入输出方法还包括：变更所决定的所述设定信息的设定值；以及根据所述设定信息的设定值，决定表示在所述第1触摸位置提示的振动的触感信号。
根据这种结构，用户能够根据基于触感信号的振动来确认被受理的设定信息的设定值。
本发明的另一个方式的触觉输入输出方法根据用户进行的触摸输入使面板振动，并控制在所述面板附近的彼此不同的位置设置的用于使所述面板振动的多个致动器，该触觉输入输出方法包括如下步骤：取得在所述面板的多个位置被同时检测的触摸位置；根据在所述面板检测出的多个触摸位置的时间序列信息，计算所述多个触摸位置的移动方向；决定与所述触摸位置的移动方向对应的设定信息；根据所述触摸位置有无移动、移动距离、移动次数、移动速度中的至少一项，变更所决定的所述设定信息的设定值；在所述多个触摸位置的移动方向相同时，计算相对于所述相同的移动方向的开头顺序的触摸位置，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置；根据所述设定信息的设定值，生成表示在所述第1触摸位置提示的振动的触感信号；以及计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示振动，在所述第2触摸位置不提示振动。
根据这种结构，通过判定使在触摸多个触摸位置的状态下移动的移动输入，并根据移动方向变更提示振动的触摸位置，用户能够根据触觉确认设备受理的移动输入的方向及操作对象的行进方向。
本发明的另一个方式的计算机程序是触觉输入输出方法用的计算机程序，该触觉输入输出方法根据用户进行的触摸输入使面板振动，并控制在所述面板附近的彼此不同的位置设置的用于使所述面板振动的多个致动器，该计算机程序用于使计算机执行包括如下步骤的触觉输入输出方法：取得在所述面板的多个位置被同时检测的触摸位置；根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算被同时检测的多个触摸位置的空间顺序；决定与所述空间顺序相关联的设定信息；将所述多个触摸位置中、与所决定的所述设定信息对应的触摸位置决定为提示振动的第1触摸位置，将所述多个触摸位置中、被同时检测的第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置；以及计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示规定的振动，在所述第2触摸位置不提示所述规定的振动。
根据这种结构，通过根据与作为选择项的多个设定信息预先关联起来的触摸位置的空间顺序、控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。并且，通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI即不需注视面板，即可容易在面板上的任意位置选择多个设定信息。
本发明的另一个方式的存储了计算机程序的存储器，该计算机程序用于根据用户进行的触摸输入使面板振动，并控制在所述面板附近的彼此不同的位置设置的用于使所述面板振动的多个致动器，该计算机程序包括以下指令：取得在所述面板的多个位置被同时检测的触摸位置；根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算被同时检测的多个触摸位置的空间顺序；决定与所述空间顺序相关联的设定信息；将所述多个触摸位置中、与所决定的所述设定信息对应的触摸位置决定为提示振动的第1触摸位置，将所述多个触摸位置中、被同时检测的第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置；以及计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示规定的振动，在所述第2触摸位置不提示所述规定的振动。
根据这种结构，通过根据与作为选择项的多个设定信息预先关联起来的触摸位置的空间顺序、控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。并且，通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI即不需注视面板，即可容易在面板上的任意位置选择多个设定信息。
本发明的另一个方式的存储了计算机程序的存储器，该计算机程序包括以下指令：检测在触摸屏表面或者其附近多触摸输入的包括第1触摸输入和第2触摸输入的至少两个输入；检测所述第1触摸输入所输入的位置即第1位置和所述第2触摸输入所输入的位置即第2位置；判定所述第1触摸输入和所述第2触摸输入的检测顺序；根据所述第1位置与所述第2位置的位置关系和所述检测顺序，选择及执行指定的动作；在使所述第1位置的附近和所述第2位置的附近中一方振动的步骤中，使与第1触摸输入和第2触摸输入中新检测出的一个输入对应的位置附近振动。
根据这种结构，通过控制在用户的哪个触摸位置提示振动，能够容易让用户确认通过触摸输入哪个设定信息被设备受理了。
在本说明书中，多触摸(multi touch)是指具有同时触摸面板的状态的多个触摸。换言之，多触摸是指在某个时刻触摸面板的多个触摸。即，多触摸是指针对面板上的多个位置的多个触摸，而且是在时间上重复的多个触摸。因此，多触摸不仅包括同时开始的多个触摸，而且也包括在不同的时刻开始的、在某个时刻被同时检测出的多个触摸。具体地讲，当在第1触摸开始后、在第1触摸继续的状态下开始第2触摸的情况下，在第2触摸的开始时刻，第1触摸和第2触摸相当于多触摸。
(成为本发明的基础的认识)
发明者们在通过使触摸屏纵横地水平振动将手指引导到在GUI画面上显示的按钮的技术中，发现了不能进行快速的输入操作的问题。并且，发现了在输入多个设定信息的情况下或在分层菜单等复杂的操作中，需要频繁地引导手指，存在输入操作烦杂的问题。
本发明提供一种触觉输入输出装置，例如在用户操作能够同时检测多个触摸位置的面板并从多个设定信息中选择一个设定信息的情况下，根据检测出的多个触摸位置的空间顺序，确定预先存储的各个设定信息与触摸位置的空间顺序之间的对应性，检测将位于与用户选择的设定信息对应的空间顺序的触摸位置的手指暂且离开面板、并在规定的时间内再次触摸面板的输入(以下称为轻触输入)，通过在轻触输入的触摸位置提示振动、而且在轻触输入的触摸位置以外的触摸位置不提示振动，即通过控制在用户的哪个手指提示振动来确认被受理的设定信息，不需注视面板即可触摸面板上的任意位置，并进行多个设定信息的选择和基于面板振动的输入结果的确认。取代预先利用图标或GUI(Graphical UserInterface：图形用户界面)等设定输入区域并让用户仅在该输入区域的位置进行输入，而能够在面板上的任意位置，不需注视面板即可进行多个设定信息的选择和基于面板振动的输入结果的确认。
下面，参照附图说明本发明的实施方式。
另外，下面说明的实施方式均用于示出总括性的或者具体性的示例。在下面的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等仅是一例，其主旨不是限定权利要求书。并且，关于下面的实施方式的构成要素中、没有在表示最上位概念的独立权利要求中记载的构成要素，仅是作为任意的构成要素进行说明的。
(实施方式1)
实施方式1以无需注视进行触摸输入的面板即可根据使面板振动的触觉反馈来操作设备作为目的。具体地讲，在用户操作能够同时检测多个触摸位置的面板、并从多个设定信息中选择一个设定信息的情况下，当用户将手指轻触对应的空间顺序的触摸位置来选择与触摸位置的空间顺序对应地存储的设定信息时，通过仅在进行轻触的手指的触摸位置提示振动、在进行轻触的手指的位置以外的触摸位置不提示振动，即通过控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，用户能够容易确认哪个设定信息被设备受理了，而且通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI(例如图标和按钮)，并且不需注视面板，即可容易在面板上的任意位置进行多个设定信息的选择。
图1是表示本发明的实施方式的触觉输入输出装置的结构的框图。
本实施方式的触觉输入输出装置100具有面板101、致动器102、触摸信息取得部103、设定信息存储部104、顺序输入判定部105、设定信息变更部106、振动提示位置决定部107、提示振动决定部108、多点同时振动控制部109。各构成要素可以利用专用的硬件构成，或者也可以通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或者处理器190等的程序执行部读出在硬盘或者半导体存储器等存储器和记录介质中记录的软件程序并执行程序来实现。以下，对各构成要素进行说明。
<面板101>
面板101是传递振动的部件，通过受理用户的触摸操作并进行振动，将触摸操作已被受理这一情况通知用户。关于面板的材质，优选玻璃、聚碳酸酯、丙烯、ABS等对用户的触摸操作具有耐久性的材料。但是，不限于这些材料，只要是能够对用户反馈振动的部件即可。
另外，不需要对面板101的形状、大小、厚度、硬度及固定方法等进行特殊限定。但是，从致动器102到面板101上的各位置(以后也称为“点”)的振动的传递特性，根据面板101的形状、大小、厚度、硬度及固定方法等而变化。
<致动器102>
致动器102使面板101振动，并对用户提示触觉。关于致动器102，例如能够使用压电元件、振动马达、音圈、人造肌肉等。
图2是致动器102在面板101上的配置的一例。致动器102例如用粘接剂等(未图示，在致动器102是压电元件时使用环氧树脂类的粘接剂等即可)固定在面板101上。
在本实施方式中，说明将致动器102的数量设为触摸操作面板101的触摸位置的数量以上的示例。因此，对于数量与同时被检测的致动器102的数量M(M为2以上的整数)相同的触摸位置，能够提示彼此不同的振动。在本实施方式中，如图2所示，设致动器102的数量为4，设触摸位置的数量为2(手指1和手指2)。
不需要对致动器102的配置位置进行特殊限定。例如，只要以能够使面板101有效振动的方式配置多个致动器102即可。另外，设致动器102的数量为4，但不限于此。
<触摸信息取得部103>
触摸信息取得部103取得用户对面板101的多个触摸位置。
为了便于说明，如图2所示，例如在用两根手指即手指1和手指2进行触摸操作的情况下，分别用P1(x1、y1)、P2(x2、y2)表示手指1和手指2的两个触摸位置。在图2中，使用以面板101的相对于纸面时的左上角为原点O的二维平面的xy坐标表示触摸位置。
触摸信息取得部103例如能够使用静电电容方式和电阻膜方式等的多触摸屏。例如，在触摸信息取得部103由静电电容方式的多触摸屏构成的情况下，触摸信息取得部103根据基于多触摸的静电电容的变化来取得多个触摸位置。另外，例如在触摸信息取得部103由感压方式的多触摸屏构成的情况下，触摸信息取得部103根据基于多触摸的压力的变化来取得多个触摸位置。
另外，不需要将多触摸的检测限定为静电电容方式或者感压方式的多触摸屏。也可以是任何方式的多触摸检测方式。例如，也可以利用CCD或CMOS摄像机拍摄手指的位置，并通过图像处理来取得手指的位置。或者，也可以采用将面板101设为透明的丙烯部件使从面板101的侧壁入射红外光，利用全反射的性质将红外光封闭在面板101内，利用具有红外滤波器的摄像机检测由于因触摸操作而形成的面板101的变形而泄露的红外光的FTIR(Frustrated Total Internal Reflection：受抑全内反射)方式等。
<设定信息存储部104>
设定信息存储部104将设定项目、输入项目、基于输入项目的选择的设定值的增减值、设定值等作为设备的设定信息，与触摸次数和触摸位置的空间顺序等有关触摸输入的信息关联起来进行存储，由硬盘和半导体存储器等构成。
<顺序输入判定部105>
顺序输入判定部105根据在面板101同时检测的多个触摸位置的时间序列信息，计算被同时检测的触摸位置的检测顺序和空间顺序，将根据所述检测顺序而选择的所述触摸位置的空间顺序与在所述设定信息存储部104中存储的空间顺序进行比较，并决定对应的设定项目。
<设定信息变更部106>
设定信息变更部106变更由顺序输入判定部105决定的设定项目的设定值。
<振动提示位置决定部107>
振动提示位置决定部107将与所述决定的设定项目对应的空间顺序的触摸位置决定为提示振动的第1触摸位置，将同时检测的第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置。即，将与由顺序输入判定部105决定的设备的设定项目对应的顺序的触摸位置决定为使其进行振动的第1触摸位置，而且同时将其它触摸位置决定为不提示振动的第2触摸位置。由此，用户通过从在触摸面板101时的多个触摸位置即多个进行触摸的手指中的哪个手指感觉到振动，能够确认用户决定的设定项目已被设备受理。
<提示振动决定部108>
提示振动决定部108根据所述设定项目的设定值决定表示在所述第1触摸位置提示的振动的触感信号。
<多点同时振动控制部109>
多点同时振动控制部109计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照各触摸位置同时控制所述面板的振动，以便使在所述第1触摸位置提示所述触感信号所表示的振动，而且在所述第2触摸位置不提示振动。
<动作>
根据图3～图15说明如上所述构成的本实施方式1的触觉输入输出装置100的动作。
图4是表示本发明的实施方式的触觉输入输出装置100的动作的流程图，根据该图详细说明本实施方式1的触觉输入输出装置100的动作。
在本实施方式1中，例如说明如图5所示在电子设备10安装了触觉输入输出装置100的示例，该电子设备10对在监视器110显示的影像内容111进行再现控制。在此，说明监视器110和触觉输入输出装置100被搭载于物理上分离的控制器的示例。关于控制器，例如能够采用安装了触摸屏或触摸垫的遥控器、或连接网络的平板电脑或智能电话的方式。根据该示例说明本实施方式的如下动作，即在注视被显示于监视器110的影像内容111的状态下，不需注视用户手头的面板101即可进行例如音量设定和再现设定的操作。
(步骤S101：触摸信息取得)
触摸信息取得部103取得用户对面板101的多个触摸位置。
在图5A的示例中，在时刻t1取得手指1在面板101上的x轴上的触摸位置x1。例如以10ms等的采样间隔取得触摸位置x1作为时间序列信息。在图5B的示例中，当在时刻t1取得手指1在面板101上的x轴上的触摸位置x1后、在面板101上检测出手指1的触摸位置x1的状态下，在时刻t2检测与触摸位置x1不同的手指2在x轴上的其它触摸位置x2。在图5C的示例中，当检测出在面板101上在时刻t1被检测出的手指2在x轴上的触摸位置x1的状态下，在时刻t2检测与x轴上的触摸位置x1不同的手指1在x轴上的其它触摸位置x2。
(步骤S102：顺序输入判定)
顺序输入判定部105根据按照在面板101持续检测出的触摸位置和在面板101同时检测出的其它触摸位置计算的触摸位置的空间顺序，决定在设定信息存储部104中预先与触摸位置的空间顺序关联起来进行存储的输入项目。
在设定信息存储部104中，将设定项目、输入项目、基于输入项目的选择的设定值的增减值、设定值等作为设备的设定信息，与触摸次数和触摸位置的空间顺序等有关触摸输入的信息关联起来进行存储。
图3表示设定信息的一例。如图3所示，例如在设备是再现影像和音乐等内容的设备的情况下，设备的设定项目有内容选择、音量设定、快进/回退等再现设定，作为各自的设定值存储表示音量等级和回退速度/快进速度等的数值。关于用户通过触摸输入而选择的输入项目，对于内容选择，将用一根手指进行触摸输入的第1顺序的触摸位置与作为输入项目的“触摸位置坐标”关联起来进行存储。对于音量设定，将基于第1顺序的触摸位置的输入项目即“音量减小”、基于第2顺序的触摸位置的输入项目即“音量增大”，与同时检测出的两个触摸位置的空间顺序关联起来进行存储。另外，对于再现设定，将基于第1顺序的触摸位置的输入项目设为“回退”、将基于第2顺序的触摸位置的输入项目设为“再现/暂停”、将基于第3顺序的触摸位置的输入项目设为“快进”，并与同时检测出的三个触摸位置的空间顺序关联起来进行存储。
另外，关于一次能够选择的输入项目的项目数，简单地讲是在触摸信息取得部103能够检测的触摸次数，但通过将同时利用的触摸位置进行组合，也能够设定比触摸次数多的设定项目。
顺序输入判定部105根据触摸位置的检测顺序和空间顺序进行图3所示的[1]～[6]的输入判定。在此，说明选择与检测顺序为最新的触摸位置的空间顺序相对应的输入项目的示例。
<内容选择的输入判定>
对于输入判定[1]，使用图3、图5A来说明内容选择的输入判定。在由触摸信息取得部103检测出的触摸次数为1时，如图3所示判定为在设定信息存储部104中存储的内容选择的输入，如图5A所示，选择与作为手指1的输入的第1顺序的触摸位置x1相对应、且按照图3所示进行存储的输入项目即触摸位置坐标。
<音量设定的输入判定>
对于输入判定[2]和输入判定[3]，使用图3、图5B和图5C来说明音量设定的输入判定。在由触摸信息取得部103检测出的触摸次数为2时，如图3所示选择在设定信息存储部104中存储的音量设定。下面，说明判定两个触摸位置的检测顺序和空间顺序并变更音量设定的示例。在此，说明将基于第1顺序的触摸位置的输入项目存储为“音量减小”、将基于第2顺序的触摸位置的输入项目存储为“音量增大”的示例。在本实施方式中，使用图5B和图5C来说明在作为水平方向(面板的长轴方向)的x坐标上执行在面板101上的触摸位置的检测顺序及空间顺序的判定的示例，但不限于此，能够在任何方向的坐标上进行判定。例如，也可以在作为垂直方向的y坐标上执行判定。
对输入判定[3]进行说明。在图5B中表示从持续检测出手指1的触摸位置x1的状态到检测出手指2在面板101上的其它触摸位置x2的状态，检测顺序是x1、x2，并且判定最新的触摸位置是x2。此时，最新的触摸位置x2满足x1<x2，当在x坐标上从坐标值较小者开始对触摸位置排序时，x1被排序为第1顺序的触摸位置，x2被排序为第2顺序的触摸位置，并且判定基于手指2的最新的触摸位置x2的输入是基于第2顺序的触摸位置的输入，并决定选择了“音量增大”的输入项目。
对输入判定[2]进行说明。在图5C中表示从持续检测出手指2的触摸位置x1的状态到检测出手指1在面板101上的其它触摸位置x2的状态，检测顺序是x1、x2，并且判定最新的触摸位置是x2。手指1的最新触摸位置x2满足x2<x1，当在x坐标上从坐标值较小者开始对触摸位置排序时，其它触摸位置x2被排序为第1顺序的触摸位置，x1被排序为第2顺序的触摸位置，并且判定基于手指1的最新触摸位置x2的输入是基于第1顺序的触摸位置的输入，并决定选择了“音量减小”的输入项目。
<再现设定的输入判定>
对于输入判定[4]～输入判定[6]，使用图3、图6A、图6B和图6C来说明再现设定的判定。在由触摸信息取得部103检测出的触摸次数为3时，如图3所示选择在设定信息存储部104中存储的再现设定。下面，说明判定三个触摸位置的检测顺序和空间顺序并变更再现设定的示例。在此，说明将基于第1顺序的触摸位置的输入项目存储为“回退”、将基于第2顺序的触摸位置的输入项目存储为“再现/暂停”的切换、将基于第3顺序的触摸位置的输入项目存储为“快进”的示例。使用图6A、图6B和图6C来说明在x坐标上执行在面板101上的触摸位置的检测顺序及空间顺序的判定。
对输入判定[5]进行说明。图6A是用户进行“再现/暂停”的输入的示例。首先，分别在触摸位置x1、x2、x3检测出手指1、手指2、手指3。此时，由于触摸次数是3，因而顺序输入判定部105根据在设定信息存储部104中按照图3所示存储的设定信息，判定是关于再现设定的输入。然后，用户进行将手指2暂且离开面板101、并在规定的时间内(例如200ms以内)再次触摸101的输入，以便再现影像内容111。以下将该输入称为“轻触输入”。此时，从持续检测出手指1和手指3的触摸位置x1及x3的状态下检测出手指2的其它触摸位置x2，检测顺序是x2的触摸位置成为最新的。并且，触摸位置x1、x2、x3的顺序关系是x1<x2<x3，基于用户的手指2的轻触输入在最新的检测顺序的触摸位置x2，且成为第2顺序的触摸位置，判定为按照图3所示在设定信息存储部104中存储的“再现/暂停”的输入项目被选择。
对输入判定[4]进行说明。图6B是用户进行“回退”输入的示例。首先，分别在触摸位置x1、x2、x3检测出手指1、手指2、手指3。此时，由于触摸次数是3，因而顺序输入判定部105根据在设定信息存储部104中按照图3所示存储的设定信息，判定是有关再现设定的输入。然后，用户进行将手指1暂且离开面板101、并在规定的时间内(例如200ms以内)再次触摸101的轻触输入，以便将影像内容111回退。此时，从持续检测出手指2和手指3的触摸位置x2及x3的状态下检测出手指1的其它触摸位置x1，检测顺序是x1的触摸位置成为最新的。并且，触摸位置x1、x2、x3的顺序关系是x1<x2<x3，基于用户的手指1的轻触输入在最新的检测顺序的触摸位置x1，且成为第1顺序的触摸位置，判定为按照图3所示在设定信息存储部104中存储的“回退”的输入项目被选择。
对输入判定[6]进行说明。图6C是用户进行“快进”输入的示例。首先，分别在触摸位置x1、x2、x3检测出手指1、手指2、手指3。此时，由于触摸次数是3，因而顺序输入判定部105根据在设定信息存储部104中按照图3所示存储的设定信息，判定是有关再现设定的输入。然后，用户进行将手指3暂且离开面板101、并在规定的时间内(例如200ms以内)再次触摸101的轻触输入，以便将影像内容111快进。此时，从持续检测出手指1和手指2的触摸位置x1及x2的状态下检测出手指3的其它触摸位置x3，检测顺序是x3的触摸位置成为最新的。并且，触摸位置x1、x2、x3的顺序关系是x1<x2<x3，基于用户的手指3的轻触输入在最新的检测顺序的触摸位置x3，且成为第3顺序的触摸位置，判定为按照图3所示在设定信息存储部104中存储的“快进”的输入项目被选择。
(步骤S103：设定信息变更)
设定信息变更部106将由顺序输入判定部105决定的设定项目的设定值变更为所述最新的触摸位置的触摸时刻。
<内容选择的设定值变更>
使用图3、图5A说明内容选择的设定值变更。根据在步骤S102选择的输入项目即触摸位置坐标，变更图3的输入判定[1]的设定值即选择框显示坐标(图5A的选择框显示112的位置坐标)。在此，根据图5A所示的触摸位置坐标x1，通过选择框显示112来显示在监视器110中显示的内容A、B或者C的选择状况，例如当手指1在面板101上离开触摸位置x1时，确定内容选择。
<音量设定的设定值变更>
使用图3、图5B和图5C说明变更由触摸信息取得部103取得的触摸次数为2时的音量设定的设定值的示例。首先，如图5B所示，当在步骤S102由顺序输入判定部105判定的手指2的最新的触摸位置x2是第2顺序的触摸位置、对应的输入项目即“音量增大”被选择时，使用图3所示的设定值的增减值变更设定值。具体地讲，当检测出在第2顺序的触摸位置的轻触输入时，根据设定值的增减值来增减设定值。“音量增大”的设定值的增减值ΔV是+1，按照V＝V+ΔV，将音量等级加1。此时，在监视器110显示设定值显示部113，对用户提示设定值。在图3的示例中，音量设定的设定值是音量等级为“0,49”，当前的设定值是等级为15，因而此时音量等级的设定值为15+1＝16。然后，如图5C所示，在步骤S102由顺序输入判定部105判定的手指2的最新的触摸位置x2是第1顺序，“音量减小”被选择作为对应的输入项目。此时，设定值的增减值ΔV是-1，按照V＝V+ΔV，将音量等级减1。此时，在监视器110显示设定值显示部113，对用户提示设定值。
<再现设定的设定值变更>
使用图3、图6A、图6B和图6C说明变更由触摸信息取得部103取得的触摸次数为3时的再现设定的设定值的示例。通过步骤S102，在如图6A所示基于手指2的第2顺序的触摸位置x2的输入项目即“再现/暂停”被选择时，由顺序输入判定部105设定图3所示的输入项目的设定值。此时，在监视器110显示设定值显示部113，对用户提示设定值。具体地讲，在再现时对设置值设定1，在暂停时对设置值设定2。交替地设定再现和暂停。即，如果当前的设定值为1(再现)，则对设置值设定2(暂停)，如果当前的设定值为2(暂停)，则对设置值设定1(再现)。图3的再现设定的输入项目为第2顺序时的设定值为0，该值是在快进或者回退时设定的。然后，在如图6B所示基于手指1的第1顺序的触摸位置x1的输入项目即“回退”被选择时，根据设定值的增减值来增减设定值。“回退”的设定值的增减值为+1，将回退速度的等级加1。此时，在监视器110显示设定值显示部113，对用户提示设定值。回退速度的等级为1～4这4个阶段，设定在此之间的值。如图3所示当前的回退速度的设定值为0，这是因为当前设备的动作是快进，因而被设定为0，根据下一次的触摸位置x1的输入，设定值被设定为1。与图6B的回退一样，在图6C的基于手指3的触摸位置x3是第3顺序的触摸位置时，“快进”被选择作为输入项目，设定值的增减值为+1，将快进速度的设定值加1。此时，在监视器110显示设定值显示部113，对用户提示设定值。
(步骤S104：振动提示位置选择)
振动提示位置决定部107将所述最新的检测顺序的触摸位置决定为提示振动的第1触摸位置，将在所述最新的检测顺序的触摸位置被检测出来以前被检测出的触摸位置决定为不提示振动的第2触摸位置。即，将由顺序输入判定部105决定的与设备的输入项目对应的空间顺序的触摸位置决定为使其进行振动的第1触摸位置，同时将其它触摸位置决定为不提示振动的第2触摸位置。由此，用户通过从在触摸面板101的多个触摸位置即多个进行触摸的手指中的哪个手指感觉到振动，能够确认用户选择的输入项目已被设备受理。
另外，也可以是，在内容的“回退”和“快进”的输入中，当轻触输入了最新的触摸位置后在该位置持续检测出触摸位置的情况下，以规定的时间间隔提示与设定值对应的次数的刺激信号。另外，也可以是，当在内容中提供场景切换、人物信息等索引的情况下，在场景切换和人物信息出现的时刻提示振动。另外，也可以是，在为了提示“回退”或者“快进”的方向而持续检测多个触摸位置时，在“回退”时按照第2顺序、第1顺序的触摸位置的顺序提示振动，在“快进”时按照第1顺序、第2顺序的触摸位置的顺序，并以规定的时间间隔提示振动。
(步骤S105：提示振动决定)
提示振动决定部108根据所述设定项目的设定值以及/或者设定值的增减值，决定表示在所述第1触摸位置提示的振动的触感信号。
例如，由触摸信息取得部103取得的触摸位置的数为2，由顺序输入判定部105按照图3所示的判定基准选择“音量减小”或者“音量增大”的设定项目，其设定值的增减值为+1或者-1，因而在用户用手指在所述最新的触摸位置进行轻触输入时，生成例如图7A所示的触感信号，以便通知用户已将所述设定值增减1。图7A表示根据频率fc的正弦波的r周期量的信号s(n)生成所述触感信号，并按照式(1)所示，使用使r周期正好成为一半周期的调制频率fm来调制正弦波。
[数式1]
S(n)＝sin(2πfmnTs)sin(2πfcnTs)
其中，Ts表示采样周期。在图7A的示例中，fc＝200Hz、r＝10，因而调制频率fm是10Hz。这样生成的触感信号能够用作用于提示如点击一次物理开关那样的触感的信号(以下，称为一次刺激信号)，由此用户能够通过触觉确认已将所述设定值增减1。
同样，图7B表示使用使r周期正好成为一周期的调制频率fm来调制正弦波，能够用作用于提示如连续两次点击物理开关那样的触感的信号(以下，称为两次刺激信号)。例如，如图3所示，在快进速度的设定值是2时，通过提示如图7B所示的两次点击物理开关那样的触感，用户能够通过触觉确认根据触摸输入而设定的快进速度的设定值是2。
另外，触感信号不一定需要是如上所述生成的信号。例如，不需要进行如式(1)所示的调制。即，也可以采用正弦波作为触感信号。
另外，只要是人能够通过触觉而察觉到的频率，则频率fc可以是任何频率。例如，也可以根据面板101的振动特性决定频率fc。
例如，也可以决定成为使频率fc与面板101的共振频率一致。通过这样决定频率fc，能够减小通过致动器102传递给面板101的振动的衰减，能够有效地提示触感。
(步骤S106：多点同时振动控制)
多点同时振动控制部109计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照各触摸位置同时控制面板101的振动，以便使在所述第1触摸位置提示所述触感信号所表示的振动，在所述第2触摸位置不提示振动。
有关多点同时振动控制部109的具体结构和动作的一例，将在后面进行说明。
根据以上的结构和动作，本实施方式1的触觉输入输出装置100在用户操作能够同时检测多个触摸位置的面板101、并从多个设定信息中选择一个设定信息的情况下，根据由触摸信息取得部103检测出的多个触摸位置的检测顺序和空间顺序，由顺序输入判定部105按照与用户轻触输入的最新的检测顺序对应的触摸位置的空间顺序，选择在设定信息存储部104中预先与触摸位置的空间顺序关联起来进行存储的设定信息，由振动提示位置决定部108将与所选择的设定信息对应的空间顺序的触摸位置决定为提示振动的第1触摸位置，将第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置，多点同时振动控制部109驱动致动器102，使得在进行轻触的手指的触摸位置即第1触摸位置提示通过提示振动决定部108而与设定信息的设定值关联起来的振动，在进行轻触的手指的位置以外的触摸位置不提示所述振动。
由此，通过根据与作为选择项的多个设定信息预先关联起来的触摸位置的空间顺序，控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，能够让用户容易确认哪个设定信息已被设备受理了。并且，通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI即不需注视面板，即可容易在面板上的任意位置选择多个设定信息。
<多点同时振动控制部109的结构和动作的一例的说明>
在此，说明有关步骤S106的动作的、作为第1实施方式的构成要素的多点同时振动控制部109的结构和动作的一例。图8是表示多点同时振动控制部的更具体的结构的框图。本实施方式的多点同时振动控制部109具有传递特性存储部201、传递特性取得部202、滤波器计算部203、触感信号存储部204、和滤波器处理部205。下面，对各构成要素及动作进行说明。
<传递特性存储部201>
传递特性存储部201例如是硬盘或者半导体存储器。传递特性存储部201存储有关面板101上的各点的、从各致动器102到该点的传递特性。即，传递特性存储部201对于面板101上的多个位置和多个致动器102，与位置和致动器102的组合关联起来存储传递特性。
传递特性表示在系统中的输入和输出的关系。在此，致动器的驱动信号相当于输入，面板上的一点的振动相当于输出。通常，传递特性G(ω)用从系统的输出Y(ω)与对系统的输入X(ω)之比表示(G(ω)＝Y(ω)/X(ω))。例如，在输入X(ω)是脉冲的情况下(X(ω)＝1)，传递特性G(ω)与输出Y(ω)(脉冲响应)一致。
因此，在本实施方式中，传递特性存储部201存储有关面板101上的各点的从各致动器102到该点的脉冲响应作为传递特性。另外，脉冲响应可以用时间域表示，也可以用频率域表示。即，在传递特性存储部201中既可以存储脉冲响应的时间波形，也可以存储脉冲响应的频谱。
在此，面板101上的各点例如只要是面板101上的各分割区域的代表点(例如中心或者重心等)即可。分割区域例如是将面板101上的区域按照10mm单位分割成网格状而得到的。另外，分割区域的形状不一定需要是矩形状，也可以是其它的形状。并且，分割区域的大小不需要在所有的分割区域中是相同的大小。例如，分割区域的大小可以根据在面板101上的位置而不同。
在此，各分割区域越小(即分割区域的数量越多)，越能够提高触感提示的分辨率，但是用于存储传递特性的存储容量增大。即，分辨率和存储容量是取舍的关系，因而根据所需要的分辨率或者所允许的存储容量等决定各分割区域的大小即可。
以下，更详细地说明在传递特性存储部201中存储的传递特性。
在此，说明在传递特性存储部201中存储了从M个(M为2以上的整数)致动器102(A1、A2、…、AM)分别到面板101上的N个(N为2以上的整数)位置(P1(x1、y1)、P2(x2、y2)、…、PN(xN、yN))中各位置的M×N个传递特性的情况。
图9表示振动从致动器102传递到面板101上的某个位置的路径。
如图9所示，位置Pi的振动是将从致动器Aj直接到达位置Pi(xi、yi)的振动、和在面板101的端部反射并到达位置Pi(xi、yi)的振动等合成后的振动。因此，在传递特性中包括从致动器Aj到面板上的某个位置Pi的所有路径的传递的特性。
另外，传递特性既可以用时间域表述，也可以用频率域表述。用时间域表述的传递特性和用频率域表述的传递特性作为信息是等效的，且能够相互变换。
从致动器Aj到位置Pi(xi、yi)的传递特性例如通过测定在向致动器Aj输入脉冲时的位置Pi(xi、yi)的振动(脉冲响应)来取得。脉冲响应能够完全表述从致动器Aj到位置Pi(xi、yi)的系统的特性。因此，在本实施方式中，传递特性采用脉冲响应。
另外，通常在直接施加脉冲的情况下，脉冲的持续时间非常短，因而具有脉冲响应的SN比降低的倾向。因此，也可以使用TSP(Time Stretched Pulse：时域扩展脉冲)取代脉冲来测定脉冲响应。由此，能够得到SN比比较高的脉冲响应作为传递特性。以下，说明使用TSP测定脉冲响应的方法。
TSP如式(2)所示是通过使脉冲的相位与频率的平方成比例地变化，时间轴相比脉冲被拉伸的信号。图10A表示TSP的一例。
[数式2]
在式(2)中，H(n)表示频率域中的TSP。j表示虚数单位(-1的平方根)。k是常数，表示伸缩的程度。n表示被离散化的频率单位。H*表示H的复共轭。
使用对式(2)所示的TSP进行逆傅里叶变换得到的信号，对致动器Aj进行驱动，并测定在面板101上的位置Pi(xi、yi)的振动(以后称为“TSP响应”)。不需要限定测定方法，例如使用多普勒移位计等测定振动(TSP响应)。图10B表示TSP响应的一例。
使用测定出的TSP响应计算脉冲响应。具体地讲，使用式(2)所示的TSP的反函数进行卷积运算，由此计算脉冲响应。
[数式3]
在式(3)中，H-1(n)表示TSP的反函数。图10C表示TSP的反函数的一例。另外，图10D表示根据图10B的TSP响应计算的脉冲响应的一例。
如上所述，使用TSP测定从致动器Aj到位置Pi(xi、yi)的脉冲响应。通过对M个致动器102(A1、A2、…、AM)和N个位置(P1(x1、y1)、P2(x2、y2)、…、PN(xN、yN))的所有组合进行这样的测定，能够得到M×N个传递特性。将这样得到的M×N个传递特性存储在传递特性存储部201中。
另外，传递特性的测定方法不限于上述的方法。例如，也可以使用M序列信号测定传递特性。此外，例如也可以使用高斯随机数测定传递特性。
<传递特性取得部202>
传递特性取得部202从被存储于传递特性存储部201的多个传递特性中，取得与由触摸信息取得部103取得的各触摸位置对应的传递特性。即，传递特性取得部202从传递特性存储部201读出从各致动器102到各触摸位置的传递特性。
<滤波器计算部203>
滤波器计算部203是滤波器取得部的一例。滤波器计算部203通过对任意的触感信号的滤波处理，取得用于生成期望的驱动信号的滤波器。在此，期望的驱动信号是用于驱动各致动器102以便使面板101在提示振动的第1触摸位置按照任意的触感信号进行振动、并使面板101在不提示振动的第2触摸位置不进行振动的信号。
即，滤波器计算部203使用由传递特性取得部202取得的传递特性计算滤波器，以便使在由触摸信息取得部103取得的多个触摸位置中，仅在第1触摸位置提示触感，在第2触摸位置(不提示振动的触摸位置)不提示触感。关于更具体的滤波器的计算方法将在后面进行说明。
<触感信号存储部204>
触感信号存储部204例如是硬盘或者半导体存储器。触感信号存储部204存储由提示振动决定部108生成的触感信号，图7A和图7B都是触感信号的一例。
触感信号只要能够对用户提示触感，就可以是任何的信号，例如也可以根据面板101的振动特性来决定。具体地讲，触感信号例如可以是面板101的共振频率或者其附近的频率的信号。因此，能够提高能量效率。
在本实施方式中，触感信号是由提示振动决定部108根据设定信息的设定值在线生成的，将所生成的信号存储在触感信号存储部204中，由滤波器处理部205生成致动器102的驱动信号。另外，反之也可以构成为，提示振动决定部108存储与在触感信号存储部204中预先存储的如图7A和图7B所示的设定信息的设定值对应的触感信号，根据设定值选择这些触感信号。
<滤波器处理部205>
滤波器处理部205使用由滤波器计算部203计算出的各致动器102用的滤波器，对在触感信号存储部204中存储的触感信号进行滤波处理(滤波)，由此生成用于驱动各致动器102的驱动信号。
各致动器102按照这样由滤波器处理部205生成的驱动信号使面板101振动。其结果是，在多个触摸位置中，仅在第1触摸位置产生基于触感信号的振动，在不提示振动的第2触摸位置抑制振动。由此，通过多点同时振动控制部109能够在振动提示位置对用户提示触感，在不提示振动的第2触摸位置不提示触感。
<动作>
下面，具体说明如上所述构成的多点同时振动控制部109的各构成要素的动作。图11是表示实施方式1的触觉输入输出装置100的处理动作的流程图。图12是用于说明实施方式1的触觉输入输出装置100的处理动作的图。
(步骤S201：取得传递特性)
然后，传递特性取得部202从传递特性存储部201取得与由振动提示位置决定部107决定的第1触摸位置和第2触摸位置对应的传递特性。传递特性取得部202例如按照图12所示的一例，从传递特性存储部201读出从各致动器A1、A2、A3、A4到触摸位置P1的传递特性g11、g12、g13、g14、和从各致动器A1、A2、A3、A4到触摸位置P2的传递特性g21、g22、g23、g24。在此，例如设第1触摸位置(提示位置)为P1，设第2触摸位置(非提示位置)为P2。
(步骤S202：计算滤波器)
然后，滤波器计算部203计算用于在提示位置提示触感、在非提示位置不提示触感的滤波器。具体地讲，滤波器计算部203使用从各致动器102到提示位置的传递特性和从各致动器102到非提示位置的传递特性计算滤波器。例如，滤波器计算部203使用传递特性g11、g12、g13、g14、g21、g22、g23、g24，计算用于在触摸位置P1提示触感、在触摸位置P2不提示触感的滤波器。
以下示出了更具体的滤波器的计算方法的一例。
在此，如式(4)所示表示从致动器A1到触摸位置Pi的传递特性(脉冲响应)gij。并且，如式(5)所示表示用于生成致动器Aj用的驱动信号的滤波器hj。并且，如式(6)所示表示在触摸位置Pi对向所有A1～AM的输入的响应(输出)di。
[数式4]
gij＝[gij (0) gij(1) … gij(Lg)]T
[数式5]
hj＝[hj(0) hj(1) … hj(L)]T
[数式6]
di＝[di(0) di(1) … di(Lg+L)]T
在式(4)中，Lg表示脉冲响应的长度。在式(5)中，L表示滤波器的长度(滤波器长度)。该滤波器长度越长，则能够进行越精细的控制。
在此，说明对致动器A1～AM的输入及滤波器h1～hM与在一个触摸位置Pi的响应di的关系。在一个触摸位置Pi对向一个致动器A1的输入的响应是通过滤波器hj与传递特性gij的卷积运算而计算出的。并且，通过对所有致动器A1～AM使在一个触摸位置Pi对向一个致动器A1的输入的响应重合，能够计算出在一个触摸位置Pi对向所有致动器A1～AM的输入的响应。即，响应di能够如式(7)所示使用滤波器hj和传递特性gij表示。
[数式7]D＝GH
如式(7)所示，用从各致动器Aj到各触摸位置Pi的传递特性gij与应该计算的滤波器hj的卷积运算结果之和，表示在触摸位置P1～PN对向致动器A1～AM的输入的响应d1～dN。
在此，如果计算使多个触摸位置P1～PN中只有在触摸位置Pk(0<k≦N)的响应dk成为脉冲(dk(0)＝0、dk(1)＝0、dk(2)＝0、…、dk(M)＝0)、使在其它触摸位置Pl(0<l≦N、l≠k)的响应为零(dl(0)＝0、dl(1)＝0、dl(2)＝0、…、dl(M)＝0)的滤波器hj，则能够得到期望的滤波器。即，通过使用这样计算出的滤波器hj对任意的触感信号进行滤波处理，能够生成仅在触摸位置Pk按照该任意的触感信号提示触感，而在其它触摸触摸位置Pl(l≠k)不提示触感的驱动信号。
因此，滤波器计算部203计算滤波器，以使得从各致动器102到提示位置的传递特性与滤波器的时间域的卷积运算结果之和表示脉冲，而且使从各致动器102到非提示位置的传递特性与滤波器的时间域的卷积运算结果之和表示零。
虽然对如上所述的滤波器的计算方法没有特殊限定，但是通过计算G的广义逆矩阵G*，能够如式(8)所示计算滤波器。即，能够根据G的广义逆矩阵G*和表示脉冲的D计算表示期望的滤波器的H。
[数式8]
H＝G*D
通常，只要致动器的数量(M)为触摸位置的数量(N)以上，就能够求解式(8)。另外，优选在各位置使来自多个致动器102的传递特性gij不具备相同的零点，以便对任意的触摸位置的组合稳定地求解式(8)。例如，在触摸位置的数量是两个的情况下，通过如图12所示在面板101的长边侧的端部配置各两个的致动器102，能够将致动器102配置成使任意两点的传递特性不同。
另外，零点是指在频率域中传递特性的电平为0或者无限接近0的频率。即，即使在输入中包含零点的频率成分，在输出中也几乎不包含该频率成分。
因此，在从所有的致动器102到某个位置的传递特性在相同的频率具有零点的情况下，无论输入什么样的信号，在该位置、在该频率，面板101都不振动。即，不能在特定的频率控制振动。因此，优选在成为控制对象的各频率中至少来自一个致动器102的传递特性具有非零点的特性。
图13表示滤波器的一例。具体地讲，图13表示在图12中触摸位置P1被决定为提示位置时计算出的滤波器。
(步骤S203：对触感信号进行滤波处理)
然后，滤波器处理部205通过使用在步骤S202计算出的滤波器对在触感信号存储部204中存储的触感信号进行滤波处理，生成用于驱动各致动器102的驱动信号。具体地讲，滤波器处理部205通过进行触感信号S(n)与滤波器hj(n)的卷积运算，生成用于驱动各致动器Aj的驱动信号。
在此，关于触感信号S(n)，说明对由提示振动决定部108根据设定值而决定的被存储在触感信号存储部204中的、在触摸位置P1提示的图7A所示的触感信号进行滤波处理的示例。
在此，对滤波处理进行更详细的说明。
滤波器处理部109按照式(9)所示生成用于驱动致动器Aj的驱动信号uj(n)。即，滤波器处理部109通过进行触感信号S(n)与由滤波器计算部107计算出的滤波器hj(n)的卷积运算，生成驱动信号uj(n)。
[数式9]
图14表示驱动信号的一例。即，图14表示按照式(9)由滤波器处理部205生成的驱动信号的一例。更具体地讲，图14表示通过使用图13所示的滤波器对图7A所示的驱动信号进行处理而生成的驱动信号。
(步骤S204：驱动致动器)
然后，致动器Aj使用在步骤S203生成的驱动信号uj(n)进行驱动。即，致动器Aj按照驱动信号uj(n)使面板101振动。
另外，存在根据致动器的类型需要高电压的驱动信号的情况。在这种情况下，致动器102也可以具备用于将驱动信号放大的放大器。
图15表示在各触摸位置的面板101的振动的实验结果。更具体地讲，图15表示使用图15所示的驱动信号对致动器102进行驱动时的触摸位置P1及P2的面板101的振动。
在触摸位置P1，振动的峰值之间的差异(以后称为“振幅强度”)约为30μm，可知在强烈振动。另一方面，在触摸位置P2，振幅强度约为1μm，可知仅以人感知不到的程度在振动。
另外，在图15中示出了在触摸位置P1、P2的振动特性，然而在触摸位置P1、P2以外的位置也产生了振动。但是，由于触摸位置P1、P2以外的位置是未被用户触摸的位置，因而无论产生什么样的振动也不对用户提示触感。
根据上述的结构和动作，根据本实施方式1的多点同时振动控制部109，能够在提示振动的第1触摸位置提示触感，在不提示振动的第2触摸位置不提示触感。因此，能够仅对多个触摸位置中需要触感提示的触摸输入提示触感。
另外，作为多点同时振动控制部109的变形例1，在实施方式1中是在时间域中进行了滤波器的计算，但通过在频率域中计算该滤波器，当然也能够降低处理负荷。并且，通过将处理限定在人的触觉能感觉到的频率域中，当然也能够降低处理负荷。
另外，作为多点同时振动控制部109的变形例2，通过离线(off-line)而不是在线(on-line)地实施截止到计算滤波器的处理，当然也能够降低处理负荷。
另外，作为多点同时振动控制部109的变形例3，通过预先对多个触摸位置的组合模式全部计算驱动信号并进行存储，并按照触摸位置的组合模式进行选择，当然也能够降低处理负荷，并且即使是处理能力较低的计算资源，也能够在每个触摸位置提示不同的振动。
另外，作为多点同时振动控制部109的变形例4，例如通过根据将驱动信号1和驱动信号2相加得到的驱动信号来驱动致动器102，当然能够在P1提示图7A的振动，同时在P2提示图7B的振动，所述驱动信号1用于使在第1触摸位置P1提示图7A的振动、在第2触摸位置P2不提示图7A的振动，所述驱动信号2用于将P2作为第1触摸位置来提示图7B的振动，将P1作为第2触摸位置不提示图7B的振动。
另外，在此说明的多点同时振动控制部109的结构和动作仅是一例，也能够是其它的结构和动作。例如，也可以是，面板由挠性的显示器构成，并具备使其表面局部振动的致动器。
如上所述，根据第1实施方式的触觉输入输出装置100，通过根据与作为选择项的多个设定信息预先关联起来的触摸位置的空间顺序，控制在用户的哪个手指(哪个空间顺序的触摸位置)提示振动，用户能够容易确认哪个设定信息已被设备受理了。并且，通过将触摸位置的空间顺序和设定信息关联起来，不需选择在面板上的特定的位置设定的GUI即不需注视面板，即可容易在面板上的任意位置选择多个设定信息。
(实施方式2)
在实施方式2中说明除在第1实施方式中有选择地轻触多个触摸位置的轻触输入的判定以外，还判定在触摸多个触摸位置的状态下使触摸位置移动的移动输入，并按照移动方向变更提示振动的触摸位置，由此用户能够根据触觉确认设备受理的移动输入的方向和操作对象的行进方向。
图16是表示本发明的在实施方式2的触觉输入输出装置的结构的框图。对与表示第1实施方式的结构的框图相同的构成要素标注相同的标号，以与实施方式1不同的构成要素即移动输入判定部301、振动提示条件决定部302的结构和动作为中心进行说明。
<移动输入判定部301>
移动输入判定部301针对对面板101的触摸输入，根据由触摸信息取得部103检测出的多个触摸位置的时间序列信息，计算所述多个触摸位置向相同方向的移动以及针对所述移动方向的触摸位置的空间顺序。在设定信息存储部104中与所述移动方向相关联地存储设定信息，根据所述移动方向来与在所述设定信息存储部104中存储的移动方向进行比较，并决定对应的设定信息。
<振动提示条件决定部302>
振动提示条件决定部302计算所述多个触摸位置中相对于所述移动方向的开头顺序的触摸位置，包括在所述移动的停止位置触摸位置仍继续的情况在内，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置。
根据图17～图19说明如上所述构成的本实施方式2的触觉输入输出装置100的动作。
图17是表示实施方式2的触觉输入输出装置100的动作的流程图。
在此，通过在车载导航仪等车载系统中安装了本实施方式2的触觉输入输出装置100的示例说明本实施方式2的动作。图18表示用户输入的设定项目的一例。在此，说明以地图滚动、音量设定、音轨设定为例，判定图18所示的[1]～[10]的输入，并通过触觉来反馈被受理的输入的结果的步骤的一例。作为车载系统的结构的一例，如图19A所示，既可以是在显示地图等的监视器110的上部配置由透明的部件构成的面板101的结构，也可以是在与监视器110不同的中控台或扶手上配置面板101的结构。在实施方式2中，无论是哪种结构，用户都是不需注视面板101即可进行输入操作。
(步骤S301：触摸信息取得)
触摸信息取得部103取得用户对面板101的多个触摸位置作为时间序列信息。例如，如图19A所示，在用两根手指即手指1和手指2触摸面板101时，例如以20ms等规定的采样间隔Δt取得在时刻t的手指1的触摸位置P1(x1(t)、y1(t))、手指2的触摸位置P2(x2(t)、y2(t))。
(步骤S302：移动输入判定)
移动输入判定部301根据在面板101检测出的多个触摸位置的时间序列信息，计算所述多个触摸位置向相同方向的移动以及针对所述移动方向的触摸位置的空间顺序。在设定信息存储部104中与所述移动方向相关联地存储设定信息，根据所述移动方向来与在所述设定信息存储部104中存储的移动方向进行比较，并决定对应的设定信息。
按照下面所述计算触摸位置的移动方向。在此，根据在步骤S301取得的触摸位置的时间序列信息，计算在手指触摸在面板101上的状态下使触摸位置移动时的移动方向。具体地讲，通过v1(x1(t)-x1(t-1)、y1(t)-y1(t-1))计算表示每个采样间隔Δt的触摸位置P1的移动方向的移动矢量，通过v2(x2(t)-x2(t-1)、y2(t)-y2(t-1))计算触摸位置P2的移动矢量。
关于触摸位置P1、P2的移动方向的相同性，例如在移动矢量v1、v2形成的夹角θ的余弦值小于规定的阈值时，判定为相同。
按照下面所述计算触摸位置的移动距离。根据式(10)求出从用户用手指1触摸面板101的时刻(t＝0，移动开始位置P1(x1(0)、y1(0))到时刻t(触摸位置P1(x1(t)、y1(t))的触摸位置的移动距离d1(t)。在此，当在时刻t取得的触摸位置P1(x1(t)、y1(t)与在时刻(t-Δt)取得的触摸位置P1(x1(t-1)、y1(t-1))相同时，或者在P1(x1(t)、y1(t))与P1(x1(t-1)、y1(t-1))的距离小于规定的距离时，判定为手指1描画的触摸位置P1的移动停止。在判定为触摸位置的移动停止时，将移动开始位置初始化为P1(x1(0)、y1(0))。并且，以判定为触摸位置的移动停止的时刻为基点，按照每个采样间隔Δt来确认触摸是否静止在与触摸位置的移动停止时相同的位置，记录并更新静止时间t1s。同样根据式(10)计算手指2的触摸位置P2的移动距离，并同样地记录及更新的P2的静止时间t2s。
[数式10]
按下面所述计算针对移动方向的触摸位置的空间顺序。将触摸位置P1、P2投影在包括移动矢量v1、v2任意一方的直线上，设移动方向为正，对触摸位置P1、P2排序。移动矢量v1、v2的选择可以是任意的，例如可以选择按照上述步骤计算出的移动距离较大的移动矢量。
下面，说明根据按照上述步骤计算出的触摸位置的移动方向、移动距离、针对移动方向的触摸位置的空间顺序、触摸位置的静止时间，判定用户的触摸输入的步骤。在此，作为一例说明图18所示的判定是从[1]到[10]的哪一个的输入的步骤。
<地图滚动的输入判定>
输入判定[1]表示在由触摸信息检测部103检测的触摸次数为1、而且触摸位置P1向移动矢量v1的方向移动的情况下，选择“地图滚动”作为设定项目。作为具体的输入项目是选择使地图滚动触摸位置的移动距离的“移动距离滚动”。
输入判定[2]表示在由触摸信息检测部103检测的触摸次数为1、而且触摸位置P1向移动矢量v1的方向移动、移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上的情况下，选择地图滚动作为设定项目。作为具体的输入项目是选择在触摸位置移动了规定的距离后持续静止时使地图连续滚动的“连续滚动”。
<音量设定的输入判定>
输入判定[3]和输入判定[5]表示在由触摸信息检测部103检测的触摸次数为2、而且触摸位置不移动的情况下，进入步骤S303的顺序输入判定。选择“音量设定”作为设定项目。
<音轨设定的输入判定>
输入判定[7]～[10]表示在由触摸信息检测部103检测的触摸次数与输入判定[3]～[6]相同为2、触摸位置的移动方向v1和v2相同、而且触摸位置的移动距离为规定的阈值D以上时，选择“音轨设定”作为设定项目。音轨设定是指例如在音响操作中使唱片的音轨移动到下一个音轨或者移动到前一个音轨的输入操作。
输入判定[7]表示在触摸次数为2、而且触摸位置的移动方向v1和v2相同且在规定的坐标轴的负方向上、触摸位置的移动距离为规定的阈值D以上时，选择“音轨后退”作为设定项目。图19A表示音轨后退设定的触摸输入的一例。手指1、手指2分别在时刻(t-n)同时触摸面板101，触摸位置P1、P2分别是x1(t-n)、x2(t-n)。n表示采样次数，表示从当前时刻t起前n个采样。手指1、手指2的触摸位置P1、P2的移动方向分别是v1＝x1(t)-x1(t-n)、v2＝x2(t)-x2(t-n)。在图19A的示例中，当触摸位置P1、P2在规定的坐标轴x上沿平行且相同的方向移动、其方向为负方向、而且P1的移动距离|v1|或者P2的移动距离|v2|为规定的阈值D以上时，选择“音轨后退”作为输入项目。
输入判定[8]表示在触摸次数为2、而且触摸位置的移动方向v1和v2相同且在规定的坐标轴的负方向上、触摸位置的移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上时，选择“连续音轨后退”作为输入项目。
输入判定[9]表示在触摸次数为2、而且触摸位置的移动方向v1和v2相同且在规定的坐标轴的正方向上、触摸位置的移动距离为规定的阈值D以上时，选择“音轨前进”作为输入项目。图19B表示音轨前进设定的触摸输入的一例。手指1、手指2分别在时刻(t-n)同时触摸面板101，触摸位置P1、P2分别是x1(t-n)、x2(t-n)。n表示采样次数，表示从当前时刻t起前n个采样。手指1、手指2的触摸位置P1、P2的移动方向分别是v1＝x1(t)-x1(t-n)、v2＝x2(t)-x2(t-n)。在图19A的示例中，当触摸位置P1、P2在规定的坐标轴x上沿平行且相同的方向移动、其方向为正方向、而且P1的移动距离|v1|或者P2的移动距离|v2|为规定的阈值D以上时，选择“音轨前进”作为输入项目。
输入判定[10]表示在触摸次数为2、而且触摸位置的移动方向v1和v2相同且在规定的坐标轴的正方向上、触摸位置的移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上时，选择“连续音轨前进”作为输入项目。
另外，在此说明了使用移动距离的阈值进行输入判定的示例，但也可以使用移动速度进行判定。通过使用移动速度，能够进行更具体的输入项目的选择和设定值的设定。
(步骤S303：顺序输入判定)
顺序输入判定部105与实施方式1的步骤S102一样检测用户在面板101上轻触输入的情况，即根据按照在面板101持续检测出的触摸位置和在面板101同时检测出的其它触摸位置计算的触摸位置的空间顺序，决定在设定信息存储部104中预先与触摸位置的空间顺序关联起来进行存储的输入项目。
在实施方式2中，在由触摸信息检测部103检测的触摸次数为2、而且触摸位置不移动时，判定是图18的输入判定[3]～[6]所示的音量设定。
输入判定[3]和输入判定[5]表示在由触摸信息检测部103检测的触摸次数为2、而且触摸位置不移动的情况下，选择“音量设定”作为设定项目。该输入判定[3]和[5]是与实施方式1的音量设定相同的动作，因而省略说明。
输入判定[4]和输入判定[6]表示在由触摸信息检测部103检测的触摸次数为2、而且触摸位置不移动、触摸位置的静止时间t1s为规定的阈值Ts以上的情况下，在各个触摸位置的空间顺序为第1顺序时选择“连续音量减小”作为输入项目，在各个触摸位置的空间顺序为第2顺序时选择“连续音量增大”作为输入项目。
通过按照步骤S303判定轻触输入和移动输入，即使是相同的触摸次数时，也能够容易执行不同的输入操作。
(步骤S304：设定信息变更)
设定信息变更部106变更由移动输入判定部301和顺序输入判定部105决定的设定项目的设定值。
<地图滚动的设定值变更>
使用图18说明地图滚动的设定值变更。
在判定为输入判定[1]的情况下，使在监视器110上显示的地图的显示区域向触摸位置P1的移动方向v1移动移动距离|v1|。关于显示区域的移动，例如可以利用地图的坐标系指定在监视器110上显示的区域，例如在用长方形指定要显示的区域的情况下，将长方形的左上角的顶点的坐标作为地图显示的基准坐标，通过使显示基准坐标向-v1的方向移动，能够使地图滚动。
在判定为输入判定[2]的情况下，当在触摸位置P1移动了规定的距离D以上后仍继续静止时，在选择了使地图连续滚动的“连续滚动”的情况下，使所述地图的显示基准坐标以规定的时间间隔向-αv1的方向连续移动。在此，α表示控制移动量的系数，例如也可以按照触摸位置P1在每单位时间的移动距离即移动速度来变更。由此，在使触摸位置P1以较快的速度移动后使触摸位置静止的情况下，将α的值增大而增大显示基准位置的移动量，相反在使触摸位置P1以较慢的速度移动的情况下，将α减小而减小显示基准位置的移动量，由此能够容易按照用户的意图设定滚动的移动量。
<音量设定的设定值变更>
使用图18说明音量设定的设定值变更。
在判定为输入判定[3]的情况下，即在两点触摸位置中第1顺序的触摸位置被轻触输入的情况下，选择“音量减小”作为对应的输入项目。此时，设定值的增减值ΔV是-1，按照V＝V+ΔV将音量等级减1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
在判定为输入判定[4]的情况下，即当在两点触摸位置中第1顺序的触摸位置被轻触输入后、在规定的时间Ts以上的时间持续检测出触摸位置的情况下，选择“连续音量减小”作为对应的输入项目。此时，设定值的增减值ΔV是-1，每隔规定的时间间隔例如TS，按照V＝V+ΔV将音量等级减1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
在判定为输入判定[5]的情况下，即在两点触摸位置中第2顺序的触摸位置被轻触输入的情况下，选择“音量增大”作为对应的输入项目。此时，设定值的增减值ΔV是+1，按照V＝V+ΔV将音量等级加1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
在判定为输入判定[6]的情况下，即当在两点触摸位置中第2顺序的触摸位置被轻触输入后、在规定的时间Ts以上的时间持续检测出触摸位置的情况下，选择“连续音量增大”作为对应的输入项目。此时，设定值的增减值ΔV是+1，每隔规定的时间间隔例如TS，按照V＝V+ΔV将音量等级加1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
<音轨设定的设定值变更>
使用图18说明音轨设定的设定值变更。在此，例如说明设定音响操作中的音乐曲目的音轨号码Nt的示例。
在判定为输入判定[7]的情况下，即在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的负方向上、触摸位置的移动距离为规定的阈值D以上时，选择“音轨后退”作为输入项目。此时，设定值的增减值ΔNt是-1，按照Nt＝Nt+ΔNt将音轨号码减1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
输入判定[8]表示在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的负方向上、触摸位置的移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上时，选择“连续音轨后退”作为输入项目。此时，设定值的增减值ΔNt是-1，每隔规定的时间间隔例如Ts，按照Nt＝Nt+ΔNt将音轨号码减1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
输入判定[9]表示在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的正方向上、触摸位置的移动距离为规定的阈值D以上时，选择“音轨前进”作为输入项目。此时，设定值的增减值ΔNt是+1，按照Nt＝Nt+ΔNt将音轨号码加1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
输入判定[10]表示在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的正方向上、触摸位置的移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上时，选择“连续音轨前进”作为输入项目。此时，设定值的增减值ΔNt是+1，每隔规定的时间间隔例如Ts，按照Nt＝Nt+ΔNt将音轨号码加1。此时，也可以在监视器110显示设定值显示部113，对用户提示设定值。
另外，也可以使用触摸位置P1或者P2的移动速度变更用于设定音轨号码的时间间隔Ts。由此，在使触摸位置P1、P2以较快的速度移动后使触摸位置静止的情况下，缩短Ts并以较短的时间间隔变更音轨号码，相反在使触摸位置P1、P2以较慢的速度移动后使触摸位置静止的情况下，延长Ts并缓慢地变更音轨号码，由此能够容易按照用户的意图设定音轨号码的变更。
另外，在触摸位置的移动距离根据用户不同，容易输入的移动距离存在偏差的情况下，也可以使用移动距离的累计距离判定基于移动距离的输入判定。具体地讲，可以根据基于多次触摸位置的移动的移动距离的累计值是否为规定的阈值D以上来判定输入。
(步骤S305：振动提示条件决定)
在是触摸位置移动的移动输入的情况下，振动提示条件决定部302计算所述多个触摸位置中相对于所述移动方向的开头顺序的触摸位置，包括在所述移动的停止位置触摸位置仍继续的情况在内，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置。
在是判定最新触摸位置的空间顺序的顺序输入的情况下，振动提示条件决定部302将与所决定的输入项目对应的空间顺序的触摸位置决定为提示振动的第1触摸位置，将所述触摸位置以外的触摸位置决定为不提示振动的第2触摸位置。
在图18中示出了在输入判定[1]～输入判定[10]时提示振动的第1触摸位置，以下说明振动提示条件。
<地图滚动时的振动提示条件>
在判定是输入判定[1]的情况下，即判定是基于触摸位置的移动距离的“移动距离地图滚动”的情况下，将振动提示位置决定为被触摸的一点。
振动提示条件是根据触摸位置的移动距离决定的。例如，是根据基于触摸位置的移动量的在地图上的移动量和地图的比例尺而决定的。即，振动提示条件决定部302例如取得当前的地图的缩尺，如果地图是以100m为基准进行显示，则每当触摸位置P1的移动距离相当于地图上的距离100m时，就在触摸位置P1提示振动。由此，即使不注视在监视器110上显示的地图，也能够根据触觉识别使地图移动了多少距离。
另外，作为变形例，在将地图的区域固定使不移动的情况下，通过在使触摸位置在地图上移动时每隔规定的距离就提示振动，能够根据触觉识别例如目的地之间的距离或到中间地点的距离等。
另外，作为变形例，例如在使触摸位置开始移动时，例如通过声音引导来引导基准距离，并计数被提示振动的次数，能够根据触觉掌握距离如100m、200m、300m等。另外，也可以每隔300m、每隔500m等规定的距离时并用声音引导。基于声音的频繁反馈有时会让人感觉厌烦，但通过并用振动反馈，能够以合适的传递方式传递必要的信息。在判定是输入判定“2”的情况下，即根据触摸位置的移动距离和移动后的触摸位置的静止时间被判定为“连续滚动”的情况下，将振动提示位置决定为被触摸的一点。
振动提示条件是根据触摸位置的移动距离和触摸位置的静止时间决定的。例如，也可以是通过每当自动滚动的地图移动规定的距离时使触摸位置振动，通过触感向用户反馈移动距离，还可以每当静止时间经过规定的阈值Ts时进行振动。如果用户预先知道地图移动的速度，则能够根据所提示的振动的次数识别经过时间，并得知地图的大致移动距离。
另外，作为变形例也可以是，当随着地图的移动而使得预先存储的设施等被显示在监视器110上时，或者在来到通过网络或VICS(注册商标)等而取得了关联信息的地图的位置时，提示振动。由此，在使地图移动的过程中不需要注视地图，例如如果是车载系统，则可以专心于驾驶。另外，如果正在再现内容，则能够对内容集中注意力。
另外，作为变形例也可以是，使影像或音乐等内容的列表连续滚动，每当类型切换或专辑切换时就提示振动。
另外，作为变形例也可以是，在进行使电子书的页面按照触摸位置的移动方向连续前进或者返回的操作时，在显示了预先标记的页面、内容被更新后的页面等时提示振动。
另外，作为变形例也可以是，在使地图按照同时检测出的两个触摸位置的移动而滚动时，通过使相对于地图的移动方向或者手指的移动方向位于开头的触摸位置振动，能够确认是否按照用户的意图受理了地图的移动方向或触摸位置的移动方向。另外，也可以是，在使两个触摸位置同时移动规定的距离后停止并在停止位置继续触摸的情况下，使相对于地图的移动方向位于开头的触摸位置以规定的时间间隔进行振动，并提示地图的移动方向。另外，也可以是，当地图上的周边设施等地标和目的地被显示在监视器110上时提示振动。
<音量设定时的振动提示条件>
在判定是输入判定[3]的情况下，即在两点触摸位置中第1顺序的触摸位置被轻触输入的情况下，选择“音量减小”作为对应的输入项目。此时，将第1顺序的触摸位置决定为提示振动的第1触摸位置，将除此以外的触摸位置决定为不提示振动的第2触摸位置。由此，用户能够按照被提示振动的手指的空间顺序，根据触觉识别出选择了“音量减小”。
在判定是输入判定[4]的情况下，即当在两点触摸位置中第1顺序的触摸位置被轻触输入后、在规定的时间Ts以上的时间持续检测出触摸位置的情况下，选择“连续音量减小”作为对应的输入项目。此时，将第1顺序的触摸位置决定为提示振动的第1触摸位置，将除此以外的触摸位置决定为不提示振动的第2触摸位置，另外每当触摸位置被持续检测出规定的时间Ts以上的时间时，就决定在所述第1触摸位置提示振动。用户能够按照被提示振动的手指的空间顺序和持续的振动提示，根据触觉识别出选择了“连续音量减小”。
在判定是输入判定[5]的情况下，即在两点触摸位置中第2顺序的触摸位置被轻触输入的情况下，选择“音量增大”作为对应的输入项目。此时，将第2顺序的触摸位置决定为提示振动的第1触摸位置，将除此以外的触摸位置决定为不提示振动的第2触摸位置。由此，用户能够按照被提示振动的手指的空间顺序，根据触觉识别出选择了“音量增大”。
在判定是输入判定[6]的情况下，即当在两点触摸位置中第2顺序的触摸位置被轻触输入后、在规定的时间Ts以上的时间持续检测出触摸位置的情况下，选择“连续音量增大”作为对应的输入项目。此时，将第2顺序的触摸位置决定为提示振动的第1触摸位置，将除此以外的触摸位置决定为不提示振动的第2触摸位置，另外每当触摸位置被持续检测出规定的时间Ts以上的时间时，就决定在所述第1触摸位置提示振动。用户能够按照被提示振动的手指的空间顺序和持续的振动提示，根据触觉识别出选择了“连续音量增大”。
另外，在此说明了对第1顺序的触摸位置分配输入项目“音量减小”、对第2顺序的触摸位置分配输入项目“音量增大”，并选择被触摸的两点中最新的触摸位置的输入项目的示例，但不限于此，能够设定任意的设定项目。例如，也可以与电子书的“下一页”、“上一页”关联起来，还可以与TV频道的加和减、内容列表或者菜单项目等的加和减关联起来。
<音轨设定时的振动提示条件>
在判定是输入判定[7]的情况下，即在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的负方向上、触摸位置的移动距离为规定的阈值D以上时，选择“音轨后退”作为输入项目。此时，如图18的空间顺序(第1触摸位置)所示，相对于移动方向对触摸位置排序，将开头的触摸位置决定为提示振动的第1触摸位置，将其它的触摸位置(此处指P2)决定为不提示振动的第2触摸位置。以图19A的示例进行说明，触摸位置P1和P2相对于x轴在相同的负方向上移动，该移动方向上的开头的触摸位置是P1，将该触摸位置决定为提示振动的第1触摸位置。由此，在被标注了斜线的手指1提示振动，在手指2不提示振动，其结果是，对于设备已受理通过使触摸位置P1和P2在x轴的负方向上移动而进行的输入这一情况，通过在移动方向的开头的触摸位置P1提示振动、在其它的触摸位置(此处指P2)不提示振动，用户能够容易地知道输入被受理的方向。
输入判定[8]表示在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的负方向上、触摸位置的移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上时，选择“连续音轨后退”作为输入项目。此时，与输入判定[7]的情况一样，触摸位置P1和P2相对于x轴在相同的负方向上移动，该移动方向上的开头的触摸位置是P1，将该触摸位置P1决定为提示振动的第1触摸位置，将其它的触摸位置(此处指P2)决定为不提示振动的第2触摸位置。由此，与输入判定[7]的情况一样，通过在触摸位置P1提示振动、在触摸位置P2不提示振动，用户能够识别出被设备受理的移动方向，并且通过以规定的时间间隔Ts在触摸位置P1提示振动，用户能够识别出音轨号码在连续减少。
输入判定[9]表示在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的正方向上、触摸位置的移动距离为规定的阈值D以上时，选择“音轨前进”作为输入项目。此时，如图18的空间顺序(第1触摸位置)所示，相对于移动方向对触摸位置排序，将开头的触摸位置决定为提示振动的第1触摸位置，将其它的触摸位置(此处指P2)决定为不提示振动的第2触摸位置。以图19B的示例进行说明，触摸位置P1和P2相对于x轴在相同的正方向上移动，该移动方向上的开头的触摸位置是P2，将该触摸位置决定为提示振动的第1触摸位置。由此，在被标注了斜线的手指2提示振动，在手指1不提示振动，其结果是，对于设备已受理通过使触摸位置在x轴的正方向上移动而进行的输入的情况，通过在移动方向的开头的触摸位置P2提示振动、在其它的触摸位置(此处指P1)不提示振动，用户能够知道输入容易被受理的方向。
输入判定[10]表示在触摸次数为2、而且触摸位置P1和P2的移动方向v1和v2相同且在规定的坐标轴的正方向上、触摸位置的移动距离为规定的阈值D以上、触摸位置的静止时间t1s为规定的阈值Ts以上时，选择“连续音轨前进”作为输入项目。此时，与输入判定[9]的情况一样，触摸位置P1和P2相对于x轴在相同的正方向上移动，该移动方向上的开头的触摸位置是P2，将触摸位置P2决定为提示振动的第1触摸位置，将其它的触摸位置(此处指P1)决定为不提示振动的第2触摸位置。由此，与输入判定[9]的情况一样，通过在触摸位置P2提示振动、在触摸位置P1不提示振动，用户能够识别出被设备受理的移动方向，并且通过以规定的时间间隔Ts在触摸位置P2提示振动，用户能够识别出音轨号码在连续增加。
另外，也可以使用触摸位置P1或者P2的移动速度变更用于设定音轨号码的时间间隔Ts，并以变更后的时间间隔提示触觉。由此，在使触摸位置P1、P2以较快的速度移动后使触摸位置静止的情况下，缩短Ts并以较短的时间间隔变更音轨号码，相反在使触摸位置P1、P2以较慢的速度移动的情况下，延长Ts并缓慢地变更音轨号码，然而按照变更后的时间间隔提示触觉，由此，能够按照用户的意图容易理解地通知音轨号码的变更。
另外，在Ts相当短的情况下，在按每个音轨号码提示振动时，有时将不易识别音轨号码的切换，因而也可以与实施方式1的内容的快进、回退一样地，对音轨号码设定快进、回退的等级，并通过振动来反馈该等级值。
另外，在将触摸输入的结果通过面板101的振动通知用户时，即使是触摸位置正在移动中也能够察觉到振动，但在触摸位置的移动停止时或者移动速度较小时提示振动，用户更容易察觉到在各触摸位置的振动。即，即使是在通过振动来反馈移动输入的结果时，通过不仅反馈移动中的振动提示，而且在移动停止时也反馈振动，能够更容易察觉到振动并得知已被受理的输入。
另外，在实施方式2中，关于由振动提示条件决定部302决定的振动提示条件，说明了通过在使多个触摸位置移动后维持静止状态来使设定值连续变化的示例，但不限于此，例如也可以在进入静止状态后以规定的时间间隔通过振动来通知当前的设定值。
另外，在此说明了使多个触摸位置沿相同方向移动的示例，然而例如在触摸两点的状态下，在一个触摸位置静止、使另一个触摸位置沿x轴的正方向或者负方向移动时，也可以仅使移动的触摸位置振动，而且作为设定项目是执行“快进”或者“回退”、“音轨号码的增加”或者“音轨号码的减少”等。对移动的触摸位置的振动提示可以在触摸位置的移动中进行，也可以在移动的停止时及其前后进行。在移动的停止时及其前后，用户更容易感觉到振动，更容易确认输入结果。
(步骤S306：提示振动决定)
提示振动决定部108根据在步骤S304决定的设定值和设定值的增减值以及在步骤S305决定的振动提示条件，决定表示在所述第1触摸位置提示的振动的触感信号。
与实施方式1一样，使用如图7A及图7B所示的一次刺激信号或两次刺激信号的触感信号提示设定值和设定值的增减值。例如，如果设定值的增减值是1，则决定为一次刺激信号，在通知音轨号码的快进和回退等两个阶段以上的设定值时，决定为通过反复如图7B所示的两次刺激信号、一次刺激信号而得到的三次刺激信号等的触感信号。
(步骤S307：多点同时振动控制)
多点同时振动控制部109计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照各触摸位置同时控制面板101的振动，以便使在所述第1触摸位置提示所述触感信号所表示的振动，在所述第2触摸位置不提示振动。
步骤S307与实施方式1的步骤S106相同，因而省略说明。
根据上述的结构和动作，本实施方式2的触觉输入输出装置100相对于实施方式1追加了移动输入判定部301，判定在触摸多个触摸位置的状态下使触摸位置向相同方向移动的移动输入，并通过振动提示条件决定部302判定相对于移动方向的开头的触摸位置，通过多点同时振动控制部109对相对于移动方向的开头的触摸位置提示振动，对其它触摸位置不提示振动。由此，用户能够根据触觉确认已被设备受理的移动输入的方向或地图或音乐音轨等操作对象的行进方向。并且，不需目视着GUI进行触摸，即可在面板上的任意位置按照基于多个触摸位置的移动输入和顺序输入操作设备的设定。
(实施方式3)
实施方式3是在空调或音响等多种设备的功能混合存在的系统中，不需注视触摸输入用的面板即可进行输入设定的方式。
图20是表示本发明的实施方式3的触觉输入输出装置的结构的框图。对与表示第1实施方式的结构的框图相同的构成要素标注相同的标号，以与实施方式1不同的构成要素即设定信息层次化存储部401、层次化信息输入判定部402、各层振动提示条件决定部403的结构和动作为中心进行说明。
<设定信息层次化存储部401>
设定信息层次化存储部401将设备的设定信息分层，并与触摸位置的空间顺序关联起来进行存储。图21表示被分层存储的设定信息的一例。在实施方式3中，以具有空调功能和音响功能的系统为例进行说明。在此，如图21所示，说明选择模式1～选择模式7这7个选择模式被分层为3层次进行存储的示例。
第1层包括用于选择空调设定或者音响设定的选择模式1。
第2层包括用于选择温度设定或者风量设定的选择模式2、以及用于选择音量设定或者音轨设定的选择模式3。
第3层包括用于选择温度降低或者温度升高的选择模式4、用于选择风量减小或者风量增大的选择模式5、用于选择音量减小或者音量增大的选择模式6、以及用于选择音轨后退或者音轨前进的选择模式7。
<层次化信息输入判定部402>
层次化信息输入判定部402根据在触摸信息取得部103取得的多个触摸位置的时间序列信息，选择在所述设定信息层次化存储部401中存储的被分层为N层的选择模式，并决定目标的设定项目。
具体地讲，根据被输入面板101的多个触摸位置的时间序列信息，计算被同时检测出的触摸位置的检测顺序和空间顺序，在检测出第1输入模式时进入第1层的选择模式，在检测出第2输入模式时进入第N-1层的选择模式，根据按照所述检测顺序而选择的所述触摸位置的空间顺序、和在设定信息层次化存储部401中预先存储的第N层的选择模式的设定项目的空间顺序，决定与所述触摸位置的空间顺序一致的所述设定项目并进入第N+1层的选择模式。
<各层振动提示条件决定部403>
各层振动提示条件决定部403计算多个触摸位置中基于相对于所述移动方向的开头顺序的触摸位置，包括在所述移动的停止位置触摸位置仍继续的情况在内，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置。
根据图21～图23说明如上所述构成的本实施方式3的触觉输入输出装置100的动作。
图22是表示实施方式2的触觉输入输出装置100的动作的流程图。
在此，通过在车载导航仪等车载系统中安装了本实施方式3的触觉输入输出装置100的示例说明本实施方式3的动作。在图18中示出了用户输入的设定项目的一例。在此，以地图滚动、音量设定、音轨设定为例，说明判定图18所示的[1]～[10]的输入并通过触觉来反馈被受理的输入的结果的步骤的一例。作为车载系统的结构的一例，如图19A所示，既可以是在显示地图等的监视器110的上部配置由透明的部件构成的面板101的结构，也可以是在与监视器110不同的中控台或扶手上配置面板101的结构。在实施方式2中，无论是哪种结构，用户都能够在不注视面板101的情况下进行输入操作。
(步骤S401：触摸信息取得)
触摸信息取得部103取得用户对面板101的多个触摸位置作为时间序列信息。例如，如图19A所示，在用两根手指即手指1和手指2触摸面板101时，例如以20ms等规定的采样间隔Δt取得在时刻t的手指1的触摸位置P1(x1(t)、y1(t))、手指2的触摸位置P2(x2(t)、y2(t))。
(步骤S402：层次化输入判定)
层次化信息输入判定部402根据在触摸信息取得部103取得的多个触摸位置的时间序列信息，选择在所述设定信息层次化存储部401中存储的被分层为N层的选择模式，并决定目标的设定项目。
具体地讲，根据被输入面板101的由触摸信息取得部103取得的多个触摸位置的时间序列信息，计算被同时检测出的触摸位置的检测顺序和空间顺序，根据按照所述检测顺序而选择的所述触摸位置的空间顺序、和在设定信息层次化存储部401中预先存储的第N层的选择模式的设定项目的空间顺序，决定与所述触摸位置的空间顺序一致的所述设定项目并进入第N+1层的选择模式。并且，在根据所述多个触摸位置的时间序列信息检测出第1输入模式时进入第1层的选择模式，在检测出第2输入模式时进入第N-1层的选择模式，
更具体地讲，在第N层，将触摸位置为一个、触摸的持续时间在规定的时间内(例如100ms～500ms以内)的情况，或者在至少一个触摸位置仍继续时、又在其它位置检测出新的一个触摸位置的情况(以下，称为“单轻触输入”)，判定为“选择输入”，选择与新的触摸位置的空间顺序对应的第N层的选择模式的设定项目，并进入第N+1层。
另外，关于所述第1输入模式，例如当两个以上的触摸位置在规定的时间内(例如100ms～500ms以内)被检测出两次的情况下(以下，称为“双轻触输入”)，判定为“初始选择输入”，返回第1层的选择模式1。
另外，关于所述第2输入模式，例如在第N层的选择模式中，将数量与选择项的数量相同的触摸位置被持续检测出、同时又检测出至少一个其它新的触摸位置的情况，判定为“返回输入”，并返回第N-1层的选择模式。
层次化信息输入判定部402根据上述步骤判定“选择输入”、“初始选择输入”、“返回输入”，并决定用户作为目标的设定项目。
下面，使用图21说明从被层次化的设定项目中决定目标的设定项目的步骤的一例。在此，关于选择模式1～选择模式7，说明空调调整或者音响调整、温度调整或者风量调整等各选择模式全部包括两个选择项的示例。但是，选择项的数量不限于两个，也可以通过一只手或者两只手的触摸操作，从更多的选择项中进行选择。
下面，使用图21说明仅通过“选择输入”和“初始选择输入”这两种触摸输入来实施空调设定及音响设定的步骤的一例。图23是通过“选择输入”、“初始选择输入”和“返回输入”这三种触摸输入来决定设定项目的一例，对于该示例在后面进行说明。
<第1层、选择模式1的设定项目选择>
层次化信息输入判定部402在检测出双轻触输入时判定为“初始选择输入”，并进入第1层的选择模式1。选择模式1是选择有关空调的设定项目、或者选择有关音响的设定项目的模式。用户在选择空调设定时用第1顺序的手指1执行单轻触输入，在选择音响设定时用第2顺序的手指2执行单轻触输入。层次化信息输入判定部402当在持续检测出至少一个触摸位置时、又在其它位置检测出新的一个触摸位置的情况下，判定为“选择输入”，并判定新的触摸位置的空间顺序。关于新的触摸位置的空间顺序的判定，与在实施方式1的步骤S102使用图5B和图5C说明的音量设定的输入判定一样，判定新的触摸位置的空间顺序是第1顺序还是第2顺序。在新的触摸位置的空间顺序是第1顺序的情况下，层次化信息输入判定部402按照图21所示与和在设定信息层次化存储部401中存储的设定项目关联起来进行存储的空间顺序进行比较，并选择空间顺序一致的空调设定，进入第2层的选择模式2。同样，在新的触摸位置的空间顺序是第2顺序的情况下，按照图21所示选择音响设定，进入第2层的选择模式3。
<第2层、选择模式2的设定项目选择>
选择模式2是选择空调设定中的温度设定或者风量设定的模式。与选择模式1一样，用户在选择温度设定时用第1顺序的手指1执行单轻触输入，在选择风量设定时用第2顺序的手指2执行单轻触输入。层次化信息输入判定部402当在持续检测出至少一个触摸位置时、又在其它位置检测出新的一个触摸位置的情况下，判定为“选择输入”，在新的触摸位置的空间顺序是第1顺序时，按照图21所示与和在设定信息层次化存储部401中存储的设定项目关联起来进行存储的空间顺序进行比较，并选择与第1顺序关联起来进行存储的温度设定，进入第3层的选择模式4。另外，在新的触摸位置的空间顺序是第2顺序时，按照图21所示选择风量设定，进入第3层的选择模式5。
<第2层、选择模式3的设定项目选择>
选择模式3是选择音响设定中的音量设定或者音轨设定的模式。与选择模式1一样，用户在选择音量设定时用第1顺序的手指1执行单轻触输入，在选择音轨设定时用第2顺序的手指2执行单轻触输入。层次化信息输入判定部402当在持续检测出至少一个触摸位置时、又在其它位置检测出新的一个触摸位置的情况下，判定为“选择输入”，在新的触摸位置的空间顺序是第1顺序时，按照图21所示与和在设定信息层次化存储部401中存储的设定项目关联起来进行存储的空间顺序进行比较，并选择与第1顺序关联起来进行存储的音量设定，进入第3层的选择模式6。另外，在新的触摸位置的空间顺序是第2顺序时，按照图21所示选择音轨设定，进入第3层的选择模式7。
<第3层、选择模式4和选择模式5的设定项目选择>
选择模式4是选择空调设定中的降低设定温度的设定(温度降低设定)或者提高设定温度的设定(温度升高设定)的模式。与选择模式1一样，用户在选择温度降低设定时用第1顺序的手指1执行单轻触输入，在选择温度升高设定时用第2顺序的手指2执行单轻触输入。与在第1层和第2层的选择输入的判定一样，层次化信息输入判定部402在新的触摸位置的空间顺序是第1顺序时，按照图21所示选择与第1顺序关联起来进行存储的温度降低设定。另外，在新的触摸位置的空间顺序是第2顺序时，按照图21所示选择温度升高设定。
选择模式5是选择空调设定中的降低设定风量的设定(风量减小设定)或者提高设定风量的设定(风量增大设定)的模式。与选择模式1一样，用户在选择风量减小设定时用第1顺序的手指1执行单轻触输入，在选择风量增大设定时用第2顺序的手指2执行单轻触输入。与选择模式4的选择输入的判定一样，层次化信息输入判定部402在新的触摸位置的空间顺序是第1顺序时，按照图21所示选择与第1顺序关联起来进行存储的风量减小设定。另外，在新的触摸位置的空间顺序是第2顺序时，按照图21所示选择风量增大设定。
<第3层、选择模式6和选择模式7的设定项目选择>
选择模式6是选择音响设定中的降低设定音量的设定(音量减小设定)或者提高设定音量的设定(音量增大设定)的模式。与选择模式1一样，用户在选择音量减小设定时用第1顺序的手指1执行单轻触输入，在选择音量增大设定时用第2顺序的手指2执行单轻触输入。与选择模式4的选择输入的判定一样，层次化信息输入判定部402在新的触摸位置的空间顺序是第1顺序时，按照图21所示选择与第1顺序关联起来进行存储的音量减小设定。另外，在新的触摸位置的空间顺序是第2顺序时，按照图21所示选择音量增大设定。
选择模式7是选择音响设定中的使设定音轨向前返回的设定(前面音轨设定)或者使设定音轨向后推进的设定(后面音轨设定)的模式。与选择模式1一样，用户在选择前面音轨设定时用第1顺序的手指1执行单轻触输入，在选择后面音轨设定时用第2顺序的手指2执行单轻触输入。与选择模式6的选择输入的判定一样，层次化信息输入判定部402在新的触摸位置的空间顺序是第1顺序时，按照图21所示选择与第1顺序关联起来进行存储的前面音轨设定。另外，在新的触摸位置的空间顺序是第2顺序时，按照图21所示选择后面音轨设定。
(步骤S403：设定信息的变更)
设定信息变更部106变更由层次化信息输入判定部402决定的设定项目的设定值。在第1层、第2层只选择设定项目，变更在第3层的选择模式4～选择模式7所决定的设定项目的设定信息。
关于设定信息的变更，执行与在实施方式2的步骤S304说明的音量设定及音轨设定相同的步骤。
<第3层、选择模式4和选择模式5的设定信息变更>
当在选择模式4判定为温度降低设定的情况下，即当在两点的触摸位置中第1顺序的触摸位置是单轻触输入的新的触摸位置的情况下，例如与图18的音量设定的设定值的增减值一样，设温度设定的增减值ΔT＝-1，按照T＝T+ΔT将作为设定值的温度等级T减1。关于设定值的变更，例如在检测出被单轻触输入的新的触摸位置时执行。
当在选择模式4判定为温度升高设定的情况下，即当在两点的触摸位置中第2顺序的触摸位置是新的单轻触输入的触摸位置的情况下，例如与图18的音量设定的设定值的增减值一样，设温度设定的增减值ΔT＝+1，按照T＝T+ΔT将作为设定值的温度等级T加1。
当在选择模式5判定为风量减小设定的情况下或者判定为风量增大设定的情况下，分别与在选择模式4判定为温度降低设定的情况或者判定为温度升高设定的情况一样，设风量的设定值的增减值ΔW为ΔW＝-1或者+1，按照W＝W+ΔW变更风量等级W的设定值。
关于设定值的变更，例如在检测出新的被单轻触输入的触摸位置时执行。
<第3层、选择模式6和选择模式7的设定信息变更>
当在选择模式6判定为音量减小设定的情况下，即当在两点的触摸位置中第1顺序的触摸位置是新的单轻触输入的触摸位置的情况下，例如与图18的音量设定的设定值的增减值一样，设音量设定的增减值ΔV＝-1，按照V＝V+ΔV将音量等级减1。
当在选择模式6判定为音量增大设定的情况下，即当在两点的触摸位置中第2顺序的触摸位置是新的单轻触输入的触摸位置的情况下，例如与图18的音量设定的设定值的增减值一样，设音量设定的增减值ΔV＝+1，按照V＝V+ΔV将作为设定值的温度等级T加1。
当在选择模式7判定为前面音轨设定的情况下或者判定为后面音轨设定的情况下，分别与图18的音轨设定一样，设音轨号码的增减值ΔNt为ΔNt＝-1或者+1，按照Nt＝Nt+ΔNt变更音轨号码Nt的设定值。
关于设定值的变更，例如在检测出被单轻触输入的新的触摸位置时执行。
(步骤S404：各层振动提示条件决定)
各层振动提示条件决定部403按照每个层及每个选择模式决定提示振动的第1触摸位置和不提示振动的第2触摸位置。
<第1层的振动提示条件>
各层振动提示条件决定部403在按照图21所示检测出双轻触输入、并判定为“初始选择输入”的情况下，对于被检测出的多个触摸位置，决定在规定的时间内在各触摸位置提示各1次的振动。例如，对于被检测出双轻触输入的两个触摸位置，首先将第1顺序的触摸位置设为提示振动的第1触摸位置，将第2顺序的触摸位置设为不提示振动的第2触摸位置，然后在规定的时间后例如250ms后，将第2顺序的触摸位置设为提示振动的第1触摸位置，将第1顺序的触摸位置设为不提示振动的第2触摸位置。由此，用户能够识别被受理的触摸位置的数量，即能够识别出选择项目的数量和进入选择模式1的情况。
另外，在多个触摸位置同时持续的情况下，通过将在某个触摸位置提示振动、到在另一个触摸位置提示振动的间隔设定为250ms以上，用户能够更容易识别对各手指依次提示振动的情况。
另外，在实施方式3中通过振动来通知已进入选择模式这一情况，因而优选用户在进行双轻触输入后原样地持续触摸位置，并且例如在触摸两点时，通过在面板101持续一个触摸位置、在另一个触摸位置进行单轻触输入，能够使一根手指成为支点而容易进行单轻触输入，而且能够容易识别选择了两个选择项中的哪个。
另外，各层振动提示条件决定部403在按照图21所示检测出单轻触输入、并判定为“选择输入”的情况下，将新的触摸位置决定为提示振动的第1触摸位置，将新的触摸位置以外的触摸位置决定为不提示振动的第2触摸位置，以便将“选择输入”被受理并进入下一个选择模式这一情况、以及所选择的项目是第1顺序的触摸位置的设定项目还是第2顺序的触摸位置的设定项目通知给用户。
<第2层的振动提示条件>
各层振动提示条件决定部403在按照图21所示检测出单轻触输入、并判定为“选择输入”的情况下，将新的触摸位置决定为提示振动的第1触摸位置，将新的触摸位置以外的触摸位置决定为不提示振动的第2触摸位置，以便将“选择输入”被受理并进入下一个选择模式这一情况、以及所选择的项目是第1顺序的触摸位置的设定项目还是第2顺序的触摸位置的设定项目通知给用户。
由此，用户能够通过位于被提示振动的触摸位置的手指的空间顺序，在选择模式2中根据触觉识别选择了温度设定(第1顺序)还是选择了风量设定(第2顺序)。另外，在选择模式3中，能够根据触觉识别选择了音量设定(第1顺序)还是选择了音轨设定(第2顺序)。
<第3层的振动提示条件>
各层振动提示条件决定部403在按照图21所示检测出单轻触输入、并判定为“选择输入”的情况下，将新的触摸位置决定为提示振动的第1触摸位置，将新的触摸位置以外的触摸位置决定为不提示振动的第2触摸位置，以便将“选择输入”被受理并进入下一个选择模式这一情况、以及所选择的项目是第1顺序的触摸位置的设定项目还是第2顺序的触摸位置的设定项目通知用户。
由此，用户能够通过位于被提示振动的触摸位置的手指的空间顺序，根据触觉识别在选择模式4中选择了温度降低设定(第1顺序)还是选择了温度升高设定(第2顺序)。另外，在选择模式5中，能够通过触觉识别选择风量减小设定(第1顺序)还是选择了风量增大设定(第2顺序)。并且，在选择模式6中，能够通过触觉识别选择了音量减小设定(第1顺序)还是选择了音量增大设定(第2顺序)。并且，在选择模式7中，能够通过触觉识别选择了前面音轨设定(第1顺序)还是选择了后面音轨设定(第2顺序)。
(步骤S405：振动提示决定)
提示振动决定部108根据在步骤S403决定的设定值和设定值的增减值以及在步骤S404决定的振动提示条件，决定表示在所述第1触摸位置提示的振动的触感信号。
与实施方式1一样，使用如图7A及图7B所示的一次刺激信号或两次刺激信号的触感信号，将选择输入已被受理这一情况、设定值和设定值的增减值提示给用户。例如，如果设定值的增减值是1，则决定为一次刺激信号，当在第2层检测出选择输入时，决定为图7B所示的两次刺激信号等触感信号，并提示用户是第2层的选择输入。即，通过将刺激信号的次数和所选择的层数N设为相同数量，提示用户是第N层的选择输入。
<第1层的提示振动>
提示振动决定部108在通过步骤S402检测出双轻触输入、并判定为进入第1层的选择模式1的“初始选择输入”，通过步骤S404对于被检测出的多个触摸位置决定在规定的时间内在各触摸位置提示各一次的振动时，例如将图7A所示的一次刺激信号决定为触感信号。由此，用户能够识别被受理的触摸位置的数量，即能够识别选择项目的数和已进入选择模式1。并且，在通过步骤S402检测出单轻触输入、并判定为“选择输入”的情况下，例如将图7A所示的一次刺激信号决定为触感信号。由此，能够将“选择输入”被受理并进入下一个选择模式这一情况、以及所选择的项目是第1顺序的触摸位置的设定项目还是第2顺序的触摸位置的设定项目通知给用户。
<第2层的提示振动>
提示振动决定部108无论在第2层的选择模式2或者选择模式3的哪种模式下，在通过步骤S402检测出单轻触输入、并判定为“选择输入”的情况下，在第2层中都将例如图7B所示的两次刺激信号决定为触感信号，以便将“选择输入”被受理并进入下一个选择模式这一情况、以及所选择的项目是第1顺序的触摸位置的设定项目还是第2顺序的触摸位置的设定项目通知用户。
<第3层的提示振动>
提示振动决定部108在第3层的选择模式4～选择模式7的无论哪个模式中，在通过步骤S402检测出单轻触输入、并判定为“选择输入”的情况下，例如只要设定值的增减值是1，就决定为一次刺激信号。由此，通过在用户单轻触输入的触摸位置利用一次刺激信号使面板101振动，通知设定值已增减1。
另外，也可以是，例如在选择模式5，在设定风量等级的情况下等设置值取几个阶段的离散值时，例如如果风量等级约为5个阶段，在单轻触输入的触摸位置持续了规定的时间的情况下，利用一次刺激信号～五次刺激信号使面板101振动，通过触觉反馈当前的设定值。
另外，也可以是，在变更设定值后，在相同触摸位置被持续检测出的情况下，每隔规定的时间间隔通过振动反馈设定值。
另外，也可以是，在设定值的基于振动的反馈持续了规定的时间或者规定的次数后，即使是持续检测出触摸位置也使振动停止。
另外，也可以是，在各层中，在持续检测出触摸位置、而且达规定的时间以上没有执行进入下一层的输入的情况下，判定为用户在犹豫选择，而利用声音等提示设定项目的名称。或者，也可以是，通过以规定的时间间隔反复按照在各触摸位置各一次的顺序提示振动，将选择项的数量和作为触摸位置而受理的触摸位置反馈给用户。
另外，也可以是，在各层中，在触摸位置的数量与设定项目的选择项的数量不一致的情况下，例如在经过规定的时间后，提示频率或振幅与通知设定值的振动不同的其它振动，或者利用声音等通知用户不一致。
(步骤S406：多点同时振动提示)
多点同时振动控制部109计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照各触摸位置同时控制面板101的振动，以便使在通过步骤S404而决定的第1触摸位置提示通过步骤S405而决定的触感信号所表示的振动，在通过步骤S404而决定的第2触摸位置不提示振动。
步骤S406是与实施方式1的步骤S106相同的动作，因而省略说明。
根据上述的结构和动作，实施方式3的触觉输入输出装置100能够容易选择如图21所示的被分层的设定项目，并根据触觉确认输入结果。在图21的示例中，首先用户通过基于两根手指的双轻触输入而进入选择模式1。此时，在进行双轻触输入后，通过对面板101上静止的各手指提示各一次的振动，能够根据触觉确认已受理的触摸次数与选择项目的数量一致这一情况。然后，在选择模式1，使进行触摸的两根手指中的一根手指进行单轻触输入，以便选择空调设定或者音响设定。在新的触摸位置的空间顺序是第1顺序时选择空调设定，在空间顺序是第2顺序时选择音响设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够容易确认选择了哪个设定项目。
当在选择模式1选择了空调的情况下，进入第2层的选择模式2。在选择模式2，与选择模式1一样，使进行触摸的两根手指中的一根手指进行单轻触输入，以便选择温度设定或者风量设定。在新的触摸位置的空间顺序是第1顺序时选择温度设定，在空间顺序是第2顺序时选择风量设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够确认选择了哪个设定项目。当在选择模式2选择了温度设定的情况下，进入第3层的选择模式4。当在选择模式2选择了风量设定的情况下，进入第3层的选择模式5。在选择模式4，使进行触摸的两根手指中的一根手指进行单轻触输入，以便选择温度降低设定或者温度升高设定。在新的触摸位置的空间顺序是第1顺序时选择温度降低设定，在空间顺序是第2顺序时选择温度升高设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够确认选择了哪个设定项目。另外，在选择模式5，使进行触摸的两根手指中的一根手指进行单轻触输入，以便选择风量减小设定或者风量增大设定。在新的触摸位置的空间顺序是第1顺序时选择风量减小设定，在空间顺序是第2顺序时选择风量增大设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够确认选择了哪个设定项目。
当在选择模式1选择了音响的情况下，进入第2层的选择模式3。在选择模式3，与选择模式1一样，使进行触摸的两根手指中的一根手指进行单轻触输入，以便选择音量设定或者音轨设定。在新的触摸位置的空间顺序是第1顺序时选择音量设定，在空间顺序是第2顺序时选择音轨设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够确认选择了哪个设定项目。当在选择模式3选择了音量设定的情况下，进入第3层的选择模式6。当在选择模式3选择了音轨设定的情况下，进入第3层的选择模式7。在选择模式6，使进行触摸的两根手指中的一根手指进行单轻触输入，以便选择音量减小设定或者音量增大设定。在新的触摸位置的空间顺序是第1顺序时选择音量减小设定，在空间顺序是第2顺序时选择音量增大设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够确认选择了哪个设定项目。另外，在选择模式7，使轿厢触摸的两根手指中的一根手指进行单轻触输入，以便选择音轨后退设定或者音轨前进设定。在新的触摸位置的空间顺序是第1顺序时选择音轨后退设定，在空间顺序是第2顺序时选择音轨前进设定。此时，通过在新的触摸位置提示振动、在其它触摸位置不提示振动，用户能够确认选择了哪个设定项目。
另外，在上述步骤S401～S406说明了在选择新的设定项目时，例如当在设定温度后，然后设定音响的音量的情况下，通过双轻触输入暂且返回第1层的选择模式1并进入各选择模式的示例。
在此，说明考虑了从第N层返回第N-1层的“返回输入”的设定项目的决定步骤的一例。具体地讲，在步骤S402，层次化信息输入判定部402将在第N层的选择模式中持续检测出数量与选择项的数量相同的触摸位置、同时又检测出至少一个其它新的触摸位置的情况，判定为“返回输入”，并返回第N-1层的选择模式。
下面，使用图23说明通过判定基于单轻触输入的“选择输入”、基于双轻触输入的“初始选择输入”、以及在持续检测出与各选择模式的选择项的数量对应的触摸位置的状态下、又检测出至少一个其它触摸位置时的“返回输入”，而被层次化的设定信息的决定步骤的一例。
在图23的示例中，首先通过在两个触摸位置同时进行双轻触输入而进入选择模式1。然后，当在持续检测出一个触摸点的状态下又在其它触摸位置检测出双轻触输入时，判定为基于“一点双轻触输入”的“选择输入”，基于振动的反馈使用两次刺激信号使用户确认进入第2层。
当在第1层选择了空调设定的情况下，进入第2层的选择模式2。在此，当在检测出选择项的数量的触摸位置的状态下、又在其它第3触摸位置检测出双轻触输入时，判定为“返回输入”，在这种情况下，使用一次刺激信号仅在第3触摸位置提示振动来通知用户，以便通过振动让用户确认从第2层返回第1层。在选择模式2，选择温度设定或者风量设定，当在一个触摸点持续的状态下、又在其它触摸位置检测出双轻触输入时，判定为基于“一点双轻触输入”的“选择输入”，通过在其它触摸位置使用三次刺激信号反馈振动，让用户确认进入第3层。
当在第2层选择了温度设定的情况下，进入第3层的选择模式4。在此，当在检测出选择项的数量的触摸位置的状态下、又在其它第3触摸位置检测出双轻触输入时，判定为“返回输入”，在这种情况下，使用两次刺激信号仅在第3触摸位置进行振动来通知用户，以便通过振动让用户确认从第3层返回第2层。在选择模式3，为了选择温度降低设定或者温度升高设定，当在一个触摸点持续的状态下、又在其它触摸位置检测出单轻触输入时，判定为基于“单轻触输入”的“选择输入”，通过在其它触摸位置使用一次刺激信号反馈振动，让用户确认设定值的增减值。
当在第2层选择了风量设定的情况下，进入第3层的选择模式5。在此，当在检测出选择项的数量的触摸位置的状态下、又在其它第3触摸位置检测出双轻触输入时，判定为“返回输入”，在这种情况下，使用两次刺激信号仅在第3触摸位置进行振动来通知用户，以便通过振动让用户确认从第3层返回第2层。在选择模式5，为了选择风量减小设定或者风量增大设定，当在一个触摸点持续的状态下、又在其它触摸位置检测出单轻触输入时，判定为基于“单轻触输入”的“选择输入”，通过在其它触摸位置使用一次刺激信号反馈振动，让用户确认设定值的增减值。
当在第1层选择了音响设定的情况下，进入第2层的选择模式3。在此，当在检测出选择项的数量的触摸位置的状态下、又在其它第3触摸位置检测出双轻触输入时，判定为“返回输入”，在这种情况下，使用一次刺激信号仅在第3触摸位置提示振动来通知用户，以便通过振动让用户确认从第2层返回第1层。在选择模式3，为了选择音量设定或者音轨设定，当在一个触摸点持续的状态下、又在其它触摸位置检测出双轻触输入时，判定为基于“一点双轻触输入”的“选择输入”，通过在其它触摸位置使用三次刺激信号反馈振动，让用户确认进入第3层。
当在第2层选择了音量设定的情况下，进入第3层的选择模式6。在此，当在检测出选择项的数量的触摸位置的状态下、又在其它第3触摸位置检测出双轻触输入时，判定为“返回输入”，在这种情况下，使用两次刺激信号仅在第3触摸位置进行振动来通知用户，以便通过振动让用户确认从第3层返回第2层。在选择模式6，为了选择音量减小设定或者音量增大设定，当在一个触摸点持续的状态下、又在其它触摸位置检测出单轻触输入时，判定为基于“单轻触输入”的“选择输入”，通过在其它触摸位置使用一次刺激信号反馈振动，让用户确认设定值的增减值。
当在第2层选择了音轨设定的情况下，进入第3层的选择模式7。在此，当在检测出选择项的数量的触摸位置的状态下、又在其它第3触摸位置检测出双轻触输入时，判定为“返回输入”，在这种情况下，使用两次刺激信号仅在第3触摸位置进行振动来通知用户，以便通过振动让用户确认从第3层返回第2层。在选择模式7，为了选择前面音轨设定或者后面音轨设定，当在一个触摸点持续的状态下、又在其它触摸位置检测出单轻触输入时，判定为基于“单轻触输入”的“选择输入”，通过在其它触摸位置使用一次刺激信号反馈振动，让用户确认设定值的增减值。
另外，在此说明了选择模式的选择项为2，当在检测出两个触摸位置的状态下、又检测出其它第3触摸位置时，判定为“返回输入”的示例，但不限于此，例如也可以是，同时判定触摸位置的空间顺序，例如如果第(选择项数量+1)个触摸位置在最右侧(x轴的坐标值最大)，则进入下一层的选择模式，如果第(选择项数量+1)个触摸位置在最左侧(x轴的坐标值最小)，则返回前一层等。
根据以上的结构和动作，本实施方式3的触觉输入输出装置100通过由层次化信息输入判定部402判定基于单轻触输入的“选择输入”、基于双轻触输入的“初始选择输入”、以及在持续检测出各选择模式的选择项的数量的触摸位置的状态下、又检测出至少一个其它触摸位置时的“返回输入”，选择被分层存储的设定项目，由各层振动提示条件决定部403按每个层或者按每个选择模式决定提示振动的第1触摸位置和不提示振动的第2触摸位置，通过多点同时振动控制部109在选择了设定项目的触摸位置提示振动，在其它触摸位置不提示振动。由此，即使是在多种设备的功能混合存在的系统中，对于被层次化的设定项目，通过振动来通知在哪层选择了哪个设定项目，由此用户不需注视触摸输入用的面板即可进行输入设定。
另外，在实施方式1～实施方式3中优选的是，在未检测出触摸位置的情况下，停止致动器102的驱动，使面板101不振动。但是，也可以在离开触摸位置后通过振动反馈输入状态和设备的状态。
另外，在实施方式1～实施方式3中，根据触摸位置的时间序列信息计算检测顺序、移动方向、空间顺序，但不限于此，例如也可以一并使用从触摸屏驱动器通知操作系统的触摸次数、触摸号码、触摸开始事件、触摸持续事件、触摸结束事件等触摸事件进行计算。
另外，在实施方式1～实施方式3中，说明了在触摸位置的检测时、触摸位置的移动时、触摸位置的移动后的停止时提示振动的示例，但不限于此，也可以在触摸的按压为规定的阈值以上时、手指在触摸位置的接触面积为规定的阈值以上时、或者检测出其它的多触摸手势时提示振动。
以上说明的实施方式1～实施方式3的触觉输入输出装置在通过触摸输入来操作设备时，不需注视进行输入的触摸屏或触摸垫即可进行设备的设定操作，因而能够应用于在注视着监视器的内容的同时操作手头的触摸遥控器时，不需注视遥控器即可进行操作，或者期望尽可能地不注视监视器即可进行操作的车载导航仪等车载系统。另外，通过将设定项目和触摸位置的空间顺序关联起来，仅使与所选择的设定项目对应的触摸位置振动，用户能够容易根据触觉确认被设备受理的设定项目，因而能够应用于具有触摸输入装置的各种设备的操作。例如，能够应用于通过在触摸屏或触摸垫等的触摸输入进行操作的平板终端、游戏机、TV用遥控器、数字照相机、电影、个人电脑、便携信息终端、便携电话、电子黑板或数字标牌用显示器等触觉输入输出装置。并且，也能够应用于洗衣机、微波炉等安装了触摸屏的家电设备的触觉输入输出装置、在控制家电设备的便携电话或平板终端等安装了触摸屏的设备的触觉输入输出装置。
以上对示例性的各实施方式进行了说明，但本申请的权利要求的保护范围不限于这些实施方式。本领域技术人员应该容易理解，在不脱离附带的权利要求书所记载的主题的新的教导及优点的情况下，也可以在上述各实施方式中进行各种变形，也可以将上述各实施方式的构成要素进行任意组合而得到其它的实施方式。因此，这些变形例和其它实施方式也都包含在本发明中。
产业上的可利用性
本发明的触觉输入输出装置能够应用于车载导航系统、以及具有触摸输入装置的其它各种设备的操作。例如，能够应用于通过在触摸屏或触摸垫等的触摸输入进行操作的平板终端、游戏机、TV用遥控器、数字照相机、电影、个人电脑、便携信息终端、便携电话、电子黑板或数字标牌用显示器等触觉输入输出装置。
标号说明
1手指；2手指；3手指；10电子设备；100触觉输入输出装置；101面板；102致动器；103触摸信息取得部；104设定信息存储部；105顺序输入判定部；106设定信息变更部；107振动提示位置决定部；108提示振动决定部；109多点同时振动控制部；110监视器；111影像内容；112选择框显示；113设定值显示部；190处理器；201传递特性存储部；202传递特性取得部；203滤波器计算部；204触感信号存储部；205滤波器处理部；301移动输入判定部；302振动提示条件决定部；401设定信息层次化存储部；402层次化信息输入判定部；403各层振动提示条件决定部。

Claims (4)

1.一种触觉输入输出方法，根据用户进行的触摸输入使面板振动，并控制在所述面板附近的彼此不同的位置设置的用于使所述面板振动的多个致动器，该触觉输入输出方法包括如下步骤：
取得在所述面板的多个位置被同时检测的触摸位置；
根据在所述面板检测出的多个触摸位置的时间序列信息，计算所述多个触摸位置的移动方向；
决定与所述触摸位置的移动方向对应的设定信息；
根据(i)所述触摸位置有无移动、(ii)移动距离、(iii)移动次数、(iv)移动速度中的至少一项，变更所决定的所述设定信息的设定值；
在所述多个触摸位置的移动方向相同时，计算相对于相同的所述移动方向的开头顺序的触摸位置，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置；
根据所述设定信息的设定值，生成表示在所述第1触摸位置提示的振动的触感信号；以及
计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示振动，在所述第2触摸位置不提示振动，
在所述多个触摸位置的移动方向相同时，计算相对于相同的所述移动方向的开头顺序的触摸位置，当在触摸位置的移动中以及/或者所述移动的停止位置附近保持所述触摸位置的情况下，(i)将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，(ii)将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置。
2.一种触觉输入输出装置，包括受理用户进行的触摸输入并通过振动来输出结果的面板，该触觉输入输出装置具有：
所述面板；
多个致动器，设置在所述面板的彼此不同的位置，用于使所述面板振动；
触摸信息取得部，取得在所述面板的多个位置被同时检测的触摸位置；
设定信息存储部，将要触摸输入的设定信息与触摸位置的移动方向关联起来进行存储；
移动输入判定部，(i)根据在所述面板检测出的多个触摸位置的时间序列信息，计算所述多个触摸位置的移动方向，并(ii)与在所述设定信息存储部中存储的移动方向进行比较，以决定与计算出的移动方向对应的设定信息；
设定信息变更部，根据(i)所述触摸位置有无移动、(ii)移动距离、(iii)移动次数、(iv)移动速度中的至少一项，变更由所述移动输入判定部决定的所述设定信息的设定值；
振动提示条件决定部，在所述多个触摸位置的移动方向相同时，计算相对于相同的所述移动方向的开头顺序的触摸位置，将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置；
提示振动决定部，根据所述设定信息的设定值，生成表示在所述第1触摸位置提示的振动的触感信号；以及
多点同时振动控制部，计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示振动，在所述第2触摸位置不提示振动，
所述振动提示条件决定部在所述多个触摸位置的移动方向相同时，计算相对于相同的所述移动方向的开头顺序的触摸位置，当在触摸位置的移动中以及/或者所述移动的停止位置附近保持所述触摸位置的情况下，(i)将所述开头顺序的触摸位置决定为提示振动的第1触摸位置，(ii)将所述开头顺序以外的触摸位置决定为不提示振动的第2触摸位置。
3.一种触觉输入输出装置，包括受理用户进行的触摸输入并通过振动来输出结果的面板，该触觉输入输出装置具有：
所述面板；
触摸信息取得部，取得在所述面板的多个位置被同时检测的触摸位置；
多个致动器，设置在所述面板的彼此不同的位置，用于使所述面板振动；
设定信息层次化存储部，将设备的设定信息分层为多个选择模式，并与触摸位置的空间顺序关联起来进行存储；
层次化信息输入判定部，根据在所述面板同时检测出的多个触摸位置的时间序列信息，计算被同时检测出的多个触摸位置的检测顺序和空间顺序，根据(i)按照所述检测顺序而选择的所述触摸位置的空间顺序、和(ii)在所述设定信息层次化存储部中存储的第N层的选择模式的设定项目的空间顺序，决定与所选择的所述触摸位置的空间顺序一致的所述设定项目并进入第N+1层的选择模式，并且，(i)在检测出第1输入模式时进入第1层的选择模式，(ii)在检测出第2输入模式时进入第N-1层的选择模式，所述第N层的选择模式的层级高于所述第1层；
设定信息变更部，变更由所述层次化信息输入判定部决定的所述设定信息的设定值；
各层振动提示条件决定部，按照每个层以及/或者每个选择模式，决定提示振动的第1触摸位置和不提示振动的第2触摸位置；
提示振动决定部，根据所述第1输入模式、所述第2输入模式、所述设定信息的设定值、或者层值N中的至少一项，决定表示在所述第1触摸位置提示的振动的触感信号；以及
多点同时振动控制部，计算各致动器的驱动信号，根据计算出的所述驱动信号驱动所述致动器，并按照不同触摸位置同时控制所述面板的振动，以使得在所述第1触摸位置提示振动，在所述第2触摸位置不提示振动。
4.根据权利要求3所述的装置，
所述第2输入模式是在各选择模式中与选择项的数量相同数量的触摸位置被检测，而且所述触摸位置之外的其他触摸位置被检测的输入模式。
CN201380027409.6A 2012-12-19 2013-04-09 触觉输入输出装置 Active CN104321723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261739125P 2012-12-19 2012-12-19
US61/739,125 2012-12-19
PCT/JP2013/002410 WO2014097499A1 (ja) 2012-12-19 2013-04-09 触覚入出力装置

Publications (2)

Publication Number Publication Date
CN104321723A CN104321723A (zh) 2015-01-28
CN104321723B true CN104321723B (zh) 2018-04-03

Family

ID=50930296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380027409.6A Active CN104321723B (zh) 2012-12-19 2013-04-09 触觉输入输出装置

Country Status (4)

Country Link
US (1) US9223403B2 (zh)
JP (1) JP6103509B2 (zh)
CN (1) CN104321723B (zh)
WO (1) WO2014097499A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
CN104471521B (zh) * 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
US9990914B2 (en) * 2012-06-28 2018-06-05 Talkler Labs, LLC System and method for dynamically interacting with a mobile communication device by series of similar sequential barge in signals to interrupt audio playback
US9335822B2 (en) * 2012-12-12 2016-05-10 Immersion Corporation Method and system for providing haptic effects based on haptic context information
US9600103B1 (en) 2012-12-31 2017-03-21 Allscripts Software, Llc Method for ensuring use intentions of a touch screen device
DE102013000272A1 (de) * 2013-01-09 2014-07-10 Daimler Ag Verfahren zum Bewegen eines auf einer Anzeigevorrichtung eines Fahrzeugs dargestellten Bildinhalts, Bedien- und Anzeigevorrichtung für ein Fahrzeug und Computerprogrammprodukt
US20140300543A1 (en) * 2013-04-05 2014-10-09 Itvers Co., Ltd. Touch pad input method and input device
JP2015138416A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 電子機器、その制御方法及びプログラム
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
CN104267842B (zh) * 2014-09-11 2020-07-10 惠州Tcl移动通信有限公司 触摸显示面板及其触摸反馈方法
JP6076320B2 (ja) * 2014-11-28 2017-02-08 京セラドキュメントソリューションズ株式会社 画像形成装置および入力方法
JP6473610B2 (ja) * 2014-12-08 2019-02-20 株式会社デンソーテン 操作装置、及び、操作システム
JP6393604B2 (ja) * 2014-12-08 2018-09-19 株式会社デンソーテン 操作装置
US9836124B2 (en) * 2014-12-31 2017-12-05 Harman International Industries, Incorporated Techniques for dynamically changing tactile surfaces of a haptic controller to convey interactive system information
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
JP6065939B2 (ja) * 2015-06-11 2017-01-25 カシオ計算機株式会社 表示装置、及び表示方法
JP6526196B2 (ja) * 2015-07-16 2019-06-05 アルプスアルパイン株式会社 操作感触付与型入力装置
JP2017027294A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 表示操作装置
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
US10514768B2 (en) * 2016-03-15 2019-12-24 Fisher-Rosemount Systems, Inc. Gestures and touch in operator interface
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
WO2018084082A1 (ja) * 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
JP6842903B2 (ja) * 2016-12-12 2021-03-17 カシオ計算機株式会社 表示装置、表示方法、及び、プログラム
CN106775128B (zh) * 2017-02-09 2020-06-23 联想(北京)有限公司 一种输入设备及电子设备
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置
US10684218B2 (en) 2017-04-11 2020-06-16 Canon Kabushiki Kaisha Moisture detecting apparatus for recording material and image forming apparatus
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
JP7277814B2 (ja) * 2017-10-13 2023-05-19 テイ・エス テック株式会社 車両用内装材
CN110241566B (zh) * 2018-03-07 2023-11-10 重庆海尔滚筒洗衣机有限公司 一种带震动功能的洗衣机及控制方法
CN110241547B (zh) * 2018-03-07 2023-08-08 青岛海尔洗涤电器有限公司 一种带震动功能的洗衣机及控制方法
CN110241568B (zh) * 2018-03-07 2023-08-22 青岛海尔洗涤电器有限公司 一种带震动功能的洗衣机及控制方法
CN110244866B (zh) * 2018-03-07 2024-04-09 合肥海尔滚筒洗衣机有限公司 一种带震动功能的洗衣机及控制方法
CN110241565B (zh) * 2018-03-07 2023-08-01 青岛海尔洗涤电器有限公司 一种带震动功能的洗衣机及控制方法
JPWO2020031483A1 (ja) * 2018-08-08 2021-11-18 ソニーグループ株式会社 復号装置、復号方法、プログラム
CN109634428B (zh) * 2018-12-25 2022-05-31 Oppo广东移动通信有限公司 电子设备、反馈提示方法、装置及终端设备
JP6844672B2 (ja) * 2019-11-01 2021-03-17 カシオ計算機株式会社 表示装置、表示方法、及び、プログラム
CN111338527B (zh) * 2020-02-25 2021-11-30 维沃移动通信有限公司 一种方向提示方法及电子设备
CN112619142B (zh) * 2020-12-29 2022-09-02 珠海金山数字网络科技有限公司 目标对象控制方法及装置
WO2022147449A1 (en) * 2020-12-31 2022-07-07 Snap Inc. Electronic communication interface with haptic feedback response
EP4272063A1 (en) 2020-12-31 2023-11-08 Snap Inc. Media content items with haptic feedback augmentations
WO2022147151A1 (en) 2020-12-31 2022-07-07 Snap Inc. Real-time video communication interface with haptic feedback

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446869A (zh) * 2007-11-29 2009-06-03 索尼株式会社 压力检测传感器、输入装置和电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888099B2 (ja) 2001-08-17 2007-02-28 富士ゼロックス株式会社 タッチパネル装置
JP2005266992A (ja) 2004-03-17 2005-09-29 Alpine Electronics Inc 表示式入力装置及び入力報知方法
WO2006042309A1 (en) 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
JP4743832B2 (ja) * 2004-12-02 2011-08-10 アルパイン株式会社 表示式入力装置
JP2008015584A (ja) 2006-07-03 2008-01-24 Kyocera Mita Corp 操作装置，画像形成装置
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
JP5309793B2 (ja) 2008-08-27 2013-10-09 日本電気株式会社 タッチパネル振動方法およびタッチパネル装置
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
TW201101137A (en) * 2009-06-29 2011-01-01 J Touch Corp Touch panel with matrix type tactile feedback
KR101629645B1 (ko) * 2009-09-18 2016-06-21 엘지전자 주식회사 휴대 단말기 및 그 동작방법
JP2011150467A (ja) 2010-01-20 2011-08-04 Sony Corp タッチパネル組立体及びその駆動方法
JP5348008B2 (ja) 2010-02-17 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9405404B2 (en) * 2010-03-26 2016-08-02 Autodesk, Inc. Multi-touch marking menus and directional chording gestures
JP2011248400A (ja) 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および入力方法
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
JP5580155B2 (ja) 2010-09-27 2014-08-27 スタンレー電気株式会社 タッチパネル入力装置の製造方法
US20120268386A1 (en) 2011-04-19 2012-10-25 Karamath James Robert Touch-screen device including tactile feedback actuator
KR20130063831A (ko) * 2011-12-07 2013-06-17 삼성전자주식회사 휴대용 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446869A (zh) * 2007-11-29 2009-06-03 索尼株式会社 压力检测传感器、输入装置和电子设备

Also Published As

Publication number Publication date
WO2014097499A1 (ja) 2014-06-26
CN104321723A (zh) 2015-01-28
US20140168110A1 (en) 2014-06-19
JP6103509B2 (ja) 2017-03-29
US9223403B2 (en) 2015-12-29
JPWO2014097499A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
CN104321723B (zh) 触觉输入输出装置
CN104679233B (zh) 用于生成摩擦和振动触感效果的系统和方法
CN104395866B (zh) 触觉提示装置及触觉提示方法
CN105589594B (zh) 电子装置和电子装置的操作控制方法
CN105446646B (zh) 基于虚拟键盘的内容输入方法、装置及触控设备
US9285880B2 (en) Touch panel device and method of controlling a touch panel device
CN103838424B (zh) 用于带有触觉效果的前馈和反馈的系统和方法
CN103513767B (zh) 触觉反馈控制系统
JP4803105B2 (ja) 電子機器
JP6654743B2 (ja) 電子機器、電子機器の操作制御方法および操作制御プログラム
US9857872B2 (en) Multi-touch display screen with localized tactile feedback
CN104756054A (zh) 通过超声波传感器进行力检测
US20080024459A1 (en) Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement
US20090102805A1 (en) Three-dimensional object simulation using audio, visual, and tactile feedback
KR20110074333A (ko) 휴대 단말의 진동 발생 방법 및 장치
CN107943273A (zh) 上下文压力感测触觉响应
CN104049731A (zh) 依据眼睛注视的触觉感觉
CN104737096A (zh) 显示装置
CN108287651A (zh) 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
US20140082491A1 (en) Electronic device and editing method for synthetic image
WO1992000559A1 (en) Input device with tactile feedback
CN103649896A (zh) 车辆操作装置以及车辆操作方法
CN102693060A (zh) 一种终端状态切换的方法、装置及终端
JP2018128741A (ja) 制御装置、入力システムおよび制御方法
JP6645517B2 (ja) 電子機器、及び、電子機器の駆動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240327

Address after: Kanagawa, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan