CN104285205B - 触控面板器件和触控面板器件的控制方法 - Google Patents

触控面板器件和触控面板器件的控制方法 Download PDF

Info

Publication number
CN104285205B
CN104285205B CN201380022753.6A CN201380022753A CN104285205B CN 104285205 B CN104285205 B CN 104285205B CN 201380022753 A CN201380022753 A CN 201380022753A CN 104285205 B CN104285205 B CN 104285205B
Authority
CN
China
Prior art keywords
touch
vibration
touch location
viewing area
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380022753.6A
Other languages
English (en)
Other versions
CN104285205A (zh
Inventor
荒木昭
荒木昭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN104285205A publication Critical patent/CN104285205A/zh
Application granted granted Critical
Publication of CN104285205B publication Critical patent/CN104285205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

触觉输入输出装置具有：面板(101)；多个致动器(102)，用于使面板(101)振动；移动输入判定部(108)，根据在面板(101)的多个位置检测到的触摸输入的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离；显示部(110)，显示内容；方向判定部(104)，判定内容上的对象相对于显示部(110)的存在方向；振动提示位置决定部(105)，决定到对象的距离最短的第1触摸位置和同时检测到的第2触摸位置；提示振动决定部(106)，根据存在方向决定表示在第1触摸位置提示的振动的触感信号；多点同时振动控制部(107)，进行在第1触摸位置提示规定振动、并且在第2触摸位置不提示该振动的控制；以及内容控制部(109)，根据触摸位置的移动方向和移动距离，使内容滚动并进行显示。

Description

触控面板器件和触控面板器件的控制方法
技术领域
本发明涉及通过使触控面板振动而对用户输出通过触摸输入而操作的GUI等对象存在的方向。特别涉及如下的触觉输入输出装置：使用能够同时检测多个手指的多个触摸位置的多触控面板，通过同时分别对多个手指提示不同的振动，向用户提示GUI等对象存在的方向。
背景技术
近年来，在智能手机、平板电脑、车载用导航设备、个人电脑、游戏机、ATM、售票机等各种设备中搭载有触控面板或触摸板。在这些搭载了触控面板的设备中，在显示器中显示要操作的GUI等对象，用户通过目视确认GUI的位置并进行触摸，对对象进行操作。
并且，在智能手机或平板电脑等中搭载有能够同时检测多个手指的多个触摸位置的多触控面板，根据多个触摸位置的移动，对象的放大、缩小、旋转等直观操作已经实用化。
在上述触控面板搭载设备中，通常，触控面板与机械按钮开关不同，在对GUI等对象进行操作时，得不到按下按钮开关时的操作的感觉。因此，通过在对对象进行操作时使触控面板振动而使用户识别受理操作的结果的技术已经实用化。
但是，在上述的通过振动来确认操作结果的技术中，存在无法提示接下来应该操作的GUI存在于何处的课题。
针对上述课题，在专利文献1中公开了如下技术：通过规定的振动模式使触控面板在显示器的纵和/或横方向上变位，由此，将接触触控面板的状态的指尖引导到显示器中显示的规定的按钮位置。
在先技术文献
专利文献
专利文献1：日本专利第3888099号公报
发明的概要
发明所要解决的课题
在专利文献1的技术中，通过规定的振动模式使触控面板在显示器的纵和/或横方向上变位，从而将接触触控面板的状态的指尖引导到显示器中显示的规定的按钮位置，由此，例如能够使用户得知接下来应该操作的按钮的信息。
但是，发明人发现如下课题：专利文献1的技术是通过使用户的手指在显示器的纵和/或横方向上变位的振动模式将手指引导到按钮位置的方式，所以，使手指在触控面板上向GUI的存在方向描绘移动时的手指的皮肤的变形方向和用于向按钮的存在位置引导的振动所引起的手指的皮肤的变形方向相反，因此，妨碍手指的移动等，很难进行使手指顺畅移动的输入操作。
发明内容
因此，本发明提供如下的触觉输入输出装置：不使面板的显示器在纵和/或横方向上变位，通过在多触控面板中检测到的多个触摸位置中的接近目标GUI的触摸位置提示振动、在同时触摸的其他触摸位置不提示振动，根据提示振动的触摸位置和未提示振动的触摸位置的位置关系，能够提示目标GUI存在的方向。并且，本发明提供如下的触觉输入输出装置：例如通过使电子地图或电子文档等对象进行放大、缩小、滚动，在关注的信息偏离到显示器的显示区域外的情况下，能够对用户提示关注的信息存在于显示器显示区域外的哪个方向。
解决课题所采用的技术手段
本发明的一个方式的触觉输入输出装置具有：面板，受理用户的触摸输入并通过振动来输出结果；多个致动器，设置在所述面板的相互不同的位置，用于使所述面板振动；触摸信息取得部，取得在所述面板的多个位置同时检测到的触摸位置；移动输入判定部，根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离；显示部，显示内容；方向判定部，判定内容上存在的对象位于显示部的显示区域外的哪个方向上；振动提示位置决定部，对所述多个触摸位置和对象的位置进行比较，将到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，将第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置；提示振动决定部，根据所述方向判定部决定的对象的存在方向，决定表示在所述振动提示位置决定部决定的第1触摸位置提示的振动的触感信号；多点同时振动控制部，计算各致动器的驱动信号，以使得在所述第1触摸位置提示规定振动，并且在所述第2触摸位置不提示所述规定振动，根据计算出的所述驱动信号对所述致动器进行驱动，在不同触摸位置同时控制所述面板的振动；以及内容控制部，根据所述移动输入判定部计算出的触摸位置的移动方向和移动距离，执行使内容滚动并显示在显示部中的控制。
另外，这些全部或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
发明效果
本发明的一个方式的触觉输入输出装置的效果之一在于，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户确认目标GUI存在的方向。
附图说明
图1A是示出本发明的实施方式1的触觉输入输出装置的结构的框图。
图1B是示出本发明的实施方式1的平板电脑设备的动作和显示的图。
图2是示出本发明的实施方式1的触觉输入输出装置的构造的图。
图3A是示出对内容和对象位置进行操作的触摸输入和面板的振动位置的一例的图。
图3B是示出对内容和对象位置进行操作的触摸输入和面板的振动位置的一例的图。
图3C是示出对内容和对象位置进行操作的触摸输入和面板的振动位置的一例的图。
图4A是示出触感信号的一例的图。
图4B是示出触感信号的一例的图。
图5是示出本发明的实施方式1的触觉输入输出装置的动作的流程图。
图6是示出内容控制模式的一例的图。
图7A是示出3点触摸中的方向提示的一例的图。
图7B是示出3点触摸中的8方向提示的一例的图。
图8是示出本发明的实施方式1的多点同时振动控制部的结构的一例的框图。
图9是示出从致动器向面板上的某个位置传播振动的路径的图。
图10A是示出TSP的一例的图。
图10B是示出TSP响应的一例的图。
图10C是示出TSP的逆函数的一例的图。
图10D是示出根据TSP响应计算的脉冲响应的一例的图。
图11是示出本发明的实施方式1的多点同时振动控制部的动作的流程图。
图12是用于说明本发明的实施方式1的多点同时振动控制部的处理动作的图。
图13是示出滤波器的一例的图。
图14是示出驱动信号的一例的图。
图15是示出各触摸位置的面板的振动的实验结果的图。
具体实施方式
(本发明的基础知识)
发明人发现如下课题：专利文献1所公开的技术是通过使用户的手指在显示器的纵和/或横方向上变位的振动模式将手指引导到按钮位置的方式，所以，使手指在触控面板上向GUI的存在方向描绘移动时的手指的皮肤的变形方向和用于向按钮的存在位置引导的振动所引起的手指的皮肤的变形方向相反，因此，妨碍手指的移动等，很难进行使手指顺畅移动的输入操作。
因此，本公开提供如下的触觉输入输出装置：不使面板的显示器在纵和/或横方向上变位，通过在多触控面板中检测到的多个触摸位置中的接近目标GUI的触摸位置提示振动、在同时触摸的其他触摸位置不提示振动，根据提示振动的触摸位置和未提示振动的触摸位置的位置关系，能够提示目标GUI存在的方向。更具体而言，提供如下的触觉输入输出装置：在对象存在于显示器的显示区域的左侧的情况下，在2个触摸位置中的位于左侧的触摸位置提示基于第1触感信号的振动，在对象存在于右侧的情况下，在2个触摸位置中的位于右侧的触摸位置提示基于第1触感信号的振动，并且，在对象位于显示器的显示区域的上侧的情况下，在2个触摸位置中的位于上侧的触摸位置提示基于第2触感信号的振动，相反，在对象存在于下侧的情况下，在2个触摸位置中的位于下侧的触摸位置提示基于第2触感信号的振动，由此，提示对象的存在方向。
并且，本公开提供如下的触控面板器件及其控制方法、触觉输入输出装置(Atactile/haptic feedback touch panel apparatus、or a tactile/haptic userinterface apparatus)、触觉输入输出装置的控制方法(A method of controlling atactile/haptic feedback touch panel apparatus)、触觉输入输出装置的振动方法(Amethod of vibrating a tactile/haptic feedback touch panel apparatus)：例如通过使电子地图或电子文档等对象进行放大、缩小、滚动，在关注的信息偏离到显示器的显示区域外的情况下，能够对用户提示关注的信息存在于显示器显示区域外的哪个方向。
本发明的一个方式的触控面板的控制方法检测在触控面板表面或其附近进行多点触摸输入的多个输入，检测所检测到的所述多个输入的位置即多个输入位置，在显示器中显示内容的一部分或全部，决定所述内容上的对象是位于所述显示器的显示区域内还是位于显示区域外，在所述对象位于显示区域外的情况下，使所述多个输入位置中的与包含到所述对象的距离最近的输入位置的至少1个位置对应的位置附近振动，不使所述多个输入位置中的与所述至少1个位置对应的位置附近以外振动。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。
在本发明的另一个方式的触控面板的控制方法中，根据所述对象与到所述对象的距离最近的输入位置之间的距离来变更振动方法。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。
在本发明的另一个方式的触控面板的控制方法中，根据用户的描绘或点击而使所述内容滚动，在所述对象从显示区域外变成显示区域内时，进一步使所述触控面板振动。
根据该结构，用户能够通过触觉来掌握对象进入了显示区域。
在本发明的另一个方式的触控面板的控制方法中，在所述对象针对显示区域位于左右方向的显示区域外的情况下和所述对象针对显示区域位于上下方向的显示区域外的情况下，振动方法不同。
根据该结构，能够适当地使用户得知对象存在于上下方向和左右方向的哪个方向。
本发明的一个方式的触控面板器件具有：构成为能够输入多点触摸的触控面板；多个致动器；以及处理器，所述处理器进行如下控制：检测在触控面板表面或其附近进行多点触摸输入的多个输入，检测所检测到的所述多个输入的位置即多个输入位置，在显示器中显示内容的一部分或全部，决定所述内容上的对象是位于所述显示器的显示区域内还是位于显示区域外，在所述对象位于显示区域外的情况下，使所述多个输入位置中的与包含到所述对象的距离最近的一方的至少1个位置对应的位置附近振动，不使所述多个输入位置中的与所述至少1个位置对应的位置附近以外振动。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。
本发明的另一个方式的触控面板器件根据所述对象与到所述对象的距离最近的输入位置之间的距离来变更振动方法。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。
本发明的另一个方式的触控面板器件是根据用户的描绘或点击而使所述内容滚动的权利要求1所记载的触控面板器件，在所述对象从显示区域外变成显示区域内时，进一步使所述触控面板振动。
根据该结构，用户能够通过触觉来掌握对象进入了显示区域。
在本发明的另一个方式的触控面板器件中，在所述对象针对显示区域位于左右方向的显示区域外的情况下和所述对象针对显示区域位于上下方向的显示区域外的情况下，振动方法不同。
根据该结构，能够适当地使用户得知对象存在于上下方向和左右方向的哪个方向。
本发明的另一个方式的触控面板器件是所述内容为地图的车载用触控面板器件。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知地图上的对象存在的方向。
在本发明的另一个方式的触控面板器件中，所述内容是地图、电子文档、书签或Web页。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知地图、电子文档、书签或Web页上的对象存在的方向。
本发明的一个方式的触觉输入输出装置具有：面板，受理用户的触摸输入并通过振动来输出结果；多个致动器，设置在所述面板的相互不同的位置，用于使所述面板振动；触摸信息取得部，取得在所述面板的多个位置同时检测到的触摸位置；移动输入判定部，根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离；显示部，显示内容；方向判定部，判定内容上存在的对象位于显示部的显示区域外的哪个方向上；振动提示位置决定部，对所述多个触摸位置和对象的位置进行比较，(i)将到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，(ii)将第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置；提示振动决定部，根据所述方向判定部决定的对象的存在方向，决定表示在所述振动提示位置决定部决定的第1触摸位置提示的振动的触感信号；多点同时振动控制部，计算各致动器的驱动信号，以使得在所述第1触摸位置提示规定振动，并且在所述第2触摸位置不提示所述规定振动，根据计算出的所述驱动信号对所述致动器进行驱动，在不同触摸位置同时控制所述面板的振动；以及内容控制部，根据所述移动输入判定部计算出的触摸位置的移动方向和移动距离，执行使内容滚动并显示在显示部中的控制。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。并且，能够高效实现使目标对象再次显示在显示区域内的内容的移动操作。
本发明的一个方式的触觉输入输出方法通过面板响应于来自用户的触摸输入，通过基于多个致动器的振动进行输出，取得在所述面板的多个位置同时检测到的触摸位置，根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离，显示内容，判定内容上存在的对象位于显示部的显示区域外的哪个方向上，将所述多个触摸位置中的(i)到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，(ii)第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置，根据所述方向判定部决定的对象的存在方向，决定表示在所决定的第1触摸位置提示的振动的触感信号，对致动器进行驱动，以使得在所述第1触摸位置提示规定振动，并且在所述第2触摸位置不提示所述规定振动，根据计算出的移动方向和移动距离，使所述内容滚动并显示在显示部中。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。并且，能够高效实现使目标对象再次显示在显示区域内的内容的移动操作。
本发明的一个方式的计算机程序用于使计算机执行如下的触控面板器件的控制方法：检测在触控面板表面或其附近进行多点触摸输入的多个输入，检测所检测到的所述多个输入的位置即多个输入位置，在显示器中显示内容的一部分或全部，决定所述内容上的对象是位于所述显示器的显示区域内还是位于显示区域外，在所述对象位于显示区域外的情况下，使所述多个输入位置中的与包含到所述对象的距离最近的输入位置的至少1个位置对应的位置附近振动，不使所述多个输入位置中的与所述至少1个位置对应的位置附近以外振动。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。
本发明的另一个方式的计算机程序用于使计算机执行如下的触觉输入输出方法：通过面板响应于来自用户的触摸输入，通过基于多个致动器的振动进行输出，取得在所述面板的多个位置同时检测到的触摸位置，根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离，显示内容，判定内容上存在的对象位于显示部的显示区域外的哪个方向上，将所述多个触摸位置中的(i)到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，(ii)第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置，根据所述方向判定部决定的对象的存在方向，决定表示在所决定的第1触摸位置提示的振动的触感信号，对致动器进行驱动，以使得在所述第1触摸位置提示规定振动，并且在所述第2触摸位置不提示所述规定振动，根据计算出的移动方向和移动距离，使所述内容滚动并显示在显示部中。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。并且，能够高效实现使目标对象再次显示在显示区域内的内容的移动操作。
本发明的一个方式的计算机可读取的存储介质存储有1个或多个程序，其中，所述1个或多个程序具有1个或多个指令，在通过具有触控面板的电子设备执行时，所述电子设备以如下方式执行：检测在触控面板表面或其附近进行多点触摸输入的多个输入，检测所检测到的所述多个输入的位置即多个输入位置，在显示器中显示内容的一部分或全部，决定所述内容上的对象是位于所述显示器的显示区域内还是位于显示区域外，在所述对象位于显示区域外的情况下，使所述多个输入位置中的与包含到所述对象的距离最近的输入位置的至少1个位置对应的位置附近振动，不使所述多个输入位置中的与所述至少1个位置对应的位置附近以外振动。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。
本发明的另一个方式的计算机可读取的存储介质存储有1个或多个程序，其中，所述1个或多个程序具有1个或多个指令，在通过具有能够进行触摸输入的面板的电子设备执行时，所述电子设备以如下方式执行：取得在从用户输入的所述面板的多个位置同时检测到的触摸位置，根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离，显示内容，判定内容上存在的对象位于显示部的显示区域外的哪个方向上，将所述多个触摸位置中的(i)到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，(ii)第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置，根据所述方向判定部决定的对象的存在方向，决定表示在所决定的第1触摸位置提示的振动的触感信号，对致动器进行驱动，以使得在所述第1触摸位置提示规定振动，并且在所述第2触摸位置不提示所述规定振动，根据计算出的移动方向和移动距离，使所述内容滚动并显示在显示部中。
根据该结构，通过控制在用户触摸的哪个触摸位置提示振动，能够适当地使用户得知对象存在的方向。并且，能够高效实现使目标对象再次显示在显示区域内的内容的移动操作。
在本说明书中，多点触摸意味着具有同时接触面板的状态的多个触摸。换言之，多点触摸意味着在某个时点接触面板的多个触摸。即，多点触摸意味着针对面板上的多个位置的多个触摸，意味着时间上重复的多个触摸。因此，多点触摸不仅包括同时开始的多个触摸，还包括在不同时刻开始、在某个时点同时检测到的多个触摸。具体而言，在第1触摸开始后、在第1触摸持续的状态下开始第2触摸的情况下，在第2触摸的开始时点，第1触摸和第2触摸相当于多点触摸。
下面，参照附图对下本发明的实施方式进行说明。
另外，以下说明的实施方式均示出全部或具体的例子。以下实施方式所示的数值、形状、材料、结构要素、结构要素的配置位置和连接方式、步骤、步骤的顺序等是一例，并不是限定权利要求范围的意思。并且，关于以下实施方式的结构要素中的、在示出最上位概念的独立权利要求中没有记载的结构要素，作为任意的结构要素进行说明。
(实施方式1)
实施方式1的触觉输入输出装置在多触控面板检测到的多个触摸位置中的最接近目标GUI(图标、按钮等)的触摸位置提示振动，在同时触摸的其他触摸位置不提示振动。由此，能够提示目标GUI存在的方向。
例如，在具有多触控面板的显示器中，实现如下功能：通过以使触摸的2个触摸位置的距离变大的方式移动，例如放大显示地图，相反，通过以使2个触摸位置的距离缩短的方式移动，缩小显示地图。通过使地图放大、缩小或向任意方向滚动，在参照目的地周边的信息时，有时所显示的目的地等对象物(利用图标或按钮等图示在显示器上)偏离到显示器的显示范围外，如果使地图向某个方向滚动，则不知道目的地是否能够再次显示在显示器的显示区域内。并且，在具有多触控面板的显示器搭载GPS并根据当前地显示地图的情况下，当伴随显示器装置的移动而更新地图显示时，有时表示目的地或对象物的图标或按钮位于显示器显示范围外。
在实施方式1中，关于存在于显示区域外的对象的位置，在存在于触控面板上的多个触摸位置中的最接近目标对象的触摸位置提示振动，在同时触摸的其他触摸位置不提示振动。由此，如上所述，在对象位于显示范围外的情况下，向用户提示目标对象存在的方向。考虑提示对象存在的方向，以使得能够在显示区域内再次显示目标对象。更具体而言，对存在2个触摸位置的情况进行说明。考虑在对象超出显示器的显示区域而存在于左侧的情况下，在2个触摸位置中的位于左侧的触摸位置提示基于第1触感信号的振动，在对象存在于右侧的情况下，在2个触摸位置中的位于右侧的触摸位置提示基于第1触感信号的振动。并且，在对象超出显示器的显示区域而位于上侧的情况下，在2个触摸位置中的位于上侧的触摸位置提示基于第2触感信号的振动，相反，在对象超出显示区域而存在于下侧的情况下，在2个触摸位置中的位于下侧的触摸位置提示基于第2触感信号的振动，由此提示对象的存在方向。
图1A是示出本发明的实施方式的触觉输入输出装置的结构的框图。
本实施方式的触觉输入输出装置100具有面板101、致动器102、触摸信息取得部103、方向判定部104、振动提示位置决定部105、提示振动决定部106、多点同时振动控制部107、移动输入判定部108、内容控制部109、显示部110。除此之外，虽然没有图示，但是还可以具有用于测定触觉输入输出装置的位置的位置测定部(GPS模块、陀螺仪传感器、电子罗盘等)、用于通过通信(无线LAN、W-CDMA/UMTS、LTE等移动通信方式、近距离无线等)来接收地图数据的通信部和天线。另外，地图数据也可以存储在存储器中。各结构要素可以由专用的硬件构成，也可以通过执行适于各结构要素的软件程序来实现。各结构要素还可以通过由CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质中记录的软件程序并执行来实现。
作为本发明的实施方式的触觉输入输出装置的例子，举出汽车中组装或外置的车载导航系统、平板电脑设备、便携电话设备、笔记本型计算机等。
<显示地图数据的平板电脑设备的例子>
图1B是说明本触觉输入输出装置为平板电脑设备310并显示地图数据320的例子的图。平板电脑设备310的显示区域无法显示特别是放大了地图的情况等的地图数据320全体。图1B中的地图数据是为了示出显示区域外和显示区域内的关系而示意示出的，但是，显示区域外的地图实际上不显示。作为对象的目标地点321是用户设定为目标或平板电脑设备310自动设定的地点。在图1B中，由于目标地点321位于平板电脑设备310的显示区域外，所以不显示。在用户用手指1和手指2进行多点触摸的情况下，由于手指2与目标地点321之间的距离比手指1与目标地点321之间的距离近，所以，在与手指2对应的触摸位置提示基于第1触感信号的振动。换言之，由于目标地点321位于画面外的右侧，所以，对多点触摸的多个位置中的与更靠右侧的手指2对应的触摸位置提示振动。振动方法(刺激数和振幅等)、振动位置的决定方法可以应用本说明书中记载的任意方法。
另外，地图数据可以包含世界全体的地图，也可以根据大陆、国家、地域等需求或存储容量而采用任意大小的地图数据。
下面，对各结构要素进行说明。
<面板101>
面板101是传递振动的部件，受理用户的触摸操作，通过进行振动而向用户通知受理了触摸操作。作为面板的材质，优选为玻璃、聚碳酸酯、丙烯、ABS等针对用户的触摸操作具有耐久性的材质。但是不限于此，只要是能够对用户反馈振动的部件即可。
另外，面板101的形状、大小、厚度、硬度和固定方法等不需要特别限定。但是，依赖于面板101的形状、大小、厚度、硬度和固定方法等，从致动器102到面板101上的各位置(以后也称为“点”)的振动传递特性变化。
<致动器102>
致动器102使面板101振动，向用户提示触觉。作为致动器102，例如可以使用压电元件、振动马达、音圈、人工肌肉等。
图2是致动器102针对面板101的配置的一例。致动器102例如通过粘接剂等(未图示。在致动器102为压电元件的情况下，使用环氧系粘接剂等即可。)固定在面板101上。
在本实施方式中，说明设致动器102的数量为对面板101进行触摸操作的触摸位置的数量以上的例子。由此，能够针对与致动器102的数量M(M为2以上的整数)相同数量的同时检测到的触摸位置提示相互不同的振动。在本实施方式中，如图2所示，设致动器102的数量为4，触摸位置的数量为2(手指1和手指2)。
致动器102的配置位置不需要特别限定。例如，多个致动器102配置成能够高效地使面板101振动即可。并且，设致动器102的数量为4，但是不限于此。
<触摸信息取得部103>
触摸信息取得部103取得用户针对面板101的多个触摸位置。
为了便于说明，如图2所示，例如在用2根手指即手指1和手指2进行触摸操作的情况下，时刻t的手指1和手指2的2个触摸位置分别用P1(x1(t)、y1(t))、P2(x2(t)、y2(t))表示。在图2中，使用相对于纸面设显示部110的左上角为原点O的二维平面的xy坐标表示触摸位置。
作为触摸信息取得部103，例如可以使用静电容量方式或电阻膜方式等的多触控面板。例如，在触摸信息取得部103由静电容量方式的多触控面板构成的情况下，触摸信息取得部103根据基于多点触摸的静电容量的变化，取得多个触摸位置。并且，例如，在触摸信息取得部103由感压方式的多触控面板构成的情况下，触摸信息取得部103根据基于多点触摸的压力的变化，取得多个触摸位置。
另外，多点触摸的检测不需要限定为静电容量方式或压敏方式的多触控面板。可以是任意方式的多点触摸检测方式。例如，也可以通过CCD或CMOS照相机拍摄手指的位置并通过图像处理而取得。或者，也可以使用如下的FTIR(Frustrated Total InternalReflection)方式等：当设面板101为透明的丙烯部件并从面板101的侧壁入射红外光时，由于全反射的性质而在面板101内封闭红外光，但是，通过具有红外滤波器的照相机来检测由于基于触摸操作的面板101的翘曲而泄漏的红外光。
<方向判定部104>
如图3A所示，方向判定部104判定存在于内容3上的对象4相对于显示部110的显示区域(矩形ABCD)位于哪个方向上。这里，为了便于说明，在图3A中，使用对表示触摸位置P1、P2的o-xy坐标系和表示内容13上的二维位置的坐标系(未图示)进行统合后的O-XY坐标系，说明方向判定的概要。相对于纸面设显示部110的左上角为原点o的二维平面的xy坐标和统合坐标系O-XY的关系如下所述。x轴定义在显示部110的长边上(长轴方向)，与统合坐标系的X轴平行。并且，y轴定义在显示部110的短边上(短轴方向)，与统合坐标系的Y轴平行。并且，相对于纸面设显示部110的左上角即原点o在统合坐标系中的坐标值为(RL、RT)，相对于纸面设显示部110的右下角的坐标值为(RR、RB)。此时，相对于显示部110的显示区域(矩形ABCD)，使用显示部110的显示区域(矩形ABCD)的上端的坐标值RT、下端的坐标值RB、左端的坐标值RL、右端的坐标值RR判定对象4(XO(t)、YO(t))存在的方向。在图3A的例子中，对对象4的坐标值(XO(t)、YO(t))和RT、RB、RL、RR进行比较，判定为对象4相对于纸面存在于比显示部110的上端RT更靠上侧的方向、且比显示部110的右端RR更靠右侧的方向。
例如，内容13可以设为地图，对象4可以设为目的地位置的显示图标(以下也称为目的地)。另外，内容13和对象4不限于此，可以设为电子文档。作为电子文档，例如，内容13可以设为Web页，对象4可以设为超链接的位置或图像等内容。并且，可以设内容13为电子书，设对象4为书签。即，针对显示部110中显示的电子内容、即用户通过进行页移动或滚动操作而使对象出现在显示区域外的情况，本发明特别有效。
<振动提示位置决定部105>
振动提示位置决定部105对多个触摸位置和对象4的位置进行比较，将到对象4的距离最短的触摸位置决定为提示振动的第1触摸位置，将第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置。关于最短距离，分别计算X轴上的距离、Y轴上的距离，设其中更短的距离为最短距离。在图3A中，触摸位置P1、P2的统合坐标系O-XY中的坐标值分别为(X1(t)、Y1(t))、(X2(t)、Y2(t))，当与对象4的坐标值(XO(t)、YO(t))进行比较时，X轴上的最短距离为XO(t)-X2(t)，Y轴上的最短距离为YO(t)-Y2(t)，选择哪个最短距离，提示振动的第1触摸位置均为P2，将第1触摸位置以外、该情况下为触摸位置P1决定为不提示振动的第2触摸位置。
由此，用户能够通过有无振动来确认正在触摸的多个触摸位置中的最接近对象4的触摸位置。在图3A的例子中，相对于纸面在右侧的手指(触摸位置P2)提示振动，在左侧的手指(触摸位置P1)不提示振动。此时，用户无法区分是由于对象4位于右侧而在右侧的手指(触摸位置P2)提示振动、还是由于右侧的手指相对于左侧的手指位于上侧、所以由于对象4位于上侧而在上侧的手指(触摸位置P2)提示振动。因此，为了能够对它们进行区分，通过提示振动决定部决定对用户提示的振动。
另外，也可以单纯地计算各个触摸位置P1、P2与对象4之间的直线距离，设更短的距离为最短距离，将作为最短距离的触摸位置决定为提示振动的触摸位置。
<提示振动决定部106>
提示振动决定部106根据方向判定部104决定的对象4的存在方向，决定表示在振动提示位置决定部105决定的第1触摸位置提示的振动的触感信号。作为触感信号，例如，在对象4相对于纸面存在于比显示部110的左端更靠左的方向或比右端更靠右的方向时，使用第1触感信号，在对象4相对于纸面存在于比显示部110的上端更靠上的方向或比下端更靠下的方向时，使用第2触感信号。作为第1和第2信号，使用振动刺激的次数、频率、振幅等用户能够识别差异的信号即可，例如，第1触感信号可以使用图4A所示的1次刺激信号，第2触感信号可以使用图4B所示的2次刺激信号。
例如在图3A的情况下，关于对象4的位置与触摸位置P1、P2之间的最短距离，由于X轴上的最短距离为XO(t)-X2(t)，所以，通过提示图4A所示的1次刺激信号，用户能够确认对象4存在于右侧。
<多点同时振动控制部107>
多点同时振动控制部107计算各致动器的驱动信号，以使得在所述第1触摸位置提示所述触感信号所示的振动，并且在所述第2触摸位置不提示振动，根据计算出的所述驱动信号对所述致动器进行驱动，在不同触摸位置同时控制所述面板的振动。
<移动输入判定部108>
移动输入判定部108根据触摸信息取得部103取得的多个触摸位置的时间序列信息计算触摸位置的移动距离。用户根据由多点同时振动控制部107提示振动的触摸位置和触感信号的种类，识别对象4存在的方向，在显示部110的显示区域内显示对象4，所以，根据计算出的触摸位置的移动距离滚动内容13。
<内容控制部109>
内容控制部109根据移动输入判定部108计算出的触摸位置的移动方向和移动距离，滚动内容13并将其显示在显示部110中。进而，如果根据所述移动方向和移动距离使内容13移动的结果为对象4进入显示部110的显示区域内，则结束处理，如果未进入显示区域内，则返回触摸信息取得部103取得触摸位置，反复通过方向判定部104判定对象4的存在方向、通过多点同时振动控制部107通过振动来提示对象的存在方向。显示部110可以使用LCD、有机EL、电子纸等显示器。
<动作>
根据图3～图15对如上所述构成的本实施方式1的触觉输入输出装置100的动作进行说明。
图5是示出本发明的实施方式的触觉输入输出装置100的动作的流程图，根据该流程图对本实施方式1的触觉输入输出装置100的动作进行详细说明。
在本实施方式1中，如图3A～图3C所示，说明在对显示部110中显示的内容13进行滚动控制的电子设备10中搭载触觉输入输出装置100的例子。例如，说明如下例子：通过仅在正在触摸面板101的多个触摸位置中的接近对象4的触摸位置提示振动，使用户识别存在于显示部110的显示区域外的可滚动操作的内容13(例如地图)上的对象4(例如表示目的地的显示图标)的方向。
(步骤S101：触摸信息取得)
触摸信息取得部103取得用户针对面板101的多个触摸位置。
在图3A的例子中，例如在用2根手指即手指1和手指2进行触摸操作的情况下，取得时刻t的手指1和手指2的2个触摸位置分别为P1(x1(t)、y1(t))、P2(x2(t)、y2(t))。例如以10ms等取样间隔，作为时间序列信息取得触摸位置P1、P2。
(步骤S102：对象方向判定)
如图3A、图3B、图3C所示，方向判定部104判定存在于内容3上的对象4相对于显示部110的显示区域(矩形ABCD)位于哪个方向上。这里，为了便于说明，在图3A、图3B、图3C中，使用对表示面板101上的触摸位置P1、P2的o-xy坐标系和表示内容13上的二维位置的坐标系(未图示)进行统合后的O-XY坐标系，说明方向判定的概要。对象4的坐标用LO(XO(t)、YO(t))表示。相对于纸面设显示部110的左上角为原点o的二维平面的xy坐标和统合坐标系O-XY的关系如下所述。x轴定义在显示部110的长边上，与统合坐标系的X轴平行。并且，y轴定义在显示部110的短边上，与统合坐标系的Y轴平行。并且，相对于纸面设显示部110的左上角即原点o在统合坐标系中的坐标值为(RL、RT)，相对于纸面设显示部110的右下角的坐标值为(RR、RB)。此时，相对于显示部110的显示区域(矩形ABCD)，使用显示部110的显示区域(矩形ABCD)的上端的坐标值RT、下端的坐标值RB、左端的坐标值RL、右端的坐标值RR判定坐标值为LO(XO(t)、YO(t))的对象4存在的方向。在图3A的例子中，对对象4的坐标值LO(XO(t)、YO(t))和RT、RB、RL、RR进行比较，判定为对象4相对于纸面存在于比显示部110的上端RT更靠上侧的方向、且比显示部110的右端RR更靠右侧的方向。图3B的例子是使触摸位置P1、P2移动而相对于纸面向左侧的方向滚动内容13的例子。在图3B的情况下，也同样对对象4的坐标值LO(XO(t)、YO(t))和RT、RB、RL、RR进行比较，判定为对象4相对于纸面存在于比显示部110的上端RT更靠上侧的方向、且显示部110的左端RL与右端RR之间的方向。图3C的例子是使触摸位置P1、P2移动而相对于纸面向下侧的方向滚动内容13的例子。在图3C的情况下，也同样对对象4的坐标值LO(XO(t)、YO(t))和RT、RB、RL、RR进行比较，判定为对象4相对于纸面存在于显示部110的上端RT与上端RB之间、且显示部110的左端RL与右端RR之间。即，该情况下，判定为在显示部110的显示区域(矩形ABCD)中显示对象4。
例如，内容13可以设为地图，对象4可以设为目的地位置的显示图标(以下也称为目的地)。另外，内容13和对象4不限于此，可以设为电子文档。作为电子文档，例如，内容13可以设为Web页，对象4可以设为超链接的位置或图像等内容。并且，可以设内容13为电子书，设对象4为高光部或书签。即，针对显示部110中显示的电子内容、即用户通过进行页移动或滚动操作而使对象出现在显示区域外的情况，本实施方式特别有效。
(步骤S103：振动提示位置决定)
振动提示位置决定部105对多个触摸位置和对象4的位置进行比较，将到对象4的距离最短的触摸位置决定为提示振动的第1触摸位置，将第1触摸位置以外的同时检测到的触摸位置决定为不提示振动的第2触摸位置。关于最短距离，分别计算X轴上的距离、Y轴上的距离，设其中更短的距离为最短距离。在图3A中，统合坐标系O-XY中的触摸位置P1、P2的坐标值分别为(X1(t)、Y1(t))、(X2(t)、Y2(t))，当与对象4的坐标值LO(XO(t)、YO(t))进行比较时，X轴上的最短距离为XO(t)-X2(t)，Y轴上的最短距离为YO(t)-Y2(t)，选择哪个最短距离，提示振动的第1触摸位置均为P2，将第1触摸位置以外、该情况下为触摸位置P1决定为不提示振动的第2触摸位置。即，在图3A的情况下，在斜线所示的手指2提示振动，在手指1不提示振动。在图3B的情况下，同样，统合坐标系O-XY中的触摸位置P1、P2的坐标值分别为(X1(t)、Y1(t))、(X2(t)、Y2(t))，当与对象4的坐标值LO(XO(t)、YO(t))进行比较时，X轴上的最短距离为XO(t)-X2(t)，Y轴上的最短距离为YO(t)-Y2(t)，选择哪个最短距离，提示振动的第1触摸位置均为P2，将第1触摸位置以外、该情况下为触摸位置P1决定为不提示振动的第2触摸位置。即，在图3B的情况下，也在斜线所示的手指2提示振动，在手指1不提示振动。在图3C的情况下，同样，触摸位置P1、P2的坐标值分别为(X1(t)、Y1(t))、(X2(t)、Y2(t))，当与对象4的坐标值LO(XO(t)、YO(t))进行比较时，X轴上的最短距离为XO(t)-X2(t)，Y轴上的最短距离为YO(t)-Y2(t)，选择哪个最短距离，提示振动的第1触摸位置均为P2，将第1触摸位置以外、该情况下为触摸位置P1决定为不提示振动的第2触摸位置。即，在图3B的情况下，也在斜线所示的手指2提示振动，在手指1不提示振动。
通过上述振动提示位置的决定，用户能够通过有无振动来确认正在触摸的多个触摸位置中的最接近对象4的触摸位置。在图3A的例子中，相对于纸面在右侧的手指(触摸位置P2)提示振动，在左侧的手指(触摸位置P1)不提示振动。此时，用户无法区分是在右侧存在对象4而在比左侧的手指1(触摸位置P1)更靠右侧即到对象4的距离更近的右侧的手指2(触摸位置P2)提示振动，还是由于右侧的手指2(触摸位置P2)相对于左侧的手指1(触摸位置P1)位于上侧、所以对象4位于上侧而在到对象4的距离更近的手指2(触摸位置P2)提示振动。为了能够对它们进行区分，在本实施方式中，使用2种振动。在接下来的步骤S104中，通过提示振动决定部106决定对用户提示的2个振动。
另外，也可以单纯地计算各个触摸位置P1、P2与对象4之间的直线距离，设更短的距离为最短距离，将作为最短距离的触摸位置决定为提示振动的触摸位置。
(步骤S104：提示振动决定)
提示振动决定部106根据方向判定部104决定的对象4的存在方向，决定表示在振动提示位置决定部105决定的第1触摸位置提示的振动的触感信号。作为触感信号，例如，在对象4相对于纸面存在于比显示部110的左端更靠左的方向或比右端更靠右的方向时，使用第1触感信号，在对象4相对于纸面存在于比显示部110的上端更靠上的方向或比下端更靠下的方向时，使用第2触感信号。
更具体而言，判定对象4的坐标值XO(t)、YO(t)是否分别位于[RL、RR]、[RT、RB]的范围内，在XO(t)、YO(t)中的至少一方在范围外的情况下，针对范围外的对象的坐标值，选择成为最短距离的RL、RR、RT、RB，决定在选择RL或RR时使用第1触感信号，在选择RT或RB时使用第2触感信号。
例如，在图3A的情况下，对象4的坐标值XO(t)、YO(t)均分别在[RL、RR]、[RL、RR]的范围外，到对象4的距离最短的是右端即RR，所以，选择第1触感信号，并且，对位于到对象4的距离最短的右侧的手指2的触摸位置P2的手指2提示振动，在触摸位置P1不提示振动。由此，在图3A的情况下，首先，用户能够确认对象4比显示部110的右端RR更靠右侧。接着，如图3B所示，用户使内容13相对于纸面向左侧的方向滚动，使通知位于显示部110的右侧的对象4移动，以显示在显示部110的显示范围内。此时，判定对象4的坐标值XO(t)、YO(t)是否分别位于[RL、RR]、[RT、RB]的范围内，在图3B的情况下，由于YO(t)在[RT、RB]的范围外，所以，到对象4的距离最短的是上端即RT，所以，选择第2触感信号，并且，对位于到对象4的距离最短的上侧的手指2的触摸位置P2的手指2提示振动，在触摸位置P1不提示振动。由此，在图3B的情况下，用户能够确认对象4比显示部110的上端RT更靠上侧。接着，如图3C所示，用户使内容13相对于纸面向下侧的方向滚动，使通知位于显示部110的上侧的对象4移动，以显示在显示部110的显示范围内。此时，判定对象4的坐标值XO(t)、YO(t)是否分别位于[RL、RR]、[RT、RB]的范围内，在图3C的情况下，由于XO(t)、YO(t)均在范围内，所以，判定为对象4显示在显示部110的显示区域内。该情况下，面板101的振动可以停止，也可以将到对象4的距离最短的触摸位置作为第1触摸位置而持续提示振动。
作为上述第1触感信号和第2触感信号，使用振动刺激的次数、频率、振幅、进行提示的时间长等用户能够识别差异的信号即可，例如，第1触感信号例如可以使用图4A所示的刺激信号，第2触感信号可以使用图4B所示的刺激信号。通过以下的式(1)生成图4A所示的触感信号。在图4A中，根据频率fc的正弦波的r周期的信号生成所述触感信号s(n)，使用r周期正好为半周期的调制频率fm对正弦波进行调制。
【数学式1】
这里，Ts表示取样周期。在图4A的例子中，由于fc＝200Hz、r＝10，所以调制频率fm为10Hz。这样生成的触感信号可以用作用于提示点击1次物理开关这样的触感的信号(以下称为1次刺激信号。)，由此，用户能够通过触觉来确认所述设定值增减1。
同样，在图4B中，使用r周期正好为1周期的调制频率fm对正弦波进行调制，可以用作用于提示连续2次点击物理开关这样的触感的信号(以下称为2次刺激信号。)。
另外，触感信号不需要必须是如上所述生成的信号。例如，不需要进行式(1)所示的调制。即，作为触感信号，可以使用正弦波，将其提示的时间长不同的信号作为第1触感信号和第2触感信号。
另外，频率fc只要是人们能够通过触觉感知的频率即可，可以是任意的频率。例如，根据面板101的振动特性来决定频率fc即可。
例如，频率fc可以决定为与面板101的谐振频率一致。通过这样决定频率fc，能够减少致动器102赋予给面板101的振动的衰减，能够高效展示触感。
(步骤S105：多点同时振动控制)
多点同时振动控制部107计算各致动器的驱动信号，以使得在步骤S103和步骤104中决定的第1触摸位置提示所述第1或第2触感信号所示的振动，并且在所述第2触摸位置不提示所述振动，根据计算出的所述驱动信号对所述致动器进行驱动，在不同触摸位置同时控制所述面板的振动。
具体而言，根据步骤104中决定的触感信号，在对象存在于显示部110的显示区域的左侧的情况下，在2个触摸位置中的位于左侧的触摸位置提示基于第1触感信号的振动，在对象存在于右侧的情况下，在2个触摸位置中的位于右侧的触摸位置提示基于第1触感信号的振动。并且，在对象位于显示部110的显示区域的上侧的情况下，在2个触摸位置中的位于上侧的触摸位置提示基于第2触感信号的振动，相反，在对象存在于下侧的情况下，在2个触摸位置中的位于下侧的触摸位置提示基于第2触感信号的振动。
另外，多点同时振动控制部107可以在触摸信息取得部103检测到触摸位置P1、P2的定时始终使面板101振动，也可以以规定时间间隔反复进行振动的提示和停止。并且，通过进行在触摸位置为1点时不振动、仅在触摸位置为2点时提示方向的振动控制，用1根手指滚动内容13并在希望得知对象方向的定时触摸第2点，由此，能够仅在必要的定时通过振动来提示方向信息，对于用户来说，在消耗电力方面，也能够抑制不必要的面板振动。多点同时振动控制部107的具体结构和动作的一例在后面叙述。
(步骤S106：移动输入判定)
移动输入判定部108根据触摸信息取得部103取得的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离。用户根据由多点同时振动控制部107提示振动的触摸位置和触感信号的种类，识别对象4存在的方向，在显示部110的显示区域内显示对象4，所以，根据计算出的触摸位置的移动方向和移动距离滚动内容13。
触摸位置的移动方向如下计算。这里，根据步骤S101中取得的触摸位置的时间序列信息，计算在手指触摸在面板101上的状态下使触摸位置移动时的移动方向。具体而言，表示每隔取样间隔Δt的触摸位置P1的移动方向的移动矢量计算为v1(x1(t)-x1(t-1)、y1(t)-y1(t-1))，触摸位置P2的移动矢量计算为v2(x2(t)-x2(t-1)、y2(t)-y2(t-1))。其中，(t-1)表示上1次取样的时刻。图3B示出滚动内容13的移动输入的一例。图3B示出通过相对于纸面向左侧移动触摸位置而使内容13向左侧滚动的例子。在对表示面板101上的触摸位置P1、P2的o-xy坐标系和表示内容13上的二维位置的坐标系(未图示)进行统合后的O-XY坐标系中，手指1、手指2分别在时刻(t-1)同时触控面板101，触摸位置P1、P2分别为X1(t-1)、X2(t-1)。手指1、手指2的触摸位置P1、P2的移动方向分别为v1＝X1(t)-X1(t-1)、v2＝X2(t)-X2(t-1)。同样，图3C示出通过相对于纸面向下侧移动触摸位置而使内容13向下侧滚动的例子。此时，手指1、手指2的触摸位置P1、P2的移动方向分别为v1＝Y1(t)-Y1(t-1)、v2＝Y2(t)-Y2(t-1)。
触摸位置的移动距离如下计算。通过式(2)求出用户用手指1触摸面板101的时刻(t＝0、移动开始位置P1(X1(0)、Y1(0))到时刻t(触摸位置P1(X1(t)、Y1(t)))的触摸位置的移动距离d1(t)。这里，在时刻t取得的触摸位置P1(X1(t)、Y1(t))和时刻(t-Δt)取得的触摸位置P1(X1(t-1)、Y1(t-1))相同时、或P1(X1(t)、Y1(t))和P1(X1(t-1)、Y1(t-1))的距离小于规定距离时，判定为基于手指1的描绘的触摸位置P1的移动停止。在判定为触摸位置的移动停止时，利用P1(X1(0)、Y1(0))对移动开始位置进行初始化。并且，以判定为触摸位置的移动停止的时刻为基点，每隔取样间隔Δt，在与触摸位置的移动停止的位置相同的位置确认触摸是否静止，记录并更新静止时间t1s。基于手指2的触摸位置P2的移动距离d2(t)也通过式(2)同样计算，同样记录并更新P2的静止时间t2s。
【数学式2】
(步骤S107：内容控制)
内容控制部109根据步骤S106中移动输入判定部108计算出的触摸位置的移动方向和移动距离，滚动内容13并将其显示在显示部110中。
图6示出基于触摸位置的移动方向和移动距离的内容13的控制模式的一例。
控制模式[1]是触摸信息取得部103检测到的触摸数为1、且触摸位置P1向移动矢量v1的方向移动的情况，此时，进行使内容13移动根据式(2)计算出的移动距离d1的显示控制。具体而言，例如，根据移动矢量v1使内容13全体移动。由此，对象4的坐标值(XO(t)、YO(t))向(XO(t-1)+(X1(t)-X1(t-1))、YO(t-1)+(Y1(t)-Y1(t-1)))移动。例如，在图3B的情况下，(XO(t)、YO(t))移动到(XO(t-1)+(X1(t)-X1(t-1))、YO(t-1))，在图3C的情况下，向(XO(t-1)、YO(t-1)+(Y1(t)-Y1(t-1)))移动。
控制模式[2]是触摸信息取得部103检测到的触摸数为1、且触摸位置P1向移动矢量v1的方向移动、利用式(2)计算出的移动距离d1为规定阈值D以上、且触摸位置的静止时间t1s为规定阈值Ts以上的情况，即，在触摸位置移动规定距离后持续静止的情况下，使内容13向移动矢量v1的方向连续滚动。由此，使对象4的坐标每隔规定时间移动LO+αv1。其中，α是正的常数。
控制模式[3]在触摸信息取得部103检测到的触摸数为2、且触摸位置P1、P2的移动方向v1和v2相同时，进行使内容13移动利用式(2)计算出的移动距离d1或d2的显示控制。具体而言，使内容13向移动矢量v1或v2的方向滚动。由此，对象4的坐标移动(LO+v1)或(LO+v2)。其中，α是正的常数。
控制模式[4]是触摸信息取得部103检测到的触摸数为2、且触摸位置P1、P2的移动方向v1和v2相同、且利用式(2)计算出的移动距离d1或d2为规定阈值D以上、且触摸位置P1、P2的静止时间t1s、t2s均为规定阈值Ts以上的情况，即，在触摸位置P1、P2向相同方向移动规定距离后持续静止的情况下，进行使内容13连续移动的显示控制。具体而言，使内容13向移动矢量v1或v2的方向连续滚动。由此，使对象4的坐标每隔规定时间移动(LO+αv1)或(LO+αv2)。其中，α是正的常数。
关于触摸位置P1、P2的移动方向的相同性，例如，在移动矢量v1、v2所成的角θ的cos值小于规定阈值时，判定为相同。并且，关于滚动内容13的移动矢量，任意选择移动矢量v1、v2中的任意一方即可，例如，选择利用上述顺序计算出的移动距离较大的移动矢量即可。
(步骤S108：显示判定)
如果内容控制部109根据所述移动方向和移动距离使内容13移动的结果为对象4进入显示部110的显示区域内，则结束处理，如果未进入显示区域内，则返回步骤S101，反复通过触摸信息取得部103取得触摸位置、通过方向判定部104判定对象4的存在方向、通过振动提示位置决定部105决定提示振动的触摸位置、通过提示振动决定部106决定提示的触感信号、通过多点同时振动控制部107通过振动来提示对象的存在方向，直到对象4进入显示部110的显示区域为止。
根据上述结构和动作，本实施方式1的触觉输入输出装置100针对存在于显示区域外的对象的位置，在存在于触控面板上的多个触摸位置中的最接近目标对象的触摸位置提示振动，在同时触摸的其他触摸位置不提示振动。更具体而言，在对象存在于显示器的显示区域的左侧的情况下，在2个触摸位置中的位于左侧的触摸位置提示基于第1触感信号的振动，在对象存在于右侧的情况下，在2个触摸位置中的位于右侧的触摸位置提示基于第1触感信号的振动，并且，在对象位于显示器的显示区域的上侧的情况下，在2个触摸位置中的位于上侧的触摸位置提示基于第2触感信号的振动，相反，在对象存在于下侧的情况下，在2个触摸位置中的位于下侧的触摸位置提示基于第2触感信号的振动，由此，提示对象的存在方向。
由此，能够向用户提示目标对象存在的方向，能够高效实现使目标对象再次显示在显示区域内的内容的移动操作。
另外，在上述实施方式1的说明中，说明了对象4为1个的例子，但是不限于此，作为第1实施方式的变形例，例如，当然也可以对多个对象分配触摸数，能够根据触摸数来变更提示方向的对象。由此，针对再次显示电子文档上标记的多个高光部分的操作，根据触摸位置的数量，能够切换应该滚动文档的方向来进行提示。并且，在Web内容等的滚动中，例如也可以登记用2根手指双击的位置或用3根手指双击的位置作为与触摸数对应的目的地，能够根据触摸数，通过振动来提示它们存在的方向。
另外，在实施方式1中，说明了如下例子：根据触摸位置的上下或左右的位置关系和2种触感信号，使最接近对象的触摸位置振动，使其他触摸位置不振动，由此，使用户识别对象位于显示区域的上下或左右的哪个方向，但是不限于此，作为第1实施方式的变形例，如图7A所示，在用3个手指触控面板101的情况下，也可以在对象4存在于显示部110的左侧时，仅在最左侧的触摸位置(例如食指)提示基于第1触感信号的振动，在对象4存在于显示部110的右侧时，仅在最右侧的触摸位置(例如无名指)提示基于第1触感信号的振动。关于上下方向的提示，通过仅在3个触摸位置中的中央的触摸位置(例如中指)提示基于第1触感信号的振动，表示对象存在于上侧，通过提示基于第2触感信号的振动，表示对象存在于下侧。
并且，作为第1实施方式的另一个变形例，如图7B所示，在用3个手指触控面板101的情况下，通过使2个触摸位置成为一组来提示振动，不仅能够通过振动来提示上(区域[2])、下(区域[7])、左(区域[4])、右(区域[5])的方向，还能够通过振动来提示倾斜方向(区域[1]、区域[3]、区域[6]、区域[8])。
另外，作为实施方式1的变形例，不仅能够引导显示器的显示范围外的对象的方向，当然还能够向显示范围内的按钮引导手指。
另外，在本实施方式中，说明了提示包含触控面板平面的二维平面上的对象的方向的例子，但是，通过进一步与陀螺仪传感器或GPS进行组合，当然还能够在室外环境下通过振动来提示目的地存在的方向。
<多点同时振动控制部107的结构和动作的一例的说明>
这里，对与步骤S106的动作有关的第1实施方式的结构要素即多点同时振动控制部107的结构和动作的一例进行说明。图8是示出多点同时振动控制部的更加详细的结构的框图。本实施方式的多点同时振动控制部107具有传递特性存储部201、传递特性取得部202、滤波器计算部203、触感信号存储部204、滤波器计算部205。下面，对各结构要素和动作进行说明。
<传递特性存储部201>
传递特性存储部201例如是硬盘或半导体存储器。传递特性存储部201针对面板101上的各点存储从各致动器102到该点的传递特性。即，传递特性存储部201针对面板101上的多个位置和多个致动器102，对应于位置与致动器102的组合来存储传递特性。
传递特性表示系统中的输入和输出的关系。这里，致动器的驱动信号相当于输入，面板上的1点处的振动相当于输出。一般情况下，传递特性G(ω)由来自系统的输出Y(ω)相对于针对系统的输入X(ω)的比表示(G(ω)＝Y(ω)/X(ω))。例如，在输入X(ω)为脉冲的情况下(X(ω)＝1)，传递特性G(ω)与输出Y(ω)(脉冲响应)一致。
因此，在本实施方式中，传递特性存储部201针对面板101上的各点存储从各致动器102到该点的脉冲响应作为传递特性。另外，脉冲响应可以用时域表示，也可以用频域表示。即，在传递特性存储部201中，可以存储脉冲响应的时间波形，也可以存储脉冲响应的频谱。
这里，面板101上的各点例如是面板101上的各分割区域的代表点(例如中心或重心等)即可。分割区域例如是以10mm单位将面板101上的区域分割成格子状而得到的。另外，分割区域的形状不需要必须是矩形状，也可以是其他形状。并且，分割区域的大小不需要在全部分割区域中相同。例如，根据面板101上的位置，分割区域的大小可以不同。
这里，各分割区域越小(即分割区域的数量越多)，则越能够提高触感展示的分辨率，但是，用于存储传递特性的存储容量增大。即，由于分辨率和存储容量成为折中的关系，所以，根据必要的分辨率或所容许的存储容量等决定各分割区域的大小即可。
下面，进一步对传递特性存储部201中存储的传递特性进行详细说明。
这里，设传递特性存储部201存储分别从M(M为2以上的整数)个致动器102(A1、A2、…、AM)到面板101上的N(N为2以上的整数)个位置(P1(x1、y1)、P2(x2、y2)、…、PN(xN、yN))的M×N个传递特性进行说明。
图9示出从致动器102向面板101上的某个位置传播振动的路径。
如图9所示，位置Pi处的振动是对从致动器Aj直接到达位置Pi(xi、yi)的振动和在面板101的端部反射而到达位置Pi(xi、yi)的振动等进行合成后的振动。因此，在传递特性中包含从致动器Aj到面板上的某个位置Pi的所有路径的传播的特性。
另外，传递特性可以由时域表现，也可以由频域表现。由时域表现的传递特性和由频域表现的传递特性作为信息是等价的，可以相互转换。
例如，通过计测对致动器Aj输入脉冲时的位置Pi(xi、yi)处的振动(脉冲响应)，能够取得从致动器Aj到位置Pi(xi、yi)的传递特性。脉冲响应能够完全表现从致动器Aj到位置Pi(xi、yi)的系统的特性。因此，在本实施方式中，使用脉冲响应作为传递特性。
另外，通常，在直接施加脉冲的情况下，由于脉冲的持续时间非常短，所以存在脉冲响应的SN比较低的倾向。因此，也可以代替脉冲而使用TSP(Time Stretched Pulse)测定脉冲响应。由此，能够得到SN比高的脉冲响应作为传递特性。下面，对使用TSP测定脉冲响应的方法进行说明。
如式(3)所示，TSP是通过与频率的平方成比例地改变脉冲的相位而与脉冲相比使时间轴被拉伸的信号。图10A示出TSP的一例。
【数学式3】
在式(3)中，H(n)表示频域中的TSP。j表示虚数单位(-1的平方根)。k是常数，表示伸缩的程度。n表示离散的频率单位。H*表示H的复共轭。
使用对式(3)所示的TSP进行逆傅里叶变换而得到的信号，对致动器Aj进行驱动，计测面板101上的位置Pi(xi、yi)处的振动(以后称为“TSP响应”)。计测方法不需要限定，但是，例如使用多普勒变位计等计测振动(TSP响应)。图10B示出TSP响应的一例。
使用计测出的TSP响应计算脉冲响应。具体而言，通过使用式(2)所示的TSP的逆函数进行卷积运算，计算脉冲响应。
【数学式4】
在式(4)中，H-1(n)表示TSP的逆函数。图10C示出TSP的逆函数的一例。并且，图10D示出根据图10B的TSP响应计算出的脉冲响应的一例。
如上所述，使用TSP计测从致动器Aj到位置Pi(xi、yi)的脉冲响应。通过对M个致动器102(A1、A2、…、AM)和N个位置(P1(x1、y1)、P2(x2、y2)、…、PN(xN、yN))的全部组合进行这种计测，得到M×N个传递特性。这样得到的M×N个传递特性存储在传递特性存储部201中。
另外，传递特性的计测方法不限于上述方法。例如，也可以使用M系列信号计测传递特性。例如，也可以使用高斯随机数计测传递特性。
<传递特性取得部202>
传递特性取得部202从传递特性存储部201中存储的多个传递特性中取得与触摸信息取得部103取得的各触摸位置对应的传递特性。即，传递特性取得部202从传递特性存储部201中读出从各致动器102到各触摸位置的传递特性。
<滤波器计算部203>
滤波器计算部203是滤波器取得部的一例。滤波器计算部203取得用于通过针对任意触感信号的滤波器处理生成期望驱动信号的滤波器。这里，期望驱动信号是指如下信号：对各致动器102进行驱动，以使得在提示振动的第1触摸位置处，面板101根据任意触感信号振动，并且在不提示振动的第2触摸位置处，面板101不振动。
即，滤波器计算部203使用传递特性取得部202取得的传递特性，计算用于仅在触摸信息取得部103取得的多个触摸位置中的第1触摸位置展示触感、在第2触摸位置(不提示振动的触摸位置)不展示触感的滤波器。更具体的滤波器的计算方法在后面叙述。
<触感信号存储部204>
触感信号存储部204例如是硬盘或半导体存储器。触感信号存储部204存储提示振动决定部108生成的触感信号，图7A和图7B分别是触感信号的一例。
触感信号只要能够对用户展示触感即可，可以是任意信号，但是，例如也可以根据面板101的振动特性来决定。具体而言，触感信号例如可以是面板101的谐振频率或其附近的频率的信号。由此，能够提高能效。
在本实施方式中，通过提示振动决定部108，根据设定信息的设定值在线生成触感信号，但是，将所生成的信号存储在触感信号存储部204中，通过滤波器处理部205生成致动器102的驱动信号。另外，相反，提示振动决定部108也可以构成为，在触感信号存储部204中预先存储图7A和图7B所示的与设定信息的设定值对应的触感信号，根据设定值来选择这些信号。
<滤波器处理部205>
滤波器处理部205使用滤波器计算部203计算出的各致动器102用的滤波器，通过对触感信号存储部204中存储的触感信号进行滤波器处理(滤波)，生成用于驱动各致动器102的驱动信号。
各致动器102根据这样由滤波器处理部205生成的驱动信号，使面板101振动。其结果，仅在多个触摸位置中的第1触摸位置产生基于触感信号的振动，在不提示振动的第2触摸位置抑制振动。由此，通过多点同时振动控制部107，能够在振动提示位置对用户展示触感，在不提示振动的第2触摸位置不展示触感。
<动作>
接着，对如上所述构成的多点同时振动控制部107的各结构要素的动作进行具体说明。图11是示出实施方式1的触觉输入输出装置100的处理动作的流程图。图12是用于说明实施方式1的触觉输入输出装置100的处理动作的图。
(步骤S201：取得传递特性)
接着，传递特性取得部202从传递特性存储部201取得与振动提示位置决定部107决定的第1触摸位置和第2触摸位置对应的传递特性。例如如图12中示出的一例那样，传递特性取得部202从传递特性存储部201中读出从各个致动器A1、A2、A3、A4到触摸位置P1的传递特性g11、g12、g13、g14以及从各个致动器A1、A2、A3、A4到触摸位置P2的传递特性g21、g22、g23、g24。这里，例如设第1触摸位置(提示位置)为P1，设第2触摸位置(非提示位置)为P2。
(步骤S202：计算滤波器)
接着，滤波器计算部203计算用于在提示位置提示触感、并且在非展示位置不提示触感的滤波器。具体而言，滤波器计算部203使用从各致动器102到提示位置的传递特性以及从各致动器102到非展示位置的传递特性，计算滤波器。例如，滤波器计算部203使用传递特性g11、g12、g13、g14、g21、g22、g23、g24，计算用于在触摸位置P1提示触感、在触摸位置P2不提示触感的滤波器。
下面，示出更具体的滤波器的计算方法的一例。
这里，如式(5)那样示出从致动器Aj到触摸位置Pi的传递特性(脉冲响应)gij。并且，如式(6)那样示出用于生成致动器Aj用的驱动信号的滤波器hj。并且，如式(7)那样示出针对全部致动器A1～AM的输入的触摸位置Pi中的响应(输出)di。
【数学式5】
【数学式6】
【数学式7】
在式(5)中，Lg表示脉冲响应的长度。在式(6)中，L表示滤波器的长度(滤波器长)。该滤波器长越长，则能够进行越细致的控制。
这里，考虑致动器A1～AM的输入和滤波器h1～hM与1个触摸位置Pi处的响应di之间的关系。通过滤波器hj和传递特性gij的卷积运算来计算针对1个致动器Aj的输入的1个触摸位置Pi处的响应。而且，通过针对全部致动器A1～AM对针对1个致动器Aj的输入的1个触摸位置Pi处的响应进行重合，能够计算针对全部致动器A1～AM的输入的1个触摸位置Pi处的响应di。即，可以使用滤波器hj和传递特性gij，如式(8)那样表示响应di。
【数学式8】
如式(8)所示，针对致动器A1～AM的输入的触摸位置P1～PN处的响应d1～dN由从各致动器Aj到各触摸位置Pi的传递特性gij与应该计算的滤波器hj的卷积运算结果之和表示。
这里，如果能够计算仅多个触摸位置P1～PN中的触摸位置Pk(0<k≦N)处的响应dk成为脉冲(dk(0)＝1、dk(1)＝0、dk(2)＝0、…、dk(M)＝0)、其他触摸位置Pl(0<l≦N、l≠k)处的响应成为零(dl(0)＝0、dl(1)＝0、dl(2)＝0、…、dl(M)＝0)的滤波器hj，则能够得到期望滤波器。即，通过使用这样计算出的滤波器hj对任意触感信号进行滤波器处理，能够生成用于仅在触摸位置Pk根据该任意触感信号展示触感、在其他触摸位置Pl(l≠k)不展示触感的驱动信号。
因此，滤波器计算部203计算滤波器，以使得从各致动器102到展示位置的传递特性与滤波器的时域中的卷积运算结果之和示出脉冲，并且从各致动器102到非展示位置的传递特性与滤波器的时域中的卷积运算结果之和示出零。
上述这种滤波器的计算方法没有特别限定，但是，通过计算G的一般逆矩阵G*，能够如式(9)那样计算滤波器。即，能够根据G的一般逆矩阵G*和表示脉冲的D，计算表示期望滤波器的H。
【数学式9】
H＝G*D (9)
一般情况下，如果致动器的数量(M)为触摸位置的数量(N)以上，则能够解出式(9)。另外，为了针对任意的触摸位置的组合而稳定地求解式(9)，在各位置，优选来自多个致动器102的传递特性gij不具有相同的零点。例如，在触摸位置的数量为2个的情况下，如图12所示，通过在面板101的长边侧的端部各配置2个致动器102，能够以任意2点处的传递特性不同的方式配置致动器102。
另外，零点是指在频域中传递特性的水平为0或无限接近0的频率。即，即使在输入中包含零点的频率成分，在输出中也几乎不会包含该频率成分。
因此，在从全部致动器102到某个位置的传递特性在相同频率下具有零点的情况下，即使输入任何信号，在该位置处，在该频率下面板101也不振动。即，无法在特定频率下控制振动。因此，在作为控制对象的各频率中，优选来自至少1个致动器102的传递特性具有不是零点的特性。
图13示出滤波器的一例。具体而言，图13示出在图12中在触摸位置P1决定为提示位置的情况下计算出的滤波器。
(步骤S203：对触感信号进行滤波器处理)
接着，滤波器处理部205通过使用步骤S202中计算出的滤波器对触感信号存储部204中存储的触感信号进行滤波器处理，生成用于驱动各致动器102的驱动信号。具体而言，滤波器处理部205通过进行触感信号S(n)与滤波器hj(n)的卷积运算，生成致动器Aj用的驱动信号。
这里，说明如下例子：作为触感信号S(n)，对提示振动决定部108根据设定值决定并存储在触感信号存储部204中的、在触摸位置P1提示的图7A所示的触感信号进行滤波器处理。
这里，更加详细地说明滤波器处理。
如式(10)所示，滤波器处理部205生成用于驱动致动器Aj的驱动信号uj(n)。即，滤波器处理部205通过进行触感信号s(n)与滤波器计算部203计算出的滤波器hj(n)的卷积运算，生成驱动信号uj(n)。
【数学式10】
图14示出驱动信号的一例。即，图14示出滤波器处理部205根据式(10)生成的驱动信号的一例。更具体而言，图14示出通过使用图13所示的滤波器对图7A所示的触感信号进行处理而生成的驱动信号。
(步骤S204：驱动致动器)
接着，致动器Aj使用步骤S203中生成的驱动信号uj(n)进行驱动。即，致动器Aj根据驱动信号uj(n)使面板101振动。
另外，根据致动器的种类，有时需要高电压的驱动信号。这种情况下，致动器102也可以具有用于对驱动信号进行放大的放大器。
图15示出各触摸位置处的面板101的振动的实验结果。具体而言，图15示出使用图15所示的驱动信号驱动致动器102的情况下的触摸位置P1和P2处的面板101的振动。
在触摸位置P1，振动的峰值间的差(以后称为“振幅强度”)大约为30μm，可知较强地进行振动。另一方面，在触摸位置P2，振幅强度大约为1μm，可知仅以人们无法感知的程度进行振动。
另外，在图15中，示出触摸位置P1、P2处的振动特性，但是，在触摸位置P1、P2以外的位置也产生振动。但是，由于触摸位置P1、P2以外的位置是用户未触摸的位置，所以，即使产生某种振动，也不用对用户提示触感。
根据上述结构和动作，根据本实施方式1的多点同时振动控制部107，能够在提示振动的第1触摸位置提示触感，在不提示振动的第2触摸位置不提示触感。因此，能够仅对多个触摸位置中的需要提示触感的触摸输入提示触感。
另外，作为多点同时振动控制部107的变形例1，在实施方式1中，在时域中进行滤波器的计算，但是，通过在频域中计算滤波器，能够降低处理负荷。并且，通过将处理限定在人们感受到触觉的频带中，能够进一步降低处理负荷。
并且，作为多点同时振动控制部107的变形例2，不是在线实施计算滤波器之前的处理，而是离线实施计算滤波器之前的处理，由此，能够降低处理负荷。
另外，作为多点同时振动控制部107的变形例3，预先针对多个触摸位置的全部组合模式计算驱动信号并进行存储，根据触摸位置的组合模式进行选择，由此，能够进一步降低处理负荷，在处理能力更低的计算资源中，也能够按照不同触摸位置提示不同的振动。
进而，作为多点同时振动控制部107的变形例4，例如，根据对用于在第1触摸位置P1提示图4A的振动且在第2触摸位置P2不提示图4A的振动的驱动信号1、以及用于将P2作为第1触摸位置提示图4B的振动且将P1作为第2触摸位置不提示图4B的振动的驱动信号2进行相加而得到的驱动信号，对致动器102进行驱动，由此，能够同时在P1提示图4A的振动并在P2提示图4B的振动。
另外，这里说明的多点同时触感控制部109的结构和动作是一例，也可以设为其他结构和动作。例如，面板可以由柔性显示器构成，并具有使其表面局部振动的致动器。
<变形的实施方式1>
如上述说明的那样，能够通过振动使用户掌握位于显示区域外的对象的方向，并且，用户能够用1根或多根手指滚动地图或文档等内容13。此时，在本变形的实施方式中，在对象从显示区域外进入显示区域内时(或进行了进入后的触摸动作时)，对触摸位置施加不同的振动。具体而言，能够根据赋予振幅更大的振动的驱动信号对致动器102进行驱动。或者，也可以对正在触摸的全部手指施加振动或增加刺激数。由此，在用户未注视画面而进行滚动操作的情况下，也能够通过触觉来掌握对象进入了显示区域。例如，能够防止如下情况：在对象临时进入显示区域内的情况下，由于用户没有注意等，用户未停止滚动操作而再次进入显示区域外。
<变形的实施方式2>
如上述说明的那样，能够通过振动使用户掌握位于显示区域外的对象的方向，并且，用户能够用1根或多根手指滚动地图或文档等内容13。此时，在本变形的实施方式中，根据对象与显示区域边界(或触摸位置)之间的距离来变更振动的大小或种类。具体而言，通过越接近显示区域、则振动越大(或相反)或振动刺激数越多(或相反)，用户能够通过触觉来掌握对象与显示区域的距离。由此，用户不仅能够掌握对象的方向，还能够通过触觉来掌握与显示区域之间的距离感，所以，用户能够进行停止滚动动作的准备。如上所述，根据第1实施方式的触觉输入输出装置，能够向用户提示目标对象存在的方向，能够高效实现使目标对象再次显示在显示区域内的内容的移动操作。
另外，在实施方式1中，在未检测到触摸位置的情况下，优选停止致动器102的驱动，不使面板101振动。但是，也可以在从触摸位置离开后，通过振动来反馈输入状态和设备状态。
另外，在实施方式1中，根据触摸位置的时间序列信息计算检测顺序、移动方向、空间顺序，但是不限于此，例如，也可以一并使用从触控面板驱动器向操作系统通知的触摸数、触摸编号、触摸开始事件、触摸持续事件、触摸结束事件等触摸事件进行计算。
并且，在实施方式1中，说明了在触摸位置的检测时、触摸位置的移动时、触摸位置移动后的停止时提示振动的例子，但是不限于此，也可以在触摸的按压为规定阈值以上时、触摸位置处的手指的接触面积为规定阈值以上时、或检测到其他多点触摸手势时提示振动。
在上述说明的实施方式1的触觉输入输出装置中，在通过触摸输入对设备进行操作时，不用注视进行输入的触控面板或触摸板，就能够进行设备的设定操作，所以，能够应用于优选在一边注视显示器的内容一边操作近前的触摸遥控器时不用注视遥控器来进行操作、或尽可能不用注视显示器来进行操作的车载导航仪等车载系统。并且，将设定项目和触摸位置的空间顺序对应起来，通过仅使与选择出的设定项目对应的触摸位置振动，用户能够通过触觉而容易地确认设备所受理的设定项目，所以，能够应用于具有触摸输入装置的各种设备的操作。例如，能够应用于通过触控面板或触摸板等触摸输入进行操作的平板电脑终端、游戏机、TV用遥控器、数字照相机、电影院、个人计算机、便携信息终端、便携电话、电子黑板、数字标牌用显示器等触觉输入输出装置。并且，还能够用作洗衣机、电子灶等搭载有触控面板的家电设备的触觉输入输出装置、以及在控制家电设备的便携电话或平板电脑终端等中搭载有触控面板的设备的触觉输入输出装置。
以上说明了例示的各实施方式，但是，本申请的权利要求范围不限于这些实施方式。本领域技术人员能够容易地理解到，在不脱离附加权利要求范围所记载的主题的新颖教示和优点的前提下，可以在上述各实施方式中实施各种变形，也可以任意组合上述各实施方式的结构要素而得到其他实施方式。因此，这种变形例和其他实施方式也包含在本发明中。
工业实用性
本发明的触觉输入输出装置除了能够应用于车载导航系统以外，还能够应用于具有触摸输入装置的各种设备的操作。例如，能够利用于通过触控面板或触摸板等触摸输入进行操作的平板电脑终端、游戏机、TV用遥控器、数字照相机、电影院、个人计算机、便携信息终端、便携电话、电子黑板、数字标牌用显示器等触觉输入输出装置。
符号的说明：
1 手指
2 手指
3 手指
10 电子设备
13 内容
100 触觉输入输出装置
101 面板
102 致动器
103 触摸信息取得部
104 方向判定部
105 振动提示位置决定部
106 提示振动决定部
107 多点同时振动控制部
108 移动输入判定部
109 内容控制部
110 显示部
190 处理器
201 传递特性存储部
202 传递特性取得部
203 滤波器计算部
204 触感信号存储部
205 滤波器处理部
310 平板电脑设备
320 地图数据
321 目标地点

Claims (12)

1.一种触控面板器件的控制方法，其中，
检测在触控面板表面或其附近进行多点触摸输入的多个输入，
检测所检测到的所述多个输入的位置即多个输入位置，
在显示器中显示内容的一部分或全部，
决定所述内容上的对象是位于所述显示器的显示区域内还是位于显示区域外，
在所述对象位于显示区域外的情况下，
使所述多个输入位置中的包含到所述对象的距离最近的输入位置的至少1个输入位置附近振动，
不使所述多个输入位置中的除所述至少1个输入位置以外的其他输入位置附近振动。
2.如权利要求1所述的触控面板器件的控制方法，其中，
根据所述对象与到所述对象的距离最近的输入位置之间的距离来变更所述至少1个输入位置附近的振动。
3.如权利要求1所述的触控面板器件的控制方法，其中，
根据用户的描绘或点击而使所述内容滚动，
在所述对象从显示区域外变成显示区域内时，进一步使所述触控面板振动。
4.如权利要求1～3中的任意一项所述的触控面板器件的控制方法，其中，
在所述对象针对显示区域位于左右方向的显示区域外的情况下和所述对象针对显示区域位于上下方向的显示区域外的情况下，所述至少1个输入位置附近的振动不同。
5.一种触控面板器件，其中，该触控面板器件具有：
构成为能够输入多点触摸的触控面板；
多个致动器；以及
处理器，
所述处理器进行如下控制：
检测在触控面板表面或其附近进行多点触摸输入的多个输入，
检测所检测到的所述多个输入的位置即多个输入位置，
在显示器中显示内容的一部分或全部，
决定所述内容上的对象是位于所述显示器的显示区域内还是位于显示区域外，
在所述对象位于显示区域外的情况下，
使所述多个输入位置中的包含到所述对象的距离最近的一方的至少1个输入位置附近振动，
不使所述多个输入位置中的除所述至少1个输入位置以外的其他输入位置附近振动。
6.如权利要求5所述的触控面板器件，其中，
根据所述对象与到所述对象的距离最近的输入位置之间的距离来变更所述至少1个输入位置附近的振动。
7.如权利要求5所述的触控面板器件，其中，
根据用户的描绘或点击而使所述内容滚动，
在所述对象从显示区域外变成显示区域内时，进一步使所述触控面板振动。
8.如权利要求5～7中的任意一项所述的触控面板器件，其中，
在所述对象针对显示区域位于左右方向的显示区域外的情况下和所述对象针对显示区域位于上下方向的显示区域外的情况下，所述至少1个输入位置附近的振动不同。
9.如权利要求5～7中的任意一项所述的触控面板器件，其中，
所述内容是地图。
10.如权利要求5～7中的任意一项所述的触控面板器件，其中，
所述内容包含地图、电子文献、书签和Web页中的至少一个。
11.一种触觉输入输出装置，其中，该触觉输入输出装置具有：
面板，受理用户的触摸输入并通过振动来输出结果；
多个致动器，设置在所述面板的相互不同的位置，用于使所述面板振动；
触摸信息取得部，取得在所述面板的多个位置同时检测到的触摸位置；
移动输入判定部，根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离；
显示部，显示内容；
方向判定部，判定所述内容上存在的对象位于显示部的显示区域外的哪个方向上；
振动提示位置决定部，对所述多个触摸位置和对象的位置进行比较，(i)将到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，(ii)将同时检测到的除第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置；
提示振动决定部，根据所述方向判定部判定的对象的存在方向，决定表示在所述振动提示位置决定部决定的第1触摸位置提示的振动的触感信号；
多点同时振动控制部，计算各致动器的驱动信号，以使得在所述第1触摸位置提示规定的振动，并且在所述第2触摸位置不提示所述规定的振动，根据计算出的所述驱动信号对所述致动器进行驱动，在不同触摸位置同时控制所述面板的振动；以及
内容控制部，根据所述移动输入判定部计算出的触摸位置的移动方向和移动距离，执行使内容滚动并显示在显示部中的控制。
12.一种触觉输入输出方法，通过面板响应于来自用户的触摸输入，通过基于多个致动器的振动进行输出，其中，
取得在所述面板的多个位置同时检测到的触摸位置，
根据在所述面板中同时检测到的多个触摸位置的时间序列信息，计算触摸位置的移动方向和移动距离，
显示内容，
判定内容上存在的对象位于显示部的显示区域外的哪个方向上，
将所述多个触摸位置中的(i)到对象的距离最短的触摸位置决定为提示振动的第1触摸位置，(ii)将同时检测到的除第1触摸位置以外的触摸位置决定为不提示振动的第2触摸位置，
根据所判定的对象的存在方向，决定表示在所决定的第1触摸位置提示的振动的触感信号，
对致动器进行驱动，以使得在所述第1触摸位置提示规定的振动，并且在所述第2触摸位置不提示所述规定的振动，
根据计算出的移动方向和移动距离，使所述内容滚动并显示在显示部中。
CN201380022753.6A 2012-12-26 2013-03-27 触控面板器件和触控面板器件的控制方法 Active CN104285205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261745850P 2012-12-26 2012-12-26
US61/745,850 2012-12-26
PCT/JP2013/002076 WO2014103085A1 (ja) 2012-12-26 2013-03-27 タッチパネルデバイスとタッチパネルデバイスの制御方法

Publications (2)

Publication Number Publication Date
CN104285205A CN104285205A (zh) 2015-01-14
CN104285205B true CN104285205B (zh) 2018-02-23

Family

ID=50974067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380022753.6A Active CN104285205B (zh) 2012-12-26 2013-03-27 触控面板器件和触控面板器件的控制方法

Country Status (4)

Country Link
US (1) US9285880B2 (zh)
JP (1) JP6052743B2 (zh)
CN (1) CN104285205B (zh)
WO (1) WO2014103085A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
JP5849061B2 (ja) * 2013-03-28 2016-01-27 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP6231774B2 (ja) * 2013-05-23 2017-11-15 キヤノン株式会社 電子機器およびその制御方法
JP6210855B2 (ja) * 2013-11-19 2017-10-11 オリンパス株式会社 操作装置
TWI502474B (zh) * 2013-11-28 2015-10-01 Acer Inc 使用者介面的操作方法與電子裝置
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
EP3648072A1 (en) * 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
JP6498403B2 (ja) * 2014-09-10 2019-04-10 三菱電機株式会社 触感制御システム
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
WO2016147287A1 (ja) 2015-03-16 2016-09-22 三菱電機株式会社 地図表示制御装置および地図スクロールの操作感触制御方法
JP6402823B2 (ja) 2015-04-09 2018-10-10 富士通株式会社 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
US20160334901A1 (en) * 2015-05-15 2016-11-17 Immersion Corporation Systems and methods for distributing haptic effects to users interacting with user interfaces
JP6696737B2 (ja) 2015-06-26 2020-05-20 シャープ株式会社 コンテンツ表示装置及びプログラム
JP2017045418A (ja) * 2015-08-28 2017-03-02 富士通テン株式会社 入力装置、表示装置、及びプログラム
CN105549777A (zh) * 2015-12-04 2016-05-04 联想(北京)有限公司 一种电子设备及控制方法
US9927887B2 (en) * 2015-12-31 2018-03-27 Synaptics Incorporated Localized haptics for two fingers
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
JP6775774B2 (ja) * 2016-09-29 2020-10-28 天馬微電子有限公司 触覚提示装置及びその制御方法
JP6205043B1 (ja) * 2016-10-12 2017-09-27 レノボ・シンガポール・プライベート・リミテッド キーボード、情報処理装置、フィードバック方法、及びプログラム
CN110291492A (zh) * 2016-12-16 2019-09-27 森赛尔股份有限公司 用于人机接口连接的系统
US10678332B2 (en) * 2017-02-02 2020-06-09 International Business Machines Corporation Remotely guiding the positioning of a mobile device
JP2018133021A (ja) * 2017-02-17 2018-08-23 富士通コンポーネント株式会社 触感提示装置及びタッチパネル
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
JP6990991B2 (ja) * 2017-05-19 2022-01-12 ヤフー株式会社 情報表示プログラム、情報表示方法、及び情報表示装置
US10365719B2 (en) * 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
US10977910B1 (en) * 2017-09-06 2021-04-13 Apple Inc. Tactile outputs for input structures of electronic devices
KR102462204B1 (ko) * 2017-11-21 2022-11-02 삼성전자주식회사 진동을 제공하기 위한 장치 및 방법
CN108762628B (zh) * 2018-04-23 2020-10-02 广州视源电子科技股份有限公司 页面元素移动显示方法、装置、终端设备及存储介质
CN109254652A (zh) * 2018-08-13 2019-01-22 瑞声科技(新加坡)有限公司 车辆触摸显示屏的触觉反馈方法、系统及控制装置
JP2020042625A (ja) * 2018-09-12 2020-03-19 株式会社東海理化電機製作所 触覚呈示装置及び触覚呈示方法
US10817063B2 (en) * 2019-02-11 2020-10-27 Volvo Car Corporation Facilitating interaction with a vehicle touchscreen using haptic feedback
US20200326779A1 (en) * 2019-04-11 2020-10-15 Apple Inc. Electronic Device Having a Haptic Device with an Actuation Member and a Restoration Mechanism
WO2021015051A1 (ja) * 2019-07-23 2021-01-28 ソニー株式会社 制御装置、制御方法、及び制御プログラム
CN111338527B (zh) * 2020-02-25 2021-11-30 维沃移动通信有限公司 一种方向提示方法及电子设备
WO2021183122A1 (en) * 2020-03-11 2021-09-16 Google Llc Controlling haptic response to contact
CN111427504A (zh) * 2020-04-02 2020-07-17 北京达佳互联信息技术有限公司 内容获取方法、装置、电子设备及存储介质
KR20230124086A (ko) * 2020-12-31 2023-08-24 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 전자 통신 인터페이스
EP4272060A1 (en) 2020-12-31 2023-11-08 Snap Inc. Real-time video communication interface with haptic feedback
WO2022147451A1 (en) 2020-12-31 2022-07-07 Snap Inc. Media content items with haptic feedback augmentations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236543A (ja) * 2001-02-08 2002-08-23 Sony Corp 入力装置
JP2004309962A (ja) * 2003-04-10 2004-11-04 Denso Corp タッチパネル付き表示装置
TW201005618A (en) * 2008-07-18 2010-02-01 Htc Corp Method for controlling application program, electronic device thereof, recording medium thereof, and computer program product using the method
CN101809526A (zh) * 2007-09-28 2010-08-18 英默森公司 具有动态触觉效应的多触摸装置
CN102612680A (zh) * 2009-11-19 2012-07-25 摩托罗拉移动公司 用于在电子设备中使用软键来复制物理键功能的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105129A (ja) 1998-09-30 2000-04-11 Sharp Corp 登録地点報知装置
JP3888099B2 (ja) 2001-08-17 2007-02-28 富士ゼロックス株式会社 タッチパネル装置
JP4030437B2 (ja) * 2003-01-23 2008-01-09 アルプス電気株式会社 画像情報表示装置
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US9041653B2 (en) * 2008-07-18 2015-05-26 Htc Corporation Electronic device, controlling method thereof and computer program product
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101629645B1 (ko) * 2009-09-18 2016-06-21 엘지전자 주식회사 휴대 단말기 및 그 동작방법
JP2011150467A (ja) 2010-01-20 2011-08-04 Sony Corp タッチパネル組立体及びその駆動方法
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
US9720586B2 (en) * 2012-08-21 2017-08-01 Nokia Technologies Oy Apparatus and method for providing for interaction with content within a digital bezel
KR101958779B1 (ko) * 2012-09-28 2019-03-15 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102047689B1 (ko) * 2012-12-17 2019-11-22 엘지전자 주식회사 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236543A (ja) * 2001-02-08 2002-08-23 Sony Corp 入力装置
JP2004309962A (ja) * 2003-04-10 2004-11-04 Denso Corp タッチパネル付き表示装置
CN101809526A (zh) * 2007-09-28 2010-08-18 英默森公司 具有动态触觉效应的多触摸装置
TW201005618A (en) * 2008-07-18 2010-02-01 Htc Corp Method for controlling application program, electronic device thereof, recording medium thereof, and computer program product using the method
CN102612680A (zh) * 2009-11-19 2012-07-25 摩托罗拉移动公司 用于在电子设备中使用软键来复制物理键功能的方法和装置

Also Published As

Publication number Publication date
US9285880B2 (en) 2016-03-15
JPWO2014103085A1 (ja) 2017-01-12
JP6052743B2 (ja) 2016-12-27
WO2014103085A1 (ja) 2014-07-03
CN104285205A (zh) 2015-01-14
US20140176455A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN104285205B (zh) 触控面板器件和触控面板器件的控制方法
US10318006B2 (en) High definition haptic effects generation using primitives
CN104123035B (zh) 用于支持触觉的可变形表面的系统和方法
CN100426213C (zh) 提供直线力输出的致动器和触觉触摸设备
CN104395866B (zh) 触觉提示装置及触觉提示方法
US8330590B2 (en) User interface feedback apparatus, user interface feedback method, and program
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
US20100020036A1 (en) Portable electronic device and method of controlling same
US20100315212A1 (en) Device and method for providing tactile information
EP3299932A1 (en) Orientation adjustable multi-channel haptic device
CN107024983A (zh) 多功能触觉输出装置的系统和方法
US20140168110A1 (en) Tactile input and output device
WO2010009552A1 (en) Tactile feedback for key simulation in touch screens
CN104679233A (zh) 用于生成摩擦和振动触感效果的系统和方法
CN105278746A (zh) 用于确定对多触摸输入的触觉效果的系统和方法
CN102103460A (zh) 反映用户手握状态且可操作的手持式电子装置及操作方法
JP2008282125A (ja) 電子機器
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
CN108563341B (zh) 一种具有振动触觉反馈的三维触控电子笔及方法
KR20110061227A (ko) 햅틱디바이스
EP3173904A1 (en) Tactile sensation data processing device, tactile sensation providing system, and tactile sensation data processing method
JP6058734B2 (ja) 電子機器および電子機器の制御方法
WO2015045060A1 (ja) 電子機器、及び、電子機器における照合方法
CN107407963A (zh) 用于与弯曲显示器的用户交互的系统和方法
CN107765941A (zh) 一种图标显示方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240329

Address after: Kanagawa, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan