CN103620541B - 用户界面装置及方法 - Google Patents

用户界面装置及方法 Download PDF

Info

Publication number
CN103620541B
CN103620541B CN201280032317.2A CN201280032317A CN103620541B CN 103620541 B CN103620541 B CN 103620541B CN 201280032317 A CN201280032317 A CN 201280032317A CN 103620541 B CN103620541 B CN 103620541B
Authority
CN
China
Prior art keywords
finger
user
judged
display
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280032317.2A
Other languages
English (en)
Other versions
CN103620541A (zh
Inventor
松木友明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011152819A external-priority patent/JP5269154B2/ja
Priority claimed from JP2012063837A external-priority patent/JP5912711B2/ja
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN103620541A publication Critical patent/CN103620541A/zh
Application granted granted Critical
Publication of CN103620541B publication Critical patent/CN103620541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了对用户界面装置进行控制的方法，该用户界面装置使得能够通过在画面上显示图像并且通过用户与所显示的图像相关联地利用手指接触操作面来进行用户输入。在用户利用手指接触操作面并且使手指在操作面中的实质相同位置处保持了预定时间以上的情况下，该方法与之后手指的接触位置是否移动无关地，开始进行使画面上所显示的图像在无需在该画面上移动的情况下固定进行显示的固定显示。在开始了固定显示之后、手指的接触位置与画面上所显示的图像中的目标视觉对象的显示位置相对应的情况下，该方法判断为用户已暂定选择了该对象。

Description

用户界面装置及方法
技术领域
本发明涉及与用户界面装置相关联的技术，其中该用户界面装置用于在显示画面上显示图像，并且使得用户能够通过与所显示的图像相关联地利用用户手指对操作面进行操作来进行用户的输入操作或动作。
背景技术
传统上，用户界面装置的使用广泛普及，并且用户界面装置使得用户能够通过利用该用户的手指、触笔等操作显示画面来进行该用户的输入动作或操作。特别地，近年来，以诸如智能电话、平板型计算机、电子书或PDA(个人数字助理)等为代表的便携型信息装置已积极采用用作接收手指的操作的用户界面装置的触摸面板。
与是否安装触摸面板无关地，为了提高便携性，要求便携型信息装置小型化。在便携型信息装置采用多个物理输入键或按钮作为用户界面装置的情况下，需要缩小这些键本身的大小，这导致便携型信息装置的可操作性变差的风险。作为对比，在便携型信息装置代替物理按钮而采用使用多个虚拟按钮的触摸面板作为用户界面装置的情况下，可以根据分配至这些虚拟按钮的功能来适当地调整这些按钮的大小，由此得到用于提高便携型信息装置的可操作性的容易设计处理。
另一方面，使用触摸面板与代替地使用物理键的情况相比更有可能产生误输入操作。更具体地，甚至用户无意地与触摸面板触摸的情况也可能被识别或解释为输入操作，或者可能误识别或误解释了用户有意的正确输入操作，由此无法启动期望的功能，并且要求用户重复相同的输入操作。
为了应对误输入的问题，例如，专利文献1公开了在检测到用户操作之后改变触摸面板的检测周期的技术。该技术能够可区分地或明显地识别用户的在非常短的时间内在触摸面板上发生的短暂触摸、以及用户的通过使手指放置在触摸面板上进行滑动的滚动操作。
另外，专利文献2公开了如下技术，其中该技术在触摸面板上显示多个用户可选择的按钮，以使得响应于用户的手指触摸了触摸面板来放大并重排所显示的按钮中的至少一个，由此帮助用户选择这些按钮中的期望按钮。此外，专利文献3公开了使得能够检测针对触摸面板的同时发生的多个触摸的多点触控触摸面板进行振动、由此帮助用户从触觉上感知用户进行了特定输入操作的技术。
注意，还存在检测配备有两个导电相对元件的触摸面板上发生的用户按压、以及测量该按压的强度的技术(参见专利文献4)。此外，还存在使得用户能够基于从显示在成对的触摸面板上的图像所感知到的用户的深度感来从视觉上感知用户进行输入操作时的按压力的强度的技术(参见专利文献5)。
现有技术文献
专利文献
专利文献1：日本特开2007-10645
专利文献2：日本特开2008-77272
专利文献3：日本特开2010-55282
专利文献4：日本特开2000-194506
专利文献5：日本特开2007-148617
发明内容
发明要解决的问题
通常，多数便携型信息装置各自由用户利用单手保持，并且利用该单手的一个手指来操作便携型信息装置。典型地，所选择的一个手指是不用于保持便携型信息装置的拇指。由于该情况，即使在采用上述对策来避免误输入的情况下，所选择的一个手指所确定的可进行的不同操作的数量(即，仅在用户正确地进行了输入操作的情况下，输入操作被识别为反映用户的准确意图并且输入至便携型信息装置的操作)仍是有限的。
例如，更具体地，在传统的便携型信息装置的示例中，用户使所显示的图像整体在显示画面上移动所需的操作是拖动操作。拖动操作是指通过利用用户的手指向着触摸面板触摸并且使手指以与触摸面板相接触的状态或者以不使手指从触摸面板移开或释放的状态进行移动所产生的动作或姿势(即，触摸和滑动动作)。
因而，传统的便携型信息装置规定作为唯一可接受操作(即，用户的常规姿势的其中一个、更具体为一系列的触摸和移动的合成操作)的拖动操作，因此在容许的不同手指操作的数量有限的制约下，迫使用户利用该用户的保持便携型信息装置的一只手的手指来操作传统的便携型信息装置。近来，便携型信息装置已被配置成能够启动各种功能。由于该原因，要求便携型信息装置应当接受更多不同的输入操作，但在上述制约下无法很好地满足该要求。
另外，通过如专利文献1～5所公开的技术等的原本不涉及随着用户的手指在显示画面上移动而使图像整体在该画面上移动的技术无法确实解决上述问题。
然后，本发明的目的是提供使得用户能够利用用户的不同手指触摸操作来使用触摸面板进行输入操作的用户界面装置、输入操作判断方法和相关联的程序。
用于解决问题的技术方案
本发明提供了以下各模式。以下将陈述这些模式，使得将这些模式分割成各项并且进行编号，各项根据需要被描述为引用其它项的编号的形式，并且被描述为引用其它项的编号的形式的各项根据各项所陈述的各技术特征或性质而可能使各技术特征独立或分开。
(1)一种用户界面装置，其配备有用以将包括作为用户操作对象的对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述用户界面装置包括：接触时间判断单元，用于判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上；模式工作单元，用于在所述接触时间判断单元判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置接触位置判断单元，用于在所述触摸聚焦模式期间，判断手指的接触位置与所述对象在所述画面上的显示区域是否重叠；以及操作判断控制器，用于在所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠的情况下进行工作，以判断为用户进行了用于暂定选择所述对象的聚焦操作。
(2)在(1)项所述的用户界面装置中，所述模式工作单元在所述保持时间比所述预定时间短的情况下，使所述拖动模式工作，并且在所述保持时间为所述预定时间以上的情况下，使所述触摸聚焦模式工作。
(3)在(1)项或(2)项中所述的用户界面装置还包括：触觉应答机构部，用于在与所述操作面接触的状态下向手指施加触觉应答；以及触觉应答控制器，用于在所述操作判断控制器判断为用户进行了所述聚焦操作的情况下进行工作，以控制所述触觉应答机构部经由所述操作面向手指施加所述触觉应答。
(4)在(3)项中所述的用户界面装置中，所述触觉应答控制器在手指进行了预定动作的情况下进行工作，以控制所述触觉应答机构部向手指施加作为针对手指动作的应答的振动，其中所述振动实质模拟手指通过代替虚拟按钮按压物理按钮而将会从所述物理按钮感受到的触感。
(5)在(1)～(4)项中任一项所述的用户界面装置还包括：按压力检测部，用于检测手指按压所述操作面的按压力；以及按压力判断单元，用于判断所检测到的按压力是否为预定阈值以上，其中，所述操作判断控制器包括第一点击操作判断单元，所述第一点击操作判断单元用于在所述触摸聚焦模式期间、所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠并且所述按压力判断单元判断为所述按压力为所述预定阈值以上的情况下，进行工作，以判断为用户进行了用于启动分配至用户已暂定选择的对象的功能的点击操作。
(6)在(1)～(5)项中任一项所述的用户界面装置还包括：按压力检测部，用于检测手指按压所述操作面的按压力；以及按压力判断单元，用于判断所检测到的按压力是否为预定阈值以上，其中，所述操作判断控制器包括第二点击操作判断单元，所述第二点击操作判断单元用于在针对所述操作面的手指的接触开始之后，与所述接触时间判断单元是否判断为所述保持时间为所述预定时间以上无关地，在所述接触位置判断单元判断为手指的接触位置与所述对象在所述画面上的显示区域重叠并且所述按压力判断单元判断为所述按压力为所述预定阈值以上的情况下，判断为用户进行了用以启动分配至用户已暂定选择的对象的功能的点击操作。
(7)在(1)～(6)项中任一项所述的用户界面装置中，所述预定时间长于在用户想要进行所述拖动操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间，但短于在用户想要进行用于选择所述对象的操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间。
(8)在(1)～(7)项中任一项所述的用户界面装置中，所述接触时间判断单元与手指的接触位置与所述对象在所述画面的显示区域是否重叠无关地，测量所述保持时间。
(9)一种用于判断针对用户界面装置所进行的用户输入操作的方法，所述用户界面装置配备有用以将包括作为用户操作对象的对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述方法包括以下步骤：第一步骤，用于判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上；第二步骤，用于在所述第一步骤中判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置；第三步骤，用于在所述触摸聚焦模式期间，判断手指的接触位置与所述对象在所述画面上的显示区域是否重叠；以及第四步骤，用于在所述第三步骤中判断为手指的接触位置与所述对象在所述画面上的显示区域重叠的情况下进行工作，以判断为用户进行了用于暂定选择所述对象的聚焦操作。
(10)在(9)项所述的方法中，所述第一步骤是与手指的接触位置与所述对象在所述画面上的显示区域是否重叠无关地进行的。
(11)一种用于对用户界面装置进行控制的方法，所述用户界面装置用于在画面上显示图像，并且使得用户能够与所显示的图像相关联地通过利用手指接触操作面来进行用户的输入，所述方法包括以下步骤：第一步骤，用于在从用户利用手指接触所述操作面起、手指在所述操作面中的实质相同位置处保持了预定时间以上的情况下，不管有无手指的接触位置的随后的移动也开始用以使所述图像不移动而是固定地显示在所述画面上的固定显示；以及第二步骤，用于在所述固定显示开始之后、手指的接触位置与所述画面上所显示的图像中的目标视觉对象的显示位置相对应的情况下，判断为用户暂定选择了所述对象。
(12)(11)项所述的方法还包括第三步骤，所述第三步骤用于在判断为用户暂定选择了所述对象之后、针对所述操作面的手指的接触程度随着时间经过而增加的情况下，判断为用户进行了用于启动预先分配至用户已暂定选择的对象的功能的点击操作。
(13)在(11)项或(12)项中所述的方法还包括第三步骤，所述第三步骤用于在针对所述操作面的手指接触开始之后、与是否经过了所述预定时间无关地使针对所述操作面的手指的接触位置与所述对象的显示位置相对应并且针对所述操作面的手指的接触程度随着时间的经过而增加的情况下，判断为用户进行了用于启动预先分配至用户已暂定选择的对象的功能的点击操作。
(14)一种程序，其由计算机来执行，以进行根据(9)～(13)项中任一项所述的方法。
发明的效果
根据本发明的用户界面装置、输入操作判断方法和程序使得能够在利用手指进行向着触摸面板的输入时，利用手指的触摸在多个模式下进行输入操作。
附图说明
图1(A)是一起示出配备有根据本发明的例示第一实施例的用户界面装置的便携型信息装置以及在触摸聚焦模式下发生的用户手指动作的正视图，并且图1(B)是放大示出这些手指动作的侧视图。
图2(A)是一起示出图1所示的便携型信息装置以及在点击操作中发生的用户的手指动作的正视图，并且图2(B)是放大示出这些手指动作的侧视图。
图3(A)是一起示出图1所示的便携型信息装置以及在拖动模式中发生的用户的手指动作的正视图，并且图3(B)是放大示出这些手指动作的侧视图。
图4是示出图1所示的便携型信息装置的整体结构的立体图以及从概念上示出便携型信息装置中所执行的输入操作判断方法的流程图。
图5是从概念上示出图4所示的便携型信息装置的功能框图。
图6(A)是一起示出配备有根据本发明的例示第二实施例的用户界面装置的便携型信息装置以及在点击操作中发生的用户的手指动作的正视图，并且图6(B)是放大示出在点击操作和触摸聚焦模式中发生的用户的手指动作的侧视图。
图7是示出图6所示的便携型信息装置的整体结构的立体图以及从概念上示出该便携型信息装置的功能框图。
图8是从概念上示出图7所示的便携型信息装置中所执行的输入操作判断方法的流程图。
图9(A)是示出配备有根据本发明的另一实施例的用户界面装置的装置的外观的立体图，并且图9(B)是示出配备有根据本发明的又一实施例的用户界面装置的装置的外观的立体图。
具体实施方式
以下将参考附图来说明本发明的例示实施例。
本发明所涉及的用户界面装置使得用户能够通过该用户的手指动作接触触摸面板来输入信息。由此，大多数的这种用户界面装置各自配备在诸如智能电话或平板型计算机等的用户在操作期间利用手可以保持的便携型信息装置中。在这些情形下，以下将通过采用实现本发明的用户界面装置的示例来说明本发明的例示实施例，其中用户界面装置内置于便携型信息装置内。
首先，将针对本发明的实施例之间共通的包括以下特征的特征来概述这些实施例：根据本发明的实施例的各便携型信息装置被配置成在接收到用户的输入操作、即手指触摸和以与触摸面板相接触的方式的后续手指滑动的手指合成动作(即，触摸和滑动动作)时，该便携型信息装置没有一律将这种输入操作识别为拖动动作，并且该便携型信息装置根据实际输入动作或操作的类型来自动选择可工作的多个输入模式的其中一个。换句话说，便携型信息装置自动识别实际输入操作的类型，并且根据所识别出的输入操作的类型或类别来选择输入模式。
更具体地，便携型信息装置被配置为判断用户在触摸面板上的手指接触点(与该手指接触点与任一对象(例如，图标、键、项)在显示面板上的显示区域是否重叠无关地)是否持续在预定时间以上没有改变，即判断手指接触点实质保持在触摸面板上的保持时间是否为预定时间以上(在最初手指接触之后，在经过了预定时间之后，该手指的接触位置变化的情况)。
在该保持时间为预定时间以上的情况下，判断为当前输入操作不适合作为正常拖动动作，从而启动触摸聚焦模式或使触摸聚焦模式工作。另一方面，在该保持时间没有达到预定时间的情况下(即，在最初手指接触之后到经过了预定时间之前该手指的接触位置未变化的情况)，判断为当前输入操作适合作为正常拖动动作，从而启动拖动模式。
这些输入模式如下所述：
(1)触摸聚焦模式：用于尽管存在手指滑动动作但仍在图像整体静止地或固定地显示在画面上的状态下监视手指接触点在画面上的位置的模式；
(2)拖动模式：用于使画面上所显示的图像整体滑动以追踪手指的移动的模式。
因而，本发明的实施例的特征在于：测量使手指保持接触画面的时间的长度，基于该测量来选择多个输入模式的其中一个，并且使该系统以根据所选择的输入模式的方式进行工作。
在这方面，术语“图像整体”是指全部显示在显示单元的显示画面上的、作为该显示画面的(包括适合作为滚动动作的动作的)滑动动作的对象的完整图像的一部分。无需说明，该部分也可以是全部显示在显示画面上的完整图像。例如，在原始图像的大小大于显示画面的大小的情况下，原始图像包括显示画面所无法覆盖的(假定为)隐藏于显示画面外的部分。在需要将该隐藏部分显示在显示画面上的情况下，用户通过向该隐藏部分施加滑动动作来操作该隐藏部分。
图1示出根据本发明的例示第一实施例的便携型信息装置1(例如，智能电话、平板型计算机、电子书、PDA(个人数字助理)等)，并且更具体地，图1是对触摸聚焦模式进行说明所用的便携型信息装置1的正视图和示出一系列手指动作的示例的侧视图。
图1(A)是便携型信息装置1的正视图。如该正视图所示，在显示器101的显示画面上显示有包含多个图标(各自构成视觉上的图形对象的示例)104的图像。可以通过按如以下所述的预定模式进行的用户动作或操作来选择作为用户的操作对象的各图标104，并且在选择时，各图标104启动预先分配至各图标104的功能。另外，在显示器101的显示画面上配置有触摸面板100，并且触摸面板100被配置为随着时间的经过来连续输出手指接触点在触摸面板100上的位置(参见图4)。
现在，将利用图1(A)所示的示例来说明触摸聚焦模式。如图1(A)所示，在该示例中，用户利用该用户的手指接触触摸面板100，接着使手指在预定时间以上的时间内保持在同一接触点处，然后使手指在触摸面板100上沿着触摸面板100移动(滑动)。然而，与传统的拖动动作不同，在包含图标104的图像整体的固定显示期间，手指滑动动作不会使该图像整体滑动。
结果，用户可以通过使手指以没有从显示画面释放的状态滑动，来单独地连续触摸固定显示在显示画面上的多个图标104。另外，如以下所述的接触位置判断单元12(参见图5)被配置为在手指滑动动作期间也进行工作，以判断手指接触点与任一图标104在显示画面上的显示区域是否重叠。触摸聚焦模式使得能够在图像整体不移动的固定显示期间随着时间的经过来监视手指接触点。
在如下示例情况下启动触摸聚焦模式：在期望图标104位于画面上的所显示图像内时，用户想要在期望图标104的显示区域附近的点处触摸显示画面，接着想要使手指确定地滑动至期望图标104的显示区域。另外，在用户想要触摸显示画面中的期望图标104的显示区域、然后想要立即选择期望图标104的情况下，也启动该触摸聚焦模式。此外，在用户想要通过使手指轻扫触摸面板100(即，所显示图像)来使手指准确地移动至期望图标104的显示区域以判断所显示图像是否包含期望图标104的情况下，仍启动该触摸聚焦模式。
图1(B)是示出对为了如上所述启动触摸聚焦模式所要满足的条件进行说明所用的手指操作的示意图。在该示意图所示的示例中，最初，用户利用手指接触触摸面板100。利用t0来表示该时间点(t＝t0)。注意，图1(B)具有后面在本发明的第二实施例的说明中将参考的数学式pc<pTH。接着，用户使手指在没有从画面释放的情况下，从手指保持不动并且与画面相接触的当前状态转变为手指开始向上侧(在图1(B)中为左侧)移动(滑动)的状态。利用ts2来表示该手指滑动动作的开始时刻(t＝ts2)。在该情况下，证明为手指接触点持续在时间(ts2–t0)(即，保持时间)内保持不变。
在时间(ts2–t0)为预定时间tTH以上的情况下((ts2–t0)≥tTH)，如以下所述的模式工作单元124(参见图5)启动触摸聚焦模式。之后，尽管存在任何手指滑动动作，但固定地且不动地显示包含多个图标104的图像整体。注意，一旦满足了如上所述的(ts2–t0)≥tTH所表示的条件，则手指的进一步停留将不会结束触摸聚焦模式。
同样，如图1(B)所示，用户在使手指轻扫所显示图像的同时移动手指。之后，用户找到期望图标104并且使手指向上移动至期望图标104的显示区域内的位置。以下将触摸聚焦模式期间发生的用户动作中的用户为了使手指接触点与期望图标104的显示区域重叠所进行的动作称为“聚焦操作”。
注意，如下的用户姿势也适合作为聚焦动作，其中在采用该用户姿势的情况下，手指触摸画面上的期望图标104的显示区域内的点，并且用以保持手指接触点的手指停留，以在预定时间tTH后继续使手指接触点与期望图标104的显示区域重叠。该聚焦操作是用户为了选择期望图标104所进行的，并且用作用以帮助用户正确地进行用于启动分配至期望图标104的功能的后续动作的准备或预备动作。
另外，一旦手指接触点到达能够与任一图标104的显示区域重叠的位置，则如以下所述的触觉应答机构部102(参见图4)向用户的手指施加用以使用户假想使用物理按钮的振动(即，实质模拟或模仿手指在代替虚拟按钮而按下物理按钮的情况下将会感受到的触觉应答的振动)。在用户在操作装置时获得更加可靠且确定的操作感的情况下，这样使得用户能够通过触感来确定出成功地接受了用户的聚焦动作。
在这方面，用以使用户假想使用物理按钮的振动的示例如下。首先，向位于各图标104的显示区域内的各点赋予高度信息以表示各图标104具有虚拟高度(即，与显示画面垂直地测量到的虚拟厚度)。接着，在手指靠近各图标104的显示区域并且进入该区域之后，向该手指施加强度根据各图标104的显示区域的虚拟斜度有多陡峭而改变的振动，其中基于高度信息来计算该虚拟斜度。这样使得用户能够经由手指而得到该用户在追踪物理推式按钮的突出面的情况下滑动手指将会感受到触感相同的触感。
注意，在优选示例中，在用户使手指从触摸面板100移开的情况下，触摸聚焦模式(聚焦模式)自动结束。
如上所述，本发明的各实施例判断手指接触点是否持续在预定时间tTH以上的时间内保持不变，并且根据该判断结果来选择输入模式的其中一个。结果，即使手指触摸和滑动动作也不是始终适合作为拖动动作，并且即使手指触摸和滑动动作也可以容易地启动触摸聚焦模式。另外，在启动该触摸聚焦模式的情况下，固定地显示用户可以使手指在其上轻扫触摸面板100的图像整体，结果，用户可以正确地进行用于选择排列在显示画面上的多个图标104其中之一的聚焦操作。
图2是对点击动作进行说明所用的、便携型信息装置1的正视图和示出一系列手指动作的示例的侧视图。
图2(A)是便携型信息装置1的正视图。在该正视图所示的示例中，在触摸聚焦模式期间，用户使手指以该手持与触摸面板100相接触的状态轻扫触摸面板100。最终，手指到达期望图标104，由此在手持接触点和期望图标104的显示区域之间产生重叠。此时，如果用户利用手指以较大的力按压触摸面板100，则启动预先分配至期望图标104的功能。以下将为了启动所选择的图标104的功能而按压该图标104(触摸面板100)的用户动作称为“点击操作”。
图2(B)是用于对为了判断为点击操作所要满足的条件进行说明的手指动作的示意图。在该示意图所示的示例中，在触摸聚焦模式期间，用户使手指轻扫触摸面板100，最后手指接触点与期望图标104的显示区域重叠。这是聚焦动作。此时，利用如以下所述的触觉应答机构部102(参见图4)，可以向用户的手指施加用以给该用户带来该用户在实际按压物理推式按钮的情况下将会感受到的触感相同的触感的振动v1。
随后，在此时用户利用手指以较大的力按压触摸面板100、由此导致按压力pC增加至按压力阈值pTH以上(pc≥pTH)的情况下，将该操作判断为点击动作，并且启动用户已选择的期望图标104的功能。对于适合作为点击动作的动作，必须满足按压力pC为按压力阈值pTH以上的条件。注意，利用如以下所述的按压力检测部103(参见图4)来测量按压力pC。
另外，利用如以下所述的触觉应答机构部102(参见图4)，还可以向用户的手指施加用以给该用户带来该用户在实际按压物理推式按钮的情况下将会感受到的触感相同的触感的振动v2。因而，在用户进行聚焦动作的情况下，用户感受到振动v1以使用户经由振动v1来假想使用物理推式按钮，并且在用户基于先前经由振动v1的触感而确信继续进行点击动作的情况下，用户感受到振动v2。
由于该结构，因此用户在按下实际采用虚拟推式按钮的形式的期望图标104的情况下感受到仿佛按下了物理推式按钮的感觉。结果，甚至用户对触摸面板100的操作也可以模拟该用户在实际操作物理推式按钮的情况下将会感受到的可靠确定的操作感。
图3是对拖动模式进行说明所用的、便携型信息装置1的正视图和示出一系列手指动作的示例的侧视图。
图3(A)是便携型信息装置1的正视图。将参考该正视图来说明拖动模式。在图3(A)所示的示例中，手指接触触摸面板100，然后在没有从触摸面板100移开的情况下立即向上侧移动(滑动)。
伴随着手指的滑动，包含图标104的图像整体向上侧移动了与手指滑动动作的距离相同的距离，结果多个图标104中的没有出现在显示画面上的一些图标从显示画面的下侧新出现在显示画面上。将用于使图像整体滑动的该手指动作、即用于使得能够进行所谓的拖动动作的模式称为拖动模式。
例如，在以下情况下启动拖动模式：期望图标104隐藏在显示画面外，因而需要使包括隐藏图标104的图像整体在显示画面上滑动以使该隐藏图标104出现在显示画面上的情况；诸如文本文档等的信息内容没有完全显示在显示画面上并且具有隐藏的剩余部分，因而需要使该信息内容滑动以使剩余部分出现在显示画面上以使得用户能够进一步浏览该剩余部分的情况；等等。
图3(B)是用于对为了启动如上所述的拖动模式所要满足的条件进行说明的手指动作的示意图。在该示意图所示的示例中，首先，用户利用手指接触触摸面板100。利用t0来表示该时间点(t＝t0)。注意，图3(B)具有后面在本发明的第二实施例的说明中将参考的数学式pC<pTH。
接着，用户在无需使手指从画面释放的情况下，使手指从该手指保持不动并且与画面相接触的当前状态转变为该手指开始向上侧(在图3(B)中为左侧)移动(滑动)的状态。利用ts1来表示该手指滑动动作的开始时刻(t＝ts1)。在该情况下，证明是手指接触点持续在时间(ts1–t0)内保持不变。在时间(ts1–t0)为预定时间tTH以下的情况下((ts1–t0)<tTH)，如以下所述的模式工作单元124(参见图5)启动拖动模式。之后，伴随着手指的滑动，包含期望图标104的图像整体滑动。
在这方面，图像整体的移动距离可以等于手指的移动距离，或者可以是诸如手指的移动距离与恒定因数的乘积等的手指的移动距离的函数。另外，当然，手指滑动的方向不限于向着上侧的方向。例如，在用户使手指在显示画面的表面上的任一方向上滑动的情况下，图像整体可以在与手指滑动方向相对应的方向、即上侧方向、下侧方向、左侧方向、右侧方向和其它斜向方向中的相应方向上滑动。
另外，在用户想要进行拖动动作的情况下，将如上所述的预定时间tTH设置为比从显示画面的手指触摸开始起直到显示画面的后续手指滑动动作开始为止所需的平均时间tAV1长的值。为了实现该设置处理，例如，使多个用户各自有意地滑动图像，测量手指固定接触时间的长度作为多个采样值，并且将预定时间tTH设置为比这些采样值的平均值tAV1大得多的值。
此外，在用户想要进行用于选择显示画面上所显示的特定对象的动作(例如，用户在使手指停留在操作画面上的任何位置处的同时浏览一起显示在显示画面上的多个图标104，用户决定选择图标104的其中一个作为期望图标、使手指保持固定，并且在用户的决定(心理行为)之后，用户使手指向着期望图标104滑动)的情况下，还将如上所述的预定时间tTH设置为比从显示画面的手指触摸开始起直到显示画面的后续手指滑动动作开始为止的平均时间tAV2短的值。
为了实现该设置处理，例如，使多个用户分别选择特定对象，测量手指固定接触的长度作为多个采样值，并且将预定时间tTH设置为比这些采样值的平均值tAV2小得多的值。
在这方面，在使用平均值tAV1和tAV2这两者的情况下，证明为将预定时间tTH设置为满足tAV1<tTH<tAV2所表示的条件。在更加具体的示例中，将tTH值设置为200毫秒。
图4是示出便携型信息装置的整体结构的立体图以及从概念上示出便携型信息装置1中所执行的输入操作判断方法的流程图。另外，图5是从概念上示出便携型信息装置1的功能框图。
如图4所示，便携型信息装置1被构造成包括触摸面板100、显示器101、触觉应答机构部102、按压力检测部103以及处理器和存储器。在这方面，该处理器和存储器执行用于进行输入操作判断方法的程序，由此提供该程序的功能。
对于处理器和存储器，如众所周知的，处理器和存储器一起构成计算机。这两者中的存储器存储用于进行输入操作判断方法的程序。存储器是存储有该程序的计算机可读的并且非瞬态的存储介质的示例。
显示器101被配置为显示包含用户要操作的图标(各自构成对象的示例)的图像。显示器101的表面是显示有图像的显示画面。另外，触摸面板100配置在显示器101的显示画面的上方(在本实施例中，触摸面板100和显示器101被配置成以间隔平板状的间隙的方式彼此面对)，并且被配置为随着时间的经过来顺次感测并输出手指接触点的位置。触摸面板100的表面是用户为了使便携型信息装置1工作而利用指尖所触摸的操作面。
操作面物理地叠加在显示画面上，但为了从触摸面板100将表示手指接触点的位置的信息传送至显示器101由此使得显示器101能够从视觉上示出与手指接触点的位置相对应的位置，并非必须使操作面物理地叠加在显示画面上。
触摸面板100可以是投影型静电容量式触摸面板、表面型静电容量式触摸面板、电阻膜式触摸面板、超声波表面弹性波式触摸面板、或红外线扫描式触摸面板等。
在本实施例中，在显示器101和触摸面板100被构造成显示功能和触摸面板功能由单独装置来提供、显示器101的显示画面和触摸面板100的操作面彼此分开并且操作面叠加在显示画面上的所谓的双层型的情况下，以及可选地在显示器101和触摸面板100被构造成显示功能和触摸面板功能由单个装置来提供的所谓的单层型的情况下，显示器101的显示画面还用作触摸面板101的操作面。
触觉应答机构部102被配置为使触摸面板100振动，由此向与触摸面板100相接触的用户的手指施加作为针对用户特定动作的应答的触觉应答。触觉应答机构部102响应于用户针对触摸面板100的聚焦动作而变得有效，以向手指施加用以给用户带来仿佛手指感受到按下物理推式按钮的感觉的振动v1(参见图2(B))。另外，触觉应答机构部102还响应于用户针对触摸面板100的点击动作而变得有效，以向手指施加用以给用户带来仿佛手指感受到按下物理推式按钮的感觉的振动v2(参见图2(B))。触觉应答机构部102例如可以采用利用诸如PZT(锆钛酸铅)等的压电材料所构成的压电致动器的形式。
在本实施例中，触觉应答机构部102夹持在触摸面板100和显示器101(例如，液晶层)之间。另外，在本实施例中，在便携型信息装置1中设置有单个振动器或间隔开的振动器的阵列，使得这些振动器不是全部而是局部覆盖通过使便携型信息装置1在与其表面垂直的方向上投影所获得的轮廓，并且单个振动器单独或多个振动器共同构成触觉应答装置。
使用按压力检测部103来检测用户利用手指按压触摸面板100的按压力pC。在示例中，按压力检测部103配置在触摸面板100的四个角的每一个处，并且通过利用使用按压手指在触摸面板100中产生的略微挠曲分别在四个角处对按压力检测部103进行按压的四个力成分进行求和来测量按压力pC。在使用按压力检测部103所测量到的按压力pC为预定的按压力阈值pTH以上的情况下(pC≥pTH)，判断为进行了点击动作。在示例中，按压力检测部103可以采用例如诸如PZT等的压电材料所形成的压电传感器的形式。在另一示例中，代替利用压电致动器构成的触觉应答机构部102或除该触觉应答机构部102以外，可以使用按压力检测部103来用作触觉应答机构部。
在本实施例中，按压力检测部103夹持在触摸面板100和显示器101(例如，液晶层)之间。另外，在本实施例中，在便携型信息装置1中设置有单个压力传感器或间隔开的压力传感器的阵列，使得这些压力传感器不是全部而是局部覆盖通过使便携型信息装置1在与其表面垂直的方向上投影所获得的轮廓，并且单个压力传感器单独或多个压力传感器共同构成按压力感测装置。
此外，在本实施例中，多个压力传感器配置在触摸面板100和显示器101之间所形成的板状空间内，使得这些压力传感器沿着该空间的平面以相互间隔开的方式排列，因此在触摸面板100和显示器101之间有意地形成了没有被任何压力传感器填充的空隙。这些空隙帮助触摸面板100响应于用户向触摸面板100局部施加按压力而弹性地挠曲。该挠曲给用户带来该用户可以感受到该用户实际按压触摸面板100的触感的益处。
上述的处理器和存储器被配置为输入表示从触摸面板100输出的手指接触点的位置的接触位置信号和从按压力检测部103输出的按压力信号，根据所输入的信号来选择并启动输入模式的其中一个，判断用户的实际输入操作的类型，并且执行与所判断出的输入操作相对应的操作。现在将参考图5来说明处理器和存储器的结构。
如图5所示，处理器和存储器被构造成包括接触时间判断单元121、接触位置判断单元122、按压力判断单元123、模式工作单元124、操作判断控制器125、触觉应答控制器126、显示控制器111和应用程序执行单元112。
接触时间判断单元121被配置为输入从触摸面板100输出的手指的接触位置信号，判断手指接触点是否自手指接触动作开始起停留了预定时间tTH以上，并且将该判断结果输出至模式工作单元124。接触时间判断单元121被配置为判断手指接触点与任一图标104在画面上的显示区域是否重叠，并且将该判断结果输出至操作判断控制器125。按压力判断单元123被配置为将输入从按压力检测部103输出的按压力信号，判断手指按压触摸面板100所利用的力是否为预定的按压力阈值pTH以上，并且将该判断结果输出至操作判断控制器125。
模式工作单元124被配置为基于从接触时间判断单元121所获得的判断结果来选择作为触摸聚焦模式和拖动模式的输入模式的其中一个作为有效输入模式并且启动所选择的输入模式。操作判断控制器125被配置为在触摸聚焦模式期间进行工作，以基于从接触位置判断单元122所获得的判断结果来判断当前手指动作是否适合作为聚焦动作，并且在检测到聚焦动作的情况下，操作判断控制器125启动与该聚焦动作相对应的操作。此外，操作判断控制器125被配置为在触摸聚焦模式期间也进行工作，以基于从按压力判断单元123获得的判断结果来判断当前手指动作是否适合作为点击动作，并且在检测到点击动作的情况下，操作判断控制器125启动与该点击动作相对应的操作。触觉应答控制器126被配置为基于从操作判断控制器125获得的判断结果来控制触觉应答机构部102以向用户的手指施加相关联的触觉应答。
显示控制器111被配置为输入来自应用程序执行单元112的应用程序执行信息，并且命令显示器101将与执行中的应用程序相关联的图像显示在显示画面上。另外，显示控制器111被配置为从模式工作单元124输入表示已选择触摸聚焦模式和拖动模式中的哪一个作为有效输入模式的指示信息，并且命令显示器101将与所指示的输入模式相对应的图像显示在显示画面上。此外，显示控制器111被配置为从操作判断控制器125输入表示正在进行可能的输入动作中的哪一个的指示信息，并且命令显示器101将与所指示的输入动作相对应的图像显示在显示画面上。
接着将参考图4所示的流程图来说明处理器和存储器要执行的输入操作判断方法。
如图4所示，作为第一步骤，触摸面板100进行工作以检测针对画面的手指接触(步骤S401)。接着，接触时间判断单元121判断画面上的手指接触点是否持续在预定时间tTH以上的时间内保持不变(步骤S402)。在这方面，使用相对于触摸面板100的表面(即，接触面)固定的x-y坐标系作为一个坐标(x,y)来表示手指接触点在该画面上的位置。注意，可以通过在画面上检测具有特定大小的手指接触面积来检测手指接触动作，并且在这种情况下，可以将手指接触区域的中心或重心的位置的坐标(即，中心坐标)作为手指接触点来处理。
另外，执行步骤S401和S402，例如使得在假定用户没有使手指移开触摸面板100的操作面的情况下，在先前检测到的手指接触点的值和当前检测到的手指接触点的值之间重复进行比较，并且在该比较表示这两个值彼此大致一致的情况下，判断为手指接触点保持不变。
由于在用户利用手指接触触摸面板100的情况下发生的正常手指抖动，因此手指接触点随着时间的经过可能经受不期望的略微位置变化。在示例中，为了避免由于不期望的位置变化所引起的误判断，进行校正以消除手指接触点的坐标的变化。另外，在另一示例中，预先预测由于手指按压动作中的手指抖动所引起的手指接触点的可能位置变化的范围，并且在坐标的实际变化落在所预测到的变化范围内的情况下，该实际变化没有被视为手指接触点的位置的有效变化。在任何情况下，可以在不受由于手指抖动所引起的不期望位置变化的影响的情况下进行关于手指接触点的位置是否持续保持不变的判断。换句话说，可以以可靠且确定的方式来识别用户的动作，从而跟随用户的真实意图(公开文本第100段)。
在接触时间判断单元121判断为手指接触点的位置已持续在预定时间tTH以上的时间内保持不变的情况下，模式工作单元124启动触摸聚焦模式(步骤S404)。更具体地，在固定地显示包含图标104的图像整体的情况下，监视手指接触点(或从触摸面板100输出的表示手指位置的接触位置信号)。
然而，在接触时间判断单元121判断为在预定时间tTH内手指接触点进行了滑动或移动的情况下，模式工作单元124启动拖动模式(步骤S403)。更具体地，使该装置进入包含图标104的图像整体可以沿着利用用户手指拖动动作所指定的方向进行滑动的状态。
通过从用户-操作员的观点再次说明上述这些步骤，在针对触摸面板的手指触摸之后立即进行手指的滑动动作的情况下，模式工作单元124启动拖动模式，并且在用户利用手指接触触摸面板并且使手指至少在预定时间tTH内保持在同一接触位置处的情况下，模式工作单元124启动触摸聚焦模式。
接着，响应于使触摸聚焦模式工作，接触位置判断单元122判断手指接触点与任一图标104的显示区域是否重叠(步骤S405)。在接触位置判断单元122判断为手指接触点与一个图标104的显示区域重叠的情况下，操作判断控制器125判断为进行了聚焦动作，并且启动其相关联的操作(步骤S406)。更具体地，选择显示画面上所显示的图标104中的手指接触点所重叠的一个图标。在该阶段，优选地，触觉应答控制器126经由触觉应答机构部102向用户的手指施加触觉应答(针对用户的触摸的应答)。另外，优选地，操作判断控制器125经由显示控制器111使显示器101进行所选择的图标104的强调显示。
接着，按压力检测部103检测用户利用手指以与触摸面板100相接触的方式按下触摸面板100所利用的按压力pC(步骤S407)。随后，按压力判断单元112判断按压力pC是否为预定的按压力阈值pTH以上(步骤S408)。
接着，仅在接触位置判断单元110判断为手指接触点与任一图标104的显示区域重叠、并且按压力判断单元112判断为按压力pC为按压力阈值pTH以上的情况下，操作判断控制器114才判断为进行了点击操作，并且启动其相关联的操作(步骤S409)。更具体地，操作判断控制器114启动预先分配至所选择图标104的功能、例如预定应用程序的启动。
因而，在本实施例中，判断手指接触点是否在预定时间tTH以上的时间内连续地保持不变，并且基于该判断结果来启动触摸聚焦模式和拖动模式的其中一个。因此，在用户进行操作的情况下，通过筛选或区分处理来正确地判断用户所进行的动作适合作为触摸聚焦模式期间发生的动作和和拖动期间发生的拖动动作中的哪一个，另外，在用户在触摸聚焦模式期间进行动作的情况下，通过筛选或区分处理来正确地判断用户所进行的动作适合作为聚焦动作和拖动动作中的哪一个。换句话说，利用采用手指接触动作、手指停留动作和手指滑动动作中的至少包括手指接触动作和手指滑动动作的多个原始或基本动作的组合形式的各动作，用户可以进行不同的输入操作，由此可以精确地区分识别这些动作。
接着，将说明根据本发明的例示第二实施例的便携型信息装置1。然而，本实施例具有与第一实施例共通的元件；因此将通过参考相同的名称或相同的附图标记来省略针对与第一实施例共通的元件的重复说明，并且将仅针对与第一实施例不同的元件来详细说明本实施例。
存在用户感到有必要进行以下操作的情况：用户从最初开始使手指接触触摸面板100的操作面中的与期望图标104的显示区域重叠的部分(以下称为“图标显示区域”)，然后立即进行点击动作(“立即点击动作”)。在这种情况下，存在如下可能性：用户一旦使手指触摸图标显示区域，该用户就利用预定阈值以上的力按压触摸面板100。
在这种情况下，在本发明的第一实施例中，如果自最初检测到手指接触起没有经过预定时间tTH，则不进行关于用户是否进行了点击动作的判断。因此，用户可能具有便携型信息装置1针对用户自身的点击动作的应答性低的印象。原因如下：在第一实施例中，在自最初检测到手指触摸起经过了预定时间tTH之后，判断为触摸聚焦模式；在开始触摸聚焦模式之后，判断为用户的操作适合作为聚焦动作；并且在手指接触的强度增加为预定阈值以上的值之前，没有将用户的操作判断为适合作为点击动作。
作为对比，在本实施例中，在最初检测到手指触摸的情况下，在无需等待自该检测时间点起经过了预定时间tTH的情况下，如果手指接触点与图标显示区域重叠、并且针对操作面的手指接触的强度为预定阈值以上，则判断为用户的操作适合作为点击动作。
手指接触的强度由以下至少之一来定义：手指按压触摸面板所利用的按压力；手指接触操作面的面积的大小；响应于针对操作面的手指接触的电气特性的变化量；以及响应于针对操作面的手指接触的温度的变化量。
结果，在本实施例中，在用户需要启动触摸聚焦模式的情况下，用户必须以例如上述图1和3的数学式所示使得操作面的手指接触的强度没有增加至预定阈值的方式来操作触摸面板100，并且如以下参考图6所述，在最初针对触摸面板100的手指接触时发生的按压力pC为预定阈值pTH以下(pC<pTH)。
图6是本实施例中的对点击动作(“立即点击动作”)进行说明所用的、便携型信息装置1的正视图和示出一系列手指动作的示例的侧视图。
图6(A)是示出与图1(A)相同的便携型信息装置1的正视图。此外在该图中，在显示器101的显示画面上显示有包含多个图标104的图像。在希望启动所显示的图标104的其中一个作为期望图标104的情况下，用户从最初开始触摸期望图标104，然后立即按压或压抵期望图标104(触摸面板100)。这样立即启动了预先分配至期望图标104的功能。
在手指一接触画面的情况下就开始该手指按压动作，并且当前没有经过预定时间tTH，这导致无法进入上述的触摸聚焦模式。另外，用户当前所施加的按压力pC满足pC≥pTH。此外，手指接触点与期望图标104的显示区域重叠。结果，当前满足了所需条件，因而判断为进行了点击动作，这使得启动了预先分配至期望图标104的功能。
在用户进行该点击动作(“立即点击动作”)以启动特定图标的功能的情况下，与用户在触摸聚焦模式期间进行点击动作(参见图2)以启动相同功能的情况不同，无需等待自手指接触动作开始起经过至少预定时间tTH。结果，在用户使手指从正上方接触画面、然后利用手指立即按压期望图标104的情况下，用户可以立即启动预先分配至期望图标104的功能。
注意，在图标104的显示区域外的位置处用户首先接触然后立即按下画面的情况下，没有判断为该动作适合作为点击动作。在这种情况下，与图1所示的第一实施例相同，判断手指接触点是否已持续在预定时间tTH以上的时间内保持不变(即，是否要启动触摸聚焦模式)。
图6(B)是用于对为了接受在手指接触之后立即进行手指按压的点击动作(“立即点击动作”)所要满足的条件进行说明的手指动作的示意图。在该示意图所示的示例中，手指首先触摸图标104的其中一个(触摸面板100)。利用t0来表示该时间点(t＝t0)。接着，手指按压或压抵一个图标104，其中这是作为从最初的手指接触起的连续动作(而无需经过任何其它不同动作)所进行的。
在这方面，判断手指按压画面所利用的按压力pC是否满足pC≥pTH。该判断是在关于当前手指接触点是否持续在时间(tS2–t0)内保持不变、即是否满足(tS2–t0)≥tTH的判断之前进行的。结果，在进行了如以上所述的点击动作那样的动作的情况下，在经过了预定时间tTH之前判断为按压力pC为预定阈值pTH以上。
在判断为按压力pC为预定阈值pTH以上的情况下，判断手指接触点与任一图标104的显示区域是否重叠。在判断为手指接触点与任一图标104的显示区域重叠的情况下，判断为进行了点击动作，并且启动预先分配至当前图标104的功能。然而，在判断为手指接触点与任一图标104的显示区域不重叠的情况下，与图1所示的第一实施例相同，判断当前手指接触点是否持续在预定时间tTH以上保持不变(即，是否要使触摸聚焦模式工作)。
如上所述，在本实施例中，在用户使手指从正上方接触画面、然后利用手指立即按下期望图标104的情况下，用户可以在无需进入触摸聚焦模式的情况下立即启动预先分配至期望图标104的功能。结果，由于较快的应答而提高了装置的可操作性。
另外，如以下所述的触觉应答机构部102(参见图5)还可以以振动v2的形式来向如上所述用户进行了点击操作(“立即点击操作”)所利用的手指施加触觉应答。
图7是示出便携型信息装置1的整体硬件结构的立体图以及从概念上示出便携型信息装置1的整体软件结构的功能框图。
如图7所示，与第一实施例相同，便携型信息装置1被构造成包括触摸面板100、显示器101、触觉应答机构部102、按压力检测部103以及处理器和存储器。
此外，如图7所示，处理器和存储器被构造成包括接触时间判断单元121、接触位置判断单元122、按压力判断单元123、模式工作单元124、操作判断控制器125、触觉应答控制器126、显示控制器111和应用程序执行单元112。
除了操作判断控制器125以外，这些组件与图5所示的第一实施例中的相应组件相同地起作用。与第一实施例相同，操作判断控制器125包括第一点击操作判断单元。该第一点击操作判断单元被配置为：在触摸聚焦模式期间、接触位置判断单元122判断为手指接触点与任一图标104的显示区域重叠并且按压力判断单元123判断为按压力pC为预定阈值pTH以上的情况下，该第一点击操作判断单元进行工作，以判断为用户的动作适合作为用于启动用户已暂定选择的当前图标104的功能的点击动作。
与第一实施例不同，操作判断控制器125还包括第二点击操作判断单元。该第二点击操作判断单元被配置为在如下情况下进行工作，以判断为用户进行了用于启动该用户已暂定选择的当前图标104的功能的点击动作：在针对操作面的手指接触开始之后，与接触时间判断单元121是否判断为保持时间(tS2–t0)为预定时间tTH以上无关地，接触位置判断单元122判断为手指接触点与任一图标104的显示区域重叠，并且按压力判断单元123判断为按压力pC为预定阈值pTH以上。
添加第二点击操作判断单元使得能够进行感知为图6所示的在手指接触之后立即进行手指按下的点击动作(“立即点击动作”)，并且实现与该立即点击动作相对应的功能。
接着，将参考图8所示的流程图来说明处理器和存储器要执行的输入操作判断方法。
(S601)首先，测量手指接触的有无。
(S602)判断手指与触摸面板100是否相接触。
(S603)按压力检测部103测量利用手指以与触摸面板100相接触的方式所施加的按压力pC。
(S604)接着，按压力判断单元123判断按压力检测部103所检测到的按压力pC是否为预定的按压力阈值pTH以上。
(S611)在步骤S604判断为pC≥pTH的情况下，接触位置判断单元122判断手指接触点与任一图标104的显示区域是否重叠。然而，在步骤S604判断为pC<pTH的情况下，该方法进入步骤S605以判断是否要启动触摸聚焦模式。
(S612)在步骤S611判断为与任一图标104的显示区域重叠的情况下，判断为进行了点击动作(“立即点击动作”)，并且启动相应的操作。更具体地，启动一个图标104的功能，例如启动预定应用程序。
(S605)在步骤S604判断为pC<pTH(即，没有进行立即点击动作)的情况下，接触时间判断单元121判断画面上的手指接触点是否持续在预定时间pTH以上的时间内保持不变。
(S621)在步骤S605判断为手指接触点持续在预定时间pTH以上的时间内保持不变的情况下，模式工作单元124启动触摸聚焦模式。更具体地，在使包含多个图标104的图像整体固定的状态下，监视手指接触点(即，从触摸面板100输出的手指接触位置信号)。
(S631)然而，在步骤S605判断为在经过了预定时间tTH之前手指接触点已移动的情况下，模式工作单元124启动拖动模式。更具体地，使包含多个图标104的图像整体能够在手指拖动动作所指定的方向上滑动。
(S622)接着，在使触摸聚焦模式工作之后判断是否存在针对触摸面板100的手指接触。在判断为存在手指接触的情况下，该方法进入步骤S623。然而，在判断为不存在手指接触的情况下，判断为手指从触摸面板100释放并且手指动作结束，并且该输入操作判断方法结束。
(S623)接触位置判断单元122判断手指接触点与任一图标104的显示区域是否重叠。
(S624)在步骤S623判断为手指接触点与任一图标104的显示区域重叠的情况下，操作判断控制器125判断为进行了聚焦动作，并且启动相关联的操作。更具体地，选择图标104中的手指接触点所重叠的图标。此时，优选地，触觉应答控制器126经由触觉应答机构部102向手指施加触觉应答。另外，还优选地，操作判断控制器125经由显示控制器111指示显示器101进行所选择的图标104的强调显示。
(S625)接着，按压力检测部103检测通过手指接触触摸面板100所施加的按压力pC。
(S626)接着，按压力判断单元123判断按压力检测部103所检测到的按压力pC是否为预定按压力阈值pTH以上。
(S627)在接触位置判断单元122判断为手指接触点与任一图标104的显示区域重叠、并且在步骤S626中按压力判断单元112判断为按压力pC为预定按压力阈值pTH以上的情况下，操作判断控制器125进行工作，以判断为进行了点击动作，并且启动其相关联的操作。更具体地，启动当前选择的图标104的功能，例如启动预定应用程序。
如上所述，在本实施例中，在用户使手指接触任一图标(对象)104、然后利用该手指立即按压该图标104的情况下，进行点击动作(“立即点击动作”)而无需如上所述的任何等待时间。结果，在本实施例中，利用采用手指接触动作、手指停留动作和手指滑动动作中的至少包括手指接触动作和手指滑动动作的多个原始或基本动作的组合形式的各动作，用户可以进行不同的输入操作，由此可以精确地区分识别这些动作。
图9是示出根据本发明的其它实施例的用户界面装置的外观的立体图。
图9(A)是配备有根据本发明的另一实施例的用户界面装置的笔记本型个人计算机2的立体图。在该笔记本型个人计算机2中，启动web浏览器以使用户能够浏览网页，并且在显示器201中显示包含多个链接(各链接构成对象的另一示例)204的图像。
在用户需要浏览正观看的网页中的当前没有显示在显示器201上的部分的情况下，如果用户使手指接触触摸面板200、然后立即滑动手指，则启动拖动模式以使用户能够进行拖动动作。在该情况下，在自最初手指接触起经过了预定时间tTH之前进行手指滑动动作是用户启动拖动模式的关键动作。
另一方面，在用户需要检查显示器201上所显示的网页的一部分中是否存在期望链接204的情况下，用户使手指接触触摸面板200的暂定位置，并且使手指至少在预定时间tTH内维持在该触摸位置处。这样启动了触摸聚焦模式。接着，用户通过使手指以接触的方式滑动至用户所检测到的显示有期望链接204的区域来进行聚焦动作。接着，用户通过利用手指以预定的按压力阈值pTH以上的力按压触摸面板200来进行点击动作，并且该动作启动了期望链接204的功能，从而使得用户能够观看利用期望链接204表示的网站所提供的文本内容、图形内容等。
图9(B)是配备有根据本发明的又一实施例的用户界面装置的数字照片打印机3的立体图。数字照片打印机3经由用户已选择的多个不同格式的信号/数据输入适配器305的其中一个来存储已获取到的大量数字照片数据集，并且显示器301显示与所获取到的数字照片数据集相对应的多个缩略图(各自构成对象的又一示例)304。
在用户需要观看多个缩略图304中的当前没有显示在显示器301上的缩略图的情况下，如果用户使手指接触触摸面板300、然后立即滑动手指，则启动拖动模式并且用户进行拖动动作。在该阶段，在自最初手指接触起经过了预定时间tTH之前进行手指滑动动作是用户启动拖动模式的关键动作。
另一方面，在用户需要检查期望缩略图304是否正显示在显示器301上的情况下，用户使手指接触触摸面板300上的暂定位置，并且使手指至少在预定时间tTH内维持在接触位置处。这样启动了触摸聚焦模式。接着，用户通过使手指以接触的方式移动至用户所检测到的显示有期望缩略图304的区域来进行聚焦动作。接着，用户通过利用手指以预定的按压力阈值pTH以上的力按压触摸面板300来进行点击动作，由此选择期望缩略图304，用于设置例如打印相应的数字照片数据的指示。
注意，在图9(A)和9(B)所示的各实施例中，存在如下情况：多个链接204或缩略图304以彼此间隔的紧密而使得用户难以使手指接触画面上的链接204或缩略图304的显示区域以外的位置的方式显示在显示器201或301上。即使在这种情况下，这些实施例也通过判断手指接触点是否持续在预定时间tTH以上保持不变、或者判断手指停留接触时间是否为预定阈值tTH以上，来进行输入模式的确定。结果，无论手指的最初接触位置如何，都可以容易地启动拖动模式并且用户可以确定地进行拖动动作。
此外，注意，在图9(A)和9(B)所示的各实施例中，存在如下情况：在显示器201或301上的期望链接204或期望缩略图304的显示区域外(包括其余的链接204或缩略图304的显示区域内)不期望地进行了最初手指接触。即使在这种情况下，这些实施例也通过判断手指接触点是否持续在预定时间tTH以上保持不变来进行输入模式的确定。结果，无论手指的最初接触位置如何，都可以容易地启动触摸聚焦模式，并且用户可以确定地进行用以选择期望链接204或缩略图304的聚焦动作。
如通过以上说明将容易理解，各自均根据上述本发明的实施例的用户界面装置、输入操作判断方法和程序提供了以下效果：在用户通过使手指接触显示画面来进行输入动作时，存在可以通过使手指以与显示画面相接触的方式滑动来正确地接受的多个不同类型的可用手指动作，从而使得用户能够通过使手指接触触摸面板而在多个不同模式下进行输入动作或操作。
换句话说，尽管附加输入动作与拖动动作共用作为手指接触和手指滑动的两种不同的原始或基本动作的合成动作，但由于附加输入动作具有作为手指停留的附加基本动作，因此用户可以以与拖动动作区分开的方式进行附加输入动作。结果，用户可以在多个不同模式下进行通过使手指接触画面的输入动作或操作。
另外，各自均根据本发明的这些实施例的用户界面装置、输入操作判断方法和程序提供了以下效果：在用户通过使该用户的手指接触显示画面来进行输入动作时，作为用户使手指轻扫显示画面上所显示的图像的动作的结果，用户可以选择期望对象。
另外，在本发明的这些实施例中，用户接触的操作面通常是平板状的。另一方面，在用户通过使手指(例如，拇指)接触显示画面来进行输入动作的情况下，用户在使其掌根用作基本固定转轴的同时使手指弯曲，结果，指尖具有不是进行直线运动而是进行曲线运动的趋势。因此，在操作面的形状具有轮廓适合指尖的运动特性并且在远离指尖的方向上凸出的二维或三维曲面的情况下，用户可以在无需使手指从操作面移开的情况下利用手指对触摸面板进行操作。
尽管以上已经参考附图详细说明了本发明的一些实施例，但这些实施例仅是示例，并且本发明可以以替代模式来体现，其中这些替代模式以标题为“发明内容”的部分中所述的模式开始，或者是通过考虑到本领域技术人员的知识对上述实施例进行各种变形和改进来获得的。

Claims (12)

1.一种用户界面装置，其配备有用以将包括作为用户操作对象的多个对象的图像显示在画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述用户界面装置包括：
显示器，具有所述画面；
触摸面板，具有所述操作面；
按压力检测器，其与所述触摸面板连接，用于检测手指按压所述操作面的按压力；以及
处理器，其与所述触摸面板，所述显示器及所述按压力检测器连接，
所述处理器执行：
接触时间判断单元，用于使用所述触摸面板来判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上；
模式工作单元，用于在所述接触时间判断单元判断为所述保持时间为所述预定时间以上的情况下，判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、使用所述显示器来将包括所述多个对象的图像整体不移动而是固定地显示在所述画面上的状态下，监视手指的接触位置；
接触位置判断单元，用于在所述触摸聚焦模式工作期间，使用所述触摸面板来判断手指的接触位置与所述多个对象中的一个对象在所述画面上的显示是否重叠；以及
操作判断控制器，用于在所述接触位置判断单元在所述触摸聚焦模式工作期间判断为手指的接触位置与所述多个对象中的一个对象在所述画面上的显示重叠的情况下，判断为用户进行了用于暂定选择所述一个对象的聚焦操作，
其中，所述操作判断控制器包括第一点击操作判断单元，所述第一点击操作判断单元用于在所述触摸聚焦模式工作期间，在判断为暂定选择了所述一个对象之后、判断为所述按压力检测器所检测到的按压力为预定阈值以上的情况下，判断为用户进行了用于启动分配至所述一个对象的功能的点击操作，并启动所述功能，
其中，所述处理器在所述触摸聚焦模式工作期间，使用所述触摸面板来判断手指是否与所述操作面接触，在判断为手指没有与所述操作面接触的情况下，结束所述触摸聚焦模式。
2.根据权利要求1所述的用户界面装置，其中，所述模式工作单元在所述保持时间比所述预定时间短的情况下，使所述拖动模式工作，并且在所述保持时间为所述预定时间以上的情况下，使所述触摸聚焦模式工作。
3.根据权利要求1所述的用户界面装置，其中，还包括：
触觉应答机构部，用于在手指与所述操作面接触的状态下向手指施加触觉应答；以及
触觉应答控制器，用于在所述操作判断控制器判断为用户进行了所述聚焦操作的情况下，控制所述触觉应答机构部经由所述操作面向手指施加所述触觉应答。
4.根据权利要求1所述的用户界面装置，还包括：
触觉应答机构部，用于在手指与所述操作面接触的状态下向手指施加触觉应答；以及
触觉应答控制器，用于在所述操作判断控制器判断为用户进行了所述点击操作的情况下，控制所述触觉应答机构部经由所述操作面向手指施加所述触觉应答。
5.根据权利要求1所述的用户界面装置，其中，还包括：
所述操作判断控制器包括第二点击操作判断单元，所述第二点击操作判断单元用于在针对所述操作面的手指的接触开始之后，与所述接触时间判断单元是否判断为所述保持时间为所述预定时间以上无关地，在所述接触位置判断单元判断为手指的接触位置与所述多个对象中的一个对象在所述画面上的显示重叠并且所述按压力检测器所检测到的按压力被判断为在所述预定阈值以上的情况下，判断为用户进行了用以启动分配至所述一个对象的功能的点击操作。
6.根据权利要求1所述的用户界面装置，其中，所述预定时间长于在用户想要进行所述拖动操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间，但短于在用户想要进行用于选择所述一个对象的操作的情况下从手指接触所述操作面起直到随后开始移动为止所需的平均时间。
7.根据权利要求1所述的用户界面装置，其中，所述接触时间判断单元与手指的接触位置与所述一个对象在所述画面上的显示区域是否重叠无关地，测量所述保持时间。
8.一种用于判断针对用户界面装置所进行的用户输入操作的方法，所述用户界面装置配备有用以将包括作为用户操作对象的多个对象的图像显示在显示器的画面上的显示功能和用以随着时间的经过顺次输出用户的手指接触触摸面板的操作面的接触位置的触摸面板功能，所述用户界面装置具有将手指的接触位置的移动识别为用户的拖动操作的拖动模式，所述拖动模式用作识别该移动的类型所用的模式，所述方法包括以下步骤：
第一步骤，用于利用与所述显示器和所述触摸面板相连接的处理器，来判断手指的接触位置实质保持在所述操作面上的保持时间是否为预定时间以上；
第二步骤，用于在所述第一步骤中判断为所述保持时间为所述预定时间以上的情况下，利用所述处理器判断为用户的操作不符合所述拖动操作，然后代替使所述拖动模式工作，使触摸聚焦模式工作，其中在所述触摸聚焦模式中，在不管有无手指的接触位置的随后的移动、将包括所述多个对象的图像整体固定地显示在所述画面上的状态下，监视手指的接触位置，
第三步骤，用于在所述触摸聚焦模式工作期间，利用所述处理器使用所述触摸面板来判断手指的接触位置与所述多个对象中的一个对象在所述画面上的显示是否重叠；
第四步骤，用于在判断为手指的接触位置与所述多个对象中的一个对象在所述画面上的显示重叠的情况下，利用所述处理器识别为用户进行了用于暂定选择所述一个对象的聚焦操作；
第五步骤，用于利用所述处理器经由与所述触摸面板和所述处理器相连接的按压力检测器来检测手指按压所述操作面的按压力，以及
第六步骤，用于在暂定选择了所述一个对象之后、在所述触摸聚焦模式工作期间判断为所述按压力检测器所检测的按压力为预定阈值以上的情况下，利用所述处理器判断为用户进行了用于启动分配至所述一个对象的功能的点击操作，并且启动所述功能，
其中，所述方法还包括如下步骤：
利用所述处理器在所述触摸聚焦模式工作期间，使用所述触摸面板来判断手指是否与所述操作面接触，在判断为手指没有与所述操作面接触的情况下，结束所述触摸聚焦模式。
9.根据权利要求8所述的方法，其中，所述第一步骤是与手指的接触位置与所述多个对象中的任一对象在所述画面上的显示是否重叠无关地进行的。
10.一种用于对用户界面装置进行控制的方法，所述用户界面装置用于在显示器的画面上显示图像，并且使得用户能够与所显示的图像相关联地通过利用手指接触触摸面板的操作面来进行用户的输入，所述方法包括以下步骤：
第一步骤，用于利用与所述显示器和所述触摸面板相连接的处理器，使用所述操作面来判断用户是否已使手指在所述操作面中的实质相同位置处保持了预定时间以上，并且在判断手指已保持了所述预定时间以上的情况下，不管有无手指的接触位置的随后的移动，使用所述显示器开始用以使图像固定地显示在所述画面上的固定显示；
第二步骤，用于利用所述处理器检测手指针对所述触摸面板的接触程度；以及
第三步骤，用于在所述固定显示的期间，利用所述处理器来判断手指的接触位置与多个对象中的一个对象在所述画面上的显示是否重叠，检测用户的手指的接触程度已随时间的经过而增加，并且在判断为手指的接触位置与所述一个对象重叠且所述用户的接触程度已随时间的经过而增加的情况下，判断为用户进行了用于启动预先分配至重叠的所述一个对象的功能的点击操作，
其中，所述方法包括以下步骤：
利用所述处理器在所述固定显示的期间，使用所述触摸面板来判断手指是否与所述操作面接触，在判断为手指没有与所述操作面接触的情况下，结束所述固定显示。
11.根据权利要求10所述的方法，其中，还包括第四步骤，所述第四步骤用于在使用所述触摸面板判断为针对所述操作面的手指接触开始之后，与是否经过了所述预定时间无关地，在手指的接触位置与所述一个对象的显示位置相对应的情况下，并且在判断为针对所述操作面的手指的接触程度已随时间的经过而增加的情况下，利用所述处理器判断为用户进行了用于启动预先分配至所述一个对象的功能的点击操作。
12.根据权利要求10所述的方法，其中，还包括第五步骤，所述第五步骤用于在启动了预先分配至所述一个对象的功能的情况下，利用所述处理器使用所述触摸面板来经由所述操作面向接触所述操作面的手指施加触觉应答。
CN201280032317.2A 2011-07-11 2012-06-29 用户界面装置及方法 Active CN103620541B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-152819 2011-07-11
JP2011152819A JP5269154B2 (ja) 2011-07-11 2011-07-11 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP2012-063837 2012-03-21
JP2012063837A JP5912711B2 (ja) 2012-03-21 2012-03-21 指の接触・押圧によって種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
PCT/JP2012/066711 WO2013008649A1 (ja) 2011-07-11 2012-06-29 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム

Publications (2)

Publication Number Publication Date
CN103620541A CN103620541A (zh) 2014-03-05
CN103620541B true CN103620541B (zh) 2017-05-24

Family

ID=47505945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280032317.2A Active CN103620541B (zh) 2011-07-11 2012-06-29 用户界面装置及方法

Country Status (4)

Country Link
US (1) US9720587B2 (zh)
EP (1) EP2733591B1 (zh)
CN (1) CN103620541B (zh)
WO (1) WO2013008649A1 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169882A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9489067B2 (en) * 2012-08-17 2016-11-08 Qualcomm Incorporated Scalable touchscreen processing with realtime role negotiation among asymmetric processing cores
US20140055369A1 (en) * 2012-08-22 2014-02-27 Qualcomm Innovation Center, Inc. Single-gesture mobile computing device operations
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
KR102301592B1 (ko) 2012-12-29 2021-09-10 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
WO2014128784A1 (ja) * 2013-02-20 2014-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 携帯情報端末の制御方法及びプログラム
CN103197889B (zh) * 2013-04-03 2017-02-08 锤子科技（北京）有限公司 一种亮度调整方法、装置及一种电子设备
US9158410B2 (en) * 2013-05-16 2015-10-13 International Business Machines Corporation Utilizing a touch screen as a biometric device
KR102109617B1 (ko) * 2013-09-16 2020-05-13 주식회사 팬택 지문 인식기를 구비한 단말 및 이 지문 인식기를 통한 사용자 입력의 처리 방법
JP2015106165A (ja) * 2013-11-28 2015-06-08 京セラ株式会社 電子機器
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP5924555B2 (ja) * 2014-01-06 2016-05-25 コニカミノルタ株式会社 オブジェクトの停止位置制御方法、操作表示装置およびプログラム
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
EP4242814A3 (en) * 2014-06-24 2023-10-18 Apple Inc. Input device and user interface interactions
EP3126953A1 (en) 2014-06-24 2017-02-08 Apple Inc. Column interface for navigating in a user interface
CN106537891B (zh) * 2014-08-12 2020-09-04 索尼公司 信息处理设备、程序和信息处理方法
KR102016160B1 (ko) 2014-09-02 2019-08-29 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
WO2016036545A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Reduced-size notification interface
US9928570B2 (en) * 2014-10-01 2018-03-27 Calgary Scientific Inc. Method and apparatus for precision measurements on a touch screen
CN105739881B (zh) * 2014-12-12 2019-04-23 联想(北京)有限公司 一种信息处理方法及电子设备
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN104699346B (zh) * 2015-04-01 2017-11-10 上海中航光电子有限公司 阵列基板及其形成方法、触控显示设备的触控检测方法
US10152208B2 (en) * 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN105141761A (zh) * 2015-08-10 2015-12-09 努比亚技术有限公司 移动终端的状态切换装置、移动终端和状态切换方法
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
JP6625372B2 (ja) * 2015-08-27 2019-12-25 株式会社デンソーテン 入力装置および車載装置
US10540071B2 (en) * 2015-09-08 2020-01-21 Apple Inc. Device, method, and graphical user interface for displaying a zoomed-in view of a user interface
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
JP6073451B1 (ja) * 2015-11-17 2017-02-01 京セラ株式会社 電子機器
JP6940040B2 (ja) * 2016-02-04 2021-09-22 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 情報処理方法および電子デバイス
CN105786343B (zh) * 2016-02-15 2019-05-24 努比亚技术有限公司 一种触控操作的实现方法及终端
CN105912163B (zh) * 2016-04-11 2019-06-14 北京小米移动软件有限公司 实体按键组件、终端、触控响应方法及装置
JP6758922B2 (ja) * 2016-06-01 2020-09-23 キヤノン株式会社 電子機器及びその制御方法
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
US10409421B2 (en) * 2016-06-12 2019-09-10 Apple Inc. Devices and methods for processing touch inputs based on adjusted input parameters
CN106201270A (zh) * 2016-07-15 2016-12-07 乐视控股（北京）有限公司 一种目标对象的处理方法及装置
US10416771B2 (en) * 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US11068155B1 (en) 2016-12-30 2021-07-20 Dassault Systemes Solidworks Corporation User interface tool for a touchscreen device
AU2017413665B2 (en) * 2017-05-12 2023-02-02 Razer (Asia-Pacific) Pte. Ltd. Method and apparatus for quantifying button click force
CN107392613B (zh) * 2017-06-23 2021-03-30 广东小天才科技有限公司 一种用户交易验证方法及终端设备
KR102469754B1 (ko) * 2018-02-13 2022-11-22 삼성전자주식회사 전자 장치 및 그 동작 방법
JP7037177B2 (ja) * 2018-03-29 2022-03-16 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
JP2021531292A (ja) 2018-07-20 2021-11-18 アソシエーション・アンスティトゥート・ドゥ・マイオロジー 筋肉減少症又は廃用性萎縮症の治療のための組成物
JP2020042625A (ja) * 2018-09-12 2020-03-19 株式会社東海理化電機製作所 触覚呈示装置及び触覚呈示方法
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
KR102618969B1 (ko) * 2018-10-02 2023-12-28 삼성디스플레이 주식회사 표시장치
US10852874B2 (en) * 2018-11-08 2020-12-01 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional touch sensing with load sensors
JP7424309B2 (ja) * 2018-11-21 2024-01-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN109739399B (zh) * 2018-11-23 2021-08-20 努比亚技术有限公司 一种图标选择控制方法、终端及计算机可读存储介质
EP3928526A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces for viewing and accessing content on an electronic device
CN113711169A (zh) 2019-03-24 2021-11-26 苹果公司 包括内容项的可选表示的用户界面
US11962836B2 (en) 2019-03-24 2024-04-16 Apple Inc. User interfaces for a media browsing application
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
JP7314576B2 (ja) 2019-04-03 2023-07-26 京セラドキュメントソリューションズ株式会社 入力装置
US11301128B2 (en) * 2019-05-01 2022-04-12 Google Llc Intended input to a user interface from detected gesture positions
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
EP3977245A1 (en) 2019-05-31 2022-04-06 Apple Inc. User interfaces for a podcast browsing and playback application
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
JP2023500884A (ja) 2019-11-06 2023-01-11 アソシエーション・アンスティトゥート・ドゥ・マイオロジー 筋疾患のための併用療法
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
DE102020107752A1 (de) 2020-03-20 2021-09-23 Daimler Ag Verfahren und Vorrichtung zur Auswahl von auf einem Bildschirm angezeigten Eingabefeldern und/oder zur Aktivierung von auf dem Bildschirm in einem ausgewählten Eingabefeld angezeigten Eingabeinhalten durch manuelle Eingaben
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11567575B2 (en) * 2021-06-14 2023-01-31 Microsoft Technology Licensing, Llc Haptic response control
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
CN114610208A (zh) * 2022-03-21 2022-06-10 联想(北京)有限公司 显示控制方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194506A (ja) * 1998-12-25 2000-07-14 Nec Corp タッチパネル
JP2007010645A (ja) * 2005-05-31 2007-01-18 Fujitsu Ten Ltd 地図表示装置及び地図表示法
JP2007148617A (ja) * 2005-11-25 2007-06-14 Alpine Electronics Inc タッチパネル付きディスプレイ装置
JP2008077272A (ja) * 2006-09-20 2008-04-03 Sanyo Electric Co Ltd タッチパネル制御装置およびタッチパネル制御方法
CN101551735A (zh) * 2008-03-31 2009-10-07 索尼株式会社 指针显示设备、指针显示/检测方法及程序和信息装置
JP2010055282A (ja) * 2008-08-27 2010-03-11 Nec Saitama Ltd タッチパネル振動方法およびタッチパネル装置
JP2010211509A (ja) * 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424726A (ja) 1990-05-15 1992-01-28 Fuji Facom Corp タッチスクリーンのカーソル表示装置
JPH10171600A (ja) 1996-12-06 1998-06-26 Brother Ind Ltd 入力装置
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
GB2463012A (en) 2008-08-27 2010-03-03 Roke Manor Research Touch sensitive display with an actuator grid providing soft key feedback
US8315672B2 (en) 2008-12-01 2012-11-20 Research In Motion Limited Portable electronic device and method of controlling same
JP4885938B2 (ja) * 2008-12-25 2012-02-29 京セラ株式会社 入力装置
WO2011082645A1 (zh) 2010-01-06 2011-07-14 华为终端有限公司 显示图片/界面的方法及终端
CN101833419B (zh) * 2010-04-30 2013-10-09 华为终端有限公司 一种用户界面操作的方法及移动终端
CN101819486B (zh) 2010-03-23 2012-06-13 宇龙计算机通信科技(深圳)有限公司 一种触摸屏的监视处理方法、装置及移动终端
CN101937313B (zh) * 2010-09-13 2019-11-12 中兴通讯股份有限公司 一种触摸键盘动态生成和输入的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194506A (ja) * 1998-12-25 2000-07-14 Nec Corp タッチパネル
JP2007010645A (ja) * 2005-05-31 2007-01-18 Fujitsu Ten Ltd 地図表示装置及び地図表示法
JP2007148617A (ja) * 2005-11-25 2007-06-14 Alpine Electronics Inc タッチパネル付きディスプレイ装置
JP2008077272A (ja) * 2006-09-20 2008-04-03 Sanyo Electric Co Ltd タッチパネル制御装置およびタッチパネル制御方法
CN101551735A (zh) * 2008-03-31 2009-10-07 索尼株式会社 指针显示设备、指针显示/检测方法及程序和信息装置
JP2010055282A (ja) * 2008-08-27 2010-03-11 Nec Saitama Ltd タッチパネル振動方法およびタッチパネル装置
JP2010211509A (ja) * 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置

Also Published As

Publication number Publication date
WO2013008649A1 (ja) 2013-01-17
CN103620541A (zh) 2014-03-05
EP2733591B1 (en) 2019-05-08
US9720587B2 (en) 2017-08-01
EP2733591A1 (en) 2014-05-21
EP2733591A4 (en) 2014-12-03
US20130332892A1 (en) 2013-12-12

Similar Documents

Publication Publication Date Title
CN103620541B (zh) 用户界面装置及方法
US10552658B2 (en) Biometric sensor with finger-force navigation
US10438040B2 (en) Multi-functional ultrasonic fingerprint sensor
US10515255B2 (en) Fingerprint sensor with bioimpedance indicator
CN104049795B (zh) 基于接触物的触觉反馈生成
CN101903857B (zh) 用于无源矩阵多触点触摸传感器的扫描特性被调整的电子分析电路
CN102591512B (zh) 触觉反馈系统和用于提供触摸反馈的方法
AU2018282404A1 (en) Touch-sensitive button
CN102929422B (zh) 力感测电容式混合触摸传感器
US20160259411A1 (en) Gap Sensor for Haptic Feedback Assembly
EP2133778A2 (en) Touch screen display device with a virtual keyboard and at least one proximity sensor
JP6323182B2 (ja) 電子書籍装置および電子書籍プログラム
CN108027683A (zh) 力传感边框触摸界面
KR102166330B1 (ko) 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
KR20180041049A (ko) 상황 압력 감지 햅틱 응답
KR20100098706A (ko) 패시브-매트릭스 멀티컨택트 촉각 센서에 대한 용량성/저항성 측정의 교체를 구비하는 전자 분석 회로
CN107621912B (zh) 在不同触摸传感器之间的相关数据采集
US20140282279A1 (en) Input interaction on a touch sensor combining touch and hover actions
CN109906428A (zh) 在电容传感器上定位有源触控笔
CN111145891A (zh) 信息处理方法、装置及电子设备
TW201133301A (en) Operation method of electronic device
JP5269154B2 (ja) 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
CN107315450A (zh) 用于确定使用者的手与电子设备的壳体之间的关系的触摸屏控制器
CN103092491B (zh) 生成控制命令的方法和装置、以及电子设备
CN205959172U (zh) 电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant