CN102262504A - 带虚拟键盘的用户交互手势 - Google Patents

带虚拟键盘的用户交互手势 Download PDF

Info

Publication number
CN102262504A
CN102262504A CN201110152120XA CN201110152120A CN102262504A CN 102262504 A CN102262504 A CN 102262504A CN 201110152120X A CN201110152120X A CN 201110152120XA CN 201110152120 A CN201110152120 A CN 201110152120A CN 102262504 A CN102262504 A CN 102262504A
Authority
CN
China
Prior art keywords
gesture
dummy keyboard
screen
touch
screen device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110152120XA
Other languages
English (en)
Other versions
CN102262504B (zh
Inventor
S·S·贝特曼
J·J·瓦拉维
P·S·亚当森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN102262504A publication Critical patent/CN102262504A/zh
Application granted granted Critical
Publication of CN102262504B publication Critical patent/CN102262504B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

描述了在双屏装置中提供操作系统无关手势和虚拟键盘的方法和装置。

Description

带虚拟键盘的用户交互手势
技术领域
本发明涉及带虚拟键盘的用户交互手势。
背景技术
典型的触摸屏用户接口通过手指手势来执行。这些手指手势分解为触摸屏用户接口上的单个点。不管施加到触摸屏用户接口的形态(shape)，手指手势或触点被分解为单个点。因此，在触摸屏用户接口上执行的触摸手势被限制到点。因为被限制到点，所以这些手指手势必须精确，以使得触摸屏接口理解触摸命令或指令。
用户手势可被约束到在装置上运行的具体操作系统或OS。在可实现双屏触摸板装置的这种情况中，可能没有对于可容易地将应用或窗口从一个屏幕移动到其它屏幕的手势的规定。例如，在实现虚拟键盘的双屏膝上型电脑中，虚拟键盘可被调用并出现在屏幕之一上。在调用虚拟键盘之前，在该屏幕上可能存在一个或多个应用或窗口。应用可完全离去或被掩盖。可能没有可用于专门移动应用或窗口的、OS提供的手势。另外，当虚拟键盘离去时，由OS提供的手势可能没有解决(重新)呈现应用或窗口这一问题。
用于双屏装置的虚拟键盘还可能具有缺点。某些虚拟键盘可能是一旦可编辑区域获得焦点就出现的弹出窗口。因此，如果用户仅期望观看内容，则虚拟键盘造成妨碍。这可能需要用户在虚拟键盘出现后手动地安放该虚拟键盘。这些虚拟键盘可作为预定义的应用来运行。可能没有调用和关闭虚拟键盘应用的具体触摸手势。此外，虚拟键盘可能无法适当居中来由个体使用。换句话说，可提供单个“一体适用”的键盘。另外，由于虚拟键盘是平滑的，因此可能没有帮助触摸键入者适当识别键位置的任何触觉辅助。
发明内容
本发明涉及一种通过双屏装置实现的用于操作系统无关手势的方法，包括：
在所述双屏装置的一个屏幕处检测触点；
确定操作系统无关手势的存在；以及
启动与所述操作系统无关手势相关联的动作。
本发明涉及一种双屏装置，包括：
一个或多个处理器；
耦合到所述处理器的存储器；
触点识别器，其确定在所述双屏装置的一个屏幕处的触摸和形态信息；
手势识别器，其处理所述触摸和形态信息，以及确定具体形态并将所述具体形态与操作系统无关手势相关联。
本发明涉及一种在双屏装置中启动虚拟键并移动窗口的方法，包括：
从多个基于点和形态的手势，确定与所述虚拟键盘相关联的基于键盘的手势；
将所述窗口从第一屏幕移动到所述双屏装置的第二屏幕；
在所述第一屏幕上启动所述虚拟键盘；以及
基于与所述基于键盘的手势有关的触摸位置，将所述虚拟键盘居中。
附图说明
参考附图描述了具体实施方式。在附图中，参考标号最左边的数字(一个或多个)标识参考标号首次出现在其中的附图。在附图中使用相同标号以标注同样的特征和组件。
图1是说明性双屏装置和虚拟键盘。
图2是实现手势识别的示例性装置的框图。
图3是用于确定手势的过程的流程图。
图4A和图4B是说明性的示例性手触摸手势。
图5是带虚拟键盘和触觉辅助的说明性双屏装置。
图6是调用多个窗口/应用及虚拟键盘的说明性双屏装置。
图7是用于调用虚拟键盘并安放活动窗口的过程的流程图。
具体实施方式
概述
实施例提供了对使用手势的双屏触摸板装置的增强可用性，上述手势能够被定制、专用于装置的使用模型、并且与在装置上运行的操作系统(OS)无关。某些实施例提供了允许将应用窗口从一个屏幕移动到另一个屏幕的手势。使用可被OS忽略的触摸数据，能够将定制手势添加到装置，以增强用户体验而不影响与OS的默认用户交互。
在某些实现中，诸如膝上型电脑的双屏触摸板装置能够在用户期望额外屏幕空间时隐藏虚拟键盘。由于典型的OS通常可具有用于普通任务的键盘快捷键，因此当使用虚拟键盘时可能需要额外的手势。此外，能够添加额外的手势而不改变内置的OS手势，并且能够允许能被动态添加到手势识别引擎的用户定义的定制手势。这允许添加或去除手势，而不必须更新OS。换句话说，手势是OS无关的。
双屏装置
图1示出了双屏触摸板装置(装置)102。装置102可以是膝上型电脑计算机或其它装置。装置102包括两个触摸板表面：顶触摸板表面或B表面104和底触摸板表面或C表面106。在某些实现中，表面104和106提供用于用户的输入控制，并且提供显示窗口或应用。不同于诸如传统膝上型电脑计算机的装置，没有提供物理键盘装置；然而，在某些实现中，期望实现用于用户输入的键盘。装置102提供将被调用的虚拟键盘108。如在下面进一步讨论的，虚拟键盘108可通过实现多种手势而被调用(call up)和离去(go away)。
图2示出了装置102的示例性架构。装置102可包括一个或多个处理器200、操作系统或OS 202、以及耦合到(一个或多个)处理器200的存储器202。存储器204可包括多种类型的存储器和/或存储器装置，包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、内部存储器、以及外部存储器。此外，存储器204可包括可由装置102操作的计算机可读指令。应理解，可作为存储器204的一部分结合或包括本文描述的组件。
装置102包括触摸屏硬件206。触摸屏硬件206包括触摸板表面104和106、以及是触摸板表面104和106的部分的传感器和物理输入。触摸屏硬件206提供对在触摸板表面104和106上激活的点的感测。触摸板固件208能从触摸屏硬件206的物理传感器提取数据。作为包括图像数据的触摸数据流来传递所提取的数据。如果没有在触摸屏硬件206上进行触摸，则不传递数据。
数据(即，数据流)传递到触点识别器210。触点识别器210确定触摸的形态、在哪里执行触摸、以及何时执行触摸。如在下面进一步讨论的，触摸的形态能够确定所实现的手势的类型。触点识别器210向手势识别器212发送形态信息。手势识别器212处理从触点识别器210接收的触摸和形态信息，并确定可能与该形态相关联的具体形态和手势。手势识别器212还能够确定形态改变和形态的位置/位置改变。
实现例如专有(proprietary)丰富触摸应用编程接口(API)214的触点识别器210向分流器逻辑216发送数据。手势识别器212也可通过专有手势API 218向分流器逻辑216发送数据。分流器逻辑216能够确定是否应该转发从触点识别器210和手势识别器212接收的内容或数据。例如，如果虚拟键盘108是活动的并在C表面106上运行，则不需要发送内容或数据，因为虚拟键盘108正在消耗来自C表面106的输入。
分流器逻辑216能通过(一个或多个)人接口驱动器(HID)API220，向操作系统人接口驱动器222发送数据。操作系统人接口驱动器222与OS 202通信。由于触点识别器210和手势识别器212与OS202分离，因此没有影响包括在OS 202中的触点手势。例如，因为手势可由对OS 202不可见的动作触发，所以诸如窗口焦点改变的事件不发生，准许在触摸屏或C表面106上的任何位置进行手势并仍然影响活动(即，目标)窗口。另外，通过更新触点识别器210和手势识别器212，能添加不同手势。触点识别器210和手势识别器212可被认为是手势识别引擎。
通过专有手势和丰富触摸API 224，分流器逻辑216能向应用层226提供数据。通过OS专用触摸API 228，操作系统人接口驱动器222能向应用层226发送数据。因此，应用层226通过正在装置102上运行的应用窗口来处理接收的数据(即，手势数据)。
手势识别
如上面讨论的，实现手势识别器210，以识别触摸或形态数据。手势识别器210可以是触摸软件，或被认为是装置210的手势识别组件，其在OS 200之前并与OS 200分离地处理触摸数据。而且，能够通过诸如“手指触摸”、“模糊点(blob)”、及“手掌”的种类来分类触摸。这些手势与基于传统手指触摸的手势区别在于，与基于“点”相比它们是基于“形态”的。在某些实现中，仅手指触摸数据可发送到OS 200，因为手指触摸数据是基于“点”的。诸如“模糊点”和“手掌”的基于形态的触摸可被排除，并且不发送到OS 200；然而，手势识别器210能接收所有触摸数据。一旦识别了手势，就能提供用户反馈，指示手势处理已经开始，并且对OS 200隐藏所有触摸，以及能够开始手势处理。当完成手势(即，触摸屏上没有更多触摸)时，可重新开始正常处理。
图3是用于手势识别和触点重新定向的示例过程300的流程图。过程300可实现为通过装置102可执行的指令。描述方法的顺序并无意于构成限定，并且能够结合任何数目的描述的方法块，以实现方法或备选方法。另外，能够从方法中删除单独的块，而不脱离本文描述的主题的精神和范围。此外，能够以任何合适的硬件、软件、固件、或其结合来实现方法，而不脱离本发明的范围。
在块302，执行对触摸屏处的触点的检测。检测可如上所述在装置的C表面上执行，并如上所述地处理。
做出关于手势是否存在的确定(块304)，如果手势存在，则跟随块304的是分支，在块306，可提供已经识别了手势的指示。例如，可在用户的手指下显示半透明全屏窗口。
在块308，执行对手势的处理。可关于上面对图2的讨论执行该处理。
如果在块304确定手势不存在，则跟随块304的否分支，可做出关于是否有孤立的手指触摸的确定(块310)。
如果有孤立的手指触摸，则跟随块310的是分支，在块312，将触点发送到操作系统。在块314，等待另一个触点，并且处理回到块302。
如果没有孤立的手指触摸，则跟随块310的否分支，执行块314，并且等待另一个触点。
示例性手势
图4A和图4B显示了示例手势。描述了四个示例手势；然而，预期也能施加其它手势，并且具体是基于形态的手势。四个示例性手势是a)“双手向下”，其可用来激活虚拟键盘108；b)“三个手指轻敲”，其可用来在相对屏幕(即，B表面)上显示浏览器链接；c)“扫过”，其可用来在活动应用(窗口)之间快速切换；以及d)“抓取”，其能用来在两个屏幕快速移动活动窗口。
如上面描述的，由于操作系统或OS 202并不识别手势，因此能够添加或去除许多手势，而不必更新操作系统。在某些实现中，可提供手势编辑器(例如，触点识别器210、手势识别器212)来允许用户创建定制手势。在屏幕的任何区域中的单个手势运动能启动(initiate)期望的动作，其能够比触摸特定区域更加容易做到。一旦动作开始，则可能需要较低精度来执行该动作，因为具有更大空间来执行操纵。例如，这些手势能用来起动喜爱的应用；快速锁住系统；以及实现其它任务。在下面描述手势的示例。
手势400示出了“双手向下”手势。如上面讨论的，诸如装置102的双屏装置可以不具有物理键盘。代替通常为C表面提供的物理键盘，可在C表面106触摸屏上使用虚拟键盘108。“双手向下”手势提供位于触摸屏上的手402-A和402-B，其中触点404-A到404-L实际触摸触摸屏，触点404提供了与“双手向下”手势相关联的识别形态。“双手向下”手势能用来在装置C表面106上快速起动虚拟键盘108。
手势406示出了“三个手指轻敲”手势。“三个手指轻敲”手势提供了贴在一起的三个手指。该手势涉及手和实际触点410-A到410-C。触摸处理将该动作的一组触点410分类为从“模糊点”生出的触点和/或模糊点的混合，其对于操作系统(例如，OS 202)不可见(不能识别)。用于“三个手指轻敲”手势的动作能够用来在相对表面(例如B表面104)上的浏览器窗口中打开轻敲的全球资源定位符或URL。换句话说，如果在C表面106上的浏览器窗口中发生轻敲，则在B表面104上能够打开浏览器窗口，或者如果在B表面104上的浏览器中有轻敲，则URL将出现在C表面上的浏览器中。该功能性/手势能为诸如装置102的双触摸屏装置启用唯一的因特网浏览用户模型。
手势410示出了“扫过”手势。“扫过”手势提供了接触触摸屏(例如，C表面106)的触点412-A和412-B，或者触点412-C和412-D。“扫过”手势涉及手的一侧(即，触点412)触摸触摸屏，就像“空手道砍”。可与“扫过”手势相关联的动作可在应用或应用之间快速切换。在大多数有窗的操作系统中，此种动作(即，在应用之间切换)通常通过键盘快捷键来执行，但对双屏膝上型电脑不总是存在虚拟键盘108，因此该手势允许对在应用之间切换的功能的更快访问。在示例性操作中，当首次启动“扫过”手势时，代表当前运行的应用的图标列表能够出现在屏幕上，其中当前活动的应用高亮显示。向左滑行的扫过在该列表中向后移行(go)，并且向右则向前移行。当手从触摸屏表面抬起时，激活当前选择的应用。
手势414示出了“抓取”手势。“抓取”手势提供接触触摸屏的五个触点416-A到416-F，即同时位于触摸屏上的五个手指。不同于前面描述的其它手势，“抓取”手势包括非模糊点触点；然而，触点被识别为对操作系统(例如，OS 202)不可见(即，不能被操作系统承认)，因为触点识别软件(例如，触点识别器208)在屏幕上存在多于三个触点时就不为操作系统(例如，OS 202)提供触点。应该注意，在触摸屏扫描率之内，多数用户可能不会一直将多于三个的手指放在触摸屏表面上。在示例性操作中，“抓取”手势能用来在两个屏幕(即，表面104和106)快速移动活动窗口。在识别了“抓取”手势之后，用户能够从表面抬起除一个手指以外的所有手指，并且向上、向下、向左、或向右移动，以使动作发生。例如，向上移动能够使窗口移动到B表面104；向下移动能够使窗口移动到C表面106；并且向左或向右移动能够开始窗口在当前表面然后在相对表面上的循环移动(例如，首先窗口全屏在当前屏幕上调整尺寸，然后取决于方向在当前屏幕的左/右半上、然后在相对表面的右/左半上、然后在相对表面的全屏上、然后在相对表面的左/右半上、然后在开始表面的右/左半上调整尺寸，然后窗口的原始放置)。最后的动作能够允许用户在两个显示区域把窗口快速移动到普通位置，而不必使用抓取窗口边缘或柄(handle)的准确触摸。
图5示出了带虚拟键盘108和触觉辅助的装置102。如上面讨论的，“双手向下”手势能用来在C表面106上启动虚拟键盘108。为节能或者当用户期望额外屏幕空间时，能够隐藏虚拟键盘108。如上面讨论的以及下面进一步讨论的，能提供手势和方法，以允许用户：直观地恢复隐藏的虚拟键盘108，为键入舒适而动态地放置虚拟键盘108，以及管理屏幕上的其它窗口使得虚拟键盘108更有用。窗口管理可能是必须的，因为当恢复虚拟键盘108时，可能会使在虚拟键盘108显示位置处之前显示的内容变模糊。可在装置102上放置物理或触觉辅助，以帮助触摸键入者确定键在哪里，而无需看虚拟键盘108。物理辅助向用户提供关于他们手的位置的触觉反馈，并使用“肌肉存储器”来减少对键入时向下看键盘的需要。
如在上面讨论的及在下面更详细讨论的，能够实现下面的概念。如上所述的触摸手势能够用来隐藏及恢复虚拟键盘108，包括在触摸屏表面上、用户期望的位置处动态放置键盘的逻辑。物理或触觉辅助能够包括在膝上型电脑较低表面的工业或物理设计中，以向用户提供他们的手相对于触摸屏的位置的反馈。能够提供动态移动窗口或应用(否则当在较低表面上恢复虚拟键盘时，窗口或应用会变模糊)的逻辑，以使得用户能够看到他们在哪里键入输入。
如上所述，“双手向下”手势能够用来启动和调用虚拟键盘108。在启动“双手向下”手势之后，虚拟键盘108出现在C表面106上。在某些实现中，出现在C表面106上的虚拟键盘108填满了屏幕或C表面106的宽度，但并不占据整个屏幕(C表面106)。这准许键盘如用户所期望的，在C表面106上向上500和向下502移动。
例如，当检测到键盘或“双手向下”手势时，虚拟键盘108可垂直位于C表面106上，具有放置在双手中指(在其它实现中，检测食指)下的主导行(home row)(即，包含“F”和“H”字符的行)。当虚拟键盘108首次出现时，它可被禁用，这可能是因为键盘休息(keyboardrest)。因此，即使此时手指可能正在触摸屏幕或C表面106，也没有按键被键入。设定虚拟键盘108的位置，并且用户能够开始键入。为隐藏虚拟键盘108，能实现诸如“扫过”手势的手势。在其它实现中，如果在用户定义的超时周期内在屏幕上没有触摸，则能够自动隐藏虚拟键盘108。
由于触摸屏是平滑的，因此用户不具有物理键盘提供的用于帮助无需看键就键入键的触觉反馈，其用在触摸键入中。为了帮助用户确定它们手指水平地在屏幕上的位置，能将触觉或物理辅助放置在装置102的外壳上(例如，笔记本或膝上型电脑计算机的前沿)，以给予用户关于他们的手腕/手掌沿着装置102的C表面106在什么位置的反馈。示例性触觉辅助包括左边指示器504-A、左隆起#1指示器504-B、左隆起#2指示器504-C、中央突出指示器504-D、右隆起#1指示器504-E、右隆起#2指示器504-F、以及右边指示器504-G。通过506示出了装置102的前沿视图。
虚拟键盘108手布置(触觉辅助)或指示器504能提供沿装置102壳的前沿506的凸起的纹理，其中当用户在虚拟键盘108上键入时，用户的手腕或手掌通常可休息。该凸起的纹理应该足够高，以便用户感觉，但不高到使得隆起造成用户不舒服。指示器的示例性高度能够在1/32”到3/32”的范围中。能放置指示器504，以使得如果用户将他们的手腕或手掌放置在装置102的前沿，则他们将总感觉到至少一个指示器。通过这些指示器505，用户能够总是得到关于他们的手沿着装置前沿的位置的反馈。当与虚拟键盘108的自动竖直安放(如下面描述的)相结合时，指示器504准许用户感觉到，为舒服地键入，他们的手需要放置在哪里。当用户更经常使用装置102时，用户将能够感觉到在他们手腕/手掌上的指示器504，并且能够相对于指示器504映射手指位置。最后，他们能够依赖于用于相对于键的手指位置的肌肉存储器，减少看键盘以确认键入的需要。
图6示出了具有虚拟键盘108实现的预想窗口布置。在该示例中，描述的是调用多个窗口/应用及虚拟键盘的说明性双屏装置(例如，装置102)。B表面104和C表面106从显示配置600到显示配置602。在配置600中，应用或窗口“2”602和“3”604显示在B表面104上，而窗口“1”和“4”显示在C表面106上。在配置602中，调用且在C表面106上启动虚拟键盘108，而窗口“1”604、“2”606、“3”608、及“4”610移动到B表面104。
当虚拟键盘出现108在C表面106上时，它覆盖了整个屏幕，使得该屏幕不再对观看应用窗口有用。更重要地，对于虚拟键盘108的输入，如果诸如窗口“1”604或窗口“4”610的活动应用(窗口)在C表面106上，则用户可能无法从当他们键入时的按键出现中看到字符。预期到这种情况，当虚拟键盘108出现时，在C表面上的窗口被移动到B表面屏幕，以使得它们能由用户看到。该窗口移动不改变显示顺序或Z顺序，以该顺序某窗口相对于其它窗口可见。在该示例中，窗口604、606、608及610以它们的显示顺序或Z顺序来标号。即，如果所有窗口放置在相同左上坐标上，则窗口“1”604可在顶部；窗口“2”606低于窗口“1”604；窗口“3”608低于窗口“2”606；以及窗口“4”610在底部。
在该示例中，在配置600中，活动应用窗口是窗口“1”60。该窗口可以是接受键盘输入的窗口。当激活虚拟键盘时(配置602)，窗口“1”604和窗口“4”610可移动到B表面106屏幕上的相同相对坐标。注意到某些操作系统支持“最小化”应用窗口，以释放屏幕空间而不关闭应用，并准许窗口“恢复”到其之前的状态。在该示例中，如果在激活虚拟键盘108之前最小化窗口“4”610，然后当虚拟键盘108为活动时恢复窗口“4”610，则可通过键盘来隐藏窗口“4”610。该方法解决了这样的情况并提供：如果最小化C表面106上的某窗口并随后激活虚拟键盘108，则如果用户在虚拟键盘108为活动时激活该窗口，该窗口可恢复到B表面104。
配置602示出了移动后的窗口位置。窗口“4”610不再可见，因为它由窗口“3”608隐藏。现在，窗口“1”604在窗口“2”606的顶部，因为窗口“1”604是活动窗口。当隐藏虚拟键盘108时，所有移动的窗口返回到它们的原始屏幕(即，配置600)。如果当窗口(例如，窗口“1”604和“4”610)在B表面104上时发生了移动，则它们将移动到C表面106上相同的相对位置。
图7是用于调用虚拟键盘并安放窗口的示例过程700的流程图。过程700可实现为由装置102执行的可执行指令。描述方法的顺序无意于构成限定，并且能够结合任何数目的描述的方法块，以实现方法或备选方法。另外，能够从方法中删除单独的块，而不脱离本文描述的主题的精神和范围。此外，能够以任何合适的硬件、软件、固件、或其结合来实现方法，而不脱离本发明的范围。
做出关于是否检测到手的手势的确定。如果没有检测到手的手势，则跟随块702的否分支，进行确定直到检测到手的手势。如果检测到手的手势，则跟随块702的是分支，然后执行块704。
在块704，进行关于手指位置的计算。在该示例中，手指是中指；然而，能够使用其它手指(即，食指)。具体地，检测中指的“Y”位置。
做出是否检测到第二手的手势的确定。如果检测到第二手的手势，则跟随块706的是分支，然后执行块708。
在块708，执行对第一手的手势的手指Y位置和第二手的手势的手指Y位置求平均。
如果没有识别到第二手的手势，则跟随块706的否分支，或者在执行块708之后，执行块710。
在块710，显示要被禁用的虚拟键盘(例如，虚拟键盘108)，具有在一个手的手势的Y手指位置上或者在两个手的手势的平均Y手指位置上的主导行(即，包含“J”和“K”键的行)。
在块712，当启动(调用)虚拟键盘时，将正在一个表面(即，C表面)上运行的窗口或应用移动到其它表面(即，B表面)。
做出用户的手是否已经离开屏幕的确定。如果确定手没有离开屏幕，则跟随块714的否分支，然后执行块704。如果确定手离开了屏幕，则跟随块714的是分支，执行块716。
在块716，执行对虚拟键盘(例如，虚拟键盘108)的启用，允许并接受对虚拟键盘的触摸和按键。
做出关于以下的确定：用户是否已在预定的超时周期后使他们的手离开屏幕，或者是否执行了让虚拟键盘休眠或去活的键盘手势(例如，“扫过”手势)。如果没有确定此种超时或手势，则跟随块718的否分支，继续执行块716。如果进行了此种确定，则跟随块716的是分支，然后执行块720。
在块720，执行对基于“返回列表”的所有窗口或应用的放置或移动。具体地，在启动(调用)虚拟键盘之前就在C表面上的窗口或应用返回到它们在C表面上之前的位置。
结论
尽管关于本文提供的附图和其它流程图描述了说明性方法的特定细节，但应当理解，取决于环境，示于附图中的某些动作无需以描述的顺序执行，并且可被修改，和/或可整个省略。如在本申请中描述的，可使用软件、硬件、固件、或者这些的结合来实现模块和引擎。而且，可通过计算机、处理器、或其它计算装置，基于存储在存储器上的指令来实现描述的动作和方法，存储器包括一个或多个计算机可读存储媒体(CRSM)。
CRSM可以是通过计算装置可访问以实现存储在其上的指令的任何可用的物理媒体。CRSM可包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存存储器，或者其它固态存储器技术、压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)，或者其它光盘存储、磁盘存储或其它磁存储装置，或者能用于存储期望信息并能通过计算装置存取的任何其它媒体。

Claims (20)

1.一种通过双屏装置实现的用于操作系统无关手势的方法，包括：
在所述双屏装置的一个屏幕处检测触点；
确定操作系统无关手势的存在；以及
启动与所述操作系统无关手势相关联的动作。
2.如权利要求1所述的方法，其中，所述检测在基于手指的触摸和基于形态的触摸之间区分。
3.如权利要求1所述的方法，其中，所述确定所述操作系统无关手势的存在包括：向用户指示识别了所述手势。
4.如权利要求3所述的方法，其中，所述向用户指示识别了所述手势在所述双屏装置的一个屏幕上启动和放置虚拟键盘。
5.如权利要求1所述的方法，进一步包括：启动出现在所述一个屏幕上的虚拟键盘。
6.如权利要求5所述的方法，进一步包括：当所述虚拟键盘出现时，将呈现在所述一个屏幕上的应用放置到所述双屏装置的第二屏幕。
7.如权利要求1所述的方法，进一步包括：为不同用户提供定义的操作系统无关手势。
8.一种双屏装置，包括：
一个或多个处理器；
耦合到所述处理器的存储器；
触点识别器，其确定在所述双屏装置的一个屏幕处的触摸和形态信息；
手势识别器，其处理所述触摸和形态信息，以及确定具体形态并将所述具体形态与操作系统无关手势相关联。
9.如权利要求8所述的双屏装置，其中，触点识别器和手势及手势识别器是提供定制的操作系统无关手势的手势引擎的部分。
10.如权利要求8所述的双屏装置，其中，当所述手势识别器识别出与所述虚拟键盘相关联的手势时，启动所述虚拟键盘。
11.如权利要求10所述的双屏装置，其中，一个或多个窗口从所述虚拟键盘出现的第一屏幕移动到所述双屏装置的第二屏幕。
12.如权利要求10所述的双屏装置，其中，基于被识别的所述手势，将所述虚拟键盘在所述双屏装置的第一屏幕上居中。
13.如权利要求10所述的双屏装置，进一步包括：放置在所述双屏装置的物理外壳上的触觉辅助。
14.如权利要求13所述的双屏装置，其中，所述触觉辅助包括在所述双屏装置的前沿上的下列中的一个或多个：左边指示器、左隆起指示器、中央突出指示器、右隆起指示器、以及右边指示器。
15.如权利要求1所述的双屏装置，进一步包括：将操作系统控制的触摸信息发送到操作系统的分流器逻辑。
16.一种在双屏装置中启动虚拟键并移动窗口的方法，包括：
从多个基于点和形态的手势，确定与所述虚拟键盘相关联的基于键盘的手势；
将所述窗口从第一屏幕移动到所述双屏装置的第二屏幕；
在所述第一屏幕上启动所述虚拟键盘；以及
基于与所述基于键盘的手势有关的触摸位置，将所述虚拟键盘居中。
17.如权利要求16所述的方法，其中，所述确定所述键盘手势基于所述第一屏幕上的双手向下手势。
18.如权利要求16所述的方法，其中，所述移动所述窗口包括：当去活所述虚拟键盘时，在所述第一屏幕上重新显示所述窗口，基于所述窗口相对于彼此的Z顺序来移动和重新显示。
19.如权利要求16所述的方法，其中，所述居中基于手指位置和所述虚拟键盘的主导行。
20.如权利要求16所述的方法，进一步识别和区分下列基于形态的手势中的一个或多个：双手向下、三个手指轻敲、扫过、以及抓取。
CN201110152120.XA 2010-05-25 2011-05-25 带虚拟键盘的用户交互手势 Expired - Fee Related CN102262504B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/800869 2010-05-25
US12/800,869 US20110296333A1 (en) 2010-05-25 2010-05-25 User interaction gestures with virtual keyboard

Publications (2)

Publication Number Publication Date
CN102262504A true CN102262504A (zh) 2011-11-30
CN102262504B CN102262504B (zh) 2018-02-13

Family

ID=45004635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110152120.XA Expired - Fee Related CN102262504B (zh) 2010-05-25 2011-05-25 带虚拟键盘的用户交互手势

Country Status (5)

Country Link
US (1) US20110296333A1 (zh)
EP (1) EP2577425A4 (zh)
JP (1) JP5730667B2 (zh)
CN (1) CN102262504B (zh)
WO (1) WO2011149622A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729157A (zh) * 2012-10-10 2014-04-16 三星电子株式会社 多显示设备及其控制方法
CN103729054A (zh) * 2012-10-10 2014-04-16 三星电子株式会社 多显示设备及其控制方法
CN105426099A (zh) * 2015-10-30 2016-03-23 努比亚技术有限公司 输入装置及方法
CN107145191A (zh) * 2017-04-01 2017-09-08 廖华勇 核心按键区域能另外命名的笔记本电脑键盘
US10782872B2 (en) 2018-07-27 2020-09-22 Asustek Computer Inc. Electronic device with touch processing unit
TWI742366B (zh) * 2018-07-27 2021-10-11 華碩電腦股份有限公司 電子裝置

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930846B2 (en) * 2010-10-01 2015-01-06 Z124 Repositioning applications in a stack
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8698845B2 (en) * 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
US20110252376A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US9483175B2 (en) * 2010-07-26 2016-11-01 Apple Inc. Device, method, and graphical user interface for navigating through a hierarchy
US9465457B2 (en) 2010-08-30 2016-10-11 Vmware, Inc. Multi-touch interface gestures for keyboard and/or mouse inputs
US8749484B2 (en) 2010-10-01 2014-06-10 Z124 Multi-screen user interface with orientation based control
US9104308B2 (en) * 2010-12-17 2015-08-11 The Hong Kong University Of Science And Technology Multi-touch finger registration and its applications
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
KR101718893B1 (ko) * 2010-12-24 2017-04-05 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
KR101861593B1 (ko) * 2011-03-15 2018-05-28 삼성전자주식회사 휴대용 단말기를 조작하기 위한 장치 및 방법
US9176608B1 (en) 2011-06-27 2015-11-03 Amazon Technologies, Inc. Camera based sensor for motion detection
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN102902469B (zh) * 2011-07-25 2015-08-19 宸鸿光电科技股份有限公司 手势识别方法及触控系统
US8806369B2 (en) 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
US9280377B2 (en) 2013-03-29 2016-03-08 Citrix Systems, Inc. Application with multiple operation modes
US8886925B2 (en) 2011-10-11 2014-11-11 Citrix Systems, Inc. Protecting enterprise data through policy-based encryption of message attachments
US9215225B2 (en) * 2013-03-29 2015-12-15 Citrix Systems, Inc. Mobile device locking with context
US9594504B2 (en) * 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
US9645733B2 (en) 2011-12-06 2017-05-09 Google Inc. Mechanism for switching between document viewing windows
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9684398B1 (en) 2012-08-06 2017-06-20 Google Inc. Executing a default action on a touchscreen device
US9874977B1 (en) * 2012-08-07 2018-01-23 Amazon Technologies, Inc. Gesture based virtual devices
US9696879B2 (en) 2012-09-07 2017-07-04 Google Inc. Tab scrubbing using navigation gestures
US20140078134A1 (en) * 2012-09-18 2014-03-20 Ixonos Oyj Method for determining three-dimensional visual effect on information element using apparatus with touch sensitive display
US8910239B2 (en) 2012-10-15 2014-12-09 Citrix Systems, Inc. Providing virtualized private network tunnels
US20140108793A1 (en) 2012-10-16 2014-04-17 Citrix Systems, Inc. Controlling mobile device access to secure data
US9170800B2 (en) 2012-10-16 2015-10-27 Citrix Systems, Inc. Application wrapping for application management framework
US9971585B2 (en) 2012-10-16 2018-05-15 Citrix Systems, Inc. Wrapping unmanaged applications on a mobile device
US8884906B2 (en) 2012-12-21 2014-11-11 Intel Corporation Offloading touch processing to a graphics processor
US20140189571A1 (en) * 2012-12-28 2014-07-03 Nec Casio Mobile Communications, Ltd. Display control device, display control method, and recording medium
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
JP6097843B2 (ja) 2012-12-29 2017-03-15 アップル インコーポレイテッド コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース
KR101905174B1 (ko) 2012-12-29 2018-10-08 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
KR20140087473A (ko) * 2012-12-31 2014-07-09 엘지전자 주식회사 두 개 이상의 화면을 처리하는 영상 처리 장치 및 방법
US20140208274A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Controlling a computing-based device using hand gestures
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9413736B2 (en) 2013-03-29 2016-08-09 Citrix Systems, Inc. Providing an enterprise application store
US9355223B2 (en) 2013-03-29 2016-05-31 Citrix Systems, Inc. Providing a managed browser
US9985850B2 (en) 2013-03-29 2018-05-29 Citrix Systems, Inc. Providing mobile device management functionalities
US10284627B2 (en) 2013-03-29 2019-05-07 Citrix Systems, Inc. Data management for an application with multiple operation modes
KR102166330B1 (ko) 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
US9933880B2 (en) * 2014-03-17 2018-04-03 Tactual Labs Co. Orthogonal signaling touch user, hand and object discrimination systems and methods
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
EP3149554B1 (en) 2014-05-30 2024-05-01 Apple Inc. Continuity
US10261674B2 (en) * 2014-09-05 2019-04-16 Microsoft Technology Licensing, Llc Display-efficient text entry and editing
US9483080B2 (en) 2014-09-26 2016-11-01 Intel Corporation Electronic device with convertible touchscreen
USD772862S1 (en) 2014-12-26 2016-11-29 Intel Corporation Electronic device with convertible touchscreen
US10168785B2 (en) * 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
JP6027182B2 (ja) * 2015-05-12 2016-11-16 京セラ株式会社 電子機器
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10379737B2 (en) 2015-10-19 2019-08-13 Apple Inc. Devices, methods, and graphical user interfaces for keyboard interface functionalities
US10963159B2 (en) * 2016-01-26 2021-03-30 Lenovo (Singapore) Pte. Ltd. Virtual interface offset
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
KR102587138B1 (ko) * 2016-10-17 2023-10-11 삼성전자주식회사 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
US11061559B2 (en) 2016-10-25 2021-07-13 Hewlett-Packard Development Company, L.P. Controlling user interfaces for electronic devices
CN107037956A (zh) * 2016-11-01 2017-08-11 华为机器有限公司 一种终端及其切换应用的方法
US11678445B2 (en) 2017-01-25 2023-06-13 Apple Inc. Spatial composites
CN107037949B (zh) * 2017-03-29 2020-11-27 北京小米移动软件有限公司 一种分屏显示方法及装置
CN115657850A (zh) * 2017-03-29 2023-01-31 苹果公司 具有集成接口系统的设备
DE102017119125A1 (de) * 2017-08-22 2019-02-28 Roccat GmbH Vorrichtung und Verfahren zur Erzeugung bewegter Lichteffekte
KR102413568B1 (ko) 2017-09-29 2022-06-27 애플 인크. 다중 부분 디바이스 인클로저
KR102456456B1 (ko) * 2017-10-17 2022-10-19 삼성전자주식회사 복수 개의 디스플레이를 가지는 전자 장치 및 제어 방법
JP7103782B2 (ja) * 2017-12-05 2022-07-20 アルプスアルパイン株式会社 入力装置および入力制御装置
WO2019226191A1 (en) 2018-05-25 2019-11-28 Apple Inc. Portable computer with dynamic display interface
US11175769B2 (en) 2018-08-16 2021-11-16 Apple Inc. Electronic device with glass enclosure
US11189909B2 (en) 2018-08-30 2021-11-30 Apple Inc. Housing and antenna architecture for mobile device
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US11133572B2 (en) 2018-08-30 2021-09-28 Apple Inc. Electronic device with segmented housing having molded splits
US11331006B2 (en) 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
WO2020181136A1 (en) 2019-03-05 2020-09-10 Physmodo, Inc. System and method for human motion detection and tracking
US11016643B2 (en) 2019-04-15 2021-05-25 Apple Inc. Movement of user interface object with user-specified content
CN114399014A (zh) 2019-04-17 2022-04-26 苹果公司 无线可定位标签
US12009576B2 (en) 2019-12-03 2024-06-11 Apple Inc. Handheld electronic device
WO2022051033A1 (en) * 2020-09-02 2022-03-10 Sterling Labs Llc Mapping a computer-generated trackpad to a content manipulation region
CN114690889A (zh) * 2020-12-30 2022-07-01 华为技术有限公司 一种虚拟键盘的处理方法以及相关设备
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
CN113791699A (zh) * 2021-09-17 2021-12-14 联想(北京)有限公司 一种电子设备操纵方法以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US20040021681A1 (en) * 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
WO2009049331A2 (en) * 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
CN101526836A (zh) * 2008-03-03 2009-09-09 鸿富锦精密工业（深圳）有限公司 双屏笔记本电脑

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4484255B2 (ja) * 1996-06-11 2010-06-16 株式会社日立製作所 タッチパネルを備えた情報処理装置および情報処理方法
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
JPH11272423A (ja) * 1998-03-19 1999-10-08 Ricoh Co Ltd コンピュータ入力装置
JP2000043484A (ja) * 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
US20010050658A1 (en) * 2000-06-12 2001-12-13 Milton Adams System and method for displaying online content in opposing-page magazine format
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
NZ525956A (en) * 2003-05-16 2005-10-28 Deep Video Imaging Ltd Display control system for use with multi-layer displays
KR100593982B1 (ko) * 2003-11-06 2006-06-30 삼성전자주식회사 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7938721B2 (en) * 2004-03-22 2011-05-10 Nintendo Co., Ltd. Game apparatus, game program, storage medium storing game program and game control method
KR101354316B1 (ko) * 2005-03-04 2014-01-22 애플 인크. 다기능 휴대용 장치
US7978181B2 (en) * 2006-04-25 2011-07-12 Apple Inc. Keystroke tactility arrangement on a smooth touch surface
JP2008140211A (ja) * 2006-12-04 2008-06-19 Matsushita Electric Ind Co Ltd 入力部の制御方法とそれを用いた入力装置および電子機器
US20090027330A1 (en) * 2007-07-26 2009-01-29 Konami Gaming, Incorporated Device for using virtual mouse and gaming machine
US8358277B2 (en) * 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
US7924143B2 (en) * 2008-06-09 2011-04-12 Research In Motion Limited System and method for providing tactile feedback to a user of an electronic device
US9864513B2 (en) * 2008-12-26 2018-01-09 Hewlett-Packard Development Company, L.P. Rendering a virtual input device upon detection of a finger movement across a touch-sensitive display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US20040021681A1 (en) * 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
WO2009049331A2 (en) * 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
CN101526836A (zh) * 2008-03-03 2009-09-09 鸿富锦精密工业（深圳）有限公司 双屏笔记本电脑

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729157A (zh) * 2012-10-10 2014-04-16 三星电子株式会社 多显示设备及其控制方法
CN103729054A (zh) * 2012-10-10 2014-04-16 三星电子株式会社 多显示设备及其控制方法
CN103729157B (zh) * 2012-10-10 2018-10-19 三星电子株式会社 多显示设备及其控制方法
CN105426099A (zh) * 2015-10-30 2016-03-23 努比亚技术有限公司 输入装置及方法
CN107145191A (zh) * 2017-04-01 2017-09-08 廖华勇 核心按键区域能另外命名的笔记本电脑键盘
US10782872B2 (en) 2018-07-27 2020-09-22 Asustek Computer Inc. Electronic device with touch processing unit
TWI742366B (zh) * 2018-07-27 2021-10-11 華碩電腦股份有限公司 電子裝置

Also Published As

Publication number Publication date
US20110296333A1 (en) 2011-12-01
EP2577425A2 (en) 2013-04-10
JP2011248888A (ja) 2011-12-08
JP5730667B2 (ja) 2015-06-10
EP2577425A4 (en) 2017-08-09
WO2011149622A2 (en) 2011-12-01
CN102262504B (zh) 2018-02-13
WO2011149622A3 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
CN102262504A (zh) 带虚拟键盘的用户交互手势
US10359932B2 (en) Method and apparatus for providing character input interface
US10409490B2 (en) Assisting input from a keyboard
US9851809B2 (en) User interface control using a keyboard
US20190146667A1 (en) Information processing apparatus, and input control method and program of information processing apparatus
US9459795B2 (en) Ergonomic motion detection for receiving character input to electronic devices
CN105630327B (zh) 便携式电子设备和控制可选元素的显示的方法
CN104903836A (zh) 用于在移动计算设备上打字的方法和设备
US20140354550A1 (en) Receiving contextual information from keyboards
US20130169534A1 (en) Computer input device
CN104281318A (zh) 减少软键盘按压的显示延迟的方法和装置
CN106033286A (zh) 基于投影显示的虚拟触控交互方法、装置及机器人
US20190302952A1 (en) Mobile device, computer input system and computer readable storage medium
US11204662B2 (en) Input device with touch sensitive surface that assigns an action to an object located thereon
US9261973B2 (en) Method and system for previewing characters based on finger position on keyboard
EP2811371B1 (en) Method and system for previewing characters based on finger position on keyboard
KR101919515B1 (ko) 터치스크린을 구비하는 단말에서 데이터 입력 방법 및 장치
Xu et al. Plug&touch: a mobile interaction solution for large display via vision-based hand gesture detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180213

Termination date: 20200525

CF01 Termination of patent right due to non-payment of annual fee