CN103262005B - 检测涉及计算设备的有意移动的姿势 - Google Patents

检测涉及计算设备的有意移动的姿势 Download PDF

Info

Publication number
CN103262005B
CN103262005B CN201180060256.6A CN201180060256A CN103262005B CN 103262005 B CN103262005 B CN 103262005B CN 201180060256 A CN201180060256 A CN 201180060256A CN 103262005 B CN103262005 B CN 103262005B
Authority
CN
China
Prior art keywords
computing device
user
incoming event
contact
ibsm114
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180060256.6A
Other languages
English (en)
Other versions
CN103262005A (zh
Inventor
K·P·欣克利
M·帕赫德
W·沈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103262005A publication Critical patent/CN103262005A/zh
Application granted granted Critical
Publication of CN103262005B publication Critical patent/CN103262005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文描述了一种适应姿势的计算设备,这些姿势涉及通过确定计算设备的定向和/或通过动态地移动计算设备或两者来有意地移动计算设备。姿势还可以伴随有与计算设备的显示表面(或其他部分)接触。例如,用户可经由触摸输入机构和/或笔输入机构来建立与显示表面的接触,并且然后以规定方式移动计算设备。

Description

检测涉及计算设备的有意移动的姿势
背景
手持式计算设备经常允许用户通过与设备的显示表面进行直接接触来输入信息。这些类型的输入机构在此被称为接触型输入机构。例如,触摸输入机构在用户用手指(或多个手指)来触摸计算设备的显示表面时提供直接触摸输入事件。笔输入机构在用户用也被称为指示笔的笔设备来触摸显示表面时提供直接笔输入事件。
计算设备还准许用户通过使用一个或多个手指或笔设备来执行姿势。例如,姿势可对应于用户用手指或笔输入设备来在显示表面上跟踪的指示性标记。计算设备将该姿势与相关联的命令相关。计算设备然后执行命令。这一执行可以在用户的输入动作的过程中(如在直接操纵拖拽动作中)或者在用户完成输入动作后进行。
一般而言,开发者可能希望提供容纳丰富的输入姿势集合的富有表达能力的接触型输入机构。然而,增加姿势数量可能引入多个挑战。例如,假设计算设备适应两个或更多、但仍然相似的预定义的有意姿势。在这种情况下,用户可能想要输入特定姿势,但计算设备可能错误地将该姿势解释为另一个、但相似的姿势。在另一种情况下,用户可寻求使用计算设备来执行不涉及与接触型输入机构的有意交互的任务。但该用户可能以导致与接触型输入机构的不经意接触的方式处置计算设备。或者用户可能在输入信息时意外地擦过或碰到接触型输入机构的显示表面,这导致与该接触型输入机构的意外接触。接触型输入机构可能不正确地将这些意外接触解释为合法输入事件。可以理解,这些问题在频繁出现的情况下,或者即使不是常见的,在这些问题导致用户正在执行的任务中的显著中断的情况下,使用户感到沮丧。
开发者可通过开发出复合的特异姿势来解决这些问题中的某一些。然而,这不是一个完全令人满意的解决方案,因为用户可能难以记住并执行这些姿势,特别是在这些姿势是复杂且“不自然”的时候。此外,复杂姿势经常使得用户花费更长的时间来清楚地表达。出于这个原因,将这些类型的姿势添加到可能的姿势集合产生减少的回报。
概述
本文描述了一种计算设备,该计算设备从诸如触摸输入机构和/或笔输入机构等一个或多个接触型输入机构接收一个或多个接触输入事件。该计算设备还从诸如加速度计和/或陀螺仪设备等一个或多个移动型输入机构接收一个或多个移动输入事件。这些移动型输入机构在操作接触型输入机构期间指示计算设备的定向或动态运动(或两者)。(更具体而言,如此处所使用的,术语移动宽泛地涵盖计算设备的定向或计算设备的运动或两者。)基于这些输入事件,计算设备能够将结合计算设备的移动的姿势识别为姿势的有意和集成部分。
详细描述阐述了涉及有意移动的姿势的众多示例。在某些情况下,用户可以对呈现在显示表面上的对象施加接触,同时还施加某种类型的规定移动。计算设备然后可以对指定对象应用规定行为。在其他情况下,用户可以按任何方式使接触和移动交错。在许多情况下,行为可导致对计算设备所呈现的内容的可视操纵。详细描述中所描述的示例中的某一些在下文中概述。
根据一个示例,用户可将计算设备从初始起始点旋转至规定定向。旋转的度数描述执行行为的方式。在一种情况下,行为可包括缩放动作或滚动动作。
根据另一示例,用户可以在保持呈现在显示表面上的对象上的接触的同时向上和/或向下和/或在任何其他方向上翻转计算设备。计算设备可将该姿势解释为翻转或以其他方式移动显示表面上的诸如一个或多个页面等对象的命令。
根据另一示例,用户可以在一接触点建立与显示表面的接触,并且然后将计算设备旋转大约90度或某一其他量。计算设备可将该姿势解释为设置或释放防止旋转呈现在显示表面上的信息的锁的命令。
根据另一示例,用户可以在选择显示表面上所呈现的对象的同时将计算设备指向目标实体。计算设备可将该姿势解释为相对于该目标实体对该对象执行某一动作的请求。
结合计算设备的有意移动的还有一些其他姿势是可能的。这些姿势被称为前台姿势,因为用户在心里想着特定目标的情况下蓄意地且有意识地执行这些动作。这种类型的移动与后台移动相反。后台移动指的是对于执行姿势或提供任何其它类型的输入的用户的针对性目标而言是附带的移动。因此用户甚至可能不知道该后台移动。
上面的功能可以显现在各种类型的系统、组件,方法、计算机可读介质、数据结构、产品等等中。
提供本概述是为了以简化的形式介绍一些概念;这些概念将在以下详细描述中被进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
附图简述
图1示出了说明性计算设备,该计算设备包括用于在移动输入事件的上下文中解释接触输入事件和/或用于在接触输入事件的上下文中解释移动输入事件的功能。
图2示出了图1的计算设备中所使用的解释和行为选择模块(IBSM)。
图3示出了其中可使用图1的计算设备的说明性系统。
图4和5示出了可以在有意姿势中使用的旋转移动的示例。
图6-9示出了可结合图4或图5所示的旋转移动类型的不同姿势。
图10示出了涉及将计算设备指向目标实体的有意姿势。
图11示出了涉及对照固定手指移动计算设备的有意姿势。
图12示出了涉及对具有至少两个显示部分的计算设备的两个显示部分施加触摸的有意姿势。
图13示出了通过应用特异的多点触摸姿势来启用的有意姿势。
图14示出了涉及对计算设备应用接触点并且然后旋转计算设备的有意姿势。
图15示出了用于使用移动输入事件来增强对接触输入事件(例如,当应用手指(或另一手部)或将手指从计算设备的显示表面移除时)的解释的功能。
图16示出了通常导致大移动输入事件的后台移动。
图17和18示出了其中计算设备可以基于计算设备的定向而不考虑触摸输入事件的环境。
图19示出了解释图1的计算设备在前台操作模式中的一种操作方式的流程图。
图20示出了解释图1的计算设备在后台操作模式中的一种操作方式的流程图。
图21示出可被用来实现上述附图中示出的特征的任何方面的说明性处理功能。
贯穿本公开和附图使用相同的附图标记来引用相同的组件和特征。100系列标号指的是最初在图1中找到的特征,200系列标号指的是最初在图2中找到的特征,300系列标号指的是最初在图3中找到的特征,以此类推。
详细描述
本发明是按如下方式来组织的。章节A描述了适应涉及计算设备的有意移动的姿势的说明性计算设备。章节B描述了解释章节A的系统的操作的说明性方法。章节C描述了可以被用来实现章节A和B所描述的特征的任何方面的说明性处理功能。
本申请与以下申请相关:在与本申请相同日期提交的、发明人的名字为KennethHinckley等人的、题为“Using Movement of a Computing Device to EnhanceInterpretation of Input Events Produced when Interacting with the ComputingDevice(使用计算设备的移动来增强对在与计算设备交互时产生的输入事件的解释)”的共同转让的专利申请序列号(代理案卷号330015.01)。该申请通过引用整体结合于此。
作为正文前的图文,一些附图是在一个或多个结构组件(不同地称为功能、模块、特征、元件等等)的上下文中来描述概念的。各附图中示出的各组件能够通过任何物理和有形机构(诸如通过硬件、软件、固件等或其任何组合)以任何方式实现。在一种情况下,附图中所示出的将各种组件分离为不同的单元可以反映在实际实现中使用对应的不同的组件。另选地或者另外地,附图中所示出的任何单个组件都可以通过多个实际组件来实现。可另选地,或者另外地,对附图中的任何两个或更多个单独的组件的描绘可以反映由单个实际组件所执行的不同的功能。进而要讨论的图21提供了关于附图中示出的功能的一个说明性实现的附加细节。
其他附图以流程图形式描述了概念。以此形式,某些操作被描述为构成以某一顺序执行的不同的框。这样的实现是说明性的而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行,某些框可被分成多个组件框,并且某些框可以按与此处所示出的不同的次序来执行(包括以并行方式执行这些框)。各个流程图中示出的各个框能够通过任何物理和有形机构(诸如通过硬件、软件、固件等或其任何组合)以任何方式实现。
关于术语,短语“配置成”涵盖可以构造任何种类的物理和有形功能来执行所标识的操作的任何方式。功能可被配置成使用例如软件、硬件、固件等和/或它们的任何组合来执行操作。
术语“逻辑”涵盖用于执行任务的任何物理和有形功能。例如,流程图中示出的每一个操作都对应于用于执行该操作的逻辑组件。操作可以使用,例如,软件、硬件、固件等和/或其任何组合来执行。当由计算系统实现时,逻辑组件表示作为计算系统的物理部分的电子组件,而无论其如何实现的。
下列的说明可以将一个或多个特征标识为“可任选”。这种类型的陈述不应该被解释为可以被视为可选的特征的穷尽的指示;也就是说,其他特征也可以被视为可选,虽然在文本中没有明确地标识。类似地,解释可标识特征的单个实例或特征的多个实例。对特征的单个实例的引用并不排除这个特征的多个实例;进一步,多个实例的应用并不排除这个特征的单个实例。最后,术语“示例性”或“说明性”指的是可能多个实现中的一个实现。
A.说明性计算设备
A.1.概览
图1示出在分析接触输入事件时考虑计算设备100的移动的计算设备100的示例。计算设备100可选地包括与各种输入机构104结合的显示机构102。显示机构102(如被包括在内)在显示表面上提供数字信息的视觉渲染。可将显示机构102实现为任何类型的显示器,诸如液晶显示器等。尽管未示出,计算设备100还可包括音频输出机构、触觉(如,振动)输出机构等等。
输入机构104可包括触摸输入机构106和笔输入机构108。可使用任何技术来实现该触摸输入机构106,诸如电阻触摸屏技术、电容触摸屏技术、声音触摸屏技术、双向触摸屏技术等。在双向触摸屏技术中,显示机构提供专用于显示信息的元件和专用于接收信息的元件。因此,双向显示机构的表面还是捕捉机构。还可使用与显示机构102分开(或者至少部分地分开的)平板型输入机构来实现触摸输入机构106和笔输入机构108。平板型输入机构也被称为输入板、数字化仪、图形垫等。
可使用任何技术来实现笔输入机构108,诸如无源笔技术、有源笔技术等。在无源情况下,当笔设备接触(或者接近)显示表面时,计算设备100检测笔设备的存在性。在该情况下,笔设备可简单地呈现为没有独立电源并没有处理功能的拉长实现,或者其可通过与显示机构102感应耦合来无源地供电。在有源情况下,笔设备可结合用于感测其相对于显示表面的位置的独立检测功能。进一步地,有源笔设备可包括独立的移动感测机构。进一步,有源笔设备可包括独立的深度感测机构。在这些示例中,有源笔设备可将其输入数据转发到计算设备100用于分析。在接下来的描述中,要理解有关笔设备的输入数据可源自计算设备100、笔设备本身或两者的组合。
在此处使用的术语中,接触型输入机构描述其中用户建立与显示机构102的显示表面或计算设备100的其他部分的实际或接近接触的任何类型的输入机构。接触型输入机构可包括上述触摸输入机构106和笔输入机构108等。进一步地,任何与计算设备100的接触可包括单独接触的一个或多个实例。例如,用户可通过将一个或多个手指接近或实际接触显示表面而与显示表面进行接触。
输入机构104还包括各种类型的移动型输入机构110。术语移动型输入机构描述测量计算设备100的定向或运动或者两者的任何类型的输入机构。移动型输入机构100可被实现为使用线性加速度计、陀螺传感器(根据此处所使用术语的“陀螺仪设备”)、调谐到各种运动频率带宽的振动传感器、用于检测计算设备100或者计算设备100的多个部分相关于重力的特定姿势或移动、扭距传感器、应变仪、柔性传感器、光学编码器机构等。进一步地,任何移动型的输入机构可感测沿任何数量的空间轴的移动。例如,计算设备100可结合测量沿三个空间轴的移动的加速度计和/或陀螺仪设备。
输入机构104还可包括任何类型的图像感测输入机构112,诸如视频捕捉输入机构、深度感测输入机构、立体图像捕捉机构等。深度感测输入机构测量物体离计算设备100的某些部分的距离。例如,在一个情况下,深度感测输入机构测量物体离计算设备100的显示表面的距离。深度感测输入机构可使用任何类型的捕捉技术(如,飞行时间技术)结合任何类型的电磁辐射(如,可见光谱辐射、红外光谱辐射等)实现。图像感测输入机构112的一部分还可用作移动型输入机构,只要它们可被用来确定计算设备100相对于周围环境的移动。可选地或附加地,图像感测输入机构112的一部分可结合移动型输入机构100使用,例如以增强移动型输入机构110的性能和/或准确性。尽管没有在图1中具体枚举,其他输入机构可包括小键盘输入机构、鼠标输入机构、声音输入机构等。
在此处使用的术语中,在输入机构被调用时,每一个输入机构被认为产生输入事件。例如,当用户触摸显示机构102(或者计算设备100的其他部分)的显示表面时,触摸输入机构106产生触摸输入事件。当用户将笔设备施加到显示表面上时,笔输入机构108产生笔输入事件。更一般地说,接触型输入机构产生接触输入事件,这表示某物体与计算设备100的接近或实际的物理接触。反之,移动型输入机构被认为产生移动输入事件。任何输入事件本身可包括一个或多个输入事件分量。为了简便的引用,接下来的解释将经常用复数描述输入机构的输出,如用“多个输入事件”。然而,还可在单个输入事件的基础上执行各种分析。
图1将输入机构104示为与显示机构102部分地重叠。这是由于输入机构104的至少一部分可集成有与显示机构102相关联的功能。这是相关于接触型输入机构的情况,诸如触摸输入机构106和笔输入机构108。例如,触摸输入机构106部分地依赖于由显示机构102所提供的功能。
解释和行为选择模块(IBSM)114接收来自输入机构104的输入事件。也就是说,其在输入动作过程中收集输入事件,其中输入动作是有意的或者无意的,或者两者的组合。顾名思义,IBSM114执行解释输入事件的任务。在这样做时,可任选地结合其他因素,其在移动输入事件的上下文中解释接触输入事件(或者反之)在执行其解释任务之后,IBSM114可执行与所解释的输入事件的零个、一个或多个相关联的行为。
从高级别的观点来看,取决于在输入动作过程中发生的移动的本质,IBSM114执行两个任务。在第一个任务中,IBSM114既分析接触输入事件、又分析移动输入事件,以确定用户是否是已经有意地移动计算设备100作为有意姿势的一部分。如果为是,则IBSM114识别姿势并执行映射于该姿势的任何行为。在此上下文中,发生的移动是前台移动,因为用户有意地执行这个动作;也就是说,它位于用户意识集中的前台中。
更具体地,在第一情况下,IBSM114在姿势完成时执行行为。在第二情况下,IBSM114在姿势的过程中执行行为。在任何情况下,IBSM114还可解释两个或更多个同时发生和/或相继发生的姿势,并执行与这些姿势相关联的等量行为。在任何情况下,IBSM114还可继续分析已经发生的(或者当前正在发生的)姿势的类型,并恰当地修正这个姿势的解释。接下来是阐明IBSM114的这些方面的示例。
在第二个任务中,IBSM114分析接触输入事件连同移动输入事件,其中移动输入事件被归为计算设备100的后台移动。这个移动是后台的,表示它处于用户意识的后台中。该移动可附带于用户的任何针对目标的行为(如果有的话)。在此情况下,IBSM114尝试解释与这些输入事件相关联的输入动作的类型,例如以确定与显示表面的接触是有意的还是无意的。然后,IBSM114可响应于其分析来执行各种行为。
章节A.2(如下)提供有关前台操作模式的附加细节,而章节A.3(如下)提供有关后台操作模式的附加细节。尽管许多示例阐述了使用触摸输入结合移动输入事件,这些示例中的任一个还应用于笔输入(或者其他任何接触输入)结合移动输入事件的使用。
最后,计算设备100可运行接收自任何一个或多个应用源的一个或多个应用116。应用116可提供任一应用域中的任何高级功能。
在一情况下,IBSM114代表相关于应用116的独立组件。在另一情况下,可由一个或多个应用116来执行归属于IBSM114的一个或多个功能。例如,在一个实现中,IBSM114可解释已经执行的姿势,而应用可选择并执行基于该解释的行为。相应地,IBSM114的概念在此将被不受限制地解释为包括可由特定实现中任何数量的组件执行的功能。
图2示出图1中所介绍的IBSM114的另一个图示。如那里所示,IBSM114接收各种输入事件。例如,IBSM114可接收触摸输入事件、笔输入事件、定向输入事件、运动输入事件、图像感测输入事件等。响应于这些事件,IBSM114提供各种输出行为。例如,IBSM114可响应于检测到有意的基于运动的姿势而执行各种命令。取决于环境特定因素,IBSM114可在用户实现姿势的过程中和/或在姿势完成后执行这些功能。IBSM114还可提供各种视觉的、可听的、触觉的等等的反馈指示符来指示其对可能已经(或者正在)执行的姿势的当前解释。可选地或附加地,如果IBSM114确定输入动作是无意的,则IBSM114可丢弃部分接触输入事件。可选地或附加地,IBSM114可恢复到发生输入动作之前的点的状态(诸如显示状态和/或应用状态)。可选地或附加地,当IBSM114确定输入动作的至少一部分是无意的时,IBSM114可修正接触输入事件的解释来移除移动输入事件的影响。可选地或附加地,IBSM114可基于它对输入动作的理解以任何方式调整输入设备110的配置,例如以便于更有效地接收进一步的有意接触输入事件并最小化无意接触输入事件的影响。可选地或附加地,IBSM114可基于它对输入事件的当前解释而修改或移除上述的反馈指示符,例如只要当前解释可与之前的解释不同。
为了如以上所述地起作用,IBSM114可结合分析模块套件,其中对不同姿势和后台运动情景的检测可依赖于不同的相应分析模块。任何分析模块可依赖于用来分类输入事件的一种或多种技术,包括模式匹配技术、基于规则的技术、统计技术等。例如,每一个姿势或后台噪声情景可由输入事件的特定指示性模式来表征。为了分类特定序列的输入事件,特定分析模块可将那些输入事件与具有已知模式的数据存储相比较。可帮助区分姿势或后台情景的代表性特征包括:施加接触然后移除的方式、正在施加接触时移动该接触的方式(如果全部)、移动输入事件的幅度、移动输入事件的特定信号形状和其他特性等。且如上所述,分析模块可继续地相关于到达的新输入事件而测试结论。
图3示出在其中可使用图1的计算设备100的说明性系统300。在此系统300中,用户与计算设备100进行交互来提供输入事件并接收输出信息。计算设备100可被物理地实现为任何类型的设备,包括任何类型的手持式设备和任何类型的传统固定设备。例如,计算设备100可被实现为个人数字助理、移动通信设备、平板型设备、电子书阅读设备、手持式游戏设备、膝上型计算设备、个人计算设备、工作站设备、游戏控制台设备、机顶盒设备等。进一步地,计算设备100可包括一个或多个设备部分,其中一些(或者全部或没有)可具有显示表面部分。
图3示出计算设备100的实现的代表性(但非限制性)集合。在情景A中,计算设备100是具有任何尺寸的手持设备。在情景B中,计算设备100是具有多个设备部分的电子书阅读设备。在情景C中,计算设备100包括平板型输入设备,例如藉此用户在平板型输入设备的表面上而不是(或者附加于)显示机构102的显示表面上作出触摸和/或笔姿势。平板型输入设备可与显示机构102集成或者彼此独立(或者其中的某些组合)。在情景D中,计算设备100是具有任何尺寸的膝上型计算机。在情景E中,计算设备100是任何类型的个人计算机。在情景F中,计算设备100关联于墙类型的显示机构。在情景G中,计算设备100关联于桌面显示机构等等。
在一情景中,计算设备100可以本地模式动作,而不与任何其他功能交互。可选地或附加地,计算设备100可经由任何类型的网络304(或多个网络)与任何类型的远程计算功能302交互。例如,远程计算功能302可提供可由计算设备100执行的应用。在一情况下,计算设备100可下载应用;在另一情况下,计算设备100可经由web接口等来利用应用。远程计算功能302还可实现IBSM114的任何一个或多个方面。相应地,在任何实现中,被认为是计算设备100的组件的一个或多个功能可由远程计算功能302实现。远程计算功能302可使用一个或多个服务器计算机、数据存储器、路由设备等物理地实现。可由任何类型的局域网、广域网(如,因特网)或其组合来实现网络304。网络304可通过由任何协议或协议组合来管控的无线链路、硬接线链路、名称服务器、网关等的任何组合来物理地实现。
A.2.前台相关移动
本节描述对于用户有意地移动或击打计算设备作为有意姿势的一部分的情况的IBSM114的操作。一般而言,可定义结合任何类型移动的姿势,此处如所述地术语移动被赋予宽泛的解释。在一些情况下,姿势涉及将计算设备100移动到相关于初始定向的指定定向。可选地或附加地,姿势可涉及将指定运动(如,沿路径的运动、振动运动等)施加到计算设备100。运动可被表征为参数的任何组合,诸如速度、加速度、方向、频率等。
在一些情况下,姿势涉及接触(经由触摸和/或笔设备等)与移动的共同施加。例如,用户可触摸显示表面上的对象且然后将计算设备100移动到指定定向和/或以指定的动态方式移动计算设备100,例如通过描绘出指定的姿势路径。IBSM114可将所得的输入事件解释为对显示表面上的指定对象或其他内容(例如,用户用手指或笔设备触摸的对象)执行某个动作的请求。在此情况下,在时间上,接触输入事件与移动输入事件至少部分地重叠。在其他情况下,用户可将接触施加到计算设备100,然后将某指示性移动施加到计算设备100,或者先将某个指示性移动施加到计算设备100,然后将接触施加到计算设备100。姿势可包括移动和/或接触的一个或多个附加顺序阶段,和/或同时的移动和接触的一个或多个附加阶段。在这些情况下,接触输入事件可以任何方式与移动输入事件交织。换言之,接触输入事件并不需要在时间上与移动输入事件重叠。在其他情况下,姿势可唯一地涉及将指定移动施加到计算设备100。在其他情况下,用户可同时施加两个或更多个个姿势。在其他情况下,用户可施加无缝地转换到另一个姿势的姿势等等。接下来的解释说明了相关于特定示例的这些通用点。这些示例是代表性的,不是可基于计算设备100的有意移动而创建的很多姿势的穷举。
在以下的很多示例中,用户被图示为与显示机构102的显示表面作接触。可选地或附加地,用户可如图3的情景C中所示,与平板型输入设备进行交互。进一步地,在很多情况下,用户被图示为使用双手方式来作出选择,例如其中用户将设备握持在一个手里并用另一个手的手指(或多个手指)来作选择。不过在任一这些情况下,用户能可选地用握持设备的那个手的拇指(或其他手部分)来作选择。最后,对于用户手的一般引用可被理解为包括手的任何部分。
在接下来的任何示例中,计算设备100可将任何类型的反馈呈现给用户,这些反馈指示已经识别出姿势且将要施加相应的行为或者正在施加的过程中。例如,计算设备100可呈现视觉反馈指示符、可听反馈指示符、触觉(如,振动)反馈指示符等的任意组合。在一些情况下使用非视觉反馈指示符可能是有用的,因为当移动计算设备时,用户可能难以注意到视觉指示符。根据另一个通用特征,计算设备100可呈现撤销命令来允许用户移除任何不期望姿势的效果。
图4示出用户在手404(或两个手,未示出)中抓握计算设备402的情景。然后用户旋转计算设备402,以使其远端406沿箭头408的方向向下移动。在补充移动中,用户可旋转该计算设备402,以使其远端406在与箭头408相反的方向中向上移动。
图5示出用户在手504中抓握计算设备502的情景。然后用户旋转计算设备502,以使其侧缘506沿箭头508的方向向上移动。在补充移动中,用户可旋转该计算设备502,以使其侧缘506沿与箭头508相反的方向向下移动。
尽管没有示出,在另一个旋转中,用户可在与地板平行的平面中旋转计算设备。更一般地,这三个轴仅仅是代表性的;用户可在任何平面沿任何轴旋转计算设备。进一步地,用户可将不同类型的旋转和/或平移移动组合为复合的姿势。
图6示出结合图4中所示类型的旋转移动的一个姿势。在这个情况下,假设用户的意图是执行相关于显示在计算设备100的显示表面上的对象602的某个功能。例如,用户可想要放大并扩大对象602。作为姿势的一部分,用户将接触施加到对象602上,诸如通过用他或她的拇指触摸对象602(在一个仅仅是代表性的情况下)。注意,在此情况下,对于缩放动作的扩展中心可对应于与拇指位于显示表面上的位置相关联的(x,y)点。可选地,扩展中心可对应于距离与拇指位置相关联的(x,y)点的固定偏离;在该情况下,可在拇指正上方(而不是在拇指之下)的点产生缩放动作(在一个示例中)。在另一个示例中,用户可能想要经由对象602输入值。为此,用户可触摸该对象来增加值(并触摸未示出的某其他对象来降低值)。
在这些情景中,用户握持计算设备604的角度控制了执行动作的速率,如缩放发生的速率(在上述第一个示例中)或者数字字段中的数值增大或减小的速率(在上述第二个示例中)等。可相关于在用户触摸对象602时计算设备的初始定向来测量角度。可选地,可相关于用户开始指示性旋转移动时设备的初始定向来测量角度,这基本与触摸动作(或者其他接触动作)重合,其中这样的指示性移动可在一些情况中紧随接触,或者在另一些情况中就在接触之前。
一般而言,为了执行基于旋转的姿势,用户可用手606(或者两个手)握持计算设备604、触摸对象602和倾斜计算设备604。也就是说,如果用户想要大幅增加行为的速率,那么用户要相关于原始定向较大量地倾斜计算设备604。如果用户想要较小幅度地增加行为的速率,那么用户可较小量地倾斜计算设备604。用户可随时通过降低倾斜角度来降低速率。在其他情况下,IBSM114还可将不同的行为映射到相关于初始倾斜角度的不同旋转方向。例如,用户可通过向下倾斜计算设备604来放大对象602,并且通过向上倾斜计算设备604来缩小对象602。为了防止较小的无意的速率变化,IBSM114可结合其中没有发生速率变化的一定范围的初始倾斜角度。如果用户超过位于此死区端部的阈值,IBSM114开始改变速率。这样的阈值可在相对于初始倾斜角度的两个旋转方向上定义。
IBSM114可应用任何类型的函数来将倾斜角度映射为缩放量(或者将无论什么行为映射为倾斜角度)。在一情况下,IBSM114可应用线性速率函数。在另一情况下,IBSM114可应用任何类型的非线性速率函数。例如,对于后者的情况,IBSM114可应用基于惯性的函数、任何类型的控制系统函数等。
在图6的示例中,用户还可将平摇命令应用到由计算设备604呈现的内容。例如,如上所述,用户可用一个手指触摸对象602,并且将计算设备604旋转到规定定向。这可扩大与对象604相关联的内容的一部分。同时地,或者以交织的方式,用户可使用他或她的另一只手(或者同一只手)来在横向方向平摇(pan)该内容,例如通过用手指触摸内容并在期望方向上移动该手指。图6的实施例包括了此类型的复杂控制,因为它留出用户的一只手进行平摇类型的姿势(或者任何其他类型的有意义的姿势或输入命令)。如果以交织方式执行,则此示例也是一个手势(通过旋转该设备而缩放)如何无缝地结合另一个手势(诸如通过手指跨显示表面移动而平摇)的展示。
在其他情况下,用户可在不在显示表面上指定任何特定对象而执行上述旋转移动。作为响应,IBSM114可将缩放(或者任何其他规定行为)应用到呈现在显示表面上的所有内容,或者适合于环境专用场景的上下文的任何其他全局内容。
图7示出与图6的情景类似的概念。此处,用户在一只手704中握持计算设备702(其中,在此具体情况下,用户没有用手704触摸显示表面的任何部分)。然后用户用他的或她的另一只手708来操纵滚动机构706。为了阐明这个描述,图7示出该滚动机构706相关联于显式滚动柄。但是在其他情况下,滚动机构可通过触摸和移动呈现在显示表面上的任何内容来调用。此行为执行常规的滚动操作。另外,用户可将计算设备702从初始位置倾斜来增加或降低执行滚动的速率。图7中示出的情景提供了良好的用户体验,因为它提供了用于快速地前进通过很长的内容项目的方便装置,还可提供在需要时更缓慢地前进通过内容项目的装置。
在图6和7的示例中,计算设备(604、702)提供由设备(604、702)相对于初始起始位置的定向而支配的行为。附加地或可选地,计算设备可提供对用户旋转该设备或执行某其他指示性移动的速率作出响应的行为。例如,在图6的示例中,用户可用一个手指触摸该对象602并沿如图所示的向下方向倾斜该计算设备604。IBSM114将用户执行此倾斜移动的速率解释为要执行某规定行为的速率的指示。例如,如果用户快速地在向下方向倾斜该计算设备604(用钓鱼竿掷线的方式),IBSM114可快速地增加(或降低)缩放级别。或者假设对象602与滚动命令相关联。IBSM114可将用户的“掷线”动作解释为快速滚动通过大文档的请求的指示。例如,用户可重复地以图示的方式来向下关合(snap)该设备而作出通过长文档的连续大跳跃(或者可选地,作出到文档的开始或结束的分立跳跃)。在此图示行为的模式中,IBSM114可被配置为当用户在完成向下关合之后使该计算设备回到初始位置时忽略计算设备的运动。
图8示出结合图5中所示的旋转移动的情景。此处,假设用户的意图是施加手指以标记原始页面,行进到文档中的另一个页面,然后回到该原始页面。为此,用户可在手804中握持计算设备802。用户可将手指806放在标签808上来指示特定页面或者多部分内容项目中的其他位置。假设然后用户浏览后续页面或者多部分内容项目中的其他部分。为了回到原始页面,用户可在箭头810的方向翻转计算设备802,就像人可翻过一本书的页面那样。这在计算设备802的显示表面上恢复了原始页面。
上述情景可以任何方式改变。例如,标签808可位于显示表面上的不同位置处或者完全地消除,以有利于某些其他视觉帮助。可选地,计算设备802可消除所有这些永久的视觉帮助。可选地或附加地,计算设备802可使用视觉的、听觉的和/或触觉的指示符等,当用户以被解释为书签的方式在显示表面放置手指时这些指示符可被动态地调用。当计算设备802将翻书动作传递给用户时,该计算设备802还可提供任何类型的合适视觉体验,例如通过显示页面正在被翻页的视觉模拟。进一步地,如下所述,图8所示出的交互可在双屏幕设备上实现;此处,用户可握持一个设备部分、同时旋转相对的设备部分来调用“翻回”的行为。
图8中所示的翻转姿势可被用于实现如由特定环境或应用定义的显示表面上的其他翻转行为。在一个仅图示的情况下,假设计算设备802的显示表面显示了具有多个侧面、尺寸、平面等的任何类型的对象812。用户可通过图8中所示的翻转运动来前进到另一侧。这具有将对象812翻转到其侧面来显示对象812的新顶部的效果。用户还可执行此类型的操作以在不同应用、选项、过滤器、视图等之间转换。用户还可执行此类型的操作来移除呈现在下面的第二对象的上面的第一对象。即,用户可快速地倾斜计算设备802来将上面的对象移动到下面对象的一侧,藉此显露出下面的对象,且因此使得对层叠对象的操作简单且直观。用户可重复地执行此倾斜操作来将对象连续旋转特定量(其中该量可以应用特定方式定义),或者连续地移除层,等等。
图9示出上述相关于图8相同的基本翻页姿势,不过是在电子书阅读器类型的计算设备902的环境的情况下。此处,用户可将他或她的拇指904(或者其他手指)固定在计算设备902的显示表面的左下边缘处(或者某些其他位置)。此书签操作标记了原始页面。然后,再次假设用户用电子方式翻过文档的后续页面。在一情况下,为了回到原始页面,用户然后可以图8中所示的方式将阅读器类型的计算设备902的一个设备部分向上翻转。IBSM114可基于运动感测输入机构检测此指示性翻转姿势。可选地或附加地,IBSM114可基于相对于彼此的两个显示部分(906、908)的移动来检测此姿势,例如从角度传感器(其检测设备部分之间的角度)来检测。
在另一情况下,为了使IBSM114能更清楚地区分翻页姿势,用户可合上计算设备902的两个设备部分(906、908)、将他或她的拇指904(或者其他手指)以图示方式夹在两个设备部分(906、908)之间。然后用户可执行上述翻转运动来回到原始页面。计算设备902可通过感测设备部分(906、908)之间的角度确定用户已经围绕着拇指904而关闭设备部分(906、908)。即使没有上述的翻转动作,将拇指放置在两个设备部分(906、908)之间的动作用作登记书签位置的有用目的。
图10示出其中用户用手1004握持计算设备1002、然后使计算设备1002指向某个目标实体的方向、或者目标实体的某个指定代理的情景。然后用户可使用另一只手1006(或者同一只手)来标识计算设备1002的显示表面上的某个对象1008(如,文档、命令等)。IBSM114将这个姿势解释为将对象1008的副本发送到目标实体的请求,或者使得对象1008的内容和/或状态与目标实体同步的请求,或者相对于对象1008和目标实体实现其他专用目的的请求。IBSM114可基于移动型输入机构的任何类型而确定计算设备1002所指的方向。IBSM114可用不同方法来确定目标实体的相对位置,诸如通过事先手动地记录目标实体的位置、自动地基于由目标实体所发出的信号而感测目标实体的位置、自动地基于由计算设备1002自身所执行的图像捕捉技术而感测目标实体的位置,等等。可选地或附加地,IBSM114可确定计算设备1002的定向;目标计算设备的补充IBSM也可确定那个目标设备的定向。IBSM114然后可通过确定各个用户是否正在使他们的设备指向彼此而确定计算设备1002指向目标计算设备。在其他情况下,一个或多个用户可指向共享的目标物体,且各个计算设备的IBSM可以上述任意方法来检测这个事实。例如,共享的目标物体可对应于共享的外围设备(如,打印机、显示设备等)。
在图10中所示情景的一个示例中,用户可通过在显示表面上触摸文件的表示来选择文件(或者其他内容项目)。然后用户可将设备指向垃圾桶以便于删除该文件(其中假设垃圾桶的位置是之前登记过的,或者是以其他方式可用上述的一个或多个方法确定的)。在一变型中,用户可触摸显示表面上的文件的表示,并将计算设备1002向显示表面本身上的垃圾图标倾斜,因此比喻地将这个文件转移到垃圾桶。还有其他应用也是可能的。在一情况下,无论何时用这个方式删除了内容项目,IBSM114都可呈现撤销命令的视觉表示。这使用户能倒转无意删除的效果。
图11示出其中用户用手1104握持计算设备1102并移动该计算设备1102以使其接触用户的另一只手1106的手指或者另一只手1106的其他部分的另一个情景。这与常规的移动相反,在常规的移动中用户使用手1106来压下计算设备1102的显示表面。IBSM114可将任何类型的命令与此移动相关联。此类型的姿势可与各种安全措施相耦合来防止其无意的激活。例如,尽管没有示出,用户可施加左手1104的拇指来接触图标等来实现此特定的姿势模式。
在另一情况下(未示出),用户可用不同程度的力来轻轻敲击显示表面上的不同对象,如,用正常力量或者用较大力量。IBSM114可用不同的方式来解释这两种类型的触摸接触。然后IBSM114可对轻柔轻击执行第一类型的行为,而对较重的轻击执行第二类型的行为。所调用的行为是应用专用的。例如,应用可使用轻柔的轻击来应答来电,而用较重的轻击来忽略这个来电。或者应用可使用较轻的轻击来使铃声静音,而使用较重的轻击来完全忽略来电。
为了实现此类型的姿势,移动型输入机构110可提供例如对应于轻柔地将手指靠在显示表面、从而用“正常”力量轻击显示表面、以及强健地轻击显示表面的输入事件。然后IBSM114可检查与这些输入事件相关联的输入信号来将已经发生的输入动作的类型加以分类。例如,IBSM114可将具有大幅值信号毛刺的输入事件解释为对较重轻击姿势的指示。附加地或可选地,IBSM114可使用音频信号(如,接收自一个或多个话筒)来区分轻柔和较重的轻击,和/或接收自任何其他输入机构(诸如压力传感器等)的信号。
在相关的情况下,IBSM114可基于用户初始地将手指施加到显示表面的力度来区分不同类型的拖拽移动。这容许例如IBSM114来在较轻的挥击与较重的拍打屏幕并拖曳之间进行区分。IBSM114可再次将任何行为映射到不同类型的轻击并拖曳的姿势。
图12示出其中用户在手1208中握持具有两个设备部分(1204、1206)的计算设备1202的另一个场景。使用另一只手1210,在两个设备部分(1204、1206)之间有规定角度1212的情况下,用户触摸到在两个设备部分(1204、1206)上设置的显示表面。IBSM114可将此姿势映射为任何类型的行为。通过动态地改变两个设备部分(1204、1206)之间的角度1212和/或动态地改变手指和拇指放置在两个设备部分(1204、1206)的显示表面上的位置,可定义此姿势的变型。
图13描述情景A中的更一般姿势,其中用户使用手1302在计算设备1306的显示表面上放置手指1304的特异组合。使用另一只手1308,用户可继续以任何指示性的方式来移动该计算设备1306,诸如通过在特定方向摇晃计算设备1306。由于该特异多触摸的触摸姿势的存在,计算设备1306不可能将此姿势与计算设备1306的伴随运动相混淆。用户还可结合该相同基本运动施加不同多触摸姿势来传达不同的命令。
另外,再次重复,用户可将任何规定类型的接触施加到显示表面上的单独对象或特定区域,然后将规定移动施加到计算设备。所聚焦的接触和移动的组合帮助区分有意的基于姿势的移动和意外的移动。例如,如图13的情景B所示,用户可触摸计算设备1312的显示表面上的对象1310,然后用力地摇晃计算设备1312。IBSM114可以任何预定方式来解释这个动作,诸如删除指定对象1310的请求、撤销对所指定对象1310采取的最后动作的请求、将所指定对象1310移动到特定文件夹的请求、拖曳对象1310使其显示在前景中的请求,等等。
在另一情况下,,用户可触摸IBSM114提供了菜单的显示表面上的对象。当仍然触摸着显示表面时,用户然后可将指示性移动施加到计算设备。IBSM114可将此联合动作解释为扩大菜单的请求或者从菜单中选择特定选项的请求。注意,这种方法将以下三步步骤结合为单个连续的动作:(1)选择对象;(2)激活运动感测的姿势模式;以及(3)选择特定命令或姿势来应用到所选的对象上。上面描述了选择并移动姿势的其他示例,例如相关于缩放、滚动和翻页的示例。
进一步地,IBSM114可基于计算设备的定向以不同的方式解释动态运动姿势。例如,在第一场景中,假设用户在他或她的手中持持计算设备并前后摇晃。在第二场景中,假设用户将计算设备放在桌上并前后摇晃,同时设备向下俯卧。IBSM114可将这两个场景解释为传递两个不同类型的姿势。进一步地,IBSM114可在此时用户正与之交互的不论什么应用的上下文中解释基于移动的姿势。例如,当在两个单独应用的上下文中执行相同的移动型姿势时,IBSM114可用不同的方式来解释相同移动型姿势。
最后,图14示出其中用户想要将计算设备1402从横向模式旋转到纵向模式(或者反之),而不会导致呈现在计算设备1402上的内容也旋转的一个场景。为了执行这个任务,用户可触摸显示表面的任何部分,诸如(但不限于)角落1404。例如,当计算设备1402放在平面(诸如桌子)上时,用户可压在显示表面上,如用手1406所作出的姿势所指示的。或者当握持计算设备1402时,用户可夹住计算设备,如用手1408所作出的姿势所指示的。然后用户旋转计算设备1402大约90度(或者某个其他应用专用的旋转量)。在一实现中,一旦识别了这个姿势,IBSM114就可防止计算设备1402自动地旋转文本。也可反向地执行相同的行为。也就是说,作为默认,在计算设备1402旋转时,计算设备1402不会旋转内容。然而,在旋转计算设备1402的同时接触显示表面将会导致内容也旋转。可绕任何轴执行旋转,诸如沿由触摸点本身所定义的轴。
在另一示例中,用户可建立触摸点、然后旋转计算设备,但是不相对于建立触摸点的手指来移动计算设备。例如,用户可夹住计算设备来建立触摸点、然后放在躺椅或床上,并且在这样做时,相对于计算设备的初始定向来旋转计算设备约90度。同样在这个情况下,IBSM114可将设备移动和触摸点的施加一起解释为禁用(或启用)内容旋转的指令。
在一情况下,在计算设备被移动到合适定向之后,即使用户移动了触摸点,计算设备也可保持旋转锁存。当在此模式中结束操作时,然后用户可快速地激活移除旋转锁存的命令。附加地或可选地,用户可改变设备的定向来自动地移除旋转锁存。
A.3.后台相关移动
本节描述了当施加在计算设备100的移动不是无意姿势的有意分量因此构成后台移动时IBSM114的操作。IBSM114可解释此移动的本质并对其动作来增强输入动作的准确分析。本节呈现的示例是代表性的,不是穷尽性的。
图15示出用户使用手1504的手指1502下压计算设备1506的显示表面的第一场景。或者假设用户从显示表面上移除手指1502。响应于此动作,IBSM114从触摸输入机构106接收触摸输入事件。这些事件登记手指1502与显示表面的实际(或即将来临的)接触、或者该接触的移除。IBSM114还从移动型输入机构110接收移动输入事件。这些事件登记当用户施加或从显示表面上移除他的手指1502时无意地引起的运动。
第一输入解释模块1508可例如通过从它的角度确定触摸接触施加或移除的位置和时间来分析接触输入事件。第一输入解释模块1508主要基于用户手指和显示表面之间的接触的程度(和/或形状)得出其结论。第二输入解释模块1510可例如还通过从它的角度确定触摸接触以及在这个过程中可能发生的任何推撞的施加或移除的位置和时间来分析移动输入事件。这是可能的,因为还可从移动输入事件推断出施加或移除接触的位置和时间。更具体地,第二输入解释模块1510部分地基于由移动型输入机构110所提供的移动信号的幅值、大体形状和频率特性来得出其结论。这可帮助查明何时施加或移除了接触。第二输入解释模块1510还可基于计算设备在一旦施加或移除接触就移动的方式来得出其结论。这可帮助区分接触施加或移除的位置。例如,如果用户竖立地握持计算设备,并在角落上轻击,则可预期计算设备以指示性方式晃动,这指示了发生触摸的位置。
然后最终输入解释模块1512能使用第二解释模块1510的结论来修改(如,修正)第一解释模块1508的结论。例如,最终输入解释模块1512可得出在真实位置(x,y)施加了触摸,但是由于与该触摸的施加相关联的无意移动,存在到位置(x+Δx,y+Δy)的移动。当用户移动他的手指时,可发生类似的无意移动。可选地或附加地,最终输入解释模块1512可调整被认为施加或移除触摸的时间。作为另一示例,如果用几乎没有或没有相关联的移动信号登记接触,最终输入解释模块1512可得出该接触可能表示与显示表面的无意接触。然后IBSM114因此忽略此接触或者以其他方式将它与“正常”接触动作区别对待。
IBSM114可在最终输入解释模块1512所得出结论的基础上采取各种动作。在一情况下,IBSM114例如通过细化用户施加或移除触摸接触的位置和/或时间的指示,可修正触摸输入事件以考虑已经检测到的意外移动。另外,IBSM114可将显示表面和/或应用恢复到任何无意移动发生之前的状态。
在图15的情况中,多个分量解释模块将结论反馈到最终解释模块1512。但是在另一实现中,最终解释模块1512可对由输入机构提供的原始输入事件执行分析,也就是说无需分量解释模块。
图15的基本功能还可被用来增强姿势的识别。例如,翻转类型的移动可类似于快速滚动的动作(从接触的本质的角度,都是对显示表面作出的),而用户可执行这两个动作来传达不同的输入命令。为了帮助区分这两个输入动作,IBSM114可将所得到的接触输入事件结合移动输入事件来解释。移动输入事件可帮助区分两个输入动作,只要翻转运动与滚动操作相比具有不同的移动概况。
IBSM114还可使用运动信号来检测表达特定动作的不同方法,诸如用握持计算设备的手的拇指滚动、以及用另一只手的食指滚动。这样的情况在被检测到时例如通过使IBSM114能更准确地区分用户的输入动作可被用于优化用户与计算设备的交互。例如,计算设备可基于对什么手指被用于接触计算设备的理解来调整其对于输入事件的解释,例如当离轴运动被确定为用户正在用拇指滚动时可容许对离轴运动的更大宽容度。
在另一示例中,IBSM114可确定当用户在软(触摸屏)键盘上键入时所使用的手指。在一情况下,用户可使用两个拇指键入。在另一情况下,用户可用单个手指键入而用另一只手握持该设备。这两个模式具有描述键击的各自的不同移动概况。IBSM114可使用不同的移动概况来帮助推断用户采用什么方法来敲击给定键。在解释每一类型触摸接触时,IBSM114然后可应用合适的高斯分布。这可改进触摸屏键入的效率并降低误差的可能性。
图15的功能还可用于检测完全是意外的输入动作。例如,在一些情况下,合法的输入事件可具有一个或多个规定移动概况,而无意的输入事件可具有一个或多个其他的规定移动概况。例如,用食指在显示表面上的“清洁”轻击可具有指示合法输入活动的概况,而与显示表面的意外接触可具有指示无意输入活动的概况,例如这可由拇指或小指扫过显示表面造成的。
图16示出其中用户用手拾起计算设备1602或者在使用之后放下计算设备1602的另一情景。在图16的具体示例中,用户正处于用手1606将计算设备1602放在口袋1604的过程中。在此情形下,IBSM114可从移动型输入机构110处接收超过时间窗中规定阈值的移动输入事件。输入事件还可展现设备已被移动到不常见的查看姿势。由于用户可能快速地移动或在空间上将计算设备1602翻转而将计算设备1602放在口袋1604,因此产生较大的移动输入事件。还假设在将计算设备1602放到口袋1604的过程中,用户无意地接触到计算设备1602的显示表面。如果为是,IBSM114可得出(基于较大的移动输入事件和可任选的其他因素)触摸输入事件可能是无意的结论。计算设备1602还可包括光传感器和/或邻近传感器,其能独立地确认计算设备1602已经被放在口袋1604中的事实,例如当光传感器突然地指示计算设备1602已经被移动到黑暗环境中时。然后IBSM114通过忽略触摸输入事件而对它们作出响应。进一步,如上,IBSM114可将显示表面恢复到无意输入动作之前的状态。附加地或可选地,IBSM114可恢复之前的应用状态。
例如,假设用户在将设备放到他的口袋的过程中触摸到了计算设备的显示表面。IBSM114可以仅仅在移动的基础上得出该触摸是无意的结论。该设备然后可“撤销”由无意的触摸所触发的任何命令。如果移动没有足够的信息性,IBSM114可在光传感器和/或其他传感器的基础上得出触摸是无意的结论。然后计算设备1602可再次移除无意接触的效果。
在另一场景(未示出)中,用户可能在噪杂的环境(如,不稳定的环境)中操作计算设备1602,诸如在崎岖的车程上等。在此情况下,IBSM114可分析移动输入事件来确定指示了嘈杂环境的计算设备1602的有规律摇晃。为了解决这个情况,IBSM114可诸如通过忽略被评估为意外的触摸输入事件的那些部分、并且恢复显示状态和/或应用状态以移除错误变化来执行上述动作。附加地或可选地,IBSM114可尝试修改触摸输入事件消减与移动输入事件相关联的后台噪声。附加地或可选地,IBSM114可将敏感性降低为其指示有效触摸事件已发生的程度。这将迫使用户更有意地准确输入有意的触摸输入事件。但是这还将有更有效地忽略由噪杂环境引起的无意输入事件的理想效果。
图17示出在使用时用户在手1704中握持计算设备1702的情景。在此情况下,用户的拇指1706可无意地接触到计算设备1702的显示表面。反之,图18示出用户将计算设备1802平靠在桌子等之上的情景。然后用户使用手1804来在计算设备1802的显示表面的左下角压下食指1806。IBSM114可检查计算设备(1702、1802)各自的定向,并得出结论:相比于如图18中所示的手指放置,在图17中发生的拇指放置更可能是无意的,即使这些接触发生在显示表面的同一个区域且可能具有类似的形状。这是由于对于用户而言当在高处握持计算设备时用如图17中所示的方式握持计算设备1702是很自然的。但是当计算设备1802以如图18中所示方式平躺时,意外地将单个手指放置在显示表面上是较不可能的。上述运动分析可帮助基于定向确认结论。附加地,如果将一个或多个其他传感器(诸如光传感器、邻近传感器等)放置在计算设备1802的合适位置处,可帮助确定计算设备是否是以图18中所示方式平躺在桌上。IBSM114可以上述任何方法解决图17中所示的意外触摸,诸如通过忽略这些触摸输入事件。
在图17的情况下(以及,实际上,在所有情景中),当解释接触输入事件和移动输入事件时,IBSM114还可将其他环境因素考虑在内。一个这样的上下文因素是在输入事件发生时用户正在交互的应用。例如,假设第一个用户正在使用电子书阅读器类型设备阅读内容并将拇指放在页面的特定部分上。假设第二个用户正在滚动网页并将拇指放在页面的相同大体部分上。相比于第二种情景,IBSM114更可能对于第一种情景将拇指放置解释为有意的。这是因为在第一个情境中,用户可将他或她的拇指放在页面上来对该页面加书签。进一步地,错误地对页面加书签的成本是可忽略不计的,而意外地滚动或翻到另一个页面、打断了用户当前任务的成本很高。
在另一双屏幕情景中,IBSM114可使用移动输入机构来感测用户握持计算设备的定向。所确定的定向可拟合指示用户正在看着一个显示部分、而不是另一个的概况。也就是说,用户可导向计算设备以优化仅与一个显示部分的交互。作为响应,IBSM114可将假定的未使用的显示部分放置在低功率状态。可选地或附加地,IBSM114可依靠其他输入机构来确定用户正在查看哪个显示部分,诸如图像感测输入机构112。可选地或附加地,在一些情况下,IBSM114可被配置为忽略经由未使用的显示部分接收的输入事件,从而将它们分类为非有意的接触。
一般而言,IBSM114可以不同方式来实现上述情景。在一情况下,IBSM114可维持数据存储器,其提供描述各种已知动作的指示性输入特性的各种概况,包括有意的和无意的动作。然后IBSM114可将与未知输入动作相关联的输入事件和预先存储的概况的数据存储器相比较来帮助判断未知的输入动作。数据存储器还可包括指示一旦被判断即可被执行以从事该输入动作的行为的信息。
可选地或附加地,IBSM114可应用任何类型的算法技术来组合接触输入事件和移动输入事件。例如,IBSM114可应用基于移动输入事件指示在显示表面上的触摸接触的可能位置的公式;IBSM114然后可应用指示可如何使用这个位置(仅基于移动而评估的)来修正基于接触输入事件而评估的位置的另一个公式。这样的算法的本质是设备特定的且可基于理论分析和/或实验分析来开发。
B.说明性过程
图19和20示出解释图1的计算设备100在部分A的操作的前台和后台模式中各自的操作的步骤(1900、2000)。由于在部分A已经介绍了计算设备的操作的底层原理,在此部分以概述的方式说明某些操作。
图19示出用于响应于计算设备100的有意移动来控制计算设备100的过程1900。在框1902,IBSM114从一个或多个接触型输入机构接收第一输入事件。在框1904,IBSM114从一个或多个移动型输入机构接收第二输入事件。第二输入事件指示计算设备的以有意方式的移动。图19的右边界枚举了一些可能发生的可能有意移动。更一般地,框1902和1904可以任何顺序执行,和/或这些操作可重叠。在框1906,如果可能,IBSM解释用户基于第一输入事件和第二输入事件所作出的有意姿势。在框1908,ISBM114施加与已经检测到的有意姿势相关联的行为。在这个意义上,框1906中执行的解释使行为能在框1908执行,其中框1906和1908的操作可由相同组件或由不同的各个组件所执行。图19的右边界枚举了可能调用的一些行为。
图19中所示的反馈环指示了IBSM114在输入动作的时间进程中重复地分析输入事件。在输入动作的过程中,IBSM114可增加其检测输入动作的本质的置信度。一开始,IBSM114可能不能判断输入动作的本质。随着动作继续,IBSM114然后能够用相对低的置信度来预测动作,这实际上可能错误地解释输入动作。随着输入动作进一步继续,IBSM114增加了置信度,并且如果可能的话,最终正确地确定已经发生的输入动作的类型。或者IBSM114可丢弃不再得到接收到的输入事件支持的解释。以上述方式,通过恢复显示表面和/或将任何应用恢复到动作之前的状态,IBSM114可“收回”任何不正确的假设。
图20示出用于响应于计算设备100的无意移动控制计算设备100的过程2000。在框2002,IBSM114从一个或多个接触型输入机构接收第一输入事件。在框2004,IBSM114响应于计算设备100的移动从一个或多个移动型输入机构接收第二输入事件。更一般地,框2002和2004可以任何顺序执行,和/或这些操作可重叠。在此情况下的移动指示了计算设备100的后台移动,意味着移动并不是用户的活动焦点。图20的右边界枚举了一些可能发生的后台移动。在框2006,IBSM114基于第一输入事件和第二输入事件,可任选地结合其他因素判断已经发生的输入动作的类型。实际上,第二输入事件修改或限制第一输入事件的解释。在框2008,IBSM114可响应于在框2006检测到输入事件的类型而施加合适的行为。框2006和2008的操作可由相同组件或通过不同的各个组件来执行。图20的右边界枚举了一些IBSM114可执行的可能行为。
与图19中的方式类似地,图20中所示的反馈环指示IBSM114可在输入动作逐渐地改进其分析的置信度的过程中重复IBSM114的分析。
C.代表性处理功能
图21阐述可以被用来实现上文所描述的功能的任何方面的说明性电气数据处理功能2100。参考图1,例如,图21中示出的处理功能2100的类型可被用来实现计算设备100的任何方面。在一种情况下,处理功能2100可对应于包括一个或多个处理设备的任何类型的计算设备。在任何情况下,电子数据处理功能2100都表示一个或多个物理和有形的处理机制。
处理功能2100可以包括诸如RAM2102和ROM2104等易失性和非易失性存储器以及一个或多个处理设备2106。处理功能2100还可任选地包括各种媒体设备2108,诸如硬盘模块、光盘模块等。处理功能2100可在处理设备2106执行由存储器(例如RAM2102、ROM2104或其它)维护的指令时执行以上所标识的各种操作。
更一般地,指令和其它信息可以存储在任何计算机可读介质2110上,计算机可读介质包括但不限于静态存储器存储设备、磁存储设备、光存储设备等。术语计算机可读介质还涵盖多个存储设备。在任何情况下,计算机可读介质2110都表示某种形式的物理和有形的实体。
处理功能2100还包括用于从用户(经由输入模块2114)接收各种输入和用于向用户(经由输出机构)提供各种输出的输入/输出模块2112。一个特定输出机构可包括显示模块2116及相关联的图形用户界面(GUI)2118。处理功能2100还可包括用于经由一个或多个通信管道2122与其它设备交换数据的一个或多个网络接口2120。一条或多条通信总线2124将上述组件通信地耦合在一起。
通信管道2122可以以任何方式来实现,例如,通过局域网、广域网(例如,因特网)等等,或其任何组合。通信管道2122可包括可由任何协议或协议的组合管理的硬连线的链路、无线链路、路由器、网关功能、名称服务器等等的任何组合。
尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言,上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (11)

1.一种计算设备,包括:
多个输入机构,包括:
用于提供指示与所述计算设备的接触的至少一个接触输入事件的至少一个接触型输入机构;
用于提供指示所述计算设备的定向和运动中的一个或多个的至少一个移动输入事件的至少一个移动型输入机构;以及
用以增强所述至少一个移动型输入机构的性能的至少一个图像感测输入机构;以及
用于接收所述至少一个接触输入事件和所述至少一个移动输入事件的解释和行为选择模块(IBSM),所述IBSM被配置成使用所述至少一个接触输入事件和所述至少一个移动输入事件来检测涉及所述计算设备以规定方式的有意移动的姿势,
所述IBSM使得能够执行与所述姿势相关联的行为,所述行为导致对由所述计算设备呈现的内容的可视操纵,所述IBSM依靠所述至少一个图像感测输入机构来确定用户正在查看的由所述计算设备呈现的内容。
2.如权利要求1所述的计算设备,其特征在于,所述至少一个接触事件是响应于用多个手指与所述计算设备接触而产生的。
3.如权利要求1所述的计算设备,其特征在于,所述计算设备以所述规定方式的有意移动涉及所述计算设备的旋转。
4.如权利要求3所述的计算设备,其特征在于,所述旋转的角度和速率中的至少一个定义执行所述行为的方式。
5.如权利要求3所述的计算设备,其特征在于,所述旋转包括相对于至少一个轴的翻转动作,并且其中所执行的行为包括移动所述计算设备的显示表面上的内容,以显露下面的内容。
6.如权利要求3所述的计算设备,其特征在于,所述旋转包括相对于至少一个轴的翻转动作,并且其中所执行的行为包括旋转所述计算设备的显示表面上的内容。
7.如权利要求3所述的计算设备,其特征在于,所述旋转包括相对于至少一个轴的翻转动作,并且其中所述内容是至少一个页面,并且其中所执行的行为包括翻转所述至少一个页面。
8.如权利要求7所述的计算设备,其特征在于,所述至少一个接触输入事件指示将手指放在书签位置,并且其中对所述至少一个页面的所述翻转是相对于所述书签位置执行的。
9.一种用于响应于计算设备的有意移动来控制所述计算设备的方法,包括:
响应于以规定方式在所述计算设备的表面上建立接触点来从至少一个触摸输入机构接收至少一个接触输入事件;
响应于所述计算设备以规定方式的移动来从至少一个移动型输入机构接收至少一个移动输入事件;
检测与所述至少一个接触输入事件和所述有意移动相关联的姿势,所述姿势指示所述计算设备启用或禁用在旋转所述计算设备期间在所述计算设备上所呈现的内容的旋转;以及
增强至少一个移动输入事件的准确性,以使得确定用户正在查看的在所述计算设备上所呈现的内容。
10.一种用于解释与行为选择模块(IBSM)的方法,包括:
响应于以规定方式与计算设备的显示表面上所呈现的内容接触来从一个或多个触摸输入机构接收至少一个接触输入事件;
响应于所述计算设备绕至少一个轴的有意旋转来从一个或多个移动型输入机构接收所述至少一个移动输入事件;
检测与同所述显示表面的接触和所述有意旋转相关联的姿势;
增强至少一个移动输入事件的准确性,以使得确定用户正在查看的在所述计算设备的显示表面上所呈现的内容;以及
执行与所述姿势相关联的修改所述内容的缩放级别的行为。
11.一种用于解释与行为选择模块(IBSM)的系统,包括:
用于响应于以规定方式与计算设备的显示表面上所呈现的内容接触来从一个或多个触摸输入机构接收至少一个接触输入事件的装置;
用于响应于所述计算设备绕至少一个轴的有意旋转来从一个或多个移动型输入机构接收所述至少一个移动输入事件的装置;
用于检测与同所述显示表面的接触和所述有意旋转相关联的姿势的装置;
用于增强至少一个移动输入事件的准确性,以使得确定用户正在查看的在所述计算设备的显示表面上所呈现的内容的装置;以及
用于执行与所述姿势相关联的修改所述内容的缩放级别的行为的装置。
CN201180060256.6A 2010-12-17 2011-12-16 检测涉及计算设备的有意移动的姿势 Active CN103262005B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/970,939 2010-12-17
US12/970,939 US8994646B2 (en) 2010-12-17 2010-12-17 Detecting gestures involving intentional movement of a computing device
PCT/US2011/065595 WO2012083223A2 (en) 2010-12-17 2011-12-16 Detecting gestures involving intentional movement of a computing device

Publications (2)

Publication Number Publication Date
CN103262005A CN103262005A (zh) 2013-08-21
CN103262005B true CN103262005B (zh) 2017-04-26

Family

ID=46233721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180060256.6A Active CN103262005B (zh) 2010-12-17 2011-12-16 检测涉及计算设备的有意移动的姿势

Country Status (5)

Country Link
US (1) US8994646B2 (zh)
EP (1) EP2652579B1 (zh)
KR (1) KR101861395B1 (zh)
CN (1) CN103262005B (zh)
WO (2) WO2012083215A2 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637939B1 (ko) * 2010-01-22 2016-07-20 삼성전자주식회사 이동통신 단말기의 동작 인식 장치 및 방법
EP2437151B1 (en) 2010-10-01 2020-07-08 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
KR101743632B1 (ko) 2010-10-01 2017-06-07 삼성전자주식회사 휴대용 단말기에서 전자책 페이지 넘김 장치 및 방법
US9678572B2 (en) * 2010-10-01 2017-06-13 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
US9201539B2 (en) 2010-12-17 2015-12-01 Microsoft Technology Licensing, Llc Supplementing a touch input mechanism with fingerprint detection
US8660978B2 (en) 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
KR101691478B1 (ko) * 2011-02-09 2016-12-30 삼성전자주식회사 통합 입력에 따른 단말기 운용 방법 및 이를 지원하는 휴대 단말기
US20150019459A1 (en) * 2011-02-16 2015-01-15 Google Inc. Processing of gestures related to a wireless user device and a computing device
CN103370681A (zh) * 2011-02-21 2013-10-23 Nec卡西欧移动通信株式会社 显示设备、显示控制方法以及程序
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US20130012319A1 (en) * 2011-07-07 2013-01-10 Negroponte Dimitri Mechanism for facilitating hybrid control panels within gaming systems
US9864632B2 (en) 2011-08-17 2018-01-09 Open Invention Network, Llc System and method for transfer of an application state between devices
US20130147850A1 (en) * 2011-12-08 2013-06-13 Motorola Solutions, Inc. Method and device for force sensing gesture recognition
US8902181B2 (en) 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US20130271355A1 (en) 2012-04-13 2013-10-17 Nokia Corporation Multi-segment wearable accessory
JP5692181B2 (ja) * 2012-07-26 2015-04-01 カシオ計算機株式会社 ネットワーク・サービスシステム及びリスト端末、表示方法、プログラム
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
CN103167150A (zh) * 2012-09-21 2013-06-19 深圳市金立通信设备有限公司 一种手机翻转实现静音的系统及方法
KR102051418B1 (ko) * 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US9672292B2 (en) 2012-11-21 2017-06-06 Microsoft Technology Licensing, Llc Affinity-based page navigation
US9495470B2 (en) 2012-11-21 2016-11-15 Microsoft Technology Licensing, Llc Bookmarking for electronic books
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
US9164609B2 (en) 2013-03-13 2015-10-20 Amazon Technologies, Inc. Managing sensory information of a user device
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
US9105026B1 (en) * 2013-09-30 2015-08-11 Square, Inc. Rolling interface transition for mobile display
US20150091841A1 (en) * 2013-09-30 2015-04-02 Kobo Incorporated Multi-part gesture for operating an electronic personal display
US10074080B2 (en) * 2013-11-06 2018-09-11 Capital One Services, Llc Wearable transaction devices
CN103645845B (zh) * 2013-11-22 2016-10-05 华为终端有限公司 一种敲击控制方法及终端
KR102199806B1 (ko) * 2013-12-05 2021-01-07 삼성전자주식회사 곡형 디스플레이 모듈을 갖는 전자 장치 및 그 운용 방법
RU2014112238A (ru) * 2014-03-31 2015-10-10 Общество с ограниченной ответственностью "Аби Девелопмент" Метод и система автоматического выбора параметров объектов интерфейса с помощью устройств ввода
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
US9324065B2 (en) 2014-06-11 2016-04-26 Square, Inc. Determining languages for a multilingual interface
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9870083B2 (en) 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
JP6239449B2 (ja) * 2014-06-24 2017-11-29 京セラ株式会社 携帯端末、通知制御プログラムおよび通知制御方法
CN118192869A (zh) 2014-06-27 2024-06-14 苹果公司 尺寸减小的用户界面
WO2016014601A2 (en) 2014-07-21 2016-01-28 Apple Inc. Remote user interface
KR102511376B1 (ko) 2014-08-02 2023-03-17 애플 인크. 상황 특정 사용자 인터페이스
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
EP3189406B1 (en) 2014-09-02 2022-09-07 Apple Inc. Phone user interface
US10254948B2 (en) 2014-09-02 2019-04-09 Apple Inc. Reduced-size user interfaces for dynamically updated application overviews
EP4089534A1 (en) 2014-09-02 2022-11-16 Apple Inc. User interface for receiving user input
US9684405B2 (en) * 2014-11-12 2017-06-20 Rakuten Kobo, Inc. System and method for cyclic motion gesture
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
CN105094681B (zh) * 2015-08-27 2018-12-11 广东欧珀移动通信有限公司 一种控制来电静音的方法及用户终端
KR20170037466A (ko) 2015-09-25 2017-04-04 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN105630360A (zh) * 2015-12-28 2016-06-01 魅族科技(中国)有限公司 数据删除方法及装置
US10496970B2 (en) 2015-12-29 2019-12-03 Square, Inc. Animation management in applications
US10503317B2 (en) * 2016-02-09 2019-12-10 The Boeing Company Turbulence resistant touch system
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
KR102429485B1 (ko) * 2016-12-13 2022-08-05 현대자동차주식회사 사용자 인터페이스 장치 및 방법
CN106648232A (zh) * 2016-12-16 2017-05-10 广东欧珀移动通信有限公司 防止触摸按键误触发的方法、装置及终端
US10380579B1 (en) 2016-12-22 2019-08-13 Square, Inc. Integration of transaction status indications
US10635291B2 (en) 2017-02-20 2020-04-28 Microsoft Technology Licensing, Llc Thumb and pen interaction on a mobile device
JP2019074799A (ja) * 2017-10-12 2019-05-16 富士通コネクテッドテクノロジーズ株式会社 表示制御装置、表示制御方法および表示制御プログラム
LU100869B1 (en) * 2018-07-04 2020-01-07 Iee Sa Method for Training a Gesture Recognition System
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
KR102563630B1 (ko) 2018-10-10 2023-08-04 삼성전자 주식회사 전자 장치, 외부 전자 장치 및 전자 장치를 이용한 외부 전자 장치를 제어하는 방법
NL2031789B1 (en) * 2022-05-06 2023-11-14 Microsoft Technology Licensing Llc Aggregated likelihood of unintentional touch input

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU624838B2 (en) 1988-05-27 1992-06-25 Global 360, Inc. Document annotation and manipulation in a data processing system
US5198623A (en) 1991-11-27 1993-03-30 Calcomp, Inc. Method for use in a digitizer for determining pen tilt
US5561444A (en) 1992-12-21 1996-10-01 Apple Computer, Inc. Method and apparatus for providing visual feedback during manipulation of text on a computer screen
US5463725A (en) * 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5414227A (en) 1993-04-29 1995-05-09 International Business Machines Corporation Stylus tilt detection apparatus for communication with a remote digitizing display
BR9608465A (pt) 1995-05-08 1998-12-29 Massachusetts Inst Technology Sistema de comunicação sem fio e sistema de computador
US5956020A (en) 1995-07-27 1999-09-21 Microtouch Systems, Inc. Touchscreen controller with pen and/or finger inputs
US5867163A (en) * 1995-12-01 1999-02-02 Silicon Graphics, Inc. Graphical user interface for defining and invoking user-customized tool shelf execution sequence
US6307548B1 (en) 1997-09-25 2001-10-23 Tegic Communications, Inc. Reduced keyboard disambiguating system
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6323846B1 (en) 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
EP1058181A4 (en) 1998-02-25 2002-09-11 Sharp Kk DISPLAY DEVICE
CA2326711A1 (en) 1998-04-06 1999-10-14 Hans Rudolf Sterling Positioning a cursor on the display screen of a computer
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7289102B2 (en) * 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6906703B2 (en) 2001-03-28 2005-06-14 Microsoft Corporation Electronic module for sensing pen motion
US6882340B2 (en) 2001-10-19 2005-04-19 Wacom Co., Ltd. Electronic pen
US20040047505A1 (en) 2001-12-26 2004-03-11 Firooz Ghassabian Stylus computer
US20030164821A1 (en) 2002-02-05 2003-09-04 Omid Rezania Writing instrument with variable display
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US20040012575A1 (en) 2002-07-22 2004-01-22 Homer Steven S. Storage and removal system for pointer utilized with an electronic device
US20040203520A1 (en) 2002-12-20 2004-10-14 Tom Schirtzinger Apparatus and method for application control in an electronic device
US20040140962A1 (en) 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7231609B2 (en) * 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
US7068262B2 (en) 2003-06-09 2006-06-27 Leapfrog Enterprises, Inc. Writing stylus for electrographic position location apparatus
WO2005008444A2 (en) 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
US20050024346A1 (en) 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US7231231B2 (en) 2003-10-14 2007-06-12 Nokia Corporation Method and apparatus for locking a mobile telephone touch screen
US7532196B2 (en) 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
US7358965B2 (en) 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7400316B2 (en) 2004-05-28 2008-07-15 International Business Machines Corporation Method and apparatus for dynamically modifying web page display for mobile devices
US20060012580A1 (en) 2004-07-15 2006-01-19 N-Trig Ltd. Automatic switching for a dual mode digitizer
US7847789B2 (en) 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
US7432916B2 (en) 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
KR101085447B1 (ko) 2004-12-31 2011-11-21 삼성전자주식회사 터치 위치 검출 장치 및 이의 터치 위치 검출 방법과,이를 구비한 터치 스크린 표시 장치
US8250493B2 (en) 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
EP1854231B1 (en) 2005-02-17 2013-04-10 Koninklijke Philips Electronics N.V. Device capable of being operated within a network, network system, method of operating a device within a network, program element, and computer-readable medium
US20060256008A1 (en) * 2005-05-13 2006-11-16 Outland Research, Llc Pointing interface for person-to-person information exchange
US7928964B2 (en) 2005-04-22 2011-04-19 Microsoft Corporation Touch input data handling
US20060267958A1 (en) 2005-04-22 2006-11-30 Microsoft Corporation Touch Input Programmatical Interfaces
KR100668341B1 (ko) 2005-06-29 2007-01-12 삼성전자주식회사 사용자의 파지 형태를 이용한 휴대용 단말기의 기능 입력방법 및 장치.
US7982739B2 (en) 2005-08-18 2011-07-19 Realnetworks, Inc. System and/or method for adjusting for input latency in a handheld device
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7362221B2 (en) 2005-11-09 2008-04-22 Honeywell International Inc. Touchscreen device for controlling a security system
US7523405B2 (en) 2005-11-16 2009-04-21 Microsoft Corporation Displaying 2D graphic content using depth wells
US7663620B2 (en) 2005-12-05 2010-02-16 Microsoft Corporation Accessing 2D graphic content using axonometric layer views
FR2895639B1 (fr) 2005-12-27 2008-02-29 Brandt Ind Sas Foyer de cuisson par induction de taille variable
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
CN101379461A (zh) 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
US20100045705A1 (en) 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US8873858B2 (en) 2006-06-29 2014-10-28 Rpx Corporation Apparatus, method, device and computer program product providing enhanced text copy capability with touch input display
JP5324440B2 (ja) 2006-07-12 2013-10-23 エヌ−トリグ リミテッド デジタイザのためのホバリングおよびタッチ検出
US9201556B2 (en) 2006-11-08 2015-12-01 3M Innovative Properties Company Touch location sensing system and method employing sensor data fitting to a predefined curve
US7855718B2 (en) 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US7876310B2 (en) 2007-01-03 2011-01-25 Apple Inc. Far-field input identification
US9311528B2 (en) 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US20090265671A1 (en) 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US20080292195A1 (en) 2007-05-22 2008-11-27 Vijayasenan Deepu Data Processing System And Method
US8171432B2 (en) 2008-01-06 2012-05-01 Apple Inc. Touch screen device, method, and graphical user interface for displaying and selecting application options
KR101345755B1 (ko) 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
US8564574B2 (en) 2007-09-18 2013-10-22 Acer Incorporated Input apparatus with multi-mode switching function
KR101615472B1 (ko) 2007-09-24 2016-04-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US9274698B2 (en) * 2007-10-26 2016-03-01 Blackberry Limited Electronic device and method of controlling same
TW200925944A (en) 2007-12-12 2009-06-16 Mitac Int Corp Touch pen with erasure function
KR20090070491A (ko) 2007-12-27 2009-07-01 엔에이치엔(주) 터치스크린을 이용한 화면 제어 장치 및 방법
US20090167702A1 (en) 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
US20090209285A1 (en) 2008-02-15 2009-08-20 Sony Ericsson Mobile Communications Ab Portable communication device having touch-sensitive input device ...
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
JP2009266097A (ja) 2008-04-28 2009-11-12 Toshiba Corp 入力機器
KR20100006219A (ko) 2008-07-09 2010-01-19 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
TW201011605A (en) 2008-09-01 2010-03-16 Turbotouch Technology Inc E Method capable of preventing mistakenly triggering a touch panel
US20100053120A1 (en) 2008-09-03 2010-03-04 Chang An-Yu Touchscreen stylus
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
GB2464094A (en) 2008-09-30 2010-04-07 Rapid Mobile Media Ltd Method and apparatus for displaying content at a mobile device
CA2681778A1 (en) 2008-10-07 2010-04-07 Research In Motion Limited Multi-touch motion simulation using a non-touchscreen computer input device
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
KR101662172B1 (ko) 2008-11-21 2016-10-10 삼성전자주식회사 입력 장치
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
KR20100065418A (ko) * 2008-12-08 2010-06-17 삼성전자주식회사 가요성 표시부를 가지는 단말기 및 그의 데이터 표시 방법
JP4743267B2 (ja) 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20100071754A (ko) 2008-12-19 2010-06-29 삼성전자주식회사 터치와 키조작에 의한 멀티 입력 방식을 이용한 촬영방법 및 이를 적용한 촬영장치
JP4702475B2 (ja) 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
CN102362251B (zh) * 2008-12-30 2016-02-10 法国电信公司 用于提供对应用程序的增强控制的用户界面
US8499251B2 (en) 2009-01-07 2013-07-30 Microsoft Corporation Virtual page turn
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US9468846B2 (en) 2009-01-30 2016-10-18 Performance Designed Products Llc Tactile feedback apparatus and method
US9846533B2 (en) 2009-03-16 2017-12-19 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US20100295799A1 (en) 2009-05-21 2010-11-25 Sony Computer Entertainment America Inc. Touch screen disambiguation based on prior ancillary touch input
US8619029B2 (en) 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101574117B1 (ko) 2009-05-22 2015-12-11 엘지전자 주식회사 이동 단말기 및 이를 이용한 콜 기능 수행 방법
US20100306670A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
US8462134B2 (en) 2009-06-29 2013-06-11 Autodesk, Inc. Multi-finger mouse emulation
US8535133B2 (en) 2009-11-16 2013-09-17 Broadcom Corporation Video game with controller sensing player inappropriate activity
US20110167357A1 (en) * 2010-01-05 2011-07-07 Todd Benjamin Scenario-Based Content Organization and Retrieval
US20110187651A1 (en) 2010-02-03 2011-08-04 Honeywell International Inc. Touch screen having adaptive input parameter
US8839150B2 (en) 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input
US8769443B2 (en) 2010-02-11 2014-07-01 Apple Inc. Touch inputs interacting with user interface items
US20110231796A1 (en) * 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US9003334B2 (en) 2010-03-05 2015-04-07 Adobe Systems Incorporated Editing content using multiple touch inputs
CN101813982B (zh) * 2010-03-10 2012-05-30 鸿富锦精密工业(深圳)有限公司 具有运动响应功能的电子装置及其执行输入操作的方法
US9069416B2 (en) 2010-03-25 2015-06-30 Google Inc. Method and system for selecting content using a touchscreen
US8228292B1 (en) * 2010-04-02 2012-07-24 Google Inc. Flipping for motion-based input
US20120092268A1 (en) 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
US20120092269A1 (en) 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
KR101163346B1 (ko) 2011-10-28 2012-07-05 한국과학기술원 터치스크린 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말

Also Published As

Publication number Publication date
US20120154293A1 (en) 2012-06-21
WO2012083215A3 (en) 2012-10-04
KR20130129220A (ko) 2013-11-27
WO2012083223A2 (en) 2012-06-21
CN103262005A (zh) 2013-08-21
KR101861395B1 (ko) 2018-05-25
WO2012083223A3 (en) 2012-10-11
WO2012083215A2 (en) 2012-06-21
EP2652579B1 (en) 2018-07-18
EP2652579A4 (en) 2017-04-26
US8994646B2 (en) 2015-03-31
EP2652579A2 (en) 2013-10-23

Similar Documents

Publication Publication Date Title
CN103262005B (zh) 检测涉及计算设备的有意移动的姿势
CN102645972B (zh) 使用计算设备的移动来增强在与该计算设备交互时产生的输入事件的解释
CN103415833B (zh) 表面化屏幕外可视对象
CN102216893B (zh) 在不使用光标的情况下移动屏上对象的触摸屏设备、方法和图形用户界面
US8059101B2 (en) Swipe gestures for touch screen keyboards
US8878779B2 (en) Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
CN107077288A (zh) 键盘输入的消歧
US20120154295A1 (en) Cooperative use of plural input mechanisms to convey gestures
CN110647244A (zh) 终端和基于空间交互控制所述终端的方法
WO2015189710A2 (en) Apparatus and method for disambiguating information input to a portable electronic device
CN101853135A (zh) 一种基于体感装置控制手持电子设备上触摸屏输入界面的方法
KR102067295B1 (ko) 전자 장치, 표시 제어 방법, 및 기록 매체
CN103713840B (zh) 可携式装置及其按键点击范围调整方法
JP5152639B2 (ja) 文字入力・機能操作装置、方法、プログラム及び携帯端末装置
JP5055156B2 (ja) 制御装置および方法
Xiao Bridging the Gap Between People, Mobile Devices, and the Physical World
CN107066105A (zh) 具有与位置感测相关联的视觉反馈的电子设备键盘空格键
WO2013156885A2 (en) Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
KR20130131623A (ko) 개인용 단말기 및 이의 인터페이싱 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1186799

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150717

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1186799

Country of ref document: HK