CN105700727A - 与透明层以下的应用层的交互方法 - Google Patents

与透明层以下的应用层的交互方法 Download PDF

Info

Publication number
CN105700727A
CN105700727A CN201510604611.1A CN201510604611A CN105700727A CN 105700727 A CN105700727 A CN 105700727A CN 201510604611 A CN201510604611 A CN 201510604611A CN 105700727 A CN105700727 A CN 105700727A
Authority
CN
China
Prior art keywords
user
bed
alternation
input
expectation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510604611.1A
Other languages
English (en)
Other versions
CN105700727B (zh
Inventor
张健邦
斯科特·E·凯尔索
约翰·W·尼科尔森
史蒂文·R·佩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN105700727A publication Critical patent/CN105700727A/zh
Application granted granted Critical
Publication of CN105700727B publication Critical patent/CN105700727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了用于将在能够触摸的装置处接收的输入引导至期望输入层的方法和信息处理系统。在装置的触摸屏处接收用户输入。每个用户输入包括一个或更多个输入属性的集合。触摸屏包括不同的交互层，所述不同的交互层包括透明层和应用层。该方法分析与接收到的用户输入相关联的输入属性。基于该分析，该方法将期望交互层识别为透明层或应用层。然后该方法将用户输入引导至所识别的期望交互层。

Description

与透明层以下的应用层的交互方法
技术领域
本申请涉及一种与透明层以下的应用层的交互方法以及一种信息处理系统。
背景技术
透明层是手持装置上用于透明输入方法的最顶层。输入方法编辑器(IME)是使得任何数据例如键盘敲击或鼠标移动能够被接收为输入的应用。以此方式，用户能够输入在他们的输入装置上找不到的字符和符号。对于具有比键盘上存在的键更多的字素(例如，字符等)的语言，需要使用输入方法。例如，拉丁键盘或能够触摸的装置的用户可以输入汉语、日语、韩语和印度语字符。
使用IME操作的透明层的挑战在于：在传统实现方案中，IME并非用户友好的并且用户在选择IME或透明层以下的应用时有困难。例如，一种传统方法需要用户使透明窗口(IME)最小化以便与应用交互。因为透明层是透明的，所以用户难以确认透明窗口已经被最小化还是仍然在屏幕上，驻留在用户的输入与显现在透明层以下的应用之间。
发明内容
本申请提供了用于将在能够触摸的装置处接收的输入引导至期望输入层的方法。在装置的触摸屏处接收用户输入。每个用户输入包括一个或更多个输入属性的集合。触摸屏包括不同的交互层，所述不同的交互层包括透明层和应用层。该方法分析与接收到的用户输入相关联的输入属性。基于该分析，该方法将期望交互层识别为透明层或应用层。然后该方法将用户输入引导至所识别的期望交互层。
前述是概述，并且因此必然包含细节的简化、概括和省略；因此，本领域技术人员将意识到，该概述仅是示例性的并且不意在以任何方式进行限制。在下面阐述的非限制性详细描述中，其他方面、创造性特征和优点将变得明显。
附图说明
通过参照附图，可以更好地理解本公开内容，在附图中：
图1是其中可以实现本文中描述的方法的数据处理系统的框图；
图2提供了图1中所示的信息处理系统环境的扩展以示出本文中描述的方法可以在联网环境下操作的广泛的多种信息处理系统上执行；
图3A是描绘用于向应用层和透明层二者进行手写和打字的基于手指的输入和基于笔的输入的俯视图；
图3B是描绘用于向应用层和透明层二者进行手写和打字的基于手指的输入和基于笔的输入的侧视图；
图4是示出设置处理所采取的步骤的流程图；
图5是示出由针对接收到的触摸屏输入来识别期望输入类型的处理所采取的步骤的流程图；
图6是示出由针对接收到的触摸屏输入来识别期望目标层的处理所采取的步骤的流程图；
图7是示出引导至所识别的目标层的所识别的输入类型的触摸屏输入的上下文测试期间所采取的步骤的流程图；以及
图8是示出所采取的用于处理对作为所识别的输入类型应用于所识别的目标层的触摸屏输入的用户响应的步骤的流程图。
具体实施方式
本文中使用的术语仅出于描述特定实施方式的目的并且不意在限制本发明。如本文中使用的，除非上下文另有清楚指示，否则单数形式“一个(a和an)”和“该(the)”意在还包括复数形式。还要理解的是，术语“包括(comprises和comprising)”当用在本说明书中时，指定了所述特征、整体、步骤、操作、要素和/或部件的存在，但是并不排除一个或更多个其他特征、整体、步骤、操作、要素、部件和/或它们的组合的存在或添加。
所附权利要求中的所有装置或步骤加上功能要素的相应结构、材料、动作和等同方案意在包括如具体要求保护的、用于与其他要求保护的要素结合来执行功能的任何结构、材料或动作。详细的描述已经出于说明的目的而呈现，但是该详细的描述并非意在是详尽的或者限制为所公开的形式的本发明。在不背离本发明的范围和精神的前提下，许多修改和变型对于本领域技术人员将是明显的。对实施方式进行选择和描述以便最优地说明本发明和实际应用，并且使本领域其他技术人员能够针对适于所考虑的特定用途的具有各种修改的各种实施方式来理解本发明。
如本领域技术人员将理解的，各方面可以实施为系统、方法或计算机程序产品。因此，各方面可以采取下述形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者将软件方面和硬件方面结合的实施方式，所有这些实施方式在本文中总体上可以被称为“电路”、“模块”或“系统”。另外，本公开内容的各方面可以采取在存储有计算机可读程序代码的一个或更多个计算机可读装置中实施的计算机程序产品的形式。
可以利用一个或更多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是但不限于，例如电子、磁、光、电磁、红外、或半导体的系统、设备、装置或前述的任何适当组合。计算机可读存储介质的更多具体示例(非详尽清单)可以包括：具有一条或更多条导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任何适当组合。在本文的上下文中，计算机可读存储介质可以是能够包含或存储如下程序的任何有形介质：该程序用于由指令执行系统、设备或装置使用或者结合指令执行系统、设备或装置来使用。
机器可读信号介质可以包括具有在其中实施的计算机可读程序代码的传播数据信号，例如在基带中或作为载波的一部分的传播数据信号。这样的传播信号可以采取多种形式中的任一种形式，包括但不限于，电磁、光或它们的任何适当组合。计算机可读信号介质可以是下述的任何计算机可读介质：该计算机可读介质并非是计算机可读存储介质，并且能够传递、传播或传送由指令执行系统、设备或装置使用或者结合指令执行系统、设备或装置使用的程序。如本文中使用的，计算机可读存储介质不包括计算机可读信号介质。
可以以一种或更多种编程语言的任何组合来编写用于执行本公开内容的各方面的操作的计算机程序代码，所述编程语言包括面向对象的编程语言，诸如Java、Smalltalk、C++等，以及传统的程序编程语言，诸如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包而整体地在用户的计算机上执行、部分地在用户的计算机上执行，可以部分地在用户的计算机上执行并且部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后者的情形中，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接至用户的计算机，或可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
下面参照方法、设备(系统)以及计算机程序产品的流程图和/或框图来描述本公开内容的各方面。将理解的是，流程图和/或框图中的每个块以及流程图和/或框图中的块的组合能够由计算机程序指令实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个块中指定的功能/动作的装置。
也可以将能够引导计算机、其他可编程数据处理设备或其他装置以特定方式发挥作用的这些计算机程序指令存储在计算机可读介质中，使得存储在计算机可读介质中的指令生成包括实现流程图和/或框图的一个或多个块中指定的功能/动作的指令的制品。
也可以将计算机程序指令加载到计算机、其他可编程数据处理设备或其他装置上以使得在计算机、其他可编程设备或其他装置上执行一系列操作步骤来生成计算机实现的处理，使得在计算机或其他可编程设备上执行的指令提供用于实现在流程图和/或框图的一个或多个块中指定的功能/动作的处理。
以下详细描述将大体上遵循如以上所阐述的概述，在必要时对各个方面和实施方式的定义进行进一步的说明和扩展。为此，该详细描述首先阐述了图1中的计算环境，该计算环境适于实现与本公开内容相关联的软件和/或硬件技术。在图2中示出了作为基本计算机环境的扩展的联网环境，以强调可以跨越多个离散装置执行现代计算技术。
图1示出了信息处理系统100，该信息处理系统100是能够执行本文中描述的计算操作的计算机系统的简化示例。信息处理系统100包括耦接至处理器接口总线112的一个或更多个处理器110。处理器接口总线112将处理器110连接至也称为存储器控制器集线器(MCH)的北桥115。北桥115连接至系统存储器120并且向处理器110提供访问系统存储器的手段。图形控制器125也连接至北桥115。在一个实施方式中，PCIExpress总线118将北桥115连接至图形控制器125。图形控制器125连接至显示装置130，诸如计算机监视器。
北桥115和南桥135使用总线119彼此连接。在一个实施方式中，该总线是在北桥115与南桥135之间以高的速度沿每个方向传送数据的直接媒体接口(DMI)总线。在另一实施方式中，外围部件互连(PCI)总线连接北桥与南桥。也称为I/O控制器集线器(ICH)的南桥135是通常实现以比北桥提供的功能慢的速度进行操作的功能的芯片。南桥135通常提供用于连接各种部件的各种总线。这些总线包括例如PCI总线和PCIExpress总线、ISA总线、系统管理总线(SMBus或SMB)和/或低引脚数(LPC)总线。LPC总线通常连接低带宽装置，例如引导ROM196和“遗留”I/O装置(使用“超级I/O”芯片)。“遗留”I/O装置(198)可以包括例如串行端口和并行端口、键盘、鼠标和/或软盘控制器。LPC总线还将南桥135连接至可信平台模块(TPM)195。通常包括在南桥135中的其他部件包括直接存储器存取(DMA)控制器、可编程中断控制器(PIC)以及存储装置控制器，该存储装置控制器使用总线184将南桥135连接至非易失性存储装置185，例如硬盘驱动器。
扩展卡(ExpressCard)155是将热插拔装置连接至信息处理系统的插槽。当扩展卡155使用通用串行总线(USB)和PCIExpress总线二者连接至南桥135时，扩展卡156支持PCIExpress和USB连接二者。南桥135包括USB控制器140，该USB控制器140将USB连接提供给连接至USB的装置。这些装置包括网络摄像头(摄像头)150、红外(IR)接收器148、键盘和触控板144以及提供无线个人局域网(PAN)的蓝牙(Bluetooth)装置146。USB控制器140还将USB连接提供给其他各种USB连接装置142，例如鼠标、可移除非易失性存储装置145、调制解调器、网卡、ISDN连接器、传真、打印机、USB集线器以及许多其他类型的USB连接装置。虽然可移除非易失性存储装置145示出为USB连接装置，但是可移除非易失性存储装置145可以使用例如火线(Firewire)接口等的不同接口来连接。
无线局域网(LAN)装置175经由PCI总线或PCIExpress总线172连接至南桥135。LAN装置175通常实现空中调制技术的IEEE802.11标准之一，空中调制技术均使用同一协议在信息处理系统100与另外的计算机系统或装置之间进行无线通信。光学存储装置190使用串行ATA(SATA)总线188连接至南桥135。串行ATA适配器和装置通过高速串行链路进行通信。串行ATA总线还将南桥135连接至其他形式的存储装置，例如硬盘驱动器。例如声卡的音频电路160经由总线158连接至南桥135。音频电路160还提供例如下述的功能：音频线输入和光学数字音频输入端口162、光学数字输出和耳机插口164、内部扬声器166、以及内部麦克风168。以太网控制器170使用例如PCI总线或PCIExpress总线的总线连接至南桥135。以太网控制器170将信息处理系统100连接至计算机网络，例如局域网(LAN)、互联网和其他公共计算机网络和专用计算机网络。
虽然图1示出了一种信息处理系统，但是信息处理系统可以采取许多形式。例如，信息处理系统可以采取下述形式：桌上型计算机、服务器、便携式计算机、膝上型计算机、笔记本计算机或其他外形的计算机或数据处理系统。另外，信息处理系统可以采取其他外形，例如个人数字助理(PDA)、游戏装置、ATM机、便携式电话装置、通信装置或包括处理器和存储器的其他装置。
在图1中示出并且在本文中描述的用于提供安全功能的可信平台模块(TPM195)仅是硬件安全模块(HSM)的一个示例。因而，在本文中描述并且要求保护的TPM包括任何类型的HSM，该HSM包括但不限于，符合题为“可信平台模块(TPM)规范版本1.2.”的可信计算组织(TCG)标准的硬件安全装置。TPM是可以被并入许多信息处理系统中的硬件安全子系统，例如图2中概述的那些信息处理系统。
图2提供了图1中所示的信息处理系统环境的扩展以说明在本文中描述的方法可以在操作于联网环境下多种信息处理系统上执行。信息处理系统的类型的范围是从例如手持计算机/移动电话210的小型手持装置到例如主机计算机270的大型主机系统。手持计算机210的示例包括个人数字助理(PDA)；个人娱乐装置，例如MP3播放器、便携式电视机和光盘播放器。信息处理系统的其他示例包括笔式计算机或平板计算机220、膝上型计算机或笔记本计算机230、工作站240、个人计算机系统250以及服务器260。未在图2中单独示出的其他类型的信息处理系统的由信息处理系统280来表示。如所示出的，各种信息处理系统可以使用计算机网络200而联网在一起。可以用于对各种信息处理系统进行互连的计算机网络的类型包括局域网(LAN)、无线局域网(WLAN)、互联网、公共交换电话网(PSTN)、其他无线网络以及可以用于对信息处理系统进行互连的任何其他网络拓扑。许多信息处理系统包括非易失性数据存储装置，例如硬盘驱动器和/或非易失性存储器。图2中所示的信息处理系统中的一些信息处理系统描绘了分立的非易失性数据存储装置(服务器260利用非易失性数据存储装置265，主机计算机270利用非易失性数据存储装置275，并且信息处理系统280利用非易失性数据存储装置285)。非易失性数据存储装置可以是各种信息处理系统外部的部件或者可以在信息处理系统中的一个信息处理系统的内部。另外，可以使用各种技术，例如将可移除非易失性存储装置145连接至USB端口或信息处理系统的其他连接器，来在两个或更多个信息处理系统之间共享可移除非易失性存储装置145。
图3至图8示出了识别用户的期望交互层(透明层或应用层)以及用户的期望输入类型(手势或手写)二者的方法。透明层使用户能够在任何应用或窗口上写入并且将所识别的文本发送至适当的文本输入栏或文档区。然而，在用户正在写入时，他们还想要控制下面的应用的能力，例如滚动按钮、点击按钮等。用户输入的加权属性确定期望交互层以及期望输入类型。
针对期望交互层，该方法基于事件源类型来直接过滤运动事件。例如，如果可以将笔型事件与手指、鼠标等区分开，则使除笔之外的所有事件由下面的应用来处理。非笔事件可以直接到达目标应用，或者首先由透明层消耗并且之后重新注入。如果透明层不使用笔悬停事件，则也应当过滤该笔悬停事件。持续地监视笔事件。针对单个笔划，如果起始点或大多数点坐标超过某个判断点或阈值，则该笔划可以全部地或部分地被视为与下面的应用交互而不是手写输入。该判断点或阈值可以为从文本输入区边界至点坐标的2D欧氏距离。将存储历史事件以用于随后的可能的注入。手写输入事件将被擦除并且因而将不被注入到应用。针对多个连续的笔划，之前的笔划和之后的笔划之间的关系可以帮助判断并且校正已经做出的判断。例如，针对以非常小的时间差创建的若干个笔划，如果之后的笔划被视为手写，则之前的笔划将得到更高的作为手写的可能性，而不是甚至还被视为应用交互。另外，该方法分析针对应用交互所常见的触摸手势，例如单击、长按等。
透明IME(透明层)是用户能够使用墨水笔划例如圆、中划线等在文本输入区进行排版的模型。除手写形状之外，其他直接触摸手势例如单击也可以用作命令。例如，用户可能希望写入“o”而不是圆手势，希望写入“-”而不是中划线手势或者希望写入“.”而不是单击手势。
手写和手势输入基于上下文具有不同的含义。上下文可以为用户输入下面的内容。例如，如果下面存在排版，则该用户输入更可能为手势，或者如果下面存在按钮，则该用户输入更可能为手势。针对单击输入，如果点击点几何特征在距光标位置的某个距离阈值内，则该单击输入更可能为句点输入。如果用户输入形状尺寸小，则不太可能为手势，并且更可能为手写。如果用户输入之间存在少的时间，则更可能是连续的手写输入，因此不太可能是手势类型输入。通过在应用输入之前将识别结果与置信分数进行比较，可以将用户输入识别为手势或手写。该比较还可以发生在应用识别之后并且将文本结果发送至输入栏，如果新的输入使整体内容更合乎逻辑，则用户输入更可能为手写输入。针对手势，基于之前的用户输入来调整手势概率权重。通过持续地监视用户输入，最近的用户输入可以得到不同的概率权重以被视为手势或手写。如果用户输入方向与正常手写方向相反，则更可能为手势，例如从右至左的中划线手势。
图3A是描绘用于向应用层与透明层二者进行手写和打字的基于手指的输入和基于笔的输入的俯视图。触摸屏装置具有触摸屏表面，用户可以使用包括手指370和笔型工具360的多种输入装置350在触摸屏表面上输入手写和手势。
透明层被示出为在触摸屏表面上的虚拟“覆盖”。用户能够使用多种手势输入并且在一些情况下使用手写输入、利用触摸屏输入装置350来与透明层310交互。透明层310以下是一个或更多个应用320可能驻留的应用。不像透明层310，应用320在触摸屏装置300的表面上对用户可见。输入栏325可以根据显示的应用的类型而呈现在所显示的应用320中。另外，指示所输入文本将置于屏幕上何处的光标330可以为触摸屏装置300的表面上的可见部件。在所示的示例中，光标当前在所显示的应用的输入栏中的一个输入栏中。软键盘340可以基于应用层中所显示的应用而显现，或者可以在透明层请求文本输入的情况下显现。当软键盘340可见时，引导至软键盘区的键的用户输入将输入相应字符，与按下物理键盘上的字符的效果类似。
图3B是描绘用于向应用层与透明层二者进行手写和打字的基于手指的输入和基于笔的输入的侧视图。该视图示出了透明层380虚拟地驻留在应用层390上。使用图4至图8所示的处理和步骤，系统对引导至透明层380的用户输入与引导至应用层390的那些输入进行区分。另外，系统区分作为手势类型输入的用户输入与作为手写类型输入的用户输入。手势类型输入使得用户能够基于由用户使用输入装置350向装置提供的用户输入或触摸来控制触摸屏装置300。手势的类型包括下述手势：用于滚动显现在触摸屏表面上的虚拟窗口并且观看虚拟屏幕的另一部分的“平移”、用于使触摸屏装置上的项目更大或更小地显现的“缩放”、用于沿圆周方向移动诸如图片或地图的项目的“旋转”、以及观看菜单和其他装置交互项目。
系统基于在系统处接收的用户输入的属性来识别期望交互层(透明层或应用层)并且基于用户输入的属性来识别由用户期望的输入的类型(手写或手势)。识别为期望至透明层的用户输入被引导至透明层，而识别为期望至应用层的输入被引导至应用层，或者更具体地显现在应用层中的应用。识别为手势的输入同样在期望交互层中被处理。例如，引导至透明层的“平移”手势将对显现在触摸屏装置300上的虚拟窗口进行平移，例如以使当前为“画外屏幕”的其他应用成为“画内屏幕”并且对用户可见。引导至应用层的同一“平移”手势将对应用层中的应用进行平移，例如使显现在应用中的项目的列表滚动。同样，识别为手写的用户输入也被这样处理。如果手写被引导至文本输入栏，则将手写转换成其相应文本(例如，将手写“a”转换成文本“a”等)并且作为文本数据输入至系统。以此方式，用户能够将手写用户输入引导至应用中的输入栏，并且系统不仅将识别出该输入意图针对应用层，而且认识到该手写意图被作为栏的输入，将手写转换成文本并且将文本输入到输入栏内。
图4是示出由设置处理采取的步骤的流程图。图4在400处开始并且示出了由基于在触摸屏装置处接收的用户输入来识别期望输入类型与期望目标层二者的处理所采取的步骤。在步骤405处，该处理检查可能已经由用户构建并且存储在配置数据存储装置中的用户配置数据410。该处理确定用户是否已经构建了配置设置(判断415)。如果用户配置设置可用，则判断415分支至“是”分支，从而，在步骤420处，该处理读取由用户构建的用户配置设置。另一方面，如果用户尚未建立配置设置，则判断415分支至“否”分支，因此，在步骤425处，该处理使用缺省设置而不是用户定义的配置设置。
在步骤430处，该处理将在触摸屏装置300处接收的用户输入存储在存储区435中。在步骤440处，该处理对关于期望交互层和期望输入类型的权重进行初始化。期望交互层是透明层或者应用层，并且期望输入类型是手写输入类型或者手势输入类型。当由预定义处理450和460来处理用户输入时，基于与接收到的用户输入相关联的属性来调整权重。具有较高权重的选项被选择为用户的期望选项。例如，如果在执行预定义处理450之后，手势类型输入具有比手写类型输入高的权重，则手势类型输入被识别为用户的期望输入类型。同样，如果在执行预定义处理460之后，应用层具有比透明层高的权重，则应用层被识别为用户的期望交互层。
在预定义处理450处，该处理执行识别期望输入类型例程(对于处理细节，参见图5以及相应的文本)。将由预定义处理450识别的期望输入类型存储在存储区455中。期望输入类型被识别为手势输入类型或手写输入类型。
在预定义处理460处，该处理执行识别期望交互层例程(对于处理细节，参见图6以及相应的文本)。将由预定义处理460识别的期望交互层存储在存储区465中。期望交互层被识别为透明层或应用层。
在预定义处理470处，该处理执行期望目标层和输入类型的上下文测试例程(对于处理细节，参见图7以及相应的文本)。上下文测试将用户输入作为期望输入类型(手写或手势)应用于所识别的交互层。上下文测试的结果显现在触摸屏装置上，在该触摸屏装置处，上下文测试的结果对用户可见。在预定义处理475处，该处理执行对应用期望例程的用户响应(对于处理细节，参见图8以及相应文本)。当用户观看在预定义处理470中所执行的上下文步骤的结果时，用户能够指示期望交互层不正确，期望输入类型不正确还是上述二者均不正确。在预定义处理475处接收来自用户的该响应。例如，装置可以被配置成：如果在执行上下文测试之后的预定时间间隔内用户从一侧至另一侧摇动装置，则用户响应指示该期望交互层不正确，在该时间间隔内上下摇动指示期望输入类型不正确，并且对角地摇动指示预定交互层与期望输入类型二者均不正确。
该处理确定关于期望交互层与期望输入类型二者的识别是否正确(判断480)。如果一个或更多个识别不正确，则判断480分支至“否”分支，从而，在步骤485处，该处理基于用户响应(例如，在预定时间间隔内上/下、左/右、对角地等摇动装置)来改变所识别的交互层和/或所识别的输入类型。例如，如果预定义处理450不正确地将期望输入类型识别为手势，则在步骤485处将期望输入类型改变为手写输入类型。同样，如果预定义处理460不正确地将期望交互层识别为透明层时，则在步骤485处可以将期望交互层改变为应用层。
然后该处理循环回到预定义处理470以重新执行更新的期望输入类型和/或期望交互层的上下文测试。该循环继续，直到用户期望的识别正确为止。当期望输入类型与期望交互层二者的识别均正确时，判断480分支至“是”分支，从而，在步骤490处，该处理将用户输入与所得到的所识别的期望交互层和所识别的期望输入类型一起存储在历史数据存储装置中495。将历史数据与用户输入进行比较以找到用户输入的相似性，使得先前的对期望输入类型和期望交互层的有效识别可以用于随后的对装置的使用中。
图5是示出由针对接收到的触摸屏输入识别期望输入类型的处理所采取的步骤的流程图。在步骤500处，该处理基于在触摸屏装置处的用户输入来识别期望输入类型。在步骤505处，该处理将接收到的用户输入与先前的已经被处理的用户输入以及与这样的先前的用户输入相关联的期望输入类型的历史数据进行比较。该处理确定是否在历史数据中找到类似的输入集合(判断510)。如果在历史数据中找到类似的输入集合，则判断510分支至“是”分支，从而，在步骤515处，该处理对输入类型(手写或手势)进行加权以支持在输入历史中找到的与类似的用户输入集合相关联的先前的输入类型。另一方面，如果在历史数据中未找到类似的输入集合，则判断510分支至“否”分支而绕过步骤515。
该处理确定是否在相对短的时间量内接收到多个用户输入(判断520)。如果在相对短的时间量内接收到多个输入，则判断520分支至“是”分支，从而，在步骤525处，增大手写输入类型的加权。另一方面，如果在相对短的时间量中未接收到多个输入，则判断520分支至“否”分支，从而，在步骤525处，增大手势输入类型的加权。
在步骤535处，该处理选择从触摸屏装置的用户接收到的第一用户输入。该处理确定所选择的用户输入是否具有将所选择的用户输入置于接近或靠近显示在屏幕上的光标的当前坐标的坐标属性(判断540)。如果所选择的用户输入接近当前光标位置，则判断540分支至“是”分支，从而在步骤545处，增大手写输入类型的加权。另一方面，所选择的用户输入不接近当前坐标位置，则判断540分支至“否”分支，从而在步骤550处，增大手势输入类型的加权。
该处理确定在接收到用户输入的同时是否在屏幕上显现软键盘(判断555)。如果在接收到用户输入的同时在屏幕上显现软键盘，则判断555分支至“是”分支，从而在步骤560处，增大手势输入类型的加权。另一方面，如果在接收到用户输入的同时在屏幕上未出现软键盘，则判断555分支至“否”分支，从而在步骤565处，增大手写输入类型的加权。
该处理确定用户输入的尺寸与能够触摸的屏幕的尺寸相比是否相对小(判断570)。如果用户输入的尺寸相对小，则判断570分支至“是”以进行进一步处理。另一方面，如果用户输入的尺寸并非相对小，则判断570分支至“否”分支，从而，在步骤590处，增大手势输入类型的加权。在来自判断570的“是”分支之后，该处理下一步确定用户输入是否是屏幕上的点击(判断575)。如果用户输入是屏幕上的点击，则判断575分支至“是”分支，从而，在步骤580处，增大手势输入类型的加权。另一方面，如果用户输入不是屏幕上的点击，则判断575分支至“否”分支，从而，在步骤585处，增大手写输入类型的加权。
该处理确定是否在触摸屏装置处接收到来自用户的更多的用户输入(判断595)。如果存在更多的用户输入，则判断595分支至“是”分支，该“是”分支循环回到步骤535以选择并且处理下一用户输入。该循环继续，直到没有要处理的用户输入为止，在该点处判断595分支至“否”分支，并且该处理在599处返回至调用例程(参见图4)。该例程基于在例程的执行期间接收到的输入类型(手写或手势)的最大权重来返回期望输入类型。
图6是示出由针对接收到的触摸屏输入识别期望交互层的处理所采取的步骤的流程图。在步骤600处，该处理基于在触摸屏装置处接收的用户输入来识别期望交互层。在步骤605处，该处理将接收到的用户输入与先前的已经被处理的用户输入以及与这样的先前的用户输入相关联的期望交互层的历史数据进行比较。该处理确定是否在历史数据中找到类似的输入集合(判断610)。如果在历史数据中找到类似的输入集合，则判断610分支至“是”分支，从而，在步骤615处，该处理对期望交互层(透明层或应用层)进行加权以支持在输入历史中找到的与类似的用户输入集合相关联的先前的期望交互层。另一方面，如果在历史数据中未找到类似的输入集合，则判断610分支至“否”分支而绕过步骤615。
该处理确定是否在相对短的时间量内接收到多个用户输入(判断620)。如果在相对短的时间量内接收到多个输入，则判断620分支至“是”分支，从而，在步骤625处，增大应用层的加权。另一方面，如果在相对短的时间量内未接收到多个输入，则判断620分支至“否”分支，从而，在步骤625处，增大透明层的加权。
在步骤635处，该处理从在触摸屏装置处接收到的用户输入集合中选择第一用户输入。在判断640处，该处理确定输入的表面区域是否具有与笔类工具(例如，触控笔、笔等)一致的形状和尺寸，笔类工具比利用手指或其他非笔类工具进行输入的表面区域小。如果所选择的输入的表面区域来自笔类工具，则判断640分支至“是”分支，从而，在步骤645处，增大透明层的加权。另一方面，如果所选择的输入的表面区域并非来自笔类工具，则判断640分支至“否”分支，从而，在步骤650处，增大应用层的加权。
该处理确定所选择的输入是否具有在底层应用文本输入区内的坐标(判断655)。如果坐标接近底层应用区或者在底层应用区内，则判断655分支至“是”分支，从而，在步骤660处，增大应用层的加权。另一方面，如果坐标不接近底层应用区或不在底层应用区内，则判断655分支至“否”分支，从而，在步骤665处，增大透明层的加权。
该处理确定所选择的输入是否先前由图5中所示的例程识别为常见应用手势(判断670)。如果所选择的输入先前被识别为常见应用手势，则判断670分支至“是”分支，从而，在步骤675处，增大应用层的加权。另一方面，所选择的输入先前未被识别为常见应用手势，则判断670分支至“否”分支，从而，在步骤680处，增大透明层的加权。
该处理确定是否在触摸屏装置处接收到来自用户的更多的用户输入(判断690)。如果存在更多的用户输入，则判断690分支至“是”分支，该“是”分支循环回到步骤635以选择并且处理下一用户输入。该循环继续，直到不存在要处理的用户处理为止，在该点处，判断690分支至“否”分支并且在695处处理返回至调用例程(参见图4)。该例程基于在例程的执行期间接收到的交互层(透明层或应用层)的最大权重来返回期望交互层。
图7是示出在被引导至所识别的目标层的所识别的输入类型的触摸屏输入的上下文测试期间所采取的步骤的流程图。图7在700处开始并且示出了由执行上下文测试的处理所采取的步骤。在步骤704处，该处理从存储区708中获得关于输入类型和交互层的任何先前的尝试的响应(如果可用)。该处理确定用户响应是否可用(判断712)。如果用户响应不可用，则判断712分支至“否”分支以执行步骤716至764。在步骤716处，该处理保存原始系统和应用上下文。在步骤724处，该处理选择在图5中所示的处理期间接收到的较大权重的输入类型(手写或手势)。在步骤728处，该处理选择在图6中所示的处理期间接收到的较大权重的交互层(透明层或应用层)。该处理确定输入类型是否是“手势”输入类型(判断732)。如果输入类型是“手势”输入类型，则判断732分支至“是”分支，从而，在步骤736处，该处理将作为手势的输入应用于所选择的交互层(透明层或应用层)。另一方面，输入类型不是“手势”(而是“手写”)，则判断732分支至“否”分支，从而，在步骤740处，该处理将作为手写的输入应用于所选择的交互层(透明层或应用层)。
在步骤744处，该处理在输入的结果在屏幕上不可见的背景下测试输入。该处理确定对所选择的交互层的输入是否基于上下文而合乎逻辑(判断748)。如果对所选择的交互层的输入基于上下文而合乎逻辑，则判断748分支至“是”分支。另一方面，如果对所选择的交互层的输入基于上下文而不合乎逻辑，则判断748分支至“否”分支。在步骤752处，该处理从背景中擦除测试输入。在步骤756处，该处理根据需要来改变输入类型和/或交互层并且通过循环回到步骤744而在该背景下重新测试输入。在步骤760处，该处理将所测试的输入应用于前景(透明层或应用层)。然后在764处处理返回至调用例程(参见图4)。
返回至判断712，如果用户响应可用，则判断712分支至“是”分支以执行步骤768至步骤799。在步骤768处，该处理将原始系统和应用上下文应用于装置。该处理确定用户响应是否要撤销并且取消对装置所做的改变(判断772)。例如，装置可以被配置成：如果用户在预定时间间隔期间翻转装置，则响应被视为要撤销并且取消改变。如果用户响应要撤销并且取消对装置所做的改变，则判断772分支至“是”分支并且在766处处理结束。
另一方面，如果用户响应为不撤销并且不取消对装置所做的改变，则判断772分支至“否”分支以进行进一步处理。该处理确定响应是否指示不正确的期望输入类型(判断780)。例如，装置可以被配置成：在时间间隔内上下摇动装置指示期望输入类型不正确。如果从用户接收的响应指示不正确的期望输入类型，则判断780分支至“是”分支，从而，在步骤784处，该处理选择另一输入类型(具有较小权重的输入类型)。另一方面，如果从用户接收的响应不指示不正确的期望输入类型，则判断780分支至“否”分支而绕过步骤784。该处理确定用户响应是否指示所识别的期望交互层不正确(判断788)。例如，装置可以被配置成：如果在执行上下文测试之后的预定时间间隔内用户从一侧至另一侧摇动装置，则用户响应指示期望交互层不正确。如果用户响应指示所识别的期望交互层不正确，则判断788分支至“是”分支，从而，在步骤792处，选择具有较小权重的期望交互层(另一交互层)。另一方面，如果用户响应不指示所识别的期望交互层不正确，则判断788分支至“否”分支而绕过步骤792。在步骤796处，该处理将作为所选择的输入类型的用户输入应用于如用户指示的所选择的交互层。之后在799处处理结束。
图8是示出用于处理对触摸屏输入作为所识别的输入类型应用于所识别的目标层的用户响应所采取的步骤的流程图。在步骤805处，处理向用户呈现显示，该显示示出了在已经将所识别的输入类型(手势或手写)应用于所识别的交互层(透明或应用)之后的结果。该处理确定所识别的期望输入类型与所识别的期望交互层二者是否均不正确(判断810)。如果所识别的期望输入类型与所识别的期望交互层均不正确，则判断810分支至“是”分支以执行步骤815至835。
处理确定是取消操作还是使用不同输入类型和交互层来重新尝试输入(判断815)。如果用户想要取消操作，则判断815分支至“是”分支，从而，在步骤820处，用户执行取消响应(例如，翻转装置等)并且之后在825处，图8的处理返回至调用例程(参见图4)，指示用户想要取消该操作。
另一方面，如果用户想要使用另一输入类型和另一交互层来重新尝试输入，则判断815分支至“否”分支，因此，在步骤830处，用户执行重新尝试响应(例如，对角地摇动装置以指示输入类型与交互层二者均不正确等)，并且之后在835处，图8的处理以指示所识别的期望输入类型与所识别的期望交互层二者均不正确的响应返回至调用例程(参见图4)。
返回至判断810，如果所识别的期望输入类型与所识别的期望交互层二者均不正确，则判断810分支至“否”分支以执行步骤840至步骤870。用户确定所识别的期望输入类型是否不正确(判断840)。如果所识别的期望输入类型不正确，则判断840分支至“是”分支，从而，在步骤845处，用户执行例如上/下摇动装置的响应以指示所识别的期望输入类型不正确，并且在850处处理以所识别的期望输入类型不正确的指示返回至调用例程(参见图4)。
另一方面，如果所识别的期望输入类型正确，则判断840分支至“否”分支而绕过步骤845。用户确定所识别的期望交互层是否不正确(判断855)。如果所识别的期望交互层不正确，则判断855分支至“是”分支，从而，在步骤860处，用户执行例如从一侧至另一侧摇动装置的响应，以指示所识别的期望交互层不正确，并且在865处处理以所识别的期望交互层不正确的指示返回至调用例程(参见图4)。
另一方面，如果所识别的期望交互层正确，则判断855分支至“否”分支而绕过步骤860，并且在870处处理返回至调用例程(参见图4)，指示期望输入类型与期望交互层二者的识别均正确。在一个实施方式中，如果在预定时间间隔(例如，三秒等)内未接收到来自用户的响应，则所识别的期望输入类型和所识别的期望交互层被视为均正确。
虽然已经示出并且描述了特定实施方式，但是对于本领域技术人员将是明显的是，基于本文中的教示，可以在不背离本公开内容及其更广泛方面的前提下做出改变和修改。因而，所附权利要求在其范围内涵盖在本公开内容的真实精神和范围内的所有这样的改变和修改。此外，要理解的是，本发明由所附权利要求来唯一地限定。本领域技术人员将理解的是，如果特定数目的引入权利要求要素是期望的，则这样的期望将在权利要求中明确地陈述，并且在没有这样的陈述的情况下，不存在这样的限制。针对非限制性示例，作为对理解的辅助，所附权利要求包含引导性用语“至少一个”和“一个或更多个”的使用以引入权利要求要素。然而，即使当同一权利要求包括引导性用语“一个或更多个”或“至少一个”以及不定冠词例如“一个(a或an)”时，这样的用语的使用不应当被解释为意味着经由不定冠词“一个(a或an)”引入权利要求要素将包含这样的引入的权利要求要素的任何特定权利要求限制为包含仅一个这样的要素的他者；以上所述针对定冠词在权利要求中的使用同样成立。

Claims (14)

1.一种方法，包括：
在装置的触摸屏处接收一个或更多个用户输入，其中，
每个用户输入包括一个或更多个输入属性的集合，并且，
其中，所述触摸屏包括多个交互层，所述多个交互层包括透明层和应用层；
基于对所述输入属性的分析来从所述多个交互层中识别期望交互层；以及
将所述用户输入引导至所识别的期望交互层。
2.根据权利要求1所述的方法，还包括：
将接收到的用户输入与先前接收到的多个用户输入集合进行比较，其中，先前接收到的用户输入集合中的每个用户输入集合与先前的期望交互层对应；
基于所述的比较来选择先前接收到的用户输入集合中的一个用户输入集合；以及
针对与所选择的先前接收到的用户输入集合相关联的所述先前的期望交互层来对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
3.根据权利要求1所述的方法，还包括：
识别在其间在所述触摸屏处接收到所述一个或更多个用户输入的时间量，其中，所述一个或更多个用户输入包括多个用户输入；以及
响应于所述时间量是相对短的时间量，针对所述应用层对所述期望交互层进行加权，
其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
4.根据权利要求1所述的方法，还包括：
获得一个或更多个用户配置设置，所述一个或更多个用户配置设置指示关于笔类输入的第一用户优选交互层和关于手指类输入的第二用户优选交互层，其中，所述第一用户优选交互层和所述第二用户优选交互层选自所述透明层和所述应用层；
识别用于创建所述用户输入的输入工具，其中，所述的识别是基于所述用户输入在所述触摸屏上的检测表面区域宽度；
响应于识别出所述输入工具是笔类工具，针对所述第一用户优选交互层对所述期望交互层进行加权；以及
响应于识别出所述输入工具是手指工具，针对所述第二用户优选交互层对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
5.根据权利要求1所述的方法，还包括：
识别所述触摸屏上的一个或更多个坐标集合，其中，所述坐标集合中的每个坐标集合与所述一个或更多个用户输入中的一个用户输入对应；
获得所述触摸屏上的应用层坐标集合，其中，所述应用层坐标集合与显示所述应用层的屏幕区域对应；
将所述坐标集合与所述应用层坐标集合进行比较；以及
响应于所述坐标集合近似于所述应用层坐标集合，针对所述应用层对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
6.根据权利要求1所述的方法，还包括：
获得与所述应用层对应的多个常见应用手势；
将接收到的用户输入与所述多个常见应用手势进行比较；以及
响应于接收到的用户输入与所述常见应用手势中的一个或更多个常见应用手势相匹配，针对所述应用层对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
7.根据权利要求1所述的方法，还包括：
在所述引导之前保存所识别的期望交互层的状态；
在将所述用户输入引导至所识别的期望交互层之后的预定时间间隔内，在所述装置处接收指示不正确的识别的用户响应；
响应于在所述预定时间间隔内接收到所述用户响应，
获得所识别的期望交互层的所保存的状态；以及
将所述期望交互层恢复至所保存的状态。
8.一种信息处理系统，包括：
一个或更多个处理器；
触摸屏，所述触摸屏能够由所述处理器中的至少一个处理器访问；
存储器，所述存储器耦接至所述处理器中的至少一个处理器；
所述一个或多个处理器用于：
在装置的触摸屏处接收一个或更多个用户输入，
其中，每个用户输入包括一个或更多个输入属性的集合，并且其中，所述触摸屏包括多个交互层，所述多个交互层包括透明层和应用层；
基于对所述输入属性的分析来从所述多个交互层中识别期望交互层；以及
将所述用户输入引导至所识别的期望交互层。
9.根据权利要求8所述的信息处理系统，其中，所述一个或多个处理器还用于：
将接收到的用户输入与先前接收到的多个用户输入集合进行比较，其中，先前接收到的用户输入集合中的每个用户输入集合与先前的期望交互层对应；
基于所述的比较来选择先前接收到的用户输入集合中的一个用户输入集合；以及
针对与所选择的先前接收到的用户输入集合相关联的所述先前的期望交互层来对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
10.根据权利要求8所述的信息处理系统，其中，所述一个或多个处理器还用于：
识别在其间在所述触摸屏处接收到所述一个或更多个用户输入的时间量，其中，所述一个或更多个用户输入包括多个用户输入；以及
响应于所述时间量是相对短的时间量，针对所述应用层对所述期望交互层进行加权，
其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
11.根据权利要求8所述的信息处理系统，其中，所述一个或多个处理器还用于：
获得一个或更多个用户配置设置，所述一个或更多个用户配置设置指示关于笔类输入的第一用户优选交互层和关于手指类输入的第二用户优选交互层，其中，所述第一用户优选交互层和所述第二用户优选交互层选自所述透明层和所述应用层；
识别用于创建所述用户输入的输入工具，其中，所述的识别是基于所述用户输入在所述触摸屏上的检测到的表面区域宽度；
响应于识别出所述输入工具是笔类工具，针对所述第一用户优选交互层对所述期望交互层进行加权；以及
响应于识别出所述输入工具是手指工具，针对所述第二用户优选交互层对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
12.根据权利要求8所述的信息处理系统，其中，所述一个或多个处理器还用于：
识别所述触摸屏上的一个或更多个坐标集合，其中，所述坐标集合中的每个坐标集合与所述一个或更多个用户输入中的一个用户输入对应；
获得所述触摸屏上的应用层坐标集合，其中，所述应用层坐标集合与显示所述应用层的屏幕区域对应；
将所述坐标集合与所述应用层坐标集合进行比较；以及
响应于所述坐标集合近似于所述应用层坐标集合，针对所述应用层对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
13.根据权利要求8所述的信息处理系统，其中，所述一个或多个处理器还用于：
获得与所述应用层对应的多个常见应用手势；
将接收到的用户输入与所述多个常见应用手势进行比较；以及
响应于接收到的用户输入与所述常见应用手势中的一个或更多个常见应用手势相匹配，针对所述应用层对所述期望交互层进行加权，其中，对所述期望交互层的识别是基于施加于所述透明层和所述应用层的所述的加权。
14.根据权利要求8所述的信息处理系统，其中，所述一个或多个处理器还用于：
在所述引导之前保存所识别的期望交互层的状态；
在将所述用户输入引导至所识别的期望交互层之后的预定时间间隔内，在所述装置处接收指示不正确的识别的用户响应；
响应于在所述预定时间间隔内对所述用户响应的接收，
获得所识别的期望交互层的所保存的状态；以及
将所述期望交互层恢复至所保存的状态。
CN201510604611.1A 2014-12-15 2015-09-21 与透明层以下的应用层的交互方法及信息处理系统 Active CN105700727B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/570,184 2014-12-15
US14/570,184 US9733826B2 (en) 2014-12-15 2014-12-15 Interacting with application beneath transparent layer

Publications (2)

Publication Number Publication Date
CN105700727A true CN105700727A (zh) 2016-06-22
CN105700727B CN105700727B (zh) 2018-10-30

Family

ID=56082643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510604611.1A Active CN105700727B (zh) 2014-12-15 2015-09-21 与透明层以下的应用层的交互方法及信息处理系统

Country Status (3)

Country Link
US (1) US9733826B2 (zh)
CN (1) CN105700727B (zh)
DE (1) DE102015121870B4 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479802A (zh) * 2017-08-03 2017-12-15 深圳传音通讯有限公司 屏幕亮度调节方法及装置
CN111273847A (zh) * 2020-01-07 2020-06-12 北京字节跳动网络技术有限公司 一种页面处理方法、装置、电子设备及存储介质
CN111459343A (zh) * 2020-03-04 2020-07-28 深圳传音控股股份有限公司 一种移动终端及其输入操作方法、计算机存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015167511A2 (en) * 2014-04-30 2015-11-05 Empire Technology Development Llc Adjusting tap position on touch screen
KR102408649B1 (ko) * 2016-02-19 2022-06-15 삼성전자주식회사 환경 설정 방법 및 장치
JP6784115B2 (ja) * 2016-09-23 2020-11-11 コニカミノルタ株式会社 超音波診断装置及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046837A1 (en) * 2003-03-17 2008-02-21 Tim Beauchamp Transparent windows methods and apparatus therefor
CN102135838A (zh) * 2011-05-05 2011-07-27 汉王科技股份有限公司 分区输入手写字符串的方法和系统
CN102566933A (zh) * 2011-12-31 2012-07-11 广东步步高电子工业有限公司 一种全屏手写有效区分命令手势和字符的方法
CN102741784A (zh) * 2009-12-20 2012-10-17 凯利斯系统有限公司 一种数据输入系统的特征
CN103019530A (zh) * 2013-01-04 2013-04-03 深圳市中兴移动通信有限公司 基于手势识别的索引菜单的方法、装置及其终端
CN103020306A (zh) * 2013-01-04 2013-04-03 深圳市中兴移动通信有限公司 一种基于手势识别字符索引的查找方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5677710A (en) * 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5592608A (en) * 1993-10-15 1997-01-07 Xerox Corporation Interactively producing indices into image and gesture-based data using unrecognized graphical objects
US6966737B2 (en) * 2001-08-06 2005-11-22 Olympic Manufacturing Group, Inc. Deck screws suitable for use with composite lumber
US20030071850A1 (en) * 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US6938221B2 (en) * 2001-11-30 2005-08-30 Microsoft Corporation User interface for stylus-based user input
US7096432B2 (en) * 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US7002560B2 (en) 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
US7170502B2 (en) * 2003-04-04 2007-01-30 Seiko Epson Corporation Method for implementing a partial ink layer for a pen-based computing device
JP2006527439A (ja) * 2003-06-13 2006-11-30 ユニヴァーシティ オブ ランカスター ユーザインタフェース
US8587526B2 (en) * 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US9244545B2 (en) * 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
JP5644658B2 (ja) * 2011-05-10 2014-12-24 富士通株式会社 情報処理装置、入力制御方法および入力制御プログラム
US20120306749A1 (en) * 2011-05-31 2012-12-06 Eric Liu Transparent user interface layer
US20130298071A1 (en) 2012-05-02 2013-11-07 Jonathan WINE Finger text-entry overlay
JP2014032450A (ja) * 2012-08-01 2014-02-20 Sony Corp 表示制御装置、表示制御方法及びコンピュータプログラム
US20140354553A1 (en) 2013-05-29 2014-12-04 Microsoft Corporation Automatically switching touch input modes
JP6271881B2 (ja) 2013-06-26 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
KR20150020383A (ko) * 2013-08-13 2015-02-26 삼성전자주식회사 전자 장치 및 전자 장치의 검색 및 표시방법
US9360956B2 (en) * 2013-10-28 2016-06-07 Microsoft Technology Licensing, Llc Wet ink texture engine for reduced lag digital inking
TWI514229B (zh) * 2013-11-22 2015-12-21 Elan Microelectronics Corp 圖形編輯方法以及電子裝置
US9423908B2 (en) 2014-12-15 2016-08-23 Lenovo (Singapore) Pte. Ltd. Distinguishing between touch gestures and handwriting

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046837A1 (en) * 2003-03-17 2008-02-21 Tim Beauchamp Transparent windows methods and apparatus therefor
CN102741784A (zh) * 2009-12-20 2012-10-17 凯利斯系统有限公司 一种数据输入系统的特征
CN102135838A (zh) * 2011-05-05 2011-07-27 汉王科技股份有限公司 分区输入手写字符串的方法和系统
CN102566933A (zh) * 2011-12-31 2012-07-11 广东步步高电子工业有限公司 一种全屏手写有效区分命令手势和字符的方法
CN103019530A (zh) * 2013-01-04 2013-04-03 深圳市中兴移动通信有限公司 基于手势识别的索引菜单的方法、装置及其终端
CN103020306A (zh) * 2013-01-04 2013-04-03 深圳市中兴移动通信有限公司 一种基于手势识别字符索引的查找方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479802A (zh) * 2017-08-03 2017-12-15 深圳传音通讯有限公司 屏幕亮度调节方法及装置
CN111273847A (zh) * 2020-01-07 2020-06-12 北京字节跳动网络技术有限公司 一种页面处理方法、装置、电子设备及存储介质
CN111273847B (zh) * 2020-01-07 2021-07-20 北京字节跳动网络技术有限公司 一种页面处理方法、装置、电子设备及存储介质
CN111459343A (zh) * 2020-03-04 2020-07-28 深圳传音控股股份有限公司 一种移动终端及其输入操作方法、计算机存储介质

Also Published As

Publication number Publication date
CN105700727B (zh) 2018-10-30
DE102015121870A1 (de) 2016-06-16
US20160170632A1 (en) 2016-06-16
DE102015121870B4 (de) 2024-07-25
US9733826B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
US10409418B2 (en) Electronic device operating according to pressure state of touch input and method thereof
US9823762B2 (en) Method and apparatus for controlling electronic device using touch input
CN105700727A (zh) 与透明层以下的应用层的交互方法
US20150153897A1 (en) User interface adaptation from an input source identifier change
CN103914138B (zh) 接近传感器的手势的识别和用途
US9423908B2 (en) Distinguishing between touch gestures and handwriting
US20150160779A1 (en) Controlling interactions based on touch screen contact area
US20150160794A1 (en) Resolving ambiguous touches to a touch screen interface
US20110115814A1 (en) Gesture-controlled data visualization
EP3336675B1 (en) Electronic devices and input method of electronic device
US10990748B2 (en) Electronic device and operation method for providing cover of note in electronic device
US9182908B2 (en) Method and electronic device for processing handwritten object
US9025878B2 (en) Electronic apparatus and handwritten document processing method
US9710137B2 (en) Handedness detection
US20160098594A1 (en) Electronic apparatus, processing method and storage medium
CN106062672B (zh) 设备控制
US10146424B2 (en) Display of objects on a touch screen and their selection
US20200142582A1 (en) Disambiguating gesture input types using multiple heatmaps
CN112827171A (zh) 交互方法、装置、电子设备和存储介质
US10521108B2 (en) Electronic apparatus for detecting touch, method of controlling the same, and display apparatus including touch controller
JP6971671B2 (ja) 画像表示装置、画像表示システム及びプログラム
US20150062038A1 (en) Electronic device, control method, and computer program product
CN108780383B (zh) 基于第二输入选择第一数字输入行为
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
US11003259B2 (en) Modifier key input on a soft keyboard using pen input

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant