CN102067079A - 在用户界面显示上呈现教导动画 - Google Patents
在用户界面显示上呈现教导动画 Download PDFInfo
- Publication number
- CN102067079A CN102067079A CN2009801246468A CN200980124646A CN102067079A CN 102067079 A CN102067079 A CN 102067079A CN 2009801246468 A CN2009801246468 A CN 2009801246468A CN 200980124646 A CN200980124646 A CN 200980124646A CN 102067079 A CN102067079 A CN 102067079A
- Authority
- CN
- China
- Prior art keywords
- instruction
- clipboard
- animation
- instrument
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供了用于直观地显露教导动画的计算机可读介质、计算机化方法和计算机系统,该教导动画展示由书写板工具识别的手动手势。最初,询问书写板工具以确定与触摸屏界面相关联的计算环境的上下文。通常,确定包括基于文本是否在由书写板工具生成的内容输入区域内提供来识别书写板工具的当前情况、基于文本的一部分是否被选择来查明光标工具的焦点是否驻留在内容输入区域内以及基于当前情况和光标焦点来查明哪些动作可供在书写板工具处调用。计算环境的上下文被用来标识哪些教导动画要提升到活动状态。通常,所提升的教导动画与被查明为可供调用的动作相关联。
Description
背景
目前,操作系统提供了通过在呈现在显示设备(例如,计算机监视器、移动设备上的屏幕,等等)处的GUI中显露学习工具来帮助提供用户支持的各种实用程序。对学习工具(例如,在线支持、帮助目录,张贴的FAQ和公共库)的访问常常因错综复杂的帮助菜单路径而混乱。或者,这些学习工具的存在对可能受助于其中的内容的用户而言是不明显的或者完全未知的。
手势日益被用来触发计算设备内的动作。这些手势可以由用户在触摸屏设备处执行。特别地,执行手势涉及施加于触摸屏设备并且传递给用于解释的手写识别软件的自然交互移动。尽管这些自然交互动作通常易于执行,但对许多用户而言是新的,且对有经验的用户而言并不必定是本能的。因此,学习工具是用于传达要提供哪些手势以及用于教导用于执行手势的适当技术所必需的。但是,正如以上所讨论的,这些学习工具不容易获得,且通常难以发现。因此,将手势用作提供用户输入的替代形式被当前在使用常规方法来提供用户输入时更有效率的许多用户拒绝。
由此,采用用于在用户界面(UI)上显露可见地教导用户目前提供哪些手势以及如何正确地执行所提供的手势的动画手势的直观技术,在将手势用作用于与计算设备交互的主要技术时会增强用户体验。
概述
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
本发明的实施例提供用于在操纵书写板工具内的内容时在UI上显露教导动作的其上包含计算机可执行指令的计算机可读介质、计算机系统和计算机化方法。具体而言,提供用于启动展示手动手势的教导动画的直观技术,其中当手动手势被适当地执行时,在书写板工具处调用动作。
最初,监视计算设备处的计算环境的上下文。在各实施例中,监视上下文或计算环境的状态涉及下列动作中的一个或多个:确定书写板工具的当前情况;标识由书写板工具生成的内容输入区域内的光标工具的焦点;以及基于当前情况和光标工具的焦点来查明哪些动作可供调用。基于该上下文,且具体地基于可供调用的动作,标识要提升到活动状态的教导动画。即,被提升到活动状态的教导动画还各自映射到被查明为目前可供调用的动作。处于活动状态的这些教导动画的表示可以被呈现在UI显示器处(例如,作为工具栏或单独的手势面板上的触发按钮或图标),由此告知用户哪些手势可以被执行和/或被展示。
用户发起的输入可以与其上显露的书写板工具相关联地施加到触摸屏界面,从而导致操作系统启动处于活动状态的教导动画中的一个或多个。用于启动教导动画的适当的用户发起的输入可以包括指示在触摸屏界面处指示教导动画的表示(例如,接触触摸屏界面上显露图标或触发按钮的位置),或者执行对应于映射到教导动画的手动手势的命令。教导动画被起动的信号可以被呈现在触摸屏界面处。在一种情况下,呈现包括在不遮挡由书写板工具生成的内容输入区域的独立显示区域中播放所指示的教导动画。播放教导动画通常包括显示模型手/笔适当地执行示例性或目标文本的手动手势的视频。在查看视频后,用户可以尝试通过模仿教导动画来执行所展示的手动手势。一旦手动手势被适当地执行和并在触摸屏界面处被接收到,就基于哪一动作映射到所接收的手动手势来在书写板工具处调用动作(例如,编辑动作或管理动作)。在各实施例中,管理动作包括下列命令中的至少一个:插入单词、打开文件或关闭工具。相反,编辑动作包括下列命令中的至少一个:删除单词、联结单词、拆分单词或改正单词或添加空格。
附图简述
下面参考附图详细描述本发明,附图中:
图1是适用于实现本发明的实施例的示例性计算环境的框图;
图2是根据本发明的实施例的适用于实现本发明的实施例的示例性系统体系结构的示意图;
图3是根据本发明的实施例的示出与处于活动状态的教导动画的表示相关联的显露的书写板工具的用户界面显示的图示;
图4-7是根据本发明的实施例的示出教导在识别出适当的用户发起的输入后揭示教导动画的各帧的各阶段的渐进UI显示;以及
图8和9是示出用于启动展示手动手势的教导动画的过程的操作流程图,该过程根据本发明的实施例来在合适的示例性系统体系结构上实现。
详细描述
此处用具体细节描述本发明以满足法定要求。然而,该描述本身并非旨在限制本专利的范围。相反,发明人设想所要求保护的主题还可结合其他当前或未来技术按照其他方式来具体化,以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。此外,尽管术语“步骤”和/或“框”可在此处用于指示所采用的方法的不同元素,但除非而且仅当明确描述了各个步骤的顺序时,该术语不应被解释为意味着此处公开的各个步骤之中或之间的任何特定顺序。
本发明的各实施例提供了其上包含计算机可执行指令的计算机可读介质、计算机系统和计算机化方法,其用于显露指示提供哪些手动手势以供执行的教导动画的表示以及用于在接收到适当的用户发起的动作时自动启动教导动画,由此展示在书写板工具处调用动作的适当执行的手动手势。
因此,在一方面,本发明的各实施例提供其上包含计算机可执行指令的一种或多种计算机可读介质,这些指令在被执行时执行一种用于启动用于展示手动手势的教导动画的方法。最初,该方法包括监视计算设备的计算环境的上下文。基于该上下文,确定要提升到活动状态的教导动画。与此同时或随后,可以与显露在计算设备的触摸屏界面上的书写板工具相关联地接收用户发起的输入。基于用户发起的输入,启动处于活动状态的教导动画中的一个或多个。在各实施例中,在触摸屏界面呈现启动一个或多个教导动画的指示。
在另一方面,提供用于确定哪些教导动画要提升到活动状态的计算机化方法。在各实施例中,该方法包括询问书写板工具以确定与触摸屏界面相关联的计算环境的上下文。通常,确定涉及但不限于下列步骤:基于在由书写板工具生成的内容输入区域内是否提供文本来识别书写板工具的当前情况;基于文本的一部分是否被指示来查明光标工具的焦点是否驻留在内容输入区域内;以及基于当前情况和光标的焦点来查明哪些动作可供在书写板工具处调用。计算环境的上下文可以被用来标识哪些教导动画要提升到活动状态。通常,标识特别地包括选择与可供调用的动作相关联的教导动画。所标识的教导动画可以被存储为驻留在活动状态中。在其他实施例中,该方法可以包括接收对应于手动手势的用户发起的命令、标识哪一教导动画映射到该手动手势以及自动启动所标识的教导手势。在一示例性实施例中,所启动的教导动画促使用户与调用映射到用户发起的命令的动作并行地执行该手动手势。
在又一方面,本发明的实施例涉及包含在其上提供用于启动教导动画的计算机可执行指令的一个或多个计算机存储介质上的计算机系统。通常,该系统包括但不限于下列的元件:监视组件、选择组件、输入组件、启动组件和呈现组件。监视组件监视计算设备的计算环境的上下文。在一种情况下,监视包括检索书写板工具的当前情况,正如以上所讨论的。选择组件基于该上下文来确定哪些教导动画要提升到活动状态。输入组件被配置成与显露在计算设备的触摸屏界面上的书写板工具相关联地接收用户发起的输入。启动组件基于用户发起的输入来启动播放处于活动状态的教导动画中的一个或多个。呈现组件在显露在触摸屏界面处的显示区域内显示播放教导动画。在各实施例中,教导动画提供用于编辑被提交给书写板工具的内容的手动手势的视频指示。
通常,本发明的实施例涉及在与书写板工具相关联地接收到用户发起的输入时启动教导动画。如此处所使用的,短语“书写板工具”不旨在是限制性的,且可以包含在操作期间的某一时刻能够经由触摸屏界面接收输入的任何应用程序。例如,书写板工具可以是接受施加到触摸屏界面的手动手势(例如,脚本手势、编辑手势等等)并利用一种形式的手写识别软件来解释手动手势的图形输入板个人计算机(PC)输入面板(TIP)。由此,TIP被部分地设计成实现提供更大的灵活性和更自然的书写体验的墨水-文本过程。在其他情况下,书写板工具可以包括书写板、字符板、屏上日记或白板、或用于在当被物理对象(例如,指尖、指示笔、笔)接触时检测输入的触摸屏设备上揭示输入区域的任何其他工具。此外,书写板工具可以包括手写识别软件,与常规输入设备(例如,键盘或语音识别)相比,手写识别软件允许用笔输入文本(例如,ASCII文本)并允许将笔施加的手势转换成动作。
转换成动作的一方面涉及标识哪些动作目前可供或被允许致动。通常,在此所使用的术语“动作”是指由书写板工具处理的命令的结果。例如,命令可以由在触摸屏处的用户发起的输入生成。基于所采用的用户发起的输入(例如,识别出的手势、轻击选择等等),操作系统和/或书写板工具可以生成调用特定动作的对应命令。作为示例,用户在触摸屏设备处发起的笔拖曳移动可以被识别为书写手势,其中用户正尝试向由书写板工具生成的内容输入区域添加内容。在这种情况下,调用映射到书写手势的起草动作,该动作导致用户发起的拖曳移动被转换成文本,且文本被呈现在内容输入区域处。
在另一示例中,特定的用户发起的拖曳移动可以被识别为映射到编辑动作或管理动作的手动手势。通常,编辑动作在被调用时对被提交给内容输入区域的内容执行各种操纵中的一种。在各实施例中,编辑动作可以包括下列命令中的至少一个:删除单词、联结单词、拆分单词、或改正单词、或添加空格。通常,管理动作在被调用时管理书写板工具的功能。在各实施例中,管理动作可以包括下列命令中的至少一个:插入单词、打开文件或关闭工具。
尽管以上已经描述用于生成对应的动作的若干不同手势,但本领域技术人员应理解和明白,在此构想被施加到触摸屏界面的、映射到多个不同类别的动作的各种其他手势,且本发明的实施例不限于所示出和描述的那些手势和动作。例如,用户发起的轻击类输入可以被识别为映射到用于按下触发按钮的致动动作的手动手势。
在各实施例中,可以从施加在触摸屏界面处的用户发起的拖曳操作中识别手势。触摸屏界面可以包括触摸屏显示器、电容触摸屏或相关领域中已知的任何其他触觉输入设备。如此处使用的,短语“拖拽移动”不意味着限制,且可涵盖重复表面上的拖拽接触的任何持续扫掠、准连续输入或递归输入链。在一种情况下,拖曳移动可以包括由书写板工具显露的内容输入区域内或与书写板相关联的工具栏或手势面板处的物理对象(例如,指示笔或手指的一部分)和触摸屏界面之的不间断接触。尽管相对于被施加到触摸屏界面的拖曳移动讨论,但本发明的实施例构想短语“手动手势”涵盖任何物理姿势。作为示例,在离触摸屏界面一定距离处摇动加速度传感指示笔可以包括手动手势。
在简要描述了本发明的各实施例的概览以及其中的一些窗口状态之后,下面将描述适于实现本发明的示例性操作环境。
概括地参考附图,并首先具体参考图1,示出了用于实现本发明的各实施例的示例性操作环境,并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例,并且不旨在对本发明的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。在一个实施例中,计算设备100是常规计算机(例如,个人计算机或膝上型计算机)。
在一个实施例中,本发明可以在由计算机或诸如个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令的一般上下文中描述,该机器可使用指令包括诸如程序组件之类的计算机可执行指令。一般而言,包括例程、程序、对象、组件、数据结构等的程序组件指的是执行特定任务或实现特定抽象数据类型的代码。本发明的各实施例可以在各种系统配置中实施,这些系统配置包括手持式设备、消费电子产品、通用计算机、专用计算设备等等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。
因此,以上描述的与计算设备100有关的组件也可被包括在互连到通信网络的移动设备中。如此处所描述的移动设备指的是任何类型的移动电话、手持式设备、个人数字助理(PDA)、智能电话、数码相机、或能够无线地通信的其他移动设备(除了膝上型计算机之外)。本领域的技术人员可以理解,移动设备也包括执行各种功能的处理器和计算机存储介质。此处所描述的各实施例提到计算设备和移动设备两者。在各实施例中,计算设备仅指运行其图像由移动设备中的照相机来捕捉的应用程序的设备。
继续参考图1,计算设备100包括直接或间接耦合以下设备的总线110:存储器112、一个或多个处理器114、一个或多个呈现组件116、输入/输出(I/O)端口118、I/O组件120、和说明性电源122。总线110可以是一条或多条总线(诸如地址总线、数据总线、或其组合)。虽然为了清楚起见利用线条示出了图1的各框,但是实际上,各组件的轮廓并不是那样清楚,并且比喻性地来说,线条更精确地将是灰色的和模糊的。例如,可以将诸如显示设备等的呈现组件认为是I/O组件。而且,处理器具有存储器。本领域的技术人员可以理解,这是本领域的特性,并且如上所述,图1的图示只是例示可结合本发明的一个或多个实施例来使用的示例性计算设备。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别,它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。
计算设备100通常包括各种计算机可读介质。作为示例而非限制,计算机可读介质可包括RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、DVD或其他光学或全息介质、磁带盒、磁带、磁盘存储或其他磁存储设备、或可被配置成存储与此处所描述的各实施例相关的数据和/或执行的类似的有形介质。
存储器112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的、或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、高速缓存、光盘驱动器等。计算设备100包括从诸如存储器112或I/O组件120等各种实体读取数据的一个或多个处理器。呈现组件116向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。
I/O端口118允许计算设备100逻辑上耦合至包括I/O组件120的其他设备,其中某些设备可以是内置的。说明性组件包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。
现在转向图2,示出了根据本发明的一实施例的适用于实现本发明的各实施例的示例性系统体系结构200的示意图。本领域技术人员将了解和明白,图2所示出的示例性系统体系结构200只是一个合适的计算环境的示例,而非旨在对本发明的使用范围或功能提出任何限制。该示例性系统体系结构200也不应被解释成对于此处所示出的任一组件或其组合有任何依赖或要求。
此外,操作系统220中支持示例性系统体系结构200的逻辑可被包含在诸如远程服务器(未示出)或其任意组合等的分布式计算环境所提供的计算设备215的内置处理组件225上。在分布式计算环境中实践的本发明的各实施例中,逻辑通信通过适当的连接来链接。这些连接可以是有线或无线的。在本发明的范围内,具体有线实施例的示例包括USB连接和电缆链接。本发明的范围内的具体无线实施例的示例包括近程无线网络和射频技术。应该理解和明白,“近程无线网络”的指定不旨在限制,且应该被广泛地解释以至少包括以下技术:协商无线外围(NWP)设备;近程无线空气干扰网络(例如,无线个人区域网(wPAN)、无线局域网(wLAN)、无线广域网(wWAN)、蓝牙等);无线对等通信(例如,超宽带);以及支持设备之间的数据的无线通信的任何协议。协商无线外围(NWP)设备;近程无线空气干扰网络(例如,无线个人区域网(wPAN)、无线局域网(wLAN)、无线广域网(wWAN)、蓝牙等);无线对等通信(例如,超宽带);以及支持设备之间的数据的无线通信的任何协议。此外,熟悉本发明的领域的人员应该理解,近程无线网络可通过各种数据传送方法来实现(例如,卫星传输、电信网络等)。因此,要强调的是,例如,计算设备215和容纳处理组件225中的部分或全部远程服务器之间的连接的各实施例不受描述的示例所限,而是涵盖各种各样的通信方法。
示例性系统体系结构200包括用于部分地支持处理组件225的操作的计算设备215。在其中计算设备215是例如图形输入板PC的示例性实施例中,触摸屏界面250可在操作上连接到计算设备215。计算设备215可以采取各种类型的计算设备的形式。仅作为示例,计算设备215可以是个人计算设备(例如,图1的计算设备100)、手持式设备(例如,个人数字助理)、移动设备(例如,膝上型计算机、蜂窝电话、媒体播放器)、消费者电子设备、各种服务器等。另外,计算设备可以包括被配置成在它们之间共享信息的两个或更多电子设备。
如上讨论的,在各实施例中,计算设备215包括触摸屏界面250和其上安装操作系统220的处理组件225(例如,硬件)。计算设备215被配置成在触摸屏界面250上呈现UI显示251。可在操作上耦合到处理组件225的触摸屏界面250可被配置成能够向用户揭示信息并从用户收集信息(如图2所示)的任何输入/输出设备,或者可被物理地分成呈现组件和输入组件。在各实施例中,呈现组件可以是适于用户呈现内容的设备,诸如监视器、电子显示板、触摸屏、液晶显示器(LCD)、等离子屏、一个或多个发光二极管(LED)、白炽灯、激光、电荧光光源、化学灯、弯曲灯线、和/或荧光灯、或任何其它显示类型、或可包括可视信息在其上投射的反射表面。在一个示例性实施例中,由呈现组件呈现的UI显示251被配置成呈现与书写板工具295相关联的内容输入区域235和/或揭示工具栏或手势面板(未示出)。在另一示例性实施例中,UI显示251能够呈现启动一个或多个教导动画的指示(未示出)。
提供输入组件以便接受用户发起的输入230,用户发起的输入230特别影响调用映射到从用户发起的输入230中识别的手势的特定动作。在一示例性实施例中,输入组件接收在显露在UI显示251上的内容输入区域235中所呈现的内容210处指示的用户发起的输入230。说明性输入组件包括触摸垫、图1的I/O组件120、或能够接收用户发起的输入230并向处理组件225传递该输入的指示的任何其他组件。
仅仅作为示例,输入组件可确定用户发起的输入230发起与其的接触的坐标位置(例如,用户发起的拖拽移动的源头的位置)、用户发起的输入230终止与其的接触的坐标位置(例如,用户发起的拖拽移动的释放位置)、以及其间的中间坐标位置。这些定义用户发起的输入230的坐标位置可附有时间戳,该时间戳由输入组件265用来解读来自用户发起的输入的手势,如下文中更全面地讨论的。此外,这些坐标位置可以与表示教导动画的图标的位置进行比较以确定是否启动教导动画中的一个或多个。
虽然上文中描述了触摸屏界面250的若干不同配置,本领域的普通技术人员应该理解和明白,可采用从物理接触或以其他方式接收输入的各种类型的组合呈现组件和输入组件作为触摸屏界面250,且本发明的各实施例不限于上文中示出和描述的那些示例。在一示例性实施例中,呈现组件和输入组件同时执行上述功能并且物理地组合以形成触摸屏界面250。
在另一示例性实施例中,触摸屏界面250是当被放置在通信设备(例如,伴随笔)的特定邻近度内时对该通信设备作出反应(例如,当伴随笔悬停在触摸屏界面250的表面附近时跟踪伴随笔的移动及其提供的输出)的活动数字化仪。因此,为了简明和清楚起见,输入组件和呈现组件以下将被统称为触摸屏界面250,该触摸屏界面250是在单个单元内提供显示器和输入元件两者的功能的触摸屏。
操作系统(OS)220一般是指管理处理组件的资源共享并向程序员提供用于访问这些资源的接口的软件。在操作中,操作系统220解释可包括作为输入数据260从触摸屏界面250传递的用户发起的输入230的系统数据。作为响应,操作系统220可以不按特定次序执行诸如以下过程等过程:监视计算设备215的计算环境的上下文,其中监视涉及检索书写板工具295的当前情况;基于上下文来确定哪些教导动画要提升至活动状态;检测与显露在计算设备215的触摸屏界面250上的书写板工具295相关联地施加的用户发起的输入230;基于用户发起的输入230来启动处于活动状态的教导动画中的一个或多个;以及在触摸屏界面250处播放所启动的教导动画。在各实施例中,播放教导动画(未示出)包括呈现用于编辑提交给书写板工具295的内容的适当地执行的手动手势的视频指示。
在一示例性实施例中,操作系统220在处理组件225上运行且支持包括书写板工具295的一个或多个应用程序的执行。在其他实施例中,操作系统220和/或书写板工具295可部分地或完全地驻留在远程定位的计算设备上(例如,在另一操作系统上、经由web地址位于服务器上等等)。
操作系统220的这种操作系统结构只是可以在处理组件225上运行的合适的结构的一个示例,而非旨在对本发明的使用范围或功能提出任何限制。所示操作系统220也不应被解释为对接收输入数据260或者向所示触摸屏界面250提供演示数据290(例如,关于教导动画的信息)中的任一个或组合有任何依赖或要求。此外,书写板工具295可被集成到操作系统220或处理组件225中,且在本质上和数量上是示例性的,且不应该被解释为限制。
在一示例性实施例中,操作系统220通过方便输入组件265、监视组件270、选择组件280、启动组件285、呈现组件275和书写板工具的操作来方便在接收到适当的用户发起的输入230时启动教导动画。操作系统275的这种示例性操作系统结构只是可以在处理组件225上运行的合适的结构的一个示例,而非旨在对本发明的使用范围或功能提出任何限制。所示出的操作系统220也不应被解释成对于所示出的组件265、270、275、280、285和295中的任一组件或其组合有任何依赖或要求。在某些实施例中,组件265、270、275、280、285和295中的一个或多个可被实现为独立应用程序。在其它实施例中,组件265、270、275、280、285和295中的一个或多个可以直接集成到计算设备215的触摸屏界面250中。仅仅作为示例,输入组件265的一部分可以驻留在触摸屏界面250上,由此帮助捕捉由物理对象205施加到该界面的用户发起的输入230。本领域普通技术人员将会理解,图2所示的组件265、270、275、280、285和295在本质和数量上是示例性的,并且不应被解释为限制。
因此,可以采用任何数量的组件来实现本发明的各实施例的范围内的所需功能。虽然为了清楚起见利用线条示出了图2的各组件,但是实际上,描绘各组件/元件的轮廓并不是那样清楚,并且比喻性地来说,线条更精确地将是灰色的和模糊的。此外,虽然图2的某些组件和设备被描述成各单独的框,但是该描绘在本质上和数量上是示例性的,不应该解释为限制(例如,虽然只示出了一个触摸屏界面250,但是,可以有更多的显示设备可操作地耦合到计算设备215,从而协作地运转以呈现UI显示251)。
最初,监视组件270被配置成监视计算设备215的计算环境的上下文。通常,监视包括检索书写板工具295的当前情况和查明光标工具245的焦点255。在各实施例中,检索当前情况涉及询问书写板工具295以便基于内容210(例如,文本、字母数字字符、图像等等)是否在由书写板工具295生成的内容输入区域235内提供来识别书写板工具295的当前情况。在各实施例中,查明光标工具245的焦点255涉及基于是否指示内容210的一部分来确定光标工具245的焦点255是否驻留在内容输入区域235内。在各种情况下,焦点255可以是插入点、对内容的选择、光标工具245在触摸屏界面250上的悬停位置或相关领域内已知的用于在UI显示251上提供指示的任何其他方法。作为示例,如图2所示,焦点255是在内容210内的项“ME”中的“M”和“E”之间的闪烁的占位符。
基于当前情况和光标工具245的焦点,查明可供在书写板工具295处调用的动作。例如,当内容输入区域235内不存在内容210时,可启用用于从其他源导入内容的管理动作。在另一种情况下,当内容210被提交给内容输入区域235时,可以启用用于对内容210内的文本或字符执行编辑的编辑动作。以上更全面地讨论了这些编辑动作。因此,在特定时刻变得可用的动作是上下文敏感的,由此将来自手上的任务的的任何用户决定减到最少,诸如不相关的动作。此外,尽管在此未明确地讨论,但可以监视各种其他因素以便在上下文敏感的环境中标识相关动作,且这些因素可以按相关领域中已知的任何方式与以上所讨论的所监视的因素组合。
选择组件280被配置成基于如由监视组件270查明的上下文和/或被允许调用的动作来确定哪些教导动画要提升到活动状态。在一个实施例中,确定包括标识被查明为目前可供调用的动作以及将映射到所允许的动作的那些教导动画提升到活动状态。例如,如果启用编辑动作,则展示用于改正、删除、拆分、联结或其他编辑命令的手动手势的教导动画被提升到活动状态。在图3的附图标记310处示出了对显露所提升的教导动画的表示的描绘。在另一种情况下,如果监视组件270启用管理动作,则展示用于插入内容、打开文件、其他文件/文档管理命令或其任何组合的手动手势教导动画被提升到活动状态。
在另一实施例中,选择组件280被配置成根据计算环境的上下文来标识一个或多个教导动画。即,基于书写板工具275的状态或在操作系统220上运行的任何其他应用程序的状态、和/或输入230的状态(例如,用户发起的输入的位置),创建相关教导动画的列表。由此,教导动画的这一列表是上下文敏感的,且被组织为直观地针对在用户在其中交互的书写板工具295的当前状态中的很有可能发生的问题。例如,如果计算环境的上下文指示用户当前正在撰写和编辑文章(即,通过检测内容输入区域235中的内容210),则潜在的问题可能与经由手势调用编辑动作有关。回答这些潜在的问题或换言之解释如何适当地执行用于调用编辑动作的手动手势的教导动画被提升到活动状态。
因此,当特定的手势是相关的时侯,基于书写板工具或计算环境的状态,解释这些手势的教导动画被提升到活动状态。但是,在触摸屏界面250断电或以其他方式离线以使得手动手势不再被预期为一种形式的用户发起的输入的情况下,教导动画不可以被提升到活动状态。如果比预定义阀值(例如,由分配到教导动画的表面表示的屏幕空间的有限面积确定的数字)所允许的更多的教导动画被提升到活动状态,则可以启动过滤过程以使较不相关的或较不上下文敏感的教导动画降级到非活动状态。
呈现组件275被部分地配置成呈现被提升到活动状态的教导动画的表示。暂时转到图3,现在将讨论呈现活动教导动画的表示的实施例。应当注意,在本说明书中描述的所有附图中,基本类似的特征或元素始终由共同的附图标记来描绘。
最初,图3是根据本发明的一实施例的示出与处于活动状态的教导动画315的表示相关联的显露的书写板工具295的UI显示251的图示。与图2的呈现组件275的一个实施例一致,呈现被提升到活动状态的教导动画315的表示的过程包括用邻接显露的书写板工具295的工具栏320来填充用于启动教导动画335的可选控件395。在另一实施例中,呈现被提升到活动状态的教导动画315的表示的过程包括在显露在邻近显露的书写板工具295的触摸屏界面220上的可平移手势面板310上填充教导动画315的图标表示311、312、313和314。在各实施例中,图标表示311、312、313和314中的每一个包括触发按钮340,触发按钮340当被致动时启动由此表示的对应的教导动画335。在各实施例中,提供被刻在触发按钮340中的每一个内的描述符,该描述符可见地揭示映射到教导动画315的表示的动作。在各种情况下,描述符可以包括描述性文本342,描述性文本342描述教导动画335、教导动画315的代表性的静态描绘341(例如,手势的简单图示)、图标内利用的其他已知指示符或其任何组合。
在图3所示的实施例中,教导动画315的表示包括编辑动作的图标表示311、312、313和314,编辑动作诸如改正动作(图标表示311处)、删除动作(图标表示312处)、拆分动作(图标表示313处)和联结动作(图标表示314处)。教导动画315的这些图标表示311、312、313和314可以在可单独地从显露的书写板工具295移开的手势面板310中显示。即,手势面板310独立于显露的书写板工具295漂浮在触摸屏界面220上。在另一个实施例中,编辑动作315的表示可以被配置成可选控件395,可选控件395被设置在工具栏320上,并由此被附连到显露的书写板工具295。通常,工具栏320上的可选控件395可以被扩大以将教导动画315的图标表示311、312、313和314表达为手势面板310内的触发按钮340。相反地,手势面板310内的触发按钮340可以被压缩以将教导动画315的图标表示311、312、313和314表达为工具栏320上的可选控件395。扩大和压缩的过程可以通过相关领域中已知的任何已知的触发器(例如,控制按钮)来执行。
此外,教导动画315的表示可以通过利用图2的呈现组件275的任何方法来显露。通常,教导动画315的表示揭示哪些教导动画可供指示用户如何适当地执行特定手动手势。通过提供可用教导动画310的视觉描绘,在用户纠结于提交或编辑内容210时促使用户利用这些学习帮手。因此,这些学习帮手是可容易地发现的,而不会长时间且低效地搜索帮助子菜单,并阻止用户在没有足够的引导下继续输入不正确的手势。
返回图2,输入组件265被配置成经由输入数据260与显露在计算设备215的触摸屏界面上的书写板工具250相关联地接收一个或多个用户发起的输入230。如上面所讨论的,用户发起的输入230可以是物理对象205相对于触摸屏界面250的拖曳移动,或可以由操作系统220检测的任何其他手动手势或命令。在一示例性实施例中,输入组件265被配置成解释用户发起的输入230并识别适当的响应。在识别出适当的响应之后,输入组件265可以将该响应传达给启动组件285。
启动组件285被配置成基于由输入组件265提供的响应来启动播放处于活动状态的教导动画中的一个或多个。具体地,启动组件285可以与选择组件280通信以理解哪些教导动画被提升到活动状态,或换言之,基于计算环境的上下文来理解哪些教导动画可供呈现。根据所接收的响应,不启动或者启动一个或多个活动的教导动画。
一般地,启动组件285处理来自输入组件265的响应以确定用户发起的输入230是否指示将要启动活动的教导动画。在一种情况下,如果用户发起的输入230被识别为施加在一个可选控件395(参见图3)或一个触发按钮340(参见图3)处的致动,则启动对应于所致动的可选控件或所致动的触发按钮的教导动画。作为示例,参考图3,如果用户发起的轻击类输入包括致动或按压具有改正动作的图标表示311的触发按钮340,则启动展示用于调用改正动作的适当地执行的手动手势345的教导动画335。
在另一种情况下,如果用户发起的动作包括执行对应于手动手势的二级二级命令,则可启动展示对应的手动手势的教导动画。例如,参考图3,可以在被提交到内容输入区域235的内容210内选择一部分文本。如先前所讨论的,所选文本部分被指定为焦点255。可以触发改正内容210的所选部分的二级二级指令。二级二级指令可以是采用除了手动手势之外的输入方法的任何用户发起的输入。在所示情况下,选择项“MANE”以供编辑,且通过二级来自键盘的键击输入(未示出)来采用二级命令以将错误拼写改为“MANY”。在此情况下,在检测到二级二级命令之后,启动组件285被配置成标识对应于二级二级命令的动作。在此情况下,因为二级二级命令被用来改正焦点255处的所选文本部分,所以改正动作被标识为对应于二级二级动作。
接下来,与对所选文本部分执行改正动作串行或并行地启动映射到该改正动作的教导动画335。由此,教导动作335自动地指示用户用于调用由二级二级命令触发的动作的手动手势是可用的和/或被允许的。此外,教导动作335自动向用户展示如何正确地执行用于调用由二级二级命令指示的动作的适当的手动手势。由此,向用户提供展示与用户习惯的常规输入(例如,二级命令)形成对比的提供输入的加速形式(例如,手动手势)的可自动发现的学习帮手。以此方式,自动地启动的教导动画向用户介绍并使用户熟悉用于将输入提供到触摸屏界面的各种各样的可用方法并鼓励用户使用这些方法。
尽管已经在此描述了用于启动教导动画的两种不同的方法,但本领域的普通技术人员应理解和明白,可以使用启动教导动画的其他类型的合适的方法,且本发明的各实施例不限于简单地致动控制/触发按钮或提供如在此描述的对应的二级命令。作为示例,尝试通过执行手动手势或其他形式的用户发起的输入来执行任务可以启动教导动画。在另一示例中,与识别出的手动手势相关联的一个或多个不适当的拖曳移动可以启动展示如何适当地执行手势的教导动画。通过经由上面的这些方法启动教导动画,由教导动画提供的辅助指示被集成在与书写板工具295(参见图2)的正常交互中并提供可容易地发现的学习帮手。
此外,在一示例性实施例中,可以提供触发控制,该触发控制分别允许用户或操作系统220(参见图2)手动地或自动地调整启动组件285处的启动设置。通过调整启动设置,用户或操作系统220可以规定教导动画是否在接收到对应的二级命令时自动启动和/或教导动画是否在检测到控制/触发按钮处的致动时启动。即,用户或操作系统220可以启用或禁用教导动画的启动。
返回图2,现在将讨论呈现组件275。一般地,呈现组件275被配置成在显露在触摸屏界面250处的显示区域330(参见图3)内以播放模式显示一个或多个已启动的教导动画。在各实施例中,显示区域330(参见图3)在呈现组件275向其传达演示数据290时显露在触摸屏界面250处。
参考图2,教导动画通常以播放模式提供用于编辑提交到显露的书写板工具295的内容210的手动手势345(参见图3)的视频指示。播放模式的教导动画可以按各种方式呈现给用户。在一个实施例中,可以在作为弹出窗口的显示区域内播放教导动画。通常,弹出窗口与显露的书写板工具295分开,不遮挡内容输入区域235,且呈现在触摸屏界面250的明显区域中,由此将用户的注意力吸引到教导动画。在此实施例中,由教导动画展示的手动手势可以施加到通用内容,或与内容输入区域235内由用户指示的的所选文本部分不相关的无特征文本。或者,由教导动画展示的手动手势可以被施加到基本上与内容输入区域235内的所选文本部分相似的项或短语。作为示例,参考图3,所选文本部分“MANE”可以由焦点255指示。由此,教导动画335可以是模型手和/或笔执行用于将类似的项“MANE”改为拼写“MANY”的手动手势345的视频。
尽管被讨论为模型手和/或笔执行手动手势的视频,但本领域的普通技术人员应理解和明白,教导动画可以是手动手势或关于如何执行这样的手动手势的指示的艺术呈现的任何图像。因此,相关领域中促进对如何执行手动手势的理解的任何已知的学习帮手可以被认为是教导动画。
在另一实施例中,继续参考图3,可以在内容输入区域235内播放教导动画335。在此实施例中,由教导动画335展示的手动手势345可以被直接施加到内容输入区域235内的焦点255处的所选文本部分。因此,有益的反馈可以被集成在内容输入区域235内。通过以这种方式呈现教导动画335,本发明的各实施例实现当用户执行特定撰写/编辑操作时指示或加强手动手势345的“在起草时学习“技术。
尽管已经描述了呈现教导动画335的两种不同的配置,但本领域的普通技术人员应理解和明白,可以使用用于在UI显示上播放教导动画335的其他类型的合适的位置,且本发明的各实施例不限于在如此处所描述的显示区域330或内容输入区域235处播放教导动画335。
在通过教导手势345的初始周期播放教导动画335之后,教导手势345可以重复或循环。在一个实施例中,教导手势345可以循环预定义次数(例如,一次、五次、五十次)。在另一个实施例中,教导手势345可以按连续播放模式循环,直到被用户发起的停止循环指示中断。在此实施例的一种情况下,用户发起的停止循环指示可以是取消输入,诸如施加到其中正在播放所启动的教导动画335的显示区域330的一部分的手动手势。在此实施例的另一种情况下,用户发起的停止循环指示可以是起草输入,诸如施加到由书写板工具295生成的内容输入区域235的手动手势345。检测到这些或其他预定义的手动手势相关联地,中断教导动画345的循环并且可隐藏显示区域330。
在感知到教导动画335后,用户可以尝试模仿所展示的手动手势345。如果用户成功地模仿手动手势345,或准确地模拟教导动画335,则由用户提供的手动手势被标识为被适当地执行。因此,在书写板工具295处调用映射到被适当地执行的手动手势的动作(例如,编辑动作或管理动作)。
现在转到图4-7,示出了根据本发明的各实施例的示出在识别出适当的用户发起的输入时揭示教导动画的各帧的各阶段的UI显示。最初,参考图4,描绘了包括其上显露的书写板工具295的示例性UI显示400。显露的书写板工具295包括内容输入区域235,该区域具有被提交到该区域的内容410。因为内容输入区域235内存在内容410,所以此上下文引导显露的书写板工具295呈现映射到编辑动作的教导动画415的表示。在其他实施例中,教导动画415的表示可以变化,可以映射到由显露的书写板工具295支持的其他动作,或者可通常基于底层动作的功能来经由不同的图标表示传达给用户。
如图4-7中所示,教导动画415的表示是填充在工具栏320上的可选控件395。尽管以可选控件395的形式描绘,但是教导动画415的表示可采取上面所讨论的任何形式,诸如填充在手势面板上的触发按钮,或可以被隐藏。
在各种情况下,可以选择或突出显示内容410的一部分,如焦点420所指示的。在致动映射到删除动作的可选控件425之后,显露显示区域330,显示区域330呈现对所选文本部分455执行手动手势495的教导动画450。因此,教导动画450是动态地将指示的目标确定为主题项、短语、图像等的相关的学习帮手。此外,可选控件425的致动可以通过用光标工具按压可选控件425或通过向可视地描绘的按钮/开关/控件施加致动的任何其他已知的方法来执行。
图5和图6分别描绘UI显示500和600,并示出教导动画450的高级帧。即,示出展示如施加到所选文本部分455的手动手势495的图像的示例性进展。在完成进展周期之后,该进展可以循环或可隐藏显示区域330。
转到图7,描绘了UI显示700,UI显示700示出具有在内容输入区域235内提供的内容410的显露的书写板工具295。在该实施例中,教导动画450被配置成在内容输入区域235内的所选文本部分455上展示手动手势495。如上面所讨论的,在用户致动可选控件425时,可启动教导动画450。在其他实施例中,在接收到调用映射到教导动画450的动作的二级命令时,可以启动教导动画。
现在转到图8和图9,示出了例示用于启动展示手动手势的教导动画的过程800的操作流程图,其中该过程根据本发明的实施例在合适的示例性系统体系结构上实现。参考图8,最初,安装在处理组件225上的操作系统动态地监视计算设备215的计算环境的上下文,如过程810所示。在一个实施例中,监视包括询问805计算设备215以确定哪些教导动画要提升到活动状态。在其他实施例中,监视计算环境包括没有特定次序的下列步骤:识别书写板工具的当前情况(参见过程811)、标识由书写板工具生成的内容输入区域内的光标的焦点(参见过程812)以及基于上下文和焦点来查明哪些动作可供调用(参见过程813)。
在查明哪些动作可供调用之后,标识映射到这些动作的教导动画并将其提升到活动状态。如过程815所示,可以暂时将所提升的教导动画存储为处于活动状态。另外,在UI显示处呈现这些教导动画的表示(如过程820所示)时,可以向用户提供哪些教导动画处于活动状态或可供启动的指示。通常,UI显示被呈现在触摸屏界面250上。
如附图标记825所示,在教导动画的所呈现的表示处指示的用户发起的输入可以经由用户与显露在触摸屏设备250上的书写板工具的交互来接收。在接收到输入后,可以执行过程830以用于启动一个或多个被提升到活动状态的教导动画。在一种情况下,启动可以涉及显露显示区域(参见过程832)和播放模型手/笔对所选文本执行手动手势的视频(参见过程835)。此外,在各实施例中,启动教导动画可以导致或不导致调用映射到该动画的动作。
参考图9,在触摸屏界面250上呈现启动教导动画的指示,如附图标记935所示。在各实施例中,如由附图标记940所示,可以与书写板工具相关联地接收用户发起的命令。如过程945所示,可将用户发起的命令标识为模仿所呈现的教导动画的手动手势。当被标识为这样时,基于所接收的手动手势来调用动作(例如,编辑动作、管理动作等等)。
参考各具体实施例描述了本发明,各具体实施例在所有方面都旨在是说明性的而非限制性的。在不背离本发明范围的情况下,各替换实施例对于本发明所属领域的技术人员将变得显而易见。
从前述内容可知,本发明很好地适用于实现前述的所有目的和目标,并且具有对于该系统和方法是显而易见的和固有的其它优点。可以理解,某些特征和子组合是有用的,并且可以在不参考其他特征和子组合的情况下使用。这由权利要求所构想的,并在权利要求的范围内。
Claims (20)
1.一种或多种其上具有计算机可执行指令的计算机可读介质,所述计算机可执行指令在被执行时执行一种用于启动展示手动手势的教导动画的方法,所述方法包括:
监视(810)所述计算设备的计算环境的上下文;
基于所述上下文,确定(813)哪些教导动画要提升到活动状态,其中所述教导动画被至少暂时存储在与所述活动状态一致的数据存储中;
与显露在计算设备的触摸屏界面上的书写板工具相关联地接收(825)用户发起的输入;
基于所述用户发起的输入,启动(830)处于所述活动状态的教导动画中的一个或多个;以及
在所述触摸屏界面处呈现(935)启动所述一个或多个教导动画的指示。
2.如权利要求1所述的一种或多种计算机可读介质,其特征在于,所述方法还包括:
在所述触摸屏界面处接收模仿所呈现的一个或多个教导动画的手动手势;以及
基于哪一个动作映射到所接收的手动手势来在所述书写板工具处调用编辑动作或管理动作。
3.如权利要求2所述的一种或多种计算机可读介质,其特征在于,监视计算环境的上下文包括:
确定所述书写板工具的当前情况;
标识由所述书写板工具生成的内容输入区域内的光标工具的焦点;以及
基于所述当前情况和所述光标工具的焦点来查明哪些动作可供调用。
4.如权利要求3所述的一种或多种计算机可读介质,其特征在于,所述方法还包括呈现被提升到所述活动状态的教导动画的表示,其中处于所述活动状态的教导动画各自映射到被查明为目前可供调用的动作。
5.如权利要求4所述的一种或多种计算机可读介质,其特征在于,呈现被提升到所述活动状态的教导动画的表示包括在邻接所述显露的书写板工具的工具栏上排列用于启动所述教导动画的可选控件。
6.如权利要求4所述的一种或多种计算机可读介质,其特征在于,呈现被提升到所述活动状态的教导动画的表示包括在显露在邻近所述显露的书写板工具的触摸屏界面上的可平移手势面板上组织所述教导动画的图标表示。
7.如权利要求6所述的一种或多种计算机可读介质,其特征在于,所述图标表示中的每一个包括触发按钮和被刻在所述触发按钮内的描述符,所述触发按钮被被致动时启动由此表示的教导动画,所述描述符可见地揭示映射到所述教导动画的动作。
8.如权利要求7所述的一种或多种计算机可读介质,其特征在于,与书写板工具相关联地接收用户发起的输入包括检测物理对象和所述触摸屏界面的书写表面之间的接触;其中所述接触发生在所述触发按钮处。
9.如权利要求3所述的一种或多种计算机可读介质,其特征在于,呈现启动所述一个或多个教导动画的指示包括在不遮挡由所述书写板工具生成的内容输入区域的单独显示区域中播放所述一个或多个教导动画,其中所述一个或多个教导动画包括模型手对无特征文本适当地执行所述手动手势的视频。
10.如权利要求9所述的一种或多种计算机可读介质,其特征在于,所述方法还包括:
使所述教导动画的播放循环预定义数量的周期;
检测被施加到其中正在播放所述一个或多个已启动的教导动画的显示区域的一部分的手动手势;以及
与检测到所述手动手势相关联地,中断所述教导动画的循环并隐藏所述显示区域。
11.如权利要求9所述的一种或多种计算机可读介质,其特征在于,所述方法还包括:
使所述教导动画的播放循环预定义数量的周期;
检测被施加到由所述书写板工具生成的内容输入区域的手动手势;以及
与检测到所述手动手势相关联地,中断所述教导动画的循环并隐藏所述显示区域。
12.如权利要求11所述的一种或多种计算机可读介质,其特征在于,所述方法还包括:
与检测到所述手动手势相关联地,确定所述手动手势是否被适当地执行,由此准确地模仿所述教导动画;
当所述手动手势被适当地执行时,在所述书写板工具处调用所述编辑动作,其中所述编辑动作映射到所述手动手势;以及
更改被提交到所述内容输入区域的内容。
13.如权利要求12所述的一种或多种计算机可读介质,其特征在于,确定所述书写板工具的当前情况包括:
确定内容是否被提交到所述书写板应用程序的内容输入区域;
当内容被提交到所述内容输入区域时,将映射到编辑动作的教导动画提升到所述活动状态;以及
当所述内容输入区域内缺少内容时,将映射到管理动作的教导动画提升到所述活动状态。
14.如权利要求13所述的一种或多种计算机可读介质,其特征在于,
所述管理动作包括下列命令中的至少一个:插入单词、打开文件或关闭工具,并且
所述编辑动作包括下列命令中的至少一个:删除单词、联结单词、拆分单词或改正单词或添加空格。
15.一种用于确定哪些教导动画要提升到活动状态的计算机化方法,所述方法包括:
询问(805)书写板工具以确定与触摸屏界面相关联的计算环境的上下文,其中确定包括:
(a)基于在由所述书写板工具生成的内容输入区域内是否提供文本来识别(811)所述书写板工具的当前情况;
(b)基于所述文本的一部分是否被指示来查明(812)光标工具的焦点是否驻留在所述内容输入区域内;以及
(c)基于所述当前情况和所述光标的焦点来查明(813)哪些动作可供在所述书写板工具处调用;
利用(810)所述计算环境的上下文来标识哪些教导动画要提升到活动状态,其中标识包括选择与可供调用的动作相关联的教导动画;以及
将所述教导动画至少暂时存储(815)为处于所述活动状态。
16.如权利要求15所述的计算机化方法,其特征在于,还包括:
接收对应于手动手势的用户发起的命令;
标识哪一教导动画映射到所述手动手势;以及
自动地启动所标识的教导手势以促使用户与调用映射到所述用户发起的命令的动作并行地执行所述手动手势。
17.如权利要求16所述的计算机化方法,其特征在于,还包括:
提供触发控件,所述触发控件允许用户禁止或允许在接收到与所标识的教导手势相关联的用户发起的命令时自动启动所标识的教导手势。
18.如权利要求15所述的计算机化方法,其特征在于,还包括:
显露以所述活动状态存储的教导动画中的一个或多个的表示;
接收指示以所述活动状态存储的教导动画的表示的用户发起的输入;以及
自动启动所指示的教导动画。
19.如权利要求18所述的计算机化方法,其特征在于,启动所指示的教导手势包括:
识别所述书写板工具的内容输入区域内的内容的一部分,其中所述内容部分通过所述光标工具的焦点来区分;以及
在所述内容输入区域内启动所指示的教导动画,其中启动包括:
(a)对所区分的内容部分施加通过所述教导动画重复的手动手势;以及
(b)循环对所述内容部分施加所重复的手动手势直到接收到用户发起的停止指示。
20.一种计算机系统,所述计算机系统被包含在一种或多种其上提供有用于启动教导动画的计算机可执行指令的计算机存储介质上,所述系统包括:
监视组件(270),所述监视组件(270)监视计算设备的计算环境的上下文,其中监视包括检索书写板工具(295)的当前情况;
选择组件(280),所述选择组件(280)基于所述上下文来确定哪些教导动画要提升到活动状态;
输入组件(265),所述输入组件(265)与显露在所述计算设备的触摸屏界面上的书写板工具(250)相关联地接收用户发起的输入;
启动组件(285),所述启动组件(285)基于所述用户发起的输入来启动播放处于所述活动状态的教导动画中的一个或多个;以及
呈现组件(275),所述呈现组件(275)在显露在所述触摸屏界面处的显示区域内显示一个或多个正在播放的教导动画,其中所述教导动画提供用于编辑被提交给所述书写板工具的内容的手动手势的视频指示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/145,237 | 2008-06-24 | ||
US12/145,237 US8566717B2 (en) | 2008-06-24 | 2008-06-24 | Rendering teaching animations on a user-interface display |
PCT/US2009/048527 WO2010008903A2 (en) | 2008-06-24 | 2009-06-24 | Rendering teaching animations on a user-interface display |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102067079A true CN102067079A (zh) | 2011-05-18 |
CN102067079B CN102067079B (zh) | 2013-12-18 |
Family
ID=41432540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801246468A Active CN102067079B (zh) | 2008-06-24 | 2009-06-24 | 在用户界面显示上呈现教导动画 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8566717B2 (zh) |
EP (1) | EP2288985B1 (zh) |
JP (1) | JP5442727B2 (zh) |
KR (1) | KR101548524B1 (zh) |
CN (1) | CN102067079B (zh) |
BR (1) | BRPI0912269B1 (zh) |
RU (1) | RU2506630C2 (zh) |
TW (1) | TWI459281B (zh) |
WO (1) | WO2010008903A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632576A (zh) * | 2012-08-29 | 2014-03-12 | 富志科技股份有限公司 | 教学系统 |
CN105103087A (zh) * | 2013-02-02 | 2015-11-25 | 奥迪股份公司 | 用于操作配置给车辆的装置的、系统发起的帮助功能-输入空格 |
CN106161181A (zh) * | 2015-03-27 | 2016-11-23 | 腾讯科技(深圳)有限公司 | 一种消息处理方法、装置及终端 |
WO2020186816A1 (zh) * | 2019-03-21 | 2020-09-24 | 广州视源电子科技股份有限公司 | 页面元素突出显示方法、装置、设备及存储介质 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
US8156116B2 (en) * | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
US8989431B1 (en) | 2007-07-11 | 2015-03-24 | Ricoh Co., Ltd. | Ad hoc paper-based networking with mixed media reality |
US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
US8196042B2 (en) * | 2008-01-21 | 2012-06-05 | Microsoft Corporation | Self-revelation aids for interfaces |
US9377857B2 (en) * | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
CN102480926A (zh) * | 2009-05-07 | 2012-05-30 | 阿博根公司 | 用于再生和转化树木的材料和方法 |
US9710097B2 (en) * | 2009-07-10 | 2017-07-18 | Adobe Systems Incorporated | Methods and apparatus for natural media painting using touch-and-stylus combination gestures |
US8335986B2 (en) * | 2009-08-26 | 2012-12-18 | Apple Inc. | Previewing different types of documents |
US8644354B2 (en) * | 2009-10-14 | 2014-02-04 | Verizon Patent And Licensing Inc. | Methods and systems for automatically registering a mobile phone device with one or more media content access devices |
US8634390B2 (en) * | 2009-10-14 | 2014-01-21 | Verizon Patent And Licensing Inc. | Systems and methods for wireless local area network based control of a set-top box device |
US9213480B2 (en) * | 2010-04-08 | 2015-12-15 | Nokia Technologies Oy | Method, apparatus and computer program product for joining the displays of multiple devices |
TWI438675B (zh) | 2010-04-30 | 2014-05-21 | Ibm | 提供情境感知援助說明之方法、裝置及電腦程式產品 |
US8519971B1 (en) * | 2010-08-30 | 2013-08-27 | Amazon Technologies, Inc. | Rendering content around obscuring objects |
US9164542B2 (en) * | 2010-08-31 | 2015-10-20 | Symbol Technologies, Llc | Automated controls for sensor enabled user interface |
US9152436B2 (en) * | 2010-10-05 | 2015-10-06 | Citrix Systems, Inc. | Gesture support for shared sessions |
KR101858531B1 (ko) | 2011-01-06 | 2018-05-17 | 삼성전자주식회사 | 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법 |
KR101795574B1 (ko) | 2011-01-06 | 2017-11-13 | 삼성전자주식회사 | 모션에 의해 제어되는 전자기기 및 그 제어 방법 |
US9047005B2 (en) | 2011-02-03 | 2015-06-02 | Sony Corporation | Substituting touch gestures for GUI or hardware keys to control audio video play |
US8990689B2 (en) * | 2011-02-03 | 2015-03-24 | Sony Corporation | Training for substituting touch gestures for GUI or hardware keys to control audio video play |
JP5585505B2 (ja) * | 2011-03-17 | 2014-09-10 | セイコーエプソン株式会社 | 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム |
CN102694942B (zh) * | 2011-03-23 | 2015-07-15 | 株式会社东芝 | 图像处理装置、操作方法显示方法及画面显示方法 |
US8497942B2 (en) | 2011-04-07 | 2013-07-30 | Sony Corporation | User interface for audio video display device such as TV |
US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
KR101457116B1 (ko) * | 2011-11-07 | 2014-11-04 | 삼성전자주식회사 | 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법 |
TW201328330A (zh) * | 2011-12-27 | 2013-07-01 | Hannstouch Solution Inc | 可無線傳送畫面之手持式電子設備及其組成之多媒體系統 |
JP5200174B1 (ja) * | 2012-01-31 | 2013-05-15 | 株式会社東芝 | 電子機器およびサーバー |
TWI485669B (zh) * | 2012-02-07 | 2015-05-21 | Univ Nat Chiao Tung | 演化學習遊戲裝置 |
CN102662664B (zh) * | 2012-03-28 | 2015-06-17 | 北京奇虎科技有限公司 | 界面动画实现方法及系统 |
JP2013218592A (ja) * | 2012-04-11 | 2013-10-24 | Seiko Epson Corp | 文字入力装置 |
TWI474295B (zh) * | 2012-05-18 | 2015-02-21 | Hanking Digital Tec Co Ltd | 輔助教學系統 |
TW201409425A (zh) * | 2012-08-22 | 2014-03-01 | Fu Zhi Technology Co Ltd | 教學系統 |
CN102981764B (zh) * | 2012-11-19 | 2018-07-20 | 北京三星通信技术研究有限公司 | 触控操作的处理方法及设备 |
USD732076S1 (en) * | 2013-01-04 | 2015-06-16 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with animated icon |
KR20140112911A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법 |
KR101522395B1 (ko) * | 2013-05-24 | 2015-05-26 | 테크빌닷컴 주식회사 | 자동차 정비 훈련 시스템 |
KR102292619B1 (ko) * | 2014-01-23 | 2021-08-23 | 삼성전자주식회사 | 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템 |
US10466876B2 (en) * | 2014-04-17 | 2019-11-05 | Facebook, Inc. | Assisting a user of a software application |
US9426203B2 (en) | 2014-06-27 | 2016-08-23 | Microsoft Technology Licensing, Llc | Remote application control interface |
US20140372844A1 (en) * | 2014-08-14 | 2014-12-18 | Amar Zumkhawala | Interface for capturing a digital image with real-time text |
CN104134428B (zh) * | 2014-08-22 | 2019-01-25 | 管存忠 | 一种点阵钟背景动画的设置方法 |
US10409443B2 (en) | 2015-06-24 | 2019-09-10 | Microsoft Technology Licensing, Llc | Contextual cursor display based on hand tracking |
DE102015214012A1 (de) | 2015-07-24 | 2015-10-08 | Carl Zeiss Smt Gmbh | Kippspiegel-Monitoring |
US10881713B2 (en) * | 2015-10-28 | 2021-01-05 | Atheer, Inc. | Method and apparatus for interface control with prompt and feedback |
USD778941S1 (en) | 2016-01-08 | 2017-02-14 | Apple Inc. | Display screen or portion thereof with graphical user interface |
DE102017219385A1 (de) * | 2016-11-13 | 2018-05-17 | Honda Motor Co., Ltd. | System und Verfahren zum Bereitstellen von Absolut- und Zonenkoordinatenabbildung mit Grafikanimationen |
USD844637S1 (en) | 2018-01-17 | 2019-04-02 | Apple Inc. | Electronic device with animated graphical user interface |
GB2578872B (en) * | 2018-11-09 | 2021-04-14 | Dyson Technology Ltd | Vacuum cleaner |
JP7314624B2 (ja) * | 2019-05-30 | 2023-07-26 | 大日本印刷株式会社 | 情報処理装置及びプログラム |
CN112199925A (zh) * | 2020-09-07 | 2021-01-08 | 杭州壹百分教育科技有限公司 | 内容遮盖方法、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5347295A (en) * | 1990-10-31 | 1994-09-13 | Go Corporation | Control of a computer through a position-sensed stylus |
CN1761989A (zh) * | 2003-01-16 | 2006-04-19 | 克利福德·A·库什勒 | 基于连续笔划字词的文本输入系统和方法 |
US20060210958A1 (en) * | 2005-03-21 | 2006-09-21 | Microsoft Corporation | Gesture training |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5953735A (en) | 1991-03-20 | 1999-09-14 | Forcier; Mitchell D. | Script character processing method and system with bit-mapped document editing |
US5347477A (en) | 1992-01-28 | 1994-09-13 | Jack Lee | Pen-based form computer |
JP2905013B2 (ja) * | 1992-10-21 | 1999-06-14 | シャープ株式会社 | ジェスチャー処理装置、および、ジェスチャー処理方法 |
JPH10105325A (ja) * | 1996-09-30 | 1998-04-24 | Matsushita Electric Ind Co Ltd | 手書きコマンド管理装置 |
US20070177804A1 (en) | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
US7840912B2 (en) | 2006-01-30 | 2010-11-23 | Apple Inc. | Multi-touch gesture dictionary |
JPH11259199A (ja) * | 1998-03-13 | 1999-09-24 | Toshiba Corp | 端末装置、入力画面表示方法及び入力画面表示プログラムを記録した記録媒体 |
ATE243862T1 (de) * | 1998-04-24 | 2003-07-15 | Natural Input Solutions Inc | Verfahren zur verarbeitung und korrektur in einer griffelunterstützten benutzerschnittstelle |
US6337698B1 (en) | 1998-11-20 | 2002-01-08 | Microsoft Corporation | Pen-based interface for a notepad computer |
US7039872B1 (en) | 1999-06-01 | 2006-05-02 | Mossman Associates Inc | Method and system of creating floating windows for displaying sponsor information, messages or programs in non-obtrusive areas of the graphic user interface of a software application |
US6664991B1 (en) | 2000-01-06 | 2003-12-16 | Microsoft Corporation | Method and apparatus for providing context menus on a pen-based device |
GB0017793D0 (en) | 2000-07-21 | 2000-09-06 | Secr Defence | Human computer interface |
US20030007018A1 (en) | 2001-07-09 | 2003-01-09 | Giovanni Seni | Handwriting user interface for personal digital assistants and the like |
US6938221B2 (en) * | 2001-11-30 | 2005-08-30 | Microsoft Corporation | User interface for stylus-based user input |
US6938222B2 (en) * | 2002-02-08 | 2005-08-30 | Microsoft Corporation | Ink gestures |
JP3906729B2 (ja) | 2002-04-05 | 2007-04-18 | 株式会社日立製作所 | 手話教育用システム及び該システムを実現するためのプログラム |
JP2003319211A (ja) * | 2002-04-23 | 2003-11-07 | Minolta Co Ltd | 撮像装置およびプログラム |
JP2004013836A (ja) * | 2002-06-11 | 2004-01-15 | Digital Soken:Kk | 情報端末装置 |
JP4143344B2 (ja) * | 2002-06-27 | 2008-09-03 | 大日本印刷株式会社 | ヘアカラーシミュレーション方法 |
US7886236B2 (en) * | 2003-03-28 | 2011-02-08 | Microsoft Corporation | Dynamic feedback for gestures |
JP2006527439A (ja) | 2003-06-13 | 2006-11-30 | ユニヴァーシティ オブ ランカスター | ユーザインタフェース |
US7143213B2 (en) * | 2003-11-18 | 2006-11-28 | Microsoft Corporation | Attaching services to commanding elements matching command binding if the matching binding is found in either the table of bindings or servicing bindings |
US20050235208A1 (en) * | 2004-04-15 | 2005-10-20 | Udo Arend | User interface for a guided activity window |
US7346846B2 (en) | 2004-05-28 | 2008-03-18 | Microsoft Corporation | Strategies for providing just-in-time user assistance |
US7761814B2 (en) * | 2004-09-13 | 2010-07-20 | Microsoft Corporation | Flick gesture |
US8169410B2 (en) * | 2004-10-20 | 2012-05-01 | Nintendo Co., Ltd. | Gesture inputs for a portable display device |
US7561145B2 (en) * | 2005-03-18 | 2009-07-14 | Microsoft Corporation | Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface |
JP4933056B2 (ja) * | 2005-05-11 | 2012-05-16 | キヤノン株式会社 | 画像表示装置及びそれを用いた撮像装置 |
US7676767B2 (en) * | 2005-06-15 | 2010-03-09 | Microsoft Corporation | Peel back user interface to show hidden functions |
JP2009042796A (ja) | 2005-11-25 | 2009-02-26 | Panasonic Corp | ジェスチャー入力装置および方法 |
US20080008387A1 (en) * | 2006-07-06 | 2008-01-10 | Cheng Yi-Hsun E | Method and apparatus for recognition of handwritten symbols |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
KR101304461B1 (ko) * | 2006-12-04 | 2013-09-04 | 삼성전자주식회사 | 제스처 기반 사용자 인터페이스 방법 및 장치 |
US9311528B2 (en) * | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
US7770136B2 (en) * | 2007-01-24 | 2010-08-03 | Microsoft Corporation | Gesture recognition interactive feedback |
-
2008
- 2008-06-24 US US12/145,237 patent/US8566717B2/en active Active
-
2009
- 2009-05-11 TW TW098115578A patent/TWI459281B/zh not_active IP Right Cessation
- 2009-06-24 RU RU2010152819/08A patent/RU2506630C2/ru active
- 2009-06-24 WO PCT/US2009/048527 patent/WO2010008903A2/en active Application Filing
- 2009-06-24 EP EP09798532.9A patent/EP2288985B1/en active Active
- 2009-06-24 JP JP2011514899A patent/JP5442727B2/ja active Active
- 2009-06-24 CN CN2009801246468A patent/CN102067079B/zh active Active
- 2009-06-24 BR BRPI0912269A patent/BRPI0912269B1/pt active IP Right Grant
- 2009-06-24 KR KR1020107028666A patent/KR101548524B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5347295A (en) * | 1990-10-31 | 1994-09-13 | Go Corporation | Control of a computer through a position-sensed stylus |
CN1761989A (zh) * | 2003-01-16 | 2006-04-19 | 克利福德·A·库什勒 | 基于连续笔划字词的文本输入系统和方法 |
US20060210958A1 (en) * | 2005-03-21 | 2006-09-21 | Microsoft Corporation | Gesture training |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632576A (zh) * | 2012-08-29 | 2014-03-12 | 富志科技股份有限公司 | 教学系统 |
CN105103087A (zh) * | 2013-02-02 | 2015-11-25 | 奥迪股份公司 | 用于操作配置给车辆的装置的、系统发起的帮助功能-输入空格 |
CN105103087B (zh) * | 2013-02-02 | 2018-10-02 | 奥迪股份公司 | 一种用于显示和/或输出帮助的方法和配置给车辆的装置 |
US10152223B2 (en) | 2013-02-02 | 2018-12-11 | Audi Ag | System-initiated help function for operating an apparatus associated with a vehicle-input of spaces |
CN106161181A (zh) * | 2015-03-27 | 2016-11-23 | 腾讯科技(深圳)有限公司 | 一种消息处理方法、装置及终端 |
CN106161181B (zh) * | 2015-03-27 | 2020-04-03 | 腾讯科技(深圳)有限公司 | 一种消息处理方法、装置及终端 |
WO2020186816A1 (zh) * | 2019-03-21 | 2020-09-24 | 广州视源电子科技股份有限公司 | 页面元素突出显示方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20090319894A1 (en) | 2009-12-24 |
JP5442727B2 (ja) | 2014-03-12 |
BRPI0912269B1 (pt) | 2019-12-24 |
EP2288985B1 (en) | 2020-08-19 |
TW201001272A (en) | 2010-01-01 |
CN102067079B (zh) | 2013-12-18 |
RU2506630C2 (ru) | 2014-02-10 |
WO2010008903A2 (en) | 2010-01-21 |
EP2288985A2 (en) | 2011-03-02 |
KR101548524B1 (ko) | 2015-09-01 |
JP2011525665A (ja) | 2011-09-22 |
TWI459281B (zh) | 2014-11-01 |
WO2010008903A3 (en) | 2010-03-25 |
BRPI0912269A2 (pt) | 2015-10-20 |
EP2288985A4 (en) | 2013-04-10 |
RU2010152819A (ru) | 2012-06-27 |
US8566717B2 (en) | 2013-10-22 |
KR20110028290A (ko) | 2011-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102067079B (zh) | 在用户界面显示上呈现教导动画 | |
CN102037436B (zh) | 利用拖拽操作来访问菜单 | |
KR102157759B1 (ko) | 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
CN106249909B (zh) | 语言输入校正 | |
CN106462354B (zh) | 管理多个显示窗口的设备、方法和图形用户界面 | |
US10228848B2 (en) | Gesture controlled adaptive projected information handling system input and output devices | |
US11126329B2 (en) | Application command control for smaller screen display | |
KR101375166B1 (ko) | 문자화장단말기 및 제어방법 | |
KR102090269B1 (ko) | 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체 | |
US9348420B2 (en) | Adaptive projected information handling system output devices | |
US20150268773A1 (en) | Projected Information Handling System Input Interface with Dynamic Adjustment | |
US9430041B2 (en) | Method of controlling at least one function of device by using eye action and device for performing the method | |
US9965038B2 (en) | Context adaptable projected information handling system input environment | |
US10331297B2 (en) | Device, method, and graphical user interface for navigating a content hierarchy | |
CN102262477A (zh) | 用于确定故意的触摸屏接触的系统和方法 | |
CN102609083B (zh) | 实现基于文化的姿势的全局设定 | |
CN106716327A (zh) | 利用无缝转换的阅读和编辑的合并体验 | |
US10133355B2 (en) | Interactive projected information handling system support input and output devices | |
US20150268739A1 (en) | Projected Information Handling System Input Environment with Object Initiated Responses | |
US20220391456A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with a Web-Browser | |
US20160357381A1 (en) | Selecting Content Items in a User Interface Display | |
CN109871173A (zh) | 信息处理装置、信息处理系统 | |
WO2022261008A2 (en) | Devices, methods, and graphical user interfaces for interacting with a web-browser | |
KR101919515B1 (ko) | 터치스크린을 구비하는 단말에서 데이터 입력 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150429 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150429 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |