CN100336053C - 确定接收到的笔划是否是手势的方法 - Google Patents

确定接收到的笔划是否是手势的方法 Download PDF

Info

Publication number
CN100336053C
CN100336053C CNB031043429A CN03104342A CN100336053C CN 100336053 C CN100336053 C CN 100336053C CN B031043429 A CNB031043429 A CN B031043429A CN 03104342 A CN03104342 A CN 03104342A CN 100336053 C CN100336053 C CN 100336053C
Authority
CN
China
Prior art keywords
gesture
stroke
pen
user
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031043429A
Other languages
English (en)
Other versions
CN1437136A (zh
Inventor
G·赫兰德
A·古纳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1437136A publication Critical patent/CN1437136A/zh
Application granted granted Critical
Publication of CN100336053C publication Critical patent/CN100336053C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

描述了一种用于捕获和实现手写手迹的系统与处理过程。用户可以使用手迹来快速地命令基于笔的输入设备完成操作。用所述的实施例，用户可以用基于笔的计算机平台中的一支笔来编辑文本或手写笔迹，并使所做的编辑影响该文本或笔迹。

Description

确定接收到的笔划是否是手势的方法
相关申请的交叉引用
本发明与2000年12月21日提交的序列号为No.09/741107题为“模式提示与切换”申请有关。
技术领域
本发明的一些方面一般涉及用于控制图形用户接口(GUI)。本发明尤其涉及识别用户通过使用基于针笔的输入系统，并完成与该手势有关的功能。
背景技术
一般的计算机系统，尤其是使用微软公司的视窗操作系统等图形用户接口(GUI)系统的计算机系统，被优化用于从输入文本的一个或多个分立的输入设备(如键盘等)以及驱动该用户接口的指示设备(如有一个或多个按钮的鼠标等)接收用户的输入。事实上，设计成在微软公司的视窗操作系统上运行的所有软件应用程序都被优化成以相同方式接收用户的输入。例如，很多应用程序充分地利用鼠标右键(“右击”)来显示与上下文环境有关的命令菜单。用户可以诸如通过点击鼠标的左键(“左击”)，或通过点击鼠标的左键或右键并在按下的同时移动鼠标(“左击拖动”或“右击拖动”)而用鼠标生成其他的手势。例如，参见Opera Software的Opera 6.0中的右击拖动鼠标命令。
在一些环境中，将不需要或无法使用鼠标。例如，在数字化板环境中，主要的输入设备可以是针笔。虽然针笔试图为计算机环境提供类似于在垫上和纸上输入的感觉，但是目前的系统仍然受到限制。例如，在图形用户接口上针笔的使用仅限于在各项目上点击以进行选择。例如，参见使用Palm OS 3.x和4.x操作系统的Paim系列产品。此外，在这些系统中，互动方法很麻烦，因为文本条目和命令要在数字化器的专门部分上输入，而该部分远离插入点或所选的一个或多个单词。另外，在基于针笔的输入环境中，将不断地迫使用户从远处的工具条选择工具或操作，而工具条通常位于屏幕的顶部或底部。虽然用户也可以用字母输入，或者数字化器可以识别手写体，但是这些操作分别要求选择一个键盘输入模式，并在数字化器的预定部分中书写。简而言之，为每次新的输入都要求用户告诉计算机用户希望干什么使得对于普通用户而言难以使用基于针笔的计算机操作。
有一些操作会建立新的文本(例如，书写、打字、粘贴文本等)。而一些其他的操作会修改文本(高亮显示、签名、删除、剪切和移动已有文本)。完成后面这些修改操作的问题是这些操作通常不是大多数用户的主要操作模式。即，虽然用户可以修改文本，但是与建立新文本的主要操作相比，这些操作将是第二位的。因而，用户将最终需要从修改文本(或其他内容)的操作转换到建立文本的环境。常规的转换包括转换工具条上的一个按钮。按钮可以包括消除按钮、高亮显示按钮等。虽然可以使用户清楚如何选择操作模式和模式状态(转换按钮按下与否)，但是在不同模式间变换时，使用转换按钮将是麻烦的，因为用户通常要在显示屏的中央部位和并列在屏幕一端的远处的工具条(包括有转换按钮)之间往返移动。这样的往返移动，以及为了从一个或多个辅助模式切换回主要操作模式所需注意力将把用户的注意力从主动地阅读或书写分散到在模式件进行切换的琐事中。
前面的基于笔的计算机系统试图通过把笔的动作解释成一条命令来解决上述的问题。例如，参见Go公司的Penpoint。但是，Penpoint主要示的能对文本进行基于笔的命令。对于手写输入，Penpoint只允许通过特定的笔移动来删除刚刚在之前的输入(这里，笔尖的右左右共线移动也被称为平面“z”)。Penpoint部提供在页面上任何地方随机编辑手写笔迹的能力。为了将基于笔的输入系统变成主流计算机环境的一部分，需要支持在页面上任何地方编辑手写文本的自由。
最后，手写笔迹通常与非笔迹应用是不兼容的。例如，使用要求文本输入的应用程序迫使用户将笔迹转换成文本。在Palm OS中，需要设置一个插入点，移动到屏幕底部的一专用文本输入部分，在专用文本输入部分中输入文本，然后回到插入点。这些操作将迅速地变成一种麻烦，并迫使用户不使用具有基于针笔输入系统的传统应用程序。
发明内容
本发明的诸方面针对于允许用户直接在显示表面上书写的基于笔的计算机系统，解决了上面所指出的一个或多个问题。本发明的诸方面允许用户使用手势来编辑显示的信息，信息包括但不限于手写笔迹和文本。此外，在某些方面，可以使用基于手势的导航。
本发明提供一种用于确定接收到的笔划是否是手势的方法，包括：
规范化至少一个笔划，以建立规范化的至少一个笔划；
为至少一个笔划的坐标计算Chebychev多项式；
组合规范化的至少一个笔划与Chebychev多项式，以建立Bayes网络；
为已知的手势比较所述Bayes网络与之前计算出的Bayes网络；
确定所述Bayes网络是否与所述计算出的Bayes网络中的一个相关；以及
若所述Bayes网络与所述计算出的Bayes网络中的一个相关，则将所述至少一个笔划处理成对应于所述计算出的Bayes网络中的所述一个的手势。
在研究了下面对较佳实施例的详细描述之后，将更清楚本发明这些以及其他特征。
附图说明
在结合所附示图进行阅读时将能更好地理解上面的发明概述以及下面的较佳实施例详述，附图以例子的方式包括在此，而不是对本发明的限制。
图1是可用于实现本发明各方面的示范通用数字计算机环境的概要图。
图2是根据本发明各方面可用的示范输入板式计算机和针笔的平面图。
图3显示了根据本发明诸实施例的各操作模式例子。
图4和5显示了根据本发明诸实施例的手势识别过程的例子。
图6显示了本发明诸实施例可用的手势例子。
图7显示了根据本发明诸实施例的一个手势数据结构及其相关的方法或属性例子。
图8显示了根据本发明诸实施例用于识别一个手势的方法例子。
具体实施方式
为了帮助读者，下面的描述将被分成以下几个部分：术语，通用计算机平台，手势，识别手势，执行手势以及数据结构。
术语
为了理解该说明书的各方面，定义了以下术语。其他的定义可能已为本领域所知，并可以补充这些定义。
笔迹-一个或多个笔划的序列或组合。笔划的序列可能包括排序形式的笔划。该序列可以按照捕获的时间或者笔划在页面上出现的地方来排序。其他排序也是可能的。笔划组合可以包括笔划序列或无序笔划或它们的任意组合。
另外，一个笔划可以包括构成该笔划的所有点，或者仅限于标志着笔划方向改变的点，以及它们的组合。
笔划-捕获到的点的序列或组合。当表现时，点的序列可以用直线连接。笔划可以用数种方式来呈现。例如，笔划可以表示为一个点，以及在下一个或多个点方向上的一个或多个矢量。另外，笔划可以指多个点和/或矢量的一个简单列表。简而言之，笔划意在包括与笔迹有关的多个点和/或部分的任意表示，而不管多个点的根本表示和/或用什么来连接这些点。
点-定义空间位置的信息。可以相对于如捕获空间(例如数字化器上的多个点)和/或显示空间(显示设备的多个点或像素)来定义点。可以用多种已知的技术来表示点，包括笛卡尔坐标(X，Y)、极坐标(r，Θ)、三维坐标((X，Y，Z)，(r，Θ，ρ)，(X，Y，t(时间))，(r，Θ，t))、四维坐标((X，Y，Z，t)和(r，Θ，ρ，t))以及其他本领域已知的技术。
表示-确定如何显示图形(和/或笔迹)的过程，显示在屏幕上、打印或者是输出到其他的文件格式。
单词-也被称为笔迹单词。一个单词是一个或多个笔划。一个单词中的每个笔划具有与之相关的位置。多个单词还可以被定义为文本单词或字母组，他们形成了可以在字典中定义的术语。单词还可以包括标点、字母与数字的组合以及其他符号，并且可以包括复合单词。
流-在顺序上相互相关的一个或多个单词。例如，在页面上记下表格手写注释可以代表一个流。加到每条注释将一个或多个单词加到包含这些单词的流中。流中的每个单词在该流中具有与之相关的一个位置。
空格-没有任何显示内容的区域。在某些情况下，当指代流中单词间的间隔时，空格可以看作是没有笔划的间隔单词。当指代页面上一空白区域时，空格可以指代页面上没有被流占用的区域。
手势-可以被解释成命令的一种图形或其他笔迹。
通用计算机平台
图1展示了可以用来实现本发明各方面的常规通用数字计算机环境的概要图。图1中，计算机100包括处理单元110、系统存储器120以及系统总线130，系统总线将包括系统存储器的各系统组件连接到处理单元110。系统总线130可以是若干类总线结构中的任一种，包括存储器总线或存储器控制器、外围总线以及使用各种总线架构中的任一种的本地总线。系统存储器120包括只读存储器(ROM)140和随机存取存储器(RAM)150。
ROM 140中存储的基本输入输出系统160(BIOS)包含如在启动期间帮助在计算机100中的元件之间传输信息的基本例程。计算机100还包括硬盘驱动器170，用于对硬盘(未示出)进行读写；磁盘驱动器180，用于对可拆卸磁盘190进行读写；以及光盘驱动器191，用于对诸如CD ROM或其他光媒介等可拆卸光盘192进行读写。硬盘驱动器170、磁盘驱动器180以及光盘驱动器191通过硬盘驱动器接口192、磁盘驱动器接口193和光盘驱动器接口194被连接到系统总线130。这些驱动器以及它们相关的计算机可读媒介为个人计算机100提供了对计算机可读指令、数据结构、程序模块以及其他数据的非易失性存储。本领域的技术人员应该理解在示例的操作环境中还可以使用可以存储计算机可访问的数据的其他类型的计算机可读媒介，如盒式磁带、闪存卡、数字视频盘、Berboulli卡式磁盘、随机存取存储器(RAM)、只读存储器(ROM)等。
可以在硬盘驱动器170、磁盘190、光盘192、ROM 140或RAM 150上存储多个程序模块，包括操作系统195、一个或多个应用程序196、其他程序模块197以及程序数据198。用户可通过键盘101和指示设备102等输入设备将命令和信息输入到计算机100中。其他输入设备(未示出)可以包括麦克风、操纵杆、游戏手柄、圆盘式卫星电视天线、扫描仪等。这些以及其他的输入设备通常通过耦接到系统总线的串行端口接口106被连接到处理单元110，但也可以用并行端口、游戏端口或通用串行总线(USB)等其他接口来连接。此外，这些设备可经由合适的接口(未示出)直接连接到系统总线130上。监视器107或者其他类型的显示设备也可以经由视频适配器108等接口被连接到系统总线130。除了监视器之外，个人计算机一般还可以包括其他的外围输出设备(未示出)，如扬声器和打印机。在一较佳实施例中，设置了笔数字化器165以及配套的笔或针笔166以便数字化地捕获手画输入。尽管显示了笔数字化器165和处理单元110之间的直接连接，但在实践中，如本领域已知的，笔数字化器165可以经由串行端口、并行端口或其他接口和系统总线130连接至处理单元110。此外，尽管显示的数字化器165独立于监视器107，数字化器165的可用输入区域最好和监视器107的显示区域共同延伸。此外，数字化器165可以被集成在监视器107中，或者可以作为覆盖或者附带于监视器107的独立设备而存在。
计算器100可以工作在使用到一个或多个远程计算机(如远程计算机109)的逻辑连接的联网环境中。远程计算机109可以是服务器、路由器、网络PC、对等设备或其他公共网络节点，并一般包括在上面对计算机100所进行的描述总提到的多种或者所有元件，尽管图1中只展示了记忆存储设备111。图1中所描绘的逻辑连接包括局域网(LAN)112和广域网(WAN)113。这样的联网环境在办公室、企业范围的计算机网、内联网和因特网中是非常常见的。
当被用于LAN网络环境中时，计算机100通过网络接口或适配器114被连接到局域网112。当被用于WAN网络环境中时，个人计算机100一般包括调制解调器115或其他用于建立WAN 173(如因特网)上的通信的装置。调制解调器115可以是内部的或者是外部的，它可以经由串行端口接口106被连接到系统总线130。在联网的环境中，和个人计算机100相关的程序模块或其部分可以被存储在远程记忆存储设备中。
可以注意到所显示的网络连接是示范性的，可以使用其它的在计算机之间建立通信链路的技术。假定存在有多种已知协议中的任一种，如TCP/IP、以太网、FTP、HTTP等，系统可以工作在客户机-服务器配置中，以允许用户从基于网站的服务器取回网页。可以使用多种常规网络浏览器中的任一种来显示和处理网页上的数据。
图2展示了根据本发明各方面可用的基于针笔的计算机处理系统(也称为输入板PC)201。图1系统中的任一或所有特征、子系统和功能可以包括在图2的计算机中。输入板PC 201包括一较大的显示表面202，如，数字化平板显示，最好是液晶显示(LCD)屏，在该显示表面上显示了多个窗口203。用针笔204，用户可以在数字化显示区域上选择、高亮显示和书写。合适的数字化显示板例子包括电磁笔数字化器，如Mutoh或Wacom笔数字化器。也可以使用其他类型的笔数字化器，如光学数字化器。输入板PC 201解释用针笔204所做的手势，以便处理数据、输入文本和执行常规的计算机应用任务，如电子表格、文字处理程序等。
针笔可以装配有按钮或其他特征来增强它的选择能力。在一实施例中，针笔可以用“铅笔”或“笔”来实现，其中一端包括一书写部分，而另一端包括一“擦除”端，当该擦除端在显示上移过时，表示将要擦除显示的该部分。可以使用其他类型的输入设备，如鼠标、轨迹球等。此外，也可以使用用户自己的手指来选择或指点对触碰敏感或对接近敏感的显示器上所显示的图像部分。因此，术语“用户输入设备”(如同这里所用的)意在具有较宽的定义，并包括对已知输入设备的多种变化。
区域205显示了一反馈区域或接触区域，允许用户确定针笔在数字化器上所接触的地方。在另一实施例中，在到达本发明保持状态时，区域205提供了视觉反馈。
手势
手势一般可以被定义为针笔有意的移动，并且不仅仅是手写笔迹。当有两种描绘一个特定的笔迹元素的方法，且第二种方法比第一种更复杂时，最好将第二种方法考虑成或假设成一个手势。例如，针笔物理地围绕着一个点移动360度而形成的单个圆可以被视为画出的一个圆、字母“o”或者数字零，而沿着自己所画的双重圆可以被视为一个手势。还可以使用其它的手势。
图3显示了实现手势的一个过程，其中手势被显示成可以从通用操作环境301访问。在301中，用户可以添加笔迹或控制显示的某个方面(如，重新观察、卷动等)。一旦在302中建立了一个手势，它可以在303中被执行。在执行之后，通过路径304回到301，系统准备好接受更多的输入。
作为替换，在稍晚的时间执行手势。在该替换实施例中，手势可以被表示成笔迹以及稍后执行的手势。执行可以在现有的应用程序中执行，或者可以被传递到另一应用程序而执行。
手势可以被用于各个地方。可以在显示表面上作手势。此外，还可以在空中做手势(有些基于笔的计算机系统使用感应技术来检测笔，并可以知道笔的高度)。可以在按钮和类似控制上做手势(如，帮助的勾号)。可以用手势来编辑文本和/或笔迹。可以在显示的专用输入部分(固定或临时的)中做手势。
标记可以有以下特性中的一个或多个：默认动作或控制方法或属性，动作区域，位置，大小/范围以及形状。其他特性也可以并入该列表中。
默认动作或控制方法或属性
每个手势可以具有一个或多个与之相关的默认动作。例如，轻点可能具有与之相关的总的选择动作。若在该次轻点之前没有任何其他的轻点，该轻点可能将选择一个单词。若在该次轻点之前已经进行了一次轻点，则后一次轻点可能将选择一句话。若在该次轻点之前已经进行了两次轻点，则最后一次轻点可能选择整个段落。类似地，轻点四次，这最后一次轻点可能选择所有。
在一些实施例中，默认动作指的是手势的控制方法和控制属性。手势的控制方法或属性是指该手势执行时将做什么或影响什么。例如，加粗一单词或选项的手势的方法或属性将把该单词或选项的表示方法改变为加粗的字体或表示。此外，选择手势的方法或属性将选择显示页面上的某些事物。该页面可以具有笔迹、图形、文本、图片和/或其他此类项目。
动作区域
手势的动作区域是该手势将影响到的区域。例如，在勾号表示查询对一项目或按钮或用户界面一部分的帮助的手势的情形下，勾号的动作区域可以是该勾号周围一较小的区域。因而，用户可以将勾号的动作区域设置在用户需要求助的事物之上。
在一些实施例中，动作区域可以从一个区域压缩成一个点或者点的组合。在上面勾号的例子中，组成该勾号的两条直线的交点可以是动作区域。这些实施例可以为用户提供非常确切地设置每个手势的能力。因此，例如，手势可以与单个点相关。另一方面，动作区域较大将是有利的，因为即使针笔稍稍错过了该手势将影响的一个预定点。例如，若用户尝试在一按钮上设置一勾号，但是稍稍地偏离了该按钮，由于大部分勾号仍然位于该按钮上，所以较大的区域方法仍将寻求对该按钮的帮助。
在另一实施例中，动作区域可以是有界框或有界框的开始。例如，用左括号选择手势，拐角的顶部和底部可以是包含选择的开始。
手势的动作区域可以可变的，并可以基于该手势的一个或多个属性。例如，在单个单词上的X可以具有与该手势相关的一个动作，删除该单词(其中该手势的动作区域可以是一较小的区域或者X中心的单个点)。作为替换，在一个段落上的较大的X可以扩展该动作区域的范围，以包括整个段落。动作区域的此类缩放可以通过其他的属性来调整，这些属性包括但不限于书写手势的速度、针笔在数字化器表面上的压力、针笔的角度(若通过硬件能够进行角度的检测)、手势在显示屏上的位置、手势相对于屏幕上所显示的其他元素(如各种其他的笔记、手势的角度等)的位置。
位置
位置是手势的另一方面。可以相对于显示屏和/或相对于屏幕上显示的其他物体(如笔迹)而测量位置。在某些情况下，手势位置的重要性可能小于其他方面。在其他情况下，手势位置可以是最重要的方面之一，或者是手势的特定特征。例如，若希望选择一个句子再删除该句子之外的一个单词，根据对在该句子和该单词之间的X的位置的是多么相关的解释，马虎的删除手势X将具有不同的结果。在一种解决方案中，由于该动作区域可能包括该选择并指出该选择将被删除，该句子将被删除。作为替换，该X并不实际地位于该选择之上进而使得X的位置并不位于该选择之上这一事实指出该手势试图删除该单词而不是该选择。
大小/范围
一个手势可以具有其他的基于手势大小的特性。该信息允许手势对它们所修改的内容具有不同的影响或范围。例如，左括号的高度可以是一行，或者可以是多行。对于三行高的左括号将比两行高的左括号选择更大的区域。
在一替换实施例中，成对的手势(例如，左和右选择括号)可能不依赖于大小，而是依赖于位置，因为左和右选择括号可以明确一个有界框，或者将被选择的文本流的开始和结束。
形状
手势形状可以与它们所覆盖的区域有关。例如，三行高的左括号的高度/宽度比可以与仅一行高的左括号不同。此外，一些手势的实际形状内容可以根据大小而不同。例如，在文本下方用来使其强化或大写的波浪线越长，则它可能具有更多的凸起。因而，手势的识别可以包括将该手势的大小归一化到一个单位区域。识别可以包括匹配形状以确定是否将单个手势(波浪线)重复了多次来覆盖一较大的区域。
识别手势
能够越精确地识别一个实际的手势，就越好。笔迹最好还应该不会被误认为是手势。图4显示了一用于将特定笔划识别成手势并将它们与非手势笔划做区分的示例过程。
在步骤401中，接收到一个笔划。在步骤403中，系统确定是否接收到了一个手势。该确定可以包括缩放、重定向和/或其他操作来确定接收到的笔划是否是一个手势。系统还可以由步骤404查看最近的笔划，因为当与其它笔划独立开来或者组合起来时，某些笔划都可以看成是手势。例如，在段落上的轻点可以选择敲击位置下面的单词。两次轻点可以选择包含有原来轻点下方的单词的句子或段落。
若没有接收到手势，在401中接收到的笔划在步骤402中被表示。作为替换，可以不表示多个笔划，直到在步骤403确定它们不是一个手势的组合，然后再在步骤402中被一起显示。
若在步骤403中接收到一个手势，将警告系统出现了一个手势。该警告可以包括手势标志的设定。作为替换，可以包括手势以及额外的信息(包括以下的一个或多个：手势的大小、手势的形状、手势的动作区域以及控制方法或属性)的发送。此外，可以警告在步骤401接收到该笔划的应用程序出现了该手势(包括或不包括额外的信息)。
在替换实施例中，所有的笔划可以在接收到时就被表示，以立即提供反馈给用户。在这些实施例中，步骤405可以消除形成该手势的一个或多个笔划。
在又一个实施例中，如步骤406所示，可以确定与该手势相关的对象，并将其提供该系统或应用程序(步骤407)，以允许系统或应用程序执行该手势或确定何时执行该手势。该对象可以是如屏幕上显示的一个对象(如按钮、文本、图形或任何其他类似的显示对象)，手势可以画在该对象上方或附近。例如，当手势是一个勾号时，对象可以是一个按钮，勾号手势使得发生与该按钮相关的特定动作。作为另外的例子，对象是一个文本单词，手势是在该单词上画的一个大写B，与该大写B手势相关的对象将被变为粗写体。
一旦手势被确定，图4可以立即执行这些手势。图5显示了一替换实施例，其中不由系统而是由应用程序确定笔划是否是手势。图5提供了首先捕获笔划，然后在另一时间再执行是手势的笔划的选择。例如，图5的过程对于那些在执行改变之前希望看见对文件的所有修改的用户而言将是有用的。
在步骤501中，接收一个笔划。在步骤502中，该笔划被表示，而笔划的组合被传递给应用程序503。在步骤504，应用程序阅读该一个或多个笔划。在步骤505，应用程序确定接收到的一个或多个笔划是否是一个手势。该方案允许识别应用程序特定的手势，而不仅是系统范围的手势。
若在步骤504没有接收到手势，应用程序处理笔划505。若在步骤504接收到手势，应用程序在步骤506处理该手势。
图8显示了识别手势的另一个实施例。在步骤801，接收一个笔划。在步骤802，规范化该笔划。此外，可以在步骤802进行其他步骤，包括下面的任意一个或多个：
1.按照笔与显示表面的接触，即接触和不接触(例如0放下，1提起，)，将接收到的一个或多个笔划分成单个点的串。
2.用来自数字化器的物理维度信息将X和Y坐标缩放成预定的大小(如一平方英寸)。在一实施例中，缩放信息可以被丢弃。作为替换，也可以保留缩放信息备用。
3.缩放多个点的输入时间，并重新采样该笔迹以生成预定个数的点(如200个)。在一个实施例中，可以丢弃缩放信息。作为替换，也可以保留缩放信息备用。
4.可以计算额外的项目，包括笔划缠绕、笔划持续时间、笔划的纵横比、任意点到连接端点部分的最大距离、变形的点等
5.为每个x，y和z坐标计算Chebychev多项式。
6.组合Chebychev多项式、缠绕、缩放、持续时间中的一部分或全部，并缩放和输入到一个或多个Bayes网络。可以为每个手势使用一个独立的Bayes网络。
7.将处理后的一个或多个笔划传递给每个Bayes网络，并取得一个分数。识别任何超过一个阈值的网络。若确实有一个网络识别一手势，则将该手势传递给应用程序或系统。若没有则指出没有识别出手势。
步骤803确定一个或多个笔划是否是一个手势。这可以包括上面的步骤7的匹配。若是的话，系统确定动作区域805中的单词或笔划，并在步骤806将动作区域中的手势ID和对象发送给系统或应用程序。
若不是，则在步骤804，系统确定是否已经达到了最大的笔划数(如四个笔划)。若不是，这系统在步骤808为下一个笔划做准备。否则，系统在步骤807丢弃最早接收到的笔划，然后在步骤808为下一个笔划做准备。
下面列出了多种示例手势及其相关方法或属性。
字体属性改变-为了使一个单词(或文本的其他部分)加粗，在该单词或文本的其他部分上画一个大写B。还可以在该单词上画一个大写I使其变成斜体、画一个U加下划线、画DU加双下划线、画OV加上划线、画N变正常字体。也可以实现其他的属性改变。一些手势识别的实施例可以包括对相互并列的笔划的确定。这里，用一个笔划在一个单词上书写可以帮助已经发生了手势的系统或应用程序。
断行-一个右下拐角可以被解释成完成断行、回车、新段落等的手势。而右上拐角可以完成相反的功能。
剪切/复制/粘贴-可以用X来剪切，用C或加圈的X来复制，用插入记号来粘贴。可以用两个插入记号来进行特殊的粘贴。
选择-可用左右括号来定义选择。作为替换，左圆括号默认选择一个单词。在进一步的替换中，重复的左/右圆括号按照需要调整选择。箭头手势可以进行精细(一次一个字符)调整。花括号可以进行不连续的选择。
文本/列表/图形分组-在一个选择上所做的段落手势将笔迹组成文本，并识别笔迹流(也被称为回流)。作为替换，一个分段手势将器变成图形或列表。这也可以在列表的情况中使用(如L手势)。
手势可以被应用于其他的应用程序，包括英特网网页和电子表格。通过使用各方向上的短划，在浏览器中所观察的文件可以可以向上和向下滚动。多个短划可以修改页面或文件向上和向下滚动距离。在电子表格中，垂直的括号可以定义列的集合。人字形(向上或转动的)可以是插入行和/或列的手势。
图6显示了多种不同的手势。下面的表格描述了这些手势以及可能与其中每一个相关的不同变化。也可以使用其它的字形、变化和语义。
字形 名称 变化(重复或转动) 一般语义
601 轻点 4 选择
602 短划 16 滚动
603 人字形 16 插入
604 圆圈 1 选择
605 圆圈-叉号 1 撤销
606 圆圈-轻点 1
607 双圆圈 1
608 大写拉丁字母 26
609 拐角 8
610 短划-拐角 24
611 勾号 1 帮助
612 辫状线 4 删除
613 方括号 4 选择
614 粗圆点 2
615 三角 4
616 无穷大 1 清除选择
617 波浪线 1 加粗
618 问号 1 帮助
619 惊叹号 1 工具提示
620 交换符 2 交换字串
621 箭头 4 扩展选择
622 双箭头 4
623 花括号 4 不连续选择
 624 圆括号 4
 625 合并符 4
 626 段落符 1 填充/调整
以下表格列出了可能的手势控制。
字形 名称 操作
628 轻点 选择/设置IP
629 两次轻点 选择单词
630 三次轻点 选择段落
631 四次轻点 全选
632 右短划 向左滚动直到活动区域处于窗口右边缘
633 两次右短划 向左滚动到文件尾
634 左短划 向右滚动直到活动区域处于窗口左边缘
635 两次左短划 向右滚动到文件尾
636 上短划 向下滚动直到活动区域处于窗口顶部
637 两次上短划 向下滚动到页面底部
638 三次上短划 向下滚动到文件底部
639 下短划 向上滚动直到活动区域处于窗口底部
640 两次下短划 向下滚动到页面顶部
641 三次下短划 向下滚动到文件顶部
642 拉丁字母B 使目标加粗
643 拉丁字母I 使目标变斜体
644 拉丁字母N 使目标恢复“正常”
645 拉丁字母U 使目标加下划线
646 拉丁字母X 删除目标
647 圆圈-叉号 复制目标
648 上人字形 粘贴
649 两次上人字形 特殊粘贴
650 左括号 设定选择的左边缘
651 右括号 设定选择的右边缘
652 上括号 选择列
653 左花括号 设定不连续选择的左边缘
654 右花括号 设定不连续选择的右边缘
字形手势
手势的执行可能取决于应用程序将对手势做何处理(给定手势的大小、形状和位置)以及操作系统如何将关于该手势的信息传递给应用程序。一些手势可以由操作系统解释，并且可以按照一个或多个鼠标和/或键盘的移动而传递给应用程序。其他手势可能无法由操作系统识别，而是只能由应用程序识别。这里，应用程序需要根据手势的各方面或各特性确定对手势做何处理。此外，可以用手势解释程序来将不启用手势的应用程序和不理解一给定手势或者根本不理解手势的操作系统进行接口。
数据结构
图7显示了一个可用于表示手势的数据结构701的例子。也可以使用其他数据结构，包括数组、链表等。部分702与手势的普遍规范有关。部分703与删除手势有关。部分704与开始选择手势有关。
部分705包括手势标识符。如本领域已知，手势表示符可以是Unicode字符，或者可以是GUID。部分706显示了手势的规范化形状。对于手势703，规范化的形状是“x”。对于手势704，规范化的形状是“[”。部分706包括手势的动作区域。例如，对于手势703，动作区域是位于形成该手势的两条直线交叉处下方的点。对于手势704，动作区域是该括号右边的笔划、一个或多个单词。
部分708描述了与该手势相关的控制方法或属性。对于手势703，相关的控制方法或属性是“删除”。对于手势704，相关的控制方法或属性是“开始选择”。
虽然通过例子的方式显示了实施本发明的示例系统和方法，但是当然可以理解本发明并不限于这些实施例。本领域的技术人员可以进行修改，尤其是根据前面的教导。例如，前述实施例的每个元件可以单独的应用，或者与其他实施例的元件共同使用。尽管已经用所附的权利要求定义了本发明，这些权利要求也只是示例性的，因为本发明意在包括这里所描述的元件和步骤的任意组合或再组合。因而，可以由任意数量的替换组合来定义本发明，它们以各种组合或再组合从描述(包括说明书、权力要求书和附图)中引入了一个或多个元件。相关技术领域的技术人员将清楚，根据本发明的说明书，本发明诸方面的替换组合，不管是独立的还是与这里所定义的一个或多个元件或步骤相结合，可以被用作本发明的修改或替换，或者本发明的一部分。这里所包含的书面发明描述意在覆盖所有这些修改和替换。

Claims (4)

1.一种用于确定接收到的笔划是否是手势的方法，包括：
规范化至少一个笔划，以建立规范化的至少一个笔划；
为至少一个笔划的坐标计算Chebychev多项式；
组合规范化的至少一个笔划与Chebychev多项式，以建立Bayes网络；
为已知的手势比较所述Bayes网络与之前计算出的Bayes网络；
确定所述Bayes网络是否与所述计算出的Bayes网络中的一个相关；以及
若所述Bayes网络与所述计算出的Bayes网络中的一个相关，则将所述至少一个笔划处理成对应于所述计算出的Bayes网络中的所述一个的手势。
2.如权利要求1所述的方法，其特征在于，进一步包括：
将所述至少一个笔划压缩成单个点的串；以及
使用所述单个点的串建立所述Bayes网络。
3.如权利要求1所述的方法，其特征在于，进一步包括：
缩放所述至少一个笔划的多个点的输入时间以建立一缩放时间；以及
用所述缩放时间建立所述Bayes网络。
4.如权利要求3所述的方法，其特征在于，进一步包括：
计算至少一个笔划的缠绕和持续时间；以及
在所述Bayes网络中使用所述缩放时间。
CNB031043429A 2002-02-08 2003-01-31 确定接收到的笔划是否是手势的方法 Expired - Fee Related CN100336053C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/068,009 2002-02-08
US10/068,009 US6938222B2 (en) 2002-02-08 2002-02-08 Ink gestures

Publications (2)

Publication Number Publication Date
CN1437136A CN1437136A (zh) 2003-08-20
CN100336053C true CN100336053C (zh) 2007-09-05

Family

ID=27610523

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031043429A Expired - Fee Related CN100336053C (zh) 2002-02-08 2003-01-31 确定接收到的笔划是否是手势的方法

Country Status (5)

Country Link
US (3) US6938222B2 (zh)
EP (1) EP1335272A3 (zh)
JP (2) JP2003308482A (zh)
CN (1) CN100336053C (zh)
TW (1) TWI303377B (zh)

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
JP2003122492A (ja) * 2001-10-10 2003-04-25 Wacom Co Ltd 入力システム、プログラム、および、記録媒体
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7262764B2 (en) * 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7142197B2 (en) * 2002-10-31 2006-11-28 Microsoft Corporation Universal computing device
KR20040083788A (ko) * 2003-03-25 2004-10-06 삼성전자주식회사 제스쳐 커맨드를 이용하여 프로그램을 구동시킬 수 있는휴대용 단말기 및 이를 이용한 프로그램 구동 방법
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US8448083B1 (en) * 2004-04-16 2013-05-21 Apple Inc. Gesture control of multimedia editing applications
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US20060028429A1 (en) * 2004-08-09 2006-02-09 International Business Machines Corporation Controlling devices' behaviors via changes in their relative locations and positions
US7761814B2 (en) 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
KR100597798B1 (ko) * 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US8643605B2 (en) 2005-11-21 2014-02-04 Core Wireless Licensing S.A.R.L Gesture based document editor
US7913165B2 (en) * 2005-12-15 2011-03-22 Kyocera Corporation Inserting objects using a text editor that supports scalable fonts
US7750911B2 (en) 2006-02-21 2010-07-06 Chrysler Group Llc Pen-based 3D drawing system with 3D mirror symmetric curve drawing
US7661068B2 (en) * 2006-06-12 2010-02-09 Microsoft Corporation Extended eraser functions
US8050500B1 (en) * 2006-07-06 2011-11-01 Senapps, LLC Recognition method and system
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
JP4762070B2 (ja) * 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US7752555B2 (en) * 2007-01-31 2010-07-06 Microsoft Corporation Controlling multiple map application operations with a single gesture
TWI339806B (en) * 2007-04-04 2011-04-01 Htc Corp Electronic device capable of executing commands therein and method for executing commands in the same
EP2587345A3 (en) 2007-08-19 2013-06-26 Ringbow Ltd. Finger-worn devices and related methods of use
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
EP2191397B1 (en) * 2007-08-20 2019-01-23 Qualcomm Incorporated Enhanced rejection of out-of-vocabulary words
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
KR20090052673A (ko) * 2007-11-21 2009-05-26 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
US8566752B2 (en) * 2007-12-21 2013-10-22 Ricoh Co., Ltd. Persistent selection marks
EP2248004A4 (en) * 2008-01-31 2012-09-05 Hewlett Packard Development Co PRINTING STRUCTURED DOCUMENTS
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US9268483B2 (en) * 2008-05-16 2016-02-23 Microsoft Technology Licensing, Llc Multi-touch input platform
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
WO2010006087A1 (en) * 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
WO2010016065A1 (en) * 2008-08-08 2010-02-11 Moonsun Io Ltd. Method and device of stroke based user input
CN101667074B (zh) * 2008-09-03 2011-12-07 联想(北京)有限公司 一种通过图形输入完成操作的装置及其方法
US8223121B2 (en) 2008-10-20 2012-07-17 Sensor Platforms, Inc. Host system and method for determining an attitude of a device undergoing dynamic acceleration
US9335909B2 (en) * 2009-06-03 2016-05-10 Honda Motor Co., Ltd. Drawing assist device, drawing assist program, and drawing assist method
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100153890A1 (en) * 2008-12-11 2010-06-17 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
JP5108747B2 (ja) * 2008-12-26 2012-12-26 富士フイルム株式会社 情報表示装置、方法およびプログラム
US8587519B2 (en) * 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US9875013B2 (en) * 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
KR20100107615A (ko) * 2009-03-26 2010-10-06 주식회사 팬택 터치입력을 이용한 데이터 편집 방법 및 휴대용 단말기
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
TWI444858B (zh) * 2009-05-27 2014-07-11 Htc Corp Method and system for updating the gesture track of hand - held touch device
US8386963B2 (en) * 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
JP5446624B2 (ja) * 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
US8519960B2 (en) * 2009-09-17 2013-08-27 Aten International Co., Ltd. Method and apparatus for switching of KVM switch ports using gestures on a touch panel
US8587532B2 (en) * 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20110210850A1 (en) * 2010-02-26 2011-09-01 Phuong K Tran Touch-screen keyboard with combination keys and directional swipes
US11429272B2 (en) * 2010-03-26 2022-08-30 Microsoft Technology Licensing, Llc Multi-factor probabilistic model for evaluating user input
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
CN101986248A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 在计算机控制中使用手势对象取代菜单的方法
CN101986249A (zh) * 2010-07-14 2011-03-16 上海无戒空间信息技术有限公司 使用手势对象控制计算机的方法及相应的计算机系统
JP2012022639A (ja) 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US8911165B2 (en) 2011-01-24 2014-12-16 5 Examples, Inc. Overloaded typing apparatuses, and related devices, systems, and methods
JP5536690B2 (ja) * 2011-02-10 2014-07-02 シャープ株式会社 タッチ描画表示装置及びその操作方法
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US9134899B2 (en) 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
US8661339B2 (en) 2011-05-31 2014-02-25 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US20130093719A1 (en) * 2011-10-17 2013-04-18 Sony Mobile Communications Japan, Inc. Information processing apparatus
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
KR101873741B1 (ko) * 2011-10-26 2018-07-03 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
KR20130075849A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상 표시 방법
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US20130227460A1 (en) * 2012-02-27 2013-08-29 Bjorn David Jawerth Data entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US8504842B1 (en) 2012-03-23 2013-08-06 Google Inc. Alternative unlocking patterns
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
KR20140008987A (ko) * 2012-07-13 2014-01-22 삼성전자주식회사 필기 이미지 인식을 이용한 어플리케이션 제어 방법 및 장치
EP2831712A4 (en) * 2012-07-24 2016-03-02 Hewlett Packard Development Co LAUNCHING A HELP FUNCTION
JP2014032632A (ja) * 2012-08-06 2014-02-20 Toshiba Corp 電子機器、方法、およびプログラム
US9792038B2 (en) * 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
US9020845B2 (en) * 2012-09-25 2015-04-28 Alexander Hieronymous Marlowe System and method for enhanced shopping, preference, profile and survey data input and gathering
KR102210278B1 (ko) * 2012-12-06 2021-02-02 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN105408840B (zh) * 2013-06-19 2019-11-01 诺基亚技术有限公司 电子划写输入
US9811238B2 (en) 2013-08-29 2017-11-07 Sharp Laboratories Of America, Inc. Methods and systems for interacting with a digital marking surface
US10725650B2 (en) * 2014-03-17 2020-07-28 Kabushiki Kaisha Kawai Gakki Seisakusho Handwritten music sign recognition device and program
JP5801920B2 (ja) * 2014-04-23 2015-10-28 シャープ株式会社 タッチ描画表示装置及びその操作方法
US20160048318A1 (en) * 2014-08-15 2016-02-18 Microsoft Technology Licensing, Llc Detecting selection of digital ink
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
US9338627B1 (en) 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
US9965445B2 (en) 2015-08-06 2018-05-08 FiftyThree, Inc. Systems and methods for gesture-based formatting
US10402734B2 (en) 2015-08-26 2019-09-03 Google Llc Temporal based word segmentation
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US10210383B2 (en) 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US20170068436A1 (en) * 2015-09-03 2017-03-09 Microsoft Technology Licensing, Llc Interpreting and Supplementing Captured Stroke Information
US11500535B2 (en) * 2015-10-29 2022-11-15 Lenovo (Singapore) Pte. Ltd. Two stroke quick input selection
US11402991B2 (en) * 2015-12-01 2022-08-02 Myscript System and method for note taking with gestures
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US20170285931A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
CN107024981B (zh) * 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
JP6807248B2 (ja) * 2017-02-24 2021-01-06 株式会社東芝 表示制御装置及び表示制御プログラム
US10429954B2 (en) 2017-05-31 2019-10-01 Microsoft Technology Licensing, Llc Multi-stroke smart ink gesture language
TWI660292B (zh) * 2018-05-16 2019-05-21 群光電子股份有限公司 游標移動輔助系統及方法
US10872199B2 (en) * 2018-05-26 2020-12-22 Microsoft Technology Licensing, Llc Mapping a gesture and/or electronic pen attribute(s) to an advanced productivity action
JP7102996B2 (ja) * 2018-07-10 2022-07-20 富士通株式会社 プログラム、情報処理装置及び筆跡入力判定方法
WO2020102937A1 (zh) * 2018-11-19 2020-05-28 深圳市柔宇科技有限公司 手写笔迹处理方法、手写输入设备及计算机可读存储介质
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
JP7259828B2 (ja) * 2019-11-20 2023-04-18 株式会社リコー 表示装置、表示方法、プログラム
US11531454B2 (en) * 2020-12-10 2022-12-20 Microsoft Technology Licensing, Llc Selecting content in ink documents using a hierarchical data structure
US11587346B2 (en) 2020-12-10 2023-02-21 Microsoft Technology Licensing, Llc Detecting ink gestures based on spatial and image data processing
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594640A (en) * 1993-08-02 1997-01-14 Apple Computer, Incorporated Method and apparatus for correcting words
CN1185844A (zh) * 1996-03-28 1998-06-24 辛纳普蒂克斯有限公司 具有边缘移动特性和动作识别的目标位置检测器
US5796406A (en) * 1992-10-21 1998-08-18 Sharp Kabushiki Kaisha Gesture-based input information processing apparatus
US6049329A (en) * 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
US6269187B1 (en) * 1991-06-17 2001-07-31 Microsoft Corporation Method and system for data entry of handwritten symbols

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369737A (en) * 1988-03-21 1994-11-29 Digital Equipment Corporation Normalization of vectors associated with a display pixels of computer generated images
AU624838B2 (en) * 1988-05-27 1992-06-25 Global 360, Inc. Document annotation and manipulation in a data processing system
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5583542A (en) * 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
US5752059A (en) * 1992-12-29 1998-05-12 Apple Computer, Inc. Apparatus and method for representing electronic mail
US5502803A (en) * 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
US5920694A (en) * 1993-03-19 1999-07-06 Ncr Corporation Annotation of computer video displays
US5517578A (en) * 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
JPH07114621A (ja) * 1993-10-15 1995-05-02 Hitachi Ltd ジェスチャ認識方法およびそれを用いたジェスチャ認識装置
US5687254A (en) 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
JP3486459B2 (ja) * 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5880743A (en) * 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
US5764797A (en) * 1995-04-25 1998-06-09 Microsoft Corporation Method and system for modeling handwriting using polynomials as a function of time
GB2317090B (en) * 1996-09-06 2001-04-04 Quantel Ltd An electronic graphic system
JPH1174929A (ja) * 1997-08-29 1999-03-16 Sharp Corp 電子メール処理方法及び電子メール処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH1186016A (ja) * 1997-09-09 1999-03-30 Canon Inc 情報処理方法及び装置及びその記憶媒体
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JPH11327789A (ja) 1998-03-12 1999-11-30 Ricoh Co Ltd カラー表示装置および電子黒板システム
EP0980038A3 (en) * 1998-08-13 2002-11-20 Motorola, Inc. Device and method simultaneously presenting text and handwritten characters in a common area of a user interface
JP3475235B2 (ja) * 1999-03-08 2003-12-08 東京農工大学長 表示装置の表示内容制御方法
US6671405B1 (en) * 1999-12-14 2003-12-30 Eastman Kodak Company Method for automatic assessment of emphasis and appeal in consumer images
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体
US6771254B2 (en) * 2000-11-10 2004-08-03 Microsoft Corporation Stylus nibs for providing a pen-and-paper feel for use with a tablet-and-stylus computer
US6826316B2 (en) * 2001-01-24 2004-11-30 Eastman Kodak Company System and method for determining image similarity
JP4102105B2 (ja) * 2002-05-24 2008-06-18 株式会社日立製作所 電子ペンを利用した書類記入システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269187B1 (en) * 1991-06-17 2001-07-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US5796406A (en) * 1992-10-21 1998-08-18 Sharp Kabushiki Kaisha Gesture-based input information processing apparatus
US5594640A (en) * 1993-08-02 1997-01-14 Apple Computer, Incorporated Method and apparatus for correcting words
CN1185844A (zh) * 1996-03-28 1998-06-24 辛纳普蒂克斯有限公司 具有边缘移动特性和动作识别的目标位置检测器
US6049329A (en) * 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chebychev polynomial method of pattern recognition Waid,R.A,Proceedings of the 3rd Hawaii International conference on system sciences 1970 *

Also Published As

Publication number Publication date
JP4694606B2 (ja) 2011-06-08
EP1335272A2 (en) 2003-08-13
US7305630B2 (en) 2007-12-04
EP1335272A3 (en) 2004-08-04
JP2003308482A (ja) 2003-10-31
JP2008305437A (ja) 2008-12-18
US20050229117A1 (en) 2005-10-13
TW200302977A (en) 2003-08-16
CN1437136A (zh) 2003-08-20
US20030156145A1 (en) 2003-08-21
US6938222B2 (en) 2005-08-30
US7536656B2 (en) 2009-05-19
TWI303377B (en) 2008-11-21
US20050111736A1 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
CN100336053C (zh) 确定接收到的笔划是否是手势的方法
US7167585B2 (en) Interfacing with ink
EP1683075B1 (en) Boxed and lined input panel
JP2022116104A (ja) リアルタイム手書き認識の管理
US7848573B2 (en) Scaled text replacement of ink
US7925987B2 (en) Entry and editing of electronic ink
US7336828B2 (en) Multiple handwriting recognition engine selection
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
US20040095394A1 (en) Viewable document section
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US20210365179A1 (en) Input apparatus, input method, program, and input system
TWI807181B (zh) 手寫輸入裝置、手寫輸入方法及程式
WO2020080300A1 (en) Input apparatus, input method, program, and input system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070905

Termination date: 20200131