CN100390720C

CN100390720C - 交互式设备和方法

Info

Publication number: CN100390720C
Application number: CNB2006100582169A
Authority: CN
Inventors: 詹姆斯·马格拉夫
Original assignee: Knowledge Kids Enterprises Inc
Current assignee: Leapfrog Enterprises Inc; Knowledge Kids Enterprises Inc
Priority date: 2005-11-01
Filing date: 2006-02-24
Publication date: 2008-05-28
Anticipated expiration: 2026-02-24
Also published as: EP1780627A1; JP2007128481A; US7853193B2; CN1808361A; US20060080609A1; US20110313771A1; KR20070047195A

Abstract

一种用于可听见地指示用户与一功能交互的方法。功能与用户所写可选项目关联。所述用户所写可选项目在一表面上得到识别。响应于识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互。

Description

交互式设备和方法

相关申请的交叉引用

本申请是由James Marggraff等人于2004年3月17日提交的、代理人档案号No.020824-004610US、申请号No.10/803,806、题为“SCANNINGAPPARATUS”的共同未决、共同拥有的美国专利申请的部分继续申请，其全部通过引用结合于此。

本申请是由James Marggraff等人于2004年6月3日提交的、代理人档案号No.020824-009500US、申请号No.10/861,243、题为“USERCREATED INTERACTIVE INTERFACE”的共同未决、共同拥有的美国专利申请的部分继续申请，其全部通过引用结合于此。

本申请是由James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0313、申请号No.11/034,491、题为“A METHOD ANDSYSTEM FOR IMPLEMENTING A USER INTERFACE FOR A DEVICEEMPLOYING WRITTEN GRAPHICAL ELEMENTS”的共同未决、共同拥有的美国专利申请的部分继续申请，其全部通过引用结合于此。

本申请涉及James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0316、申请号No.11/035,155、题为“A METHOD ANDSYSTEM FOR IMPLEMENTING A USER INTERFACE FOR A DEVICETHROUGH RECOGNIZED TEXT AND BOUNDED AREAS”的共同未决、共同拥有的美国专利申请，其全部通过引用结合于此。

本申请涉及James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0320、申请号No.11/035,003、题为“TERMINATIONEVENTS”的共同未决、共同拥有的美国专利申请，其全部通过引用结合于此。

技术领域

本书面内容的实施例涉及交互式设备领域。更具体地，本书面内容的实施例涉及一种基于笔的交互式设备。更具体而言，本书面内容描述了用于可听见地指示用户与功能交互的方法和设备。

背景技术

在常规情况下，诸如光学读取器或光学笔的设备发射从表面反射到检测器或成像器的光。当所述设备相对于所述表面移动(或反过来)时，快速捕捉连续图像。通过分析所述图像，可跟踪所述光学设备相对于所述表面的移动。

一种光学笔与其上打印了很小的点的纸片一起使用。所述点以具有约0.3毫米(0.01英寸)的标称间隔的图案而打印于页上。所述页上任何区域内的点的图案对该区域是唯一的。光学笔本质上获取所述表面的快照，也许一秒100次或更多。通过解释每个快照中所捕捉的点位置，光学笔可精确地确定其相对于页的位置。

利用有关光学笔相对于表面的位置的信息的应用已经设计或正在设计。具有蓝牙或其它无线能力的光学笔可链接到其它设备并用来发送电子邮件(e-mail)或传真。

嵌入式计算机系统增加的能力及其能够实现的功能的复杂度需要一种使用这种能力的更直观和用户友好的方式。典型的现有技术光学笔将通过用户操作光学笔的一个或多个按钮/开关或控制以激活一个或多个软件程序、例程、嵌入式设备等来实施其预期的功能。所述笔可包含计算机系统或与计算机系统通信。在激励这样的控制时，所述笔设备执行其预期的功能。通过笔本身上提供的有限数量和配置的开关、按钮等或者任何远程耦合的计算机系统设备来使用功能日益强大的光学笔的能力并非一种令人满意的安排。

一种现有技术解决方案使用光学笔来识别用户定义的命令，并使用该命令调用笔的某种功能(如，PCT公布WO/01/48590A1)。例如，用户的书写可识别(如，实时地)和解释为用于光学笔的命令。该解决方案的缺点包括对笔功能的交互和控制需要实时识别用户的手写(如当用户在纸片上写命令时)。该解决方案令人不满意之处在于：与光学笔的较复杂功能性的交互需要用户重复写下一个或多个命令来访问笔所提供的不同选择、选项或功能。虽然对于非常简单的、单步骤类型的应用(如“关断”“存储”等)来说该解决方案可能是令人满意的，在需要较复杂、令人满意、丰富的功能性的情况下，该解决方案就过于麻烦而有限了。

发明内容

因此，需要一种提供有效用户接口以便于与关联于用户所写可选项目的功能进行交互的交互式设备。亦需要一种满足以上需要并将有助于实现与功能交互的可听见指令提供给用户的交互式设备。还需要一种满足第一种需要并且提供对特定功能的自动执行而不首先需要附加的用户交互的交互式设备。

本发明提供了一种用于可听见地指示用户与一功能交互的方法，所述方法包括：将一功能与用户所写可选项目关联，所述用户所写可选项目由所述用户使用具备音频输出设备的笔计算机来产生；识别一表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互，其中所述可听见地再现所述第一指令消息由所述笔计算机的所述音频输出设备来执行。

本发明还提供了一种用于自动执行功能的方法，所述方法包括：将一功能与用户所写可选项目关联；识别一表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互；其中所述方法进一步包括：可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。

本发明还提供了一种用于可听见地指示用户与一功能交互的装置，所述装置包括：用于将一功能与用户所写可选项目关联的装置，所述用户所写可选项目由所述用户使用具备音频输出设备的笔计算机来产生；用于识别一表面上的所述用户所写可选项目的装置；以及用于响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互的装置，其中所述可听见地再现所述第一指令消息由所述笔计算机的所述音频输出设备来执行。

本发明还提供了一种用于自动执行一功能的装置，所述装置包括：用于将一功能与用户所写可选项目关联的装置；用于识别一表面上的所述用户所写可选项目的装置；以及用于响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互的装置；其中所述装置进一步包括：用于可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互的装置。

本发明还提供了一种交互式设备，所述交互式设备包括：总线；耦合到所述总线的音频输出设备；书写元件，用于允许用户在可写表面上书写；耦合到所述总线的光学检测器，用于检测所述书写元件相对于所述可写表面的位置；耦合到所述总线的处理器；以及耦合到所述总线的存储器单元，所述存储器存储指令，当被执行时，所述指令使所述处理器实施用于可听见地指示用户与一功能交互的方法，所述方法包括：将一功能与用户所写可选项目关联，所述用户所写可选项目由所述用户使用所述书写元件来产生；识别所述可写表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素；确定所述用户接口元素是否已在所述表面上适当地画出；如果所述用户接口元素尚未在所述表面上适当地画出，则可听见地再现第二指令消息，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示；以及如果所述用户接口元素已经适当地画出，则执行所述功能；其中所述可听见地再现所述第一指令消息和可听见地再现所述第二指令消息是由所述音频输出设备来执行的。

本发明还提供了一种交互式设备，所述交互式设备包括：总线；耦合到所述总线的音频输出设备；书写元件，用于允许用户在可写表面上创建用户所写可选项目；耦合到所述总线的光学检测器，用于检测所述可写表面上的信息；耦合到所述总线的处理器；以及耦合到所述总线的存储器单元，所述存储器存储指令，当被执行时，所述指令使所述处理器实施用于自动执行功能的方法，所述方法包括：将一功能与用户所写可选项目关联，所述用户所写可选项目由所述用户使用所述书写元件来产生；识别一表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互；以及可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。

本发明的一种用于可听见地指示用户与一功能交互的方法的各种实施例在此加以描述。功能与用户所写可选项目关联。所述用户所写可选项目在表面上得到识别。在一个实施例中，识别用户所写可选项目是响应于检测到指示该用户所写可选项目完成的终止事件而执行的。在一个实施例中，识别用户所写可选项目包括光学地记录笔计算机的尖的位置以及执行对所述位置的图像识别以识别所述用户所写可选项目。

响应于识别用户所写可选项目，可听见地再现与功能操作相关的第一指令消息而无需来自用户的进一步交互。在一个实施例中，所述第一指令消息引导用户来画出使用户能与所述功能对接的至少一个用户接口元素。在一个实施例中，在可听见地再现所述第一指令消息之前执行所述功能。在一个实施例中，可听见地再现所述第一指令消息是由笔计算机的音频输出设备执行的。

在一个实施例中，确定自从可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹。如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复第一指令消息。

在一个实施例中，确定用户接口元素是否已在所述表面上适当地画出。如果用户接口元素尚未在表面上适当地画出，可听见地再现第二指令消息，所述第二指令消息包括有关用户应以哪种方式适当地画出用户接口元素的提示。在一个实施例中，如果用户接口元素已经适当地画出，则可听见地再现第三指令消息。在另一个实施例中，如果用户接口元素已经适当地画出，则执行所述功能。在一个实施例中，响应于用户与所述用户所写可选项目的交互，重复第一指令消息。

在另一个实施例中，本发明提供了一种交互式设备，包括总线、处理器、存储器单元、音频输出设备、书写元件以及光学检测器，其可操作为实施用于可听见地指示用户与一功能交互的所述方法。在另一个实施例中，本发明提供了一种计算机可用介质，其具有在其中实施的计算机可读程序代码，用于使计算机系统执行用于可听见地指示用户与一功能交互的所述方法。

在其它在此描述的各种实施例中，本发明提供了一种用于自动执行功能的方法。功能与用户所写可选项目关联。所述用户所写可选项目在表面上得到识别。在一个实施例中，识别用户所写可选项目是响应于检测到指示该用户所写可选项目完成的终止事件而执行的。

响应于识别所述用户所写可选项目，所述功能立即执行而不首先需要用户和所述表面之间的进一步交互。在一个实施例中，所述功能立即执行而不首先需要用户在所述表面上的辅助书写。

在一个实施例中，可听见地再现与功能操作相关的指令消息而不首先需要用户和表面之间的进一步交互。在一个实施例中，响应于预定时间段的流逝，可听见地再现所述指令消息而无需用户与表面的交互。在一个实施例中，响应于用户与所述用户所写可选项目的交互，再次执行所述功能。

在另一个实施例中，本发明提供了一种交互式设备，包括总线、处理器、存储器单元、音频输出设备、书写元件以及光学检测器，其可操作为实施用于自动执行功能的所述方法。在另一个实施例中，本发明提供了一种计算机可用介质，其具有在其中实施的计算机可读程序代码，用于使计算机系统执行用于自动执行功能的所述方法。

在各种实施例中，所述用户所写可选项目包括以下的一个：可由处理器执行的应用程序的符号表示、可由处理器执行的应用程序的菜单项目、导航项目、数据、应用选项选择器或另一个可选项目。

本书面内容没有限制地描述了一种用于可听见地指示用户与一功能交互的方法。功能与用户听写可选项目关联。所述用户所写可选项目在表面上得到识别。响应于识别所述用户所写可选项目，可听见地再现与功能操作相关的第一指令消息而无需来自用户的进一步交互。

附图说明

引入并构成本说明书的一部分的附图图示了本发明的实施例，并且与本说明一起用来解释本发明的原理：

图1示出根据本发明一个实施例的交互式设备。

图2A到2D示出根据本发明实施例的纸片上的示例用户所写可选项目。

图3示出根据本发明一个实施例的提供有标记图案的示例纸片。

图4示出根据本发明一个实施例的示例纸片上的标记图案的放大。

图5示出根据本发明一个实施例的便于与表面上的用户所写可选项目交互的过程步骤的流程图。

图6是其上可实施本发明的实施例的另一个设备的块图。

图7是其上可实施本发明的实施例的另一个设备的块图。

图8A和8B示出根据本发明一个实施例的用于可听见地指示用户与一功能交互的过程的流程图。

图9示出根据本发明一个实施例的用于自动执行功能的过程的流程图。

具体实施方式

现在将详细参考本发明的各种实施例，本发明即一种允许用户创建在表面上所写的可选项目并与之交互的交互式设备，其实例在附图中示出。尽管将结合这些实施例来描述本发明，应该理解其并非要将本发明限制为这些实施例。相反，本发明意欲覆盖可包括在所附权利要求所限定的精神和范围内的替换、修改和等效形式。另外，在对本发明实施例的以下详述中，提出了很多具体细节以使本发明得到彻底理解。然而，本领域普通技术人员将认识到，没有这些具体细节也可实施本发明。在其它实例中，为了不不必要地模糊本发明的方面，未详细描述公知的方法、过程、部件和电路。

以下详细描述的一些部分是按照过程、步骤、逻辑块、处理及对可在计算机存储器上执行的数据位的操作的其它符号表示来提出的。这些描述和表示是数据处理领域的技术人员所使用的、为了将其工作的实质最有效地传达给该领域其它技术人员的手段。这里，过程、计算机执行的步骤、逻辑块、进程等通常设想为导致期望结果的步骤或指令的自洽(self-consistent)序列。所述步骤是需要对物理量的物理操纵的步骤。通常，尽管不必要，这些量采用能够在计算机系统中存储、传递、组合、比较或另外操纵的电或磁信号的形式。已经证明，主要是为了公共使用的原因，将这些信号称作位、值、元素、符号、字符、项目、数字等有时是方便的。

然而，应牢记的是，所有这些和相似的术语应与适当的物理量相关联并且仅仅是适用于这些量的方便标记。除非特别指明，否则如以下描述中所显而易见的，应理解在整个本发明中，讨论所用的术语，如“关联”或“识别”或“再现”或“需要”或“确定”或“重复”或“执行”或“检测”或“引导”等，指的是电子系统(例如图1的交互式设备100)或类似电子计算设备的动作和过程，其将电子设备的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成电子设备存储器或寄存器或者其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。

本发明的实施例

本发明的用于可听见地指示用户与一功能交互的方法和设备的各种实施例在此加以描述。在一个实施例中，所述实施例在一种允许用户创建在表面上所写的可选项目并与之交互的交互式设备内得以实施。本发明为用户提供了一种接口，该接口将电子显示器替换成任何可写表面，如纸张。用户可在该表面上创建执行关联功能和/或表示用户所写数据，例如词、字符、数字、符号等的用户所写可选项目。用户所写可选项目在所述表面上是持久的，从而允许用户在交互式设备的整个操作中执行与不同可选项目关联的功能。在一个实施例中，响应于将特定用户所写可选项目识别为与特定功能关联，所述交互式设备可听见地再现与功能操作相关的指令消息。在另一个实施例中，响应于将特定用户所写可选项目识别为与特定功能关联，所述交互式设备立即执行该功能。

图1示出根据本发明一个实施例的交互式设备100。在壳体130内，交互式设备100包括处理器112、存储器单元114、音频输出设备116、书写元件118和光学检测器120。在一个实施例中，处理器112、存储器单元114、音频输出设备116和光学检测器120在通信上耦合在总线122上。

在一个实施例中，壳体130以触针或书写装置(例如笔状)的形式成形。用户可以以类似于保持触针的方式来保持交互式设备100。书写元件118位于壳体130的一端以使用户可将书写元件118放置得与可写表面(未示出)接触。书写元件118可包括钢笔、铅笔、标记器、蜡笔或任何其它标记材料。应理解，书写元件118亦可包括非标记尖。在使用期间，用户可保持交互式设备100并以类似于书写装置的方式用它在诸如纸的表面上书写。

书写元件118可用于在表面上创建用户所写可选项目。“用户所写可选项目”可包括用户所创建的任何标记。如果标记在一表面(例如纸片)上做出，则用户所写可选项目可以是打印元素。用户所写可选项目包括但不局限于符号、诸如字母和/或数字的记号、字符、词、形状、线等。它们在形状上可以规则或不规则，并且典型地使用触针来创建它们。

交互式设备100允许用户创建表示交互式设备100所提供的不同功能的用户所写可选项目。在一个实施例中，用户所写可选项目包括可由处理器112执行的应用程序的符号表示(例如计算器应用或词典应用)。在另一个实施例中，用户所写可选项目可包括导航项目(例如菜单)、可由所述处理器执行的应用程序的菜单项目、应用选项选择器或数据的实例(例如数据)。

在一些实施例中，用户所写可选项目可包括字母或数字，其中在所述字母或数字周围划有线。围绕字母或数字所划的线可以是圆、椭圆、方形、多边形等。这样的用户所写可选项目看起来象可由用户选择的“按钮”，而不是普通的字母和数字。通过创建此类用户所写可选项目，用户可在视觉上将诸如功能图标的用户所写可选项目与普通字母和数字区分开。而且，通过创建此类用户所写可选项目，交互式设备100还能够将功能或菜单项目类型的用户所写可选项目与非功能或非菜单项目类型的用户所写项目较好地区分开。例如，用户可创建作为由圆包围的字母“M”的用户所写可选项目，以创建交互式“菜单”图标。可将交互式设备100编程为将其中有字母“M”的重叠的圆或方形识别为与词中的字母“M”区分开的功能性用户所写可选项目。用于识别这样的功能性用户所写可选项目并将其与其它非功能性用户所写项目区分开的计算机代码可驻留在交互式设备100中的存储器单元114中。

在另一个实施例中，所述用户所写可选项目可包括多个字符，如具有围绕它的圆的字母“FT”，以创建交互式音乐键盘图标。在其它实施例中，所述用户所写可选项目可包括多个功能。例如，表示时间功能的圆内的字母“T”和表示日期功能的圆内的字母“D”两者均可处于一较大的圆内。该较大的圆表示一用户所写可选项目，使得用户与该较大圆交互启动时间功能和日期功能两者的执行。

图2A到2D示出根据本发明实施例的纸片上的示例用户所写可选项目。参照图2A，用户所写可选项目206是字母“M”202，其中圆204围绕字母“M”202。用户所写可选项目206是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。

在一个实施例中，用户所写可选项目206表示交互式设备的菜单功能。为指示对特定菜单项目、目录或子目录的选择，用户可创建另一个用户所写可选项目或利用交互式设备100做出姿势。例如，如果用户想要沿菜单的子目录前进，则用户可在片200上画出复选标记210以指示已经进行了选择。在画出复选标记之后，在每个后续选择或者在用户所写可选项目206附近将交互式设备100“下触”到片200上之后，与用户所写可选项目206关联的菜单选项可由音频输出设备116可听见地再现。然后与复选标记210的交互选择可听见地再现的最后选项。例如，在用户听到所读出的词“计算器”之后，“计算器”功能然后可被选择以将交互式设备100的工作模式改变到计算器功能。

图2B示出用户可如何在片200的空白部分上创建纸计算器。在该实例中，在用户如以上所述选择了“计算器”功能之后，交互式设备100可听见地提示用户写下数字0-9和运算符+、-、×、/和＝。例如，可提示用户创建用户所写可选项目220，包括数字和数学运算符，用于诸如加、减、乘、除和等于的运算。这些是硬画(hard drawn)在表面上的。交互式设备100识别所创建的图形元素并识别所创建的实际用户所写可选项目。然后用户可选择至少两个用户所写可选项目以接收与和所述至少两个图形元素的选择相关的音频输出。例如，用户可选择图形元素序列“4”“+”“7”“＝”以收听交互式设备100读出结果“十一”。

用户所写可选项目206所表示的菜单和用户所写可选项目220所表示的纸计算器可在以后的时间再用，这是因为交互式设备100已将用户所写可选项目存储在存储器单元114中。而且，笔与用户所写可选项目220的交互将自动调用计算器功能。

图2B还包括数据230。在图2B中所示的实例中，数据230是词“CAT”。应理解，数据230可以是在交互式设备100上运行的应用可使用的任何信息(例如字母数字式符号、图像、绘图、标记等)。当被写时，文本串CAT被自动识别为词“猫”。其在表面上的定位亦被记录。交互式设备100与该文本串的交互自动再调用经辨识的词CAT。

参照图2C，用户所写可选项目242是字母“T”，其中在字母“T”周围画有圆。用户所写可选项目242是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。在一个实施例中，用户所写可选项目242表示交互式设备的时间功能。执行该时间功能使交互式设备可听见地再现当前时间。在一个实施例中，交互式设备亦可可听见地再现当前日期。

在一个实施例中，一旦用户所写可选项目242已经画出，关联的时间功能立即得以执行而无需用户和片200之间的进一步交互。例如，一旦已识别用户所写可选项目242，时间功能可立即得以执行而无需用户在片200上画出任何辅助笔迹(例如复选标记)。应理解在一些实施例中，辅助笔迹可由用户提供，以提供根据对复选标记210的描述在以上描述的功能性，但这不是必要的。例如，可能理想的是立即执行功能而无需附加的用户交互，以优化用户的体验。

仍参照图2C，用户所写可选项目244是字母“C”，其中在字母“C”周围画有圆。用户所写可选项目244是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。在一个实施例中，用户所写可选项目244表示如根据图2B所述的交互式设备的计算器功能(例如用户所写可选项目220)。

在一个实施例中，一旦已经画出用户所写可选项目244，则可听见地再现与计算器功能的操作相关的指令消息，而无需用户和片200之间的进一步交互。例如，一旦已经识别用户所写可选项目244，则可听见地再现引导用户画出计算器或其部分的指令消息，而无需用户在片200上画出任何辅助笔迹(例如复选标记)。如以上所述，应理解在一些实施例中，辅助笔迹可由用户提供，以提供根据对复选标记210的描述在以上描述的功能性，但这不是必要的。例如，可能理想的是提供指令给用户以便使用一功能而无需附加的用户交互，以优化用户的体验。

参照图2D，用户所写可选项目254是字母“FT”，其中在字母“FT”周围画有圆。用户所写可选项目254是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。在一个实施例中，用户所写可选项目254表示交互式设备的音乐键盘功能。

在一个实施例中，一旦已经画出用户所写可选项目254，则可听见地再现与音乐键盘功能的操作相关的指令消息，而无需用户和片200之间的进一步交互。例如，一旦已经识别用户所写可选项目254，则可听见地再现引导用户画出键盘256的指令消息，而无需用户在片200上画出任何辅助笔迹(例如复选标记)。

光学检测器120位于触针形交互式设备100的一端。光学检测器120可操作为检测表面上的信息。例如，光学检测器120可包括电荷耦合器件。在一个实施例中，交互式设备亦包括光学发射器，用于照亮光学检测器120所检测的表面部分。光学检测器120所检测的信息发送到处理器112。

处理器112可包括任何适合的电子器件来实施交互式设备100的功能。处理器112可识别用户所写可选项目并可辨识这些用户所写可选项目的定位，使得交互式设备100可执行各种操作。在这些实施例中，存储器单元114可包括计算机代码，用于将用户所产生的任何用户所写可选项目与它们在表面上的定位相关。

存储器单元114包括用于执行交互式设备100的任何功能的计算机代码。在一个实施例中，其中存储在存储器单元114中并实施在处理器112上的计算机代码响应于用户对用户所写可选项目的选择并且可操作为响应于该选择来执行与所述用户所写可选项目关联的功能。在另一个实施例中，存储在存储器单元114中并实施在处理器112上的计算机代码可操作为引导音频输出设备116可听见地再现潜在的用户所写可选项目的列表，其中处理器112可操作为检测用户已写出多个用户所写可选项目，并且其中响应于用户对所述多个用户所写可选项目的一个或多个用户所写可选项目的选择的处理器112可操作为执行与每个所选的用户所写可选项目关联的不同功能。

在一个实施例中，处理器112可操作为使用符号识别或字符识别、响应于一选择来自动辨识用户所写可选项目。在另一个实施例中，处理器112可操作为当用户所写可选项目被写时自动记录其在表面上的表面定位。处理器112可操作为基于用户所写可选项目的所检测表面定位、响应于用户选择来自动辨识用户所写可选项目。

在一个实施例中，本发明提供了交互式设备100的操作系统。该操作系统可操作为检测表面上的用户所写可选项目，将该用户所写可选项目与一功能关联，并且响应于用户与该用户所写可选项目的交互，执行关联的功能。

在其它实施例中，存储器单元114可包括用于识别打印字符的计算机代码、用于识别用户的手写并解释用户的手写的计算机代码(例如手写字符识别软件)、用于将物件上的位置与相应打印元素相关的代码(例如文本到语音引擎)、用于读出菜单项目的计算机代码、用于执行语言翻译的计算机代码(英语到外语词典)等。用于将文本转换成语音的软件可从许多不同的零售商在商业上获得。

存储器单元114亦可包括用于音频和视觉输出的代码。例如，用于声效的代码、用于说词的代码、用于课程计划和指导的代码、用于问题的代码等，可全部存储在存储器单元114中。诸如这些的用于音频输出的代码可存储在非易失性存储器中(以持久或半持久的方式，使得即使交互式设备被关断，数据亦可保留)，而不是在物件本身上。用于本申请中描述的这些和其它功能的计算机代码可包括在存储器单元114中，并且可使用包括C、C++等的任何适合的编程语言来创建。

存储器单元114可以是可移动存储器单元，如ROM或闪存盒。在其它实施例中，存储器单元114可包括一个或多个存储器单元(例如RAM、ROM、EEPROM等)。存储器单元114可包括任何适合的磁性、电子、电磁、光学或电光数据存储设备。例如，一个或多个基于半导体的器件可位于存储器单元114中。

音频输出设备116可包括扬声器或音频插座(例如耳机或头戴式耳机插座)，用于耦合到耳机或头戴机。在一个实施例中，音频输出设备116可操作为可听见地再现潜在的用户所写可选项目的列表。音频输出设备116亦可操作为响应于用户对用户所写可选项目的选择来可听见地再现信息。

应理解交互式设备100亦可操作为识别并执行与表面上预先打印的可选项目关联的功能。在一个实施例中，响应于用户对表面上预先打印的可选项目的选择，处理器112可操作为响应于用户选择预先打印的可选项目来执行与预先打印的可选项目关联的功能。在一个实施例中，处理器112可操作为使用符号识别来自动辨识预先打印的可选项目。在另一个实施例中，处理器112可操作为基于所检测的预先打印的可选项目的表面定位来自动辨识预先打印的可选项目。而且，在另一个实施例中，处理器112可操作为基于表面的特定有界区域来辨识应用程序，使得不同有界区域与不同应用程序关联。

在一些实施例中，所述表面可以是有或没有预先打印的可选项目的纸片。图3示出根据本发明一个实施例的提供有标记图案的纸片15。在图3的实施例中，纸片15提供有标记18的图案构成的光学可读位置代码17形式的编码图案。为了清楚起见，图3中的标记18放大了很多。实际上，标记18可能不能由人的视觉系统轻易辨别，而且可在纸片15上表现为灰度级。在一个实施例中，标记18实施为点；但是，本发明并不限制于此。

图4示出图3的位置代码17的放大部分19。诸如交互式设备100(图1)的交互式设备被定位以记录位置代码17的区域的图像。在一个实施例中，所述光学设备将标记18配合于基准系统，所述基准系统是具有在栅格点22相交的栅格线21的栅格的形式。标记18的每个与一栅格点22相关联。例如，标记23与栅格点24相关联。对于图像/栅格中的标记，确定标记从与该标记相关联的栅格点的位移。利用这些位移，将图像/栅格中的图案与基准系统中的图案相比较。基准系统中的每个图案与表面70上的一特定定位相关联。因此，通过将图像/栅格中的图案与基准系统中的图案相匹配，可确定表面70上图案的位置，以及因此所述光学设备相对于表面70的位置。

在一个实施例中，片15上的标记图案是基本不可见代码。所述代码对用户的眼睛“基本不可见”并且可对应于页上的可选项目的绝对或相对定位。“基本不可见”亦包括对用户眼睛完全或略微不可见的代码。例如，如果对用户眼睛略微不可见的点代码在整个纸片上打印，当在正常观察距离观察时，该片可能看上去具有淡灰阴影。在一些情况下，在用户用交互式设备100扫描代码之后，交互式设备100中的音频输出设备116产生对应于与所述代码关联的用户所写可选项目的唯一音频输出(与类似蜂鸣声音的不加区分的音频输出相反)。

在一个实施例中，基本不可见代码由点图案来实施。读取可见或“阈下(subliminally)”打印的点图案的技术是存在并可商业获得的。这些打印的点图案对用户的眼睛基本不可见，使得在正常使用中，存在于点图案中的代码不可由用户的眼睛检测到(不象正常的条码)。可通过例如可表示如二进制编码中的一和零的小和大点的特定组合来实施点图案。点图案可利用与用于打印所述打印元素的墨不同的墨来打印，使得交互式设备100可专门读取点图案。

瑞典公司Anoto采用了使用一算法来产生图案的技术，其可实现在大文档集上的非冲突使用的很大的唯一数据空间。如果全部打印，对在任何页上任何2cm平方的唯一识别，其图案将覆盖70万亿(trillion)个8.5″×11″页。包含特定点图案的纸可从Anoto商业上获得。以下专利或专利申请转让给Anoto并且描述了运种基本技术，并且为了所有目的，全部通过引用结合于此：美国专利No.6,502,756、2002年6月26日提交的美国申请No.10/179,966、WO 01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 00/73983和WO 01/16691。

在一些实施例中，点图案可以没有其它类型的数据，如表示数据块的标记器的数据、音频数据和/或误差检测数据。如以上所指出的，交互式设备100中的处理器112可使用查询表来确定触针的定位，并且可基于定位信息来检索和播放音频。这具有优点。例如，与具有打印在其上的用于标志、音频和误差检测的数据的纸相比，本发明的实施例需要较少的点，这是因为用于标记器、音频和误差检测的数据不需要打印在纸上。通过例如从纸张中省略音频数据，可使纸上的更多空间成为交互的，这是因为实际的音频数据不需要占用纸上的空间。另外，因为在本发明的实施例中用于音频的计算机代码存储在交互式设备100中，所产生的音频由例如纸片中的皱褶或破损而破坏或更改的可能性较小。

应理解，尽管在此专门描述了点图案化的代码，其它类型的基本不可见代码可用在本发明的其它实施例中。例如，如果条码以阵列设置在物件上，则可使用红外条码。举例而言，一个纸片可包括100×100阵列的基本不可见条码，每个代码与纸片上的不同x-y位置关联。条码在阵列中的相对或绝对定位可存储在交互式设备100中的存储器单元114中。

如所指出的，在一些实施例中，基本不可见代码可直接或间接地与所述多个位置和/或任何可选项目在所述片上的定位相关。在一些实施例中，基本不可见代码可直接与听述多个位置在片(或其它表面)上的定位相关。在这些实施例中，不同位置在所述片上的定位可由代码本身来提供。例如，第一位置处的第一代码可包括用于所述第一位置在所述片上的空间坐标(例如特定的x-y位置)的代码，而第二位置处的第二代码可包括用于所述第二位置在所述片上的空间坐标的代码。

不同的用户所写可选项目可位于片上的不同位置。这些用户所写可选项目可形成在代码上。例如，第一用户所写可选项目可形成在覆盖第一代码的第一位置。第二用户所写可选项目可形成在覆盖第二代码的第二位置。当用户形成第一用户所写可选项目时，扫描装置识别所形成的第一打印元素并且基本上同时扫描与所形成的第一用户所写可选项目关联的第一代码。交互式设备100中的处理器112可确定第一位置的特定空间坐标并可使所述第一用户所写可选项目与所述空间坐标相关。

当用户形成第二用户所写可选项目时，扫描装置识别所形成的第二用户所写可选项目并且基本上同时扫描第二代码。处理器112然后可确定第二位置的空间坐标并可使所述第二用户所写可选项目与所述空间坐标相关。于是用户可随后使用交互式设备100来选择第一和第二用户所写可选项目，并且交互式设备100可执行附加操作。例如，利用该方法，用户可在空白纸片上创建用户定义的接口或功能设备。

交互式设备100亦可包括在存储器单元114中使相对或绝对定位与所形成的用户所写可选项目映射或相关的机构。该机构可以是查询表，其使与物件上的特定用户所写可选项目有关的数据与物件上的特定定位相关。该查询表可存储在存储器单元114中。处理器112可使用所述查询表来辨识特定定位处的用户所写可选项目，以使处理器112可执行后续操作。

具有基本不可见代码的表面可采用任何适合的形式。例如，所述表面可以是单个纸片、便条本、活页纸、海报、布告、菜单、张贴物、标签、产品包装、盒子、交易卡、磁体(例如冰箱磁体)、白板、桌面等。而且，所述表面可由任何材料组成，包括但不限于纸、木材、金属、塑料等。这些或其它类型的表面的任何一种可带有或没有预先打印的可选项目而使用。如果所述表面是片，则该片可以是任何适合的大小并且可由任何适合的材料制成。例如，所述片可以是基于纸的，或可以是塑料膜。在一些实施例中，所述表面可以是具有三维表面的三维物件。所述三维表面可包括人体的模制轮廓、动物(例如恐龙)、车辆、字符或其它轮廓。

在一些实施例中，所述表面是片并且该片可以没有预先打印的可选元素，如打印的字母或数字(例如在用户在片上创建用户所写可选项目之前进行的标记)。在其它实施例中，预先打印的可选项目可位于所述片上(例如在用户在所述片上创建用户所写可选项目之前)。预先打印的打印元素可包括数字、图标、字母、圆、词、符号、线等。例如，本发明的实施例可利用预先打印的表单，如预先打印的定单或选票。

交互式设备100可采用任何适合的形式，在一个实施例中，交互式设备100是成形为触针的扫描装置。在一个实施例中，交互式设备100是袖珍大小的。所述触针包括可由塑料或金属制成的触针壳体。抓握区可存在于触针壳体上。

图5示出根据本发明一个实施例的便于与表面上的用户所写可选项目交互的过程500的步骤的流程图。过程500描述了根据本发明一个实施例的交互式设备(例如交互式设备100)当其解释以用户所写可选项目、图形元素、书写、标记等形式的用户输入并提供所请求的功能性给用户时所实施的用户接口过程的基本操作步骤。

在步骤510，其中设备100的计算机实施的功能性检测可写表面上的用户所写可选项目。在步骤512，所述用户所写可选项目连同该用户所写可选项目的功能一起得到识别。例如，该功能可以是可说明预定功能(例如菜单选项)列表以便用户随后激活的菜单功能。在步骤514，检测与用户所写可选项目的交互。该交互可包括：写出用户所写可选项目，用所述交互式设备与用户所写可选项目交互(例如敲击用户所写可选项目)，或者与相关的用户所写可选项目(例如图2B的复选标记)交互。功能与用户所写可选项目持久关联，从而使能由对图形元素图标的随后交互(例如敲击)对所述功能的随后访问(例如在以后的某个时间)。例如，在菜单功能的情况下，用户可在以后的某个时间通过简单地激励菜单图形元素图标(如，敲击它)而随后访问所列出的菜单选择。

以这种方式，本发明的实施例实施了用于使用笔和纸类型接口来导航交互式设备(例如图1的交互式设备100)的功能性的用户接口装置。通过用户所写可选项目实施的用户接口提供了与在交互式设备100内执行的许多软件应用交互的方法。如上所述，到交互式设备100的输入包括用户动作，如用户创建用户所写可选项目或用户与用户所写或预先打印的可选项目交互。来自笔的输出是音频输出，并且因此，用户接口装置使用户能够与所述笔的应用和功能性进行“对话”。换句话说，用户接口使用户能够在表面上创建互相识别的项目，如用户所写可选项目，其允许用户和笔彼此交互。如上所述，互相识别的项目典型地是用户在诸如纸片的表面上画出的符号或标记或图标。

本发明的附加实施例

图6是根据其可实施本发明其它实施例的笔设备150的块图。通常，笔设备150可以称为光学设备，更具体地为光学读取器、光学笔或数字笔。所述设备可包含计算机系统和驻留在其上的操作系统。应用程序亦可驻留在其上。

在图6的实施例中，笔设备150包括壳体62内的处理器32。在一个实施例中，壳体62具有笔或者其它书写或标记用具或装置的形式。处理器32可操作用于处理被用来实施笔设备150功能的信息和指令，如以下所述。

在本实施例中，笔设备150可包括耦合到处理器32的音频输出设备36和显示设备40。在其它实施例中，音频输出设备和/或显示设备在物理上与笔设备150分离，但通过有线或无线连接与笔设备150通信。对于无线通信，笔设备150可包括收发器或发送器(在图6中未示出)。音频输出设备36可包括扬声器或音频插座(例如用于耳机或头戴式耳机)。显示设备40可以是液晶显示器(LCD)或某种其它适合类型的显示器。

在图6的实施例中，笔设备150可包括耦合到处理器32的输入按钮38，用于激活和控制笔设备150。例如输入按钮38允许用户输入信息和命令到笔设备150或者接通或关断笔设备150。笔设备150亦包括电源34，如电池。

笔设备150亦包括耦合到处理器32的光源或光学发射器44和光传感器或光学检测器42。光学发射器44可以是例如光发射二极管(LED)，而光学检测器42可以是例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)成像器阵列。光学发射器44照亮表面70或其部分。从表面70反射的光在光学检测器42处接收并由其记录。

表面70可以是纸片，尽管本发明并未如此限制。例如，表面70可包括LCD(液晶显示器)、CRT(阴极射线管)、触摸屏或其它类型的有源电子表面(例如膝上型或平板PC的显示器)。类似地，表面70可以是包括电子墨的表面、或包括可再配置纸的表面。

在一个实施例中，标记图案打印在表面70上。支持光学发射器44和光学检测器42的笔设备150的一端抵着或接近于表面70而放置。当笔设备150相对于表面70移动时，标记图案由光学发射器44和光学检测器42读取和记录。如以下更详细讨论的，在一个实施例中，表面70上的标记用来确定笔设备150相对于表面的位置(见图3和4)。在另一个实施例中，表面70上的标记用来编码信息(见图8和9)。所捕捉的表面70的图像可由笔设备150来分析(处理)，以解码所述标记并恢复所编码的信息。

有关用于编码信息的表面标记以及通过电子设备来读取/记录这种标记的附加描述可在转让给Anoto并且全部通过引用结合在此的以下专利和专利申请中找到：美国专利No.6,502,756、提交于2002年6月26日的美国申请No.101179,966、WO 01/95559、WO 01/71473、WO01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 1000/73983和WO 01116691。

图6的笔设备150亦包括耦合到处理器32的存储器单元48。在一个实施例中，存储器单元48是实施为存储器盒或存储器卡的可移动存储器单元。在另一个实施例中，存储器单元48包括存储用于处理器32的信息和指令的随机访问(易失性)存储器(RAM)和只读(非易失性)存储器(ROM)。

在图6的实施例中，笔设备150包括书写元件52，其位于笔设备150的与光学检测器42和光学发射器44相同的一端。书写元件52可以是例如钢笔、铅笔、标记器等，并且可以是或者可以不是可缩回的。在某些应用中，不需要书写元件52。在其它应用中，用户可使用书写元件52在表面70上做标记(例如图形元素或用户所写可选项目)，包括字符如字母、词、数字、数学符号等。这些标记可以根据其在表面70上的位置由笔设备150来扫描(成像)和解释。用户产生的标记的位置可使用打印在表面70上的标记图案来确定；参考以上对图3和4的讨论。在一个实施例中，可使用识别手写字符的光学字符识别(OCR)技术由笔设备150来解释用户产生的标记。

如以上所述，表面70可以是适合于在其上书写的任何表面，如例如纸片，尽管可以使用由除纸以外的材料构成的表面。而且，表面70可以是或可以不是平的。例如，表面70可以实施为球的表面。此外，表面70可以小于或大于常规(例如8.5×11英寸)纸页。

图7是根据其可实施本发明实施例的另一个设备250的块图。设备250包括处理器32、电源34、音频输出设备36、输入按钮38、存储器单元48、光学检测器42、光学发射器44和书写元件52，如在本文中先前所述。然而，在图7的实施例中，光学检测器42、光学发射器44和书写元件52实施为壳体62中的光学设备251，而处理器32、电源34、音频输出设备36、输入按钮38和存储器单元48实施为壳体74中的平台202。在本实施例中，光学设备251通过线缆102耦合到平台252；然而，可替代地使用无线连接。图7所示的元件可以以不同于以上所述的组合分布在光学设备251和平台252之间。

返回来参考图6，表面70上的四个位置或医域由字母A、B、C和D(这些字符并不打印在表面70上，而是在此用于指示表面70上的位置)来指示。表面70上可以有许多这样的区域。与表面70上的每个区域关联的是标记的唯一图案。表面70上的区域可重叠，因为即使一些标记在重叠区域之间共享，一个区域内的标记图案对于该区域仍是唯一的。

在图6的例子中，利用笔设备150(具体地，利用书写元件52)，用户可在表面70的位置A创建由例如带圈的字母“M”构成的字符(通常用户可在表面70上的任何位置创建字符)。用户可响应于来自笔设备150的提示(例如可听见的提示)来创建字符。当用户创建字符时，笔设备150记录标记图案，所述标记唯一地存在于创建字符的位置。笔设备150将所述标记图案与刚刚创建的字符关联。当笔设备150随后定位在带圈的“M”上时，笔设备150识别与之关联的标记图案并且将该位置识别为与带圈的“M”关联。实际上，笔设备150是通过使用字符所处的位置处的标记图案来识别该字符的，而不是通过识别字符本身。

在一个实施例中，以上所述的字符包括与笔设备150的一个或多个命令关联的“图形元素”。应指出，与包括命令的笔设备150实施的功能关联并且用于对其进行访问的这种图形元素在以下称为“图形元素图标”，以便区分于未与笔设备150的访问功能或应用关联的其它所写字符、标记等。在刚才所述的例子中，用户可创建(写出)标识特定命令的图形元素图标，并且可通过简单地将笔设备150定位于图形元素图标(例如所写字符)上来重复调用该命令。在一个实施例中，将书写装置定位于图形字符上。换句话说，每次要由笔设备150调用命令时，用户不必写出用于该命令的字符；相反，用户可写出用于命令的图形元素图标一次，并且使用同一所写图形元素图标来重复调用该命令。该属性称为“持久性”，并且在以下更详细地描述。对于不是用户所写而是预打印在表面上并且仍然可由笔设备150选择的图形元素图标也是这样。

在一个实施例中，所述图形元素图标可包括一字母或数字，其中围绕该字母或数字画有线。围绕所述字母或数字所画的线可以是圆、椭圆、方形、多边形等。这样的图形元素看起来象是可由用户选择的“按钮”，而不是普通的字母和数字。通过创建这种图形元素图标，用户可将诸如功能图标的图形元素图标在视觉上区分于可由笔设备150处理为数据的普通字母和数字。而且，通过创建这种图形元素图标，笔设备150亦能够较好地将功能或菜单项目类型的图形元素区分于非功能或非菜单项目类型的图形元素。例如，用户可以创建作为由圆形所包围的字母“M”的图形元素图标来创建交互式“菜单”图形元素图标。

可将笔设备150编程为将其中有字母“M”的重叠圆或方形识别为与词中的字母“M”区分的功能图形元素。所述图形元素图标亦可以包括某个距离(例如1英寸、1.5英寸等)内的与其相邻的小“复选标记”符号。所述复选标记将与图形元素图标关联。用于识别这种功能图形元素并将其与其它非功能图形元素区分的计算机代码可驻留在笔设备的存储器单元中。处理器可识别所述图形元素图标并且可辨识这些图形元素图标的定位，以使笔设备150可执行与之关联的各种功能、操作等。在这些实施例中，存储器单元可包括用于使用户所产生的任何图形元素相关于其在表面上的定位相关的计算机代码。笔设备150识别“下触”或“下划”或者向下放在表面上(例如当用户开始书写时)，并且识别“上划”或从表面向上拾起(例如当用户完成书写时)。这样的下划和上划可由笔设备150解释为例如关于何时调用某些功能性以及调用什么样的特定功能/应用(例如触发OCR处理)的指示器。特别地，由上划迅速跟随的下划(例如笔设备在表面上的敲击)取决于应用可与专门动作关联(例如选择图形元素图标、文本串等)。

应指出，通用术语“图形元素”可包括用户所创建的任何适合标记，并且可区分于涉及用于访问设备的一个或多个功能的功能图形元素的图形元素图标。

如以上所述，应指出图形元素图标可由笔设备150来创建(例如由用户画出)或可以是预先存在的(例如纸片上打印的元素)。示例图形元素包括，但不限于，符号、记号如字母和/或数字、字符、词、形状、线等。它们在形状上可以是规则或不规则的。用户写出/创建的图形元素典型地使用笔设备150来创建。另外，图形元素图标通常但不总是结合围绕字符(例如字母“M”)的划线(例如圆)，以便给予它们对于用户和笔设备150两者的附加程度的区分性。例如，在一个实施例中，完成字符周围的圆之后的上划可专门向笔设备150指示用户刚刚创建了图形元素图标。

图8A和8B示出根据本发明一个实施例的计算机实施过程800的步骤的流程图。过程800描述了可听见地指示用户与一功能交互的过程的基本操作步骤，所述功能由根据本发明一个实施例的设备(例如图1的交互式设备100)在其解释以图形元素、书写、标记等形式的用户输入并且将有关所请求功能性的可听见指令提供给用户时实施。

过程800开始于图8A的步骤805，其中交互式设备100的计算机实施的功能性将一功能与用户所写可选项目相关联。在一个实施例中，交互式设备100在其中存储了许多功能，如可执行应用程序、菜单项目、应用选项选择器或数据实例，其与相应的用户所写可选项目关联。例如，具有围绕它的圆的字母C(例如图2C的用户所写可选项目244)可与计算器功能关联。

在步骤810，所述交互式设备识别在表面上所写的用户所写可选项目。用户创建该用户所写可选项目。在一个实施例中，通过使用光学检测器120光学地记录书写元件118的位置来识别所述用户所写可选项目。笔设备100执行对所述位置的图像识别以识别所述用户所写可选项目。在一个实施例中，对所述用户所写可选项目的识别是响应于检测到指示用户所写可选项目完成的终止事件而执行的。当用户完成书写用户所写可选项目时，通过例如将不活动(例如用户不再书写)识别为数据录入终止事件，交互式设备100识别到用户完成的事实。以这种方式，可使用“超时”机制来识别数据录入的结束。另一个终止事件可以是用户完成字母或多个字母周围的圆。终止事件的另外实例描述于由James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0320、申请号No.11/035,003、题为“TERMINATION EVENTS”的共同转让的美国专利申请，其全部内容结合于此。

在一个实施例中，如在步骤815所示，执行所述功能而无需用户在所述表面上画出任何辅助笔迹(例如复选标记)。例如，在所述功能是时间功能的情况下，一旦与时间功能关联的用户所写可选项目得到识别，立即执行该时间功能。在时间功能的情况下，可以可听见地再现当前时间。应理解，步骤815是任选的，并且该功能不需要在过程800的该点执行。

在步骤820，响应于识别用户所写可选项目，可听见地再现与关联的功能的操作相关的第一指令消息，而无需所述表面上的来自用户的进一步交互(例如无需用户画出任何辅助笔迹，如复选标记)。在一个实施例中，第一指令消息引导用户画出使用户能与该功能交互的至少一个用户接口元素。例如，参照图2C，响应于识别用户所写可选项目244，可听见地再现引导用户画出在其中画出计算器的框的指令消息。在另一个实施例中，参照图2D，响应于识别用户所写可选项目254，可听见地再现引导用户画出两个水平线的指令消息。

在步骤825，确定自从可听见地再现所述第一指令消息，是否已在预定时间(例如三秒或五秒)内在所述表面上画出笔迹。如果在所述预定时间段内在所述表面上尚未画出笔迹，则如在步骤830所示，重复第一指令消息。可替换地，如果笔迹已经画在所述表面上，则过程800前进到图8B的步骤835。

现在参照图8B，根据本发明的一个实施例，在步骤835，确定用户接口元素是否已在所述表面上适当地画出。例如，考虑以上所述的计算器功能。最初引导用户画框。一旦在表面上检测到笔迹，则交互式设备100将确定它是否适当地画出。在计算器功能的情况下，交互式设备100将确定用户是否画出了框及该框是否具有在其中画出附加用户接口元素(例如数字和运算数)的适当尺度。

如果用户尚未适当地画出用户接口元素，则如在步骤840所示，可听见地再现第二指令消息，所述第二指令消息包括有关用户应以哪种方式适当地画出用户接口元素的提示。例如，如果确定用户已画出要在其中画计算器的框，但该框过小以至于不能装入所有必要信息，则第二指令消息可引导用户画出较大的框。在另一个实例中，考虑用户正在使用音乐键盘功能并且最初被引导画出两个水平线。如果确定用户所画的线不水平(例如是竖直或对角的)，则第二指令消息可通知用户水平线是边对边的(side-to-side)。

一旦确定用户接口元素已经适当地画出，则过程800前进到步骤845和/或步骤850。应理解，步骤845和850是任选的，并且可实施这些步骤之一或两者。

在步骤845，再现第三指令消息。例如，可引导用户在计算器框内写出数字零到九。应理解，过程800然后可执行类似于在步骤825到840中所述的步骤以确定笔迹是否已经写出并且该笔迹是否适当。还应理解，可以可听见地再现任何数量的指令消息以引导用户画出用户接口元素。依赖于用户接口元素的复杂度，许多指令消息可能对精确描述用户如何画出特定用户接口元素是必要的。例如，具有升半音和降半音键以及音量控制和拍子控制的音乐键盘可需要比不包括升半音和降半音键、音量控制和拍子控制的音乐键盘多的指令消息。

在步骤850，执行所述功能。例如，一旦计算器已经画出，用户然后可与该计算器交互以执行数学计算。在一个实施例中，可听见地再现一消息，通知用户计算器已准备好使用。

以这种方式，本发明的实施例为用户提供了有关所选功能的使用的指令消息。具体而言，在执行所述功能之前可听见地再现指令消息而无需与所述表面的附加用户交互。例如，为使用户利用计算器，必须首先画出计算器。在执行计算器功能之前，引导用户画出必要的用户接口元素。

图9示出根据本发明一个实施例的计算机实施过程900的步骤的流程图。过程900描述了自动执行功能的过程的基本操作步骤，所述功能由根据本发明一个实施例的设备(例如图1的交互式设备100)在其解释以图形元素、书写、标记等形式的用户输入并且将有关所请求功能性的可听见指令提供给用户时实施。

过程900开始于步骤905，其中交互式设备100的计算机实施的功能性将一功能与用户所写可选项目相关联。在一个实施例中，交互式设备100在其中存储了许多功能，如可执行应用程序、菜单项目、应用选项选择器或数据实例，其与相应的用户所写可选项目关联。例如，具有围绕它的圆的字母T(例如图2C的用户所写可选项目242)可与时间功能关联。

在步骤910，所述交互式设备识别在表面上所写的用户所写可选项目。用户创建该用户所写可选项目。在一个实施例中，通过使用光学检测器120光学地记录书写元件118的位置来识别所述用户所写可选项目。笔设备100执行对所述位置的图像识别以识别所述用户所写可选项目。在一个实施例中，对所述用户所写可选项目的识别是响应于检测到指示用户所写可选项目完成的终止事件而执行的。当用户完成书写用户所写可选项目时，通过例如将不活动(例如用户不再书写)识别为数据输入终止事件，交互式设备100识别到用户完成的事实。以这种方式，可使用“超时”机制来识别数据输入的结束。另一个终止事件可以是用户完成字母或多个字母周围的圆。终止事件的另外实例描述于由James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0320、申请号No.11/035,003、题为“TERMINATION EVENTS”的共同转让的美国专利申请，其全部内容结合于此。

在步骤915，立即执行所述功能而无需用户和表面之间的进一步交互(例如无需用户画出任何辅助笔迹，如复选标记)。例如，在所述功能是时间功能的情况下，一旦与时间功能关联的用户所写可选项目得到识别，立即执行该时间功能。在时间功能的情况下，亦可以可听见地再现当前时间。

在步骤920，确定自从已经执行所述功能，是否已在预定时间(例如三秒或五秒)内有用户与用户所写可选项目的交互。如果在所述预定时间段内没有用户交互，则如在步骤925所示，可听见地再现与关联的功能的操作相关的第一指令消息，而无需来自用户的进一步交互。例如，在所述功能是时间功能的情况下，可以可听见地再现通知用户与关联的用户所写可选项目交互将使时间被重复的指令消息。

可替换地，如果确定在预定时间内有用户与所述用户所写可选项目的交互，则如在步骤930所示，再次执行所述功能。例如，参照图2C，如果用户与用户所写可选项目242交互(例如敲击)，则可听见地再现当前时间。在一个实施例中，对于与用户所写可选项目242的每个交互，时间功能切换于当前时间和当前日期之间。以这种方式，本发明的实施例为用户提供了对所选功能的立即执行。具体而言，执行所述功能而无需与所述表面的附加用户交互。因此，为用户提供了有效的用户接口，通过其可立即执行提供某些类型信息的功能。

尽管已在使用以标记编码的表面以确定笔设备的定位的上下文中描述了本发明的实施例，但应指出本发明的实施例还适合于与使用不需要编码表面的其它装置来确定定位的笔设备一起使用。例如，在一个实施例中，笔设备可结合一个或多个位置定位机构，如例如运动传感器、陀螺仪等，并且可配置成准确存储给定表面(如，纸片)的精确定位。例如，通过顺序接触表面(如，矩形的纸片)的相对的角，可存储表面的精确定位。笔设备然后将通过比较所存储的表面精确定位与其定位确定装置的结果来识别用户在表面上所写的图形元素的定位。

本发明的一种用于可听见地指示用户与一功能交互的方法的各种实施例由此得以描述。尽管已在特定的实施例中描述了本发明，应理解本发明不应解释为由这样的实施例来限制，相反，应根据以下权利要求来解释。

Claims

1.一种用于可听见地指示用户与一功能交互的方法，所述方法包括：将一功能与用户所写可选项目关联，所述用户所写可选项目由所述用户使用具备音频输出设备的笔计算机来产生；识别一表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互，其中所述可听见地再现所述第一指令消息由所述笔计算机的所述音频输出设备来执行。

2.如权利要求1所述的方法，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素。

3.如权利要求2所述的方法，进一步包括：确定自从所述可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹；以及如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复所述第一指令消息。

4.如权利要求2所述的方法，进一步包括：确定所述用户接口元素是否已在所述表面上适当地画出；以及如果所述用户接口元素尚未在表面上适当地画出，则可听见地再现第二指令消息，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示。

5.如权利要求4所述的方法，进一步包括：如果所述用户接口元素已经适当地画出，则可听见地再现第三指令消息。

6.如权利要求4所述的方法，进一步包括：如果所述用户接口元素已经适当地画出，则执行所述功能。

7.如权利要求1所述的方法，进一步包括：响应于用户与所述用户所写可选项目的交互，重复所述第一指令消息。

8.如权利要求1所述的方法，进一步包括：在可听见地再现所述第一指令消息之前执行所述功能。

9.如权利要求1所述的方法，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。

10.如权利要求1所述的方法，其中所述识别所述用户所写可选项目包括：光学地记录笔计算机的尖的位置；以及执行对所述位置的图像识别以识别所述用户所写可选项目。

11.一种用于自动执行功能的方法，所述方法包括：将一功能与用户所写可选项目关联；识别一表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互；其中所述方法进一步包括：可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。

12.如权利要求11所述的方法，其中所述可听见地再现所述指令消息响应于预定时间段的流逝而执行，而无需用户与所述表面的交互。

13.如权利要求11所述的方法，进一步包括：响应于用户与所述用户所写可选项目的交互，再次执行所述功能。

14.如权利要求11所述的方法，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。

15.如权利要求11所述的方法，其中所述立即执行所述功能而不首先需要用户和所述表面之间的进一步交互包括立即执行所述功能而不首先需要所述用户在所述表面上的辅助书写。

16.一种用于可听见地指示用户与一功能交互的装置，所述装置包括：用于将一功能与用户所写可选项目关联的装置，所述用户所写可选项目由所述用户使用具备音频输出设备的笔计算机来产生；用于识别一表面上的所述用户所写可选项目的装置；以及用于响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互的装置，其中所述可听见地再现所述第一指令消息由所述笔计算机的所述音频输出设备来执行。

17.如权利要求16所述的装置，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素。

18.如权利要求17所述的装置，进一步包括：用于确定自从所述可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹的装置；以及用于如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复所述第一指令消息的装置。

19.如权利要求17所述的装置，进一步包括：用于确定所述用户接口元素是否已在所述表面上适当地画出的装置；以及用于如果所述用户接口元素尚未在所述表面上适当地画出，则可听见地再现第二指令消息的装置，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示。

20.如权利要求19所述的装置，进一步包括：用于如果所述用户接口元素已经适当地画出，则可听见地再现第三指令消息的装置。

21.如权利要求19所述的装置，进一步包括：用于如果所述用户接口元素已经适当地画出，则执行所述功能的装置。

22.如权利要求16所述的装置，进一步包括：用于响应于用户与所述用户所写可选项目的交互，重复所述第一指令消息的装置。

23.如权利要求16所述的装置，进一步包括：用于在可听见地再现所述第一指令消息之前执行所述功能的装置。

24.如权利要求16所述的装置，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。

25.如权利要求16所述的装置，其中所述用于识别所述用户所写可选项目的装置包括：用于光学地记录笔计算机的尖的位置的装置；以及用于执行对所述位置的图像识别以识别所述用户所写可选项目的装置。

26.一种用于自动执行一功能的装置，所述装置包括：用于将一功能与用户所写可选项目关联的装置；用于识别一表面上的所述用户所写可选项目的装置；以及用于响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互的装置；其中所述装置进一步包括：用于可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互的装置。

27.如权利要求26所述的装置，其中所述用于可听见地再现所述指令消息的装置响应于预定时间段的流逝来执行，而无需用户与所述表面的交互。

28.如权利要求26所述的装置，进一步包括：用于响应于用户与所述用户所写可选项目的交互，再次执行所述功能的装置。

29.如权利要求26所述的装置，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。

30.如权利要求26所述的装置，其中所述用于立即执行所述功能而不首先需要用户和所述表面之间的进一步交互的装置包括用于立即执行所述功能而不首先需要所述用户在所述表面上的辅助书写的装置。

31.一种交互式设备，包括：总线；耦合到所述总线的音频输出设备；书写元件，用于允许用户在可写表面上书写；耦合到所述总线的光学检测器，用于检测所述书写元件相对于所述可写表面的位置；耦合到所述总线的处理器；以及耦合到所述总线的存储器单元，所述存储器存储指令，当被执行时，所述指令使所述处理器实施用于可听见地指示用户与一功能交互的方法，所述方法包括：将一功能与用户所写可选项目关联，所述用户所写可选项目由所述用户使用所述书写元件来产生；识别所述可写表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素；确定所述用户接口元素是否已在所述表面上适当地画出；如果所述用户接口元素尚未在所述表面上适当地画出，则可听见地再现第二指令消息，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示；以及如果所述用户接口元素已经适当地画出，则执行所述功能；其中所述可听见地再现所述第一指令消息和可听见地再现所述第二指令消息是由所述音频输出设备来执行的。

32.如权利要求31所述的交互式设备，其中所述方法进一步包括：确定自从所述可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹；以及如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复所述第一指令消息。

33.如权利要求31所述的交互式设备，其中所述方法进一步包括：如果所述用户接口元素已经适当地画出，则可听见地再现第三指令消息。

34.如权利要求31所述的交互式设备，其中所述方法进一步包括：响应于用户与所述用户所写可选项目的交互，重复所述第一指令消息。

35.如权利要求31所述的交互式设备，其中所述方法进一步包括：在可听见地再现所述第一指令消息之前执行所述功能。

36.如权利要求31所述的交互式设备，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。

37.如权利要求31所述的交互式设备，其中所述识别所述用户所写可选项目包括：使用所述光学检测器光学地记录所述交互式设备的所述书写元件的尖在所述可写表面上的位置；以及执行对所述位置的图像识别以识别所述用户所写可选项目。

38.一种交互式设备，包括：总线；耦合到所述总线的音频输出设备；书写元件，用于允许用户在可写表面上创建用户所写可选项目；耦合到所述总线的光学检测器，用于检测所述可写表面上的信息；耦合到所述总线的处理器；以及耦合到所述总线的存储器单元，所述存储器存储指令，当被执行时，所述指令使所述处理器实施用于自动执行功能的方法，所述方法包括：将一功能与用户所写可选项目关联，所述用户所写可选项目由所述用户使用所述书写元件来产生；识别一表面上的所述用户所写可选项目；以及响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互；以及

可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。

39.如权利要求38所述的交互式设备，其中所述方法进一步包括：通过所述音频输出设备来可听见地再现与所述功能的操作相关的指令消息而不首先需要用户和所述表面之间的进一步交互。

40.如权利要求39所述的交互式设备，其中所述可听见地再现所述指令消息响应于预定时间段的流逝来执行，而无需用户与所述表面的交互。

41.如权利要求38所述的交互式设备，其中所述方法进一步包括：响应于用户与所述用户所写可选项目的交互，再次执行所述功能。

42.如权利要求38所述的交互式设备，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。

43.如权利要求38所述的交互式设备，其中所述立即执行所述功能而不首先需要用户和所述表面之间的进一步交互包括立即执行所述功能而不首先需要所述用户在所述表面上的辅助书写。