CN1862473A - 在可写表面上提供具有交互式元素的用户接口 - Google Patents

在可写表面上提供具有交互式元素的用户接口 Download PDF

Info

Publication number
CN1862473A
CN1862473A CNA2006100005602A CN200610000560A CN1862473A CN 1862473 A CN1862473 A CN 1862473A CN A2006100005602 A CNA2006100005602 A CN A2006100005602A CN 200610000560 A CN200610000560 A CN 200610000560A CN 1862473 A CN1862473 A CN 1862473A
Authority
CN
China
Prior art keywords
selectable items
user
user writes
interactive device
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006100005602A
Other languages
English (en)
Inventor
詹姆斯·马格拉夫
亚历山大·奇泽姆
特拉西·L·埃奇库姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leapfrog Enterprises Inc
Knowledge Kids Enterprises Inc
Original Assignee
Knowledge Kids Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knowledge Kids Enterprises Inc filed Critical Knowledge Kids Enterprises Inc
Publication of CN1862473A publication Critical patent/CN1862473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Image Input (AREA)
  • Character Discrimination (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

一种交互式设备，允许用户创建表面上所写的可选项目并且与之交互。本发明向用户提供了一种以任何表面比如一张纸来取代电子显示器的接口。用户可在表面上创建用以执行相关功能的用户所写可选项目。用户所写可选项目在该表面上是持久的，允许用户在交互式设备的整个操作中执行与不同的可选项目相关联的功能。通过允许用户与一张纸直接交互，本发明以交互式设备提供了独特的用户接口，其向用户提供了与用户所写可选项目的创建以及与这些项目相关联的功能的执行有关的增大的灵活性。

Description

在可写表面上提供具有交互式元素的用户接口
相关申请的交叉引用
本申请是共同未决的共有美国专利申请的部分继续申请，该美国专利申请的代理案号是020824-004610US，申请号是10/803,806，由James Marggraff等人于2004年3月17日提交，标题为“SCANNING APPARATUS”，通过引用将其完整地结合于此。
本申请是共同未决的共有美国专利申请的部分继续申请，该美国专利申请的代理案号是020824-009500US，申请号是10/861,243，由James Marggraff等人于2004年6月3日提交，标题为“USER CREATED INTERACTIVEINTERFACE”，通过引用将其完整地结合于此。
本申请涉及共同未决的共有美国专利申请，该美国专利申请的代理案号是LEAP-P0313，申请号是11/034,491，由James Marggraff等人于2005年1月12日提交，标题为“A METHOD AND SYSTEM FOR IMPLEMENTING AUSER INTERFACE FOR A DEVICE EMPLOYING WRITTEN GRAPHICALELEMENTS”，通过引用将其完整地结合于此。
本申请涉及共同未决的共有美国专利申请，该美国专利申请的代理案号是LEAP-P0316，申请号是11/035,155，由James Marggraff等人于2005年1月12日提交，标题为“A METHOD AND SYSTEM FOR IMPLEMENTING AUSER INTERFACE FOR A DEVICE THROUGH RECOGNIZED TEXT ANDBOUNDED AREAS”，通过引用将其完整地结合于此。
本申请涉及共同未决的共有美国专利申请，该美国专利申请的代理案号是LEAP-P0320，申请号是11/035,003，由James Marggraff等人于2005年1月12日提交，标题为“TERMINATION EVENTS”，通过引用将其完整地结合于此。
技术领域
本文的实施例涉及交互式设备的领域。具体而言，本文的实施例涉及基于笔的交互式设备。
背景技术
在近二十年中，诸如桌面计算机系统、膝上计算机系统、手持计算机系统和手写计算机系统等个人计算机设备的使用已经增长，使得这些设备在我们的社会中无处不在。这些个人计算机设备为用户提供了惊人的交互式应用范围，提供了极大改善的商业功能、通信能力和娱乐可能性。
当前的个人计算机设备通过使用用户接口来提供接口对这些交互式应用的访问。典型的计算设备具有图形接口，这些图形接口使用显示设备比如监视器或显示屏来将信息呈现给用户接口，以及使用输入设备比如鼠标、键盘、操纵杆或触针(stylus)来接收来自用户的信息。
甚至比计算机系统更广泛的是，笔和纸的使用在文化社会中普遍存在。尽管当前计算装置的图形用户接口为有效的交互提供了很多计算应用，但是典型的图形用户接口难以模仿钢笔或铅笔和纸的普通使用。例如，桌面和膝上计算机系统一般不具有笔状接口。而且，进入计算机中的输入被显示在电子显示器上，并不像写在纸上的信息那样持久和容易使用。此外，尽管掌上计算机系统或手写计算机系统的屏幕上使用的触针可模仿写元件的使用，但是该输入是电子存储的，也不持久或容易使用。
发明内容
因此，需要一种交互式设备，其与表面上的打印项目协调，以启动与该打印项目相关联的功能。还需要一种交互式设备，其满足以上需要并且允许用户在表面上创建与功能相关联的用户所写的可选项目。还需要一种交互式设备，其满足以上需要并且响应于用户所写的可选项目的用户选择以执行相关联的功能。
在此描述本发明的各种实施例，即一种允许用户创建在表面上所写的可选项目并且与之交互的交互式设备。本发明向用户提供了一种以任一表面比如一张纸来取代电子显示器的接口。用户可以在该表面上创建用以执行相关功能的用户所写的可选项目。该表面可包括执行相关功能的预打印的可选项目。用户所写和预打印的可选项目在该表面上是持久的，允许用户在交互式设备的整个操作中执行与不同的可选项目相关联的功能。通过允许用户与一张纸直接交互，本发明以交互式设备提供了独特的用户接口接口，其向用户提供了与用户所写的可选项目的创建以及与这些项目相关联的功能的执行有关的增大的灵活性。
在一个实施例中，本发明提供了一种交互式设备，包括总线、处理器、存储器单元、音频输出设备、写元件和光学检测器。在一个实施例中，该音频输出设备可操作用以听觉地再现潜在用户所写可选项目的列表。该写元件允许用户在表面上创建用户所写可选项目。该光学检测器用于检测该表面上的信息。该处理器上实施的软件响应于用户所写可选项目的用户选择，并且可操作用以响应于该选择来执行与用户所写可选项目相关联的功能。
在一个实施例中，该处理器可操作用以使用符号识别响应于该选择来自动标识该用户所写可选项目。在一个实施例中，该处理器可操作用以自动记录用户所写可选项目在该表面上的表面定位。在一个实施例中，该处理器可操作用以基于检测到的用户所写可选项目的表面定位、响应于该选择来自动标识用户所写可选项目。在一个实施例中，该软件还响应于该表面上预打印可选项目的用户选择，并且可操作用以响应于用户选择预打印可选项目来执行与预打印可选项目相关联的功能。
在另一实施例中，本发明提供了一种计算机系统的操作系统，其中该操作系统可操作用以检测表面上的用户所写可选项目，将用户所写可选项目与一种功能相关联，以及响应于与用户所写可选项目的用户交互来执行该功能。在一个实施例中，该操作系统可操作用以使用符号识别来自动标识用户所写可选项目。在一个实施例中，该操作系统可操作用以自动记录用户所写可选项目在该表面上的表面定位。在一个实施例中，该操作系统可操作用以基于用户所写可选项目的表面定位、响应于用户交互来自动标识用户所写可选项目。
在另一实施例中，本发明提供了一种用于促进与表面上的用户所写可选项目的交互的方法。检测与功能相关联的至少一个用户所写可选项目。检测与用户所写可选项目的交互。响应于该交互来执行该功能。
在各种实施例中，用户所写可选项目包括以下之一：可由处理器执行的应用程序的符号表示、可由处理器执行的应用程序的菜单项目、导航项目、数据、应用选项选择器或者另一可选项目。
广义地，本文公开了一种交互式设备，其允许用户创建在表面上所写的可选项目并且与之交互。本发明向用户提供了一种以任何表面比如一张纸来取代电子显示器的接口。用户可在表面上创建用以执行关联功能的用户所写可选项目。用户所写可选项目在该表面上是持久的，允许用户在交互式设备的整个操作中执行与不同的可选项目相关联的功能。通过允许用户与一张纸直接交互，本发明以交互式设备提供了独特的用户接口，其向用户提供了与用户所写可选项目的创建以及与这些项目相关联的功能的执行有关的增大的灵活性。
附图说明
引入本说明书中以及形成本说明书的一部分的附图图示了本发明的实施例，并且与该描述一起起到解释本发明的原理的作用：
图1示出本发明的一个实施例的交互式设备。
图2A和2B示出按照本发明实施例的纸张上示范性的用户所写的可选项目。
图3示出了按照本发明一个实施例的具有标记图案的示范性纸张。
图4示出了按照本发明一个实施例的示范性纸张上标记图案的放大。
图5示出了按照本发明一个实施例的过程的步骤流程图，该过程用于促进与表面上用户绘制的可选项目的交互。
图6是另一设备的框图，本发明的实施例可基于该设备来实施。
图7是另一设备的框图，本发明的实施例可基于该设备来实施。
图8示出了按照本发明一个实施例的设备用户接口过程的步骤流程图。
图9示出了按照本发明一个实施例的分级设备用户接口过程的步骤流程图。
图10示出了按照本发明实施例的菜单项目树状目录。
图11A示出了按照本发明一个实施例的菜单项目听觉提示过程。
图11B示出了按照本发明一个实施例的菜单项目选择过程。
图11C示出了按照本发明一个实施例的子菜单项目选择过程。
图12示出了按照本发明一个实施例的表面上多个不同类型的图形项目图标。
具体实施方式
现在将具体参照本发明的各种实施例，一种允许用户创建在表面上所写的可选项目并且与之交互的交互式设备，其实例在附图中示出。尽管本发明将结合这些实施例来加以描述，但是应理解它们不是为了将本发明限制于这些实施例。相反地，本发明旨在覆盖可包括在如所附权利要求限定的本发明的精神和范围内的替代、改型和等效。此外，在本发明的以下详细描述中，阐述了许多具体细节以提供本发明的彻底理解。然而，本领域的普通技术人员将认识到本发明可在没有这些具体细节时加以实践。在其他实例中，公知的方法、程序、组件和电路没有被详细描述，以免不必要地使得本发明的各方面显得难以理解。
随后的详细描述的一些部分是在程序、步骤、逻辑块、处理以及可在计算机存储器上对数据位执行的操作的其他符号表示等方面呈现的。这些描述和表示是数据处理领域的技术人员所使用的手段，以便最有效地将他们工作的实质传达给其他领域的技术人员。这里通常将程序、计算机执行的步骤、逻辑块、过程等设想为造成所需结果的自相一致的步骤或指令序列。这些步骤是需要物理量的物理操纵的步骤。通常，但不是必需地，这些量采用能够在计算机系统中存储、转移、组合、对比以及另外操纵的电或磁信号的形式。已经证明了主要地出于通用目的而将这些信号指代为位、值、元素、符号、字符、术语、数字等等有时是方便的。
但是应当记住，所有这些和类似术语将与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非另外地具体指出，正如从以下讨论中显而易见的，应当理解在整个的本发明中，利用诸如“检测”或“执行”或“标识”或“再现”或“选择”或“识别”或“关联”或“记录”或“指示”等等术语的讨论是指代电子系统(例如图1的交互式设备100)或类似电子计算设备的动作或过程，该电子系统或类似电子计算设备操纵在电子设备的寄存器和存储器内表示为物理(电子)量的数据，并且将该数据转换成在电子设备存储器或寄存器或其他此类信息存储、传送或显示设备内类似地表示为物理量的其他数据。
本发明的实施例
在此描述了本发明的各种实施例，即一种允许用户创建在表面上所写的可选项目并且与之交互的交互式设备。本发明为用户提供了接口，该接口以任一可写表面比如一张纸来取代电子显示器。用户可在该表面上创建用户所写的可选项目，这些所选项目执行相关功能和/或表现用户所写数据，例如词、字母、数字、符号等。该表面还可包括执行用以相关功能的预打印的可选项目。用户所写和预打印的可选项目在该表面上是持久的，允许用户在交互式设备的整个操作中执行与不同的可选项目相关联的功能。通过允许用户直接与一张纸交互，本发明以交互式设备提供了独特的用户接口，其为用户提供了与用户所写的可选项目的创建以及与这些项目相关联的功能的执行有关的增大的灵活性。
图1图示了按照本发明实施例的交互式设备100。交互式设备100包括壳130内的处理器112、存储器单元114、音频输出设备116、写元件118和光学检测器120。在一个实施例中，处理器112、存储器单元114、音频输出设备116和光检测器120在总线122上通过通信方式耦合。
在一个实施例中，壳130以触针或写工具(例如笔状)的形式成形。用户可以像持有触针那样的类似方式来持有交互式设备100。写元件118位于壳130的一端，使得用户能够将写元件118放置成与可写表面(未示出)接触。写元件118可包括钢笔、铅笔、记号笔、粉笔或任何其他标记材料。应理解写元件118还可包括非标记尖。在使用中，用户可持有交互式设备100，以像写工具那样的类似方式来使用它以在表面比如纸上书写。
写元件118可用来在表面上创建用户所写的可选项目。“用户所写的可选项目”可包括由用户创建的任何标记。如果在表面(例如纸张)上进行了标记，则用户所写的可选项目可以是打印元素。用户所写的可选项目包括但不限于符号、标记比如字母和/或数字、字符、词、形状、线条等。它们在形状上可以是规则或不规则的，并且它们一般是使用触针来创建。
交互式设备100允许用户创建用户所写的可选项目，这些可选项目表示由交互式设备100提供的不同功能。在一个实施例中，用户所写的可选项目包括可由处理器112执行的应用程序(例如计算器应用或辞典应用)的符号表示。在另一实施例中，用户所写的可选项目可包括导航项目(例如菜单)、可由所述处理器执行的应用程序的菜单项目、应用选项选择器或数据的示例(例如词)。
在一些实施例中，用户所写的可选项目可包括带有线条的字母或数字，该线条环绕该字母或数字。环绕该字母或数字的线条可以是圆形、椭圆形、方形、多边形等。这样的用户所写可选项目看起来就像是能够由用户选择的“按钮”，而不是普通的字母和数字。通过创建这种用户所写可选项目，用户能够可视地将用户所写的可选项目比如功能图标从普通字母和数字中区分开。另外，通过创建这种用户所写可选项目，交互式设备100还能够将功能或菜单项目型的用户所写可选项目从非功能或非菜单项目型的用户所写项目中更好地区分开。例如，用户可创建用户所写的可选项目，即字母“M”，其具有围绕着它的圆圈，以创建交互式“菜单”图标。交互式设备100可编程为将其中具有字母“M”的重叠圆形或方形识别为区别于词中字母“M”的功能性的用户所写可选项目。用于识别此类功能性的用户所写可选项目并且将它们与其他非功能性的用户所写项目区分开的计算机代码可驻留于交互式设备100内的存储器单元114中。
图2A和2B图示了按照本发明实施例的纸张上示范性的用户所写的可选项目。参考图2A，用户所写的可选元素206是字母“M”202，带有围绕着字母“M”202的圆圈204。用户所写的可选项目206是利用交互式设备的写元件(例如图1的写元件118)绘制在纸张200上的。
在一个实施例中，用户所写的可选项目206表示交互式设备的菜单功能。为了指示特定菜单项目、目录或子目录的选择，用户可创建另一用户所写的可选项目或者利用交互式设备100进行示意。例如，如果用户想要向下继续到菜单的子目录，则用户然后可在纸张200上绘制检查标记210以指示已进行了选择。在绘制该检查标记以后，在交互式设备的每个后续选择或“向下触摸”到用户所写的可选项目206附近的纸张200上之后，与用户所写的可选项目206相关联的菜单项目可由音频输出设备116听觉地再现。与检查标记210的交互然后选择了听觉地再现过的最后选项。例如，在用户听到朗读的词“计算器”以后，然后可选择“计算器”功能，以将交互式设备100的操作模式改变为计算器功能。
图2B示出了用户如何能够在纸张200的空白部分上创建纸计算器。在该实例中，在用户已经选择了如上所述的“计算器”功能之后，交互式设备100听觉地提示用户写下数字0-9和运算符+、-、×、÷及＝。例如，可提示用户创建用户所写的可选项目220，包括数字和用于诸如加、减、乘、除及等于运算的数学运算符。这些是硬绘制于表面上的。交互式设备100识别所创建的图形元素的位置(position)，以及识别所创建的实际的用户所写可选项目。用户然后可选择至少两个用户所写的可选项目，以接收与这些至少两个图形元素的选择有关的音频输出。例如，用户可选择图形元素“4”、“+”、“7”、“＝”的顺序，以便听到交互式设备100朗读结果“十一”。
由用户所写的可选项目206表示的菜单和由用户所写的可选项目220表示的纸计算器可在以后加以使用，因为交互式设备100已经将用户所写的可选项目的定位(location)存储于存储器单元114中。另外，笔与用户所写的可选项目220的交互将自动地触发计算器功能。
图2B还包括数据230。在图2B所示出的实例中，数据230是词“CAT”。将理解数据230可以是任何可由运行于交互式设备100上的应用程序来使用的信息(例如字母数字符号、图像、绘图、标记等)。在书写之时，将文本串CAT自动地识别为词“cat”。同时记录了其在表面上的定位。交互式设备100与该文本串的交互自动地调用所标识的词CAT。
光学检测器120在触针形的交互式设备100的一端处。光学检测器120可操作用以检测表面上的信息。例如，光学检测器120可包括电荷耦合器件。在一个实施例中，交互式设备还包括发光器，用于照亮由光学检测器120检测到的表面上的一部分。将光学检测器120检测到的信息传送到处理器112。
处理器112可包括用以实施交互式设备100的功能的任何适合的电子设备。处理器112可识别用户所写的可选项目，并且可标识这些用户所写的可选项目的定位，以便交互式设备100可进行各种操作。在这些实施例中，存储器单元114可包括计算机代码，这些代码用于使得由用户产生的任何用户所写的可选项目与它们在表面上的定位相互关联。
存储器单元114包括计算机代码，这些代码用于进行交互式设备100的任何功能。在一个实施例中，其中存储于存储器单元114中并且在处理器112中实施的计算机代码是响应于用户所写的可选项目的用户选择，并且响应于该选择来操作用以执行与用户所写的可选项目相关联的功能。在另一实施例中，存储于存储器单元114中并且在存储器112上实施的计算机代码可操作用以指引音频输出设备116听觉地再现潜在的用户所写可选项目的列表，其中处理器112可操作用以检测用户已经写下多个用户所写可选项目，以及其中处理器112响应于多个用户所写可选项目的一个或更多用户所写可选项目的用户选择，可操作用以执行与所选的用户所写可选项目的每一个相关联的不同功能。
在一个实施例中，处理器112可操作用以使用符号识别或字符识别，响应于选择来自动地标识用户所写的可选项目。在另一实施例中，处理器112可操作用以在书写之时自动地记录用户所写的可选项目在表面上的表面定位。处理器112可操作用以基于该用户所写可选项目的检测到的表面定位，响应于用户选择来自动地标识该用户所写的可选项目。
在一个实施例中，本发明提供了交互式设备100的操作系统。该操作系统可操作用以检测表面上的用户所写可选项目，将该用户所写的可选项目与一功能相关联，响应于与用户所写可选项目的用户交互来执行相关功能。
在其他实施例中，存储器单元114可包括用于识别打印字符的计算机代码、用于识别用户笔迹和解译用户笔迹的计算机代码(例如笔迹特征识别软件)、用于将物品上的位置与各打印元素相关联的计算机代码、用于将文本转换为语音的代码(例如文本到语音的引擎)、用于朗读菜单项目的计算机代码、用于进行语言翻译的计算机代码(英语到外语的字典)等。用于将文本转换成语音的软件可从多个不同供应商处商业性获得。
存储器114还可包括用于音频和视频输出的代码。例如，用于声音效果的代码、用于说词的代码、用于课程计划和指令的代码、用于问题的代码等可存储于存储器单元114中。诸如这些用于音频输出的代码可存储于非易失性存储器中(以永久或半永久方式，以便即使关断交互式设备，该数据仍得以保持)，而不是存储于所述物品本身上。用于本申请中所述的这些和其他功能的计算机代码可包括于存储器单元114中，并且可使用包括C、C++等的任何适合的编程语言来创建。
存储器单元114可以是可拆卸的存储器单元，比如ROM或快闪存储器盒。在其他实施例中，存储器单元114可包括一个或多个存储器单元(例如RAM、ROM、EEPROM等)。存储器单元114可包括任何适合的磁、电、电磁、光或电光数据存储设备。例如，一个或多个基于半导体的设备可在存储器单元114中。
音频输出设备116可包括扬声器或用于耦合到耳机或听筒的音频插孔(例如耳机或收话器插孔)。在一个实施例中，音频输出设备116可操作用以听觉地再现潜在的用户所写可选项目的列表。音频输出设备116还可操作用以响应于用户所写可选项目的用户选择来听觉地再现信息。
应理解交互式设备100还可操作用以识别和执行与表面上的预打印可选项目相关联的功能。在一个实施例中，响应于表面上的预打印可选项目的用户选择，处理器112可操作用以响应于用户选择预打印的可选项目来执行与该预打印的可选项目相关联的功能。在一个实施例中，处理器112可操作用以使用符号识别来自动地标识预打印的可选项目。在另一实施例中，处理器112可操作用以基于检测到的预打印可选项目的表面定位来自动地标识预打印的可选项目。此外，在另一实施例中，处理器112可操作用以基于该表面的特定有界区域来标识应用程序，使得不同的有界区域与不同的应用程序相关联。
在一些实施例中，该表面可以是具有或不具有预打印可选项目的纸张。图3示出了按照本发明一个实施例的具有标记图案的纸张15。在图3的实施例中，纸张15具有光学可读位置代码17形式的编码图案，该位置代码由标记18的图案组成。为了清楚起见，极大地放大了图3中的标记18。实际上，标记18不可能由人的视觉系统容易地辨别，并且可表现为纸张15上的灰度级。在一个实施例中，将标记18具体化为点阵(dot)；然而本发明不限于此。
图4示出了图3的位置代码17的放大部分19。交互式设备比如交互式设备100(图1)设置为记录位置代码17的区域的图像。在一个实施例中，该光学设备将标记18配合到栅格(raster)形式的参考系统，该栅格具有在栅格点22处相交的栅格线21。每个标记18与栅格点22相关联。例如，标记23与栅格点24相关联。对于图像/栅格中的这些标记，确定标记从与该标记相关联的栅格点的位移。使用这些位移，将图像/栅格中的图案与参考系统中的图案做比较。参考系统中的每个图案与表面70上的特定定位相关联。因此，通过使图像/栅格中的图案与参考系统中的图案相匹配，可确定表面70上图案的位置，以及由此确定光学设备相对于表面70的位置。
在一个实施例中，纸张15上的标记的图案基本是不可见的代码。这些代码对于用户眼睛是“基本不可见”，并且可对应于可选项目在该页面上的绝对或相对定位。“基本不可见”还包括对于用户眼睛完全或轻微不可见的代码。例如，如果对于用户眼睛轻微不可见的点代码打印在整个纸张上，则当以正常视距观看时该纸张可表现为具有浅灰阴影。在一些情况下，在用户利用交互式设备100来扫描这些代码之后，交互式设备100中的音频输出设备116产生独有的音频输出(与好似哔哔声音的混杂音频输出相对)，该音频输出对应于与这些代码相关联的用户所写可选项目。
在一个实施例中，基本不可见代码通过点阵图案来具体化。读取可见或“阈下(subliminally)”打印的点阵图案的技术是存在和可商业性获得的。这些打印的点阵图案对于用户眼睛基本不可见，使得在点阵图案中呈现的代码在正常使用中不能由用户眼睛检测(不像正常条形码那样)。这些点阵图案可通过例如小和大的点阵的特别组合来具体化，这些点阵能够像二进制编码中那样来表示一和零。点阵图案可利用墨来打印，该墨不同于用来打印上述打印元素的墨，以便交互式设备100可特别地读取这些点阵图案。
瑞典公司Anoto采用了一种技术，该技术使用算法来产生图案，该图案实现了很大的特有数据空间，用于在大的文件集上的非冲突使用。它们的图案如果完整地打印则将在任何页面上以任何2个平方厘米的特有识别来覆盖70万亿8.5″×11″页面。包含特别点阵图案的纸可从Anoto商业性获得。以下专利和专利申请已转让给Anoto和描述了该基本技术，并且出于各种意图通过引用将它们全部完整地结合于此：美国专利号6,502,756；2002年6月26日提交的美国申请号10/179,966；WO 01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 00/73983和WO 01/16691。
在一些实施例中，点阵图案可没有其他类型的数据，比如表示数据块的标记的数据、音频数据和/或检错数据。如上所述，交互式设备100之内的处理器112可使用查找表来确定触针的定位，并且可基于定位信息来取回和播放音频。这具有多个优点。例如，与具有打印于其上的用于标记、音频和检错的数据的纸相比较，本发明的实施例需要较少点阵，因为用于标记、音频和检错的数据不需要打印在纸上。通过忽略例如来自一张纸的音频数据，纸上更多的空间可再现为交互的，因为实际的音频数据不需要占用纸上的空间。此外，由于在本发明实施例中用于音频的计算机代码存储于交互式设备100中，产生的音频不那么可能通过例如纸张上的皱纹或破裂来破坏或改变。
应理解尽管在此特别地描述了点阵图案化的代码，但是在本发明的其他实施例中可使用其他类型的基本不可见代码。例如，如果条形码以阵列设置在物品上，则可使用红外条形码。说明性地，纸张可包括100×100个阵列的基本不可见条形码，每个码与纸张上的不同x-y位置相关联。条形码在阵列中的相对或绝对定位可存储于交互式设备100内的存储器单元114中。
注意的是，在一些实施例中，基本不可见代码可直接或间接地涉及到纸张上的多个位置和/或任何可选项目的定位。在一些实施例中，基本不可见代码可直接与纸张(或其他表面)上多个位置的定位有关。在这些实施例中，纸张上不同位置的定位可由代码本身来提供。例如，第一位置处的第一代码可包括用于纸张上第一位置的空间坐标(例如特定x-y位置)的代码，而第二位置处的第二代码可包括用于纸张上第二位置的空间坐标的代码。
不同的用户所写的可选项目可在纸张上的不同位置处。这些用户所写的可选项目可形成于代码上。例如，第一用户所写可选项目可形成于第一位置处，与第一代码重叠。第二用户所写可选项目可形成于第二位置处，与第二代码重叠。当用户形成第一用户所写可选项目时，扫描装置识别所形成的第一打印元素并且基本同时地扫描与形成的第一用户所写可选项目相关联的第一代码。交互式设备100中的处理器112可确定第一位置的特定空间坐标，并且可将第一用户所写可选项目与空间坐标相关联。
当用户形成第二用户所写可选项目时，扫描装置识别所形成的第二用户所写可选项目并且基本同时地扫描第二代码。处理器112然后可确定第二位置的空间坐标，并且可将第二用户所写可选项目与空间坐标相关联。用户然后可随后使用交互式设备100来选择第一和第二用户所写可选项目。例如，使用该方法，用户可在空白纸张上创建用户定义的接口或功能设备。
交互式设备100还可包括使得相对或绝对定位与存储器单元114中形成的用户所写可选项目相映射或关联。该机构可以是查找表，其使得涉及到物品上具体用户所写可选项目的数据与物品上的特定定位相关联。该查找表可存储于存储器单元114中。处理器112可使用查找表以标识具体定位处的用户所写可选项目，使得处理器112可执行后续操作。
具有基本不可见代码的表面能够以任何适合的形式。例如，该表面可以是单张纸、便笺簿、衬补纸、海报、布告、菜单、贴条、标签、产品包装、盒子、贸易卡、磁体(例如冰箱磁体)、白板、桌面等。此外，表面可由任何材料组成，包括但不限于纸、木材、金属、塑料等。这些或其他类型表面的任一种可与或不与预打印的可选项目一起使用。如果表面是片，则该片可以是任何适合的尺寸，并且可由任何适合的材料制成。例如，薄片可以是基于纸的或者可以是塑料膜。在一些实施例中，该表面可以是具有三维表面的三维物品。三维表面可包括人体、动物(例如恐龙)、车辆、字符的模制外形或其他外形。
在一些实施例中，该表面是片，并且该片可没有预打印的可选元素，比如打印的字母或数字(例如在用户在片上创建用户所写可选项目之前进行的标记)。在其他实施例中，预打印的可选项目可在片上(例如在用户在片上创建用户所写的可选项目之前)。预打印的打印元素可包括数字、图标、字母、圆、词、符号、线条等。例如本发明的实施例可使用预打印的形式，比如预打印的订单表或投票选票。
交互式设备100可以是任何适合的形式，在一个实施例中，交互式设备100是成形为触针的扫描装置。在一个实施例中，交互式设备100是口袋大小的。触针包括可由塑料或金属制成的触针壳。在触针壳上可出现紧握区域。
图5示出了按照本发明一个实施例用于促进与表面上的用户绘制可选项目相交互的过程500的步骤流程图。过程500描绘了按照本发明一个实施例的用户接口过程的基本操作步骤，该过程是由交互式设备(例如交互式设备100)接口在解译用户所写可选项目、图形元素、笔迹、标记等形式的用户输入并且为用户提供所请求的功能时实施的。
在步骤510，其中设备100的计算机实施的功能对可写表面上的用户所写可选项目进行检测。在步骤512，该用户所写可选项目是连同用户所写可选项目的功能一起识别的。该功能可以例如是菜单功能，该菜单功能阐明了用于用户后续激活的预定功能列表(例如菜单选择)。在步骤514，检测到与用户绘制可选项目的交互。该交互可包括写下用户所写可选项目、利用该交互式设备与所述用户所写可选项目相交互(例如轻敲用户所写可选项目)、或者与有关的用户所写可选项目(例如图2B的检查标记210)相交互。该功能与用户所写可选项目永久关联，使得能够通过图形元素图标的后续交互(例如轻敲)对该功能的后续访问(例如在稍后时间)。例如，在菜单功能的情况下，列出的菜单选择可由用户在稍后时间通过简单地激活菜单图形元素图标(例如轻敲它)来随后加以访问。
以此方式，本发明的实施例实现了用于使用笔和纸类型接口来导航交互式设备(例如图1的交互式设备100)的功能的用户接口装置。如由用户所写可选项目实施的用户接口提供了与在交互式设备100内执行的许多软件应用相交互的方法。如上所述，对交互式设备100的输入包括用户动作，比如用户创建用户所写可选项目或者用户与用户所写或预打印的可选项目相交互。来自钢笔的输出是音频输出，于是该用户接口装置使得用户能够与笔的这些应用和功能进行“对话”。换句话说，用户接口使得用户能够创建相互识别的项目，比如表面上的用户所写可选项目，这些项目允许用户和笔彼此交互。如上所述，相互识别的项目一般是用户在表面比如纸张上绘制的符号或标记或图标。
本发明的另外实施例
图6是笔设备150的框图，可基于该设备来实施本发明的其他实施例。通常，笔设备150可称为光学设备，更具体地称为光学读取器、光学笔或数字笔。该设备可包含计算机系统和驻留于其上的操作系统。应用程序也可驻留于其上。
在图6的实施例中，笔设备150包括壳62内的处理器32。在一个实施例中，壳62是笔或其他书写或标记用具或工具的形式。处理器32可操作用以处理用来实施笔设备150功能的信息和指令，其在以下描述。
在本实施例中，笔设备150可包括耦合到处理器32的音频输出设备36和显示设备40。在其他实施例中，该音频输出设备和/或该显示设备与笔设备150物理地分离，但是经过有线或无线连接来与笔设备150通信。对于无线通信，笔设备150可包括收发器或发送器(在图6中未示出)。音频输出设备36可包括扬声器或音频插孔(例如用于耳机或听筒)。显示设备40可以是液晶显示器(LCD)或一些其他合适类型的显示器。
在图6的实施例中，笔设备150可包括耦合到处理器32用于激活和控制笔设备150的输入按钮38。例如，输入按钮38允许用户将信息和命令输入到笔设备150或者开启或关断笔设备150。笔设备150还包括电源34，比如电池。
笔设备150还包括耦合到处理器32的光源或光学发射器44以及光传感器或光学检测器42。光学发射器44例如可以是发光二极管(LED)，光学检测器42例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)成像器阵列。光学发射器44照亮了表接口70或其一部分。从表面70反射的光在光学检测器42处被接收并且由其记录。
表面70可以是纸张，但是本发明不限于此。例如，表面70可以是LCD(液晶显示器)、CRT(阴极射线管)、触摸屏或其他类似类型的有源电子表面(例如膝上或手写PC的显示器)。类似地，表面70可以是包括电子墨的表面或者是包括可重新配置的纸。
在一个实施例中，在表面70上打印标记的图案。容纳光学发射器44和光学检测器42的笔设备150一端是靠着或接近表面70放置的。当笔设备150相对于表面70移动时，通过光学发射器44和光学检测器42来读取和记录标记的图案。如以上更详细讨论的，在一个实施例中，表面70上的标记用来确定笔设备150相对于表面(见图3和4)的位置。在另一实施例中，表面70上的标记用来对信息编码(见图8和9)。捕获的表面70的图像可由笔设备150分析(处理)以解码这些标记和恢复所编码的信息。
可在以下专利和专利申请中找到与用于对信息编码的表面标记以及由电子设备对这些标记的读取/记录有关的另外描述，这些专利和专利申请转让给Anoto，通过引用将其全部完整地结合于此：美国专利号6,502,756；2002年6月26日提交的美国专利申请号101179,966；WO 01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 10 00/73983和WO 01116691。
图6的笔设备150还包括耦合到处理器32的存储器单元48。在一个实施例中，存储器单元48是具体化为存储器盒或存储器卡的可拆卸存储器单元。在另一实施例中，存储器单元48包括用于为处理器32存储信息和指令的随机存取(易失性)存储器(RAM)和只读(非易失性)存储器(ROM)。
在图6的实施例中，笔设备150包括写元件52，该写元件位于与光学检测器42和光学发射器44相同的笔设备150一端。写元件52例如可以是钢笔、铅笔、记号笔等，可以是或不是可伸缩的。在某些应用中，不需要写元件52。在其他应用中，用户可使用写元件52在表面70上进行标记(例如图形元素或用户所写的可选项目)，包括字符比如字母、词、数字、数学符号等等。这些标记可由笔设备150根据它们在表面70上的位置来扫描(成像)和解译。用户产生的标记的位置可使用表面70上打印的标记图案来确定；参考以上图3和4的讨论。在一个实施例中，用户产生的标记可使用用以识别手写字符的光学字符识别(OCR)技术通过笔设备150来解译。
如上所述，表面70可以是其上适合书写的任何表面，例如纸张，不过可使用由纸之外的材料构成的表面。此外，表面可以是或不是平的。例如，表面70可具体化为球体表面。另外，表面70可小于或大于常规(例如8.5×11英寸)纸页面。
图7是另一设备的框图，可基于该设备来实施本发明的实施例。设备250包括先前在此描述过的处理器32、电源34、音频输出设备36、输入按钮38、存储器单元48、光学检测器42、光学发射器44和写元件52。然而，在图7的实施例中，光学检测器42、光学发射器44和写元件52具体化为壳62中的光学设备251，处理器32、电源34、音频输出设备36、输入按钮38和存储器单元48具体化为壳74中的平台252。在本实施例中，光学设备251通过线缆102耦合到平台252；然而，可替代使用无线连接。图7图示的元件能够以不同于以上所述的组合来分布于光学设备251与平台252之间。
回到图6，表面70上的四个位置或区域由字母A、B、C和D指示(这些字母未打印于表面70上，但在此用来指示表面70上的位置)。在表面70上可有很多这样的区域。与表面70上的每个区域相关联的是唯一的标记图案。表面70上的区域可以重叠，因为即使一些标记在重叠区之间是共享的，区域中的标记图案对于该区域仍是唯一的。
在图6的实例中，利用笔设备150(具体地使用写元件52)，用户可在表面70上的位置A处创建例如包括带圈的字母“M”的字符(通常，用户可以在表面70上的任何位置处创建字符)。用户可创建这样的字符以响应于来自笔设备150的提示(例如听觉提示)。当用户创建字符时，笔设备150记录标记的图案，这些标记唯一地出现在创建有该字符的位置处。笔设备150将此标记图案关联于刚创建的字符。当笔设备150随后置于带圈的“M”之上时，笔设备150识别与之相关联的标记图案，以及将该位置识别为与带圈的“M”相关联。实际上，笔设备150使用该字符所在的位置处的标记图案来识别该字符，而不是通过识别该字符本身。
在一个实施例中，上述字符包括与笔设备150的一个或多个命令相关联的“图形元素”。应当注意，相关联的并且用来访问由笔设备150实施的功能(包括命令)的此类图形元素在下文中称为“图形元素图标”，以便区别于不与访问笔设备150的功能或应用相关联的其他书写字符、标记等。在刚刚描述的实例中，用户可创建(书写)用以标识特定命令的图形元素按钮，并且可通过简单地将笔设备150置于图形元素图标(例如所写字符)之上来反复地调用该命令。在一个实施例中，将写工具置于图形字符之上。换句话说，用户不必在每次通过笔设备150来调用命令之时书写用于该命令的字符；替代地，用户可一次书写用于命令的图形元素，并且使用该相同的所写图形元素图标来反复调用该命令。该属性称为“持久性”，在以下更详细地加以描述。这对于不是用户所写的、而是预打印在表面上的、但仍可由笔设备150选择的图形元素图标也是成立的。
在一个实施例中，图形元素图标可包括字母或数字，该字母或数字具有包围该字母或数字的线条。包围该字母或数字的线条可以是圆形、椭圆形、方形、多边形等。这样的图形元素看起来好似可由用户选择的“按钮”，而不是普通字母和数字。通过创建这种图形元素图标，用户能够将图形元素图标比如功能图标与可由笔设备150视为数据的普通字母和数字可视地区分开。另外，通过创建这种图形元素图标，笔设备还能够将功能或菜单项目型的图形元素与非功能或非菜单项目型的图形元素更好地区分开。例如，用户可创建图形元素图标，即由圆包围的字母“M”，以创建交互式“菜单”图形元素图标。
笔设备150可编程为将其中具有字母“M”的重叠圆或方形识别为与词中字母“M”相区别的功能图形元素。图形元素图标还可包括在某个距离(例如1英寸、1.5英寸等)内与其相邻的小“检查标记”符号。检查标记将与图形元素图标相关联。用于识别这种功能图形元素并且将它们与其他非功能图形元素区分开的计算机代码可驻留于笔设备内的存储器单元中。处理器可识别图形元素图标，并且可标识这些图形元素图标的位置，使得笔设备150可执行与之相关联的各种功能、操作等等。在这些实施例中，存储器单元可包括用于将由用户产生的任何图形元素与它们在表面上的位置相关联的计算机代码。笔设备150识别“向下触摸”或“向下笔划”或向下置于表面上(例如当用户开始书写时)，以及识别“向上笔划”或从该表面上提起(例如当用户完成书写时)。这样的向下笔划和向上笔划可由笔设备150例如解译为与何时调用某个功能以及调用什么特定功能/应用(例如触发OCR处理)有关的指示。特别地，紧跟着向上笔划的向下笔划(例如笔设备在表面上的轻敲)可与依赖于该应用的具体动作(例如选择图形元素图标、文本串等)相关联。
应当注意，通用术语“图形元素”可包括由用户创建的任何适合的标记(例如用户所写的可选项目)，并且可区别于称为功能图形元素的图形元素图标，该功能图形元素用来访问该设备的一个或多个功能。
如上所述，应当注意，图形元素图标可由笔设备150创建(例如由用户绘制)或可以预先存在(例如纸张上的打印元素)。实例图形元素包括但不限于符号、标志比如字母和/或数字、字符、词、形状、线条等。它们在形状上可以是规则或不规则的。用户所写/所创建的图形元素一般是使用笔设备150来创建的。此外，图形元素图标通常但不总是结合有围绕字符(例如字母“M”)的环绕线条(例如圆)，以向它们赋予对于用户和笔设备150而言有所增加的独特程度。例如，在一个实施例中，在完成围绕该字符的圆之后的向上笔划可向笔设备150具体地指示该用户刚创建了图形元素图标。
图8是按照本发明一个实施例的计算机实施的过程550的步骤流程图。过程550描绘了用户接口过程的基本操作步骤，该过程是由按照本发明一个实施例的设备(例如笔设备150)在它解译图形元素、笔迹、标记等形式的用户输入并且将所要求的功能提供给用户时所实施的接口。
过程550开始于步骤551，其中笔设备150的计算机实施的功能识别所创建的图形元素图标(例如由用户创建的)。可替换地，图形元素可预打印于表面上，并且其定位对笔设备150是已知的。在步骤551，如果用户正在第一次书写图形元素，则笔设备150使用光学检测器和处理器对笔迹进行OCR(光学字符识别)，以标识该用户所写图形元素。在一个实施例中，还接着记录它在表面上的唯一定位。在步骤552中，一旦识别，则访问与该图形元素图标有关的功能。该功能例如可以是菜单功能，该菜单功能能够阐明(例如听觉地再现)用于用户后续激活的预定功能列表(例如菜单选择或子菜单选项)。在步骤553，提供了依据该功能的音频输出。该音频输出例如可以是关于该用户处于选择列表内什么特定选择的说明。在步骤554，功能与图形元素图标永久性关联，使得能够通过图形元素图标的后续激活(例如以笔设备150轻敲)来随后访问该功能(例如在稍后时间)。例如，在菜单功能的情况下，列出的菜单选择可由用户在稍后时间通过简单地激活菜单图形元素图标(例如轻敲它)来随后访问。
应当理解在表面上和在任何时间可存在多个不同的图形元素，并且对其的选择可提供将由笔设备150执行的各种功能，例如调用应用程序、调用子菜单选项等。
应当注意，除了音频输出之外或者替代了音频输出，笔设备150的输出可以是可视的输出(例如经由显示器、指示器灯等)。可视输出和/或音频输出可直接来自笔设备150或者可来自可通信地耦合于笔设备150的另一设备(例如个人计算机、扬声器、LCD显示器等)。
以此方式，本发明的实施例实施了用于导航计算机系统功能的用户接口装置，特别是基于例如包括笔设备150的基于笔的计算机系统。由图形元素图标实施的用户接口提供了与在笔设备150内执行的许多软件应用相交互的方法。如上所述，来自笔设备150的输出可包括音频输出，因此用户接口装置使用户能够进行与笔设备150的应用和功能的“对话”。换句话说，用户接口使用户能够创建相互识别的项目，比如图形元素图标，这些项目允许用户和笔设备150彼此交互。如上所述，相互识别的项目一般是用户在表面通常是纸张上绘制的符号或标记或图标。
不同的图形元素图标具有不同的含义以及与用户交互的不同方式。通常，对于给定的图形元素图标，交互方式将调动该钢笔设备的不同的计算机实施功能。出于说明的目的，在以上菜单实例的情况下，菜单功能允许用户重复经过涉及图形元素的功能列表(例如在菜单图形元素图标上轻敲的数量，重复经过功能列表)。来自钢笔设备的音频可在这些轻敲完成时阐明功能或模式。然后可由用户通过一些进一步的交互(例如绘制或选择先前绘制的与图形元素图标相关联的检查标记图形元素)来选择所阐明的功能/模式之一。一旦选择，该功能和选项以及特定的所选功能的进一步子菜单然后可由用户访问。可替换地，如果听觉地再现的子选项之一本身是菜单图形图标，则它可由用户将它的表示绘制于表面上并且选定它来选择。
图9是按照本发明一个实施例的过程650的计算机实施步骤的流程图。过程650描绘了按照本发明一个实施例用于访问(例如导航经过)交互式设备(例如笔设备150)的许多嵌套分级功能的用户接口过程的基本操作步骤。过程650是参考图11A、11B和11C来描述的。
过程650开始于步骤651，其中笔设备150的计算机实施功能将图11A中示出所创建的图形元素图标识别为菜单图标“M”。与步骤551相似，该图形元素图标可由用户写在或预打印在表面上。在一种情况下，该图形元素图标可提供进一步图形元素图标的选择列表(例如分级布局)，这些选择与之相关联，并且这些选择本身可提供进一步的选择。在步骤652中以及如图11中所示，一旦识别，就访问与该图形元素图标有关的第一分级的功能菜单。在此例中，一旦识别，步骤651的菜单图标“M”使得子选项列表(例如系统“S”、游戏“G”、参考“R”和工具(tool)“T”)每次听觉地再现(例如经由听觉的提示)一个，如图11A所示。这些选项是响应于笔设备(例如笔设备150)在步骤651对菜单图标的相继选择来表现的。
在步骤653中以及如图11B中所示，通过菜单图形元素图标的适当数量的激活(例如轻敲)和相关检查标记图标870的激活来选择所说明的功能之一，在该实例中为参考图形元素图标“R”。在步骤654中，激活的功能可提示为第二分级功能菜单创建第二图形元素图标。然后可由用户在表面上绘制第二图形元素图标，在该实施例中为参考图标“R”。如图11C所示对其的选择将使得第二子菜单项目列表以上述方式(例如辞典“TH”、字典“D”和帮助“H”)来听觉地再现(例如通过听觉的提示)。随后在步骤655中，通过适当数量的激励来选择第二分级级别功能之一，激活第二图形元素图标的所阐明的功能之一。
以此方式，一个菜单可调用其本身甚至具有进一步子菜单的许多子菜单。因此可分级地布局不同级别的图形元素图标。通常，将呈现功能菜单的顶级图形元素图标称为组图形元素图标。应用图形元素图标是第二级图形元素图标，其通常呈现用于给定应用的配置选项或应用设置的菜单。例如，应用图形元素图标可视为组图形元素图标的特殊情况。通常，应用图形元素图标具有与之相关联的专用应用相关缺省行为。
以此方式，用户然后可从菜单项目的列表中选择菜单项目。菜单项目可包括目录名、子目录名、应用名或具体数据集名。目录或子目录名的实例包括但不限于“工具”(例如用于可在很多不同情况下适用的交互式有用功能)、“参考”(例如用于参考材料，比如字典)、“游戏”(例如用于不同游戏)等。具体应用(或子目录)名的实例包括“计算器”、“拼写检查器”和“翻译器”。数据集的具体实例可包括外来词及其定义集、电话列表、日历、行事列表等。在以下的图10中示出了图标项目的另外实例。
可为各种菜单项目提供专门的音频指令。例如，在用户选择“计算器”菜单项目之后，笔设备可指示用户在纸张上绘制数字0-9和运算符±、-、×、/以及＝，然后选择数字以进行数学计算。在另一实施例中，在用户选择“翻译器”菜单项目之后，笔设备可指示用户写下第二语言的名字并且圈出它。在用户进行这些之后，笔设备可进一步指示用户写下英文单词，然后选择圈起来的第二语言以听到翻译成第二语言的所写单词。在进行这些之后，笔设备中的音频输出可朗读第二语言的单词。
图10示出了按照本发明一个实施例的菜单项目树目录，该目录包括每个选项的图形元素图标表示。菜单项目树目录可具体化从菜单图形元素图标开始的音频菜单。从图10的顶部开始，第一音频子目录将是工具T子目录。在工具T子目录下，可以有翻译器TR子目录、计算器C子目录、拼写检查器SC子目录、个人助理PA子目录、报警时钟AL子目录和辅导TU功能。在翻译器TR子目录下，将有西班牙语SP、法语FR和德语GE翻译器功能。在个人助理PA子目录下，将有日历C、电话列表FL和行事列表TD功能或子目录。在参考R子目录下，可以有辞典TH功能、字典D子目录和帮助H功能。在字典D子目录下，可以有英语E功能、西班牙语SF功能和法语FR功能。在游戏G子目录下，可以有游戏比如拼词WS、怪味马铃薯FP和涂鸦DO。在本发明的其他实施例中也可出现其他游戏。在系统S子目录下，可以有安全SE功能和个性化P功能。
以下提供了与以上目录、子目录以及功能中的一些有关的细节。如菜单项目树目录所示，用户可通过倾听各种菜单项目的朗读、然后选择所需菜单项目，沿着任何所需路径来继续或导航。所需菜单的后续选择可以任何适合的方式发生。例如，在一些实施例中，用户可通过在创建的图形元素上“向下触摸”(例如向下比划)来使笔设备滚动经过音频菜单。“向下触摸”可通过使用任何适当的机制由笔设备中的电子器件识别为“激活”。例如，可将笔设备编程为识别与它朝着所选图形元素的向下移动相关联的图像改变。
在另一实例中，可在笔设备中提供压敏开关，以便当笔设备的一端向纸施加压力时，压力开关激活。这通知笔设备滚动经过音频菜单。例如，在以笔设备选择带圈的字母“M”(由此使得笔设备中的压力开关激活)之后，笔设备中的音频输出设备可以仅朗读“工具”。用户可第二次选择带圈的字母“M”，以使音频输出设备朗读菜单项目“参考”。这可以根据需要经常地加以反复，以滚动经过音频菜单。为了选择特定的菜单项目，用户可在纸上创建显著的标记或者利用扫描装置来提供具体指示。例如，用户可在听到词“工具”之后紧接着带圈的字母“M”来绘制“检查标记”(或其他图形元素)，以选择子目录“工具”。使用诸如此类的方法，用户可朝着菜单项目树中的预计目录、子目录或功能来导航。不同图形元素或不同指示的创建可用来使笔设备向上滚动。可替换地，可以在笔设备中提供按钮或其他激活器以滚动经过菜单。一旦选择了“工具”，它将起到如上所述的但是相关于其子目录的功能。
在其他实施例中，在创建菜单图形元素图标(例如具带圈的字母“M”)之后，用户可选择菜单图形元素图标。扫描装置中的软件将带圈的字母识别为菜单符号，并且使得扫描装置顺序地和以间隔的时序间隔来朗读菜单项目“工具”、“参考”、“游戏”和“系统”，而不需用户向下触摸。音频指令可提供给用户。例如，笔设备可以说“请选择‘工具’目录、写下字母‘T’和圈住它”。为了选择菜单项目，用户可创建字母“T”和圈住它。这向笔设备指示该用户已选择子目录“工具”。然后，笔设备可以为用户朗读“工具”目录下的菜单项目。因此，有可能通过在纸张上创建表示该目录、子目录或功能的图形元素并且与它交互来直接继续到菜单项目树中的特定目录、子目录或功能。可替换地，如果菜单项目已经存在于表面上，则用户可在任何时间与它交互以选择它的功能。
应当注意，用户可改变图10中描绘的图形元素图标的目录、子目录、选项菜单等内的项目顺序。例如，用户可访问某个应用并且使用该应用来改变一个或多个目录、子目录等的项目听觉地再现时的顺序。类似地，用户可改变与给定目录/子目录等内的一个或多个项目相关联的专门音频输出，例如，用户可记录用于项目的她的自身声音、使用预记录的歌曲(例如MP3等)等等、以及作为该项目听觉地再现的输出的用户记录。此外，应当注意，可例如通过提供给笔设备的软件/或固件更新(例如下载基于新软件的功能)来添加用于一个或多个目录、子目录等的附加项目。
应当注意，图形元素图标的多个示例(例如多个菜单图标)的各状态可以与每个具体的示例永久性关联。例如，在两个或多个图形元素图标存在于公共表面上(例如由用户创建、预打印等等)的情况下，可为每个图标记住它们的状态或它们在其选项目录内的特定位置。例如，如果第一菜单图标当前在选项三(例如“游戏”)上，第二菜单图标当前在选项一(例如“工具”)上，则用户可离开并且使用其他应用(例如计算器、字典等)来进行其他任务，在某个稍后时间返回到第一或第二菜单图标，它们将正确地保持其最后状态(例如用于第一菜单图标的“游戏”、用于第二菜单图标的“工具”)。
类似地，应当注意，图形元素图标的多个示例(例如多个菜单图标)的各状态可在这些多个示例之间加以协调，并且与每个具体示例永久性地相关联。利用经协调的状态，其中两个或多个图形元素图标存在于公共表面上(例如由用户创建、预打印等等)，可为每个图标记住它们的状态，但是可协调该状态，使得选项跨越每个示例。例如，如果第一菜单图标当前处于选项二(例如“系统”)上，第二菜单图标将使它的状态协调为使得它将处于选项三(例如“工具”)上。用户可进行其他居间的任务，并且在某个稍后时间返回到第一或第二菜单图标，它们将正确地保持它们的协调状态(例如用于第一菜单图表的“系统”、用于第二菜单图表的“工具”)。
图12示出了按照本发明一个实施例的其上写有许多图形元素图标的表面910(例如纸张)。图12示出了组图形元素图标(例如菜单图标“M”和游戏图标“G”)以及应用图标(例如计算器图标“C”)的实例。这些图形元素图标可由用户写于纸张910上或者预打印。如上所述，组图形元素图标通常听觉地再现列表选项。例如，利用笔设备150在位置901处反复轻敲，继续经过菜单目录的选项(例如系统、游戏、参考和工具)，如图10的讨论中所描述的。例如，在菜单图标上轻敲两次将使得笔设备150听觉地再现“系统”、然后听觉地再现用以指示游戏子目录选择的“游戏”。游戏子目录然后可通过接触定位902(例如检查标记)来激活，并且可通过音调向用户确认该激活。
随后，笔设备150听觉地提示用户创建(例如绘制)如图12所示的游戏图形元素图标。利用笔设备150反复地轻敲在定位903处的游戏图标，然后使得笔设备150继续经过游戏子目录的选项(例如单词拼凑、怪味马铃薯和涂鸦)，如图10的讨论中所描述的。然后可通过在位置904(例如与游戏相关联的检查标记)处的轻敲，或者可替换地，在检查标记已经不存在时绘制该检查标记，来选择游戏子目录项目中选定的一个。
仍然参考图12，在计算器图标“C”处的触摸开始了计算器应用程序。以此方式，计算器图标不再现菜单项目或子目录选项的列表，而是直接开始应用程序本身，在该情况下是计算器应用程序。一旦调用了计算器应用程序，笔设备150确认该激活(例如通过再现音调)，并且经过一系列动作听觉地提示用户准备计算器以便使用(例如通过指示用户在表面上绘制0-9和运算符±、-、×、/以及＝、然后选择数字以进行数学运算)。
重要的是，在以上实例中应当注意，需要对标记、单个字符(例如字母“M”)或文本串(例如单词)仅进行一次OCR(光学字符识别)过程，因为它是由用户首次书写的(例如图12中所示的“M”)。如上所述，笔设备150包括各功能，由此可由笔设备150读取表面910上编码的数据来确定图形元素在表面910上的定位。这使得笔设备150能够记住特定字符、特定符号、特定文本串等的定位。笔设备150因此可通过识别特定词在表面上的同一定位来表示特定词的后续选择(例如当用户在某个稍后时间将笔设备150接触到特定词上之时)。一旦由用户对该词进行了后续选择，则取回较早进行的OCR过程的结果，并且例如由激活的应用程序(例如字典)使用这些结果。因此，用以存储OCR过程(例如关于单词、字符、数字等)的结果和随后取回这些结果以便在稍后时间与一个或多个应用一起使用的这种能力大大改善了由本发明实施例实施的用户接口的响应和性能。资源密集OCR处理只需由笔设备150的计算机系统资源进行一次。
图12还示出了使用笔设备150的“提示和相信”功能来创建的用户所写词906(例如文本串)。根据本发明的实施例，应当注意，一些词、文本串、标记、符号或其他图形元素完全不需要使用OCR来处理。例如，特定的词、图形元素等可由用户响应于来自笔设备150的听觉提示来创建，其中笔设备提示用户书写特定的词(例如“president”)，随后利用关联性(例如来自该提示)来存储所写的词的定位。创建的词的后续选择是通过上述方式中的定位来识别。例如，笔设备150可指示用户书写单词“president”906。响应于该提示，用户书写单词“president”，笔设备150将在该词的后续选择时认为或者换句话说相信，用户响应于该提示而书写的内容实际上已经是单词“president”。取决于应用程序，可提示用户在词下面划线、在词周围放置方框、或者另外一些区别性的标记/图形元素。
当用户完成了书写所提示的词时，笔设备150例如通过将不活动(例如该用户不再书写)识别为数据录入终止事件来识别该用户已完成。以此方式，可使用“超时”机制来识别数据录入的结束。另一终止事件可能是如上所述在词下面加划线或加框的情况。终止事件的另外实例在由Marggraff等人于2005年1月12日提交的代理案号LEAP-P0320的共同转让的美国专利申请“TERMINATION EVENTS”中有所描述，并且将其完整地结合于此。
以此方式，本发明实施例的“提示和相信”特征使得能够创建图形元素，这些图形元素具有在用户与笔设备150之间相互理解的含义。重要的是，应当理解，对词“president”没有进行OCR处理。使用“提示和相信”功能来创建的图形元素可以与其他应用、选项、菜单、功能等相关联，由此“提示和相信”图形元素的选择(例如通过轻敲)可以调用上述任何一个。消除对于任何OCR处理的需要，降低了对于笔设备150的计算需要，因此改善了用户接口的响应。
尽管已经在使用了以标记来编码的表面以便确定笔设备定位的上下文中描述了本发明的实施例，但是应当注意，本发明的实施例对于使用不需要编码表面的其他装置来确定定位的笔设备时的使用也是适合的。例如，在一个实施例中，笔设备可并入一个或多个位置定位机构，例如运动传感器、陀螺仪等，并且可配置为准确地存储给定表面(例如纸张)的精确定位。表面的精确定位可例如通过随后接触该表面(例如不规则纸张)的对角来存储。笔设备然后通过将存储的精确表面定位与其定位确定装置的结果做比较，来识别由用户书写的图形元素的定位。
如此描述了本发明的各种实施例，这些实施例在可写表面上提供了具有交互式元素的用户接口。尽管本发明已在特定实施例中加以描述，但是应当理解，本发明不应解释为受限于这样的实施例，而是根据所附权利要求来解释的。

Claims (43)

1.一种交互式设备，包括：
总线；
处理器，耦合到所述总线；
存储器单元，耦合到所述总线；
音频输出设备，耦合到所述总线；
写元件，用于允许用户在一个表面上创建用户所写可选项目；以及
光学检测器，耦合到所述总线，用于检测所述表面上的信息；
其中所述处理器上实施的软件响应于所述用户所写可选项目的用户选择，并且可操作用以响应于所述选择来执行与所述用户所写可选项目相关联的功能。
2.权利要求1的交互式设备，其中所述处理器可操作用以使用符号识别响应于所述选择来自动地标识所述用户所写可选项目。
3.权利要求1的交互式设备，其中所述处理器可操作用以自动地记录所述用户所写可选项目在所述表面上的表面定位。
4.权利要求1或3的交互式设备，其中所述处理器可操作用以基于所述用户所写可选项目的所述表面定位或者基于检测到的所述用户所写可选项目的表面定位、响应于所述选择来自动地标识所述用户所写可选项目。
5.权利要求1的交互式设备，其中所述音频输出设备可操作用以响应于与所述表面上的一个用户所写可选项目的交互来听觉地再现潜在用户所写可选项目的列表。
6.权利要求5的交互式设备，其中所述音频输出设备可操作用以听觉地再现描述如何绘制所述潜在用户所写可选项目的指令。
7.权利要求1的交互式设备，其中所述用户所写可选项目包括以下的至少一个：可由所述处理器执行的应用程序的符号表示；可由所述处理器执行的应用程序的菜单项目；与所述交互式设备的操作系统相关联的菜单项目中，成分级关系的菜单项目中的一级菜单项目。
8.权利要求1的交互式设备，其中所述用户所写可选项目包括导航项目、数据、应用选项选择器中的至少一个。
9.权利要求1的交互式设备，其中所述表面包括编码纸，该编码纸具有在该编码纸上以图案来编码的表面定位信息。
10.权利要求1的交互式设备，其中所述总线、所述处理器、所述存储器单元、所述音频输出设备、所述光学检测器和所述写工具包括在单个钢笔形壳体中。
11.权利要求1的交互式设备，其中所述软件可操作用以响应于所述用户所写可选项目的所述选择来指示所述音频输出设备听觉地再现信息。
12.权利要求1的交互式设备，其中所述光学检测器用于检测所述表面上的所述用户所写可选项目。
13.权利要求1的交互式设备，其中所述软件响应于所述表面上预打印可选项目的用户选择，并且可操作用以响应于用户选择所述预打印可选项目来执行与所述预打印可选项目相关联的功能。
14.权利要求13的交互式设备，其中所述预打印可选项目和所述用户所写可选项目在状态上协调为使得所述预打印可选项目和所述用户所写可选项目的选项跨越所述预打印可选项目和所述用户所写可选项目。
15.权利要求13的交互式设备，其中所述软件可操作用以使用符号识别响应于用户选择所述预打印可选项目来自动标识所述预打印可选项目。
16.权利要求13的交互式设备，其中所述处理器可操作用以基于所述预打印可选项目的表面定位、响应于用户选择所述预打印可选项目来自动地标识所述预打印可选项目。
17.权利要求1的交互式设备，其中所述光学检测器可操作用以向所述处理器提供信息以基于所述表面上的定位来识别所述用户所写可选项目，还可操作用以向所述处理器提供信息，使得所述处理器能够基于所述定位来识别对所述用户所写可选项目的选择。
18.权利要求1的交互式设备，其中所述处理器可操作用以基于所述表面的特定有界区域的选择来标识应用程序，其中不同的有界区域与不同的应用程序相关联。
19.一种计算机系统的操作系统，其中所述操作系统可操作用以检测可写表面上的用户所写可选项目，将所述用户所写可选项目与功能相关联，以及响应于与所述用户所写可选项目的用户交互来自动执行所述功能。
20.权利要求19的操作系统，其中所述用户交互是用户利用写工具来接触所述用户所写可选项目。
21.权利要求19的操作系统，还可操作用以使用符号识别来自动检测所述用户所写可选项目。
22.权利要求19的操作系统，还可操作用以自动记录所述用户所写可选项目在所述表面上的表面定位。
23.权利要求19的操作系统，还可操作用以基于所述用户所写可选项目的表面定位响应于所述用户交互来自动检测所述用户所写可选项目。
24.权利要求23的操作系统，其中所述表面是可写表面，所述用户交互是用户利用写工具来接触所述用户所写可选项目。
25.权利要求19的操作系统，还可操作用以响应于所述用户交互来指示音频输出设备听觉地再现与所述用户所写可选项目相关联的信息。
26.权利要求19的操作系统，其中所述用户所写可选项目包括以下至少一个：可由所述处理器执行的应用程序的符号表示；可由所述处理器执行的应用程序的菜单项目；与所述操作系统相关联的菜单项目中，成分级关系的菜单项目的一级菜单项目。
27.权利要求19的操作系统，其中所述用户所写可选项目包括导航项目、数据、应用选项选择器中的至少一个。
28.权利要求19的操作系统，其中所述表面包括编码纸，该编码纸具有在所述编码纸上以图案来编码的表面定位信息。
29.权利要求19的操作系统，其中所述计算机系统是包括光学检测器、音频输出设备、写元件、处理器和存储器单元的基于笔的设备。
30.一种用于促进与可写表面上的用户所写可选项目的交互的方法，所述方法包括：
检测与功能相关联的至少一个用户所写可选项目，其中所述用户所写可选项目存在于所述可写表面上；
检测与所述用户所写可选项目的交互，其中所述交互包括写元件接触所述用户所写可选项目；以及
响应于所述交互，笔设备包括处理器，所述写元件执行所述功能。
31.权利要求39的方法，其中所述用户所写可选项目包括以下至少一个：可由所述处理器执行的应用程序的符号表示；可由所述处理器执行的应用程序的菜单项目；与所述交互式设备的操作系统相关联的菜单项目中，成分级关系的菜单项目的一级菜单项目。
32.权利要求30的方法，其中所述用户所写可选项目包括导航项目、数据、应用选项选择器中的至少一个。
33.权利要求30的方法，所述功能是应用、包括导航项目列表的菜单的听觉再现中的至少一个。
34.权利要求30的方法，还包括听觉地再现至少一个所述用户所写可选项目的标识。
35.一种交互式设备，包括：
总线；
处理器，耦合到所述总线；
存储器单元，耦合到所述总线；
音频输出设备，耦合到所述总线；
写元件，用于允许用户在可写表面上创建用户所写可选项目；以及
光学检测器，耦合到所述总线，用于检测所述可写表面上的信息；
其中所述处理器上实施的软件可操作用以指示所述音频输出设备听觉地再现标识潜在用户所写可选项目的列表，其中所述处理器可操作用以检测用户已经书写多个用户所写可选项目，以及其中所述处理器响应于所述多个用户所写可选项目的一个或多个用户所写可选项目的用户选择，并且可操作用以响应于其选择来执行与每个用户所写可选项目相关联的不同功能。
36.权利要求35的交互式设备，其中所述用户选择包括通过所述写元件来接触所述用户所写可选项目。
37.权利要求35的交互式设备，其中所述处理器可操作用以使用符号识别响应于所述用户选择来自动标识所述多个用户所写可选项目。
38.权利要求35的交互式设备，其中所述处理器可操作用以自动记录所述多个用户所写可选项目在所述表面上的表面定位。
39.权利要求35的交互式设备，其中所述处理器可操作用以基于检测到的所述用户所写可选项目的表面定位、响应于所述用户选择来自动标识一个或多个所述用户所写可选项目。
40.权利要求35的交互式设备，其中所述多个用户所写可选项目包括以下至少一个：可由所述处理器执行的应用程序的符号表示；可由所述处理器执行的应用程序的菜单项目；与所述交互式设备的操作系统相关联的菜单项目中，成分级关系的菜单项目的一级菜单项目。
41.权利要求35的交互式设备，其中所述多个用户所写可选项目包括导航项目、数据、应用选项选择器中的至少一个。
42.权利要求35的交互式设备，其中所述表面包括编码纸，该编码纸具有在所述编码纸上以图案来编码的表面定位信息。
43.权利要求35的交互式设备，其中所述软件响应于所述表面上预打印可选项目的用户选择，并且可操作用以响应于用户选择所述预打印可选项目来执行与所述预打印可选项目相关联的功能。
CNA2006100005602A 2005-01-12 2006-01-11 在可写表面上提供具有交互式元素的用户接口 Pending CN1862473A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/034,489 2005-01-12
US11/034,489 US20060067576A1 (en) 2004-03-17 2005-01-12 Providing a user interface having interactive elements on a writable surface

Publications (1)

Publication Number Publication Date
CN1862473A true CN1862473A (zh) 2006-11-15

Family

ID=36676945

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006100005602A Pending CN1862473A (zh) 2005-01-12 2006-01-11 在可写表面上提供具有交互式元素的用户接口

Country Status (7)

Country Link
US (1) US20060067576A1 (zh)
EP (1) EP1681621A1 (zh)
JP (1) JP2006197596A (zh)
KR (1) KR100815534B1 (zh)
CN (1) CN1862473A (zh)
CA (1) CA2532612A1 (zh)
WO (1) WO2006076076A2 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
CA2690695C (en) * 2007-05-09 2015-08-04 Adapx, Inc. Digital paper-enabled products and methods relating to same
WO2008150919A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
WO2008150887A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Self-addressing paper
WO2008150921A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Communicating audio and writing using a smart pen computing system
US8284951B2 (en) * 2007-05-29 2012-10-09 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
WO2008150911A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
US8374992B2 (en) * 2007-05-29 2013-02-12 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
US8638319B2 (en) 2007-05-29 2014-01-28 Livescribe Inc. Customer authoring tools for creating user-generated content for smart pen applications
US8194081B2 (en) * 2007-05-29 2012-06-05 Livescribe, Inc. Animation of audio ink
WO2008150918A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Binaural recording for smart pen computing systems
US20090021494A1 (en) * 2007-05-29 2009-01-22 Jim Marggraff Multi-modal smartpen computing system
US20090236152A1 (en) * 2008-03-21 2009-09-24 Leapfrog Enterprises, Inc. System and method for data organization by identification
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US7810730B2 (en) 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
WO2010015881A1 (en) * 2008-08-05 2010-02-11 Mehdy Davary Dolat Abady Position encoding using an invisible pattern data matrix
US20110041052A1 (en) * 2009-07-14 2011-02-17 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
JP7163679B2 (ja) 2018-09-07 2022-11-01 マックス株式会社 結束機
US11876795B2 (en) 2021-08-27 2024-01-16 Bank Of America Corporation Resource processing terminal device with enhanced secure resource transmissions based on image capture

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3782734A (en) * 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
NL7904469A (nl) * 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
US4604065A (en) * 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) * 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4627819A (en) * 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
US4748318A (en) * 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US5194852A (en) 1986-12-01 1993-03-16 More Edward S Electro-optic slate for direct entry and display and/or storage of hand-entered textual and graphic information
US4787040A (en) * 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) * 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
GB2207027B (en) * 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US4841387A (en) * 1987-12-15 1989-06-20 Rindfuss Diane J Arrangement for recording and indexing information
GB2214635B (en) * 1988-01-14 1992-06-10 Kwang Chien Fong Optical input device
US4924387A (en) * 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US5007085A (en) * 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5184003A (en) * 1989-12-04 1993-02-02 National Computer Systems, Inc. Scannable form having a control mark column with encoded data marks
US5168147A (en) * 1990-07-31 1992-12-01 Xerox Corporation Binary image processing for decoding self-clocking glyph shape codes
US5128525A (en) * 1990-07-31 1992-07-07 Xerox Corporation Convolution filtering for decoding self-clocking glyph shape codes
JPH04121923A (ja) * 1990-09-12 1992-04-22 Sony Corp 電子機器のスイッチ構造
US5117071A (en) * 1990-10-31 1992-05-26 International Business Machines Corporation Stylus sensing system
US5301243A (en) * 1990-12-21 1994-04-05 Francis Olschafskie Hand-held character-oriented scanner with external view area
US5574804A (en) * 1990-12-21 1996-11-12 Olschafskie; Francis Hand-held scanner
JPH04274510A (ja) * 1991-02-28 1992-09-30 Casio Comput Co Ltd データ入力処理装置
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
US5221833A (en) * 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5294792A (en) * 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
US5314336A (en) * 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
US5788508A (en) * 1992-02-11 1998-08-04 John R. Lee Interactive computer aided natural learning method and apparatus
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5438430A (en) * 1992-09-25 1995-08-01 Xerox Corporation Paper user interface for image manipulations such as cut and paste
US5739814A (en) * 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
WO1994015272A1 (en) * 1992-12-22 1994-07-07 Morgan Michael W Pen-based electronic teaching system
US5510606A (en) * 1993-03-16 1996-04-23 Worthington; Hall V. Data collection system including a portable data collection terminal with voice prompts
US6119944A (en) * 1997-02-03 2000-09-19 Symbol Technologies, Inc. Down-loadable hand-held optical reader
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5604517A (en) * 1994-01-14 1997-02-18 Binney & Smith Inc. Electronic drawing device
US5561446A (en) * 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
US5480306A (en) * 1994-03-16 1996-01-02 Liu; Chih-Yuan Language learning apparatus and method utilizing optical code as input medium
US5574519A (en) * 1994-05-03 1996-11-12 Eastman Kodak Company Talking photoalbum
JP2939119B2 (ja) * 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5649023A (en) * 1994-05-24 1997-07-15 Panasonic Technologies, Inc. Method and apparatus for indexing a plurality of handwritten objects
US5932863A (en) * 1994-05-25 1999-08-03 Rathus; Spencer A. Method and apparatus for accessing electric data via a familiar printed medium
US5624265A (en) * 1994-07-01 1997-04-29 Tv Interactive Data Corporation Printed publication remote contol for accessing interactive media
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
EP0693739A3 (en) * 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
WO1996015837A1 (en) * 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
FI103837B1 (fi) * 1994-12-22 1999-09-30 Nokia Mobile Phones Ltd Tiedonsiirto- ja käsittelymenetelmä
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
US5635726A (en) * 1995-10-19 1997-06-03 Lucid Technologies Inc. Electro-optical sensor for marks on a sheet
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5767457A (en) * 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5697793A (en) * 1995-12-14 1997-12-16 Motorola, Inc. Electronic book and method of displaying at least one reading metric therefor
US5694102A (en) * 1995-12-21 1997-12-02 Xerox Corporation Vector reconstruction of asynchronously captured tiled embedded data blocks
TW394879B (en) * 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US5877458A (en) * 1996-02-15 1999-03-02 Kke/Explore Acquisition Corp. Surface position location system and method
US5973420A (en) * 1996-10-03 1999-10-26 Colortronics Technologies L.L.C. Electrical system having a clear conductive composition
US5889506A (en) * 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
SE509327C2 (sv) * 1996-11-01 1999-01-11 C Technologies Ab Sätt och anordning för registrering av tecken med hjälp av en penna
JP2002515149A (ja) * 1996-11-08 2002-05-21 ネオメディア テクノロジーズ，インク． 印刷文書の機械可読コードによる電子情報の自動アクセス
US6215901B1 (en) * 1997-03-07 2001-04-10 Mark H. Schwartz Pen based computer handwriting instruction
US5945656A (en) * 1997-05-27 1999-08-31 Lemelson; Jerome H. Apparatus and method for stand-alone scanning and audio generation from printed material
US6215476B1 (en) * 1997-10-10 2001-04-10 Apple Computer, Inc. Flat panel display with integrated electromagnetic pen digitizer
US6377288B1 (en) * 1998-01-12 2002-04-23 Xerox Corporation Domain objects having computed attribute values for use in a freeform graphics system
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6313853B1 (en) * 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
US6199042B1 (en) * 1998-06-19 2001-03-06 L&H Applications Usa, Inc. Reading system
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
US7170499B1 (en) * 1999-05-25 2007-01-30 Silverbrook Research Pty Ltd Handwritten text capture via interface surface
US6502756B1 (en) * 1999-05-28 2003-01-07 Anoto Ab Recording of information
WO2000073983A1 (en) 1999-05-28 2000-12-07 Anoto Ab Position determination
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
CN1359587A (zh) 1999-06-28 2002-07-17 阿诺托股份公司 信息记录方法
AU7046700A (en) 1999-08-30 2001-03-26 Anoto Ab Notepad
SE517445C2 (sv) 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
US6593908B1 (en) * 2000-02-16 2003-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for using an electronic reading device on non-paper devices
SE0000949L (sv) * 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
SE516109C2 (sv) 2000-03-21 2001-11-19 Anoto Ab Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster
SE517984C2 (sv) 2000-03-21 2002-08-13 Anoto Ab Arrangemang för inmatning av information
FR2807267B1 (fr) * 2000-03-28 2002-12-06 Schlumberger Systems & Service Reseau de radiotelephonie mobile etendu et publiphone pour la mise en oeuvre d'un tel reseau
SE516281C2 (sv) 2000-04-05 2001-12-10 Anoto Ab Produkt och förfarande för informationshantering, där en löstagbar skrivyta med absolutpositionskodningsmönster skrivs på och avläses
SE517875C2 (sv) 2000-04-05 2002-07-30 Anoto Ab Förfarande och arrangemang för att associera en värdehandling med en delmängd av ett positionskodningsmönster
SE516310C2 (sv) 2000-04-05 2001-12-17 Anoto Ab Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
SE516567C2 (sv) 2000-06-07 2002-01-29 Anoto Ab Förfarande och anordning för säker trådlös överföring av information
US6304667B1 (en) * 2000-06-21 2001-10-16 Carmen T. Reitano System and method for incorporating dyslexia detection in handwriting pattern recognition systems
US20020023957A1 (en) * 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6592039B1 (en) * 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
US6608618B2 (en) * 2001-06-20 2003-08-19 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
DE10148260A1 (de) * 2001-09-30 2003-04-17 Siemens Ag Polarisationsverwürfler und Verfahren für eine Polarisationsverwürfelung
WO2003067553A1 (en) * 2002-02-06 2003-08-14 Leapfrog Enterprises, Inc. Write on interactive apparatus and method
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US7555705B2 (en) * 2003-09-10 2009-06-30 Microsoft Corporation Annotation management in a pen-based computing system

Also Published As

Publication number Publication date
KR20060082405A (ko) 2006-07-18
WO2006076076A2 (en) 2006-07-20
CA2532612A1 (en) 2006-07-12
US20060067576A1 (en) 2006-03-30
JP2006197596A (ja) 2006-07-27
EP1681621A1 (en) 2006-07-19
KR100815534B1 (ko) 2008-03-20
WO2006076076A3 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
CN1862473A (zh) 在可写表面上提供具有交互式元素的用户接口
CN100390720C (zh) 交互式设备和方法
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
US7831933B2 (en) Method and system for implementing a user interface for a device employing written graphical elements
CN1855014A (zh) 通过所识别文本和有界区域的设备用户接口
KR100806240B1 (ko) 데이터 입력의 종료를 식별하는 시스템 및 방법
EP1681623A1 (en) Device user interface through recognized text and bounded areas
WO2006076118A2 (en) Interactive device and method
CA2535505A1 (en) Computer system and method for audibly instructing a user

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20061115

C20 Patent right or utility model deemed to be abandoned or is abandoned