CN1808361A - 交互式设备和方法 - Google Patents

交互式设备和方法 Download PDF

Info

Publication number
CN1808361A
CN1808361A CNA2006100582169A CN200610058216A CN1808361A CN 1808361 A CN1808361 A CN 1808361A CN A2006100582169 A CNA2006100582169 A CN A2006100582169A CN 200610058216 A CN200610058216 A CN 200610058216A CN 1808361 A CN1808361 A CN 1808361A
Authority
CN
China
Prior art keywords
user
selectable items
function
writes
instruction message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100582169A
Other languages
English (en)
Other versions
CN100390720C (zh
Inventor
詹姆斯·马格拉夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leapfrog Enterprises Inc
Knowledge Kids Enterprises Inc
Original Assignee
Knowledge Kids Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knowledge Kids Enterprises Inc filed Critical Knowledge Kids Enterprises Inc
Publication of CN1808361A publication Critical patent/CN1808361A/zh
Application granted granted Critical
Publication of CN100390720C publication Critical patent/CN100390720C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/066—Installations on the floor, e.g. special surfaces, to guide blind persons
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C17/00—Pavement lights, i.e. translucent constructions forming part of the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于可听见地指示用户与一功能交互的方法。功能与用户所写可选项目关联。所述用户所写可选项目在一表面上得到识别。响应于识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互。

Description

交互式设备和方法
相关申请的交叉引用
本申请是由James Marggraff等人于2004年3月17日提交的、代理人档案号No.020824-004610US、申请号No.10/803,806、题为“SCANNINGAPPARATUS”的共同未决、共同拥有的美国专利申请的部分继续申请，其全部通过引用结合于此。
本申请是由James Marggraff等人于2004年6月3日提交的、代理人档案号No.020824-009500US、申请号No.10/861,243、题为“USERCREATED INTERACTIVE INTERFACE”的共同未决、共同拥有的美国专利申请的部分继续申请，其全部通过引用结合于此。
本申请是由James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0313、申请号No.11/034,491、题为“A METHOD ANDSYSTEM FOR IMPLEMENTING A USER INTERFACE FOR A DEVICEEMPLOYING WRITTEN GRAPHICAL ELEMENTS”的共同未决、共同拥有的美国专利申请的部分继续申请，其全部通过引用结合于此。
本申请涉及James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0316、申请号No.11/035,155、题为“AMETHODANDSYSTEM FOR IMPLEMENTING A USER INTERFACE FOR A DEVICETHROUGH RECOGNIZED TEXT AND BOUNDED AREAS”的共同未决、共同拥有的美国专利申请，其全部通过引用结合于此。
本申请涉及James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0320、申请号No.11/035,003、题为“TERMINATIONEVENTS”的共同未决、共同拥有的美国专利申请，其全部通过引用结合于此。
技术领域
本书面内容的实施例涉及交互式设备领域。更具体地，本书面内容的实施例涉及一种基于笔的交互式设备。更具体而言，本书面内容描述了用于可听见地指示用户与功能交互的方法和设备。
背景技术
在常规情况下，诸如光学读取器或光学笔的设备发射从表面反射到检测器或成像器的光。当所述设备相对于所述表面移动(或反过来)时，快速捕捉连续图像。通过分析所述图像，可跟踪所述光学设备相对于所述表面的移动。
一种光学笔与其上打印了很小的点的纸片一起使用。所述点以具有约0.3毫米(0.01英寸)的标称间隔的图案而打印于页上。所述页上任何区域内的点的图案对该区域是唯一的。光学笔本质上获取所述表面的快照，也许一秒100次或更多。通过解释每个快照中所捕捉的点位置，光学笔可精确地确定其相对于页的位置。
利用有关光学笔相对于表面的位置的信息的应用已经设计或正在设计。具有蓝牙或其它无线能力的光学笔可链接到其它设备并用来发送电子邮件(e-mail)或传真。
嵌入式计算机系统增加的能力及其能够实现的功能的复杂度需要一种使用这种能力的更直观和用户友好的方式。典型的现有技术光学笔将通过用户操作光学笔的一个或多个按钮/开关或控制以激活一个或多个软件程序、例程、嵌入式设备等来实施其预期的功能。所述笔可包含计算机系统或与计算机系统通信。在激励这样的控制时，所述笔设备执行其预期的功能。通过笔本身上提供的有限数量和配置的开关、按钮等或者任何远程耦合的计算机系统设备来使用功能日益强大的光学笔的能力并非一种令人满意的安排。
一种现有技术解决方案使用光学笔来识别用户定义的命令，并使用该命令调用笔的某种功能(如，PCT公布WO/01/48590A1)。例如，用户的书写可识别(如，实时地)和解释为用于光学笔的命令。该解决方案的缺点包括对笔功能的交互和控制需要实时识别用户的手写(如当用户在纸片上写命令时)。该解决方案令人不满意之处在于：与光学笔的较复杂功能性的交互需要用户重复写下一个或多个命令来访问笔所提供的不同选择、选项或功能。虽然对于非常简单的、单步骤类型的应用(如“关断”“存储”等)来说该解决方案可能是令人满意的，在需要较复杂、令人满意、丰富的功能性的情况下，该解决方案就过于麻烦而有限了。
发明内容
因此，需要一种提供有效用户接口以便于与关联于用户所写可选项目的功能进行交互的交互式设备。亦需要一种满足以上需要并将有助于实现与功能交互的可听见指令提供给用户的交互式设备。还需要一种满足第一种需要并且提供对特定功能的自动执行而不首先需要附加的用户交互的交互式设备。
本发明的一种用于可听见地指示用户与一功能交互的方法的各种实施例在此加以描述。功能与用户所写可选项目关联。所述用户所写可选项目在表面上得到识别。在一个实施例中，识别用户所写可选项目是响应于检测到指示该用户所写可选项目完成的终止事件而执行的。在一个实施例中，识别用户所写可选项目包括光学地记录笔计算机的尖的位置以及执行对所述位置的图像识别以识别所述用户所写可选项目。
响应于识别用户所写可选项目，可听见地再现与功能操作相关的第一指令消息而无需来自用户的进一步交互。在一个实施例中，所述第一指令消息引导用户来画出使用户能与所述功能对接的至少一个用户接口元素。在一个实施例中，在可听见地再现所述第一指令消息之前执行所述功能。在一个实施例中，可听见地再现所述第一指令消息是由笔计算机的音频输出设备执行的。
在一个实施例中，确定自从可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹。如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复第一指令消息。
在一个实施例中，确定用户接口元素是否已在所述表面上适当地画出。如果用户接口元素尚未在表面上适当地画出，可听见地再现第二指令消息，所述第二指令消息包括有关用户应以哪种方式适当地画出用户接口元素的提示。在一个实施例中，如果用户接口元素已经适当地画出，则可听见地再现第三指令消息。在另一个实施例中，如果用户接口元素已经适当地画出，则执行所述功能。在一个实施例中，响应于用户与所述用户所写可选项目的交互，重复第一指令消息。
在另一个实施例中，本发明提供了一种交互式设备，包括总线、处理器、存储器单元、音频输出设备、书写元件以及光学检测器，其可操作为实施用于可听见地指示用户与一功能交互的所述方法。在另一个实施例中，本发明提供了一种计算机可用介质，其具有在其中实施的计算机可读程序代码，用于使计算机系统执行用于可听见地指示用户与一功能交互的所述方法。
在其它在此描述的各种实施例中，本发明提供了一种用于自动执行功能的方法。功能与用户所写可选项目关联。所述用户所写可选项目在表面上得到识别。在一个实施例中，识别用户所写可选项目是响应于检测到指示该用户所写可选项目完成的终止事件而执行的。
响应于识别所述用户所写可选项目，所述功能立即执行而不首先需要用户和所述表面之间的进一步交互。在一个实施例中，所述功能立即执行而不首先需要用户在所述表面上的辅助书写。
在一个实施例中，可听见地再现与功能操作相关的指令消息而不首先需要用户和表面之间的进一步交互。在一个实施例中，响应于预定时间段的流逝，可听见地再现所述指令消息而无需用户与表面的交互。在一个实施例中，响应于用户与所述用户所写可选项目的交互，再执行所述功能。
在另一个实施例中，本发明提供了一种交互式设备，包括总线、处理器、存储器单元、音频输出设备、书写元件以及光学检测器，其可操作为实施用于自动执行功能的所述方法。在另一个实施例中，本发明提供了一种计算机可用介质，其具有在其中实施的计算机可读程序代码，用于使计算机系统执行用于自动执行功能的所述方法。
在各种实施例中，所述用户所写可选项目包括以下的一个：可由处理器执行的应用程序的符号表示、可由处理器执行的应用程序的菜单项目、导航项目、数据、应用选项选择器或另一个可选项目。
本书面内容没有限制地描述了一种用于可听见地指示用户与一功能交互的方法。功能与用户所写可选项目关联。所述用户所写可选项目在表面上得到识别。响应于识别所述用户所写可选项目，可听见地再现与功能操作相关的第一指令消息而无需来自用户的进一步交互。
附图说明
引入并构成本说明书的一部分的附图图示了本发明的实施例，并且与本说明一起用来解释本发明的原理：
图1示出根据本发明一个实施例的交互式设备。
图2A到2D示出根据本发明实施例的纸片上的示例用户所写可选项目。
图3示出根据本发明一个实施例的提供有标记图案的示例纸片。
图4示出根据本发明一个实施例的示例纸片上的标记图案的放大。
图5示出根据本发明一个实施例的便于与表面上的用户所写可选项目交互的过程步骤的流程图。
图6是其上可实施本发明的实施例的另一个设备的块图。
图7是其上可实施本发明的实施例的另一个设备的块图。
图8A和8B示出根据本发明一个实施例的用于可听见地指示用户与一功能交互的过程的流程图。
图9示出根据本发明一个实施例的用于自动执行功能的过程的流程图。
具体实施方式
现在将详细参考本发明的各种实施例，本发明即一种允许用户创建在表面上所写的可选项目并与之交互的交互式设备，其实例在附图中示出。尽管将结合这些实施例来描述本发明，应该理解其并非要将本发明限制为这些实施例。相反，本发明意欲覆盖可包括在所附权利要求所限定的精神和范围内的替换、修改和等效形式。另外，在对本发明实施例的以下详述中，提出了很多具体细节以使本发明得到彻底理解。然而，本领域普通技术人员将认识到，没有这些具体细节也可实施本发明。在其它实例中，为了不不必要地模糊本发明的方面，未详细描述公知的方法、过程、部件和电路。
以下详细描述的一些部分是按照过程、步骤、逻辑块、处理及对可在计算机存储器上执行的数据位的操作的其它符号表示来提出的。这些描述和表示是数据处理领域的技术人员所使用的、为了将其工作的实质最有效地传达给该领域其它技术人员的手段。这里，过程、计算机执行的步骤、逻辑块、进程等通常设想为导致期望结果的步骤或指令的自洽(self-consistent)序列。所述步骤是需要对物理量的物理操纵的步骤。通常，尽管不必要，这些量采用能够在计算机系统中存储、传递、组合、比较或另外操纵的电或磁信号的形式。已经证明，主要是为了公共使用的原因，将这些信号称作位、值、元素、符号、字符、项目、数字等有时是方便的。
然而，应牢记的是，所有这些和相似的术语应与适当的物理量相关联并且仅仅是适用于这些量的方便标记。除非特别指明，否则如以下描述中所显而易见的，应理解在整个本发明中，讨论所用的术语，如“关联”或“识别”或“再现”或“需要”或“确定”或“重复”或“执行”或“检测”或“引导”等，指的是电子系统(例如图1的交互式设备100)或类似电子计算设备的动作和过程，其将电子设备的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成电子设备存储器或寄存器或者其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本发明的实施例
本发明的用于可听见地指示用户与一功能交互的方法和设备的各种实施例在此加以描述。在一个实施例中，所述实施例在一种允许用户创建在表面上所写的可选项目并与之交互的交互式设备内得以实施。本发明为用户提供了一种接口，该接口将电子显示器替换成任何可写表面，如纸张。用户可在该表面上创建执行关联功能和/或表示用户所写数据，例如词、字符、数字、符号等的用户所写可选项目。用户所写可选项目在所述表面上是持久的，从而允许用户在交互式设备的整个操作中执行与不同可选项目关联的功能。在一个实施例中，响应于将特定用户所写可选项目识别为与特定功能关联，所述交互式设备可听见地再现与功能操作相关的指令消息。在另一个实施例中，响应于将特定用户所写可选项目识别为与特定功能关联，所述交互式设备立即执行该功能。
图1示出根据本发明一个实施例的交互式设备100。在壳体130内，交互式设备100包括处理器112、存储器单元114、音频输出设备116、书写元件118和光学检测器120。在一个实施例中，处理器112、存储器单元114、音频输出设备116和光学检测器120在通信上耦合在总线122上。
在一个实施例中，壳体130以触针或书写装置(例如笔状)的形式成形。用户可以以类似于保持触针的方式来保持交互式设备100。书写元件118位于壳体130的一端以使用户可将书写元件118放置得与可写表面(未示出)接触。书写元件118可包括钢笔、铅笔、标记器、蜡笔或任何其它标记材料。应理解，书写元件118亦可包括非标记尖。在使用期间，用户可保持交互式设备100并以类似于书写装置的方式用它在诸如纸的表面上书写。
书写元件118可用于在表面上创建用户所写可选项目。“用户所写可选项目”可包括用户所创建的任何标记。如果标记在一表面(例如纸片)上做出，则用户所写可选项目可以是打印元素。用户所写可选项目包括但不局限于符号、诸如字母和/或数字的记号、字符、词、形状、线等。它们在形状上可以规则或不规则，并且典型地使用触针来创建它们。
交互式设备100允许用户创建表示交互式设备100所提供的不同功能的用户所写可选项目。在一个实施例中，用户所写可选项目包括可由处理器112执行的应用程序的符号表示(例如计算器应用或词典应用)。在另一个实施例中，用户所写可选项目可包括导航项目(例如菜单)、可由所述处理器执行的应用程序的菜单项目、应用选项选择器或数据的实例(例如数据)。
在一些实施例中，用户所写可选项目可包括字母或数字，其中在所述字母或数字周围划有线。围绕字母或数字所划的线可以是圆、椭圆、方形、多边形等。这样的用户所写可选项目看起来象可由用户选择的“按钮”，而不是普通的字母和数字。通过创建此类用户所写可选项目，用户可在视觉上将诸如功能图标的用户所写可选项目与普通字母和数字区分开。而且，通过创建此类用户所写可选项目，交互式设备100还能够将功能或菜单项目类型的用户所写可选项目与非功能或非菜单项目类型的用户所写项目较好地区分开。例如，用户可创建作为由圆包围的字母“M”的用户所写可选项目，以创建交互式“菜单”图标。可将交互式设备100编程为将其中有字母“M”的重叠的圆或方形识别为与词中的字母“M”区分开的功能性用户所写可选项目。用于识别这样的功能性用户所写可选项目并将其与其它非功能性用户所写项目区分开的计算机代码可驻留在交互式设备100中的存储器单元114中。
在另一个实施例中，所述用户所写可选项目可包括多个字符，如具有围绕它的圆的字母“FT”，以创建交互式音乐键盘图标。在其它实施例中，所述用户所写可选项目可包括多个功能。例如，表示时间功能的圆内的字母“T”和表示日期功能的圆内的字母“D”两者均可处于一较大的圆内。该较大的圆表示一用户所写可选项目，使得用户与该较大圆交互启动时间功能和日期功能两者的执行。
图2A到2D示出根据本发明实施例的纸片上的示例用户所写可选项目。参照图2A，用户所写可选项目206是字母“M”202，其中圆204围绕字母“M”202。用户所写可选项目206是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。
在一个实施例中，用户所写可选项目206表示交互式设备的菜单功能。为指示对特定菜单项目、目录或子目录的选择，用户可创建另一个用户所写可选项目或利用交互式设备100做出姿势。例如，如果用户想要沿菜单的子目录前进，则用户可在片200上画出复选标记210以指示已经进行了选择。在画出复选标记之后，在每个后续选择或者在用户所写可选项目206附近将交互式设备100“下触”到片200上之后，与用户所写可选项目206关联的菜单选项可由音频输出设备116可听见地再现。然后与复选标记210的交互选择可听见地再现的最后选项。例如，在用户听到所读出的词“计算器”之后，“计算器”功能然后可被选择以将交互式设备100的工作模式改变到计算器功能。
图2B示出用户可如何在片200的空白部分上创建纸计算器。在该实例中，在用户如以上所述选择了“计算器”功能之后，交互式设备100可听见地提示用户写下数字0-9和运算符+、-、×、/和＝。例如，可提示用户创建用户所写可选项目220，包括数字和数学运算符，用于诸如加、减、乘、除和等于的运算。这些是硬画(hard drawn)在表面上的。交互式设备100识别所创建的图形元素并识别所创建的实际用户所写可选项目。然后用户可选择至少两个用户所写可选项目以接收与和所述至少两个图形元素的选择相关的音频输出。例如，用户可选择图形元素序列“4”“+”“7”“＝”以收听交互式设备100读出结果“十一”。
用户所写可选项目206所表示的菜单和用户所写可选项目220所表示的纸计算器可在以后的时间再用，这是因为交互式设备100已将用户所写可选项目存储在存储器单元114中。而且，笔与用户所写可选项目220的交互将自动调用计算器功能。
图2B还包括数据230。在图2B中所示的实例中，数据230是词“CAT”。应理解，数据230可以是在交互式设备100上运行的应用可使用的任何信息(例如字母数字式符号、图像、绘图、标记等)。当被写时，文本串CAT被自动识别为词“猫”。其在表面上的定位亦被记录。交互式设备100与该文本串的交互自动再调用经辨识的词CAT。
参照图2C，用户所写可选项目242是字母“T”，其中在字母“T”周围画有圆。用户所写可选项目242是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。在一个实施例中，用户所写可选项目242表示交互式设备的时间功能。执行该时间功能使交互式设备可听见地再现当前时间。在一个实施例中，交互式设备亦可可听见地再现当前日期。
在一个实施例中，一旦用户所写可选项目242已经画出，关联的时间功能立即得以执行而无需用户和片200之间的进一步交互。例如，一旦已识别用户所写可选项目242，时间功能可立即得以执行而无需用户在片200上画出任何辅助笔迹(例如复选标记)。应理解在一些实施例中，辅助笔迹可由用户提供，以提供根据对复选标记210的描述在以上描述的功能性，但这不是必要的。例如，可能理想的是立即执行功能而无需附加的用户交互，以优化用户的体验。
仍参照图2C，用户所写可选项目244是字母“C”，其中在字母“C”周围画有圆。用户所写可选项目244是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。在一个实施例中，用户所写可选项目244表示如根据图2B所述的交互式设备的计算器功能(例如用户所写可选项目220)。
在一个实施例中，一旦已经画出用户所写可选项目244，则可听见地再现与计算器功能的操作相关的指令消息，而无需用户和片200之间的进一步交互。例如，一旦已经识别用户所写可选项目244，则可听见地再现引导用户画出计算器或其部分的指令消息，而无需用户在片200上画出任何辅助笔迹(例如复选标记)。如以上所述，应理解在一些实施例中，辅助笔迹可由用户提供，以提供根据对复选标记210的描述在以上描述的功能性，但这不是必要的。例如，可能理想的是提供指令给用户以便使用一功能而无需附加的用户交互，以优化用户的体验。
参照图2D，用户所写可选项目254是字母“FT”，其中在字母“FT”周围画有圆。用户所写可选项目254是用交互式设备的书写元件(例如图1的书写元件118)画在片200上的。在一个实施例中，用户所写可选项目254表示交互式设备的音乐键盘功能。
在一个实施例中，一旦已经画出用户所写可选项目254，则可听见地再现与音乐键盘功能的操作相关的指令消息，而无需用户和片200之间的进一步交互。例如，一旦已经识别用户所写可选项目254，则可听见地再现引导用户画出键盘256的指令消息，而无需用户在片200上画出任何辅助笔迹(例如复选标记)。
光学检测器120位于触针形交互式设备100的一端。光学检测器120可操作为检测表面上的信息。例如，光学检测器120可包括电荷耦合器件。在一个实施例中，交互式设备亦包括光学发射器，用于照亮光学检测器120所检测的表面部分。光学检测器120所检测的信息发送到处理器112。
处理器112可包括任何适合的电子器件来实施交互式设备100的功能。处理器112可识别用户所写可选项目并可辨识这些用户所写可选项目的定位，使得交互式设备100可执行各种操作。在这些实施例中，存储器单元114可包括计算机代码，用于将用户所产生的任何用户所写可选项目与它们在表面上的定位相关。
存储器单元114包括用于执行交互式设备100的任何功能的计算机代码。在一个实施例中，其中存储在存储器单元114中并实施在处理器112上的计算机代码响应于用户对用户所写可选项目的选择并且可操作为响应于该选择来执行与所述用户所写可选项目关联的功能。在另一个实施例中，存储在存储器单元114中并实施在处理器112上的计算机代码可操作为引导音频输出设备116可听见地再现潜在的用户所写可选项目的列表，其中处理器112可操作为检测用户已写出多个用户所写可选项目，并且其中响应于用户对所述多个用户所写可选项目的一个或多个用户所写可选项目的选择的处理器112可操作为执行与每个所选的用户所写可选项目关联的不同功能。
在一个实施例中，处理器112可操作为使用符号识别或字符识别、响应于一选择来自动辨识用户所写可选项目。在另一个实施例中，处理器112可操作为当用户所写可选项目被写时自动记录其在表面上的表面定位。处理器112可操作为基于用户所写可选项目的所检测表面定位、响应于用户选择来自动辨识用户所写可选项目。
在一个实施例中，本发明提供了交互式设备100的操作系统。该操作系统可操作为检测表面上的用户所写可选项目，将该用户所写可选项目与一功能关联，并且响应于用户与该用户所写可选项目的交互，执行关联的功能。
在其它实施例中，存储器单元114可包括用于识别打印字符的计算机代码、用于识别用户的手写并解释用户的手写的计算机代码(例如手写字符识别软件)、用于将物件上的位置与相应打印元素相关的代码(例如文本到语音引擎)、用于读出菜单项目的计算机代码、用于执行语言翻译的计算机代码(英语到外语词典)等。用于将文本转换成语音的软件可从许多不同的零售商在商业上获得。
存储器单元114亦可包括用于音频和视觉输出的代码。例如，用于声效的代码、用于说词的代码、用于课程计划和指导的代码、用于问题的代码等，可全部存储在存储器单元114中。诸如这些的用于音频输出的代码可存储在非易失性存储器中(以持久或半持久的方式，使得即使交互式设备被关断，数据亦可保留)，而不是在物件本身上。用于本申请中描述的这些和其它功能的计算机代码可包括在存储器单元114中，并且可使用包括C、C++等的任何适合的编程语言来创建。
存储器单元114可以是可移动存储器单元，如ROM或闪存盒。在其它实施例中，存储器单元114可包括一个或多个存储器单元(例如RAM、ROM、EEPROM等)。存储器单元114可包括任何适合的磁性、电子、电磁、光学或电光数据存储设备。例如，一个或多个基于半导体的器件可位于存储器单元114中。
音频输出设备116可包括扬声器或音频插座(例如耳机或头戴式耳机插座)，用于耦合到耳机或头戴机。在一个实施例中，音频输出设备116可操作为可听见地再现潜在的用户所写可选项目的列表。音频输出设备116亦可操作为响应于用户对用户所写可选项目的选择来可听见地再现信息。
应理解交互式设备100亦可操作为识别并执行与表面上预先打印的可选项目关联的功能。在一个实施例中，响应于用户对表面上预先打印的可选项目的选择，处理器112可操作为响应于用户选择预先打印的可选项目来执行与预先打印的可选项目关联的功能。在一个实施例中，处理器112可操作为使用符号识别来自动辨识预先打印的可选项目。在另一个实施例中，处理器112可操作为基于所检测的预先打印的可选项目的表面定位来自动辨识预先打印的可选项目。而且，在另一个实施例中，处理器112可操作为基于表面的特定有界区域来辨识应用程序，使得不同有界区域与不同应用程序关联。
在一些实施例中，所述表面可以是有或没有预先打印的可选项目的纸片。图3示出根据本发明一个实施例的提供有标记图案的纸片15。在图3的实施例中，纸片15提供有标记18的图案构成的光学可读位置代码17形式的编码图案。为了清楚起见，图3中的标记18放大了很多。实际上，标记18可能不能由人的视觉系统轻易辨别，而且可在纸片15上表现为灰度级。在一个实施例中，标记18实施为点；但是，本发明并不限制于此。
图4示出图3的位置代码17的放大部分19。诸如交互式设备100(图1)的交互式设备被定位以记录位置代码17的区域的图像。在一个实施例中，所述光学设备将标记18配合于基准系统，所述基准系统是具有在栅格点22相交的栅格线21的栅格的形式。标记18的每个与一栅格点22相关联。例如，标记23与栅格点24相关联。对于图像/栅格中的标记，确定标记从与该标记相关联的栅格点的位移。利用这些位移，将图像/栅格中的图案与基准系统中的图案相比较。基准系统中的每个图案与表面70上的一特定定位相关联。因此，通过将图像/栅格中的图案与基准系统中的图案相匹配，可确定表面70上图案的位置，以及因此所述光学设备相对于表面70的位置。
在一个实施例中，片15上的标记图案是基本不可见代码。所述代码对用户的眼睛“基本不可见”并且可对应于页上的可选项目的绝对或相对定位。“基本不可见”亦包括对用户眼睛完全或略微不可见的代码。例如，如果对用户眼睛略微不可见的点代码在整个纸片上打印，当在正常观察距离观察时，该片可能看上去具有淡灰阴影。在一些情况下，在用户用交互式设备100扫描代码之后，交互式设备100中的音频输出设备116产生对应于与所述代码关联的用户所写可选项目的唯一音频输出(与类似蜂鸣声音的不加区分的音频输出相反)。
在一个实施例中，基本不可见代码由点图案来实施。读取可见或“阈下(subliminally)”打印的点图案的技术是存在并可商业获得的。这些打印的点图案对用户的眼睛基本不可见，使得在正常使用中，存在于点图案中的代码不可由用户的眼睛检测到(不象正常的条码)。可通过例如可表示如二进制编码中的一和零的小和大点的特定组合来实施点图案。点图案可利用与用于打印所述打印元素的墨不同的墨来打印，使得交互式设备100可专门读取点图案。
瑞典公司Anoto采用了使用一算法来产生图案的技术，其可实现在大文档集上的非冲突使用的很大的唯一数据空间。如果全部打印，对在任何页上任何2cm平方的唯一识别，其图案将覆盖70万亿(trillion)个8.5″×11″页。包含特定点图案的纸可从Anoto商业上获得。以下专利或专利申请转让给Anoto并且描述了这种基本技术，并且为了所有目的，全部通过引用结合于此：美国专利No.6,502,756、2002年6月26日提交的美国申请No.10/179,966、WO 01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 00/73983和WO 01/16691。
在一些实施例中，点图案可以没有其它类型的数据，如表示数据块的标记器的数据、音频数据和/或误差检测数据。如以上所指出的，交互式设备100中的处理器112可使用查询表来确定触针的定位，并且可基于定位信息来检索和播放音频。这具有优点。例如，与具有打印在其上的用于标志、音频和误差检测的数据的纸相比，本发明的实施例需要较少的点，这是因为用于标记器、音频和误差检测的数据不需要打印在纸上。通过例如从纸张中省略音频数据，可使纸上的更多空间成为交互的，这是因为实际的音频数据不需要占用纸上的空间。另外，因为在本发明的实施例中用于音频的计算机代码存储在交互式设备100中，所产生的音频由例如纸片中的皱褶或破损而破坏或更改的可能性较小。
应理解，尽管在此专门描述了点图案化的代码，其它类型的基本不可见代码可用在本发明的其它实施例中。例如，如果条码以阵列设置在物件上，则可使用红外条码。举例而言，一个纸片可包括100×100阵列的基本不可见条码，每个代码与纸片上的不同x-y位置关联。条码在阵列中的相对或绝对定位可存储在交互式设备100中的存储器单元114中。
如所指出的，在一些实施例中，基本不可见代码可直接或间接地与所述多个位置和/或任何可选项目在所述片上的定位相关。在一些实施例中，基本不可见代码可直接与所述多个位置在片(或其它表面)上的定位相关。在这些实施例中，不同位置在所述片上的定位可由代码本身来提供。例如，第一位置处的第一代码可包括用于所述第一位置在所述片上的空间坐标(例如特定的x-y位置)的代码，而第二位置处的第二代码可包括用于所述第二位置在所述片上的空间坐标的代码。
不同的用户所写可选项目可位于片上的不同位置。这些用户所写可选项目可形成在代码上。例如，第一用户所写可选项目可形成在覆盖第一代码的第一位置。第二用户所写可选项目可形成在覆盖第二代码的第二位置。当用户形成第一用户所写可选项目时，扫描装置识别所形成的第一打印元素并且基本上同时扫描与所形成的第一用户所写可选项目关联的第一代码。交互式设备100中的处理器112可确定第一位置的特定空间坐标并可使所述第一用户所写可选项目与所述空间坐标相关。
当用户形成第二用户所写可选项目时，扫描装置识别所形成的第二用户所写可选项目并且基本上同时扫描第二代码。处理器112然后可确定第二位置的空间坐标并可使所述第二用户所写可选项目与所述空间坐标相关。于是用户可随后使用交互式设备100来选择第一和第二用户所写可选项目，并且交互式设备100可执行附加操作。例如，利用该方法，用户可在空白纸片上创建用户定义的接口或功能设备。
交互式设备100亦可包括在存储器单元114中使相对或绝对定位与所形成的用户所写可选项目映射或相关的机构。该机构可以是查询表，其使与物件上的特定用户所写可选项目有关的数据与物件上的特定定位相关。该查询表可存储在存储器单元114中。处理器112可使用所述查询表来辨识特定定位处的用户所写可选项目，以使处理器112可执行后续操作。
具有基本不可见代码的表面可采用任何适合的形式。例如，所述表面可以是单个纸片、便条本、活页纸、海报、布告、菜单、张贴物、标签、产品包装、盒子、交易卡、磁体(例如冰箱磁体)、白板、桌面等。而且，所述表面可由任何材料组成，包括但不限于纸、木材、金属、塑料等。这些或其它类型的表面的任何一种可带有或没有预先打印的可选项目而使用。如果所述表面是片，则该片可以是任何适合的大小并且可由任何适合的材料制成。例如，所述片可以是基于纸的，或可以是塑料膜。在一些实施例中，所述表面可以是具有三维表面的三维物件。所述三维表面可包括人体的模制轮廓、动物(例如恐龙)、车辆、字符或其它轮廓。
在一些实施例中，所述表面是片并且该片可以没有预先打印的可选元素，如打印的字母或数字(例如在用户在片上创建用户所写可选项目之前进行的标记)。在其它实施例中，预先打印的可选项目可位于所述片上(例如在用户在所述片上创建用户所写可选项目之前)。预先打印的打印元素可包括数字、图标、字母、圆、词、符号、线等。例如，本发明的实施例可利用预先打印的表单，如预先打印的定单或选票。
交互式设备100可采用任何适合的形式，在一个实施例中，交互式设备100是成形为触针的扫描装置。在一个实施例中，交互式设备100是袖珍大小的。所述触针包括可由塑料或金属制成的触针壳体。抓握区可存在于触针壳体上。
图5示出根据本发明一个实施例的便于与表面上的用户所写可选项目交互的过程500的步骤的流程图。过程500描述了根据本发明一个实施例的交互式设备(例如交互式设备100)当其解释以用户所写可选项目、图形元素、书写、标记等形式的用户输入并提供所请求的功能性给用户时所实施的用户接口过程的基本操作步骤。
在步骤510，其中设备100的计算机实施的功能性检测可写表面上的用户所写可选项目。在步骤512，所述用户所写可选项目连同该用户所写可选项目的功能一起得到识别。例如，该功能可以是可说明预定功能(例如菜单选项)列表以便用户随后激活的菜单功能。在步骤514，检测与用户所写可选项目的交互。该交互可包括：写出用户所写可选项目，用所述交互式设备与用户所写可选项目交互(例如敲击用户所写可选项目)，或者与相关的用户所写可选项目(例如图2B的复选标记)交互。功能与用户所写可选项目持久关联，从而使能由对图形元素图标的随后交互(例如敲击)对所述功能的随后访问(例如在以后的某个时间)。例如，在菜单功能的情况下，用户可在以后的某个时间通过简单地激励菜单图形元素图标(如，敲击它)而随后访问所列出的菜单选择。
以这种方式，本发明的实施例实施了用于使用笔和纸类型接口来导航交互式设备(例如图1的交互式设备100)的功能性的用户接口装置。通过用户所写可选项目实施的用户接口提供了与在交互式设备100内执行的许多软件应用交互的方法。如上所述，到交互式设备100的输入包括用户动作，如用户创建用户所写可选项目或用户与用户所写或预先打印的可选项目交互。来自笔的输出是音频输出，并且因此，用户接口装置使用户能够与所述笔的应用和功能性进行“对话”。换句话说，用户接口使用户能够在表面上创建互相识别的项目，如用户所写可选项目，其允许用户和笔彼此交互。如上所述，互相识别的项目典型地是用户在诸如纸片的表面上画出的符号或标记或图标。
本发明的附加实施例
图6是根据其可实施本发明其它实施例的笔设备150的块图。通常，笔设备150可以称为光学设备，更具体地为光学读取器、光学笔或数字笔。所述设备可包含计算机系统和驻留在其上的操作系统。应用程序亦可驻留在其上。
在图6的实施例中，笔设备150包括壳体62内的处理器32。在一个实施例中，壳体62具有笔或者其它书写或标记用具或装置的形式。处理器32可操作用于处理被用来实施笔设备150功能的信息和指令，如以下所述。
在本实施例中，笔设备150可包括耦合到处理器32的音频输出设备36和显示设备40。在其它实施例中，音频输出设备和/或显示设备在物理上与笔设备150分离，但通过有线或无线连接与笔设备150通信。对于无线通信，笔设备150可包括收发器或发送器(在图6中未示出)。音频输出设备36可包括扬声器或音频插座(例如用于耳机或头戴式耳机)。显示设备40可以是液晶显示器(LCD)或某种其它适合类型的显示器。
在图6的实施例中，笔设备150可包括耦合到处理器32的输入按钮38，用于激活和控制笔设备150。例如输入按钮38允许用户输入信息和命令到笔设备150或者接通或关断笔设备150。笔设备150亦包括电源34，如电池。
笔设备150亦包括耦合到处理器32的光源或光学发射器44和光传感器或光学检测器42。光学发射器44可以是例如光发射二极管(LED)，而光学检测器42可以是例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)成像器阵列。光学发射器44照亮表面70或其部分。从表面70反射的光在光学检测器42处接收并由其记录。
表面70可以是纸片，尽管本发明并未如此限制。例如，表面70可包括LCD(液晶显示器)、CRT(阴极射线管)、触摸屏或其它类型的有源电子表面(例如膝上型或平板PC的显示器)。类似地，表面70可以是包括电子墨的表面、或包括可再配置纸的表面。
在一个实施例中，标记图案打印在表面70上。支持光学发射器44和光学检测器42的笔设备150的一端抵着或接近于表面70而放置。当笔设备150相对于表面70移动时，标记图案由光学发射器44和光学检测器42读取和记录。如以下更详细讨论的，在一个实施例中，表面70上的标记用来确定笔设备150相对于表面的位置(见图3和4)。在另一个实施例中，表面70上的标记用来编码信息(见图8和9)。所捕捉的表面70的图像可由笔设备150来分析(处理)，以解码所述标记并恢复所编码的信息。
有关用于编码信息的表面标记以及通过电子设备来读取/记录这种标记的附加描述可在转让给Anoto并且全部通过引用结合在此的以下专利和专利申请中找到：美国专利No.6,502,756、提交于2002年6月26日的美国申请No.101179,966、WO 01/95559、WO 01/71473、WO01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 1000/73983和WO 01116691。
图6的笔设备150亦包括耦合到处理器32的存储器单元48。在一个实施例中，存储器单元48是实施为存储器盒或存储器卡的可移动存储器单元。在另一个实施例中，存储器单元48包括存储用于处理器32的信息和指令的随机访问(易失性)存储器(RAM)和只读(非易失性)存储器(ROM)。
在图6的实施例中，笔设备150包括书写元件52，其位于笔设备150的与光学检测器42和光学发射器44相同的一端。书写元件52可以是例如钢笔、铅笔、标记器等，并且可以是或者可以不是可缩回的。在某些应用中，不需要书写元件52。在其它应用中，用户可使用书写元件52在表面70上做标记(例如图形元素或用户所写可选项目)，包括字符如字母、词、数字、数学符号等。这些标记可以根据其在表面70上的位置由笔设备150来扫描(成像)和解释。用户产生的标记的位置可使用打印在表面70上的标记图案来确定；参考以上对图3和4的讨论。在一个实施例中，可使用识别手写字符的光学字符识别(OCR)技术由笔设备150来解释用户产生的标记。
如以上所述，表面70可以是适合于在其上书写的任何表面，如例如纸片，尽管可以使用由除纸以外的材料构成的表面。而且，表面70可以是或可以不是平的。例如，表面70可以实施为球的表面。此外，表面70可以小于或大于常规(例如8.5×11英寸)纸页。
图7是根据其可实施本发明实施例的另一个设备250的块图。设备250包括处理器32、电源34、音频输出设备36、输入按钮38、存储器单元48、光学检测器42、光学发射器44和书写元件52，如在本文中先前所述。然而，在图7的实施例中，光学检测器42、光学发射器44和书写元件52实施为壳体62中的光学设备251，而处理器32、电源34、音频输出设备36、输入按钮38和存储器单元48实施为壳体74中的平台202。在本实施例中，光学设备251通过线缆102耦合到平台252；然而，可替代地使用无线连接。图7所示的元件可以以不同于以上所述的组合分布在光学设备251和平台252之间。
返回来参考图6，表面70上的四个位置或区域由字母A、B、C和D(这些字符并不打印在表面70上，而是在此用于指示表面70上的位置)来指示。表面70上可以有许多这样的区域。与表面70上的每个区域关联的是标记的唯一图案。表面70上的区域可重叠，因为即使一些标记在重叠区域之间共享，一个区域内的标记图案对于该区域仍是唯一的。
在图6的例子中，利用笔设备150(具体地，利用书写元件52)，用户可在表面70的位置A创建由例如带圈的字母“M”构成的字符(通常用户可在表面70上的任何位置创建字符)。用户可响应于来自笔设备150的提示(例如可听见的提示)来创建字符。当用户创建字符时，笔设备150记录标记图案，所述标记唯一地存在于创建字符的位置。笔设备150将所述标记图案与刚刚创建的字符关联。当笔设备150随后定位在带圈的“M”上时，笔设备150识别与之关联的标记图案并且将该位置识别为与带圈的“M”关联。实际上，笔设备150是通过使用字符所处的位置处的标记图案来识别该字符的，而不是通过识别字符本身。
在一个实施例中，以上所述的字符包括与笔设备150的一个或多个命令关联的“图形元素”。应指出，与包括命令的笔设备150实施的功能关联并且用于对其进行访问的这种图形元素在以下称为“图形元素图标”，以便区分于未与笔设备150的访问功能或应用关联的其它所写字符、标记等。在刚才所述的例子中，用户可创建(写出)标识特定命令的图形元素图标，并且可通过简单地将笔设备150定位于图形元素图标(例如所写字符)上来重复调用该命令。在一个实施例中，将书写装置定位于图形字符上。换句话说，每次要由笔设备150调用命令时，用户不必写出用于该命令的字符；相反，用户可写出用于命令的图形元素图标一次，并且使用同一所写图形元素图标来重复调用该命令。该属性称为“持久性”，并且在以下更详细地描述。对于不是用户所写而是预打印在表面上并且仍然可由笔设备150选择的图形元素图标也是这样。
在一个实施例中，所述图形元素图标可包括一字母或数字，其中围绕该字母或数字画有线。围绕所述字母或数字所画的线可以是圆、椭圆、方形、多边形等。这样的图形元素看起来象是可由用户选择的“按钮”，而不是普通的字母和数字。通过创建这种图形元素图标，用户可将诸如功能图标的图形元素图标在视觉上区分于可由笔设备150处理为数据的普通字母和数字。而且，通过创建这种图形元素图标，笔设备150亦能够较好地将功能或菜单项目类型的图形元素区分于非功能或非菜单项目类型的图形元素。例如，用户可以创建作为由圆形所包围的字母“M”的图形元素图标来创建交互式“菜单”图形元素图标。
可将笔设备150编程为将其中有字母“M”的重叠圆或方形识别为与词中的字母“M”区分的功能图形元素。所述图形元素图标亦可以包括某个距离(例如1英寸、1.5英寸等)内的与其相邻的小“复选标记”符号。所述复选标记将与图形元素图标关联。用于识别这种功能图形元素并将其与其它非功能图形元素区分的计算机代码可驻留在笔设备的存储器单元中。处理器可识别所述图形元素图标并且可辨识这些图形元素图标的定位，以使笔设备150可执行与之关联的各种功能、操作等。在这些实施例中，存储器单元可包括用于使用户所产生的任何图形元素相关于其在表面上的定位相关的计算机代码。笔设备150识别“下触”或“下划”或者向下放在表面上(例如当用户开始书写时)，并且识别“上划”或从表面向上拾起(例如当用户完成书写时)。这样的下划和上划可由笔设备150解释为例如关于何时调用某些功能性以及调用什么样的特定功能/应用(例如触发OCR处理)的指示器。特别地，由上划迅速跟随的下划(例如笔设备在表面上的敲击)取决于应用可与专门动作关联(例如选择图形元素图标、文本串等)。
应指出，通用术语“图形元素”可包括用户所创建的任何适合标记，并且可区分于涉及用于访问设备的一个或多个功能的功能图形元素的图形元素图标。
如以上所述，应指出图形元素图标可由笔设备150来创建(例如由用户画出)或可以是预先存在的(例如纸片上打印的元素)。示例图形元素包括，但不限于，符号、记号如字母和/或数字、字符、词、形状、线等。它们在形状上可以是规则或不规则的。用户写出/创建的图形元素典型地使用笔设备150来创建。另外，图形元素图标通常但不总是结合围绕字符(例如字母“M”)的划线(例如圆)，以便给予它们对于用户和笔设备150两者的附加程度的区分性。例如，在一个实施例中，完成字符周围的圆之后的上划可专门向笔设备150指示用户刚刚创建了图形元素图标。
图8A和8B示出根据本发明一个实施例的计算机实施过程800的步骤的流程图。过程800描述了可听见地指示用户与一功能交互的过程的基本操作步骤，所述功能由根据本发明一个实施例的设备(例如图1的交互式设备100)在其解释以图形元素、书写、标记等形式的用户输入并且将有关所请求功能性的可听见指令提供给用户时实施。
过程800开始于图8A的步骤805，其中交互式设备100的计算机实施的功能性将一功能与用户所写可选项目相关联。在一个实施例中，交互式设备100在其中存储了许多功能，如可执行应用程序、菜单项目、应用选项选择器或数据实例，其与相应的用户所写可选项目关联。例如，具有围绕它的圆的字母C(例如图2C的用户所写可选项目244)可与计算器功能关联。
在步骤810，所述交互式设备识别在表面上所写的用户所写可选项目。用户创建该用户所写可选项目。在一个实施例中，通过使用光学检测器120光学地记录书写元件118的位置来识别所述用户所写可选项目。笔设备100执行对所述位置的图像识别以识别所述用户所写可选项目。在一个实施例中，对所述用户所写可选项目的识别是响应于检测到指示用户所写可选项目完成的终止事件而执行的。当用户完成书写用户所写可选项目时，通过例如将不活动(例如用户不再书写)识别为数据录入终止事件，交互式设备100识别到用户完成的事实。以这种方式，可使用“超时”机制来识别数据录入的结束。另一个终止事件可以是用户完成字母或多个字母周围的圆。终止事件的另外实例描述于由James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0320、申请号No.11/035,003、题为“TERMINATION EVENTS”的共同转让的美国专利申请，其全部内容结合于此。
在一个实施例中，如在步骤815所示，执行所述功能而无需用户在所述表面上画出任何辅助笔迹(例如复选标记)。例如，在所述功能是时间功能的情况下，一旦与时间功能关联的用户所写可选项目得到识别，立即执行该时间功能。在时间功能的情况下，可以可听见地再现当前时间。应理解，步骤815是任选的，并且该功能不需要在过程800的该点执行。
在步骤820，响应于识别用户所写可选项目，可听见地再现与关联的功能的操作相关的第一指令消息，而无需所述表面上的来自用户的进一步交互(例如无需用户画出任何辅助笔迹，如复选标记)。在一个实施例中，第一指令消息引导用户画出使用户能与该功能交互的至少一个用户接口元素。例如，参照图2C，响应于识别用户所写可选项目244，可听见地再现引导用户画出在其中画出计算器的框的指令消息。在另一个实施例中，参照图2D，响应于识别用户所写可选项目254，可听见地再现引导用户画出两个水平线的指令消息。
在步骤825，确定自从可听见地再现所述第一指令消息，是否已在预定时间(例如三秒或五秒)内在所述表面上画出笔迹。如果在所述预定时间段内在所述表面上尚未画出笔迹，则如在步骤830所示，重复第一指令消息。可替换地，如果笔迹已经画在所述表面上，则过程800前进到图8B的步骤835。
现在参照图8B，根据本发明的一个实施例，在步骤835，确定用户接口元素是否已在所述表面上适当地画出。例如，考虑以上所述的计算器功能。最初引导用户画框。一旦在表面上检测到笔迹，则交互式设备100将确定它是否适当地画出。在计算器功能的情况下，交互式设备100将确定用户是否画出了框及该框是否具有在其中画出附加用户接口元素(例如数字和运算数)的适当尺度。
如果用户尚未适当地画出用户接口元素，则如在步骤840所示，可听见地再现第二指令消息，所述第二指令消息包括有关用户应以哪种方式适当地画出用户接口元素的提示。例如，如果确定用户已画出要在其中画计算器的框，但该框过小以至于不能装入所有必要信息，则第二指令消息可引导用户画出较大的框。在另一个实例中，考虑用户正在使用音乐键盘功能并且最初被引导画出两个水平线。如果确定用户所画的线不水平(例如是竖直或对角的)，则第二指令消息可通知用户水平线是边对边的(side-to-side)。
一旦确定用户接口元素已经适当地画出，则过程800前进到步骤845和/或步骤850。应理解，步骤845和850是任选的，并且可实施这些步骤之一或两者。
在步骤845，再现第三指令消息。例如，可引导用户在计算器框内写出数字零到九。应理解，过程800然后可执行类似于在步骤825到840中所述的步骤以确定笔迹是否已经写出并且该笔迹是否适当。还应理解，可以可听见地再现任何数量的指令消息以引导用户画出用户接口元素。依赖于用户接口元素的复杂度，许多指令消息可能对精确描述用户如何画出特定用户接口元素是必要的。例如，具有升半音和降半音键以及音量控制和拍子控制的音乐键盘可需要比不包括升半音和降半音键、音量控制和拍子控制的音乐键盘多的指令消息。
在步骤850，执行所述功能。例如，一旦计算器已经画出，用户然后可与该计算器交互以执行数学计算。在一个实施例中，可听见地再现一消息，通知用户计算器已准备好使用。
以这种方式，本发明的实施例为用户提供了有关所选功能的使用的指令消息。具体而言，在执行所述功能之前可听见地再现指令消息而无需与所述表面的附加用户交互。例如，为使用户利用计算器，必须首先画出计算器。在执行计算器功能之前，引导用户画出必要的用户接口元素。
图9示出根据本发明一个实施例的计算机实施过程900的步骤的流程图。过程900描述了自动执行功能的过程的基本操作步骤，所述功能由根据本发明一个实施例的设备(例如图1的交互式设备100)在其解释以图形元素、书写、标记等形式的用户输入并且将有关所请求功能性的可听见指令提供给用户时实施。
过程900开始于步骤905，其中交互式设备100的计算机实施的功能性将一功能与用户所写可选项目相关联。在一个实施例中，交互式设备100在其中存储了许多功能，如可执行应用程序、菜单项目、应用选项选择器或数据实例，其与相应的用户所写可选项目关联。例如，具有围绕它的圆的字母T(例如图2C的用户所写可选项目242)可与时间功能关联。
在步骤910，所述交互式设备识别在表面上所写的用户所写可选项目。用户创建该用户所写可选项目。在一个实施例中，通过使用光学检测器120光学地记录书写元件118的位置来识别所述用户所写可选项目。笔设备100执行对所述位置的图像识别以识别所述用户所写可选项目。在一个实施例中，对所述用户所写可选项目的识别是响应于检测到指示用户所写可选项目完成的终止事件而执行的。当用户完成书写用户所写可选项目时，通过例如将不活动(例如用户不再书写)识别为数据输入终止事件，交互式设备100识别到用户完成的事实。以这种方式，可使用“超时”机制来识别数据输入的结束。另一个终止事件可以是用户完成字母或多个字母周围的圆。终止事件的另外实例描述于由James Marggraff等人于2005年1月12日提交的、代理人档案号No.LEAP-P0320、申请号No.11/035,003、题为“TERMINATION EVENTS”的共同转让的美国专利申请，其全部内容结合于此。
在步骤915，立即执行所述功能而无需用户和表面之间的进一步交互(例如无需用户画出任何辅助笔迹，如复选标记)。例如，在所述功能是时间功能的情况下，一旦与时间功能关联的用户所写可选项目得到识别，立即执行该时间功能。在时间功能的情况下，亦可以可听见地再现当前时间。
在步骤920，确定自从已经执行所述功能，是否已在预定时间(例如三秒或五秒)内有用户与用户所写可选项目的交互。如果在所述预定时间段内没有用户交互，则如在步骤925所示，可听见地再现与关联的功能的操作相关的第一指令消息，而无需来自用户的进一步交互。例如，在所述功能是时间功能的情况下，可以可听见地再现通知用户与关联的用户所写可选项目交互将使时间被重复的指令消息。
可替换地，如果确定在预定时间内有用户与所述用户所写可选项目的交互，则如在步骤930所示，再执行所述功能。例如，参照图2C，如果用户与用户所写可选项目242交互(例如敲击)，则可听见地再现当前时间。在一个实施例中，对于与用户所写可选项目242的每个交互，时间功能切换于当前时间和当前日期之间。以这种方式，本发明的实施例为用户提供了对所选功能的立即执行。具体而言，执行所述功能而无需与所述表面的附加用户交互。因此，为用户提供了有效的用户接口，通过其可立即执行提供某些类型信息的功能。
尽管已在使用以标记编码的表面以确定笔设备的定位的上下文中描述了本发明的实施例，但应指出本发明的实施例还适合于与使用不需要编码表面的其它装置来确定定位的笔设备一起使用。例如，在一个实施例中，笔设备可结合一个或多个位置定位机构，如例如运动传感器、陀螺仪等，并且可配置成准确存储给定表面(如，纸片)的精确定位。例如，通过顺序接触表面(如，矩形的纸片)的相对的角，可存储表面的精确定位。笔设备然后将通过比较所存储的表面精确定位与其定位确定装置的结果来识别用户在表面上所写的图形元素的定位。
本发明的一种用于可听见地指示用户与一功能交互的方法的各种实施例由此得以描述。尽管已在特定的实施例中描述了本发明，应理解本发明不应解释为由这样的实施例来限制，相反，应根据以下权利要求来解释。

Claims (51)

1.一种用于可听见地指示用户与一功能交互的方法，所述方法包括：
将一功能与用户所写可选项目关联；
识别一表面上的所述用户所写可选项目；以及
响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互。
2.如权利要求1所述的方法，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素。
3.如权利要求2所述的方法，进一步包括：
确定自从所述可听见的再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹；以及
如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复所述第一指令消息。
4.如权利要求2所述的方法，进一步包括：
确定所述用户接口元素是否已在所述表面上适当地画出；以及
如果所述用户接口元素尚未在表面上适当地画出，则可听见地再现第二指令消息，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示。
5.如权利要求4所述的方法，进一步包括：如果所述用户接口元素已经适当地画出，则可听见地再现第三指令消息。
6.如权利要求4所述的方法，进一步包括：如果所述用户接口元素已经适当地画出，则执行所述功能。
7.如权利要求1所述的方法，进一步包括：响应于用户与所述用户所写可选项目的交互，重复所述第一指令消息。
8.如权利要求1所述的方法，进一步包括：在可听见地再现所述第一指令消息之前执行所述功能。
9.如权利要求1所述的方法，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。
10.如权利要求1所述的方法，其中所述识别所述用户所写可选项目包括：
光学地记录笔计算机的尖的位置；以及
执行对所述位置的图像识别以识别所述用户所写可选项目。
11.如权利要求1所述的方法，其中所述可听见地再现所述第一指令消息由笔计算机的音频输出设备来执行。
12.一种用于自动执行功能的方法，所述方法包括：
将一功能与用户所写可选项目关联；
识别一表面上的所述用户所写可选项目；以及
响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互。
13.如权利要求12所述的方法，进一步包括：可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。
14.如权利要求13所述的方法，其中所述可听见地再现所述指令消息响应于预定时间段的流逝而执行，而无需用户与所述表面的交互。
15.如权利要求12所述的方法，进一步包括：响应于用户与所述用户所写可选项目的交互，再执行所述功能。
16.如权利要求12所述的方法，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。
17.如权利要求12所述的方法，其中所述立即执行所述功能而不首先需要用户和所述表面之间的进一步交互包括立即执行所述功能而不首先需要所述用户在所述表面上的辅助书写。
18.一种计算机可用介质，具有在其中实施的计算机可读程序代码，用于使计算机系统执行用于可听见地指示用户与一功能交互的方法，所述方法包括：
将一功能与用户所写可选项目关联；
识别一表面上的所述用户所写可选项目；以及
响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互。
19.如权利要求18所述的计算机可用介质，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素。
20.如权利要求19所述的计算机可用介质，其中所述方法进一步包括：
确定自从所述可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹；以及
如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复所述第一指令消息。
21.如权利要求19所述的计算机可用介质，其中所述方法进一步包括：
确定所述用户接口元素是否已在所述表面上适当地画出；以及
如果所述用户接口元素尚未在所述表面上适当地画出，则可听见地再现第二指令消息，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示。
22.如权利要求21所述的计算机可用介质，其中所述方法进一步包括：如果所述用户接口元素已经适当地画出，则可听见地再现第三指令消息。
23.如权利要求21所述的计算机可用介质，其中所述方法进一步包括：如果所述用户接口元素已经适当地画出，则执行所述功能。
24.如权利要求18所述的计算机可用介质，其中所述方法进一步包括：响应于用户与所述用户所写可选项目的交互，重复所述第一指令消息。
25.如权利要求18所述的计算机可用介质，其中所述方法进一步包括：在可听见地再现所述第一指令消息之前执行所述功能。
26.如权利要求18所述的计算机可用介质，其中对所述用户所写可选项目的所述识别响应于检测到指示所述用户所写可选项目完成的终止时间而执行。
27.如权利要求18所述的方法，其中所述识别所述用户所写可选项目包括：
光学地记录笔计算机的尖的位置；以及
执行对所述位置的图像识别以识别所述用户所写可选项目。
28.如权利要求18所述的计算机可用介质，其中所述可听见地再现所述第一指令消息由笔计算机的音频输出设备来执行。
29.一种计算机可用介质，具有在其中实施的计算机可读程序代码，用于使计算机系统执行用于自动执行一功能的方法，所述方法包括：
将一功能与用户所写可选项目关联；
识别一表面上的所述用户所写可选项目；以及
响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互。
30.如权利要求29所述的计算机可用介质，其中所述方法进一步包括：可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。
31.如权利要求30所述的计算机可用介质，其中所述可听见地再现所述指令消息响应于预定时间段的流逝来执行，而无需用户与所述表面的交互。
32.如权利要求29所述的计算机可用介质，其中所述方法进一步包括：响应于用户与所述用户所写可选项目的交互，执行所述功能。
33.如权利要求29所述的计算机可用介质，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。
34.如权利要求29所述的计算机可用介质，其中所述立即执行所述功能而不首先需要用户和所述表面之间的进一步交互包括立即执行所述功能而不首先需要所述用户在所述表面上的辅助书写。
35.一种交互式设备，包括：
总线；
耦合到所述总线的音频输出设备；
书写元件，用于允许用户在可写表面上书写；
耦合到所述总线的光学检测器，用于检测所述书写元件相对于所述可写表面的位置；
耦合到所述总线的处理器；以及
耦合到所述总线的存储器单元，所述存储器存储指令，当被执行时，所述指令使所述处理器实施用于可听见地指示用户与一功能交互的方法，所述方法包括：
将一功能与用户所写可选项目关联；
识别所述可写表面上的所述用户所写可选项目；以及
响应于所述识别所述用户所写可选项目，可听见地再现与所述功能的操作相关的第一指令消息而不需要来自所述用户的进一步交互。
36.如权利要求35所述的交互式设备，其中所述第一指令消息引导所述用户来画出使所述用户能与所述功能对接的至少一个用户接口元素。
37.如权利要求36所述的交互式设备，其中所述方法进一步包括：
确定自从所述可听见地再现所述第一指令消息，是否已在预定时间段内在所述表面上画出笔迹；以及
如果在所述预定时间段内在所述表面上尚未画出笔迹，则重复所述第一指令消息。
38.如权利要求36所述的交互式设备，其中所述方法进一步包括：
确定所述用户接口元素是否已在所述表面上适当地画出；以及
如果所述用户接口元素尚未在表面上适当地画出，则可听见地再现第二指令消息，所述第二指令消息包括有关所述用户应以哪种方式适当地画出所述用户接口元素的提示。
39.如权利要求38所述的交互式设备，其中所述方法进一步包括：如果所述用户接口元素已经适当地画出，则可听见地再现第三指令消息。
40.如权利要求38所述的交互式设备，其中所述方法进一步包括：如果所述用户接口元素已经适当地画出，则执行所述功能。
41.如权利要求35所述的交互式设备，其中所述方法进一步包括：响应于用户与所述用户所写可选项目的交互，重复所述第一指令消息。
42.如权利要求35所述的交互式设备，其中所述方法进一步包括：在可听见地再现所述第一指令消息之前执行所述功能。
43.如权利要求35所述的交互式设备，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。
44.如权利要求35所述的交互式设备，其中所述识别所述用户所写可选项目包括：
使用所述光学检测器光学地记录所述交互式设备的尖在所述可写表面上的位置；以及
执行对所述位置的图像识别以识别所述用户所写可选项目。
45.如权利要求35所述的交互式设备，其中所述可听见地再现所述第一指令消息由所述音频输出设备来执行。
46.一种交互式设备，包括：
总线；
耦合到所述总线的音频输出设备；
书写元件，用于允许用户在可写表面上创建用户所写可选项目；
耦合到所述总线的光学检测器，用于检测所述可写表面上的信息；
耦合到所述总线的处理器；以及
耦合到所述总线的存储器单元，所述存储器存储指令，当被执行时，所述指令使所述处理器实施用于自动执行功能的方法，所述方法包括：
将一功能与用户所写可选项目关联；
识别一表面上的所述用户所写可选项目；以及
响应于所述识别所述用户所写可选项目，立即执行所述功能而不首先需要用户和所述表面之间的进一步交互。
47.如权利要求46所述的交互式设备，其中所述方法进一步包括：可听见地再现与所述功能的操作相关的指令消息而不首先需要所述用户和所述表面之间的进一步交互。
48.如权利要求47所述的交互式设备，其中所述可听见地再现所述指令消息响应于预定时间段的流逝来执行，而无需用户与所述表面的交互。
49.如权利要求46所述的交互式设备，其中所述方法进一步包括：响应于用户与所述用户所写可选项目的交互，执行所述功能。
50.如权利要求46所述的交互式设备，其中所述识别所述用户所写可选项目响应于检测到指示所述用户所写可选项目完成的终止事件而执行。
51.如权利要求46所述的交互式设备，其中所述立即执行所述功能而不首先需要用户和所述表面至今的进一步交互包括立即执行所述功能而不首先需要所述用户在所述表面上的辅助书写。
CNB2006100582169A 2005-11-01 2006-02-24 交互式设备和方法 Expired - Fee Related CN100390720C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/264,955 2005-11-01
US11/264,955 US7853193B2 (en) 2004-03-17 2005-11-01 Method and device for audibly instructing a user to interact with a function

Publications (2)

Publication Number Publication Date
CN1808361A true CN1808361A (zh) 2006-07-26
CN100390720C CN100390720C (zh) 2008-05-28

Family

ID=36840284

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100582169A Expired - Fee Related CN100390720C (zh) 2005-11-01 2006-02-24 交互式设备和方法

Country Status (5)

Country Link
US (2) US7853193B2 (zh)
EP (1) EP1780627A1 (zh)
JP (1) JP2007128481A (zh)
KR (1) KR20070047195A (zh)
CN (1) CN100390720C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129289A (zh) * 2010-01-19 2011-07-20 阿瓦雅公司 基于印迹部分识别的事件产生
CN104254815A (zh) * 2012-02-29 2014-12-31 高通股份有限公司 书写内容的空间上相关的注释的显示
CN104820578A (zh) * 2015-04-10 2015-08-05 苏州尚德智产通信技术有限公司 一种计算机外设装置及驱动方法
CN108664156A (zh) * 2008-07-01 2018-10-16 Idhl控股公司 3d定位器映射

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7793233B1 (en) * 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US7853193B2 (en) 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US8316068B2 (en) * 2004-06-04 2012-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Memory compression
US7357333B2 (en) * 2005-05-10 2008-04-15 International Business Machines Corporation Mechanism for storing authenticity information about a written or printed document
US7350716B2 (en) * 2005-05-10 2008-04-01 International Business Machines Corporation Mechanism for ensuring authenticity of written and printed documents
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
WO2008024777A2 (en) 2006-08-22 2008-02-28 Eye Ear It, Llc. Systems and apparatus for expressing multimedia presentations corresponding to print media
US8714441B2 (en) 2006-08-22 2014-05-06 Eye Ear It, Llc Systems and apparatus for expressing multimedia presentations corresponding to print media
US20080192234A1 (en) * 2007-02-08 2008-08-14 Silverbrook Research Pty Ltd Method of sensing motion of a sensing device relative to a surface
US8737908B1 (en) * 2007-03-30 2014-05-27 University Of South Florida Interactive book and spatial accountability method
JP5451599B2 (ja) * 2007-05-29 2014-03-26 ライブスクライブ インコーポレイテッド マルチモーダルスマートペンのコンピューティングシステム
US8416218B2 (en) * 2007-05-29 2013-04-09 Livescribe, Inc. Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
WO2008150916A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US8638319B2 (en) * 2007-05-29 2014-01-28 Livescribe Inc. Customer authoring tools for creating user-generated content for smart pen applications
US8254605B2 (en) * 2007-05-29 2012-08-28 Livescribe, Inc. Binaural recording for smart pen computing systems
US8265382B2 (en) * 2007-05-29 2012-09-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
WO2008150887A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Self-addressing paper
WO2008150924A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Animation of audio ink
WO2008150912A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
US8477095B2 (en) * 2007-10-05 2013-07-02 Leapfrog Enterprises, Inc. Audio book for pen-based computer
KR101447752B1 (ko) * 2008-03-25 2014-10-06 삼성전자주식회사 터치스크린에서 화면 분할과 화면 표시장치 및 방법
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US7810730B2 (en) * 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
US20110041052A1 (en) * 2009-07-14 2011-02-17 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
US9383834B2 (en) 2012-12-26 2016-07-05 Xerox Corporation System and method for creating and modifying physically transient handwritten digital documents
US9478146B2 (en) 2013-03-04 2016-10-25 Xerox Corporation Method and system for capturing reading assessment data
KR102183448B1 (ko) * 2013-04-26 2020-11-26 삼성전자주식회사 사용자 단말 장치 및 그 디스플레이 방법
CN104135587B (zh) 2013-04-30 2017-06-09 京瓷办公信息系统株式会社 电子设备和印刷预览方法
WO2015108365A1 (ko) * 2014-01-17 2015-07-23 주식회사 쏠리드에듀 전자칠판 시스템 및 그의 제어 방법
KR101770288B1 (ko) * 2014-01-17 2017-08-22 주식회사 쏠리드에듀 전자칠판 시스템 및 그의 제어 방법
US9827809B2 (en) 2014-05-21 2017-11-28 Lauren Michelle Neubauer Digital pen with enhanced educational feedback
CN104820579B (zh) * 2015-04-10 2019-01-22 苏州尚德智产通信技术有限公司 一种包含移动终端和外设装置的传感系统及传感方法
US20180095653A1 (en) * 2015-08-14 2018-04-05 Martin Hasek Device, method and graphical user interface for handwritten interaction
US20180061276A1 (en) * 2016-08-31 2018-03-01 Intel Corporation Methods, apparatuses, and systems to recognize and audibilize objects
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
JP7163679B2 (ja) 2018-09-07 2022-11-01 マックス株式会社 結束機
US11044282B1 (en) 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing

Family Cites Families (278)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
US2182334A (en) 1939-02-18 1939-12-05 Crespo Joseph Panoramic device
US2932907A (en) 1956-01-16 1960-04-19 Joseph A Stieber Map projections demonstrator
US3304612A (en) 1963-12-23 1967-02-21 Union Oil Co Method and apparatus for converting cartograph coordinates to permanent digital form
US3292489A (en) 1964-07-09 1966-12-20 Ibm Hierarchical search system
US3466391A (en) 1966-09-07 1969-09-09 Marconi Co Ltd Electrical position resolver employing capacitive probe coupled to resistive layer containing two pairs of conductive strips energized by four different frequency signals
US3591718A (en) 1968-04-18 1971-07-06 Shintron Co Inc Graphical input tablet
US3782734A (en) 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
US3798370A (en) 1972-04-17 1974-03-19 Elographics Inc Electrographic sensor for determining planar coordinates
US3921165A (en) 1973-03-21 1975-11-18 Ibm High resolution graphic data tablet
US3888311A (en) 1973-10-01 1975-06-10 Exxon Production Research Co Hydraulic fracturing method
US3911215A (en) 1974-03-18 1975-10-07 Elographics Inc Discriminating contact sensor
US4079194A (en) 1976-08-09 1978-03-14 Victor Kley Graphical data entry pad
US4220815B1 (en) 1978-12-04 1996-09-03 Elographics Inc Nonplanar transparent electrographic sensor
NL7904469A (nl) 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
JPS585611A (ja) 1981-07-01 1983-01-13 Toyota Motor Corp 走行案内装置
US4425099A (en) 1981-10-13 1984-01-10 Texas Instruments Incorporated Educational aid for use with workbook
US4604065A (en) 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4492819A (en) 1982-12-30 1985-01-08 Kurta Corporation Graphic tablet and method
US4570149A (en) 1983-03-15 1986-02-11 Koala Technologies Corporation Simplified touch tablet data device
US4603231A (en) 1983-03-31 1986-07-29 Interand Corporation System for sensing spatial coordinates
JPS60157700A (ja) 1984-01-27 1985-08-17 日立造船株式会社 船舶衡突予防援助装置
US4650926A (en) 1984-10-26 1987-03-17 Scriptel Corporation Electrographic system and method
US4627819A (en) 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
GB2202664B (en) 1985-10-22 1990-08-15 Garry Douglas Robb Automated service systems
US4739299A (en) 1986-01-17 1988-04-19 Interlink Electronics, Inc. Digitizer pad
US5057024A (en) 1986-08-01 1991-10-15 Sprott Glenn C Computerized globe/almanac system
US4748318A (en) 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US5194852A (en) 1986-12-01 1993-03-16 More Edward S Electro-optic slate for direct entry and display and/or storage of hand-entered textual and graphic information
US4839634A (en) 1986-12-01 1989-06-13 More Edward S Electro-optic slate for input/output of hand-entered textual and graphic information
US4787040A (en) 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
JP2658039B2 (ja) 1987-03-20 1997-09-30 キヤノン株式会社 情報処理装置
GB2207027B (en) 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US5030117A (en) 1987-09-25 1991-07-09 Delorme David M Digital global map generating system
US5113178A (en) 1988-01-29 1992-05-12 Aisin Seiki K.K. Position display apparatus
US4853498A (en) 1988-06-13 1989-08-01 Tektronix, Inc. Position measurement apparatus for capacitive touch panel system
US4924387A (en) 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US4913463A (en) 1988-10-27 1990-04-03 Texas Instruments Incorporated Hinged case providing sectional cover with anti-pinch interleaving through
US5007085A (en) 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US4853499A (en) 1988-12-12 1989-08-01 Calcomp Inc. Ground switching technique for silkscreened digitizer grids
US5484292A (en) 1989-08-21 1996-01-16 Mctaggart; Stephen I. Apparatus for combining audio and visual indicia
US5167508A (en) 1989-08-21 1992-12-01 Mc Taggart Stephen I Electronic book
US5184003A (en) 1989-12-04 1993-02-02 National Computer Systems, Inc. Scannable form having a control mark column with encoded data marks
US5128525A (en) 1990-07-31 1992-07-07 Xerox Corporation Convolution filtering for decoding self-clocking glyph shape codes
CA2044404C (en) 1990-07-31 1998-06-23 Dan S. Bloomberg Self-clocking glyph shape codes
US5168147A (en) 1990-07-31 1992-12-01 Xerox Corporation Binary image processing for decoding self-clocking glyph shape codes
JPH04121923A (ja) 1990-09-12 1992-04-22 Sony Corp 電子機器のスイッチ構造
US5053585A (en) 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US5149919A (en) 1990-10-31 1992-09-22 International Business Machines Corporation Stylus sensing system
US5117071A (en) 1990-10-31 1992-05-26 International Business Machines Corporation Stylus sensing system
US5301243A (en) 1990-12-21 1994-04-05 Francis Olschafskie Hand-held character-oriented scanner with external view area
US5574804A (en) 1990-12-21 1996-11-12 Olschafskie; Francis Hand-held scanner
GB9103768D0 (en) 1991-02-22 1991-04-10 King Reginald A Educational apparatus
JPH04274510A (ja) 1991-02-28 1992-09-30 Casio Comput Co Ltd データ入力処理装置
US5220649A (en) 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5220136A (en) 1991-11-26 1993-06-15 Elographics, Inc. Contact touchscreen with an improved insulated spacer arrangement
JPH05334470A (ja) 1991-12-27 1993-12-17 Xerox Corp 自己クロッキング図形記号コード
US5221833A (en) 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5314336A (en) 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
US5788508A (en) 1992-02-11 1998-08-04 John R. Lee Interactive computer aided natural learning method and apparatus
JPH05265633A (ja) 1992-03-18 1993-10-15 Gunze Ltd タッチパネル
US5217376A (en) 1992-03-20 1993-06-08 Marcel Gosselin Drawing aid
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5438430A (en) 1992-09-25 1995-08-01 Xerox Corporation Paper user interface for image manipulations such as cut and paste
US5739814A (en) 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
ATE235720T1 (de) 1992-09-28 2003-04-15 Olympus Optical Co System zur informationswiedergabe für optische punktcode-ablesung von einem aufzeichnungsmedium
US5401916A (en) 1992-09-29 1995-03-28 Ncr Corporation Method and apparatus for capturing handwritten information and providing visual feedback
US5217378A (en) 1992-09-30 1993-06-08 Donovan Karen R Painting kit for the visually impaired
US5428805A (en) * 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
JPH06266490A (ja) 1993-03-12 1994-09-22 Toshiba Corp 情報入力装置および情報入力における位置認識システム
US5510606A (en) 1993-03-16 1996-04-23 Worthington; Hall V. Data collection system including a portable data collection terminal with voice prompts
DE69423296T2 (de) 1993-11-30 2000-11-30 Hewlett Packard Co Anordnung zur Dateneingabe
US5835726A (en) 1993-12-15 1998-11-10 Check Point Software Technologies Ltd. System for securing the flow of and selectively modifying packets in a computer network
JP3546337B2 (ja) 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5604517A (en) 1994-01-14 1997-02-18 Binney & Smith Inc. Electronic drawing device
US5561446A (en) 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
US5480306A (en) 1994-03-16 1996-01-02 Liu; Chih-Yuan Language learning apparatus and method utilizing optical code as input medium
US5574519A (en) 1994-05-03 1996-11-12 Eastman Kodak Company Talking photoalbum
JP2939119B2 (ja) 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5649023A (en) 1994-05-24 1997-07-15 Panasonic Technologies, Inc. Method and apparatus for indexing a plurality of handwritten objects
US6008799A (en) 1994-05-24 1999-12-28 Microsoft Corporation Method and system for entering data using an improved on-screen keyboard
US6164534A (en) 1996-04-04 2000-12-26 Rathus; Spencer A. Method and apparatus for accessing electronic data via a familiar printed medium
US5932863A (en) 1994-05-25 1999-08-03 Rathus; Spencer A. Method and apparatus for accessing electric data via a familiar printed medium
US5624265A (en) 1994-07-01 1997-04-29 Tv Interactive Data Corporation Printed publication remote contol for accessing interactive media
US5652412A (en) 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
EP0693739A3 (en) 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
US5974558A (en) 1994-09-02 1999-10-26 Packard Bell Nec Resume on pen contact
US6262719B1 (en) 1994-09-02 2001-07-17 Packard Bell Nec, Inc. Mouse emulation with a passive pen
NO954684L (no) 1994-11-21 1996-05-22 Compaq Computer Corp Apparat og fremgangsmåte for interaktiv lek med en datamaskin
US6018656A (en) 1994-12-30 2000-01-25 Sony Corporation Programmable cellular telephone and system
US5760773A (en) 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5636995A (en) 1995-01-17 1997-06-10 Stephen A. Schwartz Interactive story book and graphics tablet apparatus and methods for operating the same
FI99071C (fi) 1995-02-15 1997-09-25 Nokia Mobile Phones Ltd Menetelmä sovellusten käyttämiseksi matkaviestimessä ja matkaviestin
US5801702A (en) 1995-03-09 1998-09-01 Terrabyte Technology System and method for adding network links in a displayed hierarchy
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
JPH08335134A (ja) 1995-06-07 1996-12-17 Canon Inc 情報処理装置
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
JP3111024B2 (ja) 1995-07-19 2000-11-20 キヤノン株式会社 カラーフィルタの製造装置及び製造方法及び表示装置の製造方法及び表示装置を備えた装置の製造方法
DE69637146T2 (de) 1995-08-03 2008-02-28 Interval Research Corp., Palo Alto Rechner-interaktorsystem und verfahren zu seiner bereitstellung
US7498509B2 (en) 1995-09-28 2009-03-03 Fiberspar Corporation Composite coiled tubing end connector
US5635726A (en) 1995-10-19 1997-06-03 Lucid Technologies Inc. Electro-optical sensor for marks on a sheet
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5697793A (en) 1995-12-14 1997-12-16 Motorola, Inc. Electronic book and method of displaying at least one reading metric therefor
US5694102A (en) 1995-12-21 1997-12-02 Xerox Corporation Vector reconstruction of asynchronously captured tiled embedded data blocks
US6000621A (en) 1995-12-21 1999-12-14 Xerox Corporation Tilings of mono-code and dual-code embedded data pattern strips for robust asynchronous capture
US5821508A (en) * 1995-12-29 1998-10-13 Votation, Llc Audio ballot system
TW394879B (en) 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US5877458A (en) 1996-02-15 1999-03-02 Kke/Explore Acquisition Corp. Surface position location system and method
US5686705A (en) 1996-02-15 1997-11-11 Explore Technologies, Inc. Surface position location system and method
US5757361A (en) 1996-03-20 1998-05-26 International Business Machines Corporation Method and apparatus in computer systems to selectively map tablet input devices using a virtual boundary
JP3193628B2 (ja) 1996-03-28 2001-07-30 オリンパス光学工業株式会社 コード印刷装置
JP3061765B2 (ja) 1996-05-23 2000-07-10 ゼロックス コーポレイション コンピュータベースの文書処理方法
JP3378900B2 (ja) 1996-06-25 2003-02-17 富士通株式会社 オブジェクト編集方法，オブジェクト編集システム及び記録媒体
US5847698A (en) 1996-09-17 1998-12-08 Dataventures, Inc. Electronic book device
US5973420A (en) 1996-10-03 1999-10-26 Colortronics Technologies L.L.C. Electrical system having a clear conductive composition
US5790114A (en) 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US6130666A (en) 1996-10-07 2000-10-10 Persidsky; Andre Self-contained pen computer with built-in display
US5889506A (en) 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
EP1012694A4 (en) 1996-11-08 2005-04-06 Neomedia Tech Inc AUTOMATIC ACCESS TO ELECTRONIC INFORMATION USING MACHINE-READABLE CODES PRINTED ON DOCUMENTS
WO1998021665A1 (es) 1996-11-12 1998-05-22 Carlos Landetta Chombo Libro electronico
US6088023A (en) 1996-12-10 2000-07-11 Willow Design, Inc. Integrated pointing and drawing graphics system for computers
US5937110A (en) 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
US6215901B1 (en) 1997-03-07 2001-04-10 Mark H. Schwartz Pen based computer handwriting instruction
KR100224618B1 (ko) 1997-03-27 1999-10-15 윤종용 다목적 학습기의 페이지 전환 방법
EP0983661A1 (en) 1997-05-09 2000-03-08 Neomedia Technologies, Inc Method and system for accessing electronic resources via machine-readable data on intelligent documents
US6104387A (en) 1997-05-14 2000-08-15 Virtual Ink Corporation Transcription system
KR100208019B1 (ko) 1997-07-16 1999-07-15 윤종용 다목적학습기
US5844483A (en) 1997-07-17 1998-12-01 Boley; Jeffrey V. Golf equipment inventory device
JP3475048B2 (ja) 1997-07-18 2003-12-08 シャープ株式会社 手書き入力装置
US6431439B1 (en) 1997-07-24 2002-08-13 Personal Solutions Corporation System and method for the electronic storage and transmission of financial transactions
US6201903B1 (en) 1997-09-30 2001-03-13 Ricoh Company, Ltd. Method and apparatus for pen-based faxing
US6518950B1 (en) 1997-10-07 2003-02-11 Interval Research Corporation Methods and systems for providing human/computer interfaces
WO1999019823A2 (en) 1997-10-10 1999-04-22 Interval Research Corporation Methods and systems for providing human/computer interfaces
US6215476B1 (en) 1997-10-10 2001-04-10 Apple Computer, Inc. Flat panel display with integrated electromagnetic pen digitizer
JPH11122401A (ja) 1997-10-17 1999-04-30 Noritsu Koki Co Ltd 音声コード付き写真作成装置
CN1142471C (zh) * 1997-11-21 2004-03-17 资通电脑股份有限公司 以手写文字符号辩认执行操作捷径的方法和装置
US20030173405A1 (en) 2000-01-12 2003-09-18 Metrologic Instruments, Inc. Bar code symbol driven systems for accessing information resources on the internet
US5992817A (en) 1998-02-04 1999-11-30 Klitsner Industrial Design, Llc Keyboard interface device
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6144371A (en) 1998-03-18 2000-11-07 International Business Machines Corporation Thinkscribe combined electronic and paper based scheduling
US6665490B2 (en) 1998-04-01 2003-12-16 Xerox Corporation Obtaining and using data associating annotating activities with portions of recordings
AU3987299A (en) 1998-05-12 1999-11-29 E-Ink Corporation Microencapsulated electrophoretic electrostatically-addressed media for drawing device applications
JP4144935B2 (ja) 1998-06-08 2008-09-03 ノーリツ鋼機株式会社 音声付き写真を作成するための受付方法、及び受付装置
US6089943A (en) 1998-10-30 2000-07-18 Tai Sun Plastic Novelties Ltd. Toy
US6392632B1 (en) 1998-12-08 2002-05-21 Windbond Electronics, Corp. Optical mouse having an integrated camera
US5997309A (en) 1998-12-31 1999-12-07 Metheny; Jeff Erasable drawing board
JP2000206631A (ja) 1999-01-18 2000-07-28 Olympus Optical Co Ltd 撮影装置
US6529920B1 (en) 1999-03-05 2003-03-04 Audiovelocity, Inc. Multimedia linking device and method
US20020000468A1 (en) 1999-04-19 2002-01-03 Pradeep K. Bansal System and method for scanning & storing universal resource locator codes
US6832717B1 (en) 1999-05-25 2004-12-21 Silverbrook Research Pty Ltd Computer system interface surface
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7721948B1 (en) 1999-05-25 2010-05-25 Silverbrook Research Pty Ltd Method and system for online payments
US7170499B1 (en) 1999-05-25 2007-01-30 Silverbrook Research Pty Ltd Handwritten text capture via interface surface
US7099019B2 (en) 1999-05-25 2006-08-29 Silverbrook Research Pty Ltd Interface surface printer using invisible ink
AUPQ291299A0 (en) 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
US6502756B1 (en) 1999-05-28 2003-01-07 Anoto Ab Recording of information
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
WO2000073983A1 (en) 1999-05-28 2000-12-07 Anoto Ab Position determination
CN1359587A (zh) 1999-06-28 2002-07-17 阿诺托股份公司 信息记录方法
SE516561C2 (sv) 1999-06-28 2002-01-29 C Technologies Ab Läspenna för inläsning och behandling av text
US6304989B1 (en) 1999-07-21 2001-10-16 Credence Systems Corporation Built-in spare row and column replacement analysis system for embedded memories
MXPA02002247A (es) 1999-08-30 2002-09-30 Anoto Ab Bloc de notas.
SE0000939L (sv) 2000-02-18 2001-08-19 Anoto Ab Inenhetsarrangemang
US6183262B1 (en) 1999-09-10 2001-02-06 Shao-Chien Tseng Magnetic drawing board structure
SE517445C2 (sv) 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
US6564249B2 (en) 1999-10-13 2003-05-13 Dh Labs, Inc. Method and system for creating and sending handwritten or handdrawn messages
US6304898B1 (en) 1999-10-13 2001-10-16 Datahouse, Inc. Method and system for creating and sending graphical email
US6241528B1 (en) 1999-10-29 2001-06-05 Edwin C. Myers Reusable writing table
US7295193B2 (en) 1999-12-23 2007-11-13 Anoto Ab Written command
US20030046256A1 (en) 1999-12-23 2003-03-06 Ola Hugosson Distributed information management
SE9904744L (sv) * 1999-12-23 2001-06-24 Anoto Ab Styrning av anordning
US6724373B1 (en) 2000-01-05 2004-04-20 Brother International Corporation Electronic whiteboard hot zones for controlling local and remote personal computer functions
US6532314B1 (en) 2000-01-28 2003-03-11 Learning Resources, Inc. Talking toy scanner
US6885878B1 (en) 2000-02-16 2005-04-26 Telefonaktiebolaget L M Ericsson (Publ) Method and system for using an electronic reading device as a general application input and navigation interface
ATE265706T1 (de) 2000-02-16 2004-05-15 Ericsson Telefon Ab L M Verfahren und system zur konfiguration und zum deblockieren einer elektronischen vorrichtung
WO2001061625A2 (en) 2000-02-16 2001-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Electronic pen for e-commerce implementations
US6738053B1 (en) 2000-02-16 2004-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Predefined electronic pen applications in specially formatted paper
US6992655B2 (en) 2000-02-18 2006-01-31 Anoto Ab Input unit arrangement
KR100460105B1 (ko) 2000-02-22 2004-12-03 엘지전자 주식회사 이동통신 단말기의 메뉴 검색 방법.
SE518962C2 (sv) 2000-03-21 2002-12-10 Anoto Ab Produkt och metod för att koda data till ett matrisformat kodningsmönster
SE0000949L (sv) 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
SE517984C2 (sv) 2000-03-21 2002-08-13 Anoto Ab Arrangemang för inmatning av information
SE516109C2 (sv) 2000-03-21 2001-11-19 Anoto Ab Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster
FR2807267B1 (fr) 2000-03-28 2002-12-06 Schlumberger Systems & Service Reseau de radiotelephonie mobile etendu et publiphone pour la mise en oeuvre d'un tel reseau
US6442350B1 (en) 2000-04-04 2002-08-27 Eastman Kodak Company Camera with sound recording capability
SE516281C2 (sv) 2000-04-05 2001-12-10 Anoto Ab Produkt och förfarande för informationshantering, där en löstagbar skrivyta med absolutpositionskodningsmönster skrivs på och avläses
SE516310C2 (sv) 2000-04-05 2001-12-17 Anoto Ab Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
SE517875C2 (sv) 2000-04-05 2002-07-30 Anoto Ab Förfarande och arrangemang för att associera en värdehandling med en delmängd av ett positionskodningsmönster
US7094977B2 (en) 2000-04-05 2006-08-22 Anoto Ip Lic Handelsbolag Method and system for information association
US6668156B2 (en) 2000-04-27 2003-12-23 Leapfrog Enterprises, Inc. Print media receiving unit including platform and print media
US6661405B1 (en) 2000-04-27 2003-12-09 Leapfrog Enterprises, Inc. Electrographic position location apparatus and method
US6758674B2 (en) 2000-05-12 2004-07-06 John R. Lee Interactive, computer-aided handwriting method and apparatus with enhanced digitization tablet
US6956562B1 (en) 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
SE516567C2 (sv) 2000-06-07 2002-01-29 Anoto Ab Förfarande och anordning för säker trådlös överföring av information
US6304667B1 (en) 2000-06-21 2001-10-16 Carmen T. Reitano System and method for incorporating dyslexia detection in handwriting pattern recognition systems
US20020077902A1 (en) 2000-06-30 2002-06-20 Dwight Marcus Method and apparatus for verifying review and comprehension of information
US7289110B2 (en) 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
US20020023957A1 (en) 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6704699B2 (en) 2000-09-05 2004-03-09 Einat H. Nir Language acquisition aide
CA2435624C (en) 2000-09-22 2013-05-07 Richard B. Levine Systems and methods for preventing unauthorized use of digital content
US6647369B1 (en) 2000-10-20 2003-11-11 Silverbrook Research Pty Ltd. Reader to decode sound and play sound encoded in infra-red ink on photographs
JP4552308B2 (ja) 2000-10-24 2010-09-29 パナソニック株式会社 超音波座標入力装置およびインタラクティブボード
JP3871524B2 (ja) 2000-11-17 2007-01-24 富士通株式会社 座標入力装置
AU2002223285C1 (en) 2000-11-25 2005-03-24 Silverbrook Research Pty Ltd Interactive printer
US7193618B2 (en) 2000-12-01 2007-03-20 Hewlett-Packard Development Company, L.P. Electronic ink ball point pen with memory
US7069518B2 (en) 2000-12-21 2006-06-27 Xerox Corporation Indexing methods, systems, and computer program products for virtual three-dimensional books
US6798907B1 (en) 2001-01-24 2004-09-28 Advanced Digital Systems, Inc. System, computer software product and method for transmitting and processing handwritten data
US6802586B2 (en) 2001-02-27 2004-10-12 Hewlett-Packard Development Company, L.P. Method and apparatus for software updates
JP2002297308A (ja) 2001-03-30 2002-10-11 Brother Ind Ltd 入力装置
FR2823337B1 (fr) 2001-04-05 2004-10-15 Netseniors Procede de lecture, traitement, transmission et exploitation d'un code a barres
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7107533B2 (en) 2001-04-09 2006-09-12 International Business Machines Corporation Electronic book with multimode I/O
EP1410365A1 (en) 2001-05-11 2004-04-21 Shoot the Moon Products II, L.L.C. Interactive book reading system using rf scanning circuit
WO2002093467A1 (en) 2001-05-11 2002-11-21 Anoto Ab Electronic pen with actuation through removal of cap
US6954199B2 (en) 2001-06-18 2005-10-11 Leapfrog Enterprises, Inc. Three dimensional interactive system
US6641401B2 (en) 2001-06-20 2003-11-04 Leapfrog Enterprises, Inc. Interactive apparatus with templates
US7202861B2 (en) 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US20030001020A1 (en) 2001-06-27 2003-01-02 Kardach James P. Paper identification information to associate a printed application with an electronic application
US20030013483A1 (en) 2001-07-06 2003-01-16 Ausems Michiel R. User interface for handheld communication device
US20030024975A1 (en) 2001-07-18 2003-02-06 Rajasekharan Ajit V. System and method for authoring and providing information relevant to the physical world
WO2003014867A2 (en) 2001-08-03 2003-02-20 John Allen Ananian Personalized interactive digital catalog profiling
JP4261145B2 (ja) 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
US6584249B1 (en) 2001-10-17 2003-06-24 Oplink Communications, Inc. Miniature optical dispersion compensator with low insertion loss
US20030089777A1 (en) 2001-11-15 2003-05-15 Rajasekharan Ajit V. Method and system for authoring and playback of audio coincident with label detection
US20030095115A1 (en) 2001-11-22 2003-05-22 Taylor Brian Stylus input device utilizing a permanent magnet
EP1315085B1 (en) 2001-11-27 2006-01-11 Sun Microsystems, Inc. Automatic image-button creation process
TWI235926B (en) 2002-01-11 2005-07-11 Sonix Technology Co Ltd A method for producing indicators and processing system, coordinate positioning system and electronic book system utilizing the indicators
US20030134257A1 (en) 2002-01-15 2003-07-17 Ahmed Morsy Interactive learning apparatus
US7120385B2 (en) * 2002-02-06 2006-10-10 Leapfrog Enterprises, Inc. Write on interactive apparatus and method
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7116316B2 (en) * 2002-03-07 2006-10-03 Intel Corporation Audible and visual effects as a result of adaptive tablet scanning
WO2003100746A2 (en) 2002-05-24 2003-12-04 Smtm Technologies Llc Method and system for skills-based testing and training
WO2003102895A1 (en) 2002-05-30 2003-12-11 Mattel, Inc. Interactive multi-sensory reading system electronic teaching/learning device
US7402042B2 (en) 2002-05-30 2008-07-22 Mattel, Inc. Electronic learning device for an interactive multi-sensory reading system
US7062090B2 (en) 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
US6915103B2 (en) 2002-07-31 2005-07-05 Hewlett-Packard Development Company, L.P. System for enhancing books with special paper
US20040104890A1 (en) 2002-09-05 2004-06-03 Leapfrog Enterprises, Inc. Compact book and apparatus using print media
US7090020B2 (en) 2002-10-30 2006-08-15 Schlumberger Technology Corp. Multi-cycle dump valve
JP4244614B2 (ja) 2002-10-31 2009-03-25 株式会社日立製作所 手書き入力装置、プログラムおよび手書き入力方法システム
US20040125075A1 (en) 2002-12-31 2004-07-01 Diercks Richard A. DVD remote control with interchangeable, title-specific interactive panels
WO2004075015A2 (en) 2003-02-14 2004-09-02 Ctb/Mcgraw-Hill System and method for creating, assessing, modifying, and using a learning map
US20040229195A1 (en) 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US7080103B2 (en) 2003-05-08 2006-07-18 International Business Machines Corporation Personal information management system and method with audit functionality
US20040259067A1 (en) 2003-05-16 2004-12-23 Preston Cody Method and system for receiving responses utilizing digital pen and paper
EP1639441A1 (en) 2003-07-01 2006-03-29 Nokia Corporation Method and device for operating a user-input area on an electronic display device
US7456983B2 (en) 2003-07-02 2008-11-25 Hewlett-Packard Development Company, L.P. System and method for preventing comprehension of a printed document
US6985138B2 (en) 2003-08-29 2006-01-10 Motorola, Inc. Input writing device
US7555705B2 (en) 2003-09-10 2009-06-30 Microsoft Corporation Annotation management in a pen-based computing system
US20050060644A1 (en) 2003-09-15 2005-03-17 Patterson John Douglas Real time variable digital paper
US20050208458A1 (en) 2003-10-16 2005-09-22 Leapfrog Enterprises, Inc. Gaming apparatus including platform
US7848573B2 (en) 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US7111230B2 (en) 2003-12-22 2006-09-19 Pitney Bowes Inc. System and method for annotating documents
US7134606B2 (en) 2003-12-24 2006-11-14 Kt International, Inc. Identifier for use with digital paper
US7558744B2 (en) 2004-01-23 2009-07-07 Razumov Sergey N Multimedia terminal for product ordering
EP1569140A3 (en) 2004-01-30 2006-10-25 Hewlett-Packard Development Company, L.P. Apparatus, methods and software for associating electronic and physical documents
US20060125805A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US7453447B2 (en) 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US7853193B2 (en) 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US20060031755A1 (en) * 2004-06-24 2006-02-09 Avaya Technology Corp. Sharing inking during multi-modal communication
US9128653B2 (en) 2004-12-10 2015-09-08 Microsoft Technology Licensing, Llc Systems and methods for processing print jobs
US7639876B2 (en) 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060242562A1 (en) 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
JP4580293B2 (ja) 2005-06-30 2010-11-10 株式会社東芝 画像形成装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664156A (zh) * 2008-07-01 2018-10-16 Idhl控股公司 3d定位器映射
CN108664156B (zh) * 2008-07-01 2022-02-25 Idhl控股公司 3d定位器映射
CN102129289A (zh) * 2010-01-19 2011-07-20 阿瓦雅公司 基于印迹部分识别的事件产生
US8878791B2 (en) 2010-01-19 2014-11-04 Avaya Inc. Event generation based on print portion identification
CN102129289B (zh) * 2010-01-19 2014-11-19 阿瓦雅公司 基于印迹部分识别的事件产生
US9430092B2 (en) 2010-01-19 2016-08-30 Avaya Inc. Event generation based on print portion identification
CN104254815A (zh) * 2012-02-29 2014-12-31 高通股份有限公司 书写内容的空间上相关的注释的显示
CN104820578A (zh) * 2015-04-10 2015-08-05 苏州尚德智产通信技术有限公司 一种计算机外设装置及驱动方法

Also Published As

Publication number Publication date
EP1780627A1 (en) 2007-05-02
US20060080609A1 (en) 2006-04-13
CN100390720C (zh) 2008-05-28
JP2007128481A (ja) 2007-05-24
US7853193B2 (en) 2010-12-14
US20110313771A1 (en) 2011-12-22
KR20070047195A (ko) 2007-05-04

Similar Documents

Publication Publication Date Title
CN1808361A (zh) 交互式设备和方法
CN1862473A (zh) 在可写表面上提供具有交互式元素的用户接口
CN1862471A (zh) 用来把用户笔迹和用户可写单元相关联的方法和设备
CN1855013A (zh) 用于识别数据输入终止的系统和方法
CN1855014A (zh) 通过所识别文本和有界区域的设备用户接口
RU2669717C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации и лист, обеспечивающий ввод информации
CN1320506C (zh) 通用计算装置
US20080042970A1 (en) Associating a region on a surface with a sound or with another region
CN1862470A (zh) 计算机实施用户接口
US20070280627A1 (en) Recording and playback of voice messages associated with note paper
CN1855012A (zh) 用于写图形设备的用户接口
JP2009516261A (ja) 電子ペン装置における情報管理
CN1879143A (zh) 用户创建交互界面
CA2535505A1 (en) Computer system and method for audibly instructing a user

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080528

Termination date: 20110224