CN1855014A - 通过所识别文本和有界区域的设备用户接口 - Google Patents

通过所识别文本和有界区域的设备用户接口 Download PDF

Info

Publication number
CN1855014A
CN1855014A CNA2006100005621A CN200610000562A CN1855014A CN 1855014 A CN1855014 A CN 1855014A CN A2006100005621 A CNA2006100005621 A CN A2006100005621A CN 200610000562 A CN200610000562 A CN 200610000562A CN 1855014 A CN1855014 A CN 1855014A
Authority
CN
China
Prior art keywords
equipment
function
user
text string
bounded domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006100005621A
Other languages
English (en)
Inventor
詹姆斯·马格拉夫
亚历山大·奇泽姆
特拉西·L·埃奇库姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leapfrog Enterprises Inc
Knowledge Kids Enterprises Inc
Original Assignee
Knowledge Kids Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knowledge Kids Enterprises Inc filed Critical Knowledge Kids Enterprises Inc
Publication of CN1855014A publication Critical patent/CN1855014A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G21/00—Table-ware
    • A47G21/14—Knife racks or stands; Holders for table utensils attachable to plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G2400/00—Details not otherwise provided for in A47G19/00-A47G23/16
    • A47G2400/02—Hygiene
    • A47G2400/025—Avoiding contact with unclean surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)

Abstract

一种用于通过所识别文本和有界区域来实施用于笔设备的用户接口的方法和系统。所述方法包括识别文本串和基于该识别来访问与该文本串有关的功能或应用。根据所述功能提供输出并且功能与所述文本串关联。可替换地，对文本串的选择将文本串的识别结果自动应用到当前活动的应用。所述方法包括识别有界区域内的激励并且基于所述激励来自动访问与该有界区域有关的功能。有界区域内所识别的文本串根据所述文本串和有界区域产生输出。

Description

通过所识别文本和有界区域的设备用户接口
相关申请的交叉引用
本申请是如下共同未决、共同拥有的美国专利申请的部分继续申请：代理人备案No.020824-004610US，序列No.10/803,806，2004年3月17日提交，James Marggraff等，题为“Scanning Apparatus”，其全部内容通过引用结合在此。
本申请是如下共同未决、共同拥有的美国专利申请的部分继续申请：代理人备案No.020824-009500US，序列No.10/861,243，2004年6月3日提交，James Marggraff等，题为“User Created Interactive Interface”，其全部内容通过引用结合在此。
本申请与如下美国专利申请有关：“TERMINATION EVENTS”，Marggraff等，2005年1月12日提交，代理人备案No.LEAP-P0320，其全部内容通过引用结合在此。
本申请与如下美国专利申请有关：“PROVIDING A USERINTERFACE HAVING INTERACTIVE ELEMENTS ON A WRITABLESURFACE”，Marggraff等，2005年1月12日提交，代理人备案No.LEAP-P0324，其全部内容通过引用结合在此。
技术领域
在此描述的实施例涉及交互式设备、计算机、电子设备、器具、玩具等的控制和使用。本书面内容公开了一种用于通过所识别文本和有界区域来实施用于设备的用户接口。
背景技术
诸如光学读取器或光学笔的设备常规上将反射离开表面的光发射到检测器或成像器。在设备相对于表面移动(或反之亦然)时，相继的图像得以迅速捕获。通过分析所述图像，可对光学设备相对于表面的移动加以跟踪。
一种类型的光学笔与其上打印了很小的点的纸张一起使用。所述点以具有大约0.3毫米(0.01英寸)的额定间距的图案打印在页面上。页面上任何区内的点的图案对于该区是唯一的。光学笔实质上获取表面的快照，可能每秒100次或更多。通过解释每个快照中所捕获的点位置，光学笔可精确地确定其相对于页面的位置。
已经或正在设计利用有关光学笔相对于表面的位置的信息的应用。具有蓝牙或其他无线能力的光学笔可链接到其他设备并用于发送电子邮件(e-mail)或传真。
嵌入式计算机系统增加的能力以及它们能够实施的功能的复杂度已经产生了对一种访问这种能力的较为直观且用户友好的方式。典型的现有技术光学笔将通过用户操作光学笔的一个或多个按钮/开关或控制以激活一个或多个软件程序、例程、嵌入式设备等来实施其预期功能性。所述笔可以包含计算机系统或与之通信。一旦激励了这样的控制，笔设备就执行其预期功能。通过在笔本身上提供的有限数量和配置的开关、按钮等或任何远距离耦合的计算机系统设备来访问日益强大的光学笔的能力并不是令人满意的安排。
一个现有技术解决方案使用光学笔来识别用户定义的命令，并且使用该命令来调用该笔的某种功能(例如PCT公布WO/01/48590A1)。例如用户的书写可以识别(例如实时地)和解释为用于光学笔的命令。该解决方案的缺陷在于，笔功能的交互和控制需要对用户手写的实时识别(例如在用户在纸张上写下命令时)。该解决方案不令人满意是因为与光学笔的较为复杂的功能性交互需要用户重复写下一个或多个命令来访问笔所提供的不同选择、选项或功能。尽管该解决方案对于极度简单、单步骤类型的应用(例如“关断”、“存储”等)可能是令人满意的，但是在需要较为复杂的、令人满意的、丰富的功能性的情况下，该解决方案过于麻烦和有限。
发明内容
因此，这样一种用户接口方法和系统将是有价值的，其使能与具有与之关联的计算机系统的笔设备的较复杂功能性的交互，并且使能对笔设备所提供的不同选择、选项和功能的较为有效的访问。进一步需要一种用户接口及其使用技术，用于允许用户与基于笔的计算机系统的操作系统交互。根据本发明的实施例提供了这些和其他优点。
在一个实施例中，本发明实施为一种用于通过所识别文本和有界区域来实施用于设备的用户接口的方法。所述方法包括识别文本串(例如词)并根据该识别来访问与该文本串有关的功能。输出根据所述功能来提供并且该功能与所述文本串关联。应理解，在一个实施例中，功能与文本串是持久关联的。因此，每次当文本串被笔设备选择时，功能被单独调用一次。在一个例子中，限定了围绕文本串的有界区。笔设备对有界区内的任何点的选择会指示文本串的选择。示例性的功能可以是例如：翻译功能，其中文本串(例如词)从一种语言(例如英语)翻译成不同的语言；词典功能，其中为词提供了定义；辞典功能等。
所述方法包括识别有界区域内的激励(例如用户书写)和基于所述激励自动访问与该有界区域有关的功能或应用程序。示例性的功能可以是例如计算器功能，其中在计算器有界区域内所输入文本被识别为数值字符，等等。以这种方式，有界区域内所识别的文本字符或文本串根据文本串并且也根据与该有界区域关联的功能的应用自动产生输出。这是无需用户另外选择应用程序来完成的，所述应用程序响应于用户在与该应用关联的有界区域内书写而自动变为被选择。
所述输出典型地是通过音频输出设备(例如耦合到设备的扬声器)提供的音频输出。功能与文本串和/或有界区域持久地关联，从而使能通过对文本串的随后激励(例如轻敲)对功能的随后访问(例如在某个以后的时间)。
广义地，本书面内容公开了一种用于通过所识别文本和有界区域来实施用于笔设备的用户接口的方法和系统。所述方法包括识别文本串和基于该识别来访问与该文本串有关的功能或应用。根据所述功能提供输出并且功能与所述文本串关联。可替换地，对文本串的选择将文本串的识别结果自动应用到当前活动的应用。所述方法包括识别有界区域内的激励并且基于所述激励来自动访问与该有界区域有关的功能。有界区域内所识别的文本串根据所述文本串和有界区域产生输出。
在阅读了以下在各个附图中示出的详述之后，本领域的技术人员将认识到本发明的这些和其他目的和优点。
附图说明
结合在本说明书中并形成其一部分的附图说明了本发明的实施例并且与以下描述一起用来说明本发明的原理：
图1是在其上可实施本发明实施例的设备的块图。
图2是在其上可实施本发明实施例的另一个设备的块图。
图3示出根据本发明一个实施例的带有标记图案的示例纸张。
图4示出根据本发明一个实施例的示例纸张上的标记图案的放大图。
图5示出根据本发明一个实施例的设备用户接口过程步骤的计算机控制流程图。
图6示出根据本发明一个实施例的分层的设备用户接口过程步骤的计算机控制流程图。
图7根据本发明一个实施例的菜单项目树目录。
图8A示出根据本发明一个实施例的菜单项目可听见提示过程。
图8B示出根据本发明一个实施例的菜单项目选择过程。
图8C示出根据本发明一个实施例的子菜单项目选择过程。
图9示出根据本发明一个实施例的表面上的多个不同类型的图形元素图标。
图10示出根据本发明一个实施例的有界区域用户接口过程的计算机实施步骤的流程图。
图11示出根据本发明一个实施例的计算器有界区域应用。
图12A示出根据本发明第一实施例的文本串识别用户接口过程的计算机实施步骤的流程图。
图12B示出根据本发明第二实施例的文本串识别用户接口过程的计算机实施步骤的流程图。
图13A示出根据本发明一个实施例的词典文本串识别应用的第一例子。
图13B示出根据本发明一个实施例的词典文本串识别应用的第二例子。
具体实施方式
现在将详细参考本发明的优选实施例，其例子在附图中说明。尽管将结合优选实施例来描述本发明，应理解它们并不是想要将本发明限制于这些实施例。相反，本发明旨在覆盖可包括在所附权利要求所限定的本发明的精神和范围内的替换、修改和等效物。此外，在以下对本发明实施例的详述中，提出众多特定细节是为了提供对本发明的全面理解。然而，本领域的技术人员将认识到，本发明可无需这些特定细节来实现。在其他实施例中，众所周知的方法、过程、部件和电路未曾详述是为了避免不必要的模糊本发明实施例的各个方面。
符号及术语
以下详述的一些部分是根据计算机存储器内的数位的运算的过程、步骤、逻辑块、处理和其他符号表示来提供的。这些描述和表示是数据处理领域内的技术人员用来将其工作的实质最有效地展示给本领域其他人员的方式。程序、计算机执行步骤、逻辑块、过程等在此一般设想为导致所需结果的步骤或指令的自洽(self-consistent)序列。所述步骤是需要物理量的物理操纵的步骤。通常，尽管不是必要的，这些量采用能够存储、传递、组合、比较或操纵于计算机系统内的电或磁信号。主要为了共同使用，将这些信号称为位、值、元素、符号、字符、术语、数字等有时是方便的。
然而，应当记住，所有这些和类似术语应当与适当的物理量关联并且仅仅适用于这些量的方便标记。除非专门陈述或者从以下讨论显而易见，应理解在整个本发明中，利用诸如“处理”、“计算”、“配置”、“生成”等术语的讨论指的是操纵寄存器和存储器内表示为物理(电子)量的数据和将其变换成类似表示为物理量的其他数据的微控制器、计算机系统或类似电子计算设备的动作和过程。
本发明的实施例
图1是可在其上实施本发明实施例的笔设备100的块图。通常，笔设备100可以称为光学设备，更具体地称为光学读取器、光学笔或数字笔。所述设备可包含计算机系统和驻留在其上的操作系统。应用程序亦可驻留在其上。
在图1的实施例中，笔设备100包括壳体62内的处理器32。在一个实施例中，壳体62具有笔或者其他书写或标记用具或工具的形式。处理器32可操作用于处理用来实施笔设备100的功能的信息和指令，如以下所述。
在本实施例中，笔设备100可包括耦合到处理器32的音频输出设备36和显示设备40。在其他实施例中，音频输出设备和/或显示设备在物理上与笔设备100分离，但通过有线或无线连接与笔设备100通信。对于无线通信，笔设备100可包括收发器或发送器(在图1中未示出)。音频输出设备36可包括扬声器或音频插孔(例如用于耳机或头戴受话器)。显示设备40可以是液晶显示器(LCD)或某种其他适合类型的显示器。
在图1的实施例中，笔设备100可包括耦合到处理器32的输入按钮38，用于激活和控制笔设备100。例如输入按钮38允许用户将信息和命令输入到笔设备100或者接通或关断笔设备100。笔设备100亦包括电源34，如电池。
笔设备100亦包括耦合到处理器32的光源或光学发射器44和光传感器或光学检测器42。光学发射器44可以是例如光发射二极管(LED)，而光学检测器42可以是例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)成像器阵列。光学发射器44照亮表面70或其部分。从表面70反射的光在光学检测器42处接收并由其记录。
表面70可以是纸张，尽管本发明并未如此限制。例如，表面70可包括LCD(液晶显示器)、CRT(阴极射线管)、触摸屏、包括电子墨的表面、可再配置纸或其他类型的电子活性表面(例如膝上型或平板PC的显示器)。
在一个实施例中，标记图案打印在表面70上。持有光学发射器44和光学检测器42的笔设备100的一端相对于或接近于表面70而放置。当笔设备100相对于表面70移动时，标记图案由光学发射器44和光学检测器42读取和记录。如以下更详细讨论的，在一个实施例中，表面70上的标记用来确定笔设备100相对于表面的位置(见图3和4)。在另一个实施例中，表面70上的标记用来编码信息(见图5和6)。所捕获的表面70的图像可由笔设备100来分析(处理)以解码所述标记并恢复所编码的信息。
有关用于编码信息的标记以及通过电子设备来读取/记录这种标记的附加描述可在转让给Anoto并且通过引用完整结合在此的以下专利和专利申请中找到：美国专利No.6,502,756，美国申请No.101179,966，提交于2002年6月26日，WO 01/95559，WO 01/71473，WO 01/75723，WO 01/26032，WO 01/75780，WO 01/01670，WO 01/75773，WO 01/71475，WO 1000/73983和WO 01116691。
图1的笔设备100还包括耦合到处理器32的存储器单元48。在一个实施例中，存储器单元48是实施为存储器盒或存储器卡的可移动存储器单元。在另一个实施例中，存储器单元48包括存储用于处理器的信息和指令的随机访问(易失性)存储器(RAM)和只读(非易失性)存储器(ROM)。
在图1的实施例中，笔设备100包括书写元件52，其位于笔设备100的与光学检测器42和光学发射器44相同的一端。书写元件52可以是例如钢笔、铅笔、记号笔等，并且可以是或者可以不是可缩回的。在某些应用中，不需要书写元件52。在其他应用中，用户可使用书写元件52在表面70上做标记(例如图形元素)，包括字符如字母、词、数字、数学符号等。这些标记可以根据其在表面70上的位置由笔设备100来扫描(成像)和解释。用户产生的标记的位置可使用打印在表面70上的标记图案来确定；参考以下对图3和4的讨论。在一个实施例中，用户产生的标记可使用识别手写字符的光学字符识别(OCR)技术由笔设备100来解释。
如以上所述，表面70可以是适合于在其上书写的任何表面，如例如纸张，尽管可以使用由除纸以外的材料构成的表面。而且，表面70可以是或可以不是平的。例如，表面70可以实施为球的表面。此外，表面70可以小于或大于常规(例如8.5×11英寸)纸页。
图2是可在其上实施本发明实施例的另一个设备200的块图。设备200包括在本文中先前所述的处理器32、电源34、音频输出设备36、输入按钮38、存储器单元48、光学检测器42、光学发射器44和书写元件52。然而，在图2的实施例中，光学检测器42、光学发射器44和书写元件52实施为壳体62中的光学设备201，而处理器32、电源34、音频输出设备36、输入按钮38和存储器单元48实施为壳体74中的平台202。在本实施例中，光学设备201通过线缆102耦合到平台202；然而，无线连接可替代使用。图2所示的元件可以以不同于以上所述的组合分布在光学设备201和平台202之间。
图3示出根据本发明一个实施例带有标记图案的纸张15。在图3的实施例中，纸张15带有以由标记18图案构成的光学可读位置码17形式的编码图案。为清楚起见，大大地放大了图3中的标记18。实际上，标记18可能不能由人的视觉系统容易地辨别，并且可在纸张15上作为灰度级出现。在一个实施例中，标记18实施为点；然而，本发明并不局限于此。
图4示出图3的位置码17的放大部分19。对诸如设备100和200(图1和2)的光学设备进行定位以记录位置码17的区的图像。在一个实施例中，光学设备将标记18配合于基准系统，该基准系统采取具有在栅格点22相交的栅格线21的栅格的形式。每个标记18与一栅格点22关联。例如，标记23与栅格点24关联。对于图像/栅格中的标记，确定标记距离与该标记关联的栅格点的位移。通过使用这些位移，将图像/栅格中的图案与基准系统中的图案进行比较。基准系统中的每个图案与表面70上的特定位置关联。这样，通过将图像/栅格中的图案与基准系统中的图案相匹配，可确定表面70上的图案位置，并因此可确定光学设备相对于表面70的位置。
有关用于编码信息的表面标记以及通过电子设备来读取/记录这种标记的附加描述可在转让给Anoto并且通过引用完整结合在此的以下专利和专利申请中找到：美国专利No.6,502,756，美国申请No.10/1179,966，提交于2002年6月26日，WO 01/95559，WO 01/71473，WO 01/75723，WO 01/26032，WO 01/75780，WO 01/01670，WO 01/75773，WO 01/71475，WO 1000/73983和WO 01/16691。
返回来参考图1，表面70上的四个位置或区由字母A、B、C和D(这些字符并不打印在表面70上，而是在此用于指示表面70上的位置)来指示。在表面70上可以有很多这样的区。表面70上的每个区与唯一的标记图案相关联。表面70上的区可重叠，因为即使一些标记在重叠区之间共享，一个区内的标记图案对于该区仍是唯一的。
在图1的例子中，通过使用笔设备100(具体地，通过使用书写元件52)，用户可在表面70上的位置A创建由例如带圈的字母“M”构成的字符(通常用户可在表面70上的任何位置创建字符)。用户可响应于来自笔设备100的提示(例如可听见的提示)来创建这样的字符。当用户创建字符时，笔设备100记录标记的图案，所述标记唯一地存在于创建字符的位置。笔设备100将所述标记图案与刚才创建的字符关联。当笔设备100随后定位在带圈的“M”上时，笔设备100识别与之关联的标记图案并且将该位置识别为与带圈“M”关联。实际上，笔设备100是通过使用字符所处的位置处的标记图案来识别该字符的，而不是通过识别字符本身。
在一个实施例中，以上所述的字符包括与笔设备100的一个或多个命令关联的“图形元素”。应指出，与包括命令的笔设备100实施的功能关联并且用于对其进行访问的这种图形元素在以下称为“图形元素图标”，以便区分于其它未与访问笔设备100的功能或应用关联的所写字符、标记等。在刚才所述的例子中，用户可创建(写出)标识特定命令的图形元素图标，并且可通过简单地将笔设备100定位于图形元素图标(例如所写字符)上来重复调用该命令。在一个实施例中，将书写工具定位于图形字符上。换句话说，用户不必在每次要由笔设备100调用命令时写出用于该命令的字符；相反，用户可写出用于命令的图形元素图标一次，并且使用同一所写图形元素图标来重复调用该命令。该属性称为“持久性”，并且在以下更详细地描述。对于不是用户写出而是预打印在表面上、然而可由笔设备100选择的图形元素图标也是这样。
在一个实施例中，图形元素图标可包括一字母或数字，有一条线限定该字母或数字。限定字母或数字的线可以是圆形、椭圆形、方形、多边形等。这样的图形元素看起来象是可由用户选择的“按钮”，而不是普通的字母和数字。通过创建这种图形元素图标，用户可将诸如功能图标的图形元素图标在视觉上区分于可被笔设备100当做数据的普通字母和数字。而且，通过创建这种图形元素图标，笔设备100亦能够较好地将功能或菜单项目类型的图形元素区分于非功能或非菜单项目类型的图形元素。例如，用户可以创建作为圆形所包围的字母“M”的图形元素图标来创建交互式“菜单”图形元素图标。
可将笔设备100编程为将其中有字母“M”的重叠圆形或方形识别为与词中的字母“M”区分的功能图形元素。图形元素图标亦可以包括在某个距离(例如1英寸、1.5英寸等)内与其相邻的小“复选标记”符号。复选标记将与图形元素图标关联。用于识别这种功能图形元素并将其与其它非功能图形元素区分的计算机代码可驻留在笔设备的存储器单元中。处理器可识别所述图形元素图标并且可辨识那些图形元素图标的位置以使笔设备100可执行与之关联的各种功能、操作等。在这些实施例中，存储器单元可包括用于将用户所产生的任何图形元素与其在表面上的位置相关的计算机代码。笔设备100识别“下触(down-touch)”或“下划”或者向下放在表面上(例如当用户开始书写时)，并且识别“上划”或从表面向上拾起(例如当用户完成书写时)。这样的下划和上划可由笔设备100解释为例如何时调用某些功能性以及调用什么样的特定功能/应用(例如触发OCR处理)的指示器。特别地，下划后迅速跟随上划(例如笔设备在表面上的轻敲)可与取决于应用的具体动作(例如选择图形元素图标、文本串等)关联。
应指出，通用术语“图形元素”可包括用户所创建的任何适合标记，并且可区分于涉及用于访问设备的一个或多个功能的功能图形元素的图形元素图标。
如以上所述，应指出图形元素图标可由笔设备100来创建(例如由用户画出)或可以是预先存在的(例如纸张上打印的元素)。示例的图形元素包括但不限于符号、标志如字母和/或数字、字符、词、形状、线等。它们在形状上可以是规则或不规则的。用户写出/创建的图形元素典型地使用笔设备100来创建。另外，对用户和笔设备100两者，图形元素图标通常但不总是结合围绕字符(例如字母“M”)的限定线(例如圆形)以给予它们增加的区分度。例如，在一个实施例中，完成字符周围的圆形之后的上划可具体向笔设备100指示用户刚刚创建了图形元素图标。
图5示出根据本发明一个实施例的计算机实施过程550的步骤的流程图。过程550描述了根据本发明一个实施例的由设备(例如笔设备100)在其解释图形元素、书写、标记等形式的用户输入并且将所请求的功能性提供给用户时所实施的用户接口过程的基本操作步骤。
过程550开始于步骤551，其中笔设备100的计算机实施的功能性识别所创建的图形元素图标(例如由用户创建)。可替换地，图形元素可以预先打印在表面上并且其位置对于笔设备100是已知的。在步骤551，如果用户第一次写出图形元素，则笔设备100使用光学传感器和处理器来对所述书写执行OCR(光学字符识别)以辨识用户所写的图形元素。在一个实施例中，然后亦记录其在表面上的唯一位置。在步骤552，一旦识别，则访问涉及该图形元素图标的功能。该功能可以是例如菜单功能，该菜单功能可以宣布(例如在听觉上再现)预定功能列表(例如菜单选择或子菜单选项)以便于随后由用户激活。在步骤553，提供根据所述功能的音频输出。该音频输出可以是例如对在选择的列表内用户处于什么样的特定选择的宣布。在步骤554，功能与图形元素图标持久关联，从而使能通过对图形元素图标的随后激励(例如用笔设备100轻敲)对功能的随后访问(例如在某个以后的时间)。例如，在菜单功能的情况下，所列的菜单选择可以通过简单地激励菜单图形元素图标(例如轻敲它)在某个以后的时间由用户随后访问。
应指出，除音频输出以外或取代音频输出，笔设备100的输出还可以是视觉输出(例如经由显示器、指示器灯等)。视觉输出和/或音频输出可以直接来自笔设备100，或者可来自在通信上耦合到笔设备100的另一个设备(例如个人计算机、扬声器、LCD显示器等)。
应理解，多个不同的图形元素可在表面上和任何时间存在，并且其选择可提供待由笔设备100执行的各种功能，例如调用应用、调用子菜单选项等。
以这种方式，本发明的实施例实施了一种用户接口装置，用于导航计算机系统、特别是例如包括笔设备100的基于笔的计算机系统的功能性。图形元素图标所实施的用户接口提供了与在笔设备100内执行的许多软件应用交互的方法。如以上所述，来自笔设备100的输出可包括音频输出，并因此，用户接口装置使用户能与笔设备100的应用和功能性进行“对话”。换句话说，用户接口使用户能创建相互识别的项目，如允许用户和笔设备100彼此交互的图形元素图标。如以上所述，相互识别的项目典型地是用户在典型为纸张的表面上画出的符号或标记或图标。
不同的图形元素图标具有不同的含义和不同的与用户交互的方式。通常，对于给定的图形元素图标，交互方式将调动笔设备的不同的计算机实施的功能性。为了说明的目的，在以上的菜单例子的情况下，菜单功能性允许用户重复经过涉及图形元素的功能的列表(例如，菜单图形元素图标上的轻敲的数目重复经过功能列表)。在完成轻敲时，来自笔设备的音频可宣布功能或模式。所宣布的功能/模式之一然后可由用户通过某种进一步的交互(例如画出或选择与所述图形元素图标关联的先前画出的复选标记图形元素)来选择。一旦选择，功能性和选项以及特定所选功能的进一步子菜单则可由用户来访问。可替换地，如果可听见地再现的子选项之一本身是菜单图形图标，则它可以通过用户在表面上画出其表示并且选择它来选择。
图6示出根据本发明一个实施例的过程650的计算机实施步骤的流程图。过程650描述了根据本发明一个实施例的用于访问(例如导航经过)交互式设备(例如笔设备100)的许多嵌套、分层功能的用户接口过程的基本操作步骤。过程650参照图8A、8B和8C来描述。
过程650开始于步骤651，其中笔设备100的计算机实施的功能性识别所创建的图形元素图标，在图8A中示为菜单图标“M”。类似于步骤551，图形元素图标可由用户写或预先打印在表面上。在一种情况下，图形元素图标可提供与其关联并且本身可提供另外选择的另外图形元素图标(例如分层设置)的选择列表。在步骤652并且如图8A所示，一旦识别，则访问与该图形元素图标有关的功能的第一分层菜单。在该例子中，一旦识别，在步骤651的菜单图标“M”使子选项(例如系统“S”、游戏“G”、参考“R”和工具“T”)可听见地再现(例如通过可听见的提示)，一次一个选项，如图8A所示。所述选项响应于笔设备(例如笔设备100)对步骤651的菜单图标的相继选择而再现。
在步骤653，并且如图8B中所示，所宣布的功能之一，在该例子中为参考图形元素图标“R”，通过对菜单图形元素图标的适当数量的激励(例如轻敲)和对关联复选标记870的激励来选择。在步骤654，所激活的功能可提示创建用于功能的第二分层菜单的第二图形元素图标。第二图形元素图标，在该例子中为参考图形“R”，然后可由用户在表面上画出。如图8C所示，其选择将使子菜单选项的第二列表以如上所述的方式(例如辞典“TH”、词典“D”和帮助“H”)可听见地再现(例如经由可听见的提示)。随后在步骤655，第二图形元素图标的所宣布的功能之一通过适当数量的激励来激活以选择第二分层层次功能之一。
以这种方式，一个菜单可以调用本身具有更进一步的子菜单的许多子菜单。这样，不同层次的图形元素图标可以分层设置。通常，表示功能菜单的顶层图形元素图标称为组图形元素图标。应用图形元素图标是第二层图形元素图标，其通常表示用于给定应用的配置选项或应用设置的菜单。例如，应用图形元素图标可以认为是组图形元素图标的特殊情况。通常，应用图形元素图标具有与之关联的专门化的应用相关的缺省行为。
以这种方式，用户然后可从菜单项目列表中选择菜单项目。菜单项目可包括目录名称、子目录名称、应用名称或特定数据集的名称。目录或子目录名称的例子包括但不限于“工具”(例如，用于在许多不同环境下适用的交互式有用功能)、“参考”(例如，用于诸如词典的参考材料)、“游戏”(例如，用于不同游戏)等。特定应用(或子目录)名称的例子包括“计算器”、“拼写检查器”以及“翻译器”。数据集的特定例子可包括外来词及其定义的集合、电话列表、日历、行事列表(to-do list)等。图7中示出菜单项目的附加例子。
可为各种菜单项目提供特定的音频指令。例如，在用户选择“计算器”菜单项目之后，笔设备可指示用户在纸张上画出数字0-9以及运算符±、-、×、/和＝，然后选择数字来执行数学计算。在另一个例子中，在用户选择“翻译器”菜单项目之后，笔设备指示用户写出第二语言的名称并将其圈起来。在用户这样做之后，笔设备可进一步指示用户写下英语词，然后选择所圈的第二语言以便听取转换成第二语言的所写词。在这样做之后，笔设备中的音频输出设备可以第二语言来朗读该词。
图7示出根据本发明一个实施例的菜单项目树目录，其包括每个选项的图形元素图标表示。所述菜单项目树目录可实施从菜单图形元素图标开始的音频菜单。从图7的顶部开始，第一音频子目录将是工具T子目录。在工具T子目录下，可以是翻译器TR子目录、计算器C子目录、拼写检查器SC子目录、个人助理PA子目录、闹钟AL子目录和导师TU功能。在翻译器TR子目录下，将有西班牙语SP、法语FR和德语GE翻译器功能。在个人助理PA子目录下，将有日历C、电话列表FL、和行事列表TD功能或子目录。在参考R子目录下，可存在辞典TH功能、词典D子目录和帮助H功能。在词典D子目录下，可存在英语E功能、西班牙语SP功能和法语FR功能。在游戏G子目录下，可存在游戏，如猜词WS、怪味马铃薯FP和涂鸦DO。在本发明的其它实施例中还可存在其它游戏。在系统S子目录下，可存在安全SE功能以及个性化P功能。
以下提供有关一些关于以上目录、子目录和功能的细节。如菜单项目树目录所示，用户可通过听取各种菜单项目的朗读并且然后选择所需的菜单项目来沿着任何所需路径前进或导航。对所需菜单项目的随后选择可以以任何合适的方式进行。例如，在一些实施例中，通过在所创建的图形元素上“下触”(例如下划)，用户可以使笔设备卷动经过音频菜单。通过使用任何合适的机制，笔设备中的电子设备可将“下触”识别为“激励”。例如，可将笔设备编程为识别与其向着所选图形元素的向下移动关联的图像变化。
在另一个例子中，笔设备中可提供压敏开关，使得当笔设备的末端施加压力于纸时，压力开关得以激活。由此通知笔设备卷动经过音频菜单。例如，在用笔设备选择了带圈的字母“M”(以由此使笔设备中的压力开关得以激活)之后，笔设备中的音频输出设备可仅朗读“工具”。用户可第二次选择带圈的字母“M”，以使音频输出设备朗读菜单项目“参考”。这可按所需频率重复，以卷动经过所述音频菜单。为选择特定菜单项目，用户可在纸上创建区别性标记或利用扫描装置提供特定的姿态。例如，在听到词“工具”之后，用户可紧邻带圈的字母“M”画出“复选标记”(或其它图形元素)，以选择子目录“工具”。通过使用如此的方法，用户可向菜单项目树中的预期目录、子目录和功能导航。不同图形元素或不同姿态的创建可用来使笔设备向上卷动。可替换地，按钮或其它激励器可提供在笔设备中以卷动经过菜单。一旦选择了“工具”，其将如上所述但针对其子目录菜单起作用。
在其它实施例中，在创建菜单图形元素图标(如带有圆形的字母“M”)之后，用户可选择菜单图形元素图标。扫描装置中的软件将带圈的字母识别为菜单符号并使扫描装置以间隔开的时序间隔依次朗读菜单项目“工具”、“参考”、“游戏”和“系统”，而无需用户下触。音频指令可提供给用户。例如，笔设备可以说“选择‘工具’目录，写出字母‘T’并将其圈起来”。为了选择菜单项目，用户可创建字母“T”并将其圈起来。这指示笔设备用户已经选择子目录“工具”。然后，笔设备可为用户朗读“工具”子目录下的菜单项目。这样，通过在片上创建表示特定目录、子目录或功能的图形元素并与其交互，有可能直接前进到菜单项目树中的该目录、子目录或功能。可替换地，如果菜单项目已驻留在表面上，用户可在任何时间与其交互来选择其功能。
应指出，图7中所述的图形元素图标的目录、子目录、选项菜单等内项目的顺序可由用户改变。例如，用户可访问某个应用并使用该应用来改变可听见地再现一个或多个目录、子目录等的项目的顺序。类似地，用户可改变与一个给定目录/子目录等内的一个或多个项目关联的特定音频输出，例如，用户可针对一项目记录其自己的语音，使用预先记录的歌曲(例如，MP3等)等等，并且用户相应地用作该项目的可听见地再现的输出。另外，应指出，例如通过提供给笔设备的软件/或固件更新(例如，上载新的基于软件的功能性)，可为一个或多个目录、子目录等添加附加的项目。
应指出，图形元素图标(例如，多个菜单图标)的多个实例的相应状态可与每个特定实例持久地关联。例如，在两个或多个图形元素图标存在于共同表面上(例如，用户创建、预打印等)的情况下，可为每个图标独立保持或记住其状态或其在其选项目录内的具体位置。例如，如果第一菜单图标当前在选项三(例如“游戏”)，而第二菜单图标当前在选项一(例如“工具”)，用户可离开并使用其它应用(例如，计算器、词典等)来执行其它任务，并在某个以后的时间回到第一或第二菜单图标，而它们将正确地保持其最后的状态(例如，第一菜单图标为“游戏”，而第二菜单图标为“工具”)。
类似地，应指出，图形元素图标(例如多个菜单图标)的多个实例的相应状态可在多个实例间协调并与每个特定实例持久地关联。利用经协调的状态，在两个或多个图形元素图标存在于共同表面(例如，用户创建、预打印等)上的情况下，可为每个图标记住其状态，但该状态可加以协调以使选项跨越每个实例。例如，如果第一菜单图标当前在选项二(例如，“系统”)，第二菜单图标将使其状态得到协调以使其将在选项三(例如，“工具”)。用户可执行其它中间任务并在某个以后的时间回到第一或第二菜单图标，而它们将正确地保持其协调状态(例如，第一为“系统”而第二为“工具”)。
图9示出根据本发明一个实施例的具有在其上写出的许多图形元素图标的表面910(例如，纸张)。图9示出组图形元素图标(例如，菜单图标“M”和游戏图标“G”)以及应用图标(例如，计算器图标“C”)的例子。图形元素图标可由用户写在纸张910上，或者可预打印。如上所述，组图形元素图标通常可听见地再现列表选项。例如，用笔设备100在位置901重复轻敲前进通过菜单目录的选项(例如，系统、游戏、参考和工具)，如在图7的讨论中所述。例如，在菜单图标上轻敲两次将使笔设备100可听见地再现“系统”并且然后可听见地再现“游戏”，指示对游戏子目录的选择。然后可通过接触位置902(例如，复选标记)来激活游戏子目录并且该激活可通过一音频音调而确认给用户。
随后，笔设备100可听见地提示用户创建(例如，画出)如图9中所示的游戏图形元素图标。使用笔设备100重复轻敲位置903处的游戏图标则使笔设备100前进通过游戏子目录的选项(例如，猜词、funky potatoes和涂鸦)，如在图7的讨论中所述。一个所选的游戏子目录项目然后可通过在位置904(例如与游戏关联的复选标记)的轻敲来选择，或可替换地，如果那里没有复选标记，则画出它。
仍参考图9，在计算器图标“C”的接触启动计算器应用。以这种方式，计算器图标并不再现菜单项目的列表或子目录选项，而是直接启动应用本身，在此情况下是计算器应用。一旦调用了计算器应用，笔设备100确认激活(例如，通过再现音频音调)并可听见地提示用户通过一系列动作来准备计算器以便于使用(例如，通过指示用户在表面上画出数字0-9、以及运算符±、-、×、/和＝，并且然后选择数字来执行数学计算)。
图9还示出使用笔设备100的“提示并相信”功能所创建的用户所写的词906(例如文本串)。根据本发明的实施例，应指出，一些词、文本串、标记、符号或其它图形元素完全不需要使用OCR来处理。例如，用户可响应于来自笔设备100的可听见的提示来创建特定的词、图形元素等，其中笔设备提示用户写出特定的词(例如，“president”)并且随后存储带有关联(例如，来自提示)的所写词的位置。以如上所述的方式，通过位置来识别对所创建的词的随后选择。例如，笔设备100可指示用户写出词“president”906。响应于该提示，用户写出词“president”，而笔设备100将在对所述词的随后选择时认为，或换言之相信，用户响应于提示所写的事实上是词“president”。换句话说，笔设备100将标签“president”与用户响应于提示所写的相关联。依赖于应用，可提示用户在词下划线、围绕词画框或者另外以及一些区别标记/图形元素。
当用户写完所提示的词时，笔设备100通过例如将不活动(例如，用户不再书写)识别为数据输入终止事件来识别用户已完成的事实。以这种方式，“超时”机制可用来识别数据输入的结束。另一个终止事件可以是如上所述的词被下划线或画框的情况。终止事件的附加例子描述在2005年1月12日提交的代理人备案No.LEAP-P03020的由Marggraff等共同转让的美国专利申请“TERMINATION EVENTS”中，其全部内容结合于此。
以这种方式，本发明实施例的提示并相信特征使能创建具有用户和笔设备100之间相互理解的含义的图形元素。重要的是，应理解对词president没有进行OCR处理。使用“提示并相信”功能创建的图形元素可与用于其它应用、选项、菜单、功能等的标签关联，从而使对提示并相信图形元素的选择(例如，通过轻敲)可调用以上的任何一个。减少对OCR处理的需求降低了对笔设备100的计算要求并因此改善用户接口的响应性。
图10示出根据本发明一个实施例的过程570的步骤的流程图。过程570描述根据本发明一个实施例的用于访问交互式设备(例如笔设备100)的功能和应用的有界区域用户接口过程的基本操作步骤。
过程570开始于步骤571，在此限定有界区域。在步骤572，笔设备100的计算机实施的功能性识别表面的有界区域内的激励。所述激励可以是有界区域内的笔设备的接触(例如将笔尖放下)、有界区域内的笔设备的笔划或标记(例如画出字符或标记)等。如在此所指的，有界区域指的是边界所包围的表面区域。有界区域的一个例子是在纸表面上画出的用户创建的框。该框内的纸区域包括该有界区域。在步骤571，有界区域可由用户响应于可听见的命令来画出或者由笔设备来提示这样做。换句话说，选择一应用之后用户所理解的第一个动作可以是用户画出一个框。在画出所述框或其它包围之后，笔设备然后将该框与应用或功能相关联。
在步骤573，当在有界区域内检测到激励时，与该有界区域相关的功能或应用程序得以自动调用。有界区域典型地与特定功能关联，该特定功能影响当笔设备识别出有界区域内的激励时所调用的特定功能性(或应用)。特定功能的一个例子是计算器功能，其中，到计算器有界区域内的用户输入优先识别为与字母相对照的数字，以便于改进识别过程。在该例子中，表示计算器的有界区域内的任何用户书写自动调用计算器功能，然后将该功能施加于所述书写。这在书写已经完成而用户仅用书写工具(例如笔设备100)来选择它们时也是如此。
在步骤574，根据特定于有界区域的功能来提供输出。例如，继续以上所述的计算器例子，输出将是描述用户输入的数学运算的结果的音频输出。随后，在步骤575，将所述特定功能与有界区域关联以便于实现持久性。如以上所述，该持久性属性使用户能执行其它中间任务和执行其它中间动作，并且在某个以后的时间点返回到有界区域并使其以其想要的方式来起作用(例如，有界区域仍表现为计算器)。有界区域的计算器例子在图11的讨论中进一步描述。
图11示出根据本发明一个实施例的计算机有界区域应用。图11说明用户可从空白纸片创建纸计算器的方式。在该例子中，在用户已经如上所述选择了“计算器”应用之后，笔设备提示用户画出方形有界区域211并且提示用户在该有界区域内写下数字0-9和运算符+、-、×、/和＝。用户创建图形元素210，包括具有围绕其的圆形的数字以及用于诸如加、减、乘、除和相等的运算的数学运算符。在其它实施例中，圆形不需要围绕图11中所示的数字而提供。笔设备100识别所创建的图形元素并且识别所创建的实际图形元素。
用户然后可选择至少两个图形元素来实现与该至少两个图形元素的选择相关的音频输出。例如，用户可选择图形元素“4”“+”“7”“＝”的序列来听取笔设备朗读“十一”。如以上所述，纸计算器是持久的，并因此可在以后的时间再使用，这是因为笔设备已将图形元素的位置存储在其存储器单元中。该实施例在学生没有可用的实际计算器的学校中是有用的。
应指出，有界区域可预打印或由用户画出。例如，纸计算器可以是以上述方式响应于提示由用户创建的，或者纸计算器可以预先打印在纸张213上。在任何一种情况下，当用户在该有界区域211中书写时，仅计算器应用是激活的并且笔设备仅看到数字而不是字母，以便于使识别过程简化。
另外，应指出，用户不需要选择图形元素图标来激活指定给所述有界区域的应用或功能。根据创建有界区域的方式，与有界区域关联的功能(例如计算器)持续存在并且在随后的激励时自动得以自调用。亦应指出，用户可限定多个有界区域，每个区域指定一不同的应用。例如，仍参考图11，用户可以如上所述的方式来限定计算器有界区域211，并且亦在同一纸张213上限定词典有界区域212(例如从参考子菜单“R”和工具子菜单“T”)。词典有界区域212通过可听见地再现在有界区域212内输入的文本串(例如词“rampart”)的定义来起作用。这样，在有界区域212内输入的文本与词典功能关联并且被识别为词(例如字母)，而在有界区域211内输入的文本与计算器功能关联并且被识别为数字(例如相等)。可替换地，用户可限定多个有界区域，其中它们的两个或多个是同一功能的实例。
图12A示出根据本发明一个实施例的计算机实施的过程580的步骤流程图。过程580描述根据本发明一个实施例的用于访问笔设备(例如设备100)的功能的文本串识别用户接口过程的基本操作步骤。该过程580描述称为“活动文本”的基于笔的计算机系统的工作模式。
过程580开始于步骤581，在此设备100的计算机实施的功能性识别可由用户用笔设备写出的文本串(例如词)。在步骤582，一旦识别，得以访问当前选择或相关于该文本串的功能。在步骤583，根据该功能和根据该文本串来提供输出。示例的功能可以是例如：翻译功能，其中词从一种语言(例如英语)翻译成不同的语言；词典功能，其中为该词提供定义；辞典功能等。随后，在步骤584，将所述特定功能与所述文本串关联以便于实现持久性。如以上所述，该持久性属性使用户能执行其它中间任务和执行其它中间动作，并且在某个以后的时间点通过由笔设备仅选择该文本串而返回到该文本串并使其以其想要的方式来起作用(例如，文本串仍表现为辞典、词典、翻译器等)。在步骤585，在某个以后的时间，用户可以用笔设备来选择所述文本串(例如通过在该文本串上接触)。随后，在步骤586，响应于所述选择，笔设备自动选择与该文本串关联的功能并且再次提供输出(例如提供翻译输出、提供定义等)。
以这种方式，用户能够写出文本(例如词)，并且笔设备记住该词和它在纸上的位置。所述文本由此成为能够调用不同功能的纸上的活动区域(例如象图形元素图标)。
图12B示出根据本发明一个实施例的计算机实施的过程590的步骤流程图。在过程590的实施例中，对文本所执行的功能仅取决于当前选择的应用，并且文本串则仅被当做数据。这由过程590来描述。
过程590开始于步骤591，在此用户写出文本串。在步骤592，笔设备自动将该文本串识别为特定的词。在步骤593，第一应用(其是当前活动的)施加到所述特定词并且应用(对所述特定词操作)的结果由笔设备可听见地再现。例如，当用户选择所述文本时，可启动特定的专用功能，其中不同的功能依赖于所选应用来调用。在步骤594激活第二应用。在步骤595，用户再次选择所述文本串并且所述特定词得以自动再调用。并且在步骤596，第二应用自动施加到所述特定词并且第二应用(对所述特定词操作)的结果可听见地再现。
在该实施例中，应指出一个或多个图形元素图标可用于改变与文本串(例如词)关联的功能。例如，词典应用、翻译应用等可通过其相应的图形元素图标来选择。类似地，多个图形元素图标可从同一词来调用对应的多个不同的功能(例如以获取定义、获取翻译等)。
这样，例如，过程590实现了接口方法，由此在翻译应用活动(例如通过接触翻译图形项目图标)时，对词的选择调用特定词到另一种语言的翻译。但当词典应用活动(例如通过接触词典图形项目图标)时，当用户选择特定词时，笔设备提供用于该特定词的定义。以这种方式，用户使多个应用与特定的词关联。与之相对照，借助过程580，在翻译应用活动时，对词的选择调用该特定词到另一种语言的翻译。用户然后可继续执行其它中间任务(例如计算器应用、游戏等)。且然后在某个以后的时间，由于所述一个应用保持与所述文本串关联，当用户想要再次听取所述特定词的翻译(例如笔设备可听见地再现所述特定词的翻译)时，用户仅再次选择所述文本串(例如通过接触它)即可。由于仅单个应用已经与所述特定词关联，翻译得以自动再现。
重要的是，在以上例子中，应指出，对标记、单个字符或文本串(例如词)，在其首次由用户写出(例如图11中所示的“rampart”)时，仅需要执行一次OCR(光学字符识别)过程。如以上所述，笔设备100包括可确定图形元素在表面213上的位置的功能性(例如通过笔设备100读取在表面213上编码的数据)。这使笔设备100能够记住特定词的位置。笔设备100可由此通过识别表面213上的特定词的同一位置(例如当用户在某个以后的时间将笔设备100接触到特定词上)来辨识特定词的选择。在用户对所述词的随后选择时，对较早执行的OCR过程的结果进行再调用，并且这些结果由例如活动的应用(例如词典)来使用。这样，存储OCR过程(例如关于词、字符、数字等)的结果并且在以后的时间随后再调用这些结果以便用于一个或多个应用的能力大大改善了由本发明实施例所实施的用户接口的响应性和性能。资源密集的OCR处理仅需要由笔设备100的计算机系统资源执行一次。
应指出，有界区域可用于影响或改变与文本串(例如词)关联的功能。例如，对应于词典应用的有界区域可能在词书写(或选择，如果已经书写)于该有界区域内时总是提供该词的定义。类似地，文本串可用于改变或影响与有界区域关联的功能。
图13A和13B示出根据本发明一个实施例的文本串识别应用的例子。如图13A和图13B中所述，用户可写下由圆形包围的图形元素302D。在笔设备100朗读词“词典”之后，用户可以用笔设备100来创建复选标记304以指示选择了词典功能。在创建图形元素302之后，笔设备100可进一步提示用户创建另一个图形元素305，包括由线306(例如有界区域)包围的词“法语”。然后笔设备100可提示用户写出一词，并且用户可写出文本串“Hello”310。然后用户可选择词“Hello”，然后选择图形元素305以听取由设备100朗读的词“Bonjour”。
如以上例子所说明的，用户所创建的至少两个图形元素可包括：第一图形元素(例如文本串)，包括语言的名称；以及第二图形元素，包括与所述语言不同的语言的词。用户可选择该词，然后选择语言的名称，并且然后可听取至少一个音频示出，包括听取以所述语言说出所述词的合成语音。所述语言可以是非英语语言，如西班牙语、法语、德语、汉语、日语等，并且所述词可以是英语。英语到外语词典可以在笔设备的存储器单元中存储为计算机代码。
对本发明特定实施例的以上描述仅仅是为了说明和描述的目的而提出的。它们并不是想要穷尽或将本发明限制于所公开的精确的形式，并且显然按照以上教导，许多修改和变化是可能的。选择和描述实施例是为了最好地说明本发明的原理及其实际应用，由此使本领域的其他技术人员能够以适合于所设想的特定用途的各种修改来最好地利用本发明和各种实施例。所希望的是，本发明的范围由所附权利要求及其等效形式来限定。

Claims (51)

1.一种解释用户命令的方法，包括：
识别可写表面的有界区域内的笔设备的激励；
基于所述激励来访问与所述有界区域有关的笔设备的功能；
根据所述功能来提供输出；以及
将所述功能与所述有界区域关联。
2.权利要求1的方法，其中所述输出包括与所述功能有关的音频输出。
3.权利要求1的方法，进一步包括：
通过存储所述功能与所述有界区域的关联来使能对所述功能的随后访问。
4.权利要求3的方法，其中对所述功能与所述有界区域的关联的所述存储实现了经由所述笔设备与所述有界区域的交互、在预定时间量内的所述功能性的持久可用性。
5.权利要求1的方法，其中所述有界区域是用户在所述表面上用所述笔设备画出的。
6.权利要求5的方法，其中所述表面包括纸张。
7.权利要求1的方法，进一步包括：
通过首先选择所述表面上的图形元素图标的多个选项之一来确定与所述有界区域有关的功能。
8.权利要求7的方法，进一步包括：
根据对所述多个选项之一的选择来提示创建所述有界区域。
9.权利要求1的方法，其中所述有界区域是预打印的有界区域，并且与所述有界区域有关的功能是预定的。
10.权利要求1的方法，进一步包括：
其中所述激励包括所述有界区域内的用户所写的文本，并且进一步包括将所述用户所写的文本自动识别为特定的词。
11.权利要求10的方法，其中所述提供输出包括：
将所述特定词自动应用到与所述有界区域有关的功能以产生其结果。
12.权利要求11的方法，其中所述结果可听见地再现。
13.权利要求1的方法，进一步包括：
使能随后访问对应于多个有界区域的多个功能，这是通过分别存储多个功能与多个有界区域的关联来实现的。
14.一种解释用户命令的方法，包括：
识别可写表面上的文本串；
基于所述识别来访问与所述文本串有关的笔设备的功能；
根据所述功能来提供输出；以及
将所述功能与所述文本串关联。
15.权利要求14的方法，其中所述输出包括与所述功能有关的音频输出。
16.权利要求14的方法，进一步包括：
通过存储所述功能与所述文本串的关联来使能对所述功能的随后访问。
17.权利要求16的方法，其中对所述功能与所述文本串的关联的所述存储实现了经由所述文本串与所述笔设备的交互、在预定时间量内的所述功能性的持久可用性。
18.权利要求14的方法，其中所述文本串是用户在书写表面上用所述笔设备画出的。
19.权利要求18的方法，其中所述书写表面包括纸张。
20.权利要求14的方法，进一步包括：
通过选择图形元素图标的多个选项之一来确定与所述文本串有关的功能。
21.权利要求19的方法，进一步包括：
根据对所述多个选项之一的选择来提示创建所述文本串。
22.权利要求14的方法，其中所述文本串在具有与所述有界区域有关的并且是预定的功能的预打印有界区域内被识别。
23.权利要求14的方法，进一步包括：
根据与所述有界区域有关的功能来选择与在所述有界区域内输入的文本串有关的功能。
24.权利要求14的方法，进一步包括：
通过选择图形元素图标的多个选项之一来选择与所述文本串一起使用的多个功能之一。
25.权利要求14的方法，进一步包括：
识别通过所述笔设备对所述文本串的选择；
访问与所述文本串有关的所述功能；以及
根据所述功能来提供输出。
26.一种解释用户命令的方法，包括：
将用户所写的文本串识别为特定词，其中所述用户所写的文本串是使用笔设备写在可写表面上的；
将所述特定词应用到第一应用以产生其第一结果，其中所述第一应用是可操作以在所述笔设备上执行的多个应用之一；以及
使用所述笔设备可听见地再现所述结果。
27.权利要求26的方法，进一步包括：
识别响应于所述笔设备与所述可写表面上的图像交互而选择了第二应用；
识别响应于所述笔设备与其交互而选择了所述用户所写的文本串；
将所述特定词自动应用到所述第二应用以产生其第二结果；以及
使用所述笔设备可听见地再现所述第二结果。
28.一种设备，包括：
光学传感器，用于检测来自可写表面的图像；
处理器，耦合到所述传感器；以及
存储器，耦合到所述处理器，该存储器存储当执行时使处理器实施解释用户命令的方法的指令，所述方法包括：
识别所述表面上的所创建的图形元素图标；
访问与所述图形元素图标有关的功能；
将用户所写的文本串识别为特定词；
根据所述特定词并且根据所述功能来提供输出；以及
将所述功能与用户所写的文本串关联。
29.权利要求28的设备，其中所述输出包括与所述功能有关并且与所述用户所写的文本有关的音频输出。
30.权利要求28的设备，进一步包括：
通过存储所述功能与所述用户所写的文本串的关联来使能对所述功能的随后访问。
31.权利要求30的设备，其中对所述功能与所述用户所写的文本串的关联的所述存储实现了经由使用所述笔设备与所述文本串的交互、在预定时间量内的所述功能性的持久可用性。
32.权利要求28的设备，其中所述用户所写的文本串是在所述表面上用所述笔设备创建的。
33.权利要求32的设备，其中所述表面包括纸张。
34.权利要求28的设备，进一步包括：
通过选择图形元素图标的多个选项之一来确定与所述文本串有关的功能。
35.权利要求28的设备，进一步包括：
根据所述功能来提示创建所述文本串。
36.权利要求28的设备，进一步包括：
根据所述功能来提示创建有界区域；以及
提示在所述有界区域内创建所述文本串以实施所述功能。
37.权利要求36的设备，进一步包括：
根据与所述有界区域有关的功能来选择与在所述有界区域内输入的文本串有关的功能。
38.权利要求28的设备，进一步包括：
通过选择图形元素图标的多个选项之一来选择与所述文本串一起使用的多个功能之一。
39.一种笔设备，包括：
光学传感器，用于感测可写表面上的图像；
书写工具；
处理器，耦合到总线；
扬声器；
存储器，耦合到所述总线，并且包括当执行时实施解释用户命令的方法的指令，所述方法包括：
将用户所写的文本串识别为特定词，其中所述用户所写的文本串是使用所述书写装置写在所述可写表面上的；
将所述特定词应用到第一应用以产生其第一结果，其中所述第一应用是可操作以在所述笔设备上执行的多个应用之一；以及
使用所述扬声器可听见地再现所述结果。
40.权利要求39的设备，其中所述方法进一步包括：
识别响应于所述笔设备与所述可写表面上的图像交互而选择了第二应用；
识别响应于所述笔设备与其交互而选择了所述用户所写的文本串；
将所述特定词自动应用到所述第二应用以产生其第二结果；以及
使用所述笔设备可听见地再现所述第二结果。
41.一种笔设备，包括：
光学传感器，用于感测可写表面上的图像；
书写工具；
处理器，耦合到总线；
扬声器；
存储器，耦合到所述总线，并且包括当执行时实施解释用户命令的方法的指令，所述方法包括：
将所述可写表面的第一有界区域限定给第一应用；
将所述可写表面的第二有界区域限定给第二应用，其中所述第一和第二应用可操作以在所述笔设备上执行；
响应于所述第一有界区域中的第一用户书写数据，将所述第一用户书写数据识别为第一表达，并且将所述第一表达自动应用到所述第一应用以产生其第一结果；以及
使用所述扬声器可听见地再现所述第一结果。
42.权利要求41的笔设备，其中所述方法进一步包括：
响应于所述第二有界区域中的第二用户书写数据，将所述用户第二书写数据识别为第二表达，并且将所述第二表达自动应用到所述第二应用以产生其第二结果；以及
使用所述扬声器可听见地再现所述第二结果。
43.权利要求41的笔设备，其中所述将所述第一有界区域限定给所述第一应用包括：
识别响应于所述笔设备与所述可写表面上的图像交互而选择了所述第一应用；
使用所述扬声器来提示在所述表面上画出所述第一有界区域；
响应于使用所述笔设备对其画出来限定所述第一有界区域；以及
将所述第一有界区域与所述第一应用关联。
44.权利要求43的笔设备，其中所述将所述第二有界区域限定给所述第二应用包括：
识别响应于所述笔设备与所述可写表面上的图像交互而选择了所述第二应用；
使用所述扬声器来提示在所述表面上画出所述第二有界区域；
响应于使用所述笔设备对其画出来限定所述第二有界区域；以及
将所述第二有界区域与所述第二应用关联。
45.一种接受来自用户的输入的方法，包括：
识别可写表面的有界区域内的笔设备的激励；
基于所述激励来访问与所述有界区域有关的笔设备的功能；
根据所述功能来提供输出；以及
将所述功能与所述有界区域关联。
46.权利要求45的方法，其中所述输出包括与所述功能有关的音频输出。
47.权利要求46的方法，其中所述音频输出是通过笔设备提供的。
48.权利要求47的方法，其中所述音频输出是通过与所述笔设备通信的第二设备来提供的。
49.权利要求45的方法，其中所述输出包括与所述功能有关的视觉输出。
50.权利要求49的方法，其中所述视觉输出是通过笔设备提供的。
51.权利要求50的方法，其中所述视觉输出是通过与所述笔设备通信的第二设备来提供的。
CNA2006100005621A 2005-01-12 2006-01-11 通过所识别文本和有界区域的设备用户接口 Pending CN1855014A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/035,155 US20060066591A1 (en) 2004-03-17 2005-01-12 Method and system for implementing a user interface for a device through recognized text and bounded areas
US11/035,155 2005-01-12

Publications (1)

Publication Number Publication Date
CN1855014A true CN1855014A (zh) 2006-11-01

Family

ID=36678406

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006100005621A Pending CN1855014A (zh) 2005-01-12 2006-01-11 通过所识别文本和有界区域的设备用户接口

Country Status (5)

Country Link
US (1) US20060066591A1 (zh)
JP (1) JP2006195996A (zh)
KR (1) KR100847851B1 (zh)
CN (1) CN1855014A (zh)
WO (1) WO2006076077A2 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8749480B2 (en) * 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US7813597B2 (en) 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US20060212430A1 (en) 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US8823636B2 (en) * 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US7956846B2 (en) * 2006-01-05 2011-06-07 Apple Inc. Portable electronic device with content-dependent touch sensitivity
US20080115056A1 (en) * 2006-11-14 2008-05-15 Microsoft Corporation Providing calculations within a text editor
US8116570B2 (en) * 2007-04-19 2012-02-14 Microsoft Corporation User interface for providing digital ink input and correcting recognition errors
US8284951B2 (en) * 2007-05-29 2012-10-09 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
WO2008150918A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Binaural recording for smart pen computing systems
US8194081B2 (en) * 2007-05-29 2012-06-05 Livescribe, Inc. Animation of audio ink
US20090021494A1 (en) * 2007-05-29 2009-01-22 Jim Marggraff Multi-modal smartpen computing system
WO2008150911A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
WO2008150919A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
WO2008150921A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Communicating audio and writing using a smart pen computing system
WO2008150887A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Self-addressing paper
US8638319B2 (en) 2007-05-29 2014-01-28 Livescribe Inc. Customer authoring tools for creating user-generated content for smart pen applications
US8374992B2 (en) * 2007-05-29 2013-02-12 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
US8477095B2 (en) * 2007-10-05 2013-07-02 Leapfrog Enterprises, Inc. Audio book for pen-based computer
US8566752B2 (en) * 2007-12-21 2013-10-22 Ricoh Co., Ltd. Persistent selection marks
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US7810730B2 (en) * 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
WO2010027645A1 (en) * 2008-08-18 2010-03-11 Augusta Technology Usa, Inc. One-touch dial with fast contact lookup
US20110041052A1 (en) * 2009-07-14 2011-02-17 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20120210261A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for changing graphical object input tools
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US9684388B2 (en) * 2012-03-01 2017-06-20 Nokia Technologies Oy Method and apparatus for determining an operation based on an indication associated with a tangible object
US9542013B2 (en) 2012-03-01 2017-01-10 Nokia Technologies Oy Method and apparatus for determining recipients of a sharing operation based on an indication associated with a tangible object
US9684389B2 (en) * 2012-03-01 2017-06-20 Nokia Technologies Oy Method and apparatus for determining an operation to be executed and associating the operation with a tangible object
KR102130037B1 (ko) * 2012-06-29 2020-07-03 삼성전자주식회사 스타일러스 펜을 사용하는 입력 이벤트를 핸들링하는 방법 및 디바이스
GB2557237B (en) * 2016-12-01 2022-05-11 Crane Payment Innovations Ltd Method and apparatus for money item processing
JP7163679B2 (ja) 2018-09-07 2022-11-01 マックス株式会社 結束機
KR20240039887A (ko) 2022-09-20 2024-03-27 연세대학교 산학협력단 표시어를 자동 인식하기 위한 문자 인식 방법 및 장치

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) * 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
US3782734A (en) * 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
NL7904469A (nl) * 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
US4604065A (en) * 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) * 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4627819A (en) * 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4748318A (en) * 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US4793810A (en) * 1986-11-19 1988-12-27 Data Entry Systems, Inc. Interactive instructional apparatus and method
US4787040A (en) * 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) * 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
GB2207027B (en) * 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US4924387A (en) * 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US5059126A (en) * 1990-05-09 1991-10-22 Kimball Dan V Sound association and learning system
US5260697A (en) * 1990-11-13 1993-11-09 Wang Laboratories, Inc. Computer with separate display plane and user interface processor
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
WO1994008314A1 (en) * 1992-09-28 1994-04-14 Olympus Optical Co., Ltd. Dot code and information recording/reproducing system for recording/reproducing dot code
WO1994015272A1 (en) * 1992-12-22 1994-07-07 Morgan Michael W Pen-based electronic teaching system
US6935566B1 (en) * 1997-02-03 2005-08-30 Symbol Technologies, Inc. Portable instrument for electro-optically reading indicia and for projecting a bit-mapped image
US6853293B2 (en) * 1993-05-28 2005-02-08 Symbol Technologies, Inc. Wearable communication system
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
JP2939119B2 (ja) * 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
WO1996015837A1 (en) * 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0842490B1 (en) * 1995-08-03 2007-06-27 Interval Research Corporation Computerized interactor systems and methods for providing same
US7498509B2 (en) * 1995-09-28 2009-03-03 Fiberspar Corporation Composite coiled tubing end connector
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5889506A (en) * 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
US5937110A (en) * 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
US6295439B1 (en) * 1997-03-21 2001-09-25 Educational Testing Service Methods and systems for presentation and evaluation of constructed responses assessed by human evaluators
KR100224618B1 (ko) * 1997-03-27 1999-10-15 윤종용 다목적 학습기의 페이지 전환 방법
BR9809252A (pt) * 1997-05-09 2000-06-27 Neomedia Tech Inc Método e sistema para acessar recursos eletrônicos através dos dados que podem ser lidos por máquina em documentos inteligentes
KR100208019B1 (ko) * 1997-07-16 1999-07-15 윤종용 다목적학습기
US6201903B1 (en) * 1997-09-30 2001-03-13 Ricoh Company, Ltd. Method and apparatus for pen-based faxing
WO1999019823A2 (en) * 1997-10-10 1999-04-22 Interval Research Corporation Methods and systems for providing human/computer interfaces
JPH11122401A (ja) * 1997-10-17 1999-04-30 Noritsu Koki Co Ltd 音声コード付き写真作成装置
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6665490B2 (en) * 1998-04-01 2003-12-16 Xerox Corporation Obtaining and using data associating annotating activities with portions of recordings
JP4144935B2 (ja) * 1998-06-08 2008-09-03 ノーリツ鋼機株式会社 音声付き写真を作成するための受付方法、及び受付装置
IL141400A0 (en) * 1998-08-18 2002-03-10 Digital Ink Inc Handwriting device with detection sensors for absolute and relative positioning
JP2000206631A (ja) * 1999-01-18 2000-07-28 Olympus Optical Co Ltd 撮影装置
US20020000468A1 (en) * 1999-04-19 2002-01-03 Pradeep K. Bansal System and method for scanning & storing universal resource locator codes
US7099019B2 (en) * 1999-05-25 2006-08-29 Silverbrook Research Pty Ltd Interface surface printer using invisible ink
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
US6832717B1 (en) * 1999-05-25 2004-12-21 Silverbrook Research Pty Ltd Computer system interface surface
US7170499B1 (en) * 1999-05-25 2007-01-30 Silverbrook Research Pty Ltd Handwritten text capture via interface surface
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6502756B1 (en) * 1999-05-28 2003-01-07 Anoto Ab Recording of information
FI107096B (fi) * 1999-06-03 2001-05-31 Nokia Networks Oy Lähetin-vastaanottimen testaus
SE516561C2 (sv) * 1999-06-28 2002-01-29 C Technologies Ab Läspenna för inläsning och behandling av text
US6304989B1 (en) * 1999-07-21 2001-10-16 Credence Systems Corporation Built-in spare row and column replacement analysis system for embedded memories
US6304898B1 (en) * 1999-10-13 2001-10-16 Datahouse, Inc. Method and system for creating and sending graphical email
US6564249B2 (en) * 1999-10-13 2003-05-13 Dh Labs, Inc. Method and system for creating and sending handwritten or handdrawn messages
US7295193B2 (en) * 1999-12-23 2007-11-13 Anoto Ab Written command
US20030046256A1 (en) * 1999-12-23 2003-03-06 Ola Hugosson Distributed information management
US6532314B1 (en) * 2000-01-28 2003-03-11 Learning Resources, Inc. Talking toy scanner
US6738053B1 (en) * 2000-02-16 2004-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Predefined electronic pen applications in specially formatted paper
US6442350B1 (en) * 2000-04-04 2002-08-27 Eastman Kodak Company Camera with sound recording capability
US7094977B2 (en) * 2000-04-05 2006-08-22 Anoto Ip Lic Handelsbolag Method and system for information association
US6668156B2 (en) * 2000-04-27 2003-12-23 Leapfrog Enterprises, Inc. Print media receiving unit including platform and print media
US6661405B1 (en) * 2000-04-27 2003-12-09 Leapfrog Enterprises, Inc. Electrographic position location apparatus and method
US20020023957A1 (en) * 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6704699B2 (en) * 2000-09-05 2004-03-09 Einat H. Nir Language acquisition aide
US20020041290A1 (en) * 2000-10-06 2002-04-11 International Business Machines Corporation Extending the GUI desktop/paper metaphor to incorporate physical paper input
US6647369B1 (en) * 2000-10-20 2003-11-11 Silverbrook Research Pty Ltd. Reader to decode sound and play sound encoded in infra-red ink on photographs
EP1377955A2 (en) * 2001-03-15 2004-01-07 International Business Machines Corporation Method and system for accessing interactive multimedia information or services from braille documents
US7107533B2 (en) * 2001-04-09 2006-09-12 International Business Machines Corporation Electronic book with multimode I/O
US6954199B2 (en) * 2001-06-18 2005-10-11 Leapfrog Enterprises, Inc. Three dimensional interactive system
US6608618B2 (en) * 2001-06-20 2003-08-19 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6732927B2 (en) * 2001-06-26 2004-05-11 Anoto Ab Method and device for data decoding
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US20020197589A1 (en) * 2001-06-26 2002-12-26 Leapfrog Enterprises, Inc. Interactive educational apparatus with number array
US20030001020A1 (en) * 2001-06-27 2003-01-02 Kardach James P. Paper identification information to associate a printed application with an electronic application
AU2002320579B2 (en) * 2001-07-18 2006-08-24 Amplify Education, Inc. System and method for real-time observation assessment
US20030024975A1 (en) * 2001-07-18 2003-02-06 Rajasekharan Ajit V. System and method for authoring and providing information relevant to the physical world
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
US20030071850A1 (en) * 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US20030089777A1 (en) * 2001-11-15 2003-05-15 Rajasekharan Ajit V. Method and system for authoring and playback of audio coincident with label detection
US6816702B2 (en) * 2002-03-15 2004-11-09 Educational Testing Service Consolidated online assessment system
WO2003067553A1 (en) * 2002-02-06 2003-08-14 Leapfrog Enterprises, Inc. Write on interactive apparatus and method
US6915103B2 (en) * 2002-07-31 2005-07-05 Hewlett-Packard Development Company, L.P. System for enhancing books with special paper
US20040121298A1 (en) * 2002-11-06 2004-06-24 Ctb/Mcgraw-Hill System and method of capturing and processing hand-written responses in the administration of assessments
US7415667B2 (en) * 2003-01-31 2008-08-19 Ricoh Company, Ltd. Generating augmented notes and synchronizing notes and document portions based on timing information
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface

Also Published As

Publication number Publication date
KR20060082427A (ko) 2006-07-18
WO2006076077A3 (en) 2007-01-18
US20060066591A1 (en) 2006-03-30
WO2006076077A2 (en) 2006-07-20
JP2006195996A (ja) 2006-07-27
KR100847851B1 (ko) 2008-07-23

Similar Documents

Publication Publication Date Title
CN1855014A (zh) 通过所识别文本和有界区域的设备用户接口
CN1855012A (zh) 用于写图形设备的用户接口
KR100815534B1 (ko) 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스
CN100390720C (zh) 交互式设备和方法
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
US20060033725A1 (en) User created interactive interface
CN1855013A (zh) 用于识别数据输入终止的系统和方法
WO2007136846A2 (en) Recording and playback of voice messages associated with a surface
JP2003508843A (ja) ノートパッド
JP2014134571A (ja) コンピュータ装置、再生システム、及びプログラム
EP1681623A1 (en) Device user interface through recognized text and bounded areas
CN1879143A (zh) 用户创建交互界面
WO2006076118A2 (en) Interactive device and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20061101