CN101689187A - 多模态智能笔计算系统 - Google Patents

多模态智能笔计算系统 Download PDF

Info

Publication number
CN101689187A
CN101689187A CN200880023794A CN200880023794A CN101689187A CN 101689187 A CN101689187 A CN 101689187A CN 200880023794 A CN200880023794 A CN 200880023794A CN 200880023794 A CN200880023794 A CN 200880023794A CN 101689187 A CN101689187 A CN 101689187A
Authority
CN
China
Prior art keywords
data
smart pen
pen
user
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880023794A
Other languages
English (en)
Inventor
S·A·范
J·玛尔格拉夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Livescribe Inc
Original Assignee
Livescribe Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Livescribe Inc filed Critical Livescribe Inc
Publication of CN101689187A publication Critical patent/CN101689187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在基于笔的计算系统中，智能笔允许用户使用多个模态来与基于笔的计算系统进行交互。通常，模态分类为输入(或称命令)模态和输出(或称反馈)模态。智能笔的输入模态示例包括用智能笔书写以提供书写输入和/或说话，或者以其他方式提供声音以向智能笔给出音频输入。智能笔的输出模态示例包括读取由系统显示的视觉信息，接收触觉反馈和/或收听由系统播放的声音。

Description

多模态智能笔计算系统
相关申请的交叉参考
本申请要求2007年5月29日递交的美国临时申请No.60/940,665的权益，通过参考而将其整体并入。
背景技术
本申请总体上涉及基于笔的计算系统，而且更具体地，涉及基于笔的多模态计算系统。
多模态系统采用和增强人类输入与输出的基本方式，例如读、写、说和听。广阔范围的多模态系统对人类通信、学习、思考、解决问题、回忆、个人生产率、娱乐、商业等进行增强。人类输入与输出方式的组合、定序和转换能够极大地促进和改进通信、学习、思考、解决问题、回忆、个人生产率、娱乐、商业等中的任务和活动。
然而，支持混合模态的现有系统通常是基于屏幕的、昂贵的、较大的、可携带性有限的而且经常是不直观的。这些系统的示例包括个人计算机(PC)、个人数字助理(PDA)以及其他专用的基于屏幕的设备。传统的多模态系统通常局限于视觉反馈的单一显示。在基于PC的系统中，例如，显示器通常较大，而且耗费大量功率。在蜂窝电话和PDA系统中，屏幕相对较小，但是提供有限的视觉信息。将输入写到多模态显示器的方法也相当有限。例如，标准PC需要单独的书写输入设备，平板PC需要在一块玻璃上书写并且昂贵，而蜂窝电话和PDA还不够敏感和/或提供的书写空间有限。适用于与基于屏幕的设备一起使用的另外一些书写器具通常局限于只能在基于屏幕的设备上指点和书写。在这种指点设备出于相反目的而在显示器和纸张二者上书写的较少情况下，当其用于在纸张上书写时，该设备并不是智能的，只是简单地在纸张上留下墨迹而已。
多模态系统通常构建在被设计用于主要适用于模态的子集(例如，读、写、说和听的一些但不是全部)的通信工具或通用计算机上。接收书写输入并未被设计为PC的主要用途。最常见的是用键入来代替书写。在小型的蜂窝电话或PDA屏幕上书写非常受限制，而且音频捕获硬件和软件通常并不是无缝地集成到系统设计中的。支持人类通信的四个基本方式(读、写、说和听)并对其进行增强的设备通常还需要用于当触笔在屏幕表面上移动时创建数字墨水的屏幕。它们既不与预先打印的纸文件交互，也不允许它们创建新的手写纸文件以及与其进行交互。
因此，需要这样的计算平台，其以直观和更有效率的方式来使用人类通信的多个输入和输出方式(读、写、说和听)并对其进行增强，而且从明确期望增强这些模态的设计受益。从该平台的角度来看，该平台应该：1)显示来自自给式显示器的信息和/或与其他处(纸张、塑料、主动式显示器、电子纸张)显示的信息交互；2)支持在各种表面进行书写，例如在纸张上用墨水书写、在白板上用墨水书写，和/或经由在显示器上的移动来与主动式显示器交互；3)从自给式的或连接的扬声器的向外播放音频；4)用自给式的或连接的麦克风捕获和/或记录音频；5)支持读、写、说和听并对其进行增强，以作为独立的或并发的模态；以及6)在独立的或并发的模态之间提供无缝转换。
发明内容
本发明的实施方式提供了支持用户在若干不同模态中与系统进行交互的多模态智能笔计算系统。这些模态总体上可以分类为输入(或称命令和捕获)模态和输出(或称反馈和访问)模态。用于智能笔计算系统的输入模态可以包括：利用笔形工具进行书写，以提供书写输入和/或说话，或者利用智能笔以其他方式提供向系统输入音频的声音和/或姿势输入。用于智能笔计算系统的输出模态可以包括：读取由系统显示的视觉信息和/或通过指点或与智能笔交互而选择在纸张上或其他显示器上在外部显示的信息来读取信息，和/或收听由系统播放的声音。
该系统应该还支持并发输入，其形式是同时的书写的信息和说出的信息，其中这两种形式输入的时序可以向智能笔提供有意义的信息。它应该支持以同时显示的信息和音频信息为形式的并发输出，其中这两种形式输出的时序可以向用户提供有意义的信息。
智能笔上的显示器应该与智能笔的书写端足够接近，以便允许用户无缝地参与到从显示器阅读的状态与在表面上书写的状态之间的视觉转换，从而以最小的眼睛移动和焦点位移在小区域之内维持视觉焦点。这支持用户不费力地观看智能笔上的屏幕，然后利用在屏幕上书写而做出响应，不费力地将他们的眼睛从屏幕移动到表面以及返回，而不会损失上下文。
可以独立地或并发地激活任何输入或输出方式的、能够在独立的或者并发的输入/输出方式之间进行无缝切换的、由软件、存储器和电池管理的且以具有物理书写端的笔形状因数形式存在的扬声器、麦克风和显示器，在尺寸、重量、能力、便携性和易用性方面代表了需要支持完全多模态的自给式计算平台的组件的全面集合的新篇章。
附图说明
图1为根据本发明一个实施方式的基于笔的计算系统的示意图。
图2为根据本发明一个实施方式的在该基于笔的计算系统中使用的智能笔的示意图。
图3为根据本发明一个实施方式的在基于笔的计算系统中提供多个模态的流程图。
描述本发明各种实施方式的附图仅用于说明目的。本领域技术人员根据下列讨论容易理解，可以在不脱离这里描述的本发明的精神的前提下，使用这里说明的方法和结构的备选实施方式。
具体实施方式
本发明的实施方式可以实施在基于笔的计算系统的各种实施方式中，在图1中示出了这种计算系统的一个示例。在这个实施方式中，基于笔的计算系统包括书写表面50、智能笔100、插接站(dockingstation)110、客户端系统120、网络130以及web服务系统140。智能笔100包括板上处理能力以及输入/输出功能，从而允许基于笔的计算系统将传统计算系统中基于屏幕的交互扩展到用户能够书写的其他表面。例如，智能笔100可以用于捕获书写的电子表征以及在书写期间记录音频，而且智能笔100还可以能够向用户输出视觉信息和音频信息。利用智能笔100上用于各种应用的适当软件，基于笔的计算系统由此向用户提供了用于与电子领域和纸张领域(包括电子纸张)二者中的软件程序和计算服务进行交互的新平台。
在基于笔的计算系统中，智能笔100为计算系统提供输入和输出能力，而且执行该系统的部分或全部计算功能。因此，智能笔100支持用户使用多个模态来与基于笔的计算系统进行交互。在一个实施方式中，智能笔100利用多个模态(例如，捕获用户的书写或其他手，势或者记录音频)从用户接收输入，并使用各种模态(例如显示视觉信息、播放音频，或在物理交互的上下文中做出响应，诸如轻拍、追踪，或选择其他预先存在的视觉信息)向用户提供输出。在其他实施方式中，智能笔100包括诸如运动感测或姿势捕获的附加输入模态，和/或诸如振动反馈的附加输出模态。
在图2中示出了智能笔100的一个特定实施方式的组件，在下文中对其进行更详细描述。虽然智能笔100的整体形状可以存在某些变化以适应该笔的其他功能，或者甚至可以是交互多模态非书写工具，但是智能笔100优选地具有充分类似于笔或其他书写工具的形状因数。例如，智能笔100可以比标准笔略厚，从而使其可以容纳附加组件，或者智能笔100除了具有形成笔形形状因数的结构特征之外，还可以具有附加结构特征(例如，平板显示屏)。另外，智能笔100还可以包括用户能够借助其向智能笔计算系统提供输入或命令的任何机构，或者可以包括用户能够借由其从智能笔计算系统接收或者以其他方式观察信息的任何机构。例如，可以添加包括按钮、跷板(rocker panel)、电容传感器、热传感器、压力传感器、生物传感器或其他传感设备的各种类型的开关。
智能笔100被设计用于与书写表面50一起工作，从而使智能笔100能够捕获在书写表面50上产生的书写。在一个实施方式中，书写表面50包括纸张(或能够在其上书写的任何其他合适材料)，而且利用能够被智能笔100阅读的模式进行编码。这种书写表面50的一个例子是所谓的“点使能纸”，其可从瑞典的Anoto集团AB(马萨诸塞州沃尔瑟姆的Anoto本地子公司)获得，在美国专利No.7,175,095中进行了描述，这里通过参考将其并入。这种点使能纸具有编码在纸张上的点模式。设计用于与这种点使能纸一起工作的智能笔100包括成像系统以及能够确定智能笔的书写端相对于已编码点模式的位置的处理器。智能笔100的位置可以使用预定“点空间”中的坐标来参考，而且该坐标既可以是相对的(例如，在书写表面50的页内部的位置)也可以是绝对的(例如，在书写表面50的多页中的唯一位置)。
在其他实施方式中，可以使用除已编码纸张以外的机构来实现书写表面50，以允许智能笔100捕获姿势和其他书写输入。例如，书写表面可以包括对智能笔100所做出的书写进行检测的输入板或其他电子介质。在另一实施方式中，书写表面50包括电子纸张，或称e纸张。可以完全由书写表面50、完全由智能笔100，或者由书写表面50结合智能笔100来执行该检测。即使书写表面50的角色仅仅是被动的(如已编码纸张的情形)，但可以意识到，智能笔100的设计通常也将取决于基于笔的计算系统针对其进行设计的书写表面50的类型。而且，书写的内容可以机械地(例如，使用智能笔100在纸张上着墨)、电子地(例如，在书写表面50上显示)显示在书写表面50上，或者根本不显示(例如，仅仅保存在存储器中)。在另一实施方式中，智能笔100装备有用于对智能笔100端的移动进行检测的传感器，从而在不需要书写表面50的情况下便能够检测书写姿势。这些技术中的任何一个都可以用于并入到智能笔100中的姿势捕获系统。
在各种实施方式中，为了基于笔的计算系统的各种有用应用，智能笔100可以与诸如个人计算机之类的通用计算系统120通信。例如，由智能笔100捕获的内容可以传输到计算系统120，以供该系统120进一步使用。例如，计算系统120可以包括允许用户存储、访问、查看、删除或者以其他方式来管理由智能笔100获取的信息的管理软件。将智能笔100获取的数据下载到计算系统120还释放了智能笔100的资源，从而使其能够获取更多数据。反过来，也可以将内容从计算系统120传送回智能笔100。除了数据之外，计算系统120提供到智能笔100的内容还可以包括可由智能笔100执行的软件应用。
智能笔100可以经由包括有线通信和诸如蓝牙、WiFi、RF、红外线和超音波之类的无线通信的许多已知通信机制中的任何机制来与计算系统120通信。在一个实施方式中，基于笔的计算系统包括耦合到计算系统的插接站110。插接站110在机械上和电子上配置用于容纳智能笔100，而且当智能笔100被插接时，插接站110可以支持计算系统120和智能笔100之间的电子通信。插接站110还可以提供电功率，以向智能笔100中的电池充电。
图2示出了在例如上述实施方式的基于笔的计算系统中使用的智能笔100的一个实施方式。在图2示出的实施方式中，智能笔100包括标记器205、成像系统210、落笔传感器215、一个或多个麦克风220、扬声器225、音频插头230、显示器235、I/O端口240、处理器245、板上存储器250和电池255。然而，应当理解，并非上述组件的全部都是智能笔100所必需的，而且这也不是智能笔100的所有实施方式的组件或上述组件的所有可能变体的穷举一览表。例如，智能笔100还可以采用诸如功率按钮或音频记录按钮的按钮和/或状态指示灯之类的按钮。而且，正如这里在说明书和权利要求中所使用的，除了明确记载的那些特征之外，术语“智能笔”并不表示笔设备具有这里针对特定实施方式而描述的任何特定特征或功能，因此智能笔可以具有少于这里描述的所有能力和子系统的任何组合。
标记器205支持将智能笔用作在任何适当表面上进行书写的传统书写装置。标记器205因此可以包括任何合适的标记机构，包括基于墨水或基于石墨的任何标记设备或可以用于书写的任何其他设备。在一个实施方式中，标记器205包括可更换的圆珠笔元件。标记器205耦合到落笔传感器215，例如压力传感元件。因此，当标记器205按压表面时，落笔传感器215产生输出，从而指示智能笔100在何时被用于在表面上进行书写。
成像系统210包括足够的光学器件和传感器，用于对标记器205附近的表面区域进行成像。成像系统210可以用于捕获用智能笔100做出的手写和/或姿势。例如，成像系统210可以包括红外线光源，其照亮标记器205附近的书写表面50，其中书写表面50包括已编码的模式。通过处理已编码模式的图像，智能笔100可以确定标记器205在何处与书写表面50相关。成像系统210的成像阵列接着对标记器205附近的表面进行成像，而且捕获已编码模式在其视场中的部分。由此，成像系统210允许智能笔100使用至少一个输入模态来接收数据，例如接收书写输入。包含用于查看书写表面50一部分的光学器件和电子器件的成像系统210仅仅是可以包含智能笔100中的、用于电子地捕获利用该笔做出的任何书写姿势的一种类型的姿势捕获系统，而智能笔100的其他实施方式可以使用实现相同功能的其他恰当装置。在一个实施方式中，成像系统210捕获的数据随后被处理，从而允许将诸如字符识别的一个或多个内容识别算法应用于接收的数据。
在一个实施方式中，成像系统210捕获的数据随后被处理，从而允许将诸如字符识别的一个或多个内容识别算法应用于接收的数据。在另一实施方式中，可以使用成像系统210来扫描和捕获已经存在于书写表面50上的书写内容(例如，不是使用智能笔100书写的)。可以进一步结合落笔传感器215来使用成像系统210，以确定标记器205何时接触书写表面50。随着标记器205在表面上移动，成像阵列捕获的模式发生变化，用户的手写因此可被智能笔100中的姿势捕获系统(例如，图2中的成像系统210)所确定和捕获。这种技术还可以用于捕获姿势，诸如当用户在书写表面50的特定位置上轻拍标记器205时，从而允许利用运动检测的其他输入模态的数据捕获或姿势捕获。
可以进一步结合落笔传感器215来使用成像系统210，以确定标记器205何时接触书写表面50。随着标记器205在表面上移动，成像阵列捕获的模式发生变化，用户的手写因此可以被智能笔100所确定和捕获。这种技术还可以用于捕获姿势，例如当用户在书写表面50的特定位置上轻拍标记器205时，从而允许利用运动检测的其他输入模态的数据捕获或姿势捕获。
智能笔100上的另一数据捕获设备是一个或多个麦克风220，其允许智能笔100使用其他输入模态(音频捕获)来接收数据。麦克风220可以用于记录音频，这可以与上述手写捕获进行同步。在一个实施方式中，一个或多个麦克风220耦合到由处理器245或信号处理器(没有示出)执行的信号处理软件，该信号处理软件消除标记器205在书写表面上移动所产生的噪声和/或当智能笔100向下接触书写表面或从书写表面上移开时所产生的噪声。在一个实施方式中，处理器245对捕获的书写数据与捕获的音频数据进行同步。例如，在利用麦克风220记录会议的对话同时，用户做着还可以由智能笔100捕获的笔记。对记录的音频和捕获的手写进行同步允许智能笔100向用户对之前捕获数据的请求提供协调的响应。例如，响应于用户请求，例如书写的命令、命令参数、用智能笔100做出的姿势、说出的命令或书写命令和说出命令的结合，智能笔100向用户提供音频输出以及视觉输出二者。智能笔100还可以向用户提供触觉反馈。
扬声器225、音频插头230和显示器235向智能笔100的用户提供输出，从而允许经由一个或多个输出模态来向该用户呈现数据。音频插头230可以耦合到耳机，与使用扬声器225不同，用户在不打扰周围人的情况下便能收听该音频输出。耳机还可以允许用户在立体声或利用空间特性进行了增强的全三维音频中收听该音频输出。因此，通过收听由扬声器225或音频插头230播放的音频，扬声器225和音频插头230允许用户使用输出模态的第一类型从智能笔接收数据。
显示器235可以包括用于提供视觉反馈的任何适当显示器系统，例如有机发光二极管(OLED)显示器，从而允许智能笔100通过在视觉上显示信息而使用第二输出模态来提供输出。在使用中，智能笔100可以使用这些输出组件中的任何一个来传达音频或视觉反馈，从而允许使用多个输出模态来提供数据。例如，扬声器225和音频插头230可以根据运行在智能笔100上的应用来传达音频反馈(例如，提示、命令和系统状态)，而显示器235可以显示单词短语、静态或动态图像，或由这个应用所指导的提示。另外，扬声器225和音频插头230还可以用于播放已经使用麦克风220记录的音频数据。
如上所述，输入/输出(I/O)端口240允许在智能笔100和计算系统120之间的通信。在一个实施方式中，I/O端口240包括与插接站110上的电触点相对应的电触点，从而当智能笔100放置在插接站110中时，会产生用于数据传送的电连接。在另一实施方式中，I/O端口240简单地包括用于容纳数据线缆的插头(例如，Mini-USB或微USB)。备选地，可以用智能笔100中的无线通信电路来代替I/O端口240，从而允许与计算系统120进行无线通信(例如，经由蓝牙、WiFi、红外或超声波)。
处理器245、板上存储器250和电池255(或任何其他合适的功率源)支持在智能笔100上执行至少部分的计算功能。处理器245耦合到输入和输出设备以及上述其他组件，从而使得在智能笔100上运行的应用能够使用这些组件。在一个实施方式中，处理器245包括ARM9处理器，而且板上存储器250包括少量的随机访问存储器(RAM)和较大量的闪存或其他永久性存储器。结果，可以在智能笔100上存储和执行可执行应用，而且可以在智能笔100上存储记录的音频和手写，该存储可以是无限期的，也可以到从智能笔100上卸载到计算系统120中为止。例如，智能笔100可以本地存储一个或多个内容识别算法，例如字符识别或语音识别，从而允许智能笔100本地识别来自智能笔100所接收的一个或多个输入模态的输入。
在一个实施方式中，智能笔100还包括操作系统或者支持一个或多个输入模态(诸如手写捕获、音频捕获或姿势捕获)或输出模态(诸如音频回放或视觉数据的显示)的其他软件。操作系统或其他软件可以支持输入模态和输出模态的组合并对输入模态(例如，捕获书写的和/或说出的数据作为输入)和输出模态(例如，呈现音频或视觉数据作为对用户的输出)之间的组合、定序和转换进行管理。例如，输入模态和输出模态之间的这个转换允许用户在收听智能笔100播放的音频的同时，同步地在纸张或其他表面上书写，或者当用户在用智能笔100书写的同时，智能笔100还可以捕获用户说出的音频。
在一个实施方式中，操作系统和应用支持独立的和/或并发的输入模态和输出模态的序列以及这些模态之间的无缝转换，以用于语言学习。例如，在操作系统上运行的、支持模态独立、并发和定序的语言学习(LL)应用可以开始这样的课程，其宣布今天的课程要学习中文的写、读、说和听。智能笔100接着可以利用动画显示普通话字符的创建、以恰当的次序在显示器235上写出该字符的笔画，同时经由扬声器225读出该字符的发音。该操作系统将支持音频的同时显示和同步递送。LL应用继而可以提示用户书写字符的每一笔画，并随后在显示器225上利用动画显示每一笔画，由此以同步的方式，对用户输入笔画数据与显示在智能笔100上的信息的视觉输出的模态之间的转换进行定序。随着用户创建字符更加流利，开始写得更快，也许在笔画显示之前就开始写，该0S将支持笔画的实时捕获和翻译，而且以恰当的显示和适当的音频进行响应，使用户参与到多模态对话中。随着用户书写得更加熟练，用户开始领先于智能笔100，以显示笔画作为响应，而不是笔画领先，则智能笔100可以言语上称赞用户，而且要求用户在书写笔画的过程中或写完之后念出该字符的发音。随着用户念出该字符发音，智能笔100可以记录该声音而且将其与范例进行比较。智能笔100然后可以通过播放范例发音和用户发音来提示该用户，从而提供关于矫正发音的评论和/或视觉引导。智能笔100可以随后提示该用户听、写和说，一个接一个地发音出一系列单词，等待用户书写和读出这些单词，将输入语音和书写与范例进行比较，并且在必要时将用户重定向到重复写或说。
在这个例子的扩展中，智能笔100可以提示用户与预先印刷的语言学习文本或练习簿交互。智能笔100可以在多个显示之间转移用户的注意力，从文本到练习簿，到用户的笔记本，而且继续涉及智能笔100独立或并发地说出和显示的对话，指引用户独立或并发地说、写和看信息。输入模态和输出模态的许多其他结合以及定序也是可能的。
在一个实施方式中，处理器245和板上存储器250包括一个或多个可执行应用，其支持和启用菜单结构和在文件系统或应用菜单中的导航，从而允许启动应用或应用的功能。例如，菜单项目之间的导航包括在用户和智能笔100之间的对话，其涉及该用户说出的和/或书写的命令和/或姿势，以及来自智能笔计算系统的音频和/或视觉反馈。因此，智能笔100可以接收输入，以浏览来自多种模态的菜单结构。
例如，书写姿势、说出的关键字或物理运动可以指示：随后的输入与一个或多个应用命令相关联。也可以利用空间和/或时间组件的输入指示该随后数据。利用空间组件的输入示例包括并排的两个点。利用时间组件的输入示例包括一个紧接着另一个被书写的两个点。例如，用户可以连续两次快速按压智能笔100的表面，接着写单词或词组，例如“解决”、“发送”、“翻译”、“电子邮件”、“语音电子邮件”或其他预定单词或词组，以触发与书写的单词或词组相关联的命令，或者接收同与预定单词或词组相关联的命令相关联的附加参数。因为可以通过不同的格式来提供这些“快速启动”命令，因此菜单的导航或应用的启动得以简化。在传统的写和/或读中，“快速启动”命令优选地易于区分。
备选地，智能笔100还包括物理控制器，例如小型控制杆、滑块控件、跷板、电容性(或其他非机械)表面或接收用于浏览由智能笔100执行的应用或应用命令的菜单的输入的其他输入机制。
示例系统操作
图3为根据本发明一个实施方式的、在基于笔的计算系统中提供多个模态的流程图。本领域技术人员将会理解，其他实施方式可以按照不同的次序执行图3的步骤。而且，其他实施方式相比这里所描述的那些实施方式，还可以包括不同的和/或附加的步骤。
最初，智能笔100识别310与用户交互相关联的模态。在一个实施方式中，用户例如通过用智能笔100书写、移动该智能笔100或向智能笔100说话来与智能笔100交互。智能笔100随后识别310与一个或多个用户交互相关联的模态。例如，当用户用智能笔100书写时，成像系统210捕获随后由处理器245进行处理的书写数据，以确定该书写数据的子集是否与输入模态或输出模态相关联。类似地，对一个或多个麦克风220捕获的音频数据进行处理，以确定捕获的音频数据的子集是否与输入模态或输出模态相关联。智能笔100可以开始说话，而且允许用户打断，以重新引导该智能笔100的行为，即，提示智能笔100重放音频，加速或减慢回放，显示与音频同步的信息以增强智能笔100传达的音频信息、书签或音频标签信息的价值，或者以其他方式对用户输入做出响应。这允许智能笔100为通过各种模态所提供的输入或输出识别命令或请求，使得用户与智能笔100的交互更加直观和高效。
响应于确定了用户交互与输入模态相关联，输入类型被识别315。通过识别315该输入类型，智能笔100确定如何捕获输入数据。书写数据经由成像系统210被捕获325，而且作为图像或文本数据被存储在板上存储器250中。类似地，使用一个或多个麦克风220来记录327音频数据，而且随后将其存储在板上存储器250中。因此，在识别了与用户交互相关联的输入模态之后，智能笔100从与智能笔100的交互(例如书写的或说出的通信)中捕获附加数据。
所识别的输入类型可能不同于另外识别310模态的用户交互。例如，用户可以向智能笔100提供说出的命令以识别310输入模态而接着开始用智能笔100书写，这导致捕获325该书写数据。类似地，用户可以提供书写命令，例如书写“记录”，以识别导致智能笔100记录后续音频数据的输入模态。
响应于确定用户交互与输出模态相关联，输出类型被识别317。通过识别317该输出类型，智能笔100确定如何将信息传达给用户。文本数据经由显示器235或计算系统120被显示335。类似地，使用扬声器225、音频插头230或计算系统120播放337音频数据。因此，在识别与用户交互相关联的输出模态之后，智能笔100向用户呈现信息或数据，例如通过显示视觉数据或者播放音频数据。
所识别的输出类型可以不同于最初识别310模态的用户交互类型。例如，用户可以向智能笔100提供说出的命令，其识别310引起智能笔100显示335视觉数据的输出模态。类似地，用户可以提供书写命令，诸如书写“回放”，其识别310智能笔100播放之前捕获的音频数据的输出模态。
所识别的输出类型也可以是在与备选输入源的交互中被文字化的音频或视觉反馈的形式。例如，用户可以说或写“翻译成西班牙语”或轻拍印有“翻译成西班牙语”的可打印表面。用户接着可以轻拍打印在文本中的英语单词或轻拍之前写在纸张上的单词，以听它们从智能笔100的扬声器中以西班牙语念出，或在显示器235中看它们以西班牙语显示。用户接着可以说、写或轻拍(具有预先打印的按钮)“翻译成普通话”而且轻拍相同的单词以普通话听和/或看它们。智能笔100还可以捕获被轻拍的单词，以存储和后续通过测试用户对单词的知识或将它们发送到远程登录源来使用它们。
总结
为了阐述目的，已经提供了本发明实施方式的上述描述；并不意指它是穷举的或将本发明限制到所公开的精确形式。相关领域的技术人员可以理解，根据上述公开的许多修改和变化是可能的。
本描述的一些部分就信息操作的符号化表征和算法方面描述了本发明的实施方式。这些算法描述和表征通常被数据处理领域的技术人员所使用，以将他们工作的实质有效地传递给该领域其他技术人员。虽然在功能上、计算上或逻辑上描述了这些操作，不过能够理解：可以由计算机程序或等同的电子电路、微代码等来实施这些操作。此外，已经证明的是，在不失一般性的前提下，将这些操作的布置作为模块进行参考有时是方便的。所描述的操作及其相关联的模块可以在软件、固件、硬件或其任意组合中被具体化。
可以利用一个或多个硬件或软件模块，单独或与其他设备相结合地执行或实施这里描述的任意步骤、操作或处理。在一个实施方式中，用包括计算机可读介质的计算机程序产品实施软件模块，该计算机可读介质包含可以被计算机处理器执行以实施描述的任何或全部步骤、操作或过程的计算机程序代码。
本发明还涉及用于执行这里的操作的装置。该装置可以针对所需的目的而专门构建，和/或可以包括由存储在计算机中的计算机程序有选择地激活或重配置的通用计算机。这种计算机程序可以存储在有形的计算机可读存储介质中，其可以包括用于存储电子指令的任何类型的有形介质，并且每个存储介质都与计算机系统总线耦合。此外，说明书中所称的计算系统可以包括单个处理器或者可以是使用了用于提高计算能力的多处理器设计的架构。
本发明的实施方式还可以涉及包含在载波中的计算机数据信号，这些计算机数据信号包括计算机程序产品的任何实施方式或这里描述的其他数据结合。计算机数据信号是有形介质或载波中呈现的产品，而且被调制或者以其他方式编码在载波中，它是有形的而且根据任何的恰当传播方法被传播。
最后，说明书中使用的语言原则上是出于可读性和指导目的而选择的，而不是用来约束和限制本发明的主题。因此，期望本发明的范围不局限于这里的详细描述，而是基于在此申请所提出的任何权利要求。因此，本发明实施方式的公开意在说明，而非限定由所附权利要求记载的发明范围。

Claims (19)

1.一种用于使用多个模态与用户进行交互的智能笔设备，所述系统包括：
处理器；
姿势捕获系统，其被耦合到所述处理器，并被配置用于捕获手写数据；
一个或多个麦克风，其被耦合到所述处理器，并被配置用于捕获音频数据；
板上存储器，其被耦合到所述处理器并被配置用于响应于所述处理器识别输入来存储所述捕获的手写数据或捕获的音频数据；
显示器系统，其被耦合到所述处理器，并被配置用于响应于所述处理器识别与所述捕获的手写数据或捕获的音频数据相关联的输出而输出存储在所述板上存储器中的显示数据；
音频输出系统，其被耦合到所述处理器，并被配置用于响应于所述处理器识别与所述捕获的手写数据或捕获的音频数据相关联的输出而播放存储的音频数据；以及
计算机程序代码，其被存储在存储器上，并被配置为由所述处理器执行，所述计算机程序代码包括：用于识别与所述捕获的手写数据或捕获的音频数据相关联的输入的指令、用于向所述显示器系统提供显示数据或向所述音频输出系统提供音频数据以作为输出的指令。
2.如权利要求1的智能笔设备，其中所述板上存储器包括耦合到永久性存储器的随机访问存储器。
3.如权利要求1的智能笔设备，其中所述永久性存储器包括快闪存储器。
4.如权利要求1的智能笔设备，其中所述计算机程序代码进一步包括：用于将显示数据提供到所述显示器系统以及将音频数据提供到所述音频输出系统的指令，其中所述显示数据和音频数据是相关的。
5.如权利要求1的智能笔设备，其中所述计算机程序代码进一步包括：用于同时将显示数据提供到所述显示器系统和将音频数据提供到所述音频输出系统的指令。
6.如权利要求1的智能笔设备，其中所述显示器包括有机发光二极管(OLED)显示器。
7.如权利要求1的智能笔设备，其中所述显示器包括计算系统。
8.如权利要求1的智能笔设备，进一步包括：
落笔传感器，其被耦合到所述处理器和所述板上存储器，所述落笔传感器确定所述智能笔的位置，其中所述处理器进一步识别与所述智能笔的位置变化相关联的输出或输入。
9.如权利要求8的智能笔设备，其中所述落笔传感器进一步响应于所述处理器识别与所述捕获的手写子集或捕获的音频子集相关联的输出来提供触觉反馈。
10.一种用于基于笔的计算系统使用多个模态来与用户进行交互的方法，所述方法包括：
从所述用户接收交互；
将命令与所述交互相关联；
响应于将声音捕获命令与所述交互相关联，记录音频数据，并将记录的音频数据存储在智能笔中；
响应于将文本捕获命令与所述交互相关联，捕获所述智能笔附近的手写数据或文本数据，并将所述捕获的手写数据或文本数据存储在所述智能笔中；
响应于将音频回放命令与所述交互相关联，在听觉上向所述用户呈现数据；以及
响应于将视觉回放命令与所述交互相关联，在视觉上向所述用户呈现数据。
11.如权利要求10的方法，其中所述交互包括音频数据、手写数据、文本数据或所述智能笔的位置变化。
12.如权利要求10的方法，其中在听觉上呈现的数据和在视觉上呈现的数据是相关的。
13.如权利要求10的方法，其中在听觉上向所述用户呈现数据包括：
使用所述智能笔播放音频数据。
14.如权利要求10的方法，其中在视觉上向所述用户呈现数据包括：
在视觉上、在输出模块上显示数据。
15.如权利要求10的方法，进一步包括：
响应于将触觉命令与所述交互相关联，向所述用户提供触觉反馈。
16.一种用于使用多个模态与用户进行交互的基于笔的计算系统，所述系统包括：
智能笔设备，其被配置用于接收一个或多个用户交互；
计算机程序代码，其被存储在存储器上，并被配置为由耦合到所述智能笔设备的处理器执行，所述计算机程序代码包括：用于识别与捕获的手写子集或捕获的音频数据子集相关联的输入的指令；
存储设备，其被耦合到所述处理器和所述智能笔，所述存储设备板上存储器响应于所述处理器识别同与所述智能笔设备的用户交互相关联的输入，来存储与所述智能笔设备相关联的数据；以及
输出模块，其被耦合到所述处理器和所述存储设备，所述输出模块响应于所述处理器将输出同与所述智能笔设备的一个或多个用户交互的子集相关联，来向所述用户呈现存储的数据。
17.如权利要求16的基于笔的计算系统，其中所述输出模块包括扬声器，所述扬声器播放与所述存储的数据相关联的音频。
18.如权利要求16的基于笔的计算系统，其中所述输出模块包括显示器，所述显示器在视觉上向所述用户呈现存储的数据。
19.如权利要求16的基于笔的计算系统，其中所述一个或多个用户交互包括音频数据、手写数据、文本数据或所述智能笔位置变化中的至少一个。
CN200880023794A 2007-05-29 2008-05-29 多模态智能笔计算系统 Pending CN101689187A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US94066507P 2007-05-29 2007-05-29
US60/940,665 2007-05-29
PCT/US2008/065144 WO2008150909A1 (en) 2007-05-29 2008-05-29 Multi-modal smartpen computing system

Publications (1)

Publication Number Publication Date
CN101689187A true CN101689187A (zh) 2010-03-31

Family

ID=40094105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880023794A Pending CN101689187A (zh) 2007-05-29 2008-05-29 多模态智能笔计算系统

Country Status (8)

Country Link
US (1) US20090021494A1 (zh)
EP (1) EP2168054A4 (zh)
JP (1) JP5451599B2 (zh)
KR (1) KR20100029219A (zh)
CN (1) CN101689187A (zh)
AU (1) AU2008260115B2 (zh)
CA (1) CA2688634A1 (zh)
WO (1) WO2008150909A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049115A (zh) * 2013-01-28 2013-04-17 合肥华恒电子科技有限责任公司 一种记录手写笔运动姿态的手写输入装置
CN103116462A (zh) * 2013-01-28 2013-05-22 合肥华恒电子科技有限责任公司 一种带有声音反馈的手写输入装置
CN103930853A (zh) * 2011-09-22 2014-07-16 惠普发展公司，有限责任合伙企业 软按键输入系统及方法
CN104040469A (zh) * 2011-05-23 2014-09-10 智思博公司 在基于笔的计算系统中的内容选择
CN105556426A (zh) * 2013-08-22 2016-05-04 密克罗奇普技术公司 具通信接口的触摸屏触控笔
CN105706456A (zh) * 2014-05-23 2016-06-22 三星电子株式会社 用于再现内容的方法和装置
CN106406720A (zh) * 2015-08-03 2017-02-15 联想（新加坡）私人有限公司 信息处理方法和信息处理装置
US10108869B2 (en) 2014-05-23 2018-10-23 Samsung Electronics Co., Ltd. Method and device for reproducing content
CN109263362A (zh) * 2018-10-29 2019-01-25 广东小天才科技有限公司 一种智能笔及其控制方法
CN110543290A (zh) * 2018-09-04 2019-12-06 谷歌有限责任公司 多模态响应
CN114144747A (zh) * 2019-09-06 2022-03-04 株式会社Dot 基于输入反馈的智能笔及基于凸出型反馈的智能平板电脑

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200937260A (en) * 2008-02-25 2009-09-01 J Touch Corp Capacitive stylus pen
ITTV20090049A1 (it) 2009-03-19 2010-09-20 Lifeview Srl Sistema di lettura multimediale interattivo.
KR101049457B1 (ko) * 2009-06-09 2011-07-15 주식회사 네오랩컨버전스 네트워크 상의 학습 패턴 분석 서비스 제공 방법 및 이에 사용되는 서버
JP5888838B2 (ja) * 2010-04-13 2016-03-22 グリッドマーク株式会社 手書き入力ボードを用いた手書き入力システム、手書き入力ボード、スキャナーペンおよび手書き入力ボードを用いた情報処理システム
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
CN103003836A (zh) * 2010-06-17 2013-03-27 英迪股份有限公司 在网络上提供学习模式分析服务的方法及其使用的服务器
CN104205011B (zh) * 2012-03-21 2018-05-04 祥闳科技股份有限公司 视觉接口装置及数据传输系统
JP6019211B2 (ja) 2012-03-21 2016-11-02 熊光 蔡 ビジョンインタフェース装置及びデータ伝送システム
KR20130113218A (ko) * 2012-04-05 2013-10-15 강신태 전자노트 기능을 갖는 시스템 및 그 운용방법
US9792038B2 (en) 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
WO2015194899A1 (ko) * 2014-06-19 2015-12-23 주식회사 네오랩컨버전스 전자펜, 전자펜 관련 어플리케이션, 전자펜 블루투스 등록 방법 및 도트 코드와 이를 인코딩 또는 디코딩하는 방법
KR102154020B1 (ko) * 2016-12-30 2020-09-09 주식회사 네오랩컨버전스 전자펜 관련 어플리케이션 구동 방법 및 장치
US10248226B2 (en) 2017-02-10 2019-04-02 Microsoft Technology Licensing, Llc Configuring digital pens for use across different applications
CN106952516A (zh) * 2017-05-16 2017-07-14 武汉科技大学 一种学生课堂书写时段的智能分析系统
KR102156180B1 (ko) * 2019-12-13 2020-09-15 주식회사 에스제이더블유인터내셔널 전자펜을 이용한 외국어 학습 시스템 및 외국어 학습 방법

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412795A (en) * 1992-02-25 1995-05-02 Micral, Inc. State machine having a variable timing mechanism for varying the duration of logical output states of the state machine based on variation in the clock frequency
US5818428A (en) * 1993-01-21 1998-10-06 Whirlpool Corporation Appliance control system with configurable interface
US5745782A (en) * 1993-09-28 1998-04-28 Regents Of The University Of Michigan Method and system for organizing and presenting audio/visual information
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
GB9722766D0 (en) * 1997-10-28 1997-12-24 British Telecomm Portable computers
US6195693B1 (en) * 1997-11-18 2001-02-27 International Business Machines Corporation Method and system for network delivery of content associated with physical audio media
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US7091959B1 (en) * 1999-03-31 2006-08-15 Advanced Digital Systems, Inc. System, computer program product, computing device, and associated methods for form identification and information manipulation
US7295193B2 (en) * 1999-12-23 2007-11-13 Anoto Ab Written command
US20030061188A1 (en) * 1999-12-23 2003-03-27 Linus Wiebe General information management system
SE9904744L (sv) * 1999-12-23 2001-06-24 Anoto Ab Styrning av anordning
US6965447B2 (en) * 2000-05-08 2005-11-15 Konica Corporation Method for producing a print having a visual image and specific printed information
EP2385518A3 (en) * 2000-05-24 2012-02-15 Immersion Medical, Inc. Haptic devices using electroactive polymers
US20020107885A1 (en) * 2001-02-01 2002-08-08 Advanced Digital Systems, Inc. System, computer program product, and method for capturing and processing form data
US20020110401A1 (en) * 2001-02-15 2002-08-15 Gershuni Daniel B. Keyboard and associated display
US7916124B1 (en) * 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7175095B2 (en) * 2001-09-13 2007-02-13 Anoto Ab Coding pattern
JP4050546B2 (ja) * 2002-04-15 2008-02-20 株式会社リコー 情報処理システム
JP2004045844A (ja) * 2002-07-12 2004-02-12 Dainippon Printing Co Ltd 漢字書き順学習システム、漢字書き順判定プログラム、および漢字練習用紙
JP2004145408A (ja) * 2002-10-22 2004-05-20 Hitachi Ltd デジタルペンおよびデジタルペーパを利用した計算システム
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US20040240739A1 (en) * 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US7616333B2 (en) * 2003-08-21 2009-11-10 Microsoft Corporation Electronic ink processing and application programming interfaces
US20060125805A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US20060066591A1 (en) * 2004-03-17 2006-03-30 James Marggraff Method and system for implementing a user interface for a device through recognized text and bounded areas
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US7453447B2 (en) * 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060057545A1 (en) * 2004-09-14 2006-03-16 Sensory, Incorporated Pronunciation training method and apparatus
JP4546816B2 (ja) * 2004-12-15 2010-09-22 株式会社ワオ・コーポレーション 情報処理システム、サーバ装置、およびプログラム
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7627703B2 (en) * 2005-06-29 2009-12-01 Microsoft Corporation Input device with audio capabilities
US20070030257A1 (en) * 2005-08-04 2007-02-08 Bhogal Kulvir S Locking digital pen
US7281664B1 (en) * 2005-10-05 2007-10-16 Leapfrog Enterprises, Inc. Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
GB2432929A (en) * 2005-11-25 2007-06-06 Hewlett Packard Development Co Paper calendar employing digital pen input provides notification of appointment conflicts
US20070280627A1 (en) * 2006-05-19 2007-12-06 James Marggraff Recording and playback of voice messages associated with note paper
US7475078B2 (en) * 2006-05-30 2009-01-06 Microsoft Corporation Two-way synchronization of media data
WO2007141204A1 (en) * 2006-06-02 2007-12-13 Anoto Ab System and method for recalling media
US7633493B2 (en) * 2006-06-19 2009-12-15 International Business Machines Corporation Camera-equipped writing tablet apparatus for digitizing form entries

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040469A (zh) * 2011-05-23 2014-09-10 智思博公司 在基于笔的计算系统中的内容选择
CN103930853A (zh) * 2011-09-22 2014-07-16 惠普发展公司，有限责任合伙企业 软按键输入系统及方法
CN103049115A (zh) * 2013-01-28 2013-04-17 合肥华恒电子科技有限责任公司 一种记录手写笔运动姿态的手写输入装置
CN103116462A (zh) * 2013-01-28 2013-05-22 合肥华恒电子科技有限责任公司 一种带有声音反馈的手写输入装置
CN103049115B (zh) * 2013-01-28 2016-08-10 合肥华恒电子科技有限责任公司 一种记录手写笔运动姿态的手写输入装置
CN105556426A (zh) * 2013-08-22 2016-05-04 密克罗奇普技术公司 具通信接口的触摸屏触控笔
CN105556426B (zh) * 2013-08-22 2020-10-13 密克罗奇普技术公司 具通信接口的触摸屏触控笔
CN109254720A (zh) * 2014-05-23 2019-01-22 三星电子株式会社 用于再现内容的方法和装置
CN105706456A (zh) * 2014-05-23 2016-06-22 三星电子株式会社 用于再现内容的方法和装置
CN105706456B (zh) * 2014-05-23 2018-11-30 三星电子株式会社 用于再现内容的方法和装置
CN109508137B (zh) * 2014-05-23 2021-09-14 三星电子株式会社 用于再现内容的方法和装置
CN109254720B (zh) * 2014-05-23 2021-06-08 三星电子株式会社 用于再现内容的方法和装置
CN109508137A (zh) * 2014-05-23 2019-03-22 三星电子株式会社 用于再现内容的方法和装置
US10108869B2 (en) 2014-05-23 2018-10-23 Samsung Electronics Co., Ltd. Method and device for reproducing content
US10528249B2 (en) 2014-05-23 2020-01-07 Samsung Electronics Co., Ltd. Method and device for reproducing partial handwritten content
US10733466B2 (en) 2014-05-23 2020-08-04 Samsung Electronics Co., Ltd. Method and device for reproducing content
CN106406720B (zh) * 2015-08-03 2020-02-21 联想（新加坡）私人有限公司 信息处理方法和信息处理装置
CN106406720A (zh) * 2015-08-03 2017-02-15 联想（新加坡）私人有限公司 信息处理方法和信息处理装置
CN110543290A (zh) * 2018-09-04 2019-12-06 谷歌有限责任公司 多模态响应
CN110543290B (zh) * 2018-09-04 2024-03-05 谷歌有限责任公司 多模态响应
US11935530B2 (en) 2018-09-04 2024-03-19 Google Llc Multimodal responses
CN109263362A (zh) * 2018-10-29 2019-01-25 广东小天才科技有限公司 一种智能笔及其控制方法
CN114144747A (zh) * 2019-09-06 2022-03-04 株式会社Dot 基于输入反馈的智能笔及基于凸出型反馈的智能平板电脑

Also Published As

Publication number Publication date
CA2688634A1 (en) 2008-12-11
EP2168054A4 (en) 2012-01-25
EP2168054A1 (en) 2010-03-31
JP2010529539A (ja) 2010-08-26
AU2008260115B2 (en) 2013-09-26
JP5451599B2 (ja) 2014-03-26
US20090021494A1 (en) 2009-01-22
KR20100029219A (ko) 2010-03-16
WO2008150909A1 (en) 2008-12-11
AU2008260115A1 (en) 2008-12-11

Similar Documents

Publication Publication Date Title
CN101689187A (zh) 多模态智能笔计算系统
US20090251338A1 (en) Ink Tags In A Smart Pen Computing System
US8265382B2 (en) Electronic annotation of documents with preexisting content
US8300252B2 (en) Managing objects with varying and repeated printed positioning information
US20160124702A1 (en) Audio Bookmarking
US8446298B2 (en) Quick record function in a smart pen computing system
CN102037451B (zh) 多模态控制器
CN102067153A (zh) 多模态学习系统
US20160117142A1 (en) Multiple-user collaboration with a smart pen system
US8446297B2 (en) Grouping variable media inputs to reflect a user session
US8002185B2 (en) Decoupled applications for printed materials
US8416218B2 (en) Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
CN104254815A (zh) 书写内容的空间上相关的注释的显示

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20100331

RJ01 Rejection of invention patent application after publication