CN1922611B - 电子笔-计算机多媒体交互式系统 - Google Patents

电子笔-计算机多媒体交互式系统 Download PDF

Info

Publication number
CN1922611B
CN1922611B CN2003801110390A CN200380111039A CN1922611B CN 1922611 B CN1922611 B CN 1922611B CN 2003801110390 A CN2003801110390 A CN 2003801110390A CN 200380111039 A CN200380111039 A CN 200380111039A CN 1922611 B CN1922611 B CN 1922611B
Authority
CN
China
Prior art keywords
content
page
printing material
action
existing printing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2003801110390A
Other languages
English (en)
Other versions
CN1922611A (zh
Inventor
M·杨
B-L·姚
李丹
唐兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel China Ltd
Intel Corp
Original Assignee
Intel China Ltd
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel China Ltd, Intel Corp filed Critical Intel China Ltd
Publication of CN1922611A publication Critical patent/CN1922611A/zh
Application granted granted Critical
Publication of CN1922611B publication Critical patent/CN1922611B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于将任何印刷材料上的所选对象关联到计算机系统提供的有效响应的系统，所述系统包括：指示设备，用于确定所述印刷材料上的位置；通信设备，用于将所述位置发送到所述计算机系统；以及播放器组件，用于将所述位置关联到和所述印刷材料关联的可由计算机系统访问的所选数字内容；并且至少部分基于所述位置和关联的内容为用户提供有效响应，其中所述有效响应包括演示音频内容、演示视频内容、演示图像内容以及由计算机系统执行动作中至少一者。在一个实施方式中，所述指示设备为电子笔并且所述印刷材料为传统的纸张书籍。

Description

电子笔-计算机多媒体交互式系统
技术领域
本发明一般地涉及计算机系统，并且尤其涉及在多媒体交互式模式中个人计算机(PC)的新的使用模型。
背景技术
对于计算机系统，如PC，许多不同的输入设备在这几年得到了发展。被熟练和非熟练计算机的用户使用的设备例如鼠标、轨迹球、触摸屏、操纵杆等取得了不同程度的成功。对于某些非熟练用户如小孩子或者老年人，操作这些输入设备有时存在问题，因此潜在的限制了他们使用PC的乐趣。
与输入方法相关的新近的进步是电子笔。用户可以使用电子笔在传统的纸张上书写。所述电子笔发送包括坐标信息的无线信号给接收器。接收器可以计算笔尖的位置信息并且发送这个信息给PC。这个解决方法是对于PC最简单自然的输入方法之一。用户可以在普通的纸张上写任何东西。电子笔可以获得笔尖的绝对位置而不需要依赖任何书面材料的内容。一些应用程序已经可以使用电子笔技术运行。例如，笔应用程序可以获取用户的笔迹并且将所写的整合到应用程序中(例如电子邮件(e-mail)程序)以发送包括笔迹图片的电子邮件。电子笔也可以用作选择设备(和使用鼠标一样)以控制窗体的光标。
由于使用电子笔比其他输入方法更加自然简单，尤其对于非熟练计算机用户可能感到很实用。例如，使用键盘存在困难的小孩子和老年人可以使用这样的笔有效地输入信息。电子笔对于输入以亚洲语言(例如汉语)表达的信息到计算机尤其有用。
另外，由于在材料上对多媒体功能内在的支持，电子书和/或课程软件越来越流行。用户可以在PC上欣赏音频、视频和静态图像并且从这些材料上获取比单纯文本产品更多的信息。但是，阅读者可以接着享受传统纸张书本的便利和广泛分布的可用性。
附图说明
本发明的特征和优点通过以下对本发明的详细描述将会显而易见，其中：
图1为根据本发明实施方式的电子笔一计算机多媒体交互式系统的示意图；
图2为显示根据本发明实施方式的电子笔系统的示意图；
图3为根据本发明实施方式的多媒体系统中的制作器组件和播放器组件的流程图；
图4为根据本发明实施方式的播放器处理的流程图；
图5为根据本发明实施方式的制作器处理的流程图；
图6为根据本发明实施方式的对象识别处理的实例；
图7为根据本发明实施方式的动作链接处理的流程图；
图8为本发明系统支持的书籍中的页面的实例；以及
图9为根据本发明实施方式的逻辑行为链接处理的流程图。
具体实施方式
本发明的具体实施方式介绍了一种基于电子笔位置定位系统和传统纸张书籍的组合的计算机系统的新的使用模型。本发明的实施方式提供了一种用于链接电子书和/或课程软件与传统纸张书籍的方法。通过使用本发明，用户可以在读书时在计算机系统(例如PC)中享受多媒体内容。本发明提供由PC提供的但直接基于现存纸张书籍中所选择的内容的交互性。在用户使用之前，书籍中的部分内容会由系统处理以在书籍的内容和存储在计算机系统中的多媒体内容之间建立链接。
在说明书中参考本发明的“一个实施方式”或者“实施方式”意味着与实施方式相关的所描述的特定特征、结构或者特性被包含在本发明至少一个实施方式中。因而，出现在说明书中许多地方的短语“在一个实施方式中”的出现并非必须涉及同一个实施方式。
图1为根据本发明实施方式的电子笔一计算机多媒体交互式系统100的示意图。在本发明的实施方式中，计算机系统102与用户阅读的传统纸张书籍104交互。这里使用的术语“书籍”可以是任何现存的印刷材料，如虚构或者非虚构的书籍，期刊例如杂志、报纸或者定期刊物，彩色书籍，小册子、广告等。书籍可以被用户摆放在书籍夹持器106上，书籍夹持器106夹持着书籍并且使书籍与接收设备108的关系固定。电子笔(E-pen)110可以被用户用来在书籍104上指点和/或书写。电子笔的位置可以由接收器确定并且通过通信连接112传送给计算机系统。所述通信连接可以包括任何有线或者无线连接，例如COM端口、通用串行总线(USB)、LPT、802.11无线标准的任何实现形式、蓝牙、红外线等。
计算机系统包括至少一个数据库和应用程序114以接收电子笔的位置信息和用户在阅读的书籍的标识，并且在计算机系统上演示多媒体内容或者提供所选操作以响应位置信息的接收。通常地，响应可以包括播放一个或者多个音频内容、播放视频内容、显示图像或者文字或者其他多媒体信息、或者对计算机系统执行预定义动作(例如调整扬声器的音量、调整显示亮度、或者关闭计算机系统)。所述响应应该在用户阅读该书籍之前建立，从而在计算机系统中执行的应用程序连接电子笔处于的传统的、现存的己出版书籍的页面部分的位置信息与合适的计算机系统响应的选择。
本发明的实施方式可以被使用如下。当书籍104由用户放上书籍夹持器时，接收器108可以固定在书籍夹持器106的顶部。这意味着书和接收器之间的距离是固定的。在至少一个实施方式中，所述固定关系可以包括书籍的一个角和两个侧边靠着书籍夹持器的固定90度角结构放置。当用户使用电子笔110在当前浏览的页面上选择书籍内容时，笔尖位置信息可以由接收器108计算出并且被发送到计算机系统102。在计算机系统中至少包括一个数据库。所述的至少一个数据库包括对应于当前电子笔位置的动作/响应信息、当前页面的书籍内容及存储的多媒体内容。数据库或者其部分可以在计算机系统102中，或者由该计算机系统使用公知技术，例如通过因特网，在外部存储和访问。应用程序接收位置信息，在所述至少一个数据库中搜索与位置信息和书籍内容相关的条目，并且然后播放对应的多媒体内容或者执行对应的预定义动作。在至少一个实施方式中，所述多媒体内容可以在可与所述计算机系统通信连接的用户电子设备上播放，如电视机、立体声系统、计算机显示监视器等。
本发明实施方式的一个使用是英语字母表教学。例如，书籍包括26页，每页包括字母表中的一个字母。第一页包括大的字母“A”和不同类型的苹果(apple)或者其他以字母“A”开头的对象的图片。当用户选择在书的该页上的字母“A”时(可能通过按压电子笔上的按钮或者将电子笔触及纸张)，计算机系统中的应用程序使计算机发出单词“apple”的声音，例如，通过计算机系统的扬声器。基本与此同时，计算机系统也可以用于显示更多的图片或者播放不同大小和颜色的苹果的视频(举例来说)。因此，为了增强的信息流和教学/娱乐的目的，本发明的实施方式获取现存书籍的内容并且将这些内容与计算机系统的交互性相结合。当用于教学时，本发明结合了现存的或者新出版的传统纸张书籍的力量和计算机系统的力量(在多媒体方面和一些实施方式中的因特网访问)。
利用本发明的实施方式，可以有多个其他的使用模式。例如，可以为不同年龄组设计不同的教育系统模式。对于2到4岁的小孩，可以基于现存书籍创建教简单单词、字母表和数字的应用程序和相关数据库以达到这样的目的。对于5到7岁的小孩，可以创建教句子的应用程序和相关数据库。通过其他的设置，可以有其他的模式，而且本发明不局限于这方面。例如，可以创建让旅行者从现存的印刷地图中获取更多信息的应用程序和相关数据库。在其他例子中，可以使用这里描述的系统和技术创建用于虚拟的远程控制家中的电子设备的应用程序。
图2为显示根据本发明实施方式的电子笔系统的示意图。所述电子笔系统获取书籍页面上的绝对笔尖位置信息。至少两个超声波传感器S1200和S2 202被排列在接收器108中的一条直线上，且与坐标系统原点(0，0)等距，分别由(D，0)和(-D，0)标示。电子笔110包括超声波发送器T204。当笔尖落下时，发送器发送可被接收器检测到的超声波信号。由于L1＝(T，S1)和L2＝(T，S2)距离不同，所以超声波信号在不同的时间抵达两个传感器。接收器108可以检测时间差并且计算L1和L2的长度。然后T的位置可以通过公式1计算：
x = l 1 2 - l 2 2 4 d y = l 2 2 - ( l 1 2 - l 2 2 - 4 d 2 4 d ) 2
X和Y坐标指明了笔尖的绝对位置信息。电子笔系统通过连接112将这个信息发送给计算机系统102。
一旦用户的计算机系统102接收到所述位置信息，所述信息可以由在此称为“播放器(player)”的组件的应用程序处理。播放器接收所述位置信息，在至少一个数据库中搜索对应的多媒体内容和/或合适的动作，并且播放对应的多媒体内容和/或执行所述动作。用户与播放器之间交互以使得传统的纸张书籍成为交互的用户体验。用户使用电子笔选择书籍上的对象，并且播放器提供基于笔尖位置和对象类型的对应响应。
在使用前，必须生成至少一个数据库以包括与笔尖位置相关的动作/响应信息、当前书籍内容、书籍的当前页、当前书籍的多媒体内容以及当前书籍的预定义动作。在发行人的计算机系统中执行的在此被称作“制作器(maker)”的组件的应用程序可以用于创建这些数据项之间的链接(linkage)。所述制作器可以被发行人(或者有时被熟练用户)使用以使用有限的手工工作制作出基于现存的传统纸张书籍(或者可能是新出版的书籍)的交互式多媒体产品。输入到制作器的输入数据包括书籍的页面图像、附加的多媒体内容以及预定义动作。发行人选择页面图像上的对象，并且将相关的多媒体内容和/或动作与所选择的对象相链接。所有的链接信息可以存储在所述至少一个数据库中。
在一个实施方式中，在交互式多媒体产品和/或书籍由用户或其他人在用户的场所制作时(例如，父母为孩子的使用准备链接)，发行人的计算机系统可以与用户的计算机系统是同一个。在一个实施方式中，多媒体内容可以包括一个或者多个由用户制作或获得的数字图像文件、数字视频文件、数字音频文件以及文档文件。在一个实施方式中，用户可以提供数字图像作为书籍的页面(例如，用户的原始数字照片)并且指定书籍中每页上的对象与该多媒体内容的链接。
图3为根据本发明实施方式的多媒体系统中的制作器组件300和播放器组件302的流程图。在方框304中，所述制作器组件300接收书籍中一页或多页的图像作为输入，并且然后对这些页面上呈现的对象定义区域信息。在一个实施方式中，所述制作器可以通过与作为多媒体内容发行人的系统用户进行交互来完成这个任务。在方框308中，制作器使用作为输入数据的多媒体文件和动作310建立笔的位置、书籍内容(例如，基于书籍页面上的对象)以及相关多媒体内容(例如，有关的音频、视频、图像、文档等)和/或动作之间的链接。在方框312中，为了播放器组件302的后续使用，制作器封装数据库。在一个实施方式中，当运行制作器组件时，发行人提供多媒体文件并且将多媒体文件安装在分布到具有播放器组件的用户的计算机系统的数据库中。在其他实施方式中，发行人提供可通过如因特网的网络访问的多媒体文件的链接。在这个实施方式中，播放器组件使用已知的文件传输协议或者公知的超文本传输协议(HTTP)获取所需文件。
所述数据库包括至少书籍内容数据库314、多媒体数据库316以及动作库318。所述书籍内容数据库包括所述书籍页面的图像、页面上对象的位置信息以及所述对象与多媒体内容或动作/响应之间的链接信息。所述多媒体数据库包括音频、视频、图像、文档以及其他对应于书籍页面上的对象用于演示的由用户感知的数据。所述动作库318包括，当电子笔落到表示相关动作的书籍页面上的对象上时，对由用户的计算机系统执行的预定义动作的指示。在一个实施方式中，所述动作可以包括选择后续交流的人类语言、调整扬声器的音量、调整计算机监视器的亮度、发送命令给输入/输出(I/O)端口、关闭计算机系统等。其他的动作也是可预期的。在一个实施方式中，这里描述的三个数据库可以组合成一个单一的数据库。
所述对应于书籍的数据库然后可以使用任何已知的机制发布到用户的计算机系统。播放器应用程序被安装到用户的计算机系统后，用户可以将书籍放在书籍夹持器上，启动计算机系统的播放器组件302，并且开始与书籍交互。当用户选择了书籍或书籍夹持器上对系统有意义的区域时，则用户选择了有效的输入。在一个实施方式中，用户选择其他区域可以被系统忽略。在方框320中，用户使用电子笔选择呈现在书籍页面上的对象。在方框322中，接收器在选择时计算当前笔尖的位置。在方框324中，接收器108使用连接112发送笔尖位置信息到计算机系统102。在方框326中，运行在计算机系统中的播放器组件接收位置信息并且搜索书籍内容数据库314以获取与通过当前页面上笔的当前位置选择的对象(如果有)相关的信息。如果选择了对象且多媒体内容和/或动作和所选择的对象相关，则在方框328中，播放器组件播放对应的多媒体内容和/或执行指定的动作。在执行方框328中，所述播放器组件使用来自多媒体数据库316和动作库318的数据。所述播放器组件指示所述内容在计算机系统和/或通信连接的消费者电子设备例如电视机上播放。
图4为根据本发明实施方式的播放器处理的流程图。在方框400中，所述播放器接收来自电子笔系统的当前位置信息。在方框402中，在一个实施方式中，所述播放器基于笔的当前位置信息确定用户是否正选择书籍页面上或者接收器或书籍夹持器上的特定区域。如果是这样，在一个实施方式中，所述播放器使用动作库318作为输入数据，在方框404中执行所选择的预定义动作。预定义动作可以包括诸如增大或减小扬声器的音量、调整计算机监视器的视觉属性、选择后续交流的人类语言等事件。也可以定义用于特定执行的其他动作，并且本发明并不局限在这方面。在一个实施方式中，所述动作可以用于控制播放器组件或者计算机系统，这些动作和书籍内容没有任何关系。如果笔的当前位置信息不指示特定区域，则播放器将位置信息与存储在书籍内容数据库314中的书籍页面上的已知对象进行比较。在方框406中，播放器基于对象的边界坐标和笔的当前位置信息，确定选择了该页面的哪个对象(如果有)。如果选择了对象，则在方框408中播放器从一个或多个书籍内容数据库、多媒体数据库316和动作库318中获取所选对象的链接信息。在方框410中，播放器基于对象的链接信息播放被链接的多媒体内容或者执行动作。
在用户由于使用电子笔在书籍页面上选择了对象促成相关多媒体内容的演示或者促成相关动作在计算机系统中的执行之前，数据库必须被组建且对象、位置以及内容和动作之间的链接必须被建立。根据本发明的实施方式，这个处理可以由制作器组件完成。本发明的制作器解决通过发行人或用户有限的的努力从传统书籍创建电子材料的问题。本发明的实施方式提供了从纸张书籍创建在计算机系统中的动作/响应的一般方法。基于本发明，发行人或用户可以利用有限的手工劳动创建链接到现存或新发行的传统纸张书籍的交互式多媒体材料。
所述制作器针对书籍页面上定义的对象的选择创建不同的动作或者响应。这里，术语“对象”可以是页面上包括特定意义的任何区域(例如，男孩子的照片、苹果的图像等)。利用发行人或用户有限的输入，所述制作器识别页面上的对象。在多种实施方式中，基于用户的输入，所述响应包括播放音频和视频、显示图像或者演示任何其他的多媒体信息、执行预定义动作或者执行逻辑脚本。用于制作器的输入数据包括书籍页面图像500、多媒体内容502以及预定义动作库318。制作器的输出数据包括书籍内容数据库314、多媒体数据库316和动作库318。所述书籍内容数据库包括每页上对象、多媒体数据库中的多媒体内容以及动作库中预定义动作之间的链接关系。
所述制作器提供三种服务。第一，制作器识别页面上的对象。制作器基于有限的用户输入确定每个对象的边界信息。第二，制作器创建所述对象、动作和响应之间的链接。例如，如果将一个音频文件链接到一个对象，当用户使用电子笔选择那个对象时，播放器则可以播放那个音频文件。多个多媒体文件和一个或多个动作/响应可以被链接到每个对象。第三，制作器封装数据库。当发行人或用户完成了书籍页面链接的建立，制作器将所有的信息封装到书籍内容数据库、多媒体数据库以及动作库中以和播放器一起发布到用户的计算机系统中。
图5为根据本发明实施方式的制作器处理的流程图。在方框504中，制作器创建新的空白的书籍数据库以保存书籍内容(例如对象定义和链接)、多媒体和动作。在方框506中，在一个实施方式中，制作器允许发行人或用户通过使用电子笔或鼠标和图像处理算法来识别对象区域。这个操作使用的页面图像可以通过使用扫描仪扫描获取或者可以是现存的图像文件。在一个实施方式中，书籍可以被摆放在书籍夹持器上并且页面图像可以在计算机系统的监视器中显示。在这个情况下，被显示的页面图像上对象的边界可以用于定义该对象。
在多种实施方式中，制作器可以使用一种或者多种方法以识别页面图像上的对象。在一个实施方式中，发行人或者用户用电子笔沿着书籍页面上的对象的边界画曲线，或者在边界上选择关键点。电子笔系统发送笔的位置信息给制作器，并且从而制作器获取大量的对象位置信息。根据发行人的绘制速度，制作器可以重新调节点的设置并且将它们标记为对象边界。可选的，当页面图像显示在监视器上时，发行人可以使用鼠标沿着页面图像上对象的边界画曲线，或者发行人可以修改本领域公知的形状(如三角形、矩形、椭圆形或多边形)以装入所述对象的边界。在其他实施方式中，发行人可以使用鼠标选择在监视器上显示的对象的一组边界点。制作器然后应用一个或多个已知的数字图像处理算法以自动识别对象边界。例如，可以使用已知的“智能分割”或者“魔棒”算法。在一些实施方式中，算法通过检查像素的灰度比例值、颜色和其他图像信息来识别对象。图6为根据本发明一个实施方式的对象识别处理的实例。在这个实例中，制作器已经识别了页面图像中的多个对象并且为每个对象创建了边界。通过这种方式，可以为页面图像确定所有对象。
然后，在方框508中，发行人或用户使用制作器手动创建对象、动作和响应之间的链接。发行人或用户选择对象并且给对象分配动作和/或响应。在至少一个实施方式中，存在三种类型的动作/响应。
第一，播放器可以播放多媒体内容，包括播放视频、播放音频、显示一个或多个图像或者显示文档。在这种情况下，发行人将该多媒体文件链接到对象。制作器记录这个链接信息并且将该链接保存到书籍内容数据库中。
第二，除了播放视频、音频、图像或文档，播放器可以执行预定义动作。例如，所述预定义动作可以是调整计算机系统中扬声器的音量、调整监视器的亮度、发送命令给任何I/O端口或者其他影响计算机系统的动作。预定义动作可以被分类成组。每个组可以包括动态链接库(DLL)510。可以在DLL和制作器之间定义软件接口。例如，在一个实施方式中，“GetActionList(LPSAction a_SActionArray，DWORD dwArrayLength，)”和“CallActionByID(INT ActionID)”应用程序接口(API)可以对每个DLL执行。“GetActionList”函数返回所有的有效动作名称和它们的动作ID。制作器可以调用这个API并且在制作器组件的用户界面(UI)上显示动作名称列表。当发行人或用户链接动作名称到对象时，制作器给该对象分配对应的动作ID并且在书籍内容数据库中保存这个链接信息。当播放器要执行对象的动作时，播放器从数据库中获得所述动作ID并且调用“CallAction ByID(INT ActionID)”函数。CallActionByID()基于所述动作ID调用特定的动作。
这个处理显示在图7中。图7为根据本发明实施方式的动作连接处理的流程图。在方框700中，制作器300调用可以访问动作列表702的GetActionList()API。动作列表中的每个条目可以通过唯一的动作ID来标识。在图7中显示了一些动作的例子，但是其他的动作也可以使用。在方框704中，制作器链接所述动作ID与当前处理的对象。在方框706中，制作器将链接信息封装到动作库318中。所述动作库可以随后由播放器组件302读取。在方框708中，当选择了特定对象并且该对象还链接着一个动作时，播放器从动作库中获取动作ID。在方框710中，播放器组件通过使用动作ID和CallActionByID()API调用该动作。然后在方框712中，所述动作由计算机系统执行。
第三，播放器可以基于用户预先的输入执行复杂的逻辑行为。例如，如图8所示，假设在书籍当前页面上有动物的图像和两个按钮。当用户首先选择“英文”按钮800(使用电子笔)，并且然后选择页面上的任何动物的图像时，播放器播放包括该动物英文名称的音频文件(例如)。而当用户首先选择“中文”按钮802，并且然后选择一个动物的图像时，播放器播放包括该动物中文名称的音频文件。这仅仅是复杂逻辑行为的一个例子。可以基于成功的用户输入创建许多其他的响应。
这个逻辑行为通过添加了发行人自己的功能扩展对象的行为。在一个实施方式中，它可以通过给制作器300添加脚本语言扩展能力来实现。在不同的实施方式中，脚本语言可以是能达到这一目的的任何已知的语言，如VBScript、Jscript、JavaScript、PerlScript、PythonScript等。在一个实施方式中，可能有对于书籍每个页面的脚本模块。发行人或用户可以为对象设计脚本函数。也可以在脚本模块中定义页面全局变量或者其他函数。制作器可以在动作库318中保存每页的脚本模块。播放器从动作库中装载当前页的脚本模块并且将该脚本模块添加到对应的脚本引擎(例如，用于处理脚本的可执行模块)。当用户选择了分配有脚本函数的对象时，播放器使用脚本引擎来执行该脚本函数。
图9为根据本发明实施方式的逻辑行为链接处理的流程图。在方框900中，制作器对书籍的所选页面定义所述页面全局变量和函数。播放音频和视频的函数简单的例子显示在方框902中。在方框904中，制作器对所选对象定义脚本函数。脚本函数例子的片段显示在方框906中。在方框908中，制作器将链接信息和脚本函数封装成脚本模块，并且在所述动作库中存储该链接信息和脚本函数。随后，当用户与书籍的当前页交互时，播放器从动作库中装载当前页的脚本模块。在方框912中，播放器将脚本模块添加到脚本引擎中。在一个实施方式中，脚本引擎可以是由来自微软公司的商业上可得到的Windows操作系统版本提供的VBScript或Jscript。在方框916中，当用户选择链接着脚本的对象时，播放器可以调用脚本函数。脚本函数的调用导致在脚本引擎中处理与所选对象相关的脚本。在方框918中，由于脚本引擎的运行，所述动作被执行。
回到图5，在方框512中，制作器在多媒体数据库、书籍内容数据库和动作库中的合适位置存储所有的链接信息、多媒体文件和其他动作/响应。在方框514中，在一个实施方式中，制作器产生书籍中页面的预览，用于由发行人或用户确认预期的链接已经存储。在方框516中，制作器封装数据库518以便于后续发布到用户的计算机系统。
本发明的实施方式通过现有的多媒体系统提供了至少以下优点。用户可以使用电子笔作为输入的方式。这对于计算机系统，如PC，是最简单自然的输入方法。具有这种输入方法，本发明可以被那些不熟悉键盘上打字的人们使用。用户仍旧可以读或看传统的书籍。同时，用户也可以控制从PC上获取多媒体信息。这意味着用户可以享受纸张书籍和电脑提供的多媒体功能的双重优点，所述多媒体功能包括本地或者经由网络如因特网可用的音频、视频、图像以及文档。另外，通过本发明的实施方式可以实现新的使用模型。在刚才的两个例子中，使用本发明的实施方式提供让小孩学习语言的教育系统，以及旅游者可以使用本发明从传统的地图上获取更多的有用信息。许多其他使用模型可以通过使用本发明成为可能。
从而，这里描述的是用于促进在需要有限的用户输入下从传统书籍到交互式多媒体书籍的转换的方法和设备。发行人可以使用这里描述的技术基于现存的纸张书籍创建交互式材料。本发明提供多种用于识别页面上对象的方法。发行人或用户既可以使用电子笔来定义页面上对象的边界，也可以在已知数字图像处理算法的帮助下使用鼠标在计算机系统监视器上定义对象的边界。另外，对于书籍的动作是可行的。这意味着用户可以通过与书籍页面的交互来控制计算机系统。最终，对于书籍的逻辑行为是可行的。这个特征通过无数种方法扩展了书籍的内容。例如，现存的书籍可以被转换为虚拟多语言学习书籍、虚拟乐器或者消费者电子设备的虚拟远程控制器。利用本发明的实施方式，其他应用是可预期的。
虽然这里描述的操作可能被描述成有序步骤，有些操作可能实际上在执行中是并行的或者并发的。另外，可以在一些实施方式中在不违背本发明实质的前提下重新安排操作的顺序。
这里描述的技术并不局限于任何特定的硬件或软件配置，它们在任何计算或处理环境中都是可适应的。所述技术可以在硬件、软件或两者的结合中实现。所述技术可以在可编程机器中执行的程序中实现，可编程机器如移动或固定计算机、个人数字助理、机顶盒、蜂窝电话和寻呼机以及其他电子设备，每个可编程机器包括处理器、处理器可读的存储介质(包括易失和非易失存储器和/或存储元件)、至少一个输入设备以及一个或多个输出设备。程序代码被应用到使用输入设备输入的数据以执行所描述的函数并且产生输出信息。输出信息可以被应用到一个或多个输出设备。本领域中的一个普通的技术可能很重视本发明能够在多种计算机系统配置如多处理器系统、小型机、大型计算机等中实行。本发明也可以在分布式计算环境中实行，所述分布式计算环境中，任务可以被通过通信网络连接起来的远程处理设备执行。
每个程序都可以通过高级别的程序语言或面向对象的编程语言与处理系统通信。但是，如果需要，程序可以通过汇编语言或机器语言来实现。在任何情况下，语言可以被编译或者解释。
程序指令可以用于促成使用指令编程以执行这里描述的操作的一般目的或特定目的的处理系统。可选的，所述操作可以由包括执行所述操作的硬接线逻辑的特定硬件组件执行，或者由可编程的计算机组件和惯用的硬件组件的任何组合执行。这里描述的方法可被提供作为计算机程序产品，所述计算机程序产品可包括在其上存储有可用于编程处理系统或其他电子设备以执行该方法的指令的机器可读介质。这里使用的术语“机器可读介质”应该包括能够存储或编码用于机器执行的指令序列的任何介质，并且该指令序列使机器执行这里描述的任何方法。所述术语“机器可读介质”因而应该包括，但不局限于，固态存储器、光磁盘以及编码数字信号的载波。而且本领域通常以一种或其他形式(例如，程序、进程、流程、应用程序、模块、逻辑等)作为执行动作或产生结果来谈论软件。这样的表述仅仅是表明软件通过处理系统的执行促使处理器执行可产生结果的动作的简单表述。
虽然参考实例实施方式描述了本发明，但该描述并不可通过有限的理解来解释。本领域的技术人员可以理解的适合本发明的对实例实施方式的多种修改以及本发明的其他实施方式被认定在本发明的实质和范围之内。

Claims (13)

1.一种将任何现存的印刷材料上显示的所选对象关联到由计算机系统提供的有效响应的方法，该方法包括：
通过检测处于所述现存的印刷材料附近的电子笔发出的超声波信号的时间信息来确定用户所选择的所述现存的印刷材料页面上的位置；
发送所述位置到计算机系统；
通过分析所述现存的印刷材料页面的数字图像来将所述位置关联到与所述现存的印刷材料相关的可由所述计算机系统访问的所选内容，以基于所述页面的数字图像内的所选择的对象的边界坐标和所述位置来确定显示在页面上的所选择的对象；以及
至少部分基于所选内容为所述用户提供有效响应，其中所述有效响应包括演示音频内容、演示视频内容、演示图像内容、演示文档内容以及由计算机系统执行动作中的至少一者。
2.根据权利要求1所述的方法，其中关联所述位置包括：搜索现存的印刷材料内容数据库，所述现存的印刷材料内容数据库包括页面的数字图像、页面中的对象的位置信息。
3.根据权利要求1所述的方法，其中执行所述动作包括：选择用于后续响应的语言。
4.根据权利要求1所述的方法，其中执行所述动作包括调整扬声器的音量、调整计算机监视器的亮度、发送命令到输入/输出端口以及关闭计算机系统中的至少一者。
5.根据权利要求1所述的方法，其中所述现存的印刷材料包括传统的纸张书籍。
6.根据权利要求1所述的方法，该方法还包括：
接收关于相应于所述现存的印刷材料的书籍的标识。
7.一种用于将任何现存的印刷材料上显示的所选对象关联到由计算机系统提供的有效响应的系统，所述系统包括：
由用户操作的电子笔，用于确定所述现存的印刷材料页面上的位置；
通信设备，用于将所述位置发送到计算机系统；
播放器组件，用于通过分析所述现存的印刷材料页面的数字图像来将所述位置关联到和所述现存的印刷材料关联的可由所述计算机系统访问的所选内容，以基于所述页面的数字图像内的所选择的对象的边界坐标和所述位置来确定显示在页面上的所选择的对象，并且至少部分基于所选内容为所述用户提供有效响应，其中所述有效响应包括演示音频内容、演示视频内容、演示图像内容、演示文档内容以及由计算机系统执行动作中的至少一者。
8.根据权利要求7所述的系统，该系统进一步包括：
夹持结构，用于夹持所述现存的印刷材料，并使该现存的印刷材料与所述电子笔关系固定。
9.根据权利要求7所述的系统，该系统进一步包括：
用于存储数字多媒体内容的多媒体数据库；
用于存储页面的数字图像、页面上对象的位置信息以及所述对象与多媒体内容和动作中的至少一者之间的链接信息的现存的印刷材料内容数据库；以及
用于存储在计算机系统中执行的动作的指示的动作库。
10.根据权利要求7所述的系统，其中所述现存的印刷材料包括传统的纸张书籍。
11.根据权利要求7所述的系统，其中所述动作包括：选择用于后续响应的语言。
12.根据权利要求7所述的系统，其中所述动作包括：调整扬声器的音量、调整计算机监视器的亮度、发送命令到输入/输出端口以及关闭计算机系统中的至少一者。
13.根据权利要求7所述的系统，其中所述播放器组件接收关于相应于所述现存的印刷材料的书籍的标识。
CN2003801110390A 2003-12-19 2003-12-19 电子笔-计算机多媒体交互式系统 Expired - Fee Related CN1922611B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2003/001087 WO2005059801A1 (en) 2003-12-19 2003-12-19 Electronic pen-computer multimedia interactive system

Publications (2)

Publication Number Publication Date
CN1922611A CN1922611A (zh) 2007-02-28
CN1922611B true CN1922611B (zh) 2010-09-29

Family

ID=34683148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2003801110390A Expired - Fee Related CN1922611B (zh) 2003-12-19 2003-12-19 电子笔-计算机多媒体交互式系统

Country Status (7)

Country Link
US (1) US20070013680A1 (zh)
EP (1) EP1697868B1 (zh)
JP (1) JP4511466B2 (zh)
KR (1) KR100874289B1 (zh)
CN (1) CN1922611B (zh)
AU (1) AU2003289797A1 (zh)
WO (1) WO2005059801A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203381A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 放送信号の予約録画方法および記録装置
ITMI20051809A1 (it) * 2005-09-28 2007-03-29 Mondadori Editore Spa Pubblicazione multimediale
WO2009023245A1 (en) * 2007-08-14 2009-02-19 Somatic Digital, Llc Interactive hybrid printed material interface system and method
CN101867562B (zh) * 2009-04-15 2015-12-16 爱国者数码科技有限公司 网络数字多媒体播放器
ITRA20110007A1 (it) * 2011-02-17 2012-08-18 Speranza Francesca Prodotto editoriale
US20130293707A1 (en) * 2012-05-04 2013-11-07 Yat Wai Edwin Kwong Systems and methods for allowing users to read electronic books from pages last viewed in corresponding physical books
US9354725B2 (en) 2012-06-01 2016-05-31 New York University Tracking movement of a writing instrument on a general surface
US8959345B2 (en) 2012-10-26 2015-02-17 Audible, Inc. Electronic reading position management for printed content
WO2015194899A1 (ko) * 2014-06-19 2015-12-23 주식회사 네오랩컨버전스 전자펜, 전자펜 관련 어플리케이션, 전자펜 블루투스 등록 방법 및 도트 코드와 이를 인코딩 또는 디코딩하는 방법
CN105808143B (zh) * 2016-03-07 2019-09-24 联想(北京)有限公司 一种信息处理方法及电子设备
US20180181762A1 (en) * 2016-12-28 2018-06-28 Intel Corporation Techniques for persistent firmware transfer monitoring
CN114973400A (zh) * 2022-04-22 2022-08-30 网易有道信息技术（北京）有限公司 基于指示物的指点信息匹配目标的方法及其相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2365614A (en) * 2000-06-30 2002-02-20 Gateway Inc An apparatus and method of generating an audio recording having linked data
CN1347065A (zh) * 2000-10-09 2002-05-01 鸿友科技股份有限公司 关联式的即时有声教学方法
US6414673B1 (en) * 1998-11-10 2002-07-02 Tidenet, Inc. Transmitter pen location system
CN1377490A (zh) * 1999-05-25 2002-10-30 西尔弗布鲁克研究股份有限公司 用于帐单管理的方法和系统
US6540141B1 (en) * 1997-10-07 2003-04-01 Interval Research Corporation Methods and systems for providing human/computer interfaces

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4809246A (en) * 1987-04-24 1989-02-28 Lih Jeng Sound illustrated book having page indicator circuit
US4884974A (en) * 1987-12-21 1989-12-05 View-Master Ideal Group, Inc. Interactive talking book and audio player assembly
US5063600A (en) * 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
US5247137A (en) * 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
US5739814A (en) * 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
JP3528860B2 (ja) * 1993-11-30 2004-05-24 ヤマハ株式会社 歌唱練習器
DE69423296T2 (de) * 1993-11-30 2000-11-30 Hewlett Packard Co Anordnung zur Dateneingabe
US5587560A (en) * 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US5810604A (en) * 1995-12-28 1998-09-22 Pioneer Publishing Electronic book and method
KR100224591B1 (ko) * 1997-03-21 1999-10-15 윤종용 다목적 학습기 및 그 동작방법
KR100208019B1 (ko) * 1997-07-16 1999-07-15 윤종용 다목적학습기
US6055552A (en) * 1997-10-31 2000-04-25 Hewlett Packard Company Data recording apparatus featuring spatial coordinate data merged with sequentially significant command data
US6378127B1 (en) * 1998-09-21 2002-04-23 Microsoft Corporation Software installation and validation using custom actions
JP2000105664A (ja) * 1998-09-28 2000-04-11 Sanyo Electric Co Ltd 電子ペン装置
US6335723B1 (en) * 1998-10-02 2002-01-01 Tidenet, Inc. Transmitter pen location system
US6763995B1 (en) * 1999-08-09 2004-07-20 Pil, L.L.C. Method and system for illustrating sound and text
JP3980798B2 (ja) * 1999-08-19 2007-09-26 株式会社リコー 筆記情報入力システム
JP2001209487A (ja) * 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
US7716163B2 (en) * 2000-06-06 2010-05-11 Microsoft Corporation Method and system for defining semantic categories and actions
US20020152255A1 (en) * 2001-02-08 2002-10-17 International Business Machines Corporation Accessibility on demand
US20020120635A1 (en) * 2001-02-27 2002-08-29 Joao Raymond Anthony Apparatus and method for providing an electronic book
US7162087B2 (en) * 2001-12-28 2007-01-09 Anoto Ab Method and apparatus for recording of electronic handwriting
US7081885B2 (en) * 2002-07-31 2006-07-25 Hewlett-Packard Development Company, L.P. System for enhancing books
JP2004199343A (ja) * 2002-12-18 2004-07-15 Fuji Xerox Co Ltd 画面制御装置
KR200333701Y1 (ko) * 2003-09-02 2003-11-17 이영우 전자펜을 이용한 음성출력 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6540141B1 (en) * 1997-10-07 2003-04-01 Interval Research Corporation Methods and systems for providing human/computer interfaces
US6414673B1 (en) * 1998-11-10 2002-07-02 Tidenet, Inc. Transmitter pen location system
CN1377490A (zh) * 1999-05-25 2002-10-30 西尔弗布鲁克研究股份有限公司 用于帐单管理的方法和系统
GB2365614A (en) * 2000-06-30 2002-02-20 Gateway Inc An apparatus and method of generating an audio recording having linked data
CN1347065A (zh) * 2000-10-09 2002-05-01 鸿友科技股份有限公司 关联式的即时有声教学方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2001-56749A 2001.02.27

Also Published As

Publication number Publication date
JP4511466B2 (ja) 2010-07-28
EP1697868B1 (en) 2014-12-17
EP1697868A1 (en) 2006-09-06
WO2005059801A1 (en) 2005-06-30
US20070013680A1 (en) 2007-01-18
KR20060100469A (ko) 2006-09-20
KR100874289B1 (ko) 2008-12-18
EP1697868A4 (en) 2007-06-13
CN1922611A (zh) 2007-02-28
AU2003289797A1 (en) 2005-07-05
JP2007524135A (ja) 2007-08-23

Similar Documents

Publication Publication Date Title
US9870633B2 (en) Automated highlighting of identified text
US20210150123A1 (en) Method and apparatus to layout screens of varying sizes
US7123742B2 (en) Print user interface system and its applications
Newton et al. Teaching science with ICT
EP2581895A2 (en) Content authoring application
CN1922611B (zh) 电子笔-计算机多媒体交互式系统
US20130129310A1 (en) Electronic book
KR101971161B1 (ko) 인쇄물용 분리된 애플리케이션
US20180277006A1 (en) Information display apparatus, information display method, and computer-readable recording medium
US20120070809A1 (en) Lesson learning system and method thereof
CN100573419C (zh) 将印刷材料与由计算机系统产生的响应关联的方法和系统
US10831982B2 (en) Hands-free presenting device
CN111767488A (zh) 文章显示方法、电子设备及存储介质
Huenerfauth Design approaches for developing user-interfaces accessible to illiterate users
KR20050021897A (ko) 학습 카드를 이용한 교육-학습 컨트롤러
CN1469294B (zh) 印刷用户介面系统及其应用
KR100847943B1 (ko) 전자 펜-컴퓨터 멀티미디어 대화형 시스템을 위한 응답생성
Beaumont et al. Constructing usable web menus
Barneva et al. Combining ubiquitous direction‐sensitive digitizing with a multimedia electronic dictionary for enhanced understanding
US20120147034A1 (en) Animated link sensation
Atiya Mohamed Atiya et al. Graphic design and Usability in websites
Widiarti et al. Enhancing the Transliteration of Words written in Javanese Script through Augmented Reality
Casabona et al. Responsive Design With Wordpress
KR20070033632A (ko) 터치스크린과 버튼 및 스피커를 사용하는 전자북
Bruce et al. Sams teach yourself Adobe Dreamweaver CS4 in 24 hours

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20171219