CN1922565A - 创建对电子笔－计算机多媒体交互式系统的响应 - Google Patents

创建对电子笔－计算机多媒体交互式系统的响应 Download PDF

Info

Publication number
CN1922565A
CN1922565A CNA2003801110403A CN200380111040A CN1922565A CN 1922565 A CN1922565 A CN 1922565A CN A2003801110403 A CNA2003801110403 A CN A2003801110403A CN 200380111040 A CN200380111040 A CN 200380111040A CN 1922565 A CN1922565 A CN 1922565A
Authority
CN
China
Prior art keywords
page
content
computer system
action
printing material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003801110403A
Other languages
English (en)
Other versions
CN100573419C (zh
Inventor
M·杨
B-L·姚
李丹
唐兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel China Ltd
Intel Corp
Original Assignee
Intel China Ltd
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel China Ltd, Intel Corp filed Critical Intel China Ltd
Publication of CN1922565A publication Critical patent/CN1922565A/zh
Application granted granted Critical
Publication of CN100573419C publication Critical patent/CN100573419C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Calculators And Similar Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用于将任何印刷材料上的所选对象关联到由计算机系统提供的有效响应的系统，所述系统包括：制作器组件，用于定义印刷材料页面上的对象，并且链接页面上对象的位置、页面内容以及由计算机系统执行的响应。所述系统还包括：指示设备，用于确定印刷材料上的位置；通信设备，用于将所述位置发送给计算机系统；以及播放器组件，用于将所述位置关联到和印刷材料关联的可由计算机系统访问的所选数字内容；并且至少部分基于所述位置和关联的内容为用户提供有效响应，其中所述有效响应包括演示音频内容、演示视频内容、演示图像内容以及由计算机系统执行动作中的至少一者。

Description

创建对电子笔-计算机多媒体交互式系统的响应
技术领域
本发明一般地涉及计算机系统，并且尤其涉及在多媒体交互式模式中个人计算机(PC)的新的使用模型。
背景技术
对于计算机系统，如PC，许多不同的输入设备在这几年得到了发展。被熟练和非熟练计算机的用户使用的设备例如鼠标、轨迹球、触摸屏、操纵杆等取得了不同程度的成功。对于某些非熟练用户如小孩子或者老年人，操作这些输入设备有时存在问题，因此潜在的限制了他们使用PC的乐趣。
与输入方法相关的新近的进步是电子笔。用户可以使用电子笔在传统的纸张上书写。所述电子笔发送包括坐标信息的无线信号给接收器。接收器可以计算笔尖的位置信息并且发送这个信息给PC。这个解决方法是对于PC最简单自然的输入方法之一。用户可以在普通的纸张上写任何东西。电子笔可以获得笔尖的绝对位置而不需要依赖任何书面材料的内容。一些应用程序已经可以使用电子笔技术运行。例如，笔应用程序可以获取用户的笔迹并且将所写的整合到应用程序中(例如电子邮件(e-mail)程序)以发送包括笔迹图片的电子邮件。电子笔也可以用作选择设备(和使用鼠标一样)以控制窗体的光标。
由于使用电子笔比其他输入方法更加自然简单，尤其对于非熟练计算机用户可能感到很实用。例如，使用键盘存在困难的小孩子和老年人可以使用这样的笔有效地输入信息。电子笔对于输入以亚洲语言(例如汉语)表达的信息到计算机尤其有用。
另外，由于在材料上对多媒体功能内在的支持，电子书和/或课程软件越来越流行。用户可以在PC上欣赏音频、视频和静态图像并且从这些材料上获取比单纯文本产品更多的信息。但是，阅读者可以接着享受传统纸张书本的便利和广泛分布的可用性。
附图说明
本发明的特征和优点通过以下对本发明的详细描述将会显而易见，其中：
图1为根据本发明实施方式的电子笔-计算机多媒体交互式系统的示意图；
图2为显示根据本发明实施方式的电子笔系统的示意图；
图3为根据本发明实施方式的多媒体系统中的制作器组件和播放器组件的流程图；
图4为根据本发明实施方式的播放器处理的流程图；
图5为根据本发明实施方式的制作器处理的流程图；
图6为根据本发明实施方式的对象识别处理的实例；
图7为根据本发明实施方式的动作链接处理的流程图；
图8为本发明系统支持的书籍中的页面的实例；以及
图9为根据本发明实施方式的逻辑行为链接处理的流程图。
具体实施方式
本发明的具体实施方式介绍了一种基于电子笔位置定位系统和传统纸张书籍的组合的计算机系统的新的使用模型。本发明的实施方式提供了一种用于链接电子书和/或课程软件与传统纸张书籍的方法。通过使用本发明，用户可以在读书时在计算机系统(例如PC)中享受多媒体内容。本发明提供由PC提供的但直接基于现存纸张书籍中所选择的内容的交互性。在用户使用之前，书籍中的部分内容会由系统处理以在书籍的内容和存储在计算机系统中的多媒体内容之间建立链接。
在说明书中参考本发明的“一个实施方式”或者“实施方式”意味着与实施方式相关的所描述的特定特征、结构或者特性被包含在本发明至少一个实施方式中。因而，出现在说明书中许多地方的短语“在一个实施方式中”的出现并非必须涉及同一个实施方式。
图1为根据本发明实施方式的电子笔-计算机多媒体交互式系统100的示意图。在本发明的实施方式中，计算机系统102与用户阅读的传统纸张书籍104交互。这里使用的术语“书籍”可以是任何现存的印刷材料，如虚构或者非虚构的书籍，期刊例如杂志、报纸或者定期刊物，彩色书籍，小册子、广告等。书籍可以被用户摆放在书籍夹持器106上，书籍夹持器106夹持着书籍并且使书籍与接收设备108的关系固定。电子笔(E-pen)110可以被用户用来在书籍104上指点和/或书写。电子笔的位置可以由接收器确定并且通过通信连接112传送给计算机系统。所述通信连接可以包括任何有线或者无线连接，例如COM端口、通用串行总线(USB)、LPT、802.11无线标准的任何实现形式、蓝牙、红外线等。
计算机系统包括至少一个数据库和应用程序114以接收电子笔的位置信息和用户在阅读的书籍的标识，并且在计算机系统上演示多媒体内容或者提供所选操作以响应位置信息的接收。通常地，响应可以包括播放一个或者多个音频内容、播放视频内容、显示图像或者文字或者其他多媒体信息、或者对计算机系统执行预定义动作(例如调整扬声器的音量、调整显示亮度、或者关闭计算机系统)。所述响应应该在用户阅读该书籍之前建立，从而在计算机系统中执行的应用程序连接电子笔处于的传统的、现存的已出版书籍的页面部分的位置信息与合适的计算机系统响应的选择。
本发明的实施方式可以被使用如下。当书籍104由用户放上书籍夹持器时，接收器108可以固定在书籍夹持器106的顶部。这意味着书和接收器之间的距离是固定的。在至少一个实施方式中，所述固定关系可以包括书籍的一个角和两个侧边靠着书籍夹持器的固定90度角结构放置。当用户使用电子笔110在当前浏览的页面上选择书籍内容时，笔尖位置信息可以由接收器108计算出并且被发送到计算机系统102。在计算机系统中至少包括一个数据库。所述的至少一个数据库包括对应于当前电子笔位置的动作/响应信息、当前页面的书籍内容及存储的多媒体内容。数据库或者其部分可以在计算机系统102中，或者由该计算机系统使用公知技术，例如通过因特网，在外部存储和访问。应用程序接收位置信息，在所述至少一个数据库中搜索与位置信息和书籍内容相关的条目，并且然后播放对应的多媒体内容或者执行对应的预定义动作。在至少一个实施方式中，所述多媒体内容可以在可与所述计算机系统通信连接的用户电子设备上播放，如电视机、立体声系统、计算机显示监视器等。
本发明实施方式的一个使用是英语字母表教学。例如，书籍包括26页，每页包括字母表中的一个字母。第一页包括大的字母“A”和不同类型的苹果(aple)或者其他以字母“A”开头的对象的图片。当用户选择在书的该页上的字母“A”时(可能通过按压电子笔上的按钮或者将电子笔触及纸张)，计算机系统中的应用程序使计算机发出单词“apple”的声音，例如，通过计算机系统的扬声器。基本与此同时，计算机系统也可以用于显示更多的图片或者播放不同大小和颜色的苹果的视频(举例来说)。因此，为了增强的信息流和教学/娱乐的目的，本发明的实施方式获取现存书籍的内容并且将这些内容与计算机系统的交互性相结合。当用于教学时，本发明结合了现存的或者新出版的传统纸张书籍的力量和计算机系统的力量(在多媒体方面和一些实施方式中的因特网访问)。
利用本发明的实施方式，可以有多个其他的使用模式。例如，可以为不同年龄组设计不同的教育系统模式。对于2到4岁的小孩，可以基于现存书籍创建教简单单词、字母表和数字的应用程序和相关数据库以达到这样的目的。对于5到7岁的小孩，可以创建教句子的应用程序和相关数据库。通过其他的设置，可以有其他的模式，而且本发明不局限于这方面。例如，可以创建让旅行者从现存的印刷地图中获取更多信息的应用程序和相关数据库。在其他例子中，可以使用这里描述的系统和技术创建用于虚拟的远程控制家中的电子设备的应用程序。
图2为显示根据本发明实施方式的电子笔系统的示意图。所述电子笔系统获取书籍页面上的绝对笔尖位置信息。至少两个超声波传感器S1 200和S2 202被排列在接收器108中的一条直线上，且与坐标系统原点(0，0)等距，分别由(D，0)和(-D，0)标示。电子笔110包括超声波发送器T 204。当笔尖落下时，发送器发送可被接收器检测到的超声波信号。由于L1＝(T，S1)和L2＝(T，S2)距离不同，所以超声波信号在不同的时间抵达两个传感器。接收器108可以检测时间差并且计算L1和L2的长度。然后T的位置可以通过公式1计算：
x = l 1 2 - l 2 2 4 d y = l 2 2 - ( l 1 2 - l 2 2 - 4 d 2 4 d ) 2
X和Y坐标指明了笔尖的绝对位置信息。电子笔系统通过连接112将这个信息发送给计算机系统102。
一旦用户的计算机系统102接收到所述位置信息，所述信息可以由在此称为“播放器(player)”的组件的应用程序处理。播放器接收所述位置信息，在至少一个数据库中搜索对应的多媒体内容和/或合适的动作，并且播放对应的多媒体内容和/或执行所述动作。用户与播放器之间交互以使得传统的纸张书籍成为交互的用户体验。用户使用电子笔选择书籍上的对象，并且播放器提供基于笔尖位置和对象类型的对应响应。
在使用前，必须生成至少一个数据库以包括与笔尖位置相关的动作/响应信息、当前书籍内容、书籍的当前页、当前书籍的多媒体内容以及当前书籍的预定义动作。在发行人的计算机系统中执行的在此被称作“制作器(maker)”的组件的应用程序可以用于创建这些数据项之间的链接(linkage)。所述制作器可以被发行人(或者有时被熟练用户)使用以使用有限的手工工作制作出基于现存的传统纸张书籍(或者可能是新出版的书籍)的交互式多媒体产品。输入到制作器的输入数据包括书籍的页面图像、附加的多媒体内容以及预定义动作。发行人选择页面图像上的对象，并且将相关的多媒体内容和/或动作与所选择的对象相链接。所有的链接信息可以存储在所述至少一个数据库中。
在一个实施方式中，在交互式多媒体产品和/或书籍由用户或其他人在用户的场所制作时(例如，父母为孩子的使用准备链接)，发行人的计算机系统可以与用户的计算机系统是同一个。在一个实施方式中，多媒体内容可以包括一个或者多个由用户制作或获得的数字图像文件、数字视频文件、数字音频文件以及文档文件。在一个实施方式中，用户可以提供数字图像作为书籍的页面(例如，用户的原始数字照片)并且指定书籍中每页上的对象与该多媒体内容的链接。
图3为根据本发明实施方式的多媒体系统中的制作器组件300和播放器组件302的流程图。在方框304中，所述制作器组件300接收书籍中一页或多页的图像作为输入，并且然后对这些页面上呈现的对象定义区域信息。在一个实施方式中，所述制作器可以通过与作为多媒体内容发行人的系统用户进行交互来完成这个任务。在方框308中，制作器使用作为输入数据的多媒体文件和动作310建立笔的位置、书籍内容(例如，基于书籍页面上的对象)以及相关多媒体内容(例如，有关的音频、视频、图像、文档等)和/或动作之间的链接。在方框312中，为了播放器组件302的后续使用，制作器封装数据库。在一个实施方式中，当运行制作器组件时，发行人提供多媒体文件并且将多媒体文件安装在分布到具有播放器组件的用户的计算机系统的数据库中。在其他实施方式中，发行人提供可通过如因特网的网络访问的多媒体文件的链接。在这个实施方式中，播放器组件使用已知的文件传输协议或者公知的超文本传输协议(HTTP)获取所需文件。
所述数据库包括至少书籍内容数据库314、多媒体数据库316以及动作库318。所述书籍内容数据库包括所述书籍页面的图像、页面上对象的位置信息以及所述对象与多媒体内容或动作/响应之间的链接信息。所述多媒体数据库包括音频、视频、图像、文档以及其他对应于书籍页面上的对象用于演示的由用户感知的数据。所述动作库318包括，当电子笔落到表示相关动作的书籍页面上的对象上时，对由用户的计算机系统执行的预定义动作的指示。在一个实施方式中，所述动作可以包括选择后续交流的人类语言、调整扬声器的音量、调整计算机监视器的亮度、发送命令给输入/输出(I/O)端口、关闭计算机系统等。其他的动作也是可预期的。在一个实施方式中，这里描述的三个数据库可以组合成一个单一的数据库。
所述对应于书籍的数据库然后可以使用任何已知的机制发布到用户的计算机系统。播放器应用程序被安装到用户的计算机系统后，用户可以将书籍放在书籍夹持器上，启动计算机系统的播放器组件302，并且开始与书籍交互。当用户选择了书籍或书籍夹持器上对系统有意义的区域时，则用户选择了有效的输入。在一个实施方式中，用户选择其他区域可以被系统忽略。在方框320中，用户使用电子笔选择呈现在书籍页面上的对象。在方框322中，接收器在选择时计算当前笔尖的位置。在方框324中，接收器108使用连接112发送笔尖位置信息到计算机系统102。在方框326中，运行在计算机系统中的播放器组件接收位置信息并且搜索书籍内容数据库314以获取与通过当前页面上笔的当前位置选择的对象(如果有)相关的信息。如果选择了对象且多媒体内容和/或动作和所选择的对象相关，则在方框328中，播放器组件播放对应的多媒体内容和/或执行指定的动作。在执行方框328中，所述播放器组件使用来自多媒体数据库316和动作库318的数据。所述播放器组件指示所述内容在计算机系统和/或通信连接的消费者电子设备例如电视机上播放。
图4为根据本发明实施方式的播放器处理的流程图。在方框400中，所述播放器接收来自电子笔系统的当前位置信息。在方框402中，在一个实施方式中，所述播放器基于笔的当前位置信息确定用户是否正选择书籍页面上或者接收器或书籍夹持器上的特定区域。如果是这样，在一个实施方式中，所述播放器使用动作库318作为输入数据，在方框404中执行所选择的预定义动作。预定义动作可以包括诸如增大或减小扬声器的音量、调整计算机监视器的视觉属性、选择后续交流的人类语言等事件。也可以定义用于特定执行的其他动作，并且本发明并不局限在这方面。在一个实施方式中，所述动作可以用于控制播放器组件或者计算机系统，这些动作和书籍内容没有任何关系。如果笔的当前位置信息不指示特定区域，则播放器将位置信息与存储在书籍内容数据库314中的书籍页面上的已知对象进行比较。在方框406中，播放器基于对象的边界坐标和笔的当前位置信息，确定选择了该页面的哪个对象(如果有)。如果选择了对象，则在方框408中播放器从一个或多个书籍内容数据库、多媒体数据库316和动作库318中获取所选对象的链接信息。在方框410中，播放器基于对象的链接信息播放被链接的多媒体内容或者执行动作。
在用户由于使用电子笔在书籍页面上选择了对象促成相关多媒体内容的演示或者促成相关动作在计算机系统中的执行之前，数据库必须被组建且对象、位置以及内容和动作之间的链接必须被建立。根据本发明的实施方式，这个处理可以由制作器组件完成。本发明的制作器解决通过发行人或用户有限的的努力从传统书籍创建电子材料的问题。本发明的实施方式提供了从纸张书籍创建在计算机系统中的动作/响应的一般方法。基于本发明，发行人或用户可以利用有限的手工劳动创建链接到现存或新发行的传统纸张书籍的交互式多媒体材料。
所述制作器针对书籍页面上定义的对象的选择创建不同的动作或者响应。这里，术语“对象”可以是页面上包括特定意义的任何区域(例如，男孩子的照片、苹果的图像等)。利用发行人或用户有限的输入，所述制作器识别页面上的对象。在多种实施方式中，基于用户的输入，所述响应包括播放音频和视频、显示图像或者演示任何其他的多媒体信息、执行预定义动作或者执行逻辑脚本。用于制作器的输入数据包括书籍页面图像500、多媒体内容502以及预定义动作库318。制作器的输出数据包括书籍内容数据库314、多媒体数据库316和动作库318。所述书籍内容数据库包括每页上对象、多媒体数据库中的多媒体内容以及动作库中预定义动作之间的链接关系。
所述制作器提供三种服务。第一，制作器识别页面上的对象。制作器基于有限的用户输入确定每个对象的边界信息。第二，制作器创建所述对象、动作和响应之间的链接。例如，如果将一个音频文件链接到一个对象，当用户使用电子笔选择那个对象时，播放器则可以播放那个音频文件。多个多媒体文件和一个或多个动作/响应可以被链接到每个对象。第三，制作器封装数据库。当发行人或用户完成了书籍页面链接的建立，制作器将所有的信息封装到书籍内容数据库、多媒体数据库以及动作库中以和播放器一起发布到用户的计算机系统中。
图5为根据本发明实施方式的制作器处理的流程图。在方框504中，制作器创建新的空白的书籍数据库以保存书籍内容(例如对象定义和链接)、多媒体和动作。在方框506中，在一个实施方式中，制作器允许发行人或用户通过使用电子笔或鼠标和图像处理算法来识别对象区域。这个操作使用的页面图像可以通过使用扫描仪扫描获取或者可以是现存的图像文件。在一个实施方式中，书籍可以被摆放在书籍夹持器上并且页面图像可以在计算机系统的监视器中显示。在这个情况下，被显示的页面图像上对象的边界可以用于定义该对象。
在多种实施方式中，制作器可以使用一种或者多种方法以识别页面图像上的对象。在一个实施方式中，发行人或者用户用电子笔沿着书籍页面上的对象的边界画曲线，或者在边界上选择关键点。电子笔系统发送笔的位置信息给制作器，并且从而制作器获取大量的对象位置信息。根据发行人的绘制速度，制作器可以重新调节点的设置并且将它们标记为对象边界。可选的，当页面图像显示在监视器上时，发行人可以使用鼠标沿着页面图像上对象的边界画曲线，或者发行人可以修改本领域公知的形状(如三角形、矩形、椭圆形或多边形)以装入所述对象的边界。在其他实施方式中，发行人可以使用鼠标选择在监视器上显示的对象的一组边界点。制作器然后应用一个或多个已知的数字图像处理算法以自动识别对象边界。例如，可以使用已知的“智能分割”或者“魔棒”算法。在一些实施方式中，算法通过检查像素的灰度比例值、颜色和其他图像信息来识别对象。图6为根据本发明一个实施方式的对象识别处理的实例。在这个实例中，制作器已经识别了页面图像中的多个对象并且为每个对象创建了边界。通过这种方式，可以为页面图像确定所有对象。
然后，在方框508中，发行人或用户使用制作器手动创建对象、动作和响应之间的链接。发行人或用户选择对象并且给对象分配动作和/或响应。在至少一个实施方式中，存在三种类型的动作/响应。
第一，播放器可以播放多媒体内容，包括播放视频、播放音频、显示一个或多个图像或者显示文档。在这种情况下，发行人将该多媒体文件链接到对象。制作器记录这个链接信息并且将该链接保存到书籍内容数据库中。
第二，除了播放视频、音频、图像或文档，播放器可以执行预定义动作。例如，所述预定义动作可以是调整计算机系统中扬声器的音量、调整监视器的亮度、发送命令给任何I/O端口或者其他影响计算机系统的动作。预定义动作可以被分类成组。每个组可以包括动态链接库(DLL)510。可以在DLL和制作器之间定义软件接口。例如，在一个实施方式中，“GetActionList(LPSAction a_SActionArray，DWORD dwArrayLength，)”和“CallActionByID(INT ActionID)”应用程序接口(API)可以对每个DLL执行。“GetActionList”函数返回所有的有效动作名称和它们的动作ID。制作器可以调用这个API并且在制作器组件的用户界面(UI)上显示动作名称列表。当发行人或用户链接动作名称到对象时，制作器给该对象分配对应的动作ID并且在书籍内容数据库中保存这个链接信息。当播放器要执行对象的动作时，播放器从数据库中获得所述动作ID并且调用“CallAction ByID(INT ActionID)”函数。CallActionByID()基于所述动作ID调用特定的动作。
这个处理显示在图7中。图7为根据本发明实施方式的动作连接处理的流程图。在方框700中，制作器300调用可以访问动作列表702的GetActionList()API。动作列表中的每个条目可以通过唯一的动作ID来标识。在图7中显示了一些动作的例子，但是其他的动作也可以使用。在方框704中，制作器链接所述动作ID与当前处理的对象。在方框706中，制作器将链接信息封装到动作库318中。所述动作库可以随后由播放器组件302读取。在方框708中，当选择了特定对象并且该对象还链接着一个动作时，播放器从动作库中获取动作ID。在方框710中，播放器组件通过使用动作ID和CallActionByID()API调用该动作。然后在方框712中，所述动作由计算机系统执行。
第三，播放器可以基于用户预先的输入执行复杂的逻辑行为。例如，如图8所示，假设在书籍当前页面上有动物的图像和两个按钮。当用户首先选择“英文”按钮800(使用电子笔)，并且然后选择页面上的任何动物的图像时，播放器播放包括该动物英文名称的音频文件(例如)。而当用户首先选择“中文”按钮802，并且然后选择一个动物的图像时，播放器播放包括该动物中文名称的音频文件。这仅仅是复杂逻辑行为的一个例子。可以基于成功的用户输入创建许多其他的响应。
这个逻辑行为通过添加了发行人自己的功能扩展对象的行为。在一个实施方式中，它可以通过给制作器300添加脚本语言扩展能力来实现。在不同的实施方式中，脚本语言可以是能达到这一目的的任何已知的语言，如VBScript、Jscript、JavaScript、PerlScript、PythonScript等。在一个实施方式中，可能有对于书籍每个页面的脚本模块。发行人或用户可以为对象设计脚本函数。也可以在脚本模块中定义页面全局变量或者其他函数。制作器可以在动作库318中保存每页的脚本模块。播放器从动作库中装载当前页的脚本模块并且将该脚本模块添加到对应的脚本引擎(例如，用于处理脚本的可执行模块)。当用户选择了分配有脚本函数的对象时，播放器使用脚本引擎来执行该脚本函数。
图9为根据本发明实施方式的逻辑行为链接处理的流程图。在方框900中，制作器对书籍的所选页面定义所述页面全局变量和函数。播放音频和视频的函数简单的例子显示在方框902中。在方框904中，制作器对所选对象定义脚本函数。脚本函数例子的片段显示在方框906中。在方框908中，制作器将链接信息和脚本函数封装成脚本模块，并且在所述动作库中存储该链接信息和脚本函数。随后，当用户与书籍的当前页交互时，播放器从动作库中装载当前页的脚本模块。在方框912中，播放器将脚本模块添加到脚本引擎中。在一个实施方式中，脚本引擎可以是由来自微软公司的商业上可得到的Windows操作系统版本提供的VBScript或Jscript。在方框916中，当用户选择链接着脚本的对象时，播放器可以调用脚本函数。脚本函数的调用导致在脚本引擎中处理与所选对象相关的脚本。在方框918中，由于脚本引擎的运行，所述动作被执行。
回到图5，在方框512中，制作器在多媒体数据库、书籍内容数据库和动作库中的合适位置存储所有的链接信息、多媒体文件和其他动作/响应。在方框514中，在一个实施方式中，制作器产生书籍中页面的预览，用于由发行人或用户确认预期的链接已经存储。在方框516中，制作器封装数据库518以便于后续发布到用户的计算机系统。
本发明的实施方式通过现有的多媒体系统提供了至少以下优点。用户可以使用电子笔作为输入的方式。这对于计算机系统，如PC，是最简单自然的输入方法。具有这种输入方法，本发明可以被那些不熟悉键盘上打字的人们使用。用户仍旧可以读或看传统的书籍。同时，用户也可以控制从PC上获取多媒体信息。这意味着用户可以享受纸张书籍和电脑提供的多媒体功能的双重优点，所述多媒体功能包括本地或者经由网络如因特网可用的音频、视频、图像以及文档。另外，通过本发明的实施方式可以实现新的使用模型。在刚才的两个例子中，使用本发明的实施方式提供让小孩学习语言的教育系统，以及旅游者可以使用本发明从传统的地图上获取更多的有用信息。许多其他使用模型可以通过使用本发明成为可能。
从而，这里描述的是用于促进在需要有限的用户输入下从传统书籍到交互式多媒体书籍的转换的方法和设备。发行人可以使用这里描述的技术基于现存的纸张书籍创建交互式材料。本发明提供多种用于识别页面上对象的方法。发行人或用户既可以使用电子笔来定义页面上对象的边界，也可以在已知数字图像处理算法的帮助下使用鼠标在计算机系统监视器上定义对象的边界。另外，对于书籍的动作是可行的。这意味着用户可以通过与书籍页面的交互来控制计算机系统。最终，对于书籍的逻辑行为是可行的。这个特征通过无数种方法扩展了书籍的内容。例如，现存的书籍可以被转换为虚拟多语言学习书籍、虚拟乐器或者消费者电子设备的虚拟远程控制器。利用本发明的实施方式，其他应用是可预期的。
虽然这里描述的操作可能被描述成有序步骤，有些操作可能实际上在执行中是并行的或者并发的。另外，可以在一些实施方式中在不违背本发明实质的前提下重新安排操作的顺序。
这里描述的技术并不局限于任何特定的硬件或软件配置，它们在任何计算或处理环境中都是可适应的。所述技术可以在硬件、软件或两者的结合中实现。所述技术可以在可编程机器中执行的程序中实现，可编程机器如移动或固定计算机、个人数字助理、机顶盒、蜂窝电话和寻呼机以及其他电子设备，每个可编程机器包括处理器、处理器可读的存储介质(包括易失和非易失存储器和/或存储元件)、至少一个输入设备以及一个或多个输出设备。程序代码被应用到使用输入设备输入的数据以执行所描述的函数并且产生输出信息。输出信息可以被应用到一个或多个输出设备。本领域中的一个普通的技术可能很重视本发明能够在多种计算机系统配置如多处理器系统、小型机、大型计算机等中实行。本发明也可以在分布式计算环境中实行，所述分布式计算环境中，任务可以被通过通信网络连接起来的远程处理设备执行。
每个程序都可以通过高级别的程序语言或面向对象的编程语言与处理系统通信。但是，如果需要，程序可以通过汇编语言或机器语言来实现。在任何情况下，语言可以被编译或者解释。
程序指令可以用于促成使用指令编程以执行这里描述的操作的一般目的或特定目的的处理系统。可选的，所述操作可以由包括执行所述操作的硬接线逻辑的特定硬件组件执行，或者由可编程的计算机组件和惯用的硬件组件的任何组合执行。这里描述的方法可被提供作为计算机程序产品，所述计算机程序产品可包括在其上存储有可用于编程处理系统或其他电子设备以执行该方法的指令的机器可读介质。这里使用的术语“机器可读介质”应该包括能够存储或编码用于机器执行的指令序列的任何介质，并且该指令序列使机器执行这里描述的任何方法。所述术语“机器可读介质”因而应该包括，但不局限于，固态存储器、光磁盘以及编码数字信号的载波。而且本领域通常以一种或其他形式(例如，程序、进程、流程、应用程序、模块、逻辑等)作为执行动作或产生结果来谈论软件。这样的表述仅仅是表明软件通过处理系统的执行促使处理器执行可产生结果的动作的简单表述。
虽然参考实例实施方式描述了本发明，但该描述并不可通过有限的理解来解释。本领域的技术人员可以理解的适合本发明的对实例实施方式的多种修改以及本发明的其他实施方式被认定在本发明的实质和范围之内。

Claims (22)

1、一种将印刷材料关联到计算机系统产生的响应的由计算机执行的方法，所述方法包括：
在印刷材料的页面上定义对象；以及
将页面上对象的位置与待由计算机系统执行的相关响应相链接。
2、根据权利要求1所述的由计算机执行的方法，其中所述响应包括演示音频内容、演示视频内容、演示图像内容、演示文档内容以及由计算机系统执行动作中的至少一者。
3、根据权利要求2所述的由计算机执行的方法，该方法进一步包括：
创建用于存储数字多媒体内容的多媒体数据库，所述数字多媒体内容包括音频内容、视频内容、图像内容以及文档内容中的至少一者；
创建用于存储页面上对象的位置信息以及所述对象与多媒体内容和动作中的至少一者之间的链接信息的印刷材料内容数据库；以及
创建用于存储在计算机系统中执行的动作的指示的动作库。
4、根据权利要求2所述的由计算机执行的方法，其中定义页面上的对象包括：使用电子笔画出页面上对象的边界的轮廓。
5、根据权利要求2所述的由计算机执行的方法，其中定义页面上的对象包括：使用电子笔选择页面上对象的边界上的关键点。
6、根据权利要求2所述的由计算机执行的方法，其中定义页面上的对象包括：使用鼠标操作显示器上的图形对象以装入显示器上显示的页面上的对象的边界。
7、根据权利要求2所述的由计算机执行的方法，其中定义页面上的对象包括：使用鼠标选择显示在显示器上的页面上的对象的边界上的关键点。
8、根据权利要求2所述的由计算机执行的方法，其中所述印刷材料包括传统的纸张书籍。
9、根据权利要求2所述的由计算机执行的方法，其中所述印刷材料包括用户产生的材料。
10、一种物件，包括：具有多条机器可访问指令的存储介质，其中当所述指令由处理器执行时，该指令通过定义印刷材料页面上的对象，规定将印刷材料链接到由计算机系统产生的响应；并且将页面上对象的位置与待由计算机系统执行的相关响应相链接。
11、根据权利要求10所述的物件，其中所述响应包括演示音频内容、演示视频内容、演示图像内容、演示文档内容以及由计算机系统执行动作中的至少一者。
12、根据权利要求11所述的物件，该物件进一步包括：
用于创建存储数字多媒体内容的多媒体数据库的指令，所述数字多媒体内容包括音频内容、视频内容、图像内容以及文档内容中的至少一者；
用于创建存储页面上对象的位置信息以及所述对象与多媒体内容和动作中的至少一者之间的链接信息的印刷材料内容数据库的指令；以及
用于创建存储在计算机系统中执行的动作的指示的动作库的指令。
13、根据权利要求11所述的物件，其中用于定义页面上的对象的指令包括：使用电子笔画出页面上对象的边界的轮廓的指令。
14、根据权利要求11所述的物件，其中用于定义页面上的对象的指令包括：使用电子笔选择页面上对象的边界上的关键点的指令。
15、根据权利要求11所述的物件，其中用于定义页面上的对象的指令包括：使用鼠标操作显示器上的图形对象以装入显示器上显示的页面上的对象的边界的指令。
16、根据权利要求11所述的物件，其中用于定义页面上的对象的指令包括：使用鼠标选择显示在显示器上的页面上的对象的边界上的关键点的指令。
17、根据权利要求11所述的物件，其中所述印刷材料包括传统的纸张书籍。
18、根据权利要求11所述的物件，其中所述印刷材料包括用户产生的材料。
19、一种用于将任何印刷材料上的所选对象关联到由计算机系统提供的有效响应的系统，所述系统包括：
指示设备，用于确定所述印刷材料上的位置；
通信设备，用于将所述位置发送到计算机系统；
制作器组件，用于定义印刷材料页面上的对象，并且将页面上对象的位置与由计算机系统执行的相关响应相链接；以及
播放器组件，用于将所指示的位置关联到和印刷材料相关的可由计算机系统访问的所选内容；并且至少部分基于所指示的位置和关联的内容为用户提供有效响应，其中所述有效响应包括演示音频内容、演示视频内容、演示图像内容、演示文档内容以及由计算机系统执行动作中的至少一者。
20、根据权利要求19所述的系统，其中所述指示设备包括电子笔。
21、根据权利要求19所述的系统，该系统进一步包括：
用于存储数字多媒体内容的多媒体数据库；
用于存储页面上对象的位置信息以及所述对象与多媒体内容和动作中的至少一者之间的链接信息的印刷材料内容数据库；以及
用于存储在计算机系统中执行的动作的指示的动作库。
22、根据权利要求19所述的系统，其中所述印刷材料包括传统的纸张书籍。
CNB2003801110403A 2003-12-19 2003-12-19 将印刷材料与由计算机系统产生的响应关联的方法和系统 Expired - Fee Related CN100573419C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2003/001088 WO2005059731A1 (en) 2003-12-19 2003-12-19 Creating responses for an electronic pen-computer multimedia interactive system

Publications (2)

Publication Number Publication Date
CN1922565A true CN1922565A (zh) 2007-02-28
CN100573419C CN100573419C (zh) 2009-12-23

Family

ID=34683149

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801110403A Expired - Fee Related CN100573419C (zh) 2003-12-19 2003-12-19 将印刷材料与由计算机系统产生的响应关联的方法和系统

Country Status (6)

Country Link
US (1) US8149217B2 (zh)
EP (1) EP1695194A4 (zh)
JP (1) JP4511467B2 (zh)
CN (1) CN100573419C (zh)
AU (1) AU2003291912A1 (zh)
WO (1) WO2005059731A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898822A (zh) * 2014-03-03 2015-09-09 联想(北京)有限公司 一种控制方法及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080174800A1 (en) * 2007-01-19 2008-07-24 Samsung Electronics Co., Ltd. Image forming apparatus, printing system including the same and control method thereof
US20090078473A1 (en) * 2007-09-26 2009-03-26 Digital Pen Systems Handwriting Capture For Determining Absolute Position Within A Form Layout Using Pen Position Triangulation
FI126084B (fi) * 2008-07-23 2016-06-30 Stora Enso Oyj Arkkipohjainen painotuote
US9846688B1 (en) 2010-12-28 2017-12-19 Amazon Technologies, Inc. Book version mapping
US8798366B1 (en) * 2010-12-28 2014-08-05 Amazon Technologies, Inc. Electronic book pagination
US8682750B2 (en) * 2011-03-11 2014-03-25 Intel Corporation Method and apparatus for enabling purchase of or information requests for objects in digital content
KR101473161B1 (ko) * 2012-10-31 2014-12-16 송민우 패턴코드 인식용 멀티미디어 재생장치 및 그 구동방법
CN112969043B (zh) * 2021-04-28 2021-08-24 北京优幕科技有限责任公司 媒体文件生成、播放方法及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ582900A0 (en) * 2000-02-24 2000-03-16 Silverbrook Research Pty Ltd Printed media production
AU622823B2 (en) * 1989-08-25 1992-04-16 Sony Corporation Portable graphic computer apparatus
JPH0736142B2 (ja) * 1991-10-10 1995-04-19 インターナショナル・ビジネス・マシーンズ・コーポレイション 移動指示手段の運動停止を認識する方法および情報処理装置
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
US5739814A (en) * 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
KR100324989B1 (ko) * 1993-11-08 2002-06-24 마츠시타 덴끼 산교 가부시키가이샤 입력표시일체형정보처리장치
JP3528860B2 (ja) 1993-11-30 2004-05-24 ヤマハ株式会社 歌唱練習器
CN1178594A (zh) 1995-12-14 1998-04-08 摩托罗拉公司 电子图书和提供对其进行控制的图形用户接口
KR100224591B1 (ko) 1997-03-21 1999-10-15 윤종용 다목적 학습기 및 그 동작방법
KR100208019B1 (ko) 1997-07-16 1999-07-15 윤종용 다목적학습기
US6518950B1 (en) * 1997-10-07 2003-02-11 Interval Research Corporation Methods and systems for providing human/computer interfaces
WO1999022314A1 (fr) * 1997-10-29 1999-05-06 Sharp Kabushiki Kaisha Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques
US6335723B1 (en) 1998-10-02 2002-01-01 Tidenet, Inc. Transmitter pen location system
JP3980798B2 (ja) 1999-08-19 2007-09-26 株式会社リコー 筆記情報入力システム
US6771283B2 (en) 2000-04-26 2004-08-03 International Business Machines Corporation Method and system for accessing interactive multimedia information or services by touching highlighted items on physical documents
GB2365614A (en) 2000-06-30 2002-02-20 Gateway Inc An apparatus and method of generating an audio recording having linked data
US6867765B2 (en) * 2000-10-06 2005-03-15 International Business Machines Corporation Use of a paper pad with uniquely identified pages in a digitizer system
CN100383833C (zh) 2000-10-09 2008-04-23 宇东光学公司 关联式的即时有声教学方法
US20020120635A1 (en) * 2001-02-27 2002-08-29 Joao Raymond Anthony Apparatus and method for providing an electronic book
US6608618B2 (en) * 2001-06-20 2003-08-19 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7081885B2 (en) * 2002-07-31 2006-07-25 Hewlett-Packard Development Company, L.P. System for enhancing books
KR100847943B1 (ko) 2006-06-16 2008-07-22 인텔 코오퍼레이션 전자 펜-컴퓨터 멀티미디어 대화형 시스템을 위한 응답생성

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898822A (zh) * 2014-03-03 2015-09-09 联想(北京)有限公司 一种控制方法及电子设备
CN104898822B (zh) * 2014-03-03 2018-04-27 联想(北京)有限公司 一种控制方法及电子设备

Also Published As

Publication number Publication date
US20070040809A1 (en) 2007-02-22
AU2003291912A1 (en) 2005-07-05
CN100573419C (zh) 2009-12-23
US8149217B2 (en) 2012-04-03
EP1695194A4 (en) 2011-11-02
JP4511467B2 (ja) 2010-07-28
EP1695194A1 (en) 2006-08-30
WO2005059731A1 (en) 2005-06-30
JP2007524136A (ja) 2007-08-23

Similar Documents

Publication Publication Date Title
US9870633B2 (en) Automated highlighting of identified text
US20240031688A1 (en) Enhancing tangible content on physical activity surface
US7123742B2 (en) Print user interface system and its applications
CN1922611B (zh) 电子笔-计算机多媒体交互式系统
Kirschenbaum “So the colors cover the wires”: Interface, aesthetics, and usability
US20180277006A1 (en) Information display apparatus, information display method, and computer-readable recording medium
US20120070809A1 (en) Lesson learning system and method thereof
CN100573419C (zh) 将印刷材料与由计算机系统产生的响应关联的方法和系统
Kim et al. Multimedia vision for the visually impaired through 2d multiarray braille display
CN1175045A (zh) 建立图形的设备和方法
Tam An intelligent e‐learning software for learning to write correct Chinese characters on mobile devices
CN1469294B (zh) 印刷用户介面系统及其应用
Müller et al. How to carry over historic books into social networks
CN114331932A (zh) 目标图像生成方法和装置、计算设备以及计算机存储介质
KR100847943B1 (ko) 전자 펜-컴퓨터 멀티미디어 대화형 시스템을 위한 응답생성
US20120147034A1 (en) Animated link sensation
Barneva et al. Combining ubiquitous direction‐sensitive digitizing with a multimedia electronic dictionary for enhanced understanding
KR102618144B1 (ko) 멀티 레이어 구조에서 사용자와의 상호작용 구현을 위한 방법 및 장치
King Re-presenting visual content for blind people
Atiya Mohamed Atiya et al. Graphic design and Usability in websites
van Lieshout et al. Sylvia Weve: The Perfection of Simplicity
CN117315676A (zh) 点读系统及装置
CN112328137A (zh) 汉字学习方法、装置、系统及计算机存储介质
Romano The Origins of the Underline as Visual Representation of the Hyperlink on the Web: A Case Study in Skeuomorphism
Huang Translation and the Language of Modernism: Gender, Politics, Language

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091223

Termination date: 20171219