CN100594527C

CN100594527C - 多媒体播示中的使音频与图形同步的方法

Info

Publication number: CN100594527C
Application number: CN200480044457A
Authority: CN
Inventors: 马里奥·皮尔基奥
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-11-22
Filing date: 2004-11-22
Publication date: 2010-03-17
Anticipated expiration: 2024-11-22
Also published as: US20090073176A1; EP2113121B1; WO2006054126A1; CN101065790A; US8068107B2; EP2113121A1

Abstract

本发明涉及一种多媒体播示中的使音频与图形同步的方法。在具有语言成分和图形成分的多媒体播示中，提供图形对象的列表。各图形对象都与能够由计算机来执行以在屏幕上显示对应的图形成分的图形文件相关系。还创建包括多个短语的序列的语言文件，各短语均包括对与相应的图形对象相关联的至少一个图形成分进行解释的语言成分。然后，创建作为以下各项的序列而获得的排列串：第一图形对象和相应的第一短语，接着是第二图形对象和相应的第二短语等，直到对应地完成所述列表的所有图形对象和所述语言文件的所有短语。选择用于显示所述图形对象的处理速度。

Description

多媒体播示中的使音频与图形同步的方法

技术领域

本发明总体上涉及教育领域，更具体地说，本发明涉及一种用于安排具有音频成分和视频/图形成分的多媒体播示的方法。

背景技术

在下面的描述中，定义图形成分可以包括计算机生成的图形，或者图像或视频片段。

在传统的课程中，通常教师讲话并同时利用黑板和粉笔在该黑板上进行书绘。如果学生请求教师慢些重复讲话和书绘，或者如果教师决定快速解释容易的要点，则还使讲话和书绘同步。

在使用幻灯片的播示或

播示中，通常以在新幻灯片出现时开始讲话的方式，教师讲话并决定更换幻灯片。

还可以将课程编辑为电影，编辑者通过编辑设备使音频和视频同步。可以将该课程作为电影在计算机上播放。然而，一旦编辑完，教师就不能改变播放速度。

借助于计算机，教师可以播放电子地生成的图像序列，并且可以将其关联到话语的多个部分，这些部分分别在新图像出现时开始。在编辑步骤中，教师可以使话语和图形同步，其中在编辑电影时会出现如下的相同问题：不能改变播放速度。

其它的问题是：

-计算机可播放的音频文件(具体地说是语音文件)不能以不同的速度播放，而是以自然速度播放；速度的任何小的改变都将不可避免地造成语音/音乐/声音的失真，它们在收听者听来完全不自然；特别是在速度有任何增大或减小时，语音显著改变，分别变成更尖锐或更低沉的语音。

-如果针对话语的完成和针对图像的显示设置固定的间隔，则当图像的显示时间随它们的大小而改变时，这些间隔可能不合适；这在由处理器计算图形时尤其如此，该处理器随图像的大小或用以生成所述图形的数学计算量而显著改变显示速度。

通过下面教师讲话的示例(如图1所示)，以上缺点将更清楚。这是课程的示例性部分。教师必须说：“这是三角形。这是矩形。而这是菱形。”，并且同时，他/她还必须在黑板上绘制三角形，接着绘制矩形，最后绘制菱形。

更具体的是：

·第一，教师说以下话：“这是三角形”，同时绘制三角形。

·第二，教师说以下话：“这是矩形”，同时绘制矩形。

·第三，教师说以下话：“而这是菱形”，同时绘制菱形。

显然，作为该教师的选择，讲话和绘制是同步的。

如果在第一种情况下教师讲了15秒，并且接着要求较慢地重复该解释，则这可以容易地完成，例如花费30秒。在这第二种情况下，序列的持续时间较长，而讲话和书绘仍同步。

当指示计算机以看上去尽可能与真实的教师类似的方式进行讲话和书绘时，会出现以下一些技术困难：

·第一技术困难-计算机必须播示出说出与教师所要说的相同的短语的语音。为了解决这个困难，存在市场上可获得的许多记录真实的教师的语音然后播放它的软件产品。还存在创建电子地读文本的音频文件的软件产品。

·第二技术困难-计算机必须在确定时间进行与教师相同的书绘。同样可获得许多图形软件程序。例如，对于三角形，存储其三个顶点的坐标是足够的。然后，可以容易地将这些坐标赋予图形程序作为指令，以在计算机屏幕上绘制该三角形。为了模仿教师的速度，当在屏幕上书绘时，所述可获利的软件可以通过适当的定时应用来逐步书绘图形成分。

·第三技术困难-必须使计算机播示的音频和图形同步，用户应可以预先或在计算机正书绘时改变图形播示的速度，并且与用户进行的速度改变无关地，必须保持音频与图形之间的同步。

与前两个技术困难不同，最后一个技术困难不能通过市场上可获得的软件来解决。

发明内容

因此，本发明的目的是提供一种使多媒体播示中的音频和图形同步的方法，该方法的工作与计算机所播示的图形成分的类型无关，保持音频与各种图形成分(如书绘形状、书绘笔迹、书绘图像、可变幻灯片、漂移图像、动画等)之间的同步。

通过使多媒体播示中的音频和图形同步的方法实现该目的，其中，所述多媒体播示具有语言成分和图形成分，该方法包括以下步骤：

-提供图形对象的列表，其中，各图形对象都与能够由计算机来执行以在屏幕上显示对应的图形成分的图形文件相关联；

-创建包括多个短语的序列的语言文件，各短语都包括对与相应的图形对象相关联的至少一个图形成分进行解释的语言成分；

-创建作为以下各项的序列而获得的排列串：第一图形对象和相应的第一短语，接着是第二图形对象和相应的第二短语等，直到相应地完成所述列表的所有图形对象和所述语言文件的所有短语；

-选择所述图形对象的处理速度；

-通过执行应用来执行所述排列串，其中，所述执行应用进行如下操作：

-通过驻留在计算机中的声卡播放第一短语，并且同时

-通过驻留在所述计算机中的图形接口以所述处理速度处理第一图形对象；

-针对相应的第二短语和第二图形对象等，以及针对直到完成所述排列文件的相应的短语和图形对象重复以上播放步骤和处理步骤，

-仅当对对应的图形对象的所述处理步骤已结束时，才开始下一播放步骤和处理步骤，如果对对应的图形对象的实际处理步骤尚未结束，则作为替代的是，推迟下一播放步骤和处理步骤。

优选的是，用户可以在执行所述排列文件的任何时刻改变所述图形对象的所述处理速度，具体地说，当执行所述排列文件时，拖动出现在所述屏幕上的光标。

根据第一实施例，在所述排列文件中，在所述图形对象与相邻的短语之间设置分隔符，并且其中，所述执行应用在遇到所述分隔符时，仅当对对应的图形对象的所述处理步骤已结束时，才开始下一播放步骤和处理步骤，如果对对应的图形对象的实际处理步骤尚未结束，则作为替代的是，推迟下一播放步骤和处理步骤。

在这种情况下，所述排列串的所述分隔符是ASCII标准码或扩展码。

而且在这种情况下，所述短语通过驻留在所述计算机中的声卡和关联文件-语言转换器来播放，其中，所述执行应用对各相应的短语运行所述文件-语言转换器，依次获得通过所述声卡直接播放的输出。

作为另一种选择，所述方法还包括以下步骤：

-创建将一个开始时刻关联到各短语的开端的开始时间文件；

-根据所述语言文件创建语音文件，并将所述语音文件存储在所述计算机中，所述语音文件可通过驻留在所述计算机中的声卡来播放，

并且所述执行应用进行如下操作：

-在包括在所述开始时间文件的第一开始时刻与第二开始时刻之间的第一时间段，通过所述声卡播放所述语音文件，由此播放相应的短语，并且同时

-通过所述计算机以所述处理速度处理第一图形对象，

-在包括在所述第二开始时刻与第三开始时刻之间的第二时间段，针对相应的第二短语和第二图形对象等，以及在相继的时间段，针对直到完成所述排列文件的相应的短语和图形对象，重复以上播放步骤和处理步骤，

-停止对所述语音文件的所述播放步骤，并且仅当对对应的图形对象的所述处理步骤已结束时，才开始从下一开始时间开始的下一播放步骤，如果对对应的图形对象的实际处理步骤尚未结束，则作为替代的是，推迟下一播放步骤。

在这种情况下，所述开始时间是从人工确定的开始时间和电子地确定的开始时间的组中选择的。

优选的是，各语音文件是从记录的语音文件或电子合成的语音文件的组中选择的，并且所述语音文件是从一连串语音子文件或作为一连串语音片段获得的单个语音文件的组中选择的。

根据教师的选择，在所述播放步骤中，所述语言成分与音乐成分和/或声音成分相关联或交替。

附图说明

参照附图，通过下面对本发明示例性实施例的描述，本发明的其他特征和优点将变得更清楚，该示例性实施例是示例性的而非限制性的，在附图中：

图1示出了教师以连续语言短语讲话并同时在黑板上绘制相应的图形对象的方案；

图2示出了通过使用图1的示例性教师的话语的短语而使用语言文件作为文本文件的示例；

图3示出了通过使用图1的示例性图形对象而创建图形对象文件的示例；

图4示出了创建排列串作为对照图3的图形对象和图2的短语而获得的串的示例；

图5图示出通过使用图2的语言文件的短语而进行的对语音文件的人工创建图；

图6图示出根据所述语音文件的持续时间而进行的对开始时间文件的人工创建；

图7图示出对开始时间文件的自动创建；

图8图示出运行图5的语音文件的步骤；

图9、10及11图示出播放图4的排列串和处理图3的图形对象的步骤；

图12是对排列文件的执行步骤的流程图；

图13是以用户选择的确定的处理速度处理图形对象的步骤的流程图；

图14是当对语音文件的各短语的播放步骤被暂停时，在对图形对象的处理尚未结束的情况下，对排列串的执行的框图；

图15是当对语音文件的各短语的播放步骤被暂停时，在对图形对象的处理已结束的情况下，对排列串的执行的框图，结果如同该语音文件根本没有被暂停一样。

具体实施方式

在下面对本方法的示例性描述中，使用要求进行与以上背景技术部分中给出的示例中教师所要做的操作相同的操作的计算机的示例。该计算机可以是市场上可获得的配备有声卡、能够显示图形对象的屏幕、以及被设置成执行根据本发明的步骤的软件手段(这是由于可以由本领域技术人员容易地对其进行编程)的任何个人计算机。

因此，应指示该计算机：

-首先，说短语“这是三角形”，同时绘制三角形；

-接着，说短语“这是矩形”，同时绘制矩形；

-最后，说短语“而这是菱形”，同时绘制菱形。

而且，即使当用户改变图形播示的速度时，也必须使音频和图形持续地同步。

可以将利用根据本发明的方法执行的示例分成以下五个步骤。

步骤1、创建“语言文件”10，具体地说，创建文本文件(图2)。

在本示例的这个步骤中，创建具有短语15(即，“这是三角形。这是矩形。而这是菱形。”)的文本文件。可以使用任何文字处理器来创建这个文件。

步骤2、创建包含对要播示的各图形对象的描述的“图形对象文件”20(图3)。在这个步骤中，创建具有要播示的图形对象的列表以及这些图形对象的属性(即，对象的类型、在屏幕上的位置、大小、颜色等)的文件。

在本示例的这个步骤中，将第一图形对象(三角形)21定义为：命令“绘制线”，3(要绘制的线的数量)，x1、y1、x2、y2、x3、y3(要通过所述线连接的屏幕点的坐标)，“红色”(要使用的颜色)等。这些属性以后(步骤5，步骤E)将用于绘制三角形，即，从屏幕点(x1，y1)到屏幕点(x2，y2)的红色线、从屏幕点(x2，y2)到屏幕点(x3，y3)的另一红色线及从屏幕点(x2，y2)到屏幕点(x1，y1)的又一红色线。类似地分别定义第二图形对象和第三图形对象(即，矩形22和菱形23)的属性(图3)。

步骤3、创建“排列文件”30，以指定何时必须与“语言文件”10的短语15相关联地播示存储在“图形对象文件”20中的图形对象21-23(图4)。

为了创建这个文件，将“语言文件”10的文本复制并粘贴到“排列文件”30的草稿中。然后，向存储在“图形对象文件”20中的图形对象添加指针，并且分别紧接这些图形对象必须与之同步的短语之前插入这些指针。在本示例中，所述指针是分别指向图3的第一、第二及第三图形对象21-23的“GO1”311、“GO2”312及“GO3”313。

具体地说，根据“排列文件”30，应在开始念出话语“这是三角形”331时开始对第一图形对象21的书绘步骤。因此，紧接这些话语之前插入指针“GO1”311。针对要在开始念出话语“这是矩形”332时开始的第二图形对象22进行该步骤。因此，紧接这些话语之前插入指针“GO2”312。最后，针对要在开始念出话语“而这是菱形”333时开始的第三图形对象23重复该步骤。因此，紧接这些话语之前插入指针“GO3”313。“排列文件”30的草稿将如下：“GO1这是三角形。GO2这是矩形。GO3而这是菱形。”。

为了允许自动执行“排列文件”30，优选的是，用开始符和结束符标记指针“GO1”311、“GO2”312及“GO3”313。例如，可以分别将符号“@@<”301、“@@<”302、“@@<”303和“>@@”321、“>@@”322、“>@@”323用作开始标志和结束标志。因此，“排列文件”30最终将成为：“@@<GO1>@@这是三角形。@@<GO2>@@这是矩形。@@<GO3>@@而这是菱形。”(图4)。

当然，即使在没有写入开始标志和结束标志，或者根本没有任何标志的情况下，也可以执行“排列文件”30。例如，如果给出查找跟随有数字的字母“G、O”的语法识别命令，则可以容易地检索到图形对象。

步骤4、创建“语音文件”40和“开始时间文件”50。

“语音文件”40将被发送(参见下文中的步骤5D)给驻留在计算机中的声卡以如下所述地进行播放。“开始时间文件”50包含各图形对象的开始时间，即，必须开始播示该图形对象的时刻。

“语音文件”40和“开始时间文件”50可以以人工方式(步骤4A)或自动方式(步骤4B)创建。

步骤4A、人工创建“语音文件”40(图5)：对念出“语言文件”10的短语15的语音的声音进行记录。这可以通过麦克风64接收说短语15“这是三角形。这是矩形。而这是菱形。”的语音来完成。然后，存储“语音文件”40，以在需要时播放。例如，短语15的无暂停播放时间为9.0秒(图5)。

人工创建“开始时间文件”50(图6)：当由标准播放器播放“语音文件”40时，查看“语音文件”40来选择开始时间。在完成对第一对开始标志301和结束标志321之后的短语的播放步骤之后，在期望时停止该播放步骤，并且将计数的时间存储在“开始时间文件”50中。针对包含在第二对开始标志302和结束标志322与第三对开始标志303和结束标志323之间的短语重复相同的过程。最终，“开始时间文件”50包含要播示的各图形对象的开始时间，即，数字“0.0”51、“2.0”52及“5.0”53(图6)。

步骤4B、自动创建“语音文件”40和“开始时间文件”50(图7)。

为了自动创建“语音文件”40，计算机查找包含在各结束符与下一开始符之间的文本，并且文本-语言转换器70将找到的文本转换成音频文件。将各音频文件复制在“语音文件”40的结尾处，将各文件的持续时间存储在缓冲器“持续时间”(未示出)的结尾处。

如图7所示，最初，计算机在“排列文件”30中查找第一结束符321和第二开始符302。包含在这些标志之间的文本是“这是三角形”331，并将该文本发送给文本-语言转换器70，并且将输出的音频成分存储在“语音文件”40中。如果其持续时间为2.0秒，则将数字2.0存储在缓冲器“持续时间”中。然后，计算机在“排列文件”30中查找第二结束符322和第三开始符303。包含在这些标志之间的文本是“这是矩形”332。将这个文本发送给文本-语言转换器70，以将其转换成音频成分。假设这个音频文件的持续时间为3.0秒。将该文件复制在“语音文件”40的结尾处。因此，“语音文件”40目前的持续时间为5.0秒，并且将数字5.0复制在缓冲器“持续时间”的结尾处。最后，计算机在“排列文件”30中查找结束符323。包含在这个符号之后的文本是“而这是菱形”333。将这个文本发送给文本-语言转换器70，以将其转换成音频文件。这个音频文件的持续时间为4.0秒。将其内容复制在“语音文件”40的结尾处。因此，“语音文件”40目前的持续时间为9.0秒。然而，不将这个数字存储在缓冲器“持续时间”中(图7)。

下面，计算机创建复制缓冲器“持续时间”的“开始时间文件”50，在该“开始时间文件”50的顶部添加数字0.0。“开始时间文件”50包含各图形对象的开始时间51-53，即，0.0、2.0及5.0(图7)。

应理解的是，步骤4也可以省略。事实上，本领域技术人员应看到，如果使用实时创建并播放与“语言文件”10相对应的语言成分的文本-语言转换器，则“语音文件”40和“开始时间文件”50也可以不是必需的。这可以根据决定如何安排存储的数据的流的技术人员的选择来实现。

步骤5、同步播放音频文件并播示图形(图8、9、10及11)。

通过将音频文件作为许多片段的序列(而不是作为从开端到结尾的单个音频成分或片段)播放来获得同步。换句话说，计算机开始播示音频文件的第一片段41和对应的图形对象21(图8和9)。接着，计算机等待，直到完成这两个播示为止。此时，计算机播示音频文件的第二片段42和对应的图形对象22。接着，计算机再次等待，直到完成这两个播示为止。如此这般直到结束。下面，利用示例来详细了解这些。

首先，计算机必须播示音频文件40的第一片段41和对应的图形对象21，即，计算机必须说短语“这是三角形”，同时绘制三角形。这将以从步骤A到步骤F的六个步骤完成。

步骤A、计算机查找要播放的音频文件的第一片段41(图8)。

为了进行这个步骤，计算机读取存储在“开始时间文件”50中的第一数字51和第二数字52。它们分别是0.0和2.0。那么，要播放的音频文件的第一片段41是从0.0到2.0。当稍后(参见下文中的步骤D)将这个片段发送给声卡来播放时，念出词语“这是三角形”(图8)。

步骤B、计算机查找要播示的对应的图形对象(图9)。

计算机在“排列文件”30中查找第一开始标志301和第一结束标志321。它们之间的指针(在这种情况下是一个符号311)是GO1，因此存储在“图形对象文件”20中的第一图形对象21是首先要被播示的(图9)。

步骤C、计算机计算必须确切地书绘什么并将其存储在一些缓冲器中(图9)。

计算机从“图形对象文件”20中读取指针311、GO1指向的图形对象“绘制线”21的属性。因此，计算机计算形成要绘制的线的所有像素的坐标，并将它们存储在“像素坐标”缓冲器82中。将像素的总数存储在缓冲器“要书绘的像素的总数”80中。假设这个数量为524(图9)。

步骤D、计算机开始播示音频文件的第一片段41(图8)。

为了进行这个步骤，计算机向声卡发送命令以开始播放从位置51到位置52(即，在步骤A中找到的开始时间0.0和2.0)的“语音文件”40。声卡开始念出短语“这是三角形”，由此使计算机空闲，计算机可以转向下一步骤，而不需要等待播放步骤的完成。

步骤E、计算机播示如图9的三条线62所表示的第一图形对象21。

下面，进行描述以示出在播示图形对象过程中可以如何改变某些参数(具体地说是处理速度)(图10和11)以及这个改变可以如何影响播示的持续时间。

下面，针对绘制三角形的情况对步骤E进行详述。当然，其适用于书绘其它类型的图形成分(如模仿笔迹、模仿填充颜色等)的情况。

如图10和11所示，逐步完成对包含在缓冲器“像素坐标”82中的所有524个像素的播示，其中，分别示出了对三角形的第一部分和第二部分的处理和绘制。

还在图12和13中示出的流程图中总结了步骤5。图12示出了音频播示与图形播示之间的同步，图13示出了逐步进行的书绘。

子步骤E1、计算机读取系统时间并将其存储在缓冲器84中，称为“时间1”。在这个示例中，系统时间为1547.1秒。而且，将值1存储在缓冲器“要书绘的第一像素”87中。

子步骤E2、接着，把对处理的控制给与执行任何未决事件例程的操作系统。该未决事件例如可以是用户例如按鼠标按钮、按键、拖动鼠标、拖动屏幕上的光标等来选择图形速度。在执行播示期间，用户还可以改变其它参数。

子步骤E3、计算机读取系统时间并将其存储在缓冲器“时间2”85中，该系统时间例如为1547.2秒。

子步骤E4、计算机计算形成书绘的第一部分95的像素的数量。这个数量取决于经过的时间和用户选择的图形播示速度。因此，计算机通过计算缓冲器“时间2”85与“时间1”84之间的差来测量经过的时间，该经过的时间为0.1秒。接着，计算机读取用户选择的图形播示速度86。例如，该速度为每秒350像素。将0.1乘以350得到35。这意味着书绘的第一部分95由35个像素组成。将这个值存储在缓冲器“要书绘的全部像素”88中。

子步骤E5、计算机检查该值(要书绘的第一像素87+要书绘的全部像素88-1)是否超过缓冲器“要书绘的像素的总数”80的值。如果超过，则将该值(要书绘的像素的总数80-要书绘的第一像素87+1)存储在缓冲器“要书绘的全部像素”88中。必须进行该检查以防止读取超过“像素坐标”82缓冲器的结尾。

子步骤E6、计算机从第1(这个值是存储在缓冲器“要书绘的第一像素”87中的值)个像素开始，在屏幕上书绘(图10)如缓冲器“像素坐标”82中所存储的35(这个值是存储在缓冲器“要书绘的全部像素88中的值)个像素。

子步骤E7、计算机将缓冲器“要书绘的全部像素”88的值(即，35)添加到缓冲器“要书绘的第一像素”87。该缓冲器中的该值现为36。

子步骤E8、计算机检查是否完全书绘完第一图形对象21。这是通过将“要书绘的第一像素”87缓冲器的值(即，36)与“要书绘的像素的总数”80缓冲器的值(即，524)进行比较来完成的。36小于524。因此，尚未完成书绘，计算机将继续书绘。

子步骤E9、计算机将缓冲器“时间2”85的值存储在缓冲器“时间1”84中。因此，“时间1”84目前包含有数字1547.2。

子步骤E10、与子步骤E2相同。

子步骤E11、计算机读取系统时间并将其存储在缓冲器“时间2”85中。例如，存储的值为1547.5秒。

子步骤E12、计算机计算形成三角形的第二部分96的像素的数量。经过的时间为0.3秒(由缓冲器“时间2”85的值与缓冲器“时间1”84的值之差给出)。目前，例如，如用户在中间时间改变的，图形播示速度86为160像素每秒。因此，0.3乘以160得到48。这意味着三角形的第二部分96具有48个像素。将这个值存储在缓冲器“要书绘的全部像素”88中。

子步骤E13、与子步骤E5相同。

子步骤E14、计算机从第36(即，存储在“要书绘的第一像素”87缓冲器中的值)个像素开始，在屏幕上书绘(图11)存储在缓冲器“像素坐标”82中像素中的48(这个值是存储在缓冲器“要书绘的全部像素”88中的值)个。

子步骤E15、计算机将“要书绘的全部像素”88缓冲器的值(即，48)添加到缓冲器“要书绘的第一像素”87。该缓冲器中的该值现为84。

子步骤E16、计算机通过将“要书绘的第一像素”87缓冲器的值(即，84)与缓冲器“要书绘的像素的总数”80的值(即，524)进行比较来检查是否完全书绘完第一图形对象21。84小于524。因此，尚未完成书绘，计算机将继续书绘。

当“要书绘的第一像素”87缓冲器的值与“要书绘的像素的总数”80缓冲器80的值相同时，完成对第一图形对象21的书绘。这时，计算机转到步骤F。

步骤F、计算机检查是否完全播放了对音频文件的第一片段41的播示。如果没有，则计算机推迟开始下一步骤。

事实上，在步骤E的结尾，计算机应当已念完“这是三角形”并且书绘完三角形。即使这两个操作几乎同时开始，但它们几乎总是在不同的时间结束。另外，用户选择图形播示的速度，并且可以在任何时刻改变该速度，即使在步骤E过程中也是如此。根据本发明，计算机在对音频文件的前一片段和前一书绘的播示完成之前不开始下一片段和下一书绘的播示。

步骤G、现在，计算机必须播示音频文件的第二片段42和对应的图形对象22，即，计算机必须说短语“这是矩形”，同时书绘矩形。这同样将以与步骤A-F相似的六个步骤完成，并且针对音频文件的第三片段43和对应的图形对象23重复该步骤，即，计算机必须说短语“这是菱形”，同时书绘菱形。

这时，完成了音频播示和图形播示二者。

在本方法的另选实施例中，可以按不同的方式完成对音频成分的播示。具体地说，尽管如上所述，创建了可以在期望时播放和停止的称为“语音文件”40的单个音频文件，但作为替代的是，可以创建各对应于一短语的许多音频文件，并且对其进行存储以在适当的时候播放，或者实时地创建并播放各音频文件。

在这个实施例中，步骤1-3相同。在步骤4中，作为替代的是，创建要完全由声卡播放的多个音频文件(“语音文件1”、“语音文件2”等)。

如果人工创建这些文件(步骤4A)，则在“排列文件”30中找到图7的标志321和302，并且它们之间的短语为“这是三角形”331。用户通过麦克风64念出该短语，并且计算机存储“语音文件1”。这个操作可以借助于具有用户友好界面的计算机，用户简单地遵从这个界面的指令。针对其它短语重复该步骤，分别创建“语音文件2”和“语音文件3”。

作为替代的是，如果自动创建这些文件(步骤4B)，则当计算机在图7的“排列文件”30中找到第一结束符321和第二开始符302时，将包含在它们之间的文本(即，“这是三角形”331)发送给文本-语言转换器，并将其转换成“语音文件1”。根据如何设置执行程序，可以存储这个音频文件以在期望的时间播放，或者可以实时地播放它。针对其它短语重复该步骤，分别创建“语音文件2”和“语音文件3”。

在两种情况下，步骤5中都不需要“开始时间文件”。

具体地说，在实时地创建并播放音频成分的情况下，计算机查找第一段文本331，在“排列文件”30中检索第一结束符321和第二开始符302。包含在这两个标志之间的文本是“这是三角形”331，将该文本发送给文本-语言转换器，并将其转换成例如称为“语音文件的当前片段”的音频文件。将该音频文件发送给完全播放它的声卡，立即开始播示“语音文件的当前片段”。因为声卡自动执行播放步骤，所以计算机可以开始播示三角形21。

同时，计算机可以准备要转换成语言的第二段文本，创建音频文件“下一段语音文件”。具体地说，可以按相同的速度逐步地完成实际图形播示和对下一音频文件的创建。

例如，在以上子步骤E6之后，在绘制三角形的第一部分95时，可以创建“下一段语音文件”的一部分。类似的是，在子步骤E14的结尾，在绘制三角形的第二部分96时，可以创建“下一段语音文件”的另一部分。等等。

接着，在步骤F中，如果计算机发现完成了对音频文件的第一片段41的播示，则删除“语音文件的当前片段”，并且将“下一段语音文件”重新命名为“语音文件的当前片段”，并接着转向下一步骤。

根据本发明，为了在通过计算机进行播示的课程中引起学生的兴趣，重要的是，由学生来定制课程的速度。标准速度不能适合于所有的学生，而且当首次播放课程时，与重复播示时相比，同一学生可能要求较慢的速度。

根据本发明，速度的改变不影响播示的质量和自然，并且按以下方式播示语言成分和书绘成分二者：不管学生对速度进行的任何改变，该语言成分和该书绘成为仍保持同步，看上去如同由真实的教师播示该语言成分和该书绘成分一样。

具体地说，计算机从开端到结尾念出所有短语，并且始终与相应的图形成分同步，如图14和15所示，其中，假设学生分别选择了非常慢或非常快的图形播示速度。在这些图中，还假设在播示过程中保持速度恒定。

当图形播示速度非常慢时(图14)，为了保持同步，在音频文件的相应的片段之后添加暂停141、142、143。作为替代的是，当图形播示速度非常快时(图15)，在音频文件的对应的片段之前先完成了对图形对象的书绘(参见191、192、193)，不添加暂停。因为本方法是通过音频播放步骤来引导的，所以本方法允许计算机几乎完全如教师所做的那样讲话并书绘。

如果必须以非常详细的方式来播示图形成分，则教师可以将该图形成分分成非常小的部分。例如，当解释三角形时，教师可以描述每一条边，例如，在直角三角形中，教师可以单独描述每一条中直线和斜边。

当教师找到更利于理解课程的方式时，教师可以选择并编辑排列文件。例如，优选地将短语“这是一座房子。它有一扇门，四个窗户、一棵树，和一只狗。”分成五个短语，并且(除非将对应的图形成为显示为单一绘图，否则)将对应的图形成分分成五个部分，以解释非常简单的概念，由此开始更复杂的描述。

依照概念上的观点，以示例形式进行的以上描述如此全面地揭示了本发明，使得其他方在没有进一步研究和不脱离本发明的情况下，通过应用当前的知识，就能够针对各种应用进行修改和/或改变，因此，应当理解，必须将这些改变例和变型例视为具体实施例的等同物。为此，在不脱离本发明的领域的情况下，用于实现在此描述的不同功能的工具和材料可以具有不同特性。应当理解，在此使用的措辞和术语都是出于描述的目的而非限制的目的。

Claims

1、一种多媒体播示中的使音频和图形同步的方法，其中，所述多媒体播示具有语言成分和图形成分，所述语言成分和所述图形成分是彼此独立地生成的，该方法包括以下步骤：

-提供图形对象的列表，其中，各图形对象都与能够由计算机来逐步地执行以在屏幕上逐步地显示对应的图形成分的图形文件相关联；

-创建包括多个短语的序列的语言文件，各短语均包括对与相应的图形对象相关联的至少一个图形成分进行解释的语言成分；

-选择所述图形对象的处理速度；

-从第一时刻开始通过驻留在计算机中的声卡播放第一短语，并且

-从所述第一时刻开始通过驻留在所述计算机中的图形接口以所述处理速度处理第一图形对象；

-从第二时刻开始针对相应的第二短语和第二图形对象重复以上播放步骤和处理步骤，等等，以及针对直到完成所述排列文件的相应的短语和图形对象，从相应的时刻开始重复以上播放步骤和处理步骤；

-仅当对对应的前一图形对象的所述前一处理步骤已结束时，才从相同的下一时刻开始下一播放步骤和下一处理步骤，如果对对应的图形对象的前一处理步骤尚未结束，则作为替代的是，推迟下一播放步骤和下一处理步骤。

2、根据权利要求1所述的方法，其中，所述图形对象的所述处理速度可以由用户在执行所述排列文件的任何时刻改变，即使正在绘制一个图形对象，具体地说，当执行所述排列文件时，拖动出现在所述屏幕上的光标。

3、根据权利要求1所述的方法，其中，在所述排列文件中，在所述图形对象与相邻的短语之间设置分隔符，并且其中，所述执行应用在遇到所述分隔符时，仅当对对应的图形对象的所述处理步骤已结束时，才开始下一播放步骤和处理步骤，如果对对应的图形对象的实际处理步骤尚未结束，则作为替代的是，推迟下一播放步骤和处理步骤。

4、根据权利要求3所述的方法，其中，所述排列串的所述分隔符是ASCII标准码或扩展码。

5、根据权利要求1所述的方法，其中，所述短语通过驻留在所述计算机中的声卡和关联的文件-语言转换器来播放，其中，所述执行应用对各相应的短语运行所述文件-语言转换器，依次获得通过所述声卡直接播放的输出。

6、根据权利要求1所述的方法，该方法还包括以下步骤：

-创建将一个开始时刻与各短语的开端相关联的开始时间文件；

并且所述执行应用：

-通过所述计算机以所述处理速度处理第一图形对象，

7、根据权利要求6所述的方法，其中，所述开始时间是从人工确定的开始时间和电子地确定的开始时间的组中选择的。

8、根据权利要求6所述的方法，其中，所述语音文件是从记录的语音文件或电子合成的语音文件的组中选择的。

9、根据权利要求6所述的方法，其中，所述语音文件是从一连串语音子文件或作为一连串语音片段获得的单个语音文件的组中选择的。

10、根据权利要求1或6所述的方法，其中，在所述播放步骤中，所述语言成分与音乐成分和/或声音成分相关联或交替。