CN100339908C - 用于与可视图像同步记录和/或再现音乐的多媒体平台 - Google Patents

Abstract

一种多媒体平台通过周期性地用时间码调整内部时钟(220)，与图片同步记录键盘(142)上的演奏，内部时钟(220)代表一段时间(N)，所述时间码插入在代表图片的一组视频数据码中，多媒体平台通过用时间码周期性地调整内部时钟(320)，也与图片同步地通过自动演奏钢琴(132)再现演奏，从而用户享受自己的演奏，就好象他或她感到自己在音乐厅里演奏那样。

Description

用于与可视图像同步记录和/或再现音乐的多媒体平台

技术领域

本发明涉及一种多媒体平台，特别涉及一种用于同步记录并再现可视图像和音乐的多媒体平台及其所包括的记录器/再现设备。

背景技术

业余音乐演奏者的愿望之一就是在音乐厅里演出。然而，这对大多数业余音乐演奏者来说是个梦想。业余音乐演奏者在他或她演奏期间，将图片投射在监视屏幕上，诸如液晶显示面板上，并通过在虚拟音乐厅里演奏乐曲来自娱自乐。他或她演奏乐曲时，录像机可以从录像带读取视频数据，用于在监视屏幕上再现图片。如果业余音乐演奏者希望记录，而后再现他或她的演奏，他或她就用自动记录/播放系统在乐器上弹奏乐曲。例如，自动记录/播放系统将键动作转换为乐器数字接口(MIDI)数据码，并将其存储在诸如软盘的适当的信息存储媒体中。MIDI数据码分为事件码和时间增量码。事件码代表所要产生的音调，时间增量码代表从演奏开始所经历的时间。音符开和音符关事件是事件码的典型实例。当他或她指令自动记录/播放系统再现音调，自动记录/播放系统开始顺序从软盘读取MIDI数据码。自动记录/播放系统不用人类演奏者弹奏就移动键，并产生音调。

然而，图片和演奏分别记录在录像带和软盘中，录像机和自动记录器/播放器系统相互独立。因此，即使用户同时起动录像机和自动记录/播放器系统，也无法保证同步。录像机在监视屏幕上再现图片而异步地再现音调，可能在图片和音调之间发生时间拖拉。

另一个业余音乐演奏者希望在乐器上演奏乐曲，而乐队的一部分音乐是在虚拟音乐厅中用光盘播放器再现的。业余音乐演奏者准备录像带，录像带中存储代表管弦乐伴奏的视频数据和代表部分音乐的音调的音频数据码。盒式录像机和光盘播放器再现图片和电子音调时，他或她在虚拟音乐厅中在乐器上演奏另一部分音乐。如果业余音乐演奏者希望记录他或她的演奏并再现，他或她就用自动记录/播放系统在乐器上弹奏乐曲。例如，自动记录/播放系统将键动作转换为MIDI数据码，并将其存储在软盘中。当他或她指令自动记录/播放系统再现音调时，自动记录/播放系统开始从软盘顺序读取MIDI数据。自动记录/播放系统不不用人类演奏者弹奏就移动键，并再现音调。

然而，分别在录像带、光盘和软盘中记录图片、电子音调和演奏，录像机、光盘播放器和自动记录器/播放器系统相互独立。因此，即使用户同时起动录像机、光盘播放器和自动记录/播放器系统，也无法保证同步。录像机和光盘播放器在监视器屏幕上再现图片，从与音调(acoustic tone)再现异步的声音系统再现电子音调，可能在图片、电子音调和音调之间发生时间拖拉。

发明内容

因而，本发明的一个重要目的是提供一种多媒体平台，与至少一个视频图像同步记录演奏。

本发明的另一重要目的是提供一种形成多媒体平台的一部分的记录器。

本发明的又一重要目的是提供形成多媒体平台的另一部分的播放器。

按照本发明的一个方面，提供了一种多媒体平台，用于至少在信息存储媒体中与图片同步记录第一乐音，多媒体平台包括：第一数据源，产生第一类数据，其包含多条代表第一乐音的第一音乐数据信息；第二数据源，产生第二类数据，其包含多条视频数据信息和多条第一时间数据信息，视频数据信息代表图片的可视图像，第一时间数据信息代表从第一视点定义的第一时间；第三数据源，增加从第一视点定义并用多条第二时间数据信息来代表的第二时间，第三数据源与第二数据源连接，以便比较第二时间与第一时间，看第二时间与第一时间是否一致，第三数据源当答案为否定时修改多条第二时间数据信息，以便消除第一时间和第二时间之间的时间差，并将多条第二时间数据信息转换为多条第三时间数据信息，第三时间数据信息代表从与第一视点不同的第二视点定义的第三时间；记录器，与第一数据源和第三数据源连接，以便将多条第一音乐数据信息和多条第三时间数据信息存储在信息存储媒体中；和图像发生器，与第二数据源连接，用于产生可视图像。

按照本发明的另一方面，提供了一种多媒体平台，用于至少再现与图片同步的第一乐音，该多媒体平台包括：第一数据源，输出第一类数据，其包含多条第一音乐数据信息和多条第一时间数据信息，第一音乐数据信息代表第一乐音，第一时间数据信息代表从第一视点定义的第一时间；第二数据源，输出第二类数据，其包含多条视频数据信息和多条第二时间数据信息，视频数据信息代表图片的可视图像，第二时间数据信息代表从与第一视点定义不同的第二视点定义的第二时间；图像发生器，与第二数据源连接，以便从多条视频数据信息产生图片；声音发生器，连接声音发生器用于从多条第一音乐数据信息产生第一乐音；和定时控制器，增加从第二视点定义且由多条第三时间数据信息来代表的第三时间，与第二数据源连接以便比较多条第三时间数据信息与多条第二时间数据信息，看第三时间是否与第二时间一致，进一步与第一数据源连接以便当答案为否定时修改多条所述第一时间数据信息，用于消除第二时间和第三时间之间的时间差，将多条第一时间数据信息转换为代表从所述第二视点定义的第四时间的第四时间信息，比较多条第四时间数据信息与多条第三时间数据信息，看第三时间是否赶得上第四时间并进一步与声音发生器连接，以便在第三时间赶上第四时间时将多条第一音乐数据信息传输到声音发生器。

附图说明

结合附图，从下文的详细描述，会更清楚地理解多媒体平台、记录器和播放器的特点和优点，其中

图1A到1D是显示最佳实施例的技术概念的框图，

图2A是显示根据本发明的多媒体平台的系统构成的框图，

图2B是显示标准MIDI文件的实例的图，

图3是显示包括在软盘控制器/驱动器中的控制器的电路结构的框图，

图4是显示修正值计算器所执行的计算机程序的流程图，

图5是显示同步记录的时间图，

图6是显示根据本发明的另一多媒体平台中所包括的控制器的系统构成的框图，

图7是显示调节器所执行的计算机程序的流程图，

图8是显示根据本发明的另一多媒体平台的系统构成的框图，

图9是显示形成了多媒体平台的一部分的盘播放器中所包括的控制器的电路结构的框图，

图10是显示同步重放的时间图，

图11是显示根据本发明的另一多媒体平台的系统构成的框图，

图12是显示用于控制同步记录中电子音调的音高的计算机程序的流程图，

图13是显示代表声压级的电信号的波形的曲线图，

图14是显示用于存储录像带标识码和标准音高的软盘的存储位置的图，

图15是显示用于同步重放的计算机程序的流程图，

图16A到16C是显示读取速度和电子音调的音高之间关系的曲线图，

图17是显示根据本发明的另一多媒体平台的系统构成的框图，

图18是显示存储在光盘中的数据码布置的图，

图19是显示包括在多媒体平台中的数据处理单元内的装置的框图，

图20是显示用MIDI时间码调整时钟的方法的流程图，

图21是显示用于记录在键盘上的演奏的标准MIDI文件的图，

图22是显示包括在软盘记录器中的控制器的构成的框图，

图23是显示修正值计算器所执行的一系列工作的流程图，

图24是多媒体平台所执行的同步记录的时间图，

图25是显示包括在另一多媒体平台的软盘记录器中的控制器的框图，

图26是显示根据本发明的另一多媒体平台的系统构成的框图，

图27是显示包括在软盘播放器中的控制器的构成的框图，

图28是显示多媒体平台所执行的同步重放的时间图，

图29是显示根据本发明的另一多媒体平台的框图，

图30是显示用于控制同步记录中第二电子音调的音高的方法的流程图，

图31是显示代表声压级的电信号的波形的曲线图，

图32是显示用于存储盘标识码和标准音高的软盘的存储位置的图，

图33是是显示用于同步重放的计算机程序的流程图，

图34A到34C是显示读取速度和电子音调的音高之间关系的曲线图，和

图35是显示包括在多媒体平台的修改例中的硬盘单元的存储区域的图。

具体实施方式

本发明包含图1A到1D所示的4个技术概念，第一到第八实施例基于这些技术概念。

图1A说明了第一技术概念。第一和第二实施例基于第一技术概念。基于第一技术概念的多媒体平台包括第一数据源1、第二数据源2、与第二数据源2连接的第三数据源4、与第一和第三数据源1/4连接的记录器以及与第二数据源连接的图像发生器8。

第一数据源1产生第一类数据，其包含代表第一乐音的多条第一音乐数据信息。在第一和第二实施例中，自动演奏钢琴起第一数据源1的作用，第一音乐数据信息和第一乐音分别对应于存储在MIDI事件码中的音乐数据信息和声学钢琴音调。第二数据源2产生第二类数据，其包含多条视频数据信息和多条第一时间数据信息，视频数据信息代表图片的可视图像，第一时间数据信息代表从第一视点定义的第一时间。在第一和第二实施例中，摄像机起第二数据源2的作用，多条视频数据信息和多条第一时间数据信息分别以视频数据码和视频时间码存储。在第一和第二实施例中，从第一视点来测量经历的时间。

第三数据源4内在地增加从第一视点定义的第二时间。第二时间由多条第二时间数据信息来表示。多条第一时间数据信息间断性地提供给第三数据源，第三数据源4将第二时间与第一时间进行比较，看第二时间是否与第一时间一致。当给出否定回答时，第三数据源4修改多条第二时间数据信息，以便消除第一时间和第二时间之间的时间差。如果给出肯定的回答，第三数据源4就不修改多条第二时间数据信息。这样，周期性地用第一时间来调整包括在第三数据源4中的内部时钟。第三数据源4还操作用来将多条第二时间数据信息转换为多条第三时间数据信息，第三时间数据信息代表从与所述第一视点不同的第二视点定义的第三时间。在第一和第二实施例中，从第二视点定义时间间隔。

将多条第一音乐数据信息和多条第三时间数据信息传输到记录器6中，以便记录器6将多条第一音乐数据信息和多条第三时间数据信息存储在例如软盘的信息存储媒体中。

将多条视频数据信息传输到图像发生器8，使图像发生器8产生可视图像。基于第一技术概念的多媒体平台使多条第一音乐数据信息与多条视频数据信息同步，这是因为从多条第二时间数据信息产生多条第三时间数据信息，用多条第一时间数据信息周期性地修改第二时间数据信息。

图1B说明了第二技术概念，第三和第四实施例基于第二技术概念。基于第二技术概念的多媒体平台包括第一数据源20、第二数据源22、与第一和第二数据源20/22连接的定时控制器28、与第二数据源22连接的图像发生器24以及与定时控制器28连接的声音发生器26。在第三和第四实施例中，盘播放器和摄像机分别起第一数据源20和第二数据源22的作用。

第一数据源20输出第一类数据，其包含多条第一音乐数据信息和多条第一时间数据信息，第一音乐数据信息代表第一乐音，第一时间数据信息代表从第一视点定义的第一时间。另一方面，第二数据源22输出第二类数据，其包含多条视频数据信息和多条第二时间数据信息，视频数据信息代表图片的可视图像，第二时间数据信息代表从与第一视点不同的第二视点定义的第二时间。在第三和第四实施例中，从第一视点定义时间间隔，从第二视点定义经历的时间。

将多条视频数据信息提供给图像发生器24，使图像发生器24从多条视频数据信息产生图片。声音发生器26在定时控制器28的帮助下，从与图片同步的多条第一音乐数据信息产生第一乐音。

定时控制器28内在地增加从第二视点定义的第三时间且由多条第三时间数据信息来代表。定时控制器28将多条第三时间数据信息与多条第二时间数据信息进行比较，看第三时间是否与第二时间一致。当给出否定回答时，定时控制器28修改多条所述第一时间数据信息，以便消除第二时间和第三时间之间的时间差。而后，定时控制器28将多条第一时间数据信息转换为多条第四时间数据信息，第四时间数据信息代表从第二视点定义的第四时间，定时控制器28还将多条第四时间数据信息与多条第三时间数据信息进行比较，看第三时间是否跟得上第四时间。当给出肯定回答时，定时控制器28将多条第一音乐数据信息传输到声音发生器26，声音发生器26产生第一乐音。通过在第三时间和第二时间之间进行比较来修改多条第一时间数据信息，从第二视点将第一时间数据信息转换为多条第四时间数据信息，其与多条第二时间数据信息相同。因此，与图片同步产生第一乐音。

图1C说明了第三技术概念，第五和第六实施例基于第三技术概念。第三技术概念与第一技术概念有关，基于第三技术概念的多媒体平台包括基于第一技术概念的多媒体平台的所有元件，还包括第四数据源10、定时发生器12和声音发生器14。在第五和第六实施例中，光盘单元起第四数据源10的作用，声音发生器14从与图片同步的多条第三音乐信息产生第二乐音。

详细地说，第四数据源输出第三类数据，其包含多条第三音乐数据信息和多条第四时间数据信息，第三音乐数据信息代表第三乐音，第四时间数据信息代表从第一视点定义的第四时间。定时控制器12内在地增加从第一视点定义的第五时间且由多条第五时间数据信息来代表，将多条第五时间数据信息与多条第一时间数据信息进行比较，看第五时间是否与第一时间一致。如果给出否定回答，定时控制器12就修改多条第五时间数据信息，以便消除第一时间和第五时间的时间差，并等候将每条第二音乐数据信息传输到声音发生器14的时间。当第五时间跟得上由每条第四时间数据信息代表的第四时间时，定时控制器12从多条第三音乐数据信息产生音频信号，并将音频信号提供给声音发生器14。由于用多条第一时间数据信息来修改多条第五时间数据信息，所以声音发生器14产生与图像同步的第二乐音。

图1D说明了第四技术概念，第七和第八实施例基于第四技术概念。第四技术概念与第二技术概念有关，基于第四技术概念的多媒体平台包括基于第二技术概念的多媒体平台的所有元件，还包括第三数据源30、另一定时控制器32和另一声音发生器34。在第七和第八实施例中，光盘单元起第三数据源30的作用。第三数据源30、定时控制器32和声音发生器34对应于第四数据源10、定时控制器12和声音发生器14。第三数据源30、定时控制器32和声音发生器34使得从与图片同步的声音发生器34发出乐音，为了避免重复，在下文中不再赘述。

第一实施例

先参考附图的图2A，显示了体现本发明的多媒体平台，通常用100来指示。多媒体平台100主要包括摄像机102、盘记录器104、声音系统106、声源108、控制器110和监控显示器112。控制器110与摄像机102、盘记录器104、声音系统106和声源108连接，并控制这些部件102/104/106/108用于记录乐曲。摄像机102还与监控显示器112连接，在演奏乐曲期间在监控显示器112上再现图片。

摄像机

摄像机102包括记录器114、播放器116和操纵面板118。录像带VT装入和从摄像机102卸下，记录器114和播放器116响应用户通过操纵面板118给出的指令，以便将可视图像和声音记录到录像带VT中并从录像带VT再现它们。换句话说，将代表可视图像的视频数据码和代表声音的音频数据码存储到录像带VT中并从录像带VT中读取它们。从监控显示器112上的视频数据码和通过声音系统106的音频数据码产生图片(即，一系列可视图像)和声音。

记录器114包括视频记录器120、声音记录器122和时间码发生器124。视频记录器120有图像拾取装置(未示出)，声音记录器122配备有麦克风(未示出)。当用户希望将他或她的演奏记录在录像带VT中时，他或她指令记录器114记录演奏。图像拾取装置(未示出)将可视图像转换为视频信号，视频记录器120从视频信号产生视频数据码。另一方面，麦克风(未示出)将声音转换为音频信号，声音记录器122从音频信号中产生声音数据码。声音可以是从另一乐器产生的音调，另一乐器诸如与声源108同步演奏的小提琴。可视图像可以代表演奏小提琴的小提琴演奏者。时间码发生器114在起动记录可视图像之后，周期性地产生代表经历的时间的时间码。该时间码在下文中称为“视频时间码”。RC时间码可以用作视频时间码。视频数据码存储在录像带的视频磁道中，音频数据存储在录像带的声音磁道中。视频时间码与音频数据码和声音数据码也一起存储在录像带中。

播放器116响应用户的指令，以便从录像带VT读取视频数据码和声音数据码。播放器116选择性地将视频数据码和声音数据码提供给监控显示器112和控制器110。例如，用液晶显示面板来实现监控显示器112。阴极射线管也可用于再现视频图像。监控显示器112在屏幕上再现来自视频数据码的图片或一系列可视图像。播放器116分别将音频数据码和视频数据码提供给控制器110。

控制器

控制器110包括代码转换器126、数据处理单元128和操纵器130。代码转换器126连接在播放器116和数据处理单元128之间，播放器116直接连接到数据处理单元128上。可以将合适的电缆用于摄像机102和控制器110之间的连接。将视频时间码提供给代码转换器126，代码转换器126将视频时间码转换为音乐时间码。音乐时间码在下文称为“MIDI时间码”。如下所述，MIDI时间码用于校准时钟，还表示从开始产生图片和帧起所经历的时间。用时、分和秒来定义经历的时间。把MIDI时间码从代码转换器126提供给数据处理单元128。操纵器130、盘记录器104、声音系统106和声源108与数据处理单元128连接。

用户的指令通过操纵面板130给到数据处理单元128，使得数据处理单元128控制摄像机102、盘记录器104、声音系统106和声源108，用于同步记录。代码转换器126的主要任务之一是记录在声源108上与图片重放同步的演奏。该任务在下文称为“同步记录”。

同步记录的概况如下。摄像机在监控显示器112上再现图片，播放器116将视频时间码提供给代码转换器126。代码转换器126将视频时间码转换为MIDI时间码，并将MIDI时间码提供给数据处理单元128。数据处理单元128接受MIDI时间码，并立即将MIDI时间码传输到盘记录器104。播放器116还将音频数据码传输到数据处理单元128。数据处理单元128从音频数据码产生音频信号，并将音频信号提供给声音系统106。从声音系统106发出电子音调。用户设想开始他或她的演奏。声源108间断性地产生代表键动作的事件码，并将事件码提供给数据处理单元128。数据处理单元128立即将事件码传输到盘记录器104。盘记录器104从MIDI时间码产生时间增量码，并将事件码和时间增量码存储在诸如软盘FD的信息存储媒体中。

声源

声源108分为自动演奏钢琴132和用于合奏的音调发生器134。用于合奏的音调发生器134连接到数据处理单元128，事件码从数据处理单元128提供给用于合奏的音调发生器134。用于合奏的音调发生器134根据事件码产生数字音调信号，并将数字音调信号转换为模拟音调信号。将模拟音调信号从用于合奏的音调发生器134提供给声音系统106，使得从声音系统106发出电子音调。如果数据处理单元将音频信号与事件码同步提供给声音系统，就在合奏中再现乐曲的多个部分。

自动演奏钢琴132包括声学钢琴136和自动播放系统138和用于钢琴音的音调发生器140。这种情况下，标准大钢琴用作声学钢琴136，并包括键盘142、动作单元144、音锤146、弦148、制音器(damper)(未示出)和踏板149。用周知的方式放置黑键和白键，形成键盘142的多个部分。动作单元144与黑/白键链接，使得按下的键启动相关动作单元144。启动的动作单元144驱动相关音锤146自由旋转，音锤敲击相关弦148的自由旋转端，用于产生声学钢琴音调。踏板149称为“制音器踏板”、“延音踏板”和“软踏板”。当演奏者踏在制音器踏板上时，制音器踏板使制音器保持与弦分开，延长声学钢琴音调。软踏板用于减弱音锤对弦的敲击，声学钢琴音调的响度降低。演奏者按下一个或多个黑/白键之后踏在延音踏板上。然后，延音踏板保持相关音锤或与弦分开的音锤，并延长声学钢琴的一个或多个音调。

自动播放系统138包括MIDI控制器150、螺线管操作键激励器152、键传感器154、踏板传感器156和螺线管操作踏板激励器158。MIDI控制器150与数据处理单元128连接，从数据处理单元128提供事件码和向其提供事件码。MIDI控制器响应用户通过操纵面板130给出的指令，选择用于钢琴音调的音调发生器140和自动播放系统138中的一个。

如果用户希望产生电子音调，他或她就指令MIDI控制器150将事件码传输到用于钢琴音调的音调发生器140。MIDI控制器150将事件码传输到用于钢琴音调的音调发生器140，用于钢琴音调的音调发生器140根据事件码产生数字音调信号，并将数字音调信号转换为模拟音调信号。将模拟音调信号从用于钢琴音调的音调发生器140提供给声音系统106，从声音系统106发出电子音调。

另一方面，如果用户指令MIDI控制器150激励黑/白键，MIDI控制器150就确定螺线管操作键激励器152的插棒式铁芯的目标轨迹。如果需要的话，MIDI控制器150还确定螺线管操作踏板激励器149的插棒式铁芯的目标轨迹。MIDI控制器150选择性地将驱动信号提供给螺线管操作键激励器152和螺线管操作踏板激励器158，使得插棒式铁芯从螺线管操作键/踏板激励器152/158沿目标轨迹投射。插棒式铁芯引起黑/白键142和踏板149的动作。因此，自动播放系统138不需任何人类演奏者的弹奏和踏板来演奏乐曲。

键传感器154和踏板传感器156用于同步记录。用户在键盘142上弹奏乐曲时，键传感器154通过键位置信号将当前键位置报告给MIDI控制器150，踏板传感器156将当前踏板位置报告给MIDI控制器150。MIDI控制器150周期性地取回代表当前键/踏板位置的多条位置数据信息，并分析多条位置数据信息，看用户是否按下或松开了任何一个黑/白键或踏板149。当MIDI控制器150确认黑/白键和/或踏板149移动时，MIDI控制器150以事件码来存储诸如音符开/音符关的键动作、代表所要再现的音调的音高的音符数以及代表音调响度和踏板动作的速率。将事件码从MIDI控制器150提供给数据处理单元128。

声音系统

声音系统106包括混音器160、放大器162和扬声器164。数据处理单元128、用于合奏的音调发生器134和用于钢琴音调的音调发生器140与混音器160连接，将音频信号和模拟音调信号选择性地提供给混音器160。音频信号和模拟音调信号相互混合，把混合后的信号提供给放大器162。放大器162对混合后的信号进行均衡和放大，将放大后的信号从放大器162提供给扬声器164。扬声器164将放大后的信号转换为电子音调。有用于数字信号的输入端口的混音器用于声音系统106。这种情况下，将音频数据码和数字音调信号直接提供给混音器。

盘记录器/播放器

盘记录器/播放器包括软盘控制器/驱动器170，软盘控制器/驱动器170有信息处理能力。软盘控制器/驱动器170在数据处理单元128的控制下，在同步记录期间，在软盘FD中建立标准MIDI文件。

图2B显示了标准MIDI文件SMF的一个实例。标准MIDI文件SMF分为首标块HT和磁道块TT。诸如块类型和录像带标识码V-ID的基本信息存储在首标块HT中。录像带标识码V-ID已经分配给了录像带，并区分每个录像带。另一方面，磁道块TT分配给了记录在软盘FD中代表乐曲的MIDI数据码MIDI。一组MIDI码MIDI包括事件码和时间增量码。事件码代表所要再现的音调和诸如系统专用事件的系统消息-间位事件(metaevent)等。MIDI控制器150产生代表音调的事件码，数据处理单元128产生代表系统消息的事件码。在图2B中缩写为“ΔT”的时间增量码代表事件和先前事件之间的时间间隔。软盘控制器/驱动器170确定事件和先前事件之间的时间间隔，并将时间增量码与事件码一起存储在磁道块中。

当代表开始同步记录的控制信号达到软盘控制器/驱动器170时，软盘控制器/驱动器170起动时钟。间断地向软盘控制器/驱动器170提供事件码。当一个或多个事件码达到软盘控制器/驱动器170时，软盘控制器/驱动器170检查达到时间的时钟，并确定时间间隔。为了与图片重放同步记录事件码，软盘控制器/驱动器170将由时钟指示的一段时间与通过数据处理单元128传输的MIDI时间码所表示的一段时间进行比较，看是否发生任何时间拖拉(time1ug)。当给出肯定回答时，软盘控制器/区动器170变化时间间隔，以这种方式从一段时间消除时间拖拉。软盘控制器/驱动器170产生代表时间间隔的时间增量码，并将时间增量码与一个或多个事件码一起存储在磁道块TT中。

软盘控制器/驱动器170包括控制器172、写入头174和时钟发生器176。控制器172在软盘FD中建立标准MIDI文件SMF，并通过写入头174在标准MIDI文件SMF中写入代码。时钟发生器176有振荡器，即，石英振荡器和放大器和分频器的组合。振荡器产生周期信号，分频器划分周期信号，产生用于定时控制的多种时钟信号。时钟信号之一称为节拍时钟CT，将节拍时钟CT提供给MIDI控制器150，用于产生MIDI数据码。用节拍时钟CT指示事件和先前事件之间的时间间隔。

图3显示了控制器172的电路结构。控制器172包括起时钟作用的时间增量计算器220、修正值计算器230、时间增量计算器240和文件发生器250。控制器3与文件发生器250和修正值计算器230连接，并将事件码和MIDI时间码分别提供给文件发生器250和修正值计算器230。将进度时钟CT从时钟发生器210提供给累加器220。

累加器220包括加法器221和寄存器222。当数据处理单元128从代码转换器126接收代表0的第一MIDI时间码时，数据处理单元128在寄存器222中写入0。控制器110与图片同步记录演奏，数据处理单元128将MIDI时间码传输到修正值计算器230。常数[+1]的源与加法器221的输入节点之一连接，寄存器222与加法器221的另一输入节点连接。节拍时钟的总数N提供给加法器221，加法器221将节拍时钟的总数N增加1。加法器221的输出节点与寄存器222连接，寄存器222响应节拍时钟CT，用于锁存加法器221的输出信号。这样，加法器221和寄存器222形成了累加环，响应节拍时钟信号CT将总数N增加1。节拍时钟的总数N与接收第一MIDI时间码，即开始同步记录的一段时间成正比。这样，累加器起时钟的作用。

文件发生器250在数据处理单元128的控制下。文件发生器250与时间增量计算器240连接，一收到一个或一组事件码，就将代表计算时间增量的指令信号提供给时间增量计算器240，使得时间增量计算器240确定时间增量，即，先前事件和当前接收的事件之间的时间间隔。时间增量计算器240以时间增量码来存储时间增量，并将时间增量码提供给文件发生器250。

文件发生器250还通过驱动电路(未示出)与写入头174连接。数据处理单元128将录像带标识码V-ID传输到文件发生器250，文件发生器250通过写入头260将录像带标识码V-ID写入软盘FD的首标块HT中。用户在键盘142上弹奏时，数据处理单元128间断性地从MIDI控制器150向文件发生器250传输事件码。当一个或多个事件码到达文件发生器250时，文件发生器250将指令信号提供给时间增量计算器240。时间增量计算器240产生时间增量码，并将其提供给文件发生器250，如上所述。文件发生器250将一个或多个事件码(从数据处理单元128提供)和相关时间增量码写入软盘FD的磁道块TT中。

时间增量计算器240与累加器220、修正值计算器230和文件发生器250连接，并包括寄存器241和242。当代表开始同步记录的控制信号达到控制器172时，寄存器241/242初始化，在寄存器241和242中写入0。在寄存器241中存储时间增量计算器240从文件发生器250接收指令信号的时间。先前指令的时间存储在寄存器241中作为节拍时钟数Nf。当指令信号达到时间增量计算器240时，时间增量计算器240从寄存器222读取节拍时钟数N，并计算时间间隔(N-Nf)。时间增量计算器240将节拍时钟数N保持在寄存器241中作为先前指令的时间Nf。另一方面，寄存器242分配给修正值R，也以节拍时钟CT数的形式写入修正值R。修正值R代表由时钟(即，累加器220)指示的一段时间和根据MIDI时间码确定的一段时间之间的差。从修正值计算器230提供修正值R，时间增量计算器240将修正值R加到时间间隔(N-Nf)上，用于确定时间增量，即，(N-Nf+R)。时间增量计算器240以时间增量码存储时间增量，并将时间增量码提供给文件发生器250。一完成文件发生器250指令的任务，时间增量计算器240将节拍时钟CK数N写入寄存器241中。这样，更新先前指令的时间Nf。

修正值计算器230与累加器220和时间增量计算器240连接，并确定修正值R。修正值R代表从图片再现的一段时间和从在键盘142上演奏的一段时间之间的时间差。修正值计算器230通过执行图4所示的计算机程序来确定修正值R。

假设MIDI时间码达到了修正值计算器230。修正值计算器230在步骤S0起动计算机程序，并将MIDI时间码存储在内部寄存器(未示出)中。MIDI时间码表示从开始产生图片的一段时间TCD，如步骤S1。

接下来，修正值计算器230从寄存器222读取节拍时钟CT数N，并将数N转换为一段时间TFD，如步骤S2。节拍时钟CT有脉冲周期τ，一段时间TFD给出为(N×τ)。

时间增量计算器240确定一段时间TCD和一段时间TFD之差的绝对值，并将绝对值|TCD-TFD|与界限Δ进行比较，看绝对值|TCD-TFD|是否小于界限Δ，如步骤3。当绝对值|TCD-TFD|小于界限Δ时，在步骤S3给出的回答是肯定的，修正值计算器230确定修正值R是0。那么，修正值计算器230在寄存器242中写入0，如步骤S4，从计算机程序退出。

另一方面，绝对值|TCD-TFD|大于界限Δ，在步骤S3给出的回答是否定的，修正值计算器230检查一段时间TCD和TFD，看键盘142上的演奏是否延迟于图片，如步骤S5。

假设键盘142上的演奏延迟于图片。一段时间TCD大于一段时间TFD，在步骤S5给出的回答是肯定的。然后，修正值计算器230用差TFD-TCD(为负值)除以脉冲周期τ，并将结果，即(TCD-TFD)/τ写入寄存器242中作为修正值R。由于被除数(TCD-TFD)和除数τ是负值和正值，所以结果(TCD-TFD)/τ是负值。修正值计算器230在寄存器242中写入修正值(＜0)，如步骤S6。当时间增量计算器240将修正值R加到时间间隔(N-Nf)，用于确定时间增量，即(N-Nf+R)，就缩短了时间间隔(N-Nf)，时间增量码使下一音符开事件跟上图片中的可视图像。

另一方面，如果在键盘142上的演奏超过了图片，在步骤S5给出的回答是否定的，修正值计算器230用差TFD-TCD(为正值)除以脉冲周期τ，并将结果，即(TCD-TFD)/τ写入寄存器242中作为修正值R。由于被除数(TCD-TFD)和除数τ是正值，所以结果(TCD-TFD)/τ是正值。修正值计算器230在寄存器242中写入修正值(＞0)，如步骤S7。

当时间增量计算器240将修正值R加到时间间隔(N-Nf)，用于确定时间增量，即(N-Nf+R)，就延长了时间间隔(N-Nf)，时间增量码使图片中的可视图像跟上下一音符开事件。

当修正值计算器230在步骤S6或S7写入修正值时，修正值计算器230在步骤S8终止任务。

下面，参考图5描述同步记录。将从录像带VT读取的视频时间码转换为分配有第一行的MIDI时间码。在时间0，0.25秒，0.50秒读取视频时间码[0]，[0.25]，[0.50]，...，并立即通过数据处理单元128传输到控制器172。这样，就以250毫秒的时间间隔读取MIDI时间码[k](k＝0，0.25，0.50，...)。在实际的多媒体平台中，以1/30秒的时间间隔产生MIDI时间码。然而，为了简化说明，将时间间隔减少到250毫秒。

也从录像带VT读取的视频数据码表达为p[k]，即，p[0]，p[0.25]，p[0.50]，...，并在时间[k]和时间[k+1]之间读取它。立即将视频数据码p[k]提供给监控显示器112，用于产生图片。将第二行分配给视频数据码p[k]。

也从录像带VT读取的音频数据码表达为a[k](k＝0，0.20，0.50，...)，并在时间[k]和时间[k+1]之间读取它。将第三行分配给音频数据码a[k]。把音频数据码a[k]提供给数据处理单元128，并转换为音频信号。将第四行分配给转换为音频信号的音频数据码。

将第五行分配给一段时间r[k]，即，N×τ，立即响应第六行指示的键盘142上的弹奏将事件码ME-1、ME-2、ME-3、...间断性地提供给文件发生器250。

用户先通过操纵面板130对数据处理单元128给出暂停指令。数据处理单元128将代表用户指令的控制信号提供给软盘控制器/驱动器170，使得软盘控制器/驱动器170进入闲置状态。数据处理单元128等候下一指令时，用户将软盘FD安装到软盘控制器/驱动器170中，将录像带VT安装到摄像机102中。多媒体平台准备同步记录，通过操纵面板130上的显示窗口通知用户准备状态。

用户通过操纵面板118指令播放器116开始再现图片。然后，播放器116读取代表0的视频时间码，并将视频时间码提供给代码转换器126。代码转换器126将视频时间码转换为MIDI时间码[0]，并将MIDI时间码[0]提供给数据处理单元128。当MIDI时间码[0]到达数据处理单元128时，数据处理单元128将代表开始同步记录，即消除暂停指令的控制信号与MIDI时间码[0]一起提供给控制器172。

用MIDI时间码[0]，寄存器222、241和242重置为0，累加器220开始计数节拍时钟CT。虽然修正值计算器230准备计算一段时间r[0]，但是，修正值计算器230不根据MIDI时间码[0]计算修正值R。

播放器116还从录像带VT读取视频数据码p[0]和音频数据码a[0]，并将视频数据码p[0]和音频数据码a[0]分别提供给监控显示器112和数据处理单元128。监控显示器112开始在屏幕上产生可视图像，数据处理单元128开始将音频信号提供给声音系统106，用于从扬声器164发出电子音调。

当从录像带VT读取下一视频时间码时，将MIDI时间码[0.25]提供给修正值计算器230，将视频数据码p[0.25]和音频数据码a[0.25]传输到监控显示器112和数据处理单元128。修正值计算器230起动图4所示的计算机程序，如果需要的话，将修正值R存储在寄存器242中。监控显示器112连续在屏幕上产生可视图像，从扬声器164发出电子音调。修正值计算器230计算一段时间r[0.25]，将一段时间r[0.25]，即，TFD与由MIDI时间码[0.25]表示的一段时间TCD进行比较，看是否确定了修正值R。

MIDI时间码从[0.25]增加到[0.75]时，播放器116、数据处理单元128、声音系统106和控制器172重复上述工作，等候第一MIDI事件码ME-1。当用户按下黑/白键时，MIDI控制器150确认音符开事件，并将第一MIDI事件码ME-1通过数据处理单元128提供给软盘控制器/驱动器170。第一MIDI事件码ME-1一到达文件发生器250，文件发生器250就请求时间增量计算器240确定从开始同步记录起的一段时间。时间增量计算器240从寄存器222读取节拍时钟CT数N，并在寄存器242检查修正值R。时间增量计算器240计算时间增量，即，(N-Nf+R)，并以时间增量码存储时间增量。时间增量计算器240将时间增量码提供给文件发生器250，使得用写入头174将第一事件码ME-1和时间增量码存储在磁道块TT中。

当MIDI事件码ME-2/ME-3/...到达文件发生器250时，文件发生器250和时间增量计算器240重复上述工作，用于将MIDI事件码ME-2/ME-3/...与时间增量码一起存储在磁道块TT中。

当用户完成键盘142上的演奏时，他或她将代表完成的指令提供给数据处理单元128。然后，数据处理单元128指令播放器116从录像带VT读取录像带标识码V-ID。播放器116将录像带标识码V-ID传输到数据处理单元128，数据处理单元128把代表将录像带标识码V-ID存储在首标块HT中的控制信号与录像带标识码V-ID提供给文件发生器250。文件发生器250将录像带标识码V-ID写入首标块HT中，并完成同步记录。

从上述描述可以理解，修正值计算器230用MIDI时间码周期性地调整内部时钟220，并根据时钟220所指示的一段时间将MIDI事件码与时间增量码一起存储在信息存储媒体中，时间增量码代表MIDI事件码和先前事件码之间的时间间隔。因此，记录在信息存储媒体中的演奏总是与在另一信息存储媒体VT中产生的图片同步。

第一实施例中，自动演奏钢琴132起第一数据源1的作用，摄像机102和控制器110一起构成第二数据源2。时钟发生器176、累加器220、时间增量计算器240和修正值计算器230整个构成第三数据源4，文件发生器250和写入头174组合形成记录器6。监控显示器112起图像发生器8的作用。

第二实施例

图6显示了包括在软盘控制器/驱动器181中的另一控制器180，软盘控制器/驱动器181又包括在利用本发明的另一多媒体平台中。其它系统部件与第一实施例类似，所以用参考符号102/104/106/108/110/112来区分它们。

软盘控制器/驱动器181也有信息处理能力。控制器180与数据处理单元128连接。控制器180根据节拍时钟CT数N内在地产生时间增量码，MIDI时间码一到，就用时钟指示的一段时间消除时间差。将事件码从MIDI控制器150通过数据处理单元128来提供，用写入头174在软盘FD中写入事件码和时间增量码。

控制器180包括累加器220A，时间增量计算器240A、文件发生器250A和调节器230A。文件发生器250A与文件发生器250类似，为了避免重复，在下文中不在赘述。

累加器220A也包括加法器221和寄存器222，与累加器220类似地增加节拍时钟CT数N。总数N表达从开始同步记录的一段时间。累加器220和220A之间的差别是调节器230A可以重写节拍时钟CT的总数N，如下文详细描述的那样。

时间增量计算器240A只包括一个寄存器241，它分配有节拍时钟CT的总数Nf，在节拍时钟CT上先前的一个或多个事件码达到了文件发生器250A。时间增量计算器240A确定总数N和总数Nf之间的差，并产生代表该差，即事件之间的差的时间增量码。时间增量计算器240A将时间增量码提供给文件发生器250A。

当从数据处理单元128传输时间码时，调节器230A将根据总数N计算的一段时间与存储在MIDI时间码中的一段时间进行比较，看这两段时间之间的差是否在预定界限Δ内。如果差等于或小于界限Δ，调节器230A不执行任何调节工作。另一方面，如果该差大于界限Δ，调节器230A就重写总数N，以便消除这两段时间之间的差。

图7说明了要由调节器230A执行的计算机程序。假设MIDI时间码达到调节器230A。调节器230A在步骤S10起动计算机程序，并将MIDI时间码存储在内部寄存器(未示出)中，如步骤S11。MIDI时间码代表从开始在监控显示器112上产生图片的一段时间TCD。

接下来，调节器230A从寄存器222读取节拍时钟的总数N，并将数N转换为从开始同步记录的一段时间TFD，如步骤S12。节拍时钟CT有脉冲周期τ，一段时间TFD表示为(N×τ)。

调节器230A确定一段时间TCD和一段时间TFD之间的差的绝对值，并将绝对值|TCD-TFD|与界限Δ进行比较，看绝对值|TCD-TFD|是否小于界限Δ，如步骤S13。当绝对值|TCD-TFD|小于界限Δ时，在步骤S13的回答是肯定的，调节器736退出计算机程序，如步骤S14。

另一方面，绝对值|TCD-TFD|大于界限Δ，在步骤S13的回答是否定的，调节器230A将一段时间TCD与一段时间TFD进行比较，看内部时钟，即，累加器220A是否延迟于以MIDI时间码存储的时间，如步骤S15。

假设内部时钟延迟于以时间码存储的一段时间。一段时间TCD大于一段时间TFD，在步骤S15的回答是肯定的。然后，调节器230A用绝对值|TCD-TFD|除以脉冲频率τ，将结果，即|TCD-TFD|/τ加到总数N。在寄存器222中写入和，如步骤S16。这样，用MIDI时间码设定内部时钟。调节器736在步骤S14退出计算机程序。

另一方面，如果内部时钟超前了，在步骤S15的回答就是否定的，调节器230A用绝对值|TCD-TFD|除以脉冲频率τ，从总数N减去结果，即|TCD-TFD|/τ。调节器230A在寄存器222中写入差(N-|TCD-TFD|/τ)，如步骤S17。这样，用MIDI时间码设定内部时钟。调节器230A在步骤S14退出计算机程序。

当用户指令控制器数据处理单元128与存储在录像带VT中的图片同步记录他或她的演奏，软盘控制器/驱动器170根据总数N和Nf之间的差内在地产生时间增量码，并将事件码和时间增量码存储在标准MIDI文件SMF中。调节器230A周期性地检查内部时钟220A，看一段时间Nτ是否约等于以MIDI时间码存储的一段时间。当一段时间Nτ超前或延迟时，调节器230A用MIDI时间码设定内部时钟。结果，以时间增量码存储的时间间隔基于由MIDI时间码表示的一段时间，与监控显示器112上的图片同步在软盘FD中存储演奏。这样，实现第二实施例的多媒体平台实现了第一实施例的所有优点。

在第二实施例中，时钟发生器210、累加器220A、调节器230A和时间增量计算器240A整个构成第三数据源4，文件发生器250A和写入头174组合形成记录器6。

第三实施例

图8显示了体现本发明的又一多媒体平台300。除了盘记录器/播放器302和控制器304之外，多媒体平台300与多媒体平台100类似。因此，其它系统部件用指示对应系统部件102/106/108的参考符号来标记，为了简便，不再赘述。

盘记录器/播放器302包括盘记录器104和盘播放器308，用数据处理单元310来代替数据处理单元128。盘记录器104与第一实施例中类似。代码转换器126和MIDI控制器150在数据处理单元310的控制下，将MIDI时间码和事件码提供给盘记录器104，盘记录器104与图片重放同步将键盘142上的演奏记录在软盘FD中。

数据处理单元310实现了同步重放的其它任务和与数据处理单元128相同的任务，盘播放器308将从软盘FD读取的事件码与图片重放同步提供给数据处理单元310。详细地说，假设用户通过操纵面板130指令数据处理单元与图片重放同步再现记录在软盘中的演奏。然后，数据处理单元310将控制信号提供给盘播放器308。控制信号代表开始重放比开始重放图片晚500毫秒。播放器116将视频数据码和音频数据码传输到监控显示器112和数据处理单元310时，周期性地向代码转换器126提供视频时间码，将视频时间码转换为MIDI时间码。数据处理单元310将MIDI时间码传输到盘播放器308，用于图片和演奏之间的同步。

在描述盘播放器308之前，更详细地描述自动演奏钢琴138。如结合多媒体平台100所述，自动演奏钢琴132包括声学钢琴136和自动播放系统138。分别为键盘142和踏板149提供螺线管操作键激励器152和螺线管操作踏板激励器158，MIDI控制器150通过驱动电路312选择性地向螺线管操作键/踏板激励器152/158提供驱动信号。这样，用驱动信号接通螺线管操作键激励器152引起键移动，用相关动作单元144驱动音锤146旋转，以便在自由旋转端敲击相关弦148。弦148振动，从振动弦148发出声学钢琴音调。在向MIDI控制器150传送事件码和产生声学钢琴音调之间发生时间拖拉。时间拖拉在这种情况下是500毫秒级。对于同步重放考虑500毫秒的时间拖拉。然而，在用户指令数据处理单元310将事件码传输到用于合奏的音调发生器134的情况下，同步重放不允许有任何大量时间拖拉。

如下多媒体平台300从同步重放消除时间拖拉。当用户通过操纵面板130给予数据处理单元310与同步重放的指令时，数据处理单元310将代表暂停指令的控制信号提供给盘播放器308，将代表开始重放的控制信号提供给播放器116。当第一MIDI时间码达到数据处理单元310时，数据处理单元310在第一MIDI码后面500毫秒的确定点对盘播放器308给予用于开始重放的指令。盘播放器308响应该指令，以便在开始点之后500毫秒的确定点开始数据读取。虽然声学钢琴音调从传送MIDI码延迟了500毫秒，但是，盘播放器308读取比代表对应于声学钢琴音调的场景的视频数据码早500毫秒的MIDI码。这样，与图片同步再现音调。

从软盘FD顺序读取MIDI数据码时，盘播放器308不仅起音序器的作用，而且起定时控制器的作用。当盘播放器308将一个或多个事件码传送到数据处理单元310时，盘播放器308进入等候状态。时间增量码所指示的时间一用尽，盘播放器308就从软盘FD读取下一事件码或多个事件码，并将读取的一个或多个事件码传送到数据处理单元310。这是音序器的功能。

参考图9描述作为定时控制器的功能。图9显示包括在盘播放器308内的控制器312的电路布置。控制器312包括事件缓冲器314、时间增量寄存器316、累加器318/320、发送控制322和用于器定时控制器功能的调节器324。用加法器326和寄存器328的组合来实现累加器318，加法器330和寄存器332构成其它加法器320。

选择性地将一个或多个事件码和时间增量码从软盘FD提供给事件缓冲器314和时间增量寄存器316，并分别存储在事件缓冲器314和时间增量寄存器316中。时间增量码后可以有一个以上的事件码。事件缓冲器314有足以存储所有从软盘FD同时提供的事件码的存储容量。时间增量码的值等于要在事件和下一事件之间计数的节拍时钟CT数。事件缓冲器314与数据处理单元310连接，时间增量寄存器316与累加器318和调节器324连接。连续从软盘FD读取时间增量码，直到500毫秒而不用等候时间，如果有的话，就忽略事件码直到500毫秒。因此，累加的总量M代表恰在开始同步重放后的500毫秒。

发送控制322有与累加器318和调节器324连接的两个输入端口，将表示传输一个或多个事件码的目标时间的累加总量M与存储在寄存器332中的数字N’进行比较，看是否要向数据处理单元310传输一个或多个事件码。当数字N’达到累加总量M时，给出的回答是肯定的，发送控制322将启动信号和锁存控制信号改变为作用电平，并将作用启动/锁存控制信号提供给数据处理单元310和时间增量寄存器/用于累加总量的寄存器316/328。发送控制322可以向寄存器316/328提供写入时钟信号来代替锁存控制信号。

累加器318累加时间间隔，即，时间增量码的值，并将累加总量M提供给发送控制322。每个时间增量码代表要在事件和下一事件之间计数的节拍时钟CT数，使得累加总量M也可以用从开始读取MIDI码起计数的节拍时钟CT的总数来表示。加法器326有分别与时间增量寄存器316和用于累加总量的寄存器328连接的两个输入端口，输出端口与用于累加总量的寄存器328连接。这样，加法器326和寄存器328形成了累加环。当用户指令控制器304再现记录在软盘FD中的演奏时，寄存器328重置为0。盘播放器308顺序读取MIDI码时，软盘FD间断性地向时间增量寄存器316提供时间增量码。当数字N’达到累加总量M时，发送控制322将锁存控制信号变为作用电平。用作用锁存控制信号，下一时间增量码存储在时间增量寄存器316中，并立即传输到加法器326，用于累加。加法器326将时间增量加到累加总量M，存在作用电平的锁存控制信号时，新的累加总量M存储在寄存器328中。

另一个累加器320计数节拍时钟CT。加法器330有分别与常数“+1”的源和寄存器332连接的两个输入端口，加法器330的输出端口与寄存器332的输入端口连接。加法器330和寄存器332形成累加环。寄存器332与加法器330连接的输入端口还与调节器324和发送控制322连接，将节拍时钟CT提供给寄存器332作为锁存控制信号。当用户指令数据处理单元310与图片同步再现演奏时，将初值写入寄存器332中。初值等于500/τ毫秒。节拍时钟CT的脉冲周期用τ来表示。加法器330将数字增加1，响应节拍时钟CT将总量存储在寄存器332中。数字N’代表从开始同步重放起的一段时间。这样，节拍时钟CT数N’就存储在寄存器332中，并提供给调节器324和发送控制322。

虽然累加器318累加了时间增量，但是不向数据处理单元310传输一个或多个事件码直到累加总量M超过节拍时钟CT数N’。超过数字N’之后，节拍时钟CT增加数字N’。当数字N’跟上累加总量M时，将一个或多个事件码传输到数据处理单元310。如上所述，初值是“500/τ”，使得即使在“500/τ”之前在事件缓冲器314中存储了一个或多个事件码，也不将一个或多个事件码传输到数据处理单元310。

调节器324与数据处理单元310、累加器320和时间增量寄存器316连接。将MIDI时间码周期性地从代码转换器126通过数据处理单元310传输到调节器324，累加器320将节拍时钟CT数N’提供给调节器324。由MIDI时间码所表示的一段时间缩写为“TCD”。调节器324实现了如下3个主要任务。

调节器324先通过用数字N’乘以节拍时钟CT的脉冲周期τ，即，(N×τ)，计算从开始同步重放起的一段时间。如上所述，在开始同步重放之后500毫秒的确定点向数据处理单元310传输事件码。为了将一个时钟的标度盘均衡为另一时钟的标度盘，调节器241从一段时间(N’×τ)减去500毫秒，并确定修正后的一段时间TFD’，即{(N’×τ)-500}。这是第一个任务。

调节器324所要实现的第二个任务是将时钟设得向前或向后。首先，调节器324检测MIDI时间码，看一段时间TCD’是否大于0。给出的回答是否定时，调节器324重复比较。当MIDI时间码表示大于0的一段时间时，回答变为肯定的。肯定回答时，调节器324将一段时间TFD’与一段时间TCD’进行比较，看一段时间TCD’是大于、等于还是小于一段时间TFD’。在一段时间TFD’与一段时间TCD’不同的情况下，调节器324进一步检查一段时间TFD’/TCD’，看它们之间的差DF是否落在预定界限MG内。调节器324进行到不同的步骤，这取决于下面的结果。

情况1：TFD＝TCD或|DF|＜MG

调节器324将时钟设为既不前也不后。间断性地从软盘FD向时间增量寄存器316提供时间增量码，并在寄存器328中累加时间增量码。当节拍时钟CT的总数N’达到累加总量M时，发送控制322将启动信号和锁存控制信号变为作用电平。有作用电平的启动信号时，将一个或多个事件码锁存在数据处理单元310的缓冲器中，在累加器318中累加由下一时间增量码表示的时间增量。

情况2：TCD’＞TFD’或|DF|＞MG

通过自动演奏钢琴132再现的演奏比监控显示器112上再现的图片延迟了差DF。调节器324通过用差DF除以脉冲周期τ，将时间拖拉，即，差DF转换为节拍时钟CT数DN。结果(TCD’-TFD’)/τ等于时间延迟。调节器324从时间增量寄存器316取出时间增量码，从时间增量码的值ND减去数字DN。

接下来，调节器324检查计算结果，看差{ND-(TCD’-TFD’)/τ}是否是正数。当给出的回答是肯定时，调节器324就在时间增量寄存器316中写入差{ND-(TCD’-TFD’)/τ}。缩短了时间增量码所表示的时间间隔。调节器324将修正后的时间增量码提供给寄存器316，使得修正后的时间增量码表示小于先前数字的节拍时钟CT数。当在寄存器328中累加修正后的时间增量码时，发送控制322在安排的时间之前将一个或多个时间增量码D3发送到数据处理单元310。这就导致消除了延迟。通过启动演奏钢琴312和监控显示器112同步再现演奏和图片。

另一方面，如果差{ND-(TCD’-TFD’)/τ}是负数，给出的回答是否定的。这种情况下，调节器324用结果(TCD’-TFD’)/τ除以正数α，从时间增量码的值减去结果(TCD’-TFD’)/τα。如果正数是2，给出的差就是{ND-(TCD’-TFD’)/2τ}。调节器324检查计算结果，看差是否是正数。当给出的回答是肯定时，调节器324将差{ND-(TCD’-TFD’)/2τ}写入时间增量寄存器316中，将另一半，即(TCD’-TFD’)/2τ保持在内部寄存器(未示出)中。调节器324从下一时间增量的值减去另一半。这样，调节器324逐步解决时间拖拉，以便与图片同步再现演奏。如果差{ND-(TCD’-TFD’)/2τ}还是负数，调节器324就增大除数，重复上述过程。

情况3：TFD’＞TCD’或|DF|＞MG

这种情况下，通过自动演奏钢琴132再现的演奏从图片再现超前了差DF，即，TFD’-TCD’。调节器324先通过用差DF除以脉冲周期τ，将时间，即，差DF转换为节拍时钟CT数DN。结果(TCD’-TFD’)/τ等于自动演奏钢琴132产生的演奏所超前的时间。调节器324从时间增量寄存器316读取时间增量码，并将数字DN加到时间增量码的值ND。调节器324在时间增量寄存器316中写入和{ND+(TCD’-TFD’)/τ}。这样，时间增量码所表示的时间间隔就延长了。调节器324将修正后的时间增量码提供给寄存器316，使得存储在寄存器316中的修正后时间增量码表示大于先前数字的数字。当在寄存器328中累加修正后的时间增量码时，发送控制322推延一个或多个事件码的发送。这导致图片跟上通过自动演奏钢琴132再现的演奏。

图10显示了同步重放。MIDI时间码表达从开始图片重放起的一段时间，并分配有第一行。[k]指示一段时间，并增加0.25毫秒。虽然视频时间码总是增加1/30秒，但是，为了简便，图10所示的视频时间码通常增加0.25秒。例如，[0.25]指示开始重放后0.25毫秒的一段时间。从录像带VT读取的视频数据码分配有第二行。视频数据码表达为“p[k]”。从录像带VT读取从时间[k]到时间[k+1]的视频数据码p[k]。从[0.25]到[0.50]读取视频数据码p[0.25]。

也从录像带VT读取的音频数据码分配为第三行。该音频数据码表达为“a[k]”。从录像带VT读取从时间[k]到[k+1]的音频数据码a[k]。将音频数据码a[k]提供给数据处理单元310，数据处理单元310将音频数据码a[k]转换为音频信号。将音频信号提供给声音系统106，从扬声器164发出电子音调。将第四行分配给转换为音频信号的音频数据码a[k]。在从音频数据码a[k]到音频信号的转换中不引入大量的时间延迟，使得将转换为音频信号的音频数据码a[k]与从录像带VT读取的对应音频数据码a[k]一起放在指示一段时间[k]的垂直线上。

从软盘FD读取的MIDI数据码分配有第五行，用m[k]来表达。从软盘FD读取从[k]到[k+1]的MIDI数据码m[k]。虽然播放器116和308同时起动，但是，将MIDI数据码m[k+0.5]与对应视频数据码p[k]和音频数据码a[k]一起放在垂直线上。MIDI数据码分为事件码和时间增量码，表示音符开的前3个事件码缩写为“ME-1”、“ME-2”和“ME-3”。无论如何，已经在累加器328中累加了[0]和[0.50]之间的时间增量码，在[0]之后立即在寄存器332中写入初值“500/τ”。盘播放器308在开始从软盘FD读取之后500毫秒时开始将事件码传输到数据处理单元310。因此，把MIDI数据码m[0.50]在[0]和[0.25]之间传输到数据处理单元310。

在[0.5]、[1.00]和[1.50]从软盘FD读取事件码ME-1、ME-2和ME-3，并传输到数据处理单元310。然而，向MIDI控制器150传送和产生声学钢琴音调之间有500毫秒。因此，根据第六行所示的事件码ME-1、ME-2和ME-3在[1.00]、[1.50]和[2.00]产生声学钢琴音调。与视频数据码p[1.00]表示的场景和音频数据码a[1.00]表示的电子音调同步产生基于事件码ME-1的音调。(见指示[1.00]的垂直线)

假设用户指令控制器304同步重放。数据处理单元310就给予盘播放器308暂停指令，使得盘播放器308进入闲置状态。播放器116从录像带VT读取录像带标识V-ID码，并通过数据处理单元310将录像带标识码V-ID传输到盘播放器308。盘播放器308从标准MIDI文件SMF的首标块HT读取录像带标识码V-ID，并将读取的录像带标识码V-ID与从播放器116提供的录像带标识码V-ID进行比较，看它们是否相互一致。如果录像带标识码V-ID彼此相同，盘播放器308将判断报告给数据处理单元310，数据处理单元310通过在操纵面板130上的显示窗口把该判断通知用户。

当用户指令播放器116通过操纵面板118从录像带VT读取视频/音频/视频时间码时，播放器开始从录像带VT读取视频数据码、音频数据码和视频时间码。播放器116将代表0的视频时间码提供给代码转换器126，代码转换器126将MIDI时间码[0]提供给数据处理单元310。数据处理单元310将代表开始同步重放的控制信号提供给盘播放器308。当盘播放器308收到控制信号时，盘播放器308将寄存器328重置为0，将初值“500/τ”写入寄存器332，没有任何等候就开始连续将事件码和时间增量码分布到事件缓冲器314和时间增量寄存器316。没有任何等候地在寄存器328中连续累加时间增量码，直到累加总量达到“500/τ”。盘播放器308立即完成这些工作，使得几乎与向监控显示器112和声音系统106分布视频数据码和模拟音频信号的同时从FD读取MIDI数据码[0.5]。

盘播放器308从m[0.50]起间断性地从软盘FD读取事件码和时间增量码，并在节拍时钟CT数N’达到累加总量M时，通过数据处理单元310将事件码传输到MIDI控制器150。调节器324一接收到MIDI时间码[k]，就周期性地修正时间增量码的值。

代表音符开的第一事件码ME-1包括在MIDI数据码m[1.00]中，在[0.50]将MIDI数据码m[1.00]传输到数据处理单元310。然而，自动演奏钢琴132从接收事件码ME-1到产生声学钢琴音调用去了500毫秒。因此，在[1.00]产生由事件码ME-1表示的声学钢琴音调。安排成在[1.00]一起实现MIDI数据码m[1.00]以及视频数据码p[1.00]和音频数据码a[1.00]。当播放器116读取视频数据码p[1.00]和音频数据码a[1.00]时，播放器立即将视频数据码p[1.00]和音频数据码a[1.00]传输到监控显示器112和声音系统106，监控显示器112和声音系统106在[1.00]从视频数据码p[1.00]和音频数据码a[1.00]再现可视图像和电子音调。类似地，事件码ME-2和ME-3包括在MIDI数据码m[1.50]和m[2.00]中，在[1.50]和[2.00]与可视图像p[1.50]和p[2.00]以及电子音调a[1.50]和a[2.00]同步产生音调。这样，与图片，即一系列可视图像和电子音调同步产生声学钢琴音调。

从上述描述可以理解，多媒体平台300与图片和电子音调同步再现音调。

在第三实施例中，盘播放器308起第一数据源20的作用，摄像机102和控制器304整个构成第二数据源22，监控显示器112对应于图像发生器24，自动演奏钢琴132和用于合奏的音调发生器134整个构成声音发生器26，控制器312起定时控制器28的作用。

第四实施例

图11显示了体现本发明的另一多媒体平台350。除了硬盘单元352和控制器354之外，多媒体平台350与多媒体平台300类似。因此，多媒体平台350的其它系统部件用指示多媒体平台300的对应系统部件的参考数字来标记，为了简便，不再描述。硬盘单元352可以用另一种存储装置来代替，诸如随机存取存储器。

多媒体平台350可用于同步记录和同步重放，与多媒体平台300类似。控制器354通过执行计算机程序，将电子音调的音高调节到对应声学钢琴音调的音高。详细地说，根据音频数据码产生的电子音调假设具有443Hz的标准音高，即，音高A。如果声学钢琴136调谐为448Hz的标准音高，电子音调是不会与声学钢琴音调协调的。为了使电子音调与声学钢琴音调协调，控制器354控制电子音调的音高，使得电子音调与合奏中声学钢琴音调很好地协调。

为了控制电子音调的音高，从录像带VT读取音频数据码，数据处理单元356在硬盘单元352中写入音频数据码。结果，与从录像带VT读取的视频数据码独立地从硬盘单元352读取音频数据码。

图12显示了用于控制同步记录中电子音调的音高的计算机程序。假设用户在以下条件下指令控制器354：在摄像机102和盘记录器104中装入录像带VT和软盘FD之后，控制电子音调的音高以便协调。

数据处理单元356确认在摄像机102和盘记录器104中装入了录像带VT和软盘FD，如步骤Sa1，并指令播放器116向其传输来自录像带VT的音频数据码。数据处理单元356接收音频数据码，并将它们写入硬盘单元352中，如步骤Sa2。

接下来，数据处理单元356检查操纵面板130用户是否已经指令了音高控制，如步骤Sa3。如果用户还没指令数据处理单元356进行音高控制，给出的回答是否定“NO”，数据处理单元356进行到步骤Sa9。下面描述在步骤Sa9的工作。另一方面，如果用户已经指令数据处理单元356进行音高控制，给出的回答是肯定“YES”，数据处理单元356重复包括步骤Sa4、Sa5和Sa6的环路，用于电子音调的标准音高。

数据处理单元356从硬盘单元352读取音频数据码，并通过快速傅立叶变换确定用于每个频率的声压级，如步骤Sa4。图13显示了代表声压的电信号的波形，这是根据音频数据码确定的。波形有多个峰。然而，电子音调的标准音高接近声学钢琴音调的标准音高。因此，数据处理单元可以通过带通滤波器传送电信号，用于对目标波段(440Hz±α)进行分析。

接下来，数据处理单元356选择确定频率，并在确定频率取回代表声压SP的一条数据信息，如步骤Sa5。数据处理单元356将确定频率的声压SP与阈值TH进行比较，看确定频率的声压是否超过了阈值，如步骤Sa6。如果声压SP小于阈值TH，给出的回答是否定的“NO”。然后，数据处理单元356改变目标频率，返回步骤Sa4。这样，数据处理单元356改变目标频率，重复包括步骤Sa4到Sa6的环，直到在步骤Sa6的回答变为肯定。

当数据处理单元356发现峰P1(见图13)时，回答变为肯定“YES”，数据处理单元356确定确定频率是标准音高，如步骤Sa7。在图13所示的实例中，标准音高是443Hz。

接下来，数据处理单元356通过播放器116从录像带VT获取录像带标识码V-ID，将标准音高和录像带标识码V-ID通知盘播放器308，如步骤Sa8。盘播放器308将代表标准音高和录像带标识码V-ID的数据码存储在软盘FD中，如图14所示。在软盘FD中产生标准MIDI文件SMF的情况下，将代表标准音高和录像带标识码V-ID的数据码存储在首标块HT中。

数据处理单元356检查操纵面板130，看用户是否已经指令控制器354同步记录，如步骤Sa9。如果在步骤Sa9给出的回答是否定“NO”，数据处理单元356就返回主例程。另一方面，当给出的回答是肯定“YES”时，数据处理单元356通知用户多媒体平台350准备同步记录，并指令盘记录器104与监控显示器112上的图片同步记录键盘142上的演奏，如步骤Sa10。一完成演奏，用户就指令数据处理单元356终止同步记录，数据处理单元356返回主例程。

假设用户指令控制器354与图片和电子音调同步再现演奏。数据处理单元354进入图15所示的计算机程序。首先，数据处理单元356请求盘播放器308将代表标准音高的事件码从软盘FD进行传输，如步骤Sb1。接下来，数据处理单元356指令操纵面板130在显示窗口上产生消息，诸如“请按下白键A”，等候用户的响应。当用户按下白键A时，音锤146敲击弦148，从振动的弦148产生音调A。麦克风(未示出)拾取音调A，并将电信号提供给数据处理单元356。数据处理单元分析从电信号转换的数字信号，并确定标准音高，如步骤Sb2。这种情况下，用于钢琴音调的标准音高假设为448Hz。数据处理单元356可以通过快速傅立叶变换测量确定波段中的声压级，并检查声压，看什么频率有阈值以上的声压。当数据处理单元356发现确定频率的声压级超过阈值时，数据处理单元356确定确定频率是钢琴音调“A”的标准音高。

接下来，数据处理单元356计算电子音调“A”的标准音高和钢琴音调“A”的标准音高之间的差，并确定音高差，如步骤Sb3。这种情况下，钢琴音调“A”的标准音高是448Hz，电子音调“A”的标准音高是443Hz，使得音高差是5Hz。电子音调的音高增加5Hz。然后，数据处理单元356确定目标速度，用于从硬盘单元352读取音频数据码，如步骤Sb4。数据读取速度与音调的音高有极大关系，如下所述。

图16A到16C显示了用于读取音频数据码的目标速度和电子音调的音高之间的关系。即使音频数据码不改变，代表电子音调的音频信号的波形也随从硬盘单元352读取音频数据码的目标速度而变化。当以标准读取速度Vb从硬盘单元352读取音频数据码时，音频信号可以有如图16A所示波形A。如果加快数据读取的速度，即，Vf＞Vb，波形A就收缩，音频信号有如图16B所示的波形B。因此，音调陡变。音高增大到448Hz。另一方面，在读取速度降低时，即，Vs＜Vb，波形A就扩大，音频信号有如图16C所示的波形C。因此，音调的音高降低到440Hz。

这种情况下，电子音调的音高降低到比声学钢琴音调的音高低5Hz。数据处理单元356指令硬盘单元352增大数据读取速度。相反，如果第二电子音调的音高高于声学钢琴音调的音高，数据处理单元356就指令硬盘单元352降低数据读取速度。

当确定目标速度时，数据处理单元356指令硬盘单元352、播放器116和盘播放器308在音高控制下开始同步重放，如步骤Sb5。播放器116从录像带VT读取视频数据码和视频时间码，盘播放器308从软盘FD读取时间增量码和事件码，硬盘单元352以目标速度从硬盘读取音频数据码，如步骤Sb6。将视频数据码、视频时间码和音频数据码分别提供给监控显示器112、代码转换器126和数据处理单元356。监控显示器112在屏幕上产生图片。将视频时间码转换为MIDI时间码，数据处理单元356将MIDI时间码传输到盘播放器308，用于控制定时，将事件码通过数据处理单元356传输到MIDI控制器150，与第三实施例类似。自动演奏钢琴132与图片同步产生声学钢琴音调。数据处理单元356将音频数据码转换为音频信号，并将音频信号提供给声音系统106，用于产生电子音调。由于以目标速度读取音频数据码，电子音调与声学钢琴音调很好地协调。这样，产生声学钢琴音调和电子音调，如步骤Sb7。

接下来，数据处理单元356检查录像带VT、硬盘单元352和软盘FD，看是否已经从其读取了所有数据码，如步骤Sb8。在步骤Sb8给出的回答是否定“NO”，数据处理单元356返回步骤Sb5，重复包括步骤Sb5到Sb8的环直到在步骤Sb8给出的回答变为肯定。当从录像带VT、硬盘单元352和软盘FD读取最后的视频数据/视频时间/音频数据/MIDI数据码时，在步骤Sb8给出的回答变为肯定，数据处理单元356返回主例程。

从上述描述可以理解，实现第四实施例的多媒体平台350实现了电子音调和多媒体平台之间音高控制以及同步重放。结果，电子音调与多媒体平台很好地协调。

第五实施例

再看图17，体现本发明的多媒体平台400大致主要包括摄像机402、软盘记录器404、声音系统406、声源408、光盘播放器410、控制器412和硬盘单元414。多媒体平台400与根据存储在录像带VT中的音频数据码再现图片和电子音调同步记录代表用户演奏的MIDI数据码，它还与根据光盘CD再现电子音调相同步。在下文的描述中，存储在录像带VT中的音频数据码称为“磁带存储的音频数据码”，从磁带存储的音频数据码产生的电子音调称为“第一电子音调”。相反，存储在光盘CD中的音频数据码称为“盘存储的音频数据码”，从盘存储的音频数据码产生的电子音调称为“第二电子音调”。

摄像机402、软盘记录器404、声音系统406和声源408与包括在多媒体平台100中的摄像机102、盘记录器104、声音系统106和声源108类似。因此，其部件用指示对应部件摄像机102、盘记录器104、声音系统106和声源108的参考符号标记，为了简便，不再赘述。

光盘播放器410包括光盘控制器/驱动器420，控制器412包括数字信号处理器(DSP)422和数据处理单元424。光盘控制器/驱动器420与数字信号处理器422以及数据处理单元424连接。数字信号处理器422再与数据处理单元424和混音器160连接。硬盘单元414与数据处理单元424连接，与第四实施例类似。数据处理单元424将控制信号提供给光盘控制器/驱动器420，用于传输用户指令，光盘控制器/驱动器420从光盘CD读取盘存储的音频数据码。光盘控制器/驱动器420将盘存储的音频数据码提供给数字信号处理器422，数字信号处理器422选择性地将盘存储的音频数据码或模拟音频信号提供给数据处理单元424或混音器160。

在用户指令控制器412从盘存储的音频数据码再现乐曲而不与图片、第一电子音调和声学钢琴音调同步时，数字信号处理器422从盘存储的音频数据码产生模拟音频信号，并将模拟音频信号提供给混音器160。放大模拟音频信号，而后，通过扬声器164将其转换为第二电子音调。另一方面，当用户指令控制器412与图片、第一电子音调和声学钢琴音调同步地从盘存储的音频数据码再现乐曲时，光盘控制器/驱动器420将盘存储的音频数据码通过数字信号处理器422传输到数据处理单元424，数据处理单元424在同步重放之前将盘存储的音频数据码写在硬盘单元414中。下面详细描述同步重放。

虽然，光盘能存储多种数据码，但是，盘存储音频数据码与根据本发明的多媒体平台400有很大关系。在用于音乐的标准光盘CD中，音频数据码ADC1/ADC2 ADC3/ADC4存储在用于右和左声道的记录区域中，将代表从开始重放起的一段时间的时间码插入音频数据码ADC1/ADC2 ADC3/ADC4，如图18所示。用于音乐的标准光盘CD还包含一个目录、分配给光盘CD的盘标识码C-ID和代表音乐合成的题目的音乐标识码。为了区分存储在光盘中的时间码和存储在录像带VT中的时间码，存储在光盘CD中的音频数据码和存储在录像带VT中的音频数据码在下文中分别称为“音频时间码”和“视频时间码”。另一种光盘在音频数据码和MIDI数据码之间共享。音频数据码和MIDI数据码可以存储在用于右声道和左声道或左声道和右声道的记录区域。

控制器412控制其它系统部件402/404/406/408/414，用于同步记录和同步重放。这种情况下，软盘记录器404与图片、第一电子音调和第二电子音调的再现同步记录键盘142上的演奏。在同步记录之前，盘存储的音频数据码从光盘CD传输到硬盘单元414。播放器116从录像带VT读取视频数据码和视频音频数据码，播放器116还从录像带VT读取视频时间码，并将视频时间码传输到代码转换器126。代码转换器126将视频时间码转换为MIDI时间码，并将MIDI时间码提供给数据处理单元424。数据处理单元424将MIDI时间码提供给软盘控制器/驱动器170，以便产生时间增量码而在从开始重放起的一段时间和从开始记录起的一段时间之间没有任何时间拖拉。数据处理单元424还根据MIDI时间码控制从硬盘单元414读取的数据，并将盘存储的音频数据码转换为模拟音频信号。数据处理单元424将事件码从MIDI控制器150传输到软盘控制器/驱动器170。分配给数据处理单元424的另一任务是提供从视频音频数据码转换的音频信号。

图19显示数据处理单元424结合从硬盘单元414读取的数据所实现的装置。这些装置对应于时钟430、音频信号发生器432、修正值计算器434和时钟信号发生器436。时钟信号发生器436包括用石英振荡元件和放大器(未示出)和分频器(未示出)的组合来实现的振荡器。该振荡器将周期信号提供给分频器，分频器输出频率彼此不同的时钟信号。多个时钟信号中的一个称为“节拍时钟CT”，节拍时钟CT用于MIDI数据码。将节拍时钟CT提供给时钟430，时钟430定义一段时间作为节拍时钟数N。

时钟430包括加法器440和寄存器442。加法器440有两个输入端口和一个输出端口。输入端口与常数[+1]的源和寄存器442的输出端口连接，加法器440的输出端口与寄存器442的输入端口连接。当用户指令控制器412开始同步重放，寄存器442重置为0。寄存器442响应节拍时钟CT以便在加法器440的输出端口存储节拍时钟的总数N，加法器将总数N增加1。这样，在开始同步重放之后，加法器440和寄存器442组合形成用于累加节拍时钟CT数N的累加环。

修正值计算器434与时钟430连接，MIDI时间码周期性地到达修正值计算器434。MIDI时间码一到，修正值计算器434就检查寄存器442，看在存储在时钟430中的一段时间与MIDI时间码所指示的一段时间之间是否发生了时间差。如果时间差严重的话，修正值计算器434重写总数N，用于用MIDI时间码调整时钟430。

图20显示了用于用MIDI时间码调整时钟430的方法。假设MIDI时间码到达修正值计算器434。修正值计算器434在步骤S20进入子例程程序，并将MIDI时间码存储在内部寄存器(未示出)中。MIDI时间码表示从开始同步重放起的一段时间TCD，如步骤S21。

接下来，修正值计算器434从寄存器442读取节拍时钟CT数N，并将数N转换为一段时间TFD，如步骤S22。节拍时钟CT有脉冲周期τ，一段时间TFD给出为(N×τ)。

修正值计算器434确定一段时间TCD和一段时间TFD之间的差的绝对值，将绝对值|TCD-TFD|与界限Δ进行比较，看绝对值|TCD-TFD|是否小于界限Δ，如步骤S23。当绝对值|TCD-TFD|小于界限Δ时，在步骤S23给出的回答是肯定“YES”，修正值计算器434返回主例程程序。

另一方面，绝对值|TCD-TFD|大于界限Δ，在步骤S23给出的回答是否定“NO”，修正值计算器434检查一段时间TCD和TFD，看时钟430是否延迟于MIDI时间码，如步骤S24。

假设时钟430延迟于MIDI时间码。一段时间TCD大于一段时间TFD，在步骤S24给出的回答是肯定“YES”。然后，修正值计算器434用差TCD-TFD除以脉冲周期τ，确定修正值(TCD-TFD)/τ。修正值计算器434将修正值(TCD-TFD)/τ加到存储在寄存器442中的总数N上，如步骤S25。这样，修正值计算器434将时钟430设得向前。

另一方面，如果时钟430超前而非MIDI时间码超前，在步骤S24给出的回答是否定“NO”，修正值计算器434用差TCD-TFD除以脉冲周期τ，确定修正值(TCD-TFD)/τ。修正值计算器434从总数N减去修正值(TCD-TFD)/τ，如步骤S26，使得修正值计算器434将时钟430设得向后。一完成步骤S25或S26的工作，修正值计算器434就返回主例程程序。

再看图19，音频信号发生器432控制从硬盘单元414读取的数据，并与时钟430、硬盘单元414和混音器160连接。音频信号发生器432包括数据读取控制器444和信号发生器446。数据读取控制器444依次从硬盘单元414读取盘存储音频数据码和音频时间码。

当将盘存储音频数据码从数据读取控制器444传输到信号发生器446，数据读取控制器444读取下一音频时间码，周期性地从寄存器442取回总数N。数据读取控制器444用脉冲周期τ乘以总数。乘积Nτ表示一段时间。然后，数据读取控制器444将一段时间Nτ与音频时间码所指示的一段时间进行比较，看是否要读取盘存储音频数据码。当一段时间Nτ跟得上音频时间码所指示的一段时间时，数据读取控制器444将下面的盘存储音频数据码传输到信号发生器446。

信号发生器446将盘存储音频数据码转换为模拟音频信号，并将模拟音频信号提供给混音器414，用于产生第二电子音调。由于修正值计算器434周期性用MIDI时间码调整时钟430，一段时间Nτ也与MIDI时间码所指示的一段时间一致。在一段时间Nτ跟得上相关音频时间码时，音频信号发生器432从盘存储音频数据码产生模拟音频信号。因此，第二电子音调与在监控显示器112上产生的图片同步产生。

软盘记录器404操作用来与图片和第一电子音调的再现和/或第二电子音调的再现同步记录在键盘142上的演奏。软盘记录器404在数据处理单元424的控制下在软盘FD中产生标准MIDI文件SMF。图21显示了要在软盘FD中产生的标准MIDI文件SMF。标准MIDI文件SMF1有首标块HT1和磁道块TT1。这种情况下，将分配给光盘CD的盘标识码C-ID与基本信息一起存储在首标块HT1中，基本信息诸如块类型和录像带标识码V-ID。虽然只在首标块HT(见图2B)中存储录像带标识码V-ID，但是，存储在首标块HT1中的信息使在记录期间产生图片和乐曲的光盘CD和录像带VT与其它光盘CD和录像带VT区分开来。另一方面，事件码和时间增量码ΔT存储在磁道块TT1中。每个时间增量码ΔT插在一个或多个事件码和前一个或多个事件码之间，代表它们之间的时间周期。大部分事件码表示键盘上的弹奏，其它事件码表示系统专用事件、间位事件等。事件码和时间增量码ΔT形成一组代表在键盘142上演奏的乐曲的MIDI数据码。代表合成的题目的音乐标识码也可存储在首标块HT1中。

当用户指令控制器412与从视频数据码产生图片和从盘存储的音频数据码产生的乐曲同步记录演奏时，软盘记录器404起动内部时钟，周期性地用MIDI时间码调整时钟。MIDI控制器150将代表按下键、释放键、速度等的事件码提供给数据处理单元424，数据处理单元424将事件码传输道软盘记录器404。一个或多个事件码一到，软盘记录器404就确定一个或多个事件码和前一个或多个事件码之间的时间周期，并将一个或多个事件码和代表时间周期的时间增量码写入磁道块TT1中。

图22显示了包括在软盘记录器404中的控制器450和写入头452。时钟信号发生器436将节拍时钟CT提供给控制器450。控制器450包括起时钟作用的累加器454、修正值计算器456、时间增量计算器458和文件发生器460。控制器412与文件发生器460和修正值计算器456连接，并将事件码和MIDI时间码分别提供给文件发生器460和修正值计算器456。将节拍时钟CT从时钟信号发生器436提供给累加器454。

累加器454包括加法器462和寄存器464。当数据处理单元424从代码转换器126接收代表0的第一MIDI时间码时，数据处理单元424将0写入寄存器464。控制器450与图片和第二电子音调同步记录演奏，数据处理单元424将MIDI时间码传输到修正值计算器456。常数[+1]的源与加法器462的一个输入端口连接，寄存器与加法器462的另一个输入端口连接。把节拍时钟的总数N提供给加法器462，加法器462把节拍时钟的总数N增加1。加法器462的输出端口与寄存器464的输入端口连接，寄存器464响应节拍时钟CT，用于锁存加法器462的输出信号。这样，加法器462和寄存器464就形成了累加环，响应节拍时钟CT将总数N增大1。节拍时钟的总数N与从接收第一MIDI时间码起，即，开始同步记录起的一段时间成正比。这样，累加器起时钟的作用。

文件发生器460在数据处理单元424的控制下。数据处理单元424与时间增量计算器458连接，一收到一个或多个事件码就将代表时间增量计算的指令信号提供给时间增量计算器458，使得时间增量计算器458确定时间增量，即，先前事件和当前收到的事件之间的时间间隔。时间增量计算器458以时间增量码存储时间增量，并将时间增量码提供给文件发生器460。

文件发生器460还通过驱动电路(未示出)与写入头452连接。数据处理单元424将录像带标识码V-ID和盘标识码C-ID传输到文件发生器460，文件发生器460通过写入头452将录像带标识码V-ID和盘标识码C-ID写入软盘FD中的首标块HT1。用户在键盘142上弹奏时，数据处理单元424间断性地将事件码从MIDI控制器150传输到文件发生器460。当一个或多个事件码到达文件发生器460时，文件发生器460将指令信号提供给时间增量计算器458。时间增量计算器458产生时间增量码，并将其提供给文件发生器460，如上所述。文件发生器460把从数据处理单元424提供的一个或多个事件码以及相关时间增量码提供给软盘FD的磁道块TT中。

时间增量计算器458与累加器454、修正值计算器456和文件发生器460连接，包括寄存器466和468。当代表开始同步记录的控制信号到达控制器450时，寄存器466/468被初始化，将0写入寄存器466和468中。将修正值计算器456从文件发生器460接收指令信号的时间存储在寄存器464中。将先前指令的时间存储在寄存器466中，作为节拍时钟数Nf。当指令信号到达时间增量计算器458时，时间增量计算器458从寄存器464读取节拍时钟数N，并计算时间间隔(N-Nf)。另一方面，寄存器468分配有修正值R，也以节拍时钟CT数的形式写入修正值R。修正值R代表由时钟(即，累加器454)指示的一段时间和根据MIDI时间码确定的一段时间之间的差。从修正值计算器456提供修正值R，时间增量计算器458将修正值R加到时间间隔(N-Nf)上，用于确定时间增量，即，(N-Nf+R)。时间增量计算器458以时间增量码存储时间增量，并将时间增量码提供给文件发生器460。一完成文件发生器460指令的任务，时间增量计算器458就将节拍时钟CK数N写入寄存器468中，作为先前值Nf。这样，更新了先前指令的时间Nf。

修正值计算器456与累加器454和时间增量计算器458连接，并确定修正值R。修正值R代表从图片再现起的一段时间和从在键盘142上演奏起的一段时间之间的时间差。修正值计算器456通过执行图23所示的计算机程序来确定修正值R。

假设MIDI时间码到达了修正值计算器456。修正值计算器456在步骤S30起动计算机程序，并将MIDI时间码存储在内部寄存器(未示出)中。MIDI时间码表示从开始产生图片起的一段时间TCD，如步骤S31。

接下来，修正值计算器456从寄存器464读取节拍时钟CT数N，并将数N转换为从接收代表0的第一MIDI时间码起的一段时间TFD。节拍时钟CT有脉冲周期τ，给出的一段时间TFD为(N×τ)。

修正值计算器456确定一段时间TCD和一段时间TFD之差的绝对值，并将绝对值|TCD-TFD|与界限Δ进行比较，看绝对值|TCD-TFD|是否小于界限Δ，如步骤33。当绝对值|TCD-TFD|小于界限Δ时，在步骤S33给出的回答是肯定的“YES”，修正值计算器456确定修正值R是0。那么，修正值计算器456在寄存器468中写入0，如步骤S34，并返回主例程程序。

另一方面，绝对值|TCD-TFD|大于界限Δ，在步骤S33给出的回答是否定“NO”，修正值计算器456检查一段时间TCD和TFD，看时钟454是否延迟于MIDI时间码锁指示的时间，如步骤S35。

假设时钟延迟于MIDI时间码所指示的时间。一段时间TCD大于一段时间TFD，在步骤S35给出的回答是肯定“YES”。然后，修正值计算器456用差TFD-TCD(为负值)除以脉冲周期τ，并将结果，即(TCD-TFD)/τ写入寄存器468中作为修正值R。由于被除数(TCD-TFD)和除数τ是负值和正值，所以结果(TCD-TFD)/τ是负值。修正值计算器456在寄存器468中写入修正值(＜0)，如步骤S36。当时间增量计算器456将修正值R加到时间间隔(N-Nf)，用于确定时间增量，即(N-Nf+R)，就缩短了时间间隔(N-Nf)，时间增量码使下一音符开事件跟上对应场景。

另一方面，如果时钟超过了MIDI时间码所指示的时间，在步骤S35给出的回答是否定的，修正值计算器456用差TFD-TCD(为正值)除以脉冲周期τ，并将结果，即(TCD-TFD)/τ写入寄存器468中作为修正值R。由于被除数(TCD-TFD)和除数τ是正值，所以结果(TCD-TFD)/τ是正数。修正值计算器456在寄存器468中写入修正值R(＞0)，如步骤S37。

当时间增量计算器458将修正值R加到时间间隔(N-Nf)，用于确定时间增量，即(N-Nf+R)，就延长了时间间隔(N-Nf)，时间增量码使场景跟上下一音符开事件。

当修正值计算器456在步骤S36或S37写入修正值时，修正值计算器456在步骤S38终止任务。

图24显示了同步记录。将从录像带VT读取的视频时间码转换为分配有第一行的MIDI时间码。在时间0，0.25秒，0.50秒，...读取视频时间码[0]，[0.25]，[0.50]，...，并立即通过数据处理单元424传输到控制器450。这样，就以250毫秒的时间间隔读取MIDI时间码[k](k＝0，0.25，0.50，...)。在实际的多媒体平台中，以1/30秒的时间间隔产生MIDI时间码。然而，为了简化说明，将时间间隔减少到250毫秒。

也从录像带VT读取的视频数据码表达为p[k]，即，p[0]，p[0.25]，p[0.50]，...，并在时间[k]和时间[k+1]之间读取视频数据码表达为p[k]。立即将视频数据码p[k]提供给监控显示器112，用于产生图片。将第二行分配给视频数据码p[k]。

也从录像带VT读取的磁带存储的音频数据码表达为va[k]，(k＝0，0.25，0.50，...)，并在时间[k]和时间[k+1]之间读取磁带存储的音频数据码va[k]。将第三行分配给磁带存储的音频数据码va[k]。把磁带存储的音频数据码va[k]提供给数据处理单元424，并转换为模拟音频信号。将第四行分配给转换为模拟音频信号的磁带存储的音频数据码。

将第五行分配给在时间[k]和时间[k+1]之间从硬盘单元414读取的盘存储的音频数据码ca[k]。将盘存储的音频数据码ca[k]提供给数据处理单元424，数据处理单元424将盘存储的音频数据码ca[k]转换为模拟音频信号。

将第六行分配给一段时间r[k]，即，N×τ，立即响应第七行指示的键盘142上的弹奏将事件码ME-1、ME-2、ME-3、...提供给文件发生器460。

用户先通过操纵面板130对数据处理单元424给出用于同步记录的指令。数据处理单元12提供代表选择确定乐曲的控制信号，而后，将盘存储的音频数据码ca[k]传输到硬盘单元414，到光盘控制器/驱动器420，将代表暂停的控制信号传输到软盘控制器/驱动器170。软盘控制器/驱动器170进入闲置状态。光盘控制器/驱动器420从光盘CD选择确定乐曲，并将盘存储的音频数据码ca[k]通过数字信号处理器422传输到数据处理单元424。数据处理单元424将盘存储的音频数据码ca[k]写入硬盘单元414中。

一完成数据传输，多媒体平台400就准备同步记录，并通过操纵面板130上的显示窗口通知用户准备状态。

用户通过操纵面板118指令播放器116开始再现图片和第一电子音调。播放器116读取代表0的第一视频时间码，并将视频时间码提供给代码转换器126。代码转换器126将视频时间码转换为MIDI时间码[0]，并将MIDI时间码[0]提供给数据处理单元424。当MIDI时间码[0]到达数据处理单元424时，数据处理单元424将代表开始同步记录，即消除暂停指令的控制信号与MIDI时间码[0]一起提供给控制器424/450。

用MIDI时间码[0]，寄存器442、462、464和468重置为0，时钟430和累加器454开始计数节拍时钟CT。虽然修正值计算器434/456准备计算一段时间，但是，修正值计算器434/456不根据MIDI时间码[0]计算修正值R。

播放器116还从录像带VT读取视频数据码p[0]和磁带存储的音频数据码va[0]，并将视频数据码p[0]和磁带存储的音频数据码va[0]分别提供给监控显示器112和数据处理单元424。类似地，音频信号发生器432从数据处理单元424的硬盘单元414读取盘存储的音频数据码ca[0]。监控显示器112开始在屏幕上产生可视图像，数据处理单元424开始从磁带存储的音频数据码和盘存储的音频数据码产生模拟音频信号，并将两个模拟音频信号提供给声音系统406，用于从扬声器164发出第一电子音调和第二电子音调。

当从录像带VT读取下一视频时间码时，将MIDI时间码[0.25]提供给修正值计算器434/456，将视频数据码p[0.25]/磁带存储的音频数据码va[0.25]和盘存储的音频数据码va[0.25]传输到监控显示器112和数据处理单元424。监控显示器112持续在屏幕上产生可视图像，数据处理单元424将盘存储的音频数据码va[0.25]转换为模拟音频信号，以便产生第一电子音调。

修正值计算器434/456在[0.25]开始执行图20和23所示的计算机程序。如果修正值计算器434/456发现单个时间差的值大于给定界限Δ，修正值计算器434就改变累加的节拍时钟CT数N，修正值计算器456将修正值R存储在寄存器468中。每个MIDI时间码一到，控制器424就用MIDI时间码调整时钟430，控制器450也在每个MIDI时间码一到时确定修正值R。

当音频时间码在[0.25]后从硬盘单元414到达音频信号发生器432时，音频信号发生器432等候一段时间Nτ跟上音频时间码所指示的一段时间的时间，并将盘存储的音频数据信号ca[k]转换为模拟音频信号，用于产生第二电子音调。这样，图片、第一电子音调和第二电子音调相互同步再现。

MIDI时间码从[0.25]增加到[0.75]时，播放器116、数据处理单元424、声音系统406、硬盘单元414和控制器450重复上述工作，等候第一MIDI事件码ME-1。当用户按下黑/白键时，MIDI控制器150确认音符开事件，并将第一MIDI事件码ME-1通过数据处理单元424提供给软盘控制器/驱动器170。第一MIDI事件码ME-1一到达文件发生器460，文件发生器460就请求时间增量计算器458确定从开始同步记录起的一段时间。时间增量计算器458从寄存器464读取节拍时钟CT数N，并检查寄存器468的修正值R。时间增量计算器458计算时间增量，即，(N-Nf+R)，并以时间增量码存储时间增量。时间增量计算器458将时间增量码提供给文件发生器460，使得用写入头452将第一MIDI事件码ME-1和时间增量码存储在磁道块TT1中。

当MIDI事件码ME-2/ME-3/...到达文件发生器460时，文件发生器460和时间增量计算器458重复上述工作，用于将MIDI事件码ME-2/ME-3/...与时间增量码一起存储在磁道块TT1中。

当用户完成键盘142上的演奏时，他或她将同步重放完成的指令给到数据处理单元424。然后，数据处理单元424指令播放器116和光盘转换器/驱动器420分别从录像带VT和光盘CD读取录像带标识码V-ID和盘标识码C-ID。播放器116和光盘转换器/驱动器420将录像带标识码V-ID和盘标识码C-ID分别传输到数据处理单元424，数据处理单元424把代表将录像带标识码V-ID和盘标识码C-ID存储在首标块HT1中的控制信号与录像带标识码V-ID和盘标识码C-ID一起提供给文件发生器460。文件发生器460将录像带标识码V-ID和盘标识码C-ID写入首标块HT1中，并完成同步记录。

从上述描述可以理解，修正值计算器434用MIDI时间码周期性地调整内部时钟430，修正值计算器456通过比较累加器454和MIDI时间码周期性地确定修正值R。当时钟430跟上音频时间码时，音频信号发生器432将盘存储的音频数据码转换为模拟音频信号。时间增量计算器458考虑修正值R，并产生时间增量码。这样，多媒体平台400与图片和第一电子音调同步再现第二电子音调，并与图片、第一电子音调和第二电子音调同步在软盘FD中记录演奏。

第五实施例中，光盘播放器410和数字信号处理器422整个起第四数据源10的作用，时钟430、音频信号发生器432、修正值计算器434和时钟信号发生器436整个构成了定时信号发生器12。声音系统106起声音发生器14的作用。

第六实施例

图25显示了包括在软盘控制器/驱动器502中的另一控制器500，软盘控制器/驱动器502又包括在体现本发明的另一多媒体平台中。其它系统部件与第五实施例类似，所以在下面的描述中用参考符号402/406/408/410/412/414来区分。

软盘控制器/驱动器502也有信息处理能力。控制器500与数据处理单元412连接。控制器500根据节拍时钟CT数N产生时间增量码，MIDI时间码一到，就消除时钟所指示的一段时间的时间差。通过数据处理单元412从MIDI控制器150提供事件码，用写入头452将事件码和时间增量码写入软盘FD。

控制器500包括累加器454A、时间增量计算器458A、文件发生器460A和调节器456A。文件发生器460A与文件发生器460类似，为了避免重复，不再赘述。

累加器454A还包括加法器461A和寄存器464A，增加节拍时钟CT总数N，与累加器454类似。总数N表达从开始同步记录起的一段时间。累加器454和454A之间的差别在于调节器456A可以重写节拍时钟CT的总数N，如下文详细描述的那样。

时间增量计算器458A只包括寄存器468A，它分配有节拍时钟CT总数Nf，这时一个或多个先前事件码到达文件发生器460A。时间增量计算器458A确定总数N和总数Nf之间的差，产生代表差，即事件之间间隔的时间增量码。时间增量计算器458A将时间增量码提供给文件发生器460A。

当从数据处理单元424传输时间码时，调节器456A将一段时间Nτ与MIDI时间码所指示的一段时间进行比较，看这两段时间之间的差是否在预定界限Δ中。如果差等于或小于界限Δ，调节器456A就不执行任何调整。另一方面，如果差大于界限Δ，调节器456A就重写总数N，以便消除这两段时间之间的差。

其它系统部件的行为与多媒体平台400中类似。因此，为了简便，不再赘述。实现第六实施例的多媒体平台实现了第五实施例的所有优点。

第七实施例

图26显示了体现本发明的另一多媒体平台600。除了软盘记录器/播放器602和控制器604，多媒体平台600与多媒体平台400类似。其它系统部件与多媒体平台400类似。因此其它系统部件用指示多媒体平台400的对应系统部件的参考符号来标记，不再赘述。多媒体平台600记录键盘142上的演奏，并与图片和第一电子音调的再现同步地从盘存储的音频数据码再现第二电子音调，与多媒体平台400类似。还操作多媒体平台600用来根据来自盘存储音频数据码的事件码和第二电子音调与图片和第一电子音调同步再现声学钢琴音调。下文中，该操作称为“同步重放”。

软盘记录器/播放器602包括软盘播放器606和软盘记录器404，并与包括在控制器604中的数据处理单元608连接。数据处理单元608响应代表同步重放的用户指令，使得数据处理单元608控制摄像机402、光盘播放器410、软盘播放器606和自动演奏钢琴132，用于再现图片、声学钢琴音调以及第一和第二电子音调。数据处理单元608指令软盘播放器606从相当于磁道块TT1的头后500毫秒处开始向数据处理单元608传输事件码。这是因为在向MIDI控制器150传送事件码和产生声学钢琴音调之间出现了时间拖拉。这种情况下，时间拖拉是500毫秒。从软盘FD读取的数据超前了图片及第一和第二电子音调再现500毫秒。因此，消除了时间拖拉。

另一方面，如果用户指令数据处理单元608将事件码传输到用于合奏的音调发生器134。时间拖拉就是可忽视的。数据处理单元608指令软盘播放器606从磁道块TT1的开头读取MIDI数据码。

现在，假设用户通过自动演奏钢琴132指令控制器604开始同步重放，数据处理单元608给予软盘播放器606暂停指令，并指令光盘播放器410从光盘CD读取盘存储的音频数据码。将盘存储的音频数据码传输到数据处理单元608，数据处理单元608将盘存储的音频数据码存储在硬盘单元414中。

一完成向硬盘单元414的数据传输，数据处理单元608就把完成向硬盘单元414的数据传输通知给用户。当用户通过操纵面板118将用于同步记录的指令给予播放器116时，播放器116开始向监控显示器112、数据处理单元608和代码转换器126分别提供视频数据码、磁带存储的音频数据码和视频时间码。监控显示器112从视频数据码再现图片，数据处理单元608从磁带存储的音频数据码产生模拟音频信号。代码转换器126将视频时间码转换为MIDI时间码，并将MIDI时间码提供给数据处理单元608。数据处理单元608用MIDI时间码控制从盘存储的音频数据码到模拟音频信号的转换，并将MIDI时间码提供给软盘播放器606，用于控制事件码的传输。

具体地说，当代表0的MIDI时间码到达软盘播放器606时，软盘播放器606连续从磁道块TT1读取MIDI数据码，直到软盘播放器606从磁道块TT1的开头后面500毫秒的位置读取时间增量码而没有向数据处理单元608的任何事件码的数据传输。MIDI码可以用软盘记录器404存储在软盘FD中，与第五实施例类似。软盘播放器606将从相当于开头后面500毫秒的位置处存储的事件码传输到数据处理单元608。立即完成从磁道块的开头处读取连续数据，使得软盘播放器606与从录像带VT和硬盘单元414读取数据基本同时地开始传输事件码。

软盘播放器606起音序器和定时控制器的作用。当时间增量码到达软盘播放器606时，软盘播放器606在时间增量码所指示的时间周期进入闲置状态，该时间周期一用尽，就重新开始数据读取。这是音序器的功能。下面参考图27和28描述定时控制器的功能。

图27显示包括在软盘播放器606中的控制器612的电路配置。控制器612包括事件缓冲器614、时间增量寄存器616、累加器618/620、发送控制622和调节器624。累加器618由加法器626和寄存器628的组合来实现，加法器630和寄存器632构成另一累加器620。

选择性地将一个或多个事件码和时间增量码从软盘FD提供给事件缓冲器614和时间增量寄存器616，并将它们分别存储在事件缓冲器614和时间增量寄存器616中。时间增量码后面是一个以上的事件码。事件缓冲器614的存储容量足以存储所有从软盘FD同时提供的事件码。时间增量码的值等于要在事件和下一事件之间计数的节拍时钟CT数。事件缓冲器614与数据处理单元608连接，时间增量寄存器616与累加器618和调节器624连接。连续从软盘FD读取时间增量码直到相当于500毫秒的位置，而没有任何等候时间，忽略事件码直到相当于500毫秒的位置，如果有的话。因此，累加总量M代表恰在开始同步重放之后的500毫秒。

发送控制器622有两个与累加器618和调节器624连接的输入端口，将表示传输一个或多个事件码的目标时间的累加总量M与存储在寄存器632中的数N’进行比较，看是否要将一个或多个事件码传输到数据处理单元608。当数N’达到累加总量M时，给出的回答是肯定的，发送控制622将启动信号和锁存控制信号变为作用电平，并将作用启动/锁存控制信号提供给数据处理单元608和时间增量寄存器/用于累加总量的寄存器616/628。发送控制622可以向寄存器616/628提供写入时钟信号来代替锁存控制信号。

累加器618累加时间间隔，即，时间增量码的值，并将累加总量M提供给发送控制622。每个时间增量码代表要在事件和下一事件之间计数的节拍时钟CT数，使得累加总量M也可以用从开始读取MIDI码起计数的节拍时钟CT的总数来表示。加法器626有分别与时间增量寄存器616和用于累加总量的寄存器628连接的两个输入端口，输出端口与用于累加总量的寄存器628连接。这样，加法器626和寄存器628形成了累加环。当用户指令控制器604再现记录在软盘FD中的演奏时，寄存器628重置为0。软盘播放器606顺序读取MIDI码时，软盘FD间断性地向时间增量寄存器616提供时间增量码。当数字N’达到累加总量M时，发送控制622将锁存控制信号变为作用电平。用作用锁存控制信号，下一时间增量码存储在时间增量寄存器616中，并立即传输到加法器626，用于累加。加法器626将时间增量加到累加总量M，存在作用电平的锁存控制信号时，新的累加总量M存储在寄存器628中。

另一个累加器620计数节拍时钟CT。加法器630有分别与常数“+1”的源和寄存器632连接的两个输入端口，加法器630的输出端口与寄存器632的输入端口连接。加法器630和寄存器632形成累加环。寄存器632与加法器630连接的输入端口还与调节器624和发送控制622连接，将节拍时钟CT提供给寄存器632作为锁存控制信号。当用户指令数据处理单元608与图片和第一电子音调同步再现演奏和第二电子音调时，将初值写入寄存器632中。初值等于500/τ毫秒。节拍时钟CT的脉冲周期用τ来表示。加法器630将数字增加1，响应节拍时钟CT将总量存储在寄存器632中。数字N’代表从接收代表0的MIDI时间码或开始同步重放起的一段时间。这样，节拍时钟CT数N’就存储在寄存器632中，并提供给调节器624和发送控制622。

虽然累加器618累加了时间增量，但是不向数据处理单元608传输一个或多个事件码直到累加总量M超过节拍时钟CT数N’。超过数字N’之后，节拍时钟CT增加数字N’。当数字N’跟上累加总量M时，将一个或多个事件码传输到数据处理单元608。如上所述，初值是“500/τ”，使得即使在“500/τ”之前事件缓冲器614中存储了一个或多个事件码，也不将一个或多个事件码传输到数据处理单元608。

调节器624与数据处理单元608、累加器620和时间增量寄存器616连接。将MIDI时间码周期性地从代码转换器126通过数据处理单元608传输到调节器624，累加器620将节拍时钟CT数N’提供给调节器624。由MIDI时间码所表示的一段时间缩写为“TCD”。调节器624实现了如下3个主要任务。

调节器624先通过用数字N’乘以节拍时钟CT的脉冲周期τ，即，(N×τ)，计算从开始同步重放起的一段时间。如上所述，在开始同步重放之后500毫秒的确定点向数据处理单元608传输事件码。为了将一个时钟的标度盘等于另一时钟的标度盘，调节器624从一段时间(N’×τ)减去500毫秒，并确定修正后的一段时间TFD’，即{(N’×τ)-500}。这是第一个任务。

调节器624所要实现的第二个任务是将时钟设得向前或向后。首先，调节器624检测MIDI时间码，看一段时间TCD’是否大于0。给出的回答是否定时，调节器624重复比较。当MIDI时间码表示大于0的一段时间时，回答变为肯定的。肯定回答时，调节器624将一段时间TFD’与一段时间TCD’进行比较，看一段时间TCD’是大于、等于还是小于一段时间TFD’。在一段时间TFD’与一段时间TCD’不同的情况下，调节器624进一步检查一段时间TFD’/TCD’，看它们之间的差DF是否落在预定界限MG内。调节器624进行到不同的步骤，这取决于下面的结果。

情况1：TFD＝TCD或|DF|＜MG

调节器624将时钟设为既不前也不后。间断性地从软盘FD向时间增量寄存器616提供时间增量码，并在寄存器628中累加时间增量码。当节拍时钟CT的总数N’达到累加总量M时，发送控制622将启动信号和锁存控制信号变为作用电平。有作用电平的启动信号时，将一个或多个事件码锁存在数据处理单元608的缓冲器中，在累加器618中累加由下一时间增量码表示的时间增量。

情况2：TCD’＞TFD’或|DF|＞MG

通过自动演奏钢琴132再现的演奏比监控显示器112上再现的图片延迟了差DF。调节器624通过用差DF除以脉冲周期τ，将时间拖拉，即，差DF转换为节拍时钟CT数DN。结果(TCD-TFD)/τ等于时间延迟。调节器624从时间增量寄存器616取出时间增量码，从时间增量码的值ND减去数字DN。

接下来，调节器624检查计算结果，看差{ND-(TCD’-TFD’)/τ}是否是正数。当给出的回答是肯定时，调节器624就在时间增量寄存器616中写入差{ND-(TCD’-TFD’)/τ}。缩短了时间增量码所表示的时间间隔。调节器624将修正后的时间增量码提供给寄存器616，使得修正后的时间增量码表示小于先前数字的节拍时钟CT数。当在寄存器628中累加修正后的时间增量码时，发送控制622在先前安排的时间之前将一个或多个时间增量码发送到数据处理单元608。这就导致消除了延迟。通过自动演奏钢琴312、监控显示器112和声音系统406同步再现演奏、图片以及第一和第二电子音调。

另一方面，如果差{ND-(TCD’-TFD’)/τ}是负数，给出的回答是否定的。这种情况下，调节器624用结果(TCD’-TFD’)/τ除以正数α，从时间增量码的值减去结果(TCD’-TFD’)/τα。如果正数是2，给出的差就是{ND-(TCD’-TFD’)/2τ}。调节器624检查计算结果，看差是否是正数。当给出的回答是肯定时，调节器624将差{ND-(TCD’-TFD’)/2τ}写入时间增量寄存器616中，将另一半，即(TCD’-TFD’)/2τ保持在内部寄存器(未示出)中。调节器624从下一时间增量的值减去另一半。这样，调节器624逐步解决时间拖拉，以便与图片同步再现演奏。如果差{ND-(TCD’-TFD’)/2τ}还是负数，调节器624就增大除数，重复上述过程。

情况3：TCD’＜TFD’或|DF|＞MG

这种情况下，通过自动演奏钢琴132再现的演奏从图片再现超前了差DF，即，TFD’-TCD’。调节器624先通过用差DF除以脉冲周期τ，将时间，即，差DF转换为节拍时钟CT数DN。结果(TFD’-TCD’)/τ等于自动演奏钢琴132产生的演奏所超前的时间。调节器624从时间增量寄存器616读取时间增量码，并将数字DN加到时间增量码的值ND。调节器624在时间增量寄存器616中写入和{ND+(TFD’-TCD’)/τ}。这样，时间增量码所表示的时间间隔就延长了。调节器624将修正后的时间增量码提供给寄存器616，使得存储在寄存器616中的修正后时间增量码表示大于先前数字的数字。当在寄存器628中累加修正后的时间增量码时，发送控制622推延一个或多个事件码的发送。这导致图片跟上了通过自动演奏钢琴132再现的演奏。

图28显示了同步重放。MIDI时间码表达从开始图片重放起的一段时间，并分配有第一行。[k]指示一段时间，并增加0.25毫秒。虽然视频时间码总是增加1/30秒，但是，为了简便，图28所示的视频时间码增加0.25秒。例如，[0.25]指示开始重放后0.25毫秒的一段时间。

从录像带VT读取的视频数据码分配有第二行。视频数据码表达为“p[k]”。从录像带VT读取从时间[k]到时间[k+1]的视频数据码p[k]。例如，从[0.25]到[0.50]读取视频数据码p[0.25]。

也从录像带VT读取磁带存储的音频数据码分配为第三行。该音频数据码表达为“va[k]”。从录像带VT读取从时间[k]到[k+1]的音频数据码va[k]。将音频数据码va[k]提供给数据处理单元608，数据处理单元608将音频数据码va[k]转换为模拟音频信号。将音频信号提供给声音系统106，从扬声器164发出第一电子音调。将第四行分配给转换为音频信号的磁带存储的音频数据码va[k]。在从磁带存储的音频数据码va[k]到模拟音频信号的转换中不引入大量的时间延迟，使得将转换为模拟音频信号的磁带存储的音频数据码va[k]与从录像带VT读取的对应音频数据码va[k]一起放在指示一段时间[k]的垂直线上。

盘存储的音频数据码分配有第五行。盘存储的音频数据码表达为“ca[k]”。从硬盘单元414读取从时间[k]到[k+1]的盘存储的音频数据码ca[k]。数据处理单元608立即将盘存储的音频数据码ca[k]转换为模拟音频信号。将音频信号提供给声音系统106，从扬声器164发出第二电子音调。由于数据处理单元608周期性地用MIDI时间码调整时钟430，所以盘存储的音频数据码ca[k]与磁带存储的音频数据码va[k]同时转换为模拟音频信号，转换为模拟音频信号的盘存储的音频数据码ca[k]与转换为模拟音频信号的磁带存储的音频数据码va[k]一起放在指示一段时间[k]的垂直线上。

从软盘FD读取的MIDI数据码分配有第六行，用m[k]来表达。从软盘FD读取从[k]到[k+1]的MIDI数据码m[k]。虽然播放器116和606同时起动，但是，连续从软盘FD读取MIDI数据码m[0]到m[0.5]而没有用于在寄存器628中累加时间增量码的间隔。因此，将MIDI数据码m[k+0.5]与对应视频数据码p[k]、磁带存储的音频数据码va[k]和盘存储的音频数据码ca[k]一起放在垂直线上。MIDI数据码分为事件码和时间增量码，表示音符开的前3个事件码缩写为“ME-1”、“ME-2”和“ME-3”。

在[0.5]、[1.00]和[1.50]从软盘FD读取事件码ME-1、ME-2和ME-3，并传输到数据处理单元608。然而，向MIDI控制器150传送和产生声学钢琴音调之间有500毫秒。因此，根据第七行所示的事件码ME-1、ME-2和ME-3在[1.00]、[1.50]和[2.00]产生声学钢琴音调。

假设用户向控制器604发出同步重放的指令。数据处理单元608就给予软盘播放器606暂停指令，使得软盘播放器606进入闲置状态。数据处理单元608指令光盘播放器410读取并传输盘存储的音频数据码，数据处理单元608在硬盘单元414中写入盘存储的音频数据码。一完成数据写入，数据处理单元608就通知用户开始读取。

用户指令播放器116在[0]读取视频数据码、磁带存储的音频数据码和视频时间码。播放器116开始从录像带VT读取视频/音频/视频时间码。播放器116将代表0的视频时间码提供给代码转换器126，代码转换器126将MIDI时间码[0]提供给数据处理单元608。用MIDI时间码[0]，数据处理单元608重置时钟430，开始从硬盘单元414读取盘存储的音频数据码ca[0]。修正值计算器434从[0.25]周期性地用MIDI时间码[k]来调整寄存器442中的节拍时钟CT数。因此，盘存储音频数据码ca[k]与从磁带存储的音频数据码va[k]到模拟音频信号的转换同步转换为模拟音频信号。

数据处理单元608将MIDI时间码[0]传输到软盘播放器606。当软盘播放器606收到MIDI时间码[0]时，软盘播放器606将寄存器628重置为0，将初值“500/τ”写入寄存器632，没有任何等候就开始连续将事件码和时间增量码选择性地分布到事件缓冲器614和时间增量寄存器616。没有任何等候地在寄存器628中连续累加时间增量码，直到累加总量达到“500/τ”。软盘播放器606立即完成这些工作，使得几乎与向监控显示器/声音系统112/106分布视频/模拟音频信号的同时从软盘FD读取MIDI数据码[0.5]。

软盘播放器606从m[0.50]起间断性地从软盘FD读取事件码和时间增量码，并在节拍时钟CT数N’达到累加总量M时，通过数据处理单元608将事件码传输到MIDI控制器150。在读取视频数据码p[k]之前500毫秒将事件码发送到MIDI控制器150。一接收到MIDI时间码[0.25]，[050]，...，调节器624就周期性地修正时间增量码的值，使得从p[075]，va[075]，ca[075]和m[0.75]同步再现图片、第一和第二电子音调、声学钢琴音调。

代表音符开的第一事件码ME-1包括在MIDI数据码m[1.00]中，在[0.50]将MIDI数据码m[1.00]传输到数据处理单元608。然而，自动演奏钢琴132从接收事件码ME-1到产生声学钢琴音调用去了500毫秒。因此，在[1.00]产生由事件码ME-1表示的声学钢琴音调。安排成在[1.00]一起实现MIDI数据码m[1.00]以及视频数据码p[1.00]、磁带存储的音频数据码va[1.00]和盘存储的音频数据码ca[1.00]。当播放器116读取视频数据码p[1.00]/磁带存储的音频数据码va[1.00]和盘存储的音频数据码ca[1.00]时，播放器606、数据处理单元608和信号发生器446立即将视频数据码p[1.00]、对应于磁带存储的音频数据码va[1.00]的模拟音频信号和对应于盘存储的音频数据码ca[1.00]的模拟音频信号传输到监控显示器112和声音系统106，监控显示器112和声音系统106在[1.00]再现可视图像以及第一和第二电子音调。这样，实现了同步重放。

类似地，事件码ME-2和ME-3包括在MIDI数据码m[1.50]和m[2.00]中，在[1.50]和[2.00]与可视图像p[1.50]和p[2.00]以及第一和第二电子音调va[1.50]/ca[1.50]和va[2.00]/ca[2.00]同步产生声学音调。这样，与图片，即一系列可视图像以及第一和第二电子音调同步产生声学钢琴音调。

从上述描述可以理解，多媒体平台300与图片和第一电子音调同步再现的声学音调和第二电子音调。

结合图28所述的同步重放中，数据处理单元608可以指令播放器116和软盘播放器606读取并传输磁带标识码V-ID。数据处理单元608将多个磁带标识码V-ID进行比较，看它们是否相互一致。如果给出的回答是否定的，数据处理单元608就通知用户不一致，等候下一用户指令。另一方面，当给出的回答是肯定时，数据处理单元608指令播放器116开始从录像带VT读取视频/磁带存储的音频/视频时间码。希望有这一特点，因为总是与对应图片一起再现演奏。

数据处理单元608可以检查多个盘标识码C-ID，看它们是否相互一致，或者在同步重放之前检查磁带标识码和盘标识码。

在第七实施例中，光盘单元410和数字信号处理器422整个构成了第三数据源30，时钟430、音频信号发生器432、修正值计算器434和时钟信号发生器436整个构成了定时控制器32。声音系统106起声音发生器26/34的作用。

第八实施例

图29显示了体现本发明的另一多媒体平台700。除了控制器702之外，多媒体平台700与多媒体平台600类似。因此，多媒体平台700的其它系统部件用指示多媒体平台600的对应系统部件的参考数字来标记，为了简便，不再赘述。

多媒体平台700可用于同步记录和同步重放，与多媒体平台600类似。控制器702通过执行计算机程序，将第二电子音调的音高调节为对应声学钢琴音调的音高。详细地说，假设根据盘存储的音频数据码产生的第二电子音调有443Hz的标准音高，即，音高。如果声学钢琴132调谐为有448Hz的标准音高，电子音调就不会与声学钢琴音调协调。为了使第二电子音调与声学钢琴音调很好地协调，控制器702控制第二电子音调的音高，使得第二电子音调与合奏中声学钢琴音调很好地协调。

为了控制电子音调的音高，从光盘CD读取盘存储的音频数据码，数据处理单元704在同步重放之前在硬盘单元414中写入盘存储的音频数据码。控制器702实现分配给控制器604的所有任务，进一步实现以下任务。

图30显示了用于控制同步记录中第二电子音调的音高的计算机程序。假设在软盘记录器404和光盘播放器410中装入了软盘FD和光盘CD之后，用户在控制第二电子音调的音高用于协调的条件下，指令控制器702。

数据处理单元704确认光盘CD和软盘FD装入了光盘播放器410和软盘记录器404中，如步骤Sc1，并指令光盘播放器410从光盘CD读取并传输盘存储的音频数据码。数据处理单元704接收通过数字信号处理器422传输的盘存储的音频数据码，并将它们写在硬盘单元414中，如步骤Sc2。

接下来，数据处理单元704检查操纵面板130，看用户是否已经指令了音高控制，如步骤Sc3。如果用户还没指令数据处理单元704控制盘存储的音频数据码与声学钢琴音调协调，给出的回答是否定“NO”，数据处理单元704进行到步骤Sc9。下面描述步骤Sc9的工作。另一方面，如果用户已经指令数据处理单元704控制盘存储的音频数据码用于协调，在步骤Sc3给出的回答是肯定“YES”，数据处理单元704重复包括步骤Sc4、Sc5和Sc6的环，用于确定电子音调的标准音高。

数据处理单元704从硬盘单元414读取盘存储的音频数据码，通过快速傅立叶变换确定用于每个频率的声压级，如步骤Sc4。图31显示了代表声压的电信号的波形，这是根据盘存储的音频数据码确定的。该波形有多个峰。然而，电子音调的标准音高接近声学钢琴音调的标准音高。因此，数据处理单元可以通过带通滤波器传送电信号，用于对目标波段(440Hz±α)进行分析。

接下来，数据处理单元704选择确定频率，并在确定频率取回代表声压SP的一条数据信息，如步骤Sc5。数据处理单元704将确定频率的声压SP与阈值TH进行比较，看确定频率的声压是否超过了阈值，如步骤Sc6。如果声压SP小于阈值TH，给出的回答是否定的“NO”。然后，数据处理单元704改变目标频率，返回步骤Sc4。这样，数据处理单元356改变目标频率，重复包括步骤Sc4到Sc6的环，直到在步骤Sc6的回答变为肯定。

当数据处理单元704发现峰P11(见图31)时，回答变为肯定“YES”，数据处理单元704确定确定频率是标准音高，如步骤Sc7。在图31所示的实例中，标准音高是443Hz。

接下来，数据处理单元704从硬盘单元414获取盘标识码C-ID，将标准音高和盘标识码C-ID通知软盘播放器606，如步骤Sc8。软盘播放器606将代表标准音高和盘标识码C-ID的事件码存储在软盘FD中，如图32所示。在软盘FD中产生标准MIDI文件SMF的情况下，将代表标准音高和盘标识码C-ID的事件码存储在首标块HT1中。

数据处理单元704检查操纵面板130，看用户是否已经指令控制器702与图片和第一/第二电子音调同步记录键盘142上的演奏，如步骤Sc9。如果在步骤Sc9给出的回答是否定“NO”，数据处理单元704就返回主例程。另一方面，当给出的回答是肯定“YES”时，数据处理单元704通知用户多媒体平台700准备同步记录，并指令软盘记录器414与图片和第一/第二电子音调同步记录键盘142上的演奏，如步骤Sc10。一完成演奏，用户就指令数据处理单元704终止同步记录，数据处理单元704返回主例程。

假设用户指令控制器704与图片和第一电子音调同步再现演奏和第二电子音调。数据处理单元704进入图33所示的子例程程序。首先，数据处理单元704请求软盘播放器606将代表标准音高的事件码从软盘FD读取并传输到数据处理单元704，如步骤Sd1。

接下来，数据处理单元704指令操纵面板130在显示窗口上产生消息，诸如“请按下白键A”，等候用户的响应。当用户按下白键A时，音锤146敲击弦148，从振动的弦148产生音调A。麦克风(未示出)拾取音调A，并将电信号提供给数据处理单元704。数据处理单元704分析从电信号转换的数字信号，并确定标准音高，如步骤Sd2。这种情况下，用于钢琴音调的标准音高假定为448Hz。数据处理单元704可以通过快速傅立叶变换测量确定波段中的声压级，并检查声压，看什么频率有阈值以上的声压极。当数据处理单元704发现确定频率的声压级超过阈值时，数据处理单元704确定确定频率是钢琴音调“A”的标准音高。

接下来，数据处理单元704计算电子音调“A”的标准音高和钢琴音调“A”的标准音高之间的差，并确定音高差，如步骤Sd3。这种情况下，钢琴音调“A”的标准音高是448Hz，电子音调“A”的标准音高是443Hz，使得音高差是5Hz。电子音调的音高增加5Hz。然后，数据处理单元704确定目标速度，用于从硬盘单元414读取盘存储的音频数据码，如步骤Sd4。数据读取速度与音调的音高有极大关系，如下所述。

图34A到34C显示了用于读取盘存储的音频数据码的目标速度和电子音调的音高之间的关系。即使盘存储的音频数据码不改变，代表电子音调的音频信号的波形也随从硬盘单元414读取盘存储的音频数据码的目标速度而变化。当以标准读取速度Vb从硬盘单元414读取音频数据码时，音频信号可以有如图34A所示波形A’。如果加快数据读取的速度，即，Vf＞Vb，波形A’就收缩，音频信号有如图34B所示的波形B’。因此，音调陡变。音高增大到448Hz。另一方面，在读取速度降低时，即，Vs＜Vb，波形A’就扩大，音频信号有如图34C所示的波形C’。因此，音调的音高降低到440Hz。

这种情况下，第二电子音调的音高降低到比声学钢琴音调的音高低5Hz。数据处理单元704指令硬盘单元414增大数据读取速度。相反，如果第二电子音调的音高高于声学钢琴音调的音高，数据处理单元704就指令硬盘单元414降低数据读取速度。

当确定目标速度时，数据处理单元704指令硬盘单元414、播放器116和软盘播放器606在音高控制下开始同步重放，如步骤Sd5。播放器116从录像带VT读取视频数据码、磁带存储的音频数据码和视频时间码，软盘播放器606从软盘FD读取时间增量码和事件码，硬盘单元414以目标速度从硬盘读取盘存储的音频数据码，如步骤Sd6。将视频数据码、视频时间码和磁带存储的音频数据码分别提供给监控显示器112、代码转换器126和数据处理单元704。监控显示器112在屏幕上再现图片。将视频时间码转换为MIDI时间码，数据处理单元704用MIDI时间码调节一段时间。数据处理单元704还将MIDI时间码传输到软盘播放器606，用MIDI时间码调整一段时间。这些功能与第七实施例类似，为了避免重复，在下文中不再赘述。

当节拍时钟CT数N’跟上目标数M时，软盘播放器606通过数据处理单元704将事件码提供给MIDI控制器150，在声学钢琴136中产生声学钢琴音调。数据处理单元704将盘存储的音频数据码转换为模拟音频信号，并将模拟音频信号提供给声音系统106，用于产生第二电子音调。由于以目标速度读取盘存储的音频信号码，所以，第二电子音调陡变，与声学钢琴音调很好地协调。这样，再现图片、声学钢琴音调和电子音调，如步骤Sd7。

接下来，数据处理单元704检查录像带VT、硬盘单元414和软盘FD，看是否已经从其读取了所有数据码，如步骤Sd8。在步骤Sd8给出的回答是否定“NO”时，数据处理单元704返回步骤Sd5，重复包括步骤Sd5到Sd8的环直到在步骤Sd8给出的回答变为肯定“YES”。当从录像带VT、硬盘352和软盘FD读取最后的视频数据/视频时间/磁带存储的音频数据/MIDI数据码/盘存储的音频数据时，在步骤Sd8的回答变为肯定，数据处理单元704返回主例程。

从上述描述可以理解，实现第八实施例的多媒体平台700实现了第二电子音调和声学钢琴音调之间的音高控制以及同步重放。结果，电子音调与声学钢琴音调很好地协调。

虽然已经显示和描述了本发明的实施例，但是，对于本领域的技术人员来说，显然可以进行多种改变和修改而不背离本发明的精神和范围。

在只希望多媒体平台100与图片同步记录演奏的情况下，可以用配备有键/踏板传感器154/156的电子键盘或合成键盘乐器来代替自动演奏钢琴138。对于合成键盘乐器，既不要求螺线管操作键/踏板激励器152/158，也不要求音调发生器134/140。此外，简化了MIDI控制器150。这样，用于同步记录的多媒体平台比多媒体平台100更简单。

第一实施例中，与图片的重放同步记录在键盘142上的演奏。第一实施例的第一修改例与用摄像机102拍摄场景同步记录键盘142上的演奏。可以进一步在录像带VT中记录在另一乐器，诸如小提琴的伴奏。用摄像机102拍摄演奏时，视频记录器120和声音记录器122将视频数据码和音频数据码与视频时间码一起记录在录像带VT中，将视频时间码提供给代码转换器126。码转换器126将视频时间码转换为MIDI时间码，数据处理单元128将MIDI事件码和MIDI事件码提供给控制器172。控制器172的行为与结合第一实施例描述的同步记录类似，并将MIDI事件码与时间增量码一起存储在磁道块TT中。这样，第一修改例适于现场音乐会和升级盘。

声源108可以有多种乐器，诸如电子弦乐器和电子窗(window)乐器。电子弦乐器配备有拾取单元，用于将弦振动转换为电信号，从电信号产生音乐数据码。电子管乐器有键/活塞监控器，用于将键动作/活塞动作转换为电信号，从电信号产生音乐数据码。可用这些电子乐器来代替声学钢琴136。个人电脑也可用于多媒体平台，个人电脑中安装有适当的音乐合成程序。用户通过键盘或嘴，在软件的帮助下产生MIDI事件码，个人电脑将MIDI事件码提供给控制器110。

软盘FD和录像带VT对本发明没有任何限制。磁光盘、硬盘和记忆棒可用于同步记录。

控制器110、盘记录器/播放器104、声音系统106和用于合奏的音调发生器134可内置在自动演奏钢琴132中，摄像机102可通过电缆与内置的控制器110连接。这样，以自动演奏钢琴的形式提供了根据本发明的多媒体平台100。

盘播放器308可以与将记录在录像带VT中的视频数据码、音频数据码和视频时间码同步地将MIDI数据码所表示的演奏记录在软盘FD中。图像拾取装置和麦克风将视频信号和音频信号提供给视频记录器120和声音记录器122，时间码发生器114周期性地将视频时间码提供给录像带VT和代码转换器126。代码转换器126将视频时间码提供给MIDI时间码，数据处理单元310将MIDI时间码提供给盘播放器308。盘播放器308间断性地将事件码m[k]通过数据处理单元310传输到自动演奏钢琴132，一接收到MIDI时间码，就修正时间增量码，与同步重放类似。

多媒体平台300可以作为内置有摄像机/控制器/盘记录器/播放器102/304//104的自动演奏钢琴来销售。当然，摄像机102通过适当的电缆与控制器304连接，使得用户任意将图像拾取装置和麦克风指向目标。

在第四和第八实施例中，数据处理单元356/704发现用于电子音调的标准音高。然而，用户可以聆听电子音调来判断音高。这种情况下，用户通过操纵面板130把标准音高通知给数据处理单元356/704。

第四和第八实施例中，数据处理单元356/704使操纵面板130把诸如“请按下键A”的消息传输给用户。在第四和第八实施例的修改例中，数据处理单元356/704可以将用于产生音调“A”的音符开事件码提供给MIDI控制器150。从驱动电路312向与白键“A”有关的螺线管操作键激励器提供驱动电流，使得麦克风拾取音调“A”。

可以用另一种存储器，诸如半导体随机存取存储器来代替硬盘352。播放器116从录像带VT读取视频数据码和视频时间码，播放器116还从录像带VT读取音频数据码，并将音频数据码传输到半导体随机存取存储器。再现电子音调之前，播放器116可以间断性地向半导体随机存取存储器提供音频数据码。这导致存储容量减小。

控制器412可以检查用于同步重放的代表音乐合成题目的音乐数据码和盘标识码。

在第一、第二和第五实施例中，可以用静音钢琴，即合成键盘乐器来代替自动演奏钢琴132，合成键盘乐器包括声学钢琴、键传感器、踏板传感器、用于钢琴音调的音调发生器140和音锤制动器以及MIDI控制器。虽然静音钢琴没配备有螺线管操作键/踏板激励器，但是，MIDI控制器分析键位置信号和踏板位置信号，用于产生事件码。将事件码从数据处理单元提供给盘记录器，使得与图片/电子音调或图片/第一电子音调/第二电子音调同步在软盘中记录演奏。

第五实施例中，记录在键盘142上的演奏，与图片再现和第一电子音调再现同步再现第二电子音调。第五实施例的修改例与用摄像机102拍摄场景同步地记录键盘142上的演奏和再现第二电子音调。图像拾取装置拍摄场景时，视频记录器120和声音记录器122把场景和声音存储在录像带VT中，时间码发生器124将视频时间码存储在录像带VT中并将视频时间码传输到播放器116。将视频时间码转换为MIDI时间码，数据处理单元424将MIDI时间码提供给软盘记录器404。将数据从光盘CD传输到硬盘414，从硬盘414读取数据和向软盘FD中记录数据与第五实施例类似，不再赘述。这样，第五实施例的修改例将图片和演奏记录在录像带VT和软盘FD中，与拍摄场景同步再现第二电子音调。该修改例适于现场音乐会、升级盘和表演的视频内容。

包括在多媒体平台400中的声源108可以有另一种乐器，诸如电子弦乐器和电子窗乐器。电子弦乐器配备有拾取单元，用于将弦振动转换为电信号，从电信号产生音乐数据码。电子管乐器有键/活塞监控器，用于将键动作/活塞动作转换为电信号，从电信号产生音乐数据码。声学乐器可以配备有音乐码发生系统，用于产生音乐数据码。可用这些电子乐器来代替自动演奏钢琴132。个人电脑也可用于多媒体平台，个人电脑中安装有适当的音乐合成程序。用户通过键盘或嘴，在软件的帮助下产生MIDI事件码，个人电脑将MIDI事件码提供给控制器110。这样，声源408支持所有用于产生音乐数据码的装置、单元和系统，音乐数据码诸如MIDI数据码。

软盘FD、光盘CD、硬盘414和录像带VT对本发明没有任何限制。例如，可以用磁光盘、半导体存储装置和记忆棒来代替硬盘414。在半导体随机存取存储器用于存储盘存储的音频数据码的情况下，光盘控制器/驱动器420可以逐步地将盘存储的音频数据码传输到数据处理单元424，数据处理单元424间断性地将盘存储的音频数据码写入半导体随机存取存储器和从半导体随机存取存储器读取盘存储的音频数据码。因此，半导体随机存取存储器不要求大存储容量。

控制器412、软盘记录器404、声音系统406、光盘单元410和用于合奏的音调发生器134可以内置在自动演奏钢琴132中，摄像机102可以通过适当的电缆与内置控制器412连接。这样，以自动演奏钢琴的形式提供了根据本发明的多媒体平台400。

第七实施例的修改例可以与在录像带VT中记录场景同步再现声学钢琴音调和第二电子音调。图像拾取装置拍摄场景时，视频记录器120和声音记录器122把可视图像和声音存储在录像带VT中，时间码发生器124把视频时间码存储在录像带VT中并把视频时间码传输到播放器116。把视频时间码转换为MIDI时间码，数据处理单元608将MIDI时间码提供给软盘播放器606、数据从光盘CD传输到硬盘414，从硬盘414读取的数据和从软盘FD读取的数据与第七实施例类似，所以不再赘述。这样，第五实施例的修改例将图片和演奏记录在录像带VT和软盘FD中，并与拍摄场景同步再现第二电子音调。该修改例适于现场音乐会、升级盘和用于表演的视频内容。

第七实施例中，盘存储的音频数据码在同步重放之前就已经存储在硬盘414中。第七实施例的另一修改例可以自动将盘存储的音频数据码存储在硬盘414中。这种情况下，当用户指令摄像机402发现分配有视频标识码V-ID的图片时，数据处理单元608将视频标识码V-ID传输到软盘播放器606，并指令软盘播放器606搜索首标块HH1，看是否已经在软盘FD中存储了分配有视频标识码V-ID的一组MIDI数据码。如果软盘播放器606发现了分配有视频标识码V-ID的一组MIDI数据码，数据处理单元608就指令软盘播放器606从首标块HT1读取并传输相关盘标识码C-ID。数据处理单元608将盘标识码C-ID传输到光盘单元410，并指令光盘控制器/驱动器420读取并传输标记有盘标识码C-ID的盘存储的音频数据码。将盘存储的音频数据码传输到数据处理单元608，数据处理单元608将盘存储的音频数据码存储在硬盘单元414中。将数据写入硬盘414之后，该修改例的行为与第七实施例类似，不再赘述。

控制器604、软盘记录器/播放器602、声音系统406、光盘单元410和用于合奏的音调发生器134可以内置在自动演奏钢琴132中，摄像机102可以通过适当的电缆与内置控制器412连接。这样，以自动演奏钢琴的形式提供了根据本发明的多媒体平台600。

第八实施例的修改例还可控制第一电子音调的音高。这种情况下，另一硬盘还与数据处理单元704连接，将磁带存储的音频数据码传输到其它硬盘，数据处理单元704确定用于磁带存储的音频数据码的目标读取速度，与盘存储的音频数据码类似。从软盘FD读取MIDI数据码时，以各自的读取速度从硬盘单元读取磁带存储的音频数据码和盘存储的音频数据码。这导致声学钢琴音调、第一电子音调和第二电子音调之间的协调。

第八实施例的另一修改例中，可以在盘存储的音频数据码和磁带存储的音频数据码之间共享硬盘单元414，如图35所示。将一个存储区域分配给盘存储的音频数据码，将另一存储区域分配给磁带存储的音频数据码。独立于用于盘存储的音频数据码的目标速度确定用于磁带存储的音频数据码的目标速度。播放器116将视频数据码传输到监控显示器112时，数据处理单元704以目标速度读取磁带存储的音频数据码，以另一目标速度读取磁带存储的音频数据码，软盘播放器606将事件码通过数据处理单元704传输到MIDI控制器150。这样，该修改例与图片和第一电子音调同步再现声学钢琴音调和第二电子音调，通过音高控制使钢琴音调、第一电子音调和第二电子音调相互很好地协调。

根据本发明的多媒体平台可以通过音高控制与图片和第一电子音调的再现以及声学钢琴音调再现同步再现第二电子音调。

Claims (20)

1.一种多媒体平台装置(100；400)，用于至少在信息存储媒体(FD)中与图片同步记录第一乐音，该多媒体平台装置包括：

第一数据源(1；132)，产生第一类数据，其包含多条代表所述第一乐音的第一音乐数据信息；以及

第二数据源(2；102)，产生第二类数据，其包含多条视频数据信息和多条第一时间数据信息，视频数据信息代表所述图片的可视图像，第一时间数据信息代表从第一视点定义的第一时间，其特征在于还包括

连接到所述第二数据源(2；102)的第三数据源(2；176/220/230/240)，包括：时钟发生器(176)、增量计算器(220)、修正值计算器(230)和时间增量计算器(240)，其中所述增量计算器(220)用于增加从所述第一视点定义并用多条第二时间数据信息来代表的第二时间，所述时间增量计算器(240)，用于比较所述第二时间与来自时钟发生器(176)的所述第一时间，看所述第二时间与所述第一时间是否一致，所述修正值计算器(230)，用于当答案为否定时修改所述多条第二时间数据信息，以便消除所述第一时间和所述第二时间之间的时间差，并将所述多条第二时间数据信息转换为多条第三时间数据信息，第三时间数据信息代表从与所述第一视点不同的第二视点定义的第三时间；

记录器(6；250/174)，与所述第一数据源和所述第三数据源连接，以便在所述信息存储媒体中存储所述多条第一音乐数据信息和所述多条第三时间数据信息；以及

图像发生器(8；112)，与所述第二数据源连接，用于产生所述可视图像。

2.如权利要求1所述的多媒体平台装置，其中，所述多条第一时间数据信息分别表达第一段时间和第二段时间，在第一段时间将所述多条视频数据信息提供给所述图像发生器，所述多条第二时间数据信息表达从开始记录起的第二段时间，而所述多条第三时间数据信息表达要插在所述多条第一音乐数据信息之间的时间间隔。

3.如权利要求2所述的多媒体平台装置，其中，分别以MIDI标准中定义的事件码和时间增量码来存储所述多条第一音乐数据信息和所述多条第三时间数据信息，以要在光盘中存储的视频数据码和视频时间码来存储所述多条视频数据信息和所述多条第一时间数据信息。

4.如权利要求1所述的多媒体平台装置，还包括与所述第二数据源连接的声音发生器(106)，其中，所述第二类数据(102)还包含多条第二音乐数据信息，其代表第三乐音且与所述多条视频数据信息同时提供给所述声音发生器(106)，以便与所述图片同步地从所述声音发生器(106)发出所述第二乐音。

5.如权利要求4所述的多媒体平台装置，其中，所述多条第一时间数据信息分别表达第一段时间和第二段时间，在第一段时间将所述多条视频数据信息提供给所述图像发生器，所述多条第二时间数据信息表达从开始记录起的第二段时间，而所述多条第三时间数据信息表达将要插在所述多条第一音乐数据信息之间的时间间隔。

6.如权利要求1所述的多媒体平台装置，其中，分别地，所述第一数据源(1)包括乐器136和监控所述乐器(136)以产生所述多条第一音乐数据信息的代码发生系统(150/154/156)，所述第二数据源(2)包括摄像机(102)。

7.如权利要求6所述的多媒体平台装置，其中，所述乐器是声学钢琴(136)，通过在所述声学钢琴的键盘(142)上弹奏而产生所述多条第一音乐数据信息。

8.如权利要求7所述的多媒体平台装置，其中，所述第三数据源(4；176/229/230/240)、所述记录器(6；250/174)和所述图像发生器(8；112)内置在基于所述声学钢琴(136)的自动演奏钢琴(132)中，所述摄像机(102)通过电缆与所述第三数据源(176/220/230/240)和所述图像发生器(112)连接。

9.如权利要求7所述的多媒体平台装置，还包括声音发生器(106)，其中，所述第二类数据还包含多条第二音乐数据信息，其代表第二乐音并提供给所述声音发生器(106)，以产生所述第二乐音。

10.如权利要求9所述的多媒体平台装置，还包括与所述第二数据源(102/354)连接、用于存储所述多条第二音乐数据信息的临时数据存储器(352)和与所述临时数据存储器(352)关联的读取速度控制器(356)，并以目标速度读取所述多条第二音乐数据信息，以便将所述多条第二音乐数据信息传输到所述声音发生器，以消除所述第一乐音和对应的第二乐音之间音高差的方式来确定所述目标速度。

11.如权利要求1所述的多媒体平台装置，还包括：

第四数据源(410)，输出第三类数据，其包含多条第三音乐数据信息和多条第四音乐数据信息，第三音乐数据信息代表第三乐音，第四音乐数据信息代表从所述第一视点定义的第四时间；

定时控制器(430/432/434/436)，包括：时钟(430)、音频信号发生器(432)、修正值计算器(434)和时钟信号发生器(436)，其中所述时钟(430)用于增加从所述第一视点定义且由多条第五时间数据信息表示的第五时间，所述修正值计算器(434)用于比较所述多条第五时间数据信息与来自所述时钟(430)的所述多条第一时间数据信息，看所述第五时间是否与所述第一时间一致，当答案为否定时修改所述多条第五时间数据信息，以便消除所述第一时间和所述第五时间之间的时间差，并且所述音频信号发生器(432)用于当所述第五时间跟上由每条所述多条第四时间数据信息表示的所述第四时间时，输出从所述多条第三音乐数据信息产生的音频信号；以及

声音发生器(106)，与所述定时控制器连接，以便从所述多条第三音乐数据信息产生所述第三乐音。

12.如权利要求11所述的多媒体平台装置，其中，所述第四数据源包括光盘播放器(170)，用于读取所述多条第三音乐数据信息和所述多条第四时间数据信息，第三音乐数据信息存储在光盘中所记录的音频数据码中，第四时间数据信息代表从开始读取起的一段时间，而所述第一数据源包括声学乐器(136)和监控所述声学乐器的代码发生系统(150/154/156)，以产生所述多条第一音乐数据信息。

13.如权利要求11所述的多媒体平台装置，其中，所述第一数据源包括乐器(136)和监控所述乐器以产生所述多条第一音乐数据信息的代码发生系统(150/154/156)，，所述第二数据源包括摄像机(102)。

14.如权利要求13所述的多媒体平台装置，其中，所述乐器是声学钢琴(136)，通过在所述声学钢琴的键盘(142)上弹奏来产生所述多条第一音乐数据信息。

15.如权利要求14所述的多媒体平台装置，还包括声音发生器(106)，其中，所述第二类数据还包含多条第二音乐数据信息，其代表第二乐音且提供给所述声音发生器，以产生所述第二乐音。

16.如权利要求15所述的多媒体平台装置，还包括与所述第一数据源连接、用于存储所述多条第一音乐数据信息的临时数据存储器(414)，和与所述临时数据存储器关联的读取速度控制器(424)，并以目标速度读取所述多条第二音乐数据信息，以便将所述多条第二音乐数据信息传输到所述声音发生器，以消除所述第一乐音和对应的第二乐音之间音高差的方式来确定所述目标速度。

17.一种多媒体平台装置(300；350；600；700)，用于至少再现与图片同步的第一乐音，该多媒体平台装置包括：

第一数据源(20；302)，输出第一类数据，其包含多条第一音乐数据信息和多条第一时间数据信息，第一音乐数据信息代表所述第一乐音，第一时间数据信息代表从第一视点定义的第一时间；以及

第二数据源(22；102/304)，输出第二类数据，其包含多条视频数据信息和多条第二时间数据信息，视频数据信息代表所述图片的可视图像，第二时间数据信息代表从与所述第一视点不同的第二视点定义的第二时间；其特征在于还包括

图像发生器(22/112)，与所述第二数据源连接，以便从所述多条视频数据信息产生所述图片；

声音发生器(26；132/134)，连接以从所述多条第一音乐数据信息产生所述第一乐音；以及

连接到所述第一数据源(20；302)、所述第二数据源(22；102/304)和所述声音发生器(26；132/134)的定时控制器(28)，包括：第一累加器(318)、第二累加器(320)、发送控制器(322)和调节器(324)，其中所述第一累加器(318)用于增加从所述第二视点定义且由多条第三时间数据信息来代表的第三时间，所述调节器(324)用于比较所述多条第三时间数据信息与所述多条第二时间数据信息，看所述第三时间是否与所述第二时间一致，以便当答案为否定时修改所述多条所述第一时间数据信息，用于消除所述第二时间和所述第三时间之间的时间差，所述第二累加器(320)用于将所述多条第一时间数据信息转换为代表从所述第二视点定义的第四时间的多条第四时间信息，所述发送控制器(322)用于比较所述多条第四时间数据信息与所述多条第三时间数据信息，看所述第三时间是否赶得上所述第四时间，并在所述第三时间赶上所述第四时间时将所述多条第一音乐数据信息传输到所述声音发生器。

18.如权利要求17所述的多媒体平台装置，其中，所述多条第一时间数据信息定义要插在所述多条第一音乐数据信息之间的时间间隔，所述多条第二时间数据信息定义从开始读取所述多条视频数据信息起的一段时间，所述多条第三时间数据信息定义从开始读取所述多条第一音乐数据信息起的一段时间，所述多条第四时间数据信息表示所述时间间隔的累加总量。

19.如权利要求17所述的多媒体平台装置，其中，所述第一数据源包括软盘播放器(308)，所述第二数据源包括摄像机(102)，所述声音发生器包括自动演奏钢琴(132)。

20.如权利要求17所述的多媒体平台装置，还包括：

第三数据源(410)，输出第三类数据，其包含多条第三音乐数据信息和多条第五时间数据信息，第三音乐数据信息代表第三乐音，第五时间数据信息代表从所述第二视点定义的第五时间；

连接到所述第二数据源(22；102/304)和第三数据源(410)的另一定时控制器(430/432/434/436)，包括：时钟(430)、音频信号发生器(432)、修正值计算器(434)和时钟信号发生器(436)，其中所述时钟(430)用于增加从所述第二视点定义且由多条第六时间数据信息表示的第六时间，，所述修正值计算器(434)用于比较所述多条第六时间数据信息与来自所述时钟(430)的所述多条第二时间数据信息，看所述第六时间是否与所述第二时间一致，当答案为否定时修改所述多条第六时间数据信息，以便消除所述第二时间和所述第六时间之间的时间差，所述音频信号发生器(432)用于在所述第六时间赶上由所述多条第五时间数据信息中每一条表示的所述第五时间时，输出从所述多条第三音乐数据信息产生的音频信号；以及

另一声音发生器(106)，与所述另一定时控制器连接，以便从所述多条第三音乐数据信息产生所述第三乐音。

Images