CN1517977B

CN1517977B - 演奏信息再现设备、方法以及演奏信息再现程序

Info

Publication number: CN1517977B
Application number: CN2004100015874A
Authority: CN
Inventors: 东仪温; 山内健一
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2003-01-14
Filing date: 2004-01-14
Publication date: 2010-09-29
Anticipated expiration: 2024-01-14
Also published as: EP1447791B1; US20040148300A1; EP1447791A3; EP1447791A2; JP3846425B2; CN1517977A; CN2711852Y; US7430564B2; JP2004219652A

Abstract

提供了一种演奏信息再现设备，其可以实现所需的多种数据如音乐和图像的同步再现。外部存储装置将乐音数据文件和至少一个媒体数据文件与管理文件存储在一起，其中，在乐音数据文件中记录了乐音信息，在媒体数据文件中记录了至少一个其它类型的媒体信息，在管理文件中记录了乐音数据文件和媒体数据文件的读取方式。CPU根据乐音数据文件和管理文件，使用与乐音信息格式相同的指定信息，产生用于指定将要再现的乐音信息和媒体数据文件的再现数据。

Description

演奏信息再现设备、方法以及演奏信息再现程序

技术领域

本发明涉及一种演奏信息再现设备和方法，以及一种演奏信息再现程序，该程序彼此同步地再现了多种演奏信息(媒体信息)，特别是涉及一种演奏信息再现设备和方法，以及一种演奏信息再现程序，将该装置、方法和程序设计成以产生用于读取要彼此同步地再现的演奏信息的再现数据。

背景技术

通常，如日本公开专利公开号(Kokai)No.H06-124093中公开一种公知装置，该装置在给出音乐演奏的定时产生用于同步再现多种数据如音乐和图像的数据，并且根据产生的数据执行这些各种数据的同步再现。

但是，传统的装置要预先产生这些各种数据，以便根据音乐演奏的定时来再现这些数据，因此存在这样的问题，即当一些这样的数据已经被改变或者已经增加新的一种数据时，就很难进行各种演奏信息(媒体信息)如音乐和图像的同步再现。

发明内容

本发明的目的是提供一种演奏信息再现设备和方法，以及一种演奏信息再现程序，该装置、方法和程序可以实现所需的多种数据如音乐和图像的同步再现。

为了达到上述目的，在本发明的第一方面，提供了一种演奏信息再现设备，包括：文件存储装置，该文件存储装置将乐音数据文件和多个媒体数据文件与管理文件存储在一起，其中，在该乐音数据文件中记录了乐音信息，在该媒体数据文件中记录了多个类型的媒体信息，在该管理文件中记录了乐音数据文件和媒体数据文件的多个读取方式；再现数据产生装置，该再现数据产生装置根据由所述文件存储装置存储的管理文件来指定由用户操作所指示的读取方式，根据所指定的读取方式，使用与该乐音信息格式相同的指定信息来产生再现数据，其中所述再现数据用于指定将要再现的乐音数据文件的乐音信息和将要再现的媒体数据文件；再现数据存储装置，该再现数据存储装置存储所产生的再现数据；读取装置，该读取装置根据用于所述乐音信息的再现时钟，读取由所述再现数据存储装置存储的再现数据；和再现装置，该再现装置读取由所读取的再现数据指定的媒体数据文件，并使所述再现数据中的乐音信息和所述媒体数据文件中的媒体信息彼此同步地再现。

有了根据第一方面的演奏信息再现设备，可以不必预先执行有难度的处理，如特别地产生各种媒体信息，以便根据乐音信息的再现定时来再现媒体信息。在管理文件中预先设定用于各种媒体信息的读取方式(文件名、定时等)，并且当执行再现时，管理文件用来容易地产生用于读取各种媒体信息的再现数据，以及各种媒体信息可以根据再现数据读取。结果，可以容易地实现媒体信息的同步再现。此外，用于说明各种媒体信息再现方式的管理文件的编辑操组是很简单的，使得通过编辑管理文件，比如用以改变一些数据文件和/或添加新的数据文件，或者用以改变各自媒体文件的再现定时，就可以灵活地设定所需的再现方式。

优选地，文件存储装置存储多个媒体数据文件，在该多个媒体数据文件中分别记录了多种媒体信息。

优选地，分别记录了多种媒体信息的多个媒体数据文件包括音频数据文件和视频数据文件。

优选地，管理文件包括媒体数据文件的文件名和表示媒体数据文件再现开始定时的多条定时数据，该文件名和多条定时数据以再现的顺序排列。

优选地，乐音数据文件包括MIDI事件和表示开始处理MIDI事件的MIDI时钟定时的多条定时数据，该MIDI事件和多条定时数据以再现的顺序排列。

优选地，再现数据包括媒体数据文件的文件名和表示媒体数据文件再现开始的MIDI时钟定时的多条定时数据，该文件名和多条定时数据以再现的顺序排列。

优选地，表示媒体数据文件再现开始的MIDI时钟定时的定时数据是由记录在管理文件中表示定时的数据而产生。

为了达到上述目的，在本发明的第二方面，提供了一种演奏信息再现设备，包括：文件存储装置，该文件存储装置将乐音数据文件和至少一个媒体数据文件与管理文件存储在一起，其中，在乐音数据文件中记录了乐音信息，在媒体数据文件中记录了至少一个其它类型的媒体信息，在管理文件中记录了乐音数据文件和媒体数据文件的读取方式；再现数据产生装置，该再现数据产生装置根据乐音数据文件和管理文件，使用与乐音信息格式相同的指定信息，产生用于指定将要再现的乐音信息和媒体数据文件的再现数据；再现数据存储装置，该再现数据存储装置存储产生的再现数据；读取装置，该读取装置根据用于乐音信息的再现时钟，从该再现存储装置中读取再现数据；和再现装置，该再现装置读取由读取的再现数据所指定的媒体数据文件，并彼此同步地再现在再现数据中的乐音信息和在媒体数据文件中的媒体信息。

优选地，在分别记录了多种媒体信息的多个媒体数据文件包括音频数据文件和视频数据文件。

优选地，管理文件包括媒体数据文件的文件名和表示媒体数据文件再现开始的定时的多条定时数据，该文件名和多条定时数据以再现的顺序排列。

优选地，用于乐音信息的再现时钟是MIDI时钟，并且无论何时到达与表示媒体数据文件再现开始的MIDI时钟定时的定时数据相对应的定时，都会从该文件存储装置中读取具有与MIDI时钟定时对应的文件名的媒体数据文件。

为了达到上述目的，在本发明的第三方面，提供了一种用于演奏信息再现设备的演奏信息再现方法，包括：在文件存储装置中将乐音数据文件和多个媒体数据文件与管理文件存储在一起，其中，在该乐音数据文件中记录了乐音信息，在该多个媒体数据文件中记录了多个类型的媒体信息，在该管理文件中记录了乐音数据文件和媒体数据文件的多个读取方式；根据由所述文件存储装置存储的管理文件，来指定由用户操作所指示的读取方式，根据所指定的读取方式，使用与该乐音信息格式相同的指定信息，来产生再现数据，其中所述再现数据用于指定将要再现的乐音数据文件的乐音信息和将要再现的媒体数据文件；存储所产生的再现数据；根据用于所述乐音信息的再现时钟，读取所存储的再现数据；和读取由所读取的再现数据指定的媒体数据文件，并使所述再现数据中的乐音信息和所述媒体数据文件中的媒体信息彼此同步地再现。

为了达到上述目的，在本发明的第四方面，提供了一种用于演奏信息再现设备的演奏信息再现方法，包括：文件存储步骤，该步骤将乐音数据文件和至少一个媒体数据文件与管理文件一起存储在文件存储装置中，其中，在乐音数据文件中记录了乐音信息，在媒体数据文件中记录了至少一个其它类型的媒体信息，在管理文件中记录了乐音数据文件和媒体数据文件的读取方式；再现数据产生步骤，该步骤根据乐音数据文件和管理文件，使用与乐音信息格式相同的指定信息，产生用于指定将要再现的乐音信息和媒体数据文件的再现数据；再现数据存储步骤，该步骤将产生的再现数据存储在再现存储装置中；读取步骤，该步骤根据用于乐音信息的再现时钟，从再现存储装置中读取再现数据读取；和再现步骤，该步骤读取由读取的再现数据指定的媒体数据文件，并彼此同步地再现在再现数据中的乐音信息和在媒体数据文件中的媒体信息。

为了达到上述目的，在本发明的第五方面，提供了一种由计算机执行的演奏信息再现程序，包括：文件存储模块，用于将乐音数据文件和至少一个媒体数据文件与管理文件一起存储在文件存储装置中，其中，在乐音数据文件中记录了乐音信息，在媒体数据文件中记录了至少一个其它类型的媒体信息，在管理文件中记录了乐音数据文件和媒体数据文件的读取方式；再现数据产生模块，用于根据乐音数据文件和管理文件，使用与乐音信息格式相同的指定信息，产生用于指定将要再现的乐音信息和媒体数据文件的再现数据；再现数据存储模块，用于将产生的再现数据存储在再现存储装置中；和读取模块，用于从再现存储装置中读取再现数据。

为了达到上述目的，在本发明的第六方面，提供了一种由计算机执行的演奏信息再现程序，包括：文件存储模块，用于将乐音数据文件和至少一个媒体数据文件与管理文件一起存储在文件存储装置中，其中，在乐音数据文件中记录了乐音信息，在媒体数据文件中记录了至少一个其它类型的媒体信息，在管理文件中记录了乐音数据文件和媒体数据文件的读取方式；再现数据产生模块，用于根据乐音数据文件和管理文件，使用与乐音信息格式相同的指定信息，产生用于指定将要再现的乐音信息和媒体数据文件的再现数据；再现数据存储模块，用于将产生的再现数据存储在再现存储装置中；读取模块，用于根据用于乐音信息的再现时钟，从再现存储装置中读取再现数据；和再现模块，用于读取由读取的再现数据所指定的媒体数据文件，并彼此同步地再现在再现数据中的乐音信息和在媒体数据文件中的媒体信息。

从接下来结合附图所进行的详细描述中，本发明的上述和其它目的、特征和优点将变得更明显。

附图说明

图1A和1B是示出应用了根据本发明第一实施例的演奏信息再现设备的演奏信息再现系统整个结构的实例的方框图，其中：

图1A示出了一个实例，该实例中，具有通信功能的个人计算机PC被当作演奏信息再现设备用在演奏信息再现系统中；以及

图1B示出了一种实例，该实例中，专用于乐音处理的信息处理装置ED比如电子乐器，被当作演奏信息再现设备用在演奏信息再现系统中；

图2是示出了根据第一实施例的演奏信息再现设备的硬件结构的方框图；

图3是示出了用在演奏信息再现中的内容文件结构和该内容文件中管理数据结构的图；

图4是示出了各媒体文件(用于一个文件)结构的图；

图5是示意性地示出了用在设定操作模式下的演奏信息再现设备的功能的功能方框图；

图6是示出了由管理程序执行部分CP执行的设定过程(浏览过程)的程序的流程图；

图7是示出了在演奏信息再现设备的设定操作过程中显示的页面屏幕的实例图；

图8A和8B是示出了在演奏信息再现设备的设定操作过程中产生的再现数据RD的结构的图，其中：

图8A示出了存储在再现数据缓冲器2M中的再现数据RD的结构；和

图8B示出了存储在视频控制数据缓冲器2V中的再现数据RD的结构；

图9A到9C是示出了在演奏信息再现设备的设定操作过程中产生的再现数据RD的内容实例的图，其中：

图9A示出了乐谱轨道信息STr和MIDI轨道信息MTr的内容，图9B示出了音频轨道信息Atr的内容；以及图9C示出了视频轨道信息VTr的内容；

图10是示出了由MIDI再现程序执行部分MP执行的MIDI产生过程的程序的流程图；

图11是图10的流程图的继续部分；

图12是示意性地示出了在再现操作过程中使用的演奏信息再现设备的功能的功能方框图；以及

图13是示意性地示出了在设定操作过程中使用的根据本发明第二实施例的演奏信息再现设备的功能的功能方框图。

具体实施方式

下面将参考示出了本发明优选实施例的附图，详细地描述本发明。附图中，整个图中相同的元件和部分用相同的附图标记来表示，并省略对其重复的描述。

应该注意，下面描述的实施例仅是实例，在不脱离本发明范围的情况下各种改型都是可能的。

图1A和1B是示出应用了根据本发明第一实施例的演奏信息再现设备的演奏信息再现系统整个结构的实例方框图。在这样的演奏信息再现系统中，可以使用任何一种具有通信功能和演奏信息处理功能的信息处理装置。图1A和1B示出了这种设备如何应用的两个典型实例。

图1A中，具有通信功能的个人计算机PC被当作演奏信息再现设备用在演奏信息再现系统中。将各种媒体信息(下文中也称作“演奏信息”)比如乐音信息和图像信息经过如因特网的通用通信网络，从服务器计算机SV分配到个人计算机PC上。个人计算机PC具有控制程序，该控制程序包括管理程序和对应于各种媒体信息的各种专用媒体信息再现程序。根据管理程序和媒体信息再现程序，个人计算机产生可以产生允许各种媒体信息同步再现的再现数据(RD)，并根据产生的再现数据(RD)读取各种媒体信息，并且执行这些媒体信息的同步再现。

接下来，从这样的再现输出中，将图像输出提供给个人计算机的显示部分，以便产生与基于再现数据(RD)而读取的媒体信息相对应的图像，而且将声音输出提供给用于乐音处理并且具有乐音产生功能的专用信息处理装置EM，如电子乐器，以便产生与基于再现数据(RD)而读取的媒体信息相对应的声音。应该注意，个人计算机PC配备有音调发生器和声音系统或类似部件，因此具有根据乐音信息或类似信息输出声音的功能，使得个人计算机PC在不使用单独用于输出声音的信息处理装置EM比如电子乐器的情况下，其自身就可以产生对应于各种媒体信息的声音和图像。

另一方面，在图1B中，专用于乐音处理的信息处理装置ED比如电子乐器，被作为演奏信息再现设备用在演奏信息再现系统中。该信息处理装置ED不仅具有乐音信息处理功能，还具有以诸如管理程序和各种再现程序的控制程序为基础的通用通信功能和各种媒体信息处理功能。将各种媒体信息经过比如因特网的通用通信网络，从服务器SV分配到信息处理装置ED。根据这些程序，信息处理装置ED产生允许各种媒体信息同步再现的再现数据(RD)，并根据产生的再现数据(RD)读取各种媒体信息，并执行这些媒体信息的同步再现，以产生对应于各种媒体信息的声音和图像。

应该注意，演奏信息再现设备并不局限于如图1A和1B所示的个人计算机PC和信息处理装置ED，比如电子乐器，而是可以使用各种具有与所述功能相同的信息处理装置。在下面描述的实施例中，描述了演奏信息再现设备(PC、ED)自身具有输出声音功能的情况。

图2是示出了根据第一实施例的演奏信息再现设备的硬件结构的方框图。该演奏信息再现设备是由中央处理器(CPU)1、随机存取存储器(RAM)2、只读存储器(ROM)3、外部存储装置4、检测电路5、显示电路6、音调产生电路7、效果电路8、通信接口(I/F)9和类似元件构成的，并且这些元件1到9通过总线10相互连接。

控制整个设备的CPU1根据预定的控制程序，执行各种演奏信息的再现过程。RAM2起到处理缓冲器的作用，用于临时地存储用在这些过程中的各种信息，并比如包括内容缓冲器(2C)、再现数据缓冲器(2M)、视频再现数据(视频控制数据)缓冲器(2V)等缓冲器。用于使CPU1执行演奏信息再现过程的控制程序和各种数据、表格等存储在ROM3中。这样的控制程序包括演奏信息再现程序，比如管理程序(CP)、MIDI再现程序(MP)、音频再现程序(AP)、视频再现程序(VP)和乐谱再现程序(SP)。

外部存储装置4是一种使用存储媒体如硬盘(HD)、光盘只读存储器(CD-ROM)、软盘(FD)、磁光盘(MO)、数字化视频光盘(DVD)或者存储卡的存储装置。与演奏信息再现有关的各种控制程序和各种数据不仅可以存储在ROM3中，还可以附加地或可选择地存储在外部存储装置4中。例如，当控制程序未存储在ROM3中时，通过将控制程序存储在外部存储装置4中，如HD或者CD-ROM中，并将该程序送入到RAM2中，可以使得CPU1执行与控制程序存储在ROM3中的情况下相同的操作。还可以通过将演奏信息再现程序作为控制程序安装在外部存储装置4中来实施该演奏信息再现设备，其中外部存储装置4是HD或者类似部件。通过这样做，使得添加和/或更新或升级控制程序变得很容易。

检测电路5把连接在检测电路5上的操作器装置11的不同操作器的操作内容引入到演奏信息再现设备中。操作器装置11包括各种设定控制板操作器，比如字符键盘和指示(pointing)装置(如鼠标)，当演奏信息再现设备是电子乐器ED时，还包括使用户输入演奏声音的演奏操作器。

显示电路6根据来自于CPU1的命令，控制连接到其上的显示部分12的显示内容。显示部分12由用于显示各种屏幕比如演奏信息再现屏幕的显示器组成。这种演奏信息再现屏幕也称为“页面屏幕”，并根据管理程序(CP)、视频再现程序(VP)、乐谱再现程序(SP)等程序来控制其显示状态。

音调产生电路7将与乐音信息相对应的乐音波形信息输出到效果(应用)电路8，由DSP等部件组成效果电路8将乐音波形信息和声音波形信息转换成所需的声音信号。由D/A转换器、放大器和扬声器组成声音系统13连接到效果电路8，使得根据MIDI再现程序(MP)和/或音频再现程序(AP)而产生的以乐音信息和声音波形信息为基础的声音信号转换成模拟信号，该模拟信号被放大，并通过声音系统13作为声音被输出。

通信接口(I/F)9连接到通用通信网络比如局域网(LAN)、因特网或电话线路上，或者连接到用于与其它MIDI装置通信的MIDI网络上。通过这些网络，可以根据需要将各种信息发送到外部装置和从外部装置接收各种信息。例如，可以从外部信息处理装置得到各种控制程序和数据，并可以从外部MIDI装置得到如MIDI数据的乐音信息。例如，在必需的控制程序、数据或类似信息未存储在ROM3或外部存储装置4中的情况下，可以通过通信网络从服务器计算机SV或类似装置中下载这些控制程序、数据或类似信息。

在根据本发明的演奏信息再现设备中，在外部存储装置4的内容编档(filing)部分4F中，提供了许多用于演奏信息再现的内容文件(在下文中简称为“内容”)。这些内容可以从上面提到的服务器计算机SV或外部信息处理终端得到，或者可以通过编辑由当前的演奏信息再现设备得到的各种数据而产生。而且，在将内容文件预先存储在ROM3中的情况下，这些内容文件可以用于演奏信息再现。

图3是示出了用于演奏信息再现的内容文件的结构和内容文件中管理数据的结构的图。在下面的描述中，假设根据MIDI标准的信息用作乐音信息等信息。

如图3中最左边的一列所示，提供了多个内容文件CF1、CF2、…作为在演奏信息再现设备中使用的内容而提供。如从左边开始的第二列所示，内容文件CF每个都包括管理文件MN和多种媒体数据文件MF、AF、VF和SF。应该注意，在下面的描述中，符号“CF”表示整个内容文件，符号“CFi”表示任意单个的内容文件。同样地，符号“MNi”表示内容文件CFi的管理文件。

在所示的实例中，每个媒体数据文件(下文中简称为“媒体文件”)都是由MIDI文件(乐音信息文件)MF、音频文件(声音波形信息文件)AF、视频文件(图像信息文件)VF和乐谱文件SF组成。单个内容文件CF包括多个MIDI文件MF11、MF12、…，音频文件AF11、AF12、…，视频文件VF11、VF12、…和乐谱文件SF11、SF12、…(每个标记都对应于第一个内容文件CF1)。应该注意，在下面的描述中，符号“MF”、“AF”、“VF”和“SF”表示对应的整个媒体文件，紧跟在这些符号“MF”、“AF”、“VF”和“SF”之后的第一个下标“i”是用来指明与任意单个内容文件CFi相对应的媒体文件。

如从图3左面开始的第三列所示，用于每条内容的管理文件MN(每条内容都有一个管理文件)是由多个页面数据PD1、PD2、…组成，每个页面数据都具有多个分组数据Gd11、Gd12、…、Gd21、Gd22、…。一组一组地设定每个分组数据(一个再现部分数据)Gd，每个组(k)是一个单元，用户通过该单元使用该分组数据Gd单独指定将要再现的媒体文件。每个组(k)也称为“一个再现部分”。

每个分组数据(单个再现部分)Gd表示一个再现部分中的再现数据的“蓝图(blueprint)”，该再现部分以用户定义页面描述语言比如XML(Extensible Markup Language)表达，如图3最右一列的上部分所示，分组数据Gd是由控制指令(显示指令)信息Cd和多个媒体文件指定信息Md、Ad、Vd和Sd组成。这些媒体文件指定信息Md、Ad、Vd和Sd用于指定将要再现的媒体文件MF、AF、VF和SF，这些媒体文件MF、AF、VF和SF对应于分组基础上的分组数据(一个再现部分)Gd。

控制指令信息(显示指令信息)Cd包括指定显示状态比如显示尺寸和显示位置的显示指令信息，该显示指令信息是用于已被指定用于当前组(当前再现部分)(k)的每个数据，该当前组(k)将要显示在显示部分12的页面屏幕上。控制指令信息还包括用于组的标题、简要说明等内容的显示数据。显示数据可以包括媒体文件的名称和初始静态图像，该媒体文件将首先显示在用于该指定媒体数据的显示区域(窗口)中。控制指令信息Cd还可以包括设定信息，比如定时设定信息，用于在没有比如指明MIDI时钟定时的MIDI文件指定信息Md等信息的情况下设定MIDI时钟定时。

在所示的实例中，媒体文件指定信息包括MIDI文件指定信息Md、音频文件指定信息Ad、视频文件指定信息Vd和乐谱文件指定信息Sd。将要再现的MIDI文件MF、音频文件AF、视频文件VF和乐谱文件SF是由该组(再现部分)(k)上的媒体文件指定信息Md、Ad、Vd和Sd一组一组(再现部分)地指定。

如图3最右一列的下部分所示，从媒体文件指定信息中，指定音频和视频文件AF、VF的音频文件指定信息和视频文件指定信息(用于一个再现部分)Ad、Vd是由多对指定的文件名数据Fn1、Fn2、…和定时数据Tm1、Tm2组成，在这些定数数据表示的定时下开始再现由文件名数据Fn1、Fn2…指定的音频文件AF和视频文件VF，同时这些对数据以再现开始定时的顺序排列。每个定时数据Tm1、Tm2…都可以使用任一种所需的方法，比如通过指定数条(bars)和数列(beats)的方法来指定已指定视频文件VF再现开始的定时。

接下来，图4是示出了每个媒体文件结构的图。每个内容文件CFi包括多种媒体文件。例如，如图4中左面一列所示，媒体文件的类型是如上所述的MIDI文件MF、音频文件AF、视频文件VF和乐谱文件SF。这些文件类型的每个都是由多个文件MFi1、MFi2、…、AFi1、AFi2、…、VFi1、VFi2、…或SFi1、SFi2…的文件组MFi、AFi、VFi或SFi组成。

如图4的左上部分所示，每个MIDI文件(单个文件)MFia都是由主轨道CT和再现轨道RT组成。每个MIDI文件MFia中的符号“a”表示文件组i中的任意文件，并且图4示出了文件组i中第一个MIDI文件MFi1(a＝1)的内容。主轨道CT已经在其上记录了与MIDI文件MFi的乐音信息(音乐成分信息)相关的基本数据(比如，节奏、音键和作曲者的姓名)。再现轨道RT已经在其上记录了乐音信息(音乐成分信息)的内容。也就是说，如图4右面一列的最上面的部分(其中示出了第一个MIDI文件MFi1的再现轨道RT的内容)所示，乐音信息(音乐成分信息)是由多对MIDI时钟定时数据MC11、MC12…组成，并且发生在MIDI时钟定时MC11、MC12…中的MIDI事件EV11、EV12…以MIDI时钟定时的顺序排列。

如右面一列的第二部分(其中示出了图4中第一个音频文件AFi1的内容)所示，每个音频文件AFia是由多个以再现顺序排列的音频抽样AS11、AS12、AS13组成，连续的音频抽样AS11、AS12、AS13表示声音信息，如说话声、乐器声音和像波浪一样的自然声音。

如右面一列的第三部分(其中示出了图4中第一个视频文件VFi1的内容)所示，每个视频文件VFia是由多个以再现顺序排列的视频帧FR11、FR12、FR13…组成。每个视频帧FR11、FR12、FR13…可以表示与其它视频帧无关的图像(场景)，比如静态图像，或者可以表示在活动图像(动画)中与前面和随后的帧有关的图像(场景)。

如右面一列最下面的部分(其中示出了图4中第一个乐谱文件SFi1的内容)所示，每个乐谱文件SFia包括由乐谱文件SF中乐谱信息表示的在乐谱上(可变乐谱显示部分的)多对显示位置DP11、DP12…，以及在各自对应的显示位置DP11、DP12…上发生的乐谱事件SE11、SE12…，其中这些对的显示位置和乐谱事件以显示位置的顺序排列。

接下来，将给出根据本发明的演奏信息再现设备的再现数据的设定操作和产生的说明。

无论何时进行演奏信息再现，演奏信息再现设备都会进入设定操作模式，在该模式下，再现数据RD是从MIDI文件MF和其它类型的媒体文件如音频、视频和乐谱文件AF、VF、SF中产生的，该数据用于同步再现在媒体文件MF、AF、VF和SF中的媒体信息。然后，该设备进入再现操作模式，在该模式下，使用再现数据RD以同步于按照MIDI文件中的乐音信息而进行的乐音再现，以按照管理文件MN内容的再现方式，再现在媒体文件AF、VF和SF中的其它媒体信息。

图5是示意性地示出了用在演奏信息再现设备的设定操作模式下的功能的功能方框图。在图5中，虚线表示已被激活用以在再现操作模式下(将参考图12在后面进行描述)运行的部分。

现在，将参考图5给出根据本实施例的演奏信息再现系统功能的简要描述。在该演奏信息再现系统中，各种媒体信息(演奏信息)数据文件MF、AF、VF和SF与对数据文件MF、AF、VF和SF的再现方式进行管理的管理文件MN一起存储在内容编档部分4F等中。当进行这些媒体信息的同步再现时，无论何时执行再现，都会首先由乐音信息(MIDI)再现程序执行部分MP的再现数据产生部分MPa，根据管理文件MN之一产生再现数据RD，该再现数据RD用于允许乐音(MIDI)数据文件MF、乐谱数据文件SF和各种其它的媒体(音频/视频)数据文件AF、VF根据乐音信息再现程序而读取。然后，各媒体信息再现程序执行部分MP、SP、AP和VP的再现部分对产生的再现数据RD的乐音和乐谱信息，以及基于再现数据RD而读出的其它媒体数据文件AF、VF的媒体信息进行再现。

下面将对其进行更详细地描述。如图5所示，该演奏信息再现系统是由管理各自媒体信息进程的管理程序(浏览器程序)执行部分CP和多个媒体信息再现程序执行部分组成，这些媒体信息再现程序执行部分根据来自于管理程序执行部分CP的指令，独立地执行各媒体信息的再现操作。例如，这些媒体信息再现程序执行部分是由上述MIDI再现程序执行部分MP、音频再现程序执行部分AP、视频再现程序执行部分VP和乐谱再现程序执行部分SP组成。

管理程序(浏览器程序)执行部分CP根据存储在ROM3中的管理程序，执行各文件的管理控制，用以管理在处理缓冲器(RAM)2中提供的内容缓冲器2C。而且，在演奏信息再现设备的设定操作过程中，读取处理部分CPa、数据分配处理部分CPb和页面屏幕显示处理部分CPc主动地运行。

MIDI再现程序执行部分MP响应于来自管理程序执行部分CP的控制指令进行操作，用以根据MIDI再现程序，处理预定的MIDI文件MF的演奏信息，并管理在处理缓冲器2中保留的再现数据缓冲器2M。MIDI再现程序执行部分MP还执行与其它媒体文件AF、VF和SF有关的处理所需的控制，并在演奏信息再现设备的设定操作过程中，激活再现数据产生部分MPa和再现数据存储部分MPb的模块功能。

根据来自于管理程序执行部分CP的控制指令和来自于MIDI再现程序执行部分MP的信息，音频再现程序执行部分AP和视频再现程序执行部分VP分别地根据音频再现程序和视频再现程序，处理指定的音频文件AF的声音波形信息和指定的视频文件VF的图像信息。在演奏信息再现设备的设定操作过程中，音频再现程序执行部分AP不具有已激活的模块，而视频再现程序执行部分VP具有已激活的视频再现数据转换/存储部分VPa。视频再现程序执行部分VP还管理在处理缓冲器2中的视频控制数据缓冲器2V。

根据来自于管理程序执行部分CP的控制指令和来自于MIDI再现程序执行部分MP的信息，乐谱再现程序执行部分SP根据乐谱再现程序，处理指定的乐谱文件SF的乐谱信息。在演奏信息再现设备的设定操作过程中，乐谱再现程序执行部分SP激活乐谱显示处理部分SPa和乐谱再现数据产生部分SPb的功能。

接下来，将参考图6到11顺序地给出(1)管理程序执行部分CP执行的设定过程，(2)在设定操作模式下各再现程序执行部分MP、AP、VP和SP的处理，和(3)MIDI再现程序执行部分MP执行的MIDI产生过程的说明。

(1)管理程序执行部分CP的设定过程

在演奏信息再现设备的设定操作过程中，执行管理程序执行部分CP的设定过程。用户将演奏信息再现设备设定到设定操作模式下，并通过响应于在显示部分12上的指导屏幕上已经显示的具有树状结构的内容菜单，通过对操作器装置11的预定操作器进行操作，指定所需的内容编号(i)和内容(i)中的页面(j)。响应于该指定，管理程序执行部分CP的读取处理部分CPa从外部存储装置的内容编档部分4F中和从ROM3的内容存储区域中所记录的内容文件CF1至CFn之中，首先读取与指定的内容编号“i”对应的单个内容文件CFi，即读取包括在内容CFi中的管理文件MNi、MIDI文件MFi、音频文件AFi、视频文件VFi和乐谱文件SFi，并将这些文件存储在内容缓冲器2C中。

接下来，数据分配处理部分CPb初始化包括在与指定的页面j对应的页面数据PDj中的所有分组数据GDj1、Gdj2…，用以显示在页面屏幕显示处理部分CPc中的初始化数据。也就是说，数据分配处理部分CPb从内容缓冲器2C中存储的内容文件CFi的管理文件MNi中，读取页面j的所有分组数据GDj1、Gdj2…，并将读取的数据发送到页面屏幕显示处理部分CPc。

页面屏幕显示处理部分CPc根据用于页面j中所有组(初始化的组Gdj1、Gdi2…)的显示指令信息Cd，确定要在显示屏幕上显示的媒体信息等信息的显示位置和显示状态，并根据显示部分12上所有的分组数据Gdj1、Gdj2…，以比如图7所示的排列方式，显示页面屏幕。尽管在图7中用于显示各组的媒体信息比如视频图像和乐谱图像(图)的媒体显示窗口是空白的，但仍存在显示预先准备在显示指令信息中的媒体初始显示数据的情况。应该注意，由显示指令信息Cd提供的组标题和简要说明是在图7中标记为“其它显示”的显示区域中显示。

数据分配处理部分CPb将由所有分组数据Gdj1、Gdj2…的乐谱文件指定信息Sd所指定的乐谱文件(用于一个页面)，传送到乐谱再现程序执行部分SP。该乐谱再现程序执行部分SP产生乐谱显示信息(用于乐谱静态显示部分的图像数据或图(drawing)数据)，该乐谱显示信息表示已传送的乐谱文件(用于一个页面)SFi的各组的乐谱，并且乐谱再现程序执行部分SP将乐谱显示信息传送到页面屏幕显示处理部分CPc。与此相对应，页面屏幕显示处理部分CPc根据乐谱显示信息执行处理，该处理将扩展的静态乐谱图像合并到该页面屏幕的各组乐谱显示区域中，从而显示乐谱图像SC，如图7页面屏幕的第一个组(一个再现部分)所示。应该注意，在如图7所示的页面屏幕中，仅简单地使用五线谱(staff)来显示乐谱图像SC，同时第二个以及随后的页面也都已简化并且将其减小比例显示出来。而且，通过对操作器装置11中的滚动按钮进行操作，用户可以滚动该页面屏幕以显示所需的组。

这里，如果用户参照页面屏幕的显示并且执行操作，以从当前页面j的所有初始化组1、2…中指定希望再现的组(再现部分)“k”，则数据分配处理部分CPb向MIDI再现程序执行部分MP，传送与已指定的再现部分(即与组k相对应的已指定的页面数据PDj的分组数据Gdjk)相对应的一部分管理文件MNi，并且传送用于一个再现部分的MIDI文件MFia(其中“a”表示在MIDI文件MFi中指定的单独文件)，该再现部分由分组数据Gdjk的MIDI文件指定信息Md指定，而且，数据分配处理部分CPb还向视频再现程序执行部分VP，传送与已指定的再现部分即分组数据Gdjk相对应的部分管理文件MNi的控制指定信息Cd和视频文件指定信息Vd。

图6是示出了由上述管理程序执行部分CP执行的设定过程(浏览器过程)的程序流程图。当根据管理程序开始设定过程(浏览器过程)时，读取处理部分CPa从内容编档部分4F中首先读取已指定的内容CFi，并在内容缓冲器2C中记录内容CFi(步骤C1)。然后，数据分配处理部分CPb从内容缓冲器2C中所记录的内容CFi的管理文件MNi中，读取已指定的页面的页面数据PDj中的所有分组数据Gdj1、Gdj2…，并使页面屏幕显示处理部分CPc根据分组数据Gdj1、Gdj2…在显示部分12上显示页面屏幕(步骤C2)。

数据分配处理部分CPb还从所有分组数据Gdj1、Gdj2…中读取乐谱文件指定信息Sd，并将由乐谱文件指定信息Sd指定的乐谱文件Sfia发送到乐谱再现程序执行部分SP(步骤C3)。相应地，乐谱再现程序执行部分SP产生乐谱显示信息，并将乐谱显示信息发送到管理程序执行部分CP，管理程序执行部分CP接收到乐谱显示信息，并根据该乐谱显示信息在页面屏幕上的对应区域中显示乐谱(步骤C4)。这样，就显示了包括在指定页面(j)中所有组(1、2…)的乐谱SC(参看图7。注意，图7仅示出了简化的显示，并在此阶段没有示出光标CL。)

这里，如果用户执行操作以指定或改变将要再现的组k，则已新指定或改变的组k就设定为将要再现的对象，并执行如下用于与该组k对应的分组数据Gdjk的处理。首先执行处理，该处理用于从已初始化的分组数据Gdj1、Gdj2…中检测将用于再现的文件类型(MF、AF、VF、SF)(步骤C5)。

首先，从MIDI文件指定信息Md的指定内容中确定MIDI文件(MF)是否用于再现(步骤C6)，并当MIDI文件(MF)应用于再现(步骤C6中的“YES”)时，就将对应于组k的分组数据Gdjk和MIDI文件Mfia发送到MIDI再现程序执行部分MP(步骤C7)。当确定没有MIDI文件(MF)应用于再现(步骤C6中的“NO”)时，就将分组数据Gdjk发送到MIDI再现程序执行部分MP(步骤C8)。

在将数据传送到MIDI再现程序执行部分MP(步骤C7、C8)之后，检查视频文件指定信息Vd的指定内容，以确定是否已检测到视频文件VF应用于再现(步骤C9)。这里，当确定视频文件VF应用于再现(步骤C9中的“YES”)时执行处理，该处理将分组数据Gdjk中的视频文件指定信息Vd发送到视频再现程序执行部分VP(步骤C10)，然后终止该设定过程(浏览器过程)。另一方面，当确定没有视频文件VF应该用于再现(步骤C9中的“NO”)时，就立即终止该设定过程。

(2)在设定操作模式下各再现程序执行部分MP到SP的处理

接下来，将描述演奏信息再现设备的设定操作模式下各再现程序执行部分MP到SP的操作。图5中，首先在乐谱再现程序执行部分SP中，乐谱显示处理部分SPa根据从上述管理程序执行部分CP的数据分配处理部分CPb发送的乐谱文件SFi(用于一个页面)，产生乐谱显示信息(用于乐谱静态显示部分的图像数据或图数据)，并将乐谱显示信息传送到管理程序执行部分CP的页面屏幕显示处理部分CPc。此外，乐谱再现数据产生部分SPb通过从与组k对应的乐谱文件SFi(用于一个页面)的一个再现部分的乐谱信息中，提取乐谱可动显示部分(注释/休止符)的数据部分，产生乐谱再现数据，并将产生的乐谱再现数据传送到MIDI再现程序执行部分MP的再现数据产生部分MPa。

在MIDI再现程序执行部分MP中，再现数据产生部分MPa根据从数据分配处理部分CPb传送的管理文件MNi的一个再现部分(分组数据)Gdjk和一个再现部分的MID文件Mfia，产生音频再现数据和MIDI再现数据，并且还如图8A所示，例如，通过将上面产生的数据与来自于乐谱再现数据产生部分SPb的乐谱再现数据合并，用以产生再现数据RD。再现数据产生部分MPa产生的再现数据RD是通过再现数据存储部分MPb而存储在再现数据缓冲器2M中。

再现数据产生部分MPa根据管理文件MNi的已指定分组数据Gdik的音频文件指定信息Ad(参看图3)，产生同步于MIDI时钟定时的音频再现数据Atr。由此可知，在演奏信息再现设备的设定操作过程中，音频再现程序执行部分AP不接收从数据分配处理部分CPb分配的数据，因此，音频再现程序执行部分AP不执行关于内容数据的任何处理。

另一方面，至于视频文件指定信息Vd(参看图3)，为了减小MIDI再现程序执行部分MP的再现数据产生部分MPa的负担，通过视频再现程序执行部分VP的视频再现数据转换/存储部分Vpa，处理视频文件指定信息Vd(参看图3)。也就是说，如图8B所示，视频再现数据转换/存储部分VPa从数据分配处理部分CPb分配来的一个再现部分(管理文件MNi的指定分组数据Gdjk)的视频文件指定信息Vd之中，产生视频再现数据VTr，并将产生的视频再现数据VTr存储在视频控制数据缓冲器2V中。

例如，根据MIDI文件MF的乐音信息格式，以SMF(标准MIDI文件)格式描述了再现数据RD，该再现数据RD是由再现数据产生部分MPa产生并且由再现数据存储部分MPb存储的再现数据缓冲器2M中，并且在图8A的实例中，该再现数据RD是由再现主轨道信息CTr、乐谱MIDI轨道(乐谱轨道)信息STr、MIDI轨道信息MTr和音频轨道信息ATr组成。如图8B所示，还以SMF格式描述了视频再现数据，该视频再现数据是由视频再现数据转换/存储部分VPa产生，并且存储在视频控制数据缓冲器2V中。

乐谱轨道信息STr是在乐谱再现中被其自身使用的乐谱再现数据。MIDI轨道信息MTr是在乐音信息再现中被其自身使用的MIDI再现数据。也就是说，如图9A所示，轨道信息STr、MTr这两个类型的每个都是由多对MIDI时钟定时MCp1、MCp2…和应该在该MIDI时钟定时产生的MIDI事件EVp1、EVp2…组成，这些对的MIDI时钟定时和MIDI时间是以MIDI时钟定时的顺序排列。在本实施例中，通过对从乐谱再现数据即乐谱文件SFia中提取的注释/休止事件(可动部分)的显示位置信息(如图4的右下部分中的DP11)进行转换，产生乐谱轨道信息STr。使用这样的乐谱轨道信息，用以根据光标CL(参看图7)的移动，示意性地显示MIDI轨道信息MTr的乐音信息的演奏进度。

另一方面，音频轨道信息ATr是音频再现数据，其根据MIDI时钟定时指明声音波形信息再现开始的定时，并指定要在MIDI时钟定时再现的音频文件AFia、AFib…。也就是说，如图9B所示，音频轨道信息ATr是由多对MIDI时钟定时MCq1、MCq2…和将在MIDI时钟定时时再现的指定音频文件名AFq1、AFq2…组成，这些对的MIDI时钟定时和音频文件名以MIDI时钟定时的顺序排列。

通过将分组数据Gdjk的音频文件指定信息Ad的定时数据Tm1、Tm2…转换成MIDI时钟定时，得到对应的MIDI时钟定时MCq1、MCq2…。从音频文件指定信息Ad的指定文件名Fn1、Fn2…中复制对应的指定音频文件名AFq1、AFq2…，因此这些音频文件名指定上述单个音频文件AFia(图4右面一列的第二部分中示出了其内容)的信息。

与用于音频再现数据的轨道信息Atr的情况相同，图8B中的视频再现数据是轨道信息VTr，其中的视频文件与MIDI时钟定时有关。如图9C所示，视频轨道信息VTr是由多对MIDI时钟定时MCr1、MCr2…和将在这些MIDI时钟定时再现的指定视频文件名VFr1、VFr2…组成，这些对的MIDI时钟定时和视频文件名以MIDI时钟定时的顺序排列。用与音频轨道信息ATr同样的方法，从分组数据Gdjk的视频文件指定信息Vd中产生视频轨道信息VTr。也就是说，通过将视频文件指定信息Vd的定时数据Tm1、Tm2…转换成MIDI时钟定时，得到MIDI时钟定时MCr1、MCr2…，并且从指定的文件名Fn1、Fn2…中复制指定的视频文件名VFr1、VFr2…，因此这些视频文件名就指定单个视频文件VFia(图4右面一列的第三部分示出了其内容)。

(3)MIDI再现程序执行部分MP的MIDI产生处理

图10和11是示出了由MIDI再现程序执行部分MP执行的MIDI产生过程的程序流程图。当根据MIDI再现程序开始MIDI产生过程时，首先，MIDI再现程序执行部分MP的再现数据产生部分MPa在处理缓冲器(RAM)2中保留再现数据缓冲器2M，其是用于记录再现数据RD的区域(步骤M1)。接下来执行处理，该处理用于从来自数据分配处理部分CPb的指定分组数据Gdjk的媒体指定信息Md、Ad、Vd和Sd中，检测将在再现中使用的文件类型(MF、AF、VF、SF)(步骤M2)。

首先，确定是否已经从MIDI文件指定信息Md的指定内容中检测到MIDI文件(MF)将用于再现(步骤M3)。这里，当MIDI文件(MF)将用于再现(步骤M3中的“YES”)时，就将由MIDI文件指定信息Md指定的MIDI文件MFia中关于主轨道CT的信息，设定为再现数据RD的主轨道信息CTr，并且通过再现数据存储部分MPb，将主轨道信息CTr记录在再现数据缓冲器2M的主轨道区域中(步骤M4)。此外，通过再现数据存储部分MPb，将MIDI文件MFia中关于再现轨道RT的主轨道信息CTr作为MIDI轨道信息MTr，记录在再现数据缓冲器2M的MIDI轨道区域中(图11中的步骤M5)。

当确定没有MIDI文件(MF)将用于再现(图10中步骤M3的“NO”)时，就根据控制指令信息Cd中的定时设定信息产生新的主轨道信息CTr，并且通过再现数据存储部分MPb，将产生的主轨道信息CTr记录在再现数据缓冲器2M的主轨道区域内(步骤M6)。

在已经记录主轨道信息CTr(步骤M5、M6)之后，确定是否已经从音频文件指定信息Ad的指定内容中，检测到音频文件(AF)将用于再现(图11中的步骤M7)。这里，当确定音频文件(AF)将用于再现(步骤M7中的“YES”)时，就从分组数据Gdjk中读取音频文件指定信息Ad(步骤M8)，并从读取的音频文件指定信息Ad的定时数据Tm1、Tm2…中产生MIDI时钟定时数据MCq1、MCq2…(步骤M9)。此外，产生由MIDI时钟定时数据MCq1、MCq2…和指定的文件名AFq1、AFq2…组成音频轨道信息ATr，并通过再现数据存储部分MPb，将其记录在再现数据缓冲器2M的音频轨道区域内(步骤M10)。

在已经记录音频轨道信息ATr(步骤M10)之后，或当确定音频文件(AF)将不用于再现(步骤M7中的“NO”)时，就确定是否已经从乐谱文件指定信息Sd的指定内容中，检测到乐谱文件(SF)将用于再现(步骤M11)。这里，当确定乐谱文件(SF)将用于再现(步骤M11中的“YES”)时，就从乐谱再现程序执行部分SP的乐谱再现数据产生部分SPb接收乐谱再现数据，并通过再现数据存储部分MPb，将接收的乐谱再现数据作为乐谱MIDI轨道信息STr，记录在再现数据缓冲器2M的乐谱轨道区域内(步骤M12)。在执行用于乐谱MIDI轨道信息STr的记录处理(步骤M12)之后，终止MIDI产生过程。而且，当确定没有音频文件(AF)将用于再现(步骤M11中的“NO”)时，就立即终止MIDI产生过程。

在再现操作过程中，演奏信息再现设备以与管理文件MN的内容相对应的再现方式，根据MIDI文件MF和其它媒体文件AF、VF和SF，使用上述设定操作过程中产生的再现数据RD，执行各种演奏信息(媒体信息)的同步再现。图12是示意性地示出了在再现操作过程中使用的演奏信息再现设备的功能方框图。

在完成操作设定后，当用户利用操作器装置11的预定操作器，操作在页面屏幕上的再现开关RS(参看图7)，用以给出用于开始再现的指令时，管理程序执行部分CP的开始指令处理部分CPd就指示MIDI再现程序执行部分MP开始再现，因此使演奏信息再现设备就开始再现操作，该管理程序执行部分CP给出用于开始和停止演奏信息再现设备的再现操作的指令。

在MIDI再现程序执行部分MP中，对应于该再现开始指令，MIDI再现开始处理部分MPc激活MIDI时钟源MC和MIDI再现处理部分MPd，该MIDI再现开始处理部分MPc给出用于开始和停止MIDI再现程序执行部分MP操作的指令。MIDI再现处理部分MPd根据来自于MIDI时钟源MC的MIDI时钟，从再现数据缓冲器2M中读取再现数据RD。

也就是说，无论何时到达再现数据RD的MIDI轨道信息MTr中的每个MIDI时钟定时MCp1、MCp2…，都会将同一MIDI轨道信息MTr中MIDI事件数据EVp1、EVp2…的内容作为乐音信息，输出给音调产生电路7和效果电路8。同时，将操作开始指令分配给开始/数据传送部分MPe，并且无论何时到达再现数据RD的音频轨道信息Atr中的每个MIDI时钟定时MCq1、MCq2…和乐谱轨道信息STr中的每个MIDI时钟定时MCp1、MCp2…，都会将指定音频文件名AFq1、AFq2…和乐谱MIDI(光标)事件EVp1、EVp2…发送到开始/数据传送部分MPe。

根据来自于MIDI再现处理部分MPd的控制指令，开始/数据传送部分MPe指示其它的程序执行部分AP、VP和SP开始和停止操作。当已发出操作开始(激活)指令时，开始/数据传送部分MPe在上述各MIDI时钟定时，将指定音频文件名AFq1、AFq2…和乐谱MIDI事件EVp1、EVp2…，分别发送到音频再现程序执行部分AP和乐谱再现程序执行部分SP。而且，根据来自于MIDI再现开始处理部分MPc的再现开始指令，将MIDI时钟从MIDI时钟源MC传送到视频再现程序执行部分VP。

音频再现程序执行部分AP的音频再现处理部分APa根据来自于开始/数据传送部分MPe的激活指令开始操作。无论何时到达MIDI时钟定时MCq1、MCq2…，都会经过音频文件读取部分APb和管理程序执行部分CP的音频/视频文件读取处理部分Cpe，从内容缓冲器2C中读取由接收到的指定音频文件名AFq1、AFq2…的对应之一所指定的音频文件AFia、Afib…之一(基于内容CFi中页面数据Pdjk的音频文件指定信息Ad)，并且音频文件AFia、AFib…的内容作为声音波信息被输出到效果电路8。

视频再现程序执行部分VP的视频再现处理部分VPc根据来自于开始/数据传送部分MPe的激活指令开始操作，根据来自于MIDI时钟源MC的MIDI时钟，从视频控制数据缓冲器2V中，读取视频再现数据即视频轨道信息VTr，读取与读取的视频轨道信息VTr对应的视频文件(VF)，并将该视频文件传送到管理程序执行部分CP的视频/乐谱显示处理部分CPf。

也就是说，无论何时到达视频轨道信息VTr中的每个MIDI时钟定时MCr1、MCr2…，视频再现处理部分VPc都会经过视频文件读取部分VPd和音频/视频文件读取处理部分Cpe，读取由视频轨道信息VTr中指定视频文件名VFr1、VFr2…的对应之一所指定的视频文件Vfia、Vfib…之一(基于内容CFi的页面数据Pdjk中的视频文件指定信息Vd)，并将视频文件VFia、VFib…的内容作为图像信息输出到视频/乐谱显示处理部分CPf。

乐谱再现程序执行部分SP的乐谱再现处理部分SPc根据来自于开始/数据传送部分MPe的激活指令开始操作，并且无论何时到达乐谱轨道信息STr中的每个MIDI时钟定时MCp1、MCp2…，都会将接收到的乐谱MIDI(光标)事件数据EVp1、EVp2…之一的内容作为可动乐谱(光标)信息，输出到视频/乐谱显示处理部分CPf。

管理程序执行部分CP的视频/乐谱显示处理部分CPf根据从视频再现处理部分VPc接收到的图像信息来显示图像，并根据从页面屏幕的页面(j)的各显示区域中的乐谱再现处理部分SPc接收到的可动乐谱信息，显示可动乐谱(光标)。例如，对于图7中页面屏幕内的第一组(k＝1)，根据可动乐谱信息，同步于再现操作，显示了表示当前乐音演奏位置的光标图像CL。应该注意，显示的可动乐谱的显示方式并不局限于光标图像，还可以使用这样一种方法，在该方法中闪烁显示用于在显示的乐谱中再现的注释或休止符的注释/休止符图像，或者为了强调而改变当前注释/休止符图像的颜色或亮度。

而且，在再现过程中和完成再现之后，如果用户利用操作器装置11的预定操作器，操作页面屏幕上的停止开关SS，用以指示停止再现，则管理程序执行部分CP的开始指令处理部分CPd发送一指令，用以停止演奏信息再现设备的再现操作，从而MIDI再现程序执行部分MP的MIDI再现开始处理部分MPc接收到该指令，并指示MIDI时钟源MC和MIDI再现程序执行部分MP停止操作，从而终止演奏信息再现设备的再现操作。这种情况下，可以通过再现开关RS的其它操作，重新开始再现操作，或者可以指定其它的内容(i)、页面(j)和组(k)，并可以执行新的设定操作。

如上所述，根据第一实施例，在管理文件中预先设定各种媒体信息的读取方式(文件名、定时等)，当执行再现时，使用管理文件就很容易地产生用于读取各种媒体信息的再现数据，然后可以根据再现数据，读取各种媒体信息。结果，可容易地实现媒体信息的同步再现。此外，对说明各种媒体信息再现方式的管理文件进行编辑操作是非常简单的，使得比如通过编辑管理文件用以改变一些数据文件和/或添加新的数据文件，或者用以改变各自媒体文件的再现定时，就可以灵活地设定所需的再现方式。

现在将参考图13描述本发明的第二实施例。

尽管在上述第一实施例中，通过视频再现程序执行部分VP，从再现数据RD中产生视频再现数据(视频轨道信息)VTr，但第二实施例的区别在于，由MIDI再现程序执行部分MP产生包括视频轨道信息VTr的再现数据RD。图13是示意性地示出了在设定操作过程中使用的根据第二实施例的演奏信息再现设备的功能的功能方框图。

在根据第二实施例的演奏信息再现系统中，视频再现程序执行部分VP具有与音频再现程序执行部分AP相同的结构。在设定操作过程中，通过MIDI再现程序执行部分MP产生和存储视频再现数据(视频轨道信息)VTr，从而如图13所示，未从数据分配处理部分CPb分配数据到视频再现程序执行部分VP，并且也没有通过视频再现程序执行部分VP执行用于内容数据的处理。因此，不需要像第一实施例那样在处理缓冲器(RAM)2中保留视频控制数据缓冲器2V(参看图12)。

另一方面，MIDI再现程序执行部分MP的再现数据产生部分MPa还以与音频再现数据(音频轨道信息)ATr相同的方法，根据管理文件MNi中的指定的分组数据Gdjk中的视频文件指定信息Vd，同步于MIDI时钟定时，产生视频轨道信息VTr。也就是说，如图13左上部分(其中示出了与图9中相同的内容)所示，在再现数据产生部分MPa中，产生了包括与所有媒体文件MF、AF、VF、SF对应的所有媒体轨道信息MTr、ATr、VTr和STr的再现数据RD。

现在将参考图12描述根据本实施例的演奏信息再现设备的再现操作。视频再现程序执行部分VP的视频再现处理部分VPc从开始/数据传送部分MPe接收激活指令，开始操作，从视频控制数据缓冲器2V接收视频轨道信息VTr，并且执行与音频再现处理部分APa相同的操作。因此，不需要从MIDI时钟源MC向视频再现程序执行部分VP提供MIDI时钟。应该注意，结构上与图12的实例没有明显的不同。

也就是说，无论何时到达视频轨道信息VTr中的每个MIDI时钟定时MCr1、MCr2…，都会经过视频文件读取部分(VPd)和管理程序执行部分CP的音频/视频文件读取处理部分Cpe，从内容缓冲器2C中读取由对应的已指定视频文件名VFq1、VFq2…所指定的视频文件VFia、VFib…之一，这些指定视频文件名VFq1、VFq2…是从开始/数据传送部分MPe发送，并且将读取的视频文件VFia、VFib…的内容作为图像信息，输出到视频/乐谱显示处理部分CPf。

如上所述，根据第二实施例，可以实现与上述第一实施例相同的效果，此外，由于将视频再现数据(视频轨道信息)VTr的产生和存储分派给MIDI再现程序执行部分MP，因此减少了视频再现程序执行部分VP的负担，并且不需要在处理缓冲器(RAM)2中保留视频控制数据缓冲器2V，从而处理缓冲器(RAM)2中的自由区域可以用于其它处理。

本发明并不局限于上述的第一和第二实施例，并且可以用各种方法来实施本发明。例如，尽管根据第一实施例，将单个文件指定为用于一个再现部分的每个乐音信息和乐谱信息，但是也可以将多个文件指定为用于一个再现部分的每个乐音信息和乐谱信息。也就是说，如果MIDI文件指定信息Md和乐谱文件指定信息Sd具有与图3右下部分所示的音频和视频文件指定信息Ad、Vd相同的结构，则可以利用单个组的分组数据Gdjk，指定用于一个再现部分的多个MIDI文件MFia、MFib…和乐谱文件SFia、SFib…(其中“a”、“b”…表示如文件MFi、SFi指定的多个文件中的单个文件)。在这种情况下，与MIDI文件MFia、MFib…和乐谱文件SFia、SFib…对应的再现数据RD的MIDI，以及乐谱轨道信息MTr、STr中的MIDI时钟定时(参看图9)，就替换为MIDI文件指定信息Md和乐谱文件指定信息Sd的定时Tm1、Tm2…。

无需赘言，本发明的目的还可以通过提供一种具有存储介质(或记录介质)的系统或装置来实现，其中存储了实现任一上述实施例的功能的软件的程序代码，和使系统或装置的计算机(或CPU或MPU)读出并执行存储在存储媒体中的程序代码。

在这种情况下，从存储媒体读取的程序代码本身就实现了任一上述实施例的功能，因此该程序代码和存储有该程序代码的存储媒体构成了本发明。

此外，应该理解的是，任一上述实施例的功能不仅可以通过执行由计算机读取的程序代码来实现，还可以通过使在计算机上运行的OS(操作系统)等系统根据程序代码的指令来执行部分或所有实际操作而实现。

此外，应该理解的是，任一上述实施例的功能可以通过将从存储媒体读取的程序代码写到由插入到计算机中的扩展板中所提供的存储器中，或者写到由连接于该计算机的扩展单元中所提供的存储器中，然后使设置在扩展板或扩展单元中所提供的CPU等根据程序代码的指令来执行部分或所有实际操作来实现。

此外，上述程序在计算机上实现了任一上述实施例的功能，该程序的形式可以是目标代码、由编译器执行的程序，或提供给OS的教本数据。

用于提供程序代码的存储介质的实例包括RAM、NV-RAM、软盘(注册商标)、光盘、磁光盘、CD-ROM、CD-R、CD-RW、DVD(DVD-ROM、DVD-RAM、DVD-RW或DVD+RW)、磁带、固定存储卡和ROM。可选地，可通过从未示出的连接到因特网、商业网络、局域网或类似网络上的其它计算机、数据库等中下载来提供该程序。

Claims

1.一种演奏信息再现设备，包括：

文件存储装置，该文件存储装置将乐音数据文件和多个媒体数据文件与管理文件存储在一起，其中，在该乐音数据文件中记录了乐音信息，在该媒体数据文件中记录了多个类型的媒体信息，在该管理文件中记录了乐音数据文件和媒体数据文件的多个读取方式；

再现数据产生装置，该再现数据产生装置根据由所述文件存储装置存储的管理文件来指定由用户操作所指示的读取方式，根据所指定的读取方式，使用与该乐音信息格式相同的指定信息来产生再现数据，其中所述再现数据用于指定将要再现的乐音数据文件的乐音信息和将要再现的媒体数据文件；

再现数据存储装置，该再现数据存储装置存储所产生的再现数据；

读取装置，该读取装置根据用于所述乐音信息的再现时钟，读取由所述再现数据存储装置存储的再现数据；和

再现装置，该再现装置读取由所读取的再现数据指定的媒体数据文件，并使所述再现数据中的乐音信息和所述媒体数据文件中的媒体信息彼此同步地再现。

2.根据权利要求1的演奏信息再现设备，其中，分别记录了多种媒体信息的多个媒体数据文件包括音频数据文件和视频数据文件。

3.根据权利要求1的演奏信息再现设备，其中，该管理文件包括该媒体数据文件的文件名和表示该媒体数据文件再现开始的定时的多条定时数据，该文件名和多条定时数据以再现的顺序排列。

4.根据权利要求3的演奏信息再现设备，其中，该乐音数据文件包括MIDI事件和表示处理该MIDI事件的开始的MIDI时钟定时的多条定时数据，该MIDI事件和多条定时数据以再现的顺序排列。

5.根据权利要求4的演奏信息再现设备，其中，该再现数据包括多个媒体数据文件的文件名和表示媒体数据文件再现开始的MIDI时钟定时的多条定时数据，该文件名和多条定时数据以再现的顺序排列。

6.根据权利要求5的演奏信息再现设备，其中，表示媒体数据文件再现开始的MIDI时钟定时的定时数据是从记录在该管理文件中表示定时的数据产生的。

7.根据权利要求6的演奏信息再现设备，其中，用于该乐音信息的再现时钟是所述MIDI时钟，并且其中，无论何时到达与表示媒体数据文件再现开始的MIDI时钟定时的定时数据对应的定时，都会从所述文件存储装置中读取具有与MIDI时钟定时对应的文件名的媒体数据文件。

8.一种用于演奏信息再现设备的演奏信息再现方法，包括：

在文件存储装置中将乐音数据文件和多个媒体数据文件与管理文件存储在一起，其中，在该乐音数据文件中记录了乐音信息，在该多个媒体数据文件中记录了多个类型的媒体信息，在该管理文件中记录了乐音数据文件和媒体数据文件的多个读取方式；

根据由所述文件存储装置存储的管理文件，来指定由用户操作所指示的读取方式，根据所指定的读取方式，使用与该乐音信息格式相同的指定信息，来产生再现数据，其中所述再现数据用于指定将要再现的乐音数据文件的乐音信息和将要再现的媒体数据文件；

存储所产生的再现数据；

根据用于所述乐音信息的再现时钟，读取所存储的再现数据；和

读取由所读取的再现数据指定的媒体数据文件，并使所述再现数据中的乐音信息和所述媒体数据文件中的媒体信息彼此同步地再现。