CN102169705A - 音调再现装置和方法 - Google Patents

Abstract

将表示要与第一音频信号同步再现的乐曲演奏数据的内容的水印信息嵌入到第一音频信号中，并获取所生成的信号作为第二音频信号。与上述处理并行地，从第二音频信号中解码水印信息，基于所解码的水印信息识别要被再现的乐曲演奏数据的内容，并接着依据所识别的内容，再现基于乐曲演奏数据的音调信号。

Description

音调再现装置和方法

技术领域

本发明涉及用于基于演奏数据(诸如MID数据)与音频信号同步地再现音调信号的装置和方法。

背景技术

对应于日本专利申请公报(Laid-open)No.2003-316356的美国专利No.7,026,537(下文称为“专利文献”)中公开了用于与音频数据同步地再现其它乐曲(music piece)演奏数据的、传统上已知的技术的示例之一。专利文献中公开的技术被设计为在数字音频数据的LSB(最低有效比特)中存储MIDI(乐器数字接口(注册商标))数据，并基于这些数据之间的关联性再现各个数据。

在经由通信网络(诸如因特网)传递乐曲演奏数据和音频数据的情况下，有时压缩这些数据。然而，对于专利文献中公开的技术，如果音频数据被压缩或者被转换为模拟形式的音调信号，则由于同步再现的必要信息的丢失，而不期望地阻止了音频数据的同步再现。

发明内容

鉴于上述，本发明的目的在于提供一种改进的技术，用于基于从音调信号获得的信息，与音调信号同步地再现乐曲演奏数据。

为了实现上述目的，本发明提供了一种改进的音调再现装置，用于基于乐曲演奏数据，互相同步地再现第一音频信号和音调信号，该音调再现装置包括：获取部分，获取第二音频信号，该第二音频信号是通过将表示要与该第一音频信号同步再现的乐曲演奏数据的内容的水印信息嵌入到该第一音频信号中而获得的音频信号，该水印信息以位于高于该第一音频信号的频率分量的频带中的方式而被嵌入在该第一音频信号中；音频再现部分，基于该第二音频信号再现该第一音频信号；解码部分，从由该获取部分获取的第二音频信号中解码出该水印信息；以及音调再现部分，基于由该解码部分解码出的水印信息，识别要被再现的乐曲演奏数据的内容，并且依据所识别的内容，基于乐曲演奏数据再现该音调信号。

根据本发明，将表示要与第一音频信号同步再现的乐曲演奏数据的内容的水印信息嵌入到第一音频信号中，并获取所生成的信号作为第二音频信号，并基于第二音频信号再现第一音频信号。与上述处理并行地，从第二音频信号中解码水印信息，基于所解码的水印信息识别要被再现的乐曲演奏数据的内容，并接着依据所识别的内容，再现基于乐曲演奏数据的音调信号。这样，本发明可以与第一音频信号同步地再现基于乐曲演奏数据的音调信号。

在一个实施例中，对应于沿着该第一音频信号的时间轴的多个再现时间位置嵌入多个水印信息，并且每个该水印信息识别至少一个音调。

在一个实施例中，由该水印信息表示的乐曲演奏数据的内容包括识别乐曲的识别信息、以及表示由该识别信息识别的乐曲的再现时间位置的位置信息。该音调再现部分包括：存储部分，在其中存储该乐曲演奏数据；以及读出和再现部分，从该存储部分中读出由包含在所解码的水印信息中的识别信息识别的乐曲的乐曲演奏数据，并接着基于所读出的乐曲演奏数据，再现对应于由包含在该水印信息中的位置信息表示的任一再现时间位置的音调信号。

本发明不仅可以被构建和实施为上述的装置发明，还可作为方法发明。而且，本发明还可以被安排和实施为由处理器(诸如计算机或DSP)执行的软件程序以及存储这样的软件程序的存储介质。

下面将描述本发明的实施例，但应该理解，本发明不限于所描述的实施例，并且在不偏离基本原理的情况下可以对本发明进行各种修改。因此，仅以所附权利要求确定本发明的范围。

附图说明

为了更好地理解本发明的目的和其它特征，下面参照附图更详细地描述本发明的优选实施例，其中：

图1是示出本发明的再现系统的实施例的一般结构的框图；

图2是示出该再现系统的实施例中的音调信号提供装置的一般结构的框图；

图3是存储在该再现系统的实施例中的音调信号提供装置中的音频文件的结构的说明图；

图4是示出该再现系统的实施例中的自动演奏装置的一般硬件结构的框图；

图5是存储在该自动演奏装置中的MIDI文件的结构的说明图；

图6是示出由该音调信号提供装置的控制部分实施的功能的功能框图；

图7是第二音调信号的结构的说明图；

图8是第二音调信号的时序变化的说明图；

图9是表示由自动演奏装置的控制部分实施的功能的功能框图；

图10是由自动演奏装置中的第二再现部分进行的处理的说明图；

图11是示出再现系统的修改的结构的框图；以及

图12是示出再现系统的修改的结构的框图。

具体实施方式

图1是示出本发明的再现系统1的实施例的一般结构的框图。再现系统1包括经由音频线缆100互连的音调信号提供装置10和自动演奏装置20。音调信号提供装置10是本发明的音调信号提供装置的示例，其经由音频线缆100将音调信号输出到自动演奏装置20。自动演奏装置20是本发明的再现装置的示例，在该情况下，其是具有自动演奏功能的电子钢琴。这里使用的“音调信号”是指表示音调波形的模拟形式的波形信号。

图2是示出音调信号提供装置10的一般结构的框图，其包括控制部分11、存储部分12、操作部分13、显示部分14和输出接口15。

控制部分11包括CPU(中央处理单元)、ROM(只读存储器)和RAM(随机访问存储器)。使用RAM作为工作区域，CPU执行存储在ROM中的程序，以控制音调信号提供装置10的各个组件。存储部分12是包括例如硬盘装置的存储部分，其在其中存储控制部分11执行各种控制操作的程序，并具有其中存储了音频文件的音频文件存储区域121。操作部分13包括例如键盘、鼠标等，并且一旦被用户或人类操作者或演奏者操作，其向控制部分11输出对应于用户的操作的操作信号。显示部分14包括例如液晶显示器，其显示各种信息。输出接口15是输出部分的示例，并且其上连接了音频线缆100，其将从控制部分11提供的音调信号经由音频线缆100输出到自动演奏装置20。

图3是存储在音频文件存储区域121中的音频文件Aud之一的结构的说明图。音频文件Aud包括互相关联存储的歌曲ID与音频数据的信息。歌曲ID是识别歌曲或乐曲的唯一ID，音频数据是表示要通过乐器演奏和/或给定乐曲的演唱生成的声音的时序的一组数据。音频数据表示通过根据特定的采样频率(例如44.1kHz)对模拟波形采样并量化采样结果而获得的数字数据。歌曲数据ID是唯一地识别存储在音频文件存储区域121中的音频文件之一的识别信息。

图4是示出自动演奏装置20的一般硬件结构的框图。自动演奏装置20包括控制部分21、输入接口22、存储部分23、扬声器24、演奏操作部分25和音调信号生成部分26。

控制部分21包括用于实现或实施如音序器(此情况下是MIDI音序器)的功能的组件以及类似于音调信号提供装置10的控制部分11的组件的组件。控制部分21的CPU执行存储在ROM或存储部分23中的程序，以控制自动演奏装置20的各个组件。输入接口22是连接音频线缆100的输入端子。从音调信号提供装置10提供的音调信号被输入到输入接口22。存储部分23是包括例如硬盘装置的存储部分，其在其中存储控制部分21执行各种控制操作的程序，并具有其中存储了MIDI文件的MIDI文件存储区域231。扬声器24是用于依据由控制部分21再现的音调信号以及MIDI数据音频地(audibly)生成音调的发声装置，该音调信号和MIDI数据是乐曲演奏数据的示例。演奏操作部分25包括演奏控制器(诸如具有多个键的钢琴键盘)、用于检测演奏操作的传感器、用于在甚至没有人类演奏者的演奏操作的情况下也按下任何一个键的驱动电路等，人类演奏者经由演奏操作部分25执行演奏操作，或者演奏操作部分25接受由人类演奏者进行的操作。一旦人类演奏者执行了演奏操作，则演奏操作部分25经由传感器检测到人类演奏者的演奏操作，并向控制部分21输出表示所检测到的演奏操作的演奏信息。音调信号生成部分26包括音调生成器电路和DSP(数字信号处理器)，其通过依据所提供的演奏信息执行声音处理来生成对应于从控制部分21提供的演奏信息的音调信号，并接着将所生成音调信号输出到控制部分21。控制部分21将音调信号输出到扬声器24，从而扬声器24音频地生成对应于音调信号的音调。

图5是存储在MIDI文件存储区域231中的MIDI文件之一的结构的说明图。MIDI文件Mid对应于例如乐曲，其具有互相关联存储的乐曲ID、歌曲ID和MIDI数据(即，乐曲演奏数据)的多个信息。乐曲ID是唯一地识别MIDI文件的识别信息。MIDI数据是演奏控制信息，包括指示特定音调的演奏控制(诸如产生和停止(deaden))的“事件”以及表示事件之间的产生时间间隔的Delta(增量)时间。歌曲ID对应于分配给存储在音频文件存储区域121中的音频文件Aud的歌曲ID，即，具有相同歌曲ID的音频文件和MIDI文件对应于相同乐曲。歌曲ID是分配来允许选择当音频演奏装置20再现基于音频文件Aud生成的音调信号时应该再现哪个MIDI数据的识别信息。在此说明书中，“乐曲(或者歌曲)”可以是一个音乐上完整的乐曲，或者一个或多个乐曲短句(phrase)而不是这种音乐上完整的乐曲。

以前述方式构建的MIDI文件存储区域231是本发明的乐曲演奏数据存储部分的示例。

下面描述由音调信号提供装置10和自动演奏装置20实施的功能。

[音调信号提供装置10]

首先，将描述由音调信号提供装置10实施的功能。图6是示出由音调信号提供装置10的控制部分11实施的功能的功能框图。控制部分11执行再现时间识别部分111、水印(watermark)信息生成部分112、预处理部分113以及卷入或嵌入部分(convoluting or emdedding)114的功能。音调信号(或音频信号)是被嵌入水印信息之前的信号，并将在上述每个功能部分中处理，下文将其称为“第一音调信号”(或第一音频信号)。控制部分11从音频文件存储区域121中读出由用户操作操作部分13指定的音频文件Aud，并基于包含在所读出的音频文件Aud中的音频数据生成第一音调信号。

再现时间识别部分111识别表示第一音调信号的再现时间位置的再现时间(即，再现时间位置)。假定再现时间基于音频数据的开始位置(在此情况下是“0:00”)指示时间位置。再现时间识别部分11可以参考音频文件Aud识别每个再现时间。

水印信息生成部分112生成要被卷入或嵌入到第一音调信号中的水印信息。在此实施例中，水印信息是包含歌曲ID和指示再现时间的位置信息(即，再现时间位置)的比特序列；下文将这种位置信息称为“时间码”。水印信息生成部分112可以从音频文件Aud中识别歌曲ID。

预处理部分113包括例如LPF(低通滤波器)，并执行对第一音调信号的预处理。更具体地，预处理部分113使用LPF执行对第一音调信号的滤波处理作为预处理，由此从第一音调信号的频率分量中截止包含在要嵌入水印信息的频带中的频率分量。即，LPF具有截止频率Fo。

嵌入部分114将指示要与第一音调信号同步地再现的乐曲演奏数据的内容的水印信息卷入或嵌入到已经经历了上述预处理的第一音调信号中。在当前实施例中，嵌入部分114被构建为：通过基于水印信息执行表示用于携带第一音调信号的载波的载波信号的相位调制，而将水印信息嵌入到高于第一音调信号的频率分量的频带中。下文将具有以上述方式在其中嵌入水印信息的第一音调信号称为“第二音调信号”(第二音频信号)。换句话说，第二音调信号(第二音频信号)是通过将第一音调信号和表示水印信息的波的波形信号合成在一起而获得音调信号。

注意，在音频数据包括多声道的情况下，嵌入部分114仅必须通过将水印信息嵌入到至少一个声道的第一音调信号中来生成第二音调信号。

图7是第二音调信号的结构的说明图，其中，横轴表示频率f，纵轴表示频率分量的音压电平(sound pressure level)。如图7所示，第二音调信号包括在低于频率fo的频带中的第一音调信号的频率分量，以及在高于频率fo的频带中的水印信息的频率分量。换句话说，例如在听觉范围(约20Hz至20kHz)中包含第一音调信号的频率分量，并且将水印信息嵌入在高于听觉范围的频带中。最好是，频率fo在听觉范围之外，例如高于20kHz。因为，甚至当已经生成了对应于第二音调信号的音调时，对于人的耳朵而言，也听不到对应于水印信息的声音，因此，水印信息几乎没有听觉影响。例如，在由于音调信号的压缩时的编码器、用于模数转换的A/D转换器等的特征而不能保持将水印信息嵌入在听觉范围之外的频带中的情况下，可以将水印信息嵌入在相对较低的频带中，诸如15kHz或更高。简而言之，最好是将水印信息嵌入在高于第一音调信号的频率分量且几乎没有听觉影响的频带中。

音调信号提供装置10的输出接口15输出第二音调信号，从而自动演奏装置20的控制部分21可以获得所输出的第二音调信号，该第二音调信号是通过嵌入部分114嵌入了水印信息的音调信号。音调信号提供装置10的控制部分11对按照给定的处理单元提供的第一音调信号执行由上述功能实施的处理，从而生成要被输出到自动演奏装置20的第二音调信号。

图8是示出经由输出接口15输出的第二音调信号的时序变化(即，随时间的变化)的图。在图8中，横轴表示时间t，纵轴表示第二音调信号的幅度。在图8中，由实线指示的波形表示第二音调信号，所描绘的虚线表示第二音调信号的包络。

如图8所示，其中已经嵌入了水印信号的第二音调信号包括表示对应于各个信号部分的再现时间的时间码和歌曲ID，图中由双向箭头表示每个信号部分。因为从一个音频文件Aud生成的第二音调信号对应于单个乐曲，所以，该情况下歌曲ID是“001”，其对所有信号部分共用。此外，以一秒一秒为基础地在时间上连续地设定由时间码表示的再现时间，例如“0:01”，“0:02”，......

作为音调信号提供装置10的修改示例，通过将水印信息嵌入到第一音调信号中而获得的第二音调信号可以被预先存储在存储部分中，从而从存储部分中读出第二音调信号。替代地，可以经由网络等从外部获取这种第二音调信号。

[自动演奏装置20]

下面，将描述由自动演奏装置20实施的功能。图9是表示由自动演奏装置20的控制部分21执行或实施的功能的功能框图。控制部分21执行程序来执行对应于音调信号获取部分211、第一再现部分212、解码部分213、读出部分214以及第二再现部分215的功能。

音调信号获取部分211经由输入接口22获取从音调信号提供装置10输出的第二音调信号。即，音调信号获取部分211是本发明的获取部分的示例。

第一再现部分212包括具有例如截止频率fo的LPF，并且，在利用LPF对所获取的第二音调信号执行滤波处理之后，再现由音调信号获取部分211获取的第二音调信号。如此，第一再现部分212再现从中去除了水印信息的频率分量的第二音调信号，因此理想地，由第一再现部分212再现的音调信号在内容上与第一音调信号类似。即，第一再现部分212再现第二音调信号，使得可以经由扬声器24听觉地生成对应于第一音调信号的音调。即，第一再现部分212是本发明的音频再现部分的示例。

注意，在水印信息的频率分量包含在听觉范围之外的频带中的情况下，或者在水印信息的频率分量具有低音压电平的情况下，对与水印信息对应的声音几乎没有听觉影响，因此，可以省略上述滤波处理。即第一再现部分212可以直接或原样地再现(由音调信号获取部分211获取的)第二音调信号。

解码部分213包括具有例如截止频率fo的HPF(高通滤波器)，并从第二音调信号中解码水印信息。如上所示，水印信息的频率分量包含在比第一音调信号高的频带中。因此，解码部分213通过使用HPF对第二音调信号执行滤波处理，可以从第二音调信号中取出水印信息的频率分量。然后，解码部分213对通过滤波处理取出的信号解码，从而解码水印信息。

读出部分214基于由解码部分213解码的水印信息识别歌曲ID，并从MIDI文件存储区域231中读出与所识别的歌曲ID关联的MIDI数据。

第二再现部分215基于水印信息识别要与由第一再现部分212再现的音调信号同步再现的乐曲演奏数据的内容，并再现所识别的乐曲演奏数据的内容。在由读出部分214读出的MIDI数据中，第二再现部分215再现由解码部分213从水印信息中解码出的时间码表示的再现时间的MIDI数据。这样，第二再现部分215可以与由第一再现部分212再现的音调信号同步地再现对应于第二音调信号的再现时间的MIDI数据的内容。例如，在由时间码表示的再现时间与要基于MIDI数据再现的音调的再现时间之间进行比较，从而再现对应于由时间码表示的再现时间中的任意一个的每个音调(基于MIDI数据的音调)。可以通过Delta时间的累加来识别MIDI数据的再现时间(绝对时间)。存储部分23、读出部分214和第二再现部分215构成本发明的音调再现部分。此外，读出部分214和第二再现部分215构成本发明的读出和再现部分。

图10是由第二再现部分215进行的处理的说明图。一旦第二再现部分215识别出再现时间，其识别对应于所识别的再现时间的MIDI数据的事件。现在假定当再现时间是例如“0:04”时要与音调信号同步再现的乐曲演奏数据是事件E3，如图中双向箭头所示。在此情况下，第二再现部分215基于表示事件E3的事件数据再现MIDI数据。由解码部分213、读出部分214和第二再现部分215执行的处理需要一定时间。因此，第二再现部分215最好是基于比从水印信息中识别的再现时间早一定时间(例如100ms)的事件数据来再现MIDI数据。此外，在MIDI数据和第二音调信号的再现时间互不相同的情况下，诸如当第二再现部分215正基于表示事件E1的事件数据再现MIDI数据时，第二再现部分215可以例如通过跳过事件E1和E2或使拍子更快(即，使Delta时间更短)来实现同步再现。

控制部分11不仅以上述方式执行同步再现，而且还合成响应于人类演奏者经由演奏操作部分25执行的演奏操作而生成的音调信号，并接着使扬声器24听觉地生成对应于所合成的音调信号的音调，或发出该音调的声音。此外，控制部分11通过根据所再现的MIDI数据驱动演奏操作部分25的驱动电路，而使每个相应的键甚至在没有人类演奏者的操作时也能被按下。

根据本发明的上述实施例，音调信号提供装置10将水印信息嵌入到第一音调信号中，并将嵌入了水印信息的信号作为第二音调信号输出，该水印信息被用于第一音调信号和MIDI数据的同步再现。自动演奏装置20基于水印信息识别要与第二音调信号同步再现的MIDI数据的内容，并再现所识别的MIDI数据的内容与第二音调信号。此外，在已经通过音调信号提供装置10和自动演奏装置20压缩了第二音调信号的情况下，并且如果已经丢失了歌曲ID和/或时间码的一部分，则尽管当前实施例仅在丢失了歌曲ID和/或时间码的部分的时间段内不能识别MIDI数据的内容，但其允许MIDI数据继续再现；因此，歌曲ID和/或时间码的丢失不太影响同步再现。

在上述方式中，本发明的再现系统1可以基于从音调信号中获得的信息实现音调信号和乐曲演奏数据的同步再现。

[修改]

可以如下所举例地对本发明进行各种修改，而不是将其限定为上述实施例，并且根据需要可以组合下面的修改。

(修改1)

在上述实施例中，音调信号提供装置10被构建为将包含歌曲ID和时间码的水印信息嵌入到第一音调信号中。作为修改，音调信号提供装置10可以将MIDI数据本身作为水印信息嵌入到第一音调信号中。在此情况下，水印信息是表示要与第一音调信号同步再现的MIDI数据本身的内容的信息。在此修改中，在上述实施例中由自动演奏装置20存储的MIDI文件可以由音调信号提供装置10存储；即在该修改中，自动演奏装置20不需要存储MIDI文件。

在此修改中，水印信息生成部分112识别要与第一音调信号同步再现的MIDI数据的内容，并生成表示所识别的MIDI数据的内容的比特序列作为水印信息。嵌入部分114以与上述实施例所描述的方式相同的方式将由此生成的水印信息嵌入到第一音调信号中。在该修改中，由音调信号提供装置10执行的其它处理与上述实施例所描述的处理相同。此外，在此修改中，自动演奏装置20的第二再现部分215基于从第二音调信号中解码出的水印信息识别MIDI数据的内容，并接着再现所识别的MIDI数据的内容。

利用这种结构，可以在音调信号提供装置10中指定要与第一音调信号同步再现的MIDI数据，因此，不需要在自动演奏装置20中存储新文件。在此情况下，水印信息的数据量可能变得大于上述实施例中的数据量，因此嵌入和解码水印信息所需要的处理时间可能变得比上述实施例中的处理时间长。然而，在此情况下，通过第二再现部分215在考虑嵌入和解码水印信息所需要的处理时间的情况下合适地控制再现时间，可以与上述示例同样地实现音调信号和MIDI数据的同步再现。

[修改2]

虽然音调信号提供装置10和自动演奏装置20在上述实施例中经由音频线缆100互连，但再现系统10可被如下修改。

图11是修改的再现系统1a的框图，其包括音调信号提供装置10a和自动演奏装置20a。在图11中，音调信号提供装置10a除控制部分11外包括与音调信号提供装置10的组件相似的组件，并且自动演奏装置20a除控制部分21外包括与自动演奏装置20组件相似的组件。

音调信号提供装置10a包括例如与装置10a可拆卸连接的扬声器16，取代上述实施例中采用的输出接口15。扬声器16是发声设备，其响应于从控制部分11提供的音调信号听觉地生成音调。自动演奏装置20a包括例如与装置20a可拆卸连接的麦克风27，取代上述实施例中采用的输入接口22。麦克风27是声音拾取设备，其拾取声音并输出表示所拾取的声音的声音信号。音调信号提供装置10a和自动演奏装置20a被几乎互相相邻地布置，使得经由扬声器16听觉地生成的声音可以被麦克风27拾取。

在此修改中，音调信号提供装置10a的控制部分11将所生成的第二音调信号输出到扬声器16，以使扬声器16听觉地生成对应于第二音调信号的音调。自动演奏装置20a的控制部分21使麦克风27拾取由扬声器16听觉地生成的音调，并获取表示所拾取的音调的音频信号作为第二音调信号。通过以与上述实施例中相同的方式从第二音调信号中解码水印信息，控制部分21与上述实施例一样实现了同步再现。其它处理与关于上述实施例说明的处理相同。因此，当前修改获得了与上述实施例相同的有利益处。

此外，本发明的再现系统1还可被如下修改。图12是示出修改的再现系统1b的框图，其包括音调信号提供装置10b和自动演奏装置20b。音调信号提供装置10b除控制部分11外包括与音调信号提供装置10的组件类似的组件，并且自动演奏装置20b除控制部分21外包括与自动演奏装置20的组件类似的组件。

音调信号提供装置10b被构建为具有传送第二音调信号的功能的传送器，例如是广播站的发送器。自动演奏装置20b是具有接收由音调信号提供装置10b传送的第二音调信号的功能的接收器，并由收听广播装置广播的声音的用户拥有。音调信号提供装置10b包括传送部分17，取代上述实施例中采用的输出接口15。传送部分17依据从控制部分11提供的第二音调信号调制表示载波的载波信号，由此生成传送信号并接着传送该传送信号。自动演奏装置20b包括接收部分28，取代上述实施例中采用的输入接口22。一旦接收部分28接收到由音调信号提供装置10b传送的传送信号，其解调传送信号，以取出第二音调信号，并将第二音调信号输出到控制部分21。控制部分21以与上述实施例相同的方式从第二音调信号中解码出水印信息，从而实现同步再现。其它处理与关于上述实施例说明的处理相同。因此，当前修改获得了与上述实施例相同的有利益处。

利用上述修改，拥有自动演奏装置20b的用户可以使用装置20b欣赏与由音调信号表示的音调同步的演奏(同步的再现)，该音调信号由位于自动演奏装置20b的远程处的音调信号提供装置10b输出。另一方面，甚至不拥自动演奏装置20b的用户在听音调时也基本不遭受负面影响。

此外，本发明的基本原理适用于音调信号提供装置10b和自动演奏装置20b经由通信网络(诸如因特网)互连并且压缩音频数据等来传输声音和动画的服务。在此情况下，音调信号提供装置10b是服务器装置，诸如内容提供方。自动演奏装置20b由从内容提供方接收内容的客户方拥有。在此情况下，音调信号提供装置10b将水印信息嵌入到包含在要被传输的内容中的第二音调信号中，并且其传送其中嵌入了水印信息的第二音调信号。接着，自动演奏装置20b从接收自音调信号提供装置10b的第二音调信号中解码出水印信息，由此实现同步再现。

[修改3]

上述实施例中用于音调信号提供装置10嵌入水印信息的结构可以如下修改。例如，可以采用这样的方法，其采用使用M和Gold序列中的任一的伪噪声信号。在此情况下，嵌入部分114生成伪噪声信号，并基于水印信息对由此生成的伪噪声信号进行相位调制。解码部分213生成与嵌入部分114相同的伪噪声信号，并确定该伪噪声信号与第二音调信号之间的相关性。在使用具有高自相关性的信号作为嵌入到第二音调信号中的伪噪声信号的情况下，并且如果确定了第二音调信号和伪噪声信号之间的相关性，则提取出现陡峰的波形。此波形表示水印信息，并且解码部分213可以通过提取该波形而解码水印信息。此外，可以使用伪噪声信号执行频谱扩展，或者可以使用OFDM(正交频分复用)调制嵌入水印信息。在后一情况下，控制部分11移除第一音调信号的频率分量的高频带部分，并接着将OFDM调制的水印信息嵌入到与原始音调信号的频率分布一致的频带中。甚至在这种嵌入方式中，当前修改也可以获得与上述实施例相同的有利益处，因为音调信号提供装置10将水印信息嵌入到高于第一音调信号的频率分量的高频带中。

在上述实施例中，要被自动演奏装置20再现的乐曲演奏数据的格式可以是与MIDI数据格式不同的格式，诸如MP3格式。虽然已经如上将自动演奏装置20描述为具有自动演奏功能的电子钢琴，然而，其可以是任何其它类型的电子乐器，诸如电吉他或electone(注册商标)。此外，自动演奏装置20不限于用作电子乐器的装置，本发明的基本原理还适应于具有至少用于在再现音调信号的同时再现乐曲演奏数据的功能的再现装置。

此外，在上述实施例中，对应于预处理部分113的功能可以被省略。因为，例如在音调信号的频率分量不包含在高于频率fo的频带中的情况下，或者在音调信号的频率分量在音压电平上大大小于水印信息的频率分量的情况下，即使省略预处理，也认为几乎没有听觉影响并且对水印信息的解码也几乎没有听觉影响。

由音调信号提供装置10的控制部分11以及自动演奏装置20的控制部分21执行的程序可以存储在计算机可读记录或存储介质中，诸如，磁记录介质(例如，磁带或类似HDD或FD的磁盘)、光记录介质(例如，类似CD或DVD的光盘)、光磁记录介质或半导体存储器。此外，可以经由网络(诸如因特网)下载这种程序。此外，可以通过一个或多个软件或者一个或多个硬件实施要由控制部分11和21执行的功能。

本申请基于2010年1月15日提交的JP PA2010-007150并要求其优先权。通过引用将该在先申请的公开全文合并于此，包括附图，权利要求和说明书。

Claims (13)

1.一种音调再现装置，用于基于乐曲演奏数据，互相同步地再现第一音频信号和音调信号，所述音调再现装置包括：

获取部分，获取第二音频信号，所述第二音频信号是通过将表示要与所述第一音频信号同步再现的乐曲演奏数据的内容的水印信息嵌入到所述第一音频信号中而获得的音频信号，所述水印信息以位于高于所述第一音频信号的频率分量的频带中的方式而被嵌入在所述第一音频信号中；

音频再现部分，基于所述第二音频信号再现所述第一音频信号；

解码部分，从由所述获取部分获取的第二音频信号中解码出所述水印信息；以及

音调再现部分，基于由所述解码部分解码出的水印信息，识别要被再现的乐曲演奏数据的内容，并且依据所识别的内容，基于乐曲演奏数据再现所述音调信号。

2.如权利要求1所述的音调再现装置，其中，对应于沿着所述第一音频信号的时间轴的多个再现时间位置嵌入多个水印信息，并且每个所述水印信息识别至少一个音调。

3.如权利要求1所述的音调再现装置，其中，由所述水印信息表示的乐曲演奏数据的内容包括识别乐曲的识别信息、以及表示由所述识别信息识别的乐曲的再现时间位置的位置信息，

所述音调再现部分包括：

存储部分，在其中存储所述乐曲演奏数据；以及

读出和再现部分，从所述存储部分中读出由包含在所解码的水印信息中的识别信息识别的乐曲的乐曲演奏数据，并接着基于所读出的乐曲演奏数据，再现对应于由包含在所述水印信息中的位置信息表示的任一再现时间位置的音调信号。

4.如权利要求3所述的音调再现装置，其中，所述读出和再现部分将由所述位置信息表示的再现时间位置与基于所述乐曲演奏数据的音调信号的再现时间位置进行比较，并接着基于对应于由所述位置信息表示的任一再现时间位置的乐曲演奏数据再现音调信号。

5.如权利要求1所述的音调再现装置，其中，由所述水印信息表示的乐曲演奏数据的内容包括分别表示要被演奏的音调的乐曲演奏数据本身，并且

所述音调再现部分基于包含在所解码的水印信息中的乐曲演奏数据本身再现音调信号。

6.如权利要求1-5中的任一项所述的音调再现装置，其中，所述获取部分被构建为接收从外部提供的第二音频信号。

7.如权利要求1-5中的任一项所述的音调再现装置，还包括：

嵌入部分，将表示要与所述第一音频信号同步再现的乐曲演奏数据的内容的水印信息，以位于高于所述第一音频信号的频率分量的频带中的方式，嵌入到所述第一音频信号中；以及

输出部分，输出其中由所述嵌入部分嵌入了水印信息的第一音频信号，作为所述第二音频信号，

所述获取部分获取由所述输出部分输出的第二音频信号。

8.如权利要求1-5中的任一项所述的音调再现装置，其中，所述音频再现部分从所述第二音频信号中提取所述第一音频信号，并再现所提取的第一音频信号。

9.如权利要求1-5中的任一项所述的音调再现装置，其中，嵌入了所述水印信息的频带是非听觉频带，并且所述音频再现部分通过原样地再现所述第二音频信号来再现所述第二音频信号。

10.一种用于基于乐曲演奏数据互相同步地再现第一音频信号和音调信号的计算机实现的方法，所述方法包括：

获取步骤，获取第二音频信号，所述第二音频信号是通过将表示要与所述第一音频信号同步再现的乐曲演奏数据的内容的水印信息嵌入到所述第一音频信号中而获得的音频信号，所述水印信息以位于高于所述第一音频信号的频率分量的频带中的方式而被嵌入在所述第一音频信号中；

基于所述第二音频信号再现所述第一音频信号的步骤；

解码步骤，从由所述获取步骤获取的第二音频信号中解码出所述水印信息；以及

一步骤，基于由所述解码步骤解码出的水印信息，识别要被再现的乐曲演奏数据的内容，并且依据所识别的内容，基于乐曲演奏数据再现所述音调信号。

11.一种音调信号提供装置，包括：

嵌入部分，将表示要与第一音频信号同步再现的乐曲演奏数据的内容的水印信息，以位于高于所述第一音频信号的频率分量的频带中的方式，嵌入到所述第一音频信号中；以及

输出部分，输出由所述嵌入部分将所述水印信息嵌入到所述第一音频信号中而获得的第二音频信号。

12.一种音调再现系统，包括：

嵌入部分，将表示要与第一音频信号同步再现的乐曲演奏数据的内容的水印信息，以位于高于所述第一音频信号的频率分量的频带中的方式，嵌入到所述第一音频信号中；

输出部分，输出由所述嵌入部分将所述水印信息嵌入到所述第一音频信号中而获得的第二音频信号；

获取部分，获取由所述输出部分输出的第二音频信号；

音频再现部分，基于所述第二音频信号再现所述第一音频信号；

解码部分，从由所述获取部分获取的第二音频信号中解码出所述水印信息；以及

音调再现部分，基于由所述解码部分解码出的水印信息，识别要被再现的乐曲演奏数据的内容，并且依据所识别的内容，基于乐曲演奏数据再现所述音调信号。

13.一种用于基于乐曲演奏数据互相同步地再现第一音频信号和音调信号的计算机实现的方法，所述方法包括：

嵌入步骤，将表示要与第一音频信号同步再现的乐曲演奏数据的内容的水印信息，以位于高于所述第一音频信号的频率分量的频带中的方式，嵌入到所述第一音频信号中；

输出步骤，输出由所述嵌入步骤将所述水印信息嵌入到所述第一音频信号中而获得的第二音频信号；

获取步骤，获取由所述输出步骤输出的第二音频信号；

基于所述第二音频信号再现所述第一音频信号的步骤；

解码步骤，从由所述获取步骤获取的第二音频信号中解码出所述水印信息；以及

一步骤，基于由所述解码步骤解码出的水印信息识别乐曲演奏数据的内容，并依据所识别的内容，基于乐曲演奏数据再现所述音调信号。

Images