CN1811910B - 乐曲再生装置和方法 - Google Patents

Abstract

一种乐曲再生装置，使得乐曲的内容的解释容易进行。从分析乐曲数据附带的属性信息或乐曲的演奏信息而获得了的信息中取得与乐曲的内容有关的信息，按照该乐曲的内容，控制乐曲再生时的音像的定位。例如，乐曲的种类为演歌时，把整个演奏音的音像定位放在右面进行再生。还有，对于特定的段子或声部的演奏音，使该音像定位在听者周围转一周而进行再生。或者，使得A旋律在右面，B旋律在左面，桥接在正面，这样按每个区间使音像定位不同。或者，使得韵律声部在右面，旋律声部在左面，这样按曲子的构成部分使音像定位不同。或者，在渐现中结合音像定位(使2个音像靠近)，在渐隐中分割音像定位(把音像分成2个)，这样进行音像定位的分割/结合。用户在聆听被再生了的曲子时，能根据音像定位的位置或状态，容易地获知该曲子的内容。

Description

乐曲再生装置和方法

技术领域

本发明涉及再生乐曲数据的乐曲再生装置和方法。

背景技术

在再生存储在存储器等中的乐曲数据时，通常是原样再生该乐曲数据。并且，与该乐曲的内容有关的信息，例如，该乐曲的种类(genre)、演奏时间、该乐曲中是不是包含着用户(user)(即听者)爱好的段子(phrase)、是怎样的声部(part)构成这样的信息是通过聆听被再生了的乐曲，通过以用户(听者)的感觉进行解释来取得的。

另外，自动地分析音乐信号，判别其音乐种类，按照该分析结果，以与该种类对应的大厅模拟模式(Hall Simulation Mode)进行环绕(surround)音场补正的技术是公知的，例如，在下列专利文献1中有记载。

专利文献1：特开平8-37700号公报

发明内容

如上所述，用户为了获知存储在存储器等中的乐曲数据是怎样的内容而原样聆听、解释被再生的乐曲，所以对于乐曲的内容的解释，需要各用户的个人的经验和时间。另外，上述专利文献1中记载的现有技术，不过是依照自动地判定了的音乐种类而进行综合性的音场设定的技术，难以由此获知乐曲的内容(音乐的构成等)，对用户所作的乐曲解释没有帮助。

本发明是鉴于上述情况而提出的，目的在于提供一种使得用户(听者)能效率很好地进行乐曲解释的乐曲再生装置和方法。

为了达到上述目的，本发明的乐曲再生装置具有：提供乐曲数据的乐曲数据提供装置；从被提供的乐曲数据中取得与该乐曲的内容有关的信息的信息取得装置；基于上述取得了的信息，决定在上述被提供的乐曲数据的乐曲再生时的音像定位法的定位法决定装置；以及基于上述被提供的乐曲数据而进行乐曲再生演奏，并且按照上述决定了的音像定位法，使该再生演奏音的音像进行定位的再生装置。

并且，上述信息取得装置是从乐曲数据附带的属性信息中取得与该乐曲的内容有关的信息的东西。或者，上述信息取得装置是分析乐曲数据中包含的演奏信息而取得与该乐曲的内容有关的信息的东西。

还有，由上述定位法决定装置决定的上述音像定位法是由在乐曲中特定的区间中使音像定位进行时间性移动的事件构成的东西。或者是对于构成乐曲的多个部分中的每一个，使该音像定位不同而配置的东西。或者也可以是在乐曲中特定的区间中，使音像定位进行分割或结合的东西。

再有，可以构成为，还具有任意设定乐曲所相关的各种内容和上述定位法的对应关系的设定装置，上述定位法决定装置按照由该设定装置设定了的对应关系来决定上述音像定位法。

根据本发明，从乐曲数据中取得与该乐曲的内容有关的信息，使该乐曲的再生演奏音的立体音响的音像定位反映取得了的信息，因而对用户(听者)来说，效率好的乐曲解释就成为可能。即，在该乐曲的再生演奏时，自动地执行与决定了的该乐曲的内容对应的音像定位控制，因而用户(听者)能在进行一次再生的期间，只靠自己的听觉来听取这样的音像定位的位置或状态，就容易有效地获知与该曲子的内容有关的各种信息(曲子的种类、演奏时间、爱好的段子的有无、声部等)。(当然，把音像定位的位置或状态和曲子的内容的关系或意义作为用户预先知道的东西)。这在接受大量的音乐配信，聆听各种曲子等时是便利的。还有，如果还具有任意设定乐曲所相关的各种内容和上述定位法的对应关系的设定装置的话，用户自己就能设定定位法，因而就能自动设为最适合的定位，或用户喜好的定位。

附图说明

图1是表示本发明的乐曲再生装置的一实施方式的携带终端的构成的框图。

图2是表示使用图1所示的携带终端的整个系统的构成的图。

图3是表示本发明的乐曲再生装置中的演奏控制部的构成的图。

图4是表示音像定位处理电路的构成的框图。

图5是表示音像定位法的例子的图，(A)是表示对乐曲自身进行定位的例子，(B)是表示使段子或声部的定位进行移动的例子，(C)是表示以曲子的构成部分对定位进行分割而配置的例子，(D)是表示在曲子的途中对定位进行分割或结合的例子的图。

图6是表示定位控制表的一例的图。

图7是表示由CPU11执行的处理的流动的流程图。

具体实施方式

图1是表示本发明的乐曲再生装置的一实施方式的要部构成的功能框图。本发明的乐曲再生装置可以适用于手机等移动终端、携带音乐再生机、有AV功能的个人电脑等各种装置，图1表示是手机等移动终端的场合。

在图1中，10是乐曲再生装置(移动终端)，11是控制整体乐曲再生装置10的动作的控制部(CPU)，12是由存储各种控制程序和数据的ROM和RAM构成的存储器(memory)，13是存储乐曲数据的乐曲信息保持部，14是输出各种定时信号的定时器(timer)，15是从上述乐曲信息保持部13所存储的乐曲数据中取得与其内容有关的信息的乐曲分析部，16是用于在显示部21上显示各种信息的显示控制部，17是再生上述乐曲信息保持部13所存储的乐曲数据中包含的演奏信息，将其输出到扬声器22的演奏控制部，18是输入来自操作器23的操作信号的操作部，19是通信部，20是天线，21是液晶显示部等显示部，22至少设置了2个，是能立体地再生来自上述演奏控制部17的演奏信息的扬声器(或耳机)，23是输入各种操作信息的操作键等操作器，24是用于传送各种数据的总线。

作为存储在上述乐曲信息保持部13中的乐曲数据，包含SMF(Standard MIDI File)、SMAF(Synthetic music Mobile  ApplicationFormat)等演奏信息(序列数据：sequence data)的数据是基本的，不过，也可以是音频数据(MP3(MPEG  Audio Layer-3)、AAC(MPEG-2 AudioAAC(Advanced Audio Coding))等音频压缩格式数据)。并且，该乐曲数据可以是原来的立体声或者3D音响的格式(format)的数据，也可以是完全的单耳(monaural)的数据。

还有，上述乐曲分析部15可以通过上述CPU11所涉及的软件处理来实现。

再有，上述演奏控制部17是能再生上述乐曲数据的音源部，具有FM音源、WT(Wave Table)音源、MP3解码器(decoder)等解码器或者它们的复合音源。

图2是表示作为上述图1中记载了的移动终端的乐曲再生装置所连接的系统的整体构成的图。

在该图中，1、2和3是上述图1所示的移动终端10，可以通过基地局4而与互联网等大规模网络5连接。配信服务器6和7与大规模网络5连接，上述移动终端1～3可以从该配信服务器6或7下载乐曲数据，将其存储在上述乐曲信息保持部13(图1)中，用上述演奏控制部17进行再生。

图3是表示上述演奏控制部17的详细构成的图。

在演奏控制部17中，31是与上述总线24连接的第1接口电路，32是存放通过该第1接口电路31而输入的演奏信息(序列数据)的第1FIFO(FirstInFirstOut)缓冲器(buffer)，33是通过该第1缓冲器32而受取演奏信息，以由该演奏信息中的持续时间(duration)数据指定的定时向音源34输出事件(event)数据的序列器(sequencer)，34是基于从上述序列器33供给的演奏信息(事件数据)而生成对应的乐音的音源，35是对从上述音源34输入的乐音信号或来自后述的MP3解码器38的乐音信号，基于从上述第1接口电路31输入的音像定位控制用信号(3D控制用信号)来进行音像定位处理的音像定位处理电路(3D电路)。

还有，36是与上述总线24连接的第2接口电路，37是存放通过该第2接口电路36而被供给的音频压缩格式数据(该例中是MP3数据)的第2FIFO缓冲器，38是对从上述第2缓冲器37供给的MP3数据进行解码(decode)，向上述音像定位处理电路35输出的MP3解码器。

再有，39是把从上述音像定位处理电路35输出的数字音频信号转换为模拟信号的A/D转换器(DAC)，该DAC39的输出信号被放大，从上述立体声的扬声器22被输出。

图4是表示上述音像定位处理电路35的构成例的框图。

如图所示，音像定位处理电路35由设置在第1输入信号Ch1和L频道的输出Lout之间的FIR滤波器41、设置在第2输入信号Ch2和Lout之间的FIR滤波器42、设置在Ch1和R频道的输出Rout之间的FIR滤波器43以及设置在Ch2和Rout之间的FIR滤波器44构成。并且，对上述FIR滤波器41～44设定与想配置音像的位置对应而预先准备好的滤波系数(HRTF：头部传递函数)，使得从听取者周围的任意位置(三维的位置)都有声音出来而被听到。此处，HRTF(HeadRelated Transfer Function)是表示从音源到听取者的鼓膜的声音的传递特性的传递函数，是人用于判定音像的包括了到达两耳的时间误差、频率特性等信息的东西。

另外，图4是表示输入为2频道的场合，不过，1频道或者更多的频道也可以通过改变其构成来应用。音像定位可以在各个频道中单独进行。例如，在图4中，Ch1在右面，Ch2在正面，这样在各频道中独立地配置假想音源定位位置。

在这样构成了的乐曲再生装置10中，通过上述操作器23的操作等来指示存储在上述乐曲信息保持部13中的乐曲的再生的话，上述乐曲分析部15就从该乐曲数据中取得与该乐曲的内容有关的信息，上述CPU11就以按照与该取得了的乐曲的内容有关的信息而决定的音像定位法，开始该乐曲的再生。这样，使乐曲的分析结果反映在立体音响的音像的定位上而再生，就可以进行效率好的乐音解释。

此处，作为与乐曲的内容有关的信息的取得方法，有以下两种：(1)从乐曲数据附带的属性信息中取得的方法和(2)分析乐曲数据的演奏信息或音频数据本身而取得的方法。

(1)乐曲数据属性信息

例如，使得在SMAF文件的内容信息块(contents information chunk)等中，能存放种类名、艺术家名、作成日期和时间等各种信息，可以从该数据中取得种类等信息。还有，也有在音频数据文件中也附带存放了各种信息的属性信息的场合，可以从该属性信息中取得种类等信息。

还有，要在SMAF文件中放入与A旋律(melody section A)、B旋律(melody section B)、桥接(サビ)(bridge)等乐曲构成区间对应的地址，还有，要能对于每频道指定旋律、韵律等。如果存放了这些信息的话，利用它就能取得与演奏的构成有关的信息。

(2)演奏信息的分析

有乐曲再生指示的话，乐曲分析部15就检索整个序列数据或音频数据，用规定的算法抽取演奏时间、高频度的段子(在一个乐曲中重复再生好多次的段子)等。并且，向上述CPU11发送该信息。另外，如果一次取得信息的话，就将其与该乐曲数据对应起来进行存储，在下次以后再生时，从该乐曲数据中读出、使用该信息。

还有，作为音像定位法，有以下各种方法：(A)使乐曲自身(整个乐曲)定位，(B)使乐曲的特定区间(段子或声部)的定位进行移动，(C)按照乐曲的构成部分(区间，声部，特定部分)对定位进行分割配置，以及(D)在乐曲的途中进行定位的分割、结合。

以上述信息取得方法取得了的与乐曲的内容有关的信息和上述音像定位法进行组合，就能表现与乐曲有关的各种信息。关于这些例子，参照图5进行说明。

图5(A)是表示使乐曲本身(整个乐曲)进行特定的定位的一例的图。在该例中，整个乐曲的音像定位在听取者的右面。作为用于这样使整个乐曲在特定位置(图的例右面)进行音像定位的具体的方法，有以下方法。

例如，从乐曲数据附带的属性信息中取得演歌、J-POP(JapanesePops)等种类信息，使得演歌在正右面，J-POP在右面45度，ROCK在正左面等，这样与乐曲的种类对应起来决定定位，按照该决定了的定位进行再生。即，在对种类为演歌的乐曲进行再生的场合，使之定位在右面。

或者，也可以由上述乐曲分析部15直接分析演奏信息，例如，如果演奏时间是30秒以下就在正右面，如果是30秒以上1分以下就在正面，如果是在此以上就在正左面，这样来决定音像定位位置。

或者，也可以从乐曲的演奏信息中抽取频度高的段子，参照预先存储了与各种种类对应的演奏信息的分类信息和段子的对应关系的数据库，以抽取了的段子为线索，检索分类信息(种类)，按照被检索出的分类信息来决定该乐曲的音像定位(种类分析)。例如，在最高频度的段子由「八分音符的哆」、「八分音符的来」、「八分音符的咪」构成的场合，就按照与其对应的规定的分类信息，决定定位为右位置。

或者，以该用户的过去的利用信息为基础，分析用户嗜好的种类，评价种类嗜好度。即，把用户过去利用了的乐曲的种类中利用频度高的东西作为种类嗜好度的目标来使用。例如，在「演歌」的种类的曲子被演奏了规定回数以上的场合，判定为种类「演歌」被用户喜欢，基于此，以后在演奏「演歌」的种类的乐曲的场合，该乐曲的音像定位被放在「演歌」的种类的规定的音像定位位置(例如右面)而进行再生(嗜好分析)。

这样，就能在再生乐曲时的定位上反映乐曲的分析结果、附带的属性信息。

图5(B)是表示在使乐曲的特定部分(段子或声部)的定位进行移动的场合的例子的图。在该场合，在特定的段子的再生时，或对于特定的声部的演奏音，如图所示，使音像位置在听取者周围转一周地移动。这样就能使定位的移动反映乐音的时间信息。

例如，使用乐曲数据附带的属性信息，在该属性信息指示了特定段子时，按该特定段子使音像定位进行移动。这样，听者在乐曲演奏途中就很清楚现在正在演奏特定段子。在特定段子在乐曲中重复好几回的场合，也能根据演奏信息中的属性信息来指示各特定段子，因而可按每个特定段子的区间使包括该段子的声部的音像定位转一周。还有，对于没有特定段子的声部，从演奏的最初到最后，使定位转一周。

或者，直接分析演奏信息而取得时间信息、演奏信息的构成信息。例如，在按声部分析特定段子的反复状态等，根据段子而完成了演奏信息的构成的分析的场合，与上述同样，使定位以一定速度转一周。另外，即使一周不是纯粹的圆运动，只要是利用者能识别移动状态，意识到时间推移状态的具有对称性的启动，圆、椭圆、正多边形、立体等，什么样的东西都可以。

图5(C)是表示按曲子的构成部分来分割配置音像定位(按每个构成部分使音像定位不同)的场合的例子的图。

在乐曲数据中附带构成信息的场合，使用该信息，取得用于使定位进行分割的信息。或者，直接分析演奏信息而取得演奏的构成信息。

例如，(1)在1声部的乐曲中，使A旋律区间定位在右面，使B旋律区间定位在左面，使桥接的区间定位在正面(例1)。或者，(2)在2声部的乐曲中，旋律声部定位在右面，韵律声部定位在左面(例2)。还有，(3)也可以使类似的段子定位在右面，没有类似性(随机的)段子定位在左面。或者，(4)考虑到编码的和谐性，也可以使和谐部分的音在右面进行音像定位，使不和谐部分的音定位在左面等。

这样就能使定位的分割反映乐音演奏的构成信息。

图5(D)是表示在曲子的途中使定位分割或结合的场合的例子的图。

在该场合，使音像定位时间性地进行移动而以分割和结合的定时来表现时间。例如，如图所示，在渐现中使左右分开的音像结合，将其放置在正面，在渐隐中使音像左右分割(分离)。这样，以渐现/隐部分进行定位的分割/结合，就能推测演奏的时间性位置。即，能以定位的分割和结合来表现时间信息。

在乐曲数据中附带构成信息(例如渐现、渐隐的定时的信息)的场合，就直接使用该信息，取得用于使定位分割或结合的信息。还有，直接分析演奏信息，取得演奏的构成信息。

这样就能使定位移动而以分割和结合的定时来表现时间。

其次，对于为了进行上述处理而由上述CPU11执行的处理，参照图6所示的定位控制表和图7所示的流程图进行说明。

图6是表示定位控制表的一例的图，如该图所示，在定位控制表中定义了根据乐曲的分析所取得了的乐曲的内容和与其对应的定位方法以及优先顺序。该定位控制表存储在上述乐曲信息保持部13或上述存储器12中，上述CPU11参照该定位控制表，决定与根据上述乐曲分析部15所分析出的乐曲的内容对应的定位方法。另外，对于该定位控制表的内容，用户可以用上述操作器23等任意进行变更。

在图6所示的例子中，作为第1号优先顺序，在有特定的段子(段子1、2)时，定义了使该段子的定位移动(一周)，作为第2号优先顺序，定义了按照种类(演歌、J-POP等)把定位设定在左面或右面，作为第3号优先顺序，定义了在其它种类时，按照曲子的构成部分(韵律声部、旋律声部、其它声部)把定位分割为右面、正面、左面而进行配置。

另外，在上述例子中，按一周、右面、正面、左面来大致设定定位位置，不过，不限于此。例如，也可以根据距离、方位角、仰角等参数来正确地决定定位位置，并且，正确地指定向该定位位置的移动时间。例如，也可以「从初期位置，以用户为基准，在方位角30度、仰角0度的方向，并且到以距离2m偏离了的位置，以2000毫秒的移动时间，使定位位置移动」这样来指定各参数。

图7是表示由上述CPU11执行的处理的流动的流程图。

由用户指定存储在上述乐曲信息保持部13中的乐曲数据，指示该再生的话，上述CPU11就指示乐曲分析部15分析该乐曲数据，取得该乐曲中与内容有关的信息(步骤S1)。如上所述，该分析有(1)从乐曲数据附带的属性信息等中取得的方法和(2)分析演奏信息而取得与该乐曲的内容有关的信息的方法这2种，根据其中任意一方或两方来取得与该乐曲的内容有关的信息(与种类、演奏的构成有关的信息，是否包含演奏时间、规定的段子等信息)。

其次，CPU11对于表示在步骤S1中取得了的曲子的内容的信息是不是在上述定位控制表中被定义的信息进行判定(步骤S2)。

结果，在取得了记录在上述定位控制表中的信息时，把该曲子的乐曲数据依次送到上述演奏控制部17，开始其再生(步骤S3)，并且把用于执行在上述定位控制表中被定义了的定位方法的3D控制用信号送到上述音像定位处理电路35(步骤S4)。反复进行该步骤S3和S4，直到乐曲结束，从而结束该曲子的再生。

另一方面，在上述步骤S2的判定的结果判定为未取得在上述定位控制表中被设定了的信息时，不进行与曲子的内容对应的定位的控制，而是进行通常那样的乐曲数据的再生(步骤S6，S7)。

这样，就能参照上述定位控制表，带着与乐曲的内容对应的定位而再生该乐曲，用户就能容易地进行该乐曲的解释。

另外，作为基于与各乐曲的内容有关的信息的音像定位法，上述图5所示的东西是简单的例子，并不受此限定，而是可以设定任意的定位信息。

还有，也可以使乐曲数据附带用于控制定位的各种信息，例如，图6的定位控制表的全部或一部分，将其通过通信部19等而向其它同样的终端发送。可以在接收终端，以同样的定位而再生乐曲。

Claims (6)

1.一种乐曲再生装置，其特征在于，具有：

存储装置，用于存储乐曲数据，该乐曲数据作为演奏信息包括序列数据或音频数据；

再生装置，用于再生所述乐曲数据；

音像定位处理装置，用于根据控制信号对从所述再生装置输出的音乐信号进行音像定位处理；

定位控制表，定义了乐曲的内容和与其对应的定位方法；

分析装置，通过直接分析作为所述乐曲数据的演奏信息的序列数据或音频数据，取得与该乐曲的内容相关的信息；以及

提供装置，从所述定位控制表取得通过所述分析装置取得的信息所对应的定位方法，并将用于执行该定位方法的控制信息提供给所述音像定位处理装置，

所述定位方法，在乐曲中特定的区间中使定位移动，或者，对于乐曲的构成部分，使定位分割而配置，或者，在乐曲中特定的区间中，使定位进行分割或结合。

2.根据权利要求1所述的乐曲再生装置，其特征在于，所述定位控制表定义了乐曲的内容和与其对应的定位方法的优先顺序。

3.根据权利要求1所述的乐曲再生装置，其特征在于，所述分析装置判断有无特定的段子。

4.根据权利要求1至3中任意一项所述的的乐曲再生装置，其特征在于，还具有将通过所述分析装置取得的乐曲的内容相关信息与所述乐曲数据对应起来进行存储的装置。

5.根据权利要求1所述的的乐曲再生装置，其特征在于，所述定位的分割或结合，使2个音像定位随着时间经过而慢慢离开或靠近。

6.一种由乐曲再生装置执行的乐曲再生方法，所述乐曲再生装置具有存储装置，用于存储乐曲数据，该乐曲数据作为演奏信息包括序列数据或音频数据；再生装置，用于再生所述乐曲数据；音像定位处理装置，用于根据控制信号对从所述再生装置输出的音乐信号进行音像定位处理；以及定位控制表，定义了乐曲的内容和与其对应的定位方法，所述乐曲再生方法的特征在于，具有：

通过直接分析作为所述乐曲数据的演奏信息的序列数据或音频数据，取得与该乐曲的内容相关的信息的步骤；

从所述定位控制表取得通过所述分析装置取得的信息所对应的定位方法的步骤；以及

将用于执行该定位方法的控制信息提供给所述音像定位处理装置的步骤，

所述定位方法，在乐曲中特定的区间中使定位移动，或者，对于乐曲的构成部分，使定位分割而配置，或者，在乐曲中特定的区间中，使定位进行分割或结合。

Images