CN1802692B

CN1802692B - 用于midi文件再生的方法和移动终端

Info

Publication number: CN1802692B
Application number: CN2004800157943A
Authority: CN
Inventors: T·勒希纳
Original assignee: Sony Ericsson Mobile Communications AB
Current assignee: Sony Mobile Communications AB
Priority date: 2003-04-08
Filing date: 2004-02-23
Publication date: 2011-04-13
Anticipated expiration: 2024-02-23
Also published as: DE60302333D1; EP1467348A1; KR101005672B1; KR20060002941A; DE60302333T2; US7518056B2; JP2006523853A; EP1467348B1; TWI341469B; CN1802692A; WO2004090862A1; TW200506635A; JP4527715B2; ATE310301T1; US20060272487A1

Abstract

提供一种用于根据电声再生电路的传递函数来调整在移动终端上进行再生的MIDI文件中存储的乐谱的方法。因此，在移动终端上进行乐谱再生之前，测试再现乐谱以获得采样数据。从这些采样数据中识别对于在移动终端上进行所期望的电声再生来说重要的一个或多个值和/或一个或多个值的组合，并且基于所识别的值，确定适于对移动终端上所期望的或最佳的再生进行调整乐谱的一个或多个参数。

Description

用于MIDI文件再生的方法和移动终端

技术领域

本发明涉及适于分别再生(reproduce)声音或音乐文件、特别是再生MIDI(乐器数字接口)数据文件的移动终端。

背景技术

MIDI是一种数据格式，它不包含象例如“.wav”文件的采样的音频数据，而是关于声音是如何再现(render)的规范。MIDI文件可被看作是以电子易读格式的一张乐谱。它包含关于音轨和所使用的设备的信息以及在再生由各个MIDI文件中存储的数据所表示的乐谱(score)时必须考虑的声学参数。集合术语声学参数表示分别定义例如音高、音符或休止符值、响度级、速度(tempus)、音色或者象颤音或混响的特殊效果的语句。

为了将MIDI文件转化为声音，必须翻译在MIDI文件中存在的信息并形成表示采样的数字声音的数据。对于这方面，使用所谓的“MIDI合成器”，它使MIDI文件的乐谱变成象例如在单声道或立体声“.wav”文件中使用的那些数据的采样数据。MIDI合成器可以在数字信号处理器中用软件实现或者在单独的专用硬件中实现。乐谱的再现通常是基于所谓的波表，该波表包含以数字采样数据形式的象例如钢琴之类的乐器的声音采样。在象例如移动电话、PDA(个人数字助理)等之类的移动终端上，多首音乐优选以MIDI文件的形式存储，因为与包含采样音频数据的文件相比，MIDI文件的尺寸非常小。PCM(脉冲编码调制)格式的音频文件，象例如一个“.wav”文件使用高达每分钟10兆字节的音乐，而相同的音乐能够存储在小于10K字节的MIDI文件中。如上所述，这是可能的，因为MIDI文件仅仅包含MIDI合成器重建各个声音而不是声音数据本身所需要的指令。

在移动终端，MIDI文件能够为了娱乐而重放，或者用作振铃或报警信号以指示来话呼叫、接收的消息或其它事件。MIDI文件能够通过移动终端以SMS(短信息服务)或MMS(多媒体消息服务)型消息的形式发送和接收。

移动终端的电声再生电路允许MIDI合成器在乐谱所再现的单声道或立体声采样数据基础上对存储在MIDI文件中的乐谱进行再生。根据电声再生电路的特性，特别是所使用的扬声器，存在从MIDI文件中再生乐谱时要考虑的某些限制，象例如频率响应、动态范围和声音信号的最大允许振幅。尽管大体上不超过由各个限制给出的阈值不会降低再生声音信号的质量，但是象振铃或报警信号的许多特定应用需要再生接近阈值的乐谱以用于获得最大可能的输出级(level)。

由于从MIDI文件中再现的声音信号取决于所使用的MIDI合成器的算法和波表，所以在再现乐谱时获得的采样数据的临界值，象例如最大振幅或最大动态范围，不能直接从MIDI文件存储的数据中预测得到。从MIDI文件再生的音频信号的音量和/或动态范围通常由动态压缩器或者限幅器(limiter)进行调节。这些以软件或硬件实现的信号处理器在再生期间基于当前值和过去值调整音频信号，忽略象例如在未来的重放中出现的峰值振幅之类临界值。结果是由于生成了可听到的大到烦人的伪声(artefact)而造成声音再生的保真度的降低。

发明内容

因此，本发明的目的是提供一种通过下述方式调整(adapt)存储在用于在移动终端上再生的MIDI文件中的乐谱的方法，也就是使所得的声音信号没有可以听到的且烦人的伪声。

实现上述目的尤其是通过一种使存储在用于在移动终端上再生的MIDI文件中的乐谱适于电声再生电路的传递函数的方法，包括下列步骤：在移动终端上再生乐谱之前，测试再现乐谱以获得采样数据；从采样数据中识别对于在移动终端上进行具有最佳的或者期望的声音质量的所期望的电声再生来说重要的一个或多个值或者一个或多个值的组合；基于所识别的值来确定适合于对移动终端上所期望的(或者最佳的)再生进行调整乐谱的一个或多个参数；并使用所确定的一个或多个参数来对再生的MIDI文件中所存储的乐谱进行调整。所期望的再生一般是预定义的或者最佳的再生，其具有取决于相应使用的最佳的或者期望的声音质量。根据使用的情况，例如忽略声音质量的最大响度或者没有烦人失真的可用动态范围的最佳使用可能是期望的。在第一种情况中，所再现信号的最大振幅或最大均方根值将是一个重要值，在第二种情况中，所再现信号的动态范围将是一个重要值。

本发明的目的还可以通过计算机软件产品来实现，该计算机软件产品包括适于由移动终端的数据处理装置进行处理的一系列状态单元，以便在其上可以执行根据本发明的方法。

上述目的还可以利用移动终端来实现，该移动终端适于存储和再生以MIDI文件格式存在的乐谱并具有：用于存储MIDI文件的存储装置；用于从MIDI文件中再现采样数据的处理装置，其中所述处理装置适于在移动终端上进行乐谱再生之前测试再现乐谱以获得采样数据；控制装置，用于从在测试再现中获得的采样数据中识别对于在移动终端上进行具有最佳的或者期望的声音质量的所期望的电声再生来说重要的一个或多个值或者一个或多个值的组合，以及用于基于所识别的值，确定适合于对移动终端上所期望的再生进行调整乐谱的一个或多个参数，以及用于使用所确定的一个或多个参数来对再生的MIDI文件中所存储的乐谱进行调整；以及将从存储了经调整的乐谱的MIDI文件获得的采样数据转化为相应电声再生的再生装置。

有利地，本发明把根据移动终端上电声再生电路的特性来调整乐谱从乐谱自身的实际再生中分离出来。因此它允许基于整个乐谱的级控制，这对于保证乐谱的没有伪声的再生是必不可少的条件。

在优选实施例中，增益系数是在测试再现乐谱时通过将采样数据中识别的最大绝对值与为移动终端的电声再生电路定义的极限值进行比较而确定的。因而有利的是，可以通过将所确定的增益系数存储在保存(hold)相应乐谱的MIDI文件中来调整乐谱。通过提供增益系数，可以实现根据电声再生电路的特性对乐谱的一般调整，该增益系数设定了根据乐谱预期的与移动终端上可用的动态范围相关的最大振幅。

替代地，可以通过用所确定的增益系数规范化(normalise)乐谱的至少一个音量设置来调整乐谱。因而规范化的音量设置可以是定义一个或多个设备的音量的合适的第一音量值或者定义在特定(certain)时期第一音量值的修正的第二音量值。通过规范化乐谱的音量设置，各个乐谱自身就准备好由移动终端的电声再生电路进行没有伪声的再生。由于音量设置可以分别定义为影响所有设备或通道的在乐谱中或者其中仅仅一部分中定义的主音量，所以各个第一音量值的调整允许根据电声电路的传递函数进行整体调整和/或特定设备的单独调整。在乐谱中提供的用于修正在特定时期的一个或多个第一音量值的第二音量值的修正，允许根据电声再生电路的规格进行渐强或渐弱的修正。

所确定的增益系数还可以与保存乐谱的MIDI文件分开来存储，这样就可以在移动终端上的实际再生期间在选择适当地调整它时使乐谱不变。

在本发明的另一个优选实施例中，乐谱的调整包括下述步骤：在确定乐谱各自的一个或多个章节(section)中的音量级改变的基础上，对于乐谱的一个或多个章节减少从其中再现的采样数据的动态范围。这在交替地采用非常低的声级与非常高的声级再生一首古典乐曲或章节(passage)时特别有用。由于与高保真度的音响系统相比，移动电话上的声音音量一般是低的，因此必须减少声级中的步长以改善声音再生的保真度。

如果一个乐谱仅包含几个其值远高于平均值的振幅，则将在非常低的声级上再生该乐谱。因此，有利的是，获得采样数据的乐谱的再现包括用于降低与所再现的采样数据的峰值振幅相关联的波峰因数的限幅步骤。

在将各个MIDI文件存储到移动终端之前有效地执行乐谱的调整，从而确保所有存储的MIDI文件处于移动终端的电声电路可以立即对其进行再生的状态。

在改编(arrange)移动终端自身上或与其分开的乐谱的期间可以适当地执行乐谱的调整，从而使其能够适合依照由移动终端的电声生成电路设置的规格的乐谱。

根据本发明的移动终端还可以配备有限幅装置，用于降低再生过程中从调整的乐谱中再现的采样数据的波峰因数。这就允许在将声级保持在特定平均值的情况下再现乐谱时忽略该首音乐的孤立的峰值振幅。由于必须考虑仅仅几个孤立的峰值振幅，所以可以使用传统的或动态的压缩器来实现该限幅装置。

附图说明

在以下的描述中，参考特定实施例并相对于所附的图来更详细地描述本发明，其中：

图1示出从再现在MIDI文件中存在的乐谱中获得的采样数据的例子，

图2示出图1的采样数据，其带有两个用于计算平均振幅的时间窗，以及

图3示出根据本发明的移动终端的图示。

具体实施方式

MIDI文件包括再生一首特定的音乐或声音所必须的指令。文件中存储的信息不直接表示音频数据，而是表示使MIDI合成器能够生成各个声音的编程指令。MIDI文件的数据格式已经由MIDI制作商协会(MMA)标准化，许多最重要的数字乐器制造商都属于该协会。该标准定义所谓的MIDI协议的格式，在该格式中，每个指令由所谓的MIDI字(word)构成。MIDI字有规律地由3个字节构成，其第一个是带有关于MIDI字表示哪类消息的信息的状态字节。状态字节之后是两个带有消息的内容信息的数据字节。实际上，状态字节带有两段信息。相应地，第一个四位表示消息类型，第二个四位表示信息所属的设备或MIDI通道的数量。

采用参数化控制信号对MIDI功能的控制是使用所谓的MIDI控制器来完成的。利用MIDI字的第一数据字节能够寻址最多128个不同的控制器地址，从而对应于大约128个不同的输入设备或其它MIDI功能。

为控制器要设定到的值保留第二数据字节。在采用MIDI接口演奏乐器时，音乐家使用MIDI控制器消息实现各种效果。举一个例子，为“连奏踏板”功能保留的68号控制器将在音符之间产生连奏效果，该连奏效果通常是通过跳过VCA包络被撞击的(attacked)部分实现的。该控制器允许键盘演奏者更好地模拟经常用单一运舌法演奏几个音符的管乐器(wind)和黄铜乐器(brass)演奏者的分句(phrasing)或者模拟吉他的勾弦(pull-off)和击弦(hammer-on)。

在本发明中所使用的定义的控制器是名为“音量”的7号控制器和名为“声调(expression)”的11号控制器。“音量”控制器影响设备的主音量级。多音色合成器是能够同时演奏两个或更多个不同声音的乐器，在多音色合成器的情况下，分别为设备的每个部分设置音量。换句话说，“音量”控制器能够在MIDI设备的16个通道上被不同地设置。“声调”控制器定义“音量”设置的百分比。“音量”控制器用于调整一首乐曲的整个部分的整体音量，而“声调”控制器用于在渐弱中执行渐强。当“声调”为百分之一百时，则音量表示“音量”控制器的真实设置，而当“声调”为百分之零时，“音量”关闭。为了控制再生的整体音量，可以定义所谓的“主音量”，它允许对所有单独的音量设置同时进行控制。

为了从以乐谱形式存储在MIDI文件中的信息中再生一首乐曲，使用MIDI合成器，它生成采样数据，该采样数据形成随后利用电声再生电路生成的声音的基础。将存储在MIDI文件中的乐谱转化成各个采样数据的过程称为再现。从再现MIDI文件中获得的采样数据还可以称为再现数据。在图1中示出在一小段时间内从存储在MIDI文件中的乐谱中再生的采样数据。再现数据的值相对于用于从该数据中产生各自声音的电声换能器的期望延长而改变。为了保证乐谱的高保真度再生，再现数据的值必须不超过极限值，该极限值对应于所使用的电声换能器的最大可能延长和/或者电声再生电路的比例范围。电声再生电路的比例范围由提供给电声电路以产生对应声压的再现数据来定义。由于采样数据的值是利用波表对乐谱数据翻译的结果，因此能够浏览MIDI文件本身以识别其中再现的采样数据的最大值。如果最大音量超过极限值，则将产生带有可以听到的伪声的相应的该首乐曲。

为了避免乐谱对应的不良再生，本发明在利用移动终端的电声再生电路对乐谱进行再生之前对乐谱应用测试再现。典型地，通过使用MIDI合成器再现MIDI文件，随后使用D/A(数字到模拟)转换器转换所获得的采样数据，并通过前置放大器放大所获得的模拟音频信号，将放大器音频信号提供给电声换能器，象例如扬声器，它将电信号转换为相应声波，从而完成乐谱的再生。电子电路包括D/A转换器、放大器和换能器，它们一起形成电声再生电路。与电声再生电路组合的如通常所涉及的MIDI合成器是再生链。

优选地，在将电声再生电路暂停的期间执行采样数据的测试再现，从而能够独立于MIDI文件中存储的乐谱的重放来采用后台的逻辑电路分析所获得的数据。

在本发明的第一实施例中，逻辑电路浏览再现的数据以识别在该数据中存在的最大值。由于采样数据是围绕零线的正值和负值，因此最大值的识别是基于采样数据的绝对值而不是原始值。通过将所识别的最大值与根据所使用的各个电声再生电路而定义的极限值进行比较，逻辑电路定义了增益系数，该增益系数由极限值和所识别的最大值的商给出。当使用该增益系数与从乐谱中获得的所有采样数据相乘时，将没有比极限值高的值。

由于所获得的增益系数仅对所研究的特定MIDI文件有效，因此它必须以保持它与乐谱的相关性的方式存储。优选地，增益系数被存储在保存对应乐谱的MIDI文件中。这可以以许多不同的方法实现。最容易的方法是以控制器的形式存储增益系数，该控制器对于所使用的MIDI合成器是已知的。MIDI标准知道几种未定义的通用类型的控制器，这些控制器可以用于此方面。所使用的MIDI合成器将不得不进行调整，以按照所期望的方式解释新定义的控制器，并将与控制器编号一起存储的值解释为要应用的增益系数。在再现乐谱时，MIDI合成器于是将用从各个控制器中读取的增益系数对所有再现值进行加权。

在使用非修正MIDI合成器时，测试再现中所计算的增益系数优选地用于对在再现时影响采样数据的音量的控制器的设置进行修正。在调整乐谱的整体音量之前，优选地将“主音量”设置的值与以前计算的增益系数相乘。但是，当然还有可能调整对应于“音量”或“声调”控制器的音量控制器消息的值。

图1所示的根据在出现的最大振幅Smax基础上计算的增益系数来修正“主音量”设置对于带有或多或少恒定声级的乐谱是优选的方法。但是，许多乐谱，特别是古典乐谱在从章节到章节的声级上显示出大的变化，这导致在移动终端上收听时听不到低级别的章节。因此，可取的是降低各个乐谱的低级别章节和高级别章节之间的动态范围，从而使级别变化的比将不超过特定值。

对于此方面，在长度Δt的时间窗中监视与采样数据相关联的功率密度，该时间窗被移动经过从再现乐谱中获得的采样数据。当从乐谱的一个章节到下一章节的平均声级有变化时，从移动窗中计算的功率密度将改变它的值。当该变化超过对移动终端的电声再生电路定义的特定值时不得不调整乐谱，以便减小所发现的声级的变化。这通过修改“声调”控制器的值来有效地完成。换句话说，渐强可以用于低音量章节，和/或渐弱可以用于高音量章节。这样，能够调整乐谱来使用电声再生电路的全部动态范围，从而保证即使是在有噪音的环境中也能够听到低音量章节。

优选地，“主音量”控制器被用作第一设置来根据电声再生电路的最大等级调整采样数据的最大值，而“声调”控制器用于升高乐谱的低音量章节的级别。不同的乐器或MIDI通道分别以不同的方式作用于听相应一首音乐时所传递的体验。例如，打击乐器通常用于有节奏的背景，而象钢琴或小提琴之类的其它乐器对于改编乐曲的主旋律起作用，并且因此必须优先对待。因此，MIDI文件的测试再现可适合分别在不同MIDI通道上执行，并且可以进行音量设置的调整，从而使整体声级将不超过由电声再生电路设置的极限值，并且相对于较低优先级的MIDI通道，强调了较高优先级的MIDI通道。这可以通过将用于MIDI通道的每个音量控制的值与增益系数以及进一步与对应于各个MIDI通道的优先级的加权系数相乘来实现。

一些乐谱示出了峰值级，这些峰值级持续时间足够短，以便不会升高它们近邻的平均声级。削去这些峰值振幅的波峰因数不会造成任何可以听到的或者烦人的伪声，因为它们的持续时间太短以至于不会被收听者注意到。为了降低各个峰值振幅的波峰因数，从乐谱再现的采样数据将须经通过动态压缩器或限幅器执行的限幅步骤。它可以恰好在数模转换之前的采样数据的软件处理中完成，或者通过在放大级中的集成的硬件来完成。

直到现在所述的都是基于下述假设，即MIDI文件已经存在并且必须根据移动终端上的电声再生电路的特性进行调整。许多移动终端提供直接在移动终端本身上创作一首乐曲。在本发明的另一实施例中，根据移动终端的电声再生电路的特性对乐谱的调整因此在改编乐谱期间完成。由于与再现乐谱的过程相比，作曲过程通常非常慢，因此乐谱可以在由移动终端的逻辑电路对于参数分析的后台中持续地再现，所述参数是根据电声再生电路特性来持续地调整刚创作的乐谱的已经存在的部分所需要的。

许多移动终端配备有允许访问因特网或者与其它允许从外部资源下载MIDI文件的设备交换数据的接口。在本发明的优选实施例中，在将文件存储在移动终端上之前将对这种下载的MIDI文件进行调整。可替换的是，移动终端可以将识别数据或者与MIDI乐谱的调整相关的技术规范发送到外部资源，从而允许在下载之前在外部资源上调整乐谱。

在不同类型的移动终端上，同一个乐谱将必须以不同的方式进行调整以保证最佳的再生。如果不同移动终端的用户希望交换乐谱，就必须基于发送终端的已调整乐谱在接收终端进行乐谱的调整。反复调整乐谱可使乐曲的基础段(underlying piece)变得不可识别。因此，可取的是保持MIDI文件不变而将再生时调整乐谱所必须的数据保存在移动终端的单独位置中。然后，当再生用于在移动终端上重放的乐谱时，从MIDI合成器使用从测试再生中得到的调整参数。可替换的是，MIDI文件可以如上所述地经过修改后存储，此外，从测试再现中得到的调整参数与MIDI文件相分开来存储在移动终端的不同位置上。然后，在将MIDI文件发送到外部资源时使用这些参数，以从MIDI文件中恢复原始乐谱。

上述用于调整乐谱的本方法的所有特定实施例被有利地实施为移动终端上的软件。对应的软件可以以计算机软件产品的形式来提供，例如以文件的形式，该文件能够通过SMS或MMS发送到移动终端，或者从因特网资源或象例如用户身份模块之类的数据载体下载到移动终端。

图3示出根据本发明的移动终端的图示。移动终端10包括：适于存储MIDI文件的存储装置11，用于再现MIDI文件以获得采样数据的处理装置12，用于将从MIDI文件中获得的采样数据再现为相应声音再生的再生装置13，以及用于以上述方法中的一种或多种调整乐谱的控制装置14。限幅装置可以以控制装置中的软件的形式实现，或者以再生装置13中的硬件的形式实现。限幅装置可以由降低所再现采样数据的波峰因数的动态压缩器构成。

Claims

1.用于根据电声再生电路的传递函数来调整在移动终端中进行再生的MIDI文件中所存储的乐谱的方法，包括下列步骤：

-在移动终端上进行乐谱再生之前，测试再现乐谱以获得采样数据，

-从采样数据中识别对于在移动终端上进行具有最佳的或者期望的声音质量的所期望的电声再生来说重要的一个或多个值或者一个或多个值的组合，

-基于所识别的值，确定适合于对移动终端上所期望的电声再生进行调整乐谱的一个或多个参数，以及

-使用所确定的一个或多个参数来对再生的MIDI文件中所存储的乐谱进行调整。

2.根据权利要求1的方法，其特征在于，在测试再现乐谱时，根据所识别的采样数据的最大绝对值与为电声再生电路定义的极限值的比较来确定增益系数。

3.根据权利要求2的方法，其特征在于，通过将所确定的增益系数存储在保存乐谱的MIDI文件中来调整该乐谱。

4.根据权利要求2的方法，其特征在于，通过利用所确定的增益系数规范化乐谱的至少一个音量设置来调整乐谱。

5.根据权利要求4的方法，其特征在于，乐谱的至少一个音量设置是定义一个或多个设备的音量的第一音量值或者定义在特定时期第一音量值的修正的第二音量值。

6.根据权利要求2的方法，其特征在于，所确定的增益系数与包含乐谱的MIDI文件分开来存储。

7.根据权利要求1-6之一的方法，其特征在于，调整乐谱包括下述步骤：在确定乐谱各自的一个或多个章节中的音量级改变的基础上，对于乐谱的一个或多个章节减少从其中再现得到的采样数据的动态范围。

8.根据权利要求1-6之一的方法，其特征在于，乐谱的测试再现包括用于降低所再现的采样数据的波峰因数的限幅步骤。

9.根据权利要求1-6之一的方法，其特征在于，在将包含乐谱的MIDI文件存储到移动终端之前将执行乐谱的调整。

10.根据权利要求1-6之一的方法，其特征在于，在改编移动终端上或与其分开的乐谱的期间执行乐谱的调整。

11.适于存储和再生以MIDI文件格式存在的乐谱的移动终端，具有：

-存储装置(11)，用于存储MIDI文件，

-处理装置(12)，用于从MIDI文件中再现采样数据，其中所述处理装置(12)适于在移动终端上进行乐谱再生之前测试再现乐谱以获得采样数据，

-控制装置，用于从在测试再现中获得的采样数据中识别对于在移动终端上进行具有最佳的或者期望的声音质量的所期望的电声再生来说重要的一个或多个值或一个或多个值的组合，以及用于基于所识别的值，确定适合于对移动终端上所期望的电声再生进行调整乐谱的一个或多个参数，以及用于使用所确定的一个或多个参数来对再生的MIDI文件中所存储的乐谱进行调整，以及

-再生装置，用于将从存储了经调整的乐谱的MIDI文件中获得的采样数据转化为相应电声再生。

12.根据权利要求11的移动终端，其特征在于还包括限幅装置，用于在再生时降低调整的乐谱的采样数据的波峰因数。

13.根据权利要求12的移动终端，其特征在于形成限幅装置的动态压缩器。