CN1091917C - 数字音频信号之音调升降装置及方法 - Google Patents

Abstract

一种数字音频信号之音调升降装置，用以接收一数字音频信号，并对其频率进行转换。其主要包括：一输入装置，用来接收数字音频信号；一音调处理装置，用来选取数字音频信号中特定长度之样本以进行音调升降处理及得到一变频音框；和一音频信号衔接装置，用来将变频音框与变频音频信号衔接，藉以得到新的变频音频信号。又，音频信号衔接装置包括：一搜寻区电位比较装置、一衔接区电位比较装置、一位元处理装置和一衔接装置。

Description

数字音频信号之音调升降装置及方法

本发明涉及一种数字音频信号之音调升降(pitch shift)装置及方法，且特别是涉及一种在不定音框分割法(unlimited audio framedivision method)之音调升降装置中，用以快速搜寻(fast searching)两音框间衔接点之方法。

在数字音频信号之音调升降处理中，最简单的做法就是将放音的频率加快(音调升高)或变慢(音调降低)，如同将唱盘转速加快或减慢的道理一样。但是，这种做法却会改变原始音频信号的播放时间长度。因此，要如何保有原始音频信号的播放时间长度，并同时达到音调升降的效果，便成为音调升降处理中之首要课题。

陈思平先生在其硕士论文″MPEG解码、音高调整及次频编码之音讯处理演算法研究(On Audio Processing For MPEG Decoding，Pitch-shifting and Sub-band Coding)″中曾提出一种不定音框分割法，其实施情形大致如下：

一、首先由原始音频信号中取出一个样本数N之音框(audioframe)；

二、对上述音框内之样本进行音调升降处理；

三、假设升降频后的音框放音长度变为mN(m＞1为降音；m＜1为升音)，则决定次一个音框为自原始音框中第mN个样本点开始的N个样本；

四、对新音框中各样本进行步骤二中所述之音调升降处理；

五、找出最佳衔接点(optimum connecting point)以衔接上述两个音框；

六、假设衔接后音框的样本数为2mN-X，X为因衔接而舍去的样本数，则再次一个音框为自原始音频信号中第2mN-X个样本点开始的N个样本；以及

七、重覆步骤四至步骤六，直到音调升降处理结束。

在这种不定音框分割法之音调升降处理中，步骤五之衔接点搜寻及衔接方式乃是利用前一个音框的末段资料(即后文中所谓搜寻区(search region))与次一个音框的前段资料(即后文中所谓衔接区(cross region))进行数值对比(以平均绝对值差(mean absolutelyerror)MAE做为判断最佳衔接点的依据)，籍以得到最相似之衔接方式，其参考方程式如下： $\mathrm{MAE}\left(i\right)=\underset{j=0}{\overset{M-1}{\mathrm{\Σ}}}|C\left(j\right)-S(i+j)|---i=0~N-M$

其中，C为衔接区样本，样本数为M；S为搜寻区样本，样本数为N且N＞M；而最佳衔接点则是能够使MAE具有最小值之样本，即衔接区样本与搜寻区样本最相似之位置。

至于衔接动作则依据下列公式进行： $P(i+j)=\frac{j}{M}*C\left(j\right)+\frac{M-j}{M}*S(i+j)---j=0~M-1$

其中，i为最佳衔接点的位置；P为衔接的样本，而P之后则是次一音框的样本。

请参考图1，此为不定音框分割法之数字音频信号在降音情形下之音调升降处理示意图。

在此图例中，假设原始音频信号S0为一组由多个连续数字信号所构成的数字音频信号。首先，自此原始音频信号S0中选出时间长度L1之一组音框D1，如图中标示0至L1-1之间的样本。然后，对此音框D1进行音调降音处理(如改变其播放速度)，则放音的时间变长为L2，藉以得到一组时间长度L2之降频音频信号D1′。

紧接着，再以原始音频信号S0中上一个音框D1起点(即标示0之时间)后距离L2时间长度(即降频后之音框时间长度)处，往后选取时间长度L1之一组音框D2，如图中标示L1至L1+L2-1之间的样本。并以同样方法对音框D2进行音调降音处理，藉以得到一组时间长度L2之降频音框D2′。

接着，进行降频音频信号D1′及D2′的衔接动作。首先，选取降频音频信号D1′后段之部分样本及原始音频信号S0与其后段邻接之部分样本为搜寻区Sa，以及降频音框D2′前段之部分样本为衔接区Ca。然后，对比衔接区Ca与搜寻区Sa中各样本，并依据上述数学式得到降频音框D1′与D2′间的最佳衔接点K1，藉以完成衔接的动作并得到一降频音频信号S0′。

然后，重覆上述步骤直到整个降频处理结束。

至于图2则表示不定音框法之数字音频信号在升音情形下之音调升降处理示意图。

在图例中，假设原始音频信号S1为一组由多个连续数字信号所构成之数字音频信号。首先，自原始音频信号S1中选出时间长度L3之一组音框D3，如图中标示0至L3-1之间的样本。然后，对此音框D3进行音调升音处理(如加快其播放速度)，则放音的时间缩短为L4，藉以得到一组时间长度L4之升频音频信号D3′。

紧接着，再以原始音频信号S1中上一个音框D3起点(即标示0之时间)后距离L4长度(即升频后之音框时间长度)处，往后选取时间长度L3之一组音框D4，如图中标示L3至L3+L4-1之间的样本。并以同样方法对音框D4进行音调升音处理，藉以得到一组样本数L4之升频音框D4′。

接着，进行升频音频信号D3′及升频音框D4′的衔接动作。

首先，选取升频音频信号D3′后段之部分样本及原始音频信号S1与其后段邻接之部分样本为搜寻区Sb，以及升频音框D4′前段之部分样本为衔接区Cb。然后，对比衔接区Cb与搜寻区Sb中各样本，并依据上述数学式得到升频音频信号D3′与升频音框D4′间的最佳衔接点K2，籍以完成衔接的动作并得到一升频音频信号S1′。

以及，重覆上述步骤直到升频处理完成。

不过，这种不定音框分割法之音调升降处理在N＝160、M＝80、放音频为16千赫的情况下，每10毫秒必须进行(80+79)*80＝12720次加减运算(即每秒钟至少要进行1272000次加减运算)，这样的运算成本实在是太大了。因此，要将不定音框分割法应用于消费性产品中，便必需找到一种简易有效之衔接点搜寻方法，且该方法要能以简单的硬件线路完成。

有鉴于此，本发明的主要目的就是在提供一种数字音频信号之音调升降装置及方法，其利用位元运算以简化两音框间衔接点的搜寻，因此可大量减少运算成本及以简易硬件线路以完成。

为达到本发明之上述及其他目的，本发明乃提出一种数字音频信号之音调升降方法，用以接收一数字音频信号，并对其频率进行转换，藉以得到一变频音频信号。其步骤包括：首先，选取数字音频信号中特定长度R之样本为第一原始音框进行频率转换，变频后，时间长度由原来L变成L′，藉以得到时间长度L′之第一音框做为变频音频信号。然后，自该原始数字音频信号中L′时间处开始选取R个样本为第二原始音框进行频率转换，藉以得到一新时间长度L′之第二变频音框。然后，衔接该第二变频音框及该变频音频信号，籍以得到更新后之变频音频信号。以及，重覆步骤前两个步骤，藉以完成该数字音频信号之音调升降。

其中，前述衔接之步骤包括：首先，自变频信号后段选取长度N之样本为搜寻区，并将搜寻区中各样本与参考电位比较，藉以得到一搜寻区位元资料(bit sequence)，表示该搜寻区中各样本之振幅情况。然后，自第二变频音框前段选取长度M之样本做为衔接区(通常N＞M)，并将衔接区各样本与参考电位比较，藉以得到一衔接区位元资料，表示衔接区中各样本之振幅情况。最后，以位元比较方式比较衔接区及搜寻区中所有长度M之子搜寻区的位元资料，藉以得到对应之不相似度(non-similarity)；以及，将衔接区及对应之子搜寻区(sub-search region)中衔接，籍以得到更新后之变频音频信号。

此外，本发明中衔接区及搜寻区中各长度M之子搜寻区的位元比较可以XOR逻辑电路完成，而其对应之不相似度则是XOR逻辑电路输出结果中1的数目。

另外，本发明亦提供一种数字音频信号之音调升降装置，用以接收一数字音频信号，并对其频率进行转换。其主要包括一输入装置、一音调处理装置及一音频信号衔接装置。输入装置是用来接收数字音频信号。音调处理装置是用来选取数字音频信号中特定长度之样本以进行音调升降处理及得到一变频音框。而音频信号衔接装置则是将变频音框与变频音频信号衔接，藉以得到新的变频音频信号。又，音频信号衔接装置可包括：一搜寻区电位比较装置，以变频音频信号后段长度为N之样本为搜寻区样本进行比较，籍以得到一搜寻区样本之位元资料；一衔接区电位比较装置，以变频音框前段长度为M之样本为衔接区样本进行比较，藉以得到一衔接区样本之位元资料；一位元处理装置，对比衔接区样本之位元资料及搜寻区样本中所有长度M之样本所组成之子搜寻区样本的位元资料，籍以得到对应之不相似度；以及一衔接装置，选取最小不相似度之子搜寻区样本以进行与变频音框与变频音频信号之衔接。

为让本发明之上述和其他目的、特征、和优点能更明显易懂，下文特举一较佳实施例，并配合附图，作详细说明如下，图中：

图1为不定音框分割法之数字音频信号在降音情形下之音调升降处理示意图；

图2为不定音框分割法之数字音频信号在升音情形下之音调升降处理示意图；

图3A及图3B分别为本发明数字音频信号之音调升降装置及方法中搜寻区样本及衔接区样本之示意图；

图4为本发明数字音频信号之音调升降装置之电路方块图及其处理方法之示意图；

图5为本发明数字音频信号之音调升降方法中音调升降之处理示意图。

承上所述，由于不定音框分割法之音调升降处理在现有方法中是利用平均绝对值差(即上述数学式)做为衔接点搜寻之依据，因此，必须花费相当大的运算成本及硬件成本方能达到衔接点的搜寻。

此外，在数字音频信号之音调处理中，由于一音框的时间长度非常小(通常在20至30毫秒之间)，音框内的资料具有统计上不变的特性(stationary)。并且，由于两相邻音框内各样本所组成之波形形状、振幅、大小均很类似，且音调信息的差异常来自各样本组成之波形的上下振幅，因此，衔接点便可以仅针对搜寻区及衔接区之样本组成之波形的上下振幅进行对比而得到。

而本发明便根据这种特性以位元比较的方式提供一种数字音频信号之音调升降装置及方法，其仅就搜寻区及衔接区之上下摆动进行对比，故可以大量减少音框间衔接点搜寻所花费的运算、硬件成本。

请参考图5，此为本发明数字音频信号之音调升降方法中音调升降之处理示意图，用以接收一数字音频信号，并对其频率进行转换，藉以得到一变频音频信号。

首先，选取该数字音频信号中特定长度之样本为第一原始音框进行频率转换，籍以得到一时间长度L6之第一音框做为该变频音频信号。

在图例中，假设原始音频信号S2为一组由多个连续数字信号所构成之数字音频信号，如图1及图2中所示。首先，自原始音频信号S2中选出时间长度L5(即图中标示0～L5-1之间的样本)之音框做为第一原始音框D5。然后，对第一原始音框D5进行音调升降处理(如加快或放慢其播放速度)，则放音的时间缩短或增长成为L6，藉以得到一组时间长度L6之第一音框D5′做为所要的变频音频信号S2′。

接着，选取该数字音频信号中自该第一原始音框时间L6处(即变频后第一音框之时间长度)开始之L5时间长度之样本(即图中标示L6～L5+L6-1之间的样本)为第二原始音框D6进行音调升降处理，藉以得到一组时间长度L6之第二变频音框D6′。

然后，进行变频音频信号D5′及变频音框D6′的衔接。

不同于现有的是，本发明中利用位元比较的方式减低了现有数值对比的复杂度。

请参考图3A及图3B，其分别用来代表本发明数字音频信号之音调升降方法中搜寻区及衔接区样本的示意图。其中，搜寻区Sc可以是从变频音频信号D5′后段及所邻接之数字音框S2中选取之N个样长。而衔接区Cc则可以是从第二变频音框D6′前段所选取之M个样本。

且，在这个步骤中，搜寻区Sc之所以包括部分邻接数字音频信号乃是为了寻找一合理的衔接点。并藉由数个变频音框的衔接，如D5′和D6′的衔接，使变频后整体放音时间更逼近原数字音频信号S2。

又，请参考图4，此为本发明数字音频信号之音调升降方法的音调处理示意图。其中，为了节省运算及硬件成本，首先，将搜寻区Sc及衔接区Cc内之样本经过一组电位比较装置20、30进行电位比较，籍以使大于参考电位Vref(如0V)之样本输出″1″，而小于参考电位之样本则输出″0″，分别代表搜寻区Sc及衔接区Cc之样本的上下振幅情况及分别做为搜寻区位元资料Sd及衔接区位元资料Cd。

然后，以位元比较方式比较衔接区Cc及搜寻区Sc中各具有衔接区Cc长度之子搜寻区Ssub的位元资料。并计算该XOR逻辑电路之处理结果中代表衔接区Cc及各子搜寻区Ssub之位元资料相异的位元数目，藉以做为衔接区Cc及各子搜寻区Ssub所对应之不相似度。在本实施例中，衔接区样本Cc及各子搜寻区样本Ssub的对比方式可以用一个XOR运算装置完成，即计算XOR运算所得结果中代表1之位元数(即位元资料相异之数目)，用以做为其对应之不相似度。

最后，将衔接区Cc与子搜寻区Ssub中对应最小不相似度之子搜寻区衔接(例如以一计数装置计算该XOR逻辑电路之处理结果中1的数目做为各子搜寻区对应之不相似度，以及以一数值比较器比较各不相似度，籍以求出最小不相似度所对应之子搜寻区及其对应之样本K)，藉以得到新的变频音频信号S2’；以及，重覆上述步骤以完成整个音调升降处理。

在此方法中，由于数字音频信号细分为长度约20-30毫秒之音框，且衔接区Cc及子搜寻区Ssub之对比是以一电位比较装置完成，故电路的成本可以减低，并可实用于一般音调处理装置中。

另外，本发明亦提供一数字音频信号之音调装置，其用以接收由多个样本依序组成之一数字音频信号，并将之转换成一变频音频信号。该装置主要包括：一输入装置、一音调处理装置及一音频信号衔接装置。输入装置是用来接收数字音频信号。音调处理装置是用以选取数字音频信号中一特定长度之样本进行音调升降处理，籍以得到一变频音框。而音频信号衔接装置则将变频音框衔接于变频音频信号，藉以得到新的变频音频信号。

其中，音频信号衔接装置包括：一搜寻区电位比较装置20、一衔接区电位比较装置30、一位元处理单元40及一衔接装置50。

搜寻区电位比较装置20是自变频音频信号S2′后段及其邻接之数字音频信号S2中选取特定长度，如N个样本做为搜寻区进行电位比较，藉以得到一搜寻区位元资料Sd，对应于该搜寻区Sc内各样本之振幅。如：自音框D5′后段及邻接之数字音频信号S2中选取长度N之样本做为搜寻区，并以一电位比较装置20将之与一参考电位，如0V进行比较，藉以得到一音框D5′之位元资料。

而衔接区电位比较装置30则自第二变频音频信号D6′前段选取长度M之样本做为衔接区进行电位比较，藉以得到一衔接区位元资料Cd，对应于该衔接区Cc内各样本之振幅情况。如：以一电位比较装置30比较一参考电位，如0V及音框D6′前段长度M之样本，藉以得到一音框D6′之位元资料。

位元处理装置40是用来对比该衔接区Cc及该搜寻区Sc中各长度M之样本所组成之子搜寻区Ssub的位元资料，藉以得到一对应之不相似度。如，利用一XOR逻辑电路依序对比音框D5′及D6′之位元资料中各位元之异同，并计算该结果中位元″1″或″0″的数目(如利用计数器达成)，藉以做为对应之不相似度。

而衔接装置50则找出最小不相似度对应之子搜寻区及其对应之样本k，并将该变频音框D6′衔接于该变频音频信号D5′，籍以得到该新的变频音频信号S2′。如，以比较器比较所有不相似度，并从中得到一具有最小不相似度之子搜寻区样本，然后，以这个子搜寻区样本之起点(如样本点K)为音框D5′及D6′之衔接点，藉以衔接两变频音框。

综上所述，本发明数字音频信号之音调处理装置及方法可应用简易电路便完成不定音框分割法之音调升降处理中，各音框间之衔接，其减少运算及硬件的成本至多，可运用于一般音调处理系统中。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技术者，在不脱离本发明之精神和范围内，当可做更动与修改，因此本发明之保护范围当视所附之权利要求书所界定者为准。

Claims (12)

1.一种数字音频信号的音调升降方法，用以接收一数字音频信号，并对其频率进行转换，借以得到一变频音频信号，其特征在于，该方法包括下列步骤：

(a)自起点选取该数字音频信号中特定长度为R的样本为第一原始音框进行频率转换，该第一原始音框在变频后时间长度由L变成L1，借以得到一时间长度L1的第一音框做为该变频音频信号S；

(b)以该原始数字音频信号中该起点后长度为L1时间处开始选取特定长度为R的样本为第二原始音框进行频率转换，借以得到一时间长度为L2的第二变频音框L2；

(c)衔接该第二变频音框L2及该变频音频信号S，借以得到更新后的变频音频信号S，并将其时间长度重新赋值于L1；以及

(d)重覆步骤(b)、(c)，借以完成整个数字音频信号的音调升降；

其中，步骤(c)包括：

自该变频信号后段及其邻接的数字音频信号中选取长度为N的样本做为一搜寻区，并将该搜寻区中各样本与一参考电位比较，借以得到一搜寻区位元信号，表示该搜寻区中各样本的振幅情况；

自该第二变频音框前段选取长度为M的样本做为一衔接区，并将该衔接区各样本与该参考电位比较，借以得到一衔接区位元信号，表示该衔接区中各样本的振幅情况；

以位元比较方式比较该衔接区及该搜寻区中所有长度为M的子搜寻区的位元信号，借以得到该衔接区及该些子搜寻区间所对应的不相似度；以及

将该衔接区及该些子搜寻区中对应最小不相似度的子搜寻区衔接，借以得到更新后的变频音频信号。

2.如权利要求1所述的音调升降方法，其中，该搜寻区及该些子搜寻区间所对应的不相似度的形成步骤包括：

以位元比较方式比较该衔接区及该搜寻区中各长度为M的子搜寻区的位元信号，借以得到一不相似度位元信号；以及

计算该不相似度位元信号中代表位元相异的位元数目，借以做为该衔接区及该子搜寻区所对应的不相似度。

3.如权利要求1所述的音调升降方法，其中，该搜寻区样本的长度N大于该衔接区样本的长度M。

4.如权利要求3所述的音调升降方法，其中，该搜寻区样本是由该变频音频信号中的后段长度为N的样本所组成。

5.如权利要求1所述的音调升降方法，其中，该位元对比该搜寻区样本及该衔接区样本中所有以长度M的连续样本组成的子搜寻缓冲音框的步骤是以一XOR步骤完成。

6.如权利要求5所述的音调升降方法，其中，该不相似度是由该XOR步骤的结果中位元“1”的数目来表示。

7.一种数字音频信号的音调升降装置，用以接收一数字音频信号，并对其频率进行转换，借以得到一变频音频信号，其特征在于，该音调升降装置包括：

一输入装置，用以接收该数字音频信号；

一音调处理装置，用以选取该数字音频信号中一特定长度的样本进行音调升降处理，借以得到一变频音框；以及

一音频信号衔接装置，将该变频音框衔接于该变频音频信号，借以得到更新后的变频音频信号；

其中，该音频信号衔接装置包括：

一搜寻区电位比较装置，自该变频音频信号后段及其邻接的数字音频信号中选取长度N的样本为搜寻区进行电位比较，借以以得到一搜寻区位元信号，表示该搜寻区内各样本的振幅情况；

一衔接区电位比铰装置，自该变频音框前段选取长度M的样本为衔接区进行电位比较，借以得到一衔接区位元信号，表示该衔接区内各样本的振幅情况；

一位元处理装置，对比该衔接区及该搜寻区中各长度M的样本所组成的子搜寻区样本的位元信号，借以得到该衔接区及该子搜寻区所对应的不相似度；以及

一衔接装置，将该衔接区与该些子搜寻区中对应最小不相似度的子搜寻区衔接，借以得到更新后的变频音频信号。

8.如权利要求7所述的音调升降装置，其中，该衔接区电位比较装置是以一参考电位进行电位比较。

9.如权利要求7所述的音调升降装置，其中，该搜寻区电位比较装置是以一参考电位进行电位比较。

10.如权利要求8或9所述的音调升降装置，其中，该参考电位为0V。

11.如权利要求7所述的音调升降装置，其中，该位元处理装置为一执行XOR运算的逻辑电路。

12.如权利要求7所述的音调升降装置，其中，该不相似度是由该XOR步骤的结果中位元“1”的数目来表示。

Images