CN1137666A - 可从多个声部中有选择地导出和声声部的声音信号处理器 - Google Patents

Abstract

一种声音信号处理器中，一输入装置输入含有组成一乐曲的多个旋律声部的复音声音信号。一探测装置探测含在输入复音声音信号内的多个旋律声部中的一个特定旋律声部。一提取装置从输入复音声音信号中提取出所探测到的旋律声部。一和声发生装置移动所提取的旋律声部的音调，以产生一代表附加在和声声部的和声信号。一输出装置把所产生的和声信号混合到输入复音声音信号中，以使发出的乐曲声含有从多个旋律声部中的一个特定旋律声部所导出的附加和声声部。

Description

可从多个声部中有选择地导出和声声部 的声音信号处理器

本发明涉及一种能在例如歌唱声信号的旋律声音信号中引入一个和声信号的声音信号处理器，较具体地说，涉及一种能在多个当前输入的旋律声音信号中有选择地加上一个与某个有特定旋律的歌声信号相和谐的声音信号的声音信号处理器。

在以往技术中，为了鼓励卡拉OK歌唱，已知有一种卡拉OK设备，它能够产生一个例如比卡拉OK歌唱者的歌声高三度的和声，并能使该和声和原来的歌声同时复现。一般，该卡拉OK设备的这种和声功能是通过把歌声信号移动一个音调以产生和声信号而达到的。

用卡拉OK设备可得到的卡拉OK歌曲可以包括双重唱歌曲，这种歌曲由多个旋律声部组成，并由多个(2个)歌唱者演唱。在表演双重唱歌曲时，两个歌唱声被同时输入给卡拉OK设备，普通具有和声功能的卡拉OK设备给所有的输入歌声信号加上和声，使得复现的歌声的多个声部互相干扰，趋于模拟不清，结果不是鼓励了卡拉OK表演，而是扰乱了双重唱的声音。

本发明的目的是提供一种卡拉OK设备，即使输入多个歌唱声时，它也能够从输入的复音声音信号中提取出一个特定的声部，并且有选择地产生与该特定声部相和谐的声音信号。

根据本发明，一个声音信号处理器包括：一个输入装置，用来输入含有组成乐曲的多个旋律声部的复音声音信号；一个探测装置，用来探测含在输入复音声音信号中的该多个旋律声部中的预定的一个；一个提取装置，用来从输入复音声音信号中提取所探测到的旋律声部；一个和声发生装置，用来把所提取的旋律声部移动一个音调，以产生代表附加和声声部的和声信号；以及一个输出装置，用来把所产生的和声信号混合到输入复音声音信号中，以使发出的乐曲声含有从那个预定旋律声部导出的附加和声声部。在一个特定的形式中，输入装置输入一个含有一个主旋律声部和一个非主旋律声部的复音声音信号，探测装置专门探测主旋律声部，使得从该主旋律声部导出的附加和声声部被引入到乐曲声中，或者，输入装置输入一个含有一个主旋律声部和至少一个非主旋律声部，并且探测装置探测该非主旋律声部。

下面说明根据本发明的声音信号处理器的工作过程。首先，通过声音信号输入装置输入复音声音信号。例如，可以把该声音信号处理器加在一个卡拉OK设备上，其中的声音信号输入装置可以是例如卡拉OK歌唱者的麦克风这样的拾音器和一个用来放大该麦克风输出的放大器。特定声部探测装置探测对应于输入的多个旋律声部中某一特定旋律声部的声音信号成分。该特定声部例如可以是主旋律声部、和声声部及对唱(call and response)声部中的一个声部，该特定声部可以根据表明该特定声部的模式的存储信息来探测。当某一声部与所存储的信息相符合时，该特定声部便被探测出来。或者，当确认某一声部符合一个给定的规律时，也可以探测出该特定声部。例如，对于准备以主旋律声部作为该特定声部时，这个规律可以是它的最高音符。被探测到的对应于该特定声部的声音信号成分被从输入复音声音信号中提取出来。如果复音声音信号是通过例如多个分立的麦克风那样的多个独立输入通道而集合地输入的，那末该特定声部声音信号成分可以通过选择出输入特定声部声音信号的那个输入通道而提取出来。否则，如果复音声音信号是通过一个例如单个拾音装置或单个麦克风那样的公共输入通道输入的，那末就利用滤波技术把对应于该特定声部基频的频率成分从复音声音信号中分离出来。为了产生和声信号，移动所提取的特定旋律声部的音调。音调的移动可以简单地通过改变时钟(频率)来读出已被数字化并暂时存储了的该特定旋律声部的声音信号成分而实现。或者，可以不改变该特定声部的频谱包络，而通过移动该特定声部的声音的频率成分来产生和声信号。所产生的和声信号与输入复音声音信号混合在一起，从而复现出伴随有多采和声的组合声音信号。

图1是示出作为本发明一个实施例的卡拉OK设备的原理方框图。

图2A和2B示出由该卡拉OK设备所处理的歌曲数据的结构。

图3示出对一个输入复音声音信号的自相关分析。

图4示出一种移动声音信号的音调的方法。

图5是示出作为本发明另一个实施例的卡拉OK设备的原理方框图。

图6是示出作为本发明又一个实施例的卡拉OK设备的原理方框图。

图7A、7B及7C示出了一个复音声音信号及其成分。

下面将参考附图说明作为本发明一个实施例的卡拉OK设备。该卡拉OK设备的结构形式是一个有声源卡拉OK设备。有声源卡拉OK设备通过根据卡拉OK歌曲数据来驱动一个声源装置以产生卡拉OK声音。歌曲数据是由一些平行的迹道所组成的一系列数据，这些迹道记录了指明演奏音符等的音调和时序的演奏数据序列。该卡拉OK设备具有和声功能，它能产生相对于卡拉OK歌唱者原来歌声信号有三度或五度音调差别的和声。这种和声是通过移动卡拉OK歌唱者声音信号的音调来产生和复现的。还有，即使在两个歌唱者独立地演唱两个旋律声部的双重唱表演情形下，该设备也能够探测出主旋律声部，并且仅仅对所探测到的主旋律声部产生附加的和音声部。

图1是该卡拉OK设备的原理方框图。图1示出一个含在该卡拉OK设备内的声音信号处理器，它用来产生卡拉OK陪伴声，并用来处理卡拉OK歌唱者的歌唱声。另一方面，用来显示歌词或背景图像的显示控制器、歌曲请求控制器，以及其他部件没有在图中示出，这是因为它们具有和以往技术相同的普通结构。用来演出卡拉OK歌曲的歌曲数据存储在HDD15中。该HDD15存储了几千个歌曲数据文件。利用一个歌曲选择器选出所希望的标题，一个程序装置14就读出所选择的歌曲数据。该程序装置14带有一个用来暂时存储所读出的歌曲数据的存储器，和一个用来从该存储器中依次地读出数据的序列程序处理器。该读出的数据受到逐个迹道的预定的处理。

图2A和2B示出歌曲数据的结构。在图2A中，歌曲数据含有一个引头部分，其中含有歌曲的标题和种类，接着是一个器乐迹道，一个主旋律迹道，一个和声迹道，一个歌词迹道，一个歌声迹道，一个效果迹道，和一个声音数据块。如图2B所示，主旋律迹道由一系列过程数据(event data)和时间数据Δt组成，后者指明了两个相邻过程之间的时间间隔。程序装置14以预定频率的时钟对时间数据Δt进行计数。当计数完时间数据Δt之后，程序装置14就读出下一个过程数据。主旋律迹道的过程数据被分配给一个主旋律探测器23，以选出或探测出含在由多个卡拉OK演唱者输入的复音声音信号内的主旋律声部。也就是说，主旋律数据的过程数据被用作为特定声部的信息，以探测象主旋律声部这样的特定声部。

至于主旋律迹道之外的其余迹道，也即器乐声迹道、和声迹道、歌词迹道、歌声迹道和效果迹道，它们与主旋律迹道相似，也是由一系列过程数据和时间数据组成的。器乐声迹道又包括多个亚迹道，例如卡拉OK伴音的器乐旋律迹道、节奏迹道、以及和弦迹道。

在卡拉OK表演时，程序装置14从器乐声迹道读出过程数据，并把该过程数据输送给声源16。声源16根据该过程数据产生音乐伴声。歌词迹道是一个序列迹道，用来在监视器上显示歌词。程序装置14从歌词迹道读出过程数据，并把该数据输送给一个显示控制器。该显示控制器根据过程数据控制歌词的显示。歌声迹道是一个序列迹道，用来指定象背景合唱和对唱合唱这样的人声的产生时刻，这种声音是难以用声源16来合成的。该合唱声信号作为多个声音数据记录在歌声数据块中。在卡拉OK表演时，程序装置14从歌声数据迹道中读出过程数据。由该过程数据所指明的歌声数据被送给一个相加器28。效果迹道是一个序列迹道，用来控制由含在声源16内的一个DSP所组成的效果器。该效果器把象混响这样的声响效果传递给输入信号。效果过程数据被输送给声源16。声源16根据从程序装置14接收到的器乐声迹道的过程数据，产生具有指定音色、音调和音量的器乐声信号。所产生的器乐声信号被输送给DSP13中的相加器28。

该卡拉OK设备带有一个具有单个的或公用的麦克风10形式的输入装置或拾音装置。当双重表演中有一对歌唱者唱歌时，两个歌声通过单个麦克风10输入。由麦克风10输入的歌声的复音声音信号被一个放大器11放大，然后被一个ADC(模数转换器)12转换成数字信号。转换成数字的声音信号被输送给DSP13。DSP13存储一些用来执行由图1方框简要示出的各种功能的微程序，并执行这些微程序以在数字声音信号的每个采样周期内完成这些方框所示的所有功能。

在图1中，通过ADC12输入的数字信号被输送给一个自相关分析器21以及延时器24和27。自相关分析器21分析输入复音声音信号中一个最大值或峰值的周期，并探测出多个卡拉OK歌唱者歌声的基频。

检测基频的基本原理示于图7A至7C中。图7C示出了一个输入复音声音信号的波形，而图7A和7B示出了包含在该输入复音声音信号中的两个频率成分的波形。示于图7A中的第一成分具有较长的周期A，而示于图7B的第二成分具有较短的周期B。例如，周期B为周期A的三分之二。检测该输入复音声音信号的各峰或最大值以使该第二频率成分的较短周期B被确定为该输入复音声音信号的第一和第二峰之间的时间间隔。该输入复音声音信号的第三个峰落在周期B内。因此，该第三个峰被从第二频率成分的峰中区别出，并被判定属于第一频率成分。相应地，该第一频率成分的较长周期A被确定为第一和第三峰之间的时间间隔。基频即通过求所检测到的周期的倒数给出。

图3示出自相关分析器21执行自相关分析的一个方法。自相关分析的理论在本领域内是公知的，因此省略了其计算细节。由于一个周期信号的自相关函数也是一个具有与原来信号相同周期的周期性信号(即，输入复音声音信号)，因此不论信号的时间原点在什么地方，采样周期为P的信号的自相关函数总是在0、±P、±2 P…采样点上达到极大值。该周期P对应于示于7A和7B中的周期A和B。这样，可以通过搜索自相关函数的第一个极大值来估计信号的周期。在图3中，在多个点上出现了极大值，而且其中每个点都不成整数比例关系，因此可以看出这些值分别对应于两个有不同频率分布的歌唱者的歌声的不同周期。这样，就可以对这对卡拉OK歌唱者分别探测出他们的歌声的基频。自相关分析器21把所探测到的基频信息提供给一个歌声分析器22和一个主旋律探测器23。由于含在歌声中的强声具有周期性的波形，而轻声却具有噪声式的波形，所以自相关分析21能够把它们互相区别出来。强声/轻声探测的结果被提供给歌声分析器22。

主旋律探测器23根据从程序装置14输入的主旋律信息(主旋律迹道的过程数据)来判断含在从自相关分析器21输入的复音声音信号内的各基频中哪一个基频对应着主旋律声部的歌声。该判断结果被提供给一个主旋律提取器25。

歌声分析器22根据包括有从自相关分析器21输入的基频数据的分析信息，来分析歌唱表演的状态。歌唱表演状态是指，正在演唱的歌唱者的人数是0(无声时期，例如间隔时期)、是1(独唱时期或对唱时期)，还是2或更大(双重唱时期)。歌声分析器22探测歌唱表演的状态，还在当时有多个歌唱者在唱歌时探测主旋律声部之外的非主旋律声部的歌声是否与主旋律声部相谐和。这个探测是根据从程序装置14输入的和声信息(和声迹道的过程数据)来进行的。歌声分析器22也还探测主旋律声部的歌声目前是在强声的元音时期还是在轻声的子音时期。

歌声分析器22分析的结果来控制主旋律探测器23和主旋律提取器25的工作。如果所探测到的歌唱表演状态是无声时期，则因为不需要主旋律声部探测和主旋律声部提取，所以在无声时期使主旋律探测器23和主旋律提取器25不工作。如果两位歌唱者中的一位在演唱主旋律声部而另一位在演唱其和声声部，则由于为了防止与正在演唱的和声声部相重叠而不应该产生和声，所以使主旋律提取器25不工作。使主旋律提取器不工作将令音调移动器26停止产生和声。

或者，如果两位歌唱者中的一位在演唱主旋律声部而另一位在演唱其和声声部时，也有可能要把主旋律声部的音调移动到比另一位所演唱的和声声部高几度或低几度。例如，当另一位的歌声比主旋律声部高三度时，音调移动器26可以把主旋律声部的音调提高五度，以产生不同于这另一位正在演唱的和声声部的另一个和声声部。

此外，如果探测出两位歌唱者只有一位在演唱，则因为所唱的声部必然是主旋律声部，所以使主旋律探测器23不工作。同时命令主旋律提取器25让输入的歌声声音信号原封不动地通过。这样，独唱者的歌声直接从延时器24输送给音调移动器26。

主旋律提取器25的工作内容根据主旋律歌声是位在强声声音时期还是位在轻声声音时期的不同而不同。如果主旋律声音信号是强声的元音声，则该声音信号比较简单地由基调(基频)的一些谐波组成，所以通过滤去这些组分中的揩波成分就可实现主旋律声部的提取。另一方面，如果主旋律声音信号是轻声的子音声，则由于所发出的声音含有许多非线性的噪声成分，所以主旋律声部的提取方法将不同于用来提取强声信号的方法。

由主旋律提取器所提取的主旋律声音信号，或者直接通过主旋律提取器25的独唱者的声音信号，被输送给音调移动器26。音调移动器26根据由程序装置14提供的和声信息来移动输入信号的音调，所得到的信号被输送给相加器28。音调移动器26保留从前一级输入的信号的频谱包络形状，只移动该频谱包络范围内的频率成分。每个移动音调后的成分的大小调整得和图4所示的频谱包络相重合。这样，只有音调(频率)被移动了，而声音的音色没有改变。

在图1中，相加器28接收这样产生的和声信号以及卡拉OK伴音信号，和弦音信号直接从程序装置14输入，歌声信号通过ADC(模数转换器)12和延时器27直接输入。相加器28把歌声信号、和声信号、卡拉OK伴音信号、以及和弦声信号混合起来，以综合出一个立体声信号。该混合声信号由DSP13分配给一个DAC(数模转换器)17。该DAC17把输入的数字立体声信号转换成模拟信号，并把它输送给一个功率放大器18。该功率放大器18放大输入的模拟信号，通过扬声器19该放大的信号便被复现出来。在DSP13和各个模块之间插入两个适当的延时器24和27是为了补偿自相关分析器21和主旋律探测器23等等中的信号延时。这样，该卡拉OK设备分析通过单个麦克风10输入的歌声的复音声音信号，探测多声部(两声部)的歌声中哪一个对应于主旋律声部，并有选择地对相应于主旋律声部的歌声产生和声部分，使得即使在双重唱卡拉OK表演时也只有在主旋律上加上了和声。

图5是作为本发明另一个实施例的卡拉OK设备的原理方框图。图1(第一实施例)和图5实施例所示卡拉OK设备的差别在于，图5所示设备中带有给各个卡拉OK歌唱者使用的多个麦克风(图5中为两个)。各个歌唱者的歌声信号被分立地或独立地输送给DSP36。在图5中，存储器模块、从其中读出卡拉OK歌曲数据的读出装置、以及当歌声信号和卡拉OK伴音信号互相混合之后的声音信号处理系统都标以与图1相同的代号。因为它们与第一实施例中的一样，下面将略去对它们的说明。

用于双重唱的两个麦克风30、31的输出分别由放大器32和33放大，然后在输入给DSP36之前被ADC34和35转换成数字信号，在DSP36中，由麦克风30输入的第一歌声信号被输送给自相关分析器41、延时器44相加器47。由麦克风31输入的第二歌声信号被输送给自相关分析器42、延时器44和相加器47。自相关分析器41和42分别分析第一和第二歌声信号的基频。在这样的布局中，自相关分析器41和42在分析基频时不需要把这两个歌声互相分开。分析的结果被输送给一个歌声分析器43。该歌声分析43根据输入的两个歌声信号的基频以及从程序装置14输入的关于主旋律和和声旋律的信息，检验或探测歌唱者人数、主旋律以及和声等。也就是说，歌声分析器43探测是否有两位歌唱者在表演双重唱，如果是双重唱，则探测哪位歌唱者在唱主旋律声部，以及一个歌声信号是否与另一个相谐和。如果探测到主旋律声部，则向选择器45输送一个相应的选择信号。该选择器45转换信号通道，把探测到的主旋律声部的歌声信号分配给音调移动器46。该音调移动器46根据从程序装置14输入的和声信息移动输入声音信号的音调，以产生和声。和声信息设计用来确定主旋律的音调移动量，以产生相应的和声旋律。

和声信号被输送给相加器49。相加器49接收该和声信号，以及来自声源16的卡拉OK伴音信号、从程序装置14直接输入的和弦信号、还有通过ADC34和35、相加器47和延时器48直接输入的歌声信号。相加器49把歌声信号、和声信号、卡拉OK伴音信号以及和弦信号等混合起来，以产生一个立体声信号。该混合的声音信号被DSP36分配给DAC17。在上述实施例中，只有对应于双重唱中主旋律声部的歌声信号被加上和声。然而，也有可能有选择地对不是主旋律声部的非主旋律声部，例如对唱声部产生和声。还有，也有可能同时对主旋律声部和非主旋律声部两者产生和声。例如，在图5所示的设备中，通过下述安排便可以选择和提取出所希望的声部来产生和声，该安排使选择器45可以转换到所希望的声部(主旋律声部或其他声部)上，并使得可以根据选择器45的状态来把相应的主旋律声部或其他声部的和声信息分配给音调移动器46。

图6示出一个实施例，其中有多个歌声信号输入到单个拾音器中。在图6中，和图1中相同的部件用相同的代号表示，下面将略去对这些部件的说明。在该实施例中，存储在程序装置14中的歌曲数据不是主旋律迹道而是一个特定声部的迹道。一个特定声部探测器53接收来自程序装置14的特定声部迹道的过程数据，并探测含在来自自相关分析器21的复音声音信号中的哪一个基频对应于该特定声部。探测的结果输入到一个特定声部提取器55中。该特定声部提取器55对应于复音声音信号中的特定声部的频率成分。提取出的特定声部成分被输送给音调移动器26。该音调移动器26移动输入信号的音调，从而丰富了该特定声部的声响。

如上所述，根据本发明，即使输入了声音信号的多个声部，也能够从输入信号中探测并提取出特定的声部，例如主旋律声部的声音信号，以便有选择地产生对应于所提取的声音信号的和声信号，使得即使对于输入复音声音信号的情形也能够仅仅引入从该特定声部导出的和声，从而能够大为鼓励卡拉OK演唱。还有，由于从复音声音信号中探测出了主旋律，所以即使当多个歌唱者互相交换他们的声部，也可以从歌声中提取出主旋律来。

Claims (10)

1、一个声音信号处理器，它包括：

一个输入装置，用来输入包含有组成乐曲的多个旋律声部的复音声音信号；

一个探测装置，用来探测含在输入的复音声音信号中的多个旋律声部中的一个预定声部；

一个提取装置，用来从输入的复音声音信号中提取探测到的旋律声部；

一个和声发生装置，用来移动所提取的旋律声部的音调，以产生代表附加和声声部的和声信号；以及

一个输出装置，用来把所产生的和声信号混合到输入的复音声音信号中，使发出的乐曲声含有从该预定的旋律声部中导出的附加和声声部。

2、根据权利要求1的声音处理器，其中的输入装置输入包含有一个主旋律声部和一个非主旋律声部的复音声音信号，其中的探测装置专门探测主旋律声部，使从该主旋律声部导出的附加和声声部被引入到所发出的乐曲声中。

3、根据权利要求2的声音信号处理器，它还包括一个和声检验装置，用来探测非主旋律声部什么时候和从主旋律声部分导出的附加和声声部的模式相符合，以及一个停止工作装置，用来在响应于和声探测装置时使和声发生装置不能工作，从而阻止产生那个会叠加在非主旋律声部上的附加和声声部。

4、根据权利要求1的声音信号处理器，其中的输入装置输入一个包含有一个主旋律声部和至少一个非主旋律声部的复音声音信号，而且其中的探测装置探测非主旋律声部。

5、根据权利要求1的声音信号处理器，其中的输入装置包括单个拾音器，它同时拾取多个互相并行表演的旋律声部的多重歌声，从而输入含有多个旋律声部的复音声音信号。

6、根据权利要求5的声音信号处理器，其中的提取装置对由单个拾音器输入的复间声音信号进行滤波，以从中分离出一个对应于所探测到的旋律声部的频率成分。

7、根据权利要求1的声音信号处理器，其中的探测装置包括一个分析装置，用来分析输入的复音声音信号，以从中探测出对应于多个旋律声部的多个基频；还包括一个选择装置，用来把多个基频和斩时存储的特定声部信息进行比较，以选出那个与该特定声部信息相符合的特定旋律声部。

8、根据权利要求1的声音信号处理器，其中的和声发生装置根据指明特定旋律声部和附加和声声部之间的音调差的暂时存储的和声信息，来移动所提取旋律声部的音调，以产生附加和声声部。

9、根据权利要求8的声音信号处理器，它还包括一个和声探测装置，用来探测一个不是特定旋律声部的旋律声部什么时候与和声信息相符合；以及一个停止工作装置，用来在响应于和声探测装置时使和声发生装置不能工作，从而阻止产生那个会叠加在上述那一个旋律声部上的附加和声声部。

10、一种和声发生方法，包括以下步骤：

输入包含构成乐曲的多个旋律声部的复音声音信号；

探测包含在输入的复音声音信号中的该多个旋律声部中的预定的一个；

从输入的复音声音信号中提取探测到的该旋律声部；

移动所提取的该旋律声部的音调，以产生一个代表一附加和声声部的和声声部的和声信号；以及

把所产生的和声信号混合到输入的复音声音信号中，使发出的乐曲声含有从多个旋律声部的该预定的一个中导出的该附加和声声部。

Images