CN1174368C - 修改复合波形的泛音含量的方法 - Google Patents

Abstract

一种通过考虑泛音和分音频率随着时间在幅度和频率作为移动目标，并且通过在幅度和频率上移动调节器来调节移动目标以处理复合波形的方法。泛音频率的处理和泛音频率的合成基于泛音次数。调节器根据次数随着频率的移动而移动。泛音变换通过次数修改一个源的波形为第二个或目标源的波形。泛音和其他分音的加重识别每个频率和它与邻近频率的关系以及固定的或移动的门限值并且做出适当的调节。本发明还公开了插值法以及模拟自然泛音的模型。

Description

修改复合波形的泛音含量的方法

相互参照

本专利申请与在此作为参考的1998年10月29日申请的临时专利申请系列号60/106,150的利益有关并且享有该权利。

技术领域

本发明一般涉及音频信号处理和波形处理、周期性音频信号的泛音(harmonic)内容的修改，尤其涉及为了改变它们的声音或它们声音的感觉，动态地改变这种信号的泛音内容的方法。

背景技术

在这部分收集和规定了这个专利使用的许多术语。

在连续轰击(bombard)人耳的许多种声音中，一种是通过对于耳朵持续足够长和足够稳定的特性来区别以确定它的幅度、音色(timbre)、音高(pitch)的特性。这种类型的声音称为音调(tone)。

音调或音色的质量是使得它与相同频率和响度或幅度的其他音调区别开的特性。以较少的技术术语，在这方面给出乐器它可识别的品格(personality)或特性，它大部分归应于随着时间的它的泛音内容。

一些乐器产生稳定的音调，这些音调可以在特性上保持至少几秒钟没有改变，长到足够产生几百个周期。这些音调称为是周期性的。

包括乐器的大多数声源产生各种幅度和频率的正弦波混合的复合波形。提供给复合音调的各个正弦波称为它的分音(partial)音调或简单的说分音。通过波节(node)的整数码，分音或分音频率定义为限定能量的频带，泛音或泛音频率定义为根据整数关系现象如机械物体，例如弦(string)或风量(air column)的刻度产生的分音。给定的复合音调的音品或音色通过它分开的分音的数量、频率和幅度，特别是相互间的幅度比例和相对于其它的频率(即这些部分组合或混合的方式)来确定。当乐器上演奏的音符(note)与在相同的乐器上演奏的另一个音符具有类似的音色时，单独的频率不是确定的因子。在处理声音的示范系统中，分音实际上表示小频带的能量并且由与采样系统有关的采样率和不确定性来调节。

特别是那些与乐器或人的话音有关的音频信号具有定义信号如何发出声音的特征泛音内容。每个信号包括基音和高次泛音频率。用于这些组合周期每一个的图形模式是波形。复合波的详细波形部分地取决于它泛音的相对幅度。改变泛音中幅度、频率或相位关系就改变了耳朵对音调的音质或特性的感觉。

基音(也称为一次泛音或f₁)和高次泛音(f₂到f_N)典型地是数学相关的。在典型的乐器产生的声音中，高次泛音主要是基音频率的整数倍，但不全部是。2次泛音是基音的2倍，3次泛音是基音的3倍，等等。这些倍数是次数或次。一般地，这个专利中使用术语泛音表示所有的泛音，包括基音。

每个泛音具有与基音有关的幅度、频率和相位；可以控制这些关系来改变感觉的声音。周期性的复合音调可以被分解为它的各组成部分(基音和高次泛音)。这个分析的图形表示称为频谱。于是，一个给定音符的特征音色可以用频谱分布图形表示。

尽管典型的乐器常常产生主要包含整数倍或接近整数倍的泛音的音符，但是各种其他乐器和源也产生在基音和高次泛音中具有更复杂关系的声音。许多乐器产生非整数倍的分音。另外，不是所有的乐器产生由周期性振动组成的音调。对于波形不是每周期重复的音调，分音频率不需要与基音相关；这些音调称为非泛音的。

现代的相等的调音音阶(equal-tempered scale)(或西方的音乐音阶)是一种方法，通过该方法将音乐音阶调节为每八音度包括12个相等间隔的半音调间隔。任何给定半音的频率是它原有的频率乘以2的12次根或1.0594631。这产生一个所有的八音度间隔的频率是比率1∶2的音阶。这些八音度仅仅是和音的间隔；所有的其他间隔是不谐和音的。

音阶固有的折衷允许钢琴例如用所有的键演奏。然而，对于人耳，乐器如钢琴在上部音域中精确地相当平缓地调谐到调音音阶的声音，因为在大多数机械乐器中的泛音不是精确的倍数并且“耳朵能听出这一点”，所以，某些乐器的调谐被“拉长(stretched)”，这意味着调谐包含与简单的数学公式控制的音高偏差。这些偏差对于简单的数学公式控制的音符可能稍微陡些或者稍微平缓些。在拉长的调谐中，音符和泛音之间的数学关系仍然存在，但是它们更复杂一些。由多种振荡/振动装置包括乐器产生的泛音频率之间的关系可以通过下面的函数建模

              f_n＝f₁×G(n)

这里f_n是n次泛音的频率，n是表示泛音次数的正整数。这种函数的例子是

a)f_n＝f₁×n

b)f_n＝f₁×n×[1+(n²-1)β]^1/2

这里β是常数，它取决于乐器或取决于多弦装置的弦，有时取决于演奏音符的频率音域。

音频或音乐音调的感觉的音高一般是(但不总是)周期性信号中基音或最低的频率。如前面提到的，音乐音符包含相互间不同幅度、频率和相位关系的泛音。当叠加时，这些泛音产生复合时域信号。信号泛音的数量和幅度给出它音色或音乐品格的最强的表示。

乐器的感觉的音乐音调或特性的另一个方面涉及谐振频带，它们是通过乐器的设计、尺寸、材料、结构细节、特点、操作方法强调或加重的音频频谱的某些段或部分。这些谐振频带相对于音频频谱的其他段感觉大声一些。

这种谐振频带在频率上是固定的并且在乐器上演奏不同的音符时保持恒定。这些谐振频带并不相对于乐器上演奏的不同音符偏移。通过乐器的物理现象而不是通过在任何给定时间演奏的特定的音符确定谐振频带。

泛音内容和谐振频带之间的关键不同在于它们对于基音的不同关系。泛音随着基音的变化偏移(即，它们在频率上移动，直接联系到演奏的基音)并且因此总是相对于基音。当基音偏移到新的基音时，它们的泛音随着它们偏移。

相反，乐器的谐振频带在频率上固定并且不随着偏移基音函数线性地移动。

除了音符自己的泛音结构和乐器自己的谐振频带以外，提供乐器感觉的音调或音乐特性的其他因素要求泛音内容在音乐音符的持续时间变化的方式。音乐音符的持续时间或“寿命”按照次序标记为它的开始(音符被最初敲击或发出声音的特征方式)；持续(当音符随着时间发出声音时它的连续特性)；以及衰减(音符终止一例如相对于逐渐衰弱突然截止的特征方式)。

在所有三个阶段一开始、持续和衰减期间音符的泛音内容一对于人耳给出重要的有关音符的主观上音品的感觉的调子。包括基音的复合时域信号中每个泛音具有它自己明显的开始和衰减特性，它帮助实时地规定音符的音色。

因为泛音的相对幅度水平可能相对于基音的幅度在音符的持续期间改变(有些被强调，有些被削弱)，因此特定音符的音色在它的持续时间改变。对于弹拨或敲击的乐器(如钢琴和吉它)，与低次泛音相比，高次泛音以较快的速率衰减。相反，对于连续演奏的乐器，包括管乐器(如长笛)和弓弦乐器(如小提琴)，泛音连续产生。

例如，对于吉它，形成感觉的音色的两个最有影响的因素是：(1)由弦产生的核心泛音；以及(2)吉它本体的谐振频带特性。

一旦弦已经产生基音和它有关的核心组泛音，本体、琴马和其他部件主要地通过它的谐振特性开始演奏以进一步形成音色，它们是非线性的并且与频率相关。吉它具有谐振频带或区域，在该频带或区域内音调的一些泛音被强调而不考虑基音。

吉它演奏者可以使用弦和档子位置的不同组合在颈上多达六个位置上演奏精确的相同音符(相同的频率或音高)。然而，由于基音和它的泛音之间不同的关系，六种形式的每一种发出的声音明显不同。由弦的构成和设计、弦直径和/或弦长度的变化导致这些差异。这里，“长度”不必指整个弦长度而是仅仅指产生音乐音高的振动部分，即从档子位置到琴马之间的距离。本体本身的谐振特性不改变，同时因为弦直径和/或长度的变化，相同音高的不同形式发出明显不同的声音。

在许多情况下，希望影响乐器的音色。现代的和传统的方法采用一种称为固定频带电子均衡器的滤波器的基本形式做到这一点。固定频带的电子均衡器影响一个较大频谱中一个或多个规定的段或频带。要求的强调(“加强”)或削弱(“减弱”)仅发生在规定的频带内。不影响位于频带外的音符或泛音。

给定的频率根据它相对于改变基音的关系能够具有任何次的泛音。谐振频带滤波器或均衡器仅识别在它固定频带内或外的一个频率；不识别或不响应该频率的泛音次数。该装置不能识别输入频率是基音、2次泛音、3次泛音等等。因此，固定频率均衡器的影响不相对于频率的次数改变或偏移。均衡保持固定，影响指定的频率而不考虑它们与基音的泛音关系。尽管均衡影响到显著地影响感觉的音色的泛音的电平，但是它不改变音符、话音、乐器或其他音频信号的固有的“核心”泛音内容。一旦被调节，是否固定频带均衡器具有任何影响完全唯一的取决于输入音符或信号它本身的频率。它不取决于该频率是基音(1次泛音)、2次泛音、3次泛音或其他次数的泛音。

一些现有的均衡器有能力动态地改变它们的滤波器，但是这些改变被时间信号限制而不是泛音次数信息。这些均衡器能够通过改变如用户输入命令定义的滤波器的位置来实时地调节它们的滤波。本发明的一种方法可以看成一个1000-频带或多个图形均衡器，但不同在于幅度和相应影响的频率在频率和幅度上瞬时改变和/或相对于频率和幅度以非常快的速度移动以改变音符的泛音能量含量；并且与合成器一起工作，加上丢失的泛音，以及后面的和预期的与用于改变的泛音组有关的频率。

人的话音可以认为是一种乐器，具有许多在其他乐器系列可以找到的相同音质和特性。因为它在空气压力下工作，它基本上是一种管乐器，但从频率产生的观点来看，话音类似于弦乐器，因为多个泛音振动是由各段组织产生的，这些组织的振动频率可以通过调节它们的张力来改变。不像音响吉它本体，具有它固定的谐振室，一些话音谐振频带是可以瞬时调节的，因为谐振腔的某些方面可以通过扬声器改变，既使在单个音符的持续时间内进行多次。通过鼻腔和口腔的构造、舌头的位置以及在称为声道的整体的其他方面影响谐振。

Matsumoto的美国专利5,847,303描述了一种修改人的话音输入的频谱的话音处理设备。本专利包括若干个处理和计算步骤来均衡输入的话音信号使得它发出像另一种话音的声音(例如，专业歌手的声音)。它还声称能够改变感觉的歌手性别。

Matsumoto专利的频谱修改通过使用传统的谐振频带类型滤波方法来完成，该方法通过分析原始的话音来模拟声道或谐振器的形状。用于压缩器/扩展器和滤波器的有关系数存储在装置的存储器或磁盘上，并且是固定的(不可以由终端用户选择)。Matsumoto专利的频率跟随效应(frequence-folowing effect)使用话音输入的基音信息以偏移和调谐该话音为“适当的”或“正确的”音高。通过电子钟速率控制以偏移该区域内共振峰频率来完成音高改变。这个信息随后馈送到合成整个波形的电子装置上。特定的泛音不被合成，不相对于基音单独地调节，整个信号被同样处理。

类似的Matsumoto的专利5,750,912是用于修改单个话音以模仿模型话音的话音修改设备。分析器顺序地分析收集的唱歌声音，以提取表示歌手自己发声器官的谐振特性的实际的共振峰数据，该发声器官被物理激活以产生唱歌声音。序列发生器与唱歌声音的进行同步用于顺序地提供参考的共振峰数据，该数据表示模型话音的发声质量并且它被安排匹配于唱歌声音的进行。比较器顺序地将实际的共振峰数据和参考的共振峰相互比较以检测唱歌声音的进行期间它们之间的差异。均衡器根据检测的差异修改收集的唱歌声音的频率特性以便模仿模型话音的发声质量。均衡器包括多个具有可调节中心频率和可调节增益的带通滤波器。带通滤波器具有基于共振峰的峰值频率、峰值频率和峰值水平的各个频率特性。

Serra等人的美国专利5,536,902描述了通过提取和控制声音参数来分析和合成声音的方法和设备。它使用频谱建模合成技术(SMS)。提供的分析数据是形成原始声音波形的多个组成部分的表示。分析数据被分析以获得关于预定部分的特性，然后获得的特性的数据表示被提取作为声音或音乐参数。相应于提取的音乐参数的特性从分析数据中去除，原始声音波形通过这样修改的分析数据和音乐参数的组合表示。这些数据存储在存储器中。用户能够可变地控制音乐参数。相应于控制的音乐参数的特性加到分析数据上。在这方面，声音波形根据分析数据被合成，控制的特性已经加到该分析数据中。以这样一种分析类型的声音合成技术，允许将自由的控制应用于各种声音部分如共振峰和颤音。

Sethares的美国专利5,504,270是通过在频率和幅度上识别音频输入信号的分音用于分析和减少或增加电子音频输入信号的不和分音的方法和设备。根据这里公开的过程相对于一组参考分音计算输入分音的不分音。然后一个或多个输入分音被偏移并且重新计算不分音。如果不分音以所需的方式变化，偏移的分音可以代替输入分音，偏移的分音就是由输入分音获得的。如所需的，产生的输出信号包括偏移的输入分音，使得输出信号与输入信号相比或多或少有不分音。输入信号和参考分音可能来自不同的源，例如分别是演奏者和伴奏，使得相对于参考分音的源输出信号比输入信号或多或少有不分音。另一方面，参考分音可以从输入信号中选择以减少输入信号固有的不分音。

Grob-Da Veiga的美国专利5,218,160描述了一种通过产生低音或泛音来增强弦乐器声音的方法。本发明使用一种方法用于提取基音并且将该频率乘以整数或小的分数以产生泛音有关的低音或泛音。这样，低音或泛音直接从基音中获得。

Slaney的美国专利5,749,073提出音频信息的自动变种。音频变种是将每个具有可识别特性的两个或多个声音混合为一个具有两个原始源的合成特性的新声音的过程。

Slaney使用多步骤方法。首先，两个不同的输入声音转换为一种允许分析的形式，使得它们以各种方式匹配，识别泛音关系和非泛音关系。一旦输入被转换，音高和共振峰频率用于匹配两个原始的声音。一旦被匹配，声音被交叉衰落(即，以某一预选比例求和或混合)并且随后被反相以产生一个为两个声音组合的新的声音。利用的方法使用经过滤波的音高改变和频谱外形控制。如同先前提到的专利，该方法要求谐振类型滤波和格式化信息的控制。

与Slaney专利紧密相关的是E.Tellman、L.Haken和B.Holloway的标题为“具有不同数量特性的声音的音色音素”(Journal of AudioEngineering Society，Vol.43，No.9，Sep.1995)的文章中描述的技术。该技术要求使用Lemur分析和合成的声音中音素的算法。Tellman/Haken/Holloway音色音素概念涉及时标修改(使通道减速或加速)以及各个正弦(基于正弦波)分量的幅度和频率修改。

Robert A.Moog的美国专利4,050,343涉及电子音乐合成器。由用户按下的键盘键获得音符信息。按下的键盘键控制电压/控制振荡器，该振荡器的输出控制带通滤波器、低通滤波器和输出放大器。带通滤波器的中心频率和带宽通过应用电压控制来调节。低通滤波器的低通截止频率通过应用控制电压来调节并且放大器的增益由控制电压来调节。

在称为电离器(Ionizer)[Arboretum System]的产品中，一种方法开始是使用“预分析”以获得包含在信号中噪声的频谱—它仅仅是噪声的特性。这实际上在音频系统中相当有用，因为磁带嘶嘶声、录放机噪声、哼哼声和嗡嗡声是经常的噪声类型。通过提取声音印迹，这可以用作一种参考以产生“抗噪声”并且从源信号中减去它(不必是直接的)。在程序的声音设计部分的通道中“找出峰值”的使用实现了512-频带选通EQ，它能够产生非常陡的“砖墙(brick wall)”滤波器以拉出各个泛音或去除某些声音元素。它们实现允许创建动态滤波器的门限值特性。但是，使用的该方法不跟随或跟踪基音，并且泛音去除必须再次落在频带中，它不跟踪乐器的整个通道。

Kyma-5是一种通过符号的声音开发的硬件和软件的组合。Kyma-5是通过Capybara硬件平台加速的软件。Kyma-5主要是一种合成工具，但输入可以来自现有记录的声音文件。它具有实时处理性能，但主要是一种静态文件处理工具。Kyma-5的一个方面是能够从声音通道和应用处理的频谱显示中图形地选择分音。Kyma-5从视觉上接近选择的分音并且识别频带内频谱显示的“连接”点，而不是通过泛音次数。如果泛音落在人工设置频带内则可以选择它们。Kyma-5能够通过分析静态文件的泛音并且应用各种合成算法，包括加性合成，由静态文件重新合成声音或通道。然而，当音符随着时间变化时没有相对于基音跟踪泛音的自动处理。Kyma-5允许用户选择一个基音。在Kyma频谱分析工具上点的识别可以识别严格的非泛音的点。最后，Kyma不对于声音应用拉长常数。

发明内容

本发明以用户规定的方式，当复合音频信号随着时间前进时，通过修改每个特定的泛音和每个基音和/或音符，影响信号、波形、音符或通过任何源产生的其他信号的音品或音色。例如，用户对于音乐音符(或其他信号波形)泛音确定的改变也可以应用于下一个音符或信号，并且应用于之后的音符和信号，以及当音乐通道随着时间进行时应用于每个随后的音符或信号。重要的是注意到随着时间在幅度和频率上移动目标时本发明的所有方面可以考虑到音符、声音、分音、泛音、音调、非泛音、信号等等，并且随着时间通过在幅度和频率上移动可调节的调节器来调节移动的目标。

本发明包括下列方法：

·动态地和单独地改变复合波形的任何泛音(f₁到f∞)的能量；

·相对于任何其他泛音，产生具有规定的幅度和相位关系的新的泛音(如从所要求的声音中“丢失”的泛音)；

·根据整数或用户规定的泛音关系如 $f_n=f_1\×n\×S_2^{\log n}$ 识别和自然地模仿合成声音中产生的泛音；

·提取、修改并且将泛音重新插入音符中；

·根据频率、幅度和/或其他参数插值信号，使能够调节选择的音符的泛音结构，然后，根据任何若干个用户规定的曲线或轮廓，从这些用户调节点中的一个偏移所有音乐范围的信号的泛音结构到另一个；

·动态地改变开始(attack)速率、衰减速率和/或泛音的持续参数；

·从复合信号中分开任何泛音，以进行不同种类的处理；

·根据信号内分音的频率和幅度改变它们的电平；

·根据泛音的次数和幅度连续改变复合信号的泛音的电平；

·在贯穿整个选择的通道(passage)或者在该通道内任何部分，增加或减少泛音一个固定量或可变量；

·恢复源信号的特征信息，该信号可能已经丢失、损坏或者在记录过程中或经过原始的磁性介质或记录信息的其它介质的恶化已经改变；

·使用 $f_n=f_1\×n\×S_2^{\log n}$ 拉长函数，计算分音和泛音位置；

·利用上述泛音调节和泛音合成的实施例的组合，和谐地变换一个声音信号以匹配、类似或部分类似于另一个信号类型的信号；

·为新乐器提供基础，包括但不限于新型的吉它合成器、低音合成器、吉它、低音乐器、钢琴、键盘、播音室声音修改设备、主声音修改设备、新型的均衡装置、以及属于上述方法的新音频数字硬件和软件技术，以改变音符、声音或信号；

·将话音、乐器、分音、泛音、其它声音或信号(或者部分声音或信号)从话音、乐器声音或其它音频信号的集合中分开或隔离；

·突出在其它这种信号的集合内先前很难听到的话音、乐器、音乐音符、泛音、分音、其它声音或信号、或声音或信号部分；

·取消噪声或降低噪声；

·平滑或衰减在其它这种信号集合内先前刺耳的或过分突出的话音、乐器、音乐音符、泛音、分音、其它声音或信号、或声音或信号部分；

·增强音乐或其它复合时域信号通道中低音量和/或衰减或减弱相对高音量的分音、泛音、非泛音或其它信号；

·消除分音的某些幅度范围使得较低电平的信息能够更容易地识别和/或处理；

·以及一般产生话音、乐器、音乐音符、泛音、分音、其它声音或信号、或者声音或信号部分更希望的平衡；

这种处理不限于传统的乐器，也可以应用于任何输入源信号波形或材料以改变它的感觉的音质，增强音色的特别的方面，或削弱特定的方面。对于给定的信号，通过频谱的各个泛音和/或分音的控制完成这一点。借助于本发明，泛音或分音的调节在限定的时间周期内进行。这不同于一般的、固定频带均衡的影响，它在无限的时间周期上保持。

通过控制泛音(或泛音组)的能量电平，或者通过产生新的泛音(或泛音组)或分音，或者通过完全去除泛音(或泛音组)或分音，完成分配的处理。该控制可以限制于任何其它泛音的响应或者它可以限制于用户选择的任何频率或次数或其它参数。调节也可以独立于现有的泛音产生。在某些情况下，可以使用利用的任何组合方法的多种控制。换句话说，泛音或泛音组可以通过各种方法分开，用于各个处理。另外，分音可以被强调或削弱。

泛音控制的优选实施例使用数字信号处理(DSP)技术。滤波和分析方法通过计算机(例如，DSP或其它微处理器)在数字数据表示实现。数字数据表示模拟信号或已经采样并且从模拟电子波形转换为数字数据的复合波形。一旦完成处理，数据可以转换回模拟电子信号。它也可以用数字形式传送到另一个系统，以及本地存储在某些形式的磁介质或其它存储介质上。信号源是采用数字音频形式的准实时或预先记录的，并且软件用于实现所需的计算和控制。

附图说明

结合附图，通过下面的描述，本发明的其他目的、优点和新颖的特性将变得更加明显。

图1是四个音符和它的泛音的四个图形，在频率与幅度刻度上示出它们相互相关的泛音的褶状效应。

图2是在频率与幅度刻度上特定时间点的音符泛音内容的图形。

图3是结合本发明原理，调节图2音符的各个频率和合成频率。

图4是使用本发明幅度和频率跟随滤波器方法，完成图3中说明方法的系统第一个实施例的示意图。

图5是使用本发明斗链(bucket bridge)方法完成图3方法的系统的方框图。

图6是来自440赫兹钢琴键单个敲击的复合波形的频谱外形图，它是频率(x轴)、时间(Y轴)和幅度(Z轴)的函数。

图7是根据泛音原理和其他分音加重和/或泛音变换修改的信号图形。

图8A、8B、8C和8D说明在相同的音符与泛音变换有关时在较早和较晚时刻长笛和钢琴的频谱含量。

图9A是示出完成本发明加重方法的可能门限值曲线的图形。

图9B是说明图9A使用的调节的可能较低电平的图形。

图9C是说明泛音和其他分音加重的可能固定门限值的方法的图形。

图9D是说明用于泛音和其他分音加重的方法的频带动态门限值示范曲线的图形。

图10是完成本发明操作的系统方框图。

图11是结合本发明原理的软件或方法步骤的方框图。

具体实施方式

泛音调节

泛音调节和合成的目的是根据它们的次数在各自基础上控制泛音特性。控制在特定的音符具有幅度的时间周期上进行。通过应用滤波器在其频率中心可以调节泛音。在本发明中，滤波器也可以采用均衡器、数学模型或算法的形式。根据泛音相对于任何其它泛音在频率、幅度以及时间中的位置计算滤波器。同时，本发明考虑泛音作为移动频率和幅度目标。

本发明“预见”即将到来的信号中所有偏移的方式并且根据计算以及用户输入和控制起反应。准实时的“预见”实际上要求最小时间量的收集数据，使得输入数据(即音频信号)的适当的特性可以认为触发适当的处理。这个信息存储在延迟缓冲器上直到所需的方面被确认为止。延迟缓冲器继续添充新的数据并且在不再需要时不需要的数据从缓冲器的“最旧”一端去除。这是少量等待时间如何在准实时情况下产生的。

准实时指的是很小的不超过近似于60毫秒的延迟。它常常描述为多达电影胶片两帧的持续时间，尽管最好是一帧的延迟。

在本发明中，处理滤波器预先考虑泛音的移动并且当泛音相对于一次泛音(f₁)移动时随着泛音移动。指定的泛音(或“用于幅度调节的泛音组”)将相对于泛音次数在频率上偏移数学上固定的量。例如，如果一次泛音(f₁)从100Hz改变为110Hz，本发明用于第四次泛音(f₄)的泛音调节滤波器从400Hz偏移到440Hz。

图1示出在给定的时间点一系列四个音符和每个音符的四个泛音的特性泛音含量。这个假定序列示出泛音和滤波器如何相对于基音移动，以及泛音相互间相对移动。随着时间在幅度和频率上对这些移动泛音的跟踪是这里体现的处理方法的关键因素。

频率之间的分离或距离(相应于滤波器之间的分离)随着基音的增大而扩大，随着基音的减小而收缩。用图形示意，这个处理在这里称为“褶状效应”。

本发明设计为用滤波器随着时间调节泛音的幅度，该滤波器随着用于幅度调节的信号的非平稳(频率改变)泛音移动。

特别地，各个泛音的参数被滤波和/或放大。不根据泛音出现的频带(如当前常规装置实现的)而根据它们的泛音次数和要被滤波的泛音次数，这增加和降低各个演奏音符的频谱中各种泛音的相对幅度。这可以脱机进行，例如在记录音乐或复合波形之后，或者准实时地进行。为了准实时地进行，使用公知的频率检测方法或快速寻找基音方法确定各个演奏音符的泛音频率，然后根据确定的音符完成逐个泛音的滤波。

因为以这种独特的方式控制泛音，根据各个、精确选择的泛音影响乐器的整个音色，与采用分配给一个或多个固定谐振频带的常规滤波器仅仅影响频谱的各段不同。

为了便于说明，图1-图3的泛音关系模型是：

                f_n＝f₁×n

例如，这种形式的滤波将以在2400Hz滤波4次泛音相同的方式滤波在400Hz的4次泛音，既使这两个音符(图1的音符1和音符3)的4次泛音是在不同的频率范围。应用本发明作为常规的逐个频带均衡装置的补充和/或替代是非常有用的。输出的演奏音符的这些各个滤波泛音的混合将根据图4和图5讨论。

图2示出一个时间点上信号的泛音含量的例子。基音(f₁)是100Hz。这样，以100Hz的倍数，你可以看到在200Hz(f₂＝f₁×2)、300Hz(f₃＝f₁×3)、400Hz(f₄＝f₁×4)等等的这个信号的泛音。为了说明起见，这个例子总共具有10个泛音，但实际上信号常常具有更多的泛音。

图3示出如采用本发明实现的图2某些泛音的调节修改。位于200Hz(2次泛音)、400Hz(4次泛音)、500Hz(5次)和1000Hz(10次)的泛音的能量含量和幅度都向上调节。在600Hz(6次泛音)、700Hz(7次泛音)、800Hz(8次)和900Hz(9次)的泛音的能量含量和幅度都向下调节。

借助于本发明，通过各种方法，这里称为幅度修改函数，可以在幅度上增加或减少泛音。一种现有的方法是在感兴趣的时帧上应用特别计算的数字滤波器。这些滤波器调节它们的幅度和频率响应以随着被调节的泛音频率而移动。其他的方法还使用数字信号处理，如将正弦相位匹配于感兴趣的泛音，然后(A)为了减少，通过将该波形的反相加到原始信号来减去所要求的量；或者(B)为了增强，加上一个比例型式(即，乘以某一指定因子)。

其他的实施例可以利用一系列在频率上邻近的滤波器或一系列固定频率滤波器，这里当泛音从一个滤波器的范围移动到下一个滤波器的范围时该处理以“斗链”形式越区切换。

图4示出一个实现实施例。在输入端10来自拾取的、麦克风或预先存储数据的信号提供到泛音信号检测器HSD 12并且提供到滤波器组14。滤波器组14中每一个可编程用于泛音检测信号的特定的泛音频率并且由f₁、f₂、f₃…f_N表示。控制器16调节每个滤波器的频率到某一频率，该频率匹配于泛音信号检测器12对于其次数检测的泛音频率。各个泛音所需的修改根据用户输入由控制器16控制。滤波器组14的输出在混频器18中与来自输入端10的输入信号组合并且根据使用的特定算法在输出端20提供作为组合的输出信号。如下面根据图3讨论的，控制器16还可以在混频器18提供合成的泛音，与来自均衡器组14和输入端10的信号相组合。

图5示出为完成另一种斗链方法修改的系统。均衡器组14’具有一组滤波器，每个具有Fa、Fb、Fc等表示的固定频率相邻带宽。一旦接收到泛音检测器12识别的泛音信号，控制器16调节滤波器14’的固定带宽特性的信号修改以匹配于检测的泛音信号。其中图4的滤波器组14的每一个具有它调节的频率并且它的修改特性固定用于所需的泛音，图5的均衡器排14’的每一个具有它们固定的频率和根据检测的泛音信号改变的修改特性。

是否使用褶状频率和幅度可调节移动滤波器的方法或预先考虑频率跟随的频率斗链方法，或者这些方法的组合，滤波影响在频率上随着用于幅度变化选择的的泛音移动，不只是响应信号的频率而且响应于它的泛音次数和幅度。

虽然所示的泛音信号检测器12与控制器16分开，它们可以是通用的DSP或微处理器上的软件。

最好滤波器14是数字的。数字滤波的一个优点是在原始信号和处理信号之间不需要的相移，称为相位失真，可以最小。在本发明的一种方法中，根据所需的目的可以使用两种数字滤波方法的任何一种：有限脉冲响应(FIR)方法或无限冲击响应(IIR)方法。有限脉冲响应方法使用分开的滤波器用于幅度调节和相位补偿。可以设计幅度调节滤波器使得所需的响应是输入信号频率的函数。为表现这种幅度响应特性所设计的数字滤波器固有地影响或失真数据阵列的相位特性。

因此，幅度调节滤波器后面跟随着串行设置的第二滤波器，相位补偿滤波器。相位补偿滤波器是单位增益装置，它抵消幅度调节滤波器引入的相位失真。

滤波器和其它声音处理器可以应用于两种类型的输入音频信号：实时的或非实时的(固定的或静态的)。实时信号包括实况播放性能，可以在私人装置、公共活动场所或记录播音室产生。一旦以数字形式在磁带上或在某些其它介质上捕获到复合波形，它可以考虑为固定的或静态的；可以进一步处理它。

在数字处理能够应用于输入信号之前，该输入信号本身必须转换为数字信息。阵列是指示信号数字表示的数字序列。滤波器能够以正向应用于阵列，从阵列的开始到结尾；或者反向地从结尾到开始。

在第二种数字滤波方法中，无限冲击响应(IIR)、零相位滤波可以通过在感兴趣的数据阵列的两个方向应用滤波器，采用非实时(固定、静态)信号完成。因为相位失真在两个方向上相等，最后的效果是当滤波器在两个方向上工作时这种失真被去除。这种方法限于静态(固定的、记录的)数据。

本发明的一种方法利用高速数字计算装置以及量化数字化音乐的方法，改进附属于高速傅里叶和/或小波分析的数学算法。数字装置将分析现有的音乐，调节泛音的音量或幅度到所需的电平。如图4描述的，本方法采用频率随着泛音和所需的泛音电平的变化而移动的非常快速变化、复杂准确的数字均衡窗口来实现。

本发明可以应用于但不限制于吉它、低音乐器、钢琴、记录中使用的均衡和滤波装置、控制装置、电子键盘、风琴、乐器音调调节器以及其他波形调节器。

泛音合成

在需要调节音乐音符或其他音频信号的泛音含量的能量电平的许多情况下，如果泛音含量是间歇的或实际上不存在的，则不可能做到这一点。当泛音渐渐小于源信号的噪声“基底”(最小可识别的能量电平)时这种情况可能发生。借助于本发明，这些丢失或低于基底的泛音可能“从刻痕(scratch)”产生即电子合成。最好一起产生完全新的泛音、非泛音或子泛音(低于基音的泛音频率)，与源信号的关系为整数乘数或非整数乘数。同时，这种创建或产生处理是一种合成。如同自然产生的泛音，合成的泛音一般与它们的基音数学相关。

在泛音调节时，本发明产生的合成的泛音在频率上是不稳定的：它们相对于其他泛音移动。它们可以相对于任何单独的泛音(包括f₁)合成，并且其频率随着音符在频率上的变化而移动，预先考虑变化以正确地调节泛音合成器。

如图2所示，原始信号的泛音含量包括高达1000Hz(100Hz基音的10次泛音)的频率；不存在11次或12次泛音。图3示出这些经过泛音合成创建的丢失泛音的存在。这样，新的泛音频谱包括高达1200Hz(12次泛音)的泛音。

不仅通过声谱的泛音的相对电平而且通过泛音相对于基音的相位(可以随着时间改变的关系)来定义乐器。这样，泛音合成也允许创建幅度相关和相位校准(即一致的而不是任意地匹配于或相关于基音)的泛音。最好滤波器组14和14’是数字装置，它们还是数字的正弦波发生器，并且最好使用一个不是f_n＝f₁×n的函数创建合成的泛音。最好用于产生新的泛音的关系是 $f_n=f_1\×n\×S_2^{\log n}.$ S是大于1的数字，例如1.002。

泛音调节和合成

泛音调节和合成的组合体现在能够根据泛音的次数动态地控制包含在音符中它们所有的幅度，包括那些认为“丢失”的幅度。这种控制泛音的能力在处理用户喜欢的各种音符或信号的音色时为他或她提供了更大的灵活性。该方法认为可以根据特别的输入信号的泛音电平要求不同的处理。它体现了泛音调节和合成。与仅仅影响已经存在的频谱段相反，它影响到乐器的整个音色。

当泛音渐渐低于源信号的噪声“基底”时，如果该泛音含量是间歇的或实际上不存在，也许不可能调节信号泛音含量的能量电平。借助于本发明，这些丢失的或低于基底的泛音可以“从刻痕”或电子合成中产生，然后混合回原始的和/或泛音调节的信号。

为了说明这一点，泛音合成还可以结合泛音调节来使用以改变源信号的整个泛音响应。例如，如图6说明的，电吉它的10次泛音比低次数泛音衰减的更快一些。感兴趣使用合成不仅是加强这个音符初始部分的泛音电平，而且在音符整个存在时完全地保持它。可以在选择的部分或通道的所有音符上进行合成。这样，现有的泛音可以在它超过某一门限值的部分的期间调节，并且随后在音符的剩余部分的期间合成(以它调节的形式)(见图7)。

也可以要求对若干个泛音完成这一点。在这种情况下，泛音采用所需的相位校准合成以在所需的门限值上保持一个幅度。相位校准可以从任意的设置中得出，或者相位可以采用用户选择的泛音以某一方式校准。这种方法在频率和幅度上改变和/或以非常快的速度移动以改变音符的泛音能量含量，并且与合成器一起工作以加上丢失的所需的泛音。这些泛音和合成的泛音将与在数字装置软件上以百分比设置的一组泛音幅度在音量上成比例。最好用函数 $f_n=f_1\×n\×S_2^{\log n}$ 产生新的泛音。

为了避免试图加强不存在的泛音，本发明使用检测算法表示有足够的分音存在来保证调节。一般地，这种检测方法基于输入分音的能量，使得只要对于某一任意规定的时间周期，分音能量(或幅度)在门限值以上，就可以考虑它是存在的。

泛音变换

泛音变换指的是本发明能够将一个声音或信号(用于改变的文件组)与另一个声音或信号(第二个文件)相比较，然后使用泛音调节和泛音合成来调节用于改变的信号组，使得它更接近类似于第二个文件，或者如果需要，在音色上复制第二个文件。这些方法组合先前提到的本发明的若干方面以完成组合音频声音或改变一个声音更加类似于另一个声音的总的目标。实际上，它可以用于使一个记录的乐器或话音声音几乎精确地类似于另一个乐器或话音。

当你看到相对于时间通过乐器或话音的泛音频率含量产生的给定音符时(图6)，你能看到每个泛音具有开始特性(该泛音的初始部分随着时间上升多快和它如何达到峰值)、持续特性(在开始部分之后泛音结构如何表现)、以及衰减特性(在音符结束时泛音如何停止或衰落)。在一些情况下，特别的泛音可以在基音本身结束之前完全地衰落。

一种类型乐器(例如，两个钢琴)的不同的例子能够以许多方式改变。一种改变是在特定的复合时域信号的泛音含量上。例如，在一个钢琴上发出中间“C”音符的声音可以与在不同的钢琴上发出的相同音符的声音具有明显不同的泛音内容。

两个钢琴可以不同的另一种方法是随着时间的泛音内容。在两个不同钢琴上演奏的相同的音符不仅具有不同的泛音结构，而且这些结构将随着时间以不同的方式表现。与不同钢琴上发出相同音符的声音泛音结构的情况随着时间相比，该音符的某些泛音将以明显不同的方式持续或衰减。

通过各自处理记录乐器产生的每个信号的泛音，该乐器的响应可以做得接近类似于或匹配于不同乐器的泛音。这种技术称为泛音变换。它可以包括动态地改变每个音符内泛音能量电平并且随后形成它们的能量响应以接近匹配于另一个乐器的泛音能量电平。当它与泛音次数相关时，通过频带比较完成这一点。第一个文件(泛音变换的文件)的泛音与目标声音文件相比较以匹配第二个文件泛音的开始、持续和衰减特性。

因为这不是泛音的一对一匹配，因此通过算法要求比较分析以创建调节的规则。这种处理也可以在一般处理发生时由用户输入来帮助。

可以看到采用长笛和钢琴的这种处理的一个例子。图8a到图8d示出在特定时间点钢琴和长笛的频谱含量图。图8a示出典型的在音符较早时刻的长笛的频谱含量。图8b示出在相同音符较晚时刻的长笛的泛音内容。图8c示出在典型的钢琴上如同图8a相同的时间点的相同的音符。在这些时间点上，有大量的较高泛音能量。然而，较后的时间，每个音符的相对泛音含量明显地改变。图8d是在钢琴上如同图8b相同时间点上相同的音符。在音符的这个点上，钢琴的较高泛音含量比长笛的泛音含量少很多。

因为一个声音文件能够做得更加接近类似于很大一批其他声源，该信息不必直接来自第二个声音文件。经过各种方法可以开发出一个模型。一种方法是根据它在时间上的情况一般地表征另一个声音，聚焦在特征泛音或分音含量情况上。这样，可以创建各种数学或其他逻辑规则来引导要被改变的声音文件的每个泛音的处理。模型文件可以由另一个声音文件创建，可以是完全理论的模型，或者实际上可以由用户任意规定。

假定用户希望使钢琴发出像长笛的声音；这种处理要求考虑两种乐器的相对特性。在音符的一开始，钢琴在它的泛音能量上有一个大的爆发，接着是能量含量的急剧下降。相比而言，长笛最初开始发出较小的声音并且不具有泛音。借助于本发明，在每个音符的这个阶段将调节钢琴的每个泛音，使得近似于或如果需要，合成长笛的相应的泛音和丢失的分音。

在钢琴的音符的持续部分期间，它的较高泛音能量含量很快地衰减，而长笛的较高泛音能量含量在整个音符的持续时间存在。这样，在这个部分期间，要求钢琴泛音的连续动态地调节。实际上，在某一点，当泛音掉到相当低的电平时要求合成来代替泛音含量。最后，在这两个乐器上，音符的衰减也稍微不同，需要再次适当的调节来匹配长笛。

通过使用数字滤波器、调节参数、门限值和正弦波合成器来获得这一点，它们在组合中使用并且随着或预先考虑在感兴趣的信号或音符包括基音的各个方面的偏移而移动。

泛音和其他分音的加重

在本发明中，泛音和其他分音加重提供了一种调节正弦波、分音、非泛音、泛音或根据在相关频率范围内相对于其他信号的幅度的它们的幅度的其他信号的方法。这是使用频率范围中的幅度来代替泛音次数作为滤波器幅度位置指导或准则的泛音调节的改变。同样，作为泛音调节，分音的频率是滤波器频率调节指导，因为分音在频率以及幅度上移动。在许多音频元素典型的音乐通道或其他复合音频信号中，借助于本发明，那些弱的可以相对于其他的加强，那些强的可以相对于其他的减弱，如用户选择的采用或不采用压缩它们动态的范围。

本发明(1)隔离或突出相当安静的声音或信号；(2)减小相当大声或其他选择的声音或信号，包括其中的背景噪声、失真或混乱、对抗或用户不希望的其他音频信号；以及(3)完成更清晰的或其他希望的多个分音、话音、音乐音符、泛音、正弦波、其他声音或信号的混合；或者声音或信号的部分。

常规的电子压缩器和扩展器仅根据本发明考虑的部分参数而不是所有的参数来操作。另外，这种压缩/扩展装置的操作基本上与本发明的操作不同。借助于加重，信号的调节不仅根据它的幅度而且根据在它的频率范围内相对于其他信号幅度的它的幅度。例如，为了听到，在地板上拖着的脚步声可以调节或不必调节。在另外一个安静的房间里，声音可能不需要调节，而在相对于强烈对抗的分音、声音或信号的背景下产生的相同幅度的相同声音可能要求加重以便听到。本发明可以做出这种决定并且因此动作。

在本发明的一种方法中，一段音乐被数字化并且被修改幅度以加重安静的分音。现在的(present)技术通过在一个固定的频率范围内压缩音乐来完成这一点，使得整个信号根据它总的动态范围被影响。最后的效果是通过放大较安静的通道来强调较安静的部分。本发明的这个方面工作在不同的原理。计算机软件检验复合波形的频谱范围并且提高低于特别设置的门限值电平的各个分音的电平。同样，高于特定门限值的分音的电平可能在幅度上降低。软件将检验随着时间复合波形中所有的分音频率并且仅修改用于改变的门限值组内的波形。在这种方法中，模拟和数字硬件和软件将数字化音乐并且在某种形式的存储器存储它。采用快速傅里叶变换、小波(wavelet)和/或其他适当的分析方法，复合波形将被非常准确地检验。有关的软件随着时间将计算的分音与幅度、频率和时间门限值和/或参数比较，并且决定哪个分音频率将在用于幅度修改的门限值内。这些门限值是动态的并且取决于在任一侧上围绕某些规定频率范围内预定调节的分音的对抗分音。

本发明的这部分作为复杂的、频率选择均衡或滤波装置，这里可以选择的频率数量几乎是无限的。数字均衡窗口将被产生和去除，因此，通过修改其开始、峰值和结束幅度，使很难听到的声音的分音现在对于听众更加明显。

当感兴趣的幅度的信号相对于其它信号的幅度偏移时，本发明的灵活性允许调节(1)在连续可变的基础上，或者(2)在固定的、非连续可变的基础上。实际的效果是不仅准确定位到需要调节的音频信号的部分和进行这种调节，而且当需要它们时并且仅当需要它们时完成它们。注意如果滤波器变化超过每秒大约30个周期，则它们将产生它们自己的声音。这样，不建议以比这种情况更快的速率变化，除非低音声音可以被滤掉。

本发明的主要方法(或它们的组合)要求滤波器根据所需的频率和幅度移动以在特定的时间点对于特定的分音(或它的一段)完成所需的调节。

在本发明的第二种方法中，当用于幅度调节的分音组从一个滤波器范围移动到下一个滤波器的范围时，该处理以“斗链”形式“越区切换”。

本发明可以检验频率、随着时间的频率、随着时间频带的对抗泛音、幅度以及随着时间的幅度。然后，如上所述当需要获得目标、结果或效果时，通过使用频率和幅度可调节滤波器、数学模型和算法，它动态地调节这些分音、泛音或其它信号(或它的部分)的幅度。在这两种方法中，在估计分音、其它信号或它的部分的频率和幅度之后，本发明确定是否根据门限值调节信号向上、向下或完全不调节。

加重取决于幅度门限值和调节曲线。为了获得所需的结果，在本发明中有三种实现门限值或调节的方法。第一种方法利用一个门限值，根据复合波形的总能量动态地调节幅度门限值。能量门限值保持一致的频率相关性(即门限值曲线斜率在整个能量变化范围是一致的)。第二种方法在围绕要被调节的分音的频带内完成插值的门限值曲线。门限值是动态的并且定位在围绕这个分音的频率区域。该调节在相同的频带上也是动态的并且随着围绕幅度变化的区域的分音变化。因为分音可以在频率上移动，门限值和调节频带也是频率动态的，当它移动时要被调节的分音一起移动。第三种方法利用一个固定的门限值电平。幅度在门限值以上的分音被向下调节。那些在门限值以下和在噪声基底以上的幅度向上调节。下面讨论这三种方法。

在所有的三种方法中，调节电平取决于“定标函数”。当泛音或分音超过或低于门限值时，它超过或低于门限值的量值确定调节的程度。例如，仅仅超过上限门限值的分音仅向下调节一个小量，但是超过门限值还将导致较大的调节产生。调节量的转变是一个连续的函数。最简单的函数将是线性函数，但可以应用任何定标函数。当采用任何数学函数时，超过或低于门限值的分音调节的范围可以被定标或偏置。当定标函数影响被标定时，在分音超过门限值时相同的调节量产生，而不考虑是否门限值已经改变。例如，在上面列出的第一种方法中，当在波形中有更多的能量时门限值改变。定标函数可能在要被调节的分音的0％和25％调节之间，但当波形中有更多的能量时仅在较小的幅度范围内。对于这种情况的另一个方法是仅仅偏置定标函数某个百分比。这样，如果在信号中有更多的能量，范围将不相同。例如，它现在的范围可以从0％到仅仅10％。但是，调节中的改变量将相对于超过门限值的分音的能量保持一致。

通过遵循第一个门限值和调节的方法，可能最好通过规定幅度的最小和最大限制来作用一部分信号分音含量。理想情况下，这种处理将信号保持在两个门限值的边界内：一个上限或最高限度；以及一个下限或基底。分音的幅度不允许在一组周期超过上限门限值或低于下限门限值。如图9A说明的这些门限值是频率相关的。必须建立噪声基底以防止分音的调节实际上恰恰是低电平噪声。噪声基底作为加重的总的下限并且可以人工地或经过分析过程建立。每个输入分音可以与两个门限值曲线相比，然后向上调节(在能量上加强)、向下调节(在能量上降低)或完全不调节。因为任何加强或减少是相对于分音频率范围的总的信号幅度的，门限值曲线同样地根据在任何给定时间点的总的信号能量改变。调节量根据分音电平改变。如上所述，调节根据定标函数产生。然后调节根据超过或低于门限值的要被调节的分音的能量而改变。

在第二种门限值和调节方法中，分音与在分音的时间周期内围绕要被调节的分音的频带的“对抗”分音相比较。这个频带具有若干个特点。它们在图9D示出。1)带宽可以根据所需的结果修改。2)门限值和调节区域的形状是连续的曲线，并且被平滑以满足整个曲线的“线性”部分。曲线的线性部分表示的频率在这个分音的比较和调节区域之外。然而，该曲线的线性部分的总的“偏置”取决于波形中全部能量。这样，你可以看到门限值偏置的整个偏移，但是特别的分音的调节不改变，因为它的调节取决于在它自己频率区域的分音。比较频带的上限门限值与对抗分音一起上升。用于调节门限值线以上分音的定标函数偏移或也重新标定。比较频带的下限门限值与对抗分音一起下降。同样，用于调节分音的定标函数偏移或也重新标定。3)当分音超过或低于门限值时，它的调节取决于幅度超过或低于门限值多少。调节量是围绕被跟随的分音的对抗分音中被能量偏置的连续的参数。例如，如果分音仅仅超过上限门限值，它可以仅在幅度上向下调节5％。最极限的情况可以看到如果它的幅度超过上限门限值较大的量则分音调节25％。然而，如果总的信号能量不同，这种调节量将相对于门限值偏置的总的偏移被偏置某一百分比。4)必须建立噪声基底以防止实际上仅在低电平噪声的分音的调节。噪声基底作为用于加重考虑的总的下限并且可以人工地或经过分析过程建立。

在第三种门限值和调节方法中，使用所有相同的调节方法，但比较是对于单个固定的门限值进行。图9c示出这样一个门限值的例子。当分音超过或低于门限值时，它的调节取决于幅度超过或低于门限值多少。调节量是一个分音中被能量偏置或重新标定的连续参数。同样，如先前方法描述的，必须建立噪声基底以防止实际上仅在低电平噪声的分音的调节。

在所有的门限值和调节方法中，门限值(单个门限值或分开的上限和下限门限值)不可能是平坦的，因为人耳本身不是平坦的。耳朵不能识别以一致的或线性的方式音频范围上的幅度。因为我们的听觉响应是频率相关的(感觉一些频率具有比其他的频率更大的能量)，本发明的能量调节也是频率相关的。

通过在最大的和最小的幅度调节之间内插调节量，可以获得更加连续的和一致的调节。例如，具有接近最大电平(接近限幅)的幅度的分音将比幅度仅仅超过向下调节门限值的分音在能量上更多地向下调节。时间门限值被设置使得一组频率范围中的对抗分音得到限制。门限值曲线和调节曲线可以表示用户要求的规定和基于人耳听觉的经验感知曲线的组合。

图9A示出一个示范门限值曲线，图9B示出用于门限值和调节方法1的有关示范调节曲线。门限值取决于总的信号能量(例如，较低的总的能量将使门限值较低)。当输入分音的幅度超过图9A的上限能量门限值曲线或最高限度时，分音的能量被减少(向下调节)图9B该频率有关调节曲线定义的量值。同样地，当分音的幅度低于下限能量门限值曲线或基底时，它的能量被加强(向上调节)同样由该频率有关调节函数定义的量值。幅度的增加和/或减少可以是某一预定量。

图9B的调节函数定义在给定频率调节的最大量。为了避免将失真引入分音的幅度，调节量随时间逐渐减少，使得平滑转变到最大调节。转变可以通过任意的函数定义，并且可以如线性曲线一样简单。没有逐渐的减少，波形可能被太快地调节，或者产生不连续，它在调节信号中产生不要求的和/或不希望的失真。类似地，当向上调节分音时也应用逐渐减少。

图9C示出与第二种门限值和调节方法有关的例子。

在信号的持续时间，它的泛音/分音可能在幅度上相当恒定，或者有时它们的幅度变化相当大。这些方面是频率和时间相关的，具有表现一种关于对抗分音的方式的某些泛音的幅度和衰减特性。

除了先前讨论的用于控制泛音(作为单个泛音或作为泛音组)的最大幅度和最小幅度的门限值以外，还可以由用户设置基于时间的门限值。这些必须满足以便本发明从它的分音调节开始进行。

基于时间的门限值对于规定的调节设置开始时间、持续时间和完成时间，使得幅度门限值必须满足用户规定的时间周期以便本发明开始起作用。例如，如果超过幅度门限值，但不能保持超过用户规定的时间，就不处理幅度调节。例如，信号落在最小门限值以下(1)曾经满足该门限值但随后低于它；或者(2)从不在第一个位置满足它，也不被调节。当调节信号并且用户可调节时软件识别这种差别是非常有用的。

插值法

一般地说，插值法是一种根据给定数量和已知变量间的关系，估计或计算两个给定数量之间未知数量的方法。在本发明中，插值法可应用于泛音调节、泛音调节和合成、分音变换以及泛音变换。这表示一种方法，通过该方法用户可以调节通过乐器或人的话音发出声音的某一点的音符的泛音结构。然后根据用户规定的任何若干曲线或轮廓或插值函数，本发明对所有音乐范围上的泛音结构从这些用户调节点中的一个到另一个进行偏移。这样，以连续的方式控制改变演奏音符的泛音含量。

话音或乐器的声音可以改变作为音域的函数。因为需要在不同音域中改变声音，歌手或音乐家可能希望保持一个音域的特性或音色，尽管声音音符在不同的音域中。在本发明中，插值不仅能够使他们这样做，而且能够以可控制的方式对于所有音乐频谱上的音符的泛音结构从一个用户调节点到另一个调节点自动地调节。

假定用户希望强调高音域音符的3次泛音，而不是强调中间音域的第10次泛音。一旦用户设置这些需要的参数，本发明自动地完成这些点之间音符的泛音结构的偏移，它具有用户控制的可变换特性。

简单地说，用户在某些点设置泛音，并且插值自动地调节这些“设置点”之间的每件事情。更准确地说，它完成两件事情：

·首先，用户可以调节在该话音或乐器范围内不同点的话音或乐器的音符(或选择范围内的音符组)的泛音结构；这样，用户可以正确地感觉声音的缺陷，或者调节声音以产生特别的效果，或者强调希望的泛音，或者减少或删除不希望的泛音，或者可能是无论什么事情；

·其次，一旦用户调节这些选择的音符或音域的声音，本发明根据用户预先选择的公式，偏移或变换在设置点之间音乐频谱上所有的音符和所有的感觉泛音的泛音结构。

插值函数(即，从一个设置点的泛音结构到另一个的偏移的特性或曲线)可以是线性的，或者对数的，或者用户选择的另一种形式。

频率刻度可以用图表示出各种音符、泛音、分音或其他信号的位置。例如，刻度可以用图表示一个八音度分开的频率的位置。本发明调节用户设置点之间所有的泛音结构的方式可以由用户选择。

模仿自然泛音

一个好的泛音频率的模型是 $f_n=f_1\×n\×S_2^{\log n},$ 因为它可以在宽谐振频带设置近似于自然的“陡峻”。例如，f₁＝185Hz的10次泛音是1862.3Hz而不是使用10×185的1850Hz。更重要的是该模型模拟和音泛音，例如泛音1与泛音2、泛音2与泛音4、泛音3和泛音4、泛音4和泛音5、泛音4和泛音8、泛音6和泛音8、泛音8和泛音10、泛音9和泛音12等等。当用于产生泛音时，这些泛音甚至比自然泛音产生的更强和更多回响。它还可以用于泛音调节和合成以及自然的泛音。这个函数或模型是找出接近匹配于乐器产生的“陡的”高次泛音的好方法。这样，拉长函数可以用于模仿自然的泛音INH。

函数 $f_n=f_1\×n\×S_2^{\log n}$ 用于对随着n增加逐渐更陡的泛音建模。S是锐化常数，一般设置在1和1.003之间，n是正整数1、2、3…T，这里T一般等于17。借助于这个函数，S的值确定陡的程度。它建模的泛音是和音的，如同当f_n＝n×f₁时泛音是和音一样。即如果f_n和f_m是音符的n次和m次泛音，则

         f_n/f_m＝f_2n/f_2m＝f_3n/f_3m＝…＝f_kn/f_km

有许多方法能够用于确定基音和泛音频率的，如快速寻找基音，或者经过滤波器组或自相关技术明显地定位频率。在特定操作中需要的准确度和速度是用户定义的，它帮助选择适当的频率寻找算法。

分开泛音影响

本发明和它的方法的另一个扩展允许唯一的处理音频，本发明应用于音频处理的其他领域。由用户选择感兴趣的泛音并且通过使用先前提到的可变数字滤波器与原始的数据分开。用于分开信号的滤波方法可以是任何方法，但特别的应用是数字滤波器，该滤波器的系数可以根据输入数据重新计算。

然后分开的泛音馈送到其他信号处理单元(例如，对乐器的作用如回响、合唱、法兰(连接)盘(flange)等等)，并且最后以用户选择的混合或比例混频回原始的信号。

实现

一种实现的变型包括连接到主计算机系统如台式个人计算机24的音频信号的源22，该计算机24具有若干个安装到系统中的附加卡来完成附加的功能。源32可以是实况的或来自存储的文件。这些卡包括模数转换卡26和数模转换卡28，以及用于实现高速数学和滤波操作的附加的数字信号处理卡。主计算机系统主要控制用户接口操作。然而，通用的个人计算机处理器可以单独地实现所有的数学操作而不用安装数字信号处理器卡。

输入的音频信号应用于模数转换单元26，该单元将电子声音信号转换为数字表示。在典型的应用中，模数转换使用一个20到24位转换器实现并且以48kHz-96kHz[以及可能更高]的采样率工作。个人计算机一般具有支持8kHz-44.1kHz采样率的16位转换器。这些可能对于一些应用是足够的。然而，大的字长度—例如20位、24位、32位—导致更好的结果。较高的采样率也改进了转换信号的质量。数字表示是随后存储到硬盘30的一长串数字。硬盘可以是独立的盘驱动器如高性能可移动盘类型介质，或者它可以是用于计算机驻留的其他数据和程序相同的盘。为了性能和灵活性，该盘是可移动类型的。

一旦数字化音频信号存储在盘30上，选择一个程序以完成所需的信号处理。程序可以实际上包括一系列完成所需目的的程序。这种处理算法通过存储在处理算法控制的随机存取存储器(RAM)中的可变大小单位从盘32读出计算机数据。当完成处理时处理的数据存回计算机盘30。

在本发明中，盘的读和写操作可以是迭代的和/或递归的，使得读和写可以混合，数据段可以被读和写许多次。音频信号的实时处理常常要求盘的访问和数字音频信号的存储最少，因为它将延迟引入系统。通过仅利用RAM，或利用超高速缓冲存储器，系统性能可以增加，以致于某些处理能够以实时的或准实时的方式完成。实时意味着以一种速率进行处理使得用户获得的结果具有很小或没有显著的延迟时间。根据处理类型和用户优先级，处理数据可以重写或与原始的数据混合。也可以或不可以一起写到一个新的文件。

一旦完成处理，数据再次从计算机盘或存储器30读出用于收听或别的外部处理装置34。数字化数据从盘30读出并且写到数模转换单元28，该单元将数字化数据转换回计算机34外部使用的模拟信号。另一方面，数字化数据可以以数字形式经过各种方法(如AES/EBU或SPDIF数字音频接口格式或其它形式)直接写到外部装置。外部装置包括记录系统、控制装置、音频处理单元、广播单元、计算机等。

处理以一种速率产生使得用户获得的结果具有很小或没有显著的延迟时间。根据处理类型和用户优先级，处理的数据可以重写或与原始的数据混合。也可以或不可以一起写到一个新的文件。

一旦完成处理，数据再次从计算机盘或存储器30读出用于收听或别的外部处理装置34。数字化数据从盘30读出并且写到数模转换单元28，该单元将数字化数据转换回计算机34外部使用的模拟信号。另一方面，数字化数据可以以数字形式经过各种方法(如AES/EBU或SPDIF数字音频接口格式或其它形式)直接写到外部装置。外部装置包括记录系统、控制装置、音频处理单元、广播单元、计算机等。

快速寻找基音方法

这里描述的实现还利用如快速寻找基音方法的技术。这种快速寻找方法技术使用算法以非常快的方式从较高泛音的泛音关系中推断出音频信号的基音，使得要求实时完成的随后的算法可以这样做而不会有明显的(或具有轻微的)延迟时间。如此快速寻找基音的算法可以推断出检测的高次泛音频率的次数和还没有检测的高次泛音的频率和次数—并且它可以完成这一点而不用知道或推断基音。

该方法包括在信号中选择一组至少两个候选频率。接着，确定是否候选的频率组的各部分形成一组具有泛音关系的合理的泛音频率。它确定每个泛音频率的次数。最后，基音是从合理的频率中推断出的。

在一种方法的算法中，如果所有的项是合理的泛音频率则检测的分音之间的关系与普遍的可比较关系进行比较。比较的关系包括频率比率、频率的差值、这些差值的比率、以及通过整数变量的函数建模的泛音频率产生的唯一的关系。使用可以由信号源产生的基音和/或高次泛音频率的下限和上限也筛选出候选的频率。

该算法使用高次泛音之间的关系、限制选择的条件、高次泛音具有的与基音的关系、以及可能的基音范围。如果f_n＝f₁×G(n)建模泛音频率，这里f_n是n次泛音的频率，f₁是基音，以及n是正整数，如果它们是来自相同基音的合理的泛音频率，普遍的分音频率之间的关系例子是：

a)候选频率f_H、F_M、F_L的比率必须近似等于通过替代泛音模型中它们的次数R_H、R_M、R_L获得的比率，即f_H÷f_M≈G(R_H)÷G(R_M)，以及f_M÷f_L≈G(R_M)÷G(R_L)。

b)候选频率之间差值的比率必须与建模的频率的差值的比率一致，即(R_H-R_L)÷(R_M-R_L)≈[G(R_H)-G(R_M)]÷[G(R_M)÷G(R_L)]。

c)候选频率分音f_H、R_M、f_L必须在源或乐器可以产生的频率范围里。

d)泛音次数R_H、R_M、R_L不必包含F_L以下或F_H以上的基音、可以由源或乐器产生的基音的范围。

e)例如，当匹配整数变量比率以获得可能的三个一组次数时，整数比率R_H/R_M中的整数R_M必须与整数比率R_M/R_L中整数R_M相同。这种关系用于将次数对{R_H，R_M}和{R_M，R_L}加入到可能的三个一组{R_H，R_M，R_L}中。

另一种算法使用一种模拟的“计算尺”以快速地识别各组测量的泛音关系的分音频率和每个的次数以及产生它们的基音。该方法包括一个刻度，在该刻度上相应于方程式f_n＝f₁×G(n)中G(n)的值标记泛音乘数的值。每个标记的乘数采用n的相应的值做标记。测量的分音的频率标记在同样的刻度上，并且当它们相对的位置变化时比较这些刻度以隔离匹配于各组乘数的各组分音频率。次数可以直接从乘数刻度中读出。它们是n的相应的值。

次数和频率随后用于确定哪组是合理的泛音，并且相应的基音也可以直接从乘数刻度中读出。

为了全面地理解上述的算法和其他相关的算法，可以参照PCT申请PCT/US99/25294“快速寻找基音方法”，WO 00/26896，11 May2000。

另一种实现

图11说明了根据本发明原理用于修改复合波形的各种系统和方法的可能的相互关系。输入信号如复合波形提供到声音文件。然后这个信息可以提供给快速寻找基音方法或电路。这可以用于快速确定复合波形的基音或作为预报器提供信息用于进一步的泛音调节和/或合成。如果分析被准实时地完成这是特别实际的。

泛音调节和/或合成取决于相对幅度和频率可调节的移动目标或修改装置。在脱机模式下，泛音调节/合成将直接从声音文件接收它的输入。输出可以来自泛音调节和合成。

另一方面，泛音调节和合成信号与任何这里公开的方法相结合可以作为输出信号提供。

基于活动目标的泛音和分音加重也可以脱机地直接从复合波形的声音文件的输入端接收输入信号或者作为泛音调节和/或合成的输出形式。它提供输出信号作为系统的输出或者作为泛音变换的输入。泛音变换也基于活动目标并且包括目标文件、插值和模仿自然泛音。

本发明已经描述说明了情况。该描述只是对本发明的说明而不是一种限制方式。上面提供了可能的许多修改、组合和变化。因此，应该理解本发明实际上可以采用许多方式而不仅仅是这里特别描述的方式。

Claims (43)

1.一种修改复合波形中检测的音调频谱的泛音幅度的方法，该方法包括：

应用幅度修改函数(14，14’)到由泛音次数选择的检测的音调频谱的每个泛音，这里当包含选择泛音的检测音调频谱的频率随着时间改变时，每个幅度修改函数的频率被连续设置到相应于泛音次数的频率。

2.如权利要求1所述的方法，其中幅度修改函数(14，14’)可以相对于频率和幅度的至少一个调节。

3.如权利要求1所述的方法包括当泛音频率变化时分配一个泛音次数到每个幅度修改函数(14)并且设置幅度修改函数的频率为该次数泛音的频率。

4.如权利要求3所述的方法包括分配幅度变化给每个幅度修改函数。

5.如权利要求1所述的方法，其中幅度修改函数(14’)设置到固定的频率；当幅度放大函数的频率和泛音相符时，应用幅度修改函数到选择的泛音；以及作为泛音的选择次数的函数调节幅度修改函数的幅度修改。

6.如权利要求1所述的方法包括使用快速寻找基音方法以确定检测的音调频谱的泛音频率。

7.如权利要求1所述的方法包括使用快速寻找基音方法确定哪个分音是泛音音调频谱的泛音和它们的泛音次数。

8.如权利要求1所述的方法，其中幅度修改函数(14，14’)随着时间在频率和幅度上变化。

9.如权利要求1所述的方法，其中幅度修改函数(14，14’)包括调节泛音的选择次数的幅度一个预定值。

10.如权利要求1所述的方法包括在相同的音调频谱内将第一个选择的泛音幅度与第二个选择的泛音幅度比较，并且根据该比较和次数相对于第二个选择的泛音幅度调节第一个泛音的幅度。

11.如权利要求1所述的方法包括使用幅度修改函数(14，14’)以合成选择泛音次数的泛音，并且将合成的泛音频率加到波形中。

12.如权利要求11所述的方法，其中使用建模函数n×S₂ ^log n合成泛音，这里S是大于1的常数，n是泛音次数。

13.如权利要求1所述的方法包括使用幅度修改函数(14)以合成选择的非泛音，并且将合成的非泛音加到波形中。

14.如权利要求1所述的方法，其中幅度修改函数(14，14’)包括通过频率、幅度和时间位置并且通过泛音次数调节复合波形的检测的分音以类似于第二个源复合波形。

15.如权利要求1所述的方法，其中幅度修改函数(14，14’)包括通过频率、幅度和时间位置并且通过泛音合成复合波形的检测的分音以类似于第二个源复合波形。

16.如权利要求1所述的方法，包括设置两个或多个基于频率的参数；选择插值函数；以及根据基于频率的参数和插值函数调节(14，14’)泛音的幅度。

17.如权利要求1所述的方法包括：

确定动态能量门限值作为来自分音的检测能量的频率的函数；

设置噪声基底门限值作为频率的函数；

相对于门限值，对于每个分音，采用定标函数继续确定幅度修改；以及

采用幅度修改函数，应用(14’，24)确定的修改到分音。

18.一种修改复合波形中分音幅度的方法，该方法包括：

确定动态能量门限值作为来自分音的检测能量的频率函数；

设置噪声基底门限值作为频率的函数；

对于每个相对于门限值的分音，采用定标函数继续确定幅度修改；以及

采用幅度修改函数，应用(14’，24)确定的修改到分音。

19.如权利要求17或18所述的方法，其中连续执行设置噪声基底门限值作为频率的函数。

20.如权利要求19所述的方法，其中噪声基底门限值被设置作为时间的函数。

21.如权利要求1、17和18中任一个所述的方法，其中幅度修改函数(14’，24)使用数学模型、算法或函数处理。

22.如权利要求17或18所述的方法，其中当分音的频率随着时间变化时，分音的幅度修改随着分音的频率变化。

23.如权利要求17或18所述的方法，其中当分音的频率随着时间变化时，每个幅度修改函数(14，24)的频率继续相应于分音频率设置。

24.如权利要求17或18所述的方法，其中动态能量门限值由邻近的分音的检测能量确定。

25.如权利要求17或18所述的方法，其中动态能量门限值由时间周期内检测的分音能量和频率确定。

26.如权利要求17或18所述的方法，其中动态能量门限值被确定为所有分音的检测能量的平均值。

27.如权利要求17或18所述的方法，其中动态能量门限值被确定，用于来自在时间周期内该分音的频带内的分音能量的每个分音。

28.如权利要求17或18所述的方法，其中通过在该时间周期随着时间的该分音幅度和它对于门限值的关系确定分音的幅度修改。

29.如权利要求17或18所述的方法，其中能量在动态能量门限值以上的分音使用定标函数来调节(14’，24)。

30.如权利要求17或18所述的方法，其中能量在动态能量门限值以下的分音使用定标函数来调节(14’，24)。

31.如权利要求17或18所述的方法，包括确定第二个动态能量门限值作为来自分音的检测能量的频率的函数。

32.如权利要求17或18所述的方法包括设置最大的限幅门限值。

33.如权利要求17或18所述的方法，其中当门限值电平变化时，定标函数被标定。

34.如权利要求17或18所述的方法，包括不调节其幅度小于噪声基底门限值的分音的幅度。

35.如权利要求17或18所述的方法，其中分音的能量必须满足分音在幅度调节之前一组持续时间的幅度门限值。

36.如权利要求35所述的方法，其中持续时间可以改变。

37.如权利要求18所述的方法，包括通过应用幅度修改函数(14，14’)到每个由泛音次数选择的泛音，修改复合波形中检测的音调频谱的泛音幅度，其中当包含选择泛音的检测的音调频谱的频率随着时间变化时，每个幅度修改函数(14，14’)的频率连续设置到相应于泛音次数的频率。

38.如权利要求1、17和18中任一所述的方法，其中使用频率和幅度可调数字滤波方法实现分音的幅度修改函数(14，24’)。

39.如权利要求1、17和18中任一所述的方法，其中使用固定频率、可变幅度滤波处理方法实现分音的幅度修改函数(14，24’)。

40.如权利要求1到18中任何一个的方法，包括存储该方法作为数字信号处理器的指令。

41.如权利要求40所述的方法，包括，经过延迟缓冲器(24)传递检测的音调频谱。

42.如权利要求40所述的方法，包括，初始经过A/D转换器(26)传递复合波形。

43.如权利要求1到18中任何一个所述的方法，包括存储复合波形；随着时间确定音调频谱和它的泛音频率、幅度以及泛音次数。

Images