CN102144258B

CN102144258B - 促进确定信号边界频率的方法和装置

Info

Publication number: CN102144258B
Application number: CN2009801326212A
Authority: CN
Inventors: 坦卡西·V·拉玛巴德兰; 马克·A·加休科
Original assignee: Motorola Mobility LLC
Current assignee: Motorola Mobility LLC; Google Technology Holdings LLC
Priority date: 2008-08-21
Filing date: 2009-07-22
Publication date: 2013-05-01
Anticipated expiration: 2029-07-22
Also published as: KR20110043695A; CN102144258A; EP2316118A1; RU2011110493A; WO2010021804A1; KR101250596B1; US20100049342A1; EP2316118B1; US8463412B2

Abstract

信号处理平台(300)呈现要处理的信号(101)以及识别具有特定特性的信号部分(102)，所述信号部分用于自动地确定至少一个边界频率(103)，所述至少一个边界频率可以用于促进信号的带宽扩展。识别这些信号部分可以包括识别至少展现预定能量水平的信号部分。确定边界频率的步骤可以包括：计算识别的信号部分中的每个的幅度频谱，根据对应的归一化信号部分可以使用幅度频谱来确定通带内对应平坦度测量，从而提供核实的信号部分。然后，确定边界频率可以包括：积累这些核实的信号部分的幅度频谱；以及使用所得到的积累来估计对应的信号包络。然后，此信号包络可以用于确定至少一个边界频率。

Description

促进确定信号边界频率的方法和装置

技术领域

本发明通常涉及信号处理，更具体地，涉及音频信号处理。

背景技术

各种设置至少部分地用于处理通过给定带宽一侧或另一侧限界的信号。在许多情况下，这样做是保证信号适合与处理平台和/或应用设置相对应的某些有限的处理能力。例如，一些处理平台(诸如蜂窝电话)通常将待处理的音频信号限制到某个预定带宽，诸如300至3400Hz，即使原始语音内容可以包括此范围之外的频率。

在认识到此类约束可能限制声音质量这一事实时，一些平台使用人工带宽扩展进一步处理此类信号。通常而言，人工带宽扩展通常包括将上述预定带宽外的人工生成的内容添加到已处理的信号，以便有希望改善得到的声音质量。

然而，此类方法的成功本身就可以很随意且不可预测。在一些情况下，对应结果可以是自然声音且相对取悦听众。然而，在其他情况下，带宽扩展结果可能相当不自然且令人讨厌。最坏地，此人工生成的内容的引入可能使得更难以辨别原始音频内容的实质性内容。

附图说明

上述需求至少部分是特别当结合附图研究时通过提供下面的具体实施方式中描述的促进确定信号边界频率的方法和装置来满足，在附图中：

图1包括根据本发明的各种实施例配置的流程图；

图2包括根据本发明的各种实施例配置的流程图；以及

图3包括根据本发明的各种实施例配置的框图。

本领域的技术人员将理解，附图中的元素是为了简明和清楚而图示的并且不一定按照比例绘制。例如，附图中一些元素的尺寸和/或相对定位可以相对其他元件被放大，以提高对本发明的各种实施例的理解。而且，往往不描绘在商业上可行的实施例中有用或必要的常见但公知的元件，以促进对本发明的各种实施例的较少的晦涩理解。进一步将理解，可以按照特定发生顺序来描述或描绘特定动作和/或步骤，同时本领域的技术人员将理解，实际上不需要对于顺序的此类指定。还将理解，在此使用的术语和表达具有上面阐述的本技术领域的技术人员赋予此类术语和表达的普通技术含义，除非在此已经另外阐述了不同的特定含义。

具体实施方式

通常而言，根据这些各种实施例，信号处理平台呈现要处理的信号(诸如数字化的音频信号)，并且然后识别具有特定特性的信号部分，以提供对应识别的信号部分。然后，后者用于自动地确定信号的至少一个边界频率。然后，这个(或这些)(一个或多个)边界频率可以用于促进信号的带宽扩展。通过一种方法，识别具有特定特性的信号部分的步骤可以包括：识别至少展现特定能量水平的信号部分。在此类情况下，确定边界频率的步骤可以包括：至少部分地计算每个识别的信号部分的幅度频谱。

通过一种方法，如果期望，则上述幅度频谱可以用于根据对应的归一化的信号部分来确定通带内的对应平坦度测量，从而提供对应的核实信号部分。在此类情况下，且如果再次期望，则确定(一个或多个)边界频率的步骤可以包括积累这些核实信号部分的幅度频谱，从而提供积累的幅度频谱，并且然后使用后者来估计对应信号包络。然后，该信号包络可以用于确定(一个或多个)边界频率。

通过一种方法，例如，这些教导然后将适应通过至少部分自动地执行下述步骤来使用信号的高频带边缘检测执行所述信号的带宽扩展：通过使用高频带边缘的最低期望值；然后使用达到检测的高频带边缘的可用窄带信号；以及，然后使用检测的高频带边缘之上的带宽扩展的信号来表示所述信号。

作为这些方面的另一示例，这些教导将适应：通过检测在低频带边缘的最高期望值之下的低频带边缘来执行信号的带宽扩展，以提供对应的检测到的低频带边缘。然后，可以基于此检测到的低频带边缘来调整低频带提升特性，以提供对应的已调整的低频带提升特性。然后，此已调整的低频带提升特性可以应用于信号，以获得所得到的提升的低频带信号。

本领域的技术人员将认识和理解到，这些教导提供给定信号的频带边缘的检测。然后，这些教导考虑并容易适应使用此信息影响带宽扩展。与多种现有技术方法相比较，对于音频质量，带宽扩展结果本身相当优秀。此结果至少部分地由于更好的适应和原始信号中的现有内容的使用。这在许多情况下进而减小了在所得到的带宽扩展信号中包括的制造内容的量。

进一步将理解，通过利用可用处理平台容易地且经济地促进了这些教导。对应的计算要求相对适度，从而致使这些教导适合于具有有限本地处理资源(诸如，可用功率储备、计算能力等)的处理平台(诸如但不限于，蜂窝电话等)。进一步将理解，这些教导是高度可扩展的，并且可以与各种信号、带宽要求和/或机会等一起有效地使用。

在全面审查和研究下面的详细描述之后，这些和其他益处可能变得更加清楚。现参照附图，并且特别参照图1，现将呈现与这些教导中的很多都兼容的说明性处理。可以通过选择的信号处理平台来实现此处理100。这方面中的示例包括但不一定限于蜂窝电话、一键通无线设备(诸如所谓的对讲机)、陆线电话、所谓的互联网电话等。

此处理100包括呈现要处理的信号的步骤101。对于许多感兴趣的应用设置，此信号将包括音频内容。在许多情况下，呈现此信号的步骤将包括呈现音频内容的多个顺序样本(诸如数字样本)。例如，此步骤可以包括：呈现包括使用8KHz采样率获得的1024个顺序样本的此类信息的帧。例如，此步骤还可以包括：呈现包括多个此类帧的内容的窗口。例如，在涉及音频信号(包括人类语言)的各种各样的常见应用设置中，具有持续时间大约1至3秒的窗口可能很有用。

然后，此处理100呈现步骤102，步骤102识别信号中具有特定特性的信号部分，从而提供对应的识别的信号部分。通过一种方法，例如，此信号部分可以包括预定时间或数据量，诸如，上述帧。在此类情况下，此步骤可以包括识别展现感兴趣的特定特性的特定帧。

通过一种方法，此特定特性可以包括预定能量水平。在此类情况下，识别信号中具有感兴趣的特定特性的信号部分的步骤可以包括识别至少展现例如此预定能量水平的信号部分。

然后，此处理100呈现步骤103，步骤103使用这些识别的信号部分自动地确定信号的至少一个边界频率。例如，这可以包括根据需要确定信号的下边界频率、上边界频率或者上边界频率和下边界频率两者。通过一种方法，由于可以包括信号，此步骤可以包括根据音频内容的顺序样本组的至少一些顺序序列中的每一个来自动地确定信号的至少一个边界频率。例如，正如上文提到，可能有用的是，在许多应用设置中对顺序音频内容样本组的确定，其中，每组表示大约1秒至大约3秒的音频内容。

在这方面中，本领域的技术人员可以注意到且理解，根据倾向于表征给定应用设置的需要和/或机会，上述组和上述信号部分可以彼此紧密相关或不紧密相关。通过一种方法，例如，上述识别的信号部分可以落入上述组。然而，将理解，为了确定边界频率而选择的组不一定必须从顺序序列组选择。例如，选择的组可以在时间上彼此重叠。

如果需要，则此处理100将按照各种方式的任何一种容易适应执行这些步骤。通过一种方法，例如，这些步骤可以包括：计算识别的信号部分中的每个的幅度频谱。然后，该幅度频谱可以用于根据对应的归一化的信号部分来确定带通内的对应的平坦度测量，从而提供核实的信号部分。例如，此类方法将支持进一步的步骤，该进一步的步骤积累核实的信号部分的幅度频谱，以提供对应的积累的幅度频谱，使用该积累的幅度频谱来估计与核实的信号部分相对应的信号包络，并且然后使用该信号包络来确定上述(一个或多个)边界频率。

作为这个方面中的另一示例，如果需要，则此处理100将容易地适应使用幅度频谱的转换版本以影响上述积累。此类转换可以基于幅度频谱本身，但是在此类情况下，将不积累幅度频谱本身。在这方面中有用的转换包括但不限于：将幅度频谱提升到除了1之外的功率(诸如但不限于，大于1的功率)，对幅度频谱执行log运算，然后是乘法步骤(例如，将结果转换为分贝)等等。

为了说明起见，在这些方面中现将提供根据特定示例的附加细节。本领域的技术人员将认识和理解，此示例的详情仅用于说明目的，而不提供这些详情包括在这方面中所有此类可能性的穷尽列表的任何建议或意图。

在不是非典型人工语音带宽扩展(BWE)系统中，通过基于从窄带语音本身提取的参数合成丢失信息来将(例如，300-3400Hz内包含的)输入窄带语音转换为对应的宽带语音(诸如，100-8000Hz)输出。首先，使用线性预测(LP)系数分析来分析此输入窄带(NB)语音，以提取频谱包络。根据NB系数，估计宽带LP系数(例如，使用现有技术中已知的码本映射)。还使用窄带LP系数对输入语音进行逆滤波，以获得(1∶2)上采样域中的NB激励信号。

根据此信号，(例如，使用诸如矫正的非线性操作)合成宽带(WB)激励信号。然后，使用LP滤波器(采用所估计的WB系数)对WB激励进行滤波并且合成宽带语音。所得到的合成宽带语音经过高通滤波并且被添加到输入NB语音(1∶2上采样的版本)，以获得所估计的宽带输出语音。

此类BWE系统的典型应用情形是蜂窝电话，其中，此类系统可以用于扩展所接收到的音频的带宽，以增强用户体验。在设计用于此类应用的BWE系统中，通常假设输入NB信号具有特定带宽，诸如300-3400Hz。然而，在许多应用设置中，信道的带宽不固定，而是可以根据呼叫不同而变化(或者即使在单个呼叫体验中也能变化)。

当前教导允许检测所接收到的信号的频带边缘，使得在相当大地程度上保留原始信息(例如，从大约200到3600Hz)，并且仅在要求的情况下或者在至少可能有帮助的情况下，才添加人工生成的信息(例如，从大约100至200Hz以及从大约3600至8000Hz)。

现参照图2，示出了符合这些教导的一种频带边缘检测算法的说明性示例。在第一步骤201中，输入NB语音由连续样本块组成，在此被称为帧。例如，第k帧可以被表示为：

F_k＝{s(n_k+i)，i＝0，1，...，N-1}

其中，s(n)是通过[-1，1)限界的样本索引n处的语言样本，与帧F_k的第一样本相对应的样本索引是n_k，并且N是帧长。

相继的帧可以彼此重叠，并且F_k+1相对于F_k中的新样本的数目被称为增量。为了说明性示例的目的，N被选择为1024(以8kHz采样128ms)，并且增量被选择为120(以8kHz采样15ms)。然后，语音的每个帧点乘适当的窗口W，以获得加窗的语音帧F_k，w。适当的窗口是Hamming、Hann等。在此示例中，使用通过下式定义的升余弦窗：

W(i)＝0.5*(1-cos(2·πi/N)，i＝0，1，...，N-1.

加窗的语音帧可以被表示为

F_k，w＝{s(n_k+i)·W(i)，i＝0，1，...，N-1}.

在如上所述构成加窗的语音帧之后，在第二步骤202中，计算其能量如下

E_{k} = \frac{1}{N} Σ_{i = 0}^{N - 1} {F^{2}}_{k, w} (i)

并且，当能量超过特定阈值时，进一步处理帧。否则，流程返回到第一步骤201，以构成下一帧。在此说明性示例中，在额定信号电平-26dBov，使用的能量阈值是-50dB。此步骤202确保在检测频带边缘中仅使用具有充足能量的帧。

当帧具有充足的能量时，此处理提供第三步骤203，以通过将其样本的每一个除以其能量的平方根来对帧进行归一化。归一化确保在检测频带边缘中使用的每个帧被给予相同的权重。本领域的技术人员将认识到，替代加权方案是能的。简化该表示法，归一化的帧可以表示为

x (i) = \frac{1}{\sqrt{E_{k}}} F_{k, w} (i),

i＝0，1，...，N-1.

然后通过快速傅里叶变换来获得归一化的帧的幅度频谱M(l)

X (l) = Σ_{i = 0}^{N - 1} x (i) \cdot e^{- j \cdot 2 π \cdot i \cdot l / N},

l＝0，1，...，N-1以及

M(l)＝|X(l)|

其中，l是频率索引，并且对于N＝1024，每个频率索引是步长8000/1024＝7.8125Hz的倍数。

在第四步骤204中，检查幅度频谱的平坦度。例如，这可以通过估计通带(例如，300-3400Hz)内的频谱平坦度测量(sfm)来完成。在此示例中，频谱平坦度测量被定义为频谱值的几何平均与算数平均之比。sfm范围从峰值频谱(即，非平坦)0到完全平坦的频谱1。

在此说明性示例中，使用通带(300-3400Hz)内的12个等宽频带来计算sfm，如下。

E_{x, d} = Σ_{l = l_{d} = 39 + d * 33}^{l = l_{d} + 33} M^{2} (l),

d＝0，1，...，11，

A_{mean} = \frac{1}{12} Σ_{d = 0}^{11} E_{x, d},

G_{mean} = e^{\frac{1}{12} Σ_{d = 0}^{11} \log (E_{x, d})},

以及

sfm = \frac{G_{mean}}{A_{mean}} .

当sfm大于阈值时，帧的幅度频谱用于进一步处理。否则，流程返回到第一步骤201。在此说明性示例中，sfm阈值被选择为0.5。此步骤确保用于频带边缘检测的帧在通带中具有适度平坦的频谱。本领域的技术人员还将理解，存在用于实现此的替代方式。例如，可以使用LP建模来计算帧的预测增益，并且仅当预测增益低于阈值时，才选择用于频带边缘检测中使用的帧。

当帧具有适度平坦的频谱时，在第五步骤205中，积累帧的幅度频谱，并且递增在积累中使用的帧的计数。如果需要，则还可以积累能量频谱(例如，通过将幅度频谱增加到第二功率，或者将幅度频谱提高到某个其他功率)。

在第六步骤206中，检查对于所积累的幅度频谱的帧计数，以弄清楚其是否至少等于指定阈值(诸如，在此说明性示例中，100)。当不是这种情况时，流程返回到第一步骤。

当已经积累了足够数目的幅度频谱时，在第七步骤207中进一步处理所积累的频谱。首先，通过对log频谱进行IFFT(逆快速傅里叶变换)来计算线性频率倒谱系数(LFCC)为：

C (m) = \frac{1}{N} Σ_{l = 0}^{N - 1} 20 \cdot \log_{10} [M_{acc} (l)] \cdot e^{j \cdot 2 π \cdot l \cdot m / N},

m＝0，1，...，N-1

其中，M_acc(l)表示所积累的幅度频谱，C(m)表示LFCC，并且

通过将除了由{C(m)，m＝-M₁，-(M₁-1)，...，0，1，...，M₁-1，M₁}表示的集合之外的所有LFCC设置为0并且如下进行FFT，可以获得log频谱包络：

LS (l) = Σ_{m = - M_{1}}^{M_{1}} C (m) \cdot e^{- j \cdot 2 π \cdot l \cdot m / N}

其中，可以通过加N来将m的负值转换为正值。在此说明性示例中，M₁被选择为14。

根据log频谱包络LS(l)，可以估计较低或较高的频带边缘。例如，通带内log频谱的均值可以被估计为：

{LS}_{mean} = \frac{1}{l_{p 2} - l_{p 1} + 1} Σ_{l = l_{p 1}}^{l_{p 2}} LS (l)

其中，l_p1和l_p2表示通带内较低和较高索引。在此说明性示例中，l_p1＝51并且l_p2＝422。

较低频带边缘可以被估计为索引l₁，在索引l₁，log谱包络是在LS_mean之下的T_L dB。这通过在适当的范围内(诸如115-265Hz)搜索并且选择log频谱包络值LS(l₁)最接近于(LS_mean-T_L)的索引很容易实现。替代地，可以找到包括期望包络值的两个索引，并且使用线性内插来获得较低频带边缘的分数索引值。

通过在适当的范围内(诸如3450-3750Hz)搜索来类似地找到较高频带边缘l_h，以找到LS(l_h)是(LS_mean-T_H)dB的索引。对于阈值T_L和T_H，适当的值是大约10dB。注意到，用于检测较低频带边缘和较高频带缘边的搜索范围以及阈值T_L和T_H的选择取决于输入NB语音，也就是说，语音是干净的还是编码的、使用了什么类型的编码器、信噪比以及、可以唯一地用在给定应用设置中的其他因素。在期望的应用中，这些可以按照经验来选择用于最佳性能。还可能有用的是，使用一对陷波滤波器(分别在大约0Hz和4000Hz的凹陷)来处理输入NB语音，以确保log频谱包络在两个边缘衰减。

然后，在预先设计的校准带宽的情况下，使用所检测到的信号的频带边缘，将所检测到的频带边缘(即，l₁和l_h)分别转换成对应的频率值F₁和F_h Hz。

一旦检测到频带边缘，则将他们合并到BWE中以增强其性能是相当直接的。例如，出于示例起见而假设，BWE系统已经被设计用于带宽300-3400Hz，但是通过频带边缘检测算法检测到的实际信号带宽是200-3600Hz。为了包括高端的附加信号带宽，可以仅将HPF的截止频率从3400Hz移动到3600Hz。替代地，还可以将原始信号与在3400-3600Hz频带内人工生成的信号逐步结合。类似地，在低端，可以将低频带提升特性降低100Hz(从300Hz到200Hz)。

本领域的技术人员将理解，可以使用各种各样的可用和/或容易配置的平台来容易地启用上述处理，包括本领域已知的部分或全部可编程平台或者某些应用可能期望的专用平台。现参照图3，现将提供对此类平台的说明性方法。

在此示例中，装置300包括处理器301，处理器301可操作地耦合到存储器302，在存储器302中存储了要处理的上述信号。本领域的技术人员将认识和理解，此类处理器可以包括固定目的硬连线平台或者可以包括部分或全部可编程平台。这些架构选项都是本领域可以公知和理解的，并且在此不需要进一步描述。

处理器301可以被配置成(例如，经由本领域的技术人员将公知的对应编程)实现在此阐述的一个或多个步骤、动作和/或功能。通过一种方法，例如，这可以包括配置处理器301：通过至少部分地使用高频带边缘的最低期望值，使用达到检测到的高频带边缘的可用窄带信号，并且使用所检测到的高频带边缘之上的带宽扩展信号以表示信号自动执行带宽扩展，使用高频带检测执行信号的带宽扩展(如在此教导，通过根据信号的顺序样本组的至少一些顺序序列的每一个来确定信号的对应边界频率)。

当然，也可以进行很多同样的操作以适应低频带内容。例如，通过一种方法，处理器301可以被编程为检测在低频带边缘的最高期望值之下的低频带边缘以提供对应的检测到的低频带边缘，基于所检测到的低频带边缘来调整低频带提升特性以提供已调整的低频带提升特性，并且将已调整的低频带提升特性应用于信号以获得已提升的低频带信号。

本领域的技术人员将认识和理解，此类装置300可以包括由图3所示的说明建议的多个物理上不同的元件。然而，也可以将此说明视为包括逻辑视图，在这种情况下，可以经由共享平台来启用和实现这些元件中的一个或多个。还将理解，此类共享平台可以包括如本领域已知的全部或至少部分可编程平台。

如此配置，这些教导将容易地结合带宽扩展方法应用，以更好地促进此类处理。这些教导也是高度可缩放的，并且可以与各种此类方法一起使用且结合要处理的各种各样的信号来使用。

本领域的技术人员将认识到，在不脱离本发明的精神和范围的情况下，可以对上述实施例进行各种修改、更改和组合，并且此类修改、更改和组合将被认为在本发明概念的范围内。

Claims

1.一种用于信号处理的方法，包括：

在信号处理平台处；

呈现要处理的信号；

识别至少展现预定能量水平的信号部分，以提供识别的信号部分；

通过计算所述识别的信号部分中每个的幅度频谱，来使用所述识别的信号部分自动地确定所述信号的至少一个边界频率，以及根据对应的归一化信号部分，使用所述幅度频谱来确定通带内的对应平坦度测量，从而提供核实的信号部分。

2.如权利要求1所述的方法，其中，呈现要处理的信号的步骤包括：呈现音频内容。

3.如权利要求2所述的方法，其中，呈现信号的步骤进一步包括：呈现所述音频内容的多个顺序样本。

4.如权利要求3所述的方法，其中，自动地确定所述信号的至少一个边界频率的步骤包括：根据所述音频内容的顺序样本组中至少一些顺序序列中的每一个，自动地确定所述信号的所述至少一个边界频率。

5.如权利要求4所述的方法，其中，所述音频内容的每个所述顺序样本组表示从大约1秒到大约3秒的所述音频内容。

6.如权利要求1所述的方法，其中，自动地确定所述信号的至少一个边界频率的步骤进一步包括：

积累所述核实的信号部分的所述幅度频谱，以提供积累的幅度频谱；

使用所述积累的幅度频谱来估计与所述核实的信号部分相对应的信号包络；

使用所述信号包络来确定所述至少一个边界频率。