CN101263705B - 一种尤其用于免提电话终端的拾音方法和装置 - Google Patents

Abstract

本发明涉及到处理信号以改进电话和/或视频电话单元中的声音提取。本发明的方法包括：将一个单元麦克风(Mic)传输的信号与一个低阈值(THR LOW)比较(13)，并当所述麦克风传输的信号小于低阈值时放大(14，15)该信号。然而，所述步骤取决于对一个输入扬声器(HP)的信号执行的测试(10)，特别包括控制处于背景噪声级别(BDF_d)的所述最终信号(crete HP)，以使得不会因为麦克风(Mic)和扬声器(HP)之间的声学耦合而放大背景噪声。

Description

一种尤其用于免提电话终端的拾音方法和装置

技术领域

本发明涉及语音信号的处理，尤其涉及拾音增强处理，特别涉及免提电话终端领域，或甚至可以涉及视频会议系统、VoIP语音网关(Internet协议)、电话呼叫中心和其它应用领域。

背景技术

对于音频会议或视频会议设备，在所谓的免提环境下，很难做好拾音。免提操作会给处理过的信号带来一个动态范围问题。典型地，麦克风上的信号电平会在一个很宽的范围内波动。这个强烈的电平波动特别是由于说话者离麦克风太远或者距麦克风太近以及不同个体的说话功率的自然差异造成的。

很极端的一些情况就是，使用设备的人们离一个或多个麦克风很近或者很远。在离麦克风很近的情况下会导致饱和，在离麦克风很远的情况下会导致语音的拾音效果差。

为了解决拾音电平低的问题，有很多现存的商业类电子设备或很多IP语音软件版本，它们提供拾音电平的自动控制。这些设备能应用于电信设备。很多早期的系统采用增益变化的方法，特别是采用电信网络上传输的信号的自动衰弱的方法。例如：法国专利文献FR2841721提出利用一个或多个扬声器上存在的一个信号来计算增益的修正。

对于音频信号的放大，也有多种集成电路形式的解决方案。然而，这些集成电路没有考虑到参考信号，例如输入至扬声器或喇叭的信号。

“Skype”IP语音软件对麦克风的信号采用自动增益控制技术。这个技术没有用在所谓的“多通道”环境中(多个麦克风和/或多个扬声器)，并且这个技术也没有考虑到参考信号。

本发明改进了上述情况。

发明内容

为了改进上述情况，本发明首先提出一种用于电话和/或视频电话设备中增强拾音的信号处理方法。所述设备包括至少一个麦克风和至少一个扬声器。所述方法包括以下步骤：

β)将来自麦克风的信号与一个低限值(THR_LOW)作比较；

γ)若所述来自麦克风的信号低于该低限值，放大来自麦克风的信号。

根据本发明的一个优选定义，在比较的步骤β)之前有一个步骤：

α)将即将传输至扬声器的信号与一个已选择的阈值(BDF_d)作比较；

对于γ)步骤中放大来自麦克风信号的应用，其取决于步骤α)中的即将输入至扬声器的信号的比较结果。

因此，本发明旨在检测被认为是低电平的被一个或多个麦克风拾音后的信号电平，并对拾音后的语音信号应用一个增益，同时还考虑到扬声器或喇叭发出的声音大小。这个方法不用不必要地放大来自扬声器的信号，因为考虑到扬声器和麦克风之间总是可能产生声耦合的。特别的是，在进行信号放大或者甚至是为信号放大进行增益计算之前会先检查一下扬声器和喇叭上没有声音信号或者声音信号电平低的情况，这个扬声器和喇叭上的信号即构成一个参考信号。

所以，本发明与上述现有技术主要的区别在于增大来自麦克风并将传输至电信网络的信号，而非减弱该信号，特别地，本发明还考虑了来自或由扬声器或喇叭产生的语音信号。

应该理解的是，本发明的用意不是特别旨在掩盖声学回声而是旨在当扬声器上没有信号期间语音信号很小的情况下增强语音信号电平。还应当理解的是，在本发明中，如果没有考虑输入至扬声器的信号，回声将会被放大并由此(典型地，在一个极端的例子中)增大了声学反馈，而这个声学反馈在原则上是应该回避的。

在一个优选的实施例中，为实施步骤α)所选择的阈值对应于一个背景噪声大小，该背景噪声大小在即将传输至扬声器上的信号中测量。有利的是，这种做法可以避免放大扬声器提供的信号中高于背景噪声的语音信号，该信号很容易被麦克风或者设备中的麦克风不必要地再次拾音。

并且，本发明还提供来自麦克风的信号与对应于本地背景噪声大小的比较，其中当来自麦克风的信号比该本地背景噪声信号电平大时，将执行步骤β)中的来自麦克风的信号与一个低限值(THR_LOW)作比较这一步骤。有利的是，在这种情况下，可以避免毫无意义地放大本地背景噪声信号，并且仅放大语音信号。因此，本发明提供检测一个环境、本地噪声信号，例如，在安装有设备的房间内的环境、本地噪声信号，这种做法，可以不放大一个或多个麦克风附近的本地背景噪声，而仅放大语音信号。因此，可以理解的是，在一个房间比较嘈杂的情况下，在低电平语音检测之前，可以有利地采用一个噪声消除模块，以显著增强语音信号增益控制的有效性。该噪声消除可以根据专利文献FR-2820227的方法得到。环境噪声监测器在此不做描述。然而，专利文献FR-2820227中涉及的环境噪声监测器可以被使用，并且其非常适合本发明的应用。

本发明还旨在提供一种实施上述方法的信号处理装置。该装置可以用于包括至少一个麦克风和至少一个扬声器的电话机和/或视频电话设备中。该装置包括：

一个第一测试模块，该测试模块用来将来自麦克风的信号与一个低限值作比较，

一个当来自麦克风的信号低于该低限值时放大该来自麦克风的信号的模块，和

一个根据本发明的第二测试模块，该第二测试模块将即将输入至扬声器的信号与一个被选的阈值作比较，来自麦克风的信号的放大条件取决于即将输入至扬声器的信号与被选阈值的比较结果。

本发明还提供了一个计算机程序产品，该计算机程序用来存储在上述装置的存储器中。该计算机程序产品包括：

一个测试指令，该测试指令用来比较来自麦克风的信号和一个低限值，

一个当来自麦克风的信号低于该低限值时计算该来自麦克风的信号的放大量的指令，和

一个根据本发明的测试指令，该测试指令比较即将输入至扬声器的信号和一个被选阈值，决定了是否应用所述来自麦克风信号的测试。

本发明还能应用于多通道处理，特别地，可以应用于多个麦克风的拾音。

附图说明

本发明的其他特性和优点将在以下详细描述并结合附图更为明显，其中：

图1为以图表的形式示出了一个根据本发明的装置的示范性实施例，

图2A，2B和2C为实施本发明方法的计算机程序产品的流程图，以及

图3为根据本发明的一个优选实施例中，对容易引起回音的声耦合的附加处理。

具体实施方式

先参考图1。图1示出了一个本地设备(与一个远程设备通信，该远程设备在图1中未示出)。该本地设备包括：

一个扬声器HP，接收一个信号S_HP，该信号大致上对应于一个远程设备拾取到的信号，

一个本地设备的麦克风MIC，拾取一个信号S_MIC，和

一个处理子系统(元素10-15)，该处理子系统用于测定应用(模块15)于来自麦克风MIC的信号S_MIC的增益G_MIC。

信号Se是应用增益G_MIC的结果(模块15的输出)，该信号将通过例如一个电信网络(图1中未示出)传输至一个远程设备。

在图1所示例子中，本地设备仅包括一个麦克风和一个扬声器。然而，应该意识到本发明同样可以应用于包括多个麦克风和多个扬声器的设备。在这种情况下，将采用“多通道”设备。

图1所示的处理子系统描述如下。

对于一个设备的每个扬声器(很可能是多通道的情况)，在所述的例子中，会计算信号广播的峰值(记为crete_HP)。应该理解的是，如上所述的有关于总体步骤α)和β)中，信号的峰值大小优选地用来作为和阈值作比较的参数。

在多通道的情况下，找到有最大峰值信号的扬声器。进而，估计输入扬声器的信号中的背景噪声，由于这个背景噪声是由远程设备拾取的，所以将此估计值称为“远程背景噪声”(此处记为BDF_d)。

在步骤10中，多个扬声器中的最高峰值信号与估计的远程背景噪声大小作比较。有利的是，这个比较使得不放大扬声器传来的信号成为可能，至少在高于一个背景噪声的情形下。

如果扬声器的最大峰值信号高于(严格高于)远程背景噪声估计值(测试10的输出箭头‘是’)，增益G_MIC被设置成1(步骤11)，它对应于：

-没有特别的放大，

-也没有特别的衰弱。

另一方面，如果扬声器的最大峰值信号大致等于背景噪声大小(测试10的输出箭头‘否’)，剩下的处理继续进行，即下文所述的步骤12至14。特别的，应该注意的是，步骤12至14的执行仅取决于测试10关于扬声器信号的判断结果。所以，图1的这些步骤由虚线表示。特别的，应该理解的是，当即将输入扬声器的信号大于被选阈值BDF_d时，步骤14的放大不执行。

对于每个麦克风MIC，会计算拾取信号的峰值(crete_MIC)。

在多通道设备的情况下，找到有最大峰值信号的扬声器。将最高峰信号与本地背景噪声BDF₁作比较(测试12)，其中该本地背景噪声BDF₁是在同一个信号S_MIC上估计的。如果峰值信号大于背景噪声(测试12的输出箭头‘是’)，继续执行后续处理。否则，增益设为1(测试12的输出箭头‘否’)。有利的是，这个比较使得如果仅仅拾取了背景噪声，不放大麦克风传来的信号成为可能。

接着，多个麦克风中的最高峰信号与一个阈值THR_LOW(测试13)作比较。这个阈值被作为低电平的极限值。在测试13中作的比较不会造成不必要的放大麦克风拾取的信号电平大小或者不会使麦克风拾取的信号饱和。如果来自麦克风的信号大于该阈值，由于没有必要放大该麦克风的信号，所以增益被设置成1。另一方面，如果麦克风的峰值信号小于该阈值(测试13的输出箭头‘是’)，则步骤14会计算适当的增益。图1的步骤14对应于上述步骤γ)总体放大的计算步骤。因此，采用前文所述的步骤α)，β)，γ)的标记来概括，步骤α)在步骤β)之前执行，步骤β)中关于来自麦克风信号的比较步骤取决于步骤α)中关于输入至扬声器的信号的比较结果。

特别地，计算所得的增益G_MIC与信号的强弱成反比，更一般地，步骤γ)中的放大增益与来自麦克风的信号大小成反比。另外，在本例中，对增益G_MIC最好有所限制，并且作平滑处理，防止产生语音反差过大。

图1为一个麦克风和一个扬声器情形下的语音处理操作的例子。然而，这个语音处理也能以同样的方式应用于包括多个麦克风和/或扬声器的设备中。这种处理类型能有利地应用于免提设备的音频控制系统。在一个电信终端中，这些语音处理操作优选地应用于预放大来自麦克风信号的模块的输出。

参考图2A，2B，和2C，下文具体描述了根据本发明一个优选实施例的方法的步骤。

每隔32毫秒进行确定应用于来自麦克风信号的增益的计算，这个时间间隔与一个常规的声卡缓存相对应。

首先根据图2A，本方法的首个步骤是a)初始化用于计算的变量(以缓存的速率执行)。

接下来，设置以下值(指令20)：

加于来自一个或多个麦克风的信号上的当前增益G_MIC值首先设置为1；

代表来自其中一个扬声器的信号峰值的变量以及更高值MAX_HP的值设置为0；

代表来自其中一个麦克风的信号峰值的变量以及更高值MAX_MIC的值设置为0。

下一步骤b)用来计算扬声器信号峰值(以缓存的速率执行)。

对于每个扬声器，测试21将峰值crete_HP与一个阈值THR_HP作比较，该阈值THR_HP与该扬声器有关。

在一个较佳实施例中，阈值THR_HP取决于并优选地对应于输入至扬声器的信号的当前数字采样值。

如果crete_HP的值小于阈值(测试21的输出箭头‘是’)，阈值THR_HP的值被赋予峰值crete_HP(指令22)。否则(测试21的输出箭头‘否’)，一个平滑(指令23)的峰值将被有利地应用f(α)函数实现：

crete_HP＝α*crete_HP+(1-α)*THR_HP

其中，例如，α＝0.995，对应于一个遗忘因子。该值能有利地应用于采样频率为32kHz并且计算缓存空间大小为32ms的情况。

下一步骤c)是用于在多通道设备的多个扬声器中找出有最大峰值的那个扬声器。此步骤优选地以缓存的速率实施。

对于每一个扬声器，如果峰值信号大于最大阈值MAX_HP(测试24的输出为y)，则此最大阈值的值被设置成当前峰值crete_HP(指令25)。否则(测试24的输出箭头‘否’)，处理继续。

下一步骤d)将扬声器的最大峰值与所估计的远程背景噪声以缓存速率作比较(测试26)。如果来自扬声器的信号所记录的峰值中的最大峰值MAX_HP比远程背景噪声BDF_d大(测试26的输出箭头‘是’)，加于来自麦克风的信号上的增益G_MIC的当前值被设置成1(指令27)。这种情况对应于来自扬声器的信号电平大于背景噪声，例如处在背景噪声之上的语音信号。因此，可以避免放大这样一个信号耦合到一个或者多个麦克风拾取的信号中。

另一方面，如果上述的MAX_HP最大值与远程背景噪声相当(测试26的输出箭头‘否’)，则本方法继续进行对来自麦克风信号的测试判断，参考图2B。必须注意的是，与所记录的MAX_HP最大值作比较的BDF_d值代表了远程背景噪声，并且应处在一个偏差带中(例如BDF_d+)。

应理解的是，上述详细描述的步骤b)到d)总体对应于图1的测试10。

参考图2B描述了一个类似的处理，该处理应用于来自麦克风的信号，并总体对应于图1的测试12。

处理流程由步骤e)开始。步骤e)用于计算来自麦克风的信号峰值(以缓存大小的速率执行)。

对于每一个麦克风，测试28将峰值crete_MIC和与麦克风有关的阈值THR_MIC作比较。在一个优选的实施例中，该阈值THR_HP取决于并优选地对应于来自麦克风的信号的当前数字采样值。

如果crete_MIC的值小于该阈值(测试28的输出箭头‘是’)，则阈值THR_MIC的值被赋予峰值crete_MIC(指令30)。否则(测试28的输出箭头‘否’)，一个平滑(指令29)的峰值应用f(α)函数实现：

crete_MIC＝α*crete_MIC+(1-α)*THR_MIC

其中，例如，α＝0.995，对应于一个遗忘因子。

下一步骤f)是用于在多通道设备的多个麦克风中找出传输最大峰值的那个麦克风。此步骤优选地以缓存的速率实施。

对于每一个麦克风，如果峰值信号大于最大阈值MAX_MIC(测试31的输出箭头‘是’)，则此最大阈值的值被设置成当前峰值crete_MIC(指令32)。否则(测试31的输出箭头‘否’)，继续处理。

下一步骤g)将麦克风的最大峰值与对拾取信号估计得出的本地背景噪声以缓存速率作比较(测试33)。如果来自麦克风的信号所记录的峰值中的最大峰值MAX_MIC比本地背景噪声BDF₁大(测试33的输出箭头‘是’)，信号处理从图2C的步骤h)继续。这种情况对应于来自麦克风的信号电平大于本地背景噪声，例如处在背景噪声之上的语音信号。当然，特别地，在此例中，将会放大麦克风拾取的信号，即放大语音信号，特别地，当在下述步骤h)提到的信号比较弱的情况下。另外，如果当来自麦克风信号中记录的峰值最大值MAX_MIC小于或者等于(实际上相当于在一个偏差带之中)该本地背景噪声BDF₁(测试33的输出箭头‘否’)时，加于来自麦克风信号之上的增益G_MIC的当前值被设置为1(指令27)。

应该理解到，上述步骤e)至g)总体对应于图1的测试12。

同样应该注意的是，通常，在步骤b)、c)、d)中，和步骤e)、f)、g)、h)中，当设备包括数个麦克风和/或数个扬声器时，最好是来自多个麦克风的信号的最大值MAX_MIC和/或即将输入至多个扬声器的信号的最大值MAX_HP与步骤β)中的低限值THR_LOW(或甚至是如步骤g)中的本地背景噪声BDF₁)和/或步骤α)中对应于远程背景噪声BDF_d的阈值分别作比较。

参考图2C，当由一个或数个麦克风拾取的信号被检测出大于本地背景噪声(测试33的输出箭头‘是’)，执行步骤h)。步骤h)包括将来自麦克风的信号峰值与一个低限值THR_LOW作比较。步骤h)以缓存速率实施。此步骤对应于图1的测试13并且验证该来自麦克风的信号是否实际需要被放大，这样做是为了避免不必要地放大信号或者避免使信号饱和。

如果麦克风信号的最大峰值高于低限值(测试34的输出箭头‘是’)，则麦克风信号不需要被放大并且当前增益值G_MIC被设置或置为1(指令27)。

例如，在对拾取信号进行数字处理时，如果模拟/数字转换电路有一个最大值32767(即15位二进制数32767＝2¹⁵-1)，所述阈值THR_LOW可以设置为300。由于平均设置与通话计时规定有关，经验测试表明，针对本发明的应用，最大峰值在300左右对应于一个低始值。

否则(测试34输出箭头‘否’)，信号处理由步骤i)开始继续，在步骤i)中，实际计算加于麦克风信号之上的当前增益。该步骤以缓存速率执行。

在一个典型的例子中，将应用到以下计算公式(指令35)：

G_MIC＝(300*300)/(MAX_MIC*MAX_MIC)

因此，在此例中，优选的做法是将增益平方以提供一个更好的对于放大的听觉察知。更通常地，只需要简单记住所计算的增益与来自麦克风的信号的最大峰值成反比。

同时，为了避免突然的变化，还需要通过测试36将计算得到的增益与一个最大值MAX_G做比较，例如MAX_G设置成10，以限制计算所得的增益。

因此，如果当前增益大于10(测试36的输出箭头‘是’)，当前增益值设置为10(指令37)。否则(测试36的输出箭头‘否’)，处理步骤直接从下一个平滑步骤j)继续。

应该注意的是，在指令27中，增益设置为1，执行指令27之后通常继续步骤j)，在步骤j)中，将会计算一个将要加于来自麦克风信号的峰值增益。这个步骤仍然以缓存速率执行。

平滑步骤j)以以下方式执行较佳。

如果峰值增益小于步骤i)中计算得到的当前增益或者根据指令27被设置成1，则峰值增益G_crete_MIC由以下式确定：

G_crete_MIC＝α₁*G_crete_MIC+(1-α₁)*G_MIC

否则，峰值增益由下式确定：

G_crete_MIC＝α₂*G_crete_MIC+(1-α₂)*G_MIC

遗忘因子α₁优选地设为0.925，遗忘因子α₂优选地设为0.75，以对峰值增益进行一个满意的平滑。这些值都是基于采样频率为32kHz，运算缓存大小为32ms为例。

所以，步骤j)对应一个非对称平滑以避免放大低电平脉冲噪声。这些脉冲噪声如果被放大会大大影响通信。

当然，语音处理将从步骤k)继续。步骤k)中，会将峰值增益加于来自麦克风的信号，特别地，根据以下公式将峰值增益加于来自每个麦克风MIC_j的数字采样Ech MIC_j(指令38)：

Ech MIC_j＝G_crete_MIC*Ech MIC_j

如果需要，在重新由步骤a)开始处理后续采样点之前，会增加一个时间延迟(指令39)。该时间延迟的速率由采样频率32kHz和32ms运算缓存的大小定义。

在某些情况下(麦克风的位置和方向性)，为了避免将回音放大成为一个微弱的本地语音信号，较佳做法是，提供一个如图3中的附加处理。图3的该处理是为了克服扬声器/麦克风声耦合(在所描述的例子中是非常不利的)以及引入回音的问题。所以在计算当前增益之前，增加了一个附加判断条件40。在没有这么不利甚至是有利的声耦合情况下，这样的条件不再有用。

图3中，附加测试40接着步骤h)中的测试34的输出n之后(如果峰值最大值小于低阈值THR_LOW)。如果麦克风信号的峰值最大值与扬声器信号的峰值最大值之比小于1(测试40的输出箭头‘是’)，当前增益设置为1(指令27)并且该方法直接从平滑步骤j)继续。

否则(测试40的输出箭头‘否’)，步骤i)中所用增益G_MIC按上述方法评估。

更一般地，会检测扬声器和麦克风之间容易引起回音的声耦合，以调整上述步骤γ)中的放大步骤。有利的是，本发明通过考虑到声学回音，特别是在免提设备中的声学回音，解决了一个此类设备中普遍存在的问题。

当然，本发明并不局限于上述例子中描述的实施例。本发明还能有其他变化。

例如，上文中描述了在峰值信号中寻找最大值并且将之与一个背景噪声大小作比较。然而，除了峰值信号的最大值，其他参数可以作为图2A，2B，2C所述计算的基础。例如，可以将峰值信号的平均值作为该参数，同样能最终得到类似的结果。

Claims (9)

1.一种在电话和/或视频电话设备中增强拾音的信号处理方法，所述设备包括至少一个麦克风和至少一个扬声器，其中，所述方法包括步骤：

β)将来自麦克风的信号与一个低限值作比较，以及

γ)如果所述来自麦克风的信号低于所述低限值，则放大来自麦克风的信号，

以及其中，在比较步骤β)之前，还包括步骤：

α)将即将输入至扬声器的信号与一个被选第一阈值作比较，所述被选第一阈值对应于一个背景噪声值，所述背景噪声在即将输入至扬声器的信号中测得；

以及，对于γ)步骤的放大来自麦克风的信号，放大的条件取决于步骤α)中的即将输入至扬声器的信号的比较结果，

其中，所述步骤α)在步骤β)之前执行，并且如果步骤α)的比较结果为即将输入至扬声器的信号不大于该被选第一阈值，则进行与来自麦克风的信号有关的步骤β)的比较步骤；或者如果步骤α)的比较结果为即将输入至扬声器的信号大于该被选第一阈值，则不进行与来自麦克风的信号有关的步骤β)的比较步骤；其中，所述方法还包括如下步骤：

将来自麦克风的信号与一个对应于本地背景噪声大小的第二阈值作比较，其中如果来自麦克风的信号值大于所述第二阈值，则执行步骤β)的与所述低限值作比较的步骤。

2.根据权利要求1所述的方法，其中，如果即将输入至扬声器的信号大于所述被选第一阈值，则不执行步骤γ)的放大步骤。

3.根据权利要求1所述的方法，其中所述设备包括多个麦克风，以及其中，将来自该些麦克风的信号的最大值与步骤β)的低限值作比较。

4.根据权利要求1所述的方法，其中所述设备包括多个扬声器，以及其中，将即将输入至该些扬声器的信号的最大值与步骤α)的所述第一阈值作比较。

5.根据权利要求1所述的方法，其中，所述信号的峰值大小用作步骤α)和β)中的比较所用的参数。

6.根据权利要求1所述的方法，其中，检测扬声器和麦克风之间容易引起回音的声耦合，以调整步骤γ)的放大。

7.根据权利要求1所述的方法，其中，在步骤γ)中应用了一个放大增益，以及所述放大增益与来自麦克风的信号大小成反比。

8.一种用于电话和/或视频电话设备的信号处理装置，所述设备包括至少一个麦克风和至少一个扬声器，所述信号处理装置包括：

一个第一测试模块，用于将来自麦克风的信号与一个低限值作比较，以及

一个放大模块，用于如果所述来自麦克风的信号低于所述低限值，则放大来自麦克风的信号，

其中，所述信号处理装置还包括：

一个第二测试模块，用于将即将输入至扬声器的信号与一个被选第一阈值作比较，所述被选第一阈值对应于一个背景噪声值，所述背景噪声在即将输入至扬声器的信号中测得；

所述第二测试模块为所述第一测试模块提供反馈信号，并且，

如果所述第二测试模块的比较结果为即将输入至扬声器的信号不大于该被选第一阈值，则所述第一测试模块进行与来自麦克风的信号有关的比较步骤；或者如果所述第二测试模块的比较结果为即将输入至扬声器的信号大于该被选第一阈值，则所述第一测试模块不进行与来自麦克风的信号有关的比较步骤；

其中，所述信号处理装置还包括用于将来自麦克风的信号与一个对应于本地背景噪声大小的第二阈值作比较的比较模块，其中如果来自麦克风的信号值大于所述第二阈值，则所述第一测试模块执行将来自麦克风的信号与所述低限值作比较。

9.一种电信设备，包括至少一个麦克风和至少一个扬声器，以及适合于实现根据权利要求1至7中任一项所述信号处理方法的装置。

Images