CN1874386A - 具有改进性能的电话机及在其中处理音频信号的方法 - Google Patents
具有改进性能的电话机及在其中处理音频信号的方法 Download PDFInfo
- Publication number
- CN1874386A CN1874386A CNA2006100840762A CN200610084076A CN1874386A CN 1874386 A CN1874386 A CN 1874386A CN A2006100840762 A CNA2006100840762 A CN A2006100840762A CN 200610084076 A CN200610084076 A CN 200610084076A CN 1874386 A CN1874386 A CN 1874386A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- microphone
- signal
- audio
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及具有多麦克风的电话机,该电话机在免提模式下具有改进的性能。例如,所述多麦克风可用于改进语音活动检测,改进的语音活动检测再用于改进回声消除。另外,所述多麦克风可被配置成自适应麦克风阵列,用于减少(1)近端用户正在说话时的室内反射效应和(2)远端用户正在说话时的回声。
Description
技术领域
本发明涉及电话机,更具体地说,涉及电话机在免提模式(speaker-phonemode)下的性能改善。
背景技术
很多电话机都带有免提模式。但是,使用免提模式会导致电话机性能的下降。这种不利影响取决于哪一方在说话——即,是远端电话机用户在说话还是近端电话机用户在说话。
当远端用户正在说话时,使用免提模式的近端电话机会出现回声(acoustic echo)。例如,当近端电话机的扬声器输出的远端用户的语音信号被近端电话机的麦克风接收时,就可能出现所谓的“回声”。出现这种情况时,回声又会通过近端电话机传回到远端用户。
当近端用户正在说话时,使用免提模式的近端电话机会出现室内反射(room reverberation)。当近端用户的语音被室内墙壁反射时,就会出现所谓的“室内反射”效应。近端用户语音的这种反射可被近端电话机的麦克风接收。近端电话机接收的这种经反射的声波,使远端用户觉得近端用户的语音听起来疏远和不自然。
因此,处于免提模式时,在电话机的回声和/或室内反射的控制方面有必要做出改进。
发明内容
本发明涉及一种多麦克风电话机,这种电话机对免提模式操作时的性能具有改进。
在本发明的第一实施例中,所述电话机包括接收器、扬声器、第一和第二麦克风、语音活动检测器(voice activity detector,VAD)、回声消除器和发射器。所述第一和第二麦克风用于改进语音活动检测,改进的语音活动检测反过来又改进回声消除。例如,接收器接收远端音频信号,该音频信号包括远端用户的语音分量。扬声器将该远端音频信号转换成声波。第一麦克风接收该声波并输出第一音频信号。该第一音频信号包括与近端用户的语音关联的第一语音分量和与远端用户的语音关联的第二语音分量。第二麦克风输出第二音频信号。VAD处理第一音频信号、第二音频信号和远端音频信号以产生输出,该输出至少涉及以下之一:(1)第一音频信号中出现第一语音分量的时间间隔(time interval)和(2)第一音频信号中出现第二语音分量的时间间隔。回声消除器基于VAD的输出消除第一音频信号中包括的第二语音分量,从而产生第三音频信号。发射器发射该第三音频信号。
在本发明的第二实施例中,所述电话机包括麦克风阵列和数字信号处理器(DSP)。所述麦克风阵列中的每个麦克风被配置用来接收周围环境发出的声波和产生相应的音频信号。DSP接收麦克风阵列的音频信号,并被配置用来自适应地组合这些音频信号以产生第一音频输出信号。在该实施例中,麦克风阵列和DSP被配置用来减小下述不利影响:(1)近端用户说话时的室内反射和/或(2)远端用户说话时的回声。
根据第一实施例,为了减小室内反射,DSP被配置用来基于音频信号检测从近端用户嘴部发出的声波的波达方向(direction of arrival,DOA)和基于该DOA自适应地组合音频信号以产生第一音频输出信号。DSP基于DOA自适应地组合音频信号以有效地控制麦克风阵列的最大灵敏性角,以使近端用户的嘴部位于该最大灵敏性角范围内。所述最大灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性大于某阈值。第一实施例能够以充分全向的方式有效地减小被周围环境中的物体反射的混响声波而导致的室内反射。
根据第二实施例,为了减小室内反射(room reverberation),DSP被配置用来检测与近端用户的声音反射相对应的声波的波达方向(direction of arrival,DOA)并基于该DOA自适应地组合音频信号以产生第一音频输出信号。DSP基于DOA组合这些音频信号以有效地控制麦克风阵列的最小灵敏性角,以使近端用户的语音的反射源位于该最小灵敏性角范围内。所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。第二实施例能够以高度方向性的方式有效地减小被周围环境中的物体反射的混响声波而导致的室内反射。
为了减少远端用户说话时的回声,DSP被配置用来执行两个功能:第一,DSP被配置用来检测与远端用户的语音信号(回声)对应的声波的DOA;第二,DSP被配置用来基于DOA自适应地组合这些音频信号以有效地控制麦克风阵列的最小灵敏性角,使远端用户语音的声波的源位于该最小灵敏性角范围内。例如,这些声波的源可以是电话机的扬声器或反射声波的物体(例如墙壁等)。所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。
根据本发明的一方面,提供一种具有改进回声消除性能的电话机,包括:
接收器,其接收远端音频信号,该音频信号包括远端用户的语音分量;
扬声器,其将远端音频信号转换成声波;
第一麦克风,其接收所述声波和输出第一音频信号,该第一音频信号包括与近端用户的语音关联的第一语音分量和与远端用户的语音关联的第二语音分量;
第二麦克风,其输出第二音频信号;
语音活动检测器(VAD),其处理第一音频信号、第二音频信号和远端音频信号以产生输出,所述输出至少涉及以下信息之一:(1)第一音频信号中出现第一语音分量的时间间隔(time interval)和(2)第一音频信号中出现第二语音分量的时间间隔;和
回声消除器,其基于VAD的输出消除第一音频信号中包含的第二语音分量,从而产生第三音频信号。
优选地,所述VAD处理第一音频信号、第二音频信号和远端音频信号以产生输出,该输出涉及第一音频信号中出现第一语音分量的时间间隔,其中,第一和第二音频信号的处理至少部分地基于检测第一和第二音频信号的功率比。
优选地,所述回声消除器包括:
自适应滤波器,其基于VAD的输出自适应地滤波远端音频信号以产生自适应滤波信号;和
减法单元(subtraction unit),其从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
优选地,所述回声消除器包括:
自适应滤波器,其基于VAD的输出自适应地滤波第二音频信号以产生自适应滤波信号;和
减法单元(subtraction unit),其从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
优选地,所述回声消除器包括:
自适应滤波器,该自适应滤波器(1)基于VAD的输出自适应地滤波远端音频信号以产生第一自适应滤波信号,(2)基于VAD的输出自适应地滤波第二音频信号以产生第二自适应滤波信号,和(3)组合第一自适应滤波信号和第二自适应滤波信号以产生组合信号;和
减法单元(subtraction unit),其从第一音频信号中减所述组合信号,从而产生第三音频信号。
根据本发明的一方面,提供一种具有改进性能的电话机,包括:
麦克风阵列,该麦克风阵列中的每个麦克风都被配置用来接收声波和产生对应的音频信号;和
数字信号处理器(DSP),其接收来自麦克风阵列的音频信号,并被配置用来检测至少以下声波之一的波达方向(DOA):(1)与近端用户的语音反射(reverberation)对应的声波和(2)与远端用户的语音信号对应的声波,其中,DSP基于所述DOA自适应地组合来自麦克风阵列的音频信号以产生第一音频输出信号。
优选地,所述DSP还被配置用来基于与近端用户的语音反射对应的声波的DOA自适应地组合来自麦克风阵列的音频信号,以有效地控制麦克风阵列的最小灵敏性角,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。
优选地,所述DSP有效地控制麦克风阵列的最小灵敏性角以使近端用户的语音的反射源位于该最小灵敏性角内。
优选地,所述DSP还被配置用来基于与远端用户的语音信号对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。
优选地,所述DSP有效地控制麦克风阵列的最小灵敏性角以使对应远端用户声音的声波源位于该最小灵敏性角内。
优选地,所述DSP还被配置用来检测与近端用户的语音对应的声波的DOA;和
其中,所述DSP还被配置用来基于与近端用户的语音对应的声波的DOA自适应地组合来自麦克风阵列的音频信号,以有效地控制麦克风阵列的最大灵敏性角,其中,所述最大灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性大于某阈值。
优选地,所述DSP有效地控制麦克风阵列的最大灵敏性角,使近端用户的嘴部位于该最大灵敏性角范围内。
优选地,所述DSP还被配置用来检测与近端用户的语音对应的声波的DOA;和
其中,所述DSP还被配置用来:(1)基于与远端用户的语音信号对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,使远端用户在说话时,远端用户的语音对应的声波源位于该最小灵敏性角范围内,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值;和(2)基于与近端用户的语音对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最大灵敏性角,使近端用户在说话时,近端用户的嘴部位于该最大灵敏性角范围内,其中,所述最大灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性大于某阈值。
根据本发明的一方面,提供一种在具有至少两个麦克风的电话机中处理音频信号的方法,包括:
接收远端音频信号,该远端音频信号包括远端用户的语音分量;
将远端音频信号转换成声波;
接收声波和从第一麦克风输出第一音频信号,该第一音频信号包括与近端用户的语音关联的第一语音分量和与远端用户的语音关联的第二语音分量;
从第二麦克风输出第二音频信号;
用语音活动检测器(VAD)处理第一音频信号、第二音频信号和远端音频信号以产生输出,所述输出至少涉及以下信息之一:(1)第一音频信号中出现第一语音分量的时间间隔和(2)第一音频信号中出现第二语音分量的时间间隔;和
基于VAD的输出消除第一音频信号中包含的第二语音分量,从而产生第三音频信号。
优选地,所述处理第一音频信号和第二音频信号包括:
检测第一和第二音频信号的功率比。
优选地,所述基于VAD的输出消除第一音频信号中包含的第二语音分量包括:
基于VAD的输出自适应地滤波远端音频信号以产生自适应滤波信号;和
从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
优选地,所述基于VAD的输出消除第一音频信号中包含的第二语音分量包括:
基于VAD的输出自适应地滤波第二音频信号以产生自适应滤波信号;和
从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
优选地,所述基于VAD的输出消除第一音频信号中包含的第二语音分量包括:
基于VAD的输出自适应地滤波远端音频信号以产生第一自适应滤波信号;
基于VAD的输出自适应地滤波第二音频信号以产生第二自适应滤波信号;
组合第一自适应滤波信号和第二自适应滤波信号以产生组合信号;和
从第一音频信号中减去所述组合信号,从而产生第三音频信号。
根据本发明的一方面,提供一种在具有麦克风阵列的电话机中处理音频信号的方法,包括:
(a)所述麦克风阵列中的每个麦克风基于入射声波输出音频信号;
(b)检测至少以下之一的波达方向(DOA):(1)与近端用户的语音反射对应的声波和(2)与远端用户的语音对应的声波;和
(c)基于所述DOA自适应地组合所述音频信号,以产生第一以音频输出信号。
优选地,步骤(c)还包括:
基于与近端用户的语音反射对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。
优选地,所述方法还包括:
基于与近端用户的语音反射对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,使近端用户的语音的反射源位于该最小灵敏性角内。
优选地,步骤(c)还包括:
基于与远端用户的语音对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。
优选地,所述方法还包括:
基于与远端用户的语音对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,使对应远端用户语音的声波源位于该最小灵敏性角内。
优选地,步骤(b)和(c)还包括:
(b1)检测与近端用户的语音对应的声波的DOA;和
(c1)基于与近端用户的语音对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最大灵敏性角,其中,所述最大灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性大于某阈值。
优选地,所述方法还包括:
有效地控制麦克风阵列的最大灵敏性角,使近端用户的嘴部位于该最大灵敏性角范围内。
优选地,步骤(b)和(c)还包括:
(b1)检测与近端用户的语音对应的声波的DOA;和
(c1)基于与远端用户的语音对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最小灵敏性角,使远端用户在说话时,远端用户的语音对应的声波源位于该最小灵敏性角范围内,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值;
(c2)基于与近端用户的语音对应的声波的DOA自适应地组合音频信号,以有效地控制麦克风阵列的最大灵敏性角,使近端用户在说话时,近端用户的嘴部位于该最大灵敏性角范围内,其中,所述最大灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性大于某阈值。
下面将结合附图详述本发明的其他实施例和特征,以及各种实施例的具体实施结构。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1A是传统无线电话机的发射路径的功能模块图;
图1B是传统无线电话机的接收路径的功能模块图;
图2是根据本发明一实施例的无线电话机主视图;
图3是根据本发明一实施例的无线电话机后视图;
图4是根据本发明一实施例的无线电话机的发射路径的功能模块图;
图5是根据本发明一实施例具有第一麦克风和第二麦克风的无线电话机处理音频信号的方法的流程图;
图6是根据本发明一实施例的信号处理器的功能模块图;
图7是根据本发明一实施例的具有第一麦克风和第二麦克风的无线电话机处理音频信号的方法的流程图;
图8是本发明一实施例中从第一和第二麦克风输出的语音分量和噪声分量;
图9是根据本发明一实施例的背景噪声消除模块的功能模块图;
图10是根据本发明一实施例的信号处理器的功能模块图;
图11是根据本发明一实施例具有第一麦克风和第二麦克风的无线电话机处理音频信号的方法的流程图;
图12A是本发明一实施例中第一麦克风输出的第一音频信号的语音分量和背景噪声分量的频谱图;
图12B是根据本发明一实施例经过噪声抑制处理后的音频信号的频谱图;
图13是根据本发明一实施例的无线电话机的发射路径的功能模块图;
图14是根据本发明一实施例具有第一麦克风和第二麦克风的无线电话机处理音频信号的方法的流程图;
图15是根据本发明一实施例的无线电话机的第一和第二麦克风输出的语音分量和噪声分量的示意图;
图16是全向麦克风的极性指向图;
图17是亚心型(subcardioid)麦克风的极性指向图;
图18是心型麦克风的极性指向图;
图19是超心型麦克风的极性指向图;
图20是线形麦克风的极性指向图;
图21是根据本发明一实施例的麦克风阵列的示意图;
图22A、22B、22C、22D是麦克风阵列的极性指向图;
图22E是远场和近场响应的指向图;
图23是经控制的和未经控制的指向图;
图24是根据本发明一实施例的无线电话机的发射路径的功能模块图;
图25是根据本发明一实施例的多层描述(multiple description)发射系统;
图26是根据本发明一实施例的可用于多层描述发射系统的无线电话机的发射路径的功能模块图;
图27是根据本发明一实施例的第一无线电话机发射的语音信号的多重版本;
图28是根据本发明一实施例的使用多麦克风改进回声消除的电话机的功能模块图;
图29是根据本发明一实施例,在免提模式下,用于减小室内反射和/和回声的电话机的发射路径和接收路径的功能模块图;
图30是根据本发明一实施例在具有第一和第二麦克风的电话机中改进回声消除的方法的流程图;
图31A和图31B分别是减小室内反射和回声效应的方法的流程图,该方法是在处于免提模式下和在具有自适应麦克风阵列的电话机中实施的。
以下将结合附图对本发明进行阐述。附图中,同一标号表示相同的或类似的功能元件。其中,标号最左边的部分表示该标号第一次出现时所在的附图号。
具体实施方式
本发明涉及具有多麦克风和被配置用于改进回声消除的电话机。另外,正如将要详述的,所述多麦克风可被配置成自适应麦克风阵列,可在电话机处于免提模式下用于减小室内反射效应和/和回声。
本发明具体实施方式的描述分成11部分。第一部分中,讨论了传统无线电话机概况,以便于描述本发明的实施例。第二部分中,描述了使用第一麦克风和第二麦克风的的无线电话机的概况。第三部分中,描述了一个实施例,该实施例中,使用第二麦克风以消除第一麦克风输出的背景噪声分量。第四部分中,描述另一个实施例,该实施例中,使用第二麦克风的输出抑制第一麦克风输出的背景噪声分量。第五部分中,讨论了另外一个实施例,该实施例中,使用第二麦克风的输出来改善结合在无线电话机中的VAD技术。第六部分中,讨论了本发明的替代性实施例。第七部分中,讨论了单向麦克风。第八部分中,讨论了示例性麦克风阵列。第九部分中,描述了使用至少一个麦克风阵列的无线电话机。第十部分中,描述了根据本发明实施例的多层描述发射系统。第十一部分中,描述了使用多麦克风以改进处于免提模式下的电话机性能的实施例。
一、传统无线电话机中的信号处理
传统无线电话机使用通常被称为编码器/解码器的技术。无线电话机的机载麦克风接收音频信号,无线电话机的发射路径对该音频信号进行编码。接着,编码后的音频信号被发送给另一个的电话机。无线电话机的接收路径接收来自其他无线电话机的发射信号。然后,所接收的信号被解码成用户能理解的格式。
图1A是传统数字无线电话机的典型发射路径100的功能模块图。发射路径100包括麦克风109、模拟-数字(A/D)转换器101、噪声抑制器102、语音活动检测器(voice activity detector,VAD)103、语音编码器104、信道编码器105、调制器106、射频(RF)模块107和天线108。
麦克风109接收近端用户的语音和输出对应的音频信号,该音频信号通常包括语音分量和背景噪声分量。A/D转换器101将音频信号从模拟形式转为数字形式。接着,噪声抑制器102处理该音频信号。噪声抑制器102使用业内技术人员公知的算法抑制混在该音频信号中的背景噪声分量的水平。
语音编码器104将噪声抑制器102的输出转换成信道索引。语音编码器104编码音频信号时所使用的特定格式取决于其所使用的技术类型。例如,可以使用兼容GSM(全球移动通信标准)、CDMA(码分多址),或其他常用的通信技术的格式编码信号。这些不同的编码格式已为相关领域的技术人员所知,故不在此赘述。
如图1A所示,VAD 103也接收噪声抑制器102的输出。VAD 103使用相关领域技术人员所知的算法分析噪声抑制器102输出的音频信号,并确定用户何时在说话。VAD 103通常一帧一帧地进行处理,以产生指示某帧是否包括语音内容的信号。这一信号被传给语音编码器104,语音编码器104使用该信号确定如果最佳地处理信号帧。例如,如果VAD 103指示某个帧不包括语音内容,那么语音编码器103将不对该帧进行编码。
使用信道编码器105来降低信号经语音编码器104处理后出现的误码率。即,信道编码器105通过添加冗余位到信号中使该信号更稳健。例如,使用原始GSM技术的无线电话机中,语音编码器输出的比特率一般是13kb/s,而信道编码器输出的比特率一般是22kb/s。信道编码后信号中增加的比特不携带任何与语音相关的信息,这些比特仅仅使该信号更稳健,有助于降低误码率。
调制器106将来自信道编码器的数字信号组合成符号,这些符号变成模拟波形。最后,RF模块107将这些模拟波形转变成射频(RF),接着通过天线108将这些RF信号发射给其他电话机。
图1B是传统无线电话机典型的接收路径120的功能模块图。接收路径120以与发射路径100几乎相反的方法处理呼入的信号。如图1B所示,接收路径120包括天线128、RF模块127、解调器126、信道解码器125,语音解码器124、数字-模拟(D/A)转换器122和扬声器129。
在操作时,天线128接收模拟输入信号,RF模块127将这些射频转换成基带频。解调器126将模拟波形转换成数字信号。信道解码器125将这些数字信号解码后恢复成信道索引。语音解码器124将这些信道索引转换回数字语音。D/A转换器122将数字语音变换成模拟语音。最后,扬声器129将模拟语音信号转换成用户能听到的声波。
二、根据本发明具有双麦克风的无线电话机
根据本发明的无线电话机包括第一麦克风和第二麦克风。如上所述以及下面的详细阐述,第二麦克风的音频信号输出可用于改进第一麦克风输出的音频信号的质量,或者支持改进的VAD技术。
图2和图3分别示出了本发明一实施例的无线电话机200的正面部分和背面部分。如图2所示,无线电话机200的正面部分包括第一麦克风201和扬声器203。第一麦克风201所在的位置使第一麦克风201在无线电话机200正常使用时,靠近用户的嘴部。扬声器203所在的位置使扬声器203在无线电话机200正常使用时,靠近用户的耳朵。
如图3所示,第二麦克风202位于无线电话机200的背面。无线电话机200正常使用时,第二麦克风202所在的位置比第一麦克风201的位置更远离用户的嘴部;在无线电话机200正常使用时,第二麦克风202离用户的嘴部最好尽可能地远。
通过这种麦克风位置的设置,电话机正常使用时,第一麦克风201比第二麦克风202更接近用户的嘴部,因而第一麦克风201所接收的用户语音的振幅将比第二麦克风202所接收的大。同样,第二麦克风202所接受的背景噪声的振幅比第一麦克风201所接收的大。无线电话机200使用第一麦克风201和第二麦克风202产生的信号的方式,将在下面更详细地阐述。
图2和图3示出的实施例中,第一和第二麦克风分别在安装在无线电话机的正面和背面。但是,本发明不局限于这种实施例。第一和第二麦克风可位于无线电话机的其他位置,这也在本发明的范围之内。但是,为使性能更好,安置第一和第二麦克风时,最好使无线电话机在正常使用时,第一麦克风比第二麦克风更靠近用户的嘴部。
图4是根据本发明的一个实施例配置有第一麦克风和第二麦克风的无线电话机的发射路径400的功能模块图。发射路径400包括第一麦克风201和第二麦克风202,第一A/D转换器410和第二A/D转换器412。另外,发射路径400还包括信号处理器420、语音编码器404、信道编码器405、调制器406、RF模块407、天线408。语音编码器404、信道编码器405、调制器406、RF模块407和天线408分别与图1A的发射路径中所述的语音编码器104、信道编码器105、调制器106、RF模块107和天线108类似,因此下面将不阐述它们的工作原理。
下面将结合图5的流程图500,对无线电话机的发射路径400处理音频信号的方式进行阐述。但是,本发明不局限于流程图500所提供的描述。相反,相关领域的技术人员根据这里的教导,应当知道其他的功能流程也在本发明的范围和实质之内。
流程图500的方法开始于步骤510。步骤510中,第一麦克风210输出第一音频信号,其包括语音分量和背景噪声分量。A/D转换器410接收第一音频信号并将该第一音频信号从模拟格式转换成数字格式,然后将其提供给信号处理器420。
步骤520中,第二麦克风202输出第二音频信号,其也包括语音分量和背景噪声分量。A/D转换器412接收第二音频信号并将该第二音频信号从模拟格式转换成数字格式,然后将其提供给信号处理器420。
步骤530中,信号处理器420接收和处理第一和第二音频信号,由此产生第三音频信号。特别是,信号处理器420基于第二音频信号的内容,提高第一音频信号中语音分量与背景噪声分量的比率,从而产生第三音频信号。
接着,第三音频信号被传给语音编码器404。语音编码器404和信道编码器405采用任何一种公知的语音和信道编码技术对该第三音频信号进行编码操作。接着,调制器406、RF模块407和天线408以公知的方式工作,将编码后的音频信号发射给另外的电话机。
这里将更详细地说明,信号处理器420可包括背景噪声消除模块和/或噪声抑制器。噪声噪声消除模块和噪声抑制器的工作方式将分别在第三部分和第四部分中详细阐述。
三、根据本发明的一个实施例:使用双麦克风实现背景噪声消除
图6所示的实施例中,信号处理器420包括背景噪声消除模块605和向下采样器615(可选)。背景噪声消除模块605接收分别由第一麦克风201和第二麦克风202输出的第一和第二音频信号。背景噪声消除模块605使用第二音频信号的内容来消除第一音频信号中的背景噪声分量,以产生第三音频信号。该消除的详情将结合后续的图7和图8进行介绍。第三音频信号被传递给发射路径400的其余部分,然后发射给远端用户的电话机。
图7是根据本发明一实施例的具有第一麦克风和第二麦克风的无线电话机处理音频信号的流程700。使用流程700能方便地描述背景噪声消除模块605消除第一麦克风201所产生的第一音频信号所包含的至少一部分背景噪声分量。
流程700开始于步骤710。步骤710中,第一麦克风201输出第一音频信号。该第一音频信号包括语音分量和背景噪声分量。步骤720中,第二麦克风202输出第二音频信号。与第一音频信号相似,第二音频信号也包括语音分量和背景噪声分量。
图8分别示出了第一和第二麦克风201和202的输出示意图,背景噪声消除模块605可对其进行处理。图8示出了第一麦克风201输出的第一音频信号800。第一音频信号800包括语音分量810和背景噪声分量820,为便于说明,图8中把该两种分量分开表示。图8还示出了第二麦克风202输出的第二音频信号850。第二音频信号850包括语音分量860和背景噪声分量870,图8中也把该两种分量分开表示。从图8中可看到,第一麦克风201接收的语音分量(即语音分量810)的振幅明显地比第二麦克风202接收的语音分量(即语音分量860)的振幅大;而背景噪声分量的刚好相反。如前面所述,第一麦克风201和第二麦克风202接收的语音分量(背景噪声分量)的相对振幅与该两个麦克风在无线电话机200的相对位置有关。
步骤730(图7)中,背景噪声消除模块605使用第二音频信号来消除第一麦克风201输出的第一音频信号中包含的至少一部分背景噪声分量。最后,背景噪声消除模块605产生的第三音频信号被发射给其他的电话机。也就是说,背景噪声消除模块605使用第二音频信号来消除第一麦克风201产生的第一音频信号中的至少一部分背景噪声分量以产生第三音频信号之后,使用如图1A所述的传统编码器/解码器技术的标准组件或处理步骤对该第三音频信号进行处理。在此不再赘述其它这些信号处理步骤。
在一个实施例中,背景噪声消除模块605包括自适应滤波器和加法器。图9描述了一个包括自适应滤波器901和加法器902的背景噪声消除模块605。自适应滤波器901接收来自第二麦克风202的第二音频信号并输出音频信号。加法器902将从第一麦克风201上接收的第一音频信号与自适应滤波器901输出的音频信号相加,以产生第三音频信号。通过将第一音频信号与自适应滤波器901输出的音频信号相加,加法器902所产生的第三音频信号至少消除了第一音频信号中的一部分背景噪声分量。
本发明的另一个实施例中,信号处理器420包括背景噪声消除模块605和向下采样器615。根据该实施例,A/D转换器410和A/D转换器412从分别由第一和第二麦克风201和202输出的第一和第二音频信号中采样,采样率比无线电话机常用的采样率高。例如,A/D转换器410和A/D转换器412以16kHz的速率对第一麦克风201输出的第一音频信号和第二麦克风202输出的第二音频信号进行采样;而大部分传统无线电话机的发射路径使用的典型信号采样率是8kHz。在背景噪声消除模块605对第一和第二音频信号进行处理以消除第一音频信号中的背景噪声分量后,向下采样器615以合适的采样率(如8kHz)对背景噪声消除模块605产生的第三音频信号进行向下采样。如果要求背景噪声消除模块605有更高的精确度和准确度,本实施例使用更高的采样率提供更准确的时间分片和更准确的时间匹配。
如上所述以及下一部分将要详细阐述的,第二麦克风输出的音频信号用于改进对第一麦克风输出的音频信号的噪声抑制。
四、根据本发明的一个实施例:使用双麦克风改进噪声抑制
如上所述,信号处理器420可包括噪声抑制器。图10示出的实施例中,信号处理器420包括噪声抑制器1007。根据该实施例,噪声抑制器1007接收分别由第一和第二麦克风201和202输出的第一音频信号第二音频信号。噪声抑制器1007基于第一音频信号和第二音频信号的内容至少抑制第一音频信号中的一部分背景噪声分量。下面将结合图11阐述这种背景噪声抑制的详情。
图11是根据本发明的一个实施例,使用具有第一和第二麦克风的无线电话机处理音频信号的方法流程1100。该方法用于抑制包含在第一麦克风的输出中的至少一部分背景噪声分量。
流程1100开始与步骤1110。步骤1110中,第一麦克风201输出第一音频信号,该音频信号包括语音分量和背景噪声分量。步骤1120中,第二麦克风202输出第二音频信号,其包括语音分量和背景噪声分量。
步骤1130中,噪声抑制器1007接收第一和第二音频信号,并基于第一和第二音频信号的内容抑制第一音频信号中的至少一部分背景噪声分量,以产生第三音频信号。下面将介绍该步骤的详情。
在一个实施例中,噪声抑制器1007在抑制第一音频信号的背景噪声分量之前,将第一和第二音频信号转换到频域。图12A和12B示出了典型的频谱图,以说明噪声抑制器1007的功能。
图12A示出了两种分量:语音频谱分量1210和噪声频谱分量1220。语音频谱1210的频谱包络中包括基频(pitch)谐波峰(等间距峰)和3个共振峰。
图12A的曲线图仅用于概念性的说明。要意识到,实际的麦克风接收的音频信号中,语音分量1210和噪声分量1220是混在一起的和不可分的。实际上,麦克风接收的是混为一体的语音和噪音信号及其频谱。
图12B示出了噪声抑制前(即,频谱1260)和噪音抑制后(即频谱1270)的单一的、混合有语音和噪声的频谱。例如,频谱1260是第一麦克风201输出的第一音频信号的快速傅立叶转换(FFT)的幅值。
典型的噪声抑制器保留一个背景噪声频谱(如图12A的频谱1220)的估值,接着将观测到的单个的语音和噪声的频谱(如图12B的频谱1260)与所估计的背景噪声频谱作比较,以确定每个频谱分量是语音占优势还是噪声占优势。如果是噪声占优势,就削弱该频率的FFT因子的量值。如果是的语音占优势,就保持其FFT因子的量值。如图12B所示。
频谱1270在很多频谱区上位于频谱1260的上方。这些频率区被认为包括占优势的语音。另一方面,频谱1260与频谱1270位于不同位置的区域可被认为是噪声占优势的频率区。通过削弱噪声占优势的频率区,噪声抑制器1007产生第三音频信号(如,对应于频谱1270的音频信号),与第一音频信号相比较,该第三音频信号中语音分量对背景噪声分量的比率增加了。
上面最后的两个自然段中阐述的操作对应于传统单麦克风噪音抑制方案。根据本发明的实施例,噪声抑制器1007增加了利用第二麦克风接收的第二音频信号的频谱来评估背景噪声频谱1220,这比单麦克风噪声抑制方案更准确。
在传统单麦克风噪声抑制器中,在“有声期”(“talk spurt”)——即在对应于有音节发出的语音活动片断的时间间隔——之间的间隙内估测背景噪声频谱1220。这种方案仅仅在背景噪声相对固定——即在每一个有声期内噪声频谱1220的形状变化不大的情况下有良好效果。如果噪声频谱1220在有声期内变化显著,那么单麦克风噪声抑制器的效果不明显,因为在前一个“间隙”内估测的噪声频谱不可靠。因此,一般,对于不固定的背景噪声,第二麦克风接收的第二音频信号的频谱的有效性允许噪声抑制器1007得到更准确的、最新的噪声频谱1220的估值,从而获得更好的噪声抑制效果。
要说明的是,不应该把第二音频信号的频谱直接当作噪声频谱1220的估值。直接使用第二音频信号的频谱至少有两个问题:首先,第二音频信号可能还包括一些语音分量;其次,第二音频信号中的噪声分量通常与第一音频信号中的噪声分量不同。
要解决第一个问题,可消除第二音频信号中的语音分量。例如,结合噪声消除方案,第一音频信号经噪声消除方案处理后的噪声消除版——也是主要语音分量的更纯净版,可经过自适应滤波器。然后将自适应滤波器产生的信号添加到第二音频信号上,以消除第二音频信号中的大部分语音分量。
要解决第二个问题,可确定第一音频信号中的噪声分量的近似值。例如,通过使用自适应滤波器901滤波第二音频信号的语音消除版。
与仅仅使用一个音频信号的传统噪声抑制方案比较,上面使用第一和第二音频信号的方法允许噪声抑制器1007在有声期获得更准确的和更新的噪声频谱1220的估值。本分明的一个替换实施例中,使用第二麦克风接收的第二音频信号帮助更准确地确定有声期以及音节之间的间隙;而反过来,更准确地确定有声期以及音节之间的间隙又产生了更可靠的噪声频谱1220的估值,从而改善了噪声抑制效果。
对于图12B的特定实施例,噪声区的频谱1260削弱10dB后,形成频谱1270。要意识到,所削弱的是10dB仅仅用于举例说明,本发明不受其所限。本领域般技术人员显然知道,对频谱1260削弱可超过或少于10dB。
最后,第三音频信号被发射给另外的电话机。第三音频信号的处理和发射方式与传统发射路径100(图1A)所述的相似。
如上所述以及如下一部分将要详细介绍的,第二麦克风输出的音频信号用于改善无线电话机中结合的VAD技术。
五、根据本发明的实施例:使用双麦克风改善VAD
图13是根据本发明的一个实施例配置有第一麦克风和第二麦克风的无线电话机的发射路径1300的功能模块图。发射路径1300包括第一麦克风201和第二麦克风202。另外,发射路径1300还包括A/D转换器1310、A/D转换器1312、噪声抑制器1307(可选)、VAD 1320、语音编码器1304、信道编码器1305、调制器1306、RF模块1307和天线1308。语音编码器1304、信道编码器1305、调制器1306、RF模块1307和天线1308分别与图1A的语音编码器104、信道编码器105、调制器106、RF模块107和天线108相似,所以不再赘述它们的操作。
该实施例中的发射路径1300中不含噪声抑制器1307,这是出于举例说明目的,本发明不局限于这种情况。在该示范性实施例中,VAD 1320接收分别由第一麦克风201和第二麦克风202输出的第一音频信号和第二音频信号。VAD 1320使用第一麦克风201输出的第一音频信号和第二麦克风202输出的第二音频信号以检测第一音频信号中的语音活动。VAD 1320发送提示信号给语音编码器1304,该提示信号指示第一音频信号的哪些时间间隔包括语音分量。下面将结合图14对VAD 1320的功能细节进行描述。
图14是根据本发明的一个实施例,具有第一麦克风和第二麦克风的无线电话机处理音频信号的方法的流程1400。该方法用于检测第一音频信号的哪些时间段包括语音分量。
流程1400开始于步骤1410。步骤1410中,第一麦克风201输出第一音频信号,该第一音频信号包括语音分量和背景噪声分量。步骤1420中,第二麦克风202输出第二音频信号,该第二音频信号也包括语音分量和背景噪声分量。
图15分别是由第一麦克风201和第二麦克风202输出的第一和第二音频信号的示意图。示意图1500表示第一麦克风201输出的第一音频信号。示意图1500所示的音频信号包括语音分量1510和背景噪声分量1520。示意图1550所示的音频信号是第二麦克风202输出的第二音频信号。示意图1550也包括语音分量1560和背景噪声分量1570。如上所述,在正常使用电话机时,第一麦克风201比第二麦克风202更靠近用户的嘴部,所以语音分量1510的振幅大于语音分量1560的振幅。相反,背景噪声分量1570的振幅要大于背景噪声分量1520的振幅。
如流程1400的步骤1430所示,基于第一音频信号(示意图1500)和第二音频信号(示意图1550)的内容,VAD 1320检测第一音频信号的那些时间段内有语音分量1510。与仅仅检测一个音频信号的VAD技术比较,使用第二音频信号以及第一音频信号来检测第一音频信号的语音活动的VAD 1320能够改善语音活动的检测。就是说,第二音频信号的附加信息(主要包括背景噪声分量1570)帮助VAD 1320更好地区分第一音频信号中包含的语音分量,从而帮助VAD 1320取得改进的性能。
例如,根据本发明的一个实施例中,VAD 1320除了检测传统单麦克风VAD通常检测的信号特性之外,还检测第一音频信号和第二音频信号之间的能量比和平均振幅比。通过比较图15的第一音频信号1500和第二音频信号1550,这种可能性是显然的。对于图15所示的音频信号1500和1550,在有声期(语音活动期间),第一音频信号1500的能量大于第二音频信号1550的能量。另一方面,在两个有声期的间隙(即背景噪声区)内,情况相反。因此,第一音频信号与第二音频信号的能量比在有声期内是高比值,在两个有声期的间隙内是低比值。能量比的变化提供了有关第一音频信号中的语音活动的有价值的线索。如果仅使用一个麦克风来获取第一音频信号,这种有价值的线索是得不到的。只有使用双麦克风,才能获得该有价值的线索,VAD 1320也才能用该能量比来提高语音活动检测的准确度。
六、本发明的一个替换实施例
在一个替换的示范性实施例中(附图中没有示出),信号处理器420包括背景噪声消除模块和噪声抑制器。在该实施例中,背景噪声消除模块根据第二音频信号的内容,至少消除第一音频信号中的一部分背景噪声分量,以产生第三音频信号。接着,以相似于上述的方式,噪声抑制器接收第二和第三音频信号,并基于该第二和第三音频信号的内容至少抑制该第三音频信号中的一部分背景噪声分量。然后,噪声抑制器为如上所述的其余组件和/或处理步骤产生出第四音频信号。
在另外一个替换的示范性实施例中,具有第一和第二麦克风的发射路径还包括信号处理器(与信号处理器420类似)和VAD(与VAD 1320类似)。业内技术人员应当意识到,发射路径中,信号处理器可在VAD之前,也可在VAD之后。另外,信号处理器和VAD可同时地处理双麦克风的输出。下面将要详细介绍的实施例中,具有两个麦克风的发射路径中信号处理器在VAD之前,该实施例仅用于举例说明,不对本发明造成限制。
在所示的实施例中,信号处理器至少基于第一音频信号和第二音频信号两者之一的内容,增加第一音频信号中语音分量对背景噪声的比率,以产生第三音频信号(与上面详细介绍的信号处理器420类似)。接着,VAD接收该第三音频信号。该VAD也接收第二麦克风(例如,第二麦克风202)输出的第二音频信号。与上述的方式类似,该VAD基于第二音频信号和第三音频信号的内容检测第三音频信号中出现语音分量的时间间隔。
在另一实施例中,在具有双麦克风的发射路径中,VAD可以位于噪声抑制器前面。在该实施例中,VAD接收分别由第一麦克风和第二麦克风输出的第一音频信号和第二音频信号,以基于第一和第二音频信号的内容检测第一音频信号中出现语音分量的时间间隔,与上述的方式类似。噪声抑制器接收第一和第二音频信号,并基于第一音频信号和第二音频信号的内容抑制第一音频信号中的背景噪声分量,与上述的方式类似。
七、使用单向麦克风的实施例
根据本发明的一个实施例,示范性无线电话机200所用的麦克风中,至少一个可以是单向麦克风。正如下面将要详细介绍的,单向麦克风是对特定方向传来的声波(例如,声波正对着麦克风)特别灵敏的麦克风。有关单向麦克风与全向麦克风的一些信息可在下面这个网址找到:<http://www.audio-technica.com/using/mphones/guide/pattern.html>。
相关领域的技术人员应当意识到,通常根据麦克风的方向特性来区分麦克风,即根据麦克风接收各个方向的声音的能力如何。全向麦克风接收声音的能力在每个方向上都相同。因此,只要距离相等,对于正对它的对象或背对着它的对象,全向麦克风都能以同样的灵敏性接收声音。图16示出了全向麦克风的极性指向图1600。极性指向图是环形曲线,该环形曲线表示麦克风在固定声源前转动时的灵敏性,用分贝(dB)表示。极性指向图在业内也称为“拾音指向图”或“指向图”,是帮助说明麦克风方向特性的容易理解的曲线。如图16所示的极性指向图1600,全向麦克风平等地接收各个方向的声音。
与全向麦克风相反,单向麦克风被设计成对来自特定方向的声音有最大的响应,对来自其他方向的声音尽量不接收。这种定向能力通常通过在麦克风中使用外部开口和内部通道来实现,使得声音以严格控制的方式到达振动膜的两侧。因此,在示范性的单向麦克风中,从麦克风正面进来的声音将帮助振动膜振动,而从麦克风侧面或背面进来的声音将消除振动膜的振动。
单向麦克风的典型类型包括但不限于亚心型、心型、超心型和线型。图17(亚心型)、图18(心型)、图19(超心型)和图20(线型)中示出了这些类型的麦克风的极性指向图。这些图中,每副图都示出了对应的麦克风的接收角和无效角(null)。接收角是指在其中麦克风具有相同灵敏度的最大角度。接收角可随着(声波的)频率的变化而变化;但是,质量好的麦克风,接收不同频率的声波时,其极性指向图是几乎不变的。无效角定义为对到来的声音表现出最小的灵敏性的角度。
图17示出了亚心型麦克风的示范性极性指向图1700。该极性指向图1700的接收角从线1705开始,逆时针到线1708,跨越170度。该极性指向图1700的无效角不位于特定点,而是跨越一个角度范围——即,从线1718到线1730。分别以逆时针方向测定竖轴向上方向1710与线1718的夹角,以顺时间方向测定竖轴向上方向1710与线1730的夹角,都测得100度。因此,极性指向图1700的无效角跨越160度,即从线1718逆时针方向测量到线1730。
图18示出了心型麦克风的极性指向图1800。极性指向图1800的接收角跨越120度,从线1805逆时针方向测量到线1808。极性指向图1800单无效角1860位于与竖轴向上方向1810成180度的地方。
图19示出了超心型麦克风的示范性极性指向图1900。该极性指向图1900的接收角跨越100度,从线1905开始逆时针测量到线1908。该极性指向图1900具有第一无效角1920和第二无效角1930。分别以逆时针方向测定竖轴向上方向1910与第一无效角1920的夹角,以顺时间方向测定竖轴向上方向1910与第二无效角1930的夹角,都测得110度。
图20示出了线型麦克风的示范性极性指向图2000。该极性指向图2000的接收角跨越90度,从线2005开始逆时针测量到线2008。该极性指向图1900具有第一无效角2020和第二无效角2030。分别以逆时针方向测定竖轴向上方向2010与第一无效角2020的夹角,以顺时间方向测定竖轴向上方向2010与第二无效角2030的夹角,都测得120度。
单向麦克风不接收来自轴外的声音的能力提供了比全向麦克风更大的工作距离,或“距离因子”。下面的表1中,列出了不同类型的麦克风的接收角、无效角和距离因子(distance factor,DF)。如表1所示,心型麦克风的DF是1.7,而全向麦克风的DF是1.0。这意味着,在相同的噪声环境中使用全向麦克风接收10英尺处的期望声音,和在该声源17英尺处使用心型麦克风接收期望声音,这两个麦克风得到的相同的期望声音与周围噪声的比值。表1所述的麦克风类型中,亚心型麦克风在12英尺处有相同的效果,而超心型是20英尺,线型是25英尺。
全向 | 亚心型 | 心型 | 超心型 | 线型 | |
接收角 | - | 170° | 120° | 100° | 90° |
无效角 | 无 | 100° | 180° | 110° | 120° |
距离因子(DF) | 1.0 | 1.2 | 1.7 | 2.0 | 2.5 |
表1:不同类型的麦克风的属性
八、麦克风阵列
根据本发明的一个实施例的无线电话机可包括至少一个麦克风阵列。正如下面将要详细介绍的,所述麦克风阵列包括连接到数字信号处理器(DSP)上的多个麦克风。DSP被设置成自适应地组合麦克风阵列中麦克风输出的音频信号,以有效地调整麦克风阵列的灵敏性以接收来自特定方向的声波。下面将要提供的与麦克风阵列有关的一些信息可在这个网址查到:<http://www.idiap.ch/~mccowan/arrays/tutorial.pdf>。
与单向麦克风的方式类似,麦克风阵列可用于增强对来自特定方向的声波的接收,而对来自其他方向的声音尽量不接收。与单向麦克风类似,麦克风阵列的灵敏性可用极性指向图或指向图表示。但是,与单向麦克风不同,麦克风阵列的最灵敏的方向不是固定的,而是能够动态地调整的。就是说,麦克风阵列的极性指向图或指向图的主瓣(main lobe)的朝向是可以动态调整的。
1、麦克风阵列概述
图21是根据本发明的一个实施例的的麦克风阵列2100示意图。麦克风阵列2100包括多个麦克风2101,多个A/D转换器2103和数字信号处理器(DSP)2105。麦克风2101用于以传统麦克风类似的方式将碰撞到其上的声波转换成音频输出信号。A/D转换器2103从麦克风2101接收模拟音频输出信号,并采用相关领域内公知的方式将这些信号转换成数字信号。DSP 2105以下面将要介绍的方式接收和组合这些来自A/D转换器2103的数字信号。
图21中还包括了麦克风阵列2100的基准尺寸特征。在一个实施例中,麦克风阵列2100的多个麦克风2101之间以大约为d的间隔平均分隔。麦克风阵列2100中第一个麦克风和最后一个麦克风的距离设定为L。那么L与d满足以下的关系式:
L=(N-1)d 等式(1)
其中,N是该麦克风阵列中的麦克风数目。
基准尺寸d和/或L影响麦克风阵列2100的响应。尤其是,麦克风2101的总长度与碰撞声波的波长的比值(即L/λ)影响麦克风阵列2100的响应。例如,图22A-图22D示出了具有不同L/λ值的麦克风阵列的极性指向图,示出了L/λ比值对麦克风阵列的响应的影响。
从图22A-22D可看到,与单向麦克风相似,麦克风阵列也具有方向特性。换言之,麦克风阵列对特定声源的响应取决于该声源发出的声波相对于该麦克风阵列的波达方向(DOA)。通过图21可以理解声波的DOA。图21中,用一组平行声波2110近似代表从声源发出的声波(使用远场近似,下面会介绍),平行声波2110以箭头2115所指的方向向麦克风阵列2100传播。平行声波2110的DOA可定义为箭头2115与沿麦克风2101排列形成的轴线的夹角,如图所示。
麦克风阵列的响应除了受声波的DOA的影响外,还受声波与该麦克风阵列的距离的影响。可根据距离r将碰撞到麦克风阵列的声波分类。假定这些声波相对的基准距离是L,声波波长是λ。特别地,如果r大于2L2/λ,那么该声源属于远场源,可以忽略碰撞到该麦克风阵列的声波的波阵面的曲率。如果r小于2L2/λ,那么该声源属于近场源,其波阵面的曲率不能忽略。
图22E示出了麦克风阵列对近场源(虚线)和远场源(实线)的示范性指向图。该指向图中,竖轴表示麦克风阵列的响应,横轴表示对角度的依赖。
以单向麦克风相似的方式,可以为麦克风阵列定义最大灵敏性和最小灵敏性的角度。麦克风阵列的最大灵敏性角度定义为麦克风阵列的灵敏性超过预定阈值的角度范围。麦克风阵列的最小灵敏性定义为麦克风阵列的灵敏性小于预定阈值的角度范围。
2、对麦克风阵列响应的控制
如上所述,麦克风阵列2100的DSP 2105可用来组合从麦克风2101接收的音频输出信号,以有效地控制麦克风阵列2100的指向图。
通常,DSP 2105接收N个音频信号,并产生单个的音频输出信号,其中,N为麦克风阵列2100中的麦克风数目。DSP 2105所接收的该N个音频信号中,每个音频信号都被乘以具有幅值和相位的加权因子,以产生N个音频信号与加权信号的乘积。之后,DSP 2105将该N个音频信号与加权信号的乘积累加起来,从而将所接收的音频信号集合转换为单个的音频输出信号。
将乘积累加之前,DSP 2015通过修改加权因子能改变麦克风阵列2100的指向图。称为波束赋形技术的各种技术,都能够以特定的方式修改加权因子。例如,通过在累加前修改加权因子的幅值,DSP 2015能改变指向图的形状。另一个例子中,通过在累加前修改加权因子的相位,DSP 2015能控制麦克风阵列2100的指向图中主瓣的角度位置。图23示出了通过在累加前修改加权因子的相位来控制麦克风阵列的指向图的实施例。从图23可以看到,在该实施例中,指向图的主瓣移动了约45度。
正如相关领域内广泛知晓的,波束赋形技术可以是非自适应的和自适应的。非自适应的波束赋形技术与数据无关。换言之,无论到来的声波和产出的音频信号如何,非自适应的波束赋形技术都采用相同的算法。相反,自适应波束赋形技术是依赖于与数据的。因此,自适应波束赋形技术可用于自适应地确定声源的DOA,并有效地将麦克风阵列的指向图的主瓣控制在该声源的DOA上。典型的自适应波束赋形技术包括但不限于Frost算法、线性约束最小变量法、通用旁瓣消除法等。
要意识到,图21仅用于举例说明,本发明不受图21所限。例如,麦克风2101之间的距离不需要相同。另外,所示的麦克风阵列2100是一维阵列;但是,二维的阵列也在本发明的范围之内。正如业内技术人员所了解的,二维麦克风阵列可用于在二维空间确定声源的DOA。相反,一维阵列只能检测一维空间的DOA。
九、麦克风阵列的实施例
在下面将要介绍的一个实施例中,用与图21中的麦克风阵列2100相似的麦克风阵列取代无线电话机200(图2和图3)的麦克风201和/或麦克风202。
图24是使用第一麦克风阵列201’和第二麦克风阵列202’的无线电话机的示范性发射路径2400。第一麦克风阵列201’和第二麦克风阵列202’的作用与上述的示范性麦克风阵列2100(图21)的相似。具体说,麦克风2401a-n和2411a-n用于将碰撞到其上的声波转换成音频信号。A/D转换器2402a-n和2412a-n用于将分别从麦克风2401a-n和2411a-n接收的模拟音频信号转换成数字信号。DSP 2405从A/D转换器2402a-n接收数字音频信号,并将这些数字音频信号组合成第一音频输出信号,该第一音频输出信号被传递给信号处理器420’。类似地,DSP 2415从A/D转换器2412a-n接收数字音频信号,并将这些数字音频信号组合成第二音频输出信号,该第二音频输出信号被传递给信号处理器420’
发射路径2400的其他组件(信号处理器420’、语音编码器404’、信道编码器405’、调制器406’、RF模块407’和天线408’)的作用都与结合图4阐述的相应组件的作用相同。因此,这里不再阐述这部分组件的功能。
在本发明的一个实施例中,DSP 2405基于从A/D转换器2402a-n接收的数字音频信号,使用自适应波束赋形技术确定无线电话机的用户的语音的DOA。接着,DSP 2405自适应地组合这些数字音频信号,以有效地控制麦克风阵列201’的最大灵敏性的角度,使用户的嘴部处于该最大灵敏性的角度范围内。这样,与单一麦克风(如麦克风201)输出的音频信号相比,DSP 2405输出的单一音频信号将包括更清晰的用户的语音。然后,与处理麦克风201(图4)输出的音频信号的方法相似,DSP 2405输出的音频信号被信号处理器420’接收和处理,下面将会详细介绍。
在本发明的另一个实施例中,DSP 2415从A/D转换2412a-n上接收数字音频信号,并基于这些数字音频信号使用自适应的波束赋形技术,确定无线电话机的用户的语音的DOA。接着,DSP 2415自适应地组合这些数字音频信号,以有效地控制麦克风阵列202’的最小灵敏性的角度,使用户的嘴部处于该最小灵敏性的角度范围内。这样,DSP 2415输出的单一音频信号将不包括用户的语音。因此,与单一麦克风(如麦克风202)输出的音频信号相比,DSP2415输出的单一音频信号将包括更纯的背景噪声。然后,与处理麦克风202(图4)输出的音频信号的方法相似,DSP 2415输出的音频信号被信号处理器420’接收和处理,下面将会详细介绍。
很多场合中,背景噪声是没有方向性的,即各个方向的背景噪声是相同的。但是,有些场合中,单一噪声源(如,起重机和救护车)构成了主要的背景噪声。在这种场合下,背景噪声具有高度的方向性。在本发明的一个实施例中,DSP 2405经配置用于确定具有高度方向性的背景噪声源的DOA。DSP 2405还经配置用于自适应地组合数字音频信号以有效地控制麦克风阵列201’的最小灵敏性的角度,以使该高度方向性的背景噪声源处于该最小灵敏性角度之内。这样,麦克风阵列201’将不接收从该高度方向性的背景噪声源的DOA发来的声音。这样,与单一麦克风(如麦克风201)相比,麦克风阵列201’将接收更纯的用户语音。
在另一个实施例中,DSP 2415经配置用于确定高度方向性的背景噪声源的DOA。DSP 2415还被配置用于自适应地组合来自A/D转换器2412a-n的数字音频信号以有效地控制麦克风阵列202’的最大灵敏性的角度,以使该高度方向性的背景噪声源处于该最大灵敏性角度之内。这样,麦克风阵列202’将接收从该高度方向性的背景噪声源的DOA发来的声音。这样,与单一麦克风(如麦克风202)相比,麦克风阵列202’接收更纯的高度方向性的背景噪声。
在又一个实施例中(图中没有示出),无线电话机包括第一和第二麦克风阵列和VAD。在该实施例中,DSP经配置用于确定高度方向性的背景噪声源的DOA和用户语音的DOA。另外,与上述的方式类似,VAD检测第一麦克风阵列输出的音频信号中存在语音分量的时间间隔。在第一麦克风阵列输出的音频信号中存在语音分量的时间间隔内,与第二麦克风阵列关联的DSP自适应地控制第二麦克风阵列的最小灵敏性的角度,使用户的嘴部处于该最小灵敏性的角度范围内。在第一麦克风阵列输出的音频信号中不存在语音分量的时间间隔内,与第二麦克风阵列关联的DSP自适应地控制第二麦克风阵列的最大灵敏性的角度,使高度方向性的背景噪声处于该最大灵敏性的角度范围内。换言之,第二麦克风阵列在VAD的帮助下,自适应地进行以下切换:(1)在用户说话时的时间间隔内不接收用户的语音;和(2)在用户不说话的时间间隔内优先接收高度方向性的背景噪声。这样,与单一麦克风相比,第二麦克风阵列将接收到更纯的背景噪声。
应当意识到,上述的实施例仅用于举例说明,本发明不受其限制。特别地,应当意识到,上面所用以及下面所用的的术语“数字信号处理器”、“信号处理器”和“DSP”可以是单DSP、多DSP、单DSP算法、多DSP算法及它们的组合。例如,DSP 2405、DSP 2415和/和信号处理器420’(图24)可表示在单个DSP上运行的不同的DSP算法。另外,相应领域的技术人员知道,可在单DSP或多DSP上实现DSP 2405和DSP 2415和/或信号处理器420’的各种组合。
十、根据本发明实施例的多层描述发射系统
图25是根据本发明的一个实施例提供冗余以克服发射信道损失的多层描述发射系统2500的示意图。多层描述发射系统2500包括第一无线电话机2510和第二无线电话机2520。第一无线电话机2510将语音信号的多重版本2550发送给第二无线电话机2520。
图26是第一无线电话机2510的示范性发射路径2600和第二无线电话机2520的示范性接收路径2650的功能模块图。如图26所示,第一无线电话2510包括麦克风阵列2610、编码器2620和发射器2630。麦克风阵列2610的每个麦克风都经配置以接收用户的语音输入(以声波的形式)和产生对应的语音信号。例如,麦克风阵列2610可以与麦克风阵列2100(图21)相同。编码器2620连接到麦克风阵列2610上,经配置以编码每个音频信号。例如,所述编码器2620可包括分别与结合图4所述的语音编码器404、信道编码器405类似的语音编码器、信道编码器。另外,编码器2620可选地包括DSP,如类似于DSP 420(图4)。
发射器2630与编码器2620连接,经配置以发射每个经编码的语音信号。例如,图25概念性地示出了示范多层描述发射系统。在图25中,第一无线电话机2510将第一信号2550A和第二信号2550B发射给第二无线电话机2520。但是,要意识到,第一无线电话机2510能发射两个以上(如三个、四个、五个等)的信号给第二无线电话机2520。例如,第一无线电话机2510的发射器2630可包括调制器、RF模块和天线,分别与结合图4所述的调制器406、RF模块407、天线408相似,它们协同工作以发射经编码的音频信号。
在替换的实施例中,第一无线电话机2510可包括多个编码器和发射器。例如,第一无线电话机2510可包括多个与发射路径100(图1A)相似的发射路径,其中,每个发射路径对应于第一无线电话机2510的麦克风阵列2610中的单个麦克风。
如图26的接收路径2650所示,第二无线电话机2520包括接收器2660、解码器2670和扬声器2680。接收器2660经配置以接收被发射的信号2550(图25)。例如,接收器2660可包括分别与图1B所述天线128、RF模块127、解调器126相似的的天线、RF模块和解调器,它们协同工作以接收被发射的信号。解码器2670与接收器2660连接,经配置以对接收器2660接收的信号进行解码,从而产生输出信号。例如,解码器2670可包括分别与结合图1B所述的信道解码器125、语音解码器124类似的信道解码器和语音编码器,它们协同工作以解码所接收的信号。另外,解码器2670可选地包括DSP。扬声器2680接收解码器2670的输出信号并产生对应的压强声波。例如,扬声器2680可以与扬声器129(图1B)相似。另外,正如相关领域技术人员所知晓的,可在扬声器2680(或扬声器129)之前设置功率放大器(没有示出)以在输出信号被送给扬声器2680(或扬声器129)之前,对信号进行放大。
在本发明的第一实施例中,解码器2670还被配置用来实现以下两个功能:(1)对接收器2660接收的信号进行时差校正(time-align);和(2)将经时差校正的信号组合,以产生输出信号。正如图21所示的,因为麦克风阵列中麦克风所在位置的不同,所以用户嘴部发出的声波将在不同的时刻碰撞到麦克风阵列中的每个麦克风上。例如,参考图21,平行的波阵面2110将首先碰撞麦克风阵列2110最左边的麦克风,然后才碰撞到与最左的麦克风距离为d的麦克风。因为声波碰撞麦克风阵列2610的各个麦克风存在着时间延迟,各个麦克风输出的音频信号也会有相应的时间延迟。第二无线电话机2520的解码器2670可通过对音频信号进行时差校正处理来补偿该时间延迟。
例如,图27示出了分别与第一无线电话机2510的第一和第二麦克风对应的第一音频信号S1和第二音频信号S2。第二音频S2与第一音频信号S1相比有t1的时间延迟,其取决于第一无线电话机2510上麦克风的相对位置。可配置第二无线电话机2520的解码器2670,让其对第一音频信号S1和第二音频信号S2进行时差校正处理,例如,使第一音频信号S1在时间上延迟t1的时间量。
正如上面所提到的,根据第一实施例,第二无线电话机2520的解码器2670还被配置用来组合经时差校正的音频信号。因为假设第一音频信号S1和第二音频信号S2的语音分量是几乎相同的,而每个音频信号的噪声分量是不同的,所以语音分量将能够同相地相加,而噪声分量一般不能够同相地相加。这样,通过在时差校正后组合音频信号,组合后的输出信号将比第一音频信号S1或第二音频信号S2具有更高的信噪比。
在本发明的第二实施例中,第二无线电话机2520的解码器2670经配置以实现以下的功能:首先,解码器2670经配置以基于第二无线电话机2520的接收器2660所接收的发射信号2550,检测第一无线电话机2510的用户嘴部发出的声波的波达方向(DOA)。解码器2670能以相似于图21至图24所述的方式确定声波的DOA。
其次,如上所述,可选地包括DSP的解码器2670,经配置以基于DOA自适应地组合所接收的信息以产生输出信号。通过基于DOA自适应地组合所接收的信号,第二无线电话机2520的解码器2670能有效地控制第一无线电话机2510的麦克风阵列2610的最大灵敏性角度,使第一无线电话机2510的用户的嘴部位于该最大灵敏性角度之内。如上所定义的,所述最大灵敏性角度指在该角度内,麦克风阵列2610的灵敏性超过某阈值。
在本发明的第三实施例中,对于接收器2660接收的信号的每个语音帧,第二无线电话机2520的解码器2670经配置以实现以下功能。首先,解码器2670经配置以评估信道损失(如,误码和丢帧)。即,解码器2670可用来确定相对接收信号的第一个语音帧,信道损失的程度。例如,对于指定的帧,解码器2670能够评估信道损失是否超过某阈值。该评估可基于信道的信号-噪声比(S/N)或载波-干拢比(C/I)、误码率、块误码率、帧误码率等。其次,解码器2670经配置以解码所接收的具有最小信道损失的信号,从而为对应的语音帧产生输出信号。
通过自适应地为相应的语音帧解码具有最小信道损失的信号,解码器2670可以在指定时间内解码最好的信号。也就是说,第一无线电话机2510发射的语音信号的多重版本2550在不同时间下可能遭遇不同的信道损失。例如,对于指定的语音帧,第一信号2550A可能比第二信号2550B遭遇更少的信道损失。在该语音帧内,解码第一信号2550A将得到更清晰且质量更好的语音信号。但是,在随后的语音帧内,第一信号2550A可能比第二信号2550B遭遇更多的信道损失。在该随后的语音帧内,解码第二信号2550B将得到更清晰且质量更好的语音信号。
在本发明的第四个实施例中,对于接收器2660接收的信号的每个语音帧,解码器2670经配置以评估信道损失和动态地丢弃那些信道损失超过阈值的接收信号。接着,解码器2670还被配置用来,如上面的第一实施例或第二实施例所述,组合未丢弃的接收信号。即,解码器2670可被配置用来根据第一实施例对未丢弃的接收信号进行时差校正和组合。另外,解码器2670可被配置用来组合未丢弃的接收信号以根据第二实施例有效地控制第一无线电话机2510的麦克风阵列2610。
本发明的第五实施例中,配置第一无线电话机2510的编码器2620使其以不同的比特率编码语音信号。例如,配置编码器2620使其以第一比特率(“主信道”)编码语音信号之一,以与第一比特率不相同的比特率(“辅助信道”)编码其他每一个音频信号。例如,主信道能够以与传统单信道无线电话机相同的比特率(如22kbit/s)编码和发射;而辅助信道则能够以低于传统单信道无线电话机的比特率(例如,8kbit/s或4kbit/s)编码和发射。另外,不同的辅助信道可以不同的比特率编码和发射。例如,第一辅助信道可以8kbit/s编码和发射;而第二和第三辅助信道可以4kbit/s编码和发射。接着,第二无线电话机2520的解码器2670根据以下两个例子之一解码主信道和辅助信道。
第一个例子中,对于发射信号的每个语音帧,第二无线电话机2520的解码器2670被配置用来评估信道损失。如果评估的信道损失超过阈值,那么相应的信道是被破坏的。如果(1)主信道由于信道损失而被破坏,且(2)至少一个辅助信道没有被信道损失破坏,那么,配置解码器使其解码该至少一个辅助信道,以产生输出信号。
第二个例子中,解码器2670使用主信道和一个辅助信道来改进隐蔽帧擦除法(frame erasure concealment algorithm)的性能。如果指定语音帧的信道损失程度超过预定阈值,就发生帧擦除。一些解码器采用隐蔽帧擦除法来隐蔽擦除帧的事件,这样,被擦除的语音帧内就不会输出空信号,所以该语音帧内不会导致没有声音。隐蔽帧擦除法基于被擦除的帧之前的波形,通过推断被擦除的帧的波形来尝试填充该声音缺口。一些隐蔽帧擦除法使用边信息(如,预报系数、音高周期、增益等)引导波形推断以顺利地隐蔽被擦除的帧。示范的隐蔽帧擦除法在美国专利申请号10/968,300、申请日为2004年10月20日,Thyssen et al.等人的名称为“Method For Packet Loss And/OrFrame Erasure Concealment In A Voice Communication System”中披露,此处参考并结合其全部内容。
在第二个例子中,对于发射信号的每一个语音帧,配置解码器2670使其评估信道损失。如果(1)主信道的边信息被破坏,且(2)至少一些辅助信道的对应边信息没有被破坏,就配置解码器2670使其在产生输出信号时使用主信道和其中一个辅助信道来改进隐蔽帧擦除法的性能。通过使用其中一个辅助信道的未被破坏的边信息,隐蔽帧擦除法能更有效地隐蔽被擦除的帧。
十一、处于免提模式下的电话机的性能改进
如上所述,根据本发明的实施例的配置有多麦克风的电话机能提供改进的免提模式下工作的性能。在第一实施例中,多麦克风可用于改进语音活动的检测,改进的语音活动检测又可改进回声消除器的性能。在第二实施例中,多麦克风可被配置成自适应麦克风阵列,可用于减小室内反射效应和/和回声。
下面将从近端用户电话处于免提模式的角度进行描述。这仅用于举例说明目的,本发明不受其限制。相关领域的技术人员显然能够从这些描述中领悟到如何在电话机中实现本发明。
A、第一实施例
描述本发明的第一实施例之前,描述电话机处于免提模式下发生的回声是有帮助的。
电话机处于免提模式时,近端电话机的扬声器发出与远端用户的语音对应的声波。该声波使得近端用户听到远端用户的语音。但是,该声波也会被近端电话机的麦克风接收。这样,近端电话机会以回声的形式将远端用户的语音回发给远端用户。
为了减少近端电话机发射的这种回声,可使用回声消除器(acoustic echocanceller,AEC)。回声消除器可以降低回声的音量使其不再讨厌和/或烦人。与传统的仅使用单麦克风的输出信号的回声消除器比较,根据本发明的回声消除器能获得改进的回声消除性能。
要说明的是,虽然电话机处于免提模式下时,回声问题会更严重,但是回声问题不局限于免提模式。在一些电话机听筒和蓝牙耳麦中,扬声器发出的声音也会被同一听筒或耳麦中的麦克风接收。因此,电话机听筒和耳麦也有回声的问题。本发明也可用于减少电话机听筒和耳麦的回声。
作为本发明第一实施例的例子,图28示出了根据本发明取得改进的回声消除性能的无线电话机的简化功能模块示意图2800。功能模块图2800包括发射路径和接收路径。发射路径用于发射近端电话机用户的语音,其包括第一麦克风2809以及关联的A/D转换器2801、第二麦克风2819以及关联的A/D转换器2811、回声消除器2840、语音编码器2804、信道编码器2805、调制器2806、RF模块2807和天线2808。接收路径接收、解码和播放远端电话机用户的语音,其包括天线2828(可共用发射天线2808)、RF模块2827、解调器2826、信道解码器2825、语音解码器2824、D/A转换器2822和扬声器2829。除了语音活动检测器(VAD)2830和回声消除器(AEC)2840之外,图28中的其他功能模块与图1A和图1B中标号相对的组件相似。
在传统的单麦克风电话机中,不存在第二麦克风2819和关联的A/D转换器2811。在这种传统配置下,回声消除器2840从语音解码器2824的输出端取得远端电话机用户的语音,接着将其传递给自适应滤波器,然后从A/D转换器2801的输出信号中减去该自适应滤波器的输出信号。所述自适应滤波器和减法单元包含在回声消除器2824内,在图28中未示出。所述自适应滤波器模拟从语音解码器2824的输出端到A/D转换器2801的输出端(即,回声消除器2840的输入端)的回声路径的传送功能。因此,该自适应滤波器的输出信号是回声信号的近似。减去自适应滤波器的输出信号就消除了大部分的回声。
通常,自适应滤波器的滤波因子仅仅在远端用户说话时且近端用户没有说话时被更新(改变)。该滤波因子在其他时间通常是冻结的和不会被更新的——这是为了避免滤波因子可能的分歧(potential divergence)。与传统VAD相比,语音活动检测器(VAD)2830以更敏感的方式执行语音活动检测。具体地,VAD 2830检测远端音频信号以及近端音频信号,以分辨何时远端用户在说话、何时近端用户在说话、何时远端用户与近端用户都在说话,等等。接着,VAD 2830将分辨结果传递给回声消除器2840,使回声消除器2840能够确定何时更新自适应滤波器的因子。严格来说,语音活动检测器2830传统上被认为是回声消除器2840的一部分。图28中将其分开描绘是为了便于讨论。
回到本发明的第一实施例中,图28示出了第二麦克风2819及其关联的A/D转换器2811。这种情况下,VAD 2830能利用第二麦克风2819所接收的第二近端音频信号来改进自身的检测准确度和更好地分辨是否要更新回声消除器2840中的自适应因子。从而改进了回声消除的性能。
与结合图13所述的方式类似,VAD 2830能使用第一麦克风2809和第二麦克风2819的输出信号来改进语音活动检测的准确度,改进的语音活动检测的检测度反过来又改进回声消除。这与结合图13所述的最大不同是,这里不是使第二麦克风接收比第一麦克风更多的背景噪声,而是使第二麦克风接收比第一麦克风更多的回声。当无线电话机处于免提模式时,这点很容易实现。
处于免提模式时,很多现有的无线电话机都减弱电话机正面的主扬声器203(图2)的声音,同时使用电话机背面的第二扬声器播放远端电话机用户的语音。这是为了减少扬声器和麦克风之间的噪声耦合,以减少回声。第二扬声器通常置于图3所示的第二麦克风202稍下的位置上。这种情况下,第二麦克风非常接近第二扬声器,因此第二麦克风处在一个从电话机背面的第二扬声器上接收远端用户的强回声信号的最佳位置上。通过使用所接收的强回声信号以及第一麦克风2809所接收的主近端音频信号,VAD 2830能更准确地确定近端用户正在说话的时间间隔。这反过来促使回声消除器2840在正确的时间改变自适应滤波器的因子,从而获得更准确的因子和更好的回声消除性能。
与在高背景噪声水平中不容易准确地确定语音活动类似,远端用户的语音的回声很强时,也不容易确定近端用户的语音活动。(实际上,在后一种情况下比在前一种情况下更困难,因为近端用户的语音与回声都是具有一些相似特性的语音信号。使得分辨这两种语音信号比从背景噪声中分辨出语音更困难。)
同样,正如图13中的VAD 1320能使用来自第二麦克风202的音频信号更准确地检测语音活动,VAD 2830也能够使用来自第二麦克风2819的音频信号来更准确地检测语音活动。相关领域的技术人员应当了解到,第二麦克风2819接收的第二音频信号具有一些更多的与语音活动有关的线索,这在第一麦克风2819接收的第一音频信号中是没有的。因此,除使用第一音频信号外,还使用第二音频信号能够使VAD更准确地检测语音活动。
为了说明上面最后的要点,以上述的无线电话机为例。处于免提模式时,该电话机使用位于其背面的、靠近第二麦克风的第二扬声器。这种情况下,正面的第一麦克风201(图2)主要接收用户的语音,而背面的第二麦克风(图3)主要接收从临近的第二扬声器传出的远端用户语音的回声。因此,当近端用户在说话时,第一麦克风的输出信号的功率相对较高,而第二麦克风的输出信号的功率相对较低。但是,当近端用户不说话而远端用户在说话时,情况正好相反。因此,第一音频信号与第二音频信号的功率比承载着与近端用户以及远端用户的语音活动有关的有用信息。在本发明的一个实施例中,第一音频信号与第二音频信号的功率比被用于分辨近端用户正在说话的时间间隔。
在前面的讨论中,即使回声消除器2840是不使用第二麦克风2819所接收的第二音频信号的传统回声消除器,单独使用改进的语音活动检测器2830也能够改进回声消除性能。更进一步地,在本发明的另一个实施例中,回声消除器2840还通过使用第二麦克风2819所接收的第二音频信号改进自身的性能。这种情况之下,除了对语音解码器2824的输出信号进行自适应滤波外,回声消除器2840还对第二音频信号(A/D转换器2811的输出)进行自适应滤波。可将这两种经自适应滤波的输出信号组合,接着从第一近端音频信号(A/D转换器2801的输出)中减去组合信号。当然,上面提到的这两个自适应滤波的因子需要以共同最优的方式调节。
在回声消除器2840中使用第二音频信号的优点是能够更好地解决回声路径的非线性问题。免提电话机(speakerphone)的回声消除器面临的一个最大难题是当扬声器被驱动到饱和时,扬声器输出信号被削幅,出现严重的非线性波形。由于传统的回声消除器仅应用自适应线性滤波器对语音解码器2824的输出信号进行处理,而语音解码器2824的输出信号通常没有被削幅,这种自适应线性滤波器不能模拟饱和扬声器产生的非线性信号。因此,从自适应线性滤波器的输出中评估的回声信号不能很好地近似从A/D转换器2801输出的回声信号,这种情况下,回声消除性能是很差的。
现在,同样是饱和扬声器的情况,远端用户说话时,靠近扬声器的第二麦克风接收的第二近端音频信号主要是饱和扬声器产生的回声信号。该第二音频信号已经非线性削波,因此用于滤波这种第二音频信号的自适应线性滤波器仅仅需要模拟从第二麦克风到第一麦克风的转发功能,不需要模拟这种非线性。因此,与语音解码器2824输出端的远端信号的自适应滤波版相比,这种第二近端音频信号的自适应滤波版能够更好地近似第一麦克风2809接收的回声信号。实际上,在饱和扬声器的情况下,在只有远端用户在说话时(假定语音活动检测器2830能准确地检测出该时间间隔),回声消除器2840甚至能仅仅使用该第二近端音频信号来估计回声信号,并从第一音频信号中减去所估计的回声信号。与传统回声消除器不同,在这个例子中根本没有使用语音解码器2824输出端的远端信号。本发明的这一示范性实施例阐明了在回声消除器2840中使用第二近端音频信号来减轻所述的非线性问题。
B、第二实施例
如上所述,在第二实施例中,电话机的多麦克风被配置成自适应麦克风阵列,用以减少室内反射效应和/或回声的影响。图29是根据该第二实施例的电话机的发射路径2900和接收路径2950的功能模块图。发射路径2900包括麦克风阵列2910、DSP 2925、编码器2920、发射器2930,它们分别与图21的麦克风阵列2100、DSP 2105、图26的解码器2620、发射器2630类似。接收路径2950包括接收器2960、解码器2970、扬声器2980,它们分别与图26的接收器2660、解码器2670、扬声器2680类似。
麦克风阵列2910的每个麦克风都被配置用来接收周围环境发出的声波和产生对应的音频信号。DSP 2925接收麦克风阵列2910的音频信号和被配置用来自适应地组合这些音频信号以产生第一音频输出信号。在该实施例中,麦克风阵列2910和DSP 2925被配置用来减少以下不利影响:(1)近端用户正在说话时的室内反射和/或(2)远端用户正在说话时的回声。
减少室内反射效应的方式取决于被反射的声波是全向性的(即,在各方向上充分等同)还是高度方向性的(即,来自特定的方向)。当被反射的声波是全向性的时,为了减少室内反射,DSP 2925被配置用来检测近端用户嘴部发出的声波的DOA。与结合附图21、22A-E、23和24所述的方式类似,该DOA的检测基于从麦克风阵列2910接收的音频信号。
DSP 2925还被配置用来基于DOA自适应地组合这些音频信号,以产生第一音频输出信号。例如,与上述的方式类似,DSP 2925基于DOA自适应地组合这些音频信号以有效地控制麦克风阵列2910的最大灵敏性角,使近端用户的嘴部位于该最大灵敏性角度范围内。所述最大灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性大于某阈值。通过以这种方式控制麦克风阵列的最大灵敏性角,麦克风阵列2910将趋向于只接收用户语音,不接收被反射的声波,从而减少了室内反射效应。
如上所述,被反射的声波可能是高度方向性的。因此近端用户的语音可能被特定的一个物体或一组物体(如墙体,等等)反射,所以从特定方向返回电话机。为了减少这种情况下的室内反射,在一个替换实施例中,DSP 2925被配置用来检测近端用户语音的反射声波的DOA和基于该DOA自适应地组合音频信号以产生第一音频输出信号。在该实施例中,DSP 2925基于DOA组合这些音频信号以有效地控制麦克风阵列2910的最小灵敏性角度,使近端用户的语音的反射源位于该最小灵敏性角范围内。所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性低于某阈值。通过以这种方式控制麦克风阵列的最小灵敏性角,麦克风阵列2910将趋向于不接收高度方向性的反射声波,从而减少了室内反射效应。
当远端用户正在说话时,为减少回声,DSP 2925被配置用来执行两个功能。首先,DSP 2925被配置用来检测远端用户的语音信号对应的声波的DOA。这些声波可能从近端电话机的扬声器2980的方向传来,或从反射声波的物体(如墙壁等)上传来。其次,DSP 2925被配置用来基于DOA自适应地组合这些音频信号以有效地控制麦克风阵列2910的最小灵敏性角度,使这些声波的源位于该最小灵敏性角范围内。如上所述,这些声波的源可能是扬声器2980或反射这些声波的物体(如,墙壁等等)。
C、示范方法
图30是根据本发明的一个实施例,在具有多麦克风的电话机中改进回声消除的示范方法的流程图3000。流程3000从步骤3010开始。步骤3010中,第一麦克风(如图28中的麦克风2801)输出第一音频信号。该第一音频信号包括近端用户的语音分量和远端用户的语音分量。例如,当处于免提模式下,远端用户的语音分量可由近端电话机的扬声器输出。
步骤3020中,第二麦克风输出第二音频信号。例如,从第二麦克风2811(图28)上输出第二音频信号。
步骤3030中,VAD处理第一和第二音频信号和产生输出,所述输出与第一音频信号中出现近端用户的语音分量的时间间隔有关。其中,所述VAD可以是上述的VAD 2830。
步骤3040中,基于:(1)第一音频信号;(2)第二音频信号;和(3)VAD的输出的内容,从第一音频信号中消除远端用户的语音分量。例如,可使用图28的回声消除器2840消除远端用户的语音分量。远端用户的语音分量的消除形成了第三音频信号。
步骤3050中,第三音频信号被发射给另一个电话机。所述第三音频信号的发射方式可以与上述的方式类似,也可以是相关领域技术人员知晓的其他方式。
图31A是在处于免提模式下的电话机中减少室内反射效应的方法的流程3100。流程3100从步骤3110开始。步骤3110中,麦克风阵列的每个麦克风基于入射的声波输出音频信号。例如,所述麦克风阵列可以与麦克风阵列2910类似。入射到麦克风阵列的声波可包括与近端用户的语音反射对应的声波。
步骤3120中,检测与近端用户的语音反射对应的声波的DOA。所述DOA的检测可基于麦克风阵列中的麦克风输出的音频信号。例如,与图29的DSP2925类似的DSP能以上述的类似方式检测所述DOA。
步骤3130中,当电话机处于免提模式下时,自适应组合音频信号以减少室内反射效应。例如,可使用DSP 2925自适应地组合音频信号。在一个实施例中,步骤3130包括基于DOA自适应地组合音频信号以有效地控制麦克风阵列的最小灵敏性角度,使近端用户的语音的反射源位于该最小灵敏性角范围内。
回声也能够以类似的方式减少。例如,图31B是在处于免提模式下的电话机中减少回声效应的方法的流程3150。流程3150从步骤3160开始,该步骤与图31A的步骤3110类似。但是,在图31的实施例中,入射到麦克风阵列的声波包括与远端用户语音对应的声波。例如,处于免提模式下,电话机上的扬声器可以输出远端用户的语音。
步骤3170中,检测与远端用户语音对应的声波的DOA,检测方式与上述的类似。
步骤3180中,自适应地组合音频信号以减少由于近端电话机的麦克风接收远端用户的语音而导致的回声效应。例如,可使用DSP 2925自适应地组合音频信号。在一个实施例中,步骤3180包括基于DOA自适应地组合音频信号以有效地控制麦克风阵列的最小灵敏性角,使与远端用户的语音对应的声波源位于该最小灵敏性角范围内。如上所述,所述远端用户的语音的源可以是近端电话机的扬声器,或者是反射声波的物体。
十二、结论
前面描述所用的具体实施方式及附图仅用于示范目的,本发明不受其限制。即,本发明完整的范围与实质由权利要求决定。
交叉参考文本:
本申请是以下美国专利申请的后续部分:美国专利申请号11/215,304、申请日2005年8月31日、名称为“Wireless Telephone with MultipleMicrophone and Multiple Description Transmission”;美国专利申请号11/135,491、申请日2005年5月24日、名称为“Wireless Telephone withAdaptive Microphone Array”;美国专利申请号11/065,131、申请日2005年2月24日、名称为“Wireless Telephone with Uni-Directional andOmni-Directional Microphones”;美国专利申请号11/018,921、申请日期为2004年12月22日、名称为“Wireless Telephone Having MultipleMicrophones”。本申请参考并结合上述全部申请的内容。
Claims (10)
1、一种具有改进回声消除性能的电话机,包括:
接收器,其接收远端音频信号,该音频信号包括远端用户的语音分量;
扬声器,其将远端音频信号转换成声波;
第一麦克风,其接收所述声波和输出第一音频信号,该第一音频信号包括与近端用户的语音关联的第一语音分量和与远端用户的语音关联的第二语音分量;
第二麦克风,其输出第二音频信号;
语音活动检测器(VAD),其处理第一音频信号、第二音频信号和远端音频信号以产生输出,所述输出至少涉及以下信息之一:(1)第一音频信号中出现第一语音分量的时间间隔和(2)第一音频信号中出现第二语音分量的时间间隔;和
回声消除器,其基于VAD的输出消除第一音频信号中包含的第二语音分量,从而产生第三音频信号。
2、根据权利要求1所述的电话机,其特征在于,所述VAD处理第一音频信号、第二音频信号和远端音频信号以产生输出,该输出涉及第一音频信号中出现第一语音分量的时间间隔,其中,对第一和第二音频信号的处理至少部分地基于检测第一和第二音频信号的功率比。
3、根据权利要求1所述的电话机,其特征在于,所述回声消除器包括:
自适应滤波器,其基于VAD的输出自适应地滤波远端音频信号以产生自适应滤波信号;和
减法单元,其从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
4、根据权利要求1所述的电话机,其特征在于,所述回声消除器包括:
自适应滤波器,其基于VAD的输出自适应地滤波第二音频信号以产生自适应滤波信号;和
减法单元,其从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
5、一种具有改进性能的电话机,包括:
麦克风阵列,该麦克风阵列中的每个麦克风都被配置用来接收声波和产生对应的音频信号;和
数字信号处理器(DSP),其接收来自麦克风阵列的音频信号,并被配置用来检测至少以下声波之一的波达方向(DOA):(1)与近端用户的语音反射(reverberation)对应的声波和(2)与远端用户的语音信号对应的声波,其中,DSP基于所述DOA自适应地组合来自麦克风阵列的音频信号以产生第一音频输出信号。
6、根据权利要求5所述的电话机,其特征在于,所述DSP还被配置用来基于与近端用户的语音反射对应的声波的DOA自适应地组合来自麦克风阵列的音频信号,以有效地控制麦克风阵列的最小灵敏性角,其中,所述最小灵敏性角定义为:在该角度范围内,麦克风阵列的灵敏性小于某阈值。
7、一种在具有至少两个麦克风的电话机中处理音频信号的方法,包括:
接收远端音频信号,该远端音频信号包括远端用户的语音分量;
将远端音频信号转换成声波;
接收声波和从第一麦克风输出第一音频信号,该第一音频信号包括与近端用户的语音关联的第一语音分量和与远端用户的语音关联的第二语音分量;
从第二麦克风输出第二音频信号;
用语音活动检测器(VAD)处理第一音频信号、第二音频信号和远端音频信号以产生输出,所述输出至少涉及以下信息之一:(1)第一音频信号中出现第一语音分量的时间间隔和(2)第一音频信号中出现第二语音分量的时间间隔;和
基于VAD的输出消除第一音频信号中包含的第二语音分量,从而产生第三音频信号。
8、根据权利要求7所述的方法,其特征在于,所述处理第一音频信号和第二音频信号包括:
检测第一和第二音频信号的功率比。
9、根据权利要求7所述的方法,其特征在于,所述基于VAD的输出消除第一音频信号中包含的第二语音分量包括:
基于VAD的输出自适应地滤波远端音频信号以产生自适应滤波信号;和
从第一音频信号中减去所述自适应滤波信号,从而产生第三音频信号。
10、一种在具有麦克风阵列的电话机中处理音频信号的方法,包括:
(a)所述麦克风阵列中的每个麦克风基于入射声波输出音频信号;
(b)检测至少以下声波之一的波达方向(DOA):(1)与近端用户的语音反射对应的声波和(2)与远端用户的语音对应的声波;和
(c)基于所述DOA自适应地组合所述音频信号,以产生第一音频输出信号。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/135,491 | 2005-05-24 | ||
US11/135,491 US7983720B2 (en) | 2004-12-22 | 2005-05-24 | Wireless telephone with adaptive microphone array |
US11/215,304 | 2005-08-31 | ||
US11/239,351 | 2005-09-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1874386A true CN1874386A (zh) | 2006-12-06 |
CN100536511C CN100536511C (zh) | 2009-09-02 |
Family
ID=37484623
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100840762A Expired - Fee Related CN100536511C (zh) | 2005-05-24 | 2006-05-21 | 具有改进性能的电话机及在其中处理音频信号的方法 |
CN2006100841214A Expired - Fee Related CN1874368B (zh) | 2005-05-24 | 2006-05-24 | 一种无线电话机及多层描述无线通信传输系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006100841214A Expired - Fee Related CN1874368B (zh) | 2005-05-24 | 2006-05-24 | 一种无线电话机及多层描述无线通信传输系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN100536511C (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102238457A (zh) * | 2010-04-20 | 2011-11-09 | 奥迪康有限公司 | 使用环境信息的信号去回响 |
CN102868455A (zh) * | 2012-06-26 | 2013-01-09 | 拉迪 | 一种通讯设备的主动降噪系统及其降噪处理方法 |
CN103700375A (zh) * | 2013-12-28 | 2014-04-02 | 珠海全志科技股份有限公司 | 语音降噪方法及其装置 |
CN104041073A (zh) * | 2011-12-06 | 2014-09-10 | 苹果公司 | 近场零位与波束成形 |
CN109273020A (zh) * | 2018-09-29 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 音频信号处理方法、装置、设备和存储介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102710839B (zh) * | 2012-04-27 | 2017-11-28 | 华为技术有限公司 | 一种提升语音通话效果的方法及通信终端 |
CN103002389B (zh) | 2012-11-08 | 2016-01-13 | 广州市锐丰音响科技股份有限公司 | 一种声接收装置 |
US9681221B2 (en) * | 2013-03-15 | 2017-06-13 | Robert Bosch Gmbh | Delegate unit and conference system with the delegate unit |
CN105682209A (zh) * | 2016-04-05 | 2016-06-15 | 广东欧珀移动通信有限公司 | 一种降低移动终端通话功耗的方法及移动终端 |
IN201841014667A (zh) * | 2018-04-18 | 2018-04-27 | ||
US11877237B2 (en) * | 2020-06-15 | 2024-01-16 | TriSpace Technologies (OPC) Pvt. Ltd. | System and method for optimizing power consumption in multimedia signal processing in mobile devices |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7206418B2 (en) * | 2001-02-12 | 2007-04-17 | Fortemedia, Inc. | Noise suppression for a wireless communication device |
US20030044025A1 (en) * | 2001-08-29 | 2003-03-06 | Innomedia Pte Ltd. | Circuit and method for acoustic source directional pattern determination utilizing two microphones |
US7158764B2 (en) * | 2001-12-13 | 2007-01-02 | Electronic Data Systems Corporation | System and method for sending high fidelity sound between wireless units |
-
2006
- 2006-05-21 CN CNB2006100840762A patent/CN100536511C/zh not_active Expired - Fee Related
- 2006-05-24 CN CN2006100841214A patent/CN1874368B/zh not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102238457A (zh) * | 2010-04-20 | 2011-11-09 | 奥迪康有限公司 | 使用环境信息的信号去回响 |
CN102238457B (zh) * | 2010-04-20 | 2016-03-09 | 奥迪康有限公司 | 使用环境信息的信号去回响 |
CN104041073A (zh) * | 2011-12-06 | 2014-09-10 | 苹果公司 | 近场零位与波束成形 |
CN104041073B (zh) * | 2011-12-06 | 2018-06-19 | 苹果公司 | 近场零位与波束成形 |
CN102868455A (zh) * | 2012-06-26 | 2013-01-09 | 拉迪 | 一种通讯设备的主动降噪系统及其降噪处理方法 |
WO2014001930A2 (zh) * | 2012-06-26 | 2014-01-03 | Rady Tawfik Nasr Eldin | 一种通讯设备的主动降噪系统及其降噪处理方法 |
WO2014001930A3 (zh) * | 2012-06-26 | 2014-02-27 | Rady Tawfik Nasr Eldin | 一种通讯设备的主动降噪系统及其降噪处理方法 |
CN103700375A (zh) * | 2013-12-28 | 2014-04-02 | 珠海全志科技股份有限公司 | 语音降噪方法及其装置 |
CN103700375B (zh) * | 2013-12-28 | 2016-06-15 | 珠海全志科技股份有限公司 | 语音降噪方法及其装置 |
CN109273020A (zh) * | 2018-09-29 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 音频信号处理方法、装置、设备和存储介质 |
CN109273020B (zh) * | 2018-09-29 | 2022-04-19 | 阿波罗智联(北京)科技有限公司 | 音频信号处理方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN1874368B (zh) | 2012-04-18 |
CN1874368A (zh) | 2006-12-06 |
CN100536511C (zh) | 2009-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1874386A (zh) | 具有改进性能的电话机及在其中处理音频信号的方法 | |
CN1303585C (zh) | 噪声抑制 | |
CN1139241C (zh) | 回声消除设备及其方法 | |
CN1224187C (zh) | 回声处理装置 | |
CN1229775C (zh) | 宽带语音和音频信号解码器中的增益平滑 | |
CN1192358C (zh) | 声音信号加工方法和声音信号加工装置 | |
CN1296888C (zh) | 音频编码装置以及音频编码方法 | |
CN1193644C (zh) | 用频谱减少来降低双送话器信号噪声的系统和方法 | |
CN1398054A (zh) | 啸叫检测和抑制设备、方法和计算机程序产品 | |
CN1236568C (zh) | 移动通信系统、移动通信方法、基站、移动台和信号发送方法 | |
CN1794758A (zh) | 一种无线电话及在该无线电话中处理音频信号的方法 | |
CN1245706C (zh) | 多模式语音编码器 | |
CN1922660A (zh) | 通信装置和信号编码/解码方法 | |
CN85108662A (zh) | 数字式扩音电话 | |
CN1717720A (zh) | 声处理系统、声处理装置、声处理方法、声处理程序及存储媒体 | |
CN1265355C (zh) | 音源矢量生成装置及语音编码/解码装置 | |
CN101048649A (zh) | 可扩展解码装置及可扩展编码装置 | |
CN1741686A (zh) | 拾音器装置和回声消除处理方法 | |
CN1171396C (zh) | 语音声音通信系统 | |
CN1606382A (zh) | 通信装置 | |
CN1110883A (zh) | 拒收帧的隐蔽 | |
CN1367602A (zh) | 回声信号抑制设备 | |
CN1898723A (zh) | 信号解码装置以及信号解码方法 | |
CN1193158A (zh) | 语音编码方法和装置以及声音信号编码方法和装置 | |
CN1805289A (zh) | 一种音频处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090902 Termination date: 20140521 |