CN103152500B - 多方通话中回音消除方法 - Google Patents
多方通话中回音消除方法 Download PDFInfo
- Publication number
- CN103152500B CN103152500B CN201310056409.0A CN201310056409A CN103152500B CN 103152500 B CN103152500 B CN 103152500B CN 201310056409 A CN201310056409 A CN 201310056409A CN 103152500 B CN103152500 B CN 103152500B
- Authority
- CN
- China
- Prior art keywords
- echo
- signal
- voice
- audio signal
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000005236 sound signal Effects 0.000 claims abstract description 57
- 238000012805 post-processing Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012856 packing Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 38
- 230000000694 effects Effects 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 238000012958 reprocessing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 10
- 238000012546 transfer Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006854 communication Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 101000893549 Homo sapiens Growth/differentiation factor 15 Proteins 0.000 description 3
- 101000692878 Homo sapiens Regulator of MON1-CCZ1 complex Proteins 0.000 description 3
- 102100026436 Regulator of MON1-CCZ1 complex Human genes 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 102000008482 12E7 Antigen Human genes 0.000 description 2
- 108010020567 12E7 Antigen Proteins 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- GHPGOEFPKIHBNM-UHFFFAOYSA-N antimony(3+);oxygen(2-) Chemical compound [O-2].[O-2].[O-2].[Sb+3].[Sb+3] GHPGOEFPKIHBNM-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本发明涉及一种多方通话中回音消除方法，主要解决现有技术存在多方通话中回音干扰的问题。本发明通过采用包括以下步骤：1）在发送端采用能接受语音或音频信号的设备获取多路语音信号并通过编码器编码；2）将编码后的音频数据流打包后通过网络发送到接收端；3）在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号；4）对合成的双通路音频信号通过回音抵消系统进行回音消除处理；5）将处理后的双通路音频信号采用至少两个具有语音或音频播放能力的设备输出；其中，所述回音抵消系统包括预处理模块、语音检测模块、自适应滤波模块、残余回音和背景噪音后处理模块的技术方案较好地解决了该问题，可用于视频会议系统中。
Description
技术领域
本发明涉及一种多方通话中回音消除方法。
背景技术
视频会议系统是指两个或两个以上不同地方的人或群体通过传输线路及多媒体设备，将声音、影像文件及文件资料互传，达到即时且互动的沟通，以完成会议目的的系统。视频会议系统解决了远距离沟通问题，节约了成本，提高了工作效率，已经得到了越来越多的机构和个人用户的认同。随着互联网技术和语音技术的快速发展，视频会议系统已成为地理上分散的用户（政府机构、跨国集团、企业、个人等）主流的远程异地通信方式。
近年来，随着通信技术的发展，人们对通信系统的音质要求越来越高，主流的视频会议系统已经开始使用了双声道或多声道的音频技术，立体声音频数据传输已逐渐成为主流方法。相对于单通道的音频数据，立体声需要同时传递两路音频数据，其中声学回声一直是影响音频质量的最为关键因素之一。
通常，回音的产生是由于声波反射以及麦克风与扬声器的声学耦合引起的。即来自通话一端的信号经过通话另一端的扬声器播放后，同时会被该端的麦克风采集传回通话一端，由此导致通话一端的说话者能够听到自己的回音，进而影响了通话质量，严重时甚至会产生啸叫导致会议进行不下去。此外，来源于麦克风周围环境产生的稳态或非稳态的噪音信号也对通话质量有着很大的影响。
随着人们对通话质量要求的提高，视频会议系统中扬声器和麦克风的数目也要求增多，以增强身临其境的感觉。而由于扬声器和麦克风的增多，声学回音也相应增多。如何有效消除这些声学回音是保证通话质量的重要因素。与单路回音消除技术相比，多路回音消除有比单路回音消除更复杂的计算和实现难度。目前多路回音消除主要采用自适应消除技术，多路回音消除自适应算法的研究主要是在单路回音消除自适应算法的技术上简单扩充，如把单路NLMS（Normalized Least Mean Squares，归一化最小均方误差）自适应算法、RLS（Recursive Least Squares，最小二乘法）自适应算法等扩充到多路回音消除中。但这种线性的扩展无法解决解不唯一、失配大等多路回音消除所存在的关键问题，而且算法收敛慢且达不到精度要求。
针对现有多路回音消除方法中的不足，一些研究者也做了一定的改进，如中国专利CN200810039070.2公开了一种改善多通道音频通话质量的系统和方法，该发明采用系统中设置根据音频采集装置及音频播放装置的数目之乘积确定的若干个回音路径处理模块，每一音频采集装置采集的音频信号与每一音频播放装置输出的参考信号采用分级组合的方式通过回音处理模块的处理来改善多通道音频通话质量。该发明虽然可在一定程度上改善通话质量，但这种方法未考虑多路信号间的相关性，存在自适应算法求解收敛慢，立体回声消除失配大的问题。中国专利CN201210088640.3公开一种远程音频交互的多路声学回音消除方法，该发明采用对获取输入的多路音源声学信号进行声学分离处理，然后分别对进行声学分离处理后的每一路信号通过自适应滤波器进行声学回音消除处理，再将进行声学回音消除处理后的每一路声学信号进行组合并进行声学合成，最后将进行声学合成后的声学信号进行输出。但是该方法需多次对声学音频信号的进行分离处理，这必然增加音频信号处理的计算复杂度、时间和实现难度，特别是当多个与会者同时讲话时，其计算复杂度和实现难度更大，计算所需时间更长，这必然会导致较大的音频信号传输延时；另外，采用该方法对方听众也很难分辩出不同发言者的方位，其实际推广应用存在很大的局限性。
总的来说，声学回音消除仍然是一个热门的研究课题，对多通路包括立体声双声道的回音消除技术的探索成果与单路回音消除相比还相差甚远，紧紧处于探索阶段，还有很多理论问题、研究方法、研究手段及实现技术等都需要研究人员共同努力研究。
发明内容
本发明所要解决的技术问题是现有技术存在多方通话中回音干扰的问题，提供一种新的多方通话中回音消除方法。该方法可有效消除多路声学回音，为多方通话提供高质量的语音通信。
为了解决上述技术问题，本发明采用的技术方案如下：一种多方通话中回音消除方法，包括以下步骤：
1）在发送端采用能接受语音或音频信号的设备获取多路语音信号并通过编码器编码；
2）将编码后的音频数据流打包后通过网络发送到接收端；
3）在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号；
4）对合成的双通路音频信号通过回音抵消系统进行回音消除处理；
5）将处理后的双通路音频信号采用至少两个具有语音或音频播放能力的设备输出；
其中，所述回音抵消系统包括预处理模块、语音检测模块、自适应滤波模块、残余回音和背景噪音后处理模块。
上述技术方案中，优选地，所述预处理模块采用半波整流函数对每一路音频信号进行非线性变换。
上述技术方案中，优选地，所述残余回音和背景噪音后处理模块根据语音检测模块的判断结果对信号进行相应处理，当输入信号被判断为非静音信号时，残余回音和背景噪音后处理模块对残余信号进行衰减处理；否则，信号经过残余回音和背景噪音后处理模块不做任何处理，直接输出。
上述技术方案中，优选地，所述语音检测模块采用带有语音活动检测的双向通话检测器。更优选地，所述双向通话检测器检测到为双端语音状态时，自适应滤波器冻结系数更新，只完成滤波；检测到为非双端语音状态时，进一步进行语音活动检测；所述语音活动检测到为非静音信号时，自适应滤波器既要进行滤波，又要进行系数更新，并对信号进行残余回音后处理；所述语音活动检测到为静音信号时，输出静音指示信号。
上述技术方案中，优选地，所述自适应滤波模块采用基于通用计算图形处理器的回音消除算法并行优化。更优选地，所述基于通用计算图形处理器的回音消除算法中快速傅里叶变换部分在图形处理器上执行。
上述技术方案中，优选地，所述步骤4）具体包括：
（301）对合成的双通路音频信号X1和X2分别采用半波整流函数进行非线性变换，变换后的音频信号为X1'和X2'；
（302）将变换后的音频信号X1'和X2'和近端音频信号Y1，即近端能接受语音或音频信号的设备拾取到的包括回音和背景噪声，还可能包括近端讲话者的语音信号，进行经过语音检测模块进行比对，判断当前远近两端的讲话状态；
（303）将音频信号X1'和X2'分别作为两个自适应滤波器的参考输入信号，根据上一步语音检测模块的判断结果进行相应处理，得到回声估计值；
（304）从Y1中减去得到近端语音信号或者回音残留信号e1；
（305）将得到的回音残留信号e1经过残余回音和背景噪音后处理模块进一步处理后传向远端。
上述技术方案中，优选地，所述能接受语音或音频信号的设备为麦克风；根据空间大小和位置同时放置1个、2个、3个或4个麦克风。
上述技术方案中，优选地，所述具有语音或音频播放能力的设备为扬声器，所述具有语音或音频播放能力的设备的个数为2个。
本发明方法中,HRTF为头相关传输函数（head-related transferfunctions）;VAD为语音活动检测（voice activity detection）;DTD为双向通话检测器（double talk detector）;GPGPU为通用计算图形处理器（General Purpose Graphic Process Unit）;FFT为快速傅里叶变换（Fast Fourier Transform）;GPU为图形处理器（Graphic ProcessUnit）。
本发明方法在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号,充分利用了HRTF已考虑了声级差和时间差以及HRTF本身具有的丰富声场信息的特点，使得即使在视频会议系统中独立空间内只设置单个麦克风且多个发言者同时讲话的情况下，近端与会者也能有效的区分远端发言者，获得空间的定位感和现场感;本发明方法还增加了残余回音和背景噪音后处理模块,根据语音检测模块的判断结果对信号进行相应处理，当输入信号被判断为非静音信号时，残余回音和背景噪音后处理模块对残余信号进行衰减处理；否则，信号经过残余回音和背景噪音后处理模块不做任何处理，直接输出。本发明方法中的语音检测模块优选采用带有语音活动检测VAD的双向通话检测器DTD;所述双向通话检测器DTD检测到为双端语音状态时，自适应滤波器冻结系数更新，只完成滤波；检测到为非双端语音状态时，进一步进行语音活动检测VAD；所述语音活动检测到为非静音信号时，自适应滤波器既要进行滤波，又要进行系数更新，并对信号进行残余回音后处理；所述语音活动检测到为静音信号时，输出静音指示信号。此外,本发明方法采用了最简单而且性能较好实用的半波整流函数对音频信号进行预处理非线性变换，在保证不影响立体声听感和声音质量的前提下降低了输入信号间的相关性，消除了多路回音消除解不唯一的问题；采用双向通话检测和语音活动检测的双层语音状态检测策略对双端语音状态进行两重判断，减少了语音状态被误判的机率，提高了判断的可靠性，保证了语音的完整性，另外在双端语音检测之后加入一个语音活动检测判断，对通话过程中出现的静音进行停止编码和传输的处理，可有效减少音频数据发送量，大大降低网络占用率；采用基于GPGPU的回音消除算法并行优化，将回音消除算法中FFT部分在GPU上执行，缩短了回音消除算法的计算时间，提升了系统了整体性能。本发明方法在以不破坏语音完整性原则的基础上，降低了网络带宽占用率，缓解了网络拥塞，减少了网络延迟，有效消除了远程实时语音传输系统中的多路声学回音，大大提高和改善了语音传输质量，并且使得临场感更加真实立体,取得了较好的技术效果。
附图说明
图1为本发明的多方通话中回音消除方法流程图。
图2为本发明的多个参与者的单音频信号合成双通道立体声信号的原理示意图。
图3为本发明的结合DTD和VAD的双通道立体声回音消除结构示意图。
图4为本发明的带有静音检测的双端语音状态检测流程图。
图5为本发明的双通道回音抵消系统一路回音处理过程示意图。
图6为本发明的四声道采集信号转化为双通道立体声的原理示意图。
图2中，S1、S2···Sn为单个麦克风采集的远端1个、2个···n个与会者讲话的语音信号，H11、H12、H21、H22、···、Hn1、Hn2为双耳房间脉冲响应函数，X1和X2分别为立体声左右通路信号。
图3中，X1(n)和X2(n)为合成的音频信号,X1'和X2'为变换后的音频信号,F为预处理模块,为回声估计值，e（n）为回音残留信号，y（n）为麦克风采拾的声音信号，W1和W2为自适应滤波器。
图5中，X1和X2为合成的音频信号,X1'和X2'为变换后的音频信号,F为预处理模块,FFT为快速傅里叶变换，IFFT为逆快速傅里叶变换，y1为为麦克风采拾的声音信号，e1为回音残留信号。
图6中，H11、H12、H21、H22、H31、H32、H41、H42为4对双耳房间脉冲响应函，X1和X2为合成的音频信号,MIC1、MIC2、MIC3、MIC4为麦克风。
以下结合附图对本发明做详细说明。
图1为本发明的多方通话中回音消除方法流程图，如图所示，所述方法包括以下步骤：1）在发送端采用麦克风获取多路语音信号并通过编码器编码；2）将编码后的音频数据流打包后通过网络发送到接收端；3）在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号；4）对合成的双通路音频信号通过回音抵消系统进行回音消除处理；5）将处理后的双通路音频信号采用两个扬声器输出。
一般情况下，多方视频会议系统中，每个与会者的房间只配置有一个麦克风，语音信号是单通路传输的，多个与会者同时说话的声音会被混叠在一起，人们要想从中分辨出自己关心的那个发言者的方位是不可能的。本发明方法利用人类听觉定位的原理和声场理论对麦克风采拾的远端单音频信号采用基于头相关传输函数HRTF进行处理后，将其扩展为两通路的立体声信号后馈给近端对称放置在与会者前方的两个扬声器，可产生与实际双通路立体声等效的定位效果。也可以根据空间的大小和位置，放置2个、3个或4个麦克风采集多路音频信号，并基于头相关传输函数HRTF处理后再叠加合成，将多声路采集信号转化为双通路立体声信号后馈给近端两个扬声器重放，以减少扬声器的数量。
图2为本发明的多个参与者的单音频信号合成双通道立体声信号的原理示意图，如图所示，对单个麦克风采集的远端n个与会者讲话的语音信号S1、S2···Sn分别用不同空间位置的多对人体头相关传输函数HRTF进行虚拟听觉信号处理，采用语音信号Sn与双耳房间脉冲响应函数Hni进行卷积，卷积后则得到合成的双通道立体声信号：Xni＝Hni*Sn，i=1、2；其中，双耳房间脉冲响应函数Hni为HRTF定义的从点生源到双耳的声学传递函数 和 其中：PL和PR
分别为声源在左耳或右耳处的声压，P0(r,f)为声源在头中心位置处（头不存在时）产生的声压，f是频率，r为声源到左右通路中心的距离；0°≤θ≤360°和-90°≤φ≤90°分别表示声源相对于头中心的方位角和仰角，s表示不同的个体。当n个与会者同时讲话时，根据声学的线性叠加原理，将进行立体声拟合处理后的n个讲话者的语音信号再进行线性叠加合成为立体声左右通路信号X1和X2分别馈给近端的左右扬声器重放。
图3为本发明的结合DTD和VAD的双通道立体声回波消除结构示意图，如图所示，所述预处理模块F主要负责对合成的音频信号X1(n)和X2(n)采用半波整流函数进行非线性变换，即通过对每一路信号增加少量的非线性失真来降低输入信号之间的相关性。采用的半波整流函数为
其中α为添加的失真的量，当α∈[0.3,0.5]时，这种方法可降低输入信号间的相关性而且添加的失真对语音信号的质量影响非常小。所述音频信号进行回音消除处理步骤具体包括：（301）对合成的双通路音频信号X1和X2分别采用半波整流函数进行非线性变换，变换后的音频信号为X1'和X2'；（302）将变换后的音频信号X1'和X2'和近端音频信号Y1（即近端麦克风拾取到的包括回音和背景噪声，还可能包括近端讲话者的语音信号）进行经过语音检测模块进行比对，判断当前远近两端的讲话状态；（303）将音频信号X1'和X2'分别作为两个自适应滤波器的参考输入信号，根据上一步语音检测模块的判断结果进行相应处理，得到回声估计值（304）从Y1中减去得到近端语音信号或者回音残留信号e1；（305）将得到回音残留信号e1经过残余回音和背景噪音后处理模块进一步处理后传向远端。所述残余回音和背景噪音后处理模块根据语音检测模块的判断结果对信号进行相应处理，当输入信号被判断为非静音信号时，残余回音和背景噪音后处理模块对残余信号进行衰减处理；否则，信号经过残余回音和背景噪音后处理模块不做任何处理，直接输出。
图4为本发明的带有静音检测的双端语音状态检测流程图，如图所示，所述语音检测模块采用带有静音检测的双端语音状态检测器进行语音检测，双端语音检测器DTD采用基于两矢量夹角法双向通话检测器，语音活动检测VAD算法采用基于能量的检测算法。其具体流程如下：当双端语音检测器DTD检测到为双端语音状态时，自适应滤波器滤波冻结系数更新，检测到为非双端语音状态时，进一步进行VAD静音检测，所述静音检测到为非静音信号时，自适应滤波器滤波且更新系数并对信号进行残余回音处理，所述静音检测到为静音信号时，不对信号进行任何操作，直接输出静音指示信号。
图5为本发明的双通道回音抵消系统一路回音处理过程示意图，如图所示，带有预处理的双通道回音抵消系统采用频域多延时自适应滤波器算法（MDF）的一路回音处理过程，其对滤波器的输入信号做N点离散快速傅里叶变换FFT处理以及对滤波器的输出信号进行快速傅里叶逆变换IFFT处理在GPU上执行。
图6为本发明的四声道采集信号转化为双通道立体声的原理示意图，如图所示，每个独立空间内放置4个麦克风同时进行语音信号采集，将4个声道采集信号采用4对头相关传输函数HRTF进行卷积处理后再线性叠加合成转化为双通道立体声信号后馈给左右扬声器重放。
下面通过实施例对本发明作进一步的阐述。
具体实施方式
【实施例1】
参照图1所述的方法，具体到一种双通道立体声的音频系统的实施例，应用于视频会议系统中。这种系统，在远端房间摆放1个麦克风MIC1，两个扬声器SPK1-L和SPK1-R，以与会者为中心，将SPK1-L摆放在左边，SPK1-R摆放在右边相同的距离。MIC1对应放置在离讲话者不远的范围内，用来采集与会者讲话时的音频信号。同样，在近端房间摆放1个麦克风MIC2，两个扬声器SPK2-L和SPK2-R，以与会者为中心，将SPK2-L摆放在左边，SPK2-R摆放在右边相同的距离，对应的SPK2-L和SPK2-R还原远端房间MIC1的信号。
在接受远端房间发过来的参照图2处理的多个参与者的语音信号后，经过近端的SPK2-L和SPK2-R还原声音的同时，近端的MIC2也同时在采集近端房间的声音信号，送给AD/DA芯片，AD/DA芯片再把数字信号送给带有预处理的回音抵消系统进行回音消除处理。回音抵消系统的工作原理参照图3和图4，其中回音消除系统采用两个自适应滤波器，采用基于频域的MDF(Multidelay Block Frequency Domain Adaptive Filter)自适应滤波算法，自适应算法中对音频信号的快速傅里叶变换部分参考图5在GPU上执行。在进行回音路径的计算和消除后进一步进行残余回音和背景噪音后处理并由AD/DA芯片通过线路送给PC端，然后对回音消除后的音频信号进行压缩编码后发送给远端房间。这样在远端房间听到没有回音和噪音的音频信号。
采用本发明的回音抵消系统，对150M的音频数据测试表明，不仅可以有效消除多路回音干扰，而且GPU执行回音消除算法中FFT部分计算速度比CPU执行回音消除算法中FFT部分计算速度提升约4.8倍，大大提高了系统的整体性能。
【实施例2】
同【实施例1】，只是采用4个麦克风MIC采集语音信号，参照图6所示的方法转化为双通路立体声信号，4个麦克风MIC采集信号需要4*2对头相关传输函数HRTF进行处理，再线性叠加合成双通路立体声信号馈给左右扬声器重放。
采用本发明的回音抵消系统，对200M的音频数据测试表明，不仅可以有效消除多路回音干扰，而且GPU执行回音消除算法中FFT部分计算速度比CPU执行回音消除算法中FFT部分计算速度提升约5.5倍，大大提高了系统的整体性能。
【实施例3】
同【实施例1】，只是每个独立空间内设置2个麦克风MIC和2个扬声器SPK，2麦克风MIC采集信号时需要4对头相关传输函数HRTF进行处理，回音抵消系统则需要有4组MDF滤波器和残余回音和背景噪音后处理模块组成一个系统。
采用本发明的回音抵消系统，对100M的音频数据测试表明，不仅可以有效消除多路回音干扰，而且GPU执行回音消除算法中FFT部分计算速度比CPU执行回音消除算法中FFT部分计算速度提升约4倍，大大提高了系统的整体性能。
如此类推，如果有N个麦克风MIC和2个扬声器SPK时，那么经过此系统处理后必然有N路输出信号，由于有两路SPK信号，则每路MIC信号都必须要两路SPK信号作为参考信号，则需要N*2组MDF滤波器和残余回音和背景噪音后处理模块组成一个系统。
【实施例4】
同【实施例1】，只是语音检测模块仅为双向通话检测器，不进行VAD语音活动检测。当远端房间或近端房间没有讲话者的声音，仅为静音时，系统仍对该音频信号进行编码和传输的处理，增加了语音数据包的发送量，从而增大了网络宽带占用率，对150M的音频数据测试表明，不进行VAD语音活动检测，使得网络宽带利用率降低了50%。
【比较例1】
同【实施例1】，只是没有步骤3），即没有在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号。这样，当远端房间参与者讲话时，近端房间仅能听到远端房间参与者的讲话声音，而不能区分远端房间发言者的方位；同样当近端房间参与者讲话时，远端房间仅能听到近端房间参与者的讲话声音，而不能区分近端房间发言者的方位。
【比较例2】
同【实施例1】，只是没有步骤3），即没有在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号；同时回音消除算法中FFT部分不采用GPU和CPU并行计算，仅在CPU上执行。这样，当远端房间参与者讲话时，近端房间仅能听到远端房间参与者的讲话声音，而不能区分远端房间发言者的方位；同样当近端房间参与者讲话时，远端房间仅能听到近端房间参与者的讲话声音，而不能区分近端房间发言者的方位。另外，CPU单独执行回音消除算法中FFT部分计算时间约为GPU和CPU并行执行回音消除算法中FFT部分计算时间的5倍。
Claims (5)
1.一种多方通话中回音消除方法，包括以下步骤：
1)在发送端采用能接受语音或音频信号的设备获取多路语音信号并通过编码器编码；
2)将编码后的音频数据流打包后通过网络发送到接收端；
3)在接收端将音频数据解码并基于头相关传输函数处理后叠加合成为双通路音频信号；
4)对合成的双通路音频信号通过回音抵消系统进行回音消除处理；
5)将处理后的双通路音频信号采用至少两个具有语音或音频播放能力的设备输出；
其中，所述回音抵消系统由预处理模块、语音检测模块、自适应滤波模块、残余回音和背景噪音后处理模块组成；
所述预处理模块采用半波整流函数对每一路音频信号进行非线性变换；
所述残余回音和背景噪音后处理模块根据语音检测模块的判断结果对信号进行相应处理，当输入信号被判断为非静音信号时，残余回音和背景噪音后处理模块对残余信号进行衰减处理；否则，信号经过残余回音和背景噪音后处理模块不做任何处理，直接输出；
所述语音检测模块采用带有语音活动检测的双向通话检测器；所述双向通话检测器检测到为双端语音状态时，自适应滤波器冻结系数更新，只完成滤波；检测到为非双端语音状态时，进一步进行语音活动检测；所述语音活动检测到为非静音信号时，自适应滤波器既要进行滤波，又要进行系数更新，并对信号进行残余回音后处理；所述语音活动检测到为静音信号时，输出静音指示信号；
所述自适应滤波模块采用基于通用计算图形处理器的回音消除算法并行优化。
2.根据权利要求1所述多方通话中回音消除方法，其特征在于所述基于通用计算图形处理器的回音消除算法中快速傅里叶变换部分在图形处理器上执行。
3.根据权利要求1所述多方通话中回音消除方法，其特征在于所述步骤4)具体包括：
(301)对合成的双通路音频信号X1和X2分别采用半波整流函数进行非线性变换，变换后的音频信号为X1'和X2'；
(302)将变换后的音频信号X1'和X2'和近端音频信号Y1，即近端能接受语音或音频信号的设备拾取到的包括回音和背景噪声，还可能包括近端讲话者的语音信号，进行经过语音检测模块进行比对，判断当前远近两端的讲话状态；
(303)将音频信号X1'和X2'分别作为两个自适应滤波器的参考输入信号，根据上一步语音检测模块的判断结果进行相应处理，得到回声估计值
(304)从Y1中减去得到近端语音信号或者回音残留信号e1；
(305)将得到的回音残留信号e1经过残余回音和背景噪音后处理模块进一步处理后传向远端。
4.根据权利要求1或3所述多方通话中回音消除方法，其特征在于所述能接受语音或音频信号的设备为麦克风；根据空间大小和位置同时放置1个、2个、3个或4个麦克风。
5.根据权利要求1所述多方通话中回音消除方法，其特征在于所述具有语音或音频播放能力的设备为扬声器，所述具有语音或音频播放能力的设备的个数为2个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310056409.0A CN103152500B (zh) | 2013-02-21 | 2013-02-21 | 多方通话中回音消除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310056409.0A CN103152500B (zh) | 2013-02-21 | 2013-02-21 | 多方通话中回音消除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103152500A CN103152500A (zh) | 2013-06-12 |
| CN103152500B true CN103152500B (zh) | 2015-06-24 |
Family
ID=48550353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310056409.0A Expired - Fee Related CN103152500B (zh) | 2013-02-21 | 2013-02-21 | 多方通话中回音消除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103152500B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491488A (zh) * | 2013-09-30 | 2014-01-01 | 天脉聚源(北京)传媒科技有限公司 | 一种麦克风回音消除方法及装置 |
| CN104767895B (zh) * | 2014-01-06 | 2017-11-03 | 阿尔卡特朗讯 | 一种用于分组声学回声消除的方法与设备 |
| CN105530390B (zh) * | 2014-09-30 | 2018-07-31 | 华为技术有限公司 | 会议服务器及其检测会议中的回声来源的方法 |
| CN104883531A (zh) * | 2015-05-14 | 2015-09-02 | 无锡华海天和信息科技有限公司 | 一种视频通话中回音消除的实现方法 |
| CN106331583B (zh) * | 2016-10-31 | 2022-06-24 | 深圳市台电实业有限公司 | 一种会议系统及其控制主机、会议单元设备 |
| CN106782592B (zh) * | 2016-12-27 | 2020-06-19 | 中山大学花都产业科技研究院 | 一种用于消除网络声音传输的回音和啸叫的系统和方法 |
| CN107301153B (zh) * | 2017-05-22 | 2021-05-07 | 上海大学 | 一种基于自适应傅里叶分解的头相关传输函数建模方法 |
| CN110197669B (zh) * | 2018-02-27 | 2021-09-10 | 上海富瀚微电子股份有限公司 | 一种语音信号处理方法及装置 |
| CN108134881B (zh) * | 2018-03-06 | 2023-07-25 | 睿云联(厦门)网络通讯技术有限公司 | 一种回音消除测试工具、ip通讯终端回音消除自动化测试系统及其测试方法 |
| US10692515B2 (en) * | 2018-04-17 | 2020-06-23 | Fortemedia, Inc. | Devices for acoustic echo cancellation and methods thereof |
| CN109003620A (zh) * | 2018-05-24 | 2018-12-14 | 北京潘达互娱科技有限公司 | 一种回音消除方法、装置、电子设备及存储介质 |
| CN111261179A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 回声消除方法及装置和智能设备 |
| CN111462771B (zh) * | 2020-04-03 | 2022-04-12 | 宁波菊风系统软件有限公司 | 一种啸叫处理方法 |
| CN113905119B (zh) * | 2020-06-22 | 2024-06-04 | 阿里巴巴集团控股有限公司 | 终端支架及其控制方法、音频处理方法、音频处理系统、电子设备以及计算机可读存储介质 |
| CN111916098A (zh) * | 2020-08-13 | 2020-11-10 | 科大讯飞(苏州)科技有限公司 | 语音信号处理方法、装置及设备 |
| CN117863204B (zh) * | 2024-03-12 | 2024-05-31 | 四川华鲲振宇智能科技有限责任公司 | 一种数据采集机器人及数据采集方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI116505B (fi) * | 1998-03-23 | 2005-11-30 | Nokia Corp | Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä |
| CN101390443B (zh) * | 2006-02-21 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 音频编码和解码 |
| KR101396140B1 (ko) * | 2006-09-18 | 2014-05-20 | 코닌클리케 필립스 엔.브이. | 오디오 객체들의 인코딩과 디코딩 |
| CN101222555B (zh) * | 2008-01-25 | 2010-06-02 | 上海华平信息技术股份有限公司 | 改善音频通话质量的系统及方法 |
| CN102739886B (zh) * | 2011-04-01 | 2013-10-16 | 中国科学院声学研究所 | 基于回声频谱估计和语音存在概率的立体声回声抵消方法 |
-
2013
- 2013-02-21 CN CN201310056409.0A patent/CN103152500B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103152500A (zh) | 2013-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103152500B (zh) | 多方通话中回音消除方法 | |
| JP3405512B2 (ja) | 音響エコーキャンセル方法とそのシステム | |
| CN103428385B (zh) | 用于处理音频信号的方法及用于处理音频信号的电路布置 | |
| CN102804747B (zh) | 多通道回波对消器 | |
| JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
| CN108447496B (zh) | 一种基于麦克风阵列的语音增强方法及装置 | |
| EP4224833A2 (en) | Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters | |
| WO2006017993A1 (fr) | Dispositif et procede d'elimination de bruit de fond pour un terminal de communication orale | |
| CN101426058B (zh) | 一种改善多通道音频通话质量的系统及方法 | |
| CN108076239B (zh) | 一种改善ip电话回声的方法 | |
| CN110164464A (zh) | 音频处理方法及终端设备 | |
| CN106448691A (zh) | 一种用于扩音通信系统的语音增强方法 | |
| CN108986832A (zh) | 基于语音出现概率和一致性的双耳语音去混响方法和装置 | |
| CN106161820B (zh) | 一种用于立体声声学回声抵消的通道间去相关方法 | |
| CN105957536B (zh) | 基于通道聚合度频域回声消除方法 | |
| CN108650593B (zh) | 一种用于电话会议的三麦克阵列远场拾音方法 | |
| US10937409B2 (en) | Predictive acoustic echo cancellation | |
| CN104811567A (zh) | 一种对voip系统双向双工免提语音进行声学回声消除的系统和方法 | |
| Adcock et al. | Practical issues in the use of a frequency‐domain delay estimator for microphone‐array applications | |
| JPH09307651A (ja) | 簡易ステレオ伝送方式 | |
| Beracoechea et al. | On building immersive audio applications using robust adaptive beamforming and joint audio-video source localization | |
| TWI517143B (zh) | 可消除雜音且增進語音辨識率之方法 | |
| Chou et al. | Residual Echo Suppression using Spatial Feature for Stereo Acoustic Echo Cancellation | |
| Fukui et al. | Hands-free audio conferencing unit with low-complexity dereverberation | |
| Liu et al. | CNN-Conformer: Conformer in Channel Mapping Based Convolutional Neural Network for Stereophonic Acoustic Echo Cancellation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: HUANG WENMING Free format text: FORMER OWNER: CHINA TRANSLATION + PUBLISHING CORPORATION Effective date: 20150415 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100044 XICHENG, BEIJING TO: 200030 XUHUI, SHANGHAI |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20150415 Address after: 200030 No. 130, Meilong Road, Shanghai, Xuhui District Applicant after: Huang Wenming Address before: 100044, Beijing, Xicheng District car village street, building 4, building 6 Applicant before: China Translation & Publishing Corporation |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150624 Termination date: 20160221 |