CN112562709B - 一种回声消除信号处理方法及介质 - Google Patents
一种回声消除信号处理方法及介质 Download PDFInfo
- Publication number
- CN112562709B CN112562709B CN202011290477.XA CN202011290477A CN112562709B CN 112562709 B CN112562709 B CN 112562709B CN 202011290477 A CN202011290477 A CN 202011290477A CN 112562709 B CN112562709 B CN 112562709B
- Authority
- CN
- China
- Prior art keywords
- signal
- reference signal
- audio interface
- adc
- echo cancellation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012952 Resampling Methods 0.000 claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 10
- 230000008030 elimination Effects 0.000 description 8
- 238000003379 elimination reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000005065 mining Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本发明涉及计算机技术领域,公开了一种回声消除信号处理方法及介质,该方法包括:采集参考信号及近端信号,规划参考信号及近端信号的输入路径;计算参考信号及近端信号,对参考信号及近端信号进行自适应重采样,对参考信号及近端信号进行大于预置点数的FFT变换,使用RLS或MDF自适应滤波器对参考信号进行信道估计,还包括一种执行该方法的计算机存储介质。本发明至少具有以下有益效果:能够缩短近端信号和参考信号的对齐时间并降低抖动,消除回声残留,提高语音交互质量。
Description
技术领域
本发明涉及音频处理技术领域,特别涉及一种回声消除信号处理方法及介质。
背景技术
目前多媒体音箱或者有语音交互的产品中,语音识别已经成为重要的功能。这些应用都需要将获取的近端信号和参考信号做回声消除算法,然后进行编码,传送至云端进行语音语义识别,并在回传语音和操作指令。
如图1所示,图1为现有技术的回声消除原理示意框图,在现有设计中,通常是针对多个端口进行录音,产生单近端信号或多近端信号方案,需要将两个录音线程,或者一个录音线程和一个播放线程进行绑定,将获得的近端信号和参考数据对齐,传送至回声消除算法端,回声消除算法根据近端信号和参考音进行比对消除回声,参考信号的获取是直接从播放线程中获取的。现有设计在多端口录音时,通常采用多线程操作,此时,近端信号和参考数据对齐存在较大抖动,如果近端信号和参考数据对齐效果不好,如有较大延时或延时不稳定,则回声消除效果会变得很差。
现有技术中还存在一种针对缓冲区的音频处理,具体为从参考音频缓冲区队列和近端音频缓冲区音频数据以进行回声消除处理,来获取进行回声消除处理所生成的相对延时值,根据所述相对延时值调整所述声卡延时值,使同步对齐近端和参考数据,以此提高启动过程中的抗抖动能力,但是当抖动时间较长时,现有技术的回声消除效果会变差,因此,近端信号和参考信号需要保证更低的延时和延时更稳定,以此降低抖动的时间,以便更有效的消除回声,使输出音频更加纯净。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种回声消除信号处理方法,能够缩短近端信号和参考信号的对齐时间并降低抖动,消除回声残留,提高语音交互质量。
本发明还提出一种具有上述回声消除信号处理方法的计算机可读存储介质。
根据本发明的第一方面实施例的一种回声消除信号处理方法,包括:采集参考信号及近端信号,规划所述参考信号及所述近端信号的输入路径;对所述参考信号及所述近端信号进行自适应重采样,对所述参考信号及所述近端信号进行大于预置点数的FFT变换,使用RLS或MDF自适应滤波器对所述参考信号进行信道估计。
根据本发明的一些实施例,所述参考信号与所述近端信号通过同一个设备驱动接口获取,包括单线程操作和/或多线程操作。
根据本发明的一些实施例,所述单线程操作包括ADC回采的单输出方式,非ADC回采的单输出方式,ADC回采的多输出方式。
根据本发明的一些实施例,所述ADC回采的单输出方式包括步骤:第一音频接口采集第一近端信号,第二音频接口接收所述ADC采集的第二近端信号与所述参考信号;通过DMA将所述第一近端信号传送至所述第二音频接口的输出端;所述第二音频接口合并所述第一近端信号、所述参考信号以及所述第二近端信号,生成目标信号。
根据本发明的一些实施例,所述非ADC回采的单输出方式包括步骤:第一音频接口接收所述ADC采集的多路所述近端信号,同时,通过第二音频接口的输出端采集所述参考信号;通过DMA将所述参考信号传送至所述第一音频接口的输出端;所述第一音频接口合并所述参考信号以及多路所述近端信号,生成目标信号。
根据本发明的一些实施例,所述ADC回采的多输出方式包括步骤:第一音频接口接收所述ADC采集的多路所述近端信号及第一参考信号,同步的,接收第二参考信号,所述第二参考信号通过播放线程经由所述第一音频接口的输出端采集;所述第一音频接口合并多路所述近端信号、所述第一参考信号以及所述第二参考信号,生成目标信号。
根据本发明的一些实施例,所述多线程操作包括步骤:第一音频接口通过第一录音线程采集所述参考信号,同步的,第二音频接口通过第二录音线程接收所述近端信号,所述参考信号通过播放线程输出至所述第一音频接口的输出端;对所述近端信号及所述参考信号重采样后进行回声消除处理。
根据本发明的一些实施例,所述预置点数为512点。
根据本发明的一些实施例,所述自适应重采样的频率包括8K、16K、32K及48K。
根据本发明的第二方面实施例的一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时能够执行上述任一项所述的回声消除信号处理方法的步骤。
根据本发明实施例的回声消除信号处理方法,至少具有如下有益效果:缩小了参考信号和近端信号之间的延时,进一步降低了回声消除算法的搜索时延,减少了信道估计的收敛时间,由于采用更高的FFT点数,增加了频谱分辨率,提升了后续的时延估计、信道估计以及非线性处理的性能,能够有效消除回声残留,获得更好的消除回音效果。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为现有技术的回声消除原理示意框图;
图2为本发明实施例的回声消除信号处理过程示意框图;
图3为本发明实施例之一中的近端信号和参考信号获取路由示意框图;
图4为本发明实施例之二中的近端信号和参考信号获取路由示意框图;
图5为本发明实施例之三中的近端信号和参考信号获取路由示意框图;
图6为本发明实施例之四中的近端信号和参考信号获取路由示意框图;
图7为本发明实施例之一中的回声消除信号获取步骤流程示意图;
图8为本发明实施例之二中的回声消除信号获取步骤流程示意图;
图9为本发明实施例之三中的回声消除信号获取步骤流程示意图;
图10为本发明实施例之四中的回声消除信号获取步骤流程示意图;
图11为本发明一个实施例中的滤波器算法比较效果示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个及两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
术语解释:
FFT变换:快速傅里叶变化,实现将信号从时域变换为频域进行分析,
RLS算法:递推最小二乘法,是指递归最小二乘自适应滤波器算法,
MDF算法:是The multi-delay block frequency-domain adaptive filter英文全称的缩写,是一种滤波器算法,
ADC:模数转换,实现模拟信号到数字信号的转换,
DMA:是指一种高速的数据传输操作,允许在外部设备和存储器之间直接读写数据。
需要说明的是,近端信号,是指实际采集到的近端的MIC音频信号,实际中,当通过不同端口获取近端信号时,本申请中使用了第一近端信号,第二近端信号以做区分,同样的,参考信号,也叫远端信号,实际中,当通过不同端口获取参考信号时,本申请中使用了第一参考信号,第二参考信号以做区分。
根据本发明的一些实施例,回声消除信号处理方法包括:获取参考信号及近端信号,包括,采集第二音频接口参考信号及第二音频接口近端信号,规划第二音频接口参考信号及第二音频接口近端信号的输入路径;计算第二音频接口参考信号及第二音频接口近端信号,包括,对第二音频接口参考信号及第二音频接口近端信号进行自适应重采样,对第二音频接口参考信号及第二音频接口近端信号进行大于预置点数的FFT变换,使用RLS或MDF自适应滤波器对第二音频接口参考信号进行信道估计,其中,通过大于第二音频接口预置点数的FFT变换,能够使第二音频接口参考信号及第二音频接口近端信号的频谱逼近时域信号。
需要说明的是,通过采用合适的方法获取参考信号和近端近端信号并对参考信号和近端信号规划合理及恰当的路由,能够保证近端信号和参考信号的延时处于稳定范围,减小抖动,而且保证近端信号和参考信号的延时尽可能的小以利于后续的信道估计和噪声消除操作,具体的,通过重采样,并进行更多点数对的FFT变换,能够使频谱的分辨率提高,加上使用具有更好更快收敛速度的RLS滤波器或MDF滤波器,有效减少了信道估计的收敛时间,通过这些运算,能够提升后续的时延估计,信道估计,非线性处理的性能,可以获得更好的消除回音效果。
在本发明的一些实施例中,参照图2,图2示出了本发明实施例的回声消除信号处理过程示意框图,包括单录音线程或者多录音线程,不管是单录音线程还是单录音线程,采集的参考信号与近端信号均通过同一个设备驱动接口获取,设备驱动接口可以为具体的SOC芯片的一个端口,也可以是实际信号处理中的一个缓存器,或是一个线程中包括的一个缓存。
在本发明的一些实施例中,单线程操作包括ADC回采的单输出方式,非ADC回采的单输出方式,ADC回采的多输出方式。
在本发明的一些实施例中,参照图3,图3为本发明一个实施例中的近端信号和参考信号获取路由示意框图,图中实施例为ADC回采的单输出方式,根据图中所示,音频编解码器采集第一近端信号,通过I2S0端口输出第一近端信号后与ADC采集的参考信号和第二近端信号合并后通过I2S0端口输入到录音线程,其中一种情况为,ADC输入的参考信号为智能功放输出的参考信号通过空间传输后的信号,参照图7,图7为本发明一个实施例中的回声消除信号获取步骤流程示意图,对应图3的近端信号和参考信号的获取路由示意图,其中包括步骤:创建录音线程;启动并设置第一音频接口与第二音频接口;第一音频接口采集第一近端信号,第二音频接口接收ADC采集的第二近端信号与参考信号;通过DMA将第一近端信号传送至第二音频接口的输出端;第二音频接口合并第一近端信号、参考信号以及第二近端信号,生成目标信号;对目标信号进行回声消除处理。
在本发明的一些实施例中,参照图4,图4为本发明实施例之二中的近端信号和参考信号获取路由示意框图,图中实施例为非ADC回采的单输出方式,根据图中所示,ADC采集多路近端信号,播放线程输出参考信号到I2S1端口,进一步输出给智能功放输出,其中一部分参考信号通过I2S1端口输出之后再经过I2S1端口的输入口输入,进一步传输给I2S0端口,I2S0端口将参考信号从输出口输出之后与ADC采集的近端信号合并之后再经由I2S0端口的输入口输入,进一步经由录音线程进行下一步的操作,参照图8,图8为本发明另一个实施例中的回声消除信号获取步骤流程示意图,对应图4的近端信号和参考信号的获取路由示意图,其中包括步骤:创建录音线程和播放线程;启动并设置第一音频接口与第二音频接口;第一音频接口接收ADC采集的多路近端信号,同时,通过第二音频接口的输出端采集参考信号;通过DMA将参考信号传送至第一音频接口的输出端;第一音频接口通过合并参考信号以及多路近端信号,生成目标信号;对目标信号重采样后进行回声消除处理。
在本发明的一些实施例中,参照图5,图5为本发明另一个实施例中的近端信号和参考信号获取路由示意框图,图中实施例为非ADC回采的多输出方式,根据图中所示,播放线程输出参考信号到音频编解码器,I2S0端口和HDMI端口,I2S0端口接收参考信号并从其输出口输出后与ADC采集的参考信号和近端信号合并之后从输入口进入I2S0端口通过录音线程进行进一步处理,音频编解码器接收到参考信号输出给智能功放进行输出,HDMI接收到参考信号输出音频信号,其中一种情况为,ADC输入的参考信号为智能功放输出的参考信号通过空间传输后的信号,参照图9,图9为本发明另一个实施例中的回声消除信号获取步骤流程示意图,对应图5的近端信号和参考信号的获取路由示意图,其中包括步骤:创建录音线程和播放线程;启动并设置第一音频接口;第一音频接口接收ADC采集的多路近端信号及第一参考信号,同步的,接收第二参考信号,第二参考信号通过播放线程经由第一音频接口的输出端采集;第一音频接口通过合并多路近端信号、第一参考信号以及第二参考信号,生成目标信号;对目标信号重采样后进行回声消除处理。
在本发明的一些实施例中,参照图6,图6为本发明另一个实施例中的近端信号和参考信号获取路由示意框图,图中实施例为多线程操作,根据图中所示,播放线程输出参考信号到I2S0端口和音频编解码器,其中I2S0端口接收到参考信号后再通过其输入口输入,之后将输入的参考信号合并音频编解码器采集的近端信号合并后通过录音线程进行进一步操作处理,音频编解码器收到参考信号后经过智能功放输出,参照图10,图10为本发明另一个实施例中的回声消除信号获取步骤流程示意图,对应图6的近端信号和参考信号的获取路由示意图,其中包括步骤:创建第一录音线程和第二录音线程及播放线程;启动并设置与第一音频接口;第一音频接口通过第一录音线程采集参考信号,同步的,第二音频接口通过第二录音线程接收近端信号,参考信号通过播放线程输出至第一音频接口的输出端;对近端信号及参考信号重采样后进行回声消除处理。
在本发明的一些实施例中,进行FFT的采样预置点数为512点,具体的,在回声消除算法中,首先需要将时域的脉冲编码调制音频数据,转换成频域,脉冲编码调制的采样率越高,做FFT变换的点数越多,后续做时延估计,信道估计,和非线性处理的效果越好,具体的当采样点数为512点时,根据实验结果,采用512点的FFT变换在经过回声消除算法处理后,回声几乎无残留。
在本发明的一些实施例中,自适应重采样频率包括8K、16K、32K及48K。
在本发明的一些实施例中,还包括一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时能够执行回声消除信号处理方法的步骤。
下面为本申请一个具体的实施例:
参考信号与近端信号在设备驱动端通过设备驱动获取回来,缩短与近端信号的对齐时间,并在应用上一齐传送至回声消除算法输入端,实际使用中,设备依赖现有SOC芯片的音频脉冲编码调制接口,设计输入输出路由通路,在硬件上无需特定复杂设计,具体的,在PCB设计上只需要将脉冲编码调制模块的数据输出端和数据输入端直连就可。在软件驱动端,集成录音线程和播放线程两个模组。根据数字音频接口(DAI)接口能力支持1-8通道,8kHz-48kHz采样率等多格式。远端数据获取方式上提供了多录音线程和单录音线程两种方式。
具体的,参考图3,音频编解码器采集第一近端信号,通过I2S0端口输出第一近端信号后与ADC采集的参考信号和第二近端信号合并后通过I2S0端口输入到录音线程,其中一种情况为,ADC输入的参考信号为智能功放输出的参考信号通过空间传输后的信号。信号在芯片内部传输过程中,使用了DMA,将音频编解码器和ADC合并的参考信号与近端信号进行拼接合并,与之相对应的,播放线程打开并设置I2S1声卡,进行48KHz的重采样后,将数据传入I2S1声卡,并启动DMA传输数据,这样处理相比纯软件处理,能够保证两者的数据实现同步获取,同时使远参考信号与近端信号在同一个缓存当中,优于多线程获取数据的方案。
另一个具体的实施例为,参照图4,ADC采集多路近端信号,播放线程输出参考信号到I2S1端口,进一步输出给智能功放输出,其中一部分参考信号通过I2S1端口输出之后再经过I2S1端口的输入口输入,进一步通过DMA传输给I2S0端口,I2S0端口将参考信号从输出口输出之后与ADC采集的近端信号合并之后再经由I2S0端口的输入口输入,进一步经由录音线程进行下一步的操作,与之相对应的,播放线程打开并设置I2S1声卡,进行48KHz的重采样后,将数据传入I2S1声卡,并启动DMA将参考信号传输到I2S0端口,需要说明的是,这一具体的实施例同样使用了DMA将I2S1回采的参考信号和ADC采集的多路近端信号进行拼接合并,与之相对应的,播放线程打开并设置I2S1声卡,进行48KHz的重采样后,将数据传入I2S1声卡,并启动DMA传输数据,这样操作相比纯软件处理来说,可以依赖硬件来保证两者的数据同步获取,同时使远近端音频在同一个缓存中,优于多线程获取数据的方案,此方案播放和录音需要相同采样率。
另一个具体的实施例为,参照图5,播放线程输出参考信号到音频编解码器,I2S0端口和HDMI端口,I2S0端口接收参考信号并从其输出口输出后与ADC采集的参考信号和近端信号合并之后从输入口进入I2S0端口通过录音线程进行进一步处理,音频编解码器接收到参考信号输出给智能功放进行输出,HDMI接收到参考信号输出音频信号,其中一种情况为,ADC输入的参考信号为智能功放输出的参考信号通过空间传输后的信号,与之相对应的,播放线程打开并设置I2S0端口和音频编解码器与HDMI声卡,进行48KHz的重采样后,将数据传入I2S0端口和音频编解码器与HDMI,同步写数据并启动DMA传输数据。这一具体实施例增加了HDMI输出信号,使用一个录音线程即可获得参考信号和近端信号,借用一个I2S接口将音频编解码器和ADC合并的参考信号与近端信号进行拼接合并。在多输出设备上,保证了接口兼容,同时又降低了远近端信号延时时间,同时可在多个设备输出,设备间能够实现较为灵活的切换,且数据获取的内部切换对应用层透明,相比纯软件获取参考信号来说,可以保证两者的数据同步获取,同时使远近端音频在同一个缓存中,基于该实施例中,一个具体的流程步骤为:创建播放线程和录音线程;启动播放线程;打开相应的输出声卡设备并设置对应的参数,等待经过解码器解码并重采样之后的目标数据输入;当有多个设备操作时可以通过驱动来同步数据;在播放数据没有完成写入操作时,录音线程处于睡眠状态。启动录音线程,打开相应的输入声卡设备并设置对应的参数,并等待设备数据输出。在线程没有读满缓存数据时,线程处于睡眠状态;当有多个设备操作时,可通过驱动实现数据同步。当缓存数据完成复制之后,录音线程被唤醒,调用回声消除算法进行处理。当用户暂停播放时,停止输出数据,关闭声卡设备,关闭解码器,释放相关资源。当用户主动关闭后台语音识别或者停止录音时,停止输入数据,关闭声卡设备,此时将完全停止录音和语音识别,释放相关资源。
另一个具体的实施例为,参照图6,播放线程输出参考信号到I2S0端口和音频编解码器,其中I2S0端口接收到参考信号后再通过其输入口输入,之后将输入的参考信号合并音频编解码器采集的近端信号合并后通过录音线程进行进一步操作处理,音频编解码器收到参考信号后经过智能功放输出,与之对应的,播放线程打开并设置I2S0端口和音频编解码器,进行48KHz的重采样后,将数据传入I2S0端口和音频编解码器,同步写数据并启动DMA传输数据。该实施例中,使用I2S0端口来使参考信号与近端信号达到同步获取,使用一个录音线程获取近端音频信号,使用另外一个录音线程获得参考信号,此操作过程相比通过纯软件获取参考信号来说,可以使两者的数据信号延时更低。
上面示例的具体的几个实施例,通过优化音频路由设计,根据不同的实时方法,能够使参考信号和近端信号均从驱动获取而来,缩小了参考信号和近端信号的延时,经过实验对比,将近端信号和参考音首帧延迟可以最多减少并稳定至5ms,这一结果能够降低算法本身的搜索时延,为各个噪声消除算法的参考信号和近端信号的延时的检测能力实现了优化,保证了大部分噪声消除算法可在参考信号和近端信号检测时延内,获得语音回声信号,从而能够对齐并消除回声。
一个计算参考信号及近端信号方法的具体的实施例为:增加重采样的自适应模块,包括8k,16k,32k和48k,这些采样速率可以支持现在终端的大部分的采样率,提高通用性。对噪声消除模块收敛速度进行优化,将LMS算法替换成RLS,能够有效减少信道估计的收敛时间,在具体实验中,使用LMS的噪声消除算法,在噪声消除模块刚工作的时候,明显可以听到回声,一段时间后,滤波器收敛,噪声消除模块才开始起作用,而采用RLS的噪声消除算法,由于RLS滤波器能够实现快速收敛,RLS收敛速度比LMS收敛速度减少一半,采用RLS滤波器,能够使噪声消除模块快速消除回声。参照图11,图11为本发明一个实施例中的滤波器算法比较效果示意图,图中,横坐标为迭代次数,从图中可以看除,RLS算法滤波器比LMS算法滤波器能更快的收敛。
从时域到频域转换过程中,增加FFT点数,能够增加频谱分辨率,提升后续的时延估计以及信道估计,有效提升非线性处理的性能,进而更好的消除回声残留,获得更好的消除回音效果。具体的,回声消除算法,首先需要将时域的经过脉冲编码调制的音频数据转换到频域,脉冲编码调制的采样率越高,做FFT变换的点数越多,后续做时延估计,信道估计以及非线性处理的效果越好。本实施例采用512点的FFT,需要说明的是,使用10ms的语音,当选择做128点FFT,经过回声消除算法计算之后,还有尾音残留,消音并不彻底,而当使用512点的FFT时,经过回声消除算法计算之后,回声几乎无残留,消除回音效果非常好。
通过本发明的实施例,降低了参考信号和近端信号的延时,在第一个1024帧(常用的参数值)的缓存内即存在回声信号,同时能够保证参考信号和近端信号的延时稳定,降低了回声消除数据同步的检测要求和时间,提升了处理效果,同时实施例的基础部分的操作还兼顾了本领域常见方案的软件操作方法,降低了移植工作量。
尽管本文描述了具体实施方案,但是本领域中的普通技术人员将认识到,许多其它修改或另选的实施方案同样处于本公开的范围内。例如,结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外,虽然已根据本公开的实施方案描述了各种例示性具体实施和架构,但是本领域中的普通技术人员将认识到,对本文的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解,框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样,根据一些实施方案,框图和流程图中的一些块可能无需按示出的顺序执行,或者可以无需全部执行。另外,超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此,框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解,框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
本文所述的程序模块、应用程序等可包括一个或多个软件组件,包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令,所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如,本文所述的例示性方法的一种或多种操作)被执行。
软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言,诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言,其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中,包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行,而无需首先转换成另一种形式。
软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如,预设的或固定的)或动态的(例如,在执行时创建或修改的)。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所属技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.一种回声消除信号处理方法,其特征在于,包括:
采集参考信号及近端信号,规划所述参考信号及所述近端信号的输入路径;
对所述参考信号及所述近端信号进行自适应重采样,对所述参考信号及所述近端信号进行大于预置点数的FFT变换,使用RLS或MDF自适应滤波器对所述参考信号进行信道估计;
所述参考信号与所述近端信号通过同一个设备驱动接口获取,包括单线程操作和/或多线程操作;
所述单线程操作包括ADC回采的单输出方式,非ADC回采的单输出方式,ADC回采的多输出方式;
所述非ADC回采的单输出方式包括以下步骤:
第一音频接口接收所述ADC采集的多路所述近端信号,同时,通过第二音频接口的输出端采集所述参考信号;
通过DMA将所述参考信号传送至所述第一音频接口的输出端;
所述第一音频接口合并所述参考信号以及多路所述近端信号,生成目标信号。
2.根据权利要求1所述的回声消除信号处理方法,其特征在于,所述ADC回采的单输出方式包括以下步骤:
第一音频接口采集第一近端信号,第二音频接口接收所述ADC采集的第二近端信号与所述参考信号;
通过DMA将所述第一近端信号传送至所述第二音频接口的输出端;
所述第二音频接口合并所述第一近端信号、所述参考信号以及所述第二近端信号,生成目标信号。
3.根据权利要求1所述的回声消除信号处理方法,其特征在于,所述ADC回采的多输出方式包括以下步骤:
第一音频接口接收所述ADC采集的多路所述近端信号及第一参考信号,同步的,接收第二参考信号,所述第二参考信号通过播放线程经由所述第一音频接口的输出端采集;
所述第一音频接口合并多路所述近端信号、所述第一参考信号以及所述第二参考信号,生成目标信号。
4.根据权利要求1所述的回声消除信号处理方法,其特征在于,所述多线程操作包括以下步骤:
第一音频接口通过第一录音线程采集所述参考信号,同步的,第二音频接口通过第二录音线程接收所述近端信号,所述参考信号通过播放线程输出至所述第一音频接口的输出端;
对所述近端信号及所述参考信号重采样后进行回声消除处理。
5.根据权利要求1所述的回声消除信号处理方法,其特征在于,所述预置点数为512点。
6.根据权利要求1所述的回声消除信号处理方法,其特征在于,所述自适应重采样的频率包括8KHz、16KHz、32KHz及48KHz。
7.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至6中任一项的所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011290477.XA CN112562709B (zh) | 2020-11-18 | 2020-11-18 | 一种回声消除信号处理方法及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011290477.XA CN112562709B (zh) | 2020-11-18 | 2020-11-18 | 一种回声消除信号处理方法及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112562709A CN112562709A (zh) | 2021-03-26 |
CN112562709B true CN112562709B (zh) | 2024-04-19 |
Family
ID=75044283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011290477.XA Active CN112562709B (zh) | 2020-11-18 | 2020-11-18 | 一种回声消除信号处理方法及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112562709B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409808B (zh) * | 2021-06-18 | 2024-05-03 | 上海盈方微电子有限公司 | 一种回声消除时延估算方法及回声消除方法 |
CN113823306B (zh) * | 2021-08-17 | 2024-02-02 | 北京佳讯飞鸿电气股份有限公司 | 语音的回声消除方法、装置、设备及存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003284184A (ja) * | 2002-03-25 | 2003-10-03 | Sony Corp | エコーキャンセラ及びエコーキャンセリング方法 |
CN101272161A (zh) * | 2008-04-30 | 2008-09-24 | 中山大学 | 一种自适应回声消除的方法 |
CN203057371U (zh) * | 2012-11-08 | 2013-07-10 | 康佳集团股份有限公司 | 一种具有回声消除功能的摄像头装置及电视机 |
CN103475980A (zh) * | 2013-07-19 | 2013-12-25 | 杭州联汇数字科技有限公司 | 一种自适应声反馈消除方法 |
CN103688522A (zh) * | 2011-05-18 | 2014-03-26 | 谷歌公司 | 时钟漂移补偿方法和装置 |
US9286883B1 (en) * | 2013-09-26 | 2016-03-15 | Amazon Technologies, Inc. | Acoustic echo cancellation and automatic speech recognition with random noise |
CN106782589A (zh) * | 2016-12-12 | 2017-05-31 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及其语音输入方法和装置 |
CN107610713A (zh) * | 2017-10-23 | 2018-01-19 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
CN108076239A (zh) * | 2016-11-14 | 2018-05-25 | 深圳联友科技有限公司 | 一种改善ip电话回声的方法 |
US10013995B1 (en) * | 2017-05-10 | 2018-07-03 | Cirrus Logic, Inc. | Combined reference signal for acoustic echo cancellation |
WO2020097828A1 (zh) * | 2018-11-14 | 2020-05-22 | 深圳市欢太科技有限公司 | 回声消除方法、延时估计方法、装置、存储介质及设备 |
CN111883158A (zh) * | 2020-07-30 | 2020-11-03 | 广州小鹏车联网科技有限公司 | 一种回声消除方法和装置 |
CN111885275A (zh) * | 2020-07-23 | 2020-11-03 | 海尔优家智能科技(北京)有限公司 | 语音信号的回声消除方法、装置、存储介质以及电子装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130066638A1 (en) * | 2011-09-09 | 2013-03-14 | Qnx Software Systems Limited | Echo Cancelling-Codec |
US10204622B2 (en) * | 2015-09-10 | 2019-02-12 | Crestron Electronics, Inc. | Acoustic sensory network |
-
2020
- 2020-11-18 CN CN202011290477.XA patent/CN112562709B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003284184A (ja) * | 2002-03-25 | 2003-10-03 | Sony Corp | エコーキャンセラ及びエコーキャンセリング方法 |
CN101272161A (zh) * | 2008-04-30 | 2008-09-24 | 中山大学 | 一种自适应回声消除的方法 |
CN103688522A (zh) * | 2011-05-18 | 2014-03-26 | 谷歌公司 | 时钟漂移补偿方法和装置 |
CN203057371U (zh) * | 2012-11-08 | 2013-07-10 | 康佳集团股份有限公司 | 一种具有回声消除功能的摄像头装置及电视机 |
CN103475980A (zh) * | 2013-07-19 | 2013-12-25 | 杭州联汇数字科技有限公司 | 一种自适应声反馈消除方法 |
US9286883B1 (en) * | 2013-09-26 | 2016-03-15 | Amazon Technologies, Inc. | Acoustic echo cancellation and automatic speech recognition with random noise |
CN108076239A (zh) * | 2016-11-14 | 2018-05-25 | 深圳联友科技有限公司 | 一种改善ip电话回声的方法 |
CN106782589A (zh) * | 2016-12-12 | 2017-05-31 | 奇酷互联网络科技(深圳)有限公司 | 移动终端及其语音输入方法和装置 |
US10013995B1 (en) * | 2017-05-10 | 2018-07-03 | Cirrus Logic, Inc. | Combined reference signal for acoustic echo cancellation |
CN107610713A (zh) * | 2017-10-23 | 2018-01-19 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
WO2020097828A1 (zh) * | 2018-11-14 | 2020-05-22 | 深圳市欢太科技有限公司 | 回声消除方法、延时估计方法、装置、存储介质及设备 |
CN111885275A (zh) * | 2020-07-23 | 2020-11-03 | 海尔优家智能科技(北京)有限公司 | 语音信号的回声消除方法、装置、存储介质以及电子装置 |
CN111883158A (zh) * | 2020-07-30 | 2020-11-03 | 广州小鹏车联网科技有限公司 | 一种回声消除方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112562709A (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112562709B (zh) | 一种回声消除信号处理方法及介质 | |
CN113539283B (zh) | 基于人工智能的音频处理方法、装置、电子设备及存储介质 | |
US11502859B2 (en) | Method and apparatus for waking up via speech | |
US9666190B2 (en) | Speech recognition using loosely coupled components | |
CN109240107B (zh) | 一种电器设备的控制方法、装置、电器设备和介质 | |
US20190355354A1 (en) | Method, apparatus and system for speech interaction | |
KR102193629B1 (ko) | 호출 구문 검출에서 노이즈 감소 기술의 선택적 적응 및 활용 | |
CN105723451A (zh) | 从低功率始终侦听模式到高功率语音识别模式的转换 | |
JP7209674B2 (ja) | 音声認識方法、音声認識装置、電子機器、コンピュータ可読記憶媒体及びプログラム | |
US10529331B2 (en) | Suppressing key phrase detection in generated audio using self-trigger detector | |
US9832299B2 (en) | Background noise reduction in voice communication | |
US20220301552A1 (en) | Method of performing voice wake-up in multiple speech zones, method of performing speech recognition in multiple speech zones, device, and storage medium | |
TWI581255B (zh) | 前端音頻處理系統 | |
US20120294453A1 (en) | Method and apparatus for reducing noise pumping due to noise suppression and echo control interaction | |
US10770094B2 (en) | Routing audio streams based on semantically generated result sets | |
WO2023124984A1 (zh) | 生成语音增强模型的方法和设备以及语音增强方法和设备 | |
CN109473111B (zh) | 一种语音赋能装置及方法 | |
KR20240108451A (ko) | 순환 신경망을 사용하는 통합 음향 에코 억제 기술 | |
CN112614502B (zh) | 基于双lstm神经网络的回声消除方法 | |
JP2019139146A (ja) | 音声認識システム、及び、音声認識方法 | |
US11516582B1 (en) | Splitting frequency-domain processing between multiple DSP cores | |
EP4138406B1 (en) | Noise cancellation method for audio signal, audio signal processing apparatus, and electronic device | |
US20240085935A1 (en) | Neuralecho: a self-attentive recurrent neural network for unified acoustic echo suppression, speaker aware speech enhancement and automatic gain control | |
US20230298612A1 (en) | Microphone Array Configuration Invariant, Streaming, Multichannel Neural Enhancement Frontend for Automatic Speech Recognition | |
KR101340589B1 (ko) | 오디오 신호 처리 장치 및 방법, 통신 단말 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |