CN111341338A - 消除回声的方法、装置和计算机设备 - Google Patents
消除回声的方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111341338A CN111341338A CN202010422900.0A CN202010422900A CN111341338A CN 111341338 A CN111341338 A CN 111341338A CN 202010422900 A CN202010422900 A CN 202010422900A CN 111341338 A CN111341338 A CN 111341338A
- Authority
- CN
- China
- Prior art keywords
- signal
- echo
- impulse response
- response function
- channel impulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005316 response function Methods 0.000 claims abstract description 99
- 238000003379 elimination reaction Methods 0.000 claims abstract description 17
- 230000008030 elimination Effects 0.000 claims abstract description 14
- 230000005284 excitation Effects 0.000 claims description 62
- 239000000872 buffer Substances 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000005314 correlation function Methods 0.000 claims description 8
- 230000021615 conjugation Effects 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000005341 toughened glass Substances 0.000 description 2
- 239000003814 drug Substances 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请揭示了消除回声的方法,包括:获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;将指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;根据卷积结果,利用自适应滤波器对指定麦克风的采集信号进行回声消除。在消除回声前,先做回声通道辨识得到估计的回声通道冲激响应函数,然后利用该回声通道冲激响应函数来调整参考信号,增强了回声消除算法对混响环境的适应性,而且由于先利用了回声通道冲激响应函数粗调参考信号,自适应滤波器的阶数可依据粗调后的参考信号,设置得尽量小,可加速回声消除过程中的收敛速度。
Description
技术领域
本申请涉及到声学设备领域,特别是涉及到消除回声的方法、装置和计算机设备。
背景技术
同时具有播放、采集功能的声学设备日益广泛,例如智能音箱,语音交互机器人等。但是上述声学设备易采集到自身播放的声音信号形成回声,污染目标信号。现有采用固定阶数的自适应滤波器,通过回声消除算法去除掉自身播放的声音信号。但较大的固定阶数的设置对不同混响环境的适应性很差,不能满足在各种混响环境中都能表现出良好的回声消除效果的要求。
发明内容
本申请的主要目的为提供消除回声的方法,旨在解决现有不能满足在各种混响环境中都能表现出良好的回声消除效果的技术问题。
本申请提出一种消除回声的方法,包括:
获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;
将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;
根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
优选地,所述获取指定麦克风的采集信号,以及指定喇叭对应的参考信号的步骤之前,包括:
控制所述指定喇叭播放激励信号;
获取所述指定麦克风接收所述激励信号形成的录音信号;
根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数。
优选地,所述激励信号包括指数扫频信号,所述根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数的步骤,包括:
对所述激励信号和所述录音信号进行快速傅里叶变换,分别对应得到第一频域信号和第二频域信号;
优选地,所述激励信号包括最大长度序列信号,所述根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数的步骤,包括:
优选地,所述得到所述回声通道冲激响应函数的步骤之后,包括:
获取预先设定的修正阈值;
删除所述回声通道冲激响应函数中稳定于指定范围后,小于或等于所述修正阈值的部分,得到修正后的回声通道冲激响应函数;
将所述修正后的回声通道冲激响应函数,作为所述预测得的回声通道冲激响应函数。
优选地,所述将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果的步骤,包括:
优选地,所述自适应滤波器选用频域NLMS,所述根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除的步骤,包括:
本申请还提供了一种消除回声的装置,包括:
第一获取模块,用于获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;
运算模块,用于将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;
消除模块,用于根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
本申请在消除回声前,先做回声通道辨识得到估计的回声通道冲激响应函数,然后利用该回声通道冲激响应函数来调整参考信号,增强了回声消除算法对混响环境的适应性,而且由于先利用了回声通道冲激响应函数粗调参考信号,自适应滤波器的阶数可依据粗调后的参考信号,设置得尽量小,可加速回声消除过程中的收敛速度,减少收敛过程中对目标信号的污染。
附图说明
图1 本申请一实施例的消除回声的方法流程示意图;
图2 本申请一实施例的麦克风阵列中各预设波束方向分布结构示意图;
图3 本申请一实施例的唤醒装置结构示意图;
图4 本申请一实施例的计算机设备内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,本申请一实施例的消除回声的方法,包括:
S1:获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;
S2:将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;
S3:根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
本申请的声学设备自带播放激励信号的喇叭,经过声学设备所处房间空间的冲激响应后,再被该声学设备上的麦克风接收。测试环境下通过播放的激励信号、麦克风接收到激励信号形成的对应录音信号,可进行回声通道辨识,修正参考信号并进行回声消除。上述环境的混响通过回声通道冲激响应函数表示,通过回声通道冲激响应函数与喇叭播放的参考信号进行卷积运算,实时修正参考信号,并通过自适应滤波算法,从麦克风采集的采集信号中消除掉修正后的参考信号,实现回声消除。上述卷积结果即为修正后的参考信号。本申请在消除回声前,先做回声通道辨识得到估计的回声通道冲激响应函数,然后利用该回声通道冲激响应函数来调整参考信号,增强了回声消除算法对混响环境的适应性,而且由于先利用了回声通道冲激响应函数粗调参考信号,自适应滤波器的阶数可依据粗调后的参考信号,设置尽量小的阶数,可加速回声消除过程中的收敛速度,减少收敛过程中对目标信号的污染。
进一步地,所述获取指定麦克风的采集信号,以及指定喇叭对应的参考信号的步骤S1之前,包括:
S11:控制所述指定喇叭播放激励信号;
S12:获取所述指定麦克风接收所述激励信号形成的录音信号;
S13:根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数。
本申请的声学设备中麦克风个数不限,可以是单麦设备,也可以是多麦设备,以声学设备的喇叭的数量为一个,详细说明进行回声通道辨识,得到回声通道冲激响应函数的过程。上述回声通道为“喇叭房间空间麦克风”的通道,多个麦克风则存在多个通道,每个通道的回声消除过程是独立的,互不干扰。本申请在不超过最大声压级且不对用户产生太大不适感的情况下,喇叭播放激励信号的音量可以尽量大一些,降低测试误差,提高测试精准度。且在多麦产品中,对激励信号录音的麦克风应该选择用于回声消除的麦克风。本申请其他实施例中,声学设备存在多个喇叭,则根据指定喇叭对应的参考信号进行针对性的修正,即多个喇叭不能同时发出激励信号,以免相互干扰,每个喇叭有其对应的参考信号,通过间隔时间控制其中一个指定喇叭发出参考信号,并根据指定麦克风接收到该指定喇叭发出参考信号的录音信号,形成“指定喇叭房间空间指定麦克风”的通道中的回声通道冲激响应函数。有几个指定喇叭则存在与指定喇叭数量相同的回声通道冲激响应函数,并根据各回声通道冲激响应函数分别与其相对应的参考信号进行卷积计算。
进一步地,所述激励信号包括指数扫频信号,所述根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数的步骤S13,包括:
S131:对所述激励信号和所述录音信号进行快速傅里叶变换,分别对应得到第一频域信号和第二频域信号;
本申请实施例中,指定喇叭播放的激励信号为指数扫频信号,指数扫频信号的频率随时间增加而呈指数增长。具有适度背景噪声的情况下,指数扫频信号持续时间为最大混响时间的两倍,同时激励信号结束后,记录响应信号的安静测量时间,应等于期望的最大混响时间。上述最大混响时间可以根据该设备的一般使用场景,利用赛宾公式或者伊林公式来估计,不赘述。本申请实施例中回声通道冲激响应函数,,T为回声通道冲激响应的信号长度。
进一步地,所述激励信号包括最大长度序列信号,所述根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数的步骤S13,包括:
本申请实施例中,激励信号为最大长度序列信号,该信号只有两种数值,例如16bit的数据类型,两种数值是和,并以为采样频率,每次在这两个数值中随机取值。最大长度序列信号的信号长度,同样可以根据估计的最大混响时间来设置。对激励信号s和麦克风接收信号x0求互相关函数,即可得到回声通道冲激响应函数。本申请对于最大长度序列信号类型的激励信号,通过求互相关函数,得到回声通道冲激响应函数,可在大幅减少计算量的同时,提升回声消除效果。本申请其他实施例中,对于最大长度序列信号类型的激励信号,也可采用上述指数扫频信号对应的处理过程,形成回声通道冲激响应函数,但计算量较大。
进一步地,所述得到所述回声通道冲激响应函数的步骤S133或S134之后,包括:
S1301:获取预先设定的修正阈值;
S1302:删除所述回声通道冲激响应函数中稳定于指定范围后,小于或等于所述修正阈值的部分,得到修正后的回声通道冲激响应函数;
S1303:将所述修正后的回声通道冲激响应函数,作为所述预测得的回声通道冲激响应函数。
本申请中,通过对回声通道冲激响应函数,进行数据修正,删除对卷积效果影响甚微,但较大程度影响计算进程的部分数据,以进行删除修正,降低卷积计算量。上述修正阈值为综合多次实验数据得到的经验值,对卷积结果的影响误差在5%以内的函数值进行修正,上述函数值稳定于一定范围内后,跟随震荡衰减逐渐变小,通过删除衰减后接近零的部分数据,减少卷积计算量。本申请修正后的回声通道冲激响应函数的图像如图2所示。
进一步地,所述将所述指定喇叭对应的参考信号,与预测得的回声通道冲激响应函数进行卷积运算,得到卷积结果的步骤S2,包括:
本申请的参考信号为指定喇叭在一定时长内持续播放的信号,为获取实时的参考信号,本申请通过缓存器缓存上一时刻的参考信号,并逐步更新到当前时刻对应的参考信号。一帧参考信号输进来,则逐点存入缓存器中,记为,即。然后通过实时参考信号与回声通道冲激响应函数进行卷积运算,得到卷积结果。
进一步地,所述自适应滤波器选用频域NLMS,所述根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除的步骤S3,包括:
本申请的利用自适应滤波器进行回声消除时,可以在时域中进行也可在频域中进行。本申请以频域NLMS来做回声消除为例,具体说明消除回声的过程。本申请其他实施例中可选用LMS或者RLS等进行回声消除。本申请消除回声时,自适应滤波器的阶数可根据预先测量到的回声通道函数,设置较小的阶数,比如阶数可设定为个位数,以加速回声消除过程的收敛速度,最大幅度减少对目标信号的污染。本申请的回声消除,适用于相对固定安放的声学设备且混响环境不固定的情况。比如在铺设地毯及墙布的卧室中,混响较小;在布置四面钢化玻璃的会议室中,混响较大,通过首先进行回声通道的辨识,得到回声通道的回声通道冲激响应函数,进而通过赋值的参考信号缓存器与回声通道冲激响应函数的进行卷积计算,以适应多种混响的环境,增强声学设备对混响环境的适应性。本申请的消除回声的过程为线性消除过程,为进一步提高消除回声的效果,本申请增加了非线性的后处理过程,以进一步消除通过NLMS、LMS或者RLS等进行回声消除后残留的回声残余。以维纳滤波器消除回声残余为例:,表示消除回声残余后的目标信号。上述消除回声的过程在频域中进行,若需要转换成时域信号,则通过对做逆傅里叶变换,得到回声消除后的目标信号的时域信号。本申请其他实施例中,回声消除也可直接在时域中进行,过程相类似,不赘述。
参照图3,本申请一实施例的消除回声的装置,包括:
第一获取模块1,用于获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;
运算模块2,用于将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;
消除模块3,用于根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
本申请的声学设备自带播放激励信号的喇叭,经过声学设备所处房间空间的冲激响应后,再被该声学设备上的麦克风接收。测试环境下通过播放的激励信号、麦克风接收到激励信号形成的对应录音信号,可进行回声通道辨识,修正参考信号并进行回声消除。上述环境的混响通过回声通道冲激响应函数表示,通过回声通道冲激响应函数与喇叭播放的参考信号进行卷积运算,实时修正参考信号,并通过自适应滤波算法,从麦克风采集的采集信号中消除掉修正后的参考信号,实现回声消除。上述卷积结果即为修正后的参考信号。本申请在消除回声前,先做回声通道辨识得到估计的回声通道冲激响应函数,然后利用该回声通道冲激响应函数来调整参考信号,增强了回声消除算法对混响环境的适应性,而且由于先利用了回声通道冲激响应函数粗调参考信号,自适应滤波器的阶数可依据粗调后的参考信号,设置尽量小的阶数,可加速回声消除过程中的收敛速度,减少收敛过程中对目标信号的污染。
进一步地,消除回声的装置包括:
控制模块,用于控制所述指定喇叭播放激励信号;
第二获取模块,用于获取所述指定麦克风接收所述激励信号形成的录音信号;
得到模块,用于根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数。
本申请的声学设备中麦克风个数不限,可以是单麦设备,也可以是多麦设备,以声学设备的喇叭的数量为一个,进行详细说明进行回声通道辨识,得到回声通道冲激响应函数的过程。上述回声通道为“喇叭房间空间麦克风”的通道,多个麦克风则存在多个通道,每个通道的回声消除过程是独立的,互不干扰。本申请在不超过最大声压级且不对用户产生太大不适感的情况下,喇叭播放激励信号的音量可以尽量大一些,降低测试误差,提高测试精准度。且在多麦产品中,对激励信号录音的麦克风应该选择用于回声消除的麦克风。本申请其他实施例中,声学设备存在多个喇叭,则根据指定喇叭对应的参考信号进行针对性的修正,即多个喇叭不能同时发出激励信号,以免相互干扰,每个喇叭有其对应的参考信号,通过间隔时间控制其中一个指定喇叭发出参考信号,并根据指定麦克风接收到该指定喇叭发出参考信号的录音信号,形成“指定喇叭房间空间指定麦克风”的通道中的回声通道冲激响应函数。有几个指定喇叭则存在与指定喇叭数量相同的回声通道冲激响应函数,并根据各回声通道冲激响应函数分别与其相对应的参考信号进行卷积计算。
进一步地,所述激励信号包括指数扫频信号,得到模块,包括:
第一计算单元,用于对所述激励信号和所述录音信号进行快速傅里叶变换,分别对应得到第一频域信号和第二频域信号;
本申请实施例中,指定喇叭播放的激励信号为指数扫频信号,指数扫频信号的频率随时间增加而呈指数增长。具有适度背景噪声的情况下,指数扫频信号持续时间为最大混响时间的两倍,同时激励信号结束后,记录响应信号的安静测量时间,应等于期望的最大混响时间。上述最大混响时间可以根据该设备的一般使用场景,利用赛宾公式或者伊林公式来估计,不赘述。本申请实施例中回声通道冲激响应函数,,T为回声通道冲激响应的信号长度。
进一步地,所述激励信号包括最大长度序列信号,得到模块,包括:
本申请实施例中,激励信号为最大长度序列信号,该信号只有两种数值,例如16bit的数据类型,两种数值是和,并以为采样频率,每次在这两个数值中随机取值。最大长度序列信号的信号长度,同样可以根据估计的最大混响时间来设置。对激励信号s和麦克风接收信号x0求互相关函数,即可得到回声通道冲激响应函数。本申请对于最大长度序列信号类型的激励信号,通过求互相关函数,得到回声通道冲激响应函数,可在大幅减少计算量的同时,提升回声消除效果。本申请其他实施例中,对于最大长度序列信号类型的激励信号,也可采用上述指数扫频信号对应的处理过程,形成回声通道冲激响应函数,但计算量较大。
进一步地,得到模块,包括:
第一获取单元,用于获取预先设定的修正阈值;
删除单元,用于删除所述回声通道冲激响应函数中稳定于指定范围后,小于或等于所述修正阈值的部分,得到修正后的回声通道冲激响应函数;
作为单元,用于将所述修正后的回声通道冲激响应函数,作为所述预测得的回声通道冲激响应函数。
本申请中,通过对回声通道冲激响应函数,进行数据修正,删除对卷积效果影响甚微,但较大程度影响计算进程的部分数据,以进行删除修正,降低卷积计算量。上述修正阈值为综合多次实验数据得到的经验值,对卷积结果的影响误差在5%以内的函数值进行修正,上述函数值稳定于一定范围内后,跟随震荡衰减逐渐变小,通过删除衰减后接近零的部分数据,减少卷积计算量。本申请修正后的回声通道冲激响应函数的图像如图2所示。
进一步地,运算模块2,包括:
本申请的参考信号为指定喇叭在一定时长内持续播放的信号,为获取实时的参考信号,本申请通过缓存器缓存上一时刻的参考信号,并逐步更新到当前时刻对应的参考信号。一帧参考信号输进来,则逐点存入缓存器中,记为,即。然后通过实时参考信号与回声通道冲激响应函数进行卷积运算,得到卷积结果。
进一步地,消除模块3,包括:
消除单元,用于根据对所述指定麦克风的采集信号进行回声消除,其中,为所述指定麦克风的采集信号进行回声消除后的信号,是的历史缓存值,,ORD是频域NLMS的阶数,为滤波器系数,,是步长调节因子,表示求共轭。
本申请的利用自适应滤波器进行回声消除时,可以在时域中进行也可在频域中进行。本申请以频域NLMS来做回声消除为例,具体说明消除回声的过程。本申请其他实施例中可选用LMS或者RLS等进行回声消除。本申请消除回声时,自适应滤波器的阶数可根据预先测量到的回声通道函数,设置较小的阶数,比如阶数可设定为个位数,以加速回声消除过程的收敛速度,最大幅度减少对目标信号的污染。本申请的回声消除,适用于相对固定安放的声学设备且混响环境不固定的情况。比如在铺设地毯及墙布的卧室中,混响较小;在布置四面钢化玻璃的会议室中,混响较大,通过首先进行回声通道的辨识,得到回声通道的回声通道冲激响应函数,进而通过赋值的参考信号缓存器与回声通道冲激响应函数的进行卷积计算,以适应多种混响的环境,增强声学设备对混响环境的适应性。本申请的消除回声的过程为线性消除过程,为进一步提高消除回声的效果,本申请增加了非线性的后处理过程,以进一步消除通过NLMS、LMS或者RLS等进行回声消除后残留的回声残余。以维纳滤波器消除回声残余为例:,表示消除回声残余后的目标信号。上述消除回声的过程在频域中进行,若需要转换成时域信号,则通过对做逆傅里叶变换,得到回声消除后的目标信号的时域信号。本申请其他实施例中,回声消除也可直接在时域中进行,过程相类似,不赘述。
参照图4,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储消除回音过程需要的所有数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现消除回声的方法。
上述处理器执行上述消除回声的方法,包括:获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
上述计算机设备,在消除回声前,先做回声通道辨识得到估计的回声通道冲激响应函数,然后利用该回声通道冲激响应函数来调整参考信号,增强了回声消除算法对混响环境的适应性,而且由于先利用了回声通道冲激响应函数粗调参考信号,自适应滤波器的阶数可依据粗调后的参考信号,设置得尽量小,可加速回声消除过程中的收敛速度,减少收敛过程中对目标信号的污染。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现消除回声的方法,包括:获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
上述计算机可读存储介质,在消除回声前,先做回声通道辨识得到估计的回声通道冲激响应函数,然后利用该回声通道冲激响应函数来调整参考信号,增强了回声消除算法对混响环境的适应性,而且由于先利用了回声通道冲激响应函数粗调参考信号,自适应滤波器的阶数可依据粗调后的参考信号,设置得尽量小,可加速回声消除过程中的收敛速度,减少收敛过程中对目标信号的污染。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种消除回声的方法,其特征在于,包括:
获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;
将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;
根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
2.根据权利要求1所述的消除回声的方法,其特征在于,所述获取指定麦克风的采集信号,以及指定喇叭对应的参考信号的步骤之前,包括:
控制所述指定喇叭播放激励信号;
获取所述指定麦克风接收所述激励信号形成的录音信号;
根据所述激励信号和所述录音信号,得到所述回声通道冲激响应函数。
5.根据权利要求3或4所述的消除回声的方法,其特征在于,所述得到所述回声通道冲激响应函数的步骤之后,包括:
获取预先设定的修正阈值;
删除所述回声通道冲激响应函数中稳定于指定范围后,小于或等于所述修正阈值的部分,得到修正后的回声通道冲激响应函数;
将所述修正后的回声通道冲激响应函数,作为所述预先测量的回声通道冲激响应函数。
8.一种消除回声的装置,其特征在于,包括:
第一获取模块,用于获取指定麦克风的采集信号,以及指定喇叭对应的参考信号;
运算模块,用于将所述指定喇叭对应的参考信号,与预先测量的回声通道冲激响应函数进行卷积运算,得到卷积结果,其中,所述回声通道包括指定喇叭经过空间区域到达指定麦克风的通道;
消除模块,用于根据所述卷积结果,利用自适应滤波器对所述指定麦克风的采集信号进行回声消除。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010422900.0A CN111341338B (zh) | 2020-05-19 | 2020-05-19 | 消除回声的方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010422900.0A CN111341338B (zh) | 2020-05-19 | 2020-05-19 | 消除回声的方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111341338A true CN111341338A (zh) | 2020-06-26 |
CN111341338B CN111341338B (zh) | 2020-09-01 |
Family
ID=71184974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010422900.0A Active CN111341338B (zh) | 2020-05-19 | 2020-05-19 | 消除回声的方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111341338B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112863536A (zh) * | 2020-12-24 | 2021-05-28 | 深圳供电局有限公司 | 环境噪声提取方法、装置、计算机设备和存储介质 |
CN114143668A (zh) * | 2020-09-04 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 音频信号处理、混响检测和会议方法、设备及存储介质 |
CN115278464A (zh) * | 2021-04-29 | 2022-11-01 | 广州创知科技有限公司 | 一种回声消除方法、装置和通信设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101043560A (zh) * | 2006-03-22 | 2007-09-26 | 北京大学深圳研究生院 | 回声消除器及回声消除方法 |
US8014519B2 (en) * | 2007-04-02 | 2011-09-06 | Microsoft Corporation | Cross-correlation based echo canceller controllers |
CN103262163A (zh) * | 2010-10-25 | 2013-08-21 | 弗兰霍菲尔运输应用研究公司 | 包含晚期混响成分的模型化的回声抑制技术 |
CN109308905A (zh) * | 2017-07-28 | 2019-02-05 | 北京搜狗科技发展有限公司 | 音频数据处理方法、装置、电子设备和存储介质 |
US10242695B1 (en) * | 2012-06-27 | 2019-03-26 | Amazon Technologies, Inc. | Acoustic echo cancellation using visual cues |
CN111031448A (zh) * | 2019-11-12 | 2020-04-17 | 西安讯飞超脑信息科技有限公司 | 回声消除方法、装置、电子设备和存储介质 |
CN111128220A (zh) * | 2019-12-31 | 2020-05-08 | 深圳市友杰智新科技有限公司 | 去混响方法、装置、设备及存储介质 |
-
2020
- 2020-05-19 CN CN202010422900.0A patent/CN111341338B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101043560A (zh) * | 2006-03-22 | 2007-09-26 | 北京大学深圳研究生院 | 回声消除器及回声消除方法 |
US8014519B2 (en) * | 2007-04-02 | 2011-09-06 | Microsoft Corporation | Cross-correlation based echo canceller controllers |
CN103262163A (zh) * | 2010-10-25 | 2013-08-21 | 弗兰霍菲尔运输应用研究公司 | 包含晚期混响成分的模型化的回声抑制技术 |
US10242695B1 (en) * | 2012-06-27 | 2019-03-26 | Amazon Technologies, Inc. | Acoustic echo cancellation using visual cues |
CN109308905A (zh) * | 2017-07-28 | 2019-02-05 | 北京搜狗科技发展有限公司 | 音频数据处理方法、装置、电子设备和存储介质 |
CN111031448A (zh) * | 2019-11-12 | 2020-04-17 | 西安讯飞超脑信息科技有限公司 | 回声消除方法、装置、电子设备和存储介质 |
CN111128220A (zh) * | 2019-12-31 | 2020-05-08 | 深圳市友杰智新科技有限公司 | 去混响方法、装置、设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114143668A (zh) * | 2020-09-04 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 音频信号处理、混响检测和会议方法、设备及存储介质 |
CN112863536A (zh) * | 2020-12-24 | 2021-05-28 | 深圳供电局有限公司 | 环境噪声提取方法、装置、计算机设备和存储介质 |
CN115278464A (zh) * | 2021-04-29 | 2022-11-01 | 广州创知科技有限公司 | 一种回声消除方法、装置和通信设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111341338B (zh) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111341338B (zh) | 消除回声的方法、装置和计算机设备 | |
CN109727604B (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
US4122303A (en) | Improvements in and relating to active sound attenuation | |
CN110265054B (zh) | 语音信号处理方法、装置、计算机可读存储介质和计算机设备 | |
US10117021B1 (en) | Audio feedback reduction utilizing adaptive filters and nonlinear processing | |
CN113270106B (zh) | 双麦克风的风噪声抑制方法、装置、设备及存储介质 | |
WO2015086229A9 (en) | Echo cancellation | |
JP2004537219A (ja) | 高調波計算のための非線形エコーサプレッサを備えたエコーキャンセラ | |
CN111128220A (zh) | 去混响方法、装置、设备及存储介质 | |
CN111078185A (zh) | 录制声音的方法及设备 | |
CN112435685A (zh) | 强混响环境的盲源分离方法、装置、语音设备和存储介质 | |
CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
WO2007123048A1 (ja) | 適応アレイ制御装置、方法、プログラム、及びこれを利用した適応アレイ処理装置、方法、プログラム | |
Halimeh et al. | Efficient multichannel nonlinear acoustic echo cancellation based on a cooperative strategy | |
JP3787088B2 (ja) | 音響エコー消去方法、装置及び音響エコー消去プログラム | |
DE102014215165A1 (de) | Verfahren und Vorrichtung zur Rückkopplungsunterdrückung | |
CN112929506B (zh) | 音频信号的处理方法及装置,计算机存储介质及电子设备 | |
CN113299261A (zh) | 主动降噪方法、装置、耳机、电子设备及可读存储介质 | |
JP2003250193A (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
CN114627847A (zh) | 一种基于频谱映射的主动降噪方法及系统 | |
US10325613B1 (en) | Acoustic delay estimation | |
CN113766387B (zh) | 反馈滤波器的设计方法、主动降噪方法、系统及电子设备 | |
KR102649227B1 (ko) | 듀얼 마이크 어레이 에코 제거 방법, 장치 및 전자 장비 | |
CN116887160B (zh) | 基于神经网络的数字助听器啸叫抑制方法及系统 | |
CN115881151B (zh) | 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |