CN111031448A - 回声消除方法、装置、电子设备和存储介质 - Google Patents
回声消除方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111031448A CN111031448A CN201911102722.7A CN201911102722A CN111031448A CN 111031448 A CN111031448 A CN 111031448A CN 201911102722 A CN201911102722 A CN 201911102722A CN 111031448 A CN111031448 A CN 111031448A
- Authority
- CN
- China
- Prior art keywords
- filter
- channel
- echo cancellation
- microphone signal
- reference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000004904 shortening Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 56
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000013407 communication difficulty Diseases 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本发明实施例提供一种回声消除方法、装置、电子设备和存储介质，其中方法包括：确定麦克信号和参考信号；基于麦克信号和参考信号，更新回声消除滤波器，进行回声消除；其中，回声消除滤波器包括级联的反向滤波器和缩短滤波器，级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，缩短滤波器的长度小于原始回声消除滤波器的长度；反向滤波器的参数是将麦克信号和参考信号输入至参数更新模型中得到的，参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的参考信号。本发明实施例提供的方法、装置、电子设备和存储介质，能够在大大缩短了回声消除滤波器整体的长度，减小运算量的同时，实现高质量的回声消除。
Description
技术领域
本发明涉及信号处理技术领域，尤其涉及一种回声消除方法、装置、电子设备和存储介质。
背景技术
随着信息技术的发展，智能设备在各个领域的应用日益广泛。回声消除作为智能设备交互中不可或缺的环节，一直是相关领域技术人员研究的热点。
回声消除针对扬声器与麦克风耦合的情况，通过消除或者移除麦克风拾取的由扬声器输出的远端音频信号，避免远端音频信号被返回至远端。常用的回声消除方法是通过自适应滤波器实现的，即通过算法自适应地更新扬声器与麦克风之间的传递函数。
由于室内的混响较大，滤波器长度通常较长，甚至达到了几千点的长度，对于这种长度滤波器的更新，需要巨大的运算量，尤其在麦克风阵列的应用中，动辄要做6至8路回声消除滤波器的更新，如此量级的运算量和功耗，限制了回声消除的应用。
发明内容
本发明实施例提供一种回声消除方法、装置、电子设备和存储介质，用以解决现有的回声消除滤波器更新运算量和功耗巨大的问题。
第一方面，本发明实施例提供一种回声消除方法，包括：
确定麦克信号和参考信号；
基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；
其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；
所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的。
优选地，所述麦克信号包括若干个通道的通道麦克信号，所述回声消除滤波器包括所述若干个通道分别对应的级联的反向滤波器和缩短滤波器。
优选地，当所述麦克信号包括单个通道的通道麦克信号时，所述基于所述麦克信号和所述参考信号，更新回声消除滤波器，具体包括：
将所述单个通道的通道麦克信号和所述参考信号输入至所述参数更新模型，得到所述参数更新模型输出的所述单个通道所对应的反向滤波器的参数，以更新所述单个通道所对应的反向滤波器；
基于所述单个通道的通道麦克信号和所述参考信号，通过自适应算法更新所述单个通道所对应的缩短滤波器。
优选地，当所述麦克信号包括多个通道的通道麦克信号时，所述基于所述麦克信号和所述参考信号，更新回声消除滤波器，具体包括：
基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器。
优选地，所述基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器，具体包括：
基于任一通道的通道麦克信号和所述参考信号，更新所述任一通道所对应的级联的反向滤波器和缩短滤波器；
基于所述任一通道所对应的级联的反向滤波器和缩短滤波器，以及所述任一通道和其余通道之间的相对传递函数，更新所述其余通道所对应的级联的反向滤波器和缩短滤波器。
优选地，所述基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器，具体包括：
将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的每一通道所对应的反向滤波器的参数，以更新每一通道所对应的反向滤波器；
基于所述参考信号和每一通道的通道麦克信号，通过自适应算法更新每一通道所对应的缩短滤波器。
优选地，所述将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的每一通道所对应的反向滤波器的参数，具体包括：
将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的基准反向滤波器的参数，以及每一通道所对应的补偿滤波器的参数；其中，所述基准反向滤波器和任一通道所对应的补偿滤波器级联构成所述任一通道所对应的反向滤波器。
优选地，所述参数更新模型的损失函数包括回声消除滤波器损失函数和缩短滤波器长度损失函数；
其中，所述回声消除滤波器损失函数包括所述原始回声消除滤波器与所述回声消除滤波器的差值，和/或所述麦克信号与所述回声消除滤波器的输出的差值。
优选地，所述参数更新模型的训练模式包括三输入训练、两输入训练和三输入-两输入联合训练中的至少一种；
所述三输入训练对应的输入参数为所述原始回声消除滤波器、所述样本麦克信号以及样本参考信号，所述两输入训练对应的输入参数为所述样本麦克信号以及样本参考信号。
第二方面，本发明实施例提供一种回声消除装置，包括：
信号确定单元，用于确定麦克信号和参考信号；
回声消除单元，用于基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；
其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；
所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种回声消除方法、装置、电子设备和存储介质，将回声消除滤波器分解为级联的反向滤波器和缩短滤波器，通过反向滤波器的应用，缩短了回声消除滤波器的总长度，通过缩短滤波器消除回声中的线性成分，保证线性消除的效果，能够在大大缩短了回声消除滤波器整体的长度，减小运算量的同时，实现高质量的回声消除。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的回声消除方法的流程示意图；
图2为本发明实施例提供的回声消除滤波器的更新方法的流程示意图；
图3为本发明另一实施例提供的回声消除滤波器的更新方法的流程示意图；
图4为本发明又一实施例提供的回声消除滤波器的更新方法的流程示意图；
图5为本发明实施例提供的回声消除装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
回声消除的应用非常广泛，无论是通信系统，例如手机免提、电话会议等，还是具备播放功能的家庭智能设备，例如智能音响、智能电视等，只要扬声器与麦克风存在耦合，麦克风将拾取扬声器发出的信号及其混响，产生回声。由此产生的回声如果不及时消除，会对系统产生较大的影响。例如，在通信领域，如果近端说话人和远端说话人的声音同时传向远端，经过网络传输产生时延，则远端说话人会听到自己的回声，造成沟通困难。在智能硬件领域，例如对智能电视、音响等能够播放声音的智能交互系统进行语音控制，若播放的声音和说话人一同传入识别系统，将造成识别系统的错误识别。
常用的回声消除方法是通过自适应滤波器实现的，即通过算法自适应地更新扬声器与麦克风之间的传递函数，滤波器长度通常较长，需要巨大的运算量。针对运算量的问题，现阶段的方法通常是采用频域更新，将滤波器长度分块，一次只送入一个子块的参考信号。但是，由于滤波器总的长度不变，更新与输出的时候，全部滤波器的长度都需要参与计算，运算量减小十分有限。另一类减小运算量的方法，直接减小回声消除滤波器的长度，将由于滤波器长度不够导致的残留回声通过回声抑制的方法进行抑制，进而减小运算量。然而上述方法由于回声抑制的非线性操作，导致输出语音失真大，严重影响下游的通信和语音识别。
对此，本发明实施例提供一种回声消除方法，能够在保证回声消除质量的同时，有效减小滤波器更新运算量。图1为本发明实施例提供的回声消除方法的流程示意图，如图1所示，该方法包括：
步骤110，确定麦克信号和参考信号。
具体地，麦克信号是通过麦克风拾取的音频信号，参考信号是需要通过回声消除进行消除的源信号，同样为音频信号，以手机免提通话为例，麦克信号为手机麦克风拾取的音频信号，参考信号为手机扬声器输出的音频信号。
步骤120，基于麦克信号和参考信号，更新回声消除滤波器，进行回声消除；其中，回声消除滤波器包括级联的反向滤波器和缩短滤波器，级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，缩短滤波器的长度小于原始回声消除滤波器的长度；反向滤波器的参数是将麦克信号和参考信号输入至参数更新模型中得到的，参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的。
具体地，原始回声消除滤波器是指常规应用于回声消除的滤波器，通常为了充分描述混响成分，原始回声消除滤波器的系数经常有几千阶，实时更新原始回声消除滤波器，会造成运算上的巨大负担。为了解决这一问题，本发明实施例中，将一个长的原始回声消除滤波器分解成一个反向滤波器和越高缩短滤波器的卷积，即通过级联形式的反向滤波器和缩短滤波器作为回声消除滤波器，以替换传统的单一形式且长度很长、更新运算量巨大的原始回声消除滤波器。
通常，原始回声消除滤波器为FIR(Finite Impulse Response)滤波器，即有限长单位脉冲响应数字滤波器。本发明实施例中，反向滤波可以是IIR(Infinite ImpulseResponse)滤波器，即无线长单位脉冲响应数字滤波器，缩短滤波器可以是与原始回声消除滤波器同类型的FIR滤波器。IIR滤波器在本发明实施例中可以用于拟合一个很长的FIR滤波器，从而缩短回声消除滤波器的总长度。但是从稳定性的角度出发，IIR滤波器存在极点，会导致自适应算法难以收敛，需要与一个短的FIR滤波器进行级联，由FIR滤波器通过自适应算法消除回声中的线性成分，既可以保证线性消除的效果，同时又大大缩短了回声消除滤波器整体的长度，减小了运算量。由此得到的回声消除滤波器如下式所示：
h＝hinv*hshort
式中，h即回声消除滤波器，hinv为反向滤波器，hshort为缩短滤波器，两个级联的滤波器在频域的关系表示为相乘。
在回声消除滤波器中，反向滤波器的更新是基于参数更新模型实现的，缩短滤波器的更新是基于常规的自适应算法实现的。此处，参数更新模型用于分析输入的麦克信号和参考信号，预测并输出反向滤波器的参数，进而实现反向滤波器的更新。需要说明的是，反向滤波器的更新参数可以是参数更新模型实时输出的，也可以是参数更新模型每隔一段时间计算输出的，本发明实施例对此不作具体限定。
在执行步骤120之前，还可以预先训练得到参数更新模型，具体可以通过如下方式训练得到参数更新模型：首先，收集大量样本麦克信号和样本参考信号，并将原始的仅由缩短滤波器构建的回声消除滤波器分解为样本反向滤波器以及样本缩短滤波器，确定样本反向滤波器的参数。随即，基于样本麦克信号、样本参考信号以及样本反向滤波器的参数对神经网络进行训练，从而得到参数更新模型。
本发明实施例提供的方法，将回声消除滤波器分解为级联的反向滤波器和缩短滤波器，通过反向滤波器的应用，缩短了回声消除滤波器的总长度，通过缩短滤波器消除回声中的线性成分，保证线性消除的效果，能够在大大缩短了回声消除滤波器整体的长度，减小运算量的同时，实现高质量的回声消除。
基于上述实施例，该方法中，麦克信号包括若干个通道的通道麦克信号，回声消除滤波器包括若干个通道分别对应的级联的反向滤波器和缩短滤波器。
具体地，麦克信号可能是若干个通道的麦克风拾取得到的，若干个通道的麦克风对应于若干个通道的通道麦克风信号，此处通道麦克风信号即单一通道的麦克风拾取的音频信号。
当麦克信号仅包括单一通道的通道麦克信号时，回声消除滤波器中仅包含单一通道对应的级联的反向滤波器和缩短滤波器。当麦克信号包括多个通道的通道麦克信号时，回声消除滤波器中包括多个通道分别对应的级联的反向滤波器和缩短滤波器。
基于上述任一实施例，图2为本发明实施例提供的回声消除滤波器的更新方法的流程示意图，如图2所示，当麦克信号包括单个通道的通道麦克信号时，步骤120中，所述基于麦克信号和参考信号，更新回声消除滤波器，具体包括：
步骤1201，将单个通道的通道麦克信号和参考信号输入至参数更新模型，得到参数更新模型输出的单个通道所对应的反向滤波器的参数，以更新单个通道所对应的反向滤波器；
步骤1202，基于单个通道的通道麦克信号和参考信号，通过自适应算法更新单个通道所对应的缩短滤波器。
具体地，回声消除滤波器中，单个通道所对应的反向滤波器的更新是基于参数更新模型实现的，参数更新模型用于分析输入的单个通道的通道麦克信号和参考信号，预测并输出单个通道所对应的反向滤波器的参数，进而实现反向滤波器的更新。需要说明的是，反向滤波器的更新参数可以是参数更新模型实时输出的，也可以是参数更新模型每隔一段时间计算输出的，本发明实施例对此不作具体限定。此外，单个通道所对应的缩短滤波器，是基于通道麦克信号和参考信号，通过自适应算法进行实时更新的。反向滤波器的定时更新，与缩短滤波器的实时更新相结合，即实现了单通道下回声消除滤波器的更新。
基于上述任一实施例，该方法中，当麦克信号包括多个通道的通道麦克信号时，步骤120中，所述基于麦克信号和参考信号，更新回声消除滤波器，具体包括：基于参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器。
具体地，当麦克信号包括多个通道的通道麦克信号时，针对回声消除滤波器的更新方法可以有多种：例如，为每一通道分别训练对应的参数更新模型，以供每一通道所对应的反向滤波器可以基于对应的参数更新模型输出的参数进行更新，再基于自适应算法更新每一通道所对应的缩短滤波器；或者先更新一个通道所对应的级联的反向滤波器和缩短滤波器，再基于该通道与其余通道之间的相关性，更新其余通道所对应的级联的反向滤波器和缩短滤波器。
基于上述任一实施例，当存在多个通道的麦克风时，每个通道的麦克风拾取到的回声之间存在如下式示出的相关性：
h2＝h1*RTF
式中，h1为参考信号达到第一个麦克风的传输函数，h2为参考信号达到第二个麦克风的传输函数，RTF(Relative transfer function)是第一个麦克风和第二个麦克风之间的相对传递函数。
对应地，图3为本发明另一实施例提供的回声消除滤波器的更新方法的流程示意图，如图3所示，步骤120中，所述基于参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器，具体包括：
步骤1211，基于任一通道的通道麦克信号和参考信号，更新该通道所对应的级联的反向滤波器和缩短滤波器。
步骤1212，基于该通道所对应的级联的反向滤波器和缩短滤波器，以及该通道和其余通道之间的相对传递函数，更新其余通道所对应的级联的反向滤波器和缩短滤波器。
具体地，步骤1211中任一通道所对应的级联的反向滤波器和缩短滤波器的更新方法，可以参考单通道下回声消除滤波器的更新方法，此处不再赘述。
两个通道之间的相对传递函数用于表征两个通道相对应的级联的反向滤波器和缩短滤波器之间的相关性，通过将任一通道所对应的更新后的级联的反向滤波器和缩短滤波器，与该通道和其余通道之间的相对传递函数相乘，即可得到其余通道更新后的级联的反向滤波器和缩短滤波器。
本发明实施例提供的方法，在多通道场景下，在单一通道对应的级联的反向滤波器和缩短滤波器更新的运算量的基础上，通过单一通道和其余通道之间的相对传递函数，即可实现其余每一通道对应的级联的反向滤波器和缩短滤波器的更新，极大降低了多通道更新的运算量。
基于上述任一实施例，该方法中，步骤1211具体包括：将任一通道的通道麦克信号和参考信号输入至参数更新模型，得到参数更新模型输出的任一通道所对应的反向滤波器的参数，以及回声检测信息；基于该通道所对应的反向滤波器的参数，更新该通道所对应的反向滤波器；基于该通道的通道麦克信号和参考信号，通过自适应算法更新该通道所对应的缩短滤波器。
具体地，参数更新模型不仅可以根据输入的通道麦克信号和参考信号分析并输出通道所对应的反向滤波器的参数，还可以通过分析通道麦克信号和参考信号，判断麦克风是否拾取了回声，并输出回声检测信息。此处，回声检测信息用于指示参考信号中是否存在回声，回声检测信息可以是存在回声或不存在回声。
回声检测信息直接关联到相对传递函数的更新，相对传递函数通常在存在回声的情况下更新。
对应地，步骤1212之前还包括：若回声检测信息为存在回声，则更新该通道和其余通道之间的相对传递函数。
具体地，相对传递函数的更新是基于如下公式实现的：
式中，RTF为相对传递函数，k为频点，n为帧数，u为更新步长；I为回声检测信息，存在回声时I＝1，不存在回声时I＝0；φSS为纯回声的功率谱，ε为估计误差。
基于上述任一实施例，图4为本发明又一实施例提供的回声消除滤波器的更新方法的流程示意图，如图4所示，麦克信号包括多个通道的通道麦克信号时，步骤120中，基于参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器，具体包括：
步骤1221，将参考信号和每一通道的通道麦克信号输入至参数更新模型，得到参数更新模型输出的每一通道所对应的反向滤波器的参数，以更新每一通道所对应的反向滤波器；
步骤1222，基于参考信号和每一通道的通道麦克信号，通过自适应算法更新每一通道所对应的缩短滤波器。
具体地，针对多个通道的情况，多个通道分贝所对应的反向滤波器的更新是基于参数更新模型实现的，参数更新模型用于分析输入的参考信号以及多个通道的通道麦克信号，预测并输出多个通道分别所对应的反向滤波器的参数，进而实现多个通道分别对应的反向滤波器的更新。需要说明的是，反向滤波器的更新参数可以是参数更新模型实时输出的，也可以是参数更新模型每隔一段时间计算输出的，本发明实施例对此不作具体限定。此外，多个通道所对应的缩短滤波器，是基于通道麦克信号和参考信号，通过自适应算法进行实时更新的。多个通道分别对应的反向滤波器的定时更新，与多个通道分别对应的缩短滤波器的实时更新相结合，即实现了多通道下回声消除滤波器的更新。
基于上述任一实施例，该方法中，步骤1221具体包括：将参考信号和每一通道的通道麦克信号输入至参数更新模型，得到参数更新模型输出的基准反向滤波器的参数，以及每一通道所对应的补偿滤波器的参数；其中，基准反向滤波器和任一通道所对应的补偿滤波器级联构成该通道所对应的反向滤波器。
具体地，针对多个通道的情况，本发明实施例进一步将任一通道的反向滤波器分解为基础反向滤波器和补偿滤波器两部分，其中各个通道的基础反向滤波器的参数是一致的，补偿滤波器的参数与各通道相对应的通道麦克信号相关联。由此得到的通道i相对应的级联的反向滤波器和缩短滤波器如下式所示：
hi＝hcom，i*hinv_base*hshort，i
式中，hi即通道i相对应的级联的反向滤波器和缩短滤波器，hinv_base为基础反向滤波器，hcom，i和hshort，i分别为通道i相对应的补偿滤波器和缩短滤波器。
对应地，在对多通道的回声消除滤波器进行更新时，各个通道的基础反向滤波器的参数更新和补偿滤波器的参数更新均是通过参数更新模型实现的。此处，参数更新模型用于对输入的每一通道的通道麦克信号以及参考信号进行分析，预测每一通道共用的基础反向滤波器的参数，以及每一通道分别对应的补偿滤波器的参数并输出。
本发明实施例提供的方法，通过参数更新模型得到基础反向滤波器和各通道分别对应的补偿滤波器。以实现多通道的回声消除滤波器的更新，极大降低了多通道更新的运算量。
基于上述任一实施例，该方法中，参数更新模型训练时的损失函数包括回声消除滤波器损失函数和缩短滤波器长度损失函数；
其中，回声消除滤波器损失函数包括原始回声消除滤波器与回声消除滤波器的差值，和/或麦克信号与回声消除滤波器的输出的差值。
具体地，本发明实施例中对原始回声消除滤波器进行分解，通过级联的反向滤波器和缩短滤波器得到回声消除滤波器来拟合原始回声消除滤波器，因此在训练过程中需要计算原始回声消除滤波器与拟合得到的回声消除滤波器的差值，此处差值越小，则对原始回声消除滤波器分解的准确性越高，回声消除滤波器相对于原始回声消除滤波器的拟合越好。
此外，由于缩短滤波器的自适应更新会带来运算量，且缩短滤波器的长度越长，对应更新的运算量越大，需要尽量减小分解后的缩短滤波器的长度，从而降低运算量。
因此，在参数更新模型的训练时，损失函数需要同时最小化原始回声消除滤波器与回声消除滤波器的差值，以及缩短滤波器的长度，从而在满足滤波器分解的准确性的同时，最大程度地降低运算量。由此得到的损失函数包括回声消除滤波器损失函数和缩短滤波器长度损失函数两个部分，其中回声消除滤波器损失函数表征原始回声消除滤波器与回声消除滤波器的差值，缩短滤波器长度损失函数表征缩短滤波器的长度。
回声消除滤波器损失函数可以表示为原始回声消除滤波器与回声消除滤波器的差值，即|h-hinv*hshort|。其中，h为原始回声消除滤波器，hinv为反向滤波器，hshort为缩短滤波器。
在实际应用场景中，原始回声消除滤波器是不能预先确定的，也就是说，实际需要解决的并不是原始回声消除滤波器的分解问题，而是回声消除滤波器的更新问题，分解只是对于回声消除滤波器更新的辅助。为了便于实现，将上述回声消除滤波器损失函数中|h-hinv*hshort|的部分乘以参考信号，由此将原始回声消除滤波器替换为麦克风拾取的麦克信号。由此可以得到包括麦克信号与回声消除滤波器的输出的差值的回声消除损失函数，即|y-hinv*hshort*x|。式中，y为麦克信号，x为参考信号，y＝h*x，回声消除滤波器的输出即hinv*hshort*x。
回声消除滤波器损失函数可以包括|h-hinv*hshort|，也可以包括|y-hinv*hshort*x|，还可以包括两者之和，本发明实施例对此不作具体限定。
当回声消除滤波器损失函数包括原始回声消除滤波器与回声消除滤波器的差值时，可以得到如下损失函数：
Loss1＝|h-hinv*hshort|+||hshort||；
式中，Loss1为损失值，||hshort||为缩短滤波器的长度。在训练过程中，最小化上述损失函数得到的损失值Loss1。
当回声消除滤波器损失函数包括麦克信号与回声消除滤波器的输出的差值时，可以得到如下损失函数：
Loss2＝|y-hinv*hshort*x|+||hshort||；
式中，Loss2为损失值，缩短滤波器的长度即||hshort||。
此外，还可以存在如下损失函数：
Loss＝Loss1+Loss2。
在此基础上，当麦克信号包括多个通道的通道麦克信号时，损失函数Loss1还可以表示为如下形式：
Loss1＝∑(|hi-hcom，i*hinv_base*hshort，i|+||hshort，i||)；
损失函数Loss2还可以表示为如下形式：
Loss2＝Σ(|yi-hcom，i*hinv_base*hshort，i*x|+||hshort，i||)
式中，hi为通道i相对应的原始回声消除滤波器，yi为通道i相对应的通道麦克信号，hinv_base为基础反向滤波器，hcom，i和hshort，i分别为通道i相对应的补偿滤波器和缩短滤波器，|yi-hcom，i*hinv-base*hshort，i*x|为通道i相对应的麦克信号和滤波输出的差值，||hshort，i||为通道i相对应缩短滤波器的长度。
基于上述任一实施例，参数更新模型的训练模式包括三输入训练、两输入训练和三输入-两输入联合训练中的至少一种；三输入训练对应的输入参数为原始回声消除滤波器、样本麦克信号以及样本参考信号，两输入训练对应的输入参数为所述样本麦克信号以及样本参考信号。
具体地，三输入训练是将原始回声消除滤波器h的参数、样本麦克信号y和样本参考信号x作为输入，应用损失函数Loss1或损失函数Loss2，或者联合损失函数Loss1和Loss2进行三输入的参数更新模型的训练。
两输入训练是将样本麦克信号y和样本参考信号x作为输入，应用损失函数Loss2进行两输入的参数更新模型的训练。
三输入-两输入联合训练是将上述两种训练方式按照teacher-student模式结合起来，即将训练好的三输入的参数更新模型的参数作为二输入的参数更新模型的初始参数进行训练。
基于上述任一实施例，参数更新模型的训练方法包括如下步骤：
首先，制作训练数据：
回放样本参考信号和仿真软件生成回声信号，与近端语音以不同的信号回声比进行叠加，并按照不同的信噪比叠加噪声，得到样本麦克信号。具体地，回声可在大、中、小房间进行回放，将麦克风距离扬声器的距离可以设置为10-20cm。此外，由于回放数据的有限性，回声也可以通过房间冲激响应软件生成，该软件利用Image模型生成不同房间尺寸、吸声系数、反射系数、混响时间的冲激响应。噪声可以是平稳噪声，例如空调噪声，也可以是非平稳例如咳嗽、键盘敲击等等。
其次，通过神经网络学习反向滤波器，即IIR滤波器：
房间冲激响应可以通过FIR滤波器进行建模，故可以通过参考信号卷积FIR滤波器得到回声中的线性成分。但是，为了充分描述房间中的混响成分，FIR滤波器的系数经常有几千阶，实时更新该滤波器，会造成运算上的巨大负担。理论上，通过一个较短的IIR滤波器可以拟合一个非常长的FIR滤波器，但是，如果从稳定性的角度出发，IIR滤波器由于存在极点，使得自适应更新算法难以收敛，因此本发明实施例将一个长的FIR滤波器分解为一个短的IIR滤波器和另一个短的FIR滤波器的卷积。IIR滤波器参数通过神经网络更加鲁棒的估计出来，而FIR滤波器可以通过传统自适应算法更新。滤波器分解得到的缩短滤波器，即短的FIR滤波器通过自适应算法进行更新，既可以保证线性消除的效果，又可以大大减小运算量。
此处，通过制作的训练数据对神经网络进行训练，得到学习出的IIR滤波器：
其中aj是滤波器分子的系数，bj是滤波器分母的系数，k是滤波器阶数，j是当前阶。
基于上述任一实施例，该方法中，步骤120具体包括：
将麦克信号和参考信号分帧、加窗、快速傅里叶变换，由此得到时域的参考信号x(t)和麦克信号y(t)相对应的频域信号X(k，n)和Y(k，n)，再基于频域信号更新回声消除滤波器中的缩短滤波器，进行回声消除。
此处，回声消除可以通过如下公式表示：
E(k，n)＝Y(k，n)-X(k，n)*Hshort(k，n)*Hinv(k，n)
式中，E(k，n)为经过回声消除后输出的信号，Hshort(k，n)和Hinv(k，n)分别为更新后的回声消除滤波器中的缩短滤波器和反向滤波器。
其中，缩短滤波器的更新为：
式中，μ为更新步长。
基于上述任一实施例，图5为本发明实施例提供的回声消除装置的结构示意图，如图5所示，该装置包括信号确定单元510和回声消除单元520；
其中，信号确定单元510用于确定麦克信号和参考信号；
回声消除单元520用于基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；
其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；
所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的参考信号。
本发明实施例提供的装置，将回声消除滤波器分解为级联的反向滤波器和缩短滤波器，通过反向滤波器的应用，缩短了回声消除滤波器的总长度，通过缩短滤波器消除回声中的线性成分，保证线性消除的效果，能够在大大缩短了回声消除滤波器整体的长度，减小运算量的同时，实现高质量的回声消除。
基于上述任一实施例，该装置中，所述麦克信号包括若干个通道的通道麦克信号，所述回声消除滤波器包括所述若干个通道分别对应的级联的反向滤波器和缩短滤波器。
基于上述任一实施例，该装置中，当所述麦克信号包括单个通道的通道麦克信号时，所述回声消除单元520具体用于：
将所述单个通道的通道麦克信号和所述参考信号输入至所述参数更新模型，得到所述参数更新模型输出的所述单个通道所对应的反向滤波器的参数，以更新所述单个通道所对应的反向滤波器；
基于所述单个通道的通道麦克信号和所述参考信号，通过自适应算法更新所述单个通道所对应的缩短滤波器。
基于上述任一实施例，该装置中，当所述麦克信号包括多个通道的通道麦克信号时，所述回声消除单元520具体用于：
基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器。
基于上述任一实施例，该装置中，所述回声消除单元520具体用于：
基于任一通道的通道麦克信号和所述参考信号，更新所述任一通道所对应的级联的反向滤波器和缩短滤波器；
基于所述任一通道所对应的级联的反向滤波器和缩短滤波器，以及所述任一通道和其余通道之间的相对传递函数，更新所述其余通道所对应的级联的反向滤波器和缩短滤波器。
基于上述任一实施例，该装置中，所述回声消除单元520包括：
反向滤波器更新子单元，用于将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的每一通道所对应的反向滤波器的参数，以更新每一通道所对应的反向滤波器；
缩短滤波器更新子单元，用于基于所述参考信号和每一通道的通道麦克信号，通过自适应算法更新每一通道所对应的缩短滤波器。
基于上述任一实施例，该装置中，反向滤波器更新子单元具体用于：
将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的基准反向滤波器的参数，以及每一通道所对应的补偿滤波器的参数；其中，所述基准反向滤波器和任一通道所对应的补偿滤波器级联构成所述任一通道所对应的反向滤波器。
基于上述任一实施例，该装置中，所述参数更新模型的损失函数包括回声消除滤波器损失函数和缩短滤波器长度损失函数；
其中，所述回声消除滤波器损失函数包括所述原始回声消除滤波器与所述回声消除滤波器的差值，和/或所述麦克信号与所述回声消除滤波器的输出的差值。
基于上述任一实施例，该装置中，所述参数更新模型的训练模式包括三输入训练、两输入训练和三输入-两输入联合训练中的至少一种；
所述三输入训练对应的输入参数为所述原始回声消除滤波器、所述样本麦克信号以及样本参考信号，所述两输入训练对应的输入参数为所述样本麦克信号以及样本参考信号。
图6为本发明实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令，以执行如下方法：确定麦克信号和参考信号；基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的参考信号。
此外，上述的存储器630中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定麦克信号和参考信号；基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的参考信号。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种回声消除方法，其特征在于，包括：
确定麦克信号和参考信号；
基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；
其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；
所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的。
2.根据权利要求1所述的回声消除方法，其特征在于，所述麦克信号包括若干个通道的通道麦克信号，所述回声消除滤波器包括所述若干个通道分别对应的级联的反向滤波器和缩短滤波器。
3.根据权利要求2所述的回声消除方法，其特征在于，当所述麦克信号包括单个通道的通道麦克信号时，所述基于所述麦克信号和所述参考信号，更新回声消除滤波器，具体包括：
将所述单个通道的通道麦克信号和所述参考信号输入至所述参数更新模型，得到所述参数更新模型输出的所述单个通道所对应的反向滤波器的参数，以更新所述单个通道所对应的反向滤波器；
基于所述单个通道的通道麦克信号和所述参考信号，通过自适应算法更新所述单个通道所对应的缩短滤波器。
4.根据权利要求2所述的回声消除方法，其特征在于，当所述麦克信号包括多个通道的通道麦克信号时，所述基于所述麦克信号和所述参考信号，更新回声消除滤波器，具体包括：
基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器。
5.根据权利要求4所述的回声消除方法，其特征在于，所述基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器，具体包括：
基于任一通道的通道麦克信号和所述参考信号，更新所述任一通道所对应的级联的反向滤波器和缩短滤波器；
基于所述任一通道所对应的级联的反向滤波器和缩短滤波器，以及所述任一通道和其余通道之间的相对传递函数，更新所述其余通道所对应的级联的反向滤波器和缩短滤波器。
6.根据权利要求4所述的回声消除方法，其特征在于，所述基于所述参考信号，以及每一通道的通道麦克信号，分别更新每一通道对应的级联的反向滤波器和缩短滤波器，具体包括：
将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的每一通道所对应的反向滤波器的参数，以更新每一通道所对应的反向滤波器；
基于所述参考信号和每一通道的通道麦克信号，通过自适应算法更新每一通道所对应的缩短滤波器。
7.根据权利要求6所述的回声消除方法，其特征在于，所述将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的每一通道所对应的反向滤波器的参数，具体包括：
将所述参考信号和每一通道的通道麦克信号输入至所述参数更新模型，得到所述参数更新模型输出的基准反向滤波器的参数，以及每一通道所对应的补偿滤波器的参数；其中，所述基准反向滤波器和任一通道所对应的补偿滤波器级联构成所述任一通道所对应的反向滤波器。
8.根据权利要求1至7中任一项所述的回声消除方法，其特征在于，所述参数更新模型的损失函数包括回声消除滤波器损失函数和缩短滤波器长度损失函数；
其中，所述回声消除滤波器损失函数包括所述原始回声消除滤波器与所述回声消除滤波器的差值，和/或所述麦克信号与所述回声消除滤波器的输出的差值。
9.根据权利要求8所述的回声消除方法，其特征在于，所述参数更新模型的训练模式包括三输入训练、两输入训练和三输入-两输入联合训练中的至少一种；
所述三输入训练对应的输入参数为所述原始回声消除滤波器、所述样本麦克信号以及样本参考信号，所述两输入训练对应的输入参数为所述样本麦克信号以及样本参考信号。
10.一种回声消除装置，其特征在于，包括：
信号确定单元，用于确定麦克信号和参考信号；
回声消除单元，用于基于所述麦克信号和所述参考信号，更新回声消除滤波器，进行回声消除；
其中，所述回声消除滤波器包括级联的反向滤波器和缩短滤波器，所述级联的反向滤波器和缩短滤波器用于拟合原始回声消除滤波器，所述缩短滤波器的长度小于所述原始回声消除滤波器的长度；
所述反向滤波器的参数是将所述麦克信号和所述参考信号输入至参数更新模型中得到的，所述参数更新模型是基于样本麦克信号、样本参考信号以及样本反向滤波器的参数训练得到的。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任一项所述的回声消除方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9中任一项所述的回声消除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911102722.7A CN111031448B (zh) | 2019-11-12 | 2019-11-12 | 回声消除方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911102722.7A CN111031448B (zh) | 2019-11-12 | 2019-11-12 | 回声消除方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111031448A true CN111031448A (zh) | 2020-04-17 |
| CN111031448B CN111031448B (zh) | 2021-09-17 |
Family
ID=70201349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911102722.7A Active CN111031448B (zh) | 2019-11-12 | 2019-11-12 | 回声消除方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111031448B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111341338A (zh) * | 2020-05-19 | 2020-06-26 | 深圳市友杰智新科技有限公司 | 消除回声的方法、装置和计算机设备 |
| CN111798864A (zh) * | 2020-07-02 | 2020-10-20 | 杭州海康威视数字技术股份有限公司 | 一种回声消除方法、装置、电子设备及存储介质 |
| CN112689056A (zh) * | 2021-03-12 | 2021-04-20 | 浙江芯昇电子技术有限公司 | 一种回声消除方法及使用该方法的回声消除装置 |
| CN113055787A (zh) * | 2021-03-25 | 2021-06-29 | 科大讯飞股份有限公司 | 回声消除方法、装置、电子设备和存储介质 |
| WO2022194011A1 (zh) * | 2021-03-17 | 2022-09-22 | 维沃移动通信有限公司 | 回声消除方法、装置、设备及存储介质 |
| CN115696140A (zh) * | 2022-12-05 | 2023-02-03 | 长沙东玛克信息科技有限公司 | 一种教室音频多通道回声消除方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1135692A (zh) * | 1995-03-13 | 1996-11-13 | 索尼公司 | 回声消除装置 |
| JPH09247788A (ja) * | 1996-03-13 | 1997-09-19 | Sony Corp | 音声処理装置および会議用音声システム |
| JP2002094419A (ja) * | 2001-07-25 | 2002-03-29 | Toshiba Corp | エコーキャンセラ |
| CN1367976A (zh) * | 1999-05-27 | 2002-09-04 | 艾利森电话股份有限公司 | 通过包含隐藏信息来改进自适应滤波器的方法和装置 |
| CN1414718A (zh) * | 2001-10-26 | 2003-04-30 | 宁波大学 | 一种cdma系统的接收滤波器 |
| US6597787B1 (en) * | 1999-07-29 | 2003-07-22 | Telefonaktiebolaget L M Ericsson (Publ) | Echo cancellation device for cancelling echos in a transceiver unit |
| US20040071284A1 (en) * | 2002-08-16 | 2004-04-15 | Abutalebi Hamid Reza | Method and system for processing subband signals using adaptive filters |
| US20050047611A1 (en) * | 2003-08-27 | 2005-03-03 | Xiadong Mao | Audio input system |
| US20070118367A1 (en) * | 2005-11-18 | 2007-05-24 | Bonar Dickson | Method and device for low delay processing |
| US20080015845A1 (en) * | 2006-07-11 | 2008-01-17 | Harman Becker Automotive Systems Gmbh | Audio signal component compensation system |
| CN101273618A (zh) * | 2005-09-27 | 2008-09-24 | 雅马哈株式会社 | 反馈声音消除设备 |
| CN101385386A (zh) * | 2006-03-03 | 2009-03-11 | 日本电信电话株式会社 | 混响除去装置、混响除去方法、混响除去程序和记录介质 |
| CN107564539A (zh) * | 2017-08-29 | 2018-01-09 | 苏州奇梦者网络科技有限公司 | 面向麦克风阵列的声学回声消除方法及装置 |
| CN107610713A (zh) * | 2017-10-23 | 2018-01-19 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
| CN109087662A (zh) * | 2018-10-25 | 2018-12-25 | 科大讯飞股份有限公司 | 一种回声消除方法及装置 |
| CN109961798A (zh) * | 2017-12-26 | 2019-07-02 | 华平信息技术股份有限公司 | 回声消除系统、方法、可读计算机存储介质、及终端 |
-
2019
- 2019-11-12 CN CN201911102722.7A patent/CN111031448B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1135692A (zh) * | 1995-03-13 | 1996-11-13 | 索尼公司 | 回声消除装置 |
| JPH09247788A (ja) * | 1996-03-13 | 1997-09-19 | Sony Corp | 音声処理装置および会議用音声システム |
| CN1367976A (zh) * | 1999-05-27 | 2002-09-04 | 艾利森电话股份有限公司 | 通过包含隐藏信息来改进自适应滤波器的方法和装置 |
| US6597787B1 (en) * | 1999-07-29 | 2003-07-22 | Telefonaktiebolaget L M Ericsson (Publ) | Echo cancellation device for cancelling echos in a transceiver unit |
| JP2002094419A (ja) * | 2001-07-25 | 2002-03-29 | Toshiba Corp | エコーキャンセラ |
| CN1414718A (zh) * | 2001-10-26 | 2003-04-30 | 宁波大学 | 一种cdma系统的接收滤波器 |
| US20040071284A1 (en) * | 2002-08-16 | 2004-04-15 | Abutalebi Hamid Reza | Method and system for processing subband signals using adaptive filters |
| US20050047611A1 (en) * | 2003-08-27 | 2005-03-03 | Xiadong Mao | Audio input system |
| CN101273618A (zh) * | 2005-09-27 | 2008-09-24 | 雅马哈株式会社 | 反馈声音消除设备 |
| US20070118367A1 (en) * | 2005-11-18 | 2007-05-24 | Bonar Dickson | Method and device for low delay processing |
| CN101385386A (zh) * | 2006-03-03 | 2009-03-11 | 日本电信电话株式会社 | 混响除去装置、混响除去方法、混响除去程序和记录介质 |
| US20080015845A1 (en) * | 2006-07-11 | 2008-01-17 | Harman Becker Automotive Systems Gmbh | Audio signal component compensation system |
| CN107564539A (zh) * | 2017-08-29 | 2018-01-09 | 苏州奇梦者网络科技有限公司 | 面向麦克风阵列的声学回声消除方法及装置 |
| CN107610713A (zh) * | 2017-10-23 | 2018-01-19 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
| CN109961798A (zh) * | 2017-12-26 | 2019-07-02 | 华平信息技术股份有限公司 | 回声消除系统、方法、可读计算机存储介质、及终端 |
| CN109087662A (zh) * | 2018-10-25 | 2018-12-25 | 科大讯飞股份有限公司 | 一种回声消除方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| T. NAKATANI: "Blind dereverberation of single channel speech signal based on harmonic structure", 《2003 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 2003. PROCEEDINGS. (ICASSP "03)》 * |
| 王亚洁: "基于ARM平台的VoIP语音处理关键技术研究与开发", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111341338A (zh) * | 2020-05-19 | 2020-06-26 | 深圳市友杰智新科技有限公司 | 消除回声的方法、装置和计算机设备 |
| CN111798864A (zh) * | 2020-07-02 | 2020-10-20 | 杭州海康威视数字技术股份有限公司 | 一种回声消除方法、装置、电子设备及存储介质 |
| CN111798864B (zh) * | 2020-07-02 | 2024-06-04 | 杭州海康威视数字技术股份有限公司 | 一种回声消除方法、装置、电子设备及存储介质 |
| CN112689056A (zh) * | 2021-03-12 | 2021-04-20 | 浙江芯昇电子技术有限公司 | 一种回声消除方法及使用该方法的回声消除装置 |
| WO2022194011A1 (zh) * | 2021-03-17 | 2022-09-22 | 维沃移动通信有限公司 | 回声消除方法、装置、设备及存储介质 |
| CN113055787A (zh) * | 2021-03-25 | 2021-06-29 | 科大讯飞股份有限公司 | 回声消除方法、装置、电子设备和存储介质 |
| CN115696140A (zh) * | 2022-12-05 | 2023-02-03 | 长沙东玛克信息科技有限公司 | 一种教室音频多通道回声消除方法 |
| CN115696140B (zh) * | 2022-12-05 | 2023-05-26 | 长沙东玛克信息科技有限公司 | 一种教室音频多通道回声消除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111031448B (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111031448B (zh) | 回声消除方法、装置、电子设备和存储介质 | |
| US11315587B2 (en) | Signal processor for signal enhancement and associated methods | |
| CN108141502B (zh) | 降低声学系统中的声学反馈的方法及音频信号处理设备 | |
| Lee et al. | DNN-based residual echo suppression. | |
| CN111885275B (zh) | 语音信号的回声消除方法、装置、存储介质以及电子装置 | |
| US20090323924A1 (en) | Acoustic echo suppression | |
| JPH0739968B2 (ja) | 音響伝達特性模擬方法 | |
| CN110992923B (zh) | 回声消除方法、电子设备以及存储装置 | |
| CN108028983A (zh) | 基于换能器阻抗的非线性声学回声消除 | |
| CN114792524B (zh) | 音频数据处理方法、装置、程序产品、计算机设备和介质 | |
| CN112037809A (zh) | 基于多特征流结构深度神经网络的残留回声抑制方法 | |
| Rombouts et al. | Robust and Efficient Implementation of the PEM—AFROW Algorithm for Acousic Feedback Cancellation | |
| CN109215672B (zh) | 一种声音信息的处理方法、装置及设备 | |
| CN115132215A (zh) | 一种单通道语音增强方法 | |
| CN106782592B (zh) | 一种用于消除网络声音传输的回音和啸叫的系统和方法 | |
| Rombouts et al. | Generalized sidelobe canceller based combined acoustic feedback-and noise cancellation | |
| CN115620737A (zh) | 语音信号处理装置、方法、电子设备和扩音系统 | |
| Diana et al. | Hybrid metaheuristic method of ABC kernel filtering for nonlinear acoustic echo cancellation | |
| KR102374166B1 (ko) | 원단 신호 정보를 이용한 반향 신호 제거 방법 및 장치 | |
| Kamarudin et al. | Acoustic echo cancellation using adaptive filtering algorithms for Quranic accents (Qiraat) identification | |
| CN117643075A (zh) | 用于言语增强的数据扩充 | |
| JP2002223182A (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
| US10937409B2 (en) | Predictive acoustic echo cancellation | |
| CN113938548A (zh) | 一种终端通信的回声抑制方法和装置 | |
| KR101558397B1 (ko) | 반향필터 추정방법, 반향제거필터 추정방법 및 이를 이용한 단일채널 반향제거방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |