CN112820311A - 一种基于空间预测的回声消除方法及装置 - Google Patents
一种基于空间预测的回声消除方法及装置 Download PDFInfo
- Publication number
- CN112820311A CN112820311A CN202110410907.5A CN202110410907A CN112820311A CN 112820311 A CN112820311 A CN 112820311A CN 202110410907 A CN202110410907 A CN 202110410907A CN 112820311 A CN112820311 A CN 112820311A
- Authority
- CN
- China
- Prior art keywords
- signal
- frequency domain
- microphone
- frame
- analog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000003993 interaction Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000002592 echocardiography Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0224—Processing in the time domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
一种基于空间预测的回声消除方法及装置,回声消除方法包括如下步骤:S1.分别获取模拟麦克风信号和模拟参考信号,并利用ADC分别转化为数字麦克风信号和数字参考信号;S2.通过短时傅里叶变换将接收的数字麦克风信号和数字参考信号每个声道的时域信号分解成k个频带的频域信号;S3.对参考频域信号进行空间预测缓存;S4.以空间预测滤波器对参考频域信号进行滤波,并对时域麦克风信号进行回波滤除。本发明与传统的回声消除方法相比,本发明方案利用基于空间预测的回声消除算法,提高语音信噪比,提升语音交互质量。
Description
技术领域
本发明属于语音识别技术领域,具体涉及一种基于空间预测的回声消除方法及装置。
背景技术
近年来,人机语音交互对人工智能技术和物联网在实际应用中的落地融合起着重要的作用,然而复杂的声学应用环境中给语音交互带来了挑战,尤其针对具有扬声器和麦克风的音频系统,声学回声会极大的影响语音交互体验质量。如何更好的进行回声消除,是提升语音交互质量的关键问题。
目前常用的回声消除方法主流一般采用时域或频域的自适应滤波器对当前帧信号进行回声消除,该类方法具有一定的有效性,但忽略了麦克风采集的扬声器信号和原参考信号的强线性相关性,实际应用过程中往往会产生影响语音交互质量的回声残留;同时还有另一类基于深度神经网络的回声消除方法,该类方法在合适的应用环境下抑制效果上有较大提升,但该类方法对训练样本要求较高,其实际落地受限于产品对算力、成本的严苛要求。
发明内容
为克服现有回声消除方法存在的缺陷,本发明公开了一种基于空间预测的回声消除方法及装置。
本发明所述基于空间预测的回声消除方法,包括如下步骤:
S1.分别获取模拟麦克风信号和模拟参考信号,并利用ADC分别转化为数字麦克风信号和数字参考信号,ADC为模数转换器;
其中模拟麦克风信号是喇叭发出后并被麦克风接收的电学信号,模拟参考信号是被喇叭发出前的电学信号;
S3.对参考频域信号进行空间预测缓存:
S4. 以空间预测滤波器对缓存的Lp帧参考频域信号进行滤波,并对麦克风频域信号进行回波滤除,具体为:
其中,为第l帧第k个频点经过回声消除器滤除后的目标语音频域信号;表示步骤S2得到麦克风采集的频域信号中第l帧第k个频点的麦克风频域信号,表示步骤S2得到的参考频域信号中第l帧第k个频点的参考频域信号向量矩阵;
优选的:还包括步骤S5.对经过回声消除器滤除后的目标语音频域信号中存在的非线性回声和系统噪声进行抑制,抑制后再转化为时域信号。
本发明还公开了一种基于空间预测的回声消除装置,包括第一时域频域转换支路和第二时域频域转换支路,均由ADC及与其连接的时域频域转换模块组成,所述第一时域频域转换支路与空间预测滤波器连接,所述第二时域频域转换支路通过参考信号空间预测缓存与空间预测滤波器连接;
所述空间预测滤波器还连接有回声消除器。
优选的:所述时域频域转换模块为短时傅里叶变换模块。
优选的:所述回声消除器还连接有非线性滤波器。
本发明与传统的回声消除方法相比,本发明方案利用基于空间预测的回声消除算法,提高语音信噪比,提升语音交互质量。
附图说明
图1是本发明所述回声消除方法的一个具体工作流程示意图;
图2是本发明所述回声消除装置的一个具体实施方式示意图;
图3是本发明一个具体实施例中的一个具体输入波形示意图;
图3中上通道为在图2所示回声消除装置中,麦克风阵列的输入信号波形图;下通道为图2中的音频源输出信号波形图;
图4是将图3的信号进行处理后得到的波形图;
图4中上通道为图2所示回声消除装置中,非线性滤波器的输出波形图;下通道为利用现有技术的RLS(最小二乘法)回声消除方法处理得到的输出波形图。
图3和图4中横坐标为时间,纵坐标为电压。
图中附图标记名称为:
ADC - AD转换器;
STFT - 短时傅里叶变换模块;
ISTFT - 短时傅里叶逆变换模块。
具体实施方式
下面对本发明的具体实施方式作进一步的详细说明。
本发明所述回声消除方法可以包括以下步骤实现:
S1. 通过设备装置获取数字信号,利用麦克风阵列和音频播放装置分别获取模拟麦克风信号和模拟参考信号,通过ADC(模数转换器)分别转化为数字麦克风信号和数字参考信号。
麦克风阵列中的麦克风个数N不小于2,当N=1时为单麦克风系统;多个麦克风形成的阵列结构不局限于规则几何形状阵列或非常规阵列,音频播放装置中的扬声器个数不小于1。
模拟麦克风信号从麦克风阵列获取,模拟参考信号为音频播放装置输入的电学模拟信号。
如图2所示,音频源发出的模拟参考信号通过喇叭转化为音频信号播放,播放后的音频信号混杂外部环境噪音等其他音频信号后被麦克风接收并转化为作为模拟麦克风信号的电学信号。
S2. 时域信号转换成频域信号,短时傅里叶变换模块STFT将接收的每个声道的数字时域信号分解成k个频带的频域信号。
参考信号通道数体现在声源属性上,如立体声音源存在两路通道,则其产生的参考通道是有两路音源信号;而在对音质要求没有严苛要求时或传输带宽有限时,往往音源只需取一路信号或只有一路信号。
S4. 以空间预测滤波器对缓存的Lp帧参考频域信号进行滤波,并对麦克风频域信号进行回波滤除,具体为:
其中,为第l帧第k个频点经过回声消除器滤除后的目标语音频域信号;表示步骤S2得到麦克风采集的频域信号中第l帧第k个频点的频域信号,表示步骤S2得到的参考频域信号中第l帧第k个频点的参考频域信号向量矩阵;
空间预测是指麦克风采集的扬声器信号和原参考信号存在很强的线性相关性,可以通过一个固定的或者自适应的滤波器,去逼近该相关性,以改善回声消除的性能,为了取得更好的效果,空间预测滤波器可以通过使用基于线性相关的自适应滤波器算法进行设计,其数学模型如下:
为具体描述空间预测滤波器设计,以自适应滤波器递归最小二乘法(RLS)为例,设计空间预测滤波器。
根据最小二乘法的解可得空间预测滤波器为:
矩阵的初始化状态为0,参考矩阵和自相关矩阵的更新如下式所示:
其中,α为平滑因子,一般取值0.7到0.999, 是由前Lp帧参考频域信号组合的
向量矩阵,X(l)为麦克风频域信号,l代表第l帧,H代表共轭转置。若直接进行矩阵逆运算,
其计算复杂,不利于实时系统应用,因此可利用矩阵求逆引理等矩阵求逆快速算法进行求
解运算。
回声消除器根据空间预测滤波器估计出回声分量并从麦克风采集信号中滤除,
其中,为第l帧第k个频点目标语音频域信号;该信号已经过回声消除器滤除回声分量;表示步骤S2得到麦克风采集的频域信号中第l帧第k个频点的麦克风频域信号,表示步骤S2得到的参考频域信号中第l帧第k个频点的参考频域信号向量矩阵。
回声消除模块对系统的线性回声进行滤除,但残留中会包含诸多非线性回声及系统噪声,可采用非线性滤波器对残留中存在的非性回声和系统噪声进行进一步抑制,其中会用到参考信号数据空间预测缓存器的数据进行算法处理。
针对非线性滤波器处理后的频域信号,可通过短时傅立叶逆变换模块 ISTFT转化为时域信号,输出的时域信号可直接通过系统传递给下一个处理模块。
与传统的回声消除方法相比,本发明方案利用基于空间预测的回声消除算法,提高语音信噪比,提升语音交互质量。
如图3和图4所示给出本发明一个具体实施例,基于图2给出的回声消除装置,在音频源发出如图3下通道所示的信号后,经过喇叭播放,在麦克风阵列输入端得到的的输入信号波形图如图3上通道所示;
图4是将图3的信号进行回声消除处理后得到的波形图;图4中上通道为利用本发明图2所示回声消除装置处理后,非线性滤波器的输出波形图;下通道为利用现有技术的RLS(最小二乘法)回声消除方法处理得到的输出波形图。由图4可见,本发明处理后的目标语音,即图4上下两通道波形中出现的多个电压振幅较大部分,与回声残留值即电压振幅较小部分的差别更大,即本发明处理后的语音信号信噪比更高,表明本发明对回声消除效果更好。
前文所述的为本发明的各个优选实施例,各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提,各个优选实施方式都可以任意叠加组合使用,所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程,并非用以限制本发明的专利保护范围,本发明的专利保护范围仍然以其权利要求书为准,凡是运用本发明的说明书内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
Claims (5)
1.一种基于空间预测的回声消除方法,其特征在于,包括如下步骤:
S1.分别获取模拟麦克风信号和模拟参考信号,并利用ADC分别转化为数字麦克风信号和数字参考信号,ADC为模数转换器;
其中模拟麦克风信号是喇叭发出后并被麦克风接收的电学信号,模拟参考信号是被喇叭发出前的电学信号;
S3.对参考频域信号进行空间预测缓存:
S4. 以空间预测滤波器对缓存的Lp帧参考频域信号进行滤波,并对麦克风频域信号进行回波滤除,具体为:
其中,为第l帧第k个频点经过回声消除器滤除后的目标语音频域信号;表示步骤S2得到麦克风采集的频域信号中第l帧第k个频点的麦克风频域信号,表示步骤S2得到的参考频域信号中第l帧第k个频点的参考频域信号向量矩阵;
2.根据权利要求1所述的回声消除方法,其特征在于:还包括步骤S5.对经过回声消除器滤除后的目标语音频域信号中存在的非线性回声和系统噪声进行抑制,抑制后再转化为时域信号。
4.根据权利要求3所述的回声消除装置,其特征在于:所述时域频域转换模块为短时傅里叶变换模块。
5.根据权利要求3所述的回声消除装置,其特征在于:所述回声消除器还连接有非线性滤波器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410907.5A CN112820311A (zh) | 2021-04-16 | 2021-04-16 | 一种基于空间预测的回声消除方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110410907.5A CN112820311A (zh) | 2021-04-16 | 2021-04-16 | 一种基于空间预测的回声消除方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112820311A true CN112820311A (zh) | 2021-05-18 |
Family
ID=75862413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110410907.5A Pending CN112820311A (zh) | 2021-04-16 | 2021-04-16 | 一种基于空间预测的回声消除方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112820311A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409810A (zh) * | 2021-08-19 | 2021-09-17 | 成都启英泰伦科技有限公司 | 一种联合去混响的回声消除方法及装置 |
CN113763980A (zh) * | 2021-10-30 | 2021-12-07 | 成都启英泰伦科技有限公司 | 一种回声消除方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315772A (zh) * | 2008-07-17 | 2008-12-03 | 上海交通大学 | 基于维纳滤波的语音混响消减方法 |
CN105280195A (zh) * | 2015-11-04 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 语音信号的处理方法及装置 |
CN105989850A (zh) * | 2016-06-29 | 2016-10-05 | 北京捷通华声科技股份有限公司 | 一种回声对消方法及装置 |
CN107017004A (zh) * | 2017-05-24 | 2017-08-04 | 建荣半导体(深圳)有限公司 | 噪声抑制方法、音频处理芯片、处理模组及蓝牙设备 |
CN107749303A (zh) * | 2017-07-31 | 2018-03-02 | 电信科学技术研究院 | 一种声学回声抵消器输出语音信号的后处理方法及装置 |
US9916840B1 (en) * | 2016-12-06 | 2018-03-13 | Amazon Technologies, Inc. | Delay estimation for acoustic echo cancellation |
CN109256145A (zh) * | 2017-07-14 | 2019-01-22 | 北京搜狗科技发展有限公司 | 基于终端的音频处理方法、装置、终端和可读存储介质 |
CN109767779A (zh) * | 2018-11-17 | 2019-05-17 | 沈阳工业大学 | 基于最小误差熵的成比例仿射投影方法 |
CN112190280A (zh) * | 2020-10-13 | 2021-01-08 | 苏州美糯爱医疗科技有限公司 | 一种电子听诊器背景音干扰实时自动抵消方法 |
-
2021
- 2021-04-16 CN CN202110410907.5A patent/CN112820311A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315772A (zh) * | 2008-07-17 | 2008-12-03 | 上海交通大学 | 基于维纳滤波的语音混响消减方法 |
CN105280195A (zh) * | 2015-11-04 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 语音信号的处理方法及装置 |
CN105989850A (zh) * | 2016-06-29 | 2016-10-05 | 北京捷通华声科技股份有限公司 | 一种回声对消方法及装置 |
US9916840B1 (en) * | 2016-12-06 | 2018-03-13 | Amazon Technologies, Inc. | Delay estimation for acoustic echo cancellation |
CN107017004A (zh) * | 2017-05-24 | 2017-08-04 | 建荣半导体(深圳)有限公司 | 噪声抑制方法、音频处理芯片、处理模组及蓝牙设备 |
CN109256145A (zh) * | 2017-07-14 | 2019-01-22 | 北京搜狗科技发展有限公司 | 基于终端的音频处理方法、装置、终端和可读存储介质 |
CN107749303A (zh) * | 2017-07-31 | 2018-03-02 | 电信科学技术研究院 | 一种声学回声抵消器输出语音信号的后处理方法及装置 |
CN109767779A (zh) * | 2018-11-17 | 2019-05-17 | 沈阳工业大学 | 基于最小误差熵的成比例仿射投影方法 |
CN112190280A (zh) * | 2020-10-13 | 2021-01-08 | 苏州美糯爱医疗科技有限公司 | 一种电子听诊器背景音干扰实时自动抵消方法 |
Non-Patent Citations (1)
Title |
---|
冯江浩: "一种用于回声消除的变步长SC-MPNLMS频域分块算法", 《现代电子技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409810A (zh) * | 2021-08-19 | 2021-09-17 | 成都启英泰伦科技有限公司 | 一种联合去混响的回声消除方法及装置 |
CN113409810B (zh) * | 2021-08-19 | 2021-10-29 | 成都启英泰伦科技有限公司 | 一种联合去混响的回声消除方法 |
CN113763980A (zh) * | 2021-10-30 | 2021-12-07 | 成都启英泰伦科技有限公司 | 一种回声消除方法 |
CN113763980B (zh) * | 2021-10-30 | 2023-05-12 | 成都启英泰伦科技有限公司 | 一种回声消除方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109727604B (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
Zhang et al. | FT-LSTM based complex network for joint acoustic echo cancellation and speech enhancement | |
CN108447496B (zh) | 一种基于麦克风阵列的语音增强方法及装置 | |
US8391471B2 (en) | Echo suppressing apparatus, echo suppressing system, echo suppressing method and recording medium | |
Zhang et al. | Multi-task deep residual echo suppression with echo-aware loss | |
CN111768796A (zh) | 一种声学回波消除与去混响方法及装置 | |
CN112820311A (zh) | 一种基于空间预测的回声消除方法及装置 | |
CN113409810B (zh) | 一种联合去混响的回声消除方法 | |
JP2022505997A (ja) | 骨振動センサーとマイクの信号を融合するディープラーニング音声抽出及びノイズ低減方法 | |
Braun et al. | Task splitting for dnn-based acoustic echo and noise removal | |
WO2024169940A1 (zh) | 无参考回路的回声消除装置及方法 | |
CN110876106A (zh) | 电子设备、降噪方法、计算机系统和介质 | |
CN115083431A (zh) | 回声的消除方法、装置、电子设备及计算机可读介质 | |
WO2023108864A1 (zh) | 小型麦克风阵列设备的区域拾音方法及系统 | |
CN116962934B (zh) | 一种拾音降噪方法及系统 | |
CN1180602C (zh) | 用于时空回声消除的方法和装置 | |
CN113782044A (zh) | 一种语音增强方法及装置 | |
CN110931034B (zh) | 一种送话拾音麦克风内置型耳机的拾音降噪方法 | |
CN111225317B (zh) | 一种回声消除方法 | |
CN111009259B (zh) | 一种音频处理方法和装置 | |
CN111739551A (zh) | 一种基于低秩与稀疏张量分解的多通道心肺音去噪系统 | |
KR20110024969A (ko) | 음성신호에서 통계적 모델을 이용한 잡음 제거 장치 및 방법 | |
CN115620737A (zh) | 语音信号处理装置、方法、电子设备和扩音系统 | |
CN115440240A (zh) | 语音降噪的训练方法、语音降噪系统及语音降噪方法 | |
CN114827363A (zh) | 用于通话过程中消除回声的方法、设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210518 |
|
RJ01 | Rejection of invention patent application after publication |