CN110197669B - 一种语音信号处理方法及装置 - Google Patents
一种语音信号处理方法及装置 Download PDFInfo
- Publication number
- CN110197669B CN110197669B CN201810162252.2A CN201810162252A CN110197669B CN 110197669 B CN110197669 B CN 110197669B CN 201810162252 A CN201810162252 A CN 201810162252A CN 110197669 B CN110197669 B CN 110197669B
- Authority
- CN
- China
- Prior art keywords
- end signal
- output
- echo
- far
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 230000001629 suppression Effects 0.000 claims abstract description 73
- 230000000452 restraining effect Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开一种语音信号处理方法及装置，所述方法包括如下步骤：步骤一，接收解码的远端信号，并于播放解码后的远端信号的同时采集近端信号；步骤二，估计并补偿延迟，对远端及近端信号进行数据对齐操作；步骤三，将对齐后的远端和近端信号送入带反馈的自适应回声抑制单元，抑制近端信号中的回声；步骤四，抑制近端信号中的残余回声与啸叫；步骤五，抑制近端信号中的噪声；步骤六，将近端信号通过网络传输出去，通过本发明，能够对全双工通话中的回声、残余回声、啸叫以及噪声进行抑制，能够以比较低的复杂度解决语音对讲中的回声、啸叫以及噪声等问题。
Description
技术领域
本发明涉及通信技术领域，特别是涉及一种适用于全双工通话的语音信号处理方法与装置。
背景技术
全双工语音双向对讲不仅常见于免提通话、会议一体机等传统应用中,随着家用网络摄像机的普及,也开始出现于摄像机端与手机端的视频通话应用中，如儿童陪护机器以及可视门铃等。
目前，上述应用场景一般如图1所示，其中，终端设备通过互联网接收远端语音信号，经过音频解码器单元解码后经过数字-模拟转换器转换为模拟信号，最后经过扬声器播放，同时终端设备的麦克风采集本地语音信号后经过模拟-数字转换器转换为数字信号，经过本地语音信号处理器单元处理后(消除回声、抑制噪声等)再经过音频编码器单元编码压缩打包后通过网络传输到远端。然后受限于终端设备体积，尤其是近年来家用网络摄像机的轻型化低功耗趋势，使得终端设备的麦克风与扬声器之间的距离较近；同时受限于成本，设备采用相对低廉的麦克风和扬声器的线性度较差，不仅回声消除后的残余回声较多，更容易发生啸叫，而且语音信号中的噪声也较严重。
现有技术如公开号为CN103037121A的中国专利申请，其检测到啸叫时就切换到半双工通话模式，以降低客户通话体验为代价，通过切断啸叫振荡回路达到抑制啸叫的目的，文献《A Psychoacoustic Approach to Combined Acoustic Echo Cancellation andNoise Reduction》则介绍了一种同时抑制残余回声与噪声的后处理滤波器。
但是目前已公开的文献或专利中并没有给出如何在全双工通话中同时有效抑制回声、残余回声与啸叫以及噪声的方法和装置。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种语音信号处理方法及装置，以能够对全双工通话中的回声,残余回声,啸叫以及噪声进行抑制，能够以比较低的复杂度解决语音对讲中的回声、啸叫以及噪声等问题。
为达上述及其它目的，本发明提出一种语音信号处理方法，包括如下步骤：
步骤一，接收解码的远端信号，并于播放解码后的远端信号的同时采集近端信号；
步骤二，估计并补偿延迟，对远端及近端信号进行数据对齐操作；
步骤三，将对齐后的远端和近端信号送入带反馈的自适应回声抑制单元，抑制近端信号中的回声；
步骤四，抑制近端信号中的残余回声与啸叫；
步骤五，抑制近端信号中的噪声；
步骤六，将近端信号通过网络传输出去。
进一步地，步骤三进一步包括：
近端和远端信号分别进行离散傅立叶DFT变换；
将经离散傅立叶DFT变换后的远端和近端信号送入所述带反馈的自适应回声抑制单元，以抑制近端信号中的回声。
进一步地，步骤四进一步包括：
步骤S1，将步骤三的输出分为两路，一路计算不同频段下步骤三的输出与最近L帧远端信号的相似度；
步骤S2，得到回声消除输出在各频带下与最近L帧远端信号的相似度后，根据获得的相似度以及最近L帧远端信号加权得到残余回声估计；
步骤S3，将当前帧回声消除输出的幅值减去残余回声估计得到残余回声抑制后的输出幅值；
步骤S4，获得步骤三的另一路输出，计算特定频段下回声消除输出与啸叫信号的相似度；
步骤S5，将该相似度映射为幅度抑制因子，抑制特定频段幅度；
步骤S6，对步骤S3的输出与步骤S5的输出进行融合后输出。
进一步地，于步骤S1中，计算跨功率谱相关密度作为当前帧回声消除输出与最近L帧远端信号的相似度计算依据。
进一步地，于步骤S2中，将步骤S1中得到的相似度映射为权重，并利用最近L帧远端信号加权得到残余回声估计。
进一步地，于步骤S4中，所述特定频段指的是特定采样率下啸叫易发生频段，通过离线预先标定得到，所述相似度采用时-频域结合的判据来衡量。
进一步地，于步骤S6中，将步骤S3的输出与步骤S 5的输出取最小值作为输出幅值，同时保留原始回声消除输出相位，作为融合后的输出。
进一步地，于步骤五中，
在步骤四的基础上，分频段对带噪信号进行掩蔽，进一步抑制噪声，噪声幅值估计通过之前噪声能量估计与当前瞬时能量估计进行平滑来实现，平滑因子通过所述带反馈的自适应回声抑制单元中的滤波器更新步长进行辅助判断。
进一步地，于步骤六中，将经过噪声抑制后的语音经过反DFT运算后输出。
为达到上述目的，本发明还提供一种语音信号处理装置，包括：
信号采集与处理单元，用于接收解码后的远端信号将其存放至缓冲区内，并于播放解码后的远端信号的同时采集近端信号，估计并补偿延迟，对远端及近端信号进行数据对齐操作；
第一DFT运算单元，用于对对齐的近端信号进行离散傅立叶DFT变换送入回声抑制单元；
第二DFT运算单元，用于对对齐的远端信号进行离散傅立叶DFT变换送入回声抑制单元；
带反馈的自适应回声抑制单元，用于抑制近端信号中的回声，并根据输出与远端信号的相关性自适应地调整滤波器更新步长；
残余回声与啸叫抑制单元，以所述带反馈的自适应回声抑制单元的输出作为输入，对可能存在啸叫的频段进行检测，进而决定抑制的幅度，同时对残余回声进行抑制；
噪声抑制单元，用于在残余回声与啸叫抑制单元的输出基础上估计噪声，以抑制近端信号中的噪声；
反DFT运算单元，用于将所述噪声抑制单元输出的语音经过反DFT运算后输出。
与现有技术相比，本发明提出一种语音信号处理方法及装置,能够对全双工通话中的回声、残余回声、啸叫以及噪声进行抑制，能够以比较低的复杂度解决语音对讲中的回声、啸叫以及噪声等问题，同时给出了一种噪声能量估计中平滑因子的快速更新算法。
附图说明
图1为本发明典型应用场景示意图；
图2为本发明一种语音信号处理方法的步骤流程图；
图3为本发明具体实施例中步骤204的细部流程图；
图4为本发明一种语音信号处理装置的系统结构图；
图5为本发明具体实施例中残余回声与啸叫抑制单元的细部结构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图2为本发明一种语音信号处理方法的步骤流程图。如图2所示，本发明一种语音信号处理方法，包括如下步骤：
步骤201，接收解码远端信号将其存放至缓冲区内，播放解码后的远端信号的同时采集近端信号。在本发明中，被扬声器播放的远端信号经过机壳、墙壁等反射后变成回声信号和本地语言信号以及环境噪声一起也被麦克风采集，通称为近端信号。
步骤202，估计并补偿延迟，对远端及近端信号进行数据对齐操作。由于声音传输以及数据接收到播放的延迟等原因，此时麦克风采集到的回声信号与接收的远端信号之间存在延迟，因此在回声抵消之前需要估计并补偿延迟，达到数据对齐的目的，在本发明具体实施例中，延迟可以通过标定预先设置，也可以通过在线实时估计的方法得到，后者可以通过计算当前帧近端信号与缓冲区中最近几帧的远端信号的相似度来实现。
步骤203，将对齐后的远端和近端信号送入带反馈的自适应回声抑制单元，抑制近端信号中的回声。
具体地，步骤203进一步包括：
步骤S31,对近端和远端信号分别进行离散傅立叶DFT变换。
具体地，假设远端信号已经进行过延迟补偿操作，当前语音帧为第t帧，t≥L，分别对近端和远端信号的数据加窗后进行离散傅立叶(DFT)正变换，变换后的频域结果分别表示为D(ωk,t)和X(ωk,t)，其中
k＝0,1,...,N-1为频率分量。
步骤S32,将经离散傅立叶DFT变换后的远端和近端信号送入回声抑制单元，抑制近端信号中的回声。
具体地，将上述频域结果输入回声抑制单元，其输出记为E(ωk,t)，所述回声抑制单元可以利用频域自适应滤波算法实现，如归一化最小均方自适应滤波器NLMS。
步骤204，抑制近端信号中的残余回声与啸叫。
具体地，如图3所示，步骤204进一步包括：
步骤S41，将步骤203的输出分为两路，一路计算不同频段下步骤203的输出与最近L帧远端信号的相似度。在本发明具体实施例中，相似度可以采用跨功率谱相关密度或其它近似算法实现。
具体地，利用如下公式(1)计算跨功率谱相关密度PEX(ωk,ti)，作为当前帧回声消除输出E(ωk,t)与第t-i帧远端信号X(ωk,t-i)的相似度计算依据
PEX(ωk,ti)＝|E(ωk,t)||X(ωk,t-i)| (1)
其中，其中0≤i≤L，操作符||代表取复数幅值运算。
当然上述相似度计算依据除了使用跨功率谱相关密度，也可以使用其它近似算法，如统计不同频带下当前帧与第t-i帧远端信号能量或幅值的直方图分布相似情况，本发明不以此为限。
步骤S42，得到回声消除输出在各频带下与最近L帧远端信号的相似度后，根据获得的相似度以及最近L帧远端信号加权得到残余回声估计。
具体地，将步骤S41中得到的相似度映射为权重，并利用最近L帧远端信号加权得到残余回声估计，在本发明具体实施例中，采用如下公式(2)加权得到第t帧残余回声估计
上述归一化权重可以将公式1计算得到的相似度为索引，查表得到；也可以直接使用公式(3)将相似度归一化后得到：
步骤S43，将当前帧回声消除输出的幅值|E(ωk,t)|减去残余回声估计
得到残余回声抑制后的输出幅值E1(ωk,t)。
步骤S44,获得步骤203的另一路输出，计算特定频段下回声消除输出E(ωk,t)与啸叫信号的相似度。所述特定频段指的是特定采样率下啸叫易发生频段，可以通过离线预先标定得到，所述相似度采用时-频域结合的判据来衡量。
步骤S45，将该相似度映射为幅度抑制因子，抑制特定频段幅度。
由于正常语音或音乐信号会在基频和谐波上都有能量分布，而啸叫信号不存在此特点，因此可以统计基频与对应谐波能量比大于预设定阈值的次数。上述基频指的是特定频段附近的频率，上述谐波指的是频率是基频整数倍的频率。同时可以再统计时域上前K帧特定频段能量大于预设定阈值的次数，通过查表将上述两统计值映射为该频段下回声消除输出E(ωk,t)与啸叫信号的相似度或置信度，再将上述相似度查表得到该频段幅度抑制因子，乘到抑制该频段幅度上，得到啸叫抑制的输出幅值E2(ωk,t)。上述基频与对应谐波能量比采用公式(4)计算得到：
其中ωj为特定采样率下啸叫易发生频点附近频段，当采样率为8KHZ时，一个典型的啸叫易发生频点为1.15KHZ，m一般为2。
步骤S46,将步骤S43的输出与步骤S45的输出取最小值作为输出幅值，同时保留原始回声消除输出E(ωk,t)相位，作为融合后的输出。当然，上述融合方法也可以取步骤S43的输出与步骤S45的输出的平均值作为输出幅值，或者与前一帧的估计值做一阶平滑后作为输出幅值。
步骤205，抑制近端信号中的噪声。
在步骤204的基础上，可以分频段对带噪信号进行掩蔽，进一步抑制噪声。需要注意的是，这里的噪声抑制一般需要通过近端语音信号的幅值或能量大小判断是否有人说话，从而决定是否更新噪声估计的能量或幅值。噪声幅值估计算法一般采用类似公式(5)的一阶平滑来实现。
其中N(ωk,t)为平滑后的噪声能量估计，
为瞬时噪声能量估计，N(ωk,t-1)为前一帧平滑后的噪声能量估计，λ为平滑因子
此时可以通过回声抑制单元中的滤波器更新步长进行辅助判断，回声抵消滤波器步长较小时，近端信号存在说话人概率较大，此时可以减小λ降低噪声更新速度；当回声抵消滤波器步长较大时，近端信号存在说话人概率较小，此时可以增加λ加快噪声更新速度。
步骤206，将经过噪声抑制后的语音经过反DFT运算后输出。由于反DET运算采用的是现有技术，在此不予赘述。
通过上述步骤，能够对全双工通话中的回声,残余回声,啸叫以及噪声进行抑制，能够以比较低的复杂度解决语音对讲中的回声,啸叫以及噪声等问题。
图4为本发明一种语音信号处理装置的系统结构图。如图4所示，本发明一种语音信号处理装置，包括：
信号采集与处理单元40，用于接收解码后的远端信号将其存放至缓冲区内，并于播放解码后的远端信号的同时采集近端信号，估计并补偿延迟，对远端及近端信号进行数据对齐操作。在本发明中，被扬声器播放的远端信号经过机壳、墙壁等反射后变成回声信号和本地语言信号以及环境噪声一起也被麦克风采集，通称为近端信号。
由于声音传输以及数据接收到播放的延迟等原因，此时麦克风采集到的回声信号与接收的远端信号之间存在延迟，因此在回声抵消之前需要估计并补偿延迟，达到数据对齐的目的，在本发明具体实施例中，延迟可以通过标定预先设置，也可以通过在线实时估计的方法得到，后者可以通过计算当前帧近端信号与缓冲区中最近几帧的远端信号的相似度来实现。
第一DFT运算单元41，用于对对齐的近端信号进行离散傅立叶DFT变换送入回声抑制单元43。
第二DFT运算单元42，用于对对齐的远端信号进行离散傅立叶DFT变换送入回声抑制单元43。
具体地，DFT运算单元用于将输入信号从时域变换至频域，假设远端信号已经进行过延迟补偿操作，当前语音帧为第t帧，t≥L，分别对近端和远端信号的数据加窗后进行离散傅立叶(DFT)正变换，变换后的频域结果分别表示为D(ωk,t)和X(ωk,t)，其中
k＝0,1,...,N-1为频率分量。
带反馈的自适应回声抑制单元43，用于抑制近端信号中的回声，并根据输出与远端信号的相关性自适应地调整滤波器更新步长。具体地，将上述第一DFT运算单元31与第二DFT运算单元42的频域结果输入带反馈的自适应回声抑制单元以抑制近端信号中的回声，其输出记为E(ωk,t)，所述回声抑制单元43可以利用频域自适应滤波算法实现，如归一化最小均方自适应滤波器NLMS，根据输出与远端信号的相关性自适应地调整滤波器更新步长。
残余回声与啸叫抑制单元44，以所述带反馈的自适应回声抑制单元43的输出作为输入，对可能存在啸叫的频段进行检测，进而决定抑制的幅度，同时对残余回声进行抑制。
具体地，如图5所示，残余回声与啸叫抑制单元44进一步包括：
残余回声相似度计算单元441，用于计算不同频段下带反馈的自适应回声抑制单元43的输出与最近L帧远端信号的相似度。也就是说，残余回声相似度计算单元441从缓存单元15中得到前L帧远端信号并分别计算与其输入信号的相似度，在本发明具体实施例中，相似度可以采用跨功率谱相关密度或其它近似算法实现。
残余回声估计单元442，于得到回声消除输出在各频带下与最近L帧远端信号的相似度后，根据获得的相似度以及最近L帧远端信号加权得到残余回声估计。具体地，残余回声估计单元442将相似度映射为权重并分配给缓存单元15中得到的前L帧远端信号，加权平均后得到残余回声估计。
第一抑制单元443，将当前帧的回声抑制单元输出减去残余回声估计得到第一抑制单元443的输出。
啸叫相似度计算单元444，用于计算当前帧的回声抑制单元输出在特定频段下和啸叫信号的相似度；
第二抑制单元445，用于将相似度映射为幅值调整因子，并调整特定频段幅度，得到第二抑制单元445的输出。
融合输出单元446，用于将第一抑制单元443、第二抑制单元445的输出取最小值作为输出幅值，同时保留原始回声消除输出相位，作为融合后的输出。当然，上述融合方法也可以取第一抑制单元443的输出与第一抑制单元443的输出的平均值作为输出幅值，或者与前一帧的估计值做一阶平滑后作为输出幅值。
噪声抑制单元45，用于在残余回声与啸叫抑制单元44的输出基础上估计噪声，以抑制近端信号中的噪声。
在残余回声与啸叫抑制单元44的基础上，可以分频段对带噪信号进行掩蔽，进一步抑制噪声。需要注意的是，这里的噪声抑制一般需要通过近端语音信号的幅值或能量大小判断是否有人说话，从而决定是否更新噪声估计的能量或幅值。在本发明具体实施例中，可以通过带反馈的自适应回声抑制单元43中的滤波器更新步长辅助判定噪声估计平滑因子。
反DFT运算单元36，用于将噪声抑制单元45输出的语音经过反DFT运算后输出。由于反DET运算采用的是现有技术，在此不予赘述。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (9)
1.一种语音信号处理方法，包括如下步骤：
步骤一，接收解码的远端信号，并于播放解码后的远端信号的同时采集近端信号；
步骤二，估计并补偿延迟，对远端及近端信号进行数据对齐操作；
步骤三，将对齐后的远端和近端信号送入带反馈的自适应回声抑制单元，抑制近端信号中的回声；
步骤四，抑制近端信号中的残余回声与啸叫；
步骤五，抑制近端信号中的噪声；
步骤六，将近端信号通过网络传输出去；
其中，步骤四进一步包括：
步骤S1，将步骤三的输出分为两路，一路计算不同频段下步骤三的输出与最近L帧远端信号的相似度；
步骤S2，得到回声消除输出在各频带下与最近L帧远端信号的相似度后，根据获得的相似度以及最近L帧远端信号加权得到残余回声估计；
步骤S3，将当前帧回声消除输出的幅值减去残余回声估计得到残余回声抑制后的输出幅值；
步骤S4，获得步骤三的另一路输出，计算特定频段下回声消除输出与啸叫信号的相似度；
步骤S5，将该相似度映射为幅度抑制因子，抑制特定频段幅度；
步骤S6，对步骤S3的输出与步骤S5的输出进行融合后输出。
2.如权利要求1所述的一种语音信号处理方法，其特征在于：步骤三进一步包括：
近端和远端信号分别进行离散傅立叶DFT变换；
将经离散傅立叶DFT变换后的远端和近端信号送入所述带反馈的自适应回声抑制单元，以抑制近端信号中的回声。
3.如权利要求1所述的一种语音信号处理方法，其特征在于：于步骤S1中，计算跨功率谱相关密度作为当前帧回声消除输出与最近L帧远端信号的相似度计算依据。
4.如权利要求1所述的一种语音信号处理方法，其特征在于：于步骤S2中，将步骤S1中得到的相似度映射为权重，并利用最近L帧远端信号加权得到残余回声估计。
5.如权利要求1所述的一种语音信号处理方法，其特征在于：于步骤S4中，所述特定频段指的是特定采样率下啸叫易发生频段，通过离线预先标定得到，所述相似度采用时-频域结合的判据来衡量。
6.如权利要求1所述的一种语音信号处理方法，其特征在于：于步骤S6中，将步骤S3的输出与步骤S5的输出取最小值作为输出幅值，同时保留原始回声消除输出相位，作为融合后的输出。
7.如权利要求1所述的一种语音信号处理方法，其特征在于，于步骤五中，
在步骤四的基础上，分频段对带噪信号进行掩蔽，进一步抑制噪声，噪声幅值估计通过之前噪声能量估计与当前瞬时能量估计进行平滑后得到，上述平滑估计中的平滑因子的大小通过所述带反馈的自适应回声抑制单元中的滤波器更新步长进行辅助判断。
8.如权利要求1所述的一种语音信号处理方法，其特征在于：于步骤六中，将经过噪声抑制后的语音经过反DFT运算后输出。
9.一种语音信号处理装置，包括：
信号采集与处理单元，用于接收解码后的远端信号将其存放至缓冲区内，并于播放解码后的远端信号的同时采集近端信号，估计并补偿延迟，对远端及近端信号进行数据对齐操作；
第一DFT运算单元，用于对对齐的近端信号进行离散傅立叶DFT变换送入回声抑制单元；
第二DFT运算单元，用于对对齐的远端信号进行离散傅立叶DFT变换送入回声抑制单元；
带反馈的自适应回声抑制单元，用于抑制近端信号中的回声，并根据输出与远端信号的相关性自适应地调整滤波器更新步长；
残余回声与啸叫抑制单元，以所述带反馈的自适应回声抑制单元的输出作为输入，对可能存在啸叫的频段进行检测，进而决定抑制的幅度，同时对残余回声进行抑制；
噪声抑制单元，用于在残余回声与啸叫抑制单元的输出基础上估计噪声，以抑制近端信号中的噪声；
反DFT运算单元，用于将所述噪声抑制单元输出的语音经过反DFT运算后输出；
其中，残余回声与啸叫抑制单元进一步包括：
残余回声相似度计算单元，用于计算不同频段下带反馈的自适应回声抑制单元的输出与最近L帧远端信号的相似度；
残余回声估计单元，于得到回声消除输出在各频带下与最近L帧远端信号的相似度后，根据获得的相似度以及最近L帧远端信号加权得到残余回声估计；
第一抑制单元，将当前帧的回声抑制单元输出减去残余回声估计得到第一抑制单元的输出；
啸叫相似度计算单元，用于计算当前帧的回声抑制单元输出在特定频段下和啸叫信号的相似度；
第二抑制单元，用于将相似度映射为幅值调整因子，并调整特定频段幅度，得到第二抑制单元的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810162252.2A CN110197669B (zh) | 2018-02-27 | 2018-02-27 | 一种语音信号处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810162252.2A CN110197669B (zh) | 2018-02-27 | 2018-02-27 | 一种语音信号处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197669A CN110197669A (zh) | 2019-09-03 |
| CN110197669B true CN110197669B (zh) | 2021-09-10 |
Family
ID=67750846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810162252.2A Active CN110197669B (zh) | 2018-02-27 | 2018-02-27 | 一种语音信号处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197669B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111246036A (zh) * | 2020-02-17 | 2020-06-05 | 上海推乐信息技术服务有限公司 | 一种回声估计方法和装置 |
| CN111462771B (zh) * | 2020-04-03 | 2022-04-12 | 宁波菊风系统软件有限公司 | 一种啸叫处理方法 |
| CN111583949A (zh) * | 2020-04-10 | 2020-08-25 | 南京拓灵智能科技有限公司 | 啸叫抑制的方法、装置和设备 |
| CN111883155B (zh) * | 2020-07-17 | 2023-10-27 | 海尔优家智能科技（北京）有限公司 | 回声消除方法、装置及存储介质 |
| CN111885275B (zh) * | 2020-07-23 | 2021-11-26 | 海尔优家智能科技（北京）有限公司 | 语音信号的回声消除方法、装置、存储介质以及电子装置 |
| CN112397080B (zh) * | 2020-10-30 | 2023-02-28 | 浙江大华技术股份有限公司 | 回声消除方法及装置、语音设备及计算机可读存储介质 |
| CN113286047B (zh) * | 2021-04-22 | 2023-02-21 | 维沃移动通信（杭州）有限公司 | 语音信号处理方法、装置及电子设备 |
| CN113299304B (zh) * | 2021-05-11 | 2023-09-12 | 泰凌微电子(上海)股份有限公司 | 抑制麦克风啸叫的方法、装置和麦克风 |
| CN113823314B (zh) * | 2021-08-12 | 2022-10-28 | 北京荣耀终端有限公司 | 语音处理方法和电子设备 |
| CN114154589B (zh) * | 2021-12-13 | 2023-09-29 | 成都索贝数码科技股份有限公司 | 一种基于相似性的模块减枝方法 |
| CN115223584B (zh) * | 2022-09-19 | 2022-12-09 | 腾讯科技（深圳）有限公司 | 音频数据处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102413384A (zh) * | 2011-11-16 | 2012-04-11 | 杭州艾力特音频技术有限公司 | 一种回声消除双向语音对讲设备 |
| CN103037121A (zh) * | 2012-12-13 | 2013-04-10 | 深圳市音络科技有限公司 | 啸叫消除方法、啸叫消除系统和免提电话 |
| CN103152500A (zh) * | 2013-02-21 | 2013-06-12 | 中国对外翻译出版有限公司 | 多方通话中回音消除方法 |
| CN106657507A (zh) * | 2015-11-03 | 2017-05-10 | 中移（杭州）信息技术有限公司 | 一种声学回声消除方法及装置 |
| CN106782586A (zh) * | 2016-11-14 | 2017-05-31 | 阔地教育科技有限公司 | 一种音频信号处理方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10225395B2 (en) * | 2015-12-09 | 2019-03-05 | Whatsapp Inc. | Techniques to dynamically engage echo cancellation |
| US9972337B2 (en) * | 2016-06-22 | 2018-05-15 | Cisco Technology, Inc. | Acoustic echo cancellation with delay uncertainty and delay change |
-
2018
- 2018-02-27 CN CN201810162252.2A patent/CN110197669B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102413384A (zh) * | 2011-11-16 | 2012-04-11 | 杭州艾力特音频技术有限公司 | 一种回声消除双向语音对讲设备 |
| CN103037121A (zh) * | 2012-12-13 | 2013-04-10 | 深圳市音络科技有限公司 | 啸叫消除方法、啸叫消除系统和免提电话 |
| CN103152500A (zh) * | 2013-02-21 | 2013-06-12 | 中国对外翻译出版有限公司 | 多方通话中回音消除方法 |
| CN106657507A (zh) * | 2015-11-03 | 2017-05-10 | 中移（杭州）信息技术有限公司 | 一种声学回声消除方法及装置 |
| CN106782586A (zh) * | 2016-11-14 | 2017-05-31 | 阔地教育科技有限公司 | 一种音频信号处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197669A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197669B (zh) | 一种语音信号处理方法及装置 | |
| CN110838300B (zh) | 回声消除的处理方法及处理系统 | |
| US8861713B2 (en) | Clipping based on cepstral distance for acoustic echo canceller | |
| JP4975073B2 (ja) | デジタル適応フィルタと同フィルタを用いたアコスティックエコーキャンセラ | |
| JP4702372B2 (ja) | エコー抑圧方法及び装置 | |
| US8311234B2 (en) | Echo canceller and communication audio processing apparatus | |
| US8488776B2 (en) | Echo suppressing method and apparatus | |
| EP1942582B1 (en) | Echo suppressing method and device | |
| JP3351532B2 (ja) | 雑音に強いエコーキャンセラ用の可変ブロックサイズ適応アルゴリズム | |
| US20190115040A1 (en) | Echo cancellation and suppression in electronic device | |
| KR101422984B1 (ko) | 잔류 에코를 억제하는 방법 및 장치 | |
| US8320554B1 (en) | Acoustic echo canceller clock compensation | |
| US8160239B2 (en) | Echo canceller and speech processing apparatus | |
| WO1995023477A1 (en) | Doubletalk detection by means of spectral content | |
| WO2005125168A1 (en) | Echo canceling apparatus, telephone set using the same, and echo canceling method | |
| US8693678B2 (en) | Device and method for controlling damping of residual echo | |
| CN111742541B (zh) | 声学回波抵消方法、装置、存储介质 | |
| US9191519B2 (en) | Echo suppressor using past echo path characteristics for updating | |
| JP5086769B2 (ja) | 拡声通話装置 | |
| CN110956975B (zh) | 回声消除方法及装置 | |
| WO2009092709A1 (en) | Acoustic echo reduction | |
| US9172791B1 (en) | Noise estimation algorithm for non-stationary environments | |
| CN112929506A (zh) | 音频信号的处理方法及装置，计算机存储介质及电子设备 | |
| Yang | Multilayer adaptation based complex echo cancellation and voice enhancement | |
| KR100272131B1 (ko) | 계층적 구조의 적응반향 제거장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |