CN110782914B - 信号处理方法、装置、终端设备及存储介质 - Google Patents
信号处理方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN110782914B CN110782914B CN201911056393.7A CN201911056393A CN110782914B CN 110782914 B CN110782914 B CN 110782914B CN 201911056393 A CN201911056393 A CN 201911056393A CN 110782914 B CN110782914 B CN 110782914B
- Authority
- CN
- China
- Prior art keywords
- signal
- power spectrum
- sound signal
- echo
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000005236 sound signal Effects 0.000 claims abstract description 170
- 238000012545 processing Methods 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000001228 spectrum Methods 0.000 claims description 115
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- ZJMZZNVGNSWOOM-UHFFFAOYSA-N N-(butan-2-yl)-N'-ethyl-6-methoxy-1,3,5-triazine-2,4-diamine Chemical compound CCNC1=NC(NC(C)CC)=NC(OC)=N1 ZJMZZNVGNSWOOM-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
Abstract
本发明提供一种信号处理方法、装置、终端设备及存储介质。通过采集包括近端信号、远端信号、近端信号经过房间反射后的第一回声信号、远端信号经过房间反射后的第二回声信号以及噪声信号的第一声音信号，对第一声音信号进行线性自适应处理，滤除远端信号，得到第二声音信号，再将第二声音信号输入至预设的超高斯滤波器中，得到第三声音信号，该第三声音信号中保留近端信号，从而避免在滤除回声信号和噪声信号时将近端信号抑制或消除的问题，保证语音通话质量。
Description
技术领域
本发明涉及信号处理技术领域，尤其涉及一种信号处理方法、装置、终端设备及存储介质。
背景技术
语音通讯是通过语音并借助传输媒介的沟通方式，例如两个用户之间通过手机通话、多个用户之间通过电话会议终端进行远程会议、游戏玩家之间通过手机沟通交流等。以上述游戏场景为例，如果近端玩家使用扬声器外放，对端玩家发出的语音经过外放播放后，会再次被麦克风采集，产生回声，如果不对回声进行处理，对端玩家除了听到近端玩家发出的语音，还会听到自身语音的回声以及近端终端播放的游戏背景音的回声，造成音质嘈杂，玩家体验差。
为了消除上述回声，提升游戏语音通话质量，目前对语音信号的处理包括线性处理过程和非线性处理过程，经线性处理之后通常还有比较多的回声残留，需要通过非线性处理进行抑制。
然而，现有的非线性处理过程在抑制回声信号的时候，同时会将近端采集到的有效声音进行抑制，甚至有些情况下近端的声音被完全消除。
发明内容
本发明提供一种信号处理方法、装置、终端设备及存储介质，避免在滤除回声信号和噪声信号时将近端信号抑制或消除，保证语音通话质量。
本发明的第一方面提供一种信号处理方法，该方法包括：
采集第一声音信号，所述第一声音信号包括近端信号、远端信号、所述近端信号经过房间反射后的第一回声信号，所述远端信号经过房间反射后的第二回声信号以及噪声信号；
对所述第一声音信号进行线性自适应处理，得到第二声音信号，所述第二声音信号包括所述近端信号、所述第一回声信号、所述第二回声信号以及所述噪声信号；
将所述第二声音信号输入至预设的超高斯滤波器，得到第三声音信号，所述第三声音信号中保留所述近端信号。
可选的，所述超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器；
其中，所述近端混响早期功率谱是所述近端信号经过傅里叶变换得到的功率谱，所述近端混响功率谱是所述第一回声信号经过傅里叶变换后得到的功率谱，所述噪声功率谱是所述噪声信号经过傅里叶变换得到的功率谱，所述残留回声功率谱是所述第二回声信号经过傅里叶变换得到的功率谱。
在一种可能的实现方式中，所述方法还包括：
将所述第三声音信号进行后置滤波处理，得到第四声音信号，所述第四声音信号中保留所述近端信号，并滤除所述第三声音信号中的高频信号。
在一种可能的实现方式中，所述将所述第三声音信号进行后置滤波处理，得到第四声音信号之前，所述方法还包括：
获取所述近端信号经过傅里叶变换得到的近端混响早期功率谱，以及所述第二声音信号经过傅里叶变换得到的第一功率谱；
判断所述近端混响早期功率谱与所述第一功率谱的平方的比值是否大于或者等于预设阈值；
若所述比值大于或者等于所述预设阈值，执行将所述第三声音信号进行后置滤波处理的步骤。
本发明的第二方面提供一种信号处理装置，包括：
采集模块，用于采集第一声音信号，所述第一声音信号包括近端信号、远端信号、所述近端信号经过房间反射后的第一回声信号，所述远端信号经过房间反射后的第二回声信号以及噪声信号；
处理模块，用于对所述第一声音信号进行线性自适应处理，得到第二声音信号，所述第二声音信号包括所述近端信号、所述第一回声信号、所述第二回声信号以及所述噪声信号；
所述处理模块，还用于将所述第二声音信号输入至预设的超高斯滤波器，得到第三声音信号，所述第三声音信号中保留所述近端信号。
可选的，所述超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器；
其中，所述近端混响早期功率谱是所述近端信号经过傅里叶变换得到的功率谱，所述近端混响功率谱是所述第一回声信号经过傅里叶变换后得到的功率谱，所述噪声功率谱是所述噪声信号经过傅里叶变换得到的功率谱，所述残留回声功率谱是所述第二回声信号经过傅里叶变换得到的功率谱。
可选的，所述处理模块，还用于：
将所述第三声音信号进行后置滤波处理，得到第四声音信号，所述第四声音信号中保留所述近端信号，并滤除所述第三声音信号中的高频信号。
可选的，所述处理模块，还用于：
将所述第三声音信号进行后置滤波处理，得到第四声音信号之前，获取所述近端信号经过傅里叶变换得到的近端混响早期功率谱，以及所述第二声音信号经过傅里叶变换得到的第一功率谱；
判断所述近端混响早期功率谱与所述第一功率谱的平方的比值是否大于或者等于预设阈值；
若所述比值大于或者等于所述预设阈值，执行将所述第三声音信号进行后置滤波处理的步骤。
本发明的第三方面提供一种信号处理装置，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明第一方面中任一项所述的信号处理方法。
本发明的第四方面提供一种终端设备，包括麦克风、扬声器以及信号处理装置，所述麦克风和所述扬声器分别与所述信号处理装置连接，所述信号处理装置用于执行如本发明第一方面中任一项所述的信号处理方法。
本发明的第五方面提供一种可读存储介质，包括程序指令，当所述程序指令在计算机上运行时，使得所述计算机执行如本发明第一方面中任一项所述的信号处理方法。
本发明提供一种信号处理方法、装置、终端设备及存储介质。通过采集包括近端信号、远端信号、近端信号经过房间反射后的第一回声信号、远端信号经过房间反射后的第二回声信号以及噪声信号的第一声音信号，对第一声音信号进行线性自适应处理，滤除远端信号，得到第二声音信号，再将第二声音信号输入至预设的超高斯滤波器中，得到第三声音信号，该第三声音信号中保留近端信号，从而避免在滤除回声信号和噪声信号时将近端信号抑制或消除的问题，保证语音通话质量。
附图说明
图1为声音信号未经处理的传输示意图；
图2为本发明实施例提供的终端设备的结构示意图；
图3为本发明一实施例提供的信号处理方法的流程图；
图4为本发明另一实施例提供的信号处理方法的流程图；
图5为本发明实施例提供的声音信号处理的过程示意图；
图6为本发明实施例提供的信号处理装置结构示意图；
图7为本发明实施例提供的信号处理装置的硬件结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，结合图1对声音信号在终端设备之间的传输过程进行简单介绍。图1为声音信号未经处理的传输示意图，如图1所示，用户2通过终端设备12向终端设备11发送声音信号1，声音信号1可以被看作是终端设备11的远端信号，终端设备11通过扬声器播放该声音信号1，此时终端设备11的用户1发出声音信号2，该声音信号2可以被看作是终端设备11的近端信号，终端设备11的麦克风将采集到声音信号1、声音信号2、声音信号1以及声音信号2的回声信号以及噪声信号，如果终端设备11不作信号处理，终端设备11将向终端设备12发送包括用户1和用户2发出的声音信号、回声信号以及噪声信号，影响用户2的听感体验。
为了消除上述回声信号，提高通话质量，目前对声音信号的处理包括线性处理过程和非线性处理过程，线性处理过程可以消除一部分回声信号，但存在回声残余信号，非线性处理过程可以进一步抑制回声残余信号，然而，目前的非线性处理过程主要基于远端信号与回声残余信号相关性，如果回声残余信号与远端信号相关性比较大，则认为回声残余信号成分比较多，需要增大抑制系数，增大抑制系数同时会对近端采集到的有效声音产生抑制，甚至有些情况下近端声音信号被完全消除。如果回声残余信号与远端信号相关性比较小，则认为回声残余信号成分比较少，将减小抑制系数或者不继续处理，由此可见，目前的非线性处理过程对回声残余信号的处理效果不佳，有些情况下还会影响近端声音信号。
为了解决上述问题，本发明提供一种信号处理方法，用于消除回声信号，同时不对近端声音信号产生过大的影响，提高语音通信的通话质量。该方法可应用于具有语音通信功能的任意终端设备中。图2为本发明实施例提供的终端设备的结构示意图，如图2所示，该终端设备包括麦克风、扬声器、信号处理装置。其中，麦克风和扬声器分别与信号处理装置连接。终端设备通过扬声器播放远端信号，终端设备可以通过麦克风采集到以下声音信号：近端信号、远端信号、近端信号经过房间反射后的第一回声信号、远端信号经过房间反射后的第二回声信号以及噪声信号。终端设备通过信号处理装置对麦克风采集的声音信号进行信号处理，例如消除噪声、回声、远端信号等，终端设备最终将经过信号处理后的声音信号发送给远端信号对应的终端设备，使得远端信号对应的终端设备接收到的声音信号为清晰的近端信号。
图3为本发明一实施例提供的信号处理方法的流程图。该方法可应用于上述终端设备中的信号处理装置，如图3所示，该方法包括如下步骤：
步骤301、采集第一声音信号，第一声音信号包括近端信号、远端信号、近端信号经过房间反射后的第一回声信号，远端信号经过房间反射后的第二回声信号以及噪声信号。
在本实施例中，信号处理装置通过终端设备中的麦克风采集第一声音信号。第一声音信号中的近端信号是使用终端设备的用户发出的声音信号，该近端信号可以直接被麦克风采集到。第一声音信号中的远端信号是终端设备接收到的其他终端设备发送的远端某用户发出的声音信号，终端设备可以通过扬声器播放该远端信号，该远端信号可以直接被麦克风采集到。由此可见，近端信号和远端信号是相对于终端设备定义的两种不同的声音信号。
第一声音信号可以表示为：
y(n)＝x(n)+ze(n)+zr(n)+er(n)+v(n)
式中，x(n)表示远端信号，ze(n)表示近端信号，zr(n)表示第一回声信号，er(n)表示第二回声信号，v(n)表示噪声信号。
步骤302、对第一声音信号进行线性自适应处理，得到第二声音信号，第二声音信号包括近端信号、第一回声信号、第二回声信号以及噪声信号。
信号处理装置对第一声音信号进行线性自适应处理(线性自适应滤波)，滤除第一声音信号中的远端信号，得到第二声音信号，第二声音信号可以表示为：
e(n)＝y(n)-x(n)＝ze(n)+zr(n)+er(n)+v(n)
步骤303、将第二声音信号输入至预设的超高斯滤波器，得到第三声音信号，第三声音信号中保留近端信号。
在本实施例中，预设的超高斯滤波器用于滤除第二声音信号中的第一回声信号、第二回声信号以及噪声信号。在一些实施例中，上述超高斯滤波器用于滤除第二声音信号中的第一回声信号、第二回声信号以及部分噪声信号，对应的，第三声音信号中除了保留有近端信号之外，还可能存在没有被滤除掉的噪声信号，可以通过后置滤波处理，将噪声信号滤除干净，仅保留原始的近端信号。对于后置滤波处理，可参见后文实施例，此处不具体展开。
需要说明的是，上述的任一一种超高斯滤波器均不会对近端信号产生影响，即近端信号不会被抑制或消除。
超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器，该滤波器是一种最大后验滤波器。
其中，近端混响早期功率谱是近端信号经过傅里叶变换得到的功率谱，近端混响功率谱是第一回声信号经过傅里叶变换后得到的功率谱，残留回声功率谱是第二回声信号经过傅里叶变换得到的功率谱，噪声功率谱是噪声信号经过傅里叶变换得到的功率谱。
上述的第二声音信号e(n)经过傅里叶变换可以得到第一功率谱E(l,k)，可以表示为：
E(l,k)＝Ze(l,k)+Zr(l,k)+Er(l,k)+V(l,k)
式中，Ze(l,k)表示近端混响早期功率谱，Zr(l,k)表示近端混响功率谱，Er(l,k)表示残留回声功率谱，V(l,k)表示噪声功率谱。
对Zr(l,k)、Er(l,k)、V(l,k)进行估计，从而构造超高斯滤波器，使得第二声音信号经过构造的超高斯滤波器之后，得到保留近端信号的第三声音信号。
下面分别对Er(l,k)、V(l,k)、Zr(l,k)的估计进行详细说明。
(1)残留回声功率谱Er(l,k)的估计值：λe(l,k)
式中，ρ是一个和混响时间有关的常量，
T60设置为1s，k是频谱分量，l是语音帧的编号，fs是语音信号采样率，c(l,k)是残留回声的初始能量，例如c(1,k)代表第l个语音帧，频率为k处的残留回声初始能量。Ne和R均是常量，取值需要保证
为整数。
λe(l,k)是通过上一帧的残留回声估计加上λx计算得到的，其中λx计算如下：
λx(l,k)＝aλx(l-1,k)+(1-a)|X(l,k)|2
a是一个参数，取值0到1之间，X(l,k)为远端信号功率谱。
(2)噪声功率谱V(l,k)的估计值：λv(l,k)
通过最小值跟踪方法估计噪声。最小值跟踪方法是以遍历的方式查找过去D帧(D为大于或者等于2的整数)各频点的最小值来估计噪声，也称为最小值查找方法，主要包括以下步骤：
先利用最小值跟踪法获得带噪语音的最小值，它代表的是对噪声的初步估计；再利用这个最小值来计算语音存在的概率p。
如果语音存在概率p小于或者等于第一预设阈值，则单独更新定义噪声估计平滑因子。如果语音存在概率p大于第二预设阈值，利用递归平均来估计噪声，上述第一预设阈值小于或者等于第二预设阈值。可以理解为当前帧的噪声由前一帧的噪声乘以一个系数加上当前帧的噪声估算乘以一个系数作为当前帧噪声。
(3)近端混响功率谱Zr(l,k)的估计值：
首先，通过谱增益函数估计出近端混响早期功率谱Ze(l,k)的估计值
可以表示为：
式中，ηz为平滑系数，
Gsp(l,k)为谱增益函数，可以表示为：
先验概率计算定义为：
后验概率计算定义为：
然后，进行直达部分补偿，直达部分补偿分量
可以表示为：
式中，κ为一个经验值常量，取值范围在0-1，κ可以取0.3。α(k)是对第k个频谱分量的偏移值，直达部分补偿分量
由上一个直达功率谱和上一帧的补偿量构造得到。
则近端混响功率谱
可以表示为：
Nr与R都是整数常量，
表示α(k)的
次方。
综上，基于上述λe(l,k)、λv(l,k)、
构造超高斯滤波器G，可以表示为：
式中，v和μ均为常量，通常取v＝0.126,μ＝1.74。
后验信噪比定义为
先验信噪比定义为
在本实施例中，信号处理装置将经过线性处理后的第二声音信号输入至上述超高斯滤波器，滤除第二声音信号中的第一回声信号、第二回声信号以及噪声信号，得到第三声音信号，第三声音信号中保留原始的近端信号，从而避免在非线性处理过程将近端信号抑制或消除，提高语音通话质量。
本实施例提供的信号处理方法，通过采集包括近端信号、远端信号、近端信号经过房间反射后的第一回声信号、远端信号经过房间反射后的第二回声信号以及噪声信号的第一声音信号，对第一声音信号进行线性自适应处理，滤除远端信号，得到第二声音信号，再将第二声音信号输入至预设的超高斯滤波器中，得到第三声音信号，该第三声音信号中保留近端信号，从而避免在滤除回声信号和噪声信号时将近端信号抑制或消除的问题，保证语音通话质量。
需要说明的是，经过上述实施例中步骤303，信号处理装置得到的第三声音信号中保留了原始的近端信号，可能还包括一部分未处理掉的噪声信号。因此，还需要通过下述实施例提供的信号处理方法作进一步的降噪处理。
图4为本发明另一实施例提供的信号处理方法的流程图。在图3所示的实施例步骤的基础上，如图4所示，该方法还包括如下步骤：
步骤401、获取近端信号经过傅里叶变换得到的近端混响早期功率谱，以及第二声音信号经过傅里叶变换得到的第一功率谱。
步骤402、判断近端混响早期功率谱的估计值与第一功率谱的平方的比值是否大于或者等于预设阈值，若比值大于或者等于预设阈值，执行步骤403。
步骤403、将第三声音信号进行后置滤波处理，得到第四声音信号，第四声音信号中保留近端信号，并滤除第三声音信号中的高频信号。
在本实施例中，通过第一功率谱E(l,k)和近端混响早期功率谱Ze(l,k)进行语音活动检测(Voice Activity Detection，VAD)，VAD又称为语音端点检测或者语音边界检测。目的是从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用，它是IP电话应用的重要组成部分。静音抑制可以节省宝贵的带宽资源，可以有利于减少用户感觉到的端到端的时延。
比值用公式表示为：
后值滤波处理可以包括：将第三声音信号输入至低通滤波器，经低通滤波器得到第四声音信号，第四声音信号中保留近端信号，同时滤除了第三声音信号中的高频信号(即高频噪声信号)。
上述低通滤波器可以表示为：
其中，
式中，n表示语音帧的编号，f是频谱分量，L(n)表示第n个语音帧的低通滤波器的截止频率。
本实施例提供的信号处理方法，在滤除回声信号且保留近端信号的同时，通过后置滤波进一步消除声音信号中的高频噪声，降噪效果明显，提升语音通话质量。
综上，图5示出了声音信号经过上述实施例处理的过程示意，如图5所示，信号处理装置采集第一声音信号(包括近端信号、远端信号、近端信号和远端信号的回声信号以及噪声信号)，第一声音信号经过线性自适应处理后滤除第一声音信号中的远端信号，得到第二声音信号；第二声音信号经过预设的超高斯滤波器，滤除第二声音信号中的回声信号和一部分噪声信号，得到第三声音信号；第三声音信号经过后置低通滤波器，滤除第三声音信号中的高频部分的噪声信号，最终得到无损的近端信号，实现回声消除的同时不对近端的语音信号产生过大的影响，保证语音通话质量。
图6为本发明实施例提供的信号处理装置的结构示意图。如图6所示，本实施例提供的信号处理装置，包括：
采集模块601，用于采集第一声音信号，所述第一声音信号包括近端信号、远端信号、所述近端信号经过房间反射后的第一回声信号，所述远端信号经过房间反射后的第二回声信号以及噪声信号；
处理模块602，用于对所述第一声音信号进行线性自适应处理，得到第二声音信号，所述第二声音信号包括所述近端信号、所述第一回声信号、所述第二回声信号以及所述噪声信号；
所述处理模块602，还用于将所述第二声音信号输入至预设的超高斯滤波器，得到第三声音信号，所述第三声音信号中保留所述近端信号。
可选的，所述超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器；
其中，所述近端混响早期功率谱是所述近端信号经过傅里叶变换得到的功率谱，所述近端混响功率谱是所述第一回声信号经过傅里叶变换后得到的功率谱，所述噪声功率谱是所述噪声信号经过傅里叶变换得到的功率谱，所述残留回声功率谱是所述第二回声信号经过傅里叶变换得到的功率谱。
可选的，所述处理模块602，还用于：
将所述第三声音信号进行后置滤波处理，得到第四声音信号，所述第四声音信号中保留所述近端信号，并滤除所述第三声音信号中的高频信号。
可选的，所述处理模块，还用于：
将所述第三声音信号进行后置滤波处理，得到第四声音信号之前，获取所述近端信号经过傅里叶变换得到的近端混响早期功率谱，以及所述第二声音信号经过傅里叶变换得到的第一功率谱；
判断所述近端混响早期功率谱与所述第一功率谱的平方的比值是否大于或者等于预设阈值；
若所述比值大于或者等于所述预设阈值，执行将所述第三声音信号进行后置滤波处理的步骤。
本实施例提供的信号处理装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图7为本发明实施例提供的信号处理装置的硬件结构图。如图7所示，本实施例提供的信号处理装置，包括：
存储器701；
处理器702；以及
计算机程序；
其中，所述计算机程序存储在所述存储器701中，并被配置为由所述处理器702执行前述任一项方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，存储器701既可以是独立的，也可以跟处理器702集成在一起。
当所述存储器701是独立于处理器702之外的器件时，所述移动终端还可以包括：总线703，用于连接所述存储器701和处理器702。
可选的，上述信号处理装置可以是一芯片产品，该芯片产品可以集成在任意具有语音通话功能的终端设备中，如图2所示，终端设备包括麦克风、扬声器以及上述信号处理装置，其中麦克风和扬声器分别与信号处理装置连接，信号处理装置用于执行上述方法实施例中的各个步骤。
本实施例的终端设备可以是移动终端(例如手机、笔记本电脑、IPAD等)，也可以是固定终端(固定电话、电视机、台式电脑等)，对此本实施例不作任何限制。
本发明实施例还提供一种可读存储介质，包括程序指令，当程序指令在计算机上运行时，使得计算机执行如上方法实施例中的各个步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备或处理器执行本申请各个实施例方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端设备中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种信号处理方法，其特征在于，所述方法包括：
采集第一声音信号，所述第一声音信号包括近端信号、远端信号、所述近端信号经过房间反射后的第一回声信号，所述远端信号经过房间反射后的第二回声信号以及噪声信号；
对所述第一声音信号进行线性自适应处理，得到第二声音信号，所述第二声音信号包括所述近端信号、所述第一回声信号、所述第二回声信号以及所述噪声信号；
将所述第二声音信号输入至预设的超高斯滤波器滤除所述第二声音信息中的所述第一回声信号、所述第二回声信号以及所述噪声信号滤除，得到第三声音信号，所述第三声音信号中保留所述近端信号；
所述超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器；
获取所述近端信号经过傅里叶变换得到的近端混响早期功率谱，以及所述第二声音信号经过傅里叶变换得到的第一功率谱；
判断所述近端混响早期功率谱的估计值与所述第一功率谱的平方的比值是否大于或者等于预设阈值；
若所述比值大于或者等于所述预设阈值，执行将所述第三声音信号进行后置滤波处理的步骤。
2.根据权利要求1所述的方法，其特征在于，
其中，所述近端混响早期功率谱是所述近端信号经过傅里叶变换得到的功率谱，所述近端混响功率谱是所述第一回声信号经过傅里叶变换后得到的功率谱，所述噪声功率谱是所述噪声信号经过傅里叶变换得到的功率谱，所述残留回声功率谱是所述第二回声信号经过傅里叶变换得到的功率谱。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第三声音信号进行后置滤波处理，得到第四声音信号，所述第四声音信号中保留所述近端信号，并滤除所述第三声音信号中的高频信号。
4.一种信号处理装置，其特征在于，包括：
采集模块，用于采集第一声音信号，所述第一声音信号包括近端信号、远端信号、所述近端信号经过房间反射后的第一回声信号，所述远端信号经过房间反射后的第二回声信号以及噪声信号；
处理模块，用于对所述第一声音信号进行线性自适应处理，得到第二声音信号，所述第二声音信号包括所述近端信号、所述第一回声信号、所述第二回声信号以及所述噪声信号；
所述处理模块，还用于将所述第二声音信号输入至预设的超高斯滤波器滤除第二声音信息中的所述第一回声信号、所述第二回声信号以及所述噪声信号滤除，得到第三声音信号，所述第三声音信号中保留所述近端信号；
所述超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器；
所述处理模块，还用于：
将所述第三声音信号进行后置滤波处理，得到第四声音信号之前，获取所述近端信号经过傅里叶变换得到的近端混响早期功率谱，以及所述第二声音信号经过傅里叶变换得到的第一功率谱；
判断所述近端混响早期功率谱的估计值与所述第一功率谱的平方的比值是否大于或者等于预设阈值；
若所述比值大于或者等于所述预设阈值，执行将所述第三声音信号进行后置滤波处理的步骤。
5.根据权利要求4所述的装置，其特征在于，所述超高斯滤波器是通过近端混响早期功率谱、近端混响功率谱、残留回声功率谱以及噪声功率谱构造的滤波器；
其中，所述近端混响早期功率谱是所述近端信号经过傅里叶变换得到的功率谱，所述近端混响功率谱是所述第一回声信号经过傅里叶变换后得到的功率谱，所述噪声功率谱是所述噪声信号经过傅里叶变换得到的功率谱，所述残留回声功率谱是所述第二回声信号经过傅里叶变换得到的功率谱。
6.根据权利要求4所述的装置，其特征在于，所述处理模块，还用于：
将所述第三声音信号进行后置滤波处理，得到第四声音信号，所述第四声音信号中保留所述近端信号，并滤除所述第三声音信号中的高频信号。
7.一种信号处理装置，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-3中任一项所述的信号处理方法。
8.一种终端设备，其特征在于，包括麦克风、扬声器以及信号处理装置，所述麦克风和所述扬声器分别与所述信号处理装置连接，所述信号处理装置用于执行如权利要求1-3中任一项所述的信号处理方法。
9.一种可读存储介质，其特征在于，包括程序指令，当所述程序指令在计算机上运行时，使得所述计算机执行如权利要求1-3中任一项所述的信号处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911056393.7A CN110782914B (zh) | 2019-10-31 | 2019-10-31 | 信号处理方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911056393.7A CN110782914B (zh) | 2019-10-31 | 2019-10-31 | 信号处理方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110782914A CN110782914A (zh) | 2020-02-11 |
| CN110782914B true CN110782914B (zh) | 2022-04-15 |
Family
ID=69388372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911056393.7A Active CN110782914B (zh) | 2019-10-31 | 2019-10-31 | 信号处理方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110782914B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524498B (zh) * | 2020-04-10 | 2023-06-16 | 维沃移动通信有限公司 | 滤波方法、装置及电子设备 |
| CN114143668A (zh) * | 2020-09-04 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 音频信号处理、混响检测和会议方法、设备及存储介质 |
| CN112217948B (zh) * | 2020-10-10 | 2022-01-18 | 北京嘀嘀无限科技发展有限公司 | 语音通话的回声处理方法、装置、设备及存储介质 |
| CN112837697B (zh) * | 2021-02-20 | 2024-05-14 | 北京猿力未来科技有限公司 | 一种回声抑制方法及装置 |
| CN113327625A (zh) * | 2021-05-13 | 2021-08-31 | 瑞芯微电子股份有限公司 | 一种回声抑制方法、判定方法、介质及信号收发设备 |
| CN114979344A (zh) * | 2022-05-09 | 2022-08-30 | 北京字节跳动网络技术有限公司 | 回声消除方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100844176B1 (ko) * | 2008-01-25 | 2008-07-07 | 재단법인서울대학교산학협력재단 | 통계적 모델 기반의 잔여 반향 제거 방법 |
| CN101778183A (zh) * | 2009-01-13 | 2010-07-14 | 华为终端有限公司 | 一种残留回声抑制方法及设备 |
| CN101964670A (zh) * | 2009-07-21 | 2011-02-02 | 雅马哈株式会社 | 回声抑制方法及回声抑制设备 |
| CN106448691A (zh) * | 2015-08-10 | 2017-02-22 | 深圳市潮流网络技术有限公司 | 一种用于扩音通信系统的语音增强方法 |
| CN110310653A (zh) * | 2019-07-09 | 2019-10-08 | 杭州国芯科技股份有限公司 | 一种回声消除方法 |
-
2019
- 2019-10-31 CN CN201911056393.7A patent/CN110782914B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100844176B1 (ko) * | 2008-01-25 | 2008-07-07 | 재단법인서울대학교산학협력재단 | 통계적 모델 기반의 잔여 반향 제거 방법 |
| CN101778183A (zh) * | 2009-01-13 | 2010-07-14 | 华为终端有限公司 | 一种残留回声抑制方法及设备 |
| CN101964670A (zh) * | 2009-07-21 | 2011-02-02 | 雅马哈株式会社 | 回声抑制方法及回声抑制设备 |
| CN106448691A (zh) * | 2015-08-10 | 2017-02-22 | 深圳市潮流网络技术有限公司 | 一种用于扩音通信系统的语音增强方法 |
| CN110310653A (zh) * | 2019-07-09 | 2019-10-08 | 杭州国芯科技股份有限公司 | 一种回声消除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110782914A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782914B (zh) | 信号处理方法、装置、终端设备及存储介质 | |
| WO2018188282A1 (zh) | 回声消除方法、装置、会议平板及计算机存储介质 | |
| CN111341336B (zh) | 一种回声消除方法、装置、终端设备及介质 | |
| JP4954334B2 (ja) | エコー抑制のためのフィルタ係数を演算する装置および方法 | |
| CN109767780B (zh) | 一种语音信号处理方法、装置、设备及可读存储介质 | |
| CN104050971A (zh) | 声学回声减轻装置和方法、音频处理装置和语音通信终端 | |
| JP2002541753A (ja) | 固定フィルタを用いた時間領域スペクトラル減算による信号雑音の低減 | |
| JPH07306695A (ja) | 音声信号の雑音低減方法及び雑音区間検出方法 | |
| JP2006018254A (ja) | ラウンドロビン正則化を用いたマルチチャネルエコーキャンセレーション | |
| KR20010043833A (ko) | 스펙트럼 종속 지수 이득 함수 평균화를 이용한 스펙트럼공제에 의한 신호 잡음 저감 | |
| CN113539285B (zh) | 音频信号降噪方法、电子装置和存储介质 | |
| CN111063366A (zh) | 降低噪声的方法、装置、电子设备及可读存储介质 | |
| KR102040986B1 (ko) | 두 개의 마이크로폰을 포함하는 휴대단말에서의 잡음제거방법 및 장치 | |
| CN110431624B (zh) | 残余回声检测方法、残余回声检测装置、语音处理芯片及电子设备 | |
| CN112602150A (zh) | 噪声估计方法、噪声估计装置、语音处理芯片以及电子设备 | |
| JP3459363B2 (ja) | 雑音低減処理方法、その装置及びプログラム記憶媒体 | |
| CN109215672B (zh) | 一种声音信息的处理方法、装置及设备 | |
| CN112037810A (zh) | 一种回音处理方法、装置、介质和计算设备 | |
| JP2014513320A (ja) | オーディオ信号におけるドミナント周波数を減衰する方法及び装置 | |
| CN111917926B (zh) | 一种通信终端中的回声消除方法、装置及终端设备 | |
| CN112929506A (zh) | 音频信号的处理方法及装置，计算机存储介质及电子设备 | |
| CN111986694A (zh) | 基于瞬态噪声抑制的音频处理方法、装置、设备及介质 | |
| CN115620737A (zh) | 语音信号处理装置、方法、电子设备和扩音系统 | |
| CN113593599A (zh) | 一种去除语音信号中噪声信号的方法 | |
| CN112489680B (zh) | 声学回声消除算法的评估方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |