CN109785853A - 一种回声消除方法、装置、系统及存储介质 - Google Patents
一种回声消除方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN109785853A CN109785853A CN201910181374.0A CN201910181374A CN109785853A CN 109785853 A CN109785853 A CN 109785853A CN 201910181374 A CN201910181374 A CN 201910181374A CN 109785853 A CN109785853 A CN 109785853A
- Authority
- CN
- China
- Prior art keywords
- signal
- residual signals
- filter
- coherence factor
- unit time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本发明实施例涉及数据处理技术领域，具体公开了一种回声消除方法、装置、系统及存储介质。将第n个单位时间对应的第一参考信号输入至第一滤波器，获取第一输出信号，将第二参考信号输入至第二滤波器，获取第二输出信号；根据第一输出信号和期望信号，得到第一残差信号；根据第二输出信号和期望信号，得到第二残差信号；获取第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数；根据这三个相干系数，从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号。通过该种方式，可以实现语音信号中的回声消除，同时，还能够缓解近端语音损伤。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种回声消除方法、装置、系统及存储介质。
背景技术
回声消除(Acoustic Echo Cancellation，简称AEC)技术难以消除回声中的非线性成分，尤其在音频系统非线性失真较为严重的情况下，利用回声消除技术进行语音信号处理后，仍然会存在回声残留过大的问题。针对该问题，一般的解决方法是使用参考传声器进行语音信号处理，而该方法一般需要依赖指向性传声器或采用将参考传声器与外界隔离的硬件设置。
然而，通过指向性传声器对回声进行抑制处理，虽然效果较佳，但是成本过高。而将采样将参考传声器与外界隔离这样的设计又比较复杂，对于工作人员的要求较高，操作不便，实现起来比较困难。另外，如果采用其他方法对回声进行消除，可能还会存在近端语音损伤的问题。
发明内容
本发明实施例提供一种回声消除方法、装置、系统及存储介质，用以实现在不增加工作成本，又不用对硬件进行复杂设计的前提下，实现对信号的回声消除，同时还能够避免对近端语音造成损伤的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明实施例提供了一种回声消除方法，该方法包括：
将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号，其中，第一参考信号为扬声器采集的参考信号，第二参考信号为参考传声器采集的信号，n依次递进取值，初始取值为1；
根据第一输出信号和期望信号，计算得到第一残差信号，其中，期望信号为拾音传声器采集的信号；
根据第二输出信号和期望信号，计算得到第二残差信号；
按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数；
根据第一相关系数和/或第二相干系数，和/或第三相干系数，从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号。
本发明实施例的特征还在于，将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号之前，方法还包括：
对第一滤波器中的第一滤波器传递函数和第二滤波器中的第二滤波器传递函数进行初始化。
本发明实施例的特征还在于，根据第一输出信号和期望信号，计算得到第一残差信号，具体包括：
将期望信号和第一输出信号做差值运算，获取第一残差信号。
本发明实施例的特征还在于，根据第二输出信号和期望信号，计算得到第二残差信号，具体包括：
将期望信号和第二输出信号做差值运算，获取第二残差信号。
本发明实施例的特征还在于，将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号之后，方法还包括：
根据第一残差信号、第一参考信号以及第一滤波器的更新步长，对第n个单位时间对应的第一滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第一滤波器传递函数，具体参见如下表达式：
Wspk(z；n+1)＝Wspk(z；n)+μEspk *(z；n)Xrefspk(z；n)
其中，Wspk(z；n+1)为第n+1个单位时间对应的第一滤波器传递函数，Wspk(z；n)为第n个单位时间对应的第一滤波器传递函数，μ为滤波器的更新步长，Espk *(z；n)为第一残差信号，Xrefspk(z；n)为第一参考信号；
或者，根据第二残差信号、第二参考信号以及第二滤波器的更新步长，对第n个单位时间对应的第二滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第二滤波器传递函数，具体参见如下表达式：
Wmic(z；n+1)＝Wmic(z；n)+μEmic *(z；n)Xrefmic(z；n)
其中，Wmic(z；n+1)为第n+1个单位时间对应的第二滤波器传递函数，Wmic(z；n)为第n个单位时间对应的第二滤波器传递函数，μ为滤波器的更新步长，Emic *(z；n)为第二残差信号，Xrefmic(z；n)为第二参考信号。
本发明实施例的特征还在于，采用第一公式计算第一参考信号和期望信号之间的第一相干系数；采用第二公式计算期望信号与第一残差信号之间的第二相干系数，以及采用第三公式计算期望信号和第二残差信号之间的第三相关系数，具体如下：
第一公式：
其中，CXD(z；n)为第一相干系数，Xrefspk(z；n)为第一参考信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
第二公式：
其中CDEspk(z；n)为第二相干系数，Espk(z；n)为第一残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
第三公式：
其中，CDEmic(z；n)为第三相干系数，Emic(z；n)为第二残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差。
本发明实施例的特征还在于，根据第一相关系数和/或第二相干系数，和/或第三相干系数，从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号，具体包括：
若第一相干系数大于第一预设阈值，且第二相关系数和第三相干系数均小于第二预设阈值时，选择第二残差信号作为第n个单位时间的最终输出信号；
或者，若第二相干系数大于第一预设阈值，且第一相干系数和第三相干系数均小于第二预设阈值，选择第一残差信号作为第n个单位时间的最终输出信号；
或者，若第一相干系数、第二相关系数、第三相干系数、第一预设阈值和第二预设阈值之间的关系并非为如上的任一种关系时，则根据第一相干系数、第二相关系数、第三相干系数，按照预设规则分别设定第一残差信号和第二残差信号的输出比例，并将按照输出比例输出后信号进行叠加后，作为第n个单位时间的最终输出信号，其中，第一预设阈值大于或者等于第二预设阈值。
本发明实施例的特征还在于，第一预设阈值为0.9，第二预设阈值为0.2。
第二方面，本发明实施例还提供了一种回声消除装置，该装置包括：
输入单元，用于将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号，其中，第一参考信号为扬声器采集的参考信号，第二参考信号为参考传声器采集的信号，n依次递进取值，初始取值为1；
处理单元，用于根据第一输出信号和期望信号，计算得到第一残差信号，其中，期望信号为拾音传声器采集的信号；
根据第二输出信号和期望信号，计算得到第二残差信号；
按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数；
根据第一相关系数和/或第二相干系数，和/或第三相干系数，从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号。
本发明实施例的特征还在于，处理单元还用于，对第一滤波器中的第一滤波器传递函数和第二滤波器中的第二滤波器传递函数进行初始化。
本发明实施例的特征还在于，处理单元，具体用于：将期望信号和第一输出信号做差值运算，获取第一残差信号。
本发明实施例的特征还在于，处理单元，具体用于：将期望信号和第二输出信号做差值运算，获取第二残差信号。
本发明实施例的特征还在于，处理单元还用于，根据第一残差信号、第一参考信号以及第一滤波器的更新步长，对第n个单位时间对应的第一滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第一滤波器传递函数，具体参见如下表达式：
Wspk(z；n+1)＝Wspk(z；n)+μEspk *(z；n)Xrefspk(z；n)
其中，Wmic(z；n+1)为第n+1个单位时间对应的第二滤波器传递函数，Wmic(z；n)为第n个单位时间对应的第二滤波器传递函数，μ为滤波器的更新步长，Emic *(z；n)为第二残差信号，Xrefmic(z；n)为第二参考信号；
或者，根据第二残差信号、第二参考信号以及第二滤波器的更新步长，对第n个单位时间对应的第二滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第二滤波器传递函数，具体参见如下表达式：
Wmic(z；n+1)＝Wmic(z；n)+μEmic *(z；n)Xrefmic(z；n)
其中，Wmic(z；n+1)为第n+1个单位时间对应的第二滤波器传递函数，Wmic(z；n)为第n个单位时间对应的第二滤波器传递函数，μ为滤波器的更新步长，Emic *(z；n)为第二残差信号，Xrefmic(z；n)为第二参考信号。
本发明实施例的特征还在于，处理单元采用第一公式计算第一参考信号和期望信号之间的第一相干系数；采用第二公式计算期望信号与第一残差信号之间的第二相干系数，以及采用第三公式计算期望信号和第二残差信号之间的第三相关系数，具体如下：
第一公式：
其中，CXD(z；n)为第一相干系数，Xrefspk(z；n)为第一参考信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
第二公式：
其中CDEspk(z；n)为第二相干系数，Espk(z；n)为第一残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
第三公式：
其中，CDEmic(z；n)为第三相干系数，Emic(z；n)为第二残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差。
本发明实施例的特征还在于，处理单元，具体用于：若第一相干系数大于第一预设阈值，且第二相关系数和第三相干系数均小于第二预设阈值时，选择第二残差信号作为第n个单位时间的最终输出信号；
或者，若第二相干系数大于第一预设阈值，且第一相干系数和第三相干系数均小于第二预设阈值，选择第一残差信号作为第n个单位时间的最终输出信号；
或者，若第一相干系数、第二相关系数、第三相干系数、第一预设阈值和第二预设阈值之间的关系并非为如上的任一种关系时，则根据第一相干系数、第二相关系数、第三相干系数，按照预设规则分别设定第一残差信号和第二残差信号的输出比例，并将按照输出比例输出后信号进行叠加后，作为第n个单位时间的最终输出信号，其中，第一预设阈值大于或者等于第二预设阈值。
本发明实施例的特征还在于，第一预设阈值为0.9，第二预设阈值为0.2。
第三方面，本发明实施例还提供了一种回声消除系统，系统包括：处理器和存储器；
存储器用于存储一个或多个程序指令；
一个或多个程序指令被处理器运行，用以执行如上第一方面的一种回声消除方法中的任一方法步骤。
第四方面，本发明实施例还提供了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种回声消除系统中的服务器执行如上第一方面的一种回声消除方法中的任一方法步骤。
根据本发明的实施方式，具有如下优点：将第n个单位时间对应的第一参考信号输入至第一滤波器，将第二参考信号输入至第二滤波器，从而分别获取第一输出信号和第二输出信号。根据第一输出信号和期望信号，计算得到第一残差信号，然后根据第二输出信号和期望信号，计算得到第二残差信号。按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数，最终根据这三个相干系数，从第一残差信号和/或第二残差信号中选择第n个单位时间的最终输出信号。实际上，也就是根据这三个系数确定当前语音交互设备处于何种状态。如果为远端单讲状态、近端单讲状态还是双讲状态，如果是远端单讲状态，则无需考虑近端语音信号的损伤问题，最终输出信号为第二残差信号即可，如果是近端单讲状态，则无需对回声做过强的抑制，重点在于保护近端语音信号，因此最终输出信号为第一残差信号。或者，当确定是双讲状态时，则将第一残差信号和第二残差信号按照预设比例输出，达到折中的效果。通过该种方式，不论语音交互设备当前处于何种状态，都能采取一定的有效措施保证回声消除，同时还能够缓解近端语音损伤，达到提升用户体验度的效果。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明一实施例提供的一种回声消除方法流程示意图；
图2为本发明提供的一种回声消除原理示意图；
图3为本发明另一实施例提供的一种回声消除装置结构示意图；
图4为本发明另一实施例提供的一种回声消除系统结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种回声消除方法，具体如图1和图2所示，该方法包括：
步骤110，将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号。
其中，第一参考信号为扬声器采集的参考信号，而第二参考信号为参考传声器采集的信号。这里的n为依次递进取值，初始取值为1，即，n为1、2、3、4……等的正整数。如果对于声音的采样是在频域，即连续采样时，那么n为预设时间段，如果对于声音的采样是在时域，即离散采样时，n则为预设时间点。
具体的，如图2所示，图2示出了回声消除原理示意图。
可选的，在执行步骤110之前，该方法还可以包括：
对第一滤波器中的第一滤波器传递函数和第二滤波器中的第二滤波器传递函数进行初始化。设置第一滤波器传递函数和第二滤波器传递函数在第n个单位时间时均为0。
即：
Wspk(z；n)＝0 (公式1)
Wmic(z；n)＝0 (公式2)
其中，Wspk(z；n)为第n个单位时间时，第一滤波器传递函数，Wmic(z；n)为第n个单位时间时，第二滤波器传递函数。
而将第一参考信号输入至第一滤波器中，得到第一输出信号。可以采用如下公式表示：
Yspk(z；n)＝Wspk(z；n)Xrefspk(z；n) (公式3)
其中，Yspk(z；n)为第一输出信号，Wspk(z；n)为第一传递函数，Xrefspk(z；n)为第一参考信号。
类似的，将第二参考信号输入至第二滤波器中，得到第二输出信号，可以采用如下公式表示：
Ymic(z；n)＝Wmic(z；n)Xrefmic(z；n) (公式4)
其中，Ymic(z；n)为第二输出信号，Wmic(z；n)为第二传递函数，Xrefmic(z；n)为第二参考信号。
步骤120，根据第一输出信号和期望信号，计算得到第一残差信号，其中，期望信号为拾音传声器采集的信号。
步骤130，根据第二输出信号和期望信号，计算得到第二残差信号。
需要说明的是，这里的拾音传声器和参考传声器，实际上都是普通意义的传声器，本申请中仅仅是为了说明这两个传声器是两个不同的传声器，所以才根据传声器功能的功能不同，自定义了两个名称而已。
而步骤120的执行步骤和步骤130的执行步骤相类似，因此在这里一并介绍。
具体的，根据第一输出信号和期望信号，计算得到第一残差信号，具体包括：将期望信号和第一输出信号做差值运算，获取第一残差信号。具体可以采用如下公式表示：
Espk(z；n)＝D(z；n)-Yspk(z；n) (公式5)
其中，Espk(z；n)为第一残差信号，D(z；n)为期望信号。
类似的道理，根据第二输出信号和期望信号，计算得到第二残差信号，具体包括：将期望信号和第二输出信号做差值运算，获取第二残差信号，具体可以采用如下公式表示：
Emic(z；n)＝D(z；n)-Ymic(z；n) (公式6)
其中，Emic(z；n)为第二残差信号。
步骤140，按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数。
可选的，预设公式如下所示：
其中，CXD(z；n)为第一相干系数，Xrefspk(z；n)为第一参考信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
其中CDEspk(z；n)为第二相干系数，Espk(z；n)为第一残差信号，D(z；n)为
期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
其中，CDEmic(z；n)为第三相干系数，Emic(z；n)为第二残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差。
其中，采用公式7计算第一参考信号和期望信号之间的第一相干系数；采用公式8计算期望信号与第一残差信号之间的第二相干系数，以及采用公式9期望信号和第二残差信号之间的第三相关系数。
步骤150，根据第一相关系数和/或第二相干系数，和/或第三相干系数，从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号。
可选的，可以根据第一相关系数、第二相关系数和第三相干系数之间的关系，确定语音交互设备当前所处状态，其中当前所处状态可以包括远端单讲状态、近端单讲状态和双讲状态。
然后，根据语音交互设备当前所处状态的不同，而从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号。
具体的选择工作原理包括：
若第一相干系数大于第一预设阈值，且第二相关系数和第三相干系数均小于第二预设阈值时，可以确定此时扬声器采样的第一参考信号和期望信号之间的相干性很强，而期望信号和第一残差信号，以及期望信号和第二残差信号之间的相干性均很弱，那么期望信号以扬声器播放的远端信号为主，近端语音信号较弱或者无近端语音信号。
即语音交互设备当前所处的状态为远端单讲状态。在这种情况下，需要着重抑制扬声器回声，无需考虑近端语音的损伤，因此，选择第二残差信号作为第n个单位时间的最终输出信号。
或者，若第二相干系数大于第一预设阈值，且第一相干系数和第三相干系数均小于第二预设阈值。此时，说明期望信号和第一残差信号的相干性很强，可以认为经过第一滤波器的第一输出信号中有大量未被消除的信号残留，而此时的第一参考信号和期望信号的相干性，以及期望信号和第二残留信号的相干性都很弱，此时说明第一残留信号并不是扬声器回声信号，而是近端语音信号占主导，此时远端信号较弱或者几乎没有。
可以判断为语音交互设备当前所处的状态为近端单讲状态，在近端语音做主导的情况下，无需对回声做国强的抑制，重点应该在于保护近端语音信号。因此，第n个单位时间的最终输出信号应该是第一残差信号。即，选择第一残差信号作为第n个单位时间的最终输出信号；
或者，若第一相干系数、第二相关系数、第三相干系数、第一预设阈值和第二预设阈值之间的关系并非为如上的任一种关系时，则不能确定语音交互系统当前是远端单讲状态还是近端单讲状态，则认为是双讲状态。那么，则需要兼顾回声抑制性能和近端语音的保护。
因此，需要根据第一相干系数、第二相关系数、第三相干系数，按照预设规则分别设定第一残差信号和第二残差信号的输出比例，并将按照输出比例输出后信号进行叠加后，作为第n个单位时间的最终输出信号，作为一种兼顾回声消除效果和近端语音包含的这种方案。其中，第一预设阈值大于或者等于第二预设阈值。
在一个具体例子中，第一预设阈值可以为0.9，第二预设阈值可以为0.2。上述论述如果通过公式表示，则可以参见如下公式：
(1)若CXD(z；n)＞0.9且CDEspk(z；n)＜0.2且CDEspk(z；n)＜0.2，则
E(z；n)＝Emic(z；n) (公式10)(2)若CXD(z；n)＜0.2且CDEspk(z；n)＞0.9且CDEmic(z；n)＜0.2，则
E(z；n)＝Espk(z；n) (公式11)(3)除以上两种情况外，则按如下公式计算输出的残差信号
需要说明的是，上述实施例中，仅仅是以某一个单位时间的最终输出信号的计算过程为例说明的，但是本申请中的方案并非仅针对某一个单位时间语音信号进行处理，而是对所有单位时间的语音信号进行处理。因此，在执行步骤110之后，该方法还包括：
步骤160，根据第一残差信号、第一参考信号以及第一滤波器的更新步长，对第n个单位时间对应的第一滤波器传递函数进行迭代更新，具体参见公式13：
Wspk(z；n+1)＝Wspk(z；n)+μEspk *(z；n)Xrefspk(z；n) (公式13)
其中，Wspk(z；n+1)为第n+1个单位时间对应的第一滤波器传递函数，Wspk(z；n)为第n个单位时间对应的第一滤波器传递函数，μ为滤波器的更新步长，Espk *(z；n)为第一残差信号，Xrefspk(z；n)为第一参考信号，由工作人员事先自定义，上标*代表共轭转制。
步骤170，根据第二残差信号、第二参考信号以及第二滤波器的更新步长，对第n个单位时间对应的第二滤波器传递函数进行迭代更新，具体参见公式14：
Wmic(z；n+1)＝Wmic(z；n)+μEmic*(z；n)Xrefmic(z；n) (公式14)
其中，其中，Wmic(z；n+1)为第n+1个单位时间对应的第二滤波器传递函数，Wmic(z；n)为第n个单位时间对应的第二滤波器传递函数，μ为滤波器的更新步长，Emic *(z；n)为第二残差信号，Xrefmic(z；n)为第二参考信号。
第一滤波器的传递函数和第二滤波器的传递函数更新之后，再执行步骤110-步骤150，用以确定第n+1个单位时间的最终输出信号。
需要说明的是，步骤160和步骤170只要在步骤110之后执行即可，且步骤160和步骤170二者之间的执行顺序不分先后。可选的，在本实施例中，将步骤160和步骤170置于步骤150之后执行。
本发明实施例提供的一种回声消除方法，将第n个单位时间对应的第一参考信号输入至第一滤波器，将第二参考信号输入至第二滤波器，从而分别获取第一输出信号和第二输出信号。根据第一输出信号和期望信号，计算得到第一残差信号，然后根据第二输出信号和期望信号，计算得到第二残差信号。按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数，最终根据这三个相干系数，从第一残差信号和/或第二残差信号中选择第n个单位时间的最终输出信号。实际上，也就是根据这三个系数确定当前语音交互设备处于何种状态。如果为远端单讲状态、近端单讲状态还是双讲状态，如果是远端单讲状态，则无需考虑近端语音信号的损伤问题，最终输出信号为第二残差信号即可，如果是近端单讲状态，则无需对回声做过强的抑制，重点在于保护近端语音信号，因此最终输出信号为第一残差信号。或者，当确定是双讲状态时，则将第一残差信号和第二残差信号按照预设比例输出，达到折中的效果。通过该种方式，不论语音交互设备当前处于何种状态，都能采取一定的有效措施保证回声消除，同时还能够缓解近端语音损伤，达到提升用户体验度的效果。
与上述实施例1对应的，本发明实施例还提供了一种回声消除装置，具体如图3所示，该装置包括：输入单元301和处理单元302。
输入单元301，用于将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号，其中，第一参考信号为扬声器采集的参考信号，第二参考信号为参考传声器采集的信号，n依次递进取值，初始取值为1；
处理单元302，用于根据第一输出信号和期望信号，计算得到第一残差信号，其中，期望信号为拾音传声器采集的信号；
根据第二输出信号和期望信号，计算得到第二残差信号；
按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数；
根据第一相关系数和/或第二相干系数，和/或第三相干系数，从第一残差信号和/或第二残差信号中，选择第n个单位时间的最终输出信号。
可选的，处理单元302还用于，对第一滤波器中的第一滤波器传递函数和第二滤波器中的第二滤波器传递函数进行初始化。
可选的，处理单元302，具体用于：将期望信号和第一输出信号做差值运算，获取第一残差信号。
可选的，处理单元302，具体用于：将期望信号和第二输出信号做差值运算，获取第二残差信号。
可选的，处理单元302还用于，根据第一残差信号、第一参考信号以及第一滤波器的更新步长，对第n个单位时间对应的第一滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第一滤波器传递函数，具体参见如下表达式：
Wspk(z；n+1)＝Wspk(z；n)+μEspk *(z；n)Xrefspk(z；n) (公式15)
其中，Wspk(z；n+1)为第n+1个单位时间对应的第一滤波器传递函数，Wspk(z；n)为第n个单位时间对应的第一滤波器传递函数，μ为滤波器的更新步长，Espk *(z；n)为第一残差信号，Xrefspk(z；n)为第一参考信号；
或者，根据第二残差信号、第二参考信号以及第二滤波器的更新步长，对第n个单位时间对应的第二滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第二滤波器传递函数，具体参见如下表达式：
Wmic(z；n+1)＝Wmic(z；n)+μEmic *(z；n)Xrefmic(z；n) (公式16)
其中，Wmic(z；n+1)为第n+1个单位时间对应的第二滤波器传递函数，Wmic(z；n)为第n个单位时间对应的第二滤波器传递函数，μ为滤波器的更新步长，Emic *(z；n)为第二残差信号，Xrefmic(z；n)为第二参考信号。
可选的，处理单元302采用公式17计算第一参考信号和期望信号之间的第一相干系数；采用公式18计算期望信号与第一残差信号之间的第二相干系数，以及采用公式19期望信号和第二残差信号之间的第三相关系数，公式17、公式18和公式19如下：
其中，CXD(z；n)为第一相干系数，Xrefspk(z；n)为第一参考信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
其中CDEspk(z；n)为第二相干系数，Espk(z；n)为第一残差信号，D(z；n)为
期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
其中，CDEmic(z；n)为第三相干系数，Emic(z；n)为第二残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差。
可选的，处理单元302，具体用于：若第一相干系数大于第一预设阈值，且第二相关系数和第三相干系数均小于第二预设阈值时，选择第二残差信号作为第n个单位时间的最终输出信号；
或者，若第二相干系数大于第一预设阈值，且第一相干系数和第三相干系数均小于第二预设阈值，选择第一残差信号作为第n个单位时间的最终输出信号；
或者，若第一相干系数、第二相关系数、第三相干系数、第一预设阈值和第二预设阈值之间的关系并非为如上的任一种关系时，则根据第一相干系数、第二相关系数、第三相干系数，按照预设规则分别设定第一残差信号和第二残差信号的输出比例，并将按照输出比例输出后信号进行叠加后，作为第n个单位时间的最终输出信号，其中，第一预设阈值大于或者等于第二预设阈值。
可选的，第一预设阈值为0.9，第二预设阈值为0.2。
本发明实施例提供的一种回声消除装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
本发明实施例提供的一种回声消除装置，将第n个单位时间对应的第一参考信号输入至第一滤波器，将第二参考信号输入至第二滤波器，从而分别获取第一输出信号和第二输出信号。根据第一输出信号和期望信号，计算得到第一残差信号，然后根据第二输出信号和期望信号，计算得到第二残差信号。按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数，最终根据这三个相干系数，从第一残差信号和/或第二残差信号中选择第n个单位时间的最终输出信号。实际上，也就是根据这三个系数确定当前语音交互设备处于何种状态。如果为远端单讲状态、近端单讲状态还是双讲状态，如果是远端单讲状态，则无需考虑近端语音信号的损伤问题，最终输出信号为第二残差信号即可，如果是近端单讲状态，则无需对回声做过强的抑制，重点在于保护近端语音信号，因此最终输出信号为第一残差信号。或者，当确定是双讲状态时，则将第一残差信号和第二残差信号按照预设比例输出，达到折中的效果。通过该种方式，不论语音交互设备当前处于何种状态，都能采取一定的有效措施保证回声消除，同时还能够缓解近端语音损伤，达到提升用户体验度的效果。
与上述实施例1和2相对应的，本发明实施例还提供了一种回声消除系统，具体如图4所示，该系统包括：处理器401和存储器402；
存储器402用于存储一个或多个程序指令；
一个或多个程序指令被处理器401运行，用以执行如上第一方面的一种回声消除方法中的任一方法步骤。
本发明实施例提供的一种回声消除系统中各部件所执行的功能均已在上述实施例1和实施例2中做了详细介绍，因此这里不做过多赘述。
本发明实施例提供的一种回声消除系统，将第n个单位时间对应的第一参考信号输入至第一滤波器，将第二参考信号输入至第二滤波器，从而分别获取第一输出信号和第二输出信号。根据第一输出信号和期望信号，计算得到第一残差信号，然后根据第二输出信号和期望信号，计算得到第二残差信号。按照预设公式计算第一参考信号和期望信号之间的第一相干系数，期望信号与第一残差信号之间的第二相干系数，以及期望信号和第二残差信号之间的第三相关系数，最终根据这三个相干系数，从第一残差信号和/或第二残差信号中选择第n个单位时间的最终输出信号。实际上，也就是根据这三个系数确定当前语音交互设备处于何种状态。如果为远端单讲状态、近端单讲状态还是双讲状态，如果是远端单讲状态，则无需考虑近端语音信号的损伤问题，最终输出信号为第二残差信号即可，如果是近端单讲状态，则无需对回声做过强的抑制，重点在于保护近端语音信号，因此最终输出信号为第一残差信号。或者，当确定是双讲状态时，则将第一残差信号和第二残差信号按照预设比例输出，达到折中的效果。通过该种方式，不论语音交互设备当前处于何种状态，都能采取一定的有效措施保证回声消除，同时还能够缓解近端语音损伤，达到提升用户体验度的效果。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于被一种回声消除系统执行如实施例1所介绍的一种回声消除方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (10)
1.一种回声消除方法，其特征在于，所述方法包括：
将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号，其中，所述第一参考信号为扬声器采集的参考信号，所述第二参考信号为参考传声器采集的信号，n依次递进取值，初始取值为1；
根据所述第一输出信号和期望信号，计算得到第一残差信号，其中，所述期望信号为拾音传声器采集的信号；
根据所述第二输出信号和所述期望信号，计算得到第二残差信号；
按照预设公式计算所述第一参考信号和所述期望信号之间的第一相干系数，所述期望信号与所述第一残差信号之间的第二相干系数，以及所述期望信号和所述第二残差信号之间的第三相关系数；
根据所述第一相关系数和/或第二相干系数，和/或第三相干系数，从所述第一残差信号和/或第二残差信号中，选择所述第n个单位时间的最终输出信号。
2.根据权利要求1所述的方法，其特征在于，所述将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号之前，所述方法还包括：
对所述第一滤波器中的第一滤波器传递函数和所述第二滤波器中的第二滤波器传递函数进行初始化。
3.根据权利要求1所述的方法，其特征在于，根据所述第一输出信号和期望信号，计算得到第一残差信号，具体包括：
将所述期望信号和所述第一输出信号做差值运算，获取所述第一残差信号。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二输出信号和所述期望信号，计算得到第二残差信号，具体包括：
将所述期望信号和所述第二输出信号做差值运算，获取所述第二残差信号。
5.根据权利要求2所述的方法，其特征在于，所述将第n个单位时间对应的第一参考信号输入至第一滤波器中，获取第一输出信号，以及，将第二参考信号输入至第二滤波器中，获取第二输出信号之后，所述方法还包括：
根据所述第一残差信号、所述第一参考信号以及所述第一滤波器的更新步长，对第n个单位时间对应的第一滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第一滤波器传递函数，具体参见如下表达式：
Wspk(z；n+1)＝Wspk(z；n)+μEspk *(z；n)Xrefspk(z；n)
其中，Wspk(z；n+1)为第n+1个单位时间对应的第一滤波器传递函数，Wspk(z；n)为第n个单位时间对应的第一滤波器传递函数，μ为滤波器的更新步长，Espk *(z；n)为第一残差信号，Xrefspk(z；n)为第一参考信号；
根据所述第二残差信号、所述第二参考信号以及所述第二滤波器的更新步长，对第n个单位时间对应的第二滤波器传递函数进行迭代更新，用以获取第n+1个单位时间对应的第二滤波器传递函数，具体参见如下表达式：
Wmic(z；n+1)＝Wmic(z；n)+μEmic *(z；n)Xrefmic(z；n)
其中，Wmic(z；n+1)为第n+1个单位时间对应的第二滤波器传递函数，Wmic(z；n)为第n个单位时间对应的第二滤波器传递函数，μ为滤波器的更新步长，Emic *(z；n)为第二残差信号，Xrefmic(z；n)为第二参考信号。
6.根据权利要求1-5任一项所述的方法，其特征在于，采用第一公式计算第一参考信号和所述期望信号之间的第一相干系数；采用第二公式计算所述期望信号与所述第一残差信号之间的第二相干系数，以及采用第三公式计算所述期望信号和所述第二残差信号之间的第三相关系数，具体如下：
第一公式：
其中，CXD(z；n)为第一相干系数，Xrefspk(z；n)为第一参考信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
第二公式：
其中CDEspk(z；n)为第二相干系数，Espk(z；n)为第一残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差；
第三公式：
其中，CDEmic(z；n)为第三相干系数，Emic(z；n)为第二残差信号，D(z；n)为期望信号，Cov[*,*]表示两个信号的协方差，Var[*]表示信号的方差。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述第一相关系数和/或第二相干系数，和/或第三相干系数，从所述第一残差信号和/或第二残差信号中，选择所述第n个单位时间的最终输出信号，具体包括：
若所述第一相干系数大于第一预设阈值，且所述第二相关系数和所述第三相干系数均小于第二预设阈值时，选择所述第二残差信号作为所述第n个单位时间的最终输出信号；
或者，若所述第二相干系数大于所述第一预设阈值，且所述第一相干系数和所述第三相干系数均小于所述第二预设阈值，选择所述第一残差信号作为所述第n个单位时间的最终输出信号；
或者，若所述第一相干系数、第二相关系数、第三相干系数、所述第一预设阈值和所述第二预设阈值之间的关系并非为如上所述的任一种关系时，则根据所述第一相干系数、第二相关系数、第三相干系数，按照预设规则分别设定所述第一残差信号和所述第二残差信号的输出比例，并将按照输出比例输出后信号进行叠加后，作为所述第n个单位时间的最终输出信号，其中，所述第一预设阈值大于或者等于所述第二预设阈值。
8.根据权利要求7所述的方法，其特征在于，所述第一预设阈值为0.9，所述第二预设阈值为0.2。
9.一种回声消除系统，其特征在于，所述系统包括：处理器和存储器；
所述存储器用于存储一个或多个程序指令；
所述一个或多个程序指令被所述处理器运行，用以执行如权利要求1-8任一项所述的方法步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种回声消除系统备执行如权利要求1-8任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910181374.0A CN109785853B (zh) | 2019-03-11 | 2019-03-11 | 一种回声消除方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910181374.0A CN109785853B (zh) | 2019-03-11 | 2019-03-11 | 一种回声消除方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109785853A true CN109785853A (zh) | 2019-05-21 |
| CN109785853B CN109785853B (zh) | 2020-06-16 |
Family
ID=66488943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910181374.0A Active CN109785853B (zh) | 2019-03-11 | 2019-03-11 | 一种回声消除方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109785853B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992923A (zh) * | 2019-12-19 | 2020-04-10 | 浙江大华技术股份有限公司 | 回声消除方法、电子设备以及存储装置 |
| CN112017679A (zh) * | 2020-08-05 | 2020-12-01 | 海尔优家智能科技（北京）有限公司 | 用于自适应滤波器系数更新的方法及装置、设备 |
| CN112309418A (zh) * | 2020-10-30 | 2021-02-02 | 出门问问(苏州)信息科技有限公司 | 一种抑制风噪声的方法及装置 |
| CN113949776A (zh) * | 2021-10-19 | 2022-01-18 | 随锐科技集团股份有限公司 | 一种基于双步长快速回声消除的双端讲话检测方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030013579A (ko) * | 2001-08-08 | 2003-02-15 | 한국전자통신연구원 | 음향 반향 제거기를 위한 동시통화 검출기에서의 동시통화 구간의 끝점 검출 지연 제거 장치 및 그 방법 |
| CN101917527A (zh) * | 2010-09-02 | 2010-12-15 | 杭州华三通信技术有限公司 | 回声消除的方法和装置 |
| CN102065190A (zh) * | 2010-12-31 | 2011-05-18 | 杭州华三通信技术有限公司 | 一种回声消除方法及其装置 |
| CN106898359A (zh) * | 2017-03-24 | 2017-06-27 | 上海智臻智能网络科技股份有限公司 | 音频信号处理方法、系统、音频交互装置及计算机设备 |
| CN109040499A (zh) * | 2018-08-14 | 2018-12-18 | 西南交通大学 | 一种抗冲击干扰的自适应回声消除方法 |
-
2019
- 2019-03-11 CN CN201910181374.0A patent/CN109785853B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030013579A (ko) * | 2001-08-08 | 2003-02-15 | 한국전자통신연구원 | 음향 반향 제거기를 위한 동시통화 검출기에서의 동시통화 구간의 끝점 검출 지연 제거 장치 및 그 방법 |
| CN101917527A (zh) * | 2010-09-02 | 2010-12-15 | 杭州华三通信技术有限公司 | 回声消除的方法和装置 |
| CN102065190A (zh) * | 2010-12-31 | 2011-05-18 | 杭州华三通信技术有限公司 | 一种回声消除方法及其装置 |
| CN106898359A (zh) * | 2017-03-24 | 2017-06-27 | 上海智臻智能网络科技股份有限公司 | 音频信号处理方法、系统、音频交互装置及计算机设备 |
| CN109040499A (zh) * | 2018-08-14 | 2018-12-18 | 西南交通大学 | 一种抗冲击干扰的自适应回声消除方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992923A (zh) * | 2019-12-19 | 2020-04-10 | 浙江大华技术股份有限公司 | 回声消除方法、电子设备以及存储装置 |
| CN110992923B (zh) * | 2019-12-19 | 2022-06-07 | 浙江大华技术股份有限公司 | 回声消除方法、电子设备以及存储装置 |
| CN112017679A (zh) * | 2020-08-05 | 2020-12-01 | 海尔优家智能科技（北京）有限公司 | 用于自适应滤波器系数更新的方法及装置、设备 |
| CN112017679B (zh) * | 2020-08-05 | 2024-01-26 | 海尔优家智能科技（北京）有限公司 | 用于自适应滤波器系数更新的方法及装置、设备 |
| CN112309418A (zh) * | 2020-10-30 | 2021-02-02 | 出门问问(苏州)信息科技有限公司 | 一种抑制风噪声的方法及装置 |
| CN112309418B (zh) * | 2020-10-30 | 2023-06-27 | 出门问问(苏州)信息科技有限公司 | 一种抑制风噪声的方法及装置 |
| CN113949776A (zh) * | 2021-10-19 | 2022-01-18 | 随锐科技集团股份有限公司 | 一种基于双步长快速回声消除的双端讲话检测方法和装置 |
| CN113949776B (zh) * | 2021-10-19 | 2024-04-16 | 随锐科技集团股份有限公司 | 一种基于双步长快速回声消除的双端讲话检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109785853B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109785853A (zh) | 一种回声消除方法、装置、系统及存储介质 | |
| US10438607B2 (en) | Device and method for cancelling echo | |
| CN111768796B (zh) | 一种声学回波消除与去混响方法及装置 | |
| US7831035B2 (en) | Integration of a microphone array with acoustic echo cancellation and center clipping | |
| CN107888792B (zh) | 一种回声消除方法、装置及系统 | |
| JP5450567B2 (ja) | クリアな信号の取得のための方法及びシステム | |
| KR101414688B1 (ko) | 에코 보상 방법 및 신호 처리 수단 | |
| CN109727604A (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
| US20070263850A1 (en) | Integration of a microphone array with acoustic echo cancellation and residual echo suppression | |
| CN104883462B (zh) | 一种用于消除声学回声的自适应滤波器及滤波方法 | |
| US20110150067A1 (en) | Echo canceller for eliminating echo without being affected by noise | |
| CN108711433A (zh) | 一种回声消除方法和装置 | |
| CN105810202B (zh) | 一种降低回声的方法、装置及通讯设备 | |
| CN107483761A (zh) | 一种回波抑制方法及装置 | |
| NO332437B1 (no) | Apparat og fremgangsmate for a supprimere et akustisk ekko | |
| WO2017099728A1 (en) | System and method for suppression of non-linear acoustic echoes | |
| EP1526510B1 (en) | Systems and methods for echo cancellation with arbitrary playback sampling rates | |
| CN110176244A (zh) | 回声消除方法、装置、存储介质和计算机设备 | |
| CN109273019A (zh) | 用于回声抑制的双重通话检测的方法及回声抑制 | |
| WO2020124325A1 (zh) | 一种回声消除中的自适应滤波方法、装置、设备及存储介质 | |
| CN107134281A (zh) | 一种自适应回声消除中自适应滤波器系数更新方法 | |
| CN111968658A (zh) | 语音信号的增强方法、装置、电子设备和存储介质 | |
| CN106571147A (zh) | 用于网络话机声学回声抑制的方法 | |
| CN109102821A (zh) | 时延估计方法、系统、存储介质及电子设备 | |
| CN109961798B (zh) | 回声消除系统、方法、可读计算机存储介质、及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |