CN109712636B - 一种回声消除过程中的近端语音修复方法及系统 - Google Patents
一种回声消除过程中的近端语音修复方法及系统 Download PDFInfo
- Publication number
- CN109712636B CN109712636B CN201910172861.0A CN201910172861A CN109712636B CN 109712636 B CN109712636 B CN 109712636B CN 201910172861 A CN201910172861 A CN 201910172861A CN 109712636 B CN109712636 B CN 109712636B
- Authority
- CN
- China
- Prior art keywords
- transfer function
- signal
- state
- far
- state vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000008569 process Effects 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 claims abstract description 83
- 238000012546 transfer Methods 0.000 claims description 201
- 230000006870 function Effects 0.000 claims description 199
- 230000003044 adaptive effect Effects 0.000 claims description 61
- 230000008439 repair process Effects 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000021615 conjugation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 230000005236 sound signal Effects 0.000 description 9
- 230000001902 propagating effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明实施例涉及数据处理技术领域，具体公开了一种回声消除过程中的近端语音修复方法、装置及系统，该方法包括：确定第一残差信号；根据第一残差信号、期望信号以及第二参考信号，确定语音交互设备的状态向量；当根据状态向量确定语音交互设备当前所处状态为双讲状态时，对第一残差信号进行修复。通过该种方式，可以极大缓解参考传声器回声消除存在的近端语音失真问题。
Description
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种回声消除过程中的近端语音修复方法及系统。
背景技术
语音交互设备在工作时，扬声器播放的声信号所产生的回声以及在环境中所产生的回声难免被传声器所采集到，并混合当前发声者发出的声音一并传输到对端。传统的回声消除技术难以消除回声中的非线性成分，导致回声残留过大。
针对该问题，现有方案提出了使用参考传声器拾取回声消除算法中的参考信号的方案，用以缓解回声中非线性成分过高的问题。而参考传声器在拾取回声的同时不可避免地拾取到了近端语音信号，因而该方法带来了近端语音损伤问题。
为缓解该问题，有研究人员提出将参考传声器放在音频设备壳体内部、使用指向性传声器等方案，但这些方案往往需要依赖特殊的硬件装置设计，设计结构复杂，不易普遍实施。另一方面，由于硬件设计只能一定程度上减少参考传声器信号中近端语音的成分，因而也很难完全避免近端语音损伤，近端语音损伤的进一步影响就是语音信号失真。
如何才能保证语音交互设备最终输出的语音信号始终不失真则成为亟待解决的技术问题。
发明内容
为此，本发明实施例提供一种回声消除过程中的近端语音修复方法及系统，以解决现有技术中无法保证语音交互设备最终输出的信号始终不失真的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
第一方面，本发明实施例提供了一种回声消除过程中的近端语音修复方法，该方法应用于在第n个单位时间使用语音交互设备的场景，包括：
根据第一参考信号、自适应滤波器传递函数，以及期望信号，获取第一残差信号，所述自适应滤波器传递函数为第n-1个单位时间的自适应滤波器传递函数；
根据所述第一残差信号、所述期望信号以及第二参考信号，确定语音交互设备当前所处状态对应的状态向量；
当根据所述状态向量确定所述语音交互设备当前所处状态为双讲状态时，对所述第一残差信号进行修复。
本发明实施例的特征还在于，当根据所述状态向量确定所述语音交互设备当前所处状态为远端单讲状态时，对远端信号传递函数进行更新并记录，输出所述第一残差信号；
或者，
当根据所述状态向量确定所述语音交互设备当前所处状态为近端单讲状态时，对近端信号传递函数进行更新并记录。
本发明实施例的特征还在于，所述对远端信号传递函数进行更新并记录，具体包括：
根据所述第一残差信号、所述状态向量、所述第一参考信号以及第n-1个单位时间的远端信号传递函数，对所述自适应滤波器传递函数进行更新；
根据所述状态向量、更新后的自适应滤波器传递函数，以及所述第n-1个单位时间的远端信号传递函数，对所述远端信号传递函数进行更新并记录。
本发明实施例的特征还在于，所述当根据所述状态向量确定所述语音交互设备当前所处状态为双讲状态时，对所述第一残差信号进行修复，具体包括：
根据第一参考信号、近端信号传递函数，以及期望信号，获取第二残差信号，其中，所述近端信号传递函数为第n-1个单位时间的近端信号传递函数；
根据所述第二残差信号、所述状态向量、所述第一参考信号以及第n-1个单位时间的近端信号传递函数，对所述近端信号传递函数进行更新；
根据所述状态向量、经过更新后的远端信号传递函数以及经过更新后的近端信号传递函数，确定近端语音修复传递函数；
根据所述近端语音修复传递函数对所述第一残差信号进行修复，其中，n为依次递进取值，且初始取值为1。
本发明实施例的特征还在于，所述根据所述第一残差信号、所述状态向量、所述第一参考信号以及所述第n-1个单位时间的远端信号传递函数，对所述自适应滤波器传递函数进行更新，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态时，所述自适应滤波器传递函数为0；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为远端单讲状态，且第n-1个单位时间的状态向量显示为所述语音交互设备处于远端单讲状态时，所述自适应滤波器传递函数采用如下公式进行更新：
其中，W(z；n)为自适应滤波器传递函数；μ为预设值的自适应滤波器的更新步长；E(z；n)为第一残差信号；Xrefmic(z；n)为第一参考信号；上标*代表共轭转制，|*|2表示求信号模的平方和；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为远端单讲状态，且第n-1个单位时间的状态向量显示所述语音交互设备不处于远端单讲状态时，又或者，当所述状态向量显示为所述语音交互设备当前所处状态为双讲状态，且第n-1个单位时间的状态向量显示所述语音交互设备为近端单讲状态时，所述自适应滤波器传递函数更新为所述第n-1个单位时间的远端信号传递函数；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为双讲状态，且第n-1个单位时间的状态向量显示所述语音交互设备不处于近端单讲状态时，对所述自适应滤波器传递函数停止更新。
本发明实施例的特征还在于，所述根据所述状态向量、更新后的自适应滤波器传递函数，以及所述第n-1个单位时间的远端信号传递函数，对所述远端信号传递函数进行更新，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态或者为双讲状态时，所述远端信号传递函数为所述第n-1个单位时间的远端信号传递函数；
或者，当所述状态向量显示所述语音交互设备当前所处状态为远端单讲状态时，所述远端信号传递函数为更新后的自适应滤波器传递函数。
本发明实施例的特征还在于，所述根据所述第二残差信号、所述状态向量、所述第一参考信号以及第n-1个单位时间的近端信号传递函数，对所述近端信号传递函数进行更新，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态时，采用如下公式对所述近端信号传递函数进行更新：
其中，Wne(z；n)为近端信号传递函数，Ene(z；n)为第二残差信号；
Xrefmic(z；n)为第一参考信号，μ为预设值的自适应滤波器的更新步长，上标*代表共轭转制，|*|2表示求信号模的平方和；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为远端单讲状态或者为双讲状态时，对所述近端信号传递函数停止更新。
本发明实施例的特征还在于，所述根据所述状态向量、经过更新后的远端信号传递函数以及经过更新后的近端信号传递函数，确定近端语音修复传递函数，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态或者为远端单讲状态时，近端语音修复传递函数为1；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为双讲状态时，所述近端语音修复传递函数由下式获取：
其中，Wcomp(z；n)为近端语音修复传递函数，Wne(z；n)为近端信号传递函数，Wfe(z；n)为远端信号传递函数。
本发明实施例的特征还在于，所述根据第一参考信号、自适应滤波器传递函数，以及期望信号，获取第一残差信号之前，所述方法还包括：
设置n＝0时，将状态向量初始化为远端单讲状态，将所述自适应滤波器传递函数、所述近端信号传递函数、所述远端信号传递函数均初始化为0。
第二方面，本发明实施例还提供了一种回声消除过程中的近端语音修复系统，该系统包括：处理器和存储器；
存储器用于存储一个或多个程序指令；
处理器，用于运行一个或多个程序指令，用以执行如上一种近端语音修复的方法中的任一方法步骤。
第三方面，本发明实施例还提供了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种回声消除过程中的近端语音修复系统中的服务器执行如上第一方面的一种回声消除过程中的近端语音修复方法中的任一方法步骤。
根据本发明的实施方式，具有如下优点：根据第一参考信号、自适应滤波器传递函数以及期望信号获取第一残差信号后，根据第一残差信号、期望信号和第二参考信号，确定语音交互设备当前所处状态对应的状态向量。当根据状态向量确定语音交互设备当前所处的状态为双讲状态时，对经过回声消除后的第一残差信号进行近端语音修复。通过该种方式，可以极大缓解参考传声器回声消除存在的近端语音失真问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明一实施例提供的一种回声消除过程中的近端语音修复方法流程示意图；
图2为本发明一实施例提供的一种近端语音修复信号流向结构示意图；
图3为本发明一实施例提供的一种近端语音修复原理结构示意图；
图4为本发明另一实施例提供的一种回声消除过程中的近端语音修复系统结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提供了一种回声消除过程中的近端语音修复方法，方法应用于第n个单位时间使用语音交互的场景，当该方法应用于频域时，第n个单位时间为预设时长的时间段，当该方法应用于时域时，第n个单位时间为预设时间点，在本实施例中，没有明确说明某一个参数属于哪个单位时间的，均是默认以第n个单位时间为准，具体如图1和图2所示，该方法包括：
步骤110，根据第一参考信号、自适应滤波器传递函数，以及期望信号，获取第一残差信号。
具体的，在执行步骤110之前，该方法包括：初始化参数。也即是在n等于0的时刻，初始化能够表示语音交互设备所处状态的状态向量，将状态向量初始化为dtd(0)＝[ne,fe,dt]T＝[0,1,0]T，表示为远端单讲状态。将自适应滤波器传递函数初始化为W(z；0)＝0，将近端信号传递函数初始化为Wne(z；0)＝0，将远端信号传递函数初始化为Wfe(z；0)＝0。在本实施例中，自适应滤波器为回声消除滤波器。远端信号传递函数用以记录远端信号的变化状态。而自适应滤波器传递函数为事先设定好的，等于第n-1个单位时间的自适应滤波器传递函数，也即是W(z；n)＝W(z；n-1)。其中，n为依次递进取值，且初始取值为1，例如n为1，2，3，…，n-1，n等数值。
而第一参考信号为参考传声器采集的声音信号，而期望信号为拾音传声器采集的声音信号。需要说明的是，参考传声器和拾音传声器实际是本实施例中为了区别两个不同的传声器而自定义命名的，他们均是普通的传声器。
参考传声器中采集的声音信号包含了扬声器传出的声音信号、扬声器传出声音信号在环境中产生的回音，以及近端语音信号。在本实施例中，将扬声器传出的声音信号和扬声器传出声音信号在环境中产生的回音统称为回声信号。而拾音传声器采集的信号中同样包含了近端语音信号和回声信号。
在本步骤中，说明根据第一参考信号、自适应滤波器传递函数，以及期望信号，获取第一残差信号，具体过程为：
将第一参考信号输入至自适应滤波器中，也即是将第一参考信号和自适应滤波器传递函数进行相乘，获取第一滤波输出信号。具体参见公式1：
Yd(z；n)＝W(z；n)Xrefmic(z；n) (公式1)
其中，Yd(z；n)为第一滤波输出信号，W(z；n)为自适应滤波器传递函数，Xrefmic(z；n)为第一参考信号。
将期望信号和第一滤波输出信号做差值运算，获取第一残差信号，而第一残差信号也就是经过回声消除处理后的信号。具体由公式2表示为：
E(z；n)＝Xrecord(z；n)-Yd(z；n) (公式2)
其中，E(z；n)为第一残差信号，Xrecord(z；n)为期望信号。
步骤120，根据第一残差信号、期望信号以及第二参考信号，确定语音交互设备当前所处状态对应的状态向量。
具体的，第二参考信号为输入至扬声器的参考信号。利用常规技术，根据第一残差信号、期望信号以及第二参考信号，确定语音交互设备当前所处状态对应的状态向量。其中，语音交互设备所处的状态可以包括三种：远端单讲状态、近端单讲状态或者双讲状态。用向量表示时，则可以包括：当dtd(n)＝[1,0,0]T时表示当前状态为近端单讲状态，当dtd(n)＝[0，1，0]T时代表当前状态为远端单讲状态，当dtd(n)＝[0,0,1]T时代表当前状态为双讲状态。
步骤130，当根据所述状态向量确定所述语音交互设备当前所处状态为双讲状态时，对所述第一残差信号进行修复。
具体的，在执行步骤120之后，就可以确定语音交互设备当前所处的状态。那么，一旦确定当前所处状态为双讲状态时，就需要对第一残差信号进行修复。具体修复过程，将在下文中做详细介绍。
可选的，当根据所述状态向量确定所述语音交互设备当前所处状态为远端单讲状态时，对远端信号传递函数进行更新并记录，输出所述第一残差信号；
或者，
当根据所述状态向量确定所述语音交互设备当前所处状态为近端单讲状态时，对近端信号传递函数进行更新并记录。
进一步可选的，对远端信号传递函数进行更新并记录，具体包括：
根据第一残差信号、状态向量、第一参考信号以及第n-1个单位时间的远端信号传递函数，对远端信号传递函数进行更新。
具体的，可以包括：根据第一残差信号、状态向量、第一参考信号以及第n-1个单位时间的远端信号传递函数，对自适应滤波器传递函数进行更新；
根据状态向量、更新后的自适应滤波器传递函数，以及第n-1个单位时间的远端信号传递函数，对远端信号传递函数进行更新。
可选的，在执行对自适应滤波器传递函数进行更新时，主要采用自适应滤波器状态机对其进行更新，更新过程与语音交互设备当前所处的状态和在第n-1个单位时间时所处的状态有直接关系。因此，在对自适应滤波器传递函数进行更新时，首先要以语音交互设备对应的状态向量为准确定更新方式。
主要包括以下几种：
当状态向量显示为语音交互设备当前所处状态为近端单讲状态时，自适应滤波器传递函数为0。很明显，如果处于近端单讲状态，那么也就没有回声信号，自然就不用对回声信号进行滤除，因此，当dtd(n)＝[1,0,0]T时，W(z；n)＝0。
或者，当状态向量显示为语音交互设备当前所处状态为远端单讲状态，且第n-1个单位时间的状态向量显示为语音交互设备处于远端单讲状态。如果前一个状态和当前状态都处于远端单讲状态，那么第一参考信号中必然存在回声信号需要滤波掉，也即是：
当dtd(n)＝[0,1,0]T且dtd(n-1)＝[0,1,0]T时，使用归一化最小均方(NLMS)算法更新滤波器W(z；n)，具体公式如下：
其中，W(z；n)为自适应滤波器传递函数；μ为预设值的自适应滤波器的更新步长；E(z；n)为第一残差信号；Xrefmic(z；n)为第一参考信号；上标*代表共轭转制，|*|2表示求信号模的平方和；
或者，当状态向量显示为语音交互设备当前所处状态为远端单讲状态，且第n-1个单位时间的状态向量显示语音交互设备不处于远端单讲状态时，又或者，当状态向量显示为语音交互设备当前所处状态为双讲状态，且第n-1个单位时间的状态向量显示语音交互设备为近端单讲状态时，自适应滤波器传递函数更新为第n-1个单位时间的远端信号传递函数。
也即是当dtd(n)＝[0,1,0]T且dtd(n-1)≠[0,1,0]T时，或当dtd(n)＝[0,0,1]T且dtd(n-1)＝[1,0,0]T时，更新公式如下：
W(z；n)＝Wfe(z；n-1) (公式4)
或者，当状态向量显示为语音交互设备当前所处状态为双讲状态，且第n-1个单位时间的状态向量显示语音交互设备不处于近端单讲状态时，对自适应滤波器传递函数停止更新，也即是当dtd(n)＝[0,0,1]T且dtd(n-1)≠[1,0,0]T时，停止对自适应滤波器传递函数更新。
进一步的，还需要根据状态向量、更新后的自适应滤波器传递函数，以及第n-1个单位时间的远端信号传递函数，对远端信号传递函数进行更新，该更新过程主要通过远端信号传递函数更新状态机执行，具体可以包括如下几种情况：
当状态向量显示为语音交互设备当前所处状态为近端单讲状态或者为双讲状态时，远端信号传递函数为第n-1个单位时间的远端信号传递函数。
也即是，当dtd(n)＝[1,0,0]T，或当dtd(n)＝[0,0,1]T时，
Wfe(z；n)＝Wfe(z；n-1) (公式5)
远端信号传递函数主要用于记录远端信号的状态变化，而当语音交互设备当前所处状态为近端单讲或者双讲时，远端信号传递函数自然不会发生改变，因此其可以等同于第n-1个单位时间的远端信号传递函数。
而，当状态向量显示语音交互设备当前所处状态为远端单讲状态时，远端信号传递函数为更新后的自适应滤波器传递函数。
也即是当dtd(n)＝[0,1,0]T时，远端信号传递函数由下式表示：
Wfe(z；n)＝W(z；n) (公式6)
自此，远端信号传递函数的辨识过程已经完成。下面，将介绍对近端信号传递函数的辨识过程。对近端信号传递函数进行更新，主要是为了对第一残差信号进行修复做好准备工作。具体操作过程将在下文进行介绍，这里结合对所述第一残差信号进行修复等过程，做如下详细说明：
步骤1)，根据第一参考信号、近端信号传递函数，以及期望信号，获取第二残差信号，其中，所述近端信号传递函数为第n-1个单位时间的近端信号传递函数。
其中，近端信号传递函数为第n-1个单位时间的近端信号传递函数。
具体的，获取第二残差信号的过程与获取第一残差信号的过程类似。首先，根据第一参考信号和近端信号传递函数，获取第二滤波输出信号。
具体由公式表示如下：
Yne(z；n)＝Wne(z；n)Xrefmic(z；n) (公式7)
其中，Yne(z；n)为第二滤波输出信号，Wne(z；n)为近端信号传递函数，Xrefmic(z；n)为期望信号。
然后，将期望信号和第二滤波输出信号做差值运算，获取第二残差信号。
具体公式参见如下：
Ene(z；n)＝Xrefmic(z；n)-Yne(z；n) (公式8)
其中，Ene(z；n)为第二残差信号。
步骤2)，根据第二残差信号、状态向量、第一参考信号以及第n-1个单位时间的近端信号传递函数，对近端信号传递函数进行更新。
具体的，该更新过程主要由近端信号传递函数自适应辨识状态机完成，可以包括：
当状态向量显示为语音交互设备当前所处状态为近端单讲状态时，也即是：当dtd(n)＝[1,0,0]T时，使用NLMS算法对近端信号传递函数进行更新，具体可以参见如下公式：
其中，Wne(z；n)为近端信号传递函数，Ene(z；n)为第二残差信号；Xrefmic(z；n)为第一参考信号，μ为预设值的自适应滤波器的更新步长，上标*代表共轭转制，|*|2表示求信号模的平方和；
或者，当状态向量显示为语音交互设备当前所处状态为远端单讲状态或者为双讲状态时，也即是当dtd(n)＝[0,1,0]T，或当dtd(n)＝[0,0,1]T时，对近端信号传递函数停止更新。
近端信号传递函数用以记录在近端单讲状态时近端信号状态。因此，只有当语音交互设备处于近端单讲状态时，对其更新，而处于远端单讲状态或者双讲状态时，则停止对其更新。
确定更新后的近端信号传递函数和更新后的远端信号传递函数后，将这二者和状态向量相结合，确定近端语音修复传递函数。最终，根据近端语音修复传递函数，对经过回声消除处理后，近端语音信号受到损伤的第一残差信号进行修复，也即是执行步骤3)～步骤4)。
而在介绍步骤3)～步骤4)之前，为了更加方便读者的理解，下文将说明修复近端语音信号的方法原理。
参见图3，图3示出了在参考传声器系统中，第二参考信号，也即是输入至扬声器的参考信号、近端语音信号与参考传声器采集的第一参考信号、拾音传声器采集的期望信号之间的传递关系。
图3中，Hr(z；n)为第二参考信号经扬声器输出传播至参考传声器的传递函数；Hd(z；n)为第二参考信号经扬声器输出传播至拾音传声器的传递函数；V(z；n)为近端语音信号；Gr(z；n)为近端语音信号传播至参考传声器的传递函数；Gd(z；n)为近端语音信号传播至拾音传声器的传递函数；传递函数自适应辨识系统用于结合原理框图中的算法逻辑辨识近端语音信号传递函数和远端语音信号传递函数。
由图3可知，第一参考信号Xrefmic(z；n)可表示为：
Xrefmic(z；n)＝Hr(z；n)Xrefspk(z；n)+Gr(z；n)V(z；n) (公式10)
期望信号Xrecord(z；n)可表示为：
Xrecord(z；n)＝Hd(z；n)Xrefspk(z；n)+Gd(z；n)V(z；n) (公式11)
远端信号传递函数用于表示远端信号分别传播至拾音传声器和参考传声器两个传递函数的比值，记作：
近端信号传递函数用于表示近端语音信号分别传播至拾音传声器和参考传声器两个传递函数的比值，记作
自适应滤波理论将参考信号通过自适应滤波器得到的滤波输出信号与期望信号相减，得到残差信号Eerr(z；n)。定义该自适应滤波器为Wadap(z；n)，则有
Eerr(z；n)＝Xrecord(z；n)-Wadap(z；n)Xrefmic(z；n) (公式14)
定义目标函数
J(z；n)＝E[|Eerr(z；n)|2] (公式15)
其中E[*]为求期望。
令目标函数为0，则有
Eerr(z；n)＝Xrecord(z；n)-Wadap(z；n)Xrefmic(z；n)＝0 (公式16)
可得到
在算法运行过程中，假设各个传递函数均处于较为稳定状态，即随n的变化各自状态变化缓慢。最终算法期望得到的信号为近端语音信号经传递函数Gd(z；n)后得到的信号，即期望
Eoutput(z；n)＝Gd(z；n)V(z；n) (公式18)
基于以上理论分析本发明步骤运行过程中，该自适应辨识系统得到的传递函数以及近端语音修复原理：
1.当双讲检测状态向量dtd(n)＝[1,0,0]T时，系统处于近端单讲状态，此时输入至扬声器作为参考信号的远端音频信号较小，可认为。
此时，对近端信号传递函数进行辨识，可以得到
此时，回声消除自适应滤波器W(z；n)无需工作，即
W(z；n)＝0
则
因此，令
Wcomp(z；n)＝1
将E(z；n)直接作为最终输出即可，无需进行近端语音修复，即
Eoutput(z；n)＝Wcomp(z；n)E(z；n)＝1×E(z；n)≈Gd(z；n)V(z；n) (公式21)
2.当双讲检测状态向量dtd(n)＝[0,1,0]T时，系统处于远端单讲状态，此时近端语音信号较小，可认为Xrefmic(z；n)＞＞V(z；n)≈0
此时，对远端信号传递函数进行辨识可以得到
同时回声消除滤波器W(z；n)状态与远端信号传递函数滤波器Wfe(z；n)相同，即
W(z；n)＝Wfe(z；n)≈H(z；n)
此时，回声消除系统得到的残差信号E(z；n)为
因此，令
Wcomp(z；n)＝1
将E(z；n)直接作为最终输出即可，无需进行近端语音修复，即
Eoutput(z；n)＝Wcomp(z；n)E(z；n)＝1×E(z；n)＝0≈Gd(z；n)V(z；n)(公式24)
3.当双讲检测状态向量dtd(n)＝[0,0,1]T时，系统处于双讲状态，此时不对滤波器进行更新，使用远端信号传递函数作为回声消除滤波器传递函数对拾音传声器中远端信号成分进行消除，即
W(z；n)＝Wfe(z；n)＝H(z；n)
则
可以看到E(z；n)与期望的Eoutput(z；n)之间存在干扰项-H(z；n)Gr(z；n)V(z；n)的差异。若将以上公式两端均乘以近端信号传递函数G(z；n)，即用该传递函数将E(z；n)进行滤波器，可以得到
由以上公式容易得到
此时，将音段语音修复滤波器Wcomp(z；n)设置为如下状态
并使用该滤波器对E(z；n)进行修复，可得到期望的理想近端语音输出信号，即
在上文中，也说明了步骤160～步骤170具体执行过程，具体包括：
步骤3)，根据状态向量、经过更新后的远端信号传递函数以及经过更新后的近端信号传递函数，确定近端语音修复传递函数，该过程主要由语音修复滤波状态机完成，具体参见公式28。
步骤4)，根据近端语音修复传递函数对第一残差信号进行修复，具体可以参见公式29。
本发明实施例提供的一种回声消除过程中的近端语音修复方法，根据第一参考信号、自适应滤波器传递函数以及期望信号获取第一残差信号后，根据第一残差信号、期望信号和第二参考信号，确定语音交互设备当前所处状态对应的状态向量。当根据状态向量确定语音交互设备当前所处的状态为双讲状态时，对经过回声消除后的第一残差信号进行近端语音修复。通过该种方式，可以极大缓解参考传声器回声消除存在的近端语音失真问题。
与上述实施例1相对应的，本发明实施例还提供了一种回声消除过程中的近端语音修复系统，具体如图4所示，该系统包括：处理器401和存储器402；
存储器402用于存储一个或多个程序指令；
处理器401，用于运行一个或多个程序指令，用以执行如实施例1所介绍的一种回声消除过程中的近端语音修复方法。
本发明实施例提供的一种回声消除过程中的近端语音修复系统，根据第一参考信号、自适应滤波器传递函数以及期望信号获取第一残差信号后，根据第一残差信号、期望信号和第二参考信号，确定语音交互设备当前所处状态对应的状态向量。当根据状态向量确定语音交互设备当前所处的状态为双讲状态时，对经过回声消除后的第一残差信号进行近端语音修复。通过该种方式，可以极大缓解参考传声器回声消除存在的近端语音失真问题。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于被一种回声消除过程中的近端语音修复系统执行如实施例1所介绍的一种回声消除过程中的近端语音修复方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (9)
1.一种回声消除过程中的近端语音修复方法，其特征在于，所述方法应用于在第n个单位时间使用语音交互设备的场景，所述方法包括：
根据第一参考信号、自适应滤波器传递函数，以及期望信号，获取第一残差信号，所述自适应滤波器传递函数为第n-1个单位时间的自适应滤波器传递函数；
根据所述第一残差信号、所述期望信号以及第二参考信号，确定语音交互设备当前所处状态对应的状态向量；
当根据所述状态向量确定所述语音交互设备当前所处状态为双讲状态时，对所述第一残差信号进行修复；
当根据所述状态向量确定所述语音交互设备当前所处状态为远端单讲状态时，对远端信号传递函数进行更新并记录，输出所述第一残差信号；
当根据所述状态向量确定所述语音交互设备当前所处状态为近端单讲状态时，对近端信号传递函数进行更新并记录。
2.根据权利要求1所述的方法，其特征在于，所述对远端信号传递函数进行更新并记录，具体包括：
根据所述第一残差信号、所述状态向量、所述第一参考信号以及第n-1个单位时间的远端信号传递函数，对所述自适应滤波器传递函数进行更新；
根据所述状态向量、更新后的自适应滤波器传递函数，以及所述第n-1个单位时间的远端信号传递函数，对所述远端信号传递函数进行更新并记录。
3.根据权利要求1或2所述的方法，其特征在于，所述当根据所述状态向量确定所述语音交互设备当前所处状态为双讲状态时，对所述第一残差信号进行修复，具体包括：
根据第一参考信号、近端信号传递函数，以及期望信号，获取第二残差信号，其中，所述近端信号传递函数为第n-1个单位时间的近端信号传递函数；
根据所述第二残差信号、所述状态向量、所述第一参考信号以及第n-1个单位时间的近端信号传递函数，对所述近端信号传递函数进行更新；
根据所述状态向量、经过更新后的远端信号传递函数以及经过更新后的近端信号传递函数，确定近端语音修复传递函数；
根据所述近端语音修复传递函数对所述第一残差信号进行修复，其中，n为依次递进取值，且初始取值为1。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一残差信号、所述状态向量、所述第一参考信号以及所述第n-1个单位时间的远端信号传递函数，对所述自适应滤波器传递函数进行更新，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态时，所述自适应滤波器传递函数为0；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为远端单讲状态，且第n-1个单位时间的状态向量显示为所述语音交互设备处于远端单讲状态时，所述自适应滤波器传递函数采用如下公式进行更新：
其中，W(z；n)为自适应滤波器传递函数；μ为预设值的自适应滤波器的更新步长；E(z；n)为第一残差信号；Xrefmic(z；n)为第一参考信号；上标*代表共轭转制，|*|2表示求信号模的平方和；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为远端单讲状态，且第n-1个单位时间的状态向量显示所述语音交互设备不处于远端单讲状态时，又或者，当所述状态向量显示为所述语音交互设备当前所处状态为双讲状态，且第n-1个单位时间的状态向量显示所述语音交互设备为近端单讲状态时，所述自适应滤波器传递函数更新为所述第n-1个单位时间的远端信号传递函数；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为双讲状态，且第n-1个单位时间的状态向量显示所述语音交互设备不处于近端单讲状态时，对所述自适应滤波器传递函数停止更新。
5.根据权利要求4所述的方法，其特征在于，所述根据所述状态向量、更新后的自适应滤波器传递函数，以及所述第n-1个单位时间的远端信号传递函数，对所述远端信号传递函数进行更新，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态或者为双讲状态时，所述远端信号传递函数为所述第n-1个单位时间的远端信号传递函数；
或者，当所述状态向量显示所述语音交互设备当前所处状态为远端单讲状态时，所述远端信号传递函数为更新后的自适应滤波器传递函数。
6.根据权利要求3所述的方法，其特征在于，所述根据所述第二残差信号、所述状态向量、所述第一参考信号以及第n-1个单位时间的近端信号传递函数，对所述近端信号传递函数进行更新，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态时，采用如下公式对所述近端信号传递函数进行更新：
其中，Wne(z；n)为近端信号传递函数，Ene(z；n)为第二残差信号；Xrefmic(z；n)为第一参考信号，μ为预设值的自适应滤波器的更新步长，上标*代表共轭转制，|*|2表示求信号模的平方和；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为远端单讲状态或者为双讲状态时，对所述近端信号传递函数停止更新。
7.根据权利要求3所述的方法，其特征在于，所述根据所述状态向量、经过更新后的远端信号传递函数以及经过更新后的近端信号传递函数，确定近端语音修复传递函数，具体包括：
当所述状态向量显示为所述语音交互设备当前所处状态为近端单讲状态或者为远端单讲状态时，近端语音修复传递函数为1；
或者，当所述状态向量显示为所述语音交互设备当前所处状态为双讲状态时，所述近端语音修复传递函数由下式获取：
其中，Wcomp(z；n)为近端语音修复传递函数，Wne(z；n)为近端信号传递函数，Wfe(z；n)为远端信号传递函数。
8.根据权利要求3所述的方法，其特征在于，所述根据第一参考信号、自适应滤波器传递函数，以及期望信号，获取第一残差信号之前，所述方法还包括：
设置n＝0时，将状态向量初始化为远端单讲状态，将所述自适应滤波器传递函数、所述近端信号传递函数、所述远端信号传递函数均初始化为0。
9.如权利要求1-8中任一所述的一种回声消除过程中的近端语音修复方法的修复系统，其特征在于，所述系统包括：处理器和存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行所述一个或多个程序指令，用以执行如权利要求1-8任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910172861.0A CN109712636B (zh) | 2019-03-07 | 2019-03-07 | 一种回声消除过程中的近端语音修复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910172861.0A CN109712636B (zh) | 2019-03-07 | 2019-03-07 | 一种回声消除过程中的近端语音修复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109712636A CN109712636A (zh) | 2019-05-03 |
| CN109712636B true CN109712636B (zh) | 2020-06-09 |
Family
ID=66266510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910172861.0A Active CN109712636B (zh) | 2019-03-07 | 2019-03-07 | 一种回声消除过程中的近端语音修复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712636B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111370016B (zh) * | 2020-03-20 | 2023-11-10 | 北京声智科技有限公司 | 一种回声消除方法及电子设备 |
| CN111654585B (zh) * | 2020-03-26 | 2021-08-03 | 紫光展锐(重庆)科技有限公司 | 回声声场状态确定方法及装置、存储介质、终端 |
| CN111556210B (zh) * | 2020-04-23 | 2021-10-22 | 深圳市未艾智能有限公司 | 通话语音处理方法与装置、终端设备和存储介质 |
| CN113038340B (zh) * | 2021-03-24 | 2022-04-15 | 睿云联(厦门)网络通讯技术有限公司 | 基于安卓设备的声学回音消除调优方法、系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102387272A (zh) * | 2011-09-09 | 2012-03-21 | 南京大学 | 一种回声抵消系统中残留回声的抑制方法 |
| CN104601837A (zh) * | 2014-12-22 | 2015-05-06 | 西南交通大学 | 一种鲁棒凸组合自适应电话回声消除方法 |
| CN104954595A (zh) * | 2015-05-15 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 残留回声消除方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7236929B2 (en) * | 2001-05-09 | 2007-06-26 | Plantronics, Inc. | Echo suppression and speech detection techniques for telephony applications |
-
2019
- 2019-03-07 CN CN201910172861.0A patent/CN109712636B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102387272A (zh) * | 2011-09-09 | 2012-03-21 | 南京大学 | 一种回声抵消系统中残留回声的抑制方法 |
| CN104601837A (zh) * | 2014-12-22 | 2015-05-06 | 西南交通大学 | 一种鲁棒凸组合自适应电话回声消除方法 |
| CN104954595A (zh) * | 2015-05-15 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 残留回声消除方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109712636A (zh) | 2019-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712636B (zh) | 一种回声消除过程中的近端语音修复方法及系统 | |
| JP4697465B2 (ja) | 信号処理の方法、信号処理の装置および信号処理用プログラム | |
| CN111768796B (zh) | 一种声学回波消除与去混响方法及装置 | |
| CN105391879B (zh) | 一种无回声残留双端通话鲁棒的声学回声消除方法 | |
| CN104243732A (zh) | 振动传感器在回声消除中的使用 | |
| CN111951819A (zh) | 回声消除方法、装置及存储介质 | |
| US10978086B2 (en) | Echo cancellation using a subset of multiple microphones as reference channels | |
| CN109785853B (zh) | 一种回声消除方法、装置、系统及存储介质 | |
| CN104883462B (zh) | 一种用于消除声学回声的自适应滤波器及滤波方法 | |
| US8077641B2 (en) | Echo cancellation for channels with unknown time-varying gain | |
| CN102461205A (zh) | 声学多通道消除 | |
| US20220301577A1 (en) | Echo cancellation method and apparatus | |
| EP3829151B1 (en) | Echo suppression device, echo suppression method, and echo suppression program | |
| CN108156551A (zh) | 主动降噪系统、主动降噪耳机及主动降噪方法 | |
| CN111028855B (zh) | 回声抑制方法、装置、设备及存储介质 | |
| CN105491256A (zh) | 一种声学回声消除器启动阶段稳健的步长调整方法 | |
| CN114242100A (zh) | 音频信号处理方法、训练方法及其装置、设备、存储介质 | |
| CN113055787A (zh) | 回声消除方法、装置、电子设备和存储介质 | |
| JPH08251081A (ja) | エコー除去装置 | |
| CN113223547B (zh) | 双讲检测方法、装置、设备和介质 | |
| CN113241084B (zh) | 回声消除的方法、装置及设备 | |
| US10819858B2 (en) | Method for improving echo cancellation effect and system thereof | |
| JP4652116B2 (ja) | エコー消去装置 | |
| JP2008199594A (ja) | 騒音低減装置 | |
| JP2017191992A (ja) | エコー抑圧装置、その方法、プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |