CN111462771A - 一种啸叫处理方法 - Google Patents

Abstract

本发明涉及一种啸叫处理方法，其特征在于包括如下步骤：步骤1、分别将采集的原始近端信号和参考他端信号进行交叠分段、加窗和快速傅里叶变换转换为频域信号，从而得到原始近端频域信号和参考他端频域信号；步骤2、找出原始频域信号共振峰频率序列数组和参考频域信号共振峰频率序列数组；步骤3、计算近端回声延时D₁；步骤4、计算他端回声延时D₂；步骤5、利用回声消除模块，避免啸叫产生。与现有技术相比，本发明在多音频设备共同使用的场景下，及时发现可能形成啸叫的声学回路，实现啸叫的预测，通过复用回声消除模块算法，以极少的计算量实现了回路音频的消除，避免了啸叫的产生。

Description

一种啸叫处理方法

技术领域

本发明涉及一种啸叫处理方法。

背景技术

啸叫是音频通信系统中声学反馈效应导致的一种极端现象，会对音频通信系统的用户体验造成极大的损害。为了减轻啸叫造成的负面影响，传统上，一方面使用回声消除技术尽量消除声学反馈，另一方面通常还会引入啸叫检测的方法，当检测到有啸叫产生时，及时采取静默、增益衰减等方式进行处理。

传统的啸叫处理机制主要是对音频通信系统中单端音频设备进行的。单端音频设备的声学反馈效应存在于设备的麦克风采集到设备自身扬声器形成的声学回路中。

然而，在远程会议等应用场景中，存在更复杂的情况。同一室内环境中，可能会有多个参与通信的音频设备同时开启。此时，设备的麦克风采集到的信号中不仅与该设备自身扬声器的输出相关，也和其他邻近音频设备扬声器的输出相关，而这些输出往往又来自该设备麦克风采集的历史信号。

在音频通信系统中，传统的回声消除方法是在单端设备的他端信号与近端信号之间寻找关联，确定时延，再利用自适应滤波器等方法在近端信号中消除他端历史信号产生的回声。然而，在上述复杂场景下，近端信号中不仅包含了他端历史信号，也包含了近端自身的历史信号。因此，传统回声消除方法无法消除上述邻近设备扬声器造成的回声，依然会产生啸叫信号。

如果不对近端自身的历史信号进行消除，而直接依赖于传统的啸叫检测与抑制方法，室内环境多音频通信设备的场景下将会频繁触发啸叫的检测与抑制，从而导致扬声器播放的声音出现断续，语音通信无法正常进行。

发明内容

本发明所要解决的技术问题是针对上述现有技术提供一种能以较少的计算量实现了回路音频的消除、进而避免啸叫产生的啸叫处理方法。

本发明解决上述技术问题所采用的技术方案为：一种啸叫处理方法，其特征在于包括如下步骤：

步骤1、分别将采集的原始近端信号和参考他端信号进行交叠分段、加窗和快速傅里叶变换转换为频域信号，从而得到原始近端频域信号和参考他端频域信号；将采集的原始近端信号标记为S_k，将采集的参考他端信号标记为F_k，将得到的原始频域信号标记为S_f，其中f代表不同频率，S_f为频率为f时原始近端信号的能量和相位，是一个复数，将得到的参考频域信号标记为C_f，C_f频率为f时参考他端信号的能量和相位；具体转换过程为：

1-1、分别对采集的原始近端信号和参考他端信号进行交叠分段处理，每一分段时间为t1，交叠时间为t2，t2小于t1大于零；

1-2、分别对交叠分段处理后的分段原始近端信号和分段参考他端信号分别进行加窗处理，去除分段造成的谱泄露；

1-3、分别对加窗处理后的分段原始近端信号和分段参考他端信号进行快速傅里叶变换转换，得到由多个分段原始频域信号组成的一组原始频域信号和多个分段参考频域信号组成的一组参考频域信号；

步骤2、找出所有分段的原始频域信号中能量最高的n个峰值所对应的频率值，n为大于等于2的自然数，并将这些频率值按照分段的先后顺序依次记录下来形成一个原始频域信号共振峰频率序列数组，记为f_s；相同方法，找出时间单元T内、所有分段的参考频域信号中能量最高的至少两个峰值所对应的频率值，并将这些频率值按照分段的先后顺序依次记录下来形成一个参考频域信号共振峰频率序列数组，记为f_C；

步骤3、基于特征比对，计算近端回声延时D₁，具体方法为：

从原始频域信号共振峰频率序列数组f_s的当前位置提取出时长为T的数据，记分段的步长为step，那么共有

组数据；而对于f_c，以当前位置为基准向前移动d毫秒后提取时长为T的数据，同样有L组数据；对两个集合的数据按对应位置比较，记录相同数据的个数，得到match_d；对于不同的d，就可以得到不同的match_d值，取match_d值最大时对应的d值即为当前要查找的近端回声延时D₁；

步骤4、基于特征比对，计算他端回声延时D₂，具体方法为：

从原始频域信号共振峰频率序列数组f_s的当前位置提取出时长为T的数据，记分段时步长为step，那么共有

组数据；

对于原始频域信号共振峰频率序列数组f_s，以当前为基准，向前移动t毫秒后再从f_s中提取时长为T的数据，同样得到L组数据；

对两个集合的数据按对应位置比较，记录相同数据的个数，得到match_t；对于不同的t，就可以得到不同的match_t，取match_t的最大值；

当match_t的最大值大于等于预设值时，才认为f_s序列中存在显著的延时特性，后续有产生啸叫的可能，此时将match_t的最大值对应的t值作为当前要查找的他端回声延时D₂；如果match_t的最大值小于预设值，将D₂的值输出为0；

步骤5、利用回声消除模块，避免啸叫产生，具体方法为：

将采集的参考他端信号F_k的历史信号保存一个数组中，将回声消除模块处理后的近端历史信号保存在另一个数组中，记为S′_k；

如果采集的原始近端信号为S₀，利用步骤3得到的近端回声延时D₁，在F_k中找到与近端回声延时D₁对应的信号，记为近端回声源信号

当他端回声延时D₂的值不等于0时，在S′_k中找到与他端回声延时D₂对应的信号，记为他端回声源信号

然后将原始近端信号为S₀作为回声消除模块的输入信号，将近端回声源

和其他端回声源

直接相加，作为回声消除模块的输入参考信号，实现音频回路回声信号的消除，避免啸叫的产生；

当他端回声延时D₂的值等于0时，将原始近端信号为S₀作为回声消除模块的输入信号，将近端回声源

作为回声消除模块的输入参考信号，实现音频回路回声信号的消除，避免啸叫的产生。

再改进，所述步骤3中，至少连续计算近端回声延时D₁连续3次，且每次计算的近端回声延时D₁均相同，则将这三次计算得到的近端回声延时D₁作为最终输出值。

与现有技术相比，本发明的优点在于：本发明基于音频通信设备近端信号的分析，实现对声学回路的高效率高精度的搜索，在多音频设备共同使用的场景下，及时发现可能形成啸叫的声学回路，实现啸叫的预测，通过复用回声消除模块算法，以极少的计算量实现了回路音频的消除，避免了啸叫的产生，显著提升了该应用场景下的用户体验。

附图说明

图1为本发明实施例中啸叫处理方法流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提供的啸叫处理方法，包括如下步骤：

步骤1、分别将采集的原始近端信号和参考他端信号进行交叠分段、加窗和快速傅里叶变换转换为频域信号，从而得到原始近端频域信号和参考他端频域信号；将采集的原始近端信号标记为S_k，k＝0，1，2，3…，由于在采集原始近端信号和参考他端信号时，是根据固定时间间隔来进行采集的，如每毫秒采集一次数据，如果当前时刻采集的原始近端信号数据用S₀表示，那么距离当前时刻1毫秒之前采集的原始近端信号数据用S₁表示，距离当前时刻2毫秒之前采集的原始近端信号数据用S₂表示，距离当前时刻3毫秒之前采集的原始近端信号数据用S₃表示……；同理，将采集的参考他端信号标记为F_k，k＝0，1，2，3…，将得到的原始频域信号标记为S_f，其中f代表不同频率，S_f为频率为f时原始近端信号的能量和相位，是一个复数，将得到的参考频域信号标记为C_f，C_f频率为f时参考他端信号的能量和相位；具体转换过程为：

1-1、分别对采集的原始近端信号和参考他端信号进行交叠分段处理，每一分段时间为t1，交叠时间为t2，t2小于t1大于零；

交叠分段处理的处理方式为常规技术；分段的大小影响时间分辨率和频域分辨率，分段越小时间分辨率越高，但频域分辨率越低，无论声音信号的采样率是多大(一般的为8Khz～48KHz)，我们选取t1为10ms～20ms中的任意一个数值作为一个分段的大小，因为人声的基频一般是100Hz～400Hz，10ms刚好可以表达一个最低的基频周期，因此不宜再小；而自然声音是时变的，我们只能假设在短时间内按时不变的方法进行频域分析，因此最大不要超过20ms，即可保证两种分辨率的平衡，以下假定每段时间长度为t1为10ms，按照常规的做法，我们对每个分段至少保证50％的交叠，本实施例，将t2定为5ms，即每次向前移动5ms，那么，第一分段的数据为0～10ms的数据，第二分段的数据为5ms～15ms的数据，第三分段的数据为15m～25ms的数据，第四分段的数据为20ms～30ms的数据……，即后一分段数据和前一分段的数据会有t2时间的交叠部分；

1-2、分别对交叠分段处理后的分段原始近端信号和分段参考他端信号分别进行加窗处理，去除分段造成的谱泄露；对信号进行加窗处理也为常规技术，可以采用Hamming窗或其他矩形窗，本方案中，采用Hamming窗效果较好；

1-3、分别对加窗处理后的分段原始近端信号和分段参考他端信号进行快速傅里叶变换转换，得到由多个分段原始频域信号组成的一组原始频域信号和多个分段参考频域信号组成的一组参考频域信号；快速傅里叶变换转换也是常规技术，得到由多个分段原始频域信号组成的一组原始频域信号和多个分段参考频域信号组成的一组参考频域信号；

步骤2、找出所有分段的原始频域信号中能量最高的n个峰值所对应的频率值，n为大于等于2的自然数，并将这些频率值按照分段的先后顺序依次记录下来形成一个原始频域信号共振峰频率序列数组，记为f_s；相同方法，找出时间单元T内、所有分段的参考频域信号中能量最高的至少两个峰值所对应的频率值，并将这些频率值按照分段的先后顺序依次记录下来形成一个参考频域信号共振峰频率序列数组，记为f_C；

步骤3、基于特征比对，计算近端回声延时D₁，具体方法为：

从原始频域信号共振峰频率序列数组f_s的当前位置提取出时长为T的数据，记分段的步长为step，那么共有

组数据；而对于f_c，以当前位置为基准向前移动d毫秒后提取时长为T的数据，同样有L组数据；对两个集合的数据按对应位置比较，记录相同数据的个数，得到match_d；对于不同的d，就可以得到不同的match_d值，取match_d值最大时对应的d值即为当前要查找的近端回声延时D₁；

本步骤中，为了提高精确性，至少连续计算近端回声延时D₁连续3次，且每次计算的近端回声延时D₁均相同，则将这三次计算得到的近端回声延时D₁作为最终输出值；

步骤4、基于特征比对，计算他端回声延时D₂，具体方法为：

从原始频域信号共振峰频率序列数组f_s的当前位置提取出时长为T的数据，记分段时步长为step，那么共有

组数据；

对于原始频域信号共振峰频率序列数组f_s，以当前为基准，向前移动t毫秒后再从f_s中提取时长为T的数据，同样得到L组数据；

对两个集合的数据按对应位置比较，记录相同数据的个数，得到match_t；对于不同的t，就可以得到不同的match_t，取match_t的最大值；

当match_t的最大值大于等于预设值时，才认为f_s序列中存在显著的延时特性，后续有产生啸叫的可能，此时将match_t的最大值对应的t值作为当前要查找的他端回声延时D₂；如果match_t的最大值小于预设值，将D₂的值输出为0；

步骤5、利用回声消除模块，避免啸叫产生，具体方法参加图1所示，

将采集的参考他端信号F_k，k＝0，1，2，3…的历史信号保存一个数组中，将回声消除模块处理后的近端历史信号保存在另一个数组中，记为S′_k，k＝0，1，2，3…；

如果当前处理的原始近端信号为S₀，利用步骤3得到的近端回声延时D₁，在F_k中找到与近端回声延时D₁对应的信号，记为近端回声源信号

附图1中，假设D₁＝3毫秒；

当他端回声延时D₂的值不等于0时，才认为f_s序列中存在显著的延时特性，后续有产生啸叫的可能，此时，利用步骤4得到的他端回声延时D₂，在S′_k中找到与他端回声延时D₂对应的信号，记为他端回声源信号

附图1中，假设D₂＝4毫秒，然后将近端回声源F₃和其他端回声源S′₄直接相加，作为回声消除模块的输入参考信号，原始近端信号为S₀作为回声消除模块的输入信号，实现音频回路回声信号的消除；如果他端回声延时D₂的值等于0，将原始近端信号为S₀作为回声消除模块的输入信号，将近端回声源

作为回声消除模块的输入参考信号，实现音频回路回声信号的消除，避免啸叫的产生。

Claims (2)

1.一种啸叫处理方法，其特征在于包括如下步骤：

步骤1、分别将采集的原始近端信号和参考他端信号进行交叠分段、加窗和快速傅里叶变换转换为频域信号，从而得到原始近端频域信号和参考他端频域信号；将采集的原始近端信号标记为S_k，将采集的参考他端信号标记为F_k，将得到的原始频域信号标记为S_f，其中f代表不同频率，S_f为频率为f时原始近端信号的能量和相位，是一个复数，将得到的参考频域信号标记为C_f，C_f频率为f时参考他端信号的能量和相位；具体转换过程为：

1-1、分别对采集的原始近端信号和参考他端信号进行交叠分段处理，每一分段时间为t1，交叠时间为t2，t2小于t1大于零；

1-2、分别对交叠分段处理后的分段原始近端信号和分段参考他端信号分别进行加窗处理，去除分段造成的谱泄露；

1-3、分别对加窗处理后的分段原始近端信号和分段参考他端信号进行快速傅里叶变换转换，得到由多个分段原始频域信号组成的一组原始频域信号和多个分段参考频域信号组成的一组参考频域信号；

步骤2、找出所有分段的原始频域信号中能量最高的n个峰值所对应的频率值，n为大于等于2的自然数，并将这些频率值按照分段的先后顺序依次记录下来形成一个原始频域信号共振峰频率序列数组，记为f_s；相同方法，找出时间单元T内、所有分段的参考频域信号中能量最高的至少两个峰值所对应的频率值，并将这些频率值按照分段的先后顺序依次记录下来形成一个参考频域信号共振峰频率序列数组，记为f_C；

步骤3、基于特征比对，计算近端回声延时D₁，具体方法为：

从原始频域信号共振峰频率序列数组f_s的当前位置提取出时长为T的数据，记分段的步长为step，那么共有

组数据；而对于f_c，以当前位置为基准向前移动d毫秒后提取时长为T的数据，同样有L组数据；对两个集合的数据按对应位置比较，记录相同数据的个数，得到match_d；对于不同的d，就可以得到不同的match_d值，取match_d值最大时对应的d值即为当前要查找的近端回声延时D₁；

步骤4、基于特征比对，计算他端回声延时D₂，具体方法为：

从原始频域信号共振峰频率序列数组f_s的当前位置提取出时长为T的数据，记分段时步长为step，那么共有

组数据；

对于原始频域信号共振峰频率序列数组f_s，以当前为基准，向前移动t毫秒后再从f_s中提取时长为T的数据，同样得到L组数据；

对两个集合的数据按对应位置比较，记录相同数据的个数，得到match_t；对于不同的t，就可以得到不同的match_t，取match_t的最大值；

当match_t的最大值大于等于预设值时，才认为f_s序列中存在显著的延时特性，后续有产生啸叫的可能，此时将match_t的最大值对应的t值作为当前要查找的他端回声延时D₂；如果match_t的最大值小于预设值，将D₂的值输出为0；

步骤5、利用回声消除模块，避免啸叫产生，具体方法为：

将采集的参考他端信号F_k的历史信号保存一个数组中，将回声消除模块处理后的近端历史信号保存在另一个数组中，记为S′_k；

如果采集的原始近端信号为S₀，利用步骤3得到的近端回声延时D₁，在F_k中找到与近端回声延时D₁对应的信号，记为近端回声源信号

当他端回声延时D₂的值不等于0时，在S′_k中找到与他端回声延时D₂对应的信号，记为他端回声源信号

然后将原始近端信号为S₀作为回声消除模块的输入信号，将近端回声源

和其他端回声源

直接相加，作为回声消除模块的输入参考信号，实现音频回路回声信号的消除，避免啸叫的产生；

当他端回声延时D₂的值等于0时，将原始近端信号为S₀作为回声消除模块的输入信号，将近端回声源

作为回声消除模块的输入参考信号，实现音频回路回声信号的消除，避免啸叫的产生。

2.根据权利要求1所述的啸叫处理方法，其特征在于：所述步骤3中，至少连续计算近端回声延时D₁连续3次，且每次计算的近端回声延时D₁均相同，则将这三次计算得到的近端回声延时D₁作为最终输出值。

Images