CN103259943A - 一种pstn电话会议混音方法 - Google Patents

Abstract

本发明涉及通信领域，公开了一种PSTN电话会议混音方法，该方法包括下列步骤：S1、对各与会方进行语音活动状态监测，将处于语音活动状态的与会方加入混音列表或后备列表；S2、每隔固定周期对混音列表进行更新；S3、对混音列表中的各方音频进行增益调节；S4、混音并将混音结果对各与会方分别进行输出，对于在混音列表中的与会方将混音结果减去本方增益调节后的输入再进行输出，对于不在混音列表中的与会方将混音结果对其输出。本发明提供的混音方法减少了回声和背景噪声对效果的影响，有效改进了会议质量；可增加同时混音数，避免混音溢出，同时又不至于声音忽大忽小；改进了会议插话的效果，既避免插话困难，也不至于频繁切换。

Description

一种PSTN电话会议混音方法

技术领域

本发明涉及通信领域，尤其涉及一种PSTN电话会议混音方法。

背景技术

在现代社会中，电话会议已经在越来越多的场合得到应用，在电话会议中，为了保证语音通话质量，一般使用电话线路(PSTN)传输声音，在电话会议系统需要将来自与会各方的声音进行混音，再分别输出至与会各方。如常见的三方会议，比如A、B、C。理论上的混音方法是将A、B的声音混音送给C，将B、C的声音混音送给A，将A、C的声音混音送给B。上述混音方法，当会议方数量增加时，不但混音操作多，也极易溢出。一种简单的混音方法是找出输入能量最大的两方，将最大方的声音播放给次大方，将次大方的声音播放给最大，将最大方和次大方的声音混音除以二，播放给其它与会方。该方法同时只允许最多两方，现场感欠佳，同时也会造成切换频繁，影响会议效果。为了增加效果，需要允许更多的方数参与混音。当混音方数增加时，为了避免溢出，通常的混音方法将混音方声音简单除以混音方数后再进行混音。该方法虽然避免了溢出，却造成混音输出声音时大时小，影响了会议效果。同时，在PSTN电话系统中，回声往往很大，同时噪声情况复杂多变，在较多方参与混音时，由于各方回声和背景噪声参与叠加的影响，如果不加区别的进行混音，会导致输出声音质量严重下降。为此，有些混音方法设置一个噪音门限，来判断与会方是否处于语音活动状态。但基于简单门限判断的方法，面对复杂的通信环境，往往效果欠佳。

发明内容

本发明要解决的技术问题在于提高PSTN电话会议的通话质量，针对现有技术的上述缺陷，提供一种PSTN电话会议混音方法。

本发明解决其技术问题所采用的技术方案是：

构造一种PSTN电话会议混音方法，用于对参与电话会议的与会各方的音频信号进行混音和输出，包括如下步骤：

S1、分别检测与会各方音频的语音活动状态：计算各方音频在固定时间段Tr内的输入时域能量EXi(t)、输出时域能量EYi(t)，并计算输入能量短时平均值ASi(t)和输入能量长时平均值ALi(t)；对于每一方音频，仅当其输入能量短时平均值ASi(t)除以输入能量长时平均值ALi(t)大于平均能量比值阈值Ta时，并且当其输入时域能量EXi(t)除以根据回声延迟Δt计算对应的输出时域能量EYi(t-Δt)大于回声能量阈值Te时，才被判断为该方音频处于语音活动状态，否则被判断为非语音活动状态；固定时间段Tr、回声延迟Δt、平均能量比值阈值Ta和回声能量阈值Te均预先设置；

将处于语音活动状态的与会各方音频加入会议混音列表或后备列表；将处于混音列表中但不处于语音活动状态的与会方从混音列表中移除；

S2、每隔固定周期对混音列表和后备列表进行替换更新，将后备列表中输入能量较大方替换混音列表中输入能量较小方；

S3、统计混音列表中与会各方输入能量之和，调节增益系数使增益调节后与会各方输入能量之和处于混音能量最大阈值Emax和最小阈值Emin之间，根据调节之后的增益系数将会议混音列表中的与会各路音频输入进行增益调节；混音能量最大阈值Emax和最小阈值Emin均预先设置；

S4、将增益调节后的各方音频输入进行混音，对于不在混音列表中的与会方将混音结果分别对其进行输出，对于在混音列表中的与会方将混音结果减去本方增益调节后的输入进行输出。

进一步地，在所述步骤S1之前还包括：

S0、设置各项参数，包括设置最大混音方数MaxN、固定时间段Tr、回声延迟Δt、平均能量比值阈值Ta、回声能量阈值Te、混音列表替换周期Td、混音能量最大阈值Emax和最小阈值Emin。

具体地，所述步骤S1包括：

S11、令i＝1；

S12、判断i是否小于或等于n，如果否，则进入步骤S2，如果是，则进入步骤S13；

S13、计算第i方当前的固定时间段Tr内输入时域能量EXi(t)、输出时域能量EYi(t)；计算输入能量短时平均值ASi(t)、长时平均值ALi(t)；

S14、判断短时平均值ASi(t)除以长时平均值ALi(t)得到的结果是否大于平均能量比值阈值Ta，如果是，则进入步骤S15，否则进入步骤S18；

S15、判断输入时域能量EXi(t)除以根据回声延迟计算对应的输出时域能量EYi(t-Δt)是否大于回声能量阈值Te，如果是则进入步骤S16，否则进入步骤S18；

S16、判断第i方是否处于混音列表中，如果是，进入步骤是S110，否则进入步骤S17；

S17、判断当前混音列表中与会方数目是否小于最大混音方数MaxN，如果是则将第i方加入混音列表中，如果否则将第i方加入后备列表中；进入步骤S110；

S18、判断第i方是否处于混音列表中，如果是，进入步骤是S19，否则进入步骤S110；

S19、将第i方从混音列表中移除；

S110、令i＝i+1，返回步骤S12。

具体地，所述步骤S2包括：

S21、判断混音列表替换周期是否到时，如果到时，进入步骤S22，如果没有到时，进入步骤S3；

S22、判断后备列表中是否存在成员，如果存在成员，进入步骤S23，如果不存在成员，进入步骤S3；

S23、判断后备列表中输入时域能量最大方的输入时域能量是否大于混音列表中输入时域能量最小方的输入时域能量，如果是进入步骤S24，否则进入步骤S3；

S24、将后备列表中输入时域能量最大方替换混音列表中输入时域能量最小方并返回步骤S23。

具体地，所述步骤S3包括：

S31、计算混音列表中所有与会方输入时域能量之和E，将E与混音能量最大阈值Emax和最小阈值Emin进行比较，如果E大于Emax，则调低增益系数G，如果E小于Emin，则提高增益系数G，使得E满足Emin＜E＜Emax；

S32、根据增益系数G对混音列表中与会各方的输入Xi(t)进行增益调节，调节后输入为Xi(t)’。

具体地，步骤S4包括：

S41、将混音列表中增益调节后的各方声音输入Xi(t)’进行混音，混音结果为Mix(t)；

S42、对各与会方进行输出：对于不在混音列表中的与会方将混音结果Mix(t)分别对其进行输出，对于在混音列表中的与会方将混音结果Mix(t)减去本方增益调节后的输入Xi(t)’进行输出。

具体地，所述回声延迟Δt是所述固定时间段Tr的整数倍。

实施本发明的有益效果：本发明提供的PSTN电话会议混音方法，首先对各输入方进行语音活动状态检测，只有检测到语音活动状态才有可能加入会议混音，可避免回声和背景噪声的影响，有效改进了会议质量；然后每隔固定的周期对混音列表进行一次更新，改进了会议插话的效果，既避免插话困难，又不至于切换过于频繁；且可对混音进行增益调节，既避免混音溢出，同时也不至于声音忽大忽小。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的PSTN电话会议系统连接示意图；

图2是本发明实施例的PSTN电话会议混音方法流程示意图；

图3是本发明实施例的PSTN电话会议混音方法详细流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，图中表示在一个PSTN电话会议系统中有若干与会方参与电话会议，各与会方电话线路通过公用电话交换网(PSTN，Public Switch TelephoneNetwork)与电话会议服务器连接，电话会议服务器接收各与会方输入音频信号，并向各与会方输出混音后的音频信号，本实施例中电话会议服务器可以是包括计算机的服务器，本发明提供的混音方法可由计算机来实现。设与会方总数为n，编号依次分别为：1，2，……i，……，n-1，n，其中第i方的输入为Xi(t)，输出为Yi(t)。

参考图2，本发明提供的PSTN电话会议混音方法包括如下步骤：

步骤S0、在执行混音过程前设置各项参数的值，包括设置下列参数：

最大混音方数MaxN、固定时间段Tr、回声延迟Δt、平均能量比值阈值Ta、回声能量阈值Te、混音列表替换周期Td、混音能量最大阈值Emax和最小阈值Emin；

步骤S1、为了避免回声和背景噪声的影响，需要分别判断与会各方是否处于语音活动状态，具体检测判断方法为：

计算与会各方音频在固定时间段Tr内(如5ms)的输入时域能量EXi(t)、输出时域能量EYi(t)；并计算输入能量短时平均值ASi(t)和输入能量长时平均值ALi(t)；

对于每一方音频，当其满足下列两个条件时，判断为处于语音活动状态，否则被判断为非语音活动状态：(1)输入能量短时平均值ASi(t)除以输入能量长时平均值ALi(t)大于平均能量比值阈值Ta(例如但不限于3)；(2)输入时域能量EXi(t)除以根据回声延迟Δt(如10ms)计算对应的输出时域能量EYi(t-Δt)大于回声能量阈值Te(例如但不限于1/3)；

判断完成后，根据判断结果分别将与会各方音频进行处理：将处于语音活动状态的与会各方音频加入会议混音列表或后备列表；将处于混音列表中但不处于语音活动状态的与会方从混音列表中移除；

S2、周期性的对混音列表和后备列表进行替换更新，具体地，是将后备列表中输入能量较大方替换混音列表中输入能量较小方，使得替换更新之后混音列表中的输入能量最小方的输入能量大于后备列表中输入能量最大方的输入能量，以使得输入能量较大的与会方参与混音，方便插话；其中，本实施例中周期是指预先设定的混音列表替换周期Td；

S3、增益调节：对混音列表中与会各方输入能量进行统计相加得到各方能量之和E，将E与混音能量最大阈值Emax和最小阈值Emin进行比较，如果E不处于混音能量最大阈值Emax和最小阈值Emin之间，调节增益系数G使增益调节后与会各方输入能量之和E*G处于混音能量最大阈值Emax和最小阈值Emin之间，根据调节之后的增益系数G将会议混音列表中的与会各路音频输入进行增益调节；通过增益调节可防止混音溢出；

S4、混音和输出：将增益调节后的各方音频输入进行混音，根据各与会方是否参与混音分别对与会各方进行输出：对于不在混音列表中的与会方将混音结果分别对其进行输出；对于在混音列表中的与会方将混音结果减去本方增益调节后的输入进行输出。

如图3所示，在本实施例中，步骤S1包括：

步骤S11、令i＝1，即初始将i设置为1，开始对第一个与会方判断其是否处于语音活动状态；

步骤S12、判断i是否小于或等于n，如果否，则说明全部与会方均判断完毕，进入步骤S2，如果是，则说明全部与会方未判断完毕，进入步骤S13；

步骤S13、计算第i方当前的固定时间段Tr内输入时域能量EXi(t)、输出时域能量EYi(t)；计算输入能量短时平均值ASi(t)、长时平均值ALi(t)；

需要说明的是，在本实施例中采用(但不限于)下面的方法计算能量短时平均值和长时平均值：

设置一个初始值ASi(0)，ALi(0)；设上次能量短时和长时平均值为ASi(t-1)，ALi(t-1)，则当前短时平均值ASi(t)＝ASi(t-1)+(EXi(t)-ASi(t-1))/8，当前长时平均值ALi(t)＝ALi(t-1)+(EXi(t)-ALi(t-1))/4；

步骤S14、根据步骤S13中的计算结果进行判定：判断短时平均值ASi(t)除以长时平均值ALi(t)得到的结果是否大于Ta，如果是，则进入步骤S15，否则进入步骤S18；

步骤S15、用当前输入时域能量值EXi(t)除以根据回声延迟Δt计算对应的输出时域能量EYi(t-Δt)得到一个结果，判断该结果是否大于回声能量阈值Te，如果是则判定第i方处于语音活动状态，并进入步骤S16，否则判定第i方不处于语音活动状态，进入步骤S18；

需要说明的是，本实施例中根据回声延迟Δt计算对应的输出时域能量EYi(t-Δt)是指Δt之前的输出能量值，假设Δt设为10ms，即在判断过程中用本次输入时域能量除以10ms之前的输出时域能量，再将结果与回声能量阈值Te进行比较，具体实现中Δt一般设置在10ms左右，而Δt是Tr的整数倍时，判断的效果最好，因此本实施例中将Δt设为固定时间段Tr的整数倍；

步骤S16、判断第i方是否处于混音列表中，如果是，进入步骤S110，否则进入步骤S17；

步骤S17、判断当前混音列表中与会方数目是否小于最大混音方数MaxN，如果是则将第i方加入混音列表中，如果否则将第i方加入后备列表中；进入步骤S110；

步骤S18、判断第i方是否处于混音列表中，如果是，进入步骤是S19，否则进入步骤S110；

步骤S19、将第i方从混音列表中移除；

步骤S110、令i＝i+1，返回步骤S12，继续对下一个与会方是否处于语音活动状态进行判断。

按照上面的步骤对所有与会方依次进行判断，全部与会方判断完毕后将进入步骤S2。

在步骤S1中，对与会各方进行语音活动状态检测，只有处于语音活动状态的与会方才会加入混音列表或后备列表中，可有效地避免回声和背景噪声的影响。

如图3所示，在本实施例中，步骤S2包括下列步骤：

步骤S21、判断混音列表替换周期Td是否到时，如果到时，进入步骤S22，如果没有到时，进入步骤S3；需要理解的是，混音列表替换周期Td时间过长，会造成插话困难，时间过短又导致切换过于频繁，因此需合理设置时长(例如但不限于100ms)；

步骤S22、判断后备列表中是否存在成员，如果存在，进入步骤S23，如果不存在，进入步骤S3；

步骤S23、判断后备列表中输入时域能量最大方的输入时域能量是否大于混音列表中输入时域能量最小方的输入时域能量，如果是进入步骤S24，否则进入步骤S3；

步骤S24、将后备列表中输入时域能量最大方替换混音列表中输入时域能量最小方并返回步骤S23；

在步骤S2中，每隔一个混音列表替换周期Td的时间进行一次判断，以确定是否需要对混音列表和后备列表中的与会方进行替换，当需要替换时对混音列表和后备列表中的与会方进行替换，但混音列表替换周期Td的时间长度应根据实际情况合理设置，既避免插话困难，又不至于切换过于频繁。

具体地，步骤S3包括下列步骤：

步骤S31、计算混音列表中所有与会方输入时域能量之和E，将E与混音能量最大阈值Emax和最小阈值Emin进行比较，如果E大于Emax，则调低增益系数G，如果E小于Emin，则提高增益系数G，使得E满足：Emin＜E＜Emax；本实施例中增益系数G初始默认设置为1，当然也可以根据实际情况设置成其他数值；

步骤S32、根据增益系数G对混音列表中与会各方的输入Xi(t)进行增益调节，调节后输入为Xi(t)’，进入步骤S4。

由于步骤S3中设置了增益调节过程，可避免混音溢出，也不至于出现声音忽大忽小的情况。

具体地，步骤S4包括下列步骤，

步骤S41、将混音列表中增益调节后的各方声音输入Xi(t)’进行混音，混音结果为Mix(t)；

步骤S42、将混音结果Mix(t)对与会各方进行输出：对于不在混音列表中的与会方，将混音结果Mix(t)直接对其输出；对于在混音列表中的与会方，将混音结果Mix(t)减去增益调节后的本方输入Xi(t)’再对其进行输出。

以上所述实施例仅表达了本发明的较佳实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种PSTN电话会议混音方法，用于对参与电话会议的与会各方的音频信号进行混音和输出，其特征在于，包括如下步骤：

S1、分别检测与会各方音频的语音活动状态：计算各方音频在固定时间段Tr内的输入时域能量EXi(t)、输出时域能量EYi(t)，并计算输入能量短时平均值ASi(t)和输入能量长时平均值ALi(t)；对于每一方音频，仅当其输入能量短时平均值ASi(t)除以输入能量长时平均值ALi(t)大于平均能量比值阈值Ta时，并且当其输入时域能量EXi(t)除以根据回声延迟△t计算对应的输出时域能量EYi(t-△t)大于回声能量阈值Te时，才被判断为该方音频处于语音活动状态，否则被判断为非语音活动状态；固定时间段Tr、回声延迟△t、平均能量比值阈值Ta和回声能量阈值Te均预先设置；

将处于语音活动状态的与会各方音频加入会议混音列表或后备列表；将处于混音列表中但不处于语音活动状态的与会方从混音列表中移除；

S2、每隔固定周期对混音列表和后备列表进行替换更新，将后备列表中输入能量较大方替换混音列表中输入能量较小方；

S3、统计混音列表中与会各方输入能量之和，调节增益系数使增益调节后与会各方输入能量之和处于混音能量最大阈值Emax和最小阈值Emin之间，根据调节之后的增益系数将会议混音列表中的与会各路音频输入进行增益调节；混音能量最大阈值Emax和最小阈值Emin均预先设置；

S4、 将增益调节后的各方音频输入进行混音，对于不在混音列表中的与会方将混音结果分别对其进行输出，对于在混音列表中的与会方将混音结果减去本方增益调节后的输入进行输出。

2.根据权利要求1所述的PSTN电话会议混音方法，其特征在于，在所述步骤S1之前还包括：

S0、设置各项参数，包括设置最大混音方数MaxN、固定时间段Tr、回声延迟△t、平均能量比值阈值Ta、回声能量阈值Te、混音列表替换周期Td、混音能量最大阈值Emax和最小阈值Emin。

3.根据权利要求2所述的PSTN电话会议混音方法，其特征在于，所述步骤S1包括：

S11、令i=1；

S12、判断i是否小于或等于n，如果否，则进入步骤S2，如果是，则进入步骤S13；

S13、计算第i方当前的固定时间段Tr内输入时域能量EXi(t)、输出时域能量EYi(t)；计算输入能量短时平均值ASi(t)、长时平均值ALi(t)；

S14、判断短时平均值ASi(t)除以长时平均值ALi(t)得到的结果是否大于平均能量比值阈值Ta，如果是，则进入步骤S15，否则进入步骤S18；

S15、判断输入时域能量EXi(t)除以根据回声延迟计算对应的输出时域能量EYi(t-△t)是否大于回声能量阈值Te，如果是则进入步骤S16，否则进入步骤S18；

S16、判断第i方是否处于混音列表中，如果是，进入步骤是S110，否则进入步骤S17；

S17、判断当前混音列表中与会方数目是否小于最大混音方数MaxN，如果是则将第i方加入混音列表中，如果否则将第i方加入后备列表中；进入步骤S110；

S18、判断第i方是否处于混音列表中，如果是，进入步骤是S19，否则进入步骤S110；

S19、将第i方从混音列表中移除；

S110、令i=i+1，返回步骤S12。

4.根据权利要求2所述的PSTN电话会议混音方法，其特征在于，所述步骤S2包括：

S21、判断混音列表替换周期是否到时，如果到时，进入步骤S22，如果没有到时，进入步骤S3；

S22、判断后备列表中是否存在成员，如果存在成员，进入步骤S23，如果不存在成员，进入步骤S3；

S23、判断后备列表中输入时域能量最大方的输入时域能量是否大于混音列表中输入时域能量最小方的输入时域能量，如果是进入步骤S24，否则进入步骤S3；

S24、将后备列表中输入时域能量最大方替换混音列表中输入时域能量最小方并返回步骤S23。

5.根据权利要求4所述的PSTN电话会议混音方法，其特征在于，所述步骤S3包括：

S31、计算混音列表中所有与会方输入时域能量之和E，将E与混音能量最大阈值Emax和最小阈值Emin进行比较，如果E大于Emax，则调低增益系数G，如果E小于Emin，则提高增益系数G，使得E满足Emin<E<Emax； 

S32、根据增益系数G对混音列表中与会各方的输入Xi(t)进行增益调节，调节后输入为Xi(t)’。

6.根据权利要求5所述的PSTN电话会议混音方法，其特征在于，所述步骤S4包括：

S41、将混音列表中增益调节后的各方声音输入Xi(t)’进行混音，混音结果为Mix(t)；

S42、对各与会方进行输出：对于不在混音列表中的与会方将混音结果Mix(t)分别对其进行输出，对于在混音列表中的与会方将混音结果Mix(t)减去本方增益调节后的输入Xi(t)’进行输出。

7.根据权利要求2-6任一所述的PSTN电话会议混音方法，其特征在于，所述回声延迟△t是所述固定时间段Tr的整数倍。

Images