CN113810650B - 车载音视频监控系统实现多方通话的一种音频混音方法 - Google Patents

Abstract

本发明涉及音视频监控技术领域，尤其涉及车载音视频监控系统实现多方通话的一种音频混音方法，包括如下步骤：各个车载终端，各车载终端和音视频服务器建立通信连接，创建语音信道，音视频服务器建立数据缓冲池，音频数据混音前初处理，首先进行衰减处理，去除低信号样本，确定各路待混音车载音频数据叠加因子初值f_mix，将多路待混音车载音频数据分段叠加，并进行声音增益，提高音强，并将混音音频数据发送到云会议所有参与端。本发明在实现车载监控系统语音调度时，可选定多辆车载终端进行语音调度，实现监控中心和多车载终端的虚拟云会议，自由讨论专题、发布信息及警情等行业应用。还可避免爆音影响通话语音质量和混音后声音偏小的现象。

Description

车载音视频监控系统实现多方通话的一种音频混音方法

技术领域

本发明涉及音视频监控技术领域，尤其涉及车载音视频监控系统实现多方通话的一种音频混音方法。

背景技术

由于我国无线网络覆盖率已达95％以上，网络带宽的大幅提高为无线音视频传输提供了有力保障。作为智能交通的重要一环，运营车辆运营过程中的安全性和高效管理性是必须要解决的首要问题，因此建立车载音视频监控系统是今后运营车辆管理的必然趋势。

无线车载音视频产品主要应用在长途客运车、城市公交、城际巴士、旅游大巴车、城市出租车、物流运输车等领域。

当前的车载音视频监控系统，对于语音通道的应用，多数平台仅仅是实现了监控中心对车载终端的下行广播，没有车载终端的上行语音信息。也有个别平台实现了车载终端的上行语音信息反馈，但监控中心端的语音混音播放效果也不理想，而且车载终端之间也听不到彼此的语音信息，平台语音智能管理功能不健全，无法进行语音智能监控，导致平台管理效率偏低。

混音就是把两路或者多路音频流混合在一起，形成一路音频流。在混音算法中，音频采样数据表征声音的振幅，音频数据的叠加也是线性的。因此，基础的混音算法就是线性叠加，溢出钳位。但未考虑各路混音音频的强度，叠加后容易溢出，产生音爆噪声，而且各路音频的音强不一，声音有的很小，有的又太大，听起来效果不好。

对于多路音频，尤其是多于4路甚至8路以上时，目前采用的算法是配置各路待混音音频权重，然后进行线性叠加，得到混音音频进行解码播放。当混音路数变化时，各路混音权重不会随着变化，会出现混音路数变少，但混音的各路声音强度却依然较小，听起来感觉声音小不清晰；若混音路数增多，线性叠加求和，很容易溢出产生噪声。因此这种混音方法不适合监控平台那种混音路数随时变化的混音场景。为此，我们提出车载音视频监控系统实现多方通话的一种音频混音方法。

发明内容

基于背景技术存在的技术问题，本发明提出了车载音视频监控系统实现多方通话的一种音频混音方法，通过改进了现有车载音视频监控系统仅下行广播通知的处理方式，避免了现有处理方式不能实现车载终端之间相互通话的缺陷；同时改进了常规累加混音易溢出产生噪声及多路(4路以上)音频平均衰减后叠加混音声音偏小的问题。

本发明提供如下技术方案：车载音视频监控系统实现多方通话的一种音频混音方法，包括如下步骤：

S1、监控中心发起云会议调度指令，音视频服务器接收到会议指令后将指令下发到各个车载终端，各车载终端和音视频服务器建立通信连接，创建语音信道；

S2、音视频服务器建立数据缓冲池，音视频服务器接收监控中心及车载终端发送过来的音频数据，进行音频解码，解码后的PCM音频数据按序放入二维矩阵缓冲池；

S3、音频数据混音前初处理，首先进行衰减处理，根据音频样本值的取值范围，即采样上下限值，去除低信号样本，确定各路待混音车载音频数据叠加因子初值f_mix，将多路待混音车载音频数据分段叠加；

S4、当多路待混音车载音频数据分段叠加的叠加值超采样上下限值，叠加因子分别递减1，直到其叠加值在上下限值内，分段音频数据内的后续所有样本数据作同样处理，分段音频数据叠加完成后，将这k路音频的叠加因子分别递增1，进行声音增益，提高音强；

S5、将混音音频数据发送到云会议所有参与端。

优选的，所述步骤S3中进行衰减处理公式如下：

其中，S_i为音频样本值，16bit采样，取值范围[-32768，32767]；Dt为低信号样本阈值，据实际效果选定Dt＝32。

优选的，所述步骤S3中叠加公式如下：

其中，n表示某一路待混音音频分段数，i表示每音频分段数据中音频样本数，k表示用于混音的音频路数，SUM_ni为第n段第i个音频样本值累加和，S_kni表示第k路音频第n段第i个样本值，f_k表示第k路混音音频叠加因子，f_mix表示各路待混音车载音频叠加因子初值，此值为据应用场景设定的一个固定值。

优选的，所述步骤S4中在n＝0首段音频数据开始混音叠加时f_k＝f_mix，k路待混音音频叠加值超采样上下限值，则这k路的叠加因子分别递减1，其运算公式为：

f_k-＝1(f_k＞1)；

直到其叠加值在上下限值内，分段音频数据内的后续样本数据作同样处理。分段音频数据叠加完成后，将这k路音频的叠加因子分别递增1，进行声音增益，提高音强，其运算公式为：

f_k+＝1(f_k＜f_mix)。

优选的，所述步骤S5在数据发送之前，需要将音视频服务器混音时过滤掉自身音频数据，对于同一个云会议间的各终端和控制中心，在向某一端发送混音数据时，其发送的混音数据是排除自身音频数据进行的混音数据。

优选的，所述步骤S5中，将待发送混音数据进行音频编码压缩，压缩格式和各路音频发送过来的音频编码格式一致，然后分别将混音音频数据发送到云会议所有参与端。

本发明提供了车载音视频监控系统实现多方通话的一种音频混音方法，在实现车载监控系统语音调度时，可选定多辆车载终端进行语音调度，实现监控中心和多车载终端的虚拟云会议，自由讨论专题、发布信息及警情等行业应用。通过对多路音频数据采用分段混音，段内混音叠加因子自动调节，防止混音路数较多时易产生数据溢出，出现爆音影响通话语音质量的问题。通过音频分段数据间混音叠加因子自动增益，能保证毎路混音音频的声音强度，避免出现混音后出现声音偏小的现象。

附图说明

图1为本发明音视频服务器混音多路音频流程图；

图2为本发明音视频服务器音频数据缓冲池结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种技术方案：车载音视频监控系统实现多方通话的一种音频混音方法，包括如下步骤：

S1、监控中心发起云会议调度指令，音视频服务器接收到会议指令后将指令下发到各个车载终端，各车载终端和音视频服务器建立通信连接，创建语音信道；从而实现基于车载终端的语音会议模式。

S2、音视频服务器建立数据缓冲池，音视频服务器接收监控中心及车载终端发送过来的音频数据，进行音频解码，解码后的PCM音频数据按序放入二维矩阵缓冲池；音频解码支持常用的音频编码格式G711A、G711U、G726、AAC、ADPCM等。如图2所示。

S3、音频数据混音前初处理，首先进行衰减处理，根据音频样本值的取值范围，即采样上下限值，去除低信号样本，确定各路待混音车载音频数据叠加因子初值f_mix，赋初值为16，此初值可以据实际应用调大或调小。

衰减处理公式如下：

其中，S_i为音频样本值，16bit采样，取值范围[-32768，32767]；Dt为低信号样本阈值，据实际效果选定Dt＝32。

将多路待混音车载音频数据分段叠加，叠加公式如下：

其中，n表示某一路待混音音频分段数，i表示每音频分段数据中音频样本数，k表示用于混音的音频路数，SUM_ni为第n段第i个音频样本值累加和，S_kni表示第k路音频第n段第i个样本值，f_k表示第k路混音音频叠加因子，f_mix表示各路待混音车载音频叠加因子初值，此值为据应用场景设定的一个固定值。

S4、当多路待混音车载音频数据分段叠加的叠加值超采样上下限值，叠加因子分别递减1，直到其叠加值在上下限值内，分段音频数据内的后续所有样本数据作同样处理，通过对多路音频数据采用分段混音，段内混音叠加因子自动调节，防止混音路数较多时易产生数据溢出，出现爆音影响通话语音质量的问题。

分段音频数据叠加完成后，将这k路音频的叠加因子分别递增1，进行声音增益，提高音强；音频分段数据间混音叠加因子自动增益，能保证每路混音音频的声音强度，避免出现混音后出现声音偏小的现象。

在n＝0首段音频数据开始混音叠加时f_k＝f_mix，k路待混音音频叠加值超采样上下限值(比如16bit采样，[-32768，32767])，则这k路的叠加因子分别递减1，其运算公式为：

f_k-＝1(f_k＞1)；

直到其叠加值在上下限值内，分段音频数据内的后续样本数据作同样处理。分段音频数据叠加完成后，将这k路音频的叠加因子分别递增1，进行声音增益，提高音强，其运算公式为：

f_k+＝1(f_k＜f_mix)。

S5、将音视频服务器混音时过滤掉自身音频数据，对于同一个云会议间的各终端和控制中心，在向某一端发送混音数据时，其发送的混音数据是排除自身音频数据进行的混音数据，将待发送混音数据进行音频编码压缩，压缩格式和各路音频发送过来的音频编码格式一致，然后分别将混音音频数据发送到云会议所有参与端。

现有的车载音视频监控系统主要包括三个部分：音视频终端、音视频后台服务、音视频客户端。音视频终端负责采集音视频并上传音视频流，音视频后台服务负责终端的接入及音视频流的转发，音视频客户端负责接收服务端转发过来的音视频流数据并解码显示给客户预览。

本发明中，为了实现运营车辆的高效管理，建立一个智能的语音通道，可以在监控中心和多个车载终端之间实现多方通话，如同一个虚拟云会议间。监控中心可以将信息广播到多个车载终端，多个车载终端也可以将信息反馈上传至监控中心，同时在同一个会议间的车载终端之间也可以听到彼此的语音。有了这个智能语音通道，监控系统便可以高效地进行通知、警情等信息的实时发布，而且能实时得到车载终端的信息反馈，从而提高车载监控系统的管理效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.车载音视频监控系统实现多方通话的一种音频混音方法，其特征在于：包括如下步骤：

S1、监控中心发起云会议调度指令，音视频服务器接收到会议指令后将指令下发到各个车载终端，各车载终端和音视频服务器建立通信连接，创建语音信道；

S2、音视频服务器建立数据缓冲池，音视频服务器接收监控中心及车载终端发送过来的音频数据，进行音频解码，解码后的PCM音频数据按序放入二维矩阵缓冲池；

S3、音频数据混音前初处理，首先进行衰减处理，根据音频样本值的取值范围，即采样上下限值，去除低信号样本，确定各路待混音车载音频数据叠加因子初值f_mix，将多路待混音车载音频数据分段叠加；

S4、当多路待混音车载音频数据分段叠加的叠加值超采样上下限值，叠加因子分别递减1，直到其叠加值在上下限值内，分段音频数据内的后续所有样本数据作同样处理，分段音频数据叠加完成后，将这k路音频的叠加因子分别递增1，进行声音增益，提高音强；

S5、将混音音频数据发送到云会议所有参与端。

2.根据权利要求1所述的车载音视频监控系统实现多方通话的一种音频混音方法，其特征在于：所述步骤S3中进行衰减处理公式如下：

其中，S_i为音频样本值，16bit采样，取值范围[-32768,32767]；Dt为低信号样本阈值，据实际效果选定Dt＝32。

3.根据权利要求1所述的车载音视频监控系统实现多方通话的一种音频混音方法，其特征在于：所述步骤S3中叠加公式如下：

其中，n表示某一路待混音音频分段数，i表示每音频分段数据中音频样本数，k表示用于混音的音频路数，SUM_ni为第n段第i个音频样本值累加和，S_kni表示第k路音频第n段第i个样本值，f_k表示第k路混音音频叠加因子，f_mix表示各路待混音车载音频叠加因子初值，此值为据应用场景设定的一个固定值。

4.根据权利要求3所述的车载音视频监控系统实现多方通话的一种音频混音方法，其特征在于：所述步骤S4中在n＝0首段音频数据开始混音叠加时f_k＝f_mix，k路待混音音频叠加值超采样上下限值，则这k路的叠加因子分别递减1，其运算公式为：

f_k-＝1(f_k＞1)；

直到其叠加值在上下限值内，分段音频数据内的后续样本数据作同样处理；分段音频数据叠加完成后，将这k路音频的叠加因子分别递增1，进行声音增益，提高音强，其运算公式为：

f_k+＝1(f_k＜f_mix)。

5.根据权利要求1所述的车载音视频监控系统实现多方通话的一种音频混音方法，其特征在于：所述步骤S5在数据发送之前，需要将音视频服务器混音时过滤掉自身音频数据，对于同一个云会议间的各终端和控制中心，在向某一端发送混音数据时，其发送的混音数据是排除自身音频数据进行的混音数据。

6.根据权利要求5所述的车载音视频监控系统实现多方通话的一种音频混音方法，其特征在于：所述步骤S5中，将待发送混音数据进行音频编码压缩，压缩格式和各路音频发送过来的音频编码格式一致，然后分别将混音音频数据发送到云会议所有参与端。