CN116455874A - 一种实时数据通信系统 - Google Patents

Abstract

本发明涉及一种实时数据通信系统，其特征在于：包括通信网关，以及媒体混流及中转模块；通信网关服务器能支持运营商电话网络和互联网；第一终端设备通过运营商电话网络与通信网关建立第一通信链路，使第一终端设备与通信网关之间建立传统的CS音频电话通话；第一终端设备通过互联网与通信网关建立第二通信链路，使第一终端设备与通信网关之间建立视频通话；第二终端设备通过媒体混流及中转模块与通信网关通信连接，从而实现第一终端设备和第二终端设备之间的音视频实时通话。与现有技术相比，本发明的优点在于：实现了在异构网络下进行音视频通信，使得第一终端设备和第二终端设备在不中断传统CS音频电话通话过程中同时进行视频通话。

Description

一种实时数据通信系统

技术领域

本发明涉及通信领域，特别涉及一种实时数据通信系统。

背景技术

实时数据通信系统，是实时音视频数据通信系统的一个简称，也简称为RTC系统。近年来，随着网络和音视频技术不断发展，RTC系统已广泛应用在远程金融、远程教育、远程医疗、互联网社交等场景。

现有实时数据通信系统包括以下类型：

第一种，基于CS域或者PS域的PSTN电话系统；

第二种，WebRTC音视频通话系统；

第三种，基于腾讯私有的RTMP协议或TRTC协议的WeChat视频通话通信；

第四种，基于SIP音视频通话系统；

第五种，各类融合通信系统，如思科webex、zoom、腾讯视频会议、华为视频会议等等。

单一网络架构的实时数据通信系统容易受到设备或网络条件限制，适用性不够广，例如：单纯的PSTN电话仅能互通音频；运营商PS域VoLTE视频电话，对手机有要求(如iPhone不支持)；单纯WebRTC通话，无法做到高可靠的通知，呼叫成功率极低；WeChat视频通话，要求对方是好友，而且呼叫成功率也不高，不能满足商业需求；各类融合通信系统，要求各方能安装特定软件，适用人群不广。

因此，建立一种在异构网络下进行实时音视频通信系统及其通信方法，减少通话延迟，提升通话抗弱网能力，并确保音视频媒体流时间同步，很有必要。

发明内容

本发明所要解决的技术问题是针对上述现有技术，提供一种在不中断传统CS音频电话通话过程中同时进行视频通话的实时数据通信系统。

本发明解决上述技术问题所采用的技术方案为：一种实时数据通信系统，其特征在于：包括能支持不同通信网络的通信网关，以及与通信网关通信连接的媒体混流及中转模块；其中通信网关服务器能支持的不同通信网络至少包括运营商电话网络和互联网；

在上述实时数据通信系统中，第一终端设备和第二终端设备采用如下方式在在不中断传统CS音频电话通话过程中同时进行视频通话：

第一终端设备通过运营商电话网络与通信网关建立第一通信链路，使第一终端设备与通信网关之间建立传统的CS音频电话通话，第一终端设备将语音数据通过第一通信链路发给送通信网关；然后第一终端设备通过互联网与通信网关建立第二通信链路，使第一终端设备与通信网关之间建立视频通话，第一终端设备将视频数据通过第二通信链路发给送通信网关；

第二终端设备通过媒体混流及中转模块与通信网关通信连接；所述通信网关通过媒体混流及中转模块将第一终端设备的语音数据和视频数据进行混流后发给第二终端设备；第二终端设备将自身产生的语音数据和视频数据通过媒体混流及中转模块发送给通信网关，通信网关再将第二终端设备的语音数据通过第一通信链路发给第一终端设备，将第二终端设备的视频数据通过第二通信链路发给第一终端设备，从而实现第一终端和第二终端之间的音视频实时通话。

作为改进，本发明提供的系统还包括第三终端设备，第三终端设备也通过媒体混流及中转模块与通信网关通信连接；当第一终端设备和第二终端设备之间开始音视频实时通话后，媒体混流及中转模块将第一终端设备和第二终端设备之间交流的语音数据和视频数据进行混流后发送给第三终端设备，第三终端设备对第一终端设备和第二终端设备之间的实时音视频通信内容进行录制，生成音视频文件。

当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，要解决的一个问题是音视频同步问题，同时要通过QoS技术提升互联网弱网情况下的通信质量。再改进，当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，通信网关在第二通信链路上关闭正向反馈、打开前向纠错，并使用低延迟QoS技术；通信网关与运营商电话网络之间的第一通信链路上，使用NACK技术；通信网关与媒体混流及中转模块之间的RTP通信，也使用NACK技术。

当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，通信网关实时采集第二通信链路上的网络时延rtt和理想时间偏差数据jitter，然后按下述公式估计单向网络延迟delay_t：

delay_t＝rtt/2+a*jitter；

其中网络时延rtt和理想时间偏差数据jitter通过RTP协议标准计算得出；a为预设常数，取值范围为2～5，优选取值为3；

然后更新延迟同步变量delta_t：

delta_t＝max(0,min(delay_t-ct,b))，其中ct为常量，含义为音频通话固定延迟，默认值设为20ms；b为预设常数，取值范围为450～550，优选取值为500；

最后，通信网关设定第一通信链路中NACK的buffer长度为delta_t，通过NACK增加的音频延迟实现语音数据和视频数据同步。

与现有技术相比，本发明的优点在于：通过实施本方案，实现了在异构网络下进行音视频通信，使得第一终端设备和第二终端设备在不中断传统CS音频电话通话过程中同时进行视频通话。

附图说明

图1为本发明实施例中实时数据通信系统的框图。

图2为本发明实施例中通信网关处理流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，本实施例中实时数据通信系统包括能支持不同通信网络的通信网关，以及与通信网关通信连接的媒体混流及中转模块，附图中简称Mixer，媒体混流及中转模块的功能是将语音数据与视频数据进行混流，并进行中转，该媒体混流及中转模块采用现有常规技术，此处不再详细阐述；其中通信网关服务器能支持的不同通信网络至少包括运营商电话网络和互联网；

在上述实时数据通信系统中，第一终端设备T1和第二终端设备T2采用如下方式在在不中断传统CS音频电话通话过程中同时进行视频通话：

第一终端设备通过运营商电话网络与通信网关建立第一通信链路，使第一终端设备与通信网关之间建立传统的CS音频电话通话，第一终端设备将语音数据通过第一通信链路发给送通信网关；然后第一终端设备通过互联网与通信网关建立第二通信链路，使第一终端设备与通信网关之间建立视频通话，附图中简称PS视频，第一终端设备T1将视频数据通过第二通信链路发给送通信网关；

第二终端设备T2通过媒体混流及中转模块Mixer与通信网关通信连接；所述通信网关通过媒体混流及中转模块Mixer将第一终端设备的语音数据和视频数据进行混流后发给第二终端设备T2；第二终端设备T2将自身产生的语音数据和视频数据通过媒体混流及中转模块Mixer发送给通信网关，通信网关再将第二终端设备的语音数据通过第一通信链路发给第一终端设备T1，将第二终端设备T2的视频数据通过第二通信链路发给第一终端设备T1，从而实现第一终端和第二终端之间的音视频实时通话。本实施例中，第二终端设备T2与媒体混流及中转模块Mixer之间可以通过局域网或者互联网通信连接，第二终端设备T2产生的语音数据和视频数据也是分别通过两个不同的通信链路分别发送给媒体混流及中转模块Mixer。

另外，还包括第三终端设备T3，第三终端设备T3也通过媒体混流及中转模块与通信网关通信连接；当第一终端设备T1和第二终端设备T2之间开始音视频实时通话后，媒体混流及中转模块Mixer将第一终端设备T1和第二终端设备T2之间交流的语音数据和视频数据进行混流后发送给第三终端设备T3，第三终端设备T3对第一终端设备T1和第二终端设备T2之间的实时音视频通信内容进行录制，生成如MP4等音视频文件。

第一终端设备T1、第二终端设备T2和第三终端设备T3，可以为手机、电脑或其他任何形式的终端设备。

当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，要解决的一个问题是音视频同步问题，同时要通过QoS技术提升互联网弱网情况下的通信质量。如图2，通信网关QoS控制核心流程。当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，首先，通信网关在第二通信链路上关闭NACK、打开前向纠错，并使用低延迟QoS技术，附图中，前向纠错简称SWRLC-FEC；通信网关与运营商电话网络之间的第一通信链路上，使用NACK技术；通信网关与媒体混流及中转模块之间的RTP通信，也使用NACK技术；即视频链路要关闭NACK功能，音频链路打开NACK功能；然后通信网关实时采集第二通信链路上的网络时延rtt和理想时间偏差数据jitter，然后按下述公式估计单向网络延迟delay_t：

delay_t＝rtt/2+a*jitter；

其中网络时延rtt和理想时间偏差数据jitter通过RTP协议标准计算得出，a为预设常量，取值范围为2.5～3.5，优选取值为3；

然后更新延迟同步变量delta_t：

delta_t＝max(0,min(delay_t–ct，b))，其中ct为常量，含义为音频通话固定延迟，默认值设为20ms；b为预设常量，取值范围为450～550，优选取值为500；

最后，通信网关设定第一通信链路中正向反馈的buffer长度为delta_t，通过增加音频转发的延迟实现语音数据和视频数据同步。

本实施例中，NACK，Negative Acknowledgement，即“负反馈”，是通信协议中一种类型的消息，表示数据包在发送过程中延迟或丢失。当发送方发出原始数据包，接收方没有收到时，就会发送一个正向反馈消息给接收方，表示接收方没有正确收到数据包。接收方开辟一个缓冲区间buffer，按一定策略(比如rtt)决定等待时间t，在等待时间内收到重传包即可恢复丢失的数据，因此这种技术可用于对抗网络丢包，但带来的副作用是会增加延迟(t)。前向纠错：Sliding Window Random Linear Code(RLC)Forward Erasure Correction(FEC)Schemes for FEC FRAME，简称SWRLC-FEC，表示滑动窗口随机线性编码，为一种TCP/IP协议中可降低延迟的前向纠错技术标准。

RTP(Real-Time Transport Protocol)协议由RFC3550定义。RTP提供对音频和视频流等流媒体数据的支持，允许多个用户在一个互联网上进行实时传输。RTP的主要任务是提供实时RTC交互服务，并提供码流统计信息和可靠性机制。该系统由三部分组成：RTP头部，RTP数据包和RTCP(实时传输控制协议)。RTP头部用于在网络上传输数据，RTP数据包则用于存储媒体信息和视频报文；而RTCP则负责处理数据传输之间的流量统计信息，以及网络质量的监测管理。RTP支持大多数多媒体数据格式，并使用UDP来提高传输效率。本实施例中，网络时延rtt和理想时间偏差数据jitter可以直接通过RTP协议标准计算得出，该技术采用现有常规技术。

Claims (4)

1.一种实时数据通信系统，其特征在于：包括能支持不同通信网络的通信网关，以及与通信网关通信连接的媒体混流及中转模块；其中通信网关服务器能支持的不同通信网络至少包括运营商电话网络和互联网；

在上述实时数据通信系统中，第一终端设备和第二终端设备采用如下方式在在不中断传统CS音频电话通话过程中同时进行视频通话：

第一终端设备通过运营商电话网络与通信网关建立第一通信链路，使第一终端设备与通信网关之间建立传统的CS音频电话通话，第一终端设备将语音数据通过第一通信链路发给送通信网关；然后第一终端设备通过互联网与通信网关建立第二通信链路，使第一终端设备与通信网关之间建立视频通话，第一终端设备将视频数据通过第二通信链路发给送通信网关；

第二终端设备通过媒体混流及中转模块与通信网关通信连接；所述通信网关通过媒体混流及中转模块将第一终端设备的语音数据和视频数据进行混流后发给第二终端设备；第二终端设备将自身产生的语音数据和视频数据通过媒体混流及中转模块发送给通信网关，通信网关再将第二终端设备的语音数据通过第一通信链路发给第一终端设备，将第二终端设备的视频数据通过第二通信链路发给第一终端设备，从而实现第一终端和第二终端之间的音视频实时通话。

2.根据权利要求1所述的实时数据通信系统，其特征在于：还包括第三终端设备，第三终端设备也通过媒体混流及中转模块与通信网关通信连接；当第一终端设备和第二终端设备之间开始音视频实时通话后，媒体混流及中转模块将第一终端设备和第二终端设备之间交流的语音数据和视频数据进行混流后发送给第三终端设备，第三终端设备对第一终端设备和第二终端设备之间的实时音视频通信内容进行录制，生成音视频文件。

3.根据权利要求1所述的实时数据通信系统，其特征在于：当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，通信网关在第二通信链路上关闭NACK、打开前向纠错，并使用低延迟QoS技术；通信网关与运营商电话网络之间的第一通信链路上，使用NACK技术；通信网关与媒体混流及中转模块之间的RTP通信，也使用正向反馈技术。

4.根据权利要求3所述的实时数据通信系统，其特征在于：当第一终端设备与通信网关之间建立传统的CS音频电话通话和视频通话后，通信网关实时采集第二通信链路上的网络时延rtt和理想时间偏差数据jitter，然后按下述公式估计单向网络延迟delay_t：

delay_t＝rtt/2+a*jitter；

其中网络时延rtt和理想时间偏差数据jitter通过RTP协议标准计算得出，a为预设常数；

然后更新延迟同步变量delta_t：

delta_t＝max(0,min(delay_t–ct，b))，其中ct为预设常量，含义为音频通话固定延迟，b为预设常数；

最后，通信网关设定第一通信链路中正向反馈的buffer长度为delta_t，通过增加音频转发的延迟实现语音数据和视频数据同步。