CN113301025B - 一种ims音视频转码及传输控制系统及实现方法 - Google Patents

Abstract

本发明公开了一种IMS音视频转码及传输控制系统，包括相互通信的Web配置管理模块，资源调度管理模块，音频引擎模块，视频引擎模块，协议适配模块和接口控制模块，其实现方法具体如下：步骤S1，启动视频转码及传输控制系统；步骤S2，使用Web配置模块对音频编解码及视频编解码参数配置；步骤S3，使用Web配置模块完成系统日志级别设置；步骤S4，使用Web配置模块对系统IP地址、服务端口号等网络参数进行配置；步骤S5，重启系统后，打开Web配置管理模块网页查看系统服务处于正常运行状态。本发明的IMS音视频转码及传输控制系统及实现方法，能够实现即时通信系统之间点对点音频通话、视频通话、音频会议和视频会议等业务的融合互通。

Description

一种IMS音视频转码及传输控制系统及实现方法

技术领域

本发明涉及一种实时音视频转码与传输控制系统和方法，具体涉及一种IMS音视频转码及传输控制系统及实现方法，属于即时通信系统中多媒体终端互联互通技术领域。

背景技术

IMS(IP Multimedia Subsystem)是IP多媒体子系统，是一种全新的多媒体业务形式，能够满足更新颖、更多样化多媒体业务的需求，也是解决移动与固网融合、IT技术与CT技术的融合，引入语音、数据、视频三重融合等差异化业务的重要方式；随着IMS技术的实施部署，在新旧即时通信系统之间业务融合与互通方面逐渐暴露出所支持的音视频编解码格式不统一、业务数据传输方式不相同等问题；在即时通信领域，点对点音频通话、视频通话，音频会议、视频会议是最重要的几种业务；即时通信系统中终端形态有PC软终端、移动软终端、SIP硬终端、Web终端等，其支持的音频编解码有G.711、G.729、opus、iLBC、iSAC，支持的视频编解码有H.263、H.264、H.265、VP8、VP9等，信令控制协议为SIP over UDP（其中Web终端信令控制协议为SIP over WebSocket），媒体传输协议为RTP/RTCP（SRTP/SRTCP），如果即时通信系统音视频编解码格式、信令控制协议不统一是无法进行业务互通的；因此，即时通信系统之间存在着业务互通难的问题，要实现新旧系统之间音视频业务融合并且支持云化部署，急需一种能够同时支持多种音视频编解码及传输控制方式的转码及传输控制系统。

发明内容

为解决上述问题，本发明提出了一种IMS音视频转码及传输控制系统及实现方法，针对IMS技术实施过程中由于新旧即时通信系统音视频编解码及传输方式不同造成的业务无法融合的问题，能够实现即时通信系统之间点对点音频通话、视频通话、音频会议和视频会议等业务的融合互通。

本发明的IMS音视频转码及传输控制系统音视频转码及传输控制系统，包括相互通信的Web配置管理模块、资源调度管理模块、音频引擎模块、视频引擎模块、协议适配模块和接口控制模块；Web配置管理模块实现音视频转码及传输控制系统音视频编解码格式、网络、日志配置管理及服务状态监控，资源调度管理模块实现音频编解码资源池、视频编解码资源池及资源池的维护管理及调度，音频引擎模块实现音频编解码、降噪、网络音频数据收发处理及音频资源虚拟化，视频引擎模块实现视频编解码、唇音同步、网络数据收发及视频资源虚拟化，协议适配模块基于TCP/UDP传输协议实现SIP、RTP/RTCP、SRTP/SRTCP、RESTful、HTTP、WebSocket等信令控制及媒体传输协议，接口控制模块实现音视频业务媒体协商、媒体状态订阅、媒体状态上报及转码控制。

进一步地，所述Web配置管理模块由服务状态监控模块、日志管理模块、网络管理模块、音频配置模块和视频配置模块组成；服务状态监控模块负责监控网关服务运行状态，日志管理模块负责进行网关服务日志级别配置、根据时间等条件对日志检索及日志条目删除等操作，网络管理模块用来进行网关服务各相关接口协议IP地址、端口号及RTP协议端口号范围配置管理，音频配置模块进行音频编解码格式选择配置，视频配置模块进行视频编解码格式选择配置。所述资源调度管理模块由音频编码资源池模块、音频解码资源池模块、音频资源调度模块、视频编码资源池模块、视频解码资源池模块、视频资源调度模块组成；所述音频编码资源池模块负责将虚拟化后的音频编码资源进行动态管理，所述音频解码资源池模块负责将虚拟化后的音频解码资源进行动态管理，所述音频资源调度模块负责统筹使用音频编解码资源，进行转码业务控制；所述视频编码资源池模块负责将虚拟化后的视频编码资源进行动态管理，所述视频解码资源池模块负责将虚拟化后的视频解码资源进行动态管理，所述视频资源调度模块负责对音频编解码资源进行统筹使用及对视频转码的逻辑控制。所述音频引擎模块由音频编码模块、音频解码模块、降噪模块、数据收发模块和音频资源虚拟化模块组成；所述音频编码模块负责将G.711音频格式编解码为G.729、opus、iLBC或者iSAC，所述音频解码模块负责将G.729、opus、iLBC或者iSAC解码为G.711，所述降噪模块负责将接收到的音频数据进行降噪处理，所述数据收发模块负责将从网络接收到的经RTP封装后的音频数据解封装处理以及将编码后的音频数据封装为RTP格式数据后通过网络发送出去，所述音频资源虚拟化模块负责将音频编码资源、解码资源进行抽象及虚拟化处理便于对资源的调度管理。所述视频引擎模块由视频编码模块、视频解码模块、唇音同步模块、数据收发模块和视频资源虚拟化模块组成；所述视频编码模块负责将YUV格式视频数据编码为H.263、H.264、H.265、VP8、VP9等视频编码格式，所述视频解码模块负责将H.263、H.264、H.265、VP8、VP9等格式视频数据解码为YUV格式视频数据，所述唇音同步模块负责进行音频、视频数据同步处理，所述数据收发模块负责将从网络接收到的RTP封装后的视频数据解封装处理以及将编码后的视频数据封装为RTP格式数据后通过网络发送出去，所述视频资源虚拟化模块负责将视频编码资源、解码资源进行抽象及虚拟化处理便于对资源的调度管理。所述协议适配模块由UDP模块、TCP 模块、SIP协议模块、RTP/RTCP协议模块、SRTP/SRTCP协议模块、RESTful协议模块、HTTP协议模块和WebSocket协议模块组成；所述UDP模块对TCP/IP协议体系中UDP传输协议进行封装处理供应用层协议调用；所述TCP模块对TCP/IP协议体系中TCP传输协议进行封装处理供应用层协议调用；所述WebSocket协议模块基于TCP模块实现，用来对Web终端信令控制进行基础网络传输支撑；所述HTTP协议模块基于TCP模块实现，实现HTTP协议集，用来支撑Web配置管理及REST父类控制接口，所述SIP协议模块，基于UDP模块及WebSocket协议模块实现，用来实现与终端的媒体协商方面的信令控制功能所述；所述RTP/RTCP协议模块基于UDP协议模块实现，负责模块数据网络收发处理功能，所述SRTP/RTCP协议模块为RTP/RTCP协议模块融合网络传输加密功能；所述RESTful协议模块基于HTTP协议模块实现，融合XML数据处理，负责媒体状态订阅、上报及转码流程控制。所述接口控制模块由媒体状态订阅模块、媒体状态上报模块、转码控制模块、媒体协商模块组成；所述媒体状态订阅模块负责服务器到系统进行状态订阅的接口控制消息处理，所述媒体状态上报模块负责当媒体协商或转码等处理过程中媒体状态发生变化时项服务器上报，所述转码控制模块负责转码控制接口业务逻辑处理，所述媒体协商模块负责音视频转码及传输控制系统与终端之间音视频编解码、视频分辨率、帧率和码率等参数的协商控制。

一种IMS音视频转码及传输控制实现方法，所述方法配置管理步骤如下：

步骤S1，启动视频转码及传输控制系统；

步骤S2，使用Web配置模块对音频编解码及视频编解码参数配置；

步骤S3，使用Web配置模块完成系统日志级别设置；

步骤S4，使用Web配置模块对系统IP地址、服务端口号等网络参数进行配置；

步骤S5，重启系统后，打开Web配置管理模块网页查看系统服务处于正常运行状态。

进一步地，所述IMS音视频转码及传输控制实现方法，所述方法用于不同编解码及媒体传输方式终端间的音视频业务互通，接受SIP服务器的控制管理，其具体如下：

步骤S1，SIP服务器向系统发送事件订阅（Create EventHandler） RESTful请求消息，用于订阅并接收音视频转码及传输控制系统侧各用户终端实时状态；

步骤S2，系统向SIP服务器返回事件订阅成功（201）RESTful响应消息；

步骤S3，主叫终端向系统发起INVITE呼叫请求，INVITE消息体中包含主叫终端所支持的音视频媒体参数描述信息，其中，音频媒体描述信息包括编解码格式、IP地址和端口号，视频媒体描述信息有视频编解码格式、IP地址、端口号、分辨率和帧率；

步骤S4，系统接收到INVITE呼叫请求消息后向SIP服务器发送RESTful通知消息；

步骤S5，SIP服务器向系统发送接收主叫终端INVITE呼叫请求（Answer）RESTful消息；

步骤S6，系统向主叫终端发送200 OK应答消息，消息体中包含音视频转码及传输控制系统协商后的音视频媒体描述信息；

步骤S7，主叫终端向系统发送ACK确认消息；

步骤S8，系统向SIP服务器发送与主叫终端呼叫连接建立成功RESTful通知消息（Answer Successful）；

步骤S9，主叫终端开始向系统发送音视频媒体数据流；

步骤S10，SIP服务器向系统发送向被叫终端发起呼叫的RESTful消息（CreateCall）；

步骤S11，系统向被叫终端发送INVITE请求消息，消息体中包含系统支持的音频编解码、视频编解码、视频分辨率和视频帧率媒体描述信息；

步骤S12，被叫终端接收到系统INVITE消息后，结合自己支持的音视频编解码类型及优先级顺序进行媒体协商，根据协商结果生成200 OK应答消息，消息体中包含协商后的媒体描述信息；

步骤S13，系统收到被叫终端200 OK消息后向其发送ACK确认消息；

步骤S14，音视频转码及传输控制系统向SIP服务器发送与被叫终端呼叫连接建立成功RESTful通知消息（Create Call Successful）；

步骤S15，被叫终端开始向系统发送音视频数据流；

步骤S16，SIP服务器向系统发送主叫终端与被叫终端开始转码RESTful请求消息（Connect Calls）；

步骤S17，系统向SIP服务器发送主叫终端与被叫终端转码成功RESTful通知消息（Connect Calls Successful）；

步骤S18，主叫终端向系统发送音视频媒体数据，接收经系统进行媒体编解码格式、分辨率和码率适配处理后的被叫终端媒体数据；

步骤S19，被叫终端向系统发送音视频媒体数据，接收经系统进行媒体编解码格式、分辨率和码率适配处理后的主叫终端和媒体数据。

与现有技术相比较，本发明的IMS音视频转码及传输控制系统及实现方法，针对IMS技术实施过程中由于新旧即时通信系统音视频编解码及传输方式不同造成的业务无法融合的问题，能够实现即时通信系统之间点对点音频通话、视频通话、音频会议和视频会议等业务的融合互通。

附图说明

图1是本发明的音视频转码及传输控制系统组成图。

图2是本发明的音视频转码及传输控制系统系统部署图。

图3是本发明的音视频转码及传输控制系统系统工作流程图。

具体实施方式

实施例1：

如图1所示的IMS音视频转码及传输控制系统，包括Web配置管理模块、协议适配模块、音频引擎模块、视频引擎模块、资源调度管理模块和接口控制模块模块组成；Web配置管理模块实现系统音视频编解码格式、网络、日志配置管理及服务状态监控；资源调度管理模块实现音视频编解码资源的维护管理及调度；音频引擎模块实现将G.711音频编码编码为G.729、opus、iLBC、ISAC编码，实现将音频编码G.729、opus、iLBC、ISAC编码解码为G.711，实现音频编解码资源的抽象便于进行音频转码业务时的调度管理；视频引擎模块实现将YUV视频数据编码为H.263、H.264、H.265、VP8、VP9视频格式，实现将H.263、H.264、H.265、VP8、VP9视频格式解码为YUV视频数据，实现视频编解码资源的抽象便于进行视频转码业务时的调度管理；协议适配模块基于TCP/UDP传输协议实现SIP、RTP/RTCP、SRTP/SRTCP、RESTful、HTTP、WebSocket等信令控制及媒体传输协议为接口控制提供基础支撑；接口控制模块实现音视频业务媒体协商、媒体状态订阅、媒体状态上报及转码控制等消息处理及业务逻辑逻辑控制。

工作时，首先，启动系统，使用Web配置模块功能对系统进行网络、音频编解码及视频编解码配置，完成系统日志级别设置，重启系统后打开Web网页查看系统服务处于正常运行状态，接着完成系统部署，如图2所示，视频转码及传输控制系统作为Web终端的信令、媒体代理，支持实现不同编解码及媒体传输方式终端间的音视频业务互通，接受SIP服务器的控制管理；

如图3所示，系统工作过程如下：

参与者有SIP服务器、系统、主叫终端和被叫终端，具体过程为：

（1）SIP服务器向系统发送事件订阅（Create EventHandler） RESTful请求消息，用于订阅并接收系统侧各用户终端实时状态；

（2）系统向SIP服务器返回事件订阅成功（201）RESTful响应消息；

（3）主叫终端发起INVITE呼叫请求到系统，INVITE消息体中包含主叫终端所支持的音视频媒体参数描述信息，其中音频媒体描述信息有编解码格式、IP地址、端口号，视频媒体描述信息有视频编解码格式、IP地址、端口号、分辨率、帧率等；

（4）系统接收到INVITE呼叫请求消息后向SIP服务器发送RESTful通知消息；

（5）SIP服务器向系统发送接收主叫终端INVITE呼叫请求（Answer）RESTful消息；

（6）系统向主叫终端发送200 OK应答消息，消息体中包含系统协商后的音视频媒体描述信息；

（7）主叫终端向系统发送ACK确认消息；

（8）系统向SIP服务器发送与主叫终端呼叫连接建立成功RESTful通知消息（Answer Successful）；

（9）主叫终端开始向系统发送音视频媒体数据流；

（10）SIP服务器向系统发送向被叫终端发起呼叫的RESTful消息（Create Call）；

（11）系统向被叫终端发送INVITE请求消息，消息体中包含系统支持的音频编解码、视频编解码、视频分辨率、视频帧率等媒体描述信息；

（12）被叫终端接收到系统INVITE消息后，结合自己支持的音视频编解码类型及优先级顺序进行媒体协商，根据协商结果生成200 OK应答消息，消息体中包含协商后的媒体描述信息；

（13）系统收到被叫终端200 OK消息后向其发送ACK确认消息；

（14）系统向SIP服务器发送与被叫终端呼叫连接建立成功RESTful通知消息（Create Call Successful）；

（15）被叫终端开始向系统发送音视频数据流；

（16）SIP服务器向系统发送主叫终端与被叫终端开始转码RESTful请求消息（Connect Calls）；

（17）系统向SIP服务器发送主叫终端与被叫终端转码成功RESTful通知消息（Connect Calls Successful）；

（18）主叫终端向系统发送音视频媒体数据，接收经系统进行媒体编解码格式、分辨率、码率等适配处理后的被叫终端媒体数据；

（19）被叫终端向系统发送音视频媒体数据，接收经系统进行媒体编解码格式、分辨率、码率等适配处理后的主叫终端、媒体数据。

上述实施例，仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (2)

1.一种IMS音视频转码及传输控制系统，其特征在于，所述系统具体如下：

包括相互通信的Web配置管理模块，用于完成音视频编解码格式、视频分辨率和码率类媒体参数配置，及用于系统日志级别设置，日志文件的管理，及用于音视频转码及传输控制系统服务状态监控；

资源调度管理模块，用于完成音频编解码资源池、视频编解码资源池的维护管理及音视频编解码转码功能所消耗资源的调度；

音频引擎模块，用于完成将G.711音频编码，通过编码转换为G.729、opus、iLBC、ISAC编码，及将音频编码G.729、opus、iLBC、ISAC编码解码为G.711，及完成音频编解码资源的抽象，便于进行音频转码业务时的调度管理；

视频引擎模块，用于完成将YUV视频数据编码为H.263、H.264、H.265、VP8、VP9视频格式，及用于完成将H.263、H.264、H.265、VP8、VP9视频格式解码为YUV视频数据，实现视频编解码资源的抽象，便于进行视频转码业务时的调度管理；

协议适配模块，其基于TCP/UDP传输协议，用于完成SIP、RTP/RTCP、SRTP/SRTCP、RESTful、HTTP和WebSocket信令控制及媒体传输协议为接口控制提供基础支撑；

控制接口模块，用于完成音视频业务媒体协商、媒体状态订阅、媒体状态上报及转码控制消息处理及业务逻辑逻辑控制；

工作时，首先，启动视频转码及传输控制系统，使用Web配置模块分别对音频编解码及视频编解码参数配置；对网络参数进行配置，所述网络参数包括系统IP地址、服务端口号；并完成系统日志级别设置；重启系统后打开Web网页查看系统服务处于正常运行状态，接着完成系统部署；其中，视频转码及传输控制系统作为Web终端的信令、媒体代理，支持实现不同编解码及媒体传输方式终端间的音视频业务互通，接受SIP服务器的控制管理；系统分别与SIP服务器和SIP终端通信，SIP终端包括主叫终端和被叫终端；

系统工作过程如下：

步骤S1，SIP服务器向系统发送事件订阅（Create EventHandler） RESTful请求消息，用于订阅并接收音视频转码及传输控制系统侧各用户终端实时状态；

步骤S2，系统向SIP服务器返回事件订阅成功（201）RESTful响应消息；

步骤S3，主叫终端向系统发起INVITE呼叫请求，INVITE消息体中包含主叫终端所支持的音视频媒体参数描述信息，其中，音频媒体描述信息包括编解码格式、IP地址和端口号，视频媒体描述信息有视频编解码格式、IP地址、端口号、分辨率和帧率；

步骤S4，系统接收到INVITE呼叫请求消息后向SIP服务器发送RESTful通知消息；

步骤S5，SIP服务器向系统发送接收主叫终端INVITE呼叫请求（Answer）RESTful消息；

步骤S6，系统向主叫终端发送200 OK应答消息，消息体中包含音视频转码及传输控制系统协商后的音视频媒体描述信息；

步骤S7，主叫终端向系统发送ACK确认消息；

步骤S8，系统向SIP服务器发送与主叫终端呼叫连接建立成功RESTful通知消息（Answer Successful）；

步骤S9，主叫终端开始向系统发送音视频媒体数据流；

步骤S10，SIP服务器向系统发送向被叫终端发起呼叫的RESTful消息（Create Call）；

步骤S11，系统向被叫终端发送INVITE请求消息，消息体中包含系统支持的音频编解码、视频编解码、视频分辨率和视频帧率媒体描述信息；

步骤S12，被叫终端接收到系统INVITE消息后，结合自己支持的音视频编解码类型及优先级顺序进行媒体协商，根据协商结果生成200 OK应答消息，消息体中包含协商后的媒体描述信息；

步骤S13，系统收到被叫终端200 OK消息后向其发送ACK确认消息；

步骤S14，音视频转码及传输控制系统向SIP服务器发送与被叫终端呼叫连接建立成功RESTful通知消息（Create Call Successful）；

步骤S15，被叫终端开始向系统发送音视频数据流；

步骤S16，SIP服务器向系统发送主叫终端与被叫终端开始转码RESTful请求消息（Connect Calls）；

步骤S17，系统向SIP服务器发送主叫终端与被叫终端转码成功RESTful通知消息（Connect Calls Successful）；

步骤S18，主叫终端向系统发送音视频媒体数据，接收经系统进行媒体编解码格式、分辨率和码率适配处理后的被叫终端媒体数据；

步骤S19，被叫终端向系统发送音视频媒体数据，接收经系统进行媒体编解码格式、分辨率和码率适配处理后的主叫终端和媒体数据。

2.根据权利要求1所述的IMS音视频转码及传输控制系统，其特征在于：所述Web配置管理模块由服务状态监控模块、日志管理模块、网络管理模块、音频配置模块和视频配置模块组成；所述资源调度管理模块由音频编码资源池模块、音频解码资源池模块、音频资源调度模块、视频编码资源池模块、视频解码资源池模块、视频资源调度模块组成；所述音频引擎模块由音频编码模块、音频解码模块、降噪模块、数据收发模块和音频资源虚拟化模块组成；所述视频引擎模块由视频编码模块、视频解码模块、唇音同步模块、数据收发模块和视频资源虚拟化模块组成；所述协议适配模块由UDP模块、TCP模块 、SIP协议模块、RTP/RTCP协议模块、SRTP/SRTCP协议模块、RESTful协议模块、HTTP协议模块和WebSocket协议模块组成；所述控制接口模块由媒体状态订阅模块、媒体状态上报模块、转码控制模块、媒体协商模块组成。

Images