CN115442348B - 一种基于多协议多终端交互的教学实时互动方法及系统 - Google Patents

Abstract

本发明涉及一种基于多协议多终端交互的教学实时互动方法及系统，属于音视频处理技术领域，包括：通过输入源模块输入三种协议的流媒体数据；通过流媒体服务模块对三种流媒体数据提供各自的流媒体服务，并对流媒体数据进行处理；通过视频处理服务处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出；通过教学实时视音频服务模块对经过视频处理服务的数据进行封装，提供RTC服务和RTMP服务，通过多种协议接入互动客户端实现教学实时互动。本发明解决了多终端间的直播交互效果，将传统的摄像头、录播等设备的基于浏览器的教学互动输出由10秒左右提升到1秒左右，提升了教学交互的效果。

Description

一种基于多协议多终端交互的教学实时互动方法及系统

技术领域

本发明涉及音视频处理技术领域，尤其涉及一种基于多协议多终端交互的教学实时互动方法及系统。

背景技术

目前，在线教育的录播厂商主要基于RTMP、RTSP流进行交互，其延迟一般在3秒左右，但是因为RTMP仅仅支持FLASH播放，而FLASH Player被包含google、edge、firefox等各大浏览器厂商所抛弃，因此，基于RTMP的直播方式转变为采用HLS的模式进行播放，HLS一般切片在5秒以上加上碎文件缓存等机制，那么延迟至少在8到10秒以上，所以，采用RTMP、HLS的协议进行互动直播的方式不可行。同理，RTSP因为同类的问题，基于浏览器等终端进行互动的模式受到一样的限制。

如何打通硬件输出的RTMP、RTSP等协议流与WEBRTC等浏览器即时互动流之间的数据转化，实现硬件与浏览器交互间的互动成为教育互动场景开发的一个重点与难点。现有的场景中不同设备间采用不同的协议进行传输。录播厂商采用RTMP、RTSP，互动教学软件采用RTP、RTCP，浏览器的互动直播间采用WEBRTC的协议。现有技术难以打通浏览器、录播设备、电脑客户端等不通厂商多设备、多协议转化的服务，虽然在现有技术条件下能实现教育多终端的直播输出，如CDN、微信、小程序、PC、录播设备等，但是无法实现多终端多协议间的实时音视频互动交互的功能。

需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种基于多协议多终端交互的教学实时互动方法及系统，解决了现有技术无法实现多终端多协议之间的实时音视频互动交互的问题。

本发明的目的通过以下技术方案来实现：一种基于多协议多终端交互的教学实时互动方法，所述教学实时互动方法包括：

步骤一、通过输入源模块输入包括RTSP协议、RTMP协议和WebRTC协议的流媒体数据；

步骤二、通过流媒体服务模块对三种流媒体数据提供各自的流媒体服务，并通过三种载体的流媒体服务对输入源模块的流媒体数据进行处理；

步骤三、通过视频处理服务处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出；

步骤四、通过教学实时视音频服务模块对经过视频处理服务的数据进行封装，并提供RTC服务和RTMP服务，通过多种流协议接入互动客户端实现教学实时互动。

所述通过流媒体服务模块对三种流媒体数据提供各自的流媒体服务，并通过三种载体的流媒体服务对输入源模块的流媒体数据进行处理包括：

流媒体服务模块通过监听器的方式监听客户端的请求，并转发到serverconn服务连接方法进行连接记录与保持；

创建DataCycle方法定义数据的轮询订阅，接收客户端的首次请求与重试请求；

在进行DataCycle后通过UDPsocket通道与TCPsocket通道将数据发送到RTC服务、RTMP服务和RTSP服务中进行处理。

RTC服务、RTMP服务和RTSP服务对数据进行处理包括：

RTC服务包括RTC_API、RTC_SDP以及RTC_SERVER，RTC_API实现互动房间模型的API的管理，并且管理基于房间的会话信息；RTC_SDP实现客户端传递的SDP的报文的接收以及校验、提供SDP报文的封装以及解封装的操作；RTC_SERVER实现会话信息为载体的SDP数据以及流媒体数据的监听、转发的操作；

RTMP服务包括RTMP_CONN以及RTMP_SERVER，RTMP_CONN处理RTMP协议的客户端连接建立、数据接收、连接关闭的功能；RTMP_SERVER处理RTMP的服务的数据处理、数据封装的操作；

RTSP服务包括RTSP_CONN以及RTSP_SERVER，RTSP_CONN处理RTSP协议的客户端连接建立、数据接收、连接关闭的功能；RTSP_SERVER处理RTSP的服务端跟客户端的指令交互。

所述通过视频处理服务处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出包括：

设置一个管道模式的视频数据输入通道(data channel input)，将同一路视频channel拆分成不同的音频轨以及视频轨，基于视频数据进行SVR的动态编码数据分解，基于音频数据进行opus的音频数据分解；

通过设置一个视频数据打开服务来打开视频帧，并通过打开数据结构体返回音频轨、视频轨和文件头后传递给下一个步骤；

通过设置一个videocheck对输入的视频帧数据进行检测，输出视频数据格式，以及设置一个audiocheck对输入的音频帧数据进行检测，输出音频数据格式；

在数据转发过程中通过设置TimeToSendPacket()控制发送RTP有效数据包和删除无效数据包，设置TimeToSendPadding控制发送RTP pad包，填充冗余数据实现动态SVC的填充，用于达到视频数据的动态码率以发送视频数据。

一种基于多协议多终端交互的教学实时互动系统，它包括输入源模块、流媒体服务模块、核心转换服务模块和教学实时视音频服务模块；所述输入源模块用于输入包括RTSP协议、RTMP协议和WebRTC协议的流媒体数据；所述流媒体服务模块用于对三种流媒体数据提供各自的流媒体服务，并通过三种载体的流媒体服务对输入源模块的流媒体数据进行处理；所述核心转换服务模块用于处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出；所述教学实时视音频服务模块用于对经过视频处理服务的数据进行封装，并提供RTC服务和RTMP服务，通过多种流协议接入互动客户端实现教学实时互动。

所述流媒体服务包括RTC服务单元、RTMP服务单元和RTSP服务单元；

所述RTC服务单元包括RTC_API、RTC_SDP以及RTC_SERVER，RTC_API实现互动房间模型的API的管理，并且管理基于房间的会话信息；RTC_SDP实现客户端传递的SDP的报文的接收以及校验、提供SDP报文的封装以及解封装的操作；RTC_SERVER实现会话信息为载体的SDP数据以及流媒体数据的监听、转发的操作；

所述RTMP服务单元包括RTMP_CONN以及RTMP_SERVER，RTMP_CONN处理RTMP协议的客户端连接建立、数据接收、连接关闭的功能；RTMP_SERVER处理RTMP的服务的数据处理、数据封装的操作；

所述RTSP服务单元包括RTSP_CONN以及RTSP_SERVER，RTSP_CONN处理RTSP协议的客户端连接建立、数据接收、连接关闭的功能；RTSP_SERVER处理RTSP的服务端跟客户端的指令交互。

所述核心转换服务模块包括数据分解单元、数据拆分单元、数据检测单元和数据转发单元；

所述数据分解单元用于设置一个管道模式的视频数据输入通道(data channelinput)，将同一路视频channel拆分成不同的音频轨以及视频轨，基于视频数据进行SVR的动态编码数据分解，基于音频数据进行opus的音频数据分解；

所述数据拆分单元用于通过设置一个视频数据打开服务来打开视频帧，并通过打开数据结构体返回音频轨、视频轨和文件头后传递给下一个步骤；

所述数据检测单元用于通过设置一个videocheck对输入的视频帧数据进行检测，输出视频数据格式，以及设置一个audiocheck对输入的音频帧数据进行检测，输出音频数据格式；

所述数据转发单元用于在数据转发过程中通过设置TimeToSendPacket()控制发送RTP有效数据包和删除无效数据包，设置TimeToSendPadding控制发送RTP pad包，填充冗余数据实现动态SVC的填充，用于达到视频数据的动态码率以发送视频数据。

本发明具有以下优点：一种基于多协议多终端交互的教学实时互动方法及系统，解决了多终端间的直播交互效果，将传统的摄像头、录播等设备的基于浏览器的教学互动输出由10秒左右提升到1秒左右，极大的提升了教学交互的效果。

附图说明

图1 为本发明的结构示意图；

图2 为本发明流媒体服务模块的工作流程示意图；

图3 为本发明核心转换服务模块的工作流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，本发明主要实现了基于不同流协议之间的数据封装与转化，提供了基于多流协议多终端交互的教学实时互动方法，克服了现有教学场景中各类设备与终端各自分离的问题，其包括以下内容：

步骤一、输入源模块：输入源输入流媒体数据，其中包含监控摄像头、硬盘录像机、标考摄像头的存在RTSP协议的流；通过教师摄像头、学生摄像头、录播电影流输出的主要为RTMP的流；通过教师电脑摄像头、学生电脑摄像头、学生电脑屏幕输入的流主要为WebRTC的流。在该模块我们主要提供对不同输入源终端设备的管理、接入以及SDK的管理。

其中，RTMP是Real Time Messaging Protocol（实时消息传输协议）的首字母缩写。该协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括AdobeMedia Server/Ultrant Media Server/red5等。

RTSP（Real Time Streaming Protocol，实时流协议），是由Real Network和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP提供一种可扩展的框架，能够提供可控制的，按需传输的实时数据，比如音频和视频文件。源数据可以包括现场数据的反馈和存储的文件。RTSP对流媒体提供了诸如暂停，快进等控制，而它本身并不传输数据，RTSP的作用相当于流媒体服务器的远程控制。

WebRTC实现了基于网页的视频会议，标准是WHATWG 协议，目的是通过浏览器提供简单的javascript就可以达到实时通讯（Real-Time Communications (RTC)）能力。

步骤二、流媒体服务模块：在流媒体服务模块，我们主要提供RTSP流媒体服务、RTMP流媒体服务以及RTC流媒体，通过三种载体的流媒体服务接收输入源模块的客户端数据建立、接收、数据的封装、输出等功能；

进一步地，如图2所示，首先，流媒体服务模块通过监听器方法监听客户端请求，转发到serverconn方法进行连接记录与保持；其次，创建DataCycle方法定义数据的轮询订阅，接收客户端的首次请求与重试请求。在DataCycle后通过UDPsocket通道与TCPsocket通道进行数据处理，常规数据来源WebRTC为UDP通道、RTMP与RTSP为TCP通道。通道将数据发送给webRTCServer、RTMPServer、RTSPServer进行处理，处理的具体内容如下：

RTSPServer包含RTSP_CONN以及RTSP_SERVER，RTSP_CONN主要处理RTSP协议的客户端连接建立、数据接收、连接关闭等功能；RTSP_SERVER主要处理RTSP的服务端跟客户端的指令交互；

RTMPServer包含RTMP_CONN以及RTMP_SERVER，RTMP_CONN主要处理RTMP协议的客户端连接建立、数据接收、连接关闭等功能；RTMP_SERVER主要处理RTMP的服务的数据处理、数据封装等操作；

RTCServer包含RTC_API、RTC_SDP以及RTC_SERVER，RTC_API主要提供基于互动房间模型的API的管理包含加入房间、离开房间，并且管理基于房间的会话信息；RTC_SDP主要处理基于客户端传递的SDP会话描述协议（Session Description Protocol）的报文的接收以及校验、提供SDP报文的封装以及解封装等操作；RTC_SERVER提供基于会话信息为载体的SDP数据以及流媒体数据的监听、转发等操作。

步骤三、核心转换服务模块中用于处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充、视频数据的转发输出；

如图3所示，首先定义一个视频数据输入通道(data channel input)，视频数据输入通道采用管道模式，负责将视频与音频进行拆分，将同一路视频channel拆分成不同的audio track以及video track，基于视频数据进行SVC（Scaled Video Coding，可分层视频编解码,是一种能将视频流分割为多个分辨率、质量和帧速率层的技术）的动态编码数据分解、基于音频数据进行opus的音频数据分解。

数据拆分方法：首先定义一个视频数据打开服务，打开视频帧：avformat_open_input（数据指针、封装格式）等其他数据；其次通过avformat_open_track(打开数据结构体)，返回音频轨（audio track）、视频轨（video track）、文件头（file header），传递给检测方法；

数据检测方法：在视频检测中定义一个videocheck（video track），输入视频帧数据、输出视频数据格式；定义一个audiocheck(audio track)、输出音频数据格式；

数据转发方法：定义一个video router以及audio router方法，进行数据的发送控制；其中，定义TimeToSendPacket()控制发送RTP有效包，删除无效数据包；定义TimeToSendPadding()控制发送RTP pad包(一种实时传输协议内的数据包)，填充冗余数据实现动态SVC的填充，用于达到一定码率发送视频数据。

步骤四、教学实时视音频服务模块通过教学实时视音频服务模块对经过视频处理服务的数据进行封装，并提供RTC服务和RTMP服务，通过多种流协议接入互动客户端实现教学实时互动。

具体为，基于webRTC的数据报文封装，基于RTC_SERVER的对外RTC的服务提供，提供基于浏览器的RTC_CLIENT SDK，降低RTMP、HLS的播放延迟问题。提供低于1秒以内的多种流协议接入的教学实时互动方法，解决多终端、多硬件接入的教学互动场景。

图3中，aac是新一代的音频有损压缩技术，pcm（Pulse Code Modulation）脉冲编码调制是数字通信的编码方式之一，MP3是一种音频压缩技术，H.265是ITU-T VCEG继H.264之后所制定的新的视频编码标准，VP8 是类似于 H.264 的另一种视频编码，VP9是一个由Google开发的开放格式、无使用授权费的视频压缩标准。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种基于多协议多终端交互的教学实时互动方法，其特征在于：所述教学实时互动方法包括：

步骤一、通过输入源模块输入包括RTSP协议、RTMP协议和WebRTC协议的流媒体数据；

步骤二、通过流媒体服务模块对三种流媒体数据提供各自的流媒体服务，并通过三种载体的流媒体服务对输入源模块的流媒体数据进行处理；

流媒体服务模块通过监听器的方式监听客户端的请求，并转发到serverconn服务且经serverconn服务连接方法进行连接记录与保持；创建DataCycle方法定义数据的轮询订阅，接收客户端的首次请求与重试请求；

在进行DataCycle后通过UDPsocket通道与TCPsocket通道将数据发送到RTC服务、RTMP服务和RTSP服务中进行处理；

RTC服务包括RTC_API、RTC_SDP以及RTC_SERVER，RTC_API实现互动房间模型的API的管理，并且管理基于房间的会话信息；RTC_SDP实现客户端传递的SDP的报文的接收以及校验、提供SDP报文的封装以及解封装的操作；RTC_SERVER实现会话信息为载体的SDP数据以及流媒体数据的监听、转发的操作；

RTMP服务包括RTMP_CONN以及RTMP_SERVER，RTMP_CONN处理RTMP协议的客户端连接建立、数据接收、连接关闭的功能；RTMP_SERVER处理RTMP的服务的数据处理、数据封装的操作；

RTSP服务包括RTSP_CONN以及RTSP_SERVER，RTSP_CONN处理RTSP协议的客户端连接建立、数据接收、连接关闭的功能；RTSP_SERVER处理RTSP的服务端跟客户端的指令交互；

步骤三、通过视频处理服务处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出；

步骤四、通过教学实时视音频服务模块对经过视频处理服务的数据进行封装，并提供RTC服务和RTMP服务，通过多种流协议接入互动客户端实现教学实时互动。

2.根据权利要求1所述的一种基于多协议多终端交互的教学实时互动方法，其特征在于：所述通过视频处理服务处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出包括：

设置一个管道模式的视频数据输入通道(data channel input)，将同一路视频channel拆分成不同的音频轨以及视频轨，基于视频数据进行SVR的动态编码数据分解，基于音频数据进行opus的音频数据分解；

通过设置一个视频数据打开服务来打开视频帧，并通过打开数据结构体返回音频轨、视频轨和文件头后传递给下一个步骤；

通过设置一个videocheck对输入的视频帧数据进行检测，输出视频数据格式，以及设置一个audiocheck对输入的音频帧数据进行检测，输出音频数据格式；

在数据转发过程中通过设置TimeToSendPacket()控制发送RTP有效数据包和删除无效数据包，设置TimeToSendPadding控制发送RTP pad包，填充冗余数据实现动态SVC的填充，用于达到视频数据的动态码率以发送视频数据。

3.一种基于多协议多终端交互的教学实时互动系统，其特征在于：它包括输入源模块、流媒体服务模块、核心转换服务模块和教学实时视音频服务模块；所述输入源模块用于输入包括RTSP协议、RTMP协议和WebRTC协议的流媒体数据；所述流媒体服务模块用于对三种流媒体数据提供各自的流媒体服务，并通过三种载体的流媒体服务对输入源模块的流媒体数据进行处理；所述核心转换服务模块用于处理视频数据的拆分、视频数据的检测、视频数据的动态码率、视频数据的动态填充以及视频数据的转发输出；所述教学实时视音频服务模块用于对经过视频处理服务的数据进行封装，并提供RTC服务和RTMP服务，通过多种流协议接入互动客户端实现教学实时互动；

通过流媒体服务模块对三种流媒体数据提供各自的流媒体服务，并通过三种载体的流媒体服务对输入源模块的流媒体数据进行处理包括：

流媒体服务模块通过监听器的方式监听客户端的请求，并转发到serverconn服务且经serverconn服务连接方法进行连接记录与保持；创建DataCycle方法定义数据的轮询订阅，接收客户端的首次请求与重试请求；

在进行DataCycle后通过UDPsocket通道与TCPsocket通道将数据发送到RTC服务、RTMP服务和RTSP服务中进行处理；RTC服务包括RTC_API、RTC_SDP以及RTC_SERVER，RTC_API实现互动房间模型的API的管理，并且管理基于房间的会话信息；RTC_SDP实现客户端传递的SDP的报文的接收以及校验、提供SDP报文的封装以及解封装的操作；RTC_SERVER实现会话信息为载体的SDP数据以及流媒体数据的监听、转发的操作；

RTMP服务包括RTMP_CONN以及RTMP_SERVER，RTMP_CONN处理RTMP协议的客户端连接建立、数据接收、连接关闭的功能；RTMP_SERVER处理RTMP的服务的数据处理、数据封装的操作；

RTSP服务包括RTSP_CONN以及RTSP_SERVER，RTSP_CONN处理RTSP协议的客户端连接建立、数据接收、连接关闭的功能；RTSP_SERVER处理RTSP的服务端跟客户端的指令交互。

4.根据权利要求3所述的一种基于多协议多终端交互的教学实时互动系统，其特征在于：所述流媒体服务包括RTC服务单元、RTMP服务单元和RTSP服务单元；

所述RTC服务单元包括RTC_API、RTC_SDP以及RTC_SERVER，RTC_API实现互动房间模型的API的管理，并且管理基于房间的会话信息；RTC_SDP实现客户端传递的SDP的报文的接收以及校验、提供SDP报文的封装以及解封装的操作；RTC_SERVER实现会话信息为载体的SDP数据以及流媒体数据的监听、转发的操作；

所述RTMP服务单元包括RTMP_CONN以及RTMP_SERVER，RTMP_CONN处理RTMP协议的客户端连接建立、数据接收、连接关闭的功能；RTMP_SERVER处理RTMP的服务的数据处理、数据封装的操作；所述RTSP服务单元包括RTSP_CONN以及RTSP_SERVER，RTSP_CONN处理RTSP协议的客户端连接建立、数据接收、连接关闭的功能；RTSP_SERVER处理RTSP的服务端跟客户端的指令交互。

5.根据权利要求3所述的一种基于多协议多终端交互的教学实时互动系统，其特征在于：所述核心转换服务模块包括数据分解单元、数据拆分单元、数据检测单元和数据转发单元；

所述数据分解单元用于设置一个管道模式的视频数据输入通道(data channelinput)，将同一路视频channel拆分成不同的音频轨以及视频轨，基于视频数据进行SVR的动态编码数据分解，基于音频数据进行opus的音频数据分解；

所述数据拆分单元用于通过设置一个视频数据打开服务来打开视频帧，并通过打开数据结构体返回音频轨、视频轨和文件头后传递给下一个步骤；

所述数据检测单元用于通过设置一个videocheck对输入的视频帧数据进行检测，输出视频数据格式，以及设置一个audiocheck对输入的音频帧数据进行检测，输出音频数据格式；

所述数据转发单元用于在数据转发过程中通过设置TimeToSendPacket()控制发送RTP有效数据包和删除无效数据包，设置TimeToSendPadding控制发送RTP pad包，填充冗余数据实现动态SVC的填充，用于达到视频数据的动态码率以发送视频数据。

Images