CN106803923B - Rtmp推流实时直播系统 - Google Patents
Rtmp推流实时直播系统 Download PDFInfo
- Publication number
- CN106803923B CN106803923B CN201710116973.5A CN201710116973A CN106803923B CN 106803923 B CN106803923 B CN 106803923B CN 201710116973 A CN201710116973 A CN 201710116973A CN 106803923 B CN106803923 B CN 106803923B
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- cloud unit
- module
- recorded broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种RTMP推流实时直播系统,用于多人视频会议的直播互动,包括依次连接的视频会议云单元、录播云单元、直播云单元,其中,视频会议云单元包括通信认证模块、功能模块、MCU资源模块;录播云单元对应多个录播账号,通过SIP、H.323或RTP协议将某个录播账号加入到视频会议云单元;通信认证模块验证并接收来自用户终端的资源请求和录播账号,资源请求包括音视频数据、用户信息;功能模块根据音视频数据的不同,对MCU资源模块中的MCU资源进行统一调度管理,进而MCU全解码全编码音视频数据,实现适配,生成适配音视频流;并且,录播云单元将与该录播账号互配的适配音视频流录制转码,生成音视频文件,存储或通过RTMP协议传输给直播云单元。
Description
技术领域
本发明涉及一种RTMP推流实时直播系统。
背景技术
RTMP是一种实时消息传输协议(Real Time Messaging Protocol),该协议基于TCP,是一个协议族,包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议,主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括Adobe Media Server/Ultrant Media Server/red5等。
RTMP是目前主流的流媒体传输协议,广泛用于直播领域,可以说市面上绝大多数的直播产品都采用了这个协议。
目前,多人视频会议直播互动时,经常会因为网络拥塞,导致音视频传输不及时,直播互动中断,视频会议难以顺利进行。
发明内容
本发明之目的是提供一种RTMP推流实时直播系统,其能够提高多人视频会议直播互动时的实时性和稳定性。
本发明提供一种RTMP推流实时直播系统,用于多人视频会议的直播互动,该系统包括依次连接的视频会议云单元、录播云单元、直播云单元,其中,视频会议云单元包括通信认证模块、功能模块、MCU资源模块;录播云单元对应多个录播账号,通过SIP、H.323或RTP协议将某个录播账号加入到视频会议云单元;通信认证模块验证并接收来自用户终端的资源请求和录播账号,资源请求包括音视频数据、用户信息;功能模块根据音视频数据的不同,对MCU资源模块中的MCU资源进行统一调度管理,进而MCU全解码全编码音视频数据,实现适配,生成适配音视频流;并且,录播云单元将与该录播账号互配的适配音视频流录制转码,生成音视频文件,存储或通过RTMP协议传输给直播云单元。
作为优选方式,通信认证模块通过SIP、H.323协议验证并接收来自用户终端的资源请求。
作为优选方式,功能模块根据音视频数据的不同,对MCU资源模块中的MCU资源进行统一调度管理包括,功能模块根据音视频数据的宽带和质量的不同,从MCU资源模块调用不同规模的MCU资源,进而MCU全解码全编码音视频数据,实现适配,生成适配音视频流。
作为优选方式,录播云单元包括录制转码模块和存储模块,
录制转码模块对与录播账号互配的适配音视频流进行录制转码,使之进一步生成不同格式不同码率的音视频文件;
存储模块存储音视频文件。
作为优选方式,音视频文件是码率为768K-4M的文件。
作为优选方式,用户终端包括硬件终端、软件终端。
作为优选方式,直播云单元通过RTMP或HLS协议将音视频文件传输发布给用户终端。
本发明提供的一种RTMP推流实时直播系统,能够提高多人视频会议直播互动时的实时性和稳定性,为用户提供稳定的、高质量的视频会议服务。其功能模块能够根据音视频数据的宽带和质量的不同,调用不同规模的MCU资源,MCU全编码全解码音视频数据,实现适配,从而生成适配音视频流。MCU资源的统一调度管理,使本系统具有良好的自适应能力,当网络出现拥塞时,本系统优先完成对音视频的处理,及时发送,保证会议不间断。
同时,本系统的录播云单元能够将与该录播账号互配的适配音视频流录制转码,生成音视频文件,存储或通过RTMP协议传输给直播云单元,减少了直播云单元的工作量,而且,录播云单元是在适配音视频流的基础上,进一步将其录制生成不同格式不同码率的文件,扩大了直播时的用户对格式和画面质量的选择范围。
综上,本发明在避免延时、带宽自适应、画面质量多方面有很大优势。
附图说明
下面将简要说明本申请所使用的附图,显而易见地,这些附图仅用于解释本发明的构思。
如图1所示,为本发明RTMP推流实时直播系统的框架结构示意图。
图2为本发明的RTMP推流实时直播系统的视频会议云单元与用户终端的连接框架结构示意图。
附图标记汇总:
1、视频会议云单元 11、通信认证模块 12、功能模块
13、MCU资源模块
2、录播云单元 21、录制转码模块 22、存储模块
3、直播云单元
4、用户终端 41、硬件终端 42、软件终端
43、远程终端
5、防火墙
具体实施方式
在下文中,将参照附图描述本发明的RTMP推流实时直播系统的实施例。
在此记载的实施例为本发明的特定的具体实施方式,用于说明本发明的构思,均是解释性和示例性的,不应解释为对本发明实施方式及本发明范围的限制。除在此记载的实施例外,本领域技术人员还能够基于本申请权利要求书和说明书所公开的内容采用显而易见的其它技术方案,这些技术方案包括对在此记载的实施例做出任何显而易见的替换和修改的技术方案。
本说明书的附图为示意图,辅助说明本发明的构思,示意性地表示各部分的形状及其相互关系。请注意,为了便于清楚地表现出本发明实施例的各部分的结构,各附图之间不一定按照相同的比例绘制。相同或相似的参考标记用于表示相同或相似的部分。
RTMP(实时消息传输协议)基于TCP,是一个协议族,包括RTMP基本协议及RTMPT、RTMPS、RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议,主要用来在Flash、AIR平台和支持RTMP协议的流媒体交互服务器之间进行音视频和数据通信。支持该协议的软件包括Adobe Media Server、Ultrant Media Server、red5等。
视频源将视频数据经过RTMP协议发布到流媒体服务器上;视频成功发布以后,客户端通过RTMP连接到流媒体服务器,就可以播放相应的视频。播放客户端可以基于RTMP协议或者HLS协议播放,一般通过Flash播放器或者HTML5播放器实现。
流媒体服务提供商之所以会选择RTMP协议作为其提供流媒体服务的应用层协议,在于它有以下几个特点:
1、容易实现多人互动直播
由于RTMP协议推流方式易于对接实时多人互动视频会议云平台,所以可以很方便的实现多人互动互动直播。
2、无须安装客户端程序
收看采用RTMP协议提供的流媒体无需安装客户端程序,大大简化了客户操作的复杂度。一般收看流媒体都需要相应的客户端软件的支持,用户需要收看流媒体就必须下载相应的软件(或插件)。而支持RTMP协议的流媒体客户端可以制作成一个普通的Flash文件,只要安装过Flash Player的网页浏览器就可以自动下载该文件并运行它。而Flash Player是一个上网必备的插件。据统计,全世界98%的网页浏览器都安装了Flash Player。因此,普通用户不需要任何操作,只要使用网页浏览器打开播放页面,就可以收看流媒体。
本发明提供的一种RTMP推流实时直播系统,用于多人视频会议的直播互动,能够提高多人视频会议直播互动时的实时性和稳定性,为用户提供稳定的、高质量的视频会议服务。在本系统中一个用户为一个互动方,该系统包括:依次连接的视频会议云单元1、录播云单元2、直播云单元。其中视频会议云单元1可连接所有支持适配SIP、H.323协议的软件或者硬件终端41、SDK,直播云单元通过RTMP或HLS协议与用户终端进行音视频的传输。
如图1所示,为本发明RTMP推流实时直播系统的框架结构示意图。录播云单元2通过SIP、H.323或RTP协议将某个录播账号加入到视频会议云单元1,通信认证模块11验证并接收来自用户终端的资源请求和录播账号,其中,资源请求包括音视频数据、用户信息,其中,用户信息还包括用户终端设备信息、账号信息。
功能模块12根据音视频数据的不同,可对MCU资源模块13中的MCU资源进行统一调度管理,具体来说,功能模块12根据音视频数据的宽带和质量的不同,从MCU资源模块13调用不同规模的MCU资源,进而MCU全解码全编码音视频数据,实现适配,生成适配音视频流。MCU资源的统一调度管理使本系统具有良好的自适应能力,当网络出现拥塞时,本系统优先完成对音视频的处理,及时发送,保证会议不间断。
录播云单元2包括录制转码模块21和存储模块22,录制转码模块21对与录播账号互配的适配音视频流进行录制转码,使之进一步生成不同格式不同码率的音视频文件,通过RTMP协议传输给直播云单元,或者存储模块22将音视频文件存储,音视频文件是码率为768K-4M的文件。其中,录播账号是特殊的账号,它以第三人视角,将与它相匹配的互动方即用户的适配音视频流以及用户信息通过SIP、H.323或RTP协议传输到录播云单元2,进而录播云单元2可对与录播账号互配的适配音视频流进行录制转码,使之进一步生成不同格式不同码率的所述音视频文件。
之后,直播云单元通过RTMP或HLS协议将音视频文件传输发布给用户终端,用户就可以参与视频会议的直播互动,其中,用户终端包括硬件终端41、软件终端42。而且,录播云单元是在适配音视频流的基础上,进一步将其录制生成不同格式不同码率的文件,扩大了直播时的用户对格式和画面质量的选择范围。因此,本发明在避免延时、带宽自适应、画面质量多方面有很大优势,充分保证了多人视频会议直播互动时的实时性和稳定性。
现有用户A、用户B、用户C三人参加视频会议直播互动,录播云单元2通过SIP、H.323或RTP协议将某个录播账号加入到视频会议云单元1,比如录播账号“101”,该录播账号通过通信认证模块11的验证并被接收。
通信认证模块11分别验证用户A、用户B、用户C的资源请求,以此确认用户信息的正确性和合法性。例如,用户A的资源请求:用户A的音视频数据、用户A的终端设备信息和账号信息;用户B的资源请求:用户B的音视频数据、用户B的终端设备信息和账号信息;用户C的资源请求:用户C的音视频数据、用户C的终端设备信息和账号信息。其中,用户A的账号信息的形式为:账号“123456”及其对应的密码“abcd”。
功能模块12根据用户A、用户B、用户C分别对应的音视频数据的宽带和质量的不同,从MCU资源模块13调用不同规模的MCU资源,进而MCU全解码全编码用户A、用户B、用户C的音视频数据,实现适配,生成用户A、用户B、用户C的适配音视频流。
而后录播云单元2将与录播账号“101”互配用户A、用户B、用户C的适配音视频流进行录制转码,使之进一步生成不同格式不同码率的音视频文件,通过RTMP协议传输给直播云单元或存储。
图2为本发明的RTMP推流实时直播系统的视频会议云单元1与用户终端的连接框架结构示意图。视频会议云单元1可与所有适配SIP或H.323协议的软件终端42、硬件终端41或远程终端43接通。具体来说,要求视频云可以支持标准SIP视频终端、标准H.323视频终端、PC安装的视频协作APP、平板电脑安装的视频协作APP、苹果IOS系统安装的视频协作APP、安卓系统安装的视频协作APP、浏览器WebRTC方式等多种方式同时接入。
本发明提供的RTMP推流实时直播系统支持1080P30帧、720P60帧高清视频会议;支持最高1080P30帧辅流内容分享;支持全编全解,即按不同视频质量、不同带宽,占用后台不同规模MCU端口;支持在对称2Mbps互联网专线条件下,实现720P60帧高清视频通讯;支持在对称6Mbps互联网专线条件下,实现1080P30帧、720P60帧高清视频通讯;支持在对称128kbps互联网专线条件下,实现视频通讯;支持在对称64kbps互联网专线条件下,实现语音通讯;硬件视频终端支持跨域呼叫,即遵循视频业界统一标准,与国内视频云平台,与国外视频云平台可以互通;软件视频协作APP支持跨域呼叫,即遵循视频业界统一标准,与国内视频云平台,与国外视频云平台可以互通;支持防火墙5穿越H.460协议,在客户局域网环境内可以穿透多重防火墙5,支持通过的互联网专线视频会议协作;在同一个高清会议下能支持H.264和H.263协议,全编全解MCU资源池,支持同一个高清会议下拥有H.261、H.263、H.263+、H.264、H.323等不同协议加入会议,无需做任何设置。
本发明的RTMP推流实时直播系统提高了多人视频会议直播互动的实时性和稳定性,客户只需要保证本地互联网接入带宽,即可使用稳定的、高质量的视频会议服务。本系统同时还具有自适应能力,当网络出现拥塞时,本系统会议优先将音频流发送,从而保证会议的不间断性,而且,在很低的码率下本系统可以使用户终端显示质量还不错的画面。
以上对本发明的RTMP推流实时直播系统的实施方式进行了说明。对于本发明的RTMP推流实时直播系统的具体特征可以根据上述披露的特征的作用进行具体设计,这些设计均是本领域技术人员能够实现的。而且,上述披露的各技术特征并不限于已披露的与其它特征的组合,本领域技术人员还可根据本发明之目的进行各技术特征之间的其它组合,以实现本发明之目的为准。
Claims (6)
1.一种RTMP推流实时直播系统,用于多人视频会议的直播互动,该系统包括依次连接的视频会议云单元、录播云单元、直播云单元,
其中,所述视频会议云单元包括通信认证模块、功能模块、MCU资源模块;
所述录播云单元对应多个录播账号,通过SIP、H.323或RTP协议将某个所述录播账号加入到所述视频会议云单元;
所述通信认证模块验证并接收来自用户终端的资源请求和所述录播账号,所述资源请求包括音视频数据、用户信息;
所述功能模块根据所述音视频数据的不同,对所述MCU资源模块中的MCU资源进行统一调度管理,进而MCU全解码全编码所述音视频数据,实现适配,生成所述适配音视频流;并且
所述录播云单元将与该所述录播账号互配的所述适配音视频流录制转码,生成音视频文件,存储或通过RTMP协议传输给所述直播云单元;
其中,所述录播云单元包括录制转码模块和存储模块,
所述录制转码模块对与所述录播账号互配的所述适配音视频流进行录制转码,使之进一步生成不同格式不同码率的所述音视频文件;
所述存储模块存储所述音视频文件。
2.如权利要求1所述的RTMP推流实时直播系统,所述通信认证模块通过SIP、H.323协议验证并接收来自所述用户终端的资源请求。
3.如权利要求1所述的RTMP推流实时直播系统,所述功能模块根据所述音视频数据的不同,对所述MCU资源模块中的MCU资源进行统一调度管理包括,所述功能模块根据所述音视频数据的宽带和质量的不同,从所述MCU资源模块调用不同规模的MCU资源,进而MCU全解码全编码所述音视频数据,实现适配,生成所述适配音视频流。
4.如权利要求1所述的RTMP推流实时直播系统,所述音视频文件是码率为768K-4M的文件。
5.如权利要求1所述的RTMP推流实时直播系统,所述用户终端包括硬件终端、软件终端。
6.如权利要求1所述的RTMP推流实时直播系统,所述直播云单元通过RTMP或HLS协议将所述音视频文件传输发布给所述用户终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710116973.5A CN106803923B (zh) | 2017-03-01 | 2017-03-01 | Rtmp推流实时直播系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710116973.5A CN106803923B (zh) | 2017-03-01 | 2017-03-01 | Rtmp推流实时直播系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106803923A CN106803923A (zh) | 2017-06-06 |
CN106803923B true CN106803923B (zh) | 2019-04-19 |
Family
ID=58988869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710116973.5A Active CN106803923B (zh) | 2017-03-01 | 2017-03-01 | Rtmp推流实时直播系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106803923B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108055496B (zh) * | 2017-12-26 | 2020-04-17 | 杭州东信北邮信息技术有限公司 | 一种视频会议的直播方法和系统 |
CN108234479A (zh) * | 2017-12-29 | 2018-06-29 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
CN109194983A (zh) * | 2018-10-10 | 2019-01-11 | 贵阳朗玛信息技术股份有限公司 | 直播方法、系统、存储介质、广播服务器及服务器集群 |
CN111669606A (zh) * | 2019-03-09 | 2020-09-15 | 苏州知了信息科技有限公司 | 一种线下线上同步教学的直播系统 |
CN111225230B (zh) | 2020-02-20 | 2022-10-04 | 腾讯科技(深圳)有限公司 | 一种网络直播数据的管理方法以及相关装置 |
CN111711835B (zh) * | 2020-05-18 | 2022-09-20 | 深圳市东微智能科技股份有限公司 | 多路音视频整合方法、系统及计算机可读存储介质 |
CN112866733B (zh) * | 2021-01-05 | 2023-06-30 | 广东中兴新支点技术有限公司 | 多直播设备的云导播同步系统及方法 |
CN113055637A (zh) * | 2021-03-31 | 2021-06-29 | 北京美迪康信息咨询有限公司 | 一种会议中屏幕分享计时方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1885785A (zh) * | 2006-07-04 | 2006-12-27 | 华为技术有限公司 | Mcu级联系统和该系统的创建及通信方法 |
CN103581699A (zh) * | 2013-11-04 | 2014-02-12 | 广州华工信元通信技术有限公司 | 视频播放方法、流媒体服务器及流媒体播放系统 |
CN105704139A (zh) * | 2016-03-16 | 2016-06-22 | 杭州狮说教育科技有限公司 | 基于rtmp协议的流媒体服务用户认证方法 |
US9411789B1 (en) * | 2015-08-12 | 2016-08-09 | International Business Machines Corporation | Clickable links within live collaborative web meetings |
-
2017
- 2017-03-01 CN CN201710116973.5A patent/CN106803923B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1885785A (zh) * | 2006-07-04 | 2006-12-27 | 华为技术有限公司 | Mcu级联系统和该系统的创建及通信方法 |
CN103581699A (zh) * | 2013-11-04 | 2014-02-12 | 广州华工信元通信技术有限公司 | 视频播放方法、流媒体服务器及流媒体播放系统 |
US9411789B1 (en) * | 2015-08-12 | 2016-08-09 | International Business Machines Corporation | Clickable links within live collaborative web meetings |
CN105704139A (zh) * | 2016-03-16 | 2016-06-22 | 杭州狮说教育科技有限公司 | 基于rtmp协议的流媒体服务用户认证方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106803923A (zh) | 2017-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803923B (zh) | Rtmp推流实时直播系统 | |
CN106303430B (zh) | 浏览器中无插件播放实时监控的方法 | |
US20120017149A1 (en) | Video whisper sessions during online collaborative computing sessions | |
CN102811368A (zh) | 一种移动视频直播系统 | |
WO2020124725A1 (zh) | 基于WebRTC协议的音视频推送方法和推流客户端 | |
CN102325181B (zh) | 一种基于共享业务的音视频即时交互通信方法及系统 | |
JP2008022552A (ja) | 会議方法および会議システム | |
CN105763832A (zh) | 一种视频互动、控制方法及装置 | |
CN111669606A (zh) | 一种线下线上同步教学的直播系统 | |
US20230283813A1 (en) | Centralized streaming video composition | |
WO2017080175A1 (zh) | 用于多机位的视频播放器、播放系统及播放方法 | |
WO2021093653A1 (zh) | 一种用户可轻松接入的安防方法、装置及系统 | |
CN107396134A (zh) | 录播设备及远程教学设备 | |
CA2953311A1 (en) | System and method for multi-user digital interactive experience | |
CN113301359A (zh) | 音视频处理方法、装置及电子设备 | |
CN102438119B (zh) | 一种数字电视的音视频通讯系统 | |
CN111901537B (zh) | 一种基于云平台的广播电视互动节目制作方式 | |
CN110413240A (zh) | 一种交互式会议系统及多终端设备同屏显示的方法 | |
CN106973300A (zh) | 一种移动互联网视频直播平台 | |
CN110719435B (zh) | 一种进行终端会议的方法和系统 | |
US20130262293A1 (en) | Variable charging of audience member temporal viewing of a live video chat performance | |
CN112532719A (zh) | 信息流的推送方法、装置、设备及计算机可读存储介质 | |
BR102012011378A2 (pt) | Sistema de gestão de fluxo e gravação de dados áudio visuais | |
Andberg | Video conferencing in distance education | |
CN112788355B (zh) | 一种信息处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |