CN106941629B - 基于sip+rtp与rtmp协议互通的实时直播方法 - Google Patents

基于sip+rtp与rtmp协议互通的实时直播方法 Download PDF

Info

Publication number
CN106941629B
CN106941629B CN201710218028.6A CN201710218028A CN106941629B CN 106941629 B CN106941629 B CN 106941629B CN 201710218028 A CN201710218028 A CN 201710218028A CN 106941629 B CN106941629 B CN 106941629B
Authority
CN
China
Prior art keywords
audio
sip
rtp
video data
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710218028.6A
Other languages
English (en)
Other versions
CN106941629A (zh
Inventor
刘金鹰
庞鑫
谭宁忠
姜锐锋
程建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Comein Finance And Technology Co ltd
Original Assignee
Shenzhen Comein Finance And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Comein Finance And Technology Co ltd filed Critical Shenzhen Comein Finance And Technology Co ltd
Priority to CN201710218028.6A priority Critical patent/CN106941629B/zh
Publication of CN106941629A publication Critical patent/CN106941629A/zh
Application granted granted Critical
Publication of CN106941629B publication Critical patent/CN106941629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了基于SIP+RTP与RTMP协议互通的实时直播方法，涉及计算机视频直播技术，具体包括：发送终端根据网络状况及应用场景选择SIP+RTP或RTMP方式，推送音视频数据到媒体服务器的输入适配层；所述媒体服务器通过对发送终端鉴权，建立连接并接收数据；所述媒体服务器解析发送终端推送上来的信令及音视频数据，并提交数据给媒体处理层；所述媒体服务器的输出适配层根据接收终端的应用处理拉取数据请求；所述数据请求鉴权后，根据接收终端选择方式下发音视频数据，本发明的实时直播方法能够提高实时直播系统的交互性和高效性。

Description

基于SIP+RTP与RTMP协议互通的实时直播方法
技术领域
本发明涉及计算机视频直播技术领域，尤其涉及基于SIP+RTP与RTMP协议互通的实时直播方法。
背景技术
现有成熟的多媒体通讯方案主要分为两大类，SIP+RTP通讯方案和RTMP通讯方案：
SIP+RTP通讯方案：广泛应用于即时通讯，视频会议领域，实时性高，但在网络抖动较大的情况下无法保证音视频质量，大规模负载代价较高。
RTMP通讯方案：广泛应用于在线直播，安防监控领域，音视频质量好，但音视频延迟较大，在实时性要求高时，无法保证通话双方，多方的实时性。
两种方案采用不同协议和不同封装方法，不能原生性互通。
目前常用的解决方案是服务器将音视频数据组装成FLV格式文件存储于硬盘，接收终端拉取音视频数据时，从硬盘中读取音视频数据并进行下发到发送终端，适用点播，录播实时性能不高的应用场景。
由于需要把文件存储到硬盘，再从硬盘读取，文件的封装以及解析，硬盘IO读写过程耗时，不适用实时性高的视频直播、视频会议、视频通话。
发明内容
本发明针对现有技术中不足之处提供一种基于SIP+RTP与RTMP协议互通的实时直播系统方法，目的是在不同网络和应用场景下择优选择SIP+RTP或RTMP协议方式，无需结束本次音视频通信进行实时切换，保证音视频流畅质量和音视频实时性。
本发明所采用的技术方案具体步骤如下：
发送终端根据网络状况及应用场景选择SIP+RTP或RTMP协议方式，推送音视频数据到媒体服务器的输入适配层；
媒体服务器对发送终端鉴权，媒体服务器鉴权成功则与发送终端建立连接并接收数据；
媒体服务器的输入适配层解析发送终端推送上来的信令及音视频数据，并提交媒体裸数据给媒体处理层；
接收终端根据网络状况及应用场景选择SIP+RTP或RTMP协议方式向媒体服务器的输出适配层建立连接并提交拉取音视频数据请求；
媒体服务器对接收终端鉴权，媒体服务器鉴权成功则与接收终端建立连接并根据接收终端选择的接入方式下发音视频数据。
上述发送终端是获取音视频数据的通道，包括手机APP产品、WEB端、PC电脑；所述接收终端是接收音视频数据的通道，包括手机APP产品、WEB端、PC电脑。
上述媒体裸数据是音视频数据经过上千次采样处理后的数字化声音、图像。
进一步的，媒体服务器包括输入适配层、媒体处理层和输出适配层，具体包括：
输入适配层解析和封装发送终端传输的音视频数据，并对SIP+RTP或RTMP协议下的数据进行编码和数据进行封装；
媒体处理层通过用户ID和密码进行鉴权，成功则接收发送终端数据，并处理含有控制信息的内部信令和采样后的音视频数据，控制SIP+RTP和RTMP协议方式是否需要实时切换；
输出适配层按照接收终端的拉取数据请求，获取媒体处理层中的内部信令和音视频数据，并处理接收终端的拉取数据请求，根据选择的SIP+RTP或RTMP协议方式，建立对应连接后下发音视频数据到接收终端；
进一步的，当网络质量出现下降，SIP+RTP协议方式和RTMP协议方式实时切换包括：SIP+RTP或RTMP协议方式下的音视频数据经过媒体服务器的输入适配层，媒体处理层和输出适配层的控制和协调，转换为RTMP或SIP+RTP协议方式下的音视频数据。
上述实时切换是音视频直播系统下的实时切换，通讯双方实时看到对方图像、听到对方声音，保证实时通讯下流畅音视频质量。
上述音频编码格式采用G721、G729、ILBC、SPPEK，SILK、OPUS的一种或多种。
上述视频编码格式采用H263、H263+、H264、VP8的一种或多种。
本发明的有益效果：
通过建立输入适配层和输出适配层，媒体服务器无需缓存大量数据，通话质量不佳，多人视频信号中断时，实时秒级切换SIP+RTP和RTMP两种通信方式，速度快，大规模并发处理能力强，无需中断本次直播。
实时直播时，实效互动性强，音视频数据经过压缩处理，不费流量，不占用内存和网络。
附图说明
图1为本发明SIP+RTP与RTMP互通模式总体架构图；
图2为本发明SIP+RTP与RTMP互通模式工作流程图；
图3为本发明SIP+RTP与RTMP互通模式状态流程图。
具体实施方式
为了更好的说明本发明，现结合实施例及附图作进一步的说明。
本发明是基于SIP+RTP与RTMP协议互通的实时直播方法，实施案例所述方法列举实时直播视频系统的应用，还可应用一对多，多对多视频会议应用场景。
如图1所示，基于SIP+RTP与RTMP协议互通的实时直播方法具体包括：
发送终端采集SIP+RTP或RTMP协议下的音视频数据，发送终端1采集SIP+RTP协议下的音视频数据，发送终端2采集RTMP协议下的音视频数据，采集两种不同协议数据的发送终端数量可扩展至多个，发送终端1至发送终端m1发送SIP+RTP协议下的音视频数据，发送终端2至发送终端m2发送RTMP协议下的音视频数据；
采集主体包括IOS系统，安卓系统和嵌入式网络系统，电脑端，主要采集和接收SIP+RTP和RTMP两种协议音视频数据。
发送终端在实时直播或互动时，媒体服务器根据当前网络信号强弱，直播或音频信号流畅度，以及视频直播者的应用场景，实时控制和监听每个终端端口，发现视频使用者出现等待，或画面延时，媒体处理层通过多线程动态切换两种协议通信模式，保证实时直播的流畅度。
输出适配层根据接收终端的拉取数据请求，输出对应连接方式下的数据。
接收终端1至接收终端n1接收转换后的RTMP协议下的音视频数据，接收终端2至接收终端n2接收转换后的SIP+RTP协议下的音视频数据。
基于总体架构图，如图2所示进一步的工作流程图，具体实施步骤如下：
S101：发送终端根据当前网络状态和应用场景选择SIP+RTP或RTMP方式推送音视频数据到媒体服务器输入适配器层，其中发送终端根据应用状态可以改变成接收终端，在视频通话中，通话发起端可成为接收终端，发送终端是实时直播系统的WEB端，PC端以及手机APP；
S102：所述媒体服务器在实时直播系统中主要是对用户鉴权获取合法请求，并和发送终端建立连接，包括当前用户的ID和密码信息，鉴权成功获取声音和图像，失败不能访问系统；
S103：媒体服务器的输入适配层解析发送终端推送上来的信令以及音视频数据，并提交媒体裸数据给媒体处理层，所述信令用来传输数据与控制信息,所有的通信过程均由它判定和指示，通过函数，消息队列来进行控制；
所述媒体裸数据是经过上千次采样后的数字化声音和图像，应用场景是混音开会，混屏视频等场景，多人方格显示在线视频会进行；
S104：接收终端根据网络状况及应用场景选择SIP+RTP或RTMP方式向媒体服务器的输出适配层建立连接并提交拉取音视频数据请求；
S105：媒体服务器对接收终端鉴权，鉴权成功则与接收终端建立连接并根据接收终端选择的接入方式下发音视频数据，所述接收终端表现形式为视频播放者使用各类手机APP访问系统，web网页端以及电脑端。
如图3所示，SIP+RTP和RTMP互通模式状态流程图：
当网络质量下降时，SIP+RTP模式如何转换成RTMP模式，包括实时直播时视频数据录入到播放这个过程；
首先发送终端将SIP信令发送至输入适配层，获得媒体服务器鉴权后，输入适配层将内部信令和媒体裸数据交给媒体处理层处理；
鉴权是以用户ID和密码访问实时直播视频系统，所述内部信令是指通过函数消息队列统一处理和控制接收的音视频数据，成功获得鉴权后，RTP封装音视频数据到媒体服务器，将采样处理的媒体裸数据提交给媒体处理层；
当网络质量下降时，在3G、4G网络中有延时，卡顿现象，由于数据在通信网络上是以数据包为单位传输的，数据包的传输不是线性的，不可能百分之百的完成，出现物理线路故障、设备故障、病毒攻击、路由信息错误等原因，总会有一定的损失传输的，目前丢包、包顺序混乱时常出现，视频信号出现卡顿，SIP+RTP方式不在适用，所述媒体处理层关闭SIP+RTP这种方式，选择RTMP方式，方式切换前接收终端向媒体服务器发送以RTMP方式拉取数据的请求；
媒体服务器对接收终端鉴权，用户鉴权是对该用户使用直播系统数据业务的合法性和有效性进行检查，状态是否为激活；
媒体服务器的输出适配层根据接收终端的拉取数据请求，获取媒体处理层中的内部信令和音视频数据，并根据接收终端选择的接入方式下发音视频数据；
所述信令是一种用于控制的信号，是保证用户信息有效且可靠传输的各类信号。
本发明实施实例所述服务器无需缓存大量数据，反应灵活，长时间实时直播时对宽带资源占有很少，媒体使用者只需很少的流量即可在线观看，也无需结束本次直播观看。
最后，本发明实施案例重点强调SIP+RTP/RTMP模式在实时直播系统中的互通，但不仅仅限于此部分，也涉及录播点播以及相关领域，相关技术人员可在不违背发明精神的情况下进行扩展和研究,对等同本发明的技术范围内保留申请专利。

Claims (9)

1.基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：
发送终端根据网络状况及应用场景选择SIP+RTP或RTMP协议方式，推送音视频数据到媒体服务器的输入适配层；
媒体服务器对发送终端鉴权，媒体服务器鉴权成功则与发送终端建立连接并接收数据；所述数据包括音视频数据和信令；
媒体服务器的输入适配层解析发送终端推送上来的信令及音视频数据，并提交媒体裸数据给媒体处理层；所述媒体裸数据是经过上千次采样后的数字化声音和图像；
接收终端根据网络状况及应用场景选择SIP+RTP或RTMP协议方式向媒体服务器的输出适配层建立连接并提交拉取音视频数据请求；
媒体服务器对接收终端鉴权，媒体服务器鉴权成功则与接收终端建立连接并根据接收终端选择的接入方式下发音视频数据。
2.如权利要求1所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述发送终端是获取音视频数据的通道，包括手机APP产品、WEB端、PC电脑；所述接收终端是接收音视频数据的通道，包括手机APP产品、WEB端、PC电脑。
3.如权利要求1所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述媒体裸数据是音视频数据经过上千次采样处理后的数字化声音、图像。
4.如权利要求1所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述媒体服务器包括输入适配层、媒体处理层和输出适配层。
5.如权利要求4所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述输入适配层解析和封装发送终端传输的音视频数据，并对SIP+RTP或RTMP协议下的数据进行编码和数据进行封装。
6.如权利要求4所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述媒体处理层通过用户ID和密码进行鉴权，成功则接收发送终端数据，并处理含有控制信息的内部信令和采样后的音视频数据，控制SIP+RTP和RTMP协议方式是否需要实时切换。
7.如权利要求4所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述输出适配层按照接收终端的拉取数据请求，获取媒体处理层中的内部信令和音视频数据，并处理接收终端的拉取数据请求，根据选择的SIP+RTP或RTMP协议方式，建立对应连接后下发音视频数据到接收终端。
8.如权利要求1所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：当网络质量出现下降，SIP+RTP协议方式与RTMP协议方式实时切换包括：SIP+RTP或RTMP协议方式下的音视频数据经过媒体服务器的输入适配层，媒体处理层和输出适配层的控制和协调，转换为RTMP或SIP+RTP协议方式下的音视频数据。
9.如权利要求1所述基于SIP+RTP与RTMP协议互通的实时直播方法，其特征在于：所述音视频数据分为音频数据和视频数据，所述音频数据编码格式包括：G721、G729、ILBC、SPPEK，SILK、OPUS的一种或多种，所述视频数据编码格式包括：H263、H263+、H264、VP8的一种或多种。
CN201710218028.6A 2017-04-05 2017-04-05 基于sip+rtp与rtmp协议互通的实时直播方法 Active CN106941629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710218028.6A CN106941629B (zh) 2017-04-05 2017-04-05 基于sip+rtp与rtmp协议互通的实时直播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710218028.6A CN106941629B (zh) 2017-04-05 2017-04-05 基于sip+rtp与rtmp协议互通的实时直播方法

Publications (2)

Publication Number Publication Date
CN106941629A CN106941629A (zh) 2017-07-11
CN106941629B true CN106941629B (zh) 2020-12-04

Family

ID=59463206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710218028.6A Active CN106941629B (zh) 2017-04-05 2017-04-05 基于sip+rtp与rtmp协议互通的实时直播方法

Country Status (1)

Country Link
CN (1) CN106941629B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072156A (zh) * 2018-01-24 2019-07-30 北京视联动力国际信息技术有限公司 一种视联网的数据处理方法和装置
CN109194983A (zh) * 2018-10-10 2019-01-11 贵阳朗玛信息技术股份有限公司 直播方法、系统、存储介质、广播服务器及服务器集群
CN109257620B (zh) * 2018-11-19 2019-12-24 海南大学 基于多路径传输的网络直播方法及其系统
CN113099252A (zh) * 2021-03-29 2021-07-09 浙江工业大学 一种基于sip与rtmp的远程投食器视频推送系统
CN114640893A (zh) * 2022-03-10 2022-06-17 京东科技信息技术有限公司 实时音视频通信系统的服务端对接方法以及装置
CN115086782B (zh) * 2022-05-10 2023-11-03 南方电网数字平台科技(广东)有限公司 媒体数据传输方法及装置
CN115022730B (zh) * 2022-06-13 2024-04-30 北京达佳互联信息技术有限公司 数据传输方法、装置、电子设备及存储介质
CN115209108A (zh) * 2022-07-13 2022-10-18 安徽工业大学 基于5g嵌入式视频的传输系统
CN115914178B (zh) * 2023-01-10 2023-05-02 广州讯鸿网络技术有限公司 一种voip实时音视频通话方法、系统及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291399A (zh) * 2011-08-08 2011-12-21 成都索贝数码科技股份有限公司 一种流媒体切换台
CN102724561A (zh) * 2012-05-16 2012-10-10 昆山日通电脑科技办公设备有限公司 一种嵌入式实时流媒体网络传输方法及其实现系统
CN105025327A (zh) * 2015-07-14 2015-11-04 福建富士通信息软件有限公司 一种移动终端现场直播的方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011068784A1 (en) * 2009-12-01 2011-06-09 Azuki Systems, Inc. Method and system for secure and reliable video streaming with rate adaptation
WO2014033729A2 (en) * 2012-07-05 2014-03-06 Apte Prashant A system, method, and platform, for embedding video feeds captured during a surgery, with multimedia data, in real-time

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291399A (zh) * 2011-08-08 2011-12-21 成都索贝数码科技股份有限公司 一种流媒体切换台
CN102724561A (zh) * 2012-05-16 2012-10-10 昆山日通电脑科技办公设备有限公司 一种嵌入式实时流媒体网络传输方法及其实现系统
CN105025327A (zh) * 2015-07-14 2015-11-04 福建富士通信息软件有限公司 一种移动终端现场直播的方法及系统

Also Published As

Publication number Publication date
CN106941629A (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN106941629B (zh) 基于sip+rtp与rtmp协议互通的实时直播方法
CN107846633B (zh) 一种直播方法及系统
CN103237191B (zh) 在视频会议中同步推送音视频的方法
CN100429901C (zh) 音视频广播网络直播频道切换的方法及结构
CN112752115B (zh) 直播数据传输方法、装置、设备及介质
CN105610824B (zh) 一种基于屏幕镜像及rtsp流媒体框架的屏幕共享方法
CN101895750B (zh) 面向机顶盒和pc的实时流媒体服务器及工作方法
CN109803111B (zh) 一种视频会议的会后收看方法和装置
CN101938624A (zh) 一种基于h.323协议的ip机顶盒多点安全视频会议系统
US20170187986A1 (en) Live streaming media method, publish side live, server and terminal
CN102176713A (zh) 一种强化单路视频质量的多人网络视频聊天系统的实现方法
CN110049273B (zh) 一种基于视联网的会议录制方法和中转服务器
US10924524B2 (en) Communication devices, communication data generation method, and communication data processing method
CN107547517B (zh) 音视频节目录制方法和网络设备及计算机装置
CN110149305B (zh) 一种基于视联网的多方播放音视频的方法和中转服务器
CN110113558B (zh) 数据处理方法、装置、系统及计算机可读存储介质
JP5428734B2 (ja) ネットワーク機器、情報処理装置、ストリーム切替方法、情報処理方法、プログラムおよびコンテンツ配信システム
CN104735410A (zh) 一种低于4k/s的窄带宽视频传输方法及系统
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播系统
CN110022286B (zh) 点播多媒体节目的方法和装置
CN110392275B (zh) 一种文稿演示的共享方法、装置及视联网软终端
CN111405230B (zh) 会议信息处理方法、装置、电子设备及存储介质
CN110611639A (zh) 流媒体会议的音频数据处理方法和装置
KR20070120677A (ko) 실시간 ｖｏｄ 서비스 제공 방법 및 장치
CN102438119A (zh) 一种数字电视的音视频通讯系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant