CN109361671A - 一种基于sip协议的流媒体传输架构方法 - Google Patents

一种基于sip协议的流媒体传输架构方法 Download PDF

Info

Publication number
CN109361671A
CN109361671A CN201811233037.3A CN201811233037A CN109361671A CN 109361671 A CN109361671 A CN 109361671A CN 201811233037 A CN201811233037 A CN 201811233037A CN 109361671 A CN109361671 A CN 109361671A
Authority
CN
China
Prior art keywords
point
data
coding
transmission
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811233037.3A
Other languages
English (en)
Inventor
杨民杰
杜明辉
梁亚玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811233037.3A priority Critical patent/CN109361671A/zh
Publication of CN109361671A publication Critical patent/CN109361671A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Abstract

本发明公开了一种基于SIP协议的流媒体传输架构方法，包括点对点传输与点对多点传输，还包括openH264编码、Packsize、payload、RIP编码、UDP编码等，点对点传输时，发送者的摄像头图像数据经过openH264编码之后得到H264数据、经过Packsize将每一帧的图像打包成多个payload、再经过RIP编码给打包好的payload加入时间戳，通过UDP编码发送给User2(接收端)，在接收端将数据去掉UDP头与RTP头得到payload进入jitterbuffer进行缓存等流程，本发明中用户可以进行视频通话，若需要多人同时视频通话(一对多)将会有两种方案进行选择，一种是点对点用RTP分发来解决少量多人通话，另一种是使用流媒体服务器进行多人用户视频通话。

Description

一种基于SIP协议的流媒体传输架构方法
技术领域
本发明涉及通讯技术领域，尤其涉及一种基于SIP协议的流媒体传输架构方法。
背景技术
新时代的生活已经渐渐离不开互联网，人们通过互联网可以进行视频通话，观看球赛，点播电视剧，查看视频监控，且人与人之间的信息传递也有文字慢慢转向了音频，视频，单独的文字信息已经不再能满足人们的需求，视频通话，流媒体视频观看等得到越来越多的用户的喜爱，可以让用户在最短的时间能体验最好的视频播放体验，网络带宽的提升以及音视频编码技术的快速发展，推进了流媒体向各行各业的应用在互联网的世界里，但是目前市场上的大多数流媒体系统功能单一，不能将视频通话、直播、点播、视频监控融合到一个系统中，除此之外做视频监控摄像头的厂商百花齐放，各个摄像头厂商之间的系统不能共用。
发明内容
为解决背景技术中存在的缺点，提供了一种基于SIP协议的流媒体传输架构方法，包括点对点传输与点对多点传输，还包括openH264编码、Packsize、payload、RIP编码、UDP编码、jitterbuffer与unpacksize，点对点传输时，发送用户的摄像头图像数据经过openH264编码之后得到H264数据、经过Packsize将每一帧的图像打包成多个payload、再经过RIP编码给打包好的payload加入时间戳，通过UDP编码发送给接收者(接收端)，在接收端将数据去掉UDP头与RTP头得到payload进入jitterbuffer进行缓存，将缓存的数据进行unpacksize后进行openH264解码，最后将解码得到的视频数据在接收者的电脑桌面上展示；
所述点对多点传输时，多个用户拨打一个用户，在数据的被叫端经过openH264编码后，将H264数据复制到一个特定的地址，有几个用户来呼叫就叫数据分发给几个用户，分发完后进行下一段的数据分发以此类推，分发数据后进行Packsize打包，RIP编码等操作。
对本发明的进一步描述，所述点对多点传输时，采用搭建流媒体服务器进行音视频数据分发，来扩充用户数。
对本发明的进一步描述，所述点对多点传输时，音视频数据采用RTP+RTSP标准组合进行传输。
对本发明的进一步描述，所述点对多点传输与点对点传输中，User1的兼容的摄像头可内置PJ库，或者再User1的摄像头外面增加摄像头PJ管理模块。
对本发明的进一步描述，所述点对多点传输与点对点传输中，通过NET穿透技术，内部私有网络使用的私有IP地址映射到外部网络，使用公有的IP地址来与外界进行通信。
采用上述技术方案，具有如下有益效果：
本发明中用户可以进行视频通话，若需要多人同时视频通话(一对多)将会有两种方案进行选择，一种是点对点用RTP分发来解决少量多人通话，另一种是使用流媒体服务器进行多人用户视频通话，本发明进行单人视频聊天时，双方音视频传输稳定，接通率高，稳定性强，在进行一对多的视频聊天时，保证画面清晰，声音清晰，尽可能减少丢包率，降低连通时间，本发明解决了不同层次对音视频传输的需求，推动音视频传输在更多领域的使用。
附图说明
图1为本发明中点对点完整数据流程图；
图2为本发明中点对多点音视频传输策略模型图；
图3为本发明中点对多点的H264数据分发流程图；
图4为本发明的兼容多平台摄像头拓扑图；
图5为本发明的点对点传输流程图；
图6为本发明的SIP和ICE结合的视频通信流程图；
图7为本发明的外部数据对接拓扑图。
具体实施方式
下面结合附图对本发明做进一步说明。
实施例1：如图1至图7的所示的一种基于SIP协议的流媒体传输架构方法，包括点对点传输与点对多点传输，还包括openH264编码、Packsize、payload、RIP编码、UDP编码、jitterbuffer与unpacksize，点对点传输时，发送用户的摄像头图像数据经过openH264编码之后得到H264数据、经过Packsize将每一帧的图像打包成多个payload、再经过RIP编码给打包好的payload加入时间戳，通过UDP编码发送给接收者(接收端)，在接收端将数据去掉UDP头与RTP头得到payload进入jitterbuffer进行缓存，将缓存的数据进行unpacksize后进行openH264解码，最后将解码得到的视频数据在接收者的电脑桌面上展示；
所述点对多点传输时，多个用户拨打一个用户，在数据的被叫端经过openH264编码后，将H264数据复制到一个特定的地址，有几个用户来呼叫就叫数据分发给几个用户，分发完后进行下一段的数据分发以此类推，分发数据后进行Packsize打包，RIP编码等操作。
所述点对多点传输时，采用搭建流媒体服务器进行音视频数据分发，来扩充用户数，所述点对多点传输时，音视频数据采用RTP+RTSP标准组合进行传输，所述点对多点传输与点对点传输中，User1的兼容的摄像头可内置PJ库，或者再User1的摄像头外面增加摄像头PJ管理模块，所述点对多点传输与点对点传输中，通过NET穿透技术，内部私有网络使用的私有IP地址映射到外部网络，使用公有的IP地址来与外界进行通信。
如图2所示，单人的音视频通信过程中，音视频流的传输可以不用服务器转发，当多用户同时观看视频监控，也就是所谓的“多播”，如果仍然采取独享工作模式中的传输策略，这就意味着，User1的摄像头端需要与多个接收端之间进行P2P通信，此时网络摄像头端的带宽与编解码能力将成为瓶颈。解决多播视频服务器瓶颈问题，减轻网络摄像头端的负担，通过搭建流媒体服务器(Server)，摄像头端将数据推流到流媒体服务器(Server)，然后其他的大量的客户端通过从流媒体服务器(Server)拉流既可获得视频数据。
如图5所示，在进行点对点的传输时，User1与User2为两个SIP UA，其中User1处于公网，地址为125.93.253.110，User2位于NAT内，私有地址为192.168.0.100。User2作为主叫端向被叫端User1发起呼叫，试图建立SIP连接。首先User2向代理服务器发送INVITE请求，该请求中的SDP包含有被叫端的账号信息，同时还有自身的IP地址。代理服务器将该INVITE包转发至指定的目的地User1处。User1回复200OK至User2处，这样双方都知道对方的地址信息。接着User1从INVITE请求包中取出User2的地址，并以该地址作为目的地址开始发送音视频数据。然而由于该地址为私网地址，所以无法到达User2处。
如图6所示，音视频点对点传输尽可能少的占用服务器资源的应用场景越来越多，在使用SIP进行P2P通信的时候，如何进行NAT穿透也变得越来越重要，本发明采用交互式连接建立ICE(Interactive Connectivity Establishment)是一种标准的穿透协议，它被设计的主要功能是通过综合利用STUN和TURN协议来帮助用户的客户端端点建立连接，从而进行穿透。具有灵活可靠、不需要更改NAT设备等优点，可以适用各种网络拓扑下的NAT穿越，是一种综合解决方案。可以通过该方案，找到一条或多条适应各种网络拓扑的数据流传输通道，最终选择最优的路径进行数据传输。SIP与ICE一起用于即时的网络音视频通信已经非常普遍。
PJSIP是一个跨平台的开源库，在任何平台都可以使用，目前已经应用成功的有windows平台，linux平台，android平台，君正平台，海思平台等。
如图4所示，从PJSIP的角度来说，PJSIP本身跨平台，只要摄像头本身系统可以访问，将PJSIP框架中的DEVICE模块与各平台摄像头进行数据对接，任何摄像头均可以兼容到PJSIP的视频数据采集端。
如图7所示，外部数据对接需要在摄像头同一局域网下面安装一台工控机，这台工控机的作用就是用来完成这个摄像头和外部的数据对接，客户端需要查看监控时可以先对工控机进行呼叫，操作，然后再由工控机对摄像头进行操作。
目前国内摄像头认可度较高的大华和海康摄像头，由于这些公司内部的保密协议，只能通过其公司提供的接口来登陆和访问，并不能直接登陆摄像头系统将PJ库内置进去，因此只能在外部增加数据对接模块，完成设备兼容操作。
采用上述技术方案，具有如下有益效果：
本发明中用户可以进行视频通话，若需要多人同时视频通话(一对多)将会有两种方案进行选择，一种是点对点用RTP分发来解决少量多人通话，另一种是使用流媒体服务器进行多人用户视频通话，本发明进行单人视频聊天时，双方音视频传输稳定，接通率高，稳定性强，在进行一对多的视频聊天时，保证画面清晰，声音清晰，尽可能减少丢包率，降低连通时间，本发明解决了不同层次对音视频传输的需求，推动音视频传输在更多领域的使用。
以上描述了本发明的基本原理和主要特征，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种基于SIP协议的流媒体传输架构方法，包括点对点传输与点对多点传输，其特征在于，还包括openH264编码、Packsize、payload、RIP编码、UDP编码、jitterbuffer与unpacksize，点对点传输时，发送用户的摄像头图像数据经过openH264编码之后得到H264数据、经过Packsize将每一帧的图像打包成多个payload、再经过RIP编码给打包好的payload加入时间戳，通过UDP编码发送给接收者(接收端)，在接收端将数据去掉UDP头与RTP头得到payload进入jitterbuffer进行缓存，将缓存的数据进行unpacksize后进行openH264解码，最后将解码得到的视频数据在接收者的电脑桌面上展示；
所述点对多点传输时，多个用户拨打一个用户，在数据的被叫端经过openH264编码后，将H264数据复制到一个特定的地址，有几个用户来呼叫就叫数据分发给几个用户，分发完后进行下一段的数据分发以此类推，分发数据后进行Packsize打包，RIP编码等操作。
2.根据权利要求1所述的一种基于SIP协议的流媒体传输架构方法，其特征在于，所述点对多点传输时，采用搭建流媒体服务器进行音视频数据分发，来扩充用户数。
3.根据权利要求1所述的一种基于SIP协议的流媒体传输架构方法，其特征在于，所述点对多点传输时，音视频数据采用RTP+RTSP标准组合进行传输。
4.根据权利要求1所述的一种基于SIP协议的流媒体传输架构方法，其特征在于，所述点对多点传输与点对点传输中，User1的兼容的摄像头可内置PJ库，或者再User1的摄像头外面增加摄像头PJ管理模块。
5.根据权利要求1所述的一种基于SIP协议的流媒体传输架构方法，其特征在于，所述点对多点传输与点对点传输中，通过NET穿透技术，内部私有网络使用的私有IP地址映射到外部网络，使用公有的IP地址来与外界进行通信。
CN201811233037.3A 2018-10-23 2018-10-23 一种基于sip协议的流媒体传输架构方法 Pending CN109361671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811233037.3A CN109361671A (zh) 2018-10-23 2018-10-23 一种基于sip协议的流媒体传输架构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811233037.3A CN109361671A (zh) 2018-10-23 2018-10-23 一种基于sip协议的流媒体传输架构方法

Publications (1)

Publication Number Publication Date
CN109361671A true CN109361671A (zh) 2019-02-19

Family

ID=65346145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811233037.3A Pending CN109361671A (zh) 2018-10-23 2018-10-23 一种基于sip协议的流媒体传输架构方法

Country Status (1)

Country Link
CN (1) CN109361671A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153087A (zh) * 2019-06-27 2020-12-29 山东华软金盾软件股份有限公司 一种第三方网络终端跨Net通讯方法
CN113259370A (zh) * 2021-06-03 2021-08-13 腾讯科技（深圳）有限公司 数据传输方法、装置、设备、系统及可读存储介质
CN114821936A (zh) * 2022-03-21 2022-07-29 慧之安信息技术股份有限公司 基于边缘计算的违法犯罪行为检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938494A (zh) * 2010-09-21 2011-01-05 武汉虹信通信技术有限责任公司 一种平安城市视频监控中的媒体连接方式智能切换方法
CN102547239A (zh) * 2011-12-29 2012-07-04 浙江工业大学 基于Android移动终端的视频监控系统
US20150244761A1 (en) * 2013-12-12 2015-08-27 Ooma, Inc. Communicating control information within a real-time stream
CN105282110A (zh) * 2014-07-09 2016-01-27 北京合众思壮科技股份有限公司 一种融合gps定位信息的手机流媒体传输的方法及系统
CN105429958A (zh) * 2015-10-30 2016-03-23 武汉华茂工业自动化有限公司 一种基于Android开发的企业应用平台系统
CN108282685A (zh) * 2018-01-04 2018-07-13 华南师范大学 一种音视频同步的方法及监控系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938494A (zh) * 2010-09-21 2011-01-05 武汉虹信通信技术有限责任公司 一种平安城市视频监控中的媒体连接方式智能切换方法
CN102547239A (zh) * 2011-12-29 2012-07-04 浙江工业大学 基于Android移动终端的视频监控系统
US20150244761A1 (en) * 2013-12-12 2015-08-27 Ooma, Inc. Communicating control information within a real-time stream
CN105282110A (zh) * 2014-07-09 2016-01-27 北京合众思壮科技股份有限公司 一种融合gps定位信息的手机流媒体传输的方法及系统
CN105429958A (zh) * 2015-10-30 2016-03-23 武汉华茂工业自动化有限公司 一种基于Android开发的企业应用平台系统
CN108282685A (zh) * 2018-01-04 2018-07-13 华南师范大学 一种音视频同步的方法及监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈锋锋: "基于RTSP的流媒体传输系统的应用开发", 《中国优秀硕士学位论文全文数据库,信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153087A (zh) * 2019-06-27 2020-12-29 山东华软金盾软件股份有限公司 一种第三方网络终端跨Net通讯方法
CN112153087B (zh) * 2019-06-27 2022-06-24 山东华软金盾软件股份有限公司 一种第三方网络终端跨Net通讯方法
CN113259370A (zh) * 2021-06-03 2021-08-13 腾讯科技（深圳）有限公司 数据传输方法、装置、设备、系统及可读存储介质
CN113259370B (zh) * 2021-06-03 2021-11-02 腾讯科技（深圳）有限公司 数据传输方法、装置、设备、系统及可读存储介质
CN114821936A (zh) * 2022-03-21 2022-07-29 慧之安信息技术股份有限公司 基于边缘计算的违法犯罪行为检测方法和装置

Similar Documents

Publication Publication Date Title
US10893080B2 (en) Relaying multimedia conferencing utilizing software defined networking architecture
US7313593B1 (en) Method and apparatus for providing full duplex and multipoint IP audio streaming
CN107682657B (zh) 一种基于WebRTC的多人语音视频通话方法及系统
US8689313B2 (en) Real time streaming data communications through a security device
US9374263B2 (en) Latency differential mitigation for real time data streams
CN110213652B (zh) 一种音视频数据传输方法、装置及存储介质
Ng et al. A P2P-MCU approach to multi-party video conference with WebRTC
US20180131672A1 (en) Method and system for enabling media optimization in a cloud conference
US10523730B2 (en) Real-time transport protocol (RTP) media conference server routing engine
CN110475094B (zh) 视频会议处理方法、装置及可读存储介质
CN109361671A (zh) 一种基于sip协议的流媒体传输架构方法
WO2016019775A1 (zh) 会议迁移的方法、装置及系统
US20170019437A1 (en) Conference reconstruction in sip networks
WO2012174927A1 (zh) 一种视频监控系统及媒体穿越网络地址转换设备的方法
WO2015180570A1 (zh) 数据通道建立方法和通信设备
CN103929438A (zh) 基于网页浏览器通信的防火墙穿越方法、设备和系统
CN108063918B (zh) 一种gb28181媒体流汇聚转发的方法
US10063643B2 (en) Media stream grouping in multimedia communication networks
EP3515032B1 (en) Port multiplexing method and server in video conference system and computer storage medium
US20160277246A1 (en) Method and device for media multiplexing negotiation
US9912623B2 (en) Systems and methods for adaptive context-aware control of multimedia communication sessions
WO2017152566A1 (zh) 一种协商媒体编解码的方法，及一种终端设备
Stickland et al. Design of a real-time multiparty DAW Collaboration Application using Web MIDI and WebRTC APIs
Deshmukh et al. Video conferencing using WebRTC
Guduru et al. Web RTC implementation analysis and impact of bundle feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219