CN109150917B - 基于sip协议的视频合成控制方法和系统 - Google Patents

基于sip协议的视频合成控制方法和系统 Download PDF

Info

Publication number
CN109150917B
CN109150917B CN201811277332.9A CN201811277332A CN109150917B CN 109150917 B CN109150917 B CN 109150917B CN 201811277332 A CN201811277332 A CN 201811277332A CN 109150917 B CN109150917 B CN 109150917B
Authority
CN
China
Prior art keywords
audio
video
information
sip server
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811277332.9A
Other languages
English (en)
Other versions
CN109150917A (zh
Inventor
陈太坤
谭焯康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Haige Communication Group Inc Co
Original Assignee
Guangzhou Haige Communication Group Inc Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Haige Communication Group Inc Co filed Critical Guangzhou Haige Communication Group Inc Co
Priority to CN201811277332.9A priority Critical patent/CN109150917B/zh
Publication of CN109150917A publication Critical patent/CN109150917A/zh
Application granted granted Critical
Publication of CN109150917B publication Critical patent/CN109150917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607—Details of the supervisory signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了基于SIP协议的视频合成控制方法，包括：接收用户调度终端发送的MESSAGE消息后，N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；接收用户调度终端发送的携带getLayout消息的MESSAGE消息，基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；接收用户调度终端发送的携带setLayout消息的MESSAGE消息，基于SIP协议向音视频解码器设置解码通道的画面合成信息；音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，可以解决采用SIP协议的多媒体指挥调度系统缺少对多路音视频合成的控制协议问题，实现多路视视频的合成控制。

Description

基于SIP协议的视频合成控制方法和系统
技术领域
本发明涉及视频处理技术领域，具体涉及基于SIP协议的视频合成控制方法和系统。
背景技术
随着通信技术的飞速发展，基于高清网络视频处理技术的多媒体指挥调度系统在指挥所、指挥中心等专业化场所中得到了广泛的运用，大量部署于政府、部队、电力、广电、石化、金融、煤炭、交通等行业机构，在专网用户的应急处置、通信调度、互联互通发挥了重大作用。
如图6所示，多媒体指挥调度系统的组成包括SIP服务器、媒体服务器、用户调度终端、媒体流生产者、媒体流接收者等实体。其中，SIP服务器主要提供基于SIP协议的信令逻辑处理功能，媒体服务器主要提供音视频媒体流的转发、混合、存储等服务功能，用户调度终端为用户提供多媒体调度操作界面，媒体流生产者主要是指音视频编码器等设备，媒体流接收者主要是指音视频解码器等设备。
多媒体指挥调度系统主要提供音视频的调看、调度、会商、显控等功能。基于上述硬件，多媒体指挥调度系统的设计通常采用IMS(IP Multimedia Subsyste，IP多媒体子系统)、软交换等技术架构，系统内部进行视频、音频、数据等信息的传输、交换和控制，需要建立两个信息传输通道：会话通道和媒体流通道。会话通道用于在设备之间建立会话并传输系统控制命令，采用SIP(Session Initialization Protocol，会话初始协议)协议；媒体流通道用于传输视音频数据，采用RTP/RTCP流媒体协议(RTP：Realtime TransportProtocol，实时传输协议；RTCP：Realtime Transport Control Protocol，实时传输控制协议)。系统遵循图7的通信协议结构。
典型的视频调看会话建立过程如下图8所示：
其中，信令1～14为用户调度终端通过SIP协议与音视频编码器建立视频调看会话的信令过程，信令15～22为用户调度终端通过SIP协议终止视频调看会话的信令过程。信令过程描述如下：
1：用户调度终端发送Invite请求消息到SIP服务器，携带SDP内容，发起会话建立请求；
2：SIP服务器发送Invite请求消息到媒体服务器，携带SDP内容，发起会话建立请求；
3：媒体服务器回复180响应消息到SIP服务器；
4：SIP服务器回复180响应消息到用户调度终端；
5：媒体服务器发送Invite请求消息到SIP服务器，携带SDP内容，发起会话建立请求；
6：SIP服务器发送Invite请求消息到音视频编码器，携带SDP内容，发起会话建立请求；
7：音视频编码器回复200OK响应消息到SIP服务器，携带SDP内容；
8：SIP服务器回复200OK响应消息到媒体服务器，携带SDP内容；
9：媒体服务器发送ACK消息到SIP服务器；
10：SIP服务器发送ACK消息到音视频编码器，建立音视频编码器到媒体服务器的媒体流；
11：媒体服务器回复200OK响应消息到SIP服务器，携带SDP内容；
12：SIP服务器回复200OK响应消息到用户调度终端，携带SDP内容；
13：用户调度终端发送ACK消息到SIP服务器；
14：SIP服务器发送ACK消息到媒体服务器，建立媒体服务器到用户调度终端的媒体流；
15：用户调度终端发送BYE消息到SIP服务器，发起会话终止请求；
16：SIP服务器发送BYE消息到媒体服务器，发起会话终止请求；
17：媒体服务器回复200OK响应消息到SIP服务器；
18：SIP服务器回复200OK响应消息到用户调度终端；
19：媒体服务器发送BYE消息到SIP服务器，发起会话终止请求；
20：SIP服务器发送BYE消息到音视频编码器，发起会话终止请求；
21：音视频编码器回复200OK响应消息到SIP服务器；
22：SIP服务器回复200OK响应消息到媒体服务器。
通过上述流程即可建立视频调看，待调看完毕，则可终止视频调看。然而，在系统的实际使用过程中，很多应用场景都需要把多路视音频媒体流进行合成处理，比如：在视频推送过程中，为了提升用户体验，需要把多路视频合成到一个画面进行解码输出；在多方视频会商过程中，需要把多路音视频合成到一个画面中分发给所有参与用户，达成多路视频通信的效果；在野外无线视频回传过程中，为了有效利用无线带宽资源，需要把多路视频合成到一个画面，再通过无线信道传回指挥中心，等等。然而，在现有的SIP协议中，没有对多路音视频合成进行专门控制的扩展协议，导致应用场景受限。因此，行业内急需一种能够解决多路音视频合成的控制问题的方法或者系统。
发明内容
本发明的目的是为了克服以上现有技术存在的不足，提供了基于SIP协议的视频合成控制方法。
本发明的另一目的是为了克服以上现有技术存在的不足，提供了基于SIP协议的视频合成控制系统。
本发明的目的通过以下的技术方案实现：
基于SIP协议的视频合成控制方法，包括：
S1，接收用户调度终端发送的MESSAGE消息后，N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；N≥2；
S2，接收用户调度终端发送的携带getLayout消息的MESSAGE消息，基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；
S3,接收用户调度终端发送的携带setLayout消息的MESSAGE消息，基于SIP协议向音视频解码器设置解码通道的画面合成信息；
S4,音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，N≥M≥2。
优选地，所述N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器包括：
S101，SIP服务器向媒体服务器发送不携带SDP信息的INVITE请求；
S102，SIP服务器接收媒体服务器返回的携带SDP信息的OK信息；
S103，SIP服务器向第一音视频编码器发送携带SDP信息的INVITE请求；
S104，SIP服务器向媒体服务器发送携带SDP信息的ACK响应；
S105，SIP服务器向第一音视频编码器发送ACK响应；
S106，第一音视频编码器将第一视频信息通过RTP协议发送到媒体服务器；
S107，SIP服务器向音视频解码器发送不携带SDP信息的INVITE请求；
S108，SIP服务器接收音视频解码器携带SDP信息的OK信息；
S109，SIP服务器向媒体服务器发送INVITE请求；
S110，SIP服务器向音视频解码器发送携带SDP信息的ACK响应；
S111，SIP服务器向媒体服务器发送ACK响应；
S112，媒体服务器将第一视频信息发送到音视频解码器。
优选地，所述基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端包括：
S201，SIP服务器发送携带getLayout消息的Info请求到第一音视频编码器，以查询编码通道的画面合成信息；
S202，SIP服务器接收第一音视频编码器发送的携带Layout消息的Info请求，并获取编码通道的画面合成信息；
S203，SIP服务器发送携带Layout消息的Info请求消息到用户调度终端；并上报获得的编码通道的画面合成信息至用户调度终端。
优选地，所述基于SIP协议向音视频解码器设置解码通道的画面合成信息包括：SIP服务器发送携带setLayout消息的Info请求消息到音视频解码器，以设置解码通道的画面合成信息。
本发明的另一目的通过以下的技术方案实现：
基于SIP协议的视频合成控制系统，包括：用户调度终端、SIP服务器、媒体服务器、音视频解码器和N个音视频编码器；N≥2；所述用户调度终端发送MESSAGE消息至SIP服务器后，SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；所述用户调度终端发送携带getLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；所述用户调度终端发送携带setLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息；所述音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，N≥M≥2。
优选地，所述SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器包括：
SIP服务器向媒体服务器发送不携带SDP信息的INVITE请求；
SIP服务器接收媒体服务器返回的携带SDP信息的OK信息；
SIP服务器向第一音视频编码器发送携带SDP信息的INVITE请求；
SIP服务器向媒体服务器发送携带SDP信息的ACK响应；
SIP服务器向第一音视频编码器发送ACK响应；
第一音视频编码器将第一视频信息通过RTP协议发送到媒体服务器；
SIP服务器向音视频解码器发送不携带SDP信息的INVITE请求；
SIP服务器接收音视频解码器携带SDP信息的OK信息；
SIP服务器向媒体服务器发送INVITE请求；
SIP服务器向音视频解码器发送携带SDP信息的ACK响应；
SIP服务器向媒体服务器发送ACK响应；
媒体服务器将第一视频信息发送到音视频解码器。
优选地，所述SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端包括：SIP服务器发送携带getLayout消息的Info请求到第一音视频编码器，以查询编码通道的画面合成信息；SIP服务器接收第一音视频编码器发送的携带Layout消息的Info请求，并获取编码通道的画面合成信息；SIP服务器发送携带Layout消息的Info请求消息到用户调度终端；并上报获得的编码通道的画面合成信息至用户调度终端。
优选地，所述SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息包括：SIP服务器发送携带setLayout消息的Info请求消息到音视频解码器，以在音视频解码器上设置解码通道的画面合成信息。
本发明相对于现有技术具有如下的优点：
本发明通过所述用户调度终端发送MESSAGE消息至SIP服务器后，SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；所述用户调度终端发送携带getLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；所述用户调度终端发送携带setLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息；所述音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，可以解决采用SIP协议的多媒体指挥调度系统缺少对多路音视频合成的控制协议问题，实现多路视视频的合成控制。在视频推送过程中，可以把多路视频合成到一个画面进行解码输出，在有限的屏幕上输出更多视频画面，提升了用户体验。
附图说明
图1是本发明的基于SIP协议的视频合成控制方法的流程示意图。
图2是本发明的N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器的流程示意图。
图3是本发明的基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端的流程示意图。
图4是本发明的基于SIP协议的视频合成控制系统的结构图。
图5是本发明的基于SIP协议的视频合成控制系统的工作原理的流程图。
图6是现有的视频合成控制系统的结构图。
图7是现有的视频合成控制系统遵循的通信协议结构示意图。
图8是现有的视频合成控制系统的视频调看会话建立过程流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
参见图1、基于SIP协议的视频合成控制方法，包括：
S1，接收用户调度终端发送的MESSAGE消息后，N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；N≥2；
S2，接收用户调度终端发送的携带getLayout消息的MESSAGE消息，基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；
S3,接收用户调度终端发送的携带setLayout消息的MESSAGE消息，基于SIP协议向音视频解码器设置解码通道的画面合成信息；
S4,音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，N≥M≥2。
具体地，参见图2、所述N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器包括：
S101，SIP服务器向媒体服务器发送不携带SDP信息的INVITE请求；
S102，SIP服务器接收媒体服务器返回的携带SDP信息的OK信息；
S103，SIP服务器向第一音视频编码器发送携带SDP信息的INVITE请求；
S104，SIP服务器向媒体服务器发送携带SDP信息的ACK响应；
S105，SIP服务器向第一音视频编码器发送ACK响应；
S106，第一音视频编码器将第一视频信息通过RTP协议发送到媒体服务器；
S107，SIP服务器向音视频解码器发送不携带SDP信息的INVITE请求；
S108，SIP服务器接收音视频解码器携带SDP信息的OK信息；
S109，SIP服务器向媒体服务器发送INVITE请求；
S110，SIP服务器向音视频解码器发送携带SDP信息的ACK响应；
S111，SIP服务器向媒体服务器发送ACK响应；
S112，媒体服务器将第一视频信息发送到音视频解码器。
这样第一音视频编码器的视频信息调度到音视频解码器中，执行相同的步骤，第二音视频编码器的视频信息也调度到音视频解码器中。
参见图3，所述基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端包括：
S201，SIP服务器发送携带getLayout消息的Info请求到第一音视频编码器，以查询编码通道的画面合成信息；
S202，SIP服务器接收第一音视频编码器发送的携带Layout消息的Info请求，并获取编码通道的画面合成信息；
S203，SIP服务器发送携带Layout消息的Info请求消息到用户调度终端；并上报获得的编码通道的画面合成信息至用户调度终端。
在本实施例，所述基于SIP协议向音视频解码器设置解码通道的画面合成信息包括：
SIP服务器发送携带setLayout消息的Info请求消息到音视频解码器，以设置解码通道的画面合成信息。
参见图4，适用上述基于SIP协议的视频合成控制方法的基于SIP协议的视频合成控制系统，包括：用户调度终端、SIP服务器、媒体服务器、音视频解码器和N个音视频编码器；N≥2；所述用户调度终端发送MESSAGE消息至SIP服务器后，SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；所述用户调度终端发送携带getLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；所述用户调度终端发送携带setLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息；所述音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，N≥M≥2。
在本实施例，所述SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器包括：SIP服务器向媒体服务器发送不携带SDP信息的INVITE请求；SIP服务器接收媒体服务器返回的携带SDP信息的OK信息；SIP服务器向第一音视频编码器发送携带SDP信息的INVITE请求；
SIP服务器向媒体服务器发送携带SDP信息的ACK响应；
SIP服务器向第一音视频编码器发送ACK响应；
第一音视频编码器将第一视频信息通过RTP协议发送到媒体服务器；
SIP服务器向音视频解码器发送不携带SDP信息的INVITE请求；
SIP服务器接收音视频解码器携带SDP信息的OK信息；
SIP服务器向媒体服务器发送INVITE请求；
SIP服务器向音视频解码器发送携带SDP信息的ACK响应；
SIP服务器向媒体服务器发送ACK响应；
媒体服务器将第一视频信息发送到音视频解码器。
在本实施例，所述SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端包括：SIP服务器发送携带getLayout消息的Info请求到第一音视频编码器，以查询编码通道的画面合成信息；SIP服务器接收第一音视频编码器发送的携带Layout消息的Info请求，并获取编码通道的画面合成信息；SIP服务器发送携带Layout消息的Info请求消息到用户调度终端；并上报获得的编码通道的画面合成信息至用户调度终端。
在本实施例，所述SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息包括：SIP服务器发送携带setLayout消息的Info请求消息到音视频解码器，以在音视频解码器上设置解码通道的画面合成信息。
因此，在实现过程中，多路音视频合成的SIP控制信令由用户调度终端发起，通过MESSAGE信令完成。在经由SIP服务器转发至音视频编解码等设备时，是通过已建立会话的INFO信令完成，音视频编码器为流媒体的源，音视频解码器为流媒体的目的。以两个音视频编码器为例，具体扩展协议的使用方法和步骤如下图5所示：
其中，信令1～17为用户调度终端将多个视频流(第一音视频编码器、第二音视频编码器)调到音视频解码器中，由音视频解码器进行视频解码输出，此时每一条视频流对应一个视频输出；信令18～25为用户调度终端通过发送MESSAGE消息获取编码通道的画面合成信息的信令过程，信令26～29为用户调度终端通过发送MESSAGE消息设置解码通道的画面合成信息的信令过程，设置完成后的音视频解码器可根据设置将多路视频流的信息合成为一个画面进行输出。
信令过程描述如下：
1:用户调度终端发送MESSAGE消息到SIP服务器，开启视频调度的流程；
2:SIP服务器返回202消息；
3:SIP服务器向媒体服务器发INVITE(no sdp)请求；
4:媒体服务器返回200OK(携带SDP信息)；
5:SIP服务器向音视频编码器B发送INVITE请求；
6:音视频编码器B返回200OK；
7:SIP服务器向媒体服务器发送ACK(携带SDP信息)响应；
8:SIP服务器向音视频编码器B发送ACK；
9:音视频编码器B的一路视频信息通过RTP发送到媒体服务器；
10:SIP服务器向音视频解码器A发INVITE(no sdp)请求；
11:音视频解码器A返回200OK(携带SDP信息)；
12:SIP服务器向媒体服务器发送INVITE请求；
13:媒体服务器返回200OK；
14:SIP服务器向音视频解码器A发送ACK(携带SDP信息)响应；
15:SIP服务器向媒体服务器发送ACK；
16:到此，音视频编码器B的一路视频通过媒体服务器发送到音视频解码器中进行解码输出；
17:重复1～16的过程，将音视频编码器C的一路视频通过媒体服务器发送到音视频解码器A中进行解码输出；
18：用户调度终端发送Message请求消息到SIP服务器，携带getLayout消息，查询获取编码通道的画面合成信息；
19：SIP服务器回复200OK响应；
20：SIP服务器发送Info请求消息到音视频编码器B，携带getLayout消息，查询获取编码通道的画面合成信息；
21：音视频编码器B回复200OK响应；
22：音视频编码器B发送Info请求消息到SIP服务器，携带Layout消息，上报解码码通道的画面合成信息；
23：SIP服务器回复200OK响应；
24：SIP服务器发送Info请求消息到用户调度终端，携带Layout消息，上报解码码通道的画面合成信息；
25：用户调度终端回复200OK响应；
26：用户调度终端发送Message请求消息到SIP服务器，携带setLayout消息，设置解码通道的画面合成信息；
27：SIP服务器回复200OK响应；
28：SIP服务器发送Info请求消息到音视频解码器A，携带setLayout消息，设置解码通道的画面合成信息；
29：音视频解码器A回复200OK响应。
其中，在编程过程中，获取多画面配置请求消息体格式，如下：
{
action:getLayout 获取多画面配置
}
获取多画面配置响应消息体格式，如下：
Figure BDA0001847289270000121
Figure BDA0001847289270000131
设置多画面配置消息体格式，如下：
Figure BDA0001847289270000132
本发明通过所述用户调度终端发送MESSAGE消息至SIP服务器后，SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；所述用户调度终端发送携带getLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；所述用户调度终端发送携带setLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息；所述音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，可以解决采用SIP协议的多媒体指挥调度系统缺少对多路音视频合成的控制协议问题，实现多路视视频的合成控制。在视频推送过程中，可以把多路视频合成到一个画面进行解码输出，在有限的屏幕上输出更多视频画面，提升了用户体验；比如在多方视频会商过程中，可把多路音视频合成到一个画面中分发给所有参与用户，达成多路视频通信的效果，大大提升了指挥沟通效率；在野外无线视频回传过程中，可把多路视频合成到一个画面中，再通过无线信道传回指挥中心，更有效利用有限的无线带宽资源。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.基于SIP协议的视频合成控制方法，其特征在于，包括：
S1，接收用户调度终端发送的MESSAGE消息后，N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；N≥2；
S2，接收用户调度终端发送的携带getLayout消息的MESSAGE消息，基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；
S3,接收用户调度终端发送的携带setLayout消息的MESSAGE消息，基于SIP协议向音视频解码器设置解码通道的画面合成信息；
S4,音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，N≥M≥2；
所述N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器包括：
S101，SIP服务器向媒体服务器发送不携带SDP信息的INVITE请求；
S102，SIP服务器接收媒体服务器返回的携带SDP信息的OK信息；
S103，SIP服务器向第一音视频编码器发送携带SDP信息的INVITE请求；
S104，SIP服务器向媒体服务器发送携带SDP信息的ACK响应；
S105，SIP服务器向第一音视频编码器发送ACK响应；
S106，第一音视频编码器将第一视频信息通过RTP协议发送到媒体服务器；
S107，SIP服务器向音视频解码器发送不携带SDP信息的INVITE请求；
S108，SIP服务器接收音视频解码器携带SDP信息的OK信息；
S109，SIP服务器向媒体服务器发送INVITE请求；
S110，SIP服务器向音视频解码器发送携带SDP信息的ACK响应；
S111，SIP服务器向媒体服务器发送ACK响应；
S112，媒体服务器将第一视频信息发送到音视频解码器；
所述基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端包括：
S201，SIP服务器发送携带getLayout消息的Info请求到第一音视频编码器，以查询编码通道的画面合成信息；
S202，SIP服务器接收第一音视频编码器发送的携带Layout消息的Info请求，并获取编码通道的画面合成信息；
S203，SIP服务器发送携带Layout消息的Info请求消息到用户调度终端；并上报获得的编码通道的画面合成信息至用户调度终端；
所述基于SIP协议向音视频解码器设置解码通道的画面合成信息包括：
SIP服务器发送携带setLayout消息的Info请求消息到音视频解码器，以设置解码通道的画面合成信息。
2.基于SIP协议的视频合成控制系统，其特征在于，包括：用户调度终端、SIP服务器、媒体服务器、音视频解码器和N个音视频编码器；N≥2；
所述用户调度终端发送MESSAGE消息至SIP服务器后，SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器；
所述用户调度终端发送携带getLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端；
所述用户调度终端发送携带setLayout消息的MESSAGE消息至SIP服务器后，SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息；
所述音视频解码器根据所述解码通道的画面合成信息将M路视频流的信息合成为一个画面，并进行输出，N≥M≥2；
所述SIP服务器控制N个音视频编码器的视频信息依次通过媒体服务器发送到音视频解码器包括：
SIP服务器向媒体服务器发送不携带SDP信息的INVITE请求；
SIP服务器接收媒体服务器返回的携带SDP信息的OK信息；
SIP服务器向第一音视频编码器发送携带SDP信息的INVITE请求；
SIP服务器向媒体服务器发送携带SDP信息的ACK响应；
SIP服务器向第一音视频编码器发送ACK响应；
第一音视频编码器将第一视频信息通过RTP协议发送到媒体服务器；
SIP服务器向音视频解码器发送不携带SDP信息的INVITE请求；
SIP服务器接收音视频解码器携带SDP信息的OK信息；
SIP服务器向媒体服务器发送INVITE请求；
SIP服务器向音视频解码器发送携带SDP信息的ACK响应；
SIP服务器向媒体服务器发送ACK响应；
媒体服务器将第一视频信息发送到音视频解码器；
所述SIP服务器基于SIP协议向音视频编码器查询编码通道的画面合成信息，并上报获得的编码通道的画面合成信息至用户调度终端包括：
SIP服务器发送携带getLayout消息的Info请求到第一音视频编码器，以查询编码通道的画面合成信息；
SIP服务器接收第一音视频编码器发送的携带Layout消息的Info请求，并获取编码通道的画面合成信息；
SIP服务器发送携带Layout消息的Info请求消息到用户调度终端；并上报获得的编码通道的画面合成信息至用户调度终端；
所述SIP服务器基于SIP协议向音视频解码器设置解码通道的画面合成信息包括：
SIP服务器发送携带setLayout消息的Info请求消息到音视频解码器，以在音视频解码器上设置解码通道的画面合成信息。
CN201811277332.9A 2018-10-30 2018-10-30 基于sip协议的视频合成控制方法和系统 Active CN109150917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811277332.9A CN109150917B (zh) 2018-10-30 2018-10-30 基于sip协议的视频合成控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811277332.9A CN109150917B (zh) 2018-10-30 2018-10-30 基于sip协议的视频合成控制方法和系统

Publications (2)

Publication Number Publication Date
CN109150917A CN109150917A (zh) 2019-01-04
CN109150917B true CN109150917B (zh) 2021-06-08

Family

ID=64806888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811277332.9A Active CN109150917B (zh) 2018-10-30 2018-10-30 基于sip协议的视频合成控制方法和系统

Country Status (1)

Country Link
CN (1) CN109150917B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257607A (zh) * 2008-03-12 2008-09-03 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
CN101860537A (zh) * 2010-05-25 2010-10-13 中兴通讯股份有限公司 一种媒体播放业务的实现方法及媒体服务器
CN102724551A (zh) * 2012-06-13 2012-10-10 天脉聚源(北京)传媒科技有限公司 一种视频编码系统和方法
CN103957391A (zh) * 2014-05-23 2014-07-30 无锡矽太恒科电子有限公司 在可视对讲中多方通话时同时显示各方视频的方法及系统
US9445051B1 (en) * 2015-08-14 2016-09-13 Qualcomm Incorporated Sender side video telephony downgrade
CN107396032A (zh) * 2017-07-26 2017-11-24 安徽四创电子股份有限公司 一种基于x86架构的多点控制单元及其工作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257607A (zh) * 2008-03-12 2008-09-03 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
CN101860537A (zh) * 2010-05-25 2010-10-13 中兴通讯股份有限公司 一种媒体播放业务的实现方法及媒体服务器
CN102724551A (zh) * 2012-06-13 2012-10-10 天脉聚源(北京)传媒科技有限公司 一种视频编码系统和方法
CN103957391A (zh) * 2014-05-23 2014-07-30 无锡矽太恒科电子有限公司 在可视对讲中多方通话时同时显示各方视频的方法及系统
US9445051B1 (en) * 2015-08-14 2016-09-13 Qualcomm Incorporated Sender side video telephony downgrade
CN107396032A (zh) * 2017-07-26 2017-11-24 安徽四创电子股份有限公司 一种基于x86架构的多点控制单元及其工作方法

Also Published As

Publication number Publication date
CN109150917A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US8767591B2 (en) Multi-point video conference system and media processing method thereof
US11153533B2 (en) System and method for scalable media switching conferencing
US8228363B2 (en) Method and system for conducting continuous presence conferences
TWI753928B (zh) 用於在多媒體通訊中使用壓縮並行轉碼器的方法和裝置
WO2019128204A1 (zh) 会议实现方法、装置、设备和系统、计算机可读存储介质
CN101237340B (zh) 用于实现多媒体业务中组播频道的系统及方法
KR20190006069A (ko) 상호작용 비디오 회의
CN110475094B (zh) 视频会议处理方法、装置及可读存储介质
WO2007140668A1 (fr) procédé et appareil pour réaliser une surveillance à distance dans un système de téléconférence
US11882385B2 (en) System and method for scalable media switching conferencing
WO2010083737A1 (zh) 一种语音信号的处理方法、语音信号的发送方法及装置
CN102065269A (zh) 进行视频会议的方法、视频会议系统及机顶盒
CN101836417A (zh) 用于向sip终端传送iptv节目的方法和终端
CN115334273A (zh) 一种协议转换音视频通信方法及系统
US7649898B1 (en) Converting media streams in a communication system
CN109150917B (zh) 基于sip协议的视频合成控制方法和系统
CN102438119A (zh) 一种数字电视的音视频通讯系统
JP5257448B2 (ja) サーバ装置と通信方法ならびにプログラム
KR101337222B1 (ko) 휴대용 방송 장치 및 이를 이용한 원격 방송 시스템
CN111464774B (zh) 一种视频会议直播或点播的方法与装置
CN101399963B (zh) 媒体流实时控制方法及系统
US20140059629A1 (en) Two-way broadcast service providing system and method including media transmission apparatus
CN103634562A (zh) 用于视频会议的数据传送方法和系统
Alhussain DEFINITION TECHNOLOGY USED IN AUDIO
KR20070010344A (ko) 통신방법 및 통신장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant