CN107846633B - 一种直播方法及系统 - Google Patents

一种直播方法及系统 Download PDF

Info

Publication number
CN107846633B
CN107846633B CN201610828121.4A CN201610828121A CN107846633B CN 107846633 B CN107846633 B CN 107846633B CN 201610828121 A CN201610828121 A CN 201610828121A CN 107846633 B CN107846633 B CN 107846633B
Authority
CN
China
Prior art keywords
audio
live stream
video
stream
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610828121.4A
Other languages
English (en)
Other versions
CN107846633A (zh
Inventor
薛笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610828121.4A priority Critical patent/CN107846633B/zh
Priority to PCT/CN2017/101385 priority patent/WO2018050049A1/zh
Publication of CN107846633A publication Critical patent/CN107846633A/zh
Priority to US16/256,111 priority patent/US11128893B2/en
Priority to US17/399,039 priority patent/US11653036B2/en
Priority to US18/299,249 priority patent/US20230247235A1/en
Application granted granted Critical
Publication of CN107846633B publication Critical patent/CN107846633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Abstract

本发明实施例公开了一种直播方法及系统，上述方法包括：信息互动的第一端提供第一音视频直播流给服务器；信息互动的第二端提供第二音视频直播流给服务器；服务器将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端；第三端根据第三音视频直播流观看第一端和第二端的音视频内容。

Description

一种直播方法及系统
技术领域
本发明涉及互联网领域中的音视频处理技术，尤其涉及一种直播方法及系统。
背景技术
近年来，随着移动终端的视频直播业务的兴起，越来越多的移动应用植入了视频直播能力，而视频直播也逐渐成为一种“标配”的基础功能。之前，绝大多数直播软件都是单向直播的模式，即主播端(终端)单方面推流到直播平台，然后通过直播平台的中转系统、内容分发网络(CDN，Content Delivery Network)的分发，最终在观众端(终端)拉流并播放流媒体内容。观众端和主播端之间可以通过文字/表情、礼物、点赞、游戏等异步即时通讯(IM，Instant Messaging)的通信手段进行互动。由于直播平台固有的几秒(FLV/RTMP)到十几秒(HLS)延迟的存在，主播端通常无法及时回应观众端的请求，使得互动的实时性不尽如人意。这一阶段的互动直播，实际上是单向直播+异步IM消息的“伪”互动直播。
现有技术中，直播应用开始提供主播和观众“连麦”能力，将单向直播与两人视频通话相结合，实现了真正意义上的“互动”直播。
然而，采用现有技术实现方案，由于现有的连麦技术是在传统的直播系统基础上修改而成的，当连麦端的人数越多、音/画质越好时，不论采用现有的哪种方式，由于音视频数据在大量传输给终端的过程中，很容易造成网络堵塞等现象，且占用大量的网络带宽，影响了直播的效果。
发明内容
为解决上述技术问题，本发明实施例期望提供一种直播方法及系统，能够减轻带宽消耗，有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
本发明的技术方案是这样实现的：
本发明实施例提供了一种直播方法，应用于直播系统中，包括：
信息互动的第一端提供第一音视频直播流给服务器；
信息互动的第二端提供第二音视频直播流给所述服务器；
所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，并将所述第三音视频流推送给信息互动的第三端；
所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
在上述方案中，所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流之后，所述方法还包括：
所述服务器将所述第三音视频流推送给所述第一端和所述第二端；
所述第一端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；
所述第二端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
在上述方案中，所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，包括：
所述第三端获取直播流观看的第一地址，并根据所述第一地址发送直播流观看请求至所述服务器；
所述服务器根据所述直播流观看请求，拉取所述第三音视频直播流；若拉取到所述第三音视频直播流，所述服务器则发送所述第三音视频直播流给所述第三端；
所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
在上述方案中，所述服务器根据所述直播流观看请求，拉取所述第三音视频直播流之后，所述方法还包括：
若未拉取到所述第三音视频直播流，所述服务器则发送信息获取失败的提示信息给所述第三端；
所述第三端根据所述信息获取失败的提示信息，结束此次直播观看过程。
本发明实施例提供了一种直播方法，应用于服务器侧，包括：
采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；
对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；
将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；
将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给信息互动的第三端。
在上述方案中，所述将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第一混合音视频媒体流给第三端，包括：
根据时间戳，对所述第三音频直播流和所述第三视频直播流进行同步，得到所述第四音视频直播流；
对所述第四音视频直播流进行打包，得到所述第三音视频直播流；
将所述第三音视频直播流通过直播平台组件推送给所述第三端。
在上述方案中，所述将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流之后，所述方法还包括：
将所述第三音视频直播流推送给所述第一端和所述第二端。
在上述方案中，所述推送所述第三音视频直播流给信息互动的第三端，包括：
接收所述第三端发送的直播流观看请求；
根据所述直播流观看请求，拉取所述第三音视频直播流；
若拉取到所述第三音视频直播流，则发送所述第三音视频直播流给所述第三端。
在上述方案中，所述根据所述直播流观看请求，拉取所述第三音视频直播流之后，所述方法还包括：
若未拉取到所述第三音视频直播流，则发送信息获取失败的提示信息给所述第三端。
本发明实施例提供了一种直播系统，包括：信息互动的第一端、信息互动的第二端、服务器、信息互动的第三端，所述第一端、所述第二端和所述第三端通过所述服务器进行数据交互；
所述第一端，用于提供第一音视频直播流给所述服务器；
所述第二端，用于提供第二音视频直播流给所述服务器；
所述服务器，用于将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三视频直播流，并将所述第三视频流推送给所述第三端；
所述第三端，用于根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容。
在上述系统中，所述服务器，还用于所述得到第三视频直播流之后，将所述第三视频流推送给所述第一端和所述第二端；
所述第一端，还用于根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容；
所述第二端，还用于根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容。
在上述系统中，所述服务器包括：中转模块、视频合并转码模块、混音模块、流媒体模块；
所述服务器，具体用于通过所述终端模块采集所述第一端的所述第一音视频直播流和所述第二端的所述第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；及通过所述视频合并转码模块对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；以及通过所述混音模块将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；通过所述流媒体模块将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给所述第三端。
在上述系统中，所述服务器还包括：直播平台组件；
所述服务器，还具体用于根据时间戳，通过流媒体模块对所述第三音频直播流和所述第三视频直播流进行同步，得到第四音视频直播流，以及对所述第四音视频直播流进行打包，得到第三音视频直播流，并将所述第三音视频直播流通过直播平台组件推送给所述第三端。
在上述系统中，所述服务器，还具体用于通过所述流媒体模块将所述第三音视频直播流送给所述直播平台组件；及通过所述直播平台组件将打所述第三音视频直播流发送给所述第三端。
在上述系统中，所述直播平台组件包括：直播模块和内容分发网络CDN模块；
所述第三端，还用于获取直播流观看的第一地址；及根据所述第一地址向所述CDN模块进行直播流观看请求；
所述服务器，还具体用于根据所述直播流观看请求，通过所述直播模块拉取所述第三音视频直播流，若拉取到所述第三音视频直播流，则通过所述CDN模块发送所述第三音视频直播流给所述第三端；
所述第三端，具体用于根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
在上述系统中，所述服务器，还具体用于根据所述直播流观看请求，通过所述直播模块拉取所述第三音视频直播流之后，若未拉取到所述第三音视频直播流，则通过所述CDN模块发送信息获取失败的提示信息给所述第三端；
所述第三端，还用于通过CDN模块根据所述信息获取失败的提示信息，结束此次直播观看过程。
本发明实施例提供了一种直播方法及系统，信息互动的第一端提供第一音视频直播流给服务器；信息互动的第二端提供第二音视频直播流给服务器；服务器将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端；第三端根据第三音视频直播流观看第一端和第二端的音视频内容。采用上述技术实现方案，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
附图说明
图1为本发明实施例提供的一种直播系统的架构图；
图2为本发明实施例提供的一种直播方法的应用场景图一；
图3为本发明实施例提供的一种直播方法的应用场景图二；
图4为本发明实施例提供的一种示例性的直播应用场景图一；
图5为本发明实施例提供的一种观看直播的流程图；
图6为本发明实施例提供的一种示例性的直播应用场景图二；
图7为本发明实施例提供的一种示例性的直播应用场景图三；
图8为本发明实施例提供的一种直播方法的流程图一；
图9为本发明实施例提供的一种直播方法的示例性的流程图；
图10为本发明实施例提供的一种直播方法的流程图二；
图11为本发明实施例提供的一种直播系统的框图一；
图12为本发明实施例提供的一种直播系统的框图二；
图13为本发明实施例提供的一种直播系统的框图三；
图14为本发明实施例提供的一种直播系统的框图四。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明实施例中一种直播系统的架构图，图1中包括：一个或多个服务器12、终端设备51-55及网络31，网络31中包括路由器，网关等等网络实体，图中并未体现。终端51-55通过有线网络或者无线网络与服务器进行信息交互，以便从终端51-55采集到相关的数据信息传输至服务器。终端的类型如图1所示，包括手机(终端53)、平板电脑或PDA(终端55)、台式机(终端52)、PC机(终端54)、智能TV(终端51)等类型。其中，终端中安装有各种用户所需的应用，比如具备娱乐功能的应用(如视频应用，音频播放应用，游戏应用，阅读软件、直播应用)，又如具备服务功能的应用(如地图导航应用、团购应用、拍摄应用等)。
基于上述架构，实现下述各实施例。
实施例一
本发明实施例提供了一种直播方法，如图2所示，应用于直播系统中，该直播方法可以包括：
S101、信息互动的第一端提供第一音视频直播流给服务器。
S102、信息互动的第二端提供第二音视频直播流给服务器。
需要说明的是，本发明实施例的应用场景可以为：在直播的过程中，直播可以实现连麦的功能的情况下。
本发明实施例中的信息互动的第一端可以为终端的直播客户端，这里，可以将信息互动的第一端理解为正在进行主播的主播客户端(简称主播端)。信息互动的第二端可以理解为正在与主播连麦的连麦客户端(简称连麦端)。
可选的，本发明实施例中的客户端均可以设置在终端上，该终端可以为具有直播连麦功能的智能电子设备，例如，智能手机、智能电视、平板电脑等，本发明实施例不作限制。
可以理解的是，在本发明实施例提供的直播方法是应用在直播系统中，且本发明实施例中提供的是具有连麦功能的直播，因此，该直播系统的系统架构是由主播端(信息互动的第一端)、连麦端(信息互动的第二端)、观众端(信息互动的第三端)和服务器等组成的，并且通过网络进行通信的。
这样的话，在本发明实施例中，主播端与连麦端的音视频都可以在观众端进行直播互动，其中，主播端(信息互动的第一端)通过自身采集装置传输自身的音视频数据即第一音视频直播流给后台服务器，连麦端(信息互动的第二端)也通过自身的采集装置传输自身的音视频数据即第二音视频直播流给后台服务器。也就是说，这样采集的数据都是音视频原始数据。
需要说明的是，由于本发明实施例中的信息互动的第一端可以认为是终端，因此，主播可以通过自己的终端上设置的采集装置对主播的音频数据和视频数据进行采集，连麦者也可以通过自己的终端上设置的采集装置对连麦者的音频数据和视频数据进行采集。具体的，本发明实施例中的采集装置可以包括：视频采集装置和音频采集装置，例如，主播可以通过其拥有的手机上的摄像头采集主播的视频数据，而通过其拥有的手机上的麦克风进行音频数据的采集，从而获得第一音视频直播流。同理，连麦者也可以通过上述方式实现第二音视频直播流的采集。
可选的，本发明实施例中的视频采集装置可以为摄像头或摄像机，例如：图像传感器(CCD，Charge-coupled Device)、CMOS等，音频采集器可以为麦克风或拾音器，例如：声电转换装置(咪头)、音频放大电路等，具体的只要可以接收视频或音频的装置或电路都可以，本发明实施例不作限制。
需要说明的是，本发明实施例中的信息互动的第一端、信息互动的第二端和信息互动的第三端都是一个功能性的统称的名称，并不对上述客户端的数量或个数进行具体的限定。并且，本发明实施例中的连麦端和观众端是可以进行角色互换的，也就是说观众端要是参与了连麦的话可以认为是连麦端，而之前连麦端在同时也充当了观众端的角色观看其他客户端和自己的直播。
总之，在本发明实施例中，参与信息互动的客户端都不是固定不变的，而是可以在不同的环境中进行变换的，但是不论怎么变换，总有客户端作为连麦端和作为观众端的情况出现。除此之外，某个信息互动的客户端也有可能自己当主播进行直播的情况出现，因此，本发明实施例不限制到底客户端的具体功能的实现。
需要说明的是，在本发明实施例中，信息互动的客户端可以为终端上安装的直播应用等软件。
S103、服务器将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端。
由于信息互动的第一端和信息互动的第二端都提供自己对应的用户的音视频直播流给了服务器，即该服务器采集到了第一音视频直播流和第二音视频直播流，那么，该服务器就可以将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端(观众端)。
可选的，第一音视频直播流可以包括第一音频直播流和第一视频直播流，第二音视频直播流可以包括第二音频直播流和第二视频直播流。
具体的，服务器在采集到第一音视频直播流和第二音视频直播流之后，需要对直接采集来的全部音视频直播流进行处理。具体的，由于服务器采集到了多路的音视频直播流，因此，服务器需要对各视频直播流(第一视频直播流和第二视频直播流)进行视频的合并和转码，而对各音频直播流(第一音频直播流和第二音频直播流)则需要进行混音处理，最后服务器将处理完毕的第三音频直播流和第三视频直播流同步封装后输出第三音视频直播流到直播平台组件，以供信息互动的第三端(观众端)进行观看时使用，从而完成推送第三音视频直播流给信息互动的第三端的过程。
需要说明的是，视频合并转码是将多路视频画面叠加后重新编码的过程，混音处理是指将多路音频混合成一路音频的过程。
具体的，在本发明实施例中，服务器可以使用相关硬件或软件对音视频原始数据(第一音视频直播流和第二音视频直播流)进行编码处理(数字化)及加工(如音视频混合、打包封装等)，从而得到可用的音视频数据(第三音视频直播流)。
其中，上述编码处理可以采用的编码方式可以为：固定码率(CBR，Constantbitrate)、动态比特率(VBR，Variable Bit Rate)；相应的，编码格式可以为以下几种：
视频：H.265、H.264、MPEG-4等，视频封装容器有TS、多媒体容器(MKV，MultimediaContainer)、音视频交错格式(AVI，Audio Video Interleaved)、动态图像专家组(MP4，Moving Picture Experts Group 4)等；音频：G.711μ、高级音频编码(AAC，Advanced AudioCoding)、Opus等，音频封装容器有MP3、OGG(OGGVobis)、AAC等。具体的实现形式本发明实施例不作限制。
需要说明的是，服务器在得到第三音视频直播流，将该第三音视频直播流发送到直播平台组件的过程为推流(PUSH)的过程。
在本发明实施例中，推流，就是将第三音视频直播流通过流媒体协议发送到直播平台组件的过程。
可选的，现在的直播应用中，采用实时消息传送协议(RTMP，Real Time MessagingProtocol)协议居多，也有部分使用微软媒体服务器协议(MMS，Microsoft Media ServerProtocol)等。本发明实施例不限制流媒体协议的具体方式。
其中，RTMP是为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议，它有三种变种如下：
1)、工作在传输控制协议(TCP，Transmission Control Protocol)之上的明文协议，使用端口1935；
2)、RTMPT封装在超文本传输协议(HTTP，HyperText Transfer Protocol)请求之中，可穿越防火墙；
3)、RTMPS类似RTMPT，但使用的是HTTPS连接；
也就是说，RTMP协议是被Flash用于对象、视频、音频的传输，这个协议建立在TCP协议或者轮询HTTP协议之上。
RTMP协议就像一个用来装数据包的容器，这些数据既可以是AMF格式的数据，也可以是FLV中的视/音频数据，一个单一的连接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的。而本发明实施例中就是采用RTMP协议传输第三音视频直播流的。
可以理解的是，本发明实施例中的第三音视频直播流为将第一音视频直播流和第二音视频直播流等多路音视频流合成为一路音视频流的音视频直播流。这样的第三音视频直播流既保留了主播端的音频和视频数据，又保留了连麦端的音频和视频数据，并且，可以将上述音频和视频数据同时存在且不会发生音频或视频数据混乱的情况。
S104、第三端根据第三音视频直播流观看第一端和第二端的音视频内容。
需要说明的是，拉流，就是服务器获取音频，视频数据的过程。
服务器将第三音视频直播流推流至直播平台组件，当信息互动的第三端的用户想要观看这个主播的直播时，就会通过拉流的方式，直播平台组件处获取到实时的第三音视频直播流，于是，该第三端(信息互动的第三端，例如，观众端)就可以根据第三音视频直播流观看第一端和第二端的音视频内容，即主播端和连麦端此时正在进行直播的内容了。
具体的，信息互动的第三端通过拉流(PULL)获取到第三音视频直播流后，由于第三音视频直播流是经过编码加工的，因此，该第三端需要对第三音视频直播流进行解码，即使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音的音视频数据，并将解码后的第三音视频直播流在显示器或扬声器里，显示相应的图像画面或声音。
可选的，在本发明实施例中，显示器可以包括：电视屏幕、监视屏等，扬声器可以包括：耳机、喇叭等，具体的本发明实施例不作限制。
需要说明的是，本发明实施例中的一般对应的编码器都会带有相应的解码器，也有一些第三方解码插件等，也就是说，本发明实施例中的信息互动的第三端可以带有与服务器编码相应的解码器或第三方解码插件等。
示例性的，当前直播都是用RTMP协议，则RTMP服务器实现推流，然后RTMP服务器提供RTMP视频服务；通常RTMP服务器也提供HLS(HTTP Live Streaming)，把视音频流切片成ts流，然后用户(观众端)可以通过拉流直接播放xxx.m3u8的流媒体(第三音视频直播流)。
可以理解的是，观众端可以只接收一路流媒体数据(第三音视频直播流)，而连麦端不必有额外的操作和输出，将消耗资源的动作为后台，减轻了终端的带宽消耗，减少了由于高带宽引发网络拥塞和抖动的可能性；同时也有效降低了对终端硬件性能的要求。
进一步地，如图3所示，S103之后，本发明实施例提供的一种直播方法还可以包括S105-S107。具体如下：
S105、服务器将第三音视频流推送给第一端和第二端。
S106、第一端根据第三音视频直播流观看第一端和第二端的音视频内容。
S107、第二端根据第三音视频直播流观看第一端和第二端的音视频内容。
在本发明实施例中，信息互动的第一端和信息互动的第二端也可以当做是观众端，观看自己的音视频内容，因此，服务器在得到第三音视频直播流之后，该服务器还将该第三音视频直播流推送给上述第一端和上述第二端，这样的话，该第一端和该第二端在进行直播的同时，可以同时观看正在进行直播的主播端和连麦端的内容，实现实时的互动与交流。
需要说明的是，服务器向信息互动的第一端和信息互动的第二端的推送第三音视频直播流的过程与服务器向信息互动的第三端推送第三音视频直播流的过程原理相同，以及该信息互动的第一端和该信息互动的第二端观看第三音视频直播流的过程与信息互动的第三端观看第三音视频直播流的过程原理相同，因此，不再详细的说明。
示例性的，如图4所示为应用场景的示意，假设主播端为主播1的手机，连麦端为连麦者2的电脑，观众端为观众3的手机，服务器为服务器4，在主播1进行直播时，连麦者2可以与主播1进行实时互动，主播1：耶！！！！，连麦者2：大家可以听到我说话么？，于是，服务器4采集主播1和连麦者2的音频和头像直播流，经过服务器4的编码处理之后，推送到观众3的手机上，观众3直接观看到了主播1和连麦者2的视频和音频直播流内容了。
可以理解的是，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
实施例二
在实施例一实现的基础上，如图5所示，本发明实施例提供的一种直播方法中的第三端根据第三音视频直播流观看第一端和第二端的音视频内容的具体过程可以为：
S201、第三端获取直播流观看的第一地址，并根据该第一地址发送直播流观看请求至服务器。
在本发明实施例中，服务器可以想信息互动的第三端推送第三音视频直播流，反映在使用中可以为服务器可以推送第三音视频直播流在信息互动的第三端所在的终端上，于是，该信息互动的第三端的用户可以通过对点击或触控操作获取直播流观看的第一地址，并根据第一地址发送直播流请求给服务器，以想服务器请求或拉取音视频直播流。当信息互动的第三端想要观看服务器在其终端上推送的第三音视频直播流时，该信息互动的第三端的用户就点击该第三音视频直播流对应的图像或链接，于是，该第三端就获取直播流观看第三音视频直播流的第一地址，并根据该第一地址发送直播流观看请求至服务器，向服务器的直播平台组件中的内容分发网络(CDN，Content Delivery Network)拉流，请求第三音视频直播流进行观看。
需要说明的是，信息互动的第三端所在的终端上的直播应用中，可以显示正在进行信息互动的第一端进行直播的界面或图像，这样，信息互动的第三端的用户通过点击该直播的界面或图像，获取到了直播流观看的第一地址，于是信息互动的第三端可以根据该第一地址发送直播流观看请求至服务器。
还需要说明的是，本发明实施例中，信息互动的第三端可以通过朋友圈或朋友分享的直播地址实现第三端获取直播流观看的第一地址，并根据该第一地址发送直播流观看请求至服务器。
可选的，本发明实施例中的第一地址可以为RTMP地址，也可以为URL地址，具体的地址形式可由实际的使用中的具体情况来决定，本发明实施例不作限制。
示例性的，如图6所示，观众1(信息互动的第三端)点击直播1的界面的过程为第三端获取直播流观看的第一地址的实现。如图7所示，小伙伴1分享了主播1的直播链接，于是，观众1(信息互动的第三端)点击该直播链连的过程为三端获取直播流观看的第一地址的实现。
S202、服务器根据直播流观看请求，拉取第三音视频直播流。
由于信息互动的第三端向服务器进行直播流观看请求，于是，在服务器可以根据直播流观看请求，开始进行拉取第三音视频直播流的过程。而服务器拉取第三音视频直播流的结果可以为拉取成功和拉取失败两种的。
需要说明的是，服务器根据直播流观看请求，拉取第三音视频直播流的过程为服务器中的直播平台组件中的CDN向直播平台组件中的直播模块(服务器中推送第三音视频直播流的模块)进行第三音视频直播流的拉取(回源)。
示例性的，当用户(信息互动的第三端)访问某一个URL(第一地址)的时候，如果被服务器根据第一地址解析到的其CDN没有缓存响应的内容(第三音视频直播流)，或者是缓存已经到期，就会回源站(直播模块)去获取。
需要说明的是，如果没有信息互动的第三端的访问，那么CDN不会主动去源站拉取的。
S203、若拉取到第三音视频直播流，服务器则发送第三音视频直播流给第三端。
服务器根据直播流观看请求，拉取第三音视频直播流之后，当服务器中的CDN回源站拉取到第三音视频直播流，该CDN就可以发送第三音视频直播流给第三端了，即CDN推送第三音视频直播流给信息互动的第三端。
S204、第三端根据第三音视频直播流观看第一端和第二端的音视频内容。
信息互动的第三端在获取了服务器给的第三音视频直播流之后，由于第三音视频直播流为信息互动的第一端和信息互动的第二端采集到的音视频数据的处理数据，于是，该第三端就可以根据第三音视频直播流观看第一端和第二端的音视频内容了。
具体的S204过程描述与S104的描述一致，本发明实施例不作限制。
S205、若未拉取到第三音视频直播流，服务器则发送信息获取失败的提示信息给第三端。
服务器根据直播流观看请求，拉取第三音视频直播流之后，当服务器中的CDN回源站未拉取到第三音视频直播流，该CDN就发送信息获取失败的提示信息给第三端了，即CDN推送失败第三音视频直播流给信息互动的第三端。
S206、第三端根据信息获取失败的提示信息，结束此次直播观看过程。
在信息互动的第三端接收到信息获取失败的提示信息之后，表征第三端观看直播出问题了，于是，第三端根据信息获取失败的提示信息，就结束此次直播观看过程。
具体的，信息互动的第三端可以显示直播失败或是直播数据获取失败等提示给信息互动的第三端的用户，结束此次直播观看过程。
需要说明的是，本发明实施例中的S203-S204和S205-S206为S202之后的可选的步骤，在本发明实施例中，S202之后，可执行S203-S204，也可以执行S205-S206。具体的S202之后的执行顺序是由实际实现的情况决定的，本发明实施例不作限制。
实施例三
本发明实施例提供了一种直播方法，如图8所示，应用于服务器侧，该方法可以包括：
S301、采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，该第一音视频直播流包括第一音频直播流和第一视频直播流，该第二音视频直播流包括第二音频直播流和第二视频直播流。
服务器采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流的过程就是第一端和第二端提供第一音视频直播流和第二音视频直播流给服务器的过程，因此，服务器采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流的过程与前述S101和S102的描述一致。
需要说明的是，本发明实施例中的服务器可以包括：中转模块、视频合并转码模块、混音模块、流媒体模块和直播平台组件，其中，直播平台组件包括：直播模块和内容分发网络CDN模块。
本发明实施例中的采集第一音视频直播流和第二音视频直播流的过程是服务器中的中转模块执行的。
示例性的，服务器采集音视频直播流，需要使用AVFoundation.Framework框架，从captureSession会话的回调中获取音频，视频数据。
S302、对第一视频直播流和第二视频直播流进行叠加编码输出第三视频直播流。
需要说明的是，服务器中的视频合并转码模块执行对第一视频直播流和第二视频直播流进行叠加编码输出第三视频直播流的过程。
S303、将第一音频直播流和第二音频直播流进行混音处理得到第三音频直播流。
需要说明的是，服务器中的混音模块执行将第一音频直播流和第二音频直播流进行混音处理得到第三音频直播流的过程。
可选的，服务器可以硬编码，软编码音视频直播流，其中，软编码就是利用CPU资源来压缩音视频数据，硬编码与之相反。软编码的话，现在广泛采用FFmpeg库结合编码库来实现，FFmpeg+X624来编码视频数据YUV/RGB输出H264数据，FFmpeg+fdk_aac来编码音频数据脉冲编码调制(PCM，Pulse Code Modulation)输出AAC数据。
S304、将第三音频直播流和第三视频直播流进行同步、打包，得到第三音视频直播流，并推送该第三音视频直播流给信息互动的第三端。
本发明实施例中的S302-S304的具体描述与S103中描述的过程一致。
需要说明的是，在本发明实施例中，服务器的流媒体模块根据时间戳，对第三音频直播流和第三视频直播流进行同步，得到第四音视频直播流；对第四音视频直播流进行打包，得到第三音视频直播流；以及将第三音视频直播流通过直播平台组件中的直播平台推送给第三端的。
具体的，服务器推送第三音视频直播流给信息互动的第三端为：直播平台组件中的CDN接收第三端发送的直播流观看请求；及根据直播流观看请求，拉取第三音视频直播流；若拉取到第三音视频直播流，则发送该第三音视频直播流给第三端。若未拉取到第三音视频直播流，则发送信息获取失败的提示信息给第三端。上述过程的详细描述与实施例二中的过程一致。
可选的，服务器是根据所选流媒体协议封包音视频直播流的，将音频视频直播流打包成packet，服务器可以根据所选流媒体协议，发送相应指令连接服务器，连接服务器成功后，就可以发送packet数据了。本发明实施例中是发送packet数据给直播模块。
需要说明的是，接收到第三音视频直播流的一端，需要设置有相应的解码模块。其中，解码，就是把获取到的数据解压缩，恢复成原始数据。对于上述编码而言，解码就是将H264变成YUV，AAC变成PCM。解码可以使用软解码，硬解码。软解码就是利用CPU资源去解压缩数据，采用的方式是FFmpeg解码。硬解码，对于iOS平台来说，可以使用VideoToolbox.Framework(该框架只能在iOS 8.0及以上系统使用)硬解码视频数据。Android平台上，可以使用MediaCodec来硬解码视频数据(音视频直播流)。
示例性的，如图9所示，主播端和连麦端进行实时音视频通话，所有音视频数据(音视频流)都通过中转模块采集，其中，图9中中转模块在进行音视频数据采集时，采用虚线箭头表征主播端的音视频数据传输，采用实线箭头表征连麦端的音视频数据传输，并且主播端和连麦端的音视频数据可以通过中转模块进行音视频数据的交互；中转模块将主播端和所有连麦端的视频流和音频流分别转发给视频合并转码模块和混音模块，其中，在图9中，中转模块转发主播端的音频流和视频流时采用虚线箭头表示，该中转模块转发连麦端的音频流和视频流时采用实线箭头表示；然后，视频合并转码模块将视频流解码、画面合并后再编码成一路视频流，输出到流媒体模块；混音系统将所有音频数据混音，输出到流媒体模块；流媒体模块将处理过的音频流和视频流根据时间戳做同步，然后封装成媒体流(如rtmp流)推送到直播模块(存在回源的判断)；这样，观众端就可以通过CDN拉流的方式观看经过视频合并/混音后的流媒体数据(第三音视频直播流)。
进一步地，如图10所示，S304之后，本发明实施例提供的一种直播方法还可以包括：S305。具体如下：
S305、将第三音视频直播流推送给第一端和第二端。
需要说明的是，服务器中的CDN执行将第三音视频直播流推送给第一端和第二端的过程，且上述过程与S105-S107的过程描述一致。
可以理解的是，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
实施例四
如图11所示，本发明实施例提供了一种直播系统1，该直播系统1可以包括：信息互动的第一端10、信息互动的第二端11、服务器12、信息互动的第三端13，所述第一端10、所述第二端11和所述第三端13通过所述服务器12进行数据交互。
所述第一端10，用于提供第一音视频直播流给所述服务器12。
所述第二端11，用于提供第二音视频直播流给所述服务器12。
所述服务器12，用于将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三视频直播流，并将所述第三视频流推送给所述第三端13。
所述第三端13，用于根据所述第三视频直播流观看所述第一端10和所述第一端11的音视频内容。
可选的，所述服务器12，还用于所述得到第三视频直播流之后，将所述第三视频流推送给所述第一端10和所述第一端11。
所述第一端10，还用于根据所述第三视频直播流观看所述第一端10和所述第一端11的音视频内容。
所述第一端11，还用于根据所述第三视频直播流观看所述第一端10和所述第一端11的音视频内容。
可选的，基于图11，如图12所示，所述服务器12包括：中转模块120、视频合并转码模块121、混音模块122、流媒体模块123。
所述服务器12，具体用于通过所述终端模块采集所述第一端10的所述第一音视频直播流和所述第一端11的所述第二音视频直播流，所述第一音视频直播流包括所述第一音频直播流和所述第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；及通过所述视频合并转码模块121对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；以及通过所述混音模块122将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；通过所述流媒体模块123将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给所述第三端13。
可选的，基于图12，如图13所示，所述服务器12还包括：直播平台组件124。
所述服务器12，还具体用于根据时间戳，通过流媒体模块123对所述第三音频直播流和所述第三视频直播流进行同步，得到第四音视频直播流，以及对所述第四音视频直播流进行打包，得到第三音视频直播流，并将所述第三音视频直播流通过直播平台组件124推送给所述第三端13。
可选的，所述服务器12，还具体用于通过所述流媒体模块123将所述第三音视频直播流送给所述直播平台组件124；及通过所述直播平台组件124将打所述第三音视频直播流发送给所述第三端13。
可选的，基于图13，如图14所示，所述直播平台组件124包括：直播模块1240和CDN1241模块。
所述第三端13，还用于获取直播流观看的第一地址；及根据所述第一地址向所述CDN 1241模块进行直播流观看请求。
所述服务器12，还具体用于根据所述直播流观看请求，通过所述直播模块1240拉取所述第三音视频直播流，若拉取到所述第三音视频直播流，则通过所述CDN1241模块发送所述第三音视频直播流给所述第三端13。
所述第三端13，具体用于根据所述第三音视频直播流观看所述第一端10和所述第一端11的音视频内容。
可选的，所述服务器12，还具体用于根据所述直播流观看请求，通过所述直播模块1240拉取所述第三音视频直播流之后，若未拉取到所述第三音视频直播流，则通过所述CDN1241模块发送信息获取失败的提示信息给所述第三端13。
所述第三端13，还用于通过CDN 1241模块根据所述信息获取失败的提示信息，结束此次直播观看过程。
需要说明的是，本发明实施例中的服务器12中的各个模块可以是在一个服务器中设置的，也可以是在不同的服务器中设置的，若是在不同服务器中设置的则本发明实施例中的服务器12指的是一个服务器集群。本发明实施例不限制服务器的个数，可由实际应用来决定。
可选的，本发明实施例中的信息互动的第一端10、信息互动的第二端11和信息互动的第三端13可以为图1中的终端51-55中的任意一个，本发明实施例不作限制。
可以理解的是，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种直播方法，应用于具有直播连麦功能的直播系统中，其特征在于，包括：
信息互动的第一端提供第一音视频直播流给服务器的中转模块，其中，所述第一端为正在进行主播的主播客户端，所述服务器包括中转模块、视频合并转码模块、混音模块、流媒体模块和直播平台组件；
信息互动的第二端提供第二音视频直播流给所述服务器的中转模块，其中，所述第二端为正在与主播连麦的连麦客户端，所述连麦客户端为与所述主播客户端连麦的观众端，所述第一音视频直播流和所述第二音视频直播流是音视频原始数据，所述第一音视频直播流和所述第二音视频直播流通过所述中转模块进行音视频数据的交互；
所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，并将所述第三音视频直播流通过所述直播平台组件推送给信息互动的第三端，其中，所述第三端为观众端；
所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，所述第一端和所述第二端的音视频内容为所述主播客户端和所述连麦客户端正在进行直播的内容；
其中，所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流之后，所述方法还包括：所述服务器将所述第三音视频直播流推送给所述第一端和所述第二端；所述第一端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；所述第二端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；
所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，包括：所述服务器中的所述视频合并转码模块对所述第一视频直播流和所述第二视频直播流进行叠加编码得到第三视频直播流，并将所述第三视频直播流输出到所述流媒体模块，所述混音模块将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流，并将所述第三音频直播流输出到所述流媒体模块，以及所述流媒体模块根据时间戳将所述第三音频直播流和所述第三视频直播流进行同步、打包封装成媒体流，得到所述第三音视频直播流；所述第三音视频直播流为将所述第一音视频直播流和所述第二音视频直播流合成为一路音视频流的音视频直播流，并且，所述第三音视频直播流为用于所述第三端观看的所述第一端和所述第二端进行信息互动的实时音视频流；
所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，包括：所述第三端获取直播流观看的第一地址，并根据所述第一地址发送直播流观看请求至所述服务器；所述服务器根据所述直播流观看请求，拉取所述第三音视频直播流；若拉取到所述第三音视频直播流，所述服务器则发送所述第三音视频直播流给所述第三端；所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，所述第一地址为分享的直播地址；
所述第三端获取直播流观看的第一地址之前，所述方法还包括：所述第三端中显示所述第一端进行直播的界面或图像；所述第三端获取直播流观看的第一地址，包括：所述第三端响应于作用在所述直播的界面或图像上的操作，获取直播流观看的所述第一地址。
2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述直播流观看请求，拉取所述第三音视频直播流之后，所述方法还包括：
若未拉取到所述第三音视频直播流，所述服务器则发送信息获取失败的提示信息给所述第三端；
所述第三端根据所述信息获取失败的提示信息，结束此次直播观看过程。
3.一种直播方法，应用于服务器侧，其特征在于，所述服务器包括中转模块、视频合并转码模块、混音模块、流媒体模块和直播平台组件，包括：
通过所述中转模块采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流，其中，所述第一端为正在进行主播的主播客户端，所述第二端为正在与主播连麦的连麦客户端，所述连麦客户端为与所述主播客户端连麦的观众端，所述第一音视频直播流和所述第二音视频直播流是音视频原始数据，所述第一音视频直播流和所述第二音视频直播流通过所述中转模块进行音视频数据的交互；
通过所述视频合并转码模块对所述第一视频直播流和所述第二视频直播流进行叠加编码得到第三视频直播流，并将所述第三视频直播流输出到所述流媒体模块；
通过所述混音模块将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流，并将所述第三音频直播流输出到所述流媒体模块；
通过所述流媒体模块根据时间戳将所述第三音频直播流和所述第三视频直播流进行同步、打包封装成媒体流，得到第三音视频直播流，并通过所述直播平台组件推送所述第三音视频直播流给信息互动的第三端，以使所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，所述第一端和所述第二端的音视频内容为所述主播客户端和所述连麦客户端正在进行直播的内容；所述第三音视频直播流为将所述第一音视频直播流和所述第二音视频直播流合成为一路音视频流的音视频直播流，并且，所述第三音视频直播流为用于所述第三端观看的所述第一端和所述第二端进行信息互动的实时音视频流；
其中，所述根据时间戳将所述第三音频直播流和所述第三视频直播流进行同步、打包封装成媒体流，得到第三音视频直播流之后，所述方法还包括：将所述第三音视频直播流推送给所述第一端和所述第二端，以使所述第一端和第二端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；
所述推送所述第三音视频直播流给信息互动的第三端，包括：接收所述第三端发送的直播流观看请求；根据所述直播流观看请求，拉取所述第三音视频直播流；若拉取到所述第三音视频直播流，则发送所述第三音视频直播流给所述第三端，其中，所述第三端为观众端，所述直播流观看请求是根据所述第三端获取到的直播流观看的第一地址发送的，所述第一地址为分享的直播地址，所述第一地址是通过所述第三端响应于作用在显示的所述第一端进行直播的界面或图像上的操作而获得的。
4.根据权利要求3所述的方法，其特征在于，所述根据时间戳将所述第三音频直播流和所述第三视频直播流进行同步、打包封装成媒体流，得到第三音视频直播流，并通过所述直播平台组件推送所述第三音视频直播流给信息互动的第三端，包括：
根据所述时间戳，对所述第三音频直播流和所述第三视频直播流进行同步，得到第四音视频直播流；
对所述第四音视频直播流进行打包封装成媒体流，得到所述第三音视频直播流；
将所述第三音视频直播流通过所述直播平台组件推送给所述第三端。
5.根据权利要求3所述的方法，其特征在于，所述根据所述直播流观看请求，拉取所述第三音视频直播流之后，所述方法还包括：
若未拉取到所述第三音视频直播流，则发送信息获取失败的提示信息给所述第三端。
6.一种直播系统，其特征在于，所述直播系统具有直播连麦功能，所述直播系统包括：信息互动的第一端、信息互动的第二端、服务器、信息互动的第三端，所述第一端、所述第二端和所述第三端通过所述服务器进行数据交互，所述服务器包括中转模块、视频合并转码模块、混音模块、流媒体模块和直播平台组件；
所述第一端，用于提供第一音视频直播流给所述服务器的中转模块，其中，所述第一端为正在进行主播的主播客户端；
所述第二端，用于提供第二音视频直播流给所述服务器的中转模块，其中，所述第二端为正在与主播连麦的连麦客户端，所述连麦客户端为与所述主播客户端连麦的观众端，所述第一音视频直播流和所述第二音视频直播流是音视频原始数据，所述第一音视频直播流和所述第二音视频直播流通过所述中转模块进行音视频数据的交互；
所述服务器，用于将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，并将所述第三音视频直播流通过所述直播平台组件推送给所述第三端，其中，所述第三端为观众端；
所述服务器，还用于在得到所述第三音视频直播流之后，将所述第三音视频直播流推送给所述第一端和所述第二端；
所述第一端，还用于根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；
所述第二端，还用于根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；
所述第三端，用于根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，所述第一端和所述第二端的音视频内容为所述主播客户端和所述连麦客户端正在进行直播的内容；
其中，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；所述服务器，具体用于通过所述中转模块采集所述第一端的所述第一音视频直播流和所述第二端的所述第二音视频直播流；通过所述视频合并转码模块对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；以及通过所述混音模块将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流，以及通过所述流媒体模块根据时间戳将所述第三音频直播流和所述第三视频直播流进行同步、打包封装成媒体流，得到所述第三音视频直播流；所述第三音视频直播流为将所述第一音视频直播流和所述第二音视频直播流合成为一路音视频流的音视频直播流，并且，所述第三音视频直播流为用于所述第三端观看的所述第一端和所述第二端进行信息互动的实时音视频流；
所述第三端，还用于获取直播流观看的第一地址，并根据所述第一地址发送直播流观看请求至所述服务器，所述第一地址为分享的直播地址；
所述服务器，还用于根据所述直播流观看请求，拉取所述第三音视频直播流；若拉取到所述第三音视频直播流，则发送所述第三音视频直播流给所述第三端；
所述第三端，还用于显示所述第一端进行直播的界面或图像；响应于作用在所述直播的界面或图像上的操作，获取直播流观看的所述第一地址。
7.根据权利要求6所述的系统，其特征在于，
所述服务器，还具体用于根据时间戳，通过流媒体模块对所述第三音频直播流和所述第三视频直播流进行同步，得到第四音视频直播流，以及对所述第四音视频直播流进行打包，得到第三音视频直播流，并将所述第三音视频直播流通过直播平台组件推送给所述第三端。
8.根据权利要求7所述的系统，其特征在于，
所述服务器，还具体用于通过所述流媒体模块将所述第三音视频直播流送给所述直播平台组件；及通过所述直播平台组件将所述第三音视频直播流发送给所述第三端。
9.根据权利要求8所述的系统，其特征在于，所述直播平台组件包括：直播模块和内容分发网络CDN模块；
所述第三端，还用于获取直播流观看的第一地址；及根据所述第一地址向所述CDN模块进行直播流观看请求；
所述服务器，还具体用于根据所述直播流观看请求，通过所述直播模块拉取所述第三音视频直播流，若拉取到所述第三音视频直播流，则通过所述CDN模块发送所述第三音视频直播流给所述第三端。
10.根据权利要求9所述的系统，其特征在于，
所述服务器，还具体用于根据所述直播流观看请求，通过所述直播模块拉取所述第三音视频直播流之后，若未拉取到所述第三音视频直播流，则通过所述CDN模块发送信息获取失败的提示信息给所述第三端；
所述第三端，还用于通过CDN模块根据所述信息获取失败的提示信息，结束此次直播观看过程。
11.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被第一处理器执行时，实现权利要求1或2所述的直播方法；或者，用于被第二处理器执行时，实现权利要求3至5任一项所述的直播方法。
CN201610828121.4A 2016-09-18 2016-09-18 一种直播方法及系统 Active CN107846633B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610828121.4A CN107846633B (zh) 2016-09-18 2016-09-18 一种直播方法及系统
PCT/CN2017/101385 WO2018050049A1 (zh) 2016-09-18 2017-09-12 一种直播方法、系统、服务器及存储介质
US16/256,111 US11128893B2 (en) 2016-09-18 2019-01-24 Live streaming method and system, server, and storage medium
US17/399,039 US11653036B2 (en) 2016-09-18 2021-08-10 Live streaming method and system, server, and storage medium
US18/299,249 US20230247235A1 (en) 2016-09-18 2023-04-12 Live streaming method and system, server, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610828121.4A CN107846633B (zh) 2016-09-18 2016-09-18 一种直播方法及系统

Publications (2)

Publication Number Publication Date
CN107846633A CN107846633A (zh) 2018-03-27
CN107846633B true CN107846633B (zh) 2023-07-14

Family

ID=61619321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610828121.4A Active CN107846633B (zh) 2016-09-18 2016-09-18 一种直播方法及系统

Country Status (3)

Country Link
US (3) US11128893B2 (zh)
CN (1) CN107846633B (zh)
WO (1) WO2018050049A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094556A1 (zh) * 2016-11-22 2018-05-31 广州市百果园信息技术有限公司 直播间视频流推送控制方法及相应的服务器与移动终端
CN110166794B (zh) * 2018-04-26 2021-11-16 腾讯科技（深圳）有限公司 一种直播音频处理方法、装置及系统
CN110545446B (zh) * 2018-05-28 2022-01-18 深信服科技股份有限公司 一种桌面图像编码、解码方法、相关装置及存储介质
CN109104616B (zh) * 2018-09-05 2022-01-14 阿里巴巴（中国）有限公司 一种直播间的语音连麦方法及客户端
CN109257618A (zh) * 2018-10-17 2019-01-22 北京潘达互娱科技有限公司 一种直播中的连麦合流方法、装置及服务器
CN109660745A (zh) * 2018-12-21 2019-04-19 深圳前海微众银行股份有限公司 视频录制方法、装置、终端及计算机可读存储介质
CN111355969B (zh) * 2019-02-13 2022-08-23 鸿合科技股份有限公司 一种互动直播方法及客户端、服务器、电子设备
CN109982148B (zh) * 2019-04-03 2022-05-20 广州虎牙信息科技有限公司 一种直播方法、装置、计算机设备与存储介质
CN112019488B (zh) * 2019-05-31 2023-12-12 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN110213609B (zh) * 2019-06-12 2020-12-29 珠海读书郎网络教育有限公司 在网络教育直播中进行连麦直播的方法、装置及存储介质
CN110753232A (zh) * 2019-09-06 2020-02-04 天脉聚源(杭州)传媒科技有限公司 在线互动场景的音频处理方法、系统和存储介质
CN110662084B (zh) * 2019-10-15 2021-07-09 北京齐尔布莱特科技有限公司 一种mp4文件流直播的方法、移动终端及存储介质
CN110798697B (zh) * 2019-11-22 2021-11-23 广州方硅信息技术有限公司 视频显示方法、装置、系统以及电子设备
CN111064973A (zh) * 2019-11-28 2020-04-24 湖北工业大学 一种基于ipv9的直播系统
CN111277885B (zh) * 2020-03-09 2023-01-10 北京世纪好未来教育科技有限公司 音视频同步方法、装置、服务器和计算机可读存储介质
CN112291629B (zh) * 2020-03-27 2022-08-23 北京字节跳动网络技术有限公司 交互方法、装置、电子设备和可读介质
CN111405312A (zh) * 2020-04-26 2020-07-10 广州酷狗计算机科技有限公司 直播推流方法、装置、终端、服务器及存储介质
CN112188297B (zh) * 2020-09-08 2021-10-08 腾讯科技（深圳）有限公司 直播互动方法、装置、电子设备和存储介质
CN112135155B (zh) * 2020-09-11 2022-07-19 上海七牛信息技术有限公司 音视频的连麦合流方法、装置、电子设备及存储介质
CN112188222A (zh) * 2020-09-25 2021-01-05 吕庆新 信息采集处理设备及其应用、信息转制方法、计算机可读介质、信息采集处理方法
CN112272170B (zh) * 2020-10-19 2023-01-10 广州博冠信息科技有限公司 语音通信方法及装置、电子设备、存储介质
US11854553B2 (en) 2020-12-23 2023-12-26 Optum Technology, Inc. Cybersecurity for sensitive-information utterances in interactive voice sessions
US11900927B2 (en) 2020-12-23 2024-02-13 Optum Technology, Inc. Cybersecurity for sensitive-information utterances in interactive voice sessions using risk profiles
CN112738638A (zh) * 2020-12-25 2021-04-30 北京百度网讯科技有限公司 一种连麦直播方法、装置、设备、存储介质及产品
CN113473162B (zh) * 2021-04-06 2023-11-03 北京沃东天骏信息技术有限公司 一种媒体流的播放方法、装置、设备和计算机存储介质
CN113473158B (zh) * 2021-06-30 2024-01-30 北京百度网讯科技有限公司 直播数据处理方法、装置、电子设备、介质
CN113645427A (zh) * 2021-08-12 2021-11-12 合众人寿保险股份有限公司 音视频数据的处理方法及装置、电子设备、存储介质
CN114697695B (zh) * 2022-03-28 2024-03-08 阿里巴巴（中国）有限公司 直播数据推送方法、装置、设备及存储介质
CN114827664B (zh) * 2022-04-27 2023-10-20 咪咕文化科技有限公司 多路直播混流方法、服务器、终端设备、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN105491393A (zh) * 2015-12-02 2016-04-13 北京暴风科技股份有限公司 多人视频直播业务的实现方法
CN105516748A (zh) * 2015-11-27 2016-04-20 北京奇虎科技有限公司 一种实现网络直播的方法和服务器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5862329A (en) * 1996-04-18 1999-01-19 International Business Machines Corporation Method system and article of manufacture for multi-casting audio visual material
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US7176957B2 (en) * 2004-05-25 2007-02-13 Seiko Epson Corporation Local video loopback method for a multi-participant conference system using a back-channel video interface
US7640301B2 (en) * 2006-04-06 2009-12-29 Att Knowledge Ventures, L.P. System and method for distributing video conference data over an internet protocol television system
US8300556B2 (en) * 2007-04-27 2012-10-30 Cisco Technology, Inc. Optimizing bandwidth in a multipoint video conference
US20080307105A1 (en) * 2007-06-11 2008-12-11 Microsoft Corporation Streaming media archiver for live events
US20080316295A1 (en) * 2007-06-22 2008-12-25 King Keith C Virtual decoders
US8554784B2 (en) * 2007-08-31 2013-10-08 Nokia Corporation Discovering peer-to-peer content using metadata streams
CN101478642A (zh) * 2009-01-14 2009-07-08 镇江畅联通信科技有限公司 视频会议系统的多画面混图方法及装置
US20120200774A1 (en) * 2011-02-07 2012-08-09 Ehlers Sr Gregory Allen Audio and video distribution system with latency delay compensator
CN102790872B (zh) * 2011-05-20 2016-11-16 南京中兴软件有限责任公司 一种视频会议的实现方法及系统
US8554840B1 (en) * 2012-03-14 2013-10-08 Veritascope, Inc. Live stream detection and notification service
CN103051864B (zh) * 2012-12-26 2016-08-17 浙江元亨通信技术股份有限公司 移动视频会议方法
CN103338348B (zh) * 2013-07-17 2016-08-10 天脉聚源(北京)传媒科技有限公司 一种网络音视频会议的实现方法、系统和服务器
US9344681B2 (en) * 2014-08-21 2016-05-17 Infocus Corporation Systems and methods of incorporating live streaming sources into a video conference
CN105451096B (zh) * 2015-12-02 2018-08-10 北京暴风云科技有限公司 网络直播系统及直播方法
CN105516739B (zh) * 2015-12-22 2020-05-05 腾讯科技（深圳）有限公司 一种视频直播方法、转码服务器、网页客户端及系统
CN105812951B (zh) * 2016-03-24 2019-10-18 广州华多网络科技有限公司 流媒体数据交互方法、终端、服务器及系统
CN105933375B (zh) * 2016-03-30 2019-12-24 广州华多网络科技有限公司 一种连麦会话的监测方法、装置和服务器
EP3443737A4 (en) * 2016-04-11 2020-04-01 Spiideo AB SYSTEM AND METHOD FOR PROVIDING PANORAMIC-TILT-ZOOM, PTZ, VIRTUAL VIDEO FUNCTIONALITY TO A PLURALITY OF USERS IN A DATA NETWORK
CN105847874A (zh) * 2016-04-20 2016-08-10 乐视控股（北京）有限公司 直播装置及直播终端
CN105847913B (zh) * 2016-05-20 2019-05-31 腾讯科技（深圳）有限公司 一种控制视频直播的方法、移动终端及系统
WO2018027237A1 (en) * 2016-08-05 2018-02-08 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
WO2018094556A1 (zh) * 2016-11-22 2018-05-31 广州市百果园信息技术有限公司 直播间视频流推送控制方法及相应的服务器与移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN105516748A (zh) * 2015-11-27 2016-04-20 北京奇虎科技有限公司 一种实现网络直播的方法和服务器
CN105491393A (zh) * 2015-12-02 2016-04-13 北京暴风科技股份有限公司 多人视频直播业务的实现方法

Also Published As

Publication number Publication date
US20210377575A1 (en) 2021-12-02
WO2018050049A1 (zh) 2018-03-22
CN107846633A (zh) 2018-03-27
US11128893B2 (en) 2021-09-21
US20230247235A1 (en) 2023-08-03
US11653036B2 (en) 2023-05-16
US20190158889A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN107846633B (zh) 一种直播方法及系统
US9319738B2 (en) Multiplexing, synchronizing, and assembling multiple audio/video (A/V) streams in a media gateway
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
US20130019024A1 (en) Wireless 3d streaming server
CN107819809B (zh) 对内容进行同步操作的方法及装置
US20140297804A1 (en) Control of multimedia content streaming through client-server interactions
CN101465996B (zh) 一种网络电视显示时间的方法及设备和系统
CN105610824B (zh) 一种基于屏幕镜像及rtsp流媒体框架的屏幕共享方法
CA2795694A1 (en) Video content distribution
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
US20230045876A1 (en) Video Playing Method, Apparatus, and System, and Computer Storage Medium
US9204123B2 (en) Video content generation
JP2011511554A (ja) ビデオデータをストリーミングするための方法
JP7253477B2 (ja) ストリームを同期させる方法及び生成する方法、並びに対応するコンピュータプログラム、記憶媒体、並びにレンダリングデバイス、実行デバイス、及び生成デバイス
CN113055636B (zh) 一种数据处理方法及会议系统
CN116233490A (zh) 视频合成方法、系统、装置、电子设备及存储介质
CN112532719B (zh) 信息流的推送方法、装置、设备及计算机可读存储介质
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CA2824708C (en) Video content generation
JP5205900B2 (ja) テレビ会議システム、サーバ端末、およびクライアント端末
KR102391586B1 (ko) 시청각 콘텐츠 스트림을 ｍｐｅｇ２ 사설 섹션내에 캡슐화하는 방법, ｍｐｅｇ２ 전송 스트림 내에 멀티플렉스되어질 ｍｐｅｇ２ 사설 섹션내에 시청각 콘텐츠를 캡슐화하는 장치, 디지털 ｔｖ용의 양방향 어플리케이션, 사용자 장치, 시청각 콘텐츠 또는 데이터의 전송을 위한 방법 및 데이터 네트워크를 위한 통신 프로토콜
CN117939199A (zh) 一种直播方法、装置、电子设备及可读存储介质
KR101999235B1 (ko) Mmtp기반 하이브리드 브로드캐스트 브로드밴드 서비스 제공 방법 및 시스템
CN117793395A (zh) 录屏直播连麦的方法和装置
CN115022665A (zh) 直播制作方法、装置、多媒体处理设备及多媒体处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant