WO2018050049A1 - 一种直播方法、系统、服务器及存储介质 - Google Patents

一种直播方法、系统、服务器及存储介质 Download PDF

Info

Publication number
WO2018050049A1
WO2018050049A1 PCT/CN2017/101385 CN2017101385W WO2018050049A1 WO 2018050049 A1 WO2018050049 A1 WO 2018050049A1 CN 2017101385 W CN2017101385 W CN 2017101385W WO 2018050049 A1 WO2018050049 A1 WO 2018050049A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
video
live stream
stream
live
Prior art date
Application number
PCT/CN2017/101385
Other languages
English (en)
French (fr)
Inventor
薛笛
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2018050049A1 publication Critical patent/WO2018050049A1/zh
Priority to US16/256,111 priority Critical patent/US11128893B2/en
Priority to US17/399,039 priority patent/US11653036B2/en
Priority to US18/299,249 priority patent/US20230247235A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Definitions

  • the second end of the information interaction provides a second live video stream to the server
  • the server encodes and processes the first audio and video live stream and the second audio and video live stream to obtain a third audio and video live stream, and pushes the third audio and video stream to the third of the information interaction. end;
  • the third end views the audio and video content of the first end and the second end according to the third audio and video live stream.
  • first audio and video live stream includes the first audio live stream and the first video live stream
  • second audio and video live stream includes a second audio live stream and a second video live stream
  • the embodiment of the present invention provides a live broadcast method, a system, a server, and a computer storage medium.
  • the first end of the information interaction provides the first audio and video live stream to the server, and the second end of the information interaction provides the second audio and video live stream to the server.
  • the server encodes and processes the first audio and video live stream and the second audio and video live stream to obtain a third audio and video live stream, and pushes the third audio stream to the third end of the information interaction;
  • the three-tone live video stream views the audio and video content of the first end and the second end.
  • FIG. 2 is a first application scenario of a live broadcast method according to an embodiment of the present invention
  • FIG. 5 is a flowchart of watching live broadcast according to an embodiment of the present invention.
  • FIG. 12 is a second block diagram of a live broadcast system according to an embodiment of the present invention.
  • FIG. 14 is a block diagram 4 of a live broadcast system according to an embodiment of the present invention.
  • FIG. 1 is a schematic structural diagram of a live broadcast system according to an embodiment of the present invention.
  • FIG. 1 includes: one or more servers 12, terminal devices 51-55, and a network 31.
  • the network 31 includes a network entity such as a router, a gateway, and the like. Not reflected in it.
  • the terminals 51-55 exchange information with the server via a wired network or a wireless network to collect relevant data information from the terminals 51-55 for transmission to the server.
  • the type of the terminal is as shown in FIG. 1, and includes a mobile phone (terminal 53), a tablet or PDA (terminal 55), a desktop (terminal 52), a PC (terminal 54), a smart TV (terminal 51), and the like.
  • the terminal is installed with various applications required by users, such as applications with entertainment functions (such as video applications, audio playback applications, game applications, reading software, live applications), and applications with service functions (such as map navigation). Applications, group purchase applications, shooting applications, etc.).
  • applications with entertainment functions such as video applications, audio playback applications, game applications, reading software, live applications
  • applications with service functions such as map navigation
  • the audio and video of the anchor end and the connected end can perform live interaction on the audience side, wherein the anchor end (the first end of the information interaction) transmits its own audio and video data through its own collection device.
  • the first audio and video live stream is sent to the background server, and even the wheat end (the second end of the information interaction) also transmits its own audio and video data, that is, the second audio and video live stream to the background server through its own collection device.
  • the data thus collected is the audio and video raw data.
  • the anchor can collect the audio data and video data of the anchor through the collection device set on the terminal, and even the logger. It is also possible to collect audio data and video data of the connected person through the collection device set on the terminal.
  • the collection device in the embodiment of the present invention may include: a video collection device and an audio collection device.
  • the anchor may collect the video data of the anchor through the camera on the mobile phone owned by the anchor, and perform the microphone on the mobile phone owned by the owner. The audio data is collected to obtain a first live video stream. In the same way, even the wheat can also achieve the second audio and video live stream collection by the above method.
  • the first end of the information interaction, the second end of the information interaction, and the third end of the information interaction in the embodiment of the present invention are all functional names, and the number or number of the clients is not used. Make specific limits.
  • the connection between the mai end and the spectator end can be exchanged for roles, that is to say, if the spectator side participates in the continuation of the mai, it can be considered as the mai end, and even the mai end is also acting at the same time.
  • the role of the viewer is to watch other clients and their own live broadcasts.
  • the video merge transcoding is a process of superimposing and re-encoding multiple video pictures
  • the mixing process refers to a process of mixing multiple channels of audio into one channel of audio.
  • the server may perform encoding (digitalization) and processing (such as audio and video mixing) on the audio and video raw data (the first audio and video live stream and the second audio and video live stream) using related hardware or software. , packaging and packaging, etc., to obtain available audio and video data (third audio and video live stream).
  • encoding digitalization
  • processing such as audio and video mixing
  • an embodiment of the present invention provides a live broadcast system 1 , which may include: a first end 10 of information interaction, a second end 11 of information interaction, a server 12 , and a third end of information interaction. 13.
  • the first end 10, the second end 11, and the third end 13 perform data interaction through the server 12.
  • the second end 11 is configured to provide a second live video stream to the server 12.
  • the first end 10 of the information interaction, the second end 11 of the information interaction, and the third end 13 of the information interaction in the embodiment of the present invention may be any one of the terminals 51-55 in FIG.
  • the embodiment of the invention is not limited.
  • the fourth audio and video live stream is packaged to obtain the third audio and video live stream
  • the processor is further configured to execute when the computer program is executed:
  • the fourth audio and video live stream is packaged to obtain the third audio and video live stream
  • FIG. 15 is a schematic structural diagram of hardware components of a server according to an embodiment of the present invention.
  • the server 700 includes: at least one processor 701, a memory 702, and at least one network interface 704.
  • the various components in server 700 are coupled together by a bus system 705.
  • the bus system 705 is used to implement connection communication between these components.
  • the bus system 705 includes a power bus, a control bus, and a status signal bus in addition to the data bus. But for the sake of clarity, in Figure 15
  • the various buses are labeled as the bus system 705.
  • memory 702 can be either volatile memory or non-volatile memory, and can include both volatile and nonvolatile memory.
  • the non-volatile memory may be a ROM, a Programmable Read-Only Memory (PROM), an Erasable Programmable Read-Only Memory (EPROM), or an electrically erasable device.
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • FRAM Ferromagnetic random access memory
  • Flash Memory Magnetic Surface Memory, Optical Disk, or Read Only Disc (CD) -ROM, Compact Disc Read-Only Memory
  • the magnetic surface memory may be a disk storage or a tape storage.
  • the volatile memory can be a random access memory (RAM) that acts as an external cache.
  • the memory 702 in the embodiment of the present invention is used to store various types of data to support the operation of the server 700. Examples of such data include: any computer for operating on server 700 A program, such as application 7022. A program implementing the method of the embodiment of the present invention may be included in the application 7022.
  • the steps of the method disclosed in the embodiment of the present invention may be directly implemented as a hardware decoding processor, or may be performed by a combination of hardware and software modules in the decoding processor.
  • the software module can reside in a storage medium located in memory 702, which reads the information in memory 702 and, in conjunction with its hardware, performs the steps of the foregoing method.
  • the server 700 may be configured by one or more Application Specific Integrated Circuits (ASICs), DSPs, Programmable Logic Devices (PLDs), and Complex Programmable Logic Devices (CPLDs). Complex Programmable Logic Device), Field-Programmable Gate Array (FPGA), General Purpose Processor, Controller, Micro Controller Unit (MCU), Microprocessor, or other electronic components Implemented to perform the aforementioned method.
  • ASICs Application Specific Integrated Circuits
  • DSPs Programmable Logic Devices
  • PLDs Programmable Logic Devices
  • CPLDs Complex Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • MCU Micro Controller Unit
  • Microprocessor or other electronic components Implemented to perform the aforementioned method.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • the server it is possible to prevent the server from transmitting a large amount of data at the first end of the information interaction, the second end of the information interaction, and the third end of the information interaction after the server collects the audio and video data, thereby reducing the interaction of the information.
  • the bandwidth consumption also effectively reduces the repeated interaction of a large amount of data, thereby improving the presentation effect of the live broadcast.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种直播方法、系统、服务器及计算机存储介质，上述方法包括：信息互动的第一端提供第一音视频直播流给服务器；信息互动的第二端提供第二音视频直播流给服务器；服务器将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端；第三端根据第三音视频直播流观看第一端和第二端的音视频内容。

Description

一种直播方法、系统、服务器及存储介质
相关申请的交叉引用
本申请基于申请号为201610828121.4、申请日为2016年09月18日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本发明涉及互联网领域中的音视频处理技术，尤其涉及一种直播方法、系统、服务器及存储介质。
背景技术
近年来，随着移动终端的视频直播业务的兴起，越来越多的移动应用植入了视频直播能力，而视频直播也逐渐成为一种“标配”的基础功能。之前，绝大多数直播软件都是单向直播的模式，即主播端(终端)单方面推流到直播平台，然后通过直播平台的中转系统、内容分发网络(CDN，Content Delivery Network)的分发，最终在观众端(终端)拉流并播放流媒体内容。观众端和主播端之间可以通过文字/表情、礼物、点赞、游戏等异步即时通讯(IM，Instant Messaging)的通信手段进行互动。由于直播平台固有的几秒(FLV/RTMP)到十几秒(HLS)延迟的存在，主播端通常无法及时回应观众端的请求，使得互动的实时性不尽如人意。这一阶段的互动直播，实际上是单向直播+异步IM消息的“伪”互动直播。
现有技术中，直播应用开始提供主播和观众“连麦”能力，将单向直播与两人视频通话相结合，实现了真正意义上的“互动”直播。
然而，采用现有技术实现方案，由于现有的连麦技术是在传统的直播 系统基础上修改而成的，当连麦端的人数越多、音/画质越好时，不论采用现有的哪种方式，由于音视频数据在大量传输给终端的过程中，很容易造成网络堵塞等现象，且占用大量的网络带宽，影响了直播的效果。
发明内容
为解决上述技术问题，本发明实施例期望提供一种直播方法、系统、服务器及存储介质，能够减轻带宽消耗，有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
本发明的技术方案是这样实现的：
本发明实施例提供了一种直播方法，应用于直播系统中，包括：
信息互动的第一端提供第一音视频直播流给服务器；
信息互动的第二端提供第二音视频直播流给所述服务器；
所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，并将所述第三音视频流推送给信息互动的第三端；
所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
本发明实施例提供了一种直播方法，应用于服务器侧，包括：
采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；
对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；
将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；
将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到 第三音视频直播流，并推送所述第三音视频直播流给信息互动的第三端。
本发明实施例提供了一种直播系统，包括：信息互动的第一端、信息互动的第二端、服务器、信息互动的第三端，所述第一端、所述第二端和所述第三端通过所述服务器进行数据交互；
所述第一端，配置为提供第一音视频直播流给所述服务器；
所述第二端，配置为提供第二音视频直播流给所述服务器；
所述服务器，配置为将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三视频直播流，并将所述第三视频流推送给所述第三端；
所述第三端，配置为根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容。
本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行上述应用于服务器侧的直播方法。
本发明还提供一种服务器，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行：采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给信息互动的第三端。
本发明实施例提供了一种直播方法、系统、服务器及计算机存储介质，信息互动的第一端提供第一音视频直播流给服务器；信息互动的第二端提供第二音视频直播流给服务器；服务器将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端；第三端根据第三音视频直播流观看第一端和第二端的音视频内容。采用上述技术实现方案，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
附图说明
图1为本发明实施例提供的一种直播系统的架构图；
图2为本发明实施例提供的一种直播方法的应用场景图一；
图3为本发明实施例提供的一种直播方法的应用场景图二；
图4为本发明实施例提供的一种示例性的直播应用场景图一；
图5为本发明实施例提供的一种观看直播的流程图；
图6为本发明实施例提供的一种示例性的直播应用场景图二；
图7为本发明实施例提供的一种示例性的直播应用场景图三；
图8为本发明实施例提供的一种直播方法的流程图一；
图9为本发明实施例提供的一种直播方法的示例性的流程图；
图10为本发明实施例提供的一种直播方法的流程图二；
图11为本发明实施例提供的一种直播系统的框图一；
图12为本发明实施例提供的一种直播系统的框图二；
图13为本发明实施例提供的一种直播系统的框图三；
图14为本发明实施例提供的一种直播系统的框图四；
图15为本发明实施例提供的一种服务器的硬件组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明实施例中一种直播系统的架构图，图1中包括：一个或多个服务器12、终端设备51-55及网络31，网络31中包括路由器，网关等等网络实体，图中并未体现。终端51-55通过有线网络或者无线网络与服务器进行信息交互，以便从终端51-55采集到相关的数据信息传输至服务器。终端的类型如图1所示，包括手机(终端53)、平板电脑或PDA(终端55)、台式机(终端52)、PC机(终端54)、智能TV(终端51)等类型。其中，终端中安装有各种用户所需的应用，比如具备娱乐功能的应用(如视频应用，音频播放应用，游戏应用，阅读软件、直播应用)，又如具备服务功能的应用(如地图导航应用、团购应用、拍摄应用等)。
基于上述架构，实现下述各实施例。
本发明实施例提供了一种直播方法，如图2所示，应用于直播系统中，该直播方法可以包括：
S101、信息互动的第一端提供第一音视频直播流给服务器。
S102、信息互动的第二端提供第二音视频直播流给服务器。
需要说明的是，本发明实施例的应用场景可以为：在直播的过程中，直播可以实现连麦的功能的情况下。
本发明实施例中的信息互动的第一端可以为终端的直播客户端，这里，可以将信息互动的第一端理解为正在进行主播的主播客户端(简称主播端)。信息互动的第二端可以理解为正在与主播连麦的连麦客户端(简称连 麦端)。
可选的，本发明实施例中的客户端均可以设置在终端上，该终端可以为具有直播连麦功能的智能电子设备，例如，智能手机、智能电视、平板电脑等，本发明实施例不作限制。
可以理解的是，在本发明实施例提供的直播方法是应用在直播系统中，且本发明实施例中提供的是具有连麦功能的直播，因此，该直播系统的系统架构是由主播端(信息互动的第一端)、连麦端(信息互动的第二端)、观众端(信息互动的第三端)和服务器等组成的，并且通过网络进行通信的。
这样的话，在本发明实施例中，主播端与连麦端的音视频都可以在观众端进行直播互动，其中，主播端(信息互动的第一端)通过自身采集装置传输自身的音视频数据即第一音视频直播流给后台服务器，连麦端(信息互动的第二端)也通过自身的采集装置传输自身的音视频数据即第二音视频直播流给后台服务器。也就是说，这样采集的数据都是音视频原始数据。
需要说明的是，由于本发明实施例中的信息互动的第一端可以认为是终端，因此，主播可以通过自己的终端上设置的采集装置对主播的音频数据和视频数据进行采集，连麦者也可以通过自己的终端上设置的采集装置对连麦者的音频数据和视频数据进行采集。具体的，本发明实施例中的采集装置可以包括：视频采集装置和音频采集装置，例如，主播可以通过其拥有的手机上的摄像头采集主播的视频数据，而通过其拥有的手机上的麦克风进行音频数据的采集，从而获得第一音视频直播流。同理，连麦者也可以通过上述方式实现第二音视频直播流的采集。
可选的，本发明实施例中的视频采集装置可以为摄像头或摄像机，例如：图像传感器(CCD，Charge-coupled Device)、CMOS等，音频采集器 可以为麦克风或拾音器，例如：声电转换装置(咪头)、音频放大电路等，具体的只要可以接收视频或音频的装置或电路都可以，本发明实施例不作限制。
需要说明的是，本发明实施例中的信息互动的第一端、信息互动的第二端和信息互动的第三端都是一个功能性的统称的名称，并不对上述客户端的数量或个数进行具体的限定。并且，本发明实施例中的连麦端和观众端是可以进行角色互换的，也就是说观众端要是参与了连麦的话可以认为是连麦端，而之前连麦端在同时也充当了观众端的角色观看其他客户端和自己的直播。
总之，在本发明实施例中，参与信息互动的客户端都不是固定不变的，而是可以在不同的环境中进行变换的，但是不论怎么变换，总有客户端作为连麦端和作为观众端的情况出现。除此之外，某个信息互动的客户端也有可能自己当主播进行直播的情况出现，因此，本发明实施例不限制到底客户端的具体功能的实现。
需要说明的是，在本发明实施例中，信息互动的客户端可以为终端上安装的直播应用等软件。
S103、服务器将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端。
由于信息互动的第一端和信息互动的第二端都提供自己对应的用户的音视频直播流给了服务器，即该服务器采集到了第一音视频直播流和第二音视频直播流，那么，该服务器就可以将第一音视频直播流和第二音视频直播流进行编码和加工，得到第三音视频直播流，并将第三音视频流推送给信息互动的第三端(观众端)。
在一实施例中，第一音视频直播流可以包括第一音频直播流和第一视频直播流，第二音视频直播流可以包括第二音频直播流和第二视频直播流。
具体的，服务器在采集到第一音视频直播流和第二音视频直播流之后，需要对直接采集来的全部音视频直播流进行处理。具体的，由于服务器采集到了多路的音视频直播流，因此，服务器需要对各视频直播流(第一视频直播流和第二视频直播流)进行视频的合并和转码，而对各音频直播流(第一音频直播流和第二音频直播流)则需要进行混音处理，最后服务器将处理完毕的第三音频直播流和第三视频直播流同步封装后输出第三音视频直播流到直播平台组件，以供信息互动的第三端(观众端)进行观看时使用，从而完成推送第三音视频直播流给信息互动的第三端的过程。
需要说明的是，视频合并转码是将多路视频画面叠加后重新编码的过程，混音处理是指将多路音频混合成一路音频的过程。
具体的，在本发明实施例中，服务器可以使用相关硬件或软件对音视频原始数据(第一音视频直播流和第二音视频直播流)进行编码处理(数字化)及加工(如音视频混合、打包封装等)，从而得到可用的音视频数据(第三音视频直播流)。
其中，上述编码处理可以采用的编码方式可以为：固定码率(CBR，Constant bitrate)、动态比特率(VBR，Variable Bit Rate)；相应的，编码格式可以为以下几种：
视频：H.265、H.264、MPEG-4等，视频封装容器有TS、多媒体容器(MKV，Multimedia Container)、音视频交错格式(AVI，Audio Video Interleaved)、动态图像专家组(MP4，Moving Picture Experts Group 4)等；音频：G.711μ、高级音频编码(AAC，Advanced Audio Coding)、Opus等，音频封装容器有MP3、OGG(OGGVobis)、AAC等。具体的实现形式本发明实施例不作限制。
需要说明的是，服务器在得到第三音视频直播流，将该第三音视频直播流发送到直播平台组件的过程为推流(PUSH)的过程。
在本发明实施例中，推流，就是将第三音视频直播流通过流媒体协议发送到直播平台组件的过程。
可选的，现在的直播应用中，采用实时消息传送协议(RTMP，Real Time Messaging Protocol)协议居多，也有部分使用微软媒体服务器协议(MMS，Microsoft Media Server Protocol)等。本发明实施例不限制流媒体协议的具体方式。
其中，RTMP是为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议，它有三种变种如下：
1)、工作在传输控制协议(TCP，Transmission Control Protocol)之上的明文协议，使用端口1935；
2)、RTMPT封装在超文本传输协议(HTTP，HyperText Transfer Protocol)请求之中，可穿越防火墙；
3)、RTMPS类似RTMPT，但使用的是HTTPS连接；
也就是说，RTMP协议是被Flash用于对象、视频、音频的传输，这个协议建立在TCP协议或者轮询HTTP协议之上。
RTMP协议就像一个用来装数据包的容器，这些数据既可以是AMF格式的数据，也可以是FLV中的视/音频数据，一个单一的连接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的。而本发明实施例中就是采用RTMP协议传输第三音视频直播流的。
可以理解的是，本发明实施例中的第三音视频直播流为将第一音视频直播流和第二音视频直播流等多路音视频流合成为一路音视频流的音视频直播流。这样的第三音视频直播流既保留了主播端的音频和视频数据，又保留了连麦端的音频和视频数据，并且，可以将上述音频和视频数据同时存在且不会发生音频或视频数据混乱的情况。
S104、第三端根据第三音视频直播流观看第一端和第二端的音视频内 容。
需要说明的是，拉流，就是服务器获取音频，视频数据的过程。
服务器将第三音视频直播流推流至直播平台组件，当信息互动的第三端的用户想要观看这个主播的直播时，就会通过拉流的方式，在直播平台组件处获取到实时的第三音视频直播流，于是，该第三端(信息互动的第三端，例如，观众端)就可以根据第三音视频直播流观看第一端和第二端的音视频内容，即主播端和连麦端此时正在进行直播的内容了。
具体的，信息互动的第三端通过拉流(PULL)获取到第三音视频直播流后，由于第三音视频直播流是经过编码加工的，因此，该第三端需要对第三音视频直播流进行解码，即使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音的音视频数据，并将解码后的第三音视频直播流在显示器或扬声器里，显示相应的图像画面或声音。
在一实施例中，在本发明实施例中，显示器可以包括：电视屏幕、监视屏等，扬声器可以包括：耳机、喇叭等，具体的本发明实施例不作限制。
需要说明的是，本发明实施例中的一般对应的编码器都会带有相应的解码器，也有一些第三方解码插件等，也就是说，本发明实施例中的信息互动的第三端可以带有与服务器编码相应的解码器或第三方解码插件等。
示例性的，当前直播都是用RTMP协议，则RTMP服务器实现推流，然后RTMP服务器提供RTMP视频服务；通常RTMP服务器也提供HLS(HTTP Live Streaming)，把视音频流切片成ts流，然后用户(观众端)可以通过拉流直接播放xxx.m3u8的流媒体(第三音视频直播流)。
可以理解的是，观众端可以只接收一路流媒体数据(第三音视频直播流)，而连麦端不必有额外的操作和输出，将消耗资源的动作为后台，减轻了终端的带宽消耗，减少了由于高带宽引发网络拥塞和抖动的可能性；同 时也有效降低了对终端硬件性能的要求。
进一步地，如图3所示，S103之后，本发明实施例提供的一种直播方法还可以包括S105-S107。具体如下：
S105、服务器将第三音视频流推送给第一端和第二端。
S106、第一端根据第三音视频直播流观看第一端和第二端的音视频内容。
S107、第二端根据第三音视频直播流观看第一端和第二端的音视频内容。
在本发明实施例中，信息互动的第一端和信息互动的第二端也可以当做是观众端，观看自己的音视频内容，因此，服务器在得到第三音视频直播流之后，该服务器还将该第三音视频直播流推送给上述第一端和上述第二端，这样的话，该第一端和该第二端在进行直播的同时，可以同时观看正在进行直播的主播端和连麦端的内容，实现实时的互动与交流。
需要说明的是，服务器向信息互动的第一端和信息互动的第二端的推送第三音视频直播流的过程与服务器向信息互动的第三端推送第三音视频直播流的过程原理相同，以及该信息互动的第一端和该信息互动的第二端观看第三音视频直播流的过程与信息互动的第三端观看第三音视频直播流的过程原理相同，因此，不再详细的说明。
示例性的，如图4所示为应用场景的示意，假设主播端为主播1的手机，连麦端为连麦者2的电脑，观众端为观众3的手机，服务器为服务器4，在主播1进行直播时，连麦者2可以与主播1进行实时互动，主播1：耶！！！！，连麦者2：大家可以听到我说话么？，于是，服务器4采集主播1和连麦者2的音频和头像直播流，经过服务器4的编码处理之后，推送到观众3的手机上，观众3直接观看到了主播1和连麦者2的视频和音频直播流内容了。
可以理解的是，由于服务器在采集了信息互动的第一端的音视频数据 和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
在实施例一实现的基础上，如图5所示，本发明实施例提供的一种直播方法中的第三端根据第三音视频直播流观看第一端和第二端的音视频内容的具体过程可以为：
S201、第三端获取直播流观看的第一地址，并根据该第一地址发送直播流观看请求至服务器。
在本发明实施例中，服务器可以想信息互动的第三端推送第三音视频直播流，反映在使用中可以为服务器可以推送第三音视频直播流在信息互动的第三端所在的终端上，于是，该信息互动的第三端的用户可以通过对点击或触控操作获取直播流观看的第一地址，并根据第一地址发送直播流请求给服务器，以想服务器请求或拉取音视频直播流。当信息互动的第三端想要观看服务器在其终端上推送的第三音视频直播流时，该信息互动的第三端的用户就点击该第三音视频直播流对应的图像或链接，于是，该第三端就获取直播流观看第三音视频直播流的第一地址，并根据该第一地址发送直播流观看请求至服务器，向服务器的直播平台组件中的内容分发网络(CDN，Content Delivery Network)拉流，请求第三音视频直播流进行观看。
需要说明的是，信息互动的第三端所在的终端上的直播应用中，可以显示正在进行信息互动的第一端进行直播的界面或图像，这样，信息互动的第三端的用户通过点击该直播的界面或图像，获取到了直播流观看的第 一地址，于是信息互动的第三端可以根据该第一地址发送直播流观看请求至服务器。
还需要说明的是，本发明实施例中，信息互动的第三端可以通过朋友圈或朋友分享的直播地址实现第三端获取直播流观看的第一地址，并根据该第一地址发送直播流观看请求至服务器。
可选的，本发明实施例中的第一地址可以为RTMP地址，也可以为URL地址，具体的地址形式可由实际的使用中的具体情况来决定，本发明实施例不作限制。
示例性的，如图6所示，观众1(信息互动的第三端)点击直播1的界面的过程为第三端获取直播流观看的第一地址的实现。如图7所示，小伙伴1分享了主播1的直播链接，于是，观众1(信息互动的第三端)点击该直播链连的过程为三端获取直播流观看的第一地址的实现。
S202、服务器根据直播流观看请求，拉取第三音视频直播流。
由于信息互动的第三端向服务器进行直播流观看请求，于是，在服务器可以根据直播流观看请求，开始进行拉取第三音视频直播流的过程。而服务器拉取第三音视频直播流的结果可以为拉取成功和拉取失败两种的。
需要说明的是，服务器根据直播流观看请求，拉取第三音视频直播流的过程为服务器中的直播平台组件中的CDN向直播平台组件中的直播模块(服务器中推送第三音视频直播流的模块)进行第三音视频直播流的拉取(回源)。
示例性的，当用户(信息互动的第三端)访问某一个URL(第一地址)的时候，如果被服务器根据第一地址解析到的其CDN没有缓存响应的内容(第三音视频直播流)，或者是缓存已经到期，就会回源站(直播模块)去获取。
需要说明的是，如果没有信息互动的第三端的访问，那么CDN不会主 动去源站拉取的。
S203、若拉取到第三音视频直播流，服务器则发送第三音视频直播流给第三端。
服务器根据直播流观看请求，拉取第三音视频直播流之后，当服务器中的CDN回源站拉取到第三音视频直播流，该CDN就可以发送第三音视频直播流给第三端了，即CDN推送第三音视频直播流给信息互动的第三端。
S204、第三端根据第三音视频直播流观看第一端和第二端的音视频内容。
信息互动的第三端在获取了服务器给的第三音视频直播流之后，由于第三音视频直播流为信息互动的第一端和信息互动的第二端采集到的音视频数据的处理数据，于是，该第三端就可以根据第三音视频直播流观看第一端和第二端的音视频内容了。
具体的S204过程描述与S104的描述一致，本发明实施例不作限制。
S205、若未拉取到第三音视频直播流，服务器则发送信息获取失败的提示信息给第三端。
服务器根据直播流观看请求，拉取第三音视频直播流之后，当服务器中的CDN回源站未拉取到第三音视频直播流，该CDN就发送信息获取失败的提示信息给第三端了，即CDN推送失败第三音视频直播流给信息互动的第三端。
S206、第三端根据信息获取失败的提示信息，结束此次直播观看过程。
在信息互动的第三端接收到信息获取失败的提示信息之后，表征第三端观看直播出问题了，于是，第三端根据信息获取失败的提示信息，就结束此次直播观看过程。
具体的，信息互动的第三端可以显示直播失败或是直播数据获取失败等提示给信息互动的第三端的用户，结束此次直播观看过程。
需要说明的是，本发明实施例中的S203-S204和S205-S206为S202之后的可选的步骤，在本发明实施例中，S202之后，可执行S203-S204，也可以执行S205-S206。具体的S202之后的执行顺序是由实际实现的情况决定的，本发明实施例不作限制。
本发明实施例提供了一种直播方法，如图8所示，应用于服务器侧，该方法可以包括：
S301、采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，该第一音视频直播流包括第一音频直播流和第一视频直播流，该第二音视频直播流包括第二音频直播流和第二视频直播流。
服务器采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流的过程就是第一端和第二端提供第一音视频直播流和第二音视频直播流给服务器的过程，因此，服务器采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流的过程与前述S101和S102的描述一致。
需要说明的是，本发明实施例中的服务器可以包括：中转模块、视频合并转码模块、混音模块、流媒体模块和直播平台组件，其中，直播平台组件包括：直播模块和内容分发网络CDN模块。
本发明实施例中的采集第一音视频直播流和第二音视频直播流的过程是服务器中的中转模块执行的。
示例性的，服务器采集音视频直播流，需要使用AVFoundation.Framework框架，从captureSession会话的回调中获取音频，视频数据。
S302、对第一视频直播流和第二视频直播流进行叠加编码输出第三视频直播流。
需要说明的是，服务器中的视频合并转码模块执行对第一视频直播流 和第二视频直播流进行叠加编码输出第三视频直播流的过程。
S303、将第一音频直播流和第二音频直播流进行混音处理得到第三音频直播流。
需要说明的是，服务器中的混音模块执行将第一音频直播流和第二音频直播流进行混音处理得到第三音频直播流的过程。
在一实施例中，服务器可以硬编码，软编码音视频直播流，其中，软编码就是利用CPU资源来压缩音视频数据，硬编码与之相反。软编码的话，现在广泛采用FFmpeg库结合编码库来实现，FFmpeg+X624来编码视频数据YUV/RGB输出H264数据，FFmpeg+fdk_aac来编码音频数据脉冲编码调制(PCM，Pulse Code Modulation)输出AAC数据。
S304、将第三音频直播流和第三视频直播流进行同步、打包，得到第三音视频直播流，并推送该第三音视频直播流给信息互动的第三端。
本发明实施例中的S302-S304的具体描述与S103中描述的过程一致。
需要说明的是，在本发明实施例中，服务器的流媒体模块根据时间戳，对第三音频直播流和第三视频直播流进行同步，得到第四音视频直播流；对第四音视频直播流进行打包，得到第三音视频直播流；以及将第三音视频直播流通过直播平台组件中的直播平台推送给第三端的。
具体的，服务器推送第三音视频直播流给信息互动的第三端为：直播平台组件中的CDN接收第三端发送的直播流观看请求；及根据直播流观看请求，拉取第三音视频直播流；若拉取到第三音视频直播流，则发送该第三音视频直播流给第三端。若未拉取到第三音视频直播流，则发送信息获取失败的提示信息给第三端。上述过程的详细描述与实施例二中的过程一致。
在一实施例中，服务器是根据所选流媒体协议封包音视频直播流的，将音频视频直播流打包成packet，服务器可以根据所选流媒体协议，发送相 应指令连接服务器，连接服务器成功后，就可以发送packet数据了。本发明实施例中是发送packet数据给直播模块。
需要说明的是，接收到第三音视频直播流的一端，需要设置有相应的解码模块。其中，解码，就是把获取到的数据解压缩，恢复成原始数据。对于上述编码而言，解码就是将H264变成YUV，AAC变成PCM。解码可以使用软解码，硬解码。软解码就是利用CPU资源去解压缩数据，采用的方式是FFmpeg解码。硬解码，对于iOS平台来说，可以使用VideoToolbox.Framework(该框架只能在iOS 8.0及以上系统使用)硬解码视频数据。Android平台上，可以使用MediaCodec来硬解码视频数据(音视频直播流)。
示例性的，如图9所示，主播端和连麦端进行实时音视频通话，所有音视频数据(音视频流)都通过中转模块采集，其中，图9中中转模块在进行音视频数据采集时，采用虚线箭头表征主播端的音视频数据传输，采用实线箭头表征连麦端的音视频数据传输，并且主播端和连麦端的音视频数据可以通过中转模块进行音视频数据的交互；中转模块将主播端和所有连麦端的视频流和音频流分别转发给视频合并转码模块和混音模块，其中，在图9中，中转模块转发主播端的音频流和视频流时采用虚线箭头表示，该中转模块转发连麦端的音频流和视频流时采用实线箭头表示；然后，视频合并转码模块将视频流解码、画面合并后再编码成一路视频流，输出到流媒体模块；混音系统将所有音频数据混音，输出到流媒体模块；流媒体模块将处理过的音频流和视频流根据时间戳做同步，然后封装成媒体流(如rtmp流)推送到直播模块(存在回源的判断)；这样，观众端就可以通过CDN拉流的方式观看经过视频合并/混音后的流媒体数据(第三音视频直播流)。
进一步地，如图10所示，S304之后，本发明实施例提供的一种直播方 法还可以包括：S305。具体如下：
S305、将第三音视频直播流推送给第一端和第二端。
需要说明的是，服务器中的CDN执行将第三音视频直播流推送给第一端和第二端的过程，且上述过程与S105-S107的过程描述一致。
可以理解的是，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
如图11所示，本发明实施例提供了一种直播系统1，该直播系统1可以包括：信息互动的第一端10、信息互动的第二端11、服务器12、信息互动的第三端13，所述第一端10、所述第二端11和所述第三端13通过所述服务器12进行数据交互。
所述第一端10，配置为提供第一音视频直播流给所述服务器12。
所述第二端11，配置为提供第二音视频直播流给所述服务器12。
所述服务器12，配置为将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三视频直播流，并将所述第三视频流推送给所述第三端13。
所述第三端13，配置为根据所述第三视频直播流观看所述第一端10和所述第一端11的音视频内容。
在一实施例中，所述服务器12，还配置为所述得到第三视频直播流之后，将所述第三视频流推送给所述第一端10和所述第一端11。
所述第一端10，还配置为根据所述第三视频直播流观看所述第一端10 和所述第一端11的音视频内容。
所述第一端11，还配置为根据所述第三视频直播流观看所述第一端10和所述第一端11的音视频内容。
在一实施例中，基于图11，如图12所示，所述服务器12包括：中转模块120、视频合并转码模块121、混音模块122、流媒体模块123。
所述服务器12，配置为通过所述中转模块采集所述第一端10的所述第一音视频直播流和所述第一端11的所述第二音视频直播流，所述第一音视频直播流包括所述第一音频直播流和所述第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；及通过所述视频合并转码模块121对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；以及通过所述混音模块122将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；通过所述流媒体模块123将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给所述第三端13。
在一实施例中，基于图12，如图13所示，所述服务器12还包括：直播平台组件124。
所述服务器12，还配置为根据时间戳，通过流媒体模块123对所述第三音频直播流和所述第三视频直播流进行同步，得到第四音视频直播流，以及对所述第四音视频直播流进行打包，得到第三音视频直播流，并将所述第三音视频直播流通过直播平台组件124推送给所述第三端13。
在一实施例中，所述服务器12，还配置为通过所述流媒体模块123将所述第三音视频直播流送给所述直播平台组件124；及通过所述直播平台组件124将打所述第三音视频直播流发送给所述第三端13。
在一实施例中，基于图13，如图14所示，所述直播平台组件124包括：直播模块1240和CDN 1241模块。
所述第三端13，还配置为获取直播流观看的第一地址；及根据所述第一地址向所述CDN 1241模块进行直播流观看请求。
所述服务器12，还配置为根据所述直播流观看请求，通过所述直播模块1240拉取所述第三音视频直播流，若拉取到所述第三音视频直播流，则通过所述CDN 1241模块发送所述第三音视频直播流给所述第三端13。
所述第三端13，配置为根据所述第三音视频直播流观看所述第一端10和所述第一端11的音视频内容。
在一实施例中，所述服务器12，还配置为根据所述直播流观看请求，通过所述直播模块1240拉取所述第三音视频直播流之后，若未拉取到所述第三音视频直播流，则通过所述CDN 1241模块发送信息获取失败的提示信息给所述第三端13。
所述第三端13，还配置为通过CDN 1241模块根据所述信息获取失败的提示信息，结束此次直播观看过程。
需要说明的是，本发明实施例中的服务器12中的各个模块可以是在一个服务器中设置的，也可以是在不同的服务器中设置的，若是在不同服务器中设置的则本发明实施例中的服务器12指的是一个服务器集群。本发明实施例不限制服务器的个数，可由实际应用来决定。
在一实施例中，本发明实施例中的信息互动的第一端10、信息互动的第二端11和信息互动的第三端13可以为图1中的终端51-55中的任意一个，本发明实施例不作限制。
可以理解的是，由于服务器在采集了信息互动的第一端的音视频数据和信息互动的第二端的音视频数据之后，直接对上述采集到的音视频数据进行处理，然后将最终的一路音视频直接传输给信息互动的第三端，避免了服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互 动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
相应地，本发明实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机程序，该计算机程序被处理器运行时，执行：
采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；
对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；
将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；
将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给信息互动的第三 端。
所述计算机程序被处理器运行时，还执行：
根据时间戳，对所述第三音频直播流和所述第三视频直播流进行同步，得到所述第四音视频直播流；
对所述第四音视频直播流进行打包，得到所述第三音视频直播流；
将所述第三音视频直播流通过直播平台组件推送给所述第三端。
所述计算机程序被处理器运行时，还执行：
将所述第三音视频直播流推送给所述第一端和所述第二端。
所述计算机程序被处理器运行时，还执行：
接收所述第三端发送的直播流观看请求；
根据所述直播流观看请求，拉取所述第三音视频直播流；
若拉取到所述第三音视频直播流，则发送所述第三音视频直播流给所述第三端。
所述计算机程序被处理器运行时，还执行：
若未拉取到所述第三音视频直播流，则发送信息获取失败的提示信息给所述第三端。
本发明实施例还提供一种服务器，所述服务器的组成结构包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行：
采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；
对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；
将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；
将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给信息互动的第三端。
所述处理器还用于运行所述计算机程序时，执行：
根据时间戳，对所述第三音频直播流和所述第三视频直播流进行同步，得到所述第四音视频直播流；
对所述第四音视频直播流进行打包，得到所述第三音视频直播流；
将所述第三音视频直播流通过直播平台组件推送给所述第三端。
所述处理器还用于运行所述计算机程序时，执行：
将所述第三音视频直播流推送给所述第一端和所述第二端。
所述处理器还用于运行所述计算机程序时，执行：
接收所述第三端发送的直播流观看请求；
根据所述直播流观看请求，拉取所述第三音视频直播流；
若拉取到所述第三音视频直播流，则发送所述第三音视频直播流给所述第三端。
所述处理器还用于运行所述计算机程序时，执行：
若未拉取到所述第三音视频直播流，则发送信息获取失败的提示信息给所述第三端。
图15是本发明实施例的服务器的硬件组成结构示意图，服务器700包括：至少一个处理器701、存储器702和至少一个网络接口704。服务器700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图15 中将各种总线都标为总线系统705。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器702用于存储各种类型的数据以支持服务器700的操作。这些数据的示例包括：用于在服务器700上操作的任何计算机 程序，如应用程序7022。实现本发明实施例方法的程序可以包含在应用程序7022中。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，服务器700可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得 通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
工业实用性
本发明实施例应用于直播系统，信息互动的第一端提供第一音视频直播流给服务器；信息互动的第二端提供第二音视频直播流给所述服务器；所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，并将所述第三音视频流推送给信息互动的第三端；所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。如此，能够避免服务器在采集了上述音视频数据之后在信息互动的第一端、信息互动的第二端和信息互动的第三端之家的大量数据的传输，因此，减轻了信息互动时的带宽消耗，还有效降低了大量数据的反复交互，进而提高了直播的呈现效果。

Claims (18)

  1. 一种直播方法，应用于直播系统中，包括：
    信息互动的第一端提供第一音视频直播流给服务器；
    信息互动的第二端提供第二音视频直播流给所述服务器；
    所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流，并将所述第三音视频流推送给信息互动的第三端；
    所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
  2. 根据权利要求1所述的方法，其中，所述服务器将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三音视频直播流之后，所述方法还包括：
    所述服务器将所述第三音视频流推送给所述第一端和所述第二端；
    所述第一端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容；
    所述第二端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
  3. 根据权利要求1所述的方法，其中，所述第三端根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容，包括：
    所述第三端获取直播流观看的第一地址，并根据所述第一地址发送直播流观看请求至所述服务器；
    所述服务器根据所述直播流观看请求，拉取所述第三音视频直播流；若拉取到所述第三音视频直播流，所述服务器则发送所述第三音视频直播流给所述第三端；
    所述第三端根据所述第三音视频直播流观看所述第一端和所述第二 端的音视频内容。
  4. 根据权利要求3所述的方法，其中，所述服务器根据所述直播流观看请求，拉取所述第三音视频直播流之后，所述方法还包括：
    若未拉取到所述第三音视频直播流，所述服务器则发送信息获取失败的提示信息给所述第三端；
    所述第三端根据所述信息获取失败的提示信息，结束此次直播观看过程。
  5. 一种直播方法，应用于服务器侧，包括：
    采集信息互动的第一端的第一音视频直播流和信息互动的第二端的第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；
    对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；
    将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；
    将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给信息互动的第三端。
  6. 根据权利要求5所述的方法，其中，所述将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第一混合音视频媒体流给第三端，包括：
    根据时间戳，对所述第三音频直播流和所述第三视频直播流进行同步，得到所述第四音视频直播流；
    对所述第四音视频直播流进行打包，得到所述第三音视频直播流；
    将所述第三音视频直播流通过直播平台组件推送给所述第三端。
  7. 根据权利要求5所述的方法，其中，所述将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流之后，所述方法还包括：
    将所述第三音视频直播流推送给所述第一端和所述第二端。
  8. 根据权利要求5所述的方法，其中，所述推送所述第三音视频直播流给信息互动的第三端，包括：
    接收所述第三端发送的直播流观看请求；
    根据所述直播流观看请求，拉取所述第三音视频直播流；
    若拉取到所述第三音视频直播流，则发送所述第三音视频直播流给所述第三端。
  9. 根据权利要求8所述的方法，其中，所述根据所述直播流观看请求，拉取所述第三音视频直播流之后，所述方法还包括：
    若未拉取到所述第三音视频直播流，则发送信息获取失败的提示信息给所述第三端。
  10. 一种直播系统，包括：信息互动的第一端、信息互动的第二端、服务器、信息互动的第三端，所述第一端、所述第二端和所述第三端通过所述服务器进行数据交互；
    所述第一端，配置为提供第一音视频直播流给所述服务器；
    所述第二端，配置为提供第二音视频直播流给所述服务器；
    所述服务器，配置为将所述第一音视频直播流和所述第二音视频直播流进行编码和加工，得到第三视频直播流，并将所述第三视频流推送给所述第三端；
    所述第三端，配置为根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容。
  11. 根据权利要求10所述的系统，其中，
    所述服务器，还配置为所述得到第三视频直播流之后，将所述第三视频流推送给所述第一端和所述第二端；
    所述第一端，还配置为根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容；
    所述第二端，还配置为根据所述第三视频直播流观看所述第一端和所述第二端的音视频内容。
  12. 根据权利要求10所述的系统，其中，所述服务器包括：中转模块、视频合并转码模块、混音模块、流媒体模块；
    所述服务器，配置为通过所述中转模块采集所述第一端的所述第一音视频直播流和所述第二端的所述第二音视频直播流，所述第一音视频直播流包括第一音频直播流和第一视频直播流，所述第二音视频直播流包括第二音频直播流和第二视频直播流；及通过所述视频合并转码模块对所述第一视频直播流和所述第二视频直播流进行叠加编码输出第三视频直播流；以及通过所述混音模块将所述第一音频直播流和所述第二音频直播流进行混音处理得到第三音频直播流；通过所述流媒体模块将所述第三音频直播流和所述第三视频直播流进行同步、打包，得到第三音视频直播流，并推送所述第三音视频直播流给所述第三端。
  13. 根据权利要求12所述的系统，其中，所述服务器还包括：直播平台组件；
    所述服务器，还配置为根据时间戳，通过流媒体模块对所述第三音频直播流和所述第三视频直播流进行同步，得到第四音视频直播流，以及对所述第四音视频直播流进行打包，得到第三音视频直播流，并将所述第三音视频直播流通过直播平台组件推送给所述第三端。
  14. 根据权利要求13所述的系统，其中，
    所述服务器，还配置为通过所述流媒体模块将所述第三音视频直播流送给所述直播平台组件；及通过所述直播平台组件将打所述第三音视频直播流发送给所述第三端。
  15. 根据权利要求14所述的系统，其中，所述直播平台组件包括：直播模块和内容分发网络CDN模块；
    所述第三端，还配置为获取直播流观看的第一地址；及根据所述第一地址向所述CDN模块进行直播流观看请求；
    所述服务器，还配置为根据所述直播流观看请求，通过所述直播模块拉取所述第三音视频直播流，若拉取到所述第三音视频直播流，则通过所述CDN模块发送所述第三音视频直播流给所述第三端；
    所述第三端，配置为根据所述第三音视频直播流观看所述第一端和所述第二端的音视频内容。
  16. 根据权利要求15所述的系统，其中，
    所述服务器，还配置为根据所述直播流观看请求，通过所述直播模块拉取所述第三音视频直播流之后，若未拉取到所述第三音视频直播流，则通过所述CDN模块发送信息获取失败的提示信息给所述第三端；
    所述第三端，还配置为通过CDN模块根据所述信息获取失败的提示信息，结束此次直播观看过程。
  17. 一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行权利要求5至9任一项所述的直播方法。
  18. 一种服务器，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
    其中，所述处理器用于运行所述计算机程序时，执行权利要求5至9所述直播方法的步骤。
PCT/CN2017/101385 2016-09-18 2017-09-12 一种直播方法、系统、服务器及存储介质 WO2018050049A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/256,111 US11128893B2 (en) 2016-09-18 2019-01-24 Live streaming method and system, server, and storage medium
US17/399,039 US11653036B2 (en) 2016-09-18 2021-08-10 Live streaming method and system, server, and storage medium
US18/299,249 US20230247235A1 (en) 2016-09-18 2023-04-12 Live streaming method and system, server, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610828121.4 2016-09-18
CN201610828121.4A CN107846633B (zh) 2016-09-18 2016-09-18 一种直播方法及系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/256,111 Continuation US11128893B2 (en) 2016-09-18 2019-01-24 Live streaming method and system, server, and storage medium

Publications (1)

Publication Number Publication Date
WO2018050049A1 true WO2018050049A1 (zh) 2018-03-22

Family

ID=61619321

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/101385 WO2018050049A1 (zh) 2016-09-18 2017-09-12 一种直播方法、系统、服务器及存储介质

Country Status (3)

Country Link
US (3) US11128893B2 (zh)
CN (1) CN107846633B (zh)
WO (1) WO2018050049A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104616A (zh) * 2018-09-05 2018-12-28 北京优酷科技有限公司 一种直播间的语音连麦方法及客户端
CN110166794A (zh) * 2018-04-26 2019-08-23 腾讯科技（深圳）有限公司 一种直播音频处理方法、装置及系统
CN112019488A (zh) * 2019-05-31 2020-12-01 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN112188222A (zh) * 2020-09-25 2021-01-05 吕庆新 信息采集处理设备及其应用、信息转制方法、计算机可读介质、信息采集处理方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818144B2 (ja) * 2016-11-22 2021-01-20 ▲広▼州市百果▲園▼信息技▲術▼有限公司 ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末
CN110545446B (zh) * 2018-05-28 2022-01-18 深信服科技股份有限公司 一种桌面图像编码、解码方法、相关装置及存储介质
CN109257618A (zh) * 2018-10-17 2019-01-22 北京潘达互娱科技有限公司 一种直播中的连麦合流方法、装置及服务器
CN109660745A (zh) * 2018-12-21 2019-04-19 深圳前海微众银行股份有限公司 视频录制方法、装置、终端及计算机可读存储介质
CN111355969B (zh) * 2019-02-13 2022-08-23 鸿合科技股份有限公司 一种互动直播方法及客户端、服务器、电子设备
CN109982148B (zh) * 2019-04-03 2022-05-20 广州虎牙信息科技有限公司 一种直播方法、装置、计算机设备与存储介质
CN110213609B (zh) * 2019-06-12 2020-12-29 珠海读书郎网络教育有限公司 在网络教育直播中进行连麦直播的方法、装置及存储介质
CN110753232A (zh) * 2019-09-06 2020-02-04 天脉聚源(杭州)传媒科技有限公司 在线互动场景的音频处理方法、系统和存储介质
CN110662084B (zh) * 2019-10-15 2021-07-09 北京齐尔布莱特科技有限公司 一种mp4文件流直播的方法、移动终端及存储介质
CN110798697B (zh) * 2019-11-22 2021-11-23 广州方硅信息技术有限公司 视频显示方法、装置、系统以及电子设备
CN111064973A (zh) * 2019-11-28 2020-04-24 湖北工业大学 一种基于ipv9的直播系统
CN111277885B (zh) * 2020-03-09 2023-01-10 北京世纪好未来教育科技有限公司 音视频同步方法、装置、服务器和计算机可读存储介质
CN112291629B (zh) * 2020-03-27 2022-08-23 北京字节跳动网络技术有限公司 交互方法、装置、电子设备和可读介质
CN111405312A (zh) * 2020-04-26 2020-07-10 广州酷狗计算机科技有限公司 直播推流方法、装置、终端、服务器及存储介质
CN112188297B (zh) * 2020-09-08 2021-10-08 腾讯科技（深圳）有限公司 直播互动方法、装置、电子设备和存储介质
CN112135155B (zh) * 2020-09-11 2022-07-19 上海七牛信息技术有限公司 音视频的连麦合流方法、装置、电子设备及存储介质
CN112272170B (zh) * 2020-10-19 2023-01-10 广州博冠信息科技有限公司 语音通信方法及装置、电子设备、存储介质
CN114390300B (zh) * 2020-10-20 2024-04-26 腾讯科技（深圳）有限公司 一种直播控制方法、装置、电子设备及计算机存储介质
US11854553B2 (en) 2020-12-23 2023-12-26 Optum Technology, Inc. Cybersecurity for sensitive-information utterances in interactive voice sessions
US11900927B2 (en) 2020-12-23 2024-02-13 Optum Technology, Inc. Cybersecurity for sensitive-information utterances in interactive voice sessions using risk profiles
CN112738638A (zh) * 2020-12-25 2021-04-30 北京百度网讯科技有限公司 一种连麦直播方法、装置、设备、存储介质及产品
CN113473162B (zh) * 2021-04-06 2023-11-03 北京沃东天骏信息技术有限公司 一种媒体流的播放方法、装置、设备和计算机存储介质
CN113473158B (zh) * 2021-06-30 2024-01-30 北京百度网讯科技有限公司 直播数据处理方法、装置、电子设备、介质
CN113645427A (zh) * 2021-08-12 2021-11-12 合众人寿保险股份有限公司 音视频数据的处理方法及装置、电子设备、存储介质
CN114125482A (zh) * 2021-11-23 2022-03-01 腾讯音乐娱乐科技（深圳）有限公司 直播连麦处理方法、电子设备及存储介质
CN114697695B (zh) * 2022-03-28 2024-03-08 阿里巴巴（中国）有限公司 直播数据推送方法、装置、设备及存储介质
CN114827664B (zh) * 2022-04-27 2023-10-20 咪咕文化科技有限公司 多路直播混流方法、服务器、终端设备、系统及存储介质
WO2024087197A1 (zh) * 2022-10-28 2024-05-02 广州酷狗计算机科技有限公司 直播流切换方法、装置、服务器、终端及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316295A1 (en) * 2007-06-22 2008-12-25 King Keith C Virtual decoders
CN101478642A (zh) * 2009-01-14 2009-07-08 镇江畅联通信科技有限公司 视频会议系统的多画面混图方法及装置
CN103051864A (zh) * 2012-12-26 2013-04-17 浙江元亨通信技术股份有限公司 移动视频会议方法及其系统
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689641A (en) * 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5862329A (en) * 1996-04-18 1999-01-19 International Business Machines Corporation Method system and article of manufacture for multi-casting audio visual material
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US7176957B2 (en) * 2004-05-25 2007-02-13 Seiko Epson Corporation Local video loopback method for a multi-participant conference system using a back-channel video interface
US7640301B2 (en) * 2006-04-06 2009-12-29 Att Knowledge Ventures, L.P. System and method for distributing video conference data over an internet protocol television system
US8300556B2 (en) * 2007-04-27 2012-10-30 Cisco Technology, Inc. Optimizing bandwidth in a multipoint video conference
US20080307105A1 (en) * 2007-06-11 2008-12-11 Microsoft Corporation Streaming media archiver for live events
US8554784B2 (en) * 2007-08-31 2013-10-08 Nokia Corporation Discovering peer-to-peer content using metadata streams
US20120200774A1 (en) * 2011-02-07 2012-08-09 Ehlers Sr Gregory Allen Audio and video distribution system with latency delay compensator
CN102790872B (zh) * 2011-05-20 2016-11-16 南京中兴软件有限责任公司 一种视频会议的实现方法及系统
US8554840B1 (en) * 2012-03-14 2013-10-08 Veritascope, Inc. Live stream detection and notification service
CN103338348B (zh) * 2013-07-17 2016-08-10 天脉聚源(北京)传媒科技有限公司 一种网络音视频会议的实现方法、系统和服务器
US9344681B2 (en) * 2014-08-21 2016-05-17 Infocus Corporation Systems and methods of incorporating live streaming sources into a video conference
CN109495771B (zh) * 2015-11-27 2020-11-24 北京奇虎科技有限公司 一种实现网络直播的方法和服务器
CN105491393A (zh) * 2015-12-02 2016-04-13 北京暴风科技股份有限公司 多人视频直播业务的实现方法
CN105451096B (zh) * 2015-12-02 2018-08-10 北京暴风云科技有限公司 网络直播系统及直播方法
CN105516739B (zh) * 2015-12-22 2020-05-05 腾讯科技（深圳）有限公司 一种视频直播方法、转码服务器、网页客户端及系统
CN105812951B (zh) * 2016-03-24 2019-10-18 广州华多网络科技有限公司 流媒体数据交互方法、终端、服务器及系统
CN105933375B (zh) * 2016-03-30 2019-12-24 广州华多网络科技有限公司 一种连麦会话的监测方法、装置和服务器
CN108886583B (zh) * 2016-04-11 2021-10-26 思碧迪欧有限公司 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法
CN105847874A (zh) * 2016-04-20 2016-08-10 乐视控股（北京）有限公司 直播装置及直播终端
CN105847913B (zh) * 2016-05-20 2019-05-31 腾讯科技（深圳）有限公司 一种控制视频直播的方法、移动终端及系统
WO2018027237A1 (en) * 2016-08-05 2018-02-08 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
JP6818144B2 (ja) * 2016-11-22 2021-01-20 ▲広▼州市百果▲園▼信息技▲術▼有限公司 ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316295A1 (en) * 2007-06-22 2008-12-25 King Keith C Virtual decoders
CN101478642A (zh) * 2009-01-14 2009-07-08 镇江畅联通信科技有限公司 视频会议系统的多画面混图方法及装置
CN103051864A (zh) * 2012-12-26 2013-04-17 浙江元亨通信技术股份有限公司 移动视频会议方法及其系统
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166794A (zh) * 2018-04-26 2019-08-23 腾讯科技（深圳）有限公司 一种直播音频处理方法、装置及系统
CN110166794B (zh) * 2018-04-26 2021-11-16 腾讯科技（深圳）有限公司 一种直播音频处理方法、装置及系统
CN109104616A (zh) * 2018-09-05 2018-12-28 北京优酷科技有限公司 一种直播间的语音连麦方法及客户端
CN109104616B (zh) * 2018-09-05 2022-01-14 阿里巴巴（中国）有限公司 一种直播间的语音连麦方法及客户端
CN112019488A (zh) * 2019-05-31 2020-12-01 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN112019488B (zh) * 2019-05-31 2023-12-12 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN112188222A (zh) * 2020-09-25 2021-01-05 吕庆新 信息采集处理设备及其应用、信息转制方法、计算机可读介质、信息采集处理方法

Also Published As

Publication number Publication date
US11128893B2 (en) 2021-09-21
US11653036B2 (en) 2023-05-16
US20230247235A1 (en) 2023-08-03
US20190158889A1 (en) 2019-05-23
CN107846633A (zh) 2018-03-27
CN107846633B (zh) 2023-07-14
US20210377575A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2018050049A1 (zh) 一种直播方法、系统、服务器及存储介质
US10368075B2 (en) Clip generation based on multiple encodings of a media stream
US9350780B2 (en) Insertion of graphic overlays into a stream
US9319738B2 (en) Multiplexing, synchronizing, and assembling multiple audio/video (A/V) streams in a media gateway
US20160337424A1 (en) Transferring media data using a websocket subprotocol
CN107819809B (zh) 对内容进行同步操作的方法及装置
US20020154691A1 (en) System and process for compression, multiplexing, and real-time low-latency playback of networked audio/video bit streams
TW202127899A (zh) 使用gltf2擴展來支援視訊和音訊資料
WO2015168823A1 (zh) 一种基于互联网通信及流媒体直播的交互应答系统及方法
US11032348B2 (en) Live stream testing
US20220255978A1 (en) Protocol conversion of a video stream
US20170331666A1 (en) Real-time control interface for broadcast object streaming
JP2023511019A (ja) ビデオ処理方法、装置、コンピュータデバイスおよびコンピュータプログラム
Abdullah et al. Survey of transportation of adaptive multimedia streaming service in internet
CN114501052B (zh) 直播数据处理方法、云平台、计算机设备和存储介质
CN111510720A (zh) 实时流媒体数据的传输方法、电子装置及服务器
US20170048291A1 (en) Synchronising playing of streaming content on plural streaming clients
JP7290260B1 (ja) サーバ、端末及びコンピュータプログラム
CN116233490A (zh) 视频合成方法、系统、装置、电子设备及存储介质
CN113055636B (zh) 一种数据处理方法及会议系统
CN112532719B (zh) 信息流的推送方法、装置、设备及计算机可读存储介质
Zorrilla et al. End to end solution for interactive on demand 3D media on home network devices
Fernando MMT: The next-generation media transport standard
JP2009081802A (ja) テレビ会議システム、サーバ端末、およびクライアント端末
Timmerer MPEG column: 117th MPEG Meeting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850251

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850251

Country of ref document: EP

Kind code of ref document: A1