CN108055577A - 一种直播交互方法、系统、装置及电子设备 - Google Patents
一种直播交互方法、系统、装置及电子设备 Download PDFInfo
- Publication number
- CN108055577A CN108055577A CN201711366414.6A CN201711366414A CN108055577A CN 108055577 A CN108055577 A CN 108055577A CN 201711366414 A CN201711366414 A CN 201711366414A CN 108055577 A CN108055577 A CN 108055577A
- Authority
- CN
- China
- Prior art keywords
- audio
- video flow
- video
- user terminal
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000005540 biological transmission Effects 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000004891 communication Methods 0.000 claims description 35
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种直播交互方法、系统、装置及电子设备，其中，该方法包括：处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；处理服务器将目标音视频流发送至传输服务器，以使传输服务器向第二用户终端发送目标音视频流。通过本发明实施例提供的直播交互方法、系统、装置及电子设备，能够降低主播和多个用户同时交互过程中的网络带宽消耗。
Description
技术领域
本发明涉及网络通信技术领域，特别是涉及一种直播交互方法、系统、装置及电子设备。
背景技术
目前的直播网站中，主播和多个用户同时交互采用的方法是，RTMP(Real TimeMessaging Protocol，实时消息传输协议)服务器接收多路音视频流，该多路音视频流包括主播通过终端发送的音视频流和各个第一用户分别通过终端发送的音视频流。第二用户通过终端向RTMP服务器发送音视频请求，RTMP服务器接收到第二用户通过终端发送的该音视频请求后，通过CDN(Content Delivery Network，内容分发网络)调度器向第二用户对应的终端发送该多路音视频流。其中，可以通过RTMP等音视频传输协议传输音视频流。
然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
主播和较多的用户同时交互时，需要主播和观众同时发布流来实现，这样会增加流的数量，进而会使网络带宽消耗较高。
发明内容
本发明实施例的目的在于提供一种直播交互方法、系统、装置及电子设备，以降低主播和多个用户同时交互过程中的网络带宽消耗。具体技术方案如下：
第一方面，本发明实施例提供了一种直播交互方法，包括：
处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；
所述处理服务器将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；
所述处理服务器将所述目标音视频流发送至传输服务器，以使所述传输服务器向第二用户终端发送所述目标音视频流。
可选的，所述处理服务器将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，包括：
所述处理服务器对所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行解析，得到各个音视频流对应的各音频流和各视频流；
所述处理服务器将所述各音视频流进行合成，得到音频合成流；
所述处理服务器将所述各视频流进行合成，得到视频合成流；
所述处理服务器将所述音频合成流和所述视频合成流进行合成，得到目标音视频流。
第二方面，本发明实施例提供了一种直播交互方法，包括：
传输服务器接收处理服务器发送的目标音视频流，其中，所述目标音视频流是所述处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；
所述传输服务器向第二用户终端发送所述目标音视频流。
可选的，所述传输服务器向第二用户终端发送所述目标音视频流，包括：
在接收到所述第二用户终端发送的音视频请求后，所述传输服务器向所述第二用户终端发送所述音视频请求对应的所述目标音视频流。
第三方面，本发明实施例提供了一种直播交互系统，包括：处理服务器和传输服务器；
所述处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；将所述目标音视频流发送至传输服务器；
所述传输服务器接收所述处理服务器发送的所述目标音视频流；向第二用户终端发送所述目标音视频流。
第四方面，本发明实施例提供了一种直播交互装置，包括：
接收模块，用于接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；
合并模块，用于将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；
发送模块，用于将所述目标音视频流发送至传输服务器，以使所述传输服务器向第二用户终端发送所述目标音视频流。
可选的，所述合并模块包括：
解析子模块，用于对所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行解析，得到各个音视频流对应的各音频流和各视频流；
第一合成子模块，用于将所述各音视频流进行合成，得到音频合成流；
第二合成子模块，用于将所述各视频流进行合成，得到视频合成流；
第三合成子模块，用于将所述音频合成流和所述视频合成流进行合成，得到目标音视频流。
第五方面，本发明实施例提供了一种直播交互装置，包括：
接收模块，用于接收处理服务器发送的目标音视频流，其中，所述目标音视频流是所述处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；
发送模块，用于向第二用户终端发送所述目标音视频流。
可选的，所述发送模块，具体用于在接收到所述第二用户终端发送的音视频请求后，向所述第二用户终端发送所述音视频请求对应的所述目标音视频流。
第六方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的方法步骤。
第七方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第二方面所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第二方面所述的方法步骤。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法步骤。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面所述的方法步骤。
本发明实施例提供的直播交互方法、系统、装置及电子设备，传输服务器可以接收处理服务器发送的目标音视频流，其中，目标音视频流是处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；传输服务器向第二用户终端发送目标音视频流。可以看出，本发明实施例提供的直播交互方法、系统、装置及电子设备中，主播和多个用户同时交互时，对进行合并后的目标音视频流进行传输，能够降低主播和多个用户同时交互过程中的网络带宽消耗。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的直播交互方法的一种流程图；
图2为本发明实施例提供的直播交互方法的另一种流程图；
图3为本发明实施例提供的直播交互方法的另一种流程图；
图4为本发明实施例中对多个音视频流进行合成的流程图；
图5为本发明实施例提供的直播交互系统的结构示意图；
图6为本发明实施例中具体实施例的流程图；
图7为本发明实施例提供的直播交互装置的一种结构示意图；
图8为本发明实施例提供的直播交互装置的另一种结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图；
图10为本发明实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
随着直播业务的不断发展，主播和用户之间的交互变得越来越重要。现有的直播交互方法中，主播和多个用户同时交互时，主播和各个第一用户分别通过对应的终端发送音视频流至RTMP服务器，如此，RTMP服务器会接收多路音视频流。第二用户通过用户终端向RTMP服务器发送音视频请求，RTMP服务器接收到第二用户对应的用户终端发送的该音视频请求后，通过CDN调度器向第二用户对应的该用户终端发送该多路音视频流，如此实现主播和多个用户的交互。
可以看出，现有的直播交互方法中，主播和多个用户同时交互时，RTMP服务器需要接收多路音视频流，并对多路音视频流进行传输。而多路音视频流中的每个音视频流都会分别占用网络带宽，如此使得主播和多个用户同时交互的过程中，网络带宽消耗过高。
为了降低主播和多个用户同时交互过程中，对网络带宽的消耗，本发明实施例提供了一种直播交互方法。通过处理服务器，先将主播通过服务方终端和各个第一用户通过第一用户终端发送的音视频流进行合并，将合并后得到的目标音视频流发送给RTMP服务器，RTMP服务器接收该目标音视频流，通过CDN调度器向第二用户对应的用户终端发送音视频请求对应的目标音视频流，如此实现主播和多个用户的交互。
可以看出，本发明实施例提供的直播交互方法中，主播和多个用户同时交互时，RTMP服务器接收的是进行合并后的目标音视频流，并将该目标音视频流发送给第二用户对应的用户终端。如此，能够降低主播和多个用户同时交互过程中对网络带宽的消耗。同时，第二用户对应的用户终端接收到的是进行合并后的该目标音视频流，不再需要进行对多路音视频流合并的操作，减轻了用户终端的负担。
其中，本发明实施例中所涉及的主播和多个用户的交互过程中，具体是指的主播通过终端与多个用户通过终端进行交互。
本发明实施例提供了一种直播交互方法，如图1所示，包括：
S101，处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；
S102，处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；
S103，处理服务器将目标音视频流发送至传输服务器，以使传输服务器向第二用户终端发送目标音视频流。
本发明实施例提供的直播交互方法中，处理服务器将接收到的服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，将该目标音视频流发送至传输服务器，如此使得传输服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
本发明实施例还提供了一种直播交互方法，如图2所示，包括：
S201，传输服务器接收处理服务器发送的目标音视频流，其中，目标音视频流是处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；
S202，传输服务器向第二用户终端发送目标音视频流。
本发明实施例提供的直播交互方法，传输服务器接收处理服务器进行合并后得到的目标音视频流，并将该目标音视频流发送给用户对应的用户终端。如此通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
本发明实施例还提供了一种直播交互方法，如图3所示，包括：
S301，处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流。
本发明实施例提供的直播交互方法可以应用于包括传输服务器、处理服务器和终端的系统架构中。
该处理服务器可以包括MCU(Microcontroller Unit，微控制单元)服务器等，传输服务器可以包括RTMP服务器，终端可以是服务方终端、用户终端等，其中，服务方终端可以是主播和用户交互过程中，主播使用的终端；用户终端可以是主播和用户交互过程中，用户使用的终端，本发明实施例中，用户终端可以包括第一用户使用的第一用户终端和第二用户使用的第二用户终端。
具体地终端可以是台式计算机、掌上电脑、以及手机等等。
处理服务器可以接收主播通过服务方终端发送的音视频流和各个第一用户通过对应的第一用户终端分别发送的音视频流，如此，处理服务器接收多路音视频流。
S302，处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流。
处理服务器将主播通过服务方终端发送的音视频流和各个第一用户通过对应的用户终端分别发送的音视频流，也即多路音视频流进行合并，得到目标音视频流，例如，一路音视频流。
具体地，可以分别将多路音视频流中的各个音视频流进行分离，得到各个音视频流中的音频流和视频流，然后分别将各个音视频流对应的音频流和视频流按照时间轴等合成，如此实现将多路音视频流进行合并。
如图4所示，本发明实施例一种可选的实施例中，步骤S302，包括：
S3021，处理服务器对服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行解析，得到各个音视频流对应的各音频流和各视频流。
S3022，处理服务器将各音视频流进行合成，得到音频合成流。
S3023，处理服务器将各视频流进行合成，得到视频合成流。
S3024，处理服务器将音频合成流和视频合成流进行合成，得到目标音视频流。
如此能够减少音视频流的数量，以使传输服务器，如RTMP服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，对少量的音视频流进行处理，进而降低对网络带宽的消耗。
S303，处理服务器将目标音视频流发送至传输服务器。
传输服务器可以是RTMP服务器。具体地，处理服务器可以使用RTMP协议将目标音视频流发送至RTMP服务器中。
S304，传输服务器接收处理服务器发送的目标音视频流。
S305，传输服务器向第二用户终端发送目标音视频流。
具体地，可以是传输服务器，如RTMP服务器主动将该目标音视频流推送给第二用户终端；或者，也可以是第二用户通过第二用户终端向RTMP服务器发送音视频请求。RTMP服务器在接收到第二用户终端发送的音视频请求后，通过CDN调度器向第二用户对应的该第二用户终端发送音视频请求对应的该目标音视频流。
本发明实施例提供的直播交互方法，通过增加处理服务器，如MCU服务器，对多路音视频流进行合并，再通过将合并后得到的目标音视频流发送给传输服务器，如RTMP服务器，传输服务器接收处理服务器进行合并后得到的目标音视频流，并将该目标音视频流发送给用户终端。如此通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
本发明实施例提供了一种直播交互系统，如图5所示，包括：处理服务器501和传输服务器502；
处理服务器501接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；将目标音视频流发送至传输服务器502，以使传输服务器502向第二用户终端发送目标音视频流；
传输服务器502接收处理服务器501发送的目标音视频流；向第二用户终端发送目标音视频流。
本发明实施例提供的直播交互系统中，处理服务器将接收到的服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，将该目标音视频流发送至传输服务器，如此使得传输服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。同时，用户终端接收到的是合并后的目标音视频流，不需要在接收到音视频流后进行合并操作，如此能够减小用户终端的负担。
需要说明的是，本发明实施例的直播交互系统是应用上述直播交互方法的系统，则上述直播交互方法的所有实施例均适用于该系统，且均能达到相同或相似的有益效果。
本发明实施例还提供了一个具体的实施例，如图6所示。
S601，主播登录MCU服务器，在该MCU服务器上创建房间并获取该房间的房间号roomid。
MCU服务器相当于多媒体信息交换机，进行多点呼叫和连接，实现视频广播、视频选择、音频混合、数据广播等功能，完成各终端信号的汇接与切换，多点对多点的切换、汇接或广播等。
S602，主播发布音视频流至该MCU服务器。
如此，MCU服务器将房间号roomid对应的房间内所有的音视频流进行合并，将合并后的音视频流发送至RTMP服务器。
S603，用户通过主播网站选择主播。
S604，被选择的主播通过主播网站向用户发送音视频流名称以及房间号roomid。
如此，用户可以根据音视频流对应的URL(Uniform Resource Locator，统一资源定位符)从CDN处获取音视频流，并进行观看。
S605，当有用户需要发言时，向主播请求发言，具体地，可以向主播发出发言请求。
S606，主播接收到用户发送的发言请求，响应用户的发言请求，即向用户发送拒绝消息或者同意消息。
S607，当用户接收到主播发送的同意消息时，该用户登录MCU服务器、进入该主播所在的房间，即房间号为roomid的房间。
而当用户接收到主播发送的拒绝消息时，则表示主播不同意该用户发言，则整个流程结束。
S608，用户将待交互的音视频流发布至该MCU服务器。
MCU服务器接收到该用户发布的音视频流后，将该用户发布的音视频流与主播发布的音视频流进行合并，并根据RTMP协议将合并后的音视频流发送至RTMP服务器，其中，每个音视频流中包括该音视频流的音视频流名称。
用户发言结束后，主播可以主动关闭该用户的发言或者用户主动终止发言，该用户离开房间。
当主播停止直播后，离开MCU服务器上的房间，MCU服务器终止向RTMP服务器发布音视频流，且通知用户主播已经离开，用户退出观看。
本实施例中，可以实现主播和多个用户占用较少的带宽下进行语音交流。另外，一般情况下，直播业务中不是所有的用户都会发言，只有较少的用户会发言，如此，MCU服务器中仅需要保留少量的socket.io连接，以及对少量的用户对应的音视频流进行处理，节省了对MCU服务器资源的占用等。
本发明实施例还提供了一种直播交互装置，应用于处理服务器，如图7所示，该装置包括：
接收模块701，用于接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；
合并模块702，用于将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；
发送模块703，用于将目标音视频流发送至传输服务器，以使传输服务器向第二用户终端发送目标音视频流。
本发明实施例提供的直播交互装置中，处理服务器将接收到的服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，将该目标音视频流发送至传输服务器，如此使得传输服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
可选的，合并模块702包括：
解析子模块，用于对服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行解析，得到各个音视频流对应的各音频流和各视频流；
第一合成子模块，用于将各音视频流进行合成，得到音频合成流；
第二合成子模块，用于将各视频流进行合成，得到视频合成流；
第三合成子模块，用于将音频合成流和视频合成流进行合成，得到目标音视频流。
需要说明的是，本发明实施例的直播交互装置是应用上述应用于处理服务器的直播交互方法的装置，则上述应用于处理服务器的直播交互方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了另一种直播交互装置，应用于传输服务器，如图8所示，该装置包括：
接收模块801，用于接收处理服务器发送的目标音视频流，其中，目标音视频流是处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；
发送模块802，用于向第二用户终端发送目标音视频流。
本发明实施例提供的直播交互装置中，传输服务器接收处理服务器进行合并后得到的目标音视频流，并将该目标音视频流发送给用户对应的用户终端。如此通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
可选的，发送模块802，具体用于在接收到第二用户终端发送的音视频请求后，向第二用户终端发送音视频请求对应的目标音视频流。
需要说明的是，本发明实施例的直播交互装置是应用上述应用于传输服务器的直播交互方法的装置，则上述应用于传输服务器的直播交互方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信；
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述应用于处理服务器的直播交互方法的方法步骤。
本发明实施例提供的电子设备中，处理服务器将接收到的服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，将该目标音视频流发送至传输服务器，如此使得传输服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信；
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现上述应用于传输服务器的直播交互方法的方法步骤。
本发明实施例提供的电子设备，传输服务器接收处理服务器进行合并后得到的目标音视频流，并将该目标音视频流发送给用户对应的用户终端。如此通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中应用于处理服务器的直播交互方法的方法步骤。
本发明实施例提供的计算机可读存储介质，处理服务器将接收到的服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，将该目标音视频流发送至传输服务器，如此使得传输服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中应用于传输服务器的直播交互方法的方法步骤。
本发明实施例提供的计算机可读存储介质，传输服务器接收处理服务器进行合并后得到的目标音视频流，并将该目标音视频流发送给用户对应的用户终端。如此通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中应用于处理服务器的直播交互方法的方法步骤。
本发明实施例提供的计算机程序产品，处理服务器将接收到的服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，将该目标音视频流发送至传输服务器，如此使得传输服务器通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中应用于传输服务器的直播交互方法的方法步骤。
本发明实施例提供的计算机程序产品，传输服务器接收处理服务器进行合并后得到的目标音视频流，并将该目标音视频流发送给用户对应的用户终端。如此通过对进行合并后得到的目标音视频流进行传输，实现主播和多个用户的同时交互，能够降低对网络带宽的消耗。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统及电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (11)
1.一种直播交互方法，其特征在于，包括：
处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；
所述处理服务器将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；
所述处理服务器将所述目标音视频流发送至传输服务器，以使所述传输服务器向第二用户终端发送所述目标音视频流。
2.根据权利要求1所述的方法，其特征在于，所述处理服务器将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流，包括：
所述处理服务器对所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行解析，得到各个音视频流对应的各音频流和各视频流；
所述处理服务器将所述各音视频流进行合成，得到音频合成流；
所述处理服务器将所述各视频流进行合成，得到视频合成流；
所述处理服务器将所述音频合成流和所述视频合成流进行合成，得到目标音视频流。
3.一种直播交互方法，其特征在于，包括：
传输服务器接收处理服务器发送的目标音视频流，其中，所述目标音视频流是所述处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；
所述传输服务器向第二用户终端发送所述目标音视频流。
4.根据权利要求3所述的方法，其特征在于，所述传输服务器向第二用户终端发送所述目标音视频流，包括：
在接收到所述第二用户终端发送的音视频请求后，所述传输服务器向所述第二用户终端发送所述音视频请求对应的所述目标音视频流。
5.一种直播交互系统，其特征在于，包括：处理服务器和传输服务器；
所述处理服务器接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；将所述目标音视频流发送至传输服务器；
所述传输服务器接收所述处理服务器发送的所述目标音视频流；向第二用户终端发送所述目标音视频流。
6.一种直播交互装置，其特征在于，包括：
接收模块，用于接收服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流；
合并模块，用于将所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行合并，得到目标音视频流；
发送模块，用于将所述目标音视频流发送至传输服务器，以使所述传输服务器向第二用户终端发送所述目标音视频流。
7.根据权利要求6所述的装置，其特征在于，所述合并模块包括：
解析子模块，用于对所述服务方终端发送的音视频流和所述各个第一用户终端分别发送的音视频流进行解析，得到各个音视频流对应的各音频流和各视频流；
第一合成子模块，用于将所述各音视频流进行合成，得到音频合成流；
第二合成子模块，用于将所述各视频流进行合成，得到视频合成流；
第三合成子模块，用于将所述音频合成流和所述视频合成流进行合成，得到目标音视频流。
8.一种直播交互装置，其特征在于，包括：
接收模块，用于接收处理服务器发送的目标音视频流，其中，所述目标音视频流是所述处理服务器将服务方终端发送的音视频流和各个第一用户终端分别发送的音视频流进行合并后得到的；
发送模块，用于向第二用户终端发送所述目标音视频流。
9.根据权利要求8所述的装置，其特征在于，所述发送模块，具体用于在接收到所述第二用户终端发送的音视频请求后，向所述第二用户终端发送所述音视频请求对应的所述目标音视频流。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-2任一所述的方法步骤。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求3-4任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711366414.6A CN108055577A (zh) | 2017-12-18 | 2017-12-18 | 一种直播交互方法、系统、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711366414.6A CN108055577A (zh) | 2017-12-18 | 2017-12-18 | 一种直播交互方法、系统、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108055577A true CN108055577A (zh) | 2018-05-18 |
Family
ID=62133684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711366414.6A Pending CN108055577A (zh) | 2017-12-18 | 2017-12-18 | 一种直播交互方法、系统、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108055577A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109039872A (zh) * | 2018-09-04 | 2018-12-18 | 北京达佳互联信息技术有限公司 | 实时语音信息的交互方法、装置、电子设备及存储介质 |
| CN109168018A (zh) * | 2018-10-17 | 2019-01-08 | 北京潘达互娱科技有限公司 | 一种直播中的连麦合流系统、方法、装置及自有服务器 |
| CN109688419A (zh) * | 2018-12-27 | 2019-04-26 | 北京潘达互娱科技有限公司 | 一种直播中的连麦方法、装置及服务器 |
| CN111246253A (zh) * | 2020-01-21 | 2020-06-05 | 北京三体云联科技有限公司 | 视频流传输方法和装置 |
| CN114827664A (zh) * | 2022-04-27 | 2022-07-29 | 咪咕文化科技有限公司 | 多路直播混流方法、服务器、终端设备、系统及存储介质 |
| CN116320514A (zh) * | 2023-02-21 | 2023-06-23 | 上海维牛科技有限公司 | 一种音视频会议直播的方法、系统、电子设备和介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7664101B1 (en) * | 2005-09-30 | 2010-02-16 | At&T Corp. | Method and apparatus for supporting multiple active sessions on a per user basis |
| CN101895750A (zh) * | 2010-07-13 | 2010-11-24 | 上海未来宽带技术及应用工程研究中心有限公司 | 面向机顶盒和pc的实时流媒体服务器及工作方法 |
| CN102325173A (zh) * | 2011-08-30 | 2012-01-18 | 重庆抛物线信息技术有限责任公司 | 一种混音视频共享方法及系统 |
| CN103338348A (zh) * | 2013-07-17 | 2013-10-02 | 天脉聚源(北京)传媒科技有限公司 | 一种网络音视频会议的实现方法、系统和服务器 |
| CN105430424A (zh) * | 2015-11-26 | 2016-03-23 | 广州华多网络科技有限公司 | 一种视频直播的方法、装置和系统 |
| CN106162221A (zh) * | 2015-03-23 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 直播视频的合成方法、装置及系统 |
| CN106254913A (zh) * | 2016-08-22 | 2016-12-21 | 北京小米移动软件有限公司 | 多媒体数据的处理方法及装置 |
| CN106658205A (zh) * | 2016-11-22 | 2017-05-10 | 广州华多网络科技有限公司 | 直播间视频流合成控制方法、装置及终端设备 |
| CN106792245A (zh) * | 2016-11-22 | 2017-05-31 | 广州华多网络科技有限公司 | 直播间视频流合成方法、装置及终端设备 |
| CN107005721A (zh) * | 2016-11-22 | 2017-08-01 | 广州市百果园信息技术有限公司 | 直播间视频流推送控制方法及相应的服务器与移动终端 |
| CN107197317A (zh) * | 2017-06-06 | 2017-09-22 | 深圳市米亚印乐科技有限公司 | 局域网多路信号的直播方法和系统 |
| CN107396137A (zh) * | 2017-07-14 | 2017-11-24 | 腾讯音乐娱乐（深圳）有限公司 | 在线互动的方法、装置及系统 |
-
2017
- 2017-12-18 CN CN201711366414.6A patent/CN108055577A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7664101B1 (en) * | 2005-09-30 | 2010-02-16 | At&T Corp. | Method and apparatus for supporting multiple active sessions on a per user basis |
| US20100098063A1 (en) * | 2005-09-30 | 2010-04-22 | Marian Croak | Method and apparatus for supporting multiple active sessions on a per user basis |
| CN101895750A (zh) * | 2010-07-13 | 2010-11-24 | 上海未来宽带技术及应用工程研究中心有限公司 | 面向机顶盒和pc的实时流媒体服务器及工作方法 |
| CN102325173A (zh) * | 2011-08-30 | 2012-01-18 | 重庆抛物线信息技术有限责任公司 | 一种混音视频共享方法及系统 |
| CN103338348A (zh) * | 2013-07-17 | 2013-10-02 | 天脉聚源(北京)传媒科技有限公司 | 一种网络音视频会议的实现方法、系统和服务器 |
| CN106162221A (zh) * | 2015-03-23 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 直播视频的合成方法、装置及系统 |
| CN105430424A (zh) * | 2015-11-26 | 2016-03-23 | 广州华多网络科技有限公司 | 一种视频直播的方法、装置和系统 |
| CN106254913A (zh) * | 2016-08-22 | 2016-12-21 | 北京小米移动软件有限公司 | 多媒体数据的处理方法及装置 |
| CN106658205A (zh) * | 2016-11-22 | 2017-05-10 | 广州华多网络科技有限公司 | 直播间视频流合成控制方法、装置及终端设备 |
| CN106792245A (zh) * | 2016-11-22 | 2017-05-31 | 广州华多网络科技有限公司 | 直播间视频流合成方法、装置及终端设备 |
| CN107005721A (zh) * | 2016-11-22 | 2017-08-01 | 广州市百果园信息技术有限公司 | 直播间视频流推送控制方法及相应的服务器与移动终端 |
| CN107197317A (zh) * | 2017-06-06 | 2017-09-22 | 深圳市米亚印乐科技有限公司 | 局域网多路信号的直播方法和系统 |
| CN107396137A (zh) * | 2017-07-14 | 2017-11-24 | 腾讯音乐娱乐（深圳）有限公司 | 在线互动的方法、装置及系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109039872A (zh) * | 2018-09-04 | 2018-12-18 | 北京达佳互联信息技术有限公司 | 实时语音信息的交互方法、装置、电子设备及存储介质 |
| WO2020048490A1 (zh) * | 2018-09-04 | 2020-03-12 | 北京达佳互联信息技术有限公司 | 实时语音信息的交互方法、装置、电子设备及存储介质 |
| CN109039872B (zh) * | 2018-09-04 | 2020-04-17 | 北京达佳互联信息技术有限公司 | 实时语音信息的交互方法、装置、电子设备及存储介质 |
| CN109168018A (zh) * | 2018-10-17 | 2019-01-08 | 北京潘达互娱科技有限公司 | 一种直播中的连麦合流系统、方法、装置及自有服务器 |
| CN109688419A (zh) * | 2018-12-27 | 2019-04-26 | 北京潘达互娱科技有限公司 | 一种直播中的连麦方法、装置及服务器 |
| CN111246253A (zh) * | 2020-01-21 | 2020-06-05 | 北京三体云联科技有限公司 | 视频流传输方法和装置 |
| CN114827664A (zh) * | 2022-04-27 | 2022-07-29 | 咪咕文化科技有限公司 | 多路直播混流方法、服务器、终端设备、系统及存储介质 |
| CN114827664B (zh) * | 2022-04-27 | 2023-10-20 | 咪咕文化科技有限公司 | 多路直播混流方法、服务器、终端设备、系统及存储介质 |
| CN116320514A (zh) * | 2023-02-21 | 2023-06-23 | 上海维牛科技有限公司 | 一种音视频会议直播的方法、系统、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108055577A (zh) | 一种直播交互方法、系统、装置及电子设备 | |
| KR101320908B1 (ko) | 유니캐스트 세션들과 멀티캐스트 세션 간을 변환하기 위한방법 | |
| US9740697B2 (en) | Subscriber driven media agnostic content delivery across networks | |
| CN100542341C (zh) | 实现移动终端间数据共享的方法和设备 | |
| CN103179213B (zh) | 基于点对点代理机制的家庭媒体资源传输系统 | |
| CN101990111B (zh) | 交互式网络电视系统的消息推送方法及系统 | |
| CN103348657B (zh) | 流媒体播放方法、设备及系统 | |
| CN104753980A (zh) | 数据传输方法及相关装置和通信系统 | |
| CN102739779A (zh) | 一种基于dlna的数字家庭交互方法、系统及相应设备 | |
| CN106341563A (zh) | 一种基于终端通信的回声抑制方法和装置 | |
| CN103731487A (zh) | 一种资源文件的下载方法、装置、系统及路由器 | |
| Yoo | The dynamic Internet: How technology, users, and businesses are transforming the network | |
| CN108200444B (zh) | 一种视频直播的方法、装置和系统 | |
| CN102131114A (zh) | 一种播放列表提供方法及系统 | |
| CN110191315B (zh) | 一种基于视联网的监控查看方法和装置 | |
| CN105530553A (zh) | Rtmp与rudp结合的实时流媒体直播系统 | |
| CN105376194A (zh) | 实时通信方法、系统和平台设备 | |
| CN107181695A (zh) | 分布式缓存方法及装置 | |
| CN112788053A (zh) | 一种实时通信方法、装置、服务器、系统及存储介质 | |
| CN107995501A (zh) | 视频连麦方法及系统 | |
| US8325725B2 (en) | Efficient host management protocol on multicast capable router | |
| CN108306923A (zh) | 一种直播视频上传方法、装置、电子设备以及存储介质 | |
| CN102291244B (zh) | 一种云广播系统及方法 | |
| CN108712434A (zh) | 一种基于高清视频直播录播会议会诊的实现方法 | |
| CN105591879A (zh) | 数据传输方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180518 |