CN106792245B - 直播间视频流合成方法、装置及终端设备 - Google Patents

直播间视频流合成方法、装置及终端设备 Download PDF

Info

Publication number
CN106792245B
CN106792245B CN201611049302.3A CN201611049302A CN106792245B CN 106792245 B CN106792245 B CN 106792245B CN 201611049302 A CN201611049302 A CN 201611049302A CN 106792245 B CN106792245 B CN 106792245B
Authority
CN
China
Prior art keywords
video flowing
terminal
main broadcaster
direct broadcasting
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611049302.3A
Other languages
English (en)
Other versions
CN106792245A (zh
Inventor
余蒙
于川
徐光兴
吴昊
苏庆辉
陆锦铃
郭业翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201611049302.3A priority Critical patent/CN106792245B/zh
Publication of CN106792245A publication Critical patent/CN106792245A/zh
Priority to PCT/CN2017/105017 priority patent/WO2018095146A1/zh
Application granted granted Critical
Publication of CN106792245B publication Critical patent/CN106792245B/zh
Priority to US16/419,022 priority patent/US20190273955A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices

Abstract

本发明涉及网络直播领域，具体公开一种直播间视频流合成方法、装置及终端设备，所述方法包括步骤：响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息；将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求；响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流；将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。通过将主播终端配置为服务器终端并合成推向直播间的视频流，减少带宽占用，降低直播平台服务器压力，解放直播视频播放前端。

Description

直播间视频流合成方法、装置及终端设备
【技术领域】
本发明涉及网络直播技术领域，具体涉及一种直播间视频流合成方法、装置及终端设备。
【背景技术】
随着互联网技术及智能移动终端设备的发展，各种互联网产品给人们的工作、生活带来了很多便利与娱乐，近年来，各类用于视频直播的直播平台层出不穷，视频直播给人们带来更实时的社交体验。目前的直播平台包括了用于移动端的直播平台和用于PC端的直播平台。
由于视频直播需求的多样性，用户需要同时直播多个移动端的内容或同时直播多个PC端的内容或同时直播移动端跟PC端的内容，例如用户开始在PC端上直播，然后想暂时转移直播场景至户外，利用移动端直播户外此时发生的情况，在现有技术中，往往需要主播用户在移动端重新建立一个直播间开启户外直播，然后原来直播间的观看用户需要重新进入新的直播间后才能看到主播进行的户外直播，由于户外直播是暂时性的，在户外直播停止后，主播重新回到PC端直播，而观看用户又得重新进入该主播的PC端的直播间，这种方式下主播用户跟观看用户的操作过程繁琐，无法给主播用户跟观看用户带来良好体验，降低直播平台口碑，造成用户流失。
所以，如何解决多个终端同时直播的多源直播模式是目前网络视频直播领域中亟需解决的问题，并且在多源直播模式下如何最大限度地提高网络带宽的利用率，降低直播平台服务器的压力同样是需要考虑并解决的问题。
【发明内容】
本发明的首要目的在于提供一种直播间视频流合成方法、装置。
本发明的另一目的在于提供执行上述直播间视频流合成方法的终端设备。
为实现该目的，本发明采用如下技术方案：
第一方面，本发明提供一种直播间视频流合成方法，包括如下步骤：
响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息；
将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求；
响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流；
将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
进一步的，所述预协议信息以二维码、特征口令或链接的形式表征。
进一步的，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。
具体的，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。
进一步的，所述第二终端根据所述预协议信息向主播用户终端发起连接请求，并与主播用户终端保持长连接。
第二方面，本发明提供一种直播间视频流合成装置，包括：
输出模块：用于响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息；
配置模块：用于将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求；
接收模块：用于响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流；
合成模块：用于将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
进一步的，所述预协议信息以二维码、特征口令、链接等形式表征。
进一步的，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。
具体的，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。
第三方面，本发明还提供一种终端设备，包括：处理器、存储器，所述处理器用于调用执行以程序形式存储于所述存储器的所述直播间视频流合成方法的任意一项步骤。
与现有技术相比，本发明具备如下优点：
(1)本发明将主播终端配置为服务器终端，用以接收第二终端采集后直接发送至主播终端的视频流，再由主播终端将所有视频流合成推送至直播间的视频流，直播间的观众用户看到的视频流与主播终端上的视频流一致，保证了视频流的同时性。
(2)同时，由于主播终端被配置为服务器终端，第二终端采集的视频流不需经过直播平台的服务器而直接发送至主播终端，直播平台服务器只需接收主播终端上传的最终推向直播间的视频流，并且将其推送至直播间的每个观看用户，避免大量的第二终端将视频流上传至服务器，减少了网络带宽的占用，降低了直播平台服务器的压力。
(3)再者，上述推向直播间的视频流适配于各种直播视频播放前端(PC端、移动端、WEB端)，无需再为多种前端适配不同的视频流解析协议，彻底解放前端。
显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
图1为本发明直播间视频流合成方法的一实施例流程示意图；
图2为本发明多源直播的两种实施方式示意图；
图3为本发明以二维码的形式表征预协议信息的示意图；
图4为本发明以特征口令的形式表征预协议信息的示意图；
图5为本发明以链接的形式表征预协议信息的示意图；
图6为本发明选定连接2个第二视频流后的第三视频流的示意图；
图7为本发明直播间视频流合成装置的一实施例示意图。
【具体实施方式】
下面结合附图和示例性实施例对本发明作进一步地描述，其中附图中相同的标号全部指的是相同的部件。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。
本技术领域技术人员可以理解，本发明所述的用户界面/操作界面泛指能够用于向智能终端发送控制指令的显示界面，例如，可以为Android系统的设置页面中的一个选项(或按键，由所述应用程序添加其中，下同)，也可以是从桌面呼出的通知栏或者交互页面中的一个选项，还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
直播间：本发明所述直播间包括以下含义，①一种基于网络直播平台创建的一个虚拟空间(或虚拟房间)，直播间一般由主播客户端创建并连接有多个观看客户端，即直播间中包括了主播及多个观众，位于该虚拟空间内的观看客户端可以观看主播客户端的直播内容，同时主播客户端的用户与观看客户端的用户、观看客户端的用户与观看客户端的用户之间还可以进行语音、图片、文字或赠送电子赠品的互动；②一种以群组方式将用户聚合在一起的即时通讯平台，例如视频会议系统，用户通过登录客户端的方式进入群组，用户在群组内以群组成员的身份存在，同一个群组内包含有多个群组成员，用户可任意加入或退出群组，在群组内，可以进行文字、语音、视频等多种互动。
第一方面，如图1所示是本发明直播间视频流合成方法的一实施例流程示意图，包括如下步骤：
本方法的实现依赖于视频直播客户端的某一功能模块或插件，视频直播客户端包括PC端上的视频直播软件和移动端上的视频直播应用程序，所述功能模块或插件具体为相应软件/应用程序内的可执行代码，所述功能模块或插件的具体实现形式不作为对本发明的具体限定。
步骤S100：响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息。
具体的，如图2所示是多源直播的两种实施方式：①利用多种、多台拍摄设备同时采集多个视频流，再在主播终端以主播身份将该多个视频流合成推送至直播间的视频流，例如主播刚开始是利用PC端进行直播，然后主播要暂时转移直播场景，此时可以利用手机端采集另一场景的视频流然后与PC端的视频流合并从而实现多源直播；②由主播终端采集第一视频流，再连接多个用户并接收该些用户的第二终端采集的第二视频流，再在主播终端上以主播身份将该多个视频流合成推送至直播间的视频流进而实现多源直播。用户点击如图2中的“我是主播”按钮，然后登陆直播平台的用户身份信息，再通过配置直播间的标题、封面图片等信息后，即可以主播用身份开启多源直播。
具体的，所述预协议信息包含直播间特征信息、主播身份信息，另外还包含建立主播终端与第二终端的专属链路的授权令牌或鉴权信息，其通过加密方式处理、存储在预协议信息中，必须经相应授权的应用程序才能从预协议信息中解析、得到所述直播间特征信息、主播身份信息。一般地，预协议信息由各直播平台自行定义，经该直播平台授权的应用程序识别表征所述预协议信息的形式后方能得到所述预协议信息。直播间特征信息为直播间的频道ID，用以确定唯一的直播间，主播身份信息为主播用户的UID，用以确定用户的主播身份。
具体的，所述预协议信息以二维码、特征口令或链接的形式表征。
如图3所示是以二维码的形式表征预协议信息的示意图，二维码是通过特定的几何图形按预定的规律在二维平面上分布的黑白相间的图形记录数据符号信息，二维码在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念，使用多个与二进制相对应的几何形体来表示文字、数值等信息，可以通过图象输入设备或光电扫描设备识读二维码以获取二维码中包含的信息。二维码具有条码技术的多个共性：每种码制有其特定的字符集；每个字符占有预定的宽度；并且具有一定的校验功能等。
另外，预协议信息亦可以如图4所示的特征口令的形式表征；同时，预协议信息亦可以如图5所示的链接的形式表征。不管预协议信息以何种形式表征，其均需由各直播平台授权的应用程序根据预先设定的协议获取其中的预协议信息，再进行后续操作。
步骤S200：将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求。
主播用户开启多源直播后，视频直播客户端将主播用户终端配置为一台服务器以接收第二终端的视频流，为了区别于直播平台的服务器，本实施例亦称主播用户终端为服务器终端；同时，主播用户将直播客户端输出的预协议信息发送给其它用户/终端设备，以使该些第二终端根据所述预协议信息向服务器终端发起连接请求。
具体的，所述第二终端根据所述预协议信息向主播用户终端发起连接请求后，直播平台服务器验证预协议信息，验证成功则视该连接请求为合法连接请求，然后为主播用户终端跟第二终端建立专属的通信链路连接以使双方直接进行数据传输，此时，第二终端与主播用户终端以长连接的形式保持双方的通信链路连接。长连接即是客户端长时间的连接在服务器上，在本实施例中，由于主播用户终端被配置为服务器终端，所述长连接即指第二终端的视频直播客户端长时间的连接在服务器终端(即主播用户终端)上，保持长连接的通信双方在一个连接上可以连续发送多个数据包，一般服务器都设有超时限制即一定时间内连接处于非活动状态(没有任何数据传输)服务器就会把连接自动断开，所以需要客户端每隔一段时间给服务端发送一个心跳检测数据包以保持长链接。所以在本实施例中，主播用户终端与第二终端在长连接保持期间，如果没有数据包发送，需要第二终端的视频直播客户端每隔一段时间给主播用户终端发送一个心跳数据包以保持长链接，长连接适用于点对点通讯，对于视频直播领域而言，本发明可以大大减少直播平台服务器的带宽，降低直播平台服务器的压力。
步骤S300：响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流。
主播用户的视频直播客户端响应所述连接请求，在视频直播界面上显示保持长连接状态的一个或多个第二终端，受限于长连接的特性及视频直播界面的大小，与主播用户终端保持长连接的第二终端的数量优选小于等于5个，同时，在主播用户选定与其中一个或多个第二终端确认连接后，此时第二终端将第二视频流传输至服务器终端，双方不再需要发送心跳检测包，服务器终端(即主播用户终端)接收所述第二终端采集的第二视频流；另外，主播用户可随时在主播用户终端的操作界面上取消接收第二终端的视频流，此时第二终端不再发送第二视频流至服务器终端，在达到规定的时间后，第二终端再次向服务器终端发送心跳检测包，以保持与服务器终端的长连接；再者，主播用户亦可断开与第二终端的长连接，在断开后达到规定的时间，第二终端再次向服务器终端发送心跳检测包，服务器终端没有反馈，则此时第二终端断开与服务器终端的长连接。
步骤S400：将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
在主播用户与至少一个第二终端确认连接后接收第二终端采集的视频流，同时将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流；例如主播终端接收一个第二视频流，此时在主播用户终端上的视频流包括一个第一视频流的图像流和音频流、及一个第二视频流的图像流和音频流，在合成为第三视频流时，根据主播用户的选择对于第一视频流和第二视频流的音频流择一选用或调整其中一个音频流的音量大小以不影响另一音频流的播放。如图6所示是本发明选定连接2个第二视频流后的第三视频流的示意图。
在本实施例中，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。并行工作是指同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的工作，并行工作具有①时间重叠性：相邻处理过程在时间上错开，轮流重叠使用同一套硬件的各部分；②资源共享性：让多个用户按照一定的时间顺序轮流使用同一套资源，提高资源利用率；③资源重复：重复设置硬件资源，提高硬件可靠性和性能。具体的，对于本发明实施例而言，并行工作是指主播终端在接收第二直频流时，可以同步/同步采集第一视频流，并同时/同步将所采集的第一视频流和所接收到的第二视频流合并成第三视频流，且同时/同步将第三视频流上传到服务器，保证了直播视频流的同时/同步性。
相应地，如图7所示，本发明还提供一种直播间视频流合成装置，包括：
输出模块100：用于响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息。
用户点击如图2中的“我是主播”按钮，然后登陆直播平台的用户身份信息，再通过配置直播间的标题、封面图片等信息后，即可以主播用身份开启多源直播，即触发开启多源直播的操作指令，输出模块100将包含直播间特征信息及主播身份信息的预协议信息以如图3的二维码形式、图4的特征口令形式、图5的链接形式输出。
配置模块200：用于将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求。
主播用户开启多源直播后，配置模块200将主播用户终端配置为一台服务器以接收第二终端的视频流，为了区别于直播平台的服务器，本实施例亦称主播用户终端为服务器终端；同时，主播用户将直播客户端输出的预协议信息发送给其它用户/终端设备，以使该些第二终端根据所述预协议信息向服务器终端发起连接请求。
接收模块300：用于响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流。
接收模块300响应所述连接请求，在视频直播界面上显示保持长连接状态的一个或多个第二终端，同时，在主播用户选定与其中一个或多个第二终端确认连接后，此时第二终端将第二视频流传输至服务器终端，双方不再需要发送心跳检测包，接收模块300接收所述第二终端采集的第二视频流。
合成模块400：用于将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
在主播用户与至少一个第二终端确认连接后接收第二终端采集的视频流，合成模块400同时将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。所述视频流包括图像流和音频流，所述第三直播视频流包括第一直播视频流、第二直播视频流至少之一的或者两者合成后的图像流，还包括该两者至少之一的音频流。
在本实施例中，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。具体的，对于本发明实施例而言，并行工作是指接收模块300在接收第二直频流时，可以同步/同步采集第一视频流，并同时/同步合成模块400将所采集的第一视频流和所接收到的第二视频流合并成第三视频流，且同时/同步将第三视频流上传到服务器，保证了直播视频流的同时/同步性。
另外，本发明还提供一种终端设备，包括存储器、处理器，所述存储器用于存储上述方法实现过程中产生的候选中间数据以及结果数据，所述处理器用于调用执行以程序形式存储于所述存储器的所述直播间视频流合成方法的任意一项步骤。
本发明将主播终端配置为服务器终端，用以接收第二终端采集后直接发送至主播终端的视频流，再由主播终端将所有视频流合成推送至直播间的视频流，直播间的观众用户看到的视频流与主播终端上的视频流一致，保证了视频流的同时性；同时，由于主播终端被配置为服务器终端，第二终端采集的视频流不需经过直播平台的服务器而直接发送至主播终端，直播平台服务器只需接收主播终端上传的最终推向直播间的视频流，并且将其推送至直播间的每个观看用户，避免大量的第二终端将视频流上传至服务器，减少了网络带宽的占用，降低了直播平台服务器的压力；再者，上述推向直播间的视频流适配于各种直播视频播放前端(PC端、移动端、WEB端)，无需再为多种前端适配不同的视频流解析协议，彻底解放前端。
虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种直播间视频流合成方法，其特征在于，包括如下步骤：
响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息；
将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求；
响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流；
将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
2.根据权利要求1所述的方法，其特征在于，所述预协议信息以二维码、特征口令或链接的形式表征。
3.根据权利要求1所述的方法，其特征在于，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。
4.根据权利要求1所述的方法，其特征在于，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。
5.根据权利要求1所述的方法，其特征在于，所述第二终端根据所述预协议信息向主播用户终端发起连接请求，并与主播用户终端保持长连接。
6.一种直播间视频流合成装置，其特征在于，包括：
输出模块：用于响应于主播用户开启多源直播的操作指令，输出包含直播间特征信息及主播身份信息的预协议信息；
配置模块：用于将主播用户终端配置为服务器终端并接收第二终端根据所述预协议信息发起的连接请求；
接收模块：用于响应于所述连接请求，在主播用户与至少一个第二终端确认连接后，接收所述第二终端采集的第二视频流；
合成模块：用于将本地采集的第一视频流与所述第二视频流合成为第三视频流后上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
7.根据权利要求6所述的装置，其特征在于，所述预协议信息以二维码、特征口令、链接等形式表征。
8.根据权利要求6所述的装置，其特征在于，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。
9.根据权利要求6所述的装置，其特征在于，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。
10.一种终端设备，其特征在于，包括：处理器、存储器，其特征在于，所述处理器用于调用执行以程序形式存储于所述存储器的如权利要求1～5任意一项所述方法的步骤。
CN201611049302.3A 2016-11-22 2016-11-22 直播间视频流合成方法、装置及终端设备 Active CN106792245B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611049302.3A CN106792245B (zh) 2016-11-22 2016-11-22 直播间视频流合成方法、装置及终端设备
PCT/CN2017/105017 WO2018095146A1 (zh) 2016-11-22 2017-09-30 直播间视频流合成方法、装置及终端设备
US16/419,022 US20190273955A1 (en) 2016-11-22 2019-05-22 Method, device and terminal apparatus for synthesizing video stream of live streaming room

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611049302.3A CN106792245B (zh) 2016-11-22 2016-11-22 直播间视频流合成方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN106792245A CN106792245A (zh) 2017-05-31
CN106792245B true CN106792245B (zh) 2018-04-20

Family

ID=58910512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611049302.3A Active CN106792245B (zh) 2016-11-22 2016-11-22 直播间视频流合成方法、装置及终端设备

Country Status (3)

Country Link
US (1) US20190273955A1 (zh)
CN (1) CN106792245B (zh)
WO (1) WO2018095146A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106792245B (zh) * 2016-11-22 2018-04-20 广州华多网络科技有限公司 直播间视频流合成方法、装置及终端设备
CN107547910A (zh) * 2017-08-24 2018-01-05 深圳依偎控股有限公司 一种基于多设备直播的方法及装置
CN108055577A (zh) * 2017-12-18 2018-05-18 北京奇艺世纪科技有限公司 一种直播交互方法、系统、装置及电子设备
CN108156501A (zh) * 2017-12-29 2018-06-12 北京安云世纪科技有限公司 用于对视频数据进行动态合成的方法、系统以及移动终端
CN108449623B (zh) * 2018-03-27 2021-07-27 卓米私人有限公司 抓取物体的控制方法、服务器和目标客户端
CN108600239A (zh) * 2018-05-01 2018-09-28 北京学易科技有限公司 数据合成方法及装置、客户端、服务器
CN108833931A (zh) * 2018-06-28 2018-11-16 南京曼殊室信息科技有限公司 一种异地用3d全息影像交互直播平台
CN108924641A (zh) * 2018-07-16 2018-11-30 北京达佳互联信息技术有限公司 直播方法、装置及计算机设备及存储介质
CN108900920B (zh) * 2018-07-20 2020-11-10 广州虎牙信息科技有限公司 一种直播处理方法、装置、设备及存储介质
CN108965904B (zh) * 2018-09-05 2021-08-06 阿里巴巴（中国）有限公司 一种直播间的音量调节方法及客户端
CN109525460B (zh) * 2018-11-26 2020-10-13 视联动力信息技术股份有限公司 一种视联网号码资源监测的方法和装置
CN109640171A (zh) * 2018-12-07 2019-04-16 北京微播视界科技有限公司 多媒体信息合成方法、电子设备及计算机可读存储介质
CN110493610A (zh) * 2019-08-14 2019-11-22 北京达佳互联信息技术有限公司 聊天室开启视频画面的方法、装置、电子设备及存储介质
CN112788349B (zh) * 2019-11-01 2022-10-04 上海哔哩哔哩科技有限公司 数据流推送方法、系统、计算机设备及可读存储介质
CN111131908B (zh) * 2019-12-19 2021-12-28 广州方硅信息技术有限公司 语音礼物的接收方法、装置、设备及存储介质
CN111263220B (zh) * 2020-01-15 2022-03-25 北京字节跳动网络技术有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN111355973B (zh) * 2020-03-09 2021-10-15 北京达佳互联信息技术有限公司 数据播放方法、装置、电子设备及存储介质
CN111355974A (zh) * 2020-03-12 2020-06-30 广州酷狗计算机科技有限公司 虚拟礼物赠送处理的方法、装置、系统、设备及存储介质
CN111541906B (zh) * 2020-04-22 2022-07-05 广州酷狗计算机科技有限公司 数据发送方法、装置、计算机设备及存储介质
CN111814732B (zh) * 2020-07-23 2024-02-09 度小满科技(北京)有限公司 一种身份验证方法及装置
CN112235589B (zh) * 2020-10-13 2022-07-12 中国联合网络通信集团有限公司 网络直播识别方法、边缘服务器、计算机设备及存储介质
CN112333460B (zh) * 2020-11-02 2021-10-26 腾讯科技（深圳）有限公司 一种直播管理方法、计算机设备及可读存储介质
CN112423012B (zh) * 2020-11-18 2023-05-09 青岛华升联信智慧科技有限公司 一种多级负载的直播方法
CN112738540B (zh) * 2020-12-25 2023-09-05 广州虎牙科技有限公司 多设备直播切换方法、装置、系统、电子设备和可读存储介质
CN115086689B (zh) * 2021-03-15 2024-04-05 阿里巴巴创新公司 虚拟直播管理方法、电子设备及计算机存储介质
US11917214B1 (en) 2022-10-20 2024-02-27 Lemon Inc. Methods and systems for live streaming recommended content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530535A (zh) * 2014-09-29 2016-04-27 中兴通讯股份有限公司 一种多人观看视频实时互动的方法及系统
CN105763883A (zh) * 2016-02-19 2016-07-13 锐达互动科技股份有限公司 一种基于录播设备和云平台的直播方法
CN105847913A (zh) * 2016-05-20 2016-08-10 腾讯科技（深圳）有限公司 一种控制视频直播的方法、移动终端及系统
WO2016144985A1 (en) * 2015-03-10 2016-09-15 Microsoft Technology Licensing, Llc Automatic provisioning of meeting room device
WO2016163724A1 (en) * 2015-04-10 2016-10-13 Novavin, Inc. Method and system for outputting performance and creating performance content
CN106105246A (zh) * 2016-06-24 2016-11-09 北京小米移动软件有限公司 直播显示方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8910208B2 (en) * 2009-12-07 2014-12-09 Anthony Hartman Interactive video system
CN201623797U (zh) * 2010-04-30 2010-11-03 第一视频通信传媒有限公司 一种多画面网络直播系统
GB2526245A (en) * 2014-03-04 2015-11-25 Microsoft Technology Licensing Llc Sharing content
CN105407384A (zh) * 2014-09-15 2016-03-16 上海天脉聚源文化传媒有限公司 一种利用二维码标识媒体播放内容的方法、装置及系统
CN104581221A (zh) * 2014-12-25 2015-04-29 广州酷狗计算机科技有限公司 视频直播的方法和装置
CN104639905B (zh) * 2015-02-03 2016-07-06 广西智询信息科技有限公司 一种适用于iOS系统移动终端直播的无线视频监控方法
CN105306468B (zh) * 2015-10-30 2019-01-11 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN105472368A (zh) * 2015-11-25 2016-04-06 深圳凯澳斯科技有限公司 一种面向集群终端的立体视频直播系统
CN105704502B (zh) * 2016-01-19 2018-11-20 丁一 视频直播交互方法及装置
CN105847263A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 视频直播的方法、装置及系统
CN105959719A (zh) * 2016-06-27 2016-09-21 徐文波 一种视频直播方法、装置和系统
CN106792245B (zh) * 2016-11-22 2018-04-20 广州华多网络科技有限公司 直播间视频流合成方法、装置及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530535A (zh) * 2014-09-29 2016-04-27 中兴通讯股份有限公司 一种多人观看视频实时互动的方法及系统
WO2016144985A1 (en) * 2015-03-10 2016-09-15 Microsoft Technology Licensing, Llc Automatic provisioning of meeting room device
WO2016163724A1 (en) * 2015-04-10 2016-10-13 Novavin, Inc. Method and system for outputting performance and creating performance content
CN105763883A (zh) * 2016-02-19 2016-07-13 锐达互动科技股份有限公司 一种基于录播设备和云平台的直播方法
CN105847913A (zh) * 2016-05-20 2016-08-10 腾讯科技（深圳）有限公司 一种控制视频直播的方法、移动终端及系统
CN106105246A (zh) * 2016-06-24 2016-11-09 北京小米移动软件有限公司 直播显示方法、装置及系统

Also Published As

Publication number Publication date
US20190273955A1 (en) 2019-09-05
WO2018095146A1 (zh) 2018-05-31
CN106792245A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106792245B (zh) 直播间视频流合成方法、装置及终端设备
CN106658205B (zh) 直播间视频流合成控制方法、装置及终端设备
JP6818144B2 (ja) ライブルームの映像ストリームのプッシュ制御方法及び相応するサーバーと移動端末
CN106331581B (zh) 一种移动终端与视联网终端通信的方法和装置
CN103491179B (zh) 基于Web的多屏互动方法及系统
EP2826241B1 (en) Use of a conferencing system for providing remote assistance
US20090172083A9 (en) Personal video network
CN112839250B (zh) 无线传屏方法及装置
US20120287231A1 (en) Media sharing during a video call
US10165229B2 (en) Network communication system and method thereof
CN103632332A (zh) 题目问答方法、装置及系统
Pang et al. Research of android smart phone surveillance system
US9756096B1 (en) Methods for dynamically transmitting screen images to a remote device
CN108259813A (zh) 多功能传屏装置、系统及方法
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
CN104079597A (zh) 媒体流的转移方法和用户设备
CN103259709A (zh) 一种基于虚拟专用网络的端到端的手机实时视频传输方法
CN108293104A (zh) 信息处理系统、无线终端和信息处理方法
KR100628322B1 (ko) 비통신기기를 통하여 방송통신 융합서비스를 중개하는액세스 미디에이터 시스템
CN110267093A (zh) 直播视频推送方法、装置、存储介质、终端及直播镜
CN104301400B (zh) 基于Samba协议的多屏协同及资源共享方法
US20010053134A1 (en) Router for a personal wireless network
CN110868620A (zh) 基于电视机的远程互动系统及方法
EP3289766B1 (en) A method and system for transmitting on demand videos of fitness sessions on fixed and/or mobile electronic devices
CN105099886B (zh) 一种图像传输的方法、设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170531

Assignee: GUANGZHOU HUYA INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: Guangzhou Huaduo Network Technology Co., Ltd.

Contract record no.: 2018990000088

Denomination of invention: Live-broadcasting room video stream synthesis method and apparatus, and terminal equipment

License type: Common License

Record date: 20180413

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170531

Assignee: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021980000101

Denomination of invention: Video stream composition method, device and terminal equipment in live broadcasting room

Granted publication date: 20180420

License type: Common License

Record date: 20210106

EE01 Entry into force of recordation of patent licensing contract