CN106658205B - 直播间视频流合成控制方法、装置及终端设备 - Google Patents

直播间视频流合成控制方法、装置及终端设备 Download PDF

Info

Publication number
CN106658205B
CN106658205B CN201611049270.7A CN201611049270A CN106658205B CN 106658205 B CN106658205 B CN 106658205B CN 201611049270 A CN201611049270 A CN 201611049270A CN 106658205 B CN106658205 B CN 106658205B
Authority
CN
China
Prior art keywords
video stream
video
terminal
stream
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611049270.7A
Other languages
English (en)
Other versions
CN106658205A (zh
Inventor
于川
余蒙
徐光兴
吴昊
苏庆辉
陆锦铃
郭业翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201611049270.7A priority Critical patent/CN106658205B/zh
Publication of CN106658205A publication Critical patent/CN106658205A/zh
Priority to PCT/CN2017/107317 priority patent/WO2018095174A1/zh
Application granted granted Critical
Publication of CN106658205B publication Critical patent/CN106658205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及网络直播技术领域，具体涉及一种直播间视频流合成控制方法、装置及终端设备，所述方法包括步骤：显示与第二视频流个数相对应的一个或多个视频控件；响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；将第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。通过将主播终端配置为服务器终端，减少带宽占用，进而降低服务器压力，另外在多源直播模式下通过不同的方式选择连接的第二视频流，增强主播跟用户之间的互动，活跃直播间气氛，使多源直播下的直播内容更好地呈现给直播间的观众用户。

Description

直播间视频流合成控制方法、装置及终端设备
【技术领域】
本发明涉及网络直播技术领域，具体涉及一种直播间视频流合成控制方法、装置及终端设备。
【背景技术】
随着互联网技术及智能移动终端设备的发展，各种互联网产品给人们的工作、生活带来了很多便利与娱乐，近年来，各类用于视频直播的直播平台层出不穷，视频直播给人们带来更实时的社交体验。目前的直播平台包括了用于移动端的直播平台和用于PC端的直播平台。
由于视频直播需求的多样性，用户需要同时直播多个移动端的内容或同时直播多个PC端的内容或同时直播移动端跟PC端的内容，例如用户开始在PC端上直播，然后想暂时转移直播场景至户外，利用移动端直播户外此时发生的情况，在现有技术中，往往需要主播用户在移动端重新建立一个直播间开启户外直播，然后原来直播间的观看用户需要重新进入新的直播间后才能看到主播进行的户外直播，由于户外直播是暂时性的，在户外直播停止后，主播重新回到PC端直播，而观看用户又得重新进入该主播的PC端的直播间，这种方式下主播用户跟观看用户的操作过程繁琐，无法给主播用户跟观看用户带来良好体验，降低直播平台口碑，造成用户流失。另外，例如主播用户想要邀请好友、观众一起直播，在现在技术下，只有好友或观众亦是主播用户才可以进行一起直播。
所以，如何在多个终端同时直播的多源直播模式下更好地对多个来源的视频流进行管控，如何在多源直播模式下实现主播跟观众更好的互动效果，并且如何对视频流的合成进行更好地控制以提升直播的质量跟内容是目前网络视频直播领域中亟需解决的问题。
【发明内容】
本发明的首要目的在于提供一种直播间视频流合成控制方法及装置。
本发明的另一目的在于提供一种实行、实现上述直播间视频流合成控制方法的终端设备。
为实现该目的，本发明采用如下技术方案：
第一方面，本发明提供一种直播间视频流合成控制方法，包括如下步骤：
显示与第二视频流个数相对应的一个或多个视频控件；
响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；
将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
具体的，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。
进一步的，所述选定指令包括由主播用户选择至少一个视频控件的选定指令，和根据预设规则选择至少一个视频控件的选定指令。
更进一步的，所述选定指令还包括由主播用户选用预设的多个排版布局之一作为第三视频流的指定布局的选定指令。
具体的，所述排版布局包括第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局。
进一步的，所述的方法还包括步骤：
响应作用于所述第三视频流在用户界面上的排版布局的编辑指令，改变第三视频流的图像排版布局效果。
更进一步的，所述的方法还包括步骤：
响应作用于第二视频流的音频流的操作指令，打开/关闭第二视频流的音频流或调整第二视频流的音频流的大小。
优选的，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。
第二方面，本发明还提供一种直播间视频流合成控制装置，包括：
调用模块：用于显示与第二视频流个数相对应的一个或多个视频控件；
合成模块：用于响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；
上传模块：用于将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
相应的，本发明还提供一种执行、实现上述直播间视频流合成控制方法的终端设备，包括处理器、存储器，所述处理器用于调用执行以程序形式存储于所述存储器的上述直播间视频流合成控制方法任意一项所述方法的步骤。
与现有技术相比，本发明具备如下优点：
(1)本发明将主播终端配置为服务器终端，用以接收第二终端采集后直接发送至主播终端的第二视频流，再由主播终端将所有视频流合成推送至直播间的视频流，直播间的观众用户看到的视频流与主播终端上的视频流一致，保证了视频流的同时性；
(2)同时，利用长连接保持主播终端与第二终端的通信链路，对于多个来源的第二视频流，在主播终端上选定连接任意一个第二视频流后，接收被选定的第二视频流，并且选择连接任意一个第二视频流的过程可通过随机方式选择且展示在直播画面中，增强主播与观众用户的互动效果；
(3)再者，主播可调整合成的视频流的画面排版布局及音频效果，以更好地突出直播内容，营造更好的直播效果。
显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
图1为本发明直播间视频流合成控制方法的一实施例流程示意图；
图2为本发明主播终端开启多源直播模式后的直播界面示意图；
图3为本发明选定连接2个第二视频流后的第三视频流的排版布局示意图；
图4为本发明直播间视频流合成控制装置的一实施例示意图；
图5是实现本发明所述直播间视频流合成控制方法的系统示意图。
【具体实施方式】
下面结合附图和示例性实施例对本发明作进一步地描述，其中附图中相同的标号全部指的是相同的部件。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。
本技术领域技术人员可以理解，本发明所述的用户界面/操作界面泛指能够用于向智能终端发送控制指令的显示界面，例如，可以为Andro i d系统的设置页面中的一个选项(或按键，由所述应用程序添加其中，下同)，也可以是从桌面呼出的通知栏或者交互页面中的一个选项，还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
直播间：本发明所述直播间包括以下含义，①一种基于网络直播平台创建的一个虚拟空间(或虚拟房间)，直播间一般由主播客户端创建并连接有多个观看客户端，即直播间中包括了主播及多个观众，位于该虚拟空间内的观看客户端可以观看主播客户端的直播内容，同时主播客户端的用户与观看客户端的用户、观看客户端的用户与观看客户端的用户之间还可以进行语音、图片、文字或赠送电子赠品的互动；②一种以群组方式将用户聚合在一起的即时通讯平台，例如视频会议系统，用户通过登录客户端的方式进入群组，用户在群组内以群组成员的身份存在，同一个群组内包含有多个群组成员，用户可任意加入或退出群组，在群组内，可以进行文字、语音、视频等多种互动。
如图1所示是本发明直播间视频流合成控制方法的一实施例流程示意图，包括如下步骤：
本实施例中，为了便于说明，所述第一视频流为以主播身份开启直播的主播用户终端所采集的视频流，所述第二视频流为与主播终端连接的第二用户终端所采集的视频流。
步骤S100：显示与第二视频流个数相对应的一个或多个视频控件。
多源直播是指在一个直播画面中同时存在有多个来源的视频流的直播方式，该多个来源的视频流可以是主播用户利用多个拍摄设备采集的多个视频流或主播用户邀请其他用户一起直播时的多个用户终端采集的视频流；在本实施例中，主播用户开启多源直播模式，第二终端申请与主播终端连接以进行多源直播，此时的主播终端被配置为服务器终端，用于接收第二终端发送而来的第二视频流，在主播用户确认接收第二视频流前，第二终端与主播终端以长连接的形式保持双方的通信链路连接，在长连接保持期间，如果没有视频流数据的传输，需要第二终端每隔一段时间给主播终端发送一个心跳数据包以保持该长链接，在主播用户确认接收第二视频流后第二终端通过所述通信链路将第二视频流发送至主播终端。
本实施例中，与主播终端保持长连接的一个或多个第二终端(也即第二视频流)以视频控件的形式显示在主播终端的用户界面上，每一个视频控件对应一个第二视频流的选择入口，并且在所述视频控件中还包含用于区分多个第二视频流的特征信息，通过选择视频控件可以触发接收对应的第二视频流，优选的，所述特征信息为第二终端用户在直播平台上的用户名。
如图2所示是主播终端开启多源直播模式后的直播界面示意图，图2中示出4个第二终端申请与主播终端连接以进行多源直播，在直播界面的上方以4个视频控件显示与主播终端保持长连接的4个第二终端的第二视频流，并且在视频控件中添加了用于区分不同第二视频流的特征信息，即第二终端用户在直播平台上的用户名，如图2中的“虎牙第一妖男”、“老邢姑娘sds”、“小人鱼老司机”及“每天不一样…”。
步骤S200：响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本机采集的第一视频流合成为第三视频流。
在显示于主播终端用户界面上的视频控件，当发生作用于所述视频控件的至少一个的选定操作时，触发相应的选定指令，主播终端响应于所述选定指令开始接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本机采集的第一视频流合成为第三视频流。
所述选定指令的一种实施方式是，所述选定指令为由主播用户选择至少一个视频控件的选定指令，该方式下主播用户持有选择任何一个或多个第二终端用户所对应的视频控件的控制权，主播用户可以根据自己对第二终端用户的喜好选择一个或多个第二终端用户所对应的视频控件，以接收该视频控件对应的第二视频流；所述选定指令的另一种实施方式，为了增强主播与用户的活动，活跃直播间气氛，并且让更多用户参与其中，所述选定指定为根据预设规则选择至少一个视频控件的选定指令，优选的，所述预设规则为从连接的多个第二视频流对应的多个视频控件中以随机方式选定一个或多个视频控件，以接收该视频控件对应的第二视频流，随机选择的过程同时也表现在第三视频流中，在保持长连接的第二视频流的数量有一定限制时，该方式可以增强主播跟用户之间的互动效果。
进一步的，所述选定指令还包括由主播用户选用预设的多个排版布局之一作为第三视频流的指定布局的选定指令。在选定了连接的第二视频流所对应的视频控件后，需由主播用户选择第三视频流的排版布局，其中，主播终端预设了多个第三视频流的排版布局，包括连接1个、2个、3个第二视频流时的排版布局，并且所述排版布局包括第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局，如图3所示是选定连接2个第二视频流(“虎牙第一妖男”和“老邢姑娘sds”)后的第三视频流的排版布局示意图。
进一步的，在根据所选定的排版布局作为第三视频流的指定布局显示合成的第三视频流后，主播用户还可以根据需要修改第三视频流的排版布局，主播终端响应作用于所述第三视频流在用户界面上的排版布局的编辑指令，改变第三视频流的图像排版布局效果，其中，针对第三视频流的排版布局的编辑包括针对第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局，如图3所示，主播用户选择其中一个位于直播画面右上角的第二视频流，该第二视频流的画面以框线突出显示已被选定状态，主播用户可以通过拖动框线以修改该第二视频流的图形流的图像大小、通过点击该第二视频流画面下方从左往右数起的第二个按钮以修改该第二视频流的图形流的图像倾斜角度。
另外，本实施例还包括步骤：响应作用于第二视频流的音频流的操作指令，打开/关闭第二视频流的音频流或调整第二视频流的音频流的大小。主播用户还可以根据需要调整第二视频流的音频流，其中包括打开/关闭第二视频流的音频流和调整第二视频流的音频流的大小，一般地，在第二视频流的图像画面中设有该第二视频流的音频流的操作按钮，如图3所示的直播画面右上角的第二视频流的画面下方从左往右数起的第三个按钮，主播用户可以操作该按钮以打开/关闭第二视频流的音频流和调整第二视频流的音频流的大小。
步骤S300：将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
在合成第三视频流后，主播终端将第三视频流上传到直播平台的服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流，在本实施例中，所述直播终端接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作，并行工作是指同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的工作，并行工作具有①时间重叠性：相邻处理过程在时间上错开，轮流重叠使用同一套硬件的各部分；②资源共享性：让多个用户按照一定的时间顺序轮流使用同一套资源，提高资源利用率；③资源重复：重复设置硬件资源，提高硬件可靠性和性能。具体的，对于本发明实施例而言，并行工作是指主播终端在接收第二直频流时，可以同步/同步采集第一视频流，并同时/同步将所采集的第一视频流和所接收到的第二视频流合并成第三视频流，在此期间，还包括对第三视频流的排版布局的修改，对第二视频流的音频流的操作，且同时/同步将第三视频流上传到服务器，保证了直播视频流的同时/同步性。
相应的，如图2所示是本发明直播间视频流合成控制装置的一实施例示意图，包括：
调用模块100：用于显示与第二视频流个数相对应的一个或多个视频控件。
在本实施例中，主播用户开启多源直播模式，第二终端申请与主播终端连接以进行多源直播，此时的主播终端被配置为服务器终端，用于接收第二终端发送而来的第二视频流，在主播用户确认接收第二视频流前，第二终端与主播终端以长连接的形式保持双方的通信链路连接，在长连接保持期间，如果没有视频流数据的传输，需要第二终端每隔一段时间给主播终端发送一个心跳数据包以保持该长链接，在主播用户确认接收第二视频流后第二终端通过所述通信链路将第二视频流发送至主播终端，此时调用模块100将与主播终端保持长连接的一个或多个第二终端(也即第二视频流)以视频控件的形式显示在主播终端的用户界面上，并且，在所述视频控件中还包含用于区分多个第二视频流的特征信息，优选的，所述特征信息为第二终端用户在直播平台上的用户名。
合成模块200：用于响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流。
在调用模块100将视频控件显示于主播终端用户界面上后，当发生作用于所述视频控件的至少一个的选定操作时，触发相应的选定指令，合成模块200响应于所述选定指令开始接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本机采集的第一视频流合成为第三视频流。
上传模块300：用于将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
在合成模块200合成第三视频流的同时，上传模块300将第三视频流上传到直播平台的服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流，在本实施例中，所述合成模块200接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传模块300上传第三视频流的过程并行工作。并行工作是指合成模块200在接收第二直频流时，可以同步/同步采集第一视频流，并同时/同步将所采集的第一视频流和所接收到的第二视频流合并成第三视频流，在此期间，还包括对第三视频流的排版布局的修改，对第二视频流的音频流的操作，且上传模块300同时/同步将第三视频流上传到服务器，保证了直播视频流的同时/同步性。
另外，本发明还提供一种终端设备，包括存储器、处理器，所述存储器用于存储上述方法实现过程中产生的候选中间数据以及结果数据，所述处理器用于调用执行以程序形式存储于所述存储器的所述直播间视频流合成控制方法的任意一项步骤。
如图5所示是实现本发明所述直播间视频流合成控制方法的系统示意图，主播用户与第二终端用户通过身份验证后保持主播终端与第二终端的长连接，然后第二终端将第二视频流发送至主播终端，主播终端再同时将本地采集的视频流和接收到的第二视频流合成第三视频流后上传到直播平台的视频流服务器，再通过直播平台的视频流服务器将第三视频流推送给直播间的各个用户。
本发明将主播终端配置为服务器终端，用以接收第二终端采集后直接发送至主播终端的第二视频流，再由主播终端将所有视频流合成推送至直播间的视频流，直播间的观众用户看到的视频流与主播终端上的视频流一致，保证了视频流的同时性；同时，利用长连接保持主播终端与第二终端的通信链路，对于多个来源的第二视频流，在主播终端上选定连接任意一个第二视频流后，接收被选定的第二视频流，并且选择连接任意一个第二视频流的过程可通过随机方式选择且展示在直播画面中，增强主播与观众用户的互动效果；再者，主播可调整合成的视频流的画面排版布局及音频效果，以更好地突出直播内容，营造更好的直播效果。
虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种直播间视频流合成控制方法，其特征在于，包括如下步骤：
主播终端与第二终端通过身份验证后并在主播终端确认接收第二视频流之前，第二终端与主播终端保持长连接，在长连接保持期间，若主播终端与第二终端没有视频流数据的传输，第二终端每隔预设时间给主播终端发送心跳数据包以保持长链接；
显示与主播终端保持长连接的一个或多个第二终端的第二视频流相对应的一个或多个视频控件；所述视频控件中还包含用于区分第二视频流的特征信息，通过选择视频控件可以触发接收对应的第二视频流；所述主播终端被配置为服务器终端；
响应作用于所述视频控件的至少一个的选定指令，所述选定指令还包括由主播用户选用预设的多个排版布局之一作为第三视频流的指定布局的选定指令；接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；
将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
2.根据权利要求1所述的方法，其特征在于，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。
3.根据权利要求1所述的方法，其特征在于，所述选定指令包括由主播用户选择至少一个视频控件的选定指令，和根据预设规则选择至少一个视频控件的选定指令。
4.根据权利要求1所述的方法，其特征在于，所述排版布局包括第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局。
5.根据权利要求4所述的方法，其特征在于，还包括步骤：
响应作用于所述第三视频流在用户界面上的排版布局的编辑指令，改变第三视频流的图像排版布局效果。
6.根据权利要求2所述的方法，其特征在于，还包括步骤：
响应作用于第二视频流的音频流的操作指令，打开/关闭第二视频流的音频流或调整第二视频流的音频流的大小。
7.根据权利要求1所述的方法，其特征在于，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。
8.一种直播间视频流合成控制装置，其特征在于，包括：
调用模块：用于主播终端与第二终端通过身份验证后并在主播终端确认接收第二视频流之前，第二终端与主播终端保持长连接，在长连接保持期间，若主播终端与第二终端没有视频流数据的传输，第二终端每隔预设时间给主播终端发送心跳数据包以保持长链接；显示与主播终端保持长连接的一个或多个第二终端的第二视频流相对应的一个或多个视频控件；所述视频控件中还包含用于区分第二视频流的特征信息，通过选择视频控件可以触发接收对应的第二视频流；所述主播终端被配置为服务器终端；
合成模块：用于响应作用于所述视频控件的至少一个的选定指令，所述选定指令还包括由主播用户选用预设的多个排版布局之一作为第三视频流的指定布局的选定指令；接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；
上传模块：用于将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。
9.一种终端设备，其特征在于，包括处理器、存储器，所述处理器用于调用执行以程序形式存储于所述存储器的如权利要求1～7任意一项所述方法的步骤。
CN201611049270.7A 2016-11-22 2016-11-22 直播间视频流合成控制方法、装置及终端设备 Active CN106658205B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611049270.7A CN106658205B (zh) 2016-11-22 2016-11-22 直播间视频流合成控制方法、装置及终端设备
PCT/CN2017/107317 WO2018095174A1 (zh) 2016-11-22 2017-10-23 直播间视频流合成控制方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611049270.7A CN106658205B (zh) 2016-11-22 2016-11-22 直播间视频流合成控制方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN106658205A CN106658205A (zh) 2017-05-10
CN106658205B true CN106658205B (zh) 2020-09-04

Family

ID=58812856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611049270.7A Active CN106658205B (zh) 2016-11-22 2016-11-22 直播间视频流合成控制方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN106658205B (zh)
WO (1) WO2018095174A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658205B (zh) * 2016-11-22 2020-09-04 广州华多网络科技有限公司 直播间视频流合成控制方法、装置及终端设备
US20180336645A1 (en) * 2017-05-22 2018-11-22 Google Inc. Using machine learning to recommend live-stream content
CN107277636B (zh) * 2017-06-15 2020-04-03 广州华多网络科技有限公司 一种直播过程中的互动方法、用户端、主播端及系统
CN107333162B (zh) * 2017-06-26 2020-08-11 广州华多网络科技有限公司 一种播放直播视频的方法和装置
CN107360160A (zh) * 2017-07-12 2017-11-17 广州华多网络科技有限公司 直播视频与动画融合方法、装置及终端设备
CN107566878B (zh) * 2017-08-07 2020-09-08 北京小米移动软件有限公司 直播中显示图片的方法及装置
CN107396166A (zh) * 2017-08-07 2017-11-24 北京小米移动软件有限公司 直播中显示视频的方法及装置
CN107659825B (zh) * 2017-09-12 2019-01-29 武汉斗鱼网络科技有限公司 一种直播视频留存的方法、装置、服务器、主播端及介质
CN107948756B (zh) * 2017-11-22 2020-07-24 广州华多网络科技有限公司 视频合成控制方法、装置及相应的终端
CN109871115B (zh) * 2017-12-04 2021-09-17 腾讯科技（深圳）有限公司 多媒体交互中的控制方法、装置和计算机可读存储介质
CN108055577A (zh) * 2017-12-18 2018-05-18 北京奇艺世纪科技有限公司 一种直播交互方法、系统、装置及电子设备
CN111050185B (zh) * 2018-10-15 2022-08-16 武汉斗鱼网络科技有限公司 直播间连麦视频混流方法、存储介质、电子设备及系统
CN111182348B (zh) * 2018-11-09 2022-06-14 阿里巴巴集团控股有限公司 直播画面展示的方法、装置、存储装置和终端
CN109727501A (zh) * 2019-01-07 2019-05-07 北京汉博信息技术有限公司 一种教学系统
CN112312144B (zh) * 2019-07-31 2022-11-29 腾讯科技（深圳）有限公司 一种直播方法、装置、设备和存储介质
CN110740346B (zh) * 2019-10-23 2022-04-22 北京达佳互联信息技术有限公司 视频数据处理方法、装置、服务器、终端和存储介质
CN113163215B (zh) * 2020-01-22 2024-07-16 华为云计算技术有限公司 基于云手机的直播方法和直播系统
CN113259692A (zh) * 2020-02-11 2021-08-13 上海哔哩哔哩科技有限公司 直播互动方法及系统
CN112291502B (zh) * 2020-02-24 2023-05-26 北京字节跳动网络技术有限公司 信息交互方法、装置、系统和电子设备
CN113727164B (zh) * 2020-05-26 2024-04-26 百度在线网络技术（北京）有限公司 直播间入口显示方法、装置、电子设备和存储介质
CN111954054B (zh) * 2020-06-05 2022-03-04 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备
CN111814732B (zh) * 2020-07-23 2024-02-09 度小满科技(北京)有限公司 一种身份验证方法及装置
CN111866440B (zh) * 2020-07-29 2021-03-09 全时云商务服务股份有限公司 一种推送视频数据方法、装置、设备及存储介质
CN112272283A (zh) * 2020-09-14 2021-01-26 重庆国翔创新教学设备有限公司 基于双摄像头的多方在线学习方法、客户端及服务器
CN112188222A (zh) * 2020-09-25 2021-01-05 吕庆新 信息采集处理设备及其应用、信息转制方法、计算机可读介质、信息采集处理方法
CN114765695B (zh) * 2021-01-15 2024-06-18 北京字节跳动网络技术有限公司 一种直播数据处理方法、装置、设备及介质
CN112954370B (zh) * 2021-01-28 2023-09-26 深圳点猫科技有限公司 一种用于音视频直播的编码方法、装置及设备
CN113225577B (zh) * 2021-05-07 2022-10-11 北京百度网讯科技有限公司 直播流处理方法、装置、系统、电子设备及存储介质
CN115344180A (zh) * 2021-05-13 2022-11-15 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及计算机可读存储介质
CN113453033B (zh) * 2021-06-29 2023-01-20 广州方硅信息技术有限公司 直播间信息传送处理方法及其装置、设备与介质
CN113556610B (zh) * 2021-07-06 2023-07-28 广州方硅信息技术有限公司 视频合成控制方法及其装置、设备与介质
CN114051170A (zh) * 2021-11-16 2022-02-15 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及计算机可读存储介质
CN114466207A (zh) * 2022-01-18 2022-05-10 阿里巴巴（中国）有限公司 直播控制方法及计算机存储介质
CN117376590A (zh) * 2022-06-30 2024-01-09 北京字跳网络技术有限公司 视图渲染方法、装置、电子设备、存储介质及程序产品
CN115767191A (zh) * 2022-11-10 2023-03-07 北京字跳网络技术有限公司 用于直播的方法、装置、设备和存储介质
CN116708867B (zh) * 2023-08-07 2023-11-10 深圳市亿晟科技有限公司 一种直播数据处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341325A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN105357542A (zh) * 2015-11-20 2016-02-24 广州华多网络科技有限公司 直播方法、装置及系统
CN105828091A (zh) * 2016-03-28 2016-08-03 广州华多网络科技有限公司 网络直播中视频节目的播放方法及系统
CN105872569A (zh) * 2015-11-27 2016-08-17 乐视云计算有限公司 视频播放方法、装置及系统
WO2016150317A1 (zh) * 2015-03-23 2016-09-29 阿里巴巴集团控股有限公司 直播视频的合成方法、装置及系统
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890923B2 (en) * 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
CN104486339B (zh) * 2014-12-16 2018-07-10 广州华多网络科技有限公司 社交应用中显示推荐数据的方法和装置
CN106658205B (zh) * 2016-11-22 2020-09-04 广州华多网络科技有限公司 直播间视频流合成控制方法、装置及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341325A (ja) * 2004-05-28 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体
WO2016150317A1 (zh) * 2015-03-23 2016-09-29 阿里巴巴集团控股有限公司 直播视频的合成方法、装置及系统
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN105357542A (zh) * 2015-11-20 2016-02-24 广州华多网络科技有限公司 直播方法、装置及系统
CN105872569A (zh) * 2015-11-27 2016-08-17 乐视云计算有限公司 视频播放方法、装置及系统
CN105828091A (zh) * 2016-03-28 2016-08-03 广州华多网络科技有限公司 网络直播中视频节目的播放方法及系统
CN106028137A (zh) * 2016-06-22 2016-10-12 北京小米移动软件有限公司 直播处理方法及装置

Also Published As

Publication number Publication date
CN106658205A (zh) 2017-05-10
WO2018095174A1 (zh) 2018-05-31

Similar Documents

Publication Publication Date Title
CN106658205B (zh) 直播间视频流合成控制方法、装置及终端设备
WO2018095146A1 (zh) 直播间视频流合成方法、装置及终端设备
CN106792092B (zh) 直播视频流分镜显示控制方法及其相应的装置
EP2933982B1 (en) Media stream transfer method and user equipment
EP3298790A1 (en) Providing low&amp;high quality streams
CN111711833B (zh) 直播视频流推送控制方法、装置、设备及存储介质
CN104067593A (zh) 用于增强的外围设备支持的分组流传输服务能力交换
US20140075039A1 (en) Networking method, server device, client device, and network system
CN105718227A (zh) 一种传屏方法及相关设备
US9756096B1 (en) Methods for dynamically transmitting screen images to a remote device
WO2013048618A1 (en) Systems and methods for synchronizing the presentation of a combined video program
CN113727178B (zh) 投屏资源控制方法及其装置、设备与介质
WO2021137252A1 (en) Dynamic low latency mode for a digital video production system
CN113286190A (zh) 一种跨网络同屏控制方法、装置和跨网络同屏系统
CN103442288A (zh) 一种跨设备数据内容处理方法、装置和系统
CN103116482B (zh) 基于拼接墙的图片播放方法及装置
WO2014012384A1 (zh) 通信数据的发送方法、系统及接收装置
CN113727177B (zh) 投屏资源播放方法及其装置、设备与介质
CN111385590A (zh) 直播数据处理方法、装置及终端
CN113573117A (zh) 视频直播方法、装置及计算机设备
CN113726534A (zh) 会议控制方法、装置、电子设备及存储介质
CN113660509A (zh) 基于云渲染的三维模型处理系统以及方法
CN116264619A (zh) 资源处理方法、装置、服务器、终端、系统及存储介质
EP3386203B1 (en) Signalling of auxiliary content for a broadcast signal
CN112565154A (zh) 基于移动设备管理系统的动态扩屏方法、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170510

Assignee: GUANGZHOU HUYA INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: Guangzhou Huaduo Network Technology Co., Ltd.

Contract record no.: 2018990000088

Denomination of invention: Studio video streaming synthesis control method, device and terminal equipment

License type: Common License

Record date: 20180413

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170510

Assignee: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021980000101

Denomination of invention: Video stream composition control method, device and terminal equipment in live broadcasting room

Granted publication date: 20200904

License type: Common License

Record date: 20210106