CN111385590A - 直播数据处理方法、装置及终端 - Google Patents

直播数据处理方法、装置及终端 Download PDF

Info

Publication number
CN111385590A
CN111385590A CN201811627002.8A CN201811627002A CN111385590A CN 111385590 A CN111385590 A CN 111385590A CN 201811627002 A CN201811627002 A CN 201811627002A CN 111385590 A CN111385590 A CN 111385590A
Authority
CN
China
Prior art keywords
live
data
live broadcast
live data
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811627002.8A
Other languages
English (en)
Inventor
陈俊君
陆文元
陈健鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201811627002.8A priority Critical patent/CN111385590A/zh
Publication of CN111385590A publication Critical patent/CN111385590A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate

Abstract

本发明提供一种直播数据处理方法、装置和终端，包括接收直播间中主播上传的第一直播数据；接收直播间中邀请用户上传的第二直播数据；将第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，客户端将第一直播数据和第二直播数据在本地进行合并。本发明相应提供直播数据处理装置和终端。上述直播数据处理方法、装置和终端能降低主播客户端的处理压力进而降低硬件要求，降低主播客户端的网络带宽需求避免网络拥堵，而影响直播数据的播放效果；还可允许用户在客户端本地进行个性化设置，例如切换视角展示区域等，展示效果更好；还可以根据网络状态信息和切换大窗的显示场景信息，调整发送直播数据的码率，优化网络资源配置。

Description

直播数据处理方法、装置及终端
技术领域
本发明涉及互联网技术领域，具体而言，本发明涉及一种多视频流的直播展示方法、装置及终端。
背景技术
在直播的应用场景中，经常出现多端互动，例如是主播与多位嘉宾之间的互动，或者是多位主播与观众之间的联合互动。
现有技术中所有参与直播的邀请用户都将直播数据发送至主播，由主播将本地的直播数据和接收到的直播数据合成，并通过服务器分发给直播间内的全部客户。
上述技术方案，直播客户端需要传送数据量大，对网络质量的要求高，对硬件设备要求高，可靠性难以保证，而且也影响了直播实时性。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，特别是传送数据量大，对网络质量的要求高，对硬件设备要求高，可靠性难以保证，直播实时性差的技术缺陷。
本发明提供一种直播数据处理方法，包括如下步骤：
接收直播间中主播上传的第一直播数据；
接收所述直播间中邀请用户上传的第二直播数据；
将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
在其中一个实施例中，所述第一直播数据包括：主播用户端上传的视频流和音频流；
所述第二直播数据包括：邀请用户的用户端上传的视频流和音频流。
在其中一个实施例中，所述直播数据处理方法还包括：
获取所述客户端反馈的网络状态信息，根据所述网络状态信息调整主播下发第一直播数据和/或第二直播数据的码率。
在其中一个实施例中，所述直播数据处理方法还包括：
获取所述客户端反馈的切换大窗显示场景信息，根据所述切换大窗显示场景信息调整下发的第一直播数据和/或第二直播数据的码率。
本发明还提供一种直播数据处理方法，包括如下步骤：
接收服务器下发的第一直播数据；其中，所述第一直播数据是直播间中主播上传的直播数据；
接收服务器下发的第二直播数据；其中，所述第二直播数据是所述直播间中邀请用户上传的直播数据；
将所述第一直播数据和第二直播数据在客户端本地进行合并。
在其中一个实施例中，所述直播数据处理方法还包括：
向所述服务器反馈网络状态信息，其中，所述服务器根据所述网络状态信息发送调整下发至对应所述客户端的第一直播数据和/或第二直播数据的码率。
在其中一个实施例中，所述将所述第一直播数据和第二直播数据在客户端本地进行合并的步骤包括：
将在客户端本地合并的第一直播数据和第二直播数据，放置在多视角的合并窗口上进行展示。
本发明还提供一种直播数据处理方法，包括如下步骤：
服务器分别接收第一直播数据和第二直播数据；其中，所述第一直播数据是直播间中主播的用户端上传的直播数据，所述第二直播数据是所述直播间中邀请用户的用户端上传的直播数据；
服务器将所述第一直播数据和第二直播数据下发到所述直播间的各个客户端；
客户端分别接收第一直播数据和第二直播数据，根据第一直播数据和第二直播数据在本地合并。
本发明还提供一种直播数据处理装置，包括：
第一接收单元，用于接收直播间中主播上传的第一直播数据；
第二接收单元，用于接收所述直播间中邀请用户上传的第二直播数据；
发送单元，用于将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
本发明还提供一种终端，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述任一实施例所述的直播数据处理方法。
本发明还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任意一实施例所述的直播数据处理方法。
上述的直播数据处理方法、装置和终端，通过接收直播间中主播上传的第一直播数据；接收所述直播间中邀请用户上传的第二直播数据；将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并的技术方案，能够保证可靠性且保证直播实时性，不易受到主播客户端的影响，能够降低主播客户端的处理压力进而降低硬件要求，降低了主播客户端的网络带宽需求避免发生网络拥堵，影响直播数据的播放效果。本发明的技术方案还可以允许用户在客户端本地进行个性化的设置，例如是切换视角展示区域等，展示效果更好。本发明的技术方案还可以根据网络状态信息和切换大窗的显示场景信息，调整发送至对应客户端的直播数据的码率，优化网络资源配置。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为一个实施例的直播数据处理方法的交互示意图；
图2为一个实施例中服务器的直播数据处理方法的方法流程图；
图3为一个实施例的4×4用户界面示意图；
图4为一个实施例的围绕式用户界面示意图；
图5为一个实施例的切换大窗的交互场景示意图；
图6为一个实施例中客户端的直播数据处理方法的方法流程图；
图7为一个实施例的九宫格用户界面示意图；
图8为一个实施例中多短交互的直播数据处理方法的方法流程图；
图9为一个实施例的直播数据处理装置的装置结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通讯链路上，执行双向通讯的接收和发射硬件的设备。
为了解决传送数据量大，网络质量要求高，硬件设备要求高，可靠性难以保证，影响了直播实时性的技术问题，请参考图1和图2，本申请中提供一种直播数据处理方法，该方法在服务器一端执行，包括如下步骤：
步骤S21：接收直播间中主播上传的第一直播数据；
步骤S22：接收所述直播间中邀请用户上传的第二直播数据；
本例以服务器作为执行主体解释所述直播数据处理方法，服务器接收到直播间中主播上传的第一直播数据和直播间中邀请用户上传的第二直播数据。主播和邀请用户(或称“受邀用户”)通过用户端等终端制作、调整或上传直播数据(包括上述第一直播数据和第二直播数据)。
步骤S23：将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
服务器将第一直播数据和第二直播数据发送至直播间各个客户端，这些客户端中，也包括主播和邀请用户的用户端。在图1的场景示意图中，第一直播数据和第二直播数据表示为“多路流”，值得注意的是，第一直播数据和第二直播数据在一些场景中，可能具有多于一路的直播数据。例如在单主播多邀请用户的场景中，第二直播数据可能具有多路流的直播数据。再例如在多主播的场景中，第一直播数据也可能具有多路流的直播数据。所述客户端在接受到相应直播数据后，将所述第一直播数据和第二直播数据在本地进行合并，并展示在相应的窗口。图1中的视角1至视角4，指的是上述直播数据相应在展示界面的展示区域。
具体展示的场景，请参考图3和图4。图3展示了一路第一直播数据和来自受邀用户1～受邀用户3的三路第二直播数据在该客户端的展示界面。其中，上述直播数据(包括第一直播数据和第二直播数据)置于4×4的展示区域中展示。来自主播的第一直播数据的展示区域的左上方显示有“Host”字样以示区别。针对邀请用户1～邀请用户3的第二直播数据的展示区域的左上角分别显示有对应的序号。展示区域的下方展示有直播间内的评论信息“评论A”和提示信息“提示信息B”。
上述过程中，所述第一直播数据包括：主播用户端上传的视频流和音频流；所述第二直播数据包括：邀请用户的用户端上传的视频流和音频流。用户端通过摄像头等视像采集设备和麦克风等音频采集设备，可以在用户端本地合成第一直播数据或第二直播数据，当然还可以将相应数据上传至服务器中，由服务器合成第一直播数据或第二直播数据。当然，本申请的技术方案除了可以应用在视频、音频的直播场合，也可以应用到文字直播。
为了在网络状态受限的情况下更好地展示上述的直播数据，本实施例提供一种技术方案，所述的直播数据处理方法还包括步骤：
获取所述客户端反馈的网络状态信息，根据所述网络状态信息下发第一直播数据和/或第二直播数据的码率
请继续参考图1，服务器接收到某一客户端或多个客户端反馈网络状态信息时，根据网络状态信息调整下发至客户端的第一直播数据和第二直播数据的码率，例如是调整视频流或音频流的码率。当网络状态信息中指示某客户端带宽不足，不能支持高分辨率的直播数据时，服务器对应降低下发至客户端的直播数据的码率。当网络状态信息中指示某客户端网速较快，可以支持更高分辨率的直播数据时，服务器对应提高下发至客户端的直播数据的码率。
为了不影响其他观众在对应客户端的展示效果或增加网络的带宽负担，更进一步的方案是服务器调整网络状态信息中反馈需要调整码率的对应客户端所下发直播数据的码率，而不改变其他客户端的直播数据的码率。当网络状态信息中指示某客户端带宽不足，不能支持高分辨率的直播数据时，服务器对应降低下发至对应客户端的直播数据的码率。当网络状态信息中指示某客户端网速较快，可以支持更高分辨率的直播数据时，服务器相应提高下发至对应客户端的直播数据的码率。
此外，服务器可以接收用户通过客户端发送针对某路直播数据提升或降低码率的请求，并相应调整下发至该客户端的直播数据的码率。该技术方案可以适用在当用户对某主播或邀请用户感兴趣时，提高对应直播数据的码率；或者当用户对某主播或邀请用户不感兴趣时，降低对应直播数据的码率。
本实施例还提供另一种直播数据在其中一个客户端中的展示方案，请参考图4，图4中展示区域采用环绕式的区域排布，其中有一个展示区域较其他展示区域大，其他面积较小的展示区域(以下简称“第二展示区域”)环绕在面积较大的展示区域(以下简称“第一展示区域”)的周边。为了更好地展示主播的直播数据，可以将所述第一直播数据放置在第一展示区域进行展示，将所述第二直播数据分别放置在若干第二展示区域进行展示。此时，客户端根据上述直播数据对应第一展示区域和第二展示区域的展示面积，向服务器反馈与展示面积相关的码率需求，服务器根据码率需求调整对应客户端直播数据的下发码率。
当在上述使用场景中，用户需要切换展示区域的窗口时，本实施例提供一种相应调整码率的技术方案：
获取所述客户端反馈的切换大窗显示场景信息，根据所述切换大窗显示场景信息调整下发的第一直播数据和/或第二直播数据的码率。
请辅助参考图5，图5展示了用户在用户端切换大小窗的操作。客户端相应将当前展示区域的信息(即切换大窗和相应窗口与直播数据之间对应关系等信息)发送至服务器。服务器获取到客户端反馈的切换大窗显示场景信息，根据所述切换大窗显示场景信息，例如是展示区域的分辨率要求，调整下发的第一直播数据或第二直播数据的码率。例如在图5中的例子中，当面积较大的第一展示区域(左上角标识为“Host”)展示的是第一直播数据(例如是直播数据A)，第二展示区域(左上角标识为“1”)展示的是直播数据B时，此时用户指令直播数据A从原本的较大的第一展示区域切换为较小的第二展示区域，直播数据B从原本的较小的第二展示区域切换为较大的第一展示区域。由于第一展示区域面积较大，对分辨率的要求更高，因此服务器根据前述显示场景信息提高直播数据B的码率，降低直播数据A的码率。
为了确保用户的交互的准确性，在一些场景中当切换直播数据的展示区域后，用户向对应主播或者邀请用户的数据发送将有可能使数据发送对象和接收对象错乱，最后导致不能将数据准确发送至特定对象。用户发送的数据可以是评论、建议、举报、投诉、礼物、赞、喜爱、投票、转账或红包等数据。请继续参考图5，本实施例为了克服前述缺陷还提供一种技术方案：当在切换展示区域时，将第一直播数据(例如是“直播数据A”)与需要切换大窗的第二直播数据(例如是“直播数据B”)交换展示位置。上述技术方案也可以理解为，当前位于第一展示区域播放的直播数据与将要切换的直播数据交换展示区域。
请参考图5的最左位置的示意图，示意图中的箭头指示切换直播数据B为大窗展示时，第一展示区域的直播数据A与第二展示区域的直播数据B交换展示区域。图5中间位置的示意图展示了交换结果，从中可以看出直播数据C以及直播数据D对应展示区域的位置没有改变。
基于图5中间位置的示意图进一步展示切换位置为技术方案，此时需要切换直播数据C到第一展示区域进行展示，将直播数据A与直播数据C的展示区域互换，大窗切换后的排列效果可以参考图5中最右位置的示意图。结合图5中的多照图片，按照图5从左到右的顺序展示了连续切换大窗的动态效果。
为了解决传送数据量大，网络质量要求高，硬件设备要求高，可靠性难以保证，影响了直播实时性的技术问题，请参考图1和图6，本申请中提供一种直播数据处理方法，该方法在客户端一端执行，包括如下步骤：
步骤S61：接收服务器下发的第一直播数据；其中，所述第一直播数据是直播间中主播上传的直播数据。
步骤S62：接收服务器下发的第二直播数据；其中，所述第二直播数据是所述直播间中邀请用户上传的直播数据。
以观众或播主、邀请用户角度的客户端为例，客户端在接到服务器下发的第一直播数据和第二直播数据时，对第一直播数据和第二直播数据进行解码、渲染。其中第一直播数据是主播通过用户端向服务器上传的直播数据，第二直播数据是邀请客户通过用户端向服务器上传的直播数据，直播数据可以是音频或者视频，还可以是文字或图像等多媒体数据。
步骤S63：将所述第一直播数据和第二直播数据在客户端本地进行合并。
第一直播数据和第二直播数据在不同的展示区域上展示。展示时，客户端对第一直播数据和第二直播数据进行解码、渲染和合并后在用户的显示终端上分区域展示。
通过本申请技术方案的合并展示，可以在客户端本地进行切换调整，展示的形式可以改变。此外还能够降低主播客户端的网络和硬件压力，避免在主播客户端发生拥堵。
当网络状态发生变化时，为了动态调整客户端上第一直播数据和第二直播数据的显示效果，本实施例还提供一种技术方案：向所述服务器反馈网络状态信息，其中，所述服务器根据所述网络状态信息发送调整下发至对应所述客户端的第一直播数据和/或第二直播数据的码率。
以网络状态改变情形中的网速变慢为例，当客户端检测到网速下降时，客户端向服务器发送网络状态信息，服务器根据网络状态信息调整发送至该客户端的第一直播数据和第二直播数据的码率。当然用户可以设置针对某些主播或者某些邀请用户设置优先级，例如用户通过客户端在网络状态信息中设置优先级，优先保证某些第一直播数据(例如主播)和第二直播数据(某些邀请用户)的码率。
将所述第一直播数据和第二直播数据在客户端本地进行合并的步骤S63包括：将在客户端本地合并的第一直播数据和第二直播数据，放置在多视角的合并窗口上进行展示。其中合并窗口可以参考图7，图7中第一直播数据和第二直播数据将通过九宫格的排列方式在客户端本地合并展示。当然，在其他的场景中还可以参考图3和图4的第一直播数据和第二直播数据的合并展示方式。
为了当用户在本地的客户端调整上述直播数据的展示区域等场景时，客户端将对应的场景信息发送至服务器，服务器根据所述场景信息调整所下发第一直播数据和第二直播数据的码率。
为了解决传送数据量大，网络质量要求高，硬件设备要求高，可靠性难以保证，影响了直播实时性的技术问题，请参考图1和图8，本申请中提供一种直播数据处理方法，该方法在系统中多端交互执行，包括如下步骤：
步骤S81：服务器分别接收第一直播数据和第二直播数据；其中，所述第一直播数据是直播间中主播的用户端上传的直播数据，所述第二直播数据是所述直播间中邀请用户的用户端上传的直播数据。
图1中展示了用户端、服务器以及客户端之间的交互。其中主播和邀请用户(或称“受邀用户”)采用的是用户端，主播和邀请用户分别通过用户端上传第一直播数据和第二直播数据。在本例中，用户端可以采集主播和邀请用户的图像、视频、音频或文字等直播数据，并相应合成视频流等直播数据，分别作为第一直播数据和第二直播数据通过用户端上传。
步骤S82：服务器将所述第一直播数据和第二直播数据下发到所述直播间的各个客户端。
服务器将从用户端上传的第一直播数据和第二直播数据等直播数据下发到对应的客户端中，其中的用户端还包括播主的用户端和邀请用户的用户端。换而言之，服务器将会同步返回第一直播数据和第二直播数据。服务器还可以根据客户端反馈的网络状态信息或者展示场景信息，例如是切换展示区域、关闭展示区域、调整展示区域等场景，调整下发至客户端的第一直播数据和第二直播数据的码率。
步骤S83：客户端分别接收第一直播数据和第二直播数据，根据第一直播数据和第二直播数据在本地合并。
客户端接收第一直播数据和第二直播数据，对其进行解码后在本地进行合并展示。
为了执行上述直播数据处理方法，本实施例还提供一种直播数据处理装置，包括：
第一接收单元91，用于接收直播间中主播上传的第一直播数据；
第二接收单元92，用于接收所述直播间中邀请用户上传的第二直播数据；
发送单元93，用于将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
为了执行上述直播数据处理方法，本实施例还提供一种终端，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述任一项所述的直播数据处理方法。
本发明实施例还提供了终端，该终端可以为包括手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、车载电脑等任意终端设备。
在本发明实施例中，以手机作为一种终端的示例，其中包括的处理器具有以下功能：
接收直播间中主播上传的第一直播数据；
接收所述直播间中邀请用户上传的第二直播数据；
将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
也即处理器具备执行上述的任一实施例直播数据处理方法的功能，在此不再赘述。
上述的直播数据处理方法、装置和终端，通过接收直播间中主播上传的第一直播数据；接收所述直播间中邀请用户上传的第二直播数据；将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并的技术方案，能够保证可靠性且保证直播实时性，不易受到主播客户端的影响，能够降低主播客户端的处理压力进而降低硬件要求，降低了主播客户端的网络带宽需求避免发生网络拥堵，影响直播数据的播放效果。本发明的技术方案还可以允许用户在客户端本地进行个性化的设置，例如是切换视角展示区域等，展示效果更好。本发明的技术方案还可以根据网络状态信息和切换大窗的显示场景信息，调整发送至对应客户端的直播数据的码率，优化网络资源配置。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种直播数据处理方法，其特征在于，包括如下步骤：
接收直播间中主播上传的第一直播数据；
接收所述直播间中邀请用户上传的第二直播数据；
将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
2.根据权利要求1所述的直播数据处理方法，其特征在于，所述第一直播数据包括：主播用户端上传的视频流和音频流；
所述第二直播数据包括：邀请用户的用户端上传的视频流和音频流。
3.根据权利要求1所述的直播数据处理方法，其特征在于，还包括：
获取所述客户端反馈的网络状态信息，根据所述网络状态信息调整主播下发第一直播数据和/或第二直播数据的码率。
4.根据权利要求1所述的直播数据处理方法，其特征在于，还包括：
获取所述客户端反馈的切换大窗显示场景信息，根据所述切换大窗显示场景信息调整下发的第一直播数据和/或第二直播数据的码率。
5.一种直播数据处理方法，其特征在于，包括如下步骤：
接收服务器下发的第一直播数据；其中，所述第一直播数据是直播间中主播上传的直播数据；
接收服务器下发的第二直播数据；其中，所述第二直播数据是所述直播间中邀请用户上传的直播数据；
将所述第一直播数据和第二直播数据在客户端本地进行合并。
6.根据权利要求5所述的直播数据处理方法，其特征在于，还包括：
向所述服务器反馈网络状态信息；其中，所述服务器根据所述网络状态信息发送调整下发至对应所述客户端的第一直播数据和/或第二直播数据的码率。
7.根据权利要求5所述的直播数据处理方法，其特征在于，所述将所述第一直播数据和第二直播数据在客户端本地进行合并的步骤包括：
将在客户端本地合并的第一直播数据和第二直播数据，放置在多视角的合并窗口上进行展示。
8.一种直播数据处理方法，其特征在于，包括如下步骤：
服务器分别接收第一直播数据和第二直播数据；其中，所述第一直播数据是直播间中主播的用户端上传的直播数据，所述第二直播数据是所述直播间中邀请用户的用户端上传的直播数据；
服务器将所述第一直播数据和第二直播数据下发到所述直播间的各个客户端；
客户端分别接收第一直播数据和第二直播数据，根据第一直播数据和第二直播数据在本地合并。
9.一种直播数据处理装置，其特征在于，包括：
第一接收单元，用于接收直播间中主播上传的第一直播数据；
第二接收单元，用于接收所述直播间中邀请用户上传的第二直播数据；
发送单元，用于将所述第一直播数据和第二直播数据发送至直播间中的各个客户端；其中，所述客户端将所述第一直播数据和第二直播数据在本地进行合并。
10.一种终端，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行权利要求1～8任一项所述的直播数据处理方法。
CN201811627002.8A 2018-12-28 2018-12-28 直播数据处理方法、装置及终端 Pending CN111385590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811627002.8A CN111385590A (zh) 2018-12-28 2018-12-28 直播数据处理方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811627002.8A CN111385590A (zh) 2018-12-28 2018-12-28 直播数据处理方法、装置及终端

Publications (1)

Publication Number Publication Date
CN111385590A true CN111385590A (zh) 2020-07-07

Family

ID=71216476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811627002.8A Pending CN111385590A (zh) 2018-12-28 2018-12-28 直播数据处理方法、装置及终端

Country Status (1)

Country Link
CN (1) CN111385590A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153404A (zh) * 2020-09-23 2020-12-29 北京达佳互联信息技术有限公司 码率调整方法、检测方法、装置、设备及存储介质
CN114143600A (zh) * 2021-11-23 2022-03-04 广州市百果园信息技术有限公司 直播画面调整方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713945A (zh) * 2016-12-06 2017-05-24 广州华多网络科技有限公司 客户端连麦直播处理方法和装置、直播服务器及直播系统
US20170171509A1 (en) * 2015-12-14 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic apparatus for realizing two-person simultaneous live video
CN108259948A (zh) * 2018-03-30 2018-07-06 武汉斗鱼网络科技有限公司 一种直播音视频的播放方法、装置、计算机及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170171509A1 (en) * 2015-12-14 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic apparatus for realizing two-person simultaneous live video
CN106713945A (zh) * 2016-12-06 2017-05-24 广州华多网络科技有限公司 客户端连麦直播处理方法和装置、直播服务器及直播系统
CN108259948A (zh) * 2018-03-30 2018-07-06 武汉斗鱼网络科技有限公司 一种直播音视频的播放方法、装置、计算机及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153404A (zh) * 2020-09-23 2020-12-29 北京达佳互联信息技术有限公司 码率调整方法、检测方法、装置、设备及存储介质
CN114143600A (zh) * 2021-11-23 2022-03-04 广州市百果园信息技术有限公司 直播画面调整方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US10856029B2 (en) Providing low and high quality streams
CN106658205B (zh) 直播间视频流合成控制方法、装置及终端设备
CN102883134B (zh) 用于视频会议系统的屏幕共享及控制方法
CN110149542B (zh) 传输控制方法
EP3562163A1 (en) Audio-video synthesis method and system
US20110229106A1 (en) System for playback of ultra high resolution video using multiple displays
US20130135179A1 (en) Control method and device thereof
US9497390B2 (en) Video processing method, apparatus, and system
CN111970524B (zh) 交互类直播连麦的控制方法、装置、系统、设备及介质
CN105763832A (zh) 一种视频互动、控制方法及装置
EP2180652A1 (en) Method and system for transferring media information
CN101437140B (zh) 一种多画面传输方法和一种多点控制单元
US20140184728A1 (en) Method and system for controlling video structure of video conference system
WO2013048618A1 (en) Systems and methods for synchronizing the presentation of a combined video program
WO2014044059A1 (zh) 一种视频会议录播的方法、设备及系统
CN107770600A (zh) 流媒体数据的传输方法、装置、设备和存储介质
CN112788276A (zh) 视频流显示方法、发送方法、装置、终端、服务器及介质
KR20180105026A (ko) 전자장치 및 그 제어방법
CN103856809A (zh) 一种多点同屏方法、系统及终端设备
CN106412617B (zh) 远程调试控制方法及装置
CN111385590A (zh) 直播数据处理方法、装置及终端
US20130291011A1 (en) Transcoding server and method for overlaying image with additional information therein
CN102710967A (zh) 一种云电视系统与方法
CN112565799B (zh) 视频数据处理方法和装置
US20170171505A1 (en) Electronic device, apparatus and method for video signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200707