CN108600239A - 数据合成方法及装置、客户端、服务器 - Google Patents

数据合成方法及装置、客户端、服务器 Download PDF

Info

Publication number
CN108600239A
CN108600239A CN201810406686.2A CN201810406686A CN108600239A CN 108600239 A CN108600239 A CN 108600239A CN 201810406686 A CN201810406686 A CN 201810406686A CN 108600239 A CN108600239 A CN 108600239A
Authority
CN
China
Prior art keywords
user
audio
video flow
flow data
forwarding server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810406686.2A
Other languages
English (en)
Inventor
鲁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing School Of Science And Technology Co Ltd
Original Assignee
Beijing School Of Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing School Of Science And Technology Co Ltd filed Critical Beijing School Of Science And Technology Co Ltd
Priority to CN201810406686.2A priority Critical patent/CN108600239A/zh
Publication of CN108600239A publication Critical patent/CN108600239A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种数据合成方法及装置、客户端、服务器。该方法包括将第一用户的第一音视频流数据推向转发服务器；接收所述转发服务器下发的第二用户的第二音视频流数据；以及将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。本申请解决了直播过程中音视频流合成计算量较大的技术问题。本申请可减少观看连麦房间的带宽和直播运营成本。此外，本申请适用于在无线终端的教学直播软件。本申请可以在不增加观众流量的情况下，利用第一用户端合成音视频数据流的手机端直播方式，分摊服务器压力，让解码、合成、编码这些耗费CPU资源的运算分散在各个房间的主播端上进行，之后都一并合成一路流后，推送到直播间的观众手机端。

Description

数据合成方法及装置、客户端、服务器
技术领域
本申请涉及直播数据处理领域，具体而言，涉及一种数据合成方法及装置、客户端、服务器。
背景技术
连麦操作，是指在直播过程中用户与主播建立连接成为房间的副主播，其他观众方看到的将是主播和副主播两个人合成后的视频图像。
发明人发现，在常规的独立流模式中由于增加了直播平台运维流量负担，不参与连麦的观众如果想收看也只能也必须保持三路流以上的带宽才能流畅收看。另外，在服务器合成模式中由于将所有音视频流合成业务都交给了直播平台的连麦服务器去处理，造成业务应用成本高。可见，目前的解决方案中都无法降低音视频流合成计算量，进而将直播后台业务应用成本降低。进一步地，无法降低观众端用户收看连麦房间流量负担。
针对相关技术中直播过程中音视频流合成计算量较大的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种数据合成方法，以解决直播过程中音视频流合成计算量较大的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种数据合成方法，在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户。
根据本申请的数据合成方法包括：将第一用户的第一音视频流数据推向转发服务器；接收所述转发服务器下发的第二用户的第二音视频流数据；以及将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。
进一步地，接收所述转发服务器下发的第二用户的第二音视频流数据之前包括：所述第二用户将音视频流数据转发向转发服务器；所述第二用户接收来自第一用户的第一音视频流数据并在第二用户的本地显示。
进一步地，所述转流服务器还用于根据各流的通道信息判断混合流模式或单流模式，如果属于混合流模式，则将混合流直接发送给第三用户；如果属于单流模式，则将第二用户的单流发送给第一用户。
进一步地，将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器包括：将流所述第一音视频流数据和所述第二音视频流数据合成计算量分摊到第一用户和第二用户。
进一步地，方法还包括：第四用户，所述第四用户用于作为连麦用户，所述第四用户将音视频流数据转发向转发服务器；所述第四用户接收来自第一用户和第二用户的音视频流数据并在第四用户的本地显示。
为了实现上述目的，根据本申请的另一方面，提供了一种数据合成装置，在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户。
根据本申请的数据合成装置包括：转发模块，用于将第一用户的第一音视频流数据推向转发服务器；接收模块，用于接收所述转发服务器下发的第二用户的第二音视频流数据；合成模块，用于将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。
进一步地，装置还包括：连麦模块和显示模块，所述连麦模块，用于将第二音视频流数据转发向转发服务器；所述显示模块，接收来自第一用户的第一音视频流数据并在第二用户的本地显示。
进一步地，所述合成模块，还用于将流所述第一音视频流数据和所述第二音视频流数据合成计算量分摊到第一用户和第二用户。
为了实现上述目的，根据本申请的另一方面，提供了一种客户端，包括所述的数据合成装置。
为了实现上述目的，根据本申请的另一方面，提供了一种转发服务器，包括：第一接收模块，用于接收第一用户终端的第一音视频流数据；第一下发模块，用于下发的第二用户终端的第二音视频流数据；第二接收模块，用于接收所述第一音视频流数据和所述第二音视频流数据合成后的视频流数据；第二下发模块，用于将所述第一音视频流数据和所述第二音视频流数据合成后的视频流数据下发至第三用户终端
在本申请实施例中，采用将第一用户的第一音视频流数据推向转发服务器和接收所述转发服务器下发的第二用户的第二音视频流数据的方式，通过将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器，达到了降低音视频流合成计算量和直播后台运营成本的目的，从而实现了减少观看连麦房间的带宽和直播运营成本的技术效果，进而解决了直播过程中音视频流合成计算量较大的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是现有技术中独立流模式连麦方案示意图；
图2是现有技术中的服务器合成模式连麦方案示意图；
图3是本发明数据处理实现原理示意图；
图4是根据本申请第一实施例的数据合成方法示意图；
图5是根据本申请第二实施例的数据合成方法示意图；
图6是根据本申请第三实施例的数据合成方法示意图；
图7是根据本申请第一实施例的数据合成装置示意图；
图8是根据本申请第二实施例的数据合成装置示意图；以及
图9是根据本申请第三实施例的数据合成装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
如图1所示是现有技术中的独立流模式连麦方案示意图；A1主播正在房间进行直播，B2主播和A1主播连麦后，B2端会向转流服务器推送单独的音视频流，同时B3主播和A1主播连麦后B3端也会向转流服务器推送单独的音视频流，转发视频流把收到的A1和B2和B3流推送到观众App端，观众App端通过窗口层叠方式，实现连麦效果。
上述方法的缺点在于：一个房间的视频由于有主播和两个连麦者所以就产生了3路流，直播平台增加了流量负担同时，观众也在一个房间里需要同时下拉三路视频，提高了用户收看直播的带宽限制。
如图2所示是现有技术中的服务器合成模式连麦方案示意图；B2和B3和主播A1连麦后视频流三路流都发向连麦服务器，连麦主播之间通过连麦服务器互相转发对方视频，连麦服务器对接收到的三路音视频数据进行合成一路流后，推送给观众。
上述方法的缺点在于：需要增加连麦服务器专门用来处理音视频的解码、合成、编码，CPU使用增加较多，业务应用成本高，服务器压力大。
在本申请实施例中提出一个在不增加观众流量的情况下，利用主麦A端合成音视频数据流的方案，能够分摊服务器压力，让解码、合成、编码这些耗费CPU资源的运算分散在各个房间的主播端手机上进行。之后合成一路流后，推送到观众。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图3、图4所示，该方法包括如下的步骤S102至步骤S106：
步骤S102，将第一用户的第一音视频流数据推向转发服务器；
在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户。连麦用户是指直播过程中用户与主播建立连接成为房间的副主播，其他观众方看到的将是主播和副主播两个人合成后的视频图像。主播用户是指在直播过程中作为直播间主播的用户。具体地，当第一用户即主播上麦后，第二用户作为副主播同时和第一用户即主播连麦。
比如，转发服务器可用于向房间内各个用户转发流媒体流的服务器。
步骤S104，接收所述转发服务器下发的第二用户的第二音视频流数据；
所述转发服务器接收第二用户的第二音视频流数据。
比如，所述转发服务器接收连麦主播的音视频流。
步骤S106，将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。第一音视频流数据是第一用户自己的音视频流数据。
比如，把第二音视频流数据以及第一音视频流数据流合成的音视频流数据推向转发服务器。
具体地，如图4所示，当A1端主播上麦后，主播B2、主播B3同时和A1主播连麦即作为连麦主播B2和连麦主播B3。
在所述A1端A1的音视频流推向转发服务器，同时从转发服务器接收来自B2和B3连麦主播的音视频流，并把B2和B3的流以及自己的A1流合成A1+B2+B3流推向转发服务器。
如图4所述，在连麦B2端，通过B2端把用户的音视频数据流转发向转发服务器，同时收到来自A1和B3的音视频流，在本地直接显示。
如图4所述，在连麦B3端，通过B3端把自己的流转发向转发服务器，同时收到来自A1和B2的音视频流，在本地直接显示。
如图4所述，转流服务器，转流服务器根据各流的通道信息区分出混合流合单流模式，A1+B2+B3的混合流直接发送给直播观众，A1、B2或者B3的单流则只发送其他两个直播端。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用将第一用户的第一音视频流数据推向转发服务器和接收所述转发服务器下发的第二用户的第二音视频流数据的方式，通过将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器，达到了降低音视频流合成计算量和直播后台运营成本的目的，从而实现了减少观看连麦房间的带宽和直播运营成本的技术效果，进而解决了直播过程中音视频流合成计算量较大的技术问题。
根据本申请实施例，作为本实施例中的优选，如图5所示，接收所述转发服务器下发的第二用户的第二音视频流数据之前包括：
步骤S202，所述第二用户将第二音视频流数据转发向转发服务器；
第二用户在无线终端将自身的第二音视频流数据向所述转发服务器发送。
步骤S204，所述第二用户接收来自第一用户的第一音视频流数据并在第二用户的本地显示。
具体地，在连麦B2端，通过B2端把用户的数据流转发向转发服务器，同时收到来自A1和B3的音视频流，在本地直接显示。通过连麦B2端接收A1和B3的音视频流，同时将自身的音视频数据转发向服务器。
比如，通过通过无线端的手机应用程序迅速实现直播直播中连麦功能。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述转流服务器还用于
步骤S302，根据各流的通道信息判断混合流模式或单流模式，
步骤S304，如果属于混合流模式，则将混合流直接发送给第三用户；
步骤S306，如果属于单流模式，则将第二用户的单流发送给第一用户。
具体地，所述转流服务器根据各流的通道信息区分出混合流合单流模式，比如，A1+B2+B3的混合流直接发送给直播观众(第三用户)，连麦A1、连麦主播B2或连麦主播B3的单流则只发送其他剩余的两个直播端。
优选地，将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器包括：将流所述第一音视频流数据和所述第二音视频流数据合成计算量分摊到第一用户和第二用户。转流服务器不需要再去做编码和合成等耗费CPU的音视频处理，降低了服务器部署成本。
优选地，作为本实施例中的优选，上述方法还包括：第四用户，所述第四用户用于作为连麦用户，所述第四用户将音视频流数据转发向转发服务器；所述第四用户接收来自第一用户和第二用户的音视频流数据并在第四用户的本地显示。
如图4所述，在连麦B3端，通过B3端把自己的流转发向转发服务器，同时收到来自A1和B2的音视频流，在本地直接显示。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述数据合成方法的数据合成装置，在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户，如图7所示，该装置包括：转发模块10，用于将第一用户的第一音视频流数据推向转发服务器；接收模块20，用于接收所述转发服务器下发的第二用户的第二音视频流数据；合成模块30，用于将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。
在本申请实施例的转发模块10中在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户。连麦用户是指直播过程中用户与主播建立连接成为房间的副主播，其他观众方看到的将是主播和副主播两个人合成后的视频图像。主播用户是指在直播过程中作为直播间主播的用户。具体地，当第一用户即主播上麦后，第二用户作为副主播同时和第一用户即主播连麦。
比如，转发服务器可用于向房间内各个用户转发流媒体流的服务器。
在本申请实施例的接收模块20中所述转发服务器接收第二用户的第二音视频流数据。
比如，所述转发服务器接收连麦主播的音视频流。
在本申请实施例的合成模块30中比如，把第二音视频流数据以及第一音视频流数据流合成的音视频流数据推向转发服务器。
根据本申请实施例，作为本实施例中的优选，如图8所示，装置还包括：连麦模块40和显示模块50，所述连麦模块40，用于将第二音视频流数据转发向转发服务器；所述显示模块50，接收来自第一用户的第一音视频流数据并在第二用户的本地显示。
在本申请实施例的连麦模块40中第二用户在无线终端将自身的第二音视频流数据向所述转发服务器发送。
在本申请实施例的显示模块50中具体地，在连麦B2端，通过B2端把用户的数据流转发向转发服务器，同时收到来自A1和B3的音视频流，在本地直接显示。通过连麦B2端接收A1和B3的音视频流，同时将自身的音视频数据转发向服务器。
比如，通过通过无线端的手机应用程序迅速实现直播直播中连麦功能。
在本申请实施例中的所述合成模块30，还用于将流所述第一音视频流数据和所述第二音视频流数据合成计算量分摊到第一用户和第二用户。
在本申请另一实施例中，还提供了一种客户端，包括所述的数据合成装置。数据合成装置的原理和技术效果如上所述，此处不再赘述。通过客户端迅速实现了直播直播中连麦功能。业务后台服务器只需要像普通服务一样部署转流服务，只参与简单的流转发运算，不参与合成流运算。降低了运营成本.同时直播观众也只需要拉一组从转流服务器下发的合成流，比起现有技术中的三路流方案，显著地降低了带宽。优选地，可适用于直播中手机端合成实现主播连麦的技术方案。
在本申请另一实施例中，还提供了转发服务器，包括：第一接收模块100，用于接收第一用户终端的第一音视频流数据；第一下发模块200，用于下发的第二用户终端的第二音视频流数据；第二接收模块300，用于接收所述第一音视频流数据和所述第二音视频流数据合成后的视频流数据；第二下发模块400，用于将所述第一音视频流数据和所述第二音视频流数据合成后的视频流数据下发至第三用户终端。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据合成方法，其特征在于，在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户，所述方法包括：
将第一用户的第一音视频流数据推向转发服务器；
接收所述转发服务器下发的第二用户的第二音视频流数据；以及
将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。
2.根据权利要求1所述的数据合成方法，其特征在于，接收所述转发服务器下发的第二用户的第二音视频流数据之前包括：
所述第二用户将第二音视频流数据转发向转发服务器；
所述第二用户接收来自第一用户的第一音视频流数据并在第二用户的本地显示。
3.根据权利要求1所述的数据合成方法，其特征在于，所述转流服务器还用于根据各流的通道信息判断混合流模式或单流模式，
如果属于混合流模式，则将混合流直接发送给第三用户；
如果属于单流模式，则将第二用户的单流发送给第一用户。
4.根据权利要求1所述的数据合成方法，其特征在于，将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器包括：
将流所述第一音视频流数据和所述第二音视频流数据合成计算量分摊到第一用户和第二用户。
5.根据权利要求1所述的数据合成方法，其特征在于，还包括：第四用户，所述第四用户用于作为连麦用户，
所述第四用户将音视频流数据转发向转发服务器；
所述第四用户接收来自第一用户和第二用户的音视频流数据并在第四用户的本地显示。
6.一种数据合成装置，其特征在于，在转发服务器、第一用户、第二用户以及第三用户的直播房间中执行数据合成操作，所述转发服务器用于向房间内各个用户转发流媒体流，所述第一用户用于作为主播用户，所述第二用户用于作为连麦用户，所述第三用户用于作为观众用户，所述装置包括：
转发模块，用于将第一用户的第一音视频流数据推向转发服务器；
接收模块，用于接收所述转发服务器下发的第二用户的第二音视频流数据；
合成模块，用于将所述第一音视频流数据和所述第二音视频流数据合成并转发至所述转发服务器。
7.根据权利要求6所述的数据合成装置，其特征在于，还包括：连麦模块和显示模块，
所述连麦模块，用于将第二音视频流数据转发向转发服务器；
所述显示模块，接收来自第一用户的第一音视频流数据并在第二用户的本地显示。
8.根据权利要求6所述的数据合成装置，其特征在于，所述合成模块，还用于将流所述第一音视频流数据和所述第二音视频流数据合成计算量分摊到第一用户和第二用户。
9.一种客户端，其特征在于，包括如权利要求6至8任一项所述的数据合成装置。
10.一种转发服务器，其特征在于，包括：
第一接收模块，用于接收第一用户终端的第一音视频流数据；
第一下发模块，用于下发的第二用户终端的第二音视频流数据；
第二接收模块，用于接收所述第一音视频流数据和所述第二音视频流数据合成后的视频流数据；
第二下发模块，用于将所述第一音视频流数据和所述第二音视频流数据合成后的视频流数据下发至第三用户终端。
CN201810406686.2A 2018-05-01 2018-05-01 数据合成方法及装置、客户端、服务器 Pending CN108600239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810406686.2A CN108600239A (zh) 2018-05-01 2018-05-01 数据合成方法及装置、客户端、服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810406686.2A CN108600239A (zh) 2018-05-01 2018-05-01 数据合成方法及装置、客户端、服务器

Publications (1)

Publication Number Publication Date
CN108600239A true CN108600239A (zh) 2018-09-28

Family

ID=63619416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810406686.2A Pending CN108600239A (zh) 2018-05-01 2018-05-01 数据合成方法及装置、客户端、服务器

Country Status (1)

Country Link
CN (1) CN108600239A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246346A (zh) * 2020-01-10 2020-06-05 北京塞宾科技有限公司 一种无线多音频采集互操作系统
CN111541711A (zh) * 2020-05-06 2020-08-14 北京三体云联科技有限公司 基于边缘计算的直播数据混流方法和装置
CN112019488A (zh) * 2019-05-31 2020-12-01 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN112019927A (zh) * 2020-09-23 2020-12-01 Oppo广东移动通信有限公司 视频直播方法、连麦设备、rtc媒体服务器及主播设备
CN112073743A (zh) * 2020-09-03 2020-12-11 北京中润互联信息技术有限公司 一种多人直播处理系统及方法
CN112423012A (zh) * 2020-11-18 2021-02-26 青岛华升联信智慧科技有限公司 一种多级负载的直播方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131583A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 一种直播处理方法、装置、终端设备及系统
CN106254899A (zh) * 2016-08-16 2016-12-21 网宿科技股份有限公司 一种直播连麦的控制方法和系统
US9578356B1 (en) * 2015-11-13 2017-02-21 Nanning Fugui Precision Industrial Co., Ltd. Live video matching method and system
CN106792245A (zh) * 2016-11-22 2017-05-31 广州华多网络科技有限公司 直播间视频流合成方法、装置及终端设备
CN107027048A (zh) * 2017-05-17 2017-08-08 广州市千钧网络科技有限公司 一种直播连麦及信息展示的方法及装置
CN107071584A (zh) * 2017-03-14 2017-08-18 北京潘达互娱科技有限公司 直播连麦方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578356B1 (en) * 2015-11-13 2017-02-21 Nanning Fugui Precision Industrial Co., Ltd. Live video matching method and system
CN106131583A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 一种直播处理方法、装置、终端设备及系统
CN106254899A (zh) * 2016-08-16 2016-12-21 网宿科技股份有限公司 一种直播连麦的控制方法和系统
CN106792245A (zh) * 2016-11-22 2017-05-31 广州华多网络科技有限公司 直播间视频流合成方法、装置及终端设备
CN107071584A (zh) * 2017-03-14 2017-08-18 北京潘达互娱科技有限公司 直播连麦方法及装置
CN107027048A (zh) * 2017-05-17 2017-08-08 广州市千钧网络科技有限公司 一种直播连麦及信息展示的方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019488A (zh) * 2019-05-31 2020-12-01 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN112019488B (zh) * 2019-05-31 2023-12-12 广州市百果园信息技术有限公司 一种语音处理的方法、装置、设备和存储介质
CN111246346A (zh) * 2020-01-10 2020-06-05 北京塞宾科技有限公司 一种无线多音频采集互操作系统
CN111246346B (zh) * 2020-01-10 2021-10-26 北京塞宾科技有限公司 一种无线多音频采集互操作系统
CN111541711A (zh) * 2020-05-06 2020-08-14 北京三体云联科技有限公司 基于边缘计算的直播数据混流方法和装置
CN112073743A (zh) * 2020-09-03 2020-12-11 北京中润互联信息技术有限公司 一种多人直播处理系统及方法
CN112019927A (zh) * 2020-09-23 2020-12-01 Oppo广东移动通信有限公司 视频直播方法、连麦设备、rtc媒体服务器及主播设备
CN112423012A (zh) * 2020-11-18 2021-02-26 青岛华升联信智慧科技有限公司 一种多级负载的直播方法

Similar Documents

Publication Publication Date Title
CN108600239A (zh) 数据合成方法及装置、客户端、服务器
US9538228B2 (en) Methods, apparatus, and system for venue-cast
CN101262587B (zh) 一种实现多画面视频会议的方法及多点控制单元
CN101529901B (zh) 视频特性的动态修改
KR100735233B1 (ko) 개인방송 서비스 제공 시스템
CN107027048A (zh) 一种直播连麦及信息展示的方法及装置
CN102342066B (zh) 实时多媒体流处理带宽管理
CN102387338B (zh) 分布式视频处理方法及视频会议系统
CN101895718B (zh) 视频会议系统多画面广播方法及其装置和系统
CN100531298C (zh) 用于执行画中画功能的多媒体信号匹配系统和方法
CN101217635A (zh) 视频会议和监控业务的结合方法、视频会议终端以及mcu
CN102572368A (zh) 分布式视频的处理方法、系统及多点控制单元
CN104661085A (zh) 多路无线显示方法及装置
CN101198008A (zh) 一种实现多屏多画面的方法和系统
CN102118602B (zh) 一种在多画面中显示辅流视频的方法及系统
CN103051864A (zh) 移动视频会议方法及其系统
CN104980683A (zh) 一种视频电话会议的实现方法及装置
CN110290290A (zh) 云vr演播室的实现方法、装置、计算机设备及存储介质
CN103957391A (zh) 在可视对讲中多方通话时同时显示各方视频的方法及系统
CN101345844A (zh) 一种多媒体码流传输方法和一种多点控制单元
CN105992062A (zh) 一种媒体节目分享的方法及装置
CN106941598A (zh) 多画面码流合成方法、多画面码流合成控制方法及装置
WO2016026336A1 (zh) 音频视频会议中的远程互动方法、系统及mcu
CN104469259A (zh) 一种云端视频合成方法及系统
KR20050085659A (ko) 통신 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication