CN106303663B - 直播处理方法和装置、直播服务器 - Google Patents
直播处理方法和装置、直播服务器 Download PDFInfo
- Publication number
- CN106303663B CN106303663B CN201610857722.8A CN201610857722A CN106303663B CN 106303663 B CN106303663 B CN 106303663B CN 201610857722 A CN201610857722 A CN 201610857722A CN 106303663 B CN106303663 B CN 106303663B
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- live
- sources
- synthesized
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 131
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 130
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 18
- 239000000203 mixture Substances 0.000 claims description 18
- 239000002131 composite material Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开是关于一种直播处理方法和装置、直播服务器。所述方法包括：接收至少两路直播源；确定用以对所述至少两路直播源进行合成的合成参数的值；基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；将所述流媒体数据发送至观众客户端。本公开实施例中，合成参数的值并不是固定的，可以进行相应的调整，使得用户可以根据实际需求对合成画面中包含的每一路直播画面的位置进行调整。
Description
技术领域
本公开涉及直播技术领域，尤其涉及一种直播处理方法和装置、直播服务器。
背景技术
目前，在直播的过程中，经常需要将至少两路直播画面合成到同一直播页面上进行直播。
相关技术中，在对至少两路直播画面进行合成的过程中，通常每一路直播画面在合成得到的合成画面中的位置是固定的，用户无法根据实际需求对合成画面中包含的每一路直播画面的位置进行调整，在一定程度上可能会导致合成得到的合成画面不协调。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种直播处理方法和装置、直播服务器。
根据本公开实施例的第一方面，提供一种直播处理方法，包括：
接收至少两路直播源；
确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数用于表征与每一直播源对应的画面在合成画面中的位置；
基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
将所述流媒体数据发送至观众客户端。
在一实施例中，所述确定用以对所述至少两路直播源进行合成的合成参数的值，包括：
将来自于导播终端的与每一待合成的直播源对应的合成参数的值，确定为用以对所述直播源进行合成的合成参数的值；或，
根据待合成的直播源的数目，确定与所述数目对应的合成参数的值。
在一实施例中，所述接收至少两路直播源，包括：
接收与同一账号关联的至少两路直播源；
所述确定用以对所述至少两路直播源进行合成的合成参数的值，包括：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
在一实施例中，所述接收与同一账号关联的至少两路直播源之后，所述基于所述至少两路直播源并根据合成参数的值，生成流媒体数据之前，所述方法还包括：
根据来自于导播终端的选取指令，从与同一账号关联的直播源中，选取所述至少两路直播源作为待合成的直播源。
在一实施例中，所述基于所述至少两路直播源并根据合成参数的值，生成流媒体数据之前，所述方法还包括：
确定所述至少两路直播源的合成次序；
所述基于所述至少两路直播源并根据合成参数的值，生成流媒体数据，包括：
基于所述至少两路直播源并根据所述合成次序及所述参数集合，生成流媒体数据。
在一实施例中，所述合成参数包括：与每一直播源对应的位置参数，与每一直播源对应的画面大小参数及与每一直播源对应的音频音量占比。
根据本公开实施例的第二方面，提供一种直播处理装置，包括：
接收单元，用于接收至少两路直播源；
第一确定单元，用于确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数用于表征与每一直播源对应的画面在合成画面中的位置；
生成单元，用于基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
发送单元，用于将所述流媒体数据发送至观众客户端。
在一实施例中，所述第一确定单元用于：
将来自于导播终端的与每一待合成的直播源对应的合成参数的值，确定为用以对所述直播源进行合成的合成参数的值；或，
根据待合成的直播源的数目，确定与所述数目对应的合成参数的值。
在一实施例中，所述接收单元用于：
接收与同一账号关联的至少两路直播源；
所述第一确定单元用于：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
在一实施例中，所述装置还包括：
选取单元，用于根据来自于导播终端的选取指令，从与同一账号关联的直播源中，选取所述至少两路直播源作为待合成的直播源。
在一实施例中，所述装置还包括：
第二确定单元，用于确定所述至少两路直播源的合成次序；
生成单元，用于基于所述至少两路直播源并根据所述合成次序及所述参数集合，生成流媒体数据。
在一实施例中，所述合成参数包括：与每一直播源对应的位置参数，与每一直播源对应的画面大小参数及与每一直播源对应的音频音量占比。
根据本公开实施例的第三方面，提供一种直播服务器，包括：
处理器和用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
接收至少两路直播源；
确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数用于表征与每一直播源对应的画面在合成画面中的位置；
基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
将所述流媒体数据发送至观众客户端。
本公开的实施例提供的技术方案可以包括以下有益效果：
在接收到至少两路待合成的直播源之后，可以确定合成参数的值，并根据合成参数的值，对至少两路待合成的直播源进行合成，以生成与合成画面对应的流媒体数据。可见，本公开实施例中，合成参数的值并不是固定的，可以进行相应的调整，使得用户可以根据实际需求对合成画面中包含的每一路直播画面的位置进行调整，进而使得合成得到的直播画面更加协调。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的直播系统的架构图；
图2A是根据一示例性实施例示出的一种直播处理方法的流程图；
图2B是根据一示例性实施例示出的一种合成画面示意图；
图2C是根据一示例性实施例示出的另一种合成画面示意图；
图3是根据一示例性实施例示出的另一种直播处理方法的流程图；
图4是根据一示例性实施例示出的又一种直播处理方法的流程图；
图5是根据一示例性实施例示出的一种直播处理装置的框图；
图6是根据一示例性实施例示出的另一种直播处理装置的框图；
图7是根据一示例性实施例示出的又一种直播处理装置的框图；
图8是根据一示例性实施例示出的一种适用于直播处理的设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的直播系统的架构图，所述直播系统可以包括：直播源采集设备10、可与直播源采集设备10进行通信的直播服务器20及可与直播服务器20进行通信的至少一个观众客户端30。其中，上述直播源采集设备10可以是具有音/视频采集装置(如：摄像机、图像传感器、麦克风等)的设备(如：电脑、手机等)，上述观众客户端可以是观众使用的用以获取直播内容并进行播放的设备(如：电脑、手机、虚拟现实VR头盔等)。其中，直播服务器20可以接收分别来自于多个直播源采集设备10的多路直播源，并采用预设的合成规则，对多路直播源进行合成及编码，生成一路与合成画面对应的流媒体数据，最终，将生成的流媒体数据发送到一个或多个观众客户端30上进行播放。其中，流媒体数据可以按照指定的流媒体传输协议来进行传输，例如，实时传输协议(Real-time TransportProtocol，RTP)、实时传输控制协议(Real-time Transport Control Protocol，RTCP)等。另外，所述直播服务器可以是单个服务器或由多个服务器构成的服务器集群。
图2A是根据一示例性实施例示出的一种直播处理方法的流程图，图2B是根据一示例性实施例示出的一种合成画面示意图，图2C是根据一示例性实施例示出的另一种合成画面示意图。该直播处理方法可以应用在直播服务器上，如图2A所示，所述直播处理方法可以包括以下步骤101～104：
在步骤101中，接收至少两路直播源。
所述至少两路直播源可以是由至少两个直播源采集设备10分别采集得到的。
在步骤102中，确定用以对所述至少两路直播源进行合成的合成参数的值。
所述合成参数至少用于表征与每一直播源对应的画面在合成画面中的位置。在一实施例中，所述合成参数可包括但不限于：与每一直播源对应的位置参数及与每一直播源对应的音频音量占比等。所述位置参数可以包括画面在合成画面中的横坐标区间及纵坐标区间。所述合成参数还可包括：输出格式、屏幕特征、码率、采样率、声道等等。在一实施例中，可以采用特定的流媒体编码工具来对直播源进行合成，所述流媒体编码工具可包括：FFmpeg(Fast Forward Mpeg)、mencoder、ffdshow、x264等。
在一实施例中，所述步骤102可包括：
将来自于导播终端的与每一待合成的直播源对应的合成参数的值，确定为用以对所述直播源进行合成的合成参数的值。其中，所述导播终端可通过网络访问直播服务器，以在导播终端上将一导播台网页进行展示，此后，用户可以在所述导播台网页上输入合成参数的值，以及选择所需合成的至少两路直播源，并将输入的合成参数的值发送到直播服务器上。
在另一实施例中，所述步骤102可包括：
根据待合成的直播源的数目，确定与所述数目对应的合成参数的值。
本实施例中，用户可以预先确定待合成直播源的数目和合成参数的值的对应关系并存储到直播服务器上。这样，在待合成的直播源的数目确定之后，直播服务器便可以查找到预先存储的与所述数目对应的合成参数的值，并利用所述合成参数的值进行画面的合成。举例而言，当需要合成的直播源的数目为2时，预先确定的合成画面的布局方式可以是：将两个直播源对应的视频画面左、右排布于合成画面内，且两个视频画面的画面大小相等；当需要合成的直播源的数目为3时，预先确定的合成画面的布局方式可以是：将与其中一个直播源对应的视频画面排布于合成画面的上半部分，将与另外两个直播源对应的视频画面左、右排布于合成画面的下半部分(如图2B所示)。以此类推，当待合成的直播源的数目更多时，可以根据需要，分别确定一种与之对应的合成画面的布局方式，此处不再一一列举。值得一提的是，在确定与待合成直播源的数目对应的布局方式之后，可相应地确定出与上述布局方式对应的一个或多个合成参数的值，并在直播服务器上存储上述数目与合成参数的值的对应关系。
在步骤103中，基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据。
在步骤104中，将流媒体数据发送至观众客户端。
参图2B所示，在一种示例性的直播场景中，假设该直播场景包括三路由不同的直播源采集设备采集并上传的直播源A、B、C，每一种直播源对应一种视频画面。在直播服务器上，需要对以上三种直播源进行合成，得到一合成画面。为此，用户可设定合成参数的值，使得直播服务器可以根据合成参数的值，来生成与合成画面对应的流媒体数据。在图2B中，合成画面31包括与直播源A对应的第一视频画面311、与直播源B对应的第二视频画面313以及与直播源C对应的第三视频画面315。其中，根据合成参数的值，可以确定与每一路直播源对应的视频画面在所述合成画面中的位置及布局，以及每一路直播源对应的音频音量的占比，等等。用户可以通过调整与某一直播源对应的合成参数的值，来调整与该直播源对应的视频画面在合成画面中的位置。需要说明的是，用户可以输入上述合成参数的值，也可以在导播台网页上预览合成画面时，通过拖动画面、或移动画面等操作，实现对合成参数的值的调整。
参图2C所示，在另一种示例性的直播场景中，在合成得到的合成画面31中，往往存在两个或两个以上不同的直播源对应的视频画面相互重叠的情况，也就是说，可能将某一直播源的视频画面覆盖到另一直播源的视频画面之上，本文中，可将上述重叠或被覆盖的区域定义为“覆盖区域”。例如，合成画面31包括与直播源A对应的第一视频画面311、与直播源B对应的第二视频画面313，第一视频画面311和第二视频画面313之间存在覆盖区域316。若用户有将某一视频画面中的某些区域被其他视频画面覆盖住的需求，则可通过设定合成参数的值来实现。也就是说，合成参数可以用于表征与每一直播源对应的视频画面在合成画面中的位置，相互之间存在的覆盖区域的位置和大小，以及将哪一视频画面覆盖于哪一视频画面之上，等等。
本实施例中，用以对直播源进行画面合成的合成参数的值并不是固定的，可以进行相应的调整，使得用户可以根据实际需求对合成画面中包含的每一路直播画面的位置进行调整，进而使得合成得到的直播画面更加协调。
在一实施例中，所述步骤101可包括：
接收与同一账号关联的至少两路直播源。
相应地，所述步骤102可包括：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，其中，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
在一实施例中，在所述步骤101之后，在所述步骤103之前，直播处理方法还包括：
根据来自于导播终端的选取指令，从与同一账号关联的至少两路直播源中，选取至少两路直播源作为待合成的直播源。
在一实施例中，在所述步骤101之后，在所述步骤103之前，直播处理方法还包括：
确定与每一待合成的直播源对应的合成次序；
相应地，所述步骤103可包括：
根据所述合成次序及所述参数集合包含的合成参数的值，生成流媒体数据。
至此，本公开实施例提供的上述方法，在接收到至少两路待合成的直播源之后，可以确定合成参数的值。其中，确定合成参数的值的方式包括：接收来自于导播终端的与每一待合成的直播源对应的合成参数的值，并将接收到的合成参数的值确定为用于对直播源进行合成的合成参数的值；或者，根据账号和/或待合成直播源的数目来确定等。最终，根据合成参数的值，对至少两路待合成的直播源进行合成，以生成与合成画面对应的流媒体数据。可见，由于合成参数的值并不是固定的，可进行相应的调整，使得用户可以根据实际需求对合成画面中包含的每一路直播画面的位置进行调整，进而使得合成得到的直播画面更加协调。
具体如何实现直播的过程，请参考后续实施例。
图3是根据一示例性实施例示出的另一种直播处理方法的流程图，该直播处理方法可以应用在直播服务器上，如图3所示，直播处理方法可以包括以下步骤201～205：
在步骤201中，接收与同一账号关联的至少两路直播源。
所述账号可以是主播在直播平台上预先注册的直播账号，或其他类型用于标识主播身份的ID，如：在即时通信平台上注册的账号等。在某些场景中，同一直播现场可包括两个或两个以上用以采集直播源的采集设备，这些采集设备上可以采用同一个账号进行登录，从而使得同一直播现场中的各个采集设备上传的直播源都与同一个账号进行关联，以使得对同一直播现场的多路直播源进行合成处理成为可能。
在步骤202中，确定待合成的直播源的数目。
在一实施例中，可根据用户在导播台网页上的操作来确定待合成的直播源的数目。所述操作可包括选择待合成的直播源的操作，或输入待合成的直播源的数目的操作，等等。
在步骤203中，根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合；其中，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
本实施例中，每一用户对可以根据自身需求，预先确定好直播源画面合成的合成参数的值，并且，可以根据所需合成的直播源的数目的不同，分别确定与数目相对应的合成参数的值(合成参数的值用于表征每一直播源的画面在合成画面中的布局方式)。也就是说，对于每一用户而言，其预先确定好的“账号-数目-合成参数的值”的对应关系可以被预先存储到直播服务器上。以账号a和账号b来举例说明，对于账号a而言，当待合成的直播源数目为2时，合成画面的布局方式可以是：将两个直播源对应的视频画面左、右排布于合成画面内，且两个视频画面的画面大小相等；当待合成的直播源数目为3时，合成画面的布局方式可以是：将与其中一个直播源对应的视频画面排布于合成画面的上半部分，将与另外两个直播源对应的视频画面左、右排布于合成画面的下半部分。而对于账号b而言，当待合成的直播源数目为2时，合成画面的布局方式可以是：将两个直播源对应的视频画面上、下排布于合成画面内，且两个视频画面的画面大小相等；当待合成的直播源数目为3时，合成画面的布局方式可以是：将与其中一个直播源对应的视频画面排布于合成画面的左半部分，将与另外两个直播源对应的视频画面上、下排布于合成画面的右半部分。总而言之，对于不同的账号而言，可以对应于一个或多个待合成的直播源数目，并且，为每一种直播源数目定义一种合成画面的布局方式。在确定了布局方式之后，也就可以相应地确定与布局方式对应的一个或多个合成参数的值(即参数集合)，并存储到直播服务器上。
基于直播服务器上预先存储的“账号-数目-合成参数的值”的对应关系，可以查找到与指定账号、指定数目对应的合成参数的值。
在步骤204中，基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
在步骤205中，将所述流媒体数据发送至观众客户端。
至此，本实施例中，用以对直播源进行画面合成的合成参数的值并不是固定的，可以根据预先存储的“账号-数目-合成参数的值”的对应关系，查找到与账号及待合成直播源数目对应的合成参数的值。而“账号-数目-合成参数的值”的对应关系是用户预先根据自身需求确定并存储到服务器上的，并且，用户可以根据需要对上述存储的对应关系进行调整，从而使得用户可以根据实际需求对合成画面中包含的每一路直播画面的位置进行调整，进而使得合成得到的直播画面更加协调。
图4是根据一示例性实施例示出的又一种直播处理方法的流程图，该直播处理方法可以应用在直播服务器上，如图4所示，直播处理方法可以包括以下步骤301～606：
在步骤301中，接收与同一账号关联的至少两路直播源。
该步骤301可以参照关于上述步骤201的内容，本文不予以赘述。
在步骤302中，根据来自于导播终端的选取指令，从与同一账号关联的至少两路直播源中，选取至少两路直播源作为待合成的直播源。
本实施例中，导播终端可以通过账号来访问所述直播服务器，以查看到与所述账号关联的所有直播源，并从中选取至少两个作为待合成的直播源。举例而言，在示例性的场景中，与某账号对应的直播源有4个，而在合成时，只需要对其中的3个直播源进行合成，则用户可以通过在导播终端上的选取指令来实现。其中，所述选取指令可以包含被选取的直播源的标识信息。
在步骤303中，根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合。其中，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
该步骤303可以参照关于上述步骤203的内容，本文不予以赘述。
在步骤304中，确定与每一待合成的直播源对应的合成次序。
在一实施例中，与每一直播源对应的视频画面在合成画面中的位置，可以由合成次序的来决定。继续使用上述例子来说明，对于账号a而言，当待合成的直播源数目为2时，合成画面的布局方式可以是：将两个直播源对应的视频画面左、右排布于合成画面内，且两个视频画面的画面大小相等；当待合成的直播源数目为3时，合成画面的布局方式可以是：将与其中一个直播源对应的视频画面排布于合成画面的上半部分，将与另外两个直播源对应的视频画面左、右排布于合成画面的下半部分(参图2B所示)。如图2B所示，直播服务器合成处理所遵循的合成规则可以如下：第一视频画面311是与“合成次序”为1的直播源相对应的，第二视频画面313是与“合成次序”为2的直播源相对应的，第三视频画面315是与“合成次序”为3的直播源相对应的。本实施例中，与每一直播源对应的合成次序可以由用户来指定。
在步骤305中，根据所述合成次序及所述参数集合包括的合成参数的值，生成流媒体数据。
承上所述，直播服务器根据与每一直播源对应的合成次序，确定与每一直播源对应的直播画面应该被置于所述合成画面中的哪一个画面区域内，而每一个画面区域的大小和位置又可以根据合成参数的值来确定。
在步骤306中，将流媒体数据发送至观众客户端。
本实施例中，用以对直播源进行画面合成的合成参数的值并不是固定的，使得用户可以根据实际需求对合成画面中包含的每一路直播画面的位置进行调整，进而使得合成得到的直播画面更加协调。
值得述及的是，在其他实施例中，用户(导播人员)可以通过导播网页，对合成参数的值进行调整，并且，还可以在上述导播网页上对多个直播源合成后的画面合成效果进行预览，以确保合成画面满足直播需求。在需要对合成画面的布局进行调整时，可以随即通过上述导播网页调整相应的合成参数的值(也可以通过在预览页面上通过拖拉、移动合成画面中某一视频画面的方式来实现)，实现了直播画面合成效果的可调节性。
图5是根据一示例性实施例示出的一种直播处理装置的框图，如图5所示，所述直播处理装置包括：
接收单元41，用于接收至少两路直播源；
第一确定单元42，用于确定用以对所述至少两路直播源进行合成的合成参数的值；其中，所述合成参数至少用于表征与每一直播源对应的画面在合成画面中的位置；
生成单元43，用于基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
发送单元44，用于将所述流媒体数据发送至观众客户端。
在一实施例中，所述第一确定单元42可用于：
将来自于导播终端的与每一待合成的直播源对应的合成参数的值，确定为用以对所述直播源进行合成的合成参数的值。
在另一实施例中，所述第一确定单元42可用于：
根据待合成的直播源的数目，确定与所述数目对应的合成参数的值。
在一实施例中，所述接收单元41可用于：
接收与同一账号关联的至少两路直播源；
相应地，所述第一确定单元42可用于：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
图6是根据一示例性实施例示出的另一种直播处理装置的框图，如图6所示，在上述图5所述的直播处理装置的基础上，所述直播处理装置还可包括：
选取单元45，用于根据来自于导播终端的选取指令，从与同一账号关联的至少两路直播源中，选取至少两路直播源作为待合成的直播源。
图7是根据一示例性实施例示出的另一种直播处理装置的框图，如图7所示，在上述图5所述的直播处理装置的基础上，所述直播处理装置还可包括：
第二确定单元46，用于确定与每一待合成的直播源对应的合成次序；
相应地，在本实施例中，所述生成单元43可用于：
根据所述合成次序及所述参数集合包含的合成参数的值，生成流媒体数据。
在一实施例中，所述合成参数可包括：与每一直播源对应的位置参数，与每一直播源对应的画面大小参数及与每一直播源对应的音频音量占比。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种适用于直播处理的设备的框图。例如，设备600可以被提供为一服务器。参照图8，设备600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理部件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。所述处理组件622被配置为：
接收至少两路直播源；
确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数至少用于表征与每一直播源对应的画面在合成画面中的位置；
基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
将所述流媒体数据发送至观众客户端。
设备600还可以包括一个电源组件626被配置为执行设备600的电源管理，一个有线或无线网络接口650被配置为将设备600连接到网络，和一个输入输出(I/O)接口658。设备600可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器632，上述指令可由设备600的处理组件622执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (9)
1.一种直播处理方法，其特征在于，包括：
接收与同一账号关联的至少两路直播源；
确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数用于表征与每一直播源对应的画面在合成画面中的位置；
基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
将所述流媒体数据发送至观众客户端；
所述确定用以对所述至少两路直播源进行合成的合成参数的值，包括：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
2.根据权利要求1所述的方法，其特征在于，所述接收与同一账号关联的至少两路直播源之后，所述基于所述至少两路直播源并根据合成参数的值，生成流媒体数据之前，所述方法还包括：
根据来自于导播终端的选取指令，从与同一账号关联的直播源中，选取所述至少两路直播源作为待合成的直播源。
3.根据权利要求1所述的方法，其特征在于，所述基于所述至少两路直播源并根据合成参数的值，生成流媒体数据之前，所述方法还包括：
确定所述至少两路直播源的合成次序；
所述基于所述至少两路直播源并根据合成参数的值，生成流媒体数据，包括：
基于所述至少两路直播源并根据所述合成次序及所述参数集合，生成流媒体数据。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述合成参数包括：与每一直播源对应的位置参数，与每一直播源对应的画面大小参数及与每一直播源对应的音频音量占比。
5.一种直播处理装置，其特征在于，包括：
接收单元，用于接收与同一账号关联的至少两路直播源；
第一确定单元，用于确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数用于表征与每一直播源对应的画面在合成画面中的位置；
生成单元，用于基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
发送单元，用于将所述流媒体数据发送至观众客户端；
所述第一确定单元用于：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
选取单元，用于根据来自于导播终端的选取指令，从与同一账号关联的直播源中，选取所述至少两路直播源作为待合成的直播源。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二确定单元，用于确定所述至少两路直播源的合成次序；
生成单元，用于基于所述至少两路直播源并根据所述合成次序及所述参数集合，生成流媒体数据。
8.根据权利要求5至7中任意一项所述的装置，其特征在于，所述合成参数包括：与每一直播源对应的位置参数，与每一直播源对应的画面大小参数及与每一直播源对应的音频音量占比。
9.一种直播服务器，其特征在于，包括：
处理器和用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
接收与同一账号关联的至少两路直播源；
确定用以对所述至少两路直播源进行合成的合成参数的值；所述合成参数用于表征与每一直播源对应的画面在合成画面中的位置；
基于所述至少两路直播源并根据合成参数的值，生成与合成画面对应的流媒体数据；
将所述流媒体数据发送至观众客户端；
所述确定用以对所述至少两路直播源进行合成的合成参数的值，包括：
根据所述账号及待合成的直播源的数目，查找预存的与所述账号及所述数目对应的参数集合，所述参数集合包括与每一待合成的直播源对应的合成参数的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610857722.8A CN106303663B (zh) | 2016-09-27 | 2016-09-27 | 直播处理方法和装置、直播服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610857722.8A CN106303663B (zh) | 2016-09-27 | 2016-09-27 | 直播处理方法和装置、直播服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106303663A CN106303663A (zh) | 2017-01-04 |
| CN106303663B true CN106303663B (zh) | 2019-12-06 |
Family
ID=57716393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610857722.8A Active CN106303663B (zh) | 2016-09-27 | 2016-09-27 | 直播处理方法和装置、直播服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106303663B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107071508B (zh) * | 2017-03-30 | 2019-11-12 | 武汉斗鱼网络科技有限公司 | 一种在直播中实现双屏推流的方法及系统 |
| CN106921866B (zh) * | 2017-05-03 | 2021-12-28 | 广州方硅信息技术有限公司 | 辅助直播的多视频导播方法和设备 |
| CN108881926A (zh) * | 2017-05-15 | 2018-11-23 | 环达电脑(上海)有限公司 | 行车网络直播装置及方法 |
| CN107948756B (zh) * | 2017-11-22 | 2020-07-24 | 广州华多网络科技有限公司 | 视频合成控制方法、装置及相应的终端 |
| CN108495141B (zh) * | 2018-03-05 | 2021-03-19 | 网宿科技股份有限公司 | 一种音视频的合成方法及系统 |
| CN108200358A (zh) * | 2018-03-20 | 2018-06-22 | 网宿科技股份有限公司 | 一种音视频导播方法、系统及控制服务器 |
| CN108260023B (zh) * | 2018-04-20 | 2020-11-03 | 广州酷狗计算机科技有限公司 | 进行直播的方法和装置 |
| CN112261434A (zh) * | 2020-10-22 | 2021-01-22 | 广州华多网络科技有限公司 | 界面布局控制、处理方法及其相应的装置、设备、介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954633A (zh) * | 2014-03-28 | 2015-09-30 | 北京中投视讯文化传媒有限公司 | 一种直播导播的方法、客户端及系统 |
| CN105357542A (zh) * | 2015-11-20 | 2016-02-24 | 广州华多网络科技有限公司 | 直播方法、装置及系统 |
| CN105430424A (zh) * | 2015-11-26 | 2016-03-23 | 广州华多网络科技有限公司 | 一种视频直播的方法、装置和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104053014B (zh) * | 2013-03-13 | 2020-05-29 | 腾讯科技（北京）有限公司 | 一种基于移动终端的直播系统、方法和移动终端 |
-
2016
- 2016-09-27 CN CN201610857722.8A patent/CN106303663B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954633A (zh) * | 2014-03-28 | 2015-09-30 | 北京中投视讯文化传媒有限公司 | 一种直播导播的方法、客户端及系统 |
| CN105357542A (zh) * | 2015-11-20 | 2016-02-24 | 广州华多网络科技有限公司 | 直播方法、装置及系统 |
| CN105430424A (zh) * | 2015-11-26 | 2016-03-23 | 广州华多网络科技有限公司 | 一种视频直播的方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106303663A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106303663B (zh) | 直播处理方法和装置、直播服务器 | |
| EP3562163B1 (en) | Audio-video synthesis method and system | |
| CN105991962B (zh) | 连接方法、信息展示方法、装置及系统 | |
| US20150124048A1 (en) | Switchable multiple video track platform | |
| US20150222815A1 (en) | Aligning videos representing different viewpoints | |
| US10820131B1 (en) | Method and system for creating binaural immersive audio for an audiovisual content | |
| JP2021185720A (ja) | 再生装置および方法、並びにプログラム | |
| CN106303608B (zh) | 直播处理方法和装置、直播服务器及直播系统 | |
| US20210368214A1 (en) | Method and mobile terminal for processing data | |
| US20170339469A1 (en) | Efficient distribution of real-time and live streaming 360 spherical video | |
| US11089073B2 (en) | Method and device for sharing multimedia content | |
| CN105898395A (zh) | 一种网络视频播放方法、装置及系统 | |
| KR101915792B1 (ko) | 얼굴인식을 이용한 광고 삽입 시스템 및 방법 | |
| CN114531564A (zh) | 处理方法及电子设备 | |
| US10721500B2 (en) | Systems and methods for live multimedia information collection, presentation, and standardization | |
| KR102313309B1 (ko) | 고객 맞춤형 라이브 방송 시스템 | |
| Oldfield et al. | An object-based audio system for interactive broadcasting | |
| KR101957807B1 (ko) | 다인칭 시점의 sns 라이브 방송을 위한 오디오 중계 방법 및 시스템 | |
| CN109862385B (zh) | 直播的方法、装置、计算机可读存储介质及终端设备 | |
| JP2008136044A (ja) | 動画分割サーバおよびその制御方法 | |
| KR101604002B1 (ko) | 모바일 단말 장치를 이용한 중계 방송을 지원하기 위한 방법, 장치 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| KR101906396B1 (ko) | 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| CN107547917B (zh) | 频道的播放和处理方法及装置，频道的处理系统 | |
| US20220303636A1 (en) | Providing dynamic media captioning and augmented/virtual reality feedback in home network environments | |
| US20230396814A1 (en) | A system, a device, and methods of streaming an event |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |