CN107547933A - 播放画面生成方法、装置及系统 - Google Patents

Abstract

本发明提供了一种播放画面生成方法、装置及系统，其中，该方法包括：接收布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面，解决了相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，可以根据用户自定义的，提高了用户体验。

Description

播放画面生成方法、装置及系统

技术领域

本发明涉及通信领域，具体而言，涉及播放画面生成方法、装置及系统。

背景技术

随着互联网和数字娱乐技术的发展，视频流量在网络数据消费的占比将超过95％，视频业务将成为互联网的下一个价值高地。播放器作为视频的终端呈现载体，近几年也在不断的发展和创新，从标清，高清到4k内容的播放，从2D到3D内容的展示，如何提升播放器的用户体验，增强操作的娱乐性，成为吸引用户的重要因素

多画面技术由画中画技术延伸而来，是指在一个画面中同时播放多个内容，广泛应用于频道列表，马赛克频道等场景，但是目前基本都是采用集成一路码流采用宫格模式展示，画面单调，无法实现自由的布局和排布，影响用户的操作和体验。

针对相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，还未提出有效的解决方案。

发明内容

本发明实施例提供了播放画面生成方法、装置及系统，以至少解决相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题。

根据本发明的一个实施例，提供了一种播放画面生成方法，包括：将多路码流合成一路码流的布局信息；通过内容分发网路CDN将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。

优选地，将多路码流合成一路码流的布局信息包括：将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。

优选地，在将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息之前，所述方法还包括：将不同格式和不同协议的视频内容转换成HLS协议规范的格式。

优选地，所述方法还包括：将所述布局信息写入到m3u8文件。

本发明实施例的另一方面，提供了一种播放画面生成方法，包括：接收编码器通过内容分发网络CDN发送的布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

优选地，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面包括：对所述布局信息进行解析，下载TS码流后将每个码流的画面切割出来，按照预先定义的模板进行变型处理，并填充到所述模板预留的位置，生成布局的播放画面，其中，所述模板是指最终在所述终端上呈现的布局样式，包括背景图、文字和内容展示位。

优选地，通过以下方式之一制作所述模板：本地制作，在终端中创建用户交互界面UI，通过本地接口设置模板；在线制作，在m3u8文件中描述每个展示元素的位置，由终端解析后生成模板。

本发明实施例的另一方面，还提供了一种播放画面生成装置，包括：合成模块，用于将多路码流合成一路码流的布局信息；发送模块，用于通过内容分发网路CDN将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。

优选地，所述合成模块包括：组合单元，用于将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。

本发明实施例的再一方面，还提供了一种播放画面生成装置，包括：接收模块，用于接收编码器通过内容分发网络CDN发送的布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；生成模块，用于在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

本发明实施例的再一方面，还一种播放画面生成系统，其特征在于，包括编码器、内容分发网络CDN和终端，其中，

所述编码器，用于将多路码流合成一路码流的布局信息，并将所述布局信息发送给所述CDN；

所述CDN，用于接收所述布局信息，并将所述布局信息发送给终端；

所述终端，用于接收所述布局信息，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

通过本发明，接收编码器通过内容分发网络CDN发送的布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面，解决了相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，可以根据用户自定义的，提高了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的播放画面生成方法的流程图一；

图2是根据本发明实施例的播放画面生成方法的流程图二；

图3是根据本发明实施例的播放画面生成装置的框图一；

图4是根据本发明实施例的播放画面生成装置的框图二；

图5是根据本发明实施例的播放画面生成的总体架构图；

图6是根据本发明实施例的播放画面生成模板的示意图；

图7是根据本发明实施例的播放画面生成模板的制作和设置的示意图；

图8是根据本发明实施例的播放器切割图画面的流程图；

图9是根据本发明实施例的画面切割原理的示意图；

图10是根据本发明实施例的播放器处切割画面的示意图；

图11是根据本发明实施例的在线制作模板的示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种播放画面生成方法，图1是根据本发明实施例的播放画面生成方法的流程图一，如图1所示，该流程包括如下步骤：

步骤S102，将多路码流合成一路码流的布局信息；

步骤S104，通过内容分发网路CDN将该布局信息发送给终端，该布局信息用于该终端解析后进行画面切割，生成布局的播放画面。

通过上述步骤，将多路码流合成一路码流的布局信息，通过内容分发网路CDN将该布局信息发送给终端，终端解析后进行画面切割，生成布局的播放画面，解决了相关技术中采用集成一路码流采用宫格模式展示播放画面导致用户体验差的问题，可以根据用户自定义的，提高了用户体验。

优选地，将多路码流合成一路码流的布局信息包括：将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。

优选地，在将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息之前，将不同格式和不同协议的视频内容转换成HLS协议规范的格式。

优选地，该方法还包括：将该布局信息写入到m3u8文件。

本发明实施例还提供了一种播放画面生成方法，图2是根据本发明实施例的播放画面生成方法的流程图二，如图2所示，该流程包括如下步骤：

步骤S202，接收编码器通过内容分发网络CDN发送的布局信息，其中，该布局信息为该编码器将多路码流合成为一路码流的布局信息；

步骤S204，在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

优选地，在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面包括：对该布局信息进行解析，下载TS码流后将每个码流的画面切割出来，按照预先定义的模板进行变型处理，并填充到该模板预留的位置，生成布局的播放画面，其中，该模板是指最终在该终端上呈现的布局样式，包括背景图、文字和内容展示位。

优选地，通过以下方式之一制作该模板：本地制作，在终端中创建用户交互界面UI，通过本地接口设置模板；在线制作，在m3u8文件中描述每个展示元素的位置，由终端解析后生成模板。

本发明实施例提供了一种播放画面生成装置，图3是根据本发明实施例的播放画面生成装置的框图一，如图3所示，包括：

合成模块32，用于将多路码流合成一路码流的布局信息；

发送模块34，用于通过内容分发网路CDN将该布局信息发送给终端，该布局信息用于该终端解析后进行画面切割，生成布局的播放画面。

优选地，该合成模32块包括：

组合单元，用于将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。

本发明实施例还提供了一种播放画面生成装置，图4是根据本发明实施例的播放画面生成装置的框图二，如图4所示，包括：

接收模块42，用于接收编码器通过内容分发网络CDN发送的布局信息，其中，该布局信息为该编码器将多路码流合成为一路码流的布局信息；

生成模块44，用于在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

本发明实施例的再一方面，还一种播放画面生成系统，其特征在于，包括编码器、内容分发网络CDN和终端，其中，

编码器，用于将多路码流合成一路码流的布局信息，并将该布局信息发送给该CDN；

CDN，用于接收该布局信息，并将该布局信息发送给终端；

终端，用于接收该布局信息，在解析该布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

步骤S1，将多路码流合成一路码流的布局信息；

步骤S2，通过内容分发网路CDN将该布局信息发送给终端，该布局信息用于该终端解析后进行画面切割，生成布局的播放画面。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

本发明实施例提供一种基于HLS协议的播放器多画面切割排布方案，图5是根据本发明实施例的播放画面生成的总体架构图，如图5所示，头端编码器对多个内容进行编码后，汇合成一路码流对终端进行输出，并将布局信息写入到m3u8文件；终端播放器读取m3u8文件，对其中的布局信息解析，下载TS码流后并将每个内容的画面切割出来，按照预制自定义模板的要求进行拉伸，旋转等变型处理，并填充到模板预留的位置，以多维度形式展示，形成比较绚丽的播放界面，提升用户的体验。

从系统功能上可以分为两部分，第一部分为编码器部分，编码器将多路码流合成一路，通过CDN分发给终端，第二部分为终端部分，终端的播放器解析码流，并进行画面切割，形成最终布局的播放画面。

头端编码

编码器是将不同格式和协议的视频内容转换成HLS协议规范的格式，多个视频同时注入到编码器，编码器将每个视频压制成等尺寸的画面，以宫格的形式组合，最终以一路码流输出。同时，将宫格的信息写入到自定义的#EXT-X-LAYOUT标签中，如：

#EXT-X-LAYOUT：2X2,表示宫格数为2行2列。

模板制作和预设

图6是根据本发明实施例的播放画面生成模板的示意图，如图6所示，模板是指最终呈现给用户的布局样式，包含背景图，文字，内容展示位等。模板的制作包括两种模式，一种是本地制作，即在客户端中创建UI界面，通过本地接口设置为播放器；另一种是在线制作，即在m3u8的文件描述每个展示元素的位置，由播放器解析后生成UI元素。优先采用在线模板，在没有在线模板的情况下，使用本地模板。

图7是根据本发明实施例的播放画面生成模板的制作和设置的示意图，如图7所示，对于在线制作模板，采用自定义的m3u8标签描述，然后下发给播放器，播放器实现对自定义标签的识别和绘制。模板中包含图片，画面，文字三种元素，分别用以下的标签表示：

1)图片

图片包括背景图，效果图等，可以有多个。

#EXT-X-image:image1:[x,y,width,height,url],image2:[x,y,width,heig ht,url]…

其中x，y，width，height分别表示该图片展示区域的左上角的x,y轴位置，以及区域的宽度和高度，url为image图片的路径。

2)画面

画面即待展示画面的区域，由多个区域组成。

#EXT-X-view:view1:[x,y,width,height],view2:[x,y,width,height]..

view1表示第一个索引画面的展示区域，其中x，y，width，height，url分别表示展示区域的左上角的x,y轴位置，以及区域的宽度和高度。

view2同上。

3)文字

#EXT-X-text:text1:[x,y,width,height,content],text2:[x,y,width,height,content]…

其中x，y，width，height，分别表示展示区域的左上角的x,y轴位置，以及区域的宽度和高度。content为文字内容。

4)多画面切割

对于HLS协议，播放器在播放视频时，首先下载index.m3u8文件，根据描述，下载对应的TS码流。

播放器在下载TS码流后，通过画面切割，形成单独的播放画面，关联预制的模板，并将画面填充，形成最终的展示画面，图8是根据本发明实施例的播放器切割图画面的流程图，如图8所示，具体包括：

步骤S802，播放器下载index.m3u8后进行解析，获取相关的布局信息，包括宫格的行列数和下载模板。

步骤S804，获取TS码流，解码输出到视频缓冲器Buffer view

步骤S806，获取位置信息；

步骤S808-S810，按照获取的位置信息切割画面，通过播放器解码后，并根据解析得到的布局信息，获得单独的真实视频Real view；

步骤S812，将视频view加载到模板并显示。

图9是根据本发明实施例的画面切割原理的示意图，如图9所示，播放器设置两层画布，一种为后台画布，即不可见、隐藏的，一种为前台画布，即用户能看到的界面。首先接收器将TS码流输入到后端显示器上，切割器根据宫格的布局信息，通过软解码，输出多股画面的流，投影到前端画面，并关联

图10是根据本发明实施例的播放器处切割画面的示意图，如图10所示，编码器合成一路码流，编码器端将4个内容的视频码流压缩合成一路码流输出，每个视频画面以宫格的形式排列。

图11是根据本发明实施例的在线制作模板的示意图，如图11所示，在线制作模块，将待制作的模板，转化成m3u8的描述。具体的内容如下：

//背景图，全屏

#EXT-X-image:image1:[0,0,fillparent,

fillparent,http://10.57.89.224:8080/bg.jpg]

//4个画面

#EXT-X-view:view1:[20,600,400,400],view2:[500,42,200,100]，view3:[450,600,300,200]，view4:[500,1000,200,100]

//文字

#EXT-X-text:text1:[20,1100,100,50,”名称”],text 2:[20,1200,100,50,”导演”],text 3:[20,1300,100,50,”剧情介绍”]

播放器通过画面分割，形成独立的播放画面单元，解析m3u8文件，形成布局模板，然后将画面填充到模板中，形成最终的多画面。

其中，相关的接口如下：

1)预设模板接口

void setFrameView(View view)

接口说明:设置预制的模板。

参数说明：View为布局对象,包括背景图，内容位置等元素。

返回值说明：无。

2)获取宫格的行列数

String getLayoutInfo()

接口说明：获取m3u8中多画面的行列数。

参数说明：无。

返回值说明：宫格行列数。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种播放画面生成方法，其特征在于，包括：

将多路码流合成一路码流的布局信息；

将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。

2.根据权利要求1所述的方法，其特征在于，将多路码流合成一路码流的布局信息包括：

将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。

3.根据权利要求2所述的方法，其特征在于，在将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息之前，所述方法还包括：

将不同格式和不同协议的视频内容转换成HLS协议规范的格式。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

将所述布局信息写入到m3u8文件。

5.一种播放画面生成方法，其特征在于，包括：

接收布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；

在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

6.根据权利要求5所述的方法，其特征在于，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面包括：

对所述布局信息进行解析，下载TS码流后将每个码流的画面切割出来，按照预先定义的模板进行变型处理，并填充到所述模板预留的位置，生成布局的播放画面，其中，所述模板是指最终在所述终端上呈现的布局样式，包括背景图、文字和内容展示位。

7.根据权利要求6所述的方法，其特征在于，通过以下方式之一制作所述模板：

本地制作，在终端中创建用户交互界面UI，通过本地接口设置模板；

在线制作，在m3u8文件中描述每个展示元素的位置，由终端解析后生成模板。

8.一种播放画面生成装置，其特征在于，包括：

合成模块，用于将多路码流合成一路码流的布局信息；

发送模块，用于将所述布局信息发送给终端，所述布局信息用于所述终端解析后进行画面切割，生成布局的播放画面。

9.根据权利要求8所述的装置，其特征在于，所述合成模块包括：

组合单元，用于将多个码流分别压缩成相同尺寸的画面，以宫格的形式组合为一路码流的布局信息。

10.一种播放画面生成装置，其特征在于，包括：

接收模块，用于接收布局信息，其中，所述布局信息为所述编码器将多路码流合成为一路码流的布局信息；

生成模块，用于在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。

11.一种播放画面生成系统，其特征在于，包括编码器、内容分发网络CDN和终端，其中，

所述编码器，用于将多路码流合成一路码流的布局信息，并将所述布局信息发送给所述CDN；

所述CDN，用于接收所述布局信息，并将所述布局信息发送给终端；

所述终端，用于接收所述布局信息，在解析所述布局信息后，对解析后的布局信息进行画面切割，生成布局的播放画面。