CN112019907A - 直播画面分流方法、计算机设备及可读存储介质 - Google Patents
直播画面分流方法、计算机设备及可读存储介质 Download PDFInfo
- Publication number
- CN112019907A CN112019907A CN201910463903.6A CN201910463903A CN112019907A CN 112019907 A CN112019907 A CN 112019907A CN 201910463903 A CN201910463903 A CN 201910463903A CN 112019907 A CN112019907 A CN 112019907A
- Authority
- CN
- China
- Prior art keywords
- live broadcast
- elements
- live
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000009877 rendering Methods 0.000 claims abstract description 62
- 230000002194 synthesizing effect Effects 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 21
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000003993 interaction Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
Abstract
本发明公开了直播画面分流方法、计算机设备及可读存储介质，属于互联网技术领域。本发明可支持多个绘制元素的展示，在直播时，分别获取每一绘制元素的直播数据，对目标绘制元素的直播数据与整个直播界面的直播图像进行分离，将目标绘制元素获取的直播数据直接展示于移动终端的显示界面，以使直播端的用户通过显示屏幕最大限度的观看摄像模块采集是图像数据；将所有的绘制元素的直播数据进行合成从而生成直播图像制作成流媒体推送至服务器，以使观看端的用户可观看包含有多个绘制元素的直播图像，提升用户之间的互动效果及视觉体验。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及直播画面分流方法、计算机设备及可读存储介质。
背景技术
随着直播行业的不断发展，手机直播越来越受到大众的喜爱，通过手机的直播软件，用户可以实时分享自己周围的新鲜事物，可以使其他用户更加近距离的聊天互动。然而，目前的手机直播端的主播界面相对于电脑端的主板界面面积小，展示的内容受限(如：只能呈现摄像头采集的视频数据，无法呈现其他的文字或图片信息)，不利于直播端的主播用户观看直播效果，且达到采用电脑端直播时的主播界面的效果。
发明内容
针对现有手机直播界面展示的面积小，不利于直播端的主播用户观看直播效果的问题，现提供一种旨在可提升直播端的主播用户观看效果的直播画面分流方法、计算机设备及可读存储介质。
一种直播画面分流方法，应用于移动终端中，所述移动终端的直播界面包括多个绘制元素，所述多个绘制元素包括至少个目标绘制元素；所述方法包括下述步骤：
获取所述多个绘制元素的直播数据；
通过所述移动终端的显示单元显示与所述目标绘制元素对应的直播数据；
对所述多个绘制元素的直播数据进行合成，生成直播图像；
将所述直播图像的数据制作成流媒体推送至服务器。
优选的，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤，包括：
根据每一所述绘制元素的适配参数调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像，或
根据每一所述绘制元素的适配参数，对所述多个绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。
优选的，所述绘制元素选自以下任意一种：摄像元素、场景元素、组合子元素；
所述场景元素采用图片元素或文字元素。
优选的，所述组合子元素包括由图片元素，和/或文字元素，和/或摄像元素组成的包含适配参数的组合子元素；
所述适配参数包括：尺寸变化参数，和/或位置变化参数，和/或纹理变化参数。
优选的，当所述多个绘制元素包括一所述图片元素，且所述图片元素的图层覆盖于直播界面的上方，所述图片元素的透明度在阈值范围内时；
在直播过程中，当获取屏蔽信号时，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤包括：
将所述屏蔽图片的透明度调整至非透明状态，对所述多个绘制元素的直播数据进行合成，生成呈现有所述屏蔽图片的直播图像。
优选的，所述绘制元素还包括：演示文稿元素，所述演示文稿元素对应一索引模块，所述索引模块用以记录每一文稿图像的展示时间，及每一时刻的展示状态。
优选的，当所述多个绘制元素包括摄像元素和演示文稿元素时；
获取所述多个绘制元素的直播数据的步骤为：
获取所述多个绘制元素的直播数据，根据所述索引模块获取当所述演示文稿元素的展示状态及文稿图像；
对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤为：
根据每一所述绘制元素的适配参数，以及当前演示文稿元素的展示状态及文稿图像，调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像，或
根据每一所述绘制元素的适配参数，以及当前演示文稿元素的展示状态及文稿图像，对所有的绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。
优选的，所述目标绘制元素为摄像元素。
本发明还提供了一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述技术方案的有益效果：
本技术方案中，移动终端的直播界面可支持多个绘制元素(即：直播互动的场景元素)的展示，在直播时，分别获取每一绘制元素的直播数据，对目标绘制元素的直播数据与整个直播界面的直播图像进行分离，将目标绘制的直播数据直接展示于移动终端的显示界面，以使直播端的用户通过显示屏幕最大限度的观看目标绘制数据；将所有的绘制元素(即：包括目标绘制元素及其他增加直播效果的元素)的直播数据进行合成从而生成直播图像制作成流媒体推送至服务器，以使观看端的用户可观看包含有多个绘制元素的直播图像，提升用户之间的互动效果及视觉体验。
附图说明
图1为本发明所述的直播画面分流系统的一种实施例的框架图；
图2为本发明所述的直播画面分流方法的一种实施例的流程图；
图3为直播画面经分流后直播端及观看端屏幕界面的示意图；
图4为具有隐私模式的直播界面中绘制元素的分层的示意图；
图5为处于隐私模式下的直播界面的示意图；
图6c1-图6c3为两种文稿图像切换过程的图像示意图；
图7为本发明所述的直播画面分流系统的一种实施例的模块图；
图8为本发明实施例提供的执行直播画面分流方法的计算机设备的硬件结构示意图；
图9为观看端包括多种绘制元素的直播界面的一种实施例的示意图；
图10为观看端屏幕界面的另一种实施例的示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。
在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。
本申请实施例的视频可以呈现于大型视频播放设备、游戏机、台式计算机、智能手机、平板电脑、MP3(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压縮标准音频层)播放器、MP4(MovingPictureExpertsGroupAudioLayerlV，动态影像专家压縮标准音频层面)播放器、膝上型便携计算机、电子书阅读器以及其它显示终端等客户端。
本申请实施例的视频不仅可以应用于比赛类型的视频播放节目中，而且还可以应用在任何可呈现视频的应用场景，比如说，可以应用在一些求职节目中，应用在一些相亲节目中，应用在多方对抗的娱乐节目中等等。本申请实施例以视频应用于游戏类直播视频播放节目中为例子，但是并不局限于此。
本申请实施例中，直播端(即推流端)用户通过将直播信息经由服务器的处理后，可以再由服务器发送给各个观看端(即拉流端)，各个观看端再播放该直播信息。请参考图1，图1是本申请实施例提供的直播画面分流系统架构图。如图1所示，A用户通过无线网络将直播信息传输给服务器W，B用户、C用户通过无线网络观看A用户的直播视频，D用户和E用户均通过有线网络观看A用户的直播视频并将各自的弹幕信息传输给服务器W。此处只给出一个服务器W，此处的应用场景还可以包括多台相互通讯的服务器。服务器W可以是云端服务器，还可以是本地服务器。在本申请实施例中，服务器W放置在云端侧。假如A用户发送直播信息，服务器W对该直播信息进行处理，并将该直播信息转发给A用户、B用户、C用户、D用户、E用户。
本发明为解决现有的手机直播界面展示内容单一，用户体验效果差的缺陷，提出了一种直播画面分流方法。需要说明的是：该直播画面分流方法应用于移动终端中，所述移动终端的直播界面包括多个绘制元素，所述多个绘制元素包括至少一个目标绘制元素。参阅图2，其为一符合本发明一优选实施例的直播画面分流方法的流程示意图，从图中可以看出，本实施例中所提供的直播画面分流方法主要包括以下步骤：
S1.获取所述多个绘制元素的直播数据；
需要说明的是：所述绘制元素可选自以下任意一种：摄像元素、场景元素、组合子元素；绘制元素之间的图层可以重叠或覆盖。
其中，所述场景元素可采用图片元素或文字元素；所述组合子元素可包括由图片元素，和/或文字元素，和/或摄像元素组成的包含适配参数的组合子元素；所述适配参数可包括：尺寸变化参数，和/或位置变化参数，和/或纹理变化参数。尺寸变化参数、位置变化参数和纹理变化参数均对应相应的变换矩阵。
在本实施例中的移动终端可以是智能手机或平板电脑。本实施例中的摄像元素与移动终端自带的摄像模块对应，摄像元素展示的图像内容为该摄像模块拍摄的内容；图片元素为预先存储于移动终端内部的图像；组合子元素可以理解为一小的直播界面，该组合子元素可以是由图片元素和文字元素组成，且包括每一元素的布局适配参数的元素。
在步骤S1中获取各个绘制元素当前时刻的内容，以便于对直播图像的内容不断更新，例如：对于摄像元素需重新从摄像模块获取当前采集的数据；对于文本元素需根据当前时间计算移动的距离长度等。将每一绘制元素计算的结果(即：各自作为一张贴图和这张贴图对应的宽和高等数据)进行存储。
S2.通过所述移动终端的显示单元显示与所述目标绘制元素对应的直播数据；
作为举例而非限定，目标绘制元素可采用摄像元素。
基于移动终端屏幕尺寸小，直播端用户观看主要的直播内容的视觉效果受限，可将移动终端的摄像模块采集的直播数据全屏显示于移动终端的屏幕中，最大限度的提升直播端用户的视觉观看效果。
需要说明的是：目标绘制元素还可以采用场景元素、图片元素或文字元素等。
在实际应用中，目标绘制元素的对象用户可根据需要自行选择设定对象及个数。
S3.对所述多个绘制元素的直播数据进行合成，生成直播图像；
进一步地，在所述步骤S3中，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤，包括：
根据每一所述绘制元素的适配参数调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像。每一绘制元素均对应一适配参数。
由于现有的手机显卡的像素填充速度比电脑的显卡像素填充速度低很多，当直播界面需要多个绘制元素合成形成时，需对每绘制元素进行多次渲染，而每一次渲染均需要消耗显卡的像素填充速度，目前的手机由于其显卡的像素填充速度低因此无法支持包括多个绘制元素的直播界面展示。在步骤S3中，针对手机显卡的像素填充速度低的缺陷，直接将每一个绘制元素的适配参数对相应的绘制元素进行场景合成(即：基于每一绘制元素对应的变换矩阵对该绘制元素对应的原始图片进行渲染处理合成直播图像)的方式，以满足手机本身的显卡的像素填充速度，达到采用多个绘制元素展示直播界面的目的，提升用户的体验效果。
作为举例而非限定，可采用开放图形库(OpenGL)模块对所有绘制元素的直播数据进行渲染合成，根据每一绘制元素对应的适配参数和绘制元素的实际尺寸，计算在不变形的前提下对各个绘制元素进行缩放的比例，以及最终绘制的位置坐标，并将绘制元素更新完毕的贴图组合为直播画面。以一图片元素为例：在进行渲染合成时，需调整图片元素对应的图片的尺寸(如：放大、缩小、以及平铺、拉伸、填充、居中、跨区等展示模式)，以使图片在直播界面的合理布局范围内进行展示、调整图片在直播界面中位置(如：上部、下部、中部等)以及该图片的纹理(如：透明度等)，以使该图片以合理的尺寸适当的效果在直播界面中展示。对于文字元素在观看其展示效果时，可以以滚动的方式展示。
进一步地，在所述步骤S3中，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤，包括：
根据每一所述绘制元素的适配参数，对所述多个绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。
在本实施例中，当绘制元素的适配参数与需要调整的参数匹配时，可对绘制元素进行渲染合成，将绘制元素更新完毕的贴图组合为直播画面。
S4.将所述直播图像的数据制作成流媒体推送至服务器。
流媒体是指将一连串的媒体数据压缩后，经过网络分段发送数据，在网络上即时传输影音以供观赏的一种技术与过程，此技术使得数据包得以像流水一样发送；如果不使用此技术，需在使用前下载整个媒体文件。
在实际应用中，可将直播图像的数据以及同步采集到的音频数据进行压缩生成携带有时间戳的流媒体数据，并推送至服务器，供服务器将直播的流媒体传输给观看端。
如图3所示，目标绘制元素采用摄像元素，移动终端的直播界面可支持多个绘制元素(即：直播互动的场景元素)的展示，在直播时，分别获取每一绘制元素的直播数据，对摄像元素的直播数据与整个直播界面的直播图像进行分离，将摄像元素获取的直播数据直接展示于移动终端的显示界面，以使直播端的用户通过显示屏幕最大限度的观看摄像模块采集是图像数据G(参考图3所示)；将所有的绘制元素(即：包括摄像元素及其他增加直播效果的元素)的直播数据进行合成从而生成直播图像制作成流媒体推送至服务器，以使观看端的用户可观看包含有多个绘制元素的直播图像F(参考图3所示)，提升用户之间的互动效果及视觉体验。
在实际应用中，可将直播图像的数据以及同步采集到的音频数据进行压缩生成携带有时间戳的流媒体数据，并推送至服务器，供服务器将直播的流媒体传输给观看端。
对于安卓系统的移动终端，将直播图像的数据制作成流媒体推送至服务器的过程为：可采用与开放图形库接口连接的视频编码器，通过视频编码器将经OpenGL渲染的直播图像进行编码压缩，制作成流媒体推送至服务器。
对于苹果公司的移动操作系统，将直播图像的数据制作成流媒体推送至服务器的过程为：可以采用移动终端自带的显卡存储模块和主板存储模块进场复制操作，获取经OpenGL渲染的直播图像，然后调用视频编码器对画面进行压缩，缩制作成流媒体推送至服务器。
考虑到在直播过程中，直播软件可捕捉整个手机屏幕画面进行推流时，此时用户如果切换到QQ、微信或者其他社交软件临时进行某些操作，甚至直播游戏过程中进行充值需要验证支付密码等，都会造成用户隐私的泄漏。因此，基于上述直播画面分流方法，可提供一覆盖于直播界面上方的图片元素作为屏蔽层，保护用户的隐私。具体的实施例如下：
当所述多个绘制元素包括一所述图片元素，且所述图片元素的图层覆盖于直播界面的上方，所述图片元素的透明度在阈值范围内时；
在直播过程中，当获取屏蔽信号时，在步骤S3中，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤包括：
将所述屏蔽图片的透明度调整至非透明状态，对所述多个绘制元素的直播数据进行合成，生成呈现有所述屏蔽图片的直播图像。
在本实施例，直播时用户可根据需要随时开启隐私模式，当用户未开启隐私模式时，对所有绘制元素的直播数据进行合成的过程中，将覆盖于直播界面的上方的图片元素作为屏蔽层(参考图4所示)的适配参数中的透明度设置为全透明或半透明，以使观看直播的用户可透过该屏蔽层观看到直播界面的内容；当用户触发屏蔽信号时开启隐私模式时，将覆盖于直播界面的上方的图片元素作为屏蔽层的适配参数中的透明度设置为非透明状态(参考图5所示)，以使观看该直播的用户无法透过该屏蔽层观看到当前整个直播界面的内容，从而达到保护直播用户个人隐私的目的。在开启隐私模式的时间内观看端的用户只能看到屏蔽层的图像，而看不到直播端用户的操作；当直播端用户关闭隐私模式之，观看端的用户才可以继续观看主播的屏幕内容。
在优选的实施例中，所述绘制元素还可包括：演示文稿元素，所述演示文稿元素对应一索引模块，所述索引模块用以记录每一文稿图像的展示时间，及每一时刻的展示状态。
在优选的实施例中，当所述多个绘制元素包括摄像元素和演示文稿元素时；
步骤S1获取所述多个绘制元素的直播数据的步骤为：
获取所述多个绘制元素的直播数据，根据所述索引模块获取当所述演示文稿元素的展示状态及文稿图像；
在步骤S1中获取各个绘制元素当前时刻的内容以便于对直播图像的内容不断更新，例如：根据当前时刻确定当前演示文稿元素需展示的文稿图像，以及文稿图像切换时的展示效果(如：淡入、淡出、推入、擦除等)。
步骤S3对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤为：
根据每一所述绘制元素的适配参数，以及当前演示文稿元素的展示状态及文稿图像，调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像，或
根据每一所述绘制元素的适配参数，以及当前演示文稿元素的展示状态及文稿图像，对所有的绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。当绘制元素的适配参数与需要调整的参数匹配时，可对绘制元素进行渲染合成，将绘制元素更新完毕的贴图组合为直播画面。
对于演示文稿元素而言，可根据当前时刻确定当前演示文稿元素需展示的文稿图像，以及该文稿图像的展示效果，然后控制图片载入控制器载入该文稿图像，通过开放图形库将文稿图像最大限度等比缩放后置于显示界面中，计算该文稿图像的透明度进行混合渲染，从而得到最终的画面。参考图6c1-图6c3所示，图6c1的文稿图像向图6c3的文稿图像过渡过程中显示的文稿图像，图6c2为两个文稿图像的透明度均为半透明时的文稿图像显示状态。
在本实施例中，移动终端的直播界面可支持多个绘制元素(即：直播互动的场景元素)的展示，在直播时，分别获取每一绘制元素的直播数据，对摄像元素的直播数据与整个直播界面的直播图像进行分离，将摄像元素获取的直播数据直接展示于移动终端的显示界面，以使直播端的用户通过显示屏幕最大限度的观看摄像模块采集是图像数据；将所有的绘制元素(即：包括摄像元素及其他增加直播效果的元素)的直播数据进行合成从而生成直播图像制作成流媒体推送至服务器，以使观看端的用户可观看包含有多个绘制元素的直播图像，提升用户之间的互动效果及视觉体验。
作为举例而非限定，直播画面分流方法可应用于直播端的用户与观看端的用户通过语音和评论的方式交流，直播端通过展示演示文稿代替摄像直播。
如图7所示，一种直播画面分流系统，应用于移动终端中，所述移动终端的直播界面包括多个绘制元素，所述多个绘制元素包括至少一个目标绘制元素；所述系统包括：获取单元11、分流单元12、合成单元13和推送单元14；其中：
获取单元11，用于获取所述多个绘制元素的直播数据；
需要说明的是：所述绘制元素可选自以下任意一种：摄像元素、场景元素、组合子元素；绘制元素之间的图层可以重叠或覆盖。
其中，所述场景元素可采用图片元素或文字元素；所述组合子元素可包括由图片元素，和/或文字元素，和/或摄像元素组成的包含适配参数的组合子元素；所述适配参数可包括：尺寸变化参数，和/或位置变化参数，和/或纹理变化参数。尺寸变化参数、位置变化参数和纹理变化参数均对应相应的变换矩阵。
在本实施例中的移动终端可以是智能手机或平板电脑。本实施例中的摄像元素与移动终端自带的摄像模块对应，摄像元素展示的图像内容为该摄像模块拍摄的内容；图片元素为预先存储于移动终端内部的图像；组合子元素可以理解为一小的直播界面，该组合子元素可以是由图片元素和文字元素组成，且包括每一元素的布局适配参数的元素。
采用获取单元11获取各个绘制元素当前时刻的内容，以便于对直播图像的内容不断更新，例如：对于摄像元素需重新从摄像模块获取当前采集的数据；对于文本元素需根据当前时间计算移动的距离长度等。将每一绘制元素计算的结果(即：各自作为一张贴图和这张贴图对应的宽和高等数据)进行存储。
分流单元12，用于通过所述移动终端的显示单元显示与所述目标绘制元素对应的直播数据；
作为举例而非限定，目标绘制元素可采用摄像元素。
基于移动终端屏幕尺寸小，直播端用户观看主要的直播内容的视觉效果受限，可将移动终端的摄像模块采集的直播数据全屏显示于移动终端的屏幕中，最大限度的提升直播端用户的视觉观看效果。
需要说明的是：目标绘制元素还可以采用场景元素、图片元素或文字元素等。
在实际应用中，目标绘制元素的对象用户可根据需要自行选择设定对象及个数。
合成单元13，用于对所述多个绘制元素的直播数据进行合成，生成直播图像；
具体地，合成单元13根据每一所述绘制元素的适配参数调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像。每一绘制元素均对应一适配参数。
合成单元13还可以根据每一所述绘制元素的适配参数，对所述多个绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。当绘制元素的适配参数与需要调整的参数匹配时，可对绘制元素进行渲染合成，将绘制元素更新完毕的贴图组合为直播画面。
由于现有的手机显卡的像素填充速度比电脑的显卡像素填充速度低很多，当直播界面需要多个绘制元素合成形成时，需对每绘制元素进行多次渲染，而每一次渲染均需要消耗显卡的像素填充速度，目前的手机由于其显卡的像素填充速度低因此无法支持包括多个绘制元素的直播界面展示。合成单元13针对手机显卡的像素填充速度低的缺陷，直接将每一个绘制元素的适配参数对相应的绘制元素进行场景合成(即：基于每一绘制元素对应的变换矩阵对该绘制元素对应的原始图片进行渲染处理合成直播图像)的方式，以满足手机本身的显卡的像素填充速度，达到采用多个绘制元素展示直播界面的目的，提升用户的体验效果。
推送单元14，用于将所述直播图像的数据制作成流媒体推送至服务器。
在实际应用中，可将直播图像的数据以及同步采集到的音频数据进行压缩生成携带有时间戳的流媒体数据，并推送至服务器，供服务器将直播的流媒体传输给观看端。
在本实施例中，移动终端的直播界面可支持多个绘制元素(即：直播互动的场景元素)的展示，在直播时，分别获取每一绘制元素的直播数据，对目标绘制元素的直播数据与整个直播界面的直播图像进行分离，将目标绘制元素获取的直播数据直接展示于移动终端的显示界面，以使直播端的用户通过显示屏幕最大限度的观看目标绘制数据；将所有的绘制元素(即：包括目标绘制元素及其他增加直播效果的元素)的直播数据进行合成从而生成直播图像制作成流媒体推送至服务器，以使观看端的用户可观看包含有多个绘制元素的直播图像，提升用户之间的互动效果及视觉体验。
如图8所示，一种计算机设备2，所述计算机设备2包括：
存储器21，用于存储可执行程序代码；以及
处理器22，用于调用所述存储器21中的所述可执行程序代码，执行步骤包括上述的直播画面分流方法。
图8中以一个处理器22为例。
存储器21作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的直播画面分流方法对应的程序指令/模块(例如，图7所示的获取单元11、分流单元12、合成单元13和推送单元14)。处理器22通过运行存储在存储器21中的非易失性软件程序、指令以及模块，从而执行计算机设备2的各种功能应用以及数据处理，即实现上述方法实施例直播画面分流方法。
存储器21可以包括存储程序区和存储数据区，其中，存储程序区可存储搡作系统、至少一个功能所需要的应用程序；存储数据区可存储用户在计算机设备2的播放信息。此外，存储器21可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器21可选包括相对于处理器22远程设置的存储器21，这些远程存储器21可以通过网络连接至直播画面分流系统1。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器21中，当被所述一个或者多个处理器22执行时，执行上述任意方法实施例中的直播画面分流方法，例如，执行以上描述的图2中的方法步骤S1至步骤S4，实现图7所示的获取单元11、分流单元12、合成单元13和推送单元14的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的计算机设备2以多种形式存在，包括但不限于:
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器22，可使得上述一个或多个处理器22可执行上述任意方法实施例中的直播画面分流方法，例如，执行以上描述的图2中的方法步骤S1至步骤S4，实现图7所示的获取单元11、分流单元12、合成单元13和推送单元14的功能。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
实施例一、
参考图9所示，直播画面分流方法可应用于直播场景包括摄像元素、图片元素及文字元素的手机直播界面。对于直播端采用手机的摄像头进行直播的主播用户而言，为了满足主播用户可以随时传达表示有当前直播的话题或内容的标识给观看用户，可采用在直播界面增加“话题框”的形式实时传达直播内容。直播端可以在直播界面添加一个“话题框”来提示当前直播的话题内容。这个“话题框”(如标识有“今天聊一些什么呢？”的图片)属于由图片元素和文字元素组成的组合子元素，可支持主播用户的随时调整位置和里面的内容。手机的摄像模块对应的摄像元素采集的画面以及“话题框”均属于绘制元素，“话题框”位于摄像元素图层的上方。
实施例二、
如图10所示，直播画面分流方法可应用于直播场景包括摄像元素、图片元素及文字元素的手机直播界面。客户端可观看直播端生成的完整直播场景，该场景除增加摄像元素拍摄直播画面外，还包括文字元素(如：欢迎光临为的直播间！直播时间9点到12点)以提示观看用户观看直播间的时间，还包括采用图像元素表示主播的直播头像，以及整体的直播背景，提升观看端的直播互动效果，丰富直播内容。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种直播画面分流方法，其特征在于，应用于移动终端中，所述移动终端的直播界面包括多个绘制元素，所述多个绘制元素包括至少一个目标绘制元素；所述方法包括下述步骤：
获取所述多个绘制元素的直播数据；
通过所述移动终端的显示单元显示与所述目标绘制元素对应的直播数据；
对所述多个绘制元素的直播数据进行合成，生成直播图像；
将所述直播图像的数据制作成流媒体推送至服务器。
2.根据权利要求1所述的直播画面分流方法，其特征在于，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤，包括：
根据每一所述绘制元素的适配参数调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像，或
根据每一所述绘制元素的适配参数，对所述多个绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。
3.根据权利要求1所述的直播画面分流方法，其特征在于，所述绘制元素选自以下任意一种：摄像元素、场景元素、组合子元素；
所述场景元素采用图片元素或文字元素。
4.根据权利要求3所述的直播画面分流方法，其特征在于，所述组合子元素包括由图片元素，和/或文字元素，和/或摄像元素组成的包含适配参数的组合子元素；
所述适配参数包括：尺寸变化参数，和/或位置变化参数，和/或纹理变化参数。
5.根据权利要求3所述的直播画面分流方法，其特征在于，当所述多个绘制元素包括一所述图片元素，且所述图片元素的图层覆盖于直播界面的上方，所述图片元素的透明度在阈值范围内时；
在直播过程中，当获取屏蔽信号时，对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤包括：
将所述屏蔽图片的透明度调整至非透明状态，对所述多个绘制元素的直播数据进行合成，生成呈现有所述屏蔽图片的直播图像。
6.根据权利要求1所述的直播画面分流方法，其特征在于，所述绘制元素还包括：演示文稿元素，所述演示文稿元素对应一索引模块，所述索引模块用以记录每一文稿图像的展示时间，及每一时刻的展示状态。
7.根据权利要求6所述的直播画面分流方法，其特征在于，当所述多个绘制元素包括摄像元素和演示文稿元素时；
获取所述多个绘制元素的直播数据的步骤为：
获取所述多个绘制元素的直播数据，根据所述索引模块获取当所述演示文稿元素的展示状态及文稿图像；
对所述多个绘制元素的直播数据进行合成，生成直播图像的步骤为：
根据每一所述绘制元素的适配参数，以及当前演示文稿元素的展示状态及文稿图像，调整每一所述绘制元素的位置、尺寸、纹理中的至少一个，将经调整后的所述多个绘制元素绘制于直播界面中生成直播图像，或
根据每一所述绘制元素的适配参数，以及当前演示文稿元素的展示状态及文稿图像，对所有的绘制元素的直播数据进行合成，将所述多个绘制元素绘制于直播界面中生成直播图像。
8.根据权利要求1所述的直播画面分流方法，其特征在于，所述目标绘制元素为摄像元素。
9.一种计算机设备，所述计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910463903.6A CN112019907A (zh) | 2019-05-30 | 2019-05-30 | 直播画面分流方法、计算机设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910463903.6A CN112019907A (zh) | 2019-05-30 | 2019-05-30 | 直播画面分流方法、计算机设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112019907A true CN112019907A (zh) | 2020-12-01 |
Family
ID=73500508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910463903.6A Pending CN112019907A (zh) | 2019-05-30 | 2019-05-30 | 直播画面分流方法、计算机设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112019907A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911329A (zh) * | 2021-02-03 | 2021-06-04 | 广州虎牙科技有限公司 | 窗口直播方法、装置、电子设备和计算机可读存储介质 |
| CN113793410A (zh) * | 2021-08-31 | 2021-12-14 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113949900A (zh) * | 2021-10-08 | 2022-01-18 | 上海哔哩哔哩科技有限公司 | 直播贴图处理方法及系统 |
| CN114598928A (zh) * | 2022-03-10 | 2022-06-07 | 卓米私人有限公司 | 直播间内互动元素的屏幕适配方法、装置及电子设备 |
| CN114765692A (zh) * | 2021-01-13 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN115515005A (zh) * | 2021-06-07 | 2022-12-23 | 京东方科技集团股份有限公司 | 一种节目切换的封面获取方法、装置及显示设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106559696A (zh) * | 2016-12-01 | 2017-04-05 | 北京小米移动软件有限公司 | 信息发送方法及装置 |
| CN108037966A (zh) * | 2017-11-10 | 2018-05-15 | 维沃移动通信有限公司 | 一种界面显示方法、装置及移动终端 |
| CN108449640A (zh) * | 2018-03-26 | 2018-08-24 | 广州虎牙信息科技有限公司 | 直播视频输出控制方法、装置及存储介质、终端 |
| CN108989830A (zh) * | 2018-08-30 | 2018-12-11 | 广州虎牙信息科技有限公司 | 一种直播方法、装置、电子设备及存储介质 |
| CN109672908A (zh) * | 2018-12-27 | 2019-04-23 | 北京潘达互娱科技有限公司 | 一种隐私信息保护方法、装置和移动终端 |
| US20190132650A1 (en) * | 2017-10-27 | 2019-05-02 | Facebook, Inc. | Providing a slide show in a live video broadcast |
-
2019
- 2019-05-30 CN CN201910463903.6A patent/CN112019907A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106559696A (zh) * | 2016-12-01 | 2017-04-05 | 北京小米移动软件有限公司 | 信息发送方法及装置 |
| US20190132650A1 (en) * | 2017-10-27 | 2019-05-02 | Facebook, Inc. | Providing a slide show in a live video broadcast |
| CN108037966A (zh) * | 2017-11-10 | 2018-05-15 | 维沃移动通信有限公司 | 一种界面显示方法、装置及移动终端 |
| CN108449640A (zh) * | 2018-03-26 | 2018-08-24 | 广州虎牙信息科技有限公司 | 直播视频输出控制方法、装置及存储介质、终端 |
| CN108989830A (zh) * | 2018-08-30 | 2018-12-11 | 广州虎牙信息科技有限公司 | 一种直播方法、装置、电子设备及存储介质 |
| CN109672908A (zh) * | 2018-12-27 | 2019-04-23 | 北京潘达互娱科技有限公司 | 一种隐私信息保护方法、装置和移动终端 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114765692A (zh) * | 2021-01-13 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN114765692B (zh) * | 2021-01-13 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN112911329A (zh) * | 2021-02-03 | 2021-06-04 | 广州虎牙科技有限公司 | 窗口直播方法、装置、电子设备和计算机可读存储介质 |
| CN112911329B (zh) * | 2021-02-03 | 2023-08-25 | 广州虎牙科技有限公司 | 窗口直播方法、装置、电子设备和计算机可读存储介质 |
| CN115515005A (zh) * | 2021-06-07 | 2022-12-23 | 京东方科技集团股份有限公司 | 一种节目切换的封面获取方法、装置及显示设备 |
| CN113793410A (zh) * | 2021-08-31 | 2021-12-14 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113949900A (zh) * | 2021-10-08 | 2022-01-18 | 上海哔哩哔哩科技有限公司 | 直播贴图处理方法及系统 |
| CN113949900B (zh) * | 2021-10-08 | 2023-11-24 | 上海哔哩哔哩科技有限公司 | 直播贴图处理方法、系统、设备及存储介质 |
| CN114598928A (zh) * | 2022-03-10 | 2022-06-07 | 卓米私人有限公司 | 直播间内互动元素的屏幕适配方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112019907A (zh) | 直播画面分流方法、计算机设备及可读存储介质 | |
| US10229651B2 (en) | Variable refresh rate video capture and playback | |
| CN106210861B (zh) | 显示弹幕的方法及系统 | |
| WO2017193576A1 (zh) | 一种视频分辨率的适应方法、装置及虚拟现实终端 | |
| US11458393B2 (en) | Apparatus and method of generating a representation of a virtual environment | |
| US9485493B2 (en) | Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof | |
| WO2015196937A1 (zh) | 一种录制视频的方法和装置 | |
| EP3691280B1 (en) | Video transmission method, server, vr playback terminal and computer-readable storage medium | |
| CN111970532B (zh) | 视频播放方法、装置及设备 | |
| CN106713942B (zh) | 视频处理方法和装置 | |
| CN107040808B (zh) | 用于视频播放中弹幕图片的处理方法和装置 | |
| CN107995482B (zh) | 视频文件的处理方法和装置 | |
| US20170186243A1 (en) | Video Image Processing Method and Electronic Device Based on the Virtual Reality | |
| US11451858B2 (en) | Method and system of processing information flow and method of displaying comment information | |
| US20170225077A1 (en) | Special video generation system for game play situation | |
| CN113781660A (zh) | 一种用于直播间在线渲染加工虚拟场景的方法及装置 | |
| CN114531553B (zh) | 生成特效视频的方法、装置、电子设备及存储介质 | |
| CN112019906A (zh) | 直播方法、计算机设备及可读存储介质 | |
| CN113411537B (zh) | 视频通话方法、装置、终端及存储介质 | |
| KR101643102B1 (ko) | 객체 상태 전송 방식 방송 서비스 제공 방법 및 방송 재생 방법 | |
| CN114445600A (zh) | 一种特效道具的展示方法、装置、设备及存储介质 | |
| CN113099309A (zh) | 视频处理方法及装置 | |
| CN109862385B (zh) | 直播的方法、装置、计算机可读存储介质及终端设备 | |
| CN111667313A (zh) | 广告展示方法、装置、客户端设备及存储介质 | |
| CN108037822B (zh) | 一种基于虚拟现实的3d培训系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201201 |