CN114708363A - 游戏直播封面生成方法及服务器 - Google Patents

Abstract

本申请实施例提供的游戏直播封面生成方法及服务器，涉及视频图像处理技术领域。首先，从游戏直播视频帧图像中获取能体现直播间特点的包括主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一的图像元素信息；然后，从游戏直播视频帧图像中获取与图像元素信息对应的文字元素信息；最后，将图像元素信息和文字元素信息进行排版得到游戏直播封面。相对于现有技术中，在游戏直播封面中直接采用游戏截图的方式，本申请实施例提供的方案生成的游戏直播封面中包括体现直播间特点的图像元素信息及相关的文字元素信息，便于观众根据游戏直播封面选择相应的直播间，提高观众选择感兴趣游戏直播间的命中率。

Description

游戏直播封面生成方法及服务器

技术领域

本申请涉及视频图像处理技术领域，具体而言，涉及一种游戏直播封面生成方法及服务器。

背景技术

随着电竞行业的兴起，游戏直播作为电竞行业最具有影响力的传播和宣传途径，已经得到了越来越多的关注。优秀的主播踊跃加入电竞直播行业，热情的观众则积极地在各大直播平台搜索自己喜爱的直播内容进行观看。在游戏直播生态圈存在直播品类和直播内容庞杂的情况，如何让观众在第一时间从海量的直播间中找到自己感兴趣的游戏直播内容并进行观看是需要首先考虑的，作为观众接触直播间第一手信息的游戏直播封面就成为关键，然而在现有技术中，直接使用游戏截图作为游戏直播封面的方式过于千篇一律，无法突显直播间个性，也不便于观众根据自身的兴趣爱好进行直观的选择。

发明内容

为了解决上述技术问题，本申请提供一种游戏直播封面生成方法及服务器。

第一方面，本申请实施例提供一种游戏直播封面生成方法，所述方法包括：

基于游戏直播视频帧图像获取用于形成封面的图像元素信息，其中，所述图像元素信息包括主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一；

基于所述游戏直播视频帧图像获取用于形成封面的文字元素信息，其中，所述文字元素信息用于描述所述图像元素信息；

对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面。

在一种可能的实现方式中，所述图像元素信息为所述主播人像掩膜，所述基于游戏直播视频帧图像获取用于形成封面的图像元素信息的步骤，包括：

基于训练好的主播检测模型检测每个所述游戏直播视频帧图像中的主播图像；

从每个所述游戏直播视频帧图像中的主播图像中检测得到人脸关键点，基于所述人脸关键点计算每个所述游戏直播视频帧图像中的人脸表情得分；

将人脸表情得分最高的游戏直播视频帧图像作为目标游戏直播视频帧图像，并从所述目标游戏直播视频帧图像提取所述主播人像掩膜。

在一种可能的实现方式中，所述图像元素信息为所述游戏角色掩膜、所述游戏角色海报以及所述游戏角色的配置贴图中的其中之一，所述基于游戏直播视频帧图像获取用于形成封面的图像元素信息的步骤包括：

基于所述游戏直播视频帧图像获取主播使用的游戏角色信息；

根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息。

在一种可能的实现方式中，所述基于所述游戏直播视频帧图像获取主播使用的游戏角色信息的步骤，包括：

将所述游戏直播视频帧图像输入训练好的游戏类别分类器中，输出所述游戏直播视频帧图像对应的直播游戏类别；

基于训练好的游戏角色与技能检测模型检测任意一个所述游戏直播视频帧图像中的游戏角色兴趣区域和技能按钮兴趣区域；

将所述游戏角色兴趣区域和所述技能按钮兴趣区域输入游戏角色分类模型中进行分类，输出所述游戏直播视频帧图像中主播使用的游戏角色名称。

在一种可能的实现方式中，所述图像元素信息为所述游戏角色掩膜，所述根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息的步骤，包括：

基于所述主播使用的游戏角色名称从任意一个游戏直播视频帧图像中提取所述游戏角色掩膜；或，

所述图像元素信息为所述游戏角色海报，所述根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息的步骤，包括：

基于所述直播游戏类别以及所述主播使用的游戏角色名称从预先配置的游戏角色海报素材库中检索并获得所述游戏角色海报；或，

所述图像元素信息为所述游戏角色的配置贴图，其中所述配置贴图包括皮肤模型贴图和装备模型贴图，所述根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息的步骤，包括：

将所述游戏角色兴趣区域输入训练好的皮肤分类模型中进行分类，输出所述游戏角色的皮肤名称；

从所述游戏直播视频帧图像中提取游戏的战况信息；

将所述游戏直播视频帧图像输入训练好的装备检测模型中进行检测，输出所述游戏角色的装备名称；

根据所述游戏角色的皮肤名称和所述游戏角色的装备名称从预先配置好的皮肤与装备素材库中，获取对应的皮肤模型贴图和装备模型贴图。

在一种可能的实现方式中，所述基于游戏直播视频帧图像获取用于形成封面的文字元素信息的步骤，包括：

提取所述游戏直播视频帧图像对应的直播间的关键词，将所述关键词、所述直播游戏类别、所述主播使用的游戏角色名称、所述游戏角色的皮肤名称、游戏的战况信息以及所述游戏角色的装备名称作为输入信息，输入到训练好的文本生成器中生成所述文字元素信息；或，

基于预先指定的文字元素信息来源得到所述文字元素信息。

在一种可能的实现方式中，所述对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面的步骤，包括：

选定封面模板，其中，所述封面模板包括图像显示区域和文字显示区域；

将所述图像元素信息进行图像处理，并将图像处理后的图像元素信息置于所述图像显示区域内，其中，所述图像处理包括图像缩放、背景设置及掩膜抠图描边中的至少其一；

对所述文字元素信息进行加工处理，并将加工处理后的文字元素信息置于所述文字显示区域内，其中，所述加工处理包括对所述文字元素信息的分行处理和文字特效处理。

在一种可能的实现方式中，所述对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面的步骤，包括：

检测所述图像元素信息中是否包括图像聚焦区域，其中，所述图像聚焦区域包括人脸位置区域、人体位置区域以及显著区域中的其中之一；

检测用于显示所述文字元素信息的文本显示区域和所述图像聚焦区域是否重叠，并在重叠时，将所述文本显示区域中与所述图像聚焦区域重叠的区域设置为非文本显示区域；

对所述文字元素信息进行处理，以使处理后的文字元素信息显示在所述文本显示区域中与所述图像聚焦区域不重叠的区域。

在一种可能的实现方式中，所述对所述文字元素信息进行处理，以使处理后的文字元素信息显示在所述文本显示区域中与所述图像聚焦区域不重叠的区域的步骤，包括：

以所述图像聚焦区域中像素的主色调为基准，选择互补色或邻近色作为所述文字元素信息的色调；

基于所述文字元素信息的颜色与所述文本显示区域的背景之间的对比度，调整所述文字元素信息的饱和度和明度；

对调整后的文字元素信息进行加工处理，将加工处理后的文字元素信息显示在所述文本显示区域中与所述图像聚焦区域不重叠的区域。

第二方面，本申请实施例还提供一种游戏直播封面生成装置，所述装置包括：

第一获取模块，用于基于游戏直播视频帧图像获取用于形成封面的图像元素信息，其中，所述图像元素信息包括主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一；

第二获取模块，用于基于游戏直播视频帧图像获取用于形成封面的文字元素信息；

排版处理模块，用于对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面。

第三方面，本申请实施例还提供一种服务器，所述服务器包括处理器、通信单元及计算机可读存储介质，所述处理器、所述通信单元及所述计算机可读存储介质之间通过总线系统连接，所述通信单元用于连接客户端以实现所述服务器与所述客户端之间的数据交互，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以实现第一方面中任意一个可能的实现方式中的游戏直播封面生成方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的实现方式中的游戏直播封面生成方法。

相对于现有技术中，在游戏直播封面中直接采用游戏截图的方式，本申请实施例提供的方案生成的游戏直播封面中包括体现直播间特点的图像元素信息及相关的文字元素信息，便于观众根据游戏直播封面选择相应的直播间，提高观众选择感兴趣游戏直播间的命中率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的游戏直播系统的交互场景示意图；

图2为本申请实施例提供的游戏直播封面生成方法的一种流程示意图；

图3为本申请实施例提供的实现图2中步骤S11的一种可能的流程示意图；

图4为本申请实施例提供的实现图2中步骤S11的另一种可能的流程示意图；

图5为图4中步骤S114的子步骤流程示意图；

图6为图2中步骤S13的一种子步骤流程示意图；

图7为本申请实施例提供的一种封面模板的示意图；

图8为本申请实施例提供的掩膜图像描边后的效果图；

图9为本申请实施例提供的一些可能的直播游戏封面样式图；

图10为图2中步骤S13的另一种子步骤流程示意图；

图11为本申请实施例提供的封面模板中文本显示区域与图像聚焦区域的位置关系图；

图12为常见的色环的示意图；

图13为本申请实施例提供的另一些可能的直播游戏封面样式图；

图14为本申请实施例提供的游戏直播封面生成装置的功能模块图；

图15为本申请实施例提供的服务器的可能结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

为了解决背景技术中存在的上述技术问题，本申请实施例提供一种游戏直播封面生成方案，为了便于理解本申请方案，先对本申请可能应用的游戏直播系统进行介绍，可以理解下面介绍的游戏直播系统只是为了说明本申请方案的可能应用场景，本申请方案也可以应用在下述场景之外的其他应用场景中。

请参照图1，图1示出了本申请方案提供的游戏直播系统的一种可能的交互场景示意图。游戏直播系统10可以包括通信连接的服务器100、主播端200及观众端300，服务器100可以为主播端200提供视频图像处理支持。

在本申请实施例中，主播端200及观众端300可以是，但不限于智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。在具体实施过程中，可能有多个主播端200和观众端300接入该服务器100，图1中仅示出一个主播端200和两个观众端300。其中，主播端200和观众端300中可以安装直播类的服务程序，例如，服务程序可以是计算机或智能手机中使用的与互联网直播相关的应用程序APP或小程序等。

在本申请实施例中，服务器100可以是单个物理服务器，也可以是一个由多个用于执行不同数据处理功能的物理服务器构成的服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器100可以是分布式系统)。在一些可能的实施方式中，如服务器100采用单个物理服务器，可以基于不同业务功能为该物理服务器分配不同的逻辑服务器组件。

可以理解，图1所示的直播场景仅为一种可行的示例，在其它可行的实施例中，该直播场景中也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

下面结合图1所示的应用场景对本申请实施例提供的游戏直播封面生成方法进行示例性说明。请参阅图2，本申请实施例提供的游戏直播封面生成方法可以由前述的服务器100执行，在本申请实施例的游戏直播封面生成方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除，该服务器100执行的游戏直播封面生成方法的详细步骤介绍如下。

步骤S11，基于游戏直播视频帧图像获取用于形成封面的图像元素信息。

在本实施例中，在步骤S11之前，服务器100接收主播端200上传的游戏直播视频，并通过采样的方式从游戏直播视频中获取游戏直播视频帧图像，示例性地，可以基于视频时序进行等间隔采样，比如，从1秒长度的游戏直播视频中采样5帧游戏直播视频帧图像。

在本步骤中，获取的图像元素信息可以包括体验直播间特点的主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一。

步骤S12，基于游戏直播视频帧图像获取用于形成封面的文字元素信息。

在本实施例中，文字元素信息用于描述对应的图像元素信息，示例性地，文字元素信息可以是对图像元素信息的文字说明(比如，战况说明、游戏角色打法说明或装备说明等)。

步骤S13，对图像元素信息及文字元素信息进行排版处理，得到游戏直播封面。

相对于现有技术中，在游戏直播封面中直接采用游戏截图的方式，上述得到游戏直播封面中不仅包括体现直播间特点的图像元素信息，还包括与该图像元素信息对应的文字元素信息，方便观众选择感兴趣的直播内容，提高观众选择感兴趣游戏直播间的命中率。

请参照图3，图3示例了实现图2中步骤S11的一种可能的流程示意图，进一步地，在本申请实施例中，在图像元素信息为主播人像掩膜时，步骤S11可以通过图3所示流程实现，下面结合图3对步骤S11的实现过程进行介绍。

步骤S111，基于训练好的主播检测模型检测每个游戏直播视频帧图像中的主播图像。

示例性地，在该子步骤中，可以基于YOLOv5模型训练一个用于对直播视频画面中主播画中画区域进行检测的主播检测模型，并基于该主播检测模型可以从每个直播视频帧图像中检测到主播图像。

步骤S112，从每个游戏直播视频帧图像中的主播图像中检测得到人脸关键点，基于人脸关键点计算每个游戏直播视频帧图像中的人脸表情得分。

在该子步骤中，可以训练一能同时进行人脸检测和人脸关键点检测的模型，比如可以基于开源的A Practical Facial Landmark Detector(PFLD)模型开发一人脸关键点数量确定的检测模型，以检测模型检测的人脸关键点数量为106个为例，将每个游戏直播视频帧图像中的主播图像均输入到该检测模型中，输出每个游戏直播视频帧图像中主播的人脸及对应的人脸关键点，然后基于人脸关键点对计算每个游戏直播视频帧图像中的人脸表情得分。

示例性地，可以通过眼睛和嘴巴张开的程度表示人脸表情得分，其中张开程度越大对应的人脸表情得分越高，具体计算方法可以如下：s_Face＝(norm(P72，P73)+norm(P75，P76)+norm(P87，P93))/H，其中，s_Face表示人脸表情得分，norm()表示计算两人脸关键点之间的欧式距离，P72和P73分别表示左眼的上眼皮的中心位置坐标和左眼的下眼皮的中心位置坐标，P75和P76分别表示右眼的上眼皮的中心位置坐标和右眼的下眼皮中心位置坐标，P87和P93分别表示上嘴唇的中心位置坐标和下嘴唇的中心位置坐标，H表示整个人脸的高度。

步骤S113，将人脸表情得分最高的游戏直播视频帧图像作为目标游戏直播视频帧图像，并从目标游戏直播视频帧图像提取主播人像掩膜。

一般而言，主播的人脸表情越夸张，其具有的话题性越强，越能吸引观众关注，为此在本实施例中，将人脸表情得分最高的游戏直播视频帧图像作为目标游戏直播视频帧图像，并将目标游戏直播视频帧图像中的主播人像兴趣区域作为主播人像掩膜。示例性地，可以通过以下过程从目标游戏直播视频帧图像分割得到主播人像掩膜，首先基于HRNet网络训练一个人像分割器，将目标游戏直播视频帧图像输入该人像分割器可以输出一与目标游戏直播视频帧图像尺寸一致的mask矩阵，其中，mask矩阵中每个点的数值范围为0～1，该数值表示该点为人像点的概率，0表示该点为非人像点，1表示该点为人像点，在本实施例中，将数值大于0.5的点确定为人像点，将所有人像点组成的区域确定为主播人像掩膜区域，得到主播人像掩膜。

请参照图4，图4示例了实现图2中步骤S11的另一种可能的流程示意图，进一步地，在本申请实施例中，在图像元素信息为游戏角色掩膜、游戏角色海报以及游戏角色的配置贴图中的其中之一时，步骤S11可以通过图4所示的步骤流程实现，下面结合图4对步骤S11的实现过程进行介绍。

步骤S114，基于游戏直播视频帧图像获取主播使用的游戏角色信息。

请参照图5，图5示例了步骤S114的一种子步骤流程示意图，请结合图5，子步骤S114可以通过以下方式实现。

子步骤S1141，将游戏直播视频帧图像输入训练好的游戏类别分类器中，输出游戏直播视频帧图像对应的直播游戏类别。

示例性地，可以基于视觉转换器(VIT)训练一游戏类别分类器，通过将游戏直播视频帧图像输入训练好的游戏类别分类器进行分类，输出游戏直播视频帧图像对应的直播游戏类别，其中，直播游戏类别可以是角色扮演游戏、动作游戏、冒险游戏、策略游戏及格斗游戏等。

子步骤S1142，基于训练好的游戏角色与技能检测模型检测任意一个游戏直播视频帧图像中的游戏角色兴趣区域和技能按钮兴趣区域。

在该步骤中通过游戏直播视频帧图像中主播对游戏角色的操作，检测一个游戏直播视频帧图像中的游戏角色兴趣区域和技能按钮兴趣区域。示例性地，可以先基于YOLOv5模型训练一个游戏角色兴趣区域和技能按钮兴趣区域的检测模型，并基于训练得到的检测模型检测任意一个游戏直播视频帧图像中的游戏角色兴趣区域和技能按钮兴趣区域。

子步骤S1143，将游戏角色兴趣区域和所述技能按钮兴趣区域输入游戏角色分类模型中进行分类，输出游戏直播视频帧图像中主播使用的游戏角色名称。

在该子步骤中，可以借助游戏角色兴趣区域和技能按钮兴趣区域训练一游戏角色分类模型，示例性地，游戏角色分类模型可以基于视频转换器网络(VTN)训练得到，将游戏角色兴趣区域和技能按钮兴趣区域输入训练好的游戏角色分类模型后可以输出游戏直播视频帧图像中主播使用的游戏角色名称。

步骤S115，根据主播使用的游戏角色信息得到用于形成封面的图像元素信息。

在本实施例中，根据图像元素信息的不同，子步骤S115的实现方式存在不同。

在本实施例的一种实施方式中，在图像元素信息为游戏角色掩膜时，子步骤S115的实现方式如下，基于主播使用的游戏角色名称从任意一个游戏直播视频帧图像中提取所述游戏角色掩膜。

示例性地，可以基于HRNet训练一个游戏角色分割器，将任意一个游戏直播视频帧图像输入该游戏角色分割器可以输出一与该游戏直播视频帧图像尺寸一致的mask矩阵，其中，mask矩阵中每个点的数值范围0～1，该数值表示该点为游戏角色点的概率，0表示该点为非游戏角色点，1表示该点为游戏角色点，在本实施例中，将数值大于0.5的点确定为游戏角色点，将所有游戏角色点组成的区域确定为游戏角色掩膜区域，得到游戏角色掩膜。

在本实施例的另一种实施方式中，在图像元素信息为游戏角色海报时，子步骤S115的实现方式如下，基于直播游戏类别以及主播使用的游戏角色名称从预先配置的游戏角色海报素材库中检索并获得游戏角色海报。

在本实施例的再一种实施方式中，在图像元素信息为游戏角色的配置贴图时，其中，配置贴图可以包括皮肤模型贴图和装备模型贴图，子步骤S115的实现方式如下。

首先，将游戏角色兴趣区域输入训练好的皮肤分类模型中进行分类，输出所述游戏角色的皮肤名称，其中，皮肤分类模型可以基于视觉转换器模型训练得到。

接着，从游戏直播视频帧图像中提取游戏的战况信息。

示例性地，可以基于文本识别技术从任意一游戏直播视频帧图像提取出游戏的战况信息。

然后，将游戏直播视频帧图像输入训练好的装备检测模型中进行检测，输出游戏角色的装备名称。其中，装备检测模型可以基于YOLOv5模型训练得到。

最后，根据游戏角色的皮肤名称和游戏角色的装备名称从预先配置好的皮肤与装备素材库中，获取对应的皮肤模型贴图和装备模型贴图。

进一步地，在本申请实施例中，步骤S12可以通过以下两种方式获取。

第一种方式，首先，提取游戏直播视频帧图像对应的直播间的关键词，示例性地，可以使用TextRank算法提取直播间标题中的名词和动词，并将提取的名词和动词作为关键词。然后，将关键词、直播游戏类别、主播使用的游戏角色名称、游戏角色的皮肤名称、游戏的战况信息以及游戏角色的装备名称作为输入信息，输入到训练好的文本生成器中生成文字元素信息。其中，文本生成器可以通过GPT2(通用预训练文本转换器第二版)模型训练得到。

第二种方式，基于预先指定的文字元素信息来源得到文字元素信息，示例性地，可以直接使用直播间标题作为文字元素信息。

在本申请实施例的一种实施方式中，请参照图6，图6示例了步骤S13的一种子步骤流程示意图，步骤S13可以通过以下方式实现。

子步骤S131，选定封面模板，其中，封面模板包括图像显示区域和文字显示区域。

参照图7，图7示例了两种封面模板，第一种封面模板的文字显示区域(图中矩形区域)在右边，对应图像显示区域(图中人像对应区域)在左边，文字显示区域的上边距封面模板的上边的距离为0.3H，文字显示区域的下边距封面模板的底边的距离为0.1H，文字显示区域的左边距封面模板的左边的距离为0.4W，文字显示区域的右边距封面模板的右边的距离为0.05W，其中H为封面模板的高度，W为封面模板的宽度。第二种封面模板的文字显示区域在左边，对应图像显示区域在右边，文字显示区域的上边距封面模板的上边的距离为0.3H，文字显示区域的下边距封面模板的底边的距离为0.1H，文字显示区域的左边距封面模板的左边的距离为0.05W，文字显示区域的右边距封面模板的右边的距离为0.4W。可以理解的是封面模板也可以采用其他形式，只需预先配置好封面模板和文字显示区域的位置即可。

子步骤S132，将图像元素信息进行图像处理，并将图像处理后的图像元素信息置于图像显示区域内，其中，图像处理包括图像缩放、背景设置及掩膜抠图描边中的至少其一。

在该子步骤中，可以根据图像元素信息的不同，采用不同的图像处理方式，比如，在图像元素信息为主播人像掩膜、游戏角色掩膜及游戏角色的配置贴图中的其中之一时，可以将最后一帧游戏直播视频帧图像作为封面背景，并将图像元素信息进行缩放后置于图像显示区域内。在图像元素信息为游戏角色海报时，只需对图像元素信息进行缩放后置于图像显示区域内即可。

另外，在图像元素信息为主播人像掩膜或游戏角色掩膜时，为了凸显图像元素信息，还可以对图像元素信息进行描边处理，具体地描边处理过程可以是先对掩膜图像做闭运算，将掩膜图像扩充6个像素宽度，扩充的范围设置为白色像素值(R＝255，G＝255，B＝255)，再对掩膜图像做闭运算，扩充3个像素宽度，新扩充的范围设置为黑色像素值(R＝0，G＝0，B＝0)，请参照图8，图8示例了掩膜图像描边后的效果图。

子步骤S133，对文字元素信息进行加工处理，并将加工处理后的文字元素信息置于文字显示区域内。

其中，加工处理包括对文字元素信息的分行处理和文字特效处理。

示例性地，首先确定文字元素信息的布局，主要是文字元素信息的分行情况，为了保证每一行文字的逻辑连续性，可以使用开源的jieba工具对文字元素信息进行分词，然后以分词的结果作为最小不可拆分单元按原来的文字先后顺序拼接分词，要求每一行文字最多不超过10个，自动对游戏直播封面文字进行分行，如果分行超过3行，在第三行的最后加上省略号(…)，保证封面文字最多只有3行。接下来是把文字元素信息写入到文字显示区域中，并添加适当的文字特效。为了突显文字元素信息内容，可以基于颜色、阴影、描边等效果设计了多种模板，实际应用时可以随机选择其中一种，文字元素信息写入的时候，需保证分行的文字在文字区域内最大化(同时又不超出文字显示区域)来自动化确定字体大小。以Python程序为例，可以使用pillow库来实现文字元素信息的写入。示例性地，对于存在倾斜的文字，具体实现方式是先在全黑背景上写水平的文字，然后再对写好水平文字的图像使用OpenCV的warpAffine()函数做一个warp变换，得到倾斜的文字效果，最后再将倾斜的文字叠加到人像封面上即可。对于存在阴影的特效，可以采用写两遍的方式来实现，第一遍先用阴影的颜色写入正文文字，第二遍再用正文的颜色写一遍正文即可得到最终封面。此外，还可对部分英雄名进行高亮展示，最终实现的一些直播游戏封面样式如图9所示。

在本申请实施例的另一种实施方式中，请参照图10，图10示例了步骤S13的另一种子步骤流程示意图，步骤S13可以通过以下方式实现。

子步骤S134，检测图像元素信息中是否包括图像聚焦区域。

图像聚焦区域包括人脸位置区域、人体位置区域以及显著区域中的其中之一。显著区域可以基于训练好的显著区域检测器检测，其中，显著区域检测器检测可以通过游戏类图像和非游戏类图像训练得到，示例性地，可以基于开源U2Net模型微调得到，将图像元素信息输入后可以得到显著区域掩膜。

子步骤S135，检测用于显示文字元素信息的文本显示区域和图像聚焦区域是否重叠，并在重叠时，将文本显示区域中与图像聚焦区域重叠的区域设置为非文本区域。

将文本显示区域中与图像聚焦区域重叠的区域设置为非文本区域，请参照图11，此时文本显示区域会变得不规则，区域面积也会减小，在文本显示区域内，因为每个文字写入都会占据文本显示区域中的空间，文字的字体大小不一样、排版(分行情况)不一样，那么所占据的空间大小也不一样，本实施例将最大化文本显示区域的空间利用率作为优化目标，其中空间利用率＝全部文本写入后占据的空间与文本显示区域的总空间的比值，那么就可以通过优化得到当前文本显示区域最优的文本排版和字体大小。也即保证文字不遮挡图像元素信息，文字元素信息在当前文本显示区域内采用尽可能大的字体大小来写入。

子步骤S136，对文字元素信息进行处理，以使处理后的文字元素信息显示在文本显示区域中与图像聚焦区域不重叠的区域。

在本实施例中，子步骤S136可以通过以下方式实现。

首先，以图像聚焦区域中像素的主色调为基准，选择互补色或邻近色作为所述文字元素信息的色调。

示例性地，提取显著区域范围内所有像素的主要颜色(主色调)，然后以该主色调值为基准，结合美学设计当中常用的色环(如图12中的I type和Y type)，随机在该颜色的互补色(色环上与该颜色相距180度位置的颜色定义为互补色)、邻近色(色环上以该颜色为中心左右5度范围内的任一种颜色为邻近色)中选择一种颜色作为文字的色调。

然后，基于文字元素信息的颜色与所述文本显示区域的背景之间的对比度，调整文字元素信息的饱和度和明度。

示例性地，从局部对比度角度出发考虑饱和度S和明度V，为了保证文字元素信息颜色与文本显示区域的背景具有足够大的对比度，首先计算文本显示区域的颜色值的平均饱和度S0和平均明度V0，饱和度S0和明度V0的取值范围为0～100，可以基于如下规则选择文字元素信息的饱和度S1和明度V1：如若S0<50，则S1＝S0+(100-S0)*R，如若S0>＝50，则S1＝S0*(1-R)；如若V0<50，则V1＝V0+(100-V0)*R，如若V0>＝50，则V1＝V0*(1-R)。其中R＝0.618，R为黄金分割比例。

最后，对调整后的文字元素信息进行加工处理，将加工处理后的文字元素信息显示在文本显示区域中与所述图像聚焦区域不重叠的区域。

示例性地，基于前述确定文本显示区域的位置、文字元素信息的字体大小、文字元素信息的颜色等，在预设字体库中随机选择字体，即可自动化实现文字元素信息的写入。同时为了增加输出的多样性，还可随机为文本显示区域添加透明度为10％的黑色或白色蒙版如图13所示。

在本申请实施例中，服务器100可以将加工好的游戏直播封面推送给观众端300，以便观众端300根据游戏直播封面进行直播间的选择。

进一步地，请参照图14，图14为本申请实施例提供的游戏直播封面生成装置400的一种功能模块示意图，本申请实施例可以根据服务器执行的方法实施例对游戏直播封面生成装置400进行功能模块的划分，也即该游戏直播封面生成装置400所对应的以下各个功能模块可以用于执行上述各个方法实施例。其中，该基于游戏直播封面生成装置400可以包括第一获取模块410、第二获取模块420、及排版处理模块430，下面分别对该游戏直播封面生成装置400的各个功能模块的功能进行详细阐述。

第一获取模块410，用于基于游戏直播视频帧图像获取用于形成封面的图像元素信息，其中，所述图像元素信息包括主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一。

本实施例中，第一获取模块410可以用于执行上述的步骤S11，关于第一获取模块410的详细实现方式可以参照上述针对步骤S11的详细描述。

第二获取模块420，用于基于游戏直播视频帧图像获取用于形成封面的文字元素信息。

本实施例中第二获取模块420可以用于执行上述的步骤S12，关于第二获取模块420的详细实现方式可以参照上述针对步骤S12的详细描述。

排版处理模块430，用于对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面。

本实施例中排版处理模块430可以用于执行上述的步骤S13，关于排版处理模块430的详细实现方式可以参照上述针对步骤S13的详细描述。

需要说明的是，应理解以上装置或系统中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以在物理上分开。且这些模块可以全部以软件(比如，开源软件)可以通过处理器调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理器调用软件的形式实现，部分模块通过硬件的形式实现。作为一种示例，第一获取模块410可以由单独处理器运行实现，可以以程序代码的形式存储于上述装置或系统的存储器中，由上述装置或系统的某一个处理器调用并执行以上第一获取模块410的功能，其它模块的实现与之类似，在此就不再赘述。此外这些模块可以全部或部分集成在一起，也可以独立实现。这里所描述的处理器可以是一种具有信号的处理能力的集成电路，在实现过程中，上述技术方案中的各步骤或各个模块可以通过处理器中的集成逻辑电路或者执行软件程序的形式完成。

请参照图15，图15示出了本公开实施例提供的用于实现上述的游戏直播封面生成方法的服务器100的硬件结构示意图。如图15所示，服务器100可包括处理器110、计算机可读存储介质120、总线130及通信单元140。

在具体实现过程中，处理器110执行计算机可读存储介质120存储的计算机执行指令(例如图14中所示的游戏直播封面生成装置400中的各个模块)，使得处理器110可以执行如上方法实施例的视频编码参数组合确定方法，其中，处理器110、计算机可读存储介质120以及通信单元140可以通过总线130连接。

处理器110的具体实现过程可参见上述服务器100执行的各个方法实施例，其实现原理和技术效果类似，本申请实施例此处不再赘述。

计算机可读存储介质120可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序或者数据。

总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

在本申请实施例提供的交互场景中，通信单元140可用于与主播端200及观众端300通信，以实现服务器100与主播端200及观众端300之间的数据交互。

此外，本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的游戏直播封面生成方法。

综上所述，本申请实施例提供的游戏直播封面生成方法及服务器，首先，从游戏直播视频帧图像中获取能体现直播间特点的包括主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一的图像元素信息；然后，从游戏直播视频帧图像中获取与图像元素信息对应的文字元素信息；最后，将图像元素信息和文字元素信息进行排版得到游戏直播封面。相对于现有技术中，在游戏直播封面中直接采用游戏截图的方式，本申请实施例提供的方案生成的游戏直播封面中包括体现直播间特点的图像元素信息及相关的文字元素信息，便于观众根据游戏直播封面选择相应的直播间，提高观众选择感兴趣游戏直播间的命中率。

以上所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本申请的实施例的详细描述并非旨在限制本申请的保护范围，而仅仅是表示本申请的选定实施例。基于此，本申请的保护范围应以权利要求的保护范围为准。此外，基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本申请保护的范围。

Claims (10)

1.一种游戏直播封面生成方法，其特征在于，所述方法包括：

基于游戏直播视频帧图像获取用于形成封面的图像元素信息，其中，所述图像元素信息包括主播人像掩膜、游戏角色掩膜、游戏角色海报及游戏角色的配置贴图中的其中之一；

基于所述游戏直播视频帧图像获取用于形成封面的文字元素信息，其中，所述文字元素信息用于描述所述图像元素信息；

对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面。

2.如权利要求1所述的游戏直播封面生成方法，其特征在于，所述图像元素信息为所述主播人像掩膜，所述基于游戏直播视频帧图像获取用于形成封面的图像元素信息的步骤，包括：

基于训练好的主播检测模型检测每个所述游戏直播视频帧图像中的主播图像；

从每个所述游戏直播视频帧图像中的主播图像中检测得到人脸关键点，基于所述人脸关键点计算每个所述游戏直播视频帧图像中的人脸表情得分；

将人脸表情得分最高的游戏直播视频帧图像作为目标游戏直播视频帧图像，并从所述目标游戏直播视频帧图像提取所述主播人像掩膜。

3.如权利要求1所述的游戏直播封面生成方法，其特征在于，所述图像元素信息为所述游戏角色掩膜、所述游戏角色海报以及所述游戏角色的配置贴图中的其中之一，所述基于游戏直播视频帧图像获取用于形成封面的图像元素信息的步骤包括：

基于所述游戏直播视频帧图像获取主播使用的游戏角色信息；

根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息。

4.如权利要求3所述的游戏直播封面生成方法，其特征在于，所述基于所述游戏直播视频帧图像获取主播使用的游戏角色信息的步骤，包括：

将所述游戏直播视频帧图像输入训练好的游戏类别分类器中，输出所述游戏直播视频帧图像对应的直播游戏类别；

基于训练好的游戏角色与技能检测模型检测任意一个所述游戏直播视频帧图像中的游戏角色兴趣区域和技能按钮兴趣区域；

将所述游戏角色兴趣区域和所述技能按钮兴趣区域输入游戏角色分类模型中进行分类，输出所述游戏直播视频帧图像中主播使用的游戏角色名称。

5.如权利要求4所述的游戏直播封面生成方法，其特征在于，所述图像元素信息为所述游戏角色掩膜，所述根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息的步骤，包括：

基于所述主播使用的游戏角色名称从任意一个游戏直播视频帧图像中提取所述游戏角色掩膜；或，

所述图像元素信息为所述游戏角色海报，所述根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息的步骤，包括：

基于所述直播游戏类别以及所述主播使用的游戏角色名称从预先配置的游戏角色海报素材库中检索并获得所述游戏角色海报；或，

所述图像元素信息为所述游戏角色的配置贴图，其中所述配置贴图包括皮肤模型贴图和装备模型贴图，所述根据所述主播使用的游戏角色信息得到用于形成封面的图像元素信息的步骤，包括：

将所述游戏角色兴趣区域输入训练好的皮肤分类模型中进行分类，输出所述游戏角色的皮肤名称；

从所述游戏直播视频帧图像中提取游戏的战况信息；

将所述游戏直播视频帧图像输入训练好的装备检测模型中进行检测，输出所述游戏角色的装备名称；

根据所述游戏角色的皮肤名称和所述游戏角色的装备名称从预先配置好的皮肤与装备素材库中，获取对应的皮肤模型贴图和装备模型贴图。

6.如权利要求5所述的游戏直播封面生成方法，其特征在于，所述基于游戏直播视频帧图像获取用于形成封面的文字元素信息的步骤，包括：

提取所述游戏直播视频帧图像对应的直播间的关键词，将所述关键词、所述直播游戏类别、所述主播使用的游戏角色名称、所述游戏角色的皮肤名称、游戏的战况信息以及所述游戏角色的装备名称作为输入信息，输入到训练好的文本生成器中生成所述文字元素信息；或，

基于预先指定的文字元素信息来源得到所述文字元素信息。

7.如权利要求6所述的游戏直播封面生成方法，其特征在于，所述对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面的步骤，包括：

选定封面模板，其中，所述封面模板包括图像显示区域和文字显示区域；

将所述图像元素信息进行图像处理，并将图像处理后的图像元素信息置于所述图像显示区域内，其中，所述图像处理包括图像缩放、背景设置及掩膜抠图描边中的至少其一；

对所述文字元素信息进行加工处理，并将加工处理后的文字元素信息置于所述文字显示区域内，其中，所述加工处理包括对所述文字元素信息的分行处理和文字特效处理。

8.如权利要求6所述的游戏直播封面生成方法，其特征在于，所述对所述图像元素信息及所述文字元素信息进行排版处理，得到所述游戏直播封面的步骤，包括：

检测所述图像元素信息中是否包括图像聚焦区域，其中，所述图像聚焦区域包括人脸位置区域、人体位置区域以及显著区域中的其中之一；

检测用于显示所述文字元素信息的文本显示区域和所述图像聚焦区域是否重叠，并在重叠时，将所述文本显示区域中与所述图像聚焦区域重叠的区域设置为非文本显示区域；

对所述文字元素信息进行处理，以使处理后的文字元素信息显示在所述文本显示区域中与所述图像聚焦区域不重叠的区域。

9.如权利要求8所述的游戏直播封面生成方法，其特征在于，所述对所述文字元素信息进行处理，以使处理后的文字元素信息显示在所述文本显示区域中与所述图像聚焦区域不重叠的区域的步骤，包括：

以所述图像聚焦区域中像素的主色调为基准，选择互补色或邻近色作为所述文字元素信息的色调；

基于所述文字元素信息的颜色与所述文本显示区域的背景之间的对比度，调整所述文字元素信息的饱和度和明度；

对调整后的文字元素信息进行加工处理，将加工处理后的文字元素信息显示在所述文本显示区域中与所述图像聚焦区域不重叠的区域。

10.一种服务器，其特征在于，所述服务器包括处理器、通信单元及计算机可读存储介质，所述处理器、通信单元及所述计算机可读存储介质之间通过总线系统连接，所述通信单元用于连接客户端以实现所述服务器与所述客户端之间的数据交互，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以实现权利要求1-9中任意一项所述的游戏直播封面生成方法。

Images