CN110841287B - 视频处理方法、装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种视频处理方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取待处理视频；从所述待处理视频中切分出至少一个目标视频；从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局；从所述目标视频的视频帧中提取出关键帧；在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧；采用所述目标游戏帧和所述关键帧建立映射关系；根据所述映射关系对齐所述目标视频与所述游戏对局，在游戏对局的某个位置需要嵌入游戏解说时，可以根据映射关系确定在视频中的嵌入位置，从而实现游戏解说的精准嵌入。

Description

视频处理方法、装置、计算机可读存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着科学技术的飞速发展，视频直播已经成为一种日常化的生活娱乐和交流方式，直播时展示给用户的视频，因融合了图像、文字、主播的讲解等丰富元素，声形并茂，效果极佳，逐渐在互联网上流行。目前比较热门的视频直播之一，是MOBA(MultiplayerOnline Battle Arena，多人在线战术竞技)类的游戏直播。

然而，目前的游戏直播过程中，存在无法智能化针对游戏对局提供相应的游戏解说的问题，只能由主播来根据游戏对局情况进行游戏解说，但是主播在解说的同时还需要与参与游戏对战，需要耗费较大的注意力，因此可能出现解说不专业或者解说错误等问题。

虽然目前可以通过AI(Artificial Intelligence，人工智能)客服在播放视频时提供自然语言对话、自动聊天等功能，但AI客服并不能针对视频中的游戏对局提供专业的游戏解说。具体地，游戏解说依赖对游戏数据的精准分析及深度挖掘，游戏数据的精准分析主要包括游戏核心指令理解、游戏核心事件提取、游戏核心事件与视频对齐三个部分；游戏数据的深度挖掘主要包括游戏核心事件标注和游戏策略设计，无论是游戏数据的精准分析，还是游戏策略的深度挖掘，最终的游戏解说都需要在视频播放过程中同步，因此游戏对局与视频需要事先实现精准对齐与同步。

发明内容

基于此，有必要针对无法智能化针对游戏对局提供相应的游戏解说的技术问题，提供一种视频处理方法、装置、计算机可读存储介质和计算机设备。

一种视频处理方法，包括：

获取待处理视频；

从所述待处理视频中切分出至少一个目标视频；所述目标视频具有对应的游戏对局；

从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局；

从所述目标视频的视频帧中提取出关键帧；

在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧；

根据所述目标游戏帧和所述关键帧，建立所述目标视频和所述游戏对局之间的映射关系；

根据所述映射关系对齐所述目标视频与所述游戏对局。

一种视频处理装置，包括：

待处理视频获取模块，用于获取待处理视频；

目标视频切分模块，用于从所述待处理视频中切分出至少一个目标视频；所述目标视频具有对应的游戏对局；

后台游戏数据获取模块，用于从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局；

关键帧提取模块，用于从所述目标视频的视频帧中提取出关键帧；

目标游戏帧确定模块，用于在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧；

映射关系建立模块，用于根据所述目标游戏帧和所述关键帧，建立所述目标视频和所述游戏对局之间的映射关系；

视频对齐模块，用于根据所述映射关系对齐所述目标视频与所述游戏对局。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述的视频处理方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的视频处理方法的步骤。

上述视频处理方法、装置、计算机可读存储介质和计算机设备，在获取待处理视频后，对待处理视频进行划分得到至少一个目标视频，从游戏运营商后台获取与目标视频对应的后台游戏数据，其中，后台游戏数据具有对应的游戏对局，然后从目标视频的视频帧中提取出关键帧，并在游戏对局的游戏帧确定与关键帧对应的目标游戏帧，最后采用目标游戏帧和关键帧建立映射关系，以根据映射关系对齐目标视频与游戏对局，这样，在游戏对局的某个位置需要嵌入游戏解说时，可以根据映射关系确定在视频中的嵌入位置，从而实现游戏解说的精准嵌入。

优选地，本申请实施例可以从目标视频中视频帧中确定训练视频帧，以根据训练视频帧生成训练数据，以及，从游戏对局的游戏帧中确定与训练视频帧对应的训练游戏帧，获取训练游戏帧对应的训练后台游戏数据，以采用训练后台游戏数据生成与训练数据对应的训练结果，随后，本申请实施例就可以利用训练数据和训练结果构成的训练集，完成计算机视觉领域有监督深度学习的任务，提高图像识别效果。

附图说明

图1A为一个实施例中视频处理方法的应用环境图；

图1B为另一个实施例中视频处理方法的应用环境图；

图2为一个实施例中视频处理方法的流程示意图；

图3为一个实施例中游戏开始画面的示意图；

图4为一个实施例中游戏结束画面的示意图；

图5为一个实施例中游戏开始画面的标注示意图；

图6为一个实施例中游戏结束画面的标注示意图；

图7为一个实施例中主播直播时的录制视频示意图之一；

图8为一个实施例中主播直播时的录制视频示意图之二；

图9为一个实施例中直播的录制视频的对齐示意图；

图10为另一个实施例中视频处理方法的流程示意图；

图11为一个实施例中游戏解说嵌入的示意图；

图12为一个实施例中视频处理装置的结构框图；

图13为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1A为一个实施例中视频处理方法的应用环境图。参照图1A，该应用环境中包括通过网络连接的第一终端110和第二终端120。第一终端110和第二终端120可以是智能电视机、计算机或移动终端，移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理和穿戴式设备等中的至少一种。需要说明的是，第一终端110和第二终端120可以互换。

第一终端110可以通过建立映射关系实现目标视频与游戏对局对齐，在完成目标视频与游戏对局对齐后，可以将对齐的数据发送至第二终端120。图1B为另一个实施例中视频处理方法的应用环境图。参照图1B，该环境场景中包括第一终端110、第二终端120和服务器130，其中，第一终端110和第二终端120分别与服务器130进行网络连接。服务器130可以用独立的服务器或者是多个物理服务器组成的服务器集群来实现。第一终端110通过服务器130可以与第二终端120共享对齐的数据。

需要说明的是，本申请各实施例中的“第一”和“第二”仅用作区分，而并不用于大小、先后、从属等方面的限定。

如图2所示，在一个实施例中，提供了一种视频处理方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该视频处理方法具体包括如下步骤：

S202，获取待处理视频。

在一个实施例中，待处理视频是指视频内容包含有至少一场游戏对局的视频。具体地，待处理视频可以是在游戏直播时的录制视频，也可以是游戏比赛时的录制视频。在待处理视频中包含的游戏对局，可以是下棋比赛或者MOBA比赛。

若待处理视频是游戏直播时的录制视频，由于主播一次直播的时间会比较长，因此在一个录制视频里可能会有多场游戏对局，比如时长为2个小时录制视频中可能包含三到四场游戏对局；若待处理视频是游戏比赛时的录制视频，那么可以一个录制视频仅包含一场游戏对局。其中，待处理视频的格式可以是mp4、rmvb、wmv或avi等。

S204，从所述待处理视频中切分出至少一个目标视频。

在一个实施例中，可以按照游戏对局来对待处理视频切分目标视频，比如切分为一场游戏对局对应一个目标视频。举例来说，假设待处理视频中包含了三场游戏对局，那么待处理视频将切分为三个目标视频。

在游戏中，游戏开始画面和游戏结束画面通常是采用固定展现模式，比较容易识别，比如在MOBA比赛中，游戏开始画面和游戏结束画面会展现包括有出场的队伍和各队伍的英雄名称(玩家名称)的游戏信息面板，因此本实施例待处理视频的切分依据可以是游戏开始画面和游戏结束画面。

在一个实施例中，所述步骤S204可以包括如下步骤：从所述待处理视频中识别出游戏开始画面和游戏结束画面；将相邻的游戏开始画面和游戏结束画面对应的视频作为一目标视频。

具体地，本申请实施例可以采用计算机视觉(CV，ComputerVision)领域的图像识别技术，完成对指定图像画面的理解与识别，由人工智能自动完成待处理视频中游戏开始画面和游戏结束画面的筛选。当然，在实际应用中也可以采用其他方式筛选，比如可以通过人工手动标注出游戏开始画面和游戏结束画面，本申请实施例对此无需加以限制。

举例来说，假设待处理视频是直播时的录制视频，由于一个录制视频里可能会有多场游戏对局，故需要按照游戏对局将录制视频切成多个目标视频，其中，各个目标视频具有对应的游戏对局时间对，通过游戏对局时间对可以获知游戏对局在录制视频中的游戏开始时间、游戏结束时间以及游戏对局的总时长。其中，游戏对局时间对格式可以为：<游戏开始时间，游戏结束时间>，实现目标视频切分的步骤包括：

1、识别录制视频中的游戏开始画面，记录录制视频中游戏开始画面出现时的视频时间作为游戏开始时间，时间格式<hh:mm:ss>；参照图3，所示为一场游戏对局的游戏开始画面，其对应的游戏开始时间为<00:13:46>。

2、识别录制视频中的游戏结束画面，记录录制视频中游戏结束画面出现时的视频时间作为游戏结束时间，时间格式<hh:mm:ss>，参照图4，所示为一场游戏对局的游戏结束画面，其对应的游戏结束时间为<01:47:57>。

3、将相邻的游戏开始画面对应的游戏开始时间，以及，游戏结束画面对应的游戏结束时间，组合成多个游戏对局时间对；如果该录制视频有三场游戏对局，对应标注出三个游戏对局时间对可以为：<00:38:29,00:57:57>、<01:00:54,01:17:17>、<01:20:02,01:40:32>。

4、按照三个游戏对局时间对切分录制视频，得到三个目标视频。

需要说明的是，此处所指的切分可以是将待处理视频切分为多个互相独立的目标视频，也可以仅仅是在待处理视频中按照游戏对局时间对进行标注，本申请实施例对此无需加以限制。

S206，从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局。

在本申请实施例中，后台游戏数据是用于记录游戏对局的后台记录数据，保存在游戏运营商后台中。具体地，后台游戏数据可以包括游戏对局的基本对战信息，比如在一场多人对战的游戏对局中出场的队伍、各个队伍中出场的英雄名称、比赛结束后人头比和获胜方等。举例来说，某个游戏对局中游戏数据可以记录有如下内容：对局队伍的人头比为24：15，获胜方：红方。

后台游戏数据还可以包括游戏对局的游戏核心数据，游戏核心数据包括释放特定技能后达到的执行结果，其中，特定技能是指在游戏中基于游戏核心指令执行的操作。举例来说，假设在某个MOBA游戏的游戏对局中包括蓝方和红方两个队伍，蓝方队伍有法师，红方队伍有射手，如果蓝方法师针对红方射手释放“冰冻技能”并造成血量减100血量单位和被控时间1s，那么后台游戏数据可以记录有如下内容：蓝方法师针对红方射手释放“冰冻技能”，红方射手血量减100血量单位以及被控时间1s。除此之外，后台游戏数据还可以包括游戏对局中游戏核心事件等其他数据，其中，游戏核心事件可以是指在特定的时间或者位置出现特定的事物。

在具体实现中，每一场游戏对局的后台游戏数据，在游戏运营商后台会采用ID(Identity，身份标识码)对每一场游戏对局的后台游戏数据进行保存，当需要获取后台游戏数据时，可以根据ID在后台查找到目标视频对应的后台游戏数据。

在一个实施例中，所述步骤S206可以包括如下步骤：从所述目标视频中识别出视频标注数据；根据所述视频标注数据从游戏运营商后台中查找到对应的后台游戏数据。

优选地，本申请实施例可以从目标视频中识别出视频标注数据，并根据视频标注数据在游戏运营商后台中的指定数据库中查找相应的后台游戏数据。其中，视频标注数据是通过图像识别技术从目标视频中提取的、针对游戏对局的对局相关数据，比如系统时间、出场的队伍、各个队伍中出场的英雄名称(玩家名称)、比赛结束后人头比和获胜方等。

例如，可以通过图像识别技术在游戏开始画面中识别出出场的队伍、各个队伍中出场的英雄名称，参照图5，针对图5所示的目标视频的游戏开始画面，可以识别出蓝方队伍的五个英雄名称和红方队伍的五个英雄名称，从左到右依次为：蓝方队伍出场的英雄名称<英雄1，英雄2，英雄3，英雄4，英雄5>，红方队伍出场的英雄名称<英雄6，英雄7，英雄8，英雄9，英雄10>。

此外，还可以通过图像识别技术在游戏结束画面中识别出比赛结束后的人头比和获胜方，参照图6，针对图6所示的目标视频的游戏结束画面，可以识别出如下视频标注数据：蓝方队伍和红方队伍的人头比为24：15，获胜方：红方。

在识别出上述的视频标注数据后，就可以在后台查找到与视频标注数据匹配的后台游戏数据。优选地，考虑某些大型MOBA游戏在后台中保存的后台游戏数据是海量的，有可能基于一个目标视频的视频标注数据匹配到的后台游戏数据为多个，因此本申请实施例通过缩小范围的方式获取后台游戏数据。

例如，针对主播直播场景，可以首先获取到该主播在一个星期内的待处理视频，切分出多个目标视频并识别出视频标注数据，然后在后台获取该主播在一段时间(比如最近一个月)内直播的游戏数据集合，最后在游戏数据集合获取到与目标视频的视频标注数据匹配的后台游戏数据。

当然，上述的获取目标视频的后台游戏数据的方式仅仅是作为示例，在具体实施本实施例时，还可以采用其他技术实现，本申请实施例对此不作限制。

S208，从所述目标视频的视频帧中提取出关键帧。

在具体实现中，目标视频是由多个视频帧组成，本申请实施例将从多个视频帧中提取出关键帧。其中，关键帧是指能够具有标志性的、容易被识别出的视频帧。

参照图7和图8，所示为主播直播时的录制视频，在该录制视频中显示有游戏对局，其中，针对该游戏对局，录制视频中可以作为关键帧的是“暴君”出现的视频帧，参照图7，在左上角的小地图上在“暴君”出现，在“暴君”周围出现黄色光圈，参照图8，在左上角的小地图上在“暴君”消失，在“暴君”周围的黄色光圈消失，由于“暴君”周围的黄色光圈消失的那一视频帧容易识别及标注出来，因此可以选择这一视频帧作为关键帧。当然，根据游戏对局的不同，关键帧的选取也可以有所不同。

S210，在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧。

在一个可选实施例中，所述关键帧具有对应的关键游戏事件，所述关键游戏事件具有对应的游戏时间，所述步骤S210可以包括如下步骤：根据所述关键游戏事件对应的游戏时间，在所述游戏对局中查找多对应的游戏帧作为目标游戏帧。

在具体实现中，游戏对局对应的后台游戏数据属于结构化数据，各个游戏帧对应的内容和时间等也都是确定，因此与关键帧对应的目标游戏帧很容易确定。为了更好地查找到目标游戏帧，关键帧可以选取为出现关键游戏事件的视频帧，其中，关键游戏事件属于游戏核心事件，比如游戏中在特定的时间或者位置出现特定的事物。

例如，如果关键帧是出现“暴君”的视频帧，由于在一个游戏对局中“暴君”出现的时间是固定的，因此根据“暴君”在游戏对局中的游戏时间，即可在后台游戏数据中查找到出现“暴君”的游戏帧，作为目标游戏帧。

S212，根据所述目标游戏帧和所述关键帧，建立所述目标视频和所述游戏对局之间的映射关系。

在目标视频帧与关键帧确定后，就可以进一步根据目标视频帧与关键帧来确定目标视频和游戏对局之间的映射关系。在一个实施例中，所述游戏帧具有对应的游戏时间，所述目标视频的视频帧具有对应的视频时间，所述步骤S212可以包括如下步骤：

获取所述目标游戏帧对应的目标游戏时间；获取所述关键帧对应的关键视频时间；采用所述目标游戏时间和所述关键视频时间，确定所述目标视频对应的游戏对局的游戏开始时间；确定所述游戏帧的帧率；采用所述游戏开始时间和所述帧率，建立所述目标视频的视频时间与所述游戏对局中游戏帧之间的映射关系。

在一个实施例中，映射关系可以采用公式表达。首先可以根据关键帧对应的关键视频时间Tb(毫秒)与游戏对局的目标视频帧Fb建立时间轴映射关系，可以推导出游戏开始时间S计算公式如下，其中FPS为帧率(Frames Per Second)：

S＝Tb-Fb*(1000/FPS)

根据上述公式推导出游戏帧F和视频时间Tf之间映射关系的计算公式如下：

Tf＝S+F*(1000/FPS)

通过上述映射关系的计算公式，可以确定游戏对局中各游戏帧在目标视频中对应的视频时间。需要说明的是，在具体实施过程中还可以采用其他计算公式或者方法表达映射关系，本申请实施例对此无需加以限制。

S214，根据所述映射关系对齐所述目标视频与所述游戏对局。

在确定映射关系后，就可以根据映射关系对齐目标视频与游戏对局。例如，以“暴君”出现那一帧为起点，往前及往后将目标视频的视频帧与游戏对局的游戏帧根据映射关系一一对齐。

在一个实施例中，所述方法还可以包括如下步骤：根据所述映射关系在所述目标视频中嵌入游戏解说。

在具体实现中，在播放目标视频时，为了便于观众理解可以在目标视频中嵌入游戏解说。其中，游戏解说可以是携带起止时间的语音、文本或者特效。

在游戏对局中需要嵌入游戏解说时，可以首先确定需要嵌入游戏解说的游戏帧，然后根据游戏帧和映射关系确定在目标视频中的视频时间，并根据视频时间在目标视频中相应时间嵌入游戏解说。这样，本申请实施例在播放待处理视频时，可以自动将游戏解说嵌入到目标视频中，完成整套游戏解说流程，无需人工手动添加游戏解说，解放了劳动力。

为了使本领域技术人员更好地理解本实施例实现视频对齐的过程，下面采用具体示例进行说明。参照图9，所示为直播的录制视频的对齐示意图，具体实现对齐的步骤主要包括如下三个部分：

第一部分：从录制视频中识别出游戏开始画面和游戏结束画面，并记录游戏开始画面对应的游戏开始时间和游戏结束画面对应的游戏结束时间；其中，相邻的游戏开始时间和游戏结束时间为一游戏对局时间对；将录制视频按照游戏对局时间对切分成多个目标视频(游戏视频)，图中的录制视频包括有三场游戏对局，因此切分为三个目标视频，即图9中的视频1、视频2、视频3；

第二部分：从目标视频中识别出视频标注数据，并根据视频标注数据在后台中查找到相应游戏对局对应的后台游戏数据，得到目标视频与游戏对局的映射对，即<视频1-游戏对局1>、<视频2-游戏对局2>、<视频3-游戏对局3>；

第三部分：从目标视频中提取出关键帧，并确定游戏对局中与该关键帧相应的游戏核心事件，并获取该游戏核心事件的游戏帧，并从这一帧开始，往前及往后一一对应展开，至此完成了目标视频的视频帧与游戏对局的游戏帧的对齐。

在上述实施例中，获取待处理视频后，对待处理视频进行划分得到至少一个目标视频，获取与目标视频对应的后台游戏数据，其中，后台游戏数据具有对应的游戏对局，然后从目标视频的视频帧中提取出关键帧，并在游戏对局的游戏帧确定与关键帧对应的目标游戏帧，最后采用目标游戏帧和关键帧建立映射关系，以根据映射关系对齐目标视频与游戏对局，这样，在游戏对局的某个位置需要嵌入游戏解说时，可以根据映射关系确定在视频中的嵌入位置，从而实现游戏解说的精准嵌入。

如图10所示，在另一个实施例中，提供了一种视频处理方法。本实施例主要以该方法应用于上述图1A和图1B中的终端110来举例说明。参照图10，该视频处理方法具体包括如下步骤：

S1002，获取待处理视频。

S1004，从所述待处理视频中切分出至少一个目标视频。

S1006，从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局。

S1008，从所述目标视频的视频帧中提取出关键帧。

S1010，在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧。

S1012，根据所述目标游戏帧和所述关键帧，建立所述目标视频和所述游戏对局之间的映射关系。

S1014，根据所述映射关系对齐所述目标视频与所述游戏对局。

由于本实施例中的步骤1002-步骤S1014的具体实施方式基本相应于前述的方法实施例的具体实施方式，故本实施例对于步骤1002-步骤S1014的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。

总之，通过步骤1002-步骤S1014，可以确定目标视频与游戏对局之间的映射关系，从而可以实现目标视频与游戏对局之间的数据对齐，使得可以将游戏对局中的某个游戏帧定位到目标视频中相应的视频时间。正是如此，可以方便在目标视频的相应位置嵌入游戏解说，解放劳动力。具体地，本申请实施例嵌入游戏解说可以通过如下步骤S1016-步骤S1020实现。

S1016，获取游戏解说；所述游戏解说具有对应事件游戏帧。

在具体实现中，可以针对不同的游戏设置游戏解说集合，优选地，游戏解说集合中的游戏解说可以设置为与游戏核心事件对应。当在游戏对局中某个游戏核心事件出现时，可以从游戏解说集合中获取相应游戏解说，并在视频帧中该游戏核心事件出现的位置嵌入游戏解说。假设是推塔类的MOBA游戏，游戏核心事件可以是第一座防御塔被破、出现第一个人头或者出现“暴君”、“主宰”，在这些游戏核心事件出现时，将获取事件对应的游戏解说。

在一个实施例中，所述步骤S1016可以包括如下步骤：从所述后台游戏数据中提取游戏核心事件；根据所述游戏核心事件生成游戏解说；确定所述游戏核心事件在游戏对局中对应的事件游戏帧。

在后台游戏数据中确定出游戏核心事件，然后获取核心事件对应的游戏解说，并获取游戏核心事件对应的游戏帧作为事件游戏帧，由于后台游戏数据是结构化数据，因此可以根据游戏核心事件的出现时间查找到对应的事件游戏帧。

S1018，采用所述映射关系和所述事件游戏帧，确定所述游戏解说在所述目标视频中的视频嵌入时间。

在确定事件游戏帧后，可以进一步根据映射关系确定游戏解说在目标视频中的视频嵌入时间。具体地，可以根据游戏帧F和视频时间Tf之间映射关系的计算公式Tf＝S+F*(1000/FPS)，基于事件游戏帧计算出相应的视频时间作为视频嵌入时间。

S1020，按照所述视频嵌入时间，将所述游戏解说嵌入至所述目标视频中。

在确定视频嵌入时间后，将一段游戏解说(语音、文本或者特效)，基于视频嵌入时间精准嵌入到目标视频中。

具体地，游戏核心事件包括防御塔被破。参照图11，所示为一种嵌入游戏解说的示意图，从后台游戏数据中提取到如下游戏核心事件：在游戏对局时间为06:28处蓝方队伍上路外塔被破，则可以根据对局时间和蓝方防御塔被破等条件在游戏解说集合中查找匹配的游戏解说，比如可以在录制视频的相应位置处嵌入一段游戏解说“蓝方队伍上路外塔被破，时间有点早，上路这个一塔掉的有点早”，从图11可知，游戏对局的游戏时间与目标视频的视频时间已经实现毫秒级精准对齐且同步，因此，只需要将这一段游戏解说嵌入到目标视频中时间为06:28处即可。

应用本实施例，确定映射关系后，在游戏对局的某个核心事件出现时，可以首先确定游戏核心事件对应的游戏帧，然后根据游戏帧和映射关系确定在目标视频中的嵌入视频时间，并根据嵌入视频时间在目标视频中相应时间嵌入游戏解说。这样，本申请实施例以根据后台游戏数据自动提取游戏核心事件，并生成相应的游戏解说，并将游戏解说嵌入到视频中，达到人工智能解说的拟人效果，可以解放垂直领域专业解说主持人或者游戏主播的工作及培训开销，由于游戏解说是根据游戏对局的后台游戏数据生成，因此解说专业程度可保证。

此外，本实施例的游戏解说效果也可以根据需求定制，比如使用专业术语的解说、使用诙谐语言的解说或者针对游戏新手的解说。

优选地，本申请实施例除了可以提供人工智能解说的拟人效果之外，还可以达到视频或者图像理解的目的，尤其是针对对齐后的目标视频，具体地，本申请实施例可以从对齐后的目标视频和游戏对局中，提取数据作为训练集，用于模型的训练。

在一个实施例中，所述方法还可以包括如下步骤：从所述目标视频中视频帧中确定训练视频帧；采用所述训练视频帧生成训练数据；从所述游戏对局的游戏帧中，确定与所述训练视频帧对应的训练游戏帧；获取所述训练游戏帧对应的训练后台游戏数据；采用所述训练后台游戏数据生成与所述训练数据对应的训练结果。

本实施例针对对齐后的目标视频，可以从目标视频中提取视频帧(图像)作为训练视频帧，并将训练视频帧作为训练数据，然后结合对齐后游戏对局的后台游戏数据，提取出与训练视频帧相应的训练游戏帧，并通过对训练游戏帧对应的后台数据进行分析，得到图像标注(即与训练数据对应的训练结果)。随后，就可以将训练数据和训练结果作为训练集，用于对进行模型训练，比如完成游戏英雄位置坐标识别、游戏时间识别等。

本实施例可以利用训练数据和训练结果构成的训练集，完成计算机视觉领域有监督深度学习的任务，通过提供大量且准确的训练集用于模型训练，可以提高图像识别效果。

图2和图10为一个实施例中视频处理方法的流程示意图。应该理解的是，虽然图2和图10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图10中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图12所示，在一个实施例中，提供了一种视频处理装置1200。本实施例主要以该方法应用于上述图1A和1B中的终端110来举例说明。参照图12，该视频处理装置1200具体包括待处理视频获取模块1202、目标视频切分模块1204、游戏数据获取模块1206、关键帧提取模块1208、目标游戏帧确定模块1210、映射关系建立模块1212和视频对齐模块1214，其中：

待处理视频获取模块1202，用于获取待处理视频；

目标视频切分模块1204，用于从所述待处理视频中切分出至少一个目标视频；所述目标视频具有对应的游戏对局；

游戏数据获取模块1206，用于从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局；

关键帧提取模块1208，用于从所述目标视频的视频帧中提取出关键帧；

目标游戏帧确定模块1210，用于在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧；

映射关系建立模块1212，用于根据所述目标游戏帧和所述关键帧，建立所述目标视频和所述游戏对局之间的映射关系；

视频对齐模块1214，用于根据所述映射关系对齐所述目标视频与所述游戏对局。

在一个实施例中，所述目标视频切分模块1204包括：

画面识别模块，用于从所述待处理视频中识别出游戏开始画面和游戏结束画面；

目标视频确定模块，用于将相邻的游戏开始画面和游戏结束画面对应的视频作为一目标视频。

在一个实施例中，所述游戏数据获取模块1206包括：

视频标注数据识别模块，用于从所述目标视频中识别出视频标注数据；

游戏数据查找模块，用于根据所述视频标注数据从游戏运营商后台中查找到对应的后台游戏数据。

在一个实施例中，所述游戏帧具有对应的游戏时间，所述目标视频的视频帧具有对应的视频时间，所述映射关系建立模块1212包括：

目标游戏时间获取模块，用于获取所述目标游戏帧对应的目标游戏时间；

关键视频时间获取模块，用于获取所述关键帧对应的关键视频时间；

游戏开始时间确定模块，用于采用所述目标游戏时间和所述关键视频时间，确定所述目标视频对应的游戏对局的游戏开始时间；

帧率确定模块，用于确定所述游戏帧的帧率；

映射关系确定模块，用于采用所述游戏开始时间和所述帧率，建立所述目标视频的视频时间与所述游戏对局中游戏帧之间的映射关系。

在一个实施例中，所述关键帧具有对应的关键游戏事件，所述关键游戏事件具有对应的游戏时间，所述目标游戏帧确定模块1210包括：

根据所述关键游戏事件对应的游戏时间，在所述游戏对局中查找多对应的游戏帧作为目标游戏帧。

在一个实施例中，所述装置还包括：

游戏解说嵌入模块，用于根据所述映射关系在所述目标视频中嵌入游戏解说。

在一个实施例中，所述游戏解说嵌入模块包括：

游戏解说获取模块，用于获取游戏解说；所述游戏解说具有对应的事件游戏帧；

视频嵌入时间确定模块，用于采用所述映射关系和所述事件游戏帧，确定所述游戏解说在所述目标视频中的视频嵌入时间；

解说嵌入模块，用于按照所述视频嵌入时间，将所述游戏解说嵌入至所述目标视频中。

在一个实施例中，所述游戏解说获取模块包括：

游戏核心事件提取模块，用于从所述游戏数据中提取游戏核心事件；

游戏解说生成模块，用于根据所述游戏核心事件生成游戏解说；

游戏帧确定模块，用于确定所述游戏核心事件在游戏对局中对应的事件游戏帧。

在一个实施例中，所述装置还包括：

训练视频帧确定模块，用于从所述目标视频中视频帧中确定训练视频帧；

训练数据生成模块，用于采用所述训练视频帧生成训练数据；

训练游戏帧确定模块，用于从所述游戏对局的游戏帧中，确定与所述训练视频帧对应的训练游戏帧；

训练游戏数据获取模块，用于获取所述训练游戏帧对应的训练游戏数据；

训练结果结果模块，用于采用所述训练游戏数据生成与所述训练数据对应的训练结果。

图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1A和1B中的终端110(或服务器120)。如图13所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现视频处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行视频对齐方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的视频处理装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该视频处理装置的各个程序模块，比如，图12所示的待处理视频获取模块1202、目标视频切分模块1204、游戏数据获取模块1206、关键帧提取模块1208、目标游戏帧确定模块1210、映射关系建立模块1212和视频对齐模块1214。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的视频处理方法中的步骤。

例如，图13所示的计算机设备可以通过如图12所示的视频处理装置中的待处理视频获取模块1202执行获取待处理视频、目标视频切分模块1204执行从所述待处理视频中切分出至少一个目标视频、游戏数据获取模块1206执行获取与所述目标视频对应的游戏数据；所述游戏数据具有对应的游戏对局、关键帧提取模块1208执行从所述目标视频的视频帧中提取出关键帧、目标游戏帧确定模块1210执行在所述游戏对局的游戏帧中，确定与所述关键帧对应的目标游戏帧、映射关系建立模块1212执行采用所述目标游戏帧和所述关键帧建立映射关系和视频对齐模块1214执行根据所述映射关系对齐所述目标视频与所述游戏对局。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述视频对齐方法的步骤。此处视频处理方法的步骤可以是上述各个实施例的视频处理方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述视频对齐方法的步骤。此处视频处理方法的步骤可以是上述各个实施例的视频处理方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种视频处理方法，包括：

获取待处理视频；

从所述待处理视频中切分出至少一个目标视频；

从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局；

从所述目标视频的视频帧中提取出关键帧；所述关键帧具有对应的关键游戏事件，所述关键游戏事件具有对应的游戏时间；

根据所述关键游戏事件对应的游戏时间，在所述游戏对局中查找到对应的游戏帧作为目标游戏帧；

根据所述目标游戏帧对应的目标游戏时间和所述关键帧对应的关键视频时间，建立所述目标视频的视频时间和所述游戏对局中游戏帧之间的映射关系；

根据所述映射关系对齐所述目标视频与所述游戏对局。

2.根据权利要求1所述的方法，其特征在于，所述从所述待处理视频中切分出至少一个目标视频包括：

从所述待处理视频中识别出游戏开始画面和游戏结束画面；

将相邻的游戏开始画面和游戏结束画面对应的视频作为一目标视频。

3.根据权利要求1所述的方法，其特征在于，所述从游戏运营商后台中获取与所述目标视频对应的后台游戏数据；所述后台游戏数据具有对应的游戏对局包括：

从所述目标视频中识别出视频标注数据；

根据所述视频标注数据从游戏运营商后台中查找到对应的后台游戏数据。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标游戏帧对应的目标游戏时间和所述关键帧对应的关键视频时间，建立所述目标视频的视频时间和所述游戏对局中游戏帧之间的映射关系包括：

采用所述目标游戏帧对应的目标游戏时间和所述关键帧对应的关键视频时间，确定所述目标视频对应的游戏对局的游戏开始时间；

确定所述游戏帧的帧率；

采用所述游戏开始时间和所述帧率，建立所述目标视频的视频时间与所述游戏对局中游戏帧之间的映射关系。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述根据所述映射关系对齐所述目标视频与所述游戏对局之后，还包括：

根据所述映射关系在所述目标视频中嵌入游戏解说。

6.根据权利要求5所述的方法，其特征在于，所述根据所述映射关系在所述目标视频中嵌入游戏解说包括：

获取游戏解说；所述游戏解说具有对应事件游戏帧；

采用所述映射关系和所述事件游戏帧，确定所述游戏解说在所述目标视频中的视频嵌入时间；

按照所述视频嵌入时间，将所述游戏解说嵌入至所述目标视频中。

7.根据权利要求6所述的方法，其特征在于，所述获取游戏解说包括：

从所述后台游戏数据中提取游戏核心事件；

根据所述游戏核心事件生成游戏解说；

确定所述游戏核心事件在游戏对局中对应的事件游戏帧。

8.根据权利要求1至4任一项所述的方法，其特征在于，在所述根据所述映射关系对齐所述目标视频与所述游戏对局之后，还包括：

从所述目标视频中视频帧中确定训练视频帧；

采用所述训练视频帧生成训练数据；

从所述游戏对局的游戏帧中，确定与所述训练视频帧对应的训练游戏帧；

获取所述训练游戏帧对应的训练后台游戏数据；

采用所述训练后台游戏数据生成与所述训练数据对应的训练结果。

9.一种视频处理装置，包括：

待处理视频获取模块，用于获取待处理视频；

目标视频切分模块，用于从所述待处理视频中切分出至少一个目标视频；所述目标视频具有对应的游戏对局；

游戏数据获取模块，用于从游戏运营商后台中获取与所述游戏对局对应的后台游戏数据；

关键帧提取模块，用于从所述目标视频的视频帧中提取出关键帧；所述关键帧具有对应的关键游戏事件，所述关键游戏事件具有对应的游戏时间；

目标游戏帧确定模块，用于根据所述关键游戏事件对应的游戏时间，在所述游戏对局中查找到对应的游戏帧作为目标游戏帧；

映射关系建立模块，用于根据所述目标游戏帧对应的目标游戏时间和所述关键帧对应的关键视频时间，建立所述目标视频的视频时间和所述游戏对局中游戏帧之间的映射关系；

视频对齐模块，用于根据所述映射关系对齐所述目标视频与所述游戏对局。

10.根据权利要求9所述的装置，其特征在于，所述目标视频切分模块包括：

画面识别模块，用于从所述待处理视频中识别出游戏开始画面和游戏结束画面；

目标视频确定模块，用于将相邻的游戏开始画面和游戏结束画面对应的视频作为一目标视频。

11.根据权利要求9所述的装置，其特征在于，所述游戏数据获取模块包括：

视频标注数据识别模块，用于从所述目标视频中识别出视频标注数据；

游戏数据查找模块，用于根据所述视频标注数据从游戏运营商后台中查找到对应的后台游戏数据；

所述映射关系建立模块包括：

游戏开始时间确定模块，用于采用所述目标游戏帧对应的目标游戏时间和所述关键帧对应的关键视频时间，确定所述目标视频对应的游戏对局的游戏开始时间；

帧率确定模块，用于确定所述游戏帧的帧率；

映射关系确定模块，用于采用所述游戏开始时间和所述帧率，建立所述目标视频的视频时间与所述游戏对局中游戏帧之间的映射关系；

所述装置还包括：

游戏解说嵌入模块，用于根据所述映射关系在所述目标视频中嵌入游戏解说。

12.根据权利要求11所述的装置，其特征在于，所述游戏解说嵌入模块包括：

游戏解说获取模块，用于获取游戏解说；所述游戏解说具有对应的事件游戏帧；

视频嵌入时间确定模块，用于采用所述映射关系和所述事件游戏帧，确定所述游戏解说在所述目标视频中的视频嵌入时间；

解说嵌入模块，用于按照所述视频嵌入时间，将所述游戏解说嵌入至所述目标视频中。

13.根据权利要求12所述的装置，其特征在于，所述游戏解说获取模块包括：

游戏核心事件提取模块，用于从所述游戏数据中提取游戏核心事件；

游戏解说生成模块，用于根据所述游戏核心事件生成游戏解说；

游戏帧确定模块，用于确定所述游戏核心事件在游戏对局中对应的事件游戏帧。

14.根据权利要求9至11任一项所述的装置，其特征在于，所述装置还包括：

训练视频帧确定模块，用于从所述目标视频中视频帧中确定训练视频帧；

训练数据生成模块，用于采用所述训练视频帧生成训练数据；

训练游戏帧确定模块，用于从所述游戏对局的游戏帧中，确定与所述训练视频帧对应的训练游戏帧；

训练后台游戏数据获取模块，用于获取所述训练游戏帧对应的训练后台游戏数据；

训练结果模块，用于采用所述训练后台游戏数据生成与所述训练数据对应的训练结果。

15.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。