CN110381366B - 赛事自动化报道方法、系统、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种结果赛事自动化报道方法、系统及计算机可读存储介质，通过利用关键帧、关键事件检测模型和事件主体识别引擎对于赛事直播视频进行识别，获取赛事过程中关键事件对应类型、时间和事件主体，使得便于自动形成报道和赛事集锦，不需要编辑对于每一场赛事直播都进行人工地观看，并进行剪辑或形成新闻报道，一方面在节省人工成本的情况下增加了新闻报道的覆盖面，且可以直接对赛事直播视频进行处理，形成的新闻报道和赛事集锦的时效性也会更高。

Description

赛事自动化报道方法、系统、服务器及存储介质

技术领域

本发明涉及赛事直播数据处理技术领域，具体涉及一种赛事自动化报道方法、系统及计算机可读存储介质。

背景技术

目前广电、互联网等渠道进行的赛事直播中，展现形式均为直播数据流在设备或播放器中进行展示，赛事相关信息通过解说员口播、编辑的画面字幕和新闻报道等传统方式触达用户。但由于直播信号特有的“时间不可逆”的属性，相关数据无法进行复现，中途进入直播的用户难以方便地了解到相关信息，即使在互联网渠道进行的赛事直播，可以回放全部的视频，也无法准确地定位体育赛事直播过程中发生的关键事件,并且例如足球赛事，大多数比赛时间并不是精彩集锦所需的片段，时间利用效率低。

为了能让用户能方便地了解体育赛事直播过程中发生的关键事件(例如足球比赛中的进球、红牌罚下等)，现有的直播平台都需要通过新闻编辑人工地对体育赛事直播过程中发生的关键事件进行判断并进行剪辑，然后进行拼接配乐等后期处理后，制作成视频集锦，或者形成新闻报道，但这需要额外的时间，因此在无法让用户在发生关键事件后第一时间看到相关的视频集锦和新闻报道，无法满足互联网新闻报道更强的实时性要求。此外，例如足球比赛，中国有中超、中甲、中乙等多级赛事，英国有英超、英冠、英甲、英乙等多级赛事，每个联赛每一轮有十几场比赛，且因为时差的原因，不可能所有的场次都安排新闻编辑进行剪辑或报道，大量的赛事信息无法及时报道或提供赛事剪辑，因此直播平台或新闻网站损失了很多潜在的用户。

发明内容

本发明的目的就在于为了解决上述问题而提供一种赛事自动化报道方法、系统、服务器及存储介质。

为实现上述目的，本发明提供了一种赛事自动化报道方法，包括：

获取赛事直播视频流；

利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间；

利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；

基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材。

可选的，所述关键事件检测模型的形成方法包括：

定义关键事件的标签；

搜集该标签所定义的赛事视频片段数据；

利用搜集到的赛事视频片段数据进行机器学习训练，使得所述关键事件检测模型具备对关键事件视频的类型的分类能力。

可选的，所述关键事件检测模型的形成方法还包括：

利用搜集到的赛事视频片段关键帧数据进行机器学习训练，使得所述关键事件检测模型具备对视频进行特征编码的能力和对关键事件视频的类型的分类能力；

将所述深度机器学习模型作为视频特征编码器，对赛事视频片段进行重新编码，得到新的视频特征序列；

基于所述新的视频特征序列，训练关键事件检测模型，使得所述关键事件检测模型具备对所述关键事件的开始时间和结束时间进行判断的能力。

可选的，利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体的具体方法包括：

获取赛事直播视频流中的视频帧；

对每一帧视频帧检测是否有主体并形成主体边框，对于主体边框内的主体进行识别；

对于赛事过程中关键事件对应的事件主体进行识别。

可选的，还包括：基于所述关键事件的类型和发生时间的判断，对赛事直播视频流剪辑成关键事件的视频集锦。

可选的，还包括：基于所述新闻报道素材和新闻模板，自动形成报道新闻稿。

可选的，还包括：基于所述新闻报道素材和机器学习获得的新闻报道模型，自动形成报道新闻稿。

本发明还提供了一种赛事自动化报道系统，包括：

视频获取模块，获取赛事直播视频流；

视频分类模块，利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间；

主体判断模块，利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；

素材生成模块，基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材。

本发明还提供了一种服务器，包括：存储器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，具体包括如下步骤：获取赛事直播视频流；利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间；利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本发明还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述任一项赛事自动化报道方法。

本发明有益效果在于：本发明通过利用关键事件检测模型和事件主体识别引擎对于赛事直播视频进行识别，获取赛事过程中关键事件对应类型、时间和事件主体，使得便于自动形成报道和赛事集锦，不需要编辑对于每一场赛事直播都进行人工地观看，并进行剪辑或形成新闻报道，一方面在节省人工成本的情况下增加了新闻报道的覆盖面，且可以直接对赛事直播视频进行处理，形成的新闻报道和赛事集锦的时效性也会更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的赛事自动化报道方法的流程示意图；

图2是本发明实施例的获取赛事过程中关键事件的类型和发生时间的流程示意图；

图3是本发明实施例的获取赛事过程中关键事件对应的事件主体的流程示意图；

图4是本发明实施例的赛事自动化报道体系统的结构模块示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

本发明实施例提供了一种赛事自动化报道方法、系统及计算机可读存储介质，通过利用关键帧、关键事件检测模型和事件主体识别引擎对于赛事直播视频进行识别，获取赛事过程中关键事件对应类型、时间和事件主体，使得便于自动形成报道和赛事集锦，不需要编辑对于每一场赛事直播都进行人工地观看，并进行剪辑或形成新闻报道，一方面在节省人工成本的情况下增加了新闻报道的覆盖面，且可以直接对赛事直播视频进行处理，形成的新闻报道和赛事集锦的时效性也会更高。

应理解，本发明主要用于视频直播平台，例如电视台或视频直播网站，或者是赛事新闻提供商，例如体育新闻网站，电子竞技新闻网站等等。本发明针对的赛事直播，除了包括体育比赛，例如足球比赛、篮球比赛、冰球比赛等，也可以为电子竞技比赛，例如DOTA、DOTA2、LOL等角色扮演的游戏直播比赛。在现有的直播体系下，如果需要直播，必须要每场比赛安排至少一个视频编辑人员，对于比赛的信息进行获取，并对重要事件对应的视频进行剪辑制作成赛事集锦。而利用本发明的赛事自动化报道方法，可以做到无人化地对所有赛事的赛事直播视频进行分析，并自动生成新闻报道和/或形成赛事集锦。

本发明提出了一种赛事自动化报道方法，该方法应用于赛事自动化报道系统，所述赛事自动化报道系统可以放置在服务器内，将服务器获取的赛事直播视频流进行处理。在其他实施例中，所述赛事自动化报道系统也可以作为一个软件系统设置在终端设备中，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机以及个人电脑(personalcomputer，PC)，此处不做限定，通过终端设备获取赛事直播视频流并进行处理，并自动生成新闻报道和/或形成赛事集锦。

下面以足球比赛直播视频为例，对本发明的赛事自动化报道方法的一个实施例进行说明，当然，本发明实施例的赛事自动化报道方法也可以应用于其他赛事。

请参考图1，本发明实施例的赛事自动化报道方法包括：

步骤S100，获取赛事直播视频流，从所述赛事直播视频流中获取关键帧；

所述赛事直播视频流可以为从直播信号提供商获取的正在直播的赛事直播视频流，也可以为从直播信号提供商获取并存储的赛事视频。利用本发明的赛事自动化报道方法和系统，不仅可以处理正在直播的赛事直播视频流，及时形成新闻报道和赛事精彩集锦，也可以对于以往存储的直播视频进行批量化处理，形成大批量的赛事精彩集锦和赛事信息。例如，可以对任意一名足球运动员(例如梅西或者董宇——中甲联赛的一名足球运动员)，每一个进球都进行自动剪辑和记录进球信息。

在本发明实施例中，对赛事直播视频流均匀采样，如每秒钟抽取4帧作为关键帧。在其他实施例中，也可以采用其他的方式进行取样获取关键帧。所述赛事直播视频流包含了多个关键帧，每个关键帧会对应一个时间特征。由于待处理的赛事直播视频具有一段播放时间，因此每一帧关键帧都具有不同的播放时刻，假设待处理视频中第一个作为关键帧的视频帧的时间特征为“1”，那么第二个作为关键帧的视频帧的时间特征为“2”，以此类推，第T个作为关键帧的视频帧的时间特征为“T”。

步骤S200，利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间。

在本实施例中，通过机器学习训练的关键事件检测模型来分辨赛事过程中关键事件的类型。所述关键事件检测模型的形成方法请参考图3，包括：

步骤S201，定义关键事件的标签。

在本实施例中，以足球比赛为例进行说明。一场足球比赛的关键事件至少包括：换人、射门、进球、扑救、抢断等，对于每一个关键事件定义相应的标签。

步骤S202，搜集该标签所定义的赛事视频片段数据，形成关键帧。

针对于现有的赛事视频，将标签所定义的赛事视频片段，例如收集近五年所有的换人视频、射门视频，获取关键帧，并设置相应的标签，用于机器学习。

步骤S203，利用搜集到的赛事视频片段关键帧数据进行机器学习训练，使得所述关键事件检测模型具备对视频进行特征编码的能力和对关键事件视频的分类能力。

具体的，将已设置标签的关键事件关键帧的图像序列输入深度机器学习模型，学习图像序列所提供的空间特征和时序特征，充分的学习到视频中包含的信息，使得深度机器学习模型不仅能对关键事件进行分类，还通过对同一关键事件不同的空间特征和时序特征进行学习，使所述深度机器学习模型获得对视频进行特征编码的能力。

步骤S204，将所述深度机器学习模型作为视频特征编码器，对赛事视频片段进行重新编码，得到新的视频特征序列。

由于通过深度机器学习模型进行学习优化后，重新进行视频特征编码，形成新的视频特征序列，利用新的视频特征序列能更准确地对关键事件进行分类。

步骤S205，基于所述新的视频特征序列，训练关键事件检测模型，使得所述关键事件检测模型具备对所述关键事件的开始时间和结束时间进行判断的能力。

在本实施例中，基于所述的新视频特征序列，训练关键事件检测模型的深层神经网络，使得所述关键事件检测模型训练得到关键事件的开始时间和结束时间，以及事件发生的置信度；将所述置信度与置信度阈值进行比较，如果得到的置信度小于置信度阈值，则根据调整所述关键事件检测模型的参数，使得最终形成的关键事件检测模型对于关键事件的开始时间和结束时间进行准确地判断。

本发明利用上述关键事件检测模型对赛事直播视频的关键帧序列进行识别，获取赛事过程中关键事件的类型、发生时间和置信度。

步骤S300，利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体。

由于体育比赛，例如足球比赛往往存在多人同时争抢一个足球进行射门(或防守)的情形，因此即使关键事件检测模型判断出当下关键帧对应的事件为射门，也不能直接判断是谁做出了射门的动作。因此需要事件主体识别引擎来获取关键帧中对应的事件主体。

在本发明实施例中，利用事件主体识别引擎获取事件主体的方法包括：

步骤S301，获取赛事直播视频流中的视频帧。

步骤S302，对每一帧视频帧检测是否有主体并形成主体边框，对于主体边框内的主体进行识别。

在体育比赛中，由于争抢和对抗的关系，不同球员的图像在赛事直播视频中存在快速重叠和快速分开，使得赛事直播视频中对于球员的定位和识别存在很大的问题。因此本发明通过主体边框跟踪和身份识别融合的方式，对于赛事直播视频中每一个球员的位置和球员名字有一个准确地判断。

在本发明中，所述通过视频的前后帧时序信息对球员的主体矩形框进行跟踪，从而得知前后帧中的哪些主体矩形框是同一个人。同时通过人脸识别、人体ReId识别、球衣号码OCR识别、人体分割+分割区域的颜色、纹理特征判断等多种识别方式对于球员的身份进行识别，即判断出在矩形框内的球员是谁。由于争抢和对抗的关系，不同球员的图像在赛事直播视频中存在远近景以及不同拍摄角度镜头的变化，都会导致人脸可能被遮挡、球衣号码可能被遮挡、人物太小无法通过ReId做判断等问题，无法通过一种身份识别技术100％的识别球员的身份。同时，争抢过程中，人像的快速的重叠和分开会对矩形框的跟踪的结果产生影响，比如一个球员被跟踪时因为与另一名球员重叠后分开，很可能该球员的矩形框会变到另外一个球员身上，因此，需要通过人脸识别、人体ReId识别、球衣号码OCR识别、人体分割+分割区域的颜色、纹理特征判断来互相校验。

在本发明实施例中，将赛事图像关键帧的图像序列输入深度机器学习模型，学习图像序列所提供的身份特征信息，所述身份特征信息包括人脸识别、人体ReId识别、球衣号码OCR识别、人体分割+分割区域的颜色、纹理特征等信息和主体边框信息，充分的学习到视频中包含的信息，使得深度机器学习模型将主体边框跟踪和身份识别相融合，能够对关键事件对应的事件主体进行识别。

步骤S303，对于赛事过程中关键事件对应的事件主体进行识别。

当关键事件检测模型对赛事直播视频的关键帧进行识别，获取赛事过程中关键事件的类型和发生时间，通过对对应关键事件发生的关键帧进行识别，就能判断是哪个球员做了相应的动作，哪个球员为关键事件的事件主体。

步骤S400，基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材；

在本实施例中，当获得所述关键事件的类型、发生时间和事件主体信息后，形成新闻报道素材，直接进行新闻报道。在其他实施例中，也可以仅仅通过对于赛事直播视频流进行分析，获得视频对应的关键事件的类型、发生时间和事件主体等信息，将上述新闻报道素材提供给第三方平台，由第三方对所述新闻报道素材进行整理并报道。

步骤S500，基于所述关键事件的类型和发生时间的判断，对赛事直播视频流剪辑成关键事件的视频集锦。

由于通过关键事件检测模型可以对赛事直播视频的关键帧进行识别，获取赛事过程中关键事件的类型和发生时间，当需要形成射门集锦或关键事件集锦(例如足球比赛包括射门、进球、扑救等),根据发生时间将赛事直播视频进行截取并进行重新编辑，剪辑成关键事件的视频集锦。

步骤S600，基于所述新闻报道素材，自动形成报道新闻稿。

在本实施例中，由于通过关键事件检测模型可以对赛事直播视频的关键帧进行识别，获取赛事过程中关键事件的类型、发生时间和时间主体，根据上述新闻报道素材和新闻报道模板，自动形成报道新闻稿。

在其他实施例中，还可以通过获取赛事过程中关键事件的类型、发生时间和时间主体后，根据上述新闻报道素材和机器学习获得的新闻报道模型，自动形成报道新闻稿。

此外，本发明还提供了一种赛事自动化报道系统，请参考图4，包括：

视频获取模块100，获取赛事直播视频流，从所述赛事直播视频流中获取关键帧；

视频分类模块200，利用关键事件检测模型和关键帧获取赛事过程中关键事件的类型和发生时间；

主体判断模块300，利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；

素材生成模块400，基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材。

此外，本发明还提供了一种服务器，包括：存储器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，具体包括如下步骤：获取赛事直播视频流，从所述赛事直播视频流中获取关键帧；利用关键事件检测模型和关键帧获取赛事过程中关键事件的类型和发生时间；利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本发明还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如下步骤：获取赛事直播视频流，从所述赛事直播视频流中获取关键帧；利用关键事件检测模型和关键帧获取赛事过程中关键事件的类型和发生时间；利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种赛事自动化报道方法，其特征在于，包括：

获取赛事直播视频流；

利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间；

利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；

基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材；

所述关键事件检测模型的形成方法包括：

定义关键事件的标签；

搜集该标签所定义的赛事视频片段数据；

利用搜集到的赛事视频片段数据进行机器学习训练，使得所述关键事件检测模型具备对关键事件视频的类型的分类能力；

所述关键事件检测模型的形成方法还包括：利用搜集到的赛事视频片段关键帧数据进行机器学习训练，使得所述关键事件检测模型具备对视频进行特征编码的能力和对关键事件视频的类型的分类能力；

将深度机器学习模型作为视频特征编码器，对赛事视频片段进行重新编码，得到新的视频特征序列；

基于所述新的视频特征序列，训练关键事件检测模型，使得所述关键事件检测模型具备对所述关键事件的开始时间和结束时间进行判断的能力。

2.根据权利要求1所述的赛事自动化报道方法，其特征在于，利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体的具体方法包括：获取赛事直播视频流中的视频帧；对每一帧视频帧检测是否有主体并形成主体边框，对于主体边框内的主体进行识别；对于赛事过程中关键事件对应的事件主体进行识别。

3.根据权利要求1所述的赛事自动化报道方法，其特征在于：还包括：基于所述关键事件的类型和发生时间的判断，对赛事直播视频流剪辑成关键事件的视频集锦。

4.根据权利要求1所述的赛事自动化报道方法，其特征在于：还包括：基于所述新闻报道素材和新闻模板，自动形成报道新闻稿。

5.根据权利要求1所述的赛事自动化报道方法，其特征在于：还包括：基于所述新闻报道素材和机器学习获得的新闻报道模型，自动形成报道新闻稿。

6.一种赛事自动化报道系统，其特征在于，包括：视频获取模块，获取赛事直播视频流；视频分类模块，利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间；主体判断模块，利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；素材生成模块，基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材；所述关键事件检测模型的形成方法包括：

定义关键事件的标签；

搜集该标签所定义的赛事视频片段数据；

利用搜集到的赛事视频片段数据进行机器学习训练，使得所述关键事件检测模型具备对关键事件视频的类型的分类能力；

所述关键事件检测模型的形成方法还包括：利用搜集到的赛事视频片段关键帧数据进行机器学习训练，使得所述关键事件检测模型具备对视频进行特征编码的能力和对关键事件视频的类型的分类能力；

将深度机器学习模型作为视频特征编码器，对赛事视频片段进行重新编码，得到新的视频特征序列；

基于所述新的视频特征序列，训练关键事件检测模型，使得所述关键事件检测模型具备对所述关键事件的开始时间和结束时间进行判断的能力。

7.一种服务器，其特征在于，包括：存储器、处理器以及总线系统；其中，所述存储器用于存储程序；所述处理器用于执行所述存储器中的程序，具体包括如下步骤：获取赛事直播视频流；利用关键事件检测模型获取赛事过程中关键事件的类型和发生时间；利用事件主体识别引擎获取赛事过程中关键事件对应的事件主体；基于所述关键事件的类型、发生时间和事件主体，生成新闻报道素材；所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信；

所述关键事件检测模型的形成方法包括：

定义关键事件的标签；

搜集该标签所定义的赛事视频片段数据；

利用搜集到的赛事视频片段数据进行机器学习训练，使得所述关键事件检测模型具备对关键事件视频的类型的分类能力；

所述关键事件检测模型的形成方法还包括：利用搜集到的赛事视频片段关键帧数据进行机器学习训练，使得所述关键事件检测模型具备对视频进行特征编码的能力和对关键事件视频的类型的分类能力；

将深度机器学习模型作为视频特征编码器，对赛事视频片段进行重新编码，得到新的视频特征序列；

基于所述新的视频特征序列，训练关键事件检测模型，使得所述关键事件检测模型具备对所述关键事件的开始时间和结束时间进行判断的能力。

8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。

Images