CN107871120B - 基于机器学习的体育赛事理解系统及方法 - Google Patents

Abstract

本发明的公开了一种基于机器学习的体育赛事理解系统，涉及体育赛事信息系统技术领域，该系统包括数据获取单元和数据分析单元，所述数据获取单元用于采用摄像装置获取比赛的视频信息，并将视频信息传输到数据分析单元；所述数据分析单元用于接收所述视频信息，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，得到比赛理解信息。通过数据获取单元获取比赛的视频信息，数据分析单元对接收到的视频信息进行分析处理，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，准确理解整个比赛。

Description

基于机器学习的体育赛事理解系统及方法

技术领域

本发明涉及体育赛事信息系统技术领域，具体涉及一种基于机器学习的体育赛事理解系统及方法。

背景技术

在现阶段，理解体育赛事主要依靠三种方法：第一，依靠人工；第二，通过设备采集数据，并分析数据理解比赛；第三，通过计算机数据分析辅助人工的方法。

第一种方法主要是通过人工进行比赛数据统计和人工观看比赛或视频来实现的。对于人工比赛数据统计，比如在球类比赛中，每场比赛若干统计员，通过多视角观看比赛，分别负责观察两边球队，对于特定的比赛事件如得分，助攻，犯规，罚球等在电脑或手机上进行人工记录。人工统计的主要缺点主要包括：1、准确性差，不同的比赛时长可以有40到120分钟或更长，在这段时间类，需要操作熟练的操作员精神高度集中，容易出错；2、成本高，需要对于每一种比赛类型培训统计员，每一场比赛需要安排若干统计员在现场；3、统计的数据类型有限，人工统计的数据是显而易见的数据包括得分，助攻，犯规，罚球等，而一些不显见的数据如球速，球员的跑动速度/距离，球员的起跳高度是无法通过人工统计出来的。

人工观看比赛或视频，比如评论员和教练员观看比赛，来理解比赛，主要是依赖观看者的经验和知识分析比赛。这种理解通过是非格式化的，无法扩大到大规模的数据集上，如不可能要求观看者观看海量的比赛视频并分析每帧的比赛情况。同样，上面提到的不显见的数据也无法通过这个方法得到。

第二种方法不同于人工，而是通过设备采集数据，并分析数据来理解比赛。根据采集设备的不同分为两类：侵入式设备和非侵入式设备。入侵式设备通过在，比如球上和球员身上安装传感器，追踪球和球员的运动轨迹。并且通过安装球员关节(如头，手臂，腿等)上的传感器，捕捉并分析运动员的关节运动信息，从而理解运动员的关键运动如加速，转身，起跳等。这类方法最大的缺点在于“侵入”，在每场比赛的球上和球员身上装传感器成本高，而且侵入式传感器本身也存在影响到球或球员运动，从而影响到比赛竞技水平的潜在风险。

非入侵设备主要通过安装在比赛场周边的摄像机采集比赛信息，然后通过图像处理来获得赛况。摄像机分两类：3D摄像机和2D摄像机。3D摄像机，如time-of-flight摄像机和Kinect摄像机来获取比赛中运动目标的深度信息，来分析球或球员的关键动作。3D摄像机在实际应用中有较多问题，如time-of-flight摄像机采集到的图片像素低，Kinect摄像机只能在较短的距离内使用。2D摄像机则是通过RGB成像摄像机获取比赛信息，然后通过算法将多帧图像中目标的2维信息重构成3维，从而分析目标的行为。但是，从2维信息重建3维是十分困难的一个工作，现有算法很难保证其在真实比赛环境中的准确性，此外比赛中发生的目标之间的阻挡使其难度更大。

第三种方法则是上述两种方法的结合应用。或以人工为主，计算机为辅；或以计算机为主，人工为辅。无论是哪种形式，都没有克服这两类方法本身的缺陷。

发明内容

针对现有技术中的缺陷，本发明的目的之一在于提供一种基于机器学习的体育赛事理解系统，通过获取赛场中的比赛信息，对比赛信息通过机器学习的方法学习和判断目标的行为，准确理解整个比赛。

第一方面，本发明提供的基于机器学习的体育赛事理解系统，包括数据获取单元和数据分析单元，所述数据获取单元用于采用摄像装置获取比赛的视频信息，并将视频信息传输到数据分析单元；所述数据分析单元用于接收所述视频信息，检测和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，得到比赛理解信息。

可选地，所述数据分析单元包括数据预处理模块，所述数据预处理模块用于根据视频信息对比赛场地的三维重建和视频预处理。

可选地，所述数据预处理模块包括场地三维重建子模块，所述场地三维重建子模块用于根据所述摄像装置拍摄的视频信息获取场地图像，在场地图像中标记场地的已知几何信息，对每个摄像装置获得的场地图像进行扭曲矫正，得到场地的三维模型。

可选地，所述数据预处理模块还包括视频预处理子模块，所述视频预处理子模块对视频信息进行解码和对每一帧场地图像进行扭曲矫正，计算图像中像素在三维模型中对应的位置。

可选地，所述数据分析单元包括目标检测模块，所述目标检测模块用于在每一帧图像中检测出比赛中的目标，所述目标为人和物，并将所述人和物从赛场图像中分离出来，计算出所述人和物在每一帧画面中对应的像素。

可选地，所述数据分析单元还包括目标识别模块，所述目标识别模块用于将分离出的人进行身份识别，将物进行分类识别。

可选地，所述数据分析单元还包括目标跟踪模块，所述目标跟踪模块用于将识别的目标在时间序列上关联，得到目标的运动过程和轨迹跟踪数据。

可选地，所述数据分析单元还包括事件理解模块，所述事件理解模块用于将跟踪数据进行机器学习，通过学习目标之间在时间和空间上的交互，理解所述目标在比赛中发生的事件。

可选地，所述系统还包括分析结果应用单元，所述分析结果应用单元用于根据比赛理解信息结合不同用户需求制作不同的应用，分发到用户终端。

第二方面，本发明提供的基于机器学习的体育赛事理解方法，具体包括以下步骤，获取比赛视频信息；

根据视频信息对比赛场地进行三维重建和视频预处理；

对处理后的视频信息检测出每一帧图像中检测出比赛中的目标，所述目标为人和物，并将所述人和物从赛场图像中分离出来，计算出所述人和物在每一帧画面中对应的像素；

将分离出来的人进行身份识别，对物进行分类识别；

将所述人和物在时间序列上关联，得到目标的运动过程和轨迹跟踪数据；

将跟踪数据进行机器学习，通过学习目标之间在时间和空间上的交互，理解所述目标在比赛中发生的事件。

本发明的有益效果：

本发明的基于机器学习的体育赛事理解系统及方法，通过数据获取单元获取比赛的视频信息，数据分析单元对接收到的视频信息进行分析处理，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，准确理解整个比赛。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明的基于机器学习的体育赛事理解系统第一实施例所提供的结构示意图；

图2示出了本发明的基于机器学习的体育赛事理解系统第二实施例所提供的结构示意图；

图3示出了图2中数据分析单元中的摄像头矫正的示意图；

图4示出了图2中数据分析单元中的三维建模的示意图；

图5示出了本发明的基于机器学习的体育赛事理解系统第三实施例所提供的结构示意图；

图6示出了本发明的基于机器学习的体育赛事理解方法第一实施例所提供的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

体育赛事有篮球比赛、足球比赛、排球比赛、网球比赛等，以下实施例中采用篮球比赛为实例描述该系统的具体实施方式，在篮球比赛中，目标是球员、裁判和篮球。

图1示出了本发明第一实施例所提供的一种基于机器学习的体育赛事理解系统，包括数据获取单元和数据分析单元，所述数据获取单元用于采用摄像装置获取比赛的视频信息，并将视频信息发送到数据分析单元；所述数据分析单元用于接收所述视频信息，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，得到比赛理解信息。数据获取单元采用多个摄像机安装在比赛场地的周围，每个摄像机的位置、角度、聚焦等影响录像采集的参数是固定的，便于后期的数据处理。另外，还可以在比赛场边设置可动摄像机配合使用，可动摄像机的摄像头可以平移、倾斜、调节焦距，可动摄像头可以通过操作员控制，也可以通过程序控制，通过平移、倾斜或调节焦距，持续地自动跟踪持球球员。每个摄像机能覆盖部分比赛场地，赛场上的任意一个目标至少被一个摄像机覆盖，每个摄像机拍摄多帧比赛场地图像，每个摄像机都会持续地记录比赛画面，每个摄像机将视频信息实时传输到数据分析单元。基于机器学习的体育赛事理解系统通过数据获取单元获取比赛的视频信息，数据分析单元对接收到的视频信息进行分析处理，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，准确理解整个比赛。

图2示出了基于机器学习的体育赛事理解系统的第二实施例，与第一实施例不同之处在于，数据分析单元包括数据预处理模块，所述数据预处理模块用于根据视频信息对比赛场地的三维重建和视频预处理；数据预处理模块包括场地三维重建子模块和视频预处理子模块，所述场地三维重建子模块用于根据所述摄像装置拍摄的视频信息获取场地图像，在场地图像中标记场地的已知几何信息，对每个摄像装置获得的场地图像进行扭曲矫正，得到场地的三维模型；所述视频预处理子模块对视频信息进行解码和对每一帧场地图像进行扭曲矫正，计算图像中像素在三维模型中对应的位置，其他功能模块相似。为了确保摄像机的摄像效果，对每个摄像机进行矫正，得到每个摄像机的内部参数和外部参数。通过内部参数，可以对图像的扭曲进行矫正，通过外部参数，可以计算出摄像机与目标的相对三维位置。如图3所示，采用棋盘对摄像机进行矫正，棋盘中黑白相间的模式使得关键点容易被检测出来，并且不会向某一个方向偏移。因为摄像机镜头本身的设计以及成像板和镜头之间位移，摄像机采集到的画面是存在扭曲的。对其中一个摄像机拍摄的画面，在得到摄像机的内部参数后，扭曲的画面可以通过变换进行矫正。通过将摄像机对已知的棋盘进行不同角度拍摄，结合摄像机的外部参数得到摄像机与目标的相对三维位置。如图4所示，在比赛开始之前，场地三维重建子模块先对比赛场地进行三维建模，每个摄像头拍摄到的画面通过关键点与实际的比赛场地进行联系，并通过外部参数估算出摄像机与场地的相对三维位置，摄像机拍摄的画面与实际的场地进行匹配后，实际场地中的每一个点与画面中的位置相对应，多个摄像机拍摄的画面与场地进行匹配后，整个赛场被覆盖，画面与赛场匹配的关键点可以是自动检测也可以是人工标定。

图5示出了基于机器学习的体育赛事理解系统的第三实施例，与第二实施例不同之处在于，数据分析单元包括目标检测模块、目标识别模块、目标跟踪模块和事件理解模块，所述目标检测模块用于在每一帧图像中检测出比赛中的目标，所述目标为人和物，并将所述人和物从赛场图像中分离出来，计算出所述人和物在每一帧画面中对应的像素；所述目标识别模块用于将分离出的人进行身份识别，将物进行分类识别；所述目标跟踪模块用于将识别的目标在时间序列上关联，得到目标的运动过程和轨迹跟踪数据；事件理解模块用于将跟踪数据进行机器学习，通过学习目标之间在时间和空间上的交互，理解所述目标在比赛中发生的事件，其他功能模块相似。目标检测模块在每一帧图像中检测出比赛中的人和篮球，基于人和篮球的不同特征，使用不同的方法对人和篮球进行检测，球在不同摄像机的视角中的形态不发生变化，使用机器学习通过大量篮球的图片，学习训练得到一个基于篮球形态的检测器，该检测器在每一帧画面中检测是否有篮球以及篮球的位置。不同于篮球，人在不同摄像机的视角中的形态是不同的，使用前景后景分离的方法，在每一帧中将球员从球场上检测出来。目标检测模块在帧画面中将球和球员检测出来后，需要将球员与裁判区别开，并确定每一个球员的身份。采用球衣号码、球衣颜色，以及其他体态和面部特征，来区别不同人的身份。在完成帧画面中球、球员、裁判的检测和识别后，将多个摄像机的结果整合在赛场的三维模型中，从而得到赛场中每个目标的三维坐标。由于在赛场画面中容易出现遮挡现象，如：如球员之间的遮挡，球员和裁判之间的遮挡，球员和球之间的遮挡。目标跟踪模块将在发生遮挡的时间点上进行目标跟踪分析，对遮挡前，遮挡中以及遮挡后进行一个全局的目标跟踪分析，从而得到每个目标在整个比赛中跟踪轨迹。目标跟踪模块可以规避掉目标检测模块和目标识别模块中可能出现的错误，使得系统的理解结果的鲁棒性更强。为了提高系统对赛事的理解结果的可靠性，系统还包括人工监控模块，人工监控模块用于监控数据分析单元的输入和输出，如果某一模块的输出或输出出现错误，如：目标检测模块的输出中球的检测出错。监控员则可以通过外接设备(如计算机或手机)对其进行修改。

该系统还包括分析结果应用单元，分析结果应用单元用于根据比赛理解信息结合不同用户需求制作不同的应用，分发到用户终端。分析结果应用单元包括数据应用模块和应用分发模块，数据应用模块通过分析比赛目标的跟踪数据和事件理解数据，根据不同的客户需求制作成不同的应用。应用分发模块通过分发渠道将应用传递到不同的用户终端。用户终端包括但不限于电视、电脑、网站、手机和智能手表。

本实施例中的数据交互过程：数据预处理模块对接收到多路摄像机的录像信息进行同步处理，并对每个摄像机的每一帧画面进行扭曲矫正处理后输出到目标检测模块，目标检测模块在每一帧画面中将目标检测和定位出来，目标识别模块将画面中定位到的目标进行身份识别和物的分类，把目标正确区分为球员、裁判和篮球，目标跟踪模块将单帧画面中检测并识别的目标在时间序列上连接起来，完成目标的跟踪，得到球和球员在整个比赛中的跟踪轨迹，事件理解单元根据球以及球员的轨迹数据通过机器学习理解比赛中发生的事件如投球，传球，篮板球等，分析结果应用单元根据比赛理解信息结合不同用户需求制作不同的应用，分发到用户终端。

数据应用模块包括但不限于球队/球员表现统计、比赛动画直播、VR/AR制作和精彩镜头特效制作。球员/球队的表现统计如投篮，得分，篮板球，助攻等通过跟踪数据和事件理解数据统计得到，提供给媒体，球队，联盟，球迷使用。也可以提供给游戏开发者使用，通过使用真实比赛的数据使游戏的真实度更高。比赛的赛况数据可以实时地，以参数的形式传递给预先制作的动画模板(如球，球员和裁判)，从而成为比赛动画直播的应用。预先制作的动画模板可以是二维也可以是三维。多摄像机采集到的画面通过摄像机矫正和三维建模，可以在比赛直播画面中增加制作做好的三维模型或效果，以达到增强现实的效果，例如，球员得分后，在画面中增加撒花的效果。也可以将比赛的多个视角的画面标定起来，形成一个虚拟现实的效果。系统可以将比赛数据与多视角画面结合起来，制作精彩镜头的特效。例如，一个球员在灌篮后，系统可以将安装在不同地点的两个摄像头采集到的不同视角上的画面标定起来，对灌篮这个动作制作一个从摄像头1到摄像头2的一个沉浸式回放。数据应用既可可以是实时的，也可以是非实时的。数据应用模块可以在不同的计算机服务器上完成，也可以在同一个计算机服务不同的逻辑单元完成。应用分发模块通过不同的渠道分发到用户终端。

图6示出了本发明的基于机器学习的体育赛事理解方法的第一实施例，方法具体包括以下步骤，

S1.获取比赛视频信息。

S2.根据视频信息对比赛场地进行三维重建和视频预处理。

S3.对处理后的视频信息检测出每一帧图像中检测出比赛中的目标，所述目标为人和物，并将所述人和物从赛场图像中分离出来，计算出所述人和物在每一帧画面中对应的像素。

S4.将分离出来的人进行身份识别，对物进行分类识别；基于人和篮球的不同特征，使用不同的方法对人和篮球进行检测，球在不同摄像机的视角中的形态不发生变化，使用机器学习通过大量篮球的图片，学习训练得到一个基于篮球形态的检测器，该检测器在每一帧画面中检测是否有篮球以及篮球的位置。不同于篮球，人在不同摄像机的视角中的形态是不同的，使用前景后景分离的方法，在每一帧中将球员从球场上检测出来。目标检测模块在帧画面中将球和球员检测出来后，需要将球员与裁判区别开，并确定每一个球员的身份。采用球衣号码、球衣颜色，以及其他体态和面部特征，来区别不同人的身份。在完成帧画面中球、球员、裁判的检测和识别后，将多个摄像机的结果整合在赛场的三维模型中，从而得到赛场中每个目标的三维坐标。

S5.将所述人和物在时间序列上关联，得到目标的运动过程和轨迹跟踪数据；将在发生遮挡的时间点上进行目标跟踪分析，对遮挡前，遮挡中以及遮挡后进行一个全局的目标跟踪分析，从而得到每个目标在整个比赛中跟踪轨迹。

S6.将跟踪数据进行机器学习，通过学习目标之间在时间和空间上的交互，理解所述目标在比赛中发生的事件。

基于机器学习的体育赛事理解方法，通过获取比赛的视频信息，对接收到的视频信息进行分析处理，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，准确理解整个比赛。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (3)

1.基于机器学习的体育赛事理解系统，其特征在于：包括数据获取单元和数据分析单元，所述数据获取单元用于采用布置于比赛场地周围的具有固定采集参数的若干个摄像装置获取比赛的视频信息，并将视频信息传输到数据分析单元；所述数据分析单元用于接收所述视频信息，检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，得到比赛理解信息；所述数据分析单元包括数据预处理模块、目标检测模块、目标识别模块、目标跟踪模块和事件理解模块，所述数据预处理模块还包括视频预处理子模块和场地三维重建子模块；所述视频预处理子模块对视频信息进行解码和对每一帧场地图像进行扭曲矫正，计算图像中像素在三维模型中对应的位置；所述场地三维重建子模块用于根据所述摄像装置拍摄的视频信息获取场地图像，在场地图像中标记场地的已知几何信息，并先对比赛场地进行三维建模，将每个摄像头拍摄到的画面通过关键点与实际的比赛场地进行联系，通过外部参数估算出摄像机与场地的相对三维位置，摄像机拍摄的画面与实际的场地进行匹配后，得到场地的三维模型；所述目标检测模块用于在每一帧图像中检测出比赛中的目标，所述目标为人和物，并将所述人和物从赛场图像中分离出来，计算出所述人和物在每一帧画面中对应的像素，目标识别模块用于将分离出的人进行身份识别，将物进行分类识别，所述身份识别使用球衣号码、球衣颜色、体态和面部特征进行球员身份识别；目标检测模块在完成帧画面中球、球员、裁判的检测和识别后，将多个摄像机的结果整合在赛场的三维模型中，从而得到赛场中每个目标的三维坐标；所述目标跟踪模块用于将识别的目标在时间序列上关联，得到目标的运动过程和轨迹跟踪数据；所述事件理解模块用于将跟踪数据进行机器学习，通过学习目标之间在时间和空间上的交互，理解所述目标在比赛中发生的事件。

2.如权利要求1所述的基于机器学习的体育赛事理解系统，其特征在于：所述系统还包括分析结果应用单元，所述分析结果应用单元用于根据比赛理解信息结合不同用户需求制作不同的应用，分发到用户终端。

3.基于机器学习的体育赛事理解方法，其特征在于：具体包括以下步骤，采用布置于比赛场地周围的具有固定采集参数的若干个摄像装置获取比赛的视频信息；根据比赛的视频信息检测、识别和跟踪赛场中的目标，通过机器学习学习不同目标的跟踪数据理解比赛事件，得到比赛理解信息；通过视频预处理子模块对视频信息进行解码和对每一帧场地图像进行扭曲矫正，计算图像中像素在三维模型中对应的位置；根据所述摄像装置拍摄的视频信息获取场地图像，通过场地三维重建子模块在场地图像中标记场地的已知几何信息，并先对比赛场地进行三维建模，将每个摄像头拍摄到的画面通过关键点与实际的比赛场地进行联系，通过外部参数估算出摄像机与场地的相对三维位置，摄像机拍摄的画面与实际的场地进行匹配后，得到场地的三维模型；对处理后的视频信息检测出每一帧图像中检测出比赛中的目标，所述目标为人和物，并将所述人和物从赛场图像中分离出来，计算出所述人和物在每一帧画面中对应的像素；将分离出来的人通过使用球衣号码、球衣颜色、体态和面部特征进行身份识别，对物进行分类识别；在完成帧画面中球、球员、裁判的检测和识别后，将多个摄像机的结果整合在赛场的三维模型中，从而得到赛场中每个目标的三维坐标；将所述人和物在时间序列上关联，得到目标的运动过程和轨迹跟踪数据；将跟踪数据进行机器学习，通过学习目标之间在时间和空间上的交互，理解所述目标在比赛中发生的事件。

Images