CN111444890A - 一种基于机器学习的体育数据分析系统和方法 - Google Patents

Abstract

本发明实施例公开了一种基于机器学习的体育数据分析系统和方法，通过检查球员以及球员身体的关键骨骼节点，将运动员身体的关节节点在一段时间内的三维位置移动作为机器学习模型的输入，来识别运动动作。因为模型的输入数据是身体的节点信息，运动动作的类别不仅可以得到识别，而且该动作的标准程度也可以得到判断，并由此制定有针对性的训练方案。此外，该系统和方法通过追踪训练或比赛中的运动员和物体的三维轨迹。通过分析运动员以及物体的运动交互，运动员的运动动作得到分析和识别，从而分析得到对整个比赛或训练中事件的理解。

Description

一种基于机器学习的体育数据分析系统和方法

技术领域

本发明涉及一种人工智能大数据分析方法，尤其涉及一种通过机器学习算法分析体育视频数据以及其他类型数据，检测并理解体育比赛或训练中的动作和事件的分析系统和方法。

背景技术

日新月异的数据处理技术已经广泛地应用于体育数据分析。 无论是教练通过训练或比赛数据分析来帮助运动员提高竞技水平或制定比赛策略，还是球队经理通过数据分析来优化球队的运动员配置，或是球员观看带有数据解析的比赛直播来获得更好的观看体验，体育数据分析通过分析，挖掘，呈现，预测体育数据为数据的使用者带来价值。

早期的体育数据处理主要是结构化数据的处理和分析。 将运动员在训练或比赛中的关键事件的以结构化数据的形式记录下来，再利用数据处理技术对这些数据进行统计分析。这些数据的广度和深度是十分有限的。随着数据采集技术，如摄像头和可穿戴设备的发展， 更加全面的，连续的数据被采集。这些数据可以完整的记录下训练或比赛的全方位完整信息。但是，也给数据的分析和挖掘带来难度和挑战。采集到的连续的原始数据需要被转化为结构化数据，数据才能被有效分析。无论是训练或是比赛，整个过程都是由一个或多个运动员的一系列的运动动作连贯而成。运动员动作的分析和识别是体育数据分析中的基础，通过运动员的动作识别，如足球比赛中每个球员在每一时刻的运动动作（带球，跑动，防守等等），整场比赛被完整地，并以结构化的形式记录下来后，全面的数据分析和挖掘可以在此基础上进行，如分析整个比赛中球员或球队的竞技水平，或防守进攻战术执行情况。

多种系统和方法被提出用来分析和识别运动员的动作。但是，基于可穿戴设备的系统和方法是具有很大局限性的，首先，可穿戴设备采集到的数据是有限的，例如在专利US8036826B2中描述的装置，是佩戴到运动员身上， 通过加速度测量器，陀螺仪传感器和GPS单元，记录运动员的速度，位置和运动方向；在专利US972457B2中描述的装置，是安装在运动器具上如网球拍，羽毛球拍，高尔夫杆，通过三维运动传感器记录器具的运动，来捕捉运动员的运动。 这些采集到的数据是片面的，无法体现整个比赛或训练过程。 此外，可穿戴设备的使用场景是有限的。一般情况下，可穿戴设备只能在训练中使用。 而正式比赛对球员的穿着和使用器具有规范和要求，使得可穿戴设备无法使用。

另外，视频分析技术也被用于运动员动作的分析和识别。 使用摄像头记录训练或比赛的过程，通过视频分析技术，如特征检测方法和机器学习方法，检测到运动员并识别运动员的动作。受到视频清晰度和算法准确度的限制，现有的方法是通过对整个画面进行分类来判断画面中是否存在一个运动动作。例如，专利US9600717 B1中描述的方法，首先在画面中检测到运动员， 然后在通过预先训练好的分类模型，对画面中的运动员区域分析判断，属于哪一个运动动作，如棒球运动中的准备挥棒动作，挥棒动作，和结束挥棒动作。 这类方法以运动员的整个画面为机器模型训练的输入，训练好的模型只能分析和识别画面中是否发生某一个动作，但是无法判断这个动作做得标准与否，是否需要怎样的纠正。而运动员在训练和比赛中运动动作的评判，并作出有针对性的提升训练是十分重要的。此外，因为是以画面作为动作识别模式的训练输入，原始画面的数据精度是有限的，这就导致了动作识别的类别有限，如篮球训练或比赛中之能训练识别运球动作，却不能识别单手运球或双手交叉运球。

此外，现有的运动动作分析方法是通过分析运动员的运动动作本身而到达识别的目的。而运动员在训练或比赛中，运动员的三维空间关系对运动动作分析是非常重要的。这些关系包括运动员与场地之间，与其他运动员之间，与运动目标物（如篮球，足球等）之间，与运动器器具（如球拍，球杆等）之间， 的三维位置关系。 而现有的运动动作分析系统和方法中往往忽略了这些信息。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于机器学习的体育数据分析系统和方法。可通过检查球员以及球员身体的关键骨骼节点，将运动员身体的关节节点在一段时间内的三维位置移动作为机器学习模型的输入，来识别运动动作，而且该动作的标准程度也可以得到判断，并由此制定有针对性的训练方案，通过分析运动员以及物体的运动交互，运动员的运动动作得到分析和识别，从而分析得到对整个比赛或训练中事件的理解。

为了解决上述技术问题，本发明实施例提供了一种基于机器学习的体育数据分析系统，包括数据采集单元、预处理单元、静态数据分析单元、动态数据分析单元、目标事件分析单元以及报告生成单元；

所述数据采集单元包括部署于现场的数据采集器，用于获取比赛或训练的原始数据；

所述预处理单元用于对所述原始数据进行预处理；

所述静态数据分析单元用于对当前时刻的数据进行分析；

所述动态数据分析单元用于将离散的所述数据分析结果在时域上进行整合分析，得到连续的数据分析结果，所述连续的数据分析结果包括运动员的三维轨迹以及姿态轨迹；

所述目标事件分析单元用于分析得到运动员在比赛或训练中的目标事件；

所述报告生成单元获取所述目标事件的数据得出数据报告。

进一步地，所述数据采集单元所述数据采集器包括摄像头和/或穿戴式传感器。

更进一步地，所述预处理单元用于将采集到的原始视频按设定帧率、码率以及分辨率分解为视频帧和/或将所述穿戴式设备采集到的信号进行降噪处理和分帧处理。

更进一步地，所述静态数据分析单元用于将当前数据帧上的特征抽取出来并关联到三维坐标系统，所述特征包括球以及球员的位置、球员的身份以及姿态关键节点。

更进一步地，所述数据报告包括统计数据、运动员姿势评估。

相应地，本发明实施例还提供了一种基于机器学习的体育数据分析方法，包括以下步骤：

步骤1：获取部署于现场的数据采集器关于比赛或训练的原始数据；

步骤2：将所述原始数据按设定帧率，码率以及分辨率分解为视频帧；

步骤3：将当前数据帧上的特征抽取出来并关联到三维坐标系统，所述特征包括球以及球员的位置、球员的身份以及姿态关键节点；

步骤4：将所述特征在时域上进行关联；

步骤5：根据先验知识对运动员在比赛或训练中进行目标事件分析；

步骤6：将所述目标事件分析的结果生成数据报告。

进一步地，所述步骤3使用训练好的球定位机器学习模型、运动员定位机器学习模型将球和球员的位置进行检测，使用运动员身份识别学习模型、运动员姿态机器学习模型分别识别运动员身份和姿态关键节点。

更进一步地，所述姿态关键节点包括预先定义的躯干关键点、面部关键点、手关键点、腿关键点。

更进一步地，所述关联到三维坐标系统的步骤还包括使用数据处理算法剔除错误的三维位置。

更进一步地，所述先验知识包括比赛或训练的场地条件、参与人员情况、规则、目标事件的设定中的至少其一。

实施本发明实施例，具有如下有益效果：本发明通过检查球员以及球员身体的关键骨骼节点，将运动员身体的关节节点在一段时间内的三维位置移动作为机器学习模型的输入，来识别运动动作，运动动作的类别不仅可以得到识别，而且该动作的标准程度也可以得到判断，并可由此制定有针对性的训练方案，本发明还可以通过分析运动员以及物体的运动交互，运动员的运动动作得到分析和识别，从而分析得到对整个比赛或训练中事件的理解。

附图说明

图1是本发明实施例提供的系统结构示意图；

图2是本发明实施例提供的系统模块示意图

图3是本发明实施例提供的多摄像头采集方案以及部署的示意图；

图4是本发明实施例提供的双目摄像头采集方案以及部署的示意图;

图5是本发明实施例提供的球的三维定位示意图；

图6是本发明实施提供的球员的三维定位示意图

图7是本发明方法的流程示意图；

图8是球员的身体关键点被检测和识别的示意图；

图9是本发明实施例提供的机器学习训练以及使用流程的示意图；

图10是本发明实施中使用到的机器学习模式示意图；

图11是本发明实施中使用到的机器学习模式示意图；

图12是本发明实施例中使用到的基于物体检测的深度学习模型；

图13是本发明实施例中多球员跟踪算法的示意图；

图14是一发明实施例中使用到的比赛报告示意图；

图15是一个投篮训练报告的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，本发明实施例的一种基于机器学习的体育数据分析系统，包括数据采集单元、预处理单元、静态数据分析单元、动态数据分析单元、目标事件分析单元以及报告生成单元。系统的组成如图2示。

数据采集单元采集比赛或训练的原始数据，如视频或运动员肢体移动数据。

如图3，数据采集单元包括部署于现场的一种或多种数据传感器。这些数据传感器包括，但不限于，光传感器如摄像头和穿戴式传感器如九轴传感器。

如图4，一个双目摄像头部署在篮球场上，朝向篮球方向。

双目摄像头部署篮球场上，拍摄球员的投篮训练。一个双目摄像头拍摄到的画面包括左视角和右视角，通过左右视角的视差，可以得到拍摄画面中每个像素相对双目摄像头的三维位置。在另一个实施例中，多个双目摄像头部署在比赛或训练场，从不同的角度来拍摄比赛或训练。

预处理单元用于对采集到的原始数据处理。预处理单元将原始数据进行初步处理，以便接下来的分析单元得到优质的数据，提高数据分析质量。

例如，在一个实施例中，预处理单元将采集到的原始视频按一定的帧率，码率以及分辨率分解为视频帧。在另一个实施例中，预处理单元将穿戴式设备采集到的信号进行降噪处理和分帧处理。

静态数据分析单元用于对当前时刻预处理好的数据进行分析。预处理过的数据以数据帧，如视频帧或信号帧的形式进入接下来的分析单元。静态数据分析单元将当前数据帧上的特征抽取出来。

在一个实施例中，静态数据分析单元会将当前足球或篮球比赛视频帧中的球以及球员的位置检测出来，并把每个球员的身份以及姿态关键节点也识别出来。

在另一个实施例中，静态数据分析单元会将多个视角的当前视频帧中识别到的信息，整合起来到一个3维坐标系统，即当前时刻，球以及每个球员的3维位置的得到检测。

上述中，通过运动员定位的机器学习模型，运动员身份识别的机器学习模型，运动员姿态的机器学习模型分别获得运动员的位置、身份、姿态信息。

动态数据分析单元将离散的数据分析结果在时域上进行整合分析，得到连续的数据分析结果。在一个实施例中，动态数据分析单元将每一个时刻的球或球员的3维位置通过算法在时间序列上关联起来，得到球在一段时间内的球和球员3维轨迹。在另一个实施例中，动态数据分析单元将每一个时刻的球员的身体关键点通过算法在时间序列上关联起来，得到该球员的姿态运动。

在一个时域上的关联方式如：球员的身体的每一个关键点被检测并识别给与其相应的标签，并且该球员在连续帧中被识别，那么该球员的每一个关键点在连续帧中通过其对应的标签，在时间序列上关联起来。例如，球员A在视频帧n上的检测是An，在视频帧n+1上的检测是An+1；球员A在视频帧n上的头部关键点检测是AHn，在视频帧n+1上的检测是AHn+1。首先，在连续帧上An与An+1得到关联，根据这个关联关系，AHn与AHn+1得到关联。

动态数据分析单元分析得到运动员的3维轨迹以及姿态轨迹，运动目标物如球的3维轨迹。这些动态的分析结果做为输入进入目标事件分析单元。

目标事件分析单元的数据分析需要先验知识。

先验知识定义数据类型以及目标事件的限制条件。在一个实施例中，先验知识包括：定义了数据类型为足球比赛数据，目标事件为所有球员的跑动距离，运球时间和射门次数。在另一个实施例中，先验知识包括：定义了数据类型为篮球训练数据，目标事件是球员的投篮姿势评估。

目标事件分析单元分析得到运动员在比赛或训练中的目标事件，如跑动，投篮，射门等的数据表现。这些分析得到数据进入报告生成单元，生成用户，如教练员，运动员，观众等可以使用的数据报告。

在一个实施例中，报告生成单元生成足球比赛中球员表现，如跑动距离，跑动速度，传球次数，射门次数等，的排行榜。在另一个实施例中，报告生成单元生成篮球训练中球员的训练报告，如投篮的命中率统计，投篮姿势的评估等。

在上述系统中，各单元部署于数据分析服务器中，以及还包括用户界面。

数据分析服务器包括处理器和内存或存储器。在一个实施例中，该系统可以部署在一个计算单元（如电脑或智能手机）上。在另一个实施例中，该系统的各个部分可以分布式地部署在不同的地方，如部分或整个存储器可以远程地云存储的形式部署，或用户界面可以远程地以网页或手机应用的形式部署。

数据采集单元可以进一步实施为包括传感器模块。数据传感器包括摄像头和穿戴式传感器。数据采集子系统采集到的数据传输到数据分析服务器。内存或存储器与处理器进行数据通信，通常包括易失性和非易失性存储器），包括RAM（随机存取存储器），ROM和一个或多个大容量存储设备。

处理器包括数据数据预处理模块，静态数据处理模块，动态数据处理模块和目标事件分析模块。处理器还包括报告生成模块和输入输出接口。内存或存储器包括代码，视频数据，其他传感器数据，先验知识，球定位的机器学习模型，运动员定位的机器学习模型，运动员身份识别的机器学习模型，运动员姿态的机器学习模型，以及其他的机器学习模型。

上述中本发明系统通过处理器执行内存或存储器中的代码来运行。处理器的输入接口读取内存或存储器中的视频或其他传感器数据。当处理器完成对数据的处理，会将处理结果或报告通过输出接口输出给用户界面。

本发明实施例还提供一种基于机器学习的体育数据分析方法，如图7所示。

第一步是部署数据采集器。如上描述，在一个实施例中，数据采集器是多个安装在场边的摄像头，每个摄像头按一定的高度和角度安装在场边，对场上的比赛或训练进行拍摄。多个摄像头可以保证在视频数据采集的过程中，球和每一个球员至少被一个或多个摄像头拍摄到。摄像头可以是单目摄像头，双目摄像头，或红外摄像头。在另一个实施例中，数据采集器是可穿戴式传感器，通过运动员佩戴传感器，运动员的运动信息被收集。在一个实施例中，摄像头和可穿戴式传感器可能被同时使用。

第二步是数据预处理。采集到的数据在这一步被预处理以被接下来的步骤处理。在一个实施例中，采集到的原始视频按一定的帧率，码率以及分辨率分解为视频帧。在另一个实施例中，穿戴式设备采集到的信号被降噪处理和分帧处理。

接下来的步骤是球和球员的检测。在一个实施例中，通过预先训练好机器学习模型将视频帧中球和球员检测出来，训练好的球定位机器学习模型、运动员定位机器学习模型，处理视频帧画面，将画面中球和球员对于的像素点分别标识出来。如果画面中有多个球员，运动员定位机器学习模型会将多个球员检测出来。在一个实施例中，通过多个摄像头来拍摄的比赛或训练，机器学习模型会处理每个摄像头拍摄到的视频画面，将画面中球和球员都检测出来。

接下来是球的三维定位和球员的三维定位。在一个实施例中，多个摄像头拍摄比赛或训练，通过结合在每个摄像头画面中检测到的球或球员的信息，计算球或球员的三维位置。

如图5所示，通过在画面上检测到的球的位置，以及摄像头对与球场的矫正参数，计算出一条穿过球的位置指向球场的三维线。对于任意两个视角的摄像头拍摄的画面，计算出的两条线在三维空间中的交点即是球的三维位置。在该实施例中，在画面中若检测到球的多个可能位置， 通过每一个位置，计算一条三维投影线。对于任意两个视角的摄像头拍摄的画面，计算两个画面的所有可能线对的距离，保留距离最小的线队。在该实施例中，有两个以上的摄像头被部署拍摄比赛或训练，每两个摄像头计算出一个球的三维位置，最后，综合处理这些值得到最后的球的三维位置。综合处理方式包括但不限于计算平均值，中位值，以及去除噪声的方法。

在计算三维位置前， 以比赛场或训练场定义三维坐标系。在一个实施例中，规定足球比赛场的左上角为三维坐标系的原点，计算得到球和球员的三维位置在一个统一的坐标系中。 在另一个实施例中，双目摄像头拍摄比赛或训练，双目摄像头拍摄的视频帧画面已知每一个像素点的深度值。在球和球员在视频帧画面中检测出后，以双目摄像头为坐标原点的球和球员的3位置即可获得。再以视频帧画面中的场地关键点为参照点，将坐标原点用双目摄像头的位置移动规定的场地坐标系的原点，即在场地坐标系中球和球员的3位置可获得。

如图6，另外地，场地首先被定义为一定数量的网格。在每个网格上，用一个概率值表示该网格上出现球员的可能性。当球员站在一个网格上时， 一个立方体来表示该球员。该立方体在一个摄像头视角中表现为一个矩形框。对任意一个网格p上的立方体投影到所有摄像头视角，得到所有视角中的矩形框Ap = (Ap1，Ap2，Ap3,… Apc)，那么这个网格有球员的概率可计算为P(Xp = 1 | Ap)，X p是一个布尔值，指示位置p是否有球员。

在一个实施中，比赛或训练中有多个球员， 每个球员的身份需要识别。在一个实施例中，通过预先训练的运动员身份识别学习模型检测球员的球衣号码和球衣颜色来识别球员的身份。在另一个实施例中，球员的身体特征，如身高，体重和脸部信息，作为输入信息运动员身份识别学习模型。

使用运动员姿态机器学习模型，使球员的身体关键点被检测和识别。如图8所示，在一个实施例中，从视频帧画面中检测出来的球员画面部分，输入到另一个训练好的机器学习模型来识别球员身体的关键点。预先定义好的身体关键点可能为25个，包括5个躯干关键点，4个 面部关键点，2个左手关键点， 2个右手关键点， 6个左腿关键点，以及6个右腿关键点； 预先定义的身体关键点可能多于或少于25个。在一个实施例中，在一些画面中检测到的球员的所有关键点都被检测并识别到；在另一些画面中，由于球员部分身体被自身或其他球员遮挡，该球员身体的关键点被部分检测和识别。在另一个实施例中， 多个摄像头拍摄比赛或训练， 一个球员在多个摄像头拍摄的视频帧中被检测到，该球员的身体关键点在多个摄像头视频帧中被完全或部分检测到，这些关键点被整合得到该球员的一套关键点。

对球、球员和球员的姿态分别进行三维追踪。在一个实施例中，之前步骤检测出来的球的三维位置在时间序列上关联起来，得到球的轨迹。在另一个实施例中，关联起来的球的三维位置可能被数据处理算法如卡曼滤波或随机采样一致算法，来去除一些错误的球三维位置，以及补上一些在之前步骤中漏检球的三维位置。

在“球员的三维跟踪”这一步，在一个实施例中，之前步骤检测出来的球员的三维位置在时间序列上关联起来，得到球员的轨迹；关联起来的球员的三维位置可能被数据处理算法如卡曼滤波或随机采样一致算法，来去除一些错误的球员三维位置，以及补上一些漏掉的球员的位置。在另一个实施例中，比赛或训练中有多个球员，对于每个球员，将其在之前步骤检测出来的球员的三维位置在时间序列上关联起来，得到该球员的轨迹；关联起来的多个球员的轨迹可能被数据处理算法处理，来去除一些错误的球员三维位置或身份识别，以及补上一些在之前步骤中漏检的球员三维位置或身份识别。

在“球员姿态三维追踪”这一步，在一个实施例中，对于每一个球员，之前步骤检测出来的该球员的每个身体关键点三维位置在时间序列上关联起来，得到球员姿态三维追踪。在另一个实施例中，关联起来的该球员的身体关键点三维位置可能被数据处理算法如卡曼滤波或随机采样一致算法，来去除一些错误的关键点三维位置，以及补上一些之前步骤中漏检关键点的三维位置。

接下来进行目标事件分析，球，球员以及球员姿态的三维追踪被整合处理，并结合对比赛或训练的“先验知识”，进行事件分析。在一个实施例中，“先验知识”包括但不限于比赛或训练的场地条件，参与人员情况，或规则；场地条件包括但不限于如足球或篮球场大小，关键点线（禁区线，罚球线，三分线，罚球点）的位置，篮筐，篮板或球门的位置大小等；参与人员情况包括但不限于如比赛或训练的队的数量，人数，球衣号码以及颜色等；比赛规则等；规则包括但不限于如比赛或训练的开始结束时间，比赛或训练的重置规则（如进球后如何重新开始比赛，球出界后如何重新开始比赛等）。在另一个实施列中，“先验知识”还包括目标事件的设定，可能的目标事件包括但不限于每个球员的跑动距离，跑到速度，传球次数，射门次数，命中次数，投篮起跳高度，投篮出手角度，投篮篮球弧线等等。

在一个实施例中，利用基于统计和经验（Heuristic）的算法对球，球员以及球员姿态的三维追踪进行处理，从而得到目标事件的分析。例如，在篮球投篮训练中，算法设置为，当球员站在三分线左右，球员持球举过头顶，球员起跳，球飞向篮筐，判断为一个投篮事件发生。在另一实施例中，通过球，球员以及球员姿态的三维追踪作为训练输入，目标事件作为训练输出，训练一个机器学习模型，来判断目标事件是否发生。

将目标事件分析的结果生成数据报告。在一个实施例中，报告可能以不同形式呈现，包括但不限于数字，表格或文字的形式，也可能是示意图，处理过的图片或视频的形式。在另一个实施例中，报告可能以不同媒介呈现，包括但不限于文档，网页，或手机应用。

如图9所示，是本发明实施例提供的机器学习训练以及使用流程的示意图。首先目标数据被采集并存储（可以本地或远程存储）。采集到的数据需要能够代表实际应用中会遇到的真实数据，需要包含不同案例和极端案例。一般情况，采集到的数据被分为训练数据，校验数据和测试数据。接下来，根据不同应用，对这些数据打上标签，即标注机器学习模型需要学习的真实结果，如图10所示。

标注好的训练数据用来训练机器学习模型。在本发明的实施例中，机器学习模型可能是一个分类模型。例如，训练数据是视频帧，训练的分类模型对视频帧的每一个像素进行分类，判断是否为球或球员；训练数据是球员分割图片，训练的分类模型对球员分割图片的每一个像素进行分类，判读是否为球衣或球衣号码，并对球衣颜色和球衣号码进行分类；训练数据是球员分割图片，训练的分类模型对球员分割图片的每一个像素进行分类，判断是否为球员身体的关键点，并对关键点进行分类；训练数据是球，球员以及球员姿态的三维追踪数据，训练的分类模型对预先定义的事件如运球，投球，传球，射门等，进行分类。

可以通过利用机器学习算法（例如支持向量机或随机森林树）来训练模型。例如，在该实施例采用深度神经网络，该深度神经网络由一个输入层，一个输出层以及它们之间的层组成。每层由人工神经元组成。人工神经元是一种数学函数，它接收一个或多个输入并将它们相加以产生输出。通常，每个输入都经过单独加权，并且总和通过非线性函数传递。随着神经网络的学习，将根据模型产生的误差（网络输出和注释之间的差）来调整模型的权重，直到不再减小误差为止。

在该实施例中， 机器学习模型的训练过程中， 训练数据用来训练模型，校验数据由来调整模型。在训练过程结束后，通过将训练好的模型运用在测试数据上来评估该模型是否达到满意标准。满意标准通常预先设定为一个阈值，例如准确度98%，如果训练的球检测机器学习能去以98%的准确度将测试数据中球检测出来，该模型达到满意标准，否则该模型没有达到满意标准。 如果训练的模型没有达到满意标准，需要返回重新训练，通常会通过增加训练数据或调整 训练算法来重新训练模型。 如果训练的模型带到满意标准，该模型被部署，被用来使用处理新的数据，在模型使用过程中，模型的表现也会被检测和评估，如果满意，则输出模型的判断结果；如果不满意，则可能会通常会通过增加训练数据或调整训练算法来重新训练模型。

如图10、9所示，如图10（a）所示是球的位置检测模型。视频帧和标注的视频帧中球的位置作为训练数据训练模型。训练的模型处理新的视频帧，输出结果是视频帧中球的位置。如图10（b）所示是球员的位置检测模型。视频帧和标注的视频帧中球员的位置作为训练数据训练模型。训练的模型处理新的视频帧，输出结果是视频帧中球员的位置。如图10（c）所示是球衣颜色和球衣号码检测模型。球员分割图片和标注的球衣颜色以及球衣号码作为训练数据训练模型。训练的模型处理新的球员分割图片，输出结果是球员分割图片中球衣颜色以及球衣号码。如图11（a）所示是球员身体关键点检测模型。球员分割图片和标注的球员身体关键点作为训练数据训练模型。训练的模型处理新的球员分割图片，输出结果是该球员身体的关键点。如图11（b）所示是事件检测模型。球，球员以及球员姿态的三维追踪数据和标注的事件作为训练数据训练模型。训练的模型处理新的球，球员以及球员姿态的三维追踪数据，输出结果是检测到的事件。

如图12所示，物体检测是将图像是一个物体或多个物体的边框检测出来，或者是将一个物体或多个物体的所有像素检测出来。使用深度学习模型进行物体检测，最简单的一个做法是，首先训练好一个分类神经网络，来判断输入图像是否为该物体，然后以目标图像中的每一个像素为中心在图像中取若干个不同大小和不同宽高比例的区域，最后用训练好的模型对每一个区域进行判断是否为该物体。这种方法的问题在于，需要提取和分类巨大数量的区域，导致系统无法实施。

在本发明实施例中，采取一种方法将可能包含目标物体的区域先选取出来，然后对这些兴趣区域进行判断。首先，输入的图像，通过一个卷积神经网络，生产一个特征图。卷积是一个使用一个卷积核（n*m的方格，每一个方格有一个值），对输入图像的像素值进行乘法或其他运算的过程。卷积运算可以将图像中特征呈现出来，如边缘，形状等。生成的特征图再通过一个兴趣区域网络， 将特征图中包括目标物体可能性高的区域提取出来，生成兴趣区域图。最后，兴趣区域图中的每一个兴趣区域通过一个分类神经网络，来判断该区域是否为该目标物体。在训练这个网络系统时，以球检测为例，首先在采集的训练数据上标注球的边框，未标注的原始数据中作为训练输入数据，其对应的标注的数据作为训练的输出数据，通过不断地调整三个模型的参数，来降低三个神经网络的损失函数的值，来得到三个网络的参数。

如图12，在本实施例中，使用该方法进行球检测。值得注意的是，在该发明中，球员的检测，球衣号码以及球员身体关键点的检测都属于物体检测，都可使用上述方法训练相应的深度学习模型进行检测。

图13是本发明实施例中多球员跟踪算法的示意图。在该实施例中，比赛或训练中有多个球员。在检测到球员的三维位置以及球员的身份信息后，该算法将每个球员在时间序列上的三维位置关联起来，并能来去除一些错误的球员三维位置或身份识别，以及补上一些在之前步骤中漏检的球员三维位置或身份识别。在该实施例中，如图15所示，t代表时间点，i代表一个球员的三维位置，一个球员在t时刻在位置i上，在t+1时刻时，该球员可能出现的位置是j， N（i）是所有j可能出现的值。从1到F时刻，有M个球员，即有M条轨迹。在时刻1前设置一个虚拟初始位置Vsource，在时刻F后设置一个虚拟结束位置Vsink，要寻找从虚拟开始位置到虚拟结束位置的M条最优轨迹。轨迹的成本函数取决于每一个i从t时刻到t+1时刻的位置变化以及球员身份的变化。

图14是该发明实施例中使用到的比赛报告和训练报告。以篮球比赛为例，比赛报告将比赛球队和球员的统计数据如得分，篮板，抢断，得分率等等呈现出来，报告呈现的数据还包括球员和球队的运动数据如无球跑动速度，持球跑动速度，跑动区间等等，报告呈现的数据还包括每一个事件（如投篮事件，上篮事件，抢断事件）的具体数据，如投篮的位置，投篮时的防守球员等等。如图14所示，是一个比赛报告页，报告页上端是球队的比分，两端是两队每个球员的投篮命中和出手比，中间是两队所有球员的投篮位置，原点代表命中，叉号代表没有命中。

该发明实施例也产生训练报告。以投篮训练为例，训练报告将运动员的每一个投篮动作的关键数据呈现出来，如运动员的起跳高度，离篮筐的距离，出手角度，出手速度等。如图15所示，是一个投篮训练报告，训练中的两个球员的身体肢体关键点被识别出来，一个运动员的投篮动作被检测到，投篮事件的动作的关键信息被分析呈现出来：起跳高度（20cm），离篮筐的水平距离（488cm），出手角度(55°)和出手速度（7.6m/s）等等。此外，在该发明的另一个实施中，通过该系统采集大量专业球员的投篮训练，将分析得到的投篮动作数据作为标准数据库。然后，在对其他球员训练时，将其投篮动作数据与标准数据库做对比，得到这些具体数据项的差距，来帮助教练和球员发现问题，进行有针对性的训练。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于机器学习的体育数据分析系统，其特征在于，包括数据采集单元、预处理单元、静态数据分析单元、动态数据分析单元、目标事件分析单元以及报告生成单元；

所述数据采集单元包括部署于现场的数据采集器，用于获取比赛或训练的原始数据；

所述预处理单元用于对所述原始数据进行预处理；

所述静态数据分析单元用于对当前时刻的数据进行分析；

所述动态数据分析单元用于将离散的所述数据分析结果在时域上进行整合分析，得到连续的数据分析结果，所述连续的数据分析结果包括运动员的三维轨迹以及姿态轨迹；

所述目标事件分析单元用于分析得到运动员在比赛或训练中的目标事件；

所述报告生成单元获取所述目标事件的数据得出数据报告。

2.根据权利要求1所述的基于机器学习的体育数据分析系统，其特征在于，所述数据采集单元所述数据采集器包括摄像头和/或穿戴式传感器。

3.根据权利要求2所述的基于机器学习的体育数据分析系统，其特征在于，所述预处理单元用于将采集到的原始视频按设定帧率、码率以及分辨率分解为视频帧和/或将所述穿戴式设备采集到的信号进行降噪处理和分帧处理。

4.根据权利要求3所述的基于机器学习的体育数据分析系统，其特征在于，所述静态数据分析单元用于将当前数据帧上的特征抽取出来并关联到三维坐标系统，所述特征包括球以及球员的位置、球员的身份以及姿态关键节点。

5.根据权利要求4所述的基于机器学习的体育数据分析系统，其特征在于，所述数据报告包括统计数据、运动员姿势评估。

6.一种基于机器学习的体育数据分析方法，其特征在于，包括以下步骤：

步骤1：获取部署于现场的数据采集器关于比赛或训练的原始数据；

步骤2：将所述原始数据按设定帧率，码率以及分辨率分解为视频帧；

步骤3：将当前数据帧上的特征抽取出来并关联到三维坐标系统，所述特征包括球以及球员的位置、球员的身份以及姿态关键节点；

步骤4：将所述特征在时域上进行关联；

步骤5：根据先验知识对运动员在比赛或训练中进行目标事件分析；

步骤6：将所述目标事件分析的结果生成数据报告。

7.根据权利要求6所述的基于机器学习的体育数据分析方法，其特征在于，

所述步骤3使用训练好的球定位机器学习模型、运动员定位机器学习模型将球和球员的位置进行检测，使用运动员身份识别学习模型、运动员姿态机器学习模型分别识别运动员身份和姿态关键节点。

8.根据权利要求7所述的基于机器学习的体育数据分析方法，其特征在于，所述姿态关键节点包括预先定义的躯干关键点、面部关键点、手关键点、腿关键点。

9.根据权利要求8所述的基于机器学习的体育数据分析方法，其特征在于，所述关联到三维坐标系统的步骤还包括使用数据处理算法剔除错误的三维位置。

10.根据权利要求9所述的基于机器学习的体育数据分析方法，其特征在于，所述先验知识包括比赛或训练的场地条件、参与人员情况、规则、目标事件的设定中的至少其一。

Images