CN110298231A - 一种用于篮球比赛视频进球判定的方法及系统 - Google Patents

Abstract

本发明一种用于篮球比赛视频进球判定的方法，包括以下步骤：获取比赛图像及其标注信息，并按照预设的比例将比赛图像及其标注信息划分为图像训练集、图像验证集和图像测试集；利用图像训练集对检测模型进行训练，获得若干个检测中间模型，利用图像验证集和图像测试集对各检测中间模型进行验证测试，获取最优的检测中间模型作为检测模型输出；获取待判定视频的视频帧，并将视频帧输入检测模型，获得与视频帧相对应的篮球和篮筐的位置、大小及类别；根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段。本发明能够自动检测待判定视频中的投篮时刻，并生成对应的投篮片段，便于用户根据实际需要选择使用投篮片段。

Description

一种用于篮球比赛视频进球判定的方法及系统

技术领域

本发明涉及视频检测领域，具体涉及一种用于篮球比赛视频进球判定的方法及系统。

背景技术

现今对篮球比赛视频中进球进行判定的方法如下：

人工判断：通过人来全程观看篮球比赛视频，在观看过程中人工判断是否进球，利用该方法进行判定的准确率最高，但是具有工作效率过低、时间成本太高，尤其是现在各级别篮球比赛每天就有几十到几百场，无法实现全人工筛选所有视频中的进球。

《基于图像处理的篮球进球判定方法及系统》(CN107303428A)中提出检测各图像帧中篮球的空间位置，且根据各个图像帧中篮球的空间位置的连线确定篮球的运动轨迹，根据篮球的运动轨迹是否经过篮筐的空间位置判断球员投篮是否进球的方法。但该方法存在要求摄像机镜头固定位置不动，然后才能利用篮球的运动轨迹是否经过篮筐来判断是否进球的缺陷；而且往往由于视角的问题导致出现误判，比如三不沾投篮，虽然篮球经过了篮筐区域，但是并未进球，而该方法仅仅依靠篮球的运动轨迹，往往会将该类投篮误判为进球。

《一种基于视频的篮球进球检测方法和装置》(CN105701460B)中提出构建基于卷积神经网络和递归神经网络的递归卷积神经网络模型，并利用具有标签的篮球视频的图片库样本集对递归卷积神经网络模型进行训练；从而利用训练好的递归卷积神经网络模型处理待检测篮球视频的图像，获得输出向量；根据该输出向量来判断当前篮球视频中是否出现了进球。该方法用到了递归卷积神经网络，而该类网络往往由于梯度消失问题而难于训练；同时该方法只能对单个视频片段进行处理，判断该视频片段是否是进球片段，而不能处理实时视频流。

综上，需要对现有技术做进一步改进。

发明内容

本发明针对现有技术中的缺点，提供了一种用于篮球比赛视频进球判定的方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种用于篮球比赛视频进球判定的方法，包括以下步骤：

获取比赛图像及其标注信息，并按照预设的比例将比赛图像及其标注信息划分为图像训练集、图像验证集和图像测试集，所述标注信息包括篮球和篮筐的位置、大小及类别；

构建检测模型，利用图像训练集对检测模型进行训练，获得若干个检测中间模型，利用图像验证集和图像测试集对各检测中间模型进行验证测试，根据验证测试结果获取最优的检测中间模型作为检测模型输出；

获取待判定视频的视频帧，并将视频帧输入检测模型，获得与所述视频帧相对应的篮球和篮筐的位置、大小及类别；

根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段。

作为一种用于篮球比赛视频进球判定的方法的改进，所述根据篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段的方法为：

从第一张视频帧起，依次对各视频帧按照以下步骤进行处理：

获取视频帧中篮球与篮筐的相对位置关系；

当篮球与篮筐的相对位置的变化趋势由篮球在篮筐的上方位置变更为篮球在篮筐下方位置，且该变化趋势的时长T≤时间阈值Te时，取篮球在篮筐下方位置的视频帧所对应的时间点Td为投篮时刻；

截取投篮时刻前后固定时间长度的视频片段，获得投篮片段。

作为一种用于篮球比赛视频进球判定的方法的进一步改进，所述获取视频帧中篮球与篮筐的相对位置关系的方法为：

根据所述篮球和篮筐的位置、大小及类别判断视频帧中是否同时出现篮球和篮筐，判断结果为未同时出现篮球和篮筐时，篮球与篮筐的相对位置关系为空；

当视频帧中同时出现篮球和篮筐时，根据篮筐的位置和篮筐大小获取篮筐范围，判断篮球位置是否位于篮筐范围，并根据篮球位置和篮筐位置计算篮球到篮筐的距离L；

当篮球位置位于篮筐范围，且篮球到篮筐的距离L小于预设的距离Le时，根据篮球位置和篮筐位置获取篮球与篮筐的相对位置关系，否则，篮球与篮筐的相对位置关系为空。

作为一种用于篮球比赛视频进球判定的方法的进一步改进，还包括判断所述投篮片段进球数据的方法，具体步骤为：

获取样本视频片段及其进球数据，并按照预设的比例将样本视频片段及其进球数据划分为视频训练集、视频验证集和视频测试集；

构建得分模型，利用视频训练集训练得分模型，获得若干个得分中间模型，利用视频验证集和视频测试集对各得分中间模型进行验证测试，根据验证测试结果获取最优的得分中间模型作为得分模型输出；

将所述投篮片段输入得分模型，获得对应进球数据；

根据进球数据从投篮片段中提取进球片段；

所述进球数据包括不进球、进球两种情况，或不进球、1分球、2分球、3分球四种情况。

作为一种用于篮球比赛视频进球判定的方法的进一步改进，所述获取样本视频片段的方法为：

采集篮球比赛视频，处理获取其篮球比赛视频帧，将所得视频帧输入检测模型中获得与所述篮球比赛视频帧相对应的篮球和篮筐的位置、大小及类别；

根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段作为样本视频片段。

为解决上述技术问题，本发明还提出一种用于篮球比赛视频进球判定的系统，包括：

比赛图像采集模块，用于获取比赛图像及其标注信息，并按照预设的比例将比赛图像及其标注信息划分为图像训练集、图像验证集和图像测试集，所述标注信息包括篮球和篮筐的位置、大小及类别；

检测模型构建模块，用于构建检测模型，利用图像训练集对检测模型进行训练，获得若干个检测中间模型，利用图像验证集和图像测试集对各检测中间模型进行验证测试，根据验证测试结果获取最优的检测中间模型作为检测模型输出；

检测结果输出模块，用于获取待判定视频的视频帧，并将视频帧输入检测模型，获得与所述视频帧相对应的篮球和篮筐的位置、大小及类别；

投篮片段生成模块，用于根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段。

作为一种用于篮球比赛视频进球判定的系统的改进，所述投篮片段生成模块包括：

相对位置关系获取单元，用于获取各视频帧中篮球与篮筐的相对位置关系；

投篮时刻判定单元，用于根据篮球与篮筐的相对位置获取篮球在篮筐的上方位置变更为篮球在篮筐下方位置的变化趋势，并用于将所述变化趋势的时长T与时间阈值Te进行比较，根据比较结果取篮球在篮筐下方位置的视频帧所对应的时间点Td为投篮时刻；

投篮片段截取单元，用于截取投篮时刻前后固定时间长度的视频片段，获得投篮片段。

作为一种用于篮球比赛视频进球判定的系统的进一步改进，所述投篮时刻判定单元被配置为：

根据所述篮球和篮筐的位置、大小及类别判断视频帧中是否同时出现篮球和篮筐，判断结果为未同时出现篮球和篮筐时，篮球与篮筐的相对位置关系为空；

当视频帧中同时出现篮球和篮筐时，根据篮筐的位置和篮筐大小获取篮筐范围，判断篮球位置是否位于篮筐范围，并根据篮球位置和篮筐位置计算篮球到篮筐的距离L；

当篮球位置位于篮筐范围，且篮球到篮筐的距离L小于预设的距离Le时，根据篮球位置和篮筐位置获取篮球与篮筐的相对位置关系，否则，篮球与篮筐的相对位置关系为空。

作为一种用于篮球比赛视频进球判定的系统的进一步改进，还包括进球数据判断模块，用于判断所述投篮片段进球数据；

所述进球数据判断模块包括比赛视频获取单元、得分模型构建单元、进球数据输出单元：

比赛视频获取单元，用于获取样本视频片段及其进球数据，并按照预设的比例将样本视频片段及其进球数据划分为视频训练集、视频验证集和视频测试集；

得分模型构建单元，用于构建得分模型，利用视频训练集训练得分模型，获得若干个得分中间模型，利用视频验证集和视频测试集对各得分中间模型进行验证测试，根据验证测试结果获取最优的得分中间模型作为得分模型输出；将所述投篮片段输入得分模型，获得对应进球数据；

进球数据输出单元，用于将所述投篮片段输入得分模型，获得对应进球数据；

进球片段提取单元，用于根据进球数据从投篮片段中提取进球片段；

所述进球数据包括不进球、进球两种情况，或不进球、1分球、2分球、3分球四种情况。

作为一种用于篮球比赛视频进球判定的系统的进一步改进

比赛视频获取单元被配置为：

采集篮球比赛视频，处理获取其篮球比赛视频帧，将所得视频帧输入检测模型中获得与所述篮球比赛视频帧相对应的篮球和篮筐的位置、大小及类别；

根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段作为样本视频片段。

本发明由于采用了以上技术方案，具有显著的技术效果：

1、本发明能够自动检测待判定视频中的投篮时刻，并生成对应的投篮片段，便于用户对投篮片段根据实际需要进行选择使用。

2、本发明能够对所得投篮判断进一步判断进球数据，从而有效降低由于视角的问题导致的误判，提高准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种用于篮球比赛视频进球判定的方法的工作流程示意图；

图2是图1中步骤S400的工作流程示意图；

图3是本发明利用得分模型判断投篮片段进球数据的工作流程示意图；

图4是本发明一种用于篮球比赛视频进球判定的系统的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、一种用于篮球比赛视频进球判定的方法，如图1至3所示，包括以下步骤：

S1、获取待判定视频中所有投篮时刻，根据投篮时刻获取相应的投篮片段。

首先基于深度学习算法训练获得检测模型，利用该检测模型对待判定视频中各视频帧进行检测，输出各视频帧中篮球和篮筐的位置、大小及类别(篮球/篮筐)，即，视频帧中篮球、篮筐的检测框信息。根据各视频帧中篮球和篮筐的位置、大小及类别(篮球/篮筐)信息判断是否存在投篮，当存在时，该视频帧对应的时刻即为投篮时刻，截取相应视频帧前后固定时间长度的视频片段，获得投篮片段。

具体步骤为：

1.1、构建检测模型：

获取比赛图像，对各比赛图像中篮球和篮筐的位置、大小及类别通过人工的方式进行标注，获得比赛图像及其标注信息，即，标注信息包括篮球和篮筐的位置、大小及类别(篮球/篮筐)。本实施例中将比赛图像及其标注信息按照94:3:3的比例，随机分为图像训练集、图像验证集和图像测试集，图像验证集和图像测试集中的数据的比例为1:1。

篮球比赛的图片的获取方式为：采集各类篮球比赛视频，提取相应的视频帧；采集比赛图像，如利用爬虫爬取篮球比赛相关图片；将所得视频帧和/或篮球比赛相关图片通过人工的方式进行过滤，将所有非比赛片段的图片删除，获得比赛图像。

本实施例中，采集各类篮球比赛视频，提取的视频帧并过滤获得比赛图像。

构建检测模型，利用上述图像训练集训练检测模型，获得多个检测中间模型，利用图像验证集对各检测中间模型进行验证，根据验证结果输出最优的检测中间模型；再利用图像测试集对该检测中间模型测试(防止过拟合)，当测试结果与验证结果相匹配(即测试结果与验证结果的差小于预设的阈值)时将该检测中间模型作为检测模型输出。

可采用YOLOv1、YOLOv2、YOLOv3、SSD、DSSD、R-RCN、FPN FRCN、RetinaNet-50-500、RetinaNet-101-500、RetinaNet-101-800、RCNN、Fast RCNN、Faster RCNN、Mask RCNN等目标检测算法构建检测模型。

注：上述各目标检测算法的名称均为相关领域的专业名词，故无需给出相应的中文解释。

本实施例中，基于对时间效率的考虑，采用one-stage的YOLOv3算法建立检测模型，利用图像训练集训练该检测模型，在图像测试集上对训练获得的检测模型进行测试的检测准确率和召回率均在95％以上。

1.2、判断是否投篮，根据判断结果生成对应的投篮片段：

从第一张视频帧(k＝1)起，依次对各视频帧按照以下步骤进行处理：

1.2.1、获取第K张视频帧中篮球与篮筐的相对位置关系。

获取待判定视频的视频帧，利用步骤1.1训练获得的检测模型对第K张视频帧进行处理，获取第K张视频帧中篮球和篮筐的位置、大小及类别，K为正整数；

获取第K张视频帧篮球与篮筐的相对位置关系后继续获取第K+1张视频帧中篮球与篮筐的相对位置关系。获取第K张视频帧的篮球与篮筐的相对位置关系的具体方法为：

当第K张视频帧中未同时出现篮球和篮筐时，篮球与篮筐的相对位置关系为空。

当第K张视频帧中同时出现篮球和篮筐时，按照以下方法判断该视频帧的篮球与篮筐的相对位置关系：

根据篮筐的位置和篮筐大小设置篮筐范围，如设置篮筐宽为w时，设置以篮筐中心为原点，取篮筐范围为－2w到2w。

根据篮球位置和篮筐位置计算篮球到篮筐的距离L(利用现有技术欧氏距离进行计算，故无需详细告知)。

当篮球位置落入篮筐范围，且篮球到篮筐的距离L小于预设的距离Le时，根据篮球位置和篮筐位置判断篮球在篮筐的上方位置或下方位置，即，篮球与篮筐的相对位置关系，否则，篮球与篮筐的相对位置关系为空。

1.2.2、根据步骤1.2.1所得各篮球与篮筐的相对位置的变化趋势进行判断：

当检测到第k张视频帧时，篮球与篮筐的相对位置的变化趋势由篮球在篮筐的上方位置变更为篮球在篮筐下方位置(第k张视频帧)，提取该变化趋势的时长T。

比较时长T与预设的时间阈值Te，当时间差T≤时间阈值Te时，判定投篮，否则为未投篮。当判断结果为投篮时，取第k张视频帧对应的时间点Td为投篮时刻。

本实施例中，根据各视频帧中篮球与篮筐的相对位置关系判断篮球是否在Td秒内先后经过篮筐的上方位置和下方位置，实现投篮情况的判断。

注：Te为预设值，相关领域的技术人员可根据实际需要自行设定其取值，本实施例中设定Te为2s。

1.2.3、根据步骤1.2.1所得投篮时刻生成投篮片段：

截取投篮时刻前后固定时间长度的视频片段，获得投篮片段。上述时间长度可根据实际情况自行限定，本实施例中截取投篮时刻前3秒，后2秒视频片段作为投篮片段。

由于基于YOLOV3的训练获得的检测模型的处理效率和准确率非常高，因而可以实现实时的对待判定视频进行判断和截取，并且因为该检测模型对于图片的光照、角度、色彩、遮挡、场景等差异不敏感，均可实现有效检测，因此本实施例提供的检测模型可以实时处理任意场景、任意角度的篮球比赛视频，无需对摄像机、场景等进行特定的设置，能够方便、高效的进行投篮片段的判断和截取。本实施例中按照步骤1.2截取投篮片段的方法可以达到100％的召回率。

S2、判断投篮片段进球数据。

首先基于深度学习算法训练获得得分模型，利用该得分模型对步骤1.2.3生成的投篮片段进行判断，输出各投篮片段对应的得分信息。

具体步骤为：

2.1、构建得分模型：

将步骤S1中所采集的各类篮球比赛视频作为待判定视频，按照步骤1.2进行处理，即，处理获取其篮球比赛视频帧，将所得视频帧输入检测模型中获得与篮球比赛视频帧相对应的篮球和篮筐的位置、大小及类别；根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段作为样本视频片段进行保存。

人工标注所有样本投篮片段，标注内容为该视频片段进球数据，进球数据包括不进球、进球，获得样本投篮片段和与其一一对应的进球数据。

本实施例中样本投篮片段及其进球数据按照92:4:4的比例，随机分为视频训练集、视频验证集和视频测试集，视频验证集和视频测试集中数据的比例为1:1。

基于卷积神经网络构建得分模型，利用上述视频训练集中的样本投篮片段及其进球数据训练得分模型，获得多个得分中间模型；利用视频验证集对各得分中间模型进行验证，提取验证结果最优的得分中间模型；利用视频测试集对该得分中间模型进行测试(防止过拟合)，当测试结果与验证结果相匹配(测试结果与验证结果的差小于预设的阈值)时输出该得分中间模型作为得分模型。

例如可采用基于2D的只对空间信息进行建模的卷积网络如AlexNet、VGG-16、VGG-19、GoogleNet、ResNet、DenseNet等；基于3D卷积的C3D、I3D；对全局信息进行建模的Non-Local Network；基于two-stream的双流网络TSN、SlowFast Network等卷积神经网络构建得分模型。

注：上述神经网络的名称均为相关领域的专业名词，故无需给出相应的中文解释。

本实施例中采用two-stream的双流网络TSN(Temporal Segment Networks时域分段网络)构建得分模型。

注：双流网络TSN包含两路信息，分别是基于RGB的对空间信息进行建模的网络、基于光流或RGBDiff(RDGDiff是连续两帧RGB值的差)的对时间信息进行建模的网络，本实施例基于时间效率的考虑，在对时间信息进行建模的网络中使用了RGBDiff对网络进行训练。

由于本实施例利用双流网络TSN基于RGB对空间信息进行建模的网络和基于RGBDiff对时间信息进行建模的网络进行整合，从而可以对篮球比赛视频(样本投篮片段)的时空特征进行精准高效的建模，因而所训练获得的得分模型的准确率和召回率均较高，可以极大的降低误判率，且由于得分模型只需要对于步骤1.2.3中所截取的投篮片段(5s)进行处理，约1.5s即可完成处理，故仍然能够实现实时性能，从而实现实时对投篮片段得分判断。

本实施例训练获得的得分模型的进球、不进球测试结果的准确率均在98％以上。

2.2、判断投篮片段进球的得分情况：

依次将各投篮片段(步骤1.2.3所得投篮片段)输入步骤2.1所得得分模型中，得分模型输出对应投篮片段的进球数据(进球/不进球)。

通过得分模型的进一步判断，能够有效避免利用篮球运动轨迹进行投篮情况判断时产生的误判。

提取进球数据为进球时对应的投篮片段作为进球片段。

实施例2、将实施例1步骤S2中进球数据由“进球、不进球”更改为“0(即不进球)、1分球(罚球)、2分球、3分球”，即将实施例1判断进球/不进球的二分类的得分模型变更为判断不进球、1分球(罚球)、2分球、3分球的四分类的得分模型，其余均等同于实施例1。

构建得分模型的具体为：

人工标注所有样本投篮片段，标注内容为该视频片段进球数据，进球数据包括0(即不进球)、1分球(罚球)、2分球、3分球，获得样本投篮片段及其进球数据。并将样本投篮片段及其进球数据按照实施例1随机分为检测视频训练集、视频验证集和视频测试集。

采用two-stream的双流网络TSN(Temporal Segment Networks，时域分段网络)建立得分模型，按照实施例1中的步骤利用视频训练集训练得分模型，并利用视频测试集测试训练后的得分模型，输出测试结果最优的得分模型。

本实施例训练获得的得分模型的测试结果为：未进球(0)准确率为93％，1分球的准确率为96％，2分球的准确率为92％，3分球的准确率为85％(处理用时与实施例1无明显区别)。

依次将各投篮片段输入上述得分模型中，得分模型输出对应投篮片段的进球数据(不进球、1分球、2分球、3分球)。

提取进球数据为1分球、2分球、3分球对应的投篮片段作为进球片段，此时可根据进球数据对进球片段归类。

综上，虽然本实施例得分判断准确率与实施例1相比较低，但其最低(3分球的准确率)仍达到85％，满足得分判断的需求，且本实施例所提供的方案能够为投篮片段进行打分，弥补现有技术仅能判断进球情况的缺陷。在实际使用中，可根据实际需要选用上述实施例所提出的两种方案，从而满足用户多种需要。

实施例3、一种用于篮球比赛视频进球判定的系统，如图4所示包括：

比赛图像采集模块1，用于获取比赛图像及其标注信息，并按照预设的比例将比赛图像及其标注信息划分为图像训练集、图像验证集和图像测试集，标注信息包括篮球和篮筐的位置、大小及类别；

检测模型构建模块2，用于构建检测模型，利用图像训练集对检测模型进行训练，获得若干个检测中间模型，利用图像验证集和图像测试集对各检测中间模型进行验证测试，根据验证测试结果获取最优的检测中间模型作为检测模型输出。

检测结果输出模块3，用于获取待判定视频的视频帧，并将视频帧输入检测模型，获得与视频帧相对应的篮球和篮筐的位置、大小及类别；

投篮片段生成模块4，用于根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段。

投篮片段生成模块4包括：

相对位置关系获取单元，用于获取各视频帧中篮球与篮筐的相对位置关系；

相对位置关系获取单元被配置为：

根据所述篮球和篮筐的位置、大小及类别判断视频帧中是否同时出现篮球和篮筐，判断结果为未同时出现篮球和篮筐时，篮球与篮筐的相对位置关系为空；

当视频帧中同时出现篮球和篮筐时，根据篮筐的位置和篮筐大小获取篮筐范围，判断篮球位置是否位于篮筐范围，并根据篮球位置和篮筐位置计算篮球到篮筐的距离L；

当篮球位置位于篮筐范围，且篮球到篮筐的距离L小于预设的距离Le时，根据篮球位置和篮筐位置获取篮球与篮筐的相对位置关系，否则，篮球与篮筐的相对位置关系为空。

投篮时刻判定单元，用于根据篮球与篮筐的相对位置获取篮球在篮筐的上方位置变更为篮球在篮筐下方位置的变化趋势，并用于将所述变化趋势的时长T与时间阈值Te进行比较，根据比较结果取篮球在篮筐下方位置的视频帧所对应的时间点Td为投篮时刻；

投篮片段截取单元，用于截取投篮时刻前后固定时间长度的视频片段，获得投篮片段。

进球数据判断模块5，用于判断投篮片段进球数据；

进球数据判断模块5包括比赛视频获取单元51、得分模型构建单元52、进球数据输出单元53：

比赛视频获取单元51，用于获取样本视频片段及其进球数据，并按照预设的比例将样本视频片段及其进球数据划分为视频训练集、视频验证集和视频测试集；

得分模型构建单元52，用于构建得分模型，用于构建得分模型，利用视频训练集训练得分模型，获得若干个得分中间模型，利用视频验证集和视频测试集对各得分中间模型进行验证测试，根据验证测试结果获取最优的得分中间模型作为得分模型输出；将所述投篮片段输入得分模型，获得对应进球数据；

进球数据输出单元53，用于将投篮片段输入得分模型，获得对应进球数据；

进球片段提取单元54，用于根据进球数据从投篮片段中提取进球片段；

进球数据包括不进球、进球两种情况，或不进球、1分球、2分球、3分球四种情况。

当进球数据包括不进球、进球两种情况时，构建获得的得分模型为二分类模型，输出对应投篮片段不进球/进球。

当进球数据包括不进球、1分球、2分球、3分球四种情况时，构建获得的得分模型为四分类模型，输出对应投篮片段不进球、1分球、2分球或3分球。

此外，需要说明的是，本说明书中所描述的具体实施例，其零部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种用于篮球比赛视频进球判定的方法，其特征在于，包括以下步骤：

获取比赛图像及其标注信息，并按照预设的比例将比赛图像及其标注信息划分为图像训练集、图像验证集和图像测试集，所述标注信息包括篮球和篮筐的位置、大小及类别；

构建检测模型，利用图像训练集对检测模型进行训练，获得若干个检测中间模型，利用图像验证集和图像测试集对各检测中间模型进行验证测试，根据验证测试结果获取最优的检测中间模型作为检测模型输出；

获取待判定视频的视频帧，并将视频帧输入检测模型，获得与所述视频帧相对应的篮球和篮筐的位置、大小及类别；

根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段。

2.根据权利要求1所述一种用于篮球比赛视频进球判定的方法，其特征在于，所述根据篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段的方法为：

从第一张视频帧起，依次对各视频帧按照以下步骤进行处理：

获取视频帧中篮球与篮筐的相对位置关系；

当篮球与篮筐的相对位置的变化趋势由篮球在篮筐的上方位置变更为篮球在篮筐下方位置，且该变化趋势的时长T≤时间阈值Te时，取篮球在篮筐下方位置的视频帧所对应的时间点Td为投篮时刻；

截取投篮时刻前后固定时间长度的视频片段，获得投篮片段。

3.根据权利要求2所述一种用于篮球比赛视频进球判定的方法，其特征在于，所述获取视频帧中篮球与篮筐的相对位置关系的方法为：

根据所述篮球和篮筐的位置、大小及类别判断视频帧中是否同时出现篮球和篮筐，判断结果为未同时出现篮球和篮筐时，篮球与篮筐的相对位置关系为空；

当视频帧中同时出现篮球和篮筐时，根据篮筐的位置和篮筐大小获取篮筐范围，判断篮球位置是否位于篮筐范围，并根据篮球位置和篮筐位置计算篮球到篮筐的距离L；

当篮球位置位于篮筐范围，且篮球到篮筐的距离L小于预设的距离Le时，根据篮球位置和篮筐位置获取篮球与篮筐的相对位置关系，否则，篮球与篮筐的相对位置关系为空。

4.根据权利要求1至3任一所述一种用于篮球比赛视频进球判定的方法，其特征在于，还包括判断所述投篮片段进球数据的方法，具体步骤为：

获取样本视频片段及其进球数据，并按照预设的比例将样本视频片段及其进球数据划分为视频训练集、视频验证集和视频测试集；

构建得分模型，利用视频训练集训练得分模型，获得若干个得分中间模型，利用视频验证集和视频测试集对各得分中间模型进行验证测试，根据验证测试结果获取最优的得分中间模型作为得分模型输出；

将所述投篮片段输入得分模型，获得对应进球数据；根据进球数据从投篮片段中提取进球片段；

所述进球数据包括不进球、进球两种情况，或不进球、1分球、2分球、3分球四种情况。

5.根据权利要求4所述一种用于篮球比赛视频进球判定的方法，其特征在于，所述获取样本视频片段的方法为：

采集篮球比赛视频，处理获取其篮球比赛视频帧，将所得视频帧输入检测模型中获得与所述篮球比赛视频帧相对应的篮球和篮筐的位置、大小及类别；

根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段作为样本视频片段。

6.一种用于篮球比赛视频进球判定的系统，其特征在于，包括：

比赛图像采集模块，用于获取比赛图像及其标注信息，并按照预设的比例将比赛图像及其标注信息划分为图像训练集、图像验证集和图像测试集，所述标注信息包括篮球和篮筐的位置、大小及类别；

检测模型构建模块，用于构建检测模型，利用图像训练集对检测模型进行训练，获得若干个检测中间模型，利用图像验证集和图像测试集对各检测中间模型进行验证测试，根据验证测试结果获取最优的检测中间模型作为检测模型输出；

检测结果输出模块，用于获取待判定视频的视频帧，并将视频帧输入检测模型，获得与所述视频帧相对应的篮球和篮筐的位置、大小及类别；

投篮片段生成模块，用于根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段。

7.根据权利要求6所述一种用于篮球比赛视频进球判定的系统，其特征在于，所述投篮片段生成模块包括：

相对位置关系获取单元，用于获取各视频帧中篮球与篮筐的相对位置关系；

投篮时刻判定单元，用于根据篮球与篮筐的相对位置获取篮球在篮筐的上方位置变更为篮球在篮筐下方位置的变化趋势，并用于将所述变化趋势的时长T与时间阈值Te进行比较，根据比较结果取篮球在篮筐下方位置的视频帧所对应的时间点Td为投篮时刻；

投篮片段截取单元，用于截取投篮时刻前后固定时间长度的视频片段，获得投篮片段。

8.根据权利要求7所述一种用于篮球比赛视频进球判定的系统，其特征在于，所述投篮时刻判定单元被配置为：

根据所述篮球和篮筐的位置、大小及类别判断视频帧中是否同时出现篮球和篮筐，判断结果为未同时出现篮球和篮筐时，篮球与篮筐的相对位置关系为空；

当视频帧中同时出现篮球和篮筐时，根据篮筐的位置和篮筐大小获取篮筐范围，判断篮球位置是否位于篮筐范围，并根据篮球位置和篮筐位置计算篮球到篮筐的距离L；

当篮球位置位于篮筐范围，且篮球到篮筐的距离L小于预设的距离Le时，根据篮球位置和篮筐位置获取篮球与篮筐的相对位置关系，否则，篮球与篮筐的相对位置关系为空。

9.根据权利要求6至8任一所述一种用于篮球比赛视频进球判定的系统，其特征在于，还包括进球数据判断模块，用于判断所述投篮片段进球数据；

所述进球数据判断模块包括比赛视频获取单元、得分模型构建单元、进球数据输出单元：

比赛视频获取单元，用于获取样本视频片段及其进球数据，并按照预设的比例将样本视频片段及其进球数据划分为视频训练集、视频验证集和视频测试集；

得分模型构建单元，用于构建得分模型，利用视频训练集训练得分模型，获得若干个得分中间模型，利用视频验证集和视频测试集对各得分中间模型进行验证测试，根据验证测试结果获取最优的得分中间模型作为得分模型输出；

进球数据输出单元，用于将所述投篮片段输入得分模型，获得对应进球数据；

进球片段提取单元，用于根据进球数据从投篮片段中提取进球片段；

所述进球数据包括不进球、进球两种情况，或不进球、1分球、2分球、3分球四种情况。

10.根据权利要求9所述一种用于篮球比赛视频进球判定的系统，其特征在于比赛视频获取单元被配置为：

采集篮球比赛视频，处理获取其篮球比赛视频帧，将所得视频帧输入检测模型中获得与所述篮球比赛视频帧相对应的篮球和篮筐的位置、大小及类别；

根据各篮球和篮筐的位置、大小及类别判断投篮时刻，并根据投篮时刻生成相对应的投篮片段作为样本视频片段。