CN110263645B

CN110263645B - 一种用于足球比赛视频中球队攻防判断的方法及系统

Info

Publication number: CN110263645B
Application number: CN201910424749.1A
Authority: CN
Inventors: 陈雷雷; 王灿进; 陆志伟
Original assignee: Xinhua Zhiyun Technology Co ltd
Current assignee: Xinhua Zhiyun Technology Co ltd
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2021-02-19
Anticipated expiration: 2039-05-21
Also published as: CN110263645A

Abstract

本发明一种用于足球比赛视频中球队攻防判断的方法，包括以下步骤：将待判断视频的视频帧输入检测模型进行检测，得到与视频帧相对应的人员检测框数据、足球检测框数据和球门检测框数据；根据人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定视频帧中人员为裁判、守门员或对应球队的球员；提取判定为球员的人员检测框数据，根据判定为球员的人员检测框数据和足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据持球信息进行攻防判断。本发明能够自动检测待判断视频中的进攻球队和防守球队，便于后续的战术分析。

Description

一种用于足球比赛视频中球队攻防判断的方法及系统

技术领域

本发明涉及视频检测领域，具体涉及一种用于足球比赛视频中球队攻防判断的方法及系统。

背景技术

足球比赛战术的分析中，对球队攻防战况的分析是必不可少的一环，但现今通常采用人工观看足球比赛视频，对传球、助攻、进球、射门、犯规、拦截等数据进行统计分析，获取对应球队在该足球比赛视频攻防战况。但同一球队对应的足球比赛视频众多，且不同比赛同一球队也存在不同的战术，如果想针对某一球队攻/防战术进行分析，需要人工观看所有比赛视频，人工筛选出该球队攻/防战术对应的足球比赛视频，该工作量浩大且工作效率低。

故需要对现有技术做进一步改进。

发明内容

本发明针对现有技术中的缺点，提供了一种用于足球比赛视频中球队攻防判断的方法及系统。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种用于足球比赛视频中球队攻防判断的方法，包括以下步骤：

将待判断视频的视频帧输入检测模型进行检测，得到与视频帧相对应的人员检测框数据、足球检测框数据和球门检测框数据；

根据所述人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对所述颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定所述视频帧中人员为裁判、守门员或对应球队的球员；

提取判定为球员的人员检测框数据，根据所述判定为球员的人员检测框数据和所述足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据所述持球信息进行攻防判断。

作为本发明一种用于足球比赛视频中球队攻防判断的方法的改进，所述检测模型的构建方法包括以下步骤：

获取比赛图像，对各比赛图像中人员检测框数据、足球检测框数据和球门检测框数据进行标注，获得样本数据，并按照预设的比例将样本数据划分为训练集、验证集和测试集；

构建检测模型，利用训练集对检测模型进行训练，获得若干个检测中间模型，利用验证集和测试集对各检测中间模型进行验证测试，根据验证测试结果获取最优的检测中间模型作为检测模型输出。

作为本发明一种用于足球比赛视频中球队攻防判断的方法的进一步改进，根据所述人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对所述颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定所述视频帧中人员为裁判、守门员或对应球队的球员；

利用基于深度学习的图像分割算法处理视频帧，并将处理结果与对应视频帧的人员检测框数据通过IOU匹配，获得所述视频帧中匹配成功的人员的掩膜；

对所述掩膜进行剔除噪声处理，获取视频帧中与剔除噪声处理后的掩膜相对应的区域，计算所述区域的颜色直方图，获得对应人员的颜色特征数据；

将颜色特征数据进行聚类，获得第一聚类中心和第二聚类中心，计算获得对应视频帧中各颜色特征数据与第一聚类中心的距离L1，对应视频帧中各颜色特征数据与第二聚类中心的距离L2；

当L1<L2且L1小于等于距离阈值时判定对应人员为第一球队的球员；

当L2<L1且L2小于等于距离阈值时判定对应人员为第二球队的球员；

当L1和L2大于距离阈值时对应人员为待区分人员；

根据待区分人员对应的检测框数据和球门检测框判定距离球门最近的人员作为守门员，剩余的人员判定为裁判。

作为本发明一种用于足球比赛视频中球队攻防判断的方法的进一步改进，根据所述判定为球员的人员检测框数据和所述足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据所述持球信息进行攻防判断的方法为：

根据各球员对应的人员检测框数据和所述足球检测框数据计算各球员与足球的距离，记录与足球最近球员相对应的球队为进攻方；

对所有视频帧对应的进攻方进行统计，获取各球队在所有视频帧中距离足球最近的次数，判定距离足球最近的次数多的一方球队为进攻球队。

作为本发明一种用于足球比赛视频中球队攻防判断的方法的进一步改进，计算所述区域的颜色直方图，获得对应人员的颜色特征数据的方法为：

首先将所述区域由RGB颜色空间转为HSV颜色空间，然后利用以下量化表将HSV颜色空间进行量化，将量化后的HSV颜色分量按照公式G＝9H+3S+V合成为单通道图像，计算所述单通道图像颜色直方图，获得对应人员的特征向量，所述量化表为：

其中，H表示色彩、S表示饱和度和V表示值。

为解决上述技术问题，本发明还提出一种用于足球比赛视频中球队攻防判断的系统，包括：

检测模块，用于将待判断视频的视频帧输入检测模型进行检测，得到与视频帧相对应的人员检测框数据、足球检测框数据和球门检测框数据；

人员区分模块，根据所述人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对所述颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定所述视频帧中人员为裁判、守门员或对应球队的球员；

攻防判断模块，提取判定为球员的人员检测框数据，根据所述判定为球员的人员检测框数据和所述足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据所述持球信息进行攻防判断。

作为本发明一种用于足球比赛视频中球队攻防判断的系统的改进，所述检测模块包括检测模型构建单元和检测结果获取单元；

检测结果获取单元，用于将待判断视频的视频帧输入检测模型，还用于获取检测模型所输出的人员检测框数据、足球检测框数据和球门检测框数据。

所述检测模型构建单元被配置为：

作为本发明一种用于足球比赛视频中球队攻防判断的系统的进一步改进，攻防判断模块被配置为：

作为本发明一种用于足球比赛视频中球队攻防判断的系统的进一步改进，人员区分模块包括掩膜获取单元、颜色特征数据获取单元、聚类分析单元和裁判守门员区分单元：

所述掩膜获取单元，用于利用基于深度学习的图像分割算法处理视频帧，还用于将处理结果与对应视频帧的人员检测框数据通过IOU匹配，获得所述视频帧中匹配成功的人员的掩膜；

所述颜色特征数据获取单元，用于对所述掩膜进行剔除噪声处理，获取视频帧中与剔除噪声处理后的掩膜相对应的区域，还用于计算所述区域的颜色直方图，获得对应人员的颜色特征数据；

所述聚类分析单元，用于将颜色特征数据进行聚类，获得第一聚类中心和第二聚类中心，还用于计算获得对应视频帧中各颜色特征数据与第一聚类中心的距离L1，对应视频帧中各颜色特征数据与第二聚类中心的距离L2；

当L1和L2大于距离阈值时对应人员为待区分人员；

所述裁判守门员区分单元，用于根据待区分人员对应的检测框数据和球门检测框判定距离球门最近的人员作为守门员，剩余的人员判定为裁判。

作为本发明一种用于足球比赛视频中球队攻防判断的系统的进一步改进，所述颜色特征数据获取单元包括区域获取子单元和颜色特征数据获取子单元，所述颜色特征数据获取子单元被配置为：

其中，H表示色彩、S表示饱和度和V表示值。

本发明由于采用了以上技术方案，具有显著的技术效果：

本发明能够自动检测待判断视频中的进攻球队和防守球队，作为后续足球战术分析的技术基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种用于足球比赛视频中球队攻防判断的方法的工作流程示意图；

图2是本发明一种用于足球比赛视频中球队攻防判断的系统的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、一种用于足球比赛视频中球队攻防判断的方法，如图1所示，包括以下步骤：

S100、将待判断视频的所有视频帧输入检测模型，获取与视频帧相对应的人员检测框数据、足球检测框数据和球门检测框数据；

首先利用基于卷积神经网络的物体检测算法训练获得检测模型，利用该检测模型对待判断视频中各视频帧进行检测，输出各视频帧中的检测框数据；

检测框数据包括人员检测框数据、足球检测框数据和球门检测框数据，人员检测框数据包括人员(球员和裁判)的位置和大小，足球检测框数据包括足球的位置和大小，球门检测框数据包括球门的位置和大小；即，本实施例中检测框数据为检测模型输出的各视频帧中人员、足球和球门的检测框。

具体步骤为：

1.1、构建检测模型：

获取比赛图像，对各比赛图像中检测框数据通过人工的方式进行检测框标注，获得样本数据，即，样本数据包括比赛图像及其所对应标注的检测框数据。本实施例中将样本数据按照90:5:5的比例，随机分为训练集、验证集和测试集。

比赛图像的获取方式包括：采集各类足球比赛视频，提取相应的视频帧；采集足球比赛相关的图像，如利用爬虫爬取足球比赛相关图片；将所得视频帧和/或足球比赛相关图片通过人工的方式进行过滤，将所有非比赛片段的图片删除，获得比赛图像。

构建检测模型，利用上述训练集训练检测模型，获得多个检测中间模型，利用验证集对各检测中间模型进行验证，根据验证结果输出最优的检测中间模型；再利用测试集对该检测中间模型测试(防止过拟合)，当测试结果与验证结果相匹配时将该检测中间模型作为检测模型输出。

注：测试结果与验证结果的差小于预设的阈值时判定测试结果与验证结果相匹配，相关领域的技术人员可根据实际需要自行设定该阈值。

可采用YOLOv1、YOLOv2、YOLOv3、SSD、DSSD、R-RCN、FPN FRCN、RetinaNet-50-500、RetinaNet-101-500、RetinaNet-101-800、RCNN、Fast RCNN、Faster RCNN、Mask RCNN等目标检测算法构建检测模型。

注：上述各目标检测算法的名称均为相关领域的专业名词，故无需给出相应的中文解释。

本实施例中，基于对时间效率的考虑，采用one-stage的YOLOv3算法建立检测模型，在测试集上对训练获得的检测模型进行测试的检测准确率和召回率均在95％以上。

1.2、利用检测模型获取待判断视频的各视频帧所相应的检测框数据：

获取待判断视频的视频帧，将各视频帧依次输入步骤1.1所得的检测模型中，检测模型输出各视频帧的人员检测框数据、足球检测框数据和球门检测框数据。

S200、根据人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定视频帧中人员为裁判、守门员或对应球队的球员；

2.1、获得人员的分割掩膜：

利用基于深度学习的图像分割算法依次对各视频帧进行处理，将所得处理结果与对应视频帧的人员检测框数据通过IOU匹配，获得对应视频帧中IOU匹配成功的人员的掩膜。

本实施例中深度学习图像分割算法采用开源Mask R-CNN，无需训练，可以直接输出视频帧中所有人员的分割掩膜及与分割掩膜对应的掩膜检测框数据。

计算所得掩膜检测框数据和上述检测模型输出对应的人员检测框数据的IOU，当IOU大于0.5则判定匹配成功，提取掩膜检测框对应的分割掩膜作为对应人员的掩膜。

2.2、对各视频帧对应的掩膜进行剔除噪声处理；

其具体步骤为：

根据人员检测框数据获得各人员的高度和宽度，即，对应人员检测框的高度和宽度，将人员的高度与高度阈值相比较，宽度与宽度阈值相比较，当高度大于高度阈值或宽度大于宽度阈值，将对应人员的掩膜作为噪声剔除。

注：相关领域的技术人员可以根据实际需要自行设定高度阈值、宽度阈值，本实施例中设定高度阈值为该视频中所有人员高度中位数的1.5倍，宽度阈值为该视频中所有人员宽度中位数的1.5倍。

本实施例通过对噪声的剔除，能够剔除对应视频帧中重叠球员和误检球员。

2.3、计算各视频帧中与剔除噪声后的掩膜相对应的区域(即人员区域)的颜色直方图，获得对应人员的特征向量。

本实施例中所采用的量化表如下所述：

其中，H表示色彩(Hue)、S表示饱和度(Saturation)和V表示值(Value)。

首先将剔除噪声后的掩膜相对应的区域由RGB颜色空间转为HSV颜色空间，然后利用量化表将HSV颜色空间进行量化，将量化后的HSV颜色分量按照公式G＝9H+3S+V合成为单通道图像，计算单通道图像颜色直方图，获得对应人员的特征向量。

2.4、根据步骤2.3所得各人员的特征向量判断对应视频帧中的人员身份。

具体步骤如下：

利用对应视频帧的所有特征向量使用聚类算法进行聚类，获得第一聚类中心和第二聚类中心，计算获得对应视频帧中各颜色特征数据与第一聚类中心的距离L1，对应视频帧中各颜色特征数据与第二聚类中心的距离L2；

当L1和L2大于距离阈值时对应人员为待区分人员；

根据待区分人员对应的人员检测框数据和球门检测框判定距离球门最近的人员作为守门员，剩余的人员判定为裁判。

聚类算法可采用k-means聚类算法、基于密度的聚类算法、均值漂移、层次聚类等，本实施例中采用k-means聚类(K＝2)，获取两个聚类中心，由于k-means聚类属于现有常用的聚类方法，故无需对其进行详细介绍，相关领域的技术人员也能实现对视频帧的所有特征向量进行聚类。

上述距离阈值可根据实际需要自行调整，本实施例中距离阈值为两组聚类中所有点到其对应的聚类中心距离的平均值加上方差。

如n个颜色特征数据属于第一聚类簇，m个颜色特征数据属于第二聚类簇，此时平均值的计算为(ΣL_1n+ΣL_2m)/(n+m)，其中ΣL_1n表示属于第一聚类簇的n个颜色特征数据距离第一聚类中心距离的和，ΣL_2m表示第二聚类簇的m个颜色特征数据距离第二聚类中心距离的和。

判断待区分人员为裁判或守门员的方法为：

提取根据判定为裁判或守门员对应的人员检测框数据，获取对应人员的位置，计算其与球门的距离，与球门距离最近的人员判定为守门员，剩余的人员作为裁判。

利用测试集中样本数据进行测试，本实施例对人员身份及球员所属球队的区分准确率高达96％。

S300、提取判定为球员的人员检测框数据，根据判定为球员的人员检测框数据和足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据持球信息进行攻防判断。

根据步骤1.2所得对应视频帧的球门检测框信息，以及步骤2.4所得对应视频帧中球员对应的人员检测框信息依次计算每一视频帧中各球员与足球的距离，记录与足球最近球员相对应的球队为进攻方；

对所有视频帧对应的进攻方进行统计，获取各球队在整个视频中离球最近次数，判定离球最近次数多的一方球队为进攻球队，另一方球队为防守球队。

依次将所采集的足球比赛视频提取视频帧后按照上述步骤进行攻防判断，准确率约为91％。

综上，本发明通过检测模型获取待判断视频各视频帧对应的人员检测框数据和足球检测框数据和球门检测框数据，之后提取视频帧中各人员的颜色特征数据(颜色直方图)进行并聚类，从而区分出各球员及球员所属的球队，最后根据每张视频帧中距离足球最近的球员所述球队信息，统计所有视频帧中各球队的离球最近次数，从而实现自动检测足球比赛视频中的进攻球队和防守球队，作为后续足球战术分析的技术基础。

实施例2、一种用于足球比赛视频中球队攻防判断的系统，如图2所示，包括：

检测模块1，用于将待判断视频的视频帧输入检测模型，获取与视频帧相对应的人员检测框数据、足球检测框数据和球门检测框数据。

检测模块1包括检测模型构建单元11和检测结果获取单元12；

检测模型构建单元11被配置为：

检测结果获取单元12，用于将待判断视频的视频帧输入检测模型，还用于获取检测模型所输出的人员检测框数据、足球检测框数据和球门检测框数据。

人员区分模块2，用于根据人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定视频帧中人员为裁判、守门员或对应球队的球员；

人员区分模块2包括掩膜获取单元21、颜色特征数据获取单元22、聚类分析单元23和裁判守门员区分单元24：

掩膜获取单元21，用于利用基于深度学习的图像分割算法处理视频帧，还用于将处理结果与对应视频帧的人员检测框数据通过IOU匹配，获得视频帧中匹配成功的人员的掩膜；

颜色特征数据获取单元22，用于对掩膜进行剔除噪声处理，获取视频帧中与剔除噪声处理后的掩膜相对应的区域，还用于计算区域的颜色直方图，获得对应人员的颜色特征数据；

颜色特征数据获取单元22包括区域获取子单元和颜色特征数据获取子单元；

区域获取子单元用于对掩膜进行剔除噪声处理，获取视频帧中与剔除噪声处理后的掩膜相对应的区域。

颜色特征数据获取子单元被配置为：

首先将上述区域由RGB颜色空间转为HSV颜色空间，然后利用以下量化表将HSV颜色空间进行量化，将量化后的HSV颜色分量按照公式G＝9H+3S+V合成为单通道图像，计算单通道图像颜色直方图，获得对应人员的特征向量，量化表为：

其中，H表示色彩、S表示饱和度和V表示值。

聚类分析单元24，用于将颜色特征数据进行聚类，获得第一聚类中心和第二聚类中心，还用于计算获得对应视频帧中各颜色特征数据与第一聚类中心的距离L1，对应视频帧中各颜色特征数据与第二聚类中心的距离L2；

当L1和L2大于距离阈值时对应人员为待区分人员；

裁判守门员区分单元24，用于根据待区分人员对应的检测框数据和球门检测框判定距离球门最近的人员作为守门员，剩余的人员判定为裁判。

攻防判断模块3，用于提取判定为球员的人员检测框数据，根据判定为球员的人员检测框数据和足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据持球信息进行攻防判断。

攻防判断模块3被配置为：

根据各球员对应的人员检测框数据和足球检测框数据计算各球员与足球的距离，记录与足球最近球员相对应的球队为进攻方；

此外，需要说明的是，本说明书中所描述的具体实施例，其零部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims

1.一种用于足球比赛视频中球队攻防判断的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种用于足球比赛视频中球队攻防判断的方法，其特征在于，所述检测模型的构建方法包括以下步骤：

3.根据权利要求2所述的一种用于足球比赛视频中球队攻防判断的方法，其特征在于，根据所述判定为球员的人员检测框数据和所述足球检测框数据计算统计获得所有视频帧中各球队的持球信息，根据所述持球信息进行攻防判断的方法为：

4.根据权利要求1至3任一所述的一种用于足球比赛视频中球队攻防判断的方法，其特征在于，根据所述人员检测框数据获取相应视频帧中各人员的颜色特征数据，并对所述颜色特征数据进行聚类分析，根据聚类分析结果和球门检测框数据判定所述视频帧中人员为裁判、守门员或对应球队的球员；

当L1和L2大于距离阈值时对应人员为待区分人员；

5.根据权利要求4所述的一种用于足球比赛视频中球队攻防判断的方法，其特征在于，计算所述区域的颜色直方图，获得对应人员的颜色特征数据的方法为：首先将所述区域由RGB颜色空间转为HSV颜色空间，然后利用以下量化表将HSV颜色空间进行量化，将量化后的HSV颜色分量按照公式G＝9H+3S+V合成为单通道图像，计算所述单通道图像的颜色直方图，获得对应人员的特征向量，所述量化表为：

其中，H表示色彩、S表示饱和度和V表示值。

6.一种用于足球比赛视频中球队攻防判断的系统，其特征在于，包括：

7.根据权利要求6所述的一种用于足球比赛视频中球队攻防判断的系统，其特征在于，所述检测模块包括检测模型构建单元和检测结果获取单元；

所述检测模型构建单元被配置为：

8.根据权利要求7所述的一种用于足球比赛视频中球队攻防判断的系统，其特征在于，攻防判断模块被配置为：

9.根据权利要求6至8任一所述的一种用于足球比赛视频中球队攻防判断的系统，其特征在于，人员区分模块包括掩膜获取单元、颜色特征数据获取单元、聚类分析单元和裁判守门员区分单元：

当L1和L2大于距离阈值时对应人员为待区分人员；

10.根据权利要求9所述的一种用于足球比赛视频中球队攻防判断的系统，其特征在于，所述颜色特征数据获取单元包括区域获取子单元和颜色特征数据获取子单元，所述颜色特征数据获取子单元被配置为：

首先将所述区域由RGB颜色空间转为HSV颜色空间，然后利用以下量化表将HSV颜色空间进行量化，将量化后的HSV颜色分量按照公式G＝9H+3S+V合成为单通道图像，计算所述单通道图像的颜色直方图，获得对应人员的特征向量，所述量化表为：

其中，H表示色彩、S表示饱和度和V表示值。