CN109460724A - 基于对象检测的停球事件的分离方法和系统 - Google Patents

Abstract

本发明公开了基于对象检测的停球事件的分离方法和系统，其中方法包括：采用图像标注工具对原始训练集图像中的球员和足球进行标注，标注时将球员和足球用一个矩形框框出其在图像中的位置并输入相应的标签，得到标注后的训练集图像；根据训练集中的图像训练神经网络并输出图像中目标检测框的边界和目标的类别；采用训练好的神经网络对待检测的训练视频进行检测确定图像的帧数并输出球员和足球的坐标；将同时检测到足球和球员的前后两帧图像的帧数相减，差值大于预设阈值时则确定停球事件。本发明基于神经网络的检测的结果，对检测数据不断分析，找到停球事件的特点来对停球事件进行分离，具有很好的稳定性以及鲁棒性。

Description

基于对象检测的停球事件的分离方法和系统

技术领域

本发明属于计算机视觉图像处理领域，涉及一种基于对象检测的停球事件的分离技术。

背景技术

在智能足球室内训练场训练和评估过程中，球员会在场地内进行高强度的接球训练，需要学习如何控制从八个不同的角度的来球并将足球踢进不同的目标框，教练员则可以通过移动终端自行启动个性化的训练评估方案，以及查看数据。与此同时，场地设有的传感器也会自动记录球员的命中率，在训练结束后，集成数据和训练视频会上传到云端系统，形成球员命中率的趋势和视频存档，供教练员参考回放。

当然衡量一个选手的踢球水平，最重要的一个因素就是看这个选手的基本功是否扎实。但是现阶段的设备只能根据传感来记录球员的命中率，而基本功中另外一个很重要的指标就是球员的停球成功率，教练员只能通过观看上传的云端视频数据来人工对各个球员的停球成功率作一个简单的统计，这种方法耗时耗力。

目前的事件分离的方法大多基于时间间隔，这种方法适用于事件的时间间隔相同的情况，但是在室内足球训练场中，发球之间的间隔取决于将球员将球踢进指定区域的速度，只有在足球踢进指定区域后才会有第二次发球，所以在实际应用中，这种基于时间间隔的方法并不适用于对停球事件的分离。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供本发明提出一种基于对象检测的停球事件的分离方法.

为解决上述技术问题，本发明采用以下技术方案：

在一个方面，本发明提供了基于对象检测的停球事件的分离方法，包括以下步骤：

(1)对原始训练集图像中的球员和足球进行标注，标注时将球员和足球用一个矩形框框出其在图像中的位置并输入相应的标签，得到标注后的训练集图像；

(2)根据训练集中的图像训练神经网络并输出图像中目标检测框的边界和目标的类别；

(3)采用训练好的神经网络对待检测的训练视频进行检测并记录图像的帧数和同时检测到一个足球和一个球员的图像中球员和足球的坐标；

(4)将记录的前后两帧图像的帧数相减，差值大于预设阈值时则确定停球事件。

进一步地，确定训练图像时将全部训练视频的20％视频转化为一帧帧图像，并筛选画面清晰的图像作为原始训练集图像。

进一步优选地，所述图像标注工具为LabelImage标注工具。

进一步优选地，所述神经网络采用YOLOv3且采用YOLOv3对标注后的训练集图像进行训练得到Darknet-53各层网络的权重。

进一步地，所述标签包括球员的标签、足球的标签。

进一步地，所述目标检测框的坐标为(x,y,w,h),其中x,y表示框的右下角的坐标，w表示框的宽，h表示框的高度。

或者进一步优化的，所述目标检测框的坐标简化为(x-w/2,y)，其中x,y表示框的右下角的坐标，w表示框的宽。

进一步地，步骤(3)具体包括：

选取球员和足球的边界框坐标长度都为2时，将同时检测到一个足球和一个球员的当前图像的帧数、球员和足球的坐标记录在列表中，列表的数据形式如下：

[[frame[1],[],[]],[frame[2],[],[]],……，[frame[n],[],[]]]。

在另一方面，本发明提供了基于对象检测的停球事件的分离系统，其特征是，包括:

足球和球员标注模块，用于对原始训练集图像中的球员和足球进行标注，标注时将球员和足球用一个矩形框框出其在图像中的位置并输入相应的标签，得到标注后的训练集图像；

神经网络训练模块，用于根据训练集中的图像，训练神经网络中并输出图像中目标检测框的边界和目标的类别；

神经网络检测模块，采用训练好的神经网络对待检测的训练视频进行检测并记录图像的帧数和能同时检测到一个足球和一个球员的图像中球员和足球的坐标；

停球事件分离模块，用于将记录的前后帧图像的帧数相减，差值大于预设阈值时，确定停球事件。

进一步所述系统还包括:

帧信息存储模块，用于选取球员和足球的边界框坐标长度都为2时，将同时检测到一个足球和一个球员的当前图像的帧数、球员和足球的坐标记录在列表中，列表的数据形式如下：

[[frame[1],[],[]],[frame[2],[],[]],……，[frame[n],[],[]]]。

本发明所达到的有益效果：本发明通过神经网络不断迭代训练，得出球员以及运动的球的特征并能准确检测出球员和球的具体位置；基于神经网络的检测的结果，对检测数据不断分析，找到停球事件的特点来对停球事件进行分离，具有很好的稳定性以及鲁棒性。

附图说明

图1是本发明具体实施基于对象检测的停球事件的分离方法流程示意图；

图2是本发明具体实例中将一个视频划分为不同停球事件效果示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明采用如下技术方案，提出一种基于对象检测的停球事件分离方法，本发明在主要包括两个阶段，神经网络模型的训练阶段与停球事件的分离阶段，具体步骤如下：

神经网络训练阶段：

步骤一：

第1步：足球因为快速运动而产生明显的形变，需要重新标注训练集中运动的足球和球员数据集，在选择训练集时具体实施例中优选地，将球员的训练视频分为训练集和测试集，使训练集和测试集各占合适的比例，在实施例中优选地，选择训练集占全部视频的20％。基于获取的球员训练视频，将视频转化为一帧帧图，(由于视频压缩等原因造成视频中的某些画面解码错误)，对这些图像进行选择，可以采用现有技术中图像识别算法选出画面清晰的图像作为训练图像。

然后采用图形标注工具对图像中的球员和足球进行标注，在本实施例中优选地采用LabelImage(即目标检测标注工具labelImg)。目标检测中，原始图像的标注过程非常重要，它的作用是在原始图像中标注目标物体位置并对每张图片生成相应的xml文件表示目标标准框的位置。

对图像进行标注时将球员和足球用一个矩形框框出其在图像中的位置，并输入相应的标签，在本实施例中球员的标签为person,足球的标签为soccer，完成后数据会保存图像的名字，球员和足球所对应框的左上角坐标和对应矩形框的宽和高。

第2步：将训练集数据投入到YOLOv3神经网络进行训练，通过卷积层提取图像的特征，通过维度聚类产生候选框，经过逻辑回归预测每一个边界框的类别；

YOLO是目前比较流行的目标检测算法(object detection)算法，YOLO v3是YOLO的第3个版本,检测算法更快更准。

第3步：通过反向传播算法修改各个隐藏层的权重，直到损失值小于一定的阈值，达到最终的神经网络模型。

停球事件的分离阶段：

步骤二：

第1步：利用上述神经网络预测出球员以及足球的位置；

第2步：获得所检测视频图像的帧数(frame)，以及检测中出现的球员的位置信息()以及球的坐标(),其中(),()分别表示第i帧图像预测到的球员的位置和球所处的位置。

第3步：经过对视频数据的观察分析，将获取的检测数据进行如下处理：选取神经网络检测到球员的边界框坐标长度为2并且检测到足球边界框坐标长度为2时，将各帧图像的帧数，球员和足球的坐标记录在列表1中；由于在检测的过程中会出现两个球员或者两个足球的情况，而这些检测数据对评价单个球员训练水平和停球事件的分离是有一定干扰的；所以在具体实施例中对实时检测的数据进行处理时只选取能同时检测到一个球员和一个足球的图像进行记录。

当新一帧满足上述条件时，将新的图像帧数添加到列表1中，测试集中某一训练视频(一般一个训练视频会发出30个球)的记录的数据形式列表1如下：

[[frame[1],[],[]],[frame[2],[],[]],……[frame[n],[],[]]]

其中frame[1]表示检测到的第一帧图像的帧数，[]表示球员的位置信息，[]表示在此帧图像中足球的位置。

第4步：在上述记录的检测数据上停球事件就体现为检测到的前后两帧图像的帧数差值很大，以此为依据划分不同的停球事件，选取合理的阈值，当检测到前后两帧图像的帧数差值大于指定阈值时，即判断为另外一个停球事件，即

frame[i+1]-frame[i]>阈值，则frame[i+1]为另一停球事件的开始帧。

在具体实施例中可以在发明方法实施后将分离的停球事件在原视频上播放，查看划分的停球事件的准确率。

本发明对测试视频的检测结果作一个简单的处理，根据处理后的检测的结果对不同的停球事件进行划分。基于停球事件是一连串动作，经历一定的时间，根据检测到的图像帧数差值划分停球事件，为智能足球训练场的数据处理提供了一种可供参考的方案，节省了大量的人力资源，具有很好的鲁棒性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.基于对象检测的停球事件的分离方法，其特征是，包括以下步骤：

(1)对原始训练集图像中的球员和足球进行标注，标注时将球员和足球用一个矩形框框出其在图像中的位置并输入相应的标签，得到标注后的训练集图像；

(2)根据训练集中的图像训练神经网络并输出图像中目标检测框的边界和目标的类别；

(3)采用训练好的神经网络对待检测的训练视频进行检测并记录图像的帧数和同时检测到一个足球和一个球员的图像中球员和足球的坐标；

(4)将记录的前后两帧图像的帧数相减，差值大于预设阈值时则确定停球事件。

2.根据权利要求1所述的停球事件的分离方法，其特征是，确定训练图像时将全部训练视频的20％视频转化为一帧帧图像，并筛选画面清晰的图像作为原始训练集图像。

3.根据权利要求1所述的停球事件的分离方法，其特征是，所述图像标注工具为LabelImage标注工具。

4.根据权利要求1所述的停球事件的分离方法，其特征是，所述神经网络采用YOLOv3。

5.根据权利要求1所述的停球事件的分离方法，其特征是，所述标签包括球员的标签、足球的标签。

6.根据权利要求1所述的停球事件的分离方法，其特征是，所述目标检测框的坐标为(x,y,w,h),其中x,y表示框的右下角的坐标，w表示框的宽，h表示框的高度。

7.根据权利要求1所述的停球事件的分离方法，其特征是，所述目标检测框的坐标为(x-w/2,y)，其中x,y表示框的右下角的坐标，w表示框的宽。

8.根据权利要求1所述的停球事件的分离方法，其特征是，步骤(3)具体包括：

选取球员和足球的边界框坐标长度都为2时，将同时检测到一个足球和一个球员的当前图像的帧数、球员和足球的坐标记录在列表中，列表的数据形式如下：

[[frame[1],[],[]],[frame[2],[],[]],……，[frame[n],[],[]]]。

9.基于对象检测的停球事件的分离系统，其特征是，包括:

足球和球员标注模块，用于对原始训练集图像中的球员和足球进行标注，标注时将球员和足球用一个矩形框框出其在图像中的位置并输入相应的标签，得到标注后的训练集图像；

神经网络训练模块，用于根据训练集中的图像训练神经网络并输出图像中目标检测框的边界和目标的类别；

神经网络检测模块，用于采用训练好的神经网络对待检测的训练视频进行检测并记录图像的帧数和同时检测到一个足球和一个球员的图像中球员和足球的坐标；

停球事件分离模块，用于将记录的前后帧图像的帧数相减，差值大于预设阈值时，确定停球事件。

10.根据权利要求9所述的停球事件的分离系统，其特征是，包括:

帧信息存储模块，用于选取球员和足球的边界框坐标长度都为2时，将同时检测到一个足球和一个球员的当前图像的帧数、球员和足球的坐标记录在列表中，列表的数据形式如下：

[[frame[1],[],[]],[frame[2],[],[]],……，[frame[n],[],[]]]。