CN110458100A - 基于目标检测和跟踪的乒乓球落点识别和评分方法及系统 - Google Patents

Abstract

本发明公开了一种基于目标检测和跟踪的乒乓球落点识别和评分方法及系统，方法包括：将打球视频进行拆分获得多组单回合视频；对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。本发明能够帮助运动员在练球时进行自动计分，看清乒乓球的落点，帮助运动员及时了解训练情况，提高训练效率。

Description

基于目标检测和跟踪的乒乓球落点识别和评分方法及系统

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于目标检测和跟踪的乒乓球落点识别和评分方法及系统。

背景技术

伴随着技术的不断发展，“鹰眼”技术越来越受到体育赛事的关注，由于视觉系统的限制，人类有时候很难分辨出高速运动的球类的飞行状态以及落点情况，这势必会导致一些不公正的比赛判罚，并且运动员在训练过程中，无法准确地获取自己打出的球的状态和落点，这会影响运动员的调整和自身实力的增强。因此，网球运动早在2006年就启动了挑战鹰眼的方式来判别球有无出界，足球领域也在俄罗斯世界杯期间采用了鹰眼技术来捕捉足球运动的瞬间信息。同样是高速运动的球类，乒乓球也应该引入这种措施，来减少误判，并且帮助运动员实现更好的训练和改进。

传统的乒乓球落点识别，大都基于传感器来实现，包括使用振动传感器来测量桌面振动，使用音频传感器来测量时间差等，但是这些方法代价较大且设备较为复杂，随着计算机视觉和机器学习的发展，尤其是目标检测和目标跟踪的方法越来越多，且准确率在逐年上升，基于视觉来实现落点识别是一种非常好的解决手段。

发明内容

本发明的目的在于克服现有技术中的不足，提出了一种基于目标检测和跟踪的乒乓球落点识别和评分方法，能够帮助运动员在练球时进行自动计分，看清乒乓球的落点，帮助运动员及时了解训练情况，提高训练效率。

为解决上述技术问题，本发明提供了一种基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，包括以下过程：

获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；

对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；

提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；

根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；

根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。

进一步的，训练人员乒乓球训练时采用发球机自动发球。

进一步的，将打球视频进行拆分获得多组单回合视频的过程为：

当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；

其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。

进一步的，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：

对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；

在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。

进一步的，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：

对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乓乓球球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。

相应的，本发明还提供了一种基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，包括视频获取模块、乒乓球检测跟踪模块、乒乓球轨迹拟合模块、击球成功判断模块和击球评分模块；

视频获取模块，用于获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；

乒乓球检测跟踪模块，用于对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；

乒乓球轨迹拟合模块，用于提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；

击球成功判断模块，用于根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；

击球评分模块，用于根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。

进一步的，视频获取模块中，打球视频为网络摄像机在球桌侧上方拍摄的俯视图。

进一步的，视频获取模块中，将打球视频进行拆分获得多组单回合视频的过程为：

当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；

其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。

进一步的，乒乓球检测跟踪模块中，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：

对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；

在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。

进一步的，击球成功判断模块中，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：

对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乓乓球球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。

与现有技术相比，本发明所达到的有益效果是：

1)硬件设备简单，只需要一台高速摄像机，通过网络传输获取视频流，即可执行落点识别功能；

2)识别结果准确，基于机器学习的目标检测和跟踪方法，准确率可以达到90％以上，从而提高落点识别的准确率；

3)使用简单方便，用户只需要通过语音指令来操控完成落点识别及评分功能，所有的视频处理流程都在服务器中进行。

附图说明

图1是本发明方法的流程示意图；

图2是感兴趣区域示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的基于目标检测和目标跟踪的乒乓球落点识别及评分系统，只需要摄像机将打球视频传输过来，就可以对视频中的乒乓球进行一系列操作，最终重建乒乓球飞行轨迹，得到准确的落点坐标，这种方法在硬件上面要求不高，却能够取得很好的效果，能够真正辅助裁判判罚，帮助运动员提升自身竞技水平。

本发明的一种基于目标检测和目标跟踪的乒乓球落点识别和评分方法，参见图1所示，包括以下步骤：

步骤S1，发球机根据乒乓球训练参数自动发球，网络摄像机拍摄下训练人员打球视频，其中乒乓球训练参数包括训练时间和发球频率。

从语音客户端获取语音指令，并解析语音指令从中获取乒乓球训练参数。

现有的乒乓球自动训练系统通常是在乒乓球桌旁边摆放发球机和网络摄像机。发球机自动发球来让训练人员进行训练，对于发球机的操控可以是人工操纵，也可以是语音自动操控。为了实现便捷与自动化，本发明实施例中，采用语音操控，与语音客户端建立通信，接收语音客户端的语音指令，对语音指令进行解析，例如：语音指令“模式1开始训练”，解析此语音指令获得乒乓球训练参数，包括：训练时间，发球频率，发球速度，发球角度，旋转速度等。网络摄像机放置在球网所在直线延长线的上方，即拍摄的视频图像为球桌侧上方的俯视图，网络摄像机拍摄下训练人员训练的整个过程，获取训练人员打球视频。

步骤S2，通过RTSP流媒体传输协议从网络摄像机获取实时的打球视频流，将打球视频进行拆分获得多组单回合视频。

根据视频的帧率f1和发球机的发球频率f2来进行拆分，首先设置一个count值来记录当前帧的序号(从打球视频的第一帧开始计算帧的序号)，当满足条件时，代表一个回合结束，按照上述描述的拆分条件对打球视频进行拆分，获得多组单回合视频。

步骤S3，对单回合视频中的每一帧图像进行图像处理：首先根据角点检测的结果选择感兴趣区域，然后在此感兴趣区域内对乒乓球进行检测和跟踪，以获取乒乓球的实时像素坐标，并将坐标存储在坐标数组中。

对打球视频中每一帧图像处理的具体过程如下：

(1)对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域：

对于图像，先做高斯滤波，以平滑图像，然后使用Harris算法进行角点检测，即检测球桌四个角点的坐标。因为角点附近的图像灰度会有较大的变化，利用Harris算法对图像中灰度变化较大的点进行检测并设置阈值，可以得到球桌的四个角点的坐标。

以四个角点坐标为分界点，将整个图像区域划分成五个区域，如图2所示，分别为球桌区域E，球桌左边区域A，球桌右边区域C，球桌上边区域B，球桌下边区域D，使用OpenCV的填充方法将A，C，D区域填充为黑色，作为后续检测和跟踪的背景区域，B和E作为我们的感兴趣区域；

(2)在感兴趣区域内进行乒乓球检测：

首先对图像进行颜色滤波，滤波后的图像再进行下一步背景分割操作。

OpenCV中的颜色滤波方法是基于HSV域，即H：色调(取值范围0-180)，S：饱和度(取值范围0-255)，V：亮度，(取值范围0-255)。自然界中的三原色包括R(红)，G(绿)，B(蓝)，取值范围都是0-256。因此首先要把图像从RGB域转换成HSV域，然后设定H，S，V三个值的范围，乒乓球在高速运动中颜色会由白色转变为灰白色，经过多次试验，将H的范围设为0-180，S的范围设为0-43，V的范围设为46-220，以此颜色范围对图像进行颜色过滤，不满足此范围的图像区域被填充为黑色背景区域。

背景差分法使用KNN背景分割器在颜色滤波之后的图像中选择背景区域，将视频流中的第一帧图像作为初始背景区域，计算其图像灰度并保存作为背景背景灰度，在接下来的视频帧中，计算每一帧图像的灰度，与背景灰度做差值运算，通过设置合理阈值将前景和背景区域分开来，前景区域就是检测出来的乒乓球区域，同时将前景区域标注出来(画出前景矩形框)，对前景矩形框中的图像区域提取HOG特征(即图像的方向梯度直方图)，此特征即为乒乓球的HOG特征，并将其作为后续目标跟踪的输入；

(3)乒乓球跟踪：

将第(2)步中得到的乒乓球的HOG特征作为KCF(一种现有的目标跟踪算法)目标跟踪器的输入，KCF使用此输入训练出一个判别分类器，判断跟踪到的是目标区域(目标区域就是前面检测出来的乒乓球区域)还是背景区域，将目标区域用矩形框标注，从而达到目标跟踪的目的，并记录目标矩形框的质心坐标，利用OpenCV中的函数可以获取前景矩形框的质心坐标，此坐标为像素坐标，即以图像的左上角为原点，向右作平行线为X轴，向下作垂直线为Y轴，以像素为单位，系统采用的摄像头的像素为1920*1080，则像素坐标系的大小也是1920*1080，存入坐标数组中。

在步骤S3中，我们已经获取到单回合视频中乒乓球在每一帧图像中的像素坐标，将所有像素坐标取出来进行轨迹重建，即步骤S4。

步骤S4，提取单回合视频中所有乒乓球轨迹坐标(像素坐标)，使用Matlibplot绘图库对坐标点进行曲线拟合，得到轨迹方程，并绘制重建乒乓球的飞行轨迹。

打乒乓球的一个回合分为两个过程，即发球机发球过程和运动员打回去过程，对于检测跟踪模块得到的一整个回合的坐标，首先把坐标分为两部分，即乒乓球像素横坐标递减为发球机发球过程，横坐标递增为运动员打回去过程，若没有递增过程，说明运动员没有接住球，此时直接判定此次接球失败，对运动员打回去过程的坐标进行曲线拟合(此系统只对运动员的将球打回去的过程进行分析，并不分析发球机的发球过程)，得到曲线方程，并使用Matlibplot绘图库绘制出拟合曲线，以重建球的飞行轨迹。

步骤S5，根据拟合出的轨迹方程，判断球是否落在球桌上，没落在球桌上，直接判定此次击球失败，落在球桌上，进一步求出落点的坐标，并利用透视变换将其转换为真实世界坐标；

得到拟合后的曲线方程，首先进行极小值点检测，如果曲线没有极小值点，则说明球没有成功落在球桌上，此时应该判定球出界，如果曲线拥有极小值点，则求出此极小值点的坐标，即为落点坐标。

因为此坐标是基于图像的像素坐标，因此我们采用透视变换的方式将其转换为基于球桌的真实坐标，即以乒乓球桌的左上角的角点为坐标原点，球桌的上边线为X轴，球桌的左边线为Y轴定义的二维坐标系，单位是毫米(mm)。步骤S3中已经检测到的球桌四个角点坐标，乒乓球桌的标准长为2740mm，宽为1525mm，因此我们定义四个角点真实世界坐标分别为(0,0)，(2740,0)，(2740,1525)，(0,1525)，通过这八个坐标点可以求得透视变换的透视矩阵，由于透视变换只适用于图像，单个坐标点无法进行透视变换，因此在原图像上将落点标记为红色圆点，在变化之后的图像上将此标记点检测出来，即得到落点基于球桌的真实坐标，并将其保存到训练结果数据库中，以便运动员随时查看。

步骤S6，根据多回合打球的识别结果，统计打球成功率，计算评分结果，并把结果发送给语音客户端，由语音客户端进行数据库存储操作，形成训练结果数据库。

单个回合识别结束后，将坐标数组清空，循环执行步骤S3，S4，S5，这样可以得到多回合打球的结果。若系统识别出落点，代表此回合打球成功，成功次数加一，若落点没落在球桌上，代表此回合打球失败，失败次数加一，训练结束后通过成功次数和失败次数计算成功率，即将成功率换算成百分制(即成功率乘以100)作为对此次训练的评分，将评分结果发送给语音客户端。语音客户端建立训练结果数据库，存储信息包含会员ID号(运动员在分配球桌时会进行人脸识别，以获取其身份信息，即会员ID)，球桌ID号，训练时间，训练结果四列信息，其中训练结果包含此次训练中每个成功回合的真实落点坐标(步骤S5)以及最终的评分。

相应的，本发明还提供了一种基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，包括视频获取模块、乒乓球检测跟踪模块、乒乓球轨迹拟合模块、击球成功判断模块和击球评分模块；

视频获取模块，用于获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；

乒乓球检测跟踪模块，用于对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；

乒乓球轨迹拟合模块，用于提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；

击球成功判断模块，用于根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；

击球评分模块，用于根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。

进一步的，视频获取模块中，打球视频为网络摄像机在球桌侧上方拍摄的俯视图。

进一步的，视频获取模块中，将打球视频进行拆分获得多组单回合视频的过程为：

当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；

其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。

进一步的，乒乓球检测跟踪模块中，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：

对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；

在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。

进一步的，击球成功判断模块中，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：

对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乓乓球球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，包括以下过程：

获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；

对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；

提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；

根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；

根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。

2.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，训练人员乒乓球训练时采用发球机自动发球。

3.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，将打球视频进行拆分获得多组单回合视频的过程为：

当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；

其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。

4.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：

对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；

在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。

5.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：

对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乒乓球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。

6.基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，包括视频获取模块、乒乓球检测跟踪模块、乒乓球轨迹拟合模块、击球成功判断模块和击球评分模块；

视频获取模块，用于获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；

乒乓球检测跟踪模块，用于对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；

乒乓球轨迹拟合模块，用于提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；

击球成功判断模块，用于根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；

击球评分模块，用于根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。

7.根据权利要求6所述的基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，视频获取模块中，打球视频为网络摄像机在球桌侧上方拍摄的俯视图。

8.根据权利要求6所述的基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，视频获取模块中，将打球视频进行拆分获得多组单回合视频的过程为：

当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；

其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。

9.根据权利要求6所述的基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，乒乓球检测跟踪模块中，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：

对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；

在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。

10.根据权利要求6所述的基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，击球成功判断模块中，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：

对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乓乓球球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。