CN106853289B - 基于视频识别的乒乓球发球裁判辅助系统检测方法 - Google Patents

Abstract

本发明公开了一种基于视频识别的乒乓球发球裁判辅助系统检测方法，包括高速摄像机，及与高速摄像机电连接的图像采集卡，及与图像采集卡电连接的上位机；及与上位机电连接的显示屏。所述辅助系统还包括指示灯。本发明还提供了基于视频识别的乒乓球发球裁判辅助系统的检测方法。本发明提出了一种基于视频识别的乒乓球发球裁判辅助系统及其检测方法，用于计算运动员发球的抛球高度和抛球角度，从而判定其发球合法性，为裁判员的判罚提供一定的科学参考，也为运动员质疑裁判的判罚提供一种辅助性的依据。

Description

基于视频识别的乒乓球发球裁判辅助系统检测方法

技术领域

本发明涉及一种运动检测装置及方法，具体涉及一种基于视频识别的乒乓球发球裁判辅助系统及其检测方法，属于运动检测技术领域。

背景技术

作为竞技运动的一种，乒乓球运动的技术发展与规则限制具有很大的相关性，比赛中使用的技术必须符合规则关于技术的合法性要求。而对是否符合规则的判定，乒乓球运动同网球，足球等大多数竞技运动一样，很大程度的依赖裁判员的主观判断。裁判员的主观判断大多依据经验，而由于经验判断的不确定和不精确性，将会或多或少的会导致一些误判，对运动员的比赛进程和心理都会产生很大的影响。典型的例子在2012年伦敦奥运会女子乒乓球单打决赛中，丁宁的发球被判罚违规失分对丁宁比赛时的心理状态造成很大起伏，成为了导致其输球的关键因素之一。

而与乒乓球的裁判系统不完善相比，其他一些竞技运动都有一些辅助性的裁判工具，例如网球中的“鹰眼”，足球中的门线技术等。故设计一套视觉系统来帮助乒乓球裁判进行辅助判罚已成为迫在眉睫的一项任务。目前，引起目前乒乓球比赛中争议最大的判罚主要是针对以下一点的判罚，也即是丁宁被判罚发球违规的来源：

“发球员须用手将球几乎垂直的向上抛起，不得使球旋转，并使球在离开不执拍手的手掌之后上升不少于16厘米，球下降到击出前不能碰到任何物体。”

针对这条发球规则，本发明设计了一种辅助性的基于视频识别的乒乓球发球裁判系统，主要目的是用于计算运动员发球的抛球高度和抛球角度，从而判定其发球合法性，力图为裁判员的判罚提供一定的科学参考，也为运动员质疑裁判的判罚提供一种辅助性的依据。

之前王朝立等人设计的专利“一种基于图像处理的乒乓球抛球高度检测系统及方法”是利用camshift跟踪算法来对乒乓球进行跟踪，但是在跟踪过程中有以下几点问题：

(1)没有任何去除噪声的工作，面对视频中含有其他近似对象情况将无法识别；

(2)跟踪性能并不好，当光照发生变化或者出现遮挡时将会出现跟踪丢失等问题；

(3)没有设计算法来确定乒乓球离手瞬间，计算精度不够；

(4)计算量过大，计算时间过长，实时效果差；

(5)需要人工手动去框选住乒乓球，智能性比较差；

(6)只能计算出抛球高度，不能计算出抛球角度，不能完全满足规则制定的要求。

因此，本领域迫切需要开发具有较高的智能性和计算精度的兵乓球发球裁判辅助系统及其检测方法。

发明内容

为解决上述问题，本发明提出了一种基于视频识别的乒乓球发球裁判辅助系统及其检测方法，用于计算运动员发球的抛球高度和抛球角度，从而判定其发球合法性，为裁判员的判罚提供一定的科学参考，也为运动员质疑裁判的判罚提供一种辅助性的依据。

本发明提供一种基于视频识别的乒乓球发球裁判辅助系统，所述辅助系统包括：

高速摄像机，所述高速摄像机拍摄乒乓球比赛视频；

图像采集卡，所述图像采集卡通过视频信号线与高速摄像机连接，接收乒乓球比赛视频；

上位机，所述上位机与高速摄像机电连接，所述上位机中视频处理软件处理视频图像；

显示屏，与上位机电连接，显示检测结果。

上述高速摄像机为二个，安装于两个裁判员站位边侧，所述高速摄像机其镜头中心与地面垂直高度为1.5-1.8m，拍摄最大距离为3m。

上述高速摄像机其摄像模式为200fps-480fps，分辨率为 640*360-1980*1080。

上述辅助系统还包括指示灯，所述指示灯与上位机电连接，检测结果显示发球违规时，指示灯亮。

本发明的第二发明提供一种基于视频识别的乒乓球发球裁判辅助系统检测方法，所述方法具体包括以下步骤：

a)对数据进行初始化，等待视频导入；

b)当有视频导入后，在线进行视频处理；

c)对导入视频每帧图片依次进行处理和识别；利用样本数据训练结果对每帧图片进行检测来确定最终检测区域；

d)对检测区域进行图像二值化处理，此时阈值设为100，即将RGB值大于100的像素点的RGB值都设为255，将RGB值小于100的像素点的RGB 值都设为0；

e)对图片进行膨胀和腐蚀处理，去除一些不相关的小的白色像素块；

f)以圆度、周长、面积、X距、Y距和方度特征的初始阈值，对检测区域的对象进行判断，若对象的检测值均在设定的初始阈值之内，将认定该对象为需要识别的乒乓球，同时将乒乓球的坐标实时显示在显示屏上；

所述圆度为M，M＝4πA/C²，其中A代表面积，C代表周长，0＜M＜1，M 值越接近1，说明对象越接近圆；

X距：目标在x轴方向或者与x轴平行方向上的最大距离的数值；用 Lx表示；

Y距：目标在Y轴方向或者与Y轴平行方向上的最大距离的数值；用 Ly表示；

方度：目标的X距数值与Y距数值之间的关系，计算公式为：

T＝|L_X-L_Y|/L_X，所述方度用于判定乒乓球在手中还是在空中，当T＞0 时，乒乓球在手中；T＝0时，乒乓球在空中；

g)根据前一帧识别结果来预测下一帧乒乓球的位置，提前设置一个感兴趣区域，下一帧将只检测感兴趣区域内部图像；

h)当检测到的乒乓球的Y坐标开始连续两帧以上逐帧减小时，结束视频导入过程，否则对感兴趣区域内部图像重复步骤d)到g)；

i)利用事先设置好的阈值来确定乒乓球离手瞬间坐标，根据乒乓球从离开手到最高点的运动轨迹来计算此次发球的抛球高度和抛球角度，并显示到显示屏上。

较佳的，还包括步骤j)，如发球违规，则指示灯亮。

上述样本数据训练方法为，通过局部梯度模式算法对正样本数据和负样本数据做图片预处理，再用adaboost算法进行层级分类器的训练，最后用面积重叠合并法得到最终检测区域。

上述层级分类器为三层，每层特征点的个数依次为26，60，120。

上述辅助系统检测方法，上诉步骤a)之前，先收集200-400张不同的乒乓球选手发球时不执拍的手准备动作图片，作为正样本；收集200-400 张从不同打乒乓球场景中任意选取的非发球准备动作的图片，作为负样本；通过局部梯度模式算法进行图片预处理，然后用adaboost算法来进行样本训练，利用提取图片中哈里斯角点来对图片进行检测识别，再采用面积重叠法找到图片中乒乓球选手发球时准备动作检测方框，即最终检测区域。 (李兰，王朝立，基于局部梯度和面积重叠合并法的人脸检测，计算机仿真，2014.5)

上述检测方法还包括步骤：

j)如检测结果为发球违规，则指示灯亮。

在上述基于视频识别的乒乓球发球裁判辅助系统其检测方法中，发球检测点确定具体如下：

(1)发球准备动作，按照规则乒乓球自然的置于不执拍的手掌之上，手掌张开并保持静止；

(2)乒乓球离开手的瞬间，按照规则将作为检测乒乓球发球高度的起点；

(3)乒乓球完全离开手掌向上运动，当乒乓球运动到最高点时作为系统检测乒乓球发球高度的终点。

通过检测区域和初始阈值(圆度、周长、面积、X距、Y距和方度特征)，找到比赛中的乒乓球，从而排除其他干扰，减小在线识别计算量，提高精度，在进一步在检测方框里面检测乒乓球的位置。

本发明的有益效果为，与现有技术相比，本发明的基于视频识别的乒乓球发球裁判辅助系统及其检测方法，能计算出运动员抛球高度和抛球角度；通过样本数据训练结果获得最终检测区域，之后通过预测感兴趣区域来降低识别错误率，提高识别效率；解决了确定发球过程中乒乓球离开不执拍手的瞬间的问题；全过程自动化，不需要人工进行操作，智能性强。

附图说明

图1为本发明实施例中检测装置的结构示意图；

图2为本发明实施例中摄像头安放的位置示意图。

图3为本发明的检测方法流程框图；

图4为本发明的识别乒乓球的6大特征示意图。

具体实施方式

下面结合附图详细说明本发明的实施方式。

图1为本发明基于视频识别的乒乓球发球裁判辅助系统的一具体实施例的结构示意图；如图1所示，裁判辅助系统包括高速摄像机1、图像采集卡2、上位机3、显示屏4和指示灯5。高速摄像机1与图像采集卡2电连接，向图像采集卡2输入采集到的视频，图像采集卡2的输出端与上位机3连接，与上位机电连接的显示屏4。本实施例还设置一指示灯5与上位机3电连接，判断此次发球合法性，若不合法，则指示灯发亮，提醒裁判此次发球违规，如发球时抛球高度不足16厘米或者抛球角度不垂直。高速摄像机1所采用的摄像模式为200fps(640*360)，即视频拍摄每秒200帧，对于本发明而言，分辨率可以为640*360～1980*1080，拍摄模式为 400-480fps，较佳的，分辨率为640*360～640*480，200-400fps。图像采集卡2采用与高速摄像机匹配的图像采集卡即可；上位机3采用目前市场主流任意PC架构的计算机均可满足设计要求，系统采用WINDOWS XP以上操作系统，软件编制以microsoft visualstudio 2008或者matlab为开发平台均可以。上位机中具有主控程序模块，可以对采集到的视频中的每帧图片进行处理，并将最终结果输出到显示屏4上，当判断结果为发球不合法时，指示灯发亮。

图2为本发明实施例中摄像头安放的位置示意图；如图2所示，高速摄像机的摆放位置在裁判员旁边，需要两个高速摄像机，一边裁判一个，能拍到运动员发球过程即可，其中，镜头中心与地面垂直高度为1.5～1.8m，拍摄最大距离为3m；指示灯放在其中一个摄像机旁边，与上位机连接，判断此次发球合法性，若不合法，则指示灯发亮，提醒裁判此次发球违规，以方便裁判员判断结果。

在一具体实施例中，采用乒乓球运动环境作为检测环境，以乒乓球运动员的发球过程作为检测对像。高速摄像机拍下视频后通过图像采集卡传送入上位机中，上位机在microsoft visual studio 2008中运行程序后，将所拍视频和乒乓球运动轨迹同时显示在显示屏上，程序运行结束自动计算出本次运动员发球的抛球高度和抛球角度，判断此次发球合法性，若不合法，则指示灯发亮，提醒裁判此次发球违规。

图3为本发明主控程序的检测流程图，主要分为离线部分(样本训练) 和在线部分两个模块，其中S1和S2属于离线模块(样本训练模块)，其余属于在线部分，结合图3的标注对流程图中的每一个步骤具体如下：

离线部分：

步骤S1：离线正负样本训练，收集了200张不同的乒乓球选手发球时不执拍的手准备动作的图片，作为机器学习训练的正样本，同样也收集了 200张从不同打乒乓球场景中任意选取的非发球准备工作的图片，作为机器学习训练的负样本。本发明采用局部梯度模式即LGP来进行训练正样本的特征提取。一般可以收集200-400张正样本和负样本，但是不少于200 张，以保证数据的准确度。

本发明通过局部梯度模式算法对正样本数据和负样本数据做图片预处理，特征提取；再用adaboost算法进行层级分类器的训练，最后用面积重叠合并法得到最终检测区域。所述层级分类器为三层，每层特征点的个数依次为26，60，120。本领域技术人员也可以根据需要提高特征点的个数。

11、步骤S2：离线机器学习，本发明采用adaboost训练算法进行层级分类器的训练，所述层级分类器为三层，每层特征点的个数依次为26，60， 120。最终采用面积重叠合并法(SOMM)来确定最终检测区域；

离线步骤，主要通过数据收集和特征提取，获得初始的准备动作中的乒乓球位置信息，即得到发球开始时点的最终检测方框，以减少后续系统工作量。即通过本发明方法获得乒乓球大致位置方框，在方框里面检测乒乓球，可以减少误差率和照片处理量。检测的初始阈值通常一开始根据摄像头距离远近和乒乓球是否有遮挡预先设定好的。通过离线部分视频采集和处理，可以确定步骤S7中的视频处理算法和方式。

(2)在线部分：

步骤S3：开始。

步骤S4：系统初始化。

步骤S5：判断是否有视频导入，有视频导入则开始进入主控程序，由上位机处理视频，否则回到步骤S3。

步骤S6：依次提取视频的每一帧图像。

步骤S7：利用离线学习的结果，即样本数据训练结果(算法和方式) 来确定运动员准备发球的准备动作时刻，此刻的乒乓球的坐标即为此次发球的初始坐标。

即步骤c)对导入视频每帧图片依次进行处理和识别；利用上位机中样本数据训练结果对每帧图片进行检测确定最终检测区域。

步骤S8：对被检测区域进行二值化处理，其中阈值设为100，即将RGB 值大于100的像素点的RGB值都设为255，即白色，将RGB值小于100的像素点的RGB值都设为0，即黑色。

步骤S9：对图片进行膨胀和腐蚀处理，去除一些不相关的小的白色像素块。

步骤S10：识别乒乓球，本发明通过以下6点特征来判断对象是否为乒乓球，如附图4所示：

我们通过以上6大特征来设置阈值，若对象的检测值均在我们设定的阈值之内，我们将认定该对象为我们所需要识别的乒乓球。其中，方度的检测意义在于：当乒乓球在球员手中时，会由于球员手掌会自然向内稍微弯曲，故会将乒乓球下半部有一小部分挡住，从而导致L_X＞L_Y，使T＞0，故我们可以设置一个T的阈值来判定乒乓球在手中还是在空中，故将T作为识别的特征之一。

步骤S11：设置预测感兴趣区域(ROI)，根据前两帧识别结果来预测下一帧乒乓球的位置，提前设置一个ROI区域，下一帧将只检测ROI区域内部图像。

步骤S12：对乒乓球的Y坐标的改变进行判断，若Y值开始减小说明乒乓球已过上升期，正处于下降期，此时我们已经可以对此次发球的抛球高度和角度进行计算了，将进入S13；若Y值一直增大，说明此时乒乓球并未到最高点，将返回S8进行后续图像处理，即重复步骤S8到S11。

步骤S13：结束视频输入；

步骤S14：计算此次发球的抛球高度和角度，通过设置新的阈值来确定乒乓球离开手的瞬间，从理论上来说，球离开手的瞬间可以检测到完整的乒乓球，而本发明通过做了大量实验发现，球真正离手的瞬间中会由于手不自觉的遮挡而导致检测不到完整的乒乓球，故需要放宽球离手时特征的阈值，故本文采用检测对象各项特征从在新的阈值T₂范围中转变为在离手瞬间阈值T₁范围中的那一瞬间即为乒乓球离手的瞬间。再确定抛球最高点的坐标，即Y值达到最大值的那个坐标，根据这两点坐标计算此次发球的抛球高度和抛球角度；

步骤S15：判断此次发球合法性，若合法，将跳回步骤S4；若不合法，则跳入步骤S16；

步骤S16：指示灯发亮，提醒裁判此次发球违规。

本发明中发球检测点确定原理如下，

(1)发球准备动作，按照规则乒乓球自然的置于不执拍的手掌之上，手掌张开并保持静止；

(2)乒乓球离开手的瞬间，按照规则将作为检测乒乓球发球高度的起点；

(3)乒乓球完全离开手掌向上运动，当乒乓球运动到最高点时作为系统检测乒乓球发球高度的终点。

本发明的基于视频识别的乒乓球发球裁判辅助系统及其检测方法，采用乒乓球运动环境作为检测环境，以乒乓球运动员的发球过程作为检测对像；高速摄像机拍下视频后通过图像采集卡传送入上位机中，上位机经过上述检测方法处理，程序运行结束自动计算出本次运动员发球的抛球高度和抛球角度，并通过另一个独立窗口将乒乓球发球轨迹显示在显示屏上。优选的，还可以设一指示灯，当发球不合法时，指示灯亮，提醒裁判此次发球违规。

上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (6)

1.一种基于视频识别的乒乓球发球裁判辅助系统检测方法，其特征在于，所述方法具体包括以下步骤：

a)对数据进行初始化，等待视频导入；

b)当有视频导入后，进行视频处理；

c)对导入视频每帧图片依次进行处理和识别；利用上位机中样本数据训练结果对每帧图片进行检测以确定最终检测区域；

d)对检测区域进行图像二值化处理，此时阈值设为100，即将RGB值大于100的像素点的RGB值都设为255，将RGB值小于100的像素点的RGB值都设为0；

e)对图片进行膨胀和腐蚀处理，去除一些不相关的小的白色像素块；

f)以圆度、周长、面积、X距、Y距和方度特征的初始阈值，对检测区域的对象进行判断，若对象的检测值均在设定的初始阈值之内，将认定该对象为需要识别的乒乓球，同时将乒乓球的坐标实时显示在显示屏上；所述圆度为M,M＝4πA/C²,其中A代表面积，C代表周长，0<M<1，M值越接近1，说明对象越接近圆；

X距：目标在x轴方向或者与x轴平行方向上的最大距离的数值；用Lx表示；

Y距：目标在Y轴方向或者与Y轴平行方向上的最大距离的数值；用Ly表示；

方度：目标的X距数值与Y距数值之间的关系，计算公式为：

T＝|L_X-L_Y|/L_X，所述方度用于判定乒乓球在手中还是在空中,当T>0时，乒乓球在手中；T＝0时，乒乓球在空中；

g)根据前一帧识别结果来预测下一帧乒乓球的位置，提前设置一个感兴趣区域，下一帧将只检测感兴趣区域内部图像；

h)当检测到的乒乓球的Y坐标开始连续两帧以上逐帧减小时，结束视频导入过程，否则对感兴趣区域内部图像重复步骤d)到g)；

i)利用事先设置好的阈值来确定乒乓球离手瞬间坐标，根据乒乓球从离开手到最高点的运动轨迹来计算此次发球的抛球高度和抛球角度，并显示到显示屏上。

2.根据权利要求1所述基于视频识别的乒乓球发球裁判辅助系统检测方法，其特征在于，所述样本数据包括正样本数据和负样本数据：

所述正样本数据为200-400张不同的乒乓球选手发球时不执拍的手准备动作的图片；所述负样本数据为200-400张从不同打乒乓球场景中任意选取的非发球准备动作的图片。

3.根据权利要求1所述基于视频识别的乒乓球发球裁判辅助系统检测方法，其特征在于，所述检测方法还包括以下步骤：

j)如检测结果为发球违规，则指示灯亮。

4.根据权利要求1或2所述基于视频识别的乒乓球发球裁判辅助系统检测方法，其特征在于，所述样本数据训练方法为，通过局部梯度模式算法对正样本数据和负样本数据做图片预处理，再用adaboost算法进行层级分类器的训练，最后用面积重叠法得到最终检测区域。

5.根据权利要求4所述基于视频识别的乒乓球发球裁判辅助系统检测方法，其特征在于，所述层级分类器为三层，每层特征点的个数依次为26，60，120。

6.根据权利要求4所述基于视频识别的乒乓球发球裁判辅助系统检测方法，其特征在于，所述检测方法还包括以下步骤：

j)如检测结果为发球违规，则指示灯亮。