CN105139419A - 一种足球比赛视频的球员及球体跟踪方法 - Google Patents

Abstract

本发明属于视频图像处理领域，特别是涉及一种足球比赛视频的球员及球体跟踪方法。所述方法包括如下步骤：(1)提取运动场地：通过高斯混合模型背景建模、阈值分割，提取运动场地，去除追踪的影响因素；(2)球员及球体的检测：(3)球员与球体的跟踪：球员检测采用Camshift和kalman滤波相结合的跟踪方式，由上一帧记录下的每位运动员和球体的位置作为其初始位置，分别对每一个对象进行跟踪。本发明针对足球视频的跟踪问题，本技术能够克服比赛场中灯光、天气变化，实现对赛场上足球和人体实时的、精确的跟踪。

Description

一种足球比赛视频的球员及球体跟踪方法

技术领域

本发明属于视频图像处理领域，特别是涉及一种足球比赛视频的球员及球体跟踪方法。

背景技术

足球是广受大众喜爱的一项运动，针对足球比赛运动视频的分析与处理，依托于足球运动的广泛受众，能够带来诸多价值。例如，从观众视觉的角度，转播需要加入各种视觉特效来满足观众的视觉要求；从研究分析角度，球队交流可以提取出比赛视频中队员的相关数据来协助进行技战术分析与研究，帮助球队提升竞争力；从商业价值角度，转播方和赞助商需要也需要充分地发掘出体育比赛转播中蕴含的商业价值。

因此，对足球比赛视频中的运动目标，如运动员和足球，进行检测、提定位和跟踪，有很高的实用价值和实际意义。

目前各类技术缺点：足球跟踪最大的问题就是精度问题，由于视频采集的干扰噪声，硬件设备的相关限制，球场的场地颜色图案和球员衣颜色具有多样性，加上天气和场内光照的影响，对各类算法的跟踪提出了巨大的挑战。其次是每一帧处理追踪目标的速度，由于大部分跟踪需要满足实时性的需求，若处理速度慢，即使跟踪精确，也不能达到商业的需求。

发明内容

本发明针对足球视频的跟踪问题，本技术能够克服比赛场中灯光、天气变化，实现对赛场上足球和人体实时的、精确的跟踪。

本发明的技术方案如下：

一种足球比赛视频的球员及球体跟踪方法，其特征在于，所述方法包括如下步骤：

(1)提取运动场地：通过高斯混合模型背景建模、阈值分割，提取运动场地，去除追踪的影响因素；

(2)球员及球体的检测：

球员检测：通过颜色统计信息进行球员的检测，利用HSV彩色模型结合颜色直方图反投影，将每帧中的运动场图像转换为二维的色调概率分布图像，使用帧间差法和光流相结合法提取出运动员区域；

帧间差法公式如下：

$B(x,y)=\left\{\begin{array}{cc}1& |I_k(x,y)-I_{k-1}(x,y)|>T\\ 0& others\end{array}\right.$

其中B(x,y)为检测结果图，色调分布概率图像，I_k(x，y)和I_k-1(x，y)分别为k时刻和k-1时刻图像在(x,y)出的灰度值，T为选定的阈值；

根据帧间差法计算出的结果，再使用光流法，它是一种二维瞬时速度场，为每一个像素赋予了速度矢量，形成了图像运动场；

球体的检测：对于球体采用的方法为利用圆的Hough变换检测球体，生成球体的候选项，然后利用滤波器和帧间信息排除候选项，并记录下每位球员和球体当前帧所在位置；

(3)球员与球体的跟踪：

球员检测采用Camshift和kalman滤波相结合的跟踪方式，由上一帧记录下的每位运动员和球体的位置作为其初始位置，分别对每一个对象进行跟踪。

进一步的，所述步骤(3)中：

首先进行Camshift算法进行计算，Camshift的核心为Meanshift算法，它是一种均值漂移方法，该算法步骤如下：

1)初始化包含运动员或者球体的搜索窗口大小和位置；

2)计算下一帧图像相对于搜索区域的反射投影图。

3)计算搜索窗口的质心；

4)更新搜索窗口，使其中心为上次搜索窗口的质心；

5)重复3)与4)，直至达到终止条件；

通过反复的迭代过程，搜索窗口会向反射投影图的最密集区逼近，当迭代结束时，输出的窗口位置即为Meanshift算法估计的位置。其中质心计算公式如下：

设I(x,y)为概率分布图位于(x,y)的像素值，其零阶矩为 $M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y),$ 一阶矩为 $M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y),$ 与则计算搜索搜索窗口的质心为(x_c,y_c)为： $x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

进一步的，所述步骤(3)中：

Kalman滤波算法，它分为三步骤，即初始化、预测过程、更新过程；具体包括：

首先以初始化的窗口位置、大小作为Camshift算法输入，跟踪过程中，先使用Kalman滤波算法以k-1时刻目标位置信息预测k时刻目标位置信息，并通过此时CamShift算法计算的目标质心位置作为观测值修正k时刻的估计，并以此更新过的估计值在代入Kalman最优方程，并且使用方程的解作为新的Camshift算法的输入；如此迭代以寻找最优解，提高算法的跟踪效果。

本发明的有益效果在于：

(1)本发明的方法能够克服天气、灯光、看台、广告牌对足球视频分析的影响。

由于采用了高斯建模和阈值分割技术，对视频图像去除了噪声，且将去噪的图像转换至HSV空间，HSV空间对光照、天气不敏感，因此能够应对不同天气场景的分析需求。

(2)本发明的方法能够精确提取球员与足球目标。算法将帧差法与光流法结合，能够精确地捕捉运动物体。

(3)本发明使用Camshift算法和Kalman滤波算法相结合能够准确追踪目标位置，不易跟丢，并能够解决球员和球体之间的遮挡问题。

Camshift算法在运动员与背景误差较大时能够有较好的结果，且足球运动场的背景草地与运动员的色差较大，恰好满足Camshift算法的应用场景；在应对遮挡问题方面，由于Kalman滤波器能够对运动员的运动方向进行良好估计，即使遮挡也能够快速修正运动估计方向，因此能够解决遮挡问题。

(4)由于Camshift和Kalman滤波的高效性，计算时间消耗较小，能够实现目标的实时快速跟踪。

(5)本发明的跟踪算法通过自动检测出球员和球体，无需用户再选择需要跟踪的目标。

一般的跟踪算法是需要手动在视频画面上绘制跟踪目标框以进行跟踪，而本方法首先进行了运动目标检测，故可直接将运动目标提取出而后进行跟踪，这是一种无需用户操作输入的全自动的跟踪方式。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合图1，对本发明方法的技术方案作进一步的阐述。本发明的方法如下：

(1)通过高斯混合模型背景建模、阈值分割提取运动场地，去除追踪的影响因素，例如天气因素，观众席，广告信息等。

(2)运动员与球的检测。通过颜色统计信息进行运动员的检测，利用HSV彩色模型结合颜色直方图反投影，将每帧中的运动场图像转换为二维的色调概率分布图像，使用帧间差法和光流相结合法提取出运动员区域。

帧间差法公式如下：

$B(x,y)=\left\{\begin{array}{cc}1& |I_k(x,y,)-I_{k-1}(x,y,)|>T\\ 0& others\end{array}\right.$

其中B(x,y)为检测结果图，色调分布概率图像，I_k(x，y)和I_k-1(x，y)分别为k时刻和k–1时刻图像在(x,y)出的灰度值，T为选定的阈值。

根据帧间差法计算出的结果，再使用光流法，它是一种二维瞬时速度场，为每一个像素赋予了速度矢量，形成了图像运动场。这种检测方法的结合能够很好地提取出运动区域。

对于球采用的方法为利用圆的Hough变换检测球，生成球的候选项，然后利用滤波器和帧间信息排除候选项(由于球的运动是连续的)。并记录下每位运动员和球体当前帧所在位置。

(3)运动员与球的跟踪。球员检测采用Camshift和kalman滤波相结合的跟踪方式，由上一帧记录下的每位运动员和球体的位置作为其初始位置，分别对每一个对象进行跟踪。

首先进行Camshift算法进行计算，Camshift的核心为Meanshift算法，它是一种均值漂移方法，该算法步骤如下：

1)初始化包含运动员或者球体的搜索窗口大小和位置；

2)计算下一帧图像相对于搜索区域的反射投影图。

3)计算搜索窗口的质心；

4)更新搜索窗口，使其中心为上次搜索窗口的质心；

5)重复3)与4)，直至达到终止条件；

通过反复的迭代过程，搜索窗口会向反射投影图的最密集区逼近，当迭代结束时，输出的窗口位置即为Meanshift算法估计的位置。其中质心计算公式如下：

设I(x,y)为概率分布图位于(x,y)的像素值，其零阶矩为 $M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y),$ 一阶矩为 $M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y),$ 与则计算搜索搜索窗口的质心为(x_c,y_c)为： $x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

对于Kalman滤波算法，它分为三步骤：初始化、预测过程、更新过程。首先以初始化的窗口位置、大小作为Camshift算法输入，跟踪过程中，先使用Kalman滤波算法以k-1时刻目标位置信息预测k时刻目标位置信息，并通过此时CamShift算法计算的目标质心位置作为观测值修正k时刻的估计，并以此更新过的估计值在代入Kalman最优方程，并且使用方程的解作为新的Camshift算法的输入。如此迭代以寻找最优解，提高算法的跟踪效果。

球员间的遮挡是不可避免的，单一的Camshift对颜色较为敏感，不同球队员见得遮挡一般不影响算法的有效性，但相同球队球员相互遮挡则会产生丢失现象。然而Kalman滤波运动估计是对Camshift算法的补充，因为它能够当遮挡情况发生时，通过预测球员下一帧位置而能够有方向地去检测球员，因此它们的结合能够增强算法鲁棒性。

Claims (3)

1.一种足球比赛视频的球员及球体跟踪方法，其特征在于，所述方法包括如下步骤：

(1)提取运动场地：通过高斯混合模型背景建模、阈值分割，提取运动场地，去除追踪的影响因素；

(2)球员及球体的检测：

球员检测：通过颜色统计信息进行球员的检测，利用HSV彩色模型结合颜色直方图反投影，将每帧中的运动场图像转换为二维的色调概率分布图像，使用帧间差法和光流相结合法提取出运动员区域；

帧间差法公式如下：

其中B(x,y)为检测结果图，色调分布概率图像，I_k(x，y)和I_k-1(x，y)分别为k时刻和k-1时刻图像在(x,y)出的灰度值，T为选定的阈值；

根据帧间差法计算出的结果，再使用光流法，它是一种二维瞬时速度场，为每一个像素赋予了速度矢量，形成了图像运动场；

球体的检测：对于球体采用的方法为利用圆的Hough变换检测球体，生成球体的候选项，然后利用滤波器和帧间信息排除候选项，并记录下每位球员和球体当前帧所在位置；

(3)球员与球体的跟踪：

球员检测采用Camshift和kalman滤波相结合的跟踪方式，由上一帧记录下的每位运动员和球体的位置作为其初始位置，分别对每一个对象进行跟踪。

2.根据权利要求1所述的方法，其特征在于，所述步骤(3)中：

首先进行Camshift算法进行计算，Camshift的核心为Meanshift算法，它是一种均值漂移方法，该算法步骤如下：

1)初始化包含运动员或者球体的搜索窗口大小和位置；

2)计算下一帧图像相对于搜索区域的反射投影图。

3)计算搜索窗口的质心；

4)更新搜索窗口，使其中心为上次搜索窗口的质心；

5)重复3)与4)，直至达到终止条件；

通过反复的迭代过程，搜索窗口会向反射投影图的最密集区逼近，当迭代结束时，输出的窗口位置即为Meanshift算法估计的位置。其中质心计算公式如下：

设I(x,y)为概率分布图位于(x,y)的像素值，其零阶矩为一阶矩为与则计算搜索搜索窗口的质心为(x_c,y_c)为：

。

3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中：

Kalman滤波算法，它分为三步骤，即初始化、预测过程、更新过程；具体包括：

首先以初始化的窗口位置、大小作为Camshift算法输入，跟踪过程中，先使用Kalman滤波算法以k-1时刻目标位置信息预测k时刻目标位置信息，并通过此时CamShift算法计算的目标质心位置作为观测值修正k时刻的估计，并以此更新过的估计值在代入Kalman最优方程，并且使用方程的解作为新的Camshift算法的输入；如此迭代以寻找最优解，提高算法的跟踪效果。