CN104866853A - 一种足球比赛视频中的多运动员的行为特征提取方法 - Google Patents

Abstract

本发明公开了一种足球比赛视频中的多运动员的行为特征提取方法，包括：a、颜色的分类、分割及特征提取；b、颜色分类的鲁棒性处理。本发明所述足球比赛视频中的多运动员的行为特征提取方法，可以克服现有技术中操作过程复杂、花费时间长和可靠性低等缺陷，以实现操作过程简单、花费时间短和可靠性高的优点。

Description

一种足球比赛视频中的多运动员的行为特征提取方法

技术领域

本发明涉及视频处理技术领域，具体地，涉及一种足球比赛视频中的多运动员的行为特征提取方法。

背景技术

由于足球比赛运动是一种观赏性体育运动，比赛的场地、场线、裁判和球员的服装被设计成独特的视觉效果。从视觉特征的角度而言，这些颜色差异是最好的信息之一：场地是绿色的；场线是白色的；裁判和球员的穿着必须达到尽可能高的对比度。色彩特征不仅可以用来提高跟踪能力，而且还可以用来区分属于不同球队的球员。因此，可以提取视频图像的颜色特征来进行行为识别。

在实现本发明的过程中，发明人发现现有技术中至少存在操作过程复杂、花费时间长和可靠性低等缺陷。

发明内容

本发明的目的在于，针对上述问题，提出一种足球比赛视频中的多运动员的行为特征提取方法，以实现操作过程简单、花费时间短和可靠性高的优点。

为实现上述目的，本发明采用的技术方案是：一种足球比赛视频中的多运动员的行为特征提取方法，包括：

a、颜色的分类、分割及特征提取；

b、颜色分类的鲁棒性处理。

进一步地，所述步骤a，具体包括： 

⑴对待处理的足球比赛图像运用色彩分类和分割：假定以前的颜色分类学习集包括绿色场地集、球队服装集和其它集，视觉感知模块首先将彩色图像像素映射到各自的分类，然后用形态运算对同一类颜色分组区域进行去噪来发现感兴趣的区域；

⑵通过图像斑块产生的特征来特征化感兴趣的对象，用已有的颜色区域和彩色斑块作为定义某些图像处理操作处理的感兴趣的复杂区域；

⑶得到感兴趣的颜色区域后，提取该区域的颜色矩作为颜色特征，在HIS颜色空间中，各分量的中心矩用式(1)来计算：

$\left\{\begin{array}{c}{M}_1=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}X\left(p_i\right)\\ M_2={\left[\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(X\left(p_i\right)-M_1)}^2\right]}^{1/2}\\ M_3={\left[\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(X\left(p_i\right)-M_1)}^3\right]}^{1/3}\end{array}\right.---\left(1\right)$

其中，X表示HIS颜色空间中的H、I和S分量；H(p_i)表示图像p的第i个像素的X值；N为图像像素的数目。

进一步地，所述步骤b，具体包括： 

采用期望最大化的方式来分割彩色类中的绿色场地，通过给出球场模型和估计摄像机参数来确定这些区域必定是绿色场地；

提取这些区域中的像素来估计绿色场地颜色类；

然后用这种颜色模型来估计摄像机的参数。

进一步地，所述提取这些区域中的像素来估计绿色场地颜色类的操作，进一步包括：

球员轮廓特征提取；

球场线特征提取；

球员和球的轨迹特征提取。

进一步地，所述球员轮廓特征提取的操作，更进一步包括：

给定一个T帧的足球比赛行为视频v＝{I₁,I₂,…,I_T}，从原始视频中获得与之相关的行为轮廓序列S_s＝{s₁,s₂,…，s_T}；在保持球员轮廓宽高比不变的基础上，对球员的轮廓图像进行中心化和归一化，使所产生的结果图像RI＝{R₁,R₂,…,R_T}包含尽可能多的前景；在不使动作发生变形的情况下，所有输入视频帧有相同的维数r_i×c_i；

等距划分每个球员轮廓图像为h×w个互不重叠的子块，用N_i＝b(i)/mv,i＝1,2,…,h×w计算每个子块的归一化值，其中，b(i)是第i个分块的前景像素数目，mv是所有b(i)的最大值；

在空间中，第t帧的球员轮廓的描述符为f_t＝[N₁,N₂,…,N_h×w]^T，整个视频中的球员轮廓相应表示为vf＝{f₁,f₂,…f_T}。

进一步地，所述球场线特征提取的操作，更进一步包括：

⑴在提取球场线特征的过程中，先将足球比赛视频图像转化为二值图，再利用Hough变换初步提取出球场线的坐标参数特征，最后用灰度拟合求出精确的直线坐标；

⑵用Hough变换进行直线特征提取时，用距离矢量d＝xcosθ+ysinθ来表示；其中，d的取值范围为视频图像对角线的长度l，即d∈[-l,l]；θ为垂线与x轴的夹角，θ∈[0,π]；x和y表示像素点的二维坐标；

⑶用整数数组k定义以d和θ为下标的参数空间，并设定阈值为th，应用Hough变换进行统计计算时，如果k＞th，则判定下标d和θ对应的曲线为直线，下标d改写为d＝d+l。

进一步地，所述步骤⑶，具体步骤如下：

Step 1：构造并初始化sin和cos函数查找表；

Step 2：对二值图像上的每个非背景点，利用d＝xcosθ+ysinθ计算出每个θ对应的d值，并计算出d＝d+l和k＝k+1；

Step 3：将数组k中值大于th的所有下标d和θ寻找出来，再计算出d＝d-l；

Step 4：由于在待检测的二值图像中，球场线没有经过细化，有一定的宽度，在进行Hough变换时，会导致一条直线会同时得到几组相似的d和θ；如果有相似的d和θ，只保留其中一组；

Step 5：设经过Hough变换后得到的球场线的两个端点的坐标分别为(x₀,y₀)和(x₁,y₁)，用((x₀+sinθ(f-m×i),y₀-cosθ(f-m×i))和((x₁+sinθ(f-m×j),y₁-cosθ(f-m×j))分别计算出灰度图像中的点i和点j之间线段所经过的像素点的灰度值均值Mean_i,j；

其中，f表示拟合的范围；m为拟合步长，计算出的Mean_i,j最大时对应的i′,j′所确定的线段即可认为是最优的球场线。

进一步地，所述球员和球的轨迹特征提取的操作，更进一步包括：

在球员和球的轨迹特征提取过程中，将足球比赛视频分成包含特定数量的视频帧的小片段；

提取球员和球的轨迹时以片段为基本单位，即处理的轨迹的长度不超过片段的视频帧数目；

在得到每帧足球比赛视频图像的运动目标的候选区域后，首先在时空域中寻找视频中连续三帧图像某位置附近都出现的运动目标；

得到新轨迹后，用卡尔曼滤波器对轨迹进行预测，预测方程为：

$\left\{\begin{array}{c}{X}_t={\mathrm{AX}}_{t-1}+{\mathrm{\γ}}_t\\ O_t={\mathrm{BX}}_t+{\mathrm{\κ}}_t\end{array}\right.---\left(2\right)$

其中，X_t＝AX_t-1+γ_t为系统运动方程；O_t＝BX_t+κ_t为系统观测方程；X_t、O_t表示时刻t的系统状态向量和系统状态测量向量；γ_t和κ_t表示时刻t相互独立的正态分布的运动和测量噪声向量，A和B表示状态转移矩阵和测量矩阵；

选择运动目标的中心位置作为系统状态测量向量，选取运动目标的中心位置和其运动速度为系统状态向量，则得到：

$X=\left[\begin{array}{c}x\\ v_x\\ y\\ v_y\end{array}\right],O=\left[\begin{array}{c}x\\ y\end{array}\right],A=\left[\begin{array}{cccc}1& 1& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 1\\ 0& 0& 0& 1\end{array}\right],B=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right]---\left(3\right)$

其中，(x,y)表示运动目标的中心位置，v_x和v_y表示运动目标在x和y方向上的运动速度；

运动目标的轨迹在新一帧图像中对应的位置通过卡尔曼滤波器进行预测，并在该帧图像中搜索靠近该位置的候选运动目标，从中选择出真实的运动目标对应的轨迹；

定义真实运动目标生成的轨迹的集合为C_t，初始化集合C_t，集合C_t中的元素为所有轨迹，即C_t＝{T_i,i∈[1,N]}，其中，T_i表示当前足球比赛视频片段断中第i条轨迹，N表示当前足球比赛视频片段中轨迹的总数；

任意选取足球比赛视频片段中的两条起始帧不同的轨迹T_u和T_v，K_s,u、K_e,u、K_s,v和K_e,v分别对应于它们的起始帧和结束帧，并设K_s,u≤K_s,v；当两条轨迹相交时，运动目标的轨迹取较长的轨迹，则有：

$C_t=\left\{\begin{array}{ccc}{C}_t-\left\{T_u\right\},& \mathrm{if}& (K_{e,u}-K_{s,u}<K_{e,v}-K_{s,v})^(T_u\&cap;T_v\&NotEqual;\mathrm{\&phi;})\\ C_t-\left\{T_v\right\},& \mathrm{if}& (K_{e,u}-K_{s,u}\&GreaterEqual;K_{e,v}-K_{s,v})^(Y_u\&cap;T_v\&NotEqual;\mathrm{\&phi;})\end{array}\right.---\left(4\right)$

通过选择轨迹，最终得到了运动目标轨迹的集合C_t，C_t中包含了相互分离的轨迹，即轨迹之间存在着漏检的帧；

要得到足球比赛视频片段的完整的轨迹，就必须对这些分离的轨迹进行连接：

首先计算出轨迹T_u和T_v在区间中的预测值和然后搜寻预测区间内两条轨迹之间距离最近时的两点，对应于轨迹T_u上的a帧和T_v上的b帧，则有：

$\left\{\begin{array}{c}(a,b)=\underset{a,b}{\arg \min }\mathrm{dist}({\hat{p}}_{a,u},{\hat{p}}_{b,v})\\ a\&le;b,\\ K_{s,u}\&le;a\&le;K_{e,v},\\ K_{s,u}\&le;b\&le;K_{e,v}.\end{array}\right.---\left(5\right)$

当a≥b时，分别用轨迹T_u在该区间的预测值和轨迹T_v的预测值表示a帧之前漏检的运动目标的位置和a帧之后漏检的运动目标的位置；用它们的均值表示a帧运动目标的位置，即：

$p_k=\left\{\begin{array}{cc}{\hat{p}}_{k,u}& K_{e,u}\&le;k<a\\ ({\hat{p}}_{k,u}+{\hat{p}}_{k,v})/2& k=a\\ {\hat{p}}_{k,v}& a<k\&le;K_{s,v}\end{array}\right.---\left(6\right)$

当a＜b时，a帧前后的漏检的运动目标的位置的表示与a≥b时相同，而a与b之间的帧中运动目标的运动较小，用线性插值得到较为准确的运动目标的位置；

$p_k=\left\{\begin{array}{cc}{\hat{p}}_{k,u}& K_{e,u}\&le;k\&le;a\\ (k-1)({\hat{p}}_{b,v}-{\hat{p}}_{a,u})/(b-a)& a<k<b\\ {\hat{p}}_{k,v}& b\&le;k\&le;K_{s,v}\end{array}\right.---\left(7\right)$

通过连接准确地填充好轨迹间的漏检运动目标的位置，生成完整的运动目标的轨迹。

本发明各实施例的足球比赛视频中的多运动员的行为特征提取方法，由于包括：a、颜色的分类、分割及特征提取；b、颜色分类的鲁棒性处理；从而可以克服现有技术中操作过程复杂、花费时间长和可靠性低的缺陷，以实现操作过程简单、花费时间短和可靠性高的优点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明中足球比赛视频图像颜色特征提取，(a)原图像，(b)图像的H分量，(c)图像的I分量，(d)图像的S分量，(e)图像的颜色分布，(f)图像的H-S直方图，(g)图像的H-I直方图；

图2为本发明中运动球员的轮廓序列和块特征表示图；

图3为本发明中球场线特征的提取，(a)为原图像，(b)为提取图像；

图4为本发明中卡尔曼滤波器预测过程，A表示错误预测；

图5为本发明中视频片段轨迹生成图，B表示噪声生成的轨迹，(a)为添加噪声干扰因素时的轨迹生成图，(b)无噪声干扰因素时的轨迹生成图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

根据本发明实施例，如图1-图5所示，提供了一种足球比赛视频中的多运动员的行为特征提取方法。

球员与裁判的服装颜色特征提取

本发明技术方案利用色彩分类学习集，通过将图像像素映射到各自的颜色类来找到感兴趣的区域，然后采用形态学算子来分组像素。用混合颜色空间来检测空间产生属于对手球队、裁判之间的像素的最佳区分。

3.2.1.1颜色的分类、分割及特征提取

处理足球比赛视频图像的第一步是对图像运用色彩分类和分割。假定以前的颜色分类学习集包括绿色场地集、球队服装集和其它集，视觉感知模块首先将彩色图像像素映射到各自的分类，然后用形态运算对同一类颜色分组区域进行去噪来发现感兴趣的区域。

此外，可以通过图像斑块产生的特征来特征化感兴趣的对象。特别是利用球员直立位置接触球场平面的假设(如果考虑特别长的图像序列至少如此)。基于图像斑块(x,y)坐标的基础上获得对斑块大小非常准确的估计。此外，球员和球等感兴趣的对象必须满足一定的紧凑关系(面积和周长之间的比例)。可以利用这些假设来筛选数据，更可靠地提取相关的对象。

可以用已有的颜色区域和彩色斑块作为定义某些图像处理操作处理的感兴趣的复杂区域。例如，为了寻找球场线，考虑用绿色的球场图像区域(不包括球员或裁判遮挡的区域)集中的方式来完成。这个区域可以表示为：

得到感兴趣的颜色区域后，可以提取该区域的颜色矩作为颜色特征。在HIS颜色空间中，各分量的中心矩(前三阶颜色矩)可用式(1)来计算：

$\left\{\begin{array}{c}{M}_1=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}X\left(p_i\right)\\ M_2={\left[\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(X\left(p_i\right)-M_1)}^2\right]}^{1/2}\\ M_3={\left[\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(X\left(p_i\right)-M_1)}^3\right]}^{1/3}\end{array}\right.---\left(1\right)$

其中，X表示HIS颜色空间中的H、I和S分量；H(p_i)表示图像p的第i个像素的X值；N为图像像素的数目。图1为图像的RGB分布、HIS颜色空间中的H、I和S分量及直方图。计算得到图像的中心矩及七个特征值为1.0e+004*[1.5278 0.0000 0.0001 0.0000 0.0004 0.0002 0.0003 0.0009 0.0005 0.0007]。

3.2.1.2颜色分类的鲁棒性

当摄像机从球场的一个侧面扫到其它地方，云层发生变化，开始下雨等发生时，照明条件发生了变化。由于这些原因，不能通过事先对颜色类别的学习来完成可靠的颜色分割并在比赛期间保持不变。相反，颜色分割必须适应天空的变化，尤其是颜色类中的绿色场地的分割。因此，采用期望最大化的方式来分割彩色类中的绿色场地。通过给出球场模型和估计摄像机参数来确定这些区域必定是绿色场地。相关区域可表示为：球场区域-球队1所在区域-球队2所在区域-裁判所在区域-球场线的邻域…，用形态学运算进行处理以消除区域中的空洞。然后，提取这些区域中的像素来估计绿色场地颜色类。然后用这种颜色模型来估计摄像机的参数。在实践中，分类模型的估计比相机参数的估计的比率要低得多。

球员轮廓特征提取

给定一个T帧的足球比赛行为视频v＝{I₁,I₂,…,I_T}，可从原始视频中获得与之相关的行为轮廓序列S_s＝{s₁,s₂,…,s_T}。前景区域的大小和位置随球员与像机的距离、目标的大小和已经完成的行为变化。在保持球员轮廓宽高比不变的基础上，对球员的轮廓图像进行中心化和归一化，使所产生的结果图像RI＝{R₁,R₂,…,R_T}包含尽可能多的前景。在不使动作发生变形的情况下，所有输入视频帧有相同的维数r_i×c_i。归一化的运动球员轮廓图像如图2所示。如果以行扫描方式在空间用向量r_i来表示原始球员轮廓图像R_i，整个足球比赛视频中的球员轮廓将相应表示为v_r＝{r₁,r₂,…,r_T}。

为了提高计算效率，本发明技术方案等距划分每个球员轮廓图像为h×w个互不重叠的子块。然后用N_i＝b(i)/mv,i＝1,2,…,h×w计算每个子块的归一化值，其中，b(i)是第i个分块的前景像素数目，mv是所有b(i)的最大值。在空间中，第t帧的球员轮廓的描述 符为f_t＝[N₁,N₂,…,N_h×w]^T，整个视频中的球员轮廓相应表示为vf＝{f₁,f₂,…f_T}。事实上，原始球员轮廓表示v_r可以被视为一种基于块特征的特例，即分块大小是1×1，一个像素。

球场线特征提取

球场线蕴含了重要的球场坐标信息。球场线的提取结果，可以直接用于摄像机定标、球场重建和计算球员在真实场景中的坐标等。在提取球场线特征的过程中，先将足球比赛视频图像转化为二值图，再利用Hough变换初步提取出球场线的坐标参数特征，最后用灰度拟合求出精确的直线坐标。用Hough变换进行直线特征提取时，可用距离矢量d＝xcosθ+ysinθ来表示。其中，d的取值范围为视频图像对角线的长度l，即d∈[-l,l]；θ为垂线与x轴的夹角，θ∈[0,π]。x和y表示像素点的二维坐标。用整数数组k定义以d和θ为下标的参数空间，并设定阈值为th，应用Hough变换进行统计计算时，如果k＞th，则判定下标d和θ对应的曲线为直线。由于计算出的d的值可能为负，因此，下标d改写为d＝d+l。具体步骤如下：

Step 1：构造并初始化sin和cos函数查找表。

Step 2：对二值图像上的每个非背景点(白点)，利用d＝xcosθ+ysinθ计算出每个θ对应的d值，并计算出d＝d+l和k＝k+1。

Step 3：将数组k中值大于th的所有下标d和θ寻找出来，再计算出d＝d-l。

Step 4：由于在待检测的二值图像中，球场线没有经过细化，有一定的宽度，在进行Hough变换时，会导致一条直线会同时得到几组相似的d和θ。如果有相似的d和θ，只保留其中一组。

Step 5：设经过Hough变换后得到的球场线的两个端点的坐标分别为(x₀,y₀)和(x₁,y₁)。用((x₀+sinθ(f-m×i),y₀-cosθ(f-m×i))和((x₁+sinθ(f-m×j),y₁-cosθ(f-m×j))分别计算出灰度图像中的点i和点j之间线段所经过的像素点的灰度值均值Mean_i,j。其中，f表示拟合的范围；m为拟合步长，计算出的Mean_i,j最大时对应的i′,j′所确定的线段即可认为是最优的球场线。图3为用Hough变换确定球场线特征。

球员和球的轨迹特征提取

在球员和球的轨迹特征提取过程中，将足球比赛视频分成包含特定数量的视频帧的小片段。提取球员和球的轨迹时以片段为基本单位，即处理的轨迹的长度不超过片段的视频帧数目。在得到每帧足球比赛视频图像的运动目标的候选区域后，首先在时空域中寻找视频中连续三帧图像某位置附近都出现的运动目标。以连续三帧图像中 的第二帧对象位置为中心，在前后帧中寻找落入该位置附近的候选区域。找到这样的连续三帧图像后，判断其运动目标是否包含在已存在的轨迹中。如果没有，就用该连续三帧图像中的运动目标来初始化新的轨迹，并记录好每个轨迹点的位置。得到新轨迹后，用卡尔曼滤波器对轨迹进行预测。预测方程为：

$\left\{\begin{array}{c}{X}_t={\mathrm{AX}}_{t-1}+{\mathrm{\&gamma;}}_t\\ O_t={\mathrm{BX}}_t+{\mathrm{\&kappa;}}_t\end{array}\right.---\left(2\right)$

其中，X_t＝AX_t-1+γ_t为系统运动方程；O_t＝BX_t+κ_t为系统观测方程；X_t、O_t表示时刻t的系统状态向量和系统状态测量向量；γ_t和κ_t表示时刻t相互独立的正态分布的运动和测量噪声向量。A和B表示状态转移矩阵和测量矩阵。选择运动目标的中心位置作为系统状态测量向量，选取运动目标的中心位置和其运动速度为系统状态向量。则可得：

$X=\left[\begin{array}{c}x\\ v_x\\ y\\ v_y\end{array}\right],O=\left[\begin{array}{c}x\\ y\end{array}\right],A=\left[\begin{array}{cccc}1& 1& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 1\\ 0& 0& 0& 1\end{array}\right],B=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right]---\left(3\right)$

其中，(x,y)表示运动目标的中心位置，v_x和v_y表示运动目标在x和y方向上的运动速度。卡尔曼滤波器预测结果如图4所示，预测过程'+'表示真实值，'○'表示预测值。

运动目标的轨迹在新一帧图像中对应的位置通过卡尔曼滤波器进行预测，并在该帧图像中搜索靠近该位置的候选运动目标。如果运动目标存在，则延长该运动目标的轨迹到此帧，并以此候选运动目标的中心作为轨迹在该帧中位置。如果搜索不到相应的候选运动目标，则说明这条轨迹所对应的运动目标在此帧漏检、被遮挡或消失。当漏检或被遮挡的帧数没有超过阀值时，延长运动目标的轨迹到此帧，轨迹在该帧的位置用卡尔曼滤波器的预测值替代；当漏检或被遮挡的帧数超过阀值时，认为这条轨迹在视频中已消失，则停止轨迹生长。通过轨迹生长，就能从足球比赛视频片段中得到多条候选运动目标(包括运动目标和噪声)生成的轨迹，如图5中第一个图所示，其中A和C轨迹为两球队球员运动轨迹；D轨迹为足球运动轨迹，足球在空中飞跃时，将其轨迹映射到球场；E轨迹为裁判运动轨迹；B轨迹为噪声生成的轨迹。由于产生的轨迹中

部分是由噪声生成的。所以必须从中选择出真实的运动目标对应的轨迹。

定义真实运动目标生成的轨迹的集合为C_t。初始化集合C_t，集合C_t中的元素为所有 轨迹，即C_t＝{T_i,i∈[1,N]}，其中，T_i表示当前足球比赛视频片段断中第i条轨迹，N表示当前足球比赛视频片段中轨迹的总数。任意选取足球比赛视频片段中的两条起始帧不同的轨迹T_u和T_v，K_s,u、K_e,u、K_s,v和K_e,v分别对应于它们的起始帧和结束帧，并设K_s,u≤K_s,v。当轨迹T_u的结束帧大于轨迹T_v的起始帧时，即K_e,u≥K_s,v，则轨迹T_u和T_v在时空域相交，即T_u∩T_v≠φ；反之，则认为这两条轨迹是分离的。在足球比赛视频片段中，运动目标的轨迹通常较长，而噪声产生的轨迹较短。因此，当两条轨迹相交时，运动目标的轨迹取较长的轨迹。则有：

$C_t=\left\{\begin{array}{ccc}{C}_t-\left\{T_u\right\},& \mathrm{if}& (K_{e,u}-K_{s,u}<K_{e,v}-K_{s,v})^(T_u\&cap;T_v\&NotEqual;\mathrm{\&phi;})\\ C_t-\left\{T_v\right\},& \mathrm{if}& (K_{e,u}-K_{s,u}\&GreaterEqual;K_{e,v}-K_{s,v})^(Y_u\&cap;T_v\&NotEqual;\mathrm{\&phi;})\end{array}\right.---\left(4\right)$

通过选择轨迹，最终得到了运动目标轨迹的集合C_t，如图5中第二个图所示。C_t中包含了相互分离的轨迹，即轨迹之间存在着漏检的帧。球场上运动目标之间的相互遮挡以及运动的方向和速度的突然改变是造成漏检帧的主要原因。要得到足球比赛视频片段的完整的轨迹，就必须对这些分离的轨迹进行连接。

首先计算出轨迹T_u和T_v在区间中的预测值和然后搜寻预测区间内两条轨迹之间距离最近时的两点，对应于轨迹T_u上的a帧和T_v上的b帧。则有：

$\left\{\begin{array}{c}(a,b)=\underset{a,b}{\arg \min }\mathrm{dist}({\hat{p}}_{a,u},{\hat{p}}_{b,v})\\ a\&le;b,\\ K_{s,u}\&le;a\&le;K_{e,v},\\ K_{s,u}\&le;b\&le;K_{e,v}.\end{array}\right.---\left(5\right)$

当a≥b时，分别用轨迹T_u在该区间的预测值和轨迹T_v的预测值表示a帧之前漏检的运动目标的位置和a帧之后漏检的运动目标的位置；用它们的均值表示a帧运动目标的位置。即：

$p_k=\left\{\begin{array}{cc}{\hat{p}}_{k,u}& K_{e,u}\&le;k<a\\ ({\hat{p}}_{k,u}+{\hat{p}}_{k,v})/2& k=a\\ {\hat{p}}_{k,v}& a<k\&le;K_{s,v}\end{array}\right.---\left(6\right)$

当a＜b时，a帧前后的漏检的运动目标的位置的表示与a≥b时相同，而a与b之间的帧中运动目标的运动较小，可用线性插值得到较为准确的运动目标的位置。

$p_k=\left\{\begin{array}{cc}{\hat{p}}_{k,u}& K_{e,u}\&le;k\&le;a\\ (k-1)({\hat{p}}_{b,v}-{\hat{p}}_{a,u})/(b-a)& a<k<b\\ {\hat{p}}_{k,v}& b\&le;k\&le;K_{s,v}\end{array}\right.---\left(7\right)$

通过连接可以准确地填充好轨迹间的漏检运动目标的位置，生成了完整的运动目标的轨迹。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种足球比赛视频中的多运动员的行为特征提取方法，其特征在于，包括：

a、颜色的分类、分割及特征提取；

b、颜色分类的鲁棒性处理。

2.根据权利要求1所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述步骤a，具体包括：

⑴对待处理的足球比赛图像运用色彩分类和分割：假定以前的颜色分类学习集包括绿色场地集、球队服装集和其它集，视觉感知模块首先将彩色图像像素映射到各自的分类，然后用形态运算对同一类颜色分组区域进行去噪来发现感兴趣的区域；

⑵通过图像斑块产生的特征来特征化感兴趣的对象，用已有的颜色区域和彩色斑块作为定义某些图像处理操作处理的感兴趣的复杂区域；

⑶得到感兴趣的颜色区域后，提取该区域的颜色矩作为颜色特征，在HIS颜色空间中，各分量的中心矩用式(1)来计算：

$\left\{\begin{array}{c}{M}_1=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}X\left(p_i\right)\\ M_2={\left[\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(X\left(p_i\right)-M_1)}^2\right]}^{1/2}\\ M_3={\left[\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(X\left(p_i\right)-M_1)}^3\right]}^{1/3}\end{array}\right.---\left(1\right)$

其中，X表示HIS颜色空间中的H、I和S分量；H(p_i)表示图像p的第i个像素的X值；N为图像像素的数目。

3.根据权利要求1或2所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述步骤b，具体包括：

采用期望最大化的方式来分割彩色类中的绿色场地，通过给出球场模型和估计摄像机参数来确定这些区域必定是绿色场地；

提取这些区域中的像素来估计绿色场地颜色类；

然后用这种颜色模型来估计摄像机的参数。

4.根据权利要求3所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述提取这些区域中的像素来估计绿色场地颜色类的操作，进一步包括：

球员轮廓特征提取；

球场线特征提取；

球员和球的轨迹特征提取。

5.根据权利要求4所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述球员轮廓特征提取的操作，更进一步包括：

给定一个T帧的足球比赛行为视频v＝{I₁,I₂,…,I_T}，从原始视频中获得与之相关的行为轮廓序列S_s＝{s₁,s₂,…,s_T}；在保持球员轮廓宽高比不变的基础上，对球员的轮廓图像进行中心化和归一化，使所产生的结果图像RI＝{R₁,R₂,…,R_T}包含尽可能多的前景；在不使动作发生变形的情况下，所有输入视频帧有相同的维数r_i×c_i；

等距划分每个球员轮廓图像为h×w个互不重叠的子块，用N_i＝b(i)/mv,i＝1,2,…,h×w计算每个子块的归一化值，其中，b(i)是第i个分块的前景像素数目，mv是所有b(i)的最大值；

在空间中，第t帧的球员轮廓的描述符为f_t＝[N₁,N₂,…,N_h×w]^T，整个视频中的球员轮廓相应表示为vf＝{f₁,f₂,…f_T}。

6.根据权利要求4所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述球场线特征提取的操作，更进一步包括：

⑴在提取球场线特征的过程中，先将足球比赛视频图像转化为二值图，再利用Hough变换初步提取出球场线的坐标参数特征，最后用灰度拟合求出精确的直线坐标；

⑵用Hough变换进行直线特征提取时，用距离矢量d＝xcosθ+ysinθ来表示；其中，d的取值范围为视频图像对角线的长度l，即d∈[-l,l]；θ为垂线与x轴的夹角，θ∈[0,π]；x和y表示像素点的二维坐标；

⑶用整数数组k定义以d和θ为下标的参数空间，并设定阈值为th，应用Hough变换进行统计计算时，如果k＞th，则判定下标d和θ对应的曲线为直线，下标d改写为d＝d+l。

7.根据权利要求6所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述步骤⑶，具体步骤如下：

Step 1：构造并初始化sin和cos函数查找表；

Step 2：对二值图像上的每个非背景点，利用d＝xcosθ+ysinθ计算出每个θ对应的d值，并计算出d＝d+l和k＝k+1；

Step 3：将数组k中值大于th的所有下标d和θ寻找出来，再计算出d＝d-l；

Step 4：由于在待检测的二值图像中，球场线没有经过细化，有一定的宽度，在进行Hough变换时，会导致一条直线会同时得到几组相似的d和θ；如果有相似的d和θ，只保留其中一组；

Step 5：设经过Hough变换后得到的球场线的两个端点的坐标分别为(x₀,y₀)和(x₁,y₁)，用((x₀+sinθ(f-m×i),y₀-cosθ(f-m×i))和((x₁+sinθ(f-m×j),y₁-cosθ(f-m×j))分别计算出灰度图像中的点i和点j之间线段所经过的像素点的灰度值均值Mean_i,j；

其中，f表示拟合的范围；m为拟合步长，计算出的Mean_i,j最大时对应的i′,j′所确定的线段即可认为是最优的球场线。

8.根据权利要求4所述的足球比赛视频中的多运动员的行为特征提取方法，其特征在于，所述球员和球的轨迹特征提取的操作，更进一步包括：

在球员和球的轨迹特征提取过程中，将足球比赛视频分成包含特定数量的视频帧的小片段；

提取球员和球的轨迹时以片段为基本单位，即处理的轨迹的长度不超过片段的视频帧数目；

在得到每帧足球比赛视频图像的运动目标的候选区域后，首先在时空域中寻找视频中连续三帧图像某位置附近都出现的运动目标；

得到新轨迹后，用卡尔曼滤波器对轨迹进行预测，预测方程为：

$\left\{\begin{array}{c}{X}_t={\mathrm{AX}}_{t-1}+{\mathrm{\&gamma;}}_t\\ O_t={\mathrm{BX}}_t+{\mathrm{\&kappa;}}_t\end{array}\right.---\left(2\right)$

其中，X_t＝AX_t-1+γ_t为系统运动方程；O_t＝BX_t+κ_t为系统观测方程；X_t、O_t表示时刻t的系统状态向量和系统状态测量向量；γ_t和κ_t表示时刻t相互独立的正态分布的运动和测量噪声向量，A和B表示状态转移矩阵和测量矩阵；

选择运动目标的中心位置作为系统状态测量向量，选取运动目标的中心位置和其运动速度为系统状态向量，则得到：

$X=\left[\begin{array}{c}x\\ v_x\\ y\\ v_y\end{array}\right],O=\left[\begin{array}{c}x\\ y\end{array}\right],A=\left[\begin{array}{cccc}1& 1& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 1\\ 0& 0& 0& 1\end{array}\right],B=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right]---\left(3\right)$

其中，(x,y)表示运动目标的中心位置，v_x和v_y表示运动目标在x和y方向上的运动速度；

运动目标的轨迹在新一帧图像中对应的位置通过卡尔曼滤波器进行预测，并在该帧图像中搜索靠近该位置的候选运动目标，从中选择出真实的运动目标对应的轨迹；

定义真实运动目标生成的轨迹的集合为C_t，初始化集合C_t，集合C_t中的元素为所有轨迹，即C_t＝{T_i,i∈[1,N]}，其中，T_i表示当前足球比赛视频片段断中第i条轨迹，N表示当前足球比赛视频片段中轨迹的总数；

任意选取足球比赛视频片段中的两条起始帧不同的轨迹T_u和T_v，K_s,u、K_e,u、K_s,v和K_e,v分别对应于它们的起始帧和结束帧，并设K_s,u≤K_s,v；当两条轨迹相交时，运动目标的轨迹取较长的轨迹，则有：

通过选择轨迹，最终得到了运动目标轨迹的集合C_t，C_t中包含了相互分离的轨迹，即轨迹之间存在着漏检的帧；

要得到足球比赛视频片段的完整的轨迹，就必须对这些分离的轨迹进行连接：

首先计算出轨迹T_u和T_v在区间[K_e,u,K_s,v]中的预测值和然后搜寻预测区间内两条轨迹之间距离最近时的两点，对应于轨迹T_u上的a帧和T_v上的b帧，则有：

$\left\{\begin{array}{c}(a,b)=\underset{a,b}{\arg \min }\mathrm{dist}({\hat{p}}_{a,u},{\hat{p}}_{b,v})\\ a\&le;b\\ K_{s,u}\&le;a\&le;K_{e,v},\\ K_{s,u}\&le;b\&prime;K_{e,v}.\end{array}\right.---\left(5\right)$

当a≥b时，分别用轨迹T_u在该区间的预测值和轨迹T_v的预测值表示a帧之前漏检的运动目标的位置和a帧之后漏检的运动目标的位置；用它们的均值表示a帧运动目标的位置，即：

$p_k=\left\{\begin{array}{cc}{\hat{p}}_{k,u}& K_{e,v}\&le;k\&le;a\\ ({\hat{p}}_{k,u}+{\hat{p}}_{k,v})/2& k=a\\ {\hat{p}}_{k,v}& a<k\&le;K_{s,v}\end{array}\right.---\left(6\right)$

当a＜b时，a帧前后的漏检的运动目标的位置的表示与a≥b时相同，而a与b之间的帧中运动目标的运动较小，用线性插值得到较为准确的运动目标的位置；

$p_k=\left\{\begin{array}{cc}{\hat{p}}_{k,u}& K_{e,u}\&le;k\&le;a\\ (k-a)({\hat{p}}_{b,v}-{\hat{p}}_{a,u})/(b-a)& a<k<b\\ {\hat{p}}_{k,v}& b\&le;k\&le;K_{s,v}\end{array}\right.---\left(7\right)$

通过连接准确地填充好轨迹间的漏检运动目标的位置，生成完整的运动目标的轨迹。