CN101354786B - 一种体育视频事件分析方法 - Google Patents

Abstract

一种体育视频事件分析方法，包含通过提取场地中的标识线及场景分类方法识别事件发生的场地区域，对比赛事件的线路模式进行分类；通过对多对象轨迹的交互分析，针对比赛事件生成球和队员的交互轨迹，据此对比赛事件的交互模式进行层次化的由粗至细分析；最终，形成摘要性质的战术模式总结，呈现给用户。本发明对视频事件中队员(队伍)在完成一次战术动作时所采用战略方法进行从专业角度自动分析，以简洁、清晰的方式呈现出来，给教练和队员的学习和训练以帮助。

Description

一种体育视频事件分析方法

技术领域

本发明涉及视频分析、图像处理及视觉处理领域，更进一步涉及体育视频理解与分析领域。

背景技术

随着数字技术的发展，视频数据也开始呈现爆炸性增长的趋势。作为数字视频中重要的一类资源，体育(广播)视频的内容分析引起了越来越多的关注。鉴于体育视频所具有的广泛观众群及内容分析技术所具有的广阔潜在市场，针对体育视频所开展的内容(事件)分析研究也取得了层出不穷的成果。

纵观目前所提出的体育视频内容分析方法与技术，其目的均是提取出视频中的精彩事件(片断)，如足球视频中的射门事件。这些方法对于普通观众或用户而言是足够的，但对于诸如队员、教练这些从事体育工作的专业人员而言，这样的分析结果则意义很小，不能为其提供专业角度的分析结果以帮助训练、学习等。因此需要一种能够依据视频数据对体育比赛中各队所使用的战术、战略进行自动分析和总结的方法——体育视频事件中的战术分析，通过计算机的自动处理对体育比赛中各队所使用的战术、战略事件进行理解、总结，将分析的战术模式(方法)呈现给体育专业人士。

发明内容

本发明目的是提供一种体育视频事件自动战术分析方法，其针对提取出的比赛事件，对事件视频中的运动对象(队员、球等)、静止对象(场地线)进行分析，构建对事件内容的战术表达模式，从而得到事件的战术方法，以形成摘要性质的战术总结，呈现给用户。

为实现上述目的，根据本发明的一个方面，提供了一种体育视频事件的战术分析方法，包括下列步骤：

识别事件发生场地区域，并分类；

生成球和队员的交互轨迹；

基于已分类的事件发生场地区域和交互轨迹，对事件中的战术模式进行线路模式分类和交互模式分类。

根据本发明的另一方面，线路模式分类为根据每类事件发生场地区域的数目对队员及球的路线进行确定的。

根据本发明的再一方面，交互模式分类为根据交互轨迹内是否含有球的轨迹片断分为协同方式和个人方式。

本发明的优点在于对视频事件中队员(队伍)在完成一次战术动作(任务)时所采用战术、战略方法进行自动分析、总结，以简洁、清晰的方式呈现出来，使教练和队员等体育专业人士及体育爱好者能够对事件线路模式和交互模式一目了然。

附图说明

图1体育视频事件战术分析方法流程图。

图2个人进攻模式中交互轨迹的空间分布特征。

具体实施方式

本发明对体育视频事件进行战术自动分析，下面以足球“射门”事件为例结合附图1对本发明作进一步地描述。

本发明从事件提取10开始，利用视频、音频及外部文本信息等多模态特征从整场体育比赛中提取出完整比赛事件20。

然后进行战术信息提取30。通过分析每个区域在整个球场的位置，将区域分为边路区域与中路区域。对于输入的事件片断，通过对场地内的标识线(如球门线、中圈)进行检测，利用竞争网络技术识别事件视频的每一帧发生的场地区域，并判断该区域是属于边路区域还是中路区域。此操作不仅可以利用上面所提到的标识线与竞争网络的方法实现，也可以利用视频内的其他标志物及摄像机运动原理采用场景分类的方法识别场地区域。为了对区域的判断正确率更高，可以基于帧间的连续性将识别出的场地区域进行标号，形成一个区域标号序列，再供给战术分析50之用。

对输入的体育视频事件提取其中的远镜头(far-view)片断，并对片断中的运动对象采用多目标跟踪方法获取片断视频中多目标轨迹。交互轨迹基于多目标轨迹分析，用于对比赛中各队员之间及队员与球之间交互关系进行描述。运动对象轨迹也可以通过诸如传感器、视觉特征分析等各种其他方法获得。目标轨迹所表示的目标位置都是视频帧内位置，考虑到体育视频中大量的相机运动，这些目标位置无法正确反映目标在时序上的前后关系。为此，发明人采用全局运动估计方法将视频序列中的相机运动去除，利用帧间的全局运动映射函数将轨迹映射到事件视频序列的第一帧，使得所有的轨迹均被映射到统一的空间坐标系中，这种方法也称之为Mosaic方法，处理后的轨迹称为Mosaic轨迹。

基于多目标的Mosaic轨迹，对目标间的交互关系进行分析，具体针对“射门”事件的交互关系就是队员-队员间的交互及队员-球间的交互。考虑到足球比赛的领域知识，所有比赛进行过程中的战术模式最终都将作用于“球”这一目标加以实现，所以在进行交互分析时，球的轨迹是主要考查的对象。

下面对生成交互轨迹算法中采用的度量变量进行详细解释：

对于时间间隔i，给定球的轨迹片断为 $l_b^i=\{u_1,...,u_m\},$ 第j个队员轨迹片断为 $l_{p_j}^i=\{v_1,...,v_m\},$ 其中u和v表示对象轨迹中一个二维位置点，则球与队员轨迹间的距离量度

定义为

$D_{b,p_j}^i=\exp \{-\frac{1}{m}{\mathrm{\Σ}}_{k=1}^m\left|\right|u_k-v_k\left|\right|\}---\left(1\right)$

其中‖u-v‖表示u和v的欧氏距离。

形状度量

是基于轨迹片断中各位置点的曲率进行定义，对于

与

其对应的曲率序列为 $c_b^i=\{a_1,...,a_m\}$ 和 $c_{p_j}^i=\{b_1,...,b_m\},$ 则

定义为

$H_{b,p_j}^i=\exp \{-\frac{1}{m}{\mathrm{\Σ}}_{k=1}^m|a_k-b_k|\}---\left(2\right)$

其中|x|表示x的绝对值。

最终，基于和

$l_b^i=\{u_1,...,u_m\}$ 与 $l_{p_j}^i=\{v_1,...,v_m\}$ 的相似度度量定义为

$F_{b,p_j}^i=D_{b,p_j}^i\text{\·}{H}_{b,p_j}^i---\left(3\right)$

利用Mosaic轨迹 $\mathrm{MT}=\{l_b\left(t\right),l_{p_1}\left(t\right),...l_{p_n}\left(t\right)\},$ 采用基于时间分割片断的局部时间-空间方法可以实现交互轨迹AT的分析，其具体步骤如下所示：

1.使用高斯平滑算法对输入的Mosaic轨迹 $\mathrm{MT}=\{l_b\left(t\right),l_{p_1}\left(t\right),...l_{p_n}\left(t\right)\}$ 进行噪声去除。

2.按照等时间间隔τ将所有的轨迹划分为k个子集SMT＝{S₁，...，S_k}，其中 $S_i=\{l_b^i\left(t\right),l_{p_1}^i\left(t\right),...,l_{p_n}^i\left(t\right)\},$

表示MT中轨迹l_#(t)的第i个轨迹子片断。

3.对每个时间间隔内的轨迹片断集合，采用距离度量与形状度量对每个队员与球的轨迹进行相似度度量，以选择相应轨迹(队员轨迹或球轨迹)作为交互轨迹对应时间间隔的组成部分，其包括如下步骤：

3.1.初始化i＝1.

3.2.对于Si，计算相似度度量 $F_{b,p_j}^i=D_{b,p_j}^i\·H_{b,p_j}^i,$ 其中

与

(1≤j≤n)分别是对轨迹片断

与

在距离与形状上的度量。

3.3.选择所有

(1≤j≤n)中的最大值

如果

(thres是预先定义的相似度阈值)，选择

作为交互轨迹在时间间隔i的组成部分。否则，选择

作为交互轨迹在时间间隔i的组成部分。

3.4如果i<k，i＝i+1，转步骤3.2。否则转步骤4.

4.根据时间间隔的索引i将所有选择出的轨迹片断边接成交互轨迹AT。

交互轨迹的生成可以根据不同的应用环境及采用的视频类型使用不同于上述的方法。例如，若采用在球场上方架设广角摄像机对比赛过程进行拍摄而得到的视频作为战术分析的输入，则可以不采用本发明中的Mosaic轨迹，而直接利用得到的多对象轨迹进行交互关系分析。另一方面，本发明提出了一种基于时间分割片断的局部时间-空间方法来生成交互轨迹，这一方法是针对广播视频提出的。若采用非局部(即从全局角度对各条轨迹间的距离、形状进行描述)的分析方法同样可以达到生成“交互轨迹”的目的。而且，在生成交互轨迹过程中所使用的特征也可不仅局限在本发明提出的轨迹间距离、轨迹的形状，同样可以采用其它能够对轨迹数据的空间/时间分布进行描述的特征。

基于以上操作形成的战术表达40，本发明进行战术分析50。将战术模式定义了两大类，即线路模式和交互模式。

对线路模式的分析是利用已分类的事件发生场地区域，通过比较边路区域与中路区域的数目来决定线路模式的分类结果：若边路区域多于或等于中路区域，则线路模式被判定为边路进攻模式；反之，则线路模式被判定为中路进攻模式。

对于交互模式的分析，我们基于交互轨迹将其层次化成两个步骤完成，即由粗至细的分类框架。在粗分类过程中，交互模式分为协同进攻和个人进攻。对于给定射门事件G的交互轨迹AT＝{S₁，...，S_n}，其中S_i表示轨迹片断，可以定义粗分类标准C_coarse为

$C_{\mathrm{coarse}}\left(G\right)={\mathrm{\&Sigma;}}_{i=1}^n\mathrm{ball}\left(s_i\right)---\left(4\right)$

其中函数ball(·)定义为

则粗分类模式定义为

在细分类过程中，分别对协同进攻与个人进攻两种模式进行更为精细的分类。对于协同进攻精细分类为有拦截进攻与无拦截进攻两种，方法描述如下。对于给定粗分为协同进攻的事件交互轨迹AT，提取其队员轨迹的子集SAT＝{sp₁，...，sp_m}，则细分类标准C_{fine_c}定义为

$C_{\mathrm{fine}\_c}\left(G\right)={\mathrm{\&Sigma;}}_{i=2}^m[1-\mathrm{\&delta;}(\mathrm{player}\left({\mathrm{sp}}_i\right),\mathrm{player}\left({\mathrm{sp}}_{i-1}\right))]---\left(7\right)$

其中Kronecker函数δ定义为

$\mathrm{\&delta;}(x,y)=\left\{\begin{array}{cc}1& \mathrm{ifx}=y\\ 0& \mathrm{ifx}\&NotEqual;y\end{array}\right.---\left(8\right)$

函数player(x)用来识别轨迹x所属队伍。由此，协同进攻可以被精细分类为

在个人进攻模式中，本发明细分为直接进攻与带球进攻。直接进攻对应于诸如“点球”一类的罚球，而带球进攻则是指由一个队员通过带球避开对方防守队员的拦截完成射门动作的模式。通过对个人进攻模式轨迹的分析，对于直接进攻，其轨迹分布呈直线分布，如图2(a)与(b)所示分别是直接进攻轨迹的三维和二维空间分布；而对于带球进攻，其交互轨迹分布则呈曲线分布，如图2所示(c)与(d)分别是带球进攻轨迹的三维和二维空间分布。因此，本发明采用假设检验的方法来实现对个人进攻的精细分类。对于给定射门事件G的交互轨迹AT＝{S₁，...，S_n}，我们有两个假设：

H₀：f(X，Y|k，c)＝0

H₁：f(X，Y|k，c)≠0                 (10)

其中X＝{x₁，...，x_n}和Y＝{y₁，..，y_n}是轨迹中各点在X和Y方向上的投影分量，即S_i＝{x_i，y_i}。k和c是估计的直线分布参数。利用最小二乘方法，可以求得直线分布的函数表达y＝L(x|k，c)，基于此可以计算AT中各位置点的平均累积误差AE

$\mathrm{AE}={\mathrm{\&Sigma;}}_{i=1}^n[y_i-L\left(x_i\right|k,c)]/n---\left(11\right)$

根据公式(11)，AE越小，表明AT的分布越趋近于直线。由此，可以定义个人进攻的精细分类标准

其中thres是预定义的阈值参数。

基于分析出的战术模式，本发明能够提取出全面反映事件战术的信息展示60给用户，供用户对比赛事件的分析与总结。针对“射门”事件，本发明提取出的信息包括：

进攻/防守队的标识

进攻队员轨迹/防守队员轨迹/球轨迹

线路模式

交互模式

在描述这些具体方法及技术细节时，均是针对足球中的“射门”这一特定事件。但是对于本领域的普通技术人员来说，很显然本发明也可应用于包括橄榄球、曲棍球等多种团体球类比赛项目的多种比赛事件的分析中。而且，在团队球类比赛项目中，“射门”事件只是一种队员个人实施或多人配合完成进攻或防守的实例，其特殊性就在于这一事件和“得分”密切相关，其对所提出的各项技术并没有影响及限制作用。即本发明提出的战术分析技术同样可以应用于非“得分”事件，如广义的“进攻”、“防守”等多种比赛事件。总之，本发明方法也可以应用于其他球类运动战术多种非“得分”事件的分析。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (8)

1.一种体育视频事件分析方法，包括下列步骤：

识别事件发生场地区域，并分类；

生成球和队员的交互轨迹；

基于已分类的事件发生场地区域和交互轨迹，对事件中的战术模式进行线路模式分类和交互模式分类；

其中，所述生成球和队员的交互轨迹包括下列步骤：对输入的体育视频片断中的运动对象获取视频中多目标轨迹，基于多目标轨迹，分析目标间的交互关系，生成交互轨迹；

所述生成交互轨迹的步骤包括：采用能够对轨迹数据的空间和时间分布进行描述的特征来从多目标轨迹中选择出交互轨迹。

2.如权利要求1所述的方法，其特征在于所述识别事件发生场地区域并分类的步骤包括：将每一帧识别出的场地区域进行标号，形成一个区域标号序列。

3.如权利要求1所述的方法，其中，所述特征包括轨迹的形状。

4.如权利要求1所述的方法，其中，所述特征包括轨迹间距离。

5.如权利要求1所述的方法，其特征在于所述线路模式分类是根据每类事件发生场地区域的数目对队员及球的路线进行确定的。

6.如权利要求1所述的方法，其特征在于所述交互模式分类为根据交互轨迹内是否含有球的轨迹片断分为协同方式和个人方式。

7.如权利要求6所述的方法，其特征在于所述协同方式为根据从交互轨迹内提取的队员轨迹的子集内的队员是否属于同一个队，分为有拦截方式和无拦截方式。

8.如权利要求6所述的方法，其特征在于所述个人方式为根据交互轨迹的分布是否趋近于直线，分为直接方式和带球方式。

Images