CN101753852A - 基于目标检测与跟踪的体育比赛动态微型地图 - Google Patents

Abstract

本发明提供一种基于视频目标检测与跟踪的体育比赛微型地图生成技术。其步骤包括，视频信息采集，关键帧序列提取，目标检测与跟踪，坐标变换及图形绘制最终生成体育节目的全局动态微型地图。动态微型地图可从全局上为观众展示体育比赛全景，直观的体现体育比赛中选手的速度、运动轨迹、整体布阵，同时，也可协助解说员评论和教练员布置战术等。

Description

基于目标检测与跟踪的体育比赛动态微型地图

技术领域

本发明涉及到多媒体及模式识别领域，更具体而言，涉及到跟踪体育比赛中运动员和运动器械的运动，识别比赛场地并生成比赛全景动态微型地图的方法和技术。

背景技术

在类似足球、棒球、橄榄球等体育比赛的电视直播中，由于比赛场地面积较大，常使用多台摄像机进行记录，节目编辑则不时选定其中一台摄像机的画面作为直播信号，观众可从不同角度欣赏体育比赛的精彩画面，但这种方式也存在全局场景与局部细节不能兼顾的缺点，即当镜头拉近时观众在欣赏清晰局部画面的同时也丧失了对于比赛全局的感知，使得人们“只见树木，不见森林”，无法实时的从全局观看比赛队伍的阵形变化等信息。若经常切换到全景视角则“最精彩的”比赛细节又无法呈现。

目前，在一些PC游戏中已引入了微型标签式动态地图来解决全局场景与局部细节不能兼顾的问题，如《实况足球》、《星际争霸》等。由于游戏中场景及对象可通过程序读取其确切的坐标位置，故微型地图可利用这些信息直接生成。然而，真实体育比赛直播或转播时无法直接读取运动员和场景的确切空间位置信息，因此PC游戏中的微型地图生成技术无法直接用于电视直播或转播。

本发明通过生成体育比赛动态微型地图的方法解决了体育比赛直播中全局场景与局部细节无法兼顾的问题。虽然本发明不限于体育节目，但特别适合体育节目，因为对观众而言，体育比赛中整体队伍阵形上的各种变化信息经常因各种局部镜头而无法清晰完整的呈现。

发明内容

本发明基于摄像机采集的视频信息、通过关键帧序列生成、目标检测与跟踪、坐标变换、图形绘制等技术生成了体育节目的动态微型地图。微型地图显示比赛全景中所有对象的布局和运动情况。同时，微型地图还可附加统计各种其他数据，例如，运动员的瞬时速度，运动轨迹，奔跑时间等。

为实现上述目标，本发明提出基于视频信息生成体育比赛的动态微型地图，这一技术包括以下步骤：

(1)比赛场景视频信息的获取(100，101)；

(2)视频关键帧提取(106)；

(3)场景目标检测与定位(110)；

(4)场地检测与场景坐标变换(103，104)；

(5)动态微型地图绘制(112)；

附图说明

参照以下详细说明和附图，除了会得到本发明进一步的特点和优点之外，还会对本发明有更全面的了解。

图1为本发明的实施方案，是基于目标检测与跟踪的体育比赛动态微型地图生成方法总流程图；

图2为本发明实施方案中关键帧选取方法流程图；

图3为本发明实施方案中目标检测与跟踪方法流程图；

图4为本发明实施方案中场地检测与提取方法流程图；

具体实施方式

如图1所示，首先对比赛全景进行摄像机采集(101)，获取固定视角的视频信息。由于从摄像机获取的视频信息数据量庞大，故需剔除冗余帧，提取能较好反映全局变化信息的关键帧。因场景中物体的运动与否及运动速度的先验知识未知，一种方法是等间隔时间提取，由于不同类型的体育节目中，体育器械以及选手的运动速度不同，对于低速或静止场景来说等间隔提取增加了冗余帧，导致计算量增加，而间隔时间过大则会错过比赛中运动员快速运动的关键帧。针对这一问题，本发明提出利用区域颜色直方图的变化率作为场景中运动物体的速度情况的估计，区域直方图变化剧烈程度虽然不能体现具体目标的运动速度，但很大程度上反应了场景中目标的整体运动情况，因此其变化率可作为间隔时间的加权系数，进而获得一个“自适应”的关键帧提取方法(106)，提取流程如图2所示。具体步骤是：从视频信息中获取每帧图像(201)，并将颜色模式换算为HSI模式。对图像进行区域划分，选定划分大小为8X8，共64个区域。对每个区域计算颜色直方图(202，203)。对选定帧和前一关键帧计算直方图交集。若直方图交集之和归一化后的值小于80％则定此帧为关键帧(204，205)，否则选取下一帧进行同样操作。

获取关键帧之后，需要对关键帧序列中的目标进行定位。由于体育比赛中运动员的队服颜色是区分不同比赛队伍的重要标志，因此本发明提出了基于Kalman滤波的边缘直方图(EOH)及目标颜色的混合目标定位方法(107，108，109，110，113，114)。边缘方向直方图，是对目标物体中边缘点的边缘方向的一种分布统计，可被用来描述表达目标物。本发明先通过边缘方向直方图法对关键帧序列进行预处理得到初步目标定位结果，再利用运动员队服的颜色信息进行精确定位。

边缘直方图采用Canny边缘算子来计算图像的二值边缘点图，并计算二值图中的每一个边缘点的边缘方向，然后统计出每一个边缘方向的比重得到它的直方图。提取时将方向分成8个方向，每个方向代表22.5角度，用0～7分别代表这8个方向，方向0表示竖直方向，方向4表示水平方向。如果只使用EOH本身在区域内搜索匹配跟踪，需要对搜索区域内每一点都进行计算求取最匹配值，在目标运动速度快的情况下需要很大的搜索窗，从而加大了运算量，并容易受局部极点干扰。使用Kalman滤波方法进行运动估计下一个位置，在预测位置区域很小范围内使用EOH进行匹配，得到新的观测点，并更新Kalman滤波的目标状态估计。在后续帧中寻找最佳匹配本质上就是一个在搜索窗中寻找和参考模型距离最小的过程，为了减少搜索窗中各候选点边缘方向直方图的计算量，可只计算一次边缘点及其方向，计算的区域是当搜索窗移动时目标窗所覆盖的所有点(304，305)。而在边缘方向直方图统计的过程中可采用积分直方图的方法来加速统计运算。

常见的颜色空间有RGB，YUV，HSI等。显示器所使用的大多是RGB模型的颜色，但RGB颜色空间是不均匀的颜色空间，两种颜色之间的知觉差异与它们在颜色空间中两点的欧式距离不成线形比例。HSI模型是基于视觉原理的模型，其中的H属性能较准确的反映颜色种类，对外界光照条件变化敏感度低，对于同一颜色的属性的物体，H具有较稳定的变换范围，本发明使用H分量作为主判断条件，S分量为辅助的判断条件，从而构成双阈值判断，准确定位目标。

首先，对比赛队伍的队服的H和S进行目标颜色的直方图统计得到阈值。在颜色模型的空间中，最终的划分结果应该是某一个子空间，由于在数字系统中，各个参数均为离散的描述，只需要将此空间的离散点再按照相应的逆公式，推回到RGB上的离散点的值。在HSI颜色模型上找到的是一个规则的空间，但当这些点转换到RGB空间中的时候，其对应点不一定存在这样的优秀特性，同时RGB到HSI的转化中有“min”操作计算量大。本发明在从RCB到HSI两模型转化时，制出一个预先存储的对应表(116)，在每次采集到信号进行颜色特征提取的时候，不调用公式进行模型的相互转换的计算，通过查表就可以找到两个模型对应点的关系。经过上述操作，HSI模型只作为中间模型，在采集颜色时才使用了一次。在记录时采用查找表的方式存储目标颜色的RGB值，这使得在验证像素点是否为目标点时，直接查找表值，可提高搜索速度。此外，这种方法不对每一帧图像进行颜色模型的转换，直接在RGB模型下分离目标点，进一步降低计算复杂度。其中查询表以动态稀疏矩阵的方式存储，可进一步优化存储。

经过上述处理，已经将一帧图像中的目标像素分离出来，但得到的还是像素信息，这对于定位来说仍然不够，找出目标像素所组成的区域并确定目标的位置信息才是最终目的。本发明使用四连通性递归算法确定连通域位置。具体递归算法步骤如下：

(1)从原点顺序搜索图像中的像素，直到找到一个目标像素；

(2)将该像素标志为已读i＝0；

(3)i++，如果i＞4，转(7)；

(4)计算0号像素相邻的第i号像素的位置；

(5)如果第i号的位置已经在图像外，即为非法点，转(3)；

(6)检查第i号像素是否为目标像素且未标为已读，是则递归调用本函数，转(2)；

(7)返回原递归点(s)；

(8)继续搜索，若找到一个目标点，转(2)，否则，算法结束。

这种方法，只需扫描一次图像，省去了很多中间过程。计算出连通域后，再根据连通域的分布，结合基于Kalman滤波的EOH检测定位目标位置并记录。目标定位流程如图3所示。

Hough变换是图像处理中一种常见的直线及几何图形提取方法，对于非垂直的固定视角获得的视频信息而言，比赛场地中的边线形状和实际比赛场地平面图都将对应一个坐标变换模型，本发明通过Hough变换检测关键帧中的直线，并通过比赛场地边线的角度确定坐标变换的参数。

具体步骤是，先对关键帧预处理，通过二值化边缘检测并提取的边缘信息(401)。找到预处理帧中的“黑点”也就是要处理的边缘，获取其在直角坐标系的下标(402)，对其进行到极坐标的变换(403)。判断(ρ，θ)与哪个数组元素对应，并让该数组元素加1(404)。再比较数组元素值的大小，最大值对应的(ρ，θ)就是这些共线点对应的直线方程的参数。

确定了关键帧中的直线之后可再通过三维旋转先验的比赛场地形状与检测结果进行匹配获得固定视角的比赛场地视角信息，并计算它们在三维直角坐标系中的变换参数。当坐标变换的参数确定后，之前记录的视频信息中运动员的位置也可通过坐标变换将其位置信息准确反映到场地的平面图中(407，408)。场地检测流程如图4所示。

完成场地检测后，将所有关于场地检测以及运动员在场地中的相对位置信息通过和场地检测相同的坐标变换方法变换后存储在数组中，再用标签的方式将所有位置信息标记在场地的平面地图上，当一帧的所有信息都标记完毕时再更新标记下一帧，最后生成体育比赛的动态微型地图。这里示出并说明本发明的实施方案，本领域的技术人员还可以实施各种不偏离本发明构思与范围的修正。

Claims (8)

1.基于目标检测与跟踪的体育节目动态微型地图生成方法，包括步骤：获取比赛场景视频信息关键帧(106)，场景目标检测与跟踪(107，109，110，114，116)，场地检测与场景坐标变换(103，104，105)，动态微型地图绘制(111，112)。其特征在于将比赛场景全局信息通过动态微型地图的方式显示(115)。

2.按照权利要求1所述方法，获取比赛场景视频信息关键帧包括步骤：对视频帧进行区域划分并对每个区域计算颜色直方图(203，204)，对选定帧和前一关键帧计算直方图交集，通过阈值选定关键帧(205)。

3.按照权利要求1所述方法，分析处理视频信息检测与跟踪场景中的目标包括步骤：基于Kalman滤波的边缘直方图(EOH)目标检测(301，302，303，304，305)与跟踪和基于颜色目标检测与跟踪(306，307，308)相结合的混合目标检测与跟踪(313)方法。

4.按照权利要求3所述方法，其特征在于利用体育比赛场地边线及参赛选手队服各自颜色及纹理特征高度相似的特点，将队服和场地边线颜色纹理特征(307，309，405)单独提出并制定存储表(116)用于目标检测与跟踪的方法。

5.按照权利要求1所述场景检测方法，其特征在于利用检测场地边线并进行坐标变换所获得参数(406，407，408)用于确定运动员及运动器械在动态微型地图中位置的方法。

6.按照权利要求5所述方法，其特征在于所生成地图为动态地图，每个关键帧获取的运动员及运动器械坐标信息以标签更新(112)的方式标记在微型地图上，生成动态的地图。

7.按照权利要求1所述方法，其特征在于动态地图为可嵌入比赛直播画面的动态地图，微型动态地图可放大单独播放也可缩小嵌入画面局部构成反映比赛全局的微型地图。

8.按照权利要求6所述方法，其特征在于动态微型地图利用标签的方法表征体育比赛中的运动员和运动器械。

Images