CN102201052B

CN102201052B - 一种篮球广播视频中场地检测的方法

Info

Publication number: CN102201052B
Application number: CN201010135126.1A
Authority: CN
Inventors: 付萍; 刘剑秋
Original assignee: China Digital Video Beijing Ltd
Current assignee: China Digital Video Beijing Ltd
Priority date: 2010-03-26
Filing date: 2010-03-26
Publication date: 2015-08-19
Anticipated expiration: 2030-03-26
Also published as: CN102201052A

Abstract

本发明提供了一种篮球广播视频中场地检测的方法，通过获取当前帧图像的明显区域掩膜M_F，对获取的明显区域掩膜M_F进行聚类，形成场地初始掩膜mask0，将形成的场地初始掩膜mask0进行霍夫边线检测，提取场地的边缘线段，对所提取的边缘线段进行场地拟合，判断当前帧图像所处的场地位置并检测获取场地边线线段，根据判断所得场地位置和检测所得边线线段确定场地边界交点，获取场地区域，所获取的篮球场地区域为完整的场地区域，从而可以更好的完成依赖于篮球场地检测的比赛战术分析等多种实际应用。

Description

一种篮球广播视频中场地检测的方法

技术领域

本发明涉及体育视频分析技术领域，特别是涉及一种篮球广播视频中场地检测的方法。

背景技术

近年来许多研究人员投入到体育视频分析这个研究领域。体育视频分析研究主要服务于两个大的应用方向：其中之一是基于内容的视频检索与摘要；二是技战术分析与人体运动分析。前者的具体应用包括：语义事件标注、精彩事件提取、结构分析等等，是面向一般的普通用户，可以有效的检索一段较长的体育视频；后者是面对专业用户的，它的目标是帮助教练员制定战术，辅助运动员训练。球和运动员的轨迹提取对于体育视频的技战术分析是非常有用的线索。球场检测对体育视频分析具有非常重要的作用。体育视频场景分类、对象(包括球、运动员和标线等)检测、语义事件标注、精彩事件提取以及运动视频结构分析工作等都很大程度上依赖于球场检测的结果。

对于篮球广播视频，提取运动员的轨迹可以分析比赛中技战术运用、进攻和防御的策略，这样可以帮助运动员和教练员制定战术和训练计划。而运动员的识别很大程度上依赖于篮球场地检测的结果。篮球场地的检测可以在图像上去除观众席等无关比赛的部分，即可以提高了检测速度也可以提高了检测精度。可靠的和准确的场地区域检测对于高级的体育视频分析，比如运动目标的识别与跟踪，是非常重要的。

目前，现有技术采用明显颜色区域检测的方法来检测球场，这种方法虽然能够较好地检测到球场区域，但也有很大的局限性，因为不同的体育比赛球场场地是不同的，即便都是足球比赛，各个球场的颜色也是不尽相同的。更何况篮球场地不像足球场地都是绿色草的颜色，参照图1所示的篮球场地示意图，除了涂有一种主颜色外，还在中圈和罚球圈/禁区(或三秒区)涂有其他单一颜色(明显不同于主颜色)或者其他颜色图案或者其他颜色广告语，参照图2所示的实际比赛的篮球场地，除了在中圈和三秒区涂有其他单一颜色，在场地某些部分还涂有标志性的logo，使得场地不再是一种单一明显颜色。因为，这些除了主颜色外还有其他颜色区域以及运动员的区域，这些区域会包含在用现有技术所提取的场地上，使得场地区域含有无法填充的或大或小的洞，出现在场地边缘则导致边缘线断裂(不连续)，严重的则将导致场地分裂不能完整聚类成一体，获取到的检测区域结果图可以参照图3。

因此，当前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新地提出一种篮球广播视频中场地检测的方法，解决现有技术检测中存在的不能得到完整场地区域的缺陷，以满足实际应用中的需求。

发明内容

本发明所要解决的技术问题是提供一种篮球广播视频中场地检测的方法，用以获取完整的篮球场地区域，更好的完成依赖于篮球场地检测的比赛战术分析等多种实际应用。

为了解决上述问题，本发明公开了一种篮球广播视频中场地检测的方法，所述方法包括：

获取当前帧图像的明显区域掩膜M_F；

对获取的明显区域掩膜M_F进行聚类，形成场地初始掩膜mask0；

将形成的场地初始掩膜mask0进行霍夫边线检测，提取场地的边缘线段；

对所提取的边缘线段进行场地拟合，判断当前帧图像所处的场地位置并检测获取场地边线线段；所述边线线段包括左线、右线和下底边线；所述场地位置包括左半场、中场和右半场；

根据判断所得场地位置和检测所得边线线段确定场地边界交点，获取场地区域。

优选的，所述获取当前帧图像的明显区域掩膜M_F具体包括以下子步骤：

对当前所用篮球场地的几帧图像进行统计，获取场地的颜色作为参考色；

根据所获取的参考色对当前帧图像中各像素点进行RGB和HSI颜色空间的距离度量；其中RGB颜色空间为控制颜色空间，HSI颜色空间为主颜色空间；

将距离度量值与其所对应颜色空间所预置的最大距离值进行比较，获取控制颜色空间明显颜色掩膜M_C和主颜色空间的明显颜色掩膜M_P；

将控制颜色空间明显颜色掩膜M_C和主颜色空间的明显颜色掩膜M_P进行融合获取当前帧图像的明显区域掩膜M_F。

优选的，所述获取当前帧图像的明显区域掩膜M_F还包括：

选最近的几帧图像对场地的参考色进行自适应调整。

优选的，所述对所形成的场地初始掩膜mask0进行霍夫边线检测，提取场地的边缘线段具体包括以下子步骤：

对场地初始掩膜mask0进行索贝尔算子水平操作，获取mask0的水平梯度图；

对所获取的水平梯度图进行霍夫边线检测，提取场地的边缘线段。

更为优选的，场地的参考色是由每个颜色通道的均值来描述的。

优选的，所述方法在对所获取的明显区域掩膜M_F进行聚类之前还包括：

对明显颜色区域掩膜M_F进行形态学操作。

与现有技术相比，本发明具有以下优点：

本发明通过获取当前帧图像的明显区域掩膜M_F，对获取的明显区域掩膜M_F进行聚类，形成场地初始掩膜mask0，将形成的场地初始掩膜mask0进行hough边线检测，提取场地的边缘线段，对所提取的边缘线段进行场地拟合，判断当前帧图像所处的场地位置并检测获取场地边线线段，根据判断所得场地位置和检测所得边线线段确定场地边界交点，获取场地区域，所获取的篮球场地区域为完整的场地区域，从而可以更好的完成依赖于篮球场地检测的比赛战术分析等多种实际应用。

同时，本发明通过选最近的几帧图像对场地的参考色进行自适应调整，避免了在特定比赛中，明显场地颜色也会随着环境因素变化而发生变化，比如光线、气候、场地本身特性(场地损坏)等因素造成的场地检测不准确。

附图说明

图1是本发明背景技术中所述的篮球场地示意图；

图2是本发明背景技术中所述的实际比赛的篮球场地示意图；

图3是本发明背景技术中所述的现有技术获取到的检测区域结果图；

图4是本发明实施例所述的一种篮球广播视频中场地检测的方法流程图；

图5是本发明实施例所述的形成的场地初始掩膜mask0的示意图；

图6是本发明实施例所述的对初始场地掩膜mask0进行索贝尔水平算子操作后得到mask0的水平梯度图；

图7是本发明实施例所述的hough变换检测到一系列的线段的示意图；

图8是本发明实施例所述的根据场地位置和边线线段确定场地边界交点的示意图；

图9是本发明实施例所述的最终得到的检测场地区域的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例：

参照图4，示出了本发明的一种篮球广播视频中场地检测的方法流程图，所述方法具体包括：

S101，获取当前帧图像的明显区域掩膜M_F；

在体育视频处理中，对于场地区域提取比较流行的颜色空间是hue-saturation(色度-饱和度)变量，比如HSI和HSV，还有RGB。本发明中采用RGB和HSI两个颜色空间融合的策略。其中，RGB(也翻译为“红绿蓝”，比较少用)是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色；HSI〔Hue-Saturation-Intensity(Lightness)，HSI或HSL〕颜色模型用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度。

S1，对当前所用篮球场地的几帧图像进行统计，获取场地的颜色作为参考色；

优选的，场地的参考色是由每个颜色通道的均值来描述的。

具体来说，采用统计的方法来估计场地的颜色作为参考色。对于要提取颜色的场地图片样本集，每个颜色通道使用所有像素构建一维平均颜色直方图，确定出每一个一维平均直方图的峰值索引，在峰值索引附近定义一个区间[i_min，i_max]，其中用i代表索引，区间的边界要比峰值索引少n％的像素(这个百分比是实验值)。确定了区间边界，对于每个颜色通道就可以计算出区间内的平均颜色，用M表示均值，比如：r_M g_M b_M H_M S_M I_M作为初始值。Minitial＝[r_M，g_M，b_M，H_M，S_M，I_M]。

优选的，所述获取当前帧图像的明显区域掩膜M_F还包括：

选最近的几帧图像对场地的参考色进行自适应调整。

自适应调整场地的参考色具体为从最近选择的N帧的直方图来计算局部统计。这样会有足够多的明显颜色像素的帧图像被加入到buffer(缓存区)里。构建buffer里的这些帧图像的直方图，通过使用：明显颜色区域里的像素；还有与T_color ^p相近距离的那些像素，并且满足在HSI颜色空间，这些像素的hue值与初始hue值在一定范围之内，因为hue在一些成像条件下对光照具有颜色不变性。从这N帧的均值作为局部均值Mlocal值，更新后的场地的参考色为Mcurr＝w_l*Mlocal+w_i*Minitial，其中w_i≈0.5～1.0，w_l≈1-w_i。

S2，根据所获取的参考色对当前帧图像中各像素点进行RGB和HSI颜色空间的距离度量；其中RGB颜色空间为控制颜色空间，HSI颜色空间为主颜色空间；

采用RGB和HSI两个颜色空间融合的算法做实验完成明显颜色区域的的检测，具体来说使用两个距离度量。Euclidean metric欧几里得度量(L₂范数)，详见方程其中颜色向量x_j和x_k除了HSI之外适用所有的颜色空间，j和k分别是第j个和第k个像素，p表示颜色通道数，在此p为2，l代表每个颜色通道，分别为r和g颜色通道。对于颜色空间HSI，采用cylindrical metric，其中d_int ensity(j，k)＝|I_j-I_K|，S和I分别指saturation(饱和)和intensity(亮度)，j和k是指第j个和第k个像素，θ是两个hue值的最小绝对值差，范围在[0，π]。对于消色差的明显颜色区域和像素，距离d_cylindrical(圆柱距离)被看作与d_int ensity(亮度距离)相等。

S3，将距离度量值与其所对应颜色空间所预置的最大距离值进行比较，获取控制颜色空间明显颜色掩膜M_C和主颜色空间的明显颜色掩膜M_P；

本算法联合使用RGB和HSI颜色空间，其中RGB空间作为控制颜色空间，HSI作为主颜色空间。明显场地颜色是由每个颜色分量的均值来描述的。如RGB空间用r_M g_M b_M；HSI空间用H_M S_M I_M。离线计算这些参数并且可以在线更新。当前帧的场地颜色区域的确定是通过计算每一个像素与控制颜色空间和主颜色空间均值的颜色距离，对于HSI计算Cylindrical distance，对于其他颜色空间计算Euclidean distance。假如一个像素与明显颜色在控制空间的颜色距离小于T_color ^C、在主颜色空间的颜色距离小于T_color ^P，那么这个像素在对应的颜色空间就被认为是一个场地像素。参数T_color ^C和T_color ^P分别是控制颜色空间和主颜色空间的最大颜色允许距离值。

S4，将控制颜色空间明显颜色掩膜M_C和主颜色空间的明显颜色掩膜M_P进行融合获取当前帧图像的明显区域掩膜M_F。

控制颜色空间的明显颜色检测结果掩膜M_C和主颜色空间的明显颜色检测结果掩膜M_P通过融合得到明显颜色区域掩膜M_F。

融合的实现过程为：定义G_C、G_P分别为M_C、M_P中的明显颜色像素比率，G_C、G_P根据图像的尺寸进行归一化，所以区间范围为[0，1]。融合算法的伪代码如下：

If|G_C-G_P|＞T_large

Set M_F＝M_C and call reset weight

elseif G_C＞T_field or G_P＞T_field

if G_C＞G_P

Set M_F＝M_C

else

Set M_F＝M_P

end

else

Set M_F＝M_P

end

融合算法的取舍具体为：当G_C、G_P相差较大时，认为主颜色空间不可靠，放弃M_P，把M_C作为最好的输出结果；当G_C、G_P值都较大时，融合算法选择明显颜色像素数目较多的掩膜图像；其他情况使用主颜色空间M_P。

S102，对获取的明显区域掩膜M_F进行聚类，形成场地初始掩膜mask0；

S103，将形成的场地初始掩膜mask0进行霍夫边线检测，提取场地的边缘线段；

对明显颜色区域掩膜M_F进行形态学操作。

为了去除噪声对明显颜色区域掩膜M_F进行形态学操作，然后聚类，输出聚类后较大面积的blob(团块)，形成场地初始掩膜mask0看参照图5，由于篮球场地非单一明显颜色区域，再加上场上出现的运动员区域，导致mask0内含有无法填充的或大或小的洞以及场地分裂不成一体，这样会导致场地边缘断裂而难以得到完全的边缘性。

针对初始场地掩膜mask0其场地的水平边缘特性比较显著，另外场地里的运动员其垂直特性非常显著，为了避免运动员造成的噪声干扰，所以对初始场地掩膜mask0进行sobel(索贝尔)水平算子操作，得到mask0的水平梯度图参照图6。然后对mask0的水平梯度图进行hough边线检测，提取场地的边缘线段。因为是对其水平梯度图进行hough边线检测，用为数不多的峰值检测就能够得到一个可靠的检测结果，因为其水平边缘性是很显著的，并且克服了噪声。

Hough(霍夫)变换主要是去掉噪声点和链接由于边缘检测而产生的不连续像素，这样就可以检测图像中的线段，实现的是一种从图像空间到参数空间的映射关系。Hough变换的实质是把在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里进行简单的累加统计完成检测任务。

如果参数空间中使用斜截式方程，当直线接近垂直时，直线的斜率接近无穷大，所以参数空间采用直线的标准式方程ρ＝xcosθ+ysinθ，其轨迹是ρθ平面上的正弦曲线。即图像空间中的点对应参数空间中的一条正弦曲线。

对于ρθ参数空间，θ坐标的取值范围为±90°，ρ的坐标范围为±D，D是图像中角点间的距离。坐标(i，j)处的单元(累加器的值为A(i，j))对应于与参数空间坐标(ρ_i，θ_j)相关的方形。图像上的共线点集Q位于参数空间线ρ_i＝xcos θ_j+ysin θ_j上交于点(ρ_i，θ_j)。对于图像上每一个非背景点(x_k，y_k)，随着θ的增加和对应的ρ的求解，给出了由(ρ_i，θ_j)决定的单元累加器A(i，j)中Q的输入。

具体到本发明中，利用hough变换检测图像边线的具体算法步骤如下：

对前面所述的水平梯度图做hough变换，并将变换结果存入hough变换累加器A中；

在hough变换中找到一组有意义的明显峰值是一种挑战。因为数字图像的空间中的量化、hough变换的参数空间中的量化以及典型图像的边缘都不是很直这个事实，hough变换的峰值一般都位于多个hough变换单元中。克服这个问题的一个策略：找到包含有最大值的hough变换单元并记录下它的位置；把第一步中找到的最大值点的临域中的hough变换单元设为零；重复该步骤，直到找到5-10个峰值数为止，或者达到n*max(A(:))这个阈值时为止。n为0.3-0.5之间的数；

一旦在hough变换中识别出了一组候选的峰值，则它们还要留待确定是否存在与这些峰值相关的线段以及它们的起始和结束位置。对每一个候选峰值来说，首先找到图像中影响到峰值的每一个非零点的位置。找到位置相关的像素必须组合成线段，检验像素之间的关系(主要针对连续性)，此时连续性的概念通常基于不连续像素间距离的计算。如果一点和它最接近的相邻点之间的距离没超过某一裂口阈值，就认为点之间的间隔是有意义的。找到裂口，忽视掉小裂口；这将合并被小空白分离的相邻线段。设置一个形成线段的最小阈值，忽视小裂口的总的线段长度比线段最小阈值大的线段则为检测到的线段。裂口阈值一般为0.1*row，线段最小阈值一般为0.15-0.2*row，row为图像的总行数。这些系列点之间忽略小裂口(点与点之间小于裂口阈值就认为是连续的)形成两段连续的线段S0和S1，由于S0小于最小线段阈值，所以这个峰值对应的线段最好输出只有S1。

S104，对所提取的边缘线段进行场地拟合，判断当前帧图像所处的场地位置并检测获取场地边线线段；所述边线线段包括左线、右线和下底边线；所述场地位置包括左半场、中场和右半场；

利用hough变换检测到一系列的线段，如图7所示，检测到八条线段。对于主机位信号的篮球场地：或者是左半场、或者是中场、或者是右半场。所以要从所检测到的一系列线段中选择能代表场地边缘的几条线段，无关的线段不做考虑，这样可以简单快速的进行场地拟合，即准确的判断出该帧图像是处于左半场、中场、还是右半场。

具体实现中，篮球场地下底边缘线的检测：

在图像的行坐标四分之三处往下到底部区域寻找场地的下底边缘线，利用hough变换所检测到的边线，线段的两个端点都位于图像的下四分之一区域都为场地下底边线的候选线段。

候选下底边线会出现的情况：检测不到；检测到一条线段，则认为该线段即为场地下地边线；检测到两条或两条以上时，比较几条线段获取最外围的线段(因为场地内有噪声会产生干扰线段，而最外围的线段才最有可能是边缘线段)作为下底边线。

根据下底边线的θ角，以及先验的篮球场地，可以判定该帧大概处于哪个半场：当θ＜0，该帧图像处于左半场或者中场；当θ＝0，处于中场；当θ＞0，处于右半场或者中场。

篮球场地上部边缘线的检测：在图像的行坐标三分之二以上区域寻找场地的上部边缘线，利用hough变换所检测到的边线，线段的某一个端点位于图像的上三分之二区域都为场地上部边线的候选线段。

候选上部边缘线会出现的四种情况：当候选上边缘线为一条线段时，该线段即被认为是上边缘线；当候选上边缘线为两条或两条以上线段时，并且这几条线段的θ角都相等，则认为是一条线段被检测为几个线，选择其中最长的一条线段作为上边缘线；当候选上边缘线为两条或两条以上线段时，并且这几条线段的θ角不相等，并且θ角都为正或都为负，则对这几条线段进行判断，获取最外围的一条线段作为上边缘线；当候选上边缘线为两条或两条以上线段时，并且这几条线段的θ角不相等，其中θ角有正有负，则对这几条线段进行判断：当θ＞0时，该线段为场地左线的候选线段：当候选左线为一条线段时，则该线段为场地左线；当候选左线为两条或两条以上条线段时，则比较这几条候选左线，获取最外围的线段作为场地左线；当θ＜0时，该线段为场地右线的候选线段：当候选右线为一条线段时，则该线段为场地右线；当候选右线为两条或两条以上条线段时，则比较这几条候选右线，获取最外围的线段作为场地右线。

联合场地上部边线和下底边线以及先验的篮球场地就可以完全判断该帧图像是处于哪个半场：候选上部边缘线为前三种情况时，上边缘线为一条线段的时候该帧图像处于中场；候选上部边缘线为最后一种情况时，如果场地下边缘线的θ＜0，该帧图像处于左半场；如果场地下边缘线的θ＞0，处于右半场。

最外围线段的获取：以图7所示的所检测到的八条线段为例来说明左线外围线段的获取方法。根据前面所介绍的四种情况，左线的候选线段为S1、S6、S7，比较候选左线的几条线段的右端点所在的行坐标，记录下最小的行坐标的端点(Mrow，Mcol)和该端点位于的线段(S1)，然后分别求出S6、S7线上的Mcol列坐标位置处的行坐标位置M6row和M7row，如果Mrow均小于等于M6row和M7row，则S1为左线的最外围线段；如果Mrow大于M6row也大于M7row，则放弃掉该线段，在另外两条候选左线重复上述过程。S1为最终左线的选择。

右线和下底边线的选择原理同左线，也是经过判断获取最外围的线段。

S105，根据判断所得场地位置和检测所得边线线段确定场地边界交点，获取场地区域。

通过判断得出当前帧图像在场地处于哪个场地模式下：左右半场还是中场，并且已经获取了代表场地边线的线段。经过判断知道该帧处于左半场地，场地左线、右线、下底边线都已经确定好，代表三条线的方程就可以确定。根据先验场地图，可以确定出左线和右线交于A点，左线与图像左边界交于E点，右线与图像右边界交于B点，下底边线与图像边界分别交于C点和D点，这样就形成了一个闭合区域ABCDE如图8所示，认为该区域即为篮球场地的检测区域，如图9所示为本发明中最终得到的检测场地区域。

需要说明的是，本实施例中着重介绍了针对篮球广播视频中某一帧图像检测的实现，实际应用中对于连续的广播视频按照本发明所述的方法进行一帧一帧的处理就可以得到检测所需的完整场地区域，从而能够完成依赖于篮球场地检测的比赛战术分析等多种实际应用。

以上对本发明所提供的一种篮球广播视频中场地检测的方法和进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种篮球广播视频中场地检测的方法，其特征在于，所述方法包括：

获取当前帧图像的明显区域掩膜M_F；

根据判断所得场地位置和检测所得边线线段确定场地边界交点，获取场地区域；

其中，所述获取当前帧图像的明显区域掩膜M_F具体包括以下子步骤：

对当前所用篮球场地的几帧图像进行统计，获取场地的颜色作为参考色；场地的参考色是由每个颜色通道的均值来描述的；所述每个颜色通道的均值通过以下方式获取：对每个颜色通道使用所有像素构建一维平均颜色直方图，确定所述一维平均颜色直方图的峰值索引，确定所述峰值索引对应的区间及所述区间的区间边界，采用所述区间边界计算所述区间的平均颜色，将所述平均颜色作为每个颜色通道的均值；

将控制颜色空间明显颜色掩膜M_C和主颜色空间的明显颜色掩膜M_P进行融合获取当前帧图像的明显区域掩膜M_F；

所述获取当前帧图像的明显区域掩膜M_F还包括：

选最近的几帧图像对场地的参考色进行自适应调整；

所述对所形成的场地初始掩膜mask0进行霍夫边线检测，提取场地的边缘线段具体包括以下子步骤：

2.根据权利要求1所述的方法，其特征在于，所述方法在对所获取的明显区域掩膜M_F进行聚类之前还包括：

对明显颜色区域掩膜M_F进行形态学操作。