CN102142147A - 场地内容分析装置和方法及目标检测与跟踪装置和方法 - Google Patents

Abstract

本发明公开了一种场地内容分析装置和方法、以及基于场地内容分析的目标检测与跟踪装置和方法，其中该场地内容分析装置包括：场地范围确定模块，用于通过统计分析图像样本中各个像素点的颜色信息，确定场地范围；背景模型生成模块，用于针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型；以及背景/非背景判断模块，用于利用由背景模型生成模块生成的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。根据本发明的上述技术方案，可以精确、有效地自动完成场地内容分析和/或目标检测与跟踪。

Description

场地内容分析装置和方法及目标检测与跟踪装置和方法

技术领域

本发明涉及图像处理领域，更具体地涉及一种场地内容分析装置和方法、以及基于场地内容分析的目标检测与跟踪装置和方法。

背景技术

在观赏比赛节目时，我们经常需要分析比赛双方选手所选用的队形、进攻策略等信息。这就需要通过分析比赛场地内的场地背景及所有非背景物体(包括比赛用具如足球、篮球，比赛选手，裁判等)的位置、形状等信息以及确定比赛场地内各个选手的运动轨迹信息来完成。

现有的比赛场地内容分析系统或足球选手定位系统，大致分为两种方法：

基于硬件的方法

例如，Addidas公司利用在足球和球员身上增加红外射频信号硬件装置，完成对足球和球员的位置监测与跟踪。该系统利用硬件返回的信号完成对比赛场地内球员和足球的定位，详细信息可以参见网址“http://www.rfidnews.org/2005/10/07/adidas-smart-ball/”和“http://www.footy-boots.com/adidas-smart-ball/”。此外，李岩在题为“足球电子裁判”的中国专利申请No.200610029568.1中提出了一种足球电子裁判系统，该系统由基于硬件的足球定位发射器、场地边角定向发射器、摄像机、雷达测速器、球员定位发射器及场上裁判振动接收器等组成；

由于定位系统基于硬件环境和定位精度不高等问题，使得用户使用十分不便。此外，基于硬件的方法还很难提取赛场背景信息。

基于软件的方法

Utsumi等人在“An Object Detection Method For Describing SoccerGames From Video，IEEE International Conference on Multimedia andExpo，2002.，Pages 45-48，Volume 1”中利用大小限制和最近邻匹配方式，完成了基于单摄像机的球员跟踪系统。其球员检测模块基于固定的大小限制，降低了检测与跟踪结果的正确性。

Jia Liu等人在“Automatic player detection，labeling and trackingin broadcast soccer video，Pattern Recognition Letters，Volume 30，Issue2(January 2009)，Pages 103-113”中提出了基于AdaBoost球员检测与运动轨迹匹配方法的追踪系统。该系统虽然在球员的初始化检测中，可以达到较高的正确率。但这是由于其使用了大量手工标记的训练样本，而这在普通用户的应用中十分不便。此外，由于摄像机移动，多球员互相接近或遮挡等原因，基于运动估计的球员匹配方法的可靠性也较低。

Guangyu Zhu等人在“Automatic Multi-Player Detection andTracking in Broadcast Sports Video Using Support Vector Machine andParticle Filter，International Conference on Multimedia and Expo，ICME，2006”中提出了基于SVM(支持向量机)球员检测与粒子滤波的球员追踪系统。该系统同样使用了大量手工标记的训练样本生成确定球员位置用的定位器。此外，在所有选手追踪过程中，并不能将当前跟踪选手与其他选手进行区分。

Sébastien等人在“3D reconstruction of soccer sequences usingnon-calibrated video cameras，Image Analysis and Recognition，Volume4633/2007，Pages 1254-1264”中提出了一种基于颜色信息的球场内容分析方法：1，利用HLS颜色空间提取图像中颜色属于球场的区域，2，利用图形学方法修补球场区域提取结果。3，利用Hough变换提取比赛场地中的直线与圆。该方法的缺点：1，图形学方法修补球场区域提取结果和Hough变换提取直线与圆计算量大，对大批量数据处理和高分辨率图像过于耗费时间。2，Hough变换提取直线与圆的结果并不准确，并且提取的形状内容信息受到算法的限制。

颜红波等人在题为“一种面向移动设备的足球视频智能播放方法”的中国专利申请No.200810040640.X中提出了一种基于颜色信息的球场内容分析方法：1，在HSV空间建立颜色模型，利用预定义颜色信息提取场地内非背景区域。2，用形状模板提取球与球员的位置。该方法的缺点：1，仅根据当前帧信息判断背景区域，判断条件不具有普适性。2，预定义模板不准确，球场及场地内非背景区域分割效果不理想。

由上可见，现有系统最大的问题在于：自动化程度不高，需要手工修改参数或标定训练样本，完成场地内非背景区域提取或者球员定位与跟踪；以及，仅根据当前图像的信息，对比赛场地内容进行分析，使得比赛场地背景及非背景区域判断准则不可靠。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。但是，应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图用来确定本发明的关键性部分或重要部分，也不是意图用来限定本发明的范围。其目的仅仅是以简化的形式给出关于本发明的某些概念，以此作为稍后给出的更详细描述的前序。

鉴于现有技术的上述情形，本发明的目的是提供一种场地内容分析装置和方法，其能够自动、精确地对图像的场地范围如足球比赛的球场范围内的背景/非背景内容进行类别判断。

此外，本发明的另一目的是提供一种基于场地内容分析的目标检测与跟踪装置和方法，其能够自动、精确地完成图像的场地范围内的目标检测与跟踪。

为了实现上述目的，根据本发明的一个方面，提供了一种场地内容分析装置，其包括：场地范围确定模块，用于通过统计分析图像样本中各个像素点的颜色信息，确定场地范围；背景模型生成模块，用于针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型；以及背景/非背景判断模块，用于利用由背景模型生成模块生成的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。

根据本发明的另一个方面，还提供了一种基于场地内容分析的目标检测与跟踪装置，其包括：背景去除模块，其包括上述场地内容分析装置，用于分析在训练阶段输入的训练图像或在跟踪阶段输入的跟踪图像的场地范围内各个像素点的背景/非背景类别属性，以去除其中的背景；目标检测参数训练模块，用于在训练阶段通过对训练图像中符合预定条件的非背景单连通域进行统计分析来获得目标检测参数；目标检测模块，用于在跟踪阶段针对跟踪图像的场地范围内的每个非背景单连通域，根据由目标检测参数训练模块获得的目标检测参数、以及该非背景单连通域与所有跟踪目标之间的距离来检测待跟踪的新目标；目标区分模块，用于在跟踪阶段针对每个跟踪目标，得到目标相似度图像，其中目标相似度图像中的每个点表示跟踪图像中以对应于该点的位置为中心、与该跟踪目标等大的区域与该跟踪目标的匹配程度；以及目标跟踪模块，用于在跟踪阶段根据由目标区分模块得到的目标相似度图像，对每个跟踪目标进行跟踪。

根据本发明的另一个方面，还提供了一种场地内容分析方法，其包括：场地范围确定步骤，用于通过统计分析图像样本中各个像素点的颜色信息，确定场地范围；背景模型生成步骤，用于针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型；以及背景/非背景判断步骤，用于利用通过背景模型生成步骤生成的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。

根据本发明的另一个方面，还提供了一种基于场地内容分析的目标检测与跟踪方法，其包括：背景去除步骤，用于通过上述场地内容分析方法，分析在训练阶段输入的训练图像或在跟踪阶段输入的跟踪图像的场地范围内各个像素点的背景/非背景类别属性，以去除其中的背景；目标检测参数训练步骤，用于在训练阶段通过对训练图像中符合预定条件的非背景单连通域进行统计分析来获得目标检测参数；目标检测步骤，用于在跟踪阶段针对跟踪图像的场地范围内的每个非背景单连通域，根据通过目标检测参数训练步骤获得的目标检测参数、以及该非背景单连通域与所有跟踪目标之间的距离来检测待跟踪的新目标；目标区分步骤，用于在跟踪阶段针对每个跟踪目标得到目标相似度图像，其中目标相似度图像中的每个点表示跟踪图像中以对应于该点的位置为中心、与该跟踪目标等大的区域与该跟踪目标的匹配程度；以及目标跟踪步骤，用于在跟踪阶段根据通过目标区分步骤得到的目标相似度图像，对每个跟踪目标进行跟踪。

根据本发明的另一个方面，还提供了用于实现上述场地内容分析方法和/或基于场地内容分析的目标检测与跟踪方法的计算机程序产品。

根据本发明的另一个方面，还提供了计算机可读介质，其上记录有用于实现上述场地内容分析方法和/或基于场地内容分析的目标检测与跟踪方法的计算机程序代码。

根据本发明的上述技术方案，可以精确、有效地自动完成场地内容分析和/或目标检测与跟踪。

附图说明

本发明可以通过参考下文中结合附图所给出的详细描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成说明书的一部分，用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1示出了根据本发明实施例的场地内容分析装置的总体结构框图；

图2示出了根据本发明具体实施例的场地范围确定模块的结构框图；

图3示出了由图2中的场地区域判断单元执行的场地区域判断处理的示例性实现流程；

图4示出了图2中的场地区域判断单元对单帧图像样本的判断结果的示例；

图5示出了由图2中的场地范围生成单元执行的场地范围生成处理的示例性实现流程；

图6示出了图2中的场地范围生成单元对多帧图像样本的判断结果、以及图2中的场地范围补偿单元的补偿结果的示例；

图7示出了由图2中的场地范围补偿单元执行的场地范围补偿处理的示例性实现流程；

图8示出了单连通域的周围区域的示例性定义；

图9示出了由图1中的场地标志线生成模块执行的场地标志线生成处理的示例性实现流程；

图10示出了由图1中的场地标志线生成模块生成的场地标志线的示例；

图11示出了像素点的背景颜色分布的示意图；

图12示出了由图1中的背景模型生成模块执行的背景模型生成处理的示例性实现流程；

图13示出了由图1中的背景模型生成模块生成的场地背景图像的示例；

图14示出了由图1中的背景/非背景判断模块执行的背景/非背景判断处理的示例性实现流程；

图15示出了图1中的背景/非背景判断模块的背景/非背景判断结果的示例；

图16示出了根据本发明实施例的基于场地内容分析的目标检测与跟踪装置的总体框图；

图17示出了由图16的背景去除模块中的动态摄像机背景去除模块执行的背景/非背景判断处理的示例性实现流程；

图18示出了图16的背景去除模块中的动态摄像机背景去除模块的背景去除处理的示例；

图19示出了由图16的目标分类方式确定模块执行的主分量分析(PCA)特征计算处理的具体实现流程；

图20示出了由图16的目标分类方式确定模块执行的目标分类方式确定处理的示例性实现流程；

图21示出了球员队属子类生成的示例性示意图；

图22示出了目标分类方式的分布离散程度判断的示例性示意图；

图23示出了由图16的目标检测模块执行的目标检测处理的示例性实现流程；

图24示出了由图16的目标类别判断模块执行的目标类别判断处理的示例性示意图；

图25示出了根据本发明具体实施例的目标跟踪模块的结构框图；

图26示出了由图25中的相似度抑制单元执行的相似度抑制处理的原理示意图；

图27示出了由图25中的相似度抑制单元执行的相似度抑制处理的结果示意图；

图28示出了由图25中的相似度抑制单元执行的相似度抑制处理的结果示例图；

图29示出了图25中的目标跟踪单元以积分图追踪法进行目标跟踪处理的结果示例图；

图30示出了积分图的示例图；

图31示出了以积分图追踪法进行的目标跟踪处理中计算目标框相似度的示例图；

图32示出了以积分图追踪法进行目标跟踪处理的示意图；

图33示出了图25中的目标跟踪单元以积分图追踪法进行目标跟踪处理的具体实现流程；

图34示出了积分图追踪偏差的示例；

图35示出了图25中的目标跟踪单元以Cam-Shift追踪法进行目标跟踪处理的具体实现流程；

图36示出了以Cam-Shift追踪法进行目标跟踪处理的示意图；

图37示出了由图25中的目标跟踪单元对当前跟踪结果执行的修正处理的示例性实现流程；

图38示出了由图1中的丢失判断单元执行的丢失判断处理的示例性实现流程；

图39示出了由图16的跟踪结果显示模块显示的基于静止摄像机的目标跟踪结果的示例；

图40示出了根据本发明实施例的场地内容分析方法的总体流程图；

图41示出了根据本发明实施例的基于场地内容分析的目标检测与跟踪方法的总体流程图；以及

图42示出了在其中可以实现根据本发明实施例的场地内容分析方法和/或装置或者基于场地内容分析的目标检测与跟踪方法和/或装置的信息处理设备的示例性结构的框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其它元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其它细节。

下面将以足球比赛视频为例，对本发明的场地内容分析装置和方法以及基于场地内容分析的目标检测与跟踪装置和方法的具体实施方式进行详细描述。但是，本领域的技术人员应当清楚，本发明并不局限于诸如足球比赛视频的体育视频处理。

在足球比赛视频的情况下，下面表述“球场”或“草地区域”对应于在本文中提到的“场地”，并且下面表述“足球运动员”或“球员”对应于在本文中提到的“目标”。

首先将结合附图详细描述根据本发明实施例的场地内容分析装置。该场地内容分析装置以由静止摄像机拍摄的图像为处理对象。

在足球比赛中，经常可以见到摄像机静止不动，拍摄整幅球场画面的情景。这时，图像中每个像素点对应固定的内容，那么，可以统计画面中各处景物出现的概率。利用对静止背景建模的方式，分析图像中各像素点对应的内容类别，将球场背景与非背景区分开。基于这一设计思想，提出了本发明的场地内容分析装置，其意义在于，(1)保留属于非背景，例如球员等的图像内容，减少背景对后续分析的影响；(2)可协助球员检测与位置搜索等工作只在属于球员范围内的图像中进行，因此，比赛场地内容分析可以用来减小球员检测与跟踪的搜索范围，节省计算时间。

图1示出了根据本发明实施例的场地内容分析装置100的总体结构框图。

如图1所示，根据本发明实施例的场地内容分析装置100主要包括场地范围确定模块110、场地标志线生成模块120(可选)、背景模型生成模块130、背景模型更新模块140(可选)、以及背景/非背景判断模块150。

场地范围确定模块110可以在学习阶段通过统计分析图像样本中各个像素点的颜色信息，确定场地范围。

图2示出了根据本发明具体实施例的场地范围确定模块110的结构框图。如图2所示，场地范围确定模块110可以包括场地区域判断单元210、场地范围生成单元220以及场地范围补偿单元230(可选)。

场地区域判断单元210可以针对每个图像样本，根据该图像样本中主要颜色的判断模型，判断图像样本中的各个像素点是否属于场地区域。

具体地说，在足球比赛视频的情况下，由于球员活动范围仅在草地范围之内，那么仅统计草地范围内的有用信息，可以极大地减少工作量。例如利用B.Han，Y.Hu等人在“Enhanced Sports Video Shot BoundaryDetection Based on Middle Level Features and a Unified Model，IEEETrans.Consumer Electronics，vol.53，no.3，pp.1168-1176，2007”中提出的方法，基于颜色信息，对每帧视频图像中每个像素点完成是否是草地区域的判断。图3示出了示例性实现流程。

如图3所示，首先，在步骤S310，场地区域判断单元210例如利用上面提及的B.Han，Y.Hu等人的文献中提出的方法，生成整幅图像中主要颜色的判断模型。

接下来，在步骤S320，按行、从左到右、从上到下的顺序，依次读入每个像素点的颜色。

接下来，在步骤S330，根据在步骤S310生成的主要颜色的判断模型，判断当前像素点是否是主要颜色。

如果步骤S330的判断结果为“是”，则在步骤S340，判定当前像素点是比赛场地，并且流程进入步骤S360，否则在步骤S350，判定当前像素点不是比赛场地，并且流程进入步骤S360。

在步骤S360，判断是否已处理完所有像素点。如果步骤S360的判断结果为“否”，则返回到步骤S320继续处理下一像素点，否则流程结束。

图4示出了场地区域判断单元210对单帧图像的判断结果的示例图。在该图中，图4(a)为原始图像，图4(b)为判断结果，其中黑色部分表示非比赛场地区域，而白色部分表示比赛场地区域。

场地范围生成单元220可以根据场地区域判断单元210的判断结果，分别针对图像样本中的每个像素点，统计该像素点属于场地区域的概率，并且根据所统计的概率值来确定该像素点是否属于场地区域，从而生成场地范围。

具体地说，对于足球比赛视频图像，从统计规律上讲，比赛场地范围是草地出现概率较高的区域。那么，设定一个固定的最低出现概率阈值。统计若干帧图像中，每个像素点的草地出现概率，即每个像素点属于比赛场地的概率。若大于预定阈值(例如设为20％)，那么该像素点属于比赛场地范围，反之，不属于比赛场地范围。图5示出了示例性实现流程。

如图5所示，首先，在步骤S510，场地范围生成单元220利用场地区域判断单元210对每个图像样本的判断结果，以每个像素点为单位，统计所有图像样本中每个像素点属于比赛场地的概率。

接下来，在步骤S520，按行、从左到右、从上到下的顺序，依次读入每个像素点属于比赛场地的概率。

接下来，在步骤S530，判断当前像素点属于比赛场地的概率是否大于预定阈值。

如果步骤S530的判断结果为“是”，则在步骤S540，确定当前像素点属于比赛场地，并且流程进入步骤S560，否则在步骤S550，确定当前像素点不属于比赛场地，并且流程进入步骤S560。

在步骤S560，判断是否已处理完所有像素点。如果步骤S560的判断结果为“否”，则返回到步骤S520继续处理下一像素点，否则流程结束。

图6(a)示出了场地范围生成单元220对多帧图像样本的判断结果的示例。

可选地，场地范围补偿单元230可以根据各个像素点的场地/非场地类别属性得到单连通域，并且针对每个单连通域，根据其面积及其周围区域的场地/非场地类别属性来修正该单连通域的场地/非场地类别属性，从而对由场地范围生成单元生成的场地范围进行补偿。

具体地说，从图6(a)中可以看出，由于白线、球员、场地范围内的杂物以及噪音等因素的影响，球场范围的判断结果中有空白的部分，即球场范围(图像中白色区域)内的黑色部分，球场外也有误判断的部分，即球场范围(图像中白色区域)外的白色部分。因此，需要进一步补偿所生成的球场范围，将属于场地范围内外的两个区域分开，并保持各自的空间连续性。

根据图像的空间连续性，考虑球场范围判定结果中所有类别判断错误的单连通域(例如，设为面积小于图像总面积10％的区域)周围的属性，当前单连通域与其周围区域的属性应该一致，即图像中每个像素，如果是比赛场地范围之内，那么它周围的像素也应是比赛场地范围之内，反之亦然。利用这一特点对球场范围判断结果进行补偿。图7示出了示例性实现流程。

如图7所示，首先，在步骤S710，根据各个像素点的场地/非场地类别属性得到单连通域。

接下来，在步骤S720，针对所得到的每个单连通域，判断其面积是否小于预定阈值。

如果步骤S720的判断结果为“是”，则流程进入步骤S730，否则流程进入步骤S760。

在步骤S730，判断当前单连通域的周围区域是否为比赛场地。在此，单连通域的周围区域例如图8所示进行定义，图中白色区域为单连通域的外接矩形区域，灰色区域定义为周围区域。需要说明的是，单连通域的周围区域的上述定义是示例性的而非限制性的，本领域的技术人员根据具体设计可以对其进行其它定义。

如果步骤S730的判断结果为“是”，则在步骤S740，将当前单连通域设为比赛场地，并且流程进入步骤S760，否则在步骤S750，将当前单连通域设为非比赛场地，并且流程进入步骤S760。

接下来，在步骤S760，判断是否已处理完所有单连通域。如果步骤S760的判断结果为“否”，则返回到步骤S720继续处理下一单连通域，否则流程结束。

图6(b)示出了补偿结果的示例，图中灰色矩形区域以及图6(b)中，相对于(a)黑色区域(球场外噪音区域)内白色置零的部分为补偿结果。

可选地，场地标志线生成模块120可以根据补偿后的场地范围内各个像素点属于场地区域的概率来生成场地标志线。

具体地说，场地标志线，应该是球场范围之内，不属于草地的部分。从统计概率上讲，就是图像中草地范围之内草地出现概率(即，属于比赛场地的概率)低于预定阈值(例如，设为20％)的像素点。图9示出了示例性实现流程。

如图9所示，首先，在步骤S910，场地标志线生成模块120以每个像素点为单位，统计所有图像样本中每个像素点属于比赛场地的概率。

接下来，在步骤S920，按行、从左到右、从上到下的顺序，依次读入每个像素点属于比赛场地的概率。

接下来，在步骤S930，判断当前像素点属于比赛场地的概率是否小于预定阈值并且该像素点在补偿后的比赛场地范围之内。

如果步骤S930的判断结果为“是”，则在步骤S940，判定当前像素点是比赛场地标志线，并且流程进入步骤S960，否则在步骤S950，判定当前像素点不是比赛场地标志线，并且流程进入步骤S960。

在步骤S960，判断是否已处理完所有像素点。如果步骤S960的判断结果为“否”，则返回到步骤S920继续处理下一像素点，否则流程结束。

图10示出了由场地标志线生成模块120生成的场地标志线的示例，其中白色部分为场地标志线。

背景模型生成模块130可以针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型。

具体地说，完成场地范围的确定之后，本发明将背景定义为图像的场地范围中每个像素点出现概率最高的一种颜色。该颜色对应的分布范围定义为判断是否是背景的条件，如图11所示。

首先，统计在学习阶段采集到的所有图像样本，每个像素点的颜色分布信息，利用大量样本的统计参数，得到图像样本的背景模型，以确定每个像素点是否是背景的判断条件。图12示出了示例性实现流程。

如图12所示，在步骤S1210，依次读入在学习阶段采集到的所有图像样本。

接下来，在步骤S1220，按行、从左到右、从上到下的顺序，依次统计图像样本的场地范围内每个像素点所有颜色的出现概率。

接下来，在步骤S1230，确定出现概率曲线上的所有峰值。

接下来，在步骤S1240，以最大的前N个峰值为中心，将所有颜色聚成N类，其中N是预定正整数。

接下来，在步骤S1250，确定N类中峰值最大的一类对应的中心x以及颜色变化标准差δ，其中x为该像素点对应的背景颜色，δ表示该像素点对应的属于背景颜色的色差范围参数。

上述实现流程是以Stauffer，C.Grimson等人在“Adaptivebackground mixture models for real-time tracking，CVPR.1999，Pages 245-252，Vol.2”中提出的建立GMM(高斯混合模型)颜色模型的分布统计方法为例，说明计算得到比赛场地背景模型以及相应的判断每个像素点是否是背景图像的判断条件。需要说明的是，任意一种分布统计方法都可以与本发明方法结合，得到背景模型与相应的背景/非背景判断条件。

利用对图像中每个像素点建立GMM颜色模型的方法，仅针对场地区域范围之内的所有像素点生成比赛场地背景模型以及相应的背景/非背景判断条件。生成结果如图13所示。

这样，通过背景模型生成模块130的背景模型生成处理，可以得到一幅比赛场地背景图像，以及图像中每个像素点对应的，属于背景颜色的判断条件(例如，公式(1))。

$\mathrm{Result}\left(x\right)=\left\{\begin{array}{cc}\mathrm{background},& \mathrm{if}:x\∈(\stackrel{\‾}{x}\±3\×\mathrm{\δ})\\ \mathrm{notbackground},& \mathrm{if}:x\∉(\stackrel{\‾}{x}\±3\×\mathrm{\δ})\end{array}\right.---\left(1\right)$

其中x表示需判断的每个像素点颜色，background表示判断结果是背景，not background表示判断结果不是背景，x表示该像素点对应的背景颜色，δ表示该像素点对应的属于背景颜色的色差范围参数。

可选地，场地内容分析装置100还可以包括背景模型更新模块140，用于在分析阶段根据当前图像的颜色信息来更新场地背景模型。

具体地说，在分析阶段，每读入一幅新的图像，背景模型更新模块140都用该图像的颜色信息更新当前比赛场地范围之内的背景模型，以及相应的背景和非背景判断条件，以适应比赛场地的变化。更新方式为：

$\left\{\begin{array}{c}\stackrel{\‾}{x_{\mathrm{new}}}=(1-c_1)\×\stackrel{\‾}{x_{\mathrm{old}}}+c_1\×x\\ \stackrel{\‾}{{\mathrm{\δ}}_{\mathrm{new}}^2}=(1-\frac{c_1}{3})\×\stackrel{\‾}{{\mathrm{\δ}}_{\mathrm{old}}^2}+\frac{c_1}{3}\×{(x-\stackrel{\‾}{x_{\mathrm{old}}})}^2\end{array}\right.$

其中x为图像中当前像素点对应的颜色，x_old是现有背景颜色中心，x_new是更新后的背景颜色中心。δ_old ²是现有颜色分布方差，δ_new ²是更新后的颜色分布方差，c₁是属于0到1之间的一个正小数，对应不同场合的背景更新速度，需要对应背景颜色变化速度调节。若背景变化较快，则调大c₁使其接近1以增快学习速度，若背景变化缓慢，则适当减小c₁。

背景/非背景判断模块150可以利用所得到的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。

具体地说，在得到场地范围内的背景模型后，可得到比赛场地范围内每个像素点对应的背景颜色x，以及是否属于比赛场地背景颜色的判断条件(公式(1))。

利用该判断条件，仿照人眼判断类别的方式，以颜色距离为依据，仅在比赛场地范围之内，逐像素使用背景差的方法，判断图像中当前帧颜色x与背景颜色x之间的颜色距离，若该像素为非场地背景，则将判断结果标记为白色，否则将判断结果标记为黑色。图14示出了示例性实现流程。

如图14所示，首先，在步骤S1410，按行、从左到右、从上到下的顺序，依次读入每个像素点的背景颜色x和相应的判断条件。

接下来，在步骤S1420，读入当前图像中该像素点的颜色x。

接下来，在步骤S1430，判断当前图像中该像素点的颜色x是否满足判断条件x∈(x±3×δ)，并且该像素点在比赛场地范围之内。

如果步骤S1430的判断结果为“是”，则在步骤S1440，判定当前像素为比赛场地背景，并将其标记为黑色，并且流程进入步骤S1460，否则在步骤S1450，判断当前像素不是比赛场地背景，并将其标记为白色，并且流程进入步骤S1460。

接下来，在步骤S1460，判断是否已处理完所有像素点。如果步骤S1460的判断结果为“否”，则返回到步骤S1410继续处理下一像素点，否则流程结束。

图15示出了背景/非背景判断模块150的背景/非背景判断结果的示例。

下面将以足球比赛视频中足球运动员区域的位置检测与跟踪为例，详细描述本发明的基于场地内容分析的目标检测与跟踪装置在足球比赛视频中的具体实现方式。但是，本领域的技术人员应当清楚，本发明并不局限于诸如足球比赛视频的体育视频。

图16示出了根据本发明实施例的基于场地内容分析的目标检测与跟踪装置1600的总体框图。如图16所示，目标检测与跟踪装置1600可以包括背景去除模块1610、目标检测参数训练模块1620、目标分类方式确定模块1630、目标检测模块1640、目标类别判断模块1650、目标区分模块1660、目标跟踪模块1670、以及跟踪结果显示模块1680。

背景去除模块1610可以去除在训练阶段输入的训练图像或在跟踪阶段输入的跟踪图像内的背景内容，以便用于后续的目标检测与跟踪。背景去除模块1610可以进一步包括静止摄像机背景去除模块和动态摄像机背景去除模块以分别处理图像是由静止摄像机和动态摄像机拍摄的情况。

对于静止摄像机背景去除模块，其可以由上述场地内容分析装置100构成，其具体实现将不再赘述。

另一方面，对于动态摄像机背景去除模块，由于动态摄像机图像中每一像素点不再对应固定的图像内容，因此不能利用背景出现概率判断图像中每一像素点的内容。但是，对每一幅图像单独处理，利用与上述场地内容分析装置100中的场地区域判断单元210相同的方式，完成场地区域判断，并且得到每个单连通域是否在场地范围之内的判断，用于后续目标检测与跟踪的工作。图17示出了示例性实现流程。

如图17所示，首先，在步骤S1710，对跟踪图像进行场地区域判断。

接下来，在步骤S1720，根据各个像素点的场地区域判断结果，得到单连通域。

接下来，在步骤S1730，针对所得到的每个单连通域，判断该单连通域的面积是否小于预定阈值。

如果步骤S1730的判断结果为“是”，则流程进入步骤S1740，否则流程进入步骤S1770。

在步骤S1740，判断当前单连通域的周围区域是否为比赛场地。

如果步骤S1740的判断结果为“是”，则在步骤S1750，判定当前单连通域在场地范围之内，并且流程进入步骤S1770，否则在步骤S1760，判定当前单连通域在场地范围之外，并且流程进入步骤S1770。

接下来，在步骤S1770，判断是否已处理完所有单连通域。如果步骤S1770的判断结果为“否”，则返回到步骤S1730继续处理下一单连通域，否则流程结束。

在完成每个单连通域的判断之后，提取场地范围内非比赛场地的单连通域作为背景去除的结果。

图18示出了图16的背景去除模块1610中的动态摄像机背景去除模块的背景去除处理的示例，其中(a)为原始图像，(b)为场地区域判断结果，并且(c)为背景去除结果。

目标检测参数训练模块1620可以在训练阶段通过对训练图像中符合预定条件的非背景单连通域进行统计分析来获得目标检测参数。在此，目标检测参数可以包括目标大小、形状、纹理范围参数中的一个或多个。

具体地说，在足球比赛视频的情况下，单一球员被定义为：(1)图像中草地区域范围之内；(2)大小及形状在固定阈值范围之内；(3)纹理与所有球员图像均值误差较小的；以及(4)非草地单连通域。

因此，球员检测需要训练大小、形状和/或纹理三种限制阈值。针对按照球员定义提取出的所有单连通域图像区域，目标检测参数训练模块1620依次计算大小(宽，高)，形状(宽/高)，纹理(图像RGB信息)的均值和方差，通过迭代多次计算得到三套参数的训练结果。

得到训练参数后，三种参数取值大小限制方法统一为：X-3×δ≤X≤X+3×δ。其中X为对应的参数，X为参数均值，δ为参数方差。

此外，大小、形状参数附加约束条件为：

大小：宽≥4像素且高≥6像素，

可选地，目标分类方式确定模块1630可以在训练阶段计算多个目标样本的目标描述特征参数，根据所得到的目标描述特征参数，按照不同的类别数对所有目标样本进行分类，判断每种分类方式对应的分布离散程度，并且将分布离散程度最好的分类方式确定为目标分类方式。

具体地说，在足球比赛视频的情况下，为了体现图像中各球员之间的差异，需要确定描述球员当前状态的参数。这种参数的特点是能对球员的颜色类别，动作姿势，不同球员间的差异进行区分。因此本发明选取球员在HSV(Hue Saturation Value，色相/饱和度/值)颜色空间上的PCA(Principle Component Analysis，主分量分析)特征作为精确区分各球员的参数。图19示出了具体的参数计算流程。

如图19所示，首先，在步骤S1910，输入多个球员图像。接下来，在步骤S1920，按照均值大小将每个球员图像的分辨率归一化。接下来，在步骤S1930，将每个球员图像的RGB颜色转换到HSV空间。接下来，在步骤S1940，将每个球员图像按行接成一个向量。接下来，在步骤S1950，对所有球员向量进行PCA分析。接下来，在步骤S1960，按能量用PCA进行降维以得到各个球员的球员描述特征参数。最后，在步骤S1970，保存所得到的球员描述特征参数。

经过试验证明，本发明所用方法得到的球员描述特征参数，对球员的颜色类别，动作姿势，不同球员间的差异可以进行有效区分。

在得到球员描述特征参数之后，目标分类方式确定模块1630可以进一步确定将两队球员和裁判、以及背景噪音区分开的球员队属判别条件。图20示出了示例性实现流程。

首先，在步骤S2010，计算一定数量的球员描述特征参数。接下来，在步骤S2020，按照算出的球员描述特征参数，将所有球员分成若干子类S1、S2、...Sn，其中n是正整数。接下来，在步骤S2030，将子类S1-Sn分别聚成例如C3、C4、C5、C6、C7类，从而将所有球员分成例如C3、C4、C5、C6、C7类。接下来，在步骤S2040，依次判断C3、C4、C5、C6、C7类对应的分布离散程度。最后，在步骤S2050，将C3-C7中分布离散程度最好的那种分类方式作为最终的球员对属判别方式。

具体地说，在实际应用中，经常会碰到球员描述特征参数不能将所有采集到的球员样本按照队类很好区分开的情况。如图21(b)所示，可以看出B队球员和裁判R两类的参数分布很接近，直接区分很困难。那么我们考虑将B和R两类球员单独提取出，计算BR两类球员对应的参数，如图21(c)所示。可以看到，在新得到的参数分布下，BR两类球员可以很好的区分开了。若分裂两次还不能将所有球员很好区分，我们继续对区分不好的球员生成新的描述参数，继续分裂直到最大子类个数。

实际应用中，由于并不知道当前分布是否能将各类球员很好地区分开，因此本发明直接将所有采集到的球员参数依次分成3，4，5，6，7个子类(实际足球比赛中，所有场上的人只有AB两队，裁判，噪音这四类，分3，5，6，7类是以防裁判和噪音分成1类，或者3，4，5类的情况)，然后从这5种分类结果中，用选择分布离散程度最好的方式，确定最终应将所有样本如何分类。

本发明参考Jianbo Shi等人在“Normalized Cuts and ImageSegmentation，IEEE Transactions on Pattern Analysis and MachineIntelligence，Volume：22page(s)：888-905”中提出的方法依次对各类分布的离散程度得出一个标量对应的表示结果。

如图22所示，(a)、(b)、(c)三列分别表示样本分布以3，2，1类最佳的时候，使用本发明方法依次在分裂成3，2，1个子类时得到最大离散程度判别结果。

目标检测模块1640可以在跟踪阶段针对跟踪图像的场地范围内的每个非背景单连通域，根据由目标检测参数训练模块1620获得的目标检测参数、以及该非背景单连通域与所有跟踪目标之间的距离来检测待跟踪的新目标。

具体地说，在足球比赛视频的情况下，目标检测模块1640可以根据训练好的大小、形状和/或纹理限制范围，在当前帧图像中检测所有单连通域是否为单一球员。当检测到的球员与现在所有正在跟踪的球员距离过大时，认为其是新出现的球员，并对其开始跟踪。图23示出了示例性实现流程。

如图23所示，首先，在步骤S2301，获得草地区域范围之内的非草地单连通域。

接下来，在步骤S2303，判断摄像机是否静止。如果步骤S2303的判断结果为“是”，则在步骤S2305，判断当前非草地单连通域的纹理是否符合要求。

如果步骤S2303的判断结果为“否”或者如果步骤S2305的判断结果为“是”，则在步骤S2307，判断当前非草地单连通域的形状是否符合要求。

如果步骤S2307的判断结果为“是”，则在步骤S2309，判断当前非草地单连通域的大小是否符合要求。

如果步骤S2309的判断结果为“是”，则在步骤S2311，判定当前非草地单连通域是单一球员。

接下来，在步骤S2313，判断当前非草地单连通域是否与现有任意球员位置过近。

如果步骤S2313的判断结果为“否”，则在步骤S2315，判定当前非草地单连通域是新出现的球员，并对其开始跟踪，并且流程进入步骤S2319。

另一方面，如果步骤S2305、S2307或S2309的判断结果为“否”或者如果步骤S2313的判断结果为“是”，则在步骤S2317，判定当前非草地单连通域不是新出现的球员，并不对其开始跟踪，并且流程进入步骤S2319。

接下来，在步骤S2319，判断是否处理完草地区域范围之内的所有非草地单连通域。

如果步骤S2319的判断结果为“否”，则流程返回到步骤S2303，继续处理下一个非草地单连通域，否则流程结束。

目标类别判断模块1650可以在跟踪阶段根据由目标分类方式确定模块1630确定的目标分类方式对目标进行分类，以向最匹配的候选类别投票，并且统计得票最高的类别作为最终的类别判断结果。这样，只要分类次数足够多之后，就可以得到正确的类别判断结果。图24示出了将目标分为N类的情况下进行类别判断的示意图。

目标区分模块1660可以在跟踪阶段针对每个跟踪目标，得到目标相似度图像，其中目标相似度图像中的每个点表示跟踪图像中以对应于该点的位置为中心、与该跟踪目标等大的区域与该跟踪目标的匹配程度。目标区分模块1660可以采用现有的任何目标区分技术来实现。优选地，其可以采用索尼株式会社于2009年2月24日向中国知识产权局提交的、申请号为“2009100053879”的专利申请中提出的目标区分技术来实现。

目标跟踪模块1670可以在跟踪阶段根据由目标区分模块1660得到的目标区分相似度图像，对每个跟踪目标进行跟踪。

图25示出了根据本发明具体实施例的目标跟踪模块1670的结构框图。如图25所示，目标跟踪模块1670可以包括相似度抑制单元2510(可选)、目标跟踪单元2520、丢失判断单元2530、以及特征更新单元2540(可选)。

可选地，相似度抑制单元2510可以针对每个跟踪目标，利用先前目标跟踪结果，基于其跟踪搜索范围内该跟踪目标与其它跟踪目标的位置关系以及非跟踪目标区域，对目标相似度图像进行相似度抑制。

具体地说，相似度抑制单元2510的目的是利用上一帧的跟踪结果减小附近干扰目标或背景噪音对当前跟踪目标匹配度的影响。具体实施方法为：

(1)假设每个目标在相邻帧之间的位置移动距离不会过大，基于前面若干帧的平均帧间移动距离dX，dY及目标宽Width，高Height，横向最小搜索范围M argin_X，纵向最小搜索范围M arg in_Y，如公式2所示，确定当前帧内的横向搜索范围Range_X、纵向搜索范围Range_Y，如图26点划线矩形搜索范围所示，矩形1表示当前目标跟踪框。

$\left\{\begin{array}{c}{\mathrm{Range}}_X=\mathrm{Width}+\stackrel{\‾}{\mathrm{dX}}+M{\arg \mathrm{in}}_X\\ {\mathrm{Range}}_Y=\mathrm{Height}+\stackrel{\‾}{\mathrm{dY}}+M{\arg \mathrm{in}}_Y\end{array}\right.---\left(2\right)$

(2)假设前一帧为第t-1帧，在当前帧第t帧中，目标出现在第t-1帧跟踪结果附近的概率要高，出现在离第t-1帧跟踪结果位置较远的概率要低。那么，如图22所示，以第t-1帧跟踪结果矩形1为基准，以矩形区域为抑制单位，判断各非当前跟踪目标矩形与矩形1的位置关系，并且基于不同的抑制系数对目标相似度图像进行相似度抑制，例如下面公式(3)所示。

Sim_i′＝C_Suppress×Sim_i         (3)

其中，Sim_i是目标相似度图像中干扰目标区域(矩形2，3，4)范围内各点的抑制前目标相似度，Sim_i′是目标相似度图像中干扰目标区域范围内各点的抑制后目标相似度。C_Suppress是抑制系数，根据抑制区域和目标区域的位置关系，大小不同，赋值准则如下面公式(4)所示。

(3)为防止非目标噪音区域对当前相似度的影响，将跟踪搜索范围内所有未被抑制的前景目标相似度乘以0.1，以降低它们对当前跟踪目标的匹配程度。

图27示出了对应于图26的相似度抑制系数分布，其中矩形范围内的小数表示所乘的抑制系数。图28给出了一组实际的相似度抑制效果图。

目标跟踪单元2520可以结合积分图追踪法和Cam-Shift追踪法对跟踪目标进行跟踪。

具体地说，得到抑制完的相似度图像之后，目标跟踪单元2520开始当前帧的跟踪处理。该跟踪处理分成两步按顺序先后进行：

(1)积分图追踪法：大小不变，仅更新位置

优点：搜索面积大，缺点：位置不精确，容易受噪音影响

(2)Cam-Shift追踪法：大小，位置都更新

优点：位置精确，受噪音影响小，缺点：搜索面积较小

下面结合图29-33对积分图追踪法进行描述。

首先，假定目标在相邻帧之间大小不变，即跟踪用的矩形框大小不变。那么，最佳的位置就应该是矩形框所圈图像各像素点相似度之和最大(像素点的值越亮越大)的位置，如图29所示。

为了快速得到最佳的位置，本发明模仿Paul Viola等人在“RapidObject Detection using a Boosted Cascade of Simple Features，ConferenceOn Computer Vision And Pattern Recognition 2001，P 511-518vol.1”中提出的方式，以积分图追踪法进行目标跟踪。

具体地说，仅在目标相似度图像中去完背景后留下的前景区域内(图像中不是纯黑颜色的区域)计算积分图像，这样，得到的积分图像上每一点的信息，是以图像左上角为起点，以该像素点为右下角的左上矩形区域内，所有前景像素点相似度之和，如图30所示。

那么，按照公式(5)计算图像中任意一块矩形区域内的相似度S，如图31所示：

S＝S₄-S₂-S₃+S₁        (5)

这样，不管计算相似度之和的矩形区域包含几个像素点，求这些像素点的和所用的计算量就是1次加法和2次减法。

跟踪方式如图32所示。以图像左上角为起点，t-1帧跟踪结果大小为搜索窗口范围，在图像中从左上角到右下角，按行逐像素遍历移动。当粗黑矩形框范围内的相似度之和最大时，该矩形框所圈图像内容被认定为与当前跟踪目标最为相似，矩形框的中心点为目标的积分图跟踪结果。

图33示出了图25中的目标跟踪单元2520以积分图追踪法进行目标跟踪处理的具体实现流程。

如图33所示，首先，在步骤S3310，以上述方式计算目标相似度图像对应的积分图。

接下来，在步骤S3320，将第t-1帧跟踪结果同大的目标框在第t帧积分图中遍历移动。

接下来，在步骤S3330，通过以上述方式计算目标框内的相似度之和，确定目标框内的相似度之和最大的位置。

最后，在步骤S3340，将所确定的位置保存为目标跟踪结果。

下面结合图34-36对Cam-Shift追踪法进行描述。

由于积分图跟踪法不能修改目标框的大小与形状信息，此外，还容易受到噪音等因素的干扰，如图34所示。因此，本发明在积分图跟踪的基础上，进一步使用G.R.Bradski等人在“Computer Vision Face Trackingfor Use in a Perceptual User Interface，Intel Technology Journal，1998”中提出的Cam-Shift追踪法，改进位置与大小结果。

Cam-Shift追踪是一种利用迭代收敛的方式，以小范围移动来逐渐确定目标正确位置的追踪方法。它的不足在于每次迭代中搜索范围较小，但是对比积分图跟踪的优点是能根据相似度图像中的信息自动修改大小。那么，如果在积分图跟踪的结果上使用Cam-Shift跟踪，即便搜索范围小，由于离目标已经很近，也是可以达到要求的。图35示出了其具体实现流程。

如图35所示，首先，在步骤S3510，根据积分图跟踪结果，计算目标附近相似度大小与方向。

接下来，在步骤S3520，确定Cam-Shift跟踪结果框。具体地说，将相似度图像中每个像素点的坐标看成是位置对应的2维空间中的一个点。每个像素点的相似度，看成是2维空间中对应点的权重。那么使用与上面提及的G.R.Bradski等人的文献相同的方式，得到这些加权点云最长的两个正交分布方向与长度，将其看作是目标新的宽与高，如图36(a)中的实线所示。

接下来，在步骤S3530，旋转跟踪结果框到水平位置。具体地说，由于追踪中使用与图像边缘平行的矩形定义每个目标的位置，那么将36(a)中的两个主轴分别向水平垂直两个方向的投影线段组成的矩形(如图36(b)中的粗黑矩形框所示)作为本次Cam-Shift跟踪迭代的结果。

接下来，在步骤S3540，判断当前跟踪结果是否收敛。具体地说，如果相邻两次迭代矩形框的位置与大小变化小于给定的阈值，即判断当前帧跟踪迭代停止，粗黑矩形框最终的位置即为跟踪结果。

如果步骤S3540的判断结果为“否”，则返回到步骤S3510，继续目标跟踪处理，否则流程结束。

优选地，目标跟踪单元2520还可以利用先前一帧或多帧的目标跟踪结果中跟踪目标的平均大小和/或平均位移，对当前目标跟踪结果进行修正。

具体地说，在连续帧跟踪过程中，可以认为当前跟踪目标的位置与大小不会突然发生过大的变化。因此，利用前面若干帧的跟踪结果，对当前帧的跟踪结果进行限制与修正。

(1)限制大小

判断条件： $\left\{\begin{array}{c}{P}_{\min }\×\stackrel{\‾}{W}\≤W\≤P_{\max }\×\stackrel{\‾}{W}\\ Q_{\min }\×\stackrel{\‾}{H}\≤H\≤Q_{\max }\×\stackrel{\‾}{H}\end{array}\right.,$ 其中P_min、P_max、Q_min、Q_max分别是宽度、高度大小限制范围系数(固定值，通过实验确定)。W、H是目标在当前帧之前，完成跟踪的连续N帧结果的平均宽与高。W、H是当前帧目标的宽与高。

若跟踪结果大小超过范围，那么按照公式(6)将跟踪结果赋予相应的最大或最小值。

$\left\{\begin{array}{c}W=P_{\min }\&times;\stackrel{\&OverBar;}{W},\mathrm{if}(W<P_{\min }\&times;\stackrel{\&OverBar;}{W})\\ W=P_{\max }\&times;\stackrel{\&OverBar;}{W},\mathrm{if}(W>P_{\max }\&times;\stackrel{\&OverBar;}{W})\\ H=Q_{\min }\&times;\stackrel{\&OverBar;}{H},\mathrm{if}(H<Q_{\min }\&times;\stackrel{\&OverBar;}{H})\\ H=Q_{\max }\&times;\stackrel{\&OverBar;}{H},\mathrm{if}(H>Q_{\max }\&times;\stackrel{\&OverBar;}{H})\end{array}\right.---\left(6\right)$

(2)限制位移

判断条件： $\left\{\begin{array}{c}{A}_{\min }\&times;\stackrel{\&OverBar;}{\mathrm{dX}}\&le;\mathrm{dX}\&le;A_{\max }\&times;\stackrel{\&OverBar;}{\mathrm{dX}}\\ B_{\min }\&times;\stackrel{\&OverBar;}{\mathrm{dY}}\&le;\mathrm{dY}\&le;B_{\max }\&times;\stackrel{\&OverBar;}{\mathrm{dY}}\end{array}\right.,$ 其中A_min、A_max、B_min、B_max分别是横、纵向位移限制范围系数(固定值，通过实验确定)。dX、dY是目标在当前帧之前，完成跟踪的连续N帧结果的平均横、纵向位移。dX、dY是当前帧横、纵向位移。

若跟踪结果位移超过范围，那么按照公式(7)将跟踪结果赋予相应的最大或最小值。

$\left\{\begin{array}{c}\mathrm{dX}=A_{\min }\&times;\stackrel{\&OverBar;}{\mathrm{dX}},\mathrm{if}(\mathrm{dX}<A_{\min }\&times;\stackrel{\&OverBar;}{\mathrm{dX}})\\ \mathrm{dX}=A_{\max }\&times;\stackrel{\&OverBar;}{\mathrm{dX}},\mathrm{if}(\mathrm{dX}>A_{\max }\&times;\stackrel{\&OverBar;}{\mathrm{dX}})\\ \mathrm{dY}=B_{\min }\&times;\stackrel{\&OverBar;}{\mathrm{dY}},\mathrm{if}(\mathrm{dY}<B_{\min }\&times;\stackrel{\&OverBar;}{\mathrm{dY}})\\ \mathrm{dY}=B_{\max }\&times;\stackrel{\&OverBar;}{\mathrm{dY}},\mathrm{if}(\mathrm{dY}>B_{\max }\&times;\stackrel{\&OverBar;}{\mathrm{dY}})\end{array}\right.---\left(7\right)$

图37示出了由图25中的目标跟踪单元2520对当前跟踪结果执行的修正处理的示例性实现流程。

如图37所示，首先，在步骤S3710，如上所述判断当前跟踪结果的大小是否在范围内。

如果步骤S3710的判断结果为“否”，则在步骤S3720，如上所述限制当前跟踪结果的大小，并且流程进入步骤S3730，否则流程直接进入步骤S3730。

接下来，在步骤S3730，如上所述判断当前跟踪结果的位移是否在范围内。

如果步骤S3730的判断结果为“否”，则在步骤S3740，如上所述限制当前跟踪结果的位移，并且流程结束，否则流程直接结束。

丢失判断单元2530可以针对每个跟踪目标，根据相似度图像中的跟踪目标区域内前景像素点个数之和与像素点个数总和之比来判断是否对该跟踪目标继续跟踪。

具体地说，跟踪工作结束后，由于球员出场，被噪音遮挡或者跟踪错误，需要将不再需要继续跟踪的目标移除。图38示出了示例性实现流程。

如图38所示，首先，在步骤S3810，输入跟踪目标的当前跟踪结果。

接下来，在步骤S3820，根据所输入的当前跟踪结果，确定相似度图像中目标矩形范围内前景像素点个数之和N_FG。

接下来，在步骤S3830，根据所输入的当前跟踪结果，确定相似度图像中目标矩形范围内像素点个数总和N_Total。

接下来，在步骤S3840，判断N_FG与N_Total之比是否大于预定阈值Threshold。

如果在步骤S3840的判断结果为“是”，则在步骤S3850，判定对当前跟踪目标继续跟踪，并且流程结束，否则判定不对当前跟踪目标继续跟踪，并且流程结束。

可选地，特征更新单元2540可以利用当前目标跟踪结果中跟踪目标区域的中心像素点对应的特征，更新目标相似度计算的参考特征。

具体地说，由于跟踪物体的形状，颜色等特征是随着跟踪过程不断变化的，为了能保持对目标的正确跟踪，需要将目标相似度计算的参考特征进行更新。

在目标区分模块1660计算目标相似度图像中，针对相似度图像中的每个前景像素点，都保存了以该像素点为中心、大小等于上一帧跟踪结果范围内的图像特征作为相似度比较的参数。

因此，当跟踪完成后，如果跟踪目标被判定需要继续跟踪时，采用以下特征更新准则来进行特征更新：

(1)经过跟踪结果修正后，大小和位移没有超出允许范围，即跟踪结果较稳定时；

(2)为减小遮挡对特征的影响，仅当被跟踪目标周围没有其他正在跟踪的目标时；

(3)选取当前帧跟踪结果的中心像素点对应的特征，更新当前参照特征。

可选地，跟踪结果显示模块1680可以至少显示目标跟踪模块1670的目标跟踪结果。

具体地说，在跟踪完成后，跟踪结果显示模块1680可以将所有跟踪中计算得到的信息显示在统一的窗口中，供用户使用，其中至少包括目标跟踪模块1670的目标跟踪结果。图39示出了由跟踪结果显示模块1680显示的基于静止摄像机的目标跟踪结果的示例。基于动态摄像机的目标跟踪显示结果与基于静止摄像机的显示结果基本相同，仅不显示球场标志线自动检测结果。

上面结合附图详细描述了本发明实施例的场地内容分析装置和目标检测与跟踪装置。下面将结合附图描述根据本发明实施例的场地内容分析方法和目标检测与跟踪方法。

图40示出了根据本发明实施例的场地内容分析方法的总体流程图。

如图40所示，首先，在场地范围确定步骤S4010，通过统计分析图像样本中各个像素点的颜色信息，确定场地范围。

接下来，在背景模型生成步骤S4020，针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型。

最后，在背景/非背景判断步骤S4030，利用通过背景模型生成步骤S4020生成的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。

该场地内容分析方法的各种可选或优选实施方式前面已经作过详细描述，在此不再重复说明。

图41示出了根据本发明实施例的基于场地内容分析的目标检测与跟踪方法的总体流程图。

如图41所示，首先，在背景去除步骤S4110，通过上述场地内容分析方法，分析在训练阶段输入的训练图像或在跟踪阶段输入的跟踪图像的场地范围内各个像素点的背景/非背景类别属性，以去除其中的背景。

接下来，在目标检测参数训练步骤S4120，在训练阶段通过对训练图像中符合预定条件的非背景单连通域进行统计分析来获得目标检测参数。

接下来，在目标检测步骤S4130，在跟踪阶段针对跟踪图像的场地范围内的每个非背景单连通域，根据通过目标检测参数训练步骤S4120获得的目标检测参数、以及该非背景单连通域与所有跟踪目标之间的距离来检测待跟踪的新目标。

接下来，在目标区分步骤S4140，在跟踪阶段针对每个跟踪目标得到目标相似度图像，其中目标相似度图像中的每个点表示跟踪图像中以对应于该点的位置为中心、与该跟踪目标等大的区域与该跟踪目标的匹配程度。

最后，在目标跟踪步骤S4150，在跟踪阶段根据通过目标区分步骤S4140得到的目标相似度图像，对每个跟踪目标进行跟踪。

该目标检测与跟踪方法的各种可选或优选实施方式前面已经作过详细描述，在此不再重复说明。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图42所示的通用个人计算机4200安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图42中，中央处理模块(CPU)4201根据只读存储器(ROM)4202中存储的程序或从存储部分4208加载到随机存取存储器(RAM)4203的程序执行各种处理。在RAM 4203中，也根据需要存储当CPU 4201执行各种处理等等时所需的数据。CPU 4201、ROM 4202和RAM 4203经由总线4204彼此连接。输入/输出接口4205也连接到总线4204。

下述部件连接到输入/输出接口4205：输入部分4206，包括键盘、鼠标等等；输出部分4207，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分4208，包括硬盘等等；和通信部分4209，包括网络接口卡比如LAN卡、调制解调器等等。通信部分4209经由网络比如因特网执行通信处理。

根据需要，驱动器4210也连接到输入/输出接口4205。可拆卸介质4211比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器4210上，使得从中读出的计算机程序根据需要被安装到存储部分4208中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质4211安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图12所示的其中存储有程序、与装置相分离地分发以向用户提供程序的可拆卸介质4211。可拆卸介质4211的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 4202、存储部分4208中包含的硬盘等等，其中存有程序，并且与包含它们的装置一起被分发给用户。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

虽然已经详细说明了本发明及其优点，但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

Claims (32)

1.一种场地内容分析装置，包括：

场地范围确定模块，用于通过统计分析图像样本中各个像素点的颜色信息，确定场地范围；

背景模型生成模块，用于针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型；以及

背景/非背景判断模块，用于利用由背景模型生成模块生成的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。

2.根据权利要求1所述的场地内容分析装置，其中场地范围确定模块进一步包括：

场地区域判断单元，用于针对每个图像样本，生成其主要颜色的判断模型，并且根据该判断模型来判断该图像样本中的各个像素点是否属于场地区域；以及

场地范围生成单元，用于根据场地区域判断单元的判断结果，分别针对图像样本中的每个像素点，统计该像素点属于场地区域的概率，并且根据所统计的概率值来确定该像素点是否属于场地区域，从而生成场地范围。

3.根据权利要求2所述的场地内容分析装置，其中场地范围确定模块还包括：

场地范围补偿模块，用于根据各个像素点的场地/非场地类别属性得到单连通域，并且针对每个单连通域，根据其面积及其周围区域的场地/非场地类别属性来修正该单连通域的场地/非场地类别属性，从而对由场地范围生成单元生成的场地范围进行补偿。

4.根据权利要求3所述的场地内容分析装置，还包括：

场地标志线生成模块，用于根据补偿后的场地范围内各个像素点属于场地区域的概率来生成场地标志线。

5.根据权利要求1所述的场地内容分析装置，其中背景模型生成模块利用高斯混合模型GMM颜色模型来生成场地背景模型。

6.根据权利要求1所述的场地内容分析装置，还包括场地背景模型更新模块，用于根据当前图像的颜色信息来更新场地背景模型。

7.一种基于场地内容分析的目标检测与跟踪装置，包括：

背景去除模块，其包括如权利要求1-6中的任一项所述的场地内容分析装置，用于分析在训练阶段输入的训练图像或在跟踪阶段输入的跟踪图像的场地范围内各个像素点的背景/非背景类别属性，以去除其中的背景；

目标检测参数训练模块，用于在训练阶段通过对训练图像中符合预定条件的非背景单连通域进行统计分析来获得目标检测参数；

目标检测模块，用于在跟踪阶段针对跟踪图像的场地范围内的每个非背景单连通域，根据由目标检测参数训练模块获得的目标检测参数、以及该非背景单连通域与所有跟踪目标之间的距离来检测待跟踪的新目标；

目标区分模块，用于在跟踪阶段针对每个跟踪目标，得到目标相似度图像，其中目标相似度图像中的每个点表示跟踪图像中以对应于该点的位置为中心、与该跟踪目标等大的区域与该跟踪目标的匹配程度；以及

目标跟踪模块，用于在跟踪阶段根据由目标区分模块得到的目标相似度图像，对每个跟踪目标进行跟踪。

8.如权利要求7所述的目标检测与跟踪装置，其中目标检测参数包括目标大小、形状、纹理范围参数中的一个或多个。

9.如权利要求7所述的目标检测与跟踪装置，还包括：

目标分类方式确定模块，用于在训练阶段计算多个目标样本的目标描述特征参数，根据所得到的目标描述特征参数，按照不同的类别数对所有目标样本进行分类，判断每种分类方式对应的分布离散程度，并且将分布离散程度最好的分类方式确定为目标分类方式；以及

目标类别判断模块，用于在跟踪阶段根据由目标分类方式确定模块确定的目标分类方式对跟踪目标进行分类，以向最匹配的候选类别投票，并且统计得票最高的类别作为最终的类别判断结果。

10.如权利要求9所述的目标检测与跟踪装置，其中目标分类方式确定模块计算目标样本在色相/饱和度/值HSV颜色空间上的主分量分析PCA特征作为目标描述特征参数。

11.如权利要求7所述的目标检测与跟踪装置，其中目标跟踪模块进一步包括相似度抑制单元，用于针对每个跟踪目标，利用先前目标跟踪结果，基于其跟踪搜索范围内该跟踪目标与其它跟踪目标的位置关系以及非跟踪目标区域，对目标相似度图像进行相似度抑制。

12.如权利要求7所述的目标检测与跟踪装置，其中目标跟踪模块进一步包括目标跟踪单元，用于结合积分图追踪法和Cam-Shift追踪法对跟踪目标进行跟踪。

13.如权利要求12所述的目标检测与跟踪装置，其中目标跟踪单元还利用先前一帧或多帧的目标跟踪结果中跟踪目标的平均大小和/或平均位移，对当前目标跟踪结果进行修正。

14.如权利要求7所述的目标检测与跟踪装置，其中目标跟踪模块进一步包括丢失判断单元，用于针对每个跟踪目标，根据目标相似度图像中的跟踪目标区域内前景像素点个数之和与像素点个数总和之比来判断是否对该跟踪目标继续跟踪。

15.如权利要求7所述的目标检测与跟踪装置，其中目标跟踪模块进一步包括特征更新单元，用于利用当前目标跟踪结果中跟踪目标区域的中心像素点对应的特征，更新目标相似度计算的参考特征。

16.如权利要求7所述的目标检测与跟踪装置，还包括跟踪结果显示模块，用于至少显示目标跟踪模块的目标跟踪结果。

17.一种场地内容分析方法，包括：

场地范围确定步骤，用于通过统计分析图像样本中各个像素点的颜色信息，确定场地范围；

背景模型生成步骤，用于针对图像样本的场地范围内的每个像素点，通过统计分析其颜色分布信息，生成表示其背景颜色范围的场地背景模型；以及

背景/非背景判断步骤，用于利用通过背景模型生成步骤生成的场地背景模型，判断图像的场地范围内的各个像素点是否为场地背景。

18.根据权利要求17所述的场地内容分析方法，其中场地范围确定步骤进一步包括：

场地区域判断子步骤，用于针对每个图像样本，生成其主要颜色的判断模型，并且根据该判断模型来判断该图像样本中的各个像素点是否属于场地区域；以及

场地范围生成子步骤，用于根据场地区域判断子步骤的判断结果，分别针对图像样本中的每个像素点，统计该像素点属于场地区域的概率，并且根据所统计的概率值来确定该像素点是否属于场地区域，从而生成场地范围。

19.根据权利要求18所述的场地内容分析方法，其中场地范围确定步骤还包括：

场地范围补偿子步骤，用于根据各个像素点的场地/非场地类别属性得到单连通域，并且针对每个单连通域，根据其面积及其周围区域的场地/非场地类别属性，修正该单连通域的场地/非场地类别属性，从而对通过场地范围生成子步骤生成的场地范围进行补偿。

20.根据权利要求19所述的场地内容分析方法，还包括：

场地标志线生成步骤，用于根据补偿后的场地范围内各个像素点属于场地区域的概率来生成场地标志线。

21.根据权利要求17所述的场地内容分析方法，其中在背景模型生成步骤中利用高斯混合模型GMM颜色模型来生成场地背景模型。

22.根据权利要求17所述的场地内容分析方法，还包括场地背景模型更新步骤，用于根据当前图像的颜色信息来更新场地背景模型。

23.一种基于场地内容分析的目标检测与跟踪方法，包括：

背景去除步骤，用于通过如权利要求17-22中的任一项所述的场地内容分析方法，分析在训练阶段输入的训练图像或在跟踪阶段输入的跟踪图像的场地范围内各个像素点的背景/非背景类别属性，以去除其中的背景；

目标检测参数训练步骤，用于在训练阶段通过对训练图像中符合预定条件的非背景单连通域进行统计分析来获得目标检测参数；

目标检测步骤，用于在跟踪阶段针对跟踪图像的场地范围内的每个非背景单连通域，根据通过目标检测参数训练步骤获得的目标检测参数、以及该非背景单连通域与所有跟踪目标之间的距离来检测待跟踪的新目标；

目标区分步骤，用于在跟踪阶段针对每个跟踪目标得到目标相似度图像，其中目标相似度图像中的每个点表示跟踪图像中以对应于该点的位置为中心、与该跟踪目标等大的区域与该跟踪目标的匹配程度；以及

目标跟踪步骤，用于在跟踪阶段根据通过目标区分步骤得到的目标相似度图像，对每个跟踪目标进行跟踪。

24.如权利要求23所述的目标检测与跟踪方法，其中目标检测参数包括目标大小、形状、纹理范围参数中的一个或多个。

25.如权利要求23所述的目标检测与跟踪方法，还包括：

目标分类方式确定步骤，用于在训练阶段计算多个目标样本的目标描述特征参数，根据所得到的目标描述特征参数，按照不同的类别数对所有目标样本进行分类，判断每种分类方式对应的分布离散程度，并且将分布离散程度最好的分类方式作为目标分类方式；以及

目标类别判断步骤，用于在跟踪阶段根据通过目标分类方式确定步骤确定的目标分类方式对跟踪目标进行分类，以向最匹配的候选类别投票，并且统计得票最高的类别作为最终的类别判断结果。

26.如权利要求25所述的目标检测与跟踪方法，其中在目标分类方式确定步骤中计算目标样本在色相/饱和度/值HSV颜色空间上的主分量分析PCA特征作为目标描述特征参数。

27.如权利要求23所述的目标检测与跟踪方法，其中目标跟踪步骤进一步包括相似度抑制子步骤，用于针对每个跟踪目标，利用先前目标跟踪结果，基于其跟踪搜索范围内该跟踪目标与其它跟踪目标的位置关系以及非跟踪目标区域，对目标相似度图像进行相似度抑制。

28.如权利要求23所述的目标检测与跟踪方法，其中目标跟踪步骤进一步包括目标跟踪子步骤，用于结合积分图追踪法和Cam-Shift追踪法对跟踪目标进行跟踪。

29.如权利要求28所述的目标检测与跟踪方法，其中在目标跟踪子步骤中还利用先前一帧或多帧的目标跟踪结果中跟踪目标的平均大小和/或平均位移，对当前目标跟踪结果进行修正。

30.如权利要求23所述的目标检测与跟踪方法，其中目标跟踪步骤进一步包括丢失判断子步骤，用于针对每个跟踪目标，根据目标相似度图像中的跟踪目标区域内前景像素点个数之和与像素点个数总和之比来判断是否对该跟踪目标继续跟踪。

31.如权利要求23所述的目标检测与跟踪方法，其中目标跟踪步骤进一步包括特征更新子步骤，用于利用当前目标跟踪结果中跟踪目标区域的中心像素点对应的特征，更新目标相似度计算的参考特征。

32.如权利要求23所述的目标检测与跟踪方法，还包括跟踪结果显示步骤，用于至少显示目标跟踪步骤的目标跟踪结果。

Images