CN107194954A - 多视角视频的球员追踪方法和装置 - Google Patents

Abstract

本发明涉及一种多视角视频的球员追踪方法和装置，该方法包括分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框并计算球员坐标；分别计算球员坐标投影至目标平面的投影坐标；获取自不同视角下的视频中相对应的当前帧投影的、且在目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；在目标平面中，根据第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至目标平面中的第二目标球员坐标处的球员标识。上述多视角视频的球员追踪方法和装置，其通过多视角下的视频对球员进行跟踪，即使单个视角下的视频中的球员出现丢失的情况，则也可以通过其他视角下的视频对球员进行准确地追踪。

Description

多视角视频的球员追踪方法和装置

技术领域

本发明涉及图像处理领域，特别是涉及一种多视角视频的球员追踪方法和装置。

背景技术

在运动比赛中，对运动场上的足球运动员的运动进行分析具有重要的作用。教练可以通过分析的具体信息给出相应球员具体的指导方案和措施，同时还能够对足球比赛的相关数据例如控球率等等给出具体的统计信息。目前大多数的运动员追踪中，经常出现运动员丢失的情况，且一旦运动员丢失，对该丢失的足球运动员进行重新跟踪等需要进行复杂的检测机制。

发明内容

基于此，有必要针对球员追踪中球员丢失问题，提供一种多视角视频的球员追踪方法和装置。

一种多视角视频的球员追踪方法，包括：

分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框；

根据所述未丢失的球员标记框的位置计算球员坐标；

分别计算所述球员坐标，投影至目标平面的投影坐标；

获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；

根据所获取的投影坐标计算第一目标球员坐标；

在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。

在其中一个实施例中，所述分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记矩形框的步骤，包括：

针对不同视角下的每个视频分别进行以下步骤：

获取当前帧中的待定球员标记框和所述当前帧的上一帧的未丢失的球员标记框、所述上一帧的丢失的球员标记框以及所述丢失的球员标记框的搜索距离；

根据所述待定球员标记框的位置获取对应的球员模板；

获取与所述上一帧的所述未丢失的球员标记框的距离小于第二预设距离的所述待定球员标记框；

分别计算所述待定球员标记框与所述对应的球员模板的差值；

当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；

当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则将所述上一帧中的未丢失的球员标记框标记为所述当前帧中的丢失的球员标记框；

获取与所述上一帧的丢失的球员标记框的距离小于所述搜索距离的所述待定球员标记框；

分别计算所述待定球员标记框与所述对应的球员模板的差值；

当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；

当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则调大所述搜索距离。

在其中一个实施例中，所述方法还包括：

针对不同视角下的每个视频分别进行以下步骤：

分别根据所述差值计算所述未丢失的球员标记框的置信度；

获取所述视角的摄像机在所述当前帧中的摄像机坐标；

根据所述置信度以及所述球员坐标与所述摄像机坐标间距离，分别计算与所述球员坐标相对应的所述投影坐标的权值；

根据所获取的投影坐标计算第一目标球员坐标的步骤，包括：

根据所获取的投影坐标以及所获取的投影坐标的权值，计算第一目标球员坐标。

在其中一个实施例中，所述分别计算所述待定球员标记框与所述对应的球员模板的差值的步骤，包括：

通过以下公式分别计算所述待定球员标记框与所述对应的球员模板的差值：

其中，dist(H₁,H₂)为所述差值，为所述待定球员标记框与所述对应的球员模板的像素差绝对值的平方，w(H₁)h(H₁)为所述对应的球员模板的面积，)hist(H₁,H₂)为所述待定球员标记框与所述对应的球员模板的色调直方图的绝对值差值，α为权值因子，且0≦α≦1。

在其中一个实施例中，所述分别根据所述差值计算所述未丢失的球员标记框的置信度的步骤，包括：

通过以下公式计算所述未丢失的球员标记框的置信度：

其中，p为所述置信度，t为时间。

在其中一个实施例中，所述方法还包括：

针对不同视角下的每个视频分别进行以下步骤：统计所述对应的球员模板的使用次数；

当所述对应的球员模板的使用次数等于预设次数、且所述置信度大于预设置信度时，则通过所述未丢失的球员标记框替换所述对应的球员模板。

在其中一个实施例中，所述当所述对应的球员模板的使用次数等于预设次数、且所述置信度大于预设置信度时的步骤之后，还包括：

获取所述未丢失的球员标记框的中心像素；

当在包含所述中心像素的预设范围中存在球员像素时，则根据在所述预设范围中的所述球员像素生成所述对应的球员模板；

当在包含所述中心像素的预设范围中不存在球员像素时，则继续通过所述未丢失的球员标记框替换所述对应的球员模板的步骤。

在其中一个实施例中，所述方法还包括：

分别获取所述不同视角下的视频中的球场区域和球员模板；

根据所述球场区域确定所述球场区域的四个角点；

根据所述四个角点，确定所述当前帧与目标平面之间的坐标投影关系。

在其中一个实施例中，所述获取当前帧中的待定球员标记框的步骤，包括：

获取当前帧的颜色直方图；

根据所述颜色直方图，对所述当前帧进行反向投影以获得球员像素；

根据所述球员像素，获取待定球员标记框。

一种所视角视频的球员追踪装置，包括：

球员坐标计算模块，用于分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框，根据所述未丢失的球员标记框的位置计算球员坐标；

投影坐标计算模块，用于分别计算所述球员坐标，投影至目标平面的投影坐标；

目标球员坐标计算模块，用于获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；

追踪显示模块，用于在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。

上述多视角视频的球员追踪方法和装置，其通过多视角下的视频对球员进行跟踪，即使单个视角下的视频中的球员出现丢失的情况，则也可以通过其他视角下的视频对球员进行准确地追踪，且只有追踪到球员的视角下所追踪的球员坐标才能参与第一目标球员坐标的计算，从而可以实现对球员的准确追踪。

附图说明

图1为一实施例中多视角视频的球员追踪方法的流程图；

图2为一实施例中坐标投影关系确定依旧球员模板确定步骤的流程图；

图3为一实施例中反向投影后的当前帧的示意图；

图4为图3所示的实施例中二值化处理后的当前帧的示意图；

图5为图4所示实施例中的形态学操作后的当前帧的示意图；

图6为一实施例当前帧中所建立的坐标示意图；

图7为一实施例中未丢失的球员矩形框获取步骤的流程图；

图8为图7中所示实施例的步骤S702的流程图；

图9为一实施例中对图像进行广度优先搜索后的示意图；

图10为一实施例中权值计算步骤的流程图；

图11为一实施例中球员遮挡的示意图；

图12为一实施例中目标平面中球员的轨迹图；

图13为一实施例中球员模板更新步骤的流程图；

图14为一实施例中多视角视频的球员追踪装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

请参阅图1所示，图1为一实施例中多视角视频的球员追踪方法的流程图，该方法包括：

S102：分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框。

具体地，不同视角下的视频是通过放置在真实球场的不同位置所拍摄的，例如可以在球场的四个角点处分别放置一摄像机，以获取针对球场的4个不同视角下的视频。球员标记框可以指包含球员像素的标记框，以将球员像素与当前帧中的其他像素区分开来，且为了方便，该球员标记框可以为球员矩形框。未丢失的球员标记框是指在当前帧中可以检测到的球员标记框，且该可以检测到的球员标记框与当前帧的上一帧中的某一球员标记框标识的是同一球员。

S104：根据未丢失的球员标记框的位置计算球员坐标。

具体地，球员坐标可以用该未丢失的球员标记框的中心点的坐标来表示，也可以用该未丢失的球员标记框的某一角点的坐标来表示，在此不做限制。

S106：分别计算球员坐标，投影至目标平面的投影坐标。

具体地，目标平面可以为一二维平面，其与球场相对应，可以将该目标平面理解成为按比例缩小的球场平面。且为了直观地向观看视频的用户展现球员在球场的位置，将不同视角下的视频中相对应的当前帧中的球员坐标投影至该目标平面中的投影坐标处。

假设为摄像机j(即第j视角下)所拍摄的第n帧中待定球员标记框i所代表的球员坐标，为摄像机j所拍摄的第n帧中待定球员标记框i所代表的球员坐标投影至目标平面的投影坐标，M_j为摄像机j所拍摄的视频至目标平面的坐标投影关系的转换矩阵，且：

S108：获取自不同视角下的视频中相对应的当前帧投影的、且在目标平面中相距的距离小于第一预设距离的投影坐标。

具体地，由于同一球员在不同视角下的视频中均可能出现，因此为了将在目标平面中表示同一球员的投影坐标识别出来，引入第一预设距离，只有在目标平面中距离小于第一预设距离的、且分别来自不同视角的投影坐标才会被认为为表示同一球员的。

S110：根据所获取的投影坐标计算第一目标球员坐标。

具体地，第一目标球员坐标是根据来自不同视角的、且表示同一球员的投影坐标所计算出来的，例如可以取该些表示同一球员的投影坐标的平均值作为第一目标球员坐标等，通过来自不同视角的、且表示同一球员的投影坐标来计算第一目标球员坐标，其充分考虑到不同视角所拍摄的视频，使该第一目标球员坐标更加准确。

S112：在目标平面中，根据第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至目标平面中的第二目标球员坐标处的球员标识。

具体地，球员标识是可以唯一确定该球员的图标，例如可以为一圆形图标、三角形图标等，也可以为一带有号码的人形图标等。为了实现对该球员的追踪，可以将上一帧中的相应球员坐标投影至目标平面中的第二球员投影坐标处的球员标识，移动至第一球员投影坐标处，以直观地表示该球员的位置发生了变化，实现对该球员的追踪。

上述多视角视频的球员追踪方法，其通过多视角下的视频对球员进行跟踪，即使单个视角下的视频中的球员出现丢失的情况，则也可以通过其他视角下的视频对球员进行准确地追踪，且只有追踪到球员的视角下所追踪的球员坐标才能参与第一目标球员坐标的计算，从而可以实现对球员的准确追踪。

在其中一个实施例中，请参阅图2所示，图2为一实施例中坐标投影关系确定依旧球员模板确定步骤的流程图，该步骤可以是在图1所示的实施例的预备步骤，该坐标投影关系确定依旧球员模板确定步骤可以包括：

S202：分别获取不同视角下的视频中的球场区域和球员模板。

具体地，该步骤中可以首先对图像进行高斯模糊降噪处理，这样可以减少噪声色彩对最终结果的影响。然后统计球场的直方图信息，该直方图的峰值为球场的主颜色。第三，再对每一个像素进行直方图方向投影。直方图反向投影的步骤，可以包括将图像的色彩空间由RGB(红Red、绿Green、蓝Blue)转换为HSV(色调Hue、饱和度Saturation、亮度Value)空间，并将色调H做归一化处理，即对任意像素p，设函数H(p)为像素p的色调信息，则H(p)满足0≤H(p)≤1。同时将色调范围分为n个长度相等的区间，某像素属于区间i当且仅当

设S(i)在某一帧内属于区间i的像素数量，则对于像素p的直方图反向投影灰度值为：

其中，N为色调的长度区间的个数。也就是，某一像素的反向投影值等于该像素的色调在区间中出现的频率与最高区间出现频率的比满足0＜R(p)≤1。当R(p)趋近于1时表现为白色，R(p)趋近于0时表现为黑色。

由于足球场大部分是绿色，因此在反向投影后足球场草地的直方图频度最高，而人物在其中由于直方图的频度不高，因此呈现出黑色，如图3。再利用阈值将图像进行二值化处理，反向投影后的图像呈现出一个八位灰度图像，为了完整的分离人物和背景，需要对图像运用阈值进行二值化的处理，如图4。最后对二值化图片进行形态学腐蚀和扩展。为了解决因为光线不足而造成部分背景出现微小噪声的情况，需要对二值化后的图像进行形态学腐蚀，以除足球场由于光线不足而造成的草地颜色不均匀的现象，另外进行形态学的腐蚀可以消除小噪声的区域，如图5。这样可以获取到图5中的球场区域以及球场区域中的球员像素，即位于球场区域的黑色像素，被通过该球员像素生成球员模板。

S204：根据球场区域确定球场区域的四个角点。

具体地，如图5，可以通过霍夫变换来确定球场线，从而确定球场区域的四个角点。

S206：根据四个角点，确定当前帧与目标平面之间的坐标投影关系。

具体地，如图6，可以建立当前帧的坐标系，并根据当前帧中球场区域的四个角点，目标平面的四个角点的坐标获取当前帧与目标平面之间的坐标投影关系。

本实施例中，首先通过对不同视角下的视频中的当前帧中的球场区域和球员模板，再根据球场区域的四个角点获取当前帧与目标平面之间的坐标投影关系，为后续视角转换以及球员追踪奠定了基础。

在其中一个实施例中，图1中所示的步骤S102，即分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记矩形框的步骤可以包括未丢失的球员矩形框获取步骤，且针对不同视角下的每个视频分别都要进行该未丢失的球员矩形框获取步骤，参阅图7，图7为一实施例中未丢失的球员矩形框获取步骤的流程图，该未丢失的球员矩形框获取步骤可以包括：

S702：获取当前帧中的待定球员标记框和当前帧的上一帧的未丢失的球员标记框、上一帧的丢失的球员标记框以及丢失的球员标记框的搜索距离。

具体地，当前帧是指当前正在被处理的视频帧，当前帧中的待定球员标记框可以是指通过图像预处理的手段所获得的可能包含球员的标记框，其可以是一矩形框等。

上一帧中未丢失的球员标记框可以是上一帧中对上一帧的前一阵进行球员追踪时，追踪到的球员标记框，上一帧的丢失的球员标记框可以是上一帧中对上一帧的前一阵进行球员追踪时，未追踪到的球员标记框，搜索距离可以是指对丢失的球员标记框的搜索距离。

S704：根据待定球员标记框的位置获取对应的球员模板。

具体地，由于当前帧中可能存在多个球员，而每个球员在运动中可能呈现不同的形态，因此为了准确地对球员进行追踪，为当前帧中的每个球员均设置了相对应的球员模板，且通过位置关系将待定球员标记框与球员模板的进行联系，这样可以实现球员模板和待定球员标记框的准确地匹配。

S706：获取与上一帧的未丢失的球员标记框的距离小于第二预设距离的待定球员标记框。

具体地，为了实现球员的追踪，也即当前帧中的球员于上一帧中的球员的匹配，该实施例中充分考虑了球员运动过程中的时间局部性和空间局部性，即一个球员在上下两帧之间不可能有大范围的跳动；形态特征，即一个球员在最近时间内都具有相似的形态特征；颜色特征一个球员在光照一定的情况下，总具有相似的颜色直方图；运动特征，一个球员在运动方向和速度上不可能进行突变。因此根据时间局部性和空间局部性，当前帧和上一帧中的同一球员之间的距离应该小于一第二预设距离，该第二预设距离可以根据每个球员的情况进行不同的限定。且进一步地，还可以仅在当前帧中的待定球员标记框和上一帧中的未丢失的球员标记框的大小相等或大小的差值在预设范围内时，才继续计算待定球员标记框与对应的球员模板的差值。

S708：分别计算待定球员标记框与对应的球员模板的差值。

具体地，当当前帧中存在与上一帧的未丢失的球员标记框的距离小于第二预设距离的待定球员标记框时，还要考虑到形态特征、颜色特征以及运动特征，即通过球员模板来进行判断。

S710：当待定球员标记框与对应的球员模板的差值小于预设值时，则分别标记当前帧中的与对应的球员模板的差值小于预设值的待定球员标记框为未丢失的球员标记框。

具体地，当待定球员标记框与对应的球员模板的差值小于预设值时，即上一帧中的未丢失的球员标记框在当前帧中可以匹配到，因此可以将该当前帧中的与对应的球员模板的差值小于预设值的待定球员标记框为未丢失的球员标记框。且为了保证当前帧中与上一帧中的未丢失的球员标记框相匹配的待定球员标记框仅存在一个，可以仅选择当前帧中差值最小的一个待定球员标记框来计算与对应的球员模板的差值是否小于预设值，如果该差值小于预设值时，则该球员未丢失，否则球员丢失。

S712：当待定球员标记框与对应的球员模板的差值大于等于预设值时，则将上一帧中的未丢失的球员标记框标记为当前帧中的丢失的球员标记框。

具体地，当待定球员标记框与对应的球员模板的差值大于等于预设值时，即上一帧中的未丢失的球员标记框在当前帧中未匹配到，因此可以将该当前帧中的与对应的球员模板的差值大于等于预设值的待定球员标记框为丢失的球员标记框。

S714：获取与上一帧的丢失的球员标记框的距离小于搜索距离的待定球员标记框。

具体地，上一帧中丢失的球员标记框可能是由于搜索距离较小造成的，因此在上一帧的时候该丢失的球员标记框还是未查找到，则相应地增大搜索距离，例如将搜索距离增大为原来搜索距离的1.1倍、1.2倍、1.3倍等。

且充分考虑到时间局部性和空间局部性特征，当前帧和上一帧中的同一球员之间的距离应该小于一搜索距离，该搜索距离可以根据每个球员的情况进行不同的限定。

S716：分别计算待定球员标记框与对应的球员模板的差值。

具体地，当当前帧中存在与上一帧的丢失的球员标记框的距离小于搜索距离的待定球员标记框时，还要考虑到形态特征、颜色特征以及运动特征，即通过球员模板来进行判断。且进一步地，还可以仅在当前帧中的待定球员标记框和上一帧中的丢失的球员标记框的大小相等或大小的差值在预设范围内时，才继续计算待定球员标记框与对应的球员模板的差值。

S718：当待定球员标记框与对应的球员模板的差值小于预设值时，则分别标记当前帧中的与对应的球员模板的差值小于预设值的待定球员标记框为未丢失的球员标记框。

具体地，具体地，当待定球员标记框与对应的球员模板的差值小于预设值时，即上一帧中的丢失的球员标记框在当前帧中可以匹配到，因此可以将该当前帧中的与对应的球员模板的差值小于预设值的待定球员标记框为未丢失的球员标记框。即上一帧中丢失的球员标记框在当前帧中又重新找到。且为了保证当前帧中与上一帧中的丢失的球员标记框相匹配的待定球员标记框仅存在一个，可以仅选择当前帧中差值最小的一个待定球员标记框来计算与对应的球员模板的差值是否小于预设值，如果该差值小于预设值时，则丢失球员找到，否则球员仍处于丢失状态。

S720：当待定球员标记框与对应的球员模板的差值大于等于预设值时，则调大搜索距离。

具体地，当待定球员标记框与对应的球员模板的差值大于等于预设值时，即上一帧中的丢失的球员标记框在当前帧中未匹配到，即该丢失的球员标记框还是处于丢失状态，因此为了能够在下一帧中找到该丢失的球员标记框，相应地调大搜索距离。

在本实施例中，首先通过上一帧中未丢失的球员标记框和丢失的球员标记框来对当前帧中的待定球员标记框进行判断，当当前帧中存在与上一帧中的未丢失的球员标记框的距离小于第二预设距离的球员标记框或存在与上一帧中的丢失的球员标记框的距离小于搜索距离的待定球员标记框时，则判断该待定球员标记框与球员模板是否匹配，只有匹配成功的待定球员标记框才会被标记为当前帧中的未丢失的球员标记框，否则为丢失的球员标记框，从而只有未丢失的球员标记框的所计算的球员坐标才能参与计算第一目标球员坐标，提高第一目标球员坐标的准确性。

在其中一个实施例中，图8为图7中所示实施例的步骤S702的流程图，该步骤S702，即图获取当前帧中的待定球员标记框的步骤，可以包括：

S802：获取当前帧的颜色直方图。

具体地，在获取当前帧中的待定球员标记框时，首先可以对当前帧进行高斯模糊降噪处理，这样可以减少噪声色彩对最终结果的影响。然后统计球场的直方图信息，该直方图的峰值为球场的主颜色。

S804：根据颜色直方图，对当前帧进行反向投影以获得球员像素。

具体地，再直方图反向投影的步骤可以参见上文所述，在此不再赘述。

S806：根据球员像素，获取待定球员标记框。

当进行反向投影后，可以再利用阈值将图像进行二值化处理，最后对二值化图片进行形态学腐蚀和扩展，从而得到如图6所示的图像，其中球员像素为黑色，球场其他区域为白色，参阅图9为对图像进行广度优先搜索后的结果，再根据该搜索结果可以得到包含球员像素的球员标记框，例如该球员标记框可以为包含可以搜索到的所有球员像素的矩形框。

在本实施例中，通过对当前帧的颜色进行分析可以获得球员像素，再根据该球员像素可以准确地获取当前帧中的待定球员标记框，从而为后续确定未丢失球员标记框和丢失球员标记框奠定基础。

在其中一个实施例中，该多视角视频的球员追踪方法还包括一权值计算步骤，该权值计算步骤可以应用于图1所示的实施例中，参阅图10，该权值计算步骤可以是针对不同视角下的每个视频分别的，该权值计算步骤可以包括：

S1002：分别根据差值计算未丢失的球员标记框的置信度。

具体地，差值是指当前帧中被判定为未丢失的球员标记框的待定球员标记框与相对应的球员模板的差值，置信度是指该未丢失的球员标记框的可信程度。

S1004：获取视角的摄像机在当前帧中的摄像机坐标。

具体地，每一个视角都是有一个摄像机拍摄的，所以一个视角对应一个摄像机，且该摄像机在真实球场中的位置可以预先获取，根据真实球场与目标平面的缩放比例可以获得该摄像机在目标平面的坐标，然后根据目标平面与当前帧的坐标投影关系可以获取该摄像机在当前帧中的摄像机坐标。

S1006：根据置信度以及球员坐标与摄像机坐标间距离，分别计算与球员坐标相对应的投影坐标的权值。

具体地，当前帧中未丢失的球员标记框均有一个置信度，且根据该未丢失的球员矩形可以计算出球员坐标，再根据当前帧中的摄像机坐标，可以得出该球员坐标与摄像机坐标间的距离，根据该置信度和该球员坐标与摄像机坐标间的距离可以得到对应的权值，且一般情况下，置信度高，且距离小，则权值高，置信度低，且距离大，则权值低。

且从而，图1所示实施例中的步骤S110，即根据所获取的投影坐标计算第一目标球员坐标的步骤可以包括：根据所获取的投影坐标以及所获取的投影坐标的权值，计算第一目标球员坐标。

具体地，由于不同视角下，同一球员可能会出现遮挡现象，如图11，当该球员为遮挡球员时，其置信度相应地下降，从而该权值也会相应地下降，这样可以对每个视角采用不同的权值，从而进一步提高第一目标球员坐标的准确性。

在其中一个实施例中，图7所示的步骤S708和步骤S716，即分别计算待定球员标记框与对应的球员模板的差值的步骤可以包括：通过以下公式分别计算待定球员标记框与对应的球员模板的差值：

其中，dist(H₁,H₂)为差值，为待定球员标记框与对应的球员模板的像素差绝对值的平方，w(H₁)h(H₁)为对应的球员模板的面积，)hist(H₁,H₂)为待定球员标记框与对应的球员模板的色调直方图的绝对值差值，α为权值因子，且0≦α≦1。

在该实施例中，不仅通过像素差来判断待定球员标记框与球员模板的差值，还通过色调直方图来判断待定球员标记框与球员模板的差值，从而使得该差值不仅可以表示形态特征还可以表示颜色特征，且在计算像素差时，还除以球员模板的面积，从而可以消除球员模板的面积对该像素差值的影响。

在其中一个实施例中，图10所示的步骤S1002，即分别根据差值计算未丢失的球员标记框的置信度的步骤可以包括：通过以下公式计算未丢失的球员标记框的置信度：

其中，p为置信度，t为时间。

且从而权值可以通过以下公式进行计算：

其中，w_nj为摄像机j所拍摄的第n帧中待定球员标记框i的权值，p_nj为摄像机j所拍摄的第n帧中待定球员标记框i的置信度，为摄像机j所拍摄的第n帧中待定球员标记框i所代表球员坐标与摄像机j的摄像机坐标的距离。

这样，图1所示实施例中的步骤S110可以为通过以下公式计算第一目标球员坐标：

其中，为第一目标球员坐标，J为摄像机的数量，即视角的数量。如图12，图12为目标平面中球员的轨迹图，球员在目标平面的轨迹可以表示为：其中，N为帧数。

在该实施例中，通过待定球员标记框与对应的球员模板的差值来计算置信度，当该差值变化较快时，则该置信度较低，从而相应的权值也变低，当该差值变化较慢时，则该置信度较高，从而相应的权值也变高，从而可以准确地衡量根据该待定球员矩形框所计算出来的球员坐标的权值，即相应的投影坐标的权值，从而可以提高第一目标球员坐标的准确度。

在其中一个实施例中，由于球员在运动过程中其运动状态可能变换，因此一个球员模板不可能长时间的使用，为了解决该问题，该多视角视频的球员追踪方法还包括一球员模板更新步骤，该球员模板更新步骤可以针对不同视角下的每个视频分别进行，该球员模板更新步骤可以包括：统计对应的球员模板的使用次数；当对应的球员模板的使用次数等于预设次数、且置信度大于预设置信度时，则通过未丢失的球员标记框替换对应的球员模板。

例如，当预设次数为7次时，每当球员模板使用次数达到7次，且置信度大于预设置信度，即本次中球员未丢失、且未出现遮挡情况时，则可以更新球员模板，即用未丢失的球员标记框替换该球员模板，但是在本次中球员标记框丢失或者球员标记框出现遮挡情况时，则不会更新球员模板，这也是为了保证球员模板的准确性。

本实施例中，只有在球员模板的使用次数大于预设次数，且球员标记框未丢失也未遮挡时，才会对球员模板进行更新，且采用未丢失的球员标记框作为新的球员模板，可以保证球员模板的准确性。

在其中一个实施例中，当对应的球员模板的使用次数等于预设次数、且置信度大于预设置信度时的步骤之后还包括一球员模板更新步骤，具体可以参见图13，该球员模板更新步骤包括：

S1302：获取未丢失的球员标记框的中心像素。

具体地，由于球员的运动过程中球员标记框的大小可能变化，因此球员模板的大小也需要实时变化，为了解决该问题，当需要对球员模板进行更新时，首先可以获取未丢失球员标记框的中心像素，然后判断该未丢失的球员标记框的中心像素是否为球员像素，如果为球员像素，则可以通过广度优先搜索选取该中心像素，再通过FloosFill(漫水算法)算法得到新的球员模板。如果该中心像素不是球员像素，则可以扩大搜索范围。

S1304：当在包含中心像素的预设范围中存在球员像素时，则根据在预设范围中的球员像素生成对应的球员模板。

具体地，当中心像素不是球员像素时，可以以该中心像素为中心，选取预设范围，例如8个像素范围内的像素中是否存在球员像素，如果存在，则可以通过广度优先搜索选取该球员像素，再通过FloosFill算法得到新的球员模板。从而该新得到的球员模板的大小可能与原来的球员模板的大小不一样，从而可以更好地实现球员标记框与球员模板的匹配。

S1306：当在包含中心像素的预设范围中不存在球员像素时，则继续通过未丢失的球员标记框替换对应的球员模板的步骤。

本实施例中，充分考虑到球员在运动过程中的标识球员的球员标记框的大小可能改变，从而在需要更新球员模板的时候，首先通过广度优先搜索选取最近的一个球员像素，再通过FloodFill算法得到新的球员模板，从而可以更好地实现球员标记框与球员模板的匹配。

请参阅图14，图14为一实施例中多视角视频的球员追踪装置的结构示意图，该装置包括：

球员坐标计算模块100，用于分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框，根据未丢失的球员标记框的位置计算球员坐标。

投影坐标计算模块200，用于分别计算球员坐标，投影至目标平面的投影坐标。

目标球员坐标计算模块100300，用于获取自不同视角下的视频中相对应的当前帧投影的、且在目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标。

追踪显示模块400，用于在目标平面中，根据第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至目标平面中的第二目标球员坐标处的球员标识。

在其中一个实施例中，球员坐标计算模块100包括：

第一获取单元，用于获取当前帧中的待定球员标记框和当前帧的上一帧的未丢失的球员标记框、上一帧的丢失的球员标记框以及丢失的球员标记框的搜索距离。

第二获取单元，用于根据待定球员标记框的位置获取对应的球员模板。

第三获取单元，用于获取与上一帧的未丢失的球员标记框的距离小于第二预设距离的待定球员标记框，获取与上一帧的丢失的球员标记框的距离小于搜索距离的待定球员标记框。

计算单元，用于分别计算待定球员标记框与对应的球员模板的差值，分别计算待定球员标记框与对应的球员模板的差值。

第一标记单元，用于当待定球员标记框与对应的球员模板的差值小于预设值时，则分别标记当前帧中的与对应的球员模板的差值小于预设值的待定球员标记框为未丢失的球员标记框；当待定球员标记框与对应的球员模板的差值大于等于预设值时，则将上一帧中的未丢失的球员标记框标记为当前帧中的丢失的球员标记框。当待定球员标记框与对应的球员模板的差值小于预设值时，则分别标记当前帧中的与对应的球员模板的差值小于预设值的待定球员标记框为未丢失的球员标记框；当待定球员标记框与对应的球员模板的差值大于等于预设值时，则调大搜索距离。

在其中一个实施例中，该装置还可以包括：

置信度获取模块，用于分别根据差值计算未丢失的球员标记框的置信度。

摄像机坐标获取模块，用于获取视角的摄像机在当前帧中的摄像机坐标。

权值计算模块，用于根据置信度以及球员坐标与摄像机坐标间距离，分别计算与球员坐标相对应的投影坐标的权值。

目标球员坐标计算模块100300还用于根据所获取的投影坐标以及所获取的投影坐标的权值，计算第一目标球员坐标。

在其中一个实施例中，计算单元还用于通过以下公式分别计算待定球员标记框与对应的球员模板的差值：

其中，dist(H₁,H₂)为差值，为待定球员标记框与对应的球员模板的像素差绝对值的平方，w(H₁)h(H₁)为对应的球员模板的面积，)hist(H₁,H₂)为待定球员标记框与对应的球员模板的色调直方图的绝对值差值，α为权值因子，且0≦α≦1。

在其中一个实施例中，置信度获取模块还用于通过以下公式计算未丢失的球员标记框的置信度：

其中，p为置信度，t为时间。

在其中一个实施例中，该装还可以包括：

统计模块，用于统计对应的球员模板的使用次数。

替换模块，用于当对应的球员模板的使用次数等于预设次数、且置信度大于预设置信度时，则通过未丢失的球员标记框替换对应的球员模板。

在其中一个实施例中，该替换模块还可以包括：

中心像素获取单元，用于获取未丢失的球员标记框的中心像素。

替换单元，用于当在包含中心像素的预设范围中存在球员像素时，则根据在预设范围中的球员像素生成对应的球员模板；当在包含中心像素的预设范围中不存在球员像素时，则继续通过未丢失的球员标记框替换对应的球员模板。

在其中一个实施例中，该装置还可以包括：

球场区域获取模块，用于分别获取不同视角下的视频中的球场区域和球员模板。

角点确定模块，用于根据球场区域确定球场区域的四个角点。

坐标投影关系确定模块，用于根据四个角点，确定当前帧与目标平面之间的坐标投影关系。

在其中一个实施例中，第一获取单元还用于获取当前帧的颜色直方图；根据颜色直方图，对当前帧进行反向投影以获得球员像素；根据球员像素，获取待定球员标记框。

上述对多视角视频的球员追踪装置的具体限定可以参照上文中对多视角视频的球员追踪方法的限定，在此不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多视角视频的球员追踪方法，其特征在于，包括：

分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框；

根据所述未丢失的球员标记框的位置计算球员坐标；

分别计算所述球员坐标，投影至目标平面的投影坐标；

获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；

根据所获取的投影坐标计算第一目标球员坐标；

在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。

2.根据权利要求1所述的方法，其特征在于，所述分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记矩形框的步骤，包括：

针对不同视角下的每个视频分别进行以下步骤：

获取当前帧中的待定球员标记框和所述当前帧的上一帧的未丢失的球员标记框、所述上一帧的丢失的球员标记框以及所述丢失的球员标记框的搜索距离；

根据所述待定球员标记框的位置获取对应的球员模板；

获取与所述上一帧的所述未丢失的球员标记框的距离小于第二预设距离的所述待定球员标记框；

分别计算所述待定球员标记框与所述对应的球员模板的差值；

当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；

当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则将所述上一帧中的未丢失的球员标记框标记为所述当前帧中的丢失的球员标记框；

获取与所述上一帧的丢失的球员标记框的距离小于所述搜索距离的所述待定球员标记框；

分别计算所述待定球员标记框与所述对应的球员模板的差值；

当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；

当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则调大所述搜索距离。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

针对不同视角下的每个视频分别进行以下步骤：

分别根据所述差值计算所述未丢失的球员标记框的置信度；

获取所述视角的摄像机在所述当前帧中的摄像机坐标；

根据所述置信度以及所述球员坐标与所述摄像机坐标间距离，分别计算与所述球员坐标相对应的所述投影坐标的权值；

根据所获取的投影坐标计算第一目标球员坐标的步骤，包括：

根据所获取的投影坐标以及所获取的投影坐标的权值，计算第一目标球员坐标。

4.根据权利要求3所述的方法，其特征在于，所述分别计算所述待定球员标记框与所述对应的球员模板的差值的步骤，包括：

通过以下公式分别计算所述待定球员标记框与所述对应的球员模板的差值：

<mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;alpha;</mi> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> <mrow> <mi>w</mi> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mi>h</mi> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mi>h</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow>

其中，dist(H₁,H₂)为所述差值，为所述待定球员标记框与所述对应的球员模板的像素差绝对值的平方，w(H₁)h(H₁)为所述对应的球员模板的面积，)hist(H₁,H₂)为所述待定球员标记框与所述对应的球员模板的色调直方图的绝对值差值，α为权值因子，且0≦α≦1。

5.根据权利要求4所述的方法，其特征在于，所述分别根据所述差值计算所述未丢失的球员标记框的置信度的步骤，包括：

通过以下公式计算所述未丢失的球员标记框的置信度：

<mrow> <mi>p</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mfrac> <mrow> <mo>&amp;part;</mo> <mrow> <mo>(</mo> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>(</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>H</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>)</mo> </mrow> <mrow> <mo>&amp;part;</mo> <mi>t</mi> </mrow> </mfrac> </mfrac> </mrow>

其中，p为所述置信度，t为时间。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

针对不同视角下的每个视频分别进行以下步骤：统计所述对应的球员模板的使用次数；

当所述对应的球员模板的使用次数等于预设次数、且所述置信度大于预设置信度时，则通过所述未丢失的球员标记框替换所述对应的球员模板。

7.根据权利要求6所述的方法，其特征在于，所述当所述对应的球员模板的使用次数等于预设次数、且所述置信度大于预设置信度时的步骤之后，还包括：

获取所述未丢失的球员标记框的中心像素；

当在包含所述中心像素的预设范围中存在球员像素时，则根据在所述预设范围中的所述球员像素生成所述对应的球员模板；

当在包含所述中心像素的预设范围中不存在球员像素时，则继续通过所述未丢失的球员标记框替换所述对应的球员模板的步骤。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

分别获取所述不同视角下的视频中的球场区域和球员模板；

根据所述球场区域确定所述球场区域的四个角点；

根据所述四个角点，确定所述当前帧与目标平面之间的坐标投影关系。

9.根据权利要求2至7任一项所述的方法，其特征在于，所述获取当前帧中的待定球员标记框的步骤，包括：

获取当前帧的颜色直方图；

根据所述颜色直方图，对所述当前帧进行反向投影以获得球员像素；

根据所述球员像素，获取待定球员标记框。

10.一种多视角视频的球员追踪装置，其特征在于，包括：

球员坐标计算模块，用于分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框，根据所述未丢失的球员标记框的位置计算球员坐标；

投影坐标计算模块，用于分别计算所述球员坐标，投影至目标平面的投影坐标；

目标球员坐标计算模块，用于获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；

追踪显示模块，用于在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。