CN101894374A - 用于目标跟踪的方法和设备 - Google Patents

Abstract

描述了一种用于跟踪视频中的目标的设备和方法。特别地，描述了一种改善所捕获场景中的目标的真实性的方法和设备。该改善是通过标识视频中的第一和最后帧并且使该目标的所检测路径服从于改善了输出位置数据的校正函数来实现的。

Description

用于目标跟踪的方法和设备

技术领域

本发明涉及一种用于目标跟踪的方法和设备。

背景技术

目前，需要跨越一系列图像跟踪目标的位置。这种技术的一个例子是在与运动相关的电视中。在实况捕获的体育赛事期间，在视频剪辑期间跟踪球场上的球的位置是非常有用的，以便能够准确地获得关于该赛事的精彩场面(highlights)和其他信息。然后该准确捕获的信息就可以随后用于形成该体育赛事的计算机仿真。例如，在计算机游戏产业中有可能在虚拟环境中重建现实生活的体育赛事。为了准确地将现实生活的体育赛事变换到虚拟环境中，就需要准确并逼真地确定球场上的球的位置，并且使用所捕获的视频剪辑在整个游戏中跟踪球。

实现这一目的的一种方式将是：让操作者观看所捕获的体育赛事的图像，并且对于每一视频帧，记录比方说球场上的球的位置。然而，这种方式有多个缺点。首先，这种方法是非常耗时和非常费力的。其次，由于在体育场上正在捕获视频的电视摄象机不是被固定在位置上的(即该摄像机摇动和倾斜以追随球)，这就意味着即使操作者记录了该球在每一视频帧中的位置，其也将不能提供标识球场上球的位置的准确信息。

本发明的目的是解决该逼真地确定球场上的球的位置的问题。

发明内容

根据第一方面，提供一种在由至少一个固定在位置上的摄像机捕获的场所的视频中跟踪目标的方法，该视频具有第一和第二标记帧，该方法包括：

在视频的第一标记帧中检测第一锚定点；

在视频的第一标记帧和后续帧中检测该目标在该场所中的位置；

在视频的第二标记帧中检测第二锚定点；

在视频的第二标记帧中检测该目标在该场所中的位置；和

根据多项式方程来调整该目标在第一标记帧和第二标记帧之间的视频帧内的场所中的位置，其中定义标识在所检测的第一和/或第二锚定点处发生的动作的元数据，并且该动作是从预定动作列表中选择的。

因为它改善了对场所中的目标建模的真实性，所以这是有利的。这种真实性的改善是由于下述方式导致的，在该方式中，从场所的视频剪辑中获得目标在场所中的位置。该多项式方程可以拟合目标在该场所中的许多可能的不同运动，而无需所讨论的目标的任何已有知识或物理模型。

此外，通过允许从预定的动作列表中选择标识正在发生的动作的元数据来提供进一步的优点。这加快了选择该动作的速度。

该多项式方程可以在目标在第一标记视频帧中的场所中的位置与目标在第二标记视频帧中的场所中的位置之间扩展(extend)。

可以选择该多项式方程的参数，从而使得在所检测到的该目标在视频帧中的位置与由该多项式定义的目标在视频帧中的场所中的位置之间的误差测量最小。

可以根据目标的方向变化来检测该第二锚定点。

该多项式可以使用多项式插值来生成。

该多项式可以使用范德蒙德矩阵来生成。

在跟踪剪辑中的目标之前，该方法可以包括：定义与场所中的已知位置相对应的视频帧上的多个位置，以及相对于来自该视频帧的场所中的已知位置来定义视频中的其他位置。

该场所可以包含至少一条直线，并且在跟踪剪辑中的目标之前，对摄像机所捕获的剪辑中的线的位置进行拟合以对应于场所中的直线。

可以使用目标的调整后的位置来定义该目标在虚拟环境中的位置。

根据本发明的第二方面，提供一种用于在由至少一个固定在位置上的摄像机捕获的场所的视频剪辑中跟踪目标的设备，该视频具有第一和第二标记帧，该设备包括：

第一检测器，其用于在视频的第一标记帧中检测第一锚定点；

第二检测器，其用于在视频的第一标记帧和后续帧中检测目标在场所中的位置；

第三检测器，其用于在视频的第二标记帧中检测第二锚定点，以及在视频的第二标记帧中检测目标在场所中的位置；和

处理器，其用于根据多项式方程来调整目标在第一标记帧和第二标记帧之间的视频帧内的场所中的位置，其中定义标识在所检测的第一和/或第二锚定点处发生的动作的元数据，并且该动作是从预定动作列表中选择的。

该多项式方程可以在目标在第一标记视频帧内的场所中的第一位置与目标在第二标记视频帧内的场所中的第二位置之间扩展(extend)。

可以选择该多项式方程的参数，从而使得在所检测到的该目标在视频的后续帧中的位置与由该多项式定义的该目标在视频的后续帧中的场所中的位置之间的误差测量最小。

可以根据目标的方向变化来检测该第二锚定点。

该多项式可以使用多项式插值来生成。

该多项式可以使用范德蒙德矩阵来生成。

这是一种有用的计算机内的实施方式，因为与传统的多项式解决方案相比，更容易处理其系数被作为矩阵加以计算的多项式。

在跟踪剪辑中的目标之前，处理器可以用于定义与场所中的已知位置相对应的视频帧上的多个位置，以及相对于该帧内的场所中的所定义位置来定义该视频中的其他位置。

该场所可以包含至少一条直线，并且在跟踪剪辑中的目标之前，对摄像机所捕获的剪辑中的线的位置进行拟合以对应于场所中的直线。

可以使用目标的调整后的位置来定义该目标在虚拟环境中的位置。

还提供了一种具有存储介质和处理器的计算机，该存储介质包含：视频资料以及与其相关的调整后的位置数据，该调整后的位置数据是按照根据本发明的任一实施例的方法生成的；其中该处理器用于生成虚拟环境，该虚拟环境包含位于该虚拟环境中的一位置处的目标，该位置对应于所存储的与该视频资料相关的调整后的位置数据。

还提供一种存储介质，其包含视频资料以及与其相关的被调整的位置数据，该被调整的位置数据是按照根据本发明的任一实施例的方法生成的。

根据另一方面，提供一种用于捕获和跟踪场所中的目标的系统，包括至少一个固定在位置上的摄像机和根据本发明的任一实施例的设备。

还提供一种包含计算机可读指令的计算机程序，当该计算机可读指令被加载到计算机上时，配置该计算机以执行根据本发明的任一实施例的方法。

一种被配置为在其中或在其上包含计算机程序的存储介质。

附图说明

通过将被结合附图阅读的说明性实施例的下述详细描述，将会清楚本发明的上述和其它目的、特征和优点，在附图中：

图1示出了足球场的俯视图；

图2示出了根据本发明实施例的图像处理中心的示意图；

图3示出了解释三角测量的示意图；

图4A示出了来自图1中的俯视图中所示的摄像机的足球场的一部分的远景图(prospective view)；

图4B示出了显示根据实施例的图4A的图像中的线校正(linecorrection)的示意图；

图5A-5F示出了根据本发明实施例的目标跟踪的说明性示例；

图6A-6E示出了根据本发明实施例的目标跟踪的另一说明性示例；

图7A和7B示出了根据本发明实施例的目标跟踪的另一说明性示例；

图8示出了可以在其上使用本发明实施例的计算机系统。

具体实施方式

参照图1，其中示出了由比赛区域102A-D界定的足球场。与任何足球场一样，提供了多条界定比赛区域的其他线(例如禁区、中圈等)。一条这种线是沿着图1中所示的禁区104的边缘。

图1中还示出了任选的参考点106。虽然在图1中仅示出了三个参考点，但是在实施例中，对于每个摄像机选择任意数量的参考点。这些参考点在比赛期间不改变，并且在这种情况下位于图1中禁区的一角处、罚球点处以及球场的一角处。然而，这些参考点106可以位于球场100上的任何地方。当参照图4A和4B时，这些参考点的重要性将变得明显。这里应该注意的是，虽然前面讨论的实施例是关于足球场的，但是任何运动场地或者甚至是具有静态布局的场所都可以同样使用。

为了捕获来自于足球场100的图像，采用图1的摄像机布置。特别地，视频摄像机108和110位于足球场100上的各个所谓的“18码线”处。这些摄像机优选为高清晰摄像机，并且它们的视场朝着球门区延伸。这些摄像机具有静态的视场。此外提供的是位于足球场的中线处的摄像机布置112。每个摄像机的视场略有交叠，并且通过把由该摄像机布置112提供的三个不同视场“缝合(stitching)”在一起来生成整个足球场的合成图像。该缝合是本领域已知的(例如参见GB-A-2444533，其详述了图像的配置和缝合)，并且因此这里不再对这一特定特征进行更详细的描述。该摄像机布置112包括三个摄像机元件，其中的每个都是固定在位置上的高清晰摄像机，并且每个都具有静态的视场。

如图2中所讨论的那样，该18码摄像机108和110的输出以及摄像机布置112的输出被馈入到图像处理中心114中。每个摄像机具有固定的视场、已知位置和已知参数(例如焦距)。因此，由于这些参数是不变的，所以可以使用多个摄像机中的两个摄像机的输出来采用三角测量技术确定球在球场100上的位置。这将针对图3进行描述。

在特定实施例中，使用18码摄像机108之一的输出和摄像机布置112的输出来对目标在其视场中的位置进行三角测量，并且使用另一18码摄像机110和摄像机布置112的输出来对目标在其视场中的位置进行三角测量。

参照图2，来自于每个摄像机108和110以及摄像机布置112的输出被馈入到位于图像处理中心114内的图像处理器200中。该图像处理器200是特别适于处理高清图像的计算机。一个这类处理器可以是所谓的单元处理器。

附着到图像处理器200的是存储介质202，其用于存储来自每个18码摄像机108、110和摄像机布置112的图像数据。此外，存储介质202存储球场上的球的位置数据以及其他与视频内容相关的元数据。元数据是本领域的术语，并且通常意味着“关于数据的数据”。在图像处理的环境中，元数据可以包括摄影师的详情、场所详情、好球标记(good shot marker)和其他与视频资料相关的信息。然而，在实施例中，元数据包括与每个视频帧的内容相关的信息，例如球员在球场上所处的位置，每一帧中发生的动作详情，和标识球场上的球的位置的信息。一般地，元数据包含比视频数据少的数据。

此外，在存储介质中存储有校准信息。该校准信息提供允许进行三角测量的信息。将参考图1的固定点来描述该校准信息。如上所述，图1的布置中的每个摄像机被相对于彼此以及球场100固定在位置上。因此，通过在系统的校准期间定义球场上的多个位置(在这种情况下为3个，其在球场上的物理位置是已知的)，并且已知球场的尺寸和摄像机的参数(例如焦距)，图像处理器200可以生成校准数据，该校准数据定义了每个摄像机的所捕获图像中的每个像素与足球场100上的对应位置之间的关系。换句话说，根据目标在由两个摄像机输出的图像上的位置来计算该目标在球场100上的位置。该校准信息在执行三角测量时被使用，并且有时被称为“摄像机矩阵(camera matrix)”。这在图3中加以描述。

在图3中，有两个图像平面3002和3004，它们是来自于18码摄像机108之一和摄像机布置112中的摄像机元件之一的输出图像。为了简单起见，在图像平面3002和3004中仅示出了一个目标3006。目标3006位于“现实生活”球场(即3D场所)上的一个位置处。该目标3006位于图像平面3002中的位置3012处和图像平面3004中的位置3014处。利用三角测量，可以根据目标在图像平面3002和3004中的位置来确定该目标3006在球场上的位置。

如果存在从图像平面3002中的目标3012的位置向3D空间中(或者换句话说是垂直于该图像平面)画出的直线3010或窄锥形(narrow cone)，和从图像平面3004中的目标3014的位置向3D空间中画出的相应的直线3008或窄锥形，则线的交叉就被认为是该目标3006的位置。

然而，如本领域技术人员将会认识到的，由于系统的校准中的固有误差，所以线3008和3010实际上并不总是会相交。为了解决这个问题，在实施例中，找到连接线3008和3010的最短向量，并且将该向量的中点确定为目标3006的位置。使用这种方法，如果线3008和3010确实相交，则目标3006的位置将是交叉点。在系统的校准期间，目标3006将是参考点106之一，而在目标检测和跟踪期间，目标3006将是在球场100上(例如是球员或球)。

回到图2，存储介质可以是保持在图像处理中心114中的硬盘驱动器或光媒介。替代地，该存储介质可以是可移动的，例如存储棒(Memory

)。显然，存储介质202也可以是这两种类型的存储媒介的组合。

用户终端204也连接到图像处理器200。虽然未示出，但可以预见该用户终端将包括至少一个用户输入，以允许操作者向用户终端提供信息，并随后提供到图像处理器200。附着到用户终端204的是用户显示器206，其显示由每个摄像机108和110或摄像机布置112实时地或通过存储介质202提供的图像资料。在用户显示器206上还显示图形用户界面，以允许用户控制图像处理器200且与图像处理器200交互。

在图4A中示出了来自于一个18码摄像机108的视场。如图4A中所示，其中示出了两条线104和104’。实际上，线104’是由18码摄像机108提供的18码线的图像。线104是足球场100上的真实线。线104’呈现轻微弯曲的现象是由于该18码摄像机108中的透镜畸变而引起的。透镜畸变具有使直线呈现为弯曲的效果。当使用18码摄像机108所捕获的图像来估算目标在足球场100上的位置时，该畸变就是个问题。这是因为在生成校准数据时不可能容易地测量透镜畸变。

因此，在本发明的实施例中，用户终端204的操作者将查看18码线摄像机108和110以及摄像机布置112的每个输出，并且矫直这些线中的每一条，以确保该透镜畸变不破坏在跟踪目标时所采集的目标在球场100上的位置数据。这种校正可以从图4B中看出来。用户终端204的操作者将该18码线104重画成直的。存储在存储介质202中的球场尺寸被更新以结合这些改变。

通过在系统的校准期间(即在进行任何目标检测或跟踪之前)执行该线校正，会提高任何随后被检测或被跟踪的目标的定位精度。

参照图5A-5F，可以看到在足球场的中圈附近的多个球员。特别地，在该图中特别要关注球员A 400、球员B 401和球员C 402。球员A和球员B为A队比赛，而球员C为B队比赛。如将解释的那样，通过围绕球员的两个加亮之一来对每个球员加亮。利用A队的加亮404来为球员C 402加亮，并且通过B队的加亮406来为球员A和B加亮。在该图中，A队具有作为加亮的实线，而B队具有作为加亮的虚线。然而，通常这些将是不同的颜色而非不同类型的线。

标识球员A、球员B和球员C的信息被存储在存储介质202中，并且各个球员在足球比赛期间的移动和对应的位置也被存储在存储介质202中。用于跟踪球员的不同技术是本领域所已知的。例如，在GB-A-2452512中论述了球员跟踪，并因此在这里将不再进一步对其进行讨论。

此外，在实施例中，在每一视频帧中检测球410的位置。使用三角测量来计算球场上球410的位置，并且还将该位置与视频帧相应地存储到存储介质202中。球和球员位置二者都被存储为与视频帧相关的元数据。在足球赛期间跟踪球410在球场100上的位置。

现在参照图5B，为了清楚地说明，A队加亮404和B队加亮406被去除。当在足球赛期间球员A 400接到球410时，用户终端204的操作者对图像处理器200识别出该特定视频帧具有与其相关的动作。由于该视频帧与比赛同步，因此通过知道该动作发生在哪一帧中，就可以知道该特定动作发生在比赛期间的什么时间。该动作充当锚标(anchor)，这将在稍后解释。响应于操作者将该帧识别为具有与之相关联的动作，在屏幕上呈现动作选择菜单412。该动作选择菜单允许用户选择与该帧相关的多个备选动作中的一个。例如，操作者将能够识别出球将被球员A 400用右脚踢。其他的备选选项可以是球员A 400将要用该左脚踢或截击球，用他的右脚或左脚运球，控球，头顶球，或者其他任何适当的动作。另外，应该注意的是，该动作可以是球已经弹起，出界等。标识该动作的元数据被存储为与其所对应的视频帧相关联。

为了允许用户有时间从动作选择框412中选择正确的选项，视频镜头(video footage)被冻结，或者以某方式暂停。事实上，每当激活动作选择框时，视频镜头都会被冻结。虽然球410被自动检测，并且使用三角测量来计算球410在球场上的位置，但是用户也可以在激活动作选择框时手动标记球410的位置。

在图5C中，看到球410在空中向着球员B 401飞去。该球距离地面的距离为d。而且，在图5C中示出了所检测到的球410的路径。为了跟踪飞行的球410，必须在每个连续帧中检测球410。

如将从图5C显见的那样，所检测到的球410的路径是不正确的，因为球在被踢后不会以这种方式行进。球410的所检测路径与该球的实际路径之间的误差是由于检测球的过程引起的。这是因为在连续帧中会出现球的错误检测，或者因为没有正确识别球的位置。其他误差可能来自于不正确地检测球的运动，在连续帧之间球410的中心的定位不一致，错误检测(例如将球员的脚错误识别为球410)等等。因此，根据所检测的球410的路径而生成的标识球在足球场100上的位置的任何位置数据将是不正确的。

这在图5D中再次示出，图5D示出了球进一步沿着该路径到球员B 401。如所看见的那样，球412’的进一步检测的路径与球410的实际路径不一致。

如图5E中所示，当球410到达球员B 401时，用户终端204的操作者激活第二动作选择框414，其创建第二锚标以产生描述与帧相关的动作的元数据，并且标记该视频帧。球412’的整个被检测路径都是不正确的。因而，如果认为球410遵从所检测的路径，则图像处理器200将生成不正确的结果。然而，通过打开第二动作选择框414，用户终端204的操作者向图像处理器指示球已经到达球员B 401以及还指示球410的目的地。这向图像处理器200标记了球410已经完成了它从球员A 400到球员B 401的路径，并且还允许图像处理器知道球410的目的地。

为了校正球412”的整个错误检测的路径，图像处理器200需要对由球412”的整个所检测的路径提供的位置数据执行额外的处理。在本发明的实施例中，通过范德蒙德矩阵来确定图5F中所示的球416的已筛选(filtered)路径(其是被校正的路径)。作为把球412”的整个错误检测的路径放置到范德蒙德矩阵中的结果，(即来自第一次和第二次激活动作选择框之间的每一帧的球410的所检测位置)，会产生类似该所检测路径的多项式形状的系数。当由用户终端204的操作者激活第一和第二动作选择框412和414时，由球410的位置信息提供该多项式形状的起点和终点。

换句话说，对于任一特定帧，可以通过如下多项式函数来定义球的位置：

x_i＝a₀+a_it_i+a₂t_i ²+...+a_nt_i ⁿ                (1)

其中n是所使用的多项式的次数。

因此，对于一组M个帧(即激活第一和第二活动选择框之间的帧)，上式可以写成一个范德蒙德矩阵方程：

$\left[\begin{array}{c}1+t_0{{+t}_0}^2+...+{t_0}^n\\ 1+t_1+{t_1}^2+...{t_1}^n\\ ................................\\ ................................\\ 1+\mathrm{tM}+{\mathrm{tM}}^2+...+{\mathrm{tM}}^n\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ .\\ .\\ a_n\end{array}\right]=\left[\begin{array}{c}{x}_0\\ x_1\\ .\\ .\\ x_M\end{array}\right]$

这个矩阵具有Va＝x的形式，其中需要找到“a”的值以给出多项式系数。

所以，Va＝x

V^TVa＝V^Tx以及

a＝(V^TV)^-1V^Tx

其中如技术人员将会理解的那样，(V^TV)^-1V^T已知为伪逆(pseud oinversion)。

该具有使用上述范德蒙德矩阵生成的系数的多项式提供了图5F中所示的球416的已筛选路径。于是，如在用户终端204的操作者激活该第一活动选择框412和第二活动选择框414之间的每一帧中确定的球场上球的位置被调整，从而使其适合该生成的多项式。这就为球提供了非常逼真、更准确的位置数据。这里应当注意的是，虽然在这个例子中使用了多项式方程，但是也可以使用任何适当类型的方程。例如，给定风速、气压、球的表面特性等的准确知识，就可以为球的运动构建精确的物理模型，并使用图像处理器200来找到迭代方案。然而，这需要大量的处理能力以精确求解。然而，该矩阵求逆方法需要更少的处理能力，因为它使用了对于现代计算机而言广泛可用并且最优化的标准程序。当然。本发明并不限于这种方法，并且可以使用其他多项式插值技术，例如Neville算法或Lagrange Form。

为了生成精确模拟球的真实路径的多项式，我们发现六阶多项式是足够的，不过在样本大小(即第一和第二激活之间的帧数)受限制的情况下可使用更低阶的多项式。

图6A-6E示出了球410在被球员A踢出和被球员B接到之间弹起的情形。与图5B一样，用户终端204的操作者使用动作选择框来选择球已经被球员A用特定的脚踢出。为了清楚起见，在图6A中未示出该动作选择框。在图6B中，球410在地上弹起。如已经讨论的那样，由于在每帧中球410的检测误差，所以该弹起的球500的所检测路径被显示为不正确的。然而，当球弹起时，用户终端204的操作者打开第三选择框，其中包含了如前所讨论的针对球的多个选项。用户选择球弹起，并将其作为与该特定帧相关联的元数据存储在存储介质202中。在这一阶段，图像处理器200使用如针对图5F所讨论的范德蒙德矩阵来生成已筛选路径504。再次，将在每帧中确定的球场上的球的轨迹以及因而球的位置调整为遵循弹起的球的已筛选路径的路径。

在已经根据该轨迹调整了球场上球的位置后，将该动作发生时的弹起位置(由第三动作选择框标识)和比赛期间的时间(或帧)存储在存储介质202中。

该视频继续并检测每帧中球的位置。在弹起515和球员B 401的标记位置之间进一步检测到的该弹起的球的路径505’也是不正确的。当球410到达球员B 401时，用户终端204的操作者打开第四活动选择框505并选择适当的动作。动作的该选择充当锚标或标记。再次，该动作被存储为与视频帧相关的元数据。

该弹起的球的进一步检测到的路径500”服从于范德蒙德矩阵，并且在弹起515的所标记位置与用第四活动选择框标识的球的位置之间生成该弹起的球的另一已筛选路径510。如可从图6E看到的那样，该弹起的球的路径事实上由两部分构成：弹起的球的已筛选路径504和弹起的球的另一已筛选路径510。这就显示出了当球410在地上弹起时它的突然改变的方向。换句话说，该方向的突然改变可以被确定为是该球的运动方向在较短系列的帧中改变超过预定角度的点。一个这种角度可以是90°。

与简单地筛选球员A和球员B之间的路径相比，实施例是有利的。这是因为，如果对球的所检测路径的筛选仅发生在球员A 400和球员B 401之间，那么就会平滑该两个球员之间的整个路径。这将与实际不符。通过当球在地面上弹起时设置“标记”(即使用第三活动选择框来标记其发生于的帧)，就可以使球场上的球410的路径更准确。在实施例中，可以自动检测球410的方向的这种快速改变(例如当它弹起时)，并且该球410的方向的这种快速改变可以用于自动生成该标记和球的位置。而且，当用户选择一个动作例如踢球(左踢、右踢、截击等)以设置锚定点时，可以根据该方向变化和球离地面的高度来自动确定第二个球员是头顶还是截击经过的球。

一旦球员B 401的脚接到了球410，他会希望运球。这就需要该球非常接近球员B 401的脚。由于球410非常接近球员401的鞋，所以球410的检测就会变得更困难并且会出现更多误差。假定摄像机108、110和摄像机布置112是固定类型，则这是确实存在的。

因此，如图7A中的情况那样，如果球员运球，则用户终端204的操作者可以使用与图5和6中所述的类似技术来改善通过球检测采集的位置或数据。

在图7A中，球员B 401将球移动到位置410’。这就给出了一个新位置B 401’(用虚线示出)。然而，虽然该球员沿曲线方向跑，但所运的球的所检测路径600又是错误的。这将导致在连续帧之间确定球场上球的位置的误差。因此，用户终端的操作者对于每预定数量个帧生成标记或锚标。例如，操作者可以每5帧生成标记，或者事实上可以按照他或她看着合适的任何其他预定数量个帧。在每个标记或锚标后，图像处理器200使得所运的球的所检测路径600受到运球序列期间的连续锚定点之间的范德蒙德矩阵的约束，其提供了如图7B中所示的所运的球的已筛选路径605。

参照图8，一旦已经为比赛的每一帧估计出球的位置，就整理与比赛相关的元数据、从每次出现活动选择框所选择的动作以及通过球员跟踪所生成的球员位置信息。该整理的数据提供了足够的信息以使用虚拟球员重建该比赛。换句话说，可以创建具有每个球员的虚拟模型的虚拟球场模型。这些模型可以在通用家庭计算机系统700上创建，例如连接到网络705和显示器715的

3 710。

每一帧中的每个球员的位置信息将通知

3 710将虚拟球员放置在虚拟球场上的什么地方。此外，球的已筛选位置信息将通知

3 710在任何时候将球放置在什么地方。而且，利用标识所选择的动作的每次出现的信息，

3 710将能够操纵球员的虚拟模型，以使得他或她在正确的时间用正确的脚踢球。

利用这种细节水平，可以把现实生活的视频镜头变换(morph)到虚拟环境中以用于计算机游戏。该现实生活游戏的所整理的数据可以在网络705(例如因特网)上或在包含该游戏(未示出)的存储介质上或者两者的组合上来加以提供。替代地或者额外地，可以由足球教练或电视评论者进行对游戏的详细分析。

虽然上面已经参照在较短的镜头片段中得以校正的球的已筛选路径进行了描述，但是应当认识到，这不是实施本发明的唯一方法。在其他实施例中，如上所述，确定比赛的每一帧的球的位置，并且生成所有锚标以及与该锚标相关的元数据。然后在后期制作以及对比赛的整个镜头应用球的筛选，其中该筛选考虑了该锚标。

虽然上述讨论涉及足球比赛中的球的跟踪，但是本发明并不仅限于此。例如，该目标可以是任何运动中的球，或者甚至是必须被检测并且随后通过一系列图像来跟踪的任何目标。

此外，虽然前面已经参照图像处理器200进行了描述，但是本发明的实施例也可以在计算机上实现。这就意味着，在本发明的实施例中，提供计算机程序，其包含了将计算机配置为执行如上所述的图像处理器200的角色的计算机可读指令。该计算机程序可以在光存储介质或固态介质或者甚至是磁盘型介质中加以提供。

操作者手动指定锚定点的优点在于，防止影响选择该锚定点的噪音。在一些运动中，例如足球，存在许多可能类型的与球交互，并且用于跟踪的摄像机可能距离该动作很远，所以在自动系统中会发生锚定点的错误检测。

虽然本文中已经参照附图具体描述了本发明的说明性实施例，但是应当理解的是，本发明并不仅限于那些精确的实施例，并且本领域技术人员可以在不背离所附权利要求限定的本发明的范围和精神的情况下，在其中实现各种改变和修改。

Claims (20)

1.一种在由至少一个固定在位置上的摄像机捕获的场所的视频中跟踪目标的方法，该视频具有第一和第二标记帧，该方法包括：

在视频的第一标记帧中检测第一锚定点；

在视频的第一标记帧和后续帧中检测该目标在场所中的位置；

在视频的第二标记帧中检测第二锚定点；

在视频的第二标记帧中检测该目标在场所中的位置；和

根据多项式方程来调整该目标在第一标记帧和第二标记帧之间的视频帧内的场所中的位置，其中定义标识在所检测的第一和/或第二锚定点处发生的动作的元数据，并且该动作是从预定动作列表中选择的。

2.根据权利要求1的跟踪方法，其中该多项式方程在目标在第一标记视频帧内的场所中的位置与目标在第二标记视频帧内的场所中的位置之间扩展。

3.根据权利要求2的跟踪方法，其中选择该多项式方程的参数，从而使得在所检测到的该目标在视频帧中的位置与由该多项式定义的目标在视频帧内的场所中的位置之间的误差测量最小。

4.根据权利要求1的跟踪方法，其中根据目标的方向变化来检测该第二锚定点。

5.根据权利要求1的跟踪方法，其中使用多项式插值来生成该多项式。

6.根据权利要求5的跟踪方法，其中使用范德蒙德矩阵生成该多项式。

7.根据权利要求1的跟踪方法，其中在跟踪剪辑中的目标之前，该方法包括：定义与场所中的已知位置相对应的视频帧上的多个位置，以及相对于来自该视频帧的场所中的已知位置来定义视频中的其他位置。

8.根据权利要求1的跟踪方法，其中该场所包含至少一条直线，并且在跟踪剪辑中的目标之前，对摄像机所捕获的剪辑中的线的位置进行拟合，以对应于场所中的直线。

9.根据权利要求1的跟踪方法，其中使用目标的调整后的位置来定义该目标在虚拟环境中的位置。

10.一种用于在由至少一个固定在位置上的摄像机所捕获的场所的视频剪辑中跟踪目标的设备，该视频具有第一和第二标记帧，该设备包括：

第一检测器，其用于在视频的第一标记帧中检测第一锚定点；

第二检测器，其用于在视频的第一标记帧和后续帧中检测目标在场所中的位置；

第三检测器，其用于在视频的第二标记帧中检测第二锚定点，以及在视频的第二标记帧中检测目标在场所中的位置；和

处理器，其用于根据多项式方程来调整目标在第一标记帧和第二标记帧之间的视频帧内的场所中的位置，其中定义标识在所检测的第一和/或第二锚定点处发生的动作的元数据，并且该动作是从预定动作列表中选择的。

11.根据权利要求10的设备，其中该多项式方程在目标在第一标记视频帧内的场所中的第一位置与目标在第二标记视频帧内的场所中的第二位置之间扩展。

12.根据权利要求11的设备，其中选择该多项式方程的参数，从而使得在所检测到的该目标在视频的后续帧中的位置与由该多项式定义的该目标在视频的后续帧内的场所中的位置之间的误差测量最小。

13.根据权利要求10的设备，其中根据目标的方向变化来检测该第二锚定点。

14.根据权利要求10的设备，其中使用多项式插值来生成该多项式。

15.根据权利要求14的设备，其中使用范德蒙德矩阵生成该多项式。

16.根据权利要求10的设备，其中在跟踪剪辑中的目标之前，该处理器用于定义与场所中的已知位置相对应的视频帧上的多个位置，以及相对于该帧内的场所中的所定义位置来定义该视频中的其他位置。

17.根据权利要求10的设备，其中该场所包含至少一条直线，并且在跟踪剪辑中的目标之前，对摄像机所捕获的剪辑中的线的位置进行拟合，以对应于场所中的直线。

18.根据权利要求10的设备，其中使用目标的调整后的位置来定义该目标在虚拟环境中的位置。

19.一种具有存储介质和处理器的计算机，该存储介质包含视频资料以及与其相关的按照根据权利要求1的方法生成的调整后的位置数据；其中该处理器用于生成虚拟环境，该虚拟环境包含了位于该虚拟环境中的一位置处的目标，该位置对应于所存储的与该视频资料相关的调整后的位置数据。

20.一种用于捕获和跟踪场所中的目标的系统，包括至少一个固定在位置上的摄像机和根据权利要求10的设备。

Images