CN102939609A - 基于人类交互轨迹的系统 - Google Patents

Abstract

一种方法和相关联的装置，用于通过用户界面结合人类交互地使用基于轨迹的技术来检测视频序列中的移动对象。该方法包括以下步骤，标识并且评价视频帧中的连接分量的集合，通过将连接分量的特征与预定准则相比较来过滤连接分量的列表，标识跨越多个帧的候选者轨迹，评价候选者轨迹以确定所选轨迹，通过使用界面消除不正确的轨迹，以及响应于评价和消除步骤处理所述视频序列中的图像。

Description

基于人类交互轨迹的系统

相关申请的交叉引用

本申请要求2009年12月16日提交的美国临时申请第61/284，261的权益并且并入于此。

技术领域

本申请涉及视频序列中基于轨迹的检测系统。

背景技术

随着移动设备变得更有能力以及已经开发移动数字电视标准，在这样的设备上观看视频节目变得日益实际。然而，这些设备的小屏幕呈现某些限制，特别是对于观看体育赛事。诸如体育节目中的球之类的小对象难于被看见。高视频压缩率的使用通过显著降低特别是在远视场景中的类似球的小对象的出现可能恶化情况。

因此可以期望应用图像处理，来增强球的出现。然而，检测体育视频或者具有其它小移动对象的视频中的球是具有挑战性的问题。例如，球可以被遮挡或者与场线融合。即使当它是完全可见时，它的属性（诸如形状、面积以及颜色之类）可能从帧到帧改变。另外，如果帧中存在于具有类似球的属性的很多对象，则难以基于仅仅一个帧判定哪个是球，并且由此难以执行图像增强。

之前已经开发检测并且跟踪诸如足球等之类的移动对象的方法，该方法是相当具有鲁棒性并且准确的。这样的方法在PCT/US10/002039中公开。

然而，之前的方法在某些情况下失效。失效的示例包括不跟踪诸如球之类的期望对象或者跟踪不是期望对象的另一对象。

这样，存在以下需要：提供克服现有技术缺点的、检测并且跟踪移动对象的改进的方法。

发明内容

为了解决以上描述的问题，本发明针对以下方法和相关联的装置，用于通过用户界面结合人类交互地使用基于轨迹的技术来检测视频序列中的移动对象。该方法包括以下步骤，标识并且评价视频帧中的连接分量的集合，通过将连接分量的特征与预定准则相比较来过滤连接分量的列表，标识跨越多个帧的候选者轨迹，评价候选者轨迹以确定所选轨迹，通过使用界面消除不正确的轨迹，以及响应于评价和消除步骤处理所述视频序列中的图像。

附图说明

现在将通过参考附图的示例的方式来描述本发明，在附图中：

图1是根据本发明的基于轨迹的球检测方法的一般流程图；

图2是生成球场掩模并且标识球候选者的处理的图示；

图3是视频帧中球候选者的图示；

图4是示例候选者轨迹的绘图；

图5是示例候选者轨迹和实际球轨迹的绘图；

图6是示出候选者之间的区别并且示出如何在很多候选者轨迹中呈现给定候选者的示例候选者轨迹的3维绘图；

图7是来自不同视点的图6的示例候选者轨迹的绘图；

图8是根据本发明的用户界面的视图；

图9是根据本发明的用户界面的另一视图；

图10是根据本发明的基于轨迹的球检测和显示方法的流程图；

图11是根据本发明的基于轨迹的球检测方法的流程图。

具体实施方式

本发明的一个关键方面是通过使用来自人类或者另一可靠信息源的最小输入来改进对象检测系统的性能。

基于轨迹的检测系统的目的是生成可能代表实际对象的路径的轨迹集合

T={T₁,T₂,…T_M}是所有候选者轨迹的集合，其中每个候选轨迹是形成某一时间间隔中的平滑移动对象的可行假设的相邻帧中的候选者集合，其中，每个帧存在一个候选。候选者是可能是感兴趣的球或者对象的特定帧中的对象。（应该注意，候选者还可以称作替代物）。所有候选者的集合称为C，并且候选者

是轨迹T_i的第k个元素。

创建BT的方法可以是以下算法：从具有最高置信指数Ω(T_i)（其基于组成轨迹T_i的元素计算）的T重复取得轨迹并且将其移动到集合BT。然后修剪或者删除具有与BT某一程度的不兼容度的T中的所有轨迹。当T中不存在轨迹时，停止算法。

图1是本发明利用的基于轨迹的球检测方法100的一个实施例的流程图。该方法可以应用到可以是诸如足球比赛的体育赛事的输入视频序列110。

在步骤120，生成球场掩模PM。掩模生成包括检测草地区域以生成草地掩模GM，并且然后计算球场掩模，该球场掩模是覆盖这些草地区域的没有孔的面积。

在步骤130，检测可以是球的候选者对象。通过卷积帧F的辉度分量与归一化的高斯核G_nk，以生成输出图像Y_conv，来检测强度图像中的局部最大值。如果Y,(x，y)>Y_conv(x,y)+T_Imax，则将pixel(x，y）指定为局部最大值，其中，T_Imax是预置阈值。该方法在隔离球像素中成功，但是还隔离球员、场线、球门等的一些部分，这是因为这些特征还包含可能是局部最大值的亮点。最后结果是二进制图像I_Im，1表示亮点。在I_Im中的连接的分量的集合Z＝{Z₁,Z₂，...Z_n}被称为“候选者”，在下面步骤中处理“候选者”以检测“球候选者”。在实施例中，G_nk是方差4并且阈值T_Imax是0.1的9×9高斯核，。

来自步骤120的球场检测的信息可以在步骤130和步骤140使用，以减小候选者的数量。在远视场景中，可以做出以下假设，球将在球场内并且可以忽略球场之外的对象。

图2提供用于检测候选者的处理的图形图示。给出帧210，使用场地由草制成的知识来识别足球场像素。处理的结果是二进制掩模230，其分类所有场地像素为1以及包括场地中的对象的所有非场地像素为0。球场面积A_field计算为场地边界内的像素数量，如图像240所示，包括非场地对象。在图像220中示出候选者检测的结果。不在场地面积内的候选者被消除，产生图像250。

来自步骤130的一些候选者非常不可能是球并且可以使用步骤140的筛选和证明合格处理来消除。对于每个候选者计算分数，以提供每个与球的预建立模型有多么相似的资格。

可以使用球特征的统计信息来消除一些候选者。在实施例中，考虑球的三个特征：

-面积（A）是候选者Z_i的像素数量。

-偏心率(E)是“加长度”的测量。对象越加长，偏心率越高。在实施例中，可以使用二进制图像矩（moment）来计算偏心率。

-白度（W)是为白色的像素的质量。给出给定像素的r、g和b（分别是红色、绿色和蓝色分量），白色度可以定义为：

$W=\sqrt{{(\frac{3r}{r+g+b}-1)}^2+{(\frac{3b}{r+g+b}-1)}^2}$

样本视频的分析已经示出面积和白度直方图二者遵循高斯分布。对称化之后偏心率直方图也遵循高斯分布，以说明偏心率的最小值是1。如果候选者的特征值位于范围μ±nσ外，则可以丢弃候选者，其中μ是平均值，并且σ是对应特征分布的标准偏差。基于筛选处理S，Z中的候选者可以作为类似球的对象被接受或者丢弃。使用宽松的范围，这是因为球的特征可以从帧到帧显著地改变。

面积A可以建模为μ_A=7.416并且σ_A=2.7443的高斯分布，并且范围由n_A=3控制。E建模为高斯分布，μ_E=1以及σ_E=1.2355，并且范围由n_E=3控制。W建模为μ_W=0.14337以及σ_W=0.034274的高斯分布，并且范围由n_W=3控制。候选者必须满足所有准则被保持。

此外，在步骤140，通过筛选处理S(Z）的候选者基于它们的特征与球的预建立的模型的相似度被证明合格。再次使用A、E、和W来计算球候选者的分数，并且除了以下之外使用n的更紧凑值（tighter value）:

-到最近候选者的距离（DCC )，候选者C_i中的任意像素与其他候选者{C-C_i}中的其他像素之间的像素的最近距离，

-到场地边缘的距离(DF)，给定候选者的中心和球场掩模PM的周长之间的像素的最近距离，以及

-对象掩模中的各个斑点内部的候选者的数量(NCOM）,作为给定候选者C_i的位于对象掩模OM中的相同连接分量内部的C中的候选者的数量，其中OM，对象掩模是指示球场内非草地像素的二进制掩模，并且定义为PM内部的GM的逆。

与总是相互靠近的类似球员的袜子的对象相反，多数时间球被预期为球场内被隔离的对象。因此，不具有近邻并且具有高DCC的候选者更可能是球。同样，球不被预期为靠近场的边界。如果存在在草地内但是在球场边界线之外的备用球，则这个假设特别重要。

OM提供关于球场内的哪些像素不是草地的信息。这包括球员和场线，其可以包含在它们内部的“类似球”的斑点（例如，球员的短袜或者线分段）。理想地，球候选者应该不位于其他较大斑点内部。如可以期望OM的连接分量内部的仅仅一个候选者C_i，在我们的理想模型中NCOM_i可以期望是1。由此可以从计算NCOM中获益。

候选者C_i的分数S_i计算如下：

S_i＝S_A，i+S_E，i+S_w，i

其中

在该点，丢弃具有分数等于0的候选者。对于剩余候选者，使用如下的其他特征处罚分数S_i：

在实施例中，μ_A＝7.416，σ_A＝2.7443，n_A＝1.3；μ_E＝1，σ_E＝1.2355，n_E＝1.3；μ_w＝0.14337，σ_w＝0.034274，n_w＝1.3；DCC_thr＝7个像素，DF_thr＝10个像素以及NCOM_thr＝1。

图3图示帧中球候选者的标识的结果，边界框（对于球候选者310-390）指示球候选者的存在。在界面呈现代表候选者的分数的不同颜色。红色、绿色和蓝色分别代表分数3、2和1。在图3中，候选者390是红色（即，分数3），候选者350是绿色（即，分数2），以及剩余候选者是蓝色（即，分数1）。在该图示中，候选者310、320、335、340、360和380代表球员或者他们的服装的部分，候选者330和370代表场上的其他对象，以及390代表实际球。

在步骤150，标识轨迹的开始点或者“种子”。种子SEED_k是两个连续帧F_t，F_t+1中的一对球候选者{C_i，C_j}，其中C_i属于F_t以及C_j属于F_t+1，使得对{C_i，C_j}的候选者在空间上比阈值SEED_thr，更互相靠近，以及另外，满足一个候选者的分数是三或者两个候选者的分数是2的准则的任意一个。在优选实施例中，SEED_thr＝8个像素。准则可以改变以解决其它关注，诸如时间复杂性。

在步骤160，从步骤150的种子创建候选者轨迹。轨迹

定义为连续帧中的候选者集合，每帧一个候选者，以形成在使用种子SEED_i生成的某一时间间隔或者帧范围中平滑移动对象的可行假设。

线性Kalman滤波器用于通过在两个方向扩展种子创建轨迹。构成种子的两个样本确定滤波器的初始状态。使用该信息，滤波器预测下一帧中的球候选者的位置。如果以预测位置为中心的搜索窗口内部存在下一帧的候选者，则距预测位置最近的候选者被添加到轨迹并且其位置用于更新滤波器。如果在窗口中没有发现候选者，则向轨迹添加预测位置作为未支持点并且用于更新滤波器。如果a）对于N个连续帧不存在靠近预测位置的候选者，以及b）靠近预测位置不存在多于K个候选者（例如，K=1），终止轨迹建立过程。滤波器以双向方式工作，所以后来在时间上向前扩展轨迹，Kalman滤波器被重新初始化并且在时间上向后扩展。用以终止轨迹的第一准则在其末端（extreme）产生无支持点的集合。这些无支持点然后从轨迹消除。

图4图示使用上面方法创建的候选者轨迹410-460的绘图400。X轴代表帧中的时间。y轴是潜在的球和图像的左上像素之间的欧几里得距离。多种颜色用于图示不同候选者轨迹。

候选者轨迹T＝{T₁，T₂,…T_M}的一些可以是实际球描述的路径的部分，同时其他是与其他对象相关的轨迹。算法的目的是通过选择可能代表实际球的路径的轨迹的子集来创建轨迹BT，同时丢弃其他。算法包括使用轨迹置信指数，轨迹重叠指数以及轨迹距离指数。每个轨迹的分数是基于轨迹的长度、组成轨迹的候选者的分数以及轨迹中未支持点的数量生成的。

置信指数计算如下：

$\mathrm{\Ω}\left(T_j\right)={\mathrm{\Σ}}_{i=1}^3{\mathrm{\λ}}_i{p}_i+{\mathrm{\Σ}}_{i=2}^3{\mathrm{\ω}}_i{q}_i-\mathrm{\τr}$

其中：

-Ω(T_j)是轨迹T_j的置信指数，

-p_i是具有分数“i”的T_j的候选者的数量，

-q_i＝p_i//T_j/其中/T_j/轨迹中的候选者的数量，表示轨迹中具有分数“i”的候选者的部分，

-λ_i和ω_i（λ₁＜λ₂＜λ₃和ω₂＜ω₃）调整分量的重要性，

-r是轨迹中未支持点的数量，以及

-T是未支持点的重要性因子。

在实施例中，λ₁＝0.002，λ₂＝0.2，λ₃＝5，ω₂＝0.8，ω₃＝2以及T＝10。

对于每个所选轨迹，可能是在时间上重叠的其他。如果重叠指数是高的，则将丢弃对应的轨迹。如果指数是低的，则将修剪竞争轨迹的重叠部分。

该重叠指数处罚重叠帧的数量，同时奖励具有高置信指数的长轨迹，并且计算为：

$\mathrm{\χ}(T_i,T_j)=\frac{\mathrm{\ρ}(T_i,T_j)}{\left|T_i\right|\×\mathrm{\Ω}\left(T_i\right)}$

其中：

-X(T_i，T_j)是轨迹T_i与轨迹T_j的重叠指数，

-ρ(T_i，T_j)是其中T_i和T_j重叠的帧的数量，以及

-Ω(T_i)是轨迹T_i的置信指数。

轨迹距离指数的使用增加BT的空间时间一致性。使用球以最大速度V_max像素/帧移动球的假设，如果轨迹的最近末端之间的球候选者的空间距离高于末端之间的帧数量V_max倍加容差D，两个轨迹BT和T_i是不兼容的。否则，它们是兼容的并且T_i是BT的一部分。

距离给定如下：

其中：

$T_i=\{C_1^i,C_2^i,\·\·\·,C_N^i\}$

以及其中

-dist(poos(C_i)，pos(C_j))是候选者C_i和C_j之间的欧几里得距离，

-frame(C_i)是候选者C_i所属的帧，

-pos(C)是帧内候选者C的中心的(x，y)位置，

-BT_i是BT中的第i个候选者，

-CPD代表最近的之前距离，

-CND代表最近下一距离，

-CPF代表最近的之前帧，以及

-CNF代表最近的下一帧。

如果Dl(BT，T_i)＝1，则轨迹T_i与BT一致。在没有该准则的情况下，向BT添加T_i可能呈现时间不一致的问题，其中在不可能的小时间间隔球可以从一个空间位置跳到另一个空间位置。通过在轨迹选择算法中添加距离指数准则，解决该问题。在优选实施例中，V_max=10个像素/帧以及D=10个像素。

可以实现并且测试两个轨迹选择算法。第一算法重复地选取具有最高置信指数的候选者并且去除或者修剪与所选取的候选者轨迹不兼容的轨迹。第二算法试图通过将其表达为最短路径问题来解决该问题。可以将该两个算法调节为具有可比较的性能。

给定T，候选者轨迹的集合，算法产生描述沿着视频序列的球的轨迹的候选者轨迹的子集作为输出BT。算法重复地采用来自T具有最高置信指数的轨迹并且将其移动到BT。然后，处理T中与BT重叠的所有轨迹，依赖于重叠指数X(BT，T_i)以及距离指数DI(BT，T_i)修剪或者删除它们。该算法当T中没有更多轨迹时停止。

该算法可以描述如下：

修剪操作trim(BT，T_i)包括从轨迹T_i去除位于BT和T_i之间的重叠帧中的所有候选者。如果该处理导致T_i时间分片（即，从中间去除候选者），则分片添加到T作为新轨迹，并且从T去除T_i。在优选实施例中，使用重叠指数阈值O_thr＝0.5。

图5是候选轨迹510-550的集合的绘图500，其中一些是实际球轨迹。x轴代表帧的时间。y轴是球和图像的左上像素之间的欧几里得距离。轨迹520和530由算法选择以描述球的轨迹并且是实际球轨迹。轨迹510、540和550由算法丢弃。椭圆部分570代表球的实际路径。对于该示例，可以看到轨迹选择算法提供了对实际球轨迹的高度精确估计。

用以创建最终球轨迹的另一方法是基于Dijkstra的最短路径算法。候选者轨迹看作图的节点。两个节点（或者轨迹）之间的边缘由两个轨迹之间的兼容性的测量加权。兼容性测量的倒数可以看作节点之间的距离。如果整个球路径的开始和结束轨迹(T_s，T_e)是已知的，可以通过最小化沿着路径的距离的总和使用在节点T_s和T_e之间的图中发现最短路径的Dijkstra的算法可以选择之间的轨迹。

作为第一步骤，生成包含轨迹之间的兼容性分数的兼容性矩阵。使N是候选者轨迹的数量。NxN兼容性矩阵的cell(i，j)包含轨迹T_i和T_j之间的兼容性分数。

如果两个轨迹T_i和T_j重叠多于某一阈值或者T_i在T_j之后结束，则它们之间的兼容性指数将是无限的。通过施加T_i在T_j之后结束，可以确保路径总是在时间上向前进。注意，该准则意味着兼容性矩阵不是对称的，因为φ(T_i，T_j)不需要与φ(T_j，T_i)相同。如果T_i和T_j之间的重叠指数是小的，则具有低置信指数的轨迹将为了计算兼容性指数的目的而被修剪。两个轨迹之间的兼容性指数定义为

$\mathrm{\Φ}(T_i,T_j)=\frac{1}{(1-e^{\mathrm{\α}\×(\mathrm{\Ω}\left(T_i\right)+\mathrm{\Ω}\left(T_j\right))})\left(e^{\mathrm{\β}\×\max (0,\mathrm{sdist}(T_i,T_j)-{\mathrm{\ν}}_{\max }\×\mathrm{tdist}(T_i,T_j))}\right)\left(e^{\mathrm{\γ}\×(\mathrm{tdist}(T_i,T_j)-1)}\right)}$

其中，

-φ(T_i，T_j)是轨迹T_i和T_j之间的兼容性指数，

-Ω(T_i)是轨迹T_i的置信指数，

-sdist(T_i，T_j)是在T_i的结束和T_j的开始的候选者之间的像素的空间距离，

-tdist(T_i，T_j)是在T_i的结束和T_j的开始之间的帧的时间，以及

-α，β和γ（全部<0）是分量的相对重要性。在优选实施例中，

α＝-1/70，β＝-0.1以及γ＝-0.1。

一旦创建兼容性矩阵，Dijkstra的最短路径算法可以用于最小化从一个轨迹节点到另一个行进的距离（即，兼容性的倒数）。如果整个球路径的开始和结束轨迹(T_s，T_e)是已知的，则可以使用最短路径算法发现中间轨迹。

然而，T_s和T_e是先验已知的。为了减小检查开始和结束轨迹的所有组合的复杂性，使用具有比阈值更高的置信指数的轨迹仅仅考虑所有组合的子集。依次考虑开始和结束轨迹（节点）的每个组合以及如早先描述地计算最短路径。最后，在所有这些组合中选择总的最佳路径。

最佳球路径将具有低成本并且是时间上长的，以最小化函数：

SC(Q)＝w×(CD(Q)/max_c)+(1-W)×((1-length(Q))/max_l)

其中：

-Q是使用从初始轨迹T_i到最终轨迹T_j的最短路径算法构建的来自T（球路径）的轨迹的子集，

-SC(Q)是Q的分数，

-CD(Q)是从初始轨迹T_i行进到最终轨迹T_j通过Q中的轨迹的成本，

-length(Q)是时间上轨迹集合Q的长度（即，包括轨迹之间的间隙的Q覆盖的帧的数量），

-max_c和max_l是构建的所有最短路径中最大成本和最大长度（对于开始和结束轨迹的每个组合一个），以及

-w是成本对长度的相对重要性。

在优选实施例中，w＝0.5。

改进算法的结果的一种方式是允许用户操纵轨迹的置信指数。通过这样做，可以指导算法生成轨迹的更好选择以生成BT。

遗憾的是，用户不能仅通过轨迹的形状保证轨迹包含球，并且另一方面，逐帧检验算法已经选择的候选者是否是实际上是球对于用户可能单调乏味。

替代直接处理候选者在轨迹的等级工作的益处之一是BT中的轨迹的集合的基数（cardinality）总是低于其中的候选者的集合的基数。此外，在高可能性中，形成给定轨迹的候选者与同一对象对应。使用这两种假设，对于构成BT的轨迹具有其所选候选者的仅仅一个帧可以足以使用户迅速注意BT中的轨迹是否被适当选择并且如果不是采用纠正措施。

重要的是注意对于用户的交互作用元素是候选者而不是轨迹。所以，用户可以将候选者分类为良好候选者（是球）或者错误候选者（不是球）。

设C_g是良好候选者而C_w是错误候选者。然后，

以及

分别是包含良好候选者和错误候选者的轨迹的集合。

最终，将候选者分类为C_g和C_w的目的是从T_g而不是从T_w生成包含轨迹的BT。因此，可以以几种方式修改用于生成BT的算法，以便利用分类的候选者。下面是这样的修改的示例。

清楚地，期望使来自T_g的轨迹是BT的一部分，所以对此进行完成的一个选项是向T_g给出比T中的其他轨迹更高的置信指数。上面写出的算法重复地采用来自T具有最高置信指数的轨迹。

追踪此的一种方式是向T_g给出比T中的最大值更高的新置信指数。即使这将工作，也不是最佳的选项，这是因为现在所有的轨迹T_g具有相同的置信指数，并且不可能在它们中决定哪个是最佳的。记住存在可以共享良好候选者的几个轨迹是重要的。见图6和图7。图6示出候选者轨迹的集合T。X轴代表帧中的时间。Y轴是候选者和图像的左上像素之间的欧几里得距离。Z轴用于示出不同的轨迹。注意候选者轨迹通常重叠是重要的。阴影的不同等级用于区分轨迹。图6中示出多个轨迹。例如，601到610的阴影带每个是具有作为给定候选者轨迹的每条窄线的轨迹的集合。

图7是候选者轨迹的集合T的二维表示。X轴代表帧中的时间。Y轴是候选者和图像的左上像素之间的欧几里得距离。图6中的一些轨迹在图7中被指出。

优选的选项是向它们的置信指数添加正偏置K。通过这样做，T_g中的轨迹将在它们当中竞争，这是因为它们之前的置信指数将决定哪个将是BT的首选。该偏置K可以设置为T中的最大置信指数或者更高的值。

图8示出用于用户与数据交互的用户界面。上部的用户界面绘图或者轨迹视图820示出候选者轨迹T，其中如图7，X轴代表帧中的时间以及Y轴代表候选者与图像的左上像素之间的欧几里得距离。粗轨迹604、608、610以及由粗线代表的未标记的两个其他轨迹属于时间上的该时刻的BT。绘图下面存在缩略801的集合，每个与BT的轨迹相关联。被检测为球的对象805是缩略的中心并且由圆圈环绕（为了清楚，被双下划线），所以用户可以迅速地看出轨迹是否跟踪球。当选择缩略时，所选缩略802的帧出现在下部或者选择帧810。用户可以通过将候选者对象设置/未设置为球来与它们交互。为了清楚被单下划线的矩形指示候选者以及圆圈指示哪个候选者被选为球。圆圈和其他记号可以是作为用户界面一部分的标记，其允许用户将缩略中的对象与缩略801、下部或者选择帧810中的对象以及用户界面绘图820中的轨迹相关联。

用户不希望来自T_w的轨迹是BT的一部分。在此观点下，在此两个选项是合理的。第一个是去除T_w中的所有轨迹以及第二个是修改它们的置信指数，以向它们给出差分数。

通过去除T_w的所有轨迹，保证它们将不出现在BT中。另一方面，还消除轨迹被修剪并且用于生成BT的机会，即使该发生的可能机会低。

通过向T_w的轨迹给出负值以及修改算法以丢弃其置信指数低于0的轨迹，可以避免使用来自T_w的轨迹来建立BT的问题。如果在生成BT的处理期间，来自T_w的一些轨迹以分类为错误的候选者被去除的方式被修剪，则轨迹可以变成BT的一部分。置信指数在去除错误候选者之后可以变成正的。

图9再次示出界面。在此，所选缩略802包含错误轨迹610。在此，在界面的下部810显示帧。通过点击候选者，上下文菜单815出现在屏幕上并且用户可以选择它作为作物候选者，如图9所示。这将降低包含错误候选者的所有轨迹的置信指数，并且BT将再次被再计算。

该系统具有用于生成候选者集合的球的预建立模型。偏心率、大小和颜色是模型的一些元素，如上面描述。

通过较小修改，系统可以从用户输入获益，以更新球的模型。例如，每次用户设置球候选者作为良好球候选者，模型的参数可以被修改以更好地匹配新候选者。

本发明可以是如图10中的流程图所示的方法。该方法可以包括步骤1010：标识作为视频序列的一部分的视频帧中的连接分量的集合。连接分量可以是球的像素或者诸如鞋子之类的一些其他对象的像素。可以利用步骤1020，该步骤1020可以关于至少一个图像特征来评价连接的分量的每个集合，其中图像特征可以是面积、偏心率或者白度。然后步骤1030将连接分量的每个集合的至少一个图像特征与预定准则相比较，以产生过滤后的连接分量的列表，其中该步骤可以涉及图1的步骤120和130的应用，可以使用帧的某些辉度值或者色度值作为预定准则，以及涉及滤掉背景。现在步骤1040在相邻帧中执行相同的重复、标识、评价和比较步骤。步骤1050涉及选择连接分量之一。步骤1060然后生成跨越多个帧生成的所选连接分量（即，感兴趣的对象）的候选者轨迹的集合。步骤1070是显示步骤，其中，向用户示出所选连接分量的候选者轨迹，其中，该方法可以并入允许用户看到图表、绘图等上的轨迹的用户界面。步骤108是以下步骤，其中用户通过用户界面通过用户提供的一些输入来去除所选连接分量的特定候选者轨迹。在至少一个实施例中，用户不直接去除轨迹，而是在该步骤中向应用给出反馈以指示候选者是否是球。在该去除步骤中，用户本质上标识错误候选者，使得这些候选者将不包括在BT中。步骤1090是以下步骤，其中，响应于选择和去除步骤，显示视频序列的最终图像，其中，在最终图像中可以选择改进期望对象和其轨迹的可视性的原始视频的部分。所选部分可以是特写、剪掉部分或者变焦部分。改进的可视性可以包括期望对象的集中或者不具有对象的帧的去除。

还可以从图11中认识本发明的特征，其中在步骤1110的算法中可以创建集合BT。在步骤1120，BT的轨迹被示出并且在可以并入缩略视图和轨迹的用户界面中被选择。在步骤1130，轨迹可以被分类为良好候选者（是球）或者错误候选者（不是球）。步骤1110还可以是BT的再形成步骤，其中响应于步骤1130再形成BT，以获得改进的BT。步骤1110、1120和1130可以被重复直至BT不再改变，由此允许检测诸如球之类的对象。在本发明的实施例中，缩略可以是候选者轨迹的运行视频。

虽然已经根据特定实施例描述了本发明，将认识可以做出将落入本发明范围内的修改。例如，各种处理步骤可以单独或者组合地实现，并且可以在通用或者专用数据处理硬件或者软件中实现，以及可以调整阈值或者其他参数来适应视频输入的不同类型。

Claims (17)

1.一种方法，包括以下步骤：

标识视频序列的视频帧中的连接分量的集合；

通过用户界面显示所选连接分量的替代轨迹；

响应于用户界面输入去除所选连接分量的至少一个替代轨迹；以及

响应于去除步骤，显示所述视频序列的图像。

2.如权利要求1所述的方法，包括以下步骤：

关于至少一个图像特征评价连接分量的所述集合的每一个；

将连接分量的所述集合的每一个的至少一个特征与预定准则相比较，以产生连接分量的过滤后的列表；

对于相邻帧重复所述标识、评价以及比较步骤；

选择连接分量之一；

生成跨越多个帧生成的所选连接分量的替代轨迹的集合用于显示步骤。

3.如权利要求2所述的方法，还包括以下步骤：

生成属于所选连接分量的替代轨迹的置信等级；以及

消除具有置信等级低于预定值的替代轨迹。

4.如权利要求3所述的方法，其中，至少一个图像特征包括面积、偏心率或者白度。

5.如权利要求4所述的方法，其中，用户界面利用代表替代轨迹的轨迹视图作为帧时间的函数。

6.如权利要求4所述的方法，其中，用户界面利用多个帧的缩略视图和突出所选连接分量的缩略视图中的指示符。

7.如权利要求6所述的方法，其中，用户界面利用附加指示符，该附加指示符使缩略视图中的所选连接分量与轨迹视图中的替代轨迹之一相关联。

8.如权利要求2所述的方法，其中，所述标识连接分量的集合的步骤包括处理所述视频序列的图像，以生成代表局部最大的图像。

9.如权利要求2所述的方法，还包括以下步骤，处理所述视频序列的图像，以创建代表局部最大的二进制图像，其中，处理包括卷积图像的辉度分量与核。

10.如权利要求9所述的方法，其中，核是归一化高斯核。

11.如权利要求2所述的方法，其中，所述准则包括到最近替代的距离、到场地边缘的距离或者二进制对象掩模内的同一连接分量内部的替代的数量。

12.如权利要求2所述的方法，其中，所述用以确定所选轨迹的评价所述替代轨迹的步骤包括：标识连接的分量的对，其中，该对中的一个分量是在第一图像中，并且该对的一个分量是在随后图像中，以及其中，该对中的两个连接分量的位置之间的距离小于预定距离阈值。

13.如权利要求2所述的方法，其中，所述用以确定所选轨迹的评价所述替代轨迹的步骤包括：评价轨迹的长度、组成轨迹的连接分量的特性以及轨迹中无支持点的数量。

14.如权利要求2所述的方法，其中，至少部分基于所选轨迹处理所述视频序列中的图像的所述步骤包括突出沿着所选轨迹移动的对象。

15.如权利要求7所述的方法，还包括以下步骤：通过所述用户界面分类去除步骤中所选连接分量的替代轨迹，其中，用户界面利用用于替代轨迹的分类的上下文菜单。

16.如权利要求2所述的方法，其中，用户界面利用多个帧的缩略视图、突出所选连接分量的缩略视图中的指示符、以及用于显示替代轨迹的轨迹视图，其中，指示符将特定轨迹与特定连接所选分量相关。

17.如权利要求6所述的方法，其中，缩略是替代轨迹的运行视频。

Images