CN103106654A - 设备、方法和系统 - Google Patents

Abstract

本发明公开了设备、方法和系统。一种用于在检测场景内的运动抛射体的位置的系统中使用的相机移动校正设备，所述设备包括：接口，可操作来接收由相机所捕获的场景的第一图像和第二图像；参考标记确定器，可操作来确定在场景的第一图像和第二图像内的参考标记的位置，参考标记在场景内为静态的；差异确定装置，可操作来确定在场景的第一图像和第二图像中的参考标记的位置之间的差异；以及，校正变换器，可操作来基于所确定的差异将校正变换应用到第二图像。

Description

设备、方法和系统

相关申请的交叉引用

本申请要求在2011年11月11日在英国专利局提交的GB1119484.2的较早申请日期的权益，该申请的全部内容通过参考结合于此。

技术领域

本发明涉及一种设备、方法和系统。

背景技术

此处所提出的“背景”描述是用于总体地呈现本公开的上下文的目的。目前的发明人的工作(在背景部分中描述的程度)以及在提交时可能不另外作为现有技术的描述的方面既不明显地也不隐含地被承认为针对本发明的现有技术。

在诸如足球的球类运动中，重要的是知道何时进球已经得分。通常在整个球越过整个预定球门线时对进球进行计数。比赛裁判做观察球并且判断球是否已经越过球门线以及因此进球是否已经得分的工作。然而，尽管比较完善，但是这样的系统可能是相当不可靠的。如果比赛裁判的视野被遮挡，或者如果比赛裁判中的一员犯错，则可能不正确地做出决定性的比赛判决。因此希望实现基于相机和/或计算机的技术以确定球是否已经越过线以便帮助比赛裁判进行这样的判决。

用于这样的技术的一个提议包括利用传感器来装配比赛球，该传感器可以通过多个检测单元检测到使得可以计算在任何一个时间的球的位置。例如，传感器能够发射射频(RF)脉冲，这些射频(RF)脉冲由检测单元以周期间隔来拾取，其中脉冲到达每个检测单元所花费的时间指示球到该传感器的距离。然而，此方法的一个问题是在球内的传感器可能显著地改变球的重量和/或平衡，这是非常不合需要的。质量控制也是困难的，因为球能够胡乱摆动(例如，在球被踢进到一群观众中的情况下)从而改变传感器的特征。

另一提议包括将传感器装配到两个球门柱，其中，在球门线的每个未端处放置一个球门柱。传感器然后被配置成检测在它们之间出现的对象的存在(例如，经由激光技术)，并且能够因此检测到越过球门线的对象的存在。然而，这个系统是相当不可靠的，因为难以在越过球门线的球与越过球门线的其他对象(诸如足球运动员本身)之间区分。同样地，传感器被附着到的球门柱在足球比赛期间可以经历显著地移动，另外可能不与球门线自身完全在一条线上，降低了系统的可靠性和精度。

本发明旨在缓解这些问题。

发明内容

应了解前文对本发明的总体描述和下文的详细描述对本发明都是示例性的而非限制性的。

根据一个方面，提供一种用于在检测场景内的运动抛射体的位置的系统中使用的相机移动校正设备，该设备包括：接口，可操作来接收由相机所捕获的场景的第一图像和第二图像；参考标记确定器，可操作来确定在场景的第一图像和第二图像内的参考标记的位置，该参考标记在该场景内为静态的；差异确定装置，可操作来确定在场景的第一图像和第二图像中的参考标记的位置之间的差异；以及，校正变换器，可操作来基于所确定的差异将校正变换应用到第二图像。

这是有利的，因为捕获图像的相机将由于诸如风等外部因素而随着时间移动且根据参考标记校正图像意味着这样的移动可以被校正。

根据另一方面，提供一种用于检测场景内球的位置的系统，该系统包括：根据上述方面的相机移动校正设备；相机，可操作来捕获场景的第一图像和第二图像且向相机移动设备提供场景的第一图像和第二图像；以及参考标记，位于相机视场内的场景内，该参考标记在场景内为不动的。

参考标记可被配置成从相机的视场内基本上正面的视角看到。

参考标记的至少一部分可以是反射性的。

该场景可以包括球门柱且其中参考标记置于球门柱上靠近球门柱接触地面的端部处。

该场景可以包括球门网支架且其中参考标记置于球门网支架上高于地面预定高度处。

该系统还可包括围绕相机的壳体，该壳体被配置成使风偏离相机。

根据另一方面，提供一种在捕获场景时的相机移动校正方法，在场景中要确定运动抛射体的位置，该方法包括：接收由相机捕获的场景的第一图像和第二图像；确定在场景的第一图像和第二图像内参考标记的位置，参考标记在场景内为静态的；确定在场景的第一图像和第二图像中参考标记的位置之间的差异；以及基于所确定的差异向第二图像应用校正变换。

该方法还可包括捕获场景的第一图像和第二图像且将场景的第一图像和第二图像提供给相机移动设备；以及在相机的视场内的场景内定位参考标记，其中参考标记在场景内是不动的。

参考标记可被配置成从相机的视场内基本上正面的视角看到。

参考标记的至少一部分可以是反射性的。

场景可以包括球门柱且其中参考标记置于球门柱上靠近球门柱接触地面的端部处。

场景可以包括球门网支架且其中参考标记置于球门网支架上高于地面预定高度处。

可在相机周围设置壳体，壳体被配置成使风偏离相机。

附图说明

当结合附图考虑时通过参考以下详细描述，本公开的更完全的了解及其许多附带的优点将变得更好理解并因而容易地被获得，其中：

图1A示意性地示出了根据本发明的实施例多个相机相对于足球场地的球门线的位置。

图1B示意性地示出了从不同的视角观察的图1B的相机和球门线。

图2示意性地示出了根据本发明的实施例的用于检测场景内的球的位置的系统。

图3示意性地示出了根据本发明的实施例的用于检测场景内的球的位置的设备。

图4A示意性地示出了根据本发明的实施例的相机校准参考标记的位置。

图4B示意性地示出了根据本发明的实施例的相机校准参考标记的第一可能的位置。

图4C示意性地示出了根据本发明的实施例的相机校准参考标记的第二可能的位置。

图5A示意性地示出了在其表面上具有特征图案的球。

图5B示意性地示出了其中图5A中所示出的球的仅一部分是可见的场景的图像。

图5C示意性地示出了根据本发明的实施例的图5B中所示出的场景中的球的中心的位置的确定。

图6A示意性地示出了在其表面上具有特征图案的球的两个可视区段。

图6B示意性地示出了图6A的第一可视区段的放大视图，根据本发明的实施例第一可视区段包括第一方位(orientation)数据。

图6C示意性地示出了图6A的第二可视区段的放大视图，根据本发明的实施例第二可视区段包括第二方位数据。

图7示意性地示出了根据本发明的实施例的在球变成被从相机的视野隐藏的时间间隔期间球的计算出的轨迹。

图8示意性地示出了根据本发明的实施例的用于确定场景内的球的位置的系统的操作。

具体实施方式

图1A和1B示出了布置在足球场地118上的球门线112周围的多个相机100的位置。相机中的每一个都被配置成从不同的视场捕获基本上同一场景的图像，场景包括球门线112和整个球门122。在这个实施例中，两个相机100被放置在球门线之后，两个相机100被放置成与球门线成一条直线，以及两个相机100被放置在球门线前方。当比赛进行时，相机因此可操作来在球很接近于球门线时捕获场景的图像。

在一个实施例中，相机100被定位在离球门线很远处使得在场景的各个所捕获的图像中的球的大小看起来不像是显著地改变了。例如，相机中的每一个都可以被定位成离球门线大约50米。这是有利的，因为如果在每个相机的视场内球的大小看起来不像是显著地改变了，则用于检测所捕获的图像内的球的图像处理技术，诸如块匹配技术能够以更高的效率发生。这是因为在块匹配技术中使用的球的模型将要求仅有限的缩放。

尽管相机100可以被定位在相对于足球场地的任何高度，但是在实施例中相机被定位成使得除球之外的对象(诸如在场地边上的观众)不太可能妨碍相机的视野。例如，在相机100位于运动场中的情况下，相机100可以位于覆盖人群的天篷中。

另外，在实施例中，尽管示出了六个相机，但是能够使用不同数目的相机。然而，如果相机的数目被减少，则在相机中的一个或多个的视野变为被遮挡的情况下可能变得更加难以准确地检测球的位置。

相机被定位成使得预定的相机校准参考标记在每个相机的视野内是清楚的。如将稍后描述的，这些参考标记对于检测并且校正相机的移动是必需的。在一个实施例中，参考标记位于在球门网支架116上并且在球门柱120上。通过将参考标记定位在这些位置中，这些点在场景内移动的可能性非常小。此外，通过将参考标记放置在球门网支架116的附近或者顶部，减少了这些参考标记被遮挡的可能性。

为了减少风移动相机的可能性(例如，在室外足球运动场的情况下)，相机应该被定位在掩蔽的位置中。相机还可以包括空气动力学设计的外壳使得由于风而导致的移动可以被进一步减小。

图2示意性地示出了根据本发明的实施例的用于检测场景内的球的位置的系统200。每个相机100都可操作来从不同的视场捕获场景的图像。如能够在图2中看见，来自各个相机1-6的图像I1-I6中的每一个然后被传递给相机校准计算机202。

相机校准计算机202可操作来检测所捕获到的图像中的相机校准参考标记402中的至少一个，并且将参考标记的位置与先前的图像中的它的位置相比较。在场景本身中，如将稍后说明的，参考标记将是不动的，因此在当前的图像与先前的图像之间参考标记的位置上的任何差异指示相机本身已经经历了移动(例如，摇镜头、倾斜或滚动)。在检测到参考标记的位置的移动的情况下，相机校准计算机202可操作来将校正变换应用于所接收到的图像以便对相机的移动进行校正。换句话说，图像中的所有像素都被应用了校正变换。这个与由于相机的移动而导致的图像的像素的任何移动相逆。

可以使用用于检测在第一图像与第二图像之间的参考标记的位置上的差异并且随后变换第二图像以抵销该差异的本领域内熟知的任何方法。一种这样的技术是应用变换矩阵，该变换矩阵允许将相关校准变量调整为最佳地拟合第一图像与第二图像之间的像素差异。一旦完成了通过相机校准计算机202中的每一个的图像处理，已校正的被捕获的图像I1’-I6’就被传递给控制器204。

控制器204可操作来根据已校正的被捕获的图像I1’-I6’来确定场景内的球的位置。如稍后将说明的，控制器204通过处理图像I1’-I6’中的每一个以便检测每个图像内的球的位置和方位数据来完成此目的。控制器204然后组合每个图像的位置和方位数据，并且使用最后得到的组合数据以及每个相机100的已知的相对位置来确定场景内的球的位置。控制器204还可操作来确定在从所有相机的视野看球是隐藏的时间间隔期间场景内的球的轨迹(例如，当大量的球员靠近球门线并且因此可能间歇地将球从所有相机的视野隐藏)。如稍后将说明的，其通过使用刚好在球被隐藏的时间间隔之前和之后的球的位置、速度以及影响特征数据来完成此目的。

当已经通过控制器204确定了场景内的球的位置时，或直接地根据所捕获的图像I1’-I6’(在球的至少一部分对相机100充分可见的情况下)或通过球轨迹检测机制(在球被隐藏的情况下)，控制器204确定整个球是否已经越过整个球门线。这将通过考虑球的中心来确定，因为如果球的中心越过整个球门线有大于球的半径的距离，则进球已经得分。为了清楚，场景内的球的位置实际上通过场景内的球的中心的位置来确定。

在整个球被确定为已经越过整个球门线的情况下，则指示进球已经得分的进球指示信号被从控制器204发送到无线收发器206。无线收发器然后将进球指示信号无线地发送到由比赛裁判之一所穿戴的头戴式耳机208。无线信号经由安全信道来发送。为了防止假信号从流氓来源(例如，为尝试通过将假进球指示信号发送到头戴式耳机208来支配足球比赛的结果的第三方所占有的其它无线收发器)发送到头戴式耳机208，通过安全信道发送进球指示信号是有利的。例如，可以在足球比赛的开始之前在头戴式耳机208与无线收发器206之间的握手认证处理期间建立安全信道。

注意，尽管图2示出了相机校准计算机202与控制器204分开，但是将同样地可接受相机校准计算机202代替被包括在控制器204内。还将同样地可接受无线收发器206被包括在控制器204内。

尽管已经给出了头戴式耳机208的示例，但是无线信号还能够被发送到不同类型的接收机，诸如由比赛裁判佩戴的手表或听筒。还能够存在多个这样的接收机使得所有的比赛裁判能够同时地接收进球指示信号。

控制器204还能够被使得可操作来发送不只是进球指示信号。例如，在进球得分或者几乎得分的情况下，所检测到的场景内的球的位置能够被表现为计算机化的图像或视频。然后，不但进球指示信号被发送给比赛裁判，而且图像或视频也能够被发送到电视广播电台以用于包括在足球比赛的电视报道中。

尽管系统200已经被描述为处理仅一组被捕获的图像I1-I6，但是在实施例中，系统处理由相机100以预定的帧速率所捕获的序列图像。因此，例如，图像I1₁-I6₁在时间t₁处被捕获，图像I1₂-I6₂在时间t₂处被捕获，图像I1_n-I6_n在时间t_n处被捕获等等。这允许球的位置在时间t₁，t₂，...，t_n等等处确定，使得可以在用该球比赛的时间始终追踪球的位置。能够使用任何预定的帧速率，尽管在实施例中，帧速率被选择为足够高以准确地追踪球的改变位置但不是高到以致造成控制器204中的任何处理延迟(因此允许系统实时处理图像)。例如，帧速率可以为每相机25、30、50、60或100帧每秒(对于六个相机来说，对应于总共150、180、300、360或600帧每秒)。

图3示意性地示出了根据本发明的实施例的更详细的控制器204。控制器204包括来自相机校准计算机202的已校正的被捕获图像I1’-I6’中的每一个进入控制器204的接口。图像被存储在存储器302中。控制器204还包括用于执行所要求的球位置和球轨迹确定处理的CPU 304、用于存储指示球表面的特征图案的数据的球图案存储器模块306以及进球指示信号可以通过其发射到头戴式耳机208的无线收发器接口。不仅图像11’-I6’，存储器302也可以存储由相机100在不同于图像I1’-I6’被捕获时的时间所捕获的其它组的图像。存储器302还可以存储将要由CPU 304执行的计算机指令。

为了检测场景内的球的位置，图像I1’-I6’中的每一个都通过CPU 304来处理。CPU 304然后试图通过找到与由球图案存储器模块306中的数据所规定的球表面的特征图案的部分匹配的图像区段来识别每个图像中的球的至少一部分。例如，这可以使用块匹配技术来实现，不过可以使用用于选择基本上与预定图案匹配的图像区段的、本技术中已知的任何适当的图像处理方法。

如果发生这样的匹配，则CPU 304确定图像的匹配区段的位置数据。例如，这个位置数据可以是定义图像内的匹配区段的边缘的像素的一系列位置，像素的位置为相对于图像中的预定参考点所确定的x坐标和y坐标。预定参考点可以是(例如)图像的转角中的一个。它还可以通过图像内的预定对象的位置来确定。

CPU 304还确定用于图像中的球的方位数据。这个方位数据基于在图像中检测到的球的表面的特征图案的区段，并且如稍后说明的，这个方位数据允许CPU 304确定场景内的球的中心的位置，即使例如仅球的表面的一部分在相机100中的每一个的视场内是可见的。

CPU 304能够经由所捕获的图像I1’-I6’中的每一个中的球的被确定的位置和方位数据以及相机100中的每一个的相对位置来确定场景内的球的中心的真实位置。

对于场景的每个被捕获的图像，CPU 304将针对图像中的匹配区段的被确定图像位置数据转换为针对场景内的匹配区段的场景位置数据。例如，如果图像位置数据由像素位置(x₁，y₁)、(x₂，y₂)、...、(x_n，y_n)来定义，那么所对应的场景位置数据将是场景内的位置(实际的x₁，实际的y₁)、(实际的x₂，实际的y₂)、...、(实际的x_n，实际的y_n)。将相对于与图像内的预定参考点相对应的场景内的点来定义场景内的位置。例如，如果图像内的预定参考点由图像内的不动对象的位置来定义，则场景内的对应点将是该对象本身的位置。

针对一图像的图像位置数据和场景位置数据将通过缩放比率(例如，场景中的0.5cm等于一个像素)而联系起来，该缩放比率依赖于用于捕获该图像的相机的各种参数设置(诸如相机的焦距和变焦)。例如，对于更长的焦距和更大的变焦级别，比对于更短的焦距和更低的变焦级别而言，定义图像位置数据的像素中的每一个的长度将对应于更小的场景内的实际距离，这产生更小的缩放比率。

一旦已经确定了用于被捕获的图像I1’-I6’中的每一个的场景位置数据，就根据该场景位置数据、方位数据和相机100的相对位置来确定场景内的球的位置。例如，相机100中的每一个的相对位置和各种参数设置被存储在存储器302中，并且可以针对在不同大小的足球运动场中的不同的相机位置和设置来适当地改变。可以通过例如将第一相机的位置定义为原点并且相对于此原点定义所有其它相机的位置来定义相机100的相对位置。

必须使相机100的相对位置可被CPU 304利用以便于CPU 304根据相机100中的每一个的二维场景位置数据和方位数据来确定场景内的球的三维位置。例如，如果第一相机能够确定由相对于第一预定参考点的参数(x₁，y₁)所定义的第一坐标系统中的球的位置，并且与第一相机不同地定位的第二相机能够确定由相对于第二预定参考点的参数(x₂，y₂)所定义的第二坐标系统中的球的位置，则CPU 304能够确定相机的三维位置，只要它知道第一坐标系统和第二坐标系统是如何被相关的。因为第一坐标系统和第二坐标系统之间的关系取决于相机100的相对位置，所以必须使相机100的相对位置可被CPU 304利用以便确定球的三维位置。

尽管对于球未被从任何相机的视野遮挡的简化的情况给出了上述的示例，但是还必须使相机100的相对位置可被CPU 304利用以便于CPU 304在视野中球被部分地遮挡时确定球的位置。这是因为对于被捕获的一组图像I1’-I6’中的每一个图像，该图像内的匹配区段的位置数据将在捕获该图像的相机所特有的坐标系统中被定义。为了便于CPU 304根据位置和方位数据来确定场景内的球的位置，必须使针对每个相机100的坐标系统之间的关系可被CPU 304利用。再次地，不同的坐标系统之间的关系取决于相机的相对位置并且因此必须使相机的相对位置可被CPU 304利用。

当试图检测图像内的匹配区段时，CPU 304可以生成多个置信值。这些置信值可以对应于例如球的颜色、球的形状或球的图案，并且将允许CPU 304将球图案检测处理集中于匹配区段可能被找到的图像区域。例如，如果CPU 304从存储在球图案存储器模块306内的数据中知道球的表面大部分被上白色，则CPU 304可以搜索图像的颜色较淡的区段。可替换地，CPU 304可以确定在球的表面上不存在的特定颜色，并且因此避免处理这些颜色出现在其中的图像区域。这具有在查找图像内的匹配区段时减少由CPU 304所要求的处理量的优点。

CPU 304还可以将球图案检测处理集中于一组图像I1_n’-I6_n’中的每个图像的下述区域：基于被存储在存储器302中的先前被捕获的图像中球的位置，球很可能处在这些区域中。例如，如果在从特定的相机100在时间t_n-1捕获的图像I1_n-1’中在坐标(x，y)处找到球，则CPU 304可以在由特定的相机100在时间t_n捕获的下一个图像I1_n’中的坐标(x，y)附近的预定区段中开始搜索球图案。还可以使用在同一组图像I1_n’-I6_n’内的至少一个另外的图像内的球的所确定位置，该至少一个图像由不同的相机100所捕获。可替换地，可以使用本领域内已知的任何其它适当的预测图像处理技术。再次地，这个具有在查找图像内的匹配区段时减少CPU 304所要求的处理量的优点，因为选择了智能开始点。同样地，将更快速地检测到球的位置。

CPU 304还可以使用例如置信值，或者使用本领域内已知的任何其它适当的方法来从图像中的每一个中消除噪声和/或假球。这样的方法能够包括使用来自仅单个图像的数据，或者能够包括使用来自多个图像的数据。所述多个图像能够包括同一组I1_n’-I6_n’内的图像，或者能够包括在不同时间捕获的不同组中的图像。

为了在从所有相机的视野看球是隐藏的时间间隔期间确定场景内的球的轨迹(有时被称为速度(velocity)，因为速度包括速率(speed)和方向)，第一序列图像由相机100刚好在球被隐藏的时间间隔之前以第一预定的帧速率来捕获。该第一序列图像被存储在存储器302中。第二序列图像然后由相机100刚好在球被隐藏的时间间隔之后以第二预定的帧速率来捕获。该第二序列图像然后也被存储在存储器302中。对于在时间tn捕获的并且存储在存储器302中的每个单独组的图像I1_n’-I6_n’，场景内的球的位置由CPU 304根据先前所描述的来确定。

CPU 304然后使用针对第一序列图像内的每一组图像I1_n’-I6_n’所确定的球的位置以及第一预定帧速率来确定刚好在球被隐藏的时间间隔之前的球的速率和方向。同样地，CPU 304使用针对第二序列图像内的每一组图像I1_m’-I6_m’所确定的球的位置以及第二预定帧速率来确定刚好在球被隐藏的时间间隔之后的球的速率和方向。例如，对于一系列图像，CPU 304可以通过计算根据在时间t_n捕获的一组图像I1_n’-I6_n’所确定的场景内的球的位置与根据在时间t_n-1捕获的前一组图像I1_n-1’-I6_n-1’所确定的场景内的球的位置之间的差，来确定在捕获该一组图像I1_n’-I6_n’时的时间t_n处的球的速率。CPU 304然后将这个差除以时间间隔t_n-t_n-1，该时间间隔t_n-t_n-1对于连续地被捕获的图像组来说等于预定帧速率的倒数。

球的速率和方向还可以被总地称为球的速度。

结合在球被隐藏的时间间隔之前和之后所确定的速度使用该球的影响特征数据，CPU 304可以确定在这个时间间隔期间的球的位置。影响特征数据被存储在存储器302中，并且包括对于在球被隐藏时经历冲击(例如，如果它击中球门柱或被踢中)的情况下对球的轨迹进行建模有用的任何数据。影响特征数据能够包括例如球被充气到的压力、有关球的空气动力学信息或建造球的材料的弹性属性在不同温度处以及在不同天气条件下如何改变。影响特征数据在开始足球比赛之前根据比赛球来试验地确定，并且重要地指示对于给定的影响力在影响之后任何给定时间球所经历的变形量。

被隐藏的球轨迹检测可以在CPU 304确定球是不可见的时间间隔自动发生。然后，在所确定的轨迹示出了整个球已经越过整个球门线的情况下，进球指示信号可以被发送给头戴式耳机208。可替换地，为了减少处理的量，在球非常接近于球门线时变成被隐藏的情况下可以手动地发起被隐藏的球轨迹检测。这样的手动方法是可能的，因为以预定的帧速率所捕获的各组已校正的被捕获图像I1_n’-I6_n’可以在存储器302中被存储预定的时间段，诸如30秒，以便在需要它们时它们是可用的。

指示球表面的特征图案的球图案存储器模块306内包括的数据可以对于具有不同特征图案的足球(例如，对于普通且高可见性图案化的足球)而被改变或者更新。另外不同的制造商具有不同的球设计。因此，针对任意数目的不同的球和球设计，球图案库被存储在存储器模块306内。这个改变或更新能够例如由作为物理上可移除的和可替换的存储器模块的球图案存储器模块306或者由可操作来电子地从诸如外部计算机(未示出)的外部来源接收新的或已更新的数据的球图案存储器模块306来进行。在球图案存储器模块306可操作来电子地接收新的或已更新的数据的情况下，这能够通过外部来源与球图案存储器模块306之间的有线或无线连接来发生。

为了利用指示例如相机100的位置的数据、相机100的各种参数以及球的影响特征数据来更新存储器302，需要控制器204具有用户接口(未示出)以便于这样的数据被输入给控制器204。用户接口能够包括例如传统的显示器、键盘和鼠标、或触摸屏幕接口。因为进球是否得分由CPU 304基于球的中心是否越过整个球门线大于球的半径的距离来确定，所以在实施例中，指示球的半径的数据被包括在控制器204的存储器302或球图案存储器模块306中。

图4A-4C示意性地示出了根据本发明的一个实施例的相机校准参考标记的位置。

图4A示意性地示出了从球门的侧面看的视图。相机校准参考标记402被放置在球门网支架116中的每一个的顶部或附近以及在球门柱120中的每一个的底部。参考标记402能够被放置在不同的位置中。然而，重要的是这样的位置被选择为使得参考标记402在场景内是不动的，从而一个被捕获的图像与下一个被捕获的图像之间的参考标记402的位置的任何变化是由于相机100的移动而不是参考标记的移动而导致的。参考标记402中的每一个被定位以便对相机100中的至少一个是清楚可见的(也就是说，在相机校准计算机202可以可靠地检测到参考标记202的位置的程度上对至少一个相机100可见)。

在一个实施例中，相机100中的每一个应该能够清楚地观察多个参考标记402，使得即使参考标记402中的一个或多个的相机视野变为被遮挡时也能够在所捕获的图像中有效地抵消相机运动。例如，参考标记402和相机100能够被定位为使得每个相机100都能够观察到在球门柱120的底部的一个参考标记402和在球门网支架116的每一个上的一个参考标记402。实际上，通过将参考标记402放置在每一个球门网支架116的顶部，参考标记402在捕获的各图像之间移动或者变为被遮挡的可能性是非常小的。

图4B示意性地示出了在一个球广网支架116的顶部的参考标记402的放大视图。两个参考标记402被示出为被定位使得每个参考标记402都清楚地在不同的相机100的视场内(为了清楚，相机100被示出为比它们实际上将更接近于参考标记)。在一个实施例中，可以在球门网支架116的顶部定位更多数目的参考标记402以便每一个参考标记都在不同的相机100的视场内。

图4C示意性地示出了在球门柱120中的一个的底部的参考标记402的放大视图。在图4C中从正面视角看到参考标记402。与特定的相机100相对应的参考标记402中的每一个(不管它们位于在哪里)都应该被定向以便在相机的视场中从基本上正面的视角看见。这使连接到相机100的相机校准计算机202更容易检测到参考标记402的位置。如同图4B，在优选的实施例中，能够在球门网支架116的底部定位比所示出的数目更多的参考标记402以便每一个参考标记都在不同的相机100的视场内。

如图4A-4C中所示，在一个实施例中，参考标记402是由暗色矩形边框与淡色内矩形组成的矩形形状。这使得检测每个图像中的参考标记402的位置更容易，因为标记具有清晰的图案。另外，为了更加容易地捕获每个图像中的参考标记402，参考标记402还可以被制作为荧光的和/或反射的。将参考标记402定位在球门网支保持架116的顶部以及在球门柱120的底部是优选的，因为不像球门框的其它部分，这些部分在足球比赛的过程期间通常经历非常小的移动。

图5A示意性地示出了在其表面上具有特征图案502的足球500。在这个特定的示例中，图案502由淡色背景上的暗色六边形形状组成。指示特征图案502的数据被包括在球图案模块306内。

图5B示意性地示出了在足球500被障碍物506(在这种情况下，障碍物为足球球员的腿)从视野中部分地遮挡的足球比赛期间的场景504。在该场景的图像由相机100捕获、被由连接到相机的相机校准计算机202正确地抵消以及然后被发送到控制器204的情况下，控制器内的CPU 304将处理该图像以基于存储在球图案存储器模块306内的指示球的特征图案502的数据来找到图像内的球的位置和方位数据，如先前所述。

图5C示意性地示出了包括球500和障碍物506的场景504的放大视图。图5C还示出了场景的图像的区段508、510，这些区段匹配球的特征图案502并且因此通过CPU 304被检测到。这些匹配区段508、510对应于场景的图像内的球。在许多情况下，在障碍物506更大的情况下，仅匹配区段508、510中的一个可以是可见的并且因此可由CPU 304检测到。

另外，在整个比赛的持续时间，照明条件在场景内改变。在照明上的这些改变可以导致球的颜色变得更暗或更淡。实际上，如果场地在比赛期间接通人工照明，则球的颜色可以变得更淡并且具有人造光从球反射回来的变白的区域。为了说明这个，存储在存储器模块306中的球的特征图案502被应用照明算法以校正这些改变。这样的算法在图像处理领域中是已知的并且因此将不在下文中描述。

如先前所描述的，CPU 304能够使用针对一组图像I1_n’-I6_n’内的每个图像内的球所确定的位置和方位数据来确定场景内球500的中心512的真实位置。

图6A-6C示意性地示出了用于场景内的球的图像的方位数据的示例。图6A再次示出了具有特征图案502的足球500。示出了可视区段600和602，每个分别包括特征图案区段604和606。将假定对于一组被捕获的图像I1_n’-I6_n’内的场景的特定图像来说，仅仅可视区段600、602是图像内的球的可见区段。根据已经描述的，可视区段600、602内的特征图案区段604和606由CPU 304来检测并且可视区段600、602中每一个的位置数据被确定。在这个示例中，特征图案区段604和606构成图像内的球500的方位数据。

图6B和6C分别示意性地示出了可视区段600和602的放大视图。CPU304将特征图案区段604、606中的每一个映射到在球图案存储器模块306内存储的指示特征图案502的数据的对应部分。与用于可视区段600、602中的每一个的位置数据结合，CPU 304则具有足够的信息来确定图像内的球500的中心512的位置。这是因为，假设给定了图像内的可视区段600和602中的每一个的位置数据，则仅球500的中心512一个位置就能够规定各自的可视区段600和602中的每一个内的特定特征图案区段604和606。

为了简单化，图6A-6C示出了CPU 304如何仅使用一组被捕获的图像I1_n’-I6_n’内的单个图像内的球的位置和方位数据来确定该图像内球的中心的位置。然而，将不能够对单个图像确定场景内的球的中心的三维位置，因为所捕获的图像本身仅仅是二维的。此外，如果例如在所捕获的图像内仅可视区段600是可视的，则CPU 304将非常难以准确地确定场景内的球的中心的位置，因为可能存在球的多个位置，这些位置基本上规定出可视区段600内的特征图案区段604。

实际上，CPU 304因此可操作来使用一组被捕获的图像I1_n’-I6_n’内的每一个图像的球的位置和方位数据以及相机100的位置和各种参数设置来确定场景内的球的中心的三维位置。例如，如果存在在第一图像中的具有第一特征图案区段的第一可视区段以及在第二图像中的具有第二特征图案区段的第二可视区段，则CPU 304可操作来使用和图6A-6C中所描述的相同的原理、基于第一和第二可视区段中的每一个的位置数据和特征图案区段来确定场景内的球的中心的位置。因为已经使用了两个单独的图像(来自两个单独的相机)，所以能够确定场景内的球的中心的三维位置。

图7示意性地示出了在从相机100的角度看球变成被隐藏的时间间隔期间由CPU 304所确定的球的轨迹。当CPU 304不能够根据由相机100在时间t_n所捕获的一组图像I1_n’-I6_n’准确地确定场景内的球的位置时，认为球在时间t_n是被隐藏的。例如，球可以被大量的障碍物包围使得球无部分对相机100中的任何一个可见。可替换地，球可以仅对单个相机100可见，在这种情况下，CPU 304未被提供有足够位置和方位数据来确定场景内的球的位置。

图7示出了其中中心512经由传入轨迹702进入隐藏区域700并且经由传出轨迹704离开隐藏区域700的球500。CPU 304能够确定刚好在球变得被隐藏在隐藏区域700中之前的时间t₁处的球的速度v₁和刚好在球被隐藏在隐藏区域700中之后的时间t₂处的球的速度v₂，如先前所述。CPU 304然后能够使用在时间t₁和t₂处的场景内的球的检测到的位置、在时间t₁和t₂的球的所确定的速度以及在存储器302中存储的用于球的影响特征数据中的至少一个来确定隐藏区域700内的球的隐藏轨迹708。

在图7的示例中，球门线706在隐藏区域700内。由CPU 304确定的隐藏轨迹708示出了在球被隐藏的时间间隔期间球500的中心512越过球门线708并且因此进球已经得分。本发明的实施例因此使其能够确定球是否在球被从相机100的视野隐藏的时间间隔期间已经越过球门线。

通过知道传入和传出轨迹的加速度、速度、位置以及相对时间，系统能够通过计算在轨迹的改变期间作用在球上的力来插值位置/时间信息。通过知道作用在球上的力，能够计算对球的压缩和接触到球的对象的位置/时间。

因此，如果在变为被隐藏之前球正以速度v ₁行进，则轨迹的角度和球的速率是已知的。如果在再次看见球之后，球正以速度v ₂行进，则轨迹的角度和球的速率是已知的。因为假定在隐藏时段期间有力施加到球(例如，因为球从一对象弹回，或者因为球员踢了球)，使得球能够以速度v ₂行进，所以力被施加处的位置被假定为球所行进的最远距离。

因为球所经历的速度上的变化是被施加到球的力的结果，所以能够计算施加到球的力。此外，因为球的速度v ₂(其为速率和方向)是已知的，所以能够推断力何时被施加到球。因此，能够计算球的最远位置。

此外，通过知道球的压缩，能够进一步确立力何时被施加到球。例如，如果就在球再次变得可见之前施加了力，则由于力的施加而导致球将看起来像变形的。然而，如果仅在球变得隐藏之后施加了力，则球已经更大程度上恢复它的形状并且因此将看起来变形较小。根据球的压力(和任何其它相关影响特征)以及施加到球的力来计算球变形的量。

现将参照图8来描述系统的操作的简要描述。在比赛期间，相机100全部从球门的不同视场来捕获图像，如步骤800中所示。相机100还捕获位于球门柱的基部和球门网支架116的顶部的参考标记402。对于每个图像，确定该图像中的参考标记402中的至少一个的位置，如步骤802中所示。因为参考标记402被认为是在场景内的固定位置中，所以连续的图像之间的参考标记402的任何移动是由于相机100的移动而导致的。在步骤804处，在连续的图像中的、由每个相机100所捕获的至少一个参考标记402之间的位置上的差被用来确定移动变换。换句话说，因为图像中的参考标记402的移动是由于相机100的移动而导致的，所以在所捕获的图像中的所有其它的像素被移动相同的量。因此，在所捕获的图像中的每个像素的位置都被应用此移动变换。

在移动变换已经被应用到每个像素之后，检测到每个图像的、与球的表面的特征图案匹配的区段，并且确定了这些匹配区段中的每一个的位置和方位数据，如在步骤806中所示。每个图像的位置和方位数据然后被用来确定场景内的球的位置，如在步骤808中所示。参照图3和图5A-6C来说明了匹配区段的检测、匹配区段的位置和方位数据的确定以及场景内的球的位置的随后确定。

在步骤810中，根据场景内的球的所确定的位置来决定整个球是否已经越过整个球门线。在整个球被认为是已经越过整个球门线的情况下，则生成进球指示信号，如步骤812中所示。该进球指示信号然后被发送给比赛裁判的头戴式耳机。

尽管已经参照球门线对前述内容进行了描述，但是本发明并没有被这样限制。具体地，在实施例中，比赛裁判能够得到球越过比赛场地内的诸如发球边线或球门发球线等的任何线的指示。

尽管已经参照球对前述内容进行了说明，但是设想了诸如羽毛球或冰球之类的任何类型的运动抛射体。

在至少部分地使用软件控制的数据处理设备来实现上文所述的本发明的实施例的情况下，将要了解的是，提供这样的软件控制的计算机程序以及通过其来提供这样的计算机程序的传输装置、存储器或其它介质被设想为本发明的方面。

明显地，考虑到上述教导，本发明的大量修改和变化是可能的。因此要理解的是，在随附权利要求的范围内，本发明可以被实现与如在这里具体描述的不同。

Claims (16)

1.一种用于在检测场景内的运动抛射体的位置的系统中使用的相机移动校正设备，所述设备包括：

接口，可操作来接收由相机所捕获的所述场景的第一图像和第二图像；

参考标记确定器，可操作来确定在所述场景的所述第一图像和所述第二图像内的参考标记的位置，所述参考标记在所述场景内为静态的；

差异确定装置，可操作来确定在所述场景的所述第一图像和所述第二图像中的所述参考标记的位置之间的差异；以及

校正变换器，可操作来基于所述确定的差异来将校正变换应用于所述第二图像。

2.一种用于检测场景内球的位置的系统，所述系统包括：

根据权利要求1所述的相机移动校正设备；

相机，可操作来捕获场景的第一图像和第二图像且向所述相机移动设备提供所述场景的第一图像和第二图像；以及

参考标记，定位于所述相机的视场内的场景内，所述参考标记在所述场景内为不动的。

3.根据权利要求2所述的系统，其中，所述参考标记被配置成从所述相机的视场内基本正面的视角看到。

4.根据权利要求2所述的系统，其中，所述参考标记的至少一部分是反射性的。

5.根据权利要求2所述的系统，其中，所述场景包括球门柱且其中所述参考标记置于所述球门柱上靠近所述球门柱接触地面的端部处。

6.根据权利要求2所述的系统，其中，所述场景包括球门网支架且其中所述参考标记置于所述球门网支架上高于地面预定高度处。

7.根据权利要求2所述的系统，包括：包围所述相机的壳体，所述壳体被配置成使风偏离所述相机。

8.一种在捕获场景时的相机移动校正方法，在所述场景中，运动抛射体的位置将要被确定，所述方法包括：

接收由相机捕获的所述场景的第一图像和第二图像；

确定在所述场景的第一图像和第二图像内参考标记的位置，所述参考标记在所述场景内为静态的；

确定在所述场景的第一图像和第二图像中所述参考标记的位置之间的差异；以及

基于所述确定的差异将校正变换应用到所述第二图像。

9.根据权利要求8所述的方法，还包括：

捕获场景的第一图像和第二图像且将所述场景的所述第一图像和第二图像提供给相机移动设备；以及

在所述相机的视场内的所述场景内定位所述参考标记，其中所述参考标记在所述场景内是不动的。

10.根据权利要求9所述的方法，其中所述参考标记被配置成从所述相机的视场内基本上正面的视角看到。

11.根据权利要求9所述的方法，其中，所述参考标记的至少一部分是反射性的。

12.根据权利要求9所述的方法，其中，所述场景包括球门柱且其中所述参考标记置于所述球门柱上靠近所述球门柱接触地面的端部处。

13.根据权利要求9所述的方法，其中，所述场景包括球门网支架且其中所述参考标记置于所述球门网支架上高于所述地面预定高度处。

14.根据权利要求9所述的方法，包括围绕所述相机的壳体，所述壳体被配置成使风偏离所述相机。

15.一种包括计算机可读指令的计算机程序，所述计算机可读指令在被加载到计算机上时配置所述计算机以执行根据权利要求8所述的方法。

16.一种计算机程序产品，其被配置成在其中或其上存储权利要求15所述的计算机程序。

Images