CN112989908A - 数据处理方法及装置、程序和非临时性存储介质 - Google Patents

Abstract

本申请涉及数据处理方法及装置、程序和非临时性存储介质。数据处理方法包括：获取识别体育事件期间的时间时场景中的对象的位置的信息；获取在体育事件期间的该时间时捕获的场景的图像；投影对象在场景中的位置到图像的图像平面上；以及基于投影输出信息。

Description

数据处理方法及装置、程序和非临时性存储介质

技术领域

本公开涉及一种数据处理方法及装置。

背景技术

在此处提供的“背景技术”的描述是用于总体地呈现本公开的上下文。在背景技术部分中描述的范围内，本发明人的工作以及在提交时可能不符合现有技术的描述方面，既不明示地也不默示地被承认为针对本公开的现有技术。

图像处理技术的进步使得比以往任何时候都能够以更大容量和更多细节来捕捉和分析体育事件的图像。该技术的一个应用示例是视频助理裁判(VAR)技术，其允许使用从不同角度捕捉的事件图像来审查足球比赛中的事件，例如犯规或进球。该技术的另一个应用示例是使用一个或多个相机来跟踪竞速(例如赛马或赛车)中参赛者的进程。然而，仍然留有这项技术被改进并且以新的方式来使用的愿望。

发明内容

本公开涉及一种数据处理方法，包括：获取识别体育事件期间的时间时场景中的对象的位置的信息；获取在体育事件期间的时间时捕获的场景的图像；投影对象在场景中的位置到图像的图像平面上；以及基于投影输出信息。

根据本申请示例性实施例，数据处理方法包括：获取指示对象的视觉特征的信息，视觉特征将对象与场景中的一个或多个其他对象区分开来；以及使用对象的视觉特征确定对象是否在图像中。

根据本申请示例性实施例，确定对象是否在图像中包括：投影对象在场景中的位置到图像的多个候选图像平面上；以及对于每个候选图像平面，确定在对象的投影位置处的图像的一部分是否具有对象的视觉特征；以及如果对于一个候选图像平面，在对象的投影位置处的图像的部分具有对象的视觉特征，则确定对象在图像中，其中，一个候选图像平面被确定为图像的图像平面。

根据本申请示例性实施例，输出信息指示图像。

根据本申请示例性实施例，输出信息指示与一个候选图像平面相关联的一个或多个相机参数。

根据本申请示例性实施例，对象的视觉特征包括对象的姿势或在对象上的视觉标记。

根据本申请示例性实施例，对象在场景中的位置是使用由多个相应的相机同时捕获的对象的多个图像来确定的，每个相机相对于场景校准。

根据本申请示例性实施例，识别对象在场景中的位置的信息包括对象的全球导航卫星系统坐标。

根据本申请示例性实施例，对象位于图像中，以及数据处理方法包括：将对象的全球导航卫星系统坐标在图像的图像平面上的投影位置与对象在图像中的位置进行对比；如果对象的全球导航卫星系统坐标在图像的图像平面上的投影位置与对象在图像中的位置有差异：调整对象的全球导航卫星系统坐标以减少差异；以及包括经调整的全球导航卫星系统坐标在输出信息里。

根据本申请示例性实施例，体育事件是球类比赛并且对象是球类比赛参与者或球。

根据本申请示例性实施例，体育事件是足球比赛。

根据本申请示例性实施例，体育事件是美式橄榄球比赛。

根据本申请示例性实施例，体育事件是竞速并且对象是竞速参与者。

根据本申请示例性实施例，体育事件是赛马。

本申请还涉及一种程序，程序用于控制计算机以执行上述数据处理方法。

本申请还涉及一种非临时性存储介质，非临时性存储介质存储上述程序。

本申请还涉及一种数据处理装置，包括电路，电路被配置为：获取识别体育事件期间的时间时场景中的对象的位置的信息；获取在体育事件期间的时间时捕获的场景的图像；投影对象在场景中的位置到图像的图像平面上；以及基于投影输出信息。

附图说明

本公开的非限制性的实施例和优点将通过参考以下结合附图的详细描述而被更好的理解，其中：

图1A和图1B示意性地示出足球场；

图2A和图2B示意性地示出根据一个实施例的数据处理装置和用户界面；

图3示意性地示出可旋转相机图像平面；

图4A和图4B示意性地示出足球比赛期间在第一候选图像平面上的运动员姿势投影；

图5A和图5B示意性地示出足球比赛期间在第二候选图像平面上的运动员姿势投影；

图6A和图6B示意性地示出足球比赛期间在第三候选图像平面上的运动员姿势投影；

图7A和图7B示意性地示出图像上投影的第一组全球导航卫星系统坐标；

图8A和图8B示意性地示出图像上投影的第二组全球导航卫星系统坐标；

图9A和图9B示意性地示出图像上投影的第三组全球导航卫星系统坐标；

图10示出根据实施例的方法。

在整个附图中，相同的附图标记代表相同或对应的部件。

具体实施方式

图1A-图6B示出了关于足球比赛的本技术的第一示例。

图1A和图1B示出了足球场100，关于该足球场100定义了各种坐标轴X，Y和Z。因此，足球场上的位置可以由适当的X、Y和Z坐标定义。图1A是足球场的透视图。图1B是足球场的鸟瞰图。图1B示出了位于足球场周围的多个相机101。每个相机101在足球比赛期间捕获足球运动员和足球场上的足球的图像。

有两种类型的相机，静态相机101A和可旋转相机101B。每个静态相机101A保持固定，使得其足球场的视场在整个足球比赛中保持固定。每个可移动相机101B是可旋转的，从而足球场的视场在足球比赛期间是可改变的。每个可移动相机101B可围绕一个或多个旋转轴旋转(每个旋转轴分别允许相机平移，倾斜和滚动)。在该示例中，存在四个静态相机101A，每个静态相机101A位于沿着足球场的相应一侧的中途。每个静态相机101A具有包括整个足球场的视场。还存在10个可旋转的相机101B，其位于足球场周围的相应的其它位置中。例如，当一个或多个特定足球运动员在球场周围运动时，每个可旋转相机101B可以被旋转以将这些足球运动员保持在其视场内。这被称为“跟踪”那些一个或多个足球运动员。每个可旋转相机101B的变焦水平也是可调节的。通过放大距离相机较远的球员和缩小距离相机较近的球员，这使得足球运动员能够在球场上的任何位置被跟踪。变焦级别可通过光学或数字方式调整。可以使用不同数量的静态和/或可旋转相机。

因为静态相机101A的视场包括整个足球场并且不改变，所以可以校准每个静态相机，使得球场上的物体的位置映射到该物体在由相机捕获的球场的图像中的对应位置。如果对象由多个不同定位的静态相机捕获，则可以从每个捕获图像中的对象的二维位置确定该对象在球场上的三维位置。使用诸如球场线102的球场的静态特征，预先校准每个静态相机。

以这种方式校准可旋转相机101B会更困难，因为每个相机的视场通过旋转相机和/或调节相机的变焦是可改变的。因此，每个可旋转相机存在许多不同的可能视场，并且这些视场中的一些视场(例如，以高变焦水平跟随特定球员的视场)可能不包含任何用于帮助校准的球场的静态特征。因此，难以将球场上对象的位置映射到由可旋转相机捕获的球场图像中该对象的相应位置。

在诸如视频助理裁判技术的应用中，期望将球场上的物体与由一个或多个可旋转相机捕获的图像中的物体进行映射的能力，其中视频助理裁判裁判员可能希望回顾足球比赛期间的事件(例如犯规或进球)，该事件可能已经潜在地由一个或多个可旋转相机捕获。如果有许多可旋转相机，视频助理裁判裁判员要审查所有可旋转相机在有问题的事件期间记录的镜头，以确定哪些相机拍摄了该事件，既费时又费力。因此，期望将涉及事件的球场上的对象(例如，一个或多个足球运动员和/或足球)映射到由一个或多个可旋转相机捕获的事件的图像，并且期望将这些图像指示给视频助理裁判裁判员。这减少了视频助理裁判裁判员所需的时间和劳动，因为他们随后只需要查看成功映射的图像，而不是所有可旋转相机捕获的所有图像。例如，如果涉及两个球员和球的犯规图像仅被十个可旋转相机中的两个捕获，则希望来自两个相机的图像被指示给视频助理裁判裁判员，而不是视频助理裁判裁判员必须查看所有十个相机的图像。这是可能的，通过尝试用每个可旋转相机捕获的图像来映射参与犯规的球员和球，并向视频助理裁判裁判员指示映射最成功的图像。

图2A示出了根据实施例的数据处理装置200。数据处理装置200包括：处理器201，用于处理电子指令；内存202，用于存储待处理的电子指令以及与电子指令相关联的输入和输出数据；存储器(存储介质)(例如，以硬盘驱动器，固态硬盘等形式)，用于长期存储数据；相机接口，用于从静态相机101A和可旋转相机101B中的每一个接收表示捕获图像的图像数据，用户界面205，用于从用户接收输入命令并向用户输出信息，以及可选地，全球导航卫星系统GNSS接口214，用于从一个或多个全球导航卫星系统接收器接收全球导航卫星系统位置信息。处理器201、内存202、存储器203、相机接口204、用户界面205和全球导航卫星系统接口214中的每一个使用例如适当的电路来实现。处理器201控制内存202、存储器203、相机接口204、用户界面205和全球导航卫星系统接口214中的每一个的操作。

用户界面如图2B所示。在该示例中，用户界面205是触摸屏。用户界面205可以采取不同的形式，例如具有键盘和鼠标的非触摸屏或语音命令接口等。用户界面205可以与数据处理装置200分离，但是经由适当的连接连接到数据处理装置，该适当的连接允许在数据处理装置和用户接口之间传输由用户接口接收的输入命令和由用户接口输出的输出信息。

图2B的触摸屏显示表示足球场100的球场图像206和由各个可旋转相机101B捕获的多个相机图像207A-207D。

球场图像206指示每个球员在球场上的位置209和足球在球场上的位置210。处理器201根据预先存储在存储器203中的静态相机校准信息，分析由静态相机101A捕获的图像来确定球员和球的位置。处理器201使用捕获的图像和任何合适的已知对象识别技术将球和每个球员识别为唯一对象。例如，处理器201使用语义分隔算法，语义分隔算法被设计成实时地区分前景(球员或球)与背景(例如，球场，草地或体育场)。一个这样的已知算法是在奥斯汀的德克萨斯大学和加州大学伯克利分校开发的“作为点的对象”算法。

相机图像207A-207D中的每一个可由用户(例如，视频助理裁判裁判员)使用他们的手208的手指在触摸屏上显示该相机图像的位置处触摸触摸屏205来选择。选择相机图像207A使得在触摸屏上显示较大版本的图像。这允许用户更详细地查看所选图像。图像207A-207D是由可旋转相机101B捕获的所有图像的子集。子集中的图像被确定为具有与待审查的特定事件相关联的场景中的对象的最佳映射图像。球场图像206还包括用于每个相应图像207A-207D的视场图形211A-211D，视场图形211A-211D指示在捕获该图像时可旋转相机的估计视场。图3-图6B解释如何确定具有最佳映射和估计视场的图像。

每个静态和可旋转相机101A、101B在足球比赛的整个持续时间内以预定帧速率(例如50赫兹)捕获图像。用它们的捕获时间对图像进行时间戳记，以使得由不同相机同时捕获的图像能够由处理器201彼此关联。对于同时捕获的每组静态相机图像，这允许球和球场上每个球员的位置被确定并在球场图像206上示出。它还允许在当时捕获的可旋转相机图像中的一个或多个与球场图像206一起显示。在图2B中，球场图像206表示足球比赛进行到37分48秒时球和球员的位置。类似地，图像207A-207D是在足球比赛进行到37分48秒时由相应的可旋转相机101B捕获的图像。

足球比赛的经过时间212与虚拟按钮213A-213C一起显示，虚拟按钮213A-213C可由用户触摸以调整经过时间，并且因此调整球和球员在所显示的球场图像206和图像207A-207D上的位置。

如果用户触摸按钮213A，则进入“播放”状态，在“播放”状态中，球场图像上的球和球员位置被更新，并且以捕获图像的预定帧速率显示连续捕获的图像207A-207D。在这种情况下，图像207A-207D作为足球比赛的视频图像出现，并且球和球员位置看起来以模仿足球比赛的速度变化。如果用户再次触摸按钮213A，则进入“暂停”状态，在“暂停”状态中，图像207A-207D以及球和球员位置保持静止，与当按下按钮213A时显示的经过时间212相关联的那些图像一样。用户可以通过连续触摸按钮213A在“播放”和“暂停”状态之间交替地切换。

按钮213B是“倒带”按钮，其使得经过时间向后运行，同时显示相关联的球和球员位置以及图像207A-207D。例如，基于按钮213B被按下多少次或按下多长时间，可调节经过时间向后运行的速度(“倒带速度”)。

按钮213C是“快进”按钮，其使得经过的时间向前运行，同时以大于“播放”状态的速度显示相关联的球和球员位置以及图像207A-207D。例如，基于按钮213C被按下多少次或按下多长时间，可调节经过时间向前运行的速度(“快进速度”)。

因此，按钮213A-21C允许用户导航到感兴趣的事件(例如犯规或进球)的时间，并经由图像207A-207D回顾该事件。除了按钮213A-21C之外的用户界面(例如，交互式进度条等)可用于浏览足球比赛。

当用户希望回顾特定事件时，用户将经过时间212调整到事件的时间(或刚好在事件之前的时间)。然后，他们指示事件发生在球场上的位置。例如，他们通过触摸球场图像206的适当位置来做到这一点。作为响应，处理器201确定在所指示位置的预定距离(例如15米)内的所有可检测对象(例如球员和球)。处理器然后执行映射处理，以尝试将所确定的对象映射到在所选择的经过时间由可旋转相机101B捕获的图像中的每一个。然后，具有最佳映射的四个图像被显示为具有球场图像的图像207A-207D。可以显示除四个之外的具有最佳映射的多个图像(例如，具有最佳映射的单个图像或具有最佳映射的三个图像)。因此，向用户呈现在经过时间捕获的最有可能示出有问题事件的所有可旋转相机图像的子集。因此，减少了用户在查看可旋转相机图像以找到显示事件的那些图像时的时间和劳动。

图3-图6B展示了具有感兴趣对象(例如，在球场上指示位置的预定距离内的球员)的最佳映射的可旋转相机图像是如何被确定的。还展示如何估计捕获图像的可旋转相机101B的参数。

图3示出了在球场的三维空间内捕获的可旋转相机图像300A及其相关联的图像平面300B。实际上，在捕获了图像300A的可旋转相机101B的视场内的球场上的三维对象(例如，一个或多个球员和/或球)，被投影在二维图像平面300B上以形成图像300A。在该示例中，感兴趣的对象是球员301B，在图像300A中作为球员图像301A出现。球员图像301A是图像300A的一部分。例如。球员301B被确定为感兴趣的对象，因为他们位于球场上的指示位置的预定距离内。问题在于，由于可旋转相机101B不以与静态相机101A相同的方式进行校准，因此难以确定与图像300A相关联的视场和图像平面300B。因此，难以预先知道图像300A是否包括作为关注对象的球员301B。因此，要求用户手动查看图像300A(与所有其它可旋转相机同时捕获的图像一起)，以确定球员301B包括在图像300A中，并且确定来自捕获图像300A的可旋转相机的图像因此可能适合于查看有关事件(例如，涉及球员301B的犯规)。

为了缓解该问题，处理器201确定球员301B的视觉特征，该视觉特征将球员301B与在捕获图像300A时刻的场景中的其他对象区分开来，该场景使用在该时刻捕获的静态相机图像。然后分析图像300A确定图像300A中的任何对象是否具有该视觉特征，并且如果是，则确定球员301B被捕获在图像300A中。然后，例如，图像300A被显示为图像207A-207D中的一个。如果不是，则确定图像300A与所关注的事件不相关，并且图像不被显示为图像207A-207D中的一个。对于同时捕获的所有其它可旋转图像重复该操作。显示的可旋转相机图像子集207A-207D是具有视觉特征最佳匹配的可旋转相机图像，并且因此可旋转相机图像可能具有所关注事件的最佳视图。

因此，减少了用户寻找所关注事件的最佳可旋转相机图像所需的时间和劳动。用户所要做的就是将所经过的时间设置为所关注的事件(或稍前)的时间，并指示该事件在球场上的位置。处理器然后分析当时捕获的所有可旋转相机图像，并返回最有可能示出所关注事件的可旋转相机图像的子集。

在一个实施例中，球员301B的视觉特征是球员上的视觉标记，例如球队球衣颜色和球员号码的组合，这对于球场上的每个球员来说是唯一的。在另一个实施例中，视觉特征是球员的姿势。球员的姿势是球员的部位(例如关节和四肢)的位置的简化三维表示，处理器201使用静态相机图像和人体姿势估计算法可检测该位置，人体姿势估计算法实时地离散地识别每个球员的关节、四肢和方位。例如，可以使用来自关节式姿势估计领域的合适的已知算法。任何两个球员同时具有相同姿势的可能性很小，因此使得姿势适合作为同时捕获的一组可旋转相机图像中的球员301B的独特视觉特征。使用该姿势也是有利的，因为它不依赖于球员301B的特定视觉标记(例如球员的号码)在图像中可见。可以组合使用球员301B的视觉特征(例如，姿势和球员号码)。

因为捕获图像300A的可旋转相机101B不以与静态相机101A相同的方式被校准，所以正确的图像平面300B预先不知道。为了使用球员的姿势来确定球员301B是否已被捕获在图像300A中，球员的三维姿势因此被投影到捕获图像300A的可旋转相机的多个潜在二维图像平面上。然后，将每个潜在图像平面的投影姿势与捕获图像300A中的球员图像301A的检测到的二维姿势进行比较。如果对于潜在图像平面之一，在球员301B的投影的三维姿势和球员图像301A的二维姿势之间存在充分的匹配，则球员图像301A被确定为对应于球员301B，并且图像300A被确定为包括球员301B(以及因此所关注事件)的图像。这被称为球员姿势处理。

这在图4A-图6B中举例说明，图4A-图6B示出了三个潜在图像平面及其相关联的三维姿势投影。为了简单起见，示出了三个潜在的图像平面。三个潜在图像平面中的每一个表示相机的不同的相应潜在平移旋转的图像平面。实际上，在不同的平移，倾斜和/或滚动相机旋转和/或不同的变焦水平下，可能存在更大量的潜在图像平面。为了减少潜在图像平面的数量(从而减少必要的处理量)，设置可旋转相机的位置(使用球场的X，Y和Z坐标系)和/或设置相机旋转的限制(例如，最小和最大平移，倾斜和/或滚动)和/或变焦(例如，最小和最大变焦)。

图4A示出了第一潜在图像平面400A。图像平面400A相对于可旋转相机的固定位置403来确定，该可旋转相机捕获球场的X，Y和Z坐标系中的图像300A。为了简单起见，球场和对象未在图4A中示出。图4B示出了球员301B在覆盖在图像300A上的图像平面400A上的三维姿势投影401A。球员图像301A的二维姿势由标记402指示。例如，这些由处理器再次使用来自关节式身体姿势估计领域的合适的已知算法来生成。每个标记402指示在球员图像301A中球员身体的可检测部分的位置。在这种情况下，球员的各种关节(例如膝盖、脚踝、肘部和肩部)以及球员的腰部和颈部被指示。三维姿势投影401A与二维姿势标记402不对准，表示图像平面400A不是正确的图像平面300B。球405在捕获的图像300A中也是可见的。图像300A中球的位置由处理器201检测(例如，使用球的独特球形，球的标准化尺寸和/或球上的独特视觉标记和语义分割算法)，并由标记406指示。还示出了基于由静态相机101A检测到的球在球场上的位置，三维球在图像平面400A上的投影404A。三维球投影也与二维球位置标记406不对准，表示图像平面400A不是正确的图像平面300B。

图5A示出了第二潜在图像平面400B。再次相对于捕获图像300A的可旋转相机的固定位置403确定图像平面400B。为了简单起见，球场和对象再次未在图5A中示出。图5B示出了球员301B在覆盖在图像300A上的图像平面400B上的三维姿势投影401B。球员图像301A的二维姿势再次由标记402指示。三维姿势投影401B与二维姿势标记402不对准，表示图像平面400B不是正确的图像平面300B。还示出了图像平面400B上的三维球投影404B。三维球投影也与二维球位置标记406不对准，表示图像平面400B不是正确的图像平面300B。

图6A示出了第三潜在图像平面400C。再次相对于拍摄图像300A的可旋转相机的固定位置403确定图像平面400C。为了简单起见，球场和对象再次未在图6A中示出。图6B示出了球员301B在覆盖在图像300A上的图像平面400C上的三维姿势投影401C。球员图像301A的二维姿势再次由标记402指示。此时，三维姿势投影401C与二维姿势标记402对齐，表示图像平面400C是正确图像平面300B。还示出了图像平面400C上的三维球投影404C。三维球投影也与二维球位置标记406对齐，表示图像平面400C是正确的图像平面300B。

潜在图像平面也可被称为候选图像平面。

基于球员301B的三维姿势投影与捕获图像300A的可旋转相机相关联的潜在图像平面之一(在此情况下为第三潜在图像平面400C)中的球员图像301A的二维姿势的对齐，确定图像300A包括球员301A的图像。因此，图像300A被显示为所关注事件的图像之一(例如，图像207A-207D之一)。可选地，如果结果证明没有一个潜在图像平面400A-400C(或任何其他潜在图像平面)与球员301B的与球员图像301A的二维姿势充分对齐的三维姿势投影相关联，则将确定球员图像301A不对应于球员301B(即，它很可能是不同的球员)，并且因此图像300A不太可能与所关注的事件相关联。在这种情况下，不显示图像300A。

在一个实施例中，确定潜在图像平面上的球员的三维姿势投影是否与捕获图像中的球员图像的二维姿势充分对齐，包括，例如，确定每个二维姿势标记402与三维姿势投影401A-401C的最近线之间的相应距离。当距离的总和小于预定阈值时，确定足够的对齐。如果存在多个图像平面提供足够的对齐，则选择具有最低总距离的图像平面。可以使用确定对齐程度的其它方法。

在一个实施例中，捕获图像的可旋转相机101B的一个或多个参数被估计为提供最佳对准的潜在图像平面的那些参数。例如，捕获图像300A的可旋转相机的平移、倾斜和/或滚动角度和/或变焦水平被估计为与第三潜在图像平面400C相关联的平移、倾斜和/或滚动角度和/或变焦水平。例如，对于每个(X，Y，Z)可旋转相机位置，预先确定在球场的(X，Y，Z)三维空间中定义的图像平面的平移、倾斜和/或滚动角度和/或变焦水平，并将其存储在存储器203中。在一个实施例中，如果要输出预定最大数目的图像(例如四个图像207A-207D)，但是多于预定最大数目的图像被确定为与所关注事件相关联(例如，如果五个图像包括球员301A)，则使用与那些图像相关联的确定的相机参数来选择图像。例如，预定最大数目的图像被选择为具有最大缩放水平的那些图像(因为这些图像可能最详细地示出所关注的事件)。

在图4A-图6B的示例中，捕获图像300A中的三维球投影和二维球位置也用于确定任何潜在图像平面400A-400C是否具有足够的对齐。在一个实施例中，当三维球投影404A-404C和二维球位置标记206之间的距离小于预定阈值时，足够的对齐被确定。如果存在具有足够对齐的多个潜在图像平面，则选择具有最低距离的图像平面。在一个实施例中，三维球投影404A-404C和二维球位置标记206对应于球的中心的位置。球位置和球员姿势的使用可以组合使用(如在图4A-图6B的示例中)或单独使用。当一起使用时，例如，当使用球位置和球员姿势两者来确定足够的对齐时，潜在图像平面被选择为正确图像平面。

在一个实施例中，仅使用球的位置来确定足够的对齐。因为在没有球员姿势处理的情况下，球可被处理器201检测为球场上视觉上独特的物体，所以可以快速且较少处理地确定涉及球的事件的合适的可旋转相机图像。然后，仅当需要进一步的图像选择时，才对那些图像执行球员姿势处理。例如，如果包括球的可旋转相机图像的数量大于要输出图像的预定最大数量，则需要进一步的图像选择。在这种情况下，执行球员姿势处理以仅选择包括涉及所关注事件的一个或多个球员的图像。当潜在图像平面的一部分处于不同变焦水平时，也可以执行球员姿势处理。由于球的小的(相对于球员)、球形的形状，很难仅仅根据球来确定图像的正确变焦水平。执行球员姿势处理允许更容易地检测处于不同变焦水平的多个潜在图像平面中的正确的一个。这是因为在不同的变焦水平下，对大的(相对于球)球员的感知外观在不同姿势下的改变更加明显。

虽然图1A-图6B涉及足球，然而本发明技术可以应用于其它运动，包括其它球类运动，例如美式橄榄球，特别是美国职业橄榄球大联盟

美国职业橄榄球大联盟的一个问题是，当球员的膝盖或肘部触地以结束“触地”时，要准确地知道球在哪里，因为这被定义为“触地”的位置。由于发生这种情况时经常有球员混战，因此可以很难从以传统方式(例如使用图像中的线或其他兴趣点)校准的固定的，广角的相机(例如相机101A)看到这个位置。因此，本技术允许在“触地”的时间和位置处的球员跟踪信息(例如，位置和姿势)被用于确定具有“触地”最佳视角的长焦可旋转相机(例如相机101B)的图像。另外，如果确定了这些图像中的每一个的合适的相机参数和相机的正确图像平面(相对于球场的(X，Y，Z)坐标系定义)，并且球在这些图像中是可检测的，则可以精确地确定球在球场的(X，Y，Z)坐标系中的位置。

在美国职业橄榄球大联盟的电视转播中，有时会显示一个图形来标定“触地”重置的线。图像中的特定预定特征(例如，球场上的特定线条)在连续捕获的图像之间保持静止，依赖于该特征的传统相机校准系统难以给出精确的校准，尤其是在图像中存在许多可能妨碍特定预定特征的球员的情况下。校准包括确定包含球场的场景中的三维点与捕获图像中的二维点之间的映射。这样的映射是需要的，以确保标定“触地”重置位置的线在所捕获的图像中处于正确的位置。

另一方面，利用本技术，在镜头中具有更多的球员实际上改进了校准(因为球员的位置和姿势使得能够确定正确的相机校准，如所描述的)。这允许图形在任何相机(静态的或可旋转的)中显示，而不依赖于可能被遮蔽的特定预定静态图像特征。

除了上面提到的线条图形之外，还可以添加其他图形，例如广告围板上或球场上的虚拟广告图形。这增加了广告客户的播放时间(例如，因为他们可以在来自可旋转相机的放大镜头以及来自固定相机的广角镜头上显示)，并且减少了在球场上实际涂写广告的需要。

图7A-图10示出了与竞速有关的本技术的第二示例。这里的例子是赛马。然而，本技术适用于不同类型的竞速，例如赛车。本技术的第二示例由数据处理装置200实现。数据处理装置200可以被配置成实现本技术的第一示例和第二示例中的一个或两者。

图7A示出了赛马场701的鸟瞰图。静态相机700捕获赛马场的图像。由相机700捕获的图像704在图7B中示出。预先相对于赛马场校准静态相机700，使得在赛马场上和在相机的视场内的物体的位置被映射到该物体在图像704中的对应位置。表示捕获图像704的图像数据由相机接口205接收。图像704包括由赛马场上的骑师706A-706C骑乘的马705A-705C。每个骑师都佩戴全球导航卫星系统接收器(未示出)，该接收器在骑师绕赛马场行进时确定骑师的全球导航卫星系统位置，并向全球导航卫星系统接口214发送识别骑师的信息(骑师身份，例如预定数字)并指示所确定的全球导航卫星系统位置。全球导航卫星系统位置信息在竞速中是有用的，因为它允许在整个竞速中跟踪竞速的每个参与者(本例中的骑师)的位置。

然而，全球导航卫星系统位置信息的精度有限。例如，全球定位系统(GPS)的全球导航卫星系统GNSS通常精确到几米以内。这限制了在竞速中使用全球导航卫星系统定位。例如，对于彼此距离接近全球导航卫星系统定位精度的参与者，不可能可靠地确定是哪个参与者在另一个参与者的前面。因此，每个确定的全球导航卫星系统位置与误差范围相关联。这在图7A中示出，图7A示出了在捕获图像704时每个骑师的潜在全球导航卫星系统位置的范围。具体地，圆702A限定骑师706A的潜在全球导航卫星系统位置的范围。圆702B限定骑师706B的潜在全球导航卫星系统位置的范围。圆702C限定骑师706C的潜在全球导航卫星系统位置的范围。因此，希望改进确定的每个骑师位置的准确性。

本技术通过将每个骑师的潜在全球导航卫星系统位置投影到图像704上并将投影的潜在全球导航卫星系统位置与骑师在图像中的实际位置相比较来实现这种改进。由于相机700的校准，该投影是可能的，相机700相对于赛马场701捕获图像704。

例如，通过确定骑师的视觉质心的位置来确定图像中每个骑师的位置。骑师是彼此可区分的，因为每个骑师穿的套服(称为“丝绸”)包括不同的视觉标记，该视觉标记可通过处理器201对图像704执行例如语义分隔算法来识别。例如，骑师706A穿着具有竖条纹的丝绸，骑师706B穿着具有散列图案的丝绸，并且骑师706C穿着具有棋盘图案的丝绸。存储器203记录每个骑师的骑师身份和丝绸视觉标记之间的关联。

这允许处理器201将每个骑师的投影的潜在全球导航卫星系统位置与该骑师在图像704中的检测到的位置进行比较。如果骑师的投影的潜在全球导航卫星系统位置在图像中骑师的位置的预定距离内，则确定潜在全球导航卫星系统位置足够精确。然后潜在全球导航卫星系统位置(或诸如使用潜在全球导航卫星系统位置确定的可视图形的信息)经由用户接口205输出。然而，如果骑师的投影的潜在全球导航卫星系统位置不在图像中骑师位置的预定距离内，则确定潜在全球导航卫星系统位置不够精确。然后选择不同的潜在全球导航卫星系统位置，并重复该过程。这在图7A-图9B中举例说明。

图7A示出了每个骑师706A-706C的初始潜在的全球导航卫星系统位置703A-703C。图7B示出了初始潜在的全球导航卫星系统位置703A-703C的投影。线707A-C分别示出了每个骑师的视觉质心在水平维度中的位置。

投影的潜在全球导航卫星系统位置703A与线707A对准。因此，潜在的全球导航卫星系统位置703A显得是精确的。在这种情况下，投影的潜在全球导航卫星系统位置703A与线707A之间的距离小于预定阈值，因此潜在全球导航卫星系统位置被输出为捕获图像704时骑师706A的位置。

另一方面，投影的潜在全球导航卫星系统位置703B和703C分别不与线707B和707C对齐。因此，潜在的全球导航卫星系统位置703B和703C显得是不精确的。在这种情况下，投影的潜在全球导航卫星系统位置703B和703C与线707B和707C之间的距离大于预定阈值。因此，必须更新潜在的全球导航卫星系统位置。

图8A和图8B示出了骑师706B和706C的更新的潜在全球导航卫星系统位置707B'和707C'。初始全球导航卫星系统位置707A不被更新，因为它被确定为足够精确。更新的潜在全球导航卫星系统位置703B'位于右侧，以尝试补偿初始潜在全球导航卫星系统位置703B太远于线707B的左侧。更新的潜在全球导航卫星系统位置703C'位于左侧，以尝试补偿初始潜在全球导航卫星系统位置703C太远于线707B的右侧。所得到的更新的投影潜在全球导航卫星系统位置703B'和703C'示于图8B中。它们仍然没有分别与线707B和707C对准，并且因此仍然显得是不精确的。特别地，更新后的投影703B'现在是线707B的右侧，比预定阈值大，而更新后的投影703C'现在是线707C的左侧，比预定阈值大。因此，必须进一步更新潜在的全球导航卫星系统位置。

图9A和图9B示出了骑师706B和706C的进一步更新的潜在全球导航卫星系统位置707B″和707C″。初始全球导航卫星系统位置707A再次不被更新，因为它被确定为足够精确。进一步更新的潜在全球导航卫星系统位置703B″位于初始位置703B的右侧和更新的位置703B′的左侧。进一步更新的潜在全球导航卫星系统位置703C″位于初始位置703C的左侧和更新的位置703C′的右侧。所得到的进一步更新的投影潜在全球导航卫星系统位置703B″和703C″示于图8B中。它们现在分别与线707B和707C对齐，因此显得是精确的。在这种情况下，进一步投影703B″和线707B之间的距离小于预定阈值。类似地，进一步投影703C″和线707C之间的距离小于预定阈值。因此，进一步更新的潜在全球导航卫星系统位置703B″和703C″分别作为捕获图像704时骑师706B和706C的位置输出。

因此，本技术允许每个骑师的全球导航卫星系统位置的精确度被提高。

在第二示例的变型中，相机700可以是可旋转相机而不是静态相机，其与第一示例的可旋转相机101B一样，相对于赛马场701具有已知的(X，Y，Z)位置(X，Y和Z坐标系预先相对于赛马场定义)，但具有未知的偏航、俯仰、倾斜和/或变焦水平。在这种情况下，潜在的全球导航卫星系统位置投影到其上的图像平面事先是未知的。因此，每个骑师的每个潜在全球导航卫星系统位置被投影到多个潜在图像平面中的每一个上(例如，如图4A、图5A和图6A中所例示的)，并且图7A-图9B中所例示的过程被重复用于多个潜在图像平面中的每一个。

与相机700的偏航、俯仰、倾斜和/或变焦水平不足够接近的偏航、俯仰、倾斜和/或变焦水平，对于与其相关联的每个潜在图像平面，将不可能找到一组全球导航卫星系统投影，其每一个都在图像704中对应骑师的预定阈值距离内。然而，与相机700的偏航、俯仰、倾斜和/或变焦水平足够接近的偏航、俯仰、倾斜和/或变焦水平，对于与其相关联的每个潜在图像平面，将有可能找到一组全球导航卫星系统投影，其每一个都在图像704中相应骑师的预定阈值距离内。这允许正确的图像平面(以及因此正确的相机参数，包括相机捕获图像704时的偏航、俯仰、倾斜和/或变焦水平)和改进精度的全球导航卫星系统位置被确定。

如果存在多个潜在图像平面，其具有每一个在预定阈值距离内的一组经调整的全球导航卫星系统投影，则具有最接近图像中相应骑师的经调整的全球导航卫星系统投影的潜在图像平面(例如，基于相应投影和骑师距离的总和)被输出作为正确的图像平面。

所确定的相机参数和/或全球导航卫星系统位置的精度可以进一步提高。

在一个示例中，通过对由多个相应相机同时捕获的多个图像中的每个图像执行上述处理，进一步提高了全球导航卫星系统位置精度。在这种情况下，除了相机700之外，还存在一个或多个相机。被输出的经调整的全球导航卫星系统位置是基于对于每个图像确定的经调整的全球导航卫星系统位置。例如，所有图像上对于每个骑师的经调整的全球导航卫星系统位置的平均值被输出。

在另一示例中，当相机700静止(不旋转)时，通过对由同一相机700连续捕获的多个图像中的每一个执行上述处理，进一步提高相机参数精度。被输出的估计相机参数是基于对于每个图像确定的估计相机参数。例如，所有图像上的估计相机参数的平均值被输出。

这些示例都可以被执行以提高相机参数和全球导航卫星系统位置精度。这些示例有助于减轻相机参数和/或全球导航卫星系统位置确定中的误差的影响。这种误差发生，例如，是由于对象检测中的误差(例如，如果图像中的对象是运动模糊的，则难以确定该对象的精确位置)、全球导航卫星系统数据中的误差、相机的(X，Y，Z)位置的计算中的误差或全球导航卫星系统坐标系与为赛马场定义的(X，Y，Z)坐标系之间的映射中的误差。

图10示出了根据一个实施例的方法。该方法在处理器201的控制下由数据处理装置200实现。所描述的第一和第二示例是根据本申请技术方案的方法的示例。

该方法在步骤1000开始。

在步骤1001，获得识别体育事件期间某一时间时场景中对象的位置的信息。例如，该信息是来自一个或多个静态相机101A的图像数据，该图像数据允许确定足球运动员在足球场100上的位置。作为另一示例，该信息包括骑乘赛马的骑师的全球导航卫星系统坐标。

在步骤1002，获得在体育事件期间该时间时捕获的场景的图像。例如，图像(例如，图像300A)是由可旋转相机101B中的一个捕获的足球运动员的图像。作为另一示例，图像(例如图像704)是由静态或可旋转相机700捕获的赛马图像。

在步骤1003，对象在场景中的位置被投影到图像的图像平面上。例如，足球运动员的姿势投影401A-401C被投影到图像300A上。作为另一示例，骑师的潜在全球导航卫星系统位置703A-703C被投影到图像704上。当相机101B和/或相机700以未知的偏航、俯仰、滚动和/或变焦旋转时，图像平面是发生投影的多个候选图像平面中的一个。

在步骤1004，基于投影输出信息。例如，信息包括图像207A-207D，图像207A-207D特征在于在足球比赛期间涉及待审查事件的足球运动员，和/或捕获图像207A-207D的各个可旋转相机101B的一个或多个估计的相机参数(例如，偏航、倾斜、俯仰和/或变焦)。作为另一示例，信息是骑师的经调整的全球导航卫星系统坐标，和/或当相机700可旋转时相机700的一个或多个估计的相机参数(例如，偏航、倾斜、俯仰和/或变焦)。

方法在步骤1005结束。

本技术的实施例由以下编号条款限定：

1.一种数据处理方法，包括：

获取识别体育事件期间的时间时场景中的对象的位置的信息；

获取在体育事件期间的该时间时捕获的场景的图像；

投影对象在场景中的位置到图像的图像平面上；以及

基于投影输出信息。

2.根据条款1所述的数据处理方法，包括：

获取指示对象的视觉特征的信息，视觉特征将对象与场景中的一个或多个其他对象区分开来；以及

使用对象的视觉特征确定对象是否在图像中。

3.根据条款2所述的数据处理方法，其中：

确定对象是否在图像中，包括：

投影对象在场景中的位置到图像的多个候选图像平面上；以及

对于每个候选图像平面，确定在对象的投影位置处的图像的一部分是否具有对象的视觉特征；以及

如果对于一个候选图像平面，在对象的投影位置处的图像的部分具有对象的视觉特征，则确定对象在图像中，

其中，一个候选图像平面被确定为图像的图像平面。

4.根据条款3所述的数据处理方法，其中，输出信息指示图像。

5.根据条款3或4所述的数据处理方法，其中，输出信息指示与一个候选图像平面相关联的一个或多个相机参数。

6.根据条款2至5中的任一项所述的数据处理方法，其中，对象的视觉特征包括对象的姿势或在对象上的视觉标记。

7.根据前述任一条款所述的数据处理方法，其中，对象在场景中的位置是使用由多个相应的相机同时捕获的对象的多个图像来确定的，每个相机相对于场景校准。

8.根据条款1至6中的任一项所述的数据处理方法，其中，识别对象在场景中的位置的信息包括对象的全球导航卫星系统GNSS坐标。

9.根据条款8所述的数据处理方法，其中，对象位于图像中，以及方法包括：

将对象的全球导航卫星系统坐标在图像的图像平面上的投影位置与对象在图像中的位置进行对比；

如果对象的全球导航卫星系统坐标在图像的图像平面上的投影位置与对象在图像中的位置有差异；

调整对象的全球导航卫星系统坐标以减少差异；以及

包括经调整的全球导航卫星系统坐标在输出信息里。

10.根据前述任一条款所述的数据处理方法，其中，体育事件是球类比赛并且对象是球类比赛参与者或球。

11.根据条款10所述的数据处理方法，其中，体育事件是足球比赛。

12.根据条款10所述的数据处理方法，其中，体育事件是美式橄榄球比赛。

13.根据条款1至9中的任一项所述的数据处理方法，其中，体育事件是竞速并且对象是竞速参与者。

14.根据条款13所述的数据处理方法，其中，体育事件是赛马。

15.一种程序，用于控制计算机以执行根据前述任一条款所述的方法。

16.一种非临时性存储介质，存储根据条款15所述的程序。

17.一种数据处理装置，包括电路，电路被配置为：

获取识别体育事件期间的时间时场景中的对象的位置的信息；

获取在体育事件期间的该时间时捕获的场景的图像；

投影对象在场景中的位置到图像的图像平面上；以及

基于投影输出信息。

根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在技术方案的范围内，本公开内容可以以不同于本文具体描述的方式实施。

到目前为止，本公开的实施例已被描述为至少部分地由软件控制的数据处理装置实现，将理解，携带这种软件的非临时性机器可读介质，例如光盘，磁盘，半导体存储器等，也被认为代表本公开的实施例。

将理解，为了清楚起见，上述描述参考不同的功能单元、电路和/或处理器描述了实施例。然而，显而易见的是，在不同功能单元、电路和/或处理器之间的任何适当的功能分布可以被使用，而不偏离实施例。

所描述的实施例可以以任何合适的形式实现，包括硬件，软件，固件或这些的任何组合。所描述的实施例可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施例的元件和组件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，功能可以在单个单元中、在多个单元中或作为其它功能单元的一部分来实现。这样，所公开的实施例可以在单个单元中实现，或者可以在物理和功能上分布在不同单元、电路和/或处理器之间。

尽管已经结合一些实施例描述了本公开，但本公开并不旨在限制于本文阐述的特定形式。另外，虽然特征可以看起来是结合特定实施例描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适合于实现该技术的任何方式组合。

Claims (17)

1.一种数据处理方法，包括：

获取识别体育事件期间的时间时场景中的对象的位置的信息；

获取在所述体育事件期间的所述时间时捕获的所述场景的图像；

投影所述对象在所述场景中的所述位置到所述图像的图像平面上；以及

基于投影输出信息。

2.根据权利要求1所述的数据处理方法，包括：

获取指示所述对象的视觉特征的信息，所述视觉特征将所述对象与所述场景中的一个或多个其他对象区分开来；以及

使用所述对象的所述视觉特征确定所述对象是否在所述图像中。

3.根据权利要求2所述的数据处理方法，其中：

确定所述对象是否在所述图像中包括：

投影所述对象在所述场景中的所述位置到所述图像的多个候选图像平面上；以及

对于每个候选图像平面，确定在所述对象的投影位置处的所述图像的一部分是否具有所述对象的所述视觉特征；以及

如果对于一个候选图像平面，在所述对象的所述投影位置处的所述图像的所述部分具有所述对象的所述视觉特征，则确定所述对象在所述图像中，

其中，所述一个候选图像平面被确定为所述图像的所述图像平面。

4.根据权利要求3所述的数据处理方法，其中，所述输出信息指示所述图像。

5.根据权利要求3所述的数据处理方法，其中，所述输出信息指示与所述一个候选图像平面相关联的一个或多个相机参数。

6.根据权利要求2所述的数据处理方法，其中，所述对象的所述视觉特征包括所述对象的姿势或在所述对象上的视觉标记。

7.根据权利要求1所述的数据处理方法，其中，所述对象在所述场景中的所述位置是使用由多个相应的相机同时捕获的所述对象的多个图像来确定的，每个所述相机相对于所述场景校准。

8.根据权利要求1所述的数据处理方法，其中，识别所述对象在所述场景中的所述位置的信息包括所述对象的全球导航卫星系统坐标。

9.根据权利要求8所述的数据处理方法，其中，所述对象位于所述图像中，以及所述数据处理方法包括：

将所述对象的所述全球导航卫星系统坐标在所述图像的所述图像平面上的投影位置与所述对象在所述图像中的所述位置进行对比；

如果所述对象的所述全球导航卫星系统坐标在所述图像的所述图像平面上的所述投影位置与所述对象在所述图像中的位置有差异：

调整所述对象的所述全球导航卫星系统坐标以减少所述差异；以及

包括经调整的全球导航卫星系统坐标在输出信息里。

10.根据权利要求1所述的数据处理方法，其中，所述体育事件是球类比赛并且所述对象是球类比赛参与者或球。

11.根据权利要求10所述的数据处理方法，其中，所述体育事件是足球比赛。

12.根据权利要求10所述的数据处理方法，其中，所述体育事件是美式橄榄球比赛。

13.根据权利要求1所述的数据处理方法，其中，所述体育事件是竞速并且所述对象是竞速参与者。

14.根据权利要求13所述的数据处理方法，其中，所述体育事件是赛马。

15.一种程序，所述程序用于控制计算机以执行根据权利要求1所述的数据处理方法。

16.一种非临时性存储介质，所述非临时性存储介质存储根据权利要求15所述的程序。

17.一种数据处理装置，包括电路，所述电路被配置为：

获取识别体育事件期间的时间时场景中的对象的位置的信息；

获取在所述体育事件期间的所述时间时捕获的所述场景的图像；

投影所述对象在所述场景中的所述位置到所述图像的图像平面上；以及

基于投影输出信息。

Images