CN108369634B - 用于监视运动场地中的对象的系统和方法 - Google Patents

Abstract

系统使用相机、深度传感器和处理模块随着时间的推移跟踪运动场地中的运动对象。处理模块接收来自相机的图像帧和来自深度传感器的深度数据。处理模块分析深度数据以识别哪些像素处于足够大的平面中以指示所识别的像素对应于运动场地的运动表面。处理模块然后确定重力在与所识别的平面垂直的方向上。通过查找图像内的重力方向，可以大大简化基于运动场地内的运动对象的轨迹来计算表现参数的算法，由此减少与计算表现参数相关联的处理负担并用较少的测量轨迹点提供更准确的轨迹估算。

Description

用于监视运动场地中的对象的系统和方法

相关申请的交叉引用

本申请要求于2015年10月5日提交的题为“Systems and Methods forMonitoring Objects in Athletic Playing Spaces”的美国专利申请第14/874,555号的优先权，该申请通过引用并入本文。

背景技术

一般而言，可能需要在体育事件期间监测运动员以便提供对运动员表现的评估。作为示例，已经开发了一些系统，其通过测量指示运动员表现的参数并提供指示所测量的参数的反馈来帮助训练运动员更好地或更一致地表现，从而可以告知运动员他或她在体育事件期间的表现如何。

这些类型的系统中的许多类型在当对象在运动场地内自由飞行期间跟踪对象的轨迹。作为例子，在篮球训练系统中，可以测量在篮球投篮期间沿着篮球的轨迹朝向篮筐的多个点处的篮球的位置并且使用这些来计算指示篮球投篮的质量或运动员的表现的各种参数。例如，可以计算或以其他方式确定出球角度、出球高度、最大投球高度、速度、命中/未命中状态(即球是否穿过篮筐)或进入篮筐的角度并将其用于向投手提供表现反馈。类似地，在其他运动中可以跟踪其他类型的自由飞行中的对象，例如高尔夫球、足球、美式足球、棒球、网球、排球和冰球。

在一些情况下，使用深度传感器来帮助跟踪运动场地内的对象。作为示例，相机可以用于捕获在运动场地内移动的对象的一系列二维(2D)图像，并且深度传感器可以用于估计每个捕获的图像帧中的对象的深度，从而允许估计对象在三维(3D)坐标系内的位置。基于对象的三维坐标，可以估计通过运动场地的轨迹，从而允许计算各种表现参数。

对于自由飞行中的对象，重力对对象的轨迹有显著的影响。事实上，如果已知重力方向，则可以大大简化计算对象轨迹和相关表现参数的算法。然而，许多采用现成深度传感器的传感器所使用的坐标系与重力无关。也就是说，设备能够使用深度传感器跟踪通过3D空间的对象，但设备坐标系内的重力方向是未知的。

为了促进用于计算轨迹信息和表现参数的算法，由常规深度传感器使用其中重力方向未知的坐标系测量的数据可以被转换成相对于新坐标系的格式，在新坐标系中重力的方向已知的。作为例子，可以定义新坐标系，使得坐标系的轴线与重力方向平行。

然而，为了执行这样的转换，必须确定重力方向，并且这通常通过涉及手动输入的校准过程来实现。然而，这样的过程可能是耗时且繁琐的。另外，传感器有可能失去校准，例如当被对象撞击时导致传感器不可预测的运动。通常，传感器能够自动找到重力方向是可取的，从而可以避免手动校准过程。不幸的是，许多可用于相对于重力自动校准传感器坐标系的常规校准过程不可靠或不精确，从而不利地影响基于校准后坐标系的测量的质量。此外，许多这样的校准过程是处理密集型的，由此限制了可以执行校准的次数。

附图说明

本专利或申请文件包含按颜色执行的至少一个图。本专利或专利申请出版物的彩色图纸副本将由办公室应要求并支付了必要的费用而提供。

参照以下附图可以更好地理解本公开。附图的元素不一定相对于彼此按比例绘制，而是将重点放在清楚地示出本公开的原理上。此外，在若干个视图中，相同的附图标记表示相应的部分。

图1是示出用于监测运动场地中的对象的示例性系统的框图；

图2是示出例如由图1描绘的示范性处理模块的框图；

图3示出了示例性的感测系统，例如图1所描绘的，安装在篮球架上方的杆上；

图4描绘了由深度传感器捕获的示例性深度图图像，例如图1所描绘的；

图5描绘了在去除了与运动表面平面相对应的深度像素之后由深度传感器捕获的示例性深度图图像，例如图1所描绘的；

图6描绘了在篮筐模板叠加在篮筐的图像上之后由图5描绘的示例性深度图图像；

图7描绘了用于校准基于重力的坐标系的示例性过程；

图8描绘了诸如由图1描绘的感测系统，联接到诸如无人机或其他航空器的飞行器。

具体实施方式

本公开总体上涉及用于监测运动场地中的对象的系统和方法。根据本公开的一个实施例的系统使用相机、深度传感器和处理模块随着时间的推移跟踪运动场地中的运动对象。处理模块接收来自相机的图像帧和来自深度传感器的深度数据。对于给定图像帧的每个像素，深度数据提供对应的深度值。处理模块分析深度数据以在某一误差范围内识别哪些像素处于足够大的平面中以指示所识别的像素对应于运动场地的运动表面(例如球场或场地的表面)。处理模块然后确定重力相对于由所识别的像素定义的平面处于某个方向(例如，法线)。通过找到图像内的重力方向，可以大大简化基于运动场地内的运动对象的轨迹来计算表现参数的算法，由此减少与计算表现参数相关联的处理负担并用较少的测量轨迹点提供更准确的轨迹估算。

图1描绘了用于监测运动场地中的对象的示例性系统10。为了说明的目的，系统10将在运动员或篮球正在篮球场的周界内移动时来监视篮球运动员或篮球的上下文中详细描述。然而，系统10可以用于其他运动，诸如美式足球、棒球、曲棍球、足球、排球、网球、高尔夫球或任何其中希望跟踪移动对象的运动或事件。

如图1所示，系统10包括通信地联接到处理模块15的感测系统12。感测系统12被配置为感测在运动场地内移动的诸如篮球运动员或篮球的对象，并且提供指示对象在移动时的位置的数据(以下称为“传感器数据”)。处理模块15接收这些数据并分析数据以确定表示运动员表现的表现参数。作为示例，感测系统12可以感测运动员或运动员身体的一部分的位置，并且处理模块15可以分析传感器数据以确定运动员或者运动员身体的一部分(例如篮球投篮期间的手或肘)的速度、加速度或位移。用于监测运动场地中的对象的各种表现参数和技术由以下专利描述：2014年1月7日授权的题为“Trajectory Detection andFeedback System”的美国专利号8,622,832，其通过引用结合于此；题为“TrainingDevices for Trajectory-Based Sports”并于2013年12月31日授权的美国专利号8,617,008，其通过引用并入本文；2008年5月27日提交的题为“Stereoscopic Image Capturewith Performance Outcome Prediction in Sporting Environments”的美国专利申请第12/127,744号，其通过引用并入本文；以及于2015年2月3日授权的题为“True SpaceTracking of Axisymmetric Object Flight Using Diameter Measurement”的美国专利第8,948,457号，其以引用的方式并入本文中。

在一个示例中，处理模块15识别自由飞行中的对象，诸如在篮球投球期间朝向篮球架的篮筐行进的篮球，并且为一系列图像帧确定对象在3D空间中的位置。每个这样确定的位置在这里将被称为“测量的轨迹点”。基于测量的轨迹点，处理模块15确定代表对象移动路径的轨迹曲线，以计算一个或多个表现参数。作为示例，基于所确定的轨迹曲线，处理模块15可以通过确定在接近篮筐的位置处(例如，在篮筐的平面内)曲线相对于由篮筐所限定的水平面的角度来估计对象进入篮球架的篮筐中的角度。注意，处理模块15具有有限数量的测量轨迹点，取决于各种因素，诸如相机51的帧速率和对象在相机51的视野中的时间量，并且处理模块15可以在轨迹分析中执行曲线拟合算法或其他类型的算法以平滑轨迹曲线。如果重力方向已知，则可以大大简化用于估计对象的轨迹的算法。的确，如果知道重力方向，则可以减少用于估计轨迹曲线的处理负担，并且可以用较少的测量轨迹点来确定更准确的轨迹曲线。

如图1所示，处理模块15可通信地联接到输出设备17(例如显示设备或音频设备(例如扬声器))，输出设备17由处理模块15控制，以向运动员提供指示运动员在篮球投篮或其他活动期间的表现的反馈。作为示例，处理模块15可以确定与篮球投篮相关联的表现参数，诸如出球高度、出球角度、速度、加速度、最大投球高度，投篮者的位置(例如，当进行投篮时投手与篮筐之间的水平距离)、命中/未命中状态或篮球进入篮球架的篮筐中的进入角度或速度。这种表现参数可以通过输出设备17传送给运动员。

在一个示例性实施例中，处理模块15使用命中/未命中状态或其他信息以便确定可用于表征投手在多次投球中的技术水平的各种统计数据。作为示例，处理模块15可以对特定投手所投的总投球数进行计数，并且还对所命中的总投球数进行计数。处理模块15然后可以基于两个计数来计算表现参数。作为示例，处理模块15可以通过将所命中的总投球数除以所投的总投球数计算所命中的投球百分比。

请注意，用户有时会在球没有直接进入篮筐的情况下实现投球命中。举一个例子，一个球可能击中篮筐并向上弹起，然后最终落入篮筐而实现投球命中。这种从篮筐向上弹出但最终穿过篮筐的投球在本文中被称为“非保证命中”。对于非保证命中，篮球有可能从篮筐中弹出几次最终穿过篮筐。对于其他投球，有时也称为“空心”投球，篮球会穿过篮筐而不接触篮筐。对于其他投球，当篮球向下穿过篮筐时，篮球可能会接触篮筐，而不会沿向上方向从篮筐弹出。篮球通过篮筐而没有沿向上方向从篮筐弹出的投球在本文中被称为“有保证命中”。注意，有保证命中包括篮球不与篮筐接触的空心投篮，以及篮球在向下穿过篮筐的方向上接触篮筐，而不沿向上方向(即远离场地的地板)弹出篮筐的投篮。

据信，有保证命中的数量可能是比总命中投球数更好的技能水平指标。在这方面，有保证命中比例较高的球员往往是一个更稳定和更好的投手。此外，在任何给定的抽样期间，由于过度数量的非保证命中，较低技能的运动员可能看起来比他或她的实际技术水平更好，这相对于有保证命中具有不太可预测的结果。此外，有保证命中总数或基于有保证命中总数的参数可以构成由处理模块15计算的一个或多个表现参数。作为示例，处理模块15可以通过将采样期间内计入的有保证命中总数除以同一运动员在所述采样期间内尝试的总投球数来计算有保证命中的百分比。在其他实施例中，基于由处理模块15计数的有保证命中数的其他参数是可能的。

注意，基于有保证命中的数量或百分比的表现参数可以作为反馈被报告给用户。在一个实施例中，基于由处理模块15计数的有保证命中的表现参数被用于确定运动员的技能水平。在这方面，作为反馈的一部分，处理模块15可以为特定运动员提供技能水平评估。这种技能水平评估本质上可以是定性或定量的。作为示例，评估可以具有各种质量水平，例如“差”，“好”，“很好”和“专家级”，并且处理模块15可以使用采样期间的有保证命中的总数作为选择哪个级别适合运动员的至少一个因素。就这一点而言，根据用于选择技能水平的预定义算法，较高的有保证命中百分比通常导致选择较高技能水平。技能水平评估本质上也可以是定量的，例如从0到100(或某个其他范围)的分数。通常，当运动员获得有保证命中的比例较高时，运动员被赋予较高的分数，注意，所述分数也可以基于其他因素。无论如何，处理模块15在有保证命中和非有保证命中之间进行区分，并且最终至少基于在采样时段期间为运动员计数的有保证命中的数量为运动员分配技能等级评估。

如果需要，处理模块15可以将表示表现参数的数据存储在存储器36中，或者将该数据发送到另一个设备以进行存储或分析。如本文所述，可以在稍后分析这些数据以提供反馈，或者用于其他目的，例如提供关于比赛打法的信息。作为示例，可以将球的位置与与比赛场地相关联的对象(例如架子或边界)的位置进行比较，以确定球是否越过或到达对象。在其他实施例中，处理模块15处理的数据的各种其他用途是可能的。

在系统10在篮球中使用的一个示例中，处理模块15被配置为识别捕获的图像中的三分线。如本领域中已知的，三分线通常是从篮球场的底线延伸到罚球区的顶部并返回到底线的弧。处理模块15还识别在三分线附近投掷篮球的投手。例如，通过追踪运动员相对于篮球的位置，处理模块15可以确定运动员中的一个何时朝向篮筐投掷篮球。处理模块15被配置为识别这样的投手的脚并且确定他的两只脚是否在投篮得三分的三分区域中的三分线的一侧上(即，篮球场的在三分线和底线之间的区域之外的区域)。基于投手的脚和三分线的相对位置，处理模块15确定表示该投球是否是三分球的表现参数。如果他的脚的任何部分在三分线上或在三分线内，则处理模块15确定投手没有投出三分球。否则，处理模块15确定投手正在投三分球。在这样的实施例中，裁判或其他用户可利用指示表现参数的反馈来确定是否对于该篮球投篮裁定为三分。

在美式足球的情况下，足球的位置可以与诸如球门线的边界线相比较，以便确定足球的任何部分是否到达或穿过球门线。即，基于由感测系统12捕获的图像，处理模块15可以自动确定触地是否得分。在这样的实施例中，裁判或其他用户可以利用来自系统10的反馈来确定是否对到达或穿过球门线的足球奖励积分。在其他实施例中，可以基于对象与运动表面82上的标记的比较来作出其他决定。

注意，处理模块15可以经由物理连接(例如，导线)或无线地联接到感测系统12和/或输出设备17。在一个示例性实施例中，感测系统12安装在篮球架上，如将在下文中参照图3更详细描述的，并以无线方式将传感器数据发送至处理模块15，并且处理模块15可包括可与输出设备17集成在一起的计算机系统，例如台式计算机、膝上型计算机或手持式计算机。作为示例，智能手机或膝上型计算机上的软件应用可以实现在此描述的处理模块15的功能，处理模块15可以以硬件或者硬件、软件和固件的任何组合来实现。智能手机可具有用于实现输出设备17的触敏显示器或扬声器，以向运动员或其他用户提供视觉输出。在其他实施例中，处理模块15不必与输出设备17集成在一起。作为示例，输出设备17可以经由智能手机的显示屏幕或音频设备来实现，并且处理模块15可以将反馈信息无线发送到智能手机，该智能手机通过输出设备17向用户呈现反馈信息。在另一个实施例中，输出设备17可以是连接到处理模块15的外围设备。在其他实施例中，其他配置也是可能的。

图2描绘了可以由计算机系统实现的处理模块15的示例性实施例。就此而言，处理模块15包括用于总体控制处理模块15的控制逻辑33，如将在下文中更详细描述的。控制逻辑33可以用软件、硬件、固件或其任何组合来实现。在图2所示的示例性处理模块15中，控制逻辑33以软件实现并存储在存储器36中。

注意，当以软件实现时，控制逻辑33可以在任何计算机可读介质上存储和传输，以供可以获取并执行指令的指令执行装置使用或与其结合使用。在本文档的上下文中，“计算机可读介质”可以是能够包含或存储由指令执行装置使用或与其结合使用的计算机程序的任何装置。

由图2描述的示例性处理模块15可以包括至少一个常规处理元件38，例如数字信号处理器(DSP)或中央处理单元(CPU)，其经由本地接口41与模块15内的其他元件进行通信并且对其进行驱动，本地接口41可以至少包括一个总线。此外，处理模块15具有输入/输出(I/O)接口44，其可以联接到与模块15通信的设备(未示出)。作为示例，感测系统12和/或输出设备17可以经由物理连接而联接到I/O接口44。另外，处理模块15包括用于允许处理模块15无线地与感测系统12和/或输出设备17通信的无线接口47，诸如射频(RF)或蜂窝无线电或调制解调器。如图2所示，来自感测系统12的传感器数据48被存储在存储器36中并被控制逻辑33用来计算表现参数，如下面将更详细描述的。在示例性实施例中，传感器数据48包括来自相机(未在图2中示出)的图像数据49和来自深度传感器(图2中未示出)的深度图50，但是在其他实施例中可以使用其他类型的传感器数据48。

如果需要，感测系统12(图1)可以包括用于辅助处理模块15的操作和算法的任何传感器。作为示例，可以使用加速度计或其他类型的运动传感器来提供关于感测系统12或感测系统12的部件(诸如相机51)的移动的输入。另外，可使用诸如倾斜传感器或陀螺仪的一个或多个定向传感器来提供关于感测系统12或感测系统12的部件(诸如相机51)的取向的信息。控制逻辑33可以使用已知的算法，以基于加速度计读数或来自运动传感器、方位传感器或其他类型的传感器的其他类型的读数来确定重力方向。如下面将更详细描述的那样，控制逻辑33可以基于一个或多个加速度计或其他类型的传感器来确定重力的方向并且使用该信息来辅助其操作。

各种类型的感测系统12可被用于感测被监测的对象。在一个示例性实施例中，如图1所示，感测系统12包括相机51和深度传感器52。相机51被配置成捕获包括被监视对象的图像的运动场地的视频图像并提供定义所捕获图像的帧的图像数据49。在一个实施例中，图像是二维的，并且深度传感器52用于感测深度或者换句话说从传感器52到图像中的对象的距离。就此而言，对于图像数据49的每帧，深度传感器52提供指示图像帧的每个像素的相应深度的深度图。注意，深度传感器52可被定向为使得由深度传感器52测量的距离处于基本垂直于相机51所使用的2D坐标系的平面的方向上，尽管在其他实施例中深度传感器52的其他取向是可能的。

可使用各种类型的相机51和深度传感器52来实现感测系统12。在一个示例性实施例中，感测系统12使用微软公司出售的

相机系统来实现。在这样的系统中，相机51和深度传感器52被集成到相同的外壳55(图3)中。相机52被配置为捕获包括视频数据帧的视频流，其中每个帧由多个像素定义。每个像素都与两个坐标相关联，即x坐标和y坐标，表示二维空间中的位置。对于每个帧，向每个像素被分配指示由相机从对应于像素坐标的二维空间中的位置接收的光的颜色的颜色值(其可以包括红色分量(R)值、蓝色分量(B)值和绿色分量(G)值)。此外，对于每个像素，深度传感器52测量从传感器52到在2D空间中的像素的对应位置处的现实世界对象的距离。这种距离(如上所述，其可以处于基本垂直于相机51所使用的2D坐标系的平面的方向上)可以被称为相应像素的“深度”。使用来自相机51的图像数据和来自深度传感器52的深度数据，可以在3D空间中确定由相机51捕获的对象的位置。也就是说，对于对象上的一个点，来自相机51提供的图像数据的x坐标和y坐标指示其沿着两个轴(例如，x轴和y轴)的位置，并且来自深度传感器的该点的深度值可被称为“z坐标”，指示其沿着第三轴(例如，z轴)的位置。值得注意的是，三个轴定义的坐标系与重力无关。也就是说，取决于系统12的取向，重力可以相对于坐标系的轴线处于任何方向。因此，除非执行校准过程，否则重力相对于坐标系的方向是未知的。

在

相机系统中，深度传感器52包括波发射器63(例如，红外激光投影仪或其他类型的发射器)以及用于感测由发射器63发射的能量的反射的传感器64。发射器63将各种波长的红外辐射发射到自由空间中，尽管在其他实施例中可以发射在红外光谱之外的其它波长(例如，可见光)的辐射，并且传感器64感测反射的能量以捕获包括视频数据帧的视频流。来自传感器52的深度数据的每个帧对应于来自相机51的图像数据的相应帧。另外，一帧深度数据中的像素对应于(例如，具有相同的x坐标和y坐标)来自相机51的图像数据中的至少一个对应像素，并且指示来自相机51的图像数据中的所述至少一个对应像素的深度。

在这点上，对于由深度传感器52捕获的视频数据帧，深度传感器52通过向每个像素分配代表像素的深度的新颜色值(在此称为“深度值”)将该帧转换为深度图50。因此，当显示深度图50时，在图像内显示为相同颜色的对象应该与深度传感器52相距大致相同的距离，注意在操作过程中实际显示深度图50通常是不必要的。

如上所述，来自相机51的图像数据49的给定像素与指示2D空间中的像素位置的x坐标和y坐标相关联，并且该像素与来自由深度传感器52提供的指示像素的z坐标的深度图50中的对应像素的深度值相关联。x坐标、y坐标和z坐标的组合定义了像素在3D空间中相对于相机51的坐标系的位置。也就是说，x坐标、y坐标和z坐标定义了这样一个点的位置，在该位置处，对该像素测量的光从所述对象朝向相机51反射。

在相机51的坐标系中重力方向未知的事实在感测系统12的许多应用中不是缺点。然而，当感测系统12被用于估计对象在自由飞行中的轨迹，如本文所述，为了便于估计对象轨迹的过程，重力方向相对于对象位置的知识是需要的。

在一个示例性实施例中，控制逻辑33被配置为自动确定相对于由传感器数据48指示的位置的重力方向，以便将数据的坐标系转换成基于重力的坐标系。如在此使用的，“基于重力的”坐标系是这样的坐标系：对于该坐标系在重力方向和坐标系的轴之间存在已知的关系，使得相对于由坐标系指示的任何点，重力方向可以被确定。作为示例，可以定义基于重力的坐标系，使得重力的方向平行于坐标系的轴(例如，z轴)，尽管重力方向和坐标系的轴之间可能存在其他关系。

下面将更详细地描述用于将传感器数据48(例如图像数据49和深度图50)从相对于相机51的坐标系的格式转换成相对于基于重力的坐标系的格式的示例性技术。在一个实施例中，感测系统12被定位成使得相机51和深度传感器52具有包括进行体育活动的运动表面(例如场地或球场的表面)的运动场地的宽阔视野。例如，在篮球中，感测系统12可以被安装成使得相机51和深度传感器52定位在篮球架的篮筐的上方能够观看到篮筐和篮球场的地板。图3描绘了其中感测系统12安装在篮球架77的篮筐71和篮板73上方的示例性实施例。作为示例，包括篮板73和篮筐71的篮球架77可以安装在一个或多个杆79，所述杆从建筑物的天花板或墙壁或其他结构延伸，并且感测系统12(包括相机51和深度传感器52)可以安装在篮板73上方的至少一个这种杆79上。如图3所示，篮筐由支架83联接到篮板73，并且网状物84可联接到篮筐71并从环篮筐71悬挂。

此外，感测系统12可被定向为使得相机51和深度传感器52具有向下视图，该向下视图包括篮筐71和运动表面82的至少一部分(在当前例子中其是篮球场的地面)。当感测系统12如此定向时，相机51和深度传感器52捕获运动场地内的运动表面82和诸如篮球架77之类的其它对象的图像，如图7的框202所示。

图4示出了在这样的实施例中可由深度传感器52捕获的示例性深度图图像。在图4所示的深度图图像中，如由深度传感器52所确定的，基于深度对像素着色。在这方面，像素的颜色在深度图50中越深，像素的深度值越小。因此，与距离深度传感器52较近的对象相对应的像素相对于与远离深度传感器52的对象相对应的像素呈现较暗的颜色。作为示例，因为篮筐71和篮板73相对于运动表面82更靠近深度传感器52中，限定篮筐71和篮板73的图像的像素比限定运动表面82的图像的像素着色得更深。

在一个示例性实施例中，控制逻辑33分析深度图50以便识别深度图50的图像内的运动表面(PS)平面，如图7的框205所示。PS平面通常是指平行于其上进行体育活动的运动表面82(例如球场或场地的表面)的平面。在这方面，体育活动通常在具有相对平坦表面的宽敞开放空间中进行，如场地或球场。因此，深度图中的大量像素应该对应于运动表面82，并因此处于同一平面内。例如，当感测系统12被安装在运动表面上方高处时，图像的大部分可以对应于运动表面，并且与运动表面对应的像素可以具有在相对窄的颜色范围内的颜色值。而且，控制逻辑33被配置为分析深度图50以识别平面。也就是说，控制逻辑33被配置为识别处于同一平面内的至少一组深度像素。当感测系统12安装在比赛场地上方高处时，可以通过找出具有相似颜色值的深度接近的像素组来识别平面。然而，在其他实施例中可以使用其他技术。作为示例，可以基于深度像素来分析相机51的视图内的对象的表面几何形状，以便识别处于相同平面内的深度像素。因此，同一平面中的像素不必具有相似的深度以便处于相同的平面中。

作为示例，在排球比赛中，一个或多个感测系统12可安装在排球场的一侧或多侧上，使得感测系统12位于排球场的网的下方。在这样的实施例中，排球场的地板的视图可以比垂直透视更接近水平透视，使得对应于排球场的地板的深度像素可以在地板远离感测系统12延伸时具有显著不同的深度值。

一些对象，诸如球门77的一些部分，可以具有从深度传感器52的角度来看是平坦的表面，但是在深度传感器52的视角内球门77的平坦表面的尺寸很可能是远小于运动表面82的尺寸。对于定义平面的每组深度像素，控制逻辑33可以确定所述平面内的深度像素的总数并将该数量与阈值进行比较。如果该数目低于该阈值，则控制逻辑33可以确定该像素组不与运动表面82相对应。也就是说，由像素组表示的平面的尺寸太小而不能代表运动表面。在同一平面内具有高于阈值的最大数目的深度像素的像素组可由控制逻辑33识别为对应于运动表面82的像素组，在下文中称为“地板(FP)像素组”。

注意，可以使用各种传感器来帮助识别限定PS平面的FP像素组。作为示例，如上所述，可以使用一个或多个加速度计或其他类型的传感器来确定重力的近似方向，并且可以使用这样的信息来过滤由控制逻辑33识别的各个平面，以消除不在前述传感器所确定的重力方向的预定范围内的平面。作为示例，如由一个或多个加速度计或其他传感器所确定的那样，仅限定基本上垂直于重力方向的平面的像素组有资格被选择为FP像素组。一旦FP像素组被识别，根据本文描述的技术，其可用于对重力方向进行更精确的测量。

由于深度传感器52估计像素深度时的误差或其他因素(例如运动表面的曲面，如果有的话)，FP像素组在一些情况下可能不定义完美平面。控制逻辑33被配置为对FP像素组执行数学平滑操作，以便移除远离FP像素组的异常值，如图7的框208所示。在一个示例性实施例中，使用随机采样一致性来实现数学平滑操作，但是在其他实施例中可以使用其他类型的平滑操作。

除了平滑操作之外，控制逻辑33还执行本文称为“地板差异”的算法，以试图去除PS平面之外但比通过平滑操作去除的异常值更靠近PS平面的深度像素，如图7的框211所示。在这点上，在执行平滑操作之后，控制逻辑33分析FP像素组以便估计PS平面的初始位置和取向，这被称为“初始PS平面”。控制逻辑33然后将FP像素组的每个深度像素与由控制逻辑33识别的初始PS平面进行比较。作为示例，控制逻辑33可以确定(1)由深度像素指示的深度与(2)初始PS平面上与所述深度像素所指示的深度最接近的点的深度。如果差值大于预定义的阈值(TH)，则控制逻辑33从FP像素组中去除所述深度像素。因此，通过执行地板差异，从FP像素组中移除与距初始PS平面的距离大于阈值距离的位置相关联的深度像素。

在执行地板差异之后，控制逻辑33再次分析FP像素组以便估计由修改的FP像素组指示的PS平面的位置和取向，由此识别将用于将传感器数据48转换成相对于基于重力的坐标系的格式转换的PS平面。就此而言，控制逻辑33可以确定重力方向垂直于该识别的PS平面，如图7的框214所示。

在传感器数据48被转换之前，控制逻辑33被配置为选择基于重力的坐标系的原点并且定义三个轴：x轴，y轴和z轴。这些轴相互垂直，并且每个轴都被定义为穿过原点。在一个实施例中，x轴和y轴被限定为平行于所识别的PS平面，并且z轴被限定为垂直于PS平面并且因此平行于重力方向。在其他实施例中，轴线相对于重力方向和PS平面的其他取向是可能的。

为了促进表现参数的计算，控制逻辑33被配置为定义基于重力的坐标系和体育运动环境之间的关系。作为例子，为了确定篮球进入篮筐71的角度，控制逻辑33应当知道当篮球沿着轨迹行进时篮球相对于篮筐71的位置。这可以通过确定基于重力的坐标系中的至少一个参考点(例如原点)与体育运动环境中的至少一个参考点之间的关系来实现。通过这样做，可以自动确定感测系统12感测的诸如运动员或篮球之类的任何对象相对于比赛环境中的其他对象(诸如篮筐71)的位置。

注意，比赛环境中的任何点都可以用作基于重力的坐标系的参考。作为例子，在图像数据49内，可以识别篮球场的地板上的边界线或其他球场标记，并且使用所识别的标记来使基于重力的坐标系把比赛环境作为基准。但是，标记的类型或样式可能因球场而异。另一方面，篮球篮筐71通常具有一致的尺寸和形状，从而便于识别由感测系统12提供的图像内的篮筐71。

控制逻辑33被配置成识别由感测系统12提供的图像中的参考对象(例如，篮球篮筐71)并基于所识别的对象参考基于重力的坐标系，如图7的框215所示的。在一个示例性实施例中，控制逻辑33被配置成将篮球篮筐71定位在图像中并且限定基于重力的坐标系，使得其原点位于该篮筐71的中心处。值得注意的是，篮筐71的平面应该与由控制逻辑33识别的PS平面平行。由于x轴和y轴被定义为平行于PS平面，所以当原点定位在篮筐71的中心时x轴和y轴应当在篮球篮筐71的平面内。此外，当原点如此定义时，z轴在平行于重力的方向上穿过篮筐71的中心。

为了便于感测系统12的安装，感测系统12可安装在运动表面82和篮筐71上方的任何高度处。在不知道篮筐71距深度传感器52的距离的情况下，控制器逻辑33被配置为分析来自深度传感器52的深度图50以估计该距离。在估计该距离之前，控制逻辑33首先将篮球篮筐71定位在该图像内。下面将更详细地描述用于识别篮筐71的示例性技术。

在一个示例性实施例中，控制逻辑33被配置为识别像素组，其在下文中被称为“篮球架(BG)像素组”，其不包括对应于运动表面82的像素，从而从BG像素组去除大量像素。作为示例，控制逻辑33可以在深度图50的所有深度像素上执行类似于上述地板差异算法的算法。然而，控制逻辑33改为除去距PS平面小于阈值距离的深度像素并且保持距PS平面大于阈值距离的深度像素，而不是除去距PS平面大于阈值(TH)距离的深度像素。

图5示出了为了去除对应于PS平面的深度像素而已经执行了地板差异之后的示例性深度图图像。如图5所示，深度图图像包括篮筐71的图像101、联接到篮筐71的网84的图像102、安装篮筐71的篮板73的图像103以及用于将篮筐71联接到篮板73的支架83的图像104。从架77上方的视图可以看出，支架83可以看起来基本上是矩形的，如图5所示，尽管其他形状也是可能的。

控制逻辑33在深度图图像中搜索圆环的图像以便识别篮筐图像101。当找到篮筐图像101时，控制逻辑33确定篮筐图像101的大小(例如直径)。可以使用各种技术来确定篮筐图像101的大小。在一个示例性实施例中，控制逻辑33在篮筐图像101上叠加可缩放篮筐模板111，如图6所示(注意模板111在图6中显示为红色)。调整篮筐图像111的直径以便使篮筐图像101中由篮筐模板111覆盖的像素的数量最大化。由于篮筐71的实际直径是已知的(对于标准尺寸篮筐大约为18英寸)，可以基于模板111的直径计算深度传感器52距环篮筐71的距离。

控制逻辑33可以使用篮筐图像101中的篮筐直径来校准轨迹计算以说明感测系统12的位置。在这方面，对于准确的轨迹计算，控制逻辑33应该意识到缩放因子用于将图像中的距离与现实世界中的物理距离相关联。作为一个例子，捕获图像中半英寸的距离可以代表现实世界中几英尺的距离(或某个其他距离)。现实世界维度和捕获图像内的维度之间的缩放因子通常基于若干因素，包括感测系统12相对于出现在图像中的对象的位置以及用于捕获图像的相机的变焦或放大率。在一个示例性实施例中，控制逻辑33基于篮筐图像101确定捕获到的图像中的距离如何与现实世界距离相关或缩放。就此而言，如上所述，现实世界篮筐的直径通常在各架上是相同的(即大约18英寸)。因此，基于图像101中的篮筐的直径，控制逻辑33可以确定用于将捕获图像中的距离转换成现实世界距离的适当的缩放因子。在其他实施例中，可以使用具有已知尺寸的其他类型的对象来代替篮筐。举例来说，某些球场标记(例如罚球线的长度)可能是已知的，并且这种球场标记的图像可以用来确定适当的缩放因子。而且，从篮筐71到运动表面82的距离通常是已知的，并且可以用作确定比例因子的参考。在其他实施例中，还可以使用其他类型的对象和尺度来确定适当的缩放因子。

另外，控制逻辑33还被配置为基于传感器数据48的图像来定向基于重力的坐标系，如图7的框217所示。为了在一个实施例中实现这一点，控制逻辑33被配置为识别BG像素组中的支架83的图像。如图5所示，除了支架图像104所在的区域之外，篮筐图像101周围的区域应当基本上没有深度像素，这是由于上述的地板差异造成的。因此，即使对于不同形状和配置的支架83，寻找支架图像104的过程应该相对简单且可靠。在识别了支架图像104之后，控制逻辑33被配置为基于支架图像104相对于篮筐图像101的位置来定向基于重力的坐标系的轴线。作为示例，控制逻辑33可以定义其中一个轴线(例如，x轴线)使得其穿过篮筐71的中心和支架83的中心。

在定向基于重力的坐标系之后，控制逻辑33被配置为将图像数据49和深度图50从相对于相机51的坐标系的格式转换为相对于基于重力的坐标系的格式，如图7的框222所示。因此，图像数据的像素坐标被转换为相对于基于重力的坐标系的原点而不是相机坐标系的原点。应该注意的是，在阅读本公开后，对图7的各种改变和修改对于普通技术人员来说是显而易见的。此外，图7的步骤中的任何一个都可以省略和/或可以根据需要重新排列任何步骤的顺序。

由于感测系统12与基于重力的系统的原点之间的距离是已知的，所以可以计算图像数据49中的任何对象相对于篮筐71或比赛环境中的其它对象的位置。作为一个示例，篮球的轨迹可以与篮筐71的位置相比较，以便确定篮球进入篮筐的角度。在另一个示例中，通过得知篮筐71相对于感测系统12的位置，可以确定图像内的特定球场标记的位置，例如罚球线，因为标准篮球场的标记应该与篮筐71相距预定距离和方向。因此，可以确定对象相对于罚球线位置的位置。例如，控制逻辑33可以在球员向篮筐71发射篮球时，根据从图像数据确定的球员相对于罚球线的位置，确定球员正在进行罚球。

应该注意的是，上述用于校准基于重力的坐标系和将传感器数据48转换成相对于基于重力的坐标系的格式的示例性过程可以自动且高效地执行，而无需任何人为干预并且相对于可能存在的用于校准坐标系的其他技术没有显著的处理负担。因此，该过程可以在操作期间尽可能多地重复。例如，如果感测系统12被篮球撞击致使相机51和传感器52移动，则可以根据本文所述的技术自动且快速地重新校准基于重力的坐标系。

另外，在上述几个示例中，假设重力方向垂直于由控制逻辑33识别的PS平面。然而，相对于所识别的PS平面的其他重力方向是可能的。举例来说，某些运动表面可能由于各种原因而倾斜，例如便于从表面排水。例如，一个足球场通常在场地中间有一个“冠”，当靠近边线时，场地离开冠顶向下倾斜。因此，场地的靠近边线的部分可以倾斜，使得重力的方向相对于场地的倾斜区域中的表面倾斜。在某些情况下，表面的斜度可能在更接近边线时增加。

在一个示例性实施例中，控制逻辑33被配置为在确定重力方向时考虑倾斜表面。请注意，有各种技术可用于说明表面的斜度。作为示例，处理模块15可以存储数据，这里称为“表面数据252”(图2)，表示在一个或多个点处的运动表面的斜度。例如，对于运动表面上的多个位置中的每一个，表面数据252可以具有指示表面倾斜的程度的值，诸如指示在这样的位置重力方向相对于运动表面的角度。这样的数据可以在处理模块15的正常操作之前被预定义并且被存储在存储器36中。作为示例，在校准过程期间，可以用相机51和深度传感器52来捕获运动表面的至少一个图像，并且该图像可以由控制逻辑33分析或以其他方式确定在各个位置处的运动表面的斜度。就此而言，如上所述，来自深度传感器52的深度图50的深度像素可以与来自相机51的图像数据49的像素相关，并且由深度像素指示的深度可以用于计算在由相机51捕获的图像中的不同位置处的运动表面的斜度。也就是说，控制逻辑33在校准过程中有效地映射运动表面，以便由数据252指示不同位置处的运动表面的斜度(相对于重力)。在该校准过程中，可以基于手动输入(例如，用户可以提供指示图像内的重力方向的输入)或通过在图像内找到已知方位的对象来确定重力方向，如上面针对篮球篮筐所描述的。在其他实施例中，如上所述，感测系统12可具有可用于感测重力方向的传感器，诸如加速计或其他类型的传感器。

在一个示例性实施例中，感测系统12联接到飞行器255，如图8所示，以便执行上面描述的校准过程，其中运动表面被映射以确定其表面拓扑。飞行器255可以包括无人飞行器或其他类型的航空器，其在运动表面上方飞行，允许相机51和深度传感器52在飞行器255飞行时捕获运动表面的图像。如果需要，飞行器255可联接到将飞行器255保持在空气中和/或在飞行器255移动时引导飞行器255的绳索。在其他实施例中，飞行器255可以不受限制，使得其可以在飞行员或遥控器的指导下自由飞行。在这样的实施例中，相机51从运动表面82上方的位置捕获运动表面82的图像，并且深度传感器52测量距运动表面的深度或距离。由相机51捕获的图像的每个像素与表示从像素表示的表面点到感测系统12的距离的深度值相关联。基于这样的深度值，表面在各个位置处的斜度可以被计算并存储在表面数据252中以便稍后用于确定重力方向，如上所述。

在上述校准过程之后的操作期间，控制逻辑33可以被配置为在作出关于重力方向的决定之前确定图像内的运动表面的位置。作为示例，对于给定的深度图50，控制逻辑33可以分析对应的一组图像数据49以确定由该组图像数据49定义的图像内的运动表面的相对位置。作为示例，基于在图像内的边界标记(例如足球场边线)上，控制逻辑33可以确定图像内的运动表面的位置靠近运动表面显著倾斜的边线。基于表面数据252，控制逻辑33确定在这样的位置处的表面坡度的程度，并基于该坡度计算或以其他方式确定重力的方向。具体而言，控制逻辑33通过基于表面数据252分配在所识别的位置处相对于运动表面成倾斜角度的重力方向来考虑该斜度。因此，即使由控制逻辑33使用的图像是运动表面的倾斜区域，由逻辑33确定的重力方向也应该是精确的。

注意，联接到飞行器255的感测系统12可以以上述方式使用，以便根据上述技术监测运动表面上的运动员。上述用于基于由相机51和深度传感器52捕获的图像确定重力方向的算法对于这样的实施例可能是特别有用的。就此而言，当飞行器255正在飞行时，感测系统12相对于重力的取向可能频繁且突然地改变。用于基于相机51和深度传感器52确定重力方向的算法会重复且频繁地执行(诸如每秒多次)，同时消耗相对低的处理资源量，但仍然提供非常精确的重力方向估计。这些特性在各种其他应用中可能是有益的。

在计算移动对象的轨迹时，通常可以假设由重力施加在这种对象上的力是恒定的。但是，这种力的量值一般随海拔高度而变化。例如，对于发生在山区的事件相对于接近海平面发生的事件，重力的量值略有不同。在一个示例性实施例中，处理模块15被配置为在执行轨迹计算时考虑海拔高度的变化。

就此而言，处理模块15被配置为存储指示各种海拔高度的重力量值的重力数据352(图2)。另外，在操作期间，控制逻辑33被配置为确定处理模块15正在监视的事件的大致海拔高度。作为示例，用户可以简单地通过处理模块15的输入设备(未示出)输入事件的海拔高度，输入设备诸如键盘、小键盘或鼠标，或者处理模块15可以经由无线通信接口47无线地接收这种信息。可替代地，感测系统12可以具有传感器(未示出)，例如作为海拔高度计或位置传感器(例如，GPS传感器)，其可以用于自动确定系统10的至少一个部件的近似海拔高度，并且因此确定系统10所处的事件的近似海拔高度。在其他实施例中，用于确定海拔高度的其他技术是可能的。

在确定海拔高度之后，控制逻辑3被配置为查阅重力数据352以确定要用于轨迹计算的重力的量值。作为示例，数据352可以被实现为海拔高度值和重力值的表格，并且控制逻辑33可以使用从感测系统12接收到的或者由控制逻辑33以其他方式获得的海拔高度值作为用于查找用于轨迹计算的适当的重力值的关键词。在其他实施例中，控制逻辑33可以被配置成基于所确定的海拔高度在算法上计算适当的重力值。在其他实施例中，用于确定用于轨迹计算的合适的重力值的其他技术也是可能的。通过基于被监测事件的实际海拔高度确定重力值，可以实现更准确的轨迹计算，从而改善系统10的性能。

以上在篮球背景下描述了监控系统10的各种实施例。应该强调的是，其他运动中可以使用类似的技术来定义基于重力的坐标系并将传感器数据转换为相对于基于重力的坐标系的格式。作为示例，对于足球，感测系统12可被定位成使得足球场的门柱和表面在视野内。使用类似于上述用于篮球的技术的技术，可以识别对应于足球场表面的表面平面并将其用于确定重力方向。此外，门柱的形状可用于相对于足球场的边界和标记定向基于重力的坐标系。曲棍球的门可以类似地用于定向基于重力的坐标系。在其他运动中可以使用类似的技术来定义和定向基于重力的坐标系。

另外，本文描述的技术可用于监视不一定在自由飞行中的对象。例如，重力对沿着倾斜表面滚动的球有重大影响，例如高尔夫球沿着波状的绿地滚动。这里描述的用于定义基于重力的坐标系和跟踪对象的轨迹的技术在这样的应用中可能是有用的。

Claims (28)

1.一种用于监视运动场地中的对象的系统，包括：

定位成捕获运动场地中的对象的图像的相机，其中所述相机被配置为提供定义所捕获的图像的帧的图像数据，并且其中所述图像数据是相对于第一坐标系的格式；

深度传感器，所述深度传感器被定位成感测所述运动场地中的对象的深度，其中对于所述帧中的一个，所述深度传感器被配置为提供具有与所述一个帧的多个图像像素对应的多个深度像素的深度图，以及其中所述深度像素中的每一个指示所述一个帧的至少一个对应图像像素的感测深度；以及

处理模块，其被配置以识别由所述深度像素定义的运动表面平面且基于所识别的运动表面平面确定所述一个帧的重力方向，所述处理模块进一步被配置以基于所述图像数据和所确定的重力方向计算至少一个表现参数，其中所述运动表面平面对应于运动员在体育事件期间参与的运动场地的运动表面。

2.根据权利要求1所述的系统，其中所述相机和深度传感器安装在用于支撑篮球架的臂上。

3.根据权利要求1所述的系统，其中所述相机和所述深度传感器被联接到飞行器。

4.根据权利要求1所述的系统，其中所述运动表面是篮球场的地板。

5.根据权利要求1所述的系统，还包括加速计，其中处理模块被配置为基于所述加速计和所识别的运动表面平面来确定重力方向。

6.根据权利要求1所述的系统，其中控制逻辑被配置为接收指示所述运动场地的海拔高度的值并基于所述海拔高度确定重力的量值，并且其中所述控制逻辑被配置为计算基于所确定的量值确定至少一个表现参数。

7.根据权利要求1所述的系统，还包括通信地联接到所述处理模块的输出设备，所述输出设备被配置为基于所述表现参数提供输出。

8.根据权利要求7所述的系统，其中所述输出设备被配置为无线地与所述处理模块通信。

9.根据权利要求7所述的系统，其中所述输出设备被配置为显示所述表现参数。

10.根据权利要求1所述的系统，其中所述处理模块被配置为基于所确定的重力方向将所述图像数据转换为相对于基于重力的坐标系的格式。

11.根据权利要求10所述的系统，其中所述处理模块被配置成识别所述深度图中的篮筐的图像并且基于所识别的篮筐来定向所述基于重力的坐标系。

12.根据权利要求11所述的系统，其中所述处理模块被配置为基于所述深度图中的所述篮筐的图像的大小来确定从所述深度传感器到所述篮筐的距离。

13.根据权利要求1所述的系统，其中所述处理模块被配置为在朝向篮球架投出所述篮球的期间追踪篮球的轨迹。

14.根据权利要求13所述的系统，其中所述处理模块被配置为基于所述图像数据和所述深度传感器的深度数据来确定所述篮球在沿着所述轨迹的多个点处的三维空间中的位置，并且其中，所述处理模块被配置为基于所确定的位置和所确定的重力方向定义篮球的轨迹曲线。

15.根据权利要求1所述的系统，其中所述处理模块被配置成考虑所述运动表面的斜度，使得所确定的重力方向相对于所述运动表面平面成倾斜角度。

16.根据权利要求15所述的系统，其中所述处理模块被配置以存储指示所述运动表面的表面拓扑的表面数据，且其中所述处理模块被配置以基于所述表面数据确定重力方向。

17.一种用于监测运动场地中的对象的方法，包括：

利用相机捕获运动场地中的对象的图像，由此定义图像数据的帧，其中所述图像数据是相对于第一坐标系的格式；

用深度传感器感测运动场地中的对象的深度；

从所述深度传感器为至少一个所述帧提供深度图，其中所述深度图具有与该一帧的多个图像像素对应的多个深度像素，并且其中每个所述深度像素指示所述一个帧的至少一个对应的图像像素的感测深度；

利用处理模块识别由所述深度像素限定的运动表面平面，其中所述运动表面平面对应于运动表面，在该运动表面上运动员参与在所述运动场地中发生的体育事件；

基于所识别的运动表面平面利用所述处理模块为所述一个帧确定重力方向；以及

利用所述处理模块基于所述图像数据和确定的重力方向来计算至少一个表现参数。

18.根据权利要求17所述的方法，其中所述运动表面是篮球球场的地板。

19.根据权利要求17所述的方法，还包括基于所述表现参数用输出设备显示输出。

20.根据权利要求17所述的方法，其中所述确定重力方向基于加速度计和所识别的运动表面平面。

21.根据权利要求17所述的方法，还包括：

确定所述运动场地的海拔高度；以及

基于确定的海拔高度确定重力的量值，

其中所述计算基于所确定的量值。

22.根据权利要求17所述的方法，其进一步包括利用所述处理模块基于所确定的重力方向将所述图像数据转换成相对于基于重力的坐标系的格式。

23.根据权利要求22所述的方法，还包括：

利用所述处理模块识别所述深度图中篮筐的图像；以及

根据所识别的篮筐定向基于重力的坐标系。

24.根据权利要求23所述的方法，还包括基于所述深度图中的所述篮筐的图像的大小来确定从所述深度传感器到所述篮筐的距离。

25.根据权利要求17所述的方法，还包括利用所述处理模块在朝向篮球架投出篮球期间追踪篮球的轨迹。

26.根据权利要求25所述的方法，还包括：

利用所述处理模块基于所述图像数据和来自所述深度传感器的深度数据确定篮球在沿着所述轨迹的多个点处的三维空间中的位置；以及

利用所述处理模块基于确定的位置和确定的重力方向定义篮球的轨迹曲线。

27.根据权利要求17所述的方法，进一步包括利用所述处理模块来考虑所述运动表面的斜度，使得所确定的重力方向相对于所述运动表面平面成倾斜角度。

28.根据权利要求17所述的方法，进一步包括在存储器中存储指示所述运动表面的表面拓扑的表面数据，其中所述确定所述重力方向基于所述表面数据。

Images