CN110545885A - 用于确定运动球击打元件的撞击特性的系统和方法 - Google Patents

Abstract

一种方法，包括在来自图像中的第一图像和第二图像中识别物体击打元件上的第一点。所述第一图像和所述第二图像是在所述物体与所述元件撞击的预定时间跨度内捕获的，并确定撞击的撞击时间并且所述第一图像和/或所述第二图像中确定与所述物体在所述撞击时间的位置相对应的位置。基于所述第一点在所述第一图像和所述第二图像中的位置，在所述第一图像和/或所述第二图像中确定与所述第一点在所述撞击时间的位置相对应的位置。所述方法还包括确定从成像器到所述物体和所述元件彼此撞击的位置的距离，并确定所述物体相对于所述第一点的撞击位置。

Description

用于确定运动球击打元件的撞击特性的系统和方法

优先权声明

本申请要求于2017年12月22日提交的美国临时专利申请序列号62/609,867的优先权。上述申请的说明书通过引用并入本文。

背景技术

被击打物体的撞击特性可能对物体的飞行产生重大影响。例如，高尔夫球撞击高尔夫球杆的面的位置可能会严重影响高尔夫击球的结果。这样，关于高尔夫击球的撞击特性的信息对于高尔夫球手、高尔夫球教练、球杆装配工等是有价值的。其他撞击特性可包括由高尔夫球杆直至与球撞击的点的路径描述的三维方向，包括高尔夫球杆的攻角，以及刚好在与球撞击之前的高尔夫球杆的三维取向，包括诸如球杆面的面角、动态杆面角和动态杆身的特性。用于确定撞击特性的现有技术(诸如美国专利号8,951,138)要求在撞击时使用面向球杆面的多个相机、使用立体视觉技术来视觉观察球杆与球之间的撞击，以提取撞击特性。然而，由于用于此类系统的相机必须在高尔夫球手的前面(即，在即将来临的高尔夫击球的路径中)，因此相机有被被击打球击中的风险。此外，美国专利号8,951,138的系统要求将反射标记准确地放置在球杆面上，这是一个耗时且困难的过程，并且在打高尔夫球时可能会干扰高尔夫球手的正常运动，并且此外，所需的多个相机会增加系统的复杂性和成本。

发明内容

本发明涉及一种系统，所述系统使用新颖的方法来确定诸如运动球击打元件的物体击打元件的撞击特性。所述系统可包括单个成像器。成像器可以在视觉或非视觉波长区域中操作，并且可以通常为150至4000fps的已知帧速率进行操作。成像器可以是专用设备的一部分，也可以是来自智能电话或类似设备的相机。

在另一个实施例中，所述系统可以进一步包括另外的传感器，诸如另一个成像器、雷达或麦克风，以提高撞击特性确定的准确性。

本文描述的若干实施例不需要球击打元件或球的任何特殊标记，而是识别单独球击打元件上的通用固定点，诸如：高尔夫球杆的插鞘或趾部；棒球或板球拍的尖端或旋钮；网球、羽毛球、壁球或其他球拍的尖端或头部；或足球鞋的跟部和/或趾部。固定点的选择标准是：从成像器到要击打球的位置的宽视角范围和/或在球击打元件的运动期间的宽角度范围，可以在图像中清晰识别。固定线可以是例如高尔夫球杆、曲棍球棒或球拍的杆身。固定线的另一个示例是手柄位于其上的棒球或板球拍的中心线。固定线通常将是直线，但是，由于挥杆过程中球击打元件的角加速度，这些固定线在撞击时间前后可能会经历略微弯曲的形状，玩家通常会尝试使球击打元件的打算与球撞击的部分加速。

固定点还被选择成使得它们可以直接或容易地转移到球击打元件的用户友好坐标系中，诸如高尔夫球杆上的球杆面的中心。从例如高尔夫球杆的插鞘到球杆面的中心的这种转换通常将包括平移和旋转。转换所需的参数可以是预定的，也可以通过固定点和固定线跟踪来确定，也可以与假设(诸如球杆面中心位于高尔夫球杆的趾部和跟部之间的杆面中间)结合使用。

一种根据所公开的实施例的方法包括：在来自一系列图像的第一图像和第二图像中识别物体击打元件上的第一点，其中所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；确定所述物体与所述物体击打元件撞击的撞击时间；在所述第一图像和所述第二图像中的至少一者中确定与所述物体在所述撞击时间的位置相对应的位置；以及基于所述第一点在所述第一图像和所述第二图像中的位置，在所述第一图像和所述第二图像中的至少一者中确定与所述第一点在所述撞击时间的位置相对应的位置。所述方法还包括确定从成像器到所述物体和所述物体击打元件彼此撞击的位置的距离以及确定所述物体相对于所述第一点的撞击位置。

一种根据另一实施例的方法可包括：在来自一系列图像的第一图像和第二图像中识别物体击打元件上的第一点，其中所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；确定所述物体与所述物体击打元件撞击的撞击时间；以及确定在所述预定时间跨度期间从所述成像器到所述物体击打元件的距离的变化率。所述方法还包括确定从成像器到所述物体和所述物体击打元件彼此撞击的位置的距离以及确定在所述预定时间跨度期间所述物体击打元件的三维运动方向。

一种根据又一实施例的方法可包括：在来自一系列图像的至少第一图像和第二图像中识别物体击打元件上的第一线，其中所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；确定所述物体与所述物体击打元件撞击的撞击时间；以及确定在所述撞击时间时所述线的角度。

附图说明

图1示出了根据本发明的示例性实施例的用于确定撞击高尔夫球的高尔夫球杆的撞击特性的系统。

图2示出了根据本发明的示例性实施例的撞击高尔夫球的高尔夫球杆的第一后视图。

图3示出了根据本发明的示例性实施例的撞击高尔夫球的高尔夫球杆的第二后视图。

图4示出了根据本发明的示例性实施例的撞击棒球的棒球棍的视图。

图5示出了根据本发明的示例性实施例的撞击网球的网球拍的视图。

图6示出了本发明的实施例之一中需要的步骤的流程图。

图7A和图7B示出了根据本发明的示例性实施例的高尔夫球杆坐标系的视图。

图8A示出了根据本发明的示例性实施例的球击打元件的随时间推移的位置、距离或角度分量。

图8B示出了根据本发明的示例性实施例的球击打元件的随时间推移的速度分量。

图9A和图9B示出了根据本发明的示例性实施例的撞击高尔夫球的高尔夫球杆的后视图，其中检测到高尔夫球杆的杆身的偏转。

图10-1至图10-6示出了根据本发明的示例性实施例的撞击高尔夫球的高尔夫球杆的一系列图像。

具体实施方式

参考以下说明和相关附图，可以进一步理解示例性实施例，其中相似元件被设置有类似的附图标记。示例性实施例涉及一种用于确定被击打物体和物体击打元件(特别是被击打运动球和球击打元件)的撞击特性的系统和方法，例如，识别：球击打元件上的元件与运动球接触的位置；紧接在与运动球撞击之前和通过该撞击的运动球击打元件的三维路径；紧接在与运动球击打元件撞击之前和通过该撞击的球的路径等。在某些应用(诸如高尔夫)中，运动球在其被球击打元件撞击之前可能是静止的，而在其他应用(诸如棒球)中，球将在与球拍的撞击之前移动。尽管本文详细描述的各种示例性实施例描述了高尔夫球杆和高尔夫球的跟踪，但本领域技术人员将理解，可能以相同方式通过系统跟踪任何运动球和运动球击打元件，甚至是非运动相关的物体。

图1示出了根据示例性实施例的系统100，所述系统用于确定撞击高尔夫球110的高尔夫球杆120的撞击特性。系统100包括设备102，所述设备包括成像器108，所述成像器具有覆盖撞击区域(即，包围高尔夫球杆120和高尔夫球110之间的撞击预期发生的位置的区域)的视场(FoV)。成像器108在执行高尔夫击球期间的各个时间捕获一系列图像。图像在本文中称为帧。一系列图像可以包括示出高尔夫球杆120和高尔夫球110的位置的多个帧。例如，在时间(t-2)，高尔夫球杆120具有位置120(t-2)，并且高尔夫球110具有位置110(t-2)。类似地，在时间(t-1)，高尔夫球杆120具有位置120(t-1)，并且高尔夫球具有位置110(t-1)。时间(t0)是撞击时间。在本实施例中，撞击之前的高尔夫球的位置即110(t-2)、110(t-1)和撞击时的高尔夫球的位置即110(t0)是相同的。然而，在其他实施例中，物体可能在撞击之前移动。示例性实施例不要求在帧中捕获精确的撞击时刻(t0)。连续帧(例如在(t-2)处捕获的帧与在(t-1)处捕获的帧)之间的时间跨度与成像器108的帧速率相关。可以使用具有足够高的帧速率以在撞击之前和之后捕获高尔夫挥杆的多个帧的任何成像器108。例如，图10-1至图10-6示出了根据本发明的示例性实施例的撞击高尔夫球的高尔夫球杆的一系列图像。高尔夫击球的六个连续帧以6ms的时间增量示出，这与167fps的帧速率相关。

设备102还包括处理装置101，所述处理装置包括处理器和计算机可读存储器。处理装置101可以可选地包括用于发送和接收数据的收发器以及用于显示撞击特性的显示器。存储器可以存储由处理器执行的计算机可读指令。存储器还可以存储特定高尔夫球杆或高尔夫球杆类型(发球杆、3木杆、4铁杆、5铁杆等)的几何模型或参考图像，以及相对于球杆坐标系的固定点和固定线的位置，以及高尔夫球的几何模型或参考图像。在另外的实施例中，存储器可以存储一个或多个另外物体击打元件(球棍、球拍等)的几何模型或参考图像，以及相对于物体坐标系的固定点和固定线的位置，以及对应物体(棒球、网球)的几何模型或参考图像。处理装置在图1中被示为设备102的组成部分，然而，处理装置101可以不是设备102的组成部分，并且可以代替地是经由适当的有线或无线接口连接到成像器108的计算机。可选地，设备102可以包括雷达发射器104和一个或多个雷达接收器106。雷达可以用于增加整个系统的准确性和鲁棒性，这将在下面进一步详细描述。设备102还可包括麦克风(图1中未示出)和/或其他传感器，诸如一个或多个附加成像器。附加成像器可以与成像器108一起使用，以便通过在不同的成像器设置下操作或通过使用除成像器108使用的波长以外的其他波长来增加系统100的可靠性。还可以使用立体视觉技术来处理由其他成像器捕获的图像，以识别和跟踪固定点和固定线。在优选实施例中，设备102被放置在被击打的高尔夫球110的预期目标线的后面，从而确保高尔夫球杆移动和球路径109都将尽可能多地出现在成像器的FoV中，同时确保设备102没有被脱靶高尔夫击球撞击的危险。也可以使用设备102的其他位置。实际上，可以使用针对设备102的任何位置，只要在高尔夫球杆120和高尔夫球110的撞击时间附近捕获到足够数量的描绘高尔夫球杆120和高尔夫球110的移动的帧即可。

图2示出了根据本发明的示例性实施例的撞击高尔夫球110的高尔夫球杆120的后视图。所描绘的后视图可以是来自成像器108的图像。应当理解，成像器108可以捕获一系列图像，包括撞击之前和撞击之后的图像。在优选实施例中，球击打元件的固定线126可以被识别为例如如图2所示的高尔夫球杆120的杆身128的底部部分的中心线。然而，所识别的固定线可以取决于球击打元件的形状而变化。除了固定线之外，在固定点121-125可见的一系列图像的每个图像中，还识别了高尔夫球杆120的头部112上的各种固定点121-125。并非所有固定点121-125都可在每个图像中清晰可见。例如，如从成像器108看，球杆头部112的底部可能被草覆盖，这将使固定点122、123和125的检测变得困难。还在一系列图像的至少一部分中确定高尔夫球110的位置。在撞击前(例如，在时间t-1时)的至少一个图像以及在撞击后(例如，在时间t1)的至少一个图像中确定高尔夫球110的位置。高尔夫球110在撞击时(t0)的位置在图2中被示为110(t0)，并且在撞击后的时间点t1、t2的位置被示为110(t1)和110(t2)。

图3示出了根据本发明的示例性实施例的撞击高尔夫球110的高尔夫球杆120的第二后视图300。在图3中，标记127已经放置在高尔夫杆身上。可以采用可选的标记127来促进在帧序列的每个帧中或增加数量的帧中检测该点。标记127可以用于检查确定其他固定点121-125或固定线126中的任何一者的准确性，如将在下面相对于图6更详细地解释的。

图4示出了根据本发明的示例性实施例的撞击棒球130的棒球棍140的视图400。所描绘的视图可以是来自成像器108的图像。类似于图2至图3中描述的实施例，可以识别棒球棍140的固定线以测量棒球挥杆的撞击特性。与上述示例中的高尔夫球杆相反，可以选择棒球棍140的固定线145作为棒球棍的中心线-即，球棍140的纵向轴线。棒球棍通常具有旋转对称的形状，因此即使不知道具体的球棍类型或型号，通常也相对容易识别球棍的纵向轴线。棒球棍140的固定点可以例如是球棍的最远离手柄的尖端141和在球棍的手柄处的旋钮142。这些固定点可以用于在多个时间的图像中可靠地确定球棍位置，例如140(t-1)、140(t0)等。以类似的方式，可以在撞击之前的时间(例如，130(t-2)、130(t-1))和撞击之后的时间(例如130(t1)、130(t2))都检测网球130。尽管在撞击时的球位置130(t0)可能未在图像中精确示出，或者它可能被棒球棍或挥动棒球棍的球员遮挡，但通过使用在撞击之前和之后的球检测，可以确定撞击时的球位置130(t0)。

图5示出了根据本发明的示例性实施例的撞击网球150的网球拍160的视图500。所描绘的视图可以是来自成像器108的图像。类似于图2至图4中描述的实施例，可以确定网球拍160的固定线以便测量网球拍挥杆的撞击特性。然而，网球拍160的固定线165可以是网球拍杆164和手柄的中心线。网球拍160的固定点可以是球拍手柄的底部162、在手柄和球拍头部的交点处的喉部163、以及球拍的头部166的尖端161。此外，可以确定球拍头部166的框架的全部或一部分。使用这些固定点和固定线中的一者或多者，设备102能够在多个时间的图像中可靠地确定球拍的位置(例如，160(t-1)、160(t0))。以类似的方式，可以在撞击之前的时间(例如，150(t-2)、150(t-1))和撞击之后的时间(例如150(t1)、150(t2))都检测网球150。在撞击时的击球位置150(t0)可能在图像中不存在，或可能被网球拍或网球运动员遮挡。然而，通过使用撞击之前和之后的球检测以及在这些位置之间进行插值，可以确定撞击时的球位置150(t0)。

图6示出了根据本发明示例性实施例的用于确定球与球击打元件的撞击特性的方法600。在图6中，示出了本发明的优选步骤。下面将对图6中的每个步骤进行更详细的描述。

在步骤605中，处理器101以给定帧速率从成像器108接收一系列图像。一系列图像描绘了物体和物体击打元件，例如运动球和球击打元件，在该示例中是高尔夫球和高尔夫球杆。成像器108捕获帧的帧速率取决于所使用的成像器，并且可以是可配置的。可以使用具有足够高的帧速率以在撞击之前和之后捕获高尔夫挥杆的多个帧的任何成像器108。在示例性实施例中，在撞击的预定时间跨度内捕获图像。例如，可以从撞击之前50ms的时间到撞击之后50ms的时间捕获帧。优选地，可以从撞击之前25ms的时间到撞击之后25ms的时间捕获帧。

在步骤610中，在帧序列中识别固定点和固定线。图像中的固定点和固定线的识别可能以许多不同的方式来完成。在第一示例中，处理器101可以首先通过从当前帧中减去估计的背景图像以生成“运动图像”来检测相对于相邻帧的图像中的移动。可以在运动图像上执行各种平滑和滤波以使运动检测尽可能地鲁棒和准确。图像中的检测到的移动通常将对应于球击打元件、挥动球击打元件的球员、以及球。在一些应用中(例如在高尔夫中)，球将仅在撞击后移动。运动图像也可以使用诸如MOG或MOG2的各种前景与背景检测技术来构造。根据运动图像，可以使用不同的计算机视觉技术(诸如Canny边缘检测器或Hough变换)来确定球击打元件的轮廓，并且然后通过将球击打元件的轮廓与具有固定点的一组预定现有球击打元件进行比较来从其识别固定点和固定线。也可以使用其他技术，诸如使用神经网络的机器学习方法。可以通过来自图像测试集的大量图像中的固定点和固定线的人工注释来训练神经网络。然后，在设备102上实现该经训练的神经网络，使得它能够确定存在固定点的任何未来图像中的固定点和固定线。可以使用两种上述方法的组合，以及用于检测图像中的物体的其他方法。

在示例性实施例中，针对元件只能使用每个帧的单个固定点确定，但优选的是针对每个帧的多个固定点和/或固定线的确定。通过添加更多的固定点/线，可以使得系统能够更一致地确定每个帧中的多个固定点相对于彼此的位置，从而使系统更加准确和鲁棒，并且使得系统能够识别并拒绝错误和可疑的固定点确定以及更准确和连续地跟踪球击打元件。此外，固定线(诸如高尔夫球杆的杆身角度)的确定也可以用于将撞击特性(例如，撞击位置)更准确地转换成高尔夫球杆头部的坐标系。固定点和/或固定线在刚好与球撞击之前的至少两帧中确定。当使用撞击前后的更多帧时，通常会获得更高的准确性和鲁棒性。

在步骤615中，确定球和球击打元件的撞击时间。由于球击打元件与球之间的接触时间通常很短(例如，对于高尔夫球杆和高尔夫球为约0.5ms)，因此撞击时间通常将在成像器的两帧之间发生。撞击时间的确切定义，即将其视为球击打元件与球之间的首次接触时刻、接触时间中间的时刻、球的最大压缩时刻、还是球击打元件与球之间的分离时刻，对于不同描述的实施例可以变化。然而，由于运动球击打元件和球保持接触的时间很短，因此在本说明书的其余部分中，为了便于解释一般原理的目的，假定碰撞发生在无限小的时间间隔内发生。

可能以许多不同的方式来确定球和球击打元件的撞击时间(相对于示出球击打元件移动的接收帧的定时)。用于检测撞击时间的优选实施例包括检测图像中的球。如果球在撞击前处于静止状态(诸如在高尔夫中)，则可以在撞击前的仅一帧和撞击后的两帧中检测球。通过关联图像中球的这最少三个确定位置，可以确定子帧级别的撞击时间。这可以由通过以下的简单线性插值来完成：确定图像中110(t1)和110(t2)之间的距离，确定图像中从110(t0)到110(t1)的距离，假设在撞击后的球110的图像中的速度恒定，可以计算撞击时间t0。如果球在撞击前移动，则可以使用相同的方法，然而除了撞击后的两帧外，还可以在撞击前至少两帧中检测球。

用于确定撞击时间的另一个实施例是，确定球击打元件的减速度和/或方向变化，如图8A和图8B所示。球击打元件的能量损失是在碰撞期间转移到球的能量的结果，并因此或多或少地瞬时发生。可以通过测量固定点和固定线的线速度或角速度的不连续性来检测球击打元件的减速度或方向变化。该方法可以利用在撞击之前的至少两帧和撞击之后的至少两帧中的球击打元件的检测。如图8B所示，当观察随时间推移的任何类型的速度时，测量的速度不连续性可能清晰可见，但此方法可能需要速度确定中的高时间分辨率。可替代地，如图8A所示，可以随时间推移评估位置或角度，并将撞击时间确定为撞击之前的路径和撞击之后的路径的交点。

确定撞击时间的另一种方法是将图像检测与雷达传感器组合在一起作为系统的部分。多普勒雷达具有很高的灵敏度以用于检测速度变化，并具有很高的采样频率。球击打元件和球的速度变化的检测在时间上可以是高度准确的。成像器的帧和雷达信号可以被时间同步以用于执行该方法。可替代地，麦克风可以用作成像器的附加传感器。球击打元件和球之间的碰撞通常与可以在时间上准确定位的尖锐短期音频特征信号相关联。类似于雷达方法，成像器的帧和麦克风信号可以被时间同步以用于执行该方法。存在用于实现时间同步的许多方法，包括硬件或软件解决方案。

如本领域技术人员将理解的，可能以任何合适的方式组合用于确定球击打元件和球的撞击时间的上述替代方法。

在步骤620中，确定撞击时固定点和固定线的位置和方向。先前已在610中确定了具有固定点/线的多个帧，并且在步骤620中，执行平滑处理以便首先增加固定点/线确定的准确性，并进一步地确定在确定的撞击时间的估计固定点位置以及紧接在撞击之前的时间点的固定点和球击打元件的3D切线方向。平滑可以是例如多项式拟合。平滑还可以是物理模型，所述物理模型将球击打元件的预期移动近似为例如3D圆或省略号，并且可以使用来自雷达的球击打元件的速度数据。使用确定的撞击时间和固定点/线随时间推移的平滑位置，即使实际上没有在确切撞击时间的图像可用，也可以准确确定撞击时固定点/线的位置和方向。如下面进一步详细描述的，高尔夫球杆的固定点/线的位置和方向可以用于确定击球时的攻角和球杆路径。攻角可以被定义为刚好在相对于水平线测量到撞击之前的球杆头部的垂直方向，而球杆路径可以被定义为刚好在相对于参考线(诸如从球的当前位置到目标的目标线)测量的撞击之前的球杆头部的水平方向。例如，刚好在撞击之前的球杆路径和攻角可以通过在围绕撞击的时间段内拍摄的两个以上图像中所示的球杆位置的线性插值来确定，所述时间段被选择为使得球杆路径或攻角预期不会发生重大变化。也就是说，在撞击前后的短时段内，球杆路径和攻角不会显著变化，并且可以根据以下中的位置的插值确定在撞击时的球杆状态：1)紧接在撞击前拍摄的两个图像；或2)紧接在撞击后拍摄的两个图像；或3)紧接在撞击前拍摄的一个图像和紧接在撞击后拍摄的一个图像。该时间范围可以是从撞击前的50毫秒到撞击后的50毫秒，或更优选地，从撞击前的25毫秒到撞击后的25毫秒。因此，可以通过在该时间帧期间拍摄的任何两个图像中所示的球杆位置的线性插值来确定紧接在撞击之前的球杆路径和攻角。然而，到目前为止，这些球杆路径和攻角仅在图像平面中确定。为了确定球杆头部的三维球杆方向，即球杆路径和攻角的3D版本，必须确定在该时间帧期间来自成像器的到球杆头部的范围变化。可以通过以下方式来确定从成像器到球杆头部的范围变化：确定来自成像器的第三帧中的固定点，或者在已知雷达相对于成像器位置的时间帧期间确定来自雷达的距离(径向速度)变化。如果使用撞击后的帧来确定攻角和球杆路径，则可以考虑由于碰撞而导致球杆头部发生较小的偏转，以便满足关于线性动量和角动量守恒的物理定律。

在步骤625中，确定撞击时的球位置。该步骤可以是可选的，并且仅在期望球在球击打元件上的撞击位置时才执行。在球在撞击之前静止的情况下(诸如在高尔夫应用中)，该步骤仅通过在撞击之前的任何图像中检测球的位置来简单地执行。在优选实施例中，当成像器位于发射高尔夫球的预期目标方向之后时，高尔夫球杆可能会在撞击前不久拍摄的图像中遮挡球。然而，任何先前的图像都可以用于确定撞击之前的图像中的球的位置。考虑了后挥和前挥的持续时间已知在某些范围内，鉴于方法600的先前步骤，通常在撞击前存在从成像器到处于静止的球的清晰视线时，容易确定撞击前的时间点。

在球在撞击之前移动的情况下，优选首先使用上述优选方法以用于在615中确定球和球击打元件的撞击时间。如上所述，通过使球在撞击之前和之后的位置相关联，可以确定撞击时间。所确定的撞击时间与撞击前的两个图像或撞击后的两个图像中的球路径相关地确定在撞击时的球位置，即使球在撞击时的图像中不可见和/或在撞击时不存在图像时也是如此。将平滑应用于检测的球位置以提高击球时的球位置确定的准确性可能是有利的。

在步骤630中，确定在撞击时从成像器到球的距离。图像中位置的检测通常是角度测量。距离确定可以通知针对球击打元件的撞击特性的最终坐标的确定。距离确定可以至少以下列方式执行。

在第一实施例中，可以预先确定撞击时从成像器到球的距离。例如，在高尔夫球、棒球或板球中，球撞击时所位于的区域通常很小。因此，仅利用很小的误差范围，可以假定撞击时到球的距离是成像器相对于高尔夫球的发球区域、棒球的本垒板和板球的三柱门所位于的位置确定的某个距离。

在第二实施例中，可以通过以下方式来确定撞击时从成像器到球的距离：首先确定图像中球的尺寸，以及然后将尺寸(以像素为单位)与运动球的已知尺寸相关联。在相关的第三实施例中，通过以下方式确定撞击时从成像器到球的距离：将检测到图像中的固定点和固定线之间的距离与球击打元件的已知尺寸相关联。例如，高尔夫球杆头部的尺寸通常被相对标准化，棒球棍和板球棍的长度也被相对标准化。

在第四实施例中，可以通过在系统中包括另一个传感器(诸如雷达)来确定撞击时从成像器到球的距离。另一个传感器可以独立地能够确定到球和/或球击打元件的距离。例如，在成像器系统中包括多普勒雷达可以提供进一步的益处，即可以精确地测量在任何时间点球和球击打元件两者的范围/距离和范围速率/速度。这通常将增加从本发明导出的三维撞击特性的准确性。通过包括多普勒雷达作为系统的一部分，如果例如多普勒雷达能够检测到球和高尔夫球杆的撞击，则通常可以将基于成像器的测量值与雷达测量值组合，这可以用于减小要分析的帧的数量并进一步限定每个图像中的球或高尔夫球杆预期要位于的区域。这种方法极大减小图像检测所需的计算量。

在步骤635中，确定撞击特性。可以在由成像器限定的坐标系中确定撞击特性。然而，在许多情况下，期望在更有意义的坐标系中呈现一些或全部撞击特性。在图7A和图7B中，例如，相对于高尔夫球杆的固定点121-125和固定线126的位置示出了高尔夫球杆坐标系。高尔夫球杆坐标系的原点129可以位于高尔夫球杆的面120的中心，其中如图所示，X轴在原点处沿垂直于球杆面的方向从球杆面突出，Y轴在原点处沿平行于该面的第一方向突出，并且Z轴在原点处沿平行于该面的第二方向突出。铁型高尔夫球杆中心的典型定义是从球杆底部开始的第五或第六条凹槽线的中间。对于其他高尔夫球杆，诸如木杆和发球杆，球杆面的中心通常由球杆面上的标记指示。可以相对于在高尔夫球杆上检测到的固定点和/或固定线中的一个或多个来假定球杆面的中心的位置，或者可以预确定该位置。可替代地，可以基于固定点和/或固定线的位置直接估计球杆面的中心。例如，假设球杆面中心位于高尔夫球杆的跟部和趾部之间的中间或与该位置偏离一定百分比可能是有效的。

高尔夫球杆面坐标系的取向可以用两个角度描述，即球杆的卧角119和球杆的倾角118。可以根据检测到的固定点和固定线来假设、预定或确定卧角119和倾角118。相似类型的高尔夫球杆(诸如6号铁杆或发球杆或楔形杆)通常具有非常相似的偏移和卧角/倾角，并且因此在许多情况下，用户可以简单地指示他/她使用哪种类型的球杆以充分准确地估计卧角和倾角。一旦相对于固定点和/或固定线已知球杆面的偏移和取向，就可以将撞击特性坐标转换成高尔夫球杆坐标系统。

对于高尔夫球杆的其他撞击特性，例如，包括球杆路径、攻角、动态倾角、面角度和动态卧角，有意义的坐标系可以是其中原点是撞击前的球位置的坐标系。坐标系的第一轴线可以是预期的目标方向，并且坐标系的第二轴线可以与铅垂线平行，其中第三轴线完成笛卡尔坐标系。为了确定在撞击点处的高尔夫球杆的三维方向，可以首先确定参考点，即，为高尔夫球杆的哪个部分确定这些参数。例如，高尔夫球杆跟部处的球杆路径与高尔夫球杆趾部处的球杆路径不同。在大多数情况下，选择球杆面的中心作为用于确定高尔夫球杆方向的参考点。在其他情况下，选择球杆头部的几何中心或球杆头部的质心作为参考点。为了确定所选参考点的移动，可以使用高尔夫球杆的几何模型，该几何模型尽可能最好地与所确定的高尔夫球杆的固定点/线匹配。然后相对于所确定的固定点/线中的一者或多者随时间推移进行移动确定。

攻角可以被定义为刚好在相对于水平线测量到撞击之前的球杆头部的垂直方向。球杆路径可以被定义为紧接在相对于目标线测量的撞击之前球杆头部的水平方向。动态倾角可以被定义为相对于地平线测量的在撞击时的球杆面中心处或球杆面上的撞击位置点处的球杆面法线(与球杆面成90度)的垂直角度，即在撞击时的杆面上的倾角量。类似地，面角度可以被定义为相对于目标线测量的在撞击时的球杆面中心处或球杆面上的撞击位置点处的球杆面法线(与球杆面成90度)。在与球杆头部连接的杆身端中，动态卧角可以被定义为杆身相对于铅垂线的角度。

在步骤640中，将球击打元件的撞击特性输出到设备102的显示器。在另一示例性实施例中，显示器可以是计算机屏幕、智能电话屏幕或平板电脑屏幕。撞击特性可以用于增强体育赛事的广播。例如，当球击打元件是高尔夫球杆时，可以在高尔夫锦标赛的广播期间显示高尔夫击球的撞击特性。在第二示例中，当球击打元件是棒球棍时，可以在广播棒球比赛期间显示棒球挥杆的撞击特性。

类似的建模可以用于其他类型的球击打元件。在诸如棒球的其他运动中，撞击位置将优选地以坐标系呈现，所述坐标系的轴线与球棒的旋转对称轴线相同，并且原点在球棒的尖端。然而，对于其他撞击特性，例如球棒在撞击时的三维方向(挥杆路径和攻角)和二维取向(棒身角度和方位(球棒是旋转对称的))，优选的坐标系可能是运动场或与传入球对齐的坐标系。

对于诸如网球的球拍运动，撞击位置在球拍的坐标系中是优选的，而三维方向和三维取向在运动场的坐标系中或相对于传入球的坐标系中是优选的。

除了确定球击打元件的各种撞击特性之外，系统还可以提供关于球的发射数据，例如球速度、发射角度和发射方向。这些数据可以很容易地从图像中确定的球位置以及确定的击球距离确定。球发射数据的确定可包括将空气动力学模型拟合到所确定的球的角位置以提供更鲁棒且准确的估计。可选地，系统可包括雷达。将多普勒雷达包括在成像器系统中的另一个益处是，可以在球的任何时间点准确地测量距离和测距率。通常，这将提高球的发射数据的准确性。在球在撞击之前移动的情况下，显然可以类似的方式在传入球上确定相似的撞击数据。这将提供球上的数据点，诸如接近速度、接近角度和接近方向。

将球击打元件的撞击特性与击球方法和发射数据相关联提供了对球击打元件与球的碰撞的非常详细的测量，这具有许多有价值的应用。

图9A和图9B示出了根据本发明的示例性实施例的撞击高尔夫球的高尔夫球杆的后视图，其中检测到高尔夫球杆的杆身的偏转。通过检测杆身固定线126并将其与直线126a进行比较，可以确定杆身的挠曲量。除了在高尔夫球杆的插鞘上的固定点124之外，还可以朝向高尔夫球杆的握持端检测到诸如170的另外的固定点。另外的固定点170可以与杆身固定线126一起使用，以检测杆身的挠曲或相对于球杆头、杆身和握柄相对于彼此的初始形状、定位和取向的改变。例如，可以在玩家开始挥杆之前检测握柄和球杆头相对于彼此的三维位置以建立球杆的静止几何形状。然后，随着挥杆的进行，系统可以监测固定点170、124和固定线126，以检测并测量球杆头相对于握柄的移动(即，改变从球杆头到握柄的距离的任何移动)，所述移动指示整个挥杆过程中杆身的挠曲量。然后，该信息可以以任何期望的格式提供给玩家，例如，俯仰角度或杆头在非挠曲状态下的移动量。

在高尔夫球杆在与球接触之前的挥杆过程中或在与球接触期间，诸如在从草地上击打高尔夫球期间，高尔夫球杆头将经受来自地面的将球杆头向上推的力，从而导致高尔夫球杆杆身挠曲的变化。通常，在从高尔夫球座上击打球的情况下，由于高尔夫球杆与高尔夫球之间的倾斜撞击，球杆头将向下偏转。另外，可以在整个挥杆过程中检测到杆身的挠曲。球杆通常会在后挥杆的高峰处或刚好在与球撞击之前或之后经历最大量的挠曲，并且高尔夫球手可以利用挠曲来在向前挥杆期间击球时提供另外的力量。在某些情况下，高尔夫球杆可能会在撞击球之前先撞击地面(所谓的“发球击球”)，这会使杆头减速，也可能会改变杆头的取向和方向。通过使用在此公开的发明来检测杆身的挠曲和/或杆头的移动特性，将有可能检测并告知高尔夫球手是否“发球”，从而给出与以下情况相比不同的击球结果的原因：杆头在撞击球之前没有撞击地面。

杆身挠曲的这些变化以及挠曲的绝对量的检测对于优化单个高尔夫球手的杆身挠曲轮廓、开发新的高尔夫球杆身很重要并且为高尔夫球身与球之间的碰撞提供更相关的测量参数。显然，其他球击打元件(例如曲棍球棒、网球拍、棒球棍等)也具有类似的挠曲特性。

根据本发明的示例性实施例的方法，一系列图像包括第三图像，第一图像在撞击之前捕获，第二图像和第三图像在撞击之后捕获，并且物体在撞击之前是静止的，其中基于物体在第一图像、第二图像和第三图像中的位置确定撞击时间。

根据本发明的另一示例性实施例的方法，一系列图像包括第三图像和第四图像，第一图像和第三图像在撞击之前捕获，并且第二图像和第四图像在撞击之后捕获，并且在第三图像和第四图像中识别第一点。通过以下方式确定撞击时间：在第一图像、第二图像、第三图像和第四图像中确定第一点和物体中的一者的位置；基于第一点和物体中的一者在第一图像、第二图像、第三图像和第四图像中的位置来识别物体击打元件和物体中的一者的速度的不连续性的定时。

根据本发明的示例性实施例的方法，所述方法可以进一步包括：使成像器与麦克风同步；并且在预定时间跨度内经由麦克风接收麦克风信号。预定时间跨度包括撞击时间。通过检测麦克风信号中的撞击声来确定撞击时间。

根据本发明的示例性实施例的方法，物体在撞击之前是静止的，物体在撞击时间时的位置是预定的。当物体在撞击之前是静止的时，基于在撞击时间之前捕获的图像中物体的大小来确定在撞击时间时从物体到成像器的距离。通过将图像中物体的大小与物体的已知几何性质进行比较，可以确定物体在撞击时间时的位置。

根据本发明的另一示例性实施例的方法，所述方法可以进一步包括将成像器坐标系转换为从物体击打元件表面的角度的坐标系。

根据本发明的又一示例性实施例的方法，所述方法可进一步包括：将物体的撞击位置显示在撞击时间时的物体击打元件表面上。物体击打元件是球杆、球拍、球棒、桨托、棍棒和脚之一。

根据本发明的另一示例性实施例的方法可包括：在来自一系列图像中的第一图像和第二图像中识别物体击打元件上的第一点，其中所述第一图像和所述第二图像是在物体与所述物体击打元件碰撞的预定时间跨度内捕获的；确定所述物体与所述物体击打元件碰撞的碰撞时间；确定在所述预定时间跨度期间从所述成像器到所述物体击打元件的距离的变化率；确定从成像器到所述物体和所述物体击打元件彼此撞击的位置的距离；以及确定物体击打元件在预定时间跨度期间的三维移动方向。

所述方法可以进一步包括：显示在紧接撞击时间之前的时刻的物体击打元件的速度和方向。物体击打元件是球杆、球拍、球棒、桨托、棍棒和脚之一。

所述方法可以进一步包括：相对于物体击打元件的已知几何性质确定第一图像和第二图像中的第一线的偏差；并基于所确定的偏差来确定物体打击元件与地面接触。

所述方法可以进一步包括：确定在撞击时间之前、期间或之后是否发生了与地面的接触。所述方法可以进一步包括：显示物体击打元件的挠曲。物体击打元件是球杆、球拍、球棒、桨托、棍棒和脚之一。

Claims (15)

1.一种方法，包括：

在来自一系列图像的第一图像和第二图像中识别物体击打元件上的第一点，其中所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；

确定所述物体与所述物体击打元件撞击的撞击时间；

在所述第一图像和所述第二图像中的至少一者中确定与所述物体在所述撞击时间的位置相对应的位置；

基于所述第一点在所述第一图像和所述第二图像中的位置，在所述第一图像和所述第二图像中的至少一者中确定与所述第一点在所述撞击时间的位置相对应的位置；

确定从成像器到所述物体和所述物体击打元件彼此撞击的位置的距离；以及

确定所述物体相对于所述第一点的撞击位置。

2.如权利要求1所述的方法，还包括：

检索所述物体击打元件的已知几何性质；以及

将所述第一点的所述位置与所述已知几何性质进行比较，以确定在所述撞击时间时所述物体击打元件的三维位置，并确定所述物体击打元件上的、所述物体撞击所述物体击打元件的撞击位置。

3.如权利要求2所述的方法，还包括：

当所述物体击打元件是包括球杆面的高尔夫球杆时，计算从所述第一点到所述球杆面的中心的距离并确定所述撞击位置与所述球杆面的中心的关系。

4.如权利要求1所述的方法，还包括：

使所述成像器与雷达同步；以及

从所述雷达接收指示在所述预定时间跨度期间所述物体击打元件和所述物体中的至少一者的速度的数据；

其中基于所述物体击打元件和所述物体中的一者在所述时间跨度内的速度的不连续性的定时来确定所述撞击时间。

5.如权利要求1所述的方法，还包括：

使所述成像器与雷达同步；以及

经由所述雷达在包括所述撞击时间的时间跨度内接收所述物体的雷达数据，

其中基于将所述雷达数据与来自所述成像器的数据相关联而确定所述物体在所述撞击时间时的所述位置。

6.如权利要求2所述的方法，还包括：

在所述第一图像和所述第二图像中识别所述物体击打元件表面上的第二点；

在所述第一图像和所述第二图像中测量所述第一点与所述第二点之间的距离；

确定在所述撞击时间时所述第一点与所述第二点之间的距离；以及

将所确定的所述撞击时间时的距离与所述物体击打元件的所述已知几何性质相关联，

其中基于所述相关联确定所述物体击打元件在所述撞击时间时的所述位置。

7.一种方法，包括：

在来自一系列图像的第一图像和第二图像中识别物体击打元件上的第一点，其中所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；

确定所述物体与所述物体击打元件撞击的撞击时间；

确定在所述预定时间跨度期间从所述成像器到所述物体击打元件的距离的变化率；

确定从成像器到所述物体和所述物体击打元件彼此撞击的位置的距离；以及

确定在所述预定时间跨度期间所述物体击打元件的三维运动方向。

8.如权利要求16所述的方法，其中所述物体击打元件在所述预定时间跨度期间的方向包括攻角，所述攻角被限定为所述物体击打元件相对于地平线的垂直方向。

9.如权利要求16所述的方法，其中所述物体击打元件在所述预定时间跨度期间的移动路径包括元件路径，所述元件路径被限定为所述物体击打元件相对于参考线的水平方向。

10.一种方法，包括：

在来自一系列图像的至少第一图像和第二图像中识别物体击打元件上的第一线，其中所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；

确定所述物体与所述物体击打元件撞击的撞击时间；以及

确定在所述撞击时间时所述线的角度。

11.如权利要求10所述的方法，还包括：

将所识别的线与所述物体击打元件的已知几何性质进行比较，以确定所述撞击时间时所述线的三维角度；

当所述物体击打元件是包括球杆面的高尔夫球杆并且所述线是所述高尔夫球杆的杆身的轴线时，确定所述球杆面在所述预定时间跨度内的取向；以及

基于轴线以及所述球杆面与球杆杆身之间的已知角度关系来确定球杆杆身在所述撞击时间时的三维取向。

12.如权利要求10所述的方法，还包括：

在所述第一图像和所述第二图像中的至少一者中，相对于所述物体击打元件的所述已知几何性质确定所述第一线的偏转；以及

确定在所述预定时间跨度期间所述物体击打元件的挠曲。

13.一种系统，包括：

成像器，所述成像器被配置为捕获一系列图像；以及

处理器，所述处理器被配置为：

在第一图像和第二图像中识别物体击打元件上的第一点，所述第一图像和所述第二图像是在物体与所述物体击打元件撞击的预定时间跨度内捕获的；

确定所述物体与所述物体击打元件撞击的撞击时间；

在所述第一图像和所述第二图像中的至少一者中确定与所述物体在所述撞击时间的位置相对应的位置；

基于所述第一点在所述第一图像和所述第二图像中的位置，在所述第一图像和所述第二图像中的至少一者中确定与所述第一点在所述撞击时间的位置相对应的位置；

确定从所述成像器到所述物体和所述物体击打元件彼此撞击的位置的距离；并且

确定所述物体相对于所述第一点的撞击位置。

14.一种系统，包括：

成像器，所述成像器被配置为捕获一系列图像，其中至少第一图像和第二图像是在物体与物体击打元件的撞击之前的预定时间跨度内捕获的；

雷达，所述雷达被配置为在包括撞击时间的时间跨度内捕获所述物体和所述物体击打元件的雷达数据；以及

处理器，所述处理器被配置为：

在描绘物体和物体击打元件的一系列图像中的至少第一图像和第二图像中识别所述物体击打元件上的第一点，其中所述第一图像和所述第二图像是在所述物体与所述物体击打元件撞击的预定时间跨度内捕获的；

确定所述物体与所述物体击打元件撞击的撞击时间；

确定从成像器到所述物体和所述物体击打元件彼此撞击的位置的距离；

确定在所述预定时间跨度期间从所述成像器到所述物体击打元件的距离的变化率；并且

确定在所述预定时间跨度期间所述物体击打元件的三维运动方向。

15.一种系统，包括：

成像器，所述成像器被配置为捕获一系列图像，其中至少第一图像和第二图像是在物体与物体击打元件表面的撞击的预定时间跨度内捕获的；以及

处理器，所述处理器被配置为：

在来自一系列图像的至少第一图像和第二图像中识别物体击打元件上的第一线，其中至少第一图像和第二图像是在所述物体与所述物体击打元件撞击的预定时间跨度内捕获的；

确定所述物体与所述物体击打元件撞击的撞击时间；并且

确定所述撞击时间时所述线的角度。