CN117546203A - 三维轨迹模型和系统 - Google Patents

Abstract

本文提供了一种用于使用一个或多个图像捕获设备和投射物轨迹模型来重建投射物对象的三维投射物轨迹的方法。还描述了使用该方法的系统和计算机程序产品。

Description

三维轨迹模型和系统

相关申请的交叉引用

根据35U.S.C.119(e)，本申请特此要求2022年4月19日提交的美国专利申请17/724,049的较早申请日的权益，该专利申请的内容通过引用整体并入本文。

权利声明

本申请中公开的主题是在香港特别行政区政府授予的授权号PG/126/19的政府支持下构思的。

技术领域

本文所公开的主题总体上涉及投射物对象轨迹重建建模，以及相关的计算平台、系统和方法。

背景技术

投射物对象轨迹的精确三维(3D)建模通常需要多个同步的固定图像捕获设备。图像捕获设备用于获得投射物轨迹信息并且模型可以用于计算投射物的真实路径。此类轨迹的3D建模通常需要在电池供电的设备(诸如移动电话或其他个人手持设备)上是不可用且不可持续的相当大的计算能力。需要一些系统和方法来克服其中提到的缺点。

发明内容

出于总结的目的，本文已经描述了某些方面、优点和新颖特征。应理解的是，并非所有此类优点都可以根据任一个特定实施例来实现。因此，所公开的主题可以以实现或优化一个优点或一组优点而不实现本文可能教导或建议的所有优点的方式来实施或执行。

根据所公开的主题的一些实现方式，提供了一种用于使用一个或多个图像捕获设备为投射物对象重建三维投射物对象轨迹的计算机实现的方法。该方法包含：使用耦合到至少第一计算设备的一个或多个图像捕获设备来捕获投射物对象的投射物对象轨迹的一个或多个视频，第一计算设备通过通信网络通信地连接到第二计算设备；通过该通信网络将该一个或多个视频传输到该第二计算设备，其中，来自该一个或多个图像捕获设备的一个或多个视频被分类成一个或多个数据组并且由该第二计算设备使用投射物轨迹模型来计算针对该一个或多个数据组的至少一个解；以及接收由第一计算设备针对一个或多个数据组计算的解。

根据所公开的主题的一些实现方式提供了一种计算设备。该计算设备包含：图像捕获设备，其通信地耦合到可编程处理器；存储指令的非瞬态机器可读介质，该指令在由可编程处理器执行时，使得可编程处理器执行包含以下的操作：使用图像捕获设备捕获三维投射物对象的一个或多个二维视频；基于一个或多个二维视频计算数据组；使用可编程处理器计算基于数据组的解，该解对应于三维投射物对象的至少一个特征；以及基于该解显示三维投射物对象的视觉表示和投射物对象的至少一个轨迹。

数据组可以包含针对一个捕获的轨迹的原始数据(例如x轴线位置、y轴线位置、时间)。计算设备可以捕获一个或多个轨迹并且轨迹被分类到不同的数据组中，使得来自每个轨迹的数据被存储在数据组中。从不同的图像捕获设备，相同的路径或轨迹可以被捕获并且分组在相同的数据组中。例如，如果第二图像捕获设备正在查看相同的单个轨迹(从与第一图像捕获设备不同的视角)，则来自第二图像捕获设备的路径被添加到与来自查看相同轨迹的第一图像捕获设备的数据相同的数据组中。

就在发送到服务器之前，数据组将包含来自所有图像捕获设备的相同实际轨迹的路径的所有原始数据点。该原始数据可以包含：由图像捕获设备捕获的路径的x轴线位置、y轴线位置和时间数据。

根据所公开的主题的一些实现方式，一种计算机程序产品包含存储指令的非瞬态机器可读介质，该指令在由至少一个可编程处理器执行时使得该至少一个可编程处理器执行操作。所述操作包含：使用耦合到至少第一计算设备的一个或多个图像捕获设备捕获投射物对象的投射物对象轨迹的一个或多个视频，第一计算设备通过通信网络通信地连接到第二计算设备；通过该通信网络将该一个或多个视频传输到该第二计算设备，其中来自该一个或多个图像捕获设备的该一个或多个视频被分类成一个或多个数据组，针对该一个或多个数据组的至少一个解是使用投射物轨迹模型计算的；以及接收针对一个或多个数据组计算的解。

根据所公开的主题的一些实现方式，一种重建三维投射物对象轨迹的计算机实现的方法。该方法包含：在远程计算设备处接收投射物对象的投射物对象轨迹的一个或多个视频，该一个或多个视频是使用耦合到本地计算设备的一个或多个图像捕获设备捕获的，本地计算设备和远程计算设备通过通信网络通信地连接；将来自一个或多个图像捕获设备的一个或多个视频分类成一个或多个数据组；使用投射物轨迹模型计算针对一个或多个数据组的至少一个解；以及通过通信网络将针对一个或多个数据组计算的解传输到本地计算设备。

一个或多个图像捕获设备可以包含与通用时钟不同步的一个或多个相机或录像机。一个或多个图像捕获设备可以包含与通用时钟不同步的一个或多个相机或录像机并且第一计算设备可以包括智能电话，该智能电话包括图像捕获设备。计算设备可以是智能电话、移动电话、膝上型计算机、个人计算机等中的至少一者。三维投射物对象轨迹可以包含以下中的一者或多者：投射物对象的路径、投射物对象的导出速度、投射物对象的位置(position)、投射物对象的旋转、投射物对象的位置(location)、投射物对象的尺寸以及上述数据的所有导数。捕获投射物对象轨迹的一个或多个视频还可以包括从包括两个或更多个投射物对象的视野中隔离单个感兴趣的投射物对象。

投射物轨迹模型可以根据函数(θ,t)来实现，所述函数(θ,t)返回由具有初始状态θ的投射物轨迹模型控制的投射物对象在时间t处的三维坐标。初始状态θ可以是表示三维环境中的投射物对象的坐标、速度和旋转的元组(x,y,z,vx,vy,vy,wx,wy,wz)。投射物轨迹模型的损失函数f可以由函数(θ,t)定义为：

其中表示由一个或多个图像捕获设备i中的至少一个在时间t处观察到的样本轨迹对象J，并且Pi是捕获设备i的投影矩阵，并且τi表示捕获设备i的时滞，并且该函数d测量捕获设备i帧上的两个同质点之间的距离。函数d可以返回两个同质点之间的欧几里德距离。函数(θ,t)可以用于通过求解下面的微分方程系统来计算在时间t处初始状态为θ的投射物对象的坐标y(t)：

其中：

C_d＝阻力系数

L_e＝升力系数

T_e＝空气动力扭矩

ρ＝空气密度

A＝投射物横截面积

r＝球投射物的半径

m＝球投射物的质量

g＝重力加速度

当前主题的实现可以包含但不限于与上述方法和过程一致的系统和方法，包含一个或多个特征和物品，该一个或多个特征和物品包括有形实施的机器或计算机可读介质，该有形实施的机器或计算机可读介质可操作来使得一个或多个机器(例如，计算机、处理器等)通过例如使得一个或多个处理器执行所公开的操作或功能的一个或多个的一个或多个计算程序或逻辑代码来产生本文公开的操作。机器可以经由一个或多个连接(包含但不限于通过网络的连接)交换数据、命令或其他指令。

本文所描述的主题的一个或多个变型的细节在附图和下面的描述中阐述。从说明书和附图中以及从权利要求中，本文所描述主题的其他特征和优点将变得显而易见。然而，所公开的主题不限于所公开的任何特定实施例。

附图说明

并入本说明书并且构成本说明书的一部分的附图示出了本文所公开的主题的一些方面并且与说明书一起帮助解释与如下所提供的所公开的实现方式相关联的一些原理。

图1表示根据一个或多个实施例的用于实现3D轨迹重建过程的示例操作环境。

图2是与当前主题的实现方式一致的示例性3D轨迹重建过程的流程图。

图3是图2的3D轨迹重建过程的示例性步骤1和步骤2的流程图。

图4示出了根据一个或多个实施例的使用3D轨迹重建过程从单个设备输出的示例数据。

图5是组合来自多个设备的数据的图1的3D轨迹重建过程的示例性步骤3的流程图。

图6是用于处理轨迹重建的图2的3D轨迹重建过程的示例性步骤4的流程图。

图7是投射物轨迹的3D重建的示例图形表示。

图8是可以用于执行与一个或多个所公开的特征一致的一个或多个计算操作或过程的示例计算系统的框图。

这些附图在绝对或比较意义上可能不是成比例的并且旨在是示例性的。为了说明清楚的目的，可能已经修改了特征和元件的相对放置。根据一个或多个实施例，在实际中，相同或类似的附图标记表示相同或类似或等效的结构、特征、方面或元件。

具体实施方式

在下文中，阐述了许多特定细节以提供对各种实施例的全面描述。一些实施例可以在没有这些特定细节的情况下或在细节上有一些变化的情况下实践。在一些情况下，一些特征的描述不太详细以免模糊其他方面。与元件或特征中的每一者相关联的详细程度不应被解释为限定一个特征相对于其他特征的新颖性或重要性。

参考图1，表示了示例操作环境100，其中计算系统110可以由用户使用来与在计算系统110上执行的软件112交互。计算系统110可以是通用计算机、手持移动设备(例如，智能电话、移动电话等)、平板计算机(例如，Galaxy Tab等)或其他具有通信能力的计算设备。软件112可以是完全地或部分地在计算系统110上运行的网络浏览器、专用应用或其他类型的软件应用程序。

计算系统110可以通过网络130进行通信以访问存储在存储设备140上的数据或访问由计算系统120提供的服务。根据实现方式，存储设备140可以在对于计算系统110或120中的一者或多者是本地的、计算系统110或120中的一者或多者是远程的或嵌入计算系统110或120中的一者或多者中。服务器系统122可以被配置在计算系统120上以服务于由计算系统110或软件112(例如，客户端系统)经由网络130提交的一个或多个请求。网络130可以通过局域网或广域网(例如，互联网)来实现。在一些实现方式中，与存储设备140和服务器系统122相关联的功能可以由计算系统110执行，使得不需要通过网络130进行通信。

计算系统120和服务器系统122可以作为专用资源通过集中式或分布式(例如，基于云的)计算环境实现，或可以被配置为定义共享处理或存储资源的虚拟机。软件124或相关特征和部件(例如，软件对象)通过服务器系统122的执行、实现或示例化也可以定义专用机器，该专用机器向远程客户端系统(诸如计算系统110或软件112)提供对如下所述的多种数据和服务的访问。

根据一个或多个实现方式，由专用机器或软件124提供的服务可以包含使用计算系统110或软件112向用户提供访问、调用、示例化或执行3D投射物对象轨迹重建过程或系统的能力。本文所描述的相关特征可以被实现为移动应用程序或任何分布式计算机程序(例如，“应用”或“应用程序”)。如本文所用，术语“移动设备”可以包含例如移动电话、智能电话、平板计算机、膝上型计算机或与图像捕获设备结合或连接的类似设备。此外，图像捕获设备可以被集成到移动设备中，或可以是位于物理位置(例如，比赛场地或球场)附近的独立图像捕获设备。如本文进一步公开的，任何图像捕获设备可以以有线或无线方式连接到任何计算系统。

如图2中示出的，根据示例实现方式，3D投射物对象轨迹重建过程可以在多个步骤中执行。例如，至少一个图像捕获设备(诸如移动电话)从使用至少一个设备的图像捕获设备捕获的视频生成轨迹的路径(S210)。移动电话可以捕获多个投射物对象(诸如网球)的视频，并且为感兴趣的一个投射物对象生成路径。如果使用多个图像捕获设备，则根据实现方式，这些设备可能需要同步也可能不需要同步。

在某些实施例中，至少一个设备(例如，计算系统110)将生成的轨迹路径发送到服务器(S220)。服务器(例如，计算系统120)可以是任何合适的服务器，诸如云服务器、远程服务器等。如果使用一个以上设备，则服务器将来自一个或多个设备的轨迹的生成的路径按时间分组为不同的组(S230)。组可以包含来自设备的轨迹路径，并且一个或多个组可以包含投射物的实际轨迹。服务器可以计算针对一个或多个组的内容的解以确定轨迹路径(S240)。最后，服务器向主机服务器或设备报告所得到的解或路径(S250)。

图3给出了关于图1的轨迹检测和传输过程的另外的信息。可以利用至少一个图像捕获设备(例如移动电话)来执行图3所示的过程。该设备可以被校准到它将用来捕获(一个或多个)投射物对象的视频的视野(S310)。图像捕获设备然后连续地检查所捕获的视频的一帧或多帧以检测感兴趣的投射物对象的路径。该路径可以由一组x和y坐标以及由图像捕获设备记录的视频的时间出现来定义。

如本文所用，术语“校准”用于指确定包含例如焦距、光学中心、相对位置和取向等的特定参数的过程。这些参数可以用于使用二维坐标对三维对象进行三角测量和重建。例如，重建三维对象的轨迹可以使用组中的轨迹以及与该组相关联的图像捕获设备的校准参数来执行重建。在另一个示例中，诸如例如在网球设置中使用，校准可以指使用定义的参数(诸如网球场线)作为参考参数来建立三维对象轨迹在空间上位于其中的三维空间(例如，x平面、y平面和z平面)。

在某些实施例中，从视频流中提取至少一帧(S320)。从提取的视频帧中检测投射物对象位置(S330)。识别投射物轨迹路径(S340)。可以重复提取、检测和识别过程，直到识别出完整的投射物轨迹路径。计算出的投射物轨迹可以被发送到主机服务器或设备(S350)。轨迹检测的输出是一组路径。这些路径可以被发送到主机服务器或设备(例如，使用集中式、分布式或边缘计算平台中的一者或多者)，用于进一步处理以获得3D投射物轨迹。

参考图4A和图4B，提供了来自图像捕获和处理设备的示例数据输出。如图4A中示出的，包含x坐标和y坐标以及时间戳的数据表可以用于生成如图4B中示出的轨迹路径。图4B中示出的虚线轨迹路径表示要发送到主机服务器或设备的轨迹的一个路径。

图5给出了关于如图2中所描绘的轨迹分组的另外的信息。从多个图像捕获设备获得投射物轨迹路径并且将其发送到主机服务器或设备以进行连续组合处理(S510a至S510c)。来自多个设备的路径可以被分组为组，组包含来自图像捕获设备的投射物轨迹路径(S520)。针对组，计算方程的解以生成与图像捕获时的实际投射物轨迹相关的多个投射物轨迹(S530)。

图6给出了关于图2的重建过程的另外的信息，涉及计算针对一个或多个组的解。在一个实施例中，使用九个物理参数来估计初始条件：位置(x平面、y平面和z平面)、速度(x平面、y平面和z平面)和旋转(x平面、y平面和z平面)(S610)。如本文和附录A中所公开的投射物轨迹模型可以用于求解描述投射物飞行的微分方程系统(S620)。例如，微分方程可以描述投射物对象(例如，诸如网球的运动球)的运动。也可以计算损失函数，例如数据点之间的距离，并且使用新的参数重新评估，直到达到最小损失函数。距离越小，生成的轨迹越有可能是真实轨迹。因此，可以实现投射物运动的解(S630)。当使用更多的图像捕获设备来生成数据时，由于解将更靠近真实轨迹，因此损失函数将会减小。此解表示与某个时间点处的数据点的最佳匹配的投射物轨迹。

图7示出了根据上面公开的投射物轨迹建模过程生成的示例3D投射物轨迹的图形表示。值得注意的是，所公开的投射物轨迹模型和相关建模过程的示例实施例可以根据本文所附附录A中提供的细节来实现。附录A的内容是本公开的一部分并且其全部并入本文且不受限制。如图7中示出的，迹线0表示与投射物相关的运动区域的边界。迹线1表示投射物轨迹。迹线2表示投射物在投射物轨迹的z轴线上的位置。

在实施例中，模型和3D投射物轨迹重建可以用于确定比赛期间网球的位置。例如，可能期望在某个时间点处确定球是在界内还是界外，例如仍在比赛中。一个或多个固定图像捕获设备(诸如移动电话)，可以用于捕获一个或多个正在进行的网球比赛的视频，其中一个或多个图像捕获设备可以与相同的通用时钟不同步。如果网球被击出球场并且不再进行比赛，则图像捕获设备可以将它们捕获的视频发送到服务器或主机设备以便为可能在球场外并且不再比赛的网球生成3D投射物轨迹。可以分析此3D投射物轨迹以确定球在所讨论的时间是否确实在球场外。例如，图7示出了示例图形输出，其中迹线0表示网球场，迹线1表示网球的轨迹，迹线2表示网球沿着其轨迹的z轴线位置。

如本文所用，许多特征的描述是与网球比赛相关进行的。此类示例实现实现方式并不旨在进行限制。例如，本文所描述的特征可以应用于任何合适的游戏或活动，例如橄榄球、曲棍球、棒球、篮球、田径运动、足球等。此外，尽管最常跟踪的对象类型是球，但这也不是限制性的。例如，无论是否在体育活动的背景下，都可以以类似的方式跟踪人、车辆或任何移动对象或投射物。

参考图8，提供了图示符合一个或多个实施例的计算系统1000的框图。计算系统1000可以用于实现或支持一个或多个平台、基础设施或计算设备或计算部件，在示例实施例中，这些平台、基础设施或计算设备或计算部件可以用于使用例如一个或多个处理器或控制器在计算环境中示例化、实现、执行或实施本文公开的方法，如下文所提供。

如图8中示出的，计算系统1000可以包含处理器1010、存储器1020、存储设备1030和输入/输出设备1040。处理器1010、存储器1020、存储设备1030和输入/输出设备1040可以经由系统总线1050互连。处理器1010能够处理用于在计算系统1000内执行的指令。此类执行的指令可以实现例如云平台的一个或多个部件。在当前主题的一些实现方式中，处理器1010可以是单线程处理器。替代地，处理器1010可以是多线程处理器。处理器1010能够处理存储在存储器1020中和/或存储设备1030上的指令以显示经由输入/输出设备1040提供的用户接口的图形信息。

存储器1020是在计算系统1000内存储信息的诸如易失性或非易失性的计算机可读介质。例如，存储器1020可以存储表示配置对象数据库的数据结构。存储设备1030能够为计算系统1000提供持久存储。存储设备1030可以是软盘设备、硬盘设备、光盘设备、或磁带设备，或其他合适的持久存储器件。输入/输出设备1040为计算系统1000提供输入/输出操作。在当前主题的一些实现方式中，输入/输出设备1040包含键盘和/或定点设备。在各种实现方式中，输入/输出设备1040包含用于显示图形用户接口的显示单元。

根据当前主题的一些实现方式，输入/输出设备1040可以为网络设备提供输入/输出操作。例如，输入/输出设备1040可以包含以太网端口或其他网络端口以与一个或多个有线网络和/或无线网络(例如，局域网(LAN)、广域网(WAN)、互联网、移动数据网络等)通信。

在当前主题的一些实现方式中，计算系统1000可以用于执行各种交互式计算机软件应用程序，该各种交互式计算机软件应用程序可以用于以各种(例如，表格)格式(例如，和/或任何其他类型的软件)组织、分析和/或存储数据。替代地，计算系统1000可以用于执行任何类型的软件应用程序。这些应用程序可以用于执行各种功能，例如，计划功能(例如，生成、管理、编辑电子表格文档、文字处理文档和/或任何其他对象等)、计算功能、通信功能等。应用程序可以包含各种插件功能或可以是独立的计算产品和/或功能。在应用程序内激活时，功能可以用于生成经由输入/输出设备1040提供的用户接口。用户接口可以由计算系统1000生成并且呈现给用户(例如，在计算机屏幕监测器等上)。

本文公开或要求保护的主题的一个或多个方面或特征可以在数字电子电路、集成电路、专门设计的专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算机硬件、固件、软件和/或其组合中实现。这些不同的方面或特征可以包含在一个或多个计算机程序中的实现方式，该计算机程序可以在包含至少一个可编程处理器的可编程系统上进行执行和/或解译，该处理器可以是专用或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向该存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。可编程系统或计算系统可以包含客户端和服务器。客户端和服务器可以彼此远离并且可以通过通信网络进行交互。客户端和服务器的关系是凭借在相应的计算机上运行的计算机程序而产生的并且彼此具有客户端-服务器关系。

这些计算机程序也可以被称为程序、软件、软件应用程序、应用程序、部件或代码，可以包含用于可编程控制器、处理器、微处理器或其他计算或计算机化架构的机器指令，并且可以用高级过程语言、面向对象的编程语言、函数编程语言、逻辑编程语言和/或汇编/机器语言来实现。如本文所用，术语“机器可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(诸如例如磁盘、光盘、存储器和可编程逻辑设备(PLD))，包含接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。机器可读介质(诸如例如非瞬态固态存储器或磁性硬盘驱动器或任何等效的存储介质)可以非瞬态地存储此类机器指令。机器可读介质可以替代地或另外地以瞬时方式(诸如例如如可能是处理器高速缓存或与一个或多个物理处理器核心相关联的其他随机存取存储器)存储此类机器指令。

为了提供与用户的交互，本文所描述的主题的一个或多个方面或特征可以在具有用于向用户显示信息的显示设备(诸如例如阴极射线管(CRT)或液晶显示器(LCD)或发光二极管(LED)监测器)以及键盘和定点设备(诸如例如鼠标或轨迹球)的计算机上实现，用户可以通过所述键盘和定点设备来向计算机提供输入。其他类型的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈，诸如例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式(包含声音、语音或触觉输入)接收来自用户的输入。其他可能的输入设备包含触摸屏或其他触敏设备，例如单点或多点电阻式或电容式触控板、语音识别硬件和软件、光学扫描仪、光学指示器、数字图像捕获设备和相关联的解译软件等。

术语

当特征或元件在本文中被称为在另一个特征或元件“上”时，它可以直接在另一个特征或元件上，或也可以存在中间特征和/或元件。相比之下，当一个特征或元件被称为“直接在另一个特征或元件上”时，可能不存在中间特征或元件。还应理解的是，当一个特征或元件被称为“连接”、“附接”或“耦合”到另一个特征或元件时，它可以直接连接、附接或耦合到另一个特征或元件，或可以存在中间特征或元件。相比之下，当一个特征或元件被称为“直接连接”、“直接附接”或“直接耦合”到另一个特征或元件时，可以不存在中间特征或元件。

尽管针对一个实施例进行了描述或示出，但是如此描述或示出的特征和元件可以应用于其他实施例。本领域的技术人员还应理解的是，当提到与另一个特征“相邻”设置的结构或特征时，该结构或特征可以具有与相邻特征重叠或位于相邻特征下方的部分。

本文使用的术语仅是为了描述特定实施例和实现方式的目的并且不旨在进行限制。例如，如本文所用，除非上下文明确地另有指示，否则单数形式“一”、“一个”和“该”也可以旨在包含复数形式。进一步应理解的是，术语“包括(comprises)”和/或“包括(comprising)”当在本说明书中使用时，指定所陈述的特征、步骤、操作、过程、功能、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、过程、功能、元件、部件和/或其组的存在或添加。如本文所用，术语“和/或”包含相关联的所列出项目中的一个或多个的任意和所有组合并且可以缩写为“/”。

在上面的描述和权利要求中，例如“中的至少一个”或“中的一个或多个”的短语可以出现在元件或特征的合取列表之后。术语“和/或”也可以出现在两个或更多个元件或特征的列表中。除非其使用的上下文隐含地或明确地矛盾，否则此类短语旨在意指任何单独列出的元件或特征，或任何列举的元件或特征与任何其他列举的元件或特征的组合。例如，短语“A和B中的至少一者”；“A和B中的一者或多者”；以及“A和/或B”各自旨在意指“单独的A、单独的B或A和B一起”。类似的解释也旨在用于包含三个或更多个项目的列表。例如，短语“A、B和C中的至少一者”、“A、B和C中的一者或多者”、以及“A、B和/或C”各自旨在意指“单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、或A和B和C一起”。上文和权利要求中使用的术语“基于”旨在意指“至少部分地基于”，使得未列举的特征或元件也是允许的。

为了便于描述，本文可以使用空间上相对的术语，例如“前向”、“后向”、“下方”、“下面”、“下”、“上方”、“上”等，来描述一个元件或特征与图中所示的另一个(一个或多个)元件或(一个或多个)特征的关系。应理解的是，除了附图中描绘的取向之外，空间相对术语旨在涵盖使用或操作中设备的不同取向。例如，如果图中的设备被倒置，则被描述为在其他元件或特征“下方”或“下面”的元件将由于倒置状态而被取向为在其他元件或特征“上方”。因此，根据参考点或取向，术语“下方”可以涵盖上方和下方的取向。该设备可以以其他方式取向(旋转90度或其他取向)并且本文使用的空间相对描述符被相应地解释。类似地，除非另外具体地指出，否则术语“向上”、“向下”、“竖直”、“水平”等在本文中可以仅出于解释的目的而使用。

尽管术语“第一”和“第二”在本文可以用来描述各种特征/元件(包含步骤或过程)，但是除非上下文另有指示，否则这些特征/元件不应被这些术语限制为指示特征/元件的顺序或一个是主要的还是比另一个更重要。这些术语可以用于区分一个特征/元件与另一个特征/元件。因此，在不脱离本文提供的教导的情况下，所讨论的第一特征/元件可以被称为第二特征/元件，并且类似地，下面讨论的第二特征/元件可以被称为第一特征/元件。

如本文在说明书和权利要求中所用，包含如在实施例中所用，除非另有明确说明，否则所有的数字都可以理解为以单词“约”或“近似”开头，即使该术语没有明确出现。当描述量值和/或位置时，可以使用短语“约”或“近似”来指示所描述的值和/或位置在值和/或位置的合理预期范围内。例如，数值可以具有陈述值(或值的范围)的+/-0.1％的值、陈述值(或值的范围)的+/-1％的值、陈述值(或值的范围)的+/-2％的值、陈述值(或值的范围)的+/-5％的值、陈述值(或值的范围)的+/-10％的值等。除非上下文另有指示，否则本文给出的任何数值还应理解为包含约或近似该值。

例如，如果公开值“10”，那么也公开“约10”。本文列举的任何数值范围旨在包含其中包含的所有子范围。还应理解的是，如本领域技术人员所适当理解的，当公开的值“小于或等于”该值时，“大于或等于该值”以及值之间的可能范围也被公开。例如，如果公开了值“X”，则也公开了“小于或等于X”以及“大于或等于X”(例如，其中X是数值)。还应理解的是，在整个申请中，数据以多种不同的格式提供，并且此数据可以表示端点或起始点，以及数据点的任何组合的范围。例如，应理解的是，如果特定的数据点“10”和特定的数据点“15”可以被公开，则大于10和15、大于或等于10和15、小于10和15、小于或等于10和15、以及等于10和15、以及在10与15之间也可以被认为是公开的。还应理解的是，也可以公开两个特定单元之间的每个单元。例如，如果可以公开10和15，那么也可以公开11、12、13和14。

尽管已经公开了各种说明性实施例，但是在不脱离本文的教导的情况下，可以对各种实施例进行各种改变中的任何改变。例如，在不同或替代实施例中，可以改变或重新配置执行各种描述的方法步骤的顺序，并且在其他实施例中可以一起跳过一个或多个方法步骤。各种设备和系统实施例的可选或期望特征可以包含在一些实施例中，而不包含在其他实施例中。因此，前面的描述主要是为了示例的目的而提供的并且不应被解释为限制权利要求的范围和所公开的特定实施例或特定细节或特征。

术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。机器可读介质(诸如例如非瞬态固态存储器或磁性硬盘驱动器或任何等效的存储介质)能够非瞬态地存储此类机器指令。机器可读介质能够替代地或另外地以瞬时方式(诸如例如，如可能是处理器高速缓存或与一个或多个物理处理器核心相关联的其他随机存取存储器)存储此类机器指令。

本文包含的示例和图示通过图示而非限制的方式示出了可以实践所公开的主题的特定实施例。如所提到的，可以利用其他实施例并且从中导出其他实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑上的替换和改变。如果实际上公开了一个以上的发明或发明概念，仅为了方便起见，所公开的主题的此类实施例在本文中可以单独或统称为术语“发明”，而不是旨在将本申请的范围限制于任何单个发明或发明概念。因此，尽管本文已经图示和描述了特定实施例，但是任何旨在实现预期的、实际的或公开的目的布置，无论是明确陈述的还是暗示的，都可以替代所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有修改或变型。通过阅读上面描述，上面实施例的组合以及本文没有具体地描述的其他实施例对于本领域技术人员来说将是显而易见的。

这里已经参考一个或多个特征或实施例提供了所公开的主题。本领域的技术人员将认识到并且理解，尽管这里提供的示例实施例的详细的性质，但是在不限制或脱离总体预期范围的情况下，可以对所述实施例进行改变和修改。这里提供的实施例的这些和各种其他修改和组合都在由所公开的元件和特征及其全套等效物所定义的所公开的主题的范围内。

应理解的是，本文描述的示例和实施例仅是为了说明的目的，并且本领域技术人员将会想到根据这些示例和实施例的各种修改或变化并且这些修改或变化将被包含在本申请的精神和权限以及所附权利要求的范围内。本文引用的所有出版物、专利和专利申请均出于所有目的通过引用整体并入本文。

版权和商标声明

本专利文件的公开的一部分可能包含受版权保护的材料。申请人不反对复制出现在专利商标局专利文件或记录中的专利文件或专利公开，但是无论如何都保留所有版权。此处提及的某些标志可能是申请人、受让人或与申请人或受让人相关联或无关联的第三方的普通法商标或注册商标。此类标记的使用是为了通过示例的方式提供以使公开成为可能并且不应被解释为将所公开的主题的范围排他性地限制于与此类标记相关联的材料。

Claims (20)

1.一种用于使用一个或多个图像捕获设备为投射物对象重建三维投射物对象轨迹的计算机实现的方法，所述方法包括：

使用耦合到至少第一计算设备的所述一个或多个图像捕获设备来捕获投射物对象的投射物对象轨迹的一个或多个视频，所述第一计算设备通过通信网络通信地连接到第二计算设备；

通过所述通信网络将所述一个或多个视频传输到所述第二计算设备，其中，来自所述一个或多个图像捕获设备的所述一个或多个视频被分类成一个或多个数据组并且由所述第二计算设备使用投射物轨迹模型来计算针对所述一个或多个数据组的至少一个解；以及

接收由所述第一计算设备针对所述一个或多个数据组计算的所述解。

2.根据权利要求1所述的方法，其中，捕获更多数量的所述投射物对象轨迹的视频导致计算更准确的解。

3.根据权利要求1所述的方法，其中，所述三维投射物对象轨迹包含以下中的一者或多者：所述投射物对象的路径、所述投射物对象的导出速度、所述投射物对象的位置或所述投射物对象的旋转。

4.根据权利要求1所述的方法，其中，捕获所述投射物对象轨迹的一个或多个视频还包括从包含两个或更多个投射物对象的视野中隔离单个感兴趣的投射物对象。

5.根据权利要求1所述的方法，其中，所述投射物轨迹模型根据函数(θ,t)来实现，所述函数(θ,t)返回由具有初始状态θ的所述投射物轨迹模型控制的所述投射物对象在时间t处的三维坐标。

6.根据权利要求5所述的方法，其中，所述初始状态θ是表示三维环境中的所述投射物对象的坐标、速度和旋转的元组(x,y,z,vx,vy,vy,wx,wy,wz)。

7.根据权利要求6所述的方法，其中，所述投射物轨迹模型的损失函数f由所述函数(θ,t)定义为：

其中表示由所述一个或多个图像捕获设备i中的至少一个在时间t处观察到的样本轨迹对象J，并且Pi是所述捕获设备i的投影矩阵，并且τi表示所述捕获设备i的时滞，并且所述函数d测量所述捕获设备i帧上的两个同质点之间的距离。

8.根据权利要求6所述的方法，其中，所述函数d返回两个同质点之间的欧几里德距离。

9.根据权利要求8所述的方法，其中，所述函数(θ,t)用于通过求解以下微分方程系统来计算所述初始状态为θ的所述投射物对象在时间t处的坐标y(t)：

其中：

C_d＝阻力系数

L_e＝升力系数

T_e＝空气动力扭矩

ρ＝空气密度

A＝投射物横截面积

r＝球投射物的半径

m＝球投射物的质量

g＝重力加速度

10.一种计算设备，其包括：

图像捕获设备，其通信地耦合到可编程处理器；

存储指令的非瞬态机器可读介质，所述指令在由所述可编程处理器执行时，使得所述可编程处理器执行包括以下的操作：

使用所述图像捕获设备捕获三维投射物对象的一个或多个二维视频；

基于所述一个或多个二维视频计算数据组；

使用所述可编程处理器计算基于所述数据组的解，所述解对应于所述三维投射物对象的至少一个特征；以及

基于所述解显示所述三维投射物对象的视觉表示和所述投射物对象的至少一个轨迹。

11.根据权利要求10所述的计算设备，其中，所述计算设备是以下中的至少一者：智能电话、移动电话、膝上型计算机或个人计算机。

12.根据权利要求10所述的计算设备，其中，所述解包含以下中的一者或多者：所述投射物对象的路径、所述投射物对象的导出速度、所述投射物对象的位置、或所述投射物对象的旋转。

13.根据权利要求10所述的计算设备，其中，捕获所述投射物对象的一个或多个视频还包括从包含两个或更多个投射物对象的视野中隔离单个感兴趣的投射物对象。

14.一种计算机程序产品，其包括存储指令的非瞬态机器可读介质，所述指令在由至少一个可编程处理器执行时使得所述至少一个可编程处理器执行包括以下的操作：

使用耦合到至少第一计算设备的一个或多个图像捕获设备捕获投射物对象的投射物对象轨迹的一个或多个视频，所述第一计算设备通过通信网络通信地连接到第二计算设备；

通过所述通信网络将所述一个或多个视频传输到所述第二计算设备，其中，来自所述一个或多个图像捕获设备的所述一个或多个视频被分类成一个或多个数据组，针对所述一个或多个数据组的至少一个解是使用投射物轨迹模型计算的；以及

接收针对所述一个或多个数据组计算的所述解。

15.根据权利要求14所述的计算机程序产品，其中，所述一个或多个图像捕获设备包括与通用时钟不同步的一个或多个相机或录像机并且所述第一计算设备包括智能电话，所述智能电话包括所述图像捕获设备。

16.根据权利要求14所述的计算机程序产品，其中，所述解包括以下中的一者或多者：所述投射物对象的路径、所述投射物对象的导出速度、所述投射物对象的位置、或所述投射物对象的旋转。

17.根据权利要求14所述的计算机程序产品，其中，捕获所述投射物对象的投射物对象轨迹的所述一个或多个视频还包含将单个感兴趣的投射物对象从包括两个或更多个投射物对象的视野中隔离出来。

18.一种重建三维投射物对象轨迹的计算机实现的方法，所述方法包括：

在远程计算设备处接收投射物对象的投射物对象轨迹的一个或多个视频，所述一个或多个视频是使用耦合到本地计算设备的一个或多个图像捕获设备捕获的，所述本地计算设备和所述远程计算设备通过通信网络通信地连接；

将来自所述一个或多个图像捕获设备的一个或多个视频分类成一个或多个数据组；

使用投射物轨迹模型计算针对所述一个或多个数据组的至少一个解；以及

通过所述通信网络将针对所述一个或多个数据组计算的解传输到所述本地计算设备。

19.根据权利要求18所述的方法，其中，所述一个或多个图像捕获设备包括与通用时钟不同步的一个或多个相机或录像机。

20.根据权利要求18所述的方法，其中，所述三维投射物对象轨迹包含以下中的一者或多者：所述投射物对象的路径、所述投射物对象的导出速度、所述投射物对象的位置或所述投射物对象的旋转，并且捕获所述投射物对象轨迹的一个或多个视频还包含将单个感兴趣的投射物对象从包括两个或更多个投射物对象的视野中隔离出来。