CN114556325A - 用于改进多主体数据的结构发现和表示学习的系统和方法 - Google Patents
用于改进多主体数据的结构发现和表示学习的系统和方法 Download PDFInfo
- Publication number
- CN114556325A CN114556325A CN202080067662.4A CN202080067662A CN114556325A CN 114556325 A CN114556325 A CN 114556325A CN 202080067662 A CN202080067662 A CN 202080067662A CN 114556325 A CN114556325 A CN 114556325A
- Authority
- CN
- China
- Prior art keywords
- player
- computing system
- tracking data
- player tracking
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种计算系统检索跨多个事件多个选手的选手跟踪数据。选手跟踪数据包括每个事件期间的选手位置坐标。计算系统基于多个事件中每个选手的平均位置来初始化选手跟踪数据。计算系统基于选手跟踪数据使用高斯混合模型来学习选手位置的最佳阵型。计算系统通过识别最佳阵型中的每个分布与全局模板中的每个分布之间的距离来将选手位置的最佳阵型与全局模板对齐,以生成经学习的阵型模板。计算系统为经学习的模板中的每个选手分配一个角色。
Description
相关申请的交叉引用
本申请要求于2019年9月27日提交的美国申请序列号62/907,133的优先权,该美国申请的全部内容通过引用并入本文。
技术领域
本公开一般涉及用于学习体育中的选手分布和角色分配的系统和方法。
背景技术
越来越多地,体育迷和数据分析师在体育分析中变得根深蒂固。在一些情况下,特别是在体育分析的团队方面和分析师方面,预测对手的阵型可能对团队进入比赛或竞赛的策略至关重要。然而,预测对手的阵型或团队的阵型并非易事。团队体育中存在一种固有的排列紊乱,这增加了系统在给定的有限信息的情况下预测团队阵型或团队成员在比赛场地上的位置的难度。
发明内容
在一些实施例中,本发明内容提供了一种方法。一种计算系统检索跨多个事件的多个选手的选手跟踪数据。选手跟踪数据包括每个事件期间的选手位置坐标。基于在多个事件中的每个选手平均位置,计算系统初始化选手跟踪数据。基于选手跟踪数据,使用高斯混合模型计算系统学习选手位置的最佳阵型。通过识别最佳阵型中的每个分布与全局模板中的每个分布之间的距离,计算系统将选手位置的最佳阵型与全局模板对齐以生成经学习的阵型模板。计算系统为经学习的模板中的每个选手分配角色。
在一些实施例中,本发明内容公开了非暂时性计算机可读介质。非暂时性计算机可读介质包括指令,当指令由计算系统执行时,使计算系统执行操作。操作包括通过计算系统检索跨越多个事件的多个选手的选手跟踪数据。选手跟踪数据包括每个事件期间的选手位置坐标。操作进一步包括基于在多个事件中的每个选手平均位置,通过计算系统初始化选手跟踪数据。操作进一步包括基于选手跟踪数据,使用高斯混合模型通过计算系统学习选手位置的最佳阵型。操作进一步包括通过识别最佳阵型中的每个分布与全局模板中的每个分布之间的距离,通过计算系统将选手位置的最佳阵型与全局模板对齐以生成经学习的阵型模板。操作进一步包括通过计算系统向经学习的模板中的每个选手分配角色。
在一些实施例中,本发明内容公开了一种系统。系统包括处理器和存储器。存储器具有存储在其上的编程指令,当编程指令由处理器执行时,使计算系统执行操作。操作包括接收来自客户端设备的请求,以识别在选择的比赛子集中的团队阵型和角色分配。请求定义比赛子集的每个比赛内的情境。操作进一步包括检索选择的比赛子集的选手跟踪数据。选手跟踪数据包括每次比赛期间的选手位置坐标。操作进一步包括过滤选手跟踪数据以识别对应于定义的情境的帧。操作进一步包括基于选手跟踪数据和使用高斯混合模型定义的情境,学习选手位置的最佳阵型以生成学习的阵型模板。操作进一步包括为学习的阵型模板中的每个选手分配角色。操作进一步包括为定义的情境生成跨比赛子集的团队阵型的结构化表示的图形表示。
附图说明
为了能够详细理解本公开的上述列举的特征的方式,可以通过参考实施例来获得对上述简要概括的本公开的更具体的描述,其中一些实施例在附图中示出。然而,要注意的是,附图仅示出了本公开的典型实施例,因此不应被视为对本公开的范围的限制,因为本公开可以承认其他同等有效的实施例。
图1是根据示例实施例的示出计算环境的框图。
图2A是根据示例实施例的示出阵型学习过程的一部分的框图。
图2B是根据示例实施例的示出阵型学习过程的一部分的框图。
图3A是根据示例实施例的示出预测团队的阵型的方法的流程图。
图3B是根据示例实施例的示出识别用于整个比赛子集的团队的阵型模板的方法的流程图。
图4A示出了根据示例实施例的显示示例性选手分布的图表。
图4B示出了根据示例实施例的显示示例性选手分布的图表。
图5A是根据示例实施例的示出计算设备的框图。
图5B是根据示例实施例的示出计算设备的框图。
为了便于理解,在可能的情况下,相同的参考数字已用于表示附图中共同的相同元件。在一个实施例中公开的元件可以有益地用于其他实施例而无需具体叙述是可预期的。
具体实施方式
所有机器学习算法的核心是数据表示。对于多主体系统,由于往往会根据不同的情境而变化的潜在的组结构,选择一个充分捕捉主体之间交互的表示是具有挑战性的。然而,在具有强组结构的多主体系统中,系统可以被配置为同时学习这种结构并将一组主体映射到一致有序的表示用于进一步学习。本文提供的一种或更多种技术包括提供结构化多主体数据的稳固排序的动态对齐方法,与传统方法相比,这种方法允许在很短的时间内进行表示学习。
许多非结构化数据源的自然表示通常是直观的。例如,对于图像,二维像素表示;对于语音,频谱图或线性滤波器组特征;以及文本,字母和字符。所有这些表示在空间、时间或顺序排序上都具有可适合进一步学习的固定、刚性结构。对于其他非结构化数据源,例如点云、语义图和多主体轨迹,这样的初始有序结构自然不存在。这些数据源通常可以在本质上被设置或是类似图形,因此,自然表示可能是无序的,这对许多机器学习技术构成了重大挑战。
在一个具体示例中,一个特别明显的领域是团队体育的细粒度多主体选手运动。对选手跟踪数据的访问已经改变了理解和分析体育的方式。更相关的是,作为扩展对对抗性多主体运动、交互和表示的理解的应用,体育已经上升到机器学习社区中越来越重要的空间。
在体育中,通常存在强大、复杂的组结构,这在其他多主体系统(例如行人跟踪)中不太普遍。具体来说,团队的阵型不仅可以捕捉到全局的形状并组织小组,还可以根据组结构中的“角色”对每个主体进行排序。在这方面,体育可能具有相关性;组织可表示为关键点图的类似于面部和身体的结构。
与面部和身体不同,体育运动中的表示图是动态的,因为选手不断移动和切换位置。因此,根据各个选手在阵型中的角色动态地发现他们的适当表示,为后续任务学习有用表示的同时,提供两者结构化信息。基于角色的对齐可以允许将非结构化的多主体数据重组为能够进行后续的机器学习的连续的矢量格式。
本文提供的一种或更多种技术将基于角色的对齐表述为由两个阶段组成:阵型发现和角色分配。阵型发现可以使用未对齐的数据来学习最佳阵型模板,而第二阶段可以在每个帧中的主体和角色之间应用二分映射来生成“对齐的数据”。传统方法的一个主要限制是模板发现过程的速度。本文所述的上述对齐方法的改进方法提供了更快和更稳定的模板发现和表示学习。这能够即时发现阵型模板,从而减少计算负载并启用新的特定情境的分析。换言之,用户可以选择多个比赛进行分析,并且本技术可以总结这些比赛的阵型。
本文提供的一种或更多种技术采用三步方法来克服传统系统的缺陷。即阵型发现、角色分配和模板聚类,每种都有不同的方法。这种方法改进了传统方法。
基于角色分配的一种传统方法依赖于可以与数据对齐的手工模板。模板可以直接从数据中学习,但是,作为阵型发现复合体的一部分,模板依赖于线性分配技术(即匈牙利算法)的应用,在每一帧中为选手分配一个独特的“角色”。由于匈牙利算法的运行复杂度为n3并且必须应用于每次期望最大化迭代期间的每一帧,因此这种传统方法非常耗时——很容易花费超过10分钟(通常更长)的时间来执行对单个团队的单个数据周期。此外,这种方法不能保证收敛并且经常导致非正常解决方案。
本文所述的一种或更多种技术通过提供问题的数学上更一致的表述来改进传统方法的限制。本文所述的一种或更多种技术消除了在训练期间每次迭代运行匈牙利算法的需要。这种消除允许比传统方法明显更快地发现阵型模板——几秒钟而不是几分钟。除了与传统系统相比显著地减少了处理多比赛数据所需的时间量之外,本方法还允许在根据情境特定数据上“实时”(例如,“即时”)发现阵型模板,以进行新形式分析。此外,由于本方法涉及发现独立于分配步骤的阵型,因此新的经学习的阵型是对团队实际阵型的更好估计,即角色分布更紧密且重叠更少。
此外,本方法本质上比传统方法更稳定,因为它收敛到潜在生成分布的最大似然估计。例如,本方法可以包括用于训练期间的重置过程以确保收敛。这种方法导致更可靠的阵型预测,因为现在可以确保收敛是正确的,并且还需要更少的可最终导致虚假解决方案的示例的监控及重新运行。此外,用于模板对齐的度量可以利用完整的分布形状,而不仅仅是分布均值,因此度量可以确保更好的匹配和一致性。
图1是根据示例实施例的示出计算环境100的框图。计算环境100可以包括跟踪系统102、组织计算系统104、以及通过网络105通信的一个或更多个客户端设备108。
网络105可以是包括经由互联网的单独连接的任何合适的类型,例如蜂窝或Wi-Fi网络。在一些实施例中,网络105可以使用直接连接(例如射频识别(RFID)、近场通信(NFC)、蓝牙TM、低能耗蓝牙TM(BLE)、Wi-FiTM、ZigBeeTM、环境反向散射通信(ABC)协议、USB、WAN或LAN)来连接终端、服务和移动设备。因为传输的信息可能是个人的或机密的,因此安全问题可能要求对这些类型的连接中的一种或更多种进行加密或以其他方式保护。然而,在一些实施例中,正在传输的信息可能不那么个人化,因此,为了方便而不是安全,可以选择网络连接。
网络105可以包括用于交换数据或信息的任何类型的计算机网络布置。例如,网络105可以是互联网、专用数据网络、使用公共网络的虚拟专用网络和/或使计算环境100中的组件能够在环境100的组件之间发送和接收信息的其他合适的连接。
跟踪系统102可以位于场地106中。例如,场地106可以被配置为举办包括一个或更多个主体112的体育事件。跟踪系统102可以被配置为记录比赛场地上所有主体(即,选手)的运动,以及一个或更多个其他相关对象(例如,球、裁判等)的运动。在一些实施例中,跟踪系统102可以是使用诸如多个固定摄像机的基于光学的系统。例如,可以使用由六个固定的校准摄像机组成的系统,将选手和球的三维位置投影到球场的二维俯视图上。在一些实施例中,跟踪系统102可以是基于无线电的系统,系统使用例如由选手佩戴的或嵌入在要跟踪的对象中的射频识别(RFID)标签。通常,跟踪系统102可以被配置为以高帧率进行采样和记录。跟踪系统102可以被配置为为比赛文件110中的每一帧,至少存储比赛场地上所有主体和对象(例如,球、冰球等)的选手身份和位置信息(例如,(x,y)位置)。
跟踪系统102可以被配置为通过网络105与组织计算系统104通信。组织计算系统104可以被配置为管理和分析由跟踪系统102捕获的数据。
组织计算系统104可以至少包括网络客户端应用服务器114、预处理代理116、数据存储118和预测引擎120。预处理代理116和预测引擎120中的每一个可以包括一个或更多个软件模块。一个或更多个软件模块可以是存储在介质(例如,组织计算系统104的存储器)上的代码或指令的集合,这些代码或指令的集合表示实施一个或更多个算法步骤的一系列机器指令(例如,程序代码)。这样的机器指令可以是组织计算系统104的处理器解释以实施指令的实际计算机代码,或者,可以是被解释以获得实际计算机代码的指令的更高级别的编码。一个或更多个软件模块还可以包括一个或更多个硬件组件。示例算法的一个或更多个方面可以由硬件组件(例如,电路)本身执行,而不是作为指令的结果。
数据存储118可以被配置为存储一个或更多个比赛文件122。每个比赛文件122可以由跟踪系统102捕获和生成。在一些实施例中,一个或更多个比赛文件122中的每一个可以包括从特定比赛或事件捕获的所有原始数据。例如,从特定比赛或事件捕获的原始数据可以包括比赛的x、y坐标。
预处理代理116可以被配置为处理从数据存储118检索的数据。例如,预处理代理116可被配置为生成可用于训练与预测团队阵型相关联的预测引擎120的组件的一组或更多组信息。预处理代理116可以扫描存储在数据存储118中的一个或更多个比赛文件中的每一个,以识别一个或更多个度量,度量包括但不限于拥有控球权的团队、对手、每支团队的选手数、球(或冰球)的x、y坐标等。在一些实施例中,可以提供比赛情境,例如但不限于当前得分、比赛中剩余时间、当前季度/半场/局/时段等。
预测引擎120可以被配置为预测团队的潜在阵型。在数学上,角色对齐过程的目标可以是找到可将选手轨迹N的非结构化集合U映射到K个角色轨迹R的有序集合(即矢量)的转换:A:{U1,U2,...,Un}×M→[R1,R2,...,RK]。每个选手轨迹本身可以是主体n∈[1,N]和帧s∈[1,S]的位置的一组有序集合在一些实施例中,M可以表示实现这种排序的最佳置换矩阵。预测引擎120的目标可以是找到最可能的一组的二维(2D)概率密度函数:
在一些实施例中,该方程可以转换为熵最小化之一,其中目标是减少(例如,最小化)每个角色之间的重叠(即,KL-散度)。因此,在一些实施例中,根据总熵H,最终优化方程可以变为:
如图所示,预测引擎120可以包括阵型发现模块124、角色分配模块126和模板聚类模块128,每个模块对应于预测过程的不同阶段。阵型发现模块124可以被配置为学习使数据的可能性最大化的分布。角色分配模块126可以被配置为将每个选手位置映射到每一帧中的“角色”分布。一旦数据已经对齐,模板聚类模块128可以被配置为聚类全套数据集以发现新阵型。
客户端设备108可以通过网络105与组织计算系统104通信。客户端设备108可以由用户操作。例如,客户端设备108可以是移动设备、平板电脑、台式计算机或具有本文所述能力的任何计算系统。用户可以包括但不限于个人,例如订阅者、客户、潜在客户或与组织计算系统104相关联的实体的消费者,诸如已经、将要或可能从与组织计算系统104相关联的实体获得产品、服务或咨询的个人。
客户端设备108可以至少包括应用132。应用132可以表示允许访问网站或独立应用的网络浏览器。客户端设备108可以使用访问应用132来访问组织计算系统104的一个或更多个功能。客户端设备108可以通过网络105进行通信以请求诸如来自组织计算系统104的网络客户端应用服务器114的网页。例如,客户端设备108可以被配置为执行应用132以访问由网络客户端应用服务器114管理的内容。显示给客户端设备108的内容可以从网络客户端应用服务器114传输到客户端设备108,并且随后由应用132处理以通过客户端设备108的图形用户界面(GUI)显示。
图2A和2B是根据示例实施例的示出阵型学习过程200的框图。为了便于讨论,阵型学习过程200在两幅图上示出。
如图所示,在步骤202,组织计算系统104可以接收跨多个事件的多个选手的选手跟踪数据。在一些实施例中,选手跟踪数据可以包括数百个比赛。选手跟踪数据可以由跟踪系统102捕获,跟踪系统102可以被配置为以高帧率(例如,10Hz)记录选手的位置(x,y)。在一些实施例中,选手跟踪数据可以进一步包括选手跟踪数据的每一帧中的单帧事件标签(例如,传球、射门、传中)。这些帧可以称为“事件帧”。如图所示,初始选手跟踪数据可以表示为选手轨迹N的一组集合U。每个选手轨迹本身可能是用于主体n∈[1,N]和帧s∈[1,S]的位置的一组有序集合
在一些实施例中,只有那些事件帧可以用于训练。通常,减少发现阵型所需的数据量提高运行时间。例如,一个足球赛段大约有15000帧的赛中数据。然而,其中只有大约10%包含事件(例如,传球、射门、触球、传中等)。通过仅在那些帧上训练预测引擎120,组织计算系统104可以能够仅仅由数据的减少而获得速度上的显著改进(例如,大约10倍)。此外,在事件帧上学习的阵型实际上与在整个阵型上学习的阵型相同。事实上,因为事件帧在语义上更有意义(由于它们包含事件,而不是诸如守门员持球的帧或传球在飞行中的帧),所以学习到的阵型往往更好于(即,对人类专家来说更紧密并且看起来更好)在相同大小的随机选择数据上或整个数据集上学习到的阵型。此外,事件帧的使用似乎降低了模型找到非正常解决方案的可能性。
在步骤204,预处理代理116可以标准化选手的原始位置数据。例如,预处理代理116可以标准化选手的原始位置数据,使得选手跟踪数据中的所有团队都是从左到右进攻,并且在每帧中的均值为零。这种标准化可能会导致从数据中消除平移效应。这可能会产生集合U'={U'1,U'2,...,U'n}。
在步骤206,预处理代理116可以初始化标准化数据集的聚类中心,以使用平均选手位置进行阵型发现。例如,平均选手位置可以表示为集合μ0={μ1,μ2,...,μ3}。预处理代理116可以获取标准化数据中每个选手的平均位置,并且可以基于平均选手位置来初始化标准化数据。这种基于平均选手位置的标准化数据的初始化可以充当每个选手的初始角色以最小化数据方差。
在步骤208,阵型发现模块124可以被配置为学习使数据的可能性最大化的分布。阵型发现模块124可以将初始化数据构造成单个矢量(SN)×d,其中S可以表示总帧数,N可以表示总主体数(例如,足球比赛中的10名外场手,篮球比赛中的5名选手,橄榄球比赛中的15名选手等),以及d可以表示数据的维度(例如,d=2)。
然后,阵型发现模块124可以发起阵型发现算法。例如,阵型发现模块124可以使用选手平均位置初始化K均值算法并执行收敛。执行K均值算法进行收敛比运行固定迭代次数的传统方法产生更好的结果。
然后,阵型发现模块124可以使用K均值算法的最后一次迭代的聚类中心来初始化高斯混合模型(GMM)。通过将分布参数化为K个高斯混合(K等于“角色”的数量,通常也等于N,即选手的数量),阵型发现模块124可以能够识别使数据的可能性x最大化的最佳阵型。换言之,GMM可以被配置为识别其中可以表示使数据的可能性x最大化的最佳阵型。因此,代替在K均值算法的最后一次迭代之后停止该过程,阵型发现模块124可以使用GMM聚类,因为与仅捕获每个角色数据云的球形性质的K均值聚类技术相比,椭圆形可以更好地捕捉每个选手角色的形状。
此外,已知GMM会遭受组件崩溃并陷入非正常解决方案中。这种崩溃可能导致无意义的聚类,即可能无法使用的无意义的输出。为了解决这个问题,阵型发现模块124可以被配置为在整个期望最大化过程中监控GMM的每个组件或参数的特征值(λi)。如果阵型发现模块124确定任何组件的特征值比率变得太大或太小,则下一次迭代可以运行软K均值(即,具有球形协方差的高斯混合)更新而不是全协方差更新。可以执行这样的过程以确保最终的聚类输出是合理的。例如,阵型发现模块124可以监控GMM的参数如何收敛;如果GMM的参数不稳定(例如,“失控”),阵型发现模块124可以识别这种不稳定的行为,然后使用软K均值更新将参数缓慢返回到解空间中。
为了实施排序,在步骤210,阵型发现模块124可以将最佳阵型与父模板G*对齐,父模板G*是一组有序的分布。G*可以表示一个整体参考阵型(或参考排序),可用于比较不同比赛或不同竞赛的阵型。在一些实施例中,阵型发现模块124可以通过找到和G*中每个分布之间的巴氏距离(Bhattacharyya distance)来对齐和G*,巴氏距离由下式给出:
在步骤212,角色分配模块126可以将每个选手位置映射到经学习的模板中的“角色”分布。例如,角色分配模块126可以将每一帧中的每个选手映射到特定角色,该特定角色具有只有一个选手可以占据给定帧中的一个角色的限制。为此,角色分配模块126可以找到每个选手属于每个帧中的所发现的分布中的每一个的可能性。这可以为每一帧产生一个N×K成本矩阵。然后,角色分配模块126可以应用匈牙利算法来进行最佳分配。对齐的数据可以表示为S×(dK)矩阵R,R是选手的按帧排序的角色分配。本质上,角色分配模块126可以应用匈牙利算法来找到可以最小化整体总成本矩阵的置换矩阵(即,特定角色的选手排序集合将产生整体最小总成本,其中成本矩阵是阵型模板中每个位置和角色之间的成对距离)。在步骤214,模板聚类模块128可以聚类整个数据集以发现基于矩阵R的新阵型。可以通过平面或层次聚类找到子模板。一般而言,模板聚类模块128可以寻求找到一组聚类C,其可以根据以下公式将数据划分为不同的状态:
对于平面聚类,dN维K均值模型可以适合数据。为了帮助初始化集群,模板聚类模块128可以用模板均值加上少量噪声为模型播种。为了确定最佳聚类数,模板聚类模块可以使用以下公式:
其中,μk可以表示示例Ri所属的集群的平均值,以及μkn可以表示最近邻集群Ri的平均值。这种方法可以测量相邻集群之间的差异以及每个集群内数据的紧凑性。通过最大化模板聚类模块128可以寻求捕获最具区别性的集群。
在一些实施例中,为了通过层次聚类学习模板树,模板聚类模块128可以应用基于树的对齐。例如,为了学习模板,而不是使用单次聚类,基于树的方法可以使用可遍历树的一系列聚类步骤。
图3A是根据示例实施例的示出识别跨赛季的团队的阵型模板的方法300的流程图。方法300可以开始于步骤302。
在步骤302,组织计算系统104可以学习跨体育赛季的全局模板。尽管本讨论集中于足球运动,但本领域技术人员容易理解本文公开的技术可以应用于其他运动。在一些实施例中,预测引擎120可以通过为所有团队和所有比赛随机选择跨给定赛季的轨迹数据来学习全局模板。例如,为了训练预测引擎120学习全局模板,预测引擎120可以对跟踪数据的整个赛季(而不是单个比赛)进行数据点采样。这样的功能使预测引擎120能够学习整个参考模板(例如,G*)。
在步骤304,组织计算系统104可以检索团队跨赛季的轨迹数据。在一些实施例中,轨迹数据可以包括一个赛季中多场比赛的轨迹数据。轨迹数据可以由跟踪系统102捕获,跟踪系统102可以被配置为以高帧率(例如,10Hz)记录选手的位置(x,y)。在一些实施例中,轨迹数据还可以包括选手跟踪数据的每一帧中的单帧事件标签(例如,传球、射门、传中)。如图所示,轨迹数据可以表示为选手轨迹N的一组集合U。每个选手轨迹本身可能是用于主体n∈[1,N]和帧s∈[1,S]的位置的一组有序集合
在步骤306,组织计算系统104可以标准化检索的轨迹数据。例如,预处理代理116可以标准化选手的原始位置数据,使得轨迹数据从左到右进攻,并且在每帧中的均值为零。这种标准化可能会导致从数据中消除平移效应。这可能会产生集合U'={U'1,U'2,...,U'′n}。
在步骤308,组织计算系统104可以初始化标准化轨迹数据。例如,平均选手位置可以表示为集合μ0={μ1,μ2,...,μ3}。预处理代理116可以基于平均选手位置来初始化标准化数据。
在步骤310,组织计算系统104可以在每场比赛的每半场发现团队的阵型。例如,阵型发现模块124可以识别对应于给定半场比赛的一组选手轨迹。基于这一组选手轨迹,阵型发现模块124可以识别选手的最佳阵型,例如其中i可以表示有问题的比赛。一旦生成了最佳阵型阵型发现模块124可以将每个最佳阵型与在步骤302中生成的全局模板(例如,G*)对齐。这可能会产生一个用于每个最佳阵型的经学习的模板该经学习的模板可以是具有既定顺序的有序分布集合。
在步骤312,角色分配模块126可以将每个选手位置映射到学习模板中的“角色”分布。例如,角色分配模块126可以将每一帧中的每个选手映射到特定角色,该特定角色具有只有一个选手可以占据给定帧中的一个角色的限制。为此,角色分配模块126可以找到每个选手属于每一帧中的发现的分布的每一个的可能性。然后,角色分配模块126可以应用匈牙利算法来进行最佳分配。
在步骤314,组织计算系统104可以生成跨比赛的团队阵型的结构化表示的图形表示。图形表示可以说明一支团队在同一阵型中的运作频率,或者在跨比赛中一支团队的阵型有多么不同。
图3B是根据示例实施例的示出跨比赛子集识别团队的阵型模板的方法350的流程图。方法350可以开始于步骤352。
在步骤352,组织计算系统104可以接收来自客户端设备108的要求预测引擎120分析比赛子集的请求。在一些实施例中,比赛子集可以对应于相同的团队(例如,相同的团队但不同的对手)。在一些实施例中,比赛子集可以包括来自单个赛季的比赛。在一些实施例中,比赛子集可以包括跨赛季的比赛。组织计算系统104可以通过在客户端设备108上执行的应用132接收来自客户端设备108的请求。例如,客户端设备108可以使用在客户端设备108上执行的应用132直接访问预测引擎120的功能。在一些实施例中,应用132可以表示网络浏览器,并且客户端设备108的用户可以通过统一资源定位器(URL)访问预测引擎120的功能。在一些实施例中,应用132可以表示具有直接访问预测引擎120功能的独立应用(例如,移动应用)。
在一些实施例中,方法350可以包括步骤354。在步骤354,组织计算系统104可以接收与比赛子集相关联的一个或更多个参数。在一些实施例中,除了接收对比赛子集的选择以供分析之外,组织计算系统104可以接收来自客户端设备108的比赛内的特定情境以供分析。例如,客户端设备108的用户可以指定比赛内的特定情境,例如但不限于反击或防守阶段。以这种方式,客户端设备108可以指示用户想要看到哪些阵型。
在步骤356,组织计算系统104可以识别用于识别的比赛子集的轨迹数据。轨迹数据可以由跟踪系统102捕获,跟踪系统102可以被配置为以高帧率(例如,10Hz)记录选手的位置(x,y)。在一些实施例中,轨迹数据还可以包括选手跟踪数据的每一帧中的单帧事件标签(例如,传球、射门、传中)。如图所示,轨迹数据可以表示为选手轨迹N的一组集合U。每个选手轨迹本身可能是用于主体n∈[1,N]和帧s∈[1,S]的位置的一组有序集合
在步骤358,组织计算系统104可以识别与指定情境匹配的所有轨迹数据帧。例如,预处理代理116可以识别对应于比赛的反击或防守阶段的所有轨迹数据帧。
在步骤360,组织计算系统104可以在每个已识别的帧中发现团队的阵型。例如,阵型发现模块124可以识别对应于已识别的轨迹数据帧的一组选手轨迹。基于这一组选手轨迹,阵型发现模块124可以识别选手的最佳阵型,例如其中i可以表示有问题的比赛。一旦生成了最佳阵型阵型发现模块124可以将每个最佳阵型与基于在给定赛季中为所有团队和所有比赛随机选择轨迹数据的全局模板(例如,G*)对齐。这可能会产生一个用于每个最佳阵型的经学习的模板该经学习的模板可以是具有既定顺序的有序分布集合。
在步骤362,组织计算系统104可以将每个选手位置映射到经学习的模板中的“角色”分布。例如,角色分配模块126可以将每一帧中的每个选手映射到特定角色,该特定角色具有只有一个选手可以占据给定帧中的一个角色的限制。为此,角色分配模块126可以找到每个选手属于每一帧中的发现的分布的每一个的可能性。然后,角色分配模块126可以应用匈牙利算法来进行最佳分配。
在步骤364,组织计算系统104可以生成跨所选比赛的团队阵型的结构化表示的图形表示。在一些实施例中,结构化表示可以对应于所选择的情境。例如,图形表示可以说明团队的阵型和跨指定情境(例如,反击、防守阶段等)的比赛子集的角色分配。
图4A和4B示出了根据示例实施例的跨赛季比赛的每支团队的阵型的结构化表示的示例性图形表示。如图所示,如上述结合图2A、2B、3A和3B所讨论的,阵型发现过程和对齐算法在整个足球赛季的每个团队-比赛-时段组合上运行。在传统方法下,每场比赛需要20分钟以上的时间来处理这个过程。在本方法下,每场比赛中,这个过程可以在不到10秒的时间内执行。
每个地块可以对应一个团队。如上述结合图3A和3B所讨论的,可以为每场比赛的每半场学习一个模板,并将该模板与全局模板对齐。每个角色分布的质心以黑色绘制。如图所示,一些团队始终以相同的阵型运作,因此,模板和分布中心在整个赛季中被很好地隔绝(例如,参考数字402)。另一方面,其他团队在不同的比赛中使用不同的阵型。因此,比赛到比赛的模板可以显着变化(例如,参考数字404和406)。本技术能够学习这些不同的模板并将它们对齐,以便可以跨比赛使用通用的结构化表示。
图5A示出了根据示例实施例的系统总线计算系统架构500。系统500可以表示组织计算系统104的至少一部分。系统500的一个或更多个组件可以使用总线505彼此电通信。系统500可以包括处理单元(CPU或处理器)510和将各种系统组件耦接到处理器510的系统总线505,各种系统组件包括系统存储器515,例如只读存储器(ROM)520和随机存取存储器(RAM)525。系统500可以包括直接连接、紧邻或集成为处理器510的一部分的高速存储器的缓存。系统500可以将数据从存储器515和/或存储设备530复制到缓存512以供处理器510快速访问。以这种方式,缓存512可以提供避免处理器510在等待数据时出现延迟的性能提升。这些模块和其他模块可以控制或被配置为控制处理器510以执行各种动作。其他系统存储器515也可以使用。存储器515可以包括具有不同性能特征的多种不同类型的存储器。处理器510可以包括任何通用处理器和硬件模块或软件模块,例如存储在存储设备530中的服务1532、服务2534和服务3536,处理器510被配置为控制处理器510以及专用处理器,其中软件指令被合并到实际的处理器设计中。处理器510本质上可以是完全独立的计算系统,包含多个核心或处理器、总线、存储控制器、缓存等。多核心处理器可以是对称的或不对称的。
为了实现与计算设备500的用户交互,输入设备545可以表示任意数量的输入机制,例如用于演讲的麦克风、用于手势或图形输入的触摸屏、键盘、鼠标、运动输入、语音等等。输出设备535也可以是本领域技术人员已知的多种输出机制中的一种或更多种。在一些情况下,多模式系统可以使用户能够提供多种类型的输入以与计算设备500通信。通信接口540通常可以支配和管理用户输入和系统输出。对在任何特定硬件配置上的操作没有限制,因此在开发过程中,此处的基本特征可以很容易地被替换为改进的硬件或固件配置。
存储设备530可以是非易失性存储器并且可以是硬盘或是可以存储由计算机访问的数据的其他类型的计算机可读介质,例如盒式磁带、闪存卡、固态存储设备、数字多功能磁盘、暗盒、随机存取存储器(RAM)525、只读存储器(ROM)520及其混合。
存储设备530可以包括用于控制处理器510的服务532、534和536。其他硬件或软件模块是可预期的。存储设备530可以连接到系统总线505。一方面,执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件组件,该软件组件与诸如处理器510、总线505、显示器535等必要的硬件组件连接,以执行功能。
图5B示出了具有可以表示组织计算系统104的至少一部分的芯片组架构的计算机系统550。计算机系统550可以是可用于实施所公开技术的计算机硬件、软件和固件的示例。系统550可以包括处理器555,处理器555表示能够执行被配置为执行识别的计算的软件、固件和硬件的任意数量的物理和/或逻辑上不同的资源。处理器555可以与芯片组560通信,芯片组560可以控制对处理器555的输入和来自处理器555的输出。在该示例中,芯片组560将信息输出至输出565(例如显示器),并且可以读取和写入信息到存储设备570,存储设备570可以包括例如磁介质和固态介质。芯片组560还可以从RAM 575读取数据并向RAM 575写入数据。可以提供用于与各种用户接口组件585连接的桥580以用于与芯片组560连接。这样的用户接口组件585可以包括键盘、麦克风、触摸检测和处理电路、诸如鼠标的定点设备等。通常,对系统550的输入可以来自机器生成的和/或人工生成的多种来源中的任何一种。
芯片组560还可以与可能具有不同物理接口的一个或更多个通信接口590连接。这样的通信接口可以包括用于有线和无线局域网、宽带无线网络以及个域网的接口。用于生成、显示和使用本实施方式公开的GUI的方法的一些应用可以包括通过物理接口接收有序数据集,或者由机器本身通过处理器555分析存储在存储器570或575中的数据来生成。此外,机器可以通过用户接口组件585接收来自用户的输入并且执行适当的功能,例如通过使用处理器555解释这些输入的浏览功能。
可以理解的是,示例系统500和550可以具有多于一个的处理器510或者是联网在一起以提供更大处理能力的计算设备组或集群的一部分。
虽然前述内容针对本实施方式描述的实施例,但可以设计其他和进一步的实施例而不背离其基本范围。例如,本公开的各方面可以以硬件或软件或硬件和软件的组合来实施。在此描述的一个实施例可以被实施为与计算机系统一起使用的程序产品。程序产品的程序(多个程序)定义了实施例的功能(包括此处描述的方法)并且可以包含在各种计算机可读存储介质上。说明性的计算机可读存储介质包括但不限于:(i)信息被永久存储在其上的不可写存储介质(例如,计算机内的只读存储器(ROM)设备,例如可由CD-ROM驱动器读取的CD-ROM磁盘、闪存、ROM芯片或任何类型的固态非易失性存储器);以及(ii)存储可变信息的可写存储介质(例如,软盘驱动器或硬盘驱动器或任何类型的固态随机存取存储器中的软盘)。当承载指导所公开实施例的功能的计算机可读指令时,这样的计算机可读存储介质是本公开的实施例。
本领域技术人员将理解,前述示例是示例性的而非限制性的。本领域技术人员在阅读说明书和研究附图后将清楚对其所有排列、增强、等效和改进都包括在本公开的真实本质和范围内。因此,以下所附权利要求旨在包括落入这些教导的真实本质和范围内的所有这样的修改、排列和等效。
Claims (20)
1.一种方法,包括:
通过计算系统,检索跨多个事件的多个选手的选手跟踪数据,所述选手跟踪数据包括每个事件期间的选手位置坐标;
通过所述计算系统,基于所述多个事件中每个选手的平均位置,初始化所述选手跟踪数据;
通过所述计算系统,基于所述选手跟踪数据,使用高斯混合模型学习选手位置的最佳阵型;
通过所述计算系统,通过识别所述最佳阵型中的每个分布与全局模板中的每个分布之间的距离来将选手位置的所述最佳阵型与所述全局模板对齐以生成经学习的阵型模板;以及
通过所述计算系统,为所述经学习的阵型模板中的每个选手分配一个角色。
2.根据权利要求1所述的方法,进一步包括:
通过所述计算系统,生成对齐的数据,所述对齐的数据包括按帧排序的选手的角色分配;以及
通过所述计算系统,对所述对齐的数据进行聚类以识别新阵型。
3.根据权利要求2所述的方法,其中,所述聚类包括平面或层次聚类算法。
4.根据权利要求1所述的方法,进一步包括:
通过所述计算系统,过滤所述选手跟踪数据以识别对应于其中发生事件的跟踪数据帧的事件帧。
5.根据权利要求1所述的方法,进一步包括:
通过所述计算系统,标准化所述选手跟踪数据,使得所述选手跟踪数据中的所有选手都从左到右进攻。
6.根据权利要求1所述的方法,其中,通过所述计算系统,基于所述选手跟踪数据,使用所述高斯混合模型学习所述选手位置的最佳阵型包括:
将选手位置的分布参数化为K个高斯混合,以识别所述最佳阵型。
7.根据权利要求1所述的方法,其中,通过所述计算系统,基于所述选手跟踪数据,使用所述高斯混合模型学习所述选手位置的最佳阵型包括:
监控贯穿所述学习中的特征值以确定特征值比率是否超出可接受值的范围;以及
在确定特征值比率超出可接受值范围后,在继续所述学习之前重置所述高斯混合模型。
8.一种非暂时性计算机可读介质,包括指令,当所述指令由计算系统执行时,使得所述计算系统执行操作,所述操作包括:
通过计算系统,检索跨多个事件的多个选手的选手跟踪数据,所述选手跟踪数据包括每个事件期间的选手位置坐标;
通过所述计算系统,基于所述多个事件中每个选手的平均位置,初始化所述选手跟踪数据;
通过所述计算系统,基于所述选手跟踪数据,使用高斯混合模型学习选手位置的最佳阵型;
通过所述计算系统,通过识别所述最佳阵型中的每个分布与全局模板中的每个分布之间的距离来将选手位置的所述最佳阵型与所述全局模板对齐以生成经学习的阵型模板;以及
通过所述计算系统,为所述经学习的阵型模板中的每个选手分配一个角色。
9.根据权利要求8所述的非暂时性计算机可读介质,进一步包括:
通过所述计算系统,生成对齐的数据,所述对齐的数据包括按帧排序的选手的角色分配;以及
通过所述计算系统,对所述对齐的数据进行聚类以识别新阵型。
10.根据权利要求9所述的非暂时性计算机可读介质,其中,所述聚类包括平面或层次聚类算法。
11.根据权利要求8所述的非暂时性计算机可读介质,进一步包括:
通过所述计算系统,过滤所述选手跟踪数据以识别对应于其中发生事件的跟踪数据帧的事件帧。
12.根据权利要求8所述的非暂时性计算机可读介质,进一步包括:
通过所述计算系统,标准化所述选手跟踪数据,使得所述选手跟踪数据中的所有选手都从左到右进攻。
13.根据权利要求8所述的非暂时性计算机可读介质,其中,通过所述计算系统,基于所述选手跟踪数据,使用所述高斯混合模型学习所述选手位置的最佳阵型包括:
将选手位置的分布参数化为K个高斯混合,以识别所述最佳阵型。
14.根据权利要求8所述的非暂时性计算机可读介质,其中,通过所述计算系统,基于所述选手跟踪数据,使用高斯混合模型学习选手位置的最佳阵型包括:
监控贯穿所述学习中的特征值以确定特征值比率是否超出可接受值的范围;以及
在确定特征值比率超出可接受值范围后,在继续所述学习之前重置所述高斯混合模型。
15.一种系统,包括:
处理器;以及
存储器,所述存储器存有编程指令,当所述编程指令由所述处理器执行时,执行操作,所述操作包括:
接收来自客户端设备的请求,以识别选择的比赛子集中的团队阵型和角色分配,其中所述请求定义所述比赛子集的每个比赛内的情境;
检索所选比赛子集的选手跟踪数据,所述选手跟踪数据包括每个比赛期间选手位置的坐标;
过滤所述选手跟踪数据以识别所定义的情境相对应的帧;
基于所述选手跟踪数据和所定义的情境,使用高斯混合模型学习选手位置的最佳阵型,以生成经学习的阵型模板;
在所述经学习的阵型模板中为每个选手分配一个角色;以及
为所定义的情境生成跨所述比赛子集的团队阵型的结构化表示的图形表示。
16.根据权利要求15所述的系统,其中,所述操作进一步包括:
生成包括按帧排序的选手角色分配的对齐数据;以及
对所述对齐数据进行聚类以识别新阵型。
17.根据权利要求16所述的系统,其中,所述聚类包括平面或层次聚类算法。
18.根据权利要求15所述的系统,其中,所定义的情境对应于比赛中的情况。
19.根据权利要求15所述的系统,其中,基于所述选手跟踪数据,使用所述高斯混合模型学习所述选手位置的最佳阵型包括:
将选手位置的分布参数化为K个高斯混合,以识别所述最佳阵型。
20.根据权利要求15所述的系统,其中,基于所述选手跟踪数据,使用高斯混合模型学习选手位置的最佳阵型包括:
监控贯穿所述学习中的特征值以确定特征值比率是否超出可接受值的范围;以及
在确定特征值比率超出可接受值范围后,在继续所述学习之前重置所述高斯混合模型。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962907133P | 2019-09-27 | 2019-09-27 | |
US62/907,133 | 2019-09-27 | ||
PCT/US2020/052854 WO2021062249A1 (en) | 2019-09-27 | 2020-09-25 | System and method for improved structural discovery and representation learning of multi-agent data |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114556325A true CN114556325A (zh) | 2022-05-27 |
Family
ID=75163269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080067662.4A Pending CN114556325A (zh) | 2019-09-27 | 2020-09-25 | 用于改进多主体数据的结构发现和表示学习的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210097418A1 (zh) |
EP (1) | EP4034962A4 (zh) |
CN (1) | CN114556325A (zh) |
WO (1) | WO2021062249A1 (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009086683A1 (en) * | 2007-12-29 | 2009-07-16 | Intel Corporation | Automatic detection, labeling and tracking of team members in a video |
US9600760B2 (en) * | 2010-03-30 | 2017-03-21 | Disney Enterprises, Inc. | System and method for utilizing motion fields to predict evolution in dynamic scenes |
US10025987B2 (en) * | 2013-11-08 | 2018-07-17 | Performance Lab Technologies Limited | Classification of activity derived from multiple locations |
WO2016196295A1 (en) * | 2015-05-29 | 2016-12-08 | Nike Innovate C.V. | Activity monitoring device with assessment of exercise intensity |
EP3391239A4 (en) * | 2015-12-14 | 2020-02-26 | Stats Llc | SYSTEM FOR INTERACTIVE SPORT ANALYTICS USING MULTIPLE TEMPLATE ORIENTATION AND DISCRIMINATING CLUSTERING |
US10204300B2 (en) * | 2015-12-14 | 2019-02-12 | Stats Llc | System and method for predictive sports analytics using clustered multi-agent data |
CN110383324B (zh) * | 2017-04-06 | 2023-08-25 | 赫尔实验室有限公司 | 预测移动的系统、非暂时性计算机可读介质和方法 |
US11602697B2 (en) * | 2017-09-05 | 2023-03-14 | State Space Labs Inc. | Sensorimotor assessment and training |
JP2019057836A (ja) * | 2017-09-21 | 2019-04-11 | キヤノン株式会社 | 映像処理装置、映像処理方法、コンピュータプログラム、及び記憶媒体 |
-
2020
- 2020-09-25 WO PCT/US2020/052854 patent/WO2021062249A1/en active Application Filing
- 2020-09-25 EP EP20869846.4A patent/EP4034962A4/en active Pending
- 2020-09-25 US US17/032,951 patent/US20210097418A1/en active Pending
- 2020-09-25 CN CN202080067662.4A patent/CN114556325A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021062249A1 (en) | 2021-04-01 |
US20210097418A1 (en) | 2021-04-01 |
EP4034962A1 (en) | 2022-08-03 |
EP4034962A4 (en) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11577145B2 (en) | Method and system for interactive, interpretable, and improved match and player performance predictions in team sports | |
US11554292B2 (en) | System and method for content and style predictions in sports | |
US8660306B2 (en) | Estimated pose correction | |
WO2021120157A1 (en) | Light weight multi-branch and multi-scale person re-identification | |
WO2019144147A1 (en) | Methods for detecting events in sports using a convolutional neural network | |
US11900254B2 (en) | System and method for multi-task learning | |
US20220284311A1 (en) | Method and System for Generating In-Game Insights | |
US20220253679A1 (en) | System and Method for Evaluating Defensive Performance using Graph Convolutional Network | |
US20230330485A1 (en) | Personalizing Prediction of Performance using Data and Body-Pose for Analysis of Sporting Performance | |
US20230334859A1 (en) | Prediction of NBA Talent And Quality From Non-Professional Tracking Data | |
US20220254036A1 (en) | Interactive Formation Analysis in Sports Utilizing Semi-Supervised Methods | |
CN114556325A (zh) | 用于改进多主体数据的结构发现和表示学习的系统和方法 | |
Huang et al. | Extracting discriminative parts with flexible number from low-rank features for human action recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |