CN110520813B - 预测多智能体移动的系统、计算机实现方法和存储介质 - Google Patents

预测多智能体移动的系统、计算机实现方法和存储介质 Download PDF

Info

Publication number
CN110520813B
CN110520813B CN201880021345.1A CN201880021345A CN110520813B CN 110520813 B CN110520813 B CN 110520813B CN 201880021345 A CN201880021345 A CN 201880021345A CN 110520813 B CN110520813 B CN 110520813B
Authority
CN
China
Prior art keywords
formations
radon
formation
cdt
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880021345.1A
Other languages
English (en)
Other versions
CN110520813A (zh
Inventor
S·科洛瑞
A·M·拉希米
R·巴特查里亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN110520813A publication Critical patent/CN110520813A/zh
Application granted granted Critical
Publication of CN110520813B publication Critical patent/CN110520813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21347—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using domain transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0056—Tracking a path or terminating locations for statistical or strategic analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0071—Training appliances or apparatus for special sports for basketball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G9/00—Traffic control systems for craft where the kind of craft is irrelevant or unspecified

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

描述了一种用于预测多智能体移动的系统、计算机实现方法和存储介质。将Radon累积分布变换(Radon‑CDT)应用至表示智能体移动的多对标记队形。识别所述多对标记队形的典型相关分析(CCA)成分。然后，利用CCA成分学习所述多对标记队形之间的关系。利用所学习的关系和新标记队形来预测新数据集的反击标记队形。可以基于所预测的反击标记队形来调整装置的控制参数。

Description

预测多智能体移动的系统、计算机实现方法和存储介质
相关申请的交叉引用
本申请是2017年5月5日在美国提交的题为“Prediction of Multi-AgentAdversarialMovements through Signature-Formations Using Radon-CumulativeDistributionTransform and Canonical Correlation Analysis”的美国临时申请No.62/502441的非临时申请，其全部内容通过引用并入于此。
技术领域
本发明涉及用于预测多智能体(multi-agent)对抗式移动的系统，并且更具体地，涉及通过标记队形(signature-formation)来预测多智能体对抗式移动的系统。
背景技术
相关技术的描述
在“基于机器的”战术分析的早期阶段，主要专注于改进智能体重新识别(如在并入的参考文献列表中的参考文献No.4中所述的)、跟踪(如在参考文献No.2中所述的)以及动作和活动识别(如在参考文献No.4和No.5中所述的)。与感知方面的最新进展相结合的这些应用的进步为在对抗领域中的多智能体战术和策略的更复杂分析铺平了道路。然而，这种高动态系统的错综复杂导致研究朝向简化假设(诸如智能体之间的独立性)(参见参考文献No.2、No.3以及No.6)。
在战术分析的一个应用中，专业团队运动方面的新挑战是向教练实时地自动提供战术反馈。Lucey等人针对更好地理解团队行为的努力(参见参考文献No.1)提出了基于角色的表示，这显著减少了在运动员移动中的高置换的问题。另外，Intille等人(参见参考文献No.7)利用贝叶斯网络来对运动员轨迹之间的交互进行建模。
而且，Li等人(参见参考文献No.8)使用多模态密度函数对不同进攻打法进行分类。参考文献No.9公开了对团体运动进行分段并使用时空驱动力模型来识别美式足球中的进攻打法。在英式足球中，Kim等人(参见参考文献No.12)估计了使用密集运动场的运动员的全局移动。然后，这些作者寻找这些运动场的收敛来指示关键事件。
此外，在参考文献No.10中，Wang等人制定了一种网络流程，以通过考虑运动员之间的交互来同时跟踪所有运动员，而Bialkowski等人(参见参考文献No.13)使用队形分析来比较在主场进行比赛时与在客场进行比赛时团队的表现。
在上述每种方法中，简化假设消除了战术行为的重要部分，主要是由于计算能力的限制。因此，在应用模式识别之前，存在对团队运动员和球轨迹的综合表示的持续需求。
发明内容
本发明涉及一种用于预测多智能体对抗式移动的系统，并且更具体地涉及通过标记队形来预测多智能体对抗式移动的系统。所述系统包括一个或更多个处理器和其上编码有可执行指令的非暂时性计算机可读介质，使得当执行该可执行指令时，所述一个或更多个处理器执行多个操作。所述系统将Radon累积分布变换(Radon-CDT)应用至从数据集获得的多对标记队形，其中，标记队形表示智能体移动。识别所述多对标记队形的典型相关分析(CCA)成分。
本发明还包括一种用于预测多智能体对抗式移动的系统，其中，所述系统利用典型相关分析(CCA)成分学习多对标记队形之间的关系，其中，标记队形表示智能体移动。所述系统利用所学习的关系和新标记队形来预测新数据集的反击(counter)标记队形。然后，所述系统基于所预测的反击标记队形来调整装置的控制参数。
在另一方面，将Radon-CDT应用至从所述新数据集获得的多对标记队形，其中，所述多对标记队形表示第一组智能体的移动。所述系统利用CCA在Radon-CDT空间中预测从新数据集获得的多对标记队形的对应反击标记队形，从而获得预测的反击标记队形。所述预测的反击标记队形表示第二组智能体的移动。将所述预测的标记队形从所述Radon-CDT空间反转到图像空间。
在另一方面，所述预测的反击标记队形被用于预测如何反击至少一个对手的空间队形。
在另一方面，所述系统应用逆Radon累积分布变换(iRadon-CDT)以在所述图像空间中形象化反击标记队形。
在另一方面，显示的反击标记队形向用户提供实时战术反馈。
在另一方面，所述装置是无人机(UAV)。
在另一方面，所述装置是自主驾驶交通工具。
在另一方面，所述装置是相机。
最后，本发明还包括一种计算机程序产品和计算机实现方法。所述计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令能够通过具有一个或更多个处理器的计算机执行，以使在执行所述指令时，所述一个或更多个处理器执行本文列出的操作。另选地，所述计算机实现方法包括使计算机执行这种指令并且执行所得操作的行为。
附图说明
本专利或专利申请公开的文件包含按颜色执行的至少一个附图。具有彩图的该专利或专利申请公开的副本在请求并支付必需费用时由专利局提供。
结合参照以下附图，本发明的目的、特征以及优点根据对本发明的各个方面的以下详细描述是显而易见的，其中：
图1是示出根据本公开的一些实施方式的用于预测多智能体对抗式移动的系统的组件的框图；
图2是根据本公开的一些实施方式的计算机程序产品的示图；
图3是根据本公开的一些实施方式的用于预测多智能体对抗式移动的系统的训练和操作的示图；
图4是根据本公开的一些实施方式的在投篮计时(shot clock)期间运动员的连续趋向(progression)以及这些运动员的信息素样(pheromone-like)标记队形的创建的示图；
图5A是根据本公开的一些实施方式的在图像空间中的两个样本图像的线性组合的示图；
图5B是根据本公开的一些实施方式的在Radon累积分布变换(CDT)空间中的两个样本图像的线性组合的示图；
图6是根据本公开的一些实施方式的对在图像空间和Radon CDT空间中的两个标记队形求平均的示图；
图7是根据本公开的一些实施方式的预测标记队形的示图；
图8是例示根据本公开的一些实施方式的利用标记队形的预测来对装置进行控制的流程图；以及
图9是根据本公开的一些实施方式的中央命令单元的示图。
具体实施方式
本发明涉及一种用于预测多智能体对抗式移动的系统，并且更具体地涉及通过标记队形来预测多智能体对抗式移动的系统。呈现以下描述以使本领域普通技术人员能够制造和使用本发明并将其并入特定应用的背景中。各种变型例以及不同应用的多种用途对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以被应用于广泛方面。因此，本发明不旨在限于所呈现的方面，而是符合与本文所公开原理和新颖特征相一致的最广范围。
在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的更详尽理解。然而，本领域技术人员应当明白，本发明可以在不必受限于这些具体细节的情况下来实施。在其它情况下，公知结构和装置按框图形式而不是按细节示出，以便避免模糊本发明。
将读者的注意引向与本说明书同时提交的所有文件和文档，并且该文件和文档可以利用本说明书开放以供公众查阅，所有这些文件和文档的内容通过引用并入于此。本说明书中公开的所有特征(包括摘要以及附图)可以用服务相同、等同或相似目的的另选特征来代替，除非另有明确说明。因此，除非另有明确说明，所公开的每个特征仅仅是通用系列的等同或相似特征中的一个例子。
在详细描述本发明之前，首先提供了引用参考文献的列表。接下来，提供了对本发明各个主要方面的描述。最后，提供本发明的各个实施方式的具体细节以取得对具体方面的理解。
(1)引入参考文献的列表
贯穿本申请引用且并入以下参考文献。为了清楚和方便起见，这些参考文献在此被列为读者的中心资源。下列参考文献通过引用并入于此，就像在此完全陈述的一样。这些参考文献通过参照如下对应文献参考号而在本申请中加以引用。
1.Lucey，Patrick，et al.″Representing and discovering adversarial teambehaviors using player roles.″Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，2013.
2.Ali，Saad，and Mubarak Shah.″Floor fields for tracking in highdensity crowd scenes.″European conference on computer vision.Springer BerlinHeidelberg，2008.
3.Pellegrini，Stefano，et al.″You′ll never walk alone：Modeling socialbehavior for multi-target tracking.″2009 IEEE 12th Intemational Conference onComputer Vision.IEEE，2009.
4.Bialkowski，Alina，et al.″Recognising team activities from noisydata.″Proceedings of the IEEE Conference on Computer Vision and PatternRecognition Workshops，2013.
5.Wang，Heng，et al.″Action recognition by dense trajectories.″ComputerVision and Pattern Recognition(CVPR)，2011 IEEE Conference on.IEEE，2011.
6.Tran，Du，and Junsong Yuan.″Optimal spatio-temporal path discoveryfor video event detection.″Computer Vision and Pattern Recognition(CVPR)，2011IEEE Conference on.IEEE，2011.
7.Intille，Stephen S.，and Aaron F.Bobick.″A framework for recognizingmulti-agent action from visual evidence.″AAAI/IAAI 99，518-525，1999.
8.Li，Ruonan，Rama Chellappa，and Shaohua Kevin Zhou.″Learning multi-modal densities on discriminative temporal interaction manifold for groupactivity recognition.″Computer Vision and Pattern Reeognition，2009.CVPR2009.IEEE Conference on.IEEE，2009.
9.Li，Ruonan，and Rama Chellappa.″Group motion segmentation using aspatio-temporal driving force model.″Computer Vision and Pattern Recognition(CVPR)，2010 IEEE Conference on.IEEE，2010.
10.Wang，Xinchao，et al.″Tracking interacting objects optimally usinginteger programming.″European Conference on Computer Vision.SpringerInternational Publishing，2014.
11.Bialkowski，Alina，et al.″Win at home and draw awav”：automaticformation analysis highlighting the differences in home and away teambehaviors.″Proceedings of 8th Annual MIT Sloan Sports Analytics Conference，2014.
12.Kim，Kihwan，et al.″Motion fields to predict play evolution indynamic sport scenes.″Computer Vision and Pattern Recognition(CVPR)，2010 IEEEConference on.IEEE，2010.
13.Kolouri，Soheil，Saurav Basu，and Gustavo K.Rohde.″Learning andvisualizing statistical relationships between protein distributions frommicroscopy images.″In 2014 IEEE 11th International Symposium on BiomedicalImaging(ISBI)，pp.381-384.IEEE，2014.
14.Kolouri，Soheil，Se Rim Park，and Gustavo K.Rohde.″The Radoncumulative distribution transform and its application to imageclassification.″IEEE Transactions on Image Processing 25，no.2，920-934，2016.
(2)主要方面
本发明的各种实施方式包括三个“主要”方面。第一个方面是用于预测多智能体对抗式移动的系统。该系统通常采用计算机系统操作软件的形式或采用“硬编码”指令集的形式。该系统可以并入提供不同功能的各种各样的装置中。第二个主要方面是利用数据处理系统(计算机)操作的通常采用软件形式的方法。第三个主要方面是计算机程序产品。计算机程序产品通常表示存储在诸如光学储存装置(例如，光盘(CD)或数字通用盘(DVD))或磁储存装置(例如，软盘或磁带)的非暂时性计算机可读介质上的计算机可读指令。计算机可读介质的其它非限制性示例包括：硬盘、只读存储器(ROM)以及闪存型存储器。这些方面将在下面进行更详细描述。
图1中提供了示出本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文讨论的某些处理和步骤被实现为驻留在计算机可读存储器单元内并由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。在执行时，所述指令使计算机系统100执行特定动作并展现特定行为，如本文所描述的。
计算机系统100可以包括被配置成传送信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如处理器104(或多个处理器))与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从诸如“云”计算中的在线数据存储单元取回的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，诸如接口110。所述一个或更多个接口被配置成使得计算机系统100能够与其它电子装置和计算机系统连接。由所述一个或更多个接口实现的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个方面，计算机系统100可以包括与地址/数据总线102联接的输入装置112，其中，输入装置112被配置成将信息和命令选择传送至处理器100。根据一个方面，输入装置112是字母数字输入装置(诸如键盘)，其可以包括字母数字键和/或功能键。另选地，输入装置112可以是除字母数字输入装置之外的其它输入装置。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，光标控制装置114是利用诸如鼠标、轨迹球、轨迹板、光学跟踪装置或触摸屏的装置来实现的。前述尽管如此，但在一方面，诸如响应于使用与输入装置112相关联的特殊键和键序列命令，光标控制装置114经由来自输入装置112的输入而被引导和/或启用。在另选方面中，光标控制装置114被配置成通过话音命令指引或引导。
在一方面，计算机系统100还可以包括一个或更多个可选计算机可用数据储存装置，诸如与地址/数据总线102联接的储存装置116。储存装置116被配置成存储信息和/或计算机可执行指令。在一个方面，储存装置116是诸如磁或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))的储存装置。依据一个方面，显示装置118与地址/数据总线102联接，其中，显示装置118被配置成显示视频和/或图形。在一方面，显示装置118可以包括：阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器，或适于显示视频和/或图形图像以及用户可识别的字母数字字符的任何其它显示装置。
本文所呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制示例并不严格限于作为计算机系统。例如，一个方面规定了计算机系统100代表可以根据本文所述各个方面使用的一类数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单一数据处理环境。因此，在一方面中，使用通过计算机执行的计算机可执行指令(诸如，程序模块)来控制或实现本技术的各个方面的一个或更多个操作。在一个实现中，这样的程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，诸如，在该计算环境中，任务由通过通信网络链接的远程处理装置执行，或者诸如，在该计算环境中，各种程序模块位于包括存储器-储存装置的本地和远程计算机存储介质中。
图2中示出了具体实施本发明的计算机程序产品(即，储存装置)的示图。计算机程序产品被描绘为软盘200或诸如CD或DVD的光盘202。然而，如先前提到的，该计算机程序产品通常代表存储在任何兼容的非暂时性计算机可读介质上的计算机可读指令。如关于本发明所使用的术语“指令”通常指示要在计算机上执行的一组操作，并且可以表示整个程序的片段或单个、可分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源或目标代码)和“硬编码”电子装置(即，编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，诸如存储在计算机的存储器中或软盘、CD-ROM以及闪存驱动器上。无论如何，这些指令被编码在非暂时性计算机可读介质上。
(3)各个实施方式的具体细节
描述了一种预测场景中的多智能体对抗式移动的方法，在该场景中，每个智能体在每个时间步长的完美跟踪是未知的，但是对手的总体队形是已知的。通过二维(2D)热图(延时图像)呈现对手的总体空间队形或标记队形，并且任务是预测合适的反击队形。智能体(例如，篮球运动员、无人机智能体)的任何团队的标记队形是执行特定任务的团队(例如，在投篮计时期间的篮球运动员)的延时图像。因此，在这些延时图像中隐含地表达了运动员/智能体的时间信息；然而，该标记队形不包含运动员的明确位置和速度信息。可以使用相机或LIDARS(光测量雷达)来获得延时图像。该延时图像是所有获得的图像随时间的总和。存在许多现有技术来获得这样的图像(例如，慢快门速度、打开快门成像)。
在任意时间窗口期间从每个智能体的空间位置生成反击队形，其旨在提供有效地与对手的标记队形反击或对抗的队形。这样的任务通常在诸如体育运动的现实应用中是必需的。例如，专业团队运动方面的新挑战是向教练实时自动地提供战术反馈。根据本公开的实施方式的技术通过自动化预测对手标记队形来促进该挑战。预测的标记队形与实际(地面实况)标记反击队形高度相关。因此，预测的标记队形是反击队形。
在一个实施方式中，该系统由三阶段操作处理组成。在第一阶段，所述系统接收为二维热图的形式的对手的标记队形，并将Radon累积分布变换(Radon-CDT)(参见参考文献No.14对Radon-CDT的描述)应用至所述输入。Radon-CDT是能够实现对二维标记热图进行线性建模的非线性可逆变换。在第二阶段，使用典型相关分析来预测Radon-CDT空间中的对应反击标记队形。在第三阶段，使用逆Radon-CDT(iRadon-CDT)将预测的标记队形从Radon-CDT空间反转到图像空间并生成用于显示的视觉结果。利用对对手(例如，无人机群、篮球队)的移动进行预测的能力，可以使用所述系统将对手引诱至“陷阱”。对此的注解是，如果'陷阱'标记队形是已知的，则可以经由特定移动命令(例如，诸如加速、减速、转弯的控制)来引导主场群，以使它将对手群驱使成陷阱标记队形。在篮球的示例中，通过提供防守队形与进攻队形之间的关系，教练可以引导他们的团队，以使客队被引诱至陷阱。
本文所述的系统利用对手团队行为的高级语义并使用该信息来做出如何反击对手的队形的预测。术语“高级语义”是指使用诸如战术移动的高级信息而不是诸如每个智能体的速度或航向的低级信息的事实。本公开中描述的实施方式利用为标记队形的形式的对抗智能体的移动的更高级预测，这是对现有技术的改进。
在一个实施方式中，所述系统预测针对对抗性多智能体系统的队形的反击队形。作为这种系统的现实应用，描述了篮球比赛中每个投篮计时期间的战术分析问题。根据本公开的实施方式的系统利用多智能体移动随时间的唯一表示，该唯一表示被指示为随着时间捕捉智能体移动的本质的标记队形。下面描述的是一种算法，该算法将对手团队的基于图像的轨迹作为输入并以标记队形的形式预测最佳响应。
图3示出了本文所述的系统的信息流图。该系统包含训练阶段300和操作阶段302。在训练阶段300，学习多对可用标记队形之间的关系。然后使用所学习的信息来预测操作阶段中最可能的反击标记队形。在训练阶段300，从数据集(即，N对标记队形304)中提取多对标记队形。将Radon-CDT 306的模板标记队形选择为针对该训练集的N对标记队形304的平均值。
在应用Radon-CDT 306典型相关分析(CCA)之后，从训练数据集中找到成分(即，找到CCA成分308)。在操作阶段302，将Radon累积分布变换(Radon-CDT)310应用至“主”队和“客”队两者的标记队形(要素312)。使用典型相关分析(CCA)来预测Radon-CDT空间中的对应反击标记队形(即，“客队”/“主队”标记队形314的CCA预测)。使用逆Radon-CDT(iRadon-CDT 316)将预测的标记队形从Radon-CDT空间反转到图像空间，从而得到“客队”/“主队”预测标记队形318。下面将对这些方面中的每一个进行更详细描述。
在详细描述进行预测的技术之前，回顾示例场景中的约束，提供篮球比赛。篮球比赛由四个四分之一场组成，每个四分之一场的持续时间为720秒(12分钟(min))，每场美国国家篮球协会(NBA)比赛总计2880秒。一旦运动员的手(来自具有球权的团队)接触到球，时钟倒计时就会开始。比赛中有两种计时过程；第一比赛计时和第二投篮计时。一旦一方团队拥有球权，他们有最多24秒的时间进行投篮。投篮计时持续时间因各种原因(包括回弹、越过球场边界、或仅仅是因为任何情况下的投球)而有所不同。投篮计时在进行投篮(并投中篮筐)并且投篮的团队得到回弹球时复位，或者在球权改变时复位，从而向具有球权的团队赋予24秒的时间窗口以进行他们的投篮。应注意到，鉴于每场比赛的总持续时间为2880秒并且投篮计时为24秒，最小次数的投篮机会是30次，但这个数字在实践中要大得多。
在实验研究中，在两次连续投篮计时复位之间的每个完整持续时间期间对战术分析进行研究。投篮计时复位之间的每个持续时间被称为“事件”。在下面的小节中，首先描述根据本公开的实施方式的每个事件持续时间的战术表示，然后描述恰当算法以便利用所述战术信息。
(3.1)标记队形(要素312)
在本文所述的方法中，经由标记队形来利用图像域中的战术模式。标记队形本质上是每个事件中智能体的移动(在没有跟踪智能体的情况下)的时间整合。换句话说，标记队形捕获了智能体的移动的信息素样效果。图4示出了在投篮计时期间的几个快照和标记队形的发展(由虚线表示)。
在用于实验研究的数据集中，存在来自NBA比赛的近10000次投篮计时的主队和客队两者的标记队形。下面是对给定队形的反击标记队形的预测的描述。
(3.1.1)Radon-CDT(要素310)
Radon-CDT是非线性可逆图像变换。为了能够定义Radon-CDT，提供对Radon变换的回顾(参见参考文献No.14)。对于二维图像I：R2→(0，1]，其Radon变换可以写成：
Figure GDA0003591475550000111
其中，δ(.)是狄拉克函数，并且θ是投影角度。使给定标记队形I：R2→(0，1]归一化，以使
Figure GDA0003591475550000112
然后，将针对归一化模板标记队形的Radon-CDTI0定义为：
Figure GDA0003591475550000113
其中，id是恒等函数，θ是投影角度，
Figure GDA0003591475550000114
是模板的Radon变换，并且f(.，θ)是满足以下方程的传输图：
Figure GDA0003591475550000115
注意到，由于上面方程的右侧是在t内的单调递增函数，并且左侧是在f(t，θ)内的单调递增函数，因此针对上述方程存在唯一解，并且f(t，θ)具有用于固定投影角度的封闭解(参见参考文献No.14)。更重要的是，Radon-CDT是可逆的，并且逆Radon-CDT(iRadon-CDT)通过以下方程定义：
Figure GDA0003591475550000121
其中，
Figure GDA0003591475550000122
是逆Radon变换，并且g(t，θ)＝[f-1(t，θ)，θ]T。对于所述变换的更详细说明，参照Kolouri等人的论文(参见参考文献No.14)。
Radon-CDT的非线性和可逆性使得能够在变换空间中应用成熟的线性建模技术，然后将结果反转回图像空间。为了证明Radon-CDT的非线性和可逆性，简单地采取图像空间中和Radon-CDT变换空间中的两个图像的线性组合。然后，将变换后的图像的线性组合反转回图像空间。图5A示出了图像的线性组合，并且图5B示出了图像的Radon-CDT的线性组合。图5B的第一行500表示图像空间，图5B的第二行502表示Radon变换空间，并且第三行504表示Radon-CDT空间。
而且，将Radon-CDT应用于两个样本标记队形，以证明其可应用于更复杂的图像。图6示出了图像空间602和604中的两个标记队形的所得到的平均图像600、以及Radon-CDT空间608和610中的两个标记队形的所得到的平均图像606。图像612是应用逆Radon累积分布变换(iRadon-CDT)以在图像空间中形象化反击标记队形的结果。可以看出，从Radon-CDT获得的平均图像606呈现了有意义的平均标记队形。应注意到，该求平均的处理仅被用于演示线性算子(即，图像的线性组合)。主队和客队两者的所有标记队形首先变换到Radon-CDT空间。然后，通过如下所述的典型相关分析对所述表示进行矢量化和处理。
(3.1.2)典型相关分析(CCA)(要素314)
在根据本公开的实施方式的方法中，在投篮计时期间“主”队和“客”队两者的标记队形首先被归一化(总和为1)并通过Radon-CDT处理，然后嵌入到两个矢量(即，h和v)中。设N为不同比赛中的投篮计时期间的战术队形的总数，以使hn∈RM和vn∈RM，其中，M是标记队形的矢量化Radon-CDT表示的长度。这里的目标是找到“主场”标记队形与“客场”标记队形之间的关系。从形式上看，对于主队的给定队形h，找到对手的最可能队形v。这可以经由CCA来实现，CCA寻求h和v的共享嵌入，以使针对同一投篮计时的嵌入表示彼此接近。在训练阶段，CCA最大化下面的目标函数：
Figure GDA0003591475550000131
其中，u和w是将数据投影到共享嵌入上的CCA成分，并且Chh、Cvv和Chv是协方差矩阵。设U＝[u1，...，uK]∈RM×K和W＝[w1，...，wK]∈RM×K是典型成分矩阵，该典型成分矩阵包含基于训练数据学习的顶部K个典型相关成分(即，基于训练数据计算出的协方差矩阵)。
(3.2)预测标记队形(要素316和要素318)
在操作阶段，针对“客”队(即，对手)的输入标记队形J：R2→(0，1)，首先计算它的Radon-CDT
Figure GDA0003591475550000132
然后，将Radon-CDT表示矢量化，
Figure GDA0003591475550000133
接下来，使用CCA来预测对应的经变换和矢量化的标记队形h如下：
Figure GDA0003591475550000134
将预测的经变换和矢量化的标记队形重新整形，然后应用iRadon-CDT以获得主队的预测标记队形，
Figure GDA0003591475550000135
该处理也可以沿另一个方向进行，以针对给定主队标记队形来预测对手的标记队形。如下面详细描述的，通过CCA，实验研究表明，在每个投篮计时时段内进攻队形与对应的防守队形之间存在显著相关性。在篮球的示例中，通过提供防守队形与进攻队形之间的关系，教练可以引导他们的团队，以使客队被引诱至陷阱。
(3.3)实验研究
在实验研究中使用的数据集是从2012-2013NBA赛季的STATS SportsVU跟踪数据获得的。SportVU数据集是从安装在篮球场顶部的六个相机收集的可视数据获得的。可用信息以每秒25帧的频率包含针对跨13支NBA团队的663场比赛的运动员的位置、球的位置、团队标识(ID)和运动员ID、比赛计时、投篮计时、四分之一场指示以及更多。在实验研究中，使用运动员和球的位置、投篮计时以及得分。标记形式是从数据集中提取的，从而导致近10000对标记队形(即“主”队和“客”队)。
在训练阶段，将数据集的20％拿出以用于测试(近2000对)。将Radon-CDT的模板标记队形选择为针对该训练集的标记队形的平均值。Radon-CDT中的投影数量被选择为90。更大数量的投影得到更准确的重建；然而，这可能在计算上昂贵。在应用Radon-CDT之后，从训练数据集中找到K＝15个典型相关成分。通过对通过典型成分捕获的相关性的量进行阈值化来计算数量15。最后，对于给定“对手”标记队形，预测操作数据集的反击标记队形。图7示出了通过应用本文所述的方法来预测篮球比赛中的标记队形而获得的样本结果。应注意到，这些图形处于空间域中，并且图形的x坐标和y坐标表示篮球场的x坐标和y坐标。左列700表示对手战术队形，中间列702表示地面实况(GT)响应队形，并且右列704表示预测的战术队形。
总之，根据本公开的实施方式的方法对团队或对手行为进行建模。在运动团队的示例中，在应用模式识别算法之前，利用队员和球轨迹来创建综合表示(即，标记队形)。给出两队的标记队形，使用Radon-CDT和CCA来学习进攻性标记队形与防御性标记队形之间的隐含关系。
除了运动分析行业在职业体育运动中迅速发展的事实以外，本公开还专注于因数据集的现实性质而造成的运动分析。然而，如本领域技术人员可以清楚，所述方法在智能、监视和侦察(ISR)以及在ISR中使用的控制装置方面具有各种应用。图8是例示使用处理器800利用预测的反击标记队形来控制装置802的流程图。可以经由处理器800和所述预测控制的装置802的非限制性示例包括交通工具或交通工具组件，诸如制动器、转向机构、悬架或安全装置(例如，安全气囊、安全带张紧器等)。而且，该交通工具可以是无人机(UAV)、自主驾驶地面交通工具(例如，汽车、摩托车、机器人)、或者由驾驶员或远程操作员控制的人工操作交通工具(例如，汽车)。另外，所述装置可以是相机。
例如，可以将UAV群用于各种研究和开发项目。在ISR应用中，可以预测作为对友好战术移动的响应的对抗性智能体的移动。然后可以使用该预测来做出关于响应于该移动而采取的动作的决定。在UAV中，该动作以通过调整与速度和方向相关的控制参数来使UAV沿不同方向移动或者以其它方式远离对抗性智能体，以避免检测。所述系统可以通过操作UAV的飞行器组件(诸如转子或转向组件等)来实现动作。
另选地，该动作可以是UAV移动至提供用于对对抗智能体进行监视和成像的理想定位的位置。例如，如果被控制的装置是UAV中的相机，则可以将由本文所述的系统生成的预测用于调整缩放(例如，广角视图、特写视图)、改变相机角度(例如，上、下、右、左)以及基于所述预测的其它相机参数。换句话说，可以将预测的反击标记队形用于引导相机(或任何其它传感器)的焦点、方向、角度或任何其它有用控制参数，以便从对抗智能体收集附加数据。通过能够预测对抗智能体的空间排布或反击标记队形，可以利用这种知识来采取很多行动。如本领域技术人员应当想到的，也可以控制其它装置类型。
标记队形在短时间段(例如，数十秒)内提供对关注空间的战略重要性的量度。例如，在图9所示的标记队形900中，标记队形900的热图指示基础空间坐标的战略重要性。标记队形900可以被转换成针对智能体团队902(例如，无人机群)的命令。这是经由中央命令单元904来进行的，该中央命令单元904在每个时间窗口(例如，数十秒)接收标记队形900，提取智能体的最佳队形并重新路由智能体，以提供战略区域的最佳覆盖。智能体906的标记队形900和当前坐标作为输入906被馈送至中央命令单元904。中央命令单元904首先利用有效空间聚类算法(例如，加权K均值)908处理标记队形900，以获得智能体的战略重要性的中心点(即，最佳新坐标910)。将智能体906的最佳坐标910和当前坐标馈送至现成路径规划算法912，以找到每个智能体的最佳路径(即，每个智能体的规划路径914)。最后，将所述命令广播到智能体916。
最后，虽然已经根据几个实施方式对本发明进行了描述，但本领域普通技术人员应当容易地认识到，本发明在其它环境中可以具有其它应用。应注意到，可以有许多实施方式和实现。而且，虽然已经按顺序陈述了方法步骤，但这些方法步骤可以按任何期望的顺序发生并且落入本发明的范围内。

Claims (9)

1.一种用于预测多智能体移动的系统，所述系统包括：
一个或更多个处理器和编码有可执行指令的非暂时性计算机可读介质，使得当执行所述可执行指令时，所述一个或更多个处理器执行以下操作：
将Radon累积分布变换Radon-CDT应用至从数据集获得的多对标记队形，其中，标记队形表示智能体移动；以及
识别针对所述多对标记队形的典型相关分析CCA成分，
利用CCA在Radon-CDT空间中预测从新数据集获得的所述多对标记队形的对应反击标记队形，得到预测的反击标记队形，其中，所述预测的反击标记队形表示第二组智能体的移动；以及
将所述预测的标记队形从所述Radon-CDT空间反转至图像空间，并且基于所述预测的反击标记队形来调整装置的控制参数。
2.一种用于预测多智能体移动的系统，所述系统包括：
一个或更多个处理器和编码有可执行指令的非暂时性计算机可读介质，使得当执行所述可执行指令时，所述一个或更多个处理器执行以下操作：
利用典型相关分析CCA成分学习从数据集获得的多对标记队形之间的关系，其中，标记队形表示智能体移动；
利用所学习的关系和新标记队形来预测针对新数据集的反击标记队形；以及
基于预测的反击标记队形来调整装置的控制参数；并且
其中，所述一个或更多个处理器还执行以下操作：
将Radon累积分布变换Radon-CDT应用至从所述新数据集获得的多对标记队形，其中，所述多对标记队形表示第一组智能体的移动；
利用CCA在Radon-CDT空间中预测从所述新数据集获得的所述多对标记队形的对应反击标记队形，得到所述预测的反击标记队形，其中，所述预测的反击标记队形表示第二组智能体的移动；以及
将所述预测的标记队形从所述Radon-CDT空间反转至图像空间。
3.根据权利要求2所述的系统，其中，所述一个或更多个处理器还执行以下操作：应用逆Radon累积分布变换iRadon-CDT以在所述图像空间中形象化反击标记队形。
4.一种用于预测多智能体移动的计算机实现方法，所述计算机实现方法包括以下动作：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，以使在执行所述指令时，所述一个或更多个处理器执行以下操作：
将Radon累积分布变换Radon-CDT应用至从数据集获得的多对标记队形，其中，标记队形表示智能体移动；并且
识别针对所述多对标记队形的典型相关分析CCA成分，
利用CCA在Radon-CDT空间中预测从新数据集获得的所述多对标记队形的对应反击标记队形，得到预测的反击标记队形，其中，所述预测的反击标记队形表示第二组智能体的移动；以及
将所述预测的标记队形从所述Radon-CDT空间反转至图像空间，并且基于所述预测的反击标记队形来调整装置的控制参数。
5.一种用于预测多智能体移动的计算机实现方法，所述计算机实现方法包括以下动作：
使一个或更多个处理器执行编码在非暂时性计算机可读介质上的指令，以使在执行所述指令时，所述一个或更多个处理器执行以下操作：
利用典型相关分析CCA成分学习从数据集获得的多对标记队形之间的关系，其中，标记队形表示智能体移动；
利用所学习的关系和新标记队形来预测针对新数据集的反击标记队形；
基于预测的反击标记队形来调整装置的控制参数；以及
将Radon累积分布变换Radon-CDT应用至从所述新数据集获得的多对标记队形，其中，所述多对标记队形表示第一组智能体的移动；
利用CCA在Radon-CDT空间中预测从所述新数据集获得的所述多对标记队形的对应反击标记队形，得到所述预测的反击标记队形，其中，所述预测的反击标记队形表示第二组智能体的移动；以及
将所述预测的标记队形从所述Radon-CDT空间反转到图像空间。
6.根据权利要求5所述的计算机实现方法，其中，所述一个或更多个处理器还执行以下操作：应用逆Radon累积分布变换iRadon-CDT以在所述图像空间中形象化反击标记队形。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有用于预测多智能体移动的计算机程序产品，所述计算机程序产品包括：
存储在非暂时性计算机可读介质上的计算机可读指令，所述计算机可读指令能够通过具有一个或更多个处理器的计算机执行，以使所述处理器执行以下操作：
将Radon累积分布变换Radon-CDT应用至从数据集获得的多对标记队形，其中，标记队形表示智能体移动；以及
识别针对所述多对标记队形的典型相关分析CCA成分，
利用CCA在Radon-CDT空间中预测从新数据集获得的所述多对标记队形的对应反击标记队形，得到预测的反击标记队形，其中，所述预测的反击标记队形表示第二组智能体的移动；以及
将所述预测的标记队形从所述Radon-CDT空间反转至图像空间，并且基于所述预测的反击标记队形来调整装置的控制参数。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有用于预测多智能体移动的计算机程序产品，所述计算机程序产品包括：
存储在非暂时性计算机可读介质上的计算机可读指令，所述计算机可读指令能够通过具有一个或更多个处理器的计算机执行，以使所述处理器执行以下操作：
利用典型相关分析CCA成分学习从数据集获得的多对标记队形之间的关系，其中，标记队形表示智能体移动；
利用所学习的关系和新标记队形来预测针对新数据集的反击标记队形；
基于预测的反击标记队形来调整装置的控制参数；以及
将Radon累积分布变换Radon-CDT应用至从所述新数据集获得的多对标记队形，其中，所述多对标记队形表示第一组智能体的移动；
利用CCA在Radon-CDT空间中预测从所述新数据集获得的所述多对标记队形的对应反击标记队形，得到所述预测的反击标记队形，其中，所述预测的反击标记队形表示第二组智能体的移动；以及
将所述预测的标记队形从所述Radon-CDT空间反转到图像空间。
9.根据权利要求8所述的计算机可读存储介质，所述计算机程序产品还包括用于使所述一个或更多个处理器还执行以下操作的指令，所述操作为：应用逆Radon累积分布变换iRadon-CDT以在所述图像空间中形象化反击标记队形。
CN201880021345.1A 2017-05-05 2018-05-04 预测多智能体移动的系统、计算机实现方法和存储介质 Active CN110520813B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762502441P 2017-05-05 2017-05-05
US62/502,441 2017-05-05
PCT/US2018/031240 WO2018204877A1 (en) 2017-05-05 2018-05-04 Prediction of multi-agent adversarial movements through signature-formations using radon-cumulative distribution transform and canonical correlation analysis

Publications (2)

Publication Number Publication Date
CN110520813A CN110520813A (zh) 2019-11-29
CN110520813B true CN110520813B (zh) 2022-06-24

Family

ID=64014806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880021345.1A Active CN110520813B (zh) 2017-05-05 2018-05-04 预测多智能体移动的系统、计算机实现方法和存储介质

Country Status (4)

Country Link
US (1) US10755424B2 (zh)
EP (1) EP3619587A4 (zh)
CN (1) CN110520813B (zh)
WO (1) WO2018204877A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401858B2 (en) * 2017-08-29 2019-09-03 Waymo Llc Arranging passenger pickups for autonomous vehicles
US11364904B2 (en) * 2019-03-26 2022-06-21 GM Global Technology Operations LLC Path-planning fusion for a vehicle
US11402487B2 (en) * 2019-04-18 2022-08-02 GM Global Technology Operations LLC Joint radon transform association
CN110275527B (zh) * 2019-05-29 2022-02-11 南京航空航天大学 一种基于改进拟态物理法的多智能体系统运动控制方法
CN111028548B (zh) * 2019-12-11 2021-01-29 中国人民解放军93209部队 一种基于飞行热力图的无人机适飞空域划设方法及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063541A (zh) * 2014-06-18 2014-09-24 南京邮电大学 基于分层决策机制的多机器人协作方法
CN104090573A (zh) * 2014-06-27 2014-10-08 赵希源 一种基于蚁群算法的机器人足球动态决策装置及其方法
CN105676216A (zh) * 2016-03-21 2016-06-15 西安电子科技大学 基于队形的慢速编队目标跟踪方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031279B2 (en) 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
US8913783B2 (en) 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
EP3002608B1 (en) * 2010-01-05 2018-12-05 Isolynx, LLC System for displaying athletic event information on a scoreboard
US20120004849A1 (en) * 2010-03-22 2012-01-05 Schlumberger Technology Corporation Efficient windowed radon transform
US8706668B2 (en) * 2010-06-02 2014-04-22 Nec Laboratories America, Inc. Feature set embedding for incomplete data
US9177259B1 (en) * 2010-11-29 2015-11-03 Aptima Inc. Systems and methods for recognizing and reacting to spatiotemporal patterns
US20140236331A1 (en) * 2013-02-21 2014-08-21 Sap Portals Israel Ltd. Real-time decision making in sports
US10140575B2 (en) * 2013-11-15 2018-11-27 Disney Enterprises, Inc. Sports formation retrieval
US10089330B2 (en) * 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
US9610491B2 (en) * 2014-07-11 2017-04-04 ProSports Technologies, LLC Playbook processor
US10062033B2 (en) * 2014-09-26 2018-08-28 Disney Enterprises, Inc. Analysis of team behaviors using role and formation information
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US20180129778A1 (en) * 2015-05-28 2018-05-10 Genepeeks, Inc. Systems and methods for providing improved prediction of carrier status for spinal muscular atrophy
CA2913432A1 (en) * 2015-11-26 2016-01-27 Robert Zakaluk System and method for identifying, analyzing, and reporting on players in a game from video
EP3391239A4 (en) * 2015-12-14 2020-02-26 Stats Llc SYSTEM FOR INTERACTIVE SPORT ANALYTICS USING MULTIPLE TEMPLATE ORIENTATION AND DISCRIMINATING CLUSTERING
CA3041148C (en) * 2017-01-06 2023-08-15 Sportlogiq Inc. Systems and methods for behaviour understanding from trajectories
US10583324B2 (en) * 2017-04-06 2020-03-10 Hrl Laboratories, Llc Explicit prediction of adversary movements with canonical correlation analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063541A (zh) * 2014-06-18 2014-09-24 南京邮电大学 基于分层决策机制的多机器人协作方法
CN104090573A (zh) * 2014-06-27 2014-10-08 赵希源 一种基于蚁群算法的机器人足球动态决策装置及其方法
CN105676216A (zh) * 2016-03-21 2016-06-15 西安电子科技大学 基于队形的慢速编队目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A CANONICAL CORRELATION ANALYSIS BASED MOTION MODEL FOR;Tom Heyman等;《 2012 Visual Communications and Image Processing》;20130117;全文 *
The Radon Cumulative Distribution Transform and Its Application to Image Classification;Soheil Kolouri等;《 IEEE Transactions on Image Processing 》;20151217;全文 *

Also Published As

Publication number Publication date
EP3619587A4 (en) 2021-01-06
WO2018204877A1 (en) 2018-11-08
US20180322642A1 (en) 2018-11-08
CN110520813A (zh) 2019-11-29
EP3619587A1 (en) 2020-03-11
US10755424B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
CN110520813B (zh) 预测多智能体移动的系统、计算机实现方法和存储介质
Makansi et al. Overcoming limitations of mixture density networks: A sampling and fitting framework for multimodal future prediction
US10583324B2 (en) Explicit prediction of adversary movements with canonical correlation analysis
Xie et al. Inferring" dark matter" and" dark energy" from videos
JP6625220B2 (ja) シーン内のオブジェクトのアクションを検出する方法及びシステム
CN110462684B (zh) 对对象移动进行隐式预测的系统、计算机可读介质与方法
Li et al. Tracking in low frame rate video: A cascade particle filter with discriminative observers of different life spans
US9846845B2 (en) Hierarchical model for human activity recognition
US10529077B2 (en) System and method for detecting interaction
Papadourakis et al. Multiple objects tracking in the presence of long-term occlusions
Chen et al. Action detection by implicit intentional motion clustering
Li et al. Rehar: Robust and efficient human activity recognition
US20170006215A1 (en) Methods and systems for controlling a camera to perform a task
US20150347918A1 (en) Future event prediction using augmented conditional random field
Bour et al. Crowd behavior analysis from fixed and moving cameras
Morimitsu et al. Exploring structure for long-term tracking of multiple objects in sports videos
US20160277646A1 (en) Automatic device operation and object tracking based on learning of smooth predictors
Pobar et al. Mask R-CNN and Optical flow based method for detection and marking of handball actions
Zhu et al. Multi-level prediction Siamese network for real-time UAV visual tracking
Ahmadi et al. Efficient and fast objects detection technique for intelligent video surveillance using transfer learning and fine-tuning
Fan et al. Forecasting hands and objects in future frames
Abulwafa et al. A fog based ball tracking (FB 2 T) system using intelligent ball bees
Vats et al. Pucknet: Estimating hockey puck location from broadcast video
Zięba et al. RegFlow: Probabilistic flow-based regression for future prediction
Felsen Learning to predict human behavior from video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant