CN114722232B - 预测运动轨迹的方法、装置、设备和存储介质 - Google Patents
预测运动轨迹的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114722232B CN114722232B CN202210406778.7A CN202210406778A CN114722232B CN 114722232 B CN114722232 B CN 114722232B CN 202210406778 A CN202210406778 A CN 202210406778A CN 114722232 B CN114722232 B CN 114722232B
- Authority
- CN
- China
- Prior art keywords
- objects
- motion
- determining
- interaction characteristics
- historical motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000003993 interaction Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 abstract description 17
- 238000004590 computer program Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 22
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
根据本公开的实施例，提供了一种预测运动轨迹的方法、装置、电子设备、计算机存储介质和计算机程序产品。在此描述的方法包括：获取多个对象在第一时间段内各自的历史运动轨迹；基于历史运动轨迹，确定与多个对象相关联的交互特性，交互特性至少指示多个对象中至少三个对象之间在历史运动轨迹上的相关性；以及基于交互特性和历史运动轨迹，确定多个对象在第二时间段的预期运动轨迹。基于以上的方式，本公开能够在预测运动轨迹的过程考虑至少三个对象的整体运动相关性，进而能够更为准确地预测对象的未来运动轨迹。
Description
技术领域
本公开的示例实施例总体涉及计算机领域，特别地涉及用于预测运动轨迹的方法、装置、设备和计算机可读存储介质。
背景技术
近年来，人工智能技术已经逐渐被应用于人们的生活的各个方面。基于人工智能的运动轨迹预测成为近年来的研究热点。运动轨迹预测是诸如自动驾驶和人类行为理解中的关键技术。因此，如何提高运动轨迹预测的准确性，已经成为当前关注的焦点。
发明内容
本公开的实施例提供了一种预测运动轨迹的方案。
在本公开的第一方面，提供了一种预测运动轨迹的方法。该方法包括：获取多个对象在第一时间段内各自的历史运动轨迹；基于历史运动轨迹，确定与多个对象相关联的交互特性，交互特性至少指示多个对象中至少三个对象之间在历史运动轨迹上的相关性；以及基于交互特性和历史运动轨迹，确定多个对象在第二时间段的预期运动轨迹。
在本公开的第二方面中，提供了一种用于预测运动轨迹的装置。该装置包括：获取模块，被配置为获取多个对象在第一时间段内各自的历史运动轨迹；第一确定模块，被配置为基于历史运动轨迹，确定与多个对象相关联的交互特性，交互特性至少指示多个对象中至少三个对象之间在历史运动轨迹上的相关性；以及第二确定模块，被配置为基于交互特性和历史运动轨迹，确定多个对象在第二时间段的预期运动轨迹。
在本公开的第三方面，提供了一种电子设备，包括：存储器和处理器；其中存储器用于存储一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现根据本公开的第一方面的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行实现根据本公开的第一方面的方法。
在本公开的第五方面，提供了一种计算机程序产品，其包括计算机可执行指令，其中计算机可执行指令在被处理器执行时实现根据本公开的第一方面的方法。
根据本公开的各种实施例，本公开能够考虑一组对象中至少三个对象的整体运动相关性，这能够更为准确地对现实中对象的运动进行建模，从而能够提供更为准确的预测运动轨迹。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的实施例的对象运动相关性的示意图；
图3示出了根据本公开的实施例的确定对象的特征表示的示意图；
图4示出了根据本公开的实施例的轨迹预测模型的示意图；
图5示出了根据本公开的多个实施例的压缩网络的过程的流程图；
图6示出了根据本公开的一些实施例的用于预测运动轨迹的装置的示意性结构框图；以及
图7示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如本文所使用的，“神经网络”能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。神经网络中的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络模型的输入，而输出层的输出作为神经网络模型的最终输出。神经网络模型的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。
如上文所讨论的，运动轨迹预测问题是诸如自动驾驶和人类行为理解中的关键技术。传统的运动轨迹预测技术通常仅仅考虑对象资深的历史运动轨迹，而忽略了对象与其他对象之间的交互关系。这导致这样的运动轨迹预测与现实中对象的运动规律不符，从而难以提供准确的轨迹预测。
根据本公开的实现，提出了一种用于预测运动轨迹的方案。在该方案中，首先，可以获取针对分类神经网络的卷积层的候选裁剪方案，候选裁剪方案指示卷积层的多个通道中的一组通道将被保留。进一步地，可以利用分类神经网络处理一组样本，以确定与一组通道相关联的特征图。
进一步地，可以基于特征图确定第一度量和第二度量，其中第一度量指示一组样本中具有相同类别的样本的特征表示之间的第一差异，第二度量指示具有不同类别的样本的特征表示之间的第二差异。随后，可以基于第一度量和第二度量来更新候选裁剪方案，以确定用于裁剪分类神经网络的卷积层的目标裁剪方案。
根据本公开的各种实施例，本公开能够协同地考虑保留的一组通道对于分类神经网络的影响，进而更为有效地压缩分类神经网络。此外，通过压缩分类神经网络，本公开的实施例可以降低神经网络对于所部署的计算设备的要求，从而提高神经网络的扩展性。
以下进一步结合附图来详细描述该方案的各种示例实现。
示例环境
首先参见图1，其示意性示出了其中可以实施根据本公开的示例性实现方式的环境100的示意图。如图1所示，环境100包括计算设备130。计算设备130可以确定多个对象110(单独或统一称为对象110)的历史运动轨迹120。
在一些实施例中，对象110可以包括任何适当的运动对象，其示例可以包括但不限于：人类、动物和车辆等。应当理解，在自然界中，这样的对象110需要遵守一定的规律来进行相应的运动。例如，在交通场景中，交通对象通常在运动过程中需要避免碰撞的发生。
如图1所示，计算设备130可以利用轨迹预测模型140来基于对象110的历史运动轨迹120来确定对象110的预期运动轨迹150。
在一些示例中，对象110例如可以包括交通场景中的交通对象(例如，行人、机动车辆、非机动车辆等)，计算设备130(例如，车载设备、路侧设备或者云端服务器)可以基于交通对象的历史运动轨迹来预测其未来时间段的预期运动轨迹，从而能够例如为智能驾驶车辆或自动驾驶车辆的决策提供依据。
在又一些示例中，对象110例如可以包括赛场中的多名运动员，计算设备130可以根据运动员在一定时间段的历史运动轨迹来预测其在未来时间段的预期运动轨迹，从而为比赛战术制定提供参考。
应当理解，以上示例仅是示意性的。本公开的预测运动轨迹的方案可以被应用于分析任何适当的对象的运动行为，本公开不旨在对此进行限定。以下将结合图2至图5来介绍关于确定预期运动估计150的详细过程。
对象运动相关性
图2示出了根据本公开的实施例的对象运动相关性的示意图200。如图2所示，在运动场景中，多个对象210(单独或统一称为对象210)可以处于不同的运动状态，其也可能收到周围不同数目的对象210的影响。
在这种情况下，如果仅考虑对象210自身过去的运动轨迹，则会难以准确地预测对象210的未来运动轨迹。此外，一些轨迹预测方案可能也仅仅考虑对象两两之间的运动关系，也难以做出准确的轨迹预测。
例如，在图2的示例中，该场景包括多种对象运动相关性。首先，该场景包括第一组对象250(两个对象)之间的避免碰撞的“高”相关性和第二组对象260(两个对象)之间的避免碰撞的“高”相关性。此外，该场景还包括第三组对象270(三个对象)之间的会议行为的“中”相关性。另外，该场景还包括第四组对象280(四个对象)之间的结伴行为的“中”相关性。
因此，在轨迹预测中考虑以上不同尺度的对象运动相关性，将有助于提高轨迹预测的准确性。
对象特征表示确定
图3示出了根据本公开的实施例的确定对象的特征表示的示意图300。
如图3所示，多个对象310例如可以表示为 表示该多个对象310中第i个对象在第一时间段的历史运动轨迹。/>则表示第i个对象在第二时间段的预期运动轨迹。
如图3所示，计算设备130可以首先基于历史运动轨迹确定多个对象310两两之间的亲和度矩阵320，例如表示为该亲和度矩阵旨在表征对象之间的亲和度，以指示一对历史运动轨迹之间的关联程度。
在一些实现中，亲和度矩阵A中(i，j)位置的元素可以基于公式(1)来计算：
其中fQ(·)可以表示多层感知(MLP，MultilayerPerceptron)模型运算。
进一步地，计算设备130可以基于亲和度矩阵320来构建与不同尺度相对应的一组超图(Hypergraph)330-1、330-2和330-3(单独或统一称为超图330)。如图3所示，超图330-1对应于第一尺度，其中每条超边(hyperedge)连接两个节点。超图330-2对应于第二尺度，其中每条超边连接三个节点。超图330-3对应于第三尺度，其中每条超边连接五个节点。
在一些实施例中，计算设备130可以基于公式(2)来搜索亲密度矩阵320中的子矩阵，从而确定与不同尺度相对于的超图中的超边
s.t.|Ω|＝K(s)，vi∈Ω，i＝1，…，N (2)
其中，||·||1，1表示矩阵中所有元素的绝对值的和，s表示超图的尺度。公式(2)的目标在于搜索不同尺度s下的最为相关的预定数目的对象，并将其联系到一起来考虑群组行为。
在一些实施例中，计算设备130可以通过枚举算法、贪婪算法等适当方式来优化公式(2)，从而确定超图330中的超边。
基于这样的方式，本公开的实施例可以构建一个或多个超图，其可以对应于不同的尺度，例如连接两个节点的普通图，连接三个节点或更多个节点的超图。
在一些实施例中，计算设备130还可以基于该组超图来调整对象310的特征表示。对象310的初始特征表示(也称为初始节点特征表示)例如可以表征为
进一步地，计算设备130可以基于对象310的特征表示来确定对应超边的超边特征表示340-1、340-2和340-3。在一些实施例中，超边特征表示ei例如可以表示为：
其中，ri表示该超边对应的交互强度，ci，l表示类型向量，即交互属于第l种交互类型的概率。例如可以表示MLP模型运算。
在一些实施例中，计算设备130可以基于以下过程来确定交互强度ri和类型ci：
其中，σ(·)表示sigmoid函数，g是基于耿贝尔(Gumbel)分布采样确定的向量，表示温度系数，/>和/>例如可以表示MLP模型运算。
在一些实施例中，计算设备130还可以通过考虑与对象相关联的全部超边特征表示，来调整与对象对应的节点特征表示。具体地，该调整过程例如可以表示为：
其中，fv(·)表示可训练的MLP模型，[·，·]表示特征表示的级联。
在一些实施例中，计算设备130可以考虑全部尺度的超边特征表示350-1、350-2和350-3对于节点特征表示的更新，从而将最终的节点特征表示360确定为：
在一些实施例中，基于节点特征表示来确定超边特征表示，并利用超边特征表示来更新节点特征表示的过程例如可以被迭代地执行多次。
基于这样的方式，本公开的实施例能够获得融合了不同尺度对象交互特性的对象特征表示。
轨迹预测模型
图4示出了根据本公开的实施例的轨迹预测模型140的示意图400。如图4所示，轨迹预测模型140可以包括编码模块和解码模块。
在训练阶段，估计预测模型140可以利用训练对象的历史运动轨迹和未来运动轨迹而被训练。具体地，编码模块的处理过程可以表示为：
其中，和/>即上文讨论的用于确定对象特征表示的模型，V+表示与未来运动轨迹对应的特征表示，V-表示与历史运动轨迹对应的特征表示。μq和σq表示分布的均值和方差，/>和/>可以利用MLP模型来实现。
在训练过程中，可以通过采样来确定隐藏代码Z：并且编码模型的最终输出可以表示为Vout＝[Z，V-]。
在训练阶段，解码模型的处理过程可以表示为：
每个残差块例如可以基于一个GRU编码器和两个MLP来实现。
进一步地，在训练阶段，其损失函数可以表示为：
其中，α、β和γ表示超参，||·||2表示L2范数，KL(·||·)表示KL散度。
在训练轨迹预测模型140后，计算设备130可以利用轨迹预测模型140来处理一组对象的历史运动轨迹120。
与训练过程不同，在预测过程中，编码模块直接从分布中采样确定Z(其中，λ为超参)，从而基于历史运动轨迹120基于交互特性而被确定的节点特征表示和Z来确定到解码模块的第一输入。
进一步地，解码模块可以将节点特征表示作为第二输入，从而基于公式(10)和(11)来确定针对历史运动轨迹的预期运动轨迹150。
基于上文所讨论的过程，本公开的实施例能够考虑不同尺度的对象的运动相关性，从而能够更加准确地预测对象的未来运动轨迹。
示例过程
图5示出了根据本公开的一些实施例的压缩分类神经网络的过程500的流程图。过程500可以由图1的计算设备130来实现。为了方便讨论，将结合图1来描述过程500。
如图5所示，在框510，计算设备130获取多个对象在第一时间段内各自的历史运动轨迹。
在框520，计算设备130基于历史运动轨迹，确定与多个对象相关联的交互特性，交互特性至少指示多个对象中至少三个对象之间在历史运动轨迹上的相关性。
在框530，计算设备130基于交互特性和历史运动轨迹，确定多个对象在第二时间段的预期运动轨迹。
在一些实施例中，确定与多个对象相关联的交互特性包括：基于历史运动轨迹，确定多个对象两两之间的亲和度，亲和度指示一对历史运动轨迹之间的关联程度；以及基于亲和度，确定与多个对象相关联的交互特性。
在一些实施例中，基于亲和度确定与多个对象相关联的交互特性包括：基于亲和度，从多个对象中确定至少一个对象集合，对象集合包括预定数目的对象，预定数目的对象在历史运动轨迹上具有相关性；以及基于至少一个对象集合，确定与多个对象相关联的交互特性。
在一些实施例中，至少一个对象集合至少包括第一对象集合和第二对象集合，第一对象集合具有第一预定数目的对象，第二对象集合具有第二预定数目的对象，第一数目不同于第二数目。
在一些实施例中，交互特性被表征为一组超图，一组超图中包括与目标尺度对应的第一超图，第一超图包括与多个对象对应的多个节点，并且至少三个对象所对应的至少三个节点在第一超图中与同一条超边相关联，目标尺度指示第一超图中超边连接的节点的数目。
在一些实施例中，确定多个对象在第二时间段的预期运动轨迹包括：基于至少三个节点的节点特征表示、相关性的类型和相关性的强度，确定超边的超边特征表示；基于超边特征表示，调整节点特征表示；以及基于经调整的节点特征表示和历史运动轨迹，确定预期运动轨迹。
在一些实施例中，经调整的节点特征表示由轨迹预测模型的编码模块所生成，并且基于经调整的节点特征表示和历史运动轨迹确定预期运动轨迹包括：基于经调整的节点特征表示，确定到轨迹预测模型的解码模块的第一输入；基于历史运动轨迹，确定到解码模块的第二输入；以及利用解码模块处理第一输入和第二输入，确定预期运动轨迹。
在一些实施例中，轨迹预测模型基于一组训练对象在第三时间段的第一组运动轨迹和在第四时间段的第二组运动轨迹而被训练。
示例装置和设备
本公开的实施例还提供了用于实现上述方法或过程的相应装置。图6示出了根据本公开的一些实施例的预测运动轨迹的装置600的示意性结构框图。
如图6所示，装置600可以包括获取模块610，被配置为获取多个对象在第一时间段内各自的历史运动轨迹。装置600还可以包括第一确定模块620，被配置为基于历史运动轨迹，确定与多个对象相关联的交互特性，交互特性至少指示多个对象中至少三个对象之间在历史运动轨迹上的相关性。装置600还可以包括第二确定模块630，被配置为基于交互特性和历史运动轨迹，确定多个对象在第二时间段的预期运动轨迹。
在一些实施例中，第一确定模块620还被配置为：基于历史运动轨迹，确定多个对象两两之间的亲和度，亲和度指示一对历史运动轨迹之间的关联程度；以及基于亲和度，确定与多个对象相关联的交互特性。
在一些实施例中，第一确定模块620还被配置为：基于亲和度，从多个对象中确定至少一个对象集合，对象集合包括预定数目的对象，预定数目的对象在历史运动轨迹上具有相关性；以及基于至少一个对象集合，确定与多个对象相关联的交互特性。
在一些实施例中，至少一个对象集合至少包括第一对象集合和第二对象集合，第一对象集合具有第一预定数目的对象，第二对象集合具有第二预定数目的对象，第一数目不同于第二数目。
在一些实施例中，交互特性被表征为一组超图，一组超图中包括与目标尺度对应的第一超图，第一超图包括与多个对象对应的多个节点，并且至少三个对象所对应的至少三个节点在第一超图中与同一条超边相关联，目标尺度指示第一超图中超边连接的节点的数目。
在一些实施例中，第二确定模块630还被配置为：基于至少三个节点的节点特征表示、相关性的类型和相关性的强度，确定超边的超边特征表示；基于超边特征表示，调整节点特征表示；以及基于经调整的节点特征表示和历史运动轨迹，确定预期运动轨迹。
在一些实施例中，经调整的节点特征表示由轨迹预测模型的编码模块所生成，并且基于经调整的节点特征表示和历史运动轨迹确定预期运动轨迹包括：基于经调整的节点特征表示，确定到轨迹预测模型的解码模块的第一输入；基于历史运动轨迹，确定到解码模块的第二输入；以及利用解码模块处理第一输入和第二输入，确定预期运动轨迹。
在一些实施例中，轨迹预测模型基于一组训练对象在第三时间段的第一组运动轨迹和在第四时间段的第二组运动轨迹而被训练。
装置600中所包括的单元可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个单元可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置600中的部分或者全部单元可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，等等。
图7示出了其中可以实施本公开的一个或多个实施例的计算设备/服务器700的框图。应当理解，图7所示出的计算设备/服务器700仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。
如图7所示，计算设备/服务器700是通用计算设备的形式。计算设备/服务器700的组件可以包括但不限于一个或多个处理器或处理单元710、存储器720、存储设备730、一个或多个通信单元740、一个或多个输入设备750以及一个或多个输出设备760。处理单元710可以是实际或虚拟处理器并且能够根据存储器720中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备/服务器700的并行处理能力。
计算设备/服务器700通常包括多个计算机存储介质。这样的介质可以是计算设备/服务器700可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器720可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备730可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/服务器700内被访问。
计算设备/服务器700可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图7中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器720可以包括计算机程序产品725，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元740实现通过通信介质与其他计算设备进行通信。附加地，计算设备/服务器700的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备/服务器700可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备750可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备770可以是一个或多个输出设备，例如显示器、扬声器、打印机等。计算设备/服务器700还可以根据需要通过通信单元740与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与计算设备/服务器700交互的设备进行通信，或者与使得计算设备/服务器700与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中一条或多条计算机指令被处理器执行以实现上文描述的方法。
这里参照根据本公开实现的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各实现。
Claims (10)
1.一种预测运动轨迹的方法，包括：
获取多个对象在第一时间段内各自的历史运动轨迹；
基于所述历史运动轨迹，确定与所述多个对象相关联的交互特性，所述交互特性至少指示所述多个对象中至少三个对象之间在历史运动轨迹上的相关性，其中所述交互特性被表征为一组超图，所述一组超图中包括与目标尺度对应的第一超图，所述第一超图包括与所述多个对象对应的多个节点，并且所述至少三个对象所对应的至少三个节点在所述第一超图中与同一条超边相关联，所述目标尺度指示所述第一超图中超边连接的节点的数目；以及
基于所述交互特性和所述历史运动轨迹，确定所述多个对象在第二时间段的预期运动轨迹。
2.根据权利要求1所述的方法，其中确定与所述多个对象相关联的交互特性包括：
基于所述历史运动轨迹，确定所述多个对象两两之间的亲和度，所述亲和度指示一对历史运动轨迹之间的关联程度；以及
基于所述亲和度，确定与所述多个对象相关联的所述交互特性。
3.根据权利要求2所述的方法，其中基于所述亲和度确定与所述多个对象相关联的所述交互特性包括：
基于所述亲和度，从所述多个对象中确定至少一个对象集合，所述对象集合包括预定数目的对象，所述预定数目的对象在历史运动轨迹上具有相关性；以及
基于所述至少一个对象集合，确定与所述多个对象相关联的所述交互特性。
4.根据权利要求3所述的方法，其中所述至少一个对象集合至少包括第一对象集合和第二对象集合，所述第一对象集合具有第一预定数目的对象，所述第二对象集合具有第二预定数目的对象，所述第一数目不同于所述第二数目。
5.根据权利要求1所述的方法，其中确定所述多个对象在第二时间段的预期运动轨迹包括：
基于所述至少三个节点的节点特征表示、所述相关性的类型和所述相关性的强度，确定所述超边的超边特征表示；
基于所述超边特征表示，调整所述节点特征表示；以及
基于经调整的所述节点特征表示和所述历史运动轨迹，确定所述预期运动轨迹。
6.根据权利要求5所述的方法，其中所述经调整的节点特征表示由轨迹预测模型的编码模块所生成，并且基于经调整的所述节点特征表示和所述历史运动轨迹确定所述预期运动轨迹包括：
基于经调整的所述节点特征表示，确定到轨迹预测模型的解码模块的第一输入；
基于所述历史运动轨迹，确定到所述解码模块的第二输入；以及
利用解码模块处理所述第一输入和所述第二输入，确定所述预期运动轨迹。
7.根据权利要求6所述的方法，其中所述轨迹预测模型基于一组训练对象在第三时间段的第一组运动轨迹和在第四时间段的第二组运动轨迹而被训练。
8.一种用于预测运动轨迹的装置，包括：
获取模块，被配置为获取多个对象在第一时间段内各自的历史运动轨迹；
第一确定模块，被配置为基于所述历史运动轨迹，确定与所述多个对象相关联的交互特性，所述交互特性至少指示所述多个对象中至少三个对象之间在历史运动轨迹上的相关性，其中所述交互特性被表征为一组超图，所述一组超图中包括与目标尺度对应的第一超图，所述第一超图包括与所述多个对象对应的多个节点，并且所述至少三个对象所对应的至少三个节点在所述第一超图中与同一条超边相关联，所述目标尺度指示所述第一超图中超边连接的节点的数目；以及
第二确定模块，被配置为基于所述交互特性和所述历史运动轨迹，确定所述多个对象在第二时间段的预期运动轨迹。
9.一种电子设备，包括：
存储器和处理器；
其中所述存储器用于存储一条或多条计算机指令，其中所述一条或多条计算机指令被所述处理器执行以实现根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其中所述一条或多条计算机指令被处理器执行以实现根据权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210406778.7A CN114722232B (zh) | 2022-04-18 | 2022-04-18 | 预测运动轨迹的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210406778.7A CN114722232B (zh) | 2022-04-18 | 2022-04-18 | 预测运动轨迹的方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114722232A CN114722232A (zh) | 2022-07-08 |
| CN114722232B true CN114722232B (zh) | 2023-12-12 |
Family
ID=82243805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210406778.7A Active CN114722232B (zh) | 2022-04-18 | 2022-04-18 | 预测运动轨迹的方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114722232B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
| CN112766468A (zh) * | 2021-04-08 | 2021-05-07 | 北京三快在线科技有限公司 | 一种轨迹预测方法、装置、存储介质及电子设备 |
| CN112774204A (zh) * | 2021-01-22 | 2021-05-11 | 北京字跳网络技术有限公司 | 一种角色碰撞规避方法、装置、设备以及存储介质 |
| CN113537445A (zh) * | 2020-04-14 | 2021-10-22 | 北京京东乾石科技有限公司 | 一种轨迹预测方法、装置、设备和存储介质 |
| CN113658214A (zh) * | 2021-08-16 | 2021-11-16 | 北京百度网讯科技有限公司 | 轨迹预测方法、碰撞检测方法、装置、电子设备及介质 |
-
2022
- 2022-04-18 CN CN202210406778.7A patent/CN114722232B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401233A (zh) * | 2020-03-13 | 2020-07-10 | 商汤集团有限公司 | 轨迹预测方法、装置、电子设备及介质 |
| CN113537445A (zh) * | 2020-04-14 | 2021-10-22 | 北京京东乾石科技有限公司 | 一种轨迹预测方法、装置、设备和存储介质 |
| CN112774204A (zh) * | 2021-01-22 | 2021-05-11 | 北京字跳网络技术有限公司 | 一种角色碰撞规避方法、装置、设备以及存储介质 |
| CN112766468A (zh) * | 2021-04-08 | 2021-05-07 | 北京三快在线科技有限公司 | 一种轨迹预测方法、装置、存储介质及电子设备 |
| CN113658214A (zh) * | 2021-08-16 | 2021-11-16 | 北京百度网讯科技有限公司 | 轨迹预测方法、碰撞检测方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114722232A (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10699194B2 (en) | System and method for mimicking a neural network without access to the original training dataset or the target model | |
| CN112560886A (zh) | 训练类条件生成对抗序列网络 | |
| CN110476172A (zh) | 用于卷积神经网络的神经架构搜索 | |
| CN112116090B (zh) | 神经网络结构搜索方法、装置、计算机设备及存储介质 | |
| CN112488104A (zh) | 深度及置信度估计系统 | |
| CN109447096B (zh) | 一种基于机器学习的扫视路径预测方法和装置 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN113240155A (zh) | 预测碳排放量的方法、装置及终端 | |
| CN112966754B (zh) | 样本筛选方法、样本筛选装置及终端设备 | |
| CN114194211A (zh) | 一种自动驾驶方法、装置及电子设备和存储介质 | |
| CN113015983A (zh) | 包括持续学习世界模型的自主系统及相关方法 | |
| Fragkiadaki et al. | Motion prediction under multimodality with conditional stochastic networks | |
| CN111126249A (zh) | 一种大数据和贝叶斯相结合的行人重识别方法及装置 | |
| CN115909002A (zh) | 一种基于对比学习的图像翻译方法 | |
| KR20230032985A (ko) | 이미지 분류기의 즉석 보정 | |
| JP2020191088A (ja) | 半定値計画問題を解く層を有するニューラルネットワーク | |
| CN112418432A (zh) | 分析多个物理对象之间的相互作用 | |
| CN112988851B (zh) | 反事实预测模型数据处理方法、装置、设备及存储介质 | |
| CN114722232B (zh) | 预测运动轨迹的方法、装置、设备和存储介质 | |
| CN117010272A (zh) | 基于强化学习的决策生成方法、装置、计算机设备和介质 | |
| CN114399901B (zh) | 一种控制交通系统的方法和设备 | |
| CN111260074A (zh) | 一种超参数确定的方法、相关装置、设备及存储介质 | |
| KR102413588B1 (ko) | 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램 | |
| CN117217324A (zh) | 一种模型训练方法以及相关设备 | |
| CN116805384A (zh) | 自动搜索方法、自动搜索的性能预测模型训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |