CN113870319A - 基于图卷积特征编解码的轨迹预测系统及方法 - Google Patents

基于图卷积特征编解码的轨迹预测系统及方法 Download PDF

Info

Publication number
CN113870319A
CN113870319A CN202111464549.2A CN202111464549A CN113870319A CN 113870319 A CN113870319 A CN 113870319A CN 202111464549 A CN202111464549 A CN 202111464549A CN 113870319 A CN113870319 A CN 113870319A
Authority
CN
China
Prior art keywords
decoder
trajectory
track
encoder
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111464549.2A
Other languages
English (en)
Other versions
CN113870319B (zh
Inventor
沈旭
彭成斌
李鑫庆
刘玉坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Longdian Yunchuang Technology Consulting Co ltd
Shenzhen Wanzhida Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202111464549.2A priority Critical patent/CN113870319B/zh
Publication of CN113870319A publication Critical patent/CN113870319A/zh
Application granted granted Critical
Publication of CN113870319B publication Critical patent/CN113870319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种基于图卷积特征编解码的轨迹预测系统及方法。所述系统包括编码器、图卷积模块、注意力模块以及复合解码器等。所述方法主要是通过设计基于注意力机制的递归自编码器作为特征提取器；采用图卷积算法进行去噪，实现基于个体相关性的轨迹预测。本发明采用双解码器提高轨迹预测的准确性，解决了现有轨迹预测方法预测能力差以及准确率不高的问题。

Description

基于图卷积特征编解码的轨迹预测系统及方法
技术领域
本发明涉及一种轨迹预测分析方法，尤其涉及一种基于图卷积特征编解码的轨迹预测系统及方法，属于计算机科学的机器学习领域。
背景技术
随着科技的进步，越来越多的人工智能被应用于轨迹预测领域。由于轨迹预测领域可以产生许多的经济效益，因此我们绝对在这个领域上做出一些突破。轨迹预测人工智能是面向研究领域的具有一定现实应用意义的深度学习算法，它能自动执行工作，是靠训练出来的模型来实现各种功能的一个系统。它可以为人类调参训练，也可以按照预先训练好的模型运行，而轨迹预测系统则可封装人工智能技术便于用户操作。
为了提高轨迹预测网络的准确性，需要将网络用于不同条件下的轨迹预测，这样网络可以根据不同极端情况下的不同物体运动轨迹得到未来一段时间内的准确的预测轨迹。
近年来深度学习算法在各个领域都取得了巨大突破，尤其在逻辑回归及分类问题领域有着各种优秀的深度学习算法大量涌现。例如ResNet、图卷积神经网络（GCN）、自编码器（auto-encoder）、注意力（Attention）机制等。将强大的深度学习算法运用于轨迹预测领域能有效提高算法的可靠性，增加定位精度和准确度，从而扩大应用范围，大大增强应用广度。现有技术中存在利用自编码器来进行轨迹预测的方法，但是这些方法在很大程度上存在着缺陷，例如：在同一段轨迹进行预测时，往往会根据不同的应用场景提出不同要求，包括但不限于修改不同的时间步来预测满足预测轨迹长短、根据数据插补来模拟轨迹段非连续情况下的预测性能，等等。而且，现有轨迹预测方法大多表现出预测能力差以及准确率不高等缺陷。
发明内容
本发明的主要目的在于提供一种基于图卷积特征编解码的轨迹预测系统及方法，以克服现有技术中的不足。
为实现前述发明目的，本发明采用的技术方案包括：
本发明的一个方面提供了一种基于图卷积特征编解码的轨迹预测系统，其包括：编码器、图卷积模块、注意力模块以及复合解码器；所述编码器与图卷积模块连接，所述图卷积模块通过注意力模块与复合解码器连接，所述编码器用于提取物体运动轨迹的深层特征，所述图卷积模块用于对所述运动轨迹的深层特征进行去噪及相关性分析，所述注意力模块用于增强编码器，所述复合解码器包括重建解码器和预测解码器，所述重建解码器用于完整重建输入数据，所述预测解码器用于重建未来的预测数据。
其中，所述图卷积模块首先采用点积计算相似性的方法计算出物体运动轨迹的轨迹点之间的相似性矩阵
Figure 327097DEST_PATH_IMAGE001
：
Figure 185332DEST_PATH_IMAGE002
其中
Figure 841DEST_PATH_IMAGE003
代表所述运动轨迹的深层特征，
Figure 944526DEST_PATH_IMAGE004
代表深层特征矩阵的转置，之后计算每个轨迹点
Figure 503683DEST_PATH_IMAGE005
对其他轨迹点
Figure 216424DEST_PATH_IMAGE006
的相似度均值，利用均值
Figure 202835DEST_PATH_IMAGE007
对轨迹点
Figure 633816DEST_PATH_IMAGE006
进行筛选，相似性
Figure 731085DEST_PATH_IMAGE008
小于均值
Figure 298333DEST_PATH_IMAGE007
的轨迹点
Figure 455645DEST_PATH_IMAGE006
与当前轨迹点
Figure 108343DEST_PATH_IMAGE005
无关被舍弃，相似性
Figure 274882DEST_PATH_IMAGE008
大于均值
Figure 962215DEST_PATH_IMAGE007
的轨迹点
Figure 290429DEST_PATH_IMAGE006
则保留作为邻接矩阵
Figure 164844DEST_PATH_IMAGE009
中的邻居节点
Figure 603915DEST_PATH_IMAGE010
，即：
Figure 145755DEST_PATH_IMAGE011
Figure 644869DEST_PATH_IMAGE012
其中
Figure 272160DEST_PATH_IMAGE009
表示轨迹点之间的邻接矩阵，
Figure 514922DEST_PATH_IMAGE010
等于
Figure 176848DEST_PATH_IMAGE013
表示第
Figure 846864DEST_PATH_IMAGE005
个轨迹点与第
Figure 695871DEST_PATH_IMAGE006
个轨迹点互为邻居并能进行特征聚合，
Figure 742324DEST_PATH_IMAGE010
等于
Figure 258756DEST_PATH_IMAGE014
表示舍弃，然后将获取的轨迹点之间的邻接矩阵和轨迹的深层特征输入图卷积网络，实现对深层特征的去噪，即：
Figure 99673DEST_PATH_IMAGE015
。
本发明的另一个方面提供了一种基于图卷积特征编解码的轨迹预测方法，其包括：
构建前述的基于图卷积特征编解码的轨迹预测系统；
使用编码器从输入的数据中提取出物体运动轨迹的深层特征；
使用图卷积模块用于对所述运动轨迹的深层特征进行去噪及相关性分析；
使用注意力模块增强编码器，以将所述运动轨迹的深层特征转换为换成带注意力的深层轨迹向量；
将所述换成带注意力的深层轨迹向量输入复合解码器，以其中的重建解码器用于完整重建输入数据，并以其中的预测解码器重建未来的预测数据。
较之现有技术，本发明的基于图卷积特征编解码的轨迹预测系统及方法能够有效解决现有轨迹预测方法的不足，且预测能力以及准确率也均有显著提升。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明一典型实施例中一种基于注意力机制的递归自编码器及图卷积模型的轨迹预测系统的示意图；
图2是本发明一典型实施例中一种短接层的示意图；
图3是本发明一典型实施例中一种基于注意力机制的递归自编码器及图卷积模型的轨迹预测方法的流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
请参阅图1所示，在本发明的一个典型实施例中，一种基于图卷积特征编解码的轨迹预测系统包括编码器、注意力模块、图卷积模块以及复合解码器。
根据现有自编码器可以得出轨迹预测信息，但是在本实施例中除了要得到轨迹、位置信息之外，还要保证信息在一定程度上的准确性，这样的需求是现有自编码器无法满足的。因此需对现有自编码器进行改进，以确保信息的误差够小。
请继续参阅图1所示，本实施例的编码器的网络结构有4层LSTM神经网络，通道数依次为128、64、32、16，其能够获得的深层特征的尺寸为
Figure 435977DEST_PATH_IMAGE016
，
Figure 20542DEST_PATH_IMAGE017
为输入数据序列时间步的长度；经过所述编码器（encoder）的编码，能够得到物体的运动轨迹的深层特征
Figure 391480DEST_PATH_IMAGE018
，如下式所示：
Figure 403299DEST_PATH_IMAGE019
取第
Figure 492477DEST_PATH_IMAGE020
个特征输入为
Figure 615154DEST_PATH_IMAGE021
，i=1,2,…,128，则对应的编码输出为
Figure 106178DEST_PATH_IMAGE022
，j=1,2,…,128。
请继续参阅图1所示，在本实例中使用图卷积模块对编码器输出的物体运动轨迹的深层特征进行去噪及相关性分析，以避免少部分异常轨迹特征对最终的预测结果产生较大影响。其中，所述图卷积模块是基于图卷积神经网络构建的，包括邻接矩阵构建和特征噪声过滤两部分。进一步的，所述图卷积模块首先是采用点积计算相似性的方法计算出物体运动轨迹中各轨迹点之间的相似性矩阵
Figure 288898DEST_PATH_IMAGE023
：
Figure 599794DEST_PATH_IMAGE002
其中
Figure 260582DEST_PATH_IMAGE003
代表编码器输出的物体运动轨迹的深层特征矩阵，
Figure 883411DEST_PATH_IMAGE004
代表深层特征矩阵的转置。计算每个轨迹点
Figure 971453DEST_PATH_IMAGE005
的对其他轨迹点
Figure 35224DEST_PATH_IMAGE006
的相似度均值，利用均值
Figure 499703DEST_PATH_IMAGE007
对轨迹点
Figure 699740DEST_PATH_IMAGE006
进行筛选，相似性
Figure 224262DEST_PATH_IMAGE008
小于均值
Figure 509750DEST_PATH_IMAGE007
的轨迹点
Figure 43500DEST_PATH_IMAGE006
可以看作与当前轨迹点
Figure 98043DEST_PATH_IMAGE005
无关被舍弃，相似性
Figure 793467DEST_PATH_IMAGE008
大于均值
Figure 566251DEST_PATH_IMAGE007
的轨迹点
Figure 638112DEST_PATH_IMAGE006
则保留作为邻接矩阵
Figure 547162DEST_PATH_IMAGE009
中的邻居节点
Figure 679066DEST_PATH_IMAGE010
，即：
Figure 673567DEST_PATH_IMAGE011
Figure 549119DEST_PATH_IMAGE012
其中
Figure 312676DEST_PATH_IMAGE009
表示轨迹点之间的邻接矩阵，
Figure 615481DEST_PATH_IMAGE010
等于
Figure 97278DEST_PATH_IMAGE013
表示第
Figure 245363DEST_PATH_IMAGE005
个轨迹点与第
Figure 129005DEST_PATH_IMAGE006
个轨迹点互为邻居，可进行特征聚合，
Figure 602712DEST_PATH_IMAGE010
等于
Figure 571805DEST_PATH_IMAGE014
表示舍弃。将前述轨迹点的邻接矩阵和物体运动轨迹的深层特征矩阵输入图卷积网络（GCN），实现对深层特征的去噪，即：
Figure 789160DEST_PATH_IMAGE015
。
上式中H是一个矩阵，其中每一行包含了每个节点的特征，代表去噪后的特征。
进一步的，请继续参阅图1，在本实施例中使用注意力模块来增强编码器，以便编码器可以专注于重要的运动步幅，而不是整个片段。本实施例中注意力模块是基于分层注意力网络模型的。在该注意力模块中，首先使用第一完全连接层即
Figure 527308DEST_PATH_IMAGE024
，从LSTM单元的隐藏状态计算注意力权重，其中
Figure 171916DEST_PATH_IMAGE025
表示第一完全连接层在隐藏状态下的操作，对于时间t的隐藏状态即
Figure 628305DEST_PATH_IMAGE026
，则使用加权的softmax函数对注意力权重进行归一化，并使用点积计算上下文向量：
Figure 383772DEST_PATH_IMAGE027
，
其中
Figure 242006DEST_PATH_IMAGE028
使用
Figure 791937DEST_PATH_IMAGE029
作为权重的加权softmax运算符返回第
Figure 735622DEST_PATH_IMAGE006
个分段的归一化向量,
Figure 29200DEST_PATH_IMAGE030
代表第
Figure 741941DEST_PATH_IMAGE006
段，然后将上下文向量与时间
Figure 993931DEST_PATH_IMAGE031
Figure 159333DEST_PATH_IMAGE032
串联，之后使用第二完全连接层生成注意力最终编码向量：
Figure 256602DEST_PATH_IMAGE033
。
利用本实施例的注意力模块，可以将双重解码器的输入从所述运动轨迹的深层特征
Figure 823849DEST_PATH_IMAGE034
转换成带注意力的深层轨迹向量
Figure 981161DEST_PATH_IMAGE035
，进而可以解码得到相应的
Figure 633859DEST_PATH_IMAGE036
和
Figure 534819DEST_PATH_IMAGE037
，且可以按照下式中的损失函数
Figure 222153DEST_PATH_IMAGE038
计算误差并相应优化，即：
Figure 550366DEST_PATH_IMAGE039
。
这改变了现有解码器（decoder）对每一个输入都赋予相同向量的缺点，而是根据物体运动轨迹的不同赋予不同的权重，使得网络能够在不同时间段中求得。可以看到现有LSTM自编码器网络基本保留，完成编码和解码功能。本实施例在编码器后添加注意力（Attention）机制增加注意力，更利于实现有效数据的选取。
本实施例采用复合解码器旨在克服传统现有自动编码器的缺点。如本领域技术人员周知的，大容量自动编码器将产生一种趋势，即学习大量的琐碎输入。但是，这种记忆对预测未来趋势几乎没有用处。因此，复合模型不能仅存储信息。另一方面，预测解码器中的未来将产生一种趋势，仅记住过去的最后几帧，因为最后几帧记忆对于预测未来至关重要。因为输入距离将因为时间而被遗忘。
进一步的，请继续参阅图1，本实施例中的复合解码器包括重建解码器和预测解码器。
其中，重建解码器与现有自编码器功能一致，用于学习重建降维特征向量以获得尽可能接近原始输入数据的重构数据。同时，该重建解码器还具有专属的重建后的基于均方误差的损失函数 (Mean Squared Error)，可以用来判断解码器是否出色以及输出是否与原始输入相似，其中均方误差越小就表示重建输出越趋近于原始输入。
在一些实施方式中，所述重建解码器的网络结构具有4层LSTM神经网络，通道数分别为16、32、64、128，其能够获得的较为宽泛的特征向量，所述深层特征向量的尺寸为
Figure 690360DEST_PATH_IMAGE040
，该重建解码器可以根据该尺寸为
Figure 863853DEST_PATH_IMAGE041
的深层特征向量连接全连接层，且还原出与原始输入尺寸相同的重建特征
Figure 405692DEST_PATH_IMAGE042
，记取第
Figure 904807DEST_PATH_IMAGE043
个深度特征向量为
Figure 532097DEST_PATH_IMAGE044
，j=1,2,…,16，则重建解码器的输出为
Figure 774860DEST_PATH_IMAGE045
，k=1,2,…,n，n为所需还原的序列个数。
其中，LSTM自动编码器的模型是由固定向量训练的物体运动轨迹的特征和物体运动的实际训练数据缩小尺寸后，编码器提供的轨迹。因此解码器可以在准确预测物体轨迹的前提下获得更好的精度。
在一些实施方式中，所述预测解码器具有与重建解码器相同的网络结构，也具有4层，节点数也完全相同，区别之处在于，该预测解码器所连接的全连接层的节点数能够根据实际需求的输出对不同物体的原始运动轨迹进行不同的预测。
其中，通过该预测解码器能够得到还原的特征为
Figure 171206DEST_PATH_IMAGE046
，其中，记取第
Figure 841222DEST_PATH_IMAGE047
个深度特征向量为
Figure 955808DEST_PATH_IMAGE048
，j=1,2,…,16，则所述预测解码器的输出为：
Figure 2262DEST_PATH_IMAGE049
，k=1,2,…,m，m为所需预测的序列个数。本实施例能够设定不同的
Figure 253114DEST_PATH_IMAGE050
值来满足不同的预测需要。
在本实施例中，所述编码器与复合解码器中的预测解码器、重建解码器之间均设置有深度残差网络（RESNET）的短接层，该短接层能有效地解决网络的加深从而造成梯度爆炸和梯度消失的问题。本实施例中短接层的结构如图2所示。本实施例要求解的映射为：
Figure 94031DEST_PATH_IMAGE051
。
将这个问题转换为求解网络的残差映射函数，也就是
Figure 695914DEST_PATH_IMAGE052
，其中：
Figure 280479DEST_PATH_IMAGE053
那么要求解的问题被变换为:
Figure 385838DEST_PATH_IMAGE054
。假设当前网络的深度能够使得错误率最低，如果继续增加RES-LSTM，为了保证下一层的网络状态仍然是最优状态，只需要令
Figure 397657DEST_PATH_IMAGE055
。因为
Figure 486836DEST_PATH_IMAGE056
是当前输出的最优解，为了让它成为下一层的最优解，也就是希望的输出
Figure 609512DEST_PATH_IMAGE057
，则只需令
Figure 834957DEST_PATH_IMAGE058
，将使下一层的网络状态仍然是最优状态。
在本实施例的短接层与复合解码器的连接中，使用了一个矩阵乘法得到了一个形状与
Figure 283256DEST_PATH_IMAGE059
相同的向量并与经过网络的
Figure 594152DEST_PATH_IMAGE060
使用相加，得到能够自适应筛选重要信息的网络结构。
与现有技术相比，本实施例所提供的所述轨迹预测系统中增设了复合解码器，能够在重构数据的基础之上进行预测，并且在所述编码器与复合解码器中的各个解码器之间均设置深度残差网络的短接层(shortcut)，能够有效防止梯度弥散，并能使得结果尽量趋向于最优解，另外通过在所述编码器后添加注意力模块，能够选择出轨迹当中的重要信息。
本实施例中还提供一种基于图卷积特征编解码的轨迹预测方法，该方法是基于前述轨迹预测系统实施的，并且该方法包括：
使用编码器从输入的数据中提取出物体运动轨迹的深层特征；
使用图卷积模块用于对所述运动轨迹的深层特征进行去噪及相关性分析；
使用注意力模块增强编码器，以将所述运动轨迹的深层特征转换为换成带注意力的深层轨迹向量；
将所述换成带注意力的深层轨迹向量输入复合解码器，以其中的重建解码器用于完整重建输入数据，并以其中的预测解码器重建未来的预测数据。
具体的，参阅图3，该方法可以包括：
S101、设计所述的轨迹预测系统；
S102、对空旷场地中物体（例如生物）的不同运动轨迹的训练图像进行预处理和标注，作为编码器的输入数据；
S103、使用编码器从输入的数据降维提取物体运动轨迹中的深层特征，并通过训练使得编码器选择的深层特征尽量关键；
S104、使用图卷积模块对编码器提取出的深层特征进行去噪（滤波），去噪的对象包括不符合整体运动路径的轨迹点；
S105、使用注意力模块寻找所述深层特征中影响相对较大(例如转弯等突变轨迹)的特征；
S106、使用连接有短接层的复合解码器对空旷场地中物体的运动轨迹进行预测。
本实施例提供的所述轨迹预测系统中，使用的复合解码器由两个网络结构相同的解码器组成，它可以克服现有自编码器只能使用在非监督数据方面的情况，并且能够再重构原始数据的过程当中进行对未来轨迹的预测，同时通过在复合解码器的各个解码器中通过引入深度残差网络的短接层，使得预测的值始终趋向于最优解，最后通过在编码器的选择部分加入注意力机制，在模型训练中进一步找到对结果影响较大的轨迹，使得模型将注意力放在关键轨迹中。
本发明以上实施例提供的技术方案有效解决了现有轨迹预测方法中表现出来的预测能力差以及准确率不高等一系列问题。
本发明实施例还提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储一个或多个可执行指令；一个或多个处理器被配置为经由执行一个或多个可执行指令以前述实施例所述方法的步骤。
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
应当理解，以上所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (10)

1.一种基于图卷积特征编解码的轨迹预测系统，其特征在于，包括：编码器、图卷积模块、注意力模块以及复合解码器；所述编码器与图卷积模块连接，所述图卷积模块通过注意力模块与复合解码器连接，所述编码器用于提取物体运动轨迹的深层特征，所述图卷积模块用于对所述运动轨迹的深层特征进行去噪及相关性分析，所述注意力模块用于增强编码器，所述复合解码器包括重建解码器和预测解码器，所述重建解码器用于完整重建输入数据，所述预测解码器用于重建未来的预测数据；
其中，所述图卷积模块首先采用点积计算相似性的方法计算出物体运动轨迹的各轨迹点之间的相似性矩阵
Figure 397076DEST_PATH_IMAGE001
：
Figure 8186DEST_PATH_IMAGE002
其中
Figure 361807DEST_PATH_IMAGE003
代表所述运动轨迹的深层特征，
Figure 159998DEST_PATH_IMAGE004
代表深层特征矩阵的转置，之后计算每个轨迹点
Figure 890057DEST_PATH_IMAGE005
对其他轨迹点
Figure 90094DEST_PATH_IMAGE006
的相似度均值，利用均值
Figure 614617DEST_PATH_IMAGE007
对轨迹点
Figure 900104DEST_PATH_IMAGE006
进行筛选，相似性
Figure 433854DEST_PATH_IMAGE008
小于均值
Figure 488398DEST_PATH_IMAGE007
的轨迹点
Figure 449400DEST_PATH_IMAGE006
与当前轨迹点
Figure 222184DEST_PATH_IMAGE005
无关被舍弃，相似性
Figure 28466DEST_PATH_IMAGE008
大于均值
Figure 203096DEST_PATH_IMAGE007
的轨迹点
Figure 335000DEST_PATH_IMAGE006
则保留作为邻接矩阵
Figure 595080DEST_PATH_IMAGE009
中的邻居节点
Figure 205053DEST_PATH_IMAGE010
，即：
Figure 968609DEST_PATH_IMAGE011
Figure 271415DEST_PATH_IMAGE012
其中
Figure 30510DEST_PATH_IMAGE009
表示轨迹点之间的邻接矩阵，
Figure 444173DEST_PATH_IMAGE010
等于
Figure 62236DEST_PATH_IMAGE013
表示第
Figure 535943DEST_PATH_IMAGE005
个轨迹点与第
Figure 505036DEST_PATH_IMAGE006
个轨迹点互为邻居并能进行特征聚合，
Figure 456812DEST_PATH_IMAGE010
等于
Figure 460540DEST_PATH_IMAGE014
表示舍弃，然后将获取的轨迹点之间的邻接矩阵和轨迹的深层特征输入图卷积网络，实现对深层特征的去噪，即：
Figure 105148DEST_PATH_IMAGE015
。
2.根据权利要求1所述的轨迹预测系统，其特征在于，所述编码器包括4层LSTM神经网络，该4层LSTM神经网络的通道数分别为128、64、32、16，经过所述编码器的编码能够得到物体的运动轨迹的深层特征
Figure 561537DEST_PATH_IMAGE016
，如下式所示：
Figure 317003DEST_PATH_IMAGE017
取第
Figure 909659DEST_PATH_IMAGE005
个特征输入为
Figure 725168DEST_PATH_IMAGE018
，i=1,2,…,128，则对应的编码输出为
Figure 668853DEST_PATH_IMAGE019
，j=1,2,…,128。
3.根据权利要求2所述的轨迹预测系统，其特征在于，所述注意力模块是基于分层注意力网络模型构建的，所述分层注意力网络模型首先使用第一完全连接层
Figure 962431DEST_PATH_IMAGE020
从LSTM神经网络的隐藏状态计算关注权重，其中
Figure 675172DEST_PATH_IMAGE021
表示第一完全连接层在隐藏状态下的操作，而对于时间t的隐藏状态
Figure 396004DEST_PATH_IMAGE022
是使用加权的softmax函数对注意力权重进行归一化，并使用点积计算上下文向量，即：
Figure 826985DEST_PATH_IMAGE023
，
其中
Figure 924254DEST_PATH_IMAGE024
使用
Figure 757081DEST_PATH_IMAGE025
作为权重的加权softmax运算符返回第
Figure 648813DEST_PATH_IMAGE006
个分段的归一化向量，
Figure 567091DEST_PATH_IMAGE026
代表第
Figure 468051DEST_PATH_IMAGE006
段，之后将所述上下文向量与时间
Figure 889805DEST_PATH_IMAGE027
Figure 952439DEST_PATH_IMAGE028
串联，其后使用第二完全连接层生成注意力最终编码向量
Figure 92433DEST_PATH_IMAGE029
，即带注意力的深层轨迹向量。
4.根据权利要求3所述的轨迹预测系统，其特征在于，所述复合解码器接收所述带注意力的深层轨迹向量，并解码得到相应的
Figure 797084DEST_PATH_IMAGE030
和
Figure 338924DEST_PATH_IMAGE031
，且按照下式中的损失函数
Figure 838038DEST_PATH_IMAGE032
计算误差并相应优化，即：
Figure 465329DEST_PATH_IMAGE033
。
5.根据权利要求3所述的轨迹预测系统，其特征在于，所述重建解码器用于学习重建降维特征向量以获得尽可能接近原始输入数据的数据，同时所述重建解码器还具有重建损失函数，所述重建损失函数能够用于判断重建解码器的输出是否与原始输入相似。
6.根据权利要求5所述的轨迹预测系统，其特征在于，所述重建解码器包括4层LSTM神经网络，该4层LSTM神经网络的通道数分别为128、64、32、16，经过所述重建解码器的解码能够得到物体运动轨迹的深层特征向量，所述深层特征向量的尺寸为
Figure 708091DEST_PATH_IMAGE034
，所述重建解码器能够根据所述深层特征向量连接完全连接层，且还原出与原始输入尺寸相同的重建特征，即：
Figure 838858DEST_PATH_IMAGE035
记取第
Figure 508874DEST_PATH_IMAGE006
个深度特征向量为
Figure 623460DEST_PATH_IMAGE019
,
Figure 404335DEST_PATH_IMAGE036
，则所述重建解码器的输出为
Figure 920767DEST_PATH_IMAGE037
,
Figure 761684DEST_PATH_IMAGE038
为所需还原的序列个数。
7.根据权利要求6所述的轨迹预测系统，其特征在于，所述预测解码器具有与重建解码器相同的网络结构，但所述预测解码器连接的全连接层的节点数能够根据实际需求的输出对物体运动的原始轨迹进行预测。
8.根据权利要求7所述的轨迹预测系统，其特征在于，通过所述预测解码器能够得到的还原的特征为
Figure 363566DEST_PATH_IMAGE039
，其中，记取第
Figure 948131DEST_PATH_IMAGE040
个深度特征向量为
Figure 319070DEST_PATH_IMAGE041
，j=1,2,…,16，则所述预测解码器的输出为
Figure 330888DEST_PATH_IMAGE042
，k=1,2,…,m，m为所需预测的序列个数。
9.根据权利要求1-8中任一项所述的轨迹预测系统，其特征在于，所述重建解码器及预测解码器还均通过深度残差网络的短接层与所述编码器连接。
10.一种基于图卷积特征编解码的轨迹预测方法，其特征在于，包括：
构建权利要求1-9中任一项所述的基于图卷积特征编解码的轨迹预测系统；
使用编码器从输入的数据中提取出物体运动轨迹的深层特征；
使用图卷积模块用于对所述运动轨迹的深层特征进行去噪及相关性分析；
使用注意力模块增强编码器，以将所述运动轨迹的深层特征转换为换成带注意力的深层轨迹向量；
将所述换成带注意力的深层轨迹向量输入复合解码器，以其中的重建解码器用于完整重建输入数据，并以其中的预测解码器重建未来的预测数据。
CN202111464549.2A 2021-12-03 2021-12-03 基于图卷积特征编解码的轨迹预测系统及方法 Active CN113870319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111464549.2A CN113870319B (zh) 2021-12-03 2021-12-03 基于图卷积特征编解码的轨迹预测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111464549.2A CN113870319B (zh) 2021-12-03 2021-12-03 基于图卷积特征编解码的轨迹预测系统及方法

Publications (2)

Publication Number Publication Date
CN113870319A true CN113870319A (zh) 2021-12-31
CN113870319B CN113870319B (zh) 2022-03-08

Family

ID=78985714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111464549.2A Active CN113870319B (zh) 2021-12-03 2021-12-03 基于图卷积特征编解码的轨迹预测系统及方法

Country Status (1)

Country Link
CN (1) CN113870319B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112686281A (zh) * 2020-12-08 2021-04-20 深圳先进技术研究院 基于时空注意力和多级lstm信息表达的车辆轨迹预测方法
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113256681A (zh) * 2021-05-26 2021-08-13 北京易航远智科技有限公司 基于时空注意力机制的行人轨迹预测方法
CN113269115A (zh) * 2021-06-04 2021-08-17 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法
US20210264617A1 (en) * 2020-02-25 2021-08-26 Honda Motor Co., Ltd. Composite field based single shot prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210264617A1 (en) * 2020-02-25 2021-08-26 Honda Motor Co., Ltd. Composite field based single shot prediction
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112686281A (zh) * 2020-12-08 2021-04-20 深圳先进技术研究院 基于时空注意力和多级lstm信息表达的车辆轨迹预测方法
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113256681A (zh) * 2021-05-26 2021-08-13 北京易航远智科技有限公司 基于时空注意力机制的行人轨迹预测方法
CN113269115A (zh) * 2021-06-04 2021-08-17 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YUTAO ZHOU 等: "Social graph convolutional LSTM for pedestrian trajectory prediction", 《HTTPS://DOI.ORG/10.1049/ITR2.12033》 *
刘创等: "基于注意力机制的车辆运动轨迹预测", 《浙江大学学报(工学版)》 *
安鹏进: "注意力机制与图卷积方法融合的行程时间预测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
沈旭: "基于序列深度学习的视频分析：建模表达与应用", 《中国优秀博硕士学位论文全文数据库(博士)》 *

Also Published As

Publication number Publication date
CN113870319B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN107484017B (zh) 基于注意力模型的有监督视频摘要生成方法
US11531889B2 (en) Weight data storage method and neural network processor based on the method
CN111128137A (zh) 一种声学模型的训练方法、装置、计算机设备和存储介质
CN111428848B (zh) 基于自编码器和3阶图卷积的分子智能设计方法
Li et al. Skeleton graph scattering networks for 3d skeleton-based human motion prediction
CN111709754A (zh) 一种用户行为特征提取方法、装置、设备及系统
JP2019530119A (ja) エンドツーエンドモデリング方法及びシステム
CN111931549B (zh) 一种基于多任务非自回归解码的人体骨架的动作预测方法
CN115495552A (zh) 基于双通道语义增强的多轮对话回复生成方法及终端设备
CN115062587B (zh) 一种基于周围信息的知识图谱嵌入及回复生成方法
CN116681810B (zh) 虚拟对象动作生成方法、装置、计算机设备和存储介质
CN115841119B (zh) 一种基于图结构的情绪原因提取方法
CN114490954B (zh) 一种基于任务调节的文档级生成式事件抽取方法
CN115186147A (zh) 对话内容的生成方法及装置、存储介质、终端
CN109635282B (zh) 用于多方对话的篇章解析方法、装置、介质及计算设备
Zhang et al. A Survey on Attention mechanism in NLP
CN116863920B (zh) 基于双流自监督网络的语音识别方法、装置、设备及介质
CN113870319B (zh) 基于图卷积特征编解码的轨迹预测系统及方法
CN111797225A (zh) 一种文本摘要生成方法和装置
CN116630448A (zh) 基于窗口注意力的神经数据依赖变换的图像压缩方法
Wang et al. Research on semi-supervised sound event detection based on mean teacher models using ML-LoBCoD-NET
Mu et al. Self-supervised disentangled representation learning for robust target speech extraction
CN112466282B (zh) 一种面向航天专业领域的语音识别系统和方法
CN114238579B (zh) 文本分析方法、装置、介质和计算设备
Chen et al. Lung Segmentation Network Based on Lightweight and Attention Fusion with U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240112

Address after: 730000, No. 803-48, 8th Floor, No. 18 Gaoxin Yannan Road, Chengguan District, Lanzhou City, Gansu Province

Patentee after: Gansu Longdian Yunchuang Technology Consulting Co.,Ltd.

Address before: Room 1002, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518109

Patentee before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20240112

Address after: Room 1002, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518109

Patentee after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 315000 Fenghua Road, Jiangbei District, Ningbo, Zhejiang Province, No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right