CN115272395A - 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法 - Google Patents

一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法 Download PDF

Info

Publication number
CN115272395A
CN115272395A CN202210810760.3A CN202210810760A CN115272395A CN 115272395 A CN115272395 A CN 115272395A CN 202210810760 A CN202210810760 A CN 202210810760A CN 115272395 A CN115272395 A CN 115272395A
Authority
CN
China
Prior art keywords
pedestrian
track
historical
domain
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210810760.3A
Other languages
English (en)
Inventor
曲明成
崔建勋
徐培刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Chongqing Research Institute of Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Chongqing Research Institute of Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology, Chongqing Research Institute of Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210810760.3A priority Critical patent/CN115272395A/zh
Publication of CN115272395A publication Critical patent/CN115272395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法。针对跨域的行人轨迹预测问题，本发明提出了一种基于深度图卷积网络的可迁移行人轨迹预测方法，该方法能够通过在一个行人轨迹数据集上进行深度预测模型的训练，在训练过程中考虑与其它行人轨迹域进行对齐，从而训练得到的模型不仅能够在训练域(源域)上进行很好的轨迹预测，同时能够直接迁移到其它行人轨迹域(目标域)的预测，而不会造成较大偏差。

Description

一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法
技术领域
本发明属于行人轨迹预测技术领域，特别是涉及一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法。
背景技术
行人轨迹预测在诸如自动驾驶、服务机器人导航、视频监控等人工智能应用场景中扮演着非常重要的角色。机器人主体(自动驾驶车、服务机器人等智能体)需要能够较为准确的预测周围环境中行人的轨迹，从而在此基于上做出合理的自身决策、规划和控制。长期以来，行人轨迹预测都是非常具有挑战性的难题，主要是因为行人与行人之间、行人与环境之间存在着复杂而精细的交互作用，而对这种复杂精细的交互作用进行建模是非常困难的。以往基于深度学习的预测方法，主要包括：循环类神经网络和对抗生成类神经网络。但不管是哪一种方法，普遍都忽视了不同场景下行人轨迹分布样式的“域差异性”。所谓域差异性主要是指，在不同环境下，行人出行轨迹的模式是完全不同的，例如在商场逛街的行人轨迹分布与在某条城市道路行人通道上的轨迹分布就很不一致，前者更为自由随意，而后者必须服从人行通道的道路线形等条件约束。因此，在一个数据集上训练得到的深度行人轨迹预测模型，直接应用到另外一个域差异性较大的行人轨迹数据预测问题上，会导致预测误差非常大，以致无法用于实践。
发明内容
本发明目的是为了解决跨域联合的行人轨迹预测问题，提出了一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法。
本发明是通过以下技术方案实现的，本发明提出一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法，所述方法中存在两个行人轨迹域，分别称为源域和目标域；通过在源域的轨迹数据集上训练得到深度预测模型，从而对源域未来行人轨迹进行精准预测，同时在源域预测模型训练过程中，考虑源域与目标域在历史轨迹时空特征表征上的对齐，从而使得源域预测模型训练完成后，能够直接迁移到目标域进行轨迹预测。
进一步地，在源域预测模型中，输入为一个历史时段内的多行人轨迹集合；所述源域预测模型训练过程具体为：
步骤(1)、将该输入转化为行人轨迹拓扑图，从而描述历史时段内每个离散时刻上多行人之间的相互作用关系；
步骤(2)、采用深度拓扑图卷积网络，抽取源域行人轨迹的时空特征表征；
步骤(3)、基于所获取的时空特征表征预测源域行人未来时段的轨迹；
步骤(4)、根据所预测的未来时段轨迹与真实标注的未来时段轨迹进行比对，计算预测误差；
步骤(5)、选取与源域相等历史时长的一段目标域历史行人轨迹，将所述轨迹转化为行人轨迹拓扑图；
步骤(6)、采用深度拓扑图卷积网络，抽取目标域行人轨迹的时空特征表征；
步骤(7)、将步骤(2)和步骤(6)所获得的源域和目标域行人轨迹时空特征表征进行对齐操作，获取对齐误差；
步骤(8)、基于步骤(4)和步骤(7)所获得的预测误差和对齐误差，采用反向传播算法，调整模型中的所有待定权重参数，直到误差小于某个事先指定的阈值。
进一步地，在步骤(1)中，
建立源域历史时段内行人与行人之间的拓扑邻接关系；假定在历史时段[T1，Tobs]中，任意时刻的场景下均有N个行人，任意时刻Tm∈[T1，Tobs]构建的行人拓扑图表示为
Figure BDA0003738833830000021
其中
Figure BDA0003738833830000022
表示Tm时刻行人拓扑图的顶点集合，其中每个顶点表示一个行人，因此
Figure BDA0003738833830000023
Figure BDA0003738833830000024
表示Tm时刻行人拓扑图的邻接矩阵，任意一对行人i，j之间Tm时刻的连接权重表示为二者之间的欧式距离，具体为
Figure BDA0003738833830000025
其中，
Figure BDA0003738833830000026
为行人i，j在Tm时刻的位置坐标；||.||2为向量的2次范数，即欧式距离，因此
Figure BDA0003738833830000027
Figure BDA0003738833830000028
表示Tm时刻行人拓扑图的顶点特征矩阵，其中，
Figure BDA0003738833830000029
表示任意顶点
Figure BDA00037388338300000210
在Tm时刻的特征向量，其维度为Df，其计算公式为：
Figure BDA00037388338300000211
其中，σ(.)表示sigmoid函数；W1，b1为待学习的权重参数；
基于上述过程，针对所有处于历史时段[T1，Tobs]中的每一时刻构建行人拓扑图，分别表示为
Figure BDA00037388338300000212
其对应的每一时刻顶点特征矩阵表示为
Figure BDA00037388338300000213
进一步压缩表示：源域的历史轨迹拓扑图集合
Figure BDA00037388338300000214
和源域的历史轨迹拓扑图顶点特征矩阵集合
Figure BDA0003738833830000031
进一步地，在步骤(2)中，
基于步骤(1)所获得的源域历史轨迹拓扑图顶点特征矩阵集合
Figure BDA0003738833830000032
采用深度拓扑图卷积模型，提取用于表征源域历史行人轨迹特征的综合表征，记为
Figure BDA0003738833830000033
其中，
Figure BDA0003738833830000034
是任意Tm∈[T1，Tobs]时刻历史行人轨迹拓扑图所抽取出的时空表征；
Figure BDA0003738833830000035
是以
Figure BDA0003738833830000036
为输入，经由3层的拓扑图卷积深度神经网络而得到。
进一步地，在步骤(3)中，
基于步骤(2)所获取的历史时段[T1，Tobs]内行人轨迹时空特征的综合表征
Figure BDA0003738833830000037
采用时间因果卷积预测未来时段[Tobs+1，Tobs+τ]内的轨迹，亦即
Figure BDA0003738833830000038
对于任意行人i，步骤(2)所提取到的其历史轨迹综合表征为
Figure BDA0003738833830000039
Figure BDA00037388338300000310
其中
Figure BDA00037388338300000311
表示Tj时刻行人i所处位置的特征表征；该步骤对于特定行人i在未来时段[Tobs+1，Tobs+τ]内的位置轨迹，是以
Figure BDA00037388338300000312
为输入，以时间因果卷积神经网络为模型，预测得到；所述时间因果卷积模型，一共有3层，每一层的卷积核大小为3，激活函数采用Relu；任意第l(1≤l≤3)层的计算公式为：
Figure BDA00037388338300000313
其中，
Figure BDA00037388338300000314
是第l(1≤l≤3)层时间因果卷积的输出，当l＝3时，
Figure BDA00037388338300000315
即输出行人i未来时段的轨迹预测结果，当l＝0时，
Figure BDA00037388338300000316
即输入为步骤(2)提取到的行人i历史时段位置轨迹综合表征；
Figure BDA00037388338300000321
b(l)为第l(1≤l≤3)层时间因果卷积模型待学习的参数；
Figure BDA00037388338300000318
表示一维卷积操作；
上述公式可以对全部行人进行并行的计算，从而预测得到全部N个行人未来的出行轨迹集合
Figure BDA00037388338300000319
进一步地，在步骤(4)中，
基于步骤(3)所预测的行人未来的出行轨迹集合
Figure BDA00037388338300000320
通过与真实样本标注的行人未来出行轨迹集合
Figure BDA0003738833830000041
进行比对，计算相应的预测误差，具体计算公式为：
Figure BDA0003738833830000042
其中，
Figure BDA0003738833830000043
为预测误差，||·||2为张量的2次范数。
进一步地，在步骤(5)中，
建立目标域历史时段内行人与行人之间的拓扑邻接关系；目标域中，选择与源域相同数量时刻的场景，每个时刻场景中的行人总数可以与源域不同；其构建拓扑图的过程与步骤(1)中源域行人轨迹关系拓扑图构建流程相同；最终建立的目标域拓扑图集合表示为Gt，目标域拓扑图特征矩阵记为Ft。
进一步地，在步骤(6)和步骤(7)中，
基于步骤(5)建立的目标域历史时段内行人轨迹关系拓扑图Gt和拓扑图特征矩阵Ft，提取到目标域历史时段内轨迹特征表征综合表征，记为Ht；
建立源域和目标域之间的跨域特征对齐，具体的对齐方式是计算源域历史行人轨迹综合表征Hs与目标域历史行人轨迹综合表征Ht之间的对齐误差，进一步最小化该误差；对齐误差的计算公式为：
Figure BDA0003738833830000044
其中，
Figure BDA0003738833830000045
为对齐误差。
进一步地，在步骤(8)中，
最小化步骤(4)和步骤(7)所得到的两个误差，依据梯度下降方法，调整模型中所有待学习的参数；最小化目标函数为：
Figure BDA0003738833830000046
其中，
Figure BDA0003738833830000047
为模型训练的误差函数；梯度下降算法中，学习率取为0.002。
进一步地，所述预测方法还包括预测模型推理过程，所述预测模型推理过程具体为：
步骤1：收集当前时刻的前序|Tobs-T1|个历史行人观测位置场景，获取到全部行人的历史位置轨迹；
步骤2：依据步骤(1)建立历史时段[T1，Tobs]内的一系列拓扑关系图；
步骤3：将步骤2得到的拓扑关系图输入到训练得到的预测模型，直接输出未来时段[Tobs+1，Tobs+τ]的预测轨迹。
本发明重点针对跨域的行人轨迹预测问题，提出了一种基于深度图卷积网络的可迁移行人轨迹预测方法，该方法能够通过在一个行人轨迹数据集上进行深度预测模型的训练，在训练过程中考虑与其它行人轨迹域进行对齐，从而训练得到的模型不仅能够在训练域(源域)上进行很好的轨迹预测，同时能够直接迁移到其它行人轨迹域(目标域)的预测，而不会造成较大偏差。
附图说明
图1为行人轨迹预测问题示意图；
图2为预测模型整体架构示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明主要是为了解决跨域联合的行人轨迹预测问题。问题中存在两个行人轨迹域(例如商场行人轨迹数据集和城市人行道上的轨迹数据集)，分别称为源域和目标域。发明的目标是通过在源域的轨迹数据集上训练得到深度预测模型，从而对源域未来行人轨迹进行精准预测，同时在源域预测模型训练过程中，考虑源域与目标域在历史轨迹时空特征表征上的对齐，从而使得源域预测模型训练完成后，不仅能够在源域上做出精准的轨迹预测，同时能够很好的直接迁移到目标域轨迹预测问题上，得到精确的预测结果。
基本符号定义：
任意行人i在历史时间段[T1，Tobs]之间被观测到的出行轨迹(一系列时间位置点)表示为
Figure BDA0003738833830000051
其中
Figure BDA0003738833830000052
表示Tj时刻，行人i的位置坐标，表示为
Figure BDA0003738833830000053
其中
Figure BDA0003738833830000054
分别为Tj时刻，行人i所处位置的横坐标和纵坐标。假定每个时刻的场景中都有N个行人(参照图1，每个带颜色的原点表示一个行人，每个矩形框代表一个时刻的观测场景)，那么N个行人的历史被观测轨迹集合表示为Γ＝{Γ1，Γ2，...，ΓN}。在这样的定义下，多行人轨迹预测问题，即基于多行人历史时间段[T1，Tobs]内观测轨迹数据集合Γ＝{Γ1，Γ2，...，ΓN}，预测其未来时间段[Tobs+1，Tobs+τ]内的轨迹数据集合
Figure BDA0003738833830000057
表示为
Figure BDA0003738833830000055
其中任意
Figure BDA0003738833830000056
表示行人i的未来时段[Tobs+1，Tobs+τ]内的待预测轨迹。行人轨迹预测的示意图如图1所示。
本发明所建立的行人轨迹预测模型为深度学习模型，因此其实现整体上分为训练和推理两大步过程。
本发明提出的跨域可迁移行人轨迹预测深度学习模型整体架构如图2所示。架构整体上分为两个部分：上面红色矩形框部分中为源域行人轨迹预测模型，下面部分为源域与目标域行人轨迹特征表征对齐模型。
结合图1-图2，本发明提出一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法，所述方法中存在两个行人轨迹域，分别称为源域和目标域；通过在源域的轨迹数据集上训练得到深度预测模型，从而对源域未来行人轨迹进行精准预测，同时在源域预测模型训练过程中，考虑源域与目标域在历史轨迹时空特征表征上的对齐，从而使得源域预测模型训练完成后，能够直接迁移到目标域进行轨迹预测。
在源域预测模型中，输入为一个历史时段内的多行人轨迹集合；所述源域预测模型训练过程具体为：
步骤(1)、将该输入转化为行人轨迹拓扑图，从而描述历史时段内每个离散时刻上多行人之间的相互作用关系；
步骤(2)、采用深度拓扑图卷积网络，抽取源域行人轨迹的时空特征表征；
步骤(3)、基于所获取的时空特征表征预测源域行人未来时段的轨迹；
步骤(4)、根据所预测的未来时段轨迹与真实标注的未来时段轨迹进行比对，计算预测误差；
步骤(5)、选取与源域相等历史时长的一段目标域历史行人轨迹，将所述轨迹转化为行人轨迹拓扑图；
步骤(6)、采用深度拓扑图卷积网络，抽取目标域行人轨迹的时空特征表征；
步骤(7)、将步骤(2)和步骤(6)所获得的源域和目标域行人轨迹时空特征表征进行对齐操作，获取对齐误差；
步骤(8)、基于步骤(4)和步骤(7)所获得的预测误差和对齐误差，采用反向传播算法，调整模型中的所有待定权重参数，直到误差小于某个事先指定的阈值。
在步骤(1)中，
建立源域历史时段内行人与行人之间的拓扑邻接关系；假定在历史时段[T1，Tobs]中，任意时刻的场景下均有N个行人，任意时刻Tm∈[T1，Tobs]构建的行人拓扑图表示为
Figure BDA0003738833830000071
其中
Figure BDA0003738833830000072
表示Tm时刻行人拓扑图的顶点集合，其中每个顶点表示一个行人，因此
Figure BDA0003738833830000073
Figure BDA0003738833830000074
表示Tm时刻行人拓扑图的邻接矩阵，任意一对行人i，j之间Tm时刻的连接权重表示为二者之间的欧式距离，具体为
Figure BDA0003738833830000075
其中，
Figure BDA0003738833830000076
为行人i，j在Tm时刻的位置坐标；||.||2为向量的2次范数，即欧式距离，因此
Figure BDA0003738833830000077
Figure BDA0003738833830000078
表示Tm时刻行人拓扑图的顶点特征矩阵，其中，
Figure BDA0003738833830000079
表示任意顶点
Figure BDA00037388338300000710
在Tm时刻的特征向量，其维度为Df，其计算公式为：
Figure BDA00037388338300000711
其中，σ(.)表示sigmoid函数；W1，b1为待学习的权重参数；
基于上述过程，针对所有处于历史时段[T1，Tobs]中的每一时刻构建行人拓扑图，分别表示为
Figure BDA00037388338300000712
其对应的每一时刻顶点特征矩阵表示为
Figure BDA00037388338300000713
进一步压缩表示：源域的历史轨迹拓扑图集合
Figure BDA00037388338300000714
和源域的历史轨迹拓扑图顶点特征矩阵集合
Figure BDA00037388338300000715
在步骤(2)中，
基于步骤(1)所获得的源域历史轨迹拓扑图顶点特征矩阵集合
Figure BDA00037388338300000716
采用深度拓扑图卷积模型，提取用于表征源域历史行人轨迹特征的综合表征，记为
Figure BDA00037388338300000717
其中，
Figure BDA00037388338300000718
是任意Tm∈[T1，Yobs]时刻历史行人轨迹拓扑图所抽取出的时空表征；
Figure BDA00037388338300000719
是以
Figure BDA00037388338300000720
为输入，经由3层的拓扑图卷积深度神经网络而得到。
以第
Figure BDA00037388338300000721
层深度拓扑图卷积为例，说明
Figure BDA00037388338300000722
到
Figure BDA00037388338300000723
的转化过程如下：
①计算Tm时刻行人轨迹拓扑图带有自连接的邻接矩阵：
Figure BDA00037388338300000724
其中，
Figure BDA00037388338300000725
表示Tm时刻行人拓扑图的邻接矩阵；
Figure BDA00037388338300000726
表示Tm时刻行人拓扑图带有自连接的邻接矩阵；I表示N阶单位阵。
②第l层深度拓扑图卷积计算公式为：
Figure BDA0003738833830000081
其中，
Figure BDA0003738833830000082
分别表示第l层深度拓扑图卷积网络的输出和输入；
Figure BDA0003738833830000083
表示Tm时刻行人拓扑图的顶点度矩阵；
Figure BDA0003738833830000084
为第
Figure BDA0003738833830000085
层深度拓扑图卷积网络待学习的参数矩阵；σ(.)表示sigmoid函数。特别地，
Figure BDA0003738833830000086
在步骤(3)中，
基于步骤(2)所获取的历史时段[T1，Tobs]内行人轨迹时空特征的综合表征
Figure BDA0003738833830000087
采用时间因果卷积预测未来时段[Tobs+1，Tobs+τ]内的轨迹，亦即
Figure BDA0003738833830000088
本步骤采用时间因果卷积深度学习模型，基于综合表征对未来行人轨迹进行预测。其工作方式是针对多个行人的轨迹预测采用同一个因果卷积神经网络(不同行人之间参数共享)，并行的进行同步预测。具体而言，对于任意行人i，步骤(2)所提取到的其历史轨迹综合表征为
Figure BDA0003738833830000089
其中
Figure BDA00037388338300000810
表示Tj时刻行人i所处位置的特征表征；该步骤对于特定行人i在未来时段[Tobs+1，Tobs+τ]内的位置轨迹，是以
Figure BDA00037388338300000811
为输入，以时间因果卷积神经网络为模型，预测得到；所述时间因果卷积模型，一共有3层，每一层的卷积核大小为3，激活函数采用Relu；任意第l(1≤l≤3)层的计算公式为：
Figure BDA00037388338300000812
其中，
Figure BDA00037388338300000813
是第l(1≤l≤3)层时间因果卷积的输出，当l＝3时，
Figure BDA00037388338300000814
即输出行人i未来时段的轨迹预测结果，当l＝0时，
Figure BDA00037388338300000815
即输入为步骤(2)提取到的行人i历史时段位置轨迹综合表征；
Figure BDA00037388338300000816
b(l)为第l(1≤l≤3)层时间因果卷积模型待学习的参数；
Figure BDA00037388338300000817
表示一维卷积操作；
上述公式可以对全部行人(N个行人)进行并行的计算，从而预测得到全部N个行人未来的出行轨迹集合
Figure BDA00037388338300000818
在步骤(4)中，
基于步骤(3)所预测的行人未来的出行轨迹集合
Figure BDA00037388338300000819
通过与真实样本标注的行人未来出行轨迹集合
Figure BDA0003738833830000091
进行比对，计算相应的预测误差，具体计算公式为：
Figure BDA0003738833830000092
其中，
Figure BDA0003738833830000093
为预测误差，||·||2为张量的2次范数。
在步骤(5)中，
建立目标域历史时段内行人与行人之间的拓扑邻接关系；目标域中，选择与源域相同数量时刻的场景，每个时刻场景中的行人总数可以与源域不同；其构建拓扑图的过程与步骤(1)中源域行人轨迹关系拓扑图构建流程相同；最终建立的目标域拓扑图集合表示为Gt，目标域拓扑图特征矩阵记为Ft。
在步骤(6)和步骤(7)中，
基于步骤(5)建立的目标域历史时段内行人轨迹关系拓扑图Gt和拓扑图特征矩阵Ft，采用与步骤(2)相同的方法，提取到目标域历史时段内轨迹特征表征综合表征，记为Ht；
建立源域和目标域之间的跨域特征对齐，具体的对齐方式是计算源域历史行人轨迹综合表征Hs与目标域历史行人轨迹综合表征Ht之间的对齐误差，进一步最小化该误差；对齐误差的计算公式为：
Figure BDA0003738833830000094
其中，
Figure BDA0003738833830000095
为对齐误差。
在步骤(8)中，
最小化步骤(4)和步骤(7)所得到的两个误差，依据梯度下降方法，调整模型中所有待学习的参数；最小化目标函数为：
Figure BDA0003738833830000096
其中，
Figure BDA0003738833830000097
为模型训练的误差函数；梯度下降算法中，学习率取为0.002。
所述预测方法还包括预测模型推理过程，训练得到的行人轨迹预测模型，可以直接在源域和目标域之上进行跨域预测。其推理过程如图2所示。红色矩形框中的模型。所述预测模型推理过程具体为：
步骤1：收集当前时刻的前序|Tobs-T1|个历史行人观测位置场景，获取到全部行人的历史位置轨迹；
步骤2：依据步骤(1)建立历史时段[T1，Tobs]内的一系列拓扑关系图；
步骤3：将步骤2得到的拓扑关系图输入到训练得到的预测模型，直接输出未来时段[Tobs+1，Tobs+τ]的预测轨迹。这里τ的取值(也就是预测的时段数)一般建议比obs(也就是输入的观测时段数)小。
以上对本发明所提出的一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法，其特征在于，所述方法中存在两个行人轨迹域，分别称为源域和目标域；通过在源域的轨迹数据集上训练得到深度预测模型，从而对源域未来行人轨迹进行精准预测，同时在源域预测模型训练过程中，考虑源域与目标域在历史轨迹时空特征表征上的对齐，从而使得源域预测模型训练完成后，能够直接迁移到目标域进行轨迹预测。
2.根据权利要求1所述的方法，其特征在于，在源域预测模型中，输入为一个历史时段内的多行人轨迹集合；所述源域预测模型训练过程具体为：
步骤(1)、将该输入转化为行人轨迹拓扑图，从而描述历史时段内每个离散时刻上多行人之间的相互作用关系；
步骤(2)、采用深度拓扑图卷积网络，抽取源域行人轨迹的时空特征表征；
步骤(3)、基于所获取的时空特征表征预测源域行人未来时段的轨迹；
步骤(4)、根据所预测的未来时段轨迹与真实标注的未来时段轨迹进行比对，计算预测误差；
步骤(5)、选取与源域相等历史时长的一段目标域历史行人轨迹，将所述轨迹转化为行人轨迹拓扑图；
步骤(6)、采用深度拓扑图卷积网络，抽取目标域行人轨迹的时空特征表征；
步骤(7)、将步骤(2)和步骤(6)所获得的源域和目标域行人轨迹时空特征表征进行对齐操作，获取对齐误差；
步骤(8)、基于步骤(4)和步骤(7)所获得的预测误差和对齐误差，采用反向传播算法，调整模型中的所有待定权重参数，直到误差小于某个事先指定的阈值。
3.根据权利要求2所述的方法，其特征在于，在步骤(1)中，
建立源域历史时段内行人与行人之间的拓扑邻接关系；假定在历史时段[T1，Tobs]中，任意时刻的场景下均有N个行人，任意时刻Tm∈[T1，Tobs]构建的行人拓扑图表示为
Figure FDA0003738833820000014
其中
Figure FDA0003738833820000015
表示Tm时刻行人拓扑图的顶点集合，其中每个顶点表示一个行人，因此
Figure FDA0003738833820000016
Figure FDA0003738833820000017
表示Tm时刻行人拓扑图的邻接矩阵，任意一对行人i，j之间Tm时刻的连接权重表示为二者之间的欧式距离，具体为
Figure FDA0003738833820000011
其中，
Figure FDA0003738833820000012
为行人i，j在Tm时刻的位置坐标；||·||2为向量的2次范数，即欧式距离，因此
Figure FDA0003738833820000013
表示Tm时刻行人拓扑图的顶点特征矩阵，其中，
Figure FDA0003738833820000021
表示任意顶点
Figure FDA00037388338200000217
在Tm时刻的特征向量，其维度为Df，其计算公式为：
Figure FDA0003738833820000022
其中，σ(.)表示sigmoid函数；W1，b1为待学习的权重参数；
基于上述过程，针对所有处于历史时段[T1，Tobs]中的每一时刻构建行人拓扑图，分别表示为
Figure FDA0003738833820000023
其对应的每一时刻顶点特征矩阵表示为
Figure FDA0003738833820000024
进一步压缩表示：源域的历史轨迹拓扑图集合
Figure FDA0003738833820000025
和源域的历史轨迹拓扑图顶点特征矩阵集合
Figure FDA0003738833820000026
4.根据权利要求3所述的方法，其特征在于，在步骤(2)中，
基于步骤(1)所获得的源域历史轨迹拓扑图顶点特征矩阵集合
Figure FDA0003738833820000027
采用深度拓扑图卷积模型，提取用于表征源域历史行人轨迹特征的综合表征，记为
Figure FDA0003738833820000028
其中，
Figure FDA0003738833820000029
是任意Tm∈[T1，Tobs]时刻历史行人轨迹拓扑图所抽取出的时空表征；
Figure FDA00037388338200000218
是以
Figure FDA00037388338200000219
为输入，经由3层的拓扑图卷积深度神经网络而得到。
5.根据权利要求4所述的方法，其特征在于，在步骤(3)中，
基于步骤(2)所获取的历史时段[T1，Tobs]内行人轨迹时空特征的综合表征
Figure FDA00037388338200000210
采用时间因果卷积预测未来时段[Tobs+1，Tobs+τ]内的轨迹，亦即
Figure FDA00037388338200000211
对于任意行人i，步骤(2)所提取到的其历史轨迹综合表征为
Figure FDA00037388338200000212
Figure FDA00037388338200000213
其中
Figure FDA00037388338200000214
表示Tj时刻行人i所处位置的特征表征；该步骤对于特定行人i在未来时段[Tobs+1，Tobs+τ]内的位置轨迹，是以
Figure FDA00037388338200000215
为输入，以时间因果卷积神经网络为模型，预测得到；所述时间因果卷积模型，一共有3层，每一层的卷积核大小为3，激活函数采用Relu；任意第l(1≤l≤3)层的计算公式为：
Figure FDA00037388338200000216
其中，
Figure FDA0003738833820000031
是第l(1≤l≤3)层时间因果卷积的输出，当l＝3时，
Figure FDA0003738833820000032
即输出行人i未来时段的轨迹预测结果，当l＝0时，
Figure FDA0003738833820000033
即输入为步骤(2)提取到的行人i历史时段位置轨迹综合表征；
Figure FDA0003738833820000034
b(l)为第l(1≤l≤3)层时间因果卷积模型待学习的参数；
Figure FDA0003738833820000035
表示一维卷积操作；
上述公式可以对全部行人进行并行的计算，从而预测得到全部N个行人未来的出行轨迹集合
Figure FDA0003738833820000036
6.根据权利要求5所述的方法，其特征在于，在步骤(4)中，
基于步骤(3)所预测的行人未来的出行轨迹集合
Figure FDA0003738833820000037
通过与真实样本标注的行人未来出行轨迹集合
Figure FDA0003738833820000038
进行比对，计算相应的预测误差，具体计算公式为：
Figure FDA0003738833820000039
其中，
Figure FDA00037388338200000310
为预测误差，||·||2为张量的2次范数。
7.根据权利要求6所述的方法，其特征在于，在步骤(5)中，
建立目标域历史时段内行人与行人之间的拓扑邻接关系；目标域中，选择与源域相同数量时刻的场景，每个时刻场景中的行人总数可以与源域不同；其构建拓扑图的过程与步骤(1)中源域行人轨迹关系拓扑图构建流程相同；最终建立的目标域拓扑图集合表示为Gt，目标域拓扑图特征矩阵记为Ft。
8.根据权利要求7所述的方法，其特征在于，在步骤(6)和步骤(7)中，
基于步骤(5)建立的目标域历史时段内行人轨迹关系拓扑图Gt和拓扑图特征矩阵Ft，提取到目标域历史时段内轨迹特征表征综合表征，记为Ht；
建立源域和目标域之间的跨域特征对齐，具体的对齐方式是计算源域历史行人轨迹综合表征Hs与目标域历史行人轨迹综合表征Ht之间的对齐误差，进一步最小化该误差；对齐误差的计算公式为：
Figure FDA00037388338200000311
其中，
Figure FDA00037388338200000312
为对齐误差。
9.根据权利要求8所述的方法，其特征在于，在步骤(8)中，
最小化步骤(4)和步骤(7)所得到的两个误差，依据梯度下降方法，调整模型中所有待学习的参数；最小化目标函数为：
Figure FDA0003738833820000041
其中，
Figure FDA0003738833820000042
为模型训练的误差函数；梯度下降算法中，学习率取为0.002。
10.根据权利要求9所述的方法，其特征在于，所述预测方法还包括预测模型推理过程，所述预测模型推理过程具体为：
步骤1：收集当前时刻的前序|Tobs-T1|个历史行人观测位置场景，获取到全部行人的历史位置轨迹；
步骤2：依据步骤(1)建立历史时段[T1，Tobs]内的一系列拓扑关系图；
步骤3：将步骤2得到的拓扑关系图输入到训练得到的预测模型，直接输出未来时段[Tobs+1，Tobs+τ]的预测轨迹。
CN202210810760.3A 2022-07-11 2022-07-11 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法 Pending CN115272395A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810760.3A CN115272395A (zh) 2022-07-11 2022-07-11 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810760.3A CN115272395A (zh) 2022-07-11 2022-07-11 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法

Publications (1)

Publication Number Publication Date
CN115272395A true CN115272395A (zh) 2022-11-01

Family

ID=83765424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810760.3A Pending CN115272395A (zh) 2022-07-11 2022-07-11 一种基于深度图卷积网络的跨域可迁移行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN115272395A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223126A (zh) * 2020-01-06 2020-06-02 西安理工大学 一种基于迁移学习的跨视角轨迹模型构建方法
WO2021134169A1 (zh) * 2019-12-30 2021-07-08 华为技术有限公司 一种轨迹预测方法及相关设备
CN113326974A (zh) * 2021-05-01 2021-08-31 北京工业大学 一种基于多任务超图卷积网络的多源交通流预测方法
CN113362367A (zh) * 2021-07-26 2021-09-07 北京邮电大学 一种基于多精度交互的人群轨迹预测方法
US20210406760A1 (en) * 2020-06-25 2021-12-30 International Business Machines Corporation Model transfer learning across evolving processes
CN114723784A (zh) * 2022-04-08 2022-07-08 重庆大学 一种基于域适应技术的行人运动轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134169A1 (zh) * 2019-12-30 2021-07-08 华为技术有限公司 一种轨迹预测方法及相关设备
CN111223126A (zh) * 2020-01-06 2020-06-02 西安理工大学 一种基于迁移学习的跨视角轨迹模型构建方法
US20210406760A1 (en) * 2020-06-25 2021-12-30 International Business Machines Corporation Model transfer learning across evolving processes
CN113326974A (zh) * 2021-05-01 2021-08-31 北京工业大学 一种基于多任务超图卷积网络的多源交通流预测方法
CN113362367A (zh) * 2021-07-26 2021-09-07 北京邮电大学 一种基于多精度交互的人群轨迹预测方法
CN114723784A (zh) * 2022-04-08 2022-07-08 重庆大学 一种基于域适应技术的行人运动轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI XU 等: "Adaptive Trajectory Prediction via Transferable GNN" *
殷浩腾;刘洋;: "基于社交属性的时空轨迹语义分析" *

Similar Documents

Publication Publication Date Title
Rehder et al. Pedestrian prediction by planning using deep neural networks
CN108399745B (zh) 一种基于无人机的分时段城市路网状态预测方法
KR102021992B1 (ko) 교통신호 제어 장치, 교통신호 제어 방법 및 교통신호 제어 프로그램을 저장하는 저장매체
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN109636049B (zh) 一种结合道路网络拓扑结构与语义关联的拥堵指数预测方法
Chen et al. Autonomous exploration under uncertainty via deep reinforcement learning on graphs
CN110737968B (zh) 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
US11562490B2 (en) Systems and methods for video object segmentation
CN114519932B (zh) 一种基于时空关系抽取的区域交通状况集成预测方法
Saroya et al. Online exploration of tunnel networks leveraging topological CNN-based world predictions
Sarkar et al. Trajectory prediction of traffic agents at urban intersections through learned interactions
CN114863699B (zh) 一种基于数字孪生的城市车路协同交通流预测方法
CN113705636A (zh) 一种自动驾驶车辆轨迹预测方法、装置及电子设备
Chu et al. Traffic signal control using end-to-end off-policy deep reinforcement learning
CN113568410B (zh) 一种异构智能体轨迹预测方法、系统、设备及介质
CN110281949B (zh) 一种自动驾驶统一分层决策方法
CN112071062A (zh) 一种基于图卷积网络和图注意力网络的行车时间估计方法
CN114117259A (zh) 一种基于双重注意力机制的轨迹预测方法及装置
CN112541449A (zh) 一种基于无人机航拍视角的行人轨迹预测方法
Saksena et al. Towards behavioural cloning for autonomous driving
Ye et al. Fedlight: Federated reinforcement learning for autonomous multi-intersection traffic signal control
Mun et al. Occlusion-aware crowd navigation using people as sensors
CN117516581A (zh) 融合BEVFormer和邻域注意力Transformer端到端自动驾驶轨迹规划系统、方法及训练方法
CN117116048A (zh) 基于知识表示模型和图神经网络的知识驱动交通预测方法
CN115331460B (zh) 一种基于深度强化学习的大规模交通信号控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221101

RJ01 Rejection of invention patent application after publication