CN114611663A - 一种基于在线更新策略的定制化行人轨迹预测方法 - Google Patents
一种基于在线更新策略的定制化行人轨迹预测方法 Download PDFInfo
- Publication number
- CN114611663A CN114611663A CN202210165766.XA CN202210165766A CN114611663A CN 114611663 A CN114611663 A CN 114611663A CN 202210165766 A CN202210165766 A CN 202210165766A CN 114611663 A CN114611663 A CN 114611663A
- Authority
- CN
- China
- Prior art keywords
- track
- pedestrian
- trajectory
- predicted
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 31
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 claims description 29
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 claims description 29
- 230000008485 antagonism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037147 athletic performance Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于在线更新策略的定制化行人轨迹预测方法，包括：搭建基于生成对抗框架的参数共享模型；模型训练，在不同行人疏密程度的场景中训练基于生成对抗框架的参数共享模型，学习各场景中行人轨迹的通用特征；模型测试，基于循环生成对抗原理，调用模型训练阶段优化完成的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型用于测试；将得到的模型应用于单个行人，随着模型测试过程的持续推进在线优化模型参数，并学习到基于单人的个性化行为偏好，联合推理出场景中所有行人的预测轨迹。本发明的方法可有效捕捉场景中不同行人行为模式的差异化特征，以降低预测轨迹的误差并提升系统的稳健性。
Description
技术领域
本发明属于自动驾驶系统中的轨迹预测技术领域，尤其涉及一种基于在线更新策略的高稳健性定制化行人轨迹预测方法。
背景技术
在高度自动驾驶(车辆完成所有驾驶操作，在有条件的道路行驶时，驾驶者可以完全解放双手)或者完全自动驾驶(真正的无人参与驾驶操控)车辆中，行人轨迹预测算法可以把未来一段时间内行人的运动轨迹传递给车辆的决策机构进行处理分析，辅助车辆路径规划，以使得自动驾驶车辆具备类似人类的智能行为。因此，行人轨迹预测是确保自动驾驶系统做出正确决策的关键技术。
现有的行人轨迹预测技术，已经取得了一些突破性成果：如Social force认为行人的运动行为受到“社会力”的影响，这些力并非是行人外部环境施加的物理作用，而是行人执行某些动作的内部动机；Social-LSTM引入循环神经网络以捕捉行人历史轨迹序列中的依赖关系；SoPhie中的生成对抗框架可以学习到输入行人轨迹序列的多模态性。这些行人轨迹预测算法均在公开的行人轨迹数据集上显示出优越的预测效果。
目前在实际交通场景的应用中，自动驾驶系统往往会直接调用已经稳定收敛的模型进行轨迹预测。而在训练阶段，场景中多个行人共用一个轨迹预测模型，参数共享，算法学习所有行人的运动模式并据此优化网络参数，直至模型收敛。这种基于参数共享的模型学习到的是场景中所有行人运动的通用模式，而忽略了行人运动模式的个体差异。这种情况下，一方面由于在某个特定场景中学习到的行人通用模式不一定适用于另一场景，导致算法的泛化性能很差，实用性不强。另一方面由于未能捕捉到行人个性化的运动模式，预测算法的误差较大，影响自动驾驶系统路径规划的决策有效性。
鉴于此，兼顾不同场景下所有行人的通用模式与特定场景中单个行人的个性化偏好，成为自动驾驶系统中的行人轨迹预测面临的关键技术难题之一。
发明内容
为了解决上述已有技术存在的不足，本发明提出一种基于在线更新策略的定制化行人轨迹预测方法，本发明的具体技术方案如下：
一种基于在线更新策略的定制化行人轨迹预测方法，包括以下步骤：
S1：搭建基于生成对抗框架的参数共享模型；
S2：模型训练；在不同行人疏密程度的场景中训练基于生成对抗框架的参数共享模型，学习各场景中行人轨迹的通用特征；
S3：模型测试；基于循环生成对抗原理，调用模型训练阶段优化完成的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型用于测试；
S4：将步骤S3得到的模型应用于单个行人，随着模型测试过程的持续推进在线优化模型参数，并学习到基于单人的个性化行为偏好，联合推理出场景中所有行人的预测轨迹。
进一步地，所述步骤S1中的基于生成对抗框架的参数共享模型包括轨迹生成模块即生成器、轨迹判别模块即判别器，所述轨迹生成模块用于捕捉行人历史轨迹序列的数据分布并推理出预测轨迹，所述轨迹判别模块则用于判断输入的轨迹是来自真实轨迹而不是轨迹生成模块输出的预测轨迹的概率；
所述轨迹生成模块是基于长短期记忆网络即LSTM的编码-解码架构，其中，编码器用于捕获历史轨迹坐标中的隐藏信息，解码器用于推理行人的预测轨迹，具体地，先由一个多层感知器即MLP进行坐标的“轨迹嵌入”处理，将坐标位置向量转化为固定长度向量，对输出数据做维度变换以匹配LSTM网络的数据输入格式，LSTM网络作为核心网络用于捕获历史轨迹信息中的行人运动模式，接着继续对数据输入格式做变换之后输入到下一个MLP，该MLP用于学习轨迹序列中的分布式信息，最后加入全局高斯噪音，编码器的最终输出蕴含行人运动模式编码信息；解码器根据行人的上一帧轨迹信息和编码器的输出信息逐帧推理出下一时刻的轨迹信息，输出预测轨迹坐标序列；
所述轨迹判别模块包括一个编码器，将预测轨迹标签和轨迹生成模块输出的预测轨迹分别送入所述轨迹判别模块中判断，经由LSTM和MLP解析，给出轨迹真伪性的评分结果；
所述基于生成对抗框架的参数共享模型的目标函数表示为：
其中，z为轨迹生成模块输入的历史轨迹，G(z)为轨迹生成模块输出的预测轨迹，D(G(z))代表输出的预测轨迹判别为真的概率；x代表预测轨迹对应的真实轨迹标签，D(x)代表真实轨迹标签判别为真的概率；G,D分别表示生成器和判别器，
表示真实轨迹标签的判别损失，Ez～p(z)表示预测轨迹的判别损失。
进一步地，所述步骤S2的具体过程为：
S2-1：优化轨迹判别模块，其目标函数为：
由于x代表预测轨迹对应的真实轨迹标签，判别结果D(x)越接近于1越好，即最大化
z是轨迹生成模块输入的历史轨迹，判别结果D(G(z))越接近于0越好，即最大化Ez～p(z)[log(1-D(G(z)))]，最终优化效果是使轨迹判别模块的目标函数最大化；
S2-2：优化轨迹生成模块，其目标函数为：
minG V(G,D)＝Ez～p(z)[log(1-D(G(z)))] (3)
由于轨迹生成模块生成的轨迹越接近于真实轨迹越好，即使得D(G(z))越接近于1越好，最终优化效果是使轨迹生成模块的标函数最小化；
S2-3：循环步骤S2-1和步骤S2-2，基于生成对抗框架的参数共享模型在训练阶段捕捉到行人轨迹的通用特征，根据每次训练过程中目标函数的结果，运用Adam优化器迭代优化网络参数，得到优化参数后稳定收敛的基于生成对抗框架的参数共享模型。
进一步地，所述步骤S3的具体过程为：
S3-1：调用步骤S2得到的稳定收敛的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型为单个行人建模；由于在测试过程中无法也不能获取真实的预测轨迹标签，将行人的历史轨迹数据Xi对应基于循环生成对抗框架的行人轨迹预测模型中定义域X中的数据，将生成器预测轨迹数据
对应于基于循环生成对抗框架的行人轨迹预测模型中定义域Y中的数据；
S3-2：循环生成对抗网络即CycleGAN由两个GAN网络组成，一个X->Y的单向GAN和一个Y->X的单向GAN，二者共享两个生成器M和F，独立使用各自的判别器；CycleGAN要求定义域X或定义域Y中的数据经过两个GAN后能重建，从X->Y的单向GAN来看，Xi通过CycleGAN中两个生成器M和F的转换以重建历史轨迹数据X′i，计算重建历史轨迹与真实历史轨迹的循环一致性损失，学习从Xi到
的映射关系以及从
到X′i的映射关系；从Y->X的单向GAN来看，
通过CycleGAN中两个生成器F和M的转换以重建预测轨迹数据
计算重建预测轨迹与预测轨迹的循环一致性损失，学习从X′i到
的映射关系以及从
到X′i的映射关系；
S3-3：计算CycleGAN的对抗性损失及行人历史轨迹重建过程中的循环一致性损失的总损失，据此优化模型参数，基于循环生成对抗框架的行人轨迹预测模型的对抗性损失沿用式(2)表示，循环一致性损失采用式(4)所示的二范数损失函数，网络总体的损失函数如式(5)所示：
Lcyc(M,F)＝Ex～X[‖F(M(x)-x)‖2]+Ey～Y[‖M(F(y)-y)‖2] (4)
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc (5)
其中，DY为从X->Y单向GAN的判别器，DX为从Y->X的单向GAN的判别器，M(F(y)为预测轨迹重建结果，F(M(x))为历史轨迹的重建结果，LGAN(G,DY,X,Y)为从X->Y的单向GAN的目标函数，LGAN(F,DX,Y,X)为从Y->X的单向GAN的目标函数，λ为循环一致性损失的权重参数，Lcyc为重建过程中的循环一致性损失。
进一步地，所述步骤S4的具体过程为：
S4-1：在T时刻，先正向预测，利用历史轨迹帧生成对应的预测轨迹帧；接着将预测轨迹帧进行轨迹倒序处理，利用倒序后的预测轨迹帧重建出历史轨迹帧，根据CycleGAN的基础理论，重建历史轨迹帧和历史轨迹帧的轨迹误差越接近，循环一致性损失就越小；
S4-2：在T+1时刻，如果行人轨迹的数据未及时更新，通过历史轨迹帧自更新即利用T时刻预测出的部分预测轨迹帧补位T+1时刻的历史轨迹帧，使预测过程持续进行。
本发明的有益效果在于：
1.本发明通过在不同人群疏密场景中建模，以捕捉更丰富的行人运动模式，弥补了现有轨迹预测方法普适性差的缺陷；
2.本发明通过单人建模学习基于单人的个性化行为偏好，随着预测过程的持续进行，每个模型的参数基于该行人的轨迹模式在线更新，可有效捕捉场景中不同行人行为模式的差异化特征，最终联合推理出场景中多目标行人的未来轨迹，在测试阶段首次引入参数在线更新策略，增强了轨迹预测模型的稳健性和可解释性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1是本发明的基于生成对抗框架的参数共享模型结构图；
图2是本发明的基于循环生成对抗框架的行人轨迹预测模型框架图；
图3是本发明的循环一致更新过程示意图；
图4为CycleGan原理图，左侧为X域数据重建过程，右侧为Y域数据重建过程。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明的一种基于在线更新策略的高稳健性定制化行人轨迹预测方法，训练阶段，在人群疏密程度不同的场景中，通过模型共用、参数共享的方式学习不同场景中行人的通用行为模式，以提升算法的泛化性能；测试阶段，在特定场景中，调用训练阶段稳定收敛的模型为每个行人单独建模，采用无监督学习方式优化模型参数。本发明基于单个行人的观察帧生成预测帧，再通过预测帧重建观察帧，计算真实观察帧与重建观察帧的损失。
具体地，一种基于在线更新策略的定制化行人轨迹预测方法，包括以下步骤：
S1：搭建基于生成对抗框架的参数共享模型；
如图1所示，基于生成对抗框架的参数共享模型包括轨迹生成模块即生成器、轨迹判别模块即判别器，轨迹生成模块用于捕捉行人历史轨迹序列的数据分布并推理出预测轨迹，轨迹判别模块则用于判断输入的轨迹是来自真实轨迹而不是轨迹生成模块输出的预测轨迹的概率；
轨迹生成模块是基于长短期记忆网络即LSTM的编码-解码架构，其中，编码器用于捕获历史轨迹坐标中的隐藏信息，解码器用于推理行人的预测轨迹，具体地，先由一个多层感知器即MLP进行坐标的“轨迹嵌入”处理，将坐标位置向量转化为固定长度向量，对输出数据做维度变换以匹配LSTM网络的数据输入格式，LSTM网络作为核心网络用于捕获历史轨迹信息中的行人运动模式，接着继续对数据输入格式做变换之后输入到下一个MLP，该MLP用于学习轨迹序列中的分布式信息，最后加入全局高斯噪音，编码器的最终输出蕴含行人运动模式编码信息；解码器根据行人的上一帧轨迹信息和编码器的输出信息逐帧推理出下一时刻的轨迹信息，输出预测轨迹坐标序列；
轨迹判别模块包括一个编码器，将预测轨迹标签和轨迹生成模块输出的预测轨迹分别送入轨迹判别模块中判断，经由LSTM和MLP解析，给出轨迹真伪性的评分结果；
由于生成器和判别器是交替迭代训练的，因此，目标函数也是分阶段优化的，基于生成对抗框架的参数共享模型的目标函数表示为：
其中，z为轨迹生成模块输入的历史轨迹，G(z)为轨迹生成模块输出的预测轨迹，D(G(z))代表输出的预测轨迹判别为真的概率；x代表预测轨迹对应的真实轨迹标签，D(x)代表真实轨迹标签判别为真的概率；G,D分别表示生成器和判别器，
表示真实轨迹标签的判别损失，Ez～p(z)表示预测轨迹的判别损失。
S2：模型训练；在不同行人疏密程度的场景中训练基于生成对抗框架的参数共享模型，学习各场景中行人轨迹的通用特征；
S2-1：优化轨迹判别模块，其目标函数为：
由于x预测轨迹对应的真实轨迹标签，判别结果D(x)越接近于1越好，即最大化
z是轨迹生成模块输入的历史轨迹，判别结果D(G(z))越接近于0越好，即最大化Ez～p(z)[log(1-D(G(z)))]，最终优化效果是使轨迹判别模块的目标函数最大化；
S2-2：优化轨迹生成模块，其目标函数为：
minG V(G,D)＝Ez～p(z)[log(1-D(G(z)))] (3)
由于轨迹生成模块生成的轨迹越接近于真实轨迹越好，即使得D(G(z))越接近于1越好，最终优化效果是使轨迹生成模块的标函数最小化；
S2-3：循环步骤S2-1和步骤S2-2，基于生成对抗框架的参数共享模型在训练阶段，通过上述“一大一小”的博弈训练，捕捉到行人轨迹的通用特征，根据每次训练过程中目标函数的结果，运用Adam优化器迭代优化网络参数，得到优化参数后稳定收敛的基于生成对抗框架的参数共享模型。
S3：模型测试；基于循环生成对抗原理，调用模型训练阶段优化完成的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型用于测试；如图2所示，具体过程为：
S3-1：调用步骤S2得到的稳定收敛的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型为单个行人建模；由于在测试过程中无法也不能获取真实的预测轨迹标签，将行人的历史轨迹数据Xi对应基于循环生成对抗框架的行人轨迹预测模型中定义域X中的数据，将生成器预测轨迹数据
对应于基于循环生成对抗框架的行人轨迹预测模型中定义域Y中的数据；
S3-2：如图4所示，循环生成对抗网络即CycleGAN由两个GAN网络组成，一个X->Y的单向GAN和一个Y->X的单向GAN，二者共享两个生成器M和F，独立使用各自的判别器；CycleGAN要求定义域X或定义域Y中的数据经过两个GAN后能重建，从X->Y的单向GAN来看，Xi通过CycleGAN中两个生成器M和F的转换以重建历史轨迹数据X′i，计算重建历史轨迹与真实历史轨迹的循环一致性损失，学习从Xi到
的映射关系以及从
到X′i的映射关系；从Y->X的单向GAN来看，
通过CycleGAN中两个生成器F和M的转换以重建预测轨迹数据
计算重建预测轨迹与预测轨迹的循环一致性损失，学习从X′i到
的映射关系以及从
到X′i的映射关系；
S3-3：计算CycleGAN的对抗性损失及行人历史轨迹重建过程中的循环一致性损失的总损失，据此优化模型参数，基于循环生成对抗框架的行人轨迹预测模型的对抗性损失沿用式(2)表示，循环一致性损失采用式(4)所示的二范数损失函数，网络总体的损失函数如式(5)所示：
Lcyc(M,F)＝Ex～X[‖F(M(x)-x)‖2]+Ey～Y[‖M(F(y)-y)‖2] (4)
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc (5)
其中，DY为从X->Y单向GAN的判别器，DX为从Y->X的单向GAN的判别器，M(F(y)为预测轨迹重建结果，F(M(x))M为历史轨迹的重建结果，LGAN(G,DY,X,Y)为从X->Y的单向GAN的目标函数，LGAN(F,DX,Y,X)为从Y->X的单向GAN的目标函数，λ为循环一致性损失的权重参数，Lcyc为重建过程中的循环一致性损失。
S4：将步骤S3得到的模型应用于单个行人，随着模型测试过程的持续推进在线优化模型参数，并学习到基于单人的个性化行为偏好，联合推理出场景中所有行人的预测轨迹；如图3所示，具体过程为：
S4-1：在T时刻，先正向预测，利用历史轨迹帧生成对应的预测轨迹帧；接着将预测轨迹帧进行轨迹倒序处理，利用倒序后的预测轨迹帧重建出历史轨迹帧，根据CycleGAN的基础理论，重建历史轨迹帧和历史轨迹帧的轨迹误差越接近，循环一致性损失就越小；
S4-2：在T+1时刻，如果行人轨迹的数据未及时更新，通过历史轨迹帧自更新即利用T时刻预测出的部分预测轨迹帧补位T+1时刻的历史轨迹帧，使预测过程持续进行。
本发明中，基于生成对抗框架的参数共享模型的优化针对不同人群疏密场景下行人的行为模式，可以有效提升算法的泛化性能；基于循环生成对抗框架的行人轨迹预测模型的优化过程是伴随着行人轨迹的预测过程持续进行，一方面网络的参数会基于个体的轨迹偏好在线更新，进一步提升预测精度，另一方面由于这种方法得到的轨迹预测模型，在实际场景中，由于传感器出现故障而导致实际的观察帧轨迹数据无法实时更新时，可以采用预测帧补位观察帧的方式使预测过程持续进行下去，提升了算法的稳健性。
为了方便理解本发明的上述技术方案，以下通过具体实施例对本发明的上述技术方案进行详细说明。
实施例1
为了在横向上与同类型的轨迹预测模型有一个可控的比较，以验证本发明算法的有效性，选取了近年来行人轨迹预测领域不同发展阶段的SOTA(State-Of-The-Art)模型进行对比，以下模型所用评价指标和数据集完全一致。
a)Linear:：简单的线性轨迹预测模型。
b)LSTM：尚未考虑行人交互，仅基于行人历史轨迹信息的轨迹预测模型。
c)Social LSTM：引入局部社交池化机制捕捉行人的动态交互信息，并在每个时间步汇集邻近行人的社交状态进行预测。
d)Social GAN：引入生成对抗思想的行人轨迹预测模型，同时也是本文算法改进的基准框架。
一、实验环境
模型训练及测试在本机上进行，深度学习环境配置如下：
二、行人数据集与预测误差评价指标
(1)行人数据集
本实施例所用的行人轨迹预测数据集，采用行人轨迹预测领域两个公开的数据集ETH&UCY行人数据集，数据来源于鸟瞰视角下的监控视频，每0.4s手工标注场景中的行人轨迹坐标，这些轨迹蕴含了丰富的行人交互信息和大量真实的行人轨迹。ETH数据集包含两个场景：ETH和HOTEL,UCY数据集包含3个场景UNIV、ZARA1和ZARA2。
由于数据量限制，本实施例采用交叉验证的方法开展实验，即循环取其中的四个数据集作为训练集，余下的一个作为测试集。
(2)预测误差评价指标
为了评价行人预测轨迹算法的预测性能，本实施例从实时性和精度评价算法的性能。在精度方面，采用行人轨迹预测领域的通用指标ADE和FDE.在实验中，观察8个时间步(3.2s)的历史轨迹，预测8个时间步(3.2s)或12个时间步(4.8s)的未来轨迹。并选用如下的预测误差评价指标：
平均位移误差(Average Displacement Error，ADE)：预测轨迹和真实轨迹中所有坐标点之间的平均欧氏距离在所有行人轨迹上所取平均值。
最终位移误差(Final Displacement Error,FDE)：预测轨迹和真实轨迹的最终坐标点在所有行人轨迹上所取平均值。
三、实验结果
表中的结果是所有对比模型和本发明模型在ETH&UCY数据集上的ADE,FDE的测试结果。其中ADE和FDE的误差值越小，模型性能越好。设置观察帧为8帧，预测帧数分别为8/12帧，误差单位：米。
从上表可以看出，本发明所采用的方法在ETH&UCY数据集上的测试结果均优于同类轨迹预测算法。与经典的轨迹预测算法Social-GAN(S-GAN)相比，其ADE误差在8帧和12帧预测中分别降低12％和9％，，FDE误差在8帧和12帧预测中均降低8％。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于在线更新策略的定制化行人轨迹预测方法，其特征在于，包括以下步骤：
S1：搭建基于生成对抗框架的参数共享模型；
S2：模型训练；在不同行人疏密程度的场景中训练基于生成对抗框架的参数共享模型，学习各场景中行人轨迹的通用特征；
S3：模型测试；基于循环生成对抗原理，调用模型训练阶段优化完成的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型用于测试；
S4：将步骤S3得到的模型应用于单个行人，随着模型测试过程的持续推进在线优化模型参数，并学习到基于单人的个性化行为偏好，联合推理出场景中所有行人的预测轨迹。
2.根据权利要求1所述的预测方法，其特征在于，所述步骤S1中的基于生成对抗框架的参数共享模型包括轨迹生成模块即生成器、轨迹判别模块即判别器，所述轨迹生成模块用于捕捉行人历史轨迹序列的数据分布并推理出预测轨迹，所述轨迹判别模块则用于判断输入的轨迹是来自真实轨迹而不是轨迹生成模块输出的预测轨迹的概率；
所述轨迹生成模块是基于长短期记忆网络即LSTM的编码-解码架构，其中，编码器用于捕获历史轨迹坐标中的隐藏信息，解码器用于推理行人的预测轨迹，具体地，先由一个多层感知器即MLP进行坐标的“轨迹嵌入”处理，将坐标位置向量转化为固定长度向量，对输出数据做维度变换以匹配LSTM网络的数据输入格式，LSTM网络作为核心网络用于捕获历史轨迹信息中的行人运动模式，接着继续对数据输入格式做变换之后输入到下一个MLP，该MLP用于学习轨迹序列中的分布式信息，最后加入全局高斯噪音，编码器的最终输出蕴含行人运动模式编码信息；解码器根据行人的上一帧轨迹信息和编码器的输出信息逐帧推理出下一时刻的轨迹信息，输出预测轨迹坐标序列；
所述轨迹判别模块包括一个编码器，将预测轨迹标签和轨迹生成模块输出的预测轨迹分别送入所述轨迹判别模块中判断，经由LSTM和MLP解析，给出轨迹真伪性的评分结果；
所述基于生成对抗框架的参数共享模型的目标函数表示为：
其中，z为轨迹生成模块输入的历史轨迹，G(z)为轨迹生成模块输出的预测轨迹，D(G(z))代表输出的预测轨迹判别为真的概率；x代表预测轨迹对应的真实轨迹标签，D(x)代表真实轨迹标签判别为真的概率；G,D分别表示生成器和判别器，
表示真实轨迹标签的判别损失，Ez～p(z)表示预测轨迹的判别损失。
3.根据权利要求2所述的预测方法，其特征在于，所述步骤S2的具体过程为：
S2-1：优化轨迹判别模块，其目标函数为：
由于x代表预测轨迹对应的真实轨迹标签，判别结果D(x)越接近于1越好，即最大化
z是轨迹生成模块输入的历史轨迹，判别结果D(G(z))越接近于0越好，即最大化Ez～p(z)[log(1-D(G(z)))]，最终优化效果是使轨迹判别模块的目标函数最大化；
S2-2：优化轨迹生成模块，其目标函数为：
minGV(G,D)＝Ez～p(z)[log(1-D(G(z)))] (3)
由于轨迹生成模块生成的轨迹越接近于真实轨迹越好，即使得D(G(z))越接近于1越好，最终优化效果是使轨迹生成模块的标函数最小化；
S2-3：循环步骤S2-1和步骤S2-2，基于生成对抗框架的参数共享模型在训练阶段捕捉到行人轨迹的通用特征，根据每次训练过程中目标函数的结果，运用Adam优化器迭代优化网络参数，得到优化参数后稳定收敛的基于生成对抗框架的参数共享模型。
4.根据权利要求1所述的预测方法，其特征在于，所述步骤S3的具体过程为：
S3-1：调用步骤S2得到的稳定收敛的基于生成对抗框架的参数共享模型，搭建基于循环生成对抗框架的行人轨迹预测模型为单个行人建模；由于在测试过程中无法也不能获取真实的预测轨迹标签，将行人的历史轨迹数据Xi对应基于循环生成对抗框架的行人轨迹预测模型中定义域X中的数据，将生成器预测轨迹数据
对应于基于循环生成对抗框架的行人轨迹预测模型中定义域Y中的数据；
S3-2：循环生成对抗网络即CycleGAN由两个GAN网络组成，一个X->Y的单向GAN和一个Y->X的单向GAN，二者共享两个生成器M和F，独立使用各自的判别器；CycleGAN要求定义域X或定义域Y中的数据经过两个GAN后能重建，从X->Y的单向GAN来看，Xi通过CycleGAN中两个生成器M和F的转换以重建历史轨迹数据X′i，计算重建历史轨迹与真实历史轨迹的循环一致性损失，学习从Xi到
的映射关系以及从
到X′i的映射关系；从Y->X的单向GAN来看，
通过CycleGAN中两个生成器F和M的转换以重建预测轨迹数据
计算重建预测轨迹与预测轨迹的循环一致性损失，学习从X′i到
的映射关系以及从
到X′i的映射关系；
S3-3：计算CycleGAN的对抗性损失及行人历史轨迹重建过程中的循环一致性损失的总损失，据此优化模型参数，基于循环生成对抗框架的行人轨迹预测模型的对抗性损失沿用式(2)表示，循环一致性损失采用式(4)所示的二范数损失函数，网络总体的损失函数如式(5)所示：
Lcyc(M,F)＝Ex～X[‖F(M(x)-x)‖2]+Ey～Y[‖M(F(y)-y)‖2] (4)
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc (5)
其中，DY为从X->Y单向GAN的判别器，DX为从Y->X的单向GAN的判别器，M(F(y)为预测轨迹重建结果，F(M(x))为历史轨迹的重建结果，LGAN(G,DY,X,Y)为从X->Y的单向GAN的目标函数，LGAN(F,DX,Y,X)为从Y->X的单向GAN的目标函数，λ为循环一致性损失的权重参数，Lcyc为重建过程中的循环一致性损失。
5.根据权利要求1所述的预测方法，其特征在于，所述步骤S4的具体过程为：
S4-1：在T时刻，先正向预测，利用历史轨迹帧生成对应的预测轨迹帧；接着将预测轨迹帧进行轨迹倒序处理，利用倒序后的预测轨迹帧重建出历史轨迹帧，根据CycleGAN的基础理论，重建历史轨迹帧和历史轨迹帧的轨迹误差越接近，循环一致性损失就越小；
S4-2：在T+1时刻，如果行人轨迹的数据未及时更新，通过历史轨迹帧自更新即利用T时刻预测出的部分预测轨迹帧补位T+1时刻的历史轨迹帧，使预测过程持续进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210165766.XA CN114611663B (zh) | 2022-02-21 | 2022-02-21 | 一种基于在线更新策略的定制化行人轨迹预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210165766.XA CN114611663B (zh) | 2022-02-21 | 2022-02-21 | 一种基于在线更新策略的定制化行人轨迹预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114611663A true CN114611663A (zh) | 2022-06-10 |
| CN114611663B CN114611663B (zh) | 2024-07-09 |
Family
ID=81858486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210165766.XA Active CN114611663B (zh) | 2022-02-21 | 2022-02-21 | 一种基于在线更新策略的定制化行人轨迹预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114611663B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359568A (zh) * | 2022-08-24 | 2022-11-18 | 深圳职业技术学院 | 行人智能体运动与应急疏散的仿真方法及计算机设备 |
| CN115601393A (zh) * | 2022-09-29 | 2023-01-13 | 清华大学（Cn） | 轨迹生成方法、装置、设备和存储介质 |
| CN116342952A (zh) * | 2023-03-29 | 2023-06-27 | 北京西清能源科技有限公司 | 一种变压器套管异常识别方法与系统 |
| CN117273225A (zh) * | 2023-09-26 | 2023-12-22 | 西安理工大学 | 一种基于时空特征的行人路径预测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766561A (zh) * | 2021-01-15 | 2021-05-07 | 东南大学 | 一种基于注意力机制的生成式对抗轨迹预测方法 |
-
2022
- 2022-02-21 CN CN202210165766.XA patent/CN114611663B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766561A (zh) * | 2021-01-15 | 2021-05-07 | 东南大学 | 一种基于注意力机制的生成式对抗轨迹预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| LEI JIN 等: "Infrared Pedestrian Tracking With Graph Memory Features", IEEE SIGNAL PROCESSING LETTERS, 31 December 2021 (2021-12-31) * |
| 李琳辉;周彬;连静;周雅夫;: "基于社会注意力机制的行人轨迹预测方法研究", 通信学报, no. 06, 13 March 2020 (2020-03-13) * |
| 魏文钰;杨文忠;马国祥;黄梅;: "基于深度学习的行人再识别技术研究综述", 计算机应用, no. 09, 4 September 2020 (2020-09-04) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359568A (zh) * | 2022-08-24 | 2022-11-18 | 深圳职业技术学院 | 行人智能体运动与应急疏散的仿真方法及计算机设备 |
| CN115601393A (zh) * | 2022-09-29 | 2023-01-13 | 清华大学（Cn） | 轨迹生成方法、装置、设备和存储介质 |
| CN115601393B (zh) * | 2022-09-29 | 2024-05-07 | 清华大学 | 轨迹生成方法、装置、设备和存储介质 |
| CN116342952A (zh) * | 2023-03-29 | 2023-06-27 | 北京西清能源科技有限公司 | 一种变压器套管异常识别方法与系统 |
| CN116342952B (zh) * | 2023-03-29 | 2024-01-23 | 北京西清能源科技有限公司 | 一种变压器套管异常识别方法与系统 |
| CN117273225A (zh) * | 2023-09-26 | 2023-12-22 | 西安理工大学 | 一种基于时空特征的行人路径预测方法 |
| CN117273225B (zh) * | 2023-09-26 | 2024-05-03 | 西安理工大学 | 一种基于时空特征的行人路径预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114611663B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114611663B (zh) | 一种基于在线更新策略的定制化行人轨迹预测方法 | |
| Kool et al. | Deep policy dynamic programming for vehicle routing problems | |
| CN112668235B (zh) | 基于离线模型预训练学习的ddpg算法的机器人控制方法 | |
| Zhang et al. | Generative adversarial network based heuristics for sampling-based path planning | |
| Zhang et al. | Artificial intelligence and its applications | |
| CN112347923A (zh) | 一种基于对抗生成网络的路侧端行人轨迹预测算法 | |
| Zhao et al. | A data-driven crowd simulation model based on clustering and classification | |
| Zhang et al. | A systematic solution of human driving behavior modeling and simulation for automated vehicle studies | |
| CN115659275A (zh) | 非结构化人机交互环境中的实时准确轨迹预测方法及系统 | |
| CN112990485A (zh) | 基于强化学习的知识策略选择方法与装置 | |
| Lippi et al. | Enabling visual action planning for object manipulation through latent space roadmap | |
| CN116843083A (zh) | 基于混合神经网络模型的碳排放预测系统及方法 | |
| CN114239974B (zh) | 多智能体的位置预测方法、装置、电子设备及存储介质 | |
| Schultz | Using a genetic algorithm to learn strategies for collision avoidance and local navigation | |
| Wickramasinghe et al. | Continual learning: A review of techniques, challenges and future directions | |
| CN118296090A (zh) | 一种面向自动驾驶的多维时空特征融合的轨迹预测方法 | |
| Liu et al. | Intention-aware denoising diffusion model for trajectory prediction | |
| CN115018134B (zh) | 一种基于三尺度时空信息的行人轨迹预测方法 | |
| CN115373409B (zh) | 一种复杂环境下水下机器人协同捕捞海生物的路径规划方法 | |
| Putpuek et al. | A Comparative Study of LSTM, GRU, BiLSTM and BiGRU to Predict Dissolved Oxygen | |
| CN115700509A (zh) | 一种基于仿真反馈数据的引导线生成方法及系统 | |
| CN115510277A (zh) | 连续时序交互图表示方法 | |
| Panov et al. | Automatic formation of the structure of abstract machines in hierarchical reinforcement learning with state clustering | |
| Liu et al. | Robotic cognitive behavior control based on biology-inspired episodic memory | |
| CN113434617B (zh) | 一种基于船舶轨迹的行为自动划分方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |