CN113139696B - 一种轨迹预测模型构建方法及轨迹预测方法、装置 - Google Patents

一种轨迹预测模型构建方法及轨迹预测方法、装置 Download PDF

Info

Publication number
CN113139696B
CN113139696B CN202110515219.5A CN202110515219A CN113139696B CN 113139696 B CN113139696 B CN 113139696B CN 202110515219 A CN202110515219 A CN 202110515219A CN 113139696 B CN113139696 B CN 113139696B
Authority
CN
China
Prior art keywords
moving
topology
objects
moving objects
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110515219.5A
Other languages
English (en)
Other versions
CN113139696A (zh
Inventor
苏宇超
李元满
李霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110515219.5A priority Critical patent/CN113139696B/zh
Publication of CN113139696A publication Critical patent/CN113139696A/zh
Application granted granted Critical
Publication of CN113139696B publication Critical patent/CN113139696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种轨迹预测模型构建方法及轨迹预测方法、装置,该轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,该轨迹预测模型构建方法包括:获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑;基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型。从而通过动态有向图进行融合高效地表达移动对象间的非对称交互,提高了轨迹预测模型的性能,提高预测结果的准确性,并且无需使用额外的图片信息,计算效率较高,降低软硬件采购成本。

Description

一种轨迹预测模型构建方法及轨迹预测方法、装置
技术领域
本发明涉及深度学习技术领域,具体涉及一种轨迹预测模型构建方法及轨迹预测方法、装置。
背景技术
轨迹预测任务如:行人轨迹预测是指通过行人的一系列历史轨迹,去预测行人在未来一段时间内的移动轨迹。其在机器人导航、自动驾驶系统中有着广泛的应用。
由于目标对象的移动轨迹常常会受到环境中其他对象的影响,如行人的轨迹会受到周围行人的影响,在现有的轨迹预测模型中大部分通过使用抽象的特征去表达行人之间的影响,无法直观地描述行人之间的交互关系。而且,现有的轨迹预测模型描述对象间的交互关系是对称的,即不同对象间的影响是对等的。然而,在实际应用中,不同对象间如行人之间的交互在很多情况下是非对称的。例如,一个行人走在另一个行人的后方,逻辑上,前面的行人不会受到后面的行人的影响。正是由于现有的轨迹预测模型难以准确地描述不同对象间的非对称交互关系,影响了目标对象轨迹预测结果的准确性。
发明内容
有鉴于此,本发明实施例提供了一种轨迹预测模型构建方法及轨迹预测方法、装置,以克服现有技术中轨迹预测模型难以准确地描述不同对象间的非对称交互关系,进而造成最终轨迹预测结果准确性低的问题。
根据第一方面,本发明实施例提供了一种轨迹预测模型构建方法,所述轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,所述方法包括:
获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
通过所述全连接层将所述视野图拓扑和所述方向图拓扑进行融合生成动态有向图拓扑;
基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过所述有向图卷积层和所述卷积层对所述二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型。
可选地,所述获取目标场景中所有移动对象的视野图拓扑,包括:
获取所有移动对象的视野范围和位置;
基于所述视野范围和位置,确定所述目标场景中其他移动对象对当前移动对象的视野影响;
基于所有移动对象之间的视野影响生成视野图拓扑。
可选地,所述获取目标场景中所有移动对象的方向图拓扑,包括:
获取所有移动对象的移动方向;
基于所述移动方向和位置,确定所述目标场景中其他移动对象对当前移动对象的移动方向影响;
基于所有移动对象之间的移动方向影响生成方向图拓扑。
可选地,所述视野图拓扑通过如下公式表示:
A={aij|i,j=1,2,…,N},
其中,A表示视野图拓扑,aij表示第j个移动对象对第i个移动对象的视野影响,N表示目标场景中移动对象的总个数;
其中,aij通过如下公式表示:
Figure BDA0003060760000000031
其中,aij表示第j个移动对象对第i个移动对象的视野影响,vi和vj分别表示第i个移动对象和第j个移动对象的位置,di表示第i个移动对象的移动方向,dij表示从第i个移动对象的位置到第j个移动对象的位置的方向向量。
可选地,所述方向图拓扑通过如下公式表示:
B={bij|i,j=1,2,…,N},
其中,B表示方向图拓扑,bij表示第j个移动对象对第i个移动对象的方向影响,N表示目标场景中移动对象的总个数;
其中,bij通过如下公式表示:
Figure BDA0003060760000000032
其中,bij表示第j个移动对象对第i个移动对象的方向影响,vi和vj分别表示第i个移动对象和第j个移动对象的位置,θ1和θ2分别表示第i个移动对象和第j个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角,θ3表示第i个移动对象的移动方向与第j个移动对象的移动方向之间的夹角。
根据第二方面,本发明实施例还提供了一种轨迹预测方法,包括:
获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
将所述视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明第一方面所述的轨迹预测模型构建方法所得到的训练好的轨迹预测模型,得到所述目标场景中目标移动对象的预测轨迹。
根据第三方面,本发明实施例还提供了一种轨迹预测模型构建装置,所述轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,所述装置包括:
第一获取模块,用于获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
第一处理模块,用于通过所述全连接层将所述视野图拓扑和所述方向图拓扑进行融合生成动态有向图拓扑;
第二处理模块,用于基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过所述有向图卷积层和所述卷积层对所述二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型。
根据第四方面,本发明实施例还提供了一种轨迹预测装置,包括:
第二获取模块,用于获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
第三处理模块,用于将所述视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明第三方面所述的轨迹预测模型构建装置所得到的训练好的轨迹预测模型,得到所述目标场景中目标移动对象的预测轨迹。
本发明实施例还提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明第一方面及其任意一种实施方式中所述的方法,或者执行本发明第二方面所述的方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行本发明第一方面及其任意一种实施方式中所述的方法,或者执行本发明第二方面所述的方法。
本发明技术方案,具有如下优点:
1.本发明实施例提供了一种轨迹预测模型构建方法及装置,该轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,该轨迹预测模型构建方法及装置包括:获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑;基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型,从而高效地表达移动对象间的非对称交互,使得其预测结果更加贴近真实轨迹,提高预测结果的准确性。
2.本发明实施例提供了一种轨迹预测方法及装置,包括:获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;通过利用视野图和方向图表达移动对象之间的视野和移动方向的交互优势,将上述信息输入到采用本发明另一实施例提供的轨迹预测模型构建方法所得到的训练好的轨迹预测模型,且利用本发明另一实施例所得到的训练好的轨迹预测模型,对目标移动对象的轨迹进行预测,使得预测轨迹更加贴近真实轨迹。此外,本发明只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中轨迹预测模型的结构示意图;
图2为本发明实施例中的轨迹预测模型构建方法的流程图;
图3为本发明实施例中行人视野的影响示意图;
图4为本发明实施例中行人移动方向的影响示意图;
图5为本发明实施例中的轨迹预测方法的流程图;
图6为本发明实施例中的轨迹预测模型构建装置的结构示意图;
图7为本发明实施例中的轨迹预测装置的结构示意图;
图8为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
轨迹预测任务如:行人轨迹预测是指通过行人的一系列历史轨迹,去预测行人在未来一段时间内的移动轨迹。其在机器人导航、自动驾驶系统中有着广泛的应用。以在本发明实施例中,将以行人作为移动对象为例,利用轨迹预测模型对行人的轨迹进行预测,在实际应用中,该移动对象还可以是具有一定视野信息采集功能的移动设备,如无人驾驶汽车、智能机器人等,本发明并不以此为限,这些移动对象的轨迹将受到周围其他移动对象的影响,如行人的移动轨迹会受到周围其他行人的移动的干扰影响等。
由于目标对象的移动轨迹常常会受到环境中其他对象的影响,如行人的轨迹会受到周围行人的影响,在现有的轨迹预测模型中大部分通过使用抽象的特征去表达行人之间的影响,无法直观地描述行人之间的交互关系。而且,现有的轨迹预测模型描述对象间的交互关系是对称的,即不同对象间的影响是对等的。然而,在实际应用中,不同对象间如行人之间的交互在很多情况下是非对称的。例如,一个行人走在另一个行人的后方,逻辑上,前面的行人不会受到后面的行人的影响。正是由于现有的轨迹预测模型难以准确地描述不同对象间的非对称交互关系,影响了目标对象轨迹预测结果的准确性。
基于上述问题,本发明实施例提供了一种轨迹预测模型构建方法,如图1所示,初始的轨迹预测模型的网络结构包括:全连接层、有向图卷积层、卷积层和二元高斯分布函数,其中,全连接层、有向图卷积层和卷积层中每一层所包含的具体网络结构的数量可根据轨迹预测模型的构建要求进行灵活的设置,如,由若干全连接层依次连接以构成轨迹预测模型的整个全连接层,本发明并不以此为限。如图2所示,上述的轨迹预测模型构建方法具体包括如下步骤:
步骤S101:获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。
其中,以移动对象为行人为例,由于在行人移动过程中,目标行人的移动轨迹会受到周围行人视野、位置和移动方向的影响,该视野图拓扑为通过有向图的方式去描述行人间视野对移动轨迹的影响,该方向图拓扑为通过有向图的方式去描述行人间移动方向对移动轨迹的影响,该历史移动轨迹为不同行人在各历史时刻的真实位置。
步骤S102:通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑。
由于图卷积网络通常只能使用一个确定的图拓扑结构去描述行人之间的交互,因此,本发明实施例通过使用若干个全连接层去动态地融合上述视野图拓扑和方向图拓扑,得到动态有向图拓扑将作为学习后的有向图拓扑结构去描述行人之间的非对称交互。
步骤S103:基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型。
其中,有向图卷积层通过如下公式表示:
Figure BDA0003060760000000081
其中,l表示有向图卷积的层数,n表示最大的有向图卷积层数,S表示行人的历史移动轨迹,Hl和Wl分别表示第l层的输入和需要学习的权重,f表示激活函数,C表示动态有向图,用于描述移动对象之间的非对称交互。
然后使用若干个卷积层去学习二元高斯分布的五个参数,得到预测轨迹,其中,卷积层的卷积核大小可以根据实际需要进行选择,在本发明实施例中以卷积核为3*1为例,仅以此为例,并不以此为限,然后通过损失函数loss去最大化二元高斯分布的概率,具体损失函数loss通过如下公式表示:
Figure BDA0003060760000000082
其中,vi=(x,y)表示第i个移动对象的位置,x和y分别表示行人位置的坐标,p(vi)表示第i个移动对象的概率密度,且
Figure BDA0003060760000000091
其中,μ1、μ2、σ1、σ2、ρ分别表示二元高斯分布函数中五个需要去学习的参数。
通过执行上述步骤,本发明实施例提供轨迹预测模型构建方法,通过利用各个移动对象的视野图拓扑和方向图拓扑去描述不同移动对象之间的影响,视野图表达移动对象之间的视野的交互,方向图表达移动对象之间在移动方向上的交互,并通过动态有向图进行融合从而高效地表达移动对象间的非对称交互,使得其预测结果更加贴近真实轨迹,提高预测结果的准确性,此外,本发明只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
具体地,在一实施例中,上述的步骤S101,获取目标场景中所有移动对象的视野图拓扑,具体包括如下步骤:
步骤S201:获取所有移动对象的视野范围和位置。
具体地,由于行人的移动受到周围行人位置的影响,因此可通过行人的视野的有向图去描述这种影响,如图3所示。在图3中,A、B、C分别代表三个行人的位置,di代表行人A的移动方向。
步骤S202:基于视野范围和位置,确定目标场景中其他移动对象对当前移动对象的视野影响。
具体地,在本发明实施例中,如图3所示,假设行人的有效视野范围为π(在实际应用中可根据实际情况设置)且其视野范围总是被其移动方向平分。那么行人C在A的视野范围内,因此行人A的移动轨迹将受到行人C的影响,而行人B不在A的视野中,其对行人A的影响应该被忽略。
步骤S203:基于所有移动对象之间的视野影响生成视野图拓扑。
具体地,该视野图拓扑通过如下公式表示:
A={aij|i,j=1,2,…,N},
其中,A表示视野图拓扑,aij表示第j个移动对象对第i个移动对象的视野影响,N表示目标场景中移动对象的总个数;
其中,aij通过如下公式表示:
Figure BDA0003060760000000101
其中,aij表示第j个移动对象对第i个移动对象的视野影响,vi和vj分别表示第i个移动对象和第j个移动对象的位置,di表示第i个移动对象的移动方向,dij表示从第i个移动对象的位置到第j个移动对象的位置的方向向量。
具体地,在一实施例中,上述的步骤S101,获取目标场景中所有移动对象的方向图拓扑,具体包括如下步骤:
步骤S301:获取所有移动对象的移动方向。
具体地,除了行人视野和位置,行人的移动方向也可能对行人的移动轨迹造成影响。因此,通过利用基于行人移动方向的方向图更进一步地描述行人之间的轨迹影响。如图4所示。在图4中,dA、dB、dC分别表示三个行人的移动方向。
步骤S302:基于移动方向和位置,确定目标场景中其他移动对象对当前移动对象的移动方向影响。
具体地,如图4所示,dAB和dAC分别表示从行人A的位置到行人B和C的位置的方向向量。行人A的移动轨迹将受到行人C移动方向的影响,但几乎不会被行人B影响。如图4所示,行人A和C的移动方向暗示二者可能发生碰撞,而行人A和B的移动方向不相交,意味着二者在移动方向保持不变的情况下不会发生碰撞。
步骤S303:基于所有移动对象之间的移动方向影响生成方向图拓扑。
具体地,该方向图拓扑通过如下公式表示:
B={bij|i,j=1,2,…,N},
其中,B表示方向图拓扑,bij表示第j个移动对象对第i个移动对象的方向影响,N表示目标场景中移动对象的总个数。
其中,bij通过如下公式表示:
Figure BDA0003060760000000111
其中,bij表示第j个移动对象对第i个移动对象的方向影响,vi和vj分别表示第i个移动对象和第j个移动对象的位置,θ1和θ2分别表示第i个移动对象和第j个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角,θ3表示第i个移动对象的移动方向与第j个移动对象的移动方向之间的夹角。
具体地,在一实施例中上述的步骤S102中通过若干全连接层融合后确定的动态有向图拓扑结构表示为:
C={cij|i,j=1,…,N},
其中,C表示动态有向图拓扑,cij|表示第j个移动对象对第i个移动对象的轨迹影响。
动态有向图定义如下:
Figure BDA0003060760000000121
Figure BDA0003060760000000122
其中,cij表示第j个移动对象对第i个移动对象的轨迹影响,
Figure BDA0003060760000000123
表示第m层的输入的第j个移动对象对第i个移动对象的视野影响,
Figure BDA0003060760000000124
表示第m层的输入的第j个移动对象对第i个移动对象的方向影响,k表示最大的全连接层数。Wm表示第m层需要学习的权重,f为激活函数。
利用上述的动态有向图拓扑C,通过上述步骤S103的有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型。在训练过程中,通过利用不同历史时刻的历史移动轨迹和动态有向图拓扑对上述轨迹预测模型中二元高斯分布的五个参数进行训练,直到模型的预测轨迹与真实轨迹的误差使得上述损失函数的值最小即可。
通过执行上述步骤,本发明实施例提供轨迹预测模型构建方法,通过利用各个移动对象的视野图拓扑和方向图拓扑去描述不同移动对象之间的影响,视野图表达移动对象之间的视野的交互,方向图表达移动对象之间在移动方向上的交互,并通过动态有向图进行融合从而高效地表达移动对象间的非对称交互,使得其预测结果更加贴近真实轨迹,提高预测结果的准确性,此外,本发明只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
本发明实施例还提供了一种轨迹预测方法,如图5所示,该轨迹预测方法具体包括如下步骤:
步骤S401:获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。
其中,该目标场景为目标移动对象所处的当前环境,在该环境中包含有包括目标移动对象在内的若干移动对象。
步骤S402:将视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明另一实施例提供的轨迹预测模型构建方法所得到的训练好的轨迹预测模型,得到目标场景中目标移动对象的预测轨迹。
其中,在实际应用中,该目标移动对象可以是目标场景中的任意一个移动对象,也可以通过上述的轨迹预测模型得到目标场景中所有移动对象的轨迹。
通过执行上述步骤,本发明实施例提供轨迹预测方法。通过利用本发明另一实施例所得到的训练好的轨迹预测模型,对目标移动对象的轨迹进行预测,使得预测结果更加贴近真实轨迹,提高预测结果的准确性,此外,本发明只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
在本发明实施例中,对不同轨迹预测方法与本发明实施例提供的轨迹预测方法(简称DDGCN)进行不同场景下行人轨迹预测结果的比较,实验对比结果如表1所示。表1比较了不同算法在五个场景下对行人轨迹进行预测的结果,其中最后一列表示每个算法在五个场景下的平均结果。每个算法在每个场景下有两个结果,分别为ADE(AverageDisplacement Error)/FDE(FinalDisplacement Error)。ADE表示每个行人在每个预测时刻点的预测位置与真实位置的平均距离,而FDE表示每个行人在最后一个预测时刻点的预测位置与真实位置的平均距离。ADE和FDE的数值越小表示预测结果越准确。
表1
Figure BDA0003060760000000131
Figure BDA0003060760000000141
基于表1的结果,可以看出本发明实施例所提出的轨迹预测方法DDGCN在每个场景下都获得了最好或者次好的ADE和FDE结果。在平均ADE和FDE结果上,DDGCN优于所有以前的方法。
对比目前最新的方法Social-STGCNN(Mohamed等人,2020,基于图卷积网络,使用无向图拓扑结构),本发明实施例提出的DDGCN在平均ADE和FDE方面实现15%和30%的提升,且在所有场景下均获得了比Social-STGCNN更好的结果。这是由于本发明提出动态有向图方法有效地描述了行人之间的非对称交互且显著地提升了行人轨迹预测任务的准确性。
对比基于场景图片的方法,例如PIF(Liang等人,2019)和Social-BiGAT(Kosaraju等人,2019),DDGCN即使不使用任何辅助信息,也获得了远超这些方法的结果。由于不需要场景图片这样的辅助信息,这意味着本发明实施例所提供的轨迹预测方法对软硬件的性能要求更低,可以降低软硬件采购成本。
因此,本发明实施例的有益效果可以总结如下:
1)本发明实施例的动态有向图有效地描述了行人之间的非对称交互,显著提升了行人轨迹预测任务的准确性。
2)本发明实施例在执行轨迹预测任务时只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
本发明实施例还提供了一种轨迹预测模型构建装置,该轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,如图6所示,该轨迹预测模型构建装置包括:
第一处理模块101,用于获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。详细内容参见上述方法实施例中步骤S101的相关描述,在此不再进行赘述。
第二处理模块102,用于通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑。详细内容参见上述方法实施例中步骤S102的相关描述,在此不再进行赘述。
第三处理模块103,用于基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型。详细内容参见上述方法实施例中步骤S103的相关描述,在此不再进行赘述。
本发明实施例提供的轨迹预测模型构建装置,用于执行上述实施例提供的轨迹预测模型构建方法,其实现方式与原理相同,详细内容参见上述方法实施例的相关描述,不再赘述。
通过上述各个组成部分的协同合作,本发明实施例提供轨迹预测模型构建装置,通过利用各个移动对象的视野图拓扑和方向图拓扑去描述不同移动对象之间的影响,视野图表达移动对象之间的视野的交互,方向图表达移动对象之间在移动方向上的交互,并通过动态有向图进行融合从而高效地表达移动对象间的非对称交互,使得其预测结果更加贴近真实轨迹,提高预测结果的准确性,此外,本发明只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
本发明实施例还提供了一种轨迹预测装置,如图7所示,该轨迹预测装置包括:
第二获取模块401,用于获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。详细内容参见上述方法实施例中步骤S401的相关描述,在此不再进行赘述。
第三处理模块402,用于将视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明第三方面的轨迹预测模型构建装置所得到的训练好的轨迹预测模型,得到目标场景中目标移动对象的预测轨迹。详细内容参见上述方法实施例中步骤S402的相关描述,在此不再进行赘述。
本发明实施例提供的轨迹预测装置,用于执行上述实施例提供的轨迹预测方法,其实现方式与原理相同,详细内容参见上述方法实施例的相关描述,不再赘述。
通过上述各个组成部分的协同合作,本发明实施例提供轨迹预测装置,通过利用本发明另一实施例所得到的训练好的轨迹预测模型,对目标移动对象的轨迹进行预测,使得预测结果更加贴近真实轨迹,提高预测结果的准确性,此外,本发明只需要使用历史轨迹信息,不需要使用额外的图片信息,有较高的计算效率,可有效地降低软硬件采购成本。
根据本发明实施例还提供了一种电子设备,如图8所示,该电子设备可以包括处理器901和存储器902,其中处理器901和存储器902可以通过总线或者其他方式连接,图8中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit,CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器901所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中,当被处理器901执行时,执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-StateDrive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种轨迹预测模型构建方法,其特征在于,所述轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,所述方法包括:
获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
通过所述全连接层将所述视野图拓扑和所述方向图拓扑进行融合生成动态有向图拓扑;
基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过所述有向图卷积层和所述卷积层对所述二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型;
所述视野图拓扑通过如下公式表示:
A={a ij |i, j = 1,2,…, N},
其中,A表示视野图拓扑,
Figure 187118DEST_PATH_IMAGE001
表示第j个移动对象对第i个移动对象的视野影响,N表示目标场景中移动对象的总个数;
其中,
Figure 152800DEST_PATH_IMAGE001
通过如下公式表示:
Figure 272066DEST_PATH_IMAGE002
其中,
Figure 897957DEST_PATH_IMAGE001
表示第j个移动对象对第i个移动对象的视野影响,
Figure 797780DEST_PATH_IMAGE003
Figure 567153DEST_PATH_IMAGE004
分别表示第i个移动对象和第j个移动对象的位置,
Figure 540925DEST_PATH_IMAGE005
表示第i个移动对象的移动方向,
Figure 839182DEST_PATH_IMAGE006
表示从第i个移动对象的位置到第j个移动对象的位置的方向向量;
所述方向图拓扑通过如下公式表示:
B={b ij |i, j = 1,2,…, N},
其中,B表示方向图拓扑,
Figure 600202DEST_PATH_IMAGE007
表示第j个移动对象对第i个移动对象的方向影响,N表示目标场景中移动对象的总个数;
其中,
Figure 173266DEST_PATH_IMAGE007
通过如下公式表示:
Figure 735966DEST_PATH_IMAGE008
其中,
Figure 533020DEST_PATH_IMAGE007
表示第j个移动对象对第i个移动对象的方向影响,
Figure 578075DEST_PATH_IMAGE003
Figure 954829DEST_PATH_IMAGE004
分别表示第i个移动对象和第j个移动对象的位置,
Figure 637614DEST_PATH_IMAGE009
表示第i个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角,
Figure 808833DEST_PATH_IMAGE010
表示第j个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角,
Figure 93182DEST_PATH_IMAGE011
表示第i个移动对象的移动方向与第j个移动对象的移动方向之间的夹角。
2.根据权利要求1所述的方法,其特征在于,所述获取目标场景中所有移动对象的视野图拓扑,包括:
获取所有移动对象的视野范围和位置;
基于所述视野范围和位置,确定所述目标场景中其他移动对象对当前移动对象的视野影响;
基于所有移动对象之间的视野影响生成视野图拓扑。
3.根据权利要求2所述的方法,其特征在于,所述获取目标场景中所有移动对象的方向图拓扑,包括:
获取所有移动对象的移动方向;
基于所述移动方向和位置,确定所述目标场景中其他移动对象对当前移动对象的移动方向影响;
基于所有移动对象之间的移动方向影响生成方向图拓扑。
4.一种轨迹预测方法,其特征在于,包括:
获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
将所述视野图拓扑、方向图拓扑及历史移动轨迹输入到采用如权利要求1-3任一项所述的轨迹预测模型构建方法所得到的训练好的轨迹预测模型,得到所述目标场景中目标移动对象的预测轨迹。
5.一种轨迹预测模型构建装置,其特征在于,所述轨迹预测模型包括:依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数,所述装置包括:
第一获取模块,用于获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
第一处理模块,用于通过所述全连接层将所述视野图拓扑和所述方向图拓扑进行融合生成动态有向图拓扑;
第二处理模块,用于基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过所述有向图卷积层和所述卷积层对所述二元高斯分布函数的各个参数进行训练,得到训练好的轨迹预测模型;
所述视野图拓扑通过如下公式表示:
A={a ij |i, j = 1,2,…, N},
其中,A表示视野图拓扑,
Figure 742469DEST_PATH_IMAGE001
表示第j个移动对象对第i个移动对象的视野影响,N表示目标场景中移动对象的总个数;
其中,
Figure 607657DEST_PATH_IMAGE001
通过如下公式表示:
Figure 949777DEST_PATH_IMAGE012
其中,
Figure 205308DEST_PATH_IMAGE001
表示第j个移动对象对第i个移动对象的视野影响,
Figure 156822DEST_PATH_IMAGE003
Figure 751882DEST_PATH_IMAGE004
分别表示第i个移动对象和第j个移动对象的位置,
Figure 264903DEST_PATH_IMAGE005
表示第i个移动对象的移动方向,
Figure 335627DEST_PATH_IMAGE006
表示从第i个移动对象的位置到第j个移动对象的位置的方向向量;
所述方向图拓扑通过如下公式表示:
B={b ij |i, j = 1,2,…, N},
其中,B表示方向图拓扑,
Figure 559673DEST_PATH_IMAGE007
表示第j个移动对象对第i个移动对象的方向影响,N表示目标场景中移动对象的总个数;
其中,
Figure 602715DEST_PATH_IMAGE007
通过如下公式表示:
Figure 21058DEST_PATH_IMAGE008
其中,
Figure 985603DEST_PATH_IMAGE007
表示第j个移动对象对第i个移动对象的方向影响,
Figure 544498DEST_PATH_IMAGE003
Figure 176468DEST_PATH_IMAGE004
分别表示第i个移动对象和第j个移动对象的位置,
Figure 828029DEST_PATH_IMAGE009
表示第i个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角,
Figure 811029DEST_PATH_IMAGE010
表示第j个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角,
Figure 143921DEST_PATH_IMAGE011
表示第i个移动对象的移动方向与第j个移动对象的移动方向之间的夹角。
6.一种轨迹预测装置,其特征在于,包括:
第二获取模块,用于获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹;
第三处理模块,用于将所述视野图拓扑、方向图拓扑及历史移动轨迹输入到采用如权利要求5所述的轨迹预测模型构建装置所得到的训练好的轨迹预测模型,得到所述目标场景中目标移动对象的预测轨迹。
7.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-3任一项所述的方法,或者,执行权利要求4所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-3任一项所述的方法,或者,所述计算机指令用于使所述计算机执行权利要求4所述的方法。
CN202110515219.5A 2021-05-11 2021-05-11 一种轨迹预测模型构建方法及轨迹预测方法、装置 Active CN113139696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110515219.5A CN113139696B (zh) 2021-05-11 2021-05-11 一种轨迹预测模型构建方法及轨迹预测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110515219.5A CN113139696B (zh) 2021-05-11 2021-05-11 一种轨迹预测模型构建方法及轨迹预测方法、装置

Publications (2)

Publication Number Publication Date
CN113139696A CN113139696A (zh) 2021-07-20
CN113139696B true CN113139696B (zh) 2022-09-20

Family

ID=76816918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110515219.5A Active CN113139696B (zh) 2021-05-11 2021-05-11 一种轨迹预测模型构建方法及轨迹预测方法、装置

Country Status (1)

Country Link
CN (1) CN113139696B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114194213A (zh) * 2021-12-29 2022-03-18 北京三快在线科技有限公司 一种目标物轨迹预测方法、装置、存储介质及电子设备
CN115034459A (zh) * 2022-05-31 2022-09-09 武汉理工大学 一种行人轨迹时间序列预测方法
CN117493424B (zh) * 2024-01-03 2024-03-22 湖南工程学院 一种不依赖地图信息的车辆轨迹预测方法
CN118038704B (zh) * 2024-04-11 2024-07-05 泉州师范学院 一种路径预测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020191642A1 (zh) * 2019-03-27 2020-10-01 深圳市大疆创新科技有限公司 轨迹预测方法及装置、存储介质、驾驶系统与车辆

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846374B (zh) * 2016-12-21 2020-10-09 大连海事大学 多摄像头场景下车辆的轨迹计算方法
US11292458B2 (en) * 2019-07-31 2022-04-05 Toyota Research Institute, Inc. Autonomous vehicle user interface with predicted trajectories
CN111091708B (zh) * 2019-12-13 2020-11-03 中国科学院深圳先进技术研究院 车辆轨迹预测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020191642A1 (zh) * 2019-03-27 2020-10-01 深圳市大疆创新科技有限公司 轨迹预测方法及装置、存储介质、驾驶系统与车辆

Also Published As

Publication number Publication date
CN113139696A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113139696B (zh) 一种轨迹预测模型构建方法及轨迹预测方法、装置
CN109540142B (zh) 一种机器人定位导航的方法、装置、计算设备
CN113264066B (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
WO2022052406A1 (zh) 一种自动驾驶训练方法、装置、设备及介质
EP3822852B1 (en) Method, apparatus, computer storage medium and program for training a trajectory planning model
CN108645411B (zh) 基于粒子群算法的机器人路径规划方法、装置及终端设备
JP2022506404A (ja) 車両速度を決定する方法及び装置
CN111968229A (zh) 高精度地图制图方法及装置
CN114261400B (zh) 一种自动驾驶决策方法、装置、设备和存储介质
CN112947591A (zh) 基于改进蚁群算法的路径规划方法、装置、介质及无人机
JP2022117464A (ja) マルチターゲット追跡モデルのトレーニング方法及びマルチターゲット追跡方法
CN115782867A (zh) 轨迹碰撞风险评估方法、装置、电子设备和存储介质
EP4168996A1 (en) Systems and methods for fine adjustment of roof models
CN109764876B (zh) 无人平台的多模态融合定位方法
CN116499487B (zh) 一种车辆的路径规划方法、装置、设备及介质
CN115687764B (zh) 车辆轨迹评估模型的训练方法、车辆轨迹评估方法和装置
CN114104005B (zh) 自动驾驶设备的决策方法、装置、设备及可读存储介质
EP3855120A1 (en) Method for long-term trajectory prediction of traffic participants
CN113119996A (zh) 一种轨迹预测方法、装置、电子设备及存储介质
CN116820136B (zh) 基于rrt算法的无人机路径优化方法及装置
WO2024217411A1 (zh) 一种场景感知方法及其相关设备
CN116415627A (zh) 用于自动驾驶的目标网络的训练方法、设备以及系统
CN115270918A (zh) 目标检测方法、建立时间关联感知模型的方法及装置
CN118760189A (zh) 基于社会力模型的多智能体集群穿越路径规划方法及装置
CN117392639A (zh) 行为预测模型的训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant