CN112015847A - 一种障碍物的轨迹预测方法、装置、存储介质及电子设备 - Google Patents

一种障碍物的轨迹预测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112015847A
CN112015847A CN202011117500.5A CN202011117500A CN112015847A CN 112015847 A CN112015847 A CN 112015847A CN 202011117500 A CN202011117500 A CN 202011117500A CN 112015847 A CN112015847 A CN 112015847A
Authority
CN
China
Prior art keywords
obstacle
map
predicted
model
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011117500.5A
Other languages
English (en)
Other versions
CN112015847B (zh
Inventor
樊明宇
周浩
任冬淳
夏华夏
王志超
钱德恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202011117500.5A priority Critical patent/CN112015847B/zh
Publication of CN112015847A publication Critical patent/CN112015847A/zh
Application granted granted Critical
Publication of CN112015847B publication Critical patent/CN112015847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书公开了一种障碍物的轨迹预测方法、装置、存储介质及电子设备，本说明书实施例通过各障碍物的历史运动轨迹输入到第一模型得到全局交互特征，并将两种以上比例尺的地图数据以及待预测障碍物的历史运动轨迹输入第二模型，得到待预测障碍物对应的地图聚合特征，再将全局交互特征、地图聚合特征和待预测障碍物的历史运动轨迹输入第三模型中，使第三模型可以通过待预测障碍物的历史运动轨迹所表达出的待预测障碍物的运动速度，自适应的从聚合了各种比例尺的地图的地图聚合特征中选取与待预测障碍物的运动速度相适应的地图特征，用来辅助预测该待预测障碍物的运动轨迹，使得最后得到的该待预测障碍物的预测运动轨迹更加准确。

Description

一种障碍物的轨迹预测方法、装置、存储介质及电子设备
技术领域
本说明书涉及无人驾驶技术领域，尤其涉及一种障碍物的轨迹预测方法、装置、存储介质及电子设备。
背景技术
目前，在无人驾驶技术领域中，障碍物的轨迹预测是一个重要技术。随着近年来传感器技术的发展，更加精确的地图（如雷达地图、高精地图等）被用来辅助对障碍物的轨迹进行预测。
在现有技术中，通过地图辅助障碍物的轨迹预测时，对于不同速度的障碍物，均使用相同比例尺的地图来辅助障碍物的轨迹预测。
但事实上，不同速度的障碍物，所需的地图的比例尺也是不同的，例如，如果速度较快，则一般需要看的更远，而低速时只需要观察比较近的场景就可以了。
因此，现有技术中使用同一比例尺的地图辅助障碍物轨迹预测的方法会导致预测结果不准确。
发明内容
本说明书实施例提供一种障碍物的轨迹预测方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种障碍物的轨迹预测方法，包括：
获取各障碍物的历史运动轨迹；
将各障碍物的历史运动轨迹输入预先训练的第一模型，得到所述第一模型输出的各障碍物的全局交互特征；并，确定包含各障碍物的历史运动轨迹的区域，确定至少两种比例尺下所述区域内的地图，将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征；
将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，得到所述第三模型输出的所述待预测障碍物的预测运动轨迹。
可选地，将每种比例尺下的地图数据和所述障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的地图聚合特征，具体包括：
针对每种比例尺下的地图，对该比例尺下的地图中包含的各条道路进行采样；
将采样得到的各道路采样点的位置数据以及所述待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征。
可选地，对该比例尺下的地图中包含的各条道路进行采样，具体包括：
针对每个障碍物，根据该比例尺下的地图中该障碍物的历史运动轨迹所在的道路的方向，该比例尺下的地图中包含的各条道路进行采样，得到道路采样点。
可选地，所述第二模型包括第一处理层和第二处理层；
将采样得到的各道路采样点的位置数据以及所述待预测障碍物的历史运动轨迹输入第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征，具体包括：
针对每种比例尺下的地图，将针对该比例尺下的地图进行采样得到的道路采样点的位置数据输入所述第一处理层，得到所述第一处理层输出的该比例尺下的地图对应的地图特征；
将所述待预测障碍物的历史运动轨迹输入所述第二处理层，使第二处理层得到所述待预测障碍物的历史运动轨迹对应的轨迹特征；
将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到所述待预测障碍物对应的地图聚合特征。
可选地，所述第二模型包括卷积层和全连接层；
将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，具体包括：
针对每种比例尺下的地图，将该比例尺下的地图对应的图像输入所述卷积层，得到所述卷积层输出的该比例尺下的地图对应的图像特征；
将该比例尺下的地图对应的图像特征输入所述全连接层，得到所述全连接层输出的该比例尺下的地图对应的地图特征；
将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到所述待预测障碍物对应的地图聚合特征。
可选地，将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到待预测障碍物对应的地图聚合特征，具体包括：
根据每种比例尺下的地图对应的地图特征以及所述待预测障碍物的历史运动轨迹对应的轨迹特征，确定所述待预测障碍物对应的注意力加权矩阵；并，根据每种比例尺下的地图对应的地图特征，得到地图特征矩阵；
采用所述注意力加权矩阵，对所述地图特征矩阵进行注意力加权，得到所述待预测障碍物对应的地图聚合特征。
可选地，将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，具体包括：
确定所述待预测障碍物的类型；
将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入所述类型对应的第三模型。
可选地，所述方法还包括：
预先将各样本障碍物的样本历史运动轨迹输入待训练的第一模型，得到所述待训练的第一模型输出的全局交互特征；并，确定至少两种比例尺下、且包含各样本历史运动轨迹的区域内的地图，作为样本地图，将每种比例尺下的样本地图数据和指定样本障碍物的历史运动轨迹输入待训练的第二模型，得到所述待训练的第二模型输出的地图聚合特征；
将所述待训练的第一模型输出的全局交互特征、所述待训练的第二模型输出的地图聚合特征以及所述指定样本障碍物的样本历史运动轨迹，输入所述指定样本障碍物的类型对应的待训练的第三模型中，得到所述待训练的第三模型输出的所述指定样本障碍物的预测运动轨迹；
以所述指定样本障碍物的实际运动轨迹与所述指定样本障碍物的预测运动轨迹的差异最小化为训练目标，对所述待训练的第一模型、所述待训练的第二模型和所述待训练的第三模型进行训练。
本说明书提供的一种障碍物的轨迹预测装置，包括：
获取模块，用于获取各障碍物的历史运动轨迹；
编码模块，用于将各障碍物的历史运动轨迹输入预先训练的第一模型，得到所述第一模型输出的各障碍物的全局交互特征；并，确定包含各障碍物的历史运动轨迹的区域，确定至少两种比例尺下所述区域内的地图，将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征；
解码模块，用于将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，得到所述第三模型输出的所述待预测障碍物的预测运动轨迹。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的障碍物的轨迹预测方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的障碍物的轨迹预测方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例通过第一模型得到各障碍物的全局交互特征，并将两种以上比例尺的地图数据和各障碍物中待预测障碍物的历史运动轨迹输入第二模型，得到该两种以上比例尺的地图下该待预测障碍物对应的地图聚合特征，再将全局交互特征、地图聚合特征和待预测障碍物的历史运动轨迹输入第三模型中，使第三模型可以通过待预测障碍物的历史运动轨迹所表达出的待预测障碍物的运动速度，自适应的从聚合了各种比例尺的地图的地图聚合特征中选取与待预测障碍物的运动速度相适应的地图特征，用来辅助预测该待预测障碍物的运动轨迹，使得最后得到的该待预测障碍物的预测运动轨迹更加准确。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的障碍物的轨迹预测方法示意图；
图2为本说明书实施例提供的确定矢量化地图的地图聚合特征的过程示意图；
图3为本说明书实施例提供的确定图像化地图的地图聚合特征的过程示意图；
图4为本说明书实施例提供的一种障碍物的轨迹预测装置的结构示意图；
图5为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的障碍物轨迹预测方法示意图，包括：
S100：获取各障碍物的历史运动轨迹。
在本说明书实施例中，为了保证无人驾驶设备的安全行驶，无人驾驶设备可以采集并获取周围各障碍物的历史运动轨迹，以通过这些障碍物的历史运动轨迹，进行诸如智能控制、路径规划等决策。障碍物可以是指行人、机动车等能够对无人驾驶设备的行驶过程中产生一定程度干扰的物体。
无人驾驶设备获取周围各障碍物的历史运动轨迹的方式可以有多种，如，无人驾驶设备可以利用设置在自身的激光雷达获取各障碍物的历史运动轨迹，也可以通过摄像头采集到的图像数据结合全球定位系统（Global Positioning System，GPS）来获取到周围各障碍物的历史运动轨迹。本说明书不对无人驾驶设备获取障碍物的历史运动轨迹所采用的具体方式进行限定。
上述提到的无人驾驶设备可以是指无人车、机器人、自动配送设备等能够实现自动驾驶的设备。基于此，本方法可以应用于无人驾驶设备在自动驾驶过程中的智能控制、路径规划等，以保证无人驾驶设备执行配送领域的配送任务，如，使用无人驾驶设备进行快递、物流、外卖等配送的业务场景。
另外，用于执行本说明书提供的障碍物的轨迹预测方法的执行主体除了可以是上述提到的无人驾驶设备以外，还可以是服务器，即，无人驾驶设备将采集到的周围各障碍物的历史运动轨迹上传给服务器，由服务器来完成障碍物的轨迹预测，并将预测出的障碍物未来一段时间的轨迹发送给无人驾驶设备，以使无人驾驶设备进行决策。为了便于描述，下面将仅以无人驾驶设备是执行主体为例，对本说明书提供的障碍物的轨迹预测方法进行详细说明。
S102：将各障碍物的历史运动轨迹输入预先训练的第一模型，得到所述第一模型输出的各障碍物的全局交互特征；并，确定包含各障碍物的历史运动轨迹的区域，确定至少两种比例尺下所述区域内的地图，将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征。
在本说明书实施例中，无人驾驶设备可以将获取到的各障碍物的历史运动轨迹输入到第一模型中，得到各障碍物的全局交互特征。全局交互特征主要用于表征各障碍物在过去一段时间的交互情况。全局交互特征不仅能够体现出各障碍物过去在空间上的交互情况，也能够体现出各障碍物过去在时间上的交互情况。所以，可以基于时间和空间这两个维度，确定各障碍物的全局交互特征。
具体的，在实际应用中，运动轨迹均是有若干轨迹点组成，所以，无人驾驶设备获取到的各障碍物的历史运动轨迹，可以通过各轨迹点来进行表示。轨迹点具体可以由下述公式进行表示：
Figure DEST_PATH_IMAGE002
其中，该公式表示第
Figure DEST_PATH_IMAGE004
个障碍物在时刻
Figure DEST_PATH_IMAGE006
所处的二维坐标，由于历史运动轨迹都是通过观测障碍物一段时间的运动情况所得到的，所以，
Figure DEST_PATH_IMAGE008
表示观测障碍物运动情况的时长。
Figure DEST_PATH_IMAGE010
表示横坐标，
Figure DEST_PATH_IMAGE012
表示纵坐标。
进一步地，可以通过一个投影矩阵分别提取出每个障碍物在二维坐标上的特征数据，然后通过对这些特征数据进行池化处理，得到各障碍物在时刻
Figure DEST_PATH_IMAGE014
空间上的交互特征，如，具体可以参考下述公式：
Figure DEST_PATH_IMAGE016
在该公式中，
Figure DEST_PATH_IMAGE018
即为提取上述特征数据所用到的投影矩阵，该投影矩阵中的各项参数可以通过模型训练来得到，其所起到的作用主要是将障碍物的二维坐标投影到D维空间中（D可以根据实际需求而定，如三维空间），
Figure DEST_PATH_IMAGE020
表示采用的是最大池化的操作，来对提取出的各障碍物在二维坐标上的特征数据进行处理。
Figure DEST_PATH_IMAGE022
即表示各障碍物在时刻
Figure 977184DEST_PATH_IMAGE014
空间上的全局交互特征。
通过上述方式，可以确定出过去k个时刻各障碍物在空间上的全局交互特征
Figure DEST_PATH_IMAGE024
，而后，可以将过去k个时刻各障碍物在空间上的全局交互特征输入到一个长短记忆网络（Long-Short Term Memory，LSTM），以提取出各障碍物在时间上的交互特征，如，可以参考如下公式进行确定：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE028
为LSTM中的模型参数，具体可以通过模型训练得到的。
Figure 474418DEST_PATH_IMAGE022
为需要输入到LSTM中的各障碍物时刻
Figure 988576DEST_PATH_IMAGE014
在空间上的全局交互特征，
Figure DEST_PATH_IMAGE030
为LSTM模型的输出量，即，带有时空特性的各障碍物时刻
Figure 587048DEST_PATH_IMAGE014
的全局交互特征。
Figure DEST_PATH_IMAGE032
为LSTM模型中的隐状态向量。LSTM由于一定的记忆功能，所以
Figure 57212DEST_PATH_IMAGE032
主要用于表征记忆和存储的过去状态。基于此，在确定
Figure 410833DEST_PATH_IMAGE030
时，需要上一个时刻
Figure DEST_PATH_IMAGE034
的隐状态向量
Figure DEST_PATH_IMAGE036
，而在确定出
Figure 615550DEST_PATH_IMAGE030
的同时，也将得出时刻
Figure 548871DEST_PATH_IMAGE014
的隐状态向量
Figure 139121DEST_PATH_IMAGE032
，并用
Figure 663643DEST_PATH_IMAGE032
来确定下一时刻
Figure DEST_PATH_IMAGE038
的
Figure DEST_PATH_IMAGE040
。需要说明的是，对应初始时刻来说，LSTM没有记忆和存储障碍物过去的数据，所以，初始时刻的隐状态向量可以是全0向量。
通过上述方式，可以确定出不同时刻各障碍物在时空上的全局交互特征，并可以构建出如下矩阵：
Figure DEST_PATH_IMAGE042
无人驾驶设备可以将
Figure DEST_PATH_IMAGE044
直接作为各障碍物的全局交互特征，当然，也可以通过注意力层对
Figure 480289DEST_PATH_IMAGE044
在时间维度上做进一步地强化，得到注意力强化后的全局交互特征。具体可以参考如下公式：
Figure DEST_PATH_IMAGE046
其中，
Figure DEST_PATH_IMAGE048
表示时刻
Figure 657DEST_PATH_IMAGE014
各障碍物在过去k个时刻通过注意力强化后的全局交互特征，
Figure DEST_PATH_IMAGE050
用于表征时刻
Figure 55201DEST_PATH_IMAGE014
的全局交互特征的重要程度，
Figure 891569DEST_PATH_IMAGE050
可以通过如下公式进行确定：
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE054
、
Figure DEST_PATH_IMAGE056
为两个模型参数，具体可以通过模型训练得到。
Figure DEST_PATH_IMAGE058
和
Figure DEST_PATH_IMAGE060
为两个不同的激活函数。
需要说明的是，上述各项公式均是以示例形式来描述各障碍物全局交互特征的确定过程，在实际应用中，上述各项公式的具体形式并不唯一，如，除了使用S
Figure DEST_PATH_IMAGE062
和
Figure 710359DEST_PATH_IMAGE060
这两个激活函数外，也可以采用其他的形式的激活函数来确定
Figure 657586DEST_PATH_IMAGE050
。
另外，从上述描述中可以看出，第一模型中可以包含上述LSTM、注意力层等网络结构，上述提到的各项模型参数（如
Figure 35478DEST_PATH_IMAGE018
）即为第一模型中包含的模型参数。
在确定上述全局交互特征的同时，无人驾驶设备可以通过第二模型，来确定各障碍物中待预测障碍物的历史运动轨迹所处区域在地图上的地图聚合特征。具体的，无人驾驶设备在确定出各障碍物的历史运动轨迹所处的区域后，可以确定出至少两种比例尺下该区域的地图，并将每种比例尺下的地图的地图数据以及待预测障碍物的历史运动轨迹输入到第二模型中，得到待预测障碍物对应的地图聚合特征。
其中，不同比例尺的地图也可以是指不同比例尺尺度下的地图，如，根据实际需求，可以将地图划分为大比例尺地图、中比例尺地图以及小比例尺地图（具体可以根据实际情况进行划分，本说明书不做具体的限定）。而需要说明的是，在实际应用中，构建地图所采用的尺度维度可以有多种，如，图像化地图和矢量化地图。图像化地图可以是通过诸如卫星遥感影像、扫描的地形图或是航拍无人机影像等方式构建出的图像形式的地图。而矢量化地图则可以是将地图的栅格数据转化成矢量数据后所得到的地图。
而由于不同维度比例尺的地图下表现形式上有所不同，所以，确定不同维度比例尺地图的地图聚合特征所采用的方式也存在一定的区别。下面将对各种方式进行分别介绍。
对于不同比例尺的矢量化地图来说，可以对该比例尺下的地图中至少包含的各条道路进行采样。其中，可以只对该比例尺下的地图中包含的各条道路进行采样，也可以对该比例尺下的地图中所包含的各条道路以及道路周围的边界区域进行采样。而后，可以将采样得到的各道路采样点（如果还需要对道路周围的边界区域进行采样，则还包括边界区域的采样点）的位置数据以及待预测障碍物的历史运动轨迹输入到上述第二模型中，得到该待预测障碍物对应的地图聚合特征。具体的，对于每个障碍物来说，可以按照该比例尺下的地图中该障碍物的历史运动轨迹所在道路的方向，对该比例尺下的地图中至少包含的各条道路进行采样，得到道路采样点。也就是说，可以沿着该历史运动轨迹所在道路的方向，依次采集该道路所包含的若干道路采样点。
对于适用于矢量化地图的第二模型来说，该第二模型中可以大致包括两个网络层，可以分别称之为是第一处理层和第二处理层。基于此，无人驾驶设备可以针对每种比例尺下的地图，将针对该比例尺下的地图进行采样得到的道路采样点的位置数据输入到第一处理层，该第一处理层将输出该比例尺下的地图对应的地图特征。
进一步地，可以将该比例尺下的地图中待预测障碍物的历史运动轨迹输入到第二处理层，第二处理层将输出待预测障碍物的历史运动轨迹所对应的轨迹特征。最终，可以将每种比例尺下的地图所对应的地图特征与待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到待预测障碍物对应的地图聚合特征。
下面将以一个具体的示例来说明确定地图聚合特征的详细过程，如图2所示。
图2为本说明书实施例提供的确定矢量化地图的地图聚合特征的过程示意图。
假设，在中比例尺地图中，可以通过
Figure DEST_PATH_IMAGE064
来表示第
Figure 837823DEST_PATH_IMAGE004
条道路在第
Figure DEST_PATH_IMAGE066
个道路采样点的位置数据。相应的，小比例尺地图和大比例尺地图对应的道路采样点的位置数据可以分别用
Figure DEST_PATH_IMAGE068
和
Figure DEST_PATH_IMAGE070
来进行表示。
需要指出的是，由于这些道路采样点是按照道路的方向进行采样的，所以，采样得到的各道路采样点并不一定要体现出时序性。
进一步地，以中比例尺地图下的道路采样点的位置数据为例，可以将
Figure DEST_PATH_IMAGE072
输入到第二模型中的第一处理层：LSTM网络，以通过该第一处理层提取出中比例尺地图对应的地图特征。具体可以参考如下公式：
Figure DEST_PATH_IMAGE074
在该公式中，
Figure DEST_PATH_IMAGE076
为第一处理层提取出的在中尺度地图下第
Figure DEST_PATH_IMAGE078
条道路在第
Figure DEST_PATH_IMAGE080
个道路采样点的道理轨迹特征，
Figure DEST_PATH_IMAGE082
和
Figure DEST_PATH_IMAGE084
表示LSTM的隐状态向量，其中，对于道路采样点
Figure 488116DEST_PATH_IMAGE080
来说，
Figure 363668DEST_PATH_IMAGE082
表征LSTM记忆和存储的在上一个道路采样点
Figure DEST_PATH_IMAGE086
处第
Figure 251858DEST_PATH_IMAGE078
条道路的特征，而
Figure 820243DEST_PATH_IMAGE084
表征LSTM需要记忆和存储的在道路采样点
Figure 505302DEST_PATH_IMAGE080
处第
Figure 794332DEST_PATH_IMAGE078
条道路的特征，以用来确定第
Figure 943554DEST_PATH_IMAGE078
条道路在下一个道路采样点
Figure DEST_PATH_IMAGE088
处的道路轨迹特征。
进一步地，在确定出各条道路对应的道路轨迹特征后，可以对这些道路轨迹特征进行池化处理，得到聚合后的道路轨迹特征，具体参考如下公式：
Figure DEST_PATH_IMAGE090
Figure DEST_PATH_IMAGE092
表示采用最大池化的处理方式，将
Figure DEST_PATH_IMAGE094
各条道路在道路采样点
Figure 935037DEST_PATH_IMAGE080
处的道路轨迹特征进行处理后，所得到的中比例尺地图对应的聚合后的道路轨迹特征。需要说明的是，在实际应用中，该公式并不唯一，也可以采用其他的池化方式得到聚合后的道路轨迹特征。
当然，也可以对上述聚合后的道路轨迹特征做进一步地处理，从而将最终得到的特征数据，作为该比例尺下的地图所对应的地图特征。进一步地处理方式可以参考如下公式：
Figure DEST_PATH_IMAGE096
Figure DEST_PATH_IMAGE098
表示经过池化处理后得到的在中比例尺地图中各道路在道路采样点
Figure 169709DEST_PATH_IMAGE080
处聚合后的道路轨迹特征。
Figure DEST_PATH_IMAGE100
用于表征LSTM记忆和存储的中比例尺地图中各道路在道路采样点
Figure 855905DEST_PATH_IMAGE086
处的特征，
Figure DEST_PATH_IMAGE102
用于表示LSTM需要记忆和存储的中比例尺地图中各道路在道路采样点
Figure 781005DEST_PATH_IMAGE080
处的特征，以用来确定中比例尺地图中各道路在道路采样点
Figure 628875DEST_PATH_IMAGE088
处的特征。
Figure DEST_PATH_IMAGE104
即表示最终确定出的中比例尺地图在道路采样点
Figure 757368DEST_PATH_IMAGE080
处所对应的地图特征。同理，通过上述方式，可以分别确定出大比例尺地图中在道路采样点
Figure 716097DEST_PATH_IMAGE080
处的地图特征：
Figure DEST_PATH_IMAGE106
，以及小比例尺地图中在道路采样点
Figure 233053DEST_PATH_IMAGE080
处的地图特征：
Figure DEST_PATH_IMAGE108
。
从上述过程中可以看出，由于LSTM带有记忆功能，所以，在确定出的最后一个道路采样点处的地图特征中，实际上包含了之前所有道路采样点的特征信息。因此，可以取各比例尺地图下最后一个道路采样点处
Figure DEST_PATH_IMAGE110
的地图特征，以构建一个用于表征各比例尺地图下对应的地图特征矩阵：
Figure DEST_PATH_IMAGE112
。而由于确定出的地图聚合特征不仅要考虑下不同比例尺下地图的特征，还要考虑到障碍物自身的轨迹特征，所以，无人驾驶设备在此处也可以对障碍物的历史运动轨迹进行特征提取，得到相应的轨迹特征。具体的，可以将待预测障碍物的历史运动轨迹输入到第二模型中的第二处理层中，以通过该第二处理层得到待预测障碍物的历史运动轨迹所对应的轨迹特征，具体参考如下公式：
Figure DEST_PATH_IMAGE114
其中，
Figure DEST_PATH_IMAGE116
表示第
Figure 314142DEST_PATH_IMAGE078
个障碍物（即待预测障碍物）在
Figure 382461DEST_PATH_IMAGE014
时刻所处的位置坐标，
Figure DEST_PATH_IMAGE118
表示第
Figure 941618DEST_PATH_IMAGE078
个障碍物在
Figure 529725DEST_PATH_IMAGE014
时刻的轨迹特征，
Figure DEST_PATH_IMAGE120
用于表征LSTM记忆和存储的第
Figure 171928DEST_PATH_IMAGE078
个障碍物在上一时刻
Figure 806172DEST_PATH_IMAGE034
处的特征，
Figure DEST_PATH_IMAGE122
用于表示LSTM需要记忆和存储的第
Figure 575545DEST_PATH_IMAGE078
个障碍物在时刻
Figure 611634DEST_PATH_IMAGE014
处的特征，以用来在后续过程中确定第
Figure 768946DEST_PATH_IMAGE078
个障碍物在下一时刻
Figure 814787DEST_PATH_IMAGE038
处的轨迹特征。
Figure DEST_PATH_IMAGE124
为模型参数，可以通过模型训练得到。
进一步地，可以根据待预测障碍物的轨迹特征以及不同比例尺下的地图所对应的地图特征，确定待预测障碍物对应的注意力加权矩阵，该注意力加权矩阵用于表征待预测障碍物在不同比例尺下地图的注意力权重，对于每个障碍物来说，若是该障碍物在一个比例尺下地图的注意力权重越高，说明该比例尺下的地图的地图特征对于该障碍物的轨迹预测贡献越大，也就是说，参考该比例尺下的地图对该障碍物进行轨迹预测的成分也越高。确定注意力加权矩阵具体可以参考如下公式：
Figure DEST_PATH_IMAGE126
Figure 840380DEST_PATH_IMAGE118
用于表示第
Figure 465397DEST_PATH_IMAGE078
个障碍物（即待预测障碍物）在
Figure 668976DEST_PATH_IMAGE014
时刻的轨迹特征，
Figure 74550DEST_PATH_IMAGE058
和
Figure 982463DEST_PATH_IMAGE060
用于表示两个激活函数，
Figure DEST_PATH_IMAGE128
用于表示第
Figure 445674DEST_PATH_IMAGE078
个障碍物在
Figure 148051DEST_PATH_IMAGE014
时刻针对不同比例尺下的地图的注意力加权矩阵。需要指出的是，在实际应用中，该公式的具体形式并不唯一，如，除了使用S
Figure 650708DEST_PATH_IMAGE062
和
Figure 159049DEST_PATH_IMAGE060
这两个激活函数外，也可以采用其他的形式的激活函数来确定
Figure 758658DEST_PATH_IMAGE128
。
Figure DEST_PATH_IMAGE130
和
Figure DEST_PATH_IMAGE132
为模型参数，具体可以通过模型训练得到。
无人驾驶设备可以通过待预测障碍物在各比例尺下的地图所对应的注意力加权矩阵，对上述地图特征矩阵进行注意力加权，以确定出待预测障碍物对应的地图聚合特征。具体可以参考如下公式：
Figure DEST_PATH_IMAGE134
Figure DEST_PATH_IMAGE136
即用于表示第
Figure 872414DEST_PATH_IMAGE078
个障碍物（待预测障碍物）在
Figure 190263DEST_PATH_IMAGE014
时刻针对每种比例尺下的地图所对应的地图聚合特征。
上述以示例的形式，详细描述了如何确定针对矢量化地图的地图聚合特征，下面同样以示例的形式，来对如何确定针对图像化地图的地图聚合特征进行说明，如图3所示。
图3为本说明书实施例提供的确定图像化地图的地图聚合特征的过程示意图。
在上述提到的矢量化地图中，障碍物的历史运动轨迹等数据均可以在矢量化地图中直接标出，所以可以基于上述通过分析采样得到的道路采样点的方式，来确定诸如轨迹特征、地图特征等数据。而对于图像化地图来说，则需要通过图像分析的方式来进行地图聚合特征的确定。
对于图像化地图来说，适用于图像化地图的第二模型中可以大致包括两个网络结构，一个为卷积层，一个为全连接层，卷积层用于得到地图的图像特征，而全连接层则用于得到地图对应的地图特征。具体的，由于图像化地图中也包含有多种不同比例尺尺度的地图，所以，可以针对每种比例尺下的地图，将该比例尺下的地图对应的图像输入到该第二模型中的卷积层，以使该卷积层输出该比例尺下的地图所对应的图像特征。而后，将该比例尺下的地图对应的图像特征输入到第二模型中的全连接层中，以使该全连接层输出该比例尺下的地图对应的地图特征，并将每种比例尺下的地图对应的地图特征与待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到待预测障碍物对应的地图聚合特征。
具体参考图3来做进一步地说明。图3中从左到右依次为小比例尺地图、中比例尺地图、大比例尺地图（这里为了便于说明，也采用了与图2中相同的方式，将图像化地图分为三种不同尺度的地图，在实际应用中，如何划分不同尺度的地图以及划分出的地图的数量，可以根据实际需求而定）。在图3中，卷积层中设有四个卷积网络（卷积网络的数量也可以根据实际需求而定，本说明书并不对其进行限制），以中比例尺地图为例，可以将中比例尺地图对应的图像输入到卷积层中的第一个卷积网络，再将第一个卷积网络输出的特征向量输入到第二个卷积网络中，以此类推，直至由卷积层输出中比例尺地图对应的图像特征，即图3中第四个卷积网络输出的特征向量。
需要说明的是，在实际应用中，从卷积层中输出的特征向量往往需要经过“压平”的处理，即，将卷积层中输出的特征向量转化为一维特征向量，再输入到全连接层中，因此，通过卷积层确定出该比例尺下的地图对应的图像特征后，可以通过Flatten层进行处理，并将处理后的特征向量输入到全连接层中，具体可以参考如下公式：
Figure DEST_PATH_IMAGE138
由于在图3中，卷积层输出的图像特征实际上为第四个卷积层中输出的特征向量，所以，
Figure DEST_PATH_IMAGE140
用于表示第四个卷积层中输出的特征向量，而
Figure DEST_PATH_IMAGE142
用于表示经过Flatten层处理后的该比例尺下的地图对应的图像特征。
将上述得到的该比例尺下的地图对应的图像特征输入到全连接层后，经过全连接层中网络权重以及偏置的数据处理，最终将得到全连接层输出的该比例尺下的地图对应的地图特征。
同理，对于图像化地图来说，最终确定出的地图聚合特征不仅要考虑下不同比例尺下地图的特征，还要考虑到障碍物自身的轨迹特征，所以，也需要结合障碍物的轨迹特征，来确定相应的地图特征。具体的，无人驾驶设备可以根据待预测障碍物的历史运动轨迹，确定出待预测障碍物的轨迹特征，并根据待预测障碍物的轨迹特征以及每种比例尺下的地图对应的地图特征，确定出该待预测障碍物对应的注意力加权矩阵，以及根据每种比例尺下的地图对应的地图特征，得到地图特征矩阵。最终，通过采用注意力加权矩阵，对地图特征矩阵进行注意力加权，得到待预测障碍物对应的地图聚合特征。具体过程与图2示例中所描述的过程基本相同，在此就不进行详细赘述了。
S104：将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，得到所述第三模型输出的所述待预测障碍物的预测运动轨迹。
无人驾驶设备可以将上述确定出的各障碍物的全局交互特征、地图聚合特征以及待预测障碍物的历史运动轨迹输入到第三模型中，从而得到预测出的该待预测障碍物在未来一段时间的运动轨迹。
在本说明书实施例中，通过第三模型进行障碍物的轨迹预测，可以大致分为两个过程，一是特征数据的聚合，得到聚合特征，二是通过聚合特征得到障碍物的预测轨迹。具体的，在对特征数据进行聚合时，可以参考如下公式：
Figure DEST_PATH_IMAGE144
Figure DEST_PATH_IMAGE146
用于表示将各障碍物的全局交互特征
Figure 141777DEST_PATH_IMAGE048
、待预测障碍物
Figure 861471DEST_PATH_IMAGE078
对应的地图聚合特征
Figure DEST_PATH_IMAGE148
以及待预测障碍物
Figure 374492DEST_PATH_IMAGE078
的历史运动轨迹
Figure DEST_PATH_IMAGE150
进行特征聚合后得到的聚合特征，
Figure DEST_PATH_IMAGE152
泛指所采用的聚合方式，如串联
Figure DEST_PATH_IMAGE154
、最大池化
Figure 369517DEST_PATH_IMAGE020
，平均池化
Figure DEST_PATH_IMAGE156
等，本说明书实施例不对所采用的聚合方式进行具体限定。
Figure DEST_PATH_IMAGE158
用于表示模型参数，具体可以通过模型训练得到。
在确定出上述聚合特征
Figure 360607DEST_PATH_IMAGE146
后，可以通过诸如门控周期神经网络（GateRecurrent Unit，GRU）、循环神经网络（Recurrent Neural Network, RNN）、LSTM等记忆网络结构，来预测障碍物的轨迹。以GRU为例，具体可以参考下述公式：
Figure DEST_PATH_IMAGE160
其中，
Figure DEST_PATH_IMAGE162
用于表示GRU网络的模型参数，具体可以通过模型训练得到。
Figure DEST_PATH_IMAGE164
则用于表示第三模型最终确定出的待预测障碍物
Figure 777551DEST_PATH_IMAGE078
在下一时刻
Figure 992631DEST_PATH_IMAGE038
的位置。
需要说明的是，在实际应用中，不同类型的障碍物在轨迹特征上有所不同，所使用的地图也不尽相同。例如，对于行人来说，其行进速度较慢，所以使用小比例尺地图来记录以及预测其行进轨迹较为合适，而对于机动车来说，其行驶速度较快，所以使用中比例尺或是大比例尺地图来记录以及预测其行驶轨迹较为合适。
基于此，在本说明书实施例中，无人驾驶设备可以先确定出待预测障碍物的类型，进而将上述全局交互特征、地图聚合特征以及该待预测障碍物的历史运动轨迹输入到该类型所对应的第三模型中。其中，无人驾驶设备确定待预测障碍物的类型所采用的方式可以有多种，如可以通过图像分析的方式，确定待预测障碍物的类型，也可以通过行进速度分析的方式（通常情况下，机动车的行驶速度较快，而行人的速度较慢），来确定待预测障碍物的类型，其他方式在此就不详细举例说明了。
从上述方法中可以看出，通过第一模型得到各障碍物的全局交互特征，并将两种以上比例尺的地图数据和各障碍物中待预测障碍物的历史运动轨迹输入第二模型，得到该两种以上比例尺的地图下该待预测障碍物对应的地图聚合特征，再将全局交互特征、地图聚合特征和待预测障碍物的历史运动轨迹输入第三模型中，使第三模型可以通过待预测障碍物的历史运动轨迹所表达出的待预测障碍物的运动速度，自适应的从聚合了各种比例尺的地图的地图聚合特征中选取与待预测障碍物的运动速度相适应的地图特征，用来辅助预测该待预测障碍物的运动轨迹，使得最后得到的该待预测障碍物的预测运动轨迹更加准确。
对于上述提到的三个模型，可以采用联合训练的方式进行模型训练。具体的，可以预先将各样本障碍物的样本历史运动轨迹输入待训练的第一模型，到待训练的第一模型输出的全局交互特征。其中，这里提到的各样本障碍物可以是采集到的历史上遇到的障碍物，如，人为驾驶机动车时在历史上遇到的障碍物。
可以将至少两种比例尺下，包含有上述样本历史运动轨迹的区域的地图作为样本地图，并将每种比例尺下的样本地图数据中指定样本障碍物的样本历史运动轨迹输入到待训练的第二模型中，得到该待训练的第二模型输出的地图聚合特征。这里提到的指定样本障碍物即为在模型训练过程中，需要预测的轨迹的样本障碍物。该指定样本障碍物可以是根据实际的模型训练需求选取出的，也可以是从各样本障碍物中随机选取出的。
进一步地，可以将待训练的第一模型输出的全局交互特征，待训练的第二模型输出的地图聚合特征以及指定样本障碍物的样本历史运动轨迹，输入到该指定样本障碍物的类型所对应的待训练第三模型中，得到待训练的第三模型输出的该指定样本障碍物的预测运动轨迹。
最终，可以指定样本障碍物的实际运动轨迹与指定样本障碍物的预测运动轨迹的差异最小化为训练目标，对这三个模型进行训练。从这个模型训练的过程中可以看出，大致过程与这三个模型的实际使用基本相同，只是最终需要结合采集到的样本障碍物的实际运动轨迹来对这三个模型进行参数优化。所以，具体的过程就不详细赘述了。
还需说明的是，对这三个模型进行训练的执行主体除了可以上述无人驾驶设备以外，还可以服务器、台式电脑等专门用于模型训练的设备。相应的，若是模型训练的执行主体为服务器或是台式电脑等，也可以在训练完这三个模型后，将这三个模型部署到无人驾驶设备中，以使无人驾驶设备进行障碍物的轨迹预测。
以上为本说明书实施例提供的障碍物的轨迹预测方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。
图4为本说明书实施例提供的一种障碍物的轨迹预测装置的结构示意图，所述装置包括：
获取模块401，用于获取各障碍物的历史运动轨迹；
编码模块402，用于将各障碍物的历史运动轨迹输入预先训练的第一模型，得到所述第一模型输出的各障碍物的全局交互特征；并，确定包含各障碍物的历史运动轨迹的区域，确定至少两种比例尺下所述区域内的地图，将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征；
解码模块403，用于将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，得到所述第三模型输出的所述待预测障碍物的预测运动轨迹。
可选地，所述编码模块402具体用于，针对每种比例尺下的地图，对该比例尺下的地图中包含的各条道路进行采样；将采样得到的各道路采样点的位置数据以及所述待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征。
可选地，所述编码模块402具体用于，针对每个障碍物，根据该比例尺下的地图中该障碍物的历史运动轨迹所在的道路的方向，该比例尺下的地图中包含的各条道路进行采样，得到道路采样点。
可选地，所述第二模型包括第一处理层和第二处理层；
所述编码模块402具体用于，针对每种比例尺下的地图，将针对该比例尺下的地图进行采样得到的道路采样点的位置数据输入所述第一处理层，得到所述第一处理层输出的该比例尺下的地图对应的地图特征；将所述待预测障碍物的历史运动轨迹输入所述第二处理层，使第二处理层得到所述待预测障碍物的历史运动轨迹对应的轨迹特征；将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到所述待预测障碍物对应的地图聚合特征。
可选地，所述第二模型包括卷积层和全连接层；
所述编码模块402具体用于，针对每种比例尺下的地图，将该比例尺下的地图对应的图像输入所述卷积层，得到所述卷积层输出的该比例尺下的地图对应的图像特征；将该比例尺下的地图对应的图像特征输入所述全连接层，得到所述全连接层输出的该比例尺下的地图对应的地图特征；将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到所述待预测障碍物对应的地图聚合特征。
可选地，所述编码模块402具体用于，根据每种比例尺下的地图对应的地图特征以及所述待预测障碍物的历史运动轨迹对应的轨迹特征，确定所述待预测障碍物对应的注意力加权矩阵；并，根据每种比例尺下的地图对应的地图特征，得到地图特征矩阵；采用所述注意力加权矩阵，对所述地图特征矩阵进行注意力加权，得到所述待预测障碍物对应的地图聚合特征。
可选地，所述解码模块403具体用于，确定所述待预测障碍物的类型；将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入所述类型对应的第三模型。
可选地，所述装置还包括：
训练模块404，用于预先将各样本障碍物的样本历史运动轨迹输入待训练的第一模型，得到所述待训练的第一模型输出的全局交互特征；并，确定至少两种比例尺下、且包含各样本历史运动轨迹的区域内的地图，作为样本地图，将每种比例尺下的样本地图数据和指定样本障碍物历史运动轨迹输入待训练的第二模型，得到所述待训练的第二模型输出的地图聚合特征；将所述待训练的第一模型输出的全局交互特征、所述待训练的第二模型输出的地图聚合特征以及所述指定样本障碍物的样本历史运动轨迹，输入所述指定样本障碍物的类型对应的待训练的第三模型中，得到所述待训练的第三模型输出的所述指定样本障碍物的预测运动轨迹；以所述指定样本障碍物的实际运动轨迹与所述指定样本障碍物的预测运动轨迹的差异最小化为训练目标，对所述待训练的第一模型、所述待训练的第二模型和所述待训练的第三模型进行训练。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图1提供的障碍物的轨迹预测方法。
基于图1所示的信息追溯方法，本说明书实施例还提供了图5所示的电子设备的结构示意图。如图5，在硬件层面，该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的障碍物的轨迹预测方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (11)

1.一种障碍物的轨迹预测方法，其特征在于，包括：
获取各障碍物的历史运动轨迹；
将各障碍物的历史运动轨迹输入预先训练的第一模型，得到所述第一模型输出的各障碍物的全局交互特征；并，确定包含各障碍物的历史运动轨迹的区域，确定至少两种比例尺下所述区域内的地图，将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征；
将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，得到所述第三模型输出的所述待预测障碍物的预测运动轨迹。
2.如权利要求1所述的方法，其特征在于，将每种比例尺下的地图数据和所述障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的地图聚合特征，具体包括：
针对每种比例尺下的地图，对该比例尺下的地图中包含的各条道路进行采样；
将采样得到的各道路采样点的位置数据以及所述待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征。
3.如权利要求2所述的方法，其特征在于，对该比例尺下的地图中包含的各条道路进行采样，具体包括：
针对每个障碍物，根据该比例尺下的地图中该障碍物的历史运动轨迹所在的道路的方向，该比例尺下的地图中包含的各条道路进行采样，得到道路采样点。
4.如权利要求2所述的方法，其特征在于，所述第二模型包括第一处理层和第二处理层；
将采样得到的各道路采样点的位置数据以及所述待预测障碍物的历史运动轨迹输入第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征，具体包括：
针对每种比例尺下的地图，将针对该比例尺下的地图进行采样得到的道路采样点的位置数据输入所述第一处理层，得到所述第一处理层输出的该比例尺下的地图对应的地图特征；
将所述待预测障碍物的历史运动轨迹输入所述第二处理层，使第二处理层得到所述待预测障碍物的历史运动轨迹对应的轨迹特征；
将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到所述待预测障碍物对应的地图聚合特征。
5.如权利要求1所述的方法，其特征在于，所述第二模型包括卷积层和全连接层；
将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，具体包括：
针对每种比例尺下的地图，将该比例尺下的地图对应的图像输入所述卷积层，得到所述卷积层输出的该比例尺下的地图对应的图像特征；
将该比例尺下的地图对应的图像特征输入所述全连接层，得到所述全连接层输出的该比例尺下的地图对应的地图特征；
将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到所述待预测障碍物对应的地图聚合特征。
6.如权利要求4或5所述的方法，其特征在于，将每种比例尺下的地图对应的地图特征与所述待预测障碍物的历史运动轨迹对应的轨迹特征进行聚合，得到待预测障碍物对应的地图聚合特征，具体包括：
根据每种比例尺下的地图对应的地图特征以及所述待预测障碍物的历史运动轨迹对应的轨迹特征，确定所述待预测障碍物对应的注意力加权矩阵；并，根据每种比例尺下的地图对应的地图特征，得到地图特征矩阵；
采用所述注意力加权矩阵，对所述地图特征矩阵进行注意力加权，得到所述待预测障碍物对应的地图聚合特征。
7.如权利要求1所述的方法，其特征在于，将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，具体包括：
确定所述待预测障碍物的类型；
将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入所述类型对应的第三模型。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
预先将各样本障碍物的样本历史运动轨迹输入待训练的第一模型，得到所述待训练的第一模型输出的全局交互特征；并，确定至少两种比例尺下、且包含各样本历史运动轨迹的区域内的地图，作为样本地图，将每种比例尺下的样本地图数据和指定样本障碍物历史运动轨迹输入待训练的第二模型，得到所述待训练的第二模型输出的地图聚合特征；
将所述待训练的第一模型输出的全局交互特征、所述待训练的第二模型输出的地图聚合特征以及所述指定样本障碍物的样本历史运动轨迹，输入所述指定样本障碍物的类型对应的待训练的第三模型中，得到所述待训练的第三模型输出的所述指定样本障碍物的预测运动轨迹；
以所述指定样本障碍物的实际运动轨迹与所述指定样本障碍物的预测运动轨迹的差异最小化为训练目标，对所述待训练的第一模型、所述待训练的第二模型和所述待训练的第三模型进行训练。
9.一种障碍物的轨迹预测装置，其特征在于，包括：
获取模块，用于获取各障碍物的历史运动轨迹；
编码模块，用于将各障碍物的历史运动轨迹输入预先训练的第一模型，得到所述第一模型输出的各障碍物的全局交互特征；并，确定包含各障碍物的历史运动轨迹的区域，确定至少两种比例尺下所述区域内的地图，将每种比例尺下的地图数据和所述各障碍物中的待预测障碍物的历史运动轨迹输入预先训练的第二模型，得到所述第二模型输出的所述待预测障碍物对应的地图聚合特征；
解码模块，用于将所述全局交互特征、所述地图聚合特征以及所述待预测障碍物的历史运动轨迹输入预先训练的第三模型，得到所述第三模型输出的所述待预测障碍物的预测运动轨迹。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-8任一项所述的方法。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-8任一项所述的方法。
CN202011117500.5A 2020-10-19 2020-10-19 一种障碍物的轨迹预测方法、装置、存储介质及电子设备 Active CN112015847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011117500.5A CN112015847B (zh) 2020-10-19 2020-10-19 一种障碍物的轨迹预测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011117500.5A CN112015847B (zh) 2020-10-19 2020-10-19 一种障碍物的轨迹预测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112015847A true CN112015847A (zh) 2020-12-01
CN112015847B CN112015847B (zh) 2021-03-02

Family

ID=73528307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011117500.5A Active CN112015847B (zh) 2020-10-19 2020-10-19 一种障碍物的轨迹预测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112015847B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651557A (zh) * 2020-12-25 2021-04-13 际络科技(上海)有限公司 轨迹预测系统及方法、电子设备及可读存储介质
CN112883871A (zh) * 2021-02-19 2021-06-01 北京三快在线科技有限公司 一种模型训练以及确定无人车运动策略方法及装置
CN113075668A (zh) * 2021-03-25 2021-07-06 广州小鹏自动驾驶科技有限公司 一种动态障碍物对象识别方法和装置
CN113128381A (zh) * 2021-04-06 2021-07-16 浙江吉利控股集团有限公司 障碍物轨迹预测方法、系统及计算机存储介质
CN113920166A (zh) * 2021-10-29 2022-01-11 广州文远知行科技有限公司 一种选择物体运动模型方法、装置、交通工具及存储介质
CN113934808A (zh) * 2021-10-22 2022-01-14 广东汇天航空航天科技有限公司 地图数据获取方法、装置及飞行器
CN114596553A (zh) * 2022-03-11 2022-06-07 阿波罗智能技术(北京)有限公司 模型训练方法、轨迹预测方法、装置及自动驾驶车辆
WO2022222095A1 (zh) * 2021-04-22 2022-10-27 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN115790606A (zh) * 2023-01-09 2023-03-14 深圳鹏行智能研究有限公司 轨迹预测方法、装置、机器人及存储介质
CN115943400A (zh) * 2021-04-28 2023-04-07 深圳元戎启行科技有限公司 基于时间与空间学习的轨迹预测方法、装置和计算机设备
CN116152782A (zh) * 2023-04-18 2023-05-23 苏州魔视智能科技有限公司 一种障碍物轨迹预测方法、装置、设备及存储介质

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651557A (zh) * 2020-12-25 2021-04-13 际络科技(上海)有限公司 轨迹预测系统及方法、电子设备及可读存储介质
CN112883871A (zh) * 2021-02-19 2021-06-01 北京三快在线科技有限公司 一种模型训练以及确定无人车运动策略方法及装置
CN112883871B (zh) * 2021-02-19 2022-06-10 北京三快在线科技有限公司 一种模型训练以及确定无人车运动策略方法及装置
CN113075668A (zh) * 2021-03-25 2021-07-06 广州小鹏自动驾驶科技有限公司 一种动态障碍物对象识别方法和装置
CN113075668B (zh) * 2021-03-25 2024-03-08 广州小鹏自动驾驶科技有限公司 一种动态障碍物对象识别方法和装置
CN113128381A (zh) * 2021-04-06 2021-07-16 浙江吉利控股集团有限公司 障碍物轨迹预测方法、系统及计算机存储介质
WO2022222095A1 (zh) * 2021-04-22 2022-10-27 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN115943400A (zh) * 2021-04-28 2023-04-07 深圳元戎启行科技有限公司 基于时间与空间学习的轨迹预测方法、装置和计算机设备
CN115943400B (zh) * 2021-04-28 2024-06-18 深圳元戎启行科技有限公司 基于时间与空间学习的轨迹预测方法、装置和计算机设备
CN113934808A (zh) * 2021-10-22 2022-01-14 广东汇天航空航天科技有限公司 地图数据获取方法、装置及飞行器
CN113934808B (zh) * 2021-10-22 2024-05-28 广东汇天航空航天科技有限公司 地图数据获取方法、装置及飞行器
CN113920166A (zh) * 2021-10-29 2022-01-11 广州文远知行科技有限公司 一种选择物体运动模型方法、装置、交通工具及存储介质
CN113920166B (zh) * 2021-10-29 2024-05-28 广州文远知行科技有限公司 一种选择物体运动模型方法、装置、交通工具及存储介质
CN114596553B (zh) * 2022-03-11 2023-01-24 阿波罗智能技术(北京)有限公司 模型训练方法、轨迹预测方法、装置及自动驾驶车辆
CN114596553A (zh) * 2022-03-11 2022-06-07 阿波罗智能技术(北京)有限公司 模型训练方法、轨迹预测方法、装置及自动驾驶车辆
CN115790606A (zh) * 2023-01-09 2023-03-14 深圳鹏行智能研究有限公司 轨迹预测方法、装置、机器人及存储介质
CN116152782A (zh) * 2023-04-18 2023-05-23 苏州魔视智能科技有限公司 一种障碍物轨迹预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112015847B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
KR102523886B1 (ko) 스몰 타깃 검출 방법 및 장치
JP7086111B2 (ja) 自動運転車のｌｉｄａｒ測位に用いられるディープラーニングに基づく特徴抽出方法
CN111771141B (zh) 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
CN111860155B (zh) 一种车道线的检测方法及相关设备
CN111190427B (zh) 一种轨迹规划的方法及装置
CN112212874B (zh) 车辆轨迹预测方法、装置、电子设备及计算机可读介质
CN110262486B (zh) 一种无人驾驶设备运动控制方法及装置
JP2021515178A (ja) 自動運転車両においてｒｎｎとｌｓｔｍを用いて時間平滑化を行うｌｉｄａｒ測位
CN110660103B (zh) 一种无人车定位方法及装置
CN111238523B (zh) 一种运动轨迹的预测方法及装置
CN111912423B (zh) 一种预测障碍物轨迹以及模型训练的方法及装置
CN116783620A (zh) 根据点云的高效三维对象检测
CN113128381A (zh) 障碍物轨迹预测方法、系统及计算机存储介质
CN111797711A (zh) 一种模型训练的方法及装置
WO2021006870A1 (en) Vehicular autonomy-level functions
CN114997307A (zh) 一种轨迹预测方法、装置、设备及存储介质
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
CN113033527A (zh) 一种场景识别方法、装置、存储介质及无人设备
JP2023036795A (ja) 画像処理方法、モデル訓練方法、装置、電子機器、記憶媒体、コンピュータプログラム及び自動運転車両
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN115705717A (zh) 预测载具的邻近区域的多个对象的特性的方法和系统
Cultrera et al. Explaining autonomous driving with visual attention and end-to-end trainable region proposals
CN114194213A (zh) 一种目标物轨迹预测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant