CN113246973B - 障碍物的轨迹预测方法、装置、存储介质及电子设备 - Google Patents
障碍物的轨迹预测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113246973B CN113246973B CN202110655818.7A CN202110655818A CN113246973B CN 113246973 B CN113246973 B CN 113246973B CN 202110655818 A CN202110655818 A CN 202110655818A CN 113246973 B CN113246973 B CN 113246973B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- target
- lane
- obstacles
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 abstract 2
- 230000003993 interaction Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种障碍物的轨迹预测方法、装置、存储介质及电子设备。该方法包括：若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和车道信息；对每个时刻的障碍物信息进行编码，得到每个时刻下每个障碍物的初始状态特征；根据在除目标时刻之外的其他时刻下目标障碍物的初始状态特征、以及在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征，得到在目标时刻下目标障碍物的修正状态特征；根据目标障碍物在每个时刻下的修正状态特征，得到目标障碍物在由多个时刻形成的时段内的目标时序特征；根据每个障碍物的目标时序特征、每个障碍物的位置信息、车道信息和车道特征，预测每个障碍物在时段之后的目标时段内的轨迹。
Description
技术领域
本公开涉及无人驾驶技术领域，具体地，涉及一种障碍物的轨迹预测方法、装置、存储介质及电子设备。
背景技术
目前，车辆的智能化作为人工智能技术的重要组成部分，在社会生产、生活中的作用日益凸显，成为引导交通技术发展的主要方向之一。
在对无人车及具有辅助驾驶功能的车辆(以下统称“车辆”)进行路径规划时，为了使车辆安全行驶，需要车辆避开周围的障碍物。障碍物包括静态障碍物和动态障碍物，由于静态障碍物静止不动，使车辆避开静态障碍物很容易。但是，若使车辆准确地避开动态障碍物，则需要对动态障碍物未来的行驶轨迹进行预测。
在现有技术中，仅根据历史时刻动态障碍物的状态信息，对动态障碍物未来的行驶轨迹进行预测。由于实际的交通状况比较复杂，多个动态障碍物之间、动态障碍物与车辆之间均可能存在交互(比如，一个动态障碍物的运动状态会受到与之距离较近的另一个动态障碍物或车辆的运动状态的影响等)，因此，通过上述方式预测动态障碍物未来的行驶轨迹准确度较差，导致车辆路径规划的结果缺乏合理性。
发明内容
本公开的目的是提供一种障碍物的轨迹预测方法、装置、存储介质及电子设备。
为了实现上述目的，第一方面，本公开提供一种障碍物的轨迹预测方法，包括：
若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，其中，所述障碍物信息包括每个所述障碍物的位置信息，所述多个时刻包括至少三个时刻；
对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征；
将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征；根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征；
对所述车道信息进行编码，得到所述车道信息的车道特征；
根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹。
可选地，所述根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征，包括：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
可选地，所述对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征，包括：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第一状态特征；
对在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第二状态特征；
对所述第一状态特征和所述第二状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
可选地，所述根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征，包括：
对所述目标障碍物在每个时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第一融合特征；
对所述目标障碍物在多个目标时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第二融合特征，其中，所述多个目标时刻选自所述多个时刻，并且，任意两个所述目标时刻在时序上不连续；
对所述第一融合特征和所述第二融合特征进行拼接，得到所述目标障碍物的所述目标时序特征。
可选地，所述根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹，包括：
将每个所述障碍物逐一作为待预测障碍物，根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹，其中，障碍物的第一全局特征通过将该障碍物的所述目标时序特征与所述车道特征拼接得到，障碍物的第二全局特征通过将该障碍物的所述位置信息与所述车道信息拼接得到。
可选地，所述根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹，包括：
将除所述待预测障碍物之外的其他障碍物的第一全局特征进行融合，得到所述待预测障碍物的第一目标特征；
将位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到所述待预测障碍物的第二目标特征；
根据所述待预测障碍物的所述第一目标特征、所述第二目标特征和所述第一全局特征，预测所述待预测障碍物在所述目标时段内的轨迹。
可选地，获取所述车道信息包括：
在获取到所述当前行驶区域的地图信息的情况下，根据所述地图信息，获取所述车道信息。
可选地，获取所述车道信息包括：
在未获取到所述当前行驶区域的地图信息的情况下，获取预设历史时间段内、所述当前行驶区域内的运动轨迹图；
根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率；
根据每一所述非终止轨迹点的所述运动方向概率，生成所述当前行驶区域内的车道信息图，将所述车道信息图作为所述车辆当前行驶区域内的车道信息。
可选地，所述根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率，包括：
针对当前非终止轨迹点的每个所述下游轨迹点，根据所述当前非终止轨迹点与所述下游轨迹点之间的轨迹数量，确定所述当前非终止轨迹点在从所述当前非终止轨迹点到所述下游轨迹点的方向上的运动方向概率。
可选地，所述对所述车道信息进行编码，得到所述车道信息的车道特征，包括：
对所述车道信息图进行编码，得到车道信息特征；
对所述车道信息特征分别进行横向编码和纵向编码，得到所述车道信息的车道特征。
第二方面，本公开提供一种障碍物的轨迹预测装置，包括：
获取模块，用于若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，其中，所述障碍物信息包括每个所述障碍物的位置信息，所述多个时刻包括至少三个时刻；
第一编码模块，用于对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征；
确定模块，用于将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征；根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征；
第二编码模块，用于对所述车道信息进行编码，得到所述车道信息的车道特征；
预测模块，用于根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹。
可选地，所述确定模块采用如下方式根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
可选地，所述确定模块采用如下方式对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第一状态特征；
对在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第二状态特征；
对所述第一状态特征和所述第二状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
可选地，所述确定模块采用如下方式根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征：
对所述目标障碍物在每个时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第一融合特征；
对所述目标障碍物在多个目标时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第二融合特征，其中，所述多个目标时刻选自所述多个时刻，并且，任意两个所述目标时刻在时序上不连续；
对所述第一融合特征和所述第二融合特征进行拼接，得到所述目标障碍物的所述目标时序特征。
可选地，所述预测模块采用如下方式根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹：
将每个所述障碍物逐一作为待预测障碍物，根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹，其中，障碍物的第一全局特征通过将该障碍物的所述目标时序特征与所述车道特征拼接得到，障碍物的第二全局特征通过将该障碍物的所述位置信息与所述车道信息拼接得到。
可选地，所述预测模块采用如下方式根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹：
将除所述待预测障碍物之外的其他障碍物的第一全局特征进行融合，得到所述待预测障碍物的第一目标特征；
将位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到所述待预测障碍物的第二目标特征；
根据所述待预测障碍物的所述第一目标特征、所述第二目标特征和所述第一全局特征，预测所述待预测障碍物在所述目标时段内的轨迹。
可选地，所述获取模块采用如下方式获取所述车道信息：
在获取到所述当前行驶区域的地图信息的情况下，根据所述地图信息，获取所述车道信息。
可选地，所述获取模块采用如下方式获取所述车道信息：
在未获取到所述当前行驶区域的地图信息的情况下，获取预设历史时间段内、所述当前行驶区域内的运动轨迹图；
根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率；
根据每一所述非终止轨迹点的所述运动方向概率，生成所述当前行驶区域内的车道信息图，将所述车道信息图作为所述车辆当前行驶区域内的车道信息。
可选地，所述获取模块采用如下方式根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率：
针对当前非终止轨迹点的每个所述下游轨迹点，根据所述当前非终止轨迹点与所述下游轨迹点之间的轨迹数量，确定所述当前非终止轨迹点在从所述当前非终止轨迹点到所述下游轨迹点的方向上的运动方向概率。
可选地，所述第二编码模块采用如下方式对所述车道信息进行编码，得到所述车道信息的车道特征：
对所述车道信息图进行编码，得到车道信息特征；
对所述车道信息特征分别进行横向编码和纵向编码，得到所述车道信息的车道特征。
第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。
通过上述技术方案，在获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，并对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征之后，通过将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征。
由此，得到的目标障碍物的修正状态特征是包括目标障碍物与其他障碍物的相对位置关系的特征，以及包括目标障碍物在时序上运动状态连续的状态特征。根据目标障碍物在每个时刻下的修正状态特征，得到目标障碍物在由多个时刻形成的时段内的目标时序特征，即目标障碍物的目标时序特征，是包括了目标障碍物时序运动信息的特征，从而确保了对目标障碍物特征提取的全面性和丰富度。
通过本公开，可实现基于时序维度考量到车辆和各障碍物之间的交互，以及实现基于车辆和相邻障碍物之间的相对位置关系维度，考量到车辆和相邻障碍物以及相邻车道之间的交互，使得车辆在处于交通状况较为复杂的环境中时，也能对障碍物的行驶轨迹进行更准确的预测。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种障碍物的轨迹预测方法的流程图。
图2是根据一示例性实施例示出的一种障碍物的轨迹预测方法的流程图。
图3是根据一示例性实施例示出的一种障碍物的轨迹预测装置的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在对障碍物的行驶轨迹进行预测时，为了提高预测的准确性，除了考虑当前时刻该障碍物的状态信息，还需要考虑其他障碍物的运动轨迹对该障碍物带来的影响，以及考虑其他障碍物与该障碍物之间的位置关系对该障碍物带来的影响。而现有技术中，虽然也将该障碍物与其他障碍物之间的交互纳入考量的预测轨迹方法，但是没有将影响障碍物运动轨迹的时序特征进行考量，也没有将障碍物之间的相对位置关系特征进行考量，导致障碍物轨迹预测的准确性不高。
在本公开中，在获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，并对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征之后，通过将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征。
由此，得到的目标障碍物的修正状态特征是包括目标障碍物与其他障碍物的相对位置关系的特征，以及包括目标障碍物在时序上运动状态连续的状态特征。根据目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征，即目标障碍物的目标时序特征，是包括了目标障碍物时序运动信息的特征，确保了对目标障碍物特征提取的全面性和丰富度。
进而，基于目标障碍物全面丰富的目标时序特征，对障碍物的轨迹进行预测，可提高对障碍物轨迹预测的准确性。
以下结合附图，详细说明本公开中各实施例提供的技术方案。
图1是根据一示例性实施例示出的一种障碍物的轨迹预测方法的流程图，如图1所示，障碍物的轨迹预测方法，包括以下步骤。
在步骤S11中，若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和车辆当前行驶区域内的车道信息。
其中，每个时刻的障碍物信息可以包括每个障碍物的位置信息(位置坐标x，y)，多个时刻包括至少三个时刻。每个时刻的障碍物信息还可以包括表征该障碍物是车辆还是人或者是其他运动物体的类别信息。位置信息例如可以是障碍物的世界坐标。
一种实施方式中，在获取到当前行驶区域的地图信息的情况下，根据地图信息，获取车道信息。
其中，车道信息可以是车辆当前行驶区域内对多条车道按照车道走向，顺序地进行标记并采样后得到的采样点的位置信息。
在步骤S12中，对每个时刻的障碍物信息进行编码，得到每个时刻下每个障碍物的初始状态特征。
一种实施方式中，例如可通过如下方式对障碍物信息进行编码，得到每个时刻下每个障碍物的初始状态特征：
对每个障碍物的位置信息(位置坐标x，y)进行位置编码，得到位置特征，根据位置信息进行速度(dx，dy)编码，得到速度特征和对每个障碍物的类别信息进行类别编码得到类别特征，之后对位置特征、速度特征和类别特征相加得到每个障碍物的初始状态特征。
在步骤S13中，将多个障碍物逐一作为目标障碍物，将多个时刻逐一作为目标时刻，根据在除目标时刻之外的其他时刻下目标障碍物的初始状态特征、以及在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征，得到在目标时刻下目标障碍物的修正状态特征。
为了全面、丰富地提取目标障碍物的特征，一种实施方式中，本公开可根据目标障碍物的其他时刻强化目标障碍物的目标时刻的初始状态特征，可根据目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征，强化目标时刻下目标障碍物的初始状态特征，得到目标时刻下目标障碍物经强化后得到的修正状态特征。
其中，例如可通过如下方式得到在目标时刻下目标障碍物的修正状态特征：
对在除目标时刻之外的其他时刻下目标障碍物的初始状态特征、以及在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征进行拼接，得到在目标时刻下目标障碍物的修正状态特征。
一种实施方式中，例如可通过如下方式对在除目标时刻之外的其他时刻下目标障碍物的初始状态特征、以及在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征进行拼接，得到在目标时刻下目标障碍物的修正状态特征：
对在除目标时刻之外的其他时刻下目标障碍物的初始状态特征进行融合，得到目标障碍物在目标时刻下的第一状态特征，对在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征进行融合，得到目标障碍物在目标时刻下的第二状态特征。对第一状态特征和第二状态特征进行拼接，得到在目标时刻下目标障碍物的修正状态特征。
由此，目标时刻下目标障碍物的修正状态特征可以是根据目标障碍物其他时刻的修正状态特征，以及根据目标时刻下其他障碍物的修正状态特征强化后的特征。目标时刻下目标障碍物的修正状态特征可以准确反应目标时刻下目标障碍物的状态特征。
在步骤S14中，根据目标障碍物在每个时刻下的修正状态特征，得到目标障碍物在由多个时刻形成的时段内的目标时序特征。
在得到目标时刻下目标障碍物的修正状态特征之后，一种实施方式中，可对目标障碍物在每个时刻下的修正状态特征进行拼接，得到目标障碍物在由多个时刻形成的时段内的目标时序特征。
此外，由于相邻时刻的目标障碍物的修正状态特征不稳定，存在噪声的抖动，为平滑相邻时刻目标障碍物的修正状态特征之间的噪声，一种实施方式中，可对目标障碍物在每个时刻下的修正状态特征进行融合，得到目标障碍物的第一融合特征，并且可从多个时刻中选取多个目标时刻，对目标障碍物在多个目标时刻下的修正状态特征进行融合，得到目标障碍物的第二融合特征，对第一融合特征和第二融合特征进行拼接，得到目标障碍物的目标时序特征。其中，任意两个目标时刻在时序上不连续。
在步骤S15中，对车道信息进行编码，得到车道信息的车道特征。
针对车道信息是根据车辆当前行驶区域的地图信息确定时，例如可采用如下方式对车道信息进行编码，得到车道信息的车道特征：
将车道信息输入单通道注意力模型，例如TransformerEncoder中，这样可以减少提取车道信息特征的计算量，并通过双向GRU，使得对车道信息编码时可将车道信息进行顺行编码和逆行编码，实现全面地提取到车道特征。
在步骤S16中，根据每个障碍物的目标时序特征、每个障碍物的位置信息、车道信息和车道特征，预测每个障碍物在时段之后的目标时段内的轨迹。
在得到目标障碍物在由多个时刻形成的时段内的目标时序特征之后，一种实施方式中，例如可采用如下方式预测每个障碍物在时段之后的目标时段内的轨迹：
通过将每个障碍物的目标时序特征与车道特征拼接，得到每个障碍物的第一全局特征，通过将每个障碍物的位置信息与车道信息拼接，得到每个障碍物的第二全局特征。也就是说，第一全局特征中包含有障碍物目标时序特征以及车道特征，第二全局特征中包含有障碍物位置信息和车道位置信息。
将每个障碍物逐一作为待预测障碍物，预测待预测障碍物在目标时段内的轨迹时，例如可根据待预测障碍物的第一全局特征、除待预测障碍物之外的其他障碍物的第一全局特征、以及位于与待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测待预测障碍物在目标时段内的轨迹：
一种实施方式中，可基于障碍物时序维度，从障碍物之间的全局交互的角度对障碍物的第一全局特征进行全局交互，即将除待预测障碍物之外的其他障碍物的第一全局特征进行融合，得到待预测障碍物的第一目标特征。以及将障碍物的第二全局特征作为条件，基于障碍物相对位置关系的维度，对障碍物的第二全局特征进行全局交互，即将位于与待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到待预测障碍物的第二目标特征。
由此，在得到待预测障碍物的第一目标特征、待预测障碍物的第二目标特征之后，可根据待预测障碍物的第一目标特征、第二目标特征和第一全局特征，预测待预测障碍物在目标时段内的轨迹。
在本公开的示例性实施例中，在获取多个时刻的障碍物信息和车辆当前行驶区域内的车道信息，并对每个时刻的障碍物信息进行编码，得到每个时刻下每个障碍物的初始状态特征之后，通过将多个障碍物逐一作为目标障碍物，将多个时刻逐一作为目标时刻，根据在除目标时刻之外的其他时刻下目标障碍物的初始状态特征、以及在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征，得到在目标时刻下目标障碍物的修正状态特征。
由此，得到的目标障碍物的修正状态特征是包括目标障碍物与其他障碍物的相对位置关系的特征，以及包括目标障碍物在时序上运动状态连续的状态特征。根据目标障碍物在每个时刻下的修正状态特征，得到目标障碍物在由多个时刻形成的时段内的目标时序特征，即目标障碍物的目标时序特征，是包括了目标障碍物时序运动信息的特征，确保了对目标障碍物特征提取的全面性和丰富度。
通过本公开，可实现基于时序维度考量到车辆和各障碍物之间的交互，以及实现基于车辆和相邻障碍物之间的相对位置关系维度，考量到车辆和相邻障碍物以及相邻车道之间的交互，使得车辆在处于交通状况较为复杂的环境中时，也能对障碍物的行驶轨迹进行更准确的预测。
本公开以下结合实际应用，对障碍物的轨迹预测方法进行详细说明。
图2是根据一示例性实施例示出的一种障碍物的轨迹预测方法的流程图，如图2所示，障碍物的轨迹预测方法，包括以下步骤。
在步骤S21中，若在车辆行驶过程中检测到多个障碍物，且在未获取到当前行驶区域的地图信息的情况下，获取预设历史时间段内、当前行驶区域内的运动轨迹图，根据当前行驶区域内的运动轨迹图，生成当前行驶区域内的车道信息图，将车道信息图作为车辆当前行驶区域内的车道信息。
一种实施方式中，若车辆行驶在开放性的道路，或者没有高精地图的道路时，为了获取车道信息，可获取历史时间段内统计的当前行驶区域内的轨迹点的运动轨迹图，根据运动轨迹图，确定运动轨迹图中每一非终止轨迹点的运动方向概率，根据每一非终止轨迹点的运动方向概率，生成当前行驶区域内的车道信息图，将车道信息图作为车辆当前行驶区域内的车道信息。
其中，每一非终止轨迹点表征该轨迹点为初始轨迹点和中间轨迹点，即表征该轨迹点存在下游轨迹点。相应地，终止轨迹点表征该轨迹点不存在下游轨迹点。
一种实施方式中，例如可通过如下方式根据运动轨迹图，确定运动轨迹图中每一非终止轨迹点的运动方向概率：
针对当前非终止轨迹点的每个下游轨迹点，根据当前非终止轨迹点与下游轨迹点之间的轨迹数量，确定当前非终止轨迹点在从当前非终止轨迹点到下游轨迹点的方向上的运动方向概率。
在步骤S22中，对每个时刻的障碍物信息进行编码，得到每个时刻下每个障碍物的初始状态特征。
在步骤S23中，将多个障碍物逐一作为目标障碍物，将多个时刻逐一作为目标时刻，根据在除目标时刻之外的其他时刻下目标障碍物的初始状态特征、以及在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征，得到在目标时刻下目标障碍物的修正状态特征。
在步骤S24中，根据目标障碍物在每个时刻下的修正状态特征，得到目标障碍物在由多个时刻形成的时段内的目标时序特征。
一种实施方式中，可将每个时刻的障碍物信息输入特征编码网络，例如可以是混合注意力网络(MixtureAttentionNetwork)，通过特征编码网络对每个时刻的障碍物信息进行编码，得到每个时刻下每个障碍物的初始状态特征。其中，特征编码网络结构可以是BERT-Like模型结构，即是TransformerEncoder。
之后，在特征编码网络中，将每个时刻下每个障碍物的初始状态特征分别输入两个通道，第一个通道基于障碍物时间维度，对在除目标时刻之外的其他时刻下目标障碍物的初始状态特征进行融合，得到目标障碍物在目标时刻下的第一状态特征。第二个通道基于障碍物之间交互的维度，对对在目标时刻下与目标障碍物相邻的其他障碍物的初始状态特征进行融合，得到目标障碍物在目标时刻下的第二状态特征。将第一通道和第二通道输出的第一状态特征和第二状态特征进行拼接，得到在目标时刻下目标障碍物的修正状态特征。
之后，将修正状态特征分别输入特征编码网络的快速通道fastchannel和慢速通道slowchannel，通过快速通道和慢速通道来提取障碍物的精细化运动特征和主体运动特征。
其中，slowchannel和fastchannel可以是利用GRU神经网络得到的，将修正状态特征输入到slowchannel后，通过slowchannel对目标障碍物在每个时刻下的修正状态特征进行融合，得到目标障碍物的第一融合特征。将目标障碍物在多个时序上不连续的时刻下的修正状态特征进行融合，得到目标障碍物的第二融合特征。通过slowchannel和fastchannel输出目标障碍物的第一融合特征和第二融合特征之后，再对第一融合特征和第二融合特征进行拼接，得到目标障碍物的目标时序特征。
在步骤S25中，对车道信息进行编码，得到车道信息的车道特征
一种实施方式中，针对车道信息是根据预设历史时间段内、当前行驶区域内的运动轨迹图确定时，例如可采用如下方式对车道信息进行编码，得到车道信息的车道特征：
将车道信息图输入包括Conv2d和TransformerEncoder的环境编码网络中，依次通过环境编码网络中的Conv2d和TransformerEncoder得到车道信息图的车道信息特征，之后再将车道信息特征进行横向(坐标的x方向)编码，以及对车道信息特征进行纵向(坐标的y方向)编码，将横向编码后的特征和纵向编码后的特征相加得到车道特征。
在步骤S26中，根据每个障碍物的目标时序特征、每个障碍物的位置信息、车道信息和车道特征，预测每个障碍物在时段之后的目标时段内的轨迹。
在经过特征编码网络输出目标障碍物的目标时序特征之后，可将目标障碍物的目标时序特征输入交互预测网络中，对每个障碍物的目标时序特征和车道特征进行拼接，得到每个障碍物的第一全局特征，对每个障碍物的位置信息和车道信息进行拼接，得到每个障碍物的第二全局特征。之后，通过交互预测网络中的第一个通道，对第一全局特征基于障碍物特征维度进行全局交互，即针对每个待预测障碍物，对除待预测障碍物之外的其他障碍物的第一全局特征进行融合，得到待预测障碍物的第一目标特征。通过交互预测网络中的第二个通道，对第二全局特征基于障碍物相对位置关系维度进行全局交互，即对位于与待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到待预测障碍物的第二目标特征。
之后，根据两个通道输出的第一目标特征和第二目标特征，将第一目标特征、第二目标特征和第一全局特征输入到交互预测网络中的两个预测子模块，通过两个预测子模块预测待预测障碍物在目标时段内的轨迹。
其中，预测子模块可以是多层感知器(MLP，Multilayer Perceptron)，将第一目标特征、第二目标特征和第一全局特征输入到第一个预测子模块，通过第一个预测子模块预测障碍物的可行驶的轨迹，第二个预测子模块根据第一个预测子模块预测的障碍物的可行驶的轨迹，输出障碍物的可行驶的轨迹的概率。进而根据障碍物的可行驶的轨迹，以及对应可行驶的轨迹的概率，确定得到障碍物的在目标时段内的轨迹。
在本公开的示例性实施例中，针对车辆行驶在开放性的道路，或者没有高精地图的道路时，可根据历史时间段内统计的当前行驶区域内的轨迹点的运动轨迹图，确定运动轨迹图中每一非终止轨迹点的运动方向概率，根据每一非终止轨迹点的运动方向概率，得到车辆当前行驶区域内的车道信息。由此，本公开的障碍物的轨迹预测方法可适用于多种类型道路中，提升对不同场景的适配能力。
并且，由于障碍物的第一全局特征中包括了障碍物的目标时序特征和车道特征，基于障碍物时序特征维度，从障碍物之间的全局交互的角度对障碍物的第一全局特征进行全局交互，得到障碍物的第一目标特征，以及将障碍物的第二全局特征作为条件，基于障碍物相对位置关系的维度，对障碍物的第二全局特征进行全局交互，即将位于与待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到待预测障碍物的第二目标特征。由此不仅实现了基于时序维度考量到车辆和各障碍物之间的交互，还实现了基于车辆和相邻障碍物之间的相对位置关系维度，考量到车辆和相邻障碍物以及相邻车道之间的交互，使得车辆在处于交通状况复杂的环境中时，也能对障碍物的行驶轨迹进行更准确的预测。
图3是根据一示例性实施例示出的一种障碍物的轨迹预测装置的框图300。参照图3，障碍物的轨迹预测装置包括获取模块301、第一编码模块302、确定模块303、第二编码模块304和预测模块305。
其中，获取模块301，用于若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，其中，所述障碍物信息包括每个所述障碍物的位置信息，所述多个时刻包括至少三个时刻；
第一编码模块302，用于对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征；
确定模块303，用于将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征；根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征；
第二编码模块304，用于对所述车道信息进行编码，得到所述车道信息的车道特征；
预测模块305，用于根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹。
可选地，所述确定模块303采用如下方式根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
可选地，所述确定模块303采用如下方式对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第一状态特征；
对在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第二状态特征；
对所述第一状态特征和所述第二状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
可选地，所述确定模块303采用如下方式根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征：
对所述目标障碍物在每个时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第一融合特征；
对所述目标障碍物在多个目标时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第二融合特征，其中，所述多个目标时刻选自所述多个时刻，并且，任意两个所述目标时刻在时序上不连续；
对所述第一融合特征和所述第二融合特征进行拼接，得到所述目标障碍物的所述目标时序特征。
可选地，所述预测模块305采用如下方式根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹：
将每个所述障碍物逐一作为待预测障碍物，根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹，其中，障碍物的第一全局特征通过将该障碍物的所述目标时序特征与所述车道特征拼接得到，障碍物的第二全局特征通过将该障碍物的所述位置信息与所述车道信息拼接得到。
可选地，所述预测模块305采用如下方式根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹：
将除所述待预测障碍物之外的其他障碍物的第一全局特征进行融合，得到所述待预测障碍物的第一目标特征；
将位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到所述待预测障碍物的第二目标特征；
根据所述待预测障碍物的所述第一目标特征、所述第二目标特征和所述第一全局特征，预测所述待预测障碍物在所述目标时段内的轨迹。
可选地，所述获取模块301采用如下方式获取所述车道信息：
在获取到所述当前行驶区域的地图信息的情况下，根据所述地图信息，获取所述车道信息。
可选地，所述获取模块301采用如下方式获取所述车道信息：
在未获取到所述当前行驶区域的地图信息的情况下，获取预设历史时间段内、所述当前行驶区域内的运动轨迹图；
根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率；
根据每一所述非终止轨迹点的所述运动方向概率，生成所述当前行驶区域内的车道信息图，将所述车道信息图作为所述车辆当前行驶区域内的车道信息。
可选地，所述获取模块301采用如下方式根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率：
针对当前非终止轨迹点的每个所述下游轨迹点，根据所述当前非终止轨迹点与所述下游轨迹点之间的轨迹数量，确定所述当前非终止轨迹点在从所述当前非终止轨迹点到所述下游轨迹点的方向上的运动方向概率。
可选地，所述第二编码模块304采用如下方式对所述车道信息进行编码，得到所述车道信息的车道特征：
对所述车道信息图进行编码，得到车道信息特征；
对所述车道信息特征分别进行横向编码和纵向编码，得到所述车道信息的车道特征。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的障碍物的轨迹预测方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的障碍物的轨迹预测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的障碍物的轨迹预测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的障碍物的轨迹预测方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的障碍物的轨迹预测方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (13)
1.一种障碍物的轨迹预测方法，包括：
若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，其中，所述障碍物信息包括每个所述障碍物的位置信息，所述多个时刻包括至少三个时刻；
对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征；
将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征；根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征；
对所述车道信息进行编码，得到所述车道信息的车道特征；
根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹。
2.根据权利要求1所述的方法，其特征在于，所述根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征，包括：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
3.根据权利要求2所述的方法，其特征在于，所述对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征，包括：
对在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第一状态特征；
对在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征进行融合，得到所述目标障碍物在所述目标时刻下的第二状态特征；
对所述第一状态特征和所述第二状态特征进行拼接，得到在所述目标时刻下所述目标障碍物的修正状态特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征，包括：
对所述目标障碍物在每个时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第一融合特征；
对所述目标障碍物在多个目标时刻下的所述修正状态特征进行融合，得到所述目标障碍物的第二融合特征，其中，所述多个目标时刻选自所述多个时刻，并且，任意两个所述目标时刻在时序上不连续；
对所述第一融合特征和所述第二融合特征进行拼接，得到所述目标障碍物的所述目标时序特征。
5.根据权利要求1所述的方法，其特征在于，所述根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹，包括：
将每个所述障碍物逐一作为待预测障碍物，根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹，其中，障碍物的第一全局特征通过将该障碍物的所述目标时序特征与所述车道特征拼接得到，障碍物的第二全局特征通过将该障碍物的所述位置信息与所述车道信息拼接得到。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待预测障碍物的第一全局特征、除所述待预测障碍物之外的其他障碍物的第一全局特征、以及位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征，预测所述待预测障碍物在所述目标时段内的轨迹，包括：
将除所述待预测障碍物之外的其他障碍物的第一全局特征进行融合，得到所述待预测障碍物的第一目标特征；
将位于与所述待预测障碍物所在车道相邻车道内的其他障碍物的第二全局特征进行融合，得到所述待预测障碍物的第二目标特征；
根据所述待预测障碍物的所述第一目标特征、所述第二目标特征和所述第一全局特征，预测所述待预测障碍物在所述目标时段内的轨迹。
7.根据权利要求1所述的方法，其特征在于，获取所述车道信息包括：
在获取到所述当前行驶区域的地图信息的情况下，根据所述地图信息，获取所述车道信息。
8.根据权利要求1所述的方法，其特征在于，获取所述车道信息包括：
在未获取到所述当前行驶区域的地图信息的情况下，获取预设历史时间段内、所述当前行驶区域内的运动轨迹图；
根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率；
根据每一所述非终止轨迹点的所述运动方向概率，生成所述当前行驶区域内的车道信息图，将所述车道信息图作为所述车辆当前行驶区域内的车道信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述运动轨迹图，确定所述运动轨迹图中每一非终止轨迹点的运动方向概率，包括：
针对当前非终止轨迹点的每个下游轨迹点，根据所述当前非终止轨迹点与所述下游轨迹点之间的轨迹数量，确定所述当前非终止轨迹点在从所述当前非终止轨迹点到所述下游轨迹点的方向上的运动方向概率。
10.根据权利要求8所述的方法，其特征在于，所述对所述车道信息进行编码，得到所述车道信息的车道特征，包括：
对所述车道信息图进行编码，得到车道信息特征；
对所述车道信息特征分别进行横向编码和纵向编码，得到所述车道信息的车道特征。
11.一种障碍物的轨迹预测装置，包括：
获取模块，用于若在车辆行驶过程中检测到多个障碍物，获取多个时刻的障碍物信息和所述车辆当前行驶区域内的车道信息，其中，所述障碍物信息包括每个所述障碍物的位置信息，所述多个时刻包括至少三个时刻；
第一编码模块，用于对每个时刻的所述障碍物信息进行编码，得到每个时刻下每个所述障碍物的初始状态特征；
确定模块，用于将所述多个障碍物逐一作为目标障碍物，将所述多个时刻逐一作为目标时刻，根据在除所述目标时刻之外的其他时刻下所述目标障碍物的所述初始状态特征、以及在所述目标时刻下与所述目标障碍物相邻的其他障碍物的所述初始状态特征，得到在所述目标时刻下所述目标障碍物的修正状态特征；根据所述目标障碍物在每个时刻下的所述修正状态特征，得到所述目标障碍物在由所述多个时刻形成的时段内的目标时序特征；
第二编码模块，用于对所述车道信息进行编码，得到所述车道信息的车道特征；
预测模块，用于根据每个所述障碍物的所述目标时序特征、每个所述障碍物的位置信息、所述车道信息和所述车道特征，预测每个所述障碍物在所述时段之后的目标时段内的轨迹。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
13.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110655818.7A CN113246973B (zh) | 2021-06-11 | 2021-06-11 | 障碍物的轨迹预测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110655818.7A CN113246973B (zh) | 2021-06-11 | 2021-06-11 | 障碍物的轨迹预测方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113246973A CN113246973A (zh) | 2021-08-13 |
| CN113246973B true CN113246973B (zh) | 2022-05-03 |
Family
ID=77187679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110655818.7A Active CN113246973B (zh) | 2021-06-11 | 2021-06-11 | 障碍物的轨迹预测方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113246973B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113753078B (zh) * | 2021-08-17 | 2023-09-01 | 北京百度网讯科技有限公司 | 障碍物轨迹的预测方法、装置、电子设备及自动驾驶车辆 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012214829A1 (de) * | 2012-08-21 | 2014-02-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Darstellen einer Ausweichtrajektorie zur Kollisionsvermeidung für ein Fahrzeug |
| CN109782763A (zh) * | 2019-01-18 | 2019-05-21 | 中国电子科技集团公司信息科学研究院 | 一种动态环境下的移动机器人路径规划方法 |
| CN110989636A (zh) * | 2020-02-26 | 2020-04-10 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN111079721A (zh) * | 2020-03-23 | 2020-04-28 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN112581790A (zh) * | 2019-09-30 | 2021-03-30 | 北京百度网讯科技有限公司 | 车辆避障的方法、装置、计算设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5055812B2 (ja) * | 2006-04-07 | 2012-10-24 | マツダ株式会社 | 車両の障害物検知装置 |
-
2021
- 2021-06-11 CN CN202110655818.7A patent/CN113246973B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012214829A1 (de) * | 2012-08-21 | 2014-02-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Darstellen einer Ausweichtrajektorie zur Kollisionsvermeidung für ein Fahrzeug |
| CN109782763A (zh) * | 2019-01-18 | 2019-05-21 | 中国电子科技集团公司信息科学研究院 | 一种动态环境下的移动机器人路径规划方法 |
| CN112581790A (zh) * | 2019-09-30 | 2021-03-30 | 北京百度网讯科技有限公司 | 车辆避障的方法、装置、计算设备和存储介质 |
| CN110989636A (zh) * | 2020-02-26 | 2020-04-10 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN111079721A (zh) * | 2020-03-23 | 2020-04-28 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113246973A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111079721B (zh) | 一种障碍物的轨迹预测方法及装置 | |
| CN110796856B (zh) | 车辆变道意图预测方法及变道意图预测网络的训练方法 | |
| CN109766777B (zh) | 异常轨迹的检测方法、装置、存储介质及电子设备 | |
| CN111860228B (zh) | 用于自主泊车的方法、装置、设备以及存储介质 | |
| CN110597086B (zh) | 仿真场景生成方法、无人驾驶系统测试方法以及装置 | |
| CN111190427B (zh) | 一种轨迹规划的方法及装置 | |
| US10642268B2 (en) | Method and apparatus for generating automatic driving strategy | |
| CN111114543B (zh) | 一种轨迹预测方法及装置 | |
| CN110908375A (zh) | 获取变道决策信息的方法、装置、存储介质和车辆 | |
| CN113335276A (zh) | 障碍物的轨迹预测方法、装置、电子设备及存储介质 | |
| CN114212110B (zh) | 障碍物轨迹预测方法、装置、电子设备及存储介质 | |
| CN109916414B (zh) | 地图匹配方法、装置、设备和介质 | |
| CN112348293A (zh) | 一种障碍物的轨迹预测方法及装置 | |
| CN111238523B (zh) | 一种运动轨迹的预测方法及装置 | |
| CN114379595B (zh) | 基于车辆行为特征与环境交互信息的车辆轨迹预测方法 | |
| CN111912423B (zh) | 一种预测障碍物轨迹以及模型训练的方法及装置 | |
| CN113341941B (zh) | 一种无人驾驶设备的控制方法及装置 | |
| CN113246973B (zh) | 障碍物的轨迹预测方法、装置、存储介质及电子设备 | |
| CN112677993A (zh) | 一种模型训练的方法及装置 | |
| CN112455451B (zh) | 控制车辆在弯道上行驶的方法、装置、介质及电子设备 | |
| CN114459495B (zh) | 位移信息生成方法、装置以及计算机可读存储介质 | |
| CN116972860A (zh) | 偏航识别方法、装置、电子设备及存储介质 | |
| CN113312776A (zh) | 行车轨迹的泛化方法、装置、存储介质及电子设备 | |
| CN113879337B (zh) | 一种轨迹预测方法、装置、存储介质及电子设备 | |
| CN114863673B (zh) | 语音播报方法、装置、系统及基于位置的服务提供方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |