CN116309689B - 障碍物轨迹预测方法、装置、设备和介质 - Google Patents
障碍物轨迹预测方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116309689B CN116309689B CN202310552425.2A CN202310552425A CN116309689B CN 116309689 B CN116309689 B CN 116309689B CN 202310552425 A CN202310552425 A CN 202310552425A CN 116309689 B CN116309689 B CN 116309689B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- track
- detected
- convex hull
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 230000004888 barrier function Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种障碍物轨迹预测方法、装置、设备和介质。该方法包括：根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；根据场景未来占用栅格和待测障碍物的初始预测轨迹确定待测障碍物的未来占用栅格特征；对目标车辆的当前轨迹特征和待测障碍物的初始预测轨迹进行特征融合，得到待测障碍物的当前轨迹特征；根据障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征对待测障碍物的初始预测轨迹进行修正，得到待测障碍物的轨迹预测结果。本发明通过对障碍物凸包信息进行直接处理，并且对待测障碍物的预测轨迹以及场景未来占用栅格进行预测，提高了轨迹预测的准确性。
Description
技术领域
本发明涉及智能交通技术领域，尤其涉及一种障碍物轨迹预测方法、装置、设备和介质。
背景技术
轨迹预测是自动驾驶和智能交通领域的关键技术之一，对障碍物车辆和移动行人轨迹的准确预测可提升自动驾驶系统对周围环境变化的感知能力，从而保障自动驾驶系统的安全性。
现有的自动驾驶轨迹预测方法中，对障碍物的轨迹预测大多依赖感知模块输出的障碍物矩形外包框，即采用将外包框以及外包框中心点作为障碍物的形状和历史轨迹点。
但是由于来自感知模块的采集盲区限制、目标检测误差和其他误差或错误可能会传播累积，造成外边框以及外边框中心点不能准确表征障碍物的形状和历史轨迹点，从而对轨迹预测结果产生不利影响。
发明内容
本发明提供了一种障碍物轨迹预测方法、装置、设备和介质，以解决障碍物轨迹预测中依赖感知矩形框导致的预测不准确的问题。
根据本发明的一方面，提供了一种障碍物轨迹预测方法，包括：
根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果。
根据本发明的另一方面，提供了一种障碍物轨迹预测装置，包括：
凸包预测模块，用于根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
栅格特征处理模块，用于根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
当前轨迹确定模块，用于对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
轨迹修正模块，用于根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的障碍物轨迹预测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的障碍物轨迹预测方法。
本发明实施例的技术方案，通过直接对目标车辆感知输出的障碍物凸包信息进行处理，降低了对感知数据准确性的依赖，避免感知数据处理过程中的误差积累；并且从场景整体维度上对占用栅格进行预测，并且引入目标车辆自车的特征，对待测障碍物的预测轨迹以及未来占用栅格进行预测，提高了轨迹预测的准确性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种障碍物轨迹预测方法的流程图；
图2是根据本发明实施例提供的一种障碍物轨迹预测方法的整体架构图；
图3是根据本发明实施例二提供的另一种障碍物轨迹预测方法的流程图；
图4是根据本发明实施例三提供的一种障碍物轨迹预测装置的结构示意图；
图5是实现本发明实施例的障碍物轨迹预测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“候选”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种障碍物轨迹预测方法的流程图，本实施例可适用于在自动驾驶系统中对障碍物的轨迹以及场景占用栅格进行预测的情况，该方法可以由障碍物轨迹预测装置来执行，该障碍物轨迹预测装置可以采用硬件和/或软件的形式实现，该障碍物轨迹预测装置可配置于服务器等具有计算能力的设备中。如图1所示，该方法包括：
S110、根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征。
其中，场景语义地图是指目标车辆当前行驶的环境地图，可以通过目标车辆的感知模块采集得到或者通过预先采集的环境信息进行确定，在此并不限制。障碍物历史凸包信息是指目标车辆采集到的周围障碍物的边界信息，障碍物既包括动态障碍物也包括静态障碍物，凸包信息是该障碍物的多边形边界信息，是由目标车辆感知模块直接采集得到的边界信息，未经过后续处理。例如，凸包信息可以是由激光雷达直接探测到的雷达回波信息得到的边界信息。
具体的，获取目标车辆在历史预设时间段内采集到的障碍物凸包信息，作为障碍物历史凸包信息，并结合场景语义地图中的环境信息，对该场景中未来预设时间段内的障碍物占用栅格进行预测，得到场景未来占用栅格信息，预测手段可以采用深度学习模型进行确定，或者根据环境信息对障碍物轨迹进行预测，根据轨迹得到场景未来占用栅格。障碍物历史时序特征是根据障碍物历史凸包信息进行确定，即包括每个障碍物的时序特征。
在一个可行的实施例中，S110，包括：
基于目标车辆的位置信息和朝向信息，对障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图；
对场景语义地图和障碍物凸包特征图进行融合，得到融合障碍物凸包特征图；
对融合障碍物凸包特征图进行编解码处理，得到场景未来占用栅格；
根据障碍物历史凸包信息中每个障碍物每个时刻的特征提取结果确定障碍物历史时序特征。
由于对障碍物的轨迹预测是为了确定对目标车辆未来行驶造成影响的障碍物轨迹，因此为了保证预测结果对目标车辆影响程度的精准度，需要将障碍物信息统一到以目标车辆为圆心的坐标系下，并对当前场景中所有障碍物进行筛选，以剔除掉无关障碍物以及对目标车辆影响程度低的障碍物。
具体的，根据目标车辆的位置信息和朝向信息对障碍物进行坐标系统一，将所有障碍物凸包信息统一到以目标车辆为圆心的坐标系下，并对无关障碍物进行去除，以提高障碍物轨迹预测效率，避免计算资源的浪费。基于坐标系转换和筛选后的障碍物历史凸包信息进行特征提取，得到障碍物凸包特征图。示例性的，特征提取可以采用深度学习模型中的特征提取网络进行，在此并不限制。
得到障碍物凸包特征图后，结合场景语义地图，得到融合了地图信息的融合障碍物凸包特征图。具体的，由于语义地图与障碍物凸包特征图的通道数量以及大小不一致，因此在融合前，对场景语义地图采用双线性差值并旋转的操作，使得场景语义地图的大小和精度与障碍物凸包特征图一致，再与障碍物凸包特征图进行通道融合，得到融合障碍物凸包特征图。
由于融合障碍物凸包特征图中包括了语义地图信息和障碍物历史凸包信息，因此对融合障碍物凸包特征图进行编解码进行特征提取，得到场景未来占用栅格。场景未来占用栅格表征了地图中在未来时间段内可能被障碍物占用的区域信息，以根据场景未来占用栅格确定目标车辆的可行驶路线。示例性的，编解码处理可以采用深度学习模型中的上采样、下采样以及跳跃连接进行处理，例如U-net网络等语义分割模型，在此对具体网络类型并不限制。
障碍物历史时序特征表征了当前场景中每个障碍物的时序特征，根据障碍物历史凸包信息提取每个障碍物每个时刻的特征信息，由此得到每个障碍物的历史时序特征。示例性的，障碍物历史凸包信息中包括历史1s内10帧感知凸包信息，通过pointnet网络对障碍物历史凸包信息进行池化操作，得到每个障碍物每个时刻的一个特征，再通过GRU（GateRecurrent Unit，门循环单元）网络提取每个障碍物的时序特征，得到障碍物历史时序特征。障碍物历史时序特征的提取和上述场景未来占用栅格的确定过程可以是并行的。
在一个可行的实施例中，基于目标车辆的位置信息和朝向信息，对障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图，包括：
根据目标车辆的位置信息确定障碍物历史凸包信息中的障碍物凸包点的平移参数，并根据目标车辆的朝向信息确定障碍物凸包点的旋转参数；
按照平移参数和旋转参数对障碍物历史凸包信息进行坐标系转换；
根据目标车辆的位置信息确定目标区域，并根据目标区域对坐标系转换后的障碍物凸包点进行筛选，得到障碍物凸包特征图。
具体的，获取目标车辆的位置信息[x, y]和朝向角度信息yaw，根据位置信息确定平移参数为[-x, -y]，根据朝向角度信息确定旋转参数为0.5pi-yaw，即为了便于计算，以目标车辆的车头朝向90°为正方向建立坐标系，pi表示圆周率。按照平移参数和旋转参数将所有障碍物的凸包点进行平移和旋转，得到坐标系转换后的障碍物历史凸包信息。
由于目标车辆关注的周围一定范围内的障碍物，若超过该范围，则障碍物的存在对目标车辆的行驶造成的影响较低，关注过多障碍物会造成计算资源的浪费。因此以目标车辆的位置信息为中心，确定周围一定范围的区域为目标区域，确定在目标区域中的障碍物凸包信息为关注障碍物凸包信息，根据关注障碍物凸包信息确定障碍物凸包特征图。示例性的，以目标车辆为中心取前后左右各12.8米区域为目标区域，设置网格精度0.2，像素个数为128x128，遍历坐标系转换后的凸包点，填充内点得到障碍物凸包特征图。
S120、根据场景未来占用栅格和待测障碍物的初始预测轨迹确定待测障碍物的未来占用栅格特征。
其中，待测障碍物是指目标车辆的关注障碍物，待测障碍物可以是目标区域中的任一障碍物。待测障碍物的初始预测轨迹是指采用现有方法对待测障碍物的轨迹进行预测的结果，例如根据待测障碍物的历史轨迹信息进行预测得到的结果，在此对初始预测轨迹的计算方法并不限定。
由于场景未来占用栅格中包括了目标区域中所有障碍物的占用栅格信息，因此根据待测障碍物的初始预测轨迹在场景未来占用栅格上匹配结果可以确定与待测障碍物对应的占用栅格特征。示例性的，确定待测障碍物在未来可能的多条预测轨迹信息，对该多条预测轨迹信息进行聚类，得到预设数量个初始预测轨迹，根据预设数量个初始预测轨迹上的轨迹坐标点为中心在场景未来占用栅格截取对应位置的特征图为待测障碍物的未来占用栅格特征。
在一个可行的实施例中，S120，包括：
基于场景未来占用栅格对应的预测时间点从初始预测轨迹中选取目标轨迹点；
根据目标轨迹点的膨胀插值结果，从场景未来占用栅格中确定与待测障碍物对应的未来占用栅格特征。
其中，预测时间点是指对场景未来占用栅格对应的预测时间，例如，场景未来占用栅格中包括未来三秒内的预测结果。目标轨迹点是指初始预测轨迹中对应预测时间点的轨迹点，示例性的，初始预测轨迹中1秒、2秒和3秒时间点对应的位置为目标轨迹点。在场景未来占用栅格中，以目标轨迹点为中心截取预设大小的栅格图，按照预测轨迹方向进行旋转，并采用双线性插值到栅格图中截取相应大小的特征为与待测障碍物对应的未来占用栅格特征。截取图片的大小可以根据待测障碍物的速度进行确定，在此并不限制，可以选取不低于8*8大小的栅格图。示例性的，选取初始预测轨迹的六点坐标点，每个坐标点对应时间间隔为0.5秒的目标轨迹点，以目标轨迹点为中心进行膨胀为16*16的栅格图，再按照预测轨迹方向对栅格图进行旋转，对每个旋转点采用双线性插值取出栅格图上的特征为与待测障碍物对应的未来占用栅格特征。
S130、对目标车辆的当前轨迹特征和待测障碍物的初始预测轨迹进行特征融合，得到待测障碍物的当前轨迹特征。
在待测障碍物的初始预测轨迹中加入目标车辆的当前轨迹特征，得到待测障碍物相对于目标车辆的当前轨迹特征，使得最终的预测轨迹更加准确。
在一个可行的实施例中，S130，包括：
根据初始预测轨迹确定待测障碍物相对于目标车辆的待测障碍物时间序列特征；
根据目标车辆的当前轨迹特征确定目标车辆当前时间序列特征；
基于交叉注意力机制，对待测障碍物时间序列特征和目标车辆当前时间序列特征进行特征融合，得到待测障碍物的当前轨迹特征。
具体的，提取初始预测轨迹相对于目标车辆的相对特征，如相对位置特征和相对速度特征等，并对该相对特征进行编码得到对于目标车辆的待测障碍物时间序列特征，同时对目标车辆的当前轨迹特征进行编码，得到目标车辆当前时间序列特征，基于交叉注意力机制，对待测障碍物时间序列特征和目标车辆当前时间序列特征进行特征融合，得到待测障碍物的当前轨迹特征。示例性的，对特征进行编码可以采用GRU网络，在此并不限制具体提取方法。
S140、根据障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征对待测障碍物的初始预测轨迹进行修正，得到待测障碍物的轨迹预测结果。
通过前述获得的障碍物历史时序特征得到障碍物的历史特征，通过待测障碍物的未来占用栅格特征得到待测障碍物的未来特征，通过待测障碍物的当前轨迹特征得到相对于目标车辆的当前特征，综合历史特征、未来特征和当前特征对待测障碍物的初始预测轨迹进行修正，得到待测障碍物的轨迹预测结果，以提高轨迹预测的精度。并且在轨迹预测中降低了对感知模块处理数据准确性的依赖，不需要使用感知处理得到的矩形框和中心点，避免了处理过程中任一障碍物信息的速度、位置不准确导致的轨迹预测误差大的问题。并且本实施例在场景整体维度上对占用栅格进行预测，在单个障碍物的多条未来轨迹中引入相对目标车辆的特征，使用一致性损失对场景占用栅格和预测轨迹进行训练，提高数预测精度。
在一个可行的实施例中，S140，包括：
对障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征进行特征融合，得到目标融合特征；
对目标融合特征进行编解码处理，得到待测障碍物的轨迹预测结果；其中，轨迹预测结果包括多条预测轨迹以及每条轨迹对应的预测概率。
具体的，对障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征进行特征融合，在融合过程中进行特征膨胀，膨胀多通道为表征未来多个预测时间点。示例性的，在特征膨胀后，使用transformer网络基于交叉注意力对障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征进行特征融合，得到目标融合特征。
最后对目标融合特征进行编解码处理，得到多条预测轨迹以及每条轨迹对应的预测概率。示例性的，对目标融合特征使用自注意力机制加上多层感知机（MLP，MultilayerPerceptron）进行编解码处理，最后通过非极大值抑制处理后，输出多条预测轨迹以及每条轨迹对应的预测概率。示例性的，在目标车辆的最终显示结果中，显示每个障碍物的轨迹预测结果以及，整个场景的未来占用栅格，以保证预测结果的完整性，提高目标车辆的安全性。
本实施例输出的多条轨迹预测结果和占用栅格概率，可以直接输出给目标车辆的避障模块，增加目标车辆的避险能力，提高目标车辆的安全性。
如图2所示为障碍物轨迹预测方法的整体架构图，其中，对障碍物历史凸包信息进行渲染是指对障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图，对障碍物凸包特征图和语义地图进行编码解码处理，得到场景未来占用栅格预测结果，即为对场景语义地图和障碍物凸包特征图进行融合，得到融合障碍物凸包特征图；对融合障碍物凸包特征图进行编解码处理，得到场景未来占用栅格。同时对障碍物历史凸包信息进行特征提取得到障碍物历史时序特征。
对目标车辆的当前轨迹特征和待测障碍物的初始预测轨迹进行特征提取即对目标车辆的当前轨迹特征和待测障碍物的初始预测轨迹进行特征融合，得到待测障碍物的当前轨迹特征。根据待测障碍物的初始预测轨迹对场景占用栅格进行区域裁剪即为根据场景未来占用栅格和待测障碍物的初始预测轨迹确定待测障碍物的未来占用栅格特征。最终根据障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征对待测障碍物的初始预测轨迹进行修正，得到待测障碍物的轨迹预测结果。
本发明实施例的技术方案，通过直接对目标车辆感知输出的障碍物凸包信息进行处理，降低了对感知数据准确性的依赖，避免感知数据处理过程中的误差积累；并且从场景整体维度上对占用栅格进行预测，并且引入目标车辆自车的特征，对待测障碍物的预测轨迹以及未来占用栅格进行预测，提高了轨迹预测的准确性。
实施例二
图3为本发明实施例二提供的一种障碍物轨迹预测方法的流程图，本实施例对上述实施例中的步骤进行进一步细化描述。如图3所示，该方法包括：
S310、基于预先训练的障碍物轨迹预测模型中的栅格预测模块，根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征。
障碍物轨迹预测模型是预先训练的根据场景语义地图、障碍物历史凸包信息以及目标车辆的当前轨迹信息得到待测障碍物的预测轨迹和场景占用栅格结果的网络模型。该模型中包括栅格预测模块、栅格处理模块、轨迹融合模块以及轨迹预测模块。
栅格预测模块用于对障碍物历史凸包信息进行特征提取得到障碍物历史时序特征，以及根据场景语义地图和障碍物历史凸包信息得到场景未来占用栅格。其中，对障碍物历史凸包信息进行特征提取得到障碍物历史时序特征可以采用pointnet网络加GRU网络，根据场景语义地图和障碍物历史凸包信息得到场景未来占用栅格U-net网络等语义分割模型进行。即障碍物轨迹预测模型中的栅格预测模块可以采用U-net网络、pointnet网络加GRU网络组合进行构成。
S320、基于障碍物轨迹预测模型中的栅格处理模块，根据场景未来占用栅格和待测障碍物的初始预测轨迹确定待测障碍物的未来占用栅格特征。
栅格处理模块用于基于场景未来占用栅格对应的预测时间点从初始预测轨迹中选取目标轨迹点；根据目标轨迹点的膨胀插值结果，从场景未来占用栅格中确定与待测障碍物对应的未来占用栅格特征。
S330、基于障碍物轨迹预测模型中的轨迹融合模块，对目标车辆的当前轨迹特征和待测障碍物的初始预测轨迹进行特征融合，得到待测障碍物的当前轨迹特征。
轨迹融合模块用于根据初始预测轨迹确定待测障碍物相对于目标车辆的待测障碍物时间序列特征；根据目标车辆的当前轨迹特征确定目标车辆当前时间序列特征；基于交叉注意力机制，对待测障碍物时间序列特征和目标车辆当前时间序列特征进行特征融合，得到待测障碍物的当前轨迹特征。即障碍物轨迹预测模型中的轨迹融合模块可以采用交叉注意力网络加上GRU网络组合构成。
S340、基于障碍物轨迹预测模型中的轨迹预测模块，根据障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征对待测障碍物的初始预测轨迹进行修正，得到待测障碍物的轨迹预测结果。
轨迹预测模块用于对障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征进行特征融合，得到目标融合特征；对目标融合特征进行编解码处理，得到待测障碍物的轨迹预测结果；其中，轨迹预测结果包括多条预测轨迹以及每条轨迹对应的预测概率。例如，使用transformer网络基于交叉注意力对障碍物历史时序特征、待测障碍物的未来占用栅格特征和待测障碍物的当前轨迹特征进行特征融合，得到目标融合特征。对目标融合特征使用自注意力机制加上多层感知机（MLP，MultilayerPerceptron）进行编解码处理，最后通过非极大值抑制处理后，输出多条预测轨迹以及每条轨迹对应的预测概率。即轨迹预测模块由transformer网络、多层感知机以及非极大值抑制处理构成。
具体的，在对障碍物轨迹预测模型进行训练时，首先采集数据集，对数据集进行人工标定障碍物边界作为占用栅格的真值标签，并以人工标定障碍物边界的中心点作为障碍物坐标的真值标签。运行目标车辆的感知程序得到障碍物历史凸包信息作为障碍物轨迹预测模型的输入数据，同时输入信息还有场景语义地图信息、目标车辆的当前轨迹特征以及待测障碍物的初始预测轨迹。采用多种损失函数对模型进行训练，保证占用栅格和预测轨迹结果的一致性。可选的，为了保证模型预测结果的准确性，在各个模块中使用不同的损失函数。即栅格预测模块中的占用栅格损失、栅格处理模块中的轨迹和占用栅格一致性损失以及轨迹预测模块中的轨迹损失均不同。具体的，占用栅格损失用focal loss，轨迹和占用栅格一致性损失用KL散度，即将待测障碍物的初始预测轨迹用投影到图像上，投影结果和占用栅格二者的一致性损失用KL散度；轨迹损失smooth-F1-loss或者MSE。
本实施例中障碍物轨迹预测模型在对障碍物轨迹进行预测时不依赖感知处理后的矩形外包框和中心点，直接使用输出的凸包数据，减小了感知模块输出不稳定导致的预测偏差，得到更准确、稳定、安全的障碍物轨迹预测结果。
实施例三
图4为本发明实施例三提供的一种障碍物轨迹预测装置的结构示意图。如图4所示，该装置包括：
凸包预测模块410，用于根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
栅格特征处理模块420，用于根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
当前轨迹确定模块430，用于对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
轨迹修正模块440，用于根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果。
可选的，凸包预测模块，包括：
凸包特征确定单元，用于基于目标车辆的位置信息和朝向信息，对所述障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图；
凸包融合单元，用于对所述场景语义地图和所述障碍物凸包特征图进行融合，得到融合障碍物凸包特征图；
栅格预测单元，用于对所述融合障碍物凸包特征图进行编解码处理，得到场景未来占用栅格；
时序特征提取单元，用于根据所述障碍物历史凸包信息中每个障碍物每个时刻的特征提取结果确定障碍物历史时序特征。
可选的，凸包特征确定单元，具体用于：
根据所述目标车辆的位置信息确定所述障碍物历史凸包信息中的障碍物凸包点的平移参数，并根据所述目标车辆的朝向信息确定障碍物凸包点的旋转参数；
按照所述平移参数和所述旋转参数对所述障碍物历史凸包信息进行坐标系转换；
根据所述目标车辆的位置信息确定目标区域，并根据所述目标区域对坐标系转换后的障碍物凸包点进行筛选，得到障碍物凸包特征图。
可选的，栅格特征处理模块，具体用于：
基于所述场景未来占用栅格对应的预测时间点从所述初始预测轨迹中选取目标轨迹点；
根据所述目标轨迹点的膨胀插值结果，从所述场景未来占用栅格中确定与所述待测障碍物对应的未来占用栅格特征。
可选的，当前轨迹确定模块，包括：
根据所述初始预测轨迹确定所述待测障碍物相对于所述目标车辆的待测障碍物时间序列特征；
根据所述目标车辆的当前轨迹特征确定目标车辆当前时间序列特征；
基于交叉注意力机制，对所述待测障碍物时间序列特征和所述目标车辆当前时间序列特征进行特征融合，得到所述待测障碍物的当前轨迹特征。
可选的，轨迹修正模块，包括：
对所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征进行特征融合，得到目标融合特征；
对所述目标融合特征进行编解码处理，得到所述待测障碍物的轨迹预测结果；其中，所述轨迹预测结果包括多条预测轨迹以及每条轨迹对应的预测概率。
可选的，凸包预测模块，具体用于：
基于预先训练的障碍物轨迹预测模型中的栅格预测模块，根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
相应的，栅格特征处理模块，具体用于：
基于所述障碍物轨迹预测模型中的栅格处理模块，根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
相应的，当前轨迹确定模块，具体用于：
基于所述障碍物轨迹预测模型中的轨迹融合模块，对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
相应的，轨迹修正模块，具体用于：
基于所述障碍物轨迹预测模型中的轨迹预测模块，根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果；
其中，所述栅格预测模块中的占用栅格损失、所述栅格处理模块中的轨迹和占用栅格一致性损失以及所述轨迹预测模块中的轨迹损失均不同。
本发明实施例所提供的障碍物轨迹预测装置可执行本发明任意实施例所提供的障碍物轨迹预测方法，具备执行方法相应的功能模块和有益效果。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定，且不违背公序良俗。
实施例五
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如方法障碍物轨迹预测。
在一些实施例中，方法障碍物轨迹预测可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的方法障碍物轨迹预测的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行方法障碍物轨迹预测。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用参考产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种障碍物轨迹预测方法，其特征在于，包括：
根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果；
其中，根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格，包括：
基于目标车辆的位置信息和朝向信息，对所述障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图；
对所述场景语义地图和所述障碍物凸包特征图进行融合，得到融合障碍物凸包特征图；
对所述融合障碍物凸包特征图进行编解码处理，得到场景未来占用栅格；
根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征，包括：
基于所述场景未来占用栅格对应的预测时间点从所述初始预测轨迹中选取目标轨迹点；
根据所述目标轨迹点的膨胀插值结果，从所述场景未来占用栅格中确定与所述待测障碍物对应的未来占用栅格特征。
2.根据权利要求1所述的方法，其特征在于，根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征，包括：
基于目标车辆的位置信息和朝向信息，对所述障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图；
对所述场景语义地图和所述障碍物凸包特征图进行融合，得到融合障碍物凸包特征图；
对所述融合障碍物凸包特征图进行编解码处理，得到场景未来占用栅格；
根据所述障碍物历史凸包信息中每个障碍物每个时刻的特征提取结果确定障碍物历史时序特征。
3.根据权利要求2所述的方法，其特征在于，基于目标车辆的位置信息和朝向信息，对所述障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图，包括：
根据所述目标车辆的位置信息确定所述障碍物历史凸包信息中的障碍物凸包点的平移参数，并根据所述目标车辆的朝向信息确定障碍物凸包点的旋转参数；
按照所述平移参数和所述旋转参数对所述障碍物历史凸包信息进行坐标系转换；
根据所述目标车辆的位置信息确定目标区域，并根据所述目标区域对坐标系转换后的障碍物凸包点进行筛选，得到障碍物凸包特征图。
4.根据权利要求1所述的方法，其特征在于，对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征，包括：
根据所述初始预测轨迹确定所述待测障碍物相对于所述目标车辆的待测障碍物时间序列特征；
根据所述目标车辆的当前轨迹特征确定目标车辆当前时间序列特征；
基于交叉注意力机制，对所述待测障碍物时间序列特征和所述目标车辆当前时间序列特征进行特征融合，得到所述待测障碍物的当前轨迹特征。
5.根据权利要求1所述的方法，其特征在于，根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果，包括：
对所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征进行特征融合，得到目标融合特征；
对所述目标融合特征进行编解码处理，得到所述待测障碍物的轨迹预测结果；其中，所述轨迹预测结果包括多条预测轨迹以及每条轨迹对应的预测概率。
6.根据权利要求1所述的方法，其特征在于，根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征，包括：
基于预先训练的障碍物轨迹预测模型中的栅格预测模块，根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
相应的，根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征，包括：
基于所述障碍物轨迹预测模型中的栅格处理模块，根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
相应的，对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征，包括：
基于所述障碍物轨迹预测模型中的轨迹融合模块，对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
相应的，根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果，包括：
基于所述障碍物轨迹预测模型中的轨迹预测模块，根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果；
其中，所述栅格预测模块中的占用栅格损失、所述栅格处理模块中的轨迹和占用栅格一致性损失以及所述轨迹预测模块中的轨迹损失均不同。
7.一种障碍物轨迹预测装置，其特征在于，包括：
凸包预测模块，用于根据场景语义地图和目标车辆感知到的障碍物历史凸包信息得到场景未来占用栅格和障碍物历史时序特征；
栅格特征处理模块，用于根据所述场景未来占用栅格和待测障碍物的初始预测轨迹确定所述待测障碍物的未来占用栅格特征；
当前轨迹确定模块，用于对所述目标车辆的当前轨迹特征和所述待测障碍物的初始预测轨迹进行特征融合，得到所述待测障碍物的当前轨迹特征；
轨迹修正模块，用于根据所述障碍物历史时序特征、所述待测障碍物的未来占用栅格特征和所述待测障碍物的当前轨迹特征对所述待测障碍物的初始预测轨迹进行修正，得到所述待测障碍物的轨迹预测结果；
其中，凸包预测模块，包括：
凸包特征确定单元，用于基于目标车辆的位置信息和朝向信息，对所述障碍物历史凸包信息进行坐标系转换和筛选，得到障碍物凸包特征图；
凸包融合单元，用于对所述场景语义地图和所述障碍物凸包特征图进行融合，得到融合障碍物凸包特征图；
栅格预测单元，用于对所述融合障碍物凸包特征图进行编解码处理，得到场景未来占用栅格；
栅格特征处理模块，具体用于：
基于所述场景未来占用栅格对应的预测时间点从所述初始预测轨迹中选取目标轨迹点；
根据所述目标轨迹点的膨胀插值结果，从所述场景未来占用栅格中确定与所述待测障碍物对应的未来占用栅格特征。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的障碍物轨迹预测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的障碍物轨迹预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310552425.2A CN116309689B (zh) | 2023-05-17 | 2023-05-17 | 障碍物轨迹预测方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310552425.2A CN116309689B (zh) | 2023-05-17 | 2023-05-17 | 障碍物轨迹预测方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309689A CN116309689A (zh) | 2023-06-23 |
| CN116309689B true CN116309689B (zh) | 2023-07-28 |
Family
ID=86796332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310552425.2A Active CN116309689B (zh) | 2023-05-17 | 2023-05-17 | 障碍物轨迹预测方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309689B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118644989A (zh) * | 2024-08-13 | 2024-09-13 | 浙江清华长三角研究院 | 交互风险预测方法、装置、介质及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110371112A (zh) * | 2019-07-06 | 2019-10-25 | 深圳数翔科技有限公司 | 一种自动驾驶车辆的智能避障系统及方法 |
| CN111337941A (zh) * | 2020-03-18 | 2020-06-26 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
| CN112364997A (zh) * | 2020-12-08 | 2021-02-12 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| CN113753077A (zh) * | 2021-08-17 | 2021-12-07 | 北京百度网讯科技有限公司 | 预测障碍物的运动轨迹的方法、装置及自动驾驶车辆 |
| CN114399743A (zh) * | 2021-12-10 | 2022-04-26 | 浙江零跑科技股份有限公司 | 一种障碍物未来轨迹的生成方法 |
| CN114626598A (zh) * | 2022-03-08 | 2022-06-14 | 南京航空航天大学 | 一种基于语义环境建模的多模态轨迹预测方法 |
| CN115635961A (zh) * | 2022-10-11 | 2023-01-24 | 北京智行者科技股份有限公司 | 样本数据生成方法及应用其的轨迹预测方法、装置 |
| WO2023001168A1 (zh) * | 2021-07-20 | 2023-01-26 | 中国第一汽车股份有限公司 | 障碍物的轨迹预测方法、装置、电子设备及存储介质 |
| CN115937821A (zh) * | 2022-12-12 | 2023-04-07 | 上海人工智能创新中心 | 一种全栈自动驾驶规划方法及其统一架构系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109521756B (zh) * | 2017-09-18 | 2022-03-08 | 阿波罗智能技术(北京)有限公司 | 用于无人驾驶车辆的障碍物运动信息生成方法和装置 |
| CN109878515B (zh) * | 2019-03-12 | 2021-03-16 | 百度在线网络技术（北京）有限公司 | 预测车辆轨迹的方法、装置、存储介质和终端设备 |
| CN111091591B (zh) * | 2019-12-23 | 2023-09-26 | 阿波罗智联(北京)科技有限公司 | 一种碰撞检测方法、装置、电子设备及存储介质 |
| US11127142B2 (en) * | 2019-12-31 | 2021-09-21 | Baidu Usa Llc | Vehicle trajectory prediction model with semantic map and LSTM |
| CN111079721B (zh) * | 2020-03-23 | 2020-07-03 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| US12030522B2 (en) * | 2020-12-30 | 2024-07-09 | Zoox, Inc. | Collision avoidance using an object contour |
| CN113715814B (zh) * | 2021-09-02 | 2023-03-21 | 北京百度网讯科技有限公司 | 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆 |
-
2023
- 2023-05-17 CN CN202310552425.2A patent/CN116309689B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110371112A (zh) * | 2019-07-06 | 2019-10-25 | 深圳数翔科技有限公司 | 一种自动驾驶车辆的智能避障系统及方法 |
| CN111337941A (zh) * | 2020-03-18 | 2020-06-26 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
| CN112364997A (zh) * | 2020-12-08 | 2021-02-12 | 北京三快在线科技有限公司 | 一种障碍物的轨迹预测方法及装置 |
| WO2023001168A1 (zh) * | 2021-07-20 | 2023-01-26 | 中国第一汽车股份有限公司 | 障碍物的轨迹预测方法、装置、电子设备及存储介质 |
| CN113753077A (zh) * | 2021-08-17 | 2021-12-07 | 北京百度网讯科技有限公司 | 预测障碍物的运动轨迹的方法、装置及自动驾驶车辆 |
| CN114399743A (zh) * | 2021-12-10 | 2022-04-26 | 浙江零跑科技股份有限公司 | 一种障碍物未来轨迹的生成方法 |
| CN114626598A (zh) * | 2022-03-08 | 2022-06-14 | 南京航空航天大学 | 一种基于语义环境建模的多模态轨迹预测方法 |
| CN115635961A (zh) * | 2022-10-11 | 2023-01-24 | 北京智行者科技股份有限公司 | 样本数据生成方法及应用其的轨迹预测方法、装置 |
| CN115937821A (zh) * | 2022-12-12 | 2023-04-07 | 上海人工智能创新中心 | 一种全栈自动驾驶规划方法及其统一架构系统 |
Non-Patent Citations (5)
| Title |
|---|
| Grid-Based Stochastic Model Predictive Control for Trajectory Planning in Uncertain Environments;Tim Brüdigam et.al;《2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC)》;1-8 * |
| Real-time motion planning in the presence of moving obstacles;Tim Mercy et.al;《2016 European Control Conference (ECC)》;1586-1591 * |
| 基于三维激光雷达的障碍物目标检测与跟踪;史永喆;《中国优秀硕士学位论文全文数据库信息科技辑》;全文 * |
| 智能车轨迹预测及动态避障;蒋金桥等;《中国科技论文在线精品论文》;第16卷(第1期);1-7 * |
| 栅格化和向量化地图在自动驾驶障碍物轨迹预测中的应用研究;唐涵;《中国优秀硕士学位论文全文数据库 基础科学辑》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309689A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| WO2021031954A1 (zh) | 对象数量确定方法、装置、存储介质与电子设备 | |
| EP3951741B1 (en) | Method for acquiring traffic state, relevant apparatus, roadside device and cloud control platform | |
| CN116309689B (zh) | 障碍物轨迹预测方法、装置、设备和介质 | |
| CN115587987B (zh) | 一种蓄电池缺陷检测方法、装置、存储介质及电子设备 | |
| CN115879060B (zh) | 基于多模态的自动驾驶感知方法、装置、设备和介质 | |
| CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
| CN113807184A (zh) | 障碍物检测方法、装置、电子设备及自动驾驶车辆 | |
| CN111813882A (zh) | 一种机器人地图构建方法、设备及存储介质 | |
| CN116664997A (zh) | 一种感知融合系统、电子设备和存储介质 | |
| CN116152660B (zh) | 一种基于跨尺度注意力机制的广域遥感图像变化检测方法 | |
| CN117152560A (zh) | 目标检测模型的训练和目标检测方法以及装置 | |
| CN117649665B (zh) | 矿区自动驾驶场景数据标注方法及系统 | |
| CN116469013B (zh) | 道路积水预测方法、装置、计算机设备及存储介质 | |
| CN115546239B (zh) | 基于边界注意力与距离变换的目标分割方法和装置 | |
| CN117872346A (zh) | 对象追踪方法、装置、设备和存储介质 | |
| CN117746418A (zh) | 目标检测模型构建方法、目标检测方法及相关装置 | |
| CN117746417A (zh) | 目标检测模型构建方法、目标检测方法及相关装置 | |
| CN116563811A (zh) | 一种车道线识别方法、装置、车辆及存储介质 | |
| CN116494969A (zh) | 一种车辆行驶规划方法、装置、设备和存储介质 | |
| CN117649647A (zh) | 一种车道线检测方法、装置、电子设备及自动驾驶车辆 | |
| CN116665250A (zh) | 一种行人轨迹的预测方法、装置、电子设备及存储介质 | |
| CN115239764A (zh) | 目标跟踪方法、装置、电子设备和存储介质 | |
| CN116597444A (zh) | 目标的标注方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230623 Assignee: Muyi (Huzhou) Technology Development Co.,Ltd. Assignor: SHANGHAI MOOE-ROBOT TECHNOLOGY Co.,Ltd. Contract record no.: X2024980007103 Denomination of invention: Obstacle trajectory prediction methods, devices, equipment, and media Granted publication date: 20230728 License type: Common License Record date: 20240613 |