CN112651990A - 运动轨迹预测方法及系统、电子设备及可读存储介质 - Google Patents

运动轨迹预测方法及系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112651990A
CN112651990A CN202011563942.2A CN202011563942A CN112651990A CN 112651990 A CN112651990 A CN 112651990A CN 202011563942 A CN202011563942 A CN 202011563942A CN 112651990 A CN112651990 A CN 112651990A
Authority
CN
China
Prior art keywords
predicted
historical
rendering
dimensional rendering
surrounding obstacles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011563942.2A
Other languages
English (en)
Other versions
CN112651990B (zh
Inventor
章佳辉
李伟
马月昕
杨睿刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Network Technology Shanghai Co Ltd
Original Assignee
International Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Network Technology Shanghai Co Ltd filed Critical International Network Technology Shanghai Co Ltd
Priority to CN202011563942.2A priority Critical patent/CN112651990B/zh
Publication of CN112651990A publication Critical patent/CN112651990A/zh
Application granted granted Critical
Publication of CN112651990B publication Critical patent/CN112651990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种运动轨迹预测方法及系统、电子设备及可读存储介质，包括：获取并基于自车的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物的历史位置；基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。本发明在不增加算力的基础上，将多个时间片的信息渲染在一张高维的图上，输入量为更加准确的位置信息，预测精度更高。

Description

运动轨迹预测方法及系统、电子设备及可读存储介质
技术领域
本发明涉及自动驾驶领域，特别涉及一种运动轨迹预测方法及系统、电子设备及可读存储介质。
背景技术
随着智能交通领域的发展，对运动对象的运动轨迹的预测算法在路径规划领域具备重大意义。通过对运动对象的运动轨迹进行预测，能够在已知运动对象未来可能的运动轨迹的情况下进行路径规划，有利于防止碰撞等意外情况的发生。
现有技术中，可以通过感知得到周围车辆的位置，根据车辆动态模型进行待预测对象的运动轨迹预测，卡尔曼滤波(KF)，高斯混合模型(GMM)，隐马尔科夫模型(HMM)等，此类方法能够建立准确的航迹量测模型或车辆状态转移模型，但其只能预测物体下一步运动的状态，无法满足自动驾驶对于未来障碍物长时间预测的要求。此外，还可以通过观测一段时间障碍物的轨迹，利用长短期记忆网络(LSTM)进行待预测对象的运动轨迹预测，此类方法累计误差较大，虽然可以达到较长时间的预测，但由于只依赖于障碍物位置，预测得到的未来轨迹往往会丢失环境变化对其产生的影响。
发明内容
本发明提供一种通过一次推理能够输出待预测对象未来轨迹、预测准确率高、时间复杂度更低的运动轨迹预测方法及系统、电子设备及可读存储介质。
本发明提供一种运动轨迹预测方法，包括：
获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
优选的是，所述的运动轨迹预测方法，其中，
所述待预测对象的历史轨迹为待预测对象在utm坐标系下的x坐标、y坐标的坐标集，所述周围障碍物的历史轨迹包括周围障碍物在utm坐标系下的x坐标、y坐标的坐标集，所述地图信息包括待预测对象周围的道路信息，所述道路信息包括车道线位置，车道宽度，车道数。
优选的是，所述的运动轨迹预测方法，其中，所述基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到运动轨迹预测三维渲染图具体包括：
基于待预测对象的历史轨迹的二维渲染图，确定待预测对象起点，将待预测对象的历史轨迹依次渲染在起点之后，形成多个渲染层，将待预测对象的历史轨迹的所有渲染层依次叠放形成待预测对象三维渲染图；
基于周围障碍物的历史轨迹的二维渲染图，确定周围障碍物起点，将周围障碍物历史轨迹依次渲染在起点之后，形成多个渲染层，将周围障碍物的历史轨迹的所有渲染层依次叠放形成周围障碍物三维渲染图；
将地图信息基于车道线位置，车道宽度，车道数以及颜色进行渲染，形成地图信息三维渲染图；
将所述待预测对象三维渲染图、周围障碍物三维渲染图、地图信息三维渲染图依次拼接形成运动轨迹预测三维渲染图。
优选的是，所述的运动轨迹预测方法，其中，获取自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置采用的是定位装置和障碍物感知装置，所述障碍物感知装置包括摄像头、激光雷达、毫米波雷达、传感器中的至少一种。
本发明提供了一种运动轨迹预测系统，包括：
信息获取模块，用于获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
三维渲染模块，用于基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
运动轨迹预测模块，用于将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
优选的是，所述的运动轨迹预测系统，其中，
所述待预测对象的历史轨迹为待预测对象在utm坐标系下的x坐标、y坐标的坐标集，所述周围障碍物的历史轨迹包括周围障碍物在utm坐标系下的x坐标、y坐标的坐标集，所述地图信息包括待预测对象周围的道路信息，所述道路信息包括车道线位置，车道宽度，车道数。
优选的是，所述的运动轨迹预测系统，其中，所述基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到运动轨迹预测三维渲染图具体包括：
基于待预测对象的历史轨迹的二维渲染图，确定待预测对象起点，将待预测对象的历史轨迹依次渲染在起点之后，形成多个渲染层，将待预测对象的历史轨迹的所有渲染层依次叠放形成待预测对象三维渲染图；
基于周围障碍物的历史轨迹的二维渲染图，确定周围障碍物起点，将周围障碍物历史轨迹依次渲染在起点之后，形成多个渲染层，将周围障碍物的历史轨迹的所有渲染层依次叠放形成周围障碍物三维渲染图；
将地图信息基于车道线位置，车道宽度，车道数以及颜色进行渲染，形成地图信息三维渲染图；
将所述待预测对象三维渲染图、周围障碍物三维渲染图、地图信息三维渲染图依次拼接形成运动轨迹预测三维渲染图。
优选的是，所述的运动轨迹预测系统，其中，所述信息获取模块包括定位装置和障碍物感知装置，所述障碍物感知装置包括摄像头、激光雷达、毫米波雷达、传感器中的至少一种。
本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的运动轨迹预测方法的步骤。
本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的运动轨迹预测方法的步骤。
本发明提出的运动轨迹预测系统将待预测对象所在的地图区域及周围障碍物的信息进行渲染，得到一个包含上述信息的三维图，其中的待预测对象每一个历史位置占一个通道，所有周围的周围障碍物的每一个历史位置占一个通道，地图信息渲染为三个通道，本案采用卷积神经网络，以待预测对象的未来轨迹作为真值进行网络训练，使模型具有预测未来障碍物轨迹的能力。通过渲染和学习得到更多历史轨迹之间的关系，能获得更长时间的预测；可以实现一次推理输出待预测对象的未来轨迹，不需要循环调用网络；本发明的时间复杂度低，且本案利用的是周围障碍物、待预测对象相对于自车的位置关系，得到两者的绝对位置，预测的更精准；在不增加算力的基础上，将多个时间片的信息渲染在一张高维的图上，输入量为更加准确的位置信息，预测精度更高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的运动轨迹预测方法的示意图；
图2为本发明提供的运动轨迹预测系统的示意图；
图3为本发明提供的电子设备的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的运动轨迹预测方法的示意图，如图1所示，该方法包括：
S1：获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
S2：基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
将地图信息基于车道线位置，车道宽度，车道数以及颜色进行渲染，形成地图信息三维渲染图；
将所述待预测对象三维渲染图、周围障碍物三维渲染图、地图信息三维渲染图依次拼接形成运动轨迹预测三维渲染图。地图信息是指车道精度的级别在cm级别的高精度地图信息。
例如，可以得到待预测对象的P的历史轨迹HP，P表示障碍物编号，指代需要预测的的待预测对象(自车周围的车辆)，自车是自动驾驶车辆自身，具体的，所述基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到运动轨迹预测三维渲染图具体包括：
将待预测对象的历史轨迹的二维渲染图划分为四等份，将待预测对象起点设置为第一等分边的中心，将待预测对象朝向右侧，将待预测对象的历史轨迹依次渲染在起点的后方，每一个时间片占用一个通道形成一个渲染层，将待预测对象的历史轨迹的所有渲染层依次叠放形成待预测对象三维渲染图；其他周围的周围障碍物及道路结构也遵循这个旋转角度。一个时间片就是一个通道的特征，可以理解为三维图中的一片，一个二维图。
将周围障碍物的历史轨迹的二维渲染图划分为四等份，将周围障碍物起点设置为第一等分边的中心，将周围障碍物历史轨迹依次渲染在起点的后方，每一个时间片占用一个通道形成一个渲染层，将周围障碍物的历史轨迹的所有渲染层依次叠放形成周围障碍物三维渲染图；
S3：将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测，输出为待预测对象未来T帧的轨迹点，可以预测待预测对象(也就是自动驾驶车辆周围其中一个障碍物)未来0-20s的轨迹点，通过卷积神经网络训练得到预测推理的关系。在自动驾驶车辆运行过程中，算法利用障碍物的历史轨迹和高精地图的信息形成三维渲染图，将渲染图输入训练好的卷积神经网络进行推理，一次推理即能获得自动驾驶车辆周围的待预测对象的未来轨迹。
其中，所述运动轨迹预测模型的形成方法包括：
构建卷积神经网络模型；
基于运动轨迹预测三维渲染图及未来轨迹位置作为真值产生训练数据集，对所述卷积神经网络进行训练，得到运动轨迹预测模型。实际上，训练的过程也就是迭代执行S1至S3的过程。
所述基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到运动轨迹预测三维渲染图具体包括：
将待预测对象的历史轨迹的二维渲染图划分为四等份，将待预测对象起点设置为第一等分边的中心，将待预测对象的历史轨迹依次渲染在起点的后方，每一个时间片占用一个通道形成一个渲染层，将待预测对象的历史轨迹的所有渲染层依次叠放形成待预测对象三维渲染图；
将周围障碍物的历史轨迹的二维渲染图划分为四等份，将周围障碍物起点设置为第一等分边的中心，将周围障碍物历史轨迹依次渲染在起点的后方，每一个时间片占用一个通道形成一个渲染层，将周围障碍物的历史轨迹的所有渲染层依次叠放形成周围障碍物三维渲染图；
将地图信息基于车道线位置，车道宽度，车道数以及颜色进行渲染，形成地图信息三维渲染图；
将所述待预测对象三维渲染图、周围障碍物三维渲染图、地图信息三维渲染图依次拼接形成运动轨迹预测三维渲染图。
所述待预测对象的历史轨迹为待预测对象在utm坐标系下的x坐标、y坐标的坐标集，所述周围障碍物的历史轨迹包括周围障碍物在utm坐标系下的x坐标、y坐标的坐标集，所述地图信息包括待预测对象周围的道路信息，所述道路信息包括车道线位置，车道宽度，车道数。utm(Universal Transverse Mercator Grid System，通用横墨卡托格网系统)坐标是一种平面直角坐标，这种坐标格网系统及其所依据的投影已经广泛用于地形图，作为卫星影像和自然资源数据库的参考格网以及要求精确定位的其他应用。
具体的，对所述卷积神经网络进行训练需要的输入数据包括：
积累n帧获得待预测对象的历史轨迹Hi＝Hi＝{(Xi -n+1,Yi -n+1),(Xi -n+2,Yi -n+2),...,(Xi -1,Yi -1),(Xi 0,Yi 0)}。
其中，H:待预测对象的历史轨迹
i:待预测对象编号
X:待预测对象在utm坐标系下的x坐标
Y:待预测对象在utm坐标系下的y坐标
n:观测待预测对象的历史帧数，0为当前时刻
以及周围的周围障碍物{a,b,...}的历史轨迹H{a,b,...}；
{a，b，...}:每一个字母指代一个障碍物；
获取此刻高精度图的道路信息M，包括车道线位置，车道宽度等。
将待预测对象的未来轨迹{(XP 1,YP 1),(XP 2,YP 2),...,(XP T-1,YP T-1),(XP T,YP T)}位置作为真值产生训练数据集，T:表示障碍物预测的未来frame数。
对所述卷积神经网络进行训练，迭代训练，优化卷积神经网络的参数，最终得到运动轨迹预测模型。
本发明将待预测对象所在的地图区域及周围障碍物的信息进行渲染，得到一个包含上述信息的三维图，其中的待预测对象每一个历史位置占一个通道，所有周围的周围障碍物的每一个历史位置占一个通道，地图信息渲染为三个通道，本案采用卷积神经网络，以待预测对象的未来轨迹作为真值进行网络训练，使模型具有预测未来障碍物轨迹的能力。通过渲染和学习得到更多历史轨迹之间的关系，能获得更长时间的预测；可以实现一次推理输出待预测对象的未来轨迹，不需要循环调用网络；本发明的时间复杂度低，且本案利用的是周围障碍物、待预测对象相对于自车的位置关系，得到两者的绝对位置，预测的更精准；在不增加算力的基础上，将多个时间片的信息渲染在一张高维的图上，输入量为更加准确的位置信息，预测精度更高。
获取自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置采用的是定位装置和障碍物感知装置，所述障碍物感知装置包括摄像头、激光雷达、毫米波雷达、传感器中的至少一种。自车在世界坐标系下的历史位置是由定位装置获取。待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置是由障碍物感知装置获取。
下面对本发明提供的运动轨迹预测系统进行描述，下文描述的运动轨迹预测系统与上文描述的运动轨迹预测方法可相互对应参照。
图2为本发明提供的运动轨迹预测系统的示意图，如图2所示，该系统包括：
信息获取模块10，用于获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
所述信息获取模块10包括定位装置和障碍物感知装置，所述障碍物感知装置包括摄像头、激光雷达、毫米波雷达、传感器中的至少一种。
三维渲染模块20，连接所述信息获取模块10，用于基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
运动轨迹预测模块30，连接所述三维渲染模块20，用于将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测；
所述待预测对象的历史轨迹为待预测对象在utm坐标系下的x坐标、y坐标的坐标集，所述周围障碍物的历史轨迹包括周围障碍物在utm坐标系下的x坐标、y坐标的坐标集，所述地图信息包括待预测对象周围的道路信息，所述道路信息包括车道线位置，车道宽度，车道数。
所述运动轨迹预测模型由卷积神经网络模型构建模块及卷积神经网络训练模块得到，其中：
所述卷积神经网络模型构建模块用于构建卷积神经网络模型；
所述卷积神经网络训练模块，连接所述卷积神经网络模型构建模块，基于运动轨迹预测三维渲染图及未来轨迹位置作为真值产生训练数据集，对所述卷积神经网络进行训练，得到运动轨迹预测模型。
图3示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行一种运动轨迹预测方法，该方法包括：
S1：获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
S2：基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
S3：将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行一种运动轨迹预测方法，该方法包括：
S1：获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
S2：基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
S3：将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行一种运动轨迹预测方法，该方法包括：
S1：获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
S2：基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
S3：将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种运动轨迹预测方法，其特征在于，包括：
获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
2.根据权利要求1所述的运动轨迹预测方法，其特征在于，
所述待预测对象的历史轨迹为待预测对象在utm坐标系下的x坐标、y坐标的坐标集，所述周围障碍物的历史轨迹包括周围障碍物在utm坐标系下的x坐标、y坐标的坐标集，所述地图信息包括待预测对象周围的道路信息，所述道路信息包括车道线位置，车道宽度，车道数。
3.根据权利要求1所述的运动轨迹预测方法，其特征在于，所述基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到运动轨迹预测三维渲染图具体包括：
基于待预测对象的历史轨迹的二维渲染图，确定待预测对象起点，将待预测对象的历史轨迹依次渲染在起点之后，形成多个渲染层，将待预测对象的历史轨迹的所有渲染层依次叠放形成待预测对象三维渲染图；
基于周围障碍物的历史轨迹的二维渲染图，确定周围障碍物起点，将周围障碍物历史轨迹依次渲染在起点之后，形成多个渲染层，将周围障碍物的历史轨迹的所有渲染层依次叠放形成周围障碍物三维渲染图；
将地图信息基于车道线位置，车道宽度，车道数以及颜色进行渲染，形成地图信息三维渲染图；
将所述待预测对象三维渲染图、周围障碍物三维渲染图、地图信息三维渲染图依次拼接形成运动轨迹预测三维渲染图。
4.根据权利要求1所述的运动轨迹预测方法，其特征在于，获取自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置采用的是定位装置和障碍物感知装置，所述障碍物感知装置包括摄像头、激光雷达、毫米波雷达、传感器中的至少一种。
5.一种运动轨迹预测系统，其特征在于，包括：
信息获取模块，用于获取并基于自车在世界坐标系下的历史位置、待预测对象相对于自车的历史相对位置以及待预测对象周围的周围障碍物相对于自车的历史相对位置，得到待预测对象及周围障碍物在世界坐标系下的历史位置；
三维渲染模块，用于基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到待预测对象的历史轨迹及周围障碍物的历史轨迹渲染，并结合地图信息分别进行渲染得到运动轨迹预测三维渲染图；
运动轨迹预测模块，用于将所述运动轨迹预测三维渲染图输入运动轨迹预测模型中进行待预测对象的运动轨迹预测。
6.根据权利要求5所述的运动轨迹预测系统，其特征在于，所述待预测对象的历史轨迹为待预测对象在utm坐标系下的x坐标、y坐标的坐标集，所述周围障碍物的历史轨迹包括周围障碍物在utm坐标系下的x坐标、y坐标的坐标集，所述地图信息包括待预测对象周围的道路信息，所述道路信息包括车道线位置，车道宽度，车道数。
7.根据权利要求5所述的运动轨迹预测系统，其特征在于，所述基于所述待预测对象及周围障碍物在世界坐标系下的历史位置，得到运动轨迹预测三维渲染图具体包括：
基于待预测对象的历史轨迹的二维渲染图，确定待预测对象起点，将待预测对象的历史轨迹依次渲染在起点之后，形成多个渲染层，将待预测对象的历史轨迹的所有渲染层依次叠放形成待预测对象三维渲染图；
基于周围障碍物的历史轨迹的二维渲染图，确定周围障碍物起点，将周围障碍物历史轨迹依次渲染在起点之后，形成多个渲染层，将周围障碍物的历史轨迹的所有渲染层依次叠放形成周围障碍物三维渲染图；
将地图信息基于车道线位置，车道宽度，车道数以及颜色进行渲染，形成地图信息三维渲染图；
将所述待预测对象三维渲染图、周围障碍物三维渲染图、地图信息三维渲染图依次拼接形成运动轨迹预测三维渲染图。
8.根据权利要求5所述的运动轨迹预测系统，其特征在于，所述信息获取模块包括定位装置和障碍物感知装置，所述障碍物感知装置包括摄像头、激光雷达、毫米波雷达、传感器中的至少一种。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的运动轨迹预测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4任一所述的运动轨迹预测方法的步骤。
CN202011563942.2A 2020-12-25 2020-12-25 运动轨迹预测方法及系统、电子设备及可读存储介质 Active CN112651990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011563942.2A CN112651990B (zh) 2020-12-25 2020-12-25 运动轨迹预测方法及系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011563942.2A CN112651990B (zh) 2020-12-25 2020-12-25 运动轨迹预测方法及系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112651990A true CN112651990A (zh) 2021-04-13
CN112651990B CN112651990B (zh) 2022-12-16

Family

ID=75363592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011563942.2A Active CN112651990B (zh) 2020-12-25 2020-12-25 运动轨迹预测方法及系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112651990B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113640739A (zh) * 2021-10-14 2021-11-12 南昌奇眸科技有限公司 一种三维场景下的协作定位方法及装置
CN113715814A (zh) * 2021-09-02 2021-11-30 北京百度网讯科技有限公司 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆
CN113740837A (zh) * 2021-09-01 2021-12-03 广州文远知行科技有限公司 一种障碍物跟踪方法、装置、设备及存储介质
CN113766634A (zh) * 2021-08-31 2021-12-07 深圳Tcl新技术有限公司 基于5g的定位方法、装置、计算机设备和存储介质
CN113811830A (zh) * 2019-12-30 2021-12-17 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN115943400A (zh) * 2021-04-28 2023-04-07 深圳元戎启行科技有限公司 基于时间与空间学习的轨迹预测方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101690A (zh) * 2018-07-11 2018-12-28 深圳地平线机器人科技有限公司 用于渲染车辆自动驾驶模拟器中的场景的方法和装置
CN110852342A (zh) * 2019-09-26 2020-02-28 京东城市(北京)数字科技有限公司 一种路网数据的获取方法、装置、设备及计算机存储介质
CN111081045A (zh) * 2019-12-31 2020-04-28 智车优行科技（上海）有限公司 姿态轨迹预测方法及电子设备
CN111626097A (zh) * 2020-04-09 2020-09-04 吉利汽车研究院（宁波）有限公司 一种障碍物未来轨迹的预测方法、装置、电子设备及存储介质
WO2020234070A1 (en) * 2019-05-17 2020-11-26 Koninklijke Philips N.V. Ultrasound system and method for tracking movement of an object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101690A (zh) * 2018-07-11 2018-12-28 深圳地平线机器人科技有限公司 用于渲染车辆自动驾驶模拟器中的场景的方法和装置
WO2020234070A1 (en) * 2019-05-17 2020-11-26 Koninklijke Philips N.V. Ultrasound system and method for tracking movement of an object
CN110852342A (zh) * 2019-09-26 2020-02-28 京东城市(北京)数字科技有限公司 一种路网数据的获取方法、装置、设备及计算机存储介质
CN111081045A (zh) * 2019-12-31 2020-04-28 智车优行科技（上海）有限公司 姿态轨迹预测方法及电子设备
CN111626097A (zh) * 2020-04-09 2020-09-04 吉利汽车研究院（宁波）有限公司 一种障碍物未来轨迹的预测方法、装置、电子设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811830A (zh) * 2019-12-30 2021-12-17 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN113811830B (zh) * 2019-12-30 2022-05-10 深圳元戎启行科技有限公司 轨迹预测方法、装置、计算机设备和存储介质
CN115943400A (zh) * 2021-04-28 2023-04-07 深圳元戎启行科技有限公司 基于时间与空间学习的轨迹预测方法、装置和计算机设备
CN113766634A (zh) * 2021-08-31 2021-12-07 深圳Tcl新技术有限公司 基于5g的定位方法、装置、计算机设备和存储介质
CN113740837A (zh) * 2021-09-01 2021-12-03 广州文远知行科技有限公司 一种障碍物跟踪方法、装置、设备及存储介质
CN113740837B (zh) * 2021-09-01 2022-06-24 广州文远知行科技有限公司 一种障碍物跟踪方法、装置、设备及存储介质
CN113715814A (zh) * 2021-09-02 2021-11-30 北京百度网讯科技有限公司 碰撞检测方法、装置、电子设备、介质及自动驾驶车辆
CN113640739A (zh) * 2021-10-14 2021-11-12 南昌奇眸科技有限公司 一种三维场景下的协作定位方法及装置

Also Published As

Publication number Publication date
CN112651990B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN112651990B (zh) 运动轨迹预测方法及系统、电子设备及可读存储介质
US11709058B2 (en) Path planning method and device and mobile device
CN113272830B (zh) 行为预测系统中的轨迹表示
JP7367183B2 (ja) 占有予測ニューラルネットワーク
US10229363B2 (en) Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
CN112651557A (zh) 轨迹预测系统及方法、电子设备及可读存储介质
DE102019121140A1 (de) Sensorfusion
CN112433525A (zh) 基于模仿学习及深度强化学习的移动机器人导航方法
CN112166458B (zh) 目标检测与跟踪方法、系统、设备及存储介质
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
DE102018100487A1 (de) Objektverfolgung durch unüberwachtes lernen
GB2562049A (en) Improved pedestrian prediction by using enhanced map data in automated vehicles
US11727690B2 (en) Behavior prediction of surrounding agents
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
US20230053459A1 (en) Vehicle-based data processing method and apparatus, computer, and storage medium
US20230331247A1 (en) Systems for testing and training autonomous vehicles
CN109583312A (zh) 车道线识别方法、装置、设备及存储介质
CN112964263B (zh) 自动建图方法、装置、移动机器人及可读存储介质
CN117635721A (zh) 目标定位方法及相关系统、存储介质
CN113885496A (zh) 智能驾驶仿真传感器模型及智能驾驶仿真方法
CN113077520A (zh) 碰撞预测方法、装置及边缘计算服务器
CN114556419A (zh) 三维点云分割方法和装置、可移动平台
Lei et al. Bio-inspired Intelligence-based Multi-agent Navigation with Safety-aware Considerations
US20240149895A1 (en) Map Based Annotation for Autonomous Movement Models Training
US20220180549A1 (en) Three-dimensional location prediction from images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant