CN113570595A - 车辆轨迹预测方法和车辆轨迹预测模型的优化方法 - Google Patents

车辆轨迹预测方法和车辆轨迹预测模型的优化方法 Download PDF

Info

Publication number
CN113570595A
CN113570595A CN202110927472.1A CN202110927472A CN113570595A CN 113570595 A CN113570595 A CN 113570595A CN 202110927472 A CN202110927472 A CN 202110927472A CN 113570595 A CN113570595 A CN 113570595A
Authority
CN
China
Prior art keywords
vehicle
picture
predicted
predicted vehicle
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110927472.1A
Other languages
English (en)
Other versions
CN113570595B (zh
Inventor
莫建林
赖哲渊
张汉驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Volkswagen Automotive Co Ltd
Original Assignee
SAIC Volkswagen Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Volkswagen Automotive Co Ltd filed Critical SAIC Volkswagen Automotive Co Ltd
Priority to CN202110927472.1A priority Critical patent/CN113570595B/zh
Publication of CN113570595A publication Critical patent/CN113570595A/zh
Application granted granted Critical
Publication of CN113570595B publication Critical patent/CN113570595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车辆轨迹预测方法和车辆轨迹预测模型的优化方法，所述车辆轨迹预测方法包括以下步骤：基于地图数据生成以预测车辆为图片中心的环境静态图片；基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片；根据所述环境静态图片和所述环境动态图片生成环境状态图片；基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息；将当前帧的所述环境状态图片和当前帧中所述预测车辆的车辆状态信息作为输入数据输入预测模型；从所述预测模型的输出端获取所述预测车辆的预测轨迹。本发明能够实现对车辆轨迹的更准确的预测。

Description

车辆轨迹预测方法和车辆轨迹预测模型的优化方法
技术领域
本发明主要涉及自动驾驶领域，尤其涉及一种车辆轨迹预测方法、车辆轨迹预测模型的优化方法及装置和计算机可读介质。
背景技术
车辆轨迹预测是自动驾驶中的一个重要部分，是实现自动驾驶规划与决策的前提。在一些车辆轨迹的技术路线中，有的是基于专家规则，利用高精地图路网信息，目标检测跟踪结果，以及预测车辆的动力学模型，基于合理驾驶行为人为设计车辆未来的行驶路线。有的采用深度学习方法，完全基于目标检测跟踪得到的车辆行驶轨迹数据，对深度神经网络模型进行训练，由训练完成的模型输出预测的车辆未来行驶轨迹。这些技术路线的方案存在不能处理复杂场景、预测结果缺乏通用性或是预测结果不准确等问题。
发明内容
本发明要解决的技术问题是提供一种车辆轨迹预测方法和车辆轨迹预测模型的优化方法，实现对车辆轨迹更准确的预测。
为解决上述技术问题，本发明提供了一种车辆轨迹预测方法，包括以下步骤：基于地图数据生成以预测车辆为图片中心的环境静态图片；基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片；根据所述环境静态图片和所述环境动态图片生成环境状态图片；基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息；将当前帧的所述环境状态图片和当前帧中所述预测车辆的车辆状态信息作为输入数据输入预测模型；从所述预测模型的输出端获取所述预测车辆的预测轨迹。
在本发明的一实施例中，车辆轨迹预测方法还包括，获取所述预测车辆当前帧之后未来Y帧的轨迹真实值；根据所述未来Y帧的轨迹真实值对所述预测模型进行优化；其中，Y为正整数。
在本发明的一实施例中，所述预测模型包括依次连接的主干神经网络、特征向量化模块、第一全连接网络、第二全连接网络和头部网络；其中，所述当前帧的所述环境状态图片数据输入至所述主干神经网络；所述预测车辆的车辆状态信息数据输入至所述特征向量化模块。
在本发明的一实施例中，所述头部网络包括长短时记忆网络组、第四全连接网络、第五全连接网络和逻辑回归函数网络，其中，所述第二全连接网络输出的第一分支进入所述长短时记忆网络组，第二分支进入所述第四全连接网络后再进入所述逻辑回归函数网络，第三分支进入所述第五全连接网络。
在本发明的一实施例中，所述逻辑回归函数网络输出所述预测车辆的M种行进模式，所述长短时记忆网络组输出所述预测车辆的M种行进模式的轨迹预测值，所述第五全连接网络输出所述预测车辆的M种行进模式对应的预测轨迹值与实际轨迹值的标准差；M为正整数。
在本发明的一实施例中，所述长短时记忆网络组包括M个长短时记忆网络，所述M个长短时记忆网络分别与所述预测车辆的M种行进模式相对应；所述第二全连接网络输出的第一分支进入每一所述长短时记忆网络；每一所述长短时记忆网络输出所述预测车辆的M种行进模式中一种行进模式的预测轨迹值。
在本发明的一实施例中，每一所述长短时记忆网络包括T个长短时记忆网络子块和T个第三全连接网络，所述T个长短时记忆网络子块组成子网络串；
其中，所述每一所述长短时记忆网络子块将其隐含变量分别输入与其对应的所述第三全连接网络；所述T个第三全连接网络中的每一第三全连接网络分别输出t+1，t+2，t+3，…，t+T-2，t+T-1，t+T时刻的所述预测轨迹值对应的像素坐标值；所述t+1，t+2，t+3，…，t+T-2，t+T-1时刻的所述预测轨迹值对应的像素坐标值分别作为第2个，第3个，…，第T个所述长短时记忆网络子块的输入端的输入量；t表示当前时刻值，T为正整数。
在本发明的一实施例中，所述第二全连接网络输出的第一分支进入第1个所述长短时记忆网络子块的隐含变量输入端；第1个所述长短时记忆网络子块的单元变量输入端的输入量设为零，输入端的输入量设为零。
在本发明的一实施例中，还包括对所述预测模型的优化方法，包括以下步骤：从所述预测模型的输出端获取所述预测车辆的预测轨迹获取K种不同轨迹模式的未来长度为T帧的车辆轨迹的像素坐标预测值；获取对应的预测车辆未来长度为T帧的轨迹真实值；根据最大似然规则筛选所述预测模型的最优预测估计模式值；计算所述预测模型的损失函数；基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新；其中，K为正整数，T为正整数。
在本发明的一实施例中，所述根据最大似然规则筛选所述预测模型的最优预测估计模式值的算法包括：
Figure BDA0003208567500000031
其中：
Figure BDA0003208567500000032
其中
Figure BDA0003208567500000033
分别预测车辆i在第s种轨迹模式下t+m时刻的预测轨迹对应的像素坐标值，i是所述预测车辆的随机标识号；
ui，t+m、vi，t+m为预测车辆i在t+m时刻对应的未来轨迹真实值，
Figure BDA0003208567500000034
为预测车辆i在第s种轨迹模式下在t+m时刻的预测模型输出的标准差估计值，s为轨迹模式编号，
s*为获得的最优轨迹预测估计模式值。
在本发明的一实施例中，所述计算所述预测模型的损失函数包括：
Figure BDA0003208567500000035
Figure BDA0003208567500000036
Figure BDA0003208567500000037
其中
Figure BDA0003208567500000046
表示在s＝s*为真时取值为1，其他情况取值为0；
其中，pi，s为预测车辆i在第s种轨迹模式下模型输出的概率估计，
Figure BDA0003208567500000041
是预测车辆i在t时刻对应K种不同轨迹模式的分类损失函数，
Figure BDA0003208567500000042
是预测车辆i在t时刻基于所述预测模型输出的轨迹坐标、所述也测模型输出的标准差及获取的轨迹真实值计算得到的最大似然损失函数，i是所述预测车辆的随机标识号；
γ是损失函数平衡权值，
Figure BDA0003208567500000043
为预测车辆i在t时刻的总和损失函数。
在本发明的一实施例中，基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新包括：
基于所述损失函数形成约束准则：
Figure BDA0003208567500000044
基于所述约束准则采用随机梯度下降方法对模型权值
Figure BDA0003208567500000045
进行更新；
其中，I为预测车辆的总数目，N为估计时刻的总数。
在本发明的一实施例中，所述车辆状态信息包括速度，加速度，航向角以及航向角角速度。
在本发明的一实施例中，基于地图数据生成以预测车辆为图片中心的环境静态图片包括：对所述图片的处理参数进行设定；基于所述预测车辆的当前中心点坐标位置，获取半径为R的局部地图信息；对所述局部地图信息中的道路中心线及道路边界线进行坐标转换；确定所述环境静态图片的像素点RGB值；基于所述像素点RGB值生成所述环境静态图片。
在本发明的一实施例中，所述图片的处理参数包括初始分辨率、最终分辨率和图片像素与实际感知环境的尺度比例。
在本发明的一实施例中，所述目标检测跟踪结果包括目标类别为车辆的目标物的检测跟踪结果，且所述目标检测跟踪结果包括当前帧及其过去连续若干帧图像的目标检测跟踪结果。
在本发明的一实施例中，基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片包括：获取所述目标类别为车辆的目标物的边界点的绝对坐标；对所述目标物的所述绝对坐标进行坐标变换；确定所述目标物在所述环境动态图片的像素点RGB值；基于所述环境动态图片的像素点RGB值生成所述环境动态图片。
在本发明的一实施例中，根据所述环境静态图片和所述环境动态图片生成环境状态图片包括：将所述环境静态图片作为底图；将所述环境动态图片包含的图片信息叠加在所述底图上；以当前帧的所述预测车辆中心点为环境状态图片上的像素中心点；将所述预测车辆航向角方向设为环境状态图片的正上方，生成所述环境状态图片。
在本发明的一实施例中，生成环境状态图片还包括：对所述环境状态图片进行分辨率裁剪。
在本发明的一实施例中，所述对道路中心线及道路边界线进行坐标转换包括：将在RGB颜色表示方式下的全部像素点为纯黑色的图片作为所述环境静态图片的底图；将所述预测车辆的中心点放在所述底图的中心，并将所述预测车辆的航向角方向设为所述底图的正上方；将所述道路中心线及道路边界线的坐标由世界坐标系中的绝对坐标，转换至以所述预测车辆为原点、所述预测车辆的航向角方向为y轴正方向的笛卡尔坐标系中的相对坐标；将所述道路中心线及道路边界线的相对坐标转换为，以所述预测车辆中心点为所述环境静态图片上的像素中心点、所述预测车辆的航向角方向设为所述环境静态图片的正上方的像素坐标。
在本发明的一实施例中，将所述绝对坐标转换为所述像素坐标的转换公式包括：
u＝uimage_center+(((x-xcenter)*cosθ+(y-ycenter)*sinθ)/scale)
Figure BDA0003208567500000051
其中，x、y表示世界坐标系中的绝对坐标的横坐标和纵坐标，
u、v表示像素点横坐标和纵坐标，
xcenter、ycenter表示预测车辆中心点的绝对坐标，
uimage_center、vimage_center表示环境图片的中心像素点坐标，其对应于预测车辆中心点在图片上的像素点坐标，
θ为预测车辆的航向角，
scale为图片像素与实际感知环境的尺度比例。
在本发明的一实施例中，确定所述环境静态图片的像素点RGB值包括，将所述道路边界线包围的多边形区域内的像素点，标记为RGB颜色表示方式下的纯白色像素点，所述多边形区域对应于所述预测车辆的可行驶区域；所述道路中心线中的点根据该点的航向角与所述预测车辆的航向角的偏差角度来确定其RGB值。
在本发明的一实施例中，所述道路中心线中的点根据该点的航向角与所述预测车辆的航向角的偏差角度来确定其RGB值包括：
通过
Figure BDA0003208567500000061
确定该点在HSV颜色表示方式的V分量的值；
其中，π为圆周率，
Figure BDA0003208567500000062
为所述道路中心线中的点的航向角，θ为所述预测车辆的航向角，V为用HSV描述点像素时的V分量；并取H＝240度，S＝1；
将所述HSV颜色表示方式的值转换为对应的RGB颜色表示方式的值。
在本发明的一实施例中，生成所述环境静态图片包括：在所述环境静态图片的底图上，基于所述道路边界线包围的可行驶区域和所述道路中心线的像素点坐标及所述像素点RGB值，生成包括所述预测车辆周围的道路中心线和可行驶区域的环境静态图片。
在本发明的一实施例中，所述目标物对应所述当前帧及其过去连续若干帧图像的目标检测跟踪结果的每一帧中的矩形区域，所述矩形区域由所述目标物的边界点的绝对坐标构成。
在本发明的一实施例中，确定所述目标物在所述环境动态图片的像素点RGB值包括：
通过
Figure BDA0003208567500000063
确定所述目标物对应的矩形区域中的像素点在HSV颜色表示方式的V分量的值；
其中，Nframes为所述连续若干帧的总帧数，Nposition为所述矩形区域所在帧在所述连续若干帧中的帧序号数；
对所述预测车辆，取H＝0度；对非预测车辆，取H＝60度；并取S＝1；
将所述HSV颜色表示方式的值转换为对应的RGB颜色表示方式的值。
本发明还提供一种车辆轨迹预测模型的优化方法，包括以下步骤：通过预处理获取环境状态图片和预测车辆的车辆状态信息，并获取对应的预测车辆未来长度为T帧的轨迹真实值；将所述环境图片及所述预测车辆的车辆状态信息输入所述预测模型，得到K种不同轨迹模式的未来长度为T帧的所述预测车辆的预测轨迹值对应的像素坐标值；根据最大似然规则筛选所述预测模型的最优预测估计模式值；计算所述预测模型的损失函数；基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新；其中，K为正整数，T为正整数。
在本发明的一实施例中，通过预处理获取环境状态图片和预测车辆的车辆状态信息包括：基于地图数据生成以预测车辆为图片中心的环境静态图片；基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片；根据所述环境静态图片和所述环境动态图片生成环境状态图片；基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息。
与现有技术相比，本发明具有以下优点：本发明的技术方案中，预测模型输入环境状态图片数据基于预测车辆的感知视角进行构建，同时对预测车辆在环境状态图片中的位置亦进行特别的设置，这样的处理能更加有效地提取能够反映预测车辆的行驶趋势的特征，使预测结果更准确。
附图说明
附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：
图1是本申请一实施例的车辆轨迹预测方法的流程图。
图2是本申请一实施例的坐标转换或坐标系转换的示意图。
图3是本申请一实施例的坐标转换或坐标系转换的示意图。
图4是本申请一实施例的预测模型的结构示意图。
图5是本申请一实施例的头部网络的结构示意图。
图6是本申请一实施例的长短时记忆网络的结构示意图。
图7是本申请一实施例的生成的环境静态图片的示意图。
图8是本申请一实施例的生成的环境状态图片的示意图。
图9是本申请一实施例的车辆轨迹预测装置的系统实施环境示意图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件或组件，仅仅是为了便于对相应零部件或组件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请的实施例描述一种车辆轨迹预测方法、车辆轨迹预测模型的优化方法及装置和计算机可读介质。
图1是本申请一实施例的车辆轨迹预测方法的流程图。
如图1所示，车辆轨迹预测方法包括，步骤101，基于地图数据生成以预测车辆为图片中心的环境静态图片。步骤102，基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片。步骤103，根据所述环境静态图片和所述环境动态图片生成环境状态图片。步骤104，基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息。步骤105，将当前帧的所述环境状态图片和当前帧中所述预测车辆的车辆状态信息作为输入数据输入预测模型。步骤106，从所述预测模型的输出端获取所述预测车辆的预测轨迹。
具体地，在步骤101中，基于地图数据生成以预测车辆为图片中心的环境静态图片。
在一些实施例中，基于地图数据生成以预测车辆为图片中心的环境静态图片包括，步骤1001，对所述图片的处理参数进行设定。步骤1002，基于所述预测车辆的当前中心点坐标位置，获取半径为R的局部地图信息。步骤1003，对所述局部地图信息中的道路中心线及道路边界线进行坐标转换。步骤1004，确定所述环境静态图片的像素点RGB值。步骤1005，基于所述像素点RGB值生成所述环境静态图片。
在一些实施例中，所述图片的处理参数包括初始分辨率、最终分辨率和图片像素与实际感知环境的尺度比例。半径R的大小可根据实际情形进行设定，例如R取100米。
在一些实施例中，步骤1003的所述对道路中心线及道路边界线进行坐标转换包括，步骤1011，将在RGB颜色表示方式下的全部像素点为纯黑色的图片作为所述环境静态图片的底图。步骤1012，将所述预测车辆的中心点放在所述底图的中心，并将所述预测车辆的航向角方向设为所述底图的正上方。步骤1013，将所述道路中心线及道路边界线的坐标由世界坐标系中的绝对坐标，转换至以所述预测车辆为原点、所述预测车辆的航向角方向为y轴正方向的笛卡尔坐标系中的相对坐标。步骤1014，将所述道路中心线及道路边界线的相对坐标转换为，以所述预测车辆中心点为所述环境静态图片上的像素中心点、所述预测车辆的航向角方向设为所述环境静态图片的正上方的像素坐标。
在一些实施例中，步骤1013，将所述道路中心线及道路边界线的坐标由世界坐标系中的绝对坐标，转换至以所述预测车辆为原点、所述预测车辆的航向角方向为y轴正方向的笛卡尔坐标系中的相对坐标的具体转换公式为：
x2＝(x-xcenter)*cosθ+(y-ycenter)*sinθ (1)
y2＝(y-ycenter)*cosθ-(x-xcenter)*sinθ (2)
图2是本申请一实施例的坐标转换或坐标系转换的示意图。结合图2说明转换公式的计算式(1)和(2)。
在图2中，世界坐标系是以点O为原点，X轴、Y轴为横坐标和纵坐标的二维笛卡尔坐标系。世界坐标系也称为绝对坐标系。相对坐标为以O1为原点，X2轴、Y2轴为横坐标和纵坐标的二维笛卡尔坐标系。
就坐标系的转换而言，可将绝对坐标系原点平移至O1点，得到O1为原点，X1轴、Y1轴为横坐标和纵坐标的二维笛卡尔坐标系，再将该坐标系逆时针旋转θ得到相对坐标系。
结合前述转换公式的计算式(1)和(2)，在图2中，点O1对应要预测车辆的中心点，其在绝对坐标系中的坐标为xcenter、ycenter，θ为要预测车辆的航向角。
在图2中，将绝对坐标系中的点P(其在绝对坐标系中的坐标为x、y)转换为相对坐标系中的坐标x2、y2即可通过前述转换公式的计算式(1)和(2)实现。
在步骤1014，将所述道路中心线及道路边界线的相对坐标转换为，以所述预测车辆中心点为所述环境静态图片上的像素中心点、所述预测车辆的航向角方向为所述环境静态图片的正上方的像素坐标的具体转换公式为：
u＝uimage_center+(x2/scale) (3)
v＝vimage_center+(y2/scale) (4)
图3是本申请一实施例的坐标转换或坐标系转换的示意图。结合图3说明转换公式的计算式(3)和(4)。
图3中，U轴、V轴分别对应像素坐标系中的横轴和纵轴，预测车辆的中心点O1为图像的中心点，O1在像素坐标系中的的像素横坐标和像素纵坐标分别为uimage_center、vimage_center，scale为图片像素与实际感知环境的尺度比例。
将相对坐标系上的P点的相对坐标(x2，y2)转换为所述图像上的像素坐标(u，v)，即可通过前述转换公式的计算式(3)和(4)转换实现。
将步骤1013和步骤1014结合，可得到将所述绝对坐标转换为所述像素坐标的转换公式为：
u＝uimagecenter+(((x-xcenter)*cosθ+(y-ycenter)*sinθ)/scale) (5)
Figure BDA0003208567500000111
根据前述的叙述，坐标转换的计算式(5)和(6)中，x、y表示世界坐标系中的绝对坐标的横坐标和纵坐标，u、v表示像素点横坐标和纵坐标，xcenter、ycenter表示预测车辆中心点的绝对坐标，uimage_center、vimage_center表示环境图片的中心像素点坐标，其对应于预测车辆中心点在图片上的像素点坐标，θ为预测车辆的航向角，scale为图片像素与实际感知环境的尺度比例。
在一些实施例中，步骤1004的确定所述环境静态图片的像素点RGB值包括，将所述道路边界线包围的多边形区域内的像素点，标记为RGB颜色表示方式下的纯白色像素点，所述多边形区域对应于所述预测车辆的可行驶区域。而后，对于所述道路中心线中的点，根据该点的航向角与所述预测车辆的航向角的偏差角度来确定其RGB值。
在一些实施例中，所述道路中心线中的点根据该点的航向角与所述预测车辆的航向角的偏差角度来确定其RGB值包括：
通讨
Figure BDA0003208567500000112
确定该点在HSV颜色表示方式的V分量的值；
其中，π为圆周率，
Figure BDA0003208567500000121
为所述道路中心线中的点的航向角，θ为所述预测车辆的航向角，V为用HSV描述点像素时的V分量；并取H＝240度，S＝1；
得到像素点在HSV颜色表示方式的值以后，再将所述HSV颜色表示方式的值转换为对应的RGB颜色表示方式的值。
在一些实施例中，步骤1005的生成所述环境静态图片包括：在所述环境静态图片的底图上，基于所述道路边界线包围的可行驶区域和所述道路中心线的像素点坐标及所述像素点RGB值，生成包括所述预测车辆周围的道路中心线和可行驶区域的环境静态图片。
图7是本申请一实施例的生成的环境静态图片的示意图。在图7中，道路中心线例如包括701和702。道路边界线例如包括703。
在步骤102，基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片。
在一些实施例中，基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片包括，步骤1021，获取所述目标类别为车辆的目标物的边界点的绝对坐标。步骤1022，对所述目标物的所述绝对坐标进行坐标变换。步骤1023，确定所述目标物在所述环境动态图片的像素点RGB值。步骤1024，基于所述环境动态图片的像素点RGB值生成所述环境动态图片。
在一些实施例中，步骤1022的坐标变换的过程例如与步骤1013和步骤1014中记载的坐标变换的过程相似。此处不再赘述。
在一些实施例中，步骤1023的确定所述目标物在所述环境动态图片的像素点RGB值包括：
通过
Figure BDA0003208567500000122
确定所述目标物对应的矩形区域中的像素点在HSV颜色表示方式的V分量的值；
其中，Nframes为所述连续若干帧的总帧数，Nposition为所述矩形区域所在帧在所述连续若干帧中的帧序号数；
对所述预测车辆，取H＝0度；对非预测车辆，取H＝60度；并取S＝1；
而后，再将所述HSV颜色表示方式的值转换为对应的RGB颜色表示方式的值。
接下来，在步骤103，根据所述环境静态图片和所述环境动态图片生成环境状态图片。
在一些实施例中，根据所述环境静态图片和所述环境动态图片生成环境状态图片包括，步骤1031，将所述环境静态图片作为底图；步骤1032，将所述环境动态图片包含的图片信息叠加在所述底图上；步骤1033，以当前帧的所述预测车辆中心点为环境状态图片上的像素中心点；步骤1034，将所述预测车辆航向角方向设为环境状态图片的正上方，生成所述环境状态图片。
在一些实施例中，生成环境状态图片还包括：对所述环境状态图片进行分辨率裁剪。例如，将环境状态图片从初始分辨率裁剪为最终分辨率。
图8是本申请一实施例的生成的环境状态图片的示意图。在图8中，目标物例如包括801、802、803和804，其中的801例如为预测车辆。
在步骤104，基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息。
在一些实施例中，所述目标检测跟踪结果包括目标类别为车辆的目标物的检测跟踪结果，且所述目标检测跟踪结果包括当前帧及其过去连续若干帧图像的目标检测跟踪结果。
在目标检测跟踪结果中，每个目标物均对应检测为一帧图像中的一个矩形区域，每一帧图像中每个跟踪目标的信息可包括目标物标识号、目标物中心点坐标、目标物矩形的4个顶点坐标、目标物航向角和目标物的历史轨迹坐标。前述的目标物边界点的绝对坐标例如即对应于目标物矩形的4个顶点坐标。
在一些实施例中，所述车辆状态信息包括速度，加速度，航向角以及航向角角速度。预测车辆的车辆状态信息可基于所述目标检测跟踪结果的计算与处理得到。车辆状态信息的原始数据例如通过安装在车辆上的摄像装置、毫米波雷达、激光雷达等设备获取。
在步骤105，将当前帧的所述环境状态图片和当前帧中所述预测车辆的车辆状态信息作为输入数据输入预测模型。而后，在步骤106，从所述预测模型的输出端获取所述预测车辆的预测轨迹。
图4是本申请一实施例的预测模型的结构示意图。
参考图4，在一些实施例中，预测模型401包括依次连接的主干神经网络403、特征向量化模块405、第一全连接网络FC1、第二全连接网络FC2和头部网络407。
继续参考图4，其中，所述当前帧的所述环境状态图片数据421输入至所述主干神经网络；所述预测车辆的车辆状态信息数据423输入至所述特征向量化模块，即当前帧的所述环境状态图片数据421和预测车辆的车辆状态信息数据423构成预测模型401的输入量411。
图5是本申请一实施例的头部网络的结构示意图。
参考图5，在一些实施例中，头部网络407包括长短时记忆网络组、第四全连接网络FC4、第五全连接网络FC5和逻辑回归函数网络softmax。
其中，第二全连接网络FC2输出的第一分支进入所述长短时记忆网络组，第二分支进入所述第四全连接网络后再进入所述逻辑回归函数网络，第三分支进入所述第五全连接网络。
在一些实施例中，所述逻辑回归函数网络softmax输出所述预测车辆的M种行进模式，所述长短时记忆网络组输出所述预测车辆的M种行进模式的轨迹预测值，所述第五全连接网络输出所述预测车辆的M种行进模式对应的预测轨迹值与实际轨迹值的标准差；M为正整数。
在一些实施例中，所述长短时记忆网络组包括M个长短时记忆网络LSTM_net，所述M个长短时记忆网络分别与所述预测车辆的M种行进模式相对应；所述第二全连接网络输出FC2_output的第一分支进入每一所述长短时记忆网络；每一所述长短时记忆网络LSTM_net输出所述预测车辆的M种行进模式中一种行进模式的预测轨迹值。M为正整数。
在图5中，当M取5时，逻辑回归函数网络softmax输出的5种行进模式可分别为Mode1、Mode2、Mode3、Mode4和Mode5。Mode1、Mode2、Mode3、Mode4和Mode5例如分别对应预测车辆的直行、左拐、右拐、左转掉头和右转掉头。M种行进模式中每一种行进模式的预测轨迹值例如分别为MR1、MR2、MR3、MR4和MR5。
图6是本申请一实施例的长短时记忆网络LSTM_net的结构示意图。
如图6所例示，长短时记忆网络LSTM_net 601包括T个长短时记忆网络子块和T个第三全连接网络，所述T个长短时记忆网络子块组成子网络串。
其中，每一所述长短时记忆网络子块(LSTM element)将其隐含变量hj(j＝1，2，…，T)分别输入与其对应的所述第三全连接网络FC3；所述T个第三全连接网络中的每一第三全连接网络分别输出t+1，t+2，t+3，…，t+T-2，t+T-1，t+T时刻的所述预测轨迹值对应的像素坐标值Pt+1，Pt+2，Pt+3，…，Pt+T-2，Pt+T-1，Pt+T；所述t+1，t+2，t+3，…，t+T-2，t+T-1时刻的所述预测轨迹值对应的像素坐标值分别作为第2个，第3个，…，第T个所述长短时记忆网络子块的输入端的输入量；t表示当前时刻值，T为正整数，T为预测轨迹对应的图像帧数，实际亦对应于预测轨迹的时间长度。
在一些实施例中，所述第二全连接网络输出FC2_output的第一分支进入第1个所述长短时记忆网络子块的隐含变量输入端，即为h0；第1个所述长短时记忆网络子块的单元变量c0输入端的输入量设为零，输入端的输入量a0设为零。
在一些实施例中，所述第一全连接网络的输入维度和输出维度分别为4098和256；所述第二全连接网络的输入维度和输出维度分别为256和64。
在一些实施例中，所述第四全连接网络的输入维度和输出维度分别为64和5；所述第五全连接网络的输入维度和输出维度分别为64和5。
第三全连接网络的输入维度和输出维度例如分别为64和2。
在一些实施例中，车辆轨迹预测方法还包括，获取所述预测车辆当前帧之后未来Y帧的轨迹真实值，而后根据所述未来Y帧的轨迹真实值对所述预测模型进行优化。其中，Y为正整数。
在一些具体的实施例中，车辆轨迹预测方法还包括对所述预测模型的优化方法，包括以下步骤：步骤201，从所述预测模型的输出端获取所述预测车辆的预测轨迹获取K种不同轨迹模式的未来长度为T帧的车辆轨迹的像素坐标预测值；步骤202，获取对应的预测车辆未来长度为T帧的轨迹真实值；步骤203，根据最大似然规则筛选所述预测模型的最优预测估计模式值；步骤204，计算所述预测模型的损失函数；步骤205，基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新。其中，K为正整数，T为正整数。
在一些实施例中，步骤203的根据最大似然规则筛选所述预测模型的最优预测估计模式值的算法包括：
Figure BDA0003208567500000161
其中：
Figure BDA0003208567500000162
其中
Figure BDA0003208567500000163
分别预测车辆i在第s种轨迹模式下t+m时刻的预测轨迹对应的像素坐标值，i是所述预测车辆的随机标识号；随机标识号例如在前述的目标物标识号中产生。
ui，t+m、vi，t+m为预测车辆i在t+m时刻对应的未来轨迹真实值，
Figure BDA0003208567500000164
为预测车辆i在第s种轨迹模式下在t+m时刻的预测模型输出的标准差估计值，s为轨迹模式编号，s∈K，当K取5时，则s∈{1，2，3，4，5}；
s*为获得的最优轨迹预测估计模式值。
在一些实施例中，步骤204的计算所述预测模型的损失函数包括：
Figure BDA0003208567500000165
Figure BDA0003208567500000166
Figure BDA0003208567500000167
其中
Figure BDA0003208567500000176
表示在s＝s*为真时取值为1，其他情况取值为0；
其中，pi，s为预测车辆i在第s种轨迹模式下模型输出的概率估计，
Figure BDA0003208567500000171
是预测车辆i在t时刻对应K种不同轨迹模式的分类损失函数，
Figure BDA0003208567500000172
是预测车辆i在t时刻基于所述预测模型输出的轨迹坐标、所述也测模型输出的标准差及获取的轨迹真实值计算得到的最大似然损失函数，i是所述预测车辆的随机标识号；
γ是损失函数平衡权值，
Figure BDA0003208567500000173
为预测车辆i在t时刻的总和损失函数。
在一些实施例中，步骤205的基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新包括：
基于所述损失函数形成约束准则：
Figure BDA0003208567500000174
基于所述约束准则采用随机梯度下降方法对模型权值
Figure BDA0003208567500000175
进行更新；
其中，I为预测车辆的总数目，N为估计时刻的总数。
本申请还提供一种车辆轨迹预测模型的优化方法，该方法包括，步骤301，通过预处理获取环境状态图片和预测车辆的车辆状态信息，并获取对应的预测车辆未来长度为T帧的轨迹真实值。步骤302，将所述环境图片及所述预测车辆的车辆状态信息输入所述预测模型，得到K种不同轨迹模式的未来长度为T帧的所述预测车辆的预测轨迹值对应的像素坐标值；步骤303，根据最大似然规则筛选所述预测模型的最优预测估计模式值；步骤304，计算所述预测模型的损失函数；步骤305，基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新。其中，K为正整数，T为正整数。K和T的具体含义可参考前述的叙述。
在一些实施例中，通过预处理获取环境状态图片和预测车辆的车辆状态信息包括：基于地图数据生成以预测车辆为图片中心的环境静态图片；基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片；根据所述环境静态图片和所述环境动态图片生成环境状态图片；基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息。
预测模型的结构也可参考前述的叙述，具体地，预测模型可包括依次连接的主干神经网络、特征向量化模块、第一全连接网络、第二全连接网络和头部网络。其中，所述当前帧的所述环境状态图片数据输入至所述主干神经网络；所述预测车辆的车辆状态信息数据输入至所述特征向量化模块。
本申请的车辆轨迹预测方法、车辆轨迹预测模型的优化方法，其中的预测模型输入环境状态图片数据基于预测车辆的感知视角进行构建，同时对预测车辆在环境状态图片中的位置亦进行特别的设置，这样的处理能更加有效地提取能够反映预测车辆的行驶趋势的特征，并对预测模型进行评估和优化，使预测结果更准确。
本申请还提供一种车辆轨迹预测装置，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如前所述的方法。
图9示出了根据本申请一实施例示出的车辆轨迹预测装置的系统实施环境示意图。车辆轨迹预测装置900可包括内部通信总线901、处理器(Processor)902、只读存储器(ROM)903、随机存取存储器(RAM)904、以及通信端口905。车辆轨迹预测装置900通过通信端口连接网络，并可与服务器端连接，服务器端可提供较强的数据处理能力。内部通信总线901可以实现车辆轨迹预测装置900组件间的数据通信，例如为CAN总线。处理器902可以进行判断和发出提示。在一些实施例中，处理器902可以由一个或多个处理器组成。通信端口905可以实现从网络发送和接受信息及数据。车辆轨迹预测装置900还可以包括不同形式的程序储存单元以及数据储存单元，例如只读存储器(ROM)903和随机存取存储器(RAM)904，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器902所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果可通过通信端口传给用户设备，在用户界面，例如车机系统的交互界面上显示。
上述的车辆轨迹预测装置900可以实施为计算机程序，保存在存储器中，并可记载到处理器902中执行，以实施本申请的车辆轨迹预测方法及车辆轨迹预测模型的优化方法。
本申请还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的车辆轨迹预测方法及车辆轨迹预测模型的优化方法。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (32)

1.一种车辆轨迹预测方法，包括以下步骤：
基于地图数据生成以预测车辆为图片中心的环境静态图片；
基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片；
根据所述环境静态图片和所述环境动态图片生成环境状态图片；
基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息；
将当前帧的所述环境状态图片和当前帧中所述预测车辆的车辆状态信息作为输入数据输入预测模型；
从所述预测模型的输出端获取所述预测车辆的预测轨迹。
2.根据权利要求1所述的车辆轨迹预测方法，其特征在于，还包括，
获取所述预测车辆当前帧之后未来Y帧的轨迹真实值；
根据所述未来Y帧的轨迹真实值对所述预测模型进行优化；
其中，Y为正整数。
3.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述预测模型包括依次连接的主干神经网络、特征向量化模块、第一全连接网络、第二全连接网络和头部网络；
其中，所述当前帧的所述环境状态图片数据输入至所述主干神经网络；所述预测车辆的车辆状态信息数据输入至所述特征向量化模块。
4.根据权利要求3所述的车辆轨迹预测方法，其特征在于，所述头部网络包括长短时记忆网络组、第四全连接网络、第五全连接网络和逻辑回归函数网络，
其中，所述第二全连接网络输出的第一分支进入所述长短时记忆网络组，第二分支进入所述第四全连接网络后再进入所述逻辑回归函数网络，第三分支进入所述第五全连接网络。
5.根据权利要求4所述的车辆轨迹预测方法，其特征在于，所述逻辑回归函数网络输出所述预测车辆的M种行进模式，所述长短时记忆网络组输出所述预测车辆的M种行进模式的轨迹预测值，所述第五全连接网络输出所述预测车辆的M种行进模式对应的预测轨迹值与实际轨迹值的标准差；M为正整数。
6.根据权利要求4所述的车辆轨迹预测方法，其特征在于，所述长短时记忆网络组包括M个长短时记忆网络，所述M个长短时记忆网络分别与所述预测车辆的M种行进模式相对应；所述第二全连接网络输出的第一分支进入每一所述长短时记忆网络；每一所述长短时记忆网络输出所述预测车辆的M种行进模式中一种行进模式的预测轨迹值。
7.根据权利要求6所述的车辆轨迹预测方法，其特征在于，每一所述长短时记忆网络包括T个长短时记忆网络子块和T个第三全连接网络，所述T个长短时记忆网络子块组成子网络串；
其中，所述每一所述长短时记忆网络子块将其隐含变量分别输入与其对应的所述第三全连接网络；所述T个第三全连接网络中的每一第三全连接网络分别输出t+1，t+2，t+3，…，t+T-2，t+T-1，t+T时刻的所述预测轨迹值对应的像素坐标值；所述t+1，t+2，t+3，…，t+T-2，t+T-1时刻的所述预测轨迹值对应的像素坐标值分别作为第2个，第3个，…，第T个所述长短时记忆网络子块的输入端的输入量；t表示当前时刻值，T为正整数。
8.根据权利要求7所述的车辆轨迹预测方法，其特征在于，所述第二全连接网络输出的第一分支进入第1个所述长短时记忆网络子块的隐含变量输入端；第1个所述长短时记忆网络子块的单元变量输入端的输入量设为零，输入端的输入量设为零。
9.根据权利要求1所述的车辆轨迹预测方法，其特征在于，还包括对所述预测模型的优化方法，包括以下步骤：
从所述预测模型的输出端获取所述预测车辆的预测轨迹获取K种不同轨迹模式的未来长度为T帧的车辆轨迹的像素坐标预测值；
获取对应的预测车辆未来长度为T帧的轨迹真实值；
根据最大似然规则筛选所述预测模型的最优预测估计模式值；
计算所述预测模型的损失函数；
基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新；
其中，K为正整数，T为正整数。
10.根据权利要求9所述的车辆轨迹预测方法，其特征在于，所述根据最大似然规则筛选所述预测模型的最优预测估计模式值的算法包括：
Figure FDA0003208567490000031
其中：
Figure FDA0003208567490000032
其中
Figure FDA0003208567490000033
分别预测车辆i在第s种轨迹模式下t+m时刻的预测轨迹对应的像素坐标值，i是所述预测车辆的随机标识号；
ui，t+m、vi，t+m为预测车辆i在t+m时刻对应的未来轨迹真实值，
Figure FDA0003208567490000034
为预测车辆i在第s种轨迹模式下在t+m时刻的预测模型输出的标准差估计值，s为轨迹模式编号，
s*为获得的最优轨迹预测估计模式值。
11.根据权利要求9所述的车辆轨迹预测方法，其特征在于，所述计算所述预测模型的损失函数包括：
Figure FDA0003208567490000035
Figure FDA0003208567490000036
Figure FDA0003208567490000037
其中
Figure FDA00032085674900000311
表示在s＝s*为真时取值为1，其他情况取值为0；
其中，pi，s为预测车辆i在第s种轨迹模式下模型输出的概率估计，
Figure FDA0003208567490000038
是预测车辆i在t时刻对应K种不同轨迹模式的分类损失函数，
Figure FDA0003208567490000039
是预测车辆i在t时刻基于所述预测模型输出的轨迹坐标、所述预测模型输出的标准差及获取的轨迹真实值计算得到的最大似然损失函数，i是所述预测车辆的随机标识号；
γ是损失函数平衡权值，
Figure FDA00032085674900000310
为预测车辆i在t时刻的总和损失函数。
12.根据权利要求9所述的车辆轨迹预测方法，其特征在于，基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新包括：
基于所述损失函数形成约束准则：
Figure FDA0003208567490000041
基于所述约束准则采用随机梯度下降方法对模型权值
Figure FDA0003208567490000042
进行更新；
其中，I为预测车辆的总数目，N为估计时刻的总数。
13.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述车辆状态信息包括速度，加速度，航向角以及航向角角速度。
14.根据权利要求1所述的车辆轨迹预测方法，其特征在于，基于地图数据生成以预测车辆为图片中心的环境静态图片包括：
对所述图片的处理参数进行设定；
基于所述预测车辆的当前中心点坐标位置，获取半径为R的局部地图信息；
对所述局部地图信息中的道路中心线及道路边界线进行坐标转换；
确定所述环境静态图片的像素点RGB值；
基于所述像素点RGB值生成所述环境静态图片。
15.根据权利要求14所述的车辆轨迹预测方法，其特征在于，所述图片的处理参数包括初始分辨率、最终分辨率和图片像素与实际感知环境的尺度比例。
16.根据权利要求1所述的车辆轨迹预测方法，其特征在于，所述目标检测跟踪结果包括目标类别为车辆的目标物的检测跟踪结果，且所述目标检测跟踪结果包括当前帧及其过去连续若干帧图像的目标检测跟踪结果。
17.根据权利要求1所述的车辆轨迹预测方法，其特征在于，基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片包括：
获取所述目标类别为车辆的目标物的边界点的绝对坐标；
对所述目标物的所述绝对坐标进行坐标变换；
确定所述目标物在所述环境动态图片的像素点RGB值；
基于所述环境动态图片的像素点RGB值生成所述环境动态图片。
18.根据权利要求1所述的车辆轨迹预测方法，其特征在于，根据所述环境静态图片和所述环境动态图片生成环境状态图片包括：
将所述环境静态图片作为底图；
将所述环境动态图片包含的图片信息叠加在所述底图上；
以当前帧的所述预测车辆中心点为环境状态图片上的像素中心点；
将所述预测车辆航向角方向设为环境状态图片的正上方，生成所述环境状态图片。
19.根据权利要求18所述的车辆轨迹预测方法，其特征在于，生成环境状态图片还包括：对所述环境状态图片进行分辨率裁剪。
20.根据权利要求14所述的车辆轨迹预测方法，其特征在于，对所述道路中心线及道路边界线进行坐标转换包括：
将在RGB颜色表示方式下的全部像素点为纯黑色的图片作为所述环境静态图片的底图；
将所述预测车辆的中心点放在所述底图的中心，并将所述预测车辆的航向角方向设为所述底图的正上方；
将所述道路中心线及道路边界线的坐标由世界坐标系中的绝对坐标，转换至以所述预测车辆为原点、所述预测车辆的航向角方向为y轴正方向的笛卡尔坐标系中的相对坐标；
将所述道路中心线及道路边界线的相对坐标转换为，以所述预测车辆中心点为所述环境静态图片上的像素中心点、所述预测车辆的航向角方向为所述环境静态图片的正上方的像素坐标。
21.根据权利要求20所述的车辆轨迹预测方法，其特征在于，将所述绝对坐标转换为所述像素坐标的转换公式包括：
u＝uimage_center+(((x-xcenter)*cosθ+(y-ycenter)*sinθ)/scale)
Figure FDA0003208567490000051
其中，x、y表示世界坐标系中的绝对坐标的横坐标和纵坐标，
u、v表示像素点横坐标和纵坐标，
xcenter、ycenter表示预测车辆中心点的绝对坐标，
uimage_center、vimage_center，表示环境图片的中心像素点坐标，其对应于预测车辆中心点在图片上的像素点坐标，
θ为预测车辆的航向角，
scale为图片像素与实际感知环境的尺度比例。
22.根据权利要求20所述的车辆轨迹预测方法，其特征在于，确定所述环境静态图片的像素点RGB值包括，
将所述道路边界线包围的多边形区域内的像素点，标记为RGB颜色表示方式下的纯白色像素点，所述多边形区域对应于所述预测车辆的可行驶区域；
所述道路中心线中的点根据该点的航向角与所述预测车辆的航向角的偏差角度来确定其RGB值。
23.根据权利要求22所述的车辆轨迹预测方法，其特征在于，所述道路中心线中的点根据该点的航向角与所述预测车辆的航向角的偏差角度来确定其RGB值包括：
通过
Figure FDA0003208567490000061
确定该点在HSV颜色表示方式的V分量的值；
其中，π为圆周率，
Figure FDA0003208567490000062
为所述道路中心线中的点的航向角，θ为所述预测车辆的航向角，V为用HSV描述点像素时的V分量；并取H＝240度，S＝1；
将所述HSV颜色表示方式的值转换为对应的RGB颜色表示方式的值。
24.根据权利要求22所述的车辆轨迹预测方法，其特征在于，生成所述环境静态图片包括：
在所述环境静态图片的底图上，基于所述道路边界线包围的可行驶区域和所述道路中心线的像素点坐标及所述像素点RGB值，生成包括所述预测车辆周围的道路中心线和可行驶区域的环境静态图片。
25.根据权利要求17所述的车辆轨迹预测方法，其特征在于，所述目标物对应所述当前帧及其过去连续若干帧图像的目标检测跟踪结果的每一帧中的矩形区域，所述矩形区域由所述目标物的边界点的绝对坐标构成。
26.根据权利要求25所述的车辆轨迹预测方法，其特征在于，确定所述目标物在所述环境动态图片的像素点RGB值包括：
通过
Figure FDA0003208567490000071
确定所述目标物对应的矩形区域中的像素点在HSV颜色表示方式的V分量的值；
其中，Nframes为所述连续若干帧的总帧数，Nposition为所述矩形区域所在帧在所述连续若干帧中的帧序号数；
对所述预测车辆，取H＝0度；对非预测车辆，取H＝60度；并取S＝1；将所述HSV颜色表示方式的值转换为对应的RGB颜色表示方式的值。
27.根据权利要求3所述的车辆轨迹预测方法，其特征在于，所述第一全连接网络的输入维度和输出维度分别为4098和256；所述第二全连接网络的输入维度和输出维度分别为256和64。
28.根据权利要求4所述的车辆轨迹预测方法，其特征在于，所述第四全连接网络的输入维度和输出维度分别为64和5；所述第五全连接网络的输入维度和输出维度分别为64和5。
29.根据权利要求7所述的车辆轨迹预测方法，其特征在于，所述第三全连接网络的输入维度和输出维度分别为64和2。
30.一种车辆轨迹预测模型的优化方法，包括以下步骤：
通过预处理获取环境状态图片和预测车辆的车辆状态信息，并获取对应的预测车辆未来长度为T帧的轨迹真实值；
将所述环境图片及所述预测车辆的车辆状态信息输入所述预测模型，得到K种不同轨迹模式的未来长度为T帧的所述预测车辆的预测轨迹值对应的像素坐标值；
根据最大似然规则筛选所述预测模型的最优预测估计模式值；
计算所述预测模型的损失函数；
基于所述损失函数形成约束准则，并基于所述约束准则采用特定算法对所述预测模型的权值进行更新；
其中，K为正整数，T为正整数。
31.根据权利要求30所述车辆轨迹预测模型的优化方法，其特征在于，通过预处理获取环境状态图片和预测车辆的车辆状态信息包括：
基于地图数据生成以预测车辆为图片中心的环境静态图片；
基于目标检测跟踪结果生成以预测车辆为图片中心的环境动态图片；
根据所述环境静态图片和所述环境动态图片生成环境状态图片；
基于所述目标检测跟踪结果获取所述预测车辆的车辆状态信息。
32.根据权利要求30所述的车辆轨迹预测模型的优化方法，其特征在于，所述预测模型包括依次连接的主干神经网络、特征向量化模块、第一全连接网络、第二全连接网络和头部网络；
其中，当前帧的所述环境状态图片数据输入至所述主干神经网络；所述预测车辆的车辆状态信息数据输入至所述特征向量化模块。
CN202110927472.1A 2021-08-12 2021-08-12 车辆轨迹预测方法和车辆轨迹预测模型的优化方法 Active CN113570595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110927472.1A CN113570595B (zh) 2021-08-12 2021-08-12 车辆轨迹预测方法和车辆轨迹预测模型的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110927472.1A CN113570595B (zh) 2021-08-12 2021-08-12 车辆轨迹预测方法和车辆轨迹预测模型的优化方法

Publications (2)

Publication Number Publication Date
CN113570595A true CN113570595A (zh) 2021-10-29
CN113570595B CN113570595B (zh) 2023-06-20

Family

ID=78171527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110927472.1A Active CN113570595B (zh) 2021-08-12 2021-08-12 车辆轨迹预测方法和车辆轨迹预测模型的优化方法

Country Status (1)

Country Link
CN (1) CN113570595B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114323005A (zh) * 2021-12-28 2022-04-12 上汽大众汽车有限公司 一种微小分歧道路的定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085483A (ja) * 2014-10-22 2016-05-19 株式会社デンソー 運転支援装置
CN109711557A (zh) * 2018-12-28 2019-05-03 西安航空学院 一种行车轨迹预测方法、系统、计算机设备及存储介质
CN109712421A (zh) * 2019-02-22 2019-05-03 百度在线网络技术（北京）有限公司 自动驾驶车辆的速度规划方法、装置和存储介质
US20200117194A1 (en) * 2018-10-11 2020-04-16 Apollo Japan Co., Ltd. Control method of automatic driving imported "smart gains" model, device and program
CN111583715A (zh) * 2020-04-29 2020-08-25 宁波吉利汽车研究开发有限公司 一种车辆轨迹预测方法、车辆碰撞预警方法、装置及存储介质
CN112347993A (zh) * 2020-11-30 2021-02-09 吉林大学 一种基于车辆-无人机协同的高速公路车辆行为和轨迹预测方法
CN112465273A (zh) * 2020-12-25 2021-03-09 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113112524A (zh) * 2021-04-21 2021-07-13 智道网联科技(北京)有限公司 自动驾驶中移动对象的轨迹预测方法、装置及计算设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016085483A (ja) * 2014-10-22 2016-05-19 株式会社デンソー 運転支援装置
US20200117194A1 (en) * 2018-10-11 2020-04-16 Apollo Japan Co., Ltd. Control method of automatic driving imported "smart gains" model, device and program
CN109711557A (zh) * 2018-12-28 2019-05-03 西安航空学院 一种行车轨迹预测方法、系统、计算机设备及存储介质
CN109712421A (zh) * 2019-02-22 2019-05-03 百度在线网络技术（北京）有限公司 自动驾驶车辆的速度规划方法、装置和存储介质
CN111583715A (zh) * 2020-04-29 2020-08-25 宁波吉利汽车研究开发有限公司 一种车辆轨迹预测方法、车辆碰撞预警方法、装置及存储介质
CN112347993A (zh) * 2020-11-30 2021-02-09 吉林大学 一种基于车辆-无人机协同的高速公路车辆行为和轨迹预测方法
CN112465273A (zh) * 2020-12-25 2021-03-09 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法
CN113076599A (zh) * 2021-04-15 2021-07-06 河南大学 一种基于长短时记忆网络的多模态车辆轨迹预测方法
CN113112524A (zh) * 2021-04-21 2021-07-13 智道网联科技(北京)有限公司 自动驾驶中移动对象的轨迹预测方法、装置及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING LIU等: "modeling，autopilot design，and field tuning of a UAV with minimum control surfaces", 《IEEE TRANSACTION ON CONTROL SYSTEM TECHNOLOGY》, pages 2353 - 2360 *
李哲: "基于改进的隐马尔科夫模型的车辆轨迹预测", 《CNKI优秀硕士学位论文全文库 工程科技Ⅱ辑》, no. 03, pages 034 - 990 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114323005A (zh) * 2021-12-28 2022-04-12 上汽大众汽车有限公司 一种微小分歧道路的定位方法
CN114323005B (zh) * 2021-12-28 2023-08-11 上汽大众汽车有限公司 一种微小分歧道路的定位方法

Also Published As

Publication number Publication date
CN113570595B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
Adarsh et al. YOLO v3-Tiny: Object Detection and Recognition using one stage improved model
Fan et al. Learning collision-free space detection from stereo images: Homography matrix brings better data augmentation
Li et al. Deep neural network for structural prediction and lane detection in traffic scene
EP3686779B1 (en) Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN111860155A (zh) 一种车道线的检测方法及相关设备
Tao et al. Scene context-driven vehicle detection in high-resolution aerial images
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN107545263A (zh) 一种物体检测方法及装置
CN111126459A (zh) 一种车辆细粒度识别的方法及装置
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN111382686A (zh) 一种基于半监督生成对抗网络的车道线检测方法
Zhang et al. End to end video segmentation for driving: Lane detection for autonomous car
CN111291690A (zh) 路线规划方法、路线规划装置、机器人及介质
CN110704652A (zh) 基于多重注意力机制的车辆图像细粒度检索方法及装置
CN111428566B (zh) 一种形变目标跟踪系统及方法
CN115690153A (zh) 一种智能体轨迹预测方法及系统
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN113570595B (zh) 车辆轨迹预测方法和车辆轨迹预测模型的优化方法
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN116434532A (zh) 一种基于策略意图的交叉口轨迹预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant