CN116524473A - 一种车道线缺损场景中的障碍物目标轨迹预测系统及方法 - Google Patents

一种车道线缺损场景中的障碍物目标轨迹预测系统及方法 Download PDF

Info

Publication number
CN116524473A
CN116524473A CN202310805571.1A CN202310805571A CN116524473A CN 116524473 A CN116524473 A CN 116524473A CN 202310805571 A CN202310805571 A CN 202310805571A CN 116524473 A CN116524473 A CN 116524473A
Authority
CN
China
Prior art keywords
obstacle
lane
track
target
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310805571.1A
Other languages
English (en)
Inventor
聂荣佶
孙浩
蒋海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anngic Technology Co ltd
Original Assignee
Shenzhen Anngic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anngic Technology Co ltd filed Critical Shenzhen Anngic Technology Co ltd
Priority to CN202310805571.1A priority Critical patent/CN116524473A/zh
Publication of CN116524473A publication Critical patent/CN116524473A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车道线缺损场景中的障碍物目标轨迹预测系统及方法，系统包括车道线生成模块、意图识别模块、轨迹生成模块和轨迹筛选模块；车道线生成模块对车道场景进行特征提取并输出图像坐标系下的车道线方程信息；意图识别模块对障碍物目标进行意图识别；轨迹生成模块根据障碍物目标意图确定障碍物的目标车道，确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划，生成一条轨迹，通过采样不同的变道完成时间来生成同一意图下的轨迹集合；轨迹筛选模块在轨迹集合中通过最小化成本函数来选择最佳预测轨迹。本发明提高了对于该场景下的障碍物目标的意图识别准确率和置信度，提高了该场景下的障碍物目标预测轨迹的准确性和置信度。

Description

一种车道线缺损场景中的障碍物目标轨迹预测系统及方法
技术领域
本发明属于自动驾驶技术领域，更具体地，涉及一种车道线缺损场景中的障碍物目标轨迹预测系统及方法。
背景技术
自动驾驶中，轨迹预测模块一般位于感知模块的后端，规划控制模块的前端，为承上启下的模块。轨迹预测模块输入为感知模块提供的目标跟踪的状态信息、道路结构信息，综合考量高精地图信息、目标之间的交互信息，环境的语义信息及目标的意图信息，输出为对感知到的各类目标障碍物做出意图预测（例如左变道Left_Lane_Change、右变道Right_Lane_Change、沿当前车道Lane_Follow）以及未来一段时间（一般是0-5s不等）的轨迹预测。
障碍物目标轨迹预测现有技术方法有很多，包括机器学习，深度学习端到端方法，也有基于规则的two-stage（两阶段）的 方法，一般地先对障碍物进行意图识别然后基于识别的意图进行轨迹生成和筛选；其中意图识别准确性依赖于道路车道线，对于没有车道线的路段场景目标障碍物的意图识别很困难，意图识别的准确性很难提高。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种车道线缺损场景中的障碍物目标轨迹预测系统及方法，旨在解决现有技术中由于城区车道线模糊，无车道线场景导致车道线缺损路段场景的障碍物目标的意图识别难轨迹预测难的问题。
本发明提供了一种车道线缺损场景中的障碍物目标轨迹预测系统，包括依次连接的车道线生成模块、意图识别模块、轨迹生成模块和轨迹筛选模块；所述车道线生成模块用于对车道场景进行特征提取，并输出图像坐标系下的车道线方程信息；所述意图识别模块用于根据世界坐标系下车道线信息和实时获取的障碍物目标信息对障碍物目标进行意图识别；所述轨迹生成模块用于根据障碍物目标意图确定障碍物的目标车道，确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划，生成一条轨迹，并通过采样不同的变道完成时间来生成同一意图下的轨迹集合；所述轨迹筛选模块用于在轨迹集合中通过最小化成本函数来选择最佳预测轨迹。
更进一步地，还包括坐标转换模块，设置在车道线生成模块和意图识别模块之间，用于通过对图像上的车道线进行均匀采样进行坐标转换至世界坐标，对转换后的世界坐标的点进行3次多项式曲线拟合获取世界坐标系下车道线方程信息。
更进一步地，所述意图识别模块包括：第一识别单元、第二识别单元和第三识别单元；所述第一识别单元用于识别左变道意图；所述第二识别单元用于识别右变道意图；所述第三识别单元用于识别沿着当前车道意图。
更进一步地，所述轨迹筛选模块选择最佳预测轨迹的原则为：普通驾驶员会寻求最小化当前机动的持续时间，也会尝试保持一些驾驶舒适度并避免振荡和超调。
本发明还提供了一种车道线缺损场景中的障碍物目标轨迹预测方法，包括下述步骤：
S1：通过深度CNN 卷积网络提取特征，采用自注意力结构设计神经网络实现模型直接输出图像坐标系下的车道线方程参数实现端到端生成场景图像中的车道线，使无车道线场景障碍物轨迹预测问题转化成有车道线场景障碍物轨迹预测问题；
S2：根据生成的车道线信息和通过传感器感知得到的障碍物目标的一段时间的历史位置，方位角，车速，车尾灯等信息对障碍物目标进行意图识别；
S3：根据障碍物目标意图确定障碍物的目标车道并确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划并生成一条轨迹：
S4：通过最小化成本函数选择最佳轨迹。
其中，意图包括左变道，右变道或者沿着当前车道。
更进一步地，识别左变道意图的障碍物满足条件：靠近当前车道左边线的切向速度满足阈值且距离车道左边线距离达到阈值时。其中，阈值可以根据实车数据统计出来，是一个超参数。具体地，通过大量实车采集的车辆路况数据，统计出车辆一般在变道时的切向速度范围，同时统计出车辆在不变道时也可能有随机的靠近车道边线的切向速度范围，将阈值设置在二者中间用于区分开是否会变道。
本发明实施例中，将阈值设置为 0.3 m/s,也就认为车辆会变道时，切向速度一般会大于0.3m/s 。
同理统计出车辆变道与不变道时距离车道边界的范围，在中间设置一个距离阈值， 本发明实施例中距离车道边线0.3m，当距离车道边线没有小于0.3m时，认为不会变道。
更进一步地，识别右变道意图的障碍物满足条件：靠近当前车道右边线的切向速度满足阈值且距离车道右边线距离达到阈值时。
更进一步地，识别沿当前车道意图的障碍物满足条件：
无法获取没有历史轨迹信息的障碍物；
历史时间间隔之内属于不同车道的障碍物，即刚变道完成的障碍物；
障碍物历史轨迹中断的障碍物丢失轨迹时间长度大于时间阈值；
障碍物历史轨迹的时间长度不满足时间阈值条件；
沿着车道行使的障碍物。其中时间阈值一般设置为1s~2s。
更进一步地，步骤S4中，普通驾驶员会寻求最小化当前机动的持续时间，也会尝试保持一些驾驶舒适度并避免振荡和超调。
通过本发明所构思的以上技术方案，与现有技术相比，提高了对于该场景下的障碍物目标的意图识别准确率和置信度，提高了该场景下的障碍物目标预测轨迹的准确性和置信度。
附图说明
图1是本发明实施例提供的车道线缺损场景中的障碍物目标轨迹预测系统的结构示意图；
图2为本发明实施例提供的基于Transformer结构的神经网络实现端到端神经网络模型体系架构；
图3是本发明实施例提供的车道线缺损场景中的障碍物目标轨迹预测方法的实现流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明先通过深度学习神经网络方法推理生成出车道线缺损场景下的车道线，基于生成的车道线信息对障碍物目标进行意图识别和轨迹预测，在意图识别和轨迹预测中增加了创新策略，可以解决现有技术中城区车道线模糊，车道线缺损路段场景的障碍物目标的轨迹预测难的问题；提高对于该场景下的障碍物目标的意图识别准确率和置信度，提高该场景下的障碍物目标预测轨迹的准确性和置信度。
基于规则的two-stage（两阶段）的 轨迹预测方法是先对障碍物意图识别然后再进行轨迹生成和筛选，其中意图识别依赖道路车道线的检测与识别，对于没有车道线的路段场景则无法进行意图识别，或者说意图识别准确性不高，导致该场景下的障碍物目标轨迹预测成为难点；本发明主要解决的是城区车道线模糊，车道线难以检测场景，车道线缺损这些场景的障碍物目标的轨迹预测问题。
图1示出了本发明实施例提供的车道线缺损场景中的障碍物目标轨迹预测系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分，现详述如下：
车道线缺损场景中的障碍物目标轨迹预测系统包括依次连接的车道线生成模块、意图识别模块、轨迹生成模块和轨迹筛选模块，车道线生成模块用于对车道场景进行特征提取，并输出图像坐标系下的车道线方程信息，通过对图像上的车道线进行均匀采样进行坐标转换至世界坐标，对转换后的世界坐标的点进行3次多项式曲线拟合获取世界坐标系下车道线方程信息；意图识别模块用于根据世界坐标系下车道线信息和实时获取的障碍物目标信息对障碍物目标进行意图识别；轨迹生成模块用于根据障碍物目标意图确定障碍物的目标车道，确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划，生成一条轨迹，通过采样不同的变道完成时间来生成同一意图下的轨迹集合；轨迹筛选模块用于在轨迹集合中通过最小化成本函数来选择最佳预测轨迹。
在本发明实施例中，训练一个网络模型用于对无车道线场景的车道线生成，在推理阶段该网络模型生成该场景的车道线属于车道线生成模块，经过世界坐标系车道线转换模块得到世界坐标系下车道线方程信息，世界坐标车道线信息输入给意图识别模块，意图识别模块的输出传给轨迹生成模块和轨迹筛选模块，最后输出得到障碍物目标的未来预测轨迹。
作为本发明的一个实施例，车道线生成模块是通过基于Transfomer结构注意力机制的端到端神经网络，对车道场景进行特征提取、推理后直接预测输出图像坐标系下的车道线方程参数，实现端到端的车道线生成。
参数方程为：，式中，（u，v）表示为在图像中的像素坐标，/>是视觉传感器的内部和外部参数。
在本发明实施例中，神经网络模型推理生成出车道线的具体过程包括：神经网络模型生成出各图像帧中的车道线包括通过基于Transfomer结构的端到端车道线检测神经网络进行参数预测，同时通过端到端车道线检测神经网络得出图坐标系下的车道线方程参数，来检测图像帧中的车道线，所述车道线方程公式为：；式中，（u,v）表示为在图像中的像素坐标，/>是视觉传感器的内部和外部参数。
如图2所示，示出本实施例的基于Transformer结构的神经网络实现端到端神经网络模型体系架构，具体包括神经网络主干（Backbone）21、简化transformer网络22、多个用于参数预测的前馈网络（FFNs）23和匈牙利损失模块24。给定输入图像 I，神经网络主干提取低分辨率特征，然后通过压缩空间维度将其压缩成一个序列 S。S和位置嵌入 Ep 馈入Transformer， Encoder（编码器）以输出表示序列 Se。然后，Decoder（解码器）首先处理一个初始查询序列 Sq 和一个隐式学习位置差异的学习位置嵌入 ELL 生成输出序列 Sd，计算与 Se 和 Ep 的交互以处理相关特征。最后，由多种FFNs直接对所提出的输出参数进行预测。并可进一步地拟合损失，通过匈牙利拟合损失在预测参数和真值车道之间进行二分匹配。匈牙利算法有效地解决了匹配问题。然后将匹配结果用于优化特定车道的回归损失。图2中，S、Se和Ep表示扁平特征序列、编码序列和正弦位置嵌入，它们都是形状为HW×C的张量。Sq、ELL和Sd表示查询序列、学习车道嵌入和解码序列均。
本发明实施例提供的神经网络模型改进为：神经网络主干（Backbone）：神经网络主干主要基于Resnet18做改进，在减量的Resnet18结构中，通过减少通道数减少特征提取层的参数避免过拟合。通过浅层特征增加通道，深层特征减少通道，更高效地提取车道线结构细节信息，以增强网络对车道线空间结构特征提取；例如车道线纹理，颜色，细长结构等，从而提高模型的检测率。
其中，ResNet18输出通道切割为16、32、64、128四个块，并将下采样系数设置为8，以强化神经网络主干对输入图像提取低分辨率特征能力；其中，对车道线的高级空间表示进行编码为H×W×C；在构建用于编码器输入的序列时将该特征在空间维度上展平，得到尺寸为HW×C的序列S，其中HW表示序列的长度，C表示频道的数量，将该序列S作为编码器的输入。
具体地，ResNet18有四个块和将样本特征减少16倍。每个块的输出通道数分别是“64、128、256、512”。本实施例中，发明人将ResNet18输出通道减少为“16、32、64、128”，以避免过度拟合，并将下采样系数设置为8，以减少车道结构细节的损失。例如，在第一个块中，通常是4层3×3卷积，本实施例优选减少为2层3×3卷积。当向神经网络主干（Backbone）输入图像时，神经网络主干对输入图像提取低分辨率特征能力得到强化，对车道的高级空间表示进行编码尺寸为H×W×C。为构建用于编码器输入的序列，优选为将该特征在空间维度上展平，得到尺寸为HW×C的序列S，其中HW表示序列的长度，C表示频道的数量。经过发明人试验后，发现通过上述神经网络模型的检测率能提高5%以上
本发明实施例提供的神经网络模型输出的改进之处为：从共享曲率参数改进为非共享曲率参数，使模型具备对不同车道线各自拟合和检测能提高模型的泛化性和准确率。
本发明实施例提供的训练方式也有所改进，具体包括以下训练：
（1）将车道线采样点稀疏采样方式改成远端密近端疏不均匀采样进行训练；
（2）将各条车道线的损失权重系数调成一致。
在本发明实施例中，意图识别模块基于生成的车道线信息和传感器感知得到的障碍物目标的一段连续时间的历史位置，车速等信息对障碍物目标进行意图识别；其中意图包括左变道，右变道或者沿着当前车道。
意图识别为Lane_Follow（沿当前车道意图）的障碍物满足条件：
无法获取没有历史轨迹信息的障碍物；历史时间间隔之内属于不同车道的障碍物，即刚变道完成的障碍物；
障碍物历史轨迹中断的障碍物丢失轨迹时间长度大于时间阈值；
障碍物历史轨迹的时间长度不满足时间阈值条件；
沿着车道行使的障碍物。
意图识别为Left_Lane_Change（左变道意图）的障碍物满足条件：
靠近当前车道左边线的切向速度满足阈值且距离车道左边线距离达到阈值时。
意图识别为Right_Lane_Change（右变道意图）的障碍物满足条件：靠近当前车道右边线的切向速度满足阈值且距离车道右边线距离达到阈值时。
在本发明实施例中，轨迹生成模块可以根据意图识别模块得到的障碍物目标意图确定障碍物的目标车道，确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划，生成一条轨迹，通过采样不同的变道完成时间来生成同一意图下的轨迹集合。
在本发明实施例中，轨迹筛选模块可以通过最小化成本函数来选择最佳轨迹：根据先验，普通驾驶员会寻求最小化当前机动的持续时间，但也会尝试保持一些驾驶舒适度并避免振荡和超调。
轨迹的成本函数定义为：C（T （n） ） = max （a̅ （t）） + w · t （n） ；其中a̅ （t）是机动期间给定时间 t 处的车辆法向加速度的范数， t （n） 是轨迹的持续时间，w是一个正加权系数。可能会考虑计算其在整个机动过程中的法向加速度平均值。
T man = argmin（C（T （n） ）） n = 1...z；
T man 是具有最小成本的轨迹，即为障碍物目标的预测轨迹。
本发明可以解决无车道线场景的障碍物目标的轨迹预测难题，这种场景下意图的准确性和轨迹预测的准确性和先有方法比较都有很大提高，并且可理解性增强，耗时更少。
在本发明实施例中，轨迹预测应用于自动驾驶决策规划的上游，为决策规划提供一段时间（轨迹预测时间，6秒内）的障碍物目标的未来轨迹，提前发现潜在碰撞风险，降低交通事故率。
图3示出了本发明实施例提供的车道线缺损场景中的障碍物目标轨迹预测方法，具体包括：
S1：通过深度CNN 卷积网络提取特征，采用自注意力结构设计神经网络实现模型直接输出图像坐标系下的车道线方程参数实现端到端生成场景图像中的车道线，使无车道线场景障碍物轨迹预测问题转化成有车道线场景障碍物轨迹预测问题。
S2：根据生成的车道线信息和通过传感器感知得到的障碍物目标的一段时间的历史位置，方位角，车速，车尾灯等信息对障碍物目标进行意图识别。
S3：根据意图识别模块得到的障碍物目标意图确定障碍物的目标车道，确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划，生成一条轨迹：
Frenet 坐标系轨迹，车辆从初始状态到终止状态/>的轨迹的横向分量/>和纵向分量/>均可以建模为五次多项式。
其中，表示是Frenet 坐标系纵向位置，/>表示Frenet 坐标系纵向速度，/>表示Frenet 坐标系纵向加速度，/>表示Frenet 坐标系横向位置，/>表示Frenet 坐标系横向速度，/>表示Frenet 坐标系横向加速度。
横向分量描述:每条轨迹的横向分量形式为为多项式系数。
纵向分量描述:由于未知，失去一个自由度，轨迹的纵向分量将被建模为四次多项式/>为多项式系数。
在最终状态假设车辆刚好在其预期车道的中心线上移动，并且在机动过程中具有恒定的纵向加速度。
可解一组系数，得到单条轨迹横向路径。
同理可解一组系数，得到单条轨迹纵向路径。至此，确定生成出一条预测轨迹。
通过采样不同的变道完成时间来生成同一意图下的轨迹集合。
S4：通过最小化成本函数来选择最佳轨迹:根据先验，普通驾驶员会寻求最小化当前机动的持续时间，但也会尝试保持一些驾驶舒适度并避免振荡和超调。
；
是具有最小成本的轨迹，即为障碍物目标的预测轨迹。
本发明主要是针对车道线缺损场景下的障碍物目标轨迹预测的难点问题，通过神经网络模型生成出车道线，将问题转变成有车道线场景下的障碍物目标的轨迹预测问题。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车道线缺损场景中的障碍物目标轨迹预测系统，其特征在于，包括依次连接的车道线生成模块、意图识别模块、轨迹生成模块和轨迹筛选模块；
所述车道线生成模块用于对车道场景进行特征提取，并输出图像坐标系下的车道线方程信息；
所述意图识别模块用于根据世界坐标系下车道线信息和实时获取的障碍物目标信息对障碍物目标进行意图识别；
所述轨迹生成模块用于根据障碍物目标意图确定障碍物的目标车道，确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划，生成一条轨迹，并通过采样不同的变道完成时间来生成同一意图下的轨迹集合；
所述轨迹筛选模块用于在轨迹集合中通过最小化成本函数来选择最佳预测轨迹。
2.如权利要求1所述的障碍物目标轨迹预测系统，其特征在于，还包括坐标转换模块，设置在车道线生成模块和意图识别模块之间，用于通过对图像上的车道线进行均匀采样进行坐标转换至世界坐标，对转换后的世界坐标的点进行3次多项式曲线拟合获取世界坐标系下车道线方程信息。
3.如权利要求1或2所述的障碍物目标轨迹预测系统，其特征在于，所述意图识别模块包括：第一识别单元、第二识别单元和第三识别单元；
所述第一识别单元用于识别左变道意图；所述第二识别单元用于识别右变道意图；所述第三识别单元用于识别沿着当前车道意图。
4.如权利要求1所述的障碍物目标轨迹预测系统，其特征在于，所述轨迹筛选模块选择最佳预测轨迹的原则为：普通驾驶员会寻求最小化当前机动的持续时间，也会尝试保持一些驾驶舒适度并避免振荡和超调。
5.一种车道线缺损场景中的障碍物目标轨迹预测方法，其特征在于，包括下述步骤：
S1：通过深度CNN 卷积网络提取特征，采用自注意力结构设计神经网络实现模型直接输出图像坐标系下的车道线方程参数实现端到端生成场景图像中的车道线，使无车道线场景障碍物轨迹预测问题转化成有车道线场景障碍物轨迹预测问题；
S2：根据生成的车道线信息和通过传感器感知得到的障碍物目标的一段时间的历史位置，方位角，车速，车尾灯等信息对障碍物目标进行意图识别；
S3：根据障碍物目标意图确定障碍物的目标车道并确定目标参考线，基于障碍物的初始状态到终止状态的轨迹规划并生成一条轨迹：
S4：通过最小化成本函数选择最佳轨迹。
6.如权利要求5所述的障碍物目标轨迹预测方法，其特征在于，意图包括左变道，右变道或者沿着当前车道。
7.如权利要求6所述的障碍物目标轨迹预测方法，其特征在于，识别左变道意图的障碍物满足条件：靠近当前车道左边线的切向速度满足阈值且距离车道左边线距离达到阈值时。
8.如权利要求6所述的障碍物目标轨迹预测方法，其特征在于，识别右变道意图的障碍物满足条件：靠近当前车道右边线的切向速度满足阈值且距离车道右边线距离达到阈值时。
9.如权利要求6所述的障碍物目标轨迹预测方法，其特征在于，识别沿当前车道意图的障碍物满足条件：
无法获取没有历史轨迹信息的障碍物；
历史时间间隔之内属于不同车道的障碍物，即刚变道完成的障碍物；
障碍物历史轨迹中断的障碍物丢失轨迹时间长度大于时间阈值；
障碍物历史轨迹的时间长度不满足时间阈值条件；
沿着车道行使的障碍物。
10.如权利要求5-9任一项所述的障碍物目标轨迹预测方法，其特征在于，步骤S4中，普通驾驶员会寻求最小化当前机动的持续时间，也会尝试保持一些驾驶舒适度并避免振荡和超调。
CN202310805571.1A 2023-07-03 2023-07-03 一种车道线缺损场景中的障碍物目标轨迹预测系统及方法 Pending CN116524473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310805571.1A CN116524473A (zh) 2023-07-03 2023-07-03 一种车道线缺损场景中的障碍物目标轨迹预测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310805571.1A CN116524473A (zh) 2023-07-03 2023-07-03 一种车道线缺损场景中的障碍物目标轨迹预测系统及方法

Publications (1)

Publication Number Publication Date
CN116524473A true CN116524473A (zh) 2023-08-01

Family

ID=87401527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310805571.1A Pending CN116524473A (zh) 2023-07-03 2023-07-03 一种车道线缺损场景中的障碍物目标轨迹预测系统及方法

Country Status (1)

Country Link
CN (1) CN116524473A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013075600A (ja) * 2011-09-30 2013-04-25 Nissan Motor Co Ltd 車両用走行制御装置
CN111428943A (zh) * 2020-04-23 2020-07-17 福瑞泰克智能系统有限公司 障碍物车辆轨迹预测的方法、设备和计算机设备
CN112949398A (zh) * 2021-01-29 2021-06-11 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置
CN114212110A (zh) * 2022-01-28 2022-03-22 中国第一汽车股份有限公司 障碍物轨迹预测方法、装置、电子设备及存储介质
CN114312840A (zh) * 2021-12-30 2022-04-12 重庆长安汽车股份有限公司 自动驾驶障碍目标轨迹拟合方法、系统、车辆及存储介质
CN114394095A (zh) * 2022-01-24 2022-04-26 东风汽车集团股份有限公司 基于侧前车变道意图识别的acc控制方法及装置
CN115230743A (zh) * 2022-09-23 2022-10-25 毫末智行科技有限公司 一种障碍物轨迹预测的方法、系统、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013075600A (ja) * 2011-09-30 2013-04-25 Nissan Motor Co Ltd 車両用走行制御装置
CN111428943A (zh) * 2020-04-23 2020-07-17 福瑞泰克智能系统有限公司 障碍物车辆轨迹预测的方法、设备和计算机设备
CN112949398A (zh) * 2021-01-29 2021-06-11 成都安智杰科技有限公司 车道线检测方法、测距方法及对应装置
CN114312840A (zh) * 2021-12-30 2022-04-12 重庆长安汽车股份有限公司 自动驾驶障碍目标轨迹拟合方法、系统、车辆及存储介质
CN114394095A (zh) * 2022-01-24 2022-04-26 东风汽车集团股份有限公司 基于侧前车变道意图识别的acc控制方法及装置
CN114212110A (zh) * 2022-01-28 2022-03-22 中国第一汽车股份有限公司 障碍物轨迹预测方法、装置、电子设备及存储介质
CN115230743A (zh) * 2022-09-23 2022-10-25 毫末智行科技有限公司 一种障碍物轨迹预测的方法、系统、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUIJIN LIU等: "End-to-end Lane Shape Prediction with Transformers", ARXIV:2011.04233V2 [CS.CV], pages 1 - 9 *
SHENGJIE KOU等: "Lane Change Intention Recognitionfor Intelligent Connected Vehicle Using Trajectory Prediction", CICTP 2020, pages 389 - 400 *

Similar Documents

Publication Publication Date Title
CN112965499B (zh) 基于注意力模型和深度强化学习的无人车行驶决策方法
CN111582201B (zh) 一种基于几何注意力感知的车道线检测系统
CN111930110A (zh) 一种结合社会生成对抗网络的意图轨迹预测方法
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112614373B (zh) 一种基于BiLSTM周车换道意图预测方法
CN112793576B (zh) 一种基于规则与机器学习融合的换道决策方法及系统
CN114724392B (zh) 一种快速路出口匝道与邻接交叉口动态信号控制方法
CN114462667A (zh) 一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法
CN113627239B (zh) 一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法
CN115158364A (zh) 一种自动驾驶汽车对周车驾驶意图和轨迹联合预测的方法
Hu et al. A video streaming vehicle detection algorithm based on YOLOv4
CN111652129A (zh) 一种基于语义分割和多特征融合的车辆前障碍物检测方法
CN117141517A (zh) 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法
CN112706785A (zh) 一种自动驾驶车辆行驶环境认知目标选择方法、装置及存储介质
CN109919107B (zh) 一种基于深度学习的交警手势识别方法及无人车
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
CN113435356B (zh) 一种克服观察噪声与感知不确定性的轨迹预测方法
CN111160089B (zh) 一种基于不同车辆类型的轨迹预测系统及方法
CN115171428B (zh) 一种基于视觉感知的车辆切入预警方法
CN116524473A (zh) 一种车道线缺损场景中的障碍物目标轨迹预测系统及方法
CN113392812B (zh) 基于深度神经网络的道路车道线检测方法及系统
CN114612867A (zh) 一种基于BiLSTM-CRF模型的车辆变道意图预测的方法
KR20230117126A (ko) 프레임 드롭핑을 갖는 데이터세트에 대한 시퀀스 프로세싱
EP3923200A1 (en) Prediction of future sensory observations of a distance ranging device
Shi et al. Attention-YOLOX: Improvement in On-Road Object Detection by Introducing Attention Mechanisms to YOLOX

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230801