CN116071723A - 一种缺失车道线补全方法、系统、车辆及存储介质 - Google Patents

一种缺失车道线补全方法、系统、车辆及存储介质 Download PDF

Info

Publication number
CN116071723A
CN116071723A CN202310190999.XA CN202310190999A CN116071723A CN 116071723 A CN116071723 A CN 116071723A CN 202310190999 A CN202310190999 A CN 202310190999A CN 116071723 A CN116071723 A CN 116071723A
Authority
CN
China
Prior art keywords
lane line
track
vehicle
network
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310190999.XA
Other languages
English (en)
Inventor
吕波
胡誉文
肖友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202310190999.XA priority Critical patent/CN116071723A/zh
Publication of CN116071723A publication Critical patent/CN116071723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及车辆智能驾驶技术领域，提供了一种缺失车道线补全方法、系统、车辆及存储介质，方法包括以下步骤：采集车道信息，形成数据集，将所述数据集导入深度学习网络模型，训练网络，使得网络可以依据周车历史轨迹预测车辆未来轨迹；对所述网络输出的车辆的预测轨迹和车道线轨迹进行拟合；进行回归分析，与所述预测轨迹附近的所述车道线轨迹拟合曲线进行匹配，得到匹配拟合曲线的数学模型，通过所述数学模型，得到车道线与车辆行驶轨迹的拟合曲线的关系；基于拟合的所述车道线轨迹，结合自车位置，对车道线进行补全。本发明针对车道线缺失，或者车道线模糊的场景，能够较高精度的实现对车道线的补全。

Description

一种缺失车道线补全方法、系统、车辆及存储介质
技术领域
本发明涉及车辆智能驾驶技术领域，具体涉及一种缺失车道线补全方法、系统、车辆及存储介质。
背景技术
在智能驾驶领域，车辆的运动控制需要周围场景的信息，车道线是其中较为重要的信息。一方面，人类司机驾驶车辆时，行驶路线强依赖于车道线，智能驾驶车辆在提供驾驶辅助功能时类似人类驾驶员，也许借助车道线的信息为车轮转向、车速控制等提供信息；第二方面，目前的交通规则也对车辆在马路上按车道行驶有相应的要求，智能驾驶车辆同样需要遵守交通规则。
目前有一些确定道路边沿以及车道线的方法，比如公开号为CN202011547621.3的专利公开了一种基于对抗生成网络的车道线图像增强与补全方法，该方法借助图像捕捉现车道线，通过用于车道线生成的Pix2Pix网络将车道线不明确的RGB彩色车道图像转换为具有车道线的RGB彩色车道图像。在获得有车道线的RGB图像后，与原图像进行做差处理，得到差值图像，经过算法阈值处理，经测试可以得到纯净度良好的车道线图像，实现车道线增强与补全。该方法利用对抗网络的强鲁棒性，实现了对外界噪声的抗干扰能力，部署到车上，一定程度上增强了对车道线的增强和补全能力。
公开号为CN201710196345.2的专利公开了一种确定道路边沿的装置和方法，包括：安装在车辆上的雷达探测器，其至少能够检测车辆所在道路的道路边沿旁边的静止目标；和处理部件，其被配置为：接收所述雷达探测器所检测的静止目标并提取出相对道路大致规则排列的静止目标的排列信息，从而基于所述排列信息获得道路边沿信息。该方法适合应用于非结构化道路中获取道路边沿信息，并且远距离也可以相对准确地获得道路边沿信息，但研究对象是路沿。
因此，上述的现有技术虽然一定程度上
可以起到车道线图像增强与补全的作用，但是如果遇到车道线缺失，或者车道线模糊的场景时，现有的方法却并不能较高精度的实现对车道线的补全。
发明内容
有鉴于此，本申请实施例的目的在于提供一种缺失车道线补全方法、系统、车辆及存储介质，针对车道线缺失，或者车道线模糊的场景，能够较高精度的实现对车道线的补全。
为实现上述技术目的，本申请采用的技术方案如下：
第一方面，本申请提供了一种缺失车道线补全方法，包括以下步骤：
S1、采集车道信息，形成数据集，将所述数据集导入深度学习网络模型，训练网络，使得网络可以依据周车历史轨迹预测车辆未来轨迹；
S2、对所述网络输出的车辆的预测轨迹和车道线轨迹进行拟合；
S3、进行回归分析，与所述预测轨迹附近的所述车道线轨迹拟合曲线进行匹配，得到匹配拟合曲线的数学模型，通过所述数学模型，得到车道线与车辆行驶轨迹的拟合曲线的关系；
S4、基于拟合的所述车道线轨迹，结合自车位置，对车道线进行补全。
进一步，所述深度学习网络模型为LSTMencoder-decoder模型，所述encoder对输入信息进行编码，转化为中间语义表示；所述decoder根据所述中间语义和已经生成的信息产生当前的输出。LSTMencoder-decoder模型的效果更好，可以应对输入序列和输出序列不等长的情况。
进一步，所述对所述网络输出的车辆的预测轨迹和车道线轨迹进行拟合，包括：预测轨迹拟合和车道线轨迹拟合，所述预测轨迹拟合包括：采用三次拟合方法，通过网络预测得到车辆未来轨迹的序列；所述车道线轨迹拟合包括：使用采集到的车道线数据，拟合出三次的车道线轨迹，y＝a`x3+b`x2+c`x+d`。
进一步，所述三次拟合方法包括：设定通用的三次多项式形式y＝ax3+bx2+cx+d，再采用最小二乘法确定a、b、c、d四个系数。
进一步，所述进行回归分析，还包括：基于车辆多数场景下行驶轨迹平行于车道线的假设，统计两条拟合曲线的系数的分布关系和概率密度；基于系数的分布关系，设定阈值δ，在置信度大于阈值的区间，通过车辆历史轨迹预测车辆未来轨迹，再通过预测到的所述车辆未来轨迹，得到缺失车道线的轨迹。
进一步，所述训练网络，还包括制定包括ADE、FDE的评价指标，选择优化器和训练参数，提高网络精度。其中，FDE为终点预测误差，ADE为平均轨迹预测点预测误差。
第二方面，本发明还公开了一种自动驾驶系统，所述自动驾驶系统使用了上述的一种缺失车道线补全方法。
第三方面，本发明还公开了一种车辆，所述车辆包括车辆本体和上述的自动驾驶系统，所述自动驾驶系统搭载于所述车辆本体上。
第四方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
采用上述技术方案的发明，具有如下优点：
1、本发明先通过将数据集导入LSTMencoder-decoder模型，进行训练网络，使得网络可以依据周车历史轨迹预测车辆未来轨迹，然后使用数学方法进行回归分析，拟合出车辆曲线，再结合人类司机驾驶车辆路径强依赖车道线的前提，结合缺失车道线，对车道线进行补全；整个过程能够针对车道线缺失，或者车道线模糊的场景，更高精度的实现车道线补全。
2、本发明的可移植性强，训练拟合完成后，即可以将其直接部署到车端进行应用，不需要再次训练。
附图说明
本申请可以通过附图给出的非限定性实施例进一步说明。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种缺失车道线补全方法的流程图。
图2为本发明一种缺失车道线补全方法具体实施步骤示意图。
具体实施方式
以下将结合附图和具体实施例对本申请进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所述技术领域中普通技术人员所知的形式。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1、
本实施例为一种缺失车道线补全方法，包括以下步骤：
首先，利用试验车采集车道信息，形成数据集，将所述数据集导入LSTMencoder-decoder模型，训练网络，使得网络能够依据周车历史轨迹预测其未来轨迹，并且制定包括但不限于ADE、FDE等相关评价指标，选择合适的优化器和训练参数，使网络能够达到精度要求。
然后，将提取有车道线段的数据，将车辆预测轨迹和车道线轨迹进行拟合，进行回归分析，得到匹配二者拟合曲线的数学模型，并与上面的网络模型进行合并。
具体的方式分为四步：
1、预测轨迹拟合。通过网络预测可以得到车辆未来轨迹的序列，为匹配通用的车道线拟合方法，本实施例中采用的同样的三次拟合方法。首先设定通用的三次多项式形式y＝ax3+bx2+cx+d，再采用最小二乘法确定a、b、c、d四个系数。
2、车道线轨迹拟合。本步骤与步骤1中方法类似，使用采集到的车道线数据，拟合出三次的车道线轨迹，y＝a`x3+b`x2+c`x+d`。
3、车辆预测轨迹与车道线轨迹回归分析。基于车辆多数场景下行驶轨迹平行于车道线的假设，统计两条拟合曲线的系数的分布关系和概率密度。
4、实现缺失车道线轨迹预测。基于步骤3中得到的系数分布关系，人为设定阈值δ，在置信度大于阈值的区间，通过车辆历史轨迹预测车辆未来轨迹，在通过预测到的车辆未来轨迹，得到缺失车道线的轨迹。
最后，基于拟合的车道线轨迹，结合自车位置，对车道线进行补全。
本实施例可以针对车道线缺失，或者车道线模糊的场景，能够更高精度的实现车道线补全。
实施例2、
本实施例为一种自动驾驶系统，所述自动驾驶系统使用了上述实施例1的一种缺失车道线补全方法。这样的自动驾驶系统可移植性强，训练拟合完成后，即可以将其直接部署到车端进行应用，不需要再次训练。
实施例3、
本实施例为一种车辆，所述车辆包括车辆本体和实施例2的自动驾驶系统，所述自动驾驶系统搭载于所述车辆上。
实施例4、
本实施例为一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述实施例1的方法。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，制动设备，或者网络设备等)执行本申请各个实施场景所述的方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种缺失车道线补全方法，其特征在于，包括以下步骤：
S1、采集车道信息，形成数据集，将所述数据集导入深度学习网络模型，训练网络，使得网络可以依据周车历史轨迹预测车辆未来轨迹；
S2、对所述网络输出的车辆的预测轨迹和车道线轨迹进行拟合；
S3、进行回归分析，与所述预测轨迹附近的所述车道线轨迹拟合曲线进行匹配，得到匹配拟合曲线的数学模型，通过所述数学模型，得到车道线与车辆行驶轨迹的拟合曲线的关系；
S4、基于拟合的所述车道线轨迹，结合自车位置，对车道线进行补全。
2.根据权利要求1所述的一种缺失车道线补全方法，其特征在于：所述深度学习网络模型为LSTM encoder-decoder模型，所述encoder对输入信息进行编码，转化为中间语义表示；所述decoder根据所述中间语义和已经生成的信息产生当前的输出。
3.根据权利要求2所述的一种缺失车道线补全方法，其特征在于：所述对所述网络输出的车辆的预测轨迹和车道线轨迹进行拟合，包括：预测轨迹拟合和车道线轨迹拟合，所述预测轨迹拟合包括：采用三次拟合方法，通过网络预测得到车辆未来轨迹的序列；所述车道线轨迹拟合包括：使用采集到的车道线数据，拟合出三次的车道线轨迹，y＝a`x3+b`x2+c`x+d`。
4.根据权利要求3所述的一种缺失车道线补全方法，其特征在于：所述三次拟合方法包括：设定通用的三次多项式形式y＝ax3+bx2+cx+d，再采用最小二乘法确定a、b、c、d四个系数。
5.根据权利要求4所述的一种缺失车道线补全方法，其特征在于：所述进行回归分析，还包括：基于车辆多数场景下行驶轨迹平行于车道线的假设，统计两条拟合曲线的系数的分布关系和概率密度；基于系数的分布关系，设定阈值δ，在置信度大于阈值的区间，通过车辆历史轨迹预测车辆未来轨迹，再通过预测到的所述车辆未来轨迹，得到缺失车道线的轨迹。
6.根据权利要求5所述的一种缺失车道线补全方法，其特征在于：所述训练网络，还包括制定包括ADE、FDE的评价指标，选择优化器和训练参数，提高网络精度。
7.一种自动驾驶系统，其特征在于：所述自动驾驶系统使用了权利要求1-6任一所述的缺失车道线补全方法。
8.一种车辆，其特征在于：所述车辆包括车辆本体和权利要求8的自动驾驶系统，所述自动驾驶系统搭载于所述车辆本体上。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1-6任一所述的缺失车道线补全方法。
CN202310190999.XA 2023-03-02 2023-03-02 一种缺失车道线补全方法、系统、车辆及存储介质 Pending CN116071723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310190999.XA CN116071723A (zh) 2023-03-02 2023-03-02 一种缺失车道线补全方法、系统、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310190999.XA CN116071723A (zh) 2023-03-02 2023-03-02 一种缺失车道线补全方法、系统、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN116071723A true CN116071723A (zh) 2023-05-05

Family

ID=86171512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310190999.XA Pending CN116071723A (zh) 2023-03-02 2023-03-02 一种缺失车道线补全方法、系统、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN116071723A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274932A (zh) * 2023-09-06 2023-12-22 广州城建职业学院 车道线自适应检测方法、系统、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274932A (zh) * 2023-09-06 2023-12-22 广州城建职业学院 车道线自适应检测方法、系统、装置及存储介质
CN117274932B (zh) * 2023-09-06 2024-05-07 广州城建职业学院 车道线自适应检测方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108875603B (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
US10429841B2 (en) Vehicle control method and apparatus and method and apparatus for acquiring decision-making model
CN108508881B (zh) 自动驾驶控制策略调整方法、装置、设备及存储介质
US20210213961A1 (en) Driving scene understanding
US11620837B2 (en) Systems and methods for augmenting upright object detection
CN102463990B (zh) 用于跟踪物体的系统和方法
CN110490217B (zh) 用于改进对象检测和对象分类的方法和系统
CN104463903A (zh) 一种基于目标行为分析的行人图像实时检测方法
CN110803163B (zh) 车辆行驶轨迹的预测、车辆跟随目标的选择方法及设备
Cudrano et al. Advances in centerline estimation for autonomous lateral control
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
CN113112524B (zh) 自动驾驶中移动对象的轨迹预测方法、装置及计算设备
CN116071723A (zh) 一种缺失车道线补全方法、系统、车辆及存储介质
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
WO2023279012A3 (en) Systems and methods for operating an autonomous vehicle
CN110986994A (zh) 一种基于高噪音车辆轨迹数据的换道意图自动标注方法
Javadzadeh et al. Fast vehicle detection and counting using background subtraction technique and prewitt edge detection
CN111967451B (zh) 一种道路拥堵检测方法及装置
CN115762153A (zh) 倒车检测方法及装置
JP5682302B2 (ja) 走行道路推定装置、方法およびプログラム
US11195287B2 (en) Method and device for checking the plausibility of a flow vector hypothesis
Zekany et al. Finding and indexing vehicle maneuvers from dashboard camera video
Shapovalov et al. Robust localization of a self-driving vehicle in a lane
CN117576926B (zh) 车辆违规检测方法、设备及存储介质
CN110276322B (zh) 一种结合车机闲散资源的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination