CN109242776A - 一种基于视觉系统的双车道线检测方法 - Google Patents

一种基于视觉系统的双车道线检测方法 Download PDF

Info

Publication number
CN109242776A
CN109242776A CN201811055117.4A CN201811055117A CN109242776A CN 109242776 A CN109242776 A CN 109242776A CN 201811055117 A CN201811055117 A CN 201811055117A CN 109242776 A CN109242776 A CN 109242776A
Authority
CN
China
Prior art keywords
way traffic
picture
access control
traffic line
control model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811055117.4A
Other languages
English (en)
Other versions
CN109242776B (zh
Inventor
杜跃通
顾晓东
黄可欣
王仕昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Junying Tianda Artificial Intelligence Research Institute Co Ltd
Original Assignee
Jiangsu Junying Tianda Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Junying Tianda Artificial Intelligence Research Institute Co Ltd filed Critical Jiangsu Junying Tianda Artificial Intelligence Research Institute Co Ltd
Priority to CN201811055117.4A priority Critical patent/CN109242776B/zh
Publication of CN109242776A publication Critical patent/CN109242776A/zh
Application granted granted Critical
Publication of CN109242776B publication Critical patent/CN109242776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉系统的双车道线检测方法，对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；对图片在三通道的基础上加入位置通道；对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取；对特征进行上采样和多尺度预测；通过卷积运算输出n x 1 x 1 x 2的张量特征；通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。本发明图片的语义解析能力高，并且特征提取充分，结果准确度高。

Description

一种基于视觉系统的双车道线检测方法
技术领域
本发明涉及一种双车道线检测方法，特别是一种基于视觉系统的双车道线检测方法。
背景技术
目前现有的车道线检测方法采用的有基于特征提取的方法（Roberts算子,Sobel算子、Prewitt算子、Krisch边缘算子,高斯-拉普拉斯算子）和基于神经网络模型的方法（Baseline，ReNet，DenseCRF，MRFNet，ResNet-50，ResNet-101，SCNN）。其中基于特征提取的方法由于边缘连续性 ,边缘光滑性,边缘细化程度,边缘的定位，抗噪性等方面的天然劣势，尤其在抗噪性方面的巨大劣势制约着自动驾驶视觉系统的可靠性。而基于神经网络模型的方法虽然在一定程度上缓解了上述问题，但其方法大多是GPU级的，不能满足工程上的实时性，检测精度不够高，图片语义信息的解析能力较差。总的来说，现有车道线检测方法存在如下缺陷：
（1）检测准确度还有待提高：现有方法在检测车道线时，尤其在在包括交通拥挤，夜晚，车辆大转弯，车道线不连续，阴影较多，数据部分缺失等复杂场景下检测准确度会大幅降低。
（2）检测速度较低：现有方法检测速度大都在gpu级别，在自动驾驶领域，gpu级别的检测方法显然满足不了实时检测的要求，对于车道线检测的工程化要求至少要在CPU级别能够每秒检测多张图片，这样在出现特殊情况时车辆才能做出迅速反应。
（3）对图片语义信息的解析能力较差：基于特征提取的方法在抗噪性等方面有着天然劣势。基于神经网络模型的方法虽然在一定程度上缓解了上述问题，但在无人驾驶领域，我们认为车辆只需要关注车辆左右的两条车道即可，对于其他车道的过分关注增加了车辆需要处理的信息，占用了较多计算资源。现有方法由于对图片语义信息的解析能力较差而更多的通过图片外部特征处理，得到除左右车道线外的其他无用车道线。
发明内容
本发明所要解决的技术问题是提供一种基于视觉系统的双车道线检测方法，提高语义解析能力。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于视觉系统的双车道线检测方法，其特征在于包含以下步骤：
步骤一：对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；
步骤二：对图片通道进行处理，在三通道的基础上加入位置通道变为四通道，位置通道内的元素数值即为图像对应的像素点位置除以像素总数；
步骤三：对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取，图片通过卷积运算后输出的张量即为提取出的特征；
步骤四：对特征进行上采样和多尺度预测；
步骤五：通过卷积运算输出 n x 1 x 1 x 2的张量特征，所得到n个点即为左右车道线的部分点坐标；
步骤六：通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。
进一步地，所述步骤二具体为，在原图片的三色通道的基础上加入位置通道。
进一步地，所述步骤四中采用双线性插值算法对特征进行上采样。
进一步地，所述步骤四中多尺度预测对第八层和第十四层同时进行预测。
本发明与现有技术相比，具有以下优点和效果：本发明对图片用3 x 3或1 x 1的卷积结构和池化操作进行压缩，中间夹杂使用上采样方法来提高预测精度，将特征压缩到1x 1时则认为其为车道线上的部分坐标点，之后使用曲线拟合拟合出车辆左右的两条车道线，图片的语义解析能力高，并且特征提取充分，结果准确度高。
附图说明
图1是本发明的实施例的数据形式表格。
图2是本发明的实施例的车道检测结果展示图。
具体实施方式
下面结合附图并通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
本实施例以将图片处理为 288 x 288 x 3为例，
一种基于视觉系统的双车道线检测方法，包含以下步骤：
步骤一：对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；
步骤二：对图片通道进行处理，在三通道的基础上加入位置通道变为四通道，位置通道内的元素数值即为图像对应的像素点位置除以像素总数；在原图片的三色通道的基础上加入位置通道，使之结构为288 x 288 x （3+1）（即三色通道和位置通道），加入位置通道后图片的内部关联性更强，从而使图片的语义解析能力提升。
步骤三：对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取，图片通过卷积运算后输出的张量即为提取出的特征。
步骤四：采用双线性插值算法对特征进行上采样和多尺度预测对第八层和第十四层同时进行预测；不同于一般意义的多尺度预测，本网络只针对合并后的层进行预测而不会对较深的层直接预测，因为较深的层虽然特征提取充分，但位置信息丢失过多；此操作可使预测准确度提升。
步骤五：通过卷积运算输出 n x 1 x 1 x 2的张量特征，所得到n个点即为左右车道线的部分点坐标。
步骤六：通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。
如图1所示，展示了数据在各步骤处理的结果，在步骤三中经过了7层卷积和5层池化操作，使特征提取较为充分。
由图2可以看出，此网络具有较高的语义解析能力，所框出的点的位置不仅包括了白色车道线的位置也包括了没有车道线标记但实际位于车道线上的位置以及被其他障碍物遮挡的位置。同时，可以看出此网络对大转弯的车道线识别能力也很强
同时，在cpu上此网络可达到6fps的速度，超过其他已知网络。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (4)

1.一种基于视觉系统的双车道线检测方法，其特征在于包含以下步骤：
步骤一：对于训练结构，将车道线的已标记关键点进行多点插值处理得到恰当密度的关键点数；
步骤二：对图片通道进行处理，在三通道的基础上加入位置通道变为四通道，位置通道内的元素数值即为图像对应的像素点位置除以像素总数；
步骤三：对图片用7层3 x 3或1 x 1的卷积核和/或池化操作进行压缩和特征提取，图片通过卷积运算后输出的张量即为提取出的特征；
步骤四：对特征进行上采样和多尺度预测；
步骤五：通过卷积运算输出 n x 1 x 1 x 2的张量特征，所得到n个点即为左右车道线的部分点坐标；
步骤六：通过三次样条插值算法将点坐标拟合为两条曲线，得到双车道线。
2.按照权利要求1所述的一种基于视觉系统的双车道线检测方法，其特征在于：所述步骤二具体为，在原图片的三色通道的基础上加入位置通道。
3.按照权利要求1所述的一种基于视觉系统的双车道线检测方法，其特征在于：所述步骤四中采用双线性插值算法对特征进行上采样。
4.按照权利要求1所述的一种基于视觉系统的双车道线检测方法，其特征在于：所述步骤四中多尺度预测对第八层和第十四层同时进行预测。
CN201811055117.4A 2018-09-11 2018-09-11 一种基于视觉系统的双车道线检测方法 Active CN109242776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811055117.4A CN109242776B (zh) 2018-09-11 2018-09-11 一种基于视觉系统的双车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811055117.4A CN109242776B (zh) 2018-09-11 2018-09-11 一种基于视觉系统的双车道线检测方法

Publications (2)

Publication Number Publication Date
CN109242776A true CN109242776A (zh) 2019-01-18
CN109242776B CN109242776B (zh) 2023-04-07

Family

ID=65067324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811055117.4A Active CN109242776B (zh) 2018-09-11 2018-09-11 一种基于视觉系统的双车道线检测方法

Country Status (1)

Country Link
CN (1) CN109242776B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084095A (zh) * 2019-03-12 2019-08-02 浙江大华技术股份有限公司 车道线检测方法、车道线检测装置和计算机存储介质
CN110414386A (zh) * 2019-07-12 2019-11-05 武汉理工大学 基于改进scnn网络的车道线检测方法
CN113011293A (zh) * 2021-03-05 2021-06-22 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN115019278A (zh) * 2022-07-13 2022-09-06 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122952A (zh) * 2007-09-21 2008-02-13 北京大学 一种图片文字检测的方法
JP2012114665A (ja) * 2010-11-24 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
CN103489324A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN105335704A (zh) * 2015-10-16 2016-02-17 河南工业大学 一种基于双线性插值的车道线识别方法与装置
CN107144234A (zh) * 2017-04-21 2017-09-08 南京理工大学 一种城轨车辆轮对踏面轮廓拟合方法
CN107392929A (zh) * 2017-07-17 2017-11-24 河海大学常州校区 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122952A (zh) * 2007-09-21 2008-02-13 北京大学 一种图片文字检测的方法
JP2012114665A (ja) * 2010-11-24 2012-06-14 Nippon Telegr & Teleph Corp <Ntt> 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム
CN103489324A (zh) * 2013-09-22 2014-01-01 北京联合大学 一种基于无人驾驶的实时动态红绿灯检测识别方法
CN105335704A (zh) * 2015-10-16 2016-02-17 河南工业大学 一种基于双线性插值的车道线识别方法与装置
CN107144234A (zh) * 2017-04-21 2017-09-08 南京理工大学 一种城轨车辆轮对踏面轮廓拟合方法
CN107392929A (zh) * 2017-07-17 2017-11-24 河海大学常州校区 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUIZ RICARDO T. HORITA ET AL.: "Employing a fully convolutional neural network for road marking detection", 《2017 LATIN AMERICAN ROBOTICS SYMPOSIUM(LARS) AND 2017 BRAZILIAN SYMPOSIUM ON ROBOTICS(SBR)》 *
侯枫 等: "道路车道线图像预处理数据信息获取", 《民营科技》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084095A (zh) * 2019-03-12 2019-08-02 浙江大华技术股份有限公司 车道线检测方法、车道线检测装置和计算机存储介质
CN110414386A (zh) * 2019-07-12 2019-11-05 武汉理工大学 基于改进scnn网络的车道线检测方法
CN110414386B (zh) * 2019-07-12 2022-01-21 武汉理工大学 基于改进scnn网络的车道线检测方法
CN113011293A (zh) * 2021-03-05 2021-06-22 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN115019278A (zh) * 2022-07-13 2022-09-06 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN109242776B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109242776A (zh) 一种基于视觉系统的双车道线检测方法
CN106971155B (zh) 一种基于高度信息的无人车车道场景分割方法
CN111291603B (zh) 车道线检测方法、装置、系统及存储介质
CN109961016B (zh) 面向智能家居场景的多手势精准分割方法
CN104751421B (zh) 一种在fpga上实现的图像去雾方法
WO2023137921A1 (zh) 基于人工智能的实例分割模型训练方法、装置、存储介质
CN107256633B (zh) 一种基于单目摄像头三维估计的车型分类方法
CN107545544A (zh) 去除图像中的混浊对象的方法和装置
CN104700072A (zh) 基于车道线历史帧的识别方法
CN111814637A (zh) 一种危险驾驶行为识别方法、装置、电子设备及存储介质
Wang et al. The research on edge detection algorithm of lane
US20240161334A1 (en) System and method for video instance segmentation via multi-scale spatio-temporal split attention transformer
CN114627561B (zh) 动态手势识别方法、装置、可读存储介质及电子设备
CN114693716A (zh) 一种面向复杂交通条件下的驾驶环境综合识别信息提取方法
CN110458029B (zh) 一种雾天环境中的车辆检测方法及装置
FAN et al. Robust lane detection and tracking based on machine vision
CN109086671B (zh) 一种适于无人驾驶的夜间车道标志线视频检测方法
CN115588188A (zh) 一种机车、车载终端和驾驶员行为识别方法
CN108090425B (zh) 一种车道线检测方法、装置及终端
CN104504712A (zh) 图片处理方法和装置
Lee et al. A 4K-capable hardware accelerator of haze removal algorithm using haze-relevant features
Zhu et al. Moment-based multi-lane detection and tracking
CN111179289A (zh) 一种适用于网页长图宽图的图像分割方法
CN116188779A (zh) 一种基于UFLane-Detection的车道线检测方法
KR102453782B1 (ko) 자율주행을 위한 차선검출 방법.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Du Yuetong

Inventor after: Gu Xiaodong

Inventor after: Huang Kexin

Inventor after: Wang Shizhao

Inventor before: Du Yuetong

Inventor before: Gu Xiaodong

Inventor before: Huang Kexin

Inventor before: Wang Shizhao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant