CN113569752A - 车道线结构识别方法、装置、设备及介质 - Google Patents

车道线结构识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN113569752A
CN113569752A CN202110866096.XA CN202110866096A CN113569752A CN 113569752 A CN113569752 A CN 113569752A CN 202110866096 A CN202110866096 A CN 202110866096A CN 113569752 A CN113569752 A CN 113569752A
Authority
CN
China
Prior art keywords
lane line
line structure
sample image
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110866096.XA
Other languages
English (en)
Other versions
CN113569752B (zh
Inventor
顾会建
王宝宗
路萍
史宏涛
戴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Original Assignee
Tsinghua University
Suzhou Automotive Research Institute of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Suzhou Automotive Research Institute of Tsinghua University filed Critical Tsinghua University
Priority to CN202110866096.XA priority Critical patent/CN113569752B/zh
Publication of CN113569752A publication Critical patent/CN113569752A/zh
Application granted granted Critical
Publication of CN113569752B publication Critical patent/CN113569752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了车道线结构识别方法、装置、设备及介质。该方法包括:首先获取包含多种类型车道线结构的样本图像,并对样本图像进行预处理;将预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;基于包含车道线结构的二值图训练分类模型,并将训练完成的分类模型用于对视频中车道线结构的识别。通过采用上述技术方案,可以达到快速识别车道线结构的目的,提高了自动驾驶时车道线结构的提取效率,加速自动驾驶算法的开发进程的技术效果。

Description

车道线结构识别方法、装置、设备及介质
技术领域
本发明实施例涉及计算机技术领域,尤其涉及车道线结构识别方法、装置、设备及介质。
背景技术
在自动驾驶技领域中,车辆行驶过程中对道路结构的识别有着重要意义。
随着深度学习目标检测技术的发展,基于车载视频的前车变道以及行人入侵等场景提取的算法逐渐发展起来。但是,这些算法都是针对交通参与物交互的提取场景,但目前自动驾驶车辆一般都是用摄像头结合毫米波雷达的进行环境的感知,所以识别车道线结构对毫米波雷达的感知干扰也是自动驾驶车辆需要解决的关键问题。
发明内容
本发明实施例提供了车道线结构识别方法、装置、设备及介质,可以优化现有的车道线结构识别方案。
第一方面,本发明实施例提供了一种车道线结构识别方法,包括:
获取包含多种类型车道线结构的样本图像,并对所述样本图像进行预处理;
将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;
基于所述包含车道线结构的二值图训练分类模型,并将训练完成的所述分类模型用于对视频中车道线结构的识别。
第二方面,本发明实施例提供了一种车道线结构识别装置,其特征在于,包括:
样本图像预处理模块,用于获取包含多种类型车道线结构的样本图像,并对所述样本图像进行预处理;
二值图获得模块,用于将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;
分类模型训练模块,用于基于所述包含车道线结构的二值图训练分类模型,并将训练完成的所述分类模型用于对视频中车道线结构的识别。
第三方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明实施例提供的车道线结构识别方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例提供的车道线结构识别方法。
本发明实施例中提供的车道线结构识别方案,首先获取包含多种类型车道线结构的样本图像,并对样本图像进行预处理;将预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;基于包含车道线结构的二值图训练分类模型,并将训练完成的分类模型用于对视频中车道线结构的识别。通过采用上述技术方案,可以达到快速识别车道线结构的目的,提高了自动驾驶时车道线结构的提取效率,加速自动驾驶算法的开发进程的技术效果。
附图说明
图1为本发明实施例提供的一种车道线结构识别方法的流程示意图;
图2为本发明实施例提供的又一种车道线结构识别方法的流程示意图;
图3为本发明实施例提供的种车道线结构识别方法中卷积宽度示意图;
图4为本发明实施例提供的一种车道线结构识别装置的结构框图;
图5为本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例提供的一种车道线结构识别方法的流程示意图,该方法可以由车道线结构识别装置执行,其中该装置可由软件和/或硬件实现,一般可集成在服务器等计算机设备中,可应用在自动驾驶场景中。如图1所示,该方法包括:
S101、获取包含多种类型车道线结构的样本图像,并对样本图像进行预处理。
在自动驾驶领域,当自动驾驶车辆经过特定的道路结构时,容易与其他来往的车辆或行人产生交互,因此,识别出自动驾驶车辆经过该区域的场景对自动驾驶算法的研究具有重要的测试价值。当车辆需要直行、变道、转弯或掉头时,需要依靠车载摄像头结合毫米波雷达对车道线结构进行感知,以使得自动驾驶车辆服务器判断能否进行直行、变道、转弯或掉头。
车道线结构为引导方向的车道标线,主要为白色和黄色,用来指示车辆在路口驶入段应按所指方向行驶。相应地,本实施例获得的包含多种类型车道线结构的样本图像可以包括:包含直道、弯道、匝道、汇入、汇出、立交桥、隧道以及十字路口中至少一种车道线结构的图像。
可对采集的样本图像构建相应数据库,为不同类型车道线结构构建分类体系,为使得预处理后的样本图像在用于训练的过程中具备代表性,本发明实施例选取的每种类型样本图像数量可以为数千张以上。
由于样本图像为车载摄像头在实际道路行驶过程中拍摄获得,为提高多种道路结构识别的准确率,因此需要对样本图像进行预处理,预处理的方式可以为去除样本图像的其他干扰因素,例如,图像中包含的建筑物、蓝天白云、树或电线杆等;也可以为对多种类型车道线结构进行特征提取,提取出每张样本图像中不同类型车道线结构的特征等,在此不作限制。
S102、将预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图。
一般地,在基于可变卷积神经网络对样本图像进行处理时,可采取一维卷积、二维卷积或三维卷积的方式进行卷积,在此不做限制。
本发明实施例中的样本图像由车载摄像头拍摄获得,由于摄像头成像原理,相同宽度的车道线结构在距离比较远的地方,显示在图像中比较窄,因此,本发明实施例提出了基于可变卷积神经网络(Variable Convolutional Neural Network,简称Variable-CNN)的方法对道路线结构进行识别。
由于本申请实施例研究的是车道线结构在样本图像宽度的可变性,优选地,根据每张样本图像像素点的排列分布,可以划分为多行像素点,可基于每行像素点使用一维卷积的方式进行处理,例如可以为[-1,0,…,0,1]或[1,0,…,0,-1],其中,向量中间省略的部分为0,0的具体个数与当前行像素点的宽度有关。可选地,也可使用二维卷积的方式进行处理,卷积核可以为3*3或5*5等,在此不做限制。
在基于可变卷积神经网络处理后的样本图像为灰度图像,由于道路车道线的颜色一般为白色和黄色,图像中有颜色的车道线的亮度均高于道路的亮度,则可以通过选取不同类型车道线结构中灰度图像的亮度的方式来识别车道线结构。
S103、基于包含车道线结构的二值图训练分类模型,并将训练完成的分类模型用于对视频中车道线结构的识别。
基于步骤S102可获得多种类型包含车道线结构的二值图,在进行分类模型的训练时,可对不同类型车道线结构进行标记,使得分类模型自主学习同一车道线结构具备的相似特征,将多种类型车道线学习完成后,可使用xception网络分类模型对多种车道线结构的样本图像进行自主分类,并利用训练完成的分类模型对车载摄像头实时采集的道路视频中的车道线结构进行识别。
本发明实施例采用的网络分类模型除为xception分类模型外,还可以采用VGG16或者ResNet50等深度学习分类模型,在此不做限制。
本发明实施例根据道路实际结构,将车道线结构分为以下几种类型:直道、弯道、匝道、匝道汇入、匝道汇出、十字路口、立交桥、以及隧道等九种道路结构,基于该分类识别的场景可满足自动驾驶车辆交互、感知决策等性能的测试,大幅提升自动驾驶算法测试效率。首先利用可变卷积识别道路车道线结构,排除背景等其他因素的干扰,然后采用xception网络分类模型对识别的车道线结构进行分类,相较于直接使用xception网络模型,基于车道线结构识别的方法准确率提高了3%,达到了94%。
本发明实施例中提供的车道线结构识别方法,首先获取包含多种类型车道线结构的样本图像,并对样本图像进行预处理;将预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;基于包含车道线结构的二值图训练分类模型,并将训练完成的分类模型用于对视频中车道线结构的识别。通过采用上述技术方案,可以达到快速识别车道线结构的目的,提高了自动驾驶时车道线结构的提取效率,加速自动驾驶算法的开发进程的技术效果。
实施例二
在上述实施例的基础上,本申请实施例进行了进一步地优化,优化了所述对所述样本图像进行预处理步骤,包括:以所述样本图像的预设高度比例的位置作为图像的起点位置,图像的底部作为终点位置,进行图像截取,得到预处理后的样本图像,其中,所述预设高度比例与所述车载摄像头的安装位置和/或安装角度相关。这样设置的好处在于,使用当前方式对样本图像进行预处理,可以排除图像中其他因素的干扰,提高车道线结构识别的准确率。
进一步优化了将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图步骤,包括:将预处理后的当前样本图像中的各像素点,划分为多行像素点,针对当前行像素点使用第一预设方式和第二预设方式分别基于可变卷积神经网络进行处理,得到第一卷积图和第二卷积图;分析所述第一卷积图和所述第二卷积图中相同位置像素点的灰度值,若所述相同位置点的灰度值满足预设关系,则确定当前像素点为车道线结构中的某一像素点;遍历当前样本图像中每一行像素点,得到当前样本图像对应的包含车道线结构的二值图。这样设置的好处在于,基于可变卷积神经网络识别车道线结构的方法,解决了由于摄像头成像原理导致的同一宽度的车道线在图像中宽度不一致引起的车道线难以识别的问题。
图2为本发明实施例提供的又一种车道线结构识别方法的流程示意图,具体的,该方法包括如下步骤:
S210、获取包含多种类型车道线结构的样本图像。
所述样本图像基于车载摄像头拍摄得到,经过对海量车载摄像头拍摄的图片进行筛选,选取一定数量的包含有不同类型车道线结构的清晰图像作为样本图像。
S220、样本图像的预设高度比例的位置作为图像的起点位置,图像的底部作为终点位置,进行图像截取,得到预处理后的样本图像。
由于样本图像在基于车载摄像头拍摄时,所得到的图像中包含有其他干扰因素,例如,建筑物、蓝天白云、树或电线杆等,对当前干扰因素的处理方式可以为截取当前样本图像的预设高度比例的位置作为图像的起点位置,图像的底部作为终点位置,则可将干扰因素进行去除。
可选地,也可选择截取样本图像预设高度比例的位置作为样本图像的起点位置,图像的底部作为终点位置,进一步截取预设宽度比例的位置作为样本图像的宽,预设宽度比例的截取方式可以为从图像的左侧进行截取和/或从图像的右侧进行截取,主要取决于图像的左侧和/或右侧截取后有无干扰因素。
上述预设高度比例和预设宽度比例可以为二分之一、三分之一或四分之一等,在此不作限制,主要取决于当前样本图像在高度和宽度上截取后有无干扰因素。
优选地,本发明实施例所提供的车道线结构识别方法,对样本图像进行预处理的方式为,图像高度二分之一以上的画面一般为干扰因素,基于该情况选取图像高度一半的位置为起始点,终点为图像的底部,进行图像截取后,得到预处理后的样本图像。
S230、将预处理后的当前样本图像中的各像素点,划分为多行像素点,针对当前行像素点使用第一预设方式和第二预设方式分别基于可变卷积神经网络进行处理,得到第一卷积图和第二卷积图。
每张预处理后的样本图像,依照样本图像像素点的排列,可划分为多个行像素点,由于摄像头成像原理,相同宽度的车道线结构在距离比较远的地方,显示在图像中比较窄,则样本图像中每一行像素点的宽度是一致的,因此,当样本图像按照行像素点进行研究时,同一行像素点的宽度相同。
由于车道线结构颜色为白色或黄色,则车道线结构颜色亮度高于道路亮度,为根据车道线结构颜色亮度识别出车道线结构,可使用两种不同的预设方式对当前行像素点进行基于可变卷积神经网络的处理,以得到同一行图像中的亮度较高的像素点。其中,第一预设方式可以为[-1,0,…,0,1],第二预设方式可以为[1,0,…,0,-1],通过对同一行像素点分别使用第一预设方式和第二预设方式基于可变卷积神经网络进行处理后,可以得到当前图像中同一行像素点的灰度图。进一步地,在使用第一预设方式和第二预设方式分别对当前行像素点进行基于可变卷积神经网络进行处理后,可得到基于第一预设方式和第二预设方式对当前行像素点处理后的第一卷积图和第二卷积图。
其中,可变卷积神经网络的步长由当前像素点的高度坐标确定,相应的表达式为:
Figure BDA0003187539450000091
式中,kernel_width为当前行像素点的卷积宽度,image_width为样本图像的宽度,image_heigth为样本图像的高度,point_y为当前样本图像的当前列像素点的y方向坐标。
假设图像的大小为640*480,其中,宽度为640,高度为480,对当前图像进行步骤S220预处理后,当前图像的高度为240,则根据公式(1)可得,位于起始行像素点的卷积宽度为10,位于终点行像素点时的卷积宽度为26。进一步使用第一预设方式为[-1,0,…,0,1]和第二预设方式为[1,0,…,0,-1]分别对起始行像素点进行卷积时,可得其卷积结果为[-1 00 0 0 0 0 0 0 1]和[1 0 0 0 0 0 0 0 0-1],卷积宽度为10;使用第一预设方式和第二预设方式分别对终点行像素点进行卷积时,可得其卷积结果为[-1 0 0 0…0 0 0 1]和[1 00 0…0 0 0-1]卷积宽度为26。请参照图3,图3为本发明实施例提供的种车道线结构识别方法中卷积宽度示意图。由此可知,在样本图像中,相同宽度的车道线结构在距离较远的地方,显示在图像中比较窄,卷积宽度越宽,卷积结果中包含0的个数越多。
S240、分析第一卷积图和第二卷积图中相同位置像素点的灰度值,若相同位置像素点的灰度值满足预设关系,则确定当前像素点为车道线结构中的某一像素点。
遍历第一卷积图和第二卷积图中相同位置像素点的灰度值,在相同位置像素点中,可记第一卷积图中对应像素点的灰度值为light_L,第二卷积图中对应像素点的灰度值为light_R,若相同位置像素点的灰度值满足以下预设关系,则确定当前像素点为车道线结构中的某一像素点。预设关系通过以下表达式表示:
Figure BDA0003187539450000101
若相同位置点的灰度值满足以上预设关系,则记当前像素点的灰度值为255,否则为0。
则当前行像素点中灰度值为255的所有像素点为车道线结构中的部分像素点。
S250、遍历当前样本图像中每一行像素点,得到当前样本图像对应的包含车道线结构的二值图。
进一步地,针对当前样本图像中的每行像素点使用第一预设方式和第二预设方式分别基于可变卷积神经网络进行处理,可得到每行像素点对应的第一卷积图和第二卷积图。再针对每行像素点中相同像素点的灰度值进行分析,亮度满足预设关系的,则标记为255,最终可得当前样本图像中对应的包含车道线结构的二值图。
S260、基于包含车道线结构的二值图训练分类模型,并将训练完成的分类模型用于对视频中车道线结构的识别。
本发明实施例提供的车道线结构识别方法,通过将样本图像的预设高度比例的位置作为图像的起点位置,图像的底部作为终点位置,进行预处,可使得排除图像中其他因素的干扰,提高车道线结构识别的准确率,进一步通过对样本图像中行像素点使用第一预设方式和第二预设方式分别基于可变卷积神经网络进行处理,得到第一卷积图和第二卷积图后,对比相同像素点位置的灰度值,若相同位置点的灰度值满足预设关系,则确定当前像素点为车道线结构中的某一像素点,进一步可得当前样本图像对应的包含车道线结构的二值图。本发明实施例提供的车道线结构识别方法,在构建基于道路结构的自动驾驶场景分类体系,该体系综合考虑了车辆交互、毫米波雷达感知和自动驾驶决策定位等各方面的性能测试。解决了由于摄像头成像原理导致的同一宽度的车道线在图像中宽度不一致引起的车道线结构难以识别的问题,该方法识别速度快,并很好的保留了车道线的结构信息,结合xception分类模型取得了优异的分类效果。
一种可选方案,将训练完成的分类模型用于对视频中车道线结构的识别时,当确定连续预设数量的图像帧为同一类型的车道线结构时,保存当前车道线结构对应的视频。
当模型在实测阶段用于对视频中车道线结构识别时,在确定连续预设数量(例如,5帧)的图像帧为同一类型的车道线结构时,保存当前车道线结构对应的视频,并可选择为当前视频打上对应的标签。例如,车载摄像头拍摄到的连续5帧的图像帧均为匝道车道线结构,则将保存的当前视频记录为关于匝道车道线结构的标签,并将该场景的触发状态置为空,预设时间段(例如,20秒)后将触发状态置为真,这样做的目的是避免同一场景重复保存。
实施例三
图4为本发明实施例提供的一种车道线结构识别装置的结构框图,该装置可由软件和/或硬件实现,一般可集成在服务器等计算机设备中,可通过执行车道线结构识别方法来对多种车道线结构进行识别。如图4所示,该装置包括:样本图像预处理模块41、二值图获得模块42和分类模型训练模块43,其中:
样本图像预处理模块41,用于获取包含多种类型车道线结构的样本图像,并对所述样本图像进行预处理;
二值图获得模块42,用于将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;
分类模型训练模块43,用于基于所述包含车道线结构的二值图训练分类模型,并将训练完成的所述分类模型用于对视频中车道线结构的识别。
本发明实施例中提供的车道线结构识别装置,首先获取包含多种类型车道线结构的样本图像,并对样本图像进行预处理;将预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;基于包含车道线结构的二值图训练分类模型,并将训练完成的分类模型用于对视频中车道线结构的识别。通过采用上述技术方案,可以达到快速识别车道线结构的目的,提高了自动驾驶时车道线结构的提取效率,加速自动驾驶算法的开发进程的技术效果。
可选的,所述样本图像基于车载摄像头拍摄得到,样本图像预处理模块41还用于以所述样本图像的预设高度比例的位置作为图像的起点位置,图像的底部作为终点位置,进行图像截取,得到预处理后的样本图像,其中,所述预设高度比例与所述车载摄像头的安装位置和/或安装角度相关。
可选地,二值图获得模块42包括:卷积图获得单元、灰度值分析单元和二值图获得单元,其中:
卷积图获得单元,用于将预处理后的当前样本图像中的各像素点,划分为多行像素点,针对当前行像素点使用第一预设方式和第二预设方式分别基于可变卷积神经网络进行处理,得到第一卷积图和第二卷积图。
灰度值分析单元,用于分析所述第一卷积图和所述第二卷积图中相同位置像素点的灰度值,若所述相同位置像素点的灰度值满足预设关系,则确定当前像素点为车道线结构中的某一像素点;
二值图获得单元,用于遍历当前样本图像中每一行像素点,得到当前样本图像对应的包含车道线结构的二值图。
可选地,所述可变卷积神经网络的步长由当前像素点的高度坐标确定,相应的表达式为:
Figure BDA0003187539450000131
式中,kernel_width为当前行像素点的卷积宽度,image_width为样本图像的宽度,image_heigth为样本图像的高度,point_y为当前样本图像的当前行像素点的y方向坐标。
可选地,所述预设关系通过以下表达式表示:
Figure BDA0003187539450000132
其中,light_L表示第一卷积图中对应像素点的灰度值,light_R表示第二积图中对应像素点的灰度值。
可选地,所述将训练完成的所述分类模型用于对视频中车道线结构的识别时,当确定连续预设数量的图像帧为同一类型的车道线结构时,保存当前车道线结构对应的视频。
可选地,所述多种类型车道线结构样本图像包括:包含直道、弯道、匝道、汇入、汇出、立交桥、隧道以及十字路口中至少一种车道线结构的图像。
本发明实施例提供的车道线结构识别装置,可执行本发明任意实施例所提供的车道线结构识别方法,具备执行该方法相应的功能模块和有益效果。
实施例四
本发明实施例提供了一种计算机设备,该计算机设备中可集成本发明实施例提供的车道线结构识别装置。图5为本发明实施例提供的一种计算机设备的结构框图。计算机设备500可以包括:存储器501,处理器502及存储在存储器501上并可在处理器运行的计算机程序,所述处理器502执行所述计算机程序时实现如本发明实施例所述的车道线结构识别方法。
本发明实施例提供的计算机设备,可执行本发明任意实施例所提供的车道线结构识别方法,具备执行该方法相应的功能模块和有益效果。
实施例五
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行车道线结构识别方法,该方法包括:
获取包含多种类型车道线结构的样本图像,并对所述样本图像进行预处理;
将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;
基于所述包含车道线结构的二值图训练分类模型,并将训练完成的所述分类模型用于对视频中车道线结构的识别。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的车道线结构识别操作,还可以执行本发明任意实施例所提供的车道线结构识别方法中的相关操作。
上述实施例中提供的车道线结构识别装置、设备及存储介质可执行本发明任意实施例所提供的车道线结构识别方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的车道线结构识别方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车道线结构识别方法,其特征在于,包括:
获取包含多种类型车道线结构的样本图像,并对所述样本图像进行预处理;
将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;
基于所述包含车道线结构的二值图训练分类模型,并将训练完成的所述分类模型用于对视频中车道线结构的识别。
2.根据权利要求1所述的方法,其特征在于,所述样本图像基于车载摄像头拍摄得到,所述对所述样本图像进行预处理包括:
以所述样本图像的预设高度比例的位置作为图像的起点位置,图像的底部作为终点位置,进行图像截取,得到预处理后的样本图像,其中,所述预设高度比例与所述车载摄像头的安装位置和/或安装角度相关。
3.根据权利要求1所述的方法,其特征在于,将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图,包括:
将预处理后的当前样本图像中的各像素点,划分为多行像素点,针对当前行像素点使用第一预设方式和第二预设方式分别基于可变卷积神经网络进行处理,得到第一卷积图和第二卷积图;
分析所述第一卷积图和所述第二卷积图中相同位置像素点的灰度值,若所述相同位置像素点的灰度值满足预设关系,则确定当前像素点为车道线结构中的某一像素点;
遍历当前样本图像中每一行像素点,得到当前样本图像对应的包含车道线结构的二值图。
4.根据权利要求3所述的方法,其特征在于,所述可变卷积神经网络的步长由当前像素点的高度坐标确定,相应的表达式为:
Figure FDA0003187539440000021
式中,kernel_width为当前行像素点的卷积宽度,image_width为样本图像的宽度,image_heigth为样本图像的高度,point_y为当前样本图像的当前行像素点的y方向坐标。
5.根据权利要求3所述的方法,其特征在于,所述预设关系通过以下表达式表示:
Figure FDA0003187539440000022
其中,light_L表示第一卷积图中对应像素点的灰度值,light_R表示第二积图中对应像素点的灰度值。
6.根据权利要求1所述的方法,其特征在于,所述将训练完成的所述分类模型用于对视频中车道线结构的识别时,当确定连续预设数量的图像帧为同一类型的车道线结构时,保存当前车道线结构对应的视频。
7.根据权利要求1所述的方法,其特征在于,所述多种类型车道线结构样本图像包括:包含直道、弯道、匝道、汇入、汇出、立交桥、隧道以及十字路口中至少一种车道线结构的图像。
8.一种车道线结构识别装置,其特征在于,包括:
样本图像预处理模块,用于获取包含多种类型车道线结构的样本图像,并对所述样本图像进行预处理;
二值图获得模块,用于将所述预处理后的样本图像基于可变卷积神经网络进行处理,得到每个样本图像对应的包含车道线结构的二值图;
分类模型训练模块,用于基于所述包含车道线结构的二值图训练分类模型,并将训练完成的所述分类模型用于对视频中车道线结构的识别。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202110866096.XA 2021-07-29 2021-07-29 车道线结构识别方法、装置、设备及介质 Active CN113569752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110866096.XA CN113569752B (zh) 2021-07-29 2021-07-29 车道线结构识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110866096.XA CN113569752B (zh) 2021-07-29 2021-07-29 车道线结构识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113569752A true CN113569752A (zh) 2021-10-29
CN113569752B CN113569752B (zh) 2023-07-25

Family

ID=78169044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110866096.XA Active CN113569752B (zh) 2021-07-29 2021-07-29 车道线结构识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113569752B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115206089A (zh) * 2022-06-07 2022-10-18 西安电子科技大学 一种基于4d毫米波雷达的可变车道分流系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171389A1 (en) * 2018-03-09 2019-09-12 Biswas Abhishek Pattern recognition by convolutional neural networks
CN110348273A (zh) * 2018-04-04 2019-10-18 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN110569782A (zh) * 2019-09-05 2019-12-13 辽宁科技大学 一种基于深度学习目标检测方法
CN110610153A (zh) * 2019-09-10 2019-12-24 重庆工程职业技术学院 一种用于自动驾驶的车道识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171389A1 (en) * 2018-03-09 2019-09-12 Biswas Abhishek Pattern recognition by convolutional neural networks
CN110348273A (zh) * 2018-04-04 2019-10-18 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN110569782A (zh) * 2019-09-05 2019-12-13 辽宁科技大学 一种基于深度学习目标检测方法
CN110610153A (zh) * 2019-09-10 2019-12-24 重庆工程职业技术学院 一种用于自动驾驶的车道识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115206089A (zh) * 2022-06-07 2022-10-18 西安电子科技大学 一种基于4d毫米波雷达的可变车道分流系统

Also Published As

Publication number Publication date
CN113569752B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111553205B (zh) 无车牌信息车辆重识别方法、系统、介质、视频监控系统
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
Zhang et al. CCTSDB 2021: a more comprehensive traffic sign detection benchmark
Choi et al. Thermal image enhancement using convolutional neural network
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
Zhang et al. A longitudinal scanline based vehicle trajectory reconstruction method for high-angle traffic video
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN106326810A (zh) 道路场景识别方法及设备
CN108319952A (zh) 一种车辆特征提取方法及装置
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
CN115147328A (zh) 三维目标检测方法及装置
CN111738032A (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN110889388A (zh) 违章识别方法、装置、设备及存储介质
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN113569752B (zh) 车道线结构识别方法、装置、设备及介质
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN114241373A (zh) 一种端到端的车辆行为检测方法、系统、设备及存储介质
Singh et al. Smart traffic monitoring through real-time moving vehicle detection using deep learning via aerial images for consumer application
CN113673332B (zh) 对象识别方法、装置以及计算机可读存储介质
US20230126957A1 (en) Systems and methods for determining fault for a vehicle accident
CN115249345A (zh) 一种基于倾斜摄影三维实景地图的交通拥堵检测方法
CN115565155A (zh) 神经网络模型的训练方法、车辆视图的生成方法和车辆
CN114550124A (zh) 车位内障碍物的检测方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant