CN111259707A - 一种特殊线型车道线检测模型的训练方法 - Google Patents

一种特殊线型车道线检测模型的训练方法 Download PDF

Info

Publication number
CN111259707A
CN111259707A CN201811468137.4A CN201811468137A CN111259707A CN 111259707 A CN111259707 A CN 111259707A CN 201811468137 A CN201811468137 A CN 201811468137A CN 111259707 A CN111259707 A CN 111259707A
Authority
CN
China
Prior art keywords
lane line
neural network
lane
sample image
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811468137.4A
Other languages
English (en)
Other versions
CN111259707B (zh
Inventor
张驰
蒋竺希
陈佳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201811468137.4A priority Critical patent/CN111259707B/zh
Publication of CN111259707A publication Critical patent/CN111259707A/zh
Application granted granted Critical
Publication of CN111259707B publication Critical patent/CN111259707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种智能驾驶技术领域,具体涉及一种特殊线型车道线检测模型的训练方法;此外,本发明还涉及一种用该检测模型进行车道线检测的系统。该训练方法包括步骤S101:获取道路样本图像,所述道路样本图像标注有正常车道线与Y型车道线的位置信息;步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型;步骤103:利用所述道路样本图像训练所述初始神经网络模型,得到特殊线型车道线检测模型。对于获取的Y型车道线,采用一个向量来表示车道线位置,所述向量中的数值表示车道线上均匀分布的点的坐标,并且在初始神经网络模型基础上,采用微调的方法,利用道路样本图像,对神经网络进行训练。相比于现有技术,本发明能很好地解决特殊线型如Y型线检测问题。

Description

一种特殊线型车道线检测模型的训练方法
技术领域
本发明涉及一种智能驾驶技术领域,具体涉及一种特殊线型车道线检测模型的训练方法。
背景技术
随着科学技术的发展,自动驾驶、无人车等新兴概念应运而生。车道线检测技术是先进驾驶辅助系统的道路场景分析中的重要元素,是自动驾驶技术中一个不可或缺的部分。具体的,车辆的摄像头等传感器可以获取车辆当前所处的环境的视觉图像,采用车道线检测技术对传感器获取的车辆前方或后方道路图像信息进行处理,可以得到图像中的车道线的位置,从而指导车辆的驾驶。正常的车道线通常以多种样式的标记线的形式标记在道路地面上。在道路出现匝道的地方,通常会出现一种特殊线型的车道线,也就是Y型线,如图1所示。
现有的车道线检测方法,一类是基于特征的算法,主要是利用颜色、纹理、形状等信息来提取车道线。但是当路面光照发生变化、标志线磨损或者路面出现水渍、阴影等情况时,都将会影响检测效果。一类是基于模型的算法,这种方法首先估计道路模型,然后利用霍夫变换或者其他图像信息确定模型参数,常用的道路模型有直线模型,抛物线模型,三次样条曲线模型等。大量研究发现:直线模型虽然算法简单运行速度快,但是不适合弯曲的车道线检测,应用范围窄;抛物线模型易受到复杂道路环境的影响,鲁棒性不好;三次样条曲线模型虽然检测效果比较好,但是算法复杂计算量大。出现上述问题的一个关键是现有的车道线检测方法不能很好地解决特殊线型如Y型线检测问题。出现上述缺陷的一个方面在于没有形成一个有效的特殊车道线型检测模型。更没有引入神经网络等模型工具进行优化处理,这些都造成了对特殊车道线识别的缺陷。
发明内容
针对目前对车道线模型的建立以及训练没有形成有效的体系的缺点,提出本发明。
本发明的第一方面,是提出了一种特殊线型车道线检测模型的训练方法,
包括以下步骤:
步骤101:获取道路样本图像,所述道路样本图像标注有正常车道线与Y型车道线的位置信息;其中采用一个向量来表示车道线位置,所述向量中的数值表示车道线上均匀分布的点的坐标;其中对于所述Y型车道线,所述向量的长度为M,其中M=2*N;所述向量的维度为N;
步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型;
步骤103:利用所述道路样本图像训练所述初始神经网络模型,得到特殊线型车道线检测模型。
优选的,所述步骤102中初始神经网络模型中包含空间金字塔池化层,并适应任意大小的图片,以满足不对道路样本图像进行缩放,避免图像信息的损失。
优选的,以Faster R-CNN作为所述初始神经网络模型。
优选的,所述步骤103中,所述初始神经网络模型中的卷积层学习所述道路样本图像中的车道线位置的特征;根据学习到的所述道路样本图像的相关特征以及所述初始神经网络模型中的全连接层对相关特征进行映射,得到车道线位置的识别结果,将所述车道线位置的识别结果与所述道路样本图像预先标注的车道线位置进行比较,对所述初始神经网络模型的参数进行优化,当所述初始神经网络模型经过多次训练样本的迭代训练后,获得所述特殊线型车道线检测模型。
本发明的第二方面,是提供一种车道线检测系统,其特征在于:所述系统包括:待检测道路图像获取单元、车道线检测模型、预测解析单元、处理单元;
所述系统所述将待检测道路图像获取单元获取的图像输入到所述车道线检测模型,所述车道线检测模型输出神经网络模型的输出信息,所述输出信息包括至少两种不同类型车道线的概率;其中所述车道线检测模型为上述的训练方法训练得到;
所述预测解析单元对所述输出信息进行解析,得到所有预测的车道线;
所述处理单元对所述所有预测的车道线进行非极大值抑制后处理,得到最终的车道线检测结果。
优选的,所述预测解析单元通过对所述神经网络模型逐个单元输出的四组向量进行解析来得到所有的车道线。
优选的,还包括一报警单元,该报警单元用于在所判断出车道线存在Y型线时发出报警信息。
本发明的第三方面,是提供一种应用,该应用是上述的训练方法在车道线检测中的应用。
本发明的第四方面,是提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现上述的任一项所述的训练方法。
本发明的发明点在于以下几点,但又不限于以下几点:
(1)本发明基于深度卷积神经网络,将车道线检测形式化为正常车道线和Y型线两种类型的检测,直接用两条线联合表示Y型线,进行通过分支分离,一个分支负责预测正常的线型,一个分支专注预测Y型线,可以很好的解决Y型线的检测问题。在这里,分支分离与深度卷积神经网络处于解决Y型线检测识别的目的相互配合,不是两者的简单叠加。
(2)本发明通过将在对象检测领域取得非常好的结果的卷积神经网络方法引入车道线检测中,并且对其进行优化,既可以有效地解决多种路面状况下车道线检测鲁棒性差的问题,又可以实现对特殊线型的检测,与传统方法相比有很大进步。
(3)训练模型采用了有监督的训练方式,因而,道路样本图像中标注有车道线位置信息。通过标注车道线位置信息,可以加快模型训练的速率,提高模型检测的准确率。在现有技术中还未发现在特殊车道线的检测中引入该监督学习。这是因为监督学习的完成需要前期图像标注的信息相关,现有技术中并未发现有将特殊车道线信息的标注与后期的神经网络中监督学习相联系。
(4)以深度学习神经网络作为初始模型,并对其进行优化,具体包括将学习到的所述道路样本图像的相关特征,所述初始神经网络模型中的全连接层对相关特征进行映射,得到车道线位置的识别结果,将所述车道线位置的识别结果与所述道路样本图像预先标注的车道线位置进行比较,以所述对初始神经网络模型的参数进行优化。这些优化都是为了得到实践证明适配较好的检测模型而进行的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为正常的车道线与特殊型线Y型线的示意图;
图2为本申请实施例中一种特殊线型车道线检测模型的训练方法的流程图;
图3为本申请实施例中一种特殊线型车道线检测方法的流程图;
图4为本申请实施例一种可能的实现方式的算法框架。
具体实施例
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
本申请实例提供了一种特殊线型车道线检测模型的训练方法和基于该特殊线型车道线检测模型的特殊线型车道线检测方法。上述特殊线型车道线检测模型以及特殊线型车道线检测方法,可以应用于终端、服务器或者二者的结合。其中,终端可以是现有的、正在研发的或将来研发的、能够通过任何形式的有线和/或无线连接(例如,Wi-Fi、LAN、蜂窝、同轴电缆等)实现与服务器交互的任何用户设备,包括但不限于:现有的、正在研发的或将来研发的智能手机、非智能手机、平板电脑、膝上型个人计算机、桌面型个人计算机、小型计算机、中型计算机、大型计算机等。本申请实施例中服务器可以是现有的、正在研发的或将来研发的、能够向用户提供信息推荐的应用服务的设备的一个实例。本申请的实施方式在此方面不受任何限制。
下面结合附图对本申请实施例的具体实现方式进行介绍。
首先,对本申请实施例中提供的一种特殊线型车道线检测模型的训练方法的具体实现方式进行介绍。
图2所示为本申请实例提供的一种特殊线型车道线检测模型的训练方法的流程图,应用于自动驾驶领域,参见图2,该方法包括:
步骤101:获取道路样本图像,所述道路样本图像标注有正常车道线与Y型车道线的位置信息。
道路样本图像可以视为用于训练特殊线型车道线检测模型的样本图像。本申请实施例中,训练模型采用了有监督的训练方式,因而,道路样本图像中标注有车道线位置信息。通过标注车道线位置信息,可以加快模型训练的速率,提高模型检测的准确率。
其中,车道线位置是指由车道标识线所标记出的。车道线位置在数学上,可以理解为一条曲线,可以通过多种形式进行表征。对于一条曲线,通常可以采用多项式拟合函数、坐标等方式进行表示。在本申请实施例的一些可能的实现方式中,采用一个向量来表示车道线位置,这个向量中的数值表示车道线上均匀分布的点的坐标。其中,对正常的车道线而言,这个向量的维度为N;而对Y型车道线而言,这个向量的长度为M,其中M=2*N,这里我们将Y型线表示成两条正常车道线,特点是其下端共线的部分数值是相等的。在本申请实施例的一些可能的实现方式也可以采用其他方式进行标注。
在本申请实施例的一些可能的实现方式中,我们所处理的图像可以是由位于车身的前部或后部等位置的摄像头所获取到的道路图像,如图1所示,这里是由车辆的前部摄像头获取到的图像,图像的下部即为当前驾驶的车辆。倒车的时候,要处理的图像则为通过后部的摄像头获取的图像,这种情况下图像的上部为当前驾驶的车辆的位置。
在本申请实施例中,可以预先建立样本库,从样本库中获取样本图像。其中,样本库可以采用公开的数据集中的图像,也可以从车辆的存储设备中获取车辆的摄像头所采集的图像,对图像中的车位区域进行标注,从而建立样本库。在有些情况下,也可以直接获取样本图像,例如,直接获取车辆的摄像头实时采集的图像,对图像的车位区域进行标注,将标注后的图像作为样本图像。
步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型。
在获取到道路样本图像后,可以将道路样本图像输入到预先建立的初始神经网络模型,以便利用道路样本图像对初始神经网络模型进行训练。
在本申请实施例的一些可能的实现方式中,在将道路样本图像输入预先建立的初始神经网络模型之前,还可以将道路样本图像缩放至预设尺寸。如此,可以使得初始神经网络模型对同一尺寸的道路样本图像进行学习,从而能够更快速、更准确地对道路样本进行处理,提高模型的训练效率。在本申请实施例的另外一些可能的实现方式中,所述预先建立的初始神经网络模型中可能包含空间金字塔池化层,可以适应任意大小的图片,则可以不对道路样本图像进行缩放,以避免图像信息的损失。
步骤103:利用所述样本图像训练所述神经网络模型,得到特殊线型车道线检测模型。
为了便于理解,首先对神经网络模型的概念进行简单介绍。神经网络是由大量的、简单的处理单元广泛地互相连接而形成的网络系统,它是一个高度复杂的非线性动力学习系统,具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。神经网络模型即为基于神经网络建立的一种数学模型,基于神经网络模型的强大的学习能力,神经网络模型在许多领域都得到广泛的应用。
其中,在图像处理和模式识别领域,常常采用卷积神经网络模型进行模式识别。由于卷积神经网络模型中的卷积层局部连接以及权值共享的特性,使得需要训练的参数大大减少,简化了网络模型,提高了训练效率。
具体到本实施例,可以采用深度卷积神经网络作为初始神经网络模型,利用道路样本图像,对神经网络模型进行训练。除了自行设计新的深度卷积神经网络,也可以采用迁移学习的方法,利用已有的在对象检测领域取得较好结果的深度卷积神经网络,如FasterR-CNN等,对其输出类别数量及可能需要修改的其他部位的结构做出相应的修改,并直接采用原有网络模型中已有的已经充分训练的参数,作为初始神经网络模型,采用微调的方法,利用道路样本图像,对神经网络进行训练。具体为初始神经网络模型中的卷积层充分学习道路样本图像中的车道线位置的特征,根据学习到的道路样本图像的相关特征,初始神经网络模型中的全连接层可以对相关特征进行映射,得到车道线位置的识别结果,将车道线位置的识别结果与道路样本图像预先标注的车道线位置进行比较,可以对初始神经网络模型的参数进行优化,当初始神经网络模型经过较多训练样本的迭代训练后,可以获得特殊线型车道线检测模型。
由上可知,本申请提供了一种特殊线型车道线检测模型的训练方法。获取道路样本图像,道路样本图像中标注有车道线位置,将道路样本图像输入初始神经网络模型,利用道路样本图像以有监督学习方式对初始神经网络模型进行训练或者微调,得到特殊线型车道线检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练,大量的道路样本图像可以使得训练得到的特殊线型车道线检测模型在对车道线位置进行预测时具有较高的准确度和效率。
基于上述实施例中提供的一种特殊线型车道线检测模型的训练方法,本申请实施例中还提供了一种基于所述特殊线型车道线检测模型的特殊线型车道线检测方法。
接下来,结合附图对本申请实施例中提供的一种特殊线型车道线检测方法进行详细说明。
图3为本申请实施例中提供的一种特殊线型车道线检测方法的流程图,该方法应用于自动驾驶领域,参见图3,该方法包括:
步骤301:获取当前道路图像。
当前道路图像指的是车辆当前所处位置前方、后方或其他位置的图像。在本实施例中,当前道路图像为需要检测车道线位置的图像。
可以理解,当前道路图像可以是实时获取的道路图像。在本申请实施例的一些可能的实现方式中,可以对车辆的前视或后视摄像头拍摄到的图像进行一些必要的操作,将得到的道路图像作为当前道路图像。在一些可能的实现方式中,也可能使用其他方式获取车辆所在位置的道路图像。
在一些情况下,当前道路图像也可以是接收到的其他设备所发送的道路图像。例如,当车辆的摄像头出现故障时,车上的乘客可以通过手机等设备拍摄当前所在位置的道路图像,如此,可以从用户的设备上获取当前道路图像,以便通过该图像进行车道线位置检测。
以上仅为获取当前道路图像的一些具体示例,本申请对当前道路图像的获取方式不做限定,可以根据需求采取不同的实现方式。
步骤302:将当前道路图像输入到特殊线型车道线检测模型,得到神经网络模型的输出信息。
所述特殊线型车道线检测模型是根据上述实施例中提供的特殊线型车道线检测模型的训练方法生成的特殊线型车道线检测模型。
将当前道路图像输入到特殊线型车道线检测模型后,特殊线型车道线检测模型可以通过对当前道路图像进行特征提取,并对提取到的特征进行映射,得到表征车道线的向量,该向量即为特殊线型车道线检测模型的输出结果。
这里对输出结果的一种可能的形式进行说明。算法的框架如图4所示。神经网络会将整个图像划分为若干个单元,而每个单元会输出四组向量,其中cls_norm对应的正常车道线的分类预测值,维度为2,第一维cls_norm[0]对应的是该单元不是正常车道线的概率,cls_norm[1]对应的是该单元是车道线的概率。reg_norm对应的是正常车道线的回归,维度是N,我们用这样的N维向量表示一条车道线。cls_ylane和cls_norm类似,维度为2维,表示Y型线的分类概率;reg_ylane和reg_norm类似,是Y型线的回归结果,维度是M,这里我们采用M=2*N,将Y型线表示成两条正常车道线,特点是其下端共线的部分数值是相等的。
步骤303:预测阶段,对各单元输出的思维向量进行解析,得到所有车道线。
在步骤302中我们通过当前道路图像输入到特殊线型车道线检测模型,得到正常车道线和Y型车道线的预测和回归信息。在一些实施例中,预测的结果指是或者不是,例如预测结果为是正常车道线并可以给出相应的概率;回归信息是指预测的目标的位置,例如Y型车道线的位置。
在预测阶段,我们通过对逐个单元输出的四组向量进行解析来得到图中所有的车道线。例如对于单元(h,w),解析如下:
Figure BDA0001890306230000071
也就是说,(1)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值,且Y型车道线的分类预测值中预测此单元是车道线的概率小于Y型车道线阈值时,认为此区域内存在正常车道线,同时将正常车道线的回归结果返回;(2)在正常车道线的分类预测值中预测此单元是车道线的概率大于正常车道线阈值,且Y型车道线的分类预测值中预测此单元是车道线的概率大于Y型车道线阈值时,认为此区域内存在Y型车道线,同时将Y型车道线的回归结果返回;(3)在正常车道线的分类预测值中预测此单元是车道线的概率小于正常车道线阈值时,认为此单元内不含车道线。
经过这样的解析后,我们会得到每个单元预测的车道线结果。
步骤304:对所有预测的车道线进行非极大值抑制后处理,得到最终的车道线检测结果。
在经过步骤303的预测解析处理后,对每个单元我们获得了一个车道线的预测结果,但是还有以下问题没有解决:(1)这些单元可能会产生重叠的情况,(2)Y型车道线的下部与正常车道线相同,可能会被错误预测为正常车道线。为了解决以上问题,我们引入非极大值抑制的方法对之前的结果进行处理,抑制那些冗余以及Y型线被预测为正常线的单元结果。
首先,将所有单元结果的分类预测值排序,选出最高分及其对应的单元。但Y型线的结果与正常车道线的结果相互抑制时,优先保留Y型线的结果。之后,遍历其余所有的单元,如果和当前最高分单元的车道线预测结果的重叠面积大于一定阈值,将这个单元的结果删除。最后,从未处理的单元中继续选一个分类预测概率最高的,重复上述过程。
通过上述非极大值抑制方法,我们最终可以得到单独、分离的车道线检测结果。
基于这种方法,我们可以对正常车道线及特殊线型车道线进行检测,大大拓展了应用场景。
由上可知,本申请实施例中提供了一种特殊线型车道线位置的检测方法,通过将当前道路图像输入到预先训练的特殊线型车道线检测模型,基于特殊线型车道线检测模型的输出结果,可以确定当前道路图像中的正常车道线及特殊线型车道线位置。本申请实施例中提供的特殊线型车道线检测方法将Y型线当作新的线性,直接用两条线联合表示Y型线,进行通过分支分离,一个分支负责预测正常的线型,一个分支专注预测Y型线,可以很好的解决Y型线的检测问题。并且,该模型是采用海量样本道路图像结合深度学习的方式训练得到,在对车道线位置进行检测时具有较高的准确度和效率。
在一些实施例中,可以在系统中包括一报警单元,该报警单元用于在所判断出车道线存在Y型线时发出报警。该报警单元可以用于自动驾驶系统中对自动驾驶起到提醒作用,提醒出现Y型分叉线时,以优先级较高的形式处理该Y型分叉线的车辆控制;即该报警单元并不意味着发出报警音提示;也可以用于日常的普通驾驶情况下对驾驶员进行提醒,提醒前方出现Y型分叉线,注意驾驶安全。这种提醒包括但不限于发出语音提示,人机交互界面出现视觉闪烁等。
一种计算机存储介质,其上存储有计算机可执行的指令,当指令被计算机装置执行时,可执行上述的方法以完成特殊线型车道线检测。
以上实施例,主要是以卷积神经网络模型作为神经网络模型,进行训练得到特殊线型车道线检测模型,并基于该特殊线型车道线检测模型对当前道路图像中的车道线位置进行检测。而随着机器学习的不断发展,卷积神经网络模型也在不断发展。具体的,基于所要训练的模型的功能以及该模型所要处理的数据,可以采用不同类型的卷积神经网络作为初始神经网络。常见的用于对象检测的卷积神经网络包括R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、YOLO、YOLO9000、SSD、NASNet、Mask R-CNN等。在一些可能的实现方式中,可以采用Faster R-CNN作为初始神经网络模型,修改其部分结构后,对其进行微调,得到特殊线型车道线检测模型。在一些可能的实现方式中,可以采用上述提到的其他卷积神经网络,或者采用其他在此领域中取得较好结果的网络。本申请的实施方式在此方面不受任何限制。
由此可见,本申请实施例中提供了一种特殊线型车道线检测模型的训练方法以及特殊线型车道线检测方法。获取道路样本图像,道路样本图像中标注有车道线位置,将道路样本图像输入初始神经网络模型,利用道路样本图像以有监督学习方式对初始神经网络模型进行微调,得到特殊线型车道线检测模型。采用标注有车道线位置的道路样本图像对初始神经网络模型进行训练,大量的道路样本图像可以使得训练得到的特殊线型车道线检测模型在对车道线位置进行预测时具有较高的准确度和效率。通过将当前道路图像输入到预先训练的特殊线型车道线检测模型,基于特殊线型车道线检测模型的输出结果,可以确定当前道路图像中的正常及Y型车道线位置。本申请实施例中提供的特殊线型车道线检测方法不需要再利用图像处理技术提取轮廓的结构化信息以使不同模块之间互通。并且,该模型是采用海量样本道路图像结合深度学习的方式训练得到,在对正常及特殊线型车道线进行检测时具有较高的准确度和效率。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例中所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

Claims (9)

1.一种特殊线型车道线检测模型的训练方法,包括以下步骤:
步骤101:获取道路样本图像,所述道路样本图像标注有正常车道线与Y型车道线的位置信息;其中采用一个向量来表示车道线位置,所述向量中的数值表示车道线上均匀分布的点的坐标;其中对于所述Y型车道线,所述向量的长度为M,其中M=2*N;所述向量的维度为N;
步骤102:将所述道路样本图像输入到预先建立的初始神经网络模型;
步骤103:利用所述道路样本图像训练所述初始神经网络模型,得到特殊线型车道线检测模型。
2.根据权利要求1所述的训练方法,所述步骤102中初始神经网络模型中包含空间金字塔池化层,并适应任意大小的图片,以满足不对道路样本图像进行缩放,避免图像信息的损失。
3.根据权利要求1所述的训练方法,以Faster R-CNN作为所述初始神经网络模型。
4.根据权利要求1所述的训练方法,所述步骤103中,所述初始神经网络模型中的卷积层学习所述道路样本图像中的车道线位置的特征;根据学习到的所述道路样本图像的相关特征以及所述初始神经网络模型中的全连接层对相关特征进行映射,得到车道线位置的识别结果,将所述车道线位置的识别结果与所述道路样本图像预先标注的车道线位置进行比较,对所述初始神经网络模型的参数进行优化,当所述初始神经网络模型经过多次训练样本的迭代训练后,获得所述特殊线型车道线检测模型。
5.一种车道线检测系统,其特征在于:所述系统包括:待检测道路图像获取单元、车道线检测模型、预测解析单元、处理单元;
所述系统所述将待检测道路图像获取单元获取的图像输入到所述车道线检测模型,所述车道线检测模型输出神经网络模型的输出信息,所述输出信息包括至少两种不同类型车道线的概率;其中所述车道线检测模型为权利要求1-4所述的训练方法训练得到;
所述预测解析单元对所述输出信息进行解析,得到所有预测的车道线;
所述处理单元对所述所有预测的车道线进行非极大值抑制后处理,得到最终的车道线检测结果。
6.根据权利要求5所述的检测系统,所述预测解析单元通过对所述神经网络模型逐个单元输出的四组向量进行解析来得到所有的车道线。
7.根据权利要求5-6中任一项所述的检测系统,还包括一报警单元,该报警单元用于在所判断出车道线存在Y型线时发出报警信息。
8.权利要求1-4任一项所述的训练方法在车道线检测中的应用。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现权利要求1-4中任一项所述的训练方法。
CN201811468137.4A 2018-12-03 2018-12-03 一种特殊线型车道线检测模型的训练方法 Active CN111259707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811468137.4A CN111259707B (zh) 2018-12-03 2018-12-03 一种特殊线型车道线检测模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468137.4A CN111259707B (zh) 2018-12-03 2018-12-03 一种特殊线型车道线检测模型的训练方法

Publications (2)

Publication Number Publication Date
CN111259707A true CN111259707A (zh) 2020-06-09
CN111259707B CN111259707B (zh) 2022-06-10

Family

ID=70950647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468137.4A Active CN111259707B (zh) 2018-12-03 2018-12-03 一种特殊线型车道线检测模型的训练方法

Country Status (1)

Country Link
CN (1) CN111259707B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539401A (zh) * 2020-07-13 2020-08-14 平安国际智慧城市科技股份有限公司 基于人工智能的车道线检测方法、装置、终端及存储介质
CN112434591A (zh) * 2020-11-19 2021-03-02 腾讯科技(深圳)有限公司 车道线确定方法、装置
CN113221652A (zh) * 2021-04-09 2021-08-06 南京云计趟信息技术有限公司 确定道路类别的方法、装置及终端设备
CN115294545A (zh) * 2022-09-06 2022-11-04 中诚华隆计算机技术有限公司 一种基于深度学习的复杂路面车道识别方法及芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539401A (zh) * 2020-07-13 2020-08-14 平安国际智慧城市科技股份有限公司 基于人工智能的车道线检测方法、装置、终端及存储介质
CN112434591A (zh) * 2020-11-19 2021-03-02 腾讯科技(深圳)有限公司 车道线确定方法、装置
CN113221652A (zh) * 2021-04-09 2021-08-06 南京云计趟信息技术有限公司 确定道路类别的方法、装置及终端设备
CN115294545A (zh) * 2022-09-06 2022-11-04 中诚华隆计算机技术有限公司 一种基于深度学习的复杂路面车道识别方法及芯片

Also Published As

Publication number Publication date
CN111259707B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN111259707B (zh) 一种特殊线型车道线检测模型的训练方法
US11144889B2 (en) Automatic assessment of damage and repair costs in vehicles
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN106845487B (zh) 一种端到端的车牌识别方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN110222591B (zh) 一种基于深度神经网络的车道线检测方法
CN111259704B (zh) 一种虚线车道线端点检测模型的训练方法
CN108345875B (zh) 可行驶区域检测模型训练方法、检测方法和装置
CN109977921B (zh) 一种输电线路隐患检测方法
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN110263920B (zh) 卷积神经网络模型及其训练方法和装置、巡检方法和装置
CN111008632B (zh) 一种基于深度学习的车牌字符分割方法
CN111738206B (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN109858438B (zh) 一种基于模型拟合的车道线检测方法
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN112001378B (zh) 基于特征空间的车道线处理方法、装置、车载终端和介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111428664A (zh) 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法
CN111098850A (zh) 一种自动停车辅助系统及自动泊车方法
CN115578616A (zh) 多尺度物体实例分割模型的训练方法、分割方法和装置
Bello-Salau et al. An examination of different vision based approaches for road anomaly detection
CN111062347A (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN111260955B (zh) 采用停车位框线、端点的停车位检测系统及方法
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211124

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant