CN111914596B - 车道线检测方法、装置、系统及存储介质 - Google Patents
车道线检测方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN111914596B CN111914596B CN201910384836.9A CN201910384836A CN111914596B CN 111914596 B CN111914596 B CN 111914596B CN 201910384836 A CN201910384836 A CN 201910384836A CN 111914596 B CN111914596 B CN 111914596B
- Authority
- CN
- China
- Prior art keywords
- lane lines
- image
- lane
- feature map
- preset size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 238000002372 labelling Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000011282 treatment Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 239000000463 material Substances 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000004433 Thermoplastic polyurethane Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种车道线检测方法、装置、系统及存储介质，该方法，包括：对采集到的初始图像进行预处理，得到包含车道线的中间图像；通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图；通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，N个标注值对应初始图像中的N个候选特征点；通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；根据预测的车道线条数和N个候选特征点获取检测出的车道线。从而实现了对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种车道线检测方法、装置、系统及存储介质。
背景技术
近年来，辅助驾驶、自动驾驶技术得到了飞速发展，车道线检测是自动驾驶、偏离预警等项目中最重要的技术之一。车道线检测的准确性和效率，关系自动驾驶系统对车道的识别，甚至乘客的人生安全。
目前，车道线检测中，对图像提取边缘信息，然后利用车道线特征(比如平行、直线、交于灭点等)提取出车道线的像素点，为了去抖动和平滑，最后用kalman之类的滤波器对结果进行处理。
由于现实车道线不能那么完美地符合设定的车道线规则，因此这种传统方法最大的问题就是鲁棒性差，检测结果精度和稳定性差，并且很难应对遮挡、模糊、弯道、雨天等复杂路况。
发明内容
本发明提供一种车道线检测方法、装置、系统及存储介质，可以实现对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
第一方面，本发明实施例提供一种车道线检测方法，包括：
对采集到的初始图像进行预处理，得到包含车道线的中间图像；
通过目标网络模型的特征提取通道对所述中间图像进行特征提取，得到第一预设尺寸的特征图；
通过所述目标网络模型的回归分支对所述第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，所述N个标注值对应所述初始图像中的N个候选特征点；
通过所述目标网络模型的分类分支对所述第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；
根据预测的车道线条数和所述N个候选特征点获取检测出的车道线。
第二方面，本发明实施例提供一种车道线检测装置，包括：
图像编辑模块，用于对采集到的初始图像进行预处理，得到包含车道线的中间图像；
加载有目标网络模型的图像处理模块，所述目标网络模型包含有特征提取通道、回归分支、分类分支的目标网络模型；
所述特征提取通道，用于对所述中间图像进行特征提取，得到第一预设尺寸的特征图；
所述回归分支，用于对所述第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，所述N个标注值对应所述初始图像中的N个候选特征点；
所述分类分支，用于对所述第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；
图像检测模块，用于根据预测的车道线条数和所述N个候选特征点获取检测出的车道线。
第三方面，本发明实施例提供一种车道线检测系统，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行第一方面中任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的方法。
本发明提供一种车道线检测方法、装置、系统及存储介质，通过对采集到的初始图像进行预处理，得到包含车道线的中间图像；通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图；通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，N个标注值对应初始图像中的N个候选特征点；通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；根据预测的车道线条数和N个候选特征点获取检测出的车道线。从而实现了对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的结构示意图；
图2为本发明实施例一提供的车道线检测方法的流程图；
图3为传统的卷积操作原理示意图一；
图4为传统的卷积操作原理示意图二；
图5为沿高度方向的卷积操作原理示意图；
图6为沿宽度方向的卷积操作原理示意图；
图7为本发明实施例二提供的车道线检测方法的流程图；
图8为本发明实施例三提供的车道线检测装置的结构示意图；
图9为本发明实施例四提供的车道线检测装置的结构示意图；
图10为本发明实施例五提供的车道线检测系统的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
现有技术中，车道线的检测，一般是对图像提取边缘信息，然后利用车道线特征(例如：水平线、直线、直线与水平线的交灭点等)提取出车道线的像素点，进一步地，为了去抖动和平滑，最后还会用kalman之类的滤波器对提取出的车道线像素点进行过滤。但是这种方法最大的问题就是鲁棒性差(即适应性差)。这是因为边缘提取、直线检测等处理方式，都需要大量的参数去调试参数，但是调试参数往往只能在特定场景下有效，换一个场景时，这些调试参数就很难适用了。此外，这种方式的提取精度和稳定性也较差；因为这种方式一般基于人为设定的车道线特征来进行提取。然而现实的车道线不能那么完美地符合设定的车道线规则，例如真实路况中经常存在的遮挡、模糊、弯道、雨天等情形，上述方法就无法适应了，因此检测的结果往往精度低和稳定性差。
近期，随着深度学习技术的发展，在车道检测中，技术人员提出了利用深度学习对车道线进行分割的方法。通过深度学习模型，将图像中车道线的像素点提取出来，然后对提取出的像素点进行聚类、采样、拟合等处理，最终得到车道线像素点。但是这种方式，运算量特别大。因为深度学习想要有比较好的效果，就要有比较深的网络结构，相应的运算量也相当大。特别是深度学习中的分割算法，和其他深度学习任务比起来，不仅有卷积操作，还需要转置卷积的操作，运算量更是大大提升，这就导致了这类算法必须在GPU、TPU等高性能设备上才能实时运行。当ADAS等项目要在手机、车载板子等上运行时，考虑自动驾驶成本时，也不得不在运算性能较差的设备上运行，从而导致这种算法较难商业落地。另外，这种方式还需要传统的聚类等算法来提取车道线，人为调参会带来鲁棒性上的瓶颈。深度学习网络分割后，得到的是像素级的车道线识别点，为了后续可用，还需要进行聚类、采样等传统操作，这些操作需要人为调参，因此无法突破鲁棒性上的瓶颈。
针对现有技术中的问题，本发明旨在利用深度学习分类和回归算法，输入图像、输出车道线条数和车道线点的坐标，进行端到端地车道线检测。考虑到回归算法有一个局限，就是回归出的点的个数是固定的，而图像中车道线的条数是不固定的，为了解决这个问题，本发明中可以设置回归分支回归出最大车道线数目的点数(比如图片中有两条车道线，依然回归出三条车道线的点)，然后分类分支判断图片车道线的条数，对回归的点进行截取。考虑到成熟的深度学习网络结构和对应的卷积以及池化等操作，很难直接高度概括出缺少特征点、形状细长的车道线；本发明提出了新的卷积操作，特别适用于车道线这类结构化信息大于特征点信息的物体识别，可以使得识别精度大大提高。
此外，虽然有些现有的车道线识别方案中都用到了深度学习网络、分类、回归算法；但是这些方案需要对特征图进行网络划分，得到不同斜率的“建议线”，通过分类确定“建议线”为车道线的概率，最后通过非极大值抑制来筛选去重，得到车道线。另外，这些方案在对图像处理过程中，采用的卷积方式也为现有的卷积方式。
而本发明无需对特征图进行网格划分，也无需获取不同斜率的“建议线”，而是通过深度学习分类和回归算法，输入图像、输出车道线条数和车道线点的坐标，进行端到端地车道线检测，并提出了新的卷积操作，特别适用于车道线这类结构化信息提取。据此可见，本发明中所采用的技术方法与现有技术中的方法存在本质的区别。
具体地，在自动驾驶、偏离预警等项目中，车道线检测是其中一个组成模块。图1为本发明一应用场景的结构示意图，如图1所示，本发明的车道线检测装置10的图像采集模块，采集包含车道线的初始图像。车道线检测装置10的处理模块，对初始图像进行裁剪和缩放处理，得到预设大小的中间图像。车道线检测装置10的输入模块，将中间图像输入目标网络模型。车道线检测装置10的预测模块，通过目标网络模型输出预测的车道线特征点坐标。最终输出车道线特征点坐标20，本发明提供的方法，能够实现车道线的快速检测，具有速度快、鲁棒性好，精度高的优点。即使在遮挡、虚线等场景下依然能很好地识别车道线，比标注车道线分割数据集省时省力。同时，本发明的方法，能够不受车道线数量的限制，识别任意数量的车道线。
应用上述方法可以实现对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例一
图2为本发明实施例一提供的车道线检测方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、对采集到的初始图像进行预处理，得到包含车道线的中间图像。
本实施例中，首先可以在数据采集车的车顶或者车头上设置图像采集设备(如摄像头等)，用来采集包含车道线的初始图像。然后，截除初始图像中地平线以上的非车道部分，得到局部图像；将局部图像进行缩放处理，得到预设大小的中间图像(例如可以缩放至分辨率为224*224的图像)。这种截图和缩放操作，可以减少图像特征提取的运算效率，避免无效的运算过程。
需要说明的是，本实施例不限定中间图像的具体尺寸，其尺寸可以根据应用的实际情况进行调整。
S102、通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图。
本实施例中，目标网络模型是预先经过训练的学习模型，可以实现对图像特征的提取、分类。在本实施例中，采用一种特殊的卷积处理方式(参见图5、图6。为了能够更好地说明本实施例中的卷积处理方式，首先介绍一下传统的卷积操作。图3为传统的卷积操作原理示意图一，图4为传统的卷积操作原理示意图二，如图3所示(图中W表示宽度，H表示高度，C表示通道)，传统的卷积操作在通道的维度上进行卷积，即卷积核沿着通道的方向进行逐个像素的运算。如图4所示，左侧图像是待卷积的特征图。如果是网络第一层，则为输入的图像，如果是其他层，则为各步骤处理的结果，这里为了便于理解，以输入图像为例，进行卷积的详细分析。假设输入是分辨率为224*224的彩色图像，则这里输入图像可看作是224*224*3的立方体(其中3是RGB彩色图像的三通道)。在传统卷积操作中，会用一个卷积核在特征图里滑动，也即图中左侧图像中的小长方体，这个卷积核的深度必然和特征图的通道一致，本实施例中的通道为3，然后卷积核在高度和宽度的方向上移动，进行卷积操作。可以看到，每一次卷积操作，一个卷积核能看到完整的通道信息，但只能看到一小部分高度和宽度方向的区域，对于一般的视觉任务足以提取特征信息。但是对于车道线这一类具有强烈的结构信息，但是特征点信息弱(结构细长，颜色单一)的目标来说，传统卷积操作能看到完整的通道，但只能看到部分高度和宽度信息，就把车道线割裂开来了，不利于识别车道线的结构信息。这种操作的好处是每个卷积核能够充分感受到通道维度下卷积区域的图像数据，对于提取该区域的特征点是非常有好处。但是，当车道线在图像中没有很明显的特征点，传统卷积下的卷积核难以包含完整的长条形状的车道线，这就给模型学习车道线的线性结构特征造成了困难。
为了能获得更多高度和宽度方向的图像信息，本实施例中设计了一种新的卷积方式(具体地，参见图5、图6)。图5为沿高度方向的卷积操作原理示意图，图6为沿宽度方向的卷积操作原理示意图；如图5、图6所示，其等效于将输入的图像旋转90度，分别使卷积核的深度和高度和宽度方向一致，在剩下两个维度下移动卷积，这样能分别看到完整的高度和宽度方向的图像信息。至于具体的卷积操作，和原来一样，也即图中卷积核和输入图像重叠区域进行逐个元素的乘法运算，最后求和，得到一个数，即为新的特征图对应层对应位置的一个元素的值。移动卷积核，进行同样操作，又得到一个元素的值，这样，重复进行，直到输入图像所有区域都进行了卷积操作，最终得到了一个新的特征图。一个卷积核得到一层特征图，n个卷积核得到n层特征图，n也即新特征图的通道的深度。这种卷积方式的核心就是改变了卷积核的方向，让原本能看到完整通道信息，部分宽度和高度信息的卷积核，变成分别能看到完整宽度和高度的图像信息。本实施例中，依次执行以图5的卷积操作和图6的卷积操作，并用其卷积结果来代替一次传统的图3的卷积值，这样卷积操作，可以使得卷积核能读入完整的行、列的图像信息，从而更有利于识别出车道线的结构特征，而不是像传统卷积那样更有利于识别像素值特征。
本实施例中，在目标网络模型的特征提取通道中，采用图5、图6中的方式对中间图像进行卷积操作，并对卷积操作处理的图像进行池化处理，得到第一预设尺寸的特征图。
S103、通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值。
本实施例中，N个标注值对应所述初始图像中的N个候选特征点。在本实施例中，目标网络模型的回归分支仍然采用图5、图6中的卷积操作，对第一预设尺寸的特征图进行卷积处理，然后对卷积处理后的特征图进行池化处理，得到第二预设尺寸的特征图，最后通过激活函数对第二预设尺寸的特征图中的特征值进行变换得到固定数目的车道所对应的N个标注值。
考虑到回归算法有一个局限，就是回归出的点的个数是固定的，而图像中车道线的条数是不固定的。因此，本实施例中，设定N的值为固定值，即设置回归分支回归出最大车道线数目的点数(假设最大车道条数是3，那么当图片中仅有两条车道线，依然回归出三条车道线的点)，然后通过分类分支判断图片车道线的条数，最后再对回归的点进行截取。
S104、通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数。
本实施例中，目标网络模型的分类分支采用图5、图6中的卷积操作，对第一预设尺寸的特征图进行卷积处理，得到第二特征图，然后对第二特征图进行池化处理，得到池化处理后的特征图，最后通过激活函数得到特征图对于的分类值，基于该分类值确定车道线条数。
需要强调的是，回归分支输出的值为固定值；当实际车道数量小于最大车道数量时，将缺失的采样点进行补零处理，以使得采样点的数量为第一预设数量。
具体地，损失值分两部分，Lcls为分类损失，Lreg为回归损失。
具体地，假设数据集中的车道线条数为0-4条，所以分类问题即为4分类问题，针对这种问题有成熟的解决方案，即将分类分支最后接softmax，然后接交叉熵损失即为分类损失值。在本实施例中，假设最大车道条数为4，若每条车道对应8个采样点，则回归分支输出64个数。在计算回归损失的时候，若标注不满64个数，则对标注的采样点补零，并将回归分支输出的64个数中对应补零位置置零，这样就既解决了回归个数不定的问题，也通过置零避免了对标注补零对网络产生不好的影响(因为标注补零的位置，回归分支的输出同样置零，这些位置计算的损失值为零，对网络学习不会产生影响)。通过上述补零和置零操作后，回归的个数得到统一，再接入mse损失，即为回归损失。
最终的损失值为：
Loss＝Lcls+λ*Lreg
其中，λ为比例系数，使Lcls和Lreg统一在一个数量级。
S105、根据预测的车道线条数和N个候选特征点获取检测出的车道线。
本实施例中，当车道线条数确定之后，对应的车道区域也被确定，此时可以用已知的车道区域从特征图中截取出该车道区域对应的位置，并根据N个候选特征点得到车道线的连线，完成车道线的检测。
本实施例，通过对采集到的初始图像进行预处理，得到包含车道线的中间图像；通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图；通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，N个标注值对应初始图像中的N个候选特征点；通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；根据预测的车道线条数和N个候选特征点获取检测出的车道线。从而实现了对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
可选地，在实施例一的基础上，步骤S102中可以控制第i个卷积核分别沿所述中间图像的高度方向和宽度方向进行逐个像素的运算，得到第i层特征；其中，i＝1,2,3,…M，M为卷积层的总数；M层特征构成卷积处理后的中间图像；然后对卷积处理后的中间图像进行池化处理，得到第一预设尺寸的特征图。在步骤S103中可以控制第j个卷积核分别沿所述第一预设尺寸的特征图的高度方向和宽度方向进行逐个像素的运算，得到第j层特征；其中，j＝1,2,3,…P，P为卷积层的总数；P层特征构成卷积处理后的第一特征图；对所述第一特征图进行池化处理，得到第二预设尺寸的特征图；通过激活函数对所述第二预设尺寸的特征图所对应的特征值进行变换处理，得到固定数目的车道所对应的N个标注值。在步骤S104中，可以控制第k个卷积核分别沿所述第一预设尺寸的特征图的高度方向和宽度方向进行逐个像素的运算，得到第k层特征；其中，k＝1,2,3,…E，E为卷积层的总数；E层特征构成卷积处理后的第二特征图；对卷积处理后的第二特征图进行池化处理，得到第三预设尺寸的特征图；通过激活函数对第三预设尺寸的特征图所对应的特征值进行变换处理，得到S个分类值；分类值用于表征预测的车道线条数。在步骤S105中，可以根据预测的车道线条数，确定车道线的分布区域；根据分布区域，从N个候选特征点中截取车道线经过的目标特征点；其中，目标特征点的连线构成检测出的车道线。
可选地，特征提取通道，输入是224*224*3的三通道图像，经过多层特殊设计的卷积、池化等深度学习操作，得到96*96*1024大小的特征矩阵。回归分支，输入是96*96*1024的模块，经过多层特殊设计的卷积、池化、relu等操作，得到1*1*64大小的特征矩阵，也即64个标量。分类分支，输入是96*96*1024的特征矩阵，经过多层特殊设计的卷积、池化、relu等操作，得到1*1*4大小的特征矩阵，也即4个标量。Relu，线性整流函数(Rectified LinearUnit,ReLU),又称修正线性单元,是一种人工神经网络中常用的激活函数(activationfunction)，通常指代以斜坡函数及其变种为代表的非线性函数。本实施例中，特征提取通道、回归分支、分类分支在进行卷积处理时，设置卷积核的深度与图像的宽度，或者高度一致，然后按照剩余两个维度方向对图像进行卷积处理。具体地，可以分别在宽度、高度维度进行卷积，卷积核能读入完整的行、列的图像信息而更有利于识别出车道线的结构特征。
与基于深度分割的方案相比，本实施例采用快速的多的回归模型，并摒弃了分割后需要的聚类、采样、拟合等过程，直接输出需要的车道线采样点，简化了流程，速度大大加快，运算量大大减少，能在低端设备比如车载芯片、手机等设备上实时运行。
与现有的识别方案相比，本实施例采用深度学习端到端的结构，摒弃了人工选取图像特征的步骤，直接交给网络从实际数据中学习，最终效果比传统的方案鲁棒性更好，精度更高。因为标注数据时即人工把遮挡、虚线时的车道线标注出来了，训练时网络即可学习到对应的规律，所以该方案在类似的场景下依然能很好地检测出车道线。
与基于深度分割的方案相比，本实施例一张图中只需要标注几个点即可，而分割的方案需要把图像每个像素点都进行标注，相当费时费力，本实施例很好地避免了这个问题。
由于传统的卷积操作，仅仅是在通道的维度上进行卷积的，一次卷积只能看到一小部分宽度和高度维度下的信息，虽然这种卷积方法有利于学习到局部的特征点信息，比如颜色、边缘等等，却学习不到全局的结构信息。对于车道线来讲，局部的特征点信息很少，而结构信息强烈，基本都是长条形状的，应用传统卷积方法一次卷积就只能看到一小块局部，很难学习到车道线的结构特征。因此，本实施例修改了目标网络模型的结构，引入分类分支作为开关，可以实现端到端地输出任意数量的车道线采样点，并设计了特殊的卷积操作方式，可以在宽度和高度维度下分别卷积，一次卷积能看到一列或者一行的信息，视野大范围增加，能更好地识别车道线这类结构特征强烈的目标。
综上可知，相较于现有技术，本实施例可以直接输入图片，然后直接输出每条车道线坐标，从而可以实现端到端的车道线检测(现有是输出的图片是中间信息，还需要对中间信息进行识别才能得到具体车道线的坐标)。通过在目标网络模型中引入回归分支和分类分支，回归分支可以解决固定车道线限制问题，分类分支对回归网络的输出进行车道线具体条数进行预测。在目标网络模型的卷积操作中将现有的通道卷积分为高度和宽度方向卷积，从而可以得到更多的图像结构信息，有利于学习到车道线特征点信息。本实施例中的方法，检测速度快、鲁棒性好，检测精度高，在遮挡、虚线等场景下依然能够很好地检测出车道线。另外，本实施例中采用的标注方法比传统的车道线分割方法效率高，适用于任意数量的车道线检测。
实施例二
图7为本发明实施例二提供的车道线检测方法的流程图，如图7所示，本实施例中的方法可以包括：
S201、构建初始网络模型。
本实施例中，初始网络模型包括：特征提取通道、回归分支、分类分支；特征提取分支用于对中间图像进行卷积和池化处理，得到第一尺寸大小的特征图；回归分支用于将第一尺寸大小的特征图进行卷积、池化，以及激活函数变换后得到固定输出值；分类分支用于将第一尺寸大小的特征图进行卷积、池化，以及激活函数变换后得到分类值。
需要说明的是，特征提取、回归分支、分类分支都是比较抽象的概念，它们本质上的处理过程类似，都是一些卷积、池化、激活函数等迭代累加的操作。在实际应用中，在高度维度的卷积(图5)后面接上宽度维度的卷积(图6)，来等效代替一次传统的卷积。在所有分支上都执行。由于新的卷积操作方式和初始网络模型没有强耦合性。也即新卷积操作可以只在一部分分支里使用，也可以在所有分支使用；也可以搭配传统卷积一起使用，也可以完全替换传统卷积使用。而且新卷积操作方式还可以应用在其他的检测任务中，比如检测路灯、检测电线杆等长条型目标。
S202、通过预设的标注图像集，对初始网络模型进行迭代训练，得到目标网络模型。
本实施例中，取100万份标注数据，每份标注数据可以拿到上面图示中经过裁剪缩放后的原图，以及该图车道线的数量。每条车道线标注八个采样点，点的分布规律在此例中是首尾两点，中间是以2倍等比距离的采样点。随机打乱标注数据的顺序，将原图输入网络模型中，经过特征提取网络、分类分支、回归分支，得到分类分支的4个标量和回归分支的64个标量，再根据对应标注的车道线的数量和车道线采样点坐标作为“正确答案”，根据上述说明来计算损失值。损失值说明了网络预测和“正确答案”之间的偏差，训练的目标即为尽量减小损失值。有了损失值，后续训练即为典型的深度学习网络训练过程。本例中用adam优化器，不断通过调整网络中参数的大小，来降低损失值。实验中，通过100k次迭代，网络训练可以收敛，最终网络在验证集上分类准确率在95％以上，回归mse在50以下，mae在5以下，表现良好。
S203、对采集到的初始图像进行预处理，得到包含车道线的中间图像。
S204、通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图。
S205、通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值。
S206、通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数。
S207、根据预测的车道线条数和N个候选特征点获取检测出的车道线。
本实施例中，步骤S203～步骤S207的具体实现过程和技术原理请参见图2所示的方法中步骤S101～步骤S105中的相关描述，此处不再赘述。
本实施例，通过对采集到的初始图像进行预处理，得到包含车道线的中间图像；通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图；通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，N个标注值对应初始图像中的N个候选特征点；通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；根据预测的车道线条数和N个候选特征点获取检测出的车道线。从而实现了对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
另外，本实施例还构建初始网络模型，通过迭代训练，得到目标网络模型，提高了目标网络模型的准确度。
实施例三
图8为本发明实施例三提供的车道线检测装置的结构示意图，如图8所示，本实施例中的装置可以包括：
图像编辑模块31，用于对采集到的初始图像进行预处理，得到包含车道线的中间图像；
加载有目标网络模型的图像处理模块32，目标网络模型包含有特征提取通道、回归分支、分类分支的目标网络模型；其中：
特征提取通道，用于对所述中间图像进行特征提取，得到第一预设尺寸的特征图；
回归分支，用于对所述第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，所述N个标注值对应所述初始图像中的N个候选特征点；
分类分支，用于对所述第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；
图像检测模块33，用于根据预测的车道线条数和所述N个候选特征点获取检测出的车道线。
可选地，图像处理模块32中目标网络模型的特征提取通道，具体用于：
控制第i个卷积核分别沿所述中间图像的高度方向和宽度方向进行逐个像素的运算，得到第i层特征；其中，i＝1,2,3,…M，M为卷积层的总数；M层特征构成卷积处理后的中间图像；
对所述卷积处理后的中间图像进行池化处理，得到第一预设尺寸的特征图。
可选地，图像处理模块32中目标网络模型的回归分支，具体用于：
控制第j个卷积核分别沿所述第一预设尺寸的特征图的高度方向和宽度方向进行逐个像素的运算，得到第j层特征；其中，j＝1,2,3,…P，P为卷积层的总数；P层特征构成卷积处理后的第一特征图；
对所述第一特征图进行池化处理，得到第二预设尺寸的特征图；
通过激活函数对所述第二预设尺寸的特征图所对应的特征值进行变换处理，得到固定数目的车道所对应的N个标注值。
可选地，图像处理模块32中目标网络模型的分类分支，具体用于：
控制第k个卷积核分别沿所述第一预设尺寸的特征图的高度方向和宽度方向进行逐个像素的运算，得到第k层特征；其中，k＝1,2,3,…E，E为卷积层的总数；E层特征构成卷积处理后的第二特征图；
对所述卷积处理后的第二特征图进行池化处理，得到第三预设尺寸的特征图；
通过激活函数对所述第三预设尺寸的特征图所对应的特征值进行变换处理，得到S个分类值；所述分类值用于表征预测的车道线条数。
可选地，图像检测模块33，具体用于：
根据预测的车道线条数，确定所述车道线的分布区域；
根据所述分布区域，从N个候选特征点中截取车道线经过的目标特征点；其中，所述目标特征点的连线构成检测出的车道线。
其中，图像处理模块32中目标网络模型是通过预设的标注图像集迭代训练得到的，所述目标网络模型用于根据对输入的中间图像进行特征提取、回归和分类处理，以输出所述初始图像中车道线经过的目标特征点坐标；其中，所述预设的标注图像集包括：原始图像、原始图像中真实车道线的采样点坐标。
本实施例可以执行上述图2、图7所示的方法中的技术方案，其实现过程和技术效果与上述方法类似，此处不再赘述。
本实施例，通过对采集到的初始图像进行预处理，得到包含车道线的中间图像；通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图；通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，N个标注值对应初始图像中的N个候选特征点；通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；根据预测的车道线条数和N个候选特征点获取检测出的车道线。从而实现了对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
实施例四
图9为本发明实施例四提供的车道线检测装置的结构示意图，如图9所示，本实施例的装置在图8所示的装置的基础上还可以包括：
模型构建模块34，用于构建初始网络模型；初始网络模型包括：特征提取通道、回归分支、分类分支；特征提取分支用于对中间图像进行卷积和池化处理，得到第一尺寸大小的特征图；回归分支用于将第一尺寸大小的特征图进行卷积、池化，以及激活函数变换后得到固定输出值；分类分支用于将第一尺寸大小的特征图进行卷积、池化，以及激活函数变换后得到分类值。
训练模块35，用于通过预设的标注图像集，对初始网络模型进行迭代训练，直到初始网络模型输出的车道线特征点坐标与实际的车道线特征点坐标之间的误差小于预设值。
本实施例可以执行上述图2、图7所示的方法中的技术方案，其实现过程和技术效果与上述方法类似，此处不再赘述。
本实施例，通过对采集到的初始图像进行预处理，得到包含车道线的中间图像；通过目标网络模型的特征提取通道对中间图像进行特征提取，得到第一预设尺寸的特征图；通过目标网络模型的回归分支对第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，N个标注值对应初始图像中的N个候选特征点；通过目标网络模型的分类分支对第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；根据预测的车道线条数和N个候选特征点获取检测出的车道线。从而实现了对图像的车道线进行自动检测的目的，节省人力、物力，提高车道线检测的效率和准确性。
另外，本实施例还构建初始网络模型，通过迭代训练，得到目标网络模型，提高了目标网络模型的准确度。
实施例五
图10为本发明实施例五提供的车道线检测系统的结构示意图，如图10所示，本实施例的系统40可以包括：处理器41和存储器42。
存储器42，用于存储程序；存储器42，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器42用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的服务器可以执行图2、图7所示方法中的技术方案，其具体实现过程和技术原理参见图2、图7所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本申请还提供一种程序产品，程序产品包括计算机程序，计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得服务器实施上述本发明实施例任一的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种车道线检测方法，其特征在于，包括：
对采集到的初始图像进行预处理，得到包含车道线的中间图像；
通过目标网络模型的特征提取通道对所述中间图像进行特征提取，得到第一预设尺寸的特征图；
通过所述目标网络模型的回归分支对所述第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，所述N个标注值对应所述初始图像中的N个候选特征点；
通过所述目标网络模型的分类分支对所述第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；
根据预测的车道线条数和所述N个候选特征点获取检测出的车道线。
2.根据权利要求1所述的方法，其特征在于，通过目标网络模型的特征提取通道对所述中间图像进行特征提取，得到第一预设尺寸的特征图，包括：
控制第i个卷积核分别沿所述中间图像的高度方向和宽度方向进行逐个像素的运算，得到第i层特征；其中，i＝1,2,3,…M，M为卷积层的总数；M层特征构成卷积处理后的中间图像；
对所述卷积处理后的中间图像进行池化处理，得到第一预设尺寸的特征图。
3.根据权利要求1所述的方法，其特征在于，通过所述目标网络模型的回归分支对所述第一预设尺寸的特征图中的车道线进行标注，得到N个标注值，包括：
控制第j个卷积核分别沿所述第一预设尺寸的特征图的高度方向和宽度方向进行逐个像素的运算，得到第j层特征；其中，j＝1,2,3,…P，P为卷积层的总数；P层特征构成卷积处理后的第一特征图；
对所述第一特征图进行池化处理，得到第二预设尺寸的特征图；
通过激活函数对所述第二预设尺寸的特征图所对应的特征值进行变换处理，得到固定数目的车道所对应的N个标注值。
4.根据权利要求1所述的方法，其特征在于，通过所述目标网络模型的分类分支对所述第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数，包括：
控制第k个卷积核分别沿所述第一预设尺寸的特征图的高度方向和宽度方向进行逐个像素的运算，得到第k层特征；其中，k＝1,2,3,…E，E为卷积层的总数；E层特征构成卷积处理后的第二特征图；
对所述卷积处理后的第二特征图进行池化处理，得到第三预设尺寸的特征图；
通过激活函数对所述第三预设尺寸的特征图所对应的特征值进行变换处理，得到S个分类值；所述分类值用于表征预测的车道线条数。
5.根据权利要求1所述的方法，其特征在于，所述根据预测的车道线条数和所述N个候选特征点获取检测出的车道线，包括：
根据预测的车道线条数，确定所述车道线的分布区域；
根据所述分布区域，从N个候选特征点中截取车道线经过的目标特征点；其中，所述目标特征点的连线构成检测出的车道线。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标网络模型是通过预设的标注图像集迭代训练得到的，所述目标网络模型用于根据对输入的中间图像进行特征提取、回归和分类处理，以输出所述初始图像中车道线经过的目标特征点坐标；其中，所述预设的标注图像集包括：原始图像、原始图像中真实车道线的采样点坐标。
7.一种车道线检测装置，其特征在于，包括：
图像编辑模块，用于对采集到的初始图像进行预处理，得到包含车道线的中间图像；
加载有目标网络模型的图像处理模块，所述目标网络模型包含有特征提取通道、回归分支、分类分支的目标网络模型；
所述特征提取通道，用于对所述中间图像进行特征提取，得到第一预设尺寸的特征图；
所述回归分支，用于对所述第一预设尺寸的特征图中的车道线进行标注，得到N个标注值；其中，所述N个标注值对应所述初始图像中的N个候选特征点；
所述分类分支，用于对所述第一预设尺寸的特征图中的车道线条数进行预测，得到预测的车道线条数；
图像检测模块，用于根据预测的车道线条数和所述N个候选特征点获取检测出的车道线。
8.根据权利要求7所述的装置，其特征在于，所述特征提取通道，具体用于：
控制第i个卷积核分别沿所述中间图像的高度方向和宽度方向进行逐个像素的运算，得到第i层特征；其中，i＝1,2,3,…M，M为卷积层的总数；M层特征构成卷积处理后的中间图像；
对所述卷积处理后的中间图像进行池化处理，得到第一预设尺寸的特征图。
9.一种车道线检测系统，其特征在于，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1-6中任一项所述的车道线检测方法。
10.一种计算机可读存储介质，其特征在于，包括：计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1-6中任一所述的车道线检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910384836.9A CN111914596B (zh) | 2019-05-09 | 2019-05-09 | 车道线检测方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910384836.9A CN111914596B (zh) | 2019-05-09 | 2019-05-09 | 车道线检测方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914596A CN111914596A (zh) | 2020-11-10 |
| CN111914596B true CN111914596B (zh) | 2024-04-09 |
Family
ID=73242154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910384836.9A Active CN111914596B (zh) | 2019-05-09 | 2019-05-09 | 车道线检测方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914596B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287912B (zh) * | 2020-12-25 | 2021-03-30 | 浙江大华技术股份有限公司 | 基于深度学习的车道线检测方法以及装置 |
| CN114708569B (zh) * | 2022-02-22 | 2023-03-24 | 广州文远知行科技有限公司 | 道路曲线检测方法、装置、设备及存储介质 |
| CN114972824B (zh) * | 2022-06-24 | 2023-07-14 | 小米汽车科技有限公司 | 杆件检测方法、装置、车辆和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473762A (zh) * | 2013-08-29 | 2013-12-25 | 奇瑞汽车股份有限公司 | 一种车道线检测方法和装置 |
| CN105868696A (zh) * | 2016-03-23 | 2016-08-17 | 奇瑞汽车股份有限公司 | 一种检测多车道车道线的方法和装置 |
| CN106203401A (zh) * | 2016-08-11 | 2016-12-07 | 电子科技大学 | 一种车道线的快速检测方法 |
| CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108470159A (zh) * | 2018-03-09 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN108694386A (zh) * | 2018-05-15 | 2018-10-23 | 华南理工大学 | 一种基于并联卷积神经网络的车道线检测方法 |
| CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的系统 |
-
2019
- 2019-05-09 CN CN201910384836.9A patent/CN111914596B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473762A (zh) * | 2013-08-29 | 2013-12-25 | 奇瑞汽车股份有限公司 | 一种车道线检测方法和装置 |
| CN105868696A (zh) * | 2016-03-23 | 2016-08-17 | 奇瑞汽车股份有限公司 | 一种检测多车道车道线的方法和装置 |
| CN106203401A (zh) * | 2016-08-11 | 2016-12-07 | 电子科技大学 | 一种车道线的快速检测方法 |
| CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108470159A (zh) * | 2018-03-09 | 2018-08-31 | 腾讯科技（深圳）有限公司 | 车道线数据处理方法、装置、计算机设备和存储介质 |
| CN108694386A (zh) * | 2018-05-15 | 2018-10-23 | 华南理工大学 | 一种基于并联卷积神经网络的车道线检测方法 |
| CN109389102A (zh) * | 2018-11-23 | 2019-02-26 | 合肥工业大学 | 基于深度学习的车道线检测方法及其应用的系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于FCN的车道线检测算法;洪明佳，汪慧兰，黄娜君，戴舒;工程实践及应用技术;20180612;第44卷(第6期);587-592 * |
| 利用卷积神经网络的车道线检测方法;钱沄涛，胡忠闯，陈思宇;信号处理;20190331;第35卷(第3期);435-442 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914596A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Building extraction from satellite images using mask R-CNN with building boundary regularization | |
| CN113298818B (zh) | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 | |
| US20200051250A1 (en) | Target tracking method and device oriented to airborne-based monitoring scenarios | |
| CN109726627B (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
| CN111612008B (zh) | 基于卷积网络的图像分割方法 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
| CN111914596B (zh) | 车道线检测方法、装置、系统及存储介质 | |
| CN111696110B (zh) | 场景分割方法及系统 | |
| JP7246104B2 (ja) | テキスト行識別に基づくナンバープレート識別方法 | |
| CN107564009B (zh) | 基于深度卷积神经网络的室外场景多目标分割方法 | |
| WO2022134996A1 (en) | Lane line detection method based on deep learning, and apparatus | |
| CN113724379B (zh) | 融合图像与激光点云的三维重建方法及装置 | |
| CN111626960A (zh) | 图像去雾方法、终端及计算机存储介质 | |
| Jiang et al. | Dfnet: Semantic segmentation on panoramic images with dynamic loss weights and residual fusion block | |
| CN112070070A (zh) | 一种用于城市遥感场景识别的lw-cnn方法和系统 | |
| CN110956088A (zh) | 基于深度学习的交叠文本行定位分割方法及系统 | |
| CN113901961A (zh) | 车位检测方法、装置、设备及存储介质 | |
| CN114494870A (zh) | 一种双时相遥感图像变化检测方法、模型构建方法和装置 | |
| Kampffmeyer et al. | Dense dilated convolutions merging network for semantic mapping of remote sensing images | |
| CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN104463962A (zh) | 基于gps信息视频的三维场景重建方法 | |
| Zhao et al. | Building outline delineation: From very high resolution remote sensing imagery to polygons with an improved end-to-end learning framework | |
| CN110472092B (zh) | 一种街景图片的地理定位方法及系统 | |
| CN116912700A (zh) | 基于特征增强和细化的河湖治理违规问题的变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |