CN109740554A - 一种道路边缘线识别方法及系统 - Google Patents
一种道路边缘线识别方法及系统 Download PDFInfo
- Publication number
- CN109740554A CN109740554A CN201910020456.7A CN201910020456A CN109740554A CN 109740554 A CN109740554 A CN 109740554A CN 201910020456 A CN201910020456 A CN 201910020456A CN 109740554 A CN109740554 A CN 109740554A
- Authority
- CN
- China
- Prior art keywords
- image
- edge line
- road
- carriageway
- road edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims description 29
- 230000002708 enhancing effect Effects 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 7
- 230000000644 propagated effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012804 iterative process Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种道路边缘线识别方法及系统，该方法包括步骤：接收并存储采集的车道图像；对采集的车道图像进行数据标注，标记出左边缘线、右边缘线、道路中间线、路面，得到标签图像；使用采集的车道图像和数据标注后的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的道路边缘线识别模型。通过本发明方法或系统，可以精确地识别出道路边缘线，将道路边缘线与道路中间线区分开，方便于后续的处理。
Description
技术领域
本发明涉及图像识别技术领域，特别涉及一种道路边缘线识别方法及系统。
背景技术
高精地图的主要构成是车道，车道的边界用车道线界定，因此在高精度地图的自动化过程中，车道线识别是其中一个重要任务。近年来，随着深度学习的逐渐发展，车道线识别主要基于卷积神经网络实现。具体而言，将车道线像素设置为前景要素，将其他像素(如道路、天空、树木、地面上物体、汽车、行人等)设置为背景要素，车道线识别即是将前景要素识别出来。将所有的车道线设置为前景要素，虽然能够比较容易识别出前景要素；但由于前景要素丰富度不够，后续处理往往比较麻烦，例如其中一个典型的问题就是：如何区分道路边缘线和道路中间线。
发明内容
本发明的目的在于改善现有技术中所存在的不能区分道路边缘线和道路中间线的不足，提供一种道路边缘线识别方法及系统。
为了实现上述发明目的，一方面，本发明实施例提供了一种道路边缘线识别方法，包括以下步骤：
接收并存储采集的车道图像；
对采集的车道图像进行数据标注，标记出左边缘线、右边缘线、道路中间线、路面，得到标签图像；
使用采集的车道图像和数据标注后的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的道路边缘线识别模型。
在一个方案中，所述对采集的车道图像进行数据标注的步骤中，若采集的车道图像是在夜晚采集得到的，则在进行数据标注之前，上述方法还包括步骤：对采集的车道图像进行效果增强处理，且在数据标注时，以效果增强后的图像为基础进行标注。
根据本发明实施例，所述对采集的车道图像进行效果增强处理的步骤，包括：
对原始的车道图像进行白平衡处理；
对白平衡处理后的图像进行锐化处理；
对锐化处理后的图像进行伽马校正。
根据本发明实施例，所述使用采集的车道图像和数据标注后的标签图像进行卷积神经网络模型训练的步骤，包括：
步骤1)，随机抽取一张原始的车道图像；
步骤2)，将所述原始的车道图像作为卷积神经网路的输入，进行前向传播，得到预测结果；
步骤3)，将得到的预测结果与标签图像中标注的类别标签进行损失计算，并根据损失进行反向传播并优化模型参数；
循环执行上述步骤1至步骤3)，直至完成迭代，且每一次迭代过程，步骤1)中更换一张原始的车道图像，步骤3)中更换相应的标签图像。
进一步地，在得到用于识别道路边缘线的道路边缘线识别模型之后，上述方法还包括步骤：
接收待识别的车道图像，经所述道路边缘线识别模型识别后输出各像素分别为各种类别的概率值，将概率值最大者作为该像素的类别，进而识别出道路边缘线，道路边缘线包括左边缘线和右边缘线。
另一方面，本发明实施例中同时提供了一种道路边缘线识别系统，包括以下模块：
数据输入模块，用于接收并存储采集到的原始的车道图像；
数据标注模块，用于对原始的车道图像进行数据标注，标注出左边缘线、右边缘线、道路中间线、路面，得到标签图像；
模型训练模块，用于使用原始的车道图像和数据标注后的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的道路边缘线识别模型。
在一个方案中，上述系统中还包括效果增强模块，用于在所述原始的车道图像是在夜晚采集得到的情况下，对采集的车道图像进行效果增强处理；此时，所述数据标注模块则用于对效果增强后的图像进行数据标注标注出左边缘线、右边缘线、道路中间线、路面，得到标签图像。
在进一步细化的方案中，所述效果增强模块包括以下子模块：
白平衡处理子模块，用于对原始的车道图像进行白平衡处理；
锐化处理子模块，用于对白平衡处理后的图像进行锐化处理；
伽马校正子模块，用于对锐化处理后的图像进行伽马校正。
在一个方案中，上述系统中还包括识别模块，用于将经道路边缘线识别模型输出的各像素分别为各种类别的概率值中，将概率值最大者作为该像素的类别，进而识别出道路边缘线，道路边缘线包括左边缘线和右边缘线。
另一方面，本发明实施例中还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任一方案所述方法的步骤。
再一方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一方案所述方法的步骤。
与现有技术相比，本发明的有益效果：
1.通过对采集的车道图像进行数据标注，标注出左边缘线、右边缘线，训练出可以识别道路边缘线的识别模型，在实际应用时可以直接对待识别的图像识别出道路边缘线，与道路中间线区分开，更有利于高精度地图的生成，及提高地图的准确度。
2.如果采用夜晚采集的图像数据进行模型训练及识别，消除了白天采集数据容易出现车道线被遮挡而导致模型识别准确度不高的问题。
3.针对于夜晚采集的车道图像，通过效果增强处理，使得图像的清晰度更高，使用增强后数据进行标注，而不是对原始的车道图像直接进行标注，这样提高了作业人员对图片的辨识度，保证了标注数据的正确性。
4.针对于夜晚采集的车道图像，训练模型时，使用原始图片进行训练，而不是增强后的图片进行训练，最大程度上保留了图片的原始信息，充分利用深度学习强大的特征其他能力，达到夜晚场景的车道边缘线能够准确识别的目的，使得模型对于原始的图像或者效果增强后的图像进行车道线识别时，都能有很高的识别准确度，降低了对待识别图像的要求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的道路边缘线识别模型的构建方法的流程图。
图2a、图2b、图2c、图2d分别为应用实例中的原始车道图像、标注后的标签图像、翻转后的标签图像、翻转且调换左右边缘线后的标签图像。
图3a、图3b分别为本发明较佳实施例中提供的夜间采集的原始图片、增强处理后的图片。
图4为本发明较佳实施例提供的道路边缘线识别方法的流程图。
图5是本发明较佳实施例提供的道路边缘线识别系统的功能模块示意图。
图6为本发明较佳实施例中所说的电子设备的组成模块框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例中提供了一种道路边缘线识别模型的构建方法，由于模型的构建是为实际应用中的识别而服务的，因此模型构建方法也可以理解为识别方法。请参阅图1，该方法包括如下步骤：
步骤S101，接收并存储采集到的车道图像。
容易理解的，采集车道图像的目的是用于车道线识别，因此，在采集图像时，优选路面上没有车辆及行人或较少车辆及行人的情况下进行采集，以避免车道线被行人或车辆遮挡。
车道图像的采集可以在白天或夜晚的任意时间，由于白天路面上的人流量和车流量都较大，不便于图像的采集，所以可以选择在夜晚采集图像，例如凌晨2点左右等时间进行车道图像采集。如果是在晚上采集，为了使得采集的车道图像不至于过暗，优选在较大的增益下进行采集，例如作为一种实施方式的举例，可以将相机的增益设置为300。
步骤S102，对采集的车道图像进行数据标注，得到标注后的图像，或称之为标签图像。
数据标注是图像语义分割的像素标注，即，将图片中的每一个像素标注成对应的类别。本实施例中，标注的类别有左边缘线、右边缘线、道路中间线、路面(或理解为道路)，而路面上物体、天空、数木、车辆行人等统一用一个类别(其他)表示。作为可实施方式的举例，例如左边缘线标注为1、右边缘线标注为2、路面标注为3，等等。如图2a、图2b所示，灰色(颜色深度次深)的表示其他类别，乳白色的是左边缘线(颜色深度最浅)，深灰色的是右边缘线(颜色深度最深)；浅灰色的是道路(颜色深度次浅)。
本实施例中，将道路边缘线和道路中间线区分开来，定义了左边缘线和右边缘线，其主要对应两种场景：
1)机动车道的最左侧车道线，定义为左边缘线；机动车道的最右侧车道线，定义为右边缘线；
2)对于导流线两侧的车道线，分别定义为左边缘线和右边缘线。
需要说明的是，如果原始图像是在夜晚采集的，为了提高图像清晰度，继而提高标注的准确性，在更优选的方案中，在步骤S102之前，还包括：
步骤S102’，对采集的车道图像进行效果增强处理，以提高图像清晰度。
本实施例中，作为一种实施方式的举例，所述效果增强处理包括以下步骤：
步骤a，对采集到的原始图像进行白平衡处理。具体的，对于每一个数据通道，变化公式为：其中，v是变换前的像素值，v’是变换后的像素值，maxv、minv分别是该通道的最大像素值、最小像素值。
步骤b，锐化处理。首先对经过步骤a处理后的图像进行高斯平滑处理，得到模糊图像blur，然后锐化图像是基于原始图像img和模糊图像blur计算而来，计算公式是：sharp_image＝1.5*img-0.5*blur，公式中，img为原始图像，blur为模糊图像。即是说，锐化后的图像中每个像素的值为1.5倍原始图像像素值与0.5倍模糊图像像素值之差。
图像平滑的基本思路是：其中，(i,j)表示当前像素的位置，(i+k,j+l)表示输入像素的位置，h(k,l)表示权重系数，称之为核；像素的平滑值可以理解为对输入像素进行线性加权。对于高斯平滑，其核h的分布是高斯的，称之为高斯核，公式是：
步骤c，Gamma(伽马)矫正。Gamma校正是对输入图像灰度值进行的非线性操作，使输出图像灰度值与输入图像灰度值呈指数关系，计算公式是：y＝255*(1-x/255)1/γ，式中，x为输入图像灰度值，y为输出图像灰度值，γ为伽马值，本实施例中，γ取值2.0。
由于步骤S102’是针对夜间采集的车道图像而特有的，因此，在图1中用虚线加以区分表示。
请参阅图3a、图3b所示，图3a为效果增强前的原始图像，图3b为效果增强后的图像，从图3a、图3b可以看出，效果增强后提高了图像清晰度。
通过对效果增强后的图像进行标注，而不是对原始图像进行标注，可以很大程度地提高标注的准确性，继而提高道路边缘线识别的准确性。
步骤S103，使用步骤S101中采集到的原始图像和步骤S102中得到的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的网络模型，称之为道路边缘线识别模型。
本实施例中，具体的训练过程如下：
步骤1)，随机抽取一张原始车道图像，对原始车道图像进行数据随机裁剪和数据增强，裁剪后使得原始图像与卷积神经网络输入大小相同，将其作为模型的数据；数据增强包括图像亮度的随机变化和x方向的随机翻转，以丰富数据，使模型看到的数据更多。需要注意也容易理解的是，如果对原始图像进行了x方向的翻转，对标签图像也需要进行对应的翻转；如果标签图像进行了翻转，则需要调换翻转后的左边缘线、右边缘线，以保障左边缘线和右边缘线识别的准确性。如图2c、图2d所示，图2c为翻转后的标签图像，图2d为翻转后且调转左边缘线、右边缘线后的标签图像。
步骤2)，将步骤1)处理后的图片作为卷积神经网路的输入，进行前向传播，即得到预测结果。
步骤3)，将得到的预测结果和标签图像中标注的类别标签进行loss(损失函数)计算，根据损失进行反向传播。
本步骤中，loss函数选用的focal loss，其公式是：式中，c表示样本x的真实类别；a表示各个类别的权重；γ用于调节不同类别之间的差异程度；y是label向量，表示类别的概率值，i为类别的下标，标注数据一般是one hot编码，y’是预测的label向量，是一个概率分布。
反向传播是使用梯度下降方式进行模型参数优化。反向传播的方向使用冲量(momentum)方向计算方式，学习率的变化方式使用多项式方式。
Momentum梯度计算公式：其中，vi是第i次迭代方向；表示参数梯度方向,v的维度与w的维度同。
多项式学习率迭代公式：lr＝base_lr·(1-n/N)r，其中，base_lr表示初始学习率，可以设定为0.04，N为总的迭代次数，实际中，epoch数可以设置为300，mini_batch大小可以设置为64，r可以设置为0.8，n表示当前迭代次数，a是超参数，可以设置为0.95。
循环执行上述步骤1至步骤3)，每一次迭代，步骤1)中更换一张原始车道图像，步骤3)中更换为相应的标签图像，直至完成迭代。通过FCN网络提取各个像素的特征，如果输入图片的大小是H x W,FCN的输出是H/16x W/16，则将FCN的输出进行上采样16倍，得到原图输入大小。
需要说明的是，针对于夜晚采集的车道图像，在训练模型时，也是使用原始图片进行训练，而不是增强后图片进行训练，这样可以最大程度上保留图片的原始信息，充分利用深度学习强大的特征提取能力，达到道路边缘线能够被准确识别的目的。
请参阅图4，基于上述方法构建的道路边缘线识别模型可以进行道路边缘线识别，该识别方法包括以下步骤：
步骤一，接收用户输入的待识别的原始车道图像。
步骤二，该原始车道图像作为道路边缘线识别模型的输入，经道路边缘线识别模型识别后，输出图像中每个像素分别为各种类别的概率值，并将概率值最大者作为该像素的类别，若表示道路边缘线的类别的概率值最大，则识别为道路边缘线。
需要说明的是，仅针对于这个实施例，像素类别有左边缘线、右边缘线、路面、其他、中间线这5种，此处将左边缘线、右边缘线统称为道路边缘线。
通过上述方法进行道路边缘线识别，可以准确地识别出道路边缘线，将道路中间线区分开，为后续的应用提供可靠且便利的数据支持。
请参阅图5，本实施例中同时还提供了一种道路边缘线识别系统，包括数据输入模块、数据标注模块、模型训练模块。其中，数据输入模块，用于接收并存储采集到的原始的车道图像；数据标注模块，用于对原始的车道图像进行数据标注，标注出左边缘线、右边缘线、道路中间线、路面和其他，得到标签图像；模型训练模块，用于使用原始的车道图像和数据标注后的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的道路边缘线识别模型。
本实施例中，更具体的，所述模型训练模块通过以下步骤进行模型训练：
步骤1)，随机抽取一张原始车道图像，对原始车道图像进行数据随机裁剪和数据增强，裁剪后使得原始图像与卷积神经网络输入大小相同，将其作为模型的数据；数据增强包括图像亮度的随机变化和x方向的随机翻转，以丰富数据，使模型看到的数据更多。需要注意也容易理解的是，如果对原始图像进行了x方向的翻转，对标签图像也需要进行对应的翻转；如果标签图像进行了翻转，则需要调换翻转后的左边缘线、右边缘线。如图2c、图2d所示，图2c为翻转后的标签图像，图2d为翻转后且调转左边缘线、右边缘线后的标签图像。
步骤2)，将步骤1)处理后的图片作为卷积神经网路的输入，进行前向传播，即得到预测结果。
步骤3)，将得到的预测结果和标签图像中标注的类别标签进行loss(损失函数)计算，根据损失进行反向传播。
本步骤中，loss函数选用的focal loss，其公式是：式中，c表示样本x的真实类别；a表示各个类别的权重；γ用于调节不同类别之间的差异程度；y是label向量，表示类别的概率值，i为类别的下标，标注数据一般是one hot编码，y’是预测的label向量，是一个概率分布。
反向传播是使用梯度下降方式进行模型参数优化。反向传播的方向使用冲量(momentum)方向计算方式，学习率的变化方式使用多项式方式。
Momentum梯度计算公式：其中，vi是第i次迭代方向；表示参数梯度方向,v的维度与w的维度同。
多项式学习率迭代公式：lr＝base_lr·(1-n/N)r，其中，base_lr表示初始学习率，可以设定为0.04，N为总的迭代次数，实际中，epoch数可以设置为300，mini_batch大小可以设置为64，r可以设置为0.8，n表示当前迭代次数，a是超参数，可以设置为0.95。
循环执行上述步骤1至步骤3)，每一次迭代，步骤1)中更换一张原始车道图像，步骤3)中更换为相应的标签图像，直至完成迭代。
采集的车道图像可以是白天采集到，也可以是夜晚采集到，如果是夜晚采集，由于光线较暗，因此，可以对采集的图像进行效果增强，以提高图像的清晰度。即，在另一个方案中，上述道路边缘线识别系统还包括效果增强模块(由于效果增强模块是可选的模块，所以在图5中通过虚线表示)，用于对采集的车道图像进行效果增强处理，以提高图像清晰度。此时，数据标注模块则是对效果增强后的图像进行数据标注，以提高数据标注的准确性，避免因图像不清晰而标注错误，继而影响训练模型的识别准确度。
本实施例中，更具体的，所述效果增强模块包括：
白平衡处理子模块，用于对原始的车道图像进行白平衡处理。对于每一个数据通道，变化公式为：其中，v是变换前的像素值，v’是变换后的像素值，maxv、minv分别是该通道的最大像素值、最小像素值。
锐化处理子模块，用于对白平衡处理后的图像进行锐化处理。具体的，首先对白平衡处理后的图像进行高斯平滑处理，得到模糊图像blur，然后锐化图像是基于原始图像img和模糊图像blur计算而来，计算公式是：sharp_image＝1.5*img-0.5*blur，公式中，img为原始图像，blur为模糊图像。
伽马校正子模块，用于对锐化处理后的图像进行伽马校正。具体的，Gamma校正是对输入图像灰度值进行的非线性操作，使输出图像灰度值与输入图像灰度值呈指数关系，计算公式是：y＝255*(1-x/255)1/γ，式中，x为输入图像灰度值，y为输出图像灰度值，γ为伽马值，本实施例中，γ取值2.0。
本实施例中，更进一步的方案中，上述道路边缘线识别系统中，还包括识别模块，用于将道路边缘线识别模型输出的概率值中，概率值最大者作为对应像素的类别，继而识别出道路边缘线。即是说，当待识别的车道图像输入至道路边缘线识别模型中后，道路边缘线识别模型会输出各像素分别为各种类别的概率值，识别模块会将像素识别为概率值最大者对应的类别，例如，如果像素的概率值中道路边缘线(左边缘线或右边缘线)对应的概率值最大，则将该像素识别为道路边缘线。
上述道路边缘线识别系统和方法是基于相同的发明构思，在系统描述中如有不清楚之处，请参见前述道路边缘线识别方法中的相关描述。
如图6所示，本实施例同时提供了一种电子设备，该电子设备可以包括处理器51和存储器52，其中存储器52耦合至处理器51。值得注意的是，该图是示例性的，还可以使用其他类型的结构来补充或替代该结构，实现数据提取、效果增强、车道线识别、通信或其他功能。
如图6所示，该电子设备还可以包括：输入单元53、显示单元54和电源55。值得注意的是，该电子设备也并不是必须要包括图6中显示的所有部件。此外，电子设备还可以包括图6中没有示出的部件，可以参考现有技术。
处理器51有时也称控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器51接收输入并控制电子设备的各个部件的操作。
其中，存储器52例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种，可存储上述处理器51的配置信息、处理器51执行的指令、记录的表格数据等信息。处理器51可以执行存储器52存储的程序，以实现信息存储或处理等。在一个实施例中，存储器52中还包括缓冲存储器，即缓冲器，以存储中间信息。
输入单元53例如用于向处理器51提供夜间采集到的原始车道图像。显示单元54用于显示处理过程中的各种状态图，该显示单元例如可以为LCD显示器，但本发明并不限于此。电源55用于为电子设备提供电力。
本发明实施例还提供一种计算机可读指令，其中当在电子设备中执行所述指令时，所述程序使得电子设备执行本发明方法所包含的操作步骤。
本发明实施例还提供一种存储有计算机可读指令的存储介质，其中所述计算机可读指令使得电子设备执行本发明方法所包含的操作步骤。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种道路边缘线识别方法，其特征在于，包括以下步骤：
接收并存储采集的车道图像；
对采集的车道图像进行数据标注，标记出左边缘线、右边缘线、道路中间线、路面，得到标签图像；
使用采集的车道图像和数据标注后的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的道路边缘线识别模型。
2.根据权利要求1所述的道路边缘线识别方法，其特征在于，所述对采集的车道图像进行数据标注的步骤中，若采集的车道图像是在夜晚采集得到的，则在进行数据标注之前，还包括步骤：对采集的车道图像进行效果增强处理，且在数据标注时，以效果增强后的图像为基础进行标注。
3.根据权利要求2所述的道路边缘线识别方法，其特征在于，所述对采集的车道图像进行效果增强处理的步骤，包括：
对原始的车道图像进行白平衡处理；
对白平衡处理后的图像进行锐化处理；
对锐化处理后的图像进行伽马校正。
4.根据权利要求1所述的道路边缘线识别方法，其特征在于，所述使用采集的车道图像和数据标注后的标签图像进行卷积神经网络模型训练的步骤，包括：
步骤1)，随机抽取一张原始的车道图像；
步骤2)，将所述原始的车道图像作为卷积神经网路的输入，进行前向传播，得到预测结果；
步骤3)，将得到的预测结果与标签图像中标注的类别标签进行损失计算，并根据损失进行反向传播并优化模型参数；
循环执行上述步骤1至步骤3)，直至完成迭代，且每一次迭代过程，步骤1)中更换一张原始的车道图像，步骤3)中更换相应的标签图像。
5.根据权利要求1所述的道路边缘线识别方法，其特征在于，在得到用于识别道路边缘线的道路边缘线识别模型之后，还包括步骤：
接收待识别的车道图像，经所述道路边缘线识别模型识别后输出各像素分别为各种类别的概率值，将概率值最大者作为该像素的类别，进而识别出道路边缘线，道路边缘线包括左边缘线和右边缘线。
6.一种道路边缘线识别系统，其特征在于，包括以下模块：
数据输入模块，用于接收并存储采集到的原始的车道图像；
数据标注模块，用于对原始的车道图像进行数据标注，标注出左边缘线、右边缘线、道路中间线、路面，得到标签图像；
模型训练模块，用于使用原始的车道图像和数据标注后的标签图像进行卷积神经网络模型训练，得到用于识别道路边缘线的道路边缘线识别模型。
7.根据权利要求6所述的道路边缘线识别系统，其特征在于，还包括效果增强模块，用于在所述原始的车道图像是在夜晚采集得到的情况下，对采集的车道图像进行效果增强处理；此时，所述数据标注模块则用于对效果增强后的图像进行数据标注标注出左边缘线、右边缘线、道路中间线、路面，得到标签图像。
8.根据权利要求7所述的道路边缘线识别系统，其特征在于，所述效果增强模块包括：
白平衡处理子模块，用于对原始的车道图像进行白平衡处理；
锐化处理子模块，用于对白平衡处理后的图像进行锐化处理；
伽马校正子模块，用于对锐化处理后的图像进行伽马校正。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现1～5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910020456.7A CN109740554A (zh) | 2019-01-09 | 2019-01-09 | 一种道路边缘线识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910020456.7A CN109740554A (zh) | 2019-01-09 | 2019-01-09 | 一种道路边缘线识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109740554A true CN109740554A (zh) | 2019-05-10 |
Family
ID=66364176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910020456.7A Pending CN109740554A (zh) | 2019-01-09 | 2019-01-09 | 一种道路边缘线识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740554A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
| CN113052301A (zh) * | 2021-03-29 | 2021-06-29 | 商汤集团有限公司 | 神经网络生成方法、装置、电子设备及存储介质 |
| CN113706552A (zh) * | 2021-07-27 | 2021-11-26 | 北京三快在线科技有限公司 | 一种激光反射率底图语义分割标注数据的生成方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268859A (zh) * | 2014-09-16 | 2015-01-07 | 奇瑞汽车股份有限公司 | 一种用于夜间车道线检测的图像预处理方法 |
| CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
| CN108090456A (zh) * | 2017-12-27 | 2018-05-29 | 北京初速度科技有限公司 | 一种车道线识别方法及装置 |
| US20180181817A1 (en) * | 2015-09-10 | 2018-06-28 | Baidu Online Network Technology (Beijing) Co., Ltd. | Vehicular lane line data processing method, apparatus, storage medium, and device |
| US20180225527A1 (en) * | 2015-08-03 | 2018-08-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
-
2019
- 2019-01-09 CN CN201910020456.7A patent/CN109740554A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268859A (zh) * | 2014-09-16 | 2015-01-07 | 奇瑞汽车股份有限公司 | 一种用于夜间车道线检测的图像预处理方法 |
| US20180225527A1 (en) * | 2015-08-03 | 2018-08-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line |
| US20180181817A1 (en) * | 2015-09-10 | 2018-06-28 | Baidu Online Network Technology (Beijing) Co., Ltd. | Vehicular lane line data processing method, apparatus, storage medium, and device |
| CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
| CN108090456A (zh) * | 2017-12-27 | 2018-05-29 | 北京初速度科技有限公司 | 一种车道线识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| YAHUI LIU等: "RoadNet：Learning to Comprehensively Analyze Road Networks in Complex Urban Scenes From High-Resolution Remotely Sensed Images", 《HTTPS://IEEEXPLORE.IEEE.ORG/ABSTRACT/DOCUMENT/8506600》 * |
| 洪名佳等: "一种基于FCN的车道线检测算法", 《无线电通信技术》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112706764A (zh) * | 2020-12-30 | 2021-04-27 | 潍柴动力股份有限公司 | 一种主动防碰撞预警方法、装置、设备和存储介质 |
| CN113052301A (zh) * | 2021-03-29 | 2021-06-29 | 商汤集团有限公司 | 神经网络生成方法、装置、电子设备及存储介质 |
| CN113052301B (zh) * | 2021-03-29 | 2024-05-28 | 商汤集团有限公司 | 神经网络生成方法、装置、电子设备及存储介质 |
| CN113706552A (zh) * | 2021-07-27 | 2021-11-26 | 北京三快在线科技有限公司 | 一种激光反射率底图语义分割标注数据的生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106599773B (zh) | 用于智能驾驶的深度学习图像识别方法、系统及终端设备 | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| CN109948547A (zh) | 城市绿地景观评价方法、装置、存储介质及终端设备 | |
| CN106845487A (zh) | 一种端到端的车牌识别方法 | |
| CN106022363B (zh) | 一种适用于自然场景下的中文文字识别方法 | |
| CN107194398A (zh) | 车损部位的识别方法及系统 | |
| CN108537117A (zh) | 一种基于深度学习的乘客检测方法和系统 | |
| CN110414451A (zh) | 一种基于端对端的车牌识别方法、装置、设备及存储介质 | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| CN104794479B (zh) | 基于局部笔画宽度变换的自然场景图片中文本检测方法 | |
| CN104537393A (zh) | 一种基于多分辨率卷积神经网络的交通标志识别方法 | |
| CN104200228B (zh) | 一种安全带识别方法与系统 | |
| CN109271991A (zh) | 一种基于深度学习的车牌检测方法 | |
| CN109740554A (zh) | 一种道路边缘线识别方法及系统 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN106780727B (zh) | 一种车头检测模型重建方法及装置 | |
| CN104636118A (zh) | 基于光平衡的qr二维码自适应二值化处理方法和装置 | |
| CN106372597B (zh) | 基于自适应上下文信息的cnn交通检测方法 | |
| CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| CN109740553A (zh) | 一种基于识别的图像语义分割数据筛选方法及系统 | |
| CN113705461A (zh) | 人脸清晰度检测方法、装置、设备及存储介质 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| Chen et al. | Contrast limited adaptive histogram equalization for recognizing road marking at night based on YOLO models | |
| CN109740551A (zh) | 一种基于计算机视觉的夜间车道线识别方法及系统 | |
| CN104463130A (zh) | 一种基于评估反馈系统的车牌图像光照处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190510 |