CN112990009A - 基于端到端的车道线检测方法、装置、设备及存储介质 - Google Patents
基于端到端的车道线检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112990009A CN112990009A CN202110273414.1A CN202110273414A CN112990009A CN 112990009 A CN112990009 A CN 112990009A CN 202110273414 A CN202110273414 A CN 202110273414A CN 112990009 A CN112990009 A CN 112990009A
- Authority
- CN
- China
- Prior art keywords
- lane line
- image
- detected
- label
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明实施例涉及人工智能领域，公开了一种基于端到端的车道线检测方法、装置、设备及存储介质，该方法包括：获取训练样本集，并对训练样本集中的每个样本图像添加车道线标签；将添加车道线标签的样本图像输入指定的深度多项式回归模型，得到预测结果；根据预测结果调整指定的深度多项式回归模型中的模型参数，并重新训练指定的深度多项式回归模型，得到车道线检测模型；获取目标车辆的前视拍摄装置拍摄的待检测图像，并将待检测图像输入车道线检测模型，得到目标车辆的车道线。这种方式可以更准确有效地确定车道线，提高了车道线检测的效率和实时性。本发明涉及区块链技术，如可将图像数据写入区块链中，以用于数据取证等场景。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种基于端到端的车道线检测方法、装置、设备及存储介质。
背景技术
自动驾驶是近年来备受关注的具有挑战性的研究领域。与这一领域相关的感知问题受到了深度学习的巨大影响。自动驾驶车辆应该具有估计车道线的能力，因为除了作为空间限制外，每条车道还提供了控制行驶的特定视觉线索。在这种情况下，两条最重要的交通线(即车道线)是定义车辆车道的线。这些车道线设置了驾驶员的限制动作，它们的类型决定了操纵车辆(例如变道)是否允许。此外，对相邻车道进行检测是非常有用的，对交通场景的全面理解可以对系统有更好的决策。
车道线检测虽然看起来简单，但它非常具有挑战性。许多基于深度学习的模型将车道标线估计分为两个步骤：特征提取和曲线拟合。大多数的研究都是通过基于分割思想的模型来提取特征，这对于自主驾驶来说效率低下，实时性差。此外，由于分割图必须经过后期处理才能输出交通线，因此，单独的分割步骤不足以提供车道标记估计值。此外，这种方式可能会忽略全局信息，当缺少视觉线索时(如在强阴影和遮挡中)，全局信息尤其重要。因此，如何更有效地确定车道线非常重要。
发明内容
本发明实施例提供了一种基于端到端的车道线检测方法、装置、设备及存储介质，可以更准确有效地确定车道线，提高了车道线检测的效率和实时性，满足了用户对车道线检测的智能化和自动化需求。
第一方面，本发明实施例提供了一种基于端到端的车道线检测方法，所述方法包括：
获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；
根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；
获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
进一步地，所述将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果，包括：
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的车道线特征信息；
根据与所述添加车道线标签的样本图像对应的车道线特征信息，得到与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度。
进一步地，所述根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，包括：
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值；
根据所述损失函数值调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型。
进一步地，所述根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值，包括：
根据所述车道线标签确定所述训练样本集中添加车道线标签的样本图像中车道线的数量；
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度和所述样本图像中车道线的数量确定所述添加车道线标签的样本图像的损失函数值。
进一步地，所述将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆当前行驶道路上的车道线，包括：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度；
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆当前行驶道路上的车道线。
进一步地，所述将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度，包括：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式以及水平线的垂直位置；
根据所述待检测图像对应的多项式以及水平线的垂直位置确定得到所述待检测图像对应的每个车道线的车道线标签、垂直偏移以及每个车道线的置信度。
进一步地，所述根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆的车道线，包括：
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移检测每个车道线的置信度是否大于每个车道线对应的预设阈值；
当检测结果为所述置信度大于对应的预设阈值，则确定所述置信度大于预设阈值的车道线标签对应的车道线为所述目标车辆的车道线。
第二方面，本发明实施例提供了一种基于端到端的车道线检测装置，包括：
获取单元，用于获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；
训练单元，用于将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；
调整单元，用于根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；
测试单元，用于获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
第三方面，本发明实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持基于端到端的车道线检测装置执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例可以获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。通过这种实施方式，可以更准确有效地确定车道线，提高了车道线检测的效率和实时性，满足了用户对车道线检测的智能化和自动化需求。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于端到端的车道线检测方法的示意流程图；
图2是本发明实施例提供的一种基于端到端的车道线检测装置的示意框图；
图3是本发明实施例提供的一种计算机设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于端到端的车道线检测方法可以应用于一种基于端到端的车道线检测装置，在某些实施例中，所述基于端到端的车道线检测装置设置于计算机设备中。在某些实施例中，所述计算机设备包括但不限于智能手机、平板电脑、膝上型电脑等中的一种或者多种。
下面结合附图1对本发明实施例提供的基于端到端的车道线检测方法进行示意性说明。
请参见图1，图1是本发明实施例提供的一种基于端到端的车道线检测方法的示意流程图，如图1所示，该方法可以由基于端到端的车道线检测装置执行，所述基于端到端的车道线检测装置设置于计算机设备中。具体地，本发明实施例的所述方法包括如下步骤。
S101：获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签。
本发明实施例中，基于端到端的车道线检测装置可以获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签。在某些实施例中，所述车道线标签可以包括但不限于数字、字母、文字等中的一种或多种字符。在某些实施例中，所述前视拍摄装置用于拍摄车辆前方的环境信息，其中，所述环境信息包括车道信息、车辆信息等。
S102：将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果。
本发明实施例中，基于端到端的车道线检测装置可以将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果。
在一个实施例中，基于端到端的车道线检测装置在将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果时，可以将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的车道线特征信息；根据与所述添加车道线标签的样本图像对应的车道线特征信息，得到与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度。
S103：根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型。
本发明实施例中，基于端到端的车道线检测装置可以根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型。
在一个实施例中，基于端到端的车道线检测装置在根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型时，可以根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值；根据所述损失函数值调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型。
在一个实施例中，基于端到端的车道线检测装置在根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值时，可以根据所述车道线标签确定所述训练样本集中添加车道线标签的样本图像中车道线的数量；根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度和所述样本图像中车道线的数量确定所述添加车道线标签的样本图像的损失函数值。
在一个实施例中，在模型训练的过程中，对于样本图像，假设M是给定的样本图像的带车道线标签的数量。一般交通场景包含的车道很少，对于可用数据集中的大多数图像，车道数为M≤4。对于训练和度量评估，每个车道线标签j,j＝1,…,M，与输出的神经元单元j相关联。因此，损失函数中应忽略与输出M+1,…,Mmax有关的预测。车道标签j由一组点
表示，其中
对于每个i＝1,…,N-1。根据经验，N值越高，就越能捕捉到更丰富的结构。假设车道线标签
是根据最接近图像底部的点的x坐标排序的，即
i＝1,…,M-1。对于每个车道线标签j，垂直偏移
设置为
置信度定义为如下公式(1)：
在某些实施例中，所述置信度为[0,1]的数。
在一个实施例中，对于单个图像，使用多任务损失函数来训练模型，该损失函数为如下公式(2)：
其中，Wp、Ws、Wc和Wh是用于平衡各项损失。Lreg和Lcls分别是均方误差(MSE)和二分类交叉熵(BCE)函数。Lp损失函数测量多项式pj对标注点的调整程度。对于标注的x坐标
和xj＝[x1,j,…,xN,j]T，有如下关系公式(3)：
其中，τloss是一个由经验决定的阈值，它试图将损失集中在已经很好地对齐的点上。出现这种效果是因为车道标线由几个采样差异不同的点组成(即，靠近摄像机的点比远离摄像机的点密度大)。最后，Lp定义为如下公式(4)：
S104：获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
本发明实施例中，基于端到端的车道线检测装置可以获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
在一个实施例中，基于端到端的车道线检测装置在将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆当前行驶道路上的车道线时，可以将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度；根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆当前行驶道路上的车道线。
在一个实施例中，基于端到端的车道线检测装置在将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度时，可以将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式以及水平线的垂直位置；
根据所述待检测图像对应的多项式以及水平线的垂直位置确定得到所述待检测图像对应的每个车道线的车道线标签、垂直偏移以及每个车道线的置信度。
在一个实施例中，基于端到端的车道线检测装置在根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆的车道线时，可以根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移检测每个车道线的置信度是否大于每个车道线对应的预设阈值；当检测结果为所述置信度大于对应的预设阈值，则确定所述置信度大于预设阈值的车道线标签对应的车道线为所述目标车辆的车道线。
在一个实施例中，每个图像输出Mmax车道标记候选(用多项式表示)以及水平线的垂直位置，这有助于定义车道标记的上限。模型构由一个主干网络(用于特征提取)和一个全连接层组成，该层具有Mmax+1个输出节点，即用于车道线预测的输出节点j＝1,…,Mmax和用于垂直位置的输出节点Mmax+1。因此，对于每个输出j,j＝1,…,Mmax，模型估计了系数
用来表示下面的多项式公式(5)：
其中，K是一个参数，它用来定义多项式，多项式限制了高度。除系数外，模型还估计了每个车道线标志j、垂直偏移sj和置信度cj∈[0,1]。综上，模型可以表示为公式(6)：
其中，I是输入图像，θ是模型参数。
本发明实施例中，基于端到端的车道线检测装置可以获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。通过这种实施方式，可以解决在自主驾驶中采用基于分割思想的模型来提取特征时的效率低下、实时性差的问题，更准确有效地确定车道线，提高了车道线检测的效率和实时性，满足了用户对车道线检测的智能化和自动化需求。
本发明实施例还提供了一种基于端到端的车道线检测装置，该基于端到端的车道线检测装置用于执行前述任一项所述的方法的单元。具体地，参见图2，图2是本发明实施例提供的一种基于端到端的车道线检测装置的示意框图。本实施例的基于端到端的车道线检测装置包括：获取单元201、训练单元202、调整单元203以及测试单元204。
获取单元201，用于获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；
训练单元202，用于将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；
调整单元203，用于根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；
测试单元204，用于获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
进一步地，所述训练单元202将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果时，具体用于：
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的车道线特征信息；
根据与所述添加车道线标签的样本图像对应的车道线特征信息，得到与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度。
进一步地，所述调整单元203根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型时，具体用于：
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值；
根据所述损失函数值调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型。
进一步地，所述调整单元203根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值时，具体用于：
根据所述车道线标签确定所述训练样本集中添加车道线标签的样本图像中车道线的数量；
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度和所述样本图像中车道线的数量确定所述添加车道线标签的样本图像的损失函数值。
进一步地，所述测试单元204将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆当前行驶道路上的车道线时，具体用于：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度；
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆当前行驶道路上的车道线。
进一步地，所述测试单元204将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度时，具体用于：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式以及水平线的垂直位置；
根据所述待检测图像对应的多项式以及水平线的垂直位置确定得到所述待检测图像对应的每个车道线的车道线标签、垂直偏移以及每个车道线的置信度。
进一步地，所述测试单元204根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆的车道线时，具体用于：
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移检测每个车道线的置信度是否大于每个车道线对应的预设阈值；
当检测结果为所述置信度大于对应的预设阈值，则确定所述置信度大于预设阈值的车道线标签对应的车道线为所述目标车辆的车道线。
本发明实施例中，基于端到端的车道线检测装置可以获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。通过这种实施方式，可以解决在自主驾驶中采用基于分割思想的模型来提取特征时的效率低下、实时性差的问题，更准确有效地确定车道线，提高了车道线检测的效率和实时性，满足了用户对车道线检测的智能化和自动化需求。
参见图3，图3是本发明实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的设备可以包括：一个或多个处理器301；一个或多个输入设备302，一个或多个输出设备303和存储器304。上述处理器301、输入设备302、输出设备303和存储器304通过总线305连接。存储器304用于存储计算机程序，所述计算机程序包括程序，处理器301用于执行存储器304存储的程序。其中，处理器301被配置用于调用所述程序执行：
获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；
根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；
获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
进一步地，所述处理器301将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果时，具体用于：
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的车道线特征信息；
根据与所述添加车道线标签的样本图像对应的车道线特征信息，得到与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度。
进一步地，所述处理器301根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型时，具体用于：
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值；
根据所述损失函数值调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型。
进一步地，所述处理器301根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值时，具体用于：
根据所述车道线标签确定所述训练样本集中添加车道线标签的样本图像中车道线的数量；
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度和所述样本图像中车道线的数量确定所述添加车道线标签的样本图像的损失函数值。
进一步地，所述处理器301将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆当前行驶道路上的车道线时，具体用于：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度；
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆当前行驶道路上的车道线。
进一步地，所述处理器301将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度时，具体用于：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式以及水平线的垂直位置；
根据所述待检测图像对应的多项式以及水平线的垂直位置确定得到所述待检测图像对应的每个车道线的车道线标签、垂直偏移以及每个车道线的置信度。
进一步地，所述处理器301根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆的车道线时，具体用于：
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移检测每个车道线的置信度是否大于每个车道线对应的预设阈值；
当检测结果为所述置信度大于对应的预设阈值，则确定所述置信度大于预设阈值的车道线标签对应的车道线为所述目标车辆的车道线。
本发明实施例中，计算机设备可以获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。通过这种实施方式，可以解决在自主驾驶中采用基于分割思想的模型来提取特征时的效率低下、实时性差的问题，更准确有效地确定车道线，提高了车道线检测的效率和实时性，满足了用户对车道线检测的智能化和自动化需求。
应当理解，在本发明实施例中，所称处理器301可以是中央处理单元(CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigiSalSignal Processor，DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列(Field-Programmable GaSe Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备302可以包括触控板、麦克风等，输出设备303可以包括显示器(LCD等)、扬声器等。
该存储器304可以包括只读存储器和随机存取存储器，并向处理器301提供指令和数据。存储器304的一部分还可以包括非易失性随机存取存储器。例如，存储器304还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器301、输入设备302、输出设备303可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图2所描述的基于端到端的车道线检测装置的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的基于端到端的车道线检测方法，也可实现本发明图2所对应实施例的基于端到端的车道线检测装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的基于端到端的车道线检测装置的内部存储单元，例如基于端到端的车道线检测装置的硬盘或内存。所述计算机可读存储介质也可以是所述基于端到端的车道线检测装置的外部存储装置，例如所述基于端到端的车道线检测装置上配备的插接式硬盘，智能存储卡(SmarS Media Card,SMC)，安全数字(Secure DigiSal,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述基于端到端的车道线检测装置的内部存储单元也包括外部存储装置。所述计算机可读存储介质用于存储所述计算机程序以及所述基于端到端的车道线检测装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于端到端的车道线检测方法，其特征在于，所述方法包括：
获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；
根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；
获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
2.根据权利要求1所述的方法，其特征在于，所述将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果，包括：
将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的车道线特征信息；
根据与所述添加车道线标签的样本图像对应的车道线特征信息，得到与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，包括：
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值；
根据所述损失函数值调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度确定所述添加车道线标签的样本图像的损失函数值，包括：
根据所述车道线标签确定所述训练样本集中添加车道线标签的样本图像中车道线的数量；
根据所述预测结果中与所述添加车道线标签的样本图像对应的多项式、垂直偏移以及每个车道线的置信度和所述样本图像中车道线的数量确定所述添加车道线标签的样本图像的损失函数值。
5.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆当前行驶道路上的车道线，包括：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度；
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆当前行驶道路上的车道线。
6.根据权利要求5所述的方法，其特征在于，所述将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度，包括：
将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的多项式以及水平线的垂直位置；
根据所述待检测图像对应的多项式以及水平线的垂直位置确定得到所述待检测图像对应的每个车道线的车道线标签、垂直偏移以及每个车道线的置信度。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移以及每个车道线的置信度确定所述目标车辆的车道线，包括：
根据所述待检测图像对应的多项式、每个车道线的车道线标签、垂直偏移检测每个车道线的置信度是否大于每个车道线对应的预设阈值；
当检测结果为所述置信度大于对应的预设阈值，则确定所述置信度大于预设阈值的车道线标签对应的车道线为所述目标车辆的车道线。
8.一种基于端到端的车道线检测装置，其特征在于，包括：
获取单元，用于获取训练样本集，所述训练样本集包括车辆的前视拍摄装置在所述车辆行驶过程中采集的多个样本图像，并对所述训练样本集中的多个样本图像中的每个样本图像添加车道线标签；
训练单元，用于将所述训练样本集中添加车道线标签的样本图像输入指定的深度多项式回归模型，得到与所述添加车道线标签的样本图像对应的预测结果；
调整单元，用于根据所述预测结果调整所述指定的深度多项式回归模型中的模型参数，并根据调整后的所述模型参数重新训练所述指定的深度多项式回归模型，得到车道线检测模型；
测试单元，用于获取目标车辆的前视拍摄装置在所述目标车辆行驶过程中拍摄的待检测图像，并将所述待检测图像输入所述车道线检测模型，得到所述待检测图像对应的所述目标车辆的车道线。
9.一种计算机设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273414.1A CN112990009A (zh) | 2021-03-12 | 2021-03-12 | 基于端到端的车道线检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273414.1A CN112990009A (zh) | 2021-03-12 | 2021-03-12 | 基于端到端的车道线检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112990009A true CN112990009A (zh) | 2021-06-18 |
Family
ID=76335210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110273414.1A Pending CN112990009A (zh) | 2021-03-12 | 2021-03-12 | 基于端到端的车道线检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990009A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705436A (zh) * | 2021-08-27 | 2021-11-26 | 一汽解放青岛汽车有限公司 | 一种车道信息确定方法、装置、电子设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析系统、装置及存储介质 |
| CN110363182A (zh) * | 2019-07-24 | 2019-10-22 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
| CN111008600A (zh) * | 2019-12-06 | 2020-04-14 | 中国科学技术大学 | 一种车道线检测方法 |
| CN111311675A (zh) * | 2020-02-11 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 车辆定位方法、装置、设备和存储介质 |
| CN111860255A (zh) * | 2020-07-10 | 2020-10-30 | 东莞正扬电子机械有限公司 | 驾驶检测模型的训练、使用方法、装置、设备及介质 |
| CN112163543A (zh) * | 2020-10-12 | 2021-01-01 | 北京易华录信息技术股份有限公司 | 一种车辆违法占道的检测方法及系统 |
| CN112382354A (zh) * | 2020-11-27 | 2021-02-19 | 北京京航计算通讯研究所 | 一种Cr12MoV材料硬度预测方法及装置 |
-
2021
- 2021-03-12 CN CN202110273414.1A patent/CN112990009A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析系统、装置及存储介质 |
| CN110363182A (zh) * | 2019-07-24 | 2019-10-22 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
| CN111008600A (zh) * | 2019-12-06 | 2020-04-14 | 中国科学技术大学 | 一种车道线检测方法 |
| CN111311675A (zh) * | 2020-02-11 | 2020-06-19 | 腾讯科技（深圳）有限公司 | 车辆定位方法、装置、设备和存储介质 |
| CN111860255A (zh) * | 2020-07-10 | 2020-10-30 | 东莞正扬电子机械有限公司 | 驾驶检测模型的训练、使用方法、装置、设备及介质 |
| CN112163543A (zh) * | 2020-10-12 | 2021-01-01 | 北京易华录信息技术股份有限公司 | 一种车辆违法占道的检测方法及系统 |
| CN112382354A (zh) * | 2020-11-27 | 2021-02-19 | 北京京航计算通讯研究所 | 一种Cr12MoV材料硬度预测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113705436A (zh) * | 2021-08-27 | 2021-11-26 | 一汽解放青岛汽车有限公司 | 一种车道信息确定方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245659B (zh) | 基于前背景相互关系的图像显著对象分割方法及装置 | |
| WO2020098250A1 (zh) | 字符识别方法、服务器及计算机可读存储介质 | |
| CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
| CN108062562B (zh) | 一种物体重识别方法及装置 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| WO2022134996A1 (en) | Lane line detection method based on deep learning, and apparatus | |
| CN110287952B (zh) | 一种维语图片字符的识别方法及系统 | |
| JP2016194925A (ja) | 道路境界物の検出方法及び装置 | |
| CN111914908B (zh) | 一种图像识别模型训练方法、图像识别方法及相关设备 | |
| CN111104830A (zh) | 用于图像识别的深度学习模型、该模型的训练装置及方法 | |
| CN111860496A (zh) | 车牌识别方法、装置、设备及计算机可读存储介质 | |
| CN110555439A (zh) | 标识识别方法及其模型的训练方法、装置和电子系统 | |
| JP2022540101A (ja) | ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体 | |
| CN109961103B (zh) | 特征提取模型的训练方法、图像特征的提取方法及装置 | |
| CN109815902B (zh) | 一种行人属性区域信息获取方法、装置及设备 | |
| CN112990009A (zh) | 基于端到端的车道线检测方法、装置、设备及存储介质 | |
| CN112613471A (zh) | 人脸活体检测方法、装置及计算机可读存储介质 | |
| CN112560856A (zh) | 车牌检测识别方法、装置、设备及存储介质 | |
| CN116363628A (zh) | 标志检测方法、装置、非易失性存储介质及计算机设备 | |
| CN114445716A (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN117218622A (zh) | 路况检测方法、电子设备及存储介质 | |
| CN111539420B (zh) | 基于注意力感知特征的全景图像显著性预测方法及系统 | |
| CN116563898A (zh) | 基于GhostNet网络的掌静脉图像识别方法、装置、设备及介质 | |
| CN112949571A (zh) | 识别年龄的方法、年龄识别模型的训练方法和装置 | |
| CN111368624A (zh) | 基于生成对抗网络的回环检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |