CN114694109B - 车道线检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种车道线检测方法、装置、电子设备及计算机可读存储介质，其中，所述方法包括：将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；从所述预测中心点热力图中确定n个中心点，n为正整数；针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。本发明提供的技术方案，能够自适应检测任意数量的车道线。

Description

车道线检测方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及人工智能技术领域，具体涉及一种车道线检测方法、装置、电子设备及计算机可读存储介质。

背景技术

车道线检测技术广泛应用在自动驾驶、车辆辅助驾驶等领域中，车道线检测的效果好坏将直接影响后续的车道线保持、变道、超车等功能的实现。现有的基于多项式曲线表达等的车道线检测方法，在一定程度上大幅提升了车道线检测的效果，推动了自动驾驶技术的发展，但是，却存在只能检测固定数量的车道线，不能很好地检测数目在随机变化的车道线。

发明内容

有鉴于此，本发明实施例提供了一种车道线检测方法、装置、电子设备及计算机可读存储介质，以解决现有车道线检测技术只能检测固定数量的车道线不能很好地检测数目在随机变化的车道线的问题。

根据第一方面，本发明实施例提供了一种车道线检测方法，包括：

将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；

从所述预测中心点热力图中确定n个中心点，n为正整数；

针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；

基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。

可选的，所述基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线之后，还包括：

利用非极大值抑制方法去除冗余的车道线。

可选的，所述利用非极大值抑制方法去除冗余的车道线，包括：

针对每一条所述第一贝塞尔曲线，选取靠近起点的一部分所述控制点构成第一目标框、靠近终点附近的另一部分所述控制点构成第二目标框；

在多个所述第一目标框中采用一次非极大值抑制得到第一结果、在多个所述第二目标框中采用一次非极大值抑制得到第二结果；

对所述第一结果和所述第二结果取并集，得到去除了冗余的车道线后剩余的车道线。

可选的，所述输出信息还包括辅助点与所述中心点的第二预测位置偏差；所述第二预测位置偏差用于确定每一所述中心点相关的辅助点；

所述基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线之后，还包括：

针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，所述第二贝塞尔曲线是最终用于表征车道线的贝塞尔曲线。

可选的，所述针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，包括：

从所述第一贝塞尔曲线上获取多个第一采样点；

基于多个所述第一采样点和所述辅助点，利用最小二乘法，获取新的控制点；

基于所述新的控制点，确定所述第二贝塞尔曲线。

可选的，所述车道线检测网络包括以下至少之一网络模块：

特征提取网络，用于提取所述待检测图像的特征信息，所述特征信息用于预测中心点热力图、以及所述控制点与所述中心点之间的第一预测位置偏差；

第一回归网络，用于基于所述待检测图像的特征信息，预测中心点热力图；

第二回归网络，用于基于所述待检测图像的特征信息，预测所述中心点与所述控制点之间的位置偏差。

可选的，所述将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息之前，还包括：

针对每一训练样本图像，获取车道线标注点；

基于所述车道线标注点获取贝塞尔曲线的样本控制点；

基于所述样本控制点获取车道线的样本中心点；

基于所述样本控制点和所述样本中心点，获取所述样本控制点相对所述样本中心点的第一样本位置偏差；

基于所述样本中心点获取样本中心点热力图；

利用所述训练样本图像以及对应的标签信息，对所述车道线检测网络进行训练，所述训练样本图像对应的所述标签信息包括所述样本控制点相对所述样本中心点的第一样本位置偏差和所述样本中心点热力图。

可选的，所述训练样本图像对应的所述标签信息还包括样本辅助点与所述样本中心点之间的第二样本位置偏差；

所述利用所述训练样本图像以及对应的所述标签信息，对所述车道线检测网络进行训练之前，还包括：

在基于所述样本控制点确定的第三贝塞尔曲线上，取多个第二采样点；

从多个所述第二采样点中按照预设规则，选取所述样本辅助点；

计算所述样本辅助点与所述样本中心点之间的所述第二样本位置偏差。

根据第二方面，本发明实施例提供了一种车道线检测装置，包括：

网络检测模块，用于将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；

中心点确定模块，用于从所述预测中心点热力图中确定n个中心点，n为正整数；

控制点确定模块，用于针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；

贝塞尔曲线确定模块，用于基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。

可选的，所述装置还包括：

冗余去除模块，用于利用非极大值抑制方法去除冗余的车道线。

可选的，所述冗余去除模块，包括：

构成单元，用于针对每一条所述第一贝塞尔曲线，选取靠近起点的一部分所述控制点构成第一目标框、靠近终点附近的另一部分所述控制点构成第二目标框；

非极大值抑制单元，用于在多个所述第一目标框中采用一次非极大值抑制得到第一结果、在多个所述第二目标框中采用一次非极大值抑制得到第二结果；

合并单元，用于对所述第一结果和所述第二结果取并集，得到去除了冗余的车道线后剩余的车道线。

可选的，所述输出信息还包括辅助点与所述中心点的第二预测位置偏差；所述第二预测位置偏差用于确定每一所述中心点相关的辅助点；

所述装置还包括：

修正模块，用于针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，所述第二贝塞尔曲线是最终用于表征车道线的贝塞尔曲线。

可选的，所述修正模块包括：

第一采样单元，用于从所述第一贝塞尔曲线上获取多个第一采样点；

计算单元，用于基于多个所述第一采样点和所述辅助点，利用最小二乘法，获取新的控制点；

确定单元，用于基于所述新的控制点，确定所述第二贝塞尔曲线。

可选的，所述车道线检测网络包括以下至少之一网络模块：

特征提取网络，用于提取所述待检测图像的特征信息，所述特征信息用于预测中心点热力图、以及所述控制点与所述中心点之间的第一预测位置偏差；

第一回归网络，用于基于所述待检测图像的特征信息，预测中心点热力图；

第二回归网络，用于基于所述待检测图像的特征信息，预测所述中心点与所述控制点之间的位置偏差。

可选的，所述装置，还包括：

标注模块，用于针对每一训练样本图像，获取车道线标注点；

第一获取模块，用于基于所述车道线标注点获取贝塞尔曲线的样本控制点；

第二获取模块，用于基于所述样本控制点获取车道线的样本中心点；

第三获取模块，用于基于所述样本控制点和所述样本中心点，获取所述样本控制点相对所述样本中心点的第一样本位置偏差；

第四获取模块，用于基于所述样本中心点获取样本中心点热力图；

训练模块，用于利用所述训练样本图像以及对应的标签信息，对所述车道线检测网络进行训练，所述训练样本图像对应的所述标签信息包括所述样本控制点相对所述样本中心点的第一样本位置偏差和所述样本中心点热力图。

可选的，所述训练样本图像对应的所述标签信息还包括样本辅助点与所述样本中心点之间的第二样本位置偏差；

所述装置还包括：

第二采样模块，用于在基于所述样本控制点确定的第三贝塞尔曲线上，取多个第二采样点；

选取模块，用于从多个所述第二采样点中按照预设规则，选取所述样本辅助点；

第四获取模块，用于计算所述样本辅助点与所述样本中心点之间的所述第二样本位置偏差。

根据第三方面，本发明实施例提供了一种电子设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述第一方面所述的任一种车道线检测方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述第一方面所述的任一种车道线检测方法。

本发明实施例提供的车道线检测方法、装置、电子设备及计算机可读存储介质，利用车道线检测网络预测中心点热力图，然后基于中心点热力图确定车道线的中心点，并基于中心点以及车道线检测网络预测到的控制点与中心点的位置偏差得到该中心点相关的控制点，该与中心点相关的控制点即可用于确定该中心点对应的车道线的贝塞尔曲线，因此，本发明实施例可以自适应检测任意数量的车道线。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明实施例提供的一种车道线检测方法的流程示意图；

图2为本发明实施例提供的一种网络训练时标注的辅助点的示意图；

图3为本发明实施例提供的一种车道线检测装置的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

传统的车道线检测方法通常是基于视觉信息来解决问题的。这些方法通过图像滤波技术提取车道线的外观特征，实现车道检测，但在一些外观特征缺失的复杂场景中(如恶劣的天气条件、昏暗或极端的光线条件、严重遮挡)定位误差较大，很难保证检测结果的准确性。随着深度神经网络的发展，出现了很多基于深度网络的车道线检测方法，比如基于分割或实例分割的，基于锚点（anchor）目标检测的方法，这些方法都是基于分割地图或检测大量的点来间接表达车道线，全局表达性不够，在有遮挡，或者极端天气条件下，车道线检测可能会失效。还有一些方法用多项式曲线来表达车道线，用深度网络回归这些参数来对车道线曲线建模，但这些参数在图片上没有明确的意义，往往导致回归效果不好，影响车道检测效果，同时一般只能检测固定数目的车道线，不能很好的检测数目在随机变化的车道线。如何快速有效的自动识别任意数量的车道线是目前亟待解决的技术问题。

请参阅图1，本发明实施例提供一种车道线检测方法，包括以下步骤：

S101：将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；

其中，待检测图像可以是车辆前视图像。预测中心点热力图即所述车道线检测网络预测得到的中心点热力图。多个控制点具体可以是4个。第一预测位置偏差的数量与控制点的数量一致，几个控制点就是几个预测位置偏差，每一预测位置偏差可以包括两个偏差数值，一个是x轴上的偏差，另一个是y轴上的偏差，偏差也可以称为偏移或位移。

S102：从所述预测中心点热力图中确定n个中心点，n为正整数；

S103：针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；

S104：基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。本发明实施例中，用于表征车道线的贝塞尔曲线可以是三阶贝塞尔曲线。

所述从所述预测中心点热力图中确定n个中心点，具体可以按照预设规则从热力图中筛选。例如，可以按照置信度从预测得到的中心点热力图中筛选出n个中心点，具体的，可以选取区域置信度最高且大于或等于一定阈值的点作为中心点，置信度阈值可以合理设置，例如可以是0.3，也即从预测得到的中心点热力图中筛选出置信度大于周围预设区域内所有点且大于或等于0.3的点作为所述中心点。

本发明实施例中，利用车道线检测网络预测中心点热力图，然后基于中心点热力图确定车道线的中心点，并基于中心点以及车道线检测网络预测到的控制点与中心点的位置偏差得到该中心点相关的控制点，该与中心点相关的控制点即可用于确定该中心点对应的车道线的贝塞尔曲线。因此，本发明实施例提供的车道线检测方法可以自适应检测任意数量的车道线。

其中一些可选的具体实施方式中，所述基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线之后，还包括：

利用非极大值抑制方法（Non-Maximum Suppression，NMS）去除冗余的车道线。

本发明实施例中，中心点是从车道线检测网络预测得到的中心点热力图中确定的，且基于车道线检测网络预测得到的多个控制点与中心点的第一预测位置偏差可以得到每一中心点相关的多个控制点，对于每一中心点相关的多个控制点可以决定一条表征车道线的贝塞尔曲线，因此，检测到的车道线数量与从车道线检测网络预测得到的中心点热力图中确定的中心点数量一致，但是这是可能存在冗余的车道线的，因此本发明实施例通过NMS方法去除冗余的车道线。

作为上述实施例的一些具体实施方式，所述利用非极大值抑制方法去除冗余的车道线，包括：

针对每一条所述第一贝塞尔曲线，选取靠近起点的一部分所述控制点构成第一目标框、靠近终点附近的另一部分所述控制点构成第二目标框；

在多个所述第一目标框中采用一次非极大值抑制得到第一结果、在多个所述第二目标框中采用一次非极大值抑制得到第二结果；对多个第一目标框采用非极大值抑制是用于去除多个所述第一目标框中冗余的部分车道线（这里的部分车道线是指并非整条车道线，而是整条车道线中属于一个目标框的部分车道线）；对多个第二目标框采用非极大值抑制是用于去除多个所述第二目标框中冗余的部分车道线；

对所述第一结果和所述第二结果取并集，得到去除了冗余的车道线后剩余的车道线。

举例来说，一条第一贝塞尔曲线有四个控制点，即一条车道线有四个控制点，可选取其中的P1控制点和P2控制点构成目标框bbox1、P3控制点和P4控制点构成目标框bbox2，在多条第一贝塞尔曲线的目标框bbox1构成的第一目标框序列和该多条第一贝塞尔曲线的目标框bbox2构成的第二目标框序列中分别采用一次NMS后，第一目标框序列中保留n1条车道线、第二目标框序列中保留n2条车道线，n1和n2可以相等也可以不相等，即使n1和n2相等，也不代表第一目标框序列中保留的部分车道线和第二目标框序列中保留的部分车道线属于相同的一条或多条第一贝塞尔曲线所表征的车道线，也就是说第一目标框序列中去除的部分车道线和第二目标框序列中去除的部分车道线不一定属于同一条第一贝塞尔曲线所表征的车道线，然后合并第一目标框序列中保留n1条车道线、第二目标框序列中保留n2条车道线得到n0条车道线，具体合并时以“并”的方式合并，即属于同一第一贝塞尔曲线所表征的车道线的合并为同一条车道线，不属于同一第一贝塞尔曲线所表征的车道线单独保留下来，该合并方式可以保留分叉车道线（分叉的车道线为两条车道线）。

在其它的可选具体实施方式中，如果控制点多于4个，那么一条贝塞尔曲线上的控制点也可以构成多于2个的目标框。例如如果控制点有6个，那么靠近贝塞尔曲线起点的两个控制点构成一个目标框、中间的两个控制点构成一个目标框、靠近终点的两个控制点构成一个目标框，总共三个目标框。

作为另一些具体的实施方式，所述输出信息还包括辅助点与所述中心点的第二预测位置偏差；所述第二预测位置偏差用于确定每一所述中心点相关的辅助点；

具体的，每一所述中心点相关的辅助点可以是4个。

所述基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线之后，还包括：

针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，所述第二贝塞尔曲线是最终用于表征车道线的贝塞尔曲线。

由于车道线可能会因为控制点定位不准导致车道线偏离的情况，因此，本发明实施例中，提出利用每条车道线对应的辅助点对其进行修正。

具体的，可以在利用非极大值抑制方法（Non-Maximum Suppression，NMS）去除冗余的车道线之后，再针对剩余的车道线，利用辅助点进行修正。

作为进一步可选的具体实施方式，所述针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，包括：

从所述第一贝塞尔曲线上获取多个第一采样点；

基于多个所述第一采样点和所述辅助点，利用最小二乘法，获取新的控制点；

基于所述新的控制点，确定所述第二贝塞尔曲线。

其中，从所述第一贝塞尔曲线上获取的第一采样点的数量一般大于所述辅助点的数量，从而使得在确定最终的第二贝塞尔曲线时上述控制点（用于确定所述第一贝塞尔曲线的控制点）的比重大于所述辅助点。例如，在每一车道线的修正辅助点的数量是4个的情况下，从所述第一贝塞尔曲线上获取的采样点数目可以是6-12个。但是，为了确保所述辅助点在确定最终的第二贝塞尔曲线时所起的作用，所述第一采样点与辅助点之间的数量差值不应过大。

所述基于多个所述第一采样点和所述辅助点，利用最小二乘法，获取新的控制点，具体可以利用下述最小二乘法公式获取新的控制点：

其中，

、

、

和

是新的4个控制点，

是多个第一采样点和辅 助点，

是多个第一采样点和辅助点的总数量，

是各第一采样点或 辅助点对应的系数向量，

，

，

。

一些具体的实施方式中，所述车道线检测网络包括以下至少之一网络模块：

特征提取网络，用于提取所述待检测图像的特征信息，所述特征信息用于预测中心点热力图、以及所述控制点与所述中心点之间的第一预测位置偏差；

其中，所述特征提取网络可以包括basenet网络和特征金字塔网络(featurepyramid network，FPN)，basenet网络例如可以是resnet50网络。特征提取网络输出的是卷积特征256*（h/4）*（w/4），h、w是所述待检测图像的高和宽。

第一回归网络，用于基于所述待检测图像的特征信息，预测中心点热力图；

其中，所述第一回归网络也可以称为中心点回归网络，具体可以由两层卷积组成，输出：1*（h/4）*（w/4）预测中心点热力图。

第二回归网络，用于基于所述待检测图像的特征信息，预测所述中心点与所述控制点之间的位置偏差（即所述第一预测位置偏差）。

其中，所述第二回归网络，也可以是由两层卷积网络组成，输出：8*（h/4）*（w/4），预测4个控制点与中心点之间的位置偏差。第二回归网络针对预测中心点热力图上的每个点均输出对应的位置偏差，具体可以是每个点对应8个位置偏差值（4个点，每个点的x轴、y轴各一个偏差值）。

另外，所述第二回归网络还可以用于预测所述中心点与辅助点之间的位置偏差，此时输出：16*（h/4）*（w/4），预测4个控制点、4个辅助点与中心点之间的位置偏差，因此，所述第二回归网络也可以称为控制点及辅助点回归网络。

本发明实施例中，所述车道线检测网络，也可以称为车道线回归检测网络，通过对输入的待检测图像进行处理，获得输入图像中表征每条车道线的中心点，以及基于中心点的四个控制点和四个辅助点。

其中一些可选的具体实施方式中，所述将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息之前，还包括：

针对每一训练样本图像，获取车道线标注点；

基于所述车道线标注点获取贝塞尔曲线的样本控制点；

基于所述样本控制点获取车道线的样本中心点；

基于所述样本控制点和所述样本中心点，获取所述样本控制点相对所述样本中心点的第一样本位置偏差；即基于中心点回归控制点，求取控制点相对中心点的位移。

基于所述样本中心点获取样本中心点热力图；其中，样本中心点热力图，即训练样本图像的中心点热力图。

利用所述训练样本图像以及对应的标签信息，对所述车道线检测网络进行训练，所述训练样本图像对应的所述标签信息包括所述样本控制点相对所述样本中心点的第一样本位置偏差和所述样本中心点热力图。

具体的，一般车道线的标注是标注车道线上面的点，如tusimple车道线数据，一条车道线上的点可以表示为（kix，kiy），其中，x、y分别表示x、y坐标，i表示第i个标注点（即采样点，也可以称为第三采样点）。所述基于所述车道线标注点获取贝塞尔曲线的样本控制点，具体可以基于最小二乘法来获取的样本控制点，例如，当用于表征车道线的贝塞尔曲线为三阶贝塞尔曲线时，可以基于以下最小二乘法公式获取4个控制点：

其中，

、

、

和

为4个样本控制点，

为M个车道线标注点，

为车道线标注点的系数向量，

，

，

，

的 取值与车道线标注点在车道线上的相对位置相关，与贝塞尔曲线公式中的t的含义一致。三 阶贝塞尔公式为：

，

。

关于如何基于所述样本控制点获取车道线的样本中心点，具体可以参阅下例，当控制点的数量为4时，所述车道线的样本中心点可以按照以下公式计算得到：

p0x=（p1x+p2x+p3x+p4x)/4 ；

p0y=（p1y+p2y+p3y+p4y)/4 ；

其中，p0x、p0y分别表示样本中心点p0的x轴坐标值、y轴坐标值，p1x、p1y分别表示样本控制点p1的x轴坐标值、y轴坐标值，p2x、p2y分别表示样本控制点p2的x轴坐标值、y轴坐标值，p3x、p3y分别表示样本控制点p3的x轴坐标值、y轴坐标值，p4x、p4y分别表示样本控制点p4的x轴坐标值、y轴坐标值。

所述基于所述样本中心点获取样本中心点热力图，具体可以是基于中心点画高斯热力图，类似于centernet（一种点特征的检测网络）检测中每个目标中心点获取高斯热力图。多条车道线的热力图叠加到一起。

本发明实施例中，通过贝塞尔曲线来表达车道线，其四个控制点在图像上的意义明确，更容易回归。

另外，在对所述车道线检测网络进行训练的过程中，第一回归网络的损失函数（loss），即中心点回归loss，采用focalloss 或mseloss，该损失函数的输入为车道线检测网络基于输入的训练样本图像预测到的中心点热力图以及所述训练样本图像的标签信息中的样本中心点热力图。第二回归网络的损失函数可以采用regL1loss，该损失函数的输入为车道线检测网络基于输入的训练样本图像预测到的样本控制点相对样本中心点的样本位置偏差、以及所述训练样本图像的标签信息中的第一样本位置偏差，位置索引引用该样本中心点在图里的位置（index=p0y*（w/4）+p0x）。

其它可选的具体实施方式中，所述训练样本图像对应的所述标签信息还包括样本辅助点与所述样本中心点之间的第二样本位置偏差；

所述利用所述训练样本图像以及对应的所述标签信息，对所述车道线检测网络进行训练之前，还包括：

在基于所述样本控制点确定的第三贝塞尔曲线上，取多个第二采样点；

从多个所述第二采样点中按照预设规则，选取所述样本辅助点；

计算所述样本辅助点与所述样本中心点之间的所述第二样本位置偏差。

在上述实施例的进一步可选实施例方式中，所述从多个所述第二采样点中按照预设规则，选取所述样本辅助点，包括以下至少之一：

选取所述第二采样点中x轴坐标离目标点的x轴坐标值最近的第二采样点作为所述样本辅助点；

选取所述第二采样点中y轴坐标离目标点的y轴坐标值最近的第二采样点作为所述样本辅助点；

其中，所述目标点为所述样本控制点中除与所述第三贝塞尔曲线重合的样本控制点以外的其它样本控制点或所述样本中心点。

具体来说，在使用三阶贝塞尔曲线来表征车道线时，在标签信息获取阶段，除了基于最小二乘法获取4个样本控制点，本发明实施例还另外选取4个样本辅助点。例如，请参阅图2，样本辅助点p5是样本中心点p0沿x轴投影到车道线曲线上的点，样本辅助点p6是样本中心点p0沿y轴投影到车道线曲线上的点，样本辅助点p7是样本控制点p2沿x轴投影到车道线曲线上的点，样本辅助点p8是样本控制点p3沿x轴投影到车道线曲线上的点。但由于贝塞尔曲线由贝塞尔公式确定，曲线上点的坐标（x，y）之间的关系难求，因此本发明实施例改用另一种变通方式：在样本控制点确定的贝塞尔曲线（即所述第三贝塞尔曲线）上采样100个点，具体的，t在[0，1]内取100个数，然后根据t在第三贝塞尔曲线上采样100个点（即第二采样点），样本辅助点p5取该100个采样点中y坐标离样本中心点p0的y轴坐标最近的点，样本辅助点p6取该100个采样点中x轴坐标离样本中心点p0的x轴坐标最近的点，样本辅助点p7取该100个采样点中y轴坐标离样本控制点p2的y轴坐标最近的点，样本辅助点p8取该100个采样点中y轴坐标离样本控制点p3的y轴坐标最近的点。

本发明实施例中辅助点的主要目的是增加辅助监督，使控制点回归定位更精确，同时还可以在后处理中用来完善（refine）车道线。

本发明实施例中，所述车道线检测网络还用于输出辅助点与所述中心点的第二预测位置偏差。具体可以是由所述第二回归网络预测所述中心点与辅助点之间的位置偏差。相应地，第二回归网络的损失函数的输入为车道线检测基于输入的训练样本图像预测到的样本控制点相对样本中心点的样本位置偏差、样本辅助点相对样本中心点的样本位置偏差，以及所述训练样本图像的标签信息中的第一样本位置偏差和所述第二样本位置偏差。

综上所述，本发明实施例提供的车道线检测方法，先通过热力图快速定位车道线中心点，再基于中心点回归贝塞尔曲线的控制点及辅助点，辅助点用于完善（refine）车道线，不仅能检测任意数量的车道线且后处理步骤简单、回归准、效率高、鲁棒性好、车道线检测效果好。

相应地，请参考图3，本发明实施例提供一种车道线检测装置，包括：

网络检测模块301，用于将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；

中心点确定模块302，用于从所述预测中心点热力图中确定n个中心点，n为正整数；

控制点确定模块303，用于针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；

贝塞尔曲线确定模块304，用于基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。

本发明实施例提供的车道线检测装置，利用车道线检测网络预测中心点热力图，然后基于中心点热力图确定车道线的中心点，并基于中心点以及车道线检测网络预测到的控制点与中心点的位置偏差得到该中心点相关的控制点，该与中心点相关的控制点即可用于确定该中心点对应的车道线的贝塞尔曲线，因此，本发明实施例可以自适应检测任意数量的车道线。

可选的，所述装置还包括：

冗余去除模块，用于利用非极大值抑制方法去除冗余的车道线。

可选的，所述冗余去除模块，包括：

构成单元，用于针对每一条所述第一贝塞尔曲线，选取靠近起点的一部分所述控制点构成第一目标框、靠近终点附近的另一部分所述控制点构成第二目标框；

非极大值抑制单元，用于在多个所述第一目标框中采用一次非极大值抑制得到第一结果、在多个所述第二目标框中采用一次非极大值抑制得到第二结果；

合并单元，用于对所述第一结果和所述第二结果取并集，得到去除了冗余的车道线后剩余的车道线。

可选的，所述输出信息还包括辅助点与所述中心点的第二预测位置偏差；所述第二预测位置偏差用于确定每一所述中心点相关的辅助点；

所述装置还包括：

修正模块，用于针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，所述第二贝塞尔曲线是最终用于表征车道线的贝塞尔曲线。

可选的，所述修正模块包括：

第一采样单元，用于从所述第一贝塞尔曲线上获取多个第一采样点；

计算单元，用于基于多个所述第一采样点和所述辅助点，利用最小二乘法，获取新的控制点；

确定单元，用于基于所述新的控制点，确定所述第二贝塞尔曲线。

可选的，所述车道线检测网络包括以下至少之一网络模块：

特征提取网络，用于提取所述待检测图像的特征信息，所述特征信息用于预测中心点热力图、以及所述控制点与所述中心点之间的第一预测位置偏差；

第一回归网络，用于基于所述待检测图像的特征信息，预测中心点热力图；

第二回归网络，用于基于所述待检测图像的特征信息，预测所述中心点与所述控制点之间的位置偏差。

可选的，所述装置，还包括：

标注模块，用于针对每一训练样本图像，获取车道线标注点；

第一获取模块，用于基于所述车道线标注点获取贝塞尔曲线的样本控制点；

第二获取模块，用于基于所述样本控制点获取车道线的样本中心点；

第三获取模块，用于基于所述样本控制点和所述样本中心点，获取所述样本控制点相对所述样本中心点的第一样本位置偏差；

第四获取模块，用于基于所述样本中心点获取样本中心点热力图；

训练模块，用于利用所述训练样本图像以及对应的标签信息，对所述车道线检测网络进行训练，所述训练样本图像对应的所述标签信息包括所述样本控制点相对所述样本中心点的第一样本位置偏差和所述样本中心点热力图。

可选的，所述训练样本图像对应的所述标签信息还包括样本辅助点与所述样本中心点之间的第二样本位置偏差；

所述装置还包括：

第二采样模块，用于在基于所述样本控制点确定的第三贝塞尔曲线上，取多个第二采样点；

选取模块，用于从多个所述第二采样点中按照预设规则，选取所述样本辅助点；

第四获取模块，用于计算所述样本辅助点与所述样本中心点之间的所述第二样本位置偏差。

本发明实施例还提供了一种电子设备，如图4所示，该电子设备可以包括处理器401和存储器402，其中处理器401和存储器402可以通过总线或者其他方式互相通信连接，图4中以通过总线连接为例。

处理器401可以为中央处理器（Central Processing Unit，CPU）。处理器401还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器402作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车道线检测方法对应的程序指令/模块（例如，图3所示的网络检测模块301、中心点确定模块302、控制点确定模块303和贝塞尔曲线确定模块304）。处理器401通过运行存储在存储器402中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的车道线检测方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器401所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至处理器401。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器402中，当被所述处理器401执行时，执行如图1-2所示实施例中的车道线检测方法。

上述电子设备具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

相应地，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述车道线检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（RandomAccess Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种车道线检测方法，其特征在于，包括：

将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；

从所述预测中心点热力图中确定n个中心点，n为正整数；

针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；

基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。

2.根据权利要求1所述的方法，其特征在于，所述基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线之后，还包括：

利用非极大值抑制方法去除冗余的车道线。

3.根据权利要求2所述的方法，其特征在于，所述利用非极大值抑制方法去除冗余的车道线，包括：

针对每一条所述第一贝塞尔曲线，选取靠近起点的一部分所述控制点构成第一目标框、靠近终点附近的另一部分所述控制点构成第二目标框；

在多个所述第一目标框中采用一次非极大值抑制得到第一结果、在多个所述第二目标框中采用一次非极大值抑制得到第二结果；

对所述第一结果和所述第二结果取并集，得到去除了冗余的车道线后剩余的车道线。

4.根据权利要求1所述的方法，其特征在于，所述输出信息还包括辅助点与所述中心点的第二预测位置偏差；所述第二预测位置偏差用于确定每一所述中心点相关的辅助点；

所述基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线之后，还包括：

针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，所述第二贝塞尔曲线是最终用于表征车道线的贝塞尔曲线。

5.根据权利要求4所述的方法，其特征在于，所述针对每一所述第一贝塞尔曲线，利用对应的所述中心点相关的所述辅助点进行修正，得到对应的第二贝塞尔曲线，包括：

从所述第一贝塞尔曲线上获取多个第一采样点；

基于多个所述第一采样点和所述辅助点，利用最小二乘法，获取新的控制点；

基于所述新的控制点，确定所述第二贝塞尔曲线。

6.根据权利要求1所述的方法，其特征在于，所述车道线检测网络包括以下网络模块：

特征提取网络，用于提取所述待检测图像的特征信息，所述特征信息用于预测中心点热力图、以及所述控制点与所述中心点之间的第一预测位置偏差；

第一回归网络，用于基于所述待检测图像的特征信息，预测中心点热力图；

第二回归网络，用于基于所述待检测图像的特征信息，预测所述中心点与所述控制点之间的位置偏差。

7.根据权利要求1或6所述的方法，其特征在于，所述将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息之前，还包括：

针对每一训练样本图像，获取车道线标注点；

基于所述车道线标注点获取贝塞尔曲线的样本控制点；

基于所述样本控制点获取车道线的样本中心点；

基于所述样本控制点和所述样本中心点，获取所述样本控制点相对所述样本中心点的第一样本位置偏差；

基于所述样本中心点获取样本中心点热力图；

利用所述训练样本图像以及对应的标签信息，对所述车道线检测网络进行训练，所述训练样本图像对应的所述标签信息包括所述样本控制点相对所述样本中心点的第一样本位置偏差和所述样本中心点热力图。

8.根据权利要求7所述的方法，其特征在于，所述训练样本图像对应的所述标签信息还包括样本辅助点与所述样本中心点之间的第二样本位置偏差；

所述利用所述训练样本图像以及对应的所述标签信息，对所述车道线检测网络进行训练之前，还包括：

在基于所述样本控制点确定的第三贝塞尔曲线上，取多个第二采样点；

从多个所述第二采样点中按照预设规则，选取所述样本辅助点；

计算所述样本辅助点与所述样本中心点之间的所述第二样本位置偏差。

9.一种车道线检测装置，其特征在于，包括：

网络检测模块，用于将待检测图像输入至车道线检测网络，并获取所述车道线检测网络的输出信息，所述输出信息包括预测中心点热力图、多个控制点与中心点的第一预测位置偏差；

中心点确定模块，用于从所述预测中心点热力图中确定n个中心点，n为正整数；

控制点确定模块，用于针对每个所述中心点，根据所述第一预测位置偏差，确定所述中心点相关的多个所述控制点；

贝塞尔曲线确定模块，用于基于每一所述中心点相关的多个所述控制点，分别确定一条第一贝塞尔曲线，每一所述第一贝塞尔曲线用于表征一条车道线。

10.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至8中任一项所述的车道线检测方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的车道线检测方法。

Images