CN113408453A - 车道线检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了车道线检测方法、装置、设备及存储介质。该方法包括：在利用预设车道线检测模型对目标图像进行检测并得到车道线对应的初始关键点集合后，计算初始关键点集合中的第一关键点到第一直线的距离，并根据距离与预设距离阈值之间的大小关系确定初始关键点集合中的有效点，其中，第一直线包括初始关键点集合中的第二关键点和第三关键点的连线所在的直线，根据初始关键点集合中的有效点确定车道线对应的关键点集合。通过采用上述技术方案，可快速筛选出满足要求的有效点，根据有效点来确定车道线对应的最终的关键点集合，进而可以识别出更加平滑准确的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

Description

车道线检测方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及车道线检测方法、装置、设备及存储介质。

背景技术

随着人工智能以及智能交通技术的发展，无人驾驶技术日趋成熟。车道线检测是无人驾驶的基础技术。一般的车道线检测方法都不可避免的会收到光照和遮挡等因素的干扰，导致检测结果非常不稳定。

目前的一些主流车道线检测方案虽然取得了一定的效果，但也存在很大的缺陷，例如存在一些车道线的误报点。因此，现有的车道线检测方案仍不够完善，需要改进。

发明内容

本发明实施例提供了车道线检测方法、装置、设备及存储介质，可以优化现有的车道线检测方案。

第一方面，本发明实施例提供了一种车道线检测方法，包括：

利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合；

计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，其中，所述第一直线包括所述初始关键点集合中的第二关键点和第三关键点的连线所在的直线；

根据所述初始关键点集合中的有效点确定所述车道线对应的关键点集合。

第二方面，本发明实施例提供了一种车道线检测装置，包括：

初始关键点集合检测模块，用于利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合；

有效点确定模块，用于计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，其中，所述第一直线包括所述初始关键点集合中的第二关键点和第三关键点的连线所在的直线；

关键点集合确定模块，用于根据所述初始关键点集合中的有效点确定所述车道线对应的关键点集合。

第三方面，本发明实施例提供了一种车道线检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的车道线检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的车道线检测方法。

本发明实施例中提供的车道线检测方案，在利用预设车道线检测模型对目标图像进行检测并得到车道线对应的初始关键点集合后，计算初始关键点集合中的第一关键点到第一直线的距离，并根据距离与预设距离阈值之间的大小关系确定初始关键点集合中的有效点，其中，第一直线包括初始关键点集合中的第二关键点和第三关键点的连线所在的直线，根据初始关键点集合中的有效点确定车道线对应的关键点集合。通过采用上述技术方案，对采用模型识别出来的车道线的初步识别结果中的点进行基于点到直线的距离的判定，快速筛选出满足要求的有效点，也即将误报点剔除，根据有效点来确定车道线对应的最终的关键点集合，进而可以识别出更加平滑准确的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

附图说明

图1为本发明实施例提供的一种车道线检测方法的流程示意图；

图2为本发明实施例提供的又一种车道线检测方法的流程示意图；

图3为本发明实施例提供的一种初始关键点集合中关键点分布示意图；

图4为本发明实施例提供的另一种车道线检测方法的流程示意图；

图5为本发明实施例提供的一种车道线检测装置的结构框图；

图6为本发明实施例提供的一种车道线检测设备的结构框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1为本发明实施例提供的一种车道线检测方法的流程示意图，该方法可以适用于需要对车道线进行检测的场景，具体可以由车道线检测装置执行，其中该装置可由软件和/或硬件实现，一般可集成在车道线检测设备中。所述车道线检测设备可以是独立于车辆之外的设备，使用时可以放置在车内或车顶等位置，例如，车辆所有者可以单独购买并在车辆上选择合适的位置安装所述车道线检测设备；所述车道线检测设备也可以是配置于车辆中的与车辆配套的设备(具体的相对位置关系不做限定)，可以由车辆的生产方一同生产并随车辆一同出厂等，具体不做限定。如图1所示，该方法包括：

步骤101、利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合。

示例性的，目标图像可以包括通过图像采集装置采集到的包含路面情况的需要进行车道线检测的图像。可选的，图像采集装置可以是车辆内置的摄像头等装置，也可以是车辆上安装的行车记录仪，还可以是车道线检测设备中的图像采集装置等。图像采集装置与所在车辆的相对位置关系不做限定，在一般的应用场景下，需要进行车道线检测的图像中包含的路面为车辆前方路面，因此，图像采集装置可以设置于车辆的前挡风玻璃处或车顶处等位置，拍摄视角可以对应于车辆正前方。

本发明实施例中，预设车道线检测模型的具体类型、内部结构以及模型内部处理过程等不做限定，可以包含任意的能够实现关键点检测的模型，可以基于深度学习模型实现，也可以基于其他的传统图像处理等相关算法实现，均不做限定。

示例性的，可以将目标图像输入至预设车道线检测模型中，根据预设车道线检测模型的输出结果来确定车道线对应的初始关键点集合。这里的车道线的数量不做限定，当目标图像中包含多条车道线时，一般会输出多条车道线分别对应的初始关键点集合，也即一条车道线对应一个初始关键点集合。这里的关键点可以理解为被初步认为属于车道线的点，具体可以是像素点或二值化的特征点，若为像素点，则该像素点被认为是构成车道线一部分的像素点，若为二值化的特征点，则该特征点被认为是构成车道线一部分的特征点。示例性的，预设车道线检测模型的输出可以是车道线实例分割的特征图，例如在目标图像基础上或目标图像对应的二值特征图基础上分割出车道线后的图像。初始关键点集合可以理解为经预设车道线检测模型初步检测得到的关键点的集合。相关技术中，会将模型输出的关键点的集合作为车道线最终的关键点集合，进而进行后续的车道线的拟合、绘制、显示或进行车道线位置提醒等相关操作，然而，发明人发现，现有的检测模型的检测结果经常会出现误报点，也即将本来不属于车道线的点误识别为车道线的关键点，也就是说，预设车道线检测模型的检测结果可能不够准确，需要经过后续的步骤进行修正。

步骤102、计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，其中，所述第一直线包括所述初始关键点集合中的第二关键点和第三关键点的连线所在的直线。

示例性的，第一关键点、第二关键点以及第三关键点的具体数量和确定方式不做限定，第二关键点和第三关键点不相同，两者可以确定一条直线，若存在第一关键点与第二关键点和第三关键点中任意一个相同时，可认为第一关键点到第一直线的距离为0。车道线所限定的边界一般为连续的直线或曲线，也就是说，车道线对应的关键点集合中各关键点的拟合线条应该为一条平滑的直线或曲线，若存在误报点，则会导致拟合线条出现异常(如出现异常拐点等)，与道路上真实存在的车道线存在较大差异。经发明人研究发现，在同一条车道线上的一些或全部关键点与该车道线中两个关键点连线所在直线的距离需要满足一定的距离限制，例如，同一条车道线上的任意一个关键点到该车道线上的任意两个关键点的连线所在直线的距离小于一定的阈值，可以基于此制定相应的有效点筛查策略，进而识别出初始关键点集合中的有效点。

本发明实施例中，具体的有效点筛查策略以及相应的预设距离阈值可以根据实际情况进行设置，例如可以考虑筛查准确度以及筛查效率等维度。例如，将初始关键点集合中的所有关键点均视为第一关键点，对于当前第一关键点，若所述当前第一关键点到所有第一直线(也即初始关键点集合中任意两个关键点的连线)的距离均小于预设距离阈值，则将所述当前第一关键点确定为所述初始关键点集合中的有效点，这样设置的好处在于可以准确地确定有效点。又如，计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一关键点的数量为多个，根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点，这样设置的好处在于可以快速地确定有效点。

步骤103、根据所述初始关键点集合中的有效点确定所述车道线对应的关键点集合。

示例性的，可以将初始关键点集合中的所有有效点构成的集合确定为对应的车道线对应的关键点集合，也即作为该车道线的最终的关键点集合；也可以在初始关键点集合中的所有有效点的基础上进行其他相关处理或筛选后，形成对应的车道线对应的关键点集合，具体不做限定。例如，对于经预设车道线检测模型检测确定的第一车道线对应的初始关键点集合中包含50个关键点，经过步骤102的处理后，确定其中的45个关键点为有效点，可以将这45个有效点作为第一车道线对应的关键点集合，用于生成车道线图等操作；也可以在这45个有效点基础上进行进一步筛选(筛选策略不做限定)，例如筛选出其中的43个关键点，可以将这43个有效点作为第一车道线对应的关键点集合，用于生成车道线图等操作。

本发明实施例中提供的车道线检测方法，在利用预设车道线检测模型对目标图像进行检测并得到车道线对应的初始关键点集合后，计算初始关键点集合中的第一关键点到第一直线的距离，并根据距离与预设距离阈值之间的大小关系确定初始关键点集合中的有效点，其中，第一直线包括初始关键点集合中的第二关键点和第三关键点的连线所在的直线，根据初始关键点集合中的有效点确定车道线对应的关键点集合。通过采用上述技术方案，对采用模型识别出来的车道线的初步识别结果中的点进行基于点到直线的距离的判定，快速筛选出满足要求的有效点，也即将误报点剔除，根据有效点来确定车道线对应的最终的关键点集合，进而可以识别出更加平滑准确的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

在一些实施例中，计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，包括：计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一关键点的数量为多个，所述第一直线的数量为多个；根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点。

示例性的，用于确定第一直线的第二关键点和第三关键点可以来源于第一集合，第一集合可以是初始关键点集合或初始关键点集合的子集，当第一集合为初始关键点集合的子集时，第一集合中的关键点的选择规则以及数量不做限定。对于当前的第一直线，用于计算距离的第一关键点可以是初始关键点集合中除了当前的第二关键点和第三关键点以外的所有关键点或部分关键点。针对所有第一直线中的每条第一直线，计算各第一关键点分别到当前第一直线的距离，并分别判断所计算的距离是否小于预设距离阈值，若小于，可将对应的第一关键点记为目标第一关键点，统计当前第一直线对应的目标第一关键点的数量。这样，每条第一直线均对应有一个目标第一关键点的数量，可以根据该数量确定目标第一直线，例如，将数量最大的第一直线确定为目标第一直线，或将数量较大的第五预设数量的第一直线确定为目标第一直线，然后根据目标第一直线确定所述初始关键点集合中的有效点。例如，可以将目标第一直线中的所有关键点或部分关键点确定为所述初始关键点集合中的有效点，具体方式不做限定。

在一些实施例中，所述计算所述初始关键点集合中的第一关键点到第一直线的距离，根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点，包括：根据所述初始关键点集合中的各关键点在所述目标图像中的分布信息，确定作为初始出发点的关键点；计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一直线包括所述初始出发点和第三关键点的连线所在的直线；统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定所述初始出发点对应的有效点；根据所述初始出发点对应的有效点确定所述初始关键点集合中的有效点。这样设置的好处在于，根据分布信息可以合理地确定初始出发点，从而更加快速准确地筛选有效点。

示例性的，分布信息可以包含位置信息、分布形态以及密集程度等信息，可以根据分布信息中包含的项目的不同，有针对性地进行初始出发点的选取。对于目标图像来说，一般靠下的像素点距离车辆更近，所拍摄的车道线也一般会越清晰，对应的关键点可信度也越高，因此，可以根据分布信息中的位置信息选取距离车辆较近的关键点作为初始出发点。

在一些实施例中，所述根据所述初始关键点集合中的各关键点在所述目标图像中的分布信息，确定作为初始出发点的关键点，包括：确定所述初始关键点集合中的各关键点在所述目标图像对应的坐标系中的坐标，其中，所述目标图像对应的坐标系以所述目标图像的左下角顶点作为坐标原点、以水平向右方向为横轴正方向以及以竖直向上方向为纵轴正方向；将纵坐标较小的第一预设数量的关键点确定为第一出发点；当横坐标最小的关键点的纵坐标大于横坐标最大的关键点的纵坐标时，将横坐标较小的第二预设数量的关键点确定为第二出发点；当横坐标最小的关键点的纵坐标小于或等于横坐标最大的关键点的纵坐标时，将横坐标较大的第二预设数量的关键点确定为第二出发点；将所述第一出发点和所述第二出发点的并集确定为初始出发点。这样设置的好处在于，可以快速准确地筛选出距离车辆较近的关键点作为初始出发点。

需要说明的是，上述坐标系确定方式仅作为示意性说明，本领域技术人员可以在上述举例基础上进行等效变换得到相应的方案，例如，改变坐标原点为目标图像左上角顶点，或以竖直向下方向为纵轴正方向等等。

在一些实施例中，在所述计算所述初始关键点集合中的第一关键点到第一直线的距离之前，还包括：将竖直方向上距离所述初始出发点较近的第三预设数量的关键点确定为第三关键点；所述统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定所述初始出发点对应的有效点，包括：针对每条第一直线，统计当前第一直线对应的距离小于预设距离阈值的第一关键点的第一数量；根据数值最大的第一数量对应的第一直线确定目标第三关键点，并将所述目标第三关键点确定为所述初始出发点对应的有效点；将所述目标第三关键点记为中间出发点，将竖直方向上距离所述中间出发点较近的第四预设数量的关键点确定为第四关键点；计算所述初始关键点集合中的第一关键点到第二直线的距离，其中，所述第二直线包括所述中间出发点和所述第四关键点的连线所在的直线；针对每条第二直线，统计当前第二直线对应的距离小于预设距离阈值的第一关键点的第二数量；根据数值最大的第二数量对应的第二直线确定目标第四关键点，并将所述目标第四关键点确定为所述初始出发点对应的有效点；将所述目标第四关键点确定为新的中间出发点，并重复执行将竖直方向上距离中间出发点较近的第四预设数量的关键点确定为第四关键点的相关步骤，直到不存在新的中间出发点。这样设置的好处在于，有针对性地设置第一直线以及第二直线，可以快速准确地确定有效点。其中，将竖直方向上距离所述初始出发点较近的第三预设数量的关键点确定为第三关键点，可具体包括，将竖直方向上处于所述初始出发点之上且距离所述初始出发点较近的第三预设数量的关键点确定为第三关键点。

在一些实施例中，所述初始出发点的数量为至少两个；所述根据所述初始出发点对应的有效点确定所述初始关键点集合中的有效点，包括：分别统计每个初始出发点对应的有效点数量；将所对应的有效点数量最大的初始出发点确定为目标出发点，并将所述目标出发点对应的有效点确定为所述初始关键点集合中的有效点。这样设置的好处在于，通过设置多个初始出发点，进而可以得出多个候选的关键点集合，当某个候选关键点集合中的有效点数量最大时，说明从该候选关键点集合对应的初始出发点出发，能够纳入最多的有效点用于生成车道线图像，更加适合用于确定车道线对应的最终的关键点集合。

图2为本发明实施例提供的又一种车道线检测方法的流程示意图，如图2所示，该方法可包括：

步骤201、利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合。

图3为本发明实施例提供的一种初始关键点集合中关键点分布示意图，如图3所示，初始关键点集合中包含A、B、C、D、E、F、G、H和I共9个关键点。

步骤202、根据初始关键点集合中的各关键点在目标图像中的分布信息，确定多个作为初始出发点的关键点。

具体的，确定初始关键点集合中的各关键点在目标图像对应的坐标系中的坐标，其中，目标图像对应的坐标系以目标图像的左下角顶点作为坐标原点、以水平向右方向为横轴正方向以及以竖直向上方向为纵轴正方向。将纵坐标较小的第一预设数量的关键点确定为第一出发点。当横坐标最小的关键点的纵坐标大于横坐标最大的关键点的纵坐标时，将横坐标较小的第二预设数量的关键点确定为第二出发点；当横坐标最小的关键点的纵坐标小于或等于横坐标最大的关键点的纵坐标时，将横坐标较大的第二预设数量的关键点确定为第二出发点。将第一出发点和第二出发点的并集确定为初始出发点。

示例性的，以图3为例，以目标图像的左下角顶点作为坐标原点(O)、以水平向右方向为横轴(X)正方向以及以竖直向上方向为纵轴(Y)正方向构建目标图像对应的坐标系，初始关键点集合中的上述9个点分布在该坐标系中。假设第一预设数量为3，即选出3个第一出发点，第二预设数量也为3，即选出3个第二出发点。从图3中可以看出，y值较小的3个点为{A，B，C}，则将这3个关键点记为第一出发点。x值最小的关键点为B，x值最大的关键点为I，B的y值大于I的y值，将x值较小的3个点{B，D，C}确定为第二出发点。将{A，B，C}和{B，D，C}的并集{A，B，C，D}确定为初始出发点，也即共确定4个初始出发点。

步骤203、针对多个初始出发点中的每个初始出发点，分别计算初始关键点集合中的第一关键点到第一直线的距离，统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定初始出发点对应的有效点。

本步骤中，可以从多个初始出发点中依次选出一个点作为预选点，然后获得一个可能的有效点的集合。以多个初始出发点中的一个初始出发点为例：将竖直方向上距离当前初始出发点较近的第三预设数量的关键点确定为第三关键点，第一直线包括当前初始出发点和第三关键点的连线所在的直线。针对每条第一直线，统计当前第一直线对应的距离小于预设距离阈值的第一关键点的第一数量。根据数值最大的第一数量对应的第一直线确定目标第三关键点，并将目标第三关键点确定为初始出发点对应的一个有效点。将目标第三关键点记为中间出发点，将竖直方向上距离中间出发点较近的第四预设数量的关键点确定为第四关键点，计算初始关键点集合中的第一关键点到第二直线的距离，其中，第二直线包括中间出发点和第四关键点的连线所在的直线。针对每条第二直线，统计当前第二直线对应的距离小于预设距离阈值的第一关键点的第二数量，根据数值最大的第二数量对应的第二直线确定目标第四关键点，并将目标第四关键点确定为当前初始出发点对应的有效点。将当前的目标第四关键点确定为新的中间出发点，并重复执行将竖直方向上距离中间出发点较近的第四预设数量的关键点确定为第四关键点的相关步骤，直到不存在新的中间出发点，也即直到当前的目标第四关键点曾经被确定为中间出发点。

参考图3，以点A为例，选出y值大于且最接近A的y值的3个点{B，C，D}作为当前的第三关键点，连线AB，计算其余点(可以包括初始关键点集合中的除了初始出发点以及当前的第三关键点以外的点，也即除了点A和点B之外的点，C、D、E、F、G、H和I)到直线AB的距离，统计距离小于预设距离阈值(可根据实际情况设置)的点的个数。类似地，连线AC并统计距离小于预设距离阈值的点的个数，连线AD并统计距离小于预设距离阈值的点的个数。假如针对直线AB，距离小于阈值的点的个数为6，针对直线AC，距离小于阈值的点的个数为7，针对直线AD，距离小于阈值的点的个数为6，可以认为AC是有效连线，把点C放入有效点的集合{A，C}。接着将C确定为中间出发点，以C出发，选出y值小于且最接近点C的三个点{D，E，F}，重复上述操作。最终可以得到一个以A为初始出发点的可能的有效点的集合，记为A{A，C，E，F...}。

类似地，分别针对B，C和D进行上述针对A的操作，可以得到另外3个可能的有效点的集合，可记为B{B…}、C{C...}和D{D...}。

步骤204、分别统计每个初始出发点对应的有效点数量。

示例性的，分别统计上述4个初始出发点对应的可能的有效点的集合中的有效点的数量。

步骤205、将所对应的有效点数量最大的初始出发点确定为目标出发点，并将目标出发点对应的有效点确定为初始关键点集合中的有效点。

步骤206、根据初始关键点集合中的有效点确定车道线对应的关键点集合。

本发明实施例提供的车道线检测方法，先获取采用模型识别出来的车道线的初始关键点集合，根据初始关键点集合中的各关键点在目标图像中的分布信息来选取初始出发点，再基于点到直线的距离的判定依次确定每个初始出发点对应的可能的有效点的集合，最后根据集合中有效点的数量来确定最后的有效点集合，可以有效剔除误报点，快速地识别出平滑且精准的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

在上述各可选实施例基础上，所述利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合，可以包括：将目标图像输入至预设特征提取网络，得到经过下采样后的关键点的位置得分、位置偏移和特征信息；根据所述位置得分和所述位置偏移确定二值分割特征图；利用所述特征信息对所述二值分割特征图中的车道线关键点进行聚类操作，得到所述目标图像对应的车道线分割特征图；根据所述车道线分割特征图确定车道线对应的初始关键点集合。这样设置的好处在于，可以准确地得出初始关键点集合，有利于提升有效点的筛查效率，另外，由于有效点是从初始关键点集合中筛选出来的，准确的初始关键点集合可以进一步保证最终的检测结果的准确性。

在一些实施例中，所述预设特征提取网络基于堆叠沙漏网络构建。其中，所堆叠的沙漏网络的数量可以根据实际需求进行设置，例如2个。通过采用堆叠沙漏网络进行关键点的特征提取，可以提升关键点检测速度和准确性。

图4为本发明实施例提供的另一种车道线检测方法的流程示意图，该方法包括如下步骤：

步骤401、将目标图像输入至预设特征提取网络，得到经过下采样后的关键点的位置得分、位置偏移和特征信息。

示例性的，预设特征提取网络基于堆叠数量为2的堆叠沙漏网络构建得到。预设特征提取网络会对目标图像进行下采样，下采样的倍数不做限定，例如8倍，如目标图像分辨率为124*124，则经过8倍下采样后可以得到尺寸为28*28的网格。

关键点的位置得分可以理解为当前点是车道线关键点的概率，在模型训练阶段，样本的标记可以用0和1表示，其中，0表示当前点不是车道线上的点，1表示当前点是车道线上的点。在进行样本标记时，可以在训练样本图像(与目标图像对应，可以通过同样的图像采集方式得到)上针对每个像素点进行标记，在训练阶段，样本标记也会经由预设特征提取网络被下采样，进而用于计算损失函数。位置偏移可以理解为经过下采样误差偏移量。特征信息可以是点的特征矩阵，例如可以表征当前点是一个什么样的点，属于哪个车道线等。

示例性的，可以采用如下损失函数L_total对预设特征提取网络进行训练：

L_total＝aL_confidence+bL_offset+cL_feature

其中，L_confidence表示位置得分损失函数，L_offset表示位置偏移损失函数，L_feature表示关键点特征损失函数，a、b和c为常量系数，具体表达式如下：

其中，G代表网格中的所有点，G_e表示这个点是车道线的关键点，G_n表示这个点是背景点，N_e表示网格中为车道线关键点的个数，N_n表示网格中为背景点的个数，g_c表示网络输出的得分，

表示标签得分(0表示背景，1表示车道线关键点)，γ为经验常数。g_x表示网络预测x值偏移量，

表示标签偏移量，g_y表示网络预测y值偏移量，

表示标签偏移量，i和j分别代表两个点，C_ij等于1表示这两个点属于同一条车道线实例，C_ij等于2表示这两个点属于不同的车道线实例，K为一个经验常量。

步骤402、根据位置得分和位置偏移确定二值分割特征图。

示例性的，根据位置得分和位置偏移可以确定出目标图像中的哪些像素点是车道关键点，将被确定为车道关键点的像素的值设置为1，其余像素的值设置为0，则得到二值分割特征图。

步骤403、利用特征信息对二值分割特征图中的车道线关键点进行聚类操作，得到所述目标图像对应的车道线分割特征图。

示例性的，利用特征信息对二值分割特征图中的值为1的像素点进行聚类，聚类后每个簇可以被认为是一条车道线，进而根据聚类结果可以划分出一条或多条车道线，得到目标图像对应的车道线分割特征图。其中，所采用的聚类算法不做限定，例如可以根据各点对应的特征信息计算余弦相似度，然后进行聚类。

步骤404、根据车道线分割特征图确定车道线对应的初始关键点集合。

示例性的，当车道线分割特征图中存在多条车道线时，每条车道线对应一个初始关键点集合。

步骤405、根据初始关键点集合中的各关键点在目标图像中的分布信息，确定多个作为初始出发点的关键点。

步骤406、针对多个初始出发点中的每个初始出发点，分别计算初始关键点集合中的第一关键点到第一直线的距离，统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定初始出发点对应的有效点。

步骤407、分别统计每个初始出发点对应的有效点数量。

步骤408、将所对应的有效点数量最大的初始出发点确定为目标出发点，并将目标出发点对应的有效点确定为初始关键点集合中的有效点。

步骤409、将初始关键点集合中的有效点所形成的集合确定为车道线对应的关键点集合。

本发明实施例提供的车道线检测方法，堆叠两个沙漏网络来进行车道线关键点预测，可以提升速度，在得到初始关键点集合后，针对初始关键点集合进行后处理，有效剔除误报点，得到平滑且精确的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

图5为本发明实施例提供的一种车道线检测装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在车道线检测设备中，可通过执行车道线检测方法来进行车道线检测。如图5所示，该装置包括：

初始关键点集合检测模块501，用于利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合；

有效点确定模块502，用于计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，其中，所述第一直线包括所述初始关键点集合中的第二关键点和第三关键点的连线所在的直线；

关键点集合确定模块503，用于根据所述初始关键点集合中的有效点确定所述车道线对应的关键点集合。

本发明实施例中提供的车道线检测装置，在利用预设车道线检测模型对目标图像进行检测并得到车道线对应的初始关键点集合后，计算初始关键点集合中的第一关键点到第一直线的距离，并根据距离与预设距离阈值之间的大小关系确定初始关键点集合中的有效点，其中，第一直线包括初始关键点集合中的第二关键点和第三关键点的连线所在的直线，根据初始关键点集合中的有效点确定车道线对应的关键点集合。通过采用上述技术方案，对采用模型识别出来的车道线的初步识别结果中的点进行基于点到直线的距离的判定，快速筛选出满足要求的有效点，也即将误报点剔除，根据有效点来确定车道线对应的最终的关键点集合，进而可以识别出更加平滑准确的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

可选的，计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，包括：

计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一关键点的数量为多个，所述第一直线的数量为多个；

根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点。

可选的，所述计算所述初始关键点集合中的第一关键点到第一直线的距离，根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点，包括：

根据所述初始关键点集合中的各关键点在所述目标图像中的分布信息，确定作为初始出发点的关键点；

计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一直线包括所述初始出发点和第三关键点的连线所在的直线；

统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定所述初始出发点对应的有效点；

根据所述初始出发点对应的有效点确定所述初始关键点集合中的有效点。

可选的，所述根据所述初始关键点集合中的各关键点在所述目标图像中的分布信息，确定作为初始出发点的关键点，包括：

确定所述初始关键点集合中的各关键点在所述目标图像对应的坐标系中的坐标，其中，所述目标图像对应的坐标系以所述目标图像的左下角顶点作为坐标原点、以水平向右方向为横轴正方向以及以竖直向上方向为纵轴正方向；

将纵坐标较小的第一预设数量的关键点确定为第一出发点；

当横坐标最小的关键点的纵坐标大于横坐标最大的关键点的纵坐标时，将横坐标较小的第二预设数量的关键点确定为第二出发点；当横坐标最小的关键点的纵坐标小于或等于横坐标最大的关键点的纵坐标时，将横坐标较大的第二预设数量的关键点确定为第二出发点；

将所述第一出发点和所述第二出发点的并集确定为初始出发点。

可选的，该装置还包括：

第三关键点确定模块，用于在所述计算所述初始关键点集合中的第一关键点到第一直线的距离之前，将竖直方向上距离所述初始出发点较近的第三预设数量的关键点确定为第三关键点；

所述统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定所述初始出发点对应的有效点，包括：

针对每条第一直线，统计当前第一直线对应的距离小于预设距离阈值的第一关键点的第一数量；

根据数值最大的第一数量对应的第一直线确定目标第三关键点，并将所述目标第三关键点确定为所述初始出发点对应的有效点；

将所述目标第三关键点记为中间出发点，将竖直方向上距离所述中间出发点较近的第四预设数量的关键点确定为第四关键点；

计算所述初始关键点集合中的第一关键点到第二直线的距离，其中，所述第二直线包括所述中间出发点和所述第四关键点的连线所在的直线；

针对每条第二直线，统计当前第二直线对应的距离小于预设距离阈值的第一关键点的第二数量；

根据数值最大的第二数量对应的第二直线确定目标第四关键点，并将所述目标第四关键点确定为所述初始出发点对应的有效点；

将所述目标第四关键点确定为新的中间出发点，并重复执行将竖直方向上距离中间出发点较近的第四预设数量的关键点确定为第四关键点的相关步骤，直到不存在新的中间出发点。

可选的，所述初始出发点的数量为至少两个；所述根据所述初始出发点对应的有效点确定所述初始关键点集合中的有效点，包括：

分别统计每个初始出发点对应的有效点数量；

将所对应的有效点数量最大的初始出发点确定为目标出发点，并将所述目标出发点对应的有效点确定为所述初始关键点集合中的有效点。

可选的，所述利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合，包括：

将目标图像输入至预设特征提取网络，得到经过下采样后的关键点的位置得分、位置偏移和特征信息；

根据所述位置得分和所述位置偏移确定二值分割特征图；

利用所述特征信息对所述二值分割特征图中的车道线关键点进行聚类操作，得到所述目标图像对应的车道线分割特征图；

根据所述车道线分割特征图确定车道线对应的初始关键点集合。

可选的，所述预设特征提取网络基于堆叠沙漏网络构建。

本发明实施例提供了一种车道线检测设备，该车道线检测设备中可集成本发明实施例提供的车道线检测装置。图6为本发明实施例提供的一种车道线检测设备的结构框图。车道线检测设备600可以包括：存储器601，处理器602及存储在存储器601上并可在处理器运行的计算机程序，所述处理器602执行所述计算机程序时实现如本发明实施例所述的车道线检测方法。

本发明实施例提供的车道线检测设备，对采用模型识别出来的车道线的初步识别结果中的点进行基于点到直线的距离的判定，快速筛选出满足要求的有效点，也即将误报点剔除，根据有效点来确定车道线对应的最终的关键点集合，进而可以识别出更加平滑准确的车道线，有利于提高无人驾驶或智能驾驶等相关场景的安全性。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行车道线检测方法。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的车道线检测操作，还可以执行本发明任意实施例所提供的车道线检测方法中的相关操作。

上述实施例中提供的车道线检测装置、设备及存储介质可执行本发明任意实施例所提供的车道线检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车道线检测方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种车道线检测方法，其特征在于，包括：

利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合；

计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，其中，所述第一直线包括所述初始关键点集合中的第二关键点和第三关键点的连线所在的直线；

根据所述初始关键点集合中的有效点确定所述车道线对应的关键点集合。

2.根据权利要求1所述的方法，其特征在于，计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，包括：

计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一关键点的数量为多个，所述第一直线的数量为多个；

根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点。

3.根据权利要求2所述的方法，其特征在于，所述计算所述初始关键点集合中的第一关键点到第一直线的距离，根据所对应的距离小于预设距离阈值的第一关键点的数量确定所述初始关键点集合中的有效点，包括：

根据所述初始关键点集合中的各关键点在所述目标图像中的分布信息，确定作为初始出发点的关键点；

计算所述初始关键点集合中的第一关键点到第一直线的距离，其中，所述第一直线包括所述初始出发点和第三关键点的连线所在的直线；

统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定所述初始出发点对应的有效点；

根据所述初始出发点对应的有效点确定所述初始关键点集合中的有效点。

4.根据权利要求3所述的方法，其特征在于，所述根据所述初始关键点集合中的各关键点在所述目标图像中的分布信息，确定作为初始出发点的关键点，包括：

确定所述初始关键点集合中的各关键点在所述目标图像对应的坐标系中的坐标，其中，所述目标图像对应的坐标系以所述目标图像的左下角顶点作为坐标原点、以水平向右方向为横轴正方向以及以竖直向上方向为纵轴正方向；

将纵坐标较小的第一预设数量的关键点确定为第一出发点；

当横坐标最小的关键点的纵坐标大于横坐标最大的关键点的纵坐标时，将横坐标较小的第二预设数量的关键点确定为第二出发点；当横坐标最小的关键点的纵坐标小于或等于横坐标最大的关键点的纵坐标时，将横坐标较大的第二预设数量的关键点确定为第二出发点；

将所述第一出发点和所述第二出发点的并集确定为初始出发点。

5.根据权利要求3所述的方法，其特征在于，在所述计算所述初始关键点集合中的第一关键点到第一直线的距离之前，还包括：将竖直方向上距离所述初始出发点较近的第三预设数量的关键点确定为第三关键点；

所述统计所对应的距离小于预设距离阈值的第一关键点的数量，并根据统计结果确定所述初始出发点对应的有效点，包括：

针对每条第一直线，统计当前第一直线对应的距离小于预设距离阈值的第一关键点的第一数量；

根据数值最大的第一数量对应的第一直线确定目标第三关键点，并将所述目标第三关键点确定为所述初始出发点对应的有效点；

将所述目标第三关键点记为中间出发点，将竖直方向上距离所述中间出发点较近的第四预设数量的关键点确定为第四关键点；

计算所述初始关键点集合中的第一关键点到第二直线的距离，其中，所述第二直线包括所述中间出发点和所述第四关键点的连线所在的直线；

针对每条第二直线，统计当前第二直线对应的距离小于预设距离阈值的第一关键点的第二数量；

根据数值最大的第二数量对应的第二直线确定目标第四关键点，并将所述目标第四关键点确定为所述初始出发点对应的有效点；

将所述目标第四关键点确定为新的中间出发点，并重复执行将竖直方向上距离中间出发点较近的第四预设数量的关键点确定为第四关键点的相关步骤，直到不存在新的中间出发点。

6.根据权利要求3所述的方法，其特征在于，所述初始出发点的数量为至少两个；所述根据所述初始出发点对应的有效点确定所述初始关键点集合中的有效点，包括：

分别统计每个初始出发点对应的有效点数量；

将所对应的有效点数量最大的初始出发点确定为目标出发点，并将所述目标出发点对应的有效点确定为所述初始关键点集合中的有效点。

7.根据权利要求1-6任一所述的方法，其特征在于，所述利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合，包括：

将目标图像输入至预设特征提取网络，得到经过下采样后的关键点的位置得分、位置偏移和特征信息；

根据所述位置得分和所述位置偏移确定二值分割特征图；

利用所述特征信息对所述二值分割特征图中的车道线关键点进行聚类操作，得到所述目标图像对应的车道线分割特征图；

根据所述车道线分割特征图确定车道线对应的初始关键点集合。

8.根据权利要求7所述的方法，其特征在于，所述预设特征提取网络基于堆叠沙漏网络构建。

9.一种车道线检测装置，其特征在于，包括：

初始关键点集合检测模块，用于利用预设车道线检测模型对目标图像进行检测，得到车道线对应的初始关键点集合；

有效点确定模块，用于计算所述初始关键点集合中的第一关键点到第一直线的距离，并根据所述距离与预设距离阈值之间的大小关系确定所述初始关键点集合中的有效点，其中，所述第一直线包括所述初始关键点集合中的第二关键点和第三关键点的连线所在的直线；

关键点集合确定模块，用于根据所述初始关键点集合中的有效点确定所述车道线对应的关键点集合。

10.一种车道线检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一项所述的方法。

Images