CN114220082A - 一种车道线识别方法、装置和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种车道线识别方法、装置和计算机可读存储介质，该方法包括：基于车道线识别模型，对待检测道路图像进行检测，得到检测数据；对检测数据进行处理，得到待检测道路图像中每条车道线的位置信息以及每条车道线对应的第一多元属性信息，第一多元属性信息包括多种子属性信息；车道线识别模型是基于多标签数据集训练的，多标签数据集包括样本图像、与样本图像中车道线对应的多元属性标签，多元属性标签为通过对样本图像中车道线对应的全内容类别标签进行解耦重构处理得到，多元属性标签的类别小于全内容类别标签的类别。通过上述方式，本申请能够提升识别车道线的准确度，同时能提升识别出的车道线的类型的丰富度。

Description

一种车道线识别方法、装置和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种车道线识别方法、装置和计算机可读存储介质。

背景技术

目前辅助驾驶和自动驾驶逐渐走入大众视野，车道线识别技术作为辅助驾驶和自动驾驶领域的基础技术，其通过预测道路面上不同车道线的位置信息和类别信息为后续自主导航、偏离预警或规划或控制等自动驾驶领域的上游设计提供保障，而现有的车道线识别方法在车道线的类别识别方面，在对易耦合的相似类别进行预测时往往容易混淆，进而导致对车道线进行识别的准确度低。

发明内容

本申请提供一种车道线识别方法、装置和计算机可读存储介质，能够提升识别车道线的准确度，同时能提升识别出的车道线的类型的丰富度。

为解决上述技术问题，本申请采用的技术方案是：提供一种车道线识别方法，该方法包括：基于车道线识别模型，对待检测道路图像进行检测，得到检测数据；对检测数据进行处理，得到待检测道路图像中每条车道线的位置信息以及每条车道线对应的第一多元属性信息，第一多元属性信息包括多种子属性信息；其中，车道线识别模型是基于多标签数据集训练的，多标签数据集包括样本图像、与样本图像中车道线对应的多元属性标签，多元属性标签为通过对样本图像中车道线对应的全内容类别标签进行解耦重构处理得到，多元属性标签的类别小于全内容类别标签的类别。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种车道线识别装置，该车道线识别装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车道线识别方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的车道线识别方法。

通过上述方案，本申请的有益效果是：本申请在训练车道线识别模型时，采用了多标签数据集，该多标签数据集包括样本图像、与样本图像中车道线对应的多元属性标签；对样本图像中车道线对应的全内容类别标签进行解耦重构处理得到多元属性标签，然后利用解耦后的多元属性标签对车道线识别模型进行训练，解决了在利用全内容类别标签进行训练时，可能带来相似的属性类别无法识别(即类别预测耦合)的问题，能够通过解耦重构的方式，将全内容类别标签中的每个子结构属性都提取出来，得到车道线的各个子结构属性，提供更丰富、全面的车道线类别信息，进而提高车道线识别的精度，而且，由于采用的多元属性标签相比全内容类别标签来说类别更少，能够减少车道识别模型的输出通道数，降低车道识别模型在空间上的复杂度和预测的时间复杂度，进而提升对车道线进行识别的效率；在实际应用车道线识别模型时，利用车道线识别模型对待检测道路图像进行检测得到检测数据，通过对检测数据进行处理，便能得到待检测道路图像中每条车道线的位置信息以及每条车道线对应的第一多元属性信息，通过这种方式不仅能够识别得到车道线的位置信息，还能准确得到车道线的多元属性信息，对车道线的识别更加精准。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的车道线识别方法一实施例的流程示意图；

图2是本申请提供的车道线识别模型的训练方法一实施例的流程示意图；

图3是本申请提供的步骤22的流程示意图；

图4是本申请提供的提取得到第二子结构属性标签集的流程示意图；

图5是本申请提供的提取得到多元属性标签的流程示意图；

图6是本申请提供的步骤23的流程示意图；

图7是本申请提供的车道线识别方法另一实施例的流程示意图；

图8是本申请提供的车道线识别装置一实施例的结构示意图；

图9是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

需要说明的是，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请提供的车道线识别方法一实施例的流程示意图，该方法包括：

步骤11：基于车道线识别模型对待检测道路图像进行检测，得到检测数据。

待检测道路图像包含待检测的车道线，可采用车道线识别模型对待检测道路图像进行检测，得到对应的检测数据；具体地，检测数据可包含车道线的置信度图或者属性预测概率图等，车道线的置信度图可为待检测道路图像中每个像素点在车道线上的置信度(即概率)，属性预测概率图可为待检测道路图像中每个像素点为各种子属性的置信度(即概率)。

进一步地，车道线可对应多个属性类型，如：颜色或条数等，每个属性类型对应一个子结构属性，每个子结构属性又可包含多个子属性，例如：在属性类型为颜色时，该子结构属性便可为{白色，黄色}，{白色}与{黄色}便为两个子属性。可以理解地，例如：在对车道线对应K个属性类型，即对应K个子结构属性时，属性预测概率图便可包含每个像素点对应的K个概率值。

步骤12：对检测数据进行处理，得到待检测道路图像中每条车道线的位置信息以及每条车道线对应的第一多元属性信息。

可通过对检测数据进行处理，得到待检测道路图像中每条车道线的位置信息以及每条车道线对应的第一多元属性信息，该第一多元属性信息包括多种子属性信息，例如：经过车道线识别模型识别得到车道线为白色单实线，则得到的第一多元属性信息对应包含三个子属性信息：“白”、“单”以及“实”。

车道线识别模型是基于多标签数据集训练的，可利用训练完成的车道线识别模型对待检测道路图像进行检测，以得到每条车道线的位置信息以及每条车道线对应的第一多元属性信息；多标签数据集包括样本图像、与样本图像中车道线对应的车道位置标签以及多元属性标签，多元属性标签为通过对样本图像中车道线对应的全内容类别标签进行解耦重构处理得到。

具体地，全内容类别标签可包含车道线的所有子结构属性的组合对应的类别标签，通过对全内容类别标签进行解耦重构处理，可将全内容类别标签中单独的子结构属性提取出来，得到对应各个子结构属性的多元属性标签；例如，以样本图像中的车道线为白色单实线为例，其对应的全内容类别标签便为{“单白实线”}，可对该全内容类别标签进行解耦重构处理，将全内容类别标签中的每个子结构属性提取出来，得到多元属性标签{“单”，“白”，“实”}。

可以理解地，多元属性标签的类别小于全内容类别标签的类别，以车道线分为“单白虚线”、“单白实线”、“单黄虚线”、“单黄实线”、“双白虚线”、“双白实线”、“双黄虚线”、“双黄实线”八种类别为例，则原本的全内容类别标签便为包含上述八种类别的多类型标签，经过解耦重构处理，可将其中的子结构属性提取出来，得到包含“单/双”、“白/黄”、“虚/实”三种子结构属性的多元属性标签；具体地，可根据车道线的子结构属性的数量，选择相应数量的车道线识别模型的输出通道数量，例如：子结构属性的数量为K，则此时车道线识别模型的输出通道数量可为K+1(即K个子结构属性通道以及1个车道线置信度通道)，通过对全内容类别标签进行解耦重构的方法，如上述举例，可将原本的8通道分类任务转换成3通道分类任务，从而减少车道线识别模型的输出通道数，进而降低了车道线识别模型的空间复杂度；而且在采用全内容类别标签进行车道线识别时，还很容易产生相似类别的混淆，例如：“单白虚线”与“单白实线”，通过解耦重构的方式，将全内容类别标签中的每个子结构属性都提取出来，能够使得对车道线的识别更加精确。

本实施例所提供的方案可利用多标签数据集训练车道线识别模型，多标签数据集包括样本图像、与样本图像中车道线对应多元属性标签；通过对样本图像中车道线对应的全内容类别标签进行解耦重构处理得到多元属性标签，然后利用解耦后的多元属性标签对车道线识别模型进行训练，解决了在利用全内容类别标签进行训练时，可能带来的类别预测耦合的问题，通过解耦重构的方式，将全内容类别标签中的每个子结构属性都提取出来，得到车道线的各个子结构属性，提供更丰富、全面的车道线类别信息，同时提高车道线识别的精度；而且，由于采用的多元属性标签相比全内容类别标签来说类别更少，能够减少车道识别模型的输出通道数，降低车道识别模型在空间上的复杂度和预测的时间复杂度，进一步提高识别效率；因此通过对属性的分类进行改进，能够提升车道线识别模型的识别效率以及识别准确率。

请参阅图2，图2是本申请提供的车道线识别模型的训练方法一实施例的流程示意图，该方法包括：

步骤21：获取训练数据。

训练数据包括多张样本图像、与样本图像中车道线对应的车道位置标签以及全内容类别标签，样本图像为用于训练车道线识别模型的包含车道线的图像，车道线位置标签可包含车道线关键点、车道线标记或者车道线区域(及区域掩码)，区域掩码可以为一张包含数值“0”与“1”的图像，数值“1”用于表示该图像中的相应该像素点为车道线上的像素点，数值“0”用于表示该图像中的相应该像素点不为车道线上的像素点(比如：可以为普通地面、车或建筑物等)，车道线的全内容类别标签可包含车道线的所有子结构属性的组合对应的类别标签(例如：“单白实线”)。

步骤22：对全内容类别标签进行解耦重构处理，得到多元属性标签。

可对所有样本图像中对应的所有全内容类别标签进行解耦重构处理，得到每个全内容类别标签对应的多元属性标签，如图3所示，对全内容类别标签进行解耦重构处理，得到多元属性标签的步骤包括步骤31～36：

步骤31：获取全类别标签集。

全类别标签集包括所有类别的全内容类别标签，车道线的属性类型包含但不限于颜色、条数或虚实，本实施例以全类别标签集包括：“单白虚线”、“单白实线”、“单黄虚线”、“单黄实线”、“双白虚线”、“双白实线”、“双黄虚线”、“双黄实线”八个类别的全内容类别标签为例进行说明。

步骤32：从全类别标签集中选取一个全内容类别标签，对全内容类别标签进行提取处理，得到当前解耦标签。

从全类别标签集中选取一个全内容类别标签，将每个子结构属性提取出来，从而得到当前解耦标签；在对全内容类别标签中的子结构属性的组合进行提取处理时，将全内容类别标签中的子结构属性的组合进行拆分，全内容类别标签中的所有子结构属性都提取出来，可将全内容类别标签理解为一个字符串，在对全内容类别标签进行解耦(即上述的提取处理)的过程就是将字符串中的每个字符单元提取出来，例如：全内容类别标签为{“单白实线”}，其对应的子结构属性为三个，分别为“单”、“白”、“实”；具体地，可根据车道线的子结构属性的数量，获取包含对应数量的子结构属性的当前解耦标签，从全类别标签集中选取全内容类别标签的顺序不作限定。

步骤33：判断当前解耦标签是否满足第一预设条件。

可依次对全内容类别标签中的子结构属性进行提取，则在对全内容类别标签进行提取处理的过程中，可能会存在提取出{“单白实”}或者{“单白”}等解耦不完全的情况，此时判断当前解耦标签是否满足第一预设条件，来判断当前解耦标签是否解耦完全；具体地，可判断当前解耦标签的长度是否为预设长度，若当前解耦标签的长度为预设长度，则确定当前解耦标签满足第一预设条件；其中，预设长度可为1，通过解耦后生成的当前解耦标签的长度为1时，即可说明此时解耦彻底，例如：当前解耦标签为{“单”}，则说明提取成功。

在当前解耦标签不满足第一预设条件时，说明当前解耦标签不是最小的子结构属性，则此时将全内容类别标签更新为当前解耦标签，并返回对全内容类别标签进行提取处理的步骤，继续对全内容类别标签进行提取处理，直至当前解耦标签满足第一预设条件；经过一次提取处理，得到的当前解耦标签为“双白实”，其中，“双白实”为三个子结构属性的组合，不是最小的子结构属性，则此时可再继续对“双白实”进行提取处理，将“双”提取出来，其为最小的子结构属性，然后再对剩下的“白实”进行提取，得到“白”与“实”，在所有当前解耦标签都满足第一预设条件时，可以理解地，在每次提取结束后，可将得到的最小的子结构属性加入当前解耦标签中，替换掉之前提取得到的非最小的子结构属性，从而得到最终的当前解耦标签{“双”，“白”，“实”}；具体地，对全内容类别标签中的子结构属性进行提取处理的顺序不作限定，还可先提取出子结构属性“白”，然后再提取剩余的“双实”。

步骤34：若当前解耦标签满足第一预设条件，则基于当前解耦标签，构建第一子结构属性标签集。

在当前解耦标签满足第一预设条件时，可基于当前解耦标签，构建第一子结构属性标签集，基于全类别标签集中所有类别的全内容类别标签提取出的所有当前耦合标签，构建出包含多个子属性标签的第一子结构属性标签集，如：{“双”，“白”，“实”，“单”，“黄”，“虚”}，下述实施例都以上述第一子结构属性标签集为例进行说明。

步骤35：对第一子结构属性标签集进行匹配处理，得到第二子结构属性标签集。

可将第一子结构属性标签集中的属于同一属性类型的子属性标签进行匹配，得到第二子结构属性标签；具体地，可将第一子结构属性标签集中的子属性标签与预设映射表进行匹配，判断预设映射表中是否存在与子属性标签对应的其他子属性标签；若预设映射表中存在与子属性标签对应的其他子属性标签，则将子属性标签与其他子属性标签组成第二子结构属性标签集。

预设映射表中可包含各个属性类型下的所有子属性标签，第一子结构属性标签集{“双”，“白”，“实”，“单”，“黄”，“虚”}对应包含6个子属性标签，例如：预设映射表中在颜色属性类型中包含“白”、“黄”等子属性标签，则此时可基于预设映射表将第一子结构属性标签集中的表征颜色的子属性标签“白”与“黄”匹配，类似地，将表征条数的子属性标签“单”与“双”匹配，将表征虚实的子属性标签“实”与“虚”匹配，从而得到第二子结构属性标签集{“单、双”，“白、黄”，“实、虚”}。

如图4所示，图4为对全类别标签进行提取处理，得到第二子结构属性标签集的示意图，全内容类别标签还存在包含特殊子属性标签的情况，例如：等待线或停止线等，此时特殊子属性标签本身就是一个子结构属性，则在对全内容类别标签进行提取处理时，可用特殊标识作为该特殊子属性的子结构属性标识，并将其加入第一子结构属性标签集中，例如：等待线可用“左/右”标识，可用“左”来表示车道线为等待线，用“右”来表示车道线不是等待线，停止线可用“是/否”标识，可用“是”来表示车道线为停止线，用“右”来表示车道线不是停止线，则对应的第二子结构属性标签集便可包含{“单、双”，“白、黄”，“实、虚”，“左、右”，“是、否”}。

在一具体的实施例中，在对全类别标签进行提取处理的过程中，还可判断全类别标签集是否满足第二预设条件，在全类别标签集满足第二预设条件时，则对第一子结构属性标签集进行匹配处理，得到第二子结构属性标签集；在全类别标签集不满足第二预设条件时，则返回从全类别标签集中选取一个全内容类别标签的步骤，直至全类别标签集满足第二预设条件。

具体地，在对全内容类别标签进行提取处理，得到当前解耦标签时，将得到的当前解耦标签加入第一子结构属性标签集中，并将当前解耦标签对应的全内容类别标签从全类别标签集中移除，通过将进行提取处理后的全内容类别标签从全类别标签集中移除，可以有效避免对全内容类别标签的重复处理以及漏处理；然后再判断全类别标签集是否为空，若全类别标签集为空，则确定全类别标签集满足第二预设条件，说明全类别标签集中的所有全内容类别标签都提取处理完毕，进行后续的匹配处理；而如果全类别标签集不是空的，说明此时还剩余全内容类别标签没有提取，则需要返回从全类别标签集中选取一个全内容类别标签的步骤，继续对剩余的全内容类别标签进行提取处理，直到全类别标签集为空。

步骤36：基于第二子结构属性标签集对全内容类别标签进行重构处理，得到多元属性标签。

第二子结构属性标签集包括多个子属性标签，可基于第二子结构属性标签集对全内容类别标签进行重构处理，得到多元属性标签。具体地，可将全内容类别标签与第二子结构属性标签集中的子属性标签进行对比，得到与全内容类别标签匹配的子属性标签，然后将所有与全内容类别标签匹配的子属性标签组成多元属性标签。

如图5所示，以图5中的全内容类别标签“双白实线”为例进行说明，在进行提取处理后可得到第二子结构属性标签集{“单、双”，“白、黄”，“实、虚”}，然后再将第二子结构属性标签集中的子结构属性标签“单、双”、“白、黄”以及“实、虚”分别与全内容类别标签“双白实线”进行对比，可得到与全内容类别标签匹配的子属性标签“双”、“白”以及“实”，然后将匹配得到的子属性标签进行组合，得到多元属性标签{“双”，“白”，“实”}。

在一具体的实施例中，多元属性标签可为编码后的数据，可对上述解耦重构得到的多元属性标签进行编码，得到对应编码数据，可将第二子结构属性标签集{“双、单”，“白、黄”，“实、虚”}对应的编码数据设置为{“1、0”，“1、0”，“1、0”}，从而按照编码对应关系对多元属性标签进行相应的编码，例如：多元属性标签{“双”，“白”，“实”}编码为{1，1，1}，将多元属性标签{“单”，“黄”，“虚”}编码为{0，0，0}，将多元属性标签{“单”，“白”，“虚”}编码为{0，1，0}。

具体地，在上述全内容类别标签为特殊子属性标签(停止线或等待线等)时，在进行解耦重构处理后，可直接将多元属性标签中的其他子结构属性对应的子属性标签用“空”表示，从而代表标签缺失，例如：全内容类别标签为“停止线”时，可解耦重构获得多元属性标签{“空”、“空”、“空”、“是”}，可将“空”对应编码为“-1”，“是、否”对应编码为“1、0”，则编码后的多元属性标签可为“-1，-1，-1，1”；在全类别标签为“双白实线”时，可解耦重构得到多元属性标签{“双”，“白”，“实”，“否”}，对应的编码可为{1，1，1，0，0}。可以理解地，具体的编码数据与子属性标签之前的对应关系可根据实际情况进行设置，在此不作限定。

通过上述解耦重构处理，可将“单白虚线”、“单白实线”、“单黄虚线”、“单黄实线”、“双白虚线”、“双白实线”、“双黄虚线”、“双黄实线”的8通道分类任务，转换为“010”、“011”、“000”、“001”、“110”、“111”、“100”、“101”的3通道分类任务，解耦重构处理后的通道数与车道线的子结构属性的数量相同。

通过对训练数中的样本图像对应的全内容类别标签进行解耦重构处理，一方面对于单黄虚线和单白虚线等相似混淆类别进行了解耦操作，即解决了车道线全类别输出时的类别预测耦合问题，提高了相似混淆类别的预测性能；另一方面，由于利用多种子结构属性来完整描述车道线原有的全内容类别标签，而且能够根据解耦出的子结构属性的数量来选择对应的模型输出通道数，相比全内容类别输出通道而言能够减少车道线识别模型的输出通道数，降低模型的空间复杂度。

可以理解地，车道线的全内容类别标签的解耦重构操作可以被应用到基于分割、关键点或目标检测的不同框架下的车道线识别模型中，具有普遍适用性。

步骤23：采用多标签数据集对车道线识别模型进行训练，得到训练完的车道线识别模型。

在得到每个全内容类别标签的多元属性标签后，可将所述多元属性标签加入所述多标签数据集，得到包含不同类别的多元属性标签的多标签数据集，然后再采用多标签数据集对车道线识别模型进行训练，得到训练完的车道线识别模型，采用多标签数据集对车道线识别模型进行训练的具体步骤如图6所示：

步骤61：从多标签数据集中选取一个样本图像输入车道线识别模型，得到训练输出数据。

训练输出数据包括第一车道线置信度图与第一属性预测概率图，第一车道线置信度图包括样本图像中每个像素点的车道线概率值，车道线概率值为样本图像中的像素点为车道线上的像素点的概率值，第一属性预测概率图包括样本图像中的像素点的属性概率值，属性概率值为样本图像中的像素点的属性属于每种子属性标签的概率值；例如：样本图像包含M*N个像素点，则经过车道线识别模型可得到M*N个像素点对应的为车道线上的像素点的概率值，以样本图像中包含车道线的K种子结构属性为例，可得到M*N个像素点各自对应的K种子结构属性的概率值。

步骤62：基于训练输出数据、车道线位置标签以及多元属性标签，计算当前损失值。

可采用激活函数分别对第一车道线置信度图与第一属性预测概率图进行处理，得到多个激活图，然后再基于激活图、样本图像的车道线标签以及样本图像的多元属性标签，计算当前损失值。

多个激活图包括与车道线的位置对应的车道线激活图与第一预设数量个与车道线的属性对应的属性激活图，激活图可为三维数据，以样本图像的尺寸为H*W为例，则可经过激活函数得到尺寸为H*W*(K+1)的三维的激活图，其中，第一预设数量为所有样本图像中包含的车道线的属性类型的数量，在包含K种车道线的属性类型(对应子结构属性)时，属性激活图的数量便对应为K个，车道线识别模型可输出(K+1)个通道的特征数据(K个属性激活图以及1个车道线置信图)；具体地，可采用sigmoid激活函数对第一车道线置信度图与第一属性预测概率图进行激活处理，从而得到多个激活图，可以理解地，激活函数包含但不限于sigmoid激活函数，在此不作限定。

计算车道线损失标签与车道线激活图之间的损失，得到第一损失，然后计算多元属性标签与属性激活图之间的损失，从而获取第二损失，然后再基于第一损失与第二损失，计算出当前损失值。

具体地，当前损失值可包括：车道线置信度交叉熵损失、所有子属性标签的损失以及平滑项损失；可利用交叉熵损失函数计算车道线损失标签与车道线激活图之间的损失，从而得到第一损失(即车道线置信度交叉熵损失)；为了获取第二损失，可先计算每个子属性标签与相应的属性激活图之间的损失，得到子损失(即子属性标签的损失)，然后计算所有子属性标签对应的车道线区域(即车道线所在的区域)中每个像素点的属性概率值的平均值；计算车道线区域中每个像素点的属性概率值与平均值的差值的平方，得到第一数值；对车道线区域对应的所有第一数值进行累加，得到第二数值；基于第二数值与车道线区域中像素点的数量，计算出平滑值(即平滑项损失)；对平滑值与相应的子损失进行加权，得到第三数值；对所有第三数值进行叠加，得到第二损失，即可通过下述计算公式计算当前损失值：

其中，在公式(1)中，L_total表示当前损失值，L_ce表示交叉熵损失，L_confidence表示第一损失，L_label表示每个子属性标签的子损失；L_smooth表示平滑值。R_m表示第m个子属性标签对应的车道线区域，

表示第m个子属性标签对应的车道线区域R_m内的第j个像素点的概率值；

表示第m个子属性标签对应的车道线区域R_m内所有像素点的属性概率值的平均值；|R^m|表示第m个子属性标签对应的车道线区域R_m内像素点的数量；λ为超参数，其数值一般为1，当且仅当在该子属性标签缺失时为0，例如：多元属性标签为“空、空、空、是”，即车道线为“停止线”，此时的“空”便表示子属性标签缺失，此时对应的λ为0。

步骤63：判断车道线识别模型是否满足训练终止条件。

训练终止条件可包括：损失收敛，即上一损失与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失，该预设损失为预先设置的损失阈值，若当前损失值小于预设损失，则确定达到预设停止条件；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件(比如：超过预设准确率)等。

步骤64：若车道线识别模型满足训练终止条件，则输出训练成功的车道线识别模型。

在当前对车道线识别模型的训练结果满足训练终止条件时，说明本次训练车道线识别模型成功，输出训练成功的车道线识别模型。

步骤65：若车道线识别模型不满足训练终止条件，则基于当前损失值对车道线识别模型的模型参数进行调整。

如果车道线识别模型不满足训练终止条件，则表明需要继续训练，此时可车道线识别模型的模型参数进行调整，并返回从多标签数据集中选取一个样本图像输入车道线识别模型的步骤，直至车道线识别模型满足训练终止条件。

上述实施例中的计算当前损失值的方式，可适用于基于分割或关键点框架的车道线识别模型，在其他实施例中，车道线识别模型还可为基于目标检测框架的车道线识别模型，则此时车道线识别模型输出的训练输出数据可包括至少一个车道线的位置信息、每个车道线对应的目标框的置信度以及每个目标框对应的第二多元属性信息，多标签数据集还包括与样本图像中车道线对应的目标框标签，第二多元属性信息包括第一子属性信息，以车道线目标框数量为m个，子结构属性的数量为k个为例，此时基于目标检测框架的车道线识别模型输出的便为二维的m*(k+5)特征向量，其中，(k+5)中的“5”包含下述五个数据：车道线目标框的置信度值、车道线的目标框的中心点的横坐标、目标框的中心点的纵坐标、目标框的宽以及目标框的高。

当前损失值可包含车道线目标框坐标回归的均方差(Mean Square Error，MSE)损失、车道线目标框的置信度损失以及车道线目标框的所有子结构属性的交叉熵损失；具体地，为了获取当前损失值，可计算车道线标签与位置信息之间的损失，得到第三损失(即车道线目标框坐标回归损失)；计算多元属性标签与第二多元属性信息之间的损失，以获取第四损失；基于第三损失与第四损失计算出当前损失值。

进一步地，可对所有子属性标签与相应的第一子属性信息之间的损失进行加权求和，得到第四损失(车道线框的每个子结构属性的交叉熵损失)，然后计算目标框与目标框标签之间的损失，得到第五损失(即车道线框的置信度损失)，再对第五损失、第三损失以及第四损失进行加权求和，得到当前损失值，即利用下述计算公式计算当前损失值：

其中，在公式(2)中，L_mse、L_ce分别表示均方差损失和交叉熵损失；L_coordinate表示第三损失；L_confidence表示第五损失；L_label表示第四损失，超参数λ为1，当且仅当在该子属性标签缺失时为0。

本实施例所采用的方案提高了相似混淆类别的预测性能，且能够降低车道线识别模型参数的空间复杂度和预测的时间复杂度；同时，由于利用多元属性标签对车道线识别模型进行训练，不仅可以确定车道线的位置信息，而且可以预测车道线的各个子结构属性，提升识别车道线的准确度，同时能提升识别出的车道线的类型的丰富度，提供更准确更全面的车道线类别信息；另外，本实施例采用的解耦重构操作可以被应用到不同的车道线识别模型中，同时可设置对应的损失函数来参与不同车道线识别模型的训练，具有更好的适用性。

请参阅图7，图7是本申请提供的车道线识别方法另一实施例的流程示意图，该方法包括：

步骤71：基于车道线识别模型对待检测道路图像进行检测，得到检测数据。

车道线识别模型可为上述实施例得到的车道线识别模型，检测数据包括第二车道线置信度图与第二属性预测概率图，第二车道线置信度图包括待检测道路图像中每个像素点的车道线概率值，第二属性预测概率图包括每个像素点的属性概率值。

步骤72：基于第二车道线置信度图，确定待检测道路图像中车道线的所有位置。

将第二车道线置信度图中车道线概率值大于第一预设概率值的像素点所在的位置确定为车道线的所有位置，第一预设概率值可根据实际情况进行设置，例如：第一预设概率值为0.8，则将第二车道线置信度图中车道线概率值大于0.8的像素点认为其为在车道线上的像素点，依次将所有像素点都轮询一遍，从而将所有包含车道线的像素点所在的位置确定车道线的所有位置，可以理解地，待检测道路图像可包含多条车道线，可基于第二车道线置信度图得到所有车道线的所有位置。

步骤73：基于车道线的所有位置，确定待检测道路图像中每条车道线的位置信息。

可对车道线的所有位置进行聚类处理，从而得到车道线的位置信息。

步骤74：基于待检测道路图像中每条车道线的位置信息与第二属性预测概率图，确定每条车道线的第一多元属性信息。

可将每条车道线的位置信息与第二属性预测概率图匹配，从而得到相应的属性检测信息，然后对属性检测信息进行筛选，得到每条车道线的第一多元属性信息；具体地，属性检测信息可包括多种第二子属性信息，可将每条车道线的位置信息与每个车道位置区域中每个像素点的属性概率值进行匹配，从而得到每个车道位置区域中每个像素点对应的多种第二子属性信息以及每个第二子属性信息对应的属性概率值，然后再计算第二子属性信息中的属性概率值的最大值，将最大值对应的第二子属性信息确定为第三子属性信息，再对第三子属性信息进行投票处理，得到第一多元属性信息。

在第二子属性信息包含两个以上的属性值时，可采用上述方法选出属性概率值的最大值对应的第二子属性信息作为第三子属性信息；而在第二子属性信息仅包含两个属性值时，例如：{“单、双”，“白、黄”，“实、虚”}，可在将每条车道线的位置信息与第二属性预测概率图匹配，得到每个像素点中的各个第二子属性信息对应的属性概率值之后，将属性概率值与预设界值进行比较，从而确定该像素点的第三子属性信息，例如：第二子属性信息“单、双”的属性概率值为0.8，第二子属性信息“白、黄”的属性概率值为0.2，第二子属性信息“实、虚”的属性概率值为0.6，将其分别与预设界值0.5进行比较，在属性概率值小于预设界值时判断第三子属性信息为“0”，在属性概率值小于预设界值时判断第三子属性信息为“1”，其中，“0”、“1”为编码数据，例如：“白”对应编码数据“1”，“黄”对应编码数据“0”，在第二子属性信息“白、黄”的属性概率值为0.2时，可得到第三子属性信息为“0”，即“黄”。

在得到所有车道线区域中各个像素点对应的第三子属性信息后，对第三子属性信息进行投票处理，得到第一多元属性信息；具体地，投票处理可包括软投票以及硬投票，软投票可为对车道线位置区域中的所有第三子属性信息的属性概率值进行平均，将平均值最大的第三子属性信息作为第一多元属性信息；硬投票可为遵循少数服从多数的原则，如果20个像素点，有18个像素点的第三子属性信息都为A，那这个车道线的第一多元属性信息就是A；投票处理方式包含但不限于上述软投票与硬投票，在其他实施例中，投票处理方式还可为加权投票等，在此不作限定。

可以理解地，第一多元属性信息可为编码后的数据，则可对第一多元属性信息进行解码，得到解码后的第一多元属性信息，以{“双、单”，“白、黄”，“实、虚”}对应的编码数据为{“1、0”，“1、0”，“1、0”}为例，若得到某一车道线的第一多元属性信息为{1，1，0}，则此时可对第一多元属性信息进行解码，得到解码后的第一多元属性信息为{双，白，虚}，即表示该车道线为白色双虚线。

本实施例能够利用车道线识别模型对待检测道路图像，确定每条车道线的多元属性信息，不仅能够识别出车道线的位置信息，还能够准确、全面地获得每条车道线的属性信息。

请参阅图8，图8是本申请提供的车道线识别装置一实施例的结构示意图，车道线识别装置80包括互相连接的存储器81和处理器82，存储器81用于存储计算机程序，计算机程序在被处理器82执行时，用于实现上述实施例中的车道线识别方法。

请参阅图9，图9是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质90用于存储计算机程序91，计算机程序91在被处理器执行时，用于实现上述实施例中的车道线识别方法。

计算机可读存储介质90可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (19)

1.一种车道线识别方法，其特征在于，包括：

基于车道线识别模型，对待检测道路图像进行检测，得到检测数据；

对所述检测数据进行处理，得到所述待检测道路图像中每条车道线的位置信息以及每条所述车道线对应的第一多元属性信息，所述第一多元属性信息包括多种子属性信息；

其中，所述车道线识别模型是基于多标签数据集训练的，所述多标签数据集包括样本图像、与所述样本图像中车道线对应的多元属性标签，所述多元属性标签为通过对所述样本图像中车道线对应的全内容类别标签进行解耦重构处理得到，所述多元属性标签的类别小于所述全内容类别标签的类别。

2.根据权利要求1所述的车道线识别方法，其特征在于，所述车道线识别模型的训练方法包括：

获取训练数据，所述训练数据包括多张所述样本图像、与所述样本图像中车道线对应的车道位置标签以及全内容类别标签；

对所述全内容类别标签进行解耦重构处理，得到所述多元属性标签；

采用所述多标签数据集对所述车道线识别模型进行训练，得到训练完的车道线识别模型。

3.根据权利要求2所述的车道线识别方法，其特征在于，所述采用所述多标签数据集对所述车道线识别模型进行训练的步骤，包括：

从所述多标签数据集中选取一个所述样本图像输入所述车道线识别模型，得到训练输出数据；

基于所述训练输出数据、所述车道线位置标签以及所述多元属性标签，计算当前损失值；

判断所述车道线识别模型是否满足训练终止条件；

若否，则基于所述当前损失值，对所述车道线识别模型的模型参数进行调整，并返回所述从所述多标签数据集中选取一个所述样本图像输入所述车道线识别模型的步骤，直至所述车道线识别模型满足所述训练终止条件。

4.根据权利要求2所述的车道线识别方法，其特征在于，所述对所述全内容类别标签进行解耦重构处理，得到所述多元属性标签的步骤，包括：

获取全类别标签集，所述全类别标签集包括所有类别的所述全内容类别标签；

从所述全类别标签集中选取一个全内容类别标签，对所述全内容类别标签进行提取处理，得到当前解耦标签；

判断所述当前解耦标签是否满足第一预设条件；

若否，则将所述全内容类别标签更新为所述当前解耦标签，并返回所述对所述全内容类别标签进行提取处理的步骤，直至所述当前解耦标签满足所述第一预设条件；

若是，则基于所述当前解耦标签，构建第一子结构属性标签集；

对所述第一子结构属性标签集进行匹配处理，得到第二子结构属性标签集；

基于所述第二子结构属性标签集对所述全内容类别标签进行重构处理，得到所述多元属性标签。

5.根据权利要求4所述的车道线识别方法，其特征在于，所述方法还包括：

将所述当前解耦标签加入所述第一子结构属性标签集中，并将所述当前解耦标签从所述全类别标签集中移除；

判断所述全类别标签集是否满足第二预设条件；

若是，则对所述第一子结构属性标签集进行匹配处理，得到所述第二子结构属性标签集；

若否，则返回所述从所述全类别标签集中选取一个全内容类别标签的步骤，直至所述全类别标签集满足所述第二预设条件。

6.根据权利要求5所述的车道线识别方法，其特征在于，所述方法包括：

判断所述当前解耦标签的长度是否为预设长度，若是，则确定所述当前解耦标签满足所述第一预设条件；

判断所述全类别标签集是否为空，若是，则确定所述全类别标签集满足所述第二预设条件。

7.根据权利要求4所述的车道线识别方法，其特征在于，所述第二子结构属性标签集包括多个子属性标签，所述基于所述第二子结构属性标签集对所述全内容类别标签进行重构处理，得到所述多元属性标签的步骤，包括：

将所述全内容类别标签与所述第二子结构属性标签集中的子属性标签进行对比，得到与所述全内容类别标签匹配的子属性标签；

将所有与所述全内容类别标签匹配的子属性标签组成所述多元属性标签。

8.根据权利要求5所述的车道线识别方法，其特征在于，所述第一子结构属性标签集包括多个子属性标签，所述对所述第一子结构属性标签集进行匹配处理，得到所述第二子结构属性标签集的步骤，包括：

将所述第一子结构属性标签集中的子属性标签与预设映射表进行匹配，判断所述预设映射表中是否存在与所述子属性标签对应的其他子属性标签；

若是，则将所述子属性标签与所述其他子属性标签组成所述第二子结构属性标签集。

9.根据权利要求3所述的车道线识别方法，其特征在于，所述训练输出数据包括第一车道线置信度图与第一属性预测概率图，所述第一车道线置信度图包括所述样本图像中每个像素点的车道线概率值，所述车道线概率值为所述样本图像中的像素点为所述车道线上的像素点的概率值，所述第一属性预测概率图包括所述样本图像中的像素点的属性概率值，所述属性概率值为所述样本图像中的像素点的属性属于每种子属性标签的概率值，所述基于所述训练输出数据、所述车道线位置标签以及所述多元属性标签，计算当前损失值的步骤，包括：

采用激活函数分别对所述第一车道线置信度图与所述第一属性预测概率图进行处理，得到多个激活图；

基于所述激活图、所述样本图像的车道线标签以及所述样本图像的多元属性标签，计算所述当前损失值。

10.根据权利要求9所述的车道线识别方法，其特征在于，所述多个激活图包括与所述车道线的位置对应的车道线激活图与第一预设数量个与所述车道线的属性对应的属性激活图，所述基于所述激活图、所述样本图像的车道线标签以及所述样本图像的多元属性标签，计算所述当前损失值的步骤，包括：

计算所述车道线损失标签与所述车道线激活图之间的损失，得到第一损失；

计算所述多元属性标签与所述属性激活图之间的损失，以获取第二损失；

基于所述第一损失与所述第二损失，计算出所述当前损失值。

11.根据权利要求10所述的车道线识别方法，其特征在于，所述方法包括：

计算每个所述子属性标签与相应的属性激活图之间的损失，得到子损失；

计算所有所述子属性标签对应的车道线区域中每个像素点的属性概率值的平均值，所述车道线区域为所述车道线所在的区域；

计算所述车道线区域中每个像素点的属性概率值与所述平均值的差值的平方，得到第一数值；

对所述车道线区域对应的所有第一数值进行累加，得到第二数值；

基于所述第二数值与所述车道线区域中像素点的数量，计算出平滑值；

对所述平滑值与相应的子损失进行加权，得到第三数值；

对所有所述第三数值进行叠加，得到所述第二损失。

12.根据权利要求3所述的车道线识别方法，其特征在于，所述训练输出数据包括至少一个车道线的位置信息、每个所述车道线对应的目标框的置信度以及每个所述目标框对应的第二多元属性信息，所述基于所述训练输出数据、所述车道线位置标签以及所述多元属性标签，计算当前损失值的步骤，包括：

计算所述车道线标签与所述位置信息之间的损失，得到第三损失；

计算所述多元属性标签与所述第二多元属性信息之间的损失，以获取第四损失；

基于所述第三损失与所述第四损失，计算出所述当前损失值。

13.根据权利要求12所述的车道线识别方法，其特征在于，所述多标签数据集还包括与所述样本图像中车道线对应的目标框标签，所述第二多元属性信息包括第一子属性信息，所述基于所述第三损失与所述第四损失，计算出所述当前损失值的步骤，包括：

对所有子属性标签与相应的第一子属性信息之间的损失进行加权求和，得到所述第四损失；

计算所述目标框与目标框标签之间的损失，得到第五损失；

对所述第五损失、所述第三损失以及所述第四损失进行加权求和，得到所述当前损失值。

14.根据权利要求1所述的车道线识别方法，其特征在于，所述检测数据包括第二车道线置信度图与第二属性预测概率图，所述对所述检测数据进行处理，得到所述待检测道路图像中每条车道线的位置信息以及每条所述车道线对应的第一多元属性信息的步骤，包括：

基于所述第二车道线置信度图，确定所述待检测道路图像中车道线的所有位置；

基于所述车道线的所有位置，确定所述待检测道路图像中每条车道线的位置信息；

基于所述待检测道路图像中每条车道线的位置信息与所述第二属性预测概率图，确定每条所述车道线的第一多元属性信息。

15.根据权利要求14所述的车道线识别方法，其特征在于，所述第二车道线置信度图包括所述待检测道路图像中每个像素点的车道线概率值，所述第二属性预测概率图包括每个像素点的属性概率值；

将所述第二车道线置信度图中车道线概率值大于第一预设概率值的像素点所在的位置确定为所述车道线的所有位置；

对所有所述车道线的位置进行聚类处理，得到每条所述车道线的位置信息；

将每条所述车道线的位置信息与所述第二属性预测概率图匹配，得到相应的属性检测信息；

对所述属性检测信息进行筛选，得到每条所述车道线的第一多元属性信息。

16.根据权利要求15所述的车道线识别方法，其特征在于，所述属性检测信息包括多种第二子属性信息，所述对所述属性检测信息进行筛选，得到所述车道线的第一多元属性信息的步骤，包括：

计算所述第二子属性信息中的属性概率值的最大值，将所述最大值对应的第二子属性信息确定为第三子属性信息；

对所述第三子属性信息进行投票处理，得到所述第一多元属性信息。

17.根据权利要求1所述的车道线识别方法，其特征在于，所述第一多元属性信息与所述多元属性标签均为编码后的数据，所述方法还包括：

对所述第一多元属性信息进行解码，得到解码后的第一多元属性信息。

18.一种车道线识别装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-17中任一项所述的车道线识别方法。

19.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现权利要求1-17中任一项所述的车道线识别方法。

Images