CN109426824A - 道路交通标线的识别方法和装置 - Google Patents

Abstract

本发明公开一种道路交通标线的识别方法和装置。所述方法包括：获取待识别的图片，所述待识别的图片为照片或者视频中任意一帧图片；利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；从所述分割图像中确定道路交通标线。本发明提供的技术方案，能够实现对照片或者视频中的道路交通标线的自动识别，从而能够有效节省时间，提高工作效率。

Description

道路交通标线的识别方法和装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种道路交通标线的识别方法和装置。

背景技术

目前，人们出行经常会使用电子地图，通过电子地图查询出行线路或者导航等。因此，地图数据的准确性变得尤为重要。

目前的技术中，主要通过作业人员人工根据前方采集的视频或照片查找有效的道路交通标线，再对地图数据进行更新。

由于一般采集的视频或者照片的数据量较大，因此，作业人员需要花费大量的时间查看无效的照片和视频，比较浪费时间，效率较低。

发明内容

有鉴于此，本发明提供了一种道路交通标线的识别方法和装置，能够实现对照片或者视频中的道路交通标线的自动识别，从而能够有效节省时间，提高工作效率。

为实现上述目的，本发明提供如下技术方案：

一种道路交通标线的识别方法，包括：

获取待识别的图片，所述待识别的图片为照片或者视频中任意一帧图片；

利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；

从所述分割图像中确定道路交通标线。

进一步的，所述利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像，包括：

利用预先训练的全卷积网络模型对所述待识别的图片进行多层卷积操作，得到最后一个卷积层输出的特征图；

对所述特征图的像素点进行预测，并依据预测结果进行像素点分类；

利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，得到分割图像。

进一步的，所述对所述特征图的像素点进行预测，包括：判断所述像素点是否为道路交通标线的像素点；

所述依据预测结果进行像素点分类，包括：将道路交通标线的像素点设置为第一颜色，将非道路交通标线的像素点设置为第二颜色。

进一步的，所述从所述分割图像中确定道路交通标线，包括：

提取所述分割图像中的道路标线；

将提取到的道路标线标记为道路交通标线。

进一步的，所述从所述分割图像中确定道路交通标线，包括：

提取所述分割图像中的道路标线；

将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

进一步的，所述将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线之前，还包括：

利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到所述分类器模型。

进一步的，所述利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像之前，还包括：

利用包含道路交通标线的图片训练全卷积网络，得到所述全卷积网络模型。

一种道路交通标线的识别装置，包括：

获取模块，用于获取待识别的图片，所述待识别的图片为照片或者视频中任意一帧图片；

分割模块，用于利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；

识别模块，用于从所述分割图像中确定道路交通标线。

进一步的，所述分割模块利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像的过程，具体包括：

利用预先训练的全卷积网络模型对所述待识别的图片进行多层卷积操作，得到最后一个卷积层输出的特征图；

对所述特征图的像素点进行预测，并依据预测结果进行像素点分类；

利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，得到分割图像。

进一步的，所述分割模块对所述特征图的像素点进行预测的过程，具体包括：判断所述像素点是否为道路交通标线的像素点；

所述分割模块依据预测结果进行像素点分类的过程，具体包括：将道路交通标线的像素点设置为第一颜色，将非道路交通标线的像素点设置为第二颜色。

进一步的，所述识别模块从所述分割图像中确定道路交通标线的过程，具体包括：

提取所述分割图像中的道路标线；

将提取到的道路标线标记为道路交通标线。

进一步的，所述识别模块从所述分割图像中确定道路交通标线的过程，具体包括：：

提取所述分割图像中的道路标线；

将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

进一步的，还包括：

分类器模型训练模块，用于利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到所述分类器模型。

进一步的，还包括：

全卷积网络模型训练模块，用于利用包含道路交通标线的图片训练全卷积网络，得到所述全卷积网络模型。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种道路交通标线的识别方法和装置。本发明提供的技术方案，首先获取待识别的图片，其中，所述待识别的图片为照片或者视频中任意一帧图片，然后利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像，最后从所述分割图像中确定道路交通标线。也就是说，应用本发明提供的技术方案，能够实现对照片或者视频中的道路交通标线的自动识别，相对于现有技术中人工参与查找有效的道路交通标线的方式，能够有效节省时间，提高工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种道路交通标线的识别方法的流程图；

图2本发明实施例提供的待识别的图片；

图3所本发明实施例提供的分割图像；

图4为本发明实施例提供的一种道路交通标线的识别装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例

请参阅图1，图1为本发明实施例提供的一种道路交通标线的识别方法的流程图。如图1所示，该方法包括：

步骤S101，获取待识别的图片；

具体的，所述待识别的图片可以为照片，或者视频中任意一帧图片。也就是说，本发明实施例也可以实现对视频中的道路交通标线进行识别，具体实现方式可以为识别视频中的任意一帧图片，连续或者不连续的多帧图片。

具体的，所述待识别的图片，可以来自作业人员预先采集的采样照片或者采样视频(中的任意一帧图片)，也可以来自用户上传的照片或者视频(中的任意一帧图片)。

步骤S102，利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；

具体的，所述全卷积网络模型是预先利用包含道路交通标线的图片以及道路交通标线的标识信息训练全卷积网络生成的。可选的，所述全卷积网络可以为FCN(FullyConvolutional Networks,全卷积网络)或者Deeplab等。

可选的，该步骤可以具体包括：

利用预先训练的全卷积网络模型对所述待识别的图片进行多层卷积操作，得到最后一个卷积层输出的特征图(Feature Map)；

具体的，所述特征图小于所述待识别的图片，在最后一个卷积层完成卷积操作后，便得到最后一个卷积层输出的特征图。

对所述特征图的像素点进行预测，并依据预测结果进行像素点分类；

可选的，所述对所述特征图的像素点进行预测，包括：判断所述像素点是否为道路交通标线的像素点；

所述依据预测结果进行像素点分类，包括：将道路交通标线的像素点设置为第一颜色，将非道路交通标线的像素点设置为第二颜色。

具体的，对所述特征图的每个像素点进行预测，即判断各个像素点是否为道路交通标线的像素点，得到是或者否的判断结果，依据判断结果，便可实现对像素点的分类，即判断结果为是的分为一类，判断结果为否的分为一类。

可选的，如人行横道等通过多个道路交通标线组合才能形成的指示线，可以将相邻两个道路交通标线之间的像素点也视为道路交通标线的像素点，以方便后续识别。可选的，设置所述特征图中，经判断属于道路交通标线的像素点与经判断不属于道路交通标线的像素点为不同的颜色，比如经判断属于道路交通标线的像素点的颜色设置为白色，经判断不属于道路交通标线的像素点的颜色设置为黑色。

利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，得到分割图像；

具体的，利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，从而恢复原始输入图像(即所述待识别的图片)的空间大小，得到与所述待识别图片空间相同大小的分割图像。

具体的，如图2和图3所示，图2本发明实施例提供的待识别的图片，图3所本发明实施例提供的分割图像，由图3可以确定，分割图像中，各像素已经实现了分类，大片黑色部分包括空间部分和部分地面部分，白色部分为道路标线的部分。

步骤S103，从所述分割图像中确定道路交通标线；

具体的，该步骤可以包括：

提取所述分割图像中的道路标线；

具体的，在图3所示的分割图像中，可以提取道路标线301和道路标线302两部分道路标线。可选的，可以以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线。可选的，每个候选框中包括一个待提取的道路标线，目的是方便后续对每个道路标线单独进行识别。

将提取到的道路标线标记为道路交通标线；

具体的，将提取到的道路标线标记为道路交通标线，其中，在图3所示的分割图像中，301部分标记为指示直行的引导线，302部分标记为人行横道。可选的，如若以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线，则可以将提取到的候选框中的道路标线标记为道路交通标线。

本发明实施例提供的技术方案，首先获取待识别的图片，其中，所述待识别的图片为照片或者视频中任意一帧图片，然后利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像，最后从所述分割图像中确定道路交通标线。也就是说，应用本发明实施例提供的技术方案，能够实现对照片或者视频中的道路交通标线的自动识别，相对于现有技术中人工参与查找有效的道路交通标线的方式，能够有效节省时间，提高工作效率。

需要说明的是，本发明上一实施例中，通过提取分割图像中的道路标线，然后将提取到的道路标线直接标记为道路交通标线，该方法可能存在将提取到的非道路交通标线的道路标线也标记为道路交通标线的情况，从而影响识别道路交通标线的准确率。为此，本发明还提供了另外一个实施例，以解决该问题。

可选的，本发明另外一个实施例提供的道路交通标线的识别方法，所述步骤S103包括：

提取所述分割图像中的道路标线；

可选的，可以以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线。

将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

具体的，所述分类器模型为预先利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到。可选的，分类器可以使用AlexNet网络。

具体的，将提取到的道路标线经过预先训练的分类器模型进行降噪处理，便可排除非道路交通标线的其他道路标线，保留道路交通标线，因此，将经过降噪处理后剩余的道路标线标记为道路交通标线，便能够提高识别道路交通标线的准确率。

可选的，如若以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线，则可以将提取到的候选框经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

可选的，本发明另外一个实施例提供的道路交通标线的识别方法，所述将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线之前，还包括：

利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到所述分类器模型。

可选的，分类器可以使用AlexNet网络。

可选的，本发明另外一个实施例提供的道路交通标线的识别方法，所述步骤S102之前，还包括：

利用包含道路交通标线的图片训练全卷积网络，得到所述全卷积网络模型。

可选的，所述全卷积网络可以为FCN(Fully Convolutional Networks,全卷积网络)或者Deeplab等。

为了更加全面地阐述本发明提供的技术方案，对应于本发明实施例提供的道路交通标线的识别方法，本发明公开一种道路交通标线的识别装置。

请参阅图4，图4为本发明实施例提供的一种道路交通标线的识别装置的结构图。如图4所示，该装置包括：

获取模块401，用于获取待识别的图片，所述待识别的图片为照片或者视频中任意一帧图片；

分割模块402，用于利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；

可选的，所述分割模块402利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像的过程，具体包括：

利用预先训练的全卷积网络模型对所述待识别的图片进行多层卷积操作，得到最后一个卷积层输出的特征图；

对所述特征图的像素点进行预测，并依据预测结果进行像素点分类；

利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，得到分割图像。

可选的，所述分割模块402对所述特征图的像素点进行预测的过程，具体包括：判断所述像素点是否为道路交通标线的像素点；

所述分割模块402依据预测结果进行像素点分类的过程，具体包括：将道路交通标线的像素点设置为第一颜色，将非道路交通标线的像素点设置为第二颜色。

识别模块403，用于从所述分割图像中确定道路交通标线。

可选的，所述识别模块403从所述分割图像中确定道路交通标线的过程，具体包括：

提取所述分割图像中的道路标线；

可选的，所述识别模块403可以以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线。

将提取到的道路标线标记为道路交通标线。

可选的，如若所述识别模块403以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线，则所述识别模块403可以将提取到的候选框中的道路标线标记为道路交通标线。

本发明实施例提供的道路交通标线的识别装置，获取模块用于获取待识别的图片，其中，所述待识别的图片为照片或者视频中任意一帧图片，分割模块用于利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像，识别模块用于从所述分割图像中确定道路交通标线。也就是说，应用本发明实施例提供的道路交通标线的识别装置，能够实现对照片或者视频中的道路交通标线的自动识别，相对于现有技术中人工参与查找有效的道路交通标线的方式，能够有效节省时间，提高工作效率。

需要说明的是，本发明上一实施例中，通过提取分割图像中的道路标线，然后将提取到的道路标线直接标记为道路交通标线，该方式可能存在将提取到的非道路交通标线的道路标线也标记为道路交通标线的情况，从而影响识别道路交通标线的准确率。为此，本发明还提供了另外一个实施例，以解决该问题。

可选的，本发明另外一个实施例提供的道路交通标线的识别装置，所述识别模块403从所述分割图像中确定道路交通标线的过程，具体包括：：

提取所述分割图像中的道路标线；

可选的，所述识别模块403可以以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线。可选的，每个候选框中包括一个待提取的道路标线，目的是方便后续对每个道路标线单独进行识别。

将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

具体的，所述分类器模型为预先利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到。可选的，分类器可以使用AlexNet网络。

具体的，将提取到的道路标线经过预先训练的分类器模型进行降噪处理，便可排除非道路交通标线的其他道路标线，保留道路交通标线，因此，将经过降噪处理后剩余的道路标线标记为道路交通标线，便能够提高识别道路交通标线的准确率。

可选的，如若所述识别模块403以候选框为单元提取所述分割图像中的道路标线，其中，候选框中包含待提取的道路标线，则所述识别模块403可以将提取到的候选框经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

可选的，本发明另外一个实施例提供的道路交通标线的识别装置，还包括：

分类器模型训练模块，用于利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到所述分类器模型。

可选的，本发明另外一个实施例提供的道路交通标线的识别装置，还包括：

全卷积网络模型训练模块，用于利用包含道路交通标线的图片训练全卷积网络，得到所述全卷积网络模型。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种道路交通标线的识别方法和装置。本发明提供的技术方案，首先获取待识别的图片，其中，所述待识别的图片为照片或者视频中任意一帧图片，然后利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像，最后从所述分割图像中确定道路交通标线。也就是说，应用本发明提供的技术方案，能够实现对照片或者视频中的道路交通标线的自动识别，相对于现有技术中人工参与查找有效的道路交通标线的方式，能够有效节省时间，提高工作效率。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种道路交通标线的识别方法，其特征在于，包括：

获取待识别的图片，所述待识别的图片为照片或者视频中任意一帧图片；

利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；

从所述分割图像中确定道路交通标线。

2.根据权利要求1所述的方法，其特征在于，所述利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像，包括：

利用预先训练的全卷积网络模型对所述待识别的图片进行多层卷积操作，得到最后一个卷积层输出的特征图；

对所述特征图的像素点进行预测，并依据预测结果进行像素点分类；

利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，得到分割图像。

3.根据权利要求2所述的方法，其特征在于：

所述对所述特征图的像素点进行预测，包括：判断所述像素点是否为道路交通标线的像素点；

所述依据预测结果进行像素点分类，包括：将道路交通标线的像素点设置为第一颜色，将非道路交通标线的像素点设置为第二颜色。

4.根据权利要求1所述的方法，其特征在于，所述从所述分割图像中确定道路交通标线，包括：

提取所述分割图像中的道路标线；

将提取到的道路标线标记为道路交通标线。

5.根据权利要求1所述的方法，其特征在于，所述从所述分割图像中确定道路交通标线，包括：

提取所述分割图像中的道路标线；

将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

6.根据权利要求5所述的方法，其特征在于，所述将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线之前，还包括：

利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到所述分类器模型。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像之前，还包括：

利用包含道路交通标线的图片训练全卷积网络，得到所述全卷积网络模型。

8.一种道路交通标线的识别装置，其特征在于，包括：

获取模块，用于获取待识别的图片，所述待识别的图片为照片或者视频中任意一帧图片；

分割模块，用于利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像；

识别模块，用于从所述分割图像中确定道路交通标线。

9.根据权利要求8所述的装置，其特征在于，所述分割模块利用预先训练的全卷积网络模型对所述待识别的图片进行预测和分割，得到分割图像的过程，具体包括：

利用预先训练的全卷积网络模型对所述待识别的图片进行多层卷积操作，得到最后一个卷积层输出的特征图；

对所述特征图的像素点进行预测，并依据预测结果进行像素点分类；

利用预先训练的全卷积网络模型对所述特征图进行反卷积操作，得到分割图像。

10.根据权利要求9所述的装置，其特征在于：

所述分割模块对所述特征图的像素点进行预测的过程，具体包括：判断所述像素点是否为道路交通标线的像素点；

所述分割模块依据预测结果进行像素点分类的过程，具体包括：将道路交通标线的像素点设置为第一颜色，将非道路交通标线的像素点设置为第二颜色。

11.根据权利要求8所述的装置，其特征在于，所述识别模块从所述分割图像中确定道路交通标线的过程，具体包括：

提取所述分割图像中的道路标线；

将提取到的道路标线标记为道路交通标线。

12.根据权利要求8所述的装置，其特征在于，所述识别模块从所述分割图像中确定道路交通标线的过程，具体包括：：

提取所述分割图像中的道路标线；

将提取到的道路标线经过预先训练的分类器模型进行降噪处理，将经过降噪处理后剩余的道路标线标记为道路交通标线。

13.根据权利要求12所述的装置，其特征在于，还包括：

分类器模型训练模块，用于利用道路交通标线、道路交通标线对应的标识信息、非道路交通标线的其他道路标线和非道路交通标线的其他道路标线对应的标识信息训练得到所述分类器模型。

14.根据权利要求8～13所述的装置，其特征在于，还包括：

全卷积网络模型训练模块，用于利用包含道路交通标线的图片训练全卷积网络，得到所述全卷积网络模型。