CN111950469A - 一种道路标识检测方法、系统、设备和介质 - Google Patents

Abstract

本发明提出一种道路标识检测方法、系统、设备和介质，包括：构建语义分割网络利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；根据所述灰度图识别出不同类别的道路标识；本发明可有效检测多种类型的道路标识，适应复杂的道路环境。

Description

一种道路标识检测方法、系统、设备和介质

技术领域

本发明涉及智慧交通领域，尤其涉及一种道路标识检测方法、系统、设备和介质。

背景技术

随着经济的发展和汽车保有量的逐年增加，汽车的安全性越来越受到人们的重视。为了提高汽车行驶安全性，现代汽车厂商将车道偏离预警系统(LDWS)、车道保持系统(LKS)作为智能汽车的热门研究方向，自动驾驶技术也作为新兴技术被众多汽车企业所青睐。而道路标识检测是实现车道偏离预警、车道保持以及自动驾驶等功能的关键技术。因此，准确可靠的道路标识检测技术对提高汽车行驶安全性和驾乘体验至关重要。现阶段道路标识检测方法按照道路标识像素与背景的分割方法可以分为以下两类：

基于传统图像处理的方法:主要通过手工设计特征和启发式识别来进行道路标识检测，而手工设计特征需要从业者有着深厚的图像处理专业知识，其特征设计的好坏直接影响最终的检测结果。通常会基于道路标识的颜色、纹理以及几何等来手工设计特征。在使用这类方法将道路区域内属于道路标识的像素分割出来后，需要结合滤波和霍夫变换等方法去除误检测并进行道路标识曲线拟合。然而汽车行驶的实际道路环境是复杂多变的，光照条件、磨损程度以及遮挡程度的不同使得这类方法难以适应于实际应用场景。

基于深度学习的方法：随着深度学习技术的发展，传统方法中手工设计特征部分的工作可以用深度神经网络来代替。通过构建多层神经网络，使用大规模标记好的数据进行参数训练，最终可以得到像素级别的道路标识分割模型。这类方法相对于传统方法效果提升显著，对于不同场景的适应能力更好，同时由于不再依赖于手工设计特征，对从业者图像处理专业知识的要求也更低。但是现阶段这类方法不能对多种类型的道路标识进行检测，而是笼统地将道路标识归为一类。然而，在车辆实际行驶环境中，道路标识的实、虚、黄、白等属性分别对应了不同的道路指示功能。此类方法存在的这一缺陷极大地限制了其应用范围。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种道路标识检测方法、系统、设备和介质，主要解决现有技术针对复杂的道路场景鲁棒性差的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种道路标识检测方法，包括：

构建语义分割网络；

利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；

根据所述灰度图识别出不同类别的道路标识。

可选地，所述语义分割网络包括编码器和解码器，通过所述编码器对输入图像进行特征提取，并通过所述解码器将提取的特征转换为所述灰度图；

其中，所述编码器包括分解残差模块和下采样模块；所述解码器包括分解残差模块和上采样模块。

可选地，所述编码器的网络架构排布方式依次为：一个或多个下采样模块、一个或多个分解残差模块、一个或多个下采样模块、一个或多个分解残差模块；所述解码器的网络架构排布方式依次为：一个或多个上采样模块、一个或多个分解残差模块、一个或多个上采样模块、一个或多个分解残差模块、一个或多个上采样模块；其中，所述上采样模块与所述下采样模块的数量保持一致。

可选地，所述分解残差模块包括多个卷积层和空洞卷积层，所述卷积层和空洞卷积层交错排列。

可选地，所述下采样模块包括卷积层、池化层和特征拼接层；分别通过所述卷积层和所述池化层对输入进行采样获取采样结果，并通过所述拼接层将所述卷积层和所述池化层的所述采样结果连接，获取特征图。

可选地，根据所述灰度图识别出不同类别的道路标识包括：预设所述道路标识的各类别对应的灰度值，根据所述灰度图中像素点对应道路标识类别的灰度值，对所述灰度图中的像素点进行聚类，获取多个聚类类别，其中，所述道路标识的类别包括不同颜色与不同形状的组合。

可选地，所述对所述灰度图中的像素点进行聚类包括：在对所述灰度图中像素点的坐标值进行聚类，将坐标间距在预设阈值范围内的像素点作为一个所述聚类类别。

可选地，当所述道路标识为线型标识时，对所述聚类类别中的像素点进行直线拟合，获取同一道路标识类别的多个实例；

对所述同一道路标识类别的多个实例进行多项式拟合，获取对应的道路标识。

可选地，对所述聚类类别中的像素点进行搜索，获取多个像素点组成的连通区域，并对所述连通区域进行直线拟合。

可选地，对所述连通区域进行直线拟合时，通过像素点搜索获取一个连通区域，并根据所述连通区域中的像素点进行直线拟合，获取初始直线；

根据所述连通区域以外的像素点与所述初始直线的距离，判断所述连通区域以外的像素点中是否存在另外一个或多个连通区域与所述初始直线处于同一直线上；若存在，则根据搜索到的另外所述一个或多个连通区域，重新进行直线拟合。

可选地，采用邻域连通区域标记法对所述聚类类别中的像素点进行搜索；其中，所述邻域连通区域标记法包括以下之一：四邻域连通区域标记法、八邻域连通区域标记法。

可选地，在对所述聚类类别中的像素点进行搜索前，对所述聚类类别中的像素点按坐标值进行排序。

可选地，在对输入图像进行道路标识检测之前，预先获取包含各种道路标识类别的样本图像，并对所述样本图像中的道路标识进行标注，构建训练样本集；根据所述训练样本集中包含的道路标识类别，获取不同道路标识类别对应的样本灰度图；

通过所述样本灰度图进行网络训练，获取所述语义分割网络。

可选地，所述道路标识包括以下至少之一：车道线、路面导引标识、路边标识牌。

一种道路标识检测系统，包括：

分割网络创建模块，用于构建语义分割网络；

灰度图获取模块，用于利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；

识别模块，用于根据所述灰度图识别出不同类别的道路标识。

可选地，所述语义分割网络包括编码器和解码器，通过所述编码器对输入图像进行特征提取，并通过所述解码器将提取的特征转换为所述灰度图；

其中，所述编码器包括分解残差模块和下采样模块；所述解码器包括分解残差模块和上采样模块。

可选地，包括聚类模块，用于从所述灰度图获取模块获取所述灰度图，并预设所述道路标识的各类别对应的灰度值，根据所述灰度图中像素点对应道路标识类别的灰度值，对所述灰度图中的像素点进行聚类，获取多个聚类类别，其中，所述道路标识的类别包括不同颜色与不同形状的组合。

可选地，包括直线拟合模块，用于当所述道路标识为线型标识时，根据所述聚类模块的输出，对所述聚类类别中的像素点进行直线拟合，获取同一道路标识类别的多个实例；

对所述同一道路标识类别的多个实例进行多项式拟合，获取对应的道路标识。

可选地，所述道路标识包括以下至少之一：车道线、路面导引标识、路边标识牌。

一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行所述的道路标识检测方法。

一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行所述的道路标识检测方法。

如上所述，本发明一种道路标识检测方法、系统、设备和介质，具有以下有益效果。

本发明通过构建新的语义分割网络结构，降低网络的复杂度，提高了分割网络的分割效率和精度；通过语义分割网络得到的灰度图进行分类识别，可检测不同颜色和线型的车道标识，提高复杂道路环境的适应性。

附图说明

图1为本发明一实施例中道路标识检测方法的流程图。

图2为本发明一实施例中分解残差模块的网络结构示意图。

图3为本发明一实施例中下采样模块的网络结构示意图。

图4为本发明一实施例中同一车道线像素点的聚类流程图。

图5为本发明一实施例中直线拟合的判别示意图。

图6为本发明一实施例中终端设备的结构示意图。

图7为本发明另一实施例中终端设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

现阶段道路标识检测方法按照道路标识像素与背景的分割方法可以分为以下两类：

基于传统图像处理的方法:主要通过手工设计特征和启发式识别来进行道路标识检测，而手工设计特征需要从业者有着深厚的图像处理专业知识，其特征设计的好坏直接影响最终的检测结果。通常会基于道路标识的颜色、纹理以及几何等来手工设计特征。在使用这类方法将道路区域内属于道路标识的像素分割出来后，需要结合滤波和霍夫变换等方法去除误检测并进行道路标识曲线拟合。然而汽车行驶的实际道路环境是复杂多变的，光照条件、磨损程度以及遮挡程度的不同使得这类方法难以适应于实际应用场景。

基于深度学习的方法：随着深度学习技术的发展，传统方法中手工设计特征部分的工作可以用深度神经网络来代替。通过构建多层神经网络，使用大规模标记好的数据进行参数训练，最终可以得到像素级别的道路标识分割模型。这类方法相对于传统方法效果提升显著，对于不同场景的适应能力更好，同时由于不再依赖于手工设计特征，对从业者图像处理专业知识的要求也更低。但是现阶段这类方法不能对多种类型的道路标识进行检测，而是笼统地将道路标识归为一类。在车辆实际行驶环境中，道路标识的实、虚、黄、白四个属性分别对应了不同的道路指示功能。此类方法存在的这一缺陷极大地限制了其应用范围。

请参阅图1，本发明提供一种道路标识检测方法，包括步骤S01-S03。

在步骤S01中，构建语义分割网络：

在一实施例中，语义分割网络包括编码器和解码器，首先由编码器对原始图像信息进行特征抽象，然后再由解码器将抽象的特征恢复到原来的图像分辨率大小并得到输出结果。当前主流的语义分割模型一般结构复杂，计算开销之大使之不适用于智能驾驶感知领域，而一些能够满足实时分割任务的网络往往会牺牲过多的精度。本实施例提出一种新的网络结构，其编码器包括分解残差模块和下采样模块，解码器包括分解残差模块和上采样模块。

编码器的网络架构排布方式依次为：多个下采样模块、多个分解残差模块、一个或多个下采样模块、一个或多个分解残差模块；解码器的网络架构排布方式依次为：一个或多个上采样模块、一个或多个分解残差模块、一个或多个上采样模块、一个或多个分解残差模块、一个或多个上采样模块。具体地，可将整个语义分割网络设置为23层网络架构，其中1-16层为编码器，17-23层为解码器。具体网络架构，请参阅表1。

表1

表1中仅列出了语义分割网络的一种结构形式，并不能视为对本实施例的约束，本实施例中的语义分割网络也可存在其他变形，如增加或减少下采样层的层数、分解残差模块的层数、上采样模块的层数以及调整各网络层的排布方式(包括下采样层与分解残差模块的先后顺序、上采样模块与分解残差模块的先后顺序等)等，保证上采样层和下采样层对称(数量一致)，使得经过编解码后得到相同尺寸的输出。

在一实施例中，分解残差模块包括多个卷积层和空洞卷积层，卷积层和空洞卷积层交错排布。空洞卷积包含一个空洞率参数，当设空洞率为5时，可在卷积核中填充(5-1)个0。通过对卷积核进行填充，可获取更大的感受野，以便于捕获多尺度的上下文信息。空洞卷积核及感受野的计算方式为常规技术手段，这里不再赘述。

分解残差模块参考了残差网络(ResNet)中的bottleneck结构设计，bottleneck相比non-bottleneck结构参数量少提高了计算效率，且层数多增加了整体的非线性。但严格来说，non-bottleneck结构的精度更高。本实施例将分解卷积应用到non-bottleneck结构中，使精度和参数量得以平衡。具体结构请参阅图2。图2中分解残差模块卷积层的卷积核可以为3X1，空洞卷积层的卷积核可设置为1X3.通过空洞卷积的交错使用，可获得更多的上下文信息进入下一层网络。通过分解残差模块可有效避免梯度小时或梯度爆炸等不利因素的产生。

在一实施例中，下采样模块包括卷积层、池化层和特征拼接层；分别通过卷积层和池化层对输入进行采样获取采样结果，并通过所述特征拼接层对所述采样结果进行拼接获取输出。具体结构可参阅图3，下采样模块分别使用步长为2的3x3卷积和maxpooling(最大池化)进行下采样。若卷积输出通道数为13，maxpooling输出通道数为3，则经过拼接层(concat)之后，通道数为16。网络架构从输入图像一开始就采用了多个下采样模块，从而大大减少了输入图像的尺寸，节省了大量的计算资源。

在一实施例中，上采样模块可采用常规的反卷积操作。在整个分割网络处理过程中，编码器首先采用两个下采样模块对输入图像进行滤波处理，然后接5个分解残差模块，之后再使用下采样模块进一步提取特征，最后使用了8个分解残差模块。解码器部分首先使用了一个上采样模块，然后使用两个分解残差模块，进一步又采用了一个上采样模块和两个分解残差模块，最终得到输出结果。

通过以上步骤获取分割网络的网络架构后，对该分割网络进行预训练。预先获取包含各种道路标识类别的样本图像。

在一实施例中，道路标识可包括：车道线、路面导引标识、路边标识牌等中的一种或多种。以车道线为例，通过人工标注其他标注方式对样本图像进行标注，构建训练样本集。使用开源语义分割标注工具labelme，得到原始图片及其对应的json格式标签文件。然后使用后处理脚本解析json文件得到以灰度图表示的标签文件。设置该灰度图的背景灰度值为0，白实线、黄实线、白虚线以及黄虚线所在范围内像素对应的灰度值分别为1、2、3、4。进而得到原始图像集与其对应的车道线语义分割灰度图像集。将所述灰度图集用于训练分割网络，得到最优的网络参数。

在步骤S02中，利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图：

将输入图像载入步骤S01中训练好的语义分割网络中，将多种车道线类别对应的车道线像素与背景像素分隔开。

在一实施例中，由于分割网络输出结果为包含不同车道线类别的灰度图，其中背景灰度值为0，白实线、黄实线、白虚线以及黄虚线分别对应的灰度值为1、2、3、4，同一车道线类别的不同实例在灰度图中的灰度值相同，因此需要对分割后的车道线进行实例化，以区分同类车道线中的不同实例。例如车道线为白虚线，由于虚线不连续，白虚线的每一个虚线段都可能对应该白虚线的一个实例。

在步骤S03中，根据所述灰度图识别出不同类别的道路标识：

请参与图4，在步骤S301-S303中，可对语义分割网络输出的灰度图中的像素点进行聚类，获取多个聚类类别。具体地，可根据灰度图中像素点的坐标值进行聚类，将坐标间距在预设阈值范围内的像素点归为一类，并为每个聚类类别创建一个键值，将键值与对应聚类中的像素点灰度值和坐标值关联。具体地，可采用哈希表创建键值，如可将像素点灰度值和坐标值组成的数组通过哈希函数计算映射到一个唯一的键值。在进行数据查询时，可通过该键值获取对应数组中的值。

在一实施例中，聚类算法可采用常规的K-means等算法。进一步地，可对聚类后，每个聚类类别中的像素点按照像素点的坐标值进行排序。具体地，可从灰度图左下角到右上角进行排序。

在步骤S304-310中，按照排序顺序对聚类类别中的像素点进行搜索，获取多个像素点组成的连通区域，并对连通区域进行拟合。

具体地，可采用邻域连通区域标记法对聚类类别中的像素点进行搜索。其中邻域连通区域标记法可包括四邻域连通区域标记法、八邻域连通区域标记法中的一种。以八邻域连通区域标记法为例，判断某一像素点八邻域中的最左，左上，最上，上右点的情况，如果都没有点，则表示一个新的区域的开始；如果该像素点八邻域中的最左有点，上右都有点，则标记该像素点为这两个中的最小的标记点，并修改大标记为小标记；如果该像素点八邻域中的左上有点，上右都有点，则标记此点为这两个中的最小的标记点，并修改大标记为小标记；否则按照最左，左上，最上，上右的顺序，标记该像素点为四个中的一个。

可从灰度图中通过像素点搜索，得到一个连通区域，作为初始计算的像素块。选取像素块中的多个像素点进行直线拟合，得到当前直线，进一步遍历像素块中的剩余像素点，判断剩余像素点与当前直线的距离是否小于设定的阈值，若小于设定阈值则继续搜索下一个连通区域对应的像素块，计算该连通区域的像素点与初始直线是否处于同一车道线对应的直线上，若是则结合两个连通区域的像素点进行重新拟合，对初始直线进行修正。进而得到同一车道线类别的多个实例。八邻域连通区域标记方法，在搜索过程中会同时判断当前像素块是否属于当前拟合直线，这可以将虚线中的不同线段归为同一实例。

请参阅图5，示例性地，假设存在像素块A和B，通过A中的像素点a、b、c、d进行直线拟合得到直线L1。B中像素点到L1的距离小于预设阈值范围，则判定A与B处于同一车道线类别对应的直线上。

在步骤S311-S312中，将同一车道线对应的多个实例采用多项式拟合得到车道线，具体地，可采用三次多项式拟合得到车道线。

在另一实施例中，道路标识也可包括其他线型结构(如菱形路边标识、网格路面标识等)、路边标识牌(限速标识、危险路段标识、减速标识等)等。在进行标识牌检测时，可直接通过灰度图进行像素点坐标值聚类得到标识牌中图案或数字等的外形特征，以便于通过识别算法进行分类识别。

本实施例提供了一种道路标识检测系统，用于执行前述方法实施例中所述的道路标识检测方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。

在一实施例中，道路标识检测系统，包括：

分割网络创建模块，用于构建语义分割网络；

灰度图获取模块，用于利用语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；

识别模块，用于根据灰度图识别出不同类别的道路标识。

可选地，语义分割网络包括编码器和解码器，通过编码器对输入图像进行特征提取，并通过解码器将提取的特征转换为灰度图；

其中，编码器包括分解残差模块和下采样模块；解码器包括分解残差模块和上采样模块。

可选地，包括聚类模块，用于从灰度图获取模块获取灰度图，并预设道路标识的各类别对应的灰度值，根据灰度图中像素点对应道路标识类别的灰度值，对灰度图中的像素点进行聚类，获取多个聚类类别，其中，道路标识的类别包括不同颜色与不同形状的组合。

可选地，包括直线拟合模块，用于当道路标识为线型标识时，根据聚类模块的输出，对聚类类别中的像素点进行直线拟合，获取同一道路标识类别的多个实例；

对同一道路标识类别的多个实例进行多项式拟合，获取对应的道路标识。

可选地，道路标识包括以下至少之一：车道线、路面导引标识、路边标识牌。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中道路标识检测方法所包含步骤的指令(instructions)。

图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图7为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。

综上所述，本发明一种道路标识检测方法、系统、设备和介质，能够应用于各种光照条件、道路标识磨损、遮挡程度的复杂道路交通场景；相较于其他的道路标识检测技术，本发明提出了对不同类别道路标识的检测方案，适用范围更广，特别是对不同颜色、不同线型道路标识的检测，为后续使用者提供了更多有价值的道路信息；此外，本发明在对虚线进行聚类时，属于同一虚线的线段被归为同一类，输出一条拟合曲线，符合实际情况。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (21)

1.一种道路标识检测方法，其特征在于，包括：

构建语义分割网络；

利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；

根据所述灰度图识别出不同类别的道路标识。

2.根据权利要求1所述的道路标识检测方法，其特征在于，所述语义分割网络包括编码器和解码器，通过所述编码器对输入图像进行特征提取，并通过所述解码器将提取的特征转换为所述灰度图；

其中，所述编码器包括分解残差模块和下采样模块；所述解码器包括分解残差模块和上采样模块。

3.根据权利要求2所述的道路标识检测方法，其特征在于，所述编码器的网络架构排布方式依次为：一个或多个下采样模块、一个或多个分解残差模块、一个或多个下采样模块、一个或多个分解残差模块；所述解码器的网络架构排布方式依次为：一个或多个上采样模块、一个或多个分解残差模块、一个或多个上采样模块、一个或多个分解残差模块、一个或多个上采样模块。

4.根据权利要求2所述的道路标识检测方法，其特征在于，所述分解残差模块包括多个卷积层和空洞卷积层，所述卷积层和空洞卷积层交错排列。

5.根据权利要求2所述的道路标识检测方法，其特征在于，所述下采样模块包括卷积层、池化层和拼接层；分别通过所述卷积层和所述池化层对输入进行采样获取采样结果，并通过所述拼接层将所述卷积层和所述池化层的所述采样结果连接，获取特征图。

6.根据权利要求1所述的道路标识检测方法，其特征在于，根据所述灰度图识别出不同类别的道路标识包括：预设所述道路标识的各类别对应的灰度值，根据所述灰度图中像素点对应道路标识类别的灰度值，对所述灰度图中的像素点进行聚类，获取多个聚类类别，其中，所述道路标识的类别包括不同颜色与不同形状的组合。

7.根据权利要求6所述的道路标识检测方法，其特征在于，所述对所述灰度图中的像素点进行聚类包括：在对所述灰度图中像素点的坐标值进行聚类，将坐标间距在预设阈值范围内的像素点作为一个所述聚类类别。

8.根据权利要求6所述的道路标识检测方法，其特征在于，当所述道路标识为线型标识时，对所述聚类类别中的像素点进行直线拟合，获取同一道路标识类别的多个实例；

对所述同一道路标识类别的多个实例进行多项式拟合，获取对应的道路标识。

9.根据权利要求8所述的道路标识检测方法，其特征在于，对所述聚类类别中的像素点进行搜索，获取多个像素点组成的连通区域，并对所述连通区域进行直线拟合。

10.根据权利要求9所述的道路标识检测方法，其特征在于，对所述连通区域进行直线拟合时，通过像素点搜索获取一个连通区域，并根据所述连通区域中的像素点进行直线拟合，获取初始直线；

根据所述连通区域以外的像素点与所述初始直线的距离，判断所述连通区域以外的像素点中是否存在另外一个或多个连通区域与所述初始直线处于同一直线上；若存在，则根据搜索到的另外所述一个或多个连通区域，重新进行直线拟合。

11.根据权利要求10所述的道路标识检测方法，其特征在于，采用邻域连通区域标记法对所述聚类类别中的像素点进行搜索，其中，所述邻域连通区域标记法包括以下之一：四邻域连通区域标记法、八邻域连通区域标记法。

12.根据权利要求11所述的道路标识检测方法，其特征在于，在对所述聚类类别中的像素点进行搜索前，对所述聚类类别中的像素点按坐标值进行排序。

13.根据权利要求1所述的道路标识检测方法，其特征在于，在对所述输入图像进行道路标识检测之前，预先获取包含各种道路标识类别的样本图像，并对所述样本图像中的道路标识进行标注，构建训练样本集；根据所述训练样本集中包含的道路标识类别，获取不同道路标识类别对应的样本灰度图；

通过所述样本灰度图进行网络训练，获取所述语义分割网络。

14.根据权利要求1所述的道路标识检测方法，其特征在于，所述道路标识包括以下至少之一：车道线、路面导引标识、路边标识牌。

15.一种道路标识检测系统，其特征在于，包括：

分割网络创建模块，用于构建语义分割网络；

灰度图获取模块，用于利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；

识别模块，用于根据所述灰度图识别出不同类别的道路标识。

16.根据权利要求15所述的道路标识检测系统，其特征在于，所述语义分割网络包括编码器和解码器，通过所述编码器对输入图像进行特征提取，并通过所述解码器将提取的特征转换为所述灰度图；

其中，所述编码器包括分解残差模块和下采样模块；所述解码器包括分解残差模块和上采样模块。

17.根据权利要求15所述的道路标识检测系统，其特征在于，包括聚类模块，用于从所述灰度图获取模块获取所述灰度图，并预设所述道路标识的各类别对应的灰度值，根据所述灰度图中像素点对应道路标识类别的灰度值，对所述灰度图中的像素点进行聚类，获取多个聚类类别，其中，所述道路标识的类别包括不同颜色与不同形状的组合。

18.根据权利要求17所述的道路标识检测系统，其特征在于，包括直线拟合模块，用于当所述道路标识为线型标识时，根据所述聚类模块的输出对所述聚类类别中的像素点进行直线拟合，获取同一道路标识类别的多个实例；

对所述同一道路标识类别的多个实例进行多项式拟合，获取对应的道路标识。

19.根据权利要求15所述的道路标识检测系统，其特征在于，所述道路标识包括以下至少之一：车道线、路面导引标识、路边标识牌。

20.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-14中一个或多个所述的方法。

21.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-14中一个或多个所述的方法。

Images