CN117746394A - 一种限速标志的识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种限速标志的识别方法、装置、电子设备及存储介质；该方法包括：获取道路图像；对道路图像进行检测，得到道路图像的检测结果；若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；其中，限速标志包括：最高限速、最低限速和解除限速；将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。本申请实施例能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性。

Description

一种限速标志的识别方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种限速标志的识别方法、装置、电子设备及存储介质。

背景技术

限速标志作为一种重要的道路标志，在无人驾驶或高精地图制作中起到非常重要的作用，对于限速标志的识别，不仅要检测出传感器视野范围内的限速标志，同时还要准确地识别出标志中的具体数字。

在现有技术中，可以采用以下四种方案对限速标志进行识别：1)预先建立道路限速标志数据库，通过车载相机获取的图像，在数据库中查找匹配相应的限速标志来完成识别，限速数据包括类型和数值。2)通过对采集到的限速标志图像进行二值化处理，分割出背景区域和前景区域，在此基础上对前景区域的像素点组成的连通区域进行分割处理，并将分割后的候选单个字符进行排序与分类，从而完成识别。3)根据Co-HOG特征建立圆形检测器，检测出图像中的限速标志，在此基础上针对每一个限速数值建立一个SVM验证器从而完成各个限速标志的数值分类。4)先利用训练好的检测器检测出限速标志，并对检测出的小图进行图像角度上的校正，再利用LSTM+注意力机制完成数字的识别。

在实现本申请的过程中，申请人发现现有技术中至少存在如下问题：

在上述方案1)中，由于数据长尾特性的原因，数据库中无法完全覆盖所有限速标志，例如在不同光照、角度以及标志脏污等情况，都会导致匹配时相似度下降，从而识别失败。在上述方案2)中，在对限速标志进行二值化时，需要设定分割的阈值，但同样由于光照、脏污等原因会导致分割失败，使得二值化后的连通区域产生缺失或者多余区域，从而影响单个字符的分割识别，这种二值化的方式过度依赖于分割结果的准确性，且采用阈值分割本身鲁棒性就不高。在上述方案3)中，虽然采用了Co-HOG特征圆形检测器，但交通标志中圆形标志有很多，例如限重标志、限高标志同样是圆形带有数字，因此单从圆形特征上进行检测会产生误识别；此外SVM是一个二分类器，对于限速标志的多种数字，需要构建多个SVM二分类器，圆形检测器检测出的结果分别同时送入多个SVM进行识别，计算效率较低。在上述方案4)中，虽然采用LSTM进行限速标志的数字识别，但LSTM采用的是RNN实现的，RNN网络是无法进行并行计算的，而在自动驾驶中的计算功能均在GPU中完成，主要是利用GPU的并行计算能力，因此LSTM在计算效率以及后期部署上均无法满足自动驾驶的要求。

发明内容

本申请提供一种限速标志的识别方法、装置、电子设备及存储介质，能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性。

第一方面，本申请实施例提供了一种限速标志识别方法，所述方法包括：

获取道路图像；

对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；

若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

第二方面，本申请实施例还提供了一种限速标志识别装置，所述装置包括：获取模块、检测模块和识别模块；其中，

所述获取模块，用于获取道路图像；

所述检测模块，用于对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

所述识别模块，用于将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

第三方面，本申请实施例提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的限速标志识别方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任意实施例所述的限速标志识别方法。

本申请实施例提出了一种限速标志识别方法、装置、电子设备及存储介质，先获取道路图像；然后对道路图像进行检测，得到道路图像的检测结果；若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；再将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果。也就是说，在本申请的技术方案中，可以通过多标签分类模型对限速标志进行识别；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。而在现有技术中，识别结果不够准确，鲁棒性不高，而且计算效率较低。因此，和现有技术相比，本申请实施例提出的限速标志识别方法、装置、电子设备及存储介质，能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

附图说明

图1为本申请实施例提供的限速标志识别方法的第一流程示意图；

图2为本申请实施例提供的限速标志识别方法的第二流程示意图；

图3为本申请实施例提供的多标签分类模型的结构示意图；

图4为本申请实施例提供的多标签分类流程的示意图；

图5为本申请实施例提供的子图裁剪方法的第一流程示意图；

图6为本申请实施例提供的子图裁剪方法的第二流程示意图；

图7为本申请实施例提供的限速标志识别装置的结构示意图；

图8为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

实施例一

图1为本申请实施例提供的限速标志识别方法的第一流程示意图，该方法可以由限速标志识别装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，限速标志识别方法可以包括以下步骤：

S101、获取道路图像。

在本步骤中，电子设备可以获取道路图像。具体地，获取道路图像可以采用以下方式之一：1)使用智能手机或摄像头进行拍摄：将智能手机或摄像头指向道路并拍摄照片，然后从相册中获取所拍摄的道路图像。2)使用卫星图像：使用卫星图像提供商的服务，通过输入特定地区的坐标或地址来获取该地区的道路图像。3)使用在线地图服务：许多在线地图服务提供街景功能，可以通过输入特定地点的地址或坐标来获取该地点的道路图像。

S102、对道路图像进行检测，得到道路图像的检测结果；其中，检测结果包括：包含限速标志和不包含限速标志。

在本步骤中，电子设备可以对道路图像进行检测，得到道路图像的检测结果；其中，检测结果包括：包含限速标志和不包含限速标志。具体地，电子设备可以将道路图像输入至预先训练好的神经网络模型中，通过该神经网络模型输出道路图像的检测结果。

S103、若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；其中，限速标志包括：最高限速、最低限速和解除限速。

在本步骤中，若检测结果为包含限速标志，则电子设备可以在道路图像中裁剪出只包括限速标志的子图；其中，限速标志包括：最高限速、最低限速和解除限速。具体地，电子设备可以先依据道路图像获取各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离；然后根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在道路图像中裁剪出子图。

S104、将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

在本步骤中，电子设备可以将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。具体地，电子设备可以先将子图输入至预先训练好的多标签分类模型，通过多标签分类模型计算百位分类中的各个类别数对应的概率、十位分类中的各个类别数对应的概率和个位分类中的各个类别数对应的概率；然后在百位分类中的全部的类别数对应的概率中提取出概率最大的类别数、在十位分类中的全部的类别数对应的概率中提取出概率最大的类别数，在个位分类中的全部的类别数对应的概率中提取出概率最大的类别数；再根据在百位分类中提取出的概率最大的类别数、在十位分类中提取出的概率最大的类别数和在个位分类中提取出的概率最大的类别数，得到限速标志的最终识别结果。

本申请实施例提出的限速标志识别方法，先获取道路图像；然后对道路图像进行检测，得到道路图像的检测结果；若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；再将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果。也就是说，在本申请的技术方案中，可以通过多标签分类模型对限速标志进行识别；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。而在现有技术中，识别结果不够准确，鲁棒性不高，而且计算效率较低。因此，和现有技术相比，本申请实施例提出的限速标志识别方法，能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例二

图2为本申请实施例提供的限速标志识别方法的第二流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图2所示，限速标志识别方法可以包括以下步骤：

S201、获取道路图像。

S202、对道路图像进行检测，得到道路图像的检测结果；其中，检测结果包括：包含限速标志和不包含限速标志。

S203、若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；其中，限速标志包括：最高限速、最低限速和解除限速。

在本步骤中，若检测结果为包含限速标志，则电子设备可以在道路图像中裁剪出只包括限速标志的子图；其中，限速标志包括：最高限速、最低限速和解除限速。具体地，电子设备可以先依据道路图像获取各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离；然后根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在道路图像中裁剪出子图。

S204、将子图输入至预先训练好的多标签分类模型，通过多标签分类模型计算百位分类中的各个类别数对应的概率、十位分类中的各个类别数对应的概率和个位分类中的各个类别数对应的概率。

S205、在百位分类中的全部的类别数对应的概率中提取出概率最大的类别数、在十位分类中的全部的类别数对应的概率中提取出概率最大的类别数，在个位分类中的全部的类别数对应的概率中提取出概率最大的类别数。

S206、根据在百位分类中提取出的概率最大的类别数、在十位分类中提取出的概率最大的类别数和在个位分类中提取出的概率最大的类别数，得到限速标志的最终识别结果。

图3为本申请实施例提供的多标签分类模型的结构示意图。如图3所示，；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头；其中，第一多标签分类头为百位数字分类对应的多标签分类头，第二多标签分类头为十位数字分类对应的多标签分类头，第三多标签分类头为个位数字分类对应的多标签分类头；其中，第一多标签分类头包括两个类别数，分别为：1、X；第二多标签分类头包括11个类别数，分别为：0、1、2、3、4、5、6、7、8、9、X；第三多标签分类头包括两个类别数，分别为：0、5。

图4为本申请实施例提供的多标签分类流程的示意图。如图4所示，多标签分类模型的输入是根据检测结果从原图中裁剪出的子图，子图中只包括限速标志：最高限速、最低限速或者取消限速，特征提取层采用MobileNet网络结构，后面接全连接层FC，将多维张量转换成一维张量，最后是多标签分类头，共有三个多标签分类头，每个多标签分类头与全连接层独立连接，多标签分类头之间互不相连，第一多标签分类头用于百位数字分类，类别数为两类，分别表示数字1和没有百位数字(用X表示)，第二多标签分类头用于十位数字分类，类别数为11类，分别表示数字0到9以及没有十位数字(用X表示)，第三多标签分类头用于个位数字分类，类别数是两类，分别表示数字0和5，其中每个多标签分类头采用softmax激活函数，损失函数采用交叉熵函数。例如，限速30根据多标签分类的结果为“X30”，如图4所示，第一步，将限速标志子图缩放到32×32分辨率，并输入至多标签分类模型；第二步，利用MobileNet网络结构对图像进行特征提取，并对最后的特征层进行形状的重塑(reshape)，将多维特征图转换为一维特征向量；第三步，将一维特征向量与全连接层进行连接，实现特征的交叉组合；第四步，将全连接层分别与多标签分类头进行连接，每个多标签分类头采用softmax激活函数，限速30由于没有百位数字，因此，百位分类头X的输出概率较高为0.8，表示“没有百位数字”，将输出的两个概率经过argmax函数，即可获得概率最高对应的位置，即“X”所在的位置。同理，十位数字由于是“3”，所以3的输出概率最高为0.8，将所有概率经过argmax函数，即可获得概率最高对应的位置即“3”所在的位置，同理，个位获得概率最高对应的位置为“0”所在的位置，最后将3个多标签分类头的结果拼接到一起，即可获得“X30”，从而识别出限速数值为“30”。

本申请实施例提出的限速标志识别方法，先获取道路图像；然后对道路图像进行检测，得到道路图像的检测结果；若检测结果为包含限速标志，则在道路图像中裁剪出只包括限速标志的子图；再将子图输入至预先训练好的多标签分类模型，通过多标签分类模型对限速标志进行识别，得到限速标志的最终识别结果。也就是说，在本申请的技术方案中，可以通过多标签分类模型对限速标志进行识别；其中，多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。而在现有技术中，识别结果不够准确，鲁棒性不高，而且计算效率较低。因此，和现有技术相比，本申请实施例提出的限速标志识别方法，能够在复杂的背景中准确快速地检测出限速标志，具有较高的鲁棒性和泛化性；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。

实施例三

图5为本申请实施例提供的子图裁剪方法的第一流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图5所示，在道路图像中裁剪出只包括限速标志的子图的方法可以包括以下步骤：

S501、依据道路图像获取各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离。

在本步骤中，电子设备可以依据道路图像获取各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离。具体地，电子设备可以先将道路图像输入至预先训练好的特征提取网络，通过特征提取网络输出道路图像的图像特征；然后将道路图像的图像特征输入至预先训练好的FPN结构，通过FPN结构输出道路图像的尺度特征；其中，尺度特征包括：浅层表征信息和深层语义信息；再将道路图像的尺度特征输入至预先训练好的检测头，通过检测头输出各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离。

S502、根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在道路图像中裁剪出子图。

在本步骤中，电子设备可以根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在道路图像中裁剪出子图。具体地，电子设备可以先根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离，计算各个潜在的中心点对应的中心度；然后根据各个潜在的中心点对应的中心度，在道路图像中筛选出符合要求的像素点，由符合要求的像素点得到2D框。

本申请实施例提出的子图裁剪方法，根据各个潜在的中心点到2D框四边距离在道路图像中裁剪出子图，优点在于：1)提高目标识别的准确性：通过裁剪出子图，可以将目标的图像区域单独提取出来，减少了背景噪声和不相关区域的干扰，从而提高了目标识别的准确性。2)减少计算资源的消耗：对整幅道路图像进行目标识别通常需要耗费大量的计算资源，而裁剪出子图后，可以只针对感兴趣的目标区域进行识别，减少了计算资源的消耗，提高了运行效率。3)加速目标识别的速度：通过裁剪出子图，减少了待识别的图像区域大小，可以加速目标识别的速度，特别是在大规模图像集合中进行目标检测时，有效避免了对整幅图像进行逐像素的扫描。4)简化目标识别算法：由于裁剪出的子图相对于原始图像而言，尺寸更小，背景上下文信息更少，因此目标识别算法可以更专注于目标区域的特征提取和分类，简化了目标识别算法的设计与实现。

实施例四

图6为本申请实施例提供的子图裁剪方法的第二流程示意图。基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。如图6所示，在道路图像中裁剪出只包括限速标志的子图的方法可以包括以下步骤：

S601、将道路图像输入至预先训练好的特征提取网络，通过特征提取网络输出道路图像的图像特征。

在本步骤中，电子设备可以将道路图像输入至预先训练好的特征提取网络，通过特征提取网络输出道路图像的图像特征。特征提取网络是指在深度学习中用于从原始数据中提取有用特征的神经网络模型。常见的特征提取网络可以包括卷积神经网络(Convolutional Neural Networks，简称CNN)和预训练模型，如VGG、ResNet和Inception等。这些网络通常包含多个卷积层和池化层，在层与层之间逐渐减少图像的空间尺寸，同时增加特征的抽象程度。最后，通过全连接层或其他方法，将高维特征映射到具体的类别或属性上。特征提取网络的训练通常通过端到端的方式进行。首先，使用大量标注数据对网络进行训练，以学习得到有效的特征表示。然后，可以在特定任务上微调这些网络，以适应特定的数据分布和任务要求。

S602、将道路图像的图像特征输入至预先训练好的FPN结构，通过FPN结构输出道路图像的尺度特征；其中，尺度特征包括：浅层表征信息和深层语义信息。

在本步骤中，电子设备可以将道路图像的图像特征输入至预先训练好的FPN结构，通过FPN结构输出道路图像的尺度特征；其中，尺度特征包括：浅层表征信息和深层语义信息。FPN结构是一种用于目标检测和语义分割任务的网络结构。FPN结构可以提取不同尺度的特征，包括浅层表征信息和深层语义信息，避免由于网络深度过深，造成小目标特征丢失。FPN结构主要包含两个部分：首先是底层特征图与上层特征图之间的特征金字塔构建，其次是通过跨层级特征融合来提高特征的语义表达能力。为了综合利用底层特征和上层特征，FPN结构采用了自下而上和自上而下的连接方式，构建了特征金字塔。自下而上的过程是通过从底层特征图提取特征，获得多个尺度的特征图；自上而下的过程是通过上采样和与相同层级特征图融合，得到不同分辨率的特征图，使得底层特征图可以融合更高层次的语义信息。在特征融合过程中，FPN结构引入了横向连接和特征融合。横向连接从高层特征图中通过1×1卷积得到与底层特征图具有相同维度的特征图，然后与上采样后的高层特征图进行元素级的加和操作。这样，在不同层级的特征图融合后，可以同时保留底层和高层的信息，使得特征具有较好的语义表达能力。FPN结构的优势在于它可以利用不同尺度的特征图来处理不同大小的目标，从而提高目标检测和语义分割任务的性能。

S603、将道路图像的尺度特征输入至预先训练好的检测头，通过检测头输出各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离。

在本步骤中，电子设备可以将道路图像的尺度特征输入至预先训练好的检测头，通过检测头输出各个潜在的中心点到2D框四边距离，分别为：l、r、t、b；其中，l为各个潜在的中心点到2D框的左边的距离、r为各个潜在的中心点到2D框的右边的距离、t为各个潜在的中心点到2D框的上边的距离、b为各个潜在的中心点到2D框的下边的距离。

S604、根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在道路图像中裁剪出子图。

在本步骤中，电子设备可以根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在道路图像中裁剪出子图。具体地，电子设备可以先根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离，计算各个潜在的中心点对应的中心度；然后根据各个潜在的中心点对应的中心度，在道路图像中筛选出符合要求的像素点，由符合要求的像素点得到2D框。由于真正的中心点一定是接近于标志的几何中心点，因此定义中心度(min(l,r)×min(t,b)/max(l,r)×max(t,b))，用于筛选掉潜在中心点偏离几何中心点较远的回归结果。

本申请实施例提出的子图裁剪方法，根据各个潜在的中心点对应的中心度，在道路图像中筛选出符合要求的像素点，优点在于：1)减少误判：通过筛选出中心度较高的像素点，可以有效地减少对其他非道路区域的误判。这样可以提高道路识别的准确性和可靠性。2)加快处理速度：通过筛选出中心度较高的像素点，可以降低处理的复杂度和计算量。只对符合要求的像素点进行进一步处理，可以提高道路图像处理的速度。3)提高道路连续性：通过选择中心度较高的像素点，可以保证道路的连续性。这样可以消除道路中断的情况，提高道路的可读性和可行性。4)提高图像视觉效果：通过筛选出中心度较高的像素点，可以优化道路图像的视觉效果。将中心度较高的像素点突出显示或着色，可以更清晰地显示道路的轮廓和线条，提高图像的可视化效果。

实施例五

图7为本申请实施例提供的限速标志识别装置的结构示意图。如图7所示，所述限速标志识别装置包括：获取模块701、检测模块702和识别模块703；其中，

所述获取模块701，用于获取道路图像；

所述检测模块702，用于对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

所述识别模块703，用于将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

上述限速标志识别装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的限速标志识别方法。

实施例六

图8为本申请实施例提供的电子设备的结构示意图。图8示出了适于用来实现本申请实施方式的示例性电子设备的框图。图8显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的限速标志识别方法。

实施例七

本申请实施例提供了一种计算机存储介质。

本申请实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种限速标志的识别方法，其特征在于，所述方法包括：

获取道路图像；

对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；

若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

2.根据权利要求1所述的方法，其特征在于，将所述子图输入至预先训练好的多标签分类模型中，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果，包括：

将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型计算百位分类中的各个类别数对应的概率、十位分类中的各个类别数对应的概率和个位分类中的各个类别数对应的概率；

在所述百位分类中的全部的类别数对应的概率中提取出概率最大的类别数、在所述十位分类中的全部的类别数对应的概率中提取出概率最大的类别数，在所述个位分类中的全部的类别数对应的概率中提取出概率最大的类别数；

根据在所述百位分类中提取出的概率最大的类别数、在所述十位分类中提取出的概率最大的类别数和在所述个位分类中提取出的概率最大的类别数，得到所述限速标志的最终识别结果。

3.根据权利要求2所述的方法，其特征在于，将所述子图输入至预先训练好的多标签分类模型中，通过所述多标签分类模型计算百位分类中的类别数对应的概率、十位分类中的类别数对应的概率和个位分类中的类别数对应的概率，包括：

将所述子图输入至所述多标签分类模型的特征提取层，通过所述特征提取层输出多维特征图；

将所述多维特征图输入至所述多标签分类模型的全连接层，通过所述全连接层将所述多维特征图转换为一维特征向量；

将所述一维特征向量输入至所述第一多标签分类头、所述第二多标签分类头和所述第三多标签分类头，通过所述第一多标签分类头输出百位数字分类的各个类别数对应的概率，通过所述第二多标签分类头输出十位数字分类的各个类别数对应的概率，通过所述第三多标签分类头输出个位数字分类的各个类别数对应的概率。

4.根据权利要求3所述的方法，其特征在于，所述第一多标签分类头为所述百位数字分类对应的多标签分类头，所述第二多标签分类头为所述十位数字分类对应的多标签分类头，所述第三多标签分类头为所述个位数字分类对应的多标签分类头；其中，所述第一多标签分类头包括两个类别数，分别为：1、X；所述第二多标签分类头包括11个类别数，分别为：0、1、2、3、4、5、6、7、8、9、X；所述第三多标签分类头包括两个类别数，分别为：0、5。

5.根据权利要求1所述的方法，其特征在于，在所述道路图像中裁剪出只包括所述限速标志的子图，包括：

依据所述道路图像获取各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离；

根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，并通过2D框在所述道路图像中裁剪出所述子图。

6.根据权利要求5所述的方法，其特征在于，依据所述道路图像获取各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离，包括：

将所述道路图像输入至预先训练好的特征提取网络，通过所述特征提取网络输出所述道路图像的图像特征；

将所述道路图像的图像特征输入至预先训练好的FPN结构，通过所述FPN结构输出所述道路图像的尺度特征；其中，所述尺度特征包括：浅层表征信息和深层语义信息；

将所述道路图像的尺度特征输入至预先训练好的检测头，通过所述检测头输出各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离。

7.根据权利要求5所述的方法，其特征在于，根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离获取2D框，包括：

根据各个潜在的中心点到2D框的左边的距离、各个潜在的中心点到2D框的右边的距离、各个潜在的中心点到2D框的上边的距离和各个潜在的中心点到2D框的下边的距离，计算各个潜在的中心点对应的中心度；

根据各个潜在的中心点对应的中心度，在所述道路图像中筛选出符合要求的像素点，由所述符合要求的像素点得到2D框。

8.一种限速标志的识别装置，其特征在于，所述装置包括：获取模块、检测模块和识别模块；其中，

所述获取模块，用于获取道路图像；

所述检测模块，用于对所述道路图像进行检测，得到所述道路图像的检测结果；其中，所述检测结果包括：包含限速标志和不包含限速标志；若所述检测结果为包含限速标志，则在所述道路图像中裁剪出只包括所述限速标志的子图；其中，所述限速标志包括：最高限速、最低限速和解除限速；

所述识别模块，用于将所述子图输入至预先训练好的多标签分类模型，通过所述多标签分类模型对所述限速标志进行识别，得到所述限速标志的最终识别结果；其中，所述多标签分类模型包括：特征提取层、全连接层和三个多标签分类头；所述三个多标签分类头包括：第一多标签分类头、第二多标签分类头和第三多标签分类头。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的限速标志的识别方法。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的限速标志的识别方法。