CN113361483B - 一种交通限速标志检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种交通限速标志检测方法、装置、设备及存储介质。该方法包括：获取待检测图像，并将待检测图像转换为HSV图像；根据HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；根据红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从待检测图像中提取出目标区域图像，并通过拼接目标区域图像得到目标拼接图像；利用预先经过历史目标拼接图像训练得到的目标检测模型对目标拼接图像进行交通限速标志检测，并将检测结果框还原至待检测图像以得到检测后图像。提高了交通限速标志检测的准确性和速度。

Description

一种交通限速标志检测方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种交通限速标志检测方法、装置、设备及存储介质。

背景技术

当前，限速标志检测是智能交通的重要前提和基础，由于背景的复杂性，且限速标志目标过小，对其仅采用目标识别的方法检测十分困难，召回率和准确率均不高。再加上车辆在道路上行驶时，速度比较快，增加了检测难度。

现有技术中，限速标志检测主要包括以下几种：

(1)直接对全图进行分块目标检测。即直接对全图进行分块目标检测的方法，但会使得一张图片至少需要检测两次，检测的速度明显下降。

(2)利用圆形辅助提取限速标志区域再对该区域进行检测。基于圆形检测结合目标识别算法进行交通标志检测，但其进行圆形检测涉及到大量的计算，预处理会耗费大量的时间，也会相应的拖慢单帧检测的时间。

(3)使用颜色辅助提取限速标志区域再对该区域进行检测。具体利用HSV颜色空间和RGB颜色空间对不同颜色的交通标志进行粗检测，然后利用模板匹配的方法对交通标志进行检测，但该方法粗检测的效果较差，且模版匹配降低了检测速度。

因此如何及时准确地检测出道路旁的限速标志是目前亟需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种交通限速标志检测方法、装置、设备及介质，能够提高交通限速标志检测的准确度和速度。其具体方案如下：

第一方面，本申请公开了一种交通限速标志检测方法，包括：

获取待检测图像，并将所述待检测图像转换为HSV图像；

根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；

根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；

利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。

可选的，所述根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像，包括：

根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图；

根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图；

基于所述列片段原图得到所述目标拼接图像。

可选的，所述根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图，包括：

根据第一预设分割参数，以行为分割方向对所述红色阈值二值图像进行分割得到多个行区域图像，并对每个行区域图像赋予相应的序号作为行索引值；

根据每个所述行区域图像的非0像素个数和第一预设阈值，从所述多个行区域图像中筛选出目标行区域图像；

通过拼接所述目标行区域图像得到行片段红色二值图，并根据所述目标行区域图像的所述行索引值分别对所述蓝色阈值二值图像和所述待检测图像按行分割并拼接，以得到与所述行片段红色二值图对应的行片段蓝色二值图和行片段原图。

可选的，所述根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图，包括：

根据第二预设分割参数，以列为分割方向分别对所述行片段红色二值图和所述行片段蓝色二值图进行分割得到多个列区域图像；

对所述行片段红色二值图中每个列区域图像赋予相应的序号作为红色二值图列索引值，并对所述行片段蓝色二值图中每个列区域图像赋予相应的序号作为蓝色二值图列索引值；

根据所述行片段红色二值图中每个列区域图像的非0像素个数和所述第一预设阈值，从所述行片段红色二值图的多个列区域图像中筛选出第一目标列区域图像子集；

根据所述行片段蓝色二值图中每个列区域图像的非0像素个数和第二预设阈值，从所述行片段蓝色二值图的多个列区域图像中筛选出第二目标列区域图像子集；

根据所述第一目标列区域图像子集对应的所述红色二值图列索引值，以及所述第二目标列区域图像子集对应的所述蓝色二值图列索引值，对所述行片段原图按列分割并拼接，以得到列片段原图。

可选的，所述基于所述列片段原图得到所述目标拼接图像，包括：

判断所述列片段原图的宽高比是否在预设比值范围内；

若所述宽高比大于所述预设比值范围的上限，则按宽对所述列片段原图进行对半裁剪，并对裁剪后图像进行上下拼接以得到所述目标拼接图像；

若所述宽高比小于所述预设比值范围的下限，则按高对所述列片段原图进行对半裁剪，并对裁剪后图像进行左右拼接以得到所述目标拼接图像。

可选的，所述目标检测模型的创建过程，包括：

获取包含TT100K数据集的目标数据集；

确定出所述目标数据集中每张图片对应的历史目标拼接图像，并对所述历史目标拼接图像添加相应的标注，以得到增广数据集；

基于所述目标数据集和所述增广数据集得到训练数据集；

基于卷积神经网络进行网络构建以得到待训练网络；

利用所述训练数据集对所述待训练网络进行训练，以得到所述目标检测网络。

可选的，所述将检测结果还原至所述待检测图像之后，还包括：

检测所述检测后图像中相邻两个所述检测结果框的距离；

若所述距离小于预设距离阈值，则利用非极大值抑制算法剔除所述检测后图像中的冗余检测结果框。

第二方面，本申请公开了一种交通限速标志检测装置，包括：

图像获取及格式转换模块，用于获取待检测图像，并将所述待检测图像转换为HSV图像；

二值化模块，用于根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；

分割及拼接模块，用于根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；

检测模块，用于利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述的交通限速标志检测方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的交通限速标志检测方法。

本申请中，获取待检测图像，并将所述待检测图像转换为HSV图像；根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。可见，针对限速交通标志目标小的特点，并且根据限速交通标识颜色特点，根据颜色阈值对图像进行切割，再将图像中感兴趣的区域拼接成一张目标拼接图像，然后只对由多个感兴趣区域拼接得到的目标拼接图像进行检测，提高了目标检测模型的评价指标(Mean Average Precision，MAP)，保证了检测的速度和精度，提高了交通限速标识检测的效率。并且，本申请不会对小连通区域进行去除，保留了原始的小目标所在的原始像素区域，采用整块颜色阈值进行切割的思想，也有效的去除了整张图上多个目标之间的无效信息，保证了召回率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种交通限速标志检测方法流程图；

图2为本申请提供的一种限速交通标志原图；

图3为本申请提供的一种红色阈值二值图；

图4为本申请提供的一种蓝色阈值二值图；

图5为本申请提供的一种行片段红色二值图；

图6为本申请提供的一种行片段蓝色二值图；

图7为本申请提供的一种行片段原图；

图8为本申请提供的一种列片段原图；

图9为本申请提供的一种目标拼接图；

图10为本申请提供的一种含有检测结果的目标拼接图；

图11为本申请提供一种检测后图像；

图12为本申请提供的一种具体的交通限速标志检测方法流程图；

图13为本申请提供的一种具体的交通限速标志检测方法流程图；

图14为本申请提供的一种临近框抑制后的检测后图像；

图15为本申请提供的一种交通限速标志检测装置结构示意图；

图16为本申请提供的一种电子设备结构图。

具体实施方式

现有技术中，通过使用颜色辅助提取限速标志区域再对该区域进行检测。具体利用HSV颜色空间和RGB颜色空间对不同颜色的交通标志进行粗检测，然后利用模板匹配的方法对交通标志进行检测，但该方法粗检测的效果较差，且模版匹配降低了检测速度。为克服上述技术问题，本申请提出一种交通限速标志检测方法，能够提高交通限速标志检测的效率。

本申请实施例公开了一种交通限速标志检测方法，参见图1所示，该方法可以包括以下步骤：

步骤S11：获取待检测图像，并将所述待检测图像转换为HSV(Hue,Saturation,Value)图像。可以理解的是，通常拍摄获取得到的图像为RGB图像，如图2所示的限速交通标志原图，通过转换将待检测图像的颜色空间由RGB转换为HSV图像。具体的，可以通过直接调用opencv的函数cv2.cvtColor(src,cv2.COLOR_BGR2HSV)实现颜色空间转换。

步骤S12：根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度。

本实施例中，得到HSV图像后，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对上述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像。可以理解的是，得到HSV图像后，先对限速标志的颜色进行提取。目前限速标志包括限高速和限低速，限高速的主要颜色为红色，限低速的主要颜色为蓝色，根据HSV颜色空间可知，其中红色对应的第一颜色参数阈值为H∈(0,8)∪(156,180)、S∈(43,255)、V∈(46,255)，蓝色对应的第二颜色参数阈值为H∈(100,124)、S∈(43,255)、V∈(46,255)，其中，H为色调Hue，S为饱和度Saturation，V为明度Value，然后根据得到的第一颜色参数阈值对HSV图像进行二值化处理以得到一张对应的红色阈值二值图像，如图3所示，即确定出待检图像中包含红色圆环外圈的限高速标志；并根据得到的第二颜色参数阈值对HSV图像进行二值化处理以得到一张对应的蓝色阈值二值图像，如图4所示，即确定出待检图像中白字蓝底的限低速标志，可见图4中从左往右分别为限低速80和两个限低速60。

步骤S13：根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像。

本实施例中，根据上述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从上述待检测图像中提取出目标区域图像，并通过拼接目标区域图像得到目标拼接图像。可以理解的是，红色阈值二值化图像可以清晰反映出图像中红颜色区域，蓝色阈值二值化图像可以清晰反映出图像中蓝颜色区域，通过二值化图像统计颜色信息，对图像中感兴趣的目标区域进行提取、分割和拼接，得到含有感兴趣区域的目标拼接图像。

本实施例中，所述根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像，可以包括：根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图；根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图；基于所述列片段原图得到所述目标拼接图像。

本实施例中，所述根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图，可以包括：根据第一预设分割参数，以行为分割方向对所述红色阈值二值图像进行分割得到多个行区域图像，并对每个行区域图像赋予相应的序号作为行索引值；根据每个所述行区域图像的非0像素个数和第一预设阈值，从所述多个行区域图像中筛选出目标行区域图像；通过拼接所述目标行区域图像得到行片段红色二值图，并根据所述目标行区域图像的所述行索引值分别对所述蓝色阈值二值图像和所述待检测图像按行分割并拼接，以得到与所述行片段红色二值图对应的行片段蓝色二值图和行片段原图。

可以理解的是，根据限速标志的排列显示特点，首先根据红色阈值二值化图像按行进行分割，因为通常限低速标识和限高速标志并排显示，并且由于限速标志主要是限高速标志，限低速标志一般只在高速路上出现且会和限高速标志一起出现，故先对红色阈值二值图按行进行分块分析，提取出含有限速标志的目标行区域图像，并通过拼接上述目标行区域图像得到相应的行片段原图。如原图大小为2048*2048，按102间距将2048*2048的图像分割为20个2048*102的小区域，最后8个像素可以不考虑，其中2048为图像的宽，102为图像的高。统计各个小区域中像素不为0的个数，也就是原图中像素颜色为红色的个数。当该区域颜色的个数大于第一预设阈值，则记录该区域的索引值。本实施例中第一预设阈值可以为60。然后取索引值部分的图像进行行片段图像拼接。例如，对图3中的红色阈值二值图进行行区域颜色分析，行区域颜色列表为[0,0,0,0,0,0,0,2795,0,44,122,112,89,3,0,0,0,0,0,0]，第一预设阈值为60，得到索引列表为[7,10,11,12]按照索引列表对其原图以及红色和蓝色阈值二值图进行行片段分割拼接，分别得到如图5所示的行片段红色二值图、如图6所示的行片段蓝色二值图以及如图7所示的行片段原图。

本实施例中，所述根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图，可以包括：根据第二预设分割参数，以列为分割方向分别对所述行片段红色二值图和所述行片段蓝色二值图进行分割得到多个列区域图像；对所述行片段红色二值图中每个列区域图像赋予相应的序号作为红色二值图列索引值，并对所述行片段蓝色二值图中每个列区域图像赋予相应的序号作为蓝色二值图列索引值；根据所述行片段红色二值图中每个列区域图像的非0像素个数和所述第一预设阈值，从所述行片段红色二值图的多个列区域图像中筛选出第一目标列区域图像子集；根据所述行片段蓝色二值图中每个列区域图像的非0像素个数和第二预设阈值，从所述行片段蓝色二值图的多个列区域图像中筛选出第二目标列区域图像子集；根据所述第一目标列区域图像子集对应的所述红色二值图列索引值，以及所述第二目标列区域图像子集对应的所述蓝色二值图列索引值，对所述行片段原图按列分割并拼接，以得到列片段原图。

本实施例中，将行片段红色二值图，假如大小为2048*816，816为拼接后的图片的高，按列进行列块分析，统计各个列区域中像素不为0的个数，根据第一预设阈值筛选，得到红色二值图列分块索引。

同时将行片段蓝色二值图，按列进行列块分析。由于限低速同高速一般处于同一水平线上，进行列分块搜索颜色时，若限低速交通标志和限高速交通标志被分区进行颜色按列筛选，只进行红色阈值分析，则会导致限低速交通标志无法检测，因此需同步进行行片段蓝色二值图阈值查找。此外行片段蓝色二值图的阈值，由于为了最大限度的保留图片的颜色信息，并未对图片做去除小的连通区域处理，因此图片含有大量的噪声，而其中根据日常场景可知，蓝色的噪声过多，因此选取蓝色阈值时可以选取较大的阈值，本实施例中第二预设阈值可以为1000，根据第二预设阈值筛选得到蓝色二值图列分块索引，根据两个二值图上超过阈值的索引，将其合并为最终的列片段索引。利用列片段索引对行片段原图进行列片段图像拼接，得到列片段原图。

例如，对行片段红色二值图进行列区域颜色分析，行片段红色二值图列区域像素值为[107,24,0,83,0,0,0,900,8,923,151,813,0,0,21,67,0,0,0,18]，阈值为20，得到索引列表为[0,1,3,7,9,10,11,14,15]，行片段蓝色二值图的列区域像素值为[488,283,7,0,0,0,0,186,1719,382,1527,557,1318,0,1,283,529,252,0,245]，阈值为1000，得到索引列表为[8,10,12]，综合红色和蓝色索引列表，得到最终的列片段索引列表为[0,1,3,7,8,9,10,11,12,14,15]，按照索引列表对原图的行片段拼接图进行列片段分割拼接，得到如图8所示的列片段原图。

本实施例中，所述基于所述列片段原图得到所述目标拼接图像，可以包括：判断所述列片段原图的宽高比是否在预设比值范围内；若所述宽高比大于所述预设比值范围的上限，则按宽对所述列片段原图进行对半裁剪，并对裁剪后图像进行上下拼接以得到所述目标拼接图像；若所述宽高比小于所述预设比值范围的下限，则按高对所述列片段原图进行对半裁剪，并对裁剪后图像进行左右拼接以得到所述目标拼接图像。

可以理解的是，通常输入图片会经过缩放至模型输入的尺寸规格，且为了尽可能的保证图片不失真，一般会对图片进行等比例缩放，也即会对输入的宽高选择二者之间大的比例系数进行缩放，尽可能保证图像的宽高比接近，以便使图像的缩放系数减小，尽可能的使喂入模型中待检测目标占图像的比例大。比如，模型要求输入大小为640*640，拼接图像大小为1122*408，待检测目标大小为100*100，若不对其进行减半拼接，按照等比例缩放后输入模型的图像为640*233，相应的待检测目标大小为57，增加了检测的难度；本实施例中通过对其进行减半拼接，拼接图像大小为561*816，同理可得相应待检测目标大小为79，由此减小了待检测目标的缩放系数，进而提高了检测的准确率。

本实施例中，预设比值范围可以为(0.5,2)，即判断列片段原图其宽高比是否大于2或者小于0.5，若大于2，则将其按宽裁成两部分，对图像进行上下拼接得到拼接后的目标拼接图像；若小于0.5，则将其按高裁成两部分，对图像进行左右拼接得到拼接后的目标拼接图像，如图9所述，以保证图像的宽高比接近1。

步骤S14：利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。

本实施例中，得到目标拼接图像后，利用预先经过历史目标拼接图像训练得到的目标检测模型对上述目标拼接图像进行交通限速标志检测，并将检测结果框还原至上述待检测图像以得到检测后图像。即将目标拼接图像输入训练好的模型，得到如图10所示的识别结果，然后对识别结果进行边框的解码，也就是按照拼接的索引将其位置还原到原本的测试图片上，得到如图11所示的将检测结果按照拼接的索引回归到原图像位置的检测后图像。

由上可见，本实施例中通过获取待检测图像，并将所述待检测图像转换为HSV图像；根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。可见，针对限速交通标志目标小的特点，并且根据限速交通标识颜色特点，根据颜色阈值对图像进行切割，再将图像中感兴趣的区域拼接成一张目标拼接图像，然后只对由多个感兴趣区域拼接得到的目标拼接图像进行检测，提高了目标检测模型的评价指标，保证了检测的速度和精度，提高了交通限速标识检测的效率。并且，本申请不会对小连通区域进行去除，保留了原始的小目标所在的原始像素区域，采用整块颜色阈值进行切割的思想，也有效的去除了整张图上多个目标之间的无效信息，保证了召回率。

本申请实施例公开了一种具体的交通限速标志检测方法，参见图2所示，该方法可以包括以下步骤：

步骤S21：获取待检测图像，并将所述待检测图像转换为HSV图像。

步骤S22：根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度。

步骤S23：根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像。

步骤S24：利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。

本实施例中，所述目标检测模型的创建过程，可以包括：获取包含TT100K数据集的目标数据集；确定出所述目标数据集中每张图片对应的历史目标拼接图像，并对所述历史目标拼接图像添加相应的标注，以得到增广数据集；基于所述目标数据集和所述增广数据集得到训练数据集；基于卷积神经网络进行网络构建以得到待训练网络；利用所述训练数据集对所述待训练网络进行训练，以得到所述目标检测网络。

可以理解的是，本实施例中的目标检测模型为利用包含TT100K数据集的目标数据集和增广数据集训练卷积神经网络得到的模型，其中，增广数据集中的历史目标拼接图像为通过对目标数据集进行基于颜色分割、提取和拼接得到的数据集，即通过利用与上述目标拼接图像相同的生成方法，基于目标数据集得到相应的历史目标拼接图像。其中，上述待训练网络可以为yolov5模型。也就是说，本实施例中根据颜色对图像中感兴趣的模块进行分区域切割，再将其拼接成目标拼接图像进行检测，并用该方法生成的图片对数据集进行增广，对目标检测模型进行训练。通过实验，使用未增广的目标数据集训练出来的模型，对上述生成的目标拼接图像进行检测，其MAP有3.3％的提升；使用目标数据集训和增广数据集进行Yolov5模型训练，对上述生成的目标拼接图像进行检测，相对于未增广的目标数据集训练出来的模型，MAP有3％的提升。最终利用该方法进行交通限速标志检测，MAP提升了6.3％。

步骤S25：检测所述检测后图像中相邻两个所述检测结果框的距离，若所述距离小于预设距离阈值，则利用非极大值抑制算法剔除所述检测后图像中的冗余检测结果框。

本实施例中，得到检测后图像后，检测检测后图像中相邻两个检测结果框的距离，若该距离小于预设距离阈值，则利用非极大值抑制算法剔除检测后图像中的冗余检测结果框。可以理解的是，由于进行识别的图像是拼接起来的，特别的在最后做了折半拼接，可能会使得图像上目标出现在拼接图像的两部分，因此需要对最后的框做临近框抑制。另外，由于交通标志并不存在重叠的目标，因此可以利用IOU消除临近的框，具体做法可以包括：进行NMS算法，NMS算法的IOU阈值为大于0，此外还需计算两个框之间的距离，判断其距离小于预设距离阈值当两个框满足任意一个条件时，则满足NMS算法的条件，达到抑制临近框的目的，本实施例中上述预设距离阈值可以为5。例如图14所示的临近框抑制后的检测后图像，相比于图11所示的检测后图像通过临近框抑制，去除因切割、拼接导致同一个目标被检测出两个紧邻的框，即图11中针对从左往右第三个限高速100的冗余检测框，提高了检测质量。

其中，关于上述步骤S21至步骤S23的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

由上可见，本实施例中得到检测后图像后，检测所述检测后图像中相邻两个所述检测结果框的距离，若所述距离小于预设距离阈值，则利用非极大值抑制算法剔除所述检测后图像中的冗余检测结果框。由此，可以去除因切割、拼接导致同一个目标被检测出两个紧邻的框，提高检测质量。

相应的，本申请实施例还公开了一种交通限速标志检测装置，参见图15所示，该装置包括：

图像获取及格式转换模块11，用于获取待检测图像，并将所述待检测图像转换为HSV图像；

二值化模块12，用于根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；

分割及拼接模块13，用于根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；

检测模块14，用于利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。

由上可见，本实施例中通过获取待检测图像，并将所述待检测图像转换为HSV图像；根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像。可见，针对限速交通标志目标小的特点，并且根据限速交通标识颜色特点，根据颜色阈值对图像进行切割，再将图像中感兴趣的区域拼接成一张目标拼接图像，然后只对由多个感兴趣区域拼接得到的目标拼接图像进行检测，提高了目标检测模型的评价指标，保证了检测的速度和精度，提高了交通限速标识检测的效率。并且，本申请不会对小连通区域进行去除，保留了原始的小目标所在的原始像素区域，采用整块颜色阈值进行切割的思想，也有效的去除了整张图上多个目标之间的无效信息，保证了召回率。

在一些具体实施例中，所述分割及拼接模块13具体可以包括：

行片段原图确定单元，用于根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图；

列片段原图确定单元，用于根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图；

目标拼接图像确定单元，用于基于所述列片段原图得到所述目标拼接图像。

在一些具体实施例中，所述行片段原图确定单元具体可以包括：

行分割单元，用于根据第一预设分割参数，以行为分割方向对所述红色阈值二值图像进行分割得到多个行区域图像，并对每个行区域图像赋予相应的序号作为行索引值；

目标行区域图像筛选单元，用于选根据每个所述行区域图像的非0像素个数和第一预设阈值，从所述多个行区域图像中筛选出目标行区域图像；

第一拼接单元，用于通过拼接所述目标行区域图像得到行片段红色二值图，并根据所述目标行区域图像的所述行索引值分别对所述蓝色阈值二值图像和所述待检测图像按行分割并拼接，以得到与所述行片段红色二值图对应的行片段蓝色二值图和行片段原图。

在一些具体实施例中，所述列片段原图确定单元具体可以包括：

列分割单元，用于根据第二预设分割参数，以列为分割方向分别对所述行片段红色二值图和所述行片段蓝色二值图进行分割得到多个列区域图像；

索引值添加单元，用于对所述行片段红色二值图中每个列区域图像赋予相应的序号作为红色二值图列索引值，并对所述行片段蓝色二值图中每个列区域图像赋予相应的序号作为蓝色二值图列索引值；

第一目标列区域图像筛选单元，用于根据所述行片段红色二值图中每个列区域图像的非0像素个数和所述第一预设阈值，从所述行片段红色二值图的多个列区域图像中筛选出第一目标列区域图像子集；

第二目标列区域图像筛选单元，用于根据所述行片段蓝色二值图中每个列区域图像的非0像素个数和第二预设阈值，从所述行片段蓝色二值图的多个列区域图像中筛选出第二目标列区域图像子集；

第二拼接单元，用于根据所述第一目标列区域图像子集对应的所述红色二值图列索引值，以及所述第二目标列区域图像子集对应的所述蓝色二值图列索引值，对所述行片段原图按列分割并拼接，以得到列片段原图。

在一些具体实施例中，所述目标拼接图像确定单元具体可以包括：

判断所述列片段原图的宽高比是否在预设比值范围内；

若所述宽高比大于所述预设比值范围的上限，则按宽对所述列片段原图进行对半裁剪，并对裁剪后图像进行上下拼接以得到所述目标拼接图像；

若所述宽高比小于所述预设比值范围的下限，则按高对所述列片段原图进行对半裁剪，并对裁剪后图像进行左右拼接以得到所述目标拼接图像。

在一些具体实施例中，所述交通限速标志检测装置具体可以包括：

结果框距离检测单元，用于检测所述检测后图像中相邻两个所述检测结果框的距离；

剔除单元，用于若所述距离小于预设距离阈值，则利用非极大值抑制算法剔除所述检测后图像中的冗余检测结果框。

进一步的，本申请实施例还公开了一种电子设备，参见图16所示，图中的内容不能被认为是对本申请的使用范围的任何限制。

图16为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的交通限速标志检测方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括待检测图像在内的数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的交通限速标志检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的交通限速标志检测方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种交通限速标志检测方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种交通限速标志检测方法，其特征在于，包括：

获取待检测图像，并将所述待检测图像转换为HSV图像；

根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；

根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；

利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像；

其中，所述根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像，包括：

根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图；

根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图；

基于所述列片段原图得到所述目标拼接图像。

2.根据权利要求1所述的交通限速标志检测方法，其特征在于，所述根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图，包括：

根据第一预设分割参数，以行为分割方向对所述红色阈值二值图像进行分割得到多个行区域图像，并对每个行区域图像赋予相应的序号作为行索引值；

根据每个所述行区域图像的非0像素个数和第一预设阈值，从所述多个行区域图像中筛选出目标行区域图像；

通过拼接所述目标行区域图像得到行片段红色二值图，并根据所述目标行区域图像的所述行索引值分别对所述蓝色阈值二值图像和所述待检测图像按行分割并拼接，以得到与所述行片段红色二值图对应的行片段蓝色二值图和行片段原图。

3.根据权利要求2所述的交通限速标志检测方法，其特征在于，所述根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图，包括：

根据第二预设分割参数，以列为分割方向分别对所述行片段红色二值图和所述行片段蓝色二值图进行分割得到多个列区域图像；

对所述行片段红色二值图中每个列区域图像赋予相应的序号作为红色二值图列索引值，并对所述行片段蓝色二值图中每个列区域图像赋予相应的序号作为蓝色二值图列索引值；

根据所述行片段红色二值图中每个列区域图像的非0像素个数和所述第一预设阈值，从所述行片段红色二值图的多个列区域图像中筛选出第一目标列区域图像子集；

根据所述行片段蓝色二值图中每个列区域图像的非0像素个数和第二预设阈值，从所述行片段蓝色二值图的多个列区域图像中筛选出第二目标列区域图像子集；

根据所述第一目标列区域图像子集对应的所述红色二值图列索引值，以及所述第二目标列区域图像子集对应的所述蓝色二值图列索引值，对所述行片段原图按列分割并拼接，以得到列片段原图。

4.根据权利要求1所述的交通限速标志检测方法，其特征在于，所述基于所述列片段原图得到所述目标拼接图像，包括：

判断所述列片段原图的宽高比是否在预设比值范围内；

若所述宽高比大于所述预设比值范围的上限，则按宽对所述列片段原图进行对半裁剪，并对裁剪后图像进行上下拼接以得到所述目标拼接图像；

若所述宽高比小于所述预设比值范围的下限，则按高对所述列片段原图进行对半裁剪，并对裁剪后图像进行左右拼接以得到所述目标拼接图像。

5.根据权利要求1所述的交通限速标志检测方法，其特征在于，所述目标检测模型的创建过程，包括：

获取包含TT100K数据集的目标数据集；

确定出所述目标数据集中每张图片对应的历史目标拼接图像，并对所述历史目标拼接图像添加相应的标注，以得到增广数据集；

基于所述目标数据集和所述增广数据集得到训练数据集；

基于卷积神经网络进行网络构建以得到待训练网络；

利用所述训练数据集对所述待训练网络进行训练，以得到所述目标检测网络。

6.根据权利要求1至5任一项所述的交通限速标志检测方法，其特征在于，所述将检测结果还原至所述待检测图像之后，还包括：

检测所述检测后图像中相邻两个所述检测结果框的距离；

若所述距离小于预设距离阈值，则利用非极大值抑制算法剔除所述检测后图像中的冗余检测结果框。

7.一种交通限速标志检测装置，其特征在于，包括：

图像获取及格式转换模块，用于获取待检测图像，并将所述待检测图像转换为HSV图像；

二值化模块，用于根据所述HSV图像中各像素点的颜色参数，分别利用红色对应的第一颜色参数阈值和蓝色对应的第二颜色参数阈值对所述HSV图像进行二值化处理，以得到对应的红色阈值二值图像和蓝色阈值二值图像；其中，所述颜色参数包括色调、饱和度和明度；

分割及拼接模块，用于根据所述红色阈值二值化图像和蓝色阈值二值化图像的像素值分布，通过分割从所述待检测图像中提取出目标区域图像，并通过拼接所述目标区域图像得到目标拼接图像；

检测模块，用于利用预先经过历史目标拼接图像训练得到的目标检测模型对所述目标拼接图像进行交通限速标志检测，并将检测结果框还原至所述待检测图像以得到检测后图像；

其中，所述分割及拼接模块包括：

行片段原图确定单元，用于根据所述红色阈值二值化图像的像素值分布，通过按行分割从所述待检测图像中提取出目标行区域图像，并通过拼接所述目标行区域图像得到行片段原图；

列片段原图确定单元，用于根据所述行片段原图在红色阈值和蓝色阈值下的二值化片段图像，通过按列分割从所述行片段原图中提取出目标列区域图像，并通过拼接所述目标列区域图像得到列片段原图；

目标拼接图像确定单元，用于基于所述列片段原图得到所述目标拼接图像。

8.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至6任一项所述的交通限速标志检测方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至6任一项所述的交通限速标志检测方法。

Images