CN114092917A - 一种基于mr-ssd的被遮挡交通标志检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于MR‑SSD的被遮挡交通标志检测方法及系统，包括：利用协同调制生成对抗网络进行图像填充，同时进行图像增强；构建MR‑SSD特征提取网络，其中骨干模块中提取特征图输入特征融合模块进行特征融合，由预测模块分类和定位获得初步预测分类及定位结果；根据初步预测的分类置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU进行调整，得到二次预测的分类及定位结果；对被遮挡交通标志所属类别和定位结果划分，获得最终预测的分类和定位结果；不断进行网络训练；将待识别图像输入到训练好的网络中，判断图像中所含交通标志类型，同时将具体位置框出。本发明可有效地提高被遮挡交通标志检测的精度和速度。

Description

一种基于MR-SSD的被遮挡交通标志检测方法及系统

技术领域

本发明涉及一种基于MR-SSD的被遮挡交通标志检测方法及系统，属于计算机视觉中图像处理技术的技术领域。

背景技术

交通标志检测是车辆驾驶辅助系统的重要组成部分，解决交通标志的检测问题对车辆驾驶领域发展具有重要意义。在车辆驾驶系统中，交通标志所处的天气环境会对驾驶系统做出的决策有很大影响，恶劣天气条件会导致能见度低等问题，同时会出现积雪、凌乱树叶、沙尘堆积遮挡交通标志的现象，识别系统需要实时识别到正确的被遮挡的交通标志指示，以便有效地减少违规和交通事故发生。

2017年提出一种干线公路平面交叉口区域交通标志遮挡概率计算方法，通过对交通标志被遮挡概率分析以获得最佳的交通标志布局，使得车辆识别交通标志的概率得以提高；2018年提出一种基于物联网的提示作用强的智能型道路交通标志装置，包括两个标志机构，标志机构包括伸缩机构、连接块、修剪盒、标志牌和若干安装单元，基于物联网的提示作用强的智能型道路交通标志装置在标志机构中利用伸缩机构使标志牌向远离支柱的方向移动，防止被枝叶遮挡，进而保证了标志牌的提示作用，同时在枝叶伸展到横梁中央时，利用修剪盒中的修剪机构对枝叶进行切割，防止标志牌被遮挡，进一步加强了标志牌的提示作用；2019年提出了一种高速公路弯道标志可视域模型，通过对标志可视域进行定义，进而对高速公路弯道标志的可视过程构建几何模型，推导出可视域的计算方程，利用所创建的可视域模型对京港澳高速公路湖南段进行计算分析，为有效解决高速公路弯道标志可视域被遮挡问题提供参考；2021年提出一种基于信标预埋在道路中的交通标志系统，它包括信标和感应模块，通过将信标预埋在公路路面层的下方或混凝土铺装路面内，感应模块安装于车身上，信标与感应模块相连接，感应模块与智能控制终端相连接，解决现有的信标无法在公共道路尤其是人类车辆驾驶汽车混行道路大范围使用以及视觉感知无法实现对大多数环境因素的安全适用性的问题，能有效克服交通标志被遮挡、覆盖、逆光无法辨认等安全性问题。上述传统的被遮挡的交通标志检测方法的检测效果差、计算量大，且需要耗费大量人力、物力，价格昂贵，不适用于移动和嵌入式设备使用。同时，没有考虑到恶劣天气的影响。

基于深度学习的交通标志检测算法研究已经成熟，但是目前针对被恶劣天气现象导致的被遮挡交通标志检测却仍然研究浅薄，SSD方法结合YOLO系列中的回归思想和Faster R-CNN中的Anchor机制，既保持了YOLO速度快的特点，又学习了Faster R-CNN检测精度高的能力。对于一般场景下的交通标志检测，SSD算法检测的精度和速度相较之下更满足车辆驾驶辅助系统对于交通标志检测所需的准确和实时的要求。

交通标志检测完全自动化的一个重要步骤是在交通标志的定位和识别中使用自动方法代替人工方法。随着计算机视觉的快速发展，特别是在卷积神经网络的支持下，可以从原始图像中提取详细信息，因交通标志识别得到了极大的关注。

然而，交通标志识别仍面临一些问题和挑战，主要可以归纳为以下几点：

1、在雾天、雪天、雨天、沙尘暴天等不同恶劣天气条件下，拍摄的交通标志图像可能含有大量噪声和失真，同时，恶劣天气会造成复杂的道路环境，从而导致交通标志的背景复杂。

2、恶劣天气条件还会引起交通标志被树木、树叶、沙尘和雪部分隐藏，这种情况可能导致交通标志检测检测精度大大降低，从而引发交通事故。在恶劣条件和被遮挡两种因素影响下的交通标志检测方法准确率有限，难以满足实际需求；

3、交通标志检测的应用场景需要实时性，对于交通标志检测方法的检测速度也有很高要求；

4、基于深度学习的检测模型大多比较复杂，计算量庞大，只能在高端GPU设备上才能训练，难以适用于普通移动或嵌入式设备中。

发明内容

为了克服在恶劣条件和被遮挡两种因素影响下的现有交通标志检测方法准确率有限，导致交通标志检测检测精度降低的缺陷，本发明提供一种基于MR-SSD的被遮挡交通标志检测方法及系统，有效地提高被遮挡交通标志检测的精度和速度。

本发明具体采用以下技术方案解决上述技术问题：

一种基于MR-SSD的被遮挡交通标志检测方法，包括以下步骤：

S1，对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全；同时对补全后的图像进行图像增强；

S2，构建MR-SSD特征提取网络，所述MR-SSD特征提取网络包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块四部分；将增强后的图像输入到骨干模块中提取图像特征的语义信息，所述骨干模块将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化，在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力；选取骨干模块处理后的若干个特征图输入特征融合模块，将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图，并将融合后的特征图作为下一级特征融合模块中的深层特征，再与下一级卷积层中的浅层特征进行融合后同样输入预测模块，依次进行下一步的特征融合操作，由预测模块对各个融合后的特征图进行分类和定位进而获得初步预测的分类及定位结果；

S3，根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，得到二次预测的分类及定位结果；

S4，将步骤S3中的二次预测的分类及定位结果输入到部分遮挡处理模块中，对被遮挡的交通标志所属类别和定位结果进行进一步划分，获得最终预测的分类和定位结果；

S5，不断进行MR-SSD特征提取网络的训练，降低模型的分类及定位损失，提高检测精度和速度，实现模型轻量化；

S6，将待识别的被遮挡交通标志图像输入到已训练好的MR-SSD特征提取网络中，判断该图像中所含交通标志的类型，同时将该交通标志的具体位置正确框出。

进一步地，作为本发明的一种优选技术方案，所述步骤S1中包括对补全后的图像进行对比度、亮度、色度、饱和度的图像增强。

进一步地，作为本发明的一种优选技术方案，所述步骤S2中将增强后的图像输入到骨干模块中提取图像特征的语义信息，包括以下步骤：

S21，将增强后的图像输入到骨干模块中，所述骨干模块将MobileNetV2网络的Conv13层后原有的卷积层、最大池化层全部去掉，再添加上8个卷积层，从中选择Conv11,Conv13, Conv14_2, Conv15_2, Conv16_2, Conv17_2总共6层特征图用来检测，每个特征图均采用轻量分组卷积残差块进行获取；其中轻量分组卷积残差块由左右两个分支连接构成，所述左分支直接对输入特征图进行3*3平均池化操作得到处理后的特征图；所述右分支先按照通道数对输入特征图划分G个组，采用逐点卷积对各组进行通道升维操作，经批量归一化、ReLU激活函数后在各组的高通道维度上利用深度可分离卷积进行特征信息提取，经批量归一化、ReLU激活函数后利用通过逐点卷积对各组进行降维操作，经批量归一化后将各组按照通道数纵向进行连接，进行通道混洗得到特征图；再将左分支得到处理后的特征图与右分支得到的特征图对应位置的元素相加，最后经过ReLU激活函数得到一个总的输出特征图；

S22，在每个轻量分组卷积残差块的末端添加分组重排注意力模块，所述分组重排注意力模块将轻量分组卷积残差块得到的一个总的输出特征图作为输入并将其按照通道维度划分为4组，每组都要经过全局和局部两种通道注意力模块，分别对每个组内的特征进行局部和全局的上下文特征信息提取，分别得到局部的特征图和全局的特征图，再将所得局部的特征图和全局的特征图逐元素相加，经过sigmoid函数与分组后的原特征图相乘得到组内的一个新特征图；将各组内部所得一个新特征图按纵轴方式进行组内重新排列连接，得到各组的输出特征图；最后对各组的输出特征图按照通道顺序进行排列连接形成一个大组的输出特征图，对该大组的输出特征图进行整体的通道重新混洗排列，得到最终的输出特征图；

S23，经过骨干模块处理后选取若干个分辨率不同的特征图作为特征融合模块的输入。

进一步地，作为本发明的一种优选技术方案，所述步骤S2中选取骨干模块处理后的若干个特征图输入特征融合模块进行特征融合，包括以下步骤：

将骨干模块中选取的若干个特征图输入到特征融合模块中，依次将分辨率为1×1的深层特征图采用双线性的插值操作进行上采样，获得与分辨率为3×3的浅层特征图相同的分辨率和通道数，随后将两者对应元素相乘，得到特征融合后的分辨率为3×3的新特征图，并将该新特征图作为下一次的深层特征图，再与下一次的浅层特征图按照上述方式融合，最终得到融合后的若干个不同尺寸的特征图，并将它们输入到预测模块中。

进一步地，作为本发明的一种优选技术方案，所述步骤S2中由预测模块对融合后的特征图进行分类和定位，获得初步预测的分类及定位结果，包括以下步骤：

对输入的不同尺寸的特征图先进行深度可分离卷积的残差连接处理，同时为每个特征图分别设置不同数量的先验框，然后利用先验框来进行分类和定位操作，得到初步预测的不同分类对应的置信度值和位置的相对偏移量。

进一步地，作为本发明的一种优选技术方案，所述步骤S3中根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，包括以下步骤：

S31，根据预测模块设置的先验框与地面真值框计算相同区域不同位置间的相对IoU值，将具有最大交并比IoU或IoU大于设定阈值的先验框视为正样本，过滤掉属于背景的先验框，同时将正负样本按照 1:4 的比例把负样本抽样出来，去除置信度值较低的先验框；

S32，对剩下的正样本对应的先验框进行非极大值抑制，经过分类处理后得到先验框以及该先验框中各个分类对应的置信度值，对各个分类对应的置信度值进行降序排列，选择其中置信度值最高先验框，然后遍历剩下的先验框，如果发现某个先验框与当前最高置信度值先验框的交并比IoU大于设定的阈值，则将该先验框删除，接着从剩余未处理先验框中继续选出一个置信度值最高的先验框，重复上述操作，直至找到所有定位准确的先验框为止，此时得到二次预测的分类及定位结果。

进一步地，作为本发明的一种优选技术方案，所述步骤S4中将二次预测的分类及定位结果输入到部分遮挡处理模块中，对被遮挡的交通标志所属类别和定位结果进行进一步划分，包括以下步骤：

S41，将二次预测所得分类对应的置信度值和分类对应的先验框输入到部分遮挡处理模块中，经过一个ROI Pooling层将先验框的位置缩放到固定尺寸；再从先验框中纵向切分出3个子区域，并且将三个子区域同样经过ROI Pooling层缩放到与先验框相同尺寸，然后分别对三个子区域同时进行置信度值预测得到三个子区域的预测分类置信度值，其中被遮挡的子区域中置信度值较低，否则置信度值则较高，最后利用对应元素相加将先验框和三个子区域的特征进行合并，得到最终总的预测分类置信度值，以获得最终预测的不同分类对应的置信度值和位置的相对偏移量；

S42，将最终预测的不同分类对应的置信度值和位置的相对偏移量与地面真值框进行损失计算，获得损失函数。

进一步地，作为本发明的一种优选技术方案，所述S5中训练获得的MR-SSD特征提取网络的损失函数为：

S51，获得MR-SSD特征提取网络的总损失函数

为分类对应的置信度值损 失函数和定位的损失函数之和：

其中，N表示先验框的正样本数量；

表示分类对应的置信度值损失函数；

表示定位的损失函数；

S52，所述分类对应的置信度值损失函数

，具体为：

其中，

表示步骤S3中二次预测采用的分类对应的置信度值损失函数；

表示步骤S4中部分遮挡处理模块采用的分类对应的置信度值损失函数；

表 示交叉熵损失函数；

表示属于正样本的概率；

表示平衡因子；

表示调制系数；

表示正样本集合，

表示负样本集合，

表示第

个正样本框与第

个 groundtruth框是否匹配；

表示第

个类别；

表示第

个框属于第

个类别的置信 度值，即第

个框属于第

个类别的概率；

表示第

个框属于背景的置信度值；

表 示子区域为正样本的数量；

表示子区域正样本集合，

表示子区域负样本集 合。

本发明还提出一种基于MR-SSD的被遮挡交通标志检测系统，包括：

图像处理模块，用于对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全；同时对补全后的图像进行图像增强；

MR-SSD特征提取网络，包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块；

其中，骨干模块，用于对输入的图像提取图像特征的语义信息，并选取处理后的若干个特征图作为输出，其将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化，在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力；

特征融合模块，用于对骨干模块选取的若干个特征图进行特征融合，包括：将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图，并将融合后的特征图作为下一级特征融合模块中的深层特征，再与下一级卷积层中的浅层特征进行融合，依次进行下一步的特征融合操作，得到各个融合后的特征图；

预测模块，用于对特征融合模块得到的各个融合后的特征图进行分类和定位，获得初步预测的分类及定位结果；并根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，得到二次预测的分类及定位结果；

部分遮挡处理模块，用于根据预测模块得到的二次预测分类及定位结果，对被遮挡的交通标志所属类别和定位结果进行进一步划分，获得最终预测的分类和定位结果。

本发明采用上述技术方案，能产生如下技术效果：

本发明的基于MR-SSD的被遮挡交通标志检测方法及系统，与现有的交通标志检测方法相比，存在如下优点：

（1）本发明可对被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全，同时对图像进行图像增强，为了防止恶劣天气造成的图像不清晰、噪声多的问题，提高图像质量。

（2）本发明改进了现有的SSD网络，构建了MR-SSD特征提取网络，在骨干模块的每个轻量分组卷积残差块末端加入分组重排注意力模块，在加深网络深度的同时减小网络参数量，有效地提高了被遮挡交通标志检测的精度和速度。并且，利用初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，提高预测的准确性。以及，增加了部分遮挡处理模块，在利用MR-SSD特征提取网络得到被遮挡交通标志的先验框后，从先验框中切出3个子区域，3个子区域中必然存在着被遮挡的部分，对三个子区域进行置信度值预测，结合三个子区域的特征信息，可以有针对性的提升分类和定位的准确度，提高检测精度。

（3）本发明主要用于辅助车辆识别系统进行被遮挡交通标志识别，由于该领域的交通标志检测算法的应用平台主要是车载导航等硬件资源有限的嵌入式设备，因此对算法的实时性和稳定性有着较高要求。本发明提出的MR-SSD交通标志检测模型针对这个问题，在保证检测精度较高的同时，对模型进行轻量化处理，使模型可以部署在资源有限的嵌入式设备上，同时还提高了模型的实时性，最终实现快速准确地识别被遮挡交通标志，有效减少交通事故发生。

因此，本发明提出的一种基于MR-SSD的被遮挡交通标志检测方法及系统，不仅仅可以在能见度高的晴天状态及无遮挡情况下实现很高的识别精度，在能见度较低的恶劣天气状态且存在部分遮挡情况下同样可以保证较高的识别速度和精度。

附图说明

图1为本发明基于MR-SSD的被遮挡交通标志检测方法的流程图。

图2为本发明中MR-SSD特征提取网络的框架图。

图3为本发明中轻量分组卷积残差块的框架图。

图4为本发明中分组重排注意力模块的框架图。

图5为本发明中全局和局部注意力模块的框架图。

图6为本发明中部分遮挡处理模块的框架图。

图7为本发明与其他方法均值平均精度和网络尺寸比较示意图。

图8为本发明与其他方法均值精度的对比图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明涉及一种基于MR-SSD的被遮挡交通标志检测方法，所述方法具体包括以下步骤：

S1，对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全；同时对补全后的图像进行对比度、亮度、色度、饱和度等的图像增强，避免其产生干扰。同时，由于为了避免恶劣天气条件对拍摄图像产生的不良影响，可利用cycleGAN生成对抗网络将含有雨点、雪花、砂砾等噪声的交通标志图像进行图像风格转换，具体如下：

S11，通过 OpenCV 库中的 resize 函数把任意尺度被遮挡交通标志图像统一大小至 320×320 像素，统一设置为 JPG 格式。同时，XML文件中存储着图像中所有目标的类别及位置信息（groundtruth）。

S12，将收集的被遮挡交通标志图像与其对应的未遮挡的交通标志图像分别放在两个文件夹内，利用协同调制生成对抗网络将条件输入与随机潜矢量经过映射网络产生的风格表征对每个卷积层进行调制，将被遮挡交通标志图像与其对应的未遮挡的交通标志图像进行图像转换，填补有条件与无条件图像之间的空缺，实现被遮挡交通标志区域的图像填充。同时可利用cycleGAN对雪天、雨天和沙尘天图像进行风格转换，防止雨点、雪花、砂砾等小颗粒对被遮挡图像检测产生的影响。

S13，将处理后的交通标志图像集按照8：2分为训练集和测试集，对其中的训练集进行图像增强，主要针对图像的对比度、亮度、色度、饱和度等进行增强。

S14，将增强后的训练集输入到MR-SSD特征提取网络中进行训练，然后利用已训练好的MR-SSD网络对测试集进行检测和识别。

S2，构建MR-SSD特征提取网络，所述MR-SSD特征提取网络包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块四部分；将增强后的图像输入到骨干模块中提取图像特征的语义信息，所述骨干模块将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化，在每个轻量分组卷积残差块末端添加分组重排注意力模块丰富特征信息，以提高轻量分组卷积残差块的特征信息提取能力，使轻量分组卷积残差块更专注于提取图像中属于交通标志区域的信息，忽略背景区域的信息；选取骨干模块处理后的若干个特征图输入特征融合模块，将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图，并将融合后的特征图作为下一级特征融合模块中的深层特征，再与下一级卷积层中的浅层特征进行融合后同样输入预测模块，依次进行下一步的特征融合操作实现不同特征图之间的信息融合，由预测模块对各个融合后的特征图进行分类和定位，进而获得初步预测的分类及定位结果，具体如下：

S21，首先，构建如图2所示的MR-SSD特征提取网络框架，其包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块四部分。将增强后的图像输入到骨干模块中，所述骨干模块将MobileNetV2网络的Conv13层后原有的卷积层、最大池化层等全部去掉，再添加上8个卷积层，从中选择Conv11, Conv13, Conv14_2, Conv15_2, Conv16_2, Conv17_2总共6层特征图用来检测，每个特征图均采用轻量分组卷积残差块进行获取。其中轻量分组卷积残差块由左右两个分支连接构成，如图3所示，所述左分支直接对输入特征图进行3*3平均池化操作得到处理后的特征图。所示右分支先按照通道数对输入特征图划分G个组，采用逐点卷积对各组进行通道4倍升维操作，经批量归一化、ReLU激活函数后在各组的高通道维度上利用深度可分离卷积进行特征信息提取，增强特征提取能力，经批量归一化、ReLU激活函数后利用通过逐点卷积对各组进行通道1/4倍降维操作，经批量归一化后，最后将各组按照通道数纵向进行连接，进行通道混洗，得到输出特征图，该过程处理前和处理后都是一个大小和通道数都不变的特征图，只是之间经过了一个分组和通道重排等的处理；再将左分支得到处理后的特征图与右分支得到的特征图对应位置的元素相加，通道数不变，最后经过ReLU激活函数得到一个总的输出特征图，保证轻量分组卷积残差块整体处于低维度，以此减少模型的参数量和复杂度。

S22，在每个轻量分组卷积残差块的末端添加分组重排注意力模块，如图4所示，所述分组重排注意力模块将轻量分组卷积残差块得到的一个总的输出特征图作为输入，并将输入特征图按照通道维度划分为4组，每组都要经过全局和局部两种通道注意力模块，对每个组内的特征进行局部和全局的上下文特征信息提取，分别得到局部特征图和全局特征图，实现动态地融合多尺度的特征。其中全局和局部两种通道注意力模块的框架如图5所示，所述全局通道注意力模块首先进行全局平均池化，使其具有全局的感受野，然后采用1*1卷积进行降维来提取全局特征，接着进行批量归一化、ReLU激活函数，最后采用1*1卷积进行升维和批量归一化操作得到全局的特征图。局部通道注意力模块则直接采用1*1卷积进行降维来提取局部特征，然后采用批量归一化、ReLU激活函数操作，最后采用1*1卷积进行升维和批量归一化操作得到局部的特征图。再将所得全局的特征图和局部的特征图逐元素相加，经过sigmoid函数与分组后的原特征图相乘得到组内的一个新特征图。接着将各组内部所得的一个新特征图按纵轴方式进行组内重新排列连接，得到各组的输出特征图；最后对各组的输出特征图按照通道顺序进行排列连接形成一个大组的输出特征图，即将各组的每一组按照顺序排列，4组通道连接组合，不打乱各组的通道顺序，由此形成一个整体的大组。然后对该大组的输出特征图进行整体的通道重新混洗排列，得到最终的输出特征图，从而实现丰富特征信息。

S23，经过骨干模块处理后选取6个特征图，分辨率分别为40×40，20×20，10×10，5×5，3×3，1×1，将这6个特征图作为特征融合模块的输入。

S24，将骨干模块中选取的6个特征图输入到特征融合模块中，依次将分辨率为1×1的深层特征图采用双线性的插值操作进行上采样，获得与分辨率为3×3的浅层特征图相同的分辨率和通道数，随后将两者对应元素相乘，得到特征融合后的分辨率为3×3的新特征图，并将该新特征图作为下一次的深层特征图，再与下一次的浅层特征图按照上述方式融合，最终得到40×40，20×20，10×10，5×5，3×3，1×1，6个不同尺寸的特征图，并将它们输入到预测模块中。

S25，在预测模块中，对输入的6个不同尺寸的特征图先进行深度可分离卷积的残差连接处理，同时为6个特征图分别设置不同数量先验框，分别为3,6,6,6,3,3，先验框的总数为7980个，然后利用先验框来进行分类和定位操作，得到初步预测的不同分类对应的置信度值和位置的相对偏移量。

S3，根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，得到二次预测的分类及定位结果，具体如下：

S31，根据预测模块设置的7980个先验框与地面真值框即groundtruth框，计算相同区域不同位置间的相对交并比IoU，将具有最大交并比IoU或IoU大于设定阈值的先验框视为正样本，过滤掉属于背景的先验框，本实施例设置该阈值可为但不限于0.5；同时将正负样本按照 1:4 的比例把负样本抽样出来，去除置信度值较低的先验框；

S32，对剩下的正样本对应的先验框进行非极大值抑制，经过分类处理后得到先验框以及该先验框中各个类别对应的置信度值，对各个类别对应的置信度值进行降序排列，选择其中置信度值最高先验框，然后遍历剩下的先验框，如果发现某个先验框与当前最高置信度值先验框的交并比IoU大于设定的阈值，则将该先验框删除，本实施例设置该阈值可为但不限于0.4；接着从剩余未处理先验框中继续选出一个置信度值最高的先验框，重复上述操作，直至找到所有定位准确的先验框为止，此时得到二次预测的分类及定位结果。

S4，将步骤S3中的二次预测的分类及定位结果输入到部分遮挡处理模块中，对被遮挡的交通标志所属类别和定位结果进行进一步精细划分，获得最终预测的分类和定位结果，如图6所示，具体如下：

S41，将二次预测所得分类对应的置信度值和分类对应的先验框输入到部分遮挡处理模块中，经过一个ROI Pooling层将先验框的位置缩放到固定尺寸；再从先验框中纵向切分出3个子区域，并且将三个子区域同样经过ROI Pooling层缩放到与先验框相同尺寸，然后分别对三个子区域同时进行置信度值预测：分别对三个子区域同时采用连续3个3*3过滤器，步长为1的卷积进行属于交通标志部分的特征信息提取，然后各自进行softmax操作，最后均分别与切分子区域后经缩放的原特征图进行加权相乘得到三个子区域的预测分类置信度值，其中被遮挡的子区域中置信度值较低，否则置信度值则较高，由此对原特征图的特征信息进行三个对应区域的信息增强，得到三个子区域中属于交通标志区域的特征信息。最后利用对应元素相加将先验框和三个子区域的特征进行合并，得到最终总的预测分类置信度值，以此对二次预测结果进行精细处理，以获得最终预测的不同分类对应的置信度值和位置的相对偏移量。所述位置的相对偏移量根据不同分类对应的置信度值的改变而改变，在每一次预测的先验框都会对应一个分类的置信度值及该先验框的定位位置，这个定位位置与地面真值框groundtruth框间的偏移值就是位置的相对偏移量。

S42，将最终预测的不同分类对应的置信度值和位置的相对偏移量与地面真值框进行损失计算，获得损失函数。

S5，不断进行MR-SSD特征提取网络的训练，降低模型的分类及定位损失，提高检测精度和速度，实现模型轻量化，具体如下：

S51，训练获得MR-SSD特征提取网络的总损失函数

为分类对应的置信度 值损失函数和定位的损失函数之和：

其中，N表示先验框的正样本数量；

表示分类对应的置信度值损失函数；

表示定位的损失函数；

S52，所述分类对应的置信度值损失函数

，具体为：

其中，

表示步骤S3中二次预测采用的分类对应的置信度值损失函数；

表示步骤S4中部分遮挡处理模块采用的分类对应的置信度值损失函数；

表 示交叉熵损失函数；

表示属于正样本的概率；

表示平衡因子，用来平衡正负样本的比 例不均，

；

表示调制系数，调节简单样本权重降低的速率，使模型在训练时更专 注于难分类的样本，

；

表示正样本集合，

表示负样本集合，

表示第

个正样本框与第

个groundtruth框是否匹配；

表示第

个类别；

表示第

个框 属于第

个类别的置信度值，即第

个框属于第

个类别的概率；

表示第

个框属于 背景的置信度值；

表示子区域为正样本的数量；

表示子区域正样本集合，

表示子区域负样本集合，共3个子区域。

S53，所述定位的损失函数

，具体为：

其中，

表示先验框与地面真值框的交并比，

表示先验框与地面真值 框的惩罚项，

表示欧氏距离，

分别表示先验框和地面真值框的中心点，

表示先 验框和地面真值框的最小外界矩形框的对角线距离。

S6，将待识别的被遮挡交通标志图像输入到已训练好的MR-SSD特征提取网络中，判断该图像中所含交通标志的类型，同时将该交通标志的具体位置正确框出，实现被遮挡交通标志精确检测。

根据上述方法，本发明还提出一种基于MR-SSD的被遮挡交通标志检测系统，该系统具体包括：

图像处理模块，用于对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全；同时对补全后的图像进行图像增强；

MR-SSD特征提取网络，包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块；

其中，骨干模块，用于对输入的图像提取图像特征的语义信息，并选取处理后的若干个特征图作为输出，其将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化，在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力；

特征融合模块，用于对骨干模块选取的若干个特征图进行特征融合，包括：将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图，并将融合后的特征图作为下一级特征融合模块中的深层特征，再与下一级卷积层中的浅层特征进行融合，依次进行下一步的特征融合操作，得到各个融合后的特征图；

预测模块，用于对特征融合模块得到的各个融合后的特征图进行分类和定位，获得初步预测的分类及定位结果；并根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，得到二次预测的分类及定位结果；

部分遮挡处理模块，用于根据预测模块得到的二次预测分类及定位结果，对被遮挡的交通标志所属类别和定位结果进行进一步划分，获得最终预测的分类和定位结果。

由此，本发明的基于MR-SSD的被遮挡交通标志检测系统，可按照上述被遮挡交通标志检测方法的各个步骤对输入的被遮挡交通标志图像进行检测，从而实现被遮挡交通标志的检测。

因此，本发明的基于MR-SSD的被遮挡交通标志检测方法及系统，通过改进得到的MR-SSD特征提取网络，可以实现快速准确地识别

被遮挡交通标志检测，可有针对性的提升分类和定位的准确度，提高检测精度。

为了验证本发明方法的有效性，现运用一个实验例对本发明方法进行验证说明，具体如下：

首先，使用被遮挡交通标志数据集的训练集对MR-SSD特征提取网络进行预训练。

数据集：使用被遮挡交通标志数据集，共10000张图像，使用其中8000张图像作为训练集对MR-SSD特征提取网络进行训练，使用剩下的2000张图像作为测试集对网络的检测结果进行测试。

实验参数:batch设为32，momentum设为0.9，学习率采用指数衰减方法，初始学习率设为0.01，衰减系数设为0.9。

实验环境：显卡：Nvidia GeForce RTX 2080 Ti，处理器：Intel Core i7-9700K，主板：微星MAG Z390 TOMAHAWK。

实验结果：为客观评价检测效果，本实验采用平均精度均值（mAP）来评估检测的效果，图7为本发明与较为主流的几种检测方法（SSD，EfficientNet，MobileNetV2）在被遮挡交通标志数据集上的测试效果对比，从图5中可以看出，本发明方法的检测精度高出了检测较好的EfficientNet方法2.23个百分点，并且网络尺寸比最轻量的MobileNetV2方法低出1.8M，在保证较高的检测精度的同时实现快速的检测。

并且，如图8所示，本发明相比于传统的SSD方法，对置信度值阈值相同的情况下，本发明对有着更高的召回率（recall）与精度（precision）。

综上，本发明的基于MR-SSD的被遮挡交通标志检测方法及系统，通过改进的MR-SSD特征提取网络，在骨干模块中每个轻量分组卷积残差块末端加入分组重排注意力模块，在加深网络深度的同时减小网络参数量，有效地提高了被遮挡交通标志检测的精度和速度；并且，利用部分遮挡处理模块对三个子区域进行置信度值预测，可以有针对性的提升分类和定位的准确度，提高检测精度。在保证检测精度较高的同时，对模型进行轻量化处理，使模型可以部署在资源有限的嵌入式设备上，提高了模型的实时性，最终实现快速准确地识别被遮挡交通标志，有效减少交通事故发生，同时保证较高的识别速度和精度。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于MR-SSD的被遮挡交通标志检测方法，其特征在于，包括以下步骤：

S1，对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全；同时对补全后的图像进行图像增强；

S2，构建MR-SSD特征提取网络，所述MR-SSD特征提取网络包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块四部分；将增强后的图像输入到骨干模块中提取图像特征的语义信息，所述骨干模块将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化，在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力；选取骨干模块处理后的若干个特征图输入特征融合模块，将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图，并将融合后的特征图作为下一级特征融合模块中的深层特征，再与下一级卷积层中的浅层特征进行融合后同样输入预测模块，依次进行下一步的特征融合操作，由预测模块对各个融合后的特征图进行分类和定位，进而获得初步预测的分类及定位结果；

S3，根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，得到二次预测的分类及定位结果；

S4，将步骤S3中的二次预测的分类及定位结果输入到部分遮挡处理模块中，对被遮挡的交通标志所属类别和定位结果进行进一步划分，获得最终预测的分类和定位结果；

S5，不断进行MR-SSD特征提取网络的训练，降低模型的分类及定位损失，提高检测精度和速度，实现模型轻量化；

S6，将待识别的被遮挡交通标志图像输入到已训练好的MR-SSD特征提取网络中，判断该图像中所含交通标志的类型，同时将该交通标志的具体位置正确框出。

2.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述步骤S1中包括对补全后的图像进行对比度、亮度、色度、饱和度的图像增强。

3.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述步骤S2中将增强后的图像输入到骨干模块中提取图像特征的语义信息，包括以下步骤：

S21，将增强后的图像输入到骨干模块中，所述骨干模块将MobileNetV2网络的Conv13层后原有的卷积层、最大池化层全部去掉，再添加上8个卷积层，从中选择Conv11, Conv13,Conv14_2, Conv15_2, Conv16_2, Conv17_2总共6层特征图用来检测，每个特征图均采用轻量分组卷积残差块进行获取；其中轻量分组卷积残差块由左右两个分支连接构成，所述左分支直接对输入特征图进行3*3平均池化操作得到处理后的特征图；所述右分支先按照通道数对输入特征图划分G个组，采用逐点卷积对各组进行通道升维操作，经批量归一化、ReLU激活函数后在各组的高通道维度上利用深度可分离卷积进行特征信息提取，经批量归一化、ReLU激活函数后利用通过逐点卷积对各组进行降维操作，经批量归一化后将各组按照通道数纵向进行连接，进行通道混洗得到特征图；再将左分支得到处理后的特征图与右分支得到的特征图对应位置的元素相加，最后经过ReLU激活函数得到一个总的输出特征图；

S22，在每个轻量分组卷积残差块的末端添加分组重排注意力模块，所述分组重排注意力模块将轻量分组卷积残差块得到的一个总的输出特征图作为输入并将其按照通道维度划分为4组，每组都要经过全局和局部两种通道注意力模块，分别对每个组内的特征进行局部和全局的上下文特征信息提取，分别得到局部的特征图和全局的特征图，再将所得局部的特征图和全局的特征图逐元素相加，经过sigmoid函数与分组后的原特征图相乘得到组内的一个新特征图；将各组内部所得一个新特征图按纵轴方式进行组内重新排列连接，得到各组的输出特征图；最后对各组的输出特征图按照通道顺序进行排列连接形成一个大组的输出特征图，对该大组的输出特征图进行整体的通道重新混洗排列，得到最终的输出特征图；

S23，经过骨干模块处理后选取若干个分辨率不同的特征图作为特征融合模块的输入。

4.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述步骤S2中选取骨干模块处理后的若干个特征图输入特征融合模块进行特征融合，包括以下步骤：

将骨干模块中选取的若干个特征图输入到特征融合模块中，依次将分辨率为1×1的深层特征图采用双线性的插值操作进行上采样，获得与分辨率为3×3的浅层特征图相同的分辨率和通道数，随后将两者对应元素相乘，得到特征融合后的分辨率为3×3的新特征图，并将该新特征图作为下一次的深层特征图，再与下一次的浅层特征图按照上述方式融合，最终得到融合后的若干个不同尺寸的特征图，并将它们输入到预测模块中。

5.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述步骤S2中由预测模块对融合后的特征图进行分类和定位，获得初步预测的分类及定位结果，包括以下步骤：

对输入的若干个不同尺寸的特征图先进行深度可分离卷积的残差连接处理，同时为每个特征图分别设置不同数量的先验框，然后利用先验框来进行分类和定位操作，得到初步预测的不同分类对应的置信度值和位置的相对偏移量。

6.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述步骤S3中根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，包括以下步骤：

S31，根据预测模块设置的先验框与地面真值框计算相同区域不同位置间的交并比IoU，将具有最大交并比IoU或IoU大于设定阈值的先验框视为正样本，过滤掉属于背景的先验框，同时将正负样本按照 1:4 的比例把负样本抽样出来，去除置信度值较低的先验框；

S32，对剩下的正样本对应的先验框进行非极大值抑制，经过分类处理后得到先验框以及该先验框中各个分类对应的置信度值，对各个分类对应的置信度值进行降序排列，选择其中置信度值最高先验框，然后遍历剩下的先验框，如果发现某个先验框与当前最高置信度值先验框的交并比IoU大于设定的阈值，则将该先验框删除，接着从剩余未处理先验框中继续选出一个置信度值最高的先验框，重复上述操作，直至找到所有定位准确的先验框为止，此时得到二次预测的分类及定位结果。

7.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述步骤S4中将二次预测的分类及定位结果输入到部分遮挡处理模块中，对被遮挡的交通标志所属类别和定位结果进行进一步划分，包括以下步骤：

S41，将二次预测所得分类对应的置信度值和分类对应的先验框输入到部分遮挡处理模块中，经过一个ROI Pooling层将先验框的位置缩放到固定尺寸；再从先验框中纵向切分出3个子区域，并且将三个子区域同样经过ROI Pooling层缩放到与先验框相同尺寸，然后分别对三个子区域同时进行置信度值预测得到三个子区域的预测分类置信度值，其中被遮挡的子区域中置信度值较低，否则置信度值则较高，最后利用对应元素相加将先验框和三个子区域的特征进行合并，得到最终总的预测分类置信度值，以获得最终预测的不同分类对应的置信度值和位置的相对偏移量；

S42，将最终预测的不同分类对应的置信度值和位置的相对偏移量与地面真值框进行损失计算，获得损失函数。

8.根据权利要求1所述基于MR-SSD的被遮挡交通标志检测方法，其特征在于，所述S5中训练获得的MR-SSD特征提取网络的损失函数为：

S51，获得MR-SSD特征提取网络的总损失函数

为分类对应的置信度值损失函数 和定位的损失函数之和：

其中，N表示先验框的正样本数量；

表示分类对应的置信度值损失函数；

表 示定位的损失函数；

S52，所述分类对应的置信度值损失函数

，具体为：

其中，

表示步骤S3中二次预测采用的分类对应的置信度值损失函数；

表示 步骤S4中部分遮挡处理模块采用分类对应的置信度值损失函数；

表示交叉熵损失函 数；

表示属于正样本的概率；

表示平衡因子；

表示调制系数；

表示正样本集合；

表示负样本集合；

，表示第

个正样本框与第

个groundtruth框是否匹 配；

表示第

个类别；

表示第

个框属于第

个类别的置信度值，即第

个框属于 第

个类别的概率；

表示第

个框属于背景的置信度值；

表示子区域为正样本的数 量；

表示子区域正样本集合；

表示子区域负样本集合。

9.一种基于MR-SSD的被遮挡交通标志检测系统，其特征在于，包括：

图像处理模块，用于对数据集内被遮挡交通标志图像利用协同调制生成对抗网络进行图像填充，实现任意交通标志图像的被遮挡区域补全；同时对补全后的图像进行图像增强；

MR-SSD特征提取网络，包括骨干模块、特征融合模块、预测模块以及部分遮挡处理模块；

其中，骨干模块，用于对输入的图像提取图像特征的语义信息，并选取处理后的若干个特征图作为输出，其将MobileNetV2中的倒残差结构改为轻量分组卷积残差块实现网络的轻量化，在每个轻量分组卷积残差块末端添加分组重排注意力模块以提高轻量分组卷积残差块的特征信息提取能力；

特征融合模块，用于对骨干模块选取的若干个特征图进行特征融合，包括：将卷积层中的浅层特征图与经过双线性插值放大处理得到的深层特征图进行特征融合得到融合后的特征图，并将融合后的特征图作为下一级特征融合模块中的深层特征，再与下一级卷积层中的浅层特征进行融合，依次进行下一步的特征融合操作，得到各个融合后的特征图；

预测模块，用于对特征融合模块得到的各个融合后的特征图进行分类和定位，获得初步预测的分类及定位结果；并根据初步预测的分类对应的置信度值及属于同一区域的先验框和地面真值框之间的交并比IoU对预测模块输出特征的定位结果进行调整，得到二次预测的分类及定位结果；

部分遮挡处理模块，用于根据预测模块得到的二次预测分类及定位结果，对被遮挡的交通标志所属类别和定位结果进行进一步划分，获得最终预测的分类和定位结果。

Images