CN114266980A - 一种城市井盖破损检测方法及系统 - Google Patents

Abstract

本发明涉及一种城市井盖破损检测方法及系统，属于图像处理领域。该方法包括：获取基于VGG16的Faster‑RCNN模型；剔除基于VGG16的Faster‑RCNN模型中特征提取网络部分的第一层卷积层；将基于VGG16的Faster‑RCNN模型中的VGG16替换为MobileNet网络；在MobileNet网络中融入注意力机制模块，采用井盖破损图像对改进后的Faster‑RCNN模型进行训练，采用训练好的检测模型对城市井盖的破损情况进行检测；城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。本发明可以提高城市井盖破损检测的效率，降低检测成本。

Description

一种城市井盖破损检测方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种城市井盖破损检测方法及系统。

背景技术

城市中破损的井盖时常导致行人坠井、严重的交通事故等危险事件，对市民的人身安全有着巨大的威胁。除此之外，井盖破损导致的下水道事故还会带来巨大的经济损失，为市民的正常生活以及工厂的生产活动带来不便。

现有的对井盖进行故障排查的方法是人工定时巡查并检测井盖是否存在缺陷或破损隐患。但是这种方法人力物力成本高，且检测效率低。

发明内容

本发明的目的是提供一种城市井盖破损检测方法及系统，以提高检测效率，降低检测成本。

为实现上述目的，本发明提供了如下方案：

一种城市井盖破损检测方法，包括：

获取基于VGG16的Faster-RCNN模型；

剔除所述基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层；所述特征提取网络部分包括四层卷积层；

将所述基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络；

在所述MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型；

采用井盖破损图像对所述改进后的Faster-RCNN模型进行训练，得到训练好的检测模型；

采用所述检测模型对城市井盖的破损情况进行检测；所述城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。

可选的，所述剔除所述基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层，具体包括：

构建三层卷积层、两个上采样层和两个融合层；第一层卷积层的输出尺寸为56×56，第二层卷积层的输出尺寸为28×28，第三层卷积层的尺寸为14×14；所述第一层卷积层的输入为井盖破损图像，所述第二层卷积层的输入为所述第一层卷积层输出的特征图，所述第三层卷积层的输入为所述第二层卷积层输出的特征图；第一上采样层用于对所述第三层卷积层输出的特征图进行上采样，得到与所述第二层卷积层尺寸一样的图像；第一融合层用于对所述第一上采样层输出的图像和所述第二层卷积层输出的图像进行融合，得到第一融合图像；第二上采样层用于对所述第一融合图进行上采样，得到与所述第一层卷积层尺寸一样的图像；第二融合层用于将所述第二上采样层输出的图像与所述第一层卷积层输出的图像进行融合，得到特征融合图。

可选的，所述将所述基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络，具体包括：

获取MobileNet网络；

将所述MobileNet网络的所有Dropout层和全连接层剔除，得到第一MobileNet网络；

在所述第一MobileNet网络中新增四个卷积层，得到第二MobileNet网络；四个卷积层的卷积核尺寸分别为：1×1、3×3、5×5和7×7；

将所述第二MobileNet网络后端的全池化层和softmax分类器剔除，得到第三MobileNet网络；

采用所述第三MobileNet网络替换所述基于VGG16的Faster-RCNN模型中的VGG16网络。

可选的，所述在所述MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型，具体包括：

在所述MobileNet网络中所有卷积层的末端增加所述注意力机制模块，得到改进后的Faster-RCNN模型；所述注意力机制模块关注特征通道之间的关系。

可选的，所述采用井盖破损图像对所述改进后的Faster-RCNN模型进行训练，得到训练好的检测模型，具体包括：

获取城市井盖图像集；

对所述城市井盖图像集中的所有图像进行破损类别标注；

通过GAMMA数据增强的方式对标注后的城市井盖图像集的图像进行增强，并对增强后的城市井盖图像集进行旋转增强，扩充数据集规模，得到城市井盖样本集；

采用所述城市井盖样本集对所述改进后的Faster-RCNN模型进行训练，训练过程中采用随机梯度下降法更新权重。

本发明还提供一种城市井盖破损检测系统，包括：

Faster-RCNN模型获取模块，用于获取基于VGG16的Faster-RCNN模型；

卷积层剔除模块，用于剔除所述基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层；所述特征提取网络部分包括四层卷积层；

网络替换模块，用于将所述基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络；

注意力机制模块融合模块，用于在所述MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型；

训练模块，用于采用井盖破损图像对所述改进后的Faster-RCNN模型进行训练，得到训练好的检测模型；

检测模块，用于采用所述检测模型对城市井盖的破损情况进行检测；所述城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。

可选的，所述卷积层剔除模块，具体包括：

构建单元，用于构建三层卷积层、两个上采样层和两个融合层；第一层卷积层的输出尺寸为56×56，第二层卷积层的输出尺寸为28×28，第三层卷积层的尺寸为14×14；所述第一层卷积层的输入为井盖破损图像，所述第二层卷积层的输入为所述第一层卷积层输出的特征图，所述第三层卷积层的输入为所述第二层卷积层输出的特征图；第一上采样层用于对所述第三层卷积层输出的特征图进行上采样，得到与所述第二层卷积层尺寸一样的图像；第一融合层用于对所述第一上采样层输出的图像和所述第二层卷积层输出的图像进行融合，得到第一融合图像；第二上采样层用于对所述第一融合图进行上采样，得到与所述第一层卷积层尺寸一样的图像；第二融合层用于将所述第二上采样层输出的图像与所述第一层卷积层输出的图像进行融合，得到特征融合图。

可选的，所述网络替换模块，具体包括：

MobileNet网络获取单元，用于获取MobileNet网络；

第一剔除单元，用于将所述MobileNet网络的所有Dropout层和全连接层剔除，得到第一MobileNet网络；

新增单元，用于在所述第一MobileNet网络中新增四个卷积层，得到第二MobileNet网络；四个卷积层的卷积核尺寸分别为：1×1、3×3、5×5和7×7；

第二剔除单元，用于将所述第二MobileNet网络后端的全池化层和softmax分类器剔除，得到第三MobileNet网络；

替换单元，用于采用所述第三MobileNet网络替换所述基于VGG16的Faster-RCNN模型中的VGG16网络。

可选的，所述注意力机制模块融合模块，具体包括：

注意力机制模块融合单元，用于在所述MobileNet网络中所有卷积层的末端增加所述注意力机制模块，得到改进后的Faster-RCNN模型；所述注意力机制模块关注特征通道之间的关系。

可选的，所述训练模块，具体包括：

城市井盖图像集获取单元，用于获取城市井盖图像集；

破损类别标注单元，用于对所述城市井盖图像集中的所有图像进行破损类别标注；

图像增强单元，用于通过GAMMA数据增强的方式对标注后的城市井盖图像集的图像进行增强，并对增强后的城市井盖图像集进行旋转增强，扩充数据集规模，得到城市井盖样本集；

训练单元，用于采用所述城市井盖样本集对所述改进后的Faster-RCNN模型进行训练，训练过程中采用随机梯度下降法更新权重。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明在原Faster-RCNN特征提取网络基础上，剔除第一层卷积层，以最大限度利用特征通道，更加关注深层次的卷积层；将原Faster-RCNN中的基础网路VGG16替换为检测速度极快的MobileNet网络，并在MobileNet网络中融入注意力机制SENet模块，以更加关注对井盖检测贡献度大的特征，加快检测速度，降低算法复杂度。因此，本发明可以提高城市井盖破损缺陷检测的效率，降低人工成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明城市井盖破损检测方法的流程示意图；

图2为本发明城市井盖破损检测方法中改进后的Faster-RCNN模型中特征提取网络部分的结构图；

图3为本发明城市井盖破损检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明城市井盖破损检测方法的流程示意图。如图1所示，包括以下步骤：

步骤100：获取基于VGG16的Faster-RCNN模型。基于VGG16的Faster-RCNN模型的结构依次为：特征提取网络、区域推荐网络、感兴趣区域池化层、分类网络。

步骤200：剔除基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层。原始的基于VGG16的Faster-RCNN模型中特征提取网络部分包括四层卷积层：第一层为输出尺寸为112×112卷积层，第二层为输出尺寸为56×56的卷积层，第三层为输出尺寸为28×28的卷积层，第四层为输出尺寸为14×14的卷积层。如图2所示，本发明将第一层卷积层剔除，保留第二层、第三层和第四层卷积层，即构建了三层卷积层：第一层卷积层的输出尺寸为56×56，第二层卷积层的输出尺寸为28×28，第三层卷积层的尺寸为14×14。

然后构建两层上采样层和两个融合层。第一上采样层用于对第三层卷积层输出的14×14的特征图进行上采样，图像放大一倍，得到28×28的特征图；第一融合层用于对第一上采样层输出的图像和第二层卷积层输出的图像进行融合，得到第一融合图像；第二上采样层用于对第一融合图进行上采样，将图像放大一倍，得到56×56的图像；第二融合层用于将第二上采样层输出的图像与第一层卷积层输出的图像进行融合，得到56×56的特征融合图。

步骤300：将基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络。MobileNet网络的检测速度极快，MobileNet网络由数个Dropout层和全连接层、数个深度可分离卷积层、全局池化层和softmax分类器组成，其中每个深度可分离卷积依次由3×3深度卷积层、批规范化层、ReLU层、1×1卷积层、批规范化层、ReLU层组成。

将VGG16替换为MobileNet网络时，首先去掉MobileNet网络中的所有Dropout层和全连接层，新增4个卷积层来获取更多的特征图以预测偏移量和置信度，其中卷积核的尺寸分别为1×1、3×3、5×5和7×7，然后再去掉MobileNet网络后端的全局池化层和softmax分类器。最后用处理后的MobileNet网络替换Faster-RCNN模型中的VGG16。

本发明采用MobileNet网络对输入的图像进行两次特征提取，第一次使用MobileNet网络对输入的城市井盖图像进行特征提取时，输出的特征图尺寸为19×19×256，然后再次使用MobileNet网络对特征图进行特征提取时，输出的特征图尺寸为10×10×6。

步骤400：在MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型。具体的，本发明在MobileNet网络所有卷积层的最后加入即插即用的注意力机制SENet模块，使用SENet模块关注特征通道之间的关系，使模型可以自动学习到不同通道特征的重要程度。具体过程为：

首先，对卷积得到的特征图进行挤压操作，得到通道级的全局特征，采用全局池化层来实现：

，其中，H表示空间维度的高，W表示空间维度的宽，i表示矩阵的行序号，j表示矩阵的列序号，

表示SE模块的输出。

然后，使用兴奋操作获取通道之间的关系，采用sigmoid门控机制：

，其中，

表示sigmoid门控机制，RELU为激活函数，z表示上述挤压操作的输出，

，其中，C表示通道维度，r表示降维系数（超参数），R为实数。

步骤500：采用井盖破损图像对改进后的Faster-RCNN模型进行训练，得到训练好的检测模型。训练过程如下：

Step1：由无人机对需要检测的城市井盖进行拍摄获取原始图像数据，分别捕获缺失、破损、移位、沉陷、凸起、井盖高差、井周破损、井盖错乱八种破损井盖图像和完好井盖图像，得到城市井盖图像集。采用无人机对城市井盖进行拍摄时，分别获取城市井盖整体画面和局部画面，以获得不同尺度的图像，为建立城市井盖破损检测分类模型提供数据基础。城市井盖整体的图像用于后续异常位置的定位。

拍摄城市井盖局部图像时，为了能够更加全面的对城市井盖进行检测，将每个井盖分为20个区域进行拍摄。为了减少各区域之间分界处的遗漏检测概率，各区域之间包含重合面积为5cm²。城市井盖局部使用T_mn表示井盖的各区域，其中m表示第m个井盖，n表示第n个区域的井盖局部，则一个面积为N的城市井盖每张图像包含的井盖面积为(N/20）+5cm²。当检测到城市井盖存在异常时，将异常图像T_mn′与城市井盖整体图像进行比对，确认异常准确位置。

Step2：将城市井盖图像集上传，通过人工标注缺陷部位构建数据集，并对原始图像进行预处理，获得可以被模型识别和分类的输入图像。

首先，使用labelme标注工具对城市井盖图像集的所有图像进行缺陷类别标注，并将标注的数据进行候选框裁剪整理。得到“完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损、井盖错乱”九个标签种类。

然后，通过GAMMA数据增强的方式对图像灰度进行归一化处理，去除不同光照强度下拍摄获取的图像带来的干扰。具体的，采用γ值为2的GAMMA矫正，GAMMA矫正的表达式为S=ca^γ，其中c为常数，a为1时输入与输出的取值范围为0至1，为直线变换；当a小于1时，图像低灰度区将会被放大，高灰度区将会被缩小；当a大于1时，图像低灰度区将会缩小，高灰度区将会扩大，低灰度区缩小。

之后，对GAMMA数据增强后的图像级进行旋转增强，扩充数据集规模，避免出现模型过拟合。本发明对图像分别进行顺时针90°、顺时针180°和顺时针270°旋转，通过旋转增强后数据量变为原来的四倍。增强后的图像集构成最终的数据集，即城市井盖样本集，将城市井盖样本集按照8:2的比例划分训练集和测试集。

Step3：基于构建的训练集和测试集对改进后的Faster-RCNN模型进行训练。

首先，基于城市井盖样本集使用group-lasso正则化矩阵进行训练，目标函数为

，其中，g表示滤波器组的顺序，G表示滤波器组的数量，i表示输出特征的序号，j表示输入特征的序号，O表示输出通道的数量，R表示输入通道的数量，

为第g组滤波器组的第i个输出的第j个输入的权值。训练过程中，采用随机梯度下降更新权重，定义模型训练的迭代次数为epoch，设置epoch=400；定义学习率为learning_rate=0.01；每迭代100次，learning_rate=learning_rate×0.1；定义训练轮次为batch，设置batch=64；设置权重衰减为1e-4。

然后，采用测试集对改进后的Faster-RCNN模型进行测试，输出对八种城市井盖破损情况和井盖完好情况进行分类，并输出模型的评价指标。然后，将测试后评价指标优秀的模型作为训练好的检测模型。

步骤600：采用检测模型对城市井盖的破损情况进行检测。城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。将检测模型进行部署，利用无人机拍摄待检测的城市井盖图像，输入该检测模型，便可以输出破损情况的检测结果。

基于上述方法，本发明还提供一种城市井盖破损检测系统，图3为本发明城市井盖破损检测系统的结构示意图。如图3所示，该检测系统包括：

Faster-RCNN模型获取模块301，用于获取基于VGG16的Faster-RCNN模型。

卷积层剔除模块302，用于剔除基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层；特征提取网络部分包括四层卷积层；

网络替换模块303，用于将基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络；

注意力机制模块融合模块304，用于在MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型；

训练模块305，用于采用井盖破损图像对改进后的Faster-RCNN模型进行训练，得到训练好的检测模型；

检测模块306，用于采用检测模型对城市井盖的破损情况进行检测；城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。

作为具体实施例，本发明的城市井盖破损检测系统中，卷积层剔除模块302，具体包括：

构建单元，用于构建三层卷积层、两个上采样层和两个融合层；第一层卷积层的输出尺寸为56×56，第二层卷积层的输出尺寸为28×28，第三层卷积层的尺寸为14×14；第一层卷积层的输入为井盖破损图像，第二层卷积层的输入为第一层卷积层输出的特征图，第三层卷积层的输入为第二层卷积层输出的特征图；第一上采样层用于对第三层卷积层输出的特征图进行上采样，得到与第二层卷积层尺寸一样的图像；第一融合层用于对第一上采样层输出的图像和第二层卷积层输出的图像进行融合，得到第一融合图像；第二上采样层用于对第一融合图进行上采样，得到与第一层卷积层尺寸一样的图像；第二融合层用于将第二上采样层输出的图像与第一层卷积层输出的图像进行融合，得到特征融合图。

作为具体实施例，本发明的城市井盖破损检测系统中，网络替换模块，具体包括：

MobileNet网络获取单元，用于获取MobileNet网络。

第一剔除单元，用于将MobileNet网络的所有Dropout层和全连接层剔除，得到第一MobileNet网络。

新增单元，用于在第一MobileNet网络中新增四个卷积层，得到第二MobileNet网络；四个卷积层的卷积核尺寸分别为：1×1、3×3、5×5和7×7。

第二剔除单元，用于将第二MobileNet网络后端的全池化层和softmax分类器剔除，得到第三MobileNet网络。

替换单元，用于采用第三MobileNet网络替换基于VGG16的Faster-RCNN模型中的VGG16网络。

作为具体实施例，本发明的城市井盖破损检测系统中，注意力机制模块融合模块，具体包括：

注意力机制模块融合单元，用于在MobileNet网络中所有卷积层的末端增加注意力机制模块，得到改进后的Faster-RCNN模型；注意力机制模块关注特征通道之间的关系。

作为具体实施例，本发明的城市井盖破损检测系统中，训练模块，具体包括：

城市井盖图像集获取单元，用于获取城市井盖图像集。

破损类别标注单元，用于对城市井盖图像集中的所有图像进行破损类别标注。

图像增强单元，用于通过GAMMA数据增强的方式对标注后的城市井盖图像集的图像进行增强，并对增强后的城市井盖图像集进行旋转增强，扩充数据集规模，得到城市井盖样本集。

训练单元，用于采用城市井盖样本集对改进后的Faster-RCNN模型进行训练，训练过程中采用随机梯度下降法更新权重。

本发明通过无人机捕获井盖图像并制作成数据集，在原Faster-RCNN特征提取网络基础上，剔除第一层卷积层，以最大限度利用特征通道，更加关注深层次的卷积层。除此之外，将原Faster-RCNN中的基础网路VGG16替换为检测速度极快的MobileNet网络，并在MobileNet网络中融入注意力机制SENet模块，以更加关注对井盖检测贡献度大的特征，加快检测速度，降低算法复杂度。大大节省人力物力，可以解决城市道路场景复杂、井盖与路面背景重合度高难以检测的问题，并可以针对井盖中小目标破损位置精确检测，提前避免出现大面积破损的情况。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种城市井盖破损检测方法，其特征在于，包括：

获取基于VGG16的Faster-RCNN模型；

剔除所述基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层；所述特征提取网络部分包括四层卷积层；

将所述基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络；

在所述MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型；

采用井盖破损图像对所述改进后的Faster-RCNN模型进行训练，得到训练好的检测模型；

采用所述检测模型对城市井盖的破损情况进行检测；所述城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。

2.根据权利要求1所述的城市井盖破损检测方法，其特征在于，所述剔除所述基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层，具体包括：

构建三层卷积层、两个上采样层和两个融合层；第一层卷积层的输出尺寸为56×56，第二层卷积层的输出尺寸为28×28，第三层卷积层的尺寸为14×14；所述第一层卷积层的输入为井盖破损图像，所述第二层卷积层的输入为所述第一层卷积层输出的特征图，所述第三层卷积层的输入为所述第二层卷积层输出的特征图；第一上采样层用于对所述第三层卷积层输出的特征图进行上采样，得到与所述第二层卷积层尺寸一样的图像；第一融合层用于对所述第一上采样层输出的图像和所述第二层卷积层输出的图像进行融合，得到第一融合图像；第二上采样层用于对所述第一融合图进行上采样，得到与所述第一层卷积层尺寸一样的图像；第二融合层用于将所述第二上采样层输出的图像与所述第一层卷积层输出的图像进行融合，得到特征融合图。

3.根据权利要求1所述的城市井盖破损检测方法，其特征在于，所述将所述基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络，具体包括：

获取MobileNet网络；

将所述MobileNet网络的所有Dropout层和全连接层剔除，得到第一MobileNet网络；

在所述第一MobileNet网络中新增四个卷积层，得到第二MobileNet网络；四个卷积层的卷积核尺寸分别为：1×1、3×3、5×5和7×7；

将所述第二MobileNet网络后端的全池化层和softmax分类器剔除，得到第三MobileNet网络；

采用所述第三MobileNet网络替换所述基于VGG16的Faster-RCNN模型中的VGG16网络。

4.根据权利要求1所述的城市井盖破损检测方法，其特征在于，所述在所述MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型，具体包括：

在所述MobileNet网络中所有卷积层的末端增加所述注意力机制模块，得到改进后的Faster-RCNN模型；所述注意力机制模块关注特征通道之间的关系。

5.根据权利要求1所述的城市井盖破损检测方法，其特征在于，所述采用井盖破损图像对所述改进后的Faster-RCNN模型进行训练，得到训练好的检测模型，具体包括：

获取城市井盖图像集；

对所述城市井盖图像集中的所有图像进行破损类别标注；

通过GAMMA数据增强的方式对标注后的城市井盖图像集的图像进行增强，并对增强后的城市井盖图像集进行旋转增强，扩充数据集规模，得到城市井盖样本集；

采用所述城市井盖样本集对所述改进后的Faster-RCNN模型进行训练，训练过程中采用随机梯度下降法更新权重。

6.一种城市井盖破损检测系统，其特征在于，包括：

Faster-RCNN模型获取模块，用于获取基于VGG16的Faster-RCNN模型；

卷积层剔除模块，用于剔除所述基于VGG16的Faster-RCNN模型中特征提取网络部分的第一层卷积层；所述特征提取网络部分包括四层卷积层；

网络替换模块，用于将所述基于VGG16的Faster-RCNN模型中的VGG16替换为MobileNet网络；

注意力机制模块融合模块，用于在所述MobileNet网络中融入注意力机制模块，得到改进后的Faster-RCNN模型；

训练模块，用于采用井盖破损图像对所述改进后的Faster-RCNN模型进行训练，得到训练好的检测模型；

检测模块，用于采用所述检测模型对城市井盖的破损情况进行检测；所述城市井盖的破损情况包括完好、缺失、破损、移位、沉陷、凸起、井盖高差、井周破损和井盖错乱。

7.根据权利要求6所述的城市井盖破损检测系统，其特征在于，所述卷积层剔除模块，具体包括：

构建单元，用于构建三层卷积层、两个上采样层和两个融合层；第一层卷积层的输出尺寸为56×56，第二层卷积层的输出尺寸为28×28，第三层卷积层的尺寸为14×14；所述第一层卷积层的输入为井盖破损图像，所述第二层卷积层的输入为所述第一层卷积层输出的特征图，所述第三层卷积层的输入为所述第二层卷积层输出的特征图；第一上采样层用于对所述第三层卷积层输出的特征图进行上采样，得到与所述第二层卷积层尺寸一样的图像；第一融合层用于对所述第一上采样层输出的图像和所述第二层卷积层输出的图像进行融合，得到第一融合图像；第二上采样层用于对所述第一融合图进行上采样，得到与所述第一层卷积层尺寸一样的图像；第二融合层用于将所述第二上采样层输出的图像与所述第一层卷积层输出的图像进行融合，得到特征融合图。

8.根据权利要求6所述的城市井盖破损检测系统，其特征在于，所述网络替换模块，具体包括：

MobileNet网络获取单元，用于获取MobileNet网络；

第一剔除单元，用于将所述MobileNet网络的所有Dropout层和全连接层剔除，得到第一MobileNet网络；

新增单元，用于在所述第一MobileNet网络中新增四个卷积层，得到第二MobileNet网络；四个卷积层的卷积核尺寸分别为：1×1、3×3、5×5和7×7；

第二剔除单元，用于将所述第二MobileNet网络后端的全池化层和softmax分类器剔除，得到第三MobileNet网络；

替换单元，用于采用所述第三MobileNet网络替换所述基于VGG16的Faster-RCNN模型中的VGG16网络。

9.根据权利要求6所述的城市井盖破损检测系统，其特征在于，所述注意力机制模块融合模块，具体包括：

注意力机制模块融合单元，用于在所述MobileNet网络中所有卷积层的末端增加所述注意力机制模块，得到改进后的Faster-RCNN模型；所述注意力机制模块关注特征通道之间的关系。

10.根据权利要求6所述的城市井盖破损检测系统，其特征在于，所述训练模块，具体包括：

城市井盖图像集获取单元，用于获取城市井盖图像集；

破损类别标注单元，用于对所述城市井盖图像集中的所有图像进行破损类别标注；

图像增强单元，用于通过GAMMA数据增强的方式对标注后的城市井盖图像集的图像进行增强，并对增强后的城市井盖图像集进行旋转增强，扩充数据集规模，得到城市井盖样本集；

训练单元，用于采用所述城市井盖样本集对所述改进后的Faster-RCNN模型进行训练，训练过程中采用随机梯度下降法更新权重。

Images