CN113034444A - 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 - Google Patents
一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 Download PDFInfo
- Publication number
- CN113034444A CN113034444A CN202110250339.7A CN202110250339A CN113034444A CN 113034444 A CN113034444 A CN 113034444A CN 202110250339 A CN202110250339 A CN 202110250339A CN 113034444 A CN113034444 A CN 113034444A
- Authority
- CN
- China
- Prior art keywords
- mobilenet
- pspnet
- neural network
- features
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000003062 neural network model Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000011176 pooling Methods 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 239000010426 asphalt Substances 0.000 claims description 3
- 239000004568 cement Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于Mobilenet‑PSPNet神经网络模型的校园道路裂缝检测方法，方法步骤如下：S1.收集裂缝图像数据集，人工标定标签并将其转换为对应的掩码位图；S2.设计MobileNet‑PSPNet神经网络并使用步骤S1中处理过的图像进行训练；S3.采集校园路面图像并实时传输至终端；S4.利用MobileNet提取步骤S3中采集到的数据集图像的全局特征；S5.对步骤S4中所获得的全局特征图通过MobileNet‑PSPNet网络中的金字塔自适应平均池化模块提取局部特征；S6.将步骤S5中得到的局部特征进行上采样操作，然后将其与全局特征进行特征融合，得到既包含全局特征和局部特征的新特征；S7.通过卷积与上采样操作得到最终预测结果。本发明通过基于PSPNet卷积神经网络改进的Mobilenet‑PSPNet对校园道路的裂缝实现实时检测，准确高效，不易产生错检漏检。
Description
技术领域
本发明涉及基于深度学习卷积神经网络的裂缝检测领域，尤其涉及一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法。
背景技术
据交通运输部官网介绍，我国公路总里程已经突破500万公里，居世界第一。但是目前，道路裂缝检测在实践中主要还是人工检查，该方法工作成本高，劳动强度大且检测效率低，同时主要通过人工的方法进行检测，不但具有主观性，而且可能因监督者身体状态或精神不集中的原因会导致漏检或者分类错误的情况出现。因此，快速及时地掌握道路路面信息，实现结构表面缺陷自动化检测，是本发明主要解决的问题。本发明提出了一种基于PSPNet神经网络改进的 MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，传统的分割任务只是单纯的提取图像的低维特征来实现分割，但是使用本方法所分割出的裂缝图像结果不仅会进行语义标注，同时又在FCN、U-Net、SegNet等语义分割神经网络的基础上进一步考虑上下文和局部的信息去做裂缝图像的预测。
发明内容
为解决上述技术问题，尤其是裂缝检测准确性不高，丢失细节信息，针对现有技术中存在的缺陷或不足，本发明提供了一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法。利用MobileNet-PSPNet神经网络结构中的一组不同尺度的池化块组成金字塔池化模块达到加强特征提取功能，从而实现全局场景级先验的场景分析。
本发明通过以下技术手段实现解决上述技术问题的：
本发明提出一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，方法步骤如下：
S1.收集裂缝图像数据集，人工标定标签并将其转换为对应的掩码位图；
S2.设计MobileNet-PSPNet神经网络并使用步骤S1中处理过的图像进行训练；
S3.采集校园路面图像并实时传输至终端；
S4.利用MobileNet提取步骤S3中采集到的数据集图像的全局特征；
S5.对步骤S4中所获得的全局特征图通过MobileNet-PSPNet网络中的金字塔自适应平均池化模块提取局部特征；
S6.将步骤S5中得到的局部特征进行上采样操作，然后将其与全局特征进行特征融合，得到既包含全局特征和局部特征的新特征；
S7.通过卷积与上采样操作得到最终预测结果。
优选的，所述S1中人工标定标签并将其转换为对应的掩码位图的过程包括：
首先采用语义分割标注软件Labelme进行裂缝图像标注，由用户在道路工程师指导下人工评判得到每个数据集图像的标签信息，利用Labelme软件标注完生成的标签包含有标注过程中的关键点json文件，然后利用json文件由 python代码的脚步生成掩码位图，掩码位图可用于PSPNet神经网络训练时识别的索引图，并且将这些数索引图搭建成模型需要的训练库。
优选的，所述S1中的裂缝图像数据集来源于论文中的裂缝数据集以及通过人工拍摄的裂缝图像，包含水泥路裂缝数据集、混凝土路面裂缝数据集和沥青路面裂缝数据集，数据集包含种类较全。
优选的，所述S2中的MobileNet-PSPNet神经网络的结构包括：
输入层：用于输入二维或三维的图像数据矩阵；
主干特征提取网络层：用于提取主干特征信息；
平均池化层：使用不同大小的池化核进行降采样处理，减小图像的尺寸大小并保留图像的显著特征；
激活层：用于模拟及表达卷积运算时的非线性因素；
全连接层：用于将提取的局部特征连接起来进行对其整体感知；
MobileNet-PSPNet神经网络的训练过程包括：将采集好的裂缝数据集图像通过裁剪，填充图像预处理操作，将预处理好的数据集图片传入主干特征提取网络MobileNet进行主干特征提取，获得特征层，将得到的特征层作为全局特征，同时传入金字塔池化模块加强特征提取，作为局部特征，在金字塔池化模块中使用1*1，2*2，3*3，6*6的平均池化模块将传入的特征层分为四个不同的尺度，最后将这四个不同的尺度进行级联然后上采样，使得到的局部特征在维度上与之前的全局特征维度大小相同，然后将局部特征和全局特征两者之间进行特征融合，使得新得到的特征即含有全局特征同时包含局部特征，最后通过上采样操作和通过全连接层卷积分类得到裂缝检测结果。
优选的，MobileNet-PSPNet神经网络训练过程中使用交叉熵损失函数来计算损失值，使其能够直观的描述MobileNet-PSPNet神经网络模型在训练神经网络权重参数过程中预测结果与真实标签的误差值大小。交叉熵损失函数是深度学习中使用最多，应用最广泛的损失函数之一，所以本发明方法采用交叉熵损失函数。不过与传统图像卷积神经网络使用的交叉熵损失不同之处本发明方法的损失函数需要对每个像素进行预测评估，因为MobileNet-PSPNet分割图像时需要考虑上下文的语义，然后求像素平均值。如果交叉熵损失越大，那么其对应的下降的梯度就越大，同时神经网络的训练速度也就会加快。
本发明中所使用的交叉熵损失函数公式如下：
L＝y log y′+(1-y)log(1-y′)。
优选的，所述S3中采用无人机采集所需检测的校园路面图像，无人机拍摄相对于人工拍摄更准确清晰，照片质量更高，便于后期图像预处理，同时利用 5G网络可以实现网络数据实时传输，实现对裂缝的实时检测。
优选的，所述S4中MobileNet卷积神经网络作为PSPNet主干特征提取网络对图像的全局特征进行提取，MobileNet网络是轻量级CNN网络，相比于传统的卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。相比于传统的卷积神经网络只使用单个超参数，MobileNet网络是用两个超参数来控制网络计算速度与准确度之间的平衡，宽度调节参数和分辨率参数，能够更好的压缩模型，减少训练神经网络时的计算量。MobileNet卷积神经网络的计算量公式如下：
L1＝DK*Dk*M*DF*DF+M*N*DF*DF
而普通卷积神经网络的计算量公式如下：
L2＝DK*DK*M*N*DF*DF
其中DF为输入特征矩阵的高和宽，DK为卷积核的大小，M为输入特征矩阵的深度，N为输出特征矩阵的深度；这里卷积步距为1，所以：
在MobileNet卷积神经网络中卷积核大小一般为3，所以理论上普通卷积神经网络的计算量是MobileNet的8～9倍。本发明则采用MobileNet卷积神经网络作为PSPNet主干特征提取网络进行图像的全局特征进行提取过程极大的减少了计算量。
优选的，所述S5中金字塔自适应平均池化模块提取局部特征的过程包括：
将步骤S4中获取到的特征层划分成不同大小的区域，每个区域内部各自进行平均池化，以此作为先验信息，并进一步依次做卷积核大小为1*1的卷积操作，将其通道维度维度降为1，便于四个不同的尺度进行级联，然后将其上采样即可得到局部特征。
优选的，金字塔自适应平均池化模块完成平均池化后还需要使用1*1的卷积核进行通道数的调整，卷积后使用整流线性单元Relu函数作为激励函数，其公式为：
f(x)＝max(x，0)
相对于sigmoid和双曲正切函数，Relu函数只需要一个合理的阈值就可以得到激励值，减少了计算的复杂度。另外，当relu函数处于激活状态时，其一阶导数处处为1，所以Relu函数没有梯度消失这一问题，同时Sigmoid激活函数和双曲正切激活函数随机梯度下降法收敛速度比Relu激活函数慢很多。Relu激活函数导数表达式为：
其中，x表示神经元。
同时Sigmoid激活函数公式如下：
其求导过程如下：
由上述推导公式可知，在卷积核为1的情况，容易出现梯度消失，所以选择 Relu函数作为激活函数。设置一个合理的阈值得到激励值，减少计算的复杂度。
本发明中情绪压力检测方法的有益效果是：
(1)本发明中的裂缝数据集来源广泛，数据包含种类也丰富，而且用户在专业的道路工程师指导下人工评判得到每个数据集图像的标签信息。利用语义分割专用软件Labelme标注完生成的标签的包了标注过程中的一些关键点json 文件，利用json文件由python代码的脚步生成掩码位图作为可用于 MobileNet-PSPNet神经网络训练时识别的索引图。所以训练MobileNet-PSPNet 使用的数据集具有较高的可靠性。
(2)采用无人机采集校园道路需检测的路面，无人机拍摄相对于普通人工拍摄更准确清晰，照片质量更高，便于后期图像预处理。同时利用5G网络可以实现网络数据实时传输到终端，便于实现对裂缝的实时检测。
(3)本发明采用轻量级MobileNet卷积神经网络作为Mobilenet-PSPNet 主干特征提取网络进行裂缝数据集图像的全局特征进行提取，提取过程极大的减少了计算量。
(4)本发明对所得全局特征图通过MobileNet-PSPNet的金字塔自适应平均池化模块捕获不同子区域的特征，将每个不同的子区域内部各自进行平均池化，将每个区域进行特征上采样，然后将其与先前提取的全局特征进行融合，使得当前特征不仅包含了全局特征和也包含了图像的局部特征；最后，通过卷积与上采样操作可以有效用于裂缝图像分割识别检测。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的提出的基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法流程示意图；
图2是本发明的Mobilenet-PSPNet神经网络基本结构图；
图3是本发明的Mobilenet-PSPNet神经网络金字塔自适应平均池化模块的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，包括以下步骤；
S1.收集裂缝图像数据集，人工标定标签并将其转换为对应的掩码位图。
其中的裂缝图像数据集来源于论文中的裂缝数据集以及通过人工拍摄的裂缝图像，包含水泥路裂缝数据集、混凝土路面裂缝数据集和沥青路面裂缝数据集，共计3000张左右，这些数据集作为Mobilenet-PSPNet神经网络训练数据集，针对数据集中每张图片都需要需采用专业的语义分割标注软件Labelme进行裂缝图像标注，利用Labelme软件标注完生成的标签包含了标注过程中的一些关键点 json文件，利用json文件由python代码的脚步生成掩码位图作为可用于PSPNet 神经网络训练时识别的索引图。本实施例中道路裂缝数据集为X＝{x1，x2，…，xN}，基于裂缝种类对裂缝数据集进行人工评判得到集合Y的标签Json文件Y＝ {y1，y2，…，yN}，最后基于含有标注关键点的json文件生成掩码位图Z＝ {z1，z2，…zN}，其中xi，yi及zi表示第i个数据集图像以及对应的json文件和对应的标签的掩码位图，N为数据集规模大小。
S2.设计MobileNet-PSPNet神经网络并使用步骤S1中处理过的图像进行训练。
具体的，所述S2中的MobileNet-PSPNet神经网络的结构包括：
输入层：在裂缝图像处理时，PSPNet卷积神经网络模型的输入的是二维或者三维的图像数据矩阵，输入层还需要对数据做标准化处理，提高模型训练效率。
主干特征提取网络层：PSPNet卷积神经网络中核心的一个层次结构就是主干特征提取网络层，它的主要功能是提取主干特征信息。
平均池化层：池化层池化层也称为降采样层，它的主要的功能是使用不同大小的池化核进行降采样处理，减小图像的尺寸大小并保留图像的显著特征，起到降维作用。
激活层：激活层又被称为非线性映射层。在卷积运算的时，有许多的加法以及乘法操作，若干个卷积层结合在一起的运算同样是乘加法的组合，而加法以及乘法操作是线性操作的过程，为了更好的模拟及表达非线性因素，所以卷积神经网络需要添加激活层。
全连接层：主干特征提取网络层对图像的感知是局部的感知，裂缝的图像的特征也只是进行了局部提取，而通过全连接层可以将提取局部特征连接起来进行对其整体感知。
而MobileNet-PSPNet神经网络的训练过程如下：
将采集好的裂缝数据集图像通过裁剪，填充等图像预处理操作过后，将其调整成大小为(473，473，3)，将预处理好的数据集图片传入主干特征提取网络 MobileNet进行主干特征提取，获得特征层，将得到的特征层分为两部分，一部分作为全局特征，还有一部分传入金字塔池化模块加强特征提取，作为局部特征，在金字塔池化模块中主要是使用1*1，2*2，3*3，6*6的平均池化模块将传入的特征层分为四个不同的尺度，最后将这四个不同的尺度进行级联然后上采样，使得到的局部特征在维度上与之前的全局特征维度大小相同，然后将局部特征和全局特征两者之间进行特征融合。使得新得到的特征即含有全局特征同时包含局部特征。最后通过上采样操作和通过全连接层卷积分类得到裂缝检测结果。
另外，在训练MobileNet-PSPNet神经网络过程采用全零的填充方式，其一是为了保证输出图片的尺寸和输入图片一致，其二是防止图像的边界信息在被卷积核扫描时丢失，MobileNet-PSPNet神经网络训练过程使用特别广泛的神经网络模型的交叉熵损失函数来计算损失值(Loss)，使其能够直观的描述 MobileNet-PSPNet神经网络模型在训练神经网络权重参数过程中预测结果与真实标签的误差值大小。交叉熵损失函数是深度学习中使用最多，应用最广泛的损失函数之一，所以本发明方法采用交叉熵损失函数。不过与传统图像卷积神经网络使用的交叉熵损失不同之处本发明方法的损失函数需要对每个像素进行预测评估，因为MobileNet-PSPNet需要分割图像时需要考虑上下文的语义，然后求像素平均值。如果交叉熵损失越大，那么其对应的下降的梯度就越大，同时神经网络的训练速度也就会加快。其对应的交叉熵损失函数公式如下：
L＝y log y′+(1-y)log(1-y′)
其中L表示交叉熵损失函数，y为样本标签。
在确定了损失函数之后，还需要寻找一种能够在训练神经网络中快速降低交叉熵损失的优化算法。根据梯度的定义可知在递归性逼近最小偏差模型中，梯度下降的方向就是用负梯度方向为搜索方向，沿着梯度下降的方向求解极小值，沿着负梯度方向，函数降低的最快。因此，梯度下降法也就成为了在深度学习中最常用的优化算法。本发明方法选择时效性非常好，能够在线学习的Stochastic Gradient Descent算法简称SGD算法，即随机梯度下降算法。通过如下公式：
其中wi表示权重的初值，wi+1表示更新后的权重值，α表示学习率。
表示梯度，在梯度下降中，我们会重复上式多次，直至损失函数值收敛不变。
同时本发明在训练完神经网络还需要采用裂缝准确度指数P、召回率指数R 和均交并比Miou来评价裂缝图像的分割提取效果。语义分割中有两个基本的量化评估指标，第一个是准确度(precision)，第二个是召回(recall)。
其中TP表示将裂缝区域的像数正确提取出来的总数目，FP表示错误的将背景像数判断为裂缝像数总数目。FN表示将裂缝区域像数误判断为背景的像素的总数量。裂缝准确度指数Precision(查准率P)和召回率指数Recall(查全率R)公式如下：
P＝TP/(TP+FP)
R＝TP/(TP+FN)
可以凭借查准率P以及召查全率R两项指标判断是否PSPNet神经网络模型在训练裂缝图像数据集时是否出现欠拟合或过拟合现象。
为了评估分类精度，采取总体精度OA和交并集比IOU以及均交并比MIOU 这三项指标作为评价指标。OA为PSPNet神经网络模型预测所有正确的裂缝像数与总体像素的比例。IOU为裂缝实际的真实值和PSPNet神经网络模型的预测值这两者的两个集合交集与并集之比。均交并比它指的是所有预测裂缝图像结果的平均真实值和预测值的交并比，更加具有泛化能力，同时具有很强的代表性。三个指标的计算公式分别为：
其中K表示分割目标分割的类别，Pij表示类别i被错分类为j类别的像素数目，Pji则表示类别j被错分类为i类别的像素数目。而Pii则表示则表示类别i 被正确分类。
S3.采集校园路面图像并实时传输至终端，由型号为大疆Mavic2的无人机采集所需检测的校园道路高清图像。
S4.利用MobileNet提取步骤S3中采集到的数据集图像的全局特征，本实施例中优选采用MobileNet网络作为PSPNet主干特征提取网络进行图像的全局特征进行提取。MobileNet网络是轻量级CNN网络，相比于传统的卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。
S5.对步骤S4中所获得的全局特征图通过MobileNet-PSPNet网络中的金字塔自适应平均池化模块提取局部特征。
本实施例中的Mobilenet-PSPNet网络结构图如图2所示，金字塔自适应平均池化模块将获取到的特征层划分成不同大小的区域，每个区域内部各自进行平均池化。实现聚合不同区域的上下文信息，从而提高获取全局信息的能力。在 Mobilenet-PSPNet中，金字塔自适应平均池化模块结构典型情况下，会将输入进来的特征层划分成6x6，3x3，2x2，1x1的区域，然后每个区域内部各自进行平均池化，为了保持不同尺度的权重，通过1*1的卷积对特征层降维到1，然后将每个区域进行特征上采样，然后将其与先前提取的全局特征进行融合，使得当前特征不仅包含了全局特征和也包含了图像的局部特征。
金字塔自适应平均池化模块完成平均池化后使用1*1的卷积核进行通道数的调整时，卷积后使用整流线性单元Relu函数作为激励函数，其公式为：
f(x)＝max(x，0)。
本实施例中选择Relu函数作为激活函数，通过设置一个合理的阈值得到激励值，可以减少计算的复杂度。
S6.将步骤S5中得到的局部特征进行上采样操作，然后将其与全局特征进行特征融合，得到既包含全局特征和局部特征的新特征。
S7.通过一层全连接层进行卷积操作，然后用双线性插值算法进行上采样操作，使预测结果的图像与输入Mobilenet-PSPNet网络的原图像大小相同。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，方法步骤如下：
S1.收集裂缝图像数据集，人工标定标签并将其转换为对应的掩码位图；
S2.设计MobileNet-PSPNet神经网络并使用步骤S1中处理过的图像进行训练；
S3.采集校园路面图像并实时传输至终端；
S4.利用MobileNet提取步骤S3中采集到的数据集图像的全局特征；
S5.对步骤S4中所获得的全局特征图通过MobileNet-PSPNet网络中的金字塔自适应平均池化模块提取局部特征；
S6.将步骤S5中得到的局部特征进行上采样操作，然后将其与全局特征进行特征融合，得到既包含全局特征和局部特征的新特征；
S7.将新特征通过上采样与卷积操作得到最终预测结果。
2.根据权利要求1所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S1中人工标定标签并将其转换为对应的掩码位图的过程包括：
首先采用语义分割标注软件Labelme进行裂缝图像标注，由用户在道路工程师指导下人工评判得到每个数据集图像的标签信息，利用Labelme软件标注完生成的标签包含有标注过程中的关键点json文件，然后利用json文件由python代码的脚步生成掩码位图。
3.根据权利要求1所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S1中的裂缝图像数据集来源于论文中的裂缝数据集以及通过人工拍摄的裂缝图像，包含水泥路裂缝数据集、混凝土路面裂缝数据集和沥青路面裂缝数据集。
4.根据权利要求2所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S2中的MobileNet-PSPNet神经网络的结构包括：
输入层：用于输入二维或三维的图像数据矩阵；
主干特征提取网络层：用于提取主干特征信息；
平均池化层：使用不同大小的池化核进行降采样处理，减小图像的尺寸大小并保留图像的显著特征；
激活层：用于模拟及表达卷积运算时的非线性因素；
全连接层：用于将提取的局部特征连接起来进行对其整体感知；
MobileNet-PSPNet神经网络的训练过程包括：
将采集好的裂缝数据集图像进行预处理操作，预处理好的数据集图片传入主干特征提取网络MobileNet进行主干特征提取，获得特征层，将得到的特征层作为全局特征，同时传入金字塔池化模块加强特征提取，作为局部特征，在金字塔池化模块中使用1*1，2*2，3*3，6*6的平均池化模块将传入的特征层分为四个不同的尺度，最后将这四个不同的尺度进行级联然后上采样，使得到的局部特征在维度上与之前的全局特征维度大小相同，然后将局部特征和全局特征两者之间进行特征融合，使得新得到的特征即含有全局特征同时包含局部特征，最后通过上采样操作和通过全连接层卷积分类得到裂缝检测结果。
5.根据权利要求4所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，MobileNet-PSPNet神经网络训练过程中使用交叉熵损失函数来计算损失值，并且交叉熵损失函数对每个像素均进行预测评估；
交叉熵损失函数公式如下：
L＝ylogy′+(1-y)log(1-y′)
其中L表示交叉熵损失函数，y为样本标签。
6.根据权利要求1所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S3中采用无人机采集所需检测的校园路面图像。
7.根据权利要求1所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S4中MobileNet卷积神经网络的计算量公式如下：
L1＝DK*Dk*M*DF*DF+M*N*DF*DF
其中DF为输入特征矩阵的高和宽，DK为卷积核的大小，M为输入特征矩阵的深度，N为输出特征矩阵的深度。
8.根据权利要求1所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S5中金字塔自适应平均池化模块提取局部特征的过程包括：
将步骤S4中获取到的特征层划分成不同大小的区域，每个区域内部各自进行平均池化，以此作为先验信息，并进一步依次做卷积核大小为1*1的卷积操作，将其通道维度维度降为1，便于四个不同的尺度进行级联，然后将其上采样即可得到局部特征。
9.根据权利要求8所述的一种基于MobileNet-PSPNet神经网络模型的校园道路裂缝检测方法，其特征在于，所述S5中卷积后使用整流线性单元Relu函数作为激励函数，其公式为：
f(x)＝max(x，0)
其中，x表示神经元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250339.7A CN113034444A (zh) | 2021-03-08 | 2021-03-08 | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250339.7A CN113034444A (zh) | 2021-03-08 | 2021-03-08 | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034444A true CN113034444A (zh) | 2021-06-25 |
Family
ID=76466717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250339.7A Pending CN113034444A (zh) | 2021-03-08 | 2021-03-08 | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034444A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379719A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 道路缺陷检测方法、装置、电子设备和存储介质 |
| CN113935369A (zh) * | 2021-10-20 | 2022-01-14 | 华南农业大学 | 一种山地果茶园道路识别语义分割模型构建方法 |
| CN114371735A (zh) * | 2022-01-07 | 2022-04-19 | 广东汇天航空航天科技有限公司 | 一种飞行器地理围栏数据处理方法及系统 |
| CN114419059A (zh) * | 2021-11-24 | 2022-04-29 | 哈尔滨工程大学 | 一种基于视觉的留胚米留胚度检测方法 |
| CN115239733A (zh) * | 2022-09-23 | 2022-10-25 | 深圳大学 | 裂缝检测方法、装置、终端设备以及存储介质 |
| CN115880557A (zh) * | 2023-03-02 | 2023-03-31 | 中国科学院地理科学与资源研究所 | 基于深度学习的路面裂缝提取方法和装置 |
| WO2024001123A1 (zh) * | 2022-06-30 | 2024-01-04 | 深圳云天励飞技术股份有限公司 | 基于神经网络模型的图像识别方法、装置及终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| CN110097028A (zh) * | 2019-05-14 | 2019-08-06 | 河北工业大学 | 基于三维金字塔图像生成网络的人群异常事件检测方法 |
| CN110969654A (zh) * | 2018-09-29 | 2020-04-07 | 北京瑞智稷数科技有限公司 | 基于收割机的玉米高通量表型测量的方法及装置、收割机 |
| CN112085744A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于多尺度特征学习的肾肿瘤分割方法 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
-
2021
- 2021-03-08 CN CN202110250339.7A patent/CN113034444A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969654A (zh) * | 2018-09-29 | 2020-04-07 | 北京瑞智稷数科技有限公司 | 基于收割机的玉米高通量表型测量的方法及装置、收割机 |
| CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| CN110097028A (zh) * | 2019-05-14 | 2019-08-06 | 河北工业大学 | 基于三维金字塔图像生成网络的人群异常事件检测方法 |
| CN112085744A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于多尺度特征学习的肾肿瘤分割方法 |
| CN112233135A (zh) * | 2020-11-11 | 2021-01-15 | 清华大学深圳国际研究生院 | 眼底图像中视网膜血管分割方法及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 周建行: "基于卷积神经网络的裂缝检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, no. 1, 31 January 2021 (2021-01-31), pages 3 * |
| 王青天，孔越编著: "Python金融大数据风控建模实战:基于机器学习", 北京：机械工业出版社, pages: 125 - 127 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379719A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 道路缺陷检测方法、装置、电子设备和存储介质 |
| CN113935369A (zh) * | 2021-10-20 | 2022-01-14 | 华南农业大学 | 一种山地果茶园道路识别语义分割模型构建方法 |
| CN114419059A (zh) * | 2021-11-24 | 2022-04-29 | 哈尔滨工程大学 | 一种基于视觉的留胚米留胚度检测方法 |
| CN114371735A (zh) * | 2022-01-07 | 2022-04-19 | 广东汇天航空航天科技有限公司 | 一种飞行器地理围栏数据处理方法及系统 |
| CN114371735B (zh) * | 2022-01-07 | 2023-11-03 | 广东汇天航空航天科技有限公司 | 一种飞行器地理围栏数据处理方法及系统 |
| WO2024001123A1 (zh) * | 2022-06-30 | 2024-01-04 | 深圳云天励飞技术股份有限公司 | 基于神经网络模型的图像识别方法、装置及终端设备 |
| CN115239733A (zh) * | 2022-09-23 | 2022-10-25 | 深圳大学 | 裂缝检测方法、装置、终端设备以及存储介质 |
| CN115239733B (zh) * | 2022-09-23 | 2023-01-03 | 深圳大学 | 裂缝检测方法、装置、终端设备以及存储介质 |
| CN115880557A (zh) * | 2023-03-02 | 2023-03-31 | 中国科学院地理科学与资源研究所 | 基于深度学习的路面裂缝提取方法和装置 |
| CN115880557B (zh) * | 2023-03-02 | 2023-05-30 | 中国科学院地理科学与资源研究所 | 基于深度学习的路面裂缝提取方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034444A (zh) | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 | |
| CN112149547B (zh) | 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 | |
| CN110147763A (zh) | 基于卷积神经网络的视频语义分割方法 | |
| CN113392960B (zh) | 一种基于混合空洞卷积金字塔的目标检测网络及方法 | |
| CN111127538B (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
| Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
| CN110751209B (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
| CN113052106B (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN114022770A (zh) | 基于改进自注意力机制与迁移学习的山体裂缝检测方法 | |
| CN113569672A (zh) | 轻量级目标检测与故障识别方法、装置及系统 | |
| CN114049356A (zh) | 一种结构表观裂缝检测方法、装置及系统 | |
| CN115861619A (zh) | 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统 | |
| CN116912708A (zh) | 一种基于深度学习的遥感影像建筑物提取方法 | |
| CN114648669A (zh) | 一种域自适应双目视差计算的动车组故障检测方法及系统 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| CN116485867A (zh) | 一种面向自动驾驶的结构化场景深度估计方法 | |
| CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN113553949A (zh) | 一种基于摄影测量数据的尾矿库语义分割方法 | |
| CN117576073A (zh) | 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质 | |
| CN112597875A (zh) | 一种多分支网络的抗漏检航拍目标检测方法 | |
| Zhang et al. | Pavement crack detection based on deep learning | |
| CN115861948A (zh) | 车道线检测方法、设备及预警方法、系统、介质 | |
| CN116824399A (zh) | 基于改进YOLOv5神经网络的路面裂缝识别方法 | |
| CN115880477A (zh) | 一种基于深度卷积神经网络的苹果检测定位方法与系统 | |
| CN111310607B (zh) | 基于计算机视觉和人工智能的公路安全风险识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |
|
| RJ01 | Rejection of invention patent application after publication |