CN110544251A - 基于多迁移学习模型融合的大坝裂缝检测方法 - Google Patents
基于多迁移学习模型融合的大坝裂缝检测方法 Download PDFInfo
- Publication number
- CN110544251A CN110544251A CN201910845138.4A CN201910845138A CN110544251A CN 110544251 A CN110544251 A CN 110544251A CN 201910845138 A CN201910845138 A CN 201910845138A CN 110544251 A CN110544251 A CN 110544251A
- Authority
- CN
- China
- Prior art keywords
- model
- frame
- prediction
- mobilenet
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 230000004927 fusion Effects 0.000 title claims abstract description 39
- 238000013508 migration Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000005012 migration Effects 0.000 claims abstract description 8
- 230000008014 freezing Effects 0.000 claims abstract description 4
- 238000007710 freezing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012417 linear regression Methods 0.000 claims description 12
- 230000001629 suppression Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000006386 neutralization reaction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000000844 transformation Methods 0.000 claims description 2
- 238000012956 testing procedure Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明基于多迁移学习模型融合的大坝裂缝检测方法涉及图像识别领域，尤其是一种多模型融合的大坝裂缝检测方法。该方法首先收集道路、墙壁、桥梁和大坝裂缝数据集，对大坝裂缝图片数据集进行数据增强处理；构建MobileNet‑SSD目标检测模型，将SSD算法中原有的VGG网络替换成MobileNet网络结构；进行模型训练；训练完成后，提取道路裂缝检测模型和墙壁裂缝检测模型中已经训练好的MobileNet结构参数，导入未训练的MobileNet‑SSD中，对MobileNet结构进行冻结；利用数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型后，将多个模型进行融合计算，提高大坝裂缝检测的准确度。
Description
技术领域
本发明基于多迁移学习模型融合的大坝裂缝检测方法涉及图像识别领域，尤其是一种多模型融合的大坝裂缝检测方法。
背景技术
在过去的几十年里，我国水利建设取得了巨大的发展，大坝作为水利建设最重要的部分，在我国发挥着巨大的工程效益。然而大坝长期处于复杂的环境中，不可避免地会产生裂缝，大坝裂缝是大坝安全的极大隐患，对大坝裂缝的检测及其重要。但水下环境复杂，采集到的裂缝图像存在模型不清、亮度偏暗、对比度低等缺点，使得裂缝检测极为困难。
针对这些问题，许多学者对裂缝的检测展开了研究。范新南（范新南，巫鹏，顾丽萍，等.基于匀光处理的自适应裂缝分割与提取算法[J].科学技术与工程，2014(7):72-77.）等人针对光照不均匀与水体模糊效应导致水下图像中建筑物裂缝提取难度增加的问题，提出一种基于匀光处理的自适应阈值分割算法；Chen（CHEN C P,WANG J,ZOU L,etal.Underwater dam image crack segmentation based on mathematical morpholog[J].Applied Mechanics & Materials,2012,2(3):1315-1319.）等提出了基于有边缘信息熵确定加权系数从而确定边缘的算法；伯邵波（伯绍波，闫茂德，孙国军，等.沥青路面裂缝检测图像处理算法研究[J].微计算机信息，2007,23(15);280-282.）等提出了通过构造8个方向模板的Sobel算子并结合迭代阈值分割算法和全方位膨胀形态学方法，对边缘检测后的图像进行处理。Hu（HU Y,ZHAO C X.A local binary pattern based methods forpavement crack detection[J].Journal of pattern Recognition research,2010,1(3):140-147.）等提出了通过局部二元模式蒜子的基于纹理分析的裂缝检测算法那。Zou（ZOU Q,CAO Y,LI Q,et al.Cracktree;automatic crack detection from pavementimages[J].Pattern Recognition Letters,2012,33(3):227-238.）等提出了基于目标最小生成树算法的裂缝检测方法，其中用最小生成树来表达裂缝区域像素点的空间线性聚集特性。
传统的检测算法虽然简单，但去噪效果不明显、边缘检测准确度不高、不具有自适应性，并不完全适用于水下大坝裂缝的检测。因此采用深度学习代替传统算法的方式逐渐兴起。
在2014年ILSVRC上，首次选择深度学习算法思想的R-CNN将类平均检测精确度提升到43.933%。该算法思想是基于AlexNet网络中提取待选区域候选框特征的思想，利用卷积神经网络的正向传播来提取特征。在此基础上Ren（Ren S, He K, Girshick R, and J.Sun. Faster R-CNN: towards real-time object detection with region proposalnetworks[C]// International Conference on Neural Information ProcessingSystems. MIT Press, 2015:91-99.）等学者提出了Fast-RCNN模型，该模型设计了一个RPN区域意见网络计算候选框，提高了检测的准确率。为解决训练模型付出的大量时间代价，Redmon（REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified,Real-Time Object Detection[C] // IEEE Conference on Computer Vision andPattern Recognition. IEEE, 2016:779-788.）等学者提出了YOLO网络，该算法利用空间限制，直接计算给定的图像的边界框置信度和所属类别的概率。随后结合了Hard NegativeMining思想，Liu（LIU W, ANUUELOV D, ERHAN D, et al. SSD: Single ShotMultiBoxDetector[M].ComputerVision-ECCV2016.Springer InternationalPublishing, 2016:21-37.）等学者提出了SSD网络，该网络选取6个网络层作为特征提取的输入。
发明内容
本发明的目的是针对现有检测方法的不足之处，提供一种基于多迁移学习模型融合的大坝裂缝检测方法，在SSD网络的基础上，将VGG网络结构改为MobileNet结构，减少运算代价；同时基于迁移学习的方法，先使用道路、墙壁和桥梁的数据集训练出表现较好的模型，再利用数据增强后的大坝裂缝数据集基于训练好的模型微调；最后，提出一种多模型融合的方法，进一步提升预测框与标注框的重合度；为大坝裂缝识别问题提供了一种高效的解决方案。
本发明是采取以下技术方案实现的：
基于多迁移学习模型融合的大坝裂缝检测方法，包括如下步骤：
（1）收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
（2）构建目标检测网络模型MobileNet-SSD；
（2-1）MobileNet-SSD目标检测网络模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积和普通卷积相比，压缩了大量参数，能有效地减少计算量，加速模型的计算；
（2-2）在MobileNet网络结构的最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分；
（2-3）对步骤（2-2）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；
（3）基于步骤（1）中的道路裂缝、墙壁裂缝和桥梁裂缝数据集，进行模型训练，将损失函数分为两部分，即窗口目标类别的置信度损失以及相应的位置回归损失；
（4）步骤（3）模型训练完成后，提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet网络结构参数；重新构建MobileNet-SSD网络，将网络参数随机初始化，在输入大坝裂缝数据集进行训练前，将提取到的MobileNet网络结构参数导入MobileNet-SSD中，对MobileNet网络结构进行冻结；
（5）利用步骤（1）得到的数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合；
将融合后的模型进行测试，在测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。
步骤（5）所述的模型融合的训练过程，包括如下步骤：
（5-1）计算每个模型与标注框匹配的预测框；
（5-2）将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标；
（5-3）计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。
步骤（1）中的预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。
作为本发明的一种优选方案，所述步骤（2）的模型搭建具体过程如下：
21）构建MobileNet-SSD模型；
MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构用于图像的特征提取；将符合需求的单张图像输入MobileNet网络，根据MobileNet网络具有的深度可分离卷积的优点，改进了原本的3*3尺寸大小的标准卷积核，形成了两类新卷积，这两类卷积分别为深度级卷积和点卷积；
所述深度级卷积是采用3*3卷积核对输入的各通道分别卷积，从各个通道输出的特征图；所述点卷积是用1*1大小的卷积核对这些深度级卷积输出的特征图进行特征融合，形成最终的输出；
22）在MobileNet网络结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层产生大小不同的特征图进行目标类别判别及位置回归；
在进行目标类别判别时，采用多尺度特征图，用大特征图检测相对较小的目标，用小特征图检测相对较大的目标，这样能够提高检测的精度；
23）对步骤（22）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；从而避免使用多尺度特征图出现的，多个窗口检测一个物体的状况；
非极大值抑制用于在目标检测中提取分数最高的窗口，具体方法是，对输出的窗口列表B及其对应的置信度S，选择具有最大分数的检测框M，将其从输出的窗口列表B中移除并加入到最终的检测结果F中，将输出的窗口列表B中剩余检测框中与具有最大分数的检测框M的IOU大于阈值Nt的框从输出的窗口列表B中移除；其中，IOU为交并比，表示两个窗口的交集与并集之比，后面所出现的该变量，所表达的意思相同；Nt用来判断两个窗口的重叠率，常用取值为0.65；重复以上过程，直到B为空。
作为本发明的一种优选方案，所述步骤（5）的多迁移模型融合具体过程为：
51）利用迁移学习得到多个模型后，对于所有真实框与模型输出的预测框，将决定框位置的四个坐标左下角横坐标xmin, 左下角纵坐标ymin, 右上角横坐标xmax以及右上角纵坐标ymax转换为另一种表达形式，分别对应为框中心cx,框中心cy,宽度width,高度height；
所有样本的真实框集合表示为，其中，m为真实框的数目，为第j个真实框的坐标,分别表示真实框中心横坐标, 真实框中心纵坐标,真实框宽度和真实框高度；，表示1×4的矩阵。
所有模型产生的预测框集合表示为,其中L为模型数目，表示第i个模型产生的预测框集合。
对任意一个真实框，在所有模型中找到与其匹配的预测框。以第i个模型，第j个真实框为例，计算真实框与中所有预测框的IOU（交并比），选择IOU最大的预测框与其匹配,将该预测框记为，该预测框的坐标信息如下：
其中，
，
分别表示预测框中心横坐标, 预测框中心纵坐标,预测框宽度和预测框高度；
在第i个模型中找到与真实框匹配的预测框集合为:
；
所有模型与真实框匹配的预测框集合为:
；
52） 融合的训练过程，构造数据集，
其中，，L为模型数目，表示L×4的矩阵；
输入,使用线性回归进行学习
中的和,使得；
训练过程使用梯度下降法，让均方误差最小化，即
；
其中表示1×L的权重矩阵，表示偏置，表示L2正则化系数。
53） 融合的测试过程如下；
531）选择所有模型中在训练集上表现最好的模型，假设该模型为第h个模型，模型输出的预测框集合为，为预测框数目。
532）对任意一个预测框,在其他L-1个模型中找到与其匹配的预测框；以第i个模型为例，计算与中所有预测框的IOU，选择所有IOU > 0.5的预测框中最大的与其匹配，将该匹配预测框记为,该匹配预测框的坐标表示如下：
,；
表示该匹配预测框中心横坐标, 匹配预测框中心纵坐标,匹配预测框宽度和匹配预测框高度；
如果L-1个模型中都找到与匹配的预测框，转步骤（533），否则，转步骤（534）。
533）构造
，
，将输入线性回归模型，得到最终的位置坐标。
534）将作为最终的位置坐标。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1）使用MobileNet替代VGG结构，大幅度减少网络的计算代价，同时使移动端大坝裂缝检测成为可能；
2）利用道路裂缝、墙壁裂缝和桥梁裂缝数据集训练模型，在已有模型的基础上进行迁移学习，有效缓解了大坝数据集过少容易造成模型过拟合的问题，训练过程中加速模型的收敛。同时，使用一种新的多迁移学习模型的融合方法，进一步提高裂缝检测的准确度。
附图说明
以下将结合附图对本发明作进一步说明：
图1是本发明基于多迁移学习模型融合的大坝裂缝检测方法的流程框图；
图2是本发明基于多迁移学习模型融合的大坝裂缝检测方法中的MobileNet-SSD结构图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
因为复杂的环境因素，采集到的大坝裂缝图像普遍存在模型不清、亮度偏暗、对比度低等问题，同时数据集过少容易造成模型的过拟合。为解决这些问题，首先对大坝裂缝图像进行数据增强，同时考虑利用道路、墙壁和桥梁裂缝数据集训练出的模型进行迁移学习。在得到多个迁移学习模型后，尝试对多模型数据进行融合，得到更加精确的框回归结果。基于这一想法，本发明提出一种基于多迁移学习模型融合的大坝裂缝检测方法。
如图1所示，本发明基于多迁移学习模型融合的大坝裂缝检测方法，包括以下步骤：
S1、收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。
具体图片数据增强过程如下：
（1）读取图片RGB三通道数据，作为待处理数据Image = [B, G, R]，其中B表示蓝色，G表示绿色，R表示红色；
（2）对图像进行随机对比度失真变换，随机亮度失真变换，随机饱和度失真变换，和随机图像通道变换。
随机对比度失真变换如下公式：
；
将图像数据从RGB色彩模式转换成HSV模式，进行随机亮度失真变换，和随机饱和度失真变换，这些变化的公式如下：
色彩转换，Image = [H, S, V]，H表示色相，S表示饱和度，V表示明度；
随机亮度失真变换，；
随机饱和度失真变换，。
再将图片转换成RGB色彩模式，进行随机图像通道变换；
转换成RGB色彩模式，Image = [R, G, B]；
随机图像通道变换，将R, G, B 进行排列组合，共有六种情况，如Image=[B, G, R]，Image=[B, R, G]，Image=[ G, B, R]，Image=[ G, R, B]，Image=[ R, G, B]，Image=[ R,B, G]，随机选择其中的一种。
（3）对图像进行随机裁剪和随机采集块域；
具体的是随机采样一个小块，采样的小块比例是[0.1,1]；当groundtruth box(真实框)的中心在采样的小块中时，保留重叠部分；
对每一张图片，上述的随机采样过程进行50次左右，在这些采样步骤之后，每一个采样的小块被resize（改变大小）到固定的大小；随机采集块域能够获取小目标样本，有助于网络检测小目标，提高网络的鲁棒性。
S2、构建目标检测网络模型MobileNet-SSD，模型结构如图2所示。MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积较普通卷积压缩了大量参数，能有效地减少计算量，加速模型的计算。在MobileNet结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分。对特征输出的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中最好的。
目标检测网络模型MobileNet-SSD的具体构建步骤如下：
（1）构建MobileNet-SSD模型；
MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构用于图像的特征提取；将符合需求的单张图像输入MobileNet网络，根据MobileNet网络具有的深度可分离卷积的优点，改进了原本的3*3尺寸大小的标准卷积核，形成了两类新卷积，一个新卷积是深度级卷积，采用3*3卷积核对输入的各通道分别卷积，从各个通道输出的特征图；另一个新卷积是点卷积，用1*1大小的卷积核对这些输出特征图进行特征融合，形成最终的输出；
（2）在MobileNet网络结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层产生大小不同的特征图进行目标类别判别及位置回归；采用多尺度特征图，用大特征图检测相对较小的目标，用小特征图检测相对较大的目标，这样能够提高检测的精度；
（3）使用多尺度特征图，会出现多个窗口检测一个物体的状况。所以需要再对特征图输出的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中最好的。
所述非极大值抑制用于在目标检测中提取分数最高的窗口。对输出的窗口列表B及其对应的置信度S，选择具有最大分数的检测框M，将其从B集合中移除并加入到最终的检测结果F中，将B中剩余检测框中与M的IOU大于阈值Nt的框从B中移除，重复以上过程，直到B为空；
S3、基于道路、墙壁和桥梁裂缝数据集，进行模型训练，损失函数分为两部分，窗口目标类别的置信度损失以及相应的位置回归损失；
S4、提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet结构参数，导入未训练的MobileNet-SSD中，对MobileNet结构进行冻结；
S5、利用数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合。融合的训练过程，计算每个模型与标注框匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标。计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。
具体模型融合过程如下：
（1）利用迁移学习得到多个模型后，对于所有真实框与模型输出的预测框，将决定框位置的四个坐标左下角横坐标xmin, 左下角纵坐标ymin, 右上角横坐标xmax以及右上角纵坐标ymax转换为另一种表达形式，分别对应为框中心cx,框中心cy,宽度width,高度height；
所有样本的真实框集合表示为，其中，m为真实框的数目，
为第j个真实框的坐标, 分别表示真实框中心横坐标,真实框中心纵坐标,真实框宽度和真实框高度；，表示1×4的矩阵。
所有模型产生的预测框集合表示为,其中L为模型数目，表示第i个模型产生的预测框集合。
对任意一个真实框，在所有模型中找到与其匹配的预测框。以第i个模型，第j个真实框为例，计算真实框与中所有预测框的IOU（交并比），选择IOU最大的预测框与其匹配,将该预测框记为，该预测框的坐标信息如下：
，
其中，
，
分别表示预测框中心横坐标, 预测框中心纵坐标,预测框宽度和预测框高度；
在第i个模型中找到与真实框匹配的预测框集合为:
；
所有模型与真实框匹配的预测框集合为:
；
（2）融合的训练过程，构造数据集，
其中，
，L为模型数目，表示L×4的矩阵；
输入,使用线性回归进行学习
中的和,使得；
训练过程使用梯度下降法，让均方误差最小化，即
；
其中表示1×L的权重矩阵，表示偏置，表示L2正则化系数。
（3）融合的测试过程如下；
31）选择所有模型中在训练集上表现最好的模型，假设该模型为第h个模型，模型输出的预测框集合为，为预测框数目。
32）对任意一个预测框,在其他L-1个模型中找到与其匹配的预测框；以第i个模型为例，计算与中所有预测框的IOU，选择所有IOU > 0.5的预测框中最大的与其匹配，将该匹配预测框记为,该匹配预测框的坐标表示如下：
,
；
表示该匹配预测框中心横坐标, 匹配预测框中心纵坐标,匹配预测框宽度和匹配预测框高度；
如果L-1个模型中都找到与匹配的预测框，转步骤（533），否则，转步骤（534）。
533）构造
，
，将输入线性回归模型，得到最终的位置坐标。
34） 将作为最终的位置坐标。
本发明基于多迁移学习模型融合的大坝裂缝检测方法，通过图像数据增强方法，基于迁移学习思想进行微调，解决小数据集易过拟合的问题，将多模型输出进行融合计算，提升了预测的精确度。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围。
Claims (7)
1.一种基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，包括如下步骤：
步骤1，收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
步骤2，构建目标检测网络模型MobileNet-SSD；
（2-1）MobileNet-SSD目标检测网络模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积和普通卷积相比，压缩了大量参数，能有效地减少计算量，加速模型的计算；
（2-2）在MobileNet网络结构的最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分；
（2-3）对步骤（2-2）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；
步骤3，基于步骤1中的道路裂缝、墙壁裂缝和桥梁裂缝数据集，进行模型训练，将损失函数分为两部分，即窗口目标类别的置信度损失以及相应的位置回归损失；
步骤4，步骤3模型训练完成后，提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet网络结构参数；重新构建MobileNet-SSD网络，将网络参数随机初始化，在输入大坝裂缝数据集进行训练前，将提取到的MobileNet网络结构参数导入MobileNet-SSD中，对MobileNet网络结构进行冻结；
步骤5，利用步骤1得到的数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合；
将融合后的模型进行测试，在测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。
2.根据权利要求1所述的基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤5所述的模型融合的训练过程，包括如下步骤：
（5-1）计算每个模型与标注框匹配的预测框；
（5-2）将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标；
（5-3）计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。
3.根据权利要求1所述的基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤1中的预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。
4.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，所述步骤1所述的图像数据增强的具体过程如下：
（1-1）读取图片RGB三通道数据，作为待处理数据Image = [B, G, R]，其中B表示蓝色，G表示绿色，R表示红色；
（1-2）对图像进行随机对比度失真变换，随机亮度失真变换，随机饱和度失真变换，和随机图像通道变换；
随机对比度失真变换如下公式，，其中；
将图像数据从RGB色彩模式转换成HSV模式，进行随机亮度失真变换，和随机饱和度失真变换，这些变化的公式如下：
色彩转换，Image = [H, S, V]，H表示色相，S表示饱和度，V表示明度；
随机亮度失真变换，；
随机饱和度失真变换，，
再将图片转换成RGB色彩模式，进行随机图像通道变换；
转换成RGB色彩模式，Image = [R, G, B]；
随机图像通道变换，将R, G, B 进行排列组合，共有六种情况，Image=[B, G, R]，Image=[B, R, G]，Image=[ G, B, R]，Image=[ G, R, B]，Image=[ R, G, B]，Image=[ R,B, G]，随机选择其中的一种；
（1-3）对图像进行随机裁剪和随机采集块域；
具体的是随机采样一个小块，采样的小块比例是[0.1,1]；当groundtruth box的中心在采样的小块中时，保留重叠部分，groundtruth box表示真实框；
对每一张图片，上述的随机采样过程进行50次，在这些采样步骤之后，每一个采样的小块被resize改变大小到固定的大小；随机采集块域能够获取小目标样本，有助于网络检测小目标，提高网络的鲁棒性。
5.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，所述步骤2的构建网络模型具体过程如下：
（2-1）构建MobileNet-SSD模型；MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构用于图像的特征提取；将符合需求的单张图像输入MobileNet网络，根据MobileNet网络具有的深度可分离卷积的优点，改进了原本的3*3尺寸大小的标准卷积核，形成了两类新卷积：深度级卷积，采用3*3卷积核对输入的各通道分别卷积，从各个通道输出的特征图；点卷积，用1*1大小的卷积核对这些输出特征图进行特征融合，形成最终的输出；
（2-2）在MobileNet结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层产生大小不同的特征图进行目标类别判别及位置回归；采用多尺度特征图，用大特征图检测相对较小的目标，用小特征图检测相对较大的目标，这样能够提高检测的精度；
（2-3）使用多尺度特征图，会出现多个窗口检测一个物体的状况；
所以需要再对特征图输出的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中最好的。
6.根据权利要求5所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，非极大值抑制用于在目标检测中提取分数最高的窗口；具体方法是，对输出的窗口列表B及其对应的置信度S，选择具有最大分数的检测框M，将其从B集合中移除并加入到最终的检测结果F中，将B中剩余检测框中与M的IOU大于阈值Nt的框从B中移除，重复以上过程，直到B为空。
7.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤5所述的融合过程如下：
（5-1）利用迁移学习得到多个模型后，对于所有真实框与模型输出的预测框，将决定框位置的四个坐标左下角横坐标xmin, 左下角纵坐标ymin, 右上角横坐标xmax以及右上角纵坐标ymax转换为另一种表达形式，分别对应为框中心cx,框中心cy,宽度width,高度height；
所有样本的真实框集合表示为，其中，m为真实框的数目，
为第j个真实框的坐标,分别表示真实框中心横坐标, 真实框中心纵坐标,真实框宽度和真实框高度；，表示1×4的矩阵；
所有模型产生的预测框集合表示为,其中L为模型数目，表示第i个模型产生的预测框集合；
对任意一个真实框，在所有模型中找到与其匹配的预测框；
以第i个模型，第j个真实框为例，计算真实框与中所有预测框的IOU，IOU表示交并比，选择IOU最大的预测框与其匹配,将该预测框记为，该预测框的坐标信息如下：
,
其中，
，
分别表示预测框中心横坐标, 预测框中心纵坐标,预测框宽度和预测框高度；
在第i个模型中找到与真实框匹配的预测框集合为:
；
所有模型与真实框匹配的预测框集合为:
；
（5-2）融合的训练过程，构造数据集
,
其中，
，L为模型数目，表示L×4的矩阵；
输入,使用线性回归进行学习
中的和,使得；训练过程使用梯度下降法，让均方误差最小化，即
；
其中表示1×L的权重矩阵，表示偏置，表示L2正则化系数；
（5-3）融合的测试过程如下；
（5-3-1）选择所有模型中在训练集上表现最好的模型，假设该模型为第h个模型，模型输出的预测框集合为，
为预测框数目；
（5-3-2）对任意一个预测框,在其他L-1个模型中找到与其匹配的预测框；以第i个模型为例，计算与中所有预测框的IOU，选择所有IOU > 0.5的预测框中最大的与其匹配，将该匹配预测框记为,该匹配预测框的坐标表示如下：
,
；
表示该匹配预测框中心横坐标, 匹配预测框中心纵坐标,匹配预测框宽度和匹配预测框高度；
如果L-1个模型中都找到与匹配的预测框，转步骤（5-3-3），否则，转步骤（5-3-4）；
（5-3-3）构造
，
，将输入线性回归模型，得到最终的位置坐标；
（5-3-4）将作为最终的位置坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845138.4A CN110544251B (zh) | 2019-09-08 | 2019-09-08 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845138.4A CN110544251B (zh) | 2019-09-08 | 2019-09-08 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110544251A true CN110544251A (zh) | 2019-12-06 |
| CN110544251B CN110544251B (zh) | 2021-02-09 |
Family
ID=68712858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910845138.4A Active CN110544251B (zh) | 2019-09-08 | 2019-09-08 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544251B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111124863A (zh) * | 2019-12-24 | 2020-05-08 | 北京安兔兔科技有限公司 | 智能设备性能测试方法、装置及智能设备 |
| CN111124862A (zh) * | 2019-12-24 | 2020-05-08 | 北京安兔兔科技有限公司 | 智能设备性能测试方法、装置及智能设备 |
| CN111340141A (zh) * | 2020-04-20 | 2020-06-26 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于深度学习的作物幼苗与杂草检测方法及系统 |
| CN111582049A (zh) * | 2020-04-16 | 2020-08-25 | 天津大学 | 一种基于ros自建无人车的端到端自动驾驶方法 |
| CN111681240A (zh) * | 2020-07-07 | 2020-09-18 | 福州大学 | 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 |
| CN111723736A (zh) * | 2020-06-19 | 2020-09-29 | 中国农业科学院农业信息研究所 | 果树花期监测方法、装置、计算机设备及存储介质 |
| CN111914773A (zh) * | 2020-08-07 | 2020-11-10 | 杭州微胜智能科技有限公司 | 一种抓拍违法上下客的设备、方法 |
| CN111915565A (zh) * | 2020-07-03 | 2020-11-10 | 太原理工大学 | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 |
| CN112287839A (zh) * | 2020-10-29 | 2021-01-29 | 广西科技大学 | 一种基于迁移学习的ssd红外图像行人检测方法 |
| CN112419244A (zh) * | 2020-11-11 | 2021-02-26 | 浙江大学 | 基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置 |
| CN112686887A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
| CN113673585A (zh) * | 2021-08-02 | 2021-11-19 | 大连海事大学 | 一种路面破损检测方法及系统 |
| CN114677601A (zh) * | 2022-04-12 | 2022-06-28 | 雅砻江流域水电开发有限公司 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
| CN115330740A (zh) * | 2022-08-22 | 2022-11-11 | 河海大学 | 一种基于mdcn的轻量化裂缝识别方法 |
| CN116580328A (zh) * | 2023-07-12 | 2023-08-11 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
| CN117893872A (zh) * | 2024-03-18 | 2024-04-16 | 成都理工大学 | 基于多模型融合检测的平面裂隙光学检测方法 |
| CN117974753A (zh) * | 2024-04-01 | 2024-05-03 | 中交第三航务工程勘察设计院有限公司 | 一种桥梁隧道裂缝深度测量方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010030A (zh) * | 2018-01-24 | 2018-05-08 | 福州大学 | 一种基于深度学习的航拍图像绝缘子实时检测方法 |
| US20180137406A1 (en) * | 2016-11-15 | 2018-05-17 | Google Inc. | Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs |
| CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
| US20190147318A1 (en) * | 2017-11-14 | 2019-05-16 | Google Llc | Highly Efficient Convolutional Neural Networks |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
-
2019
- 2019-09-08 CN CN201910845138.4A patent/CN110544251B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137406A1 (en) * | 2016-11-15 | 2018-05-17 | Google Inc. | Efficient Convolutional Neural Networks and Techniques to Reduce Associated Computational Costs |
| US20190147318A1 (en) * | 2017-11-14 | 2019-05-16 | Google Llc | Highly Efficient Convolutional Neural Networks |
| CN108010030A (zh) * | 2018-01-24 | 2018-05-08 | 福州大学 | 一种基于深度学习的航拍图像绝缘子实时检测方法 |
| CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
| CN110211097A (zh) * | 2019-05-14 | 2019-09-06 | 河海大学 | 一种基于Faster R-CNN参数迁移的裂缝图像检测方法 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111124862A (zh) * | 2019-12-24 | 2020-05-08 | 北京安兔兔科技有限公司 | 智能设备性能测试方法、装置及智能设备 |
| CN111124863A (zh) * | 2019-12-24 | 2020-05-08 | 北京安兔兔科技有限公司 | 智能设备性能测试方法、装置及智能设备 |
| CN111124863B (zh) * | 2019-12-24 | 2024-02-13 | 北京安兔兔科技有限公司 | 智能设备性能测试方法、装置及智能设备 |
| CN111124862B (zh) * | 2019-12-24 | 2024-01-30 | 北京安兔兔科技有限公司 | 智能设备性能测试方法、装置及智能设备 |
| CN111582049A (zh) * | 2020-04-16 | 2020-08-25 | 天津大学 | 一种基于ros自建无人车的端到端自动驾驶方法 |
| CN111340141A (zh) * | 2020-04-20 | 2020-06-26 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于深度学习的作物幼苗与杂草检测方法及系统 |
| CN111723736A (zh) * | 2020-06-19 | 2020-09-29 | 中国农业科学院农业信息研究所 | 果树花期监测方法、装置、计算机设备及存储介质 |
| CN111915565B (zh) * | 2020-07-03 | 2022-04-12 | 太原理工大学 | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 |
| CN111915565A (zh) * | 2020-07-03 | 2020-11-10 | 太原理工大学 | 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法 |
| CN111681240A (zh) * | 2020-07-07 | 2020-09-18 | 福州大学 | 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法 |
| CN111914773A (zh) * | 2020-08-07 | 2020-11-10 | 杭州微胜智能科技有限公司 | 一种抓拍违法上下客的设备、方法 |
| CN112287839A (zh) * | 2020-10-29 | 2021-01-29 | 广西科技大学 | 一种基于迁移学习的ssd红外图像行人检测方法 |
| CN112419244A (zh) * | 2020-11-11 | 2021-02-26 | 浙江大学 | 基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置 |
| CN112419244B (zh) * | 2020-11-11 | 2022-11-01 | 浙江大学 | 混凝土裂缝分割方法及装置 |
| CN112686887A (zh) * | 2021-01-27 | 2021-04-20 | 上海电气集团股份有限公司 | 混凝土表面裂纹的检测方法、系统、设备和介质 |
| CN113673585B (zh) * | 2021-08-02 | 2023-06-20 | 大连海事大学 | 一种路面破损检测方法及系统 |
| CN113673585A (zh) * | 2021-08-02 | 2021-11-19 | 大连海事大学 | 一种路面破损检测方法及系统 |
| CN114677601A (zh) * | 2022-04-12 | 2022-06-28 | 雅砻江流域水电开发有限公司 | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 |
| CN115330740A (zh) * | 2022-08-22 | 2022-11-11 | 河海大学 | 一种基于mdcn的轻量化裂缝识别方法 |
| CN115330740B (zh) * | 2022-08-22 | 2023-08-08 | 河海大学 | 一种基于mdcn的轻量化裂缝识别方法 |
| CN116580328A (zh) * | 2023-07-12 | 2023-08-11 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
| CN116580328B (zh) * | 2023-07-12 | 2023-09-19 | 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) | 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法 |
| CN117893872A (zh) * | 2024-03-18 | 2024-04-16 | 成都理工大学 | 基于多模型融合检测的平面裂隙光学检测方法 |
| CN117893872B (zh) * | 2024-03-18 | 2024-05-14 | 成都理工大学 | 基于多模型融合检测的平面裂隙光学检测方法 |
| CN117974753A (zh) * | 2024-04-01 | 2024-05-03 | 中交第三航务工程勘察设计院有限公司 | 一种桥梁隧道裂缝深度测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110544251B (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544251B (zh) | 基于多迁移学习模型融合的大坝裂缝检测方法 | |
| CN109543606B (zh) | 一种加入注意力机制的人脸识别方法 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统 | |
| CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
| CN104573731B (zh) | 基于卷积神经网络的快速目标检测方法 | |
| CN108121991B (zh) | 一种基于边缘候选区域提取的深度学习舰船目标检测方法 | |
| CN111310862A (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN111310760B (zh) | 结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN110084302B (zh) | 一种基于遥感图像的裂缝检测方法 | |
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN112906550B (zh) | 一种基于分水岭变换的静态手势识别方法 | |
| CN110135446B (zh) | 文本检测方法及计算机存储介质 | |
| CN109740485A (zh) | 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法 | |
| CN112258426A (zh) | 一种基于Mask RCNN的脚手架图像自动倾斜校正的方法 | |
| CN105405138A (zh) | 基于显著性检测的水面目标跟踪方法 | |
| CN113822352A (zh) | 基于多特征融合的红外弱小目标检测方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN114005081A (zh) | 一种烟丝异物智能检测装置及方法 | |
| CN113610024A (zh) | 一种多策略的深度学习遥感影像小目标检测方法 | |
| CN112288726A (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN114926826A (zh) | 场景文本检测系统 | |
| Zhang et al. | A robust chinese license plate detection and recognition systemin natural scenes | |
| CN106407975A (zh) | 基于空间‑光谱结构约束的多尺度分层目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210121 Address after: 211100 No. 8 West Buddha Road, Jiangning District, Jiangsu, Nanjing Applicant after: HOHAI University Address before: 211100 No. 8 West Buddha Road, Jiangning District, Jiangsu, Nanjing Applicant before: Liu Fan |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |