CN110544251B - 基于多迁移学习模型融合的大坝裂缝检测方法 - Google Patents

基于多迁移学习模型融合的大坝裂缝检测方法 Download PDF

Info

Publication number
CN110544251B
CN110544251B CN201910845138.4A CN201910845138A CN110544251B CN 110544251 B CN110544251 B CN 110544251B CN 201910845138 A CN201910845138 A CN 201910845138A CN 110544251 B CN110544251 B CN 110544251B
Authority
CN
China
Prior art keywords
model
prediction
mobilenet
random
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910845138.4A
Other languages
English (en)
Other versions
CN110544251A (zh
Inventor
陈峙宇
刘凡
郑豪
杨赛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910845138.4A priority Critical patent/CN110544251B/zh
Publication of CN110544251A publication Critical patent/CN110544251A/zh
Application granted granted Critical
Publication of CN110544251B publication Critical patent/CN110544251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于多迁移学习模型融合的大坝裂缝检测方法涉及图像识别领域，尤其是一种多模型融合的大坝裂缝检测方法。该方法首先收集道路、墙壁、桥梁和大坝裂缝数据集，对大坝裂缝图片数据集进行数据增强处理；构建MobileNet‑SSD目标检测模型，将SSD算法中原有的VGG网络替换成MobileNet网络结构；进行模型训练；训练完成后，提取道路裂缝检测模型和墙壁裂缝检测模型中已经训练好的MobileNet结构参数，导入未训练的MobileNet‑SSD中，对MobileNet结构进行冻结；利用数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型后，将多个模型进行融合计算，提高大坝裂缝检测的准确度。

Description

基于多迁移学习模型融合的大坝裂缝检测方法
技术领域
本发明基于多迁移学习模型融合的大坝裂缝检测方法涉及图像识别领域，尤其是一种多模型融合的大坝裂缝检测方法。
背景技术
在过去的几十年里，我国水利建设取得了巨大的发展，大坝作为水利建设最重要的部分，在我国发挥着巨大的工程效益。然而大坝长期处于复杂的环境中，不可避免地会产生裂缝，大坝裂缝是大坝安全的极大隐患，对大坝裂缝的检测及其重要。但水下环境复杂，采集到的裂缝图像存在模型不清、亮度偏暗、对比度低等缺点，使得裂缝检测极为困难。
针对这些问题，许多学者对裂缝的检测展开了研究。范新南（范新南，巫鹏，顾丽萍，等.基于匀光处理的自适应裂缝分割与提取算法[J].科学技术与工程，2014(7):72-77.）等人针对光照不均匀与水体模糊效应导致水下图像中建筑物裂缝提取难度增加的问题，提出一种基于匀光处理的自适应阈值分割算法；Chen（CHEN C P,WANG J,ZOU L,etal.Underwater dam image crack segmentation based on mathematical morpholog[J].Applied Mechanics & Materials,2012,2(3):1315-1319.）等提出了基于有边缘信息熵确定加权系数从而确定边缘的算法；伯邵波（伯绍波，闫茂德，孙国军，等.沥青路面裂缝检测图像处理算法研究[J].微计算机信息，2007,23(15);280-282.）等提出了通过构造8个方向模板的Sobel算子并结合迭代阈值分割算法和全方位膨胀形态学方法，对边缘检测后的图像进行处理。Hu（HU Y,ZHAO C X.A local binary pattern based methods forpavement crack detection[J].Journal of pattern Recognition research,2010,1(3):140-147.）等提出了通过局部二元模式蒜子的基于纹理分析的裂缝检测算法那。Zou（ZOU Q,CAO Y,LI Q,et al.Cracktree;automatic crack detection from pavementimages[J].Pattern Recognition Letters,2012,33(3):227-238.）等提出了基于目标最小生成树算法的裂缝检测方法，其中用最小生成树来表达裂缝区域像素点的空间线性聚集特性。
传统的检测算法虽然简单，但去噪效果不明显、边缘检测准确度不高、不具有自适应性，并不完全适用于水下大坝裂缝的检测。因此采用深度学习代替传统算法的方式逐渐兴起。
在2014年ILSVRC上，首次选择深度学习算法思想的R-CNN将类平均检测精确度提升到43.933%。该算法思想是基于AlexNet网络中提取待选区域候选框特征的思想，利用卷积神经网络的正向传播来提取特征。在此基础上Ren（Ren S, He K, Girshick R, and J.Sun. Faster R-CNN: towards real-time object detection with region proposalnetworks[C]// International Conference on Neural Information ProcessingSystems. MIT Press, 2015:91-99.）等学者提出了Fast-RCNN模型，该模型设计了一个RPN区域意见网络计算候选框，提高了检测的准确率。为解决训练模型付出的大量时间代价，Redmon（REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified,Real-Time Object Detection[C] // IEEE Conference on Computer Vision andPattern Recognition. IEEE, 2016:779-788.）等学者提出了YOLO网络，该算法利用空间限制，直接计算给定的图像的边界框置信度和所属类别的概率。随后结合了Hard NegativeMining思想，Liu（LIU W, ANUUELOV D, ERHAN D, et al. SSD: Single ShotMultiBoxDetector[M].ComputerVision-ECCV2016.Springer InternationalPublishing, 2016:21-37.）等学者提出了SSD网络，该网络选取6个网络层作为特征提取的输入。
发明内容
本发明的目的是针对现有检测方法的不足之处，提供一种基于多迁移学习模型融合的大坝裂缝检测方法，在SSD网络的基础上，将VGG网络结构改为MobileNet结构，减少运算代价；同时基于迁移学习的方法，先使用道路、墙壁和桥梁的数据集训练出表现较好的模型，再利用数据增强后的大坝裂缝数据集基于训练好的模型微调；最后，提出一种多模型融合的方法，进一步提升预测框与标注框的重合度；为大坝裂缝识别问题提供了一种高效的解决方案。
本发明是采取以下技术方案实现的：
基于多迁移学习模型融合的大坝裂缝检测方法，包括如下步骤：
（1）收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
（2）构建目标检测网络模型MobileNet-SSD；
（2-1）MobileNet-SSD目标检测网络模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积和普通卷积相比，压缩了大量参数，能有效地减少计算量，加速模型的计算；
（2-2）在MobileNet网络结构的最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分；
（2-3）对步骤（2-2）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；
（3）基于步骤（1）中的道路裂缝、墙壁裂缝和桥梁裂缝数据集，进行模型训练，将损失函数分为两部分，即窗口目标类别的置信度损失以及相应的位置回归损失；
（4）步骤（3）模型训练完成后，提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet网络结构参数；重新构建MobileNet-SSD网络，将网络参数随机初始化，在输入大坝裂缝数据集进行训练前，将提取到的MobileNet网络结构参数导入MobileNet-SSD中，对MobileNet网络结构进行冻结；
（5）利用步骤（1）得到的数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合；
将融合后的模型进行测试，在测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。
步骤（5）所述的模型融合的训练过程，包括如下步骤：
（5-1）计算每个模型与标注框匹配的预测框；
（5-2）将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标；
（5-3）计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。
步骤（1）中的预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。
作为本发明的一种优选方案，所述步骤（2）的模型搭建具体过程如下：
21）构建MobileNet-SSD模型；
MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构用于图像的特征提取；将符合需求的单张图像输入MobileNet网络，根据MobileNet网络具有的深度可分离卷积的优点，改进了原本的3*3尺寸大小的标准卷积核，形成了两类新卷积，这两类卷积分别为深度级卷积和点卷积；
所述深度级卷积是采用3*3卷积核对输入的各通道分别卷积，从各个通道输出的特征图；所述点卷积是用1*1大小的卷积核对这些深度级卷积输出的特征图进行特征融合，形成最终的输出；
22）在MobileNet网络结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层产生大小不同的特征图进行目标类别判别及位置回归；
在进行目标类别判别时，采用多尺度特征图，用大特征图检测相对较小的目标，用小特征图检测相对较大的目标，这样能够提高检测的精度；
23）对步骤（22）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；从而避免使用多尺度特征图出现的，多个窗口检测一个物体的状况；
非极大值抑制用于在目标检测中提取分数最高的窗口，具体方法是，对输出的窗口列表B及其对应的置信度S，选择具有最大分数的检测框M，将其从输出的窗口列表B中移除并加入到最终的检测结果F中，将输出的窗口列表B中剩余检测框中与具有最大分数的检测框M的IOU大于阈值Nt的框从输出的窗口列表B中移除；其中，IOU为交并比，表示两个窗口的交集与并集之比，后面所出现的该变量，所表达的意思相同；Nt用来判断两个窗口的重叠率，常用取值为0.65；重复以上过程，直到B为空。
作为本发明的一种优选方案，所述步骤（5）的多迁移模型融合具体过程为：
51）利用迁移学习得到多个模型后，对于所有真实框与模型输出的预测框，将决定框位置的四个坐标左下角横坐标xmin, 左下角纵坐标ymin, 右上角横坐标xmax以及右上角纵坐标ymax转换为另一种表达形式，分别对应为框中心cx,框中心cy,宽度width,高度height；
所有样本的真实框集合表示为
Figure 458569DEST_PATH_IMAGE001
，其中，m为真实框的数目，
Figure 454338DEST_PATH_IMAGE002
为第j个真实框的坐标,
Figure 234075DEST_PATH_IMAGE003
分别表示真实框中心横坐标, 真实框中心纵坐标,真实框宽度和真实框高度；
Figure 426022DEST_PATH_IMAGE004
，
Figure 240394DEST_PATH_IMAGE005
表示1×4的矩阵。
所有模型产生的预测框集合表示为
Figure 141485DEST_PATH_IMAGE006
,其中L为模型数目，
Figure 408518DEST_PATH_IMAGE007
表示第i个模型产生的预测框集合。
对任意一个真实框
Figure 669735DEST_PATH_IMAGE008
，在所有模型中找到与其匹配的预测框。以第i个模型，第j个真实框为例，计算真实框
Figure 886084DEST_PATH_IMAGE008
与
Figure 879448DEST_PATH_IMAGE007
中所有预测框的IOU（交并比），选择IOU最大的预测框与其匹配,将该预测框记为
Figure 961674DEST_PATH_IMAGE009
，该预测框的坐标信息如下：
Figure 698685DEST_PATH_IMAGE011
其中，
Figure 766611DEST_PATH_IMAGE012
，
Figure 196455DEST_PATH_IMAGE013
分别表示预测框中心横坐标, 预测框中心纵坐标,预测框宽度和预测框高度；
在第i个模型中找到与真实框匹配的预测框集合为:
Figure 765977DEST_PATH_IMAGE014
；
所有模型与真实框匹配的预测框集合为:
Figure 854150DEST_PATH_IMAGE015
；
52） 融合的训练过程，构造数据集
Figure 497621DEST_PATH_IMAGE016
,其中
Figure 629525DEST_PATH_IMAGE017
，
Figure 358446DEST_PATH_IMAGE018
，L为模型数目，
Figure 515889DEST_PATH_IMAGE019
表示L×4的矩阵；
输入
Figure 13867DEST_PATH_IMAGE020
,使用线性回归进行学习
Figure 847831DEST_PATH_IMAGE021
中的
Figure 798469DEST_PATH_IMAGE022
和
Figure 494024DEST_PATH_IMAGE023
,使得
Figure 846508DEST_PATH_IMAGE024
；
训练过程使用梯度下降法，让均方误差最小化，即
Figure 851373DEST_PATH_IMAGE025
；
其中
Figure 289307DEST_PATH_IMAGE022
表示1×L的权重矩阵，
Figure 254465DEST_PATH_IMAGE023
表示偏置，
Figure 727035DEST_PATH_IMAGE026
表示L2正则化系数。
53） 融合的测试过程如下；
531）选择所有模型中在训练集上表现最好的模型，假设该模型为第h个模型，模型输出的预测框集合为
Figure 168380DEST_PATH_IMAGE027
，
Figure 93611DEST_PATH_IMAGE028
为预测框数目。
532）对任意一个预测框
Figure 317919DEST_PATH_IMAGE029
,在其他L-1个模型中找到与其匹配的预测框；以第i个模型为例，计算
Figure 192465DEST_PATH_IMAGE029
与
Figure 476816DEST_PATH_IMAGE030
中所有预测框的IOU，选择所有IOU > 0.5的预测框中最大的与其匹配，将该匹配预测框记为
Figure 951660DEST_PATH_IMAGE031
,该匹配预测框的坐标表示如下：
Figure 979658DEST_PATH_IMAGE033
,
Figure 161241DEST_PATH_IMAGE034
；
Figure 163963DEST_PATH_IMAGE035
表示该匹配预测框中心横坐标, 匹配预测框中心纵坐标,匹配预测框宽度和匹配预测框高度；
如果L-1个模型中都找到与
Figure 63786DEST_PATH_IMAGE029
匹配的预测框，转步骤（533），否则，转步骤（534）。
533）构造
Figure 629897DEST_PATH_IMAGE036
，
Figure 993882DEST_PATH_IMAGE037
，将
Figure 354456DEST_PATH_IMAGE038
输入线性回归模型，得到最终的位置坐标。
534）将
Figure 741575DEST_PATH_IMAGE029
作为最终的位置坐标。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1）使用MobileNet替代VGG结构，大幅度减少网络的计算代价，同时使移动端大坝裂缝检测成为可能；
2）利用道路裂缝、墙壁裂缝和桥梁裂缝数据集训练模型，在已有模型的基础上进行迁移学习，有效缓解了大坝数据集过少容易造成模型过拟合的问题，训练过程中加速模型的收敛。同时，使用一种新的多迁移学习模型的融合方法，进一步提高裂缝检测的准确度。
附图说明
以下将结合附图对本发明作进一步说明：
图1是本发明基于多迁移学习模型融合的大坝裂缝检测方法的流程框图；
图2是本发明基于多迁移学习模型融合的大坝裂缝检测方法中的MobileNet-SSD结构图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
因为复杂的环境因素，采集到的大坝裂缝图像普遍存在模型不清、亮度偏暗、对比度低等问题，同时数据集过少容易造成模型的过拟合。为解决这些问题，首先对大坝裂缝图像进行数据增强，同时考虑利用道路、墙壁和桥梁裂缝数据集训练出的模型进行迁移学习。在得到多个迁移学习模型后，尝试对多模型数据进行融合，得到更加精确的框回归结果。基于这一想法，本发明提出一种基于多迁移学习模型融合的大坝裂缝检测方法。
如图1所示，本发明基于多迁移学习模型融合的大坝裂缝检测方法，包括以下步骤：
S1、收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。
具体图片数据增强过程如下：
（1）读取图片RGB三通道数据，作为待处理数据Image = [B, G, R]，其中B表示蓝色，G表示绿色，R表示红色；
（2）对图像进行随机对比度失真变换，随机亮度失真变换，随机饱和度失真变换，和随机图像通道变换。
随机对比度失真变换如下公式：
Figure 924426DEST_PATH_IMAGE039
；
将图像数据从RGB色彩模式转换成HSV模式，进行随机亮度失真变换，和随机饱和度失真变换，这些变化的公式如下：
色彩转换，Image = [H, S, V]，H表示色相，S表示饱和度，V表示明度；
随机亮度失真变换，
Figure 815021DEST_PATH_IMAGE040
；
随机饱和度失真变换，
Figure 674393DEST_PATH_IMAGE041
。
再将图片转换成RGB色彩模式，进行随机图像通道变换；
转换成RGB色彩模式，Image = [R, G, B]；
随机图像通道变换，将R, G, B 进行排列组合，共有六种情况，如Image=[B, G,R]，Image=[B, R, G]，Image=[ G, B, R]，Image=[ G, R, B]，Image=[ R, G, B]，Image=[ R, B, G]，随机选择其中的一种。
（3）对图像进行随机裁剪和随机采集块域；
具体的是随机采样一个小块，采样的小块比例是[0.1,1]；当groundtruth box(真实框)的中心在采样的小块中时，保留重叠部分；
对每一张图片，上述的随机采样过程进行50次左右，在这些采样步骤之后，每一个采样的小块被resize（改变大小）到固定的大小；随机采集块域能够获取小目标样本，有助于网络检测小目标，提高网络的鲁棒性。
S2、构建目标检测网络模型MobileNet-SSD，模型结构如图2所示。MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积较普通卷积压缩了大量参数，能有效地减少计算量，加速模型的计算。在MobileNet结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分。对特征输出的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中最好的。
目标检测网络模型MobileNet-SSD的具体构建步骤如下：
（1）构建MobileNet-SSD模型；
MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构用于图像的特征提取；将符合需求的单张图像输入MobileNet网络，根据MobileNet网络具有的深度可分离卷积的优点，改进了原本的3*3尺寸大小的标准卷积核，形成了两类新卷积，一个新卷积是深度级卷积，采用3*3卷积核对输入的各通道分别卷积，从各个通道输出的特征图；另一个新卷积是点卷积，用1*1大小的卷积核对这些输出特征图进行特征融合，形成最终的输出；
（2）在MobileNet网络结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层产生大小不同的特征图进行目标类别判别及位置回归；采用多尺度特征图，用大特征图检测相对较小的目标，用小特征图检测相对较大的目标，这样能够提高检测的精度；
（3）使用多尺度特征图，会出现多个窗口检测一个物体的状况。所以需要再对特征图输出的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中最好的。
所述非极大值抑制用于在目标检测中提取分数最高的窗口。对输出的窗口列表B及其对应的置信度S，选择具有最大分数的检测框M，将其从B集合中移除并加入到最终的检测结果F中，将B中剩余检测框中与M的IOU大于阈值Nt的框从B中移除，重复以上过程，直到B为空；
S3、基于道路、墙壁和桥梁裂缝数据集，进行模型训练，损失函数分为两部分，窗口目标类别的置信度损失以及相应的位置回归损失；
S4、提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet结构参数，导入未训练的MobileNet-SSD中，对MobileNet结构进行冻结；
S5、利用数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合。融合的训练过程，计算每个模型与标注框匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标。计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。
具体模型融合过程如下：
（1）利用迁移学习得到多个模型后，对于所有真实框与模型输出的预测框，将决定框位置的四个坐标左下角横坐标xmin, 左下角纵坐标ymin, 右上角横坐标xmax以及右上角纵坐标ymax转换为另一种表达形式，分别对应为框中心cx,框中心cy,宽度width,高度height；
所有样本的真实框集合表示为
Figure 283229DEST_PATH_IMAGE042
，其中，m为真实框的数目，
Figure 456721DEST_PATH_IMAGE043
为第j个真实框的坐标,
Figure 300960DEST_PATH_IMAGE003
分别表示真实框中心横坐标, 真实框中心纵坐标,真实框宽度和真实框高度；
Figure 268916DEST_PATH_IMAGE044
，
Figure 365048DEST_PATH_IMAGE005
表示1×4的矩阵。
所有模型产生的预测框集合表示为
Figure 138969DEST_PATH_IMAGE045
,其中L为模型数目，
Figure 4157DEST_PATH_IMAGE046
表示第i个模型产生的预测框集合。
对任意一个真实框
Figure 143014DEST_PATH_IMAGE047
，在所有模型中找到与其匹配的预测框。以第i个模型，第j个真实框为例，计算真实框
Figure 539491DEST_PATH_IMAGE047
与
Figure 789207DEST_PATH_IMAGE046
中所有预测框的IOU（交并比），选择IOU最大的预测框与其匹配,将该预测框记为
Figure 774481DEST_PATH_IMAGE048
，该预测框的坐标信息如下：
Figure 146556DEST_PATH_IMAGE049
，
其中，
Figure 217280DEST_PATH_IMAGE050
，
Figure 270687DEST_PATH_IMAGE051
分别表示预测框中心横坐标, 预测框中心纵坐标,预测框宽度和预测框高度；
在第i个模型中找到与真实框匹配的预测框集合为:
Figure 923516DEST_PATH_IMAGE052
；
所有模型与真实框匹配的预测框集合为:
Figure 404176DEST_PATH_IMAGE054
；
（2）融合的训练过程，构造数据集
Figure 696617DEST_PATH_IMAGE055
,其中
Figure 616032DEST_PATH_IMAGE057
，
Figure 310318DEST_PATH_IMAGE058
，L为模型数目，
Figure 774929DEST_PATH_IMAGE019
表示L×4的矩阵；
输入
Figure 820245DEST_PATH_IMAGE059
,使用线性回归进行学习
Figure 215454DEST_PATH_IMAGE060
中的
Figure 826564DEST_PATH_IMAGE061
和
Figure 914606DEST_PATH_IMAGE062
,使得
Figure 181639DEST_PATH_IMAGE063
；
训练过程使用梯度下降法，让均方误差最小化，即
Figure 190659DEST_PATH_IMAGE064
；
其中
Figure 593959DEST_PATH_IMAGE061
表示1×L的权重矩阵，
Figure 852902DEST_PATH_IMAGE062
表示偏置，
Figure 669548DEST_PATH_IMAGE065
表示L2正则化系数。
（3）融合的测试过程如下；
31）选择所有模型中在训练集上表现最好的模型，假设该模型为第h个模型，模型输出的预测框集合为
Figure 406560DEST_PATH_IMAGE066
，
Figure 929945DEST_PATH_IMAGE067
为预测框数目。
32）对任意一个预测框
Figure 172839DEST_PATH_IMAGE068
,在其他L-1个模型中找到与其匹配的预测框；以第i个模型为例，计算
Figure 148885DEST_PATH_IMAGE068
与
Figure 751904DEST_PATH_IMAGE046
中所有预测框的IOU，选择所有IOU > 0.5的预测框中最大的与其匹配，将该匹配预测框记为
Figure 395375DEST_PATH_IMAGE069
,该匹配预测框的坐标表示如下：
Figure 730542DEST_PATH_IMAGE070
,
Figure 272513DEST_PATH_IMAGE034
；
Figure 351327DEST_PATH_IMAGE035
表示该匹配预测框中心横坐标, 匹配预测框中心纵坐标,匹配预测框宽度和匹配预测框高度；
如果L-1个模型中都找到与
Figure 849305DEST_PATH_IMAGE029
匹配的预测框，转步骤（533），否则，转步骤（534）。
533）构造
Figure 417689DEST_PATH_IMAGE036
，
Figure 633907DEST_PATH_IMAGE037
，将
Figure 516412DEST_PATH_IMAGE038
输入线性回归模型，得到最终的位置坐标。
34） 将
Figure 681946DEST_PATH_IMAGE068
作为最终的位置坐标。
本发明基于多迁移学习模型融合的大坝裂缝检测方法，通过图像数据增强方法，基于迁移学习思想进行微调，解决小数据集易过拟合的问题，将多模型输出进行融合计算，提升了预测的精确度。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围。

Claims (7)

1.一种基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，包括如下步骤：
步骤1，收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集和图片；利用图像数据增强技术，对大坝裂缝图片进行预处理，并扩充到原有数据集，以达到提高模型精度和泛化能力的目的；
步骤2，构建目标检测网络模型MobileNet-SSD；
（2-1） MobileNet-SSD目标检测网络模型将SSD算法中原有的VGG网络替换成MobileNet网络结构，MobileNet卷积和普通卷积相比，压缩了大量参数，能有效地减少计算量，加速模型的计算；
（2-2）在MobileNet网络结构的最后一个卷积层后添加8个卷积层，并从中选取6个卷积层作为SSD网络结构中的特征输出部分；
（2-3）对步骤（2-2）得到的特征输出部分的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中置信度高的窗口；
步骤3，基于步骤1中的道路裂缝、墙壁裂缝和桥梁裂缝数据集，进行模型训练，将损失函数分为两部分，即窗口目标类别的置信度损失以及相应的位置回归损失；
步骤4，步骤3模型训练完成后，提取道路裂缝检测模型、墙壁裂缝检测模型和桥梁裂缝检测模型中已经训练好的MobileNet网络结构参数；重新构建MobileNet-SSD网络，将网络参数随机初始化，在输入大坝裂缝数据集进行训练前，将提取到的MobileNet网络结构参数导入MobileNet-SSD中，对MobileNet网络结构进行冻结；
步骤5，利用步骤1得到的数据增强后的大坝裂缝数据集进行迁移学习，得到多个模型，进行模型融合；
将融合后的模型进行测试，在测试过程，计算每个模型之间匹配的预测框，将预测框的位置坐标集合组成矩阵进行线性回归，最终输出框坐标。
2.根据权利要求1所述的基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤5所述的模型融合的训练过程，包括如下步骤：
（5-1）计算每个模型与标注框匹配的预测框；
（5-2）将预测框的位置坐标集合组成矩阵进行线性回归，每个预测框的位置坐标乘上相应的权重进行融合计算，输出四个位置坐标；
（5-3）计算四个位置坐标与真实坐标的均方误差，使用梯度下降法减小该误差。
3.根据权利要求1所述的基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤1中的预处理过程包括图像的随机亮度失真变换，随机对比度失真变换，随机饱和度失真变换，随机图像通道变换，及图像的随机裁剪和随机采集块域。
4.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，所述步骤1所述的图像数据增强的具体过程如下：
（1-1）读取图片RGB三通道数据，作为待处理数据Image = [B, G, R]，其中B表示蓝色，G表示绿色，R表示红色；
（1-2）对图像进行随机对比度失真变换，随机亮度失真变换，随机饱和度失真变换，和随机图像通道变换；
随机对比度失真变换如下公式，
Figure 935864DEST_PATH_IMAGE001
，其中
Figure DEST_PATH_IMAGE002
；
将图像数据从RGB色彩模式转换成HSV模式，进行随机亮度失真变换，和随机饱和度失真变换，这些变化的公式如下：
色彩转换，Image = [H, S, V]，H表示色相，S表示饱和度，V表示明度；
随机亮度失真变换，
Figure DEST_PATH_IMAGE003
；
随机饱和度失真变换，
Figure DEST_PATH_IMAGE004
，
再将图片转换成RGB色彩模式，进行随机图像通道变换；
转换成RGB色彩模式，Image = [R, G, B]；
随机图像通道变换，将R, G, B 进行排列组合，共有六种情况，Image=[B, G, R]，Image=[B, R, G]，Image=[ G, B, R]，Image=[ G, R, B]，Image=[ R, G, B]，Image=[ R,B, G]，随机选择其中的一种；
（1-3）对图像进行随机裁剪和随机采集块域；
具体的是随机采样一个小块，采样的小块比例是[0.1,1]；当groundtruth box的中心在采样的小块中时，保留重叠部分，groundtruth box表示真实框；
对每一张图片，上述的随机采样过程进行50次，在这些采样步骤之后，每一个采样的小块被resize改变大小到固定的大小；随机采集块域能够获取小目标样本，有助于网络检测小目标，提高网络的鲁棒性。
5.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，所述步骤2的构建网络模型具体过程如下：
（2-1）构建MobileNet-SSD模型；MobileNet-SSD模型将SSD算法中原有的VGG网络替换成MobileNet网络结构用于图像的特征提取；将符合需求的单张图像输入MobileNet网络，根据MobileNet网络具有的深度可分离卷积的优点，改进了原本的3*3尺寸大小的标准卷积核，形成了两类新卷积：深度级卷积，采用3*3卷积核对输入的各通道分别卷积，从各个通道输出的特征图；点卷积，用1*1大小的卷积核对这些输出特征图进行特征融合，形成最终的输出；
（2-2）在MobileNet结构最后一个卷积层后添加8个卷积层，并从中选取6个卷积层产生大小不同的特征图进行目标类别判别及位置回归；采用多尺度特征图，用大特征图检测相对较小的目标，用小特征图检测相对较大的目标，这样能够提高检测的精度；
（2-3）使用多尺度特征图，会出现多个窗口检测一个物体的状况；
所以需要再对特征图输出的所有窗口进行非极大值抑制，去除冗余的检测框，保留其中最好的。
6.根据权利要求5所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，非极大值抑制用于在目标检测中提取分数最高的窗口；具体方法是，对输出的窗口列表B及其对应的置信度S，选择具有最大分数的检测框M，将其从B集合中移除并加入到最终的检测结果F中，将B中剩余检测框中与M的IOU大于阈值Nt的框从B中移除，重复以上过程，直到B为空；其中，IOU为交并比，表示两个窗口的交集与并集之比。
7.根据权利要求1所述基于多迁移学习模型融合的大坝裂缝检测方法，其特征在于，步骤5所述的融合过程如下：
（5-1）利用迁移学习得到多个模型后，对于所有真实框与模型输出的预测框，将决定框位置的四个坐标左下角横坐标xmin, 左下角纵坐标ymin, 右上角横坐标xmax以及右上角纵坐标ymax转换为另一种表达形式，分别对应为框中心cx,框中心cy,宽度width,高度height；
所有样本的真实框集合表示为
Figure DEST_PATH_IMAGE005
，其中，m为真实框的数目，
Figure DEST_PATH_IMAGE006
为第j个真实框的坐标,
Figure DEST_PATH_IMAGE007
分别表示真实框中心横坐标, 真实框中心纵坐标,真实框宽度和真实框高度；
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
表示1×4的矩阵；
所有模型产生的预测框集合表示为
Figure DEST_PATH_IMAGE010
,其中L为模型数目，
Figure DEST_PATH_IMAGE011
表示第i个模型产生的预测框集合；
对任意一个真实框
Figure DEST_PATH_IMAGE012
，在所有模型中找到与其匹配的预测框；
对于第i个模型，第j个真实框，计算真实框
Figure 247413DEST_PATH_IMAGE012
与
Figure 761571DEST_PATH_IMAGE011
中所有预测框的IOU，IOU表示交并比，选择IOU最大的预测框与其匹配,将该预测框记为
Figure DEST_PATH_IMAGE013
，该预测框的坐标信息如下：
Figure DEST_PATH_IMAGE014
,
其中，
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE016
分别表示预测框中心横坐标, 预测框中心纵坐标,预测框宽度和预测框高度；
在第i个模型中找到与真实框匹配的预测框集合为:
Figure DEST_PATH_IMAGE017
；
所有模型与真实框匹配的预测框集合为:
Figure DEST_PATH_IMAGE018
；
（5-2）融合的训练过程，构造数据集
Figure DEST_PATH_IMAGE019
,
其中
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE021
，L为模型数目，
Figure DEST_PATH_IMAGE022
表示L×4的矩阵；
输入
Figure DEST_PATH_IMAGE023
,使用线性回归进行学习
Figure DEST_PATH_IMAGE024
中的
Figure DEST_PATH_IMAGE025
和
Figure DEST_PATH_IMAGE026
,使得
Figure DEST_PATH_IMAGE027
；训练过程使用梯度下降法，让均方误差最小化，即
Figure DEST_PATH_IMAGE028
；
其中
Figure 655316DEST_PATH_IMAGE025
表示1×L的权重矩阵，
Figure 938529DEST_PATH_IMAGE026
表示偏置，
Figure DEST_PATH_IMAGE029
表示L2正则化系数；
（5-3）融合的测试过程如下；
（5-3-1）选择所有模型中在训练集上表现最好的模型，假设该模型为第h个模型，模型输出的预测框集合为
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE031
为预测框数目；
（5-3-2）对任意一个预测框
Figure DEST_PATH_IMAGE032
,在其他L-1个模型中找到与其匹配的预测框；对于第i个模型，计算
Figure 354467DEST_PATH_IMAGE032
与
Figure 838145DEST_PATH_IMAGE011
中所有预测框的IOU，选择所有IOU > 0.5的预测框中最大的与其匹配，将该匹配预测框记为
Figure DEST_PATH_IMAGE033
,该匹配预测框的坐标表示如下：
Figure DEST_PATH_IMAGE034
,
Figure DEST_PATH_IMAGE035
；
Figure DEST_PATH_IMAGE036
表示该匹配预测框中心横坐标, 匹配预测框中心纵坐标,匹配预测框宽度和匹配预测框高度；
如果L-1个模型中都找到与
Figure 896100DEST_PATH_IMAGE032
匹配的预测框，转步骤（5-3-3），否则，转步骤（5-3-4）；
（5-3-3） 构造
Figure DEST_PATH_IMAGE037
，
Figure DEST_PATH_IMAGE038
，将
Figure DEST_PATH_IMAGE039
输入线性回归模型，得到最终的位置坐标；
（5-3-4）将
Figure 925498DEST_PATH_IMAGE032
作为最终的位置坐标。
CN201910845138.4A 2019-09-08 2019-09-08 基于多迁移学习模型融合的大坝裂缝检测方法 Active CN110544251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845138.4A CN110544251B (zh) 2019-09-08 2019-09-08 基于多迁移学习模型融合的大坝裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845138.4A CN110544251B (zh) 2019-09-08 2019-09-08 基于多迁移学习模型融合的大坝裂缝检测方法

Publications (2)

Publication Number Publication Date
CN110544251A CN110544251A (zh) 2019-12-06
CN110544251B true CN110544251B (zh) 2021-02-09

Family

ID=68712858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845138.4A Active CN110544251B (zh) 2019-09-08 2019-09-08 基于多迁移学习模型融合的大坝裂缝检测方法

Country Status (1)

Country Link
CN (1) CN110544251B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124863B (zh) * 2019-12-24 2024-02-13 北京安兔兔科技有限公司 智能设备性能测试方法、装置及智能设备
CN111124862B (zh) * 2019-12-24 2024-01-30 北京安兔兔科技有限公司 智能设备性能测试方法、装置及智能设备
CN111582049A (zh) * 2020-04-16 2020-08-25 天津大学 一种基于ros自建无人车的端到端自动驾驶方法
CN111340141A (zh) * 2020-04-20 2020-06-26 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的作物幼苗与杂草检测方法及系统
CN111723736A (zh) * 2020-06-19 2020-09-29 中国农业科学院农业信息研究所 果树花期监测方法、装置、计算机设备及存储介质
CN111915565B (zh) * 2020-07-03 2022-04-12 太原理工大学 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法
CN111681240B (zh) * 2020-07-07 2022-09-16 福州大学 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法
CN111914773A (zh) * 2020-08-07 2020-11-10 杭州微胜智能科技有限公司 一种抓拍违法上下客的设备、方法
CN112287839B (zh) * 2020-10-29 2022-12-09 广西科技大学 一种基于迁移学习的ssd红外图像行人检测方法
CN112419244B (zh) * 2020-11-11 2022-11-01 浙江大学 混凝土裂缝分割方法及装置
CN112686887A (zh) * 2021-01-27 2021-04-20 上海电气集团股份有限公司 混凝土表面裂纹的检测方法、系统、设备和介质
CN113673585B (zh) * 2021-08-02 2023-06-20 大连海事大学 一种路面破损检测方法及系统
CN115330740B (zh) * 2022-08-22 2023-08-08 河海大学 一种基于mdcn的轻量化裂缝识别方法
CN116580328B (zh) * 2023-07-12 2023-09-19 江西省水利科学院(江西省大坝安全管理中心、江西省水资源管理中心) 基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法
CN117893872B (zh) * 2024-03-18 2024-05-14 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法
CN117974753B (zh) * 2024-04-01 2024-06-14 中交第三航务工程勘察设计院有限公司 一种桥梁隧道裂缝深度测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010030A (zh) * 2018-01-24 2018-05-08 福州大学 一种基于深度学习的航拍图像绝缘子实时检测方法
CN109345507A (zh) * 2018-08-24 2019-02-15 河海大学 一种基于迁移学习的大坝图像裂缝检测方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157814B2 (en) * 2016-11-15 2021-10-26 Google Llc Efficient convolutional neural networks and techniques to reduce associated computational costs
US11734545B2 (en) * 2017-11-14 2023-08-22 Google Llc Highly efficient convolutional neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010030A (zh) * 2018-01-24 2018-05-08 福州大学 一种基于深度学习的航拍图像绝缘子实时检测方法
CN109345507A (zh) * 2018-08-24 2019-02-15 河海大学 一种基于迁移学习的大坝图像裂缝检测方法
CN110211097A (zh) * 2019-05-14 2019-09-06 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法

Also Published As

Publication number Publication date
CN110544251A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
CN110544251B (zh) 基于多迁移学习模型融合的大坝裂缝检测方法
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN111310760B (zh) 结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN110807422A (zh) 一种基于深度学习的自然场景文本检测方法
CN106022232A (zh) 基于深度学习的车牌检测方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN111027511B (zh) 基于感兴趣区块提取的遥感图像舰船检测方法
CN112258426B (zh) 一种基于Mask RCNN的脚手架图像自动倾斜校正的方法
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN112906550B (zh) 一种基于分水岭变换的静态手势识别方法
CN110084302B (zh) 一种基于遥感图像的裂缝检测方法
CN110135446B (zh) 文本检测方法及计算机存储介质
CN112417931A (zh) 一种基于视觉显著性的水面物体检测和分类的方法
CN114005081A (zh) 一种烟丝异物智能检测装置及方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
CN114926826A (zh) 场景文本检测系统
CN115641445B (zh) 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法
CN110136098B (zh) 一种基于深度学习的线缆顺序检测方法
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及系统
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN112288726A (zh) 一种井下带式输送机带面异物检测方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210121

Address after: 211100 No. 8 West Buddha Road, Jiangning District, Jiangsu, Nanjing

Applicant after: HOHAI University

Address before: 211100 No. 8 West Buddha Road, Jiangning District, Jiangsu, Nanjing

Applicant before: Liu Fan

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant