CN115713647A - 基于深度学习的桥梁表观信息三分级识别方法和识别系统 - Google Patents

Abstract

本发明公开一种基于深度学习的桥梁表观信息三分级识别方法和识别系统，先将训练数据集逐级分类，得到每个桥梁部位的训练数据集、每个桥梁构件的训练数据集、每个病害类别的训练数据集；然后，用前面的训练数据集分别训练改进的VGG16模型，得到每个桥梁部位的部位识别模型、每个构件的构件识别模型和每个病害类别的病害识别模型，组成三分级识别模型；最后将待预测的桥梁表观图像输入部位识别模型，识别出该图像对应的桥梁部位，然后再输入对应桥梁部位的构件识别模型，识别出该图像对应的构件；最后输入对应构件的病害识别模型，输出待预测的包含桥梁表观信息的图像的病害类别。本发明能够提供构件定位及病害类型的全面准确的桥梁服役状态信息。

Description

基于深度学习的桥梁表观信息三分级识别方法和识别系统

技术领域

本发明涉及桥梁结构表观信息检测领域，尤其是涉及一种基于深度学习的桥梁表观信息三分级识别方法和识别系统。

背景技术

近年来，国内外许多学者展开对于桥梁病害无损检测新方法的研究，卷积神经网络已经广泛应用于桥梁、道路、隧道的裂缝病害的检测中。但现有的桥梁检测系统在表观信息识别方面的应用存在以下问题：(1)现有识别方法涉及病害种类单一，多数集中于裂缝等典型病害或桥墩等特定位置，无法对不同位置的多种病害进行识别；(2)在桥梁服役状态评估中，不同构件上的相同病害对应着不同的影响权重。现有方法未对病害所处位置信息进行综合识别判定，所得结果尚需人工判别病害位置后才能根据桥检规范进行评分；(3)同种病害在不同构件上的表观特征存在差异，直接进行单级识别使图像间相互干扰，识别精度低下；(4)未考虑在应用过程中对模型的更新完善，应用面受限。

发明内容

针对现有技术的不足，本发明提出一种基于深度学习的桥梁表观信息三分级识别方法和识别系统，具体技术方案如下：

一种基于深度学习的桥梁表观信息三分级识别方法，该方法具体包括：

S1：获取大量桥梁表观图像，并对每张图像标注出拍摄桥梁的部位、病害所在桥梁的具体构件和病害类别，并按照桥梁的部位对图像进行归类，分别构建每个桥梁部位的训练数据集；然后对每个桥梁部位的图像进一步按照病害所在桥梁的具体构件进行分类，分别构建每个桥梁部位的每个桥梁构件的训练数据集；最后对每个桥梁构件的图像按照病害类别进行分类，构建每个桥梁部位的每个桥梁构件的每个病害类别的训练数据集；

S2：构建改进的VGG16模型，即将VGG16模型的三个全连接层的神经元数量修改为1024、512和识别类别的个数，然后分别用每个桥梁部位的训练数据集训练改进的VGG16模型，得到对应每个桥梁部位的部位识别模型；然后用每个桥梁构件的训练数据集训练对应桥梁部位的部位识别模型，得到对应构件的构件识别模型；最后，用每个桥梁部位的每个桥梁构件的每个病害类别的训练数据集训练对应构件的构件识别模型，得到对应桥梁构件的每个病害类别的病害识别模型；从而获得三分级识别模型；

S3：将待预测的桥梁表观图像输入所述部位识别模型，识别出该图像对应的桥梁部位，然后再将待预测的桥梁表观图像输入对应桥梁部位的构件识别模型，识别出该图像对应的构件；最后将待预测的桥梁表观图像输入对应构件的病害识别模型，输出待预测的桥梁表观图像的病害类别。

进一步地，所述桥梁的部位包括桥面系、上部结构、下部结构；每个部位对应一个构件识别模型；

所述桥面系包括如下构件：标志牌、隔离网、栏杆、路缘石、绿化带、排水口、桥面铺装、人行道、伸缩装置、桥头沉降；

所述上部结构包括如下构件：钢箱梁、拱桥、梁桥、排水孔、石桥、小箱梁；

所述下部结构包括如下构件：耳背翼梁、桥墩、桥台、支座、基础；每个构件对应一个构件识别模型；

每个构件均对应一个病害识别模型。

进一步地，所述改进的VGG16模型训练时，卷积过程采用ReLU函数作为激活函数，并保持靠近模型输入端的部分卷积层的权重不变，即将这些卷积层进行冻结，达到保留部分已学特征的效果，防止参数过拟合；保持靠近输出端的部分卷积层的权重不断更新，即解冻这些卷积层，使模型具有更强的学习能力，不断学习到新的特征。

进一步地，所述改进的VGG16模型共有5个卷积块，靠近模型输入端的三个卷积块冻结，靠近模型输出端的两个卷积块解冻；卷积块之间采用max-pooling连接分开。

进一步地，所述S1中，获取大量包含桥梁表观信息的图像后，先对图像进行数据增强，再用增强后的图像构建训练数据集。

一种基于深度学习的桥梁表观信息三分级识别系统，该系统用于实现识别方法，该系统包括：

桥梁图像上传模块，用于作为图像上传端口，采集桥梁表观图像；

数据增强器，用于对桥梁表观图像进行变换增强操作，扩充桥梁表观图像的数量；

三分级识别模块，包括部位识别模型、构件识别模型、病害识别模型，用于逐级识别桥梁表观图像的拍摄部位、病害所在构件和病害类别；

分类器，用于在部位识别模型、构件识别模型、病害识别模型训练和验证过程中，根据前一级模型的识别结果，对桥梁表观图像进行分类和关联，调用对应的下一级模型进行识别，完成桥梁表观图像在各级模型之间的传递。

本发明的有益效果如下：

(1)本发明基于三分级思想建构多层次的三分级识别模型，综合考虑病害所处部位与构件类型对病害特征的影响，直接对应桥检规范相关评价指标，有效提升病害识别效果。

(2)针对构建的多层次识别模型，逐层分级并重整分配数据集，输入数据相似性提高，大幅优化模型提取数据特征的过程，有效避免不同位置病害形态间的相互干扰，使模型具备更高的识别精准度。

(3)卷积神经网络经过隐藏层神经元数目修改与卷积层冻结与解冻，模型识别精度高，速度快。

(4)提供扩充训练数据机制，该方法和系统可扩展性强，可以在后期应用过程中不断提升更新桥梁表观信息分类模型，提高图像识别精度和泛化能力。

附图说明

图1为本发明提供的一种基于深度学习的桥梁表观信息三分级识别方法流程图。

图2为本发明提供的部位识别模型、构件识别模型、病害识别模型及对应的改进的VGG16模型的总框架示意图。

图3为改进的VGG16模型改变全连接层的神经元数量及训练过程中冻结部分卷积块的示意图。

图4为排水系统的模型训练结果示例图。

图5为表观信息识别分类结果输出

图6为不同Epoch下精度对比图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的基于深度学习的桥梁表观信息三分级识别方法，具体包括：

步骤一：获取大量桥梁表观图像，并对每张图像标注出拍摄桥梁的部位、病害所在桥梁的具体构件和病害类别，并按照桥梁的部位对图像进行归类，分别构建每个桥梁部位的训练数据集；然后对每个桥梁部位的图像进一步按照病害所在桥梁的具体构件进行分类，分别构建每个桥梁部位的每个桥梁构件的训练数据集；最后对每个桥梁构件的图像按照病害类别进行分类，构建每个桥梁部位的每个桥梁构件的每个病害类别的训练数据集；

桥梁病害类别包括但不限于裂缝、破损、露筋锈蚀、蜂窝麻面等，同时包含无病害图像。

在本实施例中，桥梁的部位包括桥面系、上部结构、下部结构；每个部位对应一个构件识别模型。

桥面系包括如下构件：标志牌、隔离网、栏杆、路缘石、绿化带、排水口、桥面铺装、人行道、伸缩装置、桥头沉降。

上部结构包括如下构件：钢箱梁、拱桥、梁桥、排水孔、石桥、小箱梁。

下部结构包括如下构件：耳背翼梁、桥墩、桥台、支座、基础；每个构件对应一个构件识别模型。

每个构件均对应一个病害识别模型。

桥梁的部位、对应的构件和对应构件的病害类别具体如表1所示。

为了进一步扩充训练数据集，可以先对已有的桥梁表观图像进行数据增强，包括对图像进行角度旋转、平移、错切变换、缩放、水平翻转操作。最后对得到的数据集进行随机划分为5:1，前者作为训练集训练模型，后者作为测试集评估模型质量。

S2：构建改进的VGG16模型，即将VGG16模型的三个全连接层的神经元数量修改为1024、512和识别类别的个数，然后分别用每个桥梁部位的训练数据集训练改进的VGG16模型，得到对应每个桥梁部位的部位识别模型；然后用每个桥梁构件的训练数据集训练对应桥梁部位的部位识别模型，得到对应构件的构件识别模型；最后，用每个桥梁部位的每个桥梁构件的每个病害类别的训练数据集训练对应构件的构件识别模型，得到对应桥梁构件的每个病害类别的病害识别模型；从而得到三分级识别模型。

如图2所示，改进的VGG16模型采用5个卷积块、输出层构成，每个卷积块由2～3个卷积层叠加一层池化层组成。卷积层神经元卷积计算公式为：

式中，X为区域为(M,N)的二维向量，ω_ij为卷积核，b为输出特征附加偏置项，σ为激活函数，本模型采用ReLU函数。

随着特征信息不断增多，为减少计算量，VGG设置池化层减小图像尺寸来去除冗余信息。本实施例中采用2×2、步长为2的最大池化算法进行下采样。这意味着在2×2的像素网格中只保留像素最大值作为代表特征。其函数可表示为：

f_pool＝Max(X_m,n,X_m+1,n,X_m,n+1,X_m+1,n+1)(0≤m≤M,0≤n≤N) (2)

构建改进的VGG16模型时，确定输入为300×300×3的图像，输出为38×38×512的特征图矩阵，记为conv4_3。具体的卷积和池化操作如下：对输入进行卷积核大小为3×3-64的卷积操作2次，接着进行maxpool操作，进行卷积核大小为3×3-128的卷积操作2次，接着进行maxpool操作，进行卷积核大小为3×3-256的卷积操作3次，接着进行maxpool操作，进行卷积核大小为3×3-512的卷积操作3次，接着进行maxpool操作，进行卷积核大小为3×3-512的卷积操作3次，得到上述特征图矩阵conv4_3。

在卷积池化之后，通过Flatten层将多维的输入展平成一维的向量，输入之后的三个Dense层处理。为提升模型效率，将模型前两个dense层的神经元数由4096修改为1024和512，以加快模型训练速度。第三个Dense层的输出节点数设置为分类个数n，随各子模型变化。通过比较各节点概率大小，网络选择最大可能的节点，由此得到多分类的预测结果。整个改进的VGG16模型的网络结构状况如表2所示。

表2VGG神经网络结构状况

如图3所示，为提升模型训练精度，保持靠近模型输入端的部分卷积层的权重不变，即将这些卷积层进行冻结，达到保留部分已学特征的效果，防止参数过拟合；保持靠近输出端的部分卷积层的权重不断更新，即解冻这些卷积层，使模型具有更强的学习能力，不断学习到新的特征。

该实施例中，训练时，以桥梁表观信息图像及其对应的三分级信息作为模型的输入数据与输出数据，选用交叉熵函数作为损失函数，RMSprop作为优化器设置基于损失变化自定义学习率衰减，以加快训练收敛速度。训练的迭代次数设定为100-200次，保存训练结果参数，同时针对不同的识别结果以下列格式输出结果：“部位-构件-病害”。解冻卷积块4和卷积块5，以加快模型训练速度。引入学习率条件性衰减机制，设置初始学习率为4×10^-6。若验证集损失没有下降时，则等待5个Epoch，损失仍没有下降则降低学习率，衰减率为0.8，提升Epoch数至100以提升训练效率。经上述调整后模型的训练曲线较稳定，具备较强的泛化能力。对于各个分类子模型，Epoch最终采取100、150、200等值。当模型表现较好时，采用较小Epoch。当该较小Epoch不能达到良好精度时，将其增至150或200。然后，冻结卷积基，进行第一次训练。待训练结束后解冻卷积基的两个头部卷积块，将其与自定义dense层进行第二次联合训练。

同时，选取验证集对三个识别模型进行验证，以模型识别结果与实际分类进行对比，识别正确率需达到80％以上，否则对模型的参数及超参数进行调整，直至误差满足要求，从而得到三分级识别模型。

S3：将待预测的包含桥梁表观信息的图像输入所述部位识别模型，识别出该图像对应的桥梁部位，然后再将待预测的包含桥梁表观信息的图像输入对应桥梁部位的构件识别模型，识别出该图像对应的构件；最后将待预测的包含桥梁表观信息的图像输入对应构件的病害识别模型，输出待预测的包含桥梁表观信息的图像的病害类别。

本发明还提供一种基于深度学习的桥梁表观信息三分级识别系统，该系统用于实现识别方法，该系统包括：

桥梁图像上传模块，用于作为图像上传端口，采集桥梁表观图像；

数据增强器，用于对桥梁表观图像进行变换增强操作，扩充桥梁表观图像的数量；

三分级识别模块，包括部位识别模型、构件识别模型、病害识别模型，用于逐级识别桥梁表观图像的拍摄部位、病害所在构件和病害类别；

分类器，用于在部位识别模型、构件识别模型、病害识别模型训练和验证过程中，根据前一级模型的识别结果，对桥梁表观图像进行分类和关联，调用对应的下一级模型进行识别，完成桥梁表观图像在各级模型之间的传递。

下面以一个具体的实施例来验证本发明的识别方法和识别系统的效果。

对桥梁表观信息数据库进行收集与处理，采集桥梁各关键部位的图像，关键部位包括桥墩、腹板、支座与连接处，选取表观信息图像合计38026张，均采用jpeg格式，原始图像为2048×1536dpi。其中训练集包含图像4535张，其中包括桥面系2368张、上部结构723张、下部结构1444张，验证集包含图像1170张，其中桥面系595张、上部结构180张、下部结构395张，其余均为测试集。

利用Win10系统计算机搭建“Tensorflow+Python”系统框架，以VGG16模型为内核进行改进。

分别将各类别图像作为改进的VGG16模型的输入数据，对应的图像分类作为输出数据进行模型训练，迭代次数为100-200次，保存训练结果得到桥梁表观信息的三分级识别模型。

采用剩余的图像进行模型的有效性验证，病害的有效识别率需达到80％以上，否则对模型的迭代次数进行调整，直至识别率满足要求。该实施例中图像三级识别平均准确率达84％，如图4所示。

将实际采集所得的待检测图像输入模型进行识别，自动输出识别后图像分类结果，如图5所示，在图像上传模块中输入待检测图片，系统首先进行第一级分类，得知图像属于“桥面系”，进而由分类器将其代入桥面系对应的第二级分类模型，得知图像属于“栏杆”，进而由分类器将其代入桥面系对应的第三类分类模型，得知图像属于“裂缝”。最后，系统自动综合三次分类结果，输出最终结果：“桥面系-栏杆-裂缝”。

在训练过程中，选用训练轮数为150，可以确保模型的分类精度。以第二级分类模型为例，如图6所示，可见对于上部结构(Superstructure)、下部结构(Substructure)、桥面系(Bridge floor)所对应的第二级分类模型而言，选用Epoch为150时训练精度有很大提升，可达90％以上，且结果收敛性较好，能够符合应用过程。

为了进一步证明本发明改进的VGG16模型的有益效果，同时采用训练数据集训练由传统的VGG16模型构成的三分级模型的训练结果，以及解冻一个卷积块B5、解冻两个卷积块B4和B5情况下的训练结果，如表3所示。

表3原始与经调整的VGG表现对比

从表3中可以看出，Case2仅解冻卷积块B5，其准确度不超70％，而Case3至Case7解冻卷积块B4和B5，准确度均可达90％以上，因此选用解冻B4和B5卷积块的方案。而在Case3至Case6中，通过赋予最后两Dense层不同的神经元数，可知最后两层神经元选用1024，256时识别精度最高。Case7中尝试添加新的卷积块，识别效果反而下降，因此不再添加新块，选用Case6中对应的参数进行模型建构。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (6)

1.一种基于深度学习的桥梁表观信息三分级识别方法，其特征在于，该方法具体包括：

S1：获取大量桥梁表观图像，并对每张图像标注出拍摄桥梁的部位、病害所在桥梁的具体构件和病害类别，并按照桥梁的部位对图像进行归类，分别构建每个桥梁部位的训练数据集；然后对每个桥梁部位的图像进一步按照病害所在桥梁的具体构件进行分类，分别构建每个桥梁部位的每个桥梁构件的训练数据集；最后对每个桥梁构件的图像按照病害类别进行分类，构建每个桥梁部位的每个桥梁构件的每个病害类别的训练数据集；

S2：构建改进的VGG16模型，即将VGG16模型的三个全连接层的神经元数量修改为1024、512和识别类别的个数，然后分别用每个桥梁部位的训练数据集训练改进的VGG16模型，得到对应每个桥梁部位的部位识别模型；然后用每个桥梁构件的训练数据集训练对应桥梁部位的部位识别模型，得到对应构件的构件识别模型；最后，用每个桥梁部位的每个桥梁构件的每个病害类别的训练数据集训练对应构件的构件识别模型，得到对应桥梁构件的每个病害类别的病害识别模型；从而获得三分级识别模型；

S3：将待预测的桥梁表观图像输入所述部位识别模型，识别出该图像对应的桥梁部位，然后再将待预测的桥梁表观图像输入对应桥梁部位的构件识别模型，识别出该图像对应的构件；最后将待预测的桥梁表观图像输入对应构件的病害识别模型，输出待预测的桥梁表观图像的病害类别。

2.根据权利要求1所述的基于深度学习的桥梁表观信息三分级识别方法，其特征在于，所述桥梁的部位包括桥面系、上部结构、下部结构；每个部位对应一个构件识别模型；

所述桥面系包括如下构件：标志牌、隔离网、栏杆、路缘石、绿化带、排水口、桥面铺装、人行道、伸缩装置、桥头沉降；

所述上部结构包括如下构件：钢箱梁、拱桥、梁桥、排水孔、石桥、小箱梁；

所述下部结构包括如下构件：耳背翼梁、桥墩、桥台、支座、基础；每个构件对应一个构件识别模型；

每个构件均对应一个病害识别模型。

3.根据权利要求1所述的基于深度学习的桥梁表观信息三分级识别方法，其特征在于，所述改进的VGG16模型训练时，卷积过程采用ReLU函数作为激活函数，并保持靠近模型输入端的部分卷积层的权重不变，即将这些卷积层进行冻结，达到保留部分已学特征的效果，防止参数过拟合；保持靠近输出端的部分卷积层的权重不断更新，即解冻这些卷积层，使模型具有更强的学习能力，不断学习到新的特征。

4.根据权利要求3所述的基于深度学习的桥梁表观信息三分级识别方法，其特征在于，所述改进的VGG16模型共有5个卷积块，靠近模型输入端的三个卷积块冻结，靠近模型输出端的两个卷积块解冻；卷积块之间采用max-pooling连接分开。

5.根据权利要求1所述的基于深度学习的桥梁表观信息三分级识别方法，其特征在于，所述S1中，获取大量包含桥梁表观信息的图像后，先对图像进行数据增强，再用增强后的图像构建训练数据集。

6.一种基于深度学习的桥梁表观信息三分级识别系统，其特征在于，该系统用于实现权利要求1～5中任意一项的识别方法，该系统包括：

桥梁图像上传模块，用于作为图像上传端口，采集桥梁表观图像；

数据增强器，用于对桥梁表观图像进行变换增强操作，扩充桥梁表观图像的数量；

三分级识别模块，包括部位识别模型、构件识别模型、病害识别模型，用于逐级识别桥梁表观图像的拍摄部位、病害所在构件和病害类别；

分类器，用于在部位识别模型、构件识别模型、病害识别模型训练和验证过程中，根据前一级模型的识别结果，对桥梁表观图像进行分类和关联，调用对应的下一级模型进行识别，完成桥梁表观图像在各级模型之间的传递。

Images