CN110222701B

CN110222701B - 一种桥梁病害自动识别方法

Info

Publication number: CN110222701B
Application number: CN201910501707.3A
Authority: CN
Inventors: 申强; 张磊; 刘阳; 朱建明; 徐岚; 丁建; 马少飞; 王萌菲; 毕硕松; 刘渊; 吴荣桂; 王威; 孙希来; 吴秀松; 李瑞焕
Original assignee: BEIJING XINQIAO TECHNOLOGY DEVELOPMENT Ltd
Current assignee: BEIJING XINQIAO TECHNOLOGY DEVELOPMENT Ltd
Priority date: 2019-06-11
Filing date: 2019-06-11
Publication date: 2019-12-27
Anticipated expiration: 2039-06-11
Also published as: CN110222701A

Abstract

本发明提供了一种桥梁病害自动识别方法，包括如下步骤：S1：构建桥梁病害检测数据集；S2：将数据集划分为训练集和测试集；S3：基于卷积神经网络SSD构建桥梁病害的目标检测模型；并对S3中的构建的桥梁病害的目标检测模型进行训练，对训练后的桥梁病害的目标检测模型进行评估，如通过了评估标准，则将待检测的带有病害的桥梁图像输入更新参数后的目标检测模型，通过特征融合确定最终的病害位置、种类及尺寸；本发明提供的桥梁病害自动识别方法可以自动检测出桥梁病害的位置、种类及尺寸，提高了检测精度以及效率。

Description

一种桥梁病害自动识别方法

技术领域

本发明涉及桥梁病害识别技术领域，更具体的说，涉及一种桥梁病害自动识别方法。

背景技术

根据最新统计数据，截至2017年，我国公路桥梁80余万座。30多年的大规模公路建设，初步形成了四通八达的公路网络，支撑着国民经济的持续发展。桥梁作为重要的公路资产，其技术状况(技术状况：指运营条件下的桥梁的健康情况)的变化发展直接关系到公路的通达、安全与舒适。全社会在充分肯定公路桥梁建设巨大成就的同时，对公路桥梁技术状况和通行效率的关注度越来越高，公路桥梁养护需求及资金需求的快速增长给我国公路桥梁养护造成巨大的压力。

基于中国公路桥梁管理系统(CBMS)中海量的桥梁部构件数据与桥梁病害数据及图片资源(10万张以上)，通过改进型的InceptionV3训练得到能自动匹配桥梁部构件的图像分类网络，另通过改进型的SSD训练得到能识别具体构件上病害的目标检测网络，两个网络组成卷积神网络系列，将算法模型可应用于手持检测设备或移动APP中，通过现场拍照自动识别桥梁的部构件和病害，从而大大提高现场桥梁病害信息录入效率和数据质量，也可应用于海量桥梁历史档案中的病害图像自动分类整理和关键信息提取工作，为桥梁养护工作和相关科研工作带来巨大便利。

近年来，国内外许多学者展开对于桥梁病害无损检测新方法的研究，卷积神经网络已经广泛应用于桥梁、道路、隧道的裂缝病害的检测中，并取得较好的效果。

例如，公开号为CN 108363961 A(基于卷积神经网络间迁移学习的桥梁支座病害识别方法)的专利文献，公开了一种基于卷积神经网络间迁移学习的桥梁支座病害识别方法，该专利仅针对桥梁支座的病害构建的识别训练集与测试集，并不能用于识别桥梁其他部构件和部构件上的具体病害，应用具有局限性。

公开号为CN 108288269 A(基于无人机与卷积神经网络的桥梁支座病害自动识别方法)的专利文献，提供了一种基于无人机与卷积神经网络的桥梁支座病害自动识别方法，该专利事实上在使用的方法和训练集同公开号为CN 108363961 A的专利文献，只是获取图像的手段换成了无人机。

公开号为CN 102842203 B(基于视频图像的桥梁病害监测方法)的专利文献，公开了一种基于视频图像的桥梁病害监测方法，属于桥梁监测方法技术领域，用于桥梁病害的实时监测，该专利使用基于小波变换图像对比的方法实现的病害图像识别，而非机器学习方法，识别效率和精度均达不到机器学习模型的效果。

又如张艳娇在论文(张艳娇.基于图像识别和机器学习的桥梁养护管理系统研究与实现[D].南京邮电大学,2018.)中，应用灰度-随机森林算法模型，通过比较图片的差异性来识别桥梁病害图片，经过灰度处理的图片会丢失一部分细节，从而影响识别准确率和召回率。

寇潇(寇潇.基于深度学习的桥梁裂缝检测算法研究[D].西安电子科技大学,2017.)使用了卷积神经网络(CNN)对桥梁裂缝进行检测，他的研究只针对桥梁裂本发明针对桥梁部构件和部构件上的多种典型病害进行图像识别和目标检测。

目前的研究多针对裂缝单一病害的识别，无法满足实际生产中对多病害分类识别的要求。识别算法的高准确率建立在高质量图像的基础上，缺少图像增强、复杂病害区域分割、易混淆病害特识别等情况的处理机制。

桥梁检测工程中通常采用移动APP或手持客户机获取桥梁病害的数据和图像记录，其采集病害的方式为“拍照-记录-上传”，该方式所存在的主要问题：

1、病害信息无法直接从桥梁病害图像中自动提取，需检测人员手动录入，病害数据采集效率低下；

2、病害的识别精度受检测人员的认知能力、主观经验影响，特征易混淆的病害可能会被误判；

3、复杂环境下，检测人员拍摄的病害的图像质量不佳，影响病害的辨识精度。

针对以上问题，应用本发明提供的方法能有效地提高病害识别的准确率和稳定性，提高桥梁病害数据的采集效率，对后期桥梁病害分析与处治方案的选取有重大意义。

发明内容

本发明解决了主要解决了如下四个问题，(1)分析桥梁病害的显著性特征和各异性特征，建立桥梁病害特征字典；(2)基于对抗网络建立复杂光线环境下的桥梁病害图像质量的优化、增强方法；(3)基于桥梁病害特征字典和优化的桥梁病害图像资源建立桥梁病害检测数据集；(4)基于SSD的建立桥梁病害的目标检测算法模型和图像信息提取方法。

为解决现有技术中存在的问题，本发明旨在提供一种桥梁病害自动识别方法，为此，本发明提供如下技术方案：一种桥梁病害自动识别方法，其特征在于，包括如下步骤：

一种桥梁病害自动识别方法，其特征在于，包括如下步骤：

S1：构建桥梁病害检测数据集；

对现场采集的每一张带有病害的桥梁图像根据建立的桥梁病害特征字典进行标注，标注桥梁的病害位置及种类，具体为在病害处绘制长方形框体，生成一个数据文件，每个数据文件标注图像的名称、大小、类型、病害出现的位置坐标、病害种类及病害尺寸；将多个标注后的数据文件构建为桥梁病害检测数据集；

S2：将步骤S1中构建的桥梁病害检测数据集随机划分为5:1，前者作为训练集训练模型，后者作为测试集评估模型质量；

S3：基于卷积神经网络SSD构建桥梁病害的目标检测模型；

其中，本发明提供的目标检测模型包括：

Step1:构建SSD模型的基础网络部分，确定输入为300×300×3的图像，输出为38×38×512的特征图矩阵，记为conv4_3。具体操作为：对输入进行卷积核大小为3×3-64的卷积操作2次，接着进行maxpool操作，进行卷积核大小为3×3-128的卷积操作2次，接着进行maxpool操作，进行卷积核大小为3×3-256的卷积操作3次，接着进行maxpool操作，进行卷积核大小为3×3-512的卷积操作3次，接着进行maxpool操作，进行卷积核大小为3×3-512的卷积操作3次，得到上述特征图矩阵conv4_3。

Step2：构建SSD模型和的附加网络部分，输入为Step1中的conv4_3，输出为大小依次为38×38×512、19×19×1024、10×10×512、5×5×256、3×3×256、1×1×256的特征图conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2。具体操作为对输入conv4_3做maxpool操作，接着做3×3-1024、1×1-1024的卷积操作，得到conv7,接着对conv7做1×1-256、3×3-512的卷积操作，得到得到conv8_2，接着对conv8_2做1×1×128、3×3-256的卷积操作，得到conv9_2,接着做1×1-128、3×3-256的卷积操作，得到conv10_2,对conv10_2做1×1×128、3×3-256的卷积操作得到conv11_2。

方法是对输入进行若干次卷积、批量归一化、池化操作。其中，输入是指若干张图像数据，卷积操作是指利用卷积核对图像进行特征提取处理为特征图，批量归一化处理是指针对若干张输入图像间进行归一化处理，池化操作是指对特征图进行下采样，减少特征图尺寸。

S4：将步骤S2中的训练集输入步骤S3中的目标检测模型提取尺度不同的特征层，并得到相应的特征图；

S5：采用先验的默认框机制将尺度不同的特征图生成默认框；其中，先验的默认框机制是指规定好默认框的长、宽、位置、数量。

S6：目标检测模型预测每个默认框的形状偏移，得到预测值为(cx,cy,cw,ch)；

S7：将数据集中标注桥梁的病害位置信息及类别信息记为GT，对生成的默认框与GT进行匹配；将成功匹配的默认框标记为正样本，反之为负样本；

S8：计算正样本的默认框与GT的形状偏移量，得到目标值为(cx’,cy’,cw’,ch’)；

S9：根据步骤S6中得到的预测值和步骤S8中得到的目标值计算Lloc；

S10：分别计算步骤S7中的正样本和负样本的置信度；

S11：根据步骤S10中的正样本和负样本的置信度计算Lconf；

S12：计算最终的损失值L；

其中，最终的损失值L根据公式(1)确定：

L＝(1/N)*(Lconf+a*Lloc) (1)

其中，a为Lloc的比率，N为正、负样本默认框的数量和；

S13：根据最终的损失值L，利用反向传播算法和SGD算法对目标检测模型的参数进行更新；

S14：利用步骤S2中的测试集对更新参数后的目标检测模型进行评估；

如评估符合标准后，则进入步骤S15，若评估不符合标准，则重复步骤S4-S13；

其中，评估标准为更新参数后的目标检测模型对测试集的准确率超过80％。

S15：将待检测的带有病害的桥梁图像输入更新参数后的目标检测模型，通过特征融合确定最终的病害位置及种类。

优选地，所述提取尺度不同的特征层的步骤如下：

所述目标检测模型包括基础网络部分和附加网络部分；

a、将步骤S2中的训练集输入目标检测模型的基础网络部分，依次使用卷积操作和最大池化操作对训练集中的图像进行特征提取处理，得到高维特征图；

b、将高维特征图输入目标检测模型的附加网络部分，进行若干次卷积操作，获得若干个尺度不同的特征层。

优选地，所述步骤S5中生成的默认框与GT的匹配策略为：首先，匹配与GT Jaccard重叠率最大的默认框，其次，匹配与GT Jaccard重叠率高于0.5的默认框，将成功匹配的默认框标记为正样本，反之为负样本。

优选地，所述步骤S6中具体操作过程为：对每个特征图分别进行卷积操作，输出每个特征图的每个位置上的预测的默认框的四个偏移量，即中心位置的偏移和长宽的偏移，依次为(cx,cy,cw,ch)，即得到预测值。

优选地，所述步骤S9中计算Lloc根据公式(2)确定：

Lloc＝∑smoothL1(目标值-预测值) (2)

其中，预测值为(cx,cy,cw,ch)，目标值为(cx’,cy’,cw’,ch’)。

优选地，所述步骤S11中计算Lconf根据公式(3)确定：

Lconf＝∑-log(正样本置信度)-∑log(1-负样本置信度) (3)。

优选地，所述步骤S14中待检测的带有病害的桥梁图像检测后将检测结果发送至客户端，客户端将检测结果作为新样本通过http接口上传至Nginx反向代理服务器，并通过新样本扩充桥梁病害检测数据集。

优选地，所述步骤S1中建立桥梁病害特征字典为：分析典型桥梁病害的显著性特征和易混淆桥梁病害的各异性特征，提取特征信息，建立桥梁病害特征字典；

所述典型桥梁病害包含且不限于裂缝、破损、剥落漏筋、渗漏水、蜂窝麻面、锈蚀锈胀等。

所述易混淆病害包含且不限于蜂窝和麻面、蜂窝和空洞、桥面拥包和桥面车辙、桩基冻融和水蚀等。

优选地，基于对抗网络(GANs)，对所述步骤S1中的现场采集的复杂光线环境下的带有病害的桥梁图像进行优化增强。

其中，优化增强具体方法：对图像进行旋转、缩放、平移、增白等操作。

优选地，所述步骤S15中将待检测的带有病害的桥梁图像输入更新参数后的目标检测模型，通过特征融合确定最终的病害位置及种类具体过程为：将待检测的带有病害的桥梁图像缩放成300×300，输入更新参数后的目标检测模型，更新参数后的目标检测模型进行前向计算，输出若干个待选默认框的形状偏移量和类别置信度，将形状偏移还原到300×300图像中，采用soft-NMS算法，保留高置信度的待选框，融合比之置信度低且与之重叠率高于一定阈值(阈值具体为0.7)的待选框，以此确定最终的病害位置及种类。

与现有技术相对比，本发明产生的有益效果是：

(1)针对桥梁部构件和桥梁病害的特点，构建了桥梁部构件识别和桥梁病害目标检测数据集(数据集包含训练集和测试集)，数据集的建立是所训练的模型更加适应桥梁养护的工程实际。

(2)经过特有数据集训练深度卷积神经网络识别精度高。

(3)本发明提供了在线扩充训练数据机制，可以在后期应用过程中不断提升更新桥梁病害的目标检测模型，完善功能，提高图像识别和目标检测精度。

(4)本发明提供的桥梁病害自动识别方法可以自动检测出桥梁病害的位置及种类，精度以及效率高。

(5)本发明将待检测的带有病害的桥梁图像检测后将检测结果发送至客户端，客户端将检测结果作为新样本，并通过新样本扩充桥梁病害检测数据集，可以有效提高病害识别的准确率和稳定性，提高桥梁病害数据的采集效率。

附图说明

图1为本发明提供的目标检测模型总体框架；

图2为本发明提供的默认框产生方式；

图3为本发明提供的数据集扩充及模型优化流程；

图4为本发明提供的一种桥梁病害别流程图；

图5为本发明提供的整体方法系统的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式作详细的说明。

参图1所示，图1为本发明提供的目标检测模型总体框架；本发明提供的桥梁病害的目标检测模型由两部分组成，分别为基础卷积网络和附加网络；

基础卷积网络利用卷积操作提取输入图像的特征；

附加网络负责在基础卷积网络输出的多个尺度不同的特征层上生成默认框，默认框即按照一定规则生成的又可能出现目标物体的长方形标记框；同时，附加网络负责预测对默认框的偏移，即对默认框的中心坐标和长宽四个变量进行调整，和预测默认框内的病害种类及正确率。

参图4-5所示，具体的，本发明提供的一种桥梁病害自动识别方法，包括如下步骤：

S1：构建桥梁病害检测数据集；

其中，步骤S1中建立桥梁病害特征字典具体为：分析典型桥梁病害的显著性特征和易混淆桥梁病害的各异性特征，提取特征信息，建立桥梁病害特征字典；

所述易混淆病害包含且不限于蜂窝和麻面、蜂窝和空洞、桥面拥包和桥面车

辙、桩基冻融和水蚀等。

更重要的，本发明基于对抗网络(GANs)，对步骤S1中的现场采集的复杂光线环境下的带有病害的桥梁图像进行优化增强，然后构建桥梁病害检测数据集；

S3：基于卷积神经网络SSD构建桥梁病害的目标检测模型；

其中，本发明提供的建立目标检测模型的步骤包括：

具体的：将训练集输入桥梁病害的目标检测模型，采用批处理的手段，每次训练输入16张带有病害的桥梁图像，在基础网络部分，依次使用多个3×3的卷积操作和最大池化操作对带有病害的桥梁图像进行特征提取的处理，300×300×3的带有病害的桥梁图像输出为38×38×512的特征图，作为输入进入到桥梁病害的目标检测模型的附加网络部分；

基础网络的输出38×38×512的特征图输入附加网络部分后进行若干次卷积操作，获得若干个大小不同的特征层，不限于图中所示的三层，大小依次为38×38×512，19×19×1024，10×10×512，5×5×256，3×3×256，1×1×256，共计六个特征图，记为Ft，t＝1,2,3,4,5,6。

S5：采用先验的默认框机制将尺度不同的特征图生成默认框；

采用先验的默认框机制，在以上六个不同尺度的特征图上，在每个位置，评估不同长宽比的小集合默认框，如图2所示；F1每个位置产生4个默认框，F2、F3、F4、F5、F6依次为6、6、6、4、4个，记为Kt,t＝1,2,3,4,5,6。以上默认框的产生为先验机制。对于六个特征图，共计产生38×38×4+19×19×6+10×10×6+5×5×6+3×3×4+1×1×4＝8732个默认框。对于每个特征图，产生的默认框可以按照原图像与特征图的比例还原到原图中，对于较大的特征图如F1，还原到原图中的默认框较小，相反对于较小的特征图如F6，还原到原图中的默认框较大，采用这种多层特征融合的方式可以实现由底层的特征预测精细、小型物体，由高层特征预测大型物体。

对于每个默认框，目标检测模型预测形状的偏移和对所有对象类别的置信度。具体操作为对每个特征图分别进行卷积操作，输出每个特征图的每个位置上的预测的默认框的四个偏移量，即中心位置的偏移和长宽的偏移，依次为(cx,cy,cw,ch)，也就是预测值为(cx,cy,cw,ch)，以及每个类别的置信度(c1,c2,c3,…,cN)，共计N类。则每个位置上产生的值的数量为Kt*(N+4)个，每个特征图的输出为Ft*Kt*(N+4)。

具体的：将数据集中人工标注桥梁的病害位置信息及类别信息记为GT，对生成的默认框与GT进行匹配，匹配策略基于Jaccard重叠，首先，匹配与GT Jaccard重叠率最大的默认框，接着匹配与GT Jaccard高于0.5的默认框，将成功匹配的默认框标记为正样本，反之为负样本。

S10：分别计算步骤S7中的正样本和负样本的置信度；

S11：根据步骤S10中的正样本和负样本的置信度计算Lconf；

S12：计算最终的损失值L；

其中，最终的损失值L根据公式(1)确定：

L＝(1/N)*(Lconf+a*Lloc) (1)

其中，a为Lloc的比率，N为正、负样本默认框的数量和；

其中，所述提取尺度不同的特征层的步骤如下：

所述目标检测模型包括基础网络部分和附加网络部分；

其中，所述步骤S9中计算Lloc根据公式(2)确定：

Lloc＝∑smoothL1(目标值-预测值)(2)

其中，预测值为(cx,cy,cw,ch)，目标值为(cx’,cy’,cw’,ch’)。

其中，所述步骤S11中计算Lconf根据公式(3)确定：

Lconf＝∑-log(正样本置信度)-∑log(1-负样本置信度)(3)。

其中，所述步骤S14中待检测的带有病害的桥梁图像检测后将检测结果发送至客户端，客户端将检测结果作为新样本通过http接口上传至Nginx反向代理服务器，并通过新样本扩充桥梁病害检测数据集。

其中，所述步骤S15中将待检测的带有病害的桥梁图像输入更新参数后的目标检测模型，通过特征融合确定最终的病害位置及种类具体过程为：将待检测的带有病害的桥梁图像缩放成300×300，输入更新参数后的目标检测模型，更新参数后的目标检测模型进行前向计算，输出若干个待选默认框的形状偏移量和类别置信度，将形状偏移还原到300×300图像中，采用soft-NMS算法，保留高置信度的待选框，融合比之置信度低且与之重叠率高于一定阈值的待选框，以此确定最终的病害位置及种类。

上文所述的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并不是用以限制本发明的保护范围，在所述技术领域普通技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下作出的各种变化均属于本发明的保护范围。

Claims

1.一种桥梁病害自动识别方法，其特征在于，包括如下步骤：

S1：构建桥梁病害检测数据集；

S2：将步骤S1中构建的桥梁病害检测数据集通过随机抽样划分为5:1的数量，前者作为训练集训练模型，后者作为测试集评估模型质量；

S3：基于卷积神经网络SSD构建桥梁病害的目标检测模型；

S10：分别计算步骤S7中的正样本和负样本的置信度；

S11：根据步骤S10中的正样本和负样本的置信度计算Lconf；

S12：计算最终的损失值L；

其中，最终的损失值L根据公式(1)确定：

L＝(1/N)*(Lconf+a*Lloc) (1)

其中，a为Lloc的比率，N为正、负样本默认框的数量和；

如符合评估标准后，则进入步骤S15，若不符合评估标准，则重复步骤S4-S13；

2.如权利要求1所述的桥梁病害自动识别方法，其特征在于，所述提取尺度不同的特征层的步骤如下：

所述目标检测模型包括基础网络部分和附加网络部分；

3.如权利要求1所述的桥梁病害自动识别方法，其特征在于，步骤S5中生成的默认框与GT的匹配策略为：首先，匹配与GT Jaccard重叠率最大的默认框，其次，匹配与GT Jaccard重叠率高于0.5的默认框，将成功匹配的默认框标记为正样本，反之为负样本。

4.如权利要求1所述的桥梁病害自动识别方法，其特征在于，所述步骤S6中具体操作过程为：对每个特征图分别进行卷积操作，输出每个特征图的每个位置上的预测的默认框的四个偏移量，即中心位置的偏移和长宽的偏移，依次为(cx,cy,cw,ch)，即得到预测值。

5.如权利要求1所述的桥梁病害自动识别方法，其特征在于，步骤S9中计算Lloc根据公式(2)确定：

Lloc＝∑smoothL1(目标值-预测值) (2)

其中，预测值为(cx,cy,cw,ch)，目标值为(cx’,cy’,cw’,ch’)。

6.如权利要求1所述的桥梁病害自动识别方法，其特征在于，步骤S11中计算Lconf根据公式(3)确定：

Lconf＝∑-log(正样本置信度)-∑log(1-负样本置信度) (3)。

7.如权利要求1所述的桥梁病害自动识别方法，其特征在于，步骤S14中待检测的带有病害的桥梁图像检测后将检测结果发送至客户端，客户端将检测结果作为新样本通过http接口上传至Nginx反向代理服务器，并通过新样本扩充桥梁病害检测数据集。

8.如权利要求1所述的桥梁病害自动识别方法，其特征在于，所述步骤S1中建立桥梁病害特征字典为：分析典型桥梁病害的显著性特征和易混淆桥梁病害的各异性特征，提取特征信息，建立桥梁病害特征字典；

所述典型桥梁病害包含裂缝、破损、剥落漏筋、渗漏水、蜂窝麻面、锈蚀锈胀；

所述易混淆病害包含蜂窝和麻面、蜂窝和空洞、桥面拥包和桥面车辙、桩基冻融和水蚀。

9.如权利要求1所述的桥梁病害自动识别方法，其特征在于，基于对抗网络GANs，对所述步骤S1中的现场采集的复杂光线环境下的带有病害的桥梁图像进行优化增强，所述优化增强时对带有病害的桥梁图像进行旋转、缩放、平移、增白操作。

10.如权利要求1所述的桥梁病害自动识别方法，其特征在于，所述步骤S15中将待检测的带有病害的桥梁图像输入更新参数后的目标检测模型，通过特征融合确定最终的病害位置及种类具体过程为：将待检测的带有病害的桥梁图像缩放成300×300，输入更新参数后的目标检测模型，更新参数后的目标检测模型进行前向计算，输出若干个待选默认框的形状偏移量和类别置信度，将形状偏移还原到300×300图像中，采用soft-NMS算法，保留高置信度的待选框，融合比之置信度低且与之重叠率高于阈值的待选框，以此确定最终的病害位置及种类，所述阈值为0.7。