CN110070008B - 一种采用无人机图像的桥梁病害识别方法 - Google Patents

Abstract

本发明公开了一种采用无人机图像的桥梁病害识别方法，包括以下步骤：桥梁病害图像通过具备高清摄像功能的无人机进行拍摄，经过图像质量优化、范围剪裁与尺寸标定后给出256色的RGB格式图像；按照裂缝与坑洞进行病害分类，以人工筛选与标记的方式建立桥梁病害样本库；全卷积神经网络模型采用“Tensorflow+Python”系统建立，选用VGGNet卷积神经网络框架作为模型基础，通过病害样本数据开展训练；通过训练后的全卷积神经网络对桥梁病害进行识别、分类，并根据所生成的二值化病害图像开展进一步评估。本发明可避免复杂背景对桥梁结构病害识别与标记的干扰，有效提升桥梁结构检测的效率与准确性。

Description

一种采用无人机图像的桥梁病害识别方法

技术领域

本发明属于桥梁结构病害检测技术领域，具体涉及一种采用无人机图像的桥梁病害识别方法。

背景技术

工程结构的质量巡检是安全运营的重要保障，高效、精确地对结构体系开展评估是及时发现质量隐患、有效制订养护策略的基础。对于桥梁结构而言，传统上采用人工巡检方式，存在效率低、危险性大与主观性强等缺陷，并且无法做到桥梁结构的全覆盖检测。通过图像或视频等信息评估结构状况的相关技术已经在道路、隧道工程中逐步得到应用，常用的图像识别方法包括OTSU与边缘检测算子等。中国专利文献CN107862677A公开了一种基于梯度类间阈值算法的隧道衬砌裂缝识别方法及系统，该方法在对比度较好的病害识别中具有一定作用，但当面对复杂背景与干扰物影响的结构病害往往得不到较好的识别效果。

桥梁结构的病害类型复杂多变，需要建立智能化的病害图像识别技术。机器视觉是人工智能与深度学习在计算机图像识别中的有效应用，建立桥梁各关键结构的病害识别与分类模型有利于制订合适的养护决策方案。此外，随着无人机技术的不断发展，采用无人机作为图像采集工具可以显著地提高工作效率。因此，机器视觉与无人机技术的有效结合可提供一种高效的桥梁结构检测方法。

发明内容

发明目的：针对以上现状与存在的问题，本发明提出了一种采用无人机图像的桥梁病害识别方法，通过无人机获取桥梁结构的高清图像，建立图像处理技术实现图像优化与尺寸标定工作，并利用多种卷积神经网络模型对图片中可能存在的病害进行识别与分类，为桥梁结构的质量检测提供数据支撑。

为了实现上述目的，本发明采用如下技术解决方案：一种采用无人机图像的桥梁病害识别方法，该方法包括以下步骤：

步骤1、制作桥梁病害样本

收集桥梁构件的典型病害图像，对病害图像进行标记，制作原始256色RGB病害图及其对应标签图作为桥梁病害样本；

步骤2、训练卷积神经网络模型

模型内核以VGGNet为基础，采用“Tensorflow+Python”框架建立全卷积神经网络模型，通过步骤1所得桥梁病害样本数据库训练全卷积神经网络模型；

步骤3、无人机图像采集与优化

选择具备拍摄功能的无人机进行图像采集，进行图像质量优化、图像截取与尺寸标定；

步骤4、识别与分类病害

采用步骤3中经过优化后的图像数据，输入步骤2所建立的全卷积神经网络模型进行病害识别与分类。

与现有技术相比，本发明的技术方案具有以下有益效果：(1)本发明建立了一种采用无人机图像的桥梁病害识别方法与模型，可实现桥梁结构质量的快速检测与病害识别；(2)本发明实现了无人机在桥梁结构检测中的应用，通过设置激光测距仪实现拍摄图像的尺寸标定，有助于病害图像所表征实际病害尺寸的转换；(3)机器视觉模型可有效对不同病害进行识别与分类，提高基于图像识别技术的有效性；(4)在VGGNet模型的基础上，采用卷积层替换全连接层，建立全卷积神经网络模型，有利于任务尺寸图像数据的处理。

附图说明

图1为本发明采用无人机图像的桥梁病害识别方法流程图。

图2为实施例中原始病害图像。

图3为实施例中优化后病害图像。

图4为实施例中病害标签图。

具体实施方式

如图1所示，一种采用无人机图像的桥梁病害识别方法，该方法包括以下步骤：

步骤1、制作桥梁病害样本

收集桥梁构件的典型病害图像，采用人工操作对病害图像进行标记，制作原始256色RGB病害图及其对应标签图作为桥梁病害样本；

步骤2、训练卷积神经网络模型

模型内核以VGGNet为基础，采用“Tensorflow+Python”框架建立全卷积神经网络模型，通过步骤1所得桥梁病害样本数据库训练全卷积神经网络模型；

步骤3、无人机图像采集与优化

选择具备2432×2048以上分辨率高清拍摄功能的无人机进行图像采集，开展图像质量优化、图像截取与尺寸标定工作；

步骤4、识别与分类病害

采用步骤3中经过优化后的图像数据，输入步骤2所建立的全卷积神经网络模型进行病害识别与分类。

进一步的，步骤1具体包括如下子步骤：

步骤1.1、采集桥梁构件不同类型的病害图像数据，主要包括裂缝类与坑洞类，每类病害图像数据量为500～1000张，利用MATLAB软件对所有病害图像进行批量裁剪，控制256色RGB图像的数据尺寸为1024×1024×3以上；

步骤1.2、利用PHOTOSHOP软件处理复杂背景下的病害图像，采用“选择”工具框选病害范围并通过调节对比度将图像划分为病害与背景两部分，其中病害部分采用白色表示，背景部分采用黑色表示；其后，采用MATLAB中im2bw函数进行二值化处理，其中白色部分二值数值为1，黑色部分二值数值为0，得到256色RGB病害图像及其对应的二值化病害标签图。

进一步的，步骤2具体包括如下子步骤：

步骤2.1、以VGGNet模型为内核基础进行改进，采用“Tensorflow+Python”系统框架构建全卷积神经网络模型，模型采用5层卷积层、softmax输出层构成，并将原VGGNet中的3层全连接层替换为卷积层，层与层之间采用max-pooling与mean-pooling分开，表1列出卷积神经网络个结构层情况；

表1全卷积神经网络结构状况

步骤2.2、全卷积神经网络模型中所用激活函数为Maxout函数，其公式如下：

其中，x＝(x₁,x₂,…x_d)为输入的特征向量，h_i(x)为Maxout隐藏层神经元i的变量，k为Maxout层所需的参数，m为Maxout隐藏层神经元数量，W为大小为(d,m,k)的三维矩阵，b是大小为(m,k)的二维矩阵，W与b为训练中所需要进行学习的参数；

损失函数为Softmax交叉熵损失函数，其公式如下：

其中，

代表第L层的第j个神经元的输入，

代表第L层的第j个神经元的输出，e代表自然常数，

代表了第L层所有神经元的输入之和。

Dropout层比例设为40％。

步骤2.3、以256色RGB病害图像及其对应的二值化病害标签图分别作为模型的输入数据与输出数据，训练的迭代次数设定为100～200次，保存训练结果参数，同时针对不同的病害类型输出以下编号：无病害为0、裂缝类病害为1、坑洞类病害为2。

步骤2.4、额外选取50～100张不同病害的256色RGB原图对卷积神经网络模型的有效性开展验证，以模型识别结果与标记图结果进行对比，识别正确率需达到90％以上，否则对模型的迭代次数进行调整，直至误差满足要求。

进一步的，步骤3具体包括如下子步骤：

步骤3.1、选择具备2432×2048以上分辨率高清拍摄功能的无人机进行图像采集，采集过程中确保速度为0.5m/s～1.0m/s，与被拍摄结构间距离范围为0.5m～1.0m，无人机拍摄过程中实时记录位置坐标与海拔高度数据；

步骤3.2、利用MATLAB对无人机图像进行批量化处理，增强对比度并去除噪点；无人机安装激光测距仪以记录摄像头与被测物体间的距离l，若摄像头拍摄水平夹角为θ、拍摄图像水平像素数为w，则每一像素所代表尺寸s可根据上述数据进行计算。

进一步的，步骤4具体包括如下子步骤：

步骤4.1、将步骤3采集并优化后的无人机图像输入步骤2所建立的全卷积神经网络模型；对病害图像进行分类，0为无病害、1为裂缝类病害、2为坑洞类病害。

步骤4.2、针对不同类型的病害图像，调用相应的病害特征计算模块进行分析，包括采用MATLAB对裂缝长度、裂缝宽度、裂缝与坑洞分布面积进行计算，进一步地评估病害发展程度，并输出病害位置、特征与严重程度等特征值。

下面结合具体实施例对本发明的目的作进一步详细地描述，该实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例

对病害数据库进行收集与处理，采集桥梁各关键部位的图像，关键部位包括桥墩、腹板、支座与连接处，选取包含裂缝类与坑洞类的病害图像各1000张，其中800张作为训练数据，200张作为验证数据。

图像对比度强烈的病害图像，可直接采用MATLAB的函数im2bw进行二值化处理；对质量较低、背景干扰物复杂的图像，采用PHOTOSHOP软件中的“快速选择”工具标定病害范围，并调整亮度实现病害与背景的分离，其后采用MATLAB函数im2bw二值化处理，病害部分为二值数值为1的白色，背景为二值数值为0的黑色。

利用Win系统计算机搭建“Tensorflow+Python”系统框架，机器视觉模型以VGGNet模型为内核进行改进，将全连接层全部替换为卷积层，便于任意分辨率图像的输入。

分别将各800张裂缝与坑洞病害图像作为模型的输入数据，对应的二值化病害图像作为输出数据进行模型训练，迭代次数为100次，保存训练结果得到裂缝类与坑洞类病害的机器视觉模型。

采用剩余的裂缝与坑洞类病害各200张图像进行模型的有效性验证，病害的有效识别率需达到95％以上，否则对模型的迭代次数进行调整，直至识别率满足要求。

采用具备定位信息的无人机进行图像采集，并搭载2432×2048以上分辨率的高清摄像头。为了对拍摄图像所表征的实际结构与病害尺寸进行标记，在高清摄像头处绑定小型激光测距仪，实现被拍摄物体与摄像头间距离的实时监测，从而换算为被摄结构与病害的实际尺寸。

无人机的操控由2位专业人员负责，分别完成无人机设备的飞行控制与图像的采集工作，无人机设备飞行速度控制为0.5m/s左右，避免图像模糊、重影与拖影等现象出现，与被摄结构间的距离在1m范围内。

采集结束后的无人机图像按照每秒的频率将视频转换为256色RGB图像，首先采用MATLAB程序批量读取所有图像，如图2所示，利用imfiller函数进行图像质量优化，优化图如图3；其后，将图像分别导入模型开展识别，输出识别后病害标签图，如图4所示；对病害进行分类，标记0代表无病害、标记1为裂缝类病害、2为坑洞类病害。

采用MATLAB对病害标签图采用im2bw函数实施二值化处理，以Regionprops函数计算病害图像的几何特征；对二值图像直接采用Sum函数计算裂缝或坑洞面积；并以Bwboundaries函数获取裂缝或坑洞的边界坐标等信息，从而进一步地对病害发展程度开展对比分析。

Claims (4)

1.一种采用无人机图像的桥梁病害识别方法，其特征在于，该方法包括以下步骤：

步骤1、制作桥梁病害样本

收集桥梁构件的典型病害图像，采用人工操作对病害图像进行标记，制作原始256色RGB病害图及其对应标签图作为桥梁病害样本；

步骤1具体包括如下子步骤：

步骤1.1、采集桥梁构件不同类型的病害图像数据，主要包括裂缝类与坑洞类，每类病害图像数据量为500～1000张，利用MATLAB软件对所有病害图像进行批量裁剪，控制256色RGB图像的数据尺寸为1024×1024×3以上；

步骤1.2、利用PHOTOSHOP软件处理复杂背景下的病害图像，采用“选择”工具框选病害范围并通过调节对比度将图像划分为病害与背景两部分，其中病害部分采用白色表示，背景部分采用黑色表示；其后，采用MATLAB中im2bw函数进行二值化处理，其中白色部分二值数值为1，黑色部分二值数值为0，得到256色RGB病害图像及其对应的二值化病害标签图；

步骤2、训练卷积神经网络模型

模型内核以VGGNet为基础，采用“Tensorflow+Python”框架建立全卷积神经网络模型，通过步骤1所得桥梁病害样本数据库训练全卷积神经网络模型；

步骤2具体包括如下子步骤：

步骤2.1、以VGGNet模型为内核基础进行改进，采用“Tensorflow+Python”系统框架构建全卷积神经网络模型，模型由5层卷积层、softmax输出层构成，并将原VGGNet中的3层全连接层替换为卷积层，层与层之间采用max-pooling与mean-pooling分开，表1列出卷积神经网络结构层情况；

表1全卷积神经网络结构状况表

步骤2.2、全卷积神经网络模型中所用激活函数为Maxout函数，其公式如下：

其中，x＝(x₁,x₂,…x_d)为输入的特征向量，h_i(x)为Maxout隐藏层神经元i的变量，k为Maxout层所需的参数，m为Maxout隐藏层神经元数量，W为大小为(d,m,k)的三维矩阵，b是大小为(m,k)的二维矩阵，W与b为训练中所需要进行学习的参数；

损失函数为Softmax交叉熵损失函数，其公式如下：

其中，

代表第L层的第j个神经元的输入，

代表第L层的第j个神经元的输出，e代表自然常数，

代表第L层所有神经元的输入之和；

Dropout层比例设为40％；

步骤2.3、以256色RGB病害图像及其对应的二值化病害标签图分别作为模型的输入数据与输出数据，训练的迭代次数设定为100～200次，保存训练结果参数，同时针对不同的病害类型输出以下编号：无病害为0，裂缝类病害为1，坑洞类病害为2；

步骤2.4、额外选取50～100张不同病害的256色RGB原图对卷积神经网络模型的有效性开展验证，以模型识别结果与标记图结果进行对比，识别正确率需达到90％以上，否则对模型的迭代次数进行调整，直至误差满足要求；

步骤3、无人机图像采集与优化

选择具备拍摄功能的无人机进行图像采集，进行图像质量优化、图像截取与尺寸标定；

步骤4、识别与分类病害

采用步骤3中经过优化后的图像数据，输入步骤2所建立的全卷积神经网络模型进行病害识别与分类。

2.根据权利要求1所述的采用无人机图像的桥梁病害识别方法，其特征在于，选择具备2432×2048以上分辨率高清拍摄功能的无人机进行图像采集。

3.根据权利要求1所述的采用无人机图像的桥梁病害识别方法，其特征在于，步骤3具体包括如下子步骤：

步骤3.1、选择具备2432×2048以上分辨率高清拍摄功能的无人机进行图像采集，采集过程中确保速度为0.5m/s～1.0m/s，与被拍摄结构间距离范围为0.5m～1.0m，无人机拍摄过程中实时记录位置坐标与海拔高度数据；

步骤3.2、利用MATLAB对无人机图像进行批量化处理，增强对比度并去除噪点；无人机安装激光测距仪以记录摄像头与被测物体间的距离l，若摄像头拍摄水平夹角为θ、拍摄图像水平像素数为w，则每一像素所代表尺寸s可根据上述数据进行计算：

4.根据权利要求1所述的采用无人机图像的桥梁病害识别方法，其特征在于，步骤4具体包括如下子步骤：

步骤4.1、将步骤3采集并优化后的无人机图像输入步骤2所建立的全卷积神经网络模型；对病害图像进行分类，0为无病害，1为裂缝类病害，2为坑洞类病害；

步骤4.2、针对不同类型的病害图像，计算裂缝长度、裂缝宽度、裂缝与坑洞分布面积。

Images