CN111612846A - 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法 - Google Patents

Abstract

本发明公开了一种基于U‑net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，包括如下步骤：使用单反相机和激光测距仪获取已知拍摄距离和焦距的多张混凝土结构表面裂缝的照片；训练U‑net CNN网络，实现对裂缝的自动化识别并提取裂缝形态；标记裂缝宽度方向，提取裂缝宽度方向像素个数；室内标靶实验，构建拍摄距离、焦距、像素实际尺寸的非线性模型，标定像素实际尺寸；结合裂缝宽度方向像素大小以及标定后的像素实际尺寸，计算裂缝宽度。与现有技术相比，本发明方法新颖，智能高效，宽度参数识别准确。

Description

基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定 方法

技术领域

本发明属于混凝土结构病害检测和监测领域，是一种基于图像识别的结构表面裂缝宽度准确识别方法，具体来说，涉及基于U-net CNN图像裂缝自动识别和单反相机像素尺寸标记的裂缝宽度测定方法。

背景技术

桥梁病害主要包含裂缝、剥蚀、钢筋锈蚀、结构构造破坏、地基不均匀沉降引起的破坏等多种形式。其中裂缝无疑是最普遍最常见的病害，裂缝根据其产生位置和走向的不同又可分为底板横向裂缝、底板纵向裂缝、腹板纵向裂缝、腹板竖向裂缝、腹板斜向裂缝等。裂缝的判别，形态特征的提取记录，数量、宽度、长度的记录是评估裂缝病害的基础参数。

传统的桥梁病害检测方法基本依赖人工巡检、人为判断病害，并且借助传统检测仪器，如利用裂缝测宽仪、超声波检测仪、骨架式桥检车等来测量病害几何特征。该方法易受到测试专业人员自身的技术和经验等人为主观因素的影响，且检测效率低下，难以适应现代桥梁结构健康状态评估监测数据多且杂的情况。监测数据获取与处理速度的快慢将直接影响到结构健康状态评估的实时性和准确性。

因此，有必要研发一种智能高效、识别精度高、操作应用便捷的混凝土结构裂缝识别方法，完成从裂缝的机器视觉自动化标识到裂缝的准确识别的全过程混凝土裂缝识别以及裂缝宽度测定，从而为进一步的结构病害后评估提供坚实基础。

发明内容

本发明的目的是为了开发一种基于U-net CNN图像识别和像素标定的混凝土结构表面裂缝宽度测定方法，取代现有的人工检查方法，该方法可以实现基于照片的混凝土结构表面裂缝自动标识，并进一步结合像素标定计算裂缝最大宽度。

为实现上述技术目的，本发明采取的技术方案为：

基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，包括如下步骤：

(1)采用单反相机和激光测距仪获取已知拍摄距离的多张混凝土结构表面裂缝的照片，提取照片属性中的焦距参数，按拍摄距离和焦距对所有照片进行标识；

(2)训练卷积神经网络，设定层结构网络，选定损失函数，划分训练集与测试集，训练模型，实现对裂缝的自动识别与形态提取；

(3)依据裂缝形态曲线的坐标，计算曲线斜率，将与斜率垂直方向作为裂缝宽度方向，用采取移动窗口的方法获取整条裂缝曲线宽度方向的像素个数，取其最大值作为裂缝最大宽度；

(4)室内实验，标定相机。采用室内标靶实验获取大量焦距f、摄距s以及图片中单个像素对应实际尺寸a，建立函数关系a＝F(s,f)非线性模型；

(5)结合非线性模型和裂缝宽度方向的像素计算裂缝实际宽度。

作为本发明进一步改进的技术方案，所述步骤(1)中包括：

(1.1)使用单反相机现场采集混凝土结构表面混凝土裂缝照片，拍摄时使用激光测距仪等测距仪器记录照片拍摄位置到结构裂缝位置处的距离，记录为拍摄距离即摄距；

(1.2)根据照片属性查询照片焦距参数，依据得到的摄距和焦距参数对照片进行标记；

作为本发明进一步改进的技术方案，所述步骤(2)中包括：

(2.1)构建U-net卷积神经网络：

U-net卷积神经网络共分为9层，每层由卷积层、正则化层、ReLU激活函数、组大池化层、去卷积层和Softmax激活函数组成；卷积层实现特征提取；正则化层将每层的输出限制为固定分布，加快了网络训练速度；ReLU激活函数实现非线性拟合功能；池化层减少参数，防止过拟合；Softmax归一化可能性并将其转化为概率实现像素分类；

其中ReLU激活函数如下：

ReLU(x)＝max(0,x)；

其中，x为神经网络中的自变量，即像素的值；ReLU激活函数表示取0和x中的较大值；

其中Softmax归一化如下：

其中，zj表示像素点为裂缝的概率，c表示像素总个数，e为自然对数底数。

(2.2)训练U-net卷积神经网络：

首先将所有图片分割为512×512分辨率的图片，完成图片预处理；然后按照7：3的比例将图片集划分为训练集与测试集；针对每张图片，手动标记裂缝位置，为模型训练做准备。

作为本发明进一步改进的技术方案，所述步骤(4)中包括：

(4.1)固定相机和靶标，使相机镜头的光轴与靶标中心重合，且相机的拍摄方向垂直于靶标所在的平面；靶标为方格纸；

(4.2)使用激光测距仪调整摄距s；

(4.3)不断转动调焦环以调整焦距f，使得焦距f不断变化，照片会自动记录拍摄时的焦距信息；

(4.4)数出每张照片中正方形靶标沿边长长度方向的像素数目n；

(4.5)已知正方形靶标边长的实际长度为m，计算得到单个像素对应实际尺寸a＝m/n；

(4.6)画出a和f关系散点图，并拟合曲线，得到函数a＝F(f)；

(4.7)使用激光测距仪改变摄距s，并且每改变一次摄距s都重复步骤(4.3)至步骤(4.6)，最终得到多条拟合曲线a＝F(f)；

(4.8)分析整理多条拟合曲线，进而确定a、s、f三者的关系，给出统一公式a＝F(s,f)。

作为本发明进一步改进的技术方案，所述步骤(5)中包括：

计算裂缝实际宽度：

w＝n*a；

其中w为裂缝实际宽度；n为裂缝最大宽度处的像素个数；a为通过非线性模型获取的相应摄距和焦距下的单个像素尺寸大小，其中相应摄距和焦距通过步骤(1)照片上的标识获取。

与现有技术相比，本发明具有以下有益效果：

(1)方法智能严谨：本发明基于卷积神经网络进行的机器视觉技术进行裂缝的标识。卷积神经网络是最成功的深度学习算法之一，可以自动提取特征，而且待训练参数相对较少的神经网络，这就是CNN在图像分类任务中的决定性优势。基于强大的智能算法训练好模型后可以实现大量图片的高效自动化裂缝识别。其中U-net CNN网络层结构相对简洁，且可以实现像素级别的准确识别，因此在结构裂缝识别领域有着广泛的应用前景。

(2)裂缝识别流程完整清晰：本发明结合U-net CNN图像裂缝自动识别和单反相机像素尺寸标记的方法从而实现裂缝宽度的高精度识别。本发明不仅可以判别裂缝是否发生，并且可以标识裂缝位置。此外，结合相机的像素标定即像素尺寸、摄距和焦距的非线性模型可以准确计算裂缝宽度，从而完成从裂缝判别，到裂缝标识再到裂缝宽度参数的准确提取，可以高效准确的完成裂缝检查的全流程工作。

附图说明

图1为本发明方法的流程图。

图2为应用示例中所设计U-net CNN网络结构示意图。

图3为U-net CNN网络智能识别标记的裂缝示意图。

图4相机标定摄距、焦距和像素尺寸参数的拟合曲线图。

图5相机标定摄距、焦距和像素尺寸参数的拟合曲线图。

具体实施方式

下面将参照附图，对本发明的技术方案进行详细的说明。

如图1所示，本发明公开一种基于U-net CNN图像识别和像素标定的混凝土结构表面裂缝测定方法，主要包括如下步骤：

步骤10)使用单反相机现场采集多张混凝土结构表面混凝土裂缝照片，拍摄时使用激光测距仪等测距仪器记录照片拍摄位置到结构裂缝位置处的距离，记录为拍摄距离即摄距；根据照片属性查询照片焦距参数，依据得到的摄距和焦距参数对照片进行标记。

步骤20)训练卷积神经网络，设定层结构网络，选定损失函数，划分训练集与测试集，实现对裂缝的自动识别与标记；

构建U-net卷积神经网络。U-net卷积神经网络共分为9层，每层又由卷积层、正则化层、ReLU激活函数、组大池化层、去卷积层、Softmax激活函数组成。卷积层实现特征提取；正则化层将每层的输出限制为固定分布，加快了网络训练速度；ReLU激活函数实现非线性拟合功能；池化层减少参数，防止过拟合；Softmax归一化可能性并将其转化为概率实现像素分类。

其中ReLU激活函数如下：

ReLU(x)＝max(0,x)

其中，x为神经网络中的自变量，即像素的值。ReLU激活函数表示取0和x中的较大值。

Softmax归一化如下：

其中，zj为像素点为裂缝的概率，j、k均为指代变量，表示第j个像素点，第k个像素点；c为图片像素总个数；e为自然对数底数。

步骤30)裂缝识别：首先将所有图片分割为512×512分辨率的图片，完成图片预处理。然后按照7：3的比例将图片集划分为训练集与测试集。针对每张图片，手动标记裂缝位置，采用梯度下降法训练参数，完成模型训练。

针对识别出的裂缝形态曲线，以图像左下角像素为原点位置建立/平面直角坐标系，计算裂缝形态曲线的斜率，与斜率垂直的方向定为裂缝宽度方向。进一步采用移动窗口方法提取宽度方向的像素个数，取像素个数最大值的位置作为裂缝最大宽度位置。

步骤40)室内实验，标定相机。依据大量焦距f、摄距s和图片中单个像素对应实际尺寸a建立函数关系a＝F(s,f)模型非线性模型。

室内标靶实验。固定相机和靶标，使相机镜头的光轴与靶标中心重合，且相机的拍摄方向垂直于靶标所在的平面。标靶为方格纸，由照片方格纸的像素个数容易反推单个像素代表的实际尺寸大小。然后构建a＝F(s,f)非线性模型：绘制实验数据的散点图。使用多项式函数或幂指数函数拟合实验数据。以拟合优度R²为标准判别拟合效果，幂函数拟合的拟合优度R²>0.999，采用指数函数进行拟合。

步骤50)计算裂缝宽度：

w＝n*a

其中w为裂缝实际宽度；n为裂缝最大宽度处的像素个数；a为相机标定获取的相应摄距和焦距下的单个像素尺寸大小；其中相应摄距和焦距通过步骤10)照片上的标记获取。

实施例1：

下面以江苏省某大桥测现场拍摄的100张裂缝照片为例，说明本发明的具体实施过程。

(1)查看照片属性获取每张照片的焦距参数，结合现场拍摄时激光测距仪测得的摄距参数对照片进行标记。

(2)随机将照片分成70张的训练集和30张的测试集。按照图2所示的层结构，构建U-net CNN网络。共分为9层，每层又由卷积层，正则化层，ReLU激活函数，组大池化层，去卷积层，Softmax激活函数组成。卷积层实现特征提取；正则化层将每层的输出限制为固定分布，加快了网络训练速度；ReLU激活函数实现非线性拟合功能；池化层减少参数，防止过拟合；Softmax归一化可能性并将其转化为概率实现像素分类。

(3)裂缝识别：

首先将所有图片分割为512×512分辨率的图片，完成图片预处理。针对每张图片，手动标记裂缝位置，为模型训练做准备。最终识别的裂缝形态如图3。

以图像左下角像素为原点位置建立平面直角坐标系，计算裂缝形态曲线的斜率，与斜率垂直的方向定为宽度方向。进一步采用移动窗口方法提取宽度方向的像素个数，确定最大宽度位置，如图5。

(4)室内标靶实验。A、固定相机和靶标，使相机镜头的光轴与靶标中心重合，且相机的拍摄方向垂直于靶标所在的平面。B、使用激光测距仪调整摄距s(m)，使s＝0.5m；C、不断转动调焦环以调整焦距，在焦距f(mm)从70mm变到28mm的过程中，每隔1mm拍摄一张照片，照片会自动记录拍摄时的焦距信息，后期在计算机中打开照片属性即可查看；D、利用Photoshop软件中的标尺工具，数出每张照片中正方形靶标沿边长长度方向的像素数目n；E、已知边长的实际长度为100mm，计算得到像素尺寸a＝100/n(mm)；F、利用Matlab软件画出a和f关系散点图，并拟合曲线，得到指数函数a＝F(f)；G、使用激光测距仪改变摄距s，使得s＝1.0、1.5、2.0m，并且每改变一次摄距s都重复步骤C、D、E、F，最后共得到4条拟合曲线a＝F(f)。分析整理多条拟合曲线，进而确定a，s，f三者的关系(理论上a与s应该呈线性关系)，最终给出统一公式a＝F(s,f)。

当s＝0.5m时，指数函数a＝F(f)的系数平均值k₁＝2.68；当s＝1.0m时，指数函数a＝F(f)的系数平均值k₂＝5.92；当s＝1.5m时，指数函数a＝F(f)的系数平均值k₃＝9.12；当s＝2.0m时，指数函数a＝F(f)的系数平均值k₄＝12.27。如图4。其中系数平均值k指所有实验数据拟合得到的指数函数a＝F(f)系数的均值。

使用线性函数拟合系数平均值k与摄距s的关系曲线(即k-s关系曲线)，得到k＝6.394*s-0.495，并且系数平均值k与摄距s的拟合优度R²＝1。最终确定a、s、f函数关系为a＝(6.394*s-0.495)*f^(-1.0345)，其中像素尺寸a的单位为mm，摄距s的单位为m，焦距f的单位为mm。该公式只对索尼a7m2机身+索尼FE 28-70mm f/3.5-5.6镜头适用。若更换机身或者镜头，可按照该节的实验及数据处理方法得到新的a、s、f关系函数。

(5)计算裂缝实际宽度。图5中显示的照片摄距和焦距分别为0.57m和61mm,由a＝(6.394*s-0.495)*f^(-1.0345)得a＝0.04mm，结合像素个数16，可得最大宽度为0.64mm。由此完成裂缝宽度的准确识别。经光学裂缝观测仪验证，该方法裂缝宽度识别误差在达0.02mm以内。

以上实施例仅是对本发明方案的进一步具体说明，在阅读了本发明实施例之后，本领域普通技术人员对本发明的各种等同形式的修改和替换均属于本发明申请权利要求所限定的保护的范围。

Claims (5)

1.基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，其特征在于，包括如下步骤：

(1)采用相机和激光测距仪获取已知拍摄距离的多张混凝土结构表面裂缝的照片，提取照片属性中的焦距参数，按拍摄距离和焦距对所有照片进行标识；

(2)训练卷积神经网络，设定层结构网络，选定损失函数，划分训练集与测试集，训练模型，实现对裂缝的自动识别与形态提取；

(3)依据裂缝形态曲线的坐标，计算曲线斜率，将与斜率垂直方向作为裂缝宽度方向，用采取移动窗口的方法获取整条裂缝曲线宽度方向的像素个数，取其最大值作为裂缝最大宽度；

(4)采用室内标靶实验获取大量焦距f、摄距s以及图片中单个像素对应实际尺寸a，建立函数关系a＝F(s,f)非线性模型；

(5)结合非线性模型和裂缝宽度方向的像素计算裂缝实际宽度。

2.根据权利要求1所述的基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，其特征在于：所述步骤(1)中包括：

(1.1)使用单反相机现场采集混凝土结构表面混凝土裂缝照片，拍摄时使用激光测距仪等测距仪器记录照片拍摄位置到结构裂缝位置处的距离，记录为拍摄距离即摄距；

(1.2)根据照片属性查询照片焦距参数，依据得到的摄距和焦距参数对照片进行标记。

3.根据权利要求1所述的基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，其特征在于：所述步骤(2)中包括：

(2.1)构建U-net卷积神经网络：

U-net卷积神经网络共分为9层，每层由卷积层、正则化层、ReLU激活函数、组大池化层、去卷积层和Softmax激活函数组成；

其中ReLU激活函数如下：

ReLU(x)＝max(0,x)；

其中，x为神经网络中的自变量，即像素的值；ReLU激活函数表示取0和x中的较大值；

其中Softmax归一化如下：

其中，zj表示像素点为裂缝的概率，c表示像素总个数，e为自然对数底数；

(2.2)训练U-net卷积神经网络：

首先将所有图片分割为512×512分辨率的图片，完成图片预处理；然后将图片集划分为训练集与测试集；针对每张图片，手动标记裂缝位置，为模型训练做准备。

4.根据权利要求1所述的基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，其特征在于：所述步骤(4)中包括：

(4.1)固定相机和靶标，使相机镜头的光轴与靶标中心重合，且相机的拍摄方向垂直于靶标所在的平面；靶标为方格纸；

(4.2)使用激光测距仪调整摄距s；

(4.3)不断转动调焦环以调整焦距f，使得焦距f不断变化，照片会自动记录拍摄时的焦距信息；

(4.4)数出每张照片中正方形靶标沿边长长度方向的像素数目n；

(4.5)已知正方形靶标边长的实际长度为m，计算得到单个像素对应实际尺寸a＝m/n；

(4.6)画出a和f关系散点图，并拟合曲线，得到函数a＝F(f)；

(4.7)使用激光测距仪改变摄距s，并且每改变一次摄距s都重复步骤(4.3)至步骤(4.6)，最终得到多条拟合曲线a＝F(f)；

(4.8)分析整理多条拟合曲线，进而确定a、s、f三者的关系，给出统一公式a＝F(s,f)。

5.根据权利要求1所述的基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法，其特征在于：所述步骤(5)中包括：

计算裂缝实际宽度：

w＝n*a；

其中w为裂缝实际宽度；n为裂缝最大宽度处的像素个数；a为通过非线性模型获取的相应摄距和焦距下的单个像素尺寸大小，其中相应摄距和焦距通过步骤(1)照片上的标识获取。

Images