CN106910186A - 一种基于cnn深度学习的桥梁裂缝检测定位方法 - Google Patents

Abstract

本发明公开了一种基于CNN深度学习的桥梁裂缝检测定位方法,该方法首先利用窗口滑动算法将桥梁图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像；同时,根据基于卷积神经网络(CNN)的DBCC分类模型,对桥梁背景面元图像和桥梁裂缝面元图像进行识别；然后,结合窗口滑动算法在整幅桥梁裂缝图像上进行桥梁裂缝的检测定位；最后,采用图像金字塔和ROI区域相结合的搜索策略对算法进行加速。与传统的裂缝检测定位方法相比,本发明提出的桥梁裂缝检测定位方法不仅具有更好的检测效果和更强的泛化能力,而且本发明的检测定位方法是直接基于彩色图像进行的,这也是传统的裂缝检测定位方法所不具备的特点。

Description

一种基于CNN深度学习的桥梁裂缝检测定位方法

技术领域

本发明属于图像处理和计算机视觉领域,具体涉及一种基于CNN深度学习的桥梁裂缝检测定位方法。

背景技术

桥梁作为道路、公路、铁路等交通系统的枢纽,需要定期的对其健康状况做出评估,而桥梁裂缝作为最主要的桥梁病害之一,严重影响着桥梁的安全运营,更为严重的会发生桥毁人亡的事故。因此,对桥梁裂缝进行有效的检测定位至关重要。

近年来,有许多学者开展了关于裂缝检测方法的研究,但目前主要的研究都是基于传统的图像处理算法进行的裂缝检测。例如,公开号为CN103528527A的专利文献,公开了基于区域选定的裂缝尺寸自动测量方法,该方法是基于传统的图像处理算法进行的；例如,中国期刊《铁道学报》2015,Vol37,No5,pp64-70刊登了一篇题为“基于特征分析的地铁隧道裂缝识别算法”的论文,作者朱力强等人在该论文中,公开了其基于特征分析的地铁隧道裂缝识别算法；再例如,期刊《计算机工程与应用》2015,Vol51,No14,pp136-140刊登了一篇题为“一种桥梁路面裂缝的检测方法”的论文,作者孙乾程等人在该论文中,公开了一种新的基于桥梁路面裂缝的分布式裂缝检测模型。

以上文献公开的裂缝检测方法,都是基于传统的图像处理算法,针对同一种背景纹理和同一种材质进行的裂缝检测,换言之,传统的图像处理算法是先把彩色图像转化为灰度图像,然后基于灰度图像的裂缝检测定位,由此可知,传统的图像处理算法都不能直接针对彩色图像进行裂缝检测定位。

发明内容

为了解决传统的图像处理算法不能直接对彩色图像进行裂缝检测定位,本发明提供了一种基于CNN深度学习的桥梁裂缝检测定位方法。本发明要解决的技术问题通过以下技术方案实现:

一种基于CNN深度学习的桥梁裂缝检测定位方法,包括以下步骤:

步骤一、建立并训练深度学习模型；

步骤二、采集一张桥梁裂缝的图片作为待检测图像；

步骤三、使用步骤一得到的训练好的模型对待检测图像进行检测,并记录由所述训练好的模型识别出所有桥梁裂缝面元的横纵坐标,然后统计桥梁裂缝面元的个数，记为N；

所述训练好的模型在识别桥梁裂缝面元时采用窗口滑动算法，所述窗口滑动算法的计算过程如式(1)所示:

其中,P_b(x)和P_c(x)为在本次识别过程中,桥梁背景面元和桥梁裂缝面元所识别的概率；f(x)为0,表示当前的桥梁面元图像为桥梁背景面元,f(x)为1,表示当前的桥梁面元图像为桥梁裂缝面元,t为一个概率区分阈值；

步骤四、使用简单选择排序算法对步骤三记录的所有桥梁裂缝面元的横纵坐标分别进行排序,挑选出最小的横纵坐标和最大的横纵坐标组成两个新的坐标点,根据两个新的坐标点在待检测图像上画出矩形区域,该矩形区域为桥梁裂缝在待检测图片中的位置；

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述步骤二和步骤三之间还具有算法的加速步骤,所述加速步骤采用高斯金字塔和ROI区域相结合的加速策略,所述加速步骤具体为:

J01.利用高斯金字塔对待检测图像进行降采样,得到低分辨率图像；

J02.利用步骤一中训练好的模型对J01中的低分辨率图像进行检测,并记录由所述训练好的模型识别出所有桥梁裂缝面元的横纵坐标；

J03.使用简单选择排序算法对J02中记录的所有桥梁裂缝面元的横纵坐标分别进行排序,将最小的横纵坐标组成一个最小坐标点,将最大的横纵坐标也组成一个最大坐标点,并将最小坐标点和最大坐标点代入式(3)中,求解出两个新的坐标点,式(3)如下所示:

其中,x_l,y_l为低分辨率图像上确定位置的横纵坐标,x_h,y_h为待检测图像上确定位置的横纵坐标,n为高斯金字塔向下采样的次数；

J04.根据J03中的两个新的坐标点在待检测图像上确定矩形区域,并将该矩形区域设为ROI感兴趣区域。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述步骤一具体为:

第一步,建立深度学习模型；

第二步,采集大量的桥梁裂缝图片,对采集的图片进行数据集扩增；

第三步,利用扩增后的数据集训练深度学习模型,得到训练好的模型。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述第二步数据集扩增的方法包括以下步骤:

K01.将采集的大量桥梁裂缝图像的分辨率归一化为1024*1024；

K02.使用W*H固定大小的窗口在桥梁裂缝图片不重叠的进行滑动,同时,将窗口覆盖下的桥梁裂缝图片切分成小切片,其中,包含桥梁背景的小切片称为桥梁背景面元,包含桥梁裂缝的小切片称为桥梁裂缝面元,不重叠滑动的计算公式方法为:

公式(4)中,W和H为滑动窗口的宽和高,坐标(imgRoiL_x,imgRoiLy)为ROI区域的左上角点坐标,坐标(imgRoiR_x,imgRoiRy)为ROI区域的右下角点坐标,其中i和j的计算如下面的公式所示:

公式(5)中,srcImg_w，srcImg_h,分别为被窗口滑动的桥梁裂缝图片的宽和高,令srcImg_w＝srcImg_h＝1024pixel；

K03.将每个小切片作为一个ROI图片,构建成一个RGB数据集；

K04.对K03中的RGB数据集进行挑选标记,挑选标记采用的方式是:将ROI图片分成桥梁裂缝面元和桥梁背景面元；

K05.对挑选标记后的RGB数据集进行分类,构成一个用于训练深度学习模型的训练集和验证集。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述第一步的深度学习模型为DBCC分类模型,所述的DBCC分类模型包括：

卷积单元，采用卷积核将输入的特征映射图进行卷积求和，该卷积单元由4个卷积层构成；

池化单元，用于对卷积后的特征映射图进行下采样,降低特征映射图的分辨率并且选取优秀的特征，该池化单元由3个池化层构成，并且，3个池化层分别交叉设置在4个卷积层之间；

分类单元，通过全连接层将卷积单元输出的特征映射图输入至softmax loss函数进行分类，并给出分类结果，该分类单元由2个全连接层构成。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述DBCC分类模型的四层卷积层每一层所采用的卷积核的数量分别为:32、64、128、256。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述DBCC分类模型分别在第一卷积层、第四卷积层、第二池化层、第三池化层、第一全连接层后面各添加一激活函数,并且,在第一卷积层后面添加LRN层,在第一全连接层后面添加dropout层。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述步骤三中的概率区分阈值t的取值范围为0.90～0.99。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述J02中高斯金字塔向下采样的次数n为2。

上述的一种基于CNN深度学习的桥梁裂缝检测定位方法,所述K02中W和H的取值分别为16pixel。

本发明的有益效果:

1.本发明在进行桥梁裂缝检测定位时,是直接基于彩色的桥梁裂缝图像进行的,而传统的桥梁裂缝检测定位方法都是先把彩色的桥梁裂缝图像转化为灰度图,然后再利用裂缝灰度信息和背景灰度信息不同的特点进行裂缝的检测和定位,因此传统的方法无法直接基于彩色的图像进行桥梁裂缝的检测和定位；

2.在本发明中,桥梁裂缝的检测和定位都是基于DBCC这一深度学习模型而展开的,而在训练DBCC模型的时候,本发明采用了大量的不同背景纹理、不同材质的桥梁裂缝图像作为训练集,因此,训练好的DBCC分类模型结合改进的窗口滑动可以对多种不同背景纹理、不同材质的桥梁裂缝图像进行检测和定位,而传统的裂缝检测方法往往针对的是同一种材质或者类似背景纹理的图像进行的检测定位,因此,本发明和传统的裂缝检测定位方法相比具有更好的泛化能力和更强的适应性；

3.本发明在桥梁裂缝检测定位的过程中,使用了图像高斯金字塔和ROI感兴趣区域相结合的搜索策略对桥梁裂缝检测定位的过程进行了优化,因此,本发明在进行桥梁裂缝检测和定位的时候,其处理速度更加的快速；

4.本发明使用了一种基于窗口滑动算法的桥梁裂缝和桥梁背景面元图像的人工扩增方式,并且DBCC分类模型针对的是更小的桥梁裂缝面元图像,因此,本发明与直接使用经典的深度学习模型进行的桥梁裂缝检测定位相比,本发明对于桥梁裂缝检测和定位的结果更加的准确。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明桥梁裂缝检测定位方法的流程图。

图2是本发明数据集人工扩增的流程图。

图3是本发明桥梁裂缝检测结果图。

图4是本发明桥梁裂缝定位结果图。

图5是本发明DBCC模型的结构示意图。

具体实施方式

为进一步阐述本发明达成预定目的所采取的技术手段及功效,以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效,详细说明如下。

实施例1:

本发明的主要任务是针对彩色的、不同背景纹理的、不同材质的桥梁裂缝图片进行桥梁裂缝的检测和定位。结合图1-图2,一种基于CNN深度学习方法的桥梁裂缝检测定位方法,包括以下步骤:

第一步,使用相机传感器采集一定数量的桥梁裂缝图片,并将所有的图片归一化为1024*1024分辨率的图片；

第二步,使用W*H固定大小的窗口在桥梁裂缝图片上不重叠的进行滑动,同时,将滑动窗口覆盖下的桥梁裂缝图片的小切片作为一个ROI感兴趣区域。其中,包含桥梁背景的小切片图像称为桥梁背景面元,包含桥梁裂缝的小切片称为桥梁裂缝面元,具体过程如下面的公式所示:

imgRoiL_x＝i*W

imgRoiL_y＝j*H

imgRoiR_x＝i*W+W

imgRoiR_y＝j*H+H

其中,W和H为滑动窗口的宽和高,坐标(imgRoiL_x,imgRoiL_y)为ROI区域的左上角点坐标,坐标(imgRoiR_x,imgRoiR_y)为ROI区域的右下角点坐标,其中i和j的计算如下面的公式所示:

i＝srcImg_w/W

j＝srcImg_h/H

其中,srcImg_w，srcImg_h,分别为被窗口滑动的桥梁裂缝图片的宽和高,令srcImg_w＝srcImg_h＝1024pixel；

第三步,对基于窗口滑动算法扩增而来的数据集进行挑选,标记,分类构成一个有一定规模的用于训练深度学习模型的训练集和验证集；

第四步,利用第三步预处理好的数据集对DBCC分类模型进行训练；

第五步,采集一张桥梁裂缝图片,将图片归一化为1024*1024分辨率的图片,然后使用图像高斯金字塔对桥梁裂缝图像进行采样,得到一幅低分辨率的桥梁裂缝图片；

第六步,利用训练好的DBCC分类模型和窗口滑动算法在上一步求得的低分辨率的桥梁裂缝图片上进行检测,并将由DBCC分类模型识别出来的所有的桥梁裂缝面元的横纵坐标记录下来,其中窗口滑动算法如下面的公式所示:

其中,P_b(x)和P_c(x)为在本次识别过程中,所识别的小切片分别为桥梁背景面元和桥梁裂缝面元的概率；f(x)为0,表示当前的桥梁面元图像为桥梁背景面元,f(x)为1,表示当前的桥梁面元图像为桥梁裂缝面元,t为一个概率区分阈值,一般取值为0.90～0.99；

第七步,使用简单选择排序算法对第六步记录的所有桥梁裂缝面元的横纵坐标分别进行排序,将最小的横纵坐标组成一个坐标点,将最大的横纵坐标也组成一个坐标点,并将这两个坐标点代入下面的公式,求解出两个新的坐标点,具体的公式如下所示:

x_h＝(x_l)*2ⁿ

y_h＝(y_l)*2ⁿ

其中坐标(x_l,y_l)为低分辨率图片上确定的位置坐标,坐标(x_h,y_h)为高分辨率图片确定的位置坐标,n代表图像高斯金字塔向下采样的次数,通常n的值为2；

第八步,根据第七步求解出来的两个新的坐标点在高分辨率图片上确定一个矩形区域,并且将这个矩形区域设置为ROI感兴趣区域；确定矩形区域的方法是:调用开源计算机视觉库OpenCv中的rectangle()这个函数,传入步骤七的两个新的坐标点(即矩形区域左上角和右下角的坐标),便可得到矩形区域；

第九步,利用训练好的DBCC分类模型和窗口滑动算法在1024*1024分辨率的图片上进行桥梁裂缝的检测,在桥梁裂缝检测的过程中,记录所有的桥梁裂缝面元的横纵坐标,并且,在这一过程中,统计桥梁裂缝面元图像的个数,并且将这一统计数记为N；

第十步,使用简单选择排序算法对第九步记录的所有的桥梁裂缝面元的横纵坐标进行排序,并且挑选出最小的横纵坐标和最大的横纵坐标组成两个新的位置坐标点,然后根据这两个新的位置坐标点在高分辨率图片上画一个矩形区域,该矩形区域和这两个新的坐标点就标识出了桥梁裂缝在桥梁裂缝图片中的位置；

第十一步,将桥梁裂缝检测过程中统计出来的桥梁裂缝面元的数据N带入下面的公式就可以求解出桥梁裂缝的面积,具体的公式如下所示:

area_crack＝N*W*H

其中area_crack为最终求解出来的桥梁裂缝的面积,N代表桥梁裂缝面元的个数,W为桥梁裂缝面元的宽度,H为桥梁裂缝面元的高度。

本发明首先利用窗口滑动算法将桥梁图像切分为较小的桥梁裂缝面元图像和桥梁背景面元图像；同时,根据基于卷积神经网络(CNN)的DBCC分类模型,对桥梁背景面元图像和桥梁裂缝面元图像进行识别；然后,DBCC模型结合窗口滑动算法在整幅桥梁裂缝图像上进行桥梁裂缝的检测定位；最后,采用图像金字塔和ROI区域相结合的搜索策略对算法进行加速。与传统的裂缝检测定位方法相比,本发明提出的桥梁裂缝检测定位方法不仅具有更好的检测效果和更强的泛化能力,而且本发明的检测定位方法是直接基于彩色图像进行的,这也是传统的裂缝检测定位方法所不具备的特点。

实施例2:

下面参照图1-图4,使用具体的数据详细叙述本发明:

第一步,利用图像采集设备采集五种不同背景纹理、不同材质的桥梁裂缝图片,采集的图片总数为2000张,并且将所有的图片归一化为1024*1024分辨率的图片；

第二步,将这2000张图片分为2个数据集,人工扩增数据集和测试数据集,每个数据集1000张；

第三步,使用W*H固定大小的窗口在人工扩增数据集中的1000张图片上不重叠的进行滑动,同时,将滑动窗口覆盖下的桥梁裂缝图片的小切片作为一个ROI感兴趣区域。其中,包含桥梁背景的小切片图像称为桥梁背景面元,包含桥梁裂缝的小切片称为桥梁裂缝面元,具体过程如公式(11)所示:

其中,W和H为滑动窗口的宽和高,坐标(imgRoiL_x,imgRoiL_y)为ROI区域的左上角点坐标,坐标(imgRoiR_x,imgRoiR_y)为ROI区域的右下角点坐标,其中i和j的计算如公式(12)所示:

其中,src Im g_w，src Im g_h,分别为被窗口滑动的桥梁裂缝图片的宽和高,令srcImg_w＝srcImg_h＝1024pixel；

第四步,通过挑选,标记,构成一个拥有55000张图片,16*16像素大小的RGB数据集,并将这55000张小图片分为两类,桥梁裂缝面元和桥梁背景面元。并且分为训练集(裂缝面元10000张,桥梁背景面元40000张)和验证集(裂缝面元1000张,桥梁背景面元4000张)；

第五步,利用上一步求得的训练集,验证集在caffe这一深度学习框架下对DBCC分类模型进行训练,从而使得DBCC分类模型可以正确的识别桥梁裂缝面元和桥梁背景面元；

第六步,随机的从测试数据集中读取一张桥梁裂缝图片,首先使用高斯图像金字塔对读进来的1024*1024分辨率的图片进行两次下采样,得到一幅256*256分辨率的桥梁裂缝图片；

第七步,利用训练好的DBCC分类模型结合本发明中提出的改进的窗口滑动算法在上一步求得的256*256的桥梁裂缝图片上进行桥梁裂缝的检测；在这个检测的过程中,将DBCC分类模型识别出来的所有的桥梁裂缝面元图片的左上角坐标和右下角坐标记录下来；等待检测过程完成之后,利用排序算法分别对记录的所有坐标的横纵坐标进行排序,并将最小的横纵坐标和最大的横纵坐标组合成两个坐标点；

第八步,将上述求得的两个坐标点带入下面的公式(13)求得两个新的坐标点,通过这两个新的坐标点就可以确定一个完全包含桥梁裂缝的矩形区域,将这个矩形区域设置为ROI区域。具体的公式(13)如下所示:

其中坐标(xl,yl)为低分辨率图片上确定的位置坐标,(xh,yh)为高分辨率图片确定的位置坐标,n代表图像高斯金字塔向下采样的次数；

第九步,利用训练好的DBCC分类模型结合窗口滑动算法在上述求得的ROI区域进行桥梁裂缝的检测,将DBCC分类模型识别出来的桥梁裂缝面元用小标识框标识出来,最终所有小标示框标识出来的图形即为所要检测的桥梁裂缝,检测结果可以参考图3；

第十步,在上一步进行桥梁裂缝检测的时候,在检测的过程中,将由DBCC分类模型识别出来的所有的桥梁裂缝面元的横纵坐标记录下来,等待桥梁裂缝检测完毕之后,使用简单选择排序算法分别对所有的横纵坐标进行排序,然后选取最小的横纵坐标组成一个坐标点,选取最大的横纵坐标组成一个坐标点,并且基于这两个坐标点,在被检测桥梁裂缝图片上确定一个矩形区域,并使用矩形标识框将这一矩形区域标识出来并且将这两个点的坐标作为结果返回,最终,这个矩形区域所在的位置就是桥梁裂缝的位置,通过这样的方法,也就确定了桥梁裂缝在图片中的位置,即实现了桥梁裂缝的定位,具体定位效果可以参考图4；

第十一步,在第十步进行桥梁裂缝检测的过程中,统计DBCC模型在桥梁裂缝图片中识别出来的桥梁裂缝面元个数,并将桥梁裂缝面元的个数记为N,由于本创新中的桥梁裂缝面元的尺寸为16*16像素大小的小图片,所以公式(14)中的W和H均为16pixel,最终,根据公式(14)求解出桥梁裂缝的裂缝面积area_crack,面积的最终单位为像素(pixel)，具体的计算如公式(14)所示:

area_crack＝N*W*H (14)

其中area_crack为最终求解出来的桥梁裂缝的面积,N代表桥梁裂缝面元的个数,W为桥梁裂缝面元的宽度,H为桥梁裂缝面元的高度。

实施例3：

本实施例公开了一种基于CNN深度学习的DBCC分类模型构建方法,包括以下步骤:

(1)以卷积方式将输入的原始图片与第一卷积层中的所有卷积核进行卷积求和,得到第一卷积层的特征映射图；

(2)在第一卷积层后添加一Relu激活函数；

(3)在第一卷积层后添加一用于图片明亮度矫正的局部响应值归一化层,所述局部响应值归一化层提升了网络的识别效果；

(4)将第一卷积层的特征映射图在第一池化层中进行下采样,降低分辨率并选取优秀的特征,作为第一池化层的特征映射图；

(5)在第二卷积层上以卷积方式将第一池化层的特征映射图与第二卷积层中的所有卷积核进行卷积求和,得到第二卷积层的特征映射图,将第二卷积层的特征映射图在第二池化层中进行下采样,降低分辨率并选取优秀的特征,作为第二池化层的特征映射图；

(6)在第二池化层后添加一Relu激活函数后在第三卷积层上以卷积方式将第二池化层的特征映射图与第三卷积层中的所有卷积核进行卷积求和,得到第三卷积层的特征映射图,将第三卷积层的特征映射图在第三池化层中进行下采样,降低分辨率并选取优秀的特征,作为第三池化层的特征映射图；

(7)在第三池化层后添加一Relu激活函数后在第四卷积层上以卷积方式将第三池化层的特征映射图与第四卷积层中的所有卷积核进行卷积求和,得到第四卷积层的特征映射图；

(8)在第四卷积层后添加一Relu激活函数后将第四卷积层的特征映射图输出至第一全连接层,并且,在第一全连接层后添加用于防止过拟合的Dropout层；

(9)将步骤八中Dropout层得到的特征映射图输出至第二全连接层,在所述第二全连接层后采用一softmax loss函数作为损失函数,最后一层即输出桥梁背景面元和桥梁裂缝面元在本次识别过程中所属类别的概率；

上述(1)至(9)中,卷积层具体的计算过程如公式(31)所示:

其中,X^(l-1)为第层的特征映射,W^(l)为当前卷积层的卷积核,b^(l)为偏置项,f为激活函数,X^(l)为第卷积层最终得到的特征映射；

设当前层包含N个大小为的特征映射图,卷积核大小为(Kx,Ky),卷积核在x和y方向上的滑动步长为Sx和Sy,为了最终结果除为整数,可以对当前层的特征映射图添加大小为pad的边界,使得特征映射图经过卷积之后,卷积的结果可以完全落在图片内部,则卷积后特征映射图的大小为具体计算过程如公式(32)所示:

其中,l表示当前层数,l-1表示前一层。

上述(1)至(9)中,池化层的主要作用是对特征映射图进行下采样,降低特征映射图的分辨率并且选取优秀的特征。池化层不仅可以显著减少神经元的个数,而且还使得模型具有更好的抗噪能力。

设子采样函数为down(X^l),子采样函数通常有两种:最大池化(Maximum Pooling)和平均池化(Average Pooling),具体计算如公式(33)所示:

其中,a_i为池化区域的神经元,R_k为池化区域神经元的集合,|R_k|为池化区域神经元的总个数,poolmax(R_k)为池化区域所有神经元的最大值,pool avg(R_k)为池化区域所有神经元的值的平均值。输出特征映射图大小的计算和卷积层的类似,具体计算公式可参考公式(32)。

为了增强网络的表达能力,本实施例引入了连续的非线性激活函数(ActivationFunction)。网络中一般采用的激活函数有sigmod函数和rectifier(Relu)函数。具体计算如公式(34)所示:

由于激活函数Relu一般被认为有生物上的解释,并且Relu已经被证明比sigmod函数的拟合效果更好。因此,DBCC模型中的激活函数选择使用Relu激活函数。

将第一卷积层的特征映射图作为输入，经过Relu激活函数的计算，得到增强网络表达能力的第一卷积层特征映射图，将增强网络表达能力的第一卷积层特征映射图作为输入，经过局部响应值归一化层，得到提升网络识别效果的第一卷积层特征映射图。

将第二池化层的特征映射图作为输入，经过Relu激活函数的计算，得到增强网络表达能力的第二池化层特征映射图；将第三池化层的特征映射图作为输入，经过Relu激活函数的计算，得到增强网络表达能力的第三池化层特征映射图；将第四卷积层的特征映射图作为输入，经过Relu激活函数的计算，得到增强网络表达能力的第四卷积层特征映射图；将第一全连接层的特征映射图作为输入，经过Relu激活函数的计算，得到增强网络表达能力的第一全连接层特征映射图。

将第二全连接层的特征映射图作为输入，经过softmax loss函数的计算，得到桥梁背景面元和桥梁裂缝面元在本次识别过程中所属类别的概率。

图5中,In表示输入的图片数据,C表示卷积层,P表示池化层,FC表示全连接层,S表示softmax函数,Out表示输出,Relu表示激活函数Relu,LRN表示局部响应值归一化,D表示Dropout层。

本实施例还公开了一种基于CNN深度学习的DBCC分类模型,包括4层卷积层、3层池化层和2层全连接层,该DBCC分类模型采用softmax loss函数作为损失函数,第一卷积层、第四卷积层、第二池化层、第三池化层、第一全连接层后面各添加了一个激活函数(RELU),并且,在第一卷积层后面添加局部响应值归一化层LRN,在第一全连接层后面添加dropout层。

具体地,DBCC首先使用了4层卷积层(C1～C4),3层池化层(P1～P3),2层全连接层(FC1～FC2),最后采用softmax loss函数(S)作为损失函数。在C1,C4,P2,P3,FC1后面各加一个激活函数(RELU),同时,在第一卷积层后面添加LRN层,FC1后面添加dropout层。最后一层输出桥梁背景面元和裂缝面元这两类面元,每一类所对应的概率值。卷积核数目从32开始,每经过一次卷积层,卷积核的数目翻倍。直到256为止。偏置项值初始化为0.1。

在卷积层,每一个卷积核都可以被看成一个特征提取器,卷积层中每一幅输出的特征映射图(Feature Map)都可以被看成输入图像经过一个卷积核进行特征提取之后的结果,但是通过对各卷积层的输出结果进行可视化对比可知,并不是每一个卷积核都可以成功提取输入图像的特征,从而得到有效的特征表达(特征映射图)。因此,为了增强卷积层的表示能力,对输入图像的特征进行充分的提取,和CIFAR10模型相比,DBCC模型在各卷积层都使用了更多的卷积核。

LRN完成了一种“邻近抑制”操作,对局部输入区域进行了归一化操作.可以用于图片明亮度的矫正,而桥梁裂缝图片由于光照,阴影等因素,会出现图片亮度不均的问题,因此,和CIFAR10模型相比,BDCC模型添加了局部响应值归一化层LRN,添加LRN层会提升网络的识别效果。

Dropout是指在训练模型时,随机的让网络中某些隐含层的节点暂时不工作,不工作的那些节点可以暂时的认为不是网络结构的一部分,但是它们的权重保留下来(暂时不更新),而下次样本输入的时候,随机的选择,它们可能又可以工作。所以,每一次的样本输入,都相当于随机选取了一个不同的网络结构进行训练,但是这些不同的网络却共同训练出了共享的权值。因此,Dropout可以看做是不同学习模型之间组合的一种替代方法,而使用不同的模型训练同一样本又是防止过拟合的一种方法,因此,Dropout可以有效的防止过拟合。由于训练DBCC模型的数据集较小,因此,采用更大概率的Dropout进行补偿,Dropout取值0.55。

实验结果表明,网络的深度在一定条件下,越深结果越好,因此,针对16*16pixel大小的桥梁裂缝面元和桥梁背景面元图片,为了尽可能的加深网络结构的深度,DBCC模型对特征映射图添加了大小为2pixel的边距,以避免原本尺寸就小的桥梁裂缝面元和桥梁背景面元图片的尺寸减小过快。

本实施例中,优选DBCC分类模型的四层卷积层每一层所采用的卷积核的数量分别为:32、64、128、256。

本实施例的DBCC分类模型采用全模型网络结构,通过在每个卷积层中使用更多的卷积核以及添加LRN,使用dropout加深网络深度,使得该DBCC分类模型在识别16*16pixel分辨率的小图片时,识别精度高。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于CNN深度学习的桥梁裂缝检测定位方法,包括以下步骤:

步骤一、建立并训练深度学习模型；

步骤二、采集一张桥梁裂缝的图片作为待检测图像；

步骤三、使用步骤一得到的训练好的模型对待检测图像进行检测,并记录由所述训练好的模型识别出所有桥梁裂缝面元的横纵坐标,然后统计桥梁裂缝面元的个数，记为N；

所述训练好的模型在识别桥梁裂缝面元时采用窗口滑动算法，所述窗口滑动算法的计算过程如式(1)所示:

其中,P_b(x)和P_c(x)为在本次识别过程中,桥梁背景面元和桥梁裂缝面元所识别的概率；f(x)为0,表示当前的桥梁面元图像为桥梁背景面元,f(x)为1,表示当前的桥梁面元图像为桥梁裂缝面元,t为一个概率区分阈值；

步骤四、使用简单选择排序算法对步骤三记录的所有桥梁裂缝面元的横纵坐标分别进行排序,挑选出最小的横纵坐标和最大的横纵坐标组成两个新的坐标点,根据两个新的坐标点在待检测图像上画出矩形区域,该矩形区域为桥梁裂缝在待检测图片中的位置。

2.根据权利要求1所述的一种基于CNN深度学习的桥梁裂缝检测定位方法,其特征在于,所述步骤二和步骤三之间还具有算法的加速步骤,所述加速步骤采用高斯金字塔和ROI区域相结合的加速策略,所述加速步骤具体为:

J01.利用高斯金字塔对待检测图像进行降采样,得到低分辨率图像；

J02.利用步骤一中训练好的模型对J01中的低分辨率图像进行检测,并记录由所述训练好的模型识别出所有桥梁裂缝面元的横纵坐标；

J03.使用简单选择排序算法对J02中记录的所有桥梁裂缝面元的横纵坐标分别进行排序,将最小的横纵坐标组成一个最小坐标点,将最大的横纵坐标也组成一个最大坐标点,并将最小坐标点和最大坐标点代入式(3)中,求解出两个新的坐标点,式(3)如下所示:

x_h＝(x_l)*2ⁿ

y_h＝(y_l)*2ⁿ (3)

其中,x_l,y_l为低分辨率图像上确定位置的横纵坐标,x_h,y_h为待检测图像上确定位置的横纵坐标,n为高斯金字塔向下采样的次数；

J04.根据J03中的两个新的坐标点在待检测图像上确定矩形区域,并将该矩形区域设为ROI感兴趣区域。

3.根据权利要求1所述的一种基于CNN深度学习的桥梁裂缝检测定位方法,其特征在于,所述步骤一具体为:

第一步,建立深度学习模型；

第二步,采集大量的桥梁裂缝图片,对采集的图片进行数据集扩增；

第三步,利用扩增后的数据集训练深度学习模型,得到训练好的模型。

4.根据权利要求3所述的一种基于CNN深度学习的桥梁裂缝检测定位方法,其特征在于,所述第二步中数据集扩增的方法包括以下步骤:

K01.将采集的大量桥梁裂缝图像的分辨率归一化为1024*1024；

K02.使用W*H固定大小的窗口在桥梁裂缝图片不重叠的进行滑动,同时,将窗口覆盖下的桥梁裂缝图片切分成小切片,其中,包含桥梁背景的小切片称为桥梁背景面元,包含桥梁裂缝的小切片称为桥梁裂缝面元,不重叠滑动的计算公式方法为:

$\begin{array}{c}{\mathrm{imgRoiL}}_x=i*W\\ {\mathrm{imgRoiL}}_y=j*H\\ {\mathrm{imgRoiR}}_x=i*W+W\\ {\mathrm{imgRoiR}}_y=j*H+H\end{array}---\left(4\right)$

公式(4)中,W和H为滑动窗口的宽和高,坐标(imgRoiL_x,imgRoiL_y)为ROI区域的左上角点坐标,坐标(imgRoiR_x,imgRoiR_y)为ROI区域的右下角点坐标,其中i和j的计算如下面的公式所示:

$\begin{array}{c}i=src\mathrm{Im}{g}_w/W\\ j=src\mathrm{Im}{g}_h/H\end{array}---\left(5\right)$

公式(5)中,srcImg_w，srcImg_h,分别为被窗口滑动的桥梁裂缝图片的宽和高,令srcImg_w＝srcImg_h＝1024pixel；

K03.将每个小切片作为一个ROI图片,构建成一个RGB数据集；

K04.对K03中的RGB数据集进行挑选标记,挑选标记采用的方式是:将ROI图片分成桥梁裂缝面元和桥梁背景面元；

K05.对挑选标记后的RGB数据集进行分类,构成一个用于训练深度学习模型的训练集和验证集。

5.根据权利要求3所述的一种基于CNN深度学习的桥梁裂缝检测定位方法,其特征在于,所述第一步的深度学习模型为DBCC分类模型,所述的DBCC分类模型包括：

卷积单元，采用卷积核将输入的特征映射图进行卷积求和，该卷积单元由4个卷积层构成；

池化单元，用于对卷积后的特征映射图进行下采样,降低特征映射图的分辨率并且选取优秀的特征，该池化单元由3个池化层构成，并且，3个池化层分别交叉设置在4个卷积层之间；

分类单元，通过全连接层将卷积单元输出的特征映射图输入至softmaxloss函数进行分类，并给出分类结果，该分类单元由2个全连接层构成。

6.根据权利要求5所述的一种基于CNN深度学习的桥梁裂缝检测定位方法,其特征在于,所述卷积层采用的卷积核数量分别为:32、64、128、256。

7.根据权利要求1所述的一种基于CNN深度学习的桥梁裂缝检测定位方法,其特征在于,所述步骤三中的概率区分阈值t的取值范围为0.90～0.99。