CN108711150A - 一种基于pca的端到端路面裂缝检测识别方法 - Google Patents

Abstract

本发明公开了一种基于PCA的端到端路面裂缝检测识别方法,涉及计算机视觉领域，包括以下步骤：S1：获取关于路面图像I_x的数据集，并对数据集进行预处理；S2：将预处理后的数据集进行类别标记,计算不含裂缝的背景图像I_b,并获取路面图像I_x与背景图像I_b之差图像I,并按比例构建训练集和测试集；S3：利用训练集图像I训练深度神经网络模型；S4:将测试集图像I输入到训练后的深度神经网络模型，获取图像类别概率，S5：选取最大概率对应的类别标签作为图像检测识别的结果。本方案将传统检测与识别过程融合在一起，提高了路面裂缝检测的效率与鲁棒性。

Description

一种基于PCA的端到端路面裂缝检测识别方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于PCA的端到端路面裂缝检测识别方法。

背景技术

无论是沥青还是水泥路面，在通车一段时间后，由于外部环境导致路面出现裂缝的情况，给路面的正常使用带来了很大的隐患。因此需要一种有效的检测和评估方法，来检测识别出可能存在的隐患，从而避免潜在的危害。路面裂缝检测是指首先在图像中检测出路面是否存在裂缝或缺陷部分，再对裂缝类型进行识别的过程，涉及到检测与识别两个过程，这是计算机视觉中的一个关键问题，是基于图像的内容识别的基础技术。路面裂缝检测可以用于道路恢复，路况监测等领域。现有路面裂缝检测的难点在于：路面图像不清晰，数据少，图片有干扰等。

在当今科技高速发展的今天，可以使用数字图像检测方法来识别检测路面的裂缝情况，这种结合数字图像的方式，具有灵敏度高、准确度高、自动化程度好等多种优点。但是由于路面路况的差异性，各种场景的不一致性，导致这种检测方法效率较低且存在较大误差甚至是失效，无法对裂缝类型进行判定。

发明内容

本发明的目的在于：提供一种基于PCA的端到端路面裂缝检测识别方法，将传统检测与识别过程融合在一起，提高了路面裂缝检测的效率与鲁棒性。

本发明采用的技术方案如下：

一种基于PCA的端到端路面裂缝检测识别方法,包括以下步骤：

S1：获取关于路面图像I_x的数据集，并对数据集进行预处理；

S2：将预处理后的数据集进行类别标记,计算不含裂缝的背景图像I_b,并获取路面图像I_x与背景图像I_b之差图像I,并按比例构建训练集和测试集；

S3：利用训练集图像I训练深度神经网络模型；

S4:将测试集图像I输入到训练后的深度神经网络模型，获取图像类别概率；

S5：选取最大概率对应的类别标签作为图像检测识别的结果。

优选地，所述步骤S1具体步骤如下：

S101：获取关于路面图像I_x的数据集；

S102：将数据集路面图像I_x裁剪为大小为M×M的子图像，并转化为灰度图。

优选地，所述步骤S2具体步骤如下：

S201：将灰度转化后的子图像进行类别标记，将不含裂缝的图像标记为0，含有混合裂缝的图像标记为1，含有横向裂缝的图像标记为2，含有纵向裂缝的图像标记为3；

S202：计算不含裂缝的背景图像I_b，计算公式为：

其中，I_i为第i个不含裂缝的图像，n为不含裂缝的图像总数。

优选地，所述深度神经网络模型包括六个卷积层和两个全连接层，前五个卷积层的结构均为3×3大小的卷积核，通道数分别为16、32、64、64、64，第六个卷积核大小为1×1，通道数为8。

优选地，所述步骤S3具体步骤如下：

S301：将训练集图像I依次输入到卷积层进行线性变换；

S302：使用ReLU激活函数对每次卷积处理后的图像I进行非线性变换；

S303：使用Max Pooling层对每次非线性变换后的图像I进行下采样；

S304：循环执行步骤S301到S303,依次实现六个卷积层处理，得到一组特征图；

S305：将特征图与图像I进行PCA计算所得的多个主成分特征按通道的维度进行叠加操作得到新的特征图；

S306：将新的特征图展开成向量输入到两个全连接层，并通过Softmax Loss层计算网络损失L；

S307：利用网络损失L进行反向传播，更新深度神经网络参数。

优选地，所述步骤S305具体步骤如下：

步骤1：将预处理后大小为M×M的子图像切割成多个大小为L×L的图像补丁；

步骤2：对每个大小为L×L的图像补丁进行PCA计算，计算公式为：

v⁽ⁱ⁾＝u_i ^Tv

其中，为图像补丁展开后的向量，为第i个主成分的特征向量，当位于图像空间中时，可以将u_i改写为一个矩阵，即k_i∈R^l×1,同理也可以将v进行改写为矩阵y∈R^l×l，因此原先的向量乘计算可以被转换为卷积计算，卷积公式为：

y⁽ⁱ⁾＝k_i*y

即在图像空间中，PCA计算过程能被转换为卷积运算；(因此后文会将PCA计算称为PCA卷积)

步骤3：将PCA卷积结果与深度神经网络卷积模型所得特征图计算结果按照通道的维度进行堆叠得到新的特征图，叠加公式为：

F＝{f⁽¹⁾,f⁽²⁾,……,f^(m)}∪{y⁽¹⁾,y⁽²⁾,……,y⁽ⁿ⁾}

其中{y⁽¹⁾,y⁽²⁾,……,y⁽ⁿ⁾}为PCA卷积结果，{f⁽¹⁾,f⁽²⁾,……,f^(m)}为深度神经网络卷积所得特征图计算结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，通过融合路面裂缝检测与识别两个过程，实现端到端的训练与检测识别，极大简化了检测识别流程；

2、本发明中，通过将PCA计算转化为卷积操作，统一了PCA与卷积神经网络的计算操作，加速了PCA计算过程。

3、本发明中，无需对数据进行数据增强处理，简化了预处理工作。

4、本发明中，卷积神经网络可以自动逐层抽象路面图像的空间结构特征，减少了人为标记的工作量，节约了人工及实践成本。

5、本发明中，对不同环境，不同光照强度和不同天气情况下拍摄的路面图像具有较好的鲁棒性；并且能快速地检测并识别出路面是否存在裂缝以及裂缝的类型，实用性较强。

附图说明

图1是本发明基于PCA的端到端路面裂缝检测方法的流程图；

图2是本发明深度神经网络模型架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于PCA的端到端路面裂缝检测识别方法,包括以下步骤：

S1：获取关于路面图像I_x的数据集，并对数据集进行预处理；

具体步骤如下：

S101：获取关于路面图像I_x的数据集；

S102：将数据集路面图像I_x裁剪为大小为M×M的子图像，并转化为灰度图。

S2：将预处理后的数据集进行类别标记,计算不含裂缝的背景图像I_b,并获取路面图像I_x与背景图像I_b之差图像I,并按比例构建训练集和测试集；

具体步骤如下：

S201：将灰度转化后大小为M×M子的图像进行类别标记，手动将不含裂缝的图像标记为0，含有混合裂缝的图像标记为1，含有横向裂缝的图像标记为2，含有纵向裂缝的图像标记为3，然后将这些标记图像作为训练集，要保证构建的训练集的每个类别的图像数量尽可能接近或者一致，避免标记图像不平衡导致深度神经网络模型训练出现不拟合的现象出现；

S202：计算不含裂缝的背景图像I_b，计算公式为：

其中，i为第i个不含裂缝的图像，n为不含裂缝的图像总数。

S3：利用训练集中的图像I训练深度神经网络模型；

所述深度神经网络模型包括六个卷积层和两个全连接层，前五个卷积层的结构均为3×3大小的卷积核，通道数分别为16、32、64、64、64，第六个卷积核大小为1×1，通道数为8。

具体步骤如下：

S301：将训练集图像I依次输入到卷积层进行线性变换；

I＝max{I_x-I_b,0}

其中，I_x为路面图像数据，I_b为背景图像；

通过该操作，输入图像I剔除了路面图像中与裂缝纹理无关的正常路面纹理的大部分信息，有助于减少与路面裂缝结构无关的干扰信息，从而提高分类精度，加速深度神经网络训练拟合。

S302：使用ReLU激活函数对每次卷积处理后的图像I进行非线性变换；

其中，n为当前操作的卷积层数，Wⁿ与bⁿ分别代表第n层卷积层的权重及偏置，aⁿ(x)为神经元激活函数Rectified Linear Unit(ReLU)函数，aⁿ(x)＝max{0,x}。

S303：使用Max Pooling层对每次非线性变换后的路面图像I进行下采样；

S304：循环执行步骤S301到S303,依次实现六个卷积层处理，得到一组特征图；

S305：将特征图与图像I进行PCA计算所得的各个成分的特征按通道的维度进行叠加得到新的特征图；

具体步骤如下：

步骤1：将预处理后大小为M×M的子图像切分成多个大小为L×L的多个图像补丁；

步骤2：对每个大小为L×L的图像补丁进行PCA计算，计算公式为：

v⁽ⁱ⁾＝u_i ^Tv

其中，为图像补丁展开后的向量，为第i个主成分的特征向量，当位于图像空间中时，可以将u_i改写为一个矩阵，即k_i∈R^l×l,同理也可以将v进行改写为矩阵y∈R^l×l，因此原先的向量乘计算可以被转换为卷积计算，卷积公式为：

y⁽ⁱ⁾＝k_i*y

即在图像空间中，PCA计算过程能被转换为卷积运算，从而使得PCA计算与深度神经网络卷积层通路保持一致的结构，有利于加速当前深度神经网络的计算过程。

步骤3：将PCA卷积结果与深度神经网络卷积模型所得特征图计算结果按照通道的维度进行堆叠得到新的特征图，叠加公式为：

F＝{f⁽¹⁾,f⁽²⁾,……,f^(m)}∪{y⁽¹⁾,y⁽²⁾,……,y⁽ⁿ⁾}

其中，m和n代表各卷积层通道数，{y⁽¹⁾,y⁽²⁾,……,y⁽ⁿ⁾}为PCA卷积结果，{f⁽¹⁾,f⁽²⁾,……,f^(m)}为深度神经网络卷积后的结果，f^(m)代表对应通道数为m的卷积结果(即为步骤S304特征图)的矩阵表示；

S306：将新的特征图展开成向量输入到两个全连接层，并通过Softmax Loss层计算网络损失L；

S307：利用网络损失L进行反向传播，更新深度神经网络参数。

S4:将测试集图像I输入到训练后的深度神经网络模型，获取图像类别概率；

具体步骤如下：

S401:将测试集图像I输入到训练后的深度神经网络模型中进行步骤S301到S306的处理得到特征图；

S402：将新的特征图展开成向量输入到两个全连接层，并通过Softmax层计算各个类别的概率；

Softmax函数计算公式如下：

z代表一个输入向量，z_i表示z的第i个分量,k表示向量总数,即对z_i进行e的z_i次方计算，然后进行归一化处理。

S5：选取最大概率对应的类别标签作为图像检测识别的结果。

通过比较输出的概率，取最大概率对应的类别标签作为图像检测识别的结果，如果标签为0，那么说明图像中未检测到路面裂缝；如果标签为1，说明图像中检测到了路面裂缝且识别出来的裂缝结果为混合型裂缝；如果标签为2，说明图像中检测到了路面裂缝且识别出来的裂缝结果为横向型裂缝；如果标签为3，说明图像中检测到了路面裂缝且识别出来的裂缝结果为纵向型裂缝。

当深度神经网络模型应用时，方法步骤与测试步骤基本相同，采集路面图像I_x,从采集的图像集中随机挑选一张不带裂缝的图像作为I_b,并将图像I＝max{I_x-I_b,0}输入到深度神经网络模型，由模型算法进行分类。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于PCA的端到端路面裂缝检测识别方法，其特征在于，包括以下步骤：

S1：获取关于路面图像I_x的数据集，并对数据集进行预处理；

S2：将预处理后的数据集进行类别标记，计算不含裂缝的背景图像I_b，并获取路面图像I_x与背景图像I_b之差图像I，并按比例构建训练集和测试集；

S3：利用训练集图像I训练深度神经网络模型；

S4：将测试集图像I输入到训练后的深度神经网络模型，获取图像类别概率；

S5：选取最大概率对应的类别标签作为图像检测识别的结果。

2.根据权利要求1所述一种基于PCA的端到端路面裂缝检测识别方法，其特征在于，所述步骤S1具体步骤如下：

S101：获取关于路面图像I_x的数据集；

S102：将数据集路面图像I_x裁剪为大小为M×M的子图像，并转化为灰度图。

3.根据权利要求1所述一种基于PCA的端到端路面裂缝检测识别方法，其特征在于，所述步骤S2具体步骤如下：

S201：将灰度转化后的子图像进行类别标记，将不含裂缝的图像标记为0，含有混合裂缝的图像标记为1，含有横向裂缝的图像标记为2，含有纵向裂缝的图像标记为3；

S202：计算不含裂缝的背景图像I_b，计算公式为：

其中，I_i为第i个不含裂缝的图像，n为不含裂缝的图像总数。

4.根据权利要求1所述一种基于PCA的端到端路面裂缝检测识别方法，其特征在于：所述深度神经网络模型包括六个卷积层和两个全连接层，前五个卷积层的结构均为3×3大小的卷积核，通道数分别为16、32、64、64、64，第六个卷积核大小为1×1，通道数为8。

5.根据权利要求4所述一种基于PCA的端到端路面裂缝检测识别方法，其特征在于，所述步骤S3具体步骤如下：

S301：将训练集图像I依次输入到卷积层进行线性变换；

S302：使用ReLU激活函数对每次卷积处理后的图像I进行非线性变换；

S303：使用Max Pooling层对每次非线性变换后的图像I进行下采样；

S304：循环执行步骤S301到S303，依次实现六个卷积层处理，得到一组特征图；

S305：将特征图与图像I进行PCA计算所得的多个主成分特征按通道的维度进行叠加操作得到新的特征图；

S306：将新的特征图展开成向量输入到两个全连接层，并通过Softmax Loss层计算网络损失L；

S307：利用网络损失L进行反向传播，更新深度神经网络参数。

6.根据权利要求5所述一种基于PCA的端到端路面裂缝检测识别方法，其特征在于，所述步骤S305具体步骤如下：

步骤1：将预处理后大小为M×M的子图像切割成多个大小为L×L的图像补丁；

步骤2：对每个大小为L×L的图像补丁进行PCA计算，计算公式为：

v⁽ⁱ⁾＝u_i ^Tv

其中，为图像补丁展开后的向量，为第i个主成分的特征向量，当位于图像空间中时，可以将u_i改写为一个矩阵，即k_i∈R^l×l，同理也可以将v进行改写为矩阵y∈R^{l ×l}，因此原先的向量乘计算可以被转换为卷积计算，卷积公式为：

y⁽ⁱ⁾＝k_i*y

即在图像空间中，PCA计算过程能被转换为卷积运算；

步骤3：将PCA卷积结果与深度神经网络卷积模型所得特征图计算结果按照通道的维度进行堆叠得到新的特征图，叠加公式为：

F＝{f⁽¹⁾，f⁽²⁾，……，f^(m)}∪{y⁽¹⁾，y⁽²⁾，……，y⁽ⁿ⁾}

其中{y⁽¹⁾，y⁽²⁾，……，y⁽ⁿ⁾}为PCA卷积结果，{f⁽¹⁾，f(²⁾，……，f^(m)}为深度神经网络卷积所得特征图计算结果。