CN106548182A - 基于深度学习和主成因分析的路面裂纹检测方法及装置 - Google Patents

Abstract

本发明提供一种基于深度学习和主成因分析的路面裂纹检测方法，采集路面图像；将路面图像进行灰度化处理；再将每个路面图像裁剪为W×V个大小为K×K像素的子图像；人工挑选包含裂纹的子图像和不包含裂纹的子图像，分别作为正样本和负样本，共同作为训练卷积神经网络的训练集；建立卷积神经网络，用训练集训练这个卷积神经网络，利用训练好的卷积神经网络对经过预处理的待分析路面图像进行检测，自动提取包含裂纹的子图像；裂纹类型分析：通过对裂纹子图像的分布进行PCA计算，求得特征值和特征向量，判断裂纹种类。本发明利用卷积神经网络，对路面图像进行自动提取裂纹，实现道路裂纹检测和裂纹种类判断，为后续检测道路裂纹类型提供判断依据。

Description

基于深度学习和主成因分析的路面裂纹检测方法及装置

技术领域

本发明涉及模式识别领域，具体涉及一种基于深度学习和主成因分析的路面裂纹检测方法及装置。

背景技术

近年来，随着公路特别是高速公路的建设不断加快，道路维护尤其是道路裂纹病害的问题也日益严峻，其中，道路裂纹主要分为横向裂纹、纵向裂纹和网状裂纹，三种裂纹的形成机理不同，因此需要用不同的方法进行修复，通过检测裂纹的类型，能够提供有针对性的修复意见，同时为路面进一步的维护提供参考。目前，人工检测是道路裂纹检测的主流手段，不仅耗时长，效率低而且受检测者的主观感受影响，容易导致误检和漏检。随着计算机视觉技术的发展，通过深度学习进行图像识别已广泛的应用到计算机视觉中，相比于传统图像识别技术，利用深度学习识别图像，该方法具有识别率高，鲁棒性强。利用深度学习检测道路裂纹，该方法适用于复杂路面的裂纹识别，检测出的裂纹具有较高的可信度。

目前，在道路裂纹检测方面以有了一些成果，例如已申请的专利CN102912714A，申请日2013年2月6日，专利名为“一种用于路面裂纹图像采集与处理的机器视觉系统”，公开了一种利用图像增强，阈值分割和图像特征匹配的道路裂纹检测预方法。已申请的专利CN104392224A，申请日2014年12月4日，专利名为“一种公路路面裂纹检测方法”，公开了一种利用梯度直方图和支持向量机进行道路裂纹识别的方法。

发明内容

本发明要解决的技术问题是：提供一种基于深度学习和主成因分析的路面裂纹检测方法及装置，为后续检测道路裂纹类型提供判断依据。

本发明为解决上述技术问题所采取的技术方案为：一种基于深度学习和主成因分析的路面裂纹检测方法，其特征在于：它包括以下步骤：

S1、采集路面图像；

S2、对路面图像进行预处理：

将路面图像进行灰度化处理；再将每个路面图像裁剪为W×V个大小为K×K像素的子图像；

S3、建立训练集：

人工挑选包含裂纹的子图像和不包含裂纹的子图像，分别作为正样本和负样本，共同作为训练卷积神经网络的训练集；

S4、训练卷积神经网络和检测裂纹：

建立一个多层结构的卷积神经网络，并用训练集训练这个卷积神经网络，利用训练好的卷积神经网络对经过预处理的待分析路面图像进行检测，自动提取包含裂纹的子图像；

S5、裂纹类型分析：

通过对裂纹子图像的分布进行PCA计算，求得特征值和特征向量，判断裂纹种类。

按上述方法，S4中的卷积神经网络为6层，其中前4层依次为卷积层C1、池化层S1、卷积层C2和池化层S2,后2层为全连接层，其中C1为16个5×5的卷积核，S1为3×3的区域的最大池化，C2为16个5×5的卷积核，S2为4×4的区域最大池化，最后两层为全连接层；

输入为标记好的裁剪后的子图像，通过随机下降法对卷积神经网络的参数进行调整，从而完成卷积神经网络的训练。

按上述方法，S4中利用训练好的卷积神经网络检测待分析路面图像裁剪后的子图像中的裂纹，分别得到属于裂纹和不属于裂纹的概率，比较两个概率的大小，进而判断子图像中是否包含裂纹，1表示包含裂纹，0表示不包含裂纹，最后输出M×N的二值矩阵。

按上述方法，S5的具体步骤如下：

5.1、建立裂纹子图像坐标：

以待分析路面图像的左下角为原点，水平向右为x方向，垂直向上为y轴方向，建立二维笛卡尔坐标系，以裁剪后的子图像的长度为单位长度，图像方块的中点为子图像的坐标；

根据S4得到的M×N的二值矩阵，记录包含裂纹的子图像的坐标，得到一个M×2的坐标矩阵；

5.2、特征去中心化：

求M×2的坐标矩阵A的每一列的平均值X₁和X₂，坐标矩阵的元素减去对应列的平均值，得到新的矩阵B，其大小为M×2；

B＝[X Y]

其中，X、Y均为M×1的向量；

5.3、协方差矩阵：

求B的协方差矩阵P，其中

5.4、网状裂纹的判定：

提取矩阵B的特征值σ₁和σ₂以及对应的特征向量ν₁和ν₂，比较两个特征值的大小，通过求最大特征值σ_max和最小特征值σ_min的商α

判断裂纹是否属于网状裂纹；若α<80，则裂纹属于非线性裂纹即网状裂纹；若α>80，则裂纹属于线性裂纹；

5.5、横向裂纹和纵向裂纹的判定：

提取最大特征值σ_max对应的特征向量ν，其为[w₁ w₂],该特征向量ν为主方向，根据该特征向量ν求得线性裂纹的方向角度θ

当0°≤θ≤45°，则该裂纹为横向裂纹，当45°≤θ≤90°，则该裂纹为纵向裂纹。

一种基于深度学习和主成因分析的路面裂纹检测装置，其特征在于：它包括机械结构和硬件结构；其中

硬件结构包括图像采集单元、数据传输单元、数据处理单元、以及供电单元，图像采集单元采集的路面图像通过数据传输单元传输至数据处理单元，数据处理单元采用所述的基于深度学习和主成因分析的路面裂纹检测方法进行裂纹检测；供电单元为数据采集单元和数据处理单元供电；

机械结构包括用于在路面上移动的移动平台，数据处理单元和供电模块放置在移动平台中；所述的图像采集单元通过刚性固定机构与移动平台固定连接。

按上述装置，所述的图像采集单元为CMOS图像传感器。

本发明的有益效果为：本发明利用卷积神经网络，能够对路面图像进行自动提取裂纹，并且实现道路裂纹检测和裂纹种类判断，为后续检测道路裂纹类型提供判断依据。

附图说明

图1为本发明一实施例的装置结构示意图。

图2为本发明一实施例的方法流程图。

图3为本发明一实施例的数据采集方式结构图。

图4为本发明一实施例采集的路面图像。

图5为本发明一实施例的实际效果处理图。

图6为裂纹图像坐标系。

图中：1.图像采集单元；2.数据传输模块；3.刚性固定机构；4.数据处理单元；5.供电模块；6.移动平台；7.信号转换模块，8.导线，9.路面。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本发明提供一种基于深度学习和主成因分析的路面裂纹检测方法，如图2所示，它包括以下步骤：

S1、采集路面图像。

S2、对路面图像进行预处理：

将路面图像进行灰度化处理；再将每个路面图像裁剪为W×V个大小为K×K像素的子图像。

S3、建立训练集：

人工挑选包含裂纹的子图像和不包含裂纹的子图像，分别作为正样本和负样本，共同作为训练卷积神经网络的训练集。

S4、训练卷积神经网络和检测裂纹：

建立一个多层结构的卷积神经网络，并用训练集训练这个卷积神经网络，利用训练好的卷积神经网络对经过预处理的待分析路面图像进行检测，自动提取包含裂纹的子图像。

以6层的卷积神经网络为例，前4层依次为卷积层C1、池化层S1、卷积层C2和池化层S2,后2层为全连接层，其中C1为16个5×5的卷积核，S1为3×3的区域的最大池化，C2为16个5×5的卷积核，S2为4×4的区域最大池化，最后两层为全连接层；

输入为标记好的裁剪后的子图像，通过随机下降法对卷积神经网络的参数进行调整，从而完成卷积神经网络的训练。

利用训练好的卷积神经网络检测待分析路面图像裁剪后的子图像中的裂纹，分别得到属于裂纹和不属于裂纹的概率，比较两个概率的大小，进而判断子图像中是否包含裂纹，1表示包含裂纹，0表示不包含裂纹，最后输出M×N的二值矩阵。

S5、裂纹类型分析：

通过对裂纹子图像的分布进行PCA计算，求得特征值和特征向量，判断裂纹种类。

S5的具体步骤如下：

5.1、建立裂纹子图像坐标：

以待分析路面图像的左下角为原点，水平向右为x方向，垂直向上为y轴方向，建立二维笛卡尔坐标系，以裁剪后的子图像的长度为单位长度，图像方块的中点为方块的坐标；

根据S4得到的M×N的二值矩阵，记录包含裂纹的子图像的坐标，得到一个M×2的坐标矩阵A；

5.2、特征去中心化：

求M×2的坐标矩阵A的每一列的平均值X₁和X₂，坐标矩阵的元素减去对应列的平均值，得到新的矩阵B，其大小为M×2；

B＝[X Y]

其中，X、Y均为M×1的向量；

5.3、协方差矩阵：

求B的协方差矩阵P，其中

5.4、网状裂纹的判定：

提取矩阵B的特征值σ₁和σ₂以及对应的特征向量ν₁和ν₂，比较两个特征值的大小，通过求最大特征值σ_max和最小特征值σ_min的商α

判断裂纹是否属于网状裂纹；若α<80，则裂纹属于非线性裂纹即网状裂纹；若α>80，则裂纹属于线性裂纹；

5.5、横向裂纹和纵向裂纹的判定：

提取最大特征值σ_max对应的特征向量ν，其为[w₁ w₂],该特征向量ν为主方向，根据该特征向量ν求得线性裂纹的方向角度θ

当0°≤θ≤45°，则该裂纹为横向裂纹，当45°≤θ≤90°，则该裂纹为纵向裂纹。

一种基于深度学习和主成因分析的路面裂纹检测装置，如图1所示，它包括机械结构和硬件结构；其中硬件结构包括图像采集单元1、数据传输单元、数据处理单元4、以及供电单元5，图像采集单元1采集的路面图像通过数据传输单元传输至数据处理单元4，数据处理单元4采用所述的基于深度学习和主成因分析的路面裂纹检测方法进行裂纹检测；供电单元5为数据采集单元1和数据处理单元4供电；机械结构包括用于在路面9上移动的移动平台6，数据处理单元4和供电模块5放置在移动平台6中；所述的图像采集单元1通过刚性固定机构3与移动平台6固定连接。

本实施例中，所述的图像采集单元1为CMOS图像传感器，分辨率为3264×2448，焦距为29mm，光圈为f2.0。数据传输单元由数据传输模块2和信号转换模块7组成，其传输速度为47.8M/s，通过lighting接口和USB接口分别与图像采集单元1和数据处理单元4连接；数据传输模块2实现信号在图像采集单元1和数据处理单元4传输。信号转换模块7实现lighting接口信号与USB接口信号转换。

数据处理单元4为一台下位机，其CPU主频为2.2GHz，内存为4GB，还可以包括显示单元，该下位机用于根据移动平台6的移动速度，控制CMOS图像传感器以一定的频率采集路面图像，并对CMOS图像传感器采集的路面图像进行处理，从而得到最终结果并显示最终结果。

所述的供电单元5由蓄电池和逆变器组成。蓄电池提供12V直流电，通过逆变器将12V直流电转换为220V交流电，并通过导线8进行电力传输，为整套设备提供电力支持。

移动平台6以固定速度沿路面9前进，刚性固定机构3保证图像采集单元1与移动平台6相对静止。

实施例：

1.数据采集

图像采集单元1的主要部件CMOS图像传感器与地面平行，其与地面的距离保持一定距离(1.2m-1.5m),通过刚性固定机构3固定于移动平台6上，使CMOS图像传感器不与移动平台6发生相对位移，由移动平台6搭载所有设备沿道路方向以一定速度前进，如图3所示，根据前进速度，由数据处理单元4控制CMOS图像传感器的图像采集频率，从而使路面信息被充分采集。其中CMOS图像传感器的分辨率为3264×2448，焦距为29mm，光圈为f2.0，采集的路面图像如图4(a)、(b)、(c)所示。

2.数据传输

CMOS图像传感器和下位机之间的数据传输是通过数据传输模块2和信号转换模块7实现，其具体为：采集的数据通过CMOS图像传感器的Lighting接口传出数据，通过信号转换模块7实现数据在lighting接口与USB接口转换，之后通过USB接口将数据传入下位机，实现数据接收。下位机发送控制数据的传输过程与接收数据的接受过程相反，由下位机将数据通过USB接口传输，再通过信号转换模块处理后，通过Lighting接口传送给CMOS图像传感器，实现控制命令传送。其中Lighting接口、USB接口、信号转换模块、CMOS图像传感器和下位机之间通过数据传输模块2相连接，实现数据传输。

3.图像预处理

将所有通过CMOS图像传感器采集得到的3264×2448图片进行图像预处理，其具体为：首先将图片大小调整至960×768，并进行灰度化处理，将一张图片裁剪成W×V个K×K像素的子图像，用同样方法处理所有图片，实现图像预处理。

4.训练集的建立

在所有图片中人工挑选出若干张包含裂纹的图片，经过图像预处理后，用人工挑选的方法在这些图片中挑选Q个(N>30000)大小为K×K的包含裂纹的子图像和Q个大小为K×K的不包含裂纹的子图像,并对每个子图像进行标记，将包含裂纹的图像标记为正样本，不包含裂纹的图像标记为负样本，用1表示正样品，0为负样品，在本实施例中Q＝50000，K＝64。

5.训练卷积神经网络和检测裂纹

本次以6层卷积神经网络为例，通过建立一个6层神经网络，前四层分别为卷积层C1，池化层S1,卷积层C2，池化层S2,后两层为全连接层，卷积神经网络的具体结构为：C1为16个5×5的卷积核，S1为3×3的区域的最大池化，C2为16个5×5的卷积核，S2为4×4的区域最大池化，最后两层为全连接层。训练卷积神经网络的输入是标记好的裁剪子图像，通过随机下降法对卷积神经网络的参数进行调整，从而完成卷积神经网络的训练。通过训练好的卷积神经网络检测道路图片，具体为：输入一张经过图像预处理后的图片，利用训练好的卷积神经网络检测图片中子图像中裂纹，分别得到属于裂纹和不属于裂纹的概率，比较两个概率的大小，进而判断块中是否包含裂纹，1表示包含裂纹，0表示不包含裂纹，最后输出为M×N的二值矩阵。

如图5所示，(1)、(4)、(7)为待分析路面图像，经卷积神经网络检测出裂纹后的图像对应为(2)、(5)、(8)，最后比较判断之后得到的图像为(3)、(6)、(9)。

6.裂纹类型分析

通过卷积神经网络检测后得到M×N的二值矩阵，利用PCA对该矩阵进行分析，进而得到道路裂纹的类型。其具体步骤如下：

(1)建立裂纹子图像坐标

以待分析路面图像的左下角为原点，水平向右为x方向，垂直向上为y轴方向，建立二维笛卡尔坐标系，以裁剪后的子图像的长度为单位长度，子图像的中点为子图像的坐标，如图6所示，方块1的坐标为(1.5,0.5)，记录包含裂纹子图像的坐标，得到一个M×2的坐标矩阵A。

(2)特征去中心化

求M×2坐标矩阵A的每一列的平均值X₁和X₂，坐标矩阵的元素减去对应列的平均值，得到新的矩阵B，其大小为M×2。

B＝[X Y]

其中，X，Y为M×1的向量。

(3)协方差矩阵

求B协方差矩阵P，其中

(4)网状裂纹的判定

提取矩阵B的特征值σ₁和σ₂以及对应的特征向量ν₁和ν₂，比较两个特征值的大小，通过求最大特征值σ_max和最小特征值σ_min的商α

判断裂纹是否属于网状裂纹。若α<80，则裂纹属于非线性裂纹即网状裂纹，若α>80，则裂纹属于线性裂纹，在下一步进一步判断该裂纹是横向裂纹还是纵向裂纹。

(5)横向裂纹和纵向裂纹的判定

提取最大特征值σ_max对应的特征向量ν，其为[w₁ w₂],该特征向量为主方向，根据该特征向量求得线性裂纹的方向角度θ

当0°≤θ≤45°，则该裂纹为横向裂纹，当45°≤θ≤90°，则该裂纹为纵向裂纹。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习和主成因分析的路面裂纹检测方法，其特征在于：它包括以下步骤：

S1、采集路面图像；

S2、对路面图像进行预处理：

将路面图像进行灰度化处理；再将每个路面图像裁剪为W×V个大小为K×K像素的子图像；

S3、建立训练集：

人工挑选包含裂纹的子图像和不包含裂纹的子图像，分别作为正样本和负样本，共同作为训练卷积神经网络的训练集；

S4、训练卷积神经网络和检测裂纹：

建立一个多层结构的卷积神经网络，并用训练集训练这个卷积神经网络，利用训练好的卷积神经网络对经过预处理的待分析路面图像进行检测，自动提取包含裂纹的子图像；

S5、裂纹类型分析：

通过对裂纹子图像的分布进行PCA计算，求得特征值和特征向量，判断裂纹种类。

2.根据权利要求1所述的基于深度学习和主成因分析的路面裂纹检测方法，其特征在于：S4中的卷积神经网络为6层，其中前4层依次为卷积层C1、池化层S1、卷积层C2和池化层S2,后2层为全连接层，其中C1为16个5×5的卷积核，S1为3×3的区域的最大池化，C2为16个5×5的卷积核，S2为4×4的区域最大池化，最后两层为全连接层；

输入为标记好的裁剪后的子图像，通过随机下降法对卷积神经网络的参数进行调整，从而完成卷积神经网络的训练。

3.根据权利要求1或2所述的基于深度学习和主成因分析的路面裂纹检测方法，其特征在于：S4中利用训练好的卷积神经网络检测待分析路面图像裁剪后的子图像中的裂纹，分别得到属于裂纹和不属于裂纹的概率，比较两个概率的大小，进而判断子图像中是否包含裂纹，1表示包含裂纹，0表示不包含裂纹，最后输出M×N的二值矩阵。

4.根据权利要求3所述的基于深度学习和主成因分析的路面裂纹检测方法，其特征在于：S5的具体步骤如下：

5.1、建立裂纹子图像坐标：

以待分析路面图像的左下角为原点，水平向右为x方向，垂直向上为y轴方向，建立二维笛卡尔坐标系，以裁剪后的子图像的长度为单位长度，图像方块的中点为子图像的坐标；

根据S4得到的M×N的二值矩阵，记录包含裂纹的子图像的坐标，得到一个M×2的坐标矩阵A；

5.2、特征去中心化：

求M×2的坐标矩阵A的每一列的平均值X₁和X₂，坐标矩阵的元素减去对应列的平均值，得到新的矩阵B，其大小为M×2；

B＝[X Y]

其中，X、Y均为M×1的向量；

5.3、协方差矩阵：

求B的协方差矩阵P，其中

$P=\left[\begin{array}{cc}\mathrm{cov}(X,X)& \mathrm{cov}(X,Y)\\ \mathrm{cov}(Y,X)& \mathrm{cov}(Y,Y)\end{array}\right]$

5.4、网状裂纹的判定：

提取矩阵B的特征值σ₁和σ₂以及对应的特征向量ν₁和ν₂，比较两个特征值的大小，通过求最大特征值σ_max和最小特征值σ_min的商α；

$\mathrm{\&alpha;}=\frac{{\mathrm{\&sigma;}}_{max}}{{\mathrm{\&sigma;}}_{min}}$

判断裂纹是否属于网状裂纹；若α<80，则裂纹属于非线性裂纹即网状裂纹；若α>80，则裂纹属于线性裂纹；

5.5、横向裂纹和纵向裂纹的判定：

提取最大特征值σ_max对应的特征向量ν，其为[w₁w₂],该特征向量ν为主方向，根据该特征向量ν求得线性裂纹的方向角度θ

$\mathrm{\&theta;}=arctan\frac{\left|w_2\right|}{\left|w_1\right|}$

当0°≤θ≤45°，则该裂纹为横向裂纹，当45°≤θ≤90°，则该裂纹为纵向裂纹。

5.一种基于深度学习和主成因分析的路面裂纹检测装置，其特征在于：它包括机械结构和硬件结构；其中

硬件结构包括图像采集单元、数据传输单元、数据处理单元、以及供电单元，图像采集单元采集的路面图像通过数据传输单元传输至数据处理单元，数据处理单元采用权利要求1至4中任意一项所述的基于深度学习和主成因分析的路面裂纹检测方法进行裂纹检测；供电单元为数据采集单元和数据处理单元供电；

机械结构包括用于在路面上移动的移动平台，数据处理单元和供电模块放置在移动平台中；所述的图像采集单元通过刚性固定机构与移动平台固定连接。

6.根据权利要求5所述的基于深度学习和主成因分析的路面裂纹检测装置，其特征在于：所述的图像采集单元为CMOS图像传感器。