CN107506787B - 一种基于迁移自学习的混凝土桥梁裂缝分类方法 - Google Patents

Abstract

本发明公开了一种基于迁移自学习的混凝土桥梁裂缝分类方法，包括步骤：采集混凝土桥梁的图片作为测试集，对测试集进行预处理并标注；下载Caltech101数据集作为训练集，提取训练集的尺度不变特征，然后用稀疏编码进行表示，获得特征字典；选取测试集中的任一幅图片，提取图片的尺度不变特征，然后用特征字典进行表示，并用图像金字塔进行处理，最后训练分类器；随机选取采集的一幅混凝土桥梁图片，输入到训练的分类器中，将分类结果的类别对照人工标注分类的图片，即可得知随机选取的混凝土桥梁图片的裂缝类型。本发明的方法不需要大量的样本，也不需要人工去大量标记图片，且该方法的鲁棒性很强，并有一定的泛化能力和较快的收敛速度。

Description

一种基于迁移自学习的混凝土桥梁裂缝分类方法

技术领域

本发明属于桥梁裂缝分类技术领域，具体涉及一种基于迁移自学习的混凝土桥梁裂缝分类方法。

背景技术

随着经济的发展，桥梁在交通中的角色越来越重要，但是裂缝的存在对人民的生命财产安全构成了严重的威胁。通常来说，桥梁的检测和维护靠的是人工现场监测的方法，是一种高消费和高风险的工作。更重要的是，在我国，这种方法是不定期的，有些桥梁甚至长期得不到维护，发生了悲惨的事故，这些事故为我们敲响了警钟。近年来，人们对桥梁裂缝进行了一定的研究。

2013年，王小明、冯鑫和党建武利用多尺度金字塔变换对图像进行分解，再将每个尺度进行阈值处理，最后用分水岭算法进行分割。魏武、王俊杰和蔡钊雄利用小波和Radon变换进行了桥梁裂缝检测。 2014年，张开洪、罗林和颜禹对计算机视觉技术在桥梁裂缝检测与测量方面的应用。2016年，刘洪公、王学军、李冰莹和孟洁结合机器视觉和卷积神经网络，提出了一种新的智能裂缝检测方案。王艳、沈晓宇和丁文胜等应用脉冲耦合神经网络和遗传算法对裂缝进行了检测。国外研究现状如下：2013年，Henrique Oliveira和PauloLobato Correia提出了人行道表面裂缝自动检测和分类系统，该系统可以确定路面存不存在裂缝以及存在哪种类型的裂缝。2014年，Ronny Salim Lim,Hung Manh La和WeihuaSheng用装载照相机的移动机器人采集图片，然后提取拉普拉斯高斯特征来检测裂缝，最终将所有裂缝图片拼接成裂缝密度地图。2015年，Haiyan Guan,Jonathan Li,Yongtao Yu,Michael Chapman和Cheng Wang研究了路面特征，并创造了 GRE特征来检测路面裂缝。2016年，Prateek Prasanna,Kristin J.Dana, Nenad Gucunski,Basily B.Basily,Hung M.La,Ronny Salim Lim和 Hooman Parvardeh提出了一种新的裂缝探测方法STRUM来检测裂缝。

通过以上研究，我们可以看出，裂缝是存在很多种类的，包括横向的、纵向的、左倾斜的、右倾斜的和网状的等。同时，桥梁的路状况面也是不容乐观的，存在一些噪声，例如水渍、油渍、斑马线和树叶等障碍物。因为这些噪声的干扰，传统的数字图像处理方法很难确定阈值和参数，进而将裂缝区分出来，更不用说将多种裂缝进行分类了。一些仿生物学方法也被用来进行裂缝分割，但是效果不是特别理想，例如蚁群算法利用最小路径来进行裂缝分割，分割得到的图像不仅没有宽度信息，而且算法的复杂度太高了；脉冲耦合神经网络进行裂缝分割时，有三个参数需要认为设定，参数的选择直接影响图像的分割效果。又因为桥梁裂缝的深度不大，现有的计算机视觉或者机器视觉方法的精度通常不够，对于同一条裂缝，双目相机和单目相机的处理结果相差不大。然而，国外的某些裂缝探测系统解决了传统的数字图像处理和计算机视觉面临的问题，但是时间复杂度太高了，通常测试复杂度在O(n³)和O(n⁴)之间，训练复杂度为O(n)，而且通常需要大量标记的桥梁图片。并且现有的所有方法研究的都是裂缝识别问题，很少对桥梁裂缝的多分类问题进行研究。鉴于此，我们提出了一种测试复杂度为O(n)，训练复杂度为常数的一种快速分类方法。

发明内容

为了解决现有技术中存在的传统的数字图像处理方法很难对桥梁的多种裂缝进行分类，国外的某些裂缝探测系统时间复杂度太高，以及现有的所有方法研究的都是裂缝识别问题，缺少桥梁裂缝的快速多分类检测方法的问题，本发明提供了一种基于迁移自学习的混凝土桥梁裂缝分类方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于迁移自学习的混凝土桥梁裂缝分类方法，包括以下步骤：

S1、采集混凝土桥梁的图片作为测试集，对测试集图片进行处理，处理的过程具体为：先对图片均值标准化，再进行基于主成分分析和白化的数据集降维处理，然后再对降维处理后的图片进行人工标注分类；

S2、从网络上下载Caltech101数据集作为训练集，提取训练集的尺度不变特征，然后用稀疏编码进行表示，获得特征字典；

S3、选取步骤S1中标注过的任一幅图片，提取所述图片的尺度不变特征，然后用稀疏编码进行表示，即用特征字典来表示测试集，得到稀疏系数特征集；然后用最大空间金字塔统计稀疏系数特征集，将得到的统计特征输入到线性多分类支持向量机分类器中，分类器训练完成；

S4、随机选取采集的一幅混凝土桥梁图片，输入到步骤S3中训练完成的分类器中，得到桥梁图片的分类结果，将分类结果的类别对照S1中人工标注分类的图片，即可得知随机选取的混凝土桥梁图片的裂缝类型。

进一步地，步骤S1中图片均值标准化采用公式(1)，使均值全部为0；

x_norm＝x-u (1)

其中，x代表桥梁图片，M和N分别表示图片的行数和列数，x_norm是均值标准化最终的结果。

进一步地，步骤S1中基于主成分分析和白化的数据集降维处理的具体过程为：

假设桥梁图片为x＝{x₁,x₂,...,x_m}，其中，x_i(1≤i≤m)是一个P×P的图像块，这样n等于P×P；主成分分析的目标是将 x_i(1≤i≤m)的维数从n维降到k维；将∑定义如下，

采用公式(1)对x_i(1≤i≤m)进行均值标准化；然后计算∑的特征向量，如式(3)所示，所有特征向量组成了特征向量矩阵U，u₁是主向量，u₂是次向量，以此类推，λ₁,λ₂,...,λ_n是各自对应的特征值；

U＝[u₁ u₂ … u_n]

(3)

由于进行均值标准化后，x_i(1≤i≤m)的均值为0，所以∑是 x_i(1≤i≤m)的协方差矩阵；通过判断协方差矩阵是否是一个对角矩阵，来判断求得的Σ的特征值的正确性，进而判断特征向量的正确性；然后将x_i(1≤i≤m)投影到每个特征向量u_i(1≤i≤n)上；如式(4)所示，是x_i在u₁特征向量方向上的投影；

随着i的增大，特征向量u_i(k＜i≤n)就全部变为0；自然地， x投影到所有特征向量u_i(1≤i≤n)方向上的结果见式(5)；

至此，已经将的维数从n降到k，接下来，需要用重建x；鉴于U是正交矩阵，U^TU＝UU^T＝I，其中I是单位矩阵，所以x的重建如下：

其中，k的取规则定义如下，

为了进一步减少图片的冗余信息，采用公式(8)对主成分分析后的图片进行白化，

经过白化处理后，每一个图像块x_i(1≤i≤m)的方差是严格相等的；但是，特征值很可能无限制接近0或者等于0，这样会造成溢出错误，所以将式(8)改进为式(9)，改进后的白化称为软白化；

进一步地，步骤S1中测试集中混凝土桥梁的图片包括结构性裂缝图片、非结构性裂缝图片和无裂缝图片，其中结构性裂缝图片又包括横向裂缝图片、纵向裂缝图片、左斜裂缝图片、右斜裂缝图片和网状裂缝图片；非结构性裂缝图片包括碎片化裂缝图片。

进一步地，所述稀疏编码均指改进后的稀疏编码，改进的具体方法为：

对一副图像的所有图像向量存在一组稀疏向量使得式(10)成立，其中φ(·)是稀疏函数，定义如式(11)，σ，β和c是常数；

其中，

为了使式(10)更符合实际情况，将式(10)改进为式(12)，其中ρ表示实际的稀疏系数中非零系数的个数，表示期望的稀疏系数中非零系数的个数；

显然，目标函数不是凸函数，不能使用基于梯度下降的方法来解决，这也使得收敛速度变慢；为了加速收敛，将式(12)改进为式(13)，其中α和β是常数，可以看出目标函数更加严格了，重建错误更加小了，这样可以得到更好的实验效果；

进一步地，步骤S3中用最大空间金字塔统计稀疏系数特征集采用公式(14)，

z_j＝max{|s_1j|,|s_2j|,...,|s_Mj|}

(14)

其中，S是稀疏系数矩阵，Z是空间金字塔池化过程。

进一步地，所述线性多分类支持向量机分类器是在传统的非线性支持向量机分类器基础上改进的多分类器，改进的过程如下：

给定训练集y∈{0,1,2,3,4,5}，传统的非线性支持向量机分类器目标函数如式(15)所示，

为了实现两两分类，就要求得L个线性函数使得其值最大；由于目标函数很难直接求解，将其转换为式(16)；其中，如果yi＝c，否则并且是一个损失函数；

显然，这不是一个非限制性凸优化问题，不能使用梯度下降及其相关算法求解；因此，选择式(17)作为损失函数，

这样目标函数就变成了凸优化问题，能够实现多分类。

与现有技术相比，本发明的有益效果：

首先，它不需要大量的样本；其次，它不需要人工去大量标记图片；再次，该方法的鲁棒性很强，并有一定的泛化能力；最后，该方法的收敛速度也是比较快的；更重要的是，该方法可以简单地进行桥梁状况评价和预测。大量实验表明，本发明的基于迁移自学习的混凝土桥梁裂缝分类方法确实加速了收敛并且有更好的分类效果，有非常好的应用前景。

附图说明

图1是本发明的分类方法分类过程示意图。

图2是灰度直方图分析图。

图3是金字塔池化示意图。

图4是采集的部分桥梁图片。

图5是采集的桥梁图片具有代表性的灰度直方图。

图6是测试集中选取的一个测试图像的测试块。

图7是协方差矩阵。

图8是主成分分析和白化处理结果图。

图9是特征字典的可视化图。

图10是不同种类数的桥梁图片的分类准确率示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

为了解决现有技术中存在的传统的数字图像处理方法很难对桥梁的多种裂缝进行分类，国外的某些裂缝探测系统时间复杂度太高，以及现有的所有方法研究的都是裂缝识别问题，缺少桥梁裂缝的快速多分类检测方法的问题，本发明提供了一种基于迁移自学习的混凝土桥梁裂缝分类方法，首先，从训练集中提取尺度不变特征，这些特征组成了初始特征集；然后，用稀疏编码来表示这些高维的初始特征集，进而求得特征字典；其次，考虑到测试集的高分辨率和高冗余特征，我们使用改进的主成分分析和白化来进行降维，这种处理也加速了无监督特征学习；最后，用特征字典来表示测试集，得到稀疏系数特征集，然后用最大空间金字塔统计稀疏系数特征集，得到的统计特征作为输入，输入到线性多分类支持向量机中，最后得到桥梁图片的分类结果。分类过程如图1所示。

本发明的基于迁移自学习的混凝土桥梁裂缝分类方法，具体包括以下步骤：

S1、采集混凝土桥梁的图片作为测试集，对测试集图片进行处理，处理的过程具体为：先对图片均值标准化，再进行基于主成分分析和白化的数据集降维处理，然后再对降维处理后的图片进行人工标注分类。

S11、数据集介绍

假设，未标记的训练样本是样本大小为m_u，标记的测试样本为y∈{0,1,2,3,4,5}，样本大小为m_l，其中，表示从网上下载的Caltech 101数据集，表示从周围桥梁上收集的桥梁图片(桥梁图片可以含有裂缝，也可以不含裂缝)。人工标注y＝0表示不存在裂缝的桥梁图片，称为背景，y＝1表示横向裂缝，y＝2表示纵向裂缝，y＝3表示左斜裂缝，y＝4表示右斜裂缝，y＝5表示网状裂缝，y＝6表示碎片化裂缝。

S12、对测试集图片进行均值标准化

使用相机收集周围桥梁图片作为训练集时需要注意，相机尽可能和桥梁路面平行，并且不添加人工光照，拍摄的地点最好不存在阴影或者阴影尽可能少。然后，对图像进行分析，图像的灰度直方如图2 所示，上边一行表示存在裂缝的桥梁图片的灰度直方图，下边一行表示背景的灰度直方图。从图中可以看出，桥梁图片不管存不存在裂缝都大致服从高斯分布，这样一来，桥梁图片就可以进行均值标准化，因为图像大致服从高斯分布是可以进行均值标准化的前提条件。

接下来，根据公式(1)进行均值标准化，使均值全部为0，其中x 代表桥梁图片，M和N分别表示图片的行数和列数，x_norm是均值标准化最终的结果。

x_norm＝x-u

(1)

S13、对测试集图片进行改进的主成分分析和白化来降维

随着相机制作工艺的发展，收集的桥梁图片的分辨率是很高的，但是本发明的分类方法并不需要这些多余的信息，该方法只需要获取显著性特征，一些细节性的信息会加重运算负担。为解决此问题，引入主成分分析方法，主成分分析可以通过降低测试集的维数来加速无监督特征学习，是一种重要的无监督学习的预处理步骤。主成分分析之所以可以降低测试集的维数是因为一副图片中相邻像素具有很强的相关性。

假设原始图片为x＝{x₁,x₂,...,x_m}，其中，x_i(1≤i≤m)是一个P×P的图像块，这样n等于P×P。主成分分析的目标是将 x_i(1≤i≤m)的维数从n维降到k维。∑的定义如下，

为了便于后续工作，x_i(1≤i≤m)最好有相同的均值和方差，所以必须进行均值和方差的标准化。因为，拍摄桥梁图片时没有添加人工光照等人为因素，这种类型的图片就称为自然图像，而自然图像的每个图像块的统计特征和其他图像块的是相似的，所以同一个图像的每个图像块的方差近似相等。这样，x_i(1≤i≤m)就只需要进行均值标准化，详细操作，见式(1)。

接下来，计算∑的特征向量。如式(3)所示，所有特征向量组成了特征向量矩阵U，u1是主向量(对应最大的特征值)，u2是次向量，以此类推，λ₁,λ₂,...,λ_n是各自对应的特征值。实际上，如果将每一个特征乘以一个正实数，则求得的特征向量不变。这样的话，即使拍摄图片的时候，天气状况不好，得到的图片的灰度值很低，主成分分析处理的结果仍旧不变，这就保证了该方法对光照保持不敏感。

U＝[u₁ u₂ … u_n]

(3)

特别说明，当一个问题需要多个步骤才能解决时，最好对每一个步骤进行验证以确保每个步骤都是正确的，进而不耽误后续步骤。因为进行均值标准化后，x_i(1≤i≤m)的均值为0，所以∑是x_i(1≤i≤m)的协方差矩阵。如果协方差矩阵是一个对角矩阵，则求得的Σ的特征值就是正确的，相应地，特征向量也是正确的。

然后，需要将x_i(1≤i≤m)投影到每个特征向量u_i(1≤i≤n)上。如式 (4)所示，是x_i在u₁特征向量方向上的投影。

到一定程度，特征向量u_i(k＜i≤n)就全部变为0。自然地，x投影到所有特征向量u_i(1≤i≤n)方向上的结果见式(5)。

迄今为止，已经将的维数从n降到k，接下来，需要用重建x。鉴于U是正交矩阵，U^TU＝UU^T＝I，其中I是单位矩阵，所以x的重建如下：

当然，k的选取十分关键，如果过大，则冗余信息没有明显减少，如果过小，则丢失重要信息。这里，由于桥梁图片的内容本身不十分丰富，所以保留原有信息的99％，选取规则定义如下，

白化可以在主成分分析的基础上进一步的减少冗余，见式(8)。前边提到过，同一幅自然图像的每个图像块x_i(1≤i≤m)的方差是近似相等的，所以不需要进行方差标准化，更重要的原因是，经过白化处理后，每一个图像块x_i(1≤i≤m)的方差是严格相等的。

但是，特征值很可能无限制接近0或者等于0，这样会造成溢出错误，所以将式(8)改进为式(9)，改进后的白化被称为软白化。

这里，ε≈10^-5，这样ε足够小，对结果影响不大，又避免了溢出错误。

S14对对降维处理后的图片进行人工标注分类

由于混凝土桥梁的图片包括结构性裂缝图片、非结构性裂缝图片和无裂缝图片，其中结构性裂缝图片又包括横向裂缝图片、纵向裂缝图片、左斜裂缝图片、右斜裂缝图片和网状裂缝图片；非结构性裂缝图片包括碎片化裂缝图片。因此，人工对各类型裂缝图片进行定义。比如：

y＝0表示不存在裂缝的桥梁图片，称为背景，y＝1表示横向裂缝， y＝2表示纵向裂缝，y＝3表示左斜裂缝，y＝4表示右斜裂缝，y＝5表示网状裂缝；y＝6表示碎片化裂缝。

其中1、2、3、4、5为结构化裂缝，碎片化裂缝是非结构化裂缝。

S2、从网络上下载Caltech101数据集作为训练集，提取训练集的尺度不变特征，然后用稀疏编码进行表示，获得特征字典。

S21、下载Caltech101数据集

众所周知，训练集越大，特征集就越完备，那么分类准确率就越高。但是，由于获取桥梁图片以及标记这些桥梁图片的代价十分昂贵，而且，含有裂缝的图片占全部桥梁图片的比例更少。所以，如果将收集到的桥梁图片作为训练集，那么分类的效果很大可能是不理想的。自学习算法可以很好的解决此问题，因为训练集可以和测试集来自完全不同的领域，完全没有一点关系。因此，训练集选为Caltech101 数据集，这个数据集足够丰富，测试集为收集到的周围桥梁的图片，是需要进行分类的。

S22、尺度不变特征的选取

对于分类问题来说，问题的关键在于特征的选取，如果选取的特征是显著性特征，那么这些显著性特征可以将不同范畴的目标恰当地描述出来继而区分出来，如果不是，那么不同范畴的目标可能得到相同的描述，这样区分就不明显，分类器就会认为是同一种类的目标。

对桥梁图片进行分析，分析得到，桥梁图片的场景相对简单且对比度低，而且一些桥梁图片通过旋转可以得到另一些桥梁图片。鉴于此，尺度不变特征是合适的，因为尺度不变特征具有多量性和旋转不变性，多量性保证了即使内容十分简单也可以获得足够的特征，旋转不变性确保了通过旋转可以近似相同的图片具有相似的特征，这两点既确保了特征字典的完备性，又确保字典不至于过大。

S23、改进的稀疏编码

鉴于尺度不变特征转换的多量性，由尺度不变特征转换组成的初始特征集是高维的，稀疏编码可以有效地表示高维特征，已经成功应用于目标识别等任务中，例如人脸识别、目标识别、文本识别和手势识别等。稀疏编码目的是学习到一个过完备的字典，然后用一个系数矩阵以线性结合的方式来描述测试数据，这个系数矩阵大部分都是0，其他的是介于0到1之间的实数，这也是稀疏的由来。

假设现有一副图像x，将x裁剪成l×l的图像块x₁,x₂,...,x_n，将每一个图像块x₁,x₂,...,x_n看作一个向量存在一组基向量和一个稀疏向量使得如果n＞k，那么字典是过完备的。重建错误项满足高斯分布，s_j满足指数分布。

对一副图像的所有图像向量存在一组稀疏向量使得式(10)成立，其中φ(·)是稀疏函数，定义如式(11)，σ，β和c是常数；

其中，

由式(10)可以看出，要想使目标函数尽可能小，重建错误项和稀疏函数项都应该尽可能接近0。实际上，经过上述一系列处理后，测试集中图像的灰度值本身已经比较小了，也就是说很小，中的系数大部分都是0，b_j也是小于常数c的，这样一来，目标函数本来就很小。那么，这个目标函数对和b_j的约束就比较小了，这样即使所有的稀疏系数都是0，也是满足目标函数。但是，这是不符合实际情况的，针对此问题，改进的稀疏编码是基于用户期望的，见式(12)，其中ρ表示实际的稀疏系数中非零系数的个数，表示期望的稀疏系数中非零系数的个数；

显然，目标函数不是凸函数，不能使用基于梯度下降的方法来解决，这也使得收敛速度变慢；为了加速收敛，将式(12)改进为式(13)，其中α和β是常数，可以看出目标函数更加严格了，重建错误更加小了，这样可以得到更好的实验效果。

S3、选取步骤S1中标注过的任一幅图片，提取所述图片的尺度不变特征，然后用稀疏编码进行表示，即用特征字典来表示测试集，得到稀疏系数特征集；然后用最大空间金字塔统计稀疏系数特征集，将得到的统计特征输入到线性多分类支持向量机分类器中，分类器训练完成。

此步骤中的稀疏编码也为改进后的稀疏编码，改进的方法同上。

下面对空间金字塔池化进行分析：

毫无疑问，稀疏系数矩阵大部分都是零，但是非零系数才是具有代表性的特征，可以根据这些非零系数来区分不同的裂缝图片。另外，稀疏系数矩阵的维数和特征字典的维数是一样的，都是比较大的，不利于收敛。根据图像统计学知识，利用求局部最大值，可以将非零系数提取出来，并且过滤到大部分的零系数，又因为维数比较大，需要多次处理才能达到理想效果。综上，采用最大值空间金字塔来统计稀疏系数矩阵，如图3所示。S是稀疏系数矩阵，Z是空间金字塔池化过程，定义如式(14)。

z_j＝max{|s_1j|,|s_2j|,...,|s_Mj|}

(14)

S4、随机选取采集的一幅混凝土桥梁图片，输入到步骤S3中训练完成的分类器中，得到桥梁图片的分类结果，将分类结果的类别对照S1中人工标注分类的图片，即可得知随机选取的混凝土桥梁图片的裂缝类型。

需要说明的是，步骤S3和S4用到的线性多分类支持向量机分类器是一种在传统的非线性二分类的分类器基础上改进的多分类器。改进的原因及方法分析如下：

分类器的选择通常凭借的是经验，本发明选择支持向量机分类器。一般说来，非线性支持向量机的训练复杂度为O(n²-n³)测试复杂度为 O(n)，n是训练集的大小。显然，非线性支持向量机的复杂度太高，但是非线性支持向量机一般解决的是二分类小样本问题。所以，在原有的线性支持向量机的基础上进行改进，改进过程如下：

给定训练集y∈{0,1,2,3,4,5}，我们的目标是求得L 个线性函数使得其值最大，目标函数如下。

目标函数很难直接求解，将其转换为式(16),显然，这不是一个非限制性凸优化问题，不能使用梯度下降及其相关算法求解。其中，如果y_i＝c，否则并且是一个损失函数。

这里，选择式(17)作为损失函数，这样目标函数就变成了凸优化问题。

改进的线性支持向量机被称为大样本多分类支持向量机，能解决多分类大样本问题，它的训练复杂度为O(n)测试复杂度为常数，大大降低了分类成本，更重要的是，分类准确率也提高了。

实施例2：

为了验证本发明的分类方法的有效性，使用Matlab R2016来对收集到的桥梁图片(3264×2448)进行分类。实验电脑的CPU是3.30GHz 和3.31GHz，内存是8.00G。

Matlab是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。

1、数据集的分析和预处理

下载Caltech 101数据集作为训练集，从周围桥梁收集桥梁图片作为训练集，见图4。其具有代表性的灰度直方图见图5。

从图4中可以看出，裂缝含有多种形态的拓扑结构，背景也是不尽相同的。从图5可以得知，桥梁图片的对比度是比较低的，并且服从高斯分布。所以，桥梁图片可以采用均值标准化。

2、主成分分析和白化

从高分辨率的测试集中随机选取一张图片并将其分割成12×12的图像块，见图6。

然后，计算每个图像块的特征值和特征向量。如果协方差矩阵∑是对角的，那么计算得到的特征值就是正确的，这个验证可以保证后续工作的顺利进行，详见图7。

主成分分析和白化的结果见图8。特别说明，每个图像块的维数从12×12降到了123，对于单幅图片来说，降低的维数是比较低的，但是对于大量的测试样本来说，这些冗余是很可观的，关键在于信息保留因子k是0.9903，如果设置为0.9000，那么降低的维数更多。

3、特征字典

训练集Caltech 101经过尺度不变特征提取和改进的稀疏编码处理后，得到特征字典，特征字典是一系列的向量，可视化为图9。特征字典是128×1024维，对于机器学习来说，1024是可以接受的大小。 Caltech 101共有199571张图片，而字典的大小是1024，说明改进的稀疏编码对于高维数据的处理是成功的。

4、分类结果

经过测试，每种类别的桥梁图片的分类结果见表1。明显地，由于提取的特征合适，分类的效果达到了高水准。

表1每个种类的裂缝的分类准确率

另外，也对其他分类器进行了实验，实验结果见表2。结果表明，本发明的分类方法有更好的实验效果。而且对27471图片进行分类，花费的时间为2个半小时，非常快速高效，说明本发明的分类方法是有良好的应用前景的。

表2不同分类器的实验效果

5、泛化能力和鲁棒性检验

以上进行的是6分类，并且平均分类准确率是理想的。现在，将前边没有出现过的碎片化裂缝添加到测试集中，验证TSTLSC方法的鲁棒性，碎片化裂缝就是损坏严重的桥梁路面，已经分不清楚它的形状和拓扑结构。

现在，总共有7类裂缝图片，我们猜想种类越多，分类准确率越低。为了验证这个猜想，我们随机选取2类裂缝图片、3类裂缝图片、 4类裂缝图片、5类裂缝图片、6类裂缝图片、7类裂缝图片，提取各自的特征，然后用现有的不同分类器进行分类，结果见图10。

由图可知，除个别特殊点外，猜想大致是正确的。即传统的分类方法对于需要分类种类较多的问题，效果就不是那么理想，这是因为对于高维图像转换成的低维特征，不能提取到显著性特征，继而将其区分出来。

而本发明的分类方法即使添加了新种类的桥梁裂缝图片， TSTLSC分类方法仍然有较高的分类准确率82％，说明该方法是鲁棒的且有一定的泛化能力。

6、桥梁状况的简单评价和预测

在本发明的分类方法得到验证以后，可以根据本发明的分类结果对混凝土桥梁的裂缝进行简单评价和预测。

裂缝是混凝土结构病害的晴雨表。裂缝形成的原因有分子间作用力、重力、温度、湿度和桥梁荷载等。除去不可控因素，桥梁荷载使桥梁产生结构化裂缝。结构化裂缝就是水平的、竖直的、左斜的、右斜的和网状的裂缝，这种裂缝可以识别出拓扑结构。碎片化裂缝不能识别出拓扑结构，是非结构化裂缝。

所以，当采用本发明的分类方法识别出一座桥梁的大部分裂缝是结构性的，那么这座桥梁是超载的，需要限载。而如果识别出一座桥梁的大部分裂缝是非结构性的，那就可预测这座桥梁已经老化，需要修补。

本发明的基于迁移自学习的混凝土桥梁裂缝分类方法，具有的优点有：首先，它不需要大量的样本；其次，它不需要人工去大量标记图片；再次，该方法的鲁棒性很强，并有一定的泛化能力；最后，该方法的收敛速度也是比较快的；更重要的是，该方法可以简单地进行桥梁状况评价和预测。大量实验表明，本发明的基于迁移自学习的混凝土桥梁裂缝分类方法确实加速了收敛并且有更好的分类效果，有非常好的应用前景。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于迁移自学习的混凝土桥梁裂缝分类方法，其特征在于，包括以下步骤：

S1、采集混凝土桥梁的图片作为测试集，对测试集图片进行处理，处理的过程具体为：先对图片均值标准化，再进行基于主成分分析和白化的数据集降维处理，然后再对降维处理后的图片进行人工标注分类；图片均值标准化采用公式(1)，使均值全部为0；

x_norm＝x-u (1)

其中，x代表桥梁图片，M和N分别表示图片的行数和列数，x_norm是均值标准化最终的结果；

基于主成分分析和白化的数据集降维处理的具体过程为：

假设桥梁图片为x＝{x₁,x₂,...,x_m}，其中，x_i(1≤i≤m)是一个P×P的图像块，这样n等于P×P；主成分分析的目标是将x_i(1≤i≤m)的维数从n维降到k维；将∑定义如下，

采用公式(1)对x_i(1≤i≤m)进行均值标准化；然后计算∑的特征向量，如式(3)所示，所有特征向量组成了特征向量矩阵U，u₁是主向量，u₂是次向量，以此类推，λ₁,λ₂,...,λ_n是各自对应的特征值；

U＝[u₁ u₂ … u_n] (3)

由于进行均值标准化后，x_i(1≤i≤m)的均值为0，所以∑是x_i(1≤i≤m)的协方差矩阵；通过判断协方差矩阵是否是一个对角矩阵，来判断求得的Σ的特征值的正确性，进而判断特征向量的正确性；然后将x_i(1≤i≤m)投影到每个特征向量u_i(1≤i≤n)上；如式(4)所示，是x_i在u₁特征向量方向上的投影；

随着i的增大，特征向量u_i(k＜i≤n)就全部变为0；自然地，x投影到所有特征向量u_i(1≤i≤n)方向上的结果见式(5)；

至此，已经将的维数从n降到k，接下来，需要用重建x；鉴于U是正交矩阵，U^TU＝UU^T＝I，其中I是单位矩阵，所以x的重建如下：

其中，k的取规则定义如下，

为了进一步减少图片的冗余信息，采用公式(8)对主成分分析后的图片进行白化，

经过白化处理后，每一个图像块x_i(1≤i≤m)的方差是严格相等的；但是，特征值很可能无限制接近0或者等于0，这样会造成溢出错误，所以将式(8)改进为式(9)，改进后的白化称为软白化；

S2、从网络上下载Caltech101数据集作为训练集，提取训练集的尺度不变特征，然后用稀疏编码进行表示，获得特征字典；

S3、选取步骤S1中标注过的任一幅图片，提取所述图片的尺度不变特征，然后用稀疏编码进行表示，即用特征字典来表示测试集，得到稀疏系数特征集；然后用最大空间金字塔统计稀疏系数特征集，将得到的统计特征输入到线性多分类支持向量机分类器中，分类器训练完成；

S4、随机选取采集的一幅混凝土桥梁图片，输入到步骤S3中训练完成的分类器中，得到桥梁图片的分类结果，将分类结果的类别对照S1中人工标注分类的图片，即可得知随机选取的混凝土桥梁图片的裂缝类型。

2.根据权利要求1所述的基于迁移自学习的混凝土桥梁裂缝分类方法，其特征在于，步骤S1中测试集中混凝土桥梁的图片包括结构性裂缝图片、非结构性裂缝图片和无裂缝图片，其中结构性裂缝图片又包括横向裂缝图片、纵向裂缝图片、左斜裂缝图片、右斜裂缝图片和网状裂缝图片；非结构性裂缝图片包括碎片化裂缝图片。

3.根据权利要求2所述的基于迁移自学习的混凝土桥梁裂缝分类方法，其特征在于，所述稀疏编码均指改进后的稀疏编码，改进的具体方法为：

对一副图像的所有图像向量存在一组稀疏向量使得式(10)成立，其中φ(·)是稀疏函数，定义如式(11)，σ，β和c是常数；

其中，

为了使式(10)更符合实际情况，将式(10)改进为式(12)，其中ρ表示实际的稀疏系数中非零系数的个数，表示期望的稀疏系数中非零系数的个数；

显然，目标函数不是凸函数，不能使用基于梯度下降的方法来解决，这也使得收敛速度变慢；为了加速收敛，将式(12)改进为式(13)，其中α和β是常数，可以看出目标函数更加严格了，重建错误更加小了，这样可以得到更好的实验效果；

4.根据权利要求3所述的基于迁移自学习的混凝土桥梁裂缝分类方法，其特征在于，

步骤S3中用最大空间金字塔统计稀疏系数特征集采用公式(14)，

z_j＝max{|s_1j|,|s_2j|,...,|s_Mj|} (14)

其中，S是稀疏系数矩阵，Z是空间金字塔池化过程。

5.根据权利要求4所述的基于迁移自学习的混凝土桥梁裂缝分类方法，其特征在于，所述线性多分类支持向量机分类器是在传统的非线性支持向量机分类器基础上改进的多分类器，改进的过程如下：

给定训练集传统的非线性支持向量机分类器目标函数如式(15)所示，

为了实现两两分类，就要求得L个线性函数使得其值最大；由于目标函数很难直接求解，将其转换为式(16)；其中，如果y_i＝c，否则并且是一个损失函数；

显然，这不是一个非限制性凸优化问题，不能使用梯度下降及其相关算法求解；因此，选择式(17)作为损失函数，

这样目标函数就变成了凸优化问题，能够实现多分类。