CN109658383B - 基于卷积神经网络和卡尔曼滤波的道路损伤识别方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络和卡尔曼滤波的道路损伤识别方法。在道路修复前，养路工人需要对路面情况进行调研，此项工程需要耗费巨大的人力、物力和财力。本发明的步骤如下：一、图像预处理。二、图像增强与卷积神经网络的训练。三、k＝1,2,…,m，依次执行步骤四至六。m为被测图像的数量。四、将第k张被测图像放大并调整为300×300的分辨率。五、将步骤五所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。六、将步骤五所得的权重初始值通过卡尔曼滤波算法进行优化。本发明采用前馈运算、随机梯度下降法、反馈运算、PCA降维和卡尔曼滤波等方法进行实时的参数更新，建立高准确率的卷积神经网络模型。

Description

基于卷积神经网络和卡尔曼滤波的道路损伤识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络和卡尔曼滤波的道路损伤识别方法。

背景技术

道路损坏出现裂缝是当今道路养护面临的主要问题，众多损坏道路的修复是一项巨大的工程。修复之前，养路工人需要对路面情况进行调研，此项工程需要耗费巨大的人力、物力和财力。随着高科技的发展，科学家想到了一种简便的方法，用精密的拍照仪器安放在汽车前段，可以在短时间内得到大量的有用图片，再经过筛选，截取出有用的道路损坏图像。

将采集到的道路损伤图像分为8类，分类情况如下：D00表示直线裂缝有纵向车轮标记部分、D01表示施工缝部分、D10表示等间隔线部分、D11表示横向施工缝部分、D20表示龟裂缝有部分路面和整体路面、D40表示凹陷坑洞分离、D43表示白线的模糊和D44表示人行横道线的模糊。

深度神经网络是人工智能应用的基础，在很多方面都有用到，例如在语音识别、图像识别和无人驾驶汽车等方面。在许多领域中，目前深度学习卷积神经网络的准确性已经超过人类。与早期的专家手动提取特征或制定规则不同，深度学习卷积神经网络的优越性能来自于在大量数据上使用统计学习方法，从原始数据中提取高级特征的能力，从而对输入空间进行有效的表示。但深度学习卷积神经网络超高的分类准确性是以超高的计算复杂度为代价的。

发明内容

本发明的目的在于提供用于一种基于卷积神经网络和卡尔曼滤波的道路损伤识别方法。

本发明的具体步骤如下：

步骤1、对n张含有道路损伤的损伤图进行排序。第i张损伤图的分辨率为v_i×h_i，v_i为第i张损伤图上一行像素的个数；h_i为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为z_i。

步骤2、图像增强与卷积神经网络的训练。

2.1、i＝1,2,…,n，依次执行步骤2.2至2.4。

2.2、将步骤1所得第i张损伤图放大t_i倍。

若h_i>v_i，则t_i＝300/h_i，并将第i张损伤图的左

列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右

行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。

若h_i≤v_i，则t＝300/v_i，并将第i张损伤图的上

行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下

行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。

2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图。

2.4、用步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍。

2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练。

步骤3、k＝1,2,…,m，依次执行步骤4至6。m为被测图像的数量。

步骤4、将分辨率为v′_k×h′_k的第k张被测图像放大t′_k倍。若h′_k<v′_k，则t′_k＝300/v′_k，并将被测图像的左

列像素以被测图像的左侧边缘作为对称轴进行镜像对称，并将被测图像的右

行像素以被测图像的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第k张被测扩展图像。

步骤5、将步骤4所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。卷积神经网络输出中获取被测图片的特征信息矩阵H_k和权重矩阵w_k。

步骤6、将步骤5所得的权重初始值w_k通过卡尔曼滤波算法进行优化。

6.1、计算权重预测值

的表达式如式(1)所示：

式(1)中，I为两行两列的单位矩阵。

6.2、计算权重预测值

的协方差矩阵P_k′如式(2)所示：

P′_k＝I′·P_k·I′^T+Q (2)

式(2)中，Q为过程噪声，其值为0.00003；I′^T为单位矩阵I′的转置。I′为c行c列的单位矩阵；P_k为c行c列，且主对角线上所有元素均为0.001，其余元素均为零的矩阵。c为全连接层输出节点个数。

6.3、计算第k个最优增益阵K_k如式(3)所示：

式(3)中，

为矩阵H_k的转置；R为观测噪声，其值为0.005。

6.4、计算第k个权重更新矩阵w′_k如式(4)所示：

式(4)中，R为观测噪声，其值为0.005；

步骤七、根据第k个权重更新矩阵w′_k计算M矩阵式(5)所示；

M＝[H_k·w′_k]^T (5)

式(5)中，[H_k·w′_k]^T为矩阵[H_k·w′_k]的转置。

步骤七、找到M矩阵内所有元素中的最大值。M矩阵内所有元素中的最大值对应的行数即为被测图像中道路损伤的类别号。

进一步地，所述的卷积神经网络采用VGG16。

进一步地，步骤5执行后，对权重矩阵w_k通过主成分分析算法进行降维。

进一步地，所述的全连接层输出节点个数c等于4096。

本发明具有的有益效果是：

1、本发明采用前馈运算、随机梯度下降法、反馈运算、PCA降维和卡尔曼滤波等方法进行实时的参数更新，通过尽可能少的训练图片，建立高准确率的卷积神经网络模型。

2、本发明通过引入PCA降维算法，降低了图像特征信息和权重的维度，减少了了计算量和识别时间。

3、本发明通过卡尔曼滤波算法来实时更新参数，进而以提高识别的准确率。

具体实施方式

以下对本发明作进一步说明。

基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，具体步骤如下：

步骤1、图像预处理。

对n张含有道路损伤的损伤图进行排序。第i张损伤图的分辨率为v_i×h_i，v_i为第i张损伤图一行像素的个数；h_i为第i张损伤图一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为z_i。

步骤2、图像增强与卷积神经网络的训练。

2.1、i＝1,2,…,n，依次执行步骤2.2至2.4。

2.2、将步骤1所得第i张损伤图放大t_i倍。若h_i>v_i，则t_i＝300/h_i，并将第i张损伤图的左

列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右

行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；若h_i≤v_i，则t＝300/v_i，并将第i张损伤图的上

行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下

行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图。

2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图。

2.4、将步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍。

2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练，使得卷积神经网络了解损伤类别为z_i的道路损伤的形状。卷积神经网络采用VGG16。

步骤3、k＝1,2,…,m，依次执行步骤4至6。m为被测图像的数量。

步骤4、将分辨率为v′_k×h′_k的第k张被测图像放大t′_k倍。若h′_k<v′_k，则t′_k＝300/v′_k，并将被测图像的左

列像素以被测图像的左侧边缘作为对称轴进行镜像对称，并将被测图像的右

行像素以被测图像的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第k张被测扩展图像。

步骤5、将步骤4所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中。卷积神经网络输出中获取被测图片的特征信息矩阵H_k、权重矩阵w_k和偏置b_k。对权重矩阵w_k通过主成分分析算法(PCA方法)进行降维。

步骤6、将步骤5所得的权重初始值w_k通过卡尔曼滤波算法进行优化。

6.1、根据w_k计算权重预测值

的表达式如式(1)所示：

式(1)中，I为两行两列的单位矩阵。

6.2、计算权重预测值

的协方差矩阵P_k′如式(2)所示：

P_k′＝I′·P_k·I′^T+Q (2)

式(2)中，Q为过程噪声，其值为0.00003；I′^T为单位矩阵I′的转置。I′为c行c列的单位矩阵；P_k＝diag(0.001,0.001,…0.001)_c·c，即P_k是c行c列，且主对角线(左上角到右下角的对角线)上所有元素均为0.001，其余元素均为零的矩阵(方阵)。c为全连接层输出节点个数，其值为4096。

6.3、计算第k个最优增益阵K_k如式(3)所示：

式(3)中，

为矩阵H_k的转置；R为观测噪声，其值为0.005；H_k在步骤5中已获取。

6.4、计算第k个权重更新矩阵w′_k如式(4)所示：

式(4)中，R为观测噪声，其值为0.005；

步骤七、根据第k个权重更新矩阵w′_k计算M矩阵式(5)所示；

M＝[H_k·w′_k]^T (5)

式(5)中，[H_k·w′_k]^T为矩阵[H_k·w′_k]的转置。M矩阵为8行k列的矩阵。

步骤七、找到M矩阵内所有元素中的最大值。M矩阵内所有元素中的最大值对应的行数即为被测图像中道路损伤的类别号(即1至8行分别对应D00、D01、D10、D11、D20、D40、D43、D44)。

通过将一个道路损伤图库中多张图片按照步骤二中的方法进行镜像变换、多尺度处理、光照漂移得到不同尺寸、不同亮度的多组道路损伤图片。并用所得的多组道路损伤图片分别用本发明进行道路损伤类别号的判断，结果显示，本发明对多尺度多光照的多组道路损伤图片的判断平均准确率为99.22％；而采用常规的道路损伤图像识别方法时，对多尺度多光照的多组道路损伤图片的判断平均准确率为90.09％。

可见，本发明对于不同亮度、不同尺寸的被测图像，均具有高于现有道路损伤图像识别方法的准确率。

Claims (4)

1.基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，其特征在于：

步骤1、对n张含有道路损伤的损伤图进行排序；第i张损伤图的分辨率为v_i×h_i，v_i为第i张损伤图上一行像素的个数；h_i为第i张损伤图上一列像素的个数，i＝1,2,…,n；第i张损伤图的损伤类别为z_i；

步骤2、图像增强与卷积神经网络的训练；

2.1、i＝1,2,…,n，依次执行步骤2.2至2.4；

2.2、将步骤1所得第i张损伤图放大t_i倍；

若h_i>v_i，则t_i＝300/h_i，并将第i张损伤图的左

列像素以第i张损伤图的左侧边缘作为对称轴进行镜像对称，并将第i张损伤图的右

行像素以第i张损伤图的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；

若h_i≤v_i，则t＝300/v_i，并将第i张损伤图的上

行像素以第i张损伤图的上侧边缘作为对称轴进行镜像对称，并将第i张损伤图的下

行像素以第i张损伤图的下侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第i张一级扩展图；

2.3、将步骤2.2所得的第i张一级扩展图放大1.5倍，得到分辨率为450×450的第i张二级扩展图；将第i张一级扩展图放大2倍，得到分辨率为600×600的第i张三级扩展图；

2.4、用步骤2.2所得的第i张一级扩展图复制出第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图；并将第i张四级扩展图、第i张五级扩展图、第i张六级扩展图、第i张七级扩展图分别调整为0.8倍、0.9倍、1.1倍和1.2倍；

2.5、将第i张一级扩展图、第i张二级扩展图、第i张三级扩展图、第i张四级扩展图、第i张五级扩展图、第i张六级扩展图和第i张七级扩展图导入卷积神经网络进行训练；

步骤3、k＝1,2,…,m，依次执行步骤4至6；m为被测图像的数量；

步骤4、将分辨率为v′_k×h′_k的第k张被测图像放大t′_k倍；若h′_k<v′_k，则t′_k＝300/v′_k，并将被测图像的左

列像素以被测图像的左侧边缘作为对称轴进行镜像对称，并将被测图像的右

行像素以被测图像的右侧边缘作为对称轴进行镜像对称，得到分辨率为300×300的第k张被测扩展图像；

步骤5、将步骤4所得的第k张被测扩展图像输入步骤2训练所得的卷积神经网络中；卷积神经网络输出中获取被测图片的特征信息矩阵H_k和权重矩阵w_k；

步骤6、将步骤5所得的权重初始值w_k通过卡尔曼滤波算法进行优化；

6.1、计算权重预测值

的表达式如式(1)所示：

式(1)中，I为两行两列的单位矩阵；

6.2、计算权重预测值

的协方差矩阵P_k′如式(2)所示：

P_k′＝I′·P_k·I′^T+Q (2)

式(2)中，Q为过程噪声，其值为0.00003；I′^T为单位矩阵I′的转置；I′为c行c列的单位矩阵；P_k为c行c列，且主对角线上所有元素均为0.001，其余元素均为零的矩阵；c为全连接层输出节点个数；

6.3、计算第k个最优增益阵K_k如式(3)所示：

式(3)中，

为矩阵H_k的转置；R为观测噪声，其值为0.005；

6.4、计算第k个权重更新矩阵w′_k如式(4)所示：

式(4)中，R为观测噪声，其值为0.005；

步骤七、根据第k个权重更新矩阵w′_k计算M矩阵式(5)所示；

M＝[H_k·w′_k]^T (5)

式(5)中，[H_k·w′_k]^T为矩阵[H_k·w′_k]的转置。

2.根据权利要求1所述的基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，其特征在于：所述的卷积神经网络采用VGG16。

3.根据权利要求1所述的基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，其特征在于：步骤5执行后，对权重矩阵w_k通过主成分分析算法进行降维。

4.根据权利要求1所述的基于卷积神经网络和卡尔曼滤波的道路损伤识别方法，其特征在于：所述的全连接层输出节点个数c等于4096。