CN108921847A - 基于机器视觉的桥梁底部检测方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的桥梁底部检测方法，其目的在于实现对桥梁底部的类似裂缝状的结构进行识别，首先采用基于ORB特征点的图像拼接方法对采集到的桥梁底部图像进行拼接，然后使用LDE算法对拼接后的图像进行增强预处理，最后使用Tuff分割算法将图像中裂缝结构进行分割。最终得到的分割图像便于对桥梁整体缺陷的检测与分析。

Description

基于机器视觉的桥梁底部检测方法

技术领域

本发明属于图像识别领域，涉及基于ORB特征检测的图像拼接方法和LDE 图像增强方法以及Tuff图像分割方法。

背景技术

由于混凝土原材料的成本低且可塑性高，它被广泛应用于桥梁建筑当中。然而在这种由混凝土建造的桥梁往往存在一些安全隐患，最常见的便是裂纹。一旦有裂纹出现在桥体，若不及时发现及时处理，情况往往会恶化。因此，对混凝土桥梁的状态结构分析是一个相当重要的工作。为了避免这类问题的恶化，通常需要对桥梁的情况定期进行检查。传统的方法是安排技术人员到实地现场去观测，通过肉眼来观察判断桥底是否产生了裂缝。这种人工的方法不仅工作强度大而且效率低，是否观测出裂缝以及裂缝类似物极大的依赖于观测人员的自身的相关经验和主观判断，很容易出现误检的问题。因此研制一组自动检测桥梁底部的系统意义十分重大。

名词解释：

ORB：(Oriented FAST and Rotated BRIEF)特征点匹配法。

RANSAC为Random Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

LDE方法：即LDE函数。

Hessian矩阵：黑塞矩阵(Hessian Matrix)，，是一个多元函数的二阶偏导数构成的方阵。

发明内容

本发明提供了一种基于机器视觉的桥梁底部检测方法，其目的在于实现对桥梁底部的类似裂缝状的结构进行识别，首先采用基于ORB特征点的图像拼接方法对采集到的桥梁底部图像进行拼接，以便后续对桥梁整体缺陷的检测与分析。

为实现上述目的，本发明的技术方案如下：

一种基于机器视觉的桥梁底部检测方法，包括以下步骤：

步骤一：通过桥梁检测机器人采集桥梁底部的两个航道的序列图像，其中包括两个航道的序列图像，航道即桥梁检测机器人车体航行路线；具体如图1、图2所示(这里航道仅针对桥梁检测机器人车体航行路线而言，桥梁底部本身不存在分隔)

步骤二：检测两个航道序列图像的ORB特征点；

步骤三：根据ORB特征点之间的欧式距离匹配两航道图像序列间的ORB特征点；

步骤四：用RANSAC方法剔除误匹配点，达到精确匹配；

步骤五：利用得到的匹配点计算出两组图像序列间的单应性矩阵，将一个航道的图像映射到另一个航道的图像的坐标空间中，然后根据匹配点的坐标平移实现拼接；

步骤六：在拼接边缘处进行加权平均模糊处理以消除拼接痕迹得到拼接后的图像；

步骤七：利用LDE方法对拼接后的图像进行预处理以加强裂缝结构在图像中的对比度；

步骤八：对由步骤七得到的图像使用Tuff裂缝分割方法，将图像中类似裂缝的结构分割出来，得到检测结果。

进一步的改进，所述步骤七中的LDE方法具体步骤如下：

步骤7.1：将g(x,y；σ)与f(x,y)进行卷积运算，再将得到的结果取 Hessian矩阵H_σ(x,y)；

其中，x表示图像中的像素横坐标，y表示图像中的像素纵坐标；g(x,y；σ) 表示均值为0，标准差为σ的高斯函数，g_xy(x,y)表示g(x,y；σ)先对x 求偏导，再对y求偏导，g_xx(x，y)表示对x求两次偏导；g_yy(x，y)表示对y 求两次偏导，f(x,y)表示拼接后的图像中(x,y)位置像素的灰度值；

步骤7.2：计算局部、前向、后向裂缝滤波函数：

r_l(x,y,θ；σ)＝g_xx(x,y)cos²θ+g_yy(x,y)sin²θ+g_xy(x,y)sin 2θ

其中θ表示计算时在图像中选取的方向，θ初始值取零度(根据实际情况作调节)，分别表示在θ方向基础上旋转的角度，大于零为顺时针方向旋转，小于零则为逆时针方向旋转；d作为可调参数，取值大于零，它影响着滤波函数的局部性；r_l(x,y,θ；σ)表示局部裂缝滤波函数，表示前向裂缝滤波函数，表示后向裂缝滤波函数，g_xx(x,y),g_yy(x,y)， g_xy(x,y)同步骤7.1；

步骤7.3：将三种滤波函数各与原图像f(x,y)进行卷积操作得到裂缝响应函数：

R_l(x,y,θ；σ)＝r_l(x,y,θ；σ)*f(x,y)

R_l(x,y,θ；σ)表示局部裂缝响应函数；表示前向裂缝响应函数；表示后向裂缝响应函数。r_l(x,y,θ；σ)， 同步骤7.2；

步骤7.4：将三种裂缝响应函数取最大值并求和得到总响应函数，总响应函数的图像即为经LDE方法处理过后的图像：

其中，R^*(x,y；σ)表示LDE预处理后的图像；表示 R_l(x,y,θ；σ)取最大值；表示取最大值；表示取最大值。

进一步的改进，所述步骤八中的Tuff裂缝分割方法具体步骤如下：

步骤8.1：计算出步骤7.1中Hessian矩阵的两个特征向量：分割曲线的轴向以及与轴向相垂直的方向；

步骤8.2：计算一个能量泛函；

ε(φ)＝ε_reg(φ)+ε_evolve(φ)

其中，

这里ε_reg(φ)与ε_evolve(φ)分别表示为影响曲线光滑度和曲线演变的能量泛函；其中，r₁表示影响光滑度的系数，取值大于零；φ(x)表示水平集函数；δ(x)表示理想单位冲激函数；α_i表示影响曲线演变程度的轴向分量以及垂直分量的参数；v_i(i＝1,2)表示步骤8.1中提到的两个方向向量；H(φ)表示单位阶跃函数。

步骤8.3：计算能量泛函ε(φ)，当ε(φ)取最小值时，分割曲线演变为最终结果。

有益效果

与现有技术相比，本发明的优点体现在以下几点：

(1)本发明采用了基于ORB特征点的图像拼接、LDE图像增强、Tuff图像分割的方法，实现了桥梁底部图像中裂缝的识别与分割。

(2)与传统的图像检测方法相比，该方法针对性较强。选用的LDE算法能够从对比度较低的图像中增强裂缝结构的亮度，配合专门对于图像中裂缝这类拓扑结构的Tuff分割算法，使得本发明能够应用于桥梁底部图像中裂缝的分割。

(3)与传统的人工检测方法相比，该检测方法具有高精度、高效率等优势，能够达到检测所需的要求。

附图说明

图1为桥梁检测机器人结构图，用于采集图像；

图2于不同航道采集到的图像，左侧的为航道1采集的图像，右侧为航道2采集的图像；

图3为本发明的流程图；

图4为应用本发明所述方法对采集到的桥梁底部图像进行拼接、预处理以及裂缝分割的过程示意图，其中，(a)和(b)分别为两个航道的桥梁底部图像中的一幅，(c)为拼接后的图像，(d)为使用LDE方法对(c)进行裂缝结构增强的预处理结果，(e)即为在(d)的基础上使用Tuff方法分割出的裂缝结构。

具体实施方式

下面将结合附图和实例对本发明做进一步的说明。

如图2所示，基于机器视觉的桥梁底部检测方法，包括以下步骤：

步骤1：通过桥梁检测机器人采集桥梁底部的序列图像，记两个航道的图像序列分别为L、R，记图4中的(a)、(b)分别为L_i与R_i。

步骤2：检测L_i与R_i的ORB特征点；

步骤3：匹配L_i与R_i的ORB特征点(只能将两航道图像序列中对应位置的两图像特征点进行匹配)；

步骤4：用RANSAC方法剔除误匹配点，达到精确匹配；

步骤5：利用得到的匹配点计算出L_i与R_i间的单应性矩阵，将L_i映射到R_i的坐标空间中，再将R_i适当平移实现拼接；

步骤6：在拼接边缘处进行加权平均模糊处理以消除拼接痕迹，此时得到如图4中的(c)所示的拼接后的图像，设为f(x,y)，即图像中(x,y)位置像素的灰度值；

步骤7：利用LDE方法对拼接后的图像f(x,y)进行预处理以加强裂缝结构在图像中的对比度：

步骤7.1：将g(x,y；σ)与f(x,y)进行卷积运算，再将得到的结果取 Hessian矩阵H_σ(x,y)；

其中，g(x,y；σ)是均值为0，标准差为σ的高斯函数；

步骤7.2：计算局部、前向、后向裂缝滤波函数；

r_l(x,y,θ；σ)＝g_xx cos²θ+g_yy sin²θ+g_xy sin 2θ

其中θ表示计算时在图像f(x,y)中选取的方向，则表示在θ方向基础上旋转的角度。d总是大于零，它影响着滤波函数的局部性。

步骤7.3：将三种滤波函数各与f(x,y)进行卷积操作得到裂缝响应函数；

R_l(x,y,θ；σ)＝r_l(x,y,θ；σ)*f(x,y)

步骤7.4：将三种裂缝响应函数取最大值并求和得到总响应函数 R^*(x,y；σ)，即为图4中(d)；

其中为了书写方便，省略了

步骤8：对图4中(d)使用Tuff裂缝分割方法，将图像中类似裂缝的结构分割出来，得到检测结果：

步骤8.1：计算出步骤7.1中Hessian矩阵的两个特征向量，它们分别代表分割曲线的轴向以及与轴向相垂直的方向；

步骤8.2：计算一个能量泛函；

ε(φ)＝ε_reg(φ)+ε_evolve(φ)

其中，

这里ε_reg(φ)与ε_evolve(φ)分别为影响曲线光滑度和曲线演变的能量泛函。其中，r₁是影响光滑度的系数，φ(x)为水平集函数，δ(x)为理想单位冲激函数，α_i是影响曲线演变程度的轴向分量以及其垂直分量的参数，v_i是步骤8.1中提到的两个方向向量，H(φ)是单位阶跃函数。

步骤8.3：计算能量泛函ε(φ)的最小值。当ε(φ)取最小值时，分割曲线演变为最终分割结果，即图4中(e)所示。

Claims (3)

1.一种基于机器视觉的桥梁底部检测方法，其特征在于，包括以下步骤：

步骤一：通过桥梁检测机器人采集桥梁底部的两个航道的序列图像，其中包括两个航道的序列图像，航道即桥梁检测机器人车体航行路线；

步骤二：检测两个航道序列图像的ORB特征点；

步骤三：根据ORB特征点之间的欧式距离匹配两航道图像序列间的ORB特征点；

步骤四：用RANSAC方法剔除误匹配点，达到精确匹配；

步骤五：利用得到的匹配点计算出两组图像序列间的单应性矩阵，将一个航道的图像映射到另一个航道的图像的坐标空间中，然后根据匹配点的坐标平移实现拼接；

步骤六：在拼接边缘处进行加权平均模糊处理以消除拼接痕迹得到拼接后的图像；

步骤七：利用LDE方法对拼接后的图像进行预处理以加强裂缝结构在图像中的对比度；

步骤八：对由步骤七得到的图像使用Tuff裂缝分割方法，将图像中类似裂缝的结构分割出来，得到检测结果。

2.如权利要求1所述的基于机器视觉的桥梁底部检测方法，其特征在于，所述步骤七中的LDE方法具体步骤如下：

步骤7.1：将g(x,y；σ)与f(x,y)进行卷积运算，再将得到的结果取Hessian矩阵H_σ(x,y)；

其中，x表示图像中的像素横坐标，y表示图像中的像素纵坐标；g(x,y；σ)表示均值为0，标准差为σ的高斯函数，g_xy(x,y)表示g(x,y；σ)先对x求偏导，再对y求偏导，g_xx(x，y)表示对x求两次偏导；g_yy(x，y)表示对y求两次偏导，f(x,y)表示拼接后的图像中(x,y)位置像素的灰度值；

步骤7.2：计算局部、前向、后向裂缝滤波函数：

r_l(x,y,θ；σ)＝g_xx(x,y)cos²θ+g_yy(x,y)sin²θ+g_xy(x,y)sin 2θ

其中θ表示计算时在图像中选取的方向，θ初始值取零度(根据实际情况作调节)，分别表示在θ方向基础上旋转的角度，大于零为顺时针方向旋转，小于零则为逆时针方向旋转；d作为可调参数，取值大于零，它影响着滤波函数的局部性；r_l(x,y,θ；σ)表示局部裂缝滤波函数，表示前向裂缝滤波函数，表示后向裂缝滤波函数，g_xx(x,y),g_yy(x,y)，g_xy(x,y)同步骤7.1；

步骤7.3：将三种滤波函数各与原图像f(x,y)进行卷积操作得到裂缝响应函数：

R_l(x,y,θ；σ)＝r_l(x,y,θ；σ)*f(x,y)

R_l(x,y,θ；σ)表示局部裂缝响应函数；表示前向裂缝响应函数；表示后向裂缝响应函数。r_l(x,y,θ；σ)， 同步骤7.2；

步骤7.4：将三种裂缝响应函数取最大值并求和得到总响应函数，总响应函数的图像即为经LDE方法处理过后的图像：

其中，R^*(x,y；σ)表示LDE预处理后的图像；表示R_l(x,y,θ；σ)取最大值；表示取最大值；表示取最大值。

3.如权利要求2所述的基于机器视觉的桥梁底部检测方法，其特征在于，所述步骤八中的Tuff裂缝分割方法具体步骤如下：

步骤8.1：计算出步骤7.1中Hessian矩阵的两个特征向量：分割曲线的轴向以及与轴向相垂直的方向；

步骤8.2：计算一个能量泛函；

ε(φ)＝ε_reg(φ)+ε_evolve(φ)

其中，

这里ε_reg(φ)与ε_evolve(φ)分别表示为影响曲线光滑度和曲线演变的能量泛函；其中，r₁表示影响光滑度的系数，取值大于零，φ(x)表示水平集函数，δ(x)表示理想单位冲激函数，α_i表示影响曲线演变程度的轴向分量以及垂直分量的参数，v_i(i＝1,2)表示步骤8.1中提到的两个方向向量，H(φ)表示单位阶跃函数。

步骤8.3：计算能量泛函ε(φ)，当ε(φ)取最小值时，分割曲线演变为最终结果。