CN114418957A

CN114418957A - 基于机器人视觉的全局和局部二值模式图像裂缝分割方法

Info

Publication number: CN114418957A
Application number: CN202111608583.2A
Authority: CN
Inventors: 刘爱荣; 杨智诚; 徐嘉明; 傅继阳; 杨永民; 陈炳聪
Original assignee: Guangzhou University; Zhongkai University of Agriculture and Engineering
Current assignee: Guangzhou University; Zhongkai University of Agriculture and Engineering
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2022-04-29
Anticipated expiration: 2041-12-24
Also published as: US11580647B1; CN114418957B

Abstract

基于机器人视觉的全局和局部二值模式图像裂缝分割方法，包括：对获取的原始图像的对比度进行增强，得到增强图；利用改进的局部二值模式检测算法对增强图进行处理，构建显著图；利用增强图和显著图进行裂缝分割，得到全局和局部二值模式裂缝自动分割方法；对得到的全局和局部二值模式裂缝自动分割方法进行性能评估，本申请利用对数变换增强裂缝图像的对比度，使得裂缝的暗部信息更加丰富，改进了旋转不变局部二值模式纹理特征，融合四方向的全局信息，引入了万有引力定律，以及灰度和圆度特征对裂缝分割结果进行修正，提高了分割精度，能够在光照不均和复杂纹理的背景中分割出裂缝区域，具有较好的鲁棒性，且满足在线检测要求。

Description

基于机器人视觉的全局和局部二值模式图像裂缝分割方法

技术领域

本发明涉及裂缝检测技术领域，特别涉及基于机器人视觉的全局和局部二值模式图像裂缝分割方法。

背景技术

传统的图像裂缝分割方法，由于裂缝程度不均匀、周围背景与裂缝的对比度差异、阴影等干扰，都会对图像裂缝分割结果造成较大影响，而且，传统裂缝检测手段主要是人工检测，通过肉眼观察裂缝情况，效率较低，随着科技的发展，机器人视觉技术正在慢慢代替传统的视觉技术，机器人视觉是集计算机、机械、传感技术、信息处理技术、图像处理技术等多种技术于一体的系统，当前，大多数智能机器人都具备视觉采集功能，并实现对采集的图像的匹配和处理等操作，如果能够将机器人视觉技术应用到裂缝分割领域，将会大大提高图像裂缝分割的效率和精确度，而且，对于一些特殊的场合，如水下作业，机器人视觉可以更好的替代人工检测，但是，现有技术中，基于机器人视觉的图像裂缝分割方法还很不成熟，不能完全克服传统裂缝分割方法的缺陷。

发明内容

为了克服上述现有技术的缺点，本申请的目的在于提供基于机器人视觉的全局和局部二值模式图像裂缝分割方法，旨在解决上述技术问题中的至少一种。

第一方面，本申请提供了基于机器人视觉的全局和局部二值模式图像裂缝分割方法，该方法包括：

对获取的原始图像的对比度进行增强，得到增强图；

利用改进的局部二值模式检测算法对增强图进行处理，构建显著图；

利用增强图和显著图进行裂缝分割，得到全局和局部二值模式裂缝自动分割方法；

对得到的全局和局部二值模式裂缝自动分割方法进行性能评估。

第二方面，本申请还提供了基于机器人视觉的全局和局部二值模式图像裂缝分割装置，该装置包括：

图像增强单元，用于对获取的原始图像的对比度进行增强，得到增强图；

显著图构建单元，用于利用改进的局部二值模式检测算法对增强图进行处理，构建显著图；

分割算法获取单元，用于利用增强图和显著图进行裂缝分割，得到全局和局部二值模式裂缝自动分割方法；

性能评估单元，用于对得到的全局和局部二值模式裂缝自动分割方法进行性能评估。

第三方面，本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现上述第一方面所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行上述第一方面所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法。

本申请提出的基于机器人视觉的全局和局部二值模式图像裂缝分割方法，利用对数变换增强裂缝图像的对比度，使得裂缝的暗部信息更加丰富。改进了旋转不变局部二值模式纹理特征，融合四方向的全局信息，生成裂缝显著图。最后，引入了万有引力定律，以及灰度和圆度特征对裂缝分割结果进行修正，提高了分割精度。该方法能够在光照不均和复杂纹理的背景中分割出裂缝区域，具有较好的鲁棒性，且满足在线检测要求。

附图说明

为了更清楚的说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见的，下面的描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本申请实施例提供的基于机器人视觉的全局和局部二值模式图像裂缝分割方法流程图；

图2为本申请实施例提供的基于机器人视觉的全局和局部二值模式图像裂缝分割方法的框架图；

图3为本申请实施例提供的改进的局部二值模式方法示意图；

图4为本申请实施例提供的预处理后图像的灰度直方图；

图5为本申请实施例提供的不同方法对公开裂缝数据集的检测结果示意图；

图6a-6d为本申请实施例提供的GLBPCS的参数自适应配置图；

图7为本申请实施例提供的不同方法的检测结果的定量分析柱状图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

参见图1实施例所示基于机器人视觉的全局和局部二值模式图像裂缝分割方法流程图，包括：

S101、对获取的原始图像的对比度进行增强，得到增强图。

从图2的a中可以看到，裂缝区域的灰度值比背景低，而主要关注区域正是低灰度值的部分。因此，采用了对数变换将较暗的裂缝缺陷进行灰度范围扩展，使得图像显示出更多低灰度细节。根据变换后图像的灰度最值将图像灰度范围映射到0～255之间，从而实现裂缝与背景之间的对比度增强，如图2的b所示，增强图记为G，通过对原始图像的预处理，增强裂缝与背景间的对比度。

S102、利用改进的局部二值模式检测算法对增强图进行处理，构建显著图。

局部二值模式(Local Binary Patterns,LBP)主要是用来描绘局部纹理特征，为了更好地说明本申请提出的全局和局部二值模式显著图算法，首先对旋转不变局部二值模式算法进行解释。

该算法中，图像上的任意像素点会与其相邻的像素点集依次进行比较计算局部二值模式码：

式中，C为LBP码，g_t为目标像素点p_t的灰度值，g_i为第i个相邻像素点p_i的灰度值，n表示相邻像素点的总个数。

由此，得到旋转不变局部二值模式码为

IRC|_n,r＝min<B2D{Rot[D2B(C),j]}|_j∈[0,n-1]> (2)

式中，IRC为旋转不变局部二值模式码，B2D表示二进制转换为十进制，D2B表示十进制转换为二进制，Rot(x，j)表示对二进制数值x执行j次循环按位旋转，min表示取最小值。

虽然旋转不变LBP描绘局部特征被应用到纹理检测中，但是这种特征结果用于缺陷检测是困难的，因为其检测结果受目标像素点到相邻像素点的距离

的影响。当r小于缺陷最短距离的二分一时或者当r远大于缺陷最短距离时，处在缺陷内部的像素点和处在背景中的像素点的IRC几乎没有区别，这样会导致检测结果出现较多假阴性和假阳性。多数情况下，该算法只能检测出粗糙的缺陷边缘。

如图3所示，其中，中间的空心圆表示目标像素，正方形框表示相邻的像素，四条由正方形框组成的直线代表水平方向、竖直方向和对角线方向四个不同的方向。

在每个方向中，目标像素会与其所在方向均布的n个点进行比较，比较的规则与原始的局部二值模式一致。在本文中，取n＝8，图像灰度范围控制在[0,255]。这n个点的灰度值可由7×7矩形领域灰度均值替代，由此可以降低噪声的影响，同时将公式(1)中的阈值常数值0设为一个相对阈值T_R，即

式中d表示上述的四个方向，其中d＝1为左上对角线方向，d＝2为水平方向，d＝3为垂直方向，d＝4为左下对角线方向。

由此，每个目标像素会有4个IRC_d值，即有四幅不同方向的旋转不变局部二值模式检测图，如图2的c至图2的f所示。取其平均作为显著图，如图2的g，记为S。从图中可以看到，复杂的背景被过滤掉了，裂缝显而易见，但仍然存在一些离散的噪声，因而需要进行第三部裂纹分割与修正。

值得注意的是，上述相对阈值T_R是由对比度增强后图像的灰度直方图确定的。如图4所示，首先锁定最大的驼峰，为一个类高斯分布^[15]

式中，μ_H为类高斯曲线最大值所对应的灰度值，σ_H为类高斯曲线的标准差。

根据高斯分布可知，背景出现的概率在高斯分布的中部，而缺陷总是出现在其两端，因此需要粗略计算背景灰度范围，从图中可以看到腰部以下的地方可能会受到噪声影响，所以通过对类高斯曲线求导，求得函数y最大值所对应灰度值μ_H左边部分一阶导数为0的位置(即μ_H-σ_H)。由于裂缝是暗缺陷，且认为类高斯分布是对称的，只需计算一边即可，然后令相对阈值T_R＝ασ_H。

本申请改进的局部二值模式算法是针对裂缝检测设计的，该方法不仅继承了原始局部二值模式的局部特性，同时也考虑到了全局信息。

S103、利用增强图和显著图进行裂缝分割，得到全局和局部二值模式裂缝自动分割方法。

在裂缝分割中，基于渗透模型采用圆度Cir作为裂缝的一种特征^[9]

式中，A_Reg表示某区域Reg的像素个数，D_Reg表示区域中心到边缘最大的距离。

若区域是个圆形，Cir＝1；若区域有空洞或很长，Cir<1。同时基于万有引力定律，认为裂缝区域面积越大，其端点对附近点的影响范围越大，即

式中，R_Reg表示区域的影响半径，k是一个变化系数。

综合以上的特点，设计了如下裂缝分割程序：

Input：增强图G，显著图S，图像宽高分别为W和H，参数k。

Output：输出图像O。

1)初始化：令图像I＝S，目标面积A_T＝H×W，标志Flag＝0。

While(True)：

2)生成H×W的0矩阵M。

3)如果Flag＝＝0，对I进行阈值分割，提取潜在的裂缝区域，计算I的均值μ_I和标准差σ_I，当I中的像素灰度值大于等于μ_I+λσ_I，O中的对应位置设置为1；否则，设置为0。如果Flag＝＝1，则令O＝I。

4)计算裂缝区域面积：A_crack＝∑_O＝＝1。

5)如果满足条件A_crack＝A_T或k＝＝0时，输出结果O；否则，A_T＝A_crack并进行步骤6)。

6)对O中值为1的区域进行连通分析：UReg_i＝∑_O＝＝1。如果Flag＝＝1，那么区域面积大于等于3和圆度小于等于0.4的区域会被保留，即：

7)对Reg_i进行骨架提取，并获取其所有的端点EP_i＝(x₁,y₁),…,(x_j,y_j),…,(x_m,y_m)，其中m是每个骨架端点的个数总和。

8)计算每个区域在G中的灰度平均值Gm_Regi和根据公式(6)计算每个区域的影响半径

9)针对Reg_i中每个端点(x_j,y_j)的邻域像素点集

在G中满足灰度范围为[Gm_Regi-δ,Gm_Regi+δ]的像素点与Reg_i合并。

10)如果扩充后的Reg_i的Cir_Regi≤0.1相应的区域置为1。

11)令I＝M和k--并返回步骤2)。

End While

S104、对得到的全局和局部二值模式裂缝自动分割方法进行性能评估。

为了评估所提出全局和局部二值模式裂缝自动分割方法(GLBPCS)的性能，在公开的裂缝数据集(https://github.com/cuilimeng/CrackForest)上进行测试，检测结果与可控证据滤波法(SEF方法)，宽度变换法(WT方法)，渗透算法(P方法)，改进的U型卷积神经网络法(Unet++方法)进行比较，性能指标分别采用重合率D_c(即真实值与预测值的重合率)，准确率P_r(即正确缺陷像素个数占总预测缺陷值的比值)和召回率R_e(即正确缺陷像素个数占总的真实缺陷值的比值)以及运行时间来表示。

式中，TP表示真实值和预测值皆为缺陷的像素个数，FP表示真实值是背景但预测值是缺陷的像素个数，FN表示真实值是缺陷但预测值是背景的像素个数。

公开的裂缝数据集中包含118张480×320的三通道图像，如图5所示，其中从上往下分别是原始图(图5a)，真实值(图5b)，SEF(图5c)，WT(图5d)，P(图5e)，Unet++(图 5f)和GLBPCS(图5g)的检测结果。原始图选取了不同样式的裂缝形状进行分析，如图4a1、图5a4和图5a6均为单支裂缝，图5a3和图5a5为多支裂缝，图5a2为网状裂缝。同时图像中还包含了噪声的影响，如图5a3中存在油漆，图5a6中存在油斑。由此，将数据集平均分为训练集和测试集，GLBPCS采用自适应的方法配置参数，具体为从训练集中任意选取5个样本计算D_c来调节各参数取得较优结果。程序自动生成四幅曲线图，即阈值系数α，标准差系数λ，变化系数k，允许灰度变化范围δ分别与重合率D_c的关系，如图6所示，程序自动选取平均最大D_c所对应的值，即α＝3，λ＝1，k＝7，δ＝11，考虑到算法精度和运行时间的平衡， k微调为5。

在一实施例中，在得到结果之后，还需要对实验结果进行评估；

本申请从视觉比较和定量分析两个方面对实验结果进行评价。

对于SEF方法，如图5c所示，该方法能够检测出各种裂缝的类型，但其检测效果受限于滤波核尺寸，当核较大时该方法能检测较宽的裂缝，当核较小时其能检测较窄的裂缝。对于 WT方法，如图5d所示，该方法检测效果较差，几乎无法辨识裂缝的特征，这是因为该方法依赖边缘提取效果，对于裂缝与背景过渡平滑的位置，边缘提取可能会失败，导致边缘点对寻找失败或错误。对于P方法，如图5e所示，该方法对复杂背景中的缺陷提取其效果一般，仅在背景较为纯净而且无太多噪声干扰的情况下能取得较好的效果。对于Unet++方法，如图 5f所示，该方法基本能完全提取裂缝区域，主要得益于上百万的样本参数，即使这样也引入了较多的假阳性区域。对于本文提出的GLBPCS方法，如图5g所示，该方法能够较好地检测出裂缝的区域，而且不会引入过多假阳性，主要是因为改进的LBP算法融合了全局与局部信息，加上修正算法中引入了万有引力理论和圆度特征，使得裂缝特征能够较好地被提取。

图7给出了不同裂缝检测方法的定量分析结果。由于真实值是人为标记，存在主观因素，因而三个指标D_c,P_r,R_e大于等于0.5即认为该算法检测效果较好。从图中可以看到，本文提出方法的三个指标均超过0.6，检测效果优于其他方法。虽然其检测速度慢于SEF方法和WT 方法，但是还是能达到1s内在线检测的要求。

本申请提出了一种混凝土结构裂缝自动分割方法。利用对数变换增强裂缝图像的对比度，使得裂缝的暗部信息更加丰富。改进了旋转不变局部二值模式纹理特征，融合四方向的全局信息，生成裂缝显著图。最后，引入了万有引力定律，以及灰度和圆度特征对裂缝分割结果进行修正，提高了分割精度。该方法能够在光照不均和复杂纹理的背景中分割出裂缝区域，具有较好的鲁棒性，且满足在线检测要求。

在一实施例中，本申请还提供了基于机器人视觉的全局和局部二值模式图像裂缝分割装置，该装置包括：

在一实施例中，本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现上述任一实施例所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法。

在一实施例中，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行上述任一实施例所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims

1.基于机器人视觉的全局和局部二值模式图像裂缝分割方法，其特征在于，包括：

对获取的原始图像的对比度进行增强，得到增强图；

2.如权利要求1所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法，其特征在于，所述对获取的原始图像的对比度进行增强，得到增强图，包括：

采用对数变换将较暗的裂缝缺陷进行灰度范围扩展，得到增强图。

3.如权利要求1所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法，其特征在于，所述利用改进的局部二值模式检测算法构建显著图，包括：

根据原始图像的所有像素在水平、竖直和两个对角线方向的变化，计算每个像素旋转不变局部二值模式码，并根据每个像素旋转不变局部二值模式码得到显著图。

4.如权利要求3所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法，其特征在于，所述根据每个像素旋转不变局部二值模式码得到显著图之后，包括：

根据高斯分布，对显著图进行处理，得到图像的灰度直方图。

5.如权利要求1所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法，其特征在于，所述对得到的全局和局部二值模式裂缝自动分割方法进行性能评估，包括：

在公开的裂缝数据集上对得到的全局和局部二值模式裂缝自动分割方法进行测试，并将测试结果进行比较，得到性能评估结果。

6.基于机器人视觉的全局和局部二值模式图像裂缝分割装置，其特征在于，包括：

7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一项所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如权利要求1-5任一项所述的基于机器人视觉的全局和局部二值模式图像裂缝分割方法。