CN116805302A

CN116805302A - 一种缆索表面缺陷检测装置及方法

Info

Publication number: CN116805302A
Application number: CN202310474142.0A
Authority: CN
Inventors: 彭珍瑞; 张跃
Original assignee: Lanzhou Jiaotong University
Current assignee: Lanzhou Jiaotong University
Priority date: 2023-04-28
Filing date: 2023-04-28
Publication date: 2023-09-26

Abstract

一种针对缆索表面缺陷检测装置及方法，主要目的在于检测缆索表面图像是否具有缺陷，其实现步骤为：通过缆索表面图像采集装置对缆索表面进行图像采集，对采集到的图像进行灰度化处理，使用直方图均衡化方法对灰度化后图像进行增强处理，对直方图均衡化增强后的图像采用大津法进行图像分割处理，使用形态学处理对大津法分割后的图像进行处理，最后将处理后图像通过Alex神经网络进行缺陷判定。本发明能实现缆索表面缺陷的智能检测与判断，降低人工目测工作量和疲劳度，可提高检测效率，可以准确的分析和识别缆索外表面的缺陷，并且该方法安全可靠。

Description

一种缆索表面缺陷检测装置及方法

技术领域

本发明涉及缆索表面缺陷检测领域，具体涉及一种缆索表面缺陷检测装置及方法。

背景技术

桥梁作为一种由索、梁、塔三种基本构件组成的组合式桥梁结构，其跨越能力比梁式桥更大，由于桥梁缆索体系是重要的承载支撑构件，它的耐久性与可靠性直接关系整个桥梁的安全运行与使用寿命。缆索系统长期暴露在自然环境当中并承受交变载荷工作，缆索保护层和极易受到腐蚀破坏，当缆索保护层发生严重腐蚀时，可能造成缆索系统失效而导致重大经济损失甚至安全事故，缆索类桥梁正常安全的使用受到严重威胁。如何对缆索表面保护材料进行快速、准确检测是桥梁缆索腐蚀和损伤状况检测的重要问题，也是对桥梁本身健康监测维护的重要问题。

由于缆索长度通常为几十至上百米，缺陷位置无法确定，因此需要对整条索体全部进行检测，索体损伤又可以分为内部钢丝损伤和外部护套损伤。防护材料对索体的保护十分关键，其性能对桥梁安全具有重大意义。防护材料最外层常采用高密度聚乙烯(HDPE)护套，由于直接与外部环境接触，缆索护套成为最容易受到外界环境影响而产生缺陷的桥梁构件之一。在光照、风、雨雪等外界环境作用下，缆索护套很容易老化进而产生开裂、孔洞等损伤。目前在全国主跨超过200米的大跨径桥梁已达30多座，但近些年来，桥梁的事故日益频出。因为外部保护层直接裸露在外部自然环境中，受风吹日晒雨淋及荷载振动影响极易引起外部防护套的侵蚀变形、开裂、剥落等情况，导致缆索外部防护功能失效，进而极易引起缆索腐蚀，断丝等严重后果。因此外部表面检测最为重要，

首先通过图像采集系统对桥梁缆索表面缺陷进行缺陷图像采集，得到缺陷图像。对缆索表面缺陷图像进行预处理，通过直方图均衡化对图像进行增强，图像去噪目的是滤除噪声的干扰，并保留图像原有的信息。通过中值滤波对缆索缺陷表面图像进行去噪，对去噪后的图像进行图像分割，目的为区分缆索表面缺陷区域和非缺陷区域。采用边缘检测对缆索缺陷区域进行处理，分类工具采用Alex神经网络，通过Alex神经网络，使分类结果与缆索表面缺陷一致，完成对缆索表面缺陷的检测与分类。本专利可以有效地检测桥梁缆索表面的缺陷，从而提高桥梁缆索的安全性和可靠性，可以减少桥梁缆索的维护成本，还可以减少交通事故的发生，减少人员伤亡和财产损失，从而节省社会成本；并提高桥梁缆索的使用寿命，桥梁缆索的使用寿命的提高，可以减少桥梁缆索的更换成本，从而节省经济成本。此外，桥梁缆索的使用寿命的提高，还可以减少桥梁缆索的更换，从而减少桥梁缆索的环境污染。

发明内容

为解决上述问题，本发明公开了一种缆索表面缺陷检测装置及方法，可精确分识别缆索表面缺陷。

上述过程中的缆索表面缺陷图像采集检测装置包括四个CCD摄像机、光源、电源、固定杆、无线信号发射模块、无线信号接收模块、计算器和信号采集卡。

通过固定杆将CCD摄像机固定在缆索上，使其与缆索保持一定的距离和角度。电源为光源和摄像机提供电力，光源可以根据环境光照调节亮度，以保证采集到的图像清晰可见。当CCD摄像机捕获到缆索表面的图像时，通过无线信号发射模块将图像数据发送给无线信号接收模块。无线信号接收器将图像数据传输给信号采集卡和计算器，计算器对图像进行预处理和缺陷识别。

对已采集到缆索表面缺陷图像进行灰度化处理，得到灰度化处理后的图像f(x,y)。

f(x,y)＝0.212671×c_r(x,y)+0.71516×c_g(x,y)+0.072169×c_b(x,y)

采集到缆索表面缺陷图像为c(x,y),),其包含3个分量:红色分量c_r(x,y)、c_g绿色分量(x,y)、蓝色分量c_b(x,y),且图像高度为H像素、宽度为W像素，(x,y)表示图像的维坐标,且x∈[1,w],y∈[1,H]。

使用直方图均衡化对灰度化后的图像f(x,y)进行图像增强处理，得到增强后的图像中z(x,y),具体过程如下：

步骤2.1：R、G、B分别对应了三原色：红色，绿色和蓝色，灰度范围为0-255，当灰度为255的时候，表示最亮(纯白)；当灰度为0的时候，表示最暗(纯黑)。图像的灰度直方图就描述了图像中灰度分布情况，能够很直观的展示出图像中各个灰度级所占的多少。图像的灰度直方图是灰度级的函数，描述的是图像中具有该灰度级的像素的个数。

依次扫描原始灰度图像的每一个像素，计算出图像的灰度直方图；计算灰度直方图的累积分布函数；根据累积分布函数和直方图均衡化原理得到输入与输出之间的映射关系，根据映射关系得到结果进行图像变换。直方图均衡化的公式为：

z(x,y)＝T(f(x,y))

其中，f(x,y)表示原始图像的灰度值，z(x,y)表示均衡化后的灰度值，T(f(x,y))表示均衡化函数。

对增强后的图像z(x,y)采用中值滤波方法进行图像去噪，得到去噪后的图像g(x,y)，具体过程如下：

设定一个3*3的邻域窗口，把每个像素点的邻域窗口中的像素值收集起来，然后按照大小顺序进行排序。

按照灰度值的大小依次进行排列，取最中间像素的灰度值代替原有图像中心点的灰度值，此过程可以表示为:

其中，y为处理后图像像素灰度值，即输出灰度值；x_i为处理前图像像素灰度值，n为像素个数且取奇数，得到去除噪声后的图像g(x,y)。

通过OTSU算法对去噪后的缆索缺陷图像g(x,y)进行图像分割，得到分割后的图像d(x,y)。

假设g(x,y)灰度值为i的图像像素数量为n_i，像素总和为N，得到不同像素灰度值i出现的概率为：

图像归一化方程可以表示为：

选择一个合适的阈值，假设阈值为t，像素灰度值大于阈值t分割为目标A，像素灰度值小于等于阈值t的分割为背景B，由此可得p_A和p_B。t的范围为：

L_min-1<t<L_max

μ_A为目标A的类内灰度均值，μ_B为背景B的类内灰度均值，可得：

μ为整个缆索缺陷图像的灰度平均值：

μ＝p_Aμ_B+p_Bμ_B

得到两组间的方差为：

δ²＝p_A(μ_A-μ)²+p_B(μ_B-μ_A)²

采用OTSU算法，对缆索缺陷图像进行图像分割得到分割后的图像d(x,y)。

对图像分割后的图像d(x,y)采用形态学处理进行处理，得到处理后的图像h(x,y)，具体过程如下：

数学形态学通过目标元素特定结构元的相互作用来产生不同的结果，以达到提取图像中与相对应的效果。

设目标图像为A，结构元素为B，膨胀运算的定义为：

其中B为B的映象。膨胀运算可以消除缆索缺陷图像中无用的空洞；

腐蚀运算的可表达为：

腐蚀运算可以过滤缺陷图像中的噪声，以及分离目标的作用；

开运算可表达为：

开运算用于消除缆索缺陷图像中的小的目标物，并断开细长连接；

闭运算的可表达为：

闭运算可以将图像中的物体轮廓进行平滑，并且具有联通区域的作用。

对数学形态学处理后的图像h(x,y)，通过Alex神经网络进行处理，对缆索表面缺陷图像进行分类。

初始化网络参数，将缆索缺陷图像的训练集输入到Alex网络中，对Alex神经网络进行训练；

CCD相机采集到的缆索表面缺陷图像，经过上述图像处理过程后，输入到已经训练完毕的Alex神经网络中，完成对缆索表面缺陷检测。

附图说明

图1是本发明一种缆索表面缺陷检测装置及方法的流程图

图2是所述直方图均衡化的流程图；

图3是所述中值滤波的流程图；

图4是所述OTSU图像分割的流程图；

图5是所述形态学处理的流程图；

固定杆将CCD摄像机固定在缆索上，使其与缆索保持一定的距离和角度。这样可以保证摄像机能够清晰地捕捉到缆索表面的细节，同时避免因为缆索晃动而造成的图像模糊。

通过电源为光源和摄像机提供电源，光源可以根据环境光照调节亮度，以保证采集到的图像清晰可见。由于缆索处于开放环境中，受到自然光的影响，如果没有合适的光源补充，可能会导致图像过暗或过亮，影响缺陷检测的效果。

当摄像机捕获到缆索表面的图像时，通过无线信号发射模块将图像数据发送给无线信号接收模块。这样可以避免使用有线连接方式造成的信号干扰或传输延迟。

无线信号接收模块将图像数据传输给计算器和信号采集卡，计算器对图像进行预处理和缺陷识别，信号采集卡将图像保存在存储器中供后续分析。

对采集到的缆索表面图像进行灰度化处理，采用灰度化处理的方法为加权平均法。

f(x,y)＝0.212671×c_r(x,y)+0.71516×c_g(x,y)+0.072169×c_b(x,y)

加权平均法是将红、绿、蓝三个颜色通道按照不同的权值进行加权平均，得到一个灰度值1。一般来说，人眼对绿色的敏感度最高，对蓝色的敏感度最低，所以通过使用加权平均法可以保证灰度图像的亮度和彩色图像相近。

对灰度化处理后的图像f(x,y)进行直方图均衡化操作，得到增强后的图像z(x,y)

将原始图像的灰度值转换成直方图，并计算图像的灰度分布情况；根据灰度分布情况，计算出图像中每个灰度值的累积概率函数；根据累积概率函数计算出每个灰度值的新灰度值；将原始图像中每个灰度值替换成新灰度值，即可完成图像均衡化，直方图均衡化的公式为：z(x,y)＝T(f(x,y))

确定一个以某个像素为中心点的3*3的窗口，设像素数量为奇数，一般为方形邻域，也可以为圆形、十字形等等；

把每个像素点的邻域窗口中的像素值收集起来，然后按照大小顺序进行排序。排序完成后，可以取出中间值作为新的像素值，此过程可以表示为:

大津法具体步骤为：确定图像的灰度级，并将图像灰度值转换为一维数组。计算图像的灰度直方图，该直方图统计了图像中每个灰度级的像素数量。计算阈值T的熵，即将图像的每个灰度级分成两部分，一个低于T的灰度级，一个高于T的灰度级，分别计算两部分的熵，然后取它们之和的最小值。选择阈值T，该阈值对应的熵值最小，即为最佳分割点。

以最佳分割点为界，将图像分割成两部分，一部分为前景，一部分为背景。将分割得到的前景和背景标记为不同的像素值，从而实现图像的分割。使用OTSU算法对去噪后的缆索缺陷图像g(x,y)进行图像分割，得到分割后的图像d(x,y)。

图像归一化方程可以表示为：

L_min-1<t<L_max

μ为整个缆索缺陷图像的灰度平均值：

μ＝p_Aμ_B+p_Bμ_B

得到两组间的方差为：

δ²＝p_A(μ_A-μ)²+p_B(μ_B-μ_A)²

将图像中的特定区域扩大，通过改变图像中的像素值来实现，将其设置为相邻像素的最大值。设目标图像为A，结构元素为B，膨胀运算的定义为：

腐蚀是将图像中的特定区域缩小，以移除特定特征的过程。它通过改变图像中的像素值来实现，将其设置为相邻像素的最小值。腐蚀运算的可表达为：

开运算是将腐蚀和膨胀连接在一起的过程，用于移除图像中的噪声，开运算可表达为：

闭运算是将膨胀和腐蚀连接在一起的过程，用于填充图像中的洞，闭运算的可表达为：

将已经完成上述图像处理过程的缆索表面图像h(x,y)，输入到Alex神经网络中，达到缆索表面缺陷检测的目的；

AlexNet神经网络模型具有多层级结构，具体包含有输入层1个、卷积层5个、全连接层3个，并且全连接层进行了最大池化；

第一层为输入层；第二层至第六层为卷积层，每层包含不同数量的卷积核，通过第一个卷积层进行卷积计算提取特征，卷积核的大小为11*11*3，个数为96个；

通过大小为3*3的最大池化后，输入到第二个卷积层，第二层卷积的卷积核大小为5*5*48，一共256个

再次通过大小为3*3的最大池化过程后，到达第三个卷积层，其卷积核大小为3*3*256，共384个；

第四层卷积核大小为3*3*192，一共384个；第五层卷积核大小为3*3*192，共256个，之后再次通过3*3的最大池化处理和连续三个全连接层的计算，最后输出缆索缺陷图像的分类结果。

Alex神经网络训练时间较短，占用内存相对较少，并采用双GPU进行数据训练，因此选择AlexNet神经网络对缆索表面图像进行分类。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种针对缆索表面缺陷检测装置及方法，其特征在于，包括如下步骤：

步骤1：通过四个CCD摄像机对缆索进行图像采集，通过无线信号发射模块将图像数据发送给无线信号接收模块，无线信号接收器将图像数据传输给信号采集卡和计算器，得到待检测缆索表面图像；

步骤2：对采集到的缆索图像首先进行灰度化处理，将红，绿，蓝三个颜色按照不同的权值进行加权平均，得到灰度化图像；对处理后图像的灰度值转换为直方图，计算其概率函数，根据函数计算出新的灰度值，完成直方图均衡化；

步骤3：对直方图均衡化后的图像进行中值滤波去噪，确定一个邻域窗口，把每个像素点的邻域窗口中的像素值收集起来，然后按照大小顺序进行排序，选取中值替换原中心像素，完成对缆索表面图像的去噪；

步骤4：采用大津法对缆索缺陷图像进行图像分割，根据每个灰度级的像素数量，计算阈值T，根据阈值T对图像进行分割；对分割后的图像进行膨胀、腐蚀、开运算和闭运算处理，完成缆索表面图像形态学处理；

步骤5：Alex神经网络共9层，包含有输入层1个、卷积层5个、全连接层3个，通过Alex神经网络，对缆索表面缺陷图像进行分类，完成缆索表面缺陷检测。

2.一种缆索表面缺陷图像采集装置，其特征在于，包括图像采集模块与图像接收模块。

3.所述图像采集模块包括CCD摄像机(1)、光源(2)、电源(3)、固定杆(4)、无线信号发射器(5)和图像接收模块(6)。所述图像接收模块(6)包括无线信号接收器(7)、计算机(8)和信号采集卡(9)。

4.电源(3)和光源(2)连接，电源(3)和CCD摄像机(1)连接，CCD摄像机(1)、光源(2)和无线信号发射器(5)设置在固定杆(4)上，固定杆(4)连接在爬索机器人上。共有四个CCD摄像机均匀分布在缆索周围，并且每个CCD摄像机距离缆索表面距离相等。无线信号接收器(7)与信号采集卡(9)连接，信号采集卡(9)与计算机(8)连接。

5.缆索表面图像的预处理：将每一张缆索表面图像进行灰度化处理，它可以将图像从彩色图像转换为灰度图像。

1)灰度图像的特征是，它仅有一种颜色，可以使用灰度图像来表示灰度值，灰度值的范围从0到255，其中0

表示纯黑色，255表示纯白色；

2)通过灰度化处理对每一个像素点进行处理，计算每一个像素的红色、绿色、蓝色三原色的值，然后计算出它们之间的平均值或最大值，从而将彩色图像转换为灰度图像，得到处理后的图像。

6.使用直方图均衡化对灰度化后的图像进行图像增强处理，得到增强后的图像；

1)原始图像的灰度值转换成直方图，并计算图像的灰度分布情况，根据灰度分布情况，计算出图像中每个灰度值的累积概率函数；

2)根据累积概率函数计算出每个灰度值的新灰度值；

3)将原始图像中每个灰度值替换成新灰度值，将原始图像的灰度值的分布拉伸成一个连续的变换，从而使图像的灰度值更加均匀，增强图像的亮度和对比度，完成图像均衡化。

7.对增强后的图像采用中值滤波方法进行图像去噪，得到去噪后的图像。

1)设定一个邻域窗口，这个邻域窗口的大小可以根据图像的大小和噪声的种类来确定。越大的邻域窗口越能将噪声过滤掉，但也会把图像的细节特征抹去；而越小的邻域窗口可以保留图像的细节特征，但是噪声也会被保留下来。

2)把每个像素点的邻域窗口中的像素值收集起来，然后按照大小顺序进行排序。排序完成后，可以取出中间值作为新的像素值，噪声会被抑制，图像的细节特征也会保持不变。

8.使用OTSU算法对去噪后的缆索缺陷图像进行图像分割，得到分割后的图像。

1)确定图像的灰度级，并将图像灰度值转换为一维数组。计算图像的灰度直方图，该直方图统计图像中每个灰度级的像素数量。

2)计算阈值T的熵，即将图像的每个灰度级分成两部分，一个低于T的灰度级，一个高于T的灰度级，分别计算两部分的熵，然后取它们之和的最小值。

3)选择阈值T，该阈值对应的熵值最小，即为最佳分割点。以最佳分割点为界，将图像分割成两部分，一部分为前景，一部分为背景。将分割得到的前景和背景标记为不同的像素值，实现图像的分割。

9.通过形态学处理对图像进行处理，得到处理后的图像。

1)膨胀：膨胀是将图像中的特定区域扩大的过程。它通过改变图像中的像素值来实现，将其设置为相邻像素的最大值；

2)腐蚀：腐蚀是将图像中的特定区域缩小，以移除特定特征的过程。它通过改变图像中的像素值来实现，将其设置为相邻像素的最小值；

3)开运算：开运算是将腐蚀和膨胀连接在一起的过程，用于移除图像中的噪声；

4)闭运算：闭运算是将膨胀和腐蚀连接在一起的过程，用于填充图像中的洞。

10.通过Alex神经网络对图像进行分类，达到缆索表面缺陷检测的目的。

1)AlexNet神经网络模型具有多层级结构，包含有1个输入层、5个卷积层、3个全连接层；

2)将Alex网络的参数进行初始化，将缆索缺陷图像的训练集输入到Alex网络中，对Alex神经网络进行训练；

3)将缆索表面图像输入到训练完毕后的Alex神经网络，Alex网络开始对缆索表面图像进行识别并分类。