CN116228769A - 一种适用于钢丝编织管瑕疵检测的装置及检测方法 - Google Patents

Abstract

本发明公开了一种适用于钢丝编织管瑕疵检测的装置及检测方法,包括依次连接的图像采集装置、图像分割模块和图像分析模块。图像采集装置用于采集编织管的表面图像；图像分割模块用于定位瑕疵区域以及生成瑕疵图像；图像分析模块通过卷积神经网络将瑕疵图像分类；其中，所述图像分割模块包括包括栈式自编码器、二值化模块和图像裁剪模块；栈式自编码器用于将输入图像转换为预测掩膜，二值化模块用于将预测掩膜二值化以获取准确的瑕疵轮廓，图像裁剪模块用于根据瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。本发明通过提取图像特征准确定位瑕疵区域并有效降低噪声干扰，生成易于分类的高质量瑕疵图像，从而保证检测结果的准确性和可靠性。

Description

一种适用于钢丝编织管瑕疵检测的装置及检测方法

技术领域

本发明涉及瑕疵检测技术领域，具体是一种适用于钢丝编织管瑕疵检测的装置及检测方法。

背景技术

钢丝编织管是一种金属软管，它由多层钢丝编织而成，具有较高的强度和耐压性能，可以有效地保护管道内部的介质不受外部环境的影响。钢丝编织管广泛应用于高压液压系统、石油化工、航空航天、机械设备、汽车制造等领域。它具有耐高温、耐腐蚀、耐磨损、耐压等优点，可以满足工业领域对管道的高要求。同时，钢丝编织管还具有一定的柔性，可以在复杂的工作环境中自由弯曲，方便安装和维护。在生产加工后，需要对钢丝编织管进行瑕疵检测，以增强钢丝编织管的品控，从而保证其长期稳定的工作性能。

中国发明专利CN112432954A提出了一种瑕疵检测方法，通过图像采集并识别瑕疵图像，实现了对编织管的自动瑕疵检测。但该发明的技术方案未具体涉及瑕疵图像识别分析的详细过程，因此未能保证该发明瑕疵识别过程的准确性。

发明内容

为解决现有技术存在的问题，本发明采用以下技术方案：

一种适用于钢丝编织管瑕疵检测的装置,包括依次连接的图像采集装置、图像分割模块、图像分析模块和数据存储模块。

图像采集装置用于采集编织管的表面图像；

图像分割模块用于定位瑕疵区域以及生成瑕疵图像；

图像分析模块通过卷积神经网络将瑕疵图像分类；

其中，所述图像分割模块包括包括栈式自编码器、二值化模块和图像裁剪模块；栈式自编码器用于将输入图像转换为预测掩膜，二值化模块用于将预测掩膜二值化以获取准确的瑕疵轮廓，图像裁剪模块用于根据瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。

作为优选方案，所述栈式自编码器由三个自编码器级联构成，包括第一层自编码器、第二层自编码器和第三层自编码器。

作为优选方案，所述第一层自编码器采用降噪自编码器，所述第二层自编码器和第三层自编码器采用稀疏自编码器。

作为优选方案，所述二值化模块采用局部二值化处理预测掩膜。

作为优选方案，所述二值化模块包括局部阈值计算模块；所述局部阈值计算模块用于通过采用递归的思路计算窗口的局部阈值。

作为优选方案，所述二值化模块还包括噪声处理模块；所述噪声处理模块用于通过腐蚀操作和膨胀操作去除噪声。

作为优选方案，还包括数据存储模块；所述数据存储模块与所述图像分析模块通讯连接，用于根据分类存储所述瑕疵图像。

作为优选方案，所述图像采集装置包括中空的圆筒形摄像平台、多个摄像机和多个光源；所述多个摄像机和多个光源分别通过安装支架固定在所述摄像平台的内壁。

本发明还提供了一种适用于钢丝编织管瑕疵检测的方法，包括如下步骤：

S1、训练栈式自编码器；

S2、采集钢丝编织管的表面图像；

S3、根据所述表面图像定位瑕疵区域并裁剪生成瑕疵图像；

S4、使用卷积神经网络将所述瑕疵图像分类；

S5、根据分类存储所述瑕疵图像；

其中，所述步骤S3具体包括：

S31、将所述表面图像转换为预测掩膜；

S32、将所述预测掩膜通过局部二值化获取准确的瑕疵轮廓；

S33、根据所述瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。

所述步骤S32具体包括：

S321、将图像划分为多个窗口，并设定用于结束迭代的预设幅度，并选定一个窗口为目标窗口；

S322、设置阈值为所述目标窗口中的灰度最大值和灰度最小值的平均值；

S323、根据阈值将所述目标窗口中的像素点分为两类，第一类为像素值小于该阈值的背景区域，第二类为像素值大于该阈值的前景区域；

S324、计算所述背景区域的灰度平均值得到背景灰度值，计算所述前景区域的灰度平均值得到前景灰度值，计算背景灰度值和前景灰度值的平均值得到结果平均值；

S325、计算所述结果平均值和所述阈值的差值，再将差值的绝对值与阈值的比值作为变化幅度；若该变化幅度大于所述的预设幅度，则将结果平均值设为阈值，并返回步骤S323；若该变化幅度小于或等于所述的预设幅度，则将结果平均值设为目标窗口对应的局部阈值，进入S326；

S326、若有窗口还未处理，则选定一个未处理过的窗口作为目标窗口，返回步骤S322；若所有窗口都已处理，则结束迭代。

与现有技术相比，本发明具有如下有益效果：

本发明通过图像分割模块实现了准确定位瑕疵区域以及生成易于分类的高质量瑕疵图像，从而保证检测结果的准确性和可靠性。

本发明采用的由三个自编码器级联而成的栈式自编码器在训练过程中收敛性快准确度高，且在使用过程中具备良好的降噪效果。

本发明通过采用自适应的局部二值化处理能准确地分割预测掩膜，并通过腐蚀操作和膨胀操作进一步消除噪声的影响。

本发明通过图像采集装置采集钢丝编织管的表面图像，能有效降低钢丝编织管的曲面不规则反光导致的晕光现象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例适用于钢丝编织管瑕疵检测的装置的架构框图；

图2为本发明实施例提供的图像采集装置的截面图；

图3为本发明实施例提供的图像分割模块的架构框图；

图4为本发明实施例适用于钢丝编织管瑕疵检测的方法的流程框图；

图5为本发明实施例通过局部二值化获取准确的瑕疵轮廓的流程框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

请参阅图1，本发明公开了一种适用于钢丝编织管瑕疵检测的装置，包括依次连接的图像采集装置、图像分割模块、图像分析模块和数据存储模块。

图像采集装置用于采集编织管的表面图像。

图像分割模块用于定位瑕疵区域以及生成瑕疵图像。

图像分析模块通过卷积神经网络将瑕疵图像分类。

数据存储模块用于根据分类存储所述瑕疵图像。

请参阅图2，图像采集装置包括中空的圆筒形摄像平台11、四个摄像机12和十六个光源13。摄像机12用于通过摄像采集编织管100的表面图像，光源13为摄像机12提供适配工作环境的光源。

为降低外部环境因素对采集的图像效果的影响，减少后续定位瑕疵区域和裁剪图像的输入数据的噪声，图像采集装置还包括顶盖和底盖（图中未示出），用于封装摄像平台11。顶盖和底盖的中心都设有圆形通孔，通孔的半径稍大于编织管100。编织管100穿过顶盖和底盖的通孔，通孔为支撑编织管100提供支撑，使编织管100固定于摄像平台11的中心。

其中，四个摄像机12和十六个光源13分别通过相应的安装支架固定在摄像平台11的内壁。为了表述方便，此处将水平布置的摄像机所在高度对应的平面称为摄像机平面，水平布置的光源所在高度对应的平面称为光源平面。

相邻的摄像机12之间等距布置，即相邻的摄像机与摄像机平面圆心的连线之间夹角为90°，以使图像采集装置可以获取四个角度的编织管的表面图像。相邻的光源13之间同样等距布置，即相邻的光源13与其所在的光源平面圆心的连线之间夹角为22.5°，用于发出散射光为摄像机12提供均匀的照明，从而有效降低钢丝编织管的曲面不规则反光导致的晕光现象。

进一步地，请参阅图3，图像分割模块包括栈式自编码器、二值化模块和图像裁剪模块，栈式自编码器用于将输入图像转换为预测掩膜，二值化模块用于将预测掩膜二值化以获取准确的瑕疵轮廓，图像裁剪模块用于根据瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。

其中，栈式自编码器是对自编码器的一种使用方法，由多层训练好的自编码器级联构成。自编码器基于反向传播算法与梯度下降算法，利用输入数据本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出。自编码器由输入层、隐藏层和输出层组成，其中从输入层到隐藏层部分定义为编码器，隐藏层到输出层部分定义为译码器；编码器用于将高维的输入数据编码成低维的隐变量从而强迫神经网络学习最有信息量的特征；解码器用于把隐藏层的隐变量还原到初始维度，从而得到一个重构输出。

在一实施例中，栈式自编码器由三个自编码器级联构成。其中，第一层自编码器将灰度图像作为输入数据，其中，灰度图像由图像采集装置经过灰度化处理和分辨率调整得到。经过编码处理，第一层自编码器的隐藏层得到输出数据并将其作为第二层自编码器的输入数据，即第一层自编码器的隐藏层作为作为第二层自编码器的输入层。第二层自编码器的隐藏层的输出数据作为第三层自编码器的输入数据。而第三层自编码器经过编码和解码生成预测掩膜，并将预测掩膜传输至二值化模块。上述三个自编码器都经过单独训练，因而每一层都初始化了较为合理的参数，使得整个栈式自编码器的训练更加容易，收敛性更快，准确度更高。

然而，受模型复杂度、训练集数据量以及数据噪音等问题的影响，通过自编码器得到的初始模型往往存在过拟合的风险。在钢丝编织管瑕疵检测中，存在部分模态的信息对结果的判断影响并不大。为此，栈式自编码器中的第一层自编码器采用降噪自编码器。其中，降噪自编码器通过学习引入噪声的训练样本，提升了从测试样本中提取干净数据点的能力，从而改善了当测试样本和训练样本不符合同一分布时的输出效果。

进一步地，栈式自编码器中第二层自编码器和第三层自编码器采用稀疏自编码器。稀疏自编码器在自编码器的基础上加上了L1的正则限制，将自编码器的隐藏层稀疏化，以实现当隐藏层包含的隐藏神经元数量较大时自编码器仍可以获取输入的压缩表示。

基于上述实施例，二值化模块用于通过自适应阈值二值化处理以获取瑕疵轮廓。具体的，自适应阈值二值化是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。自适应阈值二值化根据自适应阈值的作用范围可分为两种：全局二值化和局部二值化。其中，全局二值化使用特定的全局阈值将整个图像分割成大于全局阈值的部分和小于全局阈值的部分，并依此将两部分的像素划分设定为黑色和白色。

在具体实施过程中，受光源13和编织管100反光的噪声影响，全局二值化的全局阈值分割效果并不理想。因此二值化模块采用局部二值化处理预测掩膜。具体的，局部二值化能根据预先设定的规则将图像划分为多个窗口，然后对这多个窗口中的每一个窗口再按照一个统一的阈值将该窗口内的像素划分为两部分，进行二值化处理。局部二值化的窗口可以根据图像不同区域亮度划分以及设定局部阈值，依此减少噪声的影响。局部阈值化优点在于可以进行多目标分割，但缺点在于基于局部阈值难以选定，且处理后的图像包含噪声。

在一实施例中，对于二值化模块的局部阈值选定的问题，现有技术中通常的取值为某个窗口中的灰度极大值和灰度最小值的平均值，该取值不够精确。为获取更精确的局部阈值，二值化模块包括局部阈值计算模块，局部阈值计算模块用于通过采用递归的思路计算上述窗口的局部阈值。局部阈值计算模块的计算过程如下：

A1、将图像划分为多个窗口，并设定用于结束迭代的预设幅度，并选定一个窗口为目标窗口；

A2、设置阈值为目标窗口中的灰度极大值和灰度最小值的平均值；

A3、根据阈值将目标窗口中的像素点分为两类，第一类为像素值小于该阈值的背景区域，第二类为像素值大于该阈值的前景区域；

A4、计算背景区域的灰度平均值得到背景灰度值，计算前景区域的灰度平均值得到前景灰度值，计算背景灰度值和前景灰度值的平均值得到目标平均值；

A5、计算目标平均值和阈值的差值，并将差值的绝对值与阈值的比值作为变化幅度；若该变化幅度大于所述的预设幅度，则将背景灰度平均值和前景灰度平均值的平均值设为阈值并返回步骤A3；若该变化幅度小于所述的预设幅度，则将背景灰度平均值和前景灰度平均值的平均值设为最终计算结果即局部阈值，则进入A6；

A6、若有窗口还未处理，则选定一个未处理过的窗口作为目标窗口，返回步骤A2；若所有窗口都已处理，则结束迭代。

局部阈值计算模块通过迭代逼近计算出最适用于当前工作环境的局部阈值赋予二值化模块，从而使二值化模块更准确地分割预测掩膜。

在一实施例中，为解决处理后的图像包含噪声的问题，二值化模块还包括噪声处理模块。噪声处理模块用于通过腐蚀操作和膨胀操作去除噪声。其中，腐蚀操作使用一个结构元素来移除图像中的对象，从而使图像中的物体变得更加细小；膨胀操作使用一个结构元素来填补图像中的空白区域，从而使图像中的物体变得更加饱满。

进一步地，在腐蚀操作和膨胀操作的基础上可构造开运算和闭运算，开运算是指先进行腐蚀操作再进行膨胀操作的过程，用于消除小于结构元素的物体，再纤细点处分离物体和平滑较大物体的边界；而闭运算是指先进行膨胀操作再进行腐蚀操作的过程，用于填充物体内的细小空洞和连接邻近物体。在具体实施过程中，噪声处理模块先进行闭运算再进行开运算，能获得更符合预期的噪声处理效果。

基于上述实施例，图像裁剪模块用于计算瑕疵轮廓的最小外接矩形并依此裁剪得到瑕疵图像。进一步地，图像裁剪模块可基于OpenCV的基础库实现。

基于上文，本发明通过采用图像分割模块提取图像特征以准确定位瑕疵区域并有效降低噪声干扰，生成易于分类的高质量瑕疵图像，从而保证检测结果的准确性和可靠性。

为实现对瑕疵图像的准确分类以供用户参考和决策，图像分析模块采用卷积神经网络。卷积神经网络是一种深度学习模型，通过学习卷积核来提取瑕疵图像中的特征，从而对瑕疵图像进行分类。卷积神经网络包括输入层、卷积层、激活层、激活层、池化层、全连接层和输出层。其中，输入层用于将瑕疵图像输入到卷积神经网络中，其为一个三维的张量，包含图像的高度、宽度和通道数；卷积层通过卷积核对图像进行卷积操作，提取图像中的特征；激活层用于对卷积层的输出进行非线性变换，增强特征的表达能力；池化层用于对特征图进行下采样，减少特征图的尺寸，池化层可以降低计算量，同时也可以防止过拟合；全连接层用于将池化层的输出展平成一维向量，并连接到多个全连接层中，全连接层对特征进行分类，并输出最终的分类结果；输出层用于输出分类结果，分类结果为一个包含多个类别的概率分布。进一步地，在训练卷积神经网络模型时，使用反向传播算法来更新卷积核和全连接层的权重，以最小化损失函数。

进一步地，为提供瑕疵图像的存储功能以便管理人员对编织管瑕疵信息整理和分析，数据存储模块用于根据瑕疵类别存储瑕疵图像。数据存储模块可通过主流的数据库产品实现，管理人员可通过访问数据存储模块获取瑕疵图像以采取相应的措施。

请参阅图4，本发明还公开了一种适用于钢丝编织管瑕疵检测的方法，包括：

S1、训练栈式自编码器；

S2、采集钢丝编织管的表面图像；

S3、根据所述表面图像定位瑕疵区域并裁剪生成瑕疵图像；

S4、使用卷积神经网络将所述瑕疵图像分类；

S5、根据分类存储所述瑕疵图像；

其中，步骤S3具体包括：

S31、将所述表面图像转换为预测掩膜；

S32、将所述预测掩膜通过局部二值化获取准确的瑕疵轮廓；

S33、根据所述瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。

其中，步骤S31通过采用栈式自编码器实现，该栈式自编码器由三个自编码器级联构成。栈式自编码器中的第一层自编码器采用降噪自编码器，栈式自编码器中第二层自编码器和第三层自编码器采用稀疏自编码器。上述三个自编码器都经过单独训练，因而每一层都初始化了较为合理的参数，使得整个栈式自编码器的训练更加容易，收敛性更快，准确度更高。

进一步地，对于二值化的局部阈值选定的问题，现有技术中通常的取值为某个窗口中的灰度极大值和灰度最小值的平均值，该取值不够精确。为获取更精确的局部阈值，步骤S32采用递归思路进行计算。请参阅图5，步骤S32具体包括：

S321、将图像划分为多个窗口，并设定用于结束迭代的预设幅度R，并选定一个窗口为目标窗口；

S322、设置阈值T为目标窗口中的灰度极大值

和灰度最小值/>

的平均值，阈值T表示为：

S323、根据阈值T将目标窗口中的像素点分为两类，第一类为像素值小于该阈值T的背景区域，第二类为像素值大于该阈值T的前景区域，设置迭代次数i的值为0；

S324、计算背景区域的灰度平均值得到背景灰度值

，计算前景区域的灰度平均值得到前景灰度值/>

，计算背景灰度值/>

和前景灰度值/>

的平均值得到目标平均值/>

，表示为：

S325、计算目标平均值和阈值的差值，并将差值的绝对值与阈值的比值作为变化幅度

，变化幅度表示为/>

：

若该变化幅度大于预设幅度，则将背景灰度平均值和前景灰度平均值的平均值设为阈值，即

，并返回步骤S323；

若该变化幅度小于或等于预设幅度，则将背景灰度平均值和前景灰度平均值的平均值设为最终计算结果即局部阈值，则进入S326；

S326、若有窗口还未处理，则选定一个未处理过的窗口作为目标窗口，返回步骤S322；若所有窗口都已处理，则结束迭代。

进一步地，为解决处理后的图像包含噪声的问题，步骤S32还包括：通过腐蚀操作和膨胀操作去除噪声。其中，腐蚀操作使用一个结构元素来移除图像中的对象，从而使图像中的物体变得更加细小；膨胀操作使用一个结构元素来填补图像中的空白区域，从而使图像中的物体变得更加饱满。进一步地，在腐蚀操作和膨胀操作的基础上可构造开运算和闭运算，开运算是指先进行腐蚀操作再进行膨胀操作的过程，用于消除小于结构元素的物体，再纤细点处分离物体和平滑较大物体的边界；而闭运算是指先进行膨胀操作再进行腐蚀操作的过程，用于填充物体内的细小空洞和连接邻近物体。在实施过程中，上述通过腐蚀操作和膨胀操作去除噪声具体为先进行闭运算再进行开运算。

以上内容仅仅是对本发明结构所做的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.一种适用于钢丝编织管瑕疵检测的装置,其特征在于：包括依次连接的图像采集装置、图像分割模块和图像分析模块;

图像采集装置用于采集编织管的表面图像；

图像分割模块用于定位瑕疵区域以及生成瑕疵图像；

图像分析模块通过卷积神经网络将瑕疵图像分类；

其中，所述图像分割模块包括栈式自编码器、二值化模块和图像裁剪模块；栈式自编码器用于将输入图像转换为预测掩膜，二值化模块用于将预测掩膜二值化以获取准确的瑕疵轮廓，图像裁剪模块用于根据瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。

2.根据权利要求1所述的装置，其特征在于：所述栈式自编码器由三个自编码器级联构成，包括第一层自编码器、第二层自编码器和第三层自编码器。

3.根据权利要求2所述的装置，其特征在于：所述第一层自编码器采用降噪自编码器，所述第二层自编码器和第三层自编码器采用稀疏自编码器。

4.根据权利要求1所述的装置，其特征在于：所述二值化模块采用局部二值化处理预测掩膜。

5.根据权利要求4所述的装置，其特征在于：所述二值化模块包括局部阈值计算模块；所述局部阈值计算模块用于通过采用递归的思路计算窗口的局部阈值。

6.根据权利要求4所述的装置，其特征在于：所述二值化模块还包括噪声处理模块；所述噪声处理模块用于通过腐蚀操作和膨胀操作去除噪声。

7.根据权利要求1所述的装置，其特征在于：还包括数据存储模块；所述数据存储模块与所述图像分析模块通讯连接，用于根据分类存储所述瑕疵图像。

8.根据权利要求1所述的装置，其特征在于：所述图像采集装置包括中空的圆筒形摄像平台、多个摄像机和多个光源；所述多个摄像机和多个光源分别通过安装支架固定在所述摄像平台的内壁。

9.一种适用于钢丝编织管瑕疵检测的方法,其特征在于：包括如下步骤：

S1、训练栈式自编码器；

S2、采集钢丝编织管的表面图像；

S3、根据所述表面图像定位瑕疵区域并裁剪生成瑕疵图像；

S4、使用卷积神经网络将所述瑕疵图像分类；

S5、根据分类存储所述瑕疵图像；

其中，所述步骤S3具体包括：

S31、将所述表面图像转换为预测掩膜；

S32、将所述预测掩膜通过局部二值化获取准确的瑕疵轮廓；

S33、根据所述瑕疵轮廓提取最小封闭矩形区域并依此裁剪得到瑕疵图像。

10.根据权利要求9所述的方法，其特征在于：所述步骤S32具体包括：

S321、将图像划分为多个窗口，并设定用于结束迭代的预设幅度，并选定一个窗口为目标窗口；

S322、设置阈值为所述目标窗口中的灰度最大值和灰度最小值的平均值；

S323、根据阈值将所述目标窗口中的像素点分为两类，第一类为像素值小于所述阈值的背景区域，第二类为像素值大于所述阈值的前景区域；

S324、计算所述背景区域的灰度平均值得到背景灰度值，计算所述前景区域的灰度平均值得到前景灰度值，计算背景灰度值和前景灰度值的平均值得到结果平均值；

S325、计算所述结果平均值和所述阈值的差值，再将差值的绝对值与阈值的比值作为变化幅度；若该变化幅度大于所述的预设幅度，则将结果平均值设为阈值，并返回步骤S323；若该变化幅度小于或等于所述的预设幅度，则将结果平均值设为目标窗口对应的局部阈值，进入S326；

S326、若有窗口还未处理，则选定一个未处理过的窗口作为目标窗口，返回步骤S322；若所有窗口都已处理，则结束迭代。

Images