CN117788381A - 一种基于双角度偏差估计的螺栓松动检测方法 - Google Patents

Abstract

本发明公开了一种基于双角度偏差估计的螺栓松动检测方法，步骤为：（1）设置机器人巡检点，绘制红色防松线；（2）针对每一个巡检点，手动采集原始图并设置任务；（3）在多个时段对巡检全程的目标螺栓进行数据采集，然后对防松线进行数据标注并训练图像分割模型；（4）在螺栓松动检测的巡检任务中，针对每一个巡检点拍照，纠偏后提取螺栓顶部区域和螺栓底座区域，分别使用图像分割获取两部分的防松线的mask图并使用PCA模型分别计算获取两部分的角度；将螺栓顶部防松线角度与底座防松线角度计算偏差并判断螺栓是否松动。本发明采集并训练红色防松线的图像分割网络具备泛性，可以应用于不同项目场景，并不需要反复重新训练模型。

Description

一种基于双角度偏差估计的螺栓松动检测方法

技术领域

本发明属于螺栓检测技术领域，特别涉及一种基于双角度偏差估计的螺栓松动检测方法。

背景技术

机械设备上的螺栓松动可能导致结构物或设备的失稳和损坏，甚至可能引发事故，造成人员和财产的损失。传统的螺栓巡检通常需要人员进行高空作业或进入危险环境，存在一定的安全风险，且需要大量人员定期投入维护，人力成本高且可能存在疏漏误差。

以往的方法，采用目标检测螺栓的特定特征来实现，这个方法不适用于大部分无特定表面特征螺栓的；且每一种不同特征的螺栓都需要进行图像采集，训练等环节，算法不具备多种场景的泛化能力，增大工作量。

首先，现有产品大都是针对于特定类型螺栓，不具备很强的泛型。当遇到多种类型螺栓组合的场景，需要不断进去补充数据，针对螺栓各个类型进行专门的模型训练。采用霍夫变换等传统方法从二值化图像中提取角度或边缘的方法，则需要针对不同类型的螺栓重新设计特征点，并修改判断逻辑。目前市面上大部分产品会因螺栓类型的增加而不断增加工作量，整体程序的判断逻辑不断复杂和冗余。

其次，现有很多产品尝试针对当前螺栓提取外部特征，再与内置的原始图的外部特征进行对比，通过角度差异计算松动角度。以非常常见的六角螺栓为例，螺栓的外部非常规则，寻找60度之后的外部特征会与之前重叠，有效的检测范围之后0～60度之间。这样的方式极有可能在螺栓大角度松动后未能及时有效地给出告警，容易出现严重的安全隐患。

最后，现有产品大部分都是针对一些指定螺栓采集图像进行松动判断，缺乏一整套成熟高效，可行性高，可以实际落地应用于社会生产生活的整体性全套解决方案。以及该方案如何可以真正实现自动化，并有效检测数量庞大的设备上多类型螺栓的松动情况，及时给出告警，为安全护航。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于双角度偏差估计的螺栓松动检测方法，采集并训练红色防松线的图像分割网络具备泛性，可以应用于不同项目场景，并不需要反复重新训练模型；根据定点拍照的流程采取模板匹配的方式来定位螺栓区域，更加精准且无需训练目标检测网络。

技术方案：为解决上述技术问题，本发明提供一种基于双角度偏差估计的螺栓松动检测方法，包括如下步骤：

步骤1、设置机器人巡检点，绘制红色防松线；

步骤2、针对每一个巡检点，手动采集原始图并设置任务；

步骤3、在多个时段对巡检全程的目标螺栓进行数据采集，然后对防松线进行数据标注并训练图像分割模型；

步骤4、在螺栓松动检测的巡检任务中，针对每一个巡检点拍照，纠偏后提取螺栓顶部区域和螺栓底座区域，分别使用图像分割获取两部分的防松线的mask图并使用PCA模型分别计算获取两部分的角度；将螺栓顶部防松线角度与底座防松线角度计算偏差并判断螺栓是否松动。

进一步的，所述步骤1中设置机器人巡检点，绘制红色防松线的具体步骤如下：

步骤1.1、设置好巡检机器人云台定点拍照的定位和旋转角度，确保拍摄到清晰地正面螺栓照片；

步骤1.2、在螺栓顶部连通底座绘制红色防松线，确保此时螺栓处于未松动状态，防松线绘制为一条清晰明显的直线，在螺栓顶部和底座都有足够的长度，顶部与底座的防松线的直线角度一致，可以呈现为同一条直线或者两条平行线的形式。

进一步的，所述步骤2中手动采集原始图并设置任务的具体步骤如下：

步骤2.1、根据先前设置的巡检点，绘制完所有的红色防松线，确保目前所有的螺栓都处于未松动状态后，巡检机器人执行一次全程巡检任务，对所有绘制完防松线的螺栓执行定点拍照任务，采集该巡检点的原始图像并存储；

步骤2.2、针对所有巡检点的原始图，手动在原始图标定螺栓目标的外接矩形框；然后继续在原始图底座上防松线区域标定矩形目标框；将螺栓外接框和螺栓底部的防松线扩展矩形框都以BBOX参数形式记录在对应巡检点的配置文件中。

进一步的，所述步骤3中对防松线进行数据标注并训练图像分割模型的具体步骤如下：

步骤3.1、使用labelme工具对巡检机器人采集的所有螺栓定点照片，进行红色防松线的标注；

步骤3.2、将标注过的图像作为训练数据，采用STDC网络训练针对红色防松线的图像分割网络模型。

进一步的，所述步骤4中将螺栓顶部防松线角度与底座防松线角度计算偏差并判断螺栓是否松动的具体步骤如下：

步骤4.1、日常巡检中定点拍摄待检测的图像，根据巡检点信息调用预先存储的原始图的螺栓区域作为模板图，将模板图与现场拍摄的图像采用归一化算法进行模板匹配；

步骤4.2、通过步骤4.1的模板匹配算法，计算出本轮图像与该巡检点的原始图存在的偏差值；在原始图中的螺栓外接矩形标定框的位置加上模板匹配计算得到的偏差值，得到本轮纠偏后的螺栓外接框的坐标信息；在原始图中的螺栓底座区域防松线的标定框的位置加上模板匹配计算得到的偏差值，得到本轮纠偏后螺栓底座防松线的标定框的坐标信息；

步骤4.3、调用步骤3中训练获得的防松线图像分割网络模型，分别对螺栓外接框和螺栓底座防松线的标定框进行推理计算，获得螺栓防松线mask图和底座防松线mask图；

步骤4.4、分别提取这两部分防松线mask图的最大联通区域；使用opencv的findContours函数提取mask的边缘轮廓，通过遍历找到最大的轮廓区域，内部填充后提取出来，获得处理后的螺栓防松线mask图和底座防松线mask图；

步骤4.5、使用Kernel PCA(Principal Component Analysis)模型分别拟合步骤4.4中提取的两部分mask图；Kernel PCA使用径向基函数核(Radial Basis FunctionKernel)将mask数据映射到高维特征空间，再使用PCA拟合主方向并使用计算角度angle1与angle2；

步骤4.6、对步骤4.5中计算获得的angle1与angle2进行对比，若两个角度的差异超过阈值，则认为螺栓零件上的防松线与螺栓底座上的防松线发生了位移偏差，提示螺栓松动；若两个角度的差异小于阈值，则提示螺栓未松动。

进一步的，所述步骤4.1中采用归一化算法进行模板匹配的具体步骤如下：其中归一化算法为NCC算法；

对于给定的图像I和模板T，以及对应均值μ_I和μ_T,NCC表示为：

其中，(x,y)表示图像I上的位置，(i,j)∈ROI区域，这里与模板图的大小相一致；NCC(x,y)越接近于1，表示该位置与模板的匹配度越高；通过选择阈值来确定匹配的位置。

进一步的，所述步骤4.5中使用PCA拟合主方向并使用计算角度的具体步骤如下：

将mask图中所有的非零像素点组成数据{p₁,p₂,…,p_N}，其中p_i表示非零像素点的坐标(x_i,y_i)，然后定义一个核函数K_ij，计算任意两个数据点之间的内积：

K_ij＝κ(p_i,p_j)

其中K是核矩阵，包含了数据点之间的内积；然后将核矩阵K居中，以确保平均值为0，具体公式如下：

K_c＝K-1_nK-K1_n+1_nK1_n

其中1_n表示元素都为1的n×n矩阵；然后将居中核矩阵进行特征值分解，获得获得对应的特征值{λ₁,λ₂,…,λ_d}和特征向量{v₁,v₂,…,v_d}；选择2个特征值最大的特征向量作为主成分，表示为eigenvecs；然后使用反三角函数arctan来计算主要方向的角度：

通过以上流程，计算螺栓防松线mask图获得角度angle1，计算底座防松线mask图获得角度angle2。

与现有技术相比，本发明的优点在于：

本发明并不依赖于目标检测网络识别特定螺栓来获取旋转角度。采集并训练红色防松线的图像分割网络具备泛性，可以应用于不同项目场景，并不需要反复重新训练模型；根据定点拍照的流程采取模板匹配的方式来定位螺栓区域，更加精准且无需训练目标检测网络。相比之下，本发明具有较高的泛化能力和更高的部署效率。

检测效果方面，以往方法非常依赖于精确的目标检测结果用来定位以计算旋转误差，非常依赖于目标检测结果，受环境影响非常大。本发明定点拍照的模板匹配可以进一步确定螺栓位置信息，从而排除一定的定位误差；此外，依赖于螺栓外观变化获得旋转角度的方法，在面对比较规则的螺栓(如六角螺栓)可识别的角度变化较小，而本方法通过防松线拟合计算角度，可识别的角度范围大大提升。

本发明采用巡检机器人代替人工进行螺栓松动检测，在安全性方面，能够定期检测螺栓的紧固状态，发现松动情况，及时采取修复措施，从而提升设备和结构物的安全性，减少潜在的事故风险；在效率方面，相比人工巡检，巡检机器人能够以更高的速度和准确性进行检测工作。机器人可以自主导航并执行巡检任务，不受人力限制，大大减少了巡检时间和成本，同时减少了人为因素带来的误差，节约了人力资源。总的来说，巡检机器人在检测螺栓松动方面发挥重要作用，为社会带来了显著的价值。

本发明，包括但不限于通过目标检测与分割获得螺栓mask图，与原始图像进行误差阈值判断；采用深度学习及霍夫变换获取螺栓边缘信息，在用霍夫变换计算角度；通过视觉算法获取外露螺栓的长度再进行判断。

附图说明

图1为本发明的流程图；

图2为具体实施例中某个螺栓巡检点绘制完防松线后的照片；

图3为具体实施例中某个螺栓巡检点标定完螺栓外接框和底座防松线标定框的图；

图4为具体实施例中某个螺栓巡检点标定完螺栓外接框和底座防松线标定框的图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，一种基于双角度偏差估计的螺栓松动检测方法，包括如下步骤：

S1：设置机器人巡检点，绘制红色防松线；

S2：针对每一个巡检点，手动采集原始图并设置任务；

S3：在多个时段对巡检全程的目标螺栓进行数据采集，然后对防松线进行数据标注并训练图像分割模型；

S4：在螺栓松动检测的巡检任务中，针对每一个巡检点拍照，纠偏后提取螺栓顶部区域和螺栓底座区域，分别使用图像分割获取两部分的防松线的mask图并使用PCA模型分别计算获取两部分的角度；将螺栓顶部防松线角度与底座防松线角度计算偏差并判断螺栓是否松动；

进一步的，在步骤S1中，所述的设置巡检点与绘制防松线包括以下步骤：

S11：设置好巡检机器人云台定点拍照的定位和旋转角度，确保可以清晰地正面拍摄到螺栓照片；

S12：在螺栓顶部连通底座绘制红色防松线，确保此时螺栓处于未松动状态，防松线绘制为一条清晰明显的直线，在螺栓顶部和底座都有足够的长度，顶部与底座的防松线的直线角度一致，可以呈现为同一条直线或者两条平行线的形式；

进一步的，步骤S2中，手动采集原始图并设置任务包括以下步骤：

S21：根据先前设置的巡检点，我们在绘制完所有的红色防松线后，确保目前所有的螺栓都处于未松动状态后，巡检机器人执行一次全程巡检任务，对所有绘制完防松线的螺栓执行定点拍照任务，采集该巡检点的原始图像并存储。

S22：针对所有巡检点的原始图，手动在原始图标定螺栓目标的外接矩形框；然后继续在原始图底座上防松线区域标定矩形目标框；将螺栓外接框和螺栓底部的防松线扩展矩形框都以BBOX参数形式记录在对应巡检点的配置文件中。

进一步的，在步骤S3中，所述的训练图像分割模型包括以下步骤：

S31：使用labelme工具对巡检机器人采集的所有螺栓定点照片，进行红色防松线的标注；

S32：将标注过的图像作为训练数据，采用STDC网络训练针对红色防松线的图像分割网络模型。

进一步的，在步骤S4中，在获取巡检点原始图防松线角度包括以下步骤：

S41：日常巡检中定点拍摄待检测的图像，根据巡检点信息调用预先存储的原始图的螺栓区域作为模板图，将模板图与现场拍摄的图像采用归一化互相关(NCC)算法进行模板匹配。对于给定的图像I和模板T，以及对应均值μ_I和μ_T,NCC可以表示为：

其中，(x,y)表示图像I上的一个可能位置，(i,j)∈ROI区域，这里与模板图的大小相一致。NCC(x,y)越接近于1，表示该位置与模板的匹配度越高。我们可以选择阈值来确定匹配的位置。

S42：通过S51的模板匹配算法，计算出本轮图像与该巡检点的原始图存在的偏差值。在原始图中的螺栓外接矩形标定框的位置加上模板匹配计算得到的偏差值，得到本轮纠偏后的螺栓外接框的坐标信息。在原始图中的螺栓底座区域防松线的标定框的位置加上模板匹配计算得到的偏差值，得到本轮纠偏后螺栓底座防松线的标定框的坐标信息；

S43：调用步骤S32训练获得的防松线图像分割网络模型，分别对螺栓外接框和螺栓底座防松线的标定框进行推理计算，获得螺栓防松线mask图和底座防松线mask图。

S44：分别提取这两部分防松线mask图的最大联通区域。使用opencv的findContours函数提取mask的边缘轮廓，通过遍历找到最大的轮廓区域，内部填充后提取出来，获得处理后的螺栓防松线mask图和底座防松线mask图。

S45：使用Kernel PCA(Principal Component Analysis)模型分别拟合S44步骤中提取的两部分mask图。Kernel PCA使用径向基函数核(Radial Basis Function Kernel)将mask数据映射到高维特征空间，再使用PCA拟合主成分。相比于直接使用标准PCA拟合，Kernel PCA更适用于非线性数据，有效提升拟合主成分方向的准确性。具体流程如下：

将mask图中所有的非零像素点组成数据{p₁,p₂,…,p_N}，其中p_i表示非零像素点的坐标(x_i,y_i)，然后定义一个核函数K_ij，它可以计算任意两个数据点之间的内积：

K_ij＝κ(p_i,p_j)

其中K是核矩阵，包含了数据点之间的内积。然后将核矩阵K居中，以确保平均值为0，具体公式如下：

K_c＝K-1_nK-K1_n+1_nK1_n

其中1_n表示元素都为1的n×n矩阵。然后将居中核矩阵进行特征值分解，获得获得对应的特征值{λ₁,λ₂,…,λ_d}和特征向量{v₁,v₂,…,v_d}。选择2个特征值最大的特征向量作为主成分，表示为eigenvecs。然后使用反三角函数arctan来计算主要方向的角度：

通过以上流程，计算螺栓防松线mask图获得角度angle1，计算底座防松线mask图获得角度angle2。

S46：对步骤S45计算获得的angle1与angle2进行对比，若两个角度的差异超过阈值，则认为螺栓零件上的防松线与螺栓底座上的防松线发生了位移偏差，因此可判断螺栓发生了松动。

本发明通过巡检机器人在所有需要检测螺栓松动的区域都设置了巡检点，在螺栓顶部和底座绘制一条连续的红色防松直线或者两条平行的红色防松线，并保存巡检点原始图。在巡检点原始图上标定螺栓目标框和螺栓底座上的防松线标定框，将框的坐标信息存储在巡检点的配置文件中。然后通过采集的图像标注训练红色防松线后，训练STDC图像分割网络模型。然后在巡检任务中，定点拍照采用NCC模板匹配获得纠偏后的螺栓标定位置区域和螺栓底座上的防松线标定区域。使用训练好的图像分割模型分别获取螺栓上的防松线mask图和底座上的防松线mask图，分别提取最大联通区域后，再分别通过Kernel PCA拟合方向获得角度。将两块mask区域计算获得的角度进行对比，判断螺栓是否松动。相比与以往的方式，本方法本发明能够适应各种不同环境，螺栓松动判断不依赖与特定的螺栓形状，更加快速准确地判断螺栓松动情况。

如图2-4所示，在某个现场部署了巡检机器人，并应用了基于本发明的螺栓松动检测算法，用于检测地铁车厢底部螺栓是否发生松动情况，并及时提供告警并上报巡检点信息。如图2所示，根据事先设置的定点拍照角度，在确保螺栓未松动的情况下，在每个螺栓上绘制红色的防松线，并确保螺栓上部的防松线角度与螺栓底座的防松线角度保持一致。图3所示，使用工具在巡检点配置中分别绘制每个螺栓顶部外接框和底部防松线的目标框，这些框的位置信息以参数形式提前存储到配置文件中。图4所示，在执行巡检点任务时，将定点拍照的图像通过模板匹配矫正偏移后，直接读取预先设置好的防松线目标框，获取螺栓外接框的局部图和底座防松线的局部图。通过训练好的STDC防松线图像分割模型进行推理，获取mask图，然后使用Kernel PCA拟合方向获取角度。最后，基于这两部分角度信息进行逻辑判断，确定是否发生螺栓松动情况。

以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所作的等同替换，均应包含在本发明的保护范围之内。本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。

Claims (7)

1.一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，包括如下步骤：

步骤1、设置机器人巡检点，绘制红色防松线；

步骤2、针对每一个巡检点，手动采集原始图并设置任务；

步骤3、在多个时段对巡检全程的目标螺栓进行数据采集，然后对防松线进行数据标注并训练图像分割模型；

步骤4、在螺栓松动检测的巡检任务中，针对每一个巡检点拍照，纠偏后提取螺栓顶部区域和螺栓底座区域，分别使用图像分割获取两部分的防松线的mask图并使用PCA模型分别计算获取两部分的角度；将螺栓顶部防松线角度与底座防松线角度计算偏差并判断螺栓是否松动。

2.根据权利要求1所述的一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，所述步骤1中设置机器人巡检点，绘制红色防松线的具体步骤如下：

步骤1.1、设置好巡检机器人云台定点拍照的定位和旋转角度，确保拍摄到清晰的正面螺栓照片；

步骤1.2、确保当前巡检全程所有螺栓未松动状态，在螺栓顶部连通底座绘制红色防松线，防松线绘制为一条清晰明显的直线，在螺栓顶部和底座都有足够的长度，顶部与底座的防松线的直线角度一致。

3.根据权利要求1所述的一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，所述步骤2中手动采集原始图并设置任务的具体步骤如下：

步骤2.1、根据先前设置的巡检点，绘制完所有的红色防松线后，巡检机器人执行一次全程巡检任务，对所有绘制完防松线的螺栓执行定点拍照任务，采集该巡检点的原始图像并存储；

步骤2.2、针对所有巡检点的原始图，手动在原始图标定螺栓目标的外接矩形框；然后继续在原始图底座上防松线区域标定矩形目标框；将螺栓外接框和螺栓底部的防松线扩展矩形框都以BBOX参数形式记录在对应巡检点的配置文件中。

4.根据权利要求1所述的一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，所述步骤3中对防松线进行数据标注并训练图像分割模型的具体步骤如下：

步骤3.1、使用labelme工具对巡检机器人采集的所有螺栓定点照片，进行红色防松线的标注；

步骤3.2、将标注过的图像作为训练数据，采用STDC网络训练针对红色防松线的图像分割网络模型。

5.根据权利要求1所述的一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，所述步骤4中将螺栓顶部防松线角度与底座防松线角度计算偏差并判断螺栓是否松动的具体步骤如下：

步骤4.1、日常巡检中定点拍摄待检测的图像，根据巡检点信息调用预先存储的原始图的螺栓区域作为模板图，将模板图与现场拍摄的图像采用归一化算法进行模板匹配；

步骤4.2、通过步骤4.1的模板匹配算法，计算出本轮图像与该巡检点的原始图存在的偏差值；在原始图中的螺栓外接矩形标定框的位置加上模板匹配计算得到的偏差值，得到本轮纠偏后的螺栓外接框的坐标信息；在原始图中的螺栓底座区域防松线的标定框的位置加上模板匹配计算得到的偏差值，得到本轮纠偏后螺栓底座防松线的标定框的坐标信息；

步骤4.3、调用步骤3中训练获得的防松线图像分割网络模型，分别对螺栓外接框和螺栓底座防松线的标定框进行推理计算，获得螺栓防松线mask图和底座防松线mask图；

步骤4.4、分别提取这两部分防松线mask图的最大联通区域；使用opencv的findContours函数提取mask的边缘轮廓，通过遍历找到最大的轮廓区域，内部填充后提取出来，获得处理后的螺栓防松线mask图和底座防松线mask图；

步骤4.5、使用Kernel PCA模型分别拟合步骤4.4中提取的两部分mask图；Kernel PCA使用径向基函数核将mask数据映射到高维特征空间，再使用PCA拟合主方向并使用计算角度angle1与angle2；

步骤4.6、对步骤4.5中计算获得的angle1与angle2进行对比，若两个角度的差异超过阈值，则认为螺栓零件上的防松线与螺栓底座上的防松线发生了位移偏差，提示螺栓松动；若两个角度的差异小于阈值，则提示螺栓未松动。

6.根据权利要求5所述的一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，所述步骤4.1中采用归一化算法进行模板匹配的具体步骤如下：其中归一化算法为NCC算法；

对于给定的图像I和模板T，以及对应均值μ_I和μ_T,NCC表示为：

其中，(x,y)表示图像I上的位置，(i,j)∈ROI区域，这里与模板图的大小相一致；NCC(x,y)越接近于1，表示该位置与模板的匹配度越高；通过选择阈值来确定匹配的位置。

7.根据权利要求5所述的一种基于双角度偏差估计的螺栓松动检测方法，其特征在于，所述步骤4.5中使用PCA拟合主方向并使用计算角度的具体步骤如下：

将mask图中所有的非零像素点组成数据{p₁,p₂,…,p_N}，其中p_i表示非零像素点的坐标(x_i,y_i)，然后定义一个核函数K_ij，计算任意两个数据点之间的内积：

K_ij＝κ(p_i,p_j)

其中K是核矩阵，包含了数据点之间的内积；然后将核矩阵K居中，以确保平均值为0，具体公式如下：

K_c＝K-1_nK-K1_n+1_nK1_n

其中1_n表示元素都为1的n×n矩阵；然后将居中核矩阵进行特征值分解，获得获得对应的特征值{λ₁,λ₂,…,λ_d}和特征向量{v₁,v₂,…,v_d}；选择2个特征值最大的特征向量作为主成分，表示为eigenvecs；然后使用反三角函数arctan来计算主要方向的角度：

通过以上流程，计算螺栓防松线mask图获得角度angle1，计算底座防松线mask图获得角度angle2。