CN114387268A - 一种螺栓松动检测方法及装置 - Google Patents

Abstract

本发明提供了一种螺栓松动检测方法及装置，该方法包括：获取待检测螺栓的二维图像数据和深度图像数据；根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度；根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离；将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，根据比较结果判定待检测螺栓是否处于松动状态。通过执行本发明不需要人工标注防松线即可实现对待检测螺栓松动状态的检测，提高了松动状态的检测效率，以及检测结果的可靠性，并且，通过本发明结合三维距离的测量同时实现了对待检测螺栓横向松动和纵向松动的检测，提高了螺栓松动检测的鲁棒性。

Description

一种螺栓松动检测方法及装置

技术领域

本发明涉及机器视觉检测与测量技术领域，具体涉及一种螺栓松动检测方法及装置。

背景技术

螺栓连接是钢结构中一种基本的连接方式，因具有结构简单、成本低廉、安装方便等优点而被广泛应用于电力、铁路、车辆、桥梁、工程设备等领域，在使用过程中由于受振动、腐蚀和冲击等因素的影响，很容易引起螺栓紧固件的松动、变形、断裂或脱落，从而引起设备故障，甚至重大事故。所以，对螺栓的松动检查一直是工程设备检查维护的重要项目。

传统的螺栓松动检测主要依靠人工定期检查，在安装螺栓的初期，检修工人通过手动标注标记线，检修时通过观察螺栓上的标记线的位置是否发生错动来判断螺栓松动的发生。然而，该方法检测效率低下且十分危险，尤其当螺栓的位置很难靠近时，这种检测往往难以进行。随着计算机视觉算法的应用，检修人员通过图像处理算法识别螺栓的防松线，进而判断螺栓的松动情况，这种方法替换了传统人工识别的过程，但是在识别前需要人工标注防松线，当螺栓防松线掉色后难以识别导致检测失败，并且基于二维图像的螺栓松动检测方法，由于不包含深度信息，无法测量出螺栓的松动的纵向位移。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中检测螺栓松动状态的方法可靠性较差的缺陷，从而提供一种螺栓松动检测方法及装置。

本发明第一方面提供了一种螺栓松动检测方法，包括：获取待检测螺栓的二维图像数据和深度图像数据；根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度；将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据像素点匹配结果以及待检测螺栓在二维图像数据中的位置，在深度图像数据中确定待检测螺栓所在区域；根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离；将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若测量平均角度与初始平均角度的绝对差值大于第一预设值，和/或，测量距离与初始测量距离的绝对差值大于第二预设值，判定待检测螺栓处于松动状态。

可选地，在本发明提供的螺栓松动检测方法中，根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度，包括：将二维图像数据输入至预先训练的螺栓分割模型中，识别二维图像数据中的待检测螺栓，并对二维图像数据中的待检测螺栓进行分割，得到待检测螺栓的掩膜区域；对待检测螺栓的掩膜区域进行边缘检测，并检测待检测螺栓的边缘直线，得到待检测螺栓各边的边缘直线方程；根据各边缘直线方程与二维图像数据的图像像素坐标系x轴正方向之间的夹角，计算待检测螺栓的各边缘相对于水平线的测量平均角度。

可选地，在本发明提供的螺栓松动检测方法中，螺栓分割模型通过对改进的MaskRCNN模型进行训练得到；改进的Mask RCNN模型包括全卷积网络、特征金字塔网络、区域建议网络；特征金字塔网络包括至少一个金字塔层，每个金字塔层连接有一个空洞卷积层；空洞卷积层包含多种不同扩张率的空洞卷积核；全卷积网络中包括多个卷积层和池化层；所述全卷积网络中使用的卷积层使用多种不同扩张率的空洞卷积核；区域建议网络包含不同尺寸的锚点框；区域建议网络使用非极大值抑制方法筛选感兴趣区域。

可选地，在本发明提供的螺栓松动检测方法中，训练所述螺栓分割模型时所使用 的损失函数为：

，

其中，

为分类损失函数，

为检测损失函数，

为分割损失函数，

为边界损失函数， N _cls 为归一化的批量梯度下降尺寸，N _box 为归一化的锚点位置的数量，超 参数γ是用来平衡分类和回归任务损失的因子，p _i 表示第i个预测框被检测为目标的概率，p _i ^* 表示第i个预测框被预测为前景的概率，p _i ^* 在回归损失中仅对阳性锚（p _i ^* =1）起作用，否 则失效（p _i ^* =0），t _i 为一个向量，表示第i个预测框的参数化坐标偏移量，t _i ^* 表示第i个目标框 的真实坐标偏移量，R表示整个分割区域，y表示标注的目标边缘，

表示预测边界，

表示 权重系数，B表示分割结果的边界，

为对标注数据分割边界的距离变换。

可选地，在本发明提供的螺栓松动检测方法中，在获取待检测螺栓的二维图像数据和深度图像数据的步骤之后，将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果的步骤之前，还包括：采用中值滤波算法对深度图像数据进行预处理，得到降噪后的深度图像数据。

可选地，在本发明提供的螺栓松动检测方法中，将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果，包括：获取采集二维图像数据的第一图像采集设备的第一相机标定参数，以及采集深度图像数据的第二图像采集设备的第二相机标定参数；利用第一相机标定参数和第二相机标定参数分别对二维图像数据和深度图像数据进行校正，得到二维图像校正数据和深度图像校正数据，二维图像校正数据和深度图像校正数据位于同一平面且互相平行；通过第二图像采集设备中红外传感器的内参矩阵将深度图像校正数据的像素坐标转换到红外传感器坐标系；根据红外传感器的外参矩阵计算旋转平移矩阵，利用旋转平移矩阵将深度图像校正数据的像素坐标从红外传感器坐标系转换到世界坐标系；将深度图像校正数据的像素坐标从世界坐标系中转换到第一图像采集设备的坐标系；利用第一图像采集设备的内参矩阵将深度图像校正数据的像素坐标从第一图像采集设备的坐标系中转换到二维图像校正数据的平面坐标系中，得到像素点匹配结果。

可选地，在本发明提供的螺栓松动检测方法中，若测量平均角度与初始平均角度的绝对差值大于第一预设值，判定待检测螺栓的松动状态为横向松动；若测量距离与初始测量距离的绝对差值大于第二预设值，判定待检测螺栓的松动状态为纵向松动。

本发明第二方面提供了一种螺栓松动检测装置，包括：图像采集模块，用于获取待检测螺栓的二维图像数据和深度图像数据；测量平均角度计算模块，用于根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度；图像匹配模块，用于将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据像素点匹配结果以及待检测螺栓在二维图像数据中的位置，在深度图像数据中确定待检测螺栓所在区域；测量距离计算模块，用于根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离；松动状态判别模块，用于将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若测量平均角度与初始平均角度的绝对差值大于第一预设值，或，测量距离与初始测量距离的绝对差值大于第二预设值，判定待检测螺栓处于松动状态。

本发明第三方面提供了一种计算机设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，从而执行如本发明第一方面提供的螺栓松动检测方法。

本发明第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本发明第一方面提供的螺栓松动检测方法。

本发明技术方案，具有如下优点：

本发明提供的螺栓松动检测方法及装置，同时获取待检测螺栓的二维图像数据和深度图像数据，根据二维图像数据确定待检测螺栓的各边缘相对于水平线的测量平均角度，在将深度图像数据中的像素点与二维图像数据中的像素点进行匹配后，在深度图像数据中确定待检测螺栓所在区域，并基于像素点匹配结果和待检测螺栓在二维图像数据中的区域确定待检测螺栓在深度图像数据中的区域，根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离，最后分别将测量平均角度与初始平均角度进行比较，将测量距离与初始测量距离进行比较，得到待检测螺栓松动状态的检测结果，通过执行本发明，不需要人工标注防松线，也不需要对防松线进行识别，即可实现对待检测螺栓松动状态的检测，提高了松动状态的检测效率，以及检测结果的可靠性，并且，在本发明中，分别通过测量平均角度与测量距离对松动状态进行检测，同时实现了对待检测螺栓横向松动和纵向松动的检测，提高了螺栓松动检测的鲁棒性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中螺栓松动检测方法的一个具体示例的流程图；

图2为本发明实施例中双目测距原理示意图；

图3为本发明实施例中待检测螺栓的边缘检测结果示意图；

图4为本发明实施例中螺栓松动检测装置的一个具体示例的原理框图；

图5为本发行实施例中计算机设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种螺栓松动检测方法，如图1所示，包括：

步骤S11：获取待检测螺栓的二维图像数据和深度图像数据。

在一可选实施例中，二维图像数据为含有待检测螺栓的RGB图像。可以分别通过二维图像采集设备和深度图像采集设备采集二维图像数据和深度图像数据，也可以通过安装在待检测螺栓附近的RGBD深度相机同时采集二维图像数据和深度图像数据。

步骤S12：根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度。

在一可选实施例中，待检测螺栓具有多条边，先确定各边所在直线与水平线的夹角，然后计算各夹角的平均值，得到各边缘相对于水平线的测量平均角度。

在一可选实施例中，各边缘相对于水平线的测量平均角度，可以是相对于世界坐标的x轴正方向的测量平均角度，也可以是相对于二维图像数据中图像像素坐标系x轴正方向的测量平均角度。

步骤S13：将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据像素点匹配结果以及待检测螺栓在所述二维图像数据中的位置，在所述深度图像数据中确定待检测螺栓所在区域。

通过图像识别技术可以在二维图像数据中检测到待检测螺栓在二维图像数据中的位置，但是在深度图像数据中识别待检测螺栓的位置较为困难，因此，在本发明实施例中，先对二维图像数据进行分析，得到二维图像数据中待检测螺栓所在区域，然后将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，根据匹配结果在深度图像数据中确定与二维图像数据中待检测螺栓所在区域相对应的像素点，从而确定深度图像数据中待检测螺栓所在区域。

在一可选实施例中，将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，可以得到深度图像数据中的各像素点的二维坐标，二维坐标位于二维图像数据的像素坐标系，在对二维图像数据进行分析后，得到二维图像数据中待检测螺栓所在区域内像素点的二维坐标信息，根据二维坐标信息确定深度图像数据中对应的像素点，从而得到深度图像数据中待检测螺栓所在区域。

步骤S14：根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离。

在一可选实施例中，将深度图像数据中待检测螺栓所在区域的各像素点的深度值的平均值确定为待检测螺栓的测量距离：

，

其中，

是准深度图像数据中待检测螺栓所在区域的第i个像素点的深度值，

表示准深度图像数据中待检测螺栓所在区域，N表示准深度图像数据中待检测螺栓 所在区域的像素总数。

深度图像数据中

值代表相机到测量物体的真实距离，以标准的双目相机测距为 例，双目测距原理如图2所示，Ol，Or为左右相机光心，T是基线，即两相机光心之间的距离，f 是相机的焦距。空间一点P在左右相机成像平面的成像点分别是 P1和 P2，一般以左相机光 心建立世界坐标系，因此，设点P的世界坐标为(Xw,Yw,Zw)。点P在左右相机中成像的视差

，即左相机像素点(x_L, y_L)和右相机中对应点(x_R, y_R)的关系，由相似三角形 原理可得：

可得到P点对应的深度

为

。

步骤S15：将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若测量平均角度与初始平均角度的绝对差值大于第一预设值，和/或，测量距离与初始测量距离的绝对差值大于第二预设值，判定待检测螺栓处于松动状态。

在一可选实施例中，待检测螺栓在安装初期，执行上述步骤S11-步骤S14，获取待检测螺栓在初始状态下的初始平均角度和初始测量距离。

在一可选实施例中，螺栓各边缘与水平线方向的角度平均值的变化情况反映了待检测螺栓的横向松动情况，相机到待检测螺栓的距离变化情况反映了待检测螺栓的纵向松动情况。若测量平均角度与初始平均角度的绝对差值大于第一预设值，则表示待检测螺栓发生了横向松动；若测量距离与初始测量距离的绝对差值大于第二预设值，则表示待检测螺栓发生了纵向松动；若测量平均角度与初始平均角度的绝对差值大于第一预设值，且测量距离与初始测量距离的绝对差值大于第二预设值，则表示待检测螺栓同时发生了横向松动和纵向松动。

在一可选实施例中，第一预设值和第二预设值的实际值可根据实际需求进行调整，若待检测螺栓在系统中重要程度较高，其发生松动所带来的影响较大，则可以设置较小的第一预设值和第二预设值，若待检测螺栓在系统中重要程度较低，其发生松动所带来的影响较小，则可以设置较大的第一预设值和第二预设值。

本发明实施例提供的螺栓松动检测方法，同时获取待检测螺栓的二维图像数据和深度图像数据，根据二维图像数据确定待检测螺栓的各边缘相对于水平线的测量平均角度，在将深度图像数据中的像素点与二维图像数据中的像素点进行匹配后，在深度图像数据中确定待检测螺栓所在区域，并基于像素点匹配结果和待检测螺栓在二维图像数据中的区域确定待检测螺栓在深度图像数据中的区域，根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离，最后分别将测量平均角度与初始平均角度进行比较，将测量距离与初始测量距离进行比较，得到待检测螺栓松动状态的检测结果，通过执行本发明实施例，不需要人工标注防松线，也不需要对防松线进行识别，即可实现对待检测螺栓松动状态的检测，提高了松动状态的检测效率，以及检测结果的可靠性，并且，在本发明实施例中，分别通过测量平均角度与测量距离对松动状态进行检测，同时实现了对待检测螺栓横向松动和纵向松动的检测，提高了螺栓松动检测的鲁棒性。

在一可选实施例中，在执行上述步骤S15之后，若判定待检测螺栓处于松动状态，则发出报警信息，报警信息中包含该待检测螺栓所在位置。

在一可选实施例中，上述步骤S12具体包括：

首先，将二维图像数据输入至预先训练的螺栓分割模型中，识别二维图像数据中的待检测螺栓，并对二维图像数据中的待检测螺栓进行分割，得到待检测螺栓的掩膜区域。

然后，对待检测螺栓的掩膜区域进行边缘检测，并检测待检测螺栓的边缘直线，得到待检测螺栓各边的边缘直线方程。

在一可选实施例中，使用Canny算子对待检测螺栓的掩膜区域进行边缘检测，对输入的螺栓图像进行高斯平滑，去除噪声干扰，然后计算梯度幅度和方向来估计每一点处的边缘强度与方向，根据梯度方向，对梯度幅值进行非极大值抑制，最后用双阈值处理和连接边缘，从而得到待检测螺栓的边缘检测结果，示例性地，以具有六条边的待检测螺栓为例，待检测螺栓的边缘检测结果如图3所示。

在一可选实施例中，采用hough直线检测算法检测待检测螺栓的边缘直线，Hough 直线检测算法将在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在 参数空间里寻找峰值来完成直线检测任务，也即把检测整体特性转化为检测局部特性。在 极坐标系下所有直线都满足于方程

，其中

为极径，

为极角，

为 极点到直线的距离，

为直线的倾斜角度，设空间中一点A的坐标是(x, y)，由于x＝

cos(

)，y＝

sin(

)，将上式展开，可以得到

，所有过点A的直线 在极坐标系下的方程都满足于上式，若两点在一条直线上，则两条

和

的关系曲线必 定会相交于一点，这一点处对应的

和

便是这两点所在直线的极坐标参数，由此将图 像空间中的问题转换到了参数空间上进行解决。

最后，根据各边缘直线方程与二维图像数据的图像像素坐标系x轴正方向之间的夹角，计算待检测螺栓的各边缘相对于水平线的测量平均角度：

其中，

表示第i条边的边缘直线方程与二维图像数据的图像像素坐标系x轴正方 向之间的夹角，n表示待检测螺栓的边缘数量，示例性地，若待检测螺栓具有六条边时，n的 值为6。

在一可选实施例中，用于识别二维图像数据中的待检测螺栓的螺栓分割模型通过对改进的Mask RCNN模型进行训练得到；改进的Mask RCNN模型包括全卷积网络（FCN）、特征金字塔网络（FPN）、区域建议网络（RPN）；特征金字塔网络包括至少一个金字塔层，每个金字塔层连接有一个空洞卷积层，用于对金字塔层输出的特征进行空洞卷积操作；特征金字塔连接的空洞卷积层包含多种不同扩张率(dilation rate)的空洞卷积核。示例性地，空洞卷积层包含3种不同rate的空洞卷积核，分别为1x1、2x2、3x3，rate越大，卷积后的感受也越大，特征信息越完整。

全卷积网络中包括多个卷积层和池化层；所述全卷积网络中使用的卷积层使用多种不同扩张率的空洞卷积核。示例性地，卷积层包含3种不同rate的空洞卷积核，分别为1x1、2x2、3x3，rate越大，卷积后的感受也越大，特征信息越完整。本发明实施例中，在特征金字塔网络中加入3种不同扩张率(dilation rate)的空洞卷积核来提取特征，对每个金字塔层的最后一层输出特征进行一次空洞卷积操作，可选的不同rate的空洞卷积核大小有1×1、2×2、3×3，在空间尺寸很小的高层特征中，比较好地保留了高层特征信息。这些全局的共享特征输出到全卷积网络中，在全卷积网络的卷积层中仍然使用3种不同尺寸的空洞卷积核，在上采样过程中保留了更多的图像信息，最终在像素级的类别预测阶段，能够有效提高掩膜预测的准确度。

区域建议网络包含不同尺寸的锚点框（anchor boxes）；区域建议网络使用非极大值抑制（NMS）方法筛选感兴趣区域（ROI）。

anchor boxes 大小采用 128×128、256×256、512×512，长宽比设置为1:1、1:2、2:1，然后把超出原图尺寸的 anchor boxes 剔除，再通过非极大值抑制（NMS）方法进一步筛选得到感兴趣区域（ROI）。

在一可选实施例中，对Mask RCNN模型进行改进时，还包括对区域建议网络的修改，通过修改锚点尺寸，使模型集中在指定比例中计算，把超出原图尺寸的 anchor boxes剔除。

anchor boxes 大小采用 128×128、256×256、512×512，长宽比设置为1∶1、1∶2、2∶1，然后把超出原图尺寸的 anchor boxes 剔除，再通过非极大值抑制方法进一步筛选得到感兴趣区域（ROI）。

在一可选实施例中，训练螺栓分割模型时所使用的初始损失函数为：

其中，

为分类损失函数，

为检测损失函数，

为分割损失函数， N _cls 为 归一化的批量梯度下降（mini-batch）尺寸，N _box 为归一化的锚点（anchor）位置的数量，超参 数γ是用来平衡分类和回归任务损失的因子，本实施例中设置N _cls =256，N _box =2400，γ=10， 如此分类和回归两个损失率的权重基本相同；p _i 表示第i个预测框被检测为目标的概率；p _i ^* 为第i个预测框被预测为前景的概率，p _i ^* 在回归损失中仅对阳性锚（p _i ^* =1）起作用，否则失 效（p _i ^* =0）；t _i 为一个向量，表示第i个预测框的参数化坐标偏移量；t _i ^* 为第i个目标框的真实 坐标偏移量，R为整个分割区域，y表示标注的目标边缘，

表示预测边界，预测框为通过模 型识别得到的，目标框为人工标注得到的。

本发明实施例对L _mask 损失函数进行修改，在

中加入边界损失函数，利用距离 损失对分割的位置、形状和连续性进行正则化，使其更加接近目标边界，优化后的分割损失 函数公式如下：

，

其中，

为边界损失函数，

为权重系数，B为分割结果的边界，

为对标 注数据分割边界的距离变换。

从而，本发明实施例中训练所述螺栓分割模型时所使用的损失函数为：

。

在一可选实施例中，在对螺栓分割模型进行训练时，首先使用RGB相机采集一定量的螺栓图像数据；然后对螺栓数据通过数据增强扩充数据集，可选的数据增强方法有旋转、平移、剪切、亮度调整等；最后使用图像标注工具对螺栓区域进行边界标注，形成训练数据集。在得到训练数据集后，使用迁移学习方法，将训练数据集载入改进的Mask RCNN模型中，同时使用在COCO数据集上训练得到的预训练模型初始化参数，加快模型收敛，通过参数优化，对模型进行迭代训练，生成螺栓分割模型。

在一可选实施例中，在执行上述步骤S11之后，执行步骤S13之前，本发明实施例提供的方法还包括：

采用中值滤波算法对深度图像数据进行预处理，得到降噪后的深度图像数据。

图像采集设备到待检测螺栓的距离反映了螺栓的纵向松动情况，为了实现对纵向松动情况的高精度识别，需要获取高精度和准确的深度信息。但是由于受设备本身精度的限制、待测目标表面特性以及实验环境中光照等因素的影响，获取的深度图像数据会存在一定的噪声。因此，在基于深度图像数据对待检测螺栓进行测距前，需要对深度图像数据做预处理操作，来保证最终测量距离的精度。本发明实施例中使用中值滤波算法对获得的深度图像数据的点云数据进行去噪，消除深度图像的噪声点、离散点和空洞。中值滤波算法的实现方式是将深度图像数据中的每个像素点使用其固定邻域范围内像素点中值来代替。因此，该方法可以很好的去除图像中随机分布的极大值和极小值的噪声点，特别是对椒盐噪声和斑点噪声的去噪效果最好，通过设定适当的邻域范围可以保留图像的边缘特征信息。图像滤波算法通用公式如下：

，

，

其中，V表示从设备获取的原始深度图像数据，V′表示经滤波算法处理后的深度图 像数据。

表示像素

在Ω范围内滤波器移动的权值，

表示对

归一 化后的参数。

在一可选实施例中，在上述步骤S13中，将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果的步骤包括：

（1）获取采集二维图像数据的第一图像采集设备的第一相机标定参数，以及采集深度图像数据的第二图像采集设备的第二相机标定参数。

在一可选实施例中，第一相机标定参数包括第一图像采集设备的单应矩阵和内外参数和畸变参数，第二相机标定参数包括第二图像采集设备的单应矩阵和内外参数和畸变参数。

（2）利用第一相机标定参数和第二相机标定参数分别对二维图像数据和深度图像数据进行校正，得到二维图像校正数据和深度图像校正数据，二维图像校正数据和深度图像校正数据位于同一平面且互相平行。

（3）通过第二图像采集设备中红外传感器的内参矩阵将深度图像校正数据的像素坐标转换到红外传感器坐标系。

（4）根据红外传感器的外参矩阵计算旋转平移矩阵，利用旋转平移矩阵将深度图像校正数据的像素坐标从红外传感器坐标系转换到世界坐标系。

（5）将深度图像校正数据的像素坐标从世界坐标系中转换到第一图像采集设备的坐标系。

（6）利用第一图像采集设备的内参矩阵将深度图像校正数据的像素坐标从第一图像采集设备的坐标系中转换到二维图像校正数据的平面坐标系中，得到像素点匹配结果。

本发明实施例提供了一种螺栓松动检测装置，如图4所示，包括：

图像采集模块21，用于获取待检测螺栓的二维图像数据和深度图像数据，详细内容参见上述实施例中对步骤S11的描述，在此不再赘述。

测量平均角度计算模块22，用于根据二维图像数据识别待检测螺栓的各边缘相对于水平线的测量平均角度，详细内容参见上述实施例中对步骤S12的描述，在此不再赘述。

图像匹配模块23，用于将深度图像数据中的像素点与二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据像素点匹配结果以及待检测螺栓在二维图像数据中的位置，在深度图像数据中确定待检测螺栓所在区域，详细内容参见上述实施例中对步骤S13的描述，在此不再赘述。

测量距离计算模块24，用于根据深度图像数据中待检测螺栓所在区域的像素点计算待检测螺栓的测量距离，详细内容参见上述实施例中对步骤S14的描述，在此不再赘述。

松动状态判别模块25，用于将测量平均角度和测量距离分别与待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若测量平均角度与初始平均角度的绝对差值大于第一预设值，或，测量距离与初始测量距离的绝对差值大于第二预设值，判定待检测螺栓处于松动状态，详细内容参见上述实施例中对步骤S15的描述，在此不再赘述。

本发明实施例提供了一种计算机设备，如图5所示，该计算机设备主要包括一个或多个处理器31以及存储器32，图5中以一个处理器31为例。

该计算机设备还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器31可以为中央处理器（Central Processing Unit，CPU）。处理器31还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据螺栓松动检测装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至螺栓松动检测装置。输入装置33可接收用户输入的计算请求（或其他数字或字符信息），以及产生与螺栓松动检测装置有关的键信号输入。输出装置34可包括显示屏等显示设备，用以输出计算结果。

本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的螺栓松动检测方法。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种螺栓松动检测方法，其特征在于，包括：

获取待检测螺栓的二维图像数据和深度图像数据；

根据所述二维图像数据识别所述待检测螺栓的各边缘相对于水平线的测量平均角度；

将所述深度图像数据中的像素点与所述二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据所述像素点匹配结果以及待检测螺栓在所述二维图像数据中的位置，在所述深度图像数据中确定待检测螺栓所在区域；

根据所述深度图像数据中待检测螺栓所在区域的像素点计算所述待检测螺栓的测量距离；

将所述测量平均角度和所述测量距离分别与所述待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若所述测量平均角度与所述初始平均角度的绝对差值大于第一预设值，和/或，所述测量距离与所述初始测量距离的绝对差值大于第二预设值，判定所述待检测螺栓处于松动状态。

2.根据权利要求1所述的螺栓松动检测方法，其特征在于，根据所述二维图像数据识别所述待检测螺栓的各边缘相对于水平线的测量平均角度，包括：

将所述二维图像数据输入至预先训练的螺栓分割模型中，识别所述二维图像数据中的待检测螺栓，并对所述二维图像数据中的待检测螺栓进行分割，得到所述待检测螺栓的掩膜区域；

对所述待检测螺栓的掩膜区域进行边缘检测，并检测待检测螺栓的边缘直线，得到所述待检测螺栓各边的边缘直线方程；

根据各所述边缘直线方程与所述二维图像数据的图像像素坐标系x轴正方向之间的夹角，计算所述待检测螺栓的各边缘相对于水平线的测量平均角度。

3.根据权利要求2所述的螺栓松动检测方法，其特征在于，还包括：

所述螺栓分割模型通过对改进的Mask RCNN模型进行训练得到；

所述改进的Mask RCNN模型包括全卷积网络、特征金字塔网络、区域建议网络；

所述特征金字塔网络包括至少一个金字塔层，每个金字塔层连接有一个空洞卷积层，所述空洞卷积层包含多种不同扩张率的空洞卷积核；所述全卷积网络中包括多个卷积层和池化层；

所述全卷积网络中使用的卷积层使用多种不同扩张率的空洞卷积核；

所述区域建议网络包含不同尺寸的锚点框；

所述区域建议网络使用非极大值抑制方法筛选感兴趣区域。

4.根据权利要求2或3所述的螺栓松动检测方法，其特征在于，还包括：

训练所述螺栓分割模型时所使用的损失函数为：

，

其中，

为分类损失函数，

为检测损失函数，

为分割损失函数，

为边 界损失函数， N _cls 为归一化的批量梯度下降尺寸，N _box 为归一化的锚点位置的数量，超参数γ是用来平衡分类和回归任务损失的因子，p _i 表示第i个预测框被检测为目标的概率，p _i ^* 表 示第i个预测框被预测为前景的概率，p _i ^* 在回归损失中仅对阳性锚（p _i ^* =1）起作用，否则失 效（p _i ^* =0），t _i 为一个向量，表示第i个预测框的参数化坐标偏移量，t _i ^* 表示第i个目标框的真 实坐标偏移量，R表示整个分割区域，y表示标注的目标边缘，

表示预测边界，

表示权重 系数，B表示分割结果的边界，

为对标注数据分割边界的距离变换。

5.根据权利要求1所述的螺栓松动检测方法，其特征在于，在获取待检测螺栓的二维图像数据和深度图像数据的步骤之后，将所述深度图像数据中的像素点与所述二维图像数据中的像素点进行匹配，得到像素点匹配结果的步骤之前，还包括：

采用中值滤波算法对所述深度图像数据进行预处理，得到降噪后的深度图像数据。

6.根据权利要求1或5所述的螺栓松动检测方法，其特征在于，将所述深度图像数据中的像素点与所述二维图像数据中的像素点进行匹配，得到像素点匹配结果，包括：

获取采集所述二维图像数据的第一图像采集设备的第一相机标定参数，以及采集所述深度图像数据的第二图像采集设备的第二相机标定参数；

利用所述第一相机标定参数和所述第二相机标定参数分别对所述二维图像数据和所述深度图像数据进行校正，得到二维图像校正数据和深度图像校正数据，所述二维图像校正数据和深度图像校正数据位于同一平面且互相平行；

通过第二图像采集设备中红外传感器的内参矩阵将所述深度图像校正数据的像素坐标转换到红外传感器坐标系；

根据红外传感器的外参矩阵计算旋转平移矩阵，利用所述旋转平移矩阵将所述深度图像校正数据的像素坐标从所述红外传感器坐标系转换到世界坐标系；

将所述深度图像校正数据的像素坐标从所述世界坐标系中转换到第一图像采集设备的坐标系；

利用所述第一图像采集设备的内参矩阵将所述深度图像校正数据的像素坐标从所述第一图像采集设备的坐标系中转换到二维图像校正数据的平面坐标系中，得到像素点匹配结果。

7.根据权利要求1所述的螺栓松动检测方法，其特征在于，还包括：

若所述测量平均角度与所述初始平均角度的绝对差值大于第一预设值，判定所述待检测螺栓的松动状态为横向松动；

若所述测量距离与所述初始测量距离的绝对差值大于第二预设值，判定所述待检测螺栓的松动状态为纵向松动。

8.一种螺栓松动检测装置，其特征在于，包括：

图像采集模块，用于获取待检测螺栓的二维图像数据和深度图像数据；

测量平均角度计算模块，用于根据所述二维图像数据识别所述待检测螺栓的各边缘相对于水平线的测量平均角度；

图像匹配模块，用于将所述深度图像数据中的像素点与所述二维图像数据中的像素点进行匹配，得到像素点匹配结果，并根据所述像素点匹配结果以及待检测螺栓在所述二维图像数据中的位置，在所述深度图像数据中确定待检测螺栓所在区域；

测量距离计算模块，用于根据所述深度图像数据中待检测螺栓所在区域的像素点计算所述待检测螺栓的测量距离；

松动状态判别模块，用于将所述测量平均角度和所述测量距离分别与所述待检测螺栓在初始状态下的初始平均角度和初始测量距离进行比较，若所述测量平均角度与所述初始平均角度的绝对差值大于第一预设值，或，所述测量距离与所述初始测量距离的绝对差值大于第二预设值，判定所述待检测螺栓处于松动状态。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，从而执行如权利要求1-7中任一项所述的螺栓松动检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-7中任一项所述的螺栓松动检测方法。

Images