CN110390668B - 螺栓松动检测方法、终端设备及存储介质 - Google Patents

Abstract

本申请适用于自动化检测技术领域，提供了一种螺栓松动检测方法、终端设备及存储介质，其中，上述方法包括：获取包含螺栓的图像；提取采集图像中的待检测目标区域图像；根据待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像；对第一目标区域图像和第一模板进行二值化处理，生成第二目标区域图像和第二模板图像；根据第二目标区域图像和第二模板图像，判断螺栓是否松动。本申请实施例提供的螺栓松动检测方法、终端设备及存储介质，通过对采集图像进行处理从而得到第二目标区域图像，进而通过比较第二目标区域图像与第二模板图像之间的差异，实现了对螺栓松动的自动检测。

Description

螺栓松动检测方法、终端设备及存储介质

技术领域

本申请属于自动化检测技术领域，尤其涉及一种螺栓松动检测方法、终端设备及存储介质。

背景技术

在建筑物、桥梁等各种工程结构中，常常采用螺栓连接其内部的钢结构已成为目前最为常见的形式之一。但螺栓在长期使用中受到震动和外界荷载作用影响，会导致其发生松动。螺栓松动会导致作用于钢结构关节处的夹紧力损失，从而影响工程结构的刚度，带来潜在的危险。因此，及时检测螺栓的健康工作状况，对保障工程结构的正常安全服役有着至关重要的作用。

目前已有许多基于接触式传感器的螺栓松动检测方法。基于接触式传感器的螺栓松动方法，是通过分析材料(例如混凝土或钢)的模态特征参数(例如刚度和阻尼)来检测结构是否存在螺栓松动。虽然接触式传感器可以直接测得螺栓松动状态，但是在复杂服役环境下接触式传感器易受到外界温度、湿度等环境影响，导致传感器自身数据不稳定，存在检测结果不准确的问题。

相比于基于接触式传感器的螺栓松动检测方法，一些学者利用机器视觉方法进行螺栓松动检测，检测方式更为灵活、高效。但现有的利用机器视觉方法进行螺栓松动检测的技术，易受光照、背景杂波等干扰，也存在检测结果不准确的问题。

发明内容

有鉴于此，本申请实施例提供了一种螺栓松动检测方法、终端设备及存储介质，以解决目前螺栓松动检测技术中存在的检测结果不准确的问题。

根据第一方面，本申请实施例提供了一种螺栓松动检测方法，包括：获取包含螺栓的图像；提取采集图像中的待检测目标区域图像；根据所述待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像；对所述第一目标区域图像和所述第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像；所述第二模板图像为根据所述第一模板图像生成的二值图像；根据所述第二目标区域图像和所述第二模板图像，判断螺栓是否松动。

本申请实施例提供的螺栓松动检测方法，通过仿射变换实现待检测目标区域图像与模板图像之间的配准，避免用于采集图像的相机由于外界振动而导致的拍摄角度轻微变化，从而提高螺栓松动检测的准确性。此外，本申请实施例提供的螺栓松动检测方法，通过对采集图像进行处理从而得到第二目标区域图像，进而通过比较第二目标区域图像与第二模板图像之间的差异，实现了对螺栓松动的自动检测。

结合第一方面，在本申请的一些实施例中，所述根据所述待检测目标区域图像和预设的第一模板图像对所述待检测目标区域图像进行仿射变换，生成第一目标区域图像，包括：为预设的仿射变换矩阵设置初始值；根据所述仿射变换矩阵对所述待检测目标区域图像进行仿射变换；计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数；当所述区域像素亮度相关系数满足第一预设条件时，确定对应的仿射变换矩阵为目标仿射变换矩阵，并将根据所述目标仿射变换矩阵和所述待检测目标区域图像计算得到的仿射变换图像，作为所述第一目标区域图像。

本申请实施例提供的螺栓松动检测方法，利用图像区域像素亮度相关系数与仿射变换，实现图像的配准过程，有利于提高螺栓松动检测的准确性。

结合第一方面，在本申请的一些实施例中，所述根据所述待检测目标区域图像和第一模板图像对所述待检测目标区域图像进行仿射变换，生成第一目标区域图像，还包括：当所述区域像素亮度相关系数不满足第一预设条件时，更新所述仿射变换矩阵，并重复执行所述根据所述仿射变换矩阵对所述待检测目标区域图像进行仿射变换，计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数的步骤，直至所述区域像素亮度相关系数满足第一预设条件。

本申请实施例提供的螺栓松动检测方法，利用图像区域像素亮度相关系数与仿射变换，并结合迭代计算，实现图像的配准过程，有利于提高螺栓松动检测的准确性。

结合第一方面，在本申请的一些实施例中，通过

计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数；其中，PIU(R,F)为第一模板图像R与仿射变换后的待检测目标区域图像F之间的区域像素亮度相关系数；N为第一模板图像R中的像素总数；r为第一模板图像R中像素亮度出现频次最高的像素亮度值；f为仿射变换后的待检测目标区域图像F中像素亮度出现频次最高的像素亮度值；n_r为第一模板图像R中像素亮度为r的像素数量；n_f为仿射变换后的待检测目标区域图像F中像素亮度为f的像素数量；

χ_R,r表示第一模板图像R中像素亮度为r的坐标集合；在仿射变换后的待检测目标区域图像F内寻找符合χ_R,r坐标集合条件的像素点，并定义这些像素点为集合Ω_r；χ_F,f表示仿射变换后的待检测目标区域图像F中像素亮度为f的坐标集合；在第一模板图像R中内寻找符合χ_F,f坐标集合条件的像素点，并定义这些像素点为集合Ω_f。

通过

对所述待检测目标区域图像进行仿射变换，生成第一目标区域图像；其中，(x',y')为仿射变换后的待检测目标区域图像F中的坐标；(x,y)为待检测目标区域图像G中的坐标；H为仿射变换矩阵，a1、a2、a3、a4、t_x和t_y均为仿射变换矩阵H中的参数。

本申请实施例提供的螺栓松动检测方法，给出了图像区域像素亮度相关系数与仿射变换的具体公式，能够方便快捷地完成对图像的配准。

结合第一方面，在本申请的一些实施例中，所述对所述第一目标区域图像和所述第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像，包括：根据预设的算子对所述第一目标区域图像进行分块，并计算各个分块的局部阈值；分别根据所述各个分块的局部阈值对对应的分块进行二值化处理；提取由二值化处理后的各个分块组成的图像的轮廓，生成对应的第二目标区域图像。

本申请实施例提供的螺栓松动检测方法，通过预设算子对图像进行分块和对应的二值化处理，实现了对图像的局部自适应二值化处理。此外，在完成局部自适应二值化处理后，进一步提取二值化图像的轮廓，从而使本申请实施例提供的螺栓松动检测方法能够适用于不均匀光照的检测，并有效滤除背景杂波的干扰，从而提高螺栓松动检测的准确性。

结合第一方面，在本申请的一些实施例中，所述根据所述第二目标区域图像和预设的第二模板图像，判断所述螺栓是否松动，包括：将所述第二目标区域图像和所述第二模板图像相减，生成对应的减法图像；统计所述减法图像中满足第二预设条件的非零区域的数量；当所述减法图像中满足第二预设条件的非零区域的数量大于预设的数量阈值时，判定所述螺栓出现松动。

本申请实施例提供的螺栓松动检测方法，通过将目标区域图像和模板图像相减，并根据减法图像中特定非零区域的数量实现对螺栓是否松动的判断。由于特定非零区域的数量阈值是可以根据实际需要自由选择的，因此，本申请实施例提供的螺栓松动检测方法具有更高的灵活性。

结合第一方面，在本申请的一些实施例中，所述第二预设条件为

其中，A为所述减法图像中任一非零区域构成的连通体面积；l为所述任一非零区域构成的连通体长度；w为所述任一非零区域构成的连通体宽度；

为所述任一非零区域构成的连通体的长宽比。

本申请实施例提供的螺栓松动检测方法，给出了第二预设条件，即特定非零区域对应的具体公式，能够方便快捷地完成对特定非零区域的数量统计。

根据第二方面，本申请实施例提供了一种终端设备，包括：输入单元，用于获取包含螺栓的图像；提取单元，用于提取采集图像中的待检测目标区域图像；并根据所述待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像；以及对所述第一目标区域图像和所述第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像；所述第二模板图像为根据所述第一模板图像生成的二值图像；判断单元，用于根据所述第二目标区域图像和所述第二模板图像，判断螺栓是否松动。

根据第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面任一实施方式所述方法的步骤。

根据第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实施方式所述方法的步骤。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的螺栓松动检测方法的实现流程示意图；

图2是本申请实施例提供的另一螺栓松动检测方法的实现流程示意图；

图3是本申请实施例提供的局部自适应图像分割结果；其中，图3(a)为对第一模板图像进行局部自适应图像分割的结果；图3(b)为对第一目标区域图像进行局部自适应图像分割的结果；

图4是本申请实施例提供的局部自适应图像分割和水平集分割的处理结果；其中，图4(a)为第二模板图像的示例图；图4(b)为第二目标区域图像的示例图；

图5是本申请实施例提供的减法图像示意图；其中，图5(a)为存在螺栓松动的减法图像；图5(b)为不存在坚固件松动的减法图像；

图6是本申请实施例提供的终端设备的示意图；

图7是本申请实施例提供的另一终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

本申请实施例提供了一种螺栓松动检测方法，如图1所示，该螺栓松动检测方法可以包括以下步骤：

步骤S101：获取包含螺栓的图像。在一具体实施方式中，可以采用固定设置在待检测的螺栓附近的相机采集图像。

步骤S102：提取采集图像中的待检测目标区域图像。

由于相机以固定视角拍摄待检测螺栓并进行螺栓松动检测，因此可以根据第一帧图像事先人工标定图像区域内螺栓目标的位置信息，即生成预设的目标区域信息。在后续的螺栓松动检测过程中，直接利用标定好的目标区域信息，提取采集图像中的待检测目标区域图像。

在实际应用中，采集图像中可能同时存在多个待检测的螺栓，可以为各个待检测的螺栓分别提前生成对应的目标区域信息，记为box_i(i＝1,2,3，……，n)，这里n为图像中同时存在的待检测螺栓个数。由于相机以固定视角拍摄采集图像，因此可以在采集图像中根据目标区域信息列表(即box_i列表)提取对应的各个待检测目标区域图像。

步骤S103：根据待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像。

在实际图像拍摄过程中，相机会受到于外界振动因素(例如风致、列车过往等)影响，导致相机拍摄视角的轻微变化。虽然使用目标区域信息对采集图像进行了标定，但由于相机拍摄视角的轻微变化，仍然会引起待检测目标区域图像和第一模板图像不能严格匹配，因此，需要对待检测目标区域图像和第一模板图像进行图像配准。本申请实施例利用图像区域像素亮度相关系数与仿射变换，完成图像配准过程。

在实际应用中，为了提高图像配准以及螺栓松动检测的准确性，可以在每次检测时更新第一模型。具体的，当前次检测时，螺栓并未出现松动，则可以采用前次检测采集得到的图像生成本次检测的第一模板。

在一具体实施方式中，如图2所示，可以通过以下几个子步骤实现步骤S103的过程：

步骤S1031：为预设的仿射变换矩阵设置初始值。

步骤S1032：根据仿射变换矩阵对待检测目标区域图像进行仿射变换。

步骤S1033：计算第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数。

第一模板图像可以是从第一帧图像中选取的、未出现松动的某一螺栓图像。通过将待检测目标区域图像与第一模板图像进行对比，可以发现待检测目标区域图像中螺栓的松动情况。

在实际应用中，可以通过公式(1)计算第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数：

其中，PIU(R,F)为第一模板图像R与仿射变换后的待检测目标区域图像F之间的区域像素亮度相关系数；N为第一模板图像R中的像素总数；r为第一模板图像R中像素亮度出现频次最高的像素亮度值；f为仿射变换后的待检测目标区域图像F中像素亮度出现频次最高的像素亮度值；n_r为第一模板图像R中像素亮度为r的像素数量；n_f为仿射变换后的待检测目标区域图像F中像素亮度为f的像素数量；

χ_R,r表示第一模板图像R中像素亮度为r的坐标集合；在仿射变换后的待检测目标区域图像F内寻找符合χ_R,r坐标集合条件的像素点，并定义这些像素点为集合Ω_r；χ_F,f表示仿射变换后的待检测目标区域图像F中像素亮度为f的坐标集合；在第一模板图像R中内寻找符合χ_F,f坐标集合条件的像素点，并定义这些像素点为集合Ω_f。

步骤S1034：判断区域像素亮度相关系数是否满足第一预设条件。当区域像素亮度相关系数满足第一预设条件时，执行步骤S1035；当区域像素亮度相关系数不满足第一预设条件时，更新仿射变换矩阵，并返回步骤S1032，直至区域像素亮度相关系数满足第一预设条件。

通过公式(1)计算得到的区域像素亮度相关系数PIU(R,F)，能够反映第一模板图像R与仿射变换后的待检测目标区域图像F之间的匹配程度。区域像素亮度相关系数PIU(R,F)越低，表示图像R与图像F之间的匹配度越高。因此，可以为步骤S1034中的第一预设条件设定一个取值较低的系数阈值，当区域像素亮度相关系数PIU(R,F)小于该系数阈值时，认为区域像素亮度相关系数PIU(R,F)满足第一预设条件；当区域像素亮度相关系数PIU(R,F)大于或等于该系数阈值时，认为区域像素亮度相关系数PIU(R,F)不满足第一预设条件。

步骤S1035：确定对应的仿射变换矩阵为目标仿射变换矩阵，并将根据目标仿射变换矩阵和待检测目标区域图像计算得到的仿射变换图像，作为第一目标区域图像。

仿射变换描述了某二维坐标系到另一个二维坐标系之间的变换关系，其可以保持二维图像的“平直性”与“平行性”。“平直性”即为原图中为直线的部分经过变换后依然为直线，圆弧依然为圆弧；“平行性”即为原图中的平行关系经过变换后依然为平行线，相交线的交角也不发生变换。因此利用仿射变换可以在不改变原图结构的情况下实现两个图像的任意变换，实现两个图像的配准。

在实际应用中，可以通过公式(2)对待检测目标区域图像进行仿射变换，生成第一目标区域图像：

其中，(x',y')为仿射变换后的待检测目标区域图像F中的坐标；(x,y)为待检测目标区域图像G中的坐标；H为仿射变换矩阵，a1、a2、a3、a4、t_x和t_y均为仿射变换矩阵H中的参数。

步骤S104：对第一目标区域图像和第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像。第二模板图像为根据第一模板图像生成的二值图像。

得到经过配准的图像，即第一目标区域图像后，为了更精准地实现螺栓松动检测，需要运用局部自适应分割获取螺栓目标区域信息(包括螺栓区域中心点、半径)，并利用水平集分割方法提取螺栓目标，最后通过图像做差分析实现螺栓松动检测。

在一具体实施方式中，如图2所示，可以通过以下几个子步骤实现步骤S104的过程：

步骤S1041：根据预设的算子对第一目标区域图像进行分块，并计算各个分块的局部阈值。

由于不均匀光照和背景杂波干扰的影响，导致第一目标区域图像的亮度分布并不均匀，对第一目标区域图像采用全局阈值分割的方法效果较差，本申请实施例应用Yanowitz局部区域分割算法实现螺栓目标区域信息的粗提取。

在步骤S1041中，可以首先利用均值滤波器平滑第一目标区域图像，并计算平滑后第一目标区域图像的梯度图。然后，将上述得到的第一目标区域图像梯度图进行非重叠分块处理，并利用Laplacian算子(Laplacian算子定义如式(4)所示)确定每个分块图像的最大阈值点。接着，提取所有分块图像中最大阈值点所在的位置坐标，并将第一目标区域图像中这些位置坐标处的像素亮度值作为对应分块的局部阈值P₁(x,y)。对局部阈值，可以按公式(3)和公式(4)进行多次迭代计算：

R(x,y)＝P(x,y+1)+P(x,y-1)+P(x-1,y)+P(x+1,y)-4P(x,y) (4)

上式中，P_n(x,y)为第n次迭代计算得到的分块图像阈值；P(x,y)为分块图像内像素亮度值；R(x,y)为该分块图像内的Laplacian算子计算结果；

为前后迭代运算的差值，其中β为人工设定参数，β参数设定范围为[1,2]；本申请实施例中的阈值迭代次数n可人工设定，一般设定范围为[100,120]。

步骤S1042：分别根据各个分块的局部阈值对对应的分块进行二值化处理。

可以根据迭代计算得到的分块阈值，对每个分块进行图像分割。在任一分块中，将大于对应分块阈值P_n(x,y)的像素设为1；反之，设为0。

图3(a)示出了根据步骤S1041至步骤S1042，对第一模板图像进行局部自适应图像分割的结果；图3(b)示出了根据步骤S1041至步骤S1042，对第一目标区域图像进行局部自适应图像分割的结果。

步骤S1043：提取由二值化处理后的各个分块组成的图像的轮廓，生成对应的第二目标区域图像。

采用Yanowitz局部分割后的结果中仍存在多个细小的杂波区域(见图3(a)和图3(b)所示)，本申请实施例继续利用水平集分割方法提取完整的螺栓目标区域。

水平集算法主要应用于图像增强、图像分割等领域。水平集分割的主要思想是将图像从低维空间上升到高维空间进行运算，即在原有图像分割的基础上，利用图像边缘梯度信息作为辅助，通过多次迭代获得被测物体的整体轮廓。水平集分割的具体计算公式如下：

其中，

为对流项，用于确定分割曲线的蔓延方向；

为曲率，用于描述分割目标的边缘；u₀(x)为初始设定的分割曲线(一般为圆圈)，该分割曲线的中心点和半径为Yanowitz局部区域分割得到的螺栓区域的中心点和半径；u(x)为每一次迭代后的分割曲线；t在水平集图像分割过程中的迭代次数。一般而言，迭代次数越多得到的螺栓分割结果越精确。

图4(a)示出了根据步骤S1041至步骤S1043，对第一模板图像进行局部自适应图像分割和水平集分割的结果，即第二模板图像的示意图；图4(b)示出了根据步骤S1041至步骤S1043，对第一目标区域图像进行局部自适应图像分割和水平集分割的结果，即第二目标区域图像的示意图。

由于第一模板可以在每次检测时进行更新，因此，第二模板可是可以更新的。当前次检测时，螺栓并未出现松动，则可以采用前次检测采集得到的图像生成本次检测的第一模板，并进一步生成对应的第二模板。第二模板图像为根据第一模板图像生成的二值图像。具体的，可以对第一模板图像进行如步骤S104所示的二值化处理，生成对应的第二模板图像。

步骤S105：根据第二目标区域图像和第二模板图像，判断螺栓是否松动。

在一具体实施方式中，如图2所示，可以通过以下几个子步骤实现步骤S105的过程：

步骤S1051：将第二目标区域图像和第二模板图像相减，生成对应的减法图像。

步骤S1052：统计减法图像中满足第二预设条件的非零区域的数量。

具体的，可以采用公式(6)作为第二预设条件：

其中，A为减法图像中任一非零区域构成的连通体面积；l为该任一非零区域构成的连通体长度；w为该任一非零区域构成的连通体宽度；

为该任一非零区域构成的连通体的长宽比。

步骤S1053：判断减法图像中满足第二预设条件的非零区域的数量是否大于预设的数量阈值。当减法图像中满足第二预设条件的非零区域的数量大于预设的数量阈值时，执行步骤S1054；当减法图像中满足第二预设条件的非零区域的数量小于或等于预设的数量阈值时，执行步骤S1055。

步骤S1054：判定螺栓出现松动。

步骤S1055：判定螺栓未出现松动。

作为例子，可以将数量阈值设置为4。需要说明的是，本申请实施例并不对数量阈值进行限制，用户可以根据实际检测需要，自由选择数量阈值的取值。

图5(a)示出了存在螺栓松动的减法图像，其中虚线框标出了符合第二预设条件的各个非零区域；图5(b)示出了不存在坚固件松动的减法图像。

本申请实施例提供的螺栓松动检测方法，通过仿射变换实现待检测目标区域图像与模板图像之间的配准，避免用于采集图像的相机由于外界振动而导致的拍摄角度轻微变化，从而提高螺栓松动检测的准确性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例还提供了一种终端设备，如图6所示，该终端设备可以包括：输入单元601、提取单元602和判断单元603。

其中，输入单元601用于获取包含螺栓的图像；其对应的工作过程可参见上述方法实施例中步骤S101所示。

提取单元602用于提取采集图像中的待检测目标区域图像；并根据待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像；以及对第一目标区域图像和第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像；第二模板图像为根据第一模板图像生成的二值图像；其对应的工作过程可参见上述方法实施例中步骤S102至步骤S104所示。

判断单元603用于根据第二目标区域图像和第二模板图像，判断螺栓是否松动；其对应的工作过程可参见上述方法实施例中步骤S105所示。

图7是本申请一实施例提供的另一终端设备的示意图。如图7所示，该实施例的终端设备700包括：处理器701、存储器702以及存储在所述存储器702中并可在所述处理器701上运行的计算机程序703，例如螺栓松动检测程序。所述处理器701执行所述计算机程序703时实现上述各个螺栓松动检测方法实施例中的步骤，例如图1所示的步骤S101至步骤S105。或者，所述处理器701执行所述计算机程序703时实现上述各装置实施例中各模块/单元的功能，例如图6所示输入单元601、提取单元602和判断单元603的功能。

所述计算机程序703可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器702中，并由所述处理器701执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序703在所述终端设备700中的执行过程。例如，所述计算机程序703可以被分割成同步模块、汇总模块、获取模块、返回模块(虚拟装置中的模块)。

所述终端设备700可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器701、存储器702。本领域技术人员可以理解，图7仅仅是终端设备700的示例，并不构成对终端设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器702可以是所述终端设备700的内部存储单元，例如终端设备700的硬盘或内存。所述存储器702也可以是所述终端设备700的外部存储设备，例如所述终端设备700上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器702还可以既包括所述终端设备700的内部存储单元也包括外部存储设备。所述存储器702用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器702还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种螺栓松动检测方法，其特征在于，包括：

获取包含螺栓的图像；

提取采集图像中的待检测目标区域图像；

根据所述待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像；

对所述第一目标区域图像和所述第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像；所述第二模板图像为根据所述第一模板图像生成的二值图像；

根据所述第二目标区域图像和所述第二模板图像，判断所述螺栓是否松动；

其中，所述根据所述待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像，包括：

为预设的仿射变换矩阵设置初始值；根据所述仿射变换矩阵对所述待检测目标区域图像进行仿射变换；计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数；当所述区域像素亮度相关系数满足第一预设条件时，确定对应的仿射变换矩阵为目标仿射变换矩阵，并将根据所述目标仿射变换矩阵和所述待检测目标区域图像计算得到的仿射变换图像，作为所述第一目标区域图像；

所述根据所述第二目标区域图像和所述第二模板图像，判断所述螺栓是否松动，包括：

将所述第二目标区域图像和所述第二模板图像相减，生成对应的减法图像；统计所述减法图像中满足第二预设条件的非零区域的数量；当所述减法图像中满足第二预设条件的非零区域的数量大于预设的数量阈值时，判定所述螺栓出现松动。

2.如权利要求1所述的螺栓松动检测方法，其特征在于，所述根据所述待检测目标区域图像和第一模板图像对所述待检测目标区域图像进行仿射变换，生成第一目标区域图像，还包括：

当所述区域像素亮度相关系数不满足第一预设条件时，更新所述仿射变换矩阵，并重复执行所述根据所述仿射变换矩阵对所述待检测目标区域图像进行仿射变换，计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数的步骤，直至所述区域像素亮度相关系数满足第一预设条件。

3.如权利要求1或2所述的螺栓松动检测方法，其特征在于，通过

计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数；

其中，PIU(R,F)为第一模板图像R与仿射变换后的待检测目标区域图像F之间的区域像素亮度相关系数；N为第一模板图像R中的像素总数；r为第一模板图像R中像素亮度出现频次最高的像素亮度值；f为仿射变换后的待检测目标区域图像F中像素亮度出现频次最高的像素亮度值；n_r为第一模板图像R中像素亮度为r的像素数量；n_f为仿射变换后的待检测目标区域图像F中像素亮度为f的像素数量；

χ_R,r表示第一模板图像R中像素亮度为r的坐标集合；在仿射变换后的待检测目标区域图像F内寻找符合χ_R,r坐标集合条件的像素点，并定义这些像素点为集合Ω_r；χ_F,f表示仿射变换后的待检测目标区域图像F中像素亮度为f的坐标集合；在第一模板图像R中内寻找符合χ_F,f坐标集合条件的像素点，并定义这些像素点为集合Ω_f；

通过

对所述待检测目标区域图像进行仿射变换，生成第一目标区域图像；

其中，(x',y')为仿射变换后的待检测目标区域图像F中的坐标；(x,y)为待检测目标区域图像G中的坐标；H为仿射变换矩阵，a1、a2、a3、a4、t_x和t_y均为仿射变换矩阵H中的参数。

4.如权利要求1所述的螺栓松动检测方法，其特征在于，所述对所述第一目标区域图像和所述第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像，包括：

根据预设的算子对所述第一目标区域图像进行分块，并计算各个分块的局部阈值；

分别根据所述各个分块的局部阈值对对应的分块进行二值化处理；

提取由二值化处理后的各个分块组成的图像的轮廓，生成对应的第二目标区域图像。

5.如权利要求1所述的螺栓松动检测方法，其特征在于，所述第二预设条件为

其中，A为所述减法图像中任一非零区域构成的连通体面积；l为所述任一非零区域构成的连通体长度；w为所述任一非零区域构成的连通体宽度；

为所述任一非零区域构成的连通体的长宽比。

6.一种终端设备，其特征在于，包括：

输入单元，用于获取包含螺栓的图像；

提取单元，用于提取采集图像中的待检测目标区域图像；并根据所述待检测目标区域图像和第一模板图像对待检测目标区域图像进行仿射变换，生成第一目标区域图像；以及对所述第一目标区域图像和所述第一模板图像进行二值化处理，生成第二目标区域图像和第二模板图像；所述第二模板图像为根据所述第一模板图像生成的二值图像；

判断单元，用于根据所述第二目标区域图像和所述第二模板图像，判断螺栓是否松动；

其中，所述提取单元，还用于：

为预设的仿射变换矩阵设置初始值；根据所述仿射变换矩阵对所述待检测目标区域图像进行仿射变换；计算所述第一模板图像与仿射变换后的待检测目标区域图像之间的区域像素亮度相关系数；当所述区域像素亮度相关系数满足第一预设条件时，确定对应的仿射变换矩阵为目标仿射变换矩阵，并将根据所述目标仿射变换矩阵和所述待检测目标区域图像计算得到的仿射变换图像，作为所述第一目标区域图像；

所述判断单元，还用于：

将所述第二目标区域图像和所述第二模板图像相减，生成对应的减法图像；统计所述减法图像中满足第二预设条件的非零区域的数量；当所述减法图像中满足第二预设条件的非零区域的数量大于预设的数量阈值时，判定所述螺栓出现松动。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。

Images