CN114820620A

CN114820620A - 一种螺栓松动缺陷检测方法、系统及装置

Info

Publication number: CN114820620A
Application number: CN202210751408.7A
Authority: CN
Inventors: 卢佳祁; 姚志东; 王罡; 常正非; 闫贵海
Original assignee: Central Research Institute of Building and Construction Co Ltd MCC Group
Current assignee: Central Research Institute of Building and Construction Co Ltd MCC Group
Priority date: 2022-06-29
Filing date: 2022-06-29
Publication date: 2022-07-29
Anticipated expiration: 2042-06-29
Also published as: CN114820620B

Abstract

本发明提供了一种螺栓松动缺陷检测方法、系统及装置，涉及计算机视觉检测及紧固件连接技术领域，所述方法包括：通过第一预设模型标记出目标区域并旋转校正后备份图像，通过模糊化处理及第二预设模型标记螺栓和/或螺栓丢失区域检测框并提取参考点，对所述备份图像进行畸变校正，通过第三预设模型得到螺栓或螺栓丢失区域掩码图像后提取角点及方向角度，基于角点及方向角度筛选正常螺栓，基于正常螺栓的方向角度得到螺栓角度，将螺栓角度与所述基准图像的螺栓角度进行比较，判别螺栓松动。本申请可快速、准确地对螺栓松动情况进行机器视觉判定，避免了螺栓节点区域倾斜、螺栓丢失、非螺栓信息干扰等因素造成的自动机器视觉判定失效的问题。

Description

一种螺栓松动缺陷检测方法、系统及装置

技术领域

本发明涉及计算机视觉检测及紧固件连接技术领域，尤其是涉及一种螺栓松动缺陷检测方法、系统及装置。

背景技术

螺栓连接节点是钢结构构件最常用的连接方式之一，其中六角螺栓的使用也最为普遍，螺栓在安装及服役过程中由于施工、温度、荷载和振动等因素影响会造成螺栓松动等缺陷，从而威胁到整个结构的安全性和稳定性，因此对螺栓松动的检测具有重要意义。

传统螺栓松动是通过使用接触式传感器的方法来监测的，例如声学传感、压电传感和阻抗检测等，往往需要精密仪器及复杂算法来补偿环境变化的影响，经济性差，普及率低。

目前，随着计算机视觉技术的发展、特别是深度学习模型领域研究的不断深入，使计算机识别精度有了大幅提升，极大扩展计算机视觉检测技术的应用范围，尤其是在紧固件连接技术领域，针对螺栓松动缺陷的检测技术研究有了很多成果，但同时仍存在着诸多不足之处。

文献《基于自主视觉的拼接件用螺栓松动检测方法：设计、实验室评估和现场应用》（英文名称：Vision-based autonomous bolt-looseness detection method forsplice connections: Design, lab-scale evaluation, and field application）中记载了一种基于计算机视觉技术针对螺栓松动的检测方法，将螺栓的检测节点图像校正为标准节点图像视角后，通过比对前后螺栓边缘直线角度差异给出松动检测结果，但该方法存在两个缺点：第一，当检测区域中顶点螺栓不存在时，该检测方法失效；第二，使用边缘检测方法提取螺栓边缘信息时，容易受到非螺栓边缘信息的干扰，进而导致提取到出非螺栓边缘直线，影响检测结果，鲁棒性较差。

专利文献《一种螺栓松动检测方法、装置、设备及存储介质》（专利号CN2020114090140）中记载了与上述文献中类似的方法，并提出了改进，通过判断螺栓的矩形检测框各边延长线与其它螺栓的矩形检测框相交的情况确定4个端点，将相邻端点连线的交点作为透视变换的参考点，可有效适应顶点螺栓不存在的情况；在检测螺栓边缘直线角度时，先通过深度学习的语义分割模型提取只包含螺栓边缘信息的掩码图像，再提取螺栓边缘，最后变换为螺栓边缘直线角度，由于掩码图像的鲁棒性较高，在图像出现污渍、阴影、锈蚀等干扰时，仍然可以准确地检测螺栓边缘直线。但是，当采集的螺栓节点图像存在较大的平面旋转角度时，参考点提取会发生误判，如图1所示，图1中的a图为图像竖直状态下，正确参考点的提取位置，图1中的b图中为图像旋转状态下，由于射线与其他检测框相交，未与期望检测框相交，造成期望的端点螺栓未成功检测，而造成参考点提取误判；当螺栓节点的外层螺栓丢失过多时，螺栓参考点的检测也会失效，如图2所示，左侧整列螺栓丢失，造成参考点实际提取位置与期望提取位置产生偏离，形成误判；此外，当螺栓矩形检测框过大时，检测框各边射线无法与其他本应相交的检测框进行相交，同样会造成参考点的误判，如图3所示，检测框的尺寸偏大，造成所述检测框两边生成的射线无法与下方的检测框相交，从而不能正常提取期望的参考点。因为参考点提取的正确与否，决定了后续松动检测的成败，所以该方法在参考点提取的鲁棒性与适应性上有待改进。

发明内容

本发明的目的在于提供一种螺栓松动缺陷检测方法、系统及装置，以解决现有技术中存在的上述技术问题。

为解决上述技术问题，本发明提供的螺栓松动缺陷检测方法主要包括：

采集基准图像与检测区域图像；

基于基准图像，通过第一预设模型标记出目标区域并旋转校正，通过第二预设模型标记螺栓检测框并提取参考点，截取单个螺栓图像通过第三预设模型得到螺栓掩码图像后提取方向角度并求均值得到螺栓角度；

通过上述对基准图像的处理过程，可以将实际工况中确认无缺陷的螺栓图像作为基准，采集其中的检测框、参考点及方向角度等信息作为基准数据进行储存，以便与后续检测区域图像的相关数据进行比对及换算；

基于检测区域图像，通过第一预设模型标记出目标区域并旋转校正后备份图像，通过模糊化处理及第二预设模型标记螺栓和/或螺栓丢失区域检测框并提取参考点，基于所述参考点及所述基准图像中的参考点经计算得到透视变换矩阵，基于所述透视变换矩阵及所述备份图像进行畸变校正，通过第三预设模型得到螺栓或螺栓丢失区域掩码图像后提取角点及方向角度，基于角点及方向角度筛选正常螺栓，通过对所述正常螺栓的方向角度求均值得到螺栓角度，将所述螺栓角度与所述基准图像中对应的螺栓角度进行比较，判别螺栓松动；

通过上述对检测区域图像的处理过程，可以将螺栓检测区域图像中的螺栓松动情况进行有效甄别，并输出判定结果。

优选的，所述预设模型采用深度学习模型，所述深度学习模型属于现有技术，训练过程简述如下：选择现有模型；基于图像素材制成训练集和验证集；通过训练集以及数据增强和正则化方法训练模型；通过验证集验证模型，当验证结果满足结束条件时结束训练；通过深度学习模型可提升图像识别准确率及效率。

进一步地，所述第一预设模型标记出目标区域包括：先对图像进行灰度化处理，再通过对螺栓节点区域添加旋转矩形框进行数据标记；

所述第一预设模型，可以是螺栓节点旋转框目标检测模型，用于螺栓节点旋转目标检测，可在faster-RCNN、SSD、YOLO等水平框目标检测模型基础上添加倾斜角的回归或采用本领域公知的其他旋转目标检测方法实现，如SCRDet等；

由于螺栓的颜色不影响螺栓松动判别，故对图像进行灰度化处理，可以减少数据量，便于提升运算效率；

所述旋转矩形框由位置信息定义，所述位置信息包括中心点坐标、宽度、高度和倾斜角度。

进一步地，所述旋转校正包括基于所述旋转矩形框的倾斜角度，向倾斜方向的反方向旋转图像至摆正状态。

通过旋转校正，可避免螺栓节点倾斜时产生的参考点定位错误。

进一步地，所述第二预设模型标记检测框包括：通过对单个螺栓和/或螺栓丢失区域添加矩形框进行数据标记；

所述第二预设模型，可以是螺栓和/或螺栓丢失目标检测模型，用于螺栓与螺栓丢失的目标检测，可选择但不限于faster-RCNN、SSD、YOLO系列等目标检测模型；

所述矩形框由位置信息定义，所述位置信息包括矩形框中心点坐标、矩形框宽度和矩形框高度。

进一步地，所述模糊化处理是指弱化或消除图像中的边缘特征，具体办法可以是高斯模糊、加高斯噪声、缩小图像以减小分辨率等常规模糊化操作。

通过所述模糊化处理，便于后续标记螺栓和/或螺栓丢失区域检测框。

进一步地，在所述第二预设模型在进行模型训练时，对训练集图像进行灰度化处理后也包括所述模糊化处理，将正常螺栓的图像进行模糊化后再添加矩形框。由于模糊化处理后的正常螺栓图像与模糊化处理后的螺栓丢失区域的图像极为相似，故可通过所述模糊化处理的图像模拟螺栓丢失的图像，这样构建成的训练集就兼顾了正常螺栓及螺栓丢失区域，利用所述训练集训练所述第二预设模型，以避免实际应用中螺栓丢失缺陷发生概率低，难以采集螺栓丢失实际图像进行模拟训练的问题。

进一步地，所述提取参考点包括：

以图像的左上方顶点为原点，水平向右为横轴正向，竖直向下为纵轴正向建立坐标系；

以每个螺栓或螺栓丢失区域的检测框中心为起点，沿着横轴及纵轴的正负方向做射线；

根据所述射线与其它检测框的相交情况判定端点，所述端点包括左上区域的端点、左下区域的端点、右上区域的端点和右下区域的端点；

若所在区域内的端点唯一时，以所述端点作为参考点；若所在区域内的端点不唯一时，则通过辅助点方式确定参考点。

进一步地，所述根据所述射线与其它检测框的相交情况判定端点的方法是：

若某个检测框的横轴负向射线及纵轴负向射线与其它检测框无相交，则所述检测框的中心点为左上区域的端点；

若某个检测框的横轴负向射线及纵轴正向射线与其它检测框无相交，则所述检测框的中心点为左下区域的端点；

若某个检测框的横轴正向射线及纵轴负向射线与其它检测框无相交，则所述检测框的中心点为右上区域的端点；

若某个检测框的横轴正向射线及纵轴正向射线与其它检测框无相交，则所述检测框的中心点为右下区域的端点；

进一步地，所述通过辅助点方式确定参考点是指以水平或竖直方向上相邻的两个端点做连线，以两个所述连线的交点作为参考点。

通过上述方法，以检测框的中心做射线，避免了现有技术中以检测框的边框做射线时，由于检测框边长较大导致的无法与其他期望相交的检测框相交的缺陷，提升了参考点提取效率；

进一步地，所述透视变换属于现有技术，包括：通过当前检测区域图像的参考点与基准图像的参考点进行换算，得到透视变换矩阵；基于所述透视变换矩阵，对所述备份图像进行畸变校正，并对螺栓和/或螺栓丢失区域的检测框进行畸变校正。

通过畸变校正，用于将因拍摄方法、拍摄工具等因素导致倾斜或者变形的图像调整为正视图像。

进一步地，所述第三预设模型得到螺栓掩码图像包括：对灰度图中的单个螺栓或螺栓丢失区域进行语义分割并以像素区分的方式进行数据标注，然后进行二值化处理；

所述第三预设模型，可以是螺栓语义分割模型，用于单个螺栓或螺栓丢失区域掩码图像的提取，可选择但不限于FCN、UNet、DeepLab等语义分割模型；

所述像素区分是指以像素值进行区分，例如可以将螺栓或螺栓丢失区域的像素值定义为255，其他背景区域的像素值定义为0，以便进行区分，当然也可以定义为其他值，只要便于区分即可。

进一步地，所述提取方向角度包括：

将掩码图像中图形的几何中心点作为原点，边缘线的交点作为角点，分别进行标记；

所述几何中心点坐标可以利用掩码图像的一阶矩除以零阶矩的方法得到，当然还可采用本领域公知的其他算法得到；

所述角点，可以选择但不限于使用Harris角点检测法提取，由于掩码图像中的角经放大后是曲率半径很小的圆弧，因此在同一位置可能会检测出多个疑似角点，取所述疑似角点的坐标平均值作为这个此位置的角点坐标；

以所述原点建立坐标系，通过所述原点与所述角点的射线逆时针旋转至所述坐标系正向纵轴的角度作为方向角度；

将所述方向角度整理成集合。

进一步地，所述筛选正常螺栓包括：

先通过所述角点的数量初次判定螺栓是否丢失，若所述数量不大于1时，直接判定当前位置螺栓丢失并剔除；

再通过所述方向角度的差异再次判定螺栓是否丢失，当所述差异大于设定阈值时，判定当前位置螺栓丢失并剔除，剩余图像为正常螺栓图像。

进一步地，所述螺栓角度与基准图像中对应的螺栓角度进行比较时，还包括确定正常螺栓与基准图像中螺栓之间的对应关系，具体过程包括：计算每个正常螺栓检测框与基准图像中每个检测框的交并比；当所述交并比大于预设阈值时，判定参与当前运算的两个检测框内的螺栓为对应螺栓。

优选的，所述交并比是面积交并比，具体来讲，是指所述正常螺栓检测框与基准图像中检测框之间交集区域面积与并集区域面积的比值。

当然还可以采用本领域公知的其他方法确定所述对应关系。

进一步地，所述判别螺栓松动包括：通过判断对应螺栓间的螺栓角度差值与预设阈值的关系，判定螺栓是否发生松动：当所述差值大于所述预设阈值时，则判定螺栓松动；当所述差值不大于所述预设阈值时，则判定螺栓未松动。

另一方面，本发明还提供了一种螺栓松动缺陷检测系统，包括：图像采集模块、数据存储模块、数据处理模块、结果生成模块;

所述数据存储模块，包括模型存储单元、备份图像单元和基准存储单元;所述模型存储单元，用于存储预设模型；所述备份图像单元，用于存储备份图像；所述基准存储单元，用于存储基准数据，所述基准数据包括基准图像的检测框、参考点和螺栓角度；

所述图像采集模块，用于接收基准图像和检测区域图像，发送至数据处理模块；

所述数据处理模块，包括基准数据处理单元和检测数据处理单元；

所述基准数据处理单元，接收基准图像后，调用第一预设模型标记出目标区域并旋转校正；调用第二预设模型标记螺栓检测框并提取参考点；截取单个螺栓图像调用第三预设模型得到螺栓掩码图像后提取方向角度并求均值得到螺栓角度，并将基准数据保存至所述基准存储单元；

所述检测数据处理单元，接收检测区域图像后，调用第一预设模型标记出目标区域进行旋转校正，并备份图像至所述备份图像单元；调用第二预设模型标记检测框并提取参考点，通过与所述基准图像的参考点进行换算得到透视变换矩阵，基于所述透视变换矩阵及所述备份图像进行畸变校正；调用第三预设模型得到螺栓掩码图像后提取角点及方向角度，基于角点及方向角度筛选正常螺栓，通过对所述正常螺栓的方向角度求均值得到螺栓角度，将所述螺栓角度与所述基准图像中对应的螺栓角度进行比较，判别螺栓松动，将判别结果发送至结果生成模块；

所述结果生成模块输出螺栓松动判别结果。

又一方面，本发明还提供了一种用于上述螺栓松动缺陷检测方法的螺栓松动缺陷检测装置，所述装置包括处理器、存储器、总线，所述存储器存储可由处理器读取的指令及数据；所述处理器用于调用所述存储器中的指令及数据；所述总线连接各功能部件之间传送信息。

采用上述技术方案，本发明具有如下有益效果：

本发明提供的螺栓松动缺陷检测方法，通过第一预设模型标记出目标区域及旋转校正处理，避免螺栓节点倾斜时产生的参考点定位错误问题；通过模糊化处理及第二预设模型，准确提取检测框和参考点；通过透视变换，校正图像畸变；通过第三预设模型得到螺栓或螺栓丢失区域掩码图像并提取角点及方向角度，可快速准确地剔除丢失螺栓，筛选出正常螺栓；基于正常螺栓的方向角度计算螺栓角度，并与所述基准图像的螺栓角度进行比较，可准确判定出螺栓是否发生松动；采用上述方法，可高效、精确地判定出螺栓松动缺陷，实用性强、通用性好，避免了现有技术中螺栓节点区域倾斜、螺栓丢失、非螺栓信息干扰等原因造成的自动机器视觉判定失效的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中螺栓节点图像旋转造成参考点误判的说明图；

图2为现有技术中螺栓丢失过多造成参考点误判的说明图；

图3为现有技术中螺栓矩形检测框过大时无法提取参考点的说明图；

图4为本发明实施例提供的螺栓松动缺陷检测方法流程图；

图5为本发明实施例提供的含有旋转矩形框的图像示例图；

图6为本发明实施例提供的目标校正图像示例；

图7为本发明实施例提供的含有正常螺栓和螺栓丢失区域检测框的图像示例；

图8为本发明实施例提供的在螺栓出现丢失情况下提取检测参考点的示例图；

图9为本发明实施例提供的畸变校正示例图；

图10为本发明实施例提供的螺栓和螺栓丢失区域掩码图像提取示例图；

图11为本发明实施例提供的螺栓几何中心点示意图；

图12为本发明实施例提供的螺栓角点示意图；

图13为本发明实施例提供的螺栓方向角度示意图；

图14为本发明实施例提供的螺栓丢失区域模糊化图像与正常螺栓模糊化图像对比图；

图15为本发明实施例提供的基准数据获取流程图；

图16为本发明实施例提供的由端点确定参考点示意图；

图17为本发明实施例提供的螺栓松动缺陷检测系统图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块。方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。“和/或”用于表示在其所连接的两个对象之间选择一个或全部。

下面结合具体的实施方式对本发明做进一步的解释说明。

如图4所示，本实施例提供的螺栓松动缺陷检测方法具体包括如下步骤：

步骤101、采集图像数据，所述图像数据为螺栓节点安装面的正视清晰图像，包括基准图像与检测区域图像，所述基准图像为螺栓无缺陷的图像，用于获取基准数据，所述螺栓无缺陷包括螺栓无丢失、螺栓以定值力矩安装到位，所述基准数据包括基准图像的检测框、参考点和螺栓角度；

步骤102、基于检测区域图像，经灰度化处理后通过螺栓节点旋转框目标检测模型标记出目标区域，得到含有旋转矩形框的图像，所述旋转矩形框由位置信息定义，所述位置信息包括矩形框中心点坐标（x，y）、矩形框宽度w、矩形框高度h和矩形框倾斜角度θ’；定义θ’的范围为-90°~+90°；定义θ’的方向：旋转矩形框竖直时θ’为0°,逆时针旋转为负，顺时针旋转为正，如图5所示；

步骤103、截取目标区域图像，基于所述矩形框倾斜角度进行旋转-θ’至摆正状态，得到目标校正图像，如图6所示；

步骤104、基于目标校正图像，制作备份图像；

步骤105、基于目标校正图像，进行模糊化处理，得到模糊图像，所述模糊化处理是指弱化或消除图像中的边缘特征；

步骤106、基于模糊图像，通过螺栓和/或螺栓丢失目标检测模型标记出图像中每个螺栓和/或螺栓丢失区域的矩形检测框（x1,y1,x2,y2），所述x1和y1是矩形检测框左上顶点坐标，所述x2和y2是矩形检测框右下顶点坐标，得到含有螺栓检测框和螺栓丢失区域检测框的图像，如图7所示；

步骤107、基于含有螺栓检测框和螺栓丢失区域检测框的图像，通过判断穿过每个检测矩形框中心且平行于边框的射线与其他检测矩形框的相交情况，提取参考点，所述参考点位于图像的四角，共4个，这样可避免因边界螺栓丢失过多导致的参考点定位失效问题，如图8所示；

步骤108、基于4个参考点，通过与所述基准图像的4个参考点进行换算，得到透视变换矩阵H；

步骤109、基于所述透视变换矩阵H及所述备份图像，对所述目标区域图像通过透视变换进行畸变校正，用于将检测区域图像的视平面投影到基准图像的视平面，使图像由畸变形态变换成为规则形态；

所述透视变换是现有技术，是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使透视面绕透视轴旋转某一角度，破坏原有的投影光线束，仍能保持透视面上投影几何图形不变的变换，用于将因拍摄角度而导致图像倾斜或者变形的图像调整成正视的图像。

步骤110、基于透视变换矩阵H，对所述螺栓检测框和螺栓丢失区域检测框通过透视变换进行畸变校正，用于使每个检测框由畸变形态变换成为规则形态，如图9所示；

步骤111、基于畸变校正后的目标区域图像，截取检测框内的单个螺栓或螺栓丢失区域图像，若检测框最长边长为Max_L，则最终截取的图像区域是以原检测框中心点为中心点，宽和高均为1.1*Max_L的正方形的区域，以便确保截取的图像为正方形且包含完整的螺栓或螺栓丢失区域，将截取的正方形区域缩放成n*n个像素大小的图像，调用螺栓语义分割模型进行运算，输出n*n个像素大小的灰度图像，再将所述灰度图像进行二值化处理，得到掩码图像，如图10所示，图10中的a图中提取的螺栓掩码图像有明显的六边形特征，而图10中的b图中提取的螺栓丢失区域图像不存在六边形特征，因此后续步骤可以通过判断提取的掩码图像中有无六边形特征筛选出正常螺栓；

所述二值化处理是现有技术，是将图像上的像素点灰度值设置为0或255，例如将所述掩码图像螺栓区域像素值设为255，其他背景区域像素值设为0，用于将整个图像呈现出黑白分明的视觉效果。

步骤112、基于掩码图像，筛选正常螺栓，具体包括：

步骤1121、标记几何中心点：

步骤11211、计算几何矩的零阶矩

,定义为螺栓掩码图像像素值的总和：

;

步骤11212、计算几何矩的两个一阶矩

和

；

;

;

上述公式中，x、y分别为某个图像像素的横坐标值和纵坐标值，A(x,y)为图像在(x,y)坐标处的灰度值；

步骤11213、计算几何中心点坐标

和

，如图11所示；

;

;

步骤1122、基于掩码图像，通过角点检测法，得到带有角点的掩码图像，所述角点为图像中边缘线的交点；

所述角点检测法是现有技术，例如正常螺栓掩码图像具有明显的六边形特征，且不存在其他明显的干扰点，故便于提取正确的螺栓角点，比如可以采用类似OpenCV库等计算机视觉软件库中的cornerHarris函数进行计算，cornerHarris函数有四个输入参数：

参数1：src，代表输入的图像；

参数2：blockSize，代表进行角点检测的邻域的大小；

参数3：KSize，代表Sobel求导中使用的窗口大小；

参数4：k，代表常量系数；

具体地，blockSize与KSize可设为较大值，例如blockSize=9、ksize=13，防止误检节点板掩码图像边缘的小的干扰角点；k=0.04；cornerHarris函数返回值为dst，代表角点检测器的响应矩阵，所述响应矩阵中的每个值代表图像中某像素的角点响应值，保留dst中大于阈值T的点作为检测的角点，T=0.1*max（dst）；将检测到的六个角点位置标记在正常螺栓掩码图像中，如图12所示；

由于掩码图像的角经放大后是曲率半径很小的圆弧，因此在角的周围可能会检测出多个疑似角点，取所述疑似角点的坐标平均值作为这个角的角点坐标，具体步骤如下；

步骤11221、当图像为n*n分辨率时，同一角附近检测到的角点之间横坐标或纵坐标的差值小于0.04*n个像素，不同角之间检测到的角点之间横坐标或纵坐标的差值大于0.2*n个像素，故设定阈值t=(0.04+0.2)*n/2=0.12*n；

步骤11222、取任意角点坐标值，计算该疑似角点坐标与其他角点横纵坐标差值dx,dy；

步骤11223、当dx和dy均小于t时，则将这些疑似角点归为同一角的疑似角点集合Aj（j≤6），当dx或dy大于t时，则归为其他角的疑似角点集合B；

步骤11224、在所述集合B中重复步骤11222~11223，直至B集合为空，此时不同角周围的疑似角点集合归类完毕；

步骤11225、对每个角的疑似角点集合Aj的横纵坐标分别取均值得到每个角的唯一角点坐标；

步骤1123、基于带有角点的掩码图像，以所述几何中心点为原点，计算每条过所述原点至所述角点的射线逆时针旋转到正向纵轴的角度，得到方向角度集合，具体步骤如下：

步骤11231、计算几何中心点到每个角点的射线角度，以几何中心点作为原点，垂直向上作为y轴的正方向，设几何中心点坐标c（

），角点坐标

（

），j≤6；从点c到点

的射线沿逆时针方向转到y轴正方向的夹角

即为几何中心点到角点的方向角度，

的范围为0~360°，如图13所示；

步骤11232、由于螺栓的外形往往具有正六边形特性，可将所述

归为[0,60]区间内，公式为

,其中mod[.]为取余数操作，归为集合C；

步骤1124、基于角点数量及方向角度，判别螺栓是否丢失，剔除螺栓丢失图像，得到正常螺栓图像，具体步骤为：

步骤11241、先通过所述角点的数量判定，若所述数量不大于1时，则无法识别出螺栓的正六边形特征，直接判定螺栓丢失；

步骤11242、再通过所述方向角度的差异判定，所述差异采用均方差计算：

；

其中，n为方向角数量；

为方向角度值，

为所有方向角度的均值，当σ大于阈值

时，则判定为螺栓丢失，根据试验统计结果，所述阈值

可设为2；

步骤113、基于正常螺栓图像及所述正常螺栓的方向角度集合，计算均值，得到每个正常螺栓的螺栓角度；

步骤114、基于畸变校正后的正常螺栓检测框，计算与所述基准图像检测框之间的交并比，确定目标图像中的螺栓与基准图像中的螺栓之间的对应关系，具体过程如下：

步骤1141、逐一计算所述正常螺栓检测框与基准图像中检测框的交并比IOU,所述IOU为两个检测框交集面积与并集面积的比值，计算方法如下：

定义A(x1,y1,x2,y2)为基准图像的检测框；

B（

）为检测区域图像中正常螺栓的检测框；

两个检测框相交区域的矩形为C：

；

其中，max()为计算最大值，min()为计算最小值；

C的面积即为A和B的交集面积A∩B：

A∩B=（

-

）*（

-

）;

A_area的面积为（y2-y1）*(x2-x1);

B_area的面积为

;

A和B的并集面积为：A∪B=A_area+B_area-A∩B；

计算IOU=A∩B/A∪B；

步骤1142、判断IOU数值，当IOU大于0时，即可判定基准图像中的当前检测框内的螺栓与检测区域图像中的当前检测框内的螺栓为同一位置螺栓；

步骤1143、基于判断结果，确定螺栓的对应关系；

步骤115、基于对应关系，提取所述基准图像中的螺栓角度，与每个正常螺栓进行匹配；

步骤116、基于每个正常螺栓的螺栓角度，与对应的基准螺栓角度进行比对，当检测区域图像中每个正常螺栓的螺栓角度与对应的基准螺栓角度差值的绝对值

大于阈值

时，则判定当前螺栓发生松动，得到判别结果，所述阈值

可根据实际需要进行预设，这里不做限定。

所述螺栓节点旋转框目标检测模型为卷积神经网络模型，具体训练步骤如下：

步骤21、对螺栓节点图像进行灰度化处理，得到灰度图；

步骤22、基于所述灰度图，通过对螺栓节点区域添加旋转矩形框进行数据标注，标注内容包括所述旋转矩形框的中心点坐标、宽度、高度和旋转角度；

步骤23、将标注后的数据随机生成为训练集和验证集；

步骤24、基于训练集，并通过数据增强和正则化方法，训练模型，所述数据增强的方式包括但不限于：尺度变化、透视变换、随机旋转和翻转、直方图均衡化、浮雕化、模糊化、锐化和加高斯噪声等；所述正则化方法可采用例如DropBlock的正则化方法对卷积神经网络模型特征图进行随机区块式的遮挡，以便更好地模拟检测区域中出现锈蚀、污渍、阴影及螺栓丢失等情况，提高模型的泛化能力；

步骤25、通过验证集验证模型，当验证结果满足结束条件时结束训练，保存模型参数。

所述螺栓和/或螺栓丢失目标检测模型为卷积神经网络模型，可选择但不限于faster-RCNN、SSD、YOLO系列等目标检测模型，所述目标检测模型的训练集只需包含正常螺栓模糊化的特征数据，无需包含真实情况下的螺栓丢失特征数据；这是因为当螺栓丢失时，会留下螺孔、垫圈、螺柱等一团类圆形的痕迹特征，螺栓丢失真实图像经模糊化处理后的示例如图14中a所示；而正常螺栓的图像通过高斯模糊、加高斯噪声等操作进行模糊化处理后，螺栓的六边形特征被弱化或消除，如图14中b所示，这与螺栓丢失的真实图像进行模糊化处理后的图像极为相似，需要说明的是，模糊化的螺栓丢失孔洞与模糊化的黑色螺栓相似，因此，在训练集中应留意加入一定比例的黑色螺栓模糊化数据，其他类型螺栓丢失模糊化特征数据与常规螺栓模糊化的特征相似，无需其他特殊操作；综合上述原因，使用模糊化的正常螺栓图像数据训练所述神经网络模型，就兼顾了正常螺栓及螺栓丢失区域两种情况，可将正常螺栓与螺栓丢失区域目标无差别地检测出来，具体训练步骤如下：

步骤31、对校正后的正常螺栓节点图像进行灰度化处理，得到灰度图；

步骤32、对灰度图进行模糊化处理，得到模糊化图像；

步骤33、基于所述模糊化图像，通过对单个螺栓添加矩形框进行数据标注（x,y,w,h），所述标注内容包括所述矩形框的中心点坐标x和y、宽度w和高度h；

步骤34、将标注后的数据随机生成为训练集和验证集；

步骤35、基于训练集，通过数据增强和正则化方法，训练模型，所述数据增强的方式包括但不限于尺度变化、随机旋转和翻转、gamma变换、加椒盐噪声、直方图均衡化等，所述正则化方法是本领域公知方法例如dropout正则化方法，用于提高模型的泛化能力；

步骤36、通过验证集验证模型，当验证结果满足结束条件时结束训练，保存模型参数。

所述螺栓语义分割模型可选择但不限于FCN、UNet、DeepLab系列等语义分割模型，训练步骤如下：

步骤41、对螺栓节点图像进行灰度化处理，得到灰度图；

步骤42、对灰度图中的单个螺栓或单个螺栓丢失区域图像进行语义分割并通过像素区分的方式进行数据标注，标注的标签为二值化的掩码图像，所述掩码图像中螺栓或螺栓丢失区域像素值为255，其他背景区域像素值为0，每个所述掩码图像是包括一个螺栓或一个螺栓丢失区域在内的正方形图像，并且是缩放成n*n个像素大小的图像；

步骤43、将标注后的图像随机生成为训练集和验证集；

步骤44、基于训练集，通过数据增强和正则化方法，训练模型，所述数据增强方式包括但不限于随机旋转和翻转、gamma变换、高斯噪声、直方图均衡化等，所述正则化方法是本领域公知方法例如dropout正则化方法，以提高模型的泛化能力；

步骤45、通过验证集验证模型，当验证结果满足结束条件时结束训练，保存模型参数。

如图15所示，所述基准数据的获取方法如下：

步骤501、输入基准图像，通过螺栓节点旋转框目标检测模型标记出目标区域，得到含有旋转矩形框的图像，所述旋转矩形框由位置信息定义，所述位置信息包括矩形框中心点坐标（x，y）、矩形框宽度w、矩形框高度h和矩形框倾斜角度θ；定义θ的范围为-90°~+90°；定义θ的方向：旋转矩形框竖直时θ为0°,逆时针旋转为负，顺时针旋转为正；

步骤502、截取目标区域图像，基于所述矩形框倾斜角度进行旋转-θ至摆正状态，得到目标校正图像；

步骤503、输入目标校正图像，通过螺栓和/或螺栓丢失目标检测模型标记出所述目标校正图像中每个螺栓的矩形检测框（x1,y1,x2,y2），所述x1和y1是矩形检测框左上顶点坐标，所述x2和y2是矩形检测框右下顶点坐标，输出含有检测框的基准图像；

步骤504、基于含有检测框的基准图像，从中截取单个螺栓图像，若检测框最长边长为Max_L，则最终截取的图像区域是以原检测框中心点为中心点，宽和高均为1.1*Max_L的正方形的区域，以便确保截取的图像为正方形且包含完整的螺栓区域，将截取的正方形区域缩放成n*n个像素大小的图像，调用螺栓语义分割模型进行运算，输出n*n个像素大小的螺栓灰度图像，再将所述螺栓灰度图像进行二值化处理，得到螺栓掩码图像；

步骤505、基于螺栓掩码图像，计算几何矩的零阶矩

,定义为螺栓掩码图像像素值的总和：

;

计算几何矩的两个一阶矩

和

；

;

;

计算螺栓几何中心点坐标

和

；

;

;

标记几何中心点；

步骤506、基于螺栓掩码图像，通过所述角点检测法，得到带有角点的螺栓掩码图像，所述角点为螺栓掩码图像中六边形的顶点；

步骤507、基于带有角点的螺栓掩码图像，以所述螺栓几何中心点为原点建立坐标系，计算每条过所述原点至所述角点的射线逆时针旋转至正向纵轴的角度，得到方向角度集合；

步骤508、基于方向角度集合，计算均值，得到基准图像的螺栓角度；

步骤509、基于含有检测框的基准图像，通过判断穿过每个螺栓检测矩形框中心且平行于边框的射线与其他螺栓检测矩形框的相交情况，提取基准图像的参考点，所述参考点位于图像的四角；

步骤510、保存基准数据，所述基准数据包括基准图像的检测框、基准图像的参考点和基准图像的螺栓角度数据。

如图16所示，所述步骤107及步骤509中提取参考点的具体过程如下：

步骤61、以图像的左上方顶点为原点，水平向右为横轴正向，竖直向下为纵轴正向建立坐标系；

步骤62、以每个检测框中心为起点，沿着横轴及纵轴的正负方向做射线；

步骤63、根据所述射线与其它检测框的相交情况判定端点：

若某个检测框的横轴负向射线及纵轴负向射线与其它检测框无相交，则所述检测框的中心为左上区域的端点；

步骤64、以所述各区域内的端点作为参考点，如图16中的a图中所示；若所在区域内的端点不唯一时，则以水平或竖直方向上相邻的两个端点做连线，以两个所述连线的交点作为参考点，如图16中的b图中所示。

通过实施例提供的上述方法，可快速、准确地判定出螺栓松动缺陷，实用性强、通用性好，有效避免了现有技术中螺栓节点区域倾斜、螺栓丢失、非螺栓信息干扰等原因造成的自动机器视觉判定失效的问题。

另一方面，本发明实施例还提供了一种螺栓松动缺陷检测系统，主要包括：图像采集模块、数据存储模块、数据处理模块和结果生成模块，如图17所示;

所述结果生成模块输出螺栓松动缺陷判别结果，所述判别结果包括四种情况：情况一，螺栓无丢失且无松动；情况二，螺栓有丢失且无松动，并标记丢失位置；情况三，螺栓无丢失有松动，并标记松动位置；情况四，螺栓有丢失有松动，并分别标记丢失及松动位置。

又一方面，本方面实施例还提供了一种螺栓松动缺陷检测装置，主要包括：处理器、存储器和总线，所述存储器存储可由处理器读取的指令及数据，根据存储需要灵活配置大小，所述数据包括但不限于模型、基准数据和备份图像；所述处理器用于调用所述存储器中的指令及数据并进行运算，以执行螺栓松动缺陷检测方法，具体过程有两方面：

方面1、输入基准图像数据，通过第一预设模型标记出目标区域并旋转校正，通过第二预设模型标记螺栓检测框并提取参考点，截取单个螺栓图像通过第三预设模型得到螺栓掩码图像后提取方向角度并求均值得到螺栓角度；

方面2、输入检测区域图像，通过第一预设模型标记出目标区域并旋转校正后备份图像，通过模糊化处理及第二预设模型标记螺栓和/或螺栓丢失区域检测框并提取参考点，基于所述参考点及所述基准图像中的参考点经计算得到透视变换矩阵，基于所述透视变换矩阵及所述备份图像进行畸变校正，通过第三预设模型得到螺栓或螺栓丢失区域掩码图像后提取角点及方向角度，基于角点及方向角度筛选正常螺栓，通过对所述正常螺栓的方向角度求均值得到螺栓角度，将所述螺栓角度与所述基准图像中对应的螺栓角度进行比较，判别螺栓松动；

所述总线连接各功能部件之间传送信息。

本方案在又一种实施方式下，可以通过设备的方式来实现，该设备可以包括执行上述各个实施方式中各个或几个步骤的相应模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。

处理器执行上文所描述的各个方法和处理。例如，本方案中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其它实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。

该设备可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线将包括一个或多个处理器、存储器和/或硬件模块的各种电路连接到一起。总线还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路连接。

总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，ExtendedIndustry Standard Component)总线等，总线可以分为地址总线、数据总线、控制总线等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种螺栓松动缺陷检测方法，其特征在于，包括：

采集基准图像与检测区域图像；

基于检测区域图像，通过第一预设模型标记出目标区域并旋转校正后备份图像，通过模糊化处理及第二预设模型标记螺栓和/或螺栓丢失区域检测框并提取参考点，基于所述参考点及所述基准图像中的参考点经计算得到透视变换矩阵，基于所述透视变换矩阵及所述备份图像进行畸变校正，通过第三预设模型得到螺栓或螺栓丢失区域掩码图像后提取角点及方向角度，基于角点及方向角度筛选正常螺栓，通过对所述正常螺栓的方向角度求均值得到螺栓角度，将所述螺栓角度与所述基准图像中对应的螺栓角度进行比较，判别螺栓松动。

2.根据权利要求1所述的螺栓松动缺陷检测方法，其特征在于，所述第一预设模型标记出目标区域包括：先对图像进行灰度化处理，再通过对螺栓节点区域添加旋转矩形框进行数据标记，所述旋转矩形框由位置信息定义，所述位置信息包括所述旋转矩形框的倾斜角度。

3.根据权利要求2所述的螺栓松动缺陷检测方法，其特征在于，所述旋转校正包括基于所述旋转矩形框的倾斜角度，向倾斜方向的反方向旋转图像至摆正状态。

4.根据权利要求1所述的螺栓松动缺陷检测方法，其特征在于，所述提取参考点包括：

5.根据权利要求4所述的螺栓松动缺陷检测方法，其特征在于，所述根据所述射线与其它检测框的相交情况判定端点的方法是：

若某个检测框的横轴正向射线及纵轴正向射线与其它检测框无相交，则所述检测框的中心点为右下区域的端点。

6.根据权利要求4所述的螺栓松动缺陷检测方法，其特征在于，所述通过辅助点方式确定参考点是指以水平或竖直方向上相邻的两个端点做连线，以两个所述连线的交点作为所述参考点。

7.根据权利要求1所述的螺栓松动缺陷检测方法，其特征在于，所述畸变校正还包括对螺栓和/或螺栓丢失区域的检测框进行畸变校正。

8.根据权利要求1所述的螺栓松动缺陷检测方法，其特征在于，所述螺栓角度与基准图像中对应的螺栓角度进行比较时，还包括确定正常螺栓与基准图像中螺栓之间的对应关系，具体过程包括：计算每个正常螺栓检测框与基准图像中每个检测框的交并比；当所述交并比大于预设阈值时，判定参与当前运算的两个检测框内的螺栓为对应螺栓。

9.一种用于权利要求1-8任一所述螺栓松动缺陷检测方法的螺栓松动缺陷检测装置，其特征在于，所述装置包括处理器、存储器、总线，所述存储器存储可由处理器读取的指令及数据；所述处理器用于调用所述存储器中的指令及数据；所述总线连接各功能部件之间传送信息。

10.一种螺栓松动缺陷检测系统，其特征在于，包括：图像采集模块、数据存储模块、数据处理模块和结果生成模块;

所述结果生成模块输出螺栓松动判别结果。