CN117029733B - 一种基于计算机视觉的螺栓松动检测方法、系统及装置 - Google Patents

一种基于计算机视觉的螺栓松动检测方法、系统及装置 Download PDF

Info

Publication number
CN117029733B
CN117029733B CN202311292775.6A CN202311292775A CN117029733B CN 117029733 B CN117029733 B CN 117029733B CN 202311292775 A CN202311292775 A CN 202311292775A CN 117029733 B CN117029733 B CN 117029733B
Authority
CN
China
Prior art keywords
bolt
image
detection
angle
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311292775.6A
Other languages
English (en)
Other versions
CN117029733A (zh
Inventor
卢佳祁
姚志东
常正非
闫贵海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Research Institute of Building and Construction Co Ltd MCC Group
Original Assignee
Central Research Institute of Building and Construction Co Ltd MCC Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Research Institute of Building and Construction Co Ltd MCC Group filed Critical Central Research Institute of Building and Construction Co Ltd MCC Group
Priority to CN202311292775.6A priority Critical patent/CN117029733B/zh
Publication of CN117029733A publication Critical patent/CN117029733A/zh
Application granted granted Critical
Publication of CN117029733B publication Critical patent/CN117029733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于计算机视觉的螺栓松动检测方法、系统及装置，涉及计算机视觉技术领域，方法主要包括：采集螺栓节点图像；通过第一检测模型，检测疑似螺栓的感兴趣区域并标记检测框；基于第二检测模型，检测感兴趣区域的轮廓边缘直线；基于轮廓边缘直线的数量，筛除伪螺栓目标的检测框；矫正图像；基于当前轮廓边缘直线，计算各螺栓的螺栓角度；将每个螺栓角度与螺栓基准角度进行比较，得到角度差值；将角度差值与第二预设阈值进行比较判定，得到螺栓松动情况。本方案鲁棒性强，对螺栓节点图像的拍摄要求低，并可有效筛除伪螺栓目标，进而大幅提升螺栓松动检测的准确性。

Description

一种基于计算机视觉的螺栓松动检测方法、系统及装置
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种基于计算机视觉的螺栓松动检测方法、系统及装置。
背景技术
目前，基于计算机视觉的螺栓松动检测方法中，有一类方法是通过对连接节点图像进行透视矫正后，再分析螺栓轮廓边缘直线角度的变化，从而及时发现微小的松动缺陷。然而，这类方法在图像矫正和螺栓轮廓边缘检测的可靠性等方面仍有待提升。
公开号CN112419297A，名称为一种螺栓松动检测方法、装置、设备及存储介质的专利申请1，具体公开了通过判断螺栓的矩形检测框各边延长线与其它螺栓的矩形检测框相交的情况确定4个端点，将相邻端点连线的交点作为透视变换的参考点；对于螺栓为非规则矩形排列的螺栓节点图像，能够通过端点连线的交点确定正确的参考点位置；检测螺栓边缘直线角度时，先通过深度学习的语义分割模型高鲁棒地提取螺栓掩码图像，此时的掩码图像只包含螺栓的边缘，基于该掩码图像使用canny算子可以准确地检测螺栓掩码图像边缘，再使用Hough变换提取螺栓边缘直线角度，进而通过比对螺栓角度前后变化判断螺栓松动情况。
而公开号CN114820620A，名称为一种螺栓松动缺陷检测方法、系统及装置的专利申请2，对专利申请1进行了改进，在透视变换前，通过基于深度学习的旋转框目标检测模型，得到螺栓节点旋转角，并根据得到的旋转角信息进行旋转节点图像校正，避免了因螺栓节点区域整体旋转造成的参考点定位不准确的问题。该专利申请还通过螺栓的掩码图像提取螺栓几何特征以区分真伪螺栓，筛分出真螺栓后再进行螺栓松动缺陷判别。
但问题在于，专利申请1与专利申请2通过螺栓目标检测框的边界延长线或中心点延长线与其他螺栓检测框的相交情况定位用于透视变换的参考点，但受到图像畸变和螺栓检测框偏差等影响，延长线可能不会与期望的检测框相交，从而造成参考点定位的错误。
专利申请2在透视变换前基于深度学习的旋转框目标检测模型得到螺栓节点旋转角，并根据得到的转角信息进行旋转节点图像校正，但实际工程中，不同螺栓节点图像特征有所不同，需要针对不同的工程训练不同的螺栓节点旋转框目标检测模型，所以该方法的普适性有待提高。
专利申请1和专利申请2均基于深度学习的语义分割模型提取螺栓表面的掩码图像，再基于掩码信息提取螺栓的角度或区分真伪螺栓，但语义分割模型没有对螺栓表面的非轮廓区域进行抑制，当对螺栓进行倾斜拍摄时，突出螺栓轮廓的螺柱掩码会检测出额外的干扰性边缘和干扰性角点，导致螺栓角度的计算错误，并可能会将真螺栓误判为伪螺栓，进而导致螺栓松动判别发生错误。
发明内容
本发明的目的在于提供一种基于计算机视觉的螺栓松动检测方法、系统及装置，以解决现有技术中存在的至少一种上述技术问题。
第一方面，为解决上述技术问题，本发明提供一种基于计算机视觉的螺栓松动检测方法，包括：
步骤1、采集螺栓节点图像，包括待测图像及相应的基准图像；所述基准图像为待测图像中无螺栓松动、已矫正的标准视平面图像，所述基准图像包括螺栓顺序编号及螺栓基准角度；所述矫正包括旋转矫正及透视变换矫正；
步骤2、通过第一检测模型，例如faster-RCNN、SSD、YOLO等，检测待测图像中疑似螺栓的感兴趣区域（ROI）并标记检测框；所述检测框为圈定一个疑似螺栓头部的矩形框体；
步骤3、通过第二检测模型，例如Attention U-Net，得到感兴趣区域的螺栓轮廓边缘图像；基于螺栓轮廓边缘图像，检测轮廓边缘直线；所述轮廓边缘直线由疑似螺栓头部的若干仿形直线组成，螺栓头部的标准轮廓边缘直线为正六边形结构；
步骤4、基于轮廓边缘直线的数量，与第一预设阈值进行比较判定：当所述数量大于等于第一预设阈值时，则判定为真螺栓目标并保留相应的检测框；当所述数量小于第一预设阈值时，则判定为伪螺栓目标并去除相应的检测框；这样可以筛除伪螺栓目标，保留真螺栓目标；
步骤5、构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，并基于最外层检测框中心点求得最小外接矩形；根据最小外接矩形的旋转角，旋转矫正待测图像；标记旋转矫正后待测图像的检测框，定位参考点；基于参考点与标准参考点，通过透视变换矩阵，再次矫正待测图像，以便消除待测图像的扭转变形及光学畸变等缺陷；所述参考点，位于螺栓节点四角处，用于畸变矫正参考；所述标准参考点为参考点的基准点，通过将实际螺栓节点在横向及纵向上的最大距离和/>，按比例缩放至基准图像大小后换算求得；
步骤6、对矫正后的待测图像执行步骤2~4，再基于当前轮廓边缘直线，计算各螺栓的螺栓角度，具体公式可以为：
；
其中，表示轮廓边缘直线数量，且/>；/>表示第/>个轮廓边缘直线的角度，且/>；/>表示余数操作；/>表示余数角度，且/>；
步骤7、基于螺栓顺序编号，将每个螺栓角度与基准图像中对应的螺栓基准角度进行比较，得到角度差值/>；将每个角度差值/>与第二预设阈值/>进行比较判定，得到相应螺栓的松动情况。
通过上述方法，可以通过计算机视觉技术快速、自动、多次筛除待测区域的伪螺栓目标，并对真螺栓目标的松动情况进行检测。
在一种可行的实施方式中，所述基准图像可通过拍摄确定无螺栓松动的待测图像后，再通过步骤2~步骤6中的方法，进行图像矫正、筛除伪螺栓目标并计算得到螺栓基准角度，所述螺栓基准角度为基准图像中的螺栓角度。
在一种可行的实施方式中，所述螺栓顺序编号具体可以按照从左至右、从上至下的顺序进行编号。
在一种可行的实施方式中，所述步骤2中的检测框包括置信度、中心点坐标和宽高值：所述置信度为检测框内存在真螺栓的概率；所述中心点坐标（cx，cy）为检测框中心点处的横坐标及纵坐标；所述宽高值（w, h）为检测框的宽度值及高度值。
在一种可行的实施方式中，所述步骤3具体包括：
步骤31、构建第二检测模型，输入感兴趣区域图像，输出螺栓轮廓边缘图像，模型训练损失函数为加权二元交叉熵损失函数，对第二检测模型进行训练，加权二元交叉熵损失函数的具体公式可以为：
;
其中，表示样本数；/>表示第/>个样本的标签；/>表示第/>个样本的预测值；表示螺栓轮廓边缘区域损失权重，例如/>；/>表示背景区域损失权重，例如；这样可以通过调整损失权重，平衡螺栓轮廓边缘区域与背景区域的数据差异；
步骤32、基于螺栓轮廓边缘图像，通过中轴变换法，提取单像素的中轴骨架，这样可以将中轴骨架作为最终的螺栓轮廓边缘图像用于进行后序处理，避免了第二检测模型输出的螺栓轮廓边缘图像中像素范围宽，不便于进行后序处理的问题；所述中轴变换法具体包括：当某个螺栓轮廓边缘区域内的像素点距离两轮廓边缘的最小值不唯一时，以该像素点作为中轴骨架像素点；这样可以快速计算出中轴像素点的两边中轴骨架位置；
步骤33、基于中轴骨架，通过Hough变换，检测轮廓边缘直线簇；所述Hough变换属于现有技术，是一种图像处理技术常用的边缘直线检测方法；
步骤34、基于轮廓边缘直线簇，通过聚类算法，例如基于密度的聚类算法DBSCAN，进行聚类寻优，得到最优的轮廓边缘直线；这样可以对边缘直线检测方法检测出的多条直线进行聚类归一，以便后序处理。
通过上述方法，可以对待测图像中的背景区域(即非螺栓轮廓边缘区域)进行抑制，从而避免倾斜拍摄螺栓节点时，突出螺栓轮廓的螺栓轮廓边缘图像被现有技术检测出干扰性边缘及干扰性角点，进而可以快速、准确、有效地得到最优的轮廓边缘直线，以便后序计算。
在一种可行的实施方式中，所述步骤31中训练模型的样本包括正样本和负样本：所述正样本为真螺栓目标的图像，正样本的标签为螺栓轮廓边缘图像；所述负样本为不含螺栓的背景区域图像，负样本的标签为纯黑图像；训练时每个批次均抽取一定比例的负样本参与训练，用于训练第二检测模型抑制不含螺栓的背景区域信息，以便减少伪螺栓目标的感兴趣区域图像被错误输出螺栓轮廓边缘图像的概率。
在一种可行的实施方式中，所述步骤5具体包括如下步骤：
步骤51、构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，顺序连接最外层检测框中心点得到凸多边形，再求出该凸多边形的最小外接矩形；
步骤52、将X轴逆时针旋转至最小外接矩形的第一对平行边所产生的角度作为旋转角，其取值范围为/>；
步骤53、通过旋转角，对待测图像进行旋转矫正：当待测图像向左倾斜时，则将待测图像顺时针旋转/>；当待测图像向右倾斜时，则将待测图像逆时针旋转/>；这样可以对有倾斜角度的螺栓节点待测图像进行旋转矫正，进而扩大了本方法对待测图像的普适性；
步骤54、通过第一检测模型，检测旋转矫正的待测图像中螺栓的感兴趣区域，标记检测框；
步骤55、分类标记检测框的属性：若某个检测框B分别沿X轴正向、X轴负向、Y轴正向和Y轴负向移动时，不与其他检测框相交，则分别标记属性为XP、XN、YP和YN；
步骤56、基于检测框B的属性及中心点C，定义辅助参考点:当B标记XN和YN属性时，则C标记为辅助参考点;当B标记XN和YP属性时，则C标记为辅助参考点/>;当B标记XP和YP属性时，则C标记为辅助参考点/>；当B标记XP和YN属性时，则C标记为辅助参考点；
步骤57、基于辅助参考点，分类定位参考点：
当螺栓排列为规则矩形时，各辅助参考点是唯一确定的，则将四个辅助参考点直接作为四个参考点；
当螺栓排列为非规则矩形时，各辅助参考点不是唯一确定的，则分步确定参考点：做四条直线分别穿过Y坐标值最小的辅助参考点和/>、X坐标值最小的辅助参考点和/>、Y坐标值最大的辅助参考点/>和/>及X坐标值最大的辅助参考点/>和/>；将这四条直线的四个交点作为四个参考点；这样可以兼顾螺栓排列时出现规则矩形或非规则矩形的情况，并规避了现有技术中检测框延长线可能不会与期望的检测框相交的情况，从而准确定位出参考点；
步骤58、通过透视变换矩阵T，将待测图像视平面
转换成标准视平面，以便消除光学畸变，具体公式可以为：
；
其中，透视变换矩阵T可以通过待测图像的参考点及标准参考点/>的已知数值，联立求解得到；这样对规则矩形排列及非规则矩形排列的螺栓节点待测图像都可以进行透视变换矫正，进一步提升了本方法的普适性；
通过上述方法，可以消除采集待测图像时带来的图像扭转、光学畸变等问题，以便后续计算求得准确的螺栓角度。
在一种可行的实施方式中，所述步骤7中计算角度差值的具体方法包括：
步骤71、将待测图像中的螺栓按照从左到右、从上到下的顺序进行编号,以便与基准图像中螺栓顺序编号的排序方式一致；
步骤72、将待测图像及基准图像中具有相同编号的螺栓匹配成螺栓对，从而将两图像中的螺栓进行一一对应；
步骤73、在各个螺栓对内，计算待测图像中螺栓角度与螺栓基准角度的差值，得到角度差值/>。
通过上述步骤，可以准确得到角度差值。
在一种可行的实施方式中，所述步骤7中第二预设阈值，可按照多组螺栓角度差值误差分布的3σ准则进行计算得到，这样即使是微小的螺栓松动也可以进行识别。
第二方面，基于相同的发明构思，本申请还提供了一种基于计算机视觉的螺栓松动检测系统，包括数据接收模块、数据处理模块及结果生成模块：
所述数据接收模块，用于输入待测图像及相应的基准图像；所述基准图像为待测图像中无螺栓松动、已矫正的标准视平面图像，所述基准图像包括螺栓顺序编号及螺栓基准角度；
所述数据处理模块，包括检测模型单元、螺栓筛分单元、图像矫正单元、螺栓角度计算单元及螺栓松动识别单元：
所述检测模型单元，存储有第一检测模型及第二检测模型；所述第一检测模型，用于检测待测图像中疑似螺栓的感兴趣区域并标记检测框；所述第二检测模型，用于检测感兴趣区域的螺栓轮廓边缘图像；
所述螺栓筛分单元，调用第一检测模型，对待测图像标记检测框；调用第二检测模型，检测感兴趣区域的螺栓轮廓边缘图像，基于螺栓轮廓边缘图像，检测轮廓边缘直线；基于轮廓边缘直线的数量，与第一预设阈值进行比较，保留真螺栓目标的检测框，筛除伪螺栓目标的检测框；
所述图像矫正单元，构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，并基于最外层检测框中心点求得最小外接矩形；根据最小外接矩形的旋转角，旋转矫正待测图像；基于旋转矫正后待测图像，调用第一检测模型标记检测框，定位参考点；基于参考点与标准参考点，通过透视变换矩阵，再次矫正待测图像；
所述螺栓角度计算单元，基于矫正后的待测图像，调用所述螺栓筛分单元进行筛分，再基于当前轮廓边缘直线，计算各螺栓的螺栓角度；
所述螺栓松动识别单元，基于螺栓顺序编号，将每个螺栓角度与相应的螺栓基准角度进行比较，得到角度差值；将每个角度差值与第二预设阈值进行比较判定，得到相应螺栓的松动情况；
所述结果生成模块，用于将螺栓的松动情况外发。
第三方面，基于相同的发明构思，本申请还提供了一种基于计算机视觉的螺栓松动检测装置，包括处理器、存储器及总线，所述存储器存储可由处理器读取的指令及数据，所述处理器用于调用所述存储器中的指令及数据，以执行如上所述的基于计算机视觉的螺栓松动检测方法，所述总线连接各功能部件用于传送信息。
采用上述技术方案，本发明具有如下有益效果：
本发明提供的一种基于计算机视觉的螺栓松动检测方法、系统及装置，可以对有倾斜角度的螺栓节点待测图像进行旋转矫正；还可以对规则矩形排列及非规则矩形排列的螺栓节点待测图像进行透视变换矫正，提升了本方案的适用范围及鲁棒性；还可以对非螺栓轮廓边缘区域进行抑制，避免倾斜拍摄螺栓时，突出螺栓轮廓的螺栓轮廓边缘图像被现有技术检测出干扰性边缘和干扰性角点，降低了对螺栓节点图像的拍摄要求；还可以有效筛除伪螺栓目标，进而大幅提升螺栓松动检测的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于计算机视觉的螺栓松动检测方法的流程图；
图2为本发明实施例提供的检测框例图；
图3为本发明实施例提供的伪螺栓目标例图；
图4为本发明实施例提供的轮廓边缘直线簇提取过程例图；
图5为本发明实施例提供的轮廓边缘直线聚类过程示意图；
图6为本发明实施例提供的COCO数据集例图；
图7为本发明实施例提供的真伪螺栓边缘直线数量对比统计图；
图8为本发明实施例提供的伪螺栓目标边缘检测例图；
图9为图1中步骤5的具体流程图；
图10为本发明实施例提供的旋转矫正示意图；
图11为本发明实施例提供的参考点定位示意图；
图12为本发明实施例提供的透视变换矫正示意图；
图13为本发明实施例提供的一种基于计算机视觉的螺栓松动检测系统图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
为便于理解各实施例，先就本申请的主要发明构思简述如下：
针对背景技术中参考点定位错误问题，本申请设计了旋转矫正环节，可有效避免待测图像倾斜导致的参考点定位错误问题；又设计了透视变换矫正环节，可有效避免待测图像畸变导致的参考点定位错误问题；并重新设计了参考点选取方式，即避免了背景技术中检测框的边界延长线或中心点延长线与其他检测框不能合理相交的问题，又兼顾了螺栓节点各种排列形状的通用性；
针对背景技术中旋转变换普适性不高的问题，本申请通过最小外接矩形求得用于旋转矫正的旋转角，避免了针对不同的工程训练不同的螺栓节点旋转框目标检测模型，提升了旋转变换普适性；
针对背景技术中将真螺栓误判为伪螺栓的问题，本申请先通过负样本训练轮廓边缘直线检测模型，提升该模型对伪螺栓目标的识别率；然后通过轮廓边缘直线数量判定，筛除伪螺栓目标；再通过图像矫正后的轮廓边缘直线数量判定，再次筛除伪螺栓目标；并通过试验测试，证明了该方法的有效性。
下面结合具体的实施方式对本发明做进一步的解释说明。
还需要说明的是，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而这些设置方式之间均是可以相互结合或者相互关联使用的。
实施例一：
如图1所示，本实施例提供的一种基于计算机视觉的螺栓松动检测方法，包括：
步骤1、采集螺栓节点图像，包括待测图像及相应的基准图像；所述基准图像为待测图像中无螺栓松动、已矫正的标准视平面图像，所述基准图像包括螺栓顺序编号及螺栓基准角度；所述矫正包括旋转矫正及透视变换矫正；
步骤2、通过第一检测模型，例如faster-RCNN、SSD、YOLO等目标检测模型，检测待测图像中疑似螺栓的感兴趣区域（ROI）并标记检测框；所述检测框为圈定一个疑似螺栓头部的矩形框体，如图2所示；
步骤3、通过第二检测模型，即Attention U-Net模型，得到感兴趣区域的螺栓轮廓边缘图像；基于螺栓轮廓边缘图像，检测轮廓边缘直线；所述轮廓边缘直线由疑似螺栓头部的若干仿形直线组成，螺栓头部的标准轮廓边缘直线为正六边形结构；所述Attention U-Net模型属于现有技术，是一种基于深度学习的图像分割模型；
步骤4、基于轮廓边缘直线的数量，与第一预设阈值进行比较判定：当所述数量大于等于第一预设阈值时，则判定为真螺栓目标并保留相应的检测框；当所述数量小于第一预设阈值时，则判定为伪螺栓目标并去除相应的检测框；这样可以筛除伪螺栓目标，如图3中的圆圈部位，保留真螺栓目标，如图3中的方框部位；
步骤5、构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，并基于最外层检测框中心点求得最小外接矩形；根据最小外接矩形的旋转角，旋转矫正待测图像；标记旋转矫正后待测图像的检测框，定位参考点；基于参考点与标准参考点，通过透视变换矩阵，再次矫正待测图像，以便消除待测图像的扭转变形及光学畸变等缺陷；所述参考点，位于螺栓节点四角处，用于畸变矫正参考；所述标准参考点为参考点的基准点，通过将实际螺栓节点在横向及纵向上的最大距离和/>，按比例缩放至基准图像大小后换算求得；
步骤6、对矫正后的待测图像执行步骤2~4，再基于当前轮廓边缘直线，计算各螺栓的螺栓角度，具体公式可以为：
；
其中，表示轮廓边缘直线数量，且/>；/>表示第/>个轮廓边缘直线的角度，且；/>表示余数操作；/>表示余数角度，且/>；
步骤7、基于螺栓顺序编号，将每个螺栓角度与基准图像中对应的螺栓基准角度进行比较，得到角度差值/>；将每个角度差值/>与第二预设阈值/>进行比较判定，得到相应螺栓的松动情况。
通过上述方法，可以通过计算机视觉技术快速、自动、多次筛除待测区域的伪螺栓目标，并对真螺栓目标的松动情况进行检测。
进一步地，所述基准图像可通过拍摄确定无螺栓松动的待测图像后，再通过步骤2~步骤6中的方法，进行图像矫正、筛除伪螺栓目标并计算得到螺栓基准角度，所述螺栓基准角度为基准图像中的螺栓角度。
进一步地，所述螺栓顺序编号具体可以按照从左至右、从上至下的顺序进行编号。
进一步地，所述步骤2中的检测框包括置信度、中心点坐标和宽高值：所述置信度为检测框内存在真螺栓的概率；所述中心点坐标（cx，cy）为检测框中心点处的横坐标及纵坐标；所述宽高值（w, h）为检测框的宽度值及高度值。
进一步地，所述步骤3具体包括：
步骤31、构建第二检测模型，输入感兴趣区域图像，如图4中的（a）图所示，输出螺栓轮廓边缘图像，如图4中的（b）图所示，模型训练损失函数为加权二元交叉熵损失函数，对第二检测模型进行训练，所述加权二元交叉熵损失函数的具体公式可以为：
;
其中，表示样本数；/>表示第/>个样本的标签；/>表示第/>个样本的预测值；表示螺栓轮廓边缘区域损失权重，例如/>；/>表示背景区域损失权重，例如；这样可以通过调整损失权重，平衡螺栓轮廓边缘区域与背景区域的数据差异；
步骤32、基于螺栓轮廓边缘图像，通过中轴变换法，提取单像素的中轴骨架，如图4中的（c）图所示，从而将中轴骨架作为最终的螺栓轮廓边缘图像用于进行后序处理，避免了第二检测模型输出的螺栓轮廓边缘图像中像素范围宽，不便于进行后序处理的问题；所述中轴变换法具体包括：当某个螺栓轮廓边缘区域内的像素点距离两轮廓边缘的最小值不唯一时，以该像素点作为中轴骨架像素点；这样可以快速计算出中轴像素点的两边中轴骨架位置；
步骤33、基于中轴骨架，通过Hough变换，检测轮廓边缘直线簇，如图4中的（d）图所示；所述Hough变换属于现有技术，是一种图像处理技术常用的边缘直线检测方法；
步骤34、基于轮廓边缘直线簇，如图5中的（a）图所示，通过聚类算法，例如基于密度的聚类算法DBSCAN，进行聚类寻优，得到最优的轮廓边缘直线，如图5中的（b）图所示；这样可以对边缘直线检测方法检测出的多条直线进行聚类归一，以便后序处理。
通过上述方法，可以对待测图像中的背景区域(即非螺栓轮廓边缘区域)进行抑制，从而避免倾斜拍摄螺栓节点时，突出螺栓轮廓的边缘图像被现有技术检测出干扰性边缘及干扰性角点，进而可以快速、准确、有效地得到最优的轮廓边缘直线，以便后序计算。
进一步地，所述步骤31中训练模型的样本包括正样本和负样本：所述正样本为真螺栓目标的图像，正样本的标签为螺栓轮廓边缘图像；所述负样本为不含螺栓的背景区域图像，如图6中的（a）图所示，负样本的标签为纯黑图像，如图6中的（b）图所示；训练时每个批次均抽取一定比例的负样本参与训练，用于训练第二检测模型抑制不含螺栓的背景区域信息，以便减少伪螺栓目标的感兴趣区域图像被错误输出为螺栓轮廓边缘图像的概率。
进一步地，负样本的抽取比例为正样本：负样本=3:1。
进一步地，所述负样本为COCO（Common Objects in Context）数据集；所述COCO数据集属于现有开源数据集，包括上百万张复杂的日常场景图像，可以有效代表不含螺栓的背景区域。
例如，通过训练后的第一检测模型实施步骤2，将检测框的置信度设置为0.36（螺栓目标检测的召回率为1），将COCO测试集（40670张不含螺栓的背景区域图像）作为输入，进行检测，可得到伪螺栓ROI（15407张）；
通过训练后的第二检测模型（Attention U-Net检测模型）实施步骤3，分别将真螺栓ROI测试集（702张）与伪螺栓ROI（15407张）作为输入进行检测，分别得到真螺栓的边缘直线数量及伪螺栓的边缘直线数量。
经统计对比可见，如图7中的（a）图所示，真螺栓ROI图像中检测得到的边缘直线数量均大于1；而如图7中的（b）图所示，伪螺栓ROI图像中可以检测到边缘直线的图像数量仅为647张，如图8所示，其中，边缘直线数量大于1的图像只有27张，占伪螺栓ROI总数的0.18%，证明当所述步骤4中第一预设阈值设置为2，可以筛除99.82%的伪螺栓目标。
进一步地，如图9所示，所述步骤5具体包括如下步骤：
步骤51、构建当前检测框的中心点坐标集合，如图10中的（a）图所示，通过凸包算法计算最外层检测框中心点，顺序连接最外层检测框中心点得到凸多边形，如图10中的（b）图所示，再求该凸多边形的最小外接矩形，如图10中的（c）图所示；
步骤52、将X轴逆时针旋转至最小外接矩形的第一对平行边所产生的角度作为旋转角，其取值范围为/>；
步骤53、通过旋转角，对待测图像进行旋转矫正：当待测图像向左倾斜时，则将待测图像顺时针旋转/>；当待测图像向右倾斜时，则将待测图像逆时针旋转/>；这样可以对有倾斜角度的螺栓节点待测图像进行旋转矫正，进而扩大了本方法对待测图像的普适性；
步骤54、通过第一检测模型，检测旋转矫正的待测图像中螺栓的感兴趣区域，标记检测框；
步骤55、分类标记检测框的属性：若某个检测框B分别沿X轴正向、X轴负向、Y轴正向和Y轴负向移动时，不与其他检测框相交，则分别标记属性为XP、XN、YP和YN；
步骤56、基于检测框B的属性及中心点C，定义辅助参考点:当B标记XN和YN属性时，则C标记为辅助参考点;当B标记XN和YP属性时，则C标记为辅助参考点/>;当B标记XP和YP属性时，则C标记为辅助参考点/>；当B标记XP和YN属性时，则C标记为辅助参考点；
步骤57、基于辅助参考点，分类定位参考点，如图11所示：
当螺栓排列为规则矩形时，各辅助参考点是唯一确定的，则将四个辅助参考点直接作为四个参考点；
当螺栓排列为非规则矩形时，各辅助参考点不是唯一确定的，则分步确定参考点：做四条直线分别穿过Y坐标值最小的辅助参考点和/>、X坐标值最小的辅助参考点和/>、Y坐标值最大的辅助参考点/>和/>及X坐标值最大的辅助参考点/>和/>；将这四条直线的四个交点作为四个参考点；这样可以兼顾螺栓排列时出现规则矩形或非规则矩形的情况，并规避了现有技术中检测框延长线可能不会与期望的检测框相交的情况，从而准确定位出参考点；
步骤58、通过透视变换矩阵T，将待测图像视平面如图12中左半部分所示，转换成标准视平面/>，如图12中右半部分所示，以便消除光学畸变，具体公式可以为：
；
其中，透视变换矩阵T可以通过待测图像的参考点及标准参考点/>的已知数值，联立求解得到；这样对规则矩形排列及非规则矩形排列的螺栓节点待测图像都可以进行透视变换矫正，进一步提升了本方法的普适性；
通过上述方法，可以消除采集待测图像时带来的图像扭转、光学畸变等问题，以便后续计算求得准确的螺栓角度。
进一步地，所述步骤7中计算角度差值的具体方法包括：
步骤71、将待测图像中的螺栓按照从左到右、从上到下的顺序进行编号,以便与基准图像中螺栓顺序编号的排序方式一致；
步骤72、将待测图像及基准图像中具有相同编号的螺栓匹配成螺栓对，从而将两图像中的螺栓进行一一对应；
步骤73、在各个螺栓对内，计算待测图像中螺栓角度与螺栓基准角度的差值，得到角度差值/>。
通过上述步骤，可以准确得到角度差值。
进一步地，所述步骤7中第二预设阈值可按照多组螺栓角度差值误差分布的3σ准则，进行计算得到，σ为误差分布的标准差，当/>时，松动判别准确率可以达到99.7%。
进一步地，所述步骤7中比较判定的具体方法是判断每个角度差值是否大于第二预设阈值/>：若是，则判定为螺栓松动；若否，则判定为螺栓未松动。
实施例二：
如图13所示，本实施例提供了一种基于计算机视觉的螺栓松动检测系统，包括数据接收模块、数据处理模块及结果生成模块：
所述数据接收模块，用于输入待测图像及相应的基准图像；所述基准图像为待测图像中无螺栓松动、已矫正的标准视平面图像，所述基准图像包括螺栓顺序编号及螺栓基准角度；
所述数据处理模块，包括检测模型单元、螺栓筛分单元、图像矫正单元、螺栓角度计算单元及螺栓松动识别单元：
所述检测模型单元，存储有第一检测模型及第二检测模型；所述第一检测模型，用于检测待测图像中疑似螺栓的感兴趣区域并标记检测框；所述第二检测模型，用于检测感兴趣区域的螺栓轮廓边缘图像；
所述螺栓筛分单元，调用第一检测模型，对待测图像标记检测框；调用第二检测模型，检测感兴趣区域的螺栓轮廓边缘图像，基于螺栓轮廓边缘图像，检测轮廓边缘直线；基于轮廓边缘直线的数量，与第一预设阈值进行比较，保留真螺栓目标的检测框，筛除伪螺栓目标的检测框；
所述图像矫正单元，构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，并基于最外层检测框中心点求得最小外接矩形；根据最小外接矩形的旋转角，旋转矫正待测图像；基于旋转矫正后待测图像，调用第一检测模型标记检测框，定位参考点；基于参考点与标准参考点，通过透视变换矩阵，再次矫正待测图像；
所述螺栓角度计算单元，基于矫正后的待测图像，调用所述螺栓筛分单元进行筛分，再基于当前轮廓边缘直线，计算各螺栓的螺栓角度；
所述螺栓松动识别单元，基于螺栓顺序编号，将每个螺栓角度与相应的螺栓基准角度进行比较，得到角度差值；将每个角度差值与第二预设阈值进行比较判定，得到相应螺栓的松动情况；
所述结果生成模块，用于将螺栓的松动情况外发。
实施例三：
本实施例提供了一种基于计算机视觉的螺栓松动检测装置，包括处理器、存储器及总线，所述存储器存储可由处理器读取的指令及数据，所述处理器用于调用所述存储器中的指令及数据，以执行如上所述的基于计算机视觉的螺栓松动检测方法，所述总线连接各功能部件用于传送信息。
本方案在又一种实施方式下，可以通过设备的方式来实现，该设备可以包括执行上述各个实施方式中各个或几个步骤的相应模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
处理器执行上文所描述的各个方法和处理。例如，本方案中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其它实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
该设备可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线将包括一个或多个处理器、存储器和/或硬件模块的各种电路连接到一起。总线还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路连接。
总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，ExtendedIndustry Standard Component)总线等，总线可以分为地址总线、数据总线、控制总线等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于计算机视觉的螺栓松动检测方法，其特征在于，包括：
步骤1、采集螺栓节点图像，包括待测图像及相应的基准图像；所述基准图像为待测图像中无螺栓松动、已矫正的标准视平面图像，所述基准图像包括螺栓顺序编号及螺栓基准角度；
步骤2、通过第一检测模型，检测待测图像中疑似螺栓的感兴趣区域并标记检测框；所述检测框为圈定一个疑似螺栓头部的矩形框体；
步骤3、通过第二检测模型，得到感兴趣区域的螺栓轮廓边缘图像；基于螺栓轮廓边缘图像，检测轮廓边缘直线；所述轮廓边缘直线由疑似螺栓头部的若干仿形直线组成；
步骤4、基于轮廓边缘直线的数量，与第一预设阈值进行比较判定：当所述数量大于等于第一预设阈值时，则判定为真螺栓目标并保留相应的检测框；当所述数量小于第一预设阈值时，则判定为伪螺栓目标并去除相应的检测框；
步骤5、构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，并基于最外层检测框中心点求得最小外接矩形；根据最小外接矩形的旋转角，旋转矫正待测图像；标记旋转矫正后待测图像的检测框，定位参考点；基于参考点与标准参考点，通过透视变换矩阵，再次矫正待测图像；
步骤6、对矫正后的待测图像执行步骤2~4，再基于当前轮廓边缘直线，计算各螺栓的螺栓角度，具体公式为：
；
其中，表示轮廓边缘直线数量，且/>；/>表示第/>个轮廓边缘直线的角度，且；/>表示余数操作；/>表示余数角度，且/>；
步骤7、基于螺栓顺序编号，将每个螺栓角度与基准图像中对应的螺栓基准角度进行比较，得到角度差值/>；将每个角度差值/>与第二预设阈值/>进行比较判定，得到相应螺栓的松动情况。
2.根据权利要求1所述的方法，其特征在于，所述步骤2中的检测框包括置信度、中心点坐标和宽高值：所述置信度为检测框内存在真螺栓的概率；所述中心点坐标为检测框中心点处的横坐标及纵坐标；所述宽高值为检测框的宽度值及高度值。
3.根据权利要求1所述的方法，其特征在于，所述步骤3具体包括：
步骤31、构建第二检测模型，输入感兴趣区域图像，输出螺栓轮廓边缘图像，模型训练损失函数为加权二元交叉熵损失函数，对第二检测模型进行训练，加权二元交叉熵损失函数的具体公式为：
;
其中，表示样本数；/>表示第/>个样本的标签；/>表示第/>个样本的预测值；/>表示螺栓轮廓边缘区域损失权重；/>表示背景区域损失权重；
步骤32、基于螺栓轮廓边缘图像，通过中轴变换法，提取单像素的中轴骨架；
步骤33、基于中轴骨架，通过Hough变换，检测轮廓边缘直线簇；
步骤34、基于轮廓边缘直线簇，通过聚类算法进行聚类寻优，得到最优的轮廓边缘直线。
4.根据权利要求3所述的方法，其特征在于，所述步骤31中训练模型的样本包括正样本和负样本：所述正样本为真螺栓目标的图像，正样本的标签为螺栓轮廓边缘图像；所述负样本为不含螺栓的背景区域图像，负样本的标签为纯黑图像；训练时每个批次均抽取一定比例的负样本参与训练。
5.根据权利要求2所述的方法，其特征在于，所述步骤5具体包括：
步骤51、构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，顺序连接最外层检测框中心点得到凸多边形，再求出该凸多边形的最小外接矩形；
步骤52、将X轴逆时针旋转至最小外接矩形的第一对平行边所产生的角度作为旋转角，其取值范围为/>；
步骤53、通过旋转角，对待测图像进行旋转矫正：当待测图像向左倾斜时，则将待测图像顺时针旋转/>；当待测图像向右倾斜时，则将待测图像逆时针旋转/>；
步骤54、通过第一检测模型，检测旋转矫正的待测图像中螺栓的感兴趣区域，标记检测框；
步骤55、分类标记检测框的属性：若某个检测框B分别沿X轴正向、X轴负向、Y轴正向和Y轴负向移动时，不与其他检测框相交，则分别标记属性为XP、XN、YP和YN；
步骤56、基于检测框B的属性及中心点C，定义辅助参考点:当B标记XN和YN属性时，则C标记为辅助参考点;当B标记XN和YP属性时，则C标记为辅助参考点/>;当B标记XP和YP属性时，则C标记为辅助参考点/>；当B标记XP和YN属性时，则C标记为辅助参考点/>；
步骤57、基于辅助参考点，分类定位参考点：
当螺栓排列为规则矩形时，将四个辅助参考点直接作为四个参考点；
当螺栓排列为非规则矩形时，分步确定参考点：做四条直线分别穿过Y坐标值最小的辅助参考点和/>、X坐标值最小的辅助参考点/>和/>、Y坐标值最大的辅助参考点/>和/>及X坐标值最大的辅助参考点/>和/>；将这四条直线的四个交点作为四个参考点；
步骤58、通过透视变换矩阵T，将待测图像视平面
转换成标准视平面，具体公式为：
；
其中，透视变换矩阵T通过待测图像的参考点及标准参考点的已知数值，联立求解得到。
6.根据权利要求2所述的方法，其特征在于，所述步骤7中计算角度差值的具体方法包括：
步骤71、将待测图像中的螺栓按照从左到右、从上到下的顺序进行编号；
步骤72、将待测图像及基准图像中具有相同编号的螺栓匹配成螺栓对；
步骤73、在各个螺栓对内，计算待测图像中螺栓角度与螺栓基准角度的差值，得到角度差值/>。
7.根据权利要求1所述的方法，其特征在于，所述步骤7中的第二预设阈值，通过多组角度差值误差分布的3σ准则进行计算得到。
8.根据权利要求1所述的方法，其特征在于，所述步骤7中比较判定的具体方法是判断每个角度差值是否大于第二预设阈值/>：若是，则判定为螺栓松动；若否，则判定为螺栓未松动。
9.一种基于计算机视觉的螺栓松动检测系统，其特征在于，包括数据接收模块、数据处理模块及结果生成模块：
所述数据接收模块，用于输入待测图像及相应的基准图像；所述基准图像为待测图像中无螺栓松动、已矫正的标准视平面图像，所述基准图像包括螺栓顺序编号及螺栓基准角度；
所述数据处理模块，包括检测模型单元、螺栓筛分单元、图像矫正单元、螺栓角度计算单元及螺栓松动识别单元：
所述检测模型单元，存储有第一检测模型及第二检测模型；所述第一检测模型，用于检测待测图像中疑似螺栓的感兴趣区域并标记检测框；所述第二检测模型，用于检测感兴趣区域的螺栓轮廓边缘图像；
所述螺栓筛分单元，调用第一检测模型，对待测图像标记检测框；调用第二检测模型，检测感兴趣区域的螺栓轮廓边缘图像，基于螺栓轮廓边缘图像，检测轮廓边缘直线；基于轮廓边缘直线的数量，与第一预设阈值进行比较，保留真螺栓目标的检测框，筛除伪螺栓目标的检测框；
所述图像矫正单元，构建当前检测框的中心点坐标集合，通过凸包算法计算最外层检测框中心点，并基于最外层检测框中心点求得最小外接矩形；根据最小外接矩形的旋转角，旋转矫正待测图像；基于旋转矫正后待测图像，调用第一检测模型标记检测框，定位参考点；基于参考点与标准参考点，通过透视变换矩阵，再次矫正待测图像；
所述螺栓角度计算单元，基于矫正后的待测图像，调用所述螺栓筛分单元进行筛分，再基于当前轮廓边缘直线，计算各螺栓的螺栓角度；
所述螺栓松动识别单元，基于螺栓顺序编号，将每个螺栓角度与相应的螺栓基准角度进行比较，得到角度差值；将每个角度差值与第二预设阈值进行比较判定，得到相应螺栓的松动情况；
所述结果生成模块，用于将螺栓的松动情况外发。
10.一种基于计算机视觉的螺栓松动检测装置，其特征在于，包括处理器、存储器及总线，所述存储器存储由处理器读取的指令及数据，所述处理器用于调用所述存储器中的指令及数据，以执行如权利要求1~8中任一所述的方法，所述总线连接各功能部件用于传送信息。
CN202311292775.6A 2023-10-08 2023-10-08 一种基于计算机视觉的螺栓松动检测方法、系统及装置 Active CN117029733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311292775.6A CN117029733B (zh) 2023-10-08 2023-10-08 一种基于计算机视觉的螺栓松动检测方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311292775.6A CN117029733B (zh) 2023-10-08 2023-10-08 一种基于计算机视觉的螺栓松动检测方法、系统及装置

Publications (2)

Publication Number Publication Date
CN117029733A CN117029733A (zh) 2023-11-10
CN117029733B true CN117029733B (zh) 2024-01-26

Family

ID=88645207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311292775.6A Active CN117029733B (zh) 2023-10-08 2023-10-08 一种基于计算机视觉的螺栓松动检测方法、系统及装置

Country Status (1)

Country Link
CN (1) CN117029733B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593515B (zh) * 2024-01-17 2024-03-29 中数智科(杭州)科技有限公司 一种轨道车辆用螺栓松动检测系统、方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190405A1 (en) * 2018-03-29 2019-10-03 Agency For Science, Technology And Research Method and apparatus for detecting condition of a bolt on a bolted structure
CN112419299A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓缺失检测方法、装置、设备及存储介质
CN112419297A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓松动检测方法、装置、设备及存储介质
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN113963051A (zh) * 2021-09-15 2022-01-21 国网四川省电力公司 基于视觉信息和特征提取的目标直径自动测量方法和系统
CN114820620A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓松动缺陷检测方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190405A1 (en) * 2018-03-29 2019-10-03 Agency For Science, Technology And Research Method and apparatus for detecting condition of a bolt on a bolted structure
CN112419299A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓缺失检测方法、装置、设备及存储介质
CN112419297A (zh) * 2020-12-04 2021-02-26 中冶建筑研究总院（深圳）有限公司 一种螺栓松动检测方法、装置、设备及存储介质
CN113963051A (zh) * 2021-09-15 2022-01-21 国网四川省电力公司 基于视觉信息和特征提取的目标直径自动测量方法和系统
CN113744270A (zh) * 2021-11-05 2021-12-03 南京市特种设备安全监督检验研究院 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN114820620A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓松动缺陷检测方法、系统及装置

Also Published As

Publication number Publication date
CN117029733A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN112419299B (zh) 一种螺栓缺失检测方法、装置、设备及存储介质
CN117029733B (zh) 一种基于计算机视觉的螺栓松动检测方法、系统及装置
CN114820620B (zh) 一种螺栓松动缺陷检测方法、系统及装置
EP1783663A2 (en) Object recognizing method, program and storage medium for recognizing object, and object recognizing apparatus
CN108108753B (zh) 一种基于支持向量机的复选框选择状态的识别方法及装置
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN111899241A (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN114820621B (zh) 一种螺栓丢失缺陷检测方法、系统及装置
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN114529613A (zh) 一种圆阵列标定板的特征点高精度坐标提取方法
CN115775246A (zh) 一种pcb元器件缺陷检测的方法
CN116168218A (zh) 一种基于图像识别技术的电路板故障诊断方法
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN111738247A (zh) 极性标识的识别方法、识别装置、电子设备及存储介质
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
US11176419B1 (en) Method for labeling image
CN113269234A (zh) 一种基于目标检测的连接件装配检测方法和系统
US20030156748A1 (en) Adaptive threshold determination for ball grid array component modeling
CN112763513B (zh) 一种字符缺陷检测方法
CN114820492A (zh) 一种电路板上多余物检测方法
CN114441554B (zh) 检测方法
CN112419297B (zh) 一种螺栓松动检测方法、装置、设备及存储介质
CN116310424B (zh) 基于图像识别的设备质量评估方法、装置、终端和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant