CN112419299A - 一种螺栓缺失检测方法、装置、设备及存储介质 - Google Patents
一种螺栓缺失检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112419299A CN112419299A CN202011410323.XA CN202011410323A CN112419299A CN 112419299 A CN112419299 A CN 112419299A CN 202011410323 A CN202011410323 A CN 202011410323A CN 112419299 A CN112419299 A CN 112419299A
- Authority
- CN
- China
- Prior art keywords
- bolt
- image
- detection
- interest
- preset model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 184
- 230000009466 transformation Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000003709 image segmentation Methods 0.000 claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 24
- 238000013135 deep learning Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 238000012795 verification Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 230000007306 turnover Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明公开了一种螺栓缺失检测方法、装置、设备及存储介质。该方法包括：获取待检测螺栓对应的待检测图像；采用第一预设模型识别待检测图像中的螺栓连接节点板作为感兴趣区域图像；采用第二预设模型对感兴趣区域图像中的节点板进行图像分割，并基于图像分割结果获取检测参考点；基于检测参考点和预设参考图像的基准参考点，采用透视变换对感兴趣区域图像进行校正得到校正图像；采用第三预设模型识别校正图像中的螺栓位置信息；基于预设参考图像中的螺栓位置信息与校正图像中的螺栓位置信息，确认待检测螺栓的螺栓缺失检测结果。实现准确提取检测参考点，保证校正图像的正确性，感兴趣区域可提高图像识别精度，提高螺栓缺失检测的准确性的效果。
Description
技术领域
本发明实施例涉及缺陷检测技术，尤其涉及一种螺栓缺失检测方法、装置、设备及存储介质。
背景技术
螺栓连接节点是最常用的钢结构构件连接方式之一，螺栓在服役过程中由于温度波动、反复荷载和振动等多因素影响会造成螺栓延迟断裂与掉落从而威胁到整个结构的安全性和稳定性，因此对螺栓的缺失检测具有重要意义。
传统螺栓掉落通过人工巡检发现，效率低且容易漏检，对于检测包含大量螺栓的连接结构无论经济性还是可操作性上都偏低。近年来，基于计算机视觉的结构健康检测方法受到了学术界和工业界的广泛关注，现有的钢结构螺栓缺失检测方法主要的通过传统机器学习或深度学习等方法训练一个基于损伤图像和正常图像的分类模型或目标检测模型，从而应用该模型检测采集的图像区域是否存在螺栓丢失的缺陷情况。
当前深度学习的目标检测模型的训练需要大量的螺栓缺失的缺陷样本，然而实际情况中螺栓缺失的图像多种多样，难以获取充足的螺栓缺失图像样本，因此训练出的目标检测模型精度较低，且现有采集螺栓连接图像时包含背景信息，影响了检测结果的准确度。
发明内容
本发明提供一种螺栓缺失检测方法、装置、设备及存储介质，以实现检测参考点的准确提取，保证透视变换得到校正图像的正确性；感兴趣区域突出了前景有效特征，排除了背景干扰，提高了节点板图像分割与螺栓识别精度，从而提高螺栓缺失检测结果的准确性。
第一方面，本发明实施例提供了一种螺栓缺失检测方法，包括：
获取待检测螺栓对应的待检测图像；
采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；
采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；
采用第三预设模型识别所述校正图像中的螺栓位置信息；
基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。
可选的，所述采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像包括：
采用第一预设模型识别所述待检测图像中的螺栓连接节点板；
获取所述螺栓连接节点板的位置信息，所述螺栓连接节点板的位置信息为具有坐标信息的检测区域框；
将所述检测区域框按预设百分比扩大后截取的图像作为感兴趣区域图像。
可选的，所述采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点包括：
采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，得到所述螺栓连接节点板的边缘信息；
基于所述边缘信息检测得到螺栓连接节点板的边缘直线；
获取各直线的交点作为透视变换的检测参考点。
可选的，所述基于所述检测参考点和预设参考图像的基准参考点采用透视变换对所述感兴趣区域图像进行校正得到校正图像包括：
根据所述基准参考点和所述检测参考点计算透视变换矩阵；
根据所述透视变换矩阵对所述感兴趣区域图像进行校正得到校正图像。
可选的，所述校正图像中的螺栓位置信息为具有每个待检测螺栓的坐标信息的螺栓检测框，所述预设参考图像中的螺栓位置信息为具有每个基准螺栓的坐标信息的螺栓基准框；基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果，包括：
计算每个螺栓检测框与所述螺栓基准框的交并比；
判断所述交并比与第一阈值的大小关系；
若所述交并比大于等于所述第一阈值，则判断该螺栓未丢失；
若所述交并比小于所述第一阈值，则判断该螺栓丢失，并在所述校正图像对应位置进行标记，得到螺栓缺失检测结果图。
可选的，将标准图像经过所述第一预设模型和所述第二预设模型提取基准参考点，经过第三预设模型提取基准螺栓坐标信息，保存并形成参考图像信息。
可选的，所述第一预设模型、所述第二预设模型和所述第三预设模型均为深度学习模型，其中，所述第一预设模型和所述第三预设模型为目标检测模型，所述第二预设模型为图像分割模型。
第二方面，本发明实施例提供了一种螺栓缺失检测装置，包括：
图像获取模块，用于获取待检测螺栓对应的待检测图像；
图像提取模块，用于采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；
参考点获取模块，用于采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
图像校正模块，用于基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；
螺栓信息获取模块，用于采用第三预设模型识别所述校正图像中的螺栓位置信息；
螺栓缺失判断模块，用于基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。
第三方面，本发明实施例提供了一种螺栓缺失检测设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的螺栓缺失检测方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的螺栓缺失检测方法。
本发明实施例通过第一预设模型识别螺栓连接节点板作为感兴趣区域，并通过第二预设模型获取检测参考点，从而对感兴趣区域图像进行校正，再采用第三预设模型识别校正图像中的螺栓位置信息，通过与预设参考图像中的螺栓位置信息进行比对，从而确认待检测螺栓是否缺失。解决了直接在原图使用图像处理的方式检测螺栓连接节点板边缘直线准确率低、鲁棒性差的问题，实现检测参考点的准确提取，保证透视变换得到校正图像的正确性；实现把检测螺栓缺失的问题转换为检测正常螺栓的问题，解决了缺失螺栓样本难以获取的问题；感兴趣区域突出了前景有效特征，排除了背景干扰，提高了节点板图像分割与螺栓识别精度，最终提高螺栓缺失检测结果的准确性。
附图说明
图1A为本发明实施例一提供的一种螺栓缺失检测方法的流程示意图；
图1B为本发明实施例一提供的一种螺栓缺失检测方法中得到的感兴趣区域图像的示意图；
图1C为本发明实施例一提供的一种螺栓缺失检测方法中得到的螺栓连接节点板分割结果图像的示意图；
图1D为本发明实施例一提供的一种螺栓缺失检测方法中得到的检测参考点的示意图；
图1E为本发明实施例一提供的一种螺栓缺失检测方法中得到的另一种感兴趣区域图像的示意图；
图1F为本发明实施例一提供的一种螺栓缺失检测方法中得到的参考图像的示意图；
图1G为本发明实施例一提供的一种螺栓缺失检测方法中得到的校正图像的示意图；
图1H为本发明实施例一提供的一种螺栓缺失检测方法中得到的校正图像中的螺栓位置信息的示意图；
图1I为本发明实施例一提供的一种螺栓缺失检测方法中得到的参考图像中的螺栓位置信息的示意图；
图1J为本发明实施例一提供的一种螺栓缺失检测方法中得到的螺栓缺失结果图的示意图；
图2为本发明实施例二提供的一种螺栓缺失检测方法的流程示意图；
图3为本发明实施例三提供的一种螺栓缺失检测装置的结构示意图；
图4为本发明实施例四提供的一种螺栓缺失检测设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本实施例可适用于检测螺栓是否存在缺失的情况，该方法可以由一种螺栓缺失检测装置来执行，如图1A所示，具体包括如下步骤：
步骤110、获取待检测螺栓对应的待检测图像。
对需要进行检测的螺栓图像进行采集生成待检测图像，图像采集方式包括：人工采集、无人机巡检采集、检测机器人采集等多种方式；其中采集的图像范围完整包含螺栓连接板所在区域。
步骤120、采用第一预设模型识别待检测图像中的螺栓连接节点板作为感兴趣区域图像。
在进行螺栓缺失检测前，需要进行深度学习模型的训练，第一预设模型为感兴趣区域图像识别模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。第一预设模型的训练包括：首先采集包含螺栓连接节点板预设区域图像，对采集的图像中的螺栓连接节点进行数据标注，并形成训练集和验证集；其次，在模型训练的过程中使用在线数据增强的方式，所采用的数据增强的方式包括但不限于以下几种：尺度变化、透视变换、随机旋转和翻转、直方图均衡化、加高斯噪声、HSV空间颜色变换、转灰度等，其中，采用DropBlock的正则化方法对卷积神经网络模型特征图进行随机区块式的遮挡，可更好的适应螺栓出现丢失的情况，提高模型泛化能力；最后，当验证集验证结果满足结束条件时结束训练，保存检测模型参数。
将采集到的待检测图像输入第一预设模型进行识别，识别待测图像中的螺栓连接节点板作为感兴趣区域图像，其中，螺栓连接节点板包含了所有的螺栓，感兴趣区域图像范围略大于螺栓连接节点板对应的范围，示例性的，为了保证感兴趣区域图像内包含完整的螺栓连接节点板，因此将检测框向外扩展5％截取得到感兴趣区域图像。
将感兴趣区域图像作为后续的识别图像，可以排除非螺栓连接节点板的背景图像影响，突出前景目标特征，从而提高螺栓识别的精确度。
步骤130、采用第二预设模型对感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点。
第二预设模型为螺栓连接节点板图像分割模型，是基于深度学习方法训练得到的图像分割模型，可以为FCN、UNet、DeepLab等图像分割模型中的一种。第三预设模型的训练包括：首先对获取的感兴趣区域图像中的螺栓连接节点板进行数据标注，并形成训练集和验证集，其中，标签为二值化的掩码图像，螺栓连接节点区域像素值为255，背景区域值为0；其次，在模型训练的过程中使用在线数据增强的方式，所采用的数据增强的方式包括但不限于以下几种：尺度变化、透视变换、随机旋转和翻转、直方图均衡化、加高斯噪声、HSV空间颜色变换、转灰度等；采用DropBlock的正则化方法对卷积神经网络模型特征图进行随机区块式的遮挡，可更好的适应螺栓出现丢失的情况，提高模型泛化能力；当验证集验证结果满足结束条件时结束训练，保存目标检测模型参数。
如图1B所示，将感兴趣区域图像10输入第二预设模型进行识别，对感兴趣区域图像10进行图像分割，如图1C所示，输出灰度图，区域11是灰度值较低的背景区域，区域10a是灰度值较高的节点板前景区域，前景区域与背景区域之间可以显明看见节点板边缘特征，并且没有其他无效边缘特征，然后使用Canny算子进行边缘检测，此时所检测到的边缘特征只有螺栓节点板的边缘特征，无其它干扰边缘特征，如图1D所示，基于得到的边缘信息使用Hough变换算法提取出螺栓连接节点板边缘直线(如图1D中12、13、14和15所示)，计算各直线之间的交点坐标值作为检测参考点(如图1D中a、b、c和d所示)。其中，由于节点板的所检测的边缘可能会检测出多条相似的直线，那么也就会产生多个直线之间的交点，以矩形螺栓节点板为例，使用k-means聚类方法对所有交点信息进行聚类，最终将数据分成4组，4组数据的聚类中心为最终确定的4个基准参考点坐标；
基于深度学习的螺栓连接节点板图像分割方法可在节点板出现阴影、锈蚀、图像质量不佳等干扰的情况下仍然可以稳定地提取准确的节点板边缘特征，同时排除其他非节点板干扰边缘特征，提高后续基于节点板边缘特征的直线检测准确性。
步骤140、基于检测参考点和预设参考图像的基准参考点，采用透视变换对感兴趣区域图像进行校正得到校正图像。
由于待检测图像与标准图像存在尺度、角度、位置等不确定偏差，因此，基于待检测图像获取的感兴趣区域图像也存在尺度、角度、位置等不确定偏差；进行螺栓缺失检测时，需将待测图像的视角转换成标准参考图像的视角进行比较，即对待测图像进行畸变校正，采用透视变换的方法将感兴趣区域图像进行校正得到校正图像；如图1E、图1F和图1G所示，具体包括：获取感兴趣图像20中螺栓连接节点板20a的4个检测参考点(如图1E中a2、b2、c2和d2)与参考图像30中螺栓连接节点板30a的4个基准参考点(如图1F中a3、b3、c3和d3)的坐标值计算得出透视变换矩阵H，根据透视变换矩阵H对感兴趣区域图像进行透视变换，得到图1G所示的校正图像40，其中包含完整的螺栓连接节点板40a，从而使透视变换后的校正图像与参考图像置于同一视角；透视变换不仅可以解决感兴趣区域图像视角问题，还能解决少量区域存在遮挡、模糊和曝光的问题，便于后期有效识别感兴趣区域图像中的螺栓。
其中，参考图像由标准螺栓图像处理得到，标准螺栓图像为螺栓的正面视角，细节清晰且能反映螺栓的特征。参考图像的构建包括：(1)调用第一预设模型，并将读取的标准螺栓图像输入到第一预设模型中，识别螺栓连接节点板的位置信息，截取螺栓连接节点板图像为感兴趣区域图像作为后续识别图像，其中，为了保证检测区域框内包含所有完整的螺栓，检测框向外扩展5％作为感兴趣区域最终结果；(2)调用第二预设模型，将感兴趣区域图像输入到第二预设模型中，对螺栓连接节点板图像进行图像分割得到灰度图像，然后使用Canny算子进行边缘检测，基于得到的边缘信息使用Hough变换算法提取出螺栓连接节点板边缘直线，计算各直线之间的交点坐标值作为参考图像的基准参考点；其中，由于节点板的所检测的边缘可能会检测出多条相似的直线，那么也就会产生多个直线之间的交点，以矩形螺栓节点板为例，使用k-means聚类方法对所有交点信息进行聚类，最终将数据分成4组，4组数据的聚类中心为最终确定的4个基准参考点坐标；(3)调用第三预设模型进行螺栓目标检测，在识别出的感兴趣区域内对螺栓进行目标检测，输出以螺栓检测框表示螺栓的位置信息，即螺栓基准框。将获得的基准参考点和螺栓基准框信息保存并形成参考图像信息。
步骤150、采用第三预设模型识别校正图像中的螺栓位置信息。
在进行螺栓缺失检测前，需要进行深度学习模型的训练，第三预设模型为螺栓目标检测模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。第三预设模型的训练包括：首先对采集到标准的螺栓图像中的螺栓进行数据标注，并形成训练集和验证集，由于螺栓的颜色特征非必要特征，因此先将原始图像进行灰度化；其次，在模型训练的过程中使用在线数据增强的方式，所采用的数据增强方式包括但不限于尺度变化、随机旋转和翻转、gamma变换、高斯噪声、直方图均衡化等，同时采用Mosaic方法随机将四张变换后的图像拼接成一张数据，这样图像背景信息更丰富，有利于训练效果的提升，其中，在卷积神经网络模型加入Dropout正则化方法提高模型泛化能力；最后，当验证集验证结果满足结束条件时结束训练，保存检测模型参数。
将校正图像输入第三预设模型进行识别，对校正图像中的螺栓进行目标检测，并获取检测到的螺栓对应的位置信息。校正图像与标准参考图像为同样视角，因此基于标准参考图像的检测框可准确检测校正后图像的螺栓。其中，如图1H所示，校正图像40中的螺栓位置信息为具有每个待检测螺栓40c的坐标信息的螺栓检测框40b，如图1I所示，参考图像30中的螺栓位置信息为具有每个基准螺栓30c的坐标信息的螺栓基准框30b。
步骤160、基于预设参考图像中的螺栓位置信息与校正图像中的螺栓位置信息，确认待检测螺栓的螺栓缺失检测结果。
将校正图像中的螺栓位置信息与参考图像中的螺栓位置信息进行一一比对，若校正图像中的螺栓位置信息与参考图像中的螺栓位置信息无法一一对应，则判断待测螺栓存在缺失；如图1J所示，在无法对应的螺栓位置信息处形成标记40d，输出螺栓缺失结果图，以便工作人员快速对螺栓进行检修。
本发明实施例通过第一预设模型识别螺栓连接节点板作为感兴趣区域，并通过第二预设模型获取检测参考点，从而对感兴趣区域图像进行校正，再采用第三预设模型识别校正图像中的螺栓位置信息，通过与预设参考图像中的螺栓位置信息进行比对，从而确认待检测螺栓是否缺失。解决了直接在原图使用图像处理的方式检测螺栓连接节点板边缘直线准确率低、鲁棒性差的问题，实现检测参考点的准确提取，保证透视变换得到校正图像的正确性；实现把检测螺栓缺失的问题转换为检测正常螺栓的问题，解决了缺失螺栓样本难以获取的问题；感兴趣区域突出了前景有效特征，排除了背景干扰，提高了节点板图像分割与螺栓识别精度，最终提高螺栓缺失检测结果的准确性在上述实施例的基础上，如图2所示，一种螺栓缺失检测方法的具体步骤包括：
步骤201、获取待检测螺栓对应的待检测图像。
步骤202、采用第一预设模型识别待检测图像中的螺栓连接节点板。
步骤203、获取螺栓连接节点板的位置信息，螺栓连接节点板的位置信息为具有坐标信息的检测区域框。
示例性的，检测区域框表示为(x1,y1,w1,h1)，其中x1和y1是当前待测图像检测区域框的中心点坐标，w1和h1表示检测区域框的宽和高。
步骤204、将检测区域框按预设百分比扩大后截取的图像作为感兴趣区域图像。
为了保证检测区域框内包含所有完整的螺栓，检测框向外扩展5％作为感兴趣区域最终结果，截取感兴趣区域图像作为后续识别图像。
步骤205、采用第二预设模型对感兴趣区域图像中的螺栓连接节点板进行图像分割，得到螺栓连接节点板的边缘信息。
调用第二预设模型，将感兴趣区域图像输入到第二预设模型中，进行图像分割处理，输出结果为一张灰度图像，其中，灰度图像可清晰地显示螺栓连接节点板的边缘信息，因而所检测的边缘直线更加准确，相比其他直接检测边缘直线的方法有明显优势。
使用Canny算子对得到的灰度图像进行边缘检测，其中，Canny算子的高低阈值参数优选设置为150和50，由于基于深度学习的图像分割结果的准确性较高，可清晰辨认螺栓连接节点板边缘，因此Canny边缘检测在无需调试算子的高低阈值参数的情况下，可准确提取螺栓连接节点板实际的边缘信息。
步骤206、基于边缘信息检测得到感兴趣区域图像的边缘直线。
基于得到的边缘信息使用Hough变换算法将检测到的边缘点映射到Hough变换空间并存储在累加器中，通过设置合适的阈值从累加器中提取出感兴趣区域图像的边缘直线。
步骤207、获取各直线的交点作为透视变换的检测参考点。
步骤208、根据基准参考点和检测参考点计算透视变换矩阵。
步骤209、根据透视变换矩阵对感兴趣区域图像进行校正得到校正图像。
步骤210、计算每个螺栓检测框与螺栓基准框的交并比。
计算校正图像中每个螺栓检测框与参考图像中螺栓基准框的IOU(交并比)，IOU为交集面积与并集面积的比值。
在螺栓的检测过程中，直接检测丢失缺陷比较困难，但使用深度学习方法对正常螺栓进行目标检测的精度较高，通过计算每个螺栓检测框与螺栓基准框的交并比将螺栓缺失检测问题转换成螺栓检测问题。
步骤211、判断交并比与第一阈值的大小关系。
当待测螺栓完好无损时，螺栓检测框与螺栓基准框的交并比接近1，本实施例优选第一阈值为0.8；当待测螺栓缺失时，螺栓检测框与螺栓基准框的交并比应该为0，若交并比小于第一阈值且较接近0时，此时存在螺栓基准框与非对应螺栓检测框存在小面积相交的情况。
步骤212、若交并比大于等于第一阈值，则判断该螺栓未丢失。
步骤213、若交并比小于第一阈值，则判断该螺栓丢失，并在校正图像对应位置进行标记，得到螺栓缺失检测结果图。
输出螺栓缺失检测结果图，便于工作人员快速对螺栓进行检修。
本发明实施例通过第一预设模型预先提取感兴趣区域，突出前景目标特征，排除背景特征，提高后续对螺栓连接节点板图像分割和螺栓目标检测等操作的准确性；使用第二预设模型对感兴趣区域图像进行图像分割，分割的结果可以真实准确地显示节点板边缘特征，同时排除其它非节点板边缘特征，基于深度学习法提取的节点板边缘特征相比其它直接提取节点板边缘特征的方法有较高的鲁棒性，进而可以准确地提取用以进行透视变换的参考点；由于直接检测螺栓的缺失准确度较低，因而使用第二预设模型检测校正图像的螺栓位置信息，并通过比较螺栓检测框与螺栓基准框的匹配情况判断螺栓的丢失情况和具体的位置，提高了螺栓缺失检测的准确度。
实施例三
图3为本发明实施例三提供的一种螺栓缺失检测装置的结构示意图，如图3所示，一种螺栓缺失检测装置，包括：
图像获取模块310，用于获取待检测螺栓对应的待检测图像。
对需要进行检测的螺栓图像进行采集生成待检测图像，图像采集方式包括：人工采集、无人机巡检采集、检测机器人采集等多种方式；其中采集的图像范围完整包含螺栓连接板所在区域。
图像提取模块320，用于采用第一预设模型识别待检测图像中的螺栓连接节点板作为感兴趣区域图像。
在进行螺栓缺失检测前，需要进行深度学习模型的训练，第一预设模型为感兴趣区域图像识别模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。
将采集到的待检测图像输入第一预设模型进行识别，识别待测图像中的螺栓连接节点板作为感兴趣区域图像，其中，螺栓连接节点板包含了所有的螺栓，感兴趣区域图像范围略大于螺栓连接节点板对应的范围。
将感兴趣区域图像作为后续的识别图像可以排除非螺栓连接节点板的背景图像影响，突出前景目标特征，从而提高螺栓识别的精确度。
参考点获取模块330，用于采用第二预设模型对感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点。
第二预设模型为螺栓连接节点板图像分割模型，是基于深度学习方法训练得到的图像分割模型，可以为FCN、UNet、DeepLab等图像分割模型中的一种。
将感兴趣区域图像输入第二预设模型进行识别，感兴趣区域图像中完整包含螺栓连接节点板，对感兴趣区域图像中的螺栓连接节点板进行图像分割，突出螺栓连接节点板的背景区域，即螺栓连接节点板的边缘信息，然后使用Canny算子进行边缘检测，基于得到的边缘信息使用Hough变换算法提取出螺栓连接节点板边缘直线，计算各直线之间的交点坐标值作为检测参考点。其中，由于节点板的所检测的边缘可能会检测出多条相似的直线，那么也就会产生多个直线之间的交点，以矩形螺栓节点板为例，使用k-means聚类方法对所有交点信息进行聚类，最终将数据分成4组，4组数据的聚类中心为最终确定的4个基准参考点坐标；
图像校正模块340，用于基于检测参考点和预设参考图像的基准参考点，采用透视变换对感兴趣区域图像进行校正得到校正图像。
进行螺栓缺失检测时，需将待测图像的视角转换成标准参考图像的视角进行比较，即对待测图像进行畸变校正，采用透视变换的方法将感兴趣区域图像进行校正得到校正图像；具体包括：根据相对应的4个检测参考点与4个基准参考点的坐标值计算得出透视变换矩阵H，根据透视变换矩阵H对感兴趣区域图像进行透视变换，从而使透视变换后的校正图像与参考图像置于同一视角。透视变换不仅可以解决感兴趣区域图像视角问题，还能解决少量区域存在遮挡、模糊和曝光的问题，便于后期有效识别感兴趣区域图像中的螺栓。
螺栓信息获取模块350，用于采用第三预设模型识别校正图像中的螺栓位置信息。
在进行螺栓缺失检测前，需要进行深度学习模型的训练，第三预设模型为螺栓目标检测模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。
将校正图像输入第三预设模型进行识别，对校正图像中的螺栓进行目标检测，并获取检测到的螺栓对应的位置信息。校正图像与标准参考图像为同样视角，因此基于标准参考图像的检测框可准确检测校正后图像的螺栓。
螺栓缺失判断模块360，用于基于预设参考图像中的螺栓位置信息与校正图像中的螺栓位置信息，确认待检测螺栓的螺栓缺失检测结果。
在完成第一预设模型和第二预设模型训练后，需要构建参考图像用以与待测图像进行对比判断螺栓是否缺失，其中，参考图像由标准螺栓图像处理得到，标准螺栓图像为螺栓的正面视角，细节清晰且能反映螺栓的特征。
将第二预设模型识别的校正图像中的螺栓位置信息与参考图像中的螺栓位置信息进行一一比对，若校正图像中的螺栓位置信息与参考图像中的螺栓位置信息无法一一对应，则判断待测螺栓存在缺失；并在无法对应的螺栓位置信息处形成标记，输出螺栓缺失结果图，以便工作人员快速对螺栓进行检修。
本发明实施例通过第一预设模型识别螺栓连接节点板作为感兴趣区域，并基于第二预设模型输出结果对感兴趣区域图像进行校正，并采用第三预设模型识别校正图像中的螺栓位置信息，通过与预设参考图像中的螺栓位置信息进行比对，从而确认待检测螺栓是否缺失，解决螺栓缺失样本较少，基于螺栓缺失图像样本训练的检测模型的泛化能力与通用性较低的问题，实现检测参考点的准确提取，保证透视变换得到校正图像的正确性；感兴趣区域提高了图像识别精度，最终提高螺栓缺失检测结果的准确性。
进一步的，螺栓缺失检测装置的图像提取模块还包括：
第一图像识别单元，用于采用第一预设模型识别待检测图像中的螺栓连接节点板。
第一位置获取单元，用于获取螺栓连接节点板的位置信息，螺栓连接节点板的位置信息为具有坐标信息的检测区域框。
第一图像提取单元，用于将检测区域框按预设百分比扩大预截取的图像作为感兴趣区域图像。
进一步的，螺栓缺失检测装置的参考点获取模块还包括：
图像分割单元，用于采用深度学习方法对感兴趣区域图像中的螺栓连接节点板进行图像分割，得到螺栓连接节点板的边缘信息。
边缘直线获取单元，用于基于边缘信息检测得到感兴趣区域图像的边缘直线。
检测参考点获取单元，获取各直线的交点作为透视变换的检测参考点。
进一步的，螺栓缺失检测装置的图像校正模块还包括：
变换矩阵计算单元，用于根据基准参考点和检测参考点计算透视变换矩阵。
透视变化单元，用于根据透视变换矩阵对感兴趣区域图像进行校正得到校正图像。
进一步的，螺栓缺失检测装置的螺栓缺失判断模块还包括：
第一计算单元，用于计算每个螺栓检测框与螺栓基准框的交并比。
第一判断单元，用于判断交并比与第一阈值的大小关系。
第一结果输出单元，用于若交并比大于等于第一阈值，则判断该螺栓未丢失。
第二结果输出单元，用于若交并比小于第一阈值，则判断该螺栓丢失，并在校正图像对应位置进行标记，得到螺栓缺失检测结果图。
本发明实施例所提供的螺栓缺失检测装置可执行本发明任意实施例所提供的螺栓缺失检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种螺栓缺失检测设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的螺栓缺失检测方法对应的程序指令/模块(例如，螺栓缺失检测装置中的图像获取模块310、图像提取模块320、参考点获取模块330、图像校正模块340、螺栓信息获取模块350和螺栓缺失判断模块360)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的螺栓缺失检测方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种螺栓缺失检测方法，该方法包括：
获取待检测螺栓对应的待检测图像；
采用第一预设模型识别待检测图像中的螺栓连接节点板作为感兴趣区域图像；
采用第二预设模型对感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
基于检测参考点和预设参考图像的基准参考点，采用透视变换对感兴趣区域图像进行校正得到校正图像；
采用第三预设模型识别校正图像中的螺栓位置信息；
基于预设参考图像中的螺栓位置信息与校正图像中的螺栓位置信息，确认待检测螺栓的螺栓缺失检测结果。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的螺栓缺失检测中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述螺栓缺失检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种螺栓缺失检测方法，其特征在于，包括：
获取待检测螺栓对应的待检测图像；
采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；
采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；
采用第三预设模型识别所述校正图像中的螺栓位置信息；
基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。
2.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像包括：
采用第一预设模型识别所述待检测图像中的螺栓连接节点板；
获取所述螺栓连接节点板的位置信息，所述螺栓连接节点板的位置信息为具有坐标信息的检测区域框；
将所述检测区域框按预设百分比扩大后截取的图像作为感兴趣区域图像。
3.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点包括：
采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，得到所述螺栓连接节点板的边缘信息；
基于所述边缘信息检测得到螺栓连接节点板的边缘直线；
获取各直线的交点作为透视变换的检测参考点。
4.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述基于所述检测参考点和预设参考图像的基准参考点采用透视变换对所述感兴趣区域图像进行校正得到校正图像包括：
根据所述基准参考点和所述检测参考点计算透视变换矩阵；
根据所述透视变换矩阵对所述感兴趣区域图像进行校正得到校正图像。
5.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述校正图像中的螺栓位置信息为具有每个待检测螺栓的坐标信息的螺栓检测框，所述预设参考图像中的螺栓位置信息为具有每个基准螺栓的坐标信息的螺栓基准框；基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果，包括：
计算每个螺栓检测框与所述螺栓基准框的交并比；
判断所述交并比与第一阈值的大小关系；
若所述交并比大于等于所述第一阈值，则判断该螺栓未丢失；
若所述交并比小于所述第一阈值，则判断该螺栓丢失，并在所述校正图像对应位置进行标记，得到螺栓缺失检测结果图。
6.根据权利要求1所述的螺栓缺失检测方法，其特征在于，将标准图像经过所述第一预设模型和所述第二预设模型提取基准参考点，经过第三预设模型提取基准螺栓坐标信息，保存并形成参考图像信息。
7.根据权利要求1所述的螺栓缺失检测方法，其特征在于，所述第一预设模型、所述第二预设模型和所述第三预设模型均为深度学习模型，其中，所述第一预设模型和所述第三预设模型为目标检测模型，所述第二预设模型为图像分割模型。
8.一种螺栓缺失检测装置，其特征在于，包括：
图像获取模块，用于获取待检测螺栓对应的待检测图像；
图像提取模块，用于采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像；
参考点获取模块，用于采用第二预设模型对所述感兴趣区域图像中的螺栓连接节点板进行图像分割，并基于分割结果获取检测参考点；
图像校正模块，用于基于所述检测参考点和预设参考图像的基准参考点，采用透视变换对所述感兴趣区域图像进行校正得到校正图像；
螺栓信息获取模块，用于采用第三预设模型识别所述校正图像中的螺栓位置信息；
螺栓缺失判断模块，用于基于预设参考图像中的螺栓位置信息与所述校正图像中的螺栓位置信息，确认所述待检测螺栓的螺栓缺失检测结果。
9.一种螺栓缺失检测设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的螺栓缺失检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的螺栓缺失检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011410323.XA CN112419299B (zh) | 2020-12-04 | 2020-12-04 | 一种螺栓缺失检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011410323.XA CN112419299B (zh) | 2020-12-04 | 2020-12-04 | 一种螺栓缺失检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419299A true CN112419299A (zh) | 2021-02-26 |
| CN112419299B CN112419299B (zh) | 2024-01-19 |
Family
ID=74830762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011410323.XA Active CN112419299B (zh) | 2020-12-04 | 2020-12-04 | 一种螺栓缺失检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419299B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327241A (zh) * | 2021-06-16 | 2021-08-31 | 南昌航空大学 | 一种轴承端面的表面缺陷视觉检测方法及系统 |
| CN113470043A (zh) * | 2021-06-03 | 2021-10-01 | 厦门宏泰智能制造有限公司 | 一种基于图像分割的数据处理方法、装置和电子设备 |
| CN114140726A (zh) * | 2021-12-03 | 2022-03-04 | 湖北微模式科技发展有限公司 | 目标正反面展示动作连续性的检测方法 |
| CN114820621A (zh) * | 2022-06-29 | 2022-07-29 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓丢失缺陷检测方法、系统及装置 |
| CN114820620A (zh) * | 2022-06-29 | 2022-07-29 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动缺陷检测方法、系统及装置 |
| CN115546223A (zh) * | 2022-12-05 | 2022-12-30 | 南京天创电子技术有限公司 | 一种列车车下设备紧固螺栓的缺失检测方法和系统 |
| CN117029733A (zh) * | 2023-10-08 | 2023-11-10 | 中冶建筑研究总院有限公司 | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 |
| CN117095000A (zh) * | 2023-10-19 | 2023-11-21 | 杭州和利时自动化有限公司 | 一种设备检测方法及装置 |
| CN117571721A (zh) * | 2024-01-15 | 2024-02-20 | 北京兆维智能装备有限公司 | 一种电路板焊盘表面缺陷检测方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6067153A (en) * | 1996-05-21 | 2000-05-23 | Hitachi, Ltd. | Pattern defect inspecting apparatus |
| WO2016083897A2 (en) * | 2014-11-24 | 2016-06-02 | Kitov Systems Ltd. | Automated inspection |
| CN107230205A (zh) * | 2017-05-27 | 2017-10-03 | 国网上海市电力公司 | 一种基于卷积神经网络的输电线路螺栓检测方法 |
| CN109461133A (zh) * | 2018-08-27 | 2019-03-12 | 石家庄铁道大学 | 桥梁螺栓脱落检测方法及终端设备 |
| CN110458800A (zh) * | 2019-06-24 | 2019-11-15 | 珠海格力电器股份有限公司 | 一种螺钉缺失检测方法、装置及存储介质 |
| CN110569769A (zh) * | 2019-08-29 | 2019-12-13 | 浙江大搜车软件技术有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| WO2020044725A1 (ja) * | 2018-08-30 | 2020-03-05 | パナソニックＩｐマネジメント株式会社 | 検査装置及び検査方法 |
-
2020
- 2020-12-04 CN CN202011410323.XA patent/CN112419299B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6067153A (en) * | 1996-05-21 | 2000-05-23 | Hitachi, Ltd. | Pattern defect inspecting apparatus |
| WO2016083897A2 (en) * | 2014-11-24 | 2016-06-02 | Kitov Systems Ltd. | Automated inspection |
| CN107230205A (zh) * | 2017-05-27 | 2017-10-03 | 国网上海市电力公司 | 一种基于卷积神经网络的输电线路螺栓检测方法 |
| CN109461133A (zh) * | 2018-08-27 | 2019-03-12 | 石家庄铁道大学 | 桥梁螺栓脱落检测方法及终端设备 |
| WO2020044725A1 (ja) * | 2018-08-30 | 2020-03-05 | パナソニックＩｐマネジメント株式会社 | 検査装置及び検査方法 |
| CN110458800A (zh) * | 2019-06-24 | 2019-11-15 | 珠海格力电器股份有限公司 | 一种螺钉缺失检测方法、装置及存储介质 |
| CN110569769A (zh) * | 2019-08-29 | 2019-12-13 | 浙江大搜车软件技术有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 黄辉 等: "基于机器视觉的汽车车灯螺丝装配缺失检测系统设计", 数码设计, no. 09 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470043A (zh) * | 2021-06-03 | 2021-10-01 | 厦门宏泰智能制造有限公司 | 一种基于图像分割的数据处理方法、装置和电子设备 |
| CN113327241A (zh) * | 2021-06-16 | 2021-08-31 | 南昌航空大学 | 一种轴承端面的表面缺陷视觉检测方法及系统 |
| CN114140726A (zh) * | 2021-12-03 | 2022-03-04 | 湖北微模式科技发展有限公司 | 目标正反面展示动作连续性的检测方法 |
| CN114140726B (zh) * | 2021-12-03 | 2022-06-21 | 湖北微模式科技发展有限公司 | 目标正反面展示动作连续性的检测方法 |
| CN114820621B (zh) * | 2022-06-29 | 2022-09-06 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓丢失缺陷检测方法、系统及装置 |
| CN114820620A (zh) * | 2022-06-29 | 2022-07-29 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动缺陷检测方法、系统及装置 |
| CN114820621A (zh) * | 2022-06-29 | 2022-07-29 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓丢失缺陷检测方法、系统及装置 |
| CN114820620B (zh) * | 2022-06-29 | 2022-09-13 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动缺陷检测方法、系统及装置 |
| CN115546223A (zh) * | 2022-12-05 | 2022-12-30 | 南京天创电子技术有限公司 | 一种列车车下设备紧固螺栓的缺失检测方法和系统 |
| CN117029733A (zh) * | 2023-10-08 | 2023-11-10 | 中冶建筑研究总院有限公司 | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 |
| CN117029733B (zh) * | 2023-10-08 | 2024-01-26 | 中冶建筑研究总院有限公司 | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 |
| CN117095000A (zh) * | 2023-10-19 | 2023-11-21 | 杭州和利时自动化有限公司 | 一种设备检测方法及装置 |
| CN117095000B (zh) * | 2023-10-19 | 2024-01-26 | 杭州和利时自动化有限公司 | 一种设备检测方法及装置 |
| CN117571721A (zh) * | 2024-01-15 | 2024-02-20 | 北京兆维智能装备有限公司 | 一种电路板焊盘表面缺陷检测方法、装置及存储介质 |
| CN117571721B (zh) * | 2024-01-15 | 2024-04-05 | 北京兆维智能装备有限公司 | 一种电路板焊盘表面缺陷检测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419299B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419299B (zh) | 一种螺栓缺失检测方法、装置、设备及存储介质 | |
| CN112419297A (zh) | 一种螺栓松动检测方法、装置、设备及存储介质 | |
| CN112419298B (zh) | 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质 | |
| Hassanin et al. | A real-time approach for automatic defect detection from PCBs based on SURF features and morphological operations | |
| CN110378310B (zh) | 一种基于答案库的手写样本集的自动生成方法 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN105913093A (zh) | 一种用于文字识别处理的模板匹配方法 | |
| CN111398176B (zh) | 基于像元尺度特征的水体水色异常遥感识别方法和装置 | |
| CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
| CN114820620B (zh) | 一种螺栓松动缺陷检测方法、系统及装置 | |
| CN107452035B (zh) | 车道线图像分析方法、装置及其计算机可读取式媒体 | |
| CN113379712A (zh) | 一种基于计算机视觉的钢桥螺栓病害检测方法及系统 | |
| CN111563896B (zh) | 一种用于接触网异常检测的图像处理方法 | |
| CN115184380A (zh) | 基于机器视觉的印刷电路板焊点异常检测方法 | |
| CN112837308A (zh) | 一种建筑裂缝检测方法、装置、设备及存储介质 | |
| CN111221996B (zh) | 仪表屏幕视觉检测方法和系统 | |
| CN112784835A (zh) | 圆形印章的真实性识别方法、装置、电子设备及存储介质 | |
| CN115512381A (zh) | 文本识别方法、装置、设备、存储介质及作业机械 | |
| CN113269234B (zh) | 一种基于目标检测的连接件装配检测方法和系统 | |
| CN111914706A (zh) | 一种文字检测输出结果质量检测和控制的方法与装置 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN114820621B (zh) | 一种螺栓丢失缺陷检测方法、系统及装置 | |
| CN110751623A (zh) | 基于联合特征的缺陷检测方法、装置、设备及存储介质 | |
| CN114943720A (zh) | 一种电力图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |