CN114820621B - 一种螺栓丢失缺陷检测方法、系统及装置 - Google Patents
一种螺栓丢失缺陷检测方法、系统及装置 Download PDFInfo
- Publication number
- CN114820621B CN114820621B CN202210751413.8A CN202210751413A CN114820621B CN 114820621 B CN114820621 B CN 114820621B CN 202210751413 A CN202210751413 A CN 202210751413A CN 114820621 B CN114820621 B CN 114820621B
- Authority
- CN
- China
- Prior art keywords
- bolt
- image
- loss
- judging
- lost
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 110
- 230000007547 defect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 35
- 238000012216 screening Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000012795 verification Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种螺栓丢失缺陷检测方法、系统及装置，涉及计算机视觉检测及紧固件连接技术领域，所述方法包括：通过模糊化操作及预设模型标记螺栓和/或螺栓丢失区域，进而截取掩码图像，提取角点和方向角，并以所述角点和所述方向角为依据判定螺栓丢失；通过对所述预设模型的训练集进行模糊化操作完善训练集。通过上述方法，可直接、准确地对螺栓节点的螺栓丢失情况进行机器视觉判定，解决了目前螺栓丢失缺陷检测精度低的问题；特别是在缺少真实场景中的螺栓丢失缺陷图像的情况下，本发明仍可构建出鲁棒性强的螺栓丢失缺陷检测模型，避免了现有技术中检测标记用模型鲁棒性弱、实用性差的问题。
Description
技术领域
本发明涉及计算机视觉检测及紧固件连接技术领域，尤其是涉及一种螺栓丢失缺陷检测方法、系统及装置。
背景技术
螺栓连接节点是钢结构构件最常用的连接方式之一，其中六角螺栓的使用也最为普遍。在安装、维护螺栓的过程中，由于疏忽而导致个别螺栓丢失的缺陷，会威胁到整个结构的安全性和稳定性，因此对螺栓丢失的检测具有重要意义。
目前，随着计算机视觉技术的发展、特别是深度学习模型领域研究的不断深入，使计算机识别精度有了大幅提升，极大扩展计算机视觉检测技术的应用范围，尤其是在紧固件连接技术领域，针对螺栓丢失缺陷的检测技术研究有了很多成果，但仍存在着诸多不足之处。
专利文献《一种螺栓缺失检测方法、装置、设备及存储介质》（专利号CN202011410323X）中记载了一种螺栓缺失检测方法，基于螺栓节点板的语义分割掩码图像提取用于畸变校正的参考点，将待检测节点图像校正为标准节点图像视角后，通过计算前后螺栓矩形检测框相交情况判断螺栓是否丢失。基于掩码图像提取节点板边缘直线，并将边缘直线交点作为参考点并进行透视变换校正，从而将待检测图像视角转化成标准图像视角，再通过检测节点图像中螺栓矩形检测框与标准节点图像螺栓矩形检测框的交并比判断螺栓丢失情况，但此方法必须通过将检测图像与已知的标准图像进行比对才能判断螺栓丢失情况，仅适用于特定螺栓节点丢失缺陷的周期性监测任务，对于首次大规模地检测未知螺栓节点的丢失缺陷并不适用。
文献《基于计算机视觉的钢桥螺栓延迟断裂检测》（英文名称：Computer Vision-Based Detection for Delayed Fracture of Bolts in Steel Bridges）中记载了使用目标检测模型对螺栓延迟断裂后的缺陷区域进行检测，并使用多种数据增强的方法对有限的缺陷数据进行扩充，以提高模型的精度，但由于可发现的原始丢失缺陷图像过少，导致有限的数据无法充分表达很多未知的缺陷状态，从而影响到模型检测精度。
发明内容
本发明的目的在于提供一种螺栓丢失缺陷检测方法、系统及装置，以解决现有技术中存在的上述技术问题。
为解决上述技术问题，本发明提供的螺栓丢失缺陷检测方法主要包括：
采集螺栓节点的检测区域图像，并制作备份图像，所述备份图像用于保持原图像的清晰度；
基于所述检测区域图像，进行模糊化处理后通过第一预设模型对单个螺栓和/或螺栓丢失区域标记检测框，对所述备份图像复制所述检测框，通过第二预设模型从所述备份图像中提取掩码图像；
基于掩码图像标记角点，并依据角点数量初次判别螺栓丢失，筛除螺栓丢失图像后得到初筛图像；
基于所述初筛图像，标记几何中心点后计算方向角集合，统计所述方向角集合的标准差，将所述标准差与预设阈值比较后再次判别螺栓丢失。
通过上述对检测区域图像的处理过程，可以将螺栓检测区域图像中的螺栓丢失情况进行甄别，并输出判定结果。
优选的，所述预设模型采用深度学习模型，所述深度学习模型属于现有技术，训练过程简述如下：选择现有模型；基于图像素材制成训练集和验证集；通过训练集以及数据增强和正则化方法训练模型；通过验证集验证模型，当验证结果满足结束条件时结束训练；通过深度学习模型可提升图像识别准确率及效率。
进一步地，所述模糊化处理是指弱化或消除图像中的边缘特征，利于后续预设模型识别标记。
进一步地，所述第一预设模型包括：先对图像进行灰度化处理，再通过对单个螺栓和/或螺栓丢失区域添加矩形框进行数据标记；
由于螺栓的颜色不影响螺栓丢失判别，故对图像进行灰度化处理，可以减少数据量，便于提升运算效率；
所述第一预设模型，可以是螺栓和/或螺栓丢失深度学习目标检测模型，用于螺栓和/或螺栓丢失区域的目标检测，可选择但不限于faster-RCNN、SSD、YOLO系列等目标检测模型；
所述矩形框由位置信息定义，所述位置信息包括矩形框中心点坐标、矩形框宽度和矩形框高度。
进一步地，在所述第一预设模型进行训练时，先将训练集中的图像进行模糊化处理后再进行训练；
由于模糊化处理后的正常螺栓图像，消除或弱化了六边形特征，这样与模糊化处理后的螺栓丢失区域图像就极为相似，故可通过所述模糊化处理的正常螺栓图像模拟螺栓丢失区域的图像，这样构建成的训练集就兼顾了正常螺栓及螺栓丢失区域，利用所述训练集训练所述第一预设模型，以避免真实情况中螺栓丢失缺陷发生概率低，难以采集螺栓丢失实际图像进行模型训练的问题。
所述模糊化处理的具体办法可以是高斯模糊、加高斯噪声、缩小图像以减小分辨率等常规模糊化操作。
进一步地，所述第二预设模型，可以是螺栓语义分割模型，用于单个螺栓掩码图像的提取，可选择但不限于FCN、UNet、DeepLab等语义分割模型。
进一步地，所述掩码图像是指基于所述检测框截取图像，依次经灰度化处理、语义分割及二值化处理后得到的图像。
所述二值化处理是指以两种像素值进行区分，例如可以将螺栓区域的像素值定义为255，其他背景区域的像素值定义为0，以便进行区分识别，当然也可以定义为其他值，只要便于区分即可。
进一步地，所述角点是现有技术名词，普遍是指图像中边缘线的交点，可以选择但不限于使用Harris角点检测法提取。
进一步地，所述标记角点包括在同一位置检测出多个疑似角点时，取所述疑似角点的坐标平均值作为此位置的角点坐标。
以便解决图像中的角模糊或呈现圆弧时，无法确定角点的问题。
进一步地，所述初次判别螺栓丢失包括将所述角点的数量与预设阈值比较，若所述数量小于等于预设阈值，则判定螺栓丢失；
优选的，所述预设阈值为1，当所述数量小于等于1时，已无法判断出螺栓的六边形特征，即可认定螺栓丢失。
进一步地，所述计算方向角集合包括：以所述几何中心点为原点建立坐标系，通过所述原点与所述角点的射线逆时针旋转至所述坐标系正向纵轴的角度作为方向角并整理成集合形式。
所述几何中心点的坐标可以利用掩码图像的一阶矩除以零阶矩的方法得到，当然还可采用本领域公知的其他算法得到。
进一步地，所述再次判别螺栓丢失包括：将所述标准差与预设阈值比较，当所述标准差大于所述预设阈值时，则判定螺栓丢失；
优选的，所述预设阈值为2。
另一方面，本发明还提供了一种螺栓丢失缺陷检测系统，包括：图像采集模块、数据存储模块、数据处理模块和结果生成模块;
所述数据存储模块，包括预设模型单元和备份图像单元；
所述预设模型单元，用于存储预设模型；
所述备份图像单元，用于存储备份图像；
所述图像采集模块，用于接收螺栓节点的检测区域图像，备份后发送至数据处理模块，并将备份图像发送至所述数据存储模块；
所述数据处理模块，包括掩码图像生成单元、角点判别螺栓丢失单元和方向角判别螺栓丢失单元；
所述掩码图像生成单元，接收检测区域图像后，进行模糊化处理，从所述数据存储模块调用第一预设模型标记检测框，调取备份图像复制所述检测框，调用第二预设模型从所述备份图像中提取掩码图像并发送至角点判别螺栓丢失单元；
所述角点判别螺栓丢失单元，基于所述掩码图像标记角点并统计角点数量，依据所述角点数量判别螺栓丢失，筛除螺栓丢失的掩码图像，将剩余的掩码图像作为初筛图像发送至方向角判别螺栓丢失单元；
所述方向角判别螺栓丢失单元，基于所述初筛图像，标记几何中心点后计算方向角集合，统计所述方向角集合的标准差，将所述标准差与预设阈值比较后判别螺栓丢失，并将判定结果发送至结果生成模块；
所述结果生成模块输出螺栓丢失判别结果。
又一方面，本发明还提供了一种用于上述螺栓丢失缺陷检测方法的螺栓丢失缺陷检测装置，其特征在于，所述装置包括处理器、存储器、总线，所述存储器存储可由处理器读取的指令、模型及备份图像；所述处理器用于调用所述存储器中的指令、模型及备份图像，所述总线连接各功能部件之间传送信息。
采用上述技术方案，本发明具有如下有益效果：
本发明提供的螺栓丢失缺陷检测方法，通过模糊化操作及第一预设模型标记单个螺栓和/或螺栓丢失区域，再通过第二预设模型得到单个螺栓和/或螺栓丢失区域的掩码图像，然后分步提取角点和方向角，并以所述角点和所述方向角为依据分步判定螺栓丢失；通过对所述第一预设模型的训练集进行模糊化操作完善训练集。通过上述方法，可直接、准确地对螺栓节点的螺栓丢失情况进行机器视觉自动判定，解决了目前螺栓丢失缺陷检测精度低的问题；特别是在缺少真实场景中的螺栓丢失缺陷图像的情况下，本发明仍可训练出鲁棒性强的检测标记用深度学习模型，避免了现有技术中检测标记用模型鲁棒性弱、实用性差的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的螺栓丢失缺陷检测方法流程图；
图2为本发明实施例提供的螺栓节点检测区域图像模糊化示例图；
图3为本发明实施例提供的模糊化图像标记螺栓和螺栓丢失区域检测框的示例图；
图4为本发明实施例提供的备份图像复制标记螺栓和螺栓丢失区域检测框的示例图；
图5为本发明实施例提供的螺栓及螺栓丢失区域掩码图像提取示例图；
图6为本发明实施例提供的螺栓角点示意图；
图7为本发明实施例提供的螺栓几何中心点示意图；
图8为本发明实施例提供的螺栓方向角示意图；
图9为本发明实施例提供的螺栓丢失区域模糊化图像与正常螺栓模糊化图像对比图；
图10为本发明实施例提供的螺栓丢失缺陷检测系统图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块。方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。“和/或”用于表示在其所连接的两个对象之间选择一个或全部。
下面结合具体的实施方式对本发明做进一步的解释说明。
如图1所示，本实施例提供的螺栓丢失缺陷检测方法具体包括如下步骤：
步骤101、获取螺栓节点检测区域图像，所述检测区域图像为螺栓节点安装面的正视清晰图像；
步骤102、制作所述螺栓节点检测区域图像的备份图像；
步骤103、螺栓节点检测区域图像模糊化处理，如图2所示；
步骤104、基于模糊化处理后的螺栓节点检测区域图像，通过螺栓和/或螺栓丢失深度学习目标检测模型标记出每个螺栓和/或螺栓丢失区域的矩形检测框（x1,y1,x2,y2），所述x1和y1是矩形检测框左上顶点坐标，所述x2和y2是矩形检测框右下顶点坐标，如图3所示；
步骤105、基于备份图像，复制标记所述矩形检测框，得到含有检测框的图像，如图4所示；
步骤106、基于含有检测框的图像，截取单个螺栓或螺栓丢失区域图像，若检测框最长边长为Max_L，则最终截取的图像区域是以原检测框中心点为中心点，宽和高均为1.1*Max_L的正方形的区域，以便确保截取的图像为正方形且包含完整的螺栓或螺栓丢失区域，将截取的正方形区域缩放成n*n个像素大小的图像，灰度化处理后调用螺栓语义分割模型进行语义分割及二值化处理，得到掩码图像，如图5所示，图5中的a图可见提取的螺栓掩码图像有明显的六边形特征，而图5中的b图可见提取的螺栓丢失区域图像不存在六边形特征，因此后续步骤可以通过判断提取的掩码图像中有无六边形特征进行螺栓丢失判定；
所述二值化处理是现有技术，就是将图像上的像素点灰度值设置为0或255，例如将所述掩码图像螺栓区域像素值设为255，其他背景区域像素值设为0，用于将整个图像呈现出黑白分明的视觉效果。
步骤107、基于掩码图像，通过角点检测法标记角点，所述角点为图像中边缘线的交点；
所述角点检测法是现有技术，由于正常螺栓的掩码图像具有明显的六边形特征，且不存在其他明显的干扰点，故便于提取正确的螺栓角点，例如可以采用类似OpenCV库等计算机视觉软件库中的cornerHarris函数进行计算，cornerHarris函数有四个输入参数：
参数1：src，代表输入的图像；
参数2：blockSize，代表进行角点检测的邻域的大小；
参数3：KSize，代表Sobel求导中使用的窗口大小；
参数4：k，代表常量系数；
具体地，blockSize与KSize可设为较大值，例如blockSize=9、ksize=13，防止误检节点板掩码图像边缘的小的干扰角点；k=0.04；cornerHarris函数返回值为dst，代表角点检测器的响应矩阵，所述响应矩阵中的每个值代表图像中某像素的角点响应值，保留dst中大于阈值T的点作为检测的角点，T=0.1*max（dst）；将检测到的角点位置标记在螺栓掩码图像中，如图6所示；
由于掩码图像中的角经放大后是曲率半径很小的圆弧，因此在角的周围可能会检测出多个疑似角点，取这些疑似角点坐标的平均值作为这个角的角点坐标，具体步骤如下；
步骤1071、当图像为n*n分辨率时，同一角周围检测到的疑似角点之间横坐标或纵坐标的差值小于0.04*n个像素，不同角之间检测到的角点之间横坐标或纵坐标的差值大于0.2*n个像素，故设定阈值t=(0.04+0.2)*n/2=0.12*n；
步骤1072、取任意角点坐标值，计算该疑似角点坐标与其他角点横纵坐标差值dx,dy；
步骤1073、当dx和dy均小于t时，则将这些疑似角点归为同一角的疑似角点集合Aj（j≤6），当dx或dy大于t时，则归为其他角的疑似角点集合B；
步骤1074、在所述集合B中重复步骤1072~1073，直至B集合为空，此时不同角周围的疑似角点集合归类完毕；
步骤1075、对每个角的疑似角点集合Aj的横纵坐标分别取均值得到每个角的唯一角点坐标；
步骤108、依据角点数量初次判别螺栓丢失，当所述角点数量小于等于1时，已无法判断出螺栓的六边形特征，则认定螺栓丢失并筛除所述螺栓丢失的图像，将剩余图像作为初筛图像输出至下一步；
步骤109、基于所述初筛图像，计算几何矩的零阶矩
,定义为初筛图像像素值的总和：
计算几何矩的两个一阶矩
和
；
上述公式中，x、y分别为某个图像像素的横坐标值和纵坐标值，A(x,y)为图像在(x,y)坐标处的灰度值；
计算几何中心点坐标
和
；
标记所述初筛图像的几何中心点，如图7所示；
步骤110、基于带有几何中心点的掩码图像，以所述几何中心点为原点，计算每条过所述原点至所述角点的射线逆时针旋转到正向纵轴的角度，得到方向角集合，具体步骤如下：
步骤1101、计算几何中心点到每个角点的射线角度，以几何中心点作为原点，垂直向上作为y轴的正方向，设所述几何中心点坐标
，角点坐标
，j≤6；从点c到点
的射线沿逆时针方向转到y轴正方向的夹角
即为几何中心点到角点的方向角，
的范围为0~360°，如图8所示；
步骤1102、由于螺栓的外形往往具有正六边形特性，可将所述
归为[0,60]区间内以便简化数据，公式为
,其中mod[.]为取余数操作，归为集合C；
特别的，由于计算精度等原因，会导致几何中心点和角点检测存在小幅偏差，从而使集合C中的数值会落在某个较小的范围内，而不是理论上的等值，例如[30,31,30,29,30,29]；
还存在一种特例，当角度值在60°或0°附近时，可能会由于公式计算原因导致出现数值差异大的集合，如集合[59,0,1,0,1,0]，与实际情况不符，故增加处理过程如下：
步骤11021、计算C中最大值C_max和最小值C_min；
步骤11022、当C_max-C_min>50时，则将C中小于10的值加60；
这样所述集合[59,0,1,0,1,0]调整为[59,60,61,60,61,60],符合实际情况；
步骤111、基于所述方向角集合，计算所述方向角的标准差：
其中，n为方向角数量；
为方向角值，
为所有方向角的均值；
步骤112、基于所述标准差σ再次判别螺栓丢失，将所述标准差σ与预设阈值
进行比较：当σ大于阈值
时，则判定为螺栓丢失；当σ小于等于阈值
时，则判定为螺栓正常；根据试验统计结果，所述阈值
可设为2。
所述螺栓和/或螺栓丢失深度学习目标检测模型为卷积神经网络目标检测模型，可选择但不限于faster-RCNN、SSD、YOLO系列等目标检测模型，所述目标检测模型的训练集只需包含正常螺栓模糊化的特征数据，无需包含真实情况下的螺栓丢失特征数据；这是因为当螺栓丢失时，会留下螺孔、垫圈、螺柱等一团类圆形的痕迹特征，螺栓丢失真实图像经模糊化处理后的示例如图9中a所示；而正常螺栓的图像通过高斯模糊、加高斯噪声等操作进行模糊化处理后，螺栓的六边形特征被弱化或消除，如图9中b所示，这与螺栓丢失的真实图像进行模糊化处理后的图像极为相似，需要说明的是，模糊化的螺栓丢失孔洞与模糊化的黑色螺栓相似，因此，在训练集中应留意加入一定比例的黑色螺栓模糊化数据，其他类型螺栓丢失模糊化特征数据与常规螺栓模糊化的特征相似，无需其他特殊操作；综合上述原因，使用模糊化的正常螺栓图像数据训练所述神经网络模型，就兼顾了正常螺栓及螺栓丢失区域两种情况，可将正常螺栓与螺栓丢失区域目标无差别地检测出来，具体训练步骤如下：
步骤11、对正常螺栓节点图像进行灰度化处理，得到灰度图；
步骤12、对灰度图进行模糊化处理，得到模糊化图像；
步骤13、基于所述模糊化图像，通过对单个螺栓区域添加矩形框进行数据标注（x,y,w,h），标注内容包括所述矩形框的中心点坐标x和y、宽度w和高度h；
步骤14、将标注后的图像随机生成训练集和验证集；
步骤15、基于训练集，通过数据增强和正则化方法，训练模型，所述数据增强的方式包括但不限于尺度变化、随机旋转和翻转、gamma变换、加椒盐噪声、直方图均衡化等，所述正则化方法是本领域公知方法例如dropout正则化方法，用于提高模型的泛化能力；
步骤16、通过验证集验证模型，当验证结果满足结束条件时结束训练，保存模型参数。
所述螺栓语义分割模型为卷积神经网络语义分割模型，可选择但不限于FCN、UNet、DeepLab系列等语义分割模型，训练步骤如下：
步骤21、对螺栓节点图像进行灰度化处理，得到灰度图；
步骤22、对灰度图中的单个螺栓或单个螺栓丢失区域图像进行语义分割并通过像素区分的方式进行数据标注，标注的标签为二值化的掩码图像，所述掩码图像中螺栓或螺栓丢失区域像素值为255，其他背景区域像素值为0，每个所述掩码图像是包含一个螺栓或一个螺栓丢失区域在内的正方形图像，并且是缩放成n*n个像素大小的图像；
步骤23、将标注后的图像随机生成为训练集和验证集；
步骤24、基于训练集，通过数据增强和正则化方法，训练模型，所述数据增强方式包括但不限于随机旋转和翻转、gamma变换、高斯噪声、直方图均衡化等，所述正则化方法是本领域公知方法例如dropout正则化方法，以提高模型的泛化能力；
步骤25、通过验证集验证模型，当验证结果满足结束条件时结束训练，保存模型参数。
另一方面，本发明实施例还提供了一种螺栓丢失缺陷检测系统，主要包括：图像采集模块、数据存储模块、数据处理模块和结果生成模块，如图10所示;
所述数据存储模块，包括预设模型单元和备份图像单元；
所述预设模型单元，用于存储预设模型；
所述备份图像单元，用于存储备份图像；
所述图像采集模块，用于接收螺栓节点的检测区域图像，备份后发送至数据处理模块，并将备份图像发送至所述数据存储模块；
所述数据处理模块，包括掩码图像生成单元、角点判别螺栓丢失单元和方向角判别螺栓丢失单元；
所述掩码图像生成单元，接收检测区域图像后，进行模糊化处理，从所述数据存储模块调用第一预设模型标记检测框，调取备份图像复制所述检测框，调用第二预设模型从所述备份图像中提取掩码图像并发送至角点判别螺栓丢失单元；
所述角点判别螺栓丢失单元，基于所述掩码图像标记角点并统计角点数量，依据所述角点数量判别螺栓丢失，筛除螺栓丢失的掩码图像，将剩余的掩码图像作为初筛图像发送至方向角判别螺栓丢失单元；
所述方向角判别螺栓丢失单元，基于所述初筛图像，标记几何中心点后计算方向角集合，统计所述方向角集合的标准差，将所述标准差与预设阈值比较后判别螺栓丢失，并将判定结果发送至结果生成模块；
所述结果生成模块输出螺栓丢失缺陷判别结果，所述判别结果包括两种情况：情况一，螺栓无丢失；情况二，螺栓有丢失，并标记丢失位置。
又一方面，本发明实施例还提供了一种用于上述螺栓丢失缺陷检测方法的螺栓丢失缺陷检测装置，主要包括：处理器、存储器和总线，
所述存储器存储可由处理器读取的指令、模型及备份图像，根据存储需要灵活配置大小；
所述处理器用于调用所述存储器中的指令、模型及备份图像并进行运算，以执行所述螺栓丢失缺陷检测方法，具体过程如下：
步骤101、获取螺栓节点检测区域图像，所述检测区域图像为螺栓节点安装面的正视清晰图像；
步骤102、制作所述螺栓节点检测区域图像的备份图像；
步骤103、螺栓节点检测区域图像模糊化处理；
步骤104、基于模糊化处理后的螺栓节点检测区域图像，通过螺栓和/或螺栓丢失深度学习目标检测模型标记出每个螺栓和/或螺栓丢失区域的矩形检测框（x1,y1,x2,y2），所述x1和y1是矩形检测框左上顶点坐标，所述x2和y2是矩形检测框右下顶点坐标；
步骤105、基于备份图像，复制标记所述矩形检测框，得到含有检测框的图像；
步骤106、基于含有检测框的图像，截取单个螺栓或螺栓丢失区域图像，若检测框最长边长为Max_L，则最终截取的图像区域是以原检测框中心点为中心点，宽和高均为1.1*Max_L的正方形的区域，以便确保截取的图像为正方形且包含完整的螺栓或螺栓丢失区域，将截取的正方形区域缩放成n*n个像素大小的图像，灰度化处理后调用螺栓语义分割模型进行语义分割及二值化处理，得到掩码图像；
步骤107、基于掩码图像，通过角点检测法标记角点，所述角点为图像中边缘线的交点；
步骤108、依据角点数量初次判别螺栓丢失，当所述角点数量小于等于1时，已无法判断出螺栓的六边形特征，则认定螺栓丢失并筛除所述螺栓丢失的图像，将剩余图像作为初筛图像输出至下一步；
步骤109、基于所述初筛图像，计算几何矩的零阶矩
,定义为初筛图像像素值的总和：
计算几何矩的两个一阶矩
和
；
上述公式中，x、y分别为某个图像像素的横坐标值和纵坐标值，A(x,y)为图像在(x,y)坐标处的灰度值；
计算几何中心点坐标
和
；
标记所述初筛图像的几何中心点；
步骤110、基于带有几何中心点的掩码图像，以所述几何中心点为原点，计算每条过所述原点至所述角点的射线逆时针旋转到正向纵轴的角度，得到方向角集合，具体步骤如下：
步骤1101、计算几何中心点到每个角点的射线角度，以几何中心点作为原点，垂直向上作为y轴的正方向，设几何中心点坐标
，角点坐标
，j≤6；从点c到点
的射线沿逆时针方向转到y轴正方向的夹角
即为几何中心点到角点的方向角，
的范围为0~360°；
步骤1102、由于螺栓的外形往往具有正六边形特性，可将所述
归为[0,60]区间内以便简化数据，公式为
,其中mod[.]为取余数操作，归为集合C；
步骤111、基于所述方向角集合，计算所述方向角的标准差：
其中，n为方向角数量；
为方向角值，
为所有方向角的均值；
步骤112、基于所述标准差σ再次判别螺栓丢失，将所述标准差σ与预设阈值
进行比较：当σ大于阈值
时，则判定为螺栓丢失；当σ小于等于阈值
时，则判定为螺栓正常；根据试验统计结果，所述阈值
可设为2；
所述总线连接各功能部件之间传送信息。
本方案在又一种实施方式下，可以通过设备的方式来实现，该设备可以包括执行上述各个实施方式中各个或几个步骤的相应模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
处理器执行上文所描述的各个方法和处理。例如，本方案中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其它实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
该设备可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线将包括一个或多个处理器、存储器和/或硬件模块的各种电路连接到一起。总线还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路连接。
总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，ExtendedIndustry Standard Component)总线等，总线可以分为地址总线、数据总线、控制总线等。
通过上述实施例，即使在缺少真实场景中螺栓丢失缺陷图像的情况下，仍可训练出强鲁棒性的检测标记用深度学习模型，依靠所述模型及实施例中的方法可直接、准确、快速地对螺栓节点的螺栓丢失情况进行机器视觉自动判定，解决了现有技术中检测标记用模型鲁棒性弱、实用性差、螺栓丢失缺陷检测精度低的问题。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种螺栓丢失缺陷检测方法，其特征在于，包括：
采集螺栓节点的检测区域图像，并制作备份图像；
基于所述检测区域图像，进行模糊化处理后通过第一预设模型对单个螺栓和/或螺栓丢失区域标记检测框，对所述备份图像复制所述检测框，通过第二预设模型从所述备份图像中提取掩码图像；
基于掩码图像标记角点，依据角点数量初次判别螺栓丢失，筛除螺栓丢失图像后得到初筛图像；
基于所述初筛图像，标记几何中心点后计算方向角集合，所述计算方向角集合包括以所述几何中心点为原点建立坐标系，通过所述原点与所述角点的射线逆时针旋转至所述坐标系正向纵轴的角度作为方向角并整理成集合形式，统计所述方向角集合的标准差，将所述标准差与预设阈值比较后再次判别螺栓丢失。
2.根据权利要求1所述的螺栓丢失缺陷检测方法，其特征在于，所述模糊化处理是指弱化或消除图像中的边缘特征。
3.根据权利要求2所述的螺栓丢失缺陷检测方法，其特征在于，在所述第一预设模型进行训练时，先将训练集中的图像进行模糊化处理后再进行训练。
4.根据权利要求1所述的螺栓丢失缺陷检测方法，其特征在于，所述掩码图像是指基于所述检测框截取图像，依次经灰度化处理、语义分割及二值化处理后得到的图像。
5.根据权利要求1所述的螺栓丢失缺陷检测方法，其特征在于，所述标记角点包括在同一位置检测出多个疑似角点时，取所述疑似角点的坐标平均值作为此位置的角点坐标。
6.根据权利要求1所述的螺栓丢失缺陷检测方法，其特征在于，所述初次判别螺栓丢失包括将所述角点数量与预设阈值比较，若角点数量小于等于预设阈值，则判定螺栓丢失。
7.根据权利要求1所述的螺栓丢失缺陷检测方法，其特征在于，所述再次判别螺栓丢失包括将所述标准差与预设阈值比较，当所述标准差大于所述预设阈值时，则判定螺栓丢失。
8.一种采用权利要求1-7任一所述的螺栓丢失缺陷检测方法的螺栓丢失缺陷检测装置，其特征在于，所述装置包括处理器、存储器、总线，所述存储器存储可由处理器读取的指令、模型及备份图像；所述处理器用于调用所述存储器中的指令、模型及备份图像，所述总线连接各功能部件之间传送信息。
9.一种螺栓丢失缺陷检测系统，其特征在于，包括：图像采集模块、数据存储模块、数据处理模块和结果生成模块;
所述数据存储模块，包括预设模型单元和备份图像单元；
所述预设模型单元，用于存储预设模型；
所述备份图像单元，用于存储备份图像；
所述图像采集模块，用于接收螺栓节点的检测区域图像，备份后发送至数据处理模块，并将备份图像发送至所述数据存储模块；
所述数据处理模块，包括掩码图像生成单元、角点判别螺栓丢失单元和方向角判别螺栓丢失单元；
所述掩码图像生成单元，接收检测区域图像后，进行模糊化处理，从所述数据存储模块调用第一预设模型标记检测框，调取备份图像复制所述检测框，调用第二预设模型从所述备份图像中提取掩码图像并发送至角点判别螺栓丢失单元；
所述角点判别螺栓丢失单元，基于所述掩码图像标记角点并统计角点数量，依据所述角点数量判别螺栓丢失，筛除螺栓丢失的掩码图像，将剩余的掩码图像作为初筛图像发送至方向角判别螺栓丢失单元；
所述方向角判别螺栓丢失单元，基于所述初筛图像，标记几何中心点后计算方向角集合，所述计算方向角集合包括以所述几何中心点为原点建立坐标系，通过所述原点与所述角点的射线逆时针旋转至所述坐标系正向纵轴的角度作为方向角并整理成集合形式，统计所述方向角集合的标准差，将所述标准差与预设阈值比较后判别螺栓丢失，并将判定结果发送至结果生成模块；
所述结果生成模块输出螺栓丢失判别结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751413.8A CN114820621B (zh) | 2022-06-29 | 2022-06-29 | 一种螺栓丢失缺陷检测方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751413.8A CN114820621B (zh) | 2022-06-29 | 2022-06-29 | 一种螺栓丢失缺陷检测方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820621A CN114820621A (zh) | 2022-07-29 |
| CN114820621B true CN114820621B (zh) | 2022-09-06 |
Family
ID=82523045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210751413.8A Active CN114820621B (zh) | 2022-06-29 | 2022-06-29 | 一种螺栓丢失缺陷检测方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820621B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030120B (zh) * | 2022-09-09 | 2023-11-24 | 北京市计算中心有限公司 | 一种识别并校正六边形的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683075A (zh) * | 2016-11-22 | 2017-05-17 | 广东工业大学 | 一种输电线杆塔横担处螺栓缺陷检测方法 |
| CN111489348A (zh) * | 2020-04-16 | 2020-08-04 | 创新奇智(重庆)科技有限公司 | 一种磁性材料产品表面缺陷模拟方法及装置 |
| CN111489339A (zh) * | 2020-04-08 | 2020-08-04 | 北京交通大学 | 高速铁路定位器螺栓备母缺陷的检测方法 |
| CN112419299A (zh) * | 2020-12-04 | 2021-02-26 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓缺失检测方法、装置、设备及存储介质 |
| CN112967252A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种轨道车辆机感吊架组装螺栓丢失检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019183475A1 (en) * | 2018-03-23 | 2019-09-26 | University Of Kansas | Vision-based fastener loosening detection |
| CN111814867A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 缺陷检测模型的训练方法、缺陷检测方法及相关装置 |
| CN113579713B (zh) * | 2021-08-09 | 2022-05-17 | 固高派动（东莞）智能科技有限公司 | 一种多轴螺纹同步拧紧控制方法 |
| CN113744270B (zh) * | 2021-11-05 | 2022-02-08 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN113781546B (zh) * | 2021-11-10 | 2022-02-15 | 风脉能源（武汉）股份有限公司 | 一种基于塔筒外尺度确定图像采集设备位置的方法 |
-
2022
- 2022-06-29 CN CN202210751413.8A patent/CN114820621B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683075A (zh) * | 2016-11-22 | 2017-05-17 | 广东工业大学 | 一种输电线杆塔横担处螺栓缺陷检测方法 |
| CN111489339A (zh) * | 2020-04-08 | 2020-08-04 | 北京交通大学 | 高速铁路定位器螺栓备母缺陷的检测方法 |
| CN111489348A (zh) * | 2020-04-16 | 2020-08-04 | 创新奇智(重庆)科技有限公司 | 一种磁性材料产品表面缺陷模拟方法及装置 |
| CN112419299A (zh) * | 2020-12-04 | 2021-02-26 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓缺失检测方法、装置、设备及存储介质 |
| CN112967252A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨市科佳通用机电股份有限公司 | 一种轨道车辆机感吊架组装螺栓丢失检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Vision-based autonomous bolt-looseness detection method for splice connections：Design,lab-scale evaluation,and field application;Thanh-Canh Huynh;《Automation in Construction》;20210430;第124卷;1-22 * |
| 地铁列车轴端螺栓异常状况检测技术研究;吴梦迪;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20210715(第2021（07）期);C033-493 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114820621A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN114820620B (zh) | 一种螺栓松动缺陷检测方法、系统及装置 | |
| CN112419299B (zh) | 一种螺栓缺失检测方法、装置、设备及存储介质 | |
| CN112419297A (zh) | 一种螺栓松动检测方法、装置、设备及存储介质 | |
| CN110781885A (zh) | 基于图像处理的文本检测方法、装置、介质及电子设备 | |
| CN112419298B (zh) | 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质 | |
| CN110766016B (zh) | 一种基于概率神经网络的喷码字符识别方法 | |
| CN111325769A (zh) | 一种目标对象检测方法及装置 | |
| CN114820621B (zh) | 一种螺栓丢失缺陷检测方法、系统及装置 | |
| CN112861870B (zh) | 指针式仪表图像矫正方法、系统及存储介质 | |
| CN111898610B (zh) | 卡片缺角检测方法、装置、计算机设备及存储介质 | |
| CN114283132A (zh) | 一种缺陷检测方法、装置、设备以及存储介质 | |
| CN114495098A (zh) | 一种基于显微镜图像的盘星藻类细胞统计方法及系统 | |
| CN112200826A (zh) | 一种工业弱缺陷分割方法 | |
| CN117037132A (zh) | 一种基于机器视觉的船舶水尺读数检测和识别方法 | |
| CN117029733B (zh) | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 | |
| CN112070738B (zh) | 一种口罩鼻梁检测方法及系统 | |
| CN112184723B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN111402185B (zh) | 一种图像检测方法及装置 | |
| CN112036232A (zh) | 一种图像表格结构识别方法、系统、终端以及存储介质 | |
| CN112801963B (zh) | 一种视频图像遮挡检测方法及系统 | |
| CN114821165A (zh) | 一种轨道检测图像采集分析方法 | |
| CN114529906A (zh) | 基于字符识别的输电设备数字仪表异常检测方法及系统 | |
| CN109389595B (zh) | 一种表格线交点检测方法、电子设备及可读存储介质 | |
| CN112634141A (zh) | 一种车牌矫正方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |