CN113469988A - 一种缺陷识别方法 - Google Patents
一种缺陷识别方法 Download PDFInfo
- Publication number
- CN113469988A CN113469988A CN202110795443.4A CN202110795443A CN113469988A CN 113469988 A CN113469988 A CN 113469988A CN 202110795443 A CN202110795443 A CN 202110795443A CN 113469988 A CN113469988 A CN 113469988A
- Authority
- CN
- China
- Prior art keywords
- defect
- damage
- building
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种缺陷识别方法，包含以下步骤：建立缺陷数据库；搭建缺陷目标识别训练模型并训练；搭建缺陷识别模型并测试,提取目标检测范围的聚类灰度与形态特征，判断其缺陷类型和合格标准。本发明基于缺陷或损伤图像，采用深度学习方法，构建缺陷或损伤数据库，搭建并生成目标识别模型，并对缺陷和损伤进行定位，通过超参数优化，后去准确率提高缺陷或损伤识别模型。
Description
技术领域
本发明涉及产品缺陷识别领域，具体涉及一种缺陷识别方法。
背景技术
在工业生产中，缺陷检测识别领域，包括目测咬边、焊瘤、塌陷、气孔、夹渣、未焊透等表面和内部缺陷。目前常规的无损检测方法包括射线检测法，涡流检测法、渗透检测法，超声波检测法和磁粉检测法等。工业成像检测技术可以应用在石油管道缺陷、焊接缺陷。
目前工业成像缺陷检测技术尽管可以得到准确的缺陷图像，但时效性差，胶片无法重复利用，成本高昂。数字化实时成像也已经应用在工业缺陷检测场景中。主要包括人工和计算机辅助判别。这些方法的检测结果非常依赖专业检测人员的经验水平，而且部分缺陷没有明确的判别标准，受检测人员的主观意识影响大。实际人工判别过程需要长时间连续观察X射线影像，高强度的工作会引起检测人员的视觉疲劳，导致对缺陷的漏检和误检。计算机辅助方式判别虽然减少人员工作量，但人工交互运行方式仍需要大量人工干预，而且往往针对特定种类缺陷类型，总体识别准确率仍显不足。
发明内容
本发明为克服现有技术不足，提供一种缺陷识别方法。基于缺陷或损伤图像，采用深度学习方法，构建缺陷或损伤数据库，搭建并生成目标识别模型，并对缺陷和损伤进行定位，通过超参数优化，后去准确率提高缺陷或损伤识别模型。
一种缺陷识别方法，包含以下步骤：
S1、建立缺陷数据库；
S2、搭建缺陷目标识别训练模型并训练；
S3、搭建缺陷识别模型并测试，提取目标检测范围的聚类灰度与形态特征，判断其缺陷类型和合格标准。
本发明相比现有技术的有益效果是：
1、本发明解决了目前工业缺陷或损伤检测，人员检测效率低，检测精度主要依靠工作经验的问题；2、本发明提供缺陷或损伤智能探测搭建方法，为缺陷或损伤检测实现快速检测；3、本发明可推广至缺陷或损伤实时检测，利用本发明可以现场发现部件的缺陷类型及位置；4、本发明实现X射线或超声成像缺陷或损伤单目标或多目标智能识别和定位，提高了工业部件检测精度，增加检测效率，有效降低人力成本。
下面结合附图和实施例对本发明的技术方案作进一步地说明：
附图说明
图1为本发明缺陷或损伤识别流程图。
具体实施方式
参见图1所示，一种缺陷识别方法，包含以下步骤：
S1、建立缺陷或损伤数据库；
S2、搭建缺陷或损伤目标识别训练模型并训练；
S3、搭建缺陷或损伤识别模型并测试，提取目标检测范围的聚类灰度与形态特征，判断其缺陷类型和合格标准。
本实施方式的缺陷检测是工业制造必要环节，保证产品的合格率，提高质量的稳定性。可广泛应用在各个工业场景，包括金属制品，焊接应用场景。适用于任何工业中采用X射线，中子成像，声波成像方式下的缺陷探测，物质探伤以及特定物质识别过程。聚类灰度和形态特征主要是根据检测对象来确定，通常，聚类半径为2，像素点差为13，可以标记边界，进行划分，然后可以形态特征分析。如果都是一个范围，就算合格。
本实施方式通过采用工业相片预处理，通过降噪和特征提取等方式进行图像增强，标记缺陷或损伤类型位置，对已获取有限的数据集进行扩充，构成有缺陷和无权限的数据集。
具体步骤如图1所示：
包含：S11、图像预处理；S12、对预处理的数据集标记缺陷或损伤类型位置；S13、对已标记获取的数据集扩充；S14、扩充的数据集构建。
进一步，上述图像预处理可通过如下方式实现：S11-1、图像统一及参数化；S11-2、缺陷或损伤图像去噪处理；S11-3、缺陷或损伤特征提取，获得预处理后的数据集。采用图像统一及参数化，图像增强处理以及缺陷(或损伤)特征提取完成工业缺陷及损伤检测到图像数字化的处理。如此设计，降低工业缺陷的噪点，对凸显检测区域，增加图像对比度。
更进一步，图像统一及参数化过程是先对图像进行归一化，然后进行数值化处理，步骤S11-2中采用平滑滤波和锐化滤波对缺陷或损伤图去噪处理。直接获取工业缺陷或损伤原始文件无法满足检测要求，需要对图像进行处理，因此，需要数值化。初始图像大部分是单纯黑色，先对其进行归一化，可以显示检测区域与背景区域的区别。
采用平滑滤波和锐化滤波处理方式对缺陷或损伤图像去噪处理。以射线检测为例，射线成像系统环境的光电干扰会产生多种噪声，主要来源包括射线源，底片不均匀颗粒，扫描仪电子噪声，数字化系统以及射线散射等。这些噪声会覆盖或淹没缺陷及损伤，容易造成误检。就拿石油管道焊缝图像的噪音，噪音类型主要是椒盐噪声、零均值高斯白噪声以及近似泊松分布噪声，可以采用小波滤波进行滤波。
通过关键信息特征提取可以获取检测区域的提取。以焊缝缺陷为例，其焊缝缺陷类型包括裂纹、气孔、夹渣和未焊透等缺陷类型。裂纹是焊接接头内的焊缝金属在结晶过程中后冷却后产生的缝隙。裂纹显示出来的形状为不规则白色线条，可以分为横向或纵向裂纹，气孔是熔池内凝固未能溢出的气泡残留形成的空穴。其显示可以为单个气孔，链状气孔和密集气孔。夹渣是残留在焊缝内的熔渣，可以分为条状和球状夹渣，未焊透是接头根部未完全熔透的现象。传统特征提取方法通过最大类间方差法定义阈值，然后采用阈值分割法进行分割，对于不连续像素灰度采用边缘检测方法，如Prewitt算子，Canny算子，高斯算子等，获得边界信息，提取检测区域。
本发明步骤S11-3的特征提取是先搭建空间变换网络，将数字局部放大，并自动旋转并修正，采用空间变换网络与卷积神经网络组合实现区域划分，获取缺陷区域或损伤区域，形成预处理之后的数据集。具体是采用空间变换网络(spatial transform)模型进行划分，先搭建空间变换网络(spatial transform网络)，将数字局部放大，并自动旋转并修正。采用Spatial Transform元件与卷积神经网络(CNN)网络进行组合实现区域划分。最后形成预处理之后的数据集。采用spatial transform方法将缺陷或损伤区域进行提取，具备对任意大小缺陷或损伤。利用建立的深度学习模型针对实际缺陷进行测试及应用。
步骤S12中利用批量标记工具对数据进行逐一标记，建立含有缺陷或损伤图像特征识别和定位功能的数据集。缺陷或损伤的标记是数据集建立比不可少的一步。常用的标记工具有Labelme，labelImg，Yolo_mark，Vatic，Sloth等。本发明针对多种缺陷或损伤进行检测并定位，因此在定位过程中需要确定缺陷类型以及图像框体位置。需要注意的是，标注需要给定最小像素要求，标记范围过小，则不适用于后面步骤的训练。
在深度学习模型的训练过程中，数据扩充(Data Augmentation)通常都会被使用。其中，步骤S13中采用随机缩放、裁剪、翻转和镜像方式进行数据集扩充，将xml文件转化为CSV或EXCLE文件，分类号转为1，2，3，4，…，n；
利用搭建缺陷或损伤识别模型，针对缺陷或损伤的类型，并出现的位置，属于多目标识别及定位问题。该步骤如图1所示，包含：S21、搭建缺陷或损伤目标识别模型；S22、划分并提取训练数据集；S23、训练缺陷或损伤目标识别模型；S24、识别模型评估；S25、模型超参数优化。
步骤S21中搭建识别模型是构建SSD的深度神经网络框架，采用深度神经网络(如VGG深度神经网络)的前五层，在额外多加六层结构，然后提取其中经过卷积后的结果，进行网格搜索，找到目标特征；网络模型可为ResNet，VGG，MobileNet或Alexnet网络模型。利用多尺寸feature map检测不同尺度目标检测，搭建深度神经网络，利用NMS非极大值抑制，提高缺陷和损伤检测泛化能力，提升识别模型训练效率和精度。
训练模型的损失函数如下定义：
通过上述过程，重新定义图片大小进行输入，将SSD模型进行训练。
基于上述内容，步骤S3中搭建缺陷或损伤识别模型包含：S31、实时或在线获取缺陷；
S32、搭建标记工具；S33、输出标记后的图像。
本发明已以较佳实施案例揭示如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可以利用上述揭示的结构及技术内容做出些许的更动或修饰为等同变化的等效实施案例，均仍属本发明技术方案范围。
Claims (10)
1.一种缺陷识别方法，其特征在于：包含以下步骤：
S1、建立缺陷数据库；
S2、搭建缺陷目标识别训练模型并训练；
S3、搭建缺陷识别模型并测试，提取目标检测范围的聚类灰度与形态特征，判断其缺陷类型和合格标准。
2.根据权利要求1所述一种缺陷识别方法，其特征在于：步骤S1中数据库的建立包含：
S11、图像预处理；
S12、对预处理的数据集标记缺陷或损伤类型位置；
S13、对已标记获取的数据集扩充；
S14、扩充的数据集构建。
3.根据权利要求2所述一种缺陷识别方法，其特征在于：步骤S11中图像预处理包含：
S11-1、图像统一及参数化；
S11-2、缺陷或图像去噪处理；
S11-3、缺陷特征提取，获得预处理后的数据集。
4.根据权利要求1或3所述一种缺陷识别方法，其特征在于：步骤S2中搭建缺陷或损伤目标识别训练模型包含：
S21、搭建缺陷或损伤目标识别模型；
S22、划分并提取训练数据集；
S23、训练缺陷或损伤目标识别模型；
S24、识别模型评估；
S25、模型超参数优化。
5.根据权利要求3所述一种缺陷识别方法，其特征在于：图像统一及参数化过程是先对图像进行归一化，然后进行数值化处理，步骤S11-2中采用平滑滤波和锐化滤波对缺陷或损伤图去噪处理。
6.根据权利要求5所述一种缺陷识别方法，其特征在于：步骤S11-3的特征提取是先搭建空间变换网络，将数字局部放大，并自动旋转并修正，采用空间变换网络与卷积神经网络组合实现区域划分，获取缺陷区域或损伤区域，形成预处理之后的数据集。
7.根据权利要求1或6所述一种缺陷识别方法，其特征在于：步骤S12中利用批量标记工具对数据进行逐一标记，建立含有缺陷或损伤图像特征识别和定位功能的数据集。
8.根据权利要求7所述一种缺陷识别方法，其特征在于：步骤S13中采用随机缩放、裁剪、翻转和镜像方式进行数据集扩充，将xml文件转化为CSV或EXCLE文件，分类号转为1，2，3，4，…，n。
9.根据权利要求8所述一种缺陷识别方法，其特征在于：步骤S21中搭建识别模型是构建SSD的深度神经网络框架，采用深度神经网络的前五层，在额外多加六层结构，然后提取其中经过卷积后的结果，进行网格搜索，找到目标特征；
训练模型的损失函数如下定义：
通过上述过程，重新定义图片大小进行输入，将SSD模型进行训练。
10.根据权利要求1或9所述一种缺陷识别方法，其特征在于：步骤S3中搭建缺陷或损伤识别模型包含：
S31、实时或在线获取缺陷；
S32、搭建标记工具；
S33、输出标记后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795443.4A CN113469988A (zh) | 2021-07-14 | 2021-07-14 | 一种缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795443.4A CN113469988A (zh) | 2021-07-14 | 2021-07-14 | 一种缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469988A true CN113469988A (zh) | 2021-10-01 |
Family
ID=77880222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795443.4A Withdrawn CN113469988A (zh) | 2021-07-14 | 2021-07-14 | 一种缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469988A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197538A (zh) * | 2023-08-16 | 2023-12-08 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
-
2021
- 2021-07-14 CN CN202110795443.4A patent/CN113469988A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197538A (zh) * | 2023-08-16 | 2023-12-08 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
| CN117197538B (zh) * | 2023-08-16 | 2024-05-14 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shah et al. | Butt welding joints recognition and location identification by using local thresholding | |
| CN109816652B (zh) | 一种基于灰度显著性的复杂铸件缺陷识别方法 | |
| CN111982916A (zh) | 一种基于机器视觉的焊缝表面缺陷检测方法及系统 | |
| CN110751604A (zh) | 一种基于机器视觉的钢管焊缝缺陷在线检测方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统 | |
| CN110009633B (zh) | 一种基于反向高斯差分的钢轨表面缺陷检测方法 | |
| CN106651893A (zh) | 一种基于边缘检测的墙体裂缝识别方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN115035092A (zh) | 基于图像的瓶体检测方法、装置、设备及存储介质 | |
| CN111524154B (zh) | 一种基于影像的隧道管片自动化分割方法 | |
| CN111539927A (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法 | |
| CN113781458A (zh) | 一种基于人工智能的识别方法 | |
| CN114581805A (zh) | 一种采用3d线激光轮廓技术的涂敷辊面缺陷检测方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
| CN116228652A (zh) | 一种基于三维点云曲率的管道焊缝表面缺陷检测方法 | |
| CN109767426B (zh) | 一种基于图像特征识别的盾构隧道渗漏水检测方法 | |
| CN113947583B (zh) | 基于深度学习二维时间序列图像的焊缝无损检测方法 | |
| CN113469988A (zh) | 一种缺陷识别方法 | |
| Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
| CN111833350B (zh) | 机器视觉检测方法与系统 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
| CN114663882B (zh) | 基于深度学习的电动汽车底盘划痕三维检测方法 | |
| CN116381053A (zh) | 一种用于金属材料焊接的超声波检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211001 |