CN116109637A - 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 - Google Patents
基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 Download PDFInfo
- Publication number
- CN116109637A CN116109637A CN202310389201.4A CN202310389201A CN116109637A CN 116109637 A CN116109637 A CN 116109637A CN 202310389201 A CN202310389201 A CN 202310389201A CN 116109637 A CN116109637 A CN 116109637A
- Authority
- CN
- China
- Prior art keywords
- impeller
- impeller blade
- defect detection
- domains
- communicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 230000000877 morphologic effect Effects 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 238000000926 separation method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003801 milling Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/12—Improving ICE efficiencies
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法，通过采集图像，并基于叶轮片边缘的灰度值，对图像进行二值化、轮廓提取，根据单个叶轮片的形态特征，计算连通域的最小外接矩形；对于单个叶轮片，当相连的两个连通域中心点之间的距离大于等于两个连通域最小外接圆直径时，进行连通域的分离操作，并返回重新进行单个叶轮片的判别；当相连的两个连通域中心点之间的距离小于两个连通域最小外接圆直径时，进行连通域的合并操作；最后基于处理好并标注类别的叶轮片图像进行叶轮片缺陷检测训练，得到训练好的模型。从而避免部分单个叶轮片的连通域会被分割成多个不连续的连通域，从而无法被筛选出，最终影响叶轮片缺陷检测的精度。
Description
技术领域
本发明属于视觉图像处理和叶轮图像检测技术领域，具体涉及基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法。
背景技术
随着全球汽车产量的增长和高性能、低能耗发动机需求量的增加，采用涡轮增压器的发动机越来越多，叶轮的生产方式也在发生改变，用铸造方法加工叶轮铝壳体的传统方式逐渐被铣削加工所取代。叶轮整体结构复杂，叶片扭曲大，数控机床加工时极易出现干涉碰撞，会使叶片弯曲对叶轮造成损伤，存在缺陷的叶轮会影响发动机的工作性能，严重时会造成安全事故，因此，涡轮增压器叶轮外观检测是非常重要的一项要求。
目前在涡轮增压器叶轮的生产过程中主要是采用人工目视检测，在光照充足，产品一致性好的情况下，人工目视检测的效果比较好，但对于面积较小，叶轮弯曲程度小的缺陷，肉眼难以直接分辨，需要借助于高分辨率的检测仪器进行观测，针对叶轮缺陷检测速度和精度易受环境和操作工熟练程度的影响而导致人工检测存在效率低、精度低、鲁棒性低的问题，需要设计一种机器视觉检测系统及其方法，来提高叶轮缺陷的检测准确率。
发明内容
为解决现有技术的不足，实现叶轮的高速度、高精度性、高实时性缺陷检测的目的，本发明采用如下的技术方案：
基于视觉的涡轮增压器叶轮外观缺陷检测方法，包括如下步骤：
步骤S1：采集叶轮片图像，并基于叶轮片设置待检测的感兴趣区域作为后续待处理的图像；
步骤S2：基于叶轮片边缘的灰度值，对图像进行二值化，以使区分图中叶轮片和背景的连通域；
步骤S3：对降噪和去噪后的二值化图像进行轮廓提取，根据单个叶轮片的形态特征，计算连通域的最小外接矩形，从而粗略筛选出单个叶轮片的轮廓点集；具体地，根据单个叶轮片的尺寸特征，筛选出单个叶轮片的轮廓点集，所述尺寸特征包括单个叶轮片外接矩形的最小长宽、最大长宽、面积；
步骤S4：由于存在叶轮片表面不完全反光，或者涉及叶轮片的产品一致性不好等因素的影响，导致二值化后图像有部分单个叶轮片的连通域会被分割成多个不连续的连通域，从而无法满足单个叶轮片的形态特征，而不能被筛选出，本发明中，对于单个叶轮片，当相连的两个连通域中心点之间的距离大于等于两个连通域最小外接圆直径时，进行连通域的分离操作，并返回步骤S3重新进行单个叶轮片的判别；当相连的两个连通域中心点之间的距离小于两个连通域最小外接圆直径时，进行连通域的合并操作；
步骤S5：获取处理好的叶轮片图像并进行分类标注，构建叶轮片缺陷检测模型，对叶轮片图像进行缺陷检测，并将预测的缺陷分类与真实的分类标注比较，训练叶轮片缺陷检测模型，最终得到训练好的叶轮片缺陷检测模型，再将经步骤S1至步骤S4处理好的待检测的叶轮片图像，输入训练好的叶轮片缺陷检测模型，进行叶轮外观缺陷检测，得到检测结果。
进一步地，所述步骤S1还包括图像增强处理，对图像进行均衡化和线性增强，以增强图中叶轮片与背景的对比度。
进一步地，所述步骤S2中采用双边滤波，对二值化后的图像进行降噪处理，以去除类似椒盐噪声的较小噪声。
进一步地，所述步骤S2中，根据单个叶轮片的尺寸特征，去除连通域面积小于预设的第一阈值的噪声，以降低误判。
进一步地，所述步骤S4中，合并操作采用形态学开运算，根据背景和叶轮片粘连的区域大小，选取匹配的开运算核；分离操作采用形态学闭运算，基于相连的两个连通域中心点之间的距离与两个连通域最小外接圆直径的比例，选取匹配的闭运算核。
进一步地，所述步骤S4中，形态学开运算，基于背景和叶轮片粘连的区域大小设定第二阈值，第二阈值为带有中心点的基本结构元素，通过基本结构元素遍历叶轮片连通域，并基于中心点对叶轮片连通域进行腐蚀操作，只保留中心点，再遍历中心点并根据中心点进行基于基本结构元素的膨胀操作，最终得到分离后的叶轮片粘连区域。
进一步地，所述图像包括一组叶轮片，通过两个相连叶轮片连通域中心点的距离与单个叶轮片连通域的最小外接矩形，对两个相连叶轮片连通域进行分割操作。
进一步地，通过叶轮片之间的位置关系，得到相邻两个叶轮片连通域的相对位置，根据相对位置计算单个叶轮片的连通域最小外接矩形，基于最小外接矩形，进行单个叶轮片的分离与合并操作及多个叶轮片的分割操作。当一组叶轮片具有固定的位置关系时，例如对整个叶轮图像进行采集和二值化处理，各叶轮片之间的位置关系固定，而在一组叶轮片的连通域合并、分离、分割操作过程中，会因相邻叶轮片过于粘连，导致叶轮片相邻的部分及粘连区域被筛选为一个完整的叶轮片，而基于各叶轮片之间的固定位置，则可以通过其他叶轮片得到这两个相邻叶轮片的相对位置，基于该相对位置，计算相邻叶轮片的连通域外接矩形，从而避免了两个相邻叶轮片的连通域因反光、产品一致性问题使得各自部分连通域并筛选为单个叶轮片。
进一步地，所述步骤S4中，根据单个叶轮片表面中间亮四周暗的成像特点，需要将单个叶轮片进行矫正处理，使得矫正处理过后的图像的匹配效果更好，减少因为角度不同导致的误差，因此，可以提取单个叶轮片的连通域的最小外接矩形，并将其填充成正方形进行归一化处理。
基于视觉的涡轮增压器叶轮外观缺陷检测系统，包括控制模块及分别与控制模块连接的相机、光源、抓取模块和视觉模块；
所述相机和光源配合设置，用于采集涡轮增压器叶轮外观图片；
所述抓取模块，用于抓取涡轮增压器叶轮，并配合对其进行图像采集和缺陷检测后的叶轮分拣；
所述视觉模块，采用所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法训练好的缺陷检测模型，对叶轮进行缺陷检测。
本发明的优势和有益效果在于：
本发明提供了基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法，通过对叶轮片图像进行处理，得到叶轮片和背景的连通域，并基于相连的两个连通域中心点之间的距离与两个连通域最小外接圆直径的关系，进行连通域的分离与合并，以避免叶轮片表面不完全反光，或者涉及叶轮片的产品一致性不好等因素对缺陷检测结果的影响，最终将处理好的叶轮片图像用于叶轮片缺陷检测模型的训练，并将同样基于连通域分离与合并处理后的待检测叶轮片图像输入训练好的叶轮片缺陷检测模型，进行叶轮外观缺陷检测，得到检测结果，从而提高了对于涡轮增压器叶轮缺陷检测的精度和速度。
附图说明
图1是本发明实施例中基于视觉的涡轮增压器叶轮外观缺陷检测的方法流程图。
图1a是本发明实施例中单个叶轮片一侧棱边二值化图。
图1b是本发明实施例中单个叶轮片一侧棱边的轮廓点集图。
图1c是本发明实施例中处理好的单个叶轮片一侧棱边图。
图2是本发明实施例中形态学开运算的原理图。
图3是本发明实施例中基于视觉的涡轮增压器叶轮外观缺陷检测的系统架构图。
图4是本发明实施例中基于视觉的涡轮增压器叶轮外观缺陷检测的装置结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，基于视觉的涡轮增压器叶轮外观缺陷检测的方法，采用工业相机、光源及视觉软件、机械臂及控制软件，自动计数的具体流程如下：工控机电脑启动，系统上电后，启动设备软件并登录，软件启动机器视觉模块等待机械臂将产品移动到位后触发检测信号，启动机械臂，机械臂抓取产品从料筐中移动到指定位置，已经启动的工业相机和光源对物料进行实时拍摄和图像处理，根据相关算法进行缺陷检测，然后数据存储到数据库，根据检测结果，将待检测产品分别放入合格品料筐和不合格品料筐中。其中，机器视觉模块为了解决部分叶轮片表面不反光的问题，对场景进行了补光处理，然后再通过视觉算法进行图像处理。具体方法包括如下步骤：
步骤S1：采集叶轮片图像，并基于叶轮片设置待检测的感兴趣区域作为后续待处理的图像；
本发明实施例中，基于单个叶轮片一侧棱边进行缺陷检测时，采集的叶轮片的图像I，根据采集的图像I设置待检测的感兴趣区域（ROI，region of interest），设置的标准为一个叶轮片的在图像内高度H为基准，检测的感兴趣区域ROI的宽度W和高度H分别为A *W，A表示大于1的比例系数，本发明实施例中A=1.2。
图像增强处理，对图像进行均衡化和线性增强，以增强图中叶轮片与背景的对比度，更好的提取叶轮片特征；
其中g(x,y)表示处理后的图像，f(x,y)表示输入图像，(x,y)表示图像钟像素点的横纵坐标，T代表图像增强运算，x、y表示像素点的坐标位置，本发明实施例中主要采用伽马变换进行图像增强。
步骤S2：基于叶轮片边缘的灰度值，对图像进行二值化，以使区分图中叶轮片和背景的连通域；
对增强后的图像进行二值化处理，根据叶轮片边缘灰度值偏低，进行二值化，使得背景和叶轮片连通域区分开：
其中h表示预设的分割阈值，g2(x,y)表示二值化的图像，255和0表示最高和最低的灰度值，得到的二值化图如图1a所示。
采用双边滤波，对二值化后的图像进行降噪处理，以去除类似椒盐噪声的较小噪声；二值化后的图像存在较多的噪点，类似椒盐噪声，使用双边滤波去除小的噪点：
其中M表示双边滤波运算，g3(x,y)表示降噪后的图像。
根据单个叶轮片的尺寸特征，去除连通域面积小于预设的第一阈值的噪声，以降低误判；本发明实施例中，去除连通域面积小于1000个像素点的噪声；
其中R表示去噪运算，g4(x,y)表示去噪后的图像。
步骤S3：对降噪和去噪后的二值化图像进行轮廓提取，根据单个叶轮片的形态特征，计算连通域的最小外接矩形，从而粗略筛选出单个叶轮片的轮廓点集；
本发明实施例中，对降噪去噪声的二值图g4(x,y)进行轮廓提取。根据单个叶轮片的形态特征，求取连通域的最小外接矩形Min_Rotate，通过设置外接矩形的最小、最大长宽(min_L,min_W,max_L,max_W)、面积(min_Aera,max_Aera)等特点，粗筛选出单个叶轮片的轮廓点集，如图1b所示。
步骤S4：由于存在叶轮片表面不完全反光，或者涉及叶轮片的产品一致性不好等因素的影响，导致二值化后图像g4(x,y)有部分单个叶轮片的连通域会被分割成多个不连续的连通域，从而无法满足步骤3中的设置条件，即单个叶轮片的形态特征，而不能被筛选出，因此需要进行粘合等处理。本发明中，对于单个叶轮片，当相连的两个连通域中心点之间的距离大于等于两个连通域最小外接圆直径时，进行连通域的分离操作，并返回步骤S3重新进行单个叶轮片的判别；当相连的两个连通域中心点之间的距离小于两个连通域最小外接圆直径时，进行连通域的合并操作；最终得到处理好的单个叶轮片的一侧棱边，如图1c所示。
合并操作采用形态学开运算，根据背景和叶轮粘连的区域大小，选取匹配的开运算核；分离操作采用形态学闭运算，基于相连的两个连通域中心点之间的距离与两个连通域最小外接圆直径的比例，选取匹配的闭运算核。
本发明实施例中，粘合等处理主要的处理过程是根据相连的两个连通域中心点之间的距离与两个连通域最小外接圆直径的比例scale，进行针对性处理，如果背景和叶轮粘连的区域大于设定的阈值，需要大的尺寸形态学开运算，反之可以设置小的尺寸核进行开运算，处理的结果进行轮廓提取，重新进行步骤S3中的判断条件；对于两个连通域中心点距离小于最小外接圆直径比例的连通域，进行闭运算：
其中g5(·,K)表示闭运算操作，K表示闭运算核大小，h2表示粘合灰度阈值。
形态学开运算是基于背景和叶轮粘连的区域大小设定第二阈值，第二阈值为带有中心点的基本结构元素，如图2所示，左上角为目标图像；右上角为结构元素，其中O表示原点位置，即结构元素的中心点也是其外接圆圆心；通过基本结构元素遍历叶轮片连通域，此过程中，会出现结构元素内围与叶轮片区域重合的情况出现，基于中心点对叶轮片连通域进行腐蚀操作，只保留中心点，再遍历中心点并根据中心点进行基于基本结构元素的膨胀操作，最终得到分离后的叶轮片粘连区域。
进一步地，当图像包括一组叶轮片，通过两个相连叶轮片连通域中心点的距离与单个叶轮片连通域的最小外接矩形，对两个相连叶轮片连通域进行分割操作。
当一组叶轮片具有固定的位置关系时，例如对整个叶轮图像进行采集和二值化处理，各叶轮片之间的位置关系固定，而在一组叶轮片的连通域合并、分离、分割操作过程中，会因相邻叶轮片过于粘连，导致叶轮片相邻的部分及粘连区域被筛选为一个完整的叶轮片，因此，通过叶轮片之间的位置关系，得到相邻两个叶轮片连通域的相对位置，根据相对位置计算单个叶轮片的连通域最小外接矩形，基于最小外接矩形，进行单个叶轮片的分离与合并操作及多个叶轮片的分割操作。由此可以通过其他叶轮片得到这两个相邻叶轮片的相对位置，基于该相对位置，计算相邻叶轮片的连通域外接矩形，从而避免了两个相邻叶轮片的连通域因反光、产品一致性问题使得各自部分连通域并筛选为单个叶轮片。
根据单个叶轮片表面中间亮四周暗的成像特点，需要将单个叶轮片进行矫正处理，使得矫正处理过后的图像的匹配效果更好，减少因为角度不同导致的误差，因此可以提取单个叶轮片的连通域的最小外接矩形，并将其填充成正方形进行归一化处理。
步骤S5：获取处理好的叶轮片图像并进行分类标注，构建叶轮片缺陷检测模型，对叶轮片图像进行缺陷检测，并将预测的缺陷分类与真实的分类标注比较，训练叶轮片缺陷检测模型，最终得到训练好的叶轮片缺陷检测模型，再将经步骤S1至步骤S4处理好的待检测的叶轮片图像，输入训练好的叶轮片缺陷检测模型，进行叶轮外观缺陷检测，得到检测结果。
本发明实施例中，组建数据集的方式是保存提取出来并归一化处理后的单个叶轮片图像，包含了合格的叶轮片图片和不合格的叶轮片图片。
训练的模型输入尺寸为640*640大小的处理好的已标注叶轮片图像，通过预测叶轮片缺陷，并将预测结果与对应的分类标注，基于损失函数进行比较，在模型内部迭代优化模型参数，直至模型收敛，最终得到满足要求的模型model。将预处理好后的单个叶轮片图像送入图像检测模型model进行判断。
完成单个叶轮片的缺陷检测后，控制机械臂旋转叶轮，将下一个叶轮片旋转至检测区域，对下一个叶轮片图像进行处理，再经图像检测模型model进行判断，最终根据检测结果将叶轮放入到不同的料筐中。
基于视觉的涡轮增压器叶轮外观缺陷检测系统，其架构及运行过程如图3所示，NG（no go）表示不通过，包括控制模块及分别与控制模块连接的相机、光源、抓取模块和视觉模块；
相机和光源配合设置，用于采集涡轮增压器叶轮外观图片；
抓取模块，用于抓取涡轮增压器叶轮，并配合对其进行图像采集和缺陷检测后的叶轮分拣；
视觉模块，采用基于视觉的涡轮增压器叶轮外观缺陷检测方法训练好的缺陷检测模型，对叶轮进行缺陷检测。
本发明的系统及其方法还可以应用于其他类似叶轮采用铣削加工的结构复杂的汽车零部件的检测。
与前述基于视觉的涡轮增压器叶轮外观缺陷检测方法的实施例相对应，本发明还提供了基于视觉的涡轮增压器叶轮外观缺陷检测装置的实施例。
参见图4，本发明实施例提供的基于视觉的涡轮增压器叶轮外观缺陷检测装置，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于视觉的涡轮增压器叶轮外观缺陷检测方法。
本发明基于视觉的涡轮增压器叶轮外观缺陷检测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于视觉的涡轮增压器叶轮外观缺陷检测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于视觉的涡轮增压器叶轮外观缺陷检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于包括如下步骤：
步骤S1：采集叶轮片图像；
步骤S2：基于叶轮片边缘的灰度值，对图像进行二值化，以使区分图中叶轮片和背景的连通域；
步骤S3：对二值化图像进行轮廓提取，根据单个叶轮片的形态特征，计算连通域的最小外接矩形，从而筛选出单个叶轮片的轮廓点集；
步骤S4：对于单个叶轮片，当相连的两个连通域中心点之间的距离大于等于两个连通域最小外接圆直径时，进行连通域的分离操作，并返回步骤S3重新进行单个叶轮片的判别；当相连的两个连通域中心点之间的距离小于两个连通域最小外接圆直径时，进行连通域的合并操作；
步骤S5：获取处理好的叶轮片图像并进行分类标注，构建叶轮片缺陷检测模型，对叶轮片图像进行缺陷检测，并将预测的缺陷分类与真实的分类标注比较，训练叶轮片缺陷检测模型，最终得到训练好的叶轮片缺陷检测模型，再将经步骤S1至步骤S4处理好的待检测的叶轮片图像，输入训练好的叶轮片缺陷检测模型，进行叶轮外观缺陷检测，得到检测结果。
2.根据权利要求1所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述步骤S1还包括图像增强处理，对图像进行均衡化和线性增强，以增强图中叶轮片与背景的对比度。
3.根据权利要求1所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述步骤S2中采用双边滤波，对二值化后的图像进行降噪处理。
4.根据权利要求1所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述步骤S2中，根据单个叶轮片的尺寸特征，去除连通域面积小于预设的第一阈值的噪声。
5.根据权利要求1所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述步骤S4中，合并操作采用形态学开运算，根据背景和叶轮片粘连的区域大小，选取匹配的开运算核；分离操作采用形态学闭运算，基于相连的两个连通域中心点之间的距离与两个连通域最小外接圆直径的比例，选取匹配的闭运算核。
6.根据权利要求5所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述步骤S4中，形态学开运算，基于背景和叶轮片粘连的区域大小设定第二阈值，第二阈值为带有中心点的基本结构元素，通过基本结构元素遍历叶轮片连通域，并基于中心点对叶轮片连通域进行腐蚀操作，只保留中心点，再遍历中心点并根据中心点进行基于基本结构元素的膨胀操作，最终得到分离后的叶轮片粘连区域。
7.根据权利要求5所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述图像包括一组叶轮片，通过两个相连叶轮片连通域中心点的距离与单个叶轮片连通域的最小外接矩形，对两个相连叶轮片连通域进行分割操作。
8.根据权利要求7所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：通过叶轮片之间的位置关系，得到相邻两个叶轮片连通域的相对位置，根据相对位置计算单个叶轮片的连通域最小外接矩形，基于最小外接矩形，进行单个叶轮片的分离与合并操作及多个叶轮片的分割操作。
9.根据权利要求1所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法，其特征在于：所述步骤S4中，提取单个叶轮片的连通域的最小外接矩形，并将其填充成正方形进行归一化处理。
10.基于视觉的涡轮增压器叶轮外观缺陷检测系统，包括控制模块及分别与控制模块连接的相机、光源、抓取模块和视觉模块，其特征在于：
所述相机和光源配合设置，用于采集涡轮增压器叶轮外观图片；
所述抓取模块，用于抓取涡轮增压器叶轮，并配合对其进行图像采集和缺陷检测后的叶轮分拣；
所述视觉模块，采用权利要求1至9任一项所述的基于视觉的涡轮增压器叶轮外观缺陷检测方法训练好的缺陷检测模型，对叶轮进行缺陷检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310389201.4A CN116109637B (zh) | 2023-04-13 | 2023-04-13 | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310389201.4A CN116109637B (zh) | 2023-04-13 | 2023-04-13 | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109637A true CN116109637A (zh) | 2023-05-12 |
| CN116109637B CN116109637B (zh) | 2023-12-26 |
Family
ID=86264121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310389201.4A Active CN116109637B (zh) | 2023-04-13 | 2023-04-13 | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109637B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116542982A (zh) * | 2023-07-07 | 2023-08-04 | 山东中泳电子股份有限公司 | 一种基于机器视觉的出发判断器缺陷检测方法及装置 |
| CN116718598A (zh) * | 2023-06-01 | 2023-09-08 | 鹰普罗斯叶轮（宜兴）有限公司 | 一种基于视觉检测的铝合金叶轮缺陷监测系统 |
| CN116823815A (zh) * | 2023-08-28 | 2023-09-29 | 青岛胶州电缆有限公司 | 一种电缆表面异常智能检测方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090066939A1 (en) * | 2007-09-07 | 2009-03-12 | General Electric Company | Method for automatic identification of defects in turbine engine blades |
| JP2009097922A (ja) * | 2007-10-15 | 2009-05-07 | Daido Steel Co Ltd | 外観検査方法及び外観検査装置 |
| CN109872300A (zh) * | 2018-12-17 | 2019-06-11 | 南京工大数控科技有限公司 | 一种摩擦片外观缺陷的视觉显著性检测方法 |
| CN110879048A (zh) * | 2019-12-10 | 2020-03-13 | 南昌航空大学 | 一种基于标记点检测的桨叶扭转角实时监测方法 |
| CN110930390A (zh) * | 2019-11-22 | 2020-03-27 | 郑州智利信信息技术有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
| CN112036349A (zh) * | 2020-09-05 | 2020-12-04 | 陈洪 | 一种基于遥感影像和人工智能的融雪速率分析方法 |
| CN113298775A (zh) * | 2021-05-21 | 2021-08-24 | 佛山职业技术学院 | 自吸泵双面金属叶轮外观缺陷检测方法、系统和介质 |
| CN113298776A (zh) * | 2021-05-21 | 2021-08-24 | 佛山职业技术学院 | 一种金属闭式水泵叶轮外观缺陷检测方法 |
| CN113496483A (zh) * | 2021-06-22 | 2021-10-12 | 华南理工大学 | 一种基于图像处理的焊缝气孔缺陷检测方法 |
| US20210350521A1 (en) * | 2018-08-03 | 2021-11-11 | Siemens Gamesa Renewable Energy Gmbh & Co. Kg | Method for computer-implemented determination of blade-defects of a wind turbine |
| US20220215522A1 (en) * | 2019-04-30 | 2022-07-07 | Safran | Method for training a system for automatically detecting a defect in a turbomachine blade |
| CN114972397A (zh) * | 2022-06-21 | 2022-08-30 | 湘潭大学 | 一种用于风电叶片复合材料的红外图像缺陷轮廓检测方法 |
| CN115147751A (zh) * | 2022-05-10 | 2022-10-04 | 南京地铁建设有限责任公司 | 一种基于视频图像的车站客流实时计数的方法 |
-
2023
- 2023-04-13 CN CN202310389201.4A patent/CN116109637B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090066939A1 (en) * | 2007-09-07 | 2009-03-12 | General Electric Company | Method for automatic identification of defects in turbine engine blades |
| JP2009097922A (ja) * | 2007-10-15 | 2009-05-07 | Daido Steel Co Ltd | 外観検査方法及び外観検査装置 |
| US20210350521A1 (en) * | 2018-08-03 | 2021-11-11 | Siemens Gamesa Renewable Energy Gmbh & Co. Kg | Method for computer-implemented determination of blade-defects of a wind turbine |
| CN109872300A (zh) * | 2018-12-17 | 2019-06-11 | 南京工大数控科技有限公司 | 一种摩擦片外观缺陷的视觉显著性检测方法 |
| US20220215522A1 (en) * | 2019-04-30 | 2022-07-07 | Safran | Method for training a system for automatically detecting a defect in a turbomachine blade |
| CN110930390A (zh) * | 2019-11-22 | 2020-03-27 | 郑州智利信信息技术有限公司 | 基于半监督深度学习的芯片管脚缺失检测方法 |
| CN110879048A (zh) * | 2019-12-10 | 2020-03-13 | 南昌航空大学 | 一种基于标记点检测的桨叶扭转角实时监测方法 |
| CN112036349A (zh) * | 2020-09-05 | 2020-12-04 | 陈洪 | 一种基于遥感影像和人工智能的融雪速率分析方法 |
| CN113298776A (zh) * | 2021-05-21 | 2021-08-24 | 佛山职业技术学院 | 一种金属闭式水泵叶轮外观缺陷检测方法 |
| CN113298775A (zh) * | 2021-05-21 | 2021-08-24 | 佛山职业技术学院 | 自吸泵双面金属叶轮外观缺陷检测方法、系统和介质 |
| CN113496483A (zh) * | 2021-06-22 | 2021-10-12 | 华南理工大学 | 一种基于图像处理的焊缝气孔缺陷检测方法 |
| CN115147751A (zh) * | 2022-05-10 | 2022-10-04 | 南京地铁建设有限责任公司 | 一种基于视频图像的车站客流实时计数的方法 |
| CN114972397A (zh) * | 2022-06-21 | 2022-08-30 | 湘潭大学 | 一种用于风电叶片复合材料的红外图像缺陷轮廓检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 郑文斌;蔡志山;俞斌;陈炜;赵毅武;: "汽车玻璃黑边区域划痕的视觉检测技术", 福建工程学院学报, no. 01 * |
| 郝勇;温钦华;吴文辉;邱小川;: "轴承防尘盖缺陷机器视觉自动检测方法研究", 测控技术, no. 01 * |
| 魏效玲;崔岳;王晓鹏;: "基于机器视觉的轮齿缺陷检测研究", 煤矿机械, no. 09 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116718598A (zh) * | 2023-06-01 | 2023-09-08 | 鹰普罗斯叶轮（宜兴）有限公司 | 一种基于视觉检测的铝合金叶轮缺陷监测系统 |
| CN116718598B (zh) * | 2023-06-01 | 2023-12-29 | 鹰普罗斯叶轮（宜兴）有限公司 | 一种基于视觉检测的铝合金叶轮缺陷监测系统 |
| CN116542982A (zh) * | 2023-07-07 | 2023-08-04 | 山东中泳电子股份有限公司 | 一种基于机器视觉的出发判断器缺陷检测方法及装置 |
| CN116542982B (zh) * | 2023-07-07 | 2023-09-29 | 山东中泳电子股份有限公司 | 一种基于机器视觉的出发判断器缺陷检测方法及装置 |
| CN116823815A (zh) * | 2023-08-28 | 2023-09-29 | 青岛胶州电缆有限公司 | 一种电缆表面异常智能检测方法 |
| CN116823815B (zh) * | 2023-08-28 | 2023-11-21 | 青岛胶州电缆有限公司 | 一种电缆表面异常智能检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109637B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116109637B (zh) | 基于视觉的涡轮增压器叶轮外观缺陷检测的系统及其方法 | |
| CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN108009472B (zh) | 一种基于卷积神经网络和贝叶斯分类器的指背关节纹识别方法 | |
| CN109584281B (zh) | 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法 | |
| CN106709500B (zh) | 一种图像特征匹配的方法 | |
| US9454817B2 (en) | Relating to image processing | |
| CN105891233A (zh) | 基于机器视觉的镜片表面缺陷智能检测系统及其实现方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN109584215A (zh) | 一种电路板在线视觉检测系统 | |
| CN110415208A (zh) | 一种自适应目标检测方法及其装置、设备、存储介质 | |
| CN114495098B (zh) | 一种基于显微镜图像的盘星藻类细胞统计方法及系统 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN117635590B (zh) | 一种笔记本电脑外壳的缺陷检测方法及装置 | |
| CN111047556A (zh) | 一种带钢表面缺陷检测方法及装置 | |
| CN115661110B (zh) | 一种透明工件识别与定位的方法 | |
| CN111638218A (zh) | 一种涂层表面缺陷的检测方法 | |
| CN117011260A (zh) | 一种芯片外观缺陷自动检测方法、电子设备及存储介质 | |
| CN114067147A (zh) | 一种基于局部形状匹配的舰船目标确认方法 | |
| CN115170501A (zh) | 缺陷检测方法、系统、电子设备及存储介质 | |
| CN115587966A (zh) | 一种在光照不均匀条件下零件有无缺漏的检测方法及系统 | |
| CN114820626A (zh) | 一种汽车前脸零件配置智能检测方法 | |
| CN117522778A (zh) | 一种空心砖瑕疵检测系统 | |
| CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |