CN113591923A - 基于图像特征提取与模板匹配的发动机摇臂零件分类方法 - Google Patents

基于图像特征提取与模板匹配的发动机摇臂零件分类方法 Download PDF

Info

Publication number
CN113591923A
CN113591923A CN202110746051.9A CN202110746051A CN113591923A CN 113591923 A CN113591923 A CN 113591923A CN 202110746051 A CN202110746051 A CN 202110746051A CN 113591923 A CN113591923 A CN 113591923A
Authority
CN
China
Prior art keywords
circular
holes
rocker arm
parts
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110746051.9A
Other languages
English (en)
Inventor
黄玉波
陆小龙
刘晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110746051.9A priority Critical patent/CN113591923A/zh
Publication of CN113591923A publication Critical patent/CN113591923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像特征提取与模板匹配的发动机摇臂零件分类方法，在实时采集生产线上六类摇臂零件图像后，对零件的圆形通孔及圆环形结构个数及位置特征进行提取并依此实现分类：应用两种自适应阈值分割算法与Deriche边缘检测算法相结合对图像特征区域进行分割，选取合适的灵敏度参数对圆形通孔及圆环形特征进行筛选，根据各类零件上圆形通孔的相对位置构建特征模板与待分类零件进行匹配，结合圆环形特征的不同数目实现摇臂零件的分类。本方法适用于基于机器视觉的发动机摇臂零件在线分拣系统，可实现六类摇臂零件准确可靠的识别与分类。

Description

基于图像特征提取与模板匹配的发动机摇臂零件分类方法
技术领域
本发明涉及一种基于图像特征提取与模板匹配的汽车发动机摇臂零件分类方法，属于机器视觉检测中的图像分析与处理技术。
背景技术
近年来，得益于国内汽车产销量、保有量不断增加和相应的产业政策扶持，汽车产业得以飞速发展，而作为汽车产业重要组成部分的配套产业——汽车配件行业也取得了长足的发展。对汽车零部件产品需求的不断增长使得整个行业对产品质量及生产自动化程度的要求不断提高。然而，由于国内汽车零部件企业多以劳动密集型、低附加值产品为主，行业整体研发投入强度较低，零部件生产中的重要环节——分拣环节仍主要依赖于人工操作，其劳动强度大，生产效率低，且分拣结果受工人主观因素影响较大。
机器视觉技术是一种非接触式的无损检测方法，模拟人眼的视觉功能，从图像或图像序列中提取信息，进行处理并加以理解，最终用于检测、测量和控制。其快速性、精确性、灵活性及智能化等特性使其在现代工业生产线上的应用越来越广泛。
摇臂零件是汽车发动机的重要组成部分，关系到汽车发动机能否安全合理地运行。摇臂零件通常采用铝合金压铸而成，辅以车削、铣削工艺完成平面和通孔加工。摇臂零件经自动化生产线加工完毕后，需要进行超声清洗，而对清洗后的混杂零件进行分拣装箱是工艺流程的最后一道工序。由于待分拣的零件有六类之多，形状及结构较为复杂，部分类型之间的差异非常细小，且重量近似，因此类型识别及分拣具有一定的难度。传统的人工分拣方式极大地制约了分拣效率和准确率，错误的分拣将对生产企业的信誉造成不良影响。为此，在生产线上搭建机器视觉系统，对待分拣的摇臂零件进行图像采集，进而根据零件的结构特点采用合适的图像处理算法对零件的类型进行识别与分类，辅以自动控制技术，即可实现汽车发动机摇臂零件的在线智能分拣。其中，根据各类型零件的结构特点对零件图像的结构特征进行提取和识别的分类算法是此智能分拣系统中的关键组成部分，决定着摇臂零件类型识别与分拣的准确性。
发明内容
本发明的目的在于提供一种基于图像特征提取与模板匹配的发动机摇臂零件分类方法，对六类发动机摇臂零件的实时采集图像上的圆形通孔及圆环形结构个数及位置特征进行提取，构建特征模板并与待分拣零件进行匹配，从而实现零件识别与分类。
本发明应用于基于机器视觉的摇臂零件在线分拣的图像处理过程中。在得到待分拣零件的实时采集图像后，首先对零件的灰度图进行二值化分割及形态学操作以提取零件特征区域，并通过边缘检测算法提取特征区域的边缘，然后应用合适的灵敏度参数对零件上的圆形通孔及圆环形特征进行筛选，得到特征的个数及相对位置，与预先构建的各类零件特征模板进行匹配，由此实现六类摇臂零件的识别与分类。
由于某些类型的摇臂零件纵向高度超出相机景深范围，零件表面的光强分布以及清晰度均存在差异，因此本技术中需采用自适应阈值分割算法来实现零件灰度图的二值化分割。实现本技术中图像二值化分割的算法有以下两种：
1.基于均值与标准差的局部阈值分割算法：此方法通过设置适当大小的窗口邻域，再由公式（1）计算出此邻域的局部阈值
Figure DEST_PATH_IMAGE001
：
Figure DEST_PATH_IMAGE002
(1)
其中，
Figure DEST_PATH_IMAGE003
为窗口区域的均值，
Figure DEST_PATH_IMAGE004
为相应的标准差，参数
Figure DEST_PATH_IMAGE005
设定为标准差的最大值，
Figure DEST_PATH_IMAGE006
为控制参数，决定着阈值
Figure 859066DEST_PATH_IMAGE001
与均值
Figure 776207DEST_PATH_IMAGE003
的差别。如果点
Figure DEST_PATH_IMAGE007
处的邻域对比度较高，则标准差
Figure 555944DEST_PATH_IMAGE004
与参数
Figure 951153DEST_PATH_IMAGE005
值相近，于是产生与局部均值
Figure 296684DEST_PATH_IMAGE003
相近的阈值
Figure 119146DEST_PATH_IMAGE001
；而如果邻域的对比度较低，则阈值显著低于局部均值。本技术中应用此方法从暗色背景分割亮色目标，通过设置窗口邻域的大小以及调整标准差最大值
Figure 386180DEST_PATH_IMAGE005
和控制参数
Figure 585080DEST_PATH_IMAGE006
的大小可以控制分割算法的灵敏度。
2. 动态局部阈值分割算法：此方法在对原始图像进行平滑滤波的基础上进行分割。首先应用合适尺度的低通滤波器对图像进行平滑滤波，将此结果图像作为门限图像；然后设置一个适当的偏移量Offset来判断原图像中满足阈值条件的区域。此算法可以根据应用的需要分割出不同的灰度区域,亮区域及暗区域目标的分割分别满足式（2）和式（3）的条件：
Figure DEST_PATH_IMAGE008
(2)
Figure DEST_PATH_IMAGE009
(3)
其中，
Figure DEST_PATH_IMAGE010
为原始图像中的像素灰度值，
Figure DEST_PATH_IMAGE011
为平滑后的门限图像中的像素灰度值。此方法通过调整低通滤波器模板的尺度及偏移量Offset的大小来控制分割算法的灵敏度。
本发明采用Deriche算法实现零件特征的边缘检测，结合圆形拟合，以弥补当零件拍摄角度变化时由于遮挡而使得二值化分割算法对圆形通孔及圆环形特征提取的不足。不同于一般边缘检测算法中采用卷积运算实现滤波过程，此算法采用递归计算进行滤波，大大提高了运算速度。此方法提出的最优边缘检测算子只需要调整一个参数即可控制定位精度和信噪比，可根据应用的需要实现定位精度和信噪比较完美的平衡。
本发明在应用二值化分割算法提取了零件的特征区域后，对各个连通区域进行填充以获得块状区域，再对各区域进行面积及圆度的判定即可提取出特定大小的圆形特征。首先，通过对区域面积的限定，可以去除面积过大及过小的区域；然后，通过如式（4）及式（5）所示的公式对各区域进行计算：
Figure DEST_PATH_IMAGE012
(4)
Figure DEST_PATH_IMAGE013
(5)
其中，F是连通区域的面积，以区域的像素总数来计；
Figure DEST_PATH_IMAGE014
是从中心点到区域中所有点距离的最大值；
Figure DEST_PATH_IMAGE015
是区域的形状因子，表征与圆形的相似程度。设定合适的圆形相似度，即可将圆形通孔及圆环形特征筛选出来。
本发明根据各类零件上垂直圆形通孔相对位置的不尽相同，在提取出图像中的垂直圆形通孔后，将各圆孔的圆心用直线相连，应用所构成的多边形作为特征模板来对零件进行类型匹配。模板匹配过程用图像金字塔来实现由粗到精的匹配，采用金字塔搜索策略来提高匹配速度。在进行模板匹配的过程中，鉴于每次零件被摆放到传送带时的位置及朝向不一致，为了仍能跟本类型的模板特征相匹配，需要在匹配时将特征模板进行包含平移和旋转的空间变换。由于此处只涉及图像在二维平面内的平移和旋转，因此只需进行二维仿射变换，变换公式如下：
Figure DEST_PATH_IMAGE016
(6)
其中，
Figure 909751DEST_PATH_IMAGE007
和
Figure DEST_PATH_IMAGE017
分别为变换前和变换后的坐标，
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
为平移量，
Figure DEST_PATH_IMAGE020
为旋转角度，
Figure DEST_PATH_IMAGE021
为缩放尺度，此处
Figure DEST_PATH_IMAGE022
。在模板匹配的过程中，模板的特征模板按照一定步长进行多次仿射变换与待识别零件图像的特征相匹配，从而判断出待识别零件的类型。
本发明基于图像特征提取与模板匹配的发动机摇臂零件分类方法，其特点主要体现在：
1.根据图像对比度以及要分割区域的灰度分布特征，可以选择两种不同的自适应局部阈值分割算法对零件图像进行分割：基于均值与标准差的局部阈值分割算法对对比度不高的边界区域很敏感，而动态局部阈值分割算法对光照不均且面积较大的特征区域具有很好的分割效果；
2. 当拍摄角度变化使得零件上个别圆环形结构被遮挡时，应用边缘检测算法可以获取圆环形特征的部分边缘后进行拟合从而获得完整的结构特征；
3. 在不同的步骤可以根据需要选取不同的圆形相似度灵活地对圆形通孔及圆环形结构进行筛选；
4. 利用垂直圆形通孔在零件上的相对位置构建多边形模板特征，对不同类型的零件进行匹配以实现识别与分类，对特征模板加入平移和旋转特性，即使零件在视场中的位置和姿态发生变化，仍然能够得到正确的匹配结果。
附图说明
附图1是待分类的六类发动机摇臂零件图像；
附图2是摇臂零件类型识别与分类流程图；
附图3是六类零件圆形通孔提取结果；
附图4是除类型Ⅳ之外各类零件的特征模板；
附图5是零件类型Ⅲ/Ⅴ/Ⅵ圆环形特征填充后的提取结果。
在上述附图中，各图示标号所标识的对象为：1-圆形通孔；2-圆环形结构。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。反映六类零件识别与分类主要步骤的流程图如附图2所示。
本发明所要分类的六类摇臂零件如附图1所示，各类零件上加工有直径相对较小的圆形通孔结构（包括各类零件均有的垂直圆形通孔和类型Ⅲ/Ⅴ/Ⅵ特有的斜向圆形通孔）和外径相对较大的圆环形结构。
步骤1：读取待分类的零件图像，转换为灰度图像。应用基于均值与标准差的局部阈值分割算法或动态局部阈值分割算法，选取适当的参数，对零件图像进行二值化分割，获得基于灰度分布的零件特征区域，并根据圆形通孔的面积范围结合较小的圆形相似度对连通域进行筛选以提取圆形通孔特征；
步骤2：鉴于类型Ⅲ/Ⅴ/Ⅵ的斜向圆形通孔灰度分布不均匀，应用Deriche边缘检测算法提取边缘，对可能是圆形结构边缘的圆弧线进行圆形区域拟合，根据圆形通孔的面积范围筛选出圆形通孔特征；
步骤3：对步骤1与步骤2中提取的圆形通孔特征区域进行合并，获得所有可能的圆形通孔特征；
步骤4：对步骤3中得到的圆形通孔特征进行计数和判断（如附图3所示），如果数目不为4，则此待分类零件为类型Ⅳ，如果数目为4，进入下一步；
步骤5：对步骤1中的二值化分割结果进行连通域填充，根据圆形通孔的面积范围结合较大的圆形相似度进行筛选，得到垂直圆形通孔特征，再以个圆孔的圆心为顶点构建多边形特征模板（如附图4所示），与预先存入的零件类型Ⅰ、类型Ⅱ、类型Ⅲ/Ⅴ/Ⅵ三类特征模板进行匹配，若此待分类零件不为类型Ⅰ或Ⅱ，进入下一步；
步骤6：对步骤5中填充后的连通域根据填充后的圆环形结构面积范围进行筛选，并对步骤2中拟合的圆形区域根据填充后的圆环形结构面积范围进行筛选，两者合并获得所有可能的圆环形结构填充后的区域，对此区域进行计数和判断（如附图5所示），若数目为1，则此待分类零件为类型Ⅲ，若数目为4，则此待分类零件为类型Ⅴ，若数目为3，则此待分类零件为类型Ⅵ。

Claims (5)

1.一种基于图像特征提取与模板匹配的发动机摇臂零件分类方法，其特征在于：应用自适应阈值分割算法与边缘检测算法相结合对图像特征区域进行分割后，选取合适的灵敏度参数对圆形通孔及圆环形特征进行筛选，并根据各类零件上圆形通孔的相对位置构建特征模板与零件进行匹配，结合圆环形特征的不同数目实现六类摇臂零件的分类。
2.根据权利要求1所述的基于图像特征提取与模板匹配的发动机摇臂零件分类方法的分类流程，其特征在于：先提取圆形通孔并根据其数量判断是否为类型Ⅳ，再根据零件上垂直圆形通孔的位置构建多边形特征模板，由此判断是否为类型Ⅰ或类型Ⅱ，最后提取圆环形特征并根据其个数判断零件为类型Ⅲ、类型Ⅴ或类型Ⅵ。
3.根据权利要求1所述的基于图像特征提取与模板匹配的发动机摇臂零件分类方法中的零件特征区域分割方法，其特征在于：可以选取基于均值与标准差的局部阈值分割算法或动态局部阈值分割算法来实现图像二值化分割，为了应对某些拍摄角度可能造成的圆环形结构被部分遮挡的情况，应用Deriche边缘检测算法获取部分圆环边缘再拟合成圆形区域。
4.根据权利要求1所述的基于图像特征提取与模板匹配的发动机摇臂零件分类方法中的圆形特征筛选方法，其特征在于：根据需要选取合适的圆形相似度对圆形通孔特征进行灵活的筛选，即当提取所有圆形通孔特征时，将圆形相似度设置为较低的数值，以提取到所有斜向圆形通孔，而当构建多边形特征模板时，将圆形相似度设置为较高的数值，只提取垂直圆形通孔并根据其圆心位置构建多边形特征模板。
5.根据权利要求1所述的基于图像特征提取与模板匹配的发动机摇臂零件分类方法中的多边形模板构建方法，其特征在于：在提取了所有垂直圆形通孔特征后，将各圆孔的圆心相连接构成多边形，以此作为模板对待分类零件进行模板匹配。
CN202110746051.9A 2021-07-01 2021-07-01 基于图像特征提取与模板匹配的发动机摇臂零件分类方法 Pending CN113591923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746051.9A CN113591923A (zh) 2021-07-01 2021-07-01 基于图像特征提取与模板匹配的发动机摇臂零件分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746051.9A CN113591923A (zh) 2021-07-01 2021-07-01 基于图像特征提取与模板匹配的发动机摇臂零件分类方法

Publications (1)

Publication Number Publication Date
CN113591923A true CN113591923A (zh) 2021-11-02

Family

ID=78245401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746051.9A Pending CN113591923A (zh) 2021-07-01 2021-07-01 基于图像特征提取与模板匹配的发动机摇臂零件分类方法

Country Status (1)

Country Link
CN (1) CN113591923A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463752A (zh) * 2022-01-20 2022-05-10 湖南视比特机器人有限公司 基于视觉的喷码定位方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123542A (zh) * 2014-07-18 2014-10-29 大连理工大学 一种轮毂工件定位的装置及其方法
CN105930854A (zh) * 2016-04-19 2016-09-07 东华大学 一种机械臂视觉系统
CN106204655A (zh) * 2016-07-14 2016-12-07 珠江水利委员会珠江水利科学研究院 基于粒子群构建模式的表面流速计算方法
CN109604187A (zh) * 2018-11-29 2019-04-12 芜湖常瑞汽车部件有限公司 一种基于计算机视觉技术的零件自动分拣系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123542A (zh) * 2014-07-18 2014-10-29 大连理工大学 一种轮毂工件定位的装置及其方法
CN105930854A (zh) * 2016-04-19 2016-09-07 东华大学 一种机械臂视觉系统
CN106204655A (zh) * 2016-07-14 2016-12-07 珠江水利委员会珠江水利科学研究院 基于粒子群构建模式的表面流速计算方法
CN109604187A (zh) * 2018-11-29 2019-04-12 芜湖常瑞汽车部件有限公司 一种基于计算机视觉技术的零件自动分拣系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FU-CHENG YOU等: "A Mechanical Part Sorting System Based on Computer Vision" *
叶阳阳: "交通标志检测和识别算法研究" *
司小婷: "基于视觉的零件特征识别与分类方法研究与实现" *
孟然等: "利用模板匹配方法实现工业产品在线分类" *
石志良: "基于SIFT-SVM的发动机主轴承盖识别与分类" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463752A (zh) * 2022-01-20 2022-05-10 湖南视比特机器人有限公司 基于视觉的喷码定位方法和装置

Similar Documents

Publication Publication Date Title
CN114723701B (zh) 基于计算机视觉的齿轮缺陷检测方法和系统
CN105913415B (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN110286124B (zh) 基于机器视觉的耐火砖测量系统
CN105334219B (zh) 一种残差分析动态阈值分割的瓶口缺陷检测方法
CN107610111B (zh) 一种基于深度学习的焊点图像检测方法
CN108648168A (zh) Ic晶圆表面缺陷检测方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN114821114B (zh) 一种基于视觉系统的坡口切割机器人图像处理方法
CN107228860B (zh) 一种基于图像旋转周期特性的齿轮缺陷检测方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN109829876A (zh) 基于机器视觉的链板缺陷在线检测装置及方法
CN108022233A (zh) 一种基于改进型Canny算子的工件边缘提取方法
CN108596880A (zh) 基于图像处理的焊接缺陷特征提取与焊接质量分析方法
CN108491892A (zh) 基于机器视觉的水果分拣系统
CN109001212A (zh) 一种基于机器视觉的不锈钢汤勺缺陷检测方法
CN108319973A (zh) 一种树上柑橘果实检测方法
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN106780526A (zh) 一种铁氧体圆片表面裂痕识别方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN113034474A (zh) 一种oled显示器晶圆图的测试方法
CN115018846A (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN115294159A (zh) 金属紧固件腐蚀区域分割方法
CN111539927A (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211102

WD01 Invention patent application deemed withdrawn after publication