CN115131359B - 一种金属加工件表面麻点缺陷检测方法 - Google Patents

一种金属加工件表面麻点缺陷检测方法 Download PDF

Info

Publication number
CN115131359B
CN115131359B CN202211059879.8A CN202211059879A CN115131359B CN 115131359 B CN115131359 B CN 115131359B CN 202211059879 A CN202211059879 A CN 202211059879A CN 115131359 B CN115131359 B CN 115131359B
Authority
CN
China
Prior art keywords
image
value
pixel point
depth
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211059879.8A
Other languages
English (en)
Other versions
CN115131359A (zh
Inventor
杨彩红
曾章荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Hengqiang Mill Roll Co ltd
Original Assignee
Nantong Hengqiang Mill Roll Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Hengqiang Mill Roll Co ltd filed Critical Nantong Hengqiang Mill Roll Co ltd
Priority to CN202211059879.8A priority Critical patent/CN115131359B/zh
Publication of CN115131359A publication Critical patent/CN115131359A/zh
Application granted granted Critical
Publication of CN115131359B publication Critical patent/CN115131359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及材料测试或分析领域，具体涉及一种金属加工件表面麻点缺陷检测方法。该方法包括以下步骤：利用RGBD深度相机对目标金属加工件进行采集，得到目标金属加工件的RGB图像与深度图像，并将目标金属加工件的RGB图像转换为灰度图像；计算灰度图像中各像素点的目标显著性值，根据灰度图像中各像素点的目标显著性值对灰度图像进行增强，得到增强后的灰度图像；根据增强后的灰度图像和所述深度图像判断目标金属加工件表面是否存在麻点缺陷。本发明实现了对目标金属加工件表面是否存在麻点缺陷的自动判断，提高了检测效率。

Description

一种金属加工件表面麻点缺陷检测方法
技术领域
本发明涉及材料测试或分析领域，具体涉及一种金属加工件表面麻点缺陷检测方法。
背景技术
麻点是一种对金属表面质量影响较多的缺陷，表现为金属表面形成凹坑或不平的粗糙面，多连续成片，也有局部点状或呈周期性分布。制造精密标准件时，麻点的检测尤为重要，根据不同精密程度的标准，对麻点检测的标准也不一样。而常见的检验方法是人工检测，人工检测需要消耗大量人力资源，且由于检测过程主要依赖人眼观察，使得检测效率较低。
发明内容
为了解决现有基于人工检测的方式进行金属加工件表面麻点缺陷检测时存在的检测效率较低的问题，本发明的目的在于提供一种金属加工件表面麻点缺陷检测方法。
本发明的一种金属加工件表面麻点缺陷检测方法，包括以下步骤：
利用RGBD深度相机对目标金属加工件进行采集，得到目标金属加工件的RGB图像与深度图像，并将目标金属加工件的RGB图像转换为灰度图像；
计算灰度图像中各像素点的目标显著性值，根据灰度图像中各像素点的目标显著性值对灰度图像进行增强，得到增强后的灰度图像；
根据增强后的灰度图像和所述深度图像判断目标金属加工件表面是否存在麻点缺陷：对增强后的灰度图像进行边缘检测，得到增强后的边缘图像；根据增强后的边缘图像中各闭合边缘对应的轮廓大小、轮廓区域内的平均灰度值和轮廓区域内的平均深度值计算增强后的边缘图像中各闭合边缘对应的轮廓区域的麻点缺陷程度；统计增强后的边缘图像中麻点缺陷程度符合麻点缺陷判定条件的闭合边缘的数量，当所述数量大于设定数量阈值时判定目标金属加工件表面存在麻点缺陷。
进一步的，所述计算灰度图像中各像素点的目标显著性值，包括：
根据深度图像中各像素点的深度信息得到灰度图像中各像素点对应的第一显著性值；
根据FT算法得到灰度图像中各像素点对应的第二显著性值；
将灰度图像转换为梯度图像，根据梯度图像中各像素点的梯度信息得到灰度图像中各像素点对应的第三显著性值；
对灰度图像进行边缘检测得到增强前的边缘图像，根据增强前的边缘图像中各闭合边缘对应的轮廓长度、面积和最小外接矩形信息得到灰度图像中各像素点对应的第四显著性值；
根据灰度图像中各像素点对应的第一显著性值、第二显著性值、第三显著性值和第四显著性值计算各像素点对应的目标显著性值。
进一步的，所述根据深度图像中各像素点的深度信息得到灰度图像中各像素点对应的第一显著性值，包括：
根据深度图像得到对应的深度直方图；
选取深度直方图中出现频次最高的深度值作为深度0值，将深度图像中各像素点的深度值减去该出现频次最高的深度值，得到深度图像中各像素点的相对深度值：
Figure 351053DEST_PATH_IMAGE001
其中，
Figure 601775DEST_PATH_IMAGE002
为深度图像中某像素点的相对深度值，
Figure 331833DEST_PATH_IMAGE003
为该像素点的深度值，
Figure 469554DEST_PATH_IMAGE004
为深度图像对应的深度直方图中出现频次最高的深度值；
基于各像素点的相对深度值得到的对应像素点的显著性值为：
Figure 400601DEST_PATH_IMAGE005
其中，P为深度图像中某像素点的显著性值，记为第一显著性值；X为深度图像中该像素点的相对深度值，
Figure 686088DEST_PATH_IMAGE006
为深度图像中各像素点的相对深度值的最大值。
进一步的，所述根据梯度图像中各像素点的梯度信息得到灰度图像中各像素点对应的第三显著性值，包括：
利用如下公式计算灰度图像中各像素点的第三显著性值：
Figure 157521DEST_PATH_IMAGE007
其中，
Figure 867857DEST_PATH_IMAGE008
为灰度图像中某像素点的第三显著性值，
Figure 704226DEST_PATH_IMAGE009
为灰度图像对应的梯度图像中该像素点的梯度值，
Figure 975545DEST_PATH_IMAGE010
为梯度方向差异性指标，
Figure 250669DEST_PATH_IMAGE011
，
Figure 549932DEST_PATH_IMAGE012
为灰度图像对应的梯度图像中该像素点的梯度方向与周围8邻域像素点梯度方向的差值平均值；σ为灰度图像对应的梯度图像中该像素点的方向纹理差异指标；
所述方向纹理差异指标σ的计算过程如下：
比较灰度图像对应的梯度图像中该像素点与周围8邻域像素点梯度方向的差值，得到灰度图像对应的梯度图像中该像素点的LBP二进制模式，其中，若与某邻域像素点对应的大于设定阈值，则将该邻域像素点对应的LBP值记为1，否则记为0；
将灰度图像对应的梯度图像中该像素点LBP二进制模式进行标准化，得到标准模式下的LBP值，并利用如下公式计算得到灰度图像对应的梯度图像中该像素点的方向纹理差异
Figure 681836DEST_PATH_IMAGE013
：
Figure 145178DEST_PATH_IMAGE014
其中，
Figure 630517DEST_PATH_IMAGE015
为根据LBP旋转不变性得到的排序中第k个邻近像素点对应的LBP值。
进一步的，所述根据边缘图像中各闭合边缘对应的长度、面积和最小外接矩形信息得到灰度图像中各像素点对应的第四显著性值，包括：
利用如下公式计算各闭合边缘对应的轮廓内各像素点对应的第四显著性值；
Figure 925232DEST_PATH_IMAGE016
其中，W为某闭合曲线对应的轮廓内的像素点的第四显著性值，
Figure 165721DEST_PATH_IMAGE017
为该闭合曲线对应的轮廓的长度，m为该闭合曲线对应的轮廓面积，M为该闭合曲线对应的轮廓的最小外接矩形的面积，i为该闭合曲线对应的轮廓的最小外接矩形的宽，j为该闭合曲线对应的轮廓的最小外接矩形的长。
进一步的，所述根据灰度图像中各像素点对应的第一显著性值、第二显著性值、第三显著性值和第四显著性值计算各像素点对应的目标显著性值，包括：
利用如下公式计算得到灰度图像上各像素点的目标显著性：
Figure 303310DEST_PATH_IMAGE018
其中，H为灰度图像中某像素点对应的目标显著性值，
Figure 716974DEST_PATH_IMAGE019
为灰度图像中该像素点的第一显著性值，
Figure 803878DEST_PATH_IMAGE020
为灰度图像中该像素点的第二显著性值，
Figure 418531DEST_PATH_IMAGE021
为灰度图像中该像素点的第三显著性值，
Figure 590886DEST_PATH_IMAGE022
为灰度图像中该像素点的第四显著性值，
Figure 808241DEST_PATH_IMAGE023
、
Figure 936603DEST_PATH_IMAGE024
、
Figure 518894DEST_PATH_IMAGE025
、
Figure 240862DEST_PATH_IMAGE026
分别为第一显著性值、第二显著性值、第三显著性值和第四显著性值对应的权值。
进一步的，所述根据各像素点对应的目标显著性值对灰度图像进行增强，包括：
利用如下公式计算灰度图像中各像素点增强后的灰度值：
Figure 871695DEST_PATH_IMAGE027
其中，g为灰度图像中某像素点的灰度值，G为增强后的灰度图像中该像素点的灰度值，z为显著性阈值。
进一步的，所述根据增强后的边缘图像中各闭合边缘对应的轮廓大小、轮廓区域内的平均灰度值和轮廓区域内的平均深度值计算增强后的边缘图像中各闭合边缘对应的轮廓区域的麻点缺陷程度，包括：
利用如下公式计算增强后的边缘图像中各闭合边缘对应的轮廓区域的麻点缺陷程度：
Figure 933191DEST_PATH_IMAGE028
其中，P为增强后的边缘图像中的某闭合边缘对应的轮廓区域的麻点缺陷程度，
Figure 14280DEST_PATH_IMAGE029
为增强后的边缘图像中的该闭合边缘对应的轮廓区域内的平均灰度值，
Figure 161228DEST_PATH_IMAGE030
为增强后的边缘图像中的该闭合边缘对应的轮廓的长度，
Figure 579439DEST_PATH_IMAGE031
为增强后的边缘图像中的该闭合边缘对应的轮廓区域内的平均深度值，exp为以e为底的指数函数。
进一步的，所述麻点缺陷判定条件为计算得到的麻点缺陷程度小于缺陷程度阈值。
有益效果：本发明获取了目标金属加工件对应的灰度图像和深度图像，根据麻点缺陷在图像中的特点实现了对目标金属加工件表面是否存在麻点缺陷的判断，属于一种自动判断方法，相较于人工检测方式的检测效率较高，解决了现有基于人工检测的方式进行金属加工件表面麻点缺陷检测时存在的检测效率较低的问题。
附图说明
图1是本发明的一种金属加工件表面麻点缺陷检测方法。
具体实施方式
为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。
为了解决现有基于人工检测的方式进行金属加工件表面麻点缺陷检测时存在的检测效率较低的问题，如图1所示，本实施例的金属加工件表面麻点缺陷检测方法包括以下步骤：
（1）利用RGBD深度相机对目标金属加工件进行采集，得到目标金属加工件的RGB图像与深度图像，并将目标金属加工件的RGB图像转换为灰度图像；
为了实现对目标金属加工件表面是否存在麻点缺陷的检测，本实施例使用RGBD深度相机对目标金属加工件进行图像采集。具体的，在进行图像采集时，使用平行光源对目标金属加工件进行照射，采集得到两张图像，分别为目标金属加工件的RGB图像与目标金属加工件的深度图像。
由于上述两张图像均为同一相机同等情况下拍摄得到的，故上述两幅图像等大，且像素点一一对应。将拍摄得到的RGB图像进行灰度化，得到对应的灰度图像；对RGB图像进行灰度化处理的过程为现有技术，此处不再赘述。
（2）计算灰度图像中各像素点的目标显著性值，根据灰度图像中各像素点的目标显著性值对灰度图像进行增强，得到增强后的灰度图像；
由于在理想情况下，金属表面各个部分特征均一致，若出现麻点等金属缺陷，在金属表面上虽然会变得很突兀，但是由于麻点小且分布不均等特征，直接在灰度图像上对麻点缺陷进行检测是不太方便的，故本实施例先对灰度图像进行增强，使得这些麻点易于检测。
具体的，本步骤包括以下几个小步骤，分别为：（a）基于深度信息分析显著性；（b）基于FT算法分析显著性；（c）基于空域信息分析显著性；（d）根据得到的显著性对灰度图像进行增强。接下来分别对各小步骤进行说明：
（a）基于深度信息分析显著性，具体的，根据深度图像中各像素点的深度信息得到灰度图像中各像素点对应的第一显著性值；
本实施例通过分析目标金属加工件的深度图像，可以对灰度图像有一个更直观、更立体的描述分析。具体的，通过深度图像得到其对应的深度直方图。
根据得到的深度直方图，选取直方图中出现频次最高的深度值作为深度0值，将深度图像中各像素点的深度值减去该出现频次最高的深度值，得到深度图像中各像素点的相对深度值，其中深度值为0的为金属表面，深度值为负的为金属凹陷部分，深度值为正的为金属凸显部分。
Figure 292180DEST_PATH_IMAGE001
其中，
Figure 419536DEST_PATH_IMAGE002
为深度图像中某像素点的相对深度值，
Figure 53780DEST_PATH_IMAGE003
为该像素点的深度值，
Figure 416628DEST_PATH_IMAGE004
为深度图像对应的深度直方图中出现频次最高的深度值。
基于各像素点的相对深度值得到的对应像素点的显著性系数为：
Figure 108510DEST_PATH_IMAGE005
其中，P为深度图像中某像素点的显著性值，记为第一显著性值；X为深度图像中该像素点的相对深度值，
Figure 469084DEST_PATH_IMAGE006
为深度图像中各像素点的相对深度值的最大值。由于深度图像与灰度图像具有意义对应关系，所以可以得到灰度图像中各像素点的显著性值。
（b）基于FT算法分析显著性，具体的，根据FT算法得到灰度图像中各像素点对应的第二显著性值；
灰度图像在频率域可以分成低频部分和高频部分。低频部分反映了图像的整体信息，如物体的轮廓、基本的组成区域等。高频部分反映了图像的细节信息，如物体的纹理。显著性区域检测用到的更多的是低频部分的信息。
本实施例基于FT算法计算显著性的过程如下：
Ⅰ.对目标金属加工件的RGB图像进行5*5的高斯平滑，并将高斯平滑处理后的RGB图像转换到lab空间，得到lab图像；转换过程为现有技术，此处不再赘述；
Ⅱ.对lab图像的l、a和b三个通道的图像分别取均值得到lm、am和bm；
Ⅲ.按照如下公式，计算每个像素的l、a、b值分别同lm、am和bm的欧氏距离，得到每个像素点的显著值，并进行归一化处理；归一化处理即将各像素点显著值除以图像中像素点的显著值的最大值。
Figure 652941DEST_PATH_IMAGE032
其中，S为某像素点的显著值。
FT算法实现的过程比较简单，属于从频率角度分析图像。根据FT算法得到各像素点的显著性为现有技术，此处不再赘述。本实施例将归一化处理后每个像素点对应的显著性大小记为记为第二显著性值，用E表示。
（c）基于空域信息分析显著性；
本实施例接下来从纹理信息和轮廓信息两方面来分析显著性。
①基于纹理信息分析显著性，具体的，将灰度图像转换为梯度图像，根据梯度图像中各像素点的梯度信息得到灰度图像中各像素点对应的第三显著性值；
FT算法检测输出的显著图是全分辨率算法，效率高，但是该算法并没有涉及到方向等纹理特征的提取。灰度图像中纹理信息是很重要的，故而本实施例依据FT算法添加方向显著性描述因子，具体过程如下：
当目标金属加工件表面存在凹凸不平的情况时，灰度图像上像素点会存在灰度值变化，含有凸起或凹坑的部分的图像对应灰度值应背离或朝向凸起或者凹坑中心，因此会造成这部分区域的灰度值变低，且离中心点越近灰度值越高；基于此，本实施例通过找到具有这些特点的像素值对他们进行增强。
本实施例通过灰度图像计算得到对应的梯度图像，进而对梯度图像进行分析。具体的，本实施例使用Sobel算子计算得到的各像素点的梯度信息，梯度信息包括梯度值和梯度方向，其中梯度值和梯度方向的计算方法为
Figure 163687DEST_PATH_IMAGE033
Figure 54283DEST_PATH_IMAGE034
其中，
Figure 648075DEST_PATH_IMAGE009
为某像素点的梯度方向，
Figure 991332DEST_PATH_IMAGE035
为该像素点的梯度方向，
Figure 832335DEST_PATH_IMAGE036
为该像素点在x方向上的梯度值，
Figure 639754DEST_PATH_IMAGE037
为该像素点在y方向上的梯度值。使用Sobel算子计算得到的各像素点的梯度信息的过程为现有技术，此处不再赘述。
至此可得到各像素点的特征（
Figure 14235DEST_PATH_IMAGE009
，
Figure 844788DEST_PATH_IMAGE035
）。接下来通过梯度方向将图像进行划分，即根据方向角度的不同赋予不同的显著性；通过不同方向差异赋予不同显著性可以在图像边缘区域使得图像的边缘更加凸显出来，其次由于在凹坑或者凸起的图像中灰度梯度图像是向凹坑或者凸起中间汇聚，大致形成一个环状围绕。即根据梯度方向与周围梯度方向的差异赋予不同权值，可以使得原本灰暗的中间区域获得较大的差异，在检测中易于定位缺陷中央，进而找到图像麻点区域。
本实施例利用如下公式计算对各像素点赋予的显著性大小：
Figure 87550DEST_PATH_IMAGE038
其中，
Figure 874110DEST_PATH_IMAGE008
为对某像素点赋予的显著性值，记为第三显著性值；
Figure 747388DEST_PATH_IMAGE009
为该像素点的梯度值，
Figure 127554DEST_PATH_IMAGE010
为梯度方向差异性指标，其是根据该像素点的梯度方向与其周围8邻域像素点梯度方向的差值平均值φ以及方向纹理差异指标σ得到的，
Figure 111690DEST_PATH_IMAGE039
。
本实施例计算方向纹理差异指标σ的过程如下：
将梯度图像对应的梯度方向矩阵进行比较，通过比较周围8邻域像素点梯度方向的差值
Figure 769067DEST_PATH_IMAGE040
，得到二值模式下的梯度方向的LBP值，设置阈值μ=30°，即若求得的
Figure 813247DEST_PATH_IMAGE040
大于阈值μ，那么便将该处LBP值记为1，否则记为0。即：
Figure 415129DEST_PATH_IMAGE041
进而得到每个像素点的一个LBP二进制模式，一个LBP二进制模式包括8个s值；将得到的LBP二值模式标准化，得到标准模式下的LBP值，进而得到基于梯度方向的显著值
Figure 389908DEST_PATH_IMAGE013
，公式如下：
Figure 964108DEST_PATH_IMAGE042
其中，
Figure 975927DEST_PATH_IMAGE015
为根据LBP旋转不变性得到的排序中第k个邻近像素点对应的LBP值。比如，对于 00011001，其排序s(k)是从右向左排的；对于
Figure 940472DEST_PATH_IMAGE015
，其取值为：第0个LBP值是 1 ，第1个LBP值就是 0，第二个LBP值就是0，第三个LBP值 就是1，第4个LBP值是1，第5-7个LBP值都是 0。
本实施例根据LBP图像的亮度得到原图像的显著性，即图像越亮，说明图像梯度方向变化越规律，即越可能是上述分析的凹坑或凸起部分。通过分析比较像素点梯度方向与其周围像素点梯度方向的差异，由于凹坑凸起部分由于灰度变化，使得梯度方向的变化是规律的，而其他部分是杂乱的，故而可以通过此方法将凹坑凸起部分进行增强。本实施例通过将像素点梯度值大且其方向变化小的点赋予较大权值，可以使得图像中凹坑凸起部分都获得较大显著性，使得在后续增强中可以保持该特点，使得图像中的缺陷更易检测出来。
②基于边缘轮廓信息分析显著性，具体的，对灰度图像进行边缘检测得到增强前的边缘图像，根据增强前的边缘图像中各闭合边缘对应的轮廓长度、面积和最小外接矩形信息得到灰度图像中各像素点对应的第四显著性值。
对灰度图像进行边缘检测，得到增强前的边缘图像；根据得到的增强前的边缘图像，提取增强前的边缘图像中所有闭合的边缘。通过计算所有闭合边缘对应的轮廓的长度、轮廓的面积大小、面积大小与最小外接矩形面积大小之比以及最小外接矩形的长宽比赋予轮廓内像素点对应的显著性。
Figure 531990DEST_PATH_IMAGE016
其中，W为某闭合曲线对应的轮廓内的像素点的第四显著性值，
Figure 23014DEST_PATH_IMAGE017
为该闭合曲线对应的轮廓的长度，m为该闭合曲线对应的轮廓面积，M为该闭合曲线对应的轮廓的最小外接矩形的面积，i为该闭合曲线对应的轮廓的最小外接矩形的宽，j为该闭合曲线对应的轮廓的最小外接矩形的长。
在增强前的边缘图像中闭合边缘对应的轮廓越长、面积越大、最小外接矩形越接近正多边形，闭合边缘围成的区域越可能是凹坑凸起区域，为方便后续检测，本实施例赋予这种区域内像素点以更大的显著性。若边缘图像中某像素点不在闭合边缘内，赋予其对应的W=0，即赋予其对应的第三显著性值为0。
（d）根据得到的显著性对灰度图像进行增强，具体的，根据灰度图像中各像素点对应的第一显著性值、第二显著性值、第三显著性值和第四显著性值计算各像素点对应的目标显著性值，根据各像素点对应的目标显著性值对灰度图像进行增强。
基于上述从几个方面得到的各像素点的显著性，计算得到灰度图像上各像素点的显著性。
Figure 408996DEST_PATH_IMAGE018
其中，H为灰度图像中某像素点对应的目标显著性值，
Figure 375684DEST_PATH_IMAGE023
、
Figure 302052DEST_PATH_IMAGE024
、
Figure 585266DEST_PATH_IMAGE025
、
Figure 345411DEST_PATH_IMAGE026
分别为第一显著性值、第二显著性值、第三显著性值和第四显著性值对应的权值，可根据实际情况自行设定，本实施例中设置
Figure 346865DEST_PATH_IMAGE043
。
根据将各像素点对应的目标显著性值与显著性阈值进行比较，本实施例设置显著性阈值z=0.5，基于显著性阈值对图像进行增强，具体利用如下公式进行增强：
Figure 76924DEST_PATH_IMAGE027
其中g为灰度图像中某像素点的灰度值，G为增强后的灰度图像中该像素点的灰度值。
（3）根据增强后的灰度图像和所述深度图像判断目标金属加工件表面是否存在麻点缺陷。
本实施例通过结合增强后的灰度图像的灰度信息以及对应的深度信息对目标金属加工件表面是否存在麻点进行检测，具体过程如下：
首先对增强后的灰度图像进行边缘检测，得到增强后的边缘图像；其次基于增强后的边缘图像中的闭合边缘，计算增强后的闭合边缘的轮廓的大小L，设置轮廓阈值a=10，将轮廓大小小于轮廓阈值的筛选出去。
通过计算轮廓大小，轮廓内平均灰度值以及轮廓内平均深度值计算闭合边缘对应的轮廓区域的麻点缺陷程度：
Figure 401595DEST_PATH_IMAGE028
其中，P为增强后的边缘图像中的某闭合边缘对应的轮廓区域的麻点缺陷程度，
Figure 394959DEST_PATH_IMAGE029
为增强后的边缘图像中的该闭合边缘对应的轮廓区域内的平均灰度值，
Figure 680446DEST_PATH_IMAGE030
为增强后的边缘图像中的该闭合边缘对应的轮廓的长度，
Figure 417458DEST_PATH_IMAGE031
为增强后的边缘图像中的该闭合边缘对应的轮廓区域内的平均深度值。当检测到的闭合边缘对应的轮廓区域中，轮廓内平均灰度值越大，轮廓越大，轮廓内平均深度值越大，即P越小，则该轮廓对应目标越可能是麻点区域。
设置缺陷程度阈值c=0.2，当所求P小于缺陷程度阈值c时，判定该闭合边缘对应的轮廓区域为麻点缺陷；当所求P不小于缺陷程度阈值c时，判定该闭合边缘对应的轮廓区域不是麻点缺陷。
设置数量阈值b=20，当判定得到的麻点区域的数量大于数量阈值b时，判定增强后的灰度图像中存在麻点缺陷，也即目标金属加工件表面有麻点缺陷。当判定得到的麻点区域的数量不大于数量阈值b时，判定增强后的灰度图像中不存在麻点缺陷。作为其他实施方式，缺陷程度阈值和数量阈值的大小可在应用时自行设定。
本实施例获取了目标金属加工件对应的灰度图像和深度图像，根据麻点缺陷在图像中的特点实现了对目标金属加工件表面是否存在麻点缺陷的判断，属于一种自动判断方法，相较于人工检测方式的检测效率较高，解决了现有基于人工检测的方式进行金属加工件表面麻点缺陷检测时存在的检测效率较低的问题。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种金属加工件表面麻点缺陷检测方法，其特征在于，包括以下步骤：
利用RGBD深度相机对目标金属加工件进行采集，得到目标金属加工件的RGB图像与深度图像，并将目标金属加工件的RGB图像转换为灰度图像；
计算灰度图像中各像素点的目标显著性值，根据灰度图像中各像素点的目标显著性值对灰度图像进行增强，得到增强后的灰度图像；
根据增强后的灰度图像和所述深度图像判断目标金属加工件表面是否存在麻点缺陷：对增强后的灰度图像进行边缘检测，得到增强后的边缘图像；根据增强后的边缘图像中各闭合边缘对应的轮廓大小、轮廓区域内的平均灰度值和轮廓区域内的平均深度值计算增强后的边缘图像中各闭合边缘对应的轮廓区域的麻点缺陷程度；统计增强后的边缘图像中麻点缺陷程度符合麻点缺陷判定条件的闭合边缘的数量，当所述数量大于设定数量阈值时判定目标金属加工件表面存在麻点缺陷；
所述计算灰度图像中各像素点的目标显著性值，包括：
根据深度图像中各像素点的深度信息得到灰度图像中各像素点对应的第一显著性值；
根据FT算法得到灰度图像中各像素点对应的第二显著性值；
将灰度图像转换为梯度图像，根据梯度图像中各像素点的梯度信息得到灰度图像中各像素点对应的第三显著性值；
对灰度图像进行边缘检测得到增强前的边缘图像，根据增强前的边缘图像中各闭合边缘对应的轮廓长度、面积和最小外接矩形信息得到灰度图像中各像素点对应的第四显著性值；
根据灰度图像中各像素点对应的第一显著性值、第二显著性值、第三显著性值和第四显著性值计算各像素点对应的目标显著性值。
2.根据权利要求1所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述根据深度图像中各像素点的深度信息得到灰度图像中各像素点对应的第一显著性值，包括：
根据深度图像得到对应的深度直方图；
选取深度直方图中出现频次最高的深度值作为深度0值，将深度图像中各像素点的深度值减去该出现频次最高的深度值，得到深度图像中各像素点的相对深度值：
Figure 158903DEST_PATH_IMAGE001
其中，
Figure 789736DEST_PATH_IMAGE002
为深度图像中某像素点的相对深度值，
Figure 54495DEST_PATH_IMAGE003
为该像素点的深度值，
Figure 276529DEST_PATH_IMAGE004
为深度图像对应的深度直方图中出现频次最高的深度值；
基于各像素点的相对深度值得到的对应像素点的显著性值为：
Figure 298843DEST_PATH_IMAGE005
其中，P为深度图像中某像素点的显著性值，记为第一显著性值；X为深度图像中该像素点的相对深度值，
Figure 530104DEST_PATH_IMAGE006
为深度图像中各像素点的相对深度值的最大值。
3.根据权利要求1所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述根据梯度图像中各像素点的梯度信息得到灰度图像中各像素点对应的第三显著性值，包括：
利用如下公式计算灰度图像中各像素点的第三显著性值：
Figure 852632DEST_PATH_IMAGE007
其中，
Figure 979988DEST_PATH_IMAGE008
为灰度图像中某像素点的第三显著性值，
Figure 83073DEST_PATH_IMAGE009
为灰度图像对应的梯度图像中该像素点的梯度值，
Figure 321288DEST_PATH_IMAGE010
为梯度方向差异性指标，
Figure 904847DEST_PATH_IMAGE011
，
Figure 203104DEST_PATH_IMAGE012
为灰度图像对应的梯度图像中该像素点的梯度方向与周围8邻域像素点梯度方向的差值平均值；
Figure 793485DEST_PATH_IMAGE013
为灰度图像对应的梯度图像中该像素点的方向纹理差异指标；
所述方向纹理差异指标
Figure 100970DEST_PATH_IMAGE013
的计算过程如下：
比较灰度图像对应的梯度图像中该像素点与周围8邻域像素点梯度方向的差值，得到灰度图像对应的梯度图像中该像素点的LBP二进制模式，其中，若与某邻域像素点对应的大于设定阈值，则将该邻域像素点对应的LBP值记为1，否则记为0；
将灰度图像对应的梯度图像中该像素点的LBP二进制模式进行标准化，得到标准模式下的LBP值，并利用如下公式计算得到灰度图像对应的梯度图像中该像素点的方向纹理差异
Figure 929249DEST_PATH_IMAGE014
：
Figure 867249DEST_PATH_IMAGE015
其中，
Figure 413768DEST_PATH_IMAGE016
为根据LBP旋转不变性得到的排序中第k个邻近像素点对应的LBP值。
4.根据权利要求1所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述根据边缘图像中各闭合边缘对应的轮廓长度、面积和最小外接矩形信息得到灰度图像中各像素点对应的第四显著性值，包括：
利用如下公式计算各闭合边缘对应的轮廓内各像素点对应的第四显著性值；
Figure 524943DEST_PATH_IMAGE017
其中，W为某闭合曲线对应的轮廓内的像素点的第四显著性值，
Figure 738887DEST_PATH_IMAGE018
为该闭合曲线对应的轮廓的长度，s为该闭合曲线对应的轮廓面积，S为该闭合曲线对应的轮廓的最小外接矩形的面积，i为该闭合曲线对应的轮廓的最小外接矩形的宽，j为该闭合曲线对应的轮廓的最小外接矩形的长。
5.根据权利要求1所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述根据灰度图像中各像素点对应的第一显著性值、第二显著性值、第三显著性值和第四显著性值计算各像素点对应的目标显著性值，包括：
利用如下公式计算得到灰度图像上各像素点的目标显著性：
Figure 847788DEST_PATH_IMAGE019
其中，H为灰度图像中某像素点对应的目标显著性值，
Figure 881604DEST_PATH_IMAGE020
为灰度图像中该像素点的第一显著性值，
Figure 530891DEST_PATH_IMAGE021
为灰度图像中该像素点的第二显著性值，
Figure 333762DEST_PATH_IMAGE022
为灰度图像中该像素点的第三显著性值，
Figure 675881DEST_PATH_IMAGE023
为灰度图像中该像素点的第四显著性值，
Figure 196992DEST_PATH_IMAGE024
、
Figure 587654DEST_PATH_IMAGE025
、
Figure 510610DEST_PATH_IMAGE026
、
Figure 23631DEST_PATH_IMAGE027
分别为第一显著性值、第二显著性值、第三显著性值和第四显著性值对应的权值。
6.根据权利要求1所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述根据各像素点对应的目标显著性值对灰度图像进行增强，包括：
利用如下公式计算灰度图像中各像素点增强后的灰度值：
Figure 235301DEST_PATH_IMAGE028
其中，g为灰度图像中某像素点的灰度值，G为增强后的灰度图像中该像素点的灰度值，z为显著性阈值。
7.根据权利要求1所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述根据增强后的边缘图像中各闭合边缘对应的轮廓大小、轮廓区域内的平均灰度值和轮廓区域内的平均深度值计算增强后的边缘图像中各闭合边缘对应的轮廓区域的麻点缺陷程度，包括：
利用如下公式计算增强后的边缘图像中各闭合边缘对应的轮廓区域的麻点缺陷程度：
Figure 491970DEST_PATH_IMAGE029
其中，P为增强后的边缘图像中的某闭合边缘对应的轮廓区域的麻点缺陷程度，
Figure 269433DEST_PATH_IMAGE030
为增强后的边缘图像中的该闭合边缘对应的轮廓区域内的平均灰度值，
Figure 687776DEST_PATH_IMAGE031
为增强后的边缘图像中的该闭合边缘对应的轮廓的长度，
Figure 121162DEST_PATH_IMAGE032
为增强后的边缘图像中的该闭合边缘对应的轮廓区域内的平均深度值，exp为以e为底的指数函数。
8.根据权利要求7所述的金属加工件表面麻点缺陷检测方法，其特征在于，所述麻点缺陷判定条件为计算得到的麻点缺陷程度小于缺陷程度阈值。
CN202211059879.8A 2022-09-01 2022-09-01 一种金属加工件表面麻点缺陷检测方法 Active CN115131359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059879.8A CN115131359B (zh) 2022-09-01 2022-09-01 一种金属加工件表面麻点缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059879.8A CN115131359B (zh) 2022-09-01 2022-09-01 一种金属加工件表面麻点缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115131359A CN115131359A (zh) 2022-09-30
CN115131359B true CN115131359B (zh) 2022-12-23

Family

ID=83387091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059879.8A Active CN115131359B (zh) 2022-09-01 2022-09-01 一种金属加工件表面麻点缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115131359B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309553B (zh) * 2023-05-12 2023-07-28 东莞市希锐自动化科技股份有限公司 一种非平面电镀五金件电镀缺陷检测方法
CN116542967B (zh) * 2023-06-29 2023-10-03 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备
CN116740055B (zh) * 2023-08-09 2023-10-10 苏州科尔珀恩机械科技有限公司 一种基于图像数据的回转炉轮带缺陷检测方法
CN117830300B (zh) * 2024-03-04 2024-05-14 新奥新能源工程技术有限公司 一种基于视觉的燃气管道外观质量检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10330608B2 (en) * 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
CN103679173B (zh) * 2013-12-04 2017-04-26 清华大学深圳研究生院 图像显著区域检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972892A (zh) * 2022-07-12 2022-08-30 山东嘉通专用汽车制造有限公司 基于计算机视觉的汽车刹车片缺陷分类方法

Also Published As

Publication number Publication date
CN115131359A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN115131359B (zh) 一种金属加工件表面麻点缺陷检测方法
CN114723701B (zh) 基于计算机视觉的齿轮缺陷检测方法和系统
CN116721106B (zh) 一种基于图像处理的型材瑕疵视觉检测方法
CN115375676B (zh) 一种基于图像识别的不锈钢制品质量检测方法
CN106404793B (zh) 基于视觉的轴承密封件缺陷检测方法
CN110286124B (zh) 基于机器视觉的耐火砖测量系统
CN111179243A (zh) 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统
CN115330783A (zh) 一种钢丝绳缺陷检测方法
CN109682839B (zh) 一种金属弧形工件表面缺陷在线检测方法
CN115294158A (zh) 一种基于机器视觉的热连轧带钢图像分割方法
CN115345885A (zh) 一种金属健身器材外观质量检测方法
CN109658391B (zh) 一种基于轮廓归并和凸包拟合的圆半径测量方法
CN115082451B (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
CN116205919A (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN114792316B (zh) 一种盘刹车轴底板点焊缺陷检测方法
CN117274113B (zh) 基于图像增强的碎硅片清洗效果视觉检测方法
CN116703251B (zh) 基于人工智能的胶圈生产质量检测方法
CN111369570A (zh) 一种视频图像的多目标检测跟踪方法
CN113298776A (zh) 一种金属闭式水泵叶轮外观缺陷检测方法
CN115311289A (zh) 一种素色布匹油渍缺陷检测方法
CN116402810A (zh) 基于图像处理的润滑油抗磨粒质量检测方法
CN115880280A (zh) 一种钢结构焊缝质量的检测方法
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN108230334B (zh) 基于灰度阈值的高浓度风沙图像分割的方法
CN113298775B (zh) 自吸泵双面金属叶轮外观缺陷检测方法、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant