CN114937004A - 一种基于计算机视觉的机械零件表面气孔缺陷检测方法 - Google Patents

一种基于计算机视觉的机械零件表面气孔缺陷检测方法 Download PDF

Info

Publication number
CN114937004A
CN114937004A CN202210461657.2A CN202210461657A CN114937004A CN 114937004 A CN114937004 A CN 114937004A CN 202210461657 A CN202210461657 A CN 202210461657A CN 114937004 A CN114937004 A CN 114937004A
Authority
CN
China
Prior art keywords
defect
image
pixel points
probability
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210461657.2A
Other languages
English (en)
Other versions
CN114937004B (zh
Inventor
余小云
董树峨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Dashi Industrial Intelligent Technology Co ltd
Original Assignee
Nantong Qijin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Qijin Intelligent Technology Co ltd filed Critical Nantong Qijin Intelligent Technology Co ltd
Priority to CN202210461657.2A priority Critical patent/CN114937004B/zh
Publication of CN114937004A publication Critical patent/CN114937004A/zh
Application granted granted Critical
Publication of CN114937004B publication Critical patent/CN114937004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机械零件缺陷检测领域，具体涉及一种基于计算机视觉的机械零件表面气孔缺陷检测方法，包括：获取待处理的机械零件表面图像对应的缺陷概率图；获取缺陷概率图中的不确定区域；对不确定区域中的像素点及其8邻域像素点进行缺陷概率值差异判断，获取不确定区域对应的图像分割图；利用图像分割图中边缘像素点的缺陷相似度和缺陷差异度，获取图像分割图对应的主要复制增强端和起始旋转方向；利用图像分割图对应的主要复制增强端和起始旋转方向，获取图像分割图对应的旋转复制的新图像；将旋转复制的新图像输入训练好的缺陷识别网络，完成对机械零件表面的气孔检测。通过上述方法可增强气孔缺陷的图像特征，有效提高气孔缺陷检测精度。

Description

一种基于计算机视觉的机械零件表面气孔缺陷检测方法
技术领域
本发明涉及机械零件缺陷检测领域，具体涉及一种基于计算机视觉的机械零件表面气孔缺陷检测方法。
背景技术
目前，对机械零件表面气孔缺陷检测主要依靠专业人员通过人眼进行识别，也出现了通过神经网络对机械零件缺陷表面的气孔缺陷进行识别，最终达到对机械零件表面气孔缺陷检测的要求。
现有技术中，存在的问题主要有：通过人工进行缺陷识别，容易造成误检测，自动化能力较差，需要大量的人力；通过现有的气孔缺陷识别算法识别缺陷时，往往遇到比较小的气孔会造成漏检，对微小的缺陷识别精度较低。针对上述问题，本发明提出了基于计算机视觉的机械零件表面气孔缺陷检测方法。在原有目标检测算法的基础上，利用缺陷概率图分析，将可能为缺陷的像素点位置作为标记，自动生成分割线，进行区域图像分割，将分割后的区域图像进行旋转复制，目的是为了增大缺陷区域大小，增强缺陷的图像特征，提高缺陷识别网络的检测能力。
发明内容
为了克服上述现有技术的缺点，本发明提供了一种基于计算机视觉的机械零件表面气孔缺陷检测方法，以提高气孔检测精度和检测效率。
为达到上述目的，本发明采用以下技术方案，一种基于计算机视觉的机械零件表面气孔缺陷检测方法，包括：
获取待处理的机械零件表面图像对应的缺陷概率图；
对获取的缺陷概率图进行阈值分割，获得缺陷概率图中的不确定区域；通过对该不确定区域中的像素点及其8邻域像素点进行缺陷概率值差异判断，获取不确定区域对应的图像分割图；
通过对分割后的区域图像中缺陷概率值较大的边缘像素点进行缺陷相似度计算，获取该区域图像对应的主要复制增强端；
通过对区域图像对应的主要复制增强端的边缘像素点进行缺陷差异度计算，获取该区域图像对应的起始旋转方向；
以主要复制增强端的最外边缘像素点为圆心，以区域图像为半径，沿着起始旋转方向进行旋转复制一周，获取不确定区域对应的旋转复制的新图像；
通过对不确定区域对应的旋转复制的新图像中增大的缺陷区域进行气孔检测，得到该不确定区域对应的原始图像中新的气孔缺陷像素点的位置。
所述待处理的机械零件表面图像对应的缺陷概率图是按照如下方式获取：
将采集到的待处理的机械零件表面图像进行灰度处理，获取该机械零件表面图像对应的灰度图；
对灰度图中的气孔缺陷位置的像素点进行标记，将标记好的灰度图输入缺陷识别网络进行训练，得到训练好的缺陷识别网络；
将待处理的机械零件表面图像对应的灰度图输入训练好的缺陷识别网络进行特征提取，获取待处理的机械零件表面图像对应的缺陷概率图。
所述缺陷概率图中的不确定区域是按照如下方式获取：
设定缺陷分类阈值M1，对缺陷概率图中的像素点进行初步缺陷识别：当缺陷概率图中第i个像素点的缺陷概率值Pi＞M1时，将该像素点识别为缺陷像素点；
设定缺陷分类阈值M2，对缺陷概率图中Pi≤M1的像素点进行进一步的缺陷识别：当Pi＜M2时，将该像素点识别为正常像素点；当M2≤Pi≤M1时，将该像素点识别为不确定像素点；
将缺陷概率图中识别为缺陷和正常的像素点进行标记，获取缺陷概率图中的不确定区域。
所述不确定区域对应的图像分割图是按照如下方式获取：
获取缺陷概率图中不确定区域的概率值局部最大值的像素点；将该概率值局部最大值的像素点作为中心点，判断该中心点及其8邻域像素点的概率值差异，获取与中心点概率值差值最小的8邻域像素点；将该与中心点概率值差值最小的8邻域像素点和中心点进行连线；
获取缺陷概率图中不确定区域的概率值与中心点相近的像素点，判断该像素点及其8邻域像素点的概率值差异，获取与该像素点概率值差值最小的8邻域像素点；将与该像素点概率值差值最小的8邻域像素点和该像素点进行连线；
重复上述步骤，对不确定区域中的像素点及其8邻域像素点不断进行概率值差异判断，得到缺陷概率图中不确定区域的图像分割线；当该图像分割线形成闭合的连通域时，获得不确定区域对应的图像分割图。
所述不确定区域对应的旋转复制的新图像是按照如下方式获取：
获取分割后的区域图像中缺陷概率值较大的边缘像素点的缺陷相似度，将大于缺陷相似度阈值的边缘像素点作为主要复制增强端；
获取主要复制增强端的边缘像素点的缺陷差异度，将大于缺陷差异度阈值的边缘像素点一侧作为起始旋转方向；
以主要复制增强端的最外边缘像素点为圆心，以分割后的区域图像为半径，沿着起始旋转方向进行旋转复制一周，获取不确定区域对应的旋转复制的新图像。
所述边缘像素点的缺陷相似度是按照如下方式获得：
获取分割后的区域图像中缺陷概率较大的边缘像素点的缺陷概率值Pb(xi，yi)；
获取缺陷概率较大的边缘像素点对应的区域图像内部相邻像素点的缺陷概率值Pn(xi，yi)；
将缺陷概率较大的边缘像素点及其对应的内部相邻像素点的缺陷概率值作差，获得该缺陷概率较大的边缘像素点的缺陷相似度，缺陷相似度ρ的表达式如下：
Figure BDA0003620601180000031
式中：(xi，yi)表示第i个像素点的坐标位置，Pb(xi，yi)表示坐标为(xi，yi)的边缘像素点的缺陷概率值，Pn(xi，yi)表示与坐标为(xi，yi)的边缘像素点内部相邻的像素点缺陷概率值。
所述边缘像素点的缺陷差异度是按照如下方式获得：
获取分割后的区域图像中缺陷概率较大的边缘像素点的缺陷概率值Pb(xi，yi)；
获取缺陷概率较大的边缘像素点对应的区域图像外部相邻像素点的缺陷概率值Pw(xi，yi)；
将缺陷概率较大的边缘像素点及其对应的外部相邻像素点的缺陷概率值作差，获得该缺陷概率较大的边缘像素点的缺陷差异度，缺陷差异度
Figure BDA0003620601180000041
的表达式如下：
Figure BDA0003620601180000042
式中：(xi，yi)表示第i个像素点的坐标位置，Pb(xi，yi)表示坐标为(xi，yi)的边缘像素点的缺陷概率值，Pw(xi，yi)表示与坐标为(xi，yi)的边缘像素点外部相邻的像素点缺陷概率值。
本发明的有益效果是：本发明提供了一种基于计算机视觉的机械零件表面气孔缺陷检测方法：通过缺陷概率图对缺陷位置进行预测，将预测区域作为真实缺陷区域，自动生成分割线，进行分割处理。相较于现有技术有益效果在于能够仅依靠图像概率图进行自动分割，不需要回归出缺陷图像，计算量复杂度较低。同时，本发明通过对分割出的缺陷区域图像进行旋转复制，完成图像漏检气孔缺陷的识别，相较于现有技术有益效果在于能够达到图像增强的目的，将特征不明显的缺陷特征进行增大，通过纹理特征叠加的思想，提高检测图像气孔缺陷的能力，也能够实现多气孔同时检测，提高了检测精度和检测效率。
附图说明
图1是本发明的机械零件表面气孔缺陷检测方法流程示意图；
图2是本发明的不确定区域对应的图像分割图获取过程示意图；
图3是本发明的不确定区域旋转复制方法流程示意图；
图4是本发明的不确定区域对应的旋转复制的新图像示意图。
具体实施方式
为了让本领域技术人员更好地理解本发明，下面结合实施例和附图对本发明进行详细的描述。
实施例1：
本发明的主要目的是实现：机械零件表面的气孔缺陷精确检测，机械零件可以是板材，大型。
为了实现本发明所述内容，本实施例设计了一种基于计算机视觉的机械零件表面气孔缺陷检测方法，如图1所示。
本实施例所针对的具体场景为：机械零件表面气孔缺陷检测场景，通过相机对机械零件表面图像进行图像采集，相机位置为俯视视角，固定光源。在进行零件表面气孔缺陷识别时，默认对预留孔洞和接口处不做处理，仅针对表面存在气孔缺陷的图像展开说明。
步骤1：获取待处理的机械零件表面图像对应的缺陷概率图。
该步骤的目的：通过相机采集零件表面图像，利用目标检测网络得到图像中各像素点的缺陷概率生成概率图。能够带来的好处：利用图像概率图能够帮助后续步骤完成图像分割。
输入为：采集到的表面图像，进行缺陷识别网络初训练，输出为：图像概率图。
通过相机采集零件表面图像，将采集到的图像进行灰度化处理，灰度化处理方式为：各通道加权灰度化，加权灰度化为公知算法，不再详细赘述。
将灰度化的图像输入缺陷识别网络，缺陷识别网络结构为：Encoder-Decoder，图像样本分为训练集和测试集，将训练集图像中气孔缺陷位置的像素点进行标记，缺陷像素点标记为1，其他区域像素点标记为0，将带标签的训练集图像输入缺陷识别网络中进行训练，然后，将训练好的网络提取测试集中气孔缺陷图像，网络最终输出的是概率图(每个像素点为缺陷像素点的概率)。
步骤2：对获取的缺陷概率图进行阈值分割，获得缺陷概率图中的不确定区域；通过对该不确定区域中的像素点及其8邻域像素点进行缺陷概率值差异判断，获取不确定区域对应的图像分割图。
该步骤的目的：通过图像概率图自动生成缺陷分割线，利用图像分割线完成图像分割。能够带来的好处：通过图像分割线能够得到缺陷可能存在的区域，有助于后续对漏检缺陷的精准识别。
输入为：图像概率图，进行自动生成图像分割线，输出为：图像分割图。具体流程如图2所示：
将步骤1得到的图像概率图进行初步缺陷识别：设定缺陷分类阈值M1＝0.6，将大于缺陷概率阈值的像素点识别为缺陷像素点。
将步骤1得到的图像概率图进行进一步阈值处理，设定缺陷分类阈值M2＝0.3，将图像概率图中满足Pi>M1的像素点直接识别为缺陷像素点，同样的，将图像概率图中Pi<M2的像素点直接识别为正常像素点，不再进行后续步骤的后处理。将图像概率图中Pi≤M1的像素点进行第二阈值分割，图像概率图中满足M2≤Pi≤M1的像素点，暂且识别为不确定像素点，不输出像素点的缺陷类别，直接进行后续步骤的处理，其中，Pi表示图像中第i个像素点的缺陷概率，i的取值范围为[1,n]，默认图像中像素点个数为n个。
然后，将图像中识别为缺陷的像素点标记为1，识别为正常的像素点标记为0，此处的标记为概率值的标记，表示确定为缺陷和确定为正常的意思。然后将不确定区域的像素点进行概率分布趋势分析，需要说明的是，网络输出的像素点概率值为缺陷的概率值，概率值越大，属于缺陷像素点的可能性就越大。
阈值分割后的图像不确定区域中，取概率值局部最大值作为中心点，再以中心点为起始点，对起始点8邻域内的像素点进行概率值对比，概率值与局部最大值点的概率值进行作差，取概率差最小的邻域像素点进行像素点连线，进一步的，判断概率值与中心点相近的像素点的8邻域像素点，取概率差最小的邻域像素点进行像素点连线，不断的进行概率值差异判断，最终，生成不确定区域的图像分割线，当分割线形成闭合的连通域后，判断结束，得到图像分割图。
需要说明的是，当局部最大概率值的像素点为多个时，则选择位于外侧边缘的像素点作为起始中心点，(获取最外侧边缘像素点的原因：为了将所有缺陷概率值相对较大的图像区域包括在闭合的连通域内)然后重复上述步骤的判断，得到图像分割图。
步骤3：通过对分割后的区域图像中缺陷概率值较大的边缘像素点进行缺陷相似度计算，获取该区域图像对应的主要复制增强端；通过对区域图像对应的主要复制增强端的边缘像素点进行缺陷差异度计算，获取该区域图像对应的起始旋转方向；以主要复制增强端的最外边缘像素点为圆心，以区域图像为半径，沿着起始旋转方向进行旋转复制一周，获取不确定区域对应的旋转复制的新图像。
该步骤的目的：将图像分割图进行旋转复制和图像拼接，增强缺陷区域的缺陷特征，能够带来的好处：能够提高缺陷识别网络的缺陷检测精度，降低漏检率。
输入为：图像分割图，进行旋转复制处理，输出为：增强后的图像和网络识别结果。
通过获得的图像分割图，图像分割图内可能包括漏检的微小气孔缺陷或者存在部分噪声的正常区域图像，所以，为了增强缺陷识别网络的检测能力，将图像分割图不确定区域图像进行旋转复制，以至于增强图像分割图区域图像特征，具体的旋转复制方法如图3所示：
1.首先，以分割后的区域图像的边缘像素点中，选择缺陷概率Pb(xi，yi)最大的边缘点或一部分缺陷概率较大的边缘像素点，选择属于区域图像内部的相邻像素点，内部相邻像素点的缺陷概率Pn(xi，yi)与边缘像素点的缺陷概率值Pb(xi，yi)作差，得到缺陷相似性
Figure BDA0003620601180000071
(公式含义为：表示缺陷概率差值越大，说明内部相邻的像素点越不属于同一整体的像素点，选择的复制区域应该满足属于同一整体的像素点，也即为满足缺陷相似度尽可能的大)，其中，(xi，yi)表示第i个像素点的坐标位置，Pb(xi，yi)表示坐标为(xi，yi)的边缘像素点的缺陷概率值，Pn(xi，yi)表示与坐标为(xi，yi)的边缘像素点内部相邻的像素点缺陷概率值。有益效果：获得的缺陷相似度ρ越大，说明属于相同区域的概率越大，有助于在旋转复制的过程中，保留区域完整性和特征增强的有效性。
2.同样的，选择属于区域图像外部的相邻像素点，外部相邻像素点的缺陷概率Pw(xi，yi)与边缘像素点的缺陷概率值Pb(xi，yi)作差，得到缺陷差异度
Figure BDA0003620601180000081
(公式含义为：表示缺陷差异度越小，说明外部相邻的像素点越可能属于同一整体的像素点，不能作为复制的起始方向，且不参与复制。缺陷差异度越大，说明外部相邻的像素点越不属于同一整体的像素点)，其中，Pb(xi，yi)表示坐标为(xi，yi)的边缘像素点的缺陷概率值，Pw(xi，yi)表示与坐标为(xi，yi)的边缘像素点外部相邻的像素点缺陷概率值。有益效果：获得的缺陷差异度
Figure BDA0003620601180000082
越大，说明不属于同一区域的概率越大，有助于在旋转复制的过程中的旋转复制方向的选择，选择最接近于正常的像素点区域进行不确定缺陷区域的复制，能够减少图像不确定缺陷区域特征被覆盖。
3.进一步的，设定缺陷相似度阈值M3＝0.7，缺陷差异度阈值M4＝0.8，将大于缺陷相似度阈值M3的边缘像素点作为主要复制增强端，然后，通过确定好的主要复制增强端的边缘像素点计算边缘缺陷差异度
Figure BDA0003620601180000083
将大于缺陷差异度阈值M4的边缘像素点一侧作为起始旋转方向
Figure BDA0003620601180000084
当所有边缘像素点均大于缺陷差异度阈值M4时，则任意选择旋转方向即可。
4.然后，以复制增强端的最外边缘像素点为圆心，以区域图像为半径，沿着起始旋转方向
Figure BDA0003620601180000085
进行旋转复制，每次的旋转角度为5°，旋转的取值范围为：[5°，360°]，每次旋转一次对不确定缺陷区域复制一次，复制的区域直接覆盖原图像的像素点。如图4所示，将不确定区域的一端作为复制增强端，以像素点a为圆心，以不确定区域b为半径，沿着旋转方向
Figure BDA0003620601180000086
开始旋转复制一周，得到旋转复制的新图像。具体旋转复制的次数由以下方面确定：1.不确定缺陷区域的大小；2.旋转复制过程中，不断出现的新的复制边缘像素点外部相邻像素点的缺陷概率差异值是否满足缺陷差异度阈值M4，当不满足缺陷差异度阈值M4时，只进行旋转，不进行图像复制，直到旋转复制一周结束，得到旋转复制的新图像。
步骤4：通过对不确定区域对应的旋转复制的新图像中增大的缺陷区域进行气孔检测，得到该不确定区域对应的原始图像中新的气孔缺陷像素点的位置。
新图像相对于原始图像，图像大小不变，部分图像会由于旋转复制的原因，被不确定缺陷区域的图像替换，从而增强了不确定缺陷区域的大小和自身的图像对比度。将处理后的新图像重新输入上述训练好缺陷识别网络，缺陷识别网络结构不变为：Encoder-Decoder，将输入的图像直接作为测试集，进行图像缺陷识别，由于不确定缺陷区域被特征增强，所以，缺陷识别网络会识别出新的气孔缺陷区域，将识别到新的气孔缺陷位置的像素点进行标记，然后根据上述步骤进行反旋转复制操作，得到原始图像中新的气孔缺陷像素点位置。具体的反旋转复制过程可以通过计算机对每个不确定缺陷区域进行旋转复制的过程步骤进行存储，方便后续进行反旋转复制步骤。
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (7)

1.一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，包括：
获取待处理的机械零件表面图像对应的缺陷概率图；
对获取的缺陷概率图进行阈值分割，获得缺陷概率图中的不确定区域；通过对该不确定区域中的像素点及其8邻域像素点进行缺陷概率值差异判断，获取不确定区域对应的图像分割图；
通过对分割后的区域图像中缺陷概率值较大的边缘像素点进行缺陷相似度计算，获取该区域图像对应的主要复制增强端；
通过对区域图像对应的主要复制增强端的边缘像素点进行缺陷差异度计算，获取该区域图像对应的起始旋转方向；
以主要复制增强端的最外边缘像素点为圆心，以区域图像为半径，沿着起始旋转方向进行旋转复制一周，获取不确定区域对应的旋转复制的新图像；
通过对不确定区域对应的旋转复制的新图像中增大的缺陷区域进行气孔检测，得到该不确定区域对应的原始图像中新的气孔缺陷像素点的位置。
2.根据权利要求1所述的一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，所述待处理的机械零件表面图像对应的缺陷概率图是按照如下方式获取：
将采集到的待处理的机械零件表面图像进行灰度处理，获取该机械零件表面图像对应的灰度图；
对灰度图中的气孔缺陷位置的像素点进行标记，将标记好的灰度图输入缺陷识别网络进行训练，得到训练好的缺陷识别网络；
将待处理的机械零件表面图像对应的灰度图输入训练好的缺陷识别网络进行特征提取，获取待处理的机械零件表面图像对应的缺陷概率图。
3.根据权利要求1所述的一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，所述缺陷概率图中的不确定区域是按照如下方式获取：
设定缺陷分类阈值M1，对缺陷概率图中的像素点进行初步缺陷识别：当缺陷概率图中第i个像素点的缺陷概率值Pi＞M1时，将该像素点识别为缺陷像素点；
设定缺陷分类阈值M2，对缺陷概率图中Pi≤M1的像素点进行进一步的缺陷识别：当Pi＜M2时，将该像素点识别为正常像素点；当M2≤Pi≤M1时，将该像素点识别为不确定像素点；
将缺陷概率图中识别为缺陷和正常的像素点进行标记，获取缺陷概率图中的不确定区域。
4.根据权利要求1所述的一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，所述不确定区域对应的图像分割图是按照如下方式获取：
获取缺陷概率图中不确定区域的概率值局部最大值的像素点；将该概率值局部最大值的像素点作为中心点，判断该中心点及其8邻域像素点的概率值差异，获取与中心点概率值差值最小的8邻域像素点；将该与中心点概率值差值最小的8邻域像素点和中心点进行连线；
获取缺陷概率图中不确定区域的概率值与中心点相近的像素点，判断该像素点及其8邻域像素点的概率值差异，获取与该像素点概率值差值最小的8邻域像素点；将与该像素点概率值差值最小的8邻域像素点和该像素点进行连线；
重复上述步骤，对不确定区域中的像素点及其8邻域像素点不断进行概率值差异判断，得到缺陷概率图中不确定区域的图像分割线；当该图像分割线形成闭合的连通域时，获得不确定区域对应的图像分割图。
5.根据权利要求1所述的一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，所述不确定区域对应的旋转复制的新图像是按照如下方式获取：
获取分割后的区域图像中缺陷概率值较大的边缘像素点的缺陷相似度，将大于缺陷相似度阈值的边缘像素点作为主要复制增强端；
获取主要复制增强端的边缘像素点的缺陷差异度，将大于缺陷差异度阈值的边缘像素点一侧作为起始旋转方向；
以主要复制增强端的最外边缘像素点为圆心，以分割后的区域图像为半径，沿着起始旋转方向进行旋转复制一周，获取不确定区域对应的旋转复制的新图像。
6.根据权利要求1或5所述的一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，所述边缘像素点的缺陷相似度是按照如下方式获得：
获取分割后的区域图像中缺陷概率较大的边缘像素点的缺陷概率值Pb(xi，yi)；
获取缺陷概率较大的边缘像素点对应的区域图像内部相邻像素点的缺陷概率值Pn(xi，yi)；
将缺陷概率较大的边缘像素点及其对应的内部相邻像素点的缺陷概率值作差，获得该缺陷概率较大的边缘像素点的缺陷相似度，缺陷相似度ρ的表达式如下：
Figure FDA0003620601170000031
式中：(xi，yi)表示第i个像素点的坐标位置，Pb(xi，yi)表示坐标为(xi，yi)的边缘像素点的缺陷概率值，Pn(xi，yi)表示与坐标为(xi，yi)的边缘像素点内部相邻的像素点缺陷概率值。
7.根据权利要求1或5所述的一种基于计算机视觉的机械零件表面气孔缺陷检测方法，其特征在于，所述边缘像素点的缺陷差异度是按照如下方式获得：
获取分割后的区域图像中缺陷概率较大的边缘像素点的缺陷概率值Pb(xi，yi)；
获取缺陷概率较大的边缘像素点对应的区域图像外部相邻像素点的缺陷概率值Pw(xi，yi)；
将缺陷概率较大的边缘像素点及其对应的外部相邻像素点的缺陷概率值作差，获得该缺陷概率较大的边缘像素点的缺陷差异度，缺陷差异度
Figure FDA0003620601170000032
的表达式如下：
Figure FDA0003620601170000033
式中：(xi，yi)表示第i个像素点的坐标位置，Pb(xi，yi)表示坐标为(xi，yi)的边缘像素点的缺陷概率值，Pw(xi，yi)表示与坐标为(xi，yi)的边缘像素点外部相邻的像素点缺陷概率值。
CN202210461657.2A 2022-04-28 2022-04-28 一种基于计算机视觉的机械零件表面气孔缺陷检测方法 Active CN114937004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461657.2A CN114937004B (zh) 2022-04-28 2022-04-28 一种基于计算机视觉的机械零件表面气孔缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461657.2A CN114937004B (zh) 2022-04-28 2022-04-28 一种基于计算机视觉的机械零件表面气孔缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114937004A true CN114937004A (zh) 2022-08-23
CN114937004B CN114937004B (zh) 2024-01-02

Family

ID=82861783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461657.2A Active CN114937004B (zh) 2022-04-28 2022-04-28 一种基于计算机视觉的机械零件表面气孔缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114937004B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503427A (zh) * 2023-06-27 2023-07-28 深圳市合成快捷电子科技有限公司 一种基于计算机视觉的柔性电路板缺陷区域快速分割方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277966A1 (en) * 2016-03-28 2017-09-28 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
KR102168724B1 (ko) * 2020-04-06 2020-10-22 이교혁 이미지 검사를 이용한 이상 판별 방법 및 장치
CN112508910A (zh) * 2020-12-02 2021-03-16 创新奇智(深圳)技术有限公司 用于多分类缺陷检测的缺陷提取方法及装置
CN113538433A (zh) * 2021-09-17 2021-10-22 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
CN113538375A (zh) * 2021-07-15 2021-10-22 合肥工业大学 一种基于YOLOv5的PCB缺陷检测方法
CN113642597A (zh) * 2021-06-23 2021-11-12 北京航空航天大学 固体火箭发动机衬层缺陷图像数据集自制方法
CN113689428A (zh) * 2021-10-25 2021-11-23 江苏南通元辰钢结构制造有限公司 基于图像处理的机械零件应力腐蚀检测方法及系统
CN114119603A (zh) * 2021-12-21 2022-03-01 武汉华塑亿美工贸有限公司 基于图像处理的快餐盒短射缺陷检测方法
CN114359270A (zh) * 2022-03-09 2022-04-15 山东华硕汽车配件科技有限公司 基于计算机视觉的汽车发动机油路铜套缺陷检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170277966A1 (en) * 2016-03-28 2017-09-28 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN111047554A (zh) * 2019-11-13 2020-04-21 华南理工大学 一种基于实例分割的复合绝缘子过热缺陷检测方法
KR102168724B1 (ko) * 2020-04-06 2020-10-22 이교혁 이미지 검사를 이용한 이상 판별 방법 및 장치
CN112508910A (zh) * 2020-12-02 2021-03-16 创新奇智(深圳)技术有限公司 用于多分类缺陷检测的缺陷提取方法及装置
CN113642597A (zh) * 2021-06-23 2021-11-12 北京航空航天大学 固体火箭发动机衬层缺陷图像数据集自制方法
CN113538375A (zh) * 2021-07-15 2021-10-22 合肥工业大学 一种基于YOLOv5的PCB缺陷检测方法
CN113538433A (zh) * 2021-09-17 2021-10-22 海门市创睿机械有限公司 基于人工智能的机械铸件缺陷检测方法及系统
CN113689428A (zh) * 2021-10-25 2021-11-23 江苏南通元辰钢结构制造有限公司 基于图像处理的机械零件应力腐蚀检测方法及系统
CN114119603A (zh) * 2021-12-21 2022-03-01 武汉华塑亿美工贸有限公司 基于图像处理的快餐盒短射缺陷检测方法
CN114359270A (zh) * 2022-03-09 2022-04-15 山东华硕汽车配件科技有限公司 基于计算机视觉的汽车发动机油路铜套缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HU YU: "Mechanical Parts Defect Detection Method Based on Computer Vision Technology", 2015 SEVENTH INTERNATIONAL CONFERENCE ON MEASURING TECHNOLOGY AND MECHATRONICS AUTOMATION, pages 20 - 22 *
周尚波: "深度学习", 西安电子科技大学出版社, pages: 20 - 22 *
徐足骋;周鑫;袁锁中;王从庆;张小正;: "基于视觉的印刷品缺陷检测技术", 重庆理工大学学报(自然科学), no. 08 *
王东;黎万义;孙佳;郝高明;王鹏;: "基于机器视觉的微小零件表面缺陷检测研究", 应用科技, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503427A (zh) * 2023-06-27 2023-07-28 深圳市合成快捷电子科技有限公司 一种基于计算机视觉的柔性电路板缺陷区域快速分割方法
CN116503427B (zh) * 2023-06-27 2023-09-22 深圳市合成快捷电子科技有限公司 一种基于计算机视觉的柔性电路板缺陷区域快速分割方法

Also Published As

Publication number Publication date
CN114937004B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN115641329B (zh) 一种锂电池隔膜缺陷检测方法及系统
WO2019104767A1 (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110503633A (zh) 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN113592861B (zh) 一种基于动态阈值的桥梁裂缝检测方法
CN115018853B (zh) 基于图像处理的机械组件缺陷检测方法
CN108846397B (zh) 一种基于图像处理的电缆半导电层自动检测方法
CN109377485A (zh) 一种方便面包装缺陷机器视觉检测方法
CN104568986A (zh) 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN115222733A (zh) 基于图像识别的金属构件表面缺陷检测方法
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN107679535A (zh) 一种基于模板匹配的指针式水表自动读数识别系统及方法
CN116309600B (zh) 基于图像处理的环保纺织品质量检测方法
CN111667470B (zh) 一种基于数字图像的工业管道探伤内壁检测方法
CN115439476B (zh) 基于图像分析的丝印缺陷检测方法及装置
CN116703251B (zh) 基于人工智能的胶圈生产质量检测方法
CN113034474A (zh) 一种oled显示器晶圆图的测试方法
CN114937004A (zh) 一种基于计算机视觉的机械零件表面气孔缺陷检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115880280A (zh) 一种钢结构焊缝质量的检测方法
CN116152242A (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN115170518A (zh) 基于深度学习和机器视觉的细胞检测方法及系统
JP3572750B2 (ja) コンクリート欠陥の自動評価方法
CN114719749A (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN112184723B (zh) 图像处理方法及装置、电子设备、存储介质
CN117351017A (zh) 一种光伏钢结构组件缺陷视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231206

Address after: No.1, No. 86, Mount Taishan Road, Yantai Economic and Technological Development Zone, Shandong Province, 264000

Applicant after: Yantai Dashi Industrial Intelligent Technology Co.,Ltd.

Address before: 226200 Jiaoyu Road, Hezuo Town, Qidong City, Nantong City, Jiangsu Province (west side of the town government)

Applicant before: Nantong Qijin Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant