CN115082444A - 一种基于图像处理的铜管焊缝缺陷检测方法及系统 - Google Patents

一种基于图像处理的铜管焊缝缺陷检测方法及系统 Download PDF

Info

Publication number
CN115082444A
CN115082444A CN202210874058.3A CN202210874058A CN115082444A CN 115082444 A CN115082444 A CN 115082444A CN 202210874058 A CN202210874058 A CN 202210874058A CN 115082444 A CN115082444 A CN 115082444A
Authority
CN
China
Prior art keywords
copper pipe
area
welding
image
welding seam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210874058.3A
Other languages
English (en)
Other versions
CN115082444B (zh
Inventor
廖晓芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Hongda Experiment Instruments Co ltd
Original Assignee
Nantong Hongda Experiment Instruments Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Hongda Experiment Instruments Co ltd filed Critical Nantong Hongda Experiment Instruments Co ltd
Priority to CN202210874058.3A priority Critical patent/CN115082444B/zh
Publication of CN115082444A publication Critical patent/CN115082444A/zh
Application granted granted Critical
Publication of CN115082444B publication Critical patent/CN115082444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于图像处理的铜管焊缝缺陷检测方法及系统，属于缺陷分析技术领域。该方法利用可见光手段获取了待检测铜管焊缝的表面图像，属于利用可见光图像来分析材料是否存在缺陷的思想，具体的，本发明基于该待检测铜管焊缝的表面图像对铜管焊缝表面是否存在焊接缺陷进行了判断，并在判断出铜管焊缝表面存在焊接缺陷的情况下，进一步分析了存在焊接缺陷的区域。本发明实现了对铜管焊接缺陷的检测，解决了现有技术中难以对焊缝表面细微缺陷进行检测的问题。

Description

一种基于图像处理的铜管焊缝缺陷检测方法及系统
技术领域
本发明涉及测试缺陷的存在技术领域，具体为一种基于图像处理的铜管焊缝缺陷检测方法及系统。
背景技术
铜管在生活中的应用十分的广泛，一个生活中最常见的应用途径就是空调输气管道，但是很多时候因为布局的原因，导致空调的输气管道的长度不够，需要再焊接一段铜管。常见的铜管焊接缺陷有：焊瘤、咬边、过烧、溶蚀、沙眼、气孔等。有的铜管焊接缺陷属于比较明显的缺陷，比较容易被检测出来；而有些铜管焊接缺陷属于比较细微的缺陷，不容易被检测出来；如何实现对铜管焊接缺陷的检测，是现有需要解决的问题。
发明内容
为了实现对铜管焊接缺陷的检测，本发明的目的在于提供一种基于图像处理的铜管焊缝缺陷检测方法及系统。
一方面，本发明的一种基于图像处理的铜管焊缝缺陷检测方法，包括以下步骤：
获取待检测铜管焊缝的表面图像，提取所述待检测铜管焊缝的表面图像中的焊缝区域，得到铜管焊缝区域图像，并将所述铜管焊缝区域图像转换为铜管焊缝区域灰度图像；
构建铜管焊缝区域灰度图像对应的灰度直方图，根据所述灰度直方图中焊瘤缺陷灰度级对应的像素点数量占比判断铜管存在焊瘤缺陷的概率；
将铜管焊缝区域灰度图像中对应灰度级为焊瘤灰度级的像素点替换为距离最近的正常像素点，得到更新后的铜管焊缝区域灰度图像；构建更新后的铜管焊缝区域灰度图像对应的像素矩阵，所述像素矩阵中各元素为更新后的铜管焊缝区域灰度图像中对应像素点的灰度值；将像素矩阵分为对称的左右两部分，对于任一部分：计算各列对应的元素之和，并根据各列对应的元素之和与对应列对应的元素之和的差异大小计算更新后的铜管焊缝区域灰度图像的对应部分存在焊接缺陷的概率；根据像素矩阵左部分存在焊接缺陷的概率、像素矩阵右部分存在焊接缺陷的概率和铜管存在焊瘤缺陷的概率判定铜管焊接表面是否存在焊接缺陷；
若判定结果为存在焊接缺陷，则对更新后的铜管焊缝区域灰度图像进行明区和暗区划分，对于任一明区：计算该明区中各像素点对应的梯度方向和标准梯度方向的差异，并将对应差异大于梯度方向阈值的像素点记为缺陷像素点，所述标准梯度方向为更新后的铜管焊缝区域灰度图像中所有明区中像素点对应的梯度方向的均值；统计该明区中缺陷像素点的数量，当该明区中缺陷像素点数量大于预设数量时，判定该明区中存在缺陷区域，并将该明区中缺陷像素点构成的连通域记为该明区对应的缺陷区域。
另一方面，本发明的一种基于图像处理的铜管焊缝缺陷检测系统，包括处理器和存储器，所述处理器执行所述存储器存储的计算机程序以实现上述的基于图像处理的铜管焊缝缺陷检测方法。
进一步地，上述方法和系统中，采用DNN网络提取所述待检测铜管焊缝的表面图像中的焊缝区域。
进一步地，上述方法和系统中，所述计算各列对应的元素之和，并根据各列对应的元素之和与对应列对应的元素之和的差异大小计算更新后的铜管焊缝区域灰度图像的对应部分存在焊接缺陷的概率，包括：
对于像素矩阵的左部分，利用如下公式计算各列对应的元素之和与对应列对应的元素之和的差异大小：
Figure 618237DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为比较差异大小的两列像素点之间的距离，
Figure 916801DEST_PATH_IMAGE004
为像素矩阵的左部分中第
Figure DEST_PATH_IMAGE005
列对应的元素之和，
Figure 821172DEST_PATH_IMAGE006
为像素矩阵的左部分中第
Figure DEST_PATH_IMAGE007
列对应的元素之和，n为像素矩阵的左部分包含的列数；
构建一阶差分序列
Figure 341015DEST_PATH_IMAGE008
，其中
Figure DEST_PATH_IMAGE009
为一阶差分序列
Figure 420967DEST_PATH_IMAGE010
中的第j个元素，
Figure DEST_PATH_IMAGE011
为一阶差分序列
Figure 636572DEST_PATH_IMAGE010
中的第1个元素，
Figure 90556DEST_PATH_IMAGE012
为一阶差分序列
Figure 227139DEST_PATH_IMAGE010
中的第
Figure DEST_PATH_IMAGE013
个元素；
计算一阶差分序列D的极差
Figure 194220DEST_PATH_IMAGE014
，其中，
Figure DEST_PATH_IMAGE015
为一阶差分序列D的极差，采用公式
Figure 577797DEST_PATH_IMAGE016
对R进行归一化处理，将得到的
Figure DEST_PATH_IMAGE017
作为像素矩阵的左部分存在焊接缺陷的概率，其中
Figure 722339DEST_PATH_IMAGE018
为一阶差分序列D中任一元素与
Figure DEST_PATH_IMAGE019
的差值的累加和。
进一步地，上述方法和系统中，所述根据像素矩阵左部分存在焊接缺陷的概率、像素矩阵右部分存在焊接缺陷的概率和铜管存在焊瘤缺陷的概率判定铜管焊接表面是否存在焊接缺陷，包括：
利用如下公式计算铜管焊缝区域存在焊接缺陷的概率：
Figure DEST_PATH_IMAGE021
其中，P为铜管焊缝表面存在焊接缺陷的概率，
Figure 524598DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
为预设的权重，
Figure 438196DEST_PATH_IMAGE024
为铜管存在焊瘤缺陷的概率，
Figure DEST_PATH_IMAGE025
作为像素矩阵的右部分存在焊接缺陷的概率。
进一步地，上述方法和系统中，利用如下公式计算明区中各像素点对应的梯度方向：
Figure DEST_PATH_IMAGE027
其中，
Figure 851729DEST_PATH_IMAGE028
为像素点r对应的水平方向的梯度幅值，
Figure DEST_PATH_IMAGE029
为像素点r对应的竖直方向的梯度幅值，
Figure 498216DEST_PATH_IMAGE030
为像素点r对应的梯度方向。
进一步地，上述方法和系统中，利用如下公式计算标准梯度方向：
Figure DEST_PATH_IMAGE031
其中，
Figure 553765DEST_PATH_IMAGE032
为标准梯度方向，
Figure DEST_PATH_IMAGE033
为更新后的铜管焊缝区域灰度图像中所有明区的像素点个数。
进一步地，上述方法和系统中，所述正常像素点为对应灰度级为明区灰度级或暗区灰度级的像素点，明区灰度级为根据经验得到的铜管焊缝表面明区对应的灰度级，暗区灰度级为根据经验得到的铜管焊缝表面暗区对应的灰度级。
本发明的有益效果：本发明根据基于待检测铜管焊缝的表面图像对应的灰度值信息实现了对焊缝表面是否存在焊接缺陷的判断，并进一步在判断出焊缝表面存在焊接缺陷的情况下实现了对缺陷位置的判断，即实现了对焊接缺陷位置的定位；本发明实现了对铜管焊接缺陷的检测，解决了现有技术中难以对焊缝表面细微缺陷进行检测的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的基于图像处理的铜管焊缝缺陷检测方法的流程图；
图2是本发明的铜管焊缝区域示意图。
具体实施方式
为了更进一步阐述本发明，下面结合附图及较佳实施例对本发明进行详细说明。
基于图像处理的铜管焊缝缺陷检测方法实施例：
为了实现对铜管焊缝中较为细小的缺陷的识别，如图1所示，本实施例的计算机PCB主板焊接缺陷检测方法包括以下步骤：
步骤1，获取待检测铜管焊缝的表面图像，提取所述待检测铜管焊缝的表面图像中的焊缝区域，得到铜管焊缝区域图像，并将所述铜管焊缝区域图像转换为铜管焊缝区域灰度图像；
为了对铜管焊缝的焊接缺陷进行检测，本实施例先采集了待检测铜管焊缝的表面图像。对该待检测铜管焊缝的表面图像进行缺陷检测需要先提取出图像中的焊缝区域，本实施例具体采用DNN网络来识别和提取图像中的焊缝区域。
在对上述DNN网络进行训练的过程中，使用的数据集为历史图像采集过程中焊缝表面图像的数据集，且待提取的焊缝形态多种多样；需要分割的像素共有两类，即训练数据集对应的标签标注过程为：对应语义分割为单通道，图像中背景区域的像素点标注为0，待提取区域像素点标注为1；网络的任务是分类，使用的
Figure 587449DEST_PATH_IMAGE034
函数为交叉熵损失函数；得到的语义分割图像中背景区域的像素值为0，焊缝区域的像素值为1，将该语义分割图像作为掩膜，与原图像进行计算，得到焊缝区域的图像，将该焊缝区域的图像记为铜管焊缝区域图像。对铜管焊缝区域图像进行灰度化处理，获得对应的灰度图像，将该灰度图像记为铜管焊缝区域灰度图像。
步骤2，构建铜管焊缝区域灰度图像对应的灰度直方图，根据所述灰度直方图中焊瘤缺陷灰度级对应的像素点数量占比判断铜管存在焊瘤缺陷的概率；
合格的焊缝表面的纹理是均匀排列的，类似于稻穗状排列，且明区暗区交替排列，如图2所示，其中虚线所示为暗区，虚线之间的部分为明区，按照从上到下的方向将图中的虚线进行排序，第一条虚线与第二条虚线之间为第一明区，对应于图中所示网格区域；第二条虚线与第三条虚线之间为第二明区，第k条虚线与第k+1条虚线之间为第k明区，以此类推。
焊瘤是比较常见的、明显的焊接缺陷，为了检测焊缝表面是否存在焊瘤这种较为明显的缺陷（由于焊瘤缺陷区域对应的灰度值与正常区域对应的灰度值存在较大差异，且一般情况下焊瘤缺陷区域对应的面积也是相对较大的，所以焊瘤这种缺陷是相对比较明显的），对于上述铜管焊缝区域灰度图像，本实施例计算其对应的灰度直方图
Figure DEST_PATH_IMAGE035
、
Figure 456704DEST_PATH_IMAGE036
、……、
Figure DEST_PATH_IMAGE037
，G为预设的灰度级数量，本实施例中G=256，
Figure 575838DEST_PATH_IMAGE035
表示铜管焊缝区域灰度图像中灰度级为0的像素点数量，
Figure 107183DEST_PATH_IMAGE036
表示铜管焊缝区域灰度图像中灰度级为1的像素点数量，
Figure 542843DEST_PATH_IMAGE037
为铜管焊缝区域灰度图像中灰度级为G-1的像素点数量。
因为焊瘤的周围像素相较于焊缝表面明区的像素点的灰度值较小，且相较于焊缝表面暗区的像素点的灰度值较大，因此，能够较为容易的将焊缝区域中的焊瘤区域与明区和暗区区分开。本实施例根据经验能够获得焊瘤缺陷对应的灰度级，也即能够根据大量的铜管焊接表面图像获得焊瘤缺陷对应的灰度级，并将其记为焊瘤灰度级，该焊瘤灰度级并不是一个灰度级，而是一个灰度级范围，包括多个灰度级，设焊瘤灰度级对应的最小灰度级为t1，焊瘤灰度级对应的最小灰度级为t2；那么t1与t2之间的灰度级对应的像素点即为焊瘤缺陷区域的像素点，计算焊瘤缺陷区域的像素点所占的比例，计算公式如下：
Figure DEST_PATH_IMAGE039
其中，
Figure 704703DEST_PATH_IMAGE024
表示焊瘤缺陷区域的像素点数量占比，用来表示存在焊瘤缺陷的概率；N为铜管焊缝区域灰度图像的像素点数量，
Figure 845222DEST_PATH_IMAGE040
为铜管焊缝区域灰度图像中灰度级为g的像素点数量。
步骤3，将铜管焊缝区域灰度图像中对应灰度级为焊瘤灰度级的像素点替换为距离最近的正常像素点，得到更新后的铜管焊缝区域灰度图像；构建更新后的铜管焊缝区域灰度图像对应的像素矩阵，所述像素矩阵中各元素为更新后的铜管焊缝区域灰度图像中对应像素点的灰度值；将像素矩阵分为对称的左右两部分，对于任一部分：计算各列对应的元素之和，并根据各列对应的元素之和与对应列对应的元素之和的差异大小计算更新后的铜管焊缝区域灰度图像的对应部分存在焊接缺陷的概率；根据像素矩阵左部分存在焊接缺陷的概率、像素矩阵右部分存在焊接缺陷的概率和铜管存在焊瘤缺陷的概率判定铜管焊接表面是否存在焊接缺陷；
为了避免焊瘤缺陷区域对后续缺陷检测的影响，本实施例将铜管焊缝区域灰度图像中检测到的焊瘤缺陷区域的像素点替换为距离其最近的正常像素点，正常像素点即对应灰度级为明区灰度级或暗区灰度级的像素点，明区灰度级为根据经验得到的铜管焊缝表面明区对应的灰度级，暗区灰度级为根据经验得到的铜管焊缝表面暗区对应的灰度级；将替换后的灰度图像作为更新后的铜管焊缝区域灰度图像，并接下来对该更新后的铜管焊缝区域灰度图像进行分析。为了简便，本实施例将更新后的铜管焊缝区域灰度图像简称为图像A。
合格的焊接表面的纹理是均匀排列的，如果焊接过程中出现飞渣、气泡等缺陷，会改变表面纹理排列的均匀性。本实施例接下来根据图像A构建样本序列，通过样本序列中灰度值的变化，来确定纹理是否发生了改变。为了构建图像A对应的样本序列，首先构建图像A对应的像素矩阵，像素矩阵中每个元素的值为对应像素点的灰度值，元素之间的位置关系为对应像素点之间的位置关系；以图A对应的竖直中心线将图像A分为左右两部分，由于图像A的左右两部分的纹理不同，因此，对于上述构建的像素矩阵，以中间点为分界线，将其分为左右两个部分。图像A的像素点数量为N，那么图A对应的左部分图像的像素点数量为N/2，若图像A对应的左部分图像为
Figure DEST_PATH_IMAGE041
，那么N/2=
Figure 524465DEST_PATH_IMAGE041
，m为图像A对应的左部分图像的行数，n为图像A对应的左部分图像的列数，即像素矩阵的左部分包含的列数，那么像素矩阵为
Figure 329479DEST_PATH_IMAGE042
的像素矩阵X，如下所示：
Figure 599923DEST_PATH_IMAGE044
其中，
Figure DEST_PATH_IMAGE045
表示图像A左部分图像对应的第1行第1列的像素点的灰度值，
Figure 962159DEST_PATH_IMAGE046
表示图像A右部分图像对应的第1行第1列的像素点的灰度值。
对像素矩阵
Figure DEST_PATH_IMAGE047
的每一列进行求和，可得到2个
Figure 913934DEST_PATH_IMAGE048
维行向量，分别为
Figure DEST_PATH_IMAGE049
和
Figure 776717DEST_PATH_IMAGE050
，将
Figure 342697DEST_PATH_IMAGE049
和
Figure 587034DEST_PATH_IMAGE050
共同记为图像A的样本序列：
Figure 749025DEST_PATH_IMAGE052
Figure 263052DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE055
表示图像A左部分图像对应的样本序列，
Figure 344141DEST_PATH_IMAGE056
表示图像A右部分图像对应的样本序列；
Figure DEST_PATH_IMAGE057
表示图像A左部分图像对应的第j列的像素点的灰度值之和，
Figure 412460DEST_PATH_IMAGE058
表示图像A右部分图像对应的第j列的像素点的灰度值之和，
Figure DEST_PATH_IMAGE059
表示图像A左部分图像对应的第i行第j列的像素点的灰度值，
Figure 223814DEST_PATH_IMAGE060
表示图像A右部分图像对应的第i行第j列的像素点的灰度值。
对于图像A对应的任一部分图像，本实施例以图像A的左部分图像为例进行说明，构建波形图，波形图的横轴表示列数，纵轴表示灰度值；该波形图是根据图像A的左部分图像中每一列像素点的灰度值计算得到的，波形图可有许多的噪点，可能会导致对整体的波形变化趋势产生误判，因此本实施例对波形图进行去噪处理，具体采用均值滤波进行平滑处理，以去除噪声。
去除噪声后的波形在没有缺陷时变化的幅度较为平缓，在有缺陷时变化的幅度较大，在离散函数中，这种变化可以用一阶差分来表示，但是样本序列的相邻两项差值十分接近，可能不能区分正常区域和缺陷区域，因此本实施例使用如下方法进行计算，如下式所示：
Figure 343080DEST_PATH_IMAGE002
得到图像A的左部分图像对应的一阶差分序列D：
Figure 985283DEST_PATH_IMAGE062
其中，
Figure 88368DEST_PATH_IMAGE003
为比较差异大小的两列像素点之间的距离，
Figure DEST_PATH_IMAGE063
，设置
Figure 44692DEST_PATH_IMAGE063
的目的是为了扩大比较差异大小的两列像素点之间的距离，使得计算更加准确，能更好的区分正常区域和缺陷区域。
Figure 677186DEST_PATH_IMAGE009
为图像A的左部分图像对应的第
Figure 490290DEST_PATH_IMAGE005
列的像素点的灰度值之和
Figure 80671DEST_PATH_IMAGE004
与第
Figure 637423DEST_PATH_IMAGE007
列的像素点的灰度值之和
Figure 731281DEST_PATH_IMAGE006
的差值，
Figure 715287DEST_PATH_IMAGE064
为一阶差分序列D中的第j个元素，
Figure 261806DEST_PATH_IMAGE004
也为像素矩阵的左部分中第
Figure 766124DEST_PATH_IMAGE005
列对应的元素之和，
Figure 229335DEST_PATH_IMAGE006
也为像素矩阵的左部分中第
Figure 400553DEST_PATH_IMAGE007
列对应的元素之和。
接下来根据图像A的左部分图像对应的一阶差分序列D判断据图像A的左部分图像的焊缝表面是否存在缺陷。具体的，取D的极差作为判断标准，极差又称范围误差或全距，为最大值与最小值之间的差距，计算公式如下：
Figure 683636DEST_PATH_IMAGE066
其中，
Figure 598502DEST_PATH_IMAGE015
为一阶差分序列D的极差。采用公式
Figure 791586DEST_PATH_IMAGE016
对R进行归一化处理，
Figure 132043DEST_PATH_IMAGE018
为一阶差分序列D中任一元素与
Figure 918733DEST_PATH_IMAGE019
的差值的累加和，将得到的
Figure 355400DEST_PATH_IMAGE017
作为图像A的左部分图像存在焊接缺陷的概率，即像素矩阵的左部分存在焊接缺陷的概率。按照上述同样的方法，也可以得到图像A的右部分图像存在焊接缺陷的概率，即像素矩阵的右部分存在焊接缺陷的概率，记为
Figure 278356DEST_PATH_IMAGE025
。
通过上述过程，本实施例得到了铜管焊缝区域灰度图像存在焊瘤缺陷的概率
Figure 775066DEST_PATH_IMAGE024
、更新后的铜管焊缝区域灰度图像的左部分图像存在焊接缺陷的概率
Figure 49052DEST_PATH_IMAGE017
和更新后的铜管焊缝区域灰度图像的右部分图像存在焊接缺陷的概率
Figure 289409DEST_PATH_IMAGE025
，接下来利用如下公式计算铜管焊缝表面存在焊接缺陷的概率：
Figure 66873DEST_PATH_IMAGE021
其中，P为铜管焊缝表面存在焊接缺陷的概率，
Figure 2992DEST_PATH_IMAGE022
和
Figure 233116DEST_PATH_IMAGE023
为预设的权重。
将P与设定阈值
Figure DEST_PATH_IMAGE067
进行比较，若P大于设定阈值
Figure 870640DEST_PATH_IMAGE067
，则判定铜管焊缝表面存在焊接缺陷；若P不大于设定阈值
Figure 502609DEST_PATH_IMAGE067
，则判定铜管焊缝表面不存在焊接缺陷。
步骤4，若判定结果为存在焊接缺陷，则对更新后的铜管焊缝区域灰度图像进行明区和暗区划分，对于任一明区：计算该明区中各像素点对应的梯度方向和标准梯度方向的差异，并将对应差异大于梯度方向阈值的像素点记为缺陷像素点，所述标准梯度方向为更新后的铜管焊缝区域灰度图像中所有明区中像素点对应的梯度方向的均值；统计该明区中缺陷像素点的数量，当该明区中缺陷像素点数量大于预设数量时，判定该明区中存在缺陷区域，并将该明区中缺陷像素点构成的连通域记为该明区对应的缺陷区域。
在判定出铜管焊缝区域存在焊接缺陷的情况下，本实施例还进一步判定焊接缺陷存在的位置。具体判定过程如下：
本实施例首先根据焊缝表面的亮暗程度对图像A进行分区，由于焊缝的明暗区域的差别比较明显，进行分区时包含两个高斯模型的混合高斯模型，焊缝的明亮区域看作前景，很明显能够分别出来。根据焊缝的明暗程度来训练模型，定义坐标为
Figure 606701DEST_PATH_IMAGE068
的像素点的灰度值为
Figure DEST_PATH_IMAGE069
，当
Figure 45160DEST_PATH_IMAGE070
时，判别该像素点属于第一类别，对应于焊缝的明部区域；当
Figure DEST_PATH_IMAGE071
时，判别该像素点属于第二类别，对应于焊缝的暗部区域，
Figure 971527DEST_PATH_IMAGE072
为根据经验得到的灰度值。将第一类别中的像素点用来计算第一个高斯模型参数
Figure DEST_PATH_IMAGE073
和
Figure 176113DEST_PATH_IMAGE074
，
Figure 592050DEST_PATH_IMAGE073
为第一个高斯模型对应的灰度均值，
Figure 48964DEST_PATH_IMAGE074
为第一个高斯模型对应的灰度方差；将第二类别中的像素点用来计算第二个高斯模型参数
Figure DEST_PATH_IMAGE075
和
Figure 903656DEST_PATH_IMAGE076
，
Figure 510218DEST_PATH_IMAGE075
为第二个高斯模型对应的灰度均值，
Figure 97057DEST_PATH_IMAGE076
为第二个高斯模型对应的灰度方差。
对于任一像素点，将
Figure 303917DEST_PATH_IMAGE069
分别带入第一和第二高斯模型中：
Figure 244191DEST_PATH_IMAGE078
式中，
Figure DEST_PATH_IMAGE079
表示第I个高斯模型对应的灰度均值，
Figure 804792DEST_PATH_IMAGE080
表示第I个高斯模型对应的方差，I=1,2。计算出该像素点对应的N1和N2值之后，比较N1和N2值，如果N1不小于N2值，那么判定该像素点属于第一个高斯模型对应的明区，如果N1小于N2值，那么判定该像素点属于第二个高斯模型对应的暗区。
通过以上步骤可以判断图像A中任一像素点是属于明区还是暗区，将属于明区的像素点构成的连通域记为明区，将属于暗区的像素点构成的连通域记为暗区，即可获得了焊缝表面的分区模型，该模型包括多个明区和多个暗区，且明区和暗区交叉排列。
正常焊缝图像的焊缝区域特征基本是稳定的和均匀的，每个明区的表面纹理基本相同，明区内的像素点的梯度方向基本一致；如果某个明区中像素点的梯度方向与整体的梯度方向存在较大差异，那么该像素点很可能为缺陷像素点。
具体的，以图像A中水平方向为横轴，以对称轴为纵轴建立直角坐标系，计算图像A中任一明区像素点r的梯度方向
Figure DEST_PATH_IMAGE081
，
Figure 890429DEST_PATH_IMAGE028
为像素点r对应的水平方向的梯度幅值，
Figure 194371DEST_PATH_IMAGE029
为像素点r对应的竖直方向的梯度幅值，那么图像A中所有明区像素点对应的梯度方向的均值为：
Figure 938336DEST_PATH_IMAGE082
，
Figure 37267DEST_PATH_IMAGE033
为图像A中所有明区的像素点个数；对于任一明区：计算该明区中任一像素点s的梯度方向
Figure DEST_PATH_IMAGE083
，
Figure 762646DEST_PATH_IMAGE084
为像素点s对应的水平方向的梯度幅值，
Figure DEST_PATH_IMAGE085
为像素点s对应的竖直方向的梯度幅值；计算该明区中每个像素点的梯度方向与
Figure 22726DEST_PATH_IMAGE032
的差异
Figure 554071DEST_PATH_IMAGE086
，当
Figure DEST_PATH_IMAGE087
大于梯度方向阈值
Figure 586136DEST_PATH_IMAGE088
时，判定该像素点为缺陷像素点，当
Figure 544734DEST_PATH_IMAGE087
不大于梯度方向阈值
Figure 620006DEST_PATH_IMAGE088
时，判定该像素点为正常像素点。如果该明区中缺陷像素点的数量大于预设数量，则判定该明区中存在焊接缺陷区域，并将该明区中缺陷像素点构成的连通域记为该明区对应的缺陷区域，该明区中缺陷区域的个数可能并不唯一；如果该明区中缺陷像素点的数量不大于预设数量，则判定该明区中不存在缺陷区域。本实施例设置预设数量的目的是为了避免噪声像素点对判定结果的干扰。
本实施例根据基于待检测铜管焊缝的表面图像对应的灰度值信息实现了对焊缝表面是否存在焊接缺陷的判断，并进一步在判断出焊缝表面存在焊接缺陷的情况下实现了对缺陷位置的判断，即实现了对焊接缺陷位置的定位；本实施例实现了对铜管焊接缺陷的检测，解决了现有技术中难以对焊缝表面细微缺陷进行检测的问题。
基于图像处理的铜管焊缝缺陷检测系统实施例：
本实施例的基于图像处理的铜管焊缝缺陷检测系统包括处理器和存储器，所述处理器执行所述存储器存储的计算机程序以实现如基于图像处理的铜管焊缝缺陷检测方法实施例中的基于图像处理的铜管焊缝缺陷检测方法。由于基于图像处理的铜管焊缝缺陷检测方法实施例中已经对基于图像处理的铜管焊缝缺陷检测方法进行了详细说明，因此，本实施例不再对基于图像处理的铜管焊缝缺陷检测方法进行赘述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于图像处理的铜管焊缝缺陷检测方法，其特征在于，包括以下步骤：
获取待检测铜管焊缝的表面图像，提取所述待检测铜管焊缝的表面图像中的焊缝区域，得到铜管焊缝区域图像，并将所述铜管焊缝区域图像转换为铜管焊缝区域灰度图像；
构建铜管焊缝区域灰度图像对应的灰度直方图，根据所述灰度直方图中焊瘤缺陷灰度级对应的像素点数量占比判断铜管存在焊瘤缺陷的概率；
将铜管焊缝区域灰度图像中对应灰度级为焊瘤灰度级的像素点替换为距离最近的正常像素点，得到更新后的铜管焊缝区域灰度图像；构建更新后的铜管焊缝区域灰度图像对应的像素矩阵，所述像素矩阵中各元素为更新后的铜管焊缝区域灰度图像中对应像素点的灰度值；将像素矩阵分为对称的左右两部分，对于任一部分：计算各列对应的元素之和，并根据各列对应的元素之和与对应列对应的元素之和的差异大小计算更新后的铜管焊缝区域灰度图像的对应部分存在焊接缺陷的概率；根据像素矩阵左部分存在焊接缺陷的概率、像素矩阵右部分存在焊接缺陷的概率和铜管存在焊瘤缺陷的概率判定铜管焊接表面是否存在焊接缺陷；
若判定结果为存在焊接缺陷，则对更新后的铜管焊缝区域灰度图像进行明区和暗区划分，对于任一明区：计算该明区中各像素点对应的梯度方向和标准梯度方向的差异，并将对应差异大于梯度方向阈值的像素点记为缺陷像素点，所述标准梯度方向为更新后的铜管焊缝区域灰度图像中所有明区中像素点对应的梯度方向的均值；统计该明区中缺陷像素点的数量，当该明区中缺陷像素点数量大于预设数量时，判定该明区中存在缺陷区域，并将该明区中缺陷像素点构成的连通域记为该明区对应的缺陷区域。
2.根据权利要求1所述的基于图像处理的铜管焊缝缺陷检测方法，其特征在于，采用DNN网络提取所述待检测铜管焊缝的表面图像中的焊缝区域。
3.根据权利要求1所述的基于图像处理的铜管焊缝缺陷检测方法，其特征在于，所述计算各列对应的元素之和，并根据各列对应的元素之和与对应列对应的元素之和的差异大小计算更新后的铜管焊缝区域灰度图像的对应部分存在焊接缺陷的概率，包括：
对于像素矩阵的左部分，利用如下公式计算各列对应的元素之和与对应列对应的元素之和的差异大小：
Figure 403844DEST_PATH_IMAGE001
其中，
Figure 591243DEST_PATH_IMAGE002
为比较差异大小的两列像素点之间的距离，
Figure 763467DEST_PATH_IMAGE003
为像素矩阵的左部分中第
Figure 10909DEST_PATH_IMAGE004
列对应的元素之和，
Figure 268584DEST_PATH_IMAGE005
为像素矩阵的左部分中第
Figure 181045DEST_PATH_IMAGE006
列对应的元素之和，n为像素矩阵的左部分包含的列数；
构建一阶差分序列
Figure 692929DEST_PATH_IMAGE007
，其中
Figure 363469DEST_PATH_IMAGE008
为一阶差分序列
Figure 593594DEST_PATH_IMAGE009
中的第j个元素，
Figure 434380DEST_PATH_IMAGE010
为一阶差分序列
Figure 800770DEST_PATH_IMAGE009
中的第1个元素，
Figure 639282DEST_PATH_IMAGE011
为一阶差分序列
Figure 543653DEST_PATH_IMAGE009
中的第
Figure 876545DEST_PATH_IMAGE012
个元素；
计算一阶差分序列D的极差
Figure 626937DEST_PATH_IMAGE013
，其中，
Figure 652662DEST_PATH_IMAGE014
为一阶差分序列D的极差，采用公式
Figure 106646DEST_PATH_IMAGE015
对R进行归一化处理，将得到的
Figure 712071DEST_PATH_IMAGE016
作为像素矩阵的左部分存在焊接缺陷的概率，其中
Figure 567900DEST_PATH_IMAGE017
为一阶差分序列D中任一元素与
Figure 561264DEST_PATH_IMAGE018
的差值的累加和。
4.根据权利要求3所述的基于图像处理的铜管焊缝缺陷检测方法，其特征在于，所述根据像素矩阵左部分存在焊接缺陷的概率、像素矩阵右部分存在焊接缺陷的概率和铜管存在焊瘤缺陷的概率判定铜管焊接表面是否存在焊接缺陷，包括：
利用如下公式计算铜管焊缝区域存在焊接缺陷的概率：
Figure 236965DEST_PATH_IMAGE019
其中，P为铜管焊缝表面存在焊接缺陷的概率，
Figure 911660DEST_PATH_IMAGE020
和
Figure 624926DEST_PATH_IMAGE021
为预设的权重，
Figure 726874DEST_PATH_IMAGE022
为铜管存在焊瘤缺陷的概率，
Figure 827554DEST_PATH_IMAGE023
作为像素矩阵的右部分存在焊接缺陷的概率。
5.根据权利要求1所述的基于图像处理的铜管焊缝缺陷检测方法，其特征在于，利用如下公式计算明区中各像素点对应的梯度方向：
Figure 555207DEST_PATH_IMAGE024
其中，
Figure 605203DEST_PATH_IMAGE025
为像素点r对应的水平方向的梯度幅值，
Figure 189637DEST_PATH_IMAGE026
为像素点r对应的竖直方向的梯度幅值，
Figure 590662DEST_PATH_IMAGE027
为像素点r对应的梯度方向。
6.根据权利要求5所述的基于图像处理的铜管焊缝缺陷检测方法，其特征在于，利用如下公式计算标准梯度方向：
Figure 859357DEST_PATH_IMAGE028
其中，
Figure 216389DEST_PATH_IMAGE029
为标准梯度方向，
Figure 394561DEST_PATH_IMAGE030
为更新后的铜管焊缝区域灰度图像中所有明区的像素点个数。
7.根据权利要求1所述的基于图像处理的铜管焊缝缺陷检测方法，其特征在于，所述正常像素点为对应灰度级为明区灰度级或暗区灰度级的像素点，明区灰度级为根据经验得到的铜管焊缝表面明区对应的灰度级，暗区灰度级为根据经验得到的铜管焊缝表面暗区对应的灰度级。
8.一种基于图像处理的铜管焊缝缺陷检测系统，包括处理器和存储器，其特征在于，所述处理器执行所述存储器存储的计算机程序以实现如权利要求1-7任一项所述的基于图像处理的铜管焊缝缺陷检测方法。
CN202210874058.3A 2022-07-25 2022-07-25 一种基于图像处理的铜管焊缝缺陷检测方法及系统 Active CN115082444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210874058.3A CN115082444B (zh) 2022-07-25 2022-07-25 一种基于图像处理的铜管焊缝缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210874058.3A CN115082444B (zh) 2022-07-25 2022-07-25 一种基于图像处理的铜管焊缝缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN115082444A true CN115082444A (zh) 2022-09-20
CN115082444B CN115082444B (zh) 2022-11-11

Family

ID=83241988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874058.3A Active CN115082444B (zh) 2022-07-25 2022-07-25 一种基于图像处理的铜管焊缝缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN115082444B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272349A (zh) * 2022-09-30 2022-11-01 江苏宝翼通讯科技有限公司 一种计算机pcb主板焊接缺陷检测方法
CN118037722A (zh) * 2024-04-11 2024-05-14 陕西峰盛威铜业有限公司 一种铜管生产缺陷检测方法及系统
CN118261408A (zh) * 2024-03-26 2024-06-28 苏州旗开得电子科技有限公司 一种smt电子制造智能生产的调度方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683974B1 (en) * 2000-01-12 2004-01-27 Sharp Kabushiki Kaisha Image defect detection apparatus and image defect detection method
CN109738454A (zh) * 2019-03-18 2019-05-10 福建工程学院 一种软包电池极耳焊缝检测装置及方法
CN111982916A (zh) * 2020-08-20 2020-11-24 南京中车浦镇城轨车辆有限责任公司 一种基于机器视觉的焊缝表面缺陷检测方法及系统
CN112288694A (zh) * 2020-10-19 2021-01-29 武汉大学 一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法
CN113436168A (zh) * 2021-06-25 2021-09-24 重庆邮电大学 一种用于工业焊缝x光图中的裂纹缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683974B1 (en) * 2000-01-12 2004-01-27 Sharp Kabushiki Kaisha Image defect detection apparatus and image defect detection method
CN109738454A (zh) * 2019-03-18 2019-05-10 福建工程学院 一种软包电池极耳焊缝检测装置及方法
CN111982916A (zh) * 2020-08-20 2020-11-24 南京中车浦镇城轨车辆有限责任公司 一种基于机器视觉的焊缝表面缺陷检测方法及系统
CN112288694A (zh) * 2020-10-19 2021-01-29 武汉大学 一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法
CN113436168A (zh) * 2021-06-25 2021-09-24 重庆邮电大学 一种用于工业焊缝x光图中的裂纹缺陷检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272349A (zh) * 2022-09-30 2022-11-01 江苏宝翼通讯科技有限公司 一种计算机pcb主板焊接缺陷检测方法
CN118261408A (zh) * 2024-03-26 2024-06-28 苏州旗开得电子科技有限公司 一种smt电子制造智能生产的调度方法及系统
CN118037722A (zh) * 2024-04-11 2024-05-14 陕西峰盛威铜业有限公司 一种铜管生产缺陷检测方法及系统
CN118037722B (zh) * 2024-04-11 2024-06-07 陕西峰盛威铜业有限公司 一种铜管生产缺陷检测方法及系统

Also Published As

Publication number Publication date
CN115082444B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN115082444B (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN110148130B (zh) 用于检测零件缺陷的方法和装置
JP4038356B2 (ja) 欠陥データ解析方法及びその装置並びにレビューシステム
JP4521386B2 (ja) 欠陥データ解析方法およびその装置
JP4310090B2 (ja) 欠陥データ解析方法及びその装置並びにレビューシステム
CN115423813B (zh) 焊管表面焊接缺陷检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
CN115690108A (zh) 一种基于图像处理的铝合金杆生产质量评估方法
CN115880520A (zh) 一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统
CN110648323B (zh) 一种缺陷检测分类系统及其方法
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN115345894B (zh) 一种焊缝射线检测图像分割方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
US12094098B2 (en) Defect management apparatus, method and non-transitory computer readable medium
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN114820625A (zh) 一种汽车顶块缺陷检测方法
CN111402236A (zh) 一种基于图像灰度值的热轧带钢表面缺陷分级方法
CN118071735B (zh) 一种液漏检测方法及系统
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN111627018B (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN114897869A (zh) 基于工业缺陷检测的分割模型评价方法
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN114677428A (zh) 基于无人机图像处理的输电线覆冰厚度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant