CN115082467A - 基于计算机视觉的建材焊接表面缺陷检测方法 - Google Patents
基于计算机视觉的建材焊接表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115082467A CN115082467A CN202211002588.5A CN202211002588A CN115082467A CN 115082467 A CN115082467 A CN 115082467A CN 202211002588 A CN202211002588 A CN 202211002588A CN 115082467 A CN115082467 A CN 115082467A
- Authority
- CN
- China
- Prior art keywords
- gray
- abnormal
- block
- value
- gray scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 80
- 238000003466 welding Methods 0.000 title claims abstract description 73
- 239000004566 building material Substances 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 164
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000013139 quantization Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000000638 solvent extraction Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 14
- 150000001875 compounds Chemical class 0.000 claims description 11
- 241001270131 Agaricus moelleri Species 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 125000004432 carbon atom Chemical group C* 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000002893 slag Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明基于计算机视觉技术领域,具体涉及一种基于计算机视觉的建材焊接表面缺陷检测方法,获取建材焊接表面灰度图像并进行分块,将每个分块中像素点分为正常像素点和异常像素点,对正常像素点和异常像素点进行灰阶划分,获取每个分块的灰阶共生矩阵,根据每个灰阶对出现的次数和该灰阶对的位置与正常灰阶对的位置之间的距离得到每个分块的纹理异常程度,根据每个分块的灰阶共生矩阵中包含正常灰阶的灰阶对在该分块中出现的次数得到每个分块的异常面积特征值,根据异常面积特征值和纹理异常程度得到异常量化值,根据异常量化值对每个分块进行图像增强,将增强后焊接表面灰度图像输入利用神经网络检测出具体缺陷,提高了缺陷检测的精度。
Description
技术领域
本申请涉及计算机视觉领域,具体涉及一种基于计算机视觉的建材焊接表面缺陷检测方法。
背景技术
我国作为建筑大国,每年都要使用大量建筑建材,建筑建材在生产生活中的重要性不言而喻。在实际使用中,由于各种场景需要,往往需要对建材进行焊接,以使其达到使用的需求,焊接的质量直接影响建材的使用寿命和承载强度,关乎到生产安全,在焊接过程中,由于人为技术原因或者机器精度影响,会造成建材焊接质量的缺陷,常见的缺陷包括气孔、夹渣、未焊透、未熔合、裂纹、凹坑、咬边、焊瘤等,若不进行缺陷检测,则由于缺陷存在可能导致建筑结构坍塌等严重的安全事故,因此,在焊接结束后需要对焊接部位进行缺陷检测,保证焊接的质量。目前常见的缺陷检测为人工检测、神经网络检测,其中,人工检测有效率低下,人眼难以发现微小缺陷,造成检测精度也不高;神经网络检测是将焊接图像传入神经网络进行缺陷识别,虽然检测速度较快,效率高,但是由于焊接图像中的缺陷特征经常不够不明显,缺陷微小,直接利用神经网络检测焊接图像进行缺陷检测的方式精度也不够高。
发明内容
本发明提供一种基于计算机视觉的建材焊接表面缺陷检测方法,解决焊接图像缺陷检测的低效率和精度低的问题,采用如下技术方案:
获取建材焊接表面灰度图像并进行分块;
将每个分块的灰度直方图中像素点最多的灰度值作为标准灰度值;
根据标准灰度值对应的像素点和其他灰度值对应像素点之间的距离得到正常像素点和异常像素点;
将正常像素点对应的灰度值作为一个正常灰阶,根据异常像素点的灰度值之间的梯度大小将异常像素点灰度值划分为多个异常灰阶;
将每个分块中每个像素点的灰阶和邻域像素点的灰阶均值组成灰阶对,根据每个灰阶对构建每个分块的灰阶共生矩阵;
获取每个分块的灰阶共生矩阵中每个灰阶对与正常灰阶对之间的距离,并根据每个灰阶对出现的次数和该灰阶对与正常灰阶对之间的距离得到每个分块的纹理异常程度;
根据每个分块的灰阶共生矩阵中正常灰阶和异常灰阶组成的灰阶对在该分块中出现的次数得到每个分块的异常面积特征值;
根据每个分块的异常面积特征值和纹理异常程度得到每个分块的异常量化值;
根据每个分块的异常量化值对每个分块进行图像增强,得到增强后的建材焊接表面灰度图像,利用神经网络检测图像增强后的分块中的具体缺陷。
所述根据标准灰度值对应的像素点和其他灰度值对应像素点之间的距离得到正常像素点和异常像素点的方法为:
则计算其他灰度值的像素点和标准灰度值的像素点之间的距离:
获取其他灰度值的像素点和标准灰度值的像素点之间的距离集合,利用K-means聚类将距离集合中的距离分为两类,距离大的一类为正常像素点集合,小的为异常像素点集合。
所述根据异常像素点的灰度值之间的梯度大小将异常像素点灰度值划分为多个异常灰阶的方法为:
将异常像素点按照灰度值进行降序排序,以排序后的最大灰度值为当前灰度值,比较当前灰度值之后的其他灰度值的梯度,将梯度小于等于阈值的灰度值作为同一个异常灰阶,将梯度大于阈值的灰度值作为新的目标灰度值,重复上述操作,得到多个异常灰阶。
所述每个灰阶对和正常灰阶对之间的欧式距离和每个灰阶对在该分块中出现的次数得到每个分块的纹理异常程度的方法为:
所述根据每个分块的灰阶共生矩阵中包含正常灰阶的灰阶对在该分块中出现的次数得到每个分块的异常面积特征值的方法为:
所述根据每个分块的异常面积特征值和纹理异常程度得到每个分块的异常量化值的方法为:
所述每个分块的增强图像的获取方法为:
将所有分块的异常量化值按照从小到大进行排序,得到最大异常量化值和最小异常量化值;
利用最大异常量化值和最小异常量化值得到每个分块的归一化异常程度;
将每个分块的归一化异常程度作为指数,对每个分块中的像素点灰度值进行非线性灰度指数变换,得到每个分块的增强图像。
所述利用神经网络检测图像增强后的分块中的具体缺陷的方法为:
将增强后的分块图像输入Faster-RCNN神经网络,神经网络对每个分块中的具体缺陷进行识别后输出。
本发明的有益效果是:获取建材焊接表面灰度图像并进行分块,对每个分块进行灰阶划分,灰阶划分是在整体图像的统计特性得到的,更能体现图像的特征信息;根据灰度直方图选取标准灰度值,并对应的像素点和其他灰度值对应像素点之间的距离得到正常像素点和异常像素点,既考虑了灰度值的差异性,又考虑了像素点数量的差异性,使得像素点划分更加合理;利用异常像素点之间的梯度划分异常灰阶,在保留细节特征的同时,又减少计算量;根据灰阶的划分得到灰阶共生矩阵,相比于直接获取图像的信息熵、方差、灰度共生矩阵的方式能够更好的表征图像的纹理信息特征和灰度分布特征,通过灰阶共生矩阵的相关量化值的计算能够得到焊接图像特征的更准确的表达;根据每个分块的异常量化值对块图像进行自适应灰度指数变换的特征增强,将焊接图像中的缺陷部分的特征变得更加明显,提高了检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种基于计算机视觉的建材焊接表面缺陷检测方法的流程示意图;
图2是本发明的一种基于计算机视觉的建材焊接表面缺陷检测方法的气孔缺陷示意图;
图3是本发明的一种基于计算机视觉的建材焊接表面缺陷检测方法的咬边缺陷示意图;
图4是本发明的一种基于计算机视觉的建材焊接表面缺陷检测方法的分块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的一种基于计算机视觉的建材焊接表面缺陷检测方法的实施例,如图1所示,包括:
步骤一:获取建材焊接表面灰度图像并进行分块;
该步骤的目的是采集焊接建材的焊接部位图像,并进行分块,作为后续分析基础。
本步骤通过高清相机采集焊接后的建材的焊接表面图像,然后进行灰度化,由于焊接缺陷不明显,因此需要高清相机采集清晰的焊接表面图像,以便后续的精确识别检测,其中焊接部位缺陷中的气孔缺陷如图2所示,咬边缺陷如图3所示。
由于在进行建材表面的焊接时,理想情况下,焊接部位的建材融合部分应当是越光滑越好,表明建材接口融合较好,且即使出现纹理,也存在一定的规律,不是杂乱的纹理。当焊接出现问题时,焊接表面会出现不同的特征,比如异常的纹理,异常的灰度,某个部位出现区域异常。与此同时焊接部位一般都是狭长的图像,当缺陷存在时,缺陷部位出现色差,且周围灰度值出现变化,有不同的梯度,因此,本实施例基于以上分析结合焊接的特点对焊接图像进行特征增强。
需要说明的是,由于建材焊接部位一般都为狭长的图像,且焊接质量越好,焊接表面越光滑,纹理分布越规律,缺陷的可能性越小,并且,即使存在缺陷也能够很容易的被检测出来;当焊接不光滑的位置,纹理分布杂乱,缺陷的可能性大,同时由于纹理分布的不规律,灰度值分布散乱,导致缺陷不明显,不易被检测到,如图2、图3所示。
其中,对建材焊接表面灰度图像并进行分块的方法为:
本实施例通过对焊接图像进行分块计算每个图像块的纹理信息分布情况,分块以狭长方向进行划分,划分成一列相同大小的图像块,如图4所示,根据最终每个分块的特性进行不同程度的特征增强。
步骤二:将每个分块的灰度直方图中像素点最多的灰度值作为标准灰度值;根据标准灰度值对应的像素点和其他灰度值对应像素点之间的距离得到正常像素点和异常像素点;
该步骤的目的是基于步骤一中的每个分块图像进行分析,根据分块中像素点的灰度值和数量将像素点进行分类,并对每类像素点进行灰阶划分,得到每个分块图像中的灰阶分布。
其中,标准灰度值的获取方法为:获得焊接图像的灰度直方图,灰阶的划分是根据原始的灰度直方图得到的,作为焊接图像,正常焊接部位的图像像素点一般都是灰度值相近的,并且连接成一片,因此在灰度直方图中,像素点最多对应的灰度值一定是正常灰度值,假设为,分别表示灰度值和最大像素点个数,本实施例中将像素点最多对应的灰度值作为标准灰度值,为灰度直方图中第i个灰度值。
其中,根据标准灰度值对应的像素点和其他灰度值对应像素点之间的距离得到正常像素点和异常像素点的方法为:
(4)通过K-means聚类对距离集合进行聚类分析得到两个集合,由于正常灰度值和异常灰度值的特性,将聚类后灰度值大的一类灰度值对应的像素点的为正常像素点,灰度值小的一类灰度值对应的像素点为异常像素点。
本方法在确定正常灰阶的过程中应当考虑到像素点个数,及其对应的灰度值,正常灰度值机器对应像素点对之间的距离应当是距离较近的,如果以灰度值和对应像素点当作一个二维坐标,则正常灰度点对和之间的欧式距离应当是较小的,这个欧式距离既考虑了灰度值的差异性,又考虑了像素点数量的差异性。
步骤三:将正常像素点对应的灰度值作为一个正常灰阶,根据异常像素点的灰度值之间的梯度大小将异常像素点灰度值划分为多个异常灰阶;
该步骤的目的是,对分块中的像素点的灰度值进行灰阶划分,为后续灰阶共生矩阵提供了基础。
本步骤中将所有正常像素点对应的灰度值统一划分为同一个灰阶n;
其中,根据异常像素点的灰度值之间的梯度大小将异常像素点灰度值划分为多个异常灰阶的方法为:
异常像素点灰阶的划分方式和正常灰阶确定的方式不同,因为异常灰度值对应的像素点个数没有固定的规律,所以不能将像素点个数考虑进去,同时为了尽可能的保留细节特征的同时,又减少计算量,本实施例仅仅考虑灰度值之间的梯度:
(2)通过相邻灰度的梯度结合视觉特性来异常灰阶的集合,方法如下:
首先判断和剩余灰度值之间的梯度,即和其他每个灰度值之间的灰度差,如果小于4,则将两者化为一个灰阶,直至满足梯度大于4,将所有小于四的梯度化为一个灰阶,然后以当前灰度值为起点,计算后续灰度值与当前灰度值之间的梯度是否小于4,如果小于四化为一个灰阶,大于4以当前灰度为起点重新计算,得到分块中的异常灰阶。
因为合金图像中由于缺陷的微小特性,如果将所有异常划分一个灰阶,失去了细节的特征信息,如果每个异常灰度值划分为一个灰阶会使计算量几何量级提升,因此综合以上切考虑到视觉特性,根据异常灰度值之间的梯度进行划分,梯度阈值选择4,选取原因是该值既能保留细节特征,又可以较好的降低计算。
需要说明的是,本实施例中后续要通过灰阶共生矩阵对各个分块图像进行分析,因此需要首先在本步骤中,对整体图像的分析确定统一的灰阶分布,要对正常灰度值对应的灰阶范围进行确定,由于焊接的正常部位像素点灰度值接近,因此本步骤以标准灰度值为中心,附近的灰度值对应像素点位正常灰度值对应像素点,而这个范围的确定应当与图像本身有关,通过计算来确定最终的正常灰阶的范围。
本步骤的有益效果是,在整体图像的分析确定统一的灰阶分布,这是因为不同的灰阶划分所计算出的相关信息的度量是大不相同的,因此需要对所有图像块确定统一的灰阶划分,并且,统一的灰阶划分是在整体图像的统计特性得到的,更能体现图像的特征信息。
步骤四:将每个分块中每个像素点的灰阶和邻域像素点的灰阶均值组成灰阶对,根据每个灰阶对构建每个分块的灰阶共生矩阵;获取每个分块的灰阶共生矩阵中每个灰阶对与正常灰阶对之间的距离,并根据每个灰阶对出现的次数和该灰阶对与正常灰阶对之间的距离得到每个分块的纹理异常程度;
该步骤的目的是,根据步骤三中的灰阶划分得到每个分块的灰阶共生矩阵,并且基于灰阶共生矩阵对每个分块中的纹理特征进行分析,得到每个分块的纹理异常程度。
其中,每个分块的灰阶共生矩阵获取方法为:
获取每个分块中每个像素点的灰阶和0度、45度、90度、135度方向上的相邻像素点的灰阶均值组成灰阶对,得到该分块的灰阶共生矩阵,根据灰阶的划分得到灰度共生矩阵,相比于直接对图像计算得到的图像的信息熵和方差灰度共生矩阵能够更好的表征图像的纹理信息特征和灰度分布特征,因此通过灰度共生矩阵的相关量化函数的计算能够得到焊接图像特征的更准确的表达。
灰阶共生矩阵总共有m行,m列,行和列值都代表灰阶,矩阵中的元素值为每个灰阶对在该分块中出现的次数。
需要说明的是,在步骤三中通过对正常灰度值和异常灰度值的区分将所有正常灰度值化为一个灰阶,异常灰度值化为不同的灰阶,因此在灰度共生矩阵中,异常灰阶对应的元素越大,表明缺陷的可能性越大。与此同时本发明是通过对焊接图像进行分块,如果当前图像块存在缺陷,相比于整幅图像的信息来说,小的分块图像中缺陷占据的比例更大,因此在灰度共生矩阵中,异常值更加明显。
其中,根据每个分块的灰阶共生矩阵中,每个灰阶对在该分块中出现的次数和该灰阶对的位置与正常灰阶对的位置之间的距离得到每个分块的纹理异常程度的方法为:
在灰度共生矩阵中异常灰阶和正常灰阶的差距越大,表明异常程度越高,而灰阶的差异在灰度共生矩阵中表现为和正常灰阶之间的距离,距离越远,差异越大,此时异常应当有较大的权值,并且异常的纹理越多越明显在灰度共生矩阵中异常灰阶对应的非零元素值越多,在假设正常灰阶为n,基于以上分析则有:
式中,表示当前焊接图像分块的异常程度,、为灰阶,为正常灰阶,为灰阶共生矩阵中的灰阶对(i,j)在分块中出现的次数,,为最大灰阶,上式的含义在于,以正常灰阶作为参考,在灰阶共生矩阵中,异常灰阶的元素和正常灰阶之间的距离越远,表明异常程度越大,应当给予更高的权重,所以以欧式距离的平方作为权重,表示在位置(i,j)处的灰阶对和正常灰阶对(n,n)之间的欧式距离的平方,表示在(i,j)处的灰阶对出现的次数,并且非零个数越多,表明纹理越杂乱,因此上式中值越大,表明当前图像的异常程度越大,纹理信息越杂乱,上式通过平方的方式加大正常焊接图像块和异常焊接图像块之间的差异。
步骤五:根据每个分块的灰阶共生矩阵中正常灰阶和异常灰阶组成的灰阶对在该分块中出现的次数得到每个分块的异常面积特征值;根据每个分块的异常面积特征值和纹理异常程度得到每个分块的异常量化值;
该步骤的目的是,通过灰阶共生矩阵中异常灰阶和正常灰阶组成的灰阶对的分布情况反映分块图像中正常灰度和异常灰度的分界,根据分界得到每个分块中的异常面积特征,并结合异常纹理得到每个分块的异常量化值。
其中,每个分块的异常面积特征值的获取方法为:
上式中,、为异常灰阶i和正常灰阶n组成的灰阶对在分块中出现的次数,为异常灰阶j和正常灰阶n在分块中出现的次数,,通过统计异常灰阶和正常灰阶对应图像中像素点对出现的次数来表征缺陷的大小,因为在灰度共生矩阵中,元素值表示的是对应灰阶在原图中相邻像素点的灰阶值,在图像中异常区域的面积越大周长就越大,则异常和正常相邻的像素点对就越多,反之,异常和正常点组成的点对越多,表明异常区域的面积越大。所以对于本发明的灰度共生矩阵中,正常灰阶是n,第n行和第n列上的元素表示图像中正常像素点和异常像素点相邻的个数,所以该值越大,表明异常区域的面积越大。
需要说明的是,步骤四从整体的角度对当前焊接图像块的异常程度的判断,而在灰度共生矩阵中元素值是灰阶之间的点对,即相邻像素点的灰阶是属于哪个灰阶,对于正常灰阶n来说,在灰度共生矩阵中,第n行和第n列数据,都是指异常元素点和正常像素点相邻的像素点对的个数,而该点对的个数越多表示缺陷的范围越大;
公式中,反映了当前图像块的缺陷的可能性大小,值越小表明当前分块存在缺陷的可能性越大,取倒数的原因是为了便于后续的缺陷特征增强操作,表示当前图像块的缺陷的可能性大小,和分别表示图像的整体异常程度和当前图像块的异常面积,因此越大,表明当前图像块的异常程度越大,而在后续的进行图像增强的过程中,需要结合灰度指数变换的特性,为了两者更改好的结合取的倒数,当越小时,异常程度越大,使其成反比关系。
步骤六:根据所有分块的异常量化值中的最大异常量化值和最小异常量化得到每个分块的归一化异常程度;将每个分块的归一化异常程度作为非线性灰度指数变换中的指数,对每个分块中的像素点灰度值进行非线性灰度指数变换,得到每个分块的增强图像;根据每个分块的增强图像得到增强后的建材焊接表面灰度图像,利用神经网络检测增强后的建材焊接表面灰度图像中的具体缺陷。
该步骤的目的是,利用步骤五获得的每个分块的异常量化值对每个分块进行图像增强,提高缺陷特征,方便后续检测。
其中,根据每个分块的异常量化值对每个分块进行图像增强,得到增强后的建材焊接表面灰度图像的方法为:
(2)结合灰度指数变换特性,异常程度的值越小表明当前图像块的纹理信息杂乱,存在缺陷的可能性越大,灰度值越小,特征越不明显,因此需要提高该低灰度区域的对比度,且增强的程度越强;随着的增加,当前灰度值越大,存在缺陷的可能性越小,对比度增强的效果越不明显,因此以每个图像块的异常程度值调节灰度指数变换的调节系数:
上式得含义在于异常程度的值越小表明当前图像块的纹理信息杂乱,存在缺陷的可能性越大灰度值越小,特征越不明显,因此需要提高该低灰度区域的对比度,且增强的程度越强;随着的增加,当前灰度值越大,存在缺陷的可能性越小,对比度增强的效果越不明显。
本步骤最终通过每个图像块的异常程度来实现指数变换系数的控制,进而达到自适应灰度指数增强的目的。
需要说明的是,以上的操作结合灰阶划分特性得到的灰度共生矩阵的相关分析,得到了图像块的焊接异常的量化值,该值越小表明异常的程度越大,并且对于焊点正常的像素点一般都为明亮的灰度值较高的点,对于缺陷部位由于裂纹烧穿,夹渣等原因像素点的灰度值较小。而每个图像异常量化值表示了不同图像块的的异常程度,异常程度的原因是纹理的杂乱或缺陷造成的,因此也反映了图像灰度值的分布范围,异常程度越大灰度值越低,并且为了使得图像特征更加明显可以通过提高对比度的方式,灰度指数变换能够按照系数的变化来有需要的对不同灰度值分布的图像进行对比度增强。
其中,利用神经网络检测图像增强后的分块中的具体缺陷的方法为:
本实施例的步骤一到六,通过对焊接图像的整体和局部分析,通过自适应灰阶的方式得到了每个图像块的灰度共生矩阵,然后通过相关计算得到了每个图像块的异常程度,最后根据异常程度实现了图像块的自适应灰度指数变换的特征增强,将焊接图像的特征变得更加明显,本步骤将增强后的图像传入利用计算机视觉技术中的神经网络来实现具体缺陷的检测识别输出为每个分块中的具体缺陷。
需要说明的是,神经网络识别缺陷具有检测速度快鲁棒性高的特点,特别针对焊接缺陷难以识别的特点在前面进行特征增强操作后,更加适合于焊接图像的缺陷检测,本发明选用Faster-RCNN算法来实现最终缺陷的检测,该算法整体检测精度高,鲁棒性好,整体性能稳定。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于计算机视觉的建材焊接表面缺陷检测方法,其特征在于,包括:
获取建材焊接表面灰度图像并进行分块;
获取每个分块中的正常像素点和异常像素点;
将正常像素点对应的灰度值作为一个正常灰阶,根据异常像素点的灰度值之间的梯度大小将异常像素点灰度值划分为多个异常灰阶;
将每个分块中每个像素点的灰阶和邻域像素点的灰阶均值组成灰阶对,根据每个灰阶对构建每个分块的灰阶共生矩阵;
获取每个分块的灰阶共生矩阵中每个灰阶对与正常灰阶对之间的距离,并根据每个灰阶对出现的次数和该灰阶对与正常灰阶对之间的距离得到每个分块的纹理异常程度;
根据每个分块的灰阶共生矩阵中正常灰阶和异常灰阶组成的灰阶对在该分块中出现的次数得到每个分块的异常面积特征值;
根据每个分块的异常面积特征值和纹理异常程度得到每个分块的异常量化值;
根据所有分块的异常量化值中的最大异常量化值和最小异常量化得到每个分块的归一化异常程度;
将每个分块的归一化异常程度作为非线性灰度指数变换中的指数,对每个分块中的像素点灰度值进行非线性灰度指数变换,得到每个分块的增强图像;
根据每个分块的增强图像得到增强后的建材焊接表面灰度图像,利用神经网络检测增强后的建材焊接表面灰度图像中的具体缺陷。
2.根据权利要求1所述的一种基于计算机视觉的建材焊接表面缺陷检测方法,其特征在于,所述获取每个分块中的正常像素点和异常像素点的方法为:
则计算其他灰度值的像素点和标准灰度值的像素点之间的距离:
获取其他灰度值的像素点和标准灰度值的像素点之间的距离集合,利用K-means聚类将距离集合中的距离分为两类,距离大的一类为正常像素点集合,小的为异常像素点集合。
3.根据权利要求1所述的一种基于计算机视觉的建材焊接表面缺陷检测方法,其特征在于,所述根据异常像素点的灰度值之间的梯度大小将异常像素点灰度值划分为多个异常灰阶的方法为:
将异常像素点按照灰度值进行降序排序,以排序后的最大灰度值为当前灰度值,比较当前灰度值之后的其他灰度值之间的梯度,将梯度小于等于阈值的灰度值作为同一个异常灰阶,将梯度大于阈值的灰度值作为新的目标灰度值,重复上述操作,得到多个异常灰阶。
8.根据权利要求1所述的一种基于计算机视觉的建材焊接表面缺陷检测方法,其特征在于,所述利用神经网络检测图像增强后的分块中的具体缺陷的方法为:
将增强后的分块图像输入Faster-RCNN神经网络,神经网络对每个分块中的具体缺陷进行识别后输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211002588.5A CN115082467B (zh) | 2022-08-22 | 2022-08-22 | 基于计算机视觉的建材焊接表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211002588.5A CN115082467B (zh) | 2022-08-22 | 2022-08-22 | 基于计算机视觉的建材焊接表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082467A true CN115082467A (zh) | 2022-09-20 |
CN115082467B CN115082467B (zh) | 2022-11-18 |
Family
ID=83245189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211002588.5A Active CN115082467B (zh) | 2022-08-22 | 2022-08-22 | 基于计算机视觉的建材焊接表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082467B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115270894A (zh) * | 2022-09-27 | 2022-11-01 | 山东行创科技有限公司 | 用于甲醇发电机的异常振动信号提取方法 |
CN115272322A (zh) * | 2022-09-28 | 2022-11-01 | 南通先端精密机械有限公司 | 一种基于数据处理的合金缺陷定量检测方法 |
CN115294101A (zh) * | 2022-09-26 | 2022-11-04 | 南通博亿峰都新材料科技有限公司 | 一种塑料制品外观质量检测方法 |
CN115330780A (zh) * | 2022-10-13 | 2022-11-11 | 山东盛世恒机械制造有限公司 | 一种金属焊接夹渣缺陷快速检测方法 |
CN115345802A (zh) * | 2022-10-18 | 2022-11-15 | 苏州迈创信息技术有限公司 | 一种机电设备运行状态远程监控方法 |
CN115346127A (zh) * | 2022-10-20 | 2022-11-15 | 成都大汇物联科技有限公司 | 一种大坝安全检测方法及系统 |
CN115984283A (zh) * | 2023-03-21 | 2023-04-18 | 山东中济鲁源机械有限公司 | 一种钢筋笼焊接质量智能检测方法 |
CN116385439A (zh) * | 2023-06-05 | 2023-07-04 | 山东兰通机电有限公司 | 基于图像处理的电机橡胶减震垫质量检测方法 |
CN116740056A (zh) * | 2023-08-10 | 2023-09-12 | 梁山水泊胶带股份有限公司 | 用于整芯高花纹输送带涂覆层的缺陷检测方法 |
CN116843689A (zh) * | 2023-09-01 | 2023-10-03 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
CN116993726A (zh) * | 2023-09-26 | 2023-11-03 | 山东克莱蒙特新材料科技有限公司 | 一种矿物铸件检测方法及系统 |
CN117078679A (zh) * | 2023-10-16 | 2023-11-17 | 东莞百舜机器人技术有限公司 | 一种基于机器视觉的散热风扇自动组装线生产检测方法 |
CN117314894A (zh) * | 2023-11-27 | 2023-12-29 | 深圳市金三维实业有限公司 | 一种手表底盖缺陷快速检测方法 |
CN117495829A (zh) * | 2023-11-15 | 2024-02-02 | 广东昭明电子集团股份有限公司 | 一种智能手表五金件质量检测方法 |
CN117522875A (zh) * | 2024-01-08 | 2024-02-06 | 深圳市新创源精密智造有限公司 | 基于图像滤波的半导体载带生产质量视觉检测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840066B1 (en) * | 2005-11-15 | 2010-11-23 | University Of Tennessee Research Foundation | Method of enhancing a digital image by gray-level grouping |
CN109030502A (zh) * | 2018-08-03 | 2018-12-18 | 深圳汇创联合自动化控制有限公司 | 一种基于机器视觉的焊点缺陷检测系统 |
US20190228515A1 (en) * | 2018-01-22 | 2019-07-25 | Boe Technology Group Co., Ltd. | Method and apparatus for detecting defects, and computer readable storage medium |
US20220099598A1 (en) * | 2020-09-29 | 2022-03-31 | Varex Imaging Corporation | Radiographic inspection system for pipes and other structures and material loss estimation |
CN114529549A (zh) * | 2022-04-25 | 2022-05-24 | 南通东德纺织科技有限公司 | 一种基于机器视觉的布匹缺陷标注方法及系统 |
CN114842017A (zh) * | 2022-07-06 | 2022-08-02 | 济宁市海富电子科技有限公司 | 一种hdmi线缆表面质量检测方法及系统 |
CN114881960A (zh) * | 2022-04-29 | 2022-08-09 | 南通百杭纺织品有限公司 | 基于特征增强的布匹直线型缺陷检测方法和系统 |
CN114897894A (zh) * | 2022-07-11 | 2022-08-12 | 海门市芳华纺织有限公司 | 一种筒纱菊花芯缺陷检测方法 |
CN114913365A (zh) * | 2022-04-22 | 2022-08-16 | 海门王巢家具制造有限公司 | 基于机器视觉的人造板质量分类方法及系统 |
CN114926436A (zh) * | 2022-05-20 | 2022-08-19 | 南通沐沐兴晨纺织品有限公司 | 一种用于周期性花纹织物的缺陷检测方法 |
-
2022
- 2022-08-22 CN CN202211002588.5A patent/CN115082467B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840066B1 (en) * | 2005-11-15 | 2010-11-23 | University Of Tennessee Research Foundation | Method of enhancing a digital image by gray-level grouping |
US20190228515A1 (en) * | 2018-01-22 | 2019-07-25 | Boe Technology Group Co., Ltd. | Method and apparatus for detecting defects, and computer readable storage medium |
CN109030502A (zh) * | 2018-08-03 | 2018-12-18 | 深圳汇创联合自动化控制有限公司 | 一种基于机器视觉的焊点缺陷检测系统 |
US20220099598A1 (en) * | 2020-09-29 | 2022-03-31 | Varex Imaging Corporation | Radiographic inspection system for pipes and other structures and material loss estimation |
CN114913365A (zh) * | 2022-04-22 | 2022-08-16 | 海门王巢家具制造有限公司 | 基于机器视觉的人造板质量分类方法及系统 |
CN114529549A (zh) * | 2022-04-25 | 2022-05-24 | 南通东德纺织科技有限公司 | 一种基于机器视觉的布匹缺陷标注方法及系统 |
CN114881960A (zh) * | 2022-04-29 | 2022-08-09 | 南通百杭纺织品有限公司 | 基于特征增强的布匹直线型缺陷检测方法和系统 |
CN114926436A (zh) * | 2022-05-20 | 2022-08-19 | 南通沐沐兴晨纺织品有限公司 | 一种用于周期性花纹织物的缺陷检测方法 |
CN114842017A (zh) * | 2022-07-06 | 2022-08-02 | 济宁市海富电子科技有限公司 | 一种hdmi线缆表面质量检测方法及系统 |
CN114897894A (zh) * | 2022-07-11 | 2022-08-12 | 海门市芳华纺织有限公司 | 一种筒纱菊花芯缺陷检测方法 |
Non-Patent Citations (5)
Title |
---|
FITRI ARNIA等: "Real time textile defect detection using GLCM in DCT-based compressed images", 《2015 6TH INTERNATIONAL CONFERENCE ON MODELING, SIMULATION, AND APPLIED OPTIMIZATION (ICMSAO)》 * |
H.B. KEKRE等: "Detection of defective pharmaceutical capsules and its types of defect using image processing techniques", 《2014 INTERNATIONAL CONFERENCE ON CIRCUITS, POWER AND COMPUTING TECHNOLOGIES》 * |
方震东: "碳纤维复合材料缺陷的超声成像检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 * |
王泽: "汽车轮胎胎面缺陷检测系统研究与实现", 《中国优秀硕士学位论文全文数据库工程科技II辑》 * |
王英玫等: "基于计算机视觉的轮胎缺陷检测", 《信息技术与信息化》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115294101A (zh) * | 2022-09-26 | 2022-11-04 | 南通博亿峰都新材料科技有限公司 | 一种塑料制品外观质量检测方法 |
CN115270894A (zh) * | 2022-09-27 | 2022-11-01 | 山东行创科技有限公司 | 用于甲醇发电机的异常振动信号提取方法 |
CN115270894B (zh) * | 2022-09-27 | 2022-12-27 | 山东行创科技有限公司 | 用于甲醇发电机的异常振动信号提取方法 |
CN115272322A (zh) * | 2022-09-28 | 2022-11-01 | 南通先端精密机械有限公司 | 一种基于数据处理的合金缺陷定量检测方法 |
CN115330780A (zh) * | 2022-10-13 | 2022-11-11 | 山东盛世恒机械制造有限公司 | 一种金属焊接夹渣缺陷快速检测方法 |
CN115330780B (zh) * | 2022-10-13 | 2023-03-07 | 山东盛世恒机械制造有限公司 | 一种金属焊接夹渣缺陷快速检测方法 |
CN115345802A (zh) * | 2022-10-18 | 2022-11-15 | 苏州迈创信息技术有限公司 | 一种机电设备运行状态远程监控方法 |
CN115346127A (zh) * | 2022-10-20 | 2022-11-15 | 成都大汇物联科技有限公司 | 一种大坝安全检测方法及系统 |
CN115984283A (zh) * | 2023-03-21 | 2023-04-18 | 山东中济鲁源机械有限公司 | 一种钢筋笼焊接质量智能检测方法 |
CN115984283B (zh) * | 2023-03-21 | 2023-06-23 | 山东中济鲁源机械有限公司 | 一种钢筋笼焊接质量智能检测方法 |
CN116385439A (zh) * | 2023-06-05 | 2023-07-04 | 山东兰通机电有限公司 | 基于图像处理的电机橡胶减震垫质量检测方法 |
CN116385439B (zh) * | 2023-06-05 | 2023-08-15 | 山东兰通机电有限公司 | 基于图像处理的电机橡胶减震垫质量检测方法 |
CN116740056A (zh) * | 2023-08-10 | 2023-09-12 | 梁山水泊胶带股份有限公司 | 用于整芯高花纹输送带涂覆层的缺陷检测方法 |
CN116740056B (zh) * | 2023-08-10 | 2023-11-07 | 梁山水泊胶带股份有限公司 | 用于整芯高花纹输送带涂覆层的缺陷检测方法 |
CN116843689A (zh) * | 2023-09-01 | 2023-10-03 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
CN116843689B (zh) * | 2023-09-01 | 2023-11-21 | 山东众成菌业股份有限公司 | 一种菌盖表面破损检测方法 |
CN116993726A (zh) * | 2023-09-26 | 2023-11-03 | 山东克莱蒙特新材料科技有限公司 | 一种矿物铸件检测方法及系统 |
CN116993726B (zh) * | 2023-09-26 | 2023-12-19 | 山东克莱蒙特新材料科技有限公司 | 一种矿物铸件检测方法及系统 |
CN117078679A (zh) * | 2023-10-16 | 2023-11-17 | 东莞百舜机器人技术有限公司 | 一种基于机器视觉的散热风扇自动组装线生产检测方法 |
CN117078679B (zh) * | 2023-10-16 | 2023-12-15 | 东莞百舜机器人技术有限公司 | 一种基于机器视觉的散热风扇自动组装线生产检测方法 |
CN117495829A (zh) * | 2023-11-15 | 2024-02-02 | 广东昭明电子集团股份有限公司 | 一种智能手表五金件质量检测方法 |
CN117495829B (zh) * | 2023-11-15 | 2024-04-30 | 广东昭明电子集团股份有限公司 | 一种智能手表五金件质量检测方法 |
CN117314894A (zh) * | 2023-11-27 | 2023-12-29 | 深圳市金三维实业有限公司 | 一种手表底盖缺陷快速检测方法 |
CN117522875A (zh) * | 2024-01-08 | 2024-02-06 | 深圳市新创源精密智造有限公司 | 基于图像滤波的半导体载带生产质量视觉检测方法 |
CN117522875B (zh) * | 2024-01-08 | 2024-04-05 | 深圳市新创源精密智造有限公司 | 基于图像滤波的半导体载带生产质量视觉检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115082467B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082467B (zh) | 基于计算机视觉的建材焊接表面缺陷检测方法 | |
CN115082418B (zh) | 一种汽车零部件精密识别方法 | |
CN103593670B (zh) | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 | |
CN111915572B (zh) | 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法 | |
CN116205919B (zh) | 基于人工智能的五金零件生产质量检测方法及系统 | |
CN115345885A (zh) | 一种金属健身器材外观质量检测方法 | |
CN107945161A (zh) | 基于纹理特征提取的道路表面缺陷检测方法 | |
CN113554629A (zh) | 基于人工智能的带钢红锈缺陷检测方法 | |
CN115797354B (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
CN115797361B (zh) | 一种铝模板表面缺陷检测方法 | |
CN116091455A (zh) | 基于机器视觉的钢网表面缺陷判定方法 | |
CN115082472B (zh) | 一种轮毂模具浇注成型产品的质量检测方法及系统 | |
CN117392097A (zh) | 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统 | |
CN115063620B (zh) | 一种基于比特分层罗茨风机轴承磨损检测方法 | |
CN115619708A (zh) | 基于图像识别主轴轴承润滑油油质变化判断故障的方法 | |
CN111666852A (zh) | 一种基于卷积神经网络的微表情双流网络识别方法 | |
CN111402236A (zh) | 一种基于图像灰度值的热轧带钢表面缺陷分级方法 | |
CN116255912A (zh) | 包裹的静态体积测量方法及系统 | |
CN113084193A (zh) | 一种激光选区熔化技术原位质量综合评价方法 | |
CN117975175B (zh) | 一种基于机器视觉的塑料管道外观缺陷检测方法 | |
CN117853494B (zh) | 一种药物颗粒生产过程视觉检测方法 | |
CN117522864B (zh) | 基于机器视觉的欧松板表面瑕疵检测方法 | |
CN114155226A (zh) | 一种微小缺陷边缘计算方法 | |
CN109948708A (zh) | 基于迭代隐式正则的多时多光谱图像特征级信息融合方法 | |
CN117495852A (zh) | 一种基于图像分析的数字印刷质量检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Computer vision based surface defect detection method for building material welding Granted publication date: 20221118 Pledgee: China Postal Savings Bank Limited by Share Ltd. Wenshang County sub branch Pledgor: Shandong Yichang Prefabricated Building Technology Co.,Ltd. Registration number: Y2024980023872 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |