CN116309609B - 一种集装箱门板瓦楞板焊接智能检测方法 - Google Patents
一种集装箱门板瓦楞板焊接智能检测方法 Download PDFInfo
- Publication number
- CN116309609B CN116309609B CN202310595918.4A CN202310595918A CN116309609B CN 116309609 B CN116309609 B CN 116309609B CN 202310595918 A CN202310595918 A CN 202310595918A CN 116309609 B CN116309609 B CN 116309609B
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- value
- pixel point
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000009826 distribution Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 239000011159 matrix material Substances 0.000 description 13
- 230000007547 defect Effects 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,具体涉及一种集装箱门板瓦楞板焊接智能检测方法,该方法通过获取待检测集装箱瓦楞板的表面图像的灰度图像,并获取灰度图像中的集装箱部分图像对应的高频图像和低频图像;将装箱部分图像分割成多个图像块,基于高频图像和低频图像,对图像块进行合并处理,对合并处理得到的不同合并块分别进行图像增强处理,并对图像增强处理后的集装箱部分图像进行焊接区域识别,从而确定焊接区域。本发明通过对集装箱部分图像进行相应的图像处理,有效提高了集装箱部分图像的图像增强效果,进而提高了焊接区域的识别准确性,解决了现有集装箱焊接区域识别不准确的问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种集装箱门板瓦楞板焊接智能检测方法。
背景技术
集装箱具有成本低、安全性高、运输速度快和便于管理等优点,被广泛应用于出口贸易运输。随着出口贸易数量的急剧增加,集装箱的需求量也大幅度增加,这就对集装箱的生产效率和生产质量提出了更高的要求。集装箱是由门板瓦楞板焊接组装而成,由于焊接的质量直接影响到集装箱的生产质量,因此在集装箱生产过程中,通常需要对集装箱的焊接区域进行焊接质量检测,以确定是否有气孔、裂纹、未焊透等焊接缺陷。
为了实现对焊接区域的缺陷检测,首先需要对集装箱图像中的焊接区域进行提取。由于焊接区域在集装箱图像中通常比较昏暗,因此为了准确识别出焊接区域,往往需要对集装箱图像进行增强处理。现有在对集装箱图像进行增强处理时,通常是采用直方图均衡化方法对图像整体进行增强处理,这就导致焊接区域和集装箱瓦楞板区域的对比度削弱,无法突出焊接区域的细节特征,从而导致焊接区域识别不准确,进而影响到后续焊接区域的焊接质量检测的准确性。
发明内容
本发明的目的在于提供一种集装箱门板瓦楞板焊接智能检测方法,用于解决现有集装箱焊接区域识别不准确的问题。
为解决上述技术问题,本发明提供了一种集装箱门板瓦楞板焊接智能检测方法,包括以下步骤:
获取待检测集装箱瓦楞板的表面图像的灰度图像,确定灰度图像中的集装箱部分图像;
获取所述集装箱部分图像对应的高频图像和低频图像,并对所述集装箱部分图像进行图像块分割,从而得到至少两个图像块;
确定所述图像块中每个像素点对应的窗口区域,并根据所述窗口区域中每个像素点对应的在所述高频图像和低频图像中对应位置的像素点的灰度值,确定所述窗口区域中每个像素点对应的灰度值对,从而确定所述图像块中每个像素点对应的像素分布指标值;
根据所述图像块中每个像素点对应的像素分布指标值,确定所述图像块中每个像素点对应的指标梯度方向值,对所述指标梯度方向值进行统计,从而确定所述图像块对应的梯度方向差;
根据任意相邻两个所述图像块对应的梯度方向差,确定任意相邻两个所述图像块之间的特征差异值,并根据所述特征差异值,对所有所述图像块进行合并处理,从而确定至少两个合并块;
对所述集装箱部分图像中的不同所述合并块分别进行图像增强处理,并对图像增强处理后的所述集装箱部分图像进行焊接区域识别,从而确定焊接区域。
进一步的,从而确定所述图像块中每个像素点对应的像素分布指标值,包括:
对所述图像块中每个像素点对应的所述窗口区域中每个像素点对应的灰度值对出现的频率进行统计,将所述频率的平方和的均值确定为所述图像块中每个像素点对应的像素分布指标值。
进一步的,确定所述图像块中每个像素点对应的指标梯度方向值,包括:
根据所述图像块中每个像素点对应的像素分布指标值,确定所述图像块中每个像素点的像素分布指标值变化梯度最小所对应的方向角度,并将所述像素分布指标值变化梯度最小所对应的方向角度的数值确定为所述图像块中每个像素点对应的指标梯度方向值。
进一步的,从而确定所述图像块对应的梯度方向差,包括:
确定所述图像块中所有像素点对应的指标梯度方向值在各个设定取值范围内所对应的频次,将所有设定取值范围内所对应的频次的方差确定为所述图像块对应的梯度方向差。
进一步的,确定任意相邻两个所述图像块之间的特征差异值,包括:
计算任意相邻两个所述图像块对应的梯度方向差之间的差值绝对值,并计算任意相邻两个所述图像块对应的梯度方向差的相加和;
根据任意相邻两个所述图像块对应的所述差值绝对值和所述相加和,确定任意相邻两个所述图像块之间的特征差异值,所述差值绝对值与所述特征差异值成正相关关系,所述相加和与所述特征差异值成负相关关系。
进一步的,将任意相邻两个所述图像块对应的所述差值绝对值与所述相加和的一半的比值,确定为任意相邻两个所述图像块之间的特征差异值。
进一步的,对所有所述图像块进行合并处理,从而确定至少两个合并块,包括:
判断任意相邻两个所述图像块之间的特征差异值是否在设定特征差异值范围内,若在设定特征差异值范围内,则将对应相邻两个所述图像块划分为同一个合并块,从而得到所述至少两个合并块。
进一步的,确定所述窗口区域中每个像素点对应的灰度值对,包括:
将高频图像和低频图像中各个像素点的灰度值均匀映射到设定灰度值范围内,从而得到高频图像和低频图像中各个像素点的映射灰度值;
将所述窗口区域中每个像素点对应的在所述高频图像中对应位置的像素点的映射灰度值作为第一灰度值,将所述窗口区域中每个像素点对应的在所述低频图像中对应位置的像素点的映射灰度值作为第二灰度值,由所述第一灰度值和第二灰度值构成所述窗口区域中每个像素点对应的灰度值对。
进一步的,获取所述集装箱部分图像对应的高频图像和低频图像,包括:
对所述集装箱部分图像进行时频变换,从而得到频谱图像;
对所述频谱图像分别进行高通滤波和低通滤波,从而得到高通滤波图像和低通滤波图像;
对所述高通滤波图像和低通滤波图像分别进行时频逆变换,从而得到所述集装箱部分图像对应的高频图像和低频图像。
进一步的,采用直方图均衡化方法对所述集装箱部分图像中的不同所述合并块分别进行图像增强处理。
本发明具有如下有益效果:为了获取集装箱瓦楞板的焊接区域,获取该检测集装箱瓦楞板的表面图像的灰度图像,由于通过拍摄所获得的灰度图像中通常含有背景区域,因此为了排除背景区域的干扰,获取灰度图像中的集装箱部分图像。对集装箱部分图像进行图像块分割,得到多个图像块,同时为了便于后续对图像块的特征进行分析以对图像块进行合并操作,从而获取瓦楞板区域和焊接区域,获取集装箱部分图像对应的高频图像和低频图像。基于高频图像和低频图像中像素点的灰度值,构造图像块中每个像素点对应的窗口区域中每个像素点对应的灰度值对,进而确定图像块中每个像素点对应的像素分布指标值,该像素分布指标值可以准确表征图像块中像素点的分布位置情况。对图像块中每个像素点对应的像素分布指标值进行分析,可以确定图像块中每个像素点对应的指标梯度方向值,该指标梯度方向值可以准确表征图像块中像素点的像素分布指标值的分布特征情况。通过对图像块中所有像素点对应的指标梯度方向值进行分析,可以确定每个图像块对应的梯度方向差,该梯度方向差可以表征图像块内的像素点的条状分布特征情况,有利于对分别属于瓦楞板区域和焊接区域的图像块进行区域。根据任意相邻两个图像块对应的梯度方向差,对相邻两个图像块的特征差异程度进行衡量,从而确定特征差异值,基于该特征差异值,将相似的图像块进行合并,得到合并块,由于每个合并块对应瓦楞板区域或焊接区域,可以将集装箱部分图像中的瓦楞板区域和焊接区域,通过对不同合并块分别进行图像增强处理,可以针对性地突出集装箱部分图像中焊接区域的细节,提高了瓦楞板区域和焊接区域的对比度。基于图像增强处理后的集装箱部分图像,最终可以准确识别出焊接区域。本发明通过获取待检测集装箱瓦楞板的对应的集装箱部分图像,对集装箱部分图像进行相应的图像处理,有效提高了集装箱部分图像的图像增强效果,进而提高了焊接区域的识别准确性,解决了现有集装箱焊接区域识别不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例的集装箱门板瓦楞板焊接智能检测方法的流程图;
图2为本发明实施例的集装箱瓦楞板的部分结构示意图;
图3为本发明实施例的某个图像块所对应的指标梯度方向值直方图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外,本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。
本实施例提供了一种集装箱门板瓦楞板焊接智能检测方法,该方法对应的流程图如图1所示,包括以下步骤:
步骤S1:获取待检测集装箱瓦楞板的表面图像的灰度图像,确定灰度图像中的集装箱部分图像。
为了后续获取集装箱瓦楞板的焊接区域,采用双目摄像机对待检测的集装箱瓦楞板区域进行拍摄,从而得到集装箱瓦楞板的表面图像,该表面图像为RGB(Red Green Blue,红绿蓝)图像。为了减小外界噪声干扰对后续图像处理分析的影响,同时考虑到焊接区域位于集装箱的边缘,在去除噪声的影响的同时,需要保留集装箱的边缘部分,因此本实施例选用中值滤波方法对表面图像进行降噪处理,并将降噪处理后的表面图像转化为灰度图像。
由于灰度图像中包含了集装箱部分和背景部分,因此需要将集装箱部分和背景部分进行分割。本实施例采用实例分割方法对灰度图像进行分割处理,该实例分割方法具体采用的实例分割网络为Mask R-CNN(short for regional convolutional neuralnetwork,区域卷积神经网络),将集装箱部分从灰度图像中分割出来,从而得到集装箱部分图像。由于采用实例分割方法进行图像分割的具体实现过程属于现有技术,此处不再赘述。
应当理解的是,本方案对获取集装箱部分图像的具体实现方式并不做限制,例如,作为其他的实施方式,还可以采用语义分割的方式对灰度图像进行分割处理,从而得到集装箱部分图像。
步骤S2:获取所述集装箱部分图像对应的高频图像和低频图像,并对所述集装箱部分图像进行图像块分割,从而得到至少两个图像块。
为了便于后续对集装箱部分图像进行分析处理,获取该集装箱部分图像对应的高频图像和低频图像,实现步骤包括:
对所述集装箱部分图像进行时频变换,从而得到频谱图像;
对所述频谱图像分别进行高通滤波和低通滤波,从而得到高通滤波图像和低通滤波图像;
对所述高通滤波图像和低通滤波图像分别进行时频逆变换,从而得到所述集装箱部分图像对应的高频图像和低频图像。
具体的,在集装箱部分图像中,由于瓦楞板区域中焊接部位通常呈现为黑色,较为昏暗,因此无法直接对该集装箱部分图像中的焊接区域进行提取,需要对集装箱部分图像进行图像增强处理,且图像增强效果越好,基于图像增强处理后的集装箱部分图像,进行焊接区域识别的准确性就越高。现有在对集装箱图像进行增强处理时,是采用直方图均衡化方法对图像整体进行增强处理,这就导致焊接区域和集装箱瓦楞板区域的对比度削弱,无法突出焊接区域的细节特征,从而导致焊接区域识别不准确。
为了后续将集装箱部分图像准确划分为瓦楞板区域和焊接区域,以对瓦楞板区域和焊接区域分别进行直方图均衡化处理,从而提高集装箱部分图像的图像增强效果,对集装箱部分图像进行离散傅里叶变换,将时域中的集装箱部分图像转换到频域,从而得到频谱图像,该频谱图像实质上为幅值图像。该频谱图像包括集装箱部分图像中的高频部分和低频部分,高频部分对应于图像边缘或者两部分像素值变化较快的部分,低频部分对应像素值变化较平缓的部分。为了获取该频谱图像中的高频部分,将该频谱图像输入到高通滤波器中进行高通滤波,从而得到高通滤波图像。同时,为了获取该频谱图像中的低频部分,将该频谱图像输入到低通滤波器中进行低通滤波,从而得到低通滤波图像。对高通滤波图像和低通滤波图像分别进行离散傅里叶的逆变换,将频域内的高通滤波图像和低通滤波图像转换到时域,从而得到对应的高频图像和低频图像。后续通过对高频图像和低频图像进行分析,便于最终获取准确的瓦楞板区域和焊接区域。
同时,对集装箱部分图像进行图像块分割,从而得到至少两个图像块。在本实施例中,是采用SLIC算法(simple linear iterative clustering,超像素分割算法)对集装箱部分图像进行超像素分割,从而得到多个超像素块,每个超像素块即为一个图像块。在对集装箱部分图像进行超像素分割时,根据集装箱部分图像的大小预设超像素块的个数,例如可以设置超像素块的个数为100,按照该预设的超像素块的个数,在集装箱部分图像中均匀分配种子点,每个种子点设定固定的搜索范围,经过多次迭代运算,将集装箱部分图像分割成不同的超像素块。由于对图像进行超像素分割的具体实现过程属于现有技术,此处不再赘述。
应当理解的是,本方案对集装箱部分图像进行图像块分割的具体实现方式并不做限制,例如,作为其他的实施方式,还可以采用SLIC算法的改进算法或者其他图像分割方法对集装箱部分图像进行图像块分割,从而将集装箱部分图像分割成多个图像块。
步骤S3:确定所述图像块中每个像素点对应的窗口区域,并根据所述窗口区域中每个像素点对应的在所述高频图像和低频图像中对应位置的像素点的灰度值,确定所述窗口区域中每个像素点对应的灰度值对,从而确定所述图像块中每个像素点对应的像素分布指标值。
对于集装箱部分图像分割出的任意一个图像块,以该图像块中每个像素点为中心
构建该像素点对应的窗口区域,该窗口区域的大小为,W的取值可以根据经验进行设
定,本实施例设置W的取值为9。按照这种方式,该图像块中的每个像素点均有其对应的窗口
区域。根据该窗口区域中每个像素点在高频图像和低频图像中对应的灰度值,确定该窗口
区域中每个像素点对应的灰度值对,实现步骤包括:
将高频图像和低频图像中各个像素点的灰度值均匀映射到设定灰度值范围内,从而得到高频图像和低频图像中各个像素点的映射灰度值;
将所述窗口区域中每个像素点对应的在所述高频图像中对应位置的像素点的映射灰度值作为第一灰度值,将所述窗口区域中每个像素点对应的在所述低频图像中对应位置的像素点的映射灰度值作为第二灰度值,由所述第一灰度值和第二灰度值构成所述窗口区域中每个像素点对应的灰度值对。
具体的,为了降低后续的计算量,将高频图像和低频图像中像素点的灰度值均匀
映射到0-z范围内,即将灰度级数改为z,从而得到高频图像和低频图像中各个像素点的映
射灰度值。灰度级数z的取值可以根据经验或者实验进行确定,本实施例设置z的取值为8,
此时高频图像和低频图像中各个像素点的映射灰度值的取值范围为0-8。并且,本实施例是
采用线性拉伸算法,将高频图像和低频图像中像素点的灰度值均匀映射到0-8范围内。将集
装箱部分图像与高频图像和低频图像进行比对,由于高频图像和低频图像中的像素点均与
集装箱部分图像中的像素点位置一一对应,因此可以找到集装箱部分图像中每个像素点对
应在高频图像和低频图像中的映射灰度值,这里将集装箱部分图像中每个像素点对应的在
高频图像中相同位置的像素点的映射灰度值称为高频值,并将对应的在低频图像中相同位
置的像素点的映射灰度值称为低频值。此时,对应集装箱部分图像分割出的任意一个图像
块,该图像块中每个像素点对应的窗口区域内的每个像素点均对应一个高频值和低频值,
将该高频值作为第一灰度值,并将该低频值作为第二灰度值,第一灰度值和第二灰度值构
成了一个灰度值对,记为,其中,为高频值,也就是第一灰度值,为低频值,也就是第
二灰度值。
对于集装箱部分图像分割出的任意一个图像块,在确定该图像块中每个像素点对应的窗口区域中每个像素点对应的灰度值对之后,对窗口区域中所有像素点对应的灰度值对进行分析,从而可以确定该图像块中每个像素点对应的像素分布指标值,实现步骤包括:
对所述图像块中每个像素点对应的所述窗口区域中每个像素点对应的灰度值对出现的频率进行统计,将所述频率的平方和的均值确定为所述图像块中每个像素点对应的像素分布指标值。
具体的,设定坐标系,横坐标为高频值,纵坐标为低频值。对于集装箱部分图像分
割出的任意一个图像块,将该图像块中每个像素点对应的窗口区域中每个像素点对应的灰
度值对的值,对应到该设定的坐标系中,每种灰度值对在坐标系中均对应一个坐标
点。统计每种灰度值对出现的频率,并将该频率确定为该种灰度值对在坐标系中对应坐标
点的取值。按照坐标系中所确定的坐标点的位置,利用这些坐标点对应的取值构造矩阵,由
于坐标系中坐标点的取值为频率,因此所构造的矩阵称为频率共生矩阵。应当理解的是,在
该频率共生矩阵中,由于有些元素位置不存在对应的坐标点,即不存在对应的灰度值对,此
时这些元素位置为空置状态,即这些元素位置没有对应的元素。
对于集装箱部分图像,当像素点属于高频区域时,则该像素点对应的高频值较大,其对应的经过z灰度级映射后的低频值接近于0,而当像素点属于低频区域,该像素点对应的低频值较大,其对应的经过z灰度级映射后的高频值接近于0。此时对于集装箱部分图像分割出的任意一个图像块,当该图像块中某个像素点对应的窗口区域位于低频区域时,该像素点对应的频率共生矩阵中的元素会集中在矩阵的一角,而当窗口区域包括低频区域和高频区域时,该像素点对应的频率共生矩阵中的元素就不再集中在矩阵的一角,而是比较分散。基于这一特点,根据图像块中每个像素点对应的频率共生矩阵,确定该图像块中每个像素点对应的像素分布指标值,对应的计算公式为:
其中,为图像块中每个像素点对应的像素分布指标值,为图像块中每个
像素点对应的频率共生矩阵中第i行第j列的元素值,为图像块中每个像素点对应的频率
共生矩阵中元素值的总数目。
图像块中每个像素点对应的像素分布指标值表征了图像块中对应像素点属于
高频区域和低频区域的情况,当对应像素点属于低频区域时,该对应像素点对应的窗口区
域会包含较多的低频像素点,对应的频率共生矩阵中的元素值就比较集中,此时对应的像
素分布指标值的取值就比较大,而当像素点属于高频区域时,该对应像素点对应的窗口
区域会同时包含高频像素点和低频像素点,对应的频率共生矩阵中的元素值就比较分散,
此时对应的像素分布指标值的取值就比较小。因此,当像素分布指标值越大时,说明
对应像素点越可能位于低频区域,当像素分布指标值越小时,说明对应像素点越可能位
于高频区域。
步骤S4:根据所述图像块中每个像素点对应的像素分布指标值,确定所述图像块中每个像素点对应的指标梯度方向值,对所述指标梯度方向值进行统计,从而确定所述图像块对应的梯度方向差。
对于集装箱部分图像分割出的任意一个图像块,根据该图像块中每个像素点对应的像素分布指标值,确定该图像块中每个像素点对应的指标梯度方向值,实现步骤包括:
根据所述图像块中每个像素点对应的像素分布指标值,确定所述图像块中每个像素点的像素分布指标值变化梯度最小所对应的方向角度,并将所述像素分布指标值变化梯度最小所对应的方向角度的数值确定为所述图像块中每个像素点对应的指标梯度方向值。
具体的,图2给出了集装箱瓦楞板的部分结构示意图,根据该图2可知,集装箱瓦楞板区域表面呈现竖状或者横状条纹形状,像素点的像素分布指标值也会呈现接近垂直或者水平分布特征。基于这一特点,将任意一个图像块中每个像素点对应的像素分布指标值作为该像素点对应的灰度值,然后利用Sobel算子也就是索贝尔算子计算每个像素点的梯度大小和梯度方向。现有技术中在根据图像中像素点的灰度值,利用Sobel算子计算梯度大小和梯度方向时,是选取灰度值变化梯度最大所对应的方向作为梯度方向,并计算该梯度方向上所对应的梯度大小,而本实施例在根据图像块中每个像素点对应的像素分布指标值,利用Sobel算子计算梯度大小和梯度方向时,是选取像素分布指标值变化梯度最小所对应的方向作为梯度方向,并计算该梯度方向上所对应的梯度大小。在确定图像块中每个像素点对应的梯度方向后,将该梯度方向对应的方向角度的数值大小确定为对应像素点对应的指标梯度方向值。
按照上述方式,可以确定每个图像块中每个像素点对应的指标梯度方向值。对每个图像块中所有像素点对应的指标梯度方向值进行统计,可以确定该图像块对应的梯度方向差,实现步骤包括:
确定所述图像块中所有像素点对应的指标梯度方向值在各个设定取值范围内所对应的频次,将所有设定取值范围内所对应的频次的方差确定为所述图像块对应的梯度方向差。
具体的,对每个图像块中所有像素点对应的指标梯度方向值在各个设定取值范围内出现频次进行统计,从而可以确定指标梯度方向值直方图。在该指标梯度方向值直方图中,横坐标为各个设定取值范围,纵坐标为各个设定取值范围所对应的频次。在本实施例中,各个设定取值范围依次为0-30、30-60、60-90、90-120、120-150、150-180,每个设定取值范围均包括前一个端点值且不包括后一个端点值。图3给出了某个图像块所对应的指标梯度方向值直方图。
由于在确定每个图像块中每个像素点对应的指标梯度方向值时,是选取像素分布指标值变化梯度最小所对应的方向的方向角度数值作为指标梯度方向值,当图像块属于瓦楞板区域时,则其对应的像素点的指标梯度方向值主要分布在0或者90左右,也就是像素点的指标梯度方向值主要呈垂直分布特征或者竖直分布特征,而当图像块属于焊接区域时,则其对应的像素点的指标梯度方向值则比较分散,不会呈现明显的垂直分布特征或者竖直分布特征。基于这一特点,对于任意一个图像块,计算该图像块所对应的指标梯度方向值直方图中所有设定取值范围所对应的频次的方差,并将该方差确定为对应图像块对应的梯度方向差,对应的计算公式为:
其中,为每个图像块对应的梯度方向差,为每个图像块所对应的指标梯度方向
值直方图中第i个设定取值范围所对应的频次,为每个图像块所对应的指标梯度方向值
直方图中第j个设定取值范围所对应的频次,为每个图像块所对应的指标梯度方向值直
方图中设定取值范围的总数目。
对于任意一个图像块,当其对应的梯度方向差的取值越大时,则说明该图像块内位于高频区域或低频区域的像素点的垂直或者水平分布特征越明显,该图像块越可能属于瓦楞板区域;当其对应的梯度方向差的取值越小时,说明该图像块内的像素点的垂直或者水平分布特征越不明显,该图像块越可能属于焊接区域。
步骤S5:根据任意相邻两个所述图像块对应的梯度方向差,确定任意相邻两个所述图像块之间的特征差异值,并根据所述特征差异值,对所有所述图像块进行合并处理,从而确定至少两个合并块。
在确定每个图像块对应的梯度方向差之后,将任意两个相邻的图像块所对应的梯度方向差进行比较,确定其对应的特征差异值,并将该特征差异值作为判断这两个相邻的图像块是否合并的依据。应当理解的是,当两个图像块具有共同的边界时,则认为两个图像块是相邻的图像块。确定任意相邻两个图像块之间的特征差异值,实现步骤包括:
计算任意相邻两个所述图像块对应的梯度方向差之间的差值绝对值,并计算任意相邻两个所述图像块对应的梯度方向差的相加和;
根据任意相邻两个所述图像块对应的所述差值绝对值和所述相加和,确定任意相邻两个所述图像块之间的特征差异值,所述差值绝对值与所述特征差异值成正相关关系,所述相加和与所述特征差异值成负相关关系。
其中,根据任意相邻两个所述图像块对应的所述差值绝对值和相加和,确定任意相邻两个所述图像块之间的特征差异值,包括:将任意相邻两个所述图像块对应的所述差值绝对值与所述相加和的一半的比值,确定为任意相邻两个所述图像块之间的特征差异值。
具体的,为了便于后续能够准确识别出集装箱部分图像中的焊接区域,不能够直接对集装箱部分图像整体进行图像增强处理,而应该对集装箱部分图像中的瓦楞板区域和焊接区域分别进行图像增强处理,但是经过超像素块分割后并不会将这两个区域划分出来,而是划分出多个区域,也就是多个图像块。考虑到位于瓦楞板区域的图像块会具有相似的特征,同时位于焊接区域的图像块也会具有相似的特征,因此可以根据任意相邻两个图像块对应的梯度方向差,确定任意相邻两个图像块对应的特征差异值,以对任意相邻两个图像块之间的特征差异情况进行评估,对应的计算公式为:
其中,为任意相邻两个图像块之间的特征差异值,为任意相邻两个图像块中
的其中一个图像块对应的梯度方向差,为任意相邻两个图像块中的另外一个图像块对应
的梯度方向差,| |为取绝对值符号。
根据上述的任意相邻两个图像块之间的特征差异值的计算公式可知,当任意相
邻两个图像块对应的梯度方向差之间的差值绝对值与相加值的比值较小时,则说明对应的
相邻两个图像块之间的特征差异较小,也就是对应的相邻两个图像块的特征比较相似,这
两个图像块可能同属于瓦楞板区域或者焊接区域;而任意相邻两个图像块对应的梯度方向
差之间的差值绝对值与相加值的比值较大时,则说明对应的相邻两个图像块之间的特征差
异较大,对应的相邻两个图像块的特征不相似,这两个图像块可能属于不同类型的区域。
在确定任意相邻两个图像块之间的特征差异值之后,对所有图像块进行合并处理,从而确定至少两个合并块,实现步骤包括:
判断任意相邻两个所述图像块之间的特征差异值是否在设定特征差异值范围内,若在设定特征差异值范围内,则将对应相邻两个所述图像块划分为同一个合并块,从而得到所述至少两个合并块。
具体的,预先设置设定特征差异值范围,该设定特征差异值范围可以根据经验或者实验进行设定,本实施例设置设定特征差异值范围为[0,0.2]。对任意相邻两个图像块之间的特征差异值进行判断,当特征差异值属于设定特征差异值范围内时,则说明对应相邻两个图像块的特征比较相似,对应相邻两个图像块属于同一个类型的区域;而当特征差异值不属于设定特征差异值范围内时,则说明对应相邻两个图像块的特征不相似,对应相邻两个图像块属于不同类型的区域。将属于同一类型的区域的图像块进行合并,从而得到不同的合并块。在每个合并块中,任意两个相邻的图像块之间的特征差异值均在设定特征差异值范围内。由于集装箱的瓦楞板区域所对应的图像块的特性相似,瓦楞板区域所对应的图像块的特性相似,因此通过合并后,可以将集装箱部分图像分割出来的图像块合并成两个合并块,分别为瓦楞板区域和焊接区域。
步骤S6:对所述集装箱部分图像中的不同所述合并块分别进行图像增强处理,并对图像增强处理后的所述集装箱部分图像进行焊接区域识别,从而确定焊接区域。
通过上述步骤S5,可以将集装箱部分图像划分成两个合并块,这两个合并块分别为瓦楞板区域和焊接区域,此时对这两个合并块分别进行图像增强处理,以增强瓦楞板区域和焊接区域的对比度,可以针对性地突出集装箱部分图像中焊接区域的细节。在本实施例中,采用直方图均衡化方法对所述集装箱部分图像中的不同所述合并块分别进行图像增强处理,从而实现对集装箱部分图像的预处理过程,最终得到图像增强处理后的集装箱部分图像。由于采用直方图均衡化对图像进行增强处理的具体实现过程属于现有技术,且不属于本方案关注的重点,此处不再赘述。由于焊接区域位于瓦楞板的边缘且相对于瓦楞板而言区域面积较小,通过对集装箱部分图像中的瓦楞板区域和焊接区域分别进行直方图均衡化处理,不仅达到了图像增强的效果,同时可以使焊接部位的细节更加突出,更有利于提高后续集装箱焊接部位定位的精确度。
针对该图像增强处理后的集装箱部分图像,由于该图像中焊接区域的细节比较突出,因此通过对该图像中的焊接区域进行识别,可以准确识别出真实的焊接区域。在本实施例中,在对图像增强处理后的集装箱部分图像中的焊接区域进行识别时,是采用模板匹配法,基于边缘轮廓信息,准确度较高地实现模板中目标物的识别,这里的目标物即为焊接区域,最终可以准确确定集装箱部分图像中的焊接区域。由于采用模板匹配法进行目标物识别的具体实现过程属于现有技术,此处不再赘述。
基于集装箱部分图像中的准确识别的焊接区域,可以进行后续焊接区域的各种缺陷检测,例如,可以使用霍夫变换,对焊接区域中的焊缝缺陷进行检测,得到焊缝缺陷的参数信息,然后结合前期已求得的获取图像时所使用的双目摄像机的标定内外参数,确定焊缝缺陷在集装箱上的空间位置。应当理解的是,本方案的重点在于准确识别出集装箱部分图像中的焊接区域,以为对焊接区域进行各种缺陷检测提供基础,至于基于该焊接区域进行何种缺陷检测以及进行缺陷检测的具体实现方式,不属于本方案的重点,此处不再赘述。
需要说明的是:以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,包括以下步骤:
获取待检测集装箱瓦楞板的表面图像的灰度图像,确定灰度图像中的集装箱部分图像;
获取所述集装箱部分图像对应的高频图像和低频图像,并对所述集装箱部分图像进行图像块分割,从而得到至少两个图像块;
确定所述图像块中每个像素点对应的窗口区域,并根据所述窗口区域中每个像素点对应的在所述高频图像和低频图像中对应位置的像素点的灰度值,确定所述窗口区域中每个像素点对应的灰度值对,从而确定所述图像块中每个像素点对应的像素分布指标值;
根据所述图像块中每个像素点对应的像素分布指标值,确定所述图像块中每个像素点对应的指标梯度方向值,对所述指标梯度方向值进行统计,从而确定所述图像块对应的梯度方向差;
根据任意相邻两个所述图像块对应的梯度方向差,确定任意相邻两个所述图像块之间的特征差异值,并根据所述特征差异值,对所有所述图像块进行合并处理,从而确定至少两个合并块;
对所述集装箱部分图像中的不同所述合并块分别进行图像增强处理,并对图像增强处理后的所述集装箱部分图像进行焊接区域识别,从而确定焊接区域;
从而确定所述图像块中每个像素点对应的像素分布指标值,包括:
对所述图像块中每个像素点对应的所述窗口区域中每个像素点对应的灰度值对出现的频率进行统计,将所述频率的平方和的均值确定为所述图像块中每个像素点对应的像素分布指标值;
确定所述图像块中每个像素点对应的指标梯度方向值,包括:
根据所述图像块中每个像素点对应的像素分布指标值,确定所述图像块中每个像素点的像素分布指标值变化梯度最小所对应的方向角度,并将所述像素分布指标值变化梯度最小所对应的方向角度的数值确定为所述图像块中每个像素点对应的指标梯度方向值。
2.根据权利要求1所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,从而确定所述图像块对应的梯度方向差,包括:
确定所述图像块中所有像素点对应的指标梯度方向值在各个设定取值范围内所对应的频次,将所有设定取值范围内所对应的频次的方差确定为所述图像块对应的梯度方向差。
3.根据权利要求1所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,确定任意相邻两个所述图像块之间的特征差异值,包括:
计算任意相邻两个所述图像块对应的梯度方向差之间的差值绝对值,并计算任意相邻两个所述图像块对应的梯度方向差的相加和;
根据任意相邻两个所述图像块对应的所述差值绝对值和所述相加和,确定任意相邻两个所述图像块之间的特征差异值,所述差值绝对值与所述特征差异值成正相关关系,所述相加和与所述特征差异值成负相关关系。
4.根据权利要求3所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,将任意相邻两个所述图像块对应的所述差值绝对值与所述相加和的一半的比值,确定为任意相邻两个所述图像块之间的特征差异值。
5.根据权利要求1所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,对所有所述图像块进行合并处理,从而确定至少两个合并块,包括:
判断任意相邻两个所述图像块之间的特征差异值是否在设定特征差异值范围内,若在设定特征差异值范围内,则将对应相邻两个所述图像块划分为同一个合并块,从而得到所述至少两个合并块。
6.根据权利要求1所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,确定所述窗口区域中每个像素点对应的灰度值对,包括:
将高频图像和低频图像中各个像素点的灰度值均匀映射到设定灰度值范围内,从而得到高频图像和低频图像中各个像素点的映射灰度值;
将所述窗口区域中每个像素点对应的在所述高频图像中对应位置的像素点的映射灰度值作为第一灰度值,将所述窗口区域中每个像素点对应的在所述低频图像中对应位置的像素点的映射灰度值作为第二灰度值,由所述第一灰度值和第二灰度值构成所述窗口区域中每个像素点对应的灰度值对。
7.根据权利要求1所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,获取所述集装箱部分图像对应的高频图像和低频图像,包括:
对所述集装箱部分图像进行时频变换,从而得到频谱图像;
对所述频谱图像分别进行高通滤波和低通滤波,从而得到高通滤波图像和低通滤波图像;
对所述高通滤波图像和低通滤波图像分别进行时频逆变换,从而得到所述集装箱部分图像对应的高频图像和低频图像。
8.根据权利要求1所述的一种集装箱门板瓦楞板焊接智能检测方法,其特征在于,采用直方图均衡化方法对所述集装箱部分图像中的不同所述合并块分别进行图像增强处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310595918.4A CN116309609B (zh) | 2023-05-25 | 2023-05-25 | 一种集装箱门板瓦楞板焊接智能检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310595918.4A CN116309609B (zh) | 2023-05-25 | 2023-05-25 | 一种集装箱门板瓦楞板焊接智能检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309609A CN116309609A (zh) | 2023-06-23 |
CN116309609B true CN116309609B (zh) | 2023-08-04 |
Family
ID=86819008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310595918.4A Active CN116309609B (zh) | 2023-05-25 | 2023-05-25 | 一种集装箱门板瓦楞板焊接智能检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309609B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861135A (zh) * | 2023-03-01 | 2023-03-28 | 铜牛能源科技(山东)有限公司 | 一种应用于箱体全景探测的图像增强及识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101301711B (zh) * | 2008-06-27 | 2010-11-17 | 山东科技大学 | 集装箱顶角件加强板自动焊接定位系统 |
CN113837991A (zh) * | 2021-06-18 | 2021-12-24 | 腾讯云计算(北京)有限责任公司 | 图像处理方法、装置、设备及存储介质 |
CN114972329B (zh) * | 2022-07-13 | 2022-10-21 | 江苏裕荣光电科技有限公司 | 基于图像处理的表面缺陷检测仪的图像增强方法及系统 |
-
2023
- 2023-05-25 CN CN202310595918.4A patent/CN116309609B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861135A (zh) * | 2023-03-01 | 2023-03-28 | 铜牛能源科技(山东)有限公司 | 一种应用于箱体全景探测的图像增强及识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116309609A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
CN111310558B (zh) | 一种基于深度学习和图像处理法的路面病害智能提取方法 | |
CN107808378B (zh) | 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法 | |
CN108460757B (zh) | 一种手机TFT-LCD屏Mura缺陷在线自动检测方法 | |
CN116703910B (zh) | 一种混凝土预制底板质量智能检测方法 | |
CN110210448B (zh) | 一种智能人脸皮肤老化程度的识别与评估方法 | |
CN115018844B (zh) | 一种基于人工智能的塑料薄膜质量评估方法 | |
CN115797342B (zh) | 一种工业控制电容触摸lcd显示总成缺陷检测方法 | |
CN115619793B (zh) | 基于计算机视觉的电源适配器外观质量检测方法 | |
CN116990323B (zh) | 一种高精密印刷版视觉检测系统 | |
CN116645367B (zh) | 一种高端制造用的钢板切割质量检测方法 | |
CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
CN108257125B (zh) | 一种基于自然场景统计的深度图像质量无参考评价方法 | |
CN113793337B (zh) | 基于人工智能的机车配件表面异常程度评估方法 | |
CN117351019B (zh) | 一种焊接缺陷检测方法 | |
CN116630813B (zh) | 一种公路路面施工质量智能检测系统 | |
CN114881915A (zh) | 一种基于对称性的手机玻璃盖板视窗区缺陷检测方法 | |
CN115115642A (zh) | 基于图像处理的带钢结疤缺陷检测方法 | |
CN115018765A (zh) | 基于灰度梯度共生矩阵的粉末冶金零件成品检测方法 | |
CN112862832B (zh) | 一种基于同心圆分割定位的脏污检测方法 | |
CN112465852A (zh) | 一种用于电力设备红外图像分割的改进区域生长方法 | |
CN112862744A (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
CN114332081B (zh) | 基于图像处理的纺织品表面异常判定方法 | |
CN116109577A (zh) | 一种印刷标签缺陷检测系统及方法 | |
CN116883408A (zh) | 基于人工智能的积算仪壳体缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |