CN115131356B - 一种基于丰富度的钢板缺陷分类方法 - Google Patents
一种基于丰富度的钢板缺陷分类方法 Download PDFInfo
- Publication number
- CN115131356B CN115131356B CN202211059713.6A CN202211059713A CN115131356B CN 115131356 B CN115131356 B CN 115131356B CN 202211059713 A CN202211059713 A CN 202211059713A CN 115131356 B CN115131356 B CN 115131356B
- Authority
- CN
- China
- Prior art keywords
- image block
- defect
- richness
- gray
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 206
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 41
- 239000010959 steel Substances 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002950 deficient Effects 0.000 claims abstract description 65
- 239000002893 slag Substances 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 5
- 241001270131 Agaricus moelleri Species 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005336 cracking Methods 0.000 description 22
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Abstract
本发明涉及图像处理技术领域,具体涉及一种基于丰富度的钢板缺陷分类方法。该方法包括:获取钢板表面的灰度图像并分割为多个图像块;获取每个图像块的边缘丰富度、纹理丰富度以及颜色丰富度;基于边缘丰富度、纹理丰富度以及颜色丰富度的加权求和得到每个图像块的区域丰富度,区域丰富度大于预设阈值的图像块为缺陷图像块;基于每个缺陷图像块的偏置因子将所有缺陷图像块分为第一缺陷和夹渣缺陷;获取第一缺陷中的每个缺陷图像块对应的周围弱势区域的纹理特征向量,将纹理特征向量输入训练完成的分类神经网络得到第一缺陷中每个缺陷图像块的缺陷类别。提高了缺陷分类的准确性。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于丰富度的钢板缺陷分类方法。
背景技术
钢板生产技术的发展是体现钢铁工业发展水平的一个重要标志,该产品在汽车、船舶、航空航天以及化工设备等工业领域都得到了广泛应用;而钢板的生产过程中往往会受到原材料、轧制工艺以及系统控制等多方面因素的影响,从而导致表面出现各种缺陷,例如翘皮、龟裂、变裂以及夹渣缺陷;这些缺陷的存在不仅会影响到钢板表面的外观完整性,还会对钢板的耐磨性、抗腐蚀性、抗疲劳性以及电磁特性等主要特性有不同程度的影响,因此需要及时的对钢板表面的缺陷进行检测。
由于钢板表面的缺陷不同表现出的特征不同,并且不同的缺陷对钢板产生的影响结果不同;现有对钢板缺陷检测时往往是检测出缺陷的位置,然后由工作人员判断缺陷类型进行处理,无法得到钢板表面不同缺陷的类型;部分利用机器视觉进行缺陷分类检测时,可能由于缺陷形态多样或者缺陷之间相似性高导致识别的难度较大,分类效率以及分类准确度较低。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于丰富度的钢板缺陷分类方法,该方法包括以下步骤:
获取钢板表面的灰度图像,将所述灰度图像分割为多个图像块;获取每个所述图像块中的边缘像素点,基于所述边缘像素点的数量以及每个所述边缘像素点对应的梯度幅值得到所述图像块的边缘丰富度;
获取每个所述图像块的灰度共生矩阵,基于所述灰度共生矩阵得到所述图像块的能量,所述能量的倒数为所述图像块的纹理丰富度;获取所述图像块的颜色丰富度,所述颜色丰富度由所述图像块的灰度级数量、灰度均值以及所述灰度图像的灰度中值得到;
基于所述边缘丰富度、所述纹理丰富度以及所述颜色丰富度的加权求和得到每个所述图像块的区域丰富度,所述区域丰富度大于预设阈值的图像块为缺陷图像块;获取每个所述缺陷图像块的偏置因子,基于所述偏置因子将所有所述缺陷图像块分为第一缺陷和夹渣缺陷;所述第一缺陷中包括多种缺陷;
获取第一缺陷中的每个缺陷图像块对应的周围弱势区域;获取每个所述周围弱势区域的纹理特征向量,将所述纹理特征向量输入训练完成的分类神经网络得到第一缺陷中每个缺陷图像块的缺陷类别。
优选的,所述基于所述边缘像素点的数量以及每个所述边缘像素点对应的梯度幅值得到所述图像块的边缘丰富度的步骤,包括:
将所述图像块中非边缘像素点的像素值置为0,统计所述图像块中非零像素点的数量,所述边缘丰富度的计算方法为:
其中,表示图像块的边缘丰富度;/>表示图像块中所有非零像素点的数量;表示图像块中第/>个非零像素点的梯度幅值;/>表示图像块中所有像素点的数量;/>表示调节参数。
优选的,所述获取所述图像块的颜色丰富度,所述颜色丰富度由所述图像块的灰度级数量、灰度均值以及所述灰度图像的灰度中值得到的步骤,包括:
所述颜色丰富度的计算方法为:
其中,表示图像块的颜色丰富度;/>表示图像块中包含的灰度级数量;/>表示灰度图像中包含的灰度级的总数量;/>表示图像块中第/>个灰度级对应的像素点数量;/>表示图像块中像素点的总数量;/>表示该图像块中第/>个灰度级的灰度值;/>表示该图像块的灰度均值;/>表示灰度图像的灰度中值;/>表示调节参数。
优选的,所述获取每个所述缺陷图像块的偏置因子的步骤,包括:
获取所述缺陷图像块对应的颜色丰富度与边缘丰富度的比值,基于所述比值获取所述偏置因子。
优选的,所述获取第一缺陷中的每个缺陷图像块对应的周围弱势区域的步骤,包括:
获取第一缺陷中每个缺陷图像块对应的中心强势区域,所述中心强势区域的外边缘为正边缘;基于所述中心强势区域获取每个缺陷图像块对应的保护区域;
在所述缺陷图像块中选取初始生长点,所述初始生长点在所述保护区域之外且与保护区域之间的距离最远;以所述初始生产点进行区域生长得到区域的外边缘为负边缘;所述正边缘与所述外边缘之间的区域为周围弱势区域。
优选的,所述获取第一缺陷中每个缺陷图像块对应的中心强势区域的步骤,包括:
基于第一缺陷中所有缺陷图像块的像素点的灰度值获取最优灰度阈值,对每个所述缺陷图像块中像素点灰度值小于所述最优灰度阈值的点进行标记,所有标记的点构成的区域为对应缺陷图像块的中心强势区域。
优选的,所述基于所述偏置因子将所有所述缺陷图像块分为第一缺陷和夹渣缺陷的步骤,还包括:
获取所述夹渣缺陷中每个缺陷图像块的中心强势区域与所述周围弱势区域,所述中心强势区域与所述周围弱势趋势构成的区域为对应所述缺陷图像块的缺陷区域;
所述夹渣缺陷中每个缺陷图像块的中心强势区域的获取方法为:利用显著性算法获取每个缺陷图像块的显著图,将所述显著图中显著值大于预设显著值的像素点进行标注,所有标注的像素点构成的区域为所述中心强势区域。
本发明具有如下有益效果:本发明实施例中通过边缘丰富度、纹理丰富度以及颜色丰富度得到缺陷图像块,并基于缺陷的实际特征将缺陷图像块初步划分为夹渣缺陷与第一缺陷,提高了识别的效率,基于夹渣缺陷与第一缺陷中对应缺陷图像块的中心强势区域和周围弱势区域判断每种缺陷的缺陷区域,准确性更高;且基于第一缺陷中每个缺陷图像块的周围弱势区域获取对应的缺陷类别,达到对钢板表面的缺陷分类的目的,且对缺陷类别识别的精度更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于丰富度的钢板缺陷分类的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于丰富度的钢板缺陷分类方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本申请适用于对钢板表面不同缺陷的检测分类,通过对钢板表面的灰度图像分割的多个图像块进行筛选得到缺陷图像块,基于每个缺陷图像块的特征分为第一缺陷和夹渣缺陷并进一步对第一缺陷中的多个缺陷类别进行识别,同时获取到每个缺陷类别对应缺陷区域,提高了缺陷识别的准确度以及后续处理的效率。
下面结合附图具体的说明本发明所提供的一种基于丰富度的钢板缺陷分类方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于丰富度的钢板缺陷分类的方法流程图,该方法包括以下步骤:
步骤S100,获取钢板表面的灰度图像,将灰度图像分割为多个图像块;获取每个图像块中的边缘像素点,基于边缘像素点的数量以及每个边缘像素点对应的梯度幅值得到图像块的边缘丰富度。
由于钢板在加工制作过程中往往会出现不同的缺陷情况,本发明实施例中待分析的钢板缺陷为4种类别分别为翘皮、龟裂、边裂以及夹渣,由于这些缺陷的边缘处结构较为复杂,因此对其边缘的划分比较模糊;其中翘皮、龟裂以及边裂为中间凹陷的结构,其缺陷边缘可能出现翘起、坑面、斜切面以及裂纹等现象;而夹渣缺陷是由于掺杂了不同颜色的非金属物质造成的,其边界可能与金属表面的颜色相差不大从而导致不清晰,难以进行区域。
采集钢板表面的初始图像,为了提高后续分析的准确度,对该初始图像进行中值滤波处理,以过滤掉图像中存在的噪声,进一步对中值滤波处理后的初始图像采用直方图均衡化进行图像增强,对增强后的图像灰度化处理得到对应的灰度图像。
进一步的,将该灰度图像划分为多个图像块,本发明实施例中设置每个图像块的大小为,在其他实施例中实施者可根据实际情况自行设置;获取每个图像块中的边缘像素点,根据/>算子对该图像块中每个像素点求取其梯度的梯度方向/>和梯度幅值;基于每个像素点自身的梯度方向在对应的八邻域内进行非极大值抑制,从而得到该图像块中的边缘像素点。将边缘像素点的像素值置为其对应的梯度幅值,将该图像块中除了边缘像素点之外的非边缘点的像素值置为0,由此得到图像块中每个像素点更新后对应的边缘图像。
统计每个图像块中所有非零像素点的数量,基于非零像素点的数量及其对应的梯度幅值获取每个图像块的边缘丰富度为:
其中,表示图像块的边缘丰富度;/>表示图像块中所有非零像素点的数量;表示图像块中第/>个非零像素点的梯度幅值;/>表示图像块中所有像素点的数量;/>表示调节参数,由实施者自行设定。
作为优选,本发明实施例中将调节参数设置为所有图像块中像素点对应的梯度幅值的最大值的倒数。
步骤S200,获取每个图像块的灰度共生矩阵,基于灰度共生矩阵得到图像块的能量,能量的倒数为图像块的纹理丰富度;获取图像块的颜色丰富度,颜色丰富度由图像块的灰度级数量、灰度均值以及灰度图像的灰度中值得到。
具体的,获取每个图像块对应的灰度共生矩阵,为了提高灰度共生矩阵的构建速度,本发明实施例中将所有图像块的灰度级划分为8个灰度等级,即将0-255等比划分为8个灰度等级区间,则每个图像块中像素点的像素值均可利用1-8的灰度等级表示;基于此每个图像块的灰度共生矩阵的大小均为;灰度共生矩阵的构建方法为现有公知技术,不再赘述。
基于每个图像块对应的灰度共生矩阵计算该图像块对应的能量,用于表示该图像块中纹理的均匀性和规则性,本发明实施例中根据每个图像块对应的/>能量的倒数作为该图像块的纹理丰富度;由于缺陷区域的纹理均匀性和规则性小于正常区域的纹理均匀性和规则性,因此纹理丰富度越大时,越可能为存在缺陷的图像块。
进一步的,获取每个图像块中包含的灰度级的数量,在进行颜色丰富度计算时,灰度级范围为常规的0-255;根据该图像块中灰度级的数量在灰度图像中的占比以及该图像块中的每个灰度级与灰度图像的灰度中值之间的偏差计算颜色丰富度为:
其中,表示图像块的颜色丰富度;/>表示图像块中包含的灰度级的数量;/>表示灰度图像中包含的灰度级的总数量;/>表示图像块中第/>个灰度级对应的像素点数量;/>表示图像块中像素点的总数量;/>表示该图像块中第/>个灰度级的灰度值;/>表示该图像块的灰度均值;/>表示灰度图像的灰度中值;/>表示调节参数,由实施者自行设定。
作为优选,本发明实施例中根据经验值设置。
步骤S300,基于边缘丰富度、纹理丰富度以及颜色丰富度的加权求和得到每个图像块的区域丰富度,区域丰富度大于预设阈值的图像块为缺陷图像块;获取每个缺陷图像块的偏置因子,基于偏置因子将所有缺陷图像块分为第一缺陷和夹渣缺陷;第一缺陷中包括多种缺陷。
具体的,由步骤S100和步骤S200中分别获取到每个图像块对应的边缘丰富度、纹理丰富度以及颜色丰富度;对每个图像块的边缘丰富度、纹理丰富度以及颜色丰富度加权求和得到该图像块对应的丰富度为:
其中,表示图像块对应的丰富度;/>表示该图像块对应的边缘丰富度;/>表示该图像块对应的纹理丰富度;/>表示该图像块对应的颜色丰富度。
每个图像块的丰富度越大,则该图像块中越可能存在缺陷;获取所有图像块对应的丰富度,本发明实施例中采用大津算法计算最优阈值,以每个图像块的丰富度与该最优阈值进行比较,大于该最优阈值的丰富度对应的图像块为缺陷图像块,小于该最优阈值的丰富度对应的图像块为正常图像块。
进一步的,由于本发明实施例中将钢板的缺陷划分为翘皮、龟裂、边裂以及夹渣四种类型,对于翘皮、龟裂以及边裂缺陷来说,这几种缺陷的中心往往是凹陷的,而边缘部分可能存在翘起、坑面、切斜面或者裂纹等情况,所以这种缺陷的丰富度往往集中在边缘部分,其边缘丰富度应该较大;对于夹渣缺陷来说,由于该缺陷是掺杂了其他颜色的物质,因此可能会出现较多的灰度级,该缺陷的丰富度主要反映在颜色丰富度,因此基于所有缺陷图像块中每个图像块的边缘丰富度和颜色丰富度进行初步区分。
首先,构建每个缺陷图像块的丰富度偏置因子为:
其中,表示该缺陷图像块丰富度偏置因子;/>表示缺陷图像块对应的颜色丰富度;/>表示缺陷图像块对应的边缘丰富度;/>表示自然常数。
该丰富度偏置因子的取值范围为;当/>时,说明该缺陷图像块对应的边缘丰富度相较于颜色丰富度所占比重较大,则该缺陷图像块被记为第一缺陷,第一缺陷中包括翘皮、龟裂以及边裂缺陷。当/>时,说明该缺陷图像块对应的颜色丰富度相较于边缘丰富度所占比重较大,则该缺陷图像块被记为夹渣缺陷。
步骤S400,获取第一缺陷中的每个缺陷图像块对应的周围弱势区域;获取每个周围弱势区域的纹理特征向量,将纹理特征向量输入训练完成的分类神经网络得到第一缺陷中每个缺陷图像块的缺陷类别。
具体的,由步骤S300中将所有的图像块分为正常图像块和缺陷图像块,进一步将缺陷图像块划分为夹渣缺陷与第一缺陷,由于第一缺陷中包括翘皮、龟裂以及边裂,因此需要对第一缺陷对应的图像块再次进行类别的区分。
本发明实施例中将每个第一缺陷中的缺陷区域都划分为两个子区域分别为中心强势区域和周围弱势区域。翘皮、龟裂以及边裂缺陷的中心强势区域是较为明显并且容易区分的中心凹陷部分,周围弱势区域相较于中心强势区域而言不能明显易区分;但周围弱势区域一般处于正常钢板与中心强势区域之间,即周围弱势区域的一侧为中心强势区域,一侧为正常钢板区域。本发明实施例中将周围弱势区域与中心强势区域之间的交界边缘记为正边缘,将周围弱势区域与正常钢板区域的交界边缘记为负边缘。
基于第一缺陷中所有缺陷图像块的像素点的灰度值获取最优灰度阈值,对每个缺陷图像块中像素点灰度值小于最优灰度阈值的点进行标记,所有标记的点构成的区域为对应缺陷图像块的中心强势区域。中心强势区域的外边缘为正边缘;基于中心强势区域获取每个缺陷图像块对应的保护区域;在缺陷图像块中选取初始生长点,初始生长点在保护区域之外且与保护区域之间的距离最远;以初始生产点进行区域生长得到区域的外边缘为负边缘;正边缘与外边缘之间的区域为周围弱势区域。
由于第一缺陷中各个缺陷类别的中心强势区域均为像素值较深的凹陷部分,其对应的灰度值会相应较小,因此本发明实施例采用大津算法对第一缺陷中所有缺陷图像块的灰度值计算最优灰度阈值,判断第一缺陷中所有缺陷图像块内每个像素点灰度值与最优灰度阈值之间的大小,将灰度值小于最优灰度阈值的像素点进行标记,每个图像块中被标记的像素点所在的区域即为缺陷的中心强势区域。
进一步的,将该中心强势区域的外边缘作为正边缘,然后将该中心强势区域作为禁止区域,即后续处理的过程中均与该禁止区域无关。在第一缺陷中每个缺陷图像块中寻找正常钢板区域的任意像素点为初始生长点,由于周围弱势区域处于中心强势区域的附近区域,因此本发明实施例中采用凸包算法计算每个中心强势区域的最小凸区域;然后获取该最小凸区域的最小外接矩形,进一步将该最小外接矩形的区域进行扩大,扩大的方法为将该最小外接矩形的长和宽均变为原来的,由此得到一个矩形区域,将该矩形区域记为保护区域,该保护区域为得到的缺陷估计范围。
考虑到正常钢板区域的灰度值与周围弱势区域的灰度值差异较大,以第一缺陷中每个缺陷图像块内保护区域之外的像素点为初始生长点,该初始生长点应该尽可能的远离该缺陷图像块中的保护区域。即在该缺陷图像块中与该保护区域的中心点的欧式距离最大的像素点为初始生长点,以该初始生长点作为起始点进行生长延伸,生长范围在禁止区域以外,满足生长的条件为:像素点之间的灰度差异小于预设阈值,并且像素点之间的特征纹理相似度大于预设阈值。
其中特征纹理相似度的计算方法为:
利用LBP(Local Binary Pattern)算子提取第一缺陷中每个缺陷图像块中每个像素点对应的8位的LBP码,对任意两个像素点对应的LBP码进行逻辑异或运算,运算的方式是两个像素点之间LBP码中每个位置的数字对应运算,相同的为0,不相同的为1。
统计任意两个像素点之间LBP码进行逻辑异或运算之后的0的数量,基于0的数量与8的比值作为这两个像素点之间的特征纹理相似度。
作为优选,本发明实施例中将像素点之间的灰度差异的预设阈值设置为10,将特征纹理相似度的预设阈值设置为0.75。
基于上述生长的条件,由初始生长点为起始点进行区域生长,将区域生长结束之后得到的区域的边界作为负边缘,则正边缘与负边缘之间的区域即为周围弱势区域;周围弱势区域与中心强势区域组成的整体区域为该缺陷图像块的缺陷区域。
进一步的,通过获取第一缺陷中每个缺陷图像块内具体的缺陷区域的相同方法,获取夹渣缺陷中缺陷图像块的缺陷区域;获取夹渣缺陷中每个缺陷图像块的中心强势区域与周围弱势区域,中心强势区域与周围弱势趋势构成的区域为对应缺陷图像块的缺陷区域;夹渣缺陷中每个缺陷图像块的中心强势区域的获取方法为:利用显著性算法获取每个缺陷图像块的显著图,将显著图中显著值大于预设显著值的像素点进行标注,所有标注的像素点构成的区域为中心强势区域。
具体的,对于夹渣缺陷的缺陷图像块而言,其中心强势区域为颜色较多的杂质部分,本发明实施例中采用显著性算法获取该缺陷图像块的显著图;将该显著图中像素点的显著值大于预设显著值的像素点进行标注,所有大于预设显著值的像素点所在的区域为该缺陷图像块中的中心强势区域。
作为优选,本发明实施例中将预设显著值设置为0.6。
将获取到的中心强势区域的外边缘作为正边缘,然后对该缺陷图像块中的负边缘进行求解,对负边缘的求解方法与第一缺陷中每个缺陷图像块的方法相同,从而获取夹渣缺陷中每个缺陷图像块中的具体缺陷区域。
进一步的,上述获取到第一缺陷中每个缺陷图像块的缺陷区域,但并未识别出每个缺陷图像块的实际类别,对于翘皮、龟裂以及边裂的缺陷区域,其共同特征是中心强势区域都为深色且狭长的凹陷部分,但每个缺陷对应的周围弱势区域具有不同的形态特征,例如翘起、坑面、斜切面以及裂纹等不同的纹理特征,因此可根据第一缺陷中每个缺陷图像块中的周围弱势区域对具体的缺陷类型进行区分。
具体的,获取第一缺陷中每个缺陷图像块内周围弱势区域对应的灰度共生矩阵,基于每个缺陷图像块对应的灰度共生矩阵提取相应的周围弱势区域的纹理信息,计算每个灰度共生矩阵对应的能量、熵值/>、对比度/>以及逆差矩/>,以能量/>、熵值、对比度/>以及逆差矩/>构建纹理特征向量:/>;以此获取每个缺陷图像块的周围弱势区域对应的纹理特征向量,将该纹理特征向量输入训练好的分类神经网络中即可得到该纹理特征向量对应的缺陷图像块的缺陷类型。
分类神经网络的训练集和测试集为大量的包含翘皮、龟裂、边裂缺陷的钢板表面灰度图像,分类神经网络的输入是缺陷图像块内周围弱势区域的纹理特征向量;由专业人员根据纹理特征向量对应缺陷图像块的缺陷类型进行标注,翘皮缺陷标注为0,龟裂缺陷标注为1以及边裂缺陷标注为2;网络的输出为缺陷图像块的缺陷类型。缺陷类型即为:翘皮缺陷、龟裂缺陷以及边裂缺陷。
综上所述,本发明实施例中通过获取钢板表面的灰度图像,将灰度图像划分为多个图像块,基于每个图像块的边缘信息、纹理信息以及颜色信息得到缺陷图像块,进一步对缺陷图像块的类别进行划分得到第一缺陷和夹渣缺陷;获取夹渣缺陷中每个缺陷图像块的缺陷区域,以第一缺陷中每个缺陷图像块的周围弱势区域,构建每个周围弱势区域对应的纹理特征向量,将每个周围弱势区域对应的纹理特征向量输入训练好的分类神经网络即可得到每个周围弱势区域的缺陷类型,提高了对缺陷类别识别的精度与效率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于丰富度的钢板缺陷分类方法,其特征在于,该方法包括以下步骤:
获取钢板表面的灰度图像,将所述灰度图像分割为多个图像块;获取每个所述图像块中的边缘像素点,基于所述边缘像素点的数量以及每个所述边缘像素点对应的梯度幅值得到所述图像块的边缘丰富度;
获取每个所述图像块的灰度共生矩阵,基于所述灰度共生矩阵得到所述图像块的能量,所述能量的倒数为所述图像块的纹理丰富度;获取所述图像块的颜色丰富度,所述颜色丰富度由所述图像块的灰度级数量、灰度均值以及所述灰度图像的灰度中值得到;
基于所述边缘丰富度、所述纹理丰富度以及所述颜色丰富度的加权求和得到每个所述图像块的区域丰富度,所述区域丰富度大于预设阈值的图像块为缺陷图像块;获取每个所述缺陷图像块的偏置因子,基于所述偏置因子将所有所述缺陷图像块分为第一缺陷和夹渣缺陷;所述第一缺陷中包括多种缺陷;
获取第一缺陷中的每个缺陷图像块对应的周围弱势区域;获取每个所述周围弱势区域的纹理特征向量,将所述纹理特征向量输入训练完成的分类神经网络得到第一缺陷中每个缺陷图像块的缺陷类别;
其中,所述基于所述边缘像素点的数量以及每个所述边缘像素点对应的梯度幅值得到所述图像块的边缘丰富度的步骤,包括:
将所述图像块中非边缘像素点的像素值置为0,统计所述图像块中非零像素点的数量,所述边缘丰富度的计算方法为:
其中,表示图像块的边缘丰富度;/>表示图像块中所有非零像素点的数量;/>表示图像块中第/>个非零像素点的梯度幅值;/>表示图像块中所有像素点的数量;/>表示调节参数;
所述获取每个所述缺陷图像块的偏置因子的步骤,包括:
获取所述缺陷图像块对应的颜色丰富度与边缘丰富度的比值,基于所述比值获取所述偏置因子。
2.根据权利要求1所述的一种基于丰富度的钢板缺陷分类方法,其特征在于,所述获取所述图像块的颜色丰富度,所述颜色丰富度由所述图像块的灰度级数量、灰度均值以及所述灰度图像的灰度中值得到的步骤,包括:
所述颜色丰富度的计算方法为:
其中,表示图像块的颜色丰富度;/>表示图像块中包含的灰度级数量;/>表示灰度图像中包含的灰度级的总数量;/>表示图像块中第/>个灰度级对应的像素点数量;/>表示图像块中像素点的总数量;/>表示该图像块中第/>个灰度级的灰度值;/>表示该图像块的灰度均值;/>表示灰度图像的灰度中值;/>表示调节参数。
3.根据权利要求1所述的一种基于丰富度的钢板缺陷分类方法,其特征在于,所述获取第一缺陷中的每个缺陷图像块对应的周围弱势区域的步骤,包括:
获取第一缺陷中每个缺陷图像块对应的中心强势区域,所述中心强势区域的外边缘为正边缘;基于所述中心强势区域获取每个缺陷图像块对应的保护区域;
在所述缺陷图像块中选取初始生长点,所述初始生长点在所述保护区域之外且与保护区域之间的距离最远;以所述初始生长点进行区域生长得到区域的外边缘为负边缘;所述正边缘与所述外边缘之间的区域为周围弱势区域。
4.根据权利要求3所述的一种基于丰富度的钢板缺陷分类方法,其特征在于,所述获取第一缺陷中每个缺陷图像块对应的中心强势区域的步骤,包括:
基于第一缺陷中所有缺陷图像块的像素点的灰度值获取最优灰度阈值,对每个所述缺陷图像块中像素点灰度值小于所述最优灰度阈值的点进行标记,所有标记的点构成的区域为对应缺陷图像块的中心强势区域。
5.根据权利要求3所述的一种基于丰富度的钢板缺陷分类方法,其特征在于,所述基于所述偏置因子将所有所述缺陷图像块分为第一缺陷和夹渣缺陷的步骤,还包括:
获取所述夹渣缺陷中每个缺陷图像块的中心强势区域与所述周围弱势区域,所述中心强势区域与所述周围弱势区域构成的区域为对应所述缺陷图像块的缺陷区域;
所述夹渣缺陷中每个缺陷图像块的中心强势区域的获取方法为:利用显著性算法获取每个缺陷图像块的显著图,将所述显著图中显著值大于预设显著值的像素点进行标注,所有标注的像素点构成的区域为所述中心强势区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211059713.6A CN115131356B (zh) | 2022-09-01 | 2022-09-01 | 一种基于丰富度的钢板缺陷分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211059713.6A CN115131356B (zh) | 2022-09-01 | 2022-09-01 | 一种基于丰富度的钢板缺陷分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115131356A CN115131356A (zh) | 2022-09-30 |
CN115131356B true CN115131356B (zh) | 2023-12-26 |
Family
ID=83386924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211059713.6A Active CN115131356B (zh) | 2022-09-01 | 2022-09-01 | 一种基于丰富度的钢板缺陷分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115131356B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375676B (zh) * | 2022-10-24 | 2023-01-24 | 微山三利特不锈钢有限公司 | 一种基于图像识别的不锈钢制品质量检测方法 |
CN116188462B (zh) * | 2023-04-24 | 2023-08-11 | 深圳市翠绿贵金属材料科技有限公司 | 一种基于视觉鉴定的贵金属质量检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565614A (zh) * | 2022-05-02 | 2022-05-31 | 武汉华塑亿美工贸有限公司 | 基于机器视觉的注塑件表面缺陷分析方法与系统 |
CN114972329A (zh) * | 2022-07-13 | 2022-08-30 | 江苏裕荣光电科技有限公司 | 基于图像处理的表面缺陷检测仪的图像增强方法及系统 |
-
2022
- 2022-09-01 CN CN202211059713.6A patent/CN115131356B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565614A (zh) * | 2022-05-02 | 2022-05-31 | 武汉华塑亿美工贸有限公司 | 基于机器视觉的注塑件表面缺陷分析方法与系统 |
CN114972329A (zh) * | 2022-07-13 | 2022-08-30 | 江苏裕荣光电科技有限公司 | 基于图像处理的表面缺陷检测仪的图像增强方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115131356A (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115131356B (zh) | 一种基于丰富度的钢板缺陷分类方法 | |
CN115375676B (zh) | 一种基于图像识别的不锈钢制品质量检测方法 | |
CN109934802B (zh) | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 | |
CN115345885B (zh) | 一种金属健身器材外观质量检测方法 | |
CN114937055B (zh) | 基于人工智能的图像自适应分割方法与系统 | |
CN115100221B (zh) | 一种玻璃缺陷分割方法 | |
CN114219805B (zh) | 一种玻璃缺陷智能检测方法 | |
CN107437243B (zh) | 基于x光图像的轮胎杂质检测方法及装置 | |
CN109658391B (zh) | 一种基于轮廓归并和凸包拟合的圆半径测量方法 | |
CN115222733A (zh) | 基于图像识别的金属构件表面缺陷检测方法 | |
CN102156996A (zh) | 一种图像边缘检测的方法 | |
CN116523923B (zh) | 一种电池外壳缺陷识别方法 | |
CN114037691A (zh) | 一种基于图像处理的碳纤维板裂纹检测方法 | |
CN115131359B (zh) | 一种金属加工件表面麻点缺陷检测方法 | |
CN116342586B (zh) | 基于机器视觉的路面质量检测方法 | |
CN117036341A (zh) | 一种基于图像处理的路面裂缝检测方法 | |
CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
CN116630813A (zh) | 一种公路路面施工质量智能检测系统 | |
CN116883408B (zh) | 基于人工智能的积算仪壳体缺陷检测方法 | |
CN117689655B (zh) | 基于计算机视觉的金属钮扣表面缺陷检测方法 | |
CN116934761B (zh) | 一种乳胶手套缺陷自适应检测方法 | |
CN115100510B (zh) | 一种轮胎磨损度识别方法 | |
CN115423816B (zh) | 一种金属表面磨削质量检测方法 | |
CN114359276B (zh) | 基于麻点缺陷的钢模下料优选方案获取方法 | |
CN116343002A (zh) | 一种图像分析污水处理污泥区域沉降速度预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231121 Address after: 256600 south head of MasterCard Road, Xingfu Town, Boxing County, Binzhou City, Shandong Province Applicant after: Shandong Junguan Metal Materials Co.,Ltd. Address before: Group 5, Hexing Town Village, Huilong Town, Qidong City, Nantong City, Jiangsu Province, 226200 Applicant before: Nantong Hengrui Precision Machinery Manufacturing Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |