CN111080636A - 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 - Google Patents
彩钢瓦表面缺陷的cnn语义分割自学习检测方法 Download PDFInfo
- Publication number
- CN111080636A CN111080636A CN201911342401.4A CN201911342401A CN111080636A CN 111080636 A CN111080636 A CN 111080636A CN 201911342401 A CN201911342401 A CN 201911342401A CN 111080636 A CN111080636 A CN 111080636A
- Authority
- CN
- China
- Prior art keywords
- color steel
- steel tile
- image
- semantic segmentation
- tile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 173
- 239000010959 steel Substances 0.000 title claims abstract description 173
- 230000007547 defect Effects 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 230000011218 segmentation Effects 0.000 title claims abstract description 40
- 238000001228 spectrum Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000005286 illumination Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000003973 paint Substances 0.000 description 3
- 239000004566 building material Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001584785 Anavitrinella pampinaria Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法。包括：对彩钢瓦原始灰度图像进行二维离散傅里叶变换，得到彩钢瓦频谱图像；计算彩钢瓦功率谱图像并进行二值化、形态学膨胀操作；设计遮罩数据，对彩钢瓦频谱图像进行滤波、二维离散傅里叶逆变换；基于背景差分法，得到彩钢瓦缺陷图像；对彩钢瓦缺陷图像进行阈值化处理，生成标注图像；对多个彩钢瓦生成标注图像，将彩钢瓦原始灰度图像与标注图像作为样本数据集，训练语义分割深度卷积神经网络；将待检测彩钢瓦原始灰度图像输入训练好的神经网络，得到彩钢瓦缺陷检测结果并对结果进行筛选。利用本发明，可以在彩钢瓦表面缺陷检测场景中，提高彩钢瓦表面缺陷检测效率和检测精度。
Description
技术领域
本发明涉及深度学习、数字图像处理技术领域，具体涉及一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法。
背景技术
随着我国建筑行业跨越式发展，各种新型建筑材料被应用到建筑当中。彩钢瓦又称为彩色压型瓦，在居民房、仓库、大跨度结构建筑上得到了广泛适用，其作为轻型建筑材料，能够加快工期进度，并且在抗地震灾害方面具有极大的优势。彩钢瓦强度高，承重效果好，无需梁柱。尤其在大跨度建筑建设中具有其他材料不可比拟的优势。目前，彩钢瓦已经在我国得到推广应用，彩钢瓦产业已成规模。彩钢瓦需求量不断增大，同时给企业生产效率提出了挑战，质检阶段是产品出厂的必要阶段。由于工艺或者工人技术原因，在彩钢瓦表面会出现缺漆、脏点等现象，缺漆现象不仅给企业带来质检压力，同时也给使用者带来安全隐患，表面一旦缺漆，随着雨水冲刷、落叶腐蚀，彩钢会加速生锈、老化，轻者出现漏水现象，重者可能造成生命、财产损失。
目前我国生产彩钢瓦企业的质检方式基本上都是人工质检，通过顶置光源、人眼观察的方式来检测彩钢瓦表面缺陷。首先人工方式检测效率非常低下，已经不能满足我国日益增长的对彩钢瓦的需求。其次，由于工人个人素质、技术水平等原因，会出现漏检、误检现象，给企业、使用者带来极大损失。最后，对于面积比较大的彩钢瓦需要多人协作方式进行质检工作，造成了极大的人力资源浪费。
因此，现有彩钢瓦表面检测技术存在人力成本高、检测效率低、检测精度低的问题。
发明内容
本发明提供了一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，该方法利用计算机图像处理技术、深度学习技术实现了彩钢瓦表面缺陷检测，降低人力成本，检测效率更高，检测精度更高。
一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，该方法包括：
步骤一，使用相机采集彩钢瓦原始灰度图像，对彩钢瓦原始灰度图像进行二维离散傅里叶变换，得到彩钢瓦频谱图像；
步骤二，计算彩钢瓦频谱图像对应的功率谱图像，使用最大类间方差法，对彩钢瓦功率谱图像进行二值化；
步骤三，构建形态学结构元素，对二值化的彩钢瓦功率谱图像进行形态学膨胀操作；
步骤四，将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据，将遮罩数据与彩钢瓦频谱图像点对点相乘，得到滤波后的彩钢瓦频谱图像；
步骤五，对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像；
步骤六，根据彩钢瓦原始灰度图像与重构彩钢瓦背景图像，基于背景差分法，得到彩钢瓦缺陷图像；
步骤七，对彩钢瓦缺陷图像进行阈值化处理，对阈值化处理结果进行连通域筛选，筛选结果作为标注图像；
步骤八，对多个彩钢瓦进行彩钢瓦原始灰度图像采集，并根据步骤一至七获取标注图像，将彩钢瓦原始灰度图像与标注图像作为样本数据集，基于交叉熵损失函数训练预设语义分割深度卷积神经网络；
步骤九，将待检测彩钢瓦原始灰度图像输入训练好的语义分割深度卷积神经网络，得到彩钢瓦缺陷检测结果；
步骤十，根据连通域面积筛选规则，对彩钢瓦缺陷检测结果进行筛选。
步骤一中的二维离散傅里叶变换计算公式如下：
其中，f(x，y)代表大小为M*N的矩阵，其中,x的取值区间[0,1,…，M-1]和y的取值区间[0,1,…，N-1],x、y均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
步骤三中的形态学结构元素为：
步骤五中的二维离散傅里叶逆变换计算公式如下：
其中，f(x，y)代表大小为M*N的矩阵，其中,u的取值区间[0,1,…，M-1]和v的取值区间[0,1,…，N-1],u、v均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
步骤六包括：
根据彩钢瓦原始灰度图像，基于背景差分法，将彩钢瓦纹理、光照信息从原始灰度图像中剔除，得到彩钢瓦缺陷图像，计算公式如下：
RES＝G-BASE
其中，RES为彩钢瓦缺陷图像，G为彩钢瓦原始灰度图像，BASE为重构彩钢瓦背景图像。
步骤十中的连通域面积筛选规则包括：
计算连通域面积评分系数：
其中，c为评分系数，d为彩钢瓦两凸起之间的距离，A为彩钢瓦缺陷检测结果中的连通域面积，B为当前检测区域彩钢瓦的面积；
设置阈值，如果连通域面积评分系数大于阈值则将该连通域计入缺陷，否则，将该连通域过滤。
本发明的有益效果在于：
1、本发明采用计算机图形学对彩钢瓦图像进行处理，获得缺陷标示结果，实现了智能化的彩钢瓦质检，降低了人力成本；
2、本发明无需进行手工标注，基于检测结果自动标注并生成数据集，进而训练语义分割深度卷积神经网络，本发明方法前期计算机视觉算法可以完成常规的彩钢瓦批量缺陷检测，后期能够训练泛化性能更强的语义分割深度卷积神经网络，性能鲁棒性更强，能够适应各种复杂工业情况、不同规格、颜色彩的钢瓦进行检测，适用范围广，提高企业的检测效率；
3、本发明采用傅里叶变换、形态学滤波等计算机图形处理技术，获得彩钢瓦缺陷图像，克服彩钢瓦表面纹理、光照等干扰，提高了标注精度，进一步提高后续检测精度。
附图说明
图1为彩钢瓦表面缺陷的CNN语义分割自学习检测方法流程图；
图2为彩钢瓦原始灰度图像示意图；
图3为彩钢瓦频谱图像示意图；
图4为膨胀的彩钢瓦功率谱图像示意图；
图5为阈值化的彩钢瓦缺陷图像示意图；
图6为标注图像示意图；
图7为语义分割深度卷积网络输出结果示意图；
图8彩钢瓦缺陷检测结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，采用普通相机采集彩钢瓦图像，通过傅里叶变换得到频谱图，对功率谱滤波，进行傅里叶逆变换得到带有纹理、光照的背景图，采用背景差分法过滤纹理及光照，通过阈值化处理得到彩钢瓦缺陷标注图像，将彩钢瓦原始灰度图像与标注图像作为样本集，输入语义分割深度卷积神经网络，实现彩钢瓦表面缺陷自动检测。彩钢瓦表面缺陷的CNN语义分割自学习检测方法流程图如图1所示，下面通过具体实施例来进行说明。
实施例一：
彩钢瓦表面缺陷的CNN语义分割自学习检测方法，包括：
步骤一，使用相机采集彩钢瓦原始灰度图像，对彩钢瓦原始灰度图像进行二维离散傅里叶变换，得到彩钢瓦频谱图像。
采用普通灰度相机自顶向下采集彩钢瓦原始灰度图像G。彩钢瓦原始灰度图像如图2所示。对彩钢瓦原始灰度图像进行二维离散傅里叶变换。二维离散傅里叶变换公式如下：
其中，f(x，y)代表大小为M*N的矩阵，其中，x的取值区间[0，1，…，M-1]和y的取值区间[0，1，…，N-1]，x、y均为整数，F(u，v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量μ和v的复值函数，频率μ对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
根据上述公式可以得到彩钢瓦的频谱，将频谱中心化，得到彩钢瓦频谱图像如图3所示。彩钢瓦频谱图像中出现一道亮线，该位置即是图像部分。
步骤二，计算彩钢瓦频谱图像对应的功率谱，使用最大类间方差法，对彩钢瓦功率谱图像进行二值化。
计算彩钢瓦频谱图像对应的功率谱：P(μ，v)＝|F(μ，v)|2＝R2(μ，v)+I2(μ，v)
其中，R(μ，v)、I(μ，v)分别为彩钢瓦傅里叶谱F(μ，v)的实部和虚部。
采用最大类间方差法对得到的功率谱P(μ，v)进行二值化，得到二值化后的彩钢瓦功率谱图像。最大类间方差法具体如下：假设图像的尺寸为M×N，图像中小于等于阈值T灰度值即背景像素的个数记为N0，灰度值大于阈值T即前景像素个数记为N1。则有：
w0＝N0/M×N
w1＝N1/M×N
其中，w0为背景像素占比，w1为前景像素占比，N0+N1＝M×N，w0+w1＝1。
μ′＝w0*μ0+w1*μ1
其中，μ′为灰度累计值，μ0为背景平均灰度值，μ1为前景平均灰度值。
g＝w0(μ0-μ′)2+w1(μ1-μ′)2
其中，g为类间方差。
根据上述公式可以得到类间方差最终简化公式：
g＝w0w1(μ0-μ1)2
遍历所有0到255灰度级的阈值分割条件，获得最大类间方差对应的灰度级即为最大类间方差法获得的阈值。根据所得阈值对彩钢瓦功率谱图像进行阈值化处理。
步骤三，构建形态学结构元素，对二值化的彩钢瓦功率谱图像进行形态学膨胀操作。
构建形态学结构元素。一种实施例是设计形态学结构元素K，形态元结构元素的尺寸是3×3，具体可以采用十字结构：
采用形态学结构元素K对二值化的彩钢瓦功率谱图像进行膨胀操作，得到膨胀的彩钢瓦功率谱图像，如图4所示。
步骤四，将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据，将遮罩数据与彩钢瓦频谱图像点对点相乘，得到滤波后的彩钢瓦频谱图像。
膨胀结果可以作为自适应滤波的频率线索。根据膨胀的彩钢瓦功率谱图像设计遮罩。遮罩本身的形状会出现较不稳定的情况，但由于膨胀操作将其扩张，因此，根据遮罩数据滤波的效果和完整的滤波器的滤波质量近似。
将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据。将遮罩数据与彩钢瓦频谱图像点对点相乘。实施者应知道，功率谱是一种可视化用途的数据，对于功率谱而言，本发明依靠其灰度特征自动生成遮罩。而频谱图像保留了相位、强度等信息，因此应在频谱图像上与遮罩进行逐点相乘。
步骤五，对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像。
对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像。二维离散傅里叶逆变换计算公式如下：
其中，f(x，y)代表大小为M*N的矩阵，其中,u的取值区间[0,1,…，M-1]和v的取值区间[0,1,…，N-1],u、v均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。重构彩钢瓦背景图像包含原图光照信息以及纹理信息，可以作为原始图像的背景图。
步骤六，根据彩钢瓦原始灰度图像与重构彩钢瓦背景图像，基于背景差分法，得到彩钢瓦缺陷图像。
根据步骤六，得到了重构彩钢瓦背景图像，包含原图光照信息及纹理信息，可以作为原始图像的背景图。根据彩钢瓦原始灰度图像，基于背景差分法，将彩钢瓦纹理、光照信息从原始灰度图像中剔除。计算公式如下：
RES＝G-BASE
其中，图像RES即为去除光照不均匀现象、去除纹理后的彩钢瓦缺陷图像，BASE为重构彩钢瓦背景图像。
步骤七，对彩钢瓦缺陷图像进行阈值化处理，对阈值化处理结果进行连通域筛选，筛选结果作为标注图像。
为了得到更好的检测效果，采用大津阈值法对彩钢瓦缺陷图像RES进行阈值化，阈值化的彩钢瓦缺陷图像如图5所示。通过阈值化可以看出背景差分包含了许多噪点，这是由于背景差分原理决定的，因此需要对阈值化后图像进行进一步处理，以得到更加清晰的标注结果。本实施例采用连通域面积筛选处理，将小于阈值的噪点连通域过滤，得到标注图像，标注图像如图6所示。
步骤八，对多个彩钢瓦进行彩钢瓦原始灰度图像采集，并根据步骤一至七获取标注图像，将彩钢瓦原始灰度图像与标注图像作为样本数据集，基于交叉熵损失函数训练预设语义分割深度卷积神经网络。
采集多个彩钢瓦的原始彩钢瓦灰度图像，并生成标注图像，用于语义分割。实施者可以在样本足够多时开始深度卷积神经网络的训练。
一般而言，样本数量应为1000左右，由于是小批量样本，可以对样本集做旋转、透视变换、缩放、镜像等常规的样本增强操作。
实施者可以使用基于DeepLabV3,ENet，ICNet，HRNet等现有的性能较佳的语义分割深度卷积神经网络来实现。本发明所解决的问题是一种二分类问题，但由于一般的语义分割网络设计时是为了多分类问题设计的，因此网络的激活函数和一些结构是与交叉熵损失函数的特性相对应的，因此，即便本发明解决的是二分类问题，还是需要使用交叉熵损失函数进行训练：
CE(S1(i,j),Label(i,j))＝Label(i,j)*log(S1(i,j))
其中S1为卷积神经网络通道1输出结果，Label是标注图像，S1(i,j)是输出结果在位置(i，j)处的像素值，Label(i,j)是标注图像在位置(i，j)处的像素值，缺陷处为1，其余位置为0。
鉴于交叉熵损失函数的特性，将多分类语义分割深度卷积神经网络的最后一层通道数为分类类别数加1。以ENet为例，调节最后一层反卷积层的输出通道为2即可。语义分割深度神经网络的交叉熵训练方法是众所周知的，因此不再赘述。
以ENet为例，调节学习率为3e-4，优化器为Adam即可。
基于上述步骤，可以训练得到效果理想的语义分割深度卷积神经网络权重。将权重载入，保存训练好的语义分割深度卷积神经网络。
步骤九，将待检测彩钢瓦原始灰度图像输入训练好的语义分割深度卷积神经网络，得到彩钢瓦缺陷检测结果。
采集待检测彩钢瓦原始灰度图像，将图像输入训练好的语义分割深度卷积神经网络，取通道1的输出。以图2为例，将其输入训练完成后的网络，取通道1的输出，得到图7所示的语义分割深度卷积网络输出结果。
由于反卷积的操作的存在，一般得到的响应会出现细密的网格化效果，为了得到后续稳定的分割结果，需要对其进行闭运算操作。对闭运算操作后的图像进行自适应二值化。一种实施例是采用最大类间方差法对闭运算后的分割结果进行二值化处理，即可得到如图8所示的彩钢瓦缺陷检测结果。
步骤十，根据连通域面积筛选规则，对彩钢瓦缺陷检测结果进行筛选。
进一步地，基于经验设计筛选规则，对彩钢瓦缺陷检测结果进行过滤。设计的筛选规则是针对彩钢瓦缺陷检测结果中连通域面积进行过滤。在实际实施中应根据企业实际检测要求设计连通域筛选规则。筛选规则可以包括：根据连通域面积进行筛选。本发明通过大量实践验证，得到了一种筛选规则，计算连通域面积评分系数，设置阈值，比较连通域面积评分系数与阈值大小。如果连通域面积评分系数大于阈值，则该缺陷严重，如果连通域面积评分系数小于阈值，则该缺陷可以忽略不计。连通域面积评分系数具体可以根据以下公式计算：
其中，c为评分系数，d为彩钢瓦两凸起之间的距离，A为彩钢瓦缺陷检测结果中的连通域面积，即缺陷面积，B为当前检测区域彩钢瓦的面积。设置阈值，根据经验值可设为3，当c>3时认为缺陷比较严重，将该连通域计入缺陷，否则，将该连通域面积过滤。根据上述筛选规则对彩钢瓦缺陷连通域进行筛选。
进一步地，可以设置多个阈值。一种实施例是设置两个阈值，根据最小阈值过滤小于最小阈值的连通域，根据最大阈值过滤大于最大阈值的连通域。设置多个阈值可以过滤检测结果边缘非缺陷的噪声。
本发明需进行手工标注，基于检测结果自动标注，标注精度更高。根据标注图像生成数据集，进而训练语义分割深度卷积神经网络，本发明方法前期计算机视觉算法可以完成常规的彩钢瓦批量缺陷检测，后期能够训练泛化性能更强的语义分割深度卷积神经网络，性能鲁棒性更强，能够适应各种复杂工业情况、不同规格、颜色彩的钢瓦进行检测，适用范围广，提高企业的检测效率。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，其特征在于，该方法包括：
步骤一，使用相机采集彩钢瓦原始灰度图像，对彩钢瓦原始灰度图像进行二维离散傅里叶变换，得到彩钢瓦频谱图像；
步骤二，计算彩钢瓦频谱图像对应的功率谱图像，使用最大类间方差法，对彩钢瓦功率谱图像进行二值化；
步骤三，构建形态学结构元素，对二值化的彩钢瓦功率谱图像进行形态学膨胀操作；
步骤四，将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据，将遮罩数据与彩钢瓦频谱图像点对点相乘，得到滤波后的彩钢瓦频谱图像；
步骤五，对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像；
步骤六，根据彩钢瓦原始灰度图像与重构彩钢瓦背景图像，基于背景差分法，得到彩钢瓦缺陷图像；
步骤七，对彩钢瓦缺陷图像进行阈值化处理，对阈值化处理结果进行连通域筛选，筛选结果作为标注图像；
步骤八，对多个彩钢瓦进行彩钢瓦原始灰度图像采集，并根据步骤一至七获取标注图像，将彩钢瓦原始灰度图像与标注图像作为样本数据集，基于交叉熵损失函数训练预设语义分割深度卷积神经网络；
步骤九，将待检测彩钢瓦原始灰度图像输入训练好的语义分割深度卷积神经网络，得到彩钢瓦缺陷检测结果；
步骤十，根据连通域面积筛选规则，对彩钢瓦缺陷检测结果进行筛选。
2.如权利要求1所述的彩钢瓦表面缺陷的CNN语义分割自学习检测方法，其特征在于，所述步骤一中的二维离散傅里叶变换计算公式如下：
其中，f(x，y)代表大小为M*N的矩阵，其中,x的取值区间[0,1,…，M-1]和y的取值区间[0,1,…，N-1],x、y均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
3.如权利要求1所述的彩钢瓦表面缺陷的CNN语义分割自学习检测方法，其特征在于，所述步骤三中的形态学结构元素为：
4.如权利要求1所述的彩钢瓦表面缺陷的CNN语义分割自学习检测方法，其特征在于，所述步骤五中的二维离散傅里叶逆变换计算公式如下：
其中，f(x，y)代表大小为M*N的矩阵，其中,u的取值区间[0,1,…，M-1]和v的取值区间[0,1,…，N-1],u、v均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
5.如权利要求1所述的彩钢瓦表面缺陷的CNN语义分割自学习检测方法，其特征在于，所述步骤六包括：
根据彩钢瓦原始灰度图像，基于背景差分法，将彩钢瓦纹理、光照信息从原始灰度图像中剔除，得到彩钢瓦缺陷图像，计算公式如下：
RES＝G-BASE
其中，RES为彩钢瓦缺陷图像，G为彩钢瓦原始灰度图像，BASE为重构彩钢瓦背景图像。
6.如权利要求1所述的彩钢瓦表面缺陷的CNN语义分割自学习检测方法，其特征在于，所述步骤十中的连通域面积筛选规则包括：
计算连通域面积评分系数：
其中，c为评分系数，d为彩钢瓦两凸起之间的距离，A为彩钢瓦缺陷检测结果中的连通域面积，B为当前检测区域彩钢瓦的面积；
设置阈值，如果连通域面积评分系数大于阈值则将该连通域计入缺陷，否则，将该连通域过滤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911342401.4A CN111080636B (zh) | 2019-12-23 | 2019-12-23 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911342401.4A CN111080636B (zh) | 2019-12-23 | 2019-12-23 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111080636A true CN111080636A (zh) | 2020-04-28 |
| CN111080636B CN111080636B (zh) | 2023-08-25 |
Family
ID=70316950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911342401.4A Active CN111080636B (zh) | 2019-12-23 | 2019-12-23 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080636B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538429A (zh) * | 2021-09-16 | 2021-10-22 | 海门市创睿机械有限公司 | 基于图像处理的机械零件表面缺陷检测方法 |
| CN113658154A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种基于频域周期性纹理去除的图像检测方法及装置 |
| CN113762073A (zh) * | 2021-07-29 | 2021-12-07 | 淮阴工学院 | 一种古建筑斜坡瓦面破损自动评估方法 |
| CN113971670A (zh) * | 2021-12-23 | 2022-01-25 | 武汉市利隆捷精密螺丝制造有限公司 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
| CN114119462A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯铝壳蓝膜外观检测算法 |
| CN114565607A (zh) * | 2022-04-01 | 2022-05-31 | 南通沐沐兴晨纺织品有限公司 | 基于神经网络的织物缺陷图像分割方法 |
| CN115713475A (zh) * | 2023-01-10 | 2023-02-24 | 深圳市格灵精睿视觉有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN114565607B (zh) * | 2022-04-01 | 2024-06-04 | 汕头市鼎泰丰实业有限公司 | 基于神经网络的织物缺陷图像分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008241407A (ja) * | 2007-03-27 | 2008-10-09 | Mitsubishi Electric Corp | 欠陥検出方法及び欠陥検出装置 |
| CN107220649A (zh) * | 2017-05-27 | 2017-09-29 | 江苏理工学院 | 一种素色布匹缺陷检测和分类方法 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
| US20180253836A1 (en) * | 2015-06-16 | 2018-09-06 | South China University Of Technology | Method for automated detection of defects in cast wheel products |
| CN110473173A (zh) * | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
-
2019
- 2019-12-23 CN CN201911342401.4A patent/CN111080636B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008241407A (ja) * | 2007-03-27 | 2008-10-09 | Mitsubishi Electric Corp | 欠陥検出方法及び欠陥検出装置 |
| US20180253836A1 (en) * | 2015-06-16 | 2018-09-06 | South China University Of Technology | Method for automated detection of defects in cast wheel products |
| CN107220649A (zh) * | 2017-05-27 | 2017-09-29 | 江苏理工学院 | 一种素色布匹缺陷检测和分类方法 |
| CN108305243A (zh) * | 2017-12-08 | 2018-07-20 | 五邑大学 | 一种基于深度学习的磁瓦表面缺陷检测方法 |
| CN110473173A (zh) * | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 严俊龙等: "磁瓦表面缺陷自动检测系统的研究", 《计算机工程与应用》 * |
| 王超等: "基于卷积神经网络的磁瓦缺陷检测研究", 《大连民族大学学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762073A (zh) * | 2021-07-29 | 2021-12-07 | 淮阴工学院 | 一种古建筑斜坡瓦面破损自动评估方法 |
| CN113762073B (zh) * | 2021-07-29 | 2024-03-29 | 淮阴工学院 | 一种古建筑斜坡瓦面破损自动评估方法 |
| CN113658154A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种基于频域周期性纹理去除的图像检测方法及装置 |
| CN113538429A (zh) * | 2021-09-16 | 2021-10-22 | 海门市创睿机械有限公司 | 基于图像处理的机械零件表面缺陷检测方法 |
| CN113538429B (zh) * | 2021-09-16 | 2021-11-26 | 海门市创睿机械有限公司 | 基于图像处理的机械零件表面缺陷检测方法 |
| CN114119462A (zh) * | 2021-10-08 | 2022-03-01 | 厦门微亚智能科技有限公司 | 一种基于深度学习的锂电池电芯铝壳蓝膜外观检测算法 |
| CN113971670A (zh) * | 2021-12-23 | 2022-01-25 | 武汉市利隆捷精密螺丝制造有限公司 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
| CN113971670B (zh) * | 2021-12-23 | 2022-04-15 | 武汉市利隆捷精密螺丝制造有限公司 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
| CN114565607A (zh) * | 2022-04-01 | 2022-05-31 | 南通沐沐兴晨纺织品有限公司 | 基于神经网络的织物缺陷图像分割方法 |
| CN114565607B (zh) * | 2022-04-01 | 2024-06-04 | 汕头市鼎泰丰实业有限公司 | 基于神经网络的织物缺陷图像分割方法 |
| CN115713475A (zh) * | 2023-01-10 | 2023-02-24 | 深圳市格灵精睿视觉有限公司 | 图像处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111080636B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080636B (zh) | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 | |
| CN108416766B (zh) | 双侧入光式导光板缺陷视觉检测方法 | |
| CN108830857B (zh) | 一种自适应的汉字碑帖图像二值化分割方法 | |
| CN104792794A (zh) | 基于机器视觉的光学薄膜表面缺陷检测方法 | |
| CN110827235B (zh) | 钢板表面缺陷检测方法 | |
| CN108961230B (zh) | 结构表面裂缝特征的识别与提取方法 | |
| Pizurica et al. | Digital image processing of the Ghent Altarpiece: Supporting the painting's study and conservation treatment | |
| CN108596930A (zh) | 基于天牛须算法和数学形态学的射线图像焊缝提取方法 | |
| Bai et al. | A new morphological approach for noise removal cum edge detection | |
| CN109801286B (zh) | 一种lcd导光板的表面缺陷检测方法 | |
| CN112614062A (zh) | 菌落计数方法、装置及计算机存储介质 | |
| CN111523540A (zh) | 基于深度学习的金属表面缺陷检测方法 | |
| CN111681213A (zh) | 一种基于深度学习的导光板线划伤缺陷检测方法 | |
| CN112749747A (zh) | 垃圾分类质量评估方法及系统 | |
| CN101908205A (zh) | 基于幻方编码的中值滤波方法 | |
| CN111008649B (zh) | 一种基于三支决策的缺陷检测数据集预处理方法 | |
| CN115471466A (zh) | 一种基于人工智能的钢材表面缺陷检测方法及系统 | |
| CN102968763A (zh) | 一种基于自适应神经模糊推理系统的图像滤波方法 | |
| CN110530894B (zh) | 导光板亮点缺陷检测方法 | |
| CN104102911A (zh) | 一种基于aoi的子弹表观缺陷检测系统的图像处理算法 | |
| Hu et al. | Multi-scale edge detection with bilateral filtering in spiral architecture | |
| CN109752391A (zh) | 一种基于机器视觉的胡萝卜表面缺陷识别量化方法 | |
| Yun et al. | Detection of line defects in steel billets using undecimated wavelet transform | |
| CN108805855B (zh) | 一种混凝土裂纹快速识别方法 | |
| Marzouk et al. | Quality analysis using three-dimensional modelling and image processing techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230731 Address after: No. 51, Weiqiao Aluminum Deep Processing Industrial Park, Changshan Town, Zouping, Binzhou City, Shandong Province, 256600 Applicant after: Shandong Anya Metal Technology Co.,Ltd. Address before: 450000 new campus of Zhengzhou University, No.100, science Avenue, Zhongyuan District, Zhengzhou City, Henan Province Applicant before: Yang Jingri |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: CNN semantic segmentation self-learning detection method for surface defects of color steel tiles Granted publication date: 20230825 Pledgee: Agricultural Bank of China Limited Zouping sub branch Pledgor: Shandong Anya Metal Technology Co.,Ltd. Registration number: Y2024980000694 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |