CN114565607A - 基于神经网络的织物缺陷图像分割方法 - Google Patents
基于神经网络的织物缺陷图像分割方法 Download PDFInfo
- Publication number
- CN114565607A CN114565607A CN202210356871.1A CN202210356871A CN114565607A CN 114565607 A CN114565607 A CN 114565607A CN 202210356871 A CN202210356871 A CN 202210356871A CN 114565607 A CN114565607 A CN 114565607A
- Authority
- CN
- China
- Prior art keywords
- image
- fabric
- defect
- fabric defect
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 315
- 230000007547 defect Effects 0.000 title claims abstract description 291
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003709 image segmentation Methods 0.000 title claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 230000004913 activation Effects 0.000 claims description 88
- 238000010586 diagram Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 239000004753 textile Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及神经网络技术领域，具体涉及一种基于神经网络的织物缺陷图像分割方法，包括：获取待检测织物表面图像，进而得到织物缺陷距离变换图像；根据织物缺陷距离变换图像中的各个像素点的灰度值，得到织物缺陷距离变换图像中的各个像素点的窗口大小；根据织物缺陷距离变换图像中的各个像素点的灰度值和窗口大小，得到织物缺陷距离变换图像中的各个像素点的灰度共生矩阵，确定织物能量图像中的各个像素点的能量值，得到织物能量图像；根据织物能量图像、织物缺陷距离变换图像和织物表面图像，得到织物缺陷分割图像。本发明通过对织物表面图像的处理，得到织物缺陷分割图像，提高了对织物缺陷分割的效率和精度。
Description
技术领域
本发明涉及神经网络技术领域，具体涉及一种基于神经网络的织物缺陷图像分割方法。
背景技术
由纺织纤维和纱线制成的、柔软而具有一定力学性质和厚度的制品称为织物，也就是人们通常所说的纺织品。织物在日常生活中随处可见，是用途最广泛的产品之一。例如在汽车行业中，汽车中使用的安全带也是工业织物中的一种，车厂商对安全带的质量有着严苛的要求，因为一旦事故发生，有质量缺陷的安全带将会带来致命的危害。
织物缺陷检测是纺织品制造业中质量控制的必要步骤，传统的织物检测通常是根据人工视觉的方法进行检测，但对于长期进行工业生产的制造业，这种检测方法效率低下且精度较差。
发明内容
本发明的目的在于提供一种基于神经网络的织物缺陷图像分割方法，用于解决人工视觉检测效率低下且精度较差的问题。
为了解决上述技术问题，本发明所采用的技术方案具体如下：
本发明提供了一种基于神经网络的织物缺陷图像分割方法，该方法包括以下步骤：
获取待检测织物表面图像，并根据待检测织物表面图像和预先确定的神经网络，得到织物缺陷激活图像；
根据织物缺陷激活图像，得到织物缺陷距离变换图像；
根据织物缺陷距离变换图像中的各个像素点的灰度值，得到织物缺陷距离变换图像中的各个像素点的窗口大小；
根据织物缺陷距离变换图像中的各个像素点的灰度值和窗口大小，得到织物缺陷距离变换图像中的各个像素点的灰度共生矩阵；
根据织物缺陷距离变换图像中的各个像素点的灰度共生矩阵，确定织物能量图像中的各个像素点的能量值，进而得到织物能量图像；
根据织物能量图像、织物缺陷距离变换图像和织物表面图像，得到织物缺陷分割图像。
进一步地，得到织物缺陷激活图像的步骤包括：
根据待检测织物表面图像，获取待检测织物表面图像的各个特征图，进而得到各个特征图的平均激活值；
根据前一半特征图的平均激活值，得到织物缺陷激活值；
根据织物缺陷激活值、待检测织物表面图像的前一半特征图，前一半特征图的平均激活值，得到织物缺陷激活图像。
进一步地，各个特征图的平均激活值的计算公式为：
Aa＝GAP(Swish(Featuremap))
其中，Aa为特征图的平均激活值，Feature map为特征图，Swish为激活函数，GAP为全矩平均池化操作。
进一步地，织物缺陷激活值的计算公式为：
其中，Ca1为织物缺陷激活值，Aai为第i张特征图的平均激活值，N为特征图的数量。
进一步地，织物缺陷激活图像的计算公式为：
其中，Map为织物缺陷激活图像，Ca1为织物缺陷激活值，Aai为第i张特征图的平均激活值，Feature mapi为第i张特征图，N为特征图的数量。
进一步地，得到织物缺陷距离变换图像的步骤包括：
根据织物缺陷激活图像，得到织物缺陷二值图像，并确定织物缺陷二值图像中的各个缺陷连通域；
对织物缺陷二值图像中的各个缺陷连通域进行筛选，并根据筛选后的织物缺陷二值图像中的各个缺陷连通域和织物缺陷二值图像，得到筛选后的织物缺陷二值图像；
对筛选后的织物缺陷二值图像进行距离变换，得到织物缺陷距离变换图像。
进一步地，得到织物缺陷距离变换图像中的各个像素点的窗口大小的步骤包括：
根据筛选后的织物缺陷二值图像中的各个缺陷连通域，确定织物缺陷距离变换图像中的各个缺陷连通域；
根据织物缺陷距离变换图像中的各个缺陷连通域的外接矩形最长边的边长和各个缺陷连通域内的各个像素点的灰度值，得到织物缺陷距离变换图像中各个缺陷连通域内的各个像素点的窗口大小；
将织物缺陷距离变换图像中缺陷连通域外的各个像素点的窗口大小置为标准窗口大小。
进一步地，织物缺陷距离变换图像中缺陷连通域内的各个像素点的窗口大小的计算公式为：
Dk＝round(Grayk*MaxDk)
其中，Dk为织物缺陷距离变换图像中缺陷连通域内的第k个像素点的窗口大小，round为向上取整函数，Grayk为第k个像素点的灰度值，MaxDk为第k个像素点所在缺陷连通域的外接矩形最长边的边长。
进一步地，织物能量图像中的各个像素点的能量值的计算公式为：
其中，ASMk为织物能量图像中的第k个像素点的能量值，Sk(i，j)为第k个像素点所对应的灰度共生矩阵中第i行第j列的元素值，N为灰度共生矩阵的行或列的数量。
进一步地，得到织物缺陷分割图像的步骤包括：
将织物能量图像、织物缺陷距离变换图像和织物表面图像进行融合，得到织物缺陷表示图像；
将织物缺陷表示图像输入至训练好的语义分割神经网络中，得到织物缺陷分割图像。
本发明具有如下有益效果：
本发明通过待检测织物表面图像和预先确定的神经网络，得到织物缺陷激活图像，根据织物缺陷激活图像，得到织物缺陷距离变换图像，根据织物缺陷距离变换图像中的各个像素点的灰度值，得到织物缺陷距离变换图像中的各个像素点的窗口大小，根据织物缺陷距离变换图像中的各个像素点的灰度值和窗口大小，得到织物缺陷距离变换图像中的各个像素点的灰度共生矩阵，确定织物能量图像中的各个像素点的能量值，得到织物能量图像，根据织物能量图像、织物缺陷距离变换图像和织物表面图像，得到织物缺陷分割图像。
本发明通过图像处理的方式，获取了最优的灰度共生矩阵计算窗口，对于织物而言，非织物缺陷区域像素值分布比较均一，得到的灰度共生矩阵能量值比较大，织物缺陷区域的像素值分布比较散乱，得到的灰度共生矩阵能量值比较小。通过该特征可有效的提取织物的缺陷，提高了对织物缺陷分割的效率和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的基于神经网络的织物缺陷图像分割方法的步骤流程图；
图2为本发明的卷积神经网络示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本实施例提供了一种基于神经网络的织物缺陷图像分割方法，如图1所示，该方法步骤包括：
步骤1：获取待检测织物表面图像，并根据待检测织物表面图像和预先确定的神经网络，得到织物缺陷激活图像。
在待检测织物的正上方设置RGB相机，以俯视视角对待检测织物表面图像进行拍摄，获取待检测织物表面图像。RGB相机距离待检测织物的距离可根据具体的实施场景来进行相应的调整。
根据待检测织物RGB图像，构建卷积神经网络判断织物RGB图像是否存在缺陷，卷积神经网络包含若干层卷积层、池化层、批次归一化层、激活层，具体可采用任意现有的卷积神经网络，如LeNet。在LeNet卷积神经网络的基础上，在LeNet卷积神经网络的最后一层激活层后添加GAP、Add、Softmax层，先添加一个全局平均池化层GAP，用以计算特征图的平均激活值，然后添加一个Add层，用以将若干特征图的平均激活值进行相加，最后的Softmax层，用以对累加后的平均激活值进行分类，得到一个新的卷积神经网络，如图2所示。所述Softmax、GAP、Add层在现有框架如开源人工神经网络库Keras等有集成，可直接调用。训练卷积神经网络的过程中采集了大量样本图像，包括无缺陷织物RGB图像，各式各样缺陷的织物RGB图像，以便于网络学习到织物缺陷的特征，并利用交叉熵损失函数以及一阶优化算法Adam对神经网络内的参数进行优化。神经网络具体的训练过程为现有技术，在此不再详细介绍。
(1-1)根据待检测织物表面图像，获取待检测织物表面图像的各个特征图，进而得到各个特征图的平均激活值。
在本实施例中，卷积神经网络最后一层卷积层的卷积核数量为64，将待检测织物表面图像输入至预先确定的神经网络，则卷积层会得到64张织物表面图像的特征图，将64张特征图进行激活操作，所用的激活函数为Swish等，然后获取每个特征图的平均激活值Aa，各个特征图的平均激活值的计算公式为：
Aa＝GAP(Swish(Feature map))
其中，Aa为特征图的平均激活值，Feature map为特征图，Swish为激活函数，GAP为全矩平均池化操作。
(1-2)根据前一半特征图的平均激活值，得到织物缺陷激活值。
将前一半特征图进行相加求和，得到织物缺陷激活值Ca1，将后一半特征图进行相加求和，得到无缺陷激活值Ca2。
织物缺陷激活值的计算公式为：
其中，Ca1为织物缺陷激活值，Aai为第i张特征图的平均激活值，N为特征图的数量。
织物无缺陷激活值的计算公式为：
其中，Ca2为织物无缺陷激活值，Aai为第i张特征图的平均激活值，N为特征图的数量。
利用Softmax对织物缺陷激活值Ca1、织物无缺陷激活值Ca2进行计算，得到缺陷与非缺陷的概率，这两个值和为1。
(1-3)根据织物缺陷激活值、待检测织物表面图像的前一半特征图，前一半特征图的平均激活值，得到织物缺陷激活图像。
织物缺陷激活图像Map的计算公式为：
其中，Map为织物缺陷激活图像，Ca1为织物缺陷激活值，Aai为第i张特征图的平均激活值，Feature mapi为第i张特征图，N为特征图的数量。
在得到织物缺陷激活图像之后，对织物缺陷激活图像进行归一化操作，得到归一化后的织物缺陷激活图像。
该神经网络在原有卷积神经网络基础上，添加全矩平均池化层GAP操作，可以获取每个特征图的平均激活值，该平均激活值可以反映所对应的特征图对神经网络分类的贡献率，平均激活值越大表明待检测织物的特征图对神经网络分类的贡献率越大。再通过Add操作，对特征图进行约束，可以使得前32张特征图的激活信息表明对织物缺陷的激活信息，后32张特征图的激活信息表明对正常织物的激活信息，最终得到两个激活值，分别为织物缺陷激活值和织物无缺陷激活值，对于织物缺陷激活值Ca1而言，织物缺陷激活值越大，经过Softmax分类函数后，其归一化值越大，表明该神经网络的输入图像越可能具有织物缺陷，对于织物无缺陷激活值Ca2而言，织物无缺陷激活值越大，经过Softmax分类函数后，其归一化值越大，表明该神经网络的输入图像越可能不具有织物缺陷。
步骤2：根据织物缺陷激活图像，得到织物缺陷距离变换图像。
(2-1)根据织物缺陷激活图像，得到织物缺陷二值图像，并确定织物缺陷二值图像中的各个缺陷连通域。
对织物缺陷激活图像进行图像阈值化处理，阈值化处理采用大津阈值法，以分割织物缺陷激活图像中的前景和背景，得到织物缺陷二值图像，织物缺陷二值图像中的像素值为255的表示前景，像素值为0的表示背景，前景为织物缺陷二值图像中的织物缺陷。大津阈值法为公知技术，在此不再详细说明。对织物缺陷二值图像进行连通域提取，得到织物缺陷二值图像中的各个连通域，也就是像素值为255的缺陷连通域，其中，连通域的邻接方式可以为四邻接、八邻接等，实施者可自由选择，效果较佳即可。
连通域提取的方法可使用基于行程的标记、基于轮廓的标记方法等，可在OpenCV库中直接调用，不再赘述其细节。
(2-2)对织物缺陷二值图像中的各个缺陷连通域进行筛选，并根据筛选后的织物缺陷二值图像中的各个缺陷连通域和织物缺陷二值图像，得到筛选后的织物缺陷二值图像。
根据织物缺陷二值图像中的各个缺陷连通域，将小于缺陷连通域面积阈值的缺陷连通域标记为背景区域，以去除面积小的缺陷连通域，得到筛选后的织物缺陷二值图像和筛选后的织物缺陷二值图像中的各个缺陷连通域。在本实施例中，缺陷连通域面积阈值经验值为35。
(2-3)对筛选后的织物缺陷二值图像进行距离变换，得到织物缺陷距离变换图像。
对经过筛选后的织物缺陷二值图像进行距离变换。距离变换是二值图像处理与操作中常用手段，在骨架提取，图像窄化中常有应用。距离变换的结果是得到一张与输入图像类似的灰度图像，其中，背景区域的灰度值为0，并且越远离背景边缘的像素灰度值越大。距离变换的度量距离采用欧氏距离，得到距离变换图像后再进行一次归一化操作，方便后续进行计算。最终得到织物缺陷距离变换图像，该图像中的像素点的灰度值越大代表该像素点越可能是织物缺陷的中心位置。
步骤3：根据织物缺陷距离变换图像中的各个像素点的灰度值，得到织物缺陷距离变换图像中的各个像素点的窗口大小。
(3-1)根据筛选后的织物缺陷二值图像中的各个缺陷连通域，确定织物缺陷距离变换图像中的各个缺陷连通域。
根据步骤(2)中的步骤(2-2)，获取筛选后的织物缺陷二值图像中的各个缺陷连通域。并根据筛选后的织物缺陷二值图像中的各个缺陷连通域，确定织物缺陷距离变换图像中的各个缺陷连通域。
(3-2)根据织物缺陷距离变换图像中的各个缺陷连通域的外接矩形最长边的边长和各个缺陷连通域内的各个像素点的灰度值，得到织物缺陷距离变换图像中各个缺陷连通域内的各个像素点的窗口大小。
根据织物缺陷距离变换图像中的各个像素点的灰度值，获取各个缺陷连通域内的各个像素点的灰度值，并获取各个缺陷连通域的外接矩形的最长边的边长，得到织物缺陷距离变换图像中各个缺陷连通域内的各个像素点的窗口大小，织物缺陷距离变换图像中缺陷连通域内的各个像素点的窗口大小的计算公式为：
Dk＝round(Grayk*MaxDk)
其中，Dk为织物缺陷距离变换图像中缺陷连通域内的第k个像素点的窗口大小，round为向上取整函数，Grayk为第k个像素点的灰度值，MaxDk为第k个像素点所在缺陷连通域的外接矩形最长边的边长。
对于织物缺陷距离变换图像中的各个缺陷连通域的各个像素点的窗口大小，限制窗口最小为5*5大小，例如，若织物缺陷距离变换图像中的各个缺陷连通域内的其中一个像素点的窗口大小为3*3，则将其窗口大小限制为5*5。至此，对于织物缺陷距离变换图像中每个缺陷连通域的每个像素点都有最优的窗口大小。
(3-3)将织物缺陷距离变换图像中缺陷连通域外的各个像素点的窗口大小置为标准窗口大小。
对于织物缺陷距离变换图像中的非缺陷连通域的各个像素点，其像素点的窗口大小为标准窗口大小5*5。根据织物缺陷距离变换图像中的各个缺陷连通域内的各个像素点的窗口和缺陷连通域外的各个像素点的窗口，得到织物缺陷距离变换图像中的各个像素点的窗口大小。
步骤4：根据织物缺陷距离变换图像中的各个像素点的灰度值和窗口大小，得到织物缺陷距离变换图像中的各个像素点的灰度共生矩阵。
为了降低各个像素点的灰度共生矩阵的计算量，需要先对织物缺陷距离变换图像中的各个像素点的灰度值进行灰度的量化，将各个像素点的灰度值分为N个灰度级，在本实施例中，将灰度值在[0,63]区间的像素点的灰度等级设为1，将灰度值在[64,127]区间内的像素点的灰度等级设为2，将灰度值在[128,191]区间内的像素点的灰度等级设为3，将灰度值在[192,255]区间内的像素点的灰度等级设为4。灰度量化的区间可以根据织物缺陷距离变换图像中的像素点的灰度值设定，不局限于上述四个灰度级。
通过织物缺陷距离变换图像中的各个像素点的灰度级和窗口大小，窗口大小为每个像素点的最优窗口大小，在遍历完织物缺陷距离变换图像中所有的像素点后，得到织物缺陷距离变换图像中的各个像素点的灰度共生矩阵，各个像素点的灰度共生矩阵大小都为N*N，具体灰度共生矩阵的生成过程为现有技术，在此不再详细说明。
步骤5：根据织物缺陷距离变换图像中的各个像素点的灰度共生矩阵，确定织物能量图像中的各个像素点的能量值，进而得到织物能量图像。
根据织物缺陷距离变换图像中的各个像素点的灰度共生矩阵中的各个元素值，将各个像素点的灰度共生矩阵中的各个元素值进行平方再相加，得到织物能量图像中的各个像素点的能量值，织物能量图像中的各个像素点的能量值的计算公式为：
其中，ASMk为织物能量图像中的第k个像素点的能量值，Sk(i，j)为第k个像素点所对应的灰度共生矩阵中第i行第j列的元素值，N为灰度共生矩阵的行或列的数量。
织物能量图像中的各个像素点的能量值是灰度共生矩阵各个元素的平方和，又被称为角二阶距。角二阶距是图像相似距离变化均一的度量，可以反应图像灰度值分布均匀程度。该矩阵可反应出量化相似级矩阵的邻域变化均一性。
对于织物缺陷距离变换图像中的各个像素点的灰度值，灰度值越大越可能是织物缺陷。由于织物缺陷距离变换图像中的各个像素点的窗口大小不同，得到的织物缺陷距离变换图像中的各个像素点的灰度共生矩阵的各个元素值不同，计算织物缺陷距离变换图像中的各个像素点的灰度共生矩阵时的窗口越大，得到的像素点的灰度共生矩阵中的元素值越大，其能量表示越大。对于织物而言，非织物缺陷区域的各个像素点的灰度值分布比较统一，得到的各个像素点的能量值比较大，若存在织物缺陷，则会因为各个像素点的窗口的变化导致能量值偏小。
步骤6：根据织物能量图像、织物缺陷距离变换图像和织物表面图像，得到织物缺陷分割图像。
(6-1)将织物能量图像、织物缺陷距离变换图像和织物表面图像进行融合，得到织物缺陷表示图像。
根据步骤(1)、步骤(2)和步骤(5)，获取的织物表面图像、织物缺陷距离变换图像和织物能量图像，将织物表面图像、织物缺陷距离变换图像和织物能量图像进行融合，融合的方法采用Concatenate联合方法，得到织物缺陷表示图像。Concatenate联合为公知技术，在此不再赘述。
(6-2)将织物缺陷表示图像输入至训练好的语义分割神经网络中，得到织物缺陷分割图像。
将织物缺陷表示图像输入至基于深度学习的语义分割技术进行分割，将该织物缺陷表示图像输入至语义分割神经网络模型中，如Unet、Deeplab等模型，最终得到织物缺陷分割图像。语义分割神经网络模型的训练过程是本领域技术人员所周知的，这里不再赘述。
上述的基于神经网络的织物缺陷图像分割方法，通过获取织物表面图像，根据织物表面图像，得到织物缺陷距离变换图像，并对织物缺陷距离变换图像中的各个像素点进行处理，确定各个像素点最优的窗口大小，得到各个像素点的灰度共生矩阵的能量值，从而得到织物能量图像，根据织物能量图像、织物缺陷距离变换图像和织物表面图像，得到织物缺陷分割图像，提高了对织物缺陷分割的效率和精度。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于神经网络的织物缺陷图像分割方法，其特征在于，包括以下步骤：
获取待检测织物表面图像，并根据待检测织物表面图像和预先确定的神经网络，得到织物缺陷激活图像；
根据织物缺陷激活图像，得到织物缺陷距离变换图像；
根据织物缺陷距离变换图像中的各个像素点的灰度值，得到织物缺陷距离变换图像中的各个像素点的窗口大小；
根据织物缺陷距离变换图像中的各个像素点的灰度值和窗口大小，得到织物缺陷距离变换图像中的各个像素点的灰度共生矩阵；
根据织物缺陷距离变换图像中的各个像素点的灰度共生矩阵，确定织物能量图像中的各个像素点的能量值，进而得到织物能量图像；
根据织物能量图像、织物缺陷距离变换图像和织物表面图像，得到织物缺陷分割图像。
2.根据权利要求1所述的基于神经网络的织物缺陷图像分割方法，其特征在于，得到织物缺陷激活图像的步骤包括：
根据待检测织物表面图像，获取待检测织物表面图像的各个特征图，进而得到各个特征图的平均激活值；
根据前一半特征图的平均激活值，得到织物缺陷激活值；
根据织物缺陷激活值、待检测织物表面图像的前一半特征图，前一半特征图的平均激活值，得到织物缺陷激活图像。
3.根据权利要求2所述的基于神经网络的织物缺陷图像分割方法，其特征在于，各个特征图的平均激活值的计算公式为：
Aa＝GAP(Swish(Feature map))
其中，Aa为特征图的平均激活值，Feature map为特征图，Swish为激活函数，GAP为全矩平均池化操作。
4.根据权利要求2所述的基于神经网络的织物缺陷图像分割方法，其特征在于，织物缺陷激活值的计算公式为：
其中，Ca1为织物缺陷激活值，Aai为第i张特征图的平均激活值，N为特征图的数量。
5.根据权利要求2所述的基于神经网络的织物缺陷图像分割方法，其特征在于，织物缺陷激活图像的计算公式为：
其中，Map为织物缺陷激活图像，Ca1为织物缺陷激活值，Aai为第i张特征图的平均激活值，Feature mapi为第i张特征图，N为特征图的数量。
6.根据权利要求1所述的基于神经网络的织物缺陷图像分割方法，其特征在于，得到织物缺陷距离变换图像的步骤包括：
根据织物缺陷激活图像，得到织物缺陷二值图像，并确定织物缺陷二值图像中的各个缺陷连通域；
对织物缺陷二值图像中的各个缺陷连通域进行筛选，并根据筛选后的织物缺陷二值图像中的各个缺陷连通域和织物缺陷二值图像，得到筛选后的织物缺陷二值图像；
对筛选后的织物缺陷二值图像进行距离变换，得到织物缺陷距离变换图像。
7.根据权利要求6所述的基于神经网络的织物缺陷图像分割方法，其特征在于，得到织物缺陷距离变换图像中的各个像素点的窗口大小的步骤包括：
根据筛选后的织物缺陷二值图像中的各个缺陷连通域，确定织物缺陷距离变换图像中的各个缺陷连通域；
根据织物缺陷距离变换图像中的各个缺陷连通域的外接矩形最长边的边长和各个缺陷连通域内的各个像素点的灰度值，得到织物缺陷距离变换图像中各个缺陷连通域内的各个像素点的窗口大小；
将织物缺陷距离变换图像中缺陷连通域外的各个像素点的窗口大小置为标准窗口大小。
8.根据权利要求7所述的基于神经网络的织物缺陷图像分割方法，其特征在于，织物缺陷距离变换图像中缺陷连通域内的各个像素点的窗口大小的计算公式为：
Dk＝round(Grayk*MaxDk)
其中，Dk为织物缺陷距离变换图像中缺陷连通域内的第k个像素点的窗口大小，round为向上取整函数，Grayk为第k个像素点的灰度值，MaxDk为第k个像素点所在缺陷连通域的外接矩形最长边的边长。
9.根据权利要求1所述的基于神经网络的织物缺陷图像分割方法，其特征在于，织物能量图像中的各个像素点的能量值的计算公式为：
其中，ASMk为织物能量图像中的第k个像素点的能量值，Sk(i，j)为第k个像素点所对应的灰度共生矩阵中第i行第j列的元素值，N为灰度共生矩阵的行或列的数量。
10.根据权利要求1所述的基于神经网络的织物缺陷图像分割方法，其特征在于，得到织物缺陷分割图像的步骤包括：
将织物能量图像、织物缺陷距离变换图像和织物表面图像进行融合，得到织物缺陷表示图像；
将织物缺陷表示图像输入至训练好的语义分割神经网络中，得到织物缺陷分割图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210356871.1A CN114565607B (zh) | 2022-04-01 | 2022-04-01 | 基于神经网络的织物缺陷图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210356871.1A CN114565607B (zh) | 2022-04-01 | 2022-04-01 | 基于神经网络的织物缺陷图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114565607A true CN114565607A (zh) | 2022-05-31 |
| CN114565607B CN114565607B (zh) | 2024-06-04 |
Family
ID=81720970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210356871.1A Active CN114565607B (zh) | 2022-04-01 | 2022-04-01 | 基于神经网络的织物缺陷图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565607B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128880A (zh) * | 2023-04-18 | 2023-05-16 | 东莞市京品精密模具有限公司 | 一种极耳模具表面开裂的识别方法 |
| CN116703251A (zh) * | 2023-08-08 | 2023-09-05 | 德润杰(山东)纺织科技有限公司 | 基于人工智能的胶圈生产质量检测方法 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0643116A (ja) * | 1992-07-24 | 1994-02-18 | Toyota Autom Loom Works Ltd | 検反装置 |
| CN101866427A (zh) * | 2010-07-06 | 2010-10-20 | 西安电子科技大学 | 织物瑕疵检测与分类方法 |
| CN105277567A (zh) * | 2015-05-21 | 2016-01-27 | 南通大学 | 一种织物瑕疵检测方法 |
| CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108010029A (zh) * | 2017-12-27 | 2018-05-08 | 江南大学 | 基于深度学习和支持向量数据描述的织物疵点检测方法 |
| CN109242848A (zh) * | 2018-09-21 | 2019-01-18 | 西华大学 | 基于otsu和ga-bp神经网络墙纸缺陷检测与识别方法 |
| CN109377487A (zh) * | 2018-10-16 | 2019-02-22 | 浙江大学 | 一种基于深度学习分割的水果表面缺陷检测方法 |
| CN109410192A (zh) * | 2018-10-18 | 2019-03-01 | 首都师范大学 | 一种多纹理分级融合的织物缺陷检测方法及其装置 |
| CN110766689A (zh) * | 2019-11-06 | 2020-02-07 | 深圳微品致远信息科技有限公司 | 基于卷积神经网络进行物品图像缺陷检测的方法及装置 |
| CN111062934A (zh) * | 2019-12-25 | 2020-04-24 | 陈金选 | 一种织物图像缺陷实时检测方法 |
| CN111080636A (zh) * | 2019-12-23 | 2020-04-28 | 杨静日 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111709915A (zh) * | 2020-05-28 | 2020-09-25 | 拉萨经济技术开发区美第意户外用品有限公司 | 一种速干面料瑕疵的自动检测方法及系统 |
| CN111815601A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大学 | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 |
| CN111882546A (zh) * | 2020-07-30 | 2020-11-03 | 中原工学院 | 基于弱监督学习的三分支卷积网络织物疵点检测方法 |
| CN112288734A (zh) * | 2020-11-06 | 2021-01-29 | 西安工程大学 | 一种基于图像处理的印花织物表面缺陷检测方法 |
| CN113538429A (zh) * | 2021-09-16 | 2021-10-22 | 海门市创睿机械有限公司 | 基于图像处理的机械零件表面缺陷检测方法 |
| CN113643289A (zh) * | 2021-10-13 | 2021-11-12 | 海门市芳华纺织有限公司 | 基于图像处理的织物表面缺陷检测方法和系统 |
| CN113838041A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN114119500A (zh) * | 2021-11-05 | 2022-03-01 | 西安工程大学 | 一种基于生成对抗网络的色织物缺陷区域的检测方法 |
| CN114155186A (zh) * | 2021-10-08 | 2022-03-08 | 四川大学 | 基于无监督学习的缺陷检测系统及方法 |
-
2022
- 2022-04-01 CN CN202210356871.1A patent/CN114565607B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0643116A (ja) * | 1992-07-24 | 1994-02-18 | Toyota Autom Loom Works Ltd | 検反装置 |
| CN101866427A (zh) * | 2010-07-06 | 2010-10-20 | 西安电子科技大学 | 织物瑕疵检测与分类方法 |
| CN105277567A (zh) * | 2015-05-21 | 2016-01-27 | 南通大学 | 一种织物瑕疵检测方法 |
| CN107833220A (zh) * | 2017-11-28 | 2018-03-23 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108010029A (zh) * | 2017-12-27 | 2018-05-08 | 江南大学 | 基于深度学习和支持向量数据描述的织物疵点检测方法 |
| CN109242848A (zh) * | 2018-09-21 | 2019-01-18 | 西华大学 | 基于otsu和ga-bp神经网络墙纸缺陷检测与识别方法 |
| CN109377487A (zh) * | 2018-10-16 | 2019-02-22 | 浙江大学 | 一种基于深度学习分割的水果表面缺陷检测方法 |
| CN109410192A (zh) * | 2018-10-18 | 2019-03-01 | 首都师范大学 | 一种多纹理分级融合的织物缺陷检测方法及其装置 |
| CN110766689A (zh) * | 2019-11-06 | 2020-02-07 | 深圳微品致远信息科技有限公司 | 基于卷积神经网络进行物品图像缺陷检测的方法及装置 |
| CN111080636A (zh) * | 2019-12-23 | 2020-04-28 | 杨静日 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
| CN111062934A (zh) * | 2019-12-25 | 2020-04-24 | 陈金选 | 一种织物图像缺陷实时检测方法 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111709915A (zh) * | 2020-05-28 | 2020-09-25 | 拉萨经济技术开发区美第意户外用品有限公司 | 一种速干面料瑕疵的自动检测方法及系统 |
| CN111815601A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大学 | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 |
| CN111882546A (zh) * | 2020-07-30 | 2020-11-03 | 中原工学院 | 基于弱监督学习的三分支卷积网络织物疵点检测方法 |
| CN112288734A (zh) * | 2020-11-06 | 2021-01-29 | 西安工程大学 | 一种基于图像处理的印花织物表面缺陷检测方法 |
| CN113538429A (zh) * | 2021-09-16 | 2021-10-22 | 海门市创睿机械有限公司 | 基于图像处理的机械零件表面缺陷检测方法 |
| CN113838041A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN114155186A (zh) * | 2021-10-08 | 2022-03-08 | 四川大学 | 基于无监督学习的缺陷检测系统及方法 |
| CN113643289A (zh) * | 2021-10-13 | 2021-11-12 | 海门市芳华纺织有限公司 | 基于图像处理的织物表面缺陷检测方法和系统 |
| CN114119500A (zh) * | 2021-11-05 | 2022-03-01 | 西安工程大学 | 一种基于生成对抗网络的色织物缺陷区域的检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| FENG LI 等: "A defect detection method for unpatterned fabric based on multidirectional binary patterns and the gray-level co-occurrence matrix", 《TEXTILE RESEARCH JOURNAL》, vol. 90, no. 7, pages 776 * |
| 严飞 等: "基于卷积神经网络的木材缺陷图像语义分割", 《林业和草原机械》, vol. 1, no. 6, pages 52 - 56 * |
| 卞国龙 等: "基于卷积神经网络的轮胎X射线图像缺陷检测", 《轮胎工业》, vol. 39, no. 4, pages 247 - 251 * |
| 樊丁 等: "基于改进卷积神经网络的管焊缝X射线图像缺陷识别方法", 《焊接学报》, vol. 41, no. 1, pages 7 - 11 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128880A (zh) * | 2023-04-18 | 2023-05-16 | 东莞市京品精密模具有限公司 | 一种极耳模具表面开裂的识别方法 |
| CN116128880B (zh) * | 2023-04-18 | 2023-06-16 | 东莞市京品精密模具有限公司 | 一种极耳模具表面开裂的识别方法 |
| CN116703251A (zh) * | 2023-08-08 | 2023-09-05 | 德润杰(山东)纺织科技有限公司 | 基于人工智能的胶圈生产质量检测方法 |
| CN116703251B (zh) * | 2023-08-08 | 2023-11-17 | 德润杰(山东)纺织科技有限公司 | 基于人工智能的胶圈生产质量检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114565607B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
| CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
| CN107341499B (zh) | 一种基于无监督分割和elm的织物缺陷检测和分类方法 | |
| CN101996405B (zh) | 一种快速的玻璃图像缺陷检测及分类方法及其装置 | |
| CN102305798B (zh) | 基于机器视觉的玻璃缺陷的检测与分类方法 | |
| CN110555842A (zh) | 一种基于锚点集优化的硅片图像缺陷检测方法 | |
| CN114565607A (zh) | 基于神经网络的织物缺陷图像分割方法 | |
| CN106846316A (zh) | 一种gis内部典型缺陷图像自动识别方法 | |
| CN106780464A (zh) | 一种基于改进阈值分割的织物疵点检测方法 | |
| CN111369526B (zh) | 基于半监督深度学习的多类型旧桥裂痕识别方法 | |
| Ghazvini et al. | Defect detection of tiles using 2D-wavelet transform and statistical features | |
| CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| CN115880298A (zh) | 一种基于无监督预训练的玻璃表面缺陷检测方法及系统 | |
| CN116664565A (zh) | 一种光伏太阳能电池片的隐裂检测方法及系统 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
| CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
| CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及系统 | |
| Yang et al. | Fabric defect classification using wavelet frames and minimum classification error training | |
| CN110766662B (zh) | 一种基于多尺度和多层特征学习的锻件表面裂纹检测方法 | |
| CN115063679B (zh) | 一种基于深度学习的路面质量评估方法 | |
| Jeffrey Kuo et al. | Self-organizing map network for automatically recognizing color texture fabric nature | |
| CN113362347B (zh) | 一种基于超像素特征增强的图像缺陷区域分割方法和系统 | |
| CN114092441A (zh) | 一种基于双重神经网络的产品表面缺陷检测方法及系统 | |
| CN114511851A (zh) | 一种基于显微镜图像的游丝藻类细胞统计方法 | |
| CN114937042B (zh) | 基于机器视觉的塑料制品质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240425 Address after: 515100 Gucuo Longling Industrial Zone, Liangying Town, Chaonan District, Shantou City, Guangdong Province Applicant after: SHANTOU DINGTAIFENG INDUSTRIAL CO.,LTD. Country or region after: China Address before: Building 17, No. 166, tongqi Road, Sanxing Town, Haimen District, Nantong City, Jiangsu Province, 226000 Applicant before: Nantong mumuxingchen Textile Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |