CN111583253A - 基于深度学习的纺织品折痕检测方法 - Google Patents
基于深度学习的纺织品折痕检测方法 Download PDFInfo
- Publication number
- CN111583253A CN111583253A CN202010415962.9A CN202010415962A CN111583253A CN 111583253 A CN111583253 A CN 111583253A CN 202010415962 A CN202010415962 A CN 202010415962A CN 111583253 A CN111583253 A CN 111583253A
- Authority
- CN
- China
- Prior art keywords
- textile
- image
- crease
- sample set
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000004753 textile Substances 0.000 title claims abstract description 148
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000002829 reductive effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的纺织品折痕检测方法，首先，采集多张纺织品原始灰度图像检测出纺织品灰度图像对应的纺织品折痕二值图，得到纺织品折痕样本集；然后，对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集进行样本增强，得到扩增的样本集；利用扩增的样本集训练纺织品折痕检测语义分割深度卷积神经网络；结合区块链技术利用训练好的语义分割深度卷积神经网络进行纺织品折痕检测。利用本发明，在纺织品折痕检测中，不仅能够提高检测精度，降低手工调参量，克服光照影响，而且能够提高数据处理过程中的安全性。
Description
技术领域
本发明涉及人工智能、计算机视觉、区块链技术领域，具体涉及一种基于深度学习的纺织品折痕检测方法。
背景技术
折痕检测属于纺织品缺陷检测中的难点。对于纺织材料，折痕的形成有很多因素，如在前期加工中开布器未将布匹全部展开，又或是布匹在使用回转圆筒烘干机时，没有完全铺开，存在堆积、褶皱的状况，在机器启动后出现折痕。折痕的存在影响纺织品的实用性、外观，如果存在折痕，说明前期机器或工艺存在问题，需要及时做出调整。同时对有折痕的布料进行处理，是纺织品出厂检测中非常重要的一环。
纺织品折痕检测属于纺织品缺陷检测的一种，折痕检测有别于其它种类的缺陷检测如粗节、断线、断经等，如果在纺织品的表面没有明显的缺陷痕迹，有时肉眼也很难分辨出来。利用传统的缺陷检测方法，没有明显的边缘灰度变化很难检测提取出折痕缺陷。常规的降噪与设计不同方向的滤波器来对图像进行滤波处理，以此识别缺陷，该方法需要手工设计参数且折痕出现的方向不定，最重要的是算法的计算量较大，如果要提高精度需要通过多个角度与方向对图像进行滤波。也无法克服光照不均匀对特征提取的影响。此外，现有折痕检测计算中，由于缺少相应的加密算法设计，系统安全性较低。
综上所述，现有纺织品折痕检测技术存在检测精度不高、手工设计参数工作量大、容易受光照不均匀影响、安全性较低等问题。
发明内容
本发明提供了一种基于深度学习的纺织品折痕检测方法，不仅能够提高检测精度，降低手工调参量，克服光照影响，而且能够提高数据处理过程中的安全性。
一种基于深度学习的纺织品折痕检测方法，该方法包括：
(1)提取纺织品原始灰度图像的纺织品折痕：
(1a)对纺织品原始灰度图像进行直方图均衡化处理；
(1b)对直方图均衡化处理后的纺织品图像进行中值滤波；
(1c)对纺织品原始灰度图像进行自商处理；
(1d)对(1c)得到的图像进行空域滤波；
(1e)利用空域滤波后得到的纺织品图像，对(1c)得到的图像进行自商处理；
(1f)求取(1e)所得图像X、Y方向的梯度响应值，并进行阈值化，得到纺织品缺陷二值图；
(1g)对纺织品缺陷二值图进行缺陷充盈率分析，筛选出纺织品折痕，得到纺织品折痕二值图；
(2)采集多张纺织品原始灰度图像重复步骤(1)，检测出纺织品原始灰度图像对应的纺织品折痕二值图，得到纺织品折痕样本集；
(3)对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集进行样本增强，得到扩增的样本集；
(4)利用扩增的样本集训练纺织品折痕检测语义分割深度卷积神经网络；
(5)利用训练好的纺织品折痕检测语义分割深度卷积神经网络进行纺织品折痕检测。
进一步地，在(1a)之前还包括：
如果采集的纺织品原始图像是彩色图像，对其进行灰度化处理：S(i,j)＝max(R(i,j),G(i,j),B(i,j))，其中R(i,j)、G(i,j)、B(i,j)分别为纺织品原始图像R、G、B通道的数据，得到纺织品原始灰度图像S(i,j)。
进一步地，(1c)对纺织品原始灰度图像进行自商处理具体为：
其中，S(i,j)为纺织品原始灰度图像，B(i,j)为经(1b)滤波后得到的纺织品图像，SQI′(i,j)为自商处理后得到的纺织品图像。
进一步地，(1e)利用空域滤波后得到的纺织品图像，对(1c)得到的图像进行自商处理具体为：
其中，SQI′(i,j)为(1c)得到的纺织品图像，B′(i,j)为(1d)空域滤波后得到的纺织品图像，SQI″(i,j)即为本步骤自商处理的结果。
进一步地，(1d)的空域滤波为中值滤波。
进一步地，(3)对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集进行样本增强，得到扩增的样本集包括：对纺织品原始灰度图像样本集、纺织品折痕样本集进行图像旋转、亮度调节、添加噪声、图像压缩操作，得到扩增的样本集。
进一步地，(5)利用训练好的纺织品折痕检测语义分割深度卷积神经网络进行纺织品折痕检测包括：
(5a)将训练好的折痕检测语义分割深度卷积神经网络参数发送至所有云主机实例上，并对网络进行模块化拆分，拆分为编码器、解码器；
(5b)对于图像采集单元采集的待检测纺织品原始图像，从云主机实例集合中随机挑选云主机实例，并在图像采集单元、云主机实例、监控中心上配置包括图像采集单元、编码器、解码器、监控中心四个区块的区块链私链，执行网络推理，得到检测结果，区块链链序与网络推理链序一致。
进一步地，折痕检测语义分割深度卷积神经网络的网络推理链序包括：
图像采集单元将纺织品原始图像发送至折痕检测语义分割深度卷积神经网络的编码器；编码器实现对图像的特征提取，得到特征图；解码器对编码器传输而来的特征图进行上采样与特征提取，输出纺织品折痕图；监控中心对解码器的输出进行处理，在纺织品原始图像上标注出折痕所在位置，并进行数据展示。
进一步地，(5b)中从云主机实例集合中随机挑选云主机实例包括：
将当前时间的时、分、秒的数值相乘，所得乘积作为随机数种子，根据该随机数种子生成随机数序列，以随机数序列的数值大小索引来选取云主机实例。
进一步地，采用张量变形加密机制对区块链区块之间传输的数据进行加密。
本发明的有益效果在于：
1.本发明提供的方法，经过直方图均衡化增强全局对比度，并通过两次自商处理，克服光照影响，突出折痕缺陷，进一步通过分析缺陷充盈率筛选出折痕缺陷，与传统方法相比，克服光照影响，并提高了检测精度。
2.本发明采用语义分割深度神经网络在云端对纺织品图像进行分析，端到端地输出结果响应，与传统方法相比，不仅降低了手工设计参数的工作量，而且提高了检测效率。由于在云端进行计算，降低了设备门槛，可以利用终端进行检测，或是结合主动光源集成在机床上，安置在不同工序的位置中，在每一道工序完成后进行检测，提高了检测的便捷性。
3.本发明结合区块链技术，在云端配置包括图像采集单元、编码器、解码器、监控中心四个区块的区块链私链，并行执行网络推理，提高了网络的并行性以及安全性。
4.本发明对区块之间传输的数据进行加密传输，防止数据泄露，提高了本发明方法的保密性能。
附图说明
图1为直方图均衡处理后的纺织品图像；
图2为第一次自商处理后的纺织品图像；
图3为对第一次自商处理后滤波得到的纺织品图像；
图4为第二次自商处理后的纺织品图像；
图5为纺织品折痕二值图像；
图6为展示结果示例。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于深度学习的纺织品折痕检测方法。使用面阵相机对纺织品进行拍照，对图像的灰度图进行操作。通过直方图均衡化和一种空域中值滤波对灰度图像进行处理后，再与原图做自商操作，消除光照不均匀情况并增强缺陷特征，以便后续进行提取。本发明采用缺陷检测方法实现数据集的自动标注，无需人工进行操作，并通过图像几何变换、伽马变换、随机噪声、图像压缩方式对数据集进行样本扩增，提高深度神经网络模型的泛化能力，最终，只需少量样本即可完成对纺织品的折痕检测。并且，基于区块链的原理，将深度神经网络按照规则进行拆分成若干个模块，按照随机分配规则，在云端服务器不同的节点上进行推理运算，并使用加密算法加密中间结果数据，提高了系统的并行性与安全性。下面通过具体实施例来进行说明。
实施例一：
一种基于深度学习的纺织品折痕检测方法，该方法包括：
(1)提取纺织品原始图像的纺织品折痕。
当使用相机为RGB相机时，需要对图像进行灰度化处理。如果使用灰度相机可以取消此操作。设图像S为灰度图，则所对应的像素应有S(i,j)＝max(R(i,j),G(i,j),B(i,j))，其中R(i,j)、G(i,j)、B(i,j)分别为纺织品原始图像R、G、B通道的数据，得到纺织品原始灰度图像S(i,j)。
(1a)对纺织品原始灰度图像进行直方图均衡化处理。
为了对图像进行自商处理，需要对灰度图像的空域进行滤波处理以增强与原图的对比，使得自商效果更好。首先对图像S进行直方图均衡化，直方图均衡化是一种通过拉伸像素强度分布范围来增强图像对比度的方法。在此是为了增强图像中缺陷特征与原图的区别。统计原始图像各灰度级的像素数目nk，(k＝0,1，…..L-1)，L为灰度级，k为原图灰度分布范围。计算原始灰度图像灰度级概率分布，即直方图Pr(rk)＝nk/n，n为图像的像素总数。计算累积分布函数
通过映射输出图像灰度强度分布Hk(i,j)＝Int[(L-1)*Hk+0.5]，(k＝0,1，…..L-1)，Hk与rk存在映射关系,Hk(i,j)为经过直方图均衡化后的图像，如图1所示。
(1b)对直方图均衡化处理后的纺织品图像进行中值滤波。
对Hk(i,j)图像进行中值滤波。中值滤波是一种典型的非线性滤波方式，基于排序统计理论的一种滤波方式，可以有效的抑制非线性噪声的方法，可以保留图像边缘细节，这是非线性滤波方式所特有的。以3*3的中值滤波模板为例，定义矩阵
对矩阵进行排序得到矩阵
中值滤波的方式是选矩阵中心值作为此例中[5]，作为权值代替原有位置的像素，得到矩阵
一种实施方式是采用3*3的中值滤波模板。以中值滤波模板对整个图像进行滑窗操作以此完成图像的中值滤波，得到图像B(i,j)。至此对图像前期的滤波操作已经完成。
(1c)对纺织品原始灰度图像进行自商处理。
接下来对图像进行SQI处理。SQI是一种图像自商的滤波方法，对图像进行SQI可以消除图像的光照不均匀情况，加强缺陷特征，同时可以保留缺陷图像的边缘特征。具体地，根据纺织品原始灰度图像S以及1b所得到的图像B进行自商操作：
得到图像SQI′(i,j)，已经增强了缺陷对比度。将图像原灰度图S(i,j)与B(i,j)点对点相除，其结果在1附近，减去0.5是为了使图像的灰度尽可能分布在0-1之间，增强对比度。在进行可视化时，对于超出[0,1]的，大于1的赋值为1，小于0的赋值为0。此时的SQI′(i,j)中折痕缺陷已经被放大，如图2所示。
(1d)对(1c)得到的图像进行空域滤波。
还可以进一步放大缺陷。对SQI′(i,j)继续进行空域滤波。由于折痕缺陷非常难以提取，对图形再次进行中值滤波。对图像进行大滤波核模糊处理消除噪声，保留缺陷边缘特征以此得到图像B′(i,j)。一种实施方式是采用7*7的中值滤波模板，处理后图像结果如图3所示。
(1e)利用空域滤波后得到的纺织品图像，对(1c)得到的图像进行自商处理。
对图像进行二次自商操作：
此时图像中可以明显观察到折痕缺陷，如图4所示。至此，基本滤波操作已经完成。
(1f)求取(1e)所得图像X、Y方向的梯度响应值，并进行阈值化，得到纺织品缺陷二值图。
求取SQI″(i,j)图像X方向和Y方向的梯度响应值，进行简单阈值化并通过连通域分析得到缺陷二值图像。实施者应知道，求解图像梯度及阈值化是众所周知的方法，实施者可以根据实施场景自行设置。具体地，可以使用Sobel算子分别求取图像X、Y方向的梯度响应值Sobelx、Sobely，并根据图像X、Y方向的梯度值，计算像素点的梯度响应值|Sobelx|+|Sobely|。接下来，对所得图像进行阈值化处理，优选地可以采用大津阈值法对其进行阈值化处理，如此可以得到纺织品缺陷二值图。
(1g)对纺织品缺陷二值图进行缺陷充盈率分析，筛选出纺织品折痕，得到纺织品折痕二值图。
在连通域分析时，为区别折痕和破洞、点状脏污缺陷，实现后续的精确标注，本发明采用充盈率进行判别，具体实施方法为：假设单个缺陷区域的面积为A，其最小外接圆的面积为B，则可计算充盈率FV：
对于折痕缺陷，其充盈率一般比较小，优选地，将小于0.2的设为折痕缺陷，大于0.2的设为点状、破洞缺陷。如此，筛选出纺织品折痕，得到纺织品折痕二值图，如图5所示。
(2)采集多张纺织品原始灰度图像重复步骤1，检测出纺织品原始灰度图像对应的纺织品折痕二值图，得到纺织品折痕样本集。至此，完成纺织品折痕检测的第一部分，即数据集的自动标注。
接下来使用步骤1g获得的折痕二值图像作为原图像的标注数据，并构建纺织品折痕检测语义分割深度卷积神经网络的数据集。
语义分割深度卷积神经网络是一种众所周知的技术，如UNet、ENet、ICNet、DeepLabV3等都是经典的网络模型。
为增强深度神经网络的泛化能力，本发明通过图像旋转、伽马变换改变模拟光照变化、添加随机噪声、图像压缩来增加样本数量。
(3)分别对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集进行样本增强，得到扩增的样本集。
图像旋转是将图像与旋转矩阵相乘，得到旋转后的样本，假设图像为G(x,y),x,y代表像素值的位置，则坐标变换为：
θ为将180°等分15份，逐级递增的角度值,以此实现样本的增广。伽马变换主要是使用随机的gamma亮度曲线映射来增强样本，gamma亮度曲线的参数主要是gamma值，本发明中，随机数范围设定在0.2至2.4是合理且有效的。添加噪声是通过随机选取图像中的像素点，将其亮度设为255。实施者应知道，在添加椒盐噪声时随机点的个数不宜太多，太多容易造成图像信息损失。图像压缩是通过JPEG、WebP有损压缩方式来实现样本增强。在图像旋转操作中，应对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集应同时进行操作，亮度调节、添加噪声、图像压缩对原始灰度图像样本集进行操作即可。
(4)利用扩增的样本集训练纺织品折痕检测语义分割深度卷积神经网络。
完成样本的增广后，需对网络进行训练。为保证神经网络模型能够快速收敛，需设计较佳的损失函数。因此，对交叉熵函数做更大梯度的改进：
其中S1为通道1，表示预测值，L1是纺织品折痕二值图中像素对应的二值标签(标注值为1，其余为0)，为真值。采用随机梯度下降法进行优化，通过训练网络得到原图像与二值图像的映射。使用的时候，只需要将采集图像的灰度图输入到网络中，进行二值化分割即可得到纺织品折痕结果。语义分割深度卷积神经网络的二值化后处理是一种公知的方法，在此不再赘述。
本发明考虑到纺织品折痕检测的应用环境为工厂，存在噪声大、空气异物多的情况，不适合集中运算，所以采用公有云的计算方式，同时考虑数据隐私的问题，采用区块链私链形式，将公有云主机实例作为一个节点，并将深度神经网络作为数据及计算的区块，进行分散的推理，从而实现分布式节点、加密、高容灾的优秀性能。
(5)利用训练好的语义分割深度神经网络进行纺织品折痕检测。
(5a)将训练好的折痕检测语义分割深度神经网络参数发送至云端所有云主机实例上，并对网络进行模块化拆分，拆分为编码器、解码器。
基于区块链的原理，将本发明语义分割深度卷积神经网络按照本发明固定的规则进行拆分，变成若干个子任务，按照随机分配规则，将子任务分配到不同的公有云主机实例上进行推理运算。本发明在每个云主机实例上都载入了折痕检测语义分割深度神经网络的参数。因此，在后续主机实例选择中，无需考虑主机实例是否能够执行相应的任务。
首先，需要将本发明的网络进行模块化拆分，由于语义分割网络的结构通常由Encoder-Decoder(编码器-解码器)结构组成，因此，可以将折痕检测语义分割深度神经网络划分为编码器、解码器。
编码器、解码器种类有许多，如Residual Block、Bottleneck Block、CNN Block等。本发明的编码器、解码器具体采用何种网络设计，实施者可以根据具体实施需求选择，其模块化思想为本发明保护内容。为了兼顾效率，编码器、解码器推荐采用跳级连接结构，并结合ShuffleNet、MobileNet等轻量级网络的block设计，以便更快速、更准确地对纺织品折痕进行分割。
(5b)对于图像采集单元采集的待检测纺织品原始图像，从云主机实例集合中挑选云主机实例，配置包括图像采集单元、编码器、解码器、监控中心四个区块的区块链私链，执行网络推理，得到检测结果，区块链链序与网络推理链序一致。
首先对于待检测纺织品原始图像，将其视为一个神经网络推理请求。针对该请求，随机选取云端计算节点(即云主机实例)。实施者应当知道，为了实现区块链范式，应当拥有足够多的云端云主机实例。节点的选择是随机化的，此处采用特殊的随机数生成机制，即按照当前时间的时、分、秒相乘来作为随机数的种子，如当前时间为20时30分40秒，即随机数种子为20*30*40,以该种子来生成随机数序列，排序节点的索引。例如，云主机实例个数为10，根据随机数种子生成与云主机实例个数相等的随机数序列，21、13、10、9、7、2、3、17、15、6，如此，可以得到随机数序列的数值大小索引：10、7、6、5、4、1、2、9、8、3，如此选择第10号索引的云主机实例作为编码器区块节点，将第7号索引的云主机实例作为解码器区块节点即可。每次按照新的顺序进行链式推理，进一步增加被解密的难度。
然后，配置包括图像采集单元、编码器、解码器、监控中心四个区块的区块链私链。上述四个区块中，编码器、解码器为神经网络计算任务，需要为其分配云主机实例。按照前述方法，依次挑选两个可用节点(即云主机实例)，将可用节点上的编码器、解码器作为区块，编码器所在区块连接至图像采集单元所在区块，解码器所在区块连接至编码器所在区块，监控中心所在区块连接至解码器所在区块。之所以将图像采集单元以及监控中心所在节点加入区块链私链，是为了保证图像采集单元与云端、云端与监控中心之间数据传输的安全性。
接着执行网络推理。区块链链序与网络推理链序是一致的。具体的推理流程可以按照链式逻辑进行，在此简称链式推理。在链式推理中，在图像采集单元完成采集图像。图像采集单元将图像数据发送至编码器所在区块节点，通过折痕检测语义分割深度卷积神经网络的编码器实现对图像的特征提取。解码器所在区块节点对编码器所在区块节点传输而来的特征图进行上采样与特征提取，最终输出折痕检测语义分割图。监控中心所在区块节点对解码器的输出进行处理，在纺织品图像上标注出折痕所在位置，并进行数据展示、传递等功能。图6即为标注折痕位置的展示结果示例。基于上述原理，完成推理流程。
区块链区块节点之间的数据传输是需要使用加密手段的。也就是说图像采集单元与编码器、编码器与解码器、解码器与监控中心之间的数据传输是需要加密的。在此使用张量形状变换算法进行加密。张量形状变换加密，即对节点产生的数据进行有规则的形状变换，并将变换后的数据传送到下一节点，从而起到加密的作用，下一节点通过广播的密钥再进行形状的转回以进行计算。由于接收网络结果数据的监控中心所在区块节点是可信的，因此可以由监控中心所在节点定期各节点广播张量形状作为密钥，在此举例说明。由于各节点加载的是训练好的神经网络，因此各区块节点输出的张量尺寸是已知的，因此，针对每一个网络推理请求，生成张量重塑形参数表，并发送至区块链私链所在节点，私链中所有节点按照该参数表设置待传输张量的元数据，并按照该参数表解析其接收到的张量数据；张量重塑形参数表中存储每一区块输出张量的重塑形参数。例如，编码器输出张量尺寸为[12,256,256](即12通道、宽高分别为256、256的张量)，其张量重塑形参数为[6,512,256],则编码器所在区块节点输出的加密后的张量元数据中张量尺寸为[6,512,256],而解码器在获得编码器传输的张量后，需要根据其收到的张量重塑形参数表中的解密参数[12,256,256]去解密张量数据，而非根据其收到的张量元数据中的张量尺寸去解析张量。需要说明的是，对于输出为一个数据的情况，可以选择通用加密算法对该数据进行加密，例如des加密机制。对所有区块之间的数据传输进行加密、解密操作，可能保证最完备的保密性能。当下一区块所在节点收到经过加密的结果后，首先进行解密操作，然后进行后续处理。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的纺织品折痕检测方法，其特征在于，该方法包括：
(1)提取纺织品原始灰度图像的纺织品折痕：
(1a)对纺织品原始灰度图像进行直方图均衡化处理；
(1b)对直方图均衡化处理后的纺织品图像进行中值滤波；
(1c)对纺织品原始灰度图像进行自商处理；
(1d)对(1c)得到的图像进行空域滤波；
(1e)利用空域滤波后得到的纺织品图像，对(1c)得到的图像进行自商处理；
(1f)求取(1e)所得图像X、Y方向的梯度响应值，并进行阈值化，得到纺织品缺陷二值图；
(1g)对纺织品缺陷二值图进行缺陷充盈率分析，筛选出纺织品折痕，得到纺织品折痕二值图；
(2)采集多张纺织品原始灰度图像重复步骤(1)，检测出纺织品原始灰度图像对应的纺织品折痕二值图，得到纺织品折痕样本集；
(3)对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集进行样本增强，得到扩增的样本集；
(4)利用扩增的样本集训练纺织品折痕检测语义分割深度卷积神经网络；
(5)利用训练好的纺织品折痕检测语义分割深度卷积神经网络进行纺织品折痕检测。
2.如权利要求1所述的方法，其特征在于，在(1a)之前还包括：
如果采集的纺织品原始图像是彩色图像，对其进行灰度化处理：S(i,j)＝max(R(i,j),G(i,j),B(i,j))，其中R(i,j)、G(i,j)、B(i,j)分别为纺织品原始图像R、G、B通道的数据，得到纺织品原始灰度图像S(i,j)。
3.如权利要求1所述的方法，其特征在于，(1c)对纺织品原始灰度图像进行自商处理具体为：
其中，S(i,j)为纺织品原始灰度图像，B(i,j)为经(1b)滤波后得到的纺织品图像，SQI′(i,j)为自商处理后得到的纺织品图像。
4.如权利要求3所述的方法，其特征在于，(1e)利用空域滤波后得到的纺织品图像，对(1c)得到的图像进行自商处理具体为：
其中，SQI′(i,j)为(1c)得到的纺织品图像，B′(i,j)为(1d)空域滤波后得到的纺织品图像，SQI″(i,j)即为本步骤自商处理的结果。
5.如权利要求1所述的方法，其特征在于，所述(1d)的空域滤波为中值滤波。
6.如权利要求1所述的方法，其特征在于，(3)对纺织品原始灰度图像样本集以及对应的纺织品折痕样本集进行样本增强，得到扩增的样本集包括：对纺织品原始灰度图像样本集、纺织品折痕样本集进行图像旋转、亮度调节、添加噪声、图像压缩操作，得到扩增的样本集。
7.如权利要求1所述的方法，其特征在于，(5)利用训练好的纺织品折痕检测语义分割深度卷积神经网络进行纺织品折痕检测包括：
(5a)将训练好的折痕检测语义分割深度卷积神经网络参数发送至所有云主机实例上，并对网络进行模块化拆分，拆分为编码器、解码器；
(5b)对于图像采集单元采集的待检测纺织品原始图像，从云主机实例集合中随机挑选云主机实例，并在图像采集单元、云主机实例、监控中心上配置包括图像采集单元、编码器、解码器、监控中心四个区块的区块链私链，执行网络推理，得到检测结果，区块链链序与网络推理链序一致。
8.如权利要求7所述的方法，其特征在于，折痕检测语义分割深度卷积神经网络的网络推理链序是：
图像采集单元将纺织品原始图像发送至折痕检测语义分割深度卷积神经网络的编码器；编码器实现对图像的特征提取，得到特征图；解码器对编码器传输而来的特征图进行上采样与特征提取，输出纺织品折痕图；监控中心对解码器的输出进行处理，在纺织品原始图像上标注出折痕所在位置，并进行数据展示。
9.如权利要求7所述的方法，其特征在于，(5b)中从云主机实例集合中随机挑选云主机实例包括：
将当前时间的时、分、秒的数值相乘，所得乘积作为随机数种子，根据该随机数种子生成随机数序列，以随机数序列的数值大小索引来选取云主机实例。
10.如权利要求7-9任一项所述的方法，其特征在于，采用张量形状变换加密机制对区块之间传输的数据进行加密。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010415962.9A CN111583253A (zh) | 2020-05-16 | 2020-05-16 | 基于深度学习的纺织品折痕检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010415962.9A CN111583253A (zh) | 2020-05-16 | 2020-05-16 | 基于深度学习的纺织品折痕检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111583253A true CN111583253A (zh) | 2020-08-25 |
Family
ID=72126871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010415962.9A Withdrawn CN111583253A (zh) | 2020-05-16 | 2020-05-16 | 基于深度学习的纺织品折痕检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583253A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115830459A (zh) * | 2023-02-14 | 2023-03-21 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 基于神经网络的山地林草生命共同体损毁程度检测方法 |
| CN116385353A (zh) * | 2023-02-10 | 2023-07-04 | 南通大学 | 一种摄像头模组异常检测方法 |
| CN117218120A (zh) * | 2023-11-08 | 2023-12-12 | 安徽大学 | 实体表面缺陷识别系统 |
| CN117495938A (zh) * | 2024-01-02 | 2024-02-02 | 山东力乐新材料研究院有限公司 | 一种基于图像处理的可折叠中空板生产数据提取方法 |
-
2020
- 2020-05-16 CN CN202010415962.9A patent/CN111583253A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385353A (zh) * | 2023-02-10 | 2023-07-04 | 南通大学 | 一种摄像头模组异常检测方法 |
| CN116385353B (zh) * | 2023-02-10 | 2024-01-30 | 南通大学 | 一种摄像头模组异常检测方法 |
| CN115830459A (zh) * | 2023-02-14 | 2023-03-21 | 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) | 基于神经网络的山地林草生命共同体损毁程度检测方法 |
| CN117218120A (zh) * | 2023-11-08 | 2023-12-12 | 安徽大学 | 实体表面缺陷识别系统 |
| CN117495938A (zh) * | 2024-01-02 | 2024-02-02 | 山东力乐新材料研究院有限公司 | 一种基于图像处理的可折叠中空板生产数据提取方法 |
| CN117495938B (zh) * | 2024-01-02 | 2024-04-16 | 山东力乐新材料研究院有限公司 | 一种基于图像处理的可折叠中空板生产数据提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583253A (zh) | 基于深度学习的纺织品折痕检测方法 | |
| Sujji et al. | MRI brain image segmentation based on thresholding | |
| CN105096259B (zh) | 深度图像的深度值恢复方法和系统 | |
| CN104966085B (zh) | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 | |
| Izadi et al. | A new intelligent method for minerals segmentation in thin sections based on a novel incremental color clustering | |
| CN106780485A (zh) | 基于超像素分割和特征学习的sar图像变化检测方法 | |
| US8331680B2 (en) | Method of gray-level optical segmentation and isolation using incremental connected components | |
| Pessa et al. | Mapping images into ordinal networks | |
| Durga Devi et al. | Digital acquisition and character extraction from stone inscription images using modified fuzzy entropy-based adaptive thresholding | |
| Sánchez-Yánez et al. | One-class texture classifier in the CCR feature space | |
| Kokila et al. | Hybrid Behrens-Fisher-and gray contrast–based feature point selection for building detection from satellite images | |
| Aferi et al. | Cotton texture segmentation based on image texture analysis using gray level co-occurrence matrix (GLCM) and Euclidean distance | |
| Lizarazo et al. | Fuzzy image segmentation for urban land-cover classification | |
| Ajallouian et al. | A novel method for the identification of weave repeat through image processing | |
| Charitidis et al. | Operation-wise attention network for tampering localization fusion | |
| Hepburn et al. | Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance | |
| Das et al. | Moment-based features of knitted cotton fabric defect classification by artificial neural networks | |
| Mohanty et al. | Detection and classification of fabric defects in textile using image mining and association rule miner | |
| Kumar et al. | Edge detection in the medical MR brain image based on fuzzy logic technique | |
| Ullah et al. | Experimental and numerical research of paved microcrack using histogram equalization for detection and segmentation | |
| CN114638596B (zh) | 一种自然资源业务流程审查方法、系统、设备和介质 | |
| Ishwarya et al. | Kidney stone classification using Deep Neural Networks and facilitating diagnosis using IoT | |
| Ghiasi-Freez et al. | The automated Dunham classification of carbonate rocks through image processing and an intelligent model | |
| Ingle et al. | Plant Species Identification Using Leaf Image and Classification Methods | |
| Ravindran et al. | Shadow removal for documents with reflective textured surface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200825 |