CN112927180B - 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法 - Google Patents
一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法 Download PDFInfo
- Publication number
- CN112927180B CN112927180B CN202010967448.6A CN202010967448A CN112927180B CN 112927180 B CN112927180 B CN 112927180B CN 202010967448 A CN202010967448 A CN 202010967448A CN 112927180 B CN112927180 B CN 112927180B
- Authority
- CN
- China
- Prior art keywords
- fiber
- image
- network
- images
- cashmere
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 210000000085 cashmere Anatomy 0.000 title claims abstract description 66
- 210000002268 wool Anatomy 0.000 title claims abstract description 52
- 238000000879 optical micrograph Methods 0.000 title claims abstract description 21
- 239000000835 fiber Substances 0.000 claims abstract description 340
- 230000001537 neural effect Effects 0.000 claims abstract description 43
- 238000006243 chemical reaction Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 27
- 239000000463 material Substances 0.000 claims abstract description 22
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 62
- 239000010410 layer Substances 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 16
- 102100037410 Gigaxonin Human genes 0.000 claims description 14
- 101001025761 Homo sapiens Gigaxonin Proteins 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000003749 cleanliness Effects 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 9
- 238000005260 corrosion Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 101150113005 cyc2 gene Proteins 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000011282 treatment Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 206010016322 Feeling abnormal Diseases 0.000 claims description 3
- 239000011229 interlayer Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004040 coloring Methods 0.000 claims description 2
- 238000005562 fading Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000009941 weaving Methods 0.000 description 3
- 241000092161 Pithys Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000009940 knitting Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 239000012188 paraffin wax Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000004753 textile Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，步骤包括：收集羊绒羊毛材料制成纤维样本，通过光学显微镜获得所有纤维样本表面的光学图像后，进行纤维图像提取并进行深浅区分，利用清晰的浅色纤维图像，对基于深度神经的分类网络进行纤维判别任务训练，利用不清晰的深色或带有花斑纤维图像，对基于注意力机制、分类损失函数、循环稳定损失函数的生成对抗网络进行风格转换任务训练，对于新的待测试羊绒羊毛材料，重复上述步骤，或将清晰的浅色纤维图像直接送入深度神经分类网络进行类型判别，或将不清晰的深色或带有花斑纤维图像经生成对抗网络风格转换后再送入深度神经分类网络进行类型判别，最后输出判别结果。
Description
技术领域
本发明属于纺织行业检测分析领域，特别涉及一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，用于分析特种动物纤维在不同工艺处理后的质量成分。
背景技术
现如今，羊绒羊毛纤维鉴别有多种检测技术和方法，如纤维光学影像识别法、DNA法、液质蛋白分析法等等。但截至目前，这些方法均因自身的缺陷无法得到广泛应用。因此，传统的光学显微镜法仍然是比较可靠、成熟、准确的鉴别方法。
传统的光学显微镜法是把一定量的毛绒纤维经开松后置于放大的显微镜下，通过人工观察如鳞片结构特征来进行逐根鉴别，劳动强度大，检测速度慢。而且有些羊绒羊毛由于存在染色的原因，这使得光学显微镜纤维图像更加难以区分。为此就需要根据纤维图像的特点进行不一样的处理，如深色样本在光学显微镜下无法显示纤维的鳞片结构及其相关特征，目前常用的方法为进行褪色处理；例如类紫绒样本在纤维图像存在花斑而导致纤维鳞片或相关特征不明显，目前常用的方法为进行脱色处理。但是通常来说，脱色或褪色时间越长，尽管纤维的颜色或者斑点可以得到去除，但是无法避免地对鳞片等特征造成损伤，最终同样会导致鉴别结果的不准确。
另外，随着检测新技术的不断涌现，基于深度学习等人工智能技术的自动分类方法在毛绒纤维鉴别上有所突破。为了保证羊绒羊毛鉴别任务的准确性和稳定性，这些基于机器学习的自动鉴别技术往往需要大量的标记数据。在实际应用中，根据纺织的流程区分，需要鉴别的羊绒羊毛分为绒毛纤维原料，纱线，机织等工艺形态；此外，根据不同客户的需求，羊绒羊毛有时也会染成不同的颜色。尽管基于深度神经分类网络的方法在许多任务中有卓越的成果，但这些网络往往需要大量的数据才能避免过度拟合。遗憾的是，在纺织行业，由于羊绒羊毛产地的多样化及成品需求的个性化，企业无法短时间收集足够的样本来训练一个泛化能力足够好的模型应对市场的需求。
针对以上显著问题，目前的主流解决方案是根据已有收集到的数据训练出一个模型，在模型实际使用的过程中，鉴别出模型无法识别的绒毛类型后进行该类数据的收集，然后根据扩大训练数据集对模型进行重新训练，如此重复直到模型的表现达到稳定。但是，该种方式耗时耗力，因此衍生出对利用有限数据人工地产生出等价数据的技术需求。
发明内容
针对现有技术存在的问题，本发明提供了一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，以实现扩展训练集或者将模型未曾见过的数据风格转换成已有的数据类型的风格，并实现在原有分类模型下进行分类识别。
一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，包括以下步骤：
步骤S1、收集大量的羊绒羊毛材料并制成纤维样本；
制作纤维样本的具体方法为：收集大量包括但不仅限于由精梳、纱线、针织、机织等不同工艺过程制得的羊绒羊毛材料，所述羊绒羊毛材料中必须同时包含经过特殊处理的羊绒羊毛材料，且所述的经过特殊处理的羊绒羊毛材料包括但不仅限于深颜色、有髓或者有斑点(如紫绒)的羊绒羊毛材料，然后在所有羊绒羊毛材料的任意位置分别取一束纤维并进行裁剪后放到载玻片，最后滴入石蜡溶液盖上盖玻片，制成纤维样本；
步骤S2、通过光学显微镜对各个纤维样本进行成像，获得所有纤维样本表面的光学图像；
步骤S3、基于深度神经分类网络，对可看清鳞片信息的浅色纤维图像纤维进行类别判别任务训练；
步骤S4、在提取到的所有纤维图像中，区分出可看清鳞片信息的浅色纤维图像和看不清鳞片信息的深色或带有花斑纤维图像；
步骤S5、基于深度神经分类网络，对可看清鳞片信息的浅色纤维图像纤维进行类别判别任务训练；
步骤S6、基于生成对抗网络，对看不清鳞片信息的深色或带有花斑纤维图像进行转换成对应的可看清鳞片信息的浅色纤维图像的风格转换任务训练，同时在所述生成对抗网络中引入注意力机制、对抗损失函数、分类损失函数、循环稳定损失函数；
引入注意力机制的目的是让生成对抗网络自动选取纤维图像中感兴趣的特征区域，使生成图像能够在鳞片的核心几何特征的前提下，将不感兴趣的区域变换为目标图像的风格，同时还能生成感兴趣的前景图像和背景图像，进而使得纤维图像能够在保留几何特征和其它有意义的特征和背景下，进行风格转换；
引入分类损失函数的目的是为了保证生成对抗网络所转换生成出来的纤维图像可以服务于已训练好的深度神经分类网络；
引入循环稳定损失函数的目的是为了解决训练深度神经分类网络时的输入数据不匹配的问题，但是在生成对抗网络参数权重更新过程中，深度神经分类网络权重并不会更改；
步骤S7、对于新的单根待测试羊绒羊毛材料，重复步骤S1到步骤S4，获得新的待测试羊绒羊毛材料的待测纤维样本，并区分所述待测纤维样本可看清鳞片信息的浅色纤维图像或看不清鳞片信息的深色或带有花斑纤维图像；
步骤S8、对于所述待测纤维样本为可看清鳞片信息的浅色纤维图像的，则直接输入到训练好的所述深度神经分类网络进行羊绒羊毛的类型判别；
步骤S9、对于所述待测纤维样本为看不清鳞片信息的深色或带有花斑纤维图像的，则先输入到训练好的所述生成对抗网络，转换成相对应的可看清鳞片信息的浅色纤维图像，再将其转换结果输入到训练好的所述深度神经分类网络进行羊绒羊毛的类型判别；
步骤S10、所述深度神经分类网络输出步骤S8或步骤S9得出的羊绒羊毛类型判别结果。
进一步的，步骤S3的具体方法为：
步骤S3.1、预处理若干不同焦距下栈图像以获得全局最清晰的图像；
步骤S3.2、在全局最清晰的图像中筛选出满足几何条件的纤维图像；
步骤S3.3、在不同栈图像中提取出最清晰的筛选过后的纤维图像；
步骤S3.4、对提取出的纤维图像进行后处理。
进一步的，步骤S3.1的具体方法为：
1)获得栈图像的灰度图(I0，I1，…In-1)，得到栈图像中间层Im，计算中间层上下各两层计算绝对差Id；
2)对Im进行二值化：通过大津法(OSTU)算法计算图像Id的阈值，若阈值大于给定某个值，对Id进行加权处理：对于栈图像的灰度图的每一个像素，计算每一对应像素中的最大值和最小值的加权和，融合输出加权图像；再使用OSTU算法进行二值化，开运算和反转图像得到二值图像。
进一步的，步骤S3.2的具体方法为：
1)基于轮廓检测算法从二值图像中找到待测纤维的轮廓边界，建立对应的轮廓掩膜，并从背景中分离出来；
2)对于分离的纤维轮廓边界和掩膜，基于给定的阈值判断边界所包围的区域是否满足给定的几何标准：例如长度、面积、长宽比，以及边界至骨架的距离等；比如过滤轮廓边界太弯曲、非均匀、重叠的纤维。
进一步的，步骤S3.3的具体方法为：
1)对于筛选出的待测纤维，建立对应的轮廓掩膜；
2)拉直纤维:对每根待测纤维，对掩膜使用数学腐蚀算法，提取其中心骨架(像素宽为1的骨架)，筛选出若干中心骨架中不具有短枝的骨架，并进行排序；沿着中心骨架利用样条函数拉直纤维：首先，建立一坐标集，将骨架的坐标一一映射到建立的坐标集使骨架变成直线；其次，根据纤维的像素点与骨架之间的坐标关系，将待测纤维的像素点重新映射到骨架上，得到拉直后的纤维图像和掩膜；
3)对于拉直后的纤维掩膜，在不同栈图像中选择出最清晰的纤维图像：计算图像拉普拉斯算子的总方差，从总方差的最小值的对应层中选择清晰的纤维图像；
4)根据给定的阈值判定最清晰的纤维灰度图像是否清晰(作为中间层)，且满足有上下各两层。组合上中下3层重建纤维的彩色图像。
进一步的，步骤S3.4的具体方法为：
将拉直的纤维图像按照水平方向的分割成若干相同长度的子段，去除被定义为模糊的首尾子段，重构新的纤维图像及其掩膜。
进一步的，步骤S4的具体方法为：
判断纤维图像是否同时满足三个指标(即能看到内部光亮、干净、清晰的鳞片信息和边缘信息)，将单根纤维图像分成两类分别来处理：第一类是浅色/中深色可以看清鳞片和边缘信息的纤维，第二类是深色/鳞片带有斑点/有髓/看不清鳞片和边缘信息的纤维；
进一步的，步骤S4中所述三个指标为，平均亮度、干净度和鳞片清晰度，该三个指标的判定标准分别如下：
(1)平均亮度：沿着竖直方向纤维灰度图像中线去上下5个像素得到区域范围的灰阶平均值，如果在给定的灰阶范围内，则判定为光亮纤维；
(2)干净度：使用竖直方向的直线作为结构元素对纤维灰度图像分别做数学形态学的膨胀和腐蚀，相减之后得到绝对值图像得到形态学梯度图像(纤维外部边缘信息)，沿竖直方向计算梯度图像的平均值，再减去均值的最小值用于去除偏移；接着，使用以上得到梯度图像平均值的中间值除以梯度图像平均值的均值得到纤维干净度的值，如果该值小于给定的阈值，则判定为干净纤维；
(3)鳞片清晰度：使用水平方向的直线作为结构元素对纤维灰度图像分别做数学形态学的膨胀和腐蚀，相减之后得到绝对值图像得到形态学梯度图像(纤维内部鳞片信息)，沿竖直方向计算梯度图像的平均值，再减去均值的最小值用于去除偏移；接着，使用以上得到梯度图像平均值的中间值除以梯度图像平均值的均值得到纤维鳞片清晰度的值，如果该值小于给定的阈值，则判定为清晰的纤维。
进一步的，步骤S5中，所述深度神经分类网络是由一系列计算层(卷积、非线性激活、池化、全连接等)构成，每一层的输入输出均是堆叠的特征通道；所述深度神经分类网络的输入是基于所提取到的可看清鳞片信息的浅色纤维图像，在训练过程中，所述深度神经分类网络自动学习可看清鳞片信息的浅色纤维图像的特征，进而实现可看清鳞片信息的浅色纤维图像的分类、检测及结果输出功能。
进一步的，步骤S5中，所述深度神经分类网络选用Mobile-net，U-Net，ResNet或VGG等的网络。
进一步的，步骤S6中，所述生成对抗网络的基本架构最初来源于Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,ICCV2017，所述生成对抗网络由1个生成网络GA、1个生成网络GB、1个判别器DA和1个判别器DB构成，在训练过程中，提取所得的可看清鳞片信息的浅色纤维图像经过生成网络GA转换成经数字化着色处理的看不清鳞片信息的深色或带有花斑纤维图像，然后再经过生成网络GB转换成经数字化脱色处理的可看清鳞片信息的浅色纤维图像，而提取所得的看不清鳞片信息的深色或带有花斑纤维图像则经过生成网络GB转换成经数字化脱色处理的可看清鳞片信息的浅色纤维图像，然后再经过生成网络GA转换成经数字化着色处理的看不清鳞片信息的深色或带有花斑纤维图像；所述生成对抗网络在两种不同类型纤维图像的风格转换与重构的过程中，自动学习和比较风格转换并重构后的纤维图像与提取所得的纤维图像之间的特征差异，进而不断完善风格转换的精准度，最终实现纤维图像的风格转换及输出功能；
并在此基础上，在生成网络GA和生成网络GB中分别引入注意力机制AttentionGAN:Unpaired Image-to-Image Translation using Attention-Guided GenerativeAdversarial Networks,2020；所述生成网络在功能上分为将看不清鳞片信息的深色或带有花斑纤维图像转换成对应的可看清鳞片信息的浅色纤维图像(即将纤维图像风格由深转浅)的生成网络GA和将可看清鳞片信息的浅色纤维图像转换成对应的看不清鳞片信息的深色或带有花斑纤维图像(即将纤维图像风格由浅转深)的生成网络GB，所述生成网络GA和所述生成网络GB的输入分别是基于所提取到的看不清鳞片信息的深色或带有花斑纤维图像和可看清鳞片信息的浅色纤维图像，然后利用注意力机制在同时保留几何特征等有意义的特征和背景的情况下，将纤维图像进行风格转换；
此外，为了保证风格变换后的纤维图像能有效地服务于纤维图像分类任务，在所述生成对抗网络中引入对抗损失函数、分类损失函数、循环稳定损失函数；所述对抗损失函数、所述分类损失函数、所述循环稳定损失函数构成整个损失函数，其公式为：
L(xA，xB)＝LGAN(xA，xB)+λcycLcyc(xA，xB)+λclassLclass(GB) (1)
其中，所述对抗损失函数LGAN(xA，xB)为：
LGAN(xA，xB)＝LGAN1(xA，xB)+LGAN2(xA，xB) (2)
其中，公式(2)由两个子函数LGAN1(xA，xB)和LGAN2(xA，xB)组成；
公式(4)中的GB为生成网络GB，DA为判别器DA；
xA为提取所得的可看清鳞片信息的浅色纤维图像，
xB为提取所得的看不清鳞片信息的深色或带有花斑纤维图像，
LGAN1(xA，xB)为判别器DA的输出，
LGAN2(xA，xB)为判别器DB的输出；
其中，所述分类损失函数为：
其中，a为深度神经分类网络的输出，y是实际的标签；
其中，所述循环稳定损失函数为：
Lcyc(xA，xB)＝Lcyc1(xA)+Lcyc2(xB) (6)
其中，公式(6)由两个子函数Lcyc1(xA，xB)和Lcyc2(xA，xB)组成：
其中，公式(7)和(8)中的GA为生成网络GA，GB为生成网络GB，DA为判别器DA，
xA为提取所得的可看清鳞片信息的浅色纤维图像，
xB为提取所得的看不清鳞片信息的深色或带有花斑纤维图像。
与现有技术相比，本发明的有益效果为:
1、本发明通过引入生成对抗网络技术，提出了一种纤维图像的数字化脱色褪色处理方案，实现了对鳞片不清晰的纤维图像的风格转换，可以最大程度地减少通过化学方法处理对数据的损伤，即避免因化学方法脱色或褪色处理时间过长而导致的纤维鳞片等特征的损伤问题，可以有效地提供专家干净清晰的纤维图像，和对已训练好的网络提供有效的纤维图像，从而在降低纤维图像区分难度的同时，有效地提高了羊绒羊毛分类的准确性。
2、本发明创新性地引入了注意力机制以及新的损失函数，并开创性地应用于羊绒羊毛的光学显微镜纤维图像的风格转换，该损失函数同时考虑了训练数据的不匹对性和原有训练模型的适应性，有效地实现了羊绒羊毛纤维图像的风格转换任务，因此通过本发明可以大幅降低对训练集数据的要求，并提升原有已训练好模型的泛化能力，从而有效地提高分类的稳定性。
其中，注意力机制的引入目的是让对抗生成网络自动选取感兴趣的几何特征区域，使生成图像可以保留核心几何鳞片等特征的前提下，将不感兴趣的区域变换为目标图像的风格；循环稳定损失函数引入的目的是解决训练输入数据不匹配的问题；分类损失函数的引入是保证生成的图像在原有训练好的分类网络的有效复用。
3、本发明创新性地引入纤维图像预处理提取流程，通过对由显微镜成像获得的纤维图像进行预处理提取，并生成单根纤维图像，这样可以将纤维图像划分成鳞片清晰与不清晰两种类别，以降低基于深度神经的分类网络的学习难度，使其专注于纤维类别间几何特征的不同点，同时为对抗生成网络的图像风格转换提供训练数据。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术方案，并可依照说明书的内容予以实施，以下以本发明附上的较佳实施例并配合附图详细说明。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法中单根纤维图像提取的流程示意图。
图2为本发明基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法中基于注意力机制、分类损失函数、循环损失函数的生成对抗网络的风格转换训练及输出流程示意图。
图3为本发明基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法中基于注意力机制的生成网络GA的风格转换流程示意图。
图4为本发明基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法的测试单根羊绒羊毛纤维图像的流程示意图。
图5为本发明提取所得的某一根可看清鳞片信息的浅色纤维图像。
图6为图5的可看清鳞片信息的浅色纤维图像经风格转换后生成的看不清鳞片信息的深色或带有花斑纤维图像。
图7为图6的风格转换后的看不清鳞片信息的深色或带有花斑纤维图像经风格重构后生成的可看清鳞片信息的浅色纤维图像。
图8为本发明提取所得的某一根看不清鳞片信息的深色或带有花斑纤维图像。
图9为图8的看不清鳞片信息的深色或带有花斑纤维图像经风格转换后生成的可看清鳞片信息的浅色纤维图像。
图10为图9的风格转换后的可看清鳞片信息的浅色纤维图像经风格重构后生成的看不清鳞片信息的深色或带有花斑纤维图像。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，包括以下步骤：
步骤S1、收集大量的羊绒羊毛材料并制成纤维样本；
其方法包括，收集大量包括但不仅限于由精梳、纱线、针织、机织等不同工艺过程制得的羊绒羊毛材料，所述羊绒羊毛材料中必须同时包含经过特殊处理的羊绒羊毛材料，且所述的经过特殊处理的羊绒羊毛材料包括但不仅限于深颜色、有髓或者有斑点(如紫绒)的羊绒羊毛材料，然后在所有羊绒羊毛材料的任意位置分别取一束纤维并进行裁剪后放到载玻片，最后滴入石蜡溶液盖上盖玻片，制成纤维样本；
步骤S2、通过光学显微镜对各个纤维样本进行成像，获得所有纤维样本表面的光学图像；
步骤S3、对获得的所有纤维样本表面的光学图像进行纤维图像提取；
如图1所示，其方法为：
步骤S3.1、预处理若干不同焦距下栈图像以获得全局最清晰的图像；
1)获得栈图像的灰度图(I0，I1，…In-1)，得到栈图像中间层Im，计算中间层上下各两层计算绝对差Id；
2)对Im进行二值化：通过大津法(OSTU)算法计算图像Id的阈值，若阈值大于给定某个值，对Id进行加权处理：对于栈图像的灰度图的每一个像素，计算每一对应像素中的最大值和最小值的加权和，融合输出加权图像；再使用OSTU算法进行二值化，开运算和反转图像得到二值图像；
步骤S3.2、在全局最清晰的图像中筛选满足几何条件的纤维图像；
1)基于轮廓检测算法从二值图像中找到待测纤维的轮廓边界，建立对应的轮廓掩膜，并从背景中分离出来；
2)对于分离的纤维轮廓边界和掩膜，基于给定的阈值判断边界所包围的区域是否满足给定的几何标准：例如长度、面积、长宽比，以及边界至骨架的距离等；比如过滤轮廓边界太弯曲、非均匀、重叠的纤维；
步骤S3.3、在不同栈图像中提取出最清晰的筛选过后的纤维图像；
1)对于筛选出的待测纤维，建立对应的轮廓掩膜；
2)拉直纤维:对每根待测纤维，对掩膜使用数学腐蚀算法，提取其中心骨架(像素宽为1的骨架)，筛选出若干中心骨架中不具有短枝的骨架，并进行排序；沿着中心骨架利用样条函数拉直纤维：首先，建立一坐标集，将骨架的坐标一一映射到建立的坐标集使骨架变成直线；其次，根据纤维的像素点与骨架之间的坐标关系，将待测纤维的像素点重新映射到骨架上，得到拉直后的纤维图像和掩膜；
3)对于拉直后的纤维掩膜，在不同栈图像中选择出最清晰的纤维图像：计算图像拉普拉斯算子的总方差，从总方差的最小值的对应层中选择清晰的纤维图像；
4)根据给定的阈值判定最清晰的纤维灰度图像是否清晰(作为中间层)，且满足有上下各两层。组合上中下3层重建纤维的彩色图像；
步骤S3.4、对提取出的纤维图像进行后处理：将拉直的纤维图像按照水平方向的分割成若干相同长度的子段，去除被定义为模糊的首尾子段，重构新的纤维图像及其掩膜；
步骤S4、在提取到的所有纤维图像中，区分出可看清鳞片信息的浅色纤维图像和看不清鳞片信息的深色或带有花斑纤维图像：
1)判断后处理的纤维图像的三个指标，即平均亮度、干净度和鳞片清晰度，该三个指标的判定标准分别如下：
平均亮度：沿着竖直方向纤维灰度图像中线去上下5个像素得到区域范围的灰阶平均值，如果在给定的灰阶范围内，则判定为光亮纤维：
干净度：使用竖直方向的直线作为结构元素对纤维灰度图像分别做数学形态学的膨胀和腐蚀，相减之后得到绝对值图像得到形态学梯度图像(纤维外部边缘信息)，沿竖直方向计算梯度图像的平均值，再减去均值的最小值用于去除偏移；接着，使用以上得到梯度图像平均值的中间值除以梯度图像平均值的均值得到纤维干净度的值，如果该值小于给定的阈值，则判定为干净纤维：
鳞片清晰度：使用水平方向的直线作为结构元素对纤维灰度图像分别做数学形态学的膨胀和腐蚀，相减之后得到绝对值图像得到形态学梯度图像(纤维内部鳞片信息)，沿竖直方向计算梯度图像的平均值，再减去均值的最小值用于去除偏移；接着，使用以上得到梯度图像平均值的中间值除以梯度图像平均值的均值得到纤维鳞片清晰度的值，如果该值小于给定的阈值，则判定为清晰的纤维；
2)根据纤维图像是否同时满足上述三个指标(即能看到内部光亮、干净、清晰的鳞片信息和边缘信息)，将单根纤维图像分成两类分别来处理：第一类是浅色/中深色可以看清鳞片和边缘信息的纤维，第二类是深色/鳞片带有斑点/有髓/看不清鳞片和边缘信息的纤维；
步骤S5、基于深度神经分类网络，对可看清鳞片信息的浅色纤维图像纤维进行类别判别任务训练；
所述深度神经分类网络的输入是基于所提取到的可看清鳞片信息的浅色纤维图像，在训练过程中，所述深度神经分类网络自动学习可看清鳞片信息的浅色纤维图像的特征，进而实现可看清鳞片信息的浅色纤维图像的分类、检测及结果输出功能；
所述深度神经分类网络是由一系列计算层(卷积、非线性激活、池化、全连接等)构成，每一层的输入输出均是堆叠的特征通道；且所述深度神经分类网络选用Mobile-net，U-Net，ResNet或VGG等通用深度神经分类网络网络；
步骤S6、基于生成对抗网络，对看不清鳞片信息的深色或带有花斑纤维图像进行转换成对应的可看清鳞片信息的浅色纤维图像的风格转换任务训练，同时在所述生成对抗网络中引入注意力机制、对抗损失函数、分类损失函数、循环稳定损失函数；
参见图2所示，所述生成对抗网络的基本架构最初来源于Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks,ICCV2017，所述生成对抗网络由1个生成网络GA、1个生成网络GB、1个判别器DA和1个判别器DB构成，在训练过程中，如图5所示的提取所得的可看清鳞片信息的浅色纤维图像经过生成网络GA转换成如图6所示的看不清鳞片信息的深色或带有花斑纤维图像，然后再经过生成网络GB重构成如图7所示的可看清鳞片信息的浅色纤维图像，而如图8所示的提取所得的看不清鳞片信息的深色或带有花斑纤维图像则经过生成网络GB转换成如图9所示的可看清鳞片信息的浅色纤维图像，然后再经过生成网络GA重构成如图10所示的看不清鳞片信息的深色或带有花斑纤维图像；所述生成对抗网络在两种不同类型纤维图像的风格转换与重构的过程中，自动学习和比较风格转换并重构后的纤维图像与提取所得的纤维图像之间的特征差异，进而不断完善风格转换的精准度，最终实现纤维图像的风格转换及输出功能；
参见图3所示，并在此基础上，在生成网络GA和生成网络GB中分别引入注意力机制AttentionGAN:Unpaired Image-to-Image Translation using Attention-GuidedGenerative Adversarial Networks,2020；所述生成网络在功能上分为将看不清鳞片信息的深色或带有花斑纤维图像转换成对应的可看清鳞片信息的浅色纤维图像(即将纤维图像风格由深转浅)的生成网络GA和将可看清鳞片信息的浅色纤维图像转换成对应的看不清鳞片信息的深色或带有花斑纤维图像(即将纤维图像风格由浅转深)的生成网络GB，所述生成网络GA和所述生成网络GB的输入分别是基于所提取到的看不清鳞片信息的深色或带有花斑纤维图像和可看清鳞片信息的浅色纤维图像，然后利用注意力机制在同时保留几何特征等有意义的特征和背景的情况下，将纤维图像进行风格转换；图3仅为生成网络GA的转换流程示意图，生成网络GB的转换流程与生成网络GA相反；
引入注意力机制的目的是让生成对抗网络自动选取纤维图像中感兴趣的特征区域，使生成图像能够在保留核心几何鳞片等特征的前提下，将不感兴趣的区域变换为目标图像的风格，同时还能生成感兴趣的前景图像和背景图像，进而使得纤维图像能够在同时保留几何特征等有意义的特征和背景下，进行风格转换；
此外，在所述生成对抗网络中引入对抗损失函数、分类损失函数、循环稳定损失函数；所述对抗损失函数、所述分类损失函数、所述循环稳定损失函数构成整个损失函数，其公式为：
L(xA，xB)＝LGAN(xA，xB)+λcycLcyc(xA，xB)+λclassLclass(GB) (1)
其中，所述对抗损失函数LGAN(xA，xB)为：
LGAN(xA，xB)＝LGAN1(xA，xB)+LGAN2(xA，xB) (2)
其中，公式(2)由两个子函数LGAN1(xA，xB)和LGAN2(xA，xB)组成；
其中，公式(3)中的GA为生成网络GA，DB为判别器DB，
公式(4)中的GB为生成网络GB，DA为判别器DA；
xA为提取所得的可看清鳞片信息的浅色纤维图像，
xB为提取所得的看不清鳞片信息的深色或带有花斑纤维图像，
LGAN1(xA，xB)为判别器DA的输出，
LGAN2(xA，xB)为判别器DB的输出；
其中，所述分类损失函数为：
其中，a为深度神经分类网络的输出，y是实际的标签；
引入分类损失函数的目的是为了保证生成对抗网络所转换生成出来的纤维图像可以服务于已训练好的纤维图像分类网络；
其中，所述循环稳定损失函数为：
Lcyc(xA，xB)＝Lcyc1(xA)+Lcyc2(xB) (6)
其中，公式(6)由两个子函数Lcyc1(xA，xB)和Lcyc2(xA，xB)组成：
其中，公式(7)和(8)中的GA为生成网络GA，GB为生成网络GB，DA为判别器DA，
xA为提取所得的可看清鳞片信息的浅色纤维图像，
xB为提取所得的看不清鳞片信息的深色或带有花斑纤维图像。
引入循环稳定损失函数的目的是为了解决训练深度神经分类网络时的输入数据不匹配的问题，但是在生成对抗网络参数权重更新过程中，深度神经分类网络权重并不会更改；
步骤S7、参见图4所示，对于新的单根待测试羊绒羊毛材料，重复步骤S1到步骤S4，获得新的待测试羊绒羊毛材料的待测纤维样本，并区分所述待测纤维样本属于可看清鳞片信息的浅色纤维图像或看不清鳞片信息的深色或带有花斑纤维图像；
步骤S8、对于所述待测纤维样本为可看清鳞片信息的浅色纤维图像的，则直接输入到训练好的所述深度神经分类网络进行羊绒羊毛的类型判别；
步骤S9、对于所述待测纤维样本为看不清鳞片信息的深色或带有花斑纤维图像的，则先输入到训练好的所述生成对抗网络，转换成相对应的可看清鳞片信息的浅色纤维图像，再将其转换结果输入到训练好的所述深度神经分类网络进行羊绒羊毛的类型判别；
步骤S10、所述深度神经分类网络输出步骤S8或步骤S9得出的羊绒羊毛类型判别结果。
本发明通过引入生成对抗网络技术，提出了一种纤维图像的数字化脱色褪色处理方案，实现了对鳞片不清晰的纤维图像的风格转换，可以最大程度地减少通过化学方法处理对数据的损伤，即避免因化学方法脱色或褪色处理时间过长而导致的纤维鳞片等特征的损伤问题，可以有效地提供专家干净清晰的纤维图像，和对已训练好的网络提供有效的纤维图像，从而在降低纤维图像区分难度的同时，有效地提高了羊绒羊毛分类的准确性。
本发明创新性地引入了注意力机制以及新的损失函数，并开创性地应用于羊绒羊毛的光学显微纤维图像的风格转换，该损失函数同时考虑了训练数据的不匹对性和原有训练模型的适应性，有效地实现了羊绒羊毛纤维图像的风格转换任务，因此通过本发明可以大幅降低对训练集数据的要求，并提升原有已训练好模型的泛化能力，从而有效地提高分类的稳定性。
本发明创新性地引入纤维图像预处理提取流程，通过对由显微镜成像获得的纤维图像进行预处理提取，并生成单根纤维图像，这样可以将纤维图像划分成鳞片清晰与不清晰两种类别，以降低基于深度神经的分类网络的学习难度，使其专注于纤维类别间几何特征的不同点，同时为对抗生成网络的图像风格转换提供训练数据。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，包括以下步骤：
步骤S1、收集大量的羊绒羊毛材料并制成纤维样本；
步骤S2、通过光学显微镜对各个纤维样本进行成像，获得所有纤维样本表面的光学图像；
步骤S3、对获得的所有纤维样本表面的光学图像进行纤维图像提取；
步骤S4、在提取到的所有纤维图像中，区分出可看清鳞片信息的浅色纤维图像和看不清鳞片信息的深色或带有花斑纤维图像；
步骤S5、基于深度神经分类网络，对可看清鳞片信息的浅色纤维图像纤维进行类别判别任务训练；
步骤S6、基于生成对抗网络，对看不清鳞片信息的深色或带有花斑纤维图像进行转换成对应的可看清鳞片信息的浅色纤维图像的风格转换任务训练，同时在所述生成对抗网络中引入注意力机制、对抗损失函数、分类损失函数、循环稳定损失函数；
引入注意力机制的目的是让生成对抗网络自动选取纤维图像中感兴趣的特征区域，使生成图像能够在保留鳞片的核心几何特征的前提下，将不感兴趣的区域变换为目标图像的风格，同时还能生成感兴趣的前景图像和背景图像，进而使得纤维图像能够在同时保留几何特征和其它有意义的特征和背景下，进行风格转换；
引入分类损失函数的目的是为了保证生成对抗网络所转换生成出来的纤维图像可以服务于已训练好的深度神经分类网络；
引入循环稳定损失函数的目的是为了解决训练深度神经分类网络时的输入数据不匹配的问题，但是在生成对抗网络参数权重更新过程中，深度神经分类网络权重并不会更改；
步骤S7、对于新的待测试羊绒羊毛材料，重复步骤S1到步骤S4，获得新的待测试羊绒羊毛材料的待测纤维样本，并区分所述待测纤维样本属于可看清鳞片信息的浅色纤维图像或看不清鳞片信息的深色或带有花斑纤维图像；
步骤S8、对于所述待测纤维样本为可看清鳞片信息的浅色纤维图像的，则直接输入到训练好的所述深度神经分类网络进行羊绒羊毛的类型判别；
步骤S9、对于所述待测纤维样本为看不清鳞片信息的深色或带有花斑纤维图像的，则先输入到训练好的所述生成对抗网络，转换成相对应的可看清鳞片信息的浅色纤维图像，再将其转换结果输入到训练好的所述深度神经分类网络进行羊绒羊毛的类型判别；
步骤S10、由所述深度神经分类网络输出步骤S8或步骤S9得出的羊绒羊毛类型判别结果。
2.根据权利要求1所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S3的具体方法为：
步骤S3.1、预处理若干不同焦距下栈图像以获得全局最清晰的图像；
步骤S3.2、在全局最清晰的图像中筛选出满足几何条件的纤维图像；
步骤S3.3、在不同栈图像中提取出最清晰的筛选过后的纤维图像；
步骤S3.4、对提取出的纤维图像进行后处理。
3.根据权利要求2所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S3.1的具体方法为：
1)获得栈图像的灰度图(I0，I1，…In-1)，得到栈图像中间层Im，计算中间层上下各两层计算绝对差Id；
2)对Im进行二值化：通过OSTU算法计算图像Id的阈值，若阈值大于给定某个值，对Id进行加权处理：对于栈图像的灰度图的每一个像素，计算每一对应像素中的最大值和最小值的加权和，融合输出加权图像；再使用OSTU算法进行二值化，开运算和反转图像得到二值图像。
4.根据权利要求2所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S3.2的具体方法为：
1)基于轮廓检测算法从二值图像中找到待测纤维的轮廓边界，建立对应的轮廓掩膜，并从背景中分离出来；
2)对于分离的纤维轮廓边界和掩膜，基于给定的阈值判断边界所包围的区域是否满足给定的几何标准。
5.根据权利要求2所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S3.3的具体方法为：
1)对于筛选出的待测纤维，建立对应的轮廓掩膜；
2)拉直纤维:对每根待测纤维，对掩膜使用数学腐蚀算法，提取其中心骨架，筛选出若干中心骨架中不具有短枝的骨架，并进行排序；沿着中心骨架利用样条函数拉直纤维：首先，建立一坐标集，将骨架的坐标一一映射到建立的坐标集使骨架变成直线；其次，根据纤维的像素点与骨架之间的坐标关系，将待测纤维的像素点重新映射到骨架上，得到拉直后的纤维图像和掩膜；
3)对于拉直后的纤维掩膜，在不同栈图像中选择出最清晰的纤维图像：计算图像拉普拉斯算子的总方差，从总方差的最小值的对应层中选择清晰的纤维图像；
4)根据给定的阈值判定最清晰的纤维灰度图像是否清晰，且满足有上下各两层，组合上中下3层重建纤维的彩色图像。
6.根据权利要求2所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S3.4的具体方法为：
将拉直的纤维图像按照水平方向的分割成若干相同长度的子段，去除被定义为模糊的首尾子段，重构新的纤维图像及其掩膜。
7.根据权利要求1所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S4的具体方法为：
1)基于平均亮度、干净度和鳞片清晰度这三个指标判断后处理的纤维图像，该三个指标的判定标准分别如下：
(1)平均亮度：沿着竖直方向纤维灰度图像中线去上下5个像素得到区域范围的灰阶平均值，如果在给定的灰阶范围内，则判定为光亮纤维；
(2)干净度：使用竖直方向的直线作为结构元素对纤维灰度图像分别做数学形态学的膨胀和腐蚀，相减之后得到绝对值图像得到形态学梯度图像，沿竖直方向计算梯度图像的平均值，再减去均值的最小值用于去除偏移；接着，使用得到梯度图像平均值的中间值除以梯度图像平均值的均值得到纤维干净度的值，如果该值小于给定的阈值，则判定为干净纤维；
(3)鳞片清晰度：使用水平方向的直线作为结构元素对纤维灰度图像分别做数学形态学的膨胀和腐蚀，相减之后得到绝对值图像得到形态学梯度图像，沿竖直方向计算梯度图像的平均值，再减去均值的最小值用于去除偏移；接着，使用得到梯度图像平均值的中间值除以梯度图像平均值的均值得到纤维鳞片清晰度的值，如果该值小于给定的阈值，则判定为清晰的纤维；
2)根据纤维图像是否同时满足上述三个指标，将单根纤维图像区分为两类：第一类是浅色/中深色可以看清鳞片和边缘信息的纤维，第二类是深色/鳞片带有斑点/有髓/看不清鳞片和边缘信息的纤维。
8.根据权利要求1所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S5中，所述深度神经分类网络是由一系列计算层构成，每一层的输入输出均是堆叠的特征通道；所述深度神经分类网络的输入是基于所提取到的可看清鳞片信息的浅色纤维图像，在训练过程中，所述深度神经分类网络自动学习可看清鳞片信息的浅色纤维图像的特征，进而实现可看清鳞片信息的纤维图像的分类、检测及结果输出功能。
9.根据权利要求1所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S5中，所述深度神经分类网络选用包括Mobile-net，U-Net，ResNet或VGG在内的网络。
10.根据权利要求1所述的基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法，其特征在于，步骤S6中，所述生成对抗网络由1个生成网络GA、1个生成网络GB、1个判别器DA和1个判别器DB构成；在训练过程中，提取所得的可看清鳞片信息的浅色纤维图像经过生成网络GA转换成经数字化着色处理的看不清鳞片信息的深色或带有花斑纤维图像，然后再经过生成网络GB转换成经数字化脱色处理的可看清鳞片信息的浅色纤维图像，而提取所得的看不清鳞片信息的深色或带有花斑纤维图像则经过生成网络GB转换成经数字化脱色处理的可看清鳞片信息的浅色纤维图像，然后再经过生成网络GA转换成经数字化着色处理的看不清鳞片信息的深色或带有花斑纤维图像；所述生成对抗网络在两种不同类型纤维图像的风格转换与重构的过程中，自动学习和比较风格转换并重构后的纤维图像与提取所得的纤维图像之间的特征差异，进而不断完善风格转换的精准度，最终实现纤维图像的风格转换及输出功能；
所述生成网络在功能上分为将看不清鳞片信息的深色或带有花斑纤维图像转换成对应的可看清鳞片信息的浅色纤维图像的生成网络GA和将可看清鳞片信息的浅色纤维图像转换成对应的看不清鳞片信息的深色或带有花斑纤维图像的生成网络GB，所述生成网络GA和所述生成网络GB的输入分别是基于所提取到的看不清鳞片信息的深色或带有花斑纤维图像和可看清鳞片信息的浅色纤维图像，然后利用注意力机制在同时保留包括几何特征在内的有意义的特征和背景的情况下，将纤维图像进行风格转换；
此外，为了保证风格变换后的纤维图像能有效地服务于纤维图像分类任务，在所述生成对抗网络中引入对抗损失函数、分类损失函数、循环稳定损失函数；所述对抗损失函数、所述分类损失函数、所述循环稳定损失函数构成整个损失函数，其公式为：
L(xA,xB)＝LGAN(xA,xB)+λcycLcyc(xA,xB)+λclassLclass(GB) (1)
其中，所述对抗损失函数LGAN(xA,xB)为：
LGAN(xA,xB)＝LGAN1(xA,xB)+LGAN2(xA,xB) (2)
其中，公式(2)由两个子函数LGAN1(xA,xB)和LGAN2(xA,xB)组成：
其中，公式(3)中的GA为生成网络GA，DB为判别器DB，
公式(4)中的GB为生成网络GB，DA为判别器DA；
xA为提取所得的可看清鳞片信息的浅色纤维图像，
xB为提取所得的看不清鳞片信息的深色或带有花斑纤维图像，
LGAN1(xA,xB)为判别器DA的输出，
LGAN2(xA,xB)为判别器DB的输出；
其中，所述分类损失函数为：
其中，a为深度神经分类网络的输出，y是实际的标签；
其中，所述循环稳定损失函数为：
Lcyc(xA,xB)＝Lcyc1(xA)+Lcyc2(xB) (6)
其中，公式(6)由两个子函数Lcyc1(xA,xB)和Lcyc2(xA,xB)组成：
其中，公式(7)和(8)中的GA为生成网络GA，GB为生成网络GB，DA为判别器DA，
xA为提取所得的可看清鳞片信息的浅色纤维图像，
xB为提取所得的看不清鳞片信息的深色或带有花斑纤维图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010967448.6A CN112927180B (zh) | 2020-10-15 | 2020-10-15 | 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010967448.6A CN112927180B (zh) | 2020-10-15 | 2020-10-15 | 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927180A CN112927180A (zh) | 2021-06-08 |
| CN112927180B true CN112927180B (zh) | 2022-11-15 |
Family
ID=76163571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010967448.6A Active CN112927180B (zh) | 2020-10-15 | 2020-10-15 | 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927180B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113409187B (zh) * | 2021-06-30 | 2023-08-15 | 深圳万兴软件有限公司 | 漫画风格图像的转换方法、装置、计算机设备及存储介质 |
| CN114627120B (zh) * | 2022-05-16 | 2022-08-02 | 河南源宏高分子新材料有限公司 | 一种再生聚酯材料脱色判别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090498A (zh) * | 2017-12-28 | 2018-05-29 | 广东工业大学 | 一种基于深度学习的纤维识别方法及装置 |
| CN109146989A (zh) * | 2018-07-10 | 2019-01-04 | 华南理工大学 | 一种通过搭建神经网络生成花鸟艺术字图像的方法 |
| CN111681181A (zh) * | 2020-05-27 | 2020-09-18 | 浙江工贸职业技术学院 | 一种织物表面起球程度的评价方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101487838B (zh) * | 2008-12-11 | 2012-12-05 | 东华大学 | 一种异形纤维的尺度形状特征的提取方法 |
| US11250312B2 (en) * | 2017-10-31 | 2022-02-15 | Levi Strauss & Co. | Garments with finishing patterns created by laser and neural network |
| CN107767408B (zh) * | 2017-11-09 | 2021-03-12 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| DE102018207558A1 (de) * | 2018-05-16 | 2019-11-21 | Henkel Ag & Co. Kgaa | Ermitteln von äußeren Schäden von Haaren |
| CN109583564A (zh) * | 2018-10-31 | 2019-04-05 | 东华大学 | 基于vgg卷积神经网络的极相似动物纤维自动识别方法 |
| CN110648312A (zh) * | 2019-09-03 | 2020-01-03 | 上海工程技术大学 | 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法 |
-
2020
- 2020-10-15 CN CN202010967448.6A patent/CN112927180B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090498A (zh) * | 2017-12-28 | 2018-05-29 | 广东工业大学 | 一种基于深度学习的纤维识别方法及装置 |
| CN109146989A (zh) * | 2018-07-10 | 2019-01-04 | 华南理工大学 | 一种通过搭建神经网络生成花鸟艺术字图像的方法 |
| CN111681181A (zh) * | 2020-05-27 | 2020-09-18 | 浙江工贸职业技术学院 | 一种织物表面起球程度的评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927180A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132843B (zh) | 基于无监督深度学习的苏木精-伊红染色病理图像分割方法 | |
| CN112036335B (zh) | 一种反卷积引导的半监督植物叶部病害识别与分割方法 | |
| CN112927180B (zh) | 一种基于生成对抗网络的羊绒羊毛光学显微镜图像识别方法 | |
| CN108765402B (zh) | 无纺布缺陷检测与分类方法 | |
| AU2019369516B2 (en) | Segmenting 3D intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions | |
| Sikka et al. | Artificial intelligence (AI) in textile industry operational modernization | |
| CN103149210B (zh) | 一种基于鳞片图文特征的织物羊绒含量检测系统及方法 | |
| CN109509171A (zh) | 一种基于gmm和图像金字塔的布匹疵点检测方法 | |
| CN109242842A (zh) | 基于图像识别的人类染色体分析装置、设备及存储介质 | |
| Surya et al. | Identification of Pekalongan Batik images using Backpropagation method | |
| CN110648312A (zh) | 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法 | |
| CN113129281B (zh) | 一种基于深度学习的小麦茎秆截面参数检测方法 | |
| CN113970532A (zh) | 基于近红外光谱的织物纤维成分检测系统和预测方法 | |
| CN108389194A (zh) | 基于人工智能的牛仔布水洗效果评价的图像识别方法及装置 | |
| Das et al. | Deep learning convolutional neural network for defect identification and classification in woven fabric | |
| Kumar et al. | A multi-level colour thresholding based segmentation approach for improved identification of the defective region in leather surfaces | |
| CN113362347A (zh) | 基于多尺度超像素特征增强的图像缺陷区域分割方法和系统 | |
| Husna et al. | Multi-modal image cytometry approach–from dynamic to whole organ imaging | |
| Shi et al. | Intelligent animal fibre classification with artificial neural networks | |
| CN117474844A (zh) | 融合语义分割网络和模糊决策的织物瑕疵智能识别方法 | |
| Alférez Baquero et al. | Digital blood image processing and fuzzy clustering for detection and classification of atypical lymphoid B cells | |
| Shi et al. | Identification of animal fiber based on scale shape | |
| RU2406144C1 (ru) | Способ компьютерной обработки и анализа изображений разнотипных объектов биологической природы | |
| Wang et al. | A Hybrid Method for the Segmentation of a Ferrograph Image Using Marker-Controlled Watershed and Grey Clustering | |
| Adiga et al. | Analysis of volumetric images of filamentous bacteria in industrial sludge |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |