CN113989542A - 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法 - Google Patents

一种基于多分辨率特征融合的纹理图像疵点分类系统及方法 Download PDF

Info

Publication number
CN113989542A
CN113989542A CN202111133963.5A CN202111133963A CN113989542A CN 113989542 A CN113989542 A CN 113989542A CN 202111133963 A CN202111133963 A CN 202111133963A CN 113989542 A CN113989542 A CN 113989542A
Authority
CN
China
Prior art keywords
feature
defect
features
layer
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111133963.5A
Other languages
English (en)
Inventor
王曰海
徐洁雯
杨建义
陈莞尔
陈曦
吴中伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoxing Technology Venture Capital Co ltd
Shaoxing Microelectronics Research Center Of Zhejiang University
Zhejiang University ZJU
Original Assignee
Shaoxing Technology Venture Capital Co ltd
Shaoxing Microelectronics Research Center Of Zhejiang University
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoxing Technology Venture Capital Co ltd, Shaoxing Microelectronics Research Center Of Zhejiang University, Zhejiang University ZJU filed Critical Shaoxing Technology Venture Capital Co ltd
Priority to CN202111133963.5A priority Critical patent/CN113989542A/zh
Publication of CN113989542A publication Critical patent/CN113989542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于多分辨率融合的高精度纹理图像疵点分类的系统及方法，所述分类系统包括：图像获取模块、数据处理模块、网络训练模块和疵点分类模块；所述图像获取模块，用于获取疵点图片；所述数据处理模块，用于标定疵点区域位置信息，截取疵点样本，建立疵点数据集；所述网络训练模块，采用深浅层融合结构的多分辨率特征融合网络提取所述疵点数据集中各样本的图像特征，进行疵点分类网络训练；所述疵点分类模块，采用训练完成的疵点分类网络提取疵点样本的图像特征，用于对疵点进行分类。同时本发明还公开了一种用于特征融合的深浅层融合结构，该结构可应用于多种分类网络，使不同分辨率的特征融合后参与到分类决策中。

Description

一种基于多分辨率特征融合的纹理图像疵点分类系统及方法
技术领域
本发明属于计算机视觉技术领域，具体涉及用于对纹理图像中产生的疵点进行分类的系统及方法。
背景技术
我国人口众多纺织产业作为传统的劳动密集型产业一直是我国的优势产业，为我国经济发展做出了巨大的贡献，纺织品产量常年居世界第一。但随着发展的不断深化，纺织业出现了劳动密集型产业发展过程中必然遇到的问题，比如附加值低、劳动密集、缺乏技术含量及创新性、总体质量不高。在织物的织造、染色、运输等环节中，由于种种原因，导致织物表面出现各种各样的缺陷。疵点的数量直接决定了织物的质量，资料显示，存在较多疵点的织物的价格会降低45％-65％，因此及时发现疵点并且减少疵点数量是提高织物质量与价格的关键。织物中的疵点属于纹理性疵点，其特点是细小且种类繁多，而且本身背景纹理丰富，这使得疵点检测非常困难。疵点从形成原因及疵点特点的角度，分为经向疵点、纬向疵点、洞状疵点三个类别，疵点形态见图2，其中第一行是由擦洞、破洞、毛斑原因形成的洞状疵点，第二行是由吊经、缺经、经线跳花原因形成的经向疵点，第三行是由缺纬、织稀原因形成的纬向疵点。从疵点形状看，洞状疵点呈孔洞状，经向疵点是与织布机经纱线方向一致的条状疵点，纬向疵点是与织布机纬纱线方向一致的条状疵点。早期的疵点检测技术基于机器学习进行分类，靠人工提取颜色、纹理、形状等浅层特征，需要大量时间来调节，又不能保证选取的质量，难免会引入冗余信息及噪声信息使得提取到的特征无法客观表达目标的固有属性，且这些特征无法很好地表示图像的深层语义信息。然而深度学习能自动地学习一些特征，不需要人工参与特征的选取过程，且深层特征包含的高层语义性更强，分辨能力也更强，更能适应分类任务。近年来，深度学习在图像识别等领域取得了突飞猛进的成果，可以考虑采用基于深度学习的疵点检测技术来革新现有质检流程，以减少漏检发生率提高产品质量。因此，采用深度学习技术，对纹理性疵点分类任务和检测任务展开研究，对纺织品质量和生产效率的提升具有重要的价值。
深度学习是一个自动化特征提取的过程，如图6所示，网络的浅层提取的是一些边缘的底层特征，这些浅层特征(low-level feature)具有非常丰富的细节信息，这些信息包含物体的边缘和轮廓以及与颜色的组合；中间层(middle-level feature)开始提取一些局部的概念特征，包含一些纹理特征；网络深层提取一些非常高层次的抽象特征，这些深层特征(high-level feature)会体现类与类之间的差别。
深层特征含有丰富的语义信息深层信息包含更多的信息，数据量大，现有很多研究没有考虑到浅层特征，导致计算量非常巨大，最终分类准确率和分类效率不高。目前基于深度学习的疵点分类检测方法如ResNet和DenseNet等主流网络都存在一个问题，那就是只有网络最后一层的输出特征参与了分类，浅层特征并没有直接参与到最后的决策，导致分类准确率和分类效率不高。这是因为主流深度学习网络任务中，大的目标更关注整体，具有很高的语义信息，因此常常只利用深层特征作为最后全连接层的输入。如董阿梅(基于卷积神经网络的色织物疵点检测与分类算法研究[D].西安工程大学,2018.)通过改进AlexNet网络中数据归一化的方式加快了算法执行速度提高了模型精度，只利用了网络最后一层的特征，没有考虑到浅层特征，导致计算量非常巨大，检测效率低。而疵点分类任务中，关注的是疵点对背景纹理的破坏这种信息，比如边缘、梯度这样的浅层特征，而神经网络浅层特征反应的就是这种信息，将浅层特征复用到深层特征中是非常有必要的。
根据前面对疵点特点以及卷积神经网络特征提取的分析，将网络不同层次的特征进行融合，或者说将不同分辨率的特征进行融合，使得这些特征都能直接参与分类决策，有助于提高疵点分类的效能。但是使用不同层次特征融合的方法来检测疵点，需要解决两个问题：
首先是不同层次的特征分辨率不同，导致特征之间不能直接做堆叠或相加操作；
其次是不同层次的特征的通道数也不同，浅层特征通道数小，深层特征通道数大；融合后的特征通道数太大，这会引入很大的计算量，使得模型速度降低。各特征在通道维度上堆叠或者相加是特征融合最常用的方法。如图7所示，以DenseNet121为例，在DenseNet121网络结构中，输入图片的大小为224×224×3，DenseBlock1输出的特征的尺度为56×56×256，DenseBlock2输出的特征的尺度为28×28×512，DenseBlock3输出的特征的尺度为14x14x1024，DenseBlock4输出的特征的尺度为7×7×1024，可以看到每个DenseBlock输出特征分辨率大小均不同，另外如果采用特征在通道维度上堆叠的方式，融合后的特征通道维度将达到2816。ResNet，VGG，Inception等网络都有同样的问题。如发明(公开号CN111784644A基于深度学习的印花瑕疵检测方法及系统)提出的多分辨率特征融合方法采用双线性插值和卷积的方案将不同分辨率的特征图扩大到相同尺寸进行融合，导致融合后的特征通道数太大，使得计算量大，计算速度慢。现有技术不能将深层特征和浅层特征直接融合且计算量小，计算速度快。
现有技术均存在以上问题，深层特征和浅层特征不能直接做堆叠或相加操作；通过扩展等手段将深层特征和浅层特征在通道维度上堆叠和相加时，又不可避免的引入了大量的计算，因此使得浅层特征不能高效的引入疵点检测领域。
发明内容
为克服现有技术不能将深层特征和浅层特征直接融合，以及利用现有技术将深层特征和浅层特征进行融合后引入非常大的计算量的技术偏见，本发明提供一种基于多分辨率特征融合的纹理图像疵点分类系统。本发明引入深浅层融合结构的多分辨率特征融合网络，提取了纹理图像的边缘等浅层特征及深层特征，本发明只需要用到一个卷积和池化神经网络就可以将不同分辨率不同层次特征缩小到相同尺寸，可以直接做融合，同时计算量更小，计算速度更快，并且本发明利用了可变形卷积的形状适应性，分类准确率更高。而疵点分类任务中，关注的是疵点对背景纹理的破坏这种信息，比如边缘、梯度这样的浅层特征，而神经网络浅层特征反应的就是这种信息，将浅层特征复用到深层特征中是非常有必要的。
本发明公开了一种基于多分辨率特征融合的纹理图像疵点分类系统，所述疵点分类系统将疵点不同分辨率的浅层特征和深层特征进行直接融合后对疵点进行分类；所述浅层特征为边缘的底层特征，包含物体的边缘和轮廓以及与颜色的组合；所述深层特征为高层次的抽象特征；所述疵点分类系统包括：图像获取模块、数据处理模块、疵点分类网络训练模块和疵点分类模块；
所述图像获取模块，用于获取疵点图片；
所述数据处理模块，用于标定疵点区域位置信息，截取疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；
所述疵点分类网络训练模块，采用深浅层多分辨率特征融合网络提取所述特征数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；优选的，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；
所述疵点分类模块，采用训练完成的疵点分类网络提取疵点的特征，用于对疵点进行分类；
作为优选，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。
作为优选，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；其中一路采用常规卷积层，其中所述常规卷积层使用的卷积核大小为1，步幅为1；另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为所述常规卷积层输出的两倍。
作为优选，所述不同分辨率的特征的维度为h×j×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h,j,c可以不同；
所述不同分辨率的特征输入可变形卷积层中常规卷积层后，第一常规输出特征的特征维度为
Figure BDA0003281386170000031
其中d表示将输入通道压缩的比例；
所述不同分辨率的特征输入可变形卷积层中额外的卷积层后，第一额外输出特征的特征维度为
Figure BDA0003281386170000041
第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为
Figure BDA0003281386170000042
所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为
Figure BDA0003281386170000043
其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k.使得深层特征和浅层特征的
Figure BDA0003281386170000044
和
Figure BDA0003281386170000045
相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。
作为优选，在所述特征r上做可变形卷积，输出为：
Figure BDA0003281386170000046
其中，R表示输入特征的特征空间，pn是对所述特征空间所有位置的枚举，p0为当前像素点位置，Δpn表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征指定位置的像素值，f(·)对应输出特征指定位置的像素值；
其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：
Figure BDA0003281386170000047
其中，p＝p0+pn+Δpn表示经过偏移的采样位置，表示偏移后的位置，G(·，·)为双线性插值权重，其中
G(a，b)＝max(0，1-|ax-bx|)·max(0，1-|ay-by|)
其中(ax，ay)表示a点对应的x轴和y轴坐标值，(bx，by)表示b点对应的x轴和y轴坐标值。
作为优选，所述截取疵点样本的方法为，对疵点区域的短边长度进行统计，根据结果截取疵点区域作为疵点样本，并以同样大小截取非疵点区域作为正常样本；
作为优选，所述正常样本和疵点样本取自同一张图，用于保证疵点样本与正常样本除有无疵点外的其他因素如光照、拍摄角度保持一致。
作为优选，所述建立数据集的方法为对所述疵点样本与正常样本进行人工标引，建立经向疵点、纬向疵点、洞状疵点或无疵点四类标签数据。
作为优选，所述标定疵点区域位置信息包括对疵点区域左上角坐标以及右下角坐标进行标定。
本发明还公开了一种基于多分辨率特征融合的纹理图像疵点分类方法，所述疵点分类方法为将疵点不同分辨率的浅层特征和深层特征进行直接融合，融合后对疵点进行分类所述疵点分类方法包括以下步骤：
步骤(a-1)、利用图像获取模块采集待测疵点图片；
步骤(a-2)、利用数据处理模块对所述待测疵点图片进行疵点区域位置信息标定，截取待测疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；
步骤(a-3)、利用疵点分类网络训练模块中深浅层多分辨率特征融合网络提取所述疵点数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；作为优选，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；
步骤(a-4)、利用疵点分类模块用于对疵点进行分类；
作为优选，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。
作为优选，所述不同分辨率的特征的特征维度为h×j×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h,j,c可以不同；
作为优选，所述深浅层多分辨率特征融合网络实施步骤如下：
步骤(a-31)将所述不同分辨率的特征输入可变形卷积层中常规卷积层，得到第一常规输出特征，其特征维度为
Figure BDA0003281386170000051
其中d表示将输入通道压缩的比例；
步骤(a-32)将所述不同分辨率的特征输入可变形卷积层中额外的卷积层，得到第一额外输出特征的特征维度为
Figure BDA0003281386170000052
其中d表示将输入通道压缩的比例；
步骤(a-33)将第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为
Figure BDA0003281386170000053
步骤(a-34)将所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为
Figure BDA0003281386170000054
其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k,使得深层特征和浅层特征的
Figure BDA0003281386170000055
和
Figure BDA0003281386170000056
相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。
其中步骤(a-31)和步骤(a-32)不分先后，可以先后操作也可以并行操作。
作为优选，所述步骤(a-2)获取待测疵点样本的方法包括以下步骤：
步骤(b-1)、对步骤(a-1)采集的待测疵点图片进行标定，将疵点区域位置信息由(xmin，xmax，ymin，ymax)四个数值进行标定，其中(xmin，ymin)表示疵点区域左上角坐标，(xmax，ymax)表示疵点区域右下角坐标；
步骤(b-2)、截取待测疵点样本：由min(xmax-xmin，ymax-ymin)计算得疵点区域的短边，对短边的长度进行统计，根据结果选取合适的图片大小；
步骤(b-3)、以选定大小的框去截取疵点区域和正常区域，分别得到待测疵点样本和正常样本。
作为优选，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；
其中一路采用常规的卷积层，卷积核大小为1，步幅为1；
另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为常规卷积层输出的两倍；
在所述特征图r上做可变形卷积，输出为：
Figure BDA0003281386170000061
其中，R表示输入特征图的特征空间，pn是对所述特征空间所有位置的枚举，p0为当前像素点位置，Δpn表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征图指定位置的像素值，f(·)表示输出特征图指定位置的像素值；
其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：
Figure BDA0003281386170000062
其中，p＝p0+pn+Δpn，表示偏移后的位置，G(·，·)为双线性插值权重；其中
G(a，b)＝max(0，1-|ax-bx|)·max(0，1-|ay-by|)
其中(ax，ay)表示a点对应的x轴和y轴坐标值，(bx，by)表示b点对应的x轴和y轴坐标值。
有益效果：
1.针对纹理图像中产生的疵点的特殊性，本发明设计了特殊的多分辨率特征融合的纹理图像疵点分类系统，将不同层次的特征进行融合，或者说将不同分辨率的特征进行融合，使得这些特征都能直接参与疵点分类决策，提高了疵点分类的效能；
2.本发明巧妙的设计了特殊的多分辨率特征融合的网络特征提取方法，用一个可变形卷积层压缩输入特征的通道数，使得不同层次的特征在堆叠时通道数下降；用平均池化层用于减小特征图的尺寸，使得不同层次的特征图大小一致，可以在通道维度直接做堆叠操作；实现了不同层次的特征图仅通过一个卷积层和池化层就实现了堆叠，且大大降低了通道数，大大提高了计算效率。
附图说明
图1为疵点数据集获取方法。
图2为不同类型疵点图像。
图3为深浅层多分辨率特征融合网络。
图4为以DenseNet121为例的一种基于多分辨率特征融合的纹理图像疵点分类方法。
图5、为一种基于多分辨率特征融合的纹理图像疵点分类系统。
图6、卷积神经网络特征提取可视化。
图7、DenseNet121网络特征大小图示
具体实施方式
为了使本发明的目的、技术方案及优点更加明白清楚，以下以布匹疵点为例，结合附图，对本发明进行进一步的详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图5所述，本发明公开了一种基于多分辨率特征融合的纹理图像疵点分类系统，所述疵点分类系统将疵点不同分辨率的浅层特征和深层特征进行直接融合后对疵点进行分类；所述浅层特征为边缘的底层特征，包含物体的边缘和轮廓以及与颜色的组合；所述深层特征为高层次的抽象特征；所述疵点分类系统包括：图像获取模块、数据处理模块、疵点分类网络训练模块和疵点分类模块；
所述图像获取模块，用于获取疵点图片；
所述数据处理模块，用于标定疵点区域位置信息，截取疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；
所述疵点分类网络训练模块，采用深浅层多分辨率特征融合网络提取所述特征数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；优选的，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；
所述疵点分类模块，采用训练完成的疵点分类网络提取疵点的特征，用于对疵点进行分类；
作为优选，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。
作为优选，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；其中一路采用常规卷积层，其中所述常规卷积层使用的卷积核大小为1，步幅为1；另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为所述常规卷积层输出的两倍。
作为优选，所述不同分辨率的特征的维度为h×j×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h，j，c可以不同；
所述不同分辨率的特征输入可变形卷积层中常规卷积层后，第一常规输出特征的特征维度为
Figure BDA0003281386170000081
其中d表示将输入通道压缩的比例；
所述不同分辨率的特征输入可变形卷积层中额外的卷积层后，第一额外输出特征的特征维度为
Figure BDA0003281386170000082
第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为
Figure BDA0003281386170000083
所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为
Figure BDA0003281386170000084
其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k，使得深层特征和浅层特征的
Figure BDA0003281386170000085
和
Figure BDA0003281386170000086
相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。
作为优选，在所述特征r上做可变形卷积，输出为：
Figure BDA0003281386170000087
其中，R表示输入特征的特征空间，pn是对所述特征空间所有位置的枚举，p0为当前像素点位置，Δpn表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征指定位置的像素值，f(·)对应输出特征指定位置的像素值；
其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：
Figure BDA0003281386170000091
其中，p＝p0+pn+Δpn表示经过偏移的采样位置，表示偏移后的位置，G(·，·)为双线性插值权重，其中
G(a，b)＝max(0，1-|ax-bx|)·max(0，1-|ay-by|)
其中(ax，ay)表示a点对应的x轴和y轴坐标值，(bx，by)表示b点对应的x轴和y轴坐标值。
所述平均池化层就是通过计算池化窗口内的平均值来减小特征图的尺寸，使得不同块输出的特征图大小一致，使得它们可以在通道维度上做堆叠操作。池化就是把图片中规定大小区域里面的像素值通过求平均或者直接取最大值的方法变成一个值，以此来减小图片的尺寸。池化窗口就是这个规定大小的区域，比如一张4*4的图片，设定池化窗口为2*2，步长为2，通过池化就变成一张2*2的图片。
作为优选，所述截取疵点样本的方法为，对疵点区域的短边长度进行统计，根据结果截取疵点区域作为疵点样本，并以同样大小截取非疵点区域作为正常样本；
作为优选，所述正常样本和疵点样本取自同一张图，用于保证疵点样本与正常样本除有无疵点外的其他因素如光照、拍摄角度保持一致。
作为优选，所述建立数据集的方法为对所述疵点样本与正常样本进行人工标引，建立经向疵点、纬向疵点、洞状疵点或无疵点四类标签数据。从疵点形成原因及疵点特点的角度，将织布阶段疵点分为经向疵点、纬向疵点、洞状疵点三个类别，疵点形态见图2，其中第一行是由擦洞、破洞、毛斑原因形成的洞状疵点，第二行是由吊经、缺经、经线跳花原因形成的经向疵点，第三行是由缺纬、织稀原因形成的纬向疵点。
作为优选，所述标定疵点区域位置信息包括对疵点区域左上角坐标以及右下角坐标进行标定。
本发明还公开了一种基于多分辨率特征融合的纹理图像疵点分类方法，所述疵点分类方法为将疵点不同分辨率的浅层特征和深层特征进行直接融合，融合后对疵点进行分类所述疵点分类方法包括以下步骤：
步骤(a-1)、利用图像获取模块采集待测疵点图片；图片大小选取224×224比较合适，在同一张布匹图片中选取正常样本和疵点样本。如图1所示为数据集的获取方法，图中框1为采集的原始图片中疵点所在的区域。含疵点布匹样本的获取方法如下，以224×224的框截取疵点区域，框与框重合区域随机取0到32个像素，疵点在框中的位置随机，可得到疵点图片，如图1中框2-框4所示；随机选取图片中非疵点区域的大小为224x224的图片作为正常样本，如图1中框5-框7所示。本数据集包含的图片为无印花图片，其中包含织布过程中产生的各种疵点，包括擦洞、吊经、毛斑、缺经、跳花、织稀等疵点。采集的疵点图片共1168张，正常图片1316张，分辨率为2560x1920。采集疵点之后，按照类别分层随机抽样得到训练集和验证集，其中训练集85％，验证集15％。
步骤(a-2)、利用数据处理模块对所述待测疵点图片进行疵点区域位置信息标定，截取待测疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；
步骤(a-3)、利用疵点分类网络训练模块中深浅层多分辨率特征融合网络提取所述疵点数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；作为优选，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；
步骤(a-4)、利用疵点分类模块用于对疵点进行分类；
作为优选，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。
作为优选，所述不同分辨率的特征的特征维度为h×j×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h，j，c可以不同；
作为优选，如图3所示，所述深浅层多分辨率特征融合网络实施步骤如下：
步骤(a-31)将所述不同分辨率的特征输入可变形卷积层中常规卷积层，得到第一常规输出特征，其特征维度为
Figure BDA0003281386170000101
其中d表示将输入通道压缩的比例；
步骤(a-32)将所述不同分辨率的特征输入可变形卷积层中额外的卷积层，得到第一额外输出特征的特征维度为
Figure BDA0003281386170000102
其中d表示将输入通道压缩的比例；
步骤(a-33)将第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为
Figure BDA0003281386170000103
步骤(a-34)将所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为
Figure BDA0003281386170000104
其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k，使得深层特征和浅层特征的
Figure BDA0003281386170000105
和
Figure BDA0003281386170000106
相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。
其中步骤(a-31)和步骤(a-32)不分先后，可以先后操作也可以并行操作。其中图3中AvgPool2d中的k表示池化窗口的大小，池化层的作用是减小特征图的尺寸，使得不同DenseBlock输出的特征图大小一致，使得它们可以在通道维度上做堆叠操作。
作为优选，所述步骤(a-2)获取待测疵点样本的方法包括以下步骤：
步骤(b-1)、对步骤(a-1)采集的待测疵点图片进行标定，将疵点区域位置信息由(xmin，xmax，ymin，ymax)四个数值进行标定，其中(xmin，ymin)表示疵点区域左上角坐标，(xmax，ymax)表示疵点区域右下角坐标；
步骤(b-2)、截取待测疵点样本：由min(xmax-xmin，ymax-ymin)计算得疵点区域的短边，对短边的长度进行统计，根据结果选取合适的图片大小；
步骤(b-3)、以选定大小的框去截取疵点区域和正常区域，分别得到待测疵点样本和正常样本。
作为优选，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；
其中一路采用常规的卷积层，卷积核大小为1，步幅为1；
另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为常规卷积层输出的两倍；
在所述特征图r上做可变形卷积，输出为：
Figure BDA0003281386170000111
其中，R表示输入特征图的特征空间，pn是对所述特征空间所有位置的枚举，p0为当前像素点位置，Δpn表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征图指定位置的像素值，f(·)表示输出特征图指定位置的像素值；
其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：
Figure BDA0003281386170000112
其中，p＝p0+pn+Δpn，表示偏移后的位置，G(·，·)为双线性插值权重，其中
G(a，b)＝max(0，1-|ax-bx|)·max(0，1-|ay-by|)
其中(ax，ay)表示a点对应的x轴和y轴坐标值，(bx，by)表示b点对应的x轴和y轴坐标值。
所述平均池化层就是通过计算池化窗口内的平均值来减小特征图的尺寸，使得不同块输出的特征图大小一致，使得它们可以在通道维度上做堆叠操作。
具体实施方式：
以DenseNet121网络为例，引入深浅层融合后所述基于多分辨率特征融合的纹理图像疵点分类方法如图4所示，网络具体参数设计如下：
1)在该网络中，输入图片大小为224×224×3，DenseBlock1输出的特征f1的尺度为56×56×256，DenseBlock2输出的特征f2的尺度为28×28×512，DenseBlock3输出的特征f3的尺度为14×14×1024，DenseBlock4输出的特征f4的尺度7×7×1024。
2)深浅层多分辨率特征融合网络1、2、3模块中，卷积层中的输入通道压缩的比例均设置为2，池化层中池化窗口大小分别设置为8、4、2，池化步幅等于池化窗口大小，f1、f2、f3经过所述深浅层多分辨率特征融合网络之后，得到的f1’、f2’、f3’大小分别为7×7×128、7×7×256、7×7×512。
3)f1’、f2’、f3’与f4在通道上做堆叠操作，得到f4’的大小为7x7x1920，f4’再经过一个卷积核大小为1x1，输出为1024维的卷积层，得到一个大小维7x7x1024维的特征，作为最后分类使用的特征。
对于于多分辨率特征融合的纹理图像疵点分类方法有如下评价指标：
1)分类准确率：分类准确率定义为分类正确的样本数与总样本数的比值。
2)精确率(Precision)和召回率(Recall)：
Figure BDA0003281386170000121
Figure BDA0003281386170000122
其中TP表示模型将正类预测为正类的数量，FP表示模型将负类预测为正类的数量，FN表示模型将正类预测为负类的数量。
精确率又叫做查准率，表示模型检测出的正确的疵点数占模型检测出的所有的疵点数的比例；召回率又叫查全率，表示模型检测出来的正确的疵点的数占测试集中所有疵点数的比例。精确率高，算法误检少；召回率高，算法漏检少。
3)ROC曲线和AUC
深度学习分类模型最后输出的是一个概率预测，得到概率值后需要设置阈值用以判断预测结果，设置的阈值不同得到的准确率可能不同。阈值的设置会影响查全率和查准率，当阈值设置的较高时，则查准率会高，反之查全率会高。对样本的概率预测排序，从高到低逐个把样本的概率预测作为阈值，高于该阈值的判为正样本，反之判为负样本。对每个不同的阈值，计算真正例率与假正例率的值，以假正例率作为横轴，真正例率作为纵轴，绘制出来的曲线称之为ROC(Receiver Operating Characteristic)曲线，即“受试者工作特征”曲线。ROC曲线从全局出发，描述一个分类器的好坏。
AUC(Area Under ROC Curve)指的是ROC曲线下的面积，AUC越大，则说明分类器的性能越好。AUC是一个二分类指标，在疵点检测中，模型检测出疵点的能力往往比模型判断出是哪种疵点更加重要，因此在分类任务中我们在验证集上会将含有疵点的样本当作一类，将正常样本当作一类，计算AUC指标，来衡量模型对疵点的检出能力。
机织布数据集上多分辨率特征融合前后实验结果对比如表1所示，从表中可以看出，将多分辨率特征进行融合后的网络MRFF-DenseNet121(DenseNet来自论文《DenselyConnected Convolutional Networks》)在机织布疵点数据集上准确率达87.75％，比DenseNet121提高了4.11％；MRFF-ResNet50(ResNet来自论文《Deep Residual Learningfor Image Recognition》。后缀数字表示它们的网络层数，前缀MRFF表示融合深浅层融合后的网络结构。)在机织布疵点数据集上准确率达87.22％，比ResNet50提高了1.63％。同时，MRFF-DenseNet121相比DenseNet121准确率提升了4.47％，召回率提升了5.2％。MRFF-ResNet50相比ResNet50准确率提升了4.43％，召回率提升了1.09％。
表1.机织布数据集上多分辨率特征融合前后实验结果对比
Figure BDA0003281386170000131
以上，对本发明进行了详细的说明，上述具体实施方式或实施例仅仅是揭示本发明的技术内容的示例，本发明并不限于上述具体示例，不应对本发明进行狭义的解释，可在本发明的精神和权利要求的范围内进行各种变更来实施之。
在上述实施方式中，将深浅层融合结构应用于DenseNet121中，同样也可用于ResNet等多种分类网络结构。
以同一疵点图像为例，输入图片大小分辨率为224××224，采用ResNet50作为基础模型，用SGD算法对参数进行优化，设置学习率为0.01。采用交叉熵损失函数。本发明计算量(Mult-Adds，乘法和加法操作)为4806M，公开号CN111784644A基于深度学习的印花瑕疵检测方法及系统其计算量(Mult-Adds，乘法和加法操作)为12261M，因此整体计算量为本发明的3倍左右，大大减少计算量。

Claims (10)

1.一种基于多分辨率特征融合的纹理图像疵点分类系统，其特征在于，所述疵点分类系统将疵点不同分辨率的浅层特征和深层特征进行直接融合后对疵点进行分类；所述浅层特征为边缘的底层特征，包含物体的边缘和轮廓以及与颜色的组合；所述深层特征为高层次的抽象特征；所述疵点分类系统包括：图像获取模块、数据处理模块、疵点分类网络训练模块和疵点分类模块；
所述图像获取模块，用于获取疵点图片；
所述数据处理模块，用于标定疵点区域位置信息，截取疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；
所述疵点分类网络训练模块，采用深浅层多分辨率特征融合网络提取所述特征数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；优选的，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；
所述疵点分类模块，采用训练完成的疵点分类网络提取疵点的特征，用于对疵点进行分类；
优选的，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。
2.根据权利要求1所述的疵点分类系统，其特征在于，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；其中一路采用常规卷积层，其中所述常规卷积层使用的卷积核大小为1，步幅为1；另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为所述常规卷积层输出的两倍。
3.根据权利要求1所述的疵点分类系统，其特征在于，所述不同分辨率的特征的维度为h×j×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h，j，c可以不同；
所述不同分辨率的特征输入可变形卷积层中常规卷积层后，第一常规输出特征的特征维度为
Figure FDA0003281386160000011
其中d表示将输入通道压缩的比例；
所述不同分辨率的特征输入可变形卷积层中额外的卷积层后，第一额外输出特征的特征维度为
Figure FDA0003281386160000012
第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为
Figure FDA0003281386160000013
所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为
Figure FDA0003281386160000014
其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k，使得深层特征和浅层特征的
Figure FDA0003281386160000015
和
Figure FDA0003281386160000016
相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。
4.根据权利要求1所述的疵点分类系统，其特征在于，在所述特征r上做可变形卷积，输出为：
Figure FDA0003281386160000021
其中，R表示输入特征的特征空间，pn是对所述特征空间所有位置的枚举，p0为当前像素点位置，Δpn表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征指定位置的像素值，f(·)对应输出特征指定位置的像素值；
其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：
Figure FDA0003281386160000022
其中，p＝p0+pn+Δpn表示经过偏移的采样位置，表示偏移后的位置，G(·，·)为双线性插值权重，其中
G(a，b)＝max(0，1-|ax-bx|)·max(0，1-|ay-by|)
其中(ax，ay)表示a点对应的x轴和y轴坐标值，(bx，by)表示b点对应的x轴和y轴坐标值。
5.根据权利要求1所述的疵点分类系统，其特征在于，所述截取疵点样本的方法为，对疵点区域的短边长度进行统计，根据结果截取疵点区域作为疵点样本，并以同样大小截取非疵点区域作为正常样本；
作为优选，所述正常样本和疵点样本取自同一张图，用于保证疵点样本与正常样本除有无疵点外的其他因素如光照、拍摄角度保持一致。
6.根据权利要求1所述的疵点分类系统，其特征在于，所述建立数据集的方法为对所述疵点样本与正常样本进行人工标引，建立经向疵点、纬向疵点、洞状疵点或无疵点四类标签数据。
7.根据权利要求1所述的疵点分类系统，其特征在于，所述标定疵点区域位置信息包括对疵点区域左上角坐标以及右下角坐标进行标定。
8.一种基于多分辨率特征融合的纹理图像疵点分类方法，其特征在于，所述疵点分类方法为将疵点不同分辨率的浅层特征和深层特征进行直接融合，融合后对疵点进行分类所述疵点分类方法包括以下步骤：
步骤(a-1)、利用图像获取模块采集待测疵点图片；
步骤(a-2)、利用数据处理模块对所述待测疵点图片进行疵点区域位置信息标定，截取待测疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；
步骤(a-3)、利用疵点分类网络训练模块中深浅层多分辨率特征融合网络提取所述疵点数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；优选的，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；
步骤(a-4)、利用疵点分类模块用于对疵点进行分类；
优选的，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。
优选的，所述不同分辨率的特征的特征维度为h×i×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h，j，c可以不同；
优选的，所述深浅层多分辨率特征融合网络实施步骤如下：
步骤(a-31)将所述不同分辨率的特征输入可变形卷积层中常规卷积层，得到第一常规输出特征，其特征维度为
Figure FDA0003281386160000031
其中d表示将输入通道压缩的比例；
步骤(a-32)将所述不同分辨率的特征输入可变形卷积层中额外的卷积层，得到第一额外输出特征的特征维度为
Figure FDA0003281386160000032
其中d表示将输入通道压缩的比例；
步骤(a-33)将第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为
Figure FDA0003281386160000033
步骤(a-34)将所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为
Figure FDA0003281386160000034
其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k，使得深层特征和浅层特征的
Figure FDA0003281386160000035
和
Figure FDA0003281386160000036
相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。
其中步骤(a-31)和步骤(a-32)不分先后，可以先后操作也可以并行操作。
9.根据权利要求8所述的疵点分类方法，其特征在于，其中所述步骤(a-2)获取待测疵点样本的方法包括以下步骤：
步骤(b-1)、对步骤(a-1)采集的待测疵点图片进行标定，将疵点区域位置信息由(xmin，xmax，ymin，ymax)四个数值进行标定，其中(xmin，ymin)表示疵点区域左上角坐标，(xmax，ymax)表示疵点区域右下角坐标；
步骤(b-2)、截取待测疵点样本：由min(xmax-xmin，ymax-ymin)计算得疵点区域的短边，对短边的长度进行统计，根据结果选取合适的图片大小；
步骤(b-3)、以选定大小的框去截取疵点区域和正常区域，分别得到待测疵点样本和正常样本。
10.根据权利要求8所述的疵点分类方法，其特征在于，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；
其中一路采用常规的卷积层，卷积核大小为1，步幅为1；
另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为常规卷积层输出的两倍；
在所述特征图r上做可变形卷积，输出为：
Figure FDA0003281386160000041
其中，R表示输入特征图的特征空间，pn是对所述特征空间所有位置的枚举，p0为当前像素点位置，Δpn表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征图指定位置的像素值，f(·)表示输出特征图指定位置的像素值；
其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：
Figure FDA0003281386160000042
其中，p＝p0+pn+Δpn，表示偏移后的位置，G(·，·)为双线性插值权重；其中
G(a，b)＝max(0，1-|ax-bx|)·max(0，1-|ay-by|)
其中(ax，ay)表示a点对应的x轴和y轴坐标值，(bx，by)表示b点对应的x轴和y轴坐标值。
CN202111133963.5A 2021-09-27 2021-09-27 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法 Pending CN113989542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111133963.5A CN113989542A (zh) 2021-09-27 2021-09-27 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111133963.5A CN113989542A (zh) 2021-09-27 2021-09-27 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法

Publications (1)

Publication Number Publication Date
CN113989542A true CN113989542A (zh) 2022-01-28

Family

ID=79736837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111133963.5A Pending CN113989542A (zh) 2021-09-27 2021-09-27 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法

Country Status (1)

Country Link
CN (1) CN113989542A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627117A (zh) * 2022-05-13 2022-06-14 启东市鸿盛纺织有限公司 一种基于投影法的针织物缺陷检测方法和系统
CN114859022A (zh) * 2022-07-05 2022-08-05 泉州市颖秀科技发展有限公司 一种织物品质评估方法、系统、电子设备和存储介质
CN116429911A (zh) * 2023-06-13 2023-07-14 中国科学院合肥物质科学研究院 一种基于缺陷脉冲信号与图像相融合的智能化识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627117A (zh) * 2022-05-13 2022-06-14 启东市鸿盛纺织有限公司 一种基于投影法的针织物缺陷检测方法和系统
CN114859022A (zh) * 2022-07-05 2022-08-05 泉州市颖秀科技发展有限公司 一种织物品质评估方法、系统、电子设备和存储介质
CN114859022B (zh) * 2022-07-05 2022-09-02 泉州市颖秀科技发展有限公司 一种织物品质评估方法、系统、电子设备和存储介质
CN116429911A (zh) * 2023-06-13 2023-07-14 中国科学院合肥物质科学研究院 一种基于缺陷脉冲信号与图像相融合的智能化识别方法
CN116429911B (zh) * 2023-06-13 2023-09-01 中国科学院合肥物质科学研究院 一种基于缺陷脉冲信号与图像相融合的智能化识别方法

Similar Documents

Publication Publication Date Title
CN113989542A (zh) 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法
CN114549522B (zh) 基于目标检测的纺织品质量检测方法
Rasheed et al. Fabric defect detection using computer vision techniques: a comprehensive review
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN111047655B (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN101996405B (zh) 一种快速的玻璃图像缺陷检测及分类方法及其装置
CN114842027A (zh) 基于灰度共生矩阵的织物疵点分割方法和系统
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN112802016A (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN106780464A (zh) 一种基于改进阈值分割的织物疵点检测方法
CN112102224A (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN114862855B (zh) 基于模板匹配的纺织品缺陷检测方法及系统
CN104952754B (zh) 基于机器视觉的镀膜后硅片分选方法
CN111724376B (zh) 一种基于纹理特征分析的纸病检测方法
CN115170475A (zh) 一种基于深度学习方法的无纺布缺陷检测方法
CN116523899A (zh) 一种基于机器视觉的纺织品瑕疵检测方法及系统
CN110781913A (zh) 一种拉链布带缺陷检测方法
CN110458809B (zh) 一种基于亚像素边缘检测的纱线条干均匀度检测方法
CN104881668B (zh) 一种基于代表性局部模式的图像指纹提取方法及系统
CN102289677B (zh) 一种基于主元分析的图像分析方法及应用于织物瑕疵检测的方法
CN115266732A (zh) 基于机器视觉的碳纤维丝束缺陷检测方法
CN114092456A (zh) 细胞荧光图像判别方法及系统
CN117115171B (zh) 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法
CN112529901B (zh) 一种复杂环境下的裂缝识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination