CN115311503A - 一种纤维分类方法、系统、计算机装置和介质 - Google Patents
一种纤维分类方法、系统、计算机装置和介质 Download PDFInfo
- Publication number
- CN115311503A CN115311503A CN202211195517.1A CN202211195517A CN115311503A CN 115311503 A CN115311503 A CN 115311503A CN 202211195517 A CN202211195517 A CN 202211195517A CN 115311503 A CN115311503 A CN 115311503A
- Authority
- CN
- China
- Prior art keywords
- fiber
- image
- img
- mask
- screenshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000835 fiber Substances 0.000 title claims abstract description 241
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000013598 vector Substances 0.000 claims abstract description 37
- 239000000126 substance Substances 0.000 claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 239000004744 fabric Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 17
- 238000012795 verification Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000000085 cashmere Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000002268 wool Anatomy 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种纤维分类方法、系统、计算机装置和介质。其包括：S100、对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维图像，S200、获取各个单一纤维图像的一维空间特征向量，若单一纤维图像具有一维空间特征向量，则执行步骤S300，若单一纤维图像没有一维空间特征向量，则判定该单一纤维为化学纤维，S300、基于单一纤维图像的一维空间特征向量，通过预先训练完毕的分类模型对所述单一纤维图像进行分类。本申请可快速准确的对动物纤维、化学纤维进行分类。
Description
技术领域
本发明涉及图像处理领域，特别是涉及纤维分类方法、系统、计算机装置和介质。
背景技术
化学纤维是指使用天然或人造高分子聚合物作为原料，经过化学和机械方法加工制造的具有纺织性能的纤维。
动物纤维的优点在于保暖、透气、吸湿性较强弹性好、可塑性较好手感柔软，富有光泽，悬垂性好。而缺点则是易缩水，耐酸但不耐碱，怕日晒；易吸水，潮湿时强度下降。易虫蛀。相较于动物纤维，化学纤维的优点则是强力大、耐磨、弹性较好，不易发霉和被蛀，耐用性好，保形性好，不易缩水变形。 其缺点是吸湿性差、耐热性差、透气性差、染色困难，容易起毛、起球、吸附尘埃、产生静电，因而穿着不舒适，尤其是夏服有闷热感。
在部分服装面料的生产过程中为兼顾两者的优点会在动物纤维中掺入一定比例的化学纤维以增强其保形性和耐磨性。因此在纤维含量的检测过程中，测定动物纤维和化学纤维的成分比例是一项重要的指标。
纤维的形态和鳞片结构等是物理法纤维定量分析区分动物纤维和化学纤维的关键判据。随着深度学习技术和数字图像处理技术的发展，许多计算机视觉深度学习算法在物理法纤维定量分析中得到了广泛的应用。但是目前的计算机视觉深度学习算法不能够对数据的规律进行无偏差的估计，只能提供有限数据量的应用场景估计。为了达到很好的精度，该类方法需要大数据支撑，然而由于不同的纺织工艺、化学处理方法等也会导致同种动物纤维的鳞片结构发生不同程度的破损，造成差异性；化学纤维本身受材料属性化学机械加工方法等多因素的影响，导致了目前市面上的化学纤维的种类极为复杂，很难建立一套极为完整的纤维图像数据库用于比较分析。与此同时，由于庞大数据量使得该类方法的深度学习模型的复杂化，进而导致了算法的时间复杂度和硬件支持的成本急剧提升。
发明内容
基于此，提供一种纤维分类方法。有利于较为快速准确的对纤维进行分类。
一种纤维分类方法，包括：
S100、对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维图像，
S200、获取各个单一纤维图像的一维空间特征向量，若单一纤维图像具有一维空间特征向量，则执行步骤S300，若单一纤维图像没有一维空间特征向量，则判定该单一纤维为化学纤维，
S300、基于单一纤维图像的一维空间特征向量，通过预先训练完毕的分类模型对所述单一纤维图像进行分类。
本申请通过获得单一纤维图像的一维空间特征向量过程来判断该纤维是否是化学纤维，如果该纤维没有一维空间特征向量，则该纤维为化学纤维。如果该纤维有一维空间特征向量则进一步对该纤维进行分类。本申请的上述方法高效快捷，且准确率较高。尤其是对于需要检测的纤维数量很大的情况下，本申请的方法的分类速度比现有技术要快很多。且本申请不需要复杂的纤维图像准备过程，本申请没有人工矫正图像的过程。
在其中一个实施例中，所述步骤S100中，对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维包括：
S101、使用基于Solov2的纤维提取模型对待检测图像中的所有纤维图像进行提取，得到多个单一纤维的mask掩膜二值化图像，
S102、使用OpenCV findContours轮廓提取算法提取步骤S101中单一纤维的mask掩膜二值化图像的轮廓，
S103、使用OpenCV contourArea函数计算步骤S102中单一纤维的mask掩膜二值化图像的轮廓的面积，设定面积阈值，筛选出符合面积阈值的单一纤维的mask掩膜二值化图像的轮廓，
S104、使用Sklansky算法求出筛选出的各个轮廓的轮廓点集的凸包，
S105、使用旋转卡尺算法Rotating calipers得到凸包的最小外接矩形和该最小外接矩形逆时针旋转第一条边与x轴的夹角，所述夹角为矩阵的旋转角度θ，
S106、根据步骤S105得到的凸包的最小外接矩形的长、宽和长宽比设定阈值，筛选出符合阈值条件的单一纤维的mask掩膜二值化图像，
S107、对于步骤S106中符合阈值条件的mask掩膜二值化图像, 使用OpenCVboundingRect函数求出其在步骤S102中得到的轮廓点集的正外接矩形的左上点的坐标(x,y)和该正外接矩形的宽w和高h，
S108、根据步骤S107得到的参数值在待检测图上截取该轮廓点集的正外接矩形区域获得Img截图，
, Img原图为待检测图像，同时在单一纤维的mask掩膜二值化图像上截取同一区域获得Imgmask截图，
，Imgmask原图为单一纤维的mask掩膜二值化图像，
S109、根据步骤S105和步骤S107获得的参数，设计并得到步骤S108中Img截图的旋转变换矩阵M：
新的画布高为hnew，
，
新的画布宽为wnew，
，
S110、根据步骤S109中的hnew和wnew平移旋转变换矩阵M, 得到M2：
S111、根据步骤S110中的M2，对Img截图和Imgmask截图分别进行仿射旋转变换，得到仿射旋转变换后的图像Img截图2和Imgmask截图2，
S112、再次使用OpenCV findContours轮廓提取算法提取步骤S111中 Imgmask截图2的轮廓，
S113、再次使用OpenCV boundingRect函数求出步骤S112得到的轮廓点集的正外接矩形的左上点的坐标（x2,y2）和该正外接矩形的宽w2和高h2，
S114、根据步骤S113得到的参数值在Img截图2上截取对应纤维的轮廓点集的正外接矩形区域,得到Img截图3，
，同时在Imgmask截图2上截取同一区域，得到Imgmask截图3，
，
S115、利用步骤S114中的Imgmask截图3对Img截图3进行”与”操作，即保留掩膜图像白色区域对应的需要处理的图像像素，剔除掩膜图黑色区域对应的需要处理的图像像素，得到Img截图4，
S116、比较步骤S115中Img截图4的宽和高的大小，若宽小于高，则将Img截图4顺时针旋转90°，否则，Img截图4保持不变，Img截图4为所述的单一纤维图像。
在其中一个实施例中，所述步骤S200中，所述获取各个单一纤维的一维空间特征向量包括：
S201、使用基于PointRend的纤维纹理提取模型对步骤S116获得的单一纤维图像进行纤维纹理提取，获得纤维纹理图像mask掩膜，并获得步骤S116的单一纤维图像的纤维外轮廓的二值化图像，
S202、使用OpenCV findContours轮廓提取算法提取步骤S201中的纤维纹理图像mask掩膜的纹理轮廓，若存在纹理轮廓则继续向下执行步骤S203，若不存在任何纹理轮廓，则不再向下执行，判定该根纤维为化学纤维，
S203、对于步骤S202中的所有纹理轮廓，使用OpenCV contourArea函数计算各个纹理轮廓的面积，并通过阈值法去除纤维纹理图像mask掩膜上的不符合阈值的连通域，获得筛选后的纤维纹理图像mask掩膜，
S204、对筛选后的纤维纹理图像mask掩膜上的纹理轮廓进行计数，获得纹理轮廓数量，设定阈值，如果纹理轮廓数量符合阈值，则继续向下执行步骤S205，如果纹理轮廓数量不符合阈值，则不再向下执行，判定该根纤维为化学纤维，
S205、将步骤S201中纤维外轮廓的二值化图像沿着横坐标方向依次进行扫描，提取每一个横坐标所对应纵坐标方向的数组，保留数组中仅存在两个非零的数值的像素所对应的空间坐标，并计算这两个像素的空间坐标的中点坐标，依次扫描计算后，得到一组纤维中点坐标集合，
S206、对步骤S205得到的中点坐标集合进行间隔采样，并将所有间隔采样的采样点坐标进行多项式拟合得到拟合曲线，以获得纤维形态学骨架中线，
S207、对步骤S203获得的筛选后的纤维纹理图像mask掩膜和步骤S206获得的纤维形态学骨架中线的二值化图像进行 “与”操作，求得交集区域，并对“与”操作的结果图像进行列方向上的一维空间投影，得到该结果图像在一维空间上的行向量，也就是一维空间特征向量。
在其中一个实施例中，所述步骤S300中，预先训练完毕的分类模型为高斯朴素贝叶斯模型。
一种纤维分类系统，包括数据接收单元和数据处理单元，
所述数据接收单元用于获取待检测图像，所述数据处理单元用于按照所述的纤维分类方法对待检测图像进行处理。
一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行所述的纤维分类方法对应的操作。
一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行所述的纤维分类方法对应的操作。
附图说明
图1为本申请的纤维分类方法的一种实施方式的流程图。
图2为本申请的纤维分类方法的另一种实施方式的流程图。
图3为本申请的纤维分类方法的纤维提取部分的流程图，对应本申请的步骤S101到S116。
图4为本申请的纤维分类方法的纤维纹理特征提取部分的流程图，对应本申请的步骤S201到S207。
图5为羊绒纤维和羊毛纤维的一维空间特征向量的比较图。
图6为纤维分类模型的训练过程流程图。
图7为凸包（Convex hull）的示意图。
图8为步骤S105中，最小外接矩形逆时针旋转第一条边与x轴的夹角，所述夹角为矩阵的旋转角度θ的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示，本申请提供了一种纤维分类方法，该方法包括：
S100、对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维图像。
S200、获取各个单一纤维图像的一维空间特征向量，若单一纤维图像具有一维空间特征向量，则执行步骤S300，若单一纤维图像没有一维空间特征向量，则判定该单一纤维为化学纤维。
S300、基于单一纤维图像的一维空间特征向量，通过预先训练完毕的分类模型对所述单一纤维图像进行分类。
本申请的上述待检测图像可以是光学显微镜下获取的图像。
在其中一个实施例中，如图2和图3所示，所述步骤S100中，对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维包括以下步骤。
S101、使用基于Solov2的纤维提取模型对待检测图像中的所有纤维图像进行提取，得到多个单一纤维的mask掩膜二值化图像。
需要说明的是，基于Solov2的纤维提取模型的训练验证过程为：
步骤1、使用图像标注软件labelme对多张正置显微镜视野输出图像中的各个纤维进行外轮廓点和类别标签的标注。
步骤2、将步骤1的labelme输出格式转换为coco 数据集的标准格式。
步骤3、将步骤2转化好的数据集按照一定比例（training80%， validation20%）划分为训练集和验证集，并输入到Solov2实例分割神经网络中进行训练和验证，得到基于Solov2的纤维提取模型。
S102、使用OpenCV findContours轮廓提取算法提取步骤S101中单一纤维的mask掩膜二值化图像的轮廓。
S103、使用OpenCV contourArea函数计算步骤S102中单一纤维的mask掩膜二值化图像的轮廓的面积，设定面积阈值，筛选出符合面积阈值的单一纤维的mask掩膜二值化图像的轮廓。
S104、使用Sklansky算法求出筛选出的各个轮廓的轮廓点集的凸包，这里的凸包就是图像处理领域中的术语凸包。
现有技术中关于凸包的定义：在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。
X的凸包可以用XXXXXXXXXXXXXX{\displaystyle X}内所有点(x1,x2,…xn)的线性组合来构造：
在二维欧几里得空间中，凸包可想象为一条刚好包着所有点的橡皮圈，例如图7所示。
S105、如图8所示，使用旋转卡尺算法Rotating calipers得到凸包的最小外接矩形和该最小外接矩形逆时针旋转第一条边与x轴的夹角，所述夹角为矩阵的旋转角度θ。
S106、根据步骤S105得到的凸包的最小外接矩形的长、宽和长宽比设定阈值，筛选出符合阈值条件的单一纤维的mask掩膜二值化图像。
S107、对于步骤S106中符合阈值条件的mask掩膜二值化图像, 使用OpenCVboundingRect函数求出其在步骤S102中得到的轮廓点集的正外接矩形的左上点的坐标(x,y)和该正外接矩形的宽w和高h。
S108、根据步骤S107得到的参数值在待检测图上截取该轮廓点集的正外接矩形区域获得Img截图，
, Img原图为待检测图像，同时在单一纤维的mask掩膜二值化图像上截取同一区域获得Imgmask截图，
，Imgmask原图为单一纤维的mask掩膜二值化图像。
S109、根据步骤S105和步骤S107获得的参数，设计并得到步骤S108中Img截图的旋转变换矩阵M：
新的画布高为hnew，
，
新的画布宽为wnew，
。
需要说明的是，原有的画布大小和图像本身的大小一致，旋转后图像的画布应该是旋转后图像的正外接四边形，如果不对画布进行变更，opencv只能显示原来旋转前的图像的大小，所以这里对画布进行变更，采用新的画布。
S110、根据步骤S109中的hnew和wnew平移旋转变换矩阵M, 得到M2：
S111、根据步骤S110中的M2，对Img截图和Imgmask截图分别进行仿射旋转变换，得到仿射旋转变换后的图像Img截图2和Imgmask截图2。
S112、再次使用OpenCV findContours轮廓提取算法提取步骤S111中 Imgmask截图2的轮廓。
S113、再次使用OpenCV boundingRect函数求出步骤S112得到的轮廓点集的正外接矩形的左上点的坐标（x2,y2）和该正外接矩形的宽w2和高h2。
S114、根据步骤S113得到的参数值在Img截图2上截取对应纤维的轮廓点集的正外接矩形区域,得到Img截图3，
，同时在Imgmask截图2上截取同一区域，得到Imgmask截图3，
。
S115、利用步骤S114中的Imgmask截图3对Img截图3进行”与”操作，即保留掩膜图像白色区域对应的需要处理的图像像素，剔除掩膜图黑色区域对应的需要处理的图像像素，得到Img截图4。
S116、比较步骤S115中Img截图4的宽和高的大小，若宽小于高，则将Img截图4顺时针旋转90°，否则，Img截图4保持不变，Img截图4为所述的单一纤维图像。
本申请的上述步骤S101到步骤S116的方法具有以下有益效果：
1. solov2边缘分割的效果比较好，处理速度很快。
2. 旋转到同一方向（横向）是为了比较纤维的鳞节分布，有利于后续对纤维进行准确分类。
在上述基础上，如图2和图4所示，所述步骤S200中，所述获取各个单一纤维的一维空间特征向量包括：
S201、使用基于PointRend的纤维纹理提取模型对步骤S116获得的单一纤维图像进行纤维纹理提取，获得纤维纹理图像mask掩膜，并获得步骤S116的单一纤维图像的纤维外轮廓的二值化图像。
需要说明的是，基于PointRend的纤维纹理提取模型的训练验证过程为：
步骤1、使用图像标注软件label-studio的笔刷工具对纤维提取部分（也就是步骤S101到步骤S116）得到的单一纤维图像的鳞节纹理和类别标签进行标记。
步骤2、将步骤1的结果输出为label-studio的numpy输出格式并与原图像一一对应，然后将结果转换为coco 数据集的标准格式。
步骤3、将步骤2转化好的数据集按照一定比例（training80%， validation20%）划分为训练集和验证集，并输入到PointRend实例分割神经网络中进行训练和验证，得到基于PointRend的纤维纹理提取模型。
S202、使用OpenCV findContours轮廓提取算法提取步骤S201中的纤维纹理图像mask掩膜的纹理轮廓，若存在纹理轮廓则继续向下执行步骤S203，若不存在任何纹理轮廓，则不再向下执行，判定该根纤维为化学纤维。
S203、对于步骤S202中的所有纹理轮廓，使用OpenCV contourArea函数计算各个纹理轮廓的面积，并通过阈值法去除纤维纹理图像mask掩膜上的不符合阈值的连通域，获得筛选后的纤维纹理图像mask掩膜。
S204、对筛选后的纤维纹理图像mask掩膜上的纹理轮廓进行计数，获得纹理轮廓数量，设定阈值，如果纹理轮廓数量符合阈值，则继续向下执行步骤S205，如果纹理轮廓数量不符合阈值，则不再向下执行，判定该根纤维为化学纤维。
S205、将步骤S201中纤维外轮廓的二值化图像沿着横坐标方向依次进行扫描，提取每一个横坐标所对应纵坐标方向的数组，保留数组中仅存在两个非零的数值的像素所对应的空间坐标，并计算这两个像素的空间坐标的中点坐标，依次扫描计算后，得到一组纤维中点坐标集合。
S206、对步骤S205得到的中点坐标集合进行间隔采样，并将所有间隔采样的采样点坐标进行多项式拟合得到拟合曲线，以获得纤维形态学骨架中线。
S207、对步骤S203获得的筛选后的纤维纹理图像mask掩膜和步骤S206获得的纤维形态学骨架中线的二值化图像进行 “与”操作，求得交集区域，并对“与”操作的结果图像进行列方向上的一维空间投影，得到该结果图像在一维空间上的行向量，也就是一维空间特征向量。
在其中一个实施例中，所述步骤S300中，预先训练完毕的分类模型为高斯朴素贝叶斯模型。
需要说明的是，如图6所示，上述预先训练完毕的分类模型的训练验证过程为：
步骤1、获得多组纤维图像的一维空间特征向量，并按照纤维所属的类别（动物纤维或者化学纤维）将各个一维空间特征向量与所属类别对应上，形成数据集，
步骤2、将数据集按一定比例（training80% ，validation20%）随机切分为训练集和验证集，
步骤3、使用训练集对分类模型进行训练，
步骤4、使用验证集对步骤3的模型进行验证，得出模型的准确率精度，判断模型的可靠性。
具体的，由于纤维的一维空间特征向量可以看作为一组连续变量，可以假设每个变量为一个特征，各个特征xi在各个类别y下是服从正态分布的。由此可以使用高斯朴素贝叶斯模型（见下文高斯朴素贝叶斯（GaussianNB）模型公式），使用正态分布的概率密度函数来计算纤维类别的概率。
高斯朴素贝叶斯（GaussianNB）模型公式：
μy：为在类别为y的样本中，特征xi的均值，
σy：为在类别为y的样本中，特征xi的标准差。
可以理解，本方法的分类模型还可使用多项式贝叶斯、伯努利朴素贝叶斯，以及线性回归（Linear Regression），逻辑回归（Logistic Regression），随机森林（RandomForest），决策树（Decision Tree），支持向量机（Support vector machines），K最邻近（K-NearestNeighbor）分类算法，深度神经网络（Deep Neural Networks）等机器学习方法，通过上述机械学习方法进行数据分类。
本申请对光学显微镜下的纤维图像依次进行纤维提取、纤维纹理特征信息提取并经过空间降维变换得到该纤维的一维空间特征向量。
如图5所示，通过对比羊绒、羊毛纤维的一维空间特征向量可以发现，动物纤维的鳞片区域部分具有明显的高频特征（化学纤维不具有该类特征），且相较于羊毛纤维，羊绒纤维的高频特征分布更稀疏更均匀。因此可以使用广泛应用于机器学习中的多分类模型对不同的纤维一维空间特征向量数据进行训练和预测，进而检测纤维的类别（特种动物纤维和化学纤维）。
本申请的方法鲁棒性高，对化学纤维样品的自适应性强，计算量少，提升了纤维的分析速度和正确率，对于化学纤维的分类准确率可达99%以上，对羊绒和羊毛纤维的分类准确率在97%左右。
本申请的提取方法在大量纤维的检测速度上比现有技术要快很多，不需要复杂的纤维图像准备过程，本申请没有人工矫正图像的过程。
而且本申请寻找动物纤维上的鳞节位置的相关方法准确度高。本申请对于有一定程度鳞片损伤的动物纤维都有很好的位置准确度的判断，可以准确找到动物纤维上的鳞节位置。
本申请提出了一个多深度学习语义分割模型串行协同处理并进行分级分割的技术方法，解决了在处理高分辨率图像的小目标细节特征分割时,模型处理时间长分割准确率低的技术难点，增强了分割细节的精准度。
本申请提出了一个图像分割特征的语义转换方法，将视觉特征转化编码成特征向量，提高了识别精度和速度。
本申请还提供了一种纤维分类系统，包括数据接收单元和数据处理单元，
所述数据接收单元用于获取待检测图像，所述数据处理单元用于按照所述的纤维分类方法对待检测图像进行处理。
本申请还提供了一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行所述的纤维分类方法对应的操作。
本申请还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行所述的纤维分类方法对应的操作。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种纤维分类方法，其特征在于，包括：
S100、对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维图像，
S200、获取各个单一纤维图像的一维空间特征向量，若单一纤维图像具有一维空间特征向量，则执行步骤S300，若单一纤维图像没有一维空间特征向量，则判定该单一纤维为化学纤维，
S300、基于单一纤维图像的一维空间特征向量，通过预先训练完毕的分类模型对所述单一纤维图像进行分类。
2.根据权利要求1所述的纤维分类方法，其特征在于，所述步骤S100中，对待检测图像上的所有纤维图像进行提取，获得若干个单一纤维包括：
S101、使用基于Solov2的纤维提取模型对待检测图像中的所有纤维图像进行提取，得到多个单一纤维的mask掩膜二值化图像，
S102、使用OpenCV findContours轮廓提取算法提取步骤S101中单一纤维的mask掩膜二值化图像的轮廓，
S103、使用OpenCV contourArea函数计算步骤S102中单一纤维的mask掩膜二值化图像的轮廓的面积，设定面积阈值，筛选出符合面积阈值的单一纤维的mask掩膜二值化图像的轮廓，
S104、使用Sklansky算法求出筛选出的各个轮廓的轮廓点集的凸包，
S105、使用旋转卡尺算法Rotating calipers得到凸包的最小外接矩形和该最小外接矩形逆时针旋转第一条边与x轴的夹角，所述夹角为矩阵的旋转角度θ，
S106、根据步骤S105得到的凸包的最小外接矩形的长、宽和长宽比设定阈值，筛选出符合阈值条件的单一纤维的mask掩膜二值化图像，
S107、对于步骤S106中符合阈值条件的mask掩膜二值化图像, 使用OpenCVboundingRect函数求出其在步骤S102中得到的轮廓点集的正外接矩形的左上点的坐标(x,y)和该正外接矩形的宽w和高h，
S108、根据步骤S107得到的参数值在待检测图上截取该轮廓点集的正外接矩形区域获得Img截图，
, Img原图为待检测图像，同时在单一纤维的mask掩膜二值化图像上截取同一区域获得Imgmask截图，
，Imgmask原图为单一纤维的mask掩膜二值化图像，
S109、根据步骤S105和步骤S107获得的参数，设计并得到步骤S108中Img截图的旋转变换矩阵M：
新的画布高为hnew，
，
新的画布宽为wnew，
，
S110、根据步骤S109中的hnew和wnew平移旋转变换矩阵M，得到M2：
S111、根据步骤S110中的M2，对Img截图和Imgmask截图分别进行仿射旋转变换，得到仿射旋转变换后的图像Img截图2和Imgmask截图2，
S112、再次使用OpenCV findContours轮廓提取算法提取步骤S111中 Imgmask截图2的轮廓，
S113、再次使用OpenCV boundingRect函数求出步骤S112得到的轮廓点集的正外接矩形的左上点的坐标（x2,y2）和该正外接矩形的宽w2和高h2，
S114、根据步骤S113得到的参数值在Img截图2上截取对应纤维的轮廓点集的正外接矩形区域,得到Img截图3，
， 同时在Imgmask截图2上截取同一区域，得到Imgmask截图3，
，
S115、利用步骤S114中的Imgmask截图3对Img截图3进行”与”操作，即保留掩膜图像白色区域对应的需要处理的图像像素，剔除掩膜图黑色区域对应的需要处理的图像像素，得到Img截图4，
S116、比较步骤S115中Img截图4的宽和高的大小，若宽小于高，则将Img截图4顺时针旋转90°，否则，Img截图4保持不变，Img截图4为所述的单一纤维图像。
3.根据权利要求2所述的纤维分类方法，其特征在于，所述步骤S200中，所述获取各个单一纤维的一维空间特征向量包括：
S201、使用基于PointRend的纤维纹理提取模型对步骤S116获得的单一纤维图像进行纤维纹理提取，获得纤维纹理图像mask掩膜，并获得步骤S116的单一纤维图像的纤维外轮廓的二值化图像，
S202、使用OpenCV findContours轮廓提取算法提取步骤S201中的纤维纹理图像mask掩膜的纹理轮廓，若存在纹理轮廓则继续向下执行步骤S203，若不存在任何纹理轮廓，则不再向下执行，判定该根纤维为化学纤维，
S203、对于步骤S202中的所有纹理轮廓，使用OpenCV contourArea函数计算各个纹理轮廓的面积，并通过阈值法去除纤维纹理图像mask掩膜上的不符合阈值的连通域，获得筛选后的纤维纹理图像mask掩膜，
S204、对筛选后的纤维纹理图像mask掩膜上的纹理轮廓进行计数，获得纹理轮廓数量，设定阈值，如果纹理轮廓数量符合阈值，则继续向下执行步骤S205，如果纹理轮廓数量不符合阈值，则不再向下执行，判定该根纤维为化学纤维，
S205、将步骤S201中纤维外轮廓的二值化图像沿着横坐标方向依次进行扫描，提取每一个横坐标所对应纵坐标方向的数组，保留数组中仅存在两个非零的数值的像素所对应的空间坐标，并计算这两个像素的空间坐标的中点坐标，依次扫描计算后，得到一组纤维中点坐标集合，
S206、对步骤S205得到的中点坐标集合进行间隔采样，并将所有间隔采样的采样点坐标进行多项式拟合得到拟合曲线，以获得纤维形态学骨架中线，
S207、对步骤S203获得的筛选后的纤维纹理图像mask掩膜和步骤S206获得的纤维形态学骨架中线的二值化图像进行“与”操作，求得交集区域，并对“与”操作的结果图像进行列方向上的一维空间投影，得到该结果图像在一维空间上的行向量，也就是一维空间特征向量。
4.根据权利要求1所述的纤维分类方法，其特征在于，所述步骤S300中，预先训练完毕的分类模型为高斯朴素贝叶斯模型。
5.一种纤维分类系统，其特征在于，包括数据接收单元和数据处理单元，
所述数据接收单元用于获取待检测图像，所述数据处理单元用于按照权利要求1至4中任意一项所述的纤维分类方法对待检测图像进行处理。
6.一种计算机装置，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如权利要求1至4中任意一项所述的纤维分类方法对应的操作。
7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如权利要求1至4中任意一项所述的纤维分类方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211195517.1A CN115311503B (zh) | 2022-09-29 | 2022-09-29 | 一种纤维分类方法、系统、计算机装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211195517.1A CN115311503B (zh) | 2022-09-29 | 2022-09-29 | 一种纤维分类方法、系统、计算机装置和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115311503A true CN115311503A (zh) | 2022-11-08 |
| CN115311503B CN115311503B (zh) | 2023-01-03 |
Family
ID=83866861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211195517.1A Active CN115311503B (zh) | 2022-09-29 | 2022-09-29 | 一种纤维分类方法、系统、计算机装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311503B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880305A (zh) * | 2023-03-08 | 2023-03-31 | 中国计量大学现代科技学院 | 轴类零件表面缺陷视觉检测方法及装置 |
| CN116230118A (zh) * | 2022-11-23 | 2023-06-06 | 西南交通大学 | 一种基于主动学习的连续纤维增强复合材料按需设计方法 |
| CN117541768A (zh) * | 2024-01-09 | 2024-02-09 | 中数智科(杭州)科技有限公司 | 一种轨道车辆箱体锁孔状态检测方法 |
| CN117975169A (zh) * | 2024-03-27 | 2024-05-03 | 先临三维科技股份有限公司 | 对象分类方法、计算机程序产品、设备及存储介质 |
| CN118329770A (zh) * | 2024-04-12 | 2024-07-12 | 深圳市星凯科技有限公司 | 一种注塑模具表面缺陷检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942060A (zh) * | 2019-10-22 | 2020-03-31 | 清华大学 | 基于激光散斑和模态融合的材质识别方法及装置 |
| CN113255790A (zh) * | 2021-05-31 | 2021-08-13 | 创新奇智(北京)科技有限公司 | 纺织纤维成分识别方法、电子设备及存储介质 |
-
2022
- 2022-09-29 CN CN202211195517.1A patent/CN115311503B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942060A (zh) * | 2019-10-22 | 2020-03-31 | 清华大学 | 基于激光散斑和模态融合的材质识别方法及装置 |
| CN113255790A (zh) * | 2021-05-31 | 2021-08-13 | 创新奇智(北京)科技有限公司 | 纺织纤维成分识别方法、电子设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116230118A (zh) * | 2022-11-23 | 2023-06-06 | 西南交通大学 | 一种基于主动学习的连续纤维增强复合材料按需设计方法 |
| CN115880305A (zh) * | 2023-03-08 | 2023-03-31 | 中国计量大学现代科技学院 | 轴类零件表面缺陷视觉检测方法及装置 |
| CN115880305B (zh) * | 2023-03-08 | 2023-06-09 | 中国计量大学现代科技学院 | 轴类零件表面缺陷视觉检测方法及装置 |
| CN117541768A (zh) * | 2024-01-09 | 2024-02-09 | 中数智科(杭州)科技有限公司 | 一种轨道车辆箱体锁孔状态检测方法 |
| CN117541768B (zh) * | 2024-01-09 | 2024-04-26 | 中数智科(杭州)科技有限公司 | 一种轨道车辆箱体锁孔状态检测方法 |
| CN117975169A (zh) * | 2024-03-27 | 2024-05-03 | 先临三维科技股份有限公司 | 对象分类方法、计算机程序产品、设备及存储介质 |
| CN118329770A (zh) * | 2024-04-12 | 2024-07-12 | 深圳市星凯科技有限公司 | 一种注塑模具表面缺陷检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115311503B (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115311503B (zh) | 一种纤维分类方法、系统、计算机装置和介质 | |
| Li et al. | SAR image change detection using PCANet guided by saliency detection | |
| CN110414414B (zh) | 基于多层级特征深度融合的sar图像舰船目标鉴别方法 | |
| CN115082419A (zh) | 一种吹塑箱包生产缺陷检测方法 | |
| Korus et al. | Evaluation of random field models in multi-modal unsupervised tampering localization | |
| CN109583449A (zh) | 字符识别方法及相关产品 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN110021028B (zh) | 一种基于服装款式图的自动制衣方法 | |
| CN108961301B (zh) | 一种基于无监督逐像素分类的角毛藻图像分割方法 | |
| Lin et al. | Face gender recognition based on face recognition feature vectors | |
| CN115880298A (zh) | 一种基于无监督预训练的玻璃表面缺陷检测方法及系统 | |
| CN116823817B (zh) | 一种基于深度学习的纺织提花缺陷检测方法及系统 | |
| CN111178190A (zh) | 基于深度图像的目标检测方法、装置及存储介质 | |
| CN113591948A (zh) | 一种缺陷模式识别方法、装置、电子设备和存储介质 | |
| CN117152158B (zh) | 基于人工智能的纺织品疵点检测方法及系统 | |
| CN110648312A (zh) | 一种基于鳞片形态特征分析的羊毛与羊绒纤维识别方法 | |
| Lin et al. | Citrus segmentation for automatic harvester combined with adaboost classifier and Leung-Malik filter bank | |
| CN113628252A (zh) | 一种基于热成像视频的泄漏气体云团检测方法 | |
| CN109977892B (zh) | 基于局部显著性特征和cnn-svm的舰船检测方法 | |
| CN109918783B (zh) | 一种智能化的制衣设计系统 | |
| CN116949615A (zh) | 纺纱机的纱线检测系统及其方法 | |
| CN116416523A (zh) | 一种基于机器学习的水稻生长阶段的识别系统和方法 | |
| CN115497097A (zh) | 一种倾斜汉字点选验证码识别方法 | |
| CN114937042A (zh) | 基于机器视觉的塑料制品质量评估方法 | |
| Wang et al. | Automated inspection of carpets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |