CN115147341A - 一种基于生物视觉启发的织物表面缺陷分类深度网络方法 - Google Patents

一种基于生物视觉启发的织物表面缺陷分类深度网络方法 Download PDF

Info

Publication number
CN115147341A
CN115147341A CN202111066939.4A CN202111066939A CN115147341A CN 115147341 A CN115147341 A CN 115147341A CN 202111066939 A CN202111066939 A CN 202111066939A CN 115147341 A CN115147341 A CN 115147341A
Authority
CN
China
Prior art keywords
fabric
image
defect
defects
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111066939.4A
Other languages
English (en)
Inventor
韩琦
武宸
翁腾飞
陈国荣
解燕
张澳
杨恒
侯明阳
王洪艺
田升
张黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202111066939.4A priority Critical patent/CN115147341A/zh
Publication of CN115147341A publication Critical patent/CN115147341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生物视觉启发的织物表面缺陷分类深度网络方法，评估图像受噪声影响程度，然后确定滤波函数尺度，实现对图像预处理，再使用迁移学习方法对已经用大量数据训练好的ResNet网络进行微调，获取映射函数并判别输入织物图像是否存在缺陷，对缺陷的织物图像使用Meanshift聚类算法分割缺陷，确定缺陷位置，建立一种视觉交互架构“VIN‑Net”织物缺陷分类模型，基于已训练好的织物缺陷分类模型对纺织品图像进行缺陷分类，若存在缺陷则可检测到目标位置并识别其缺陷类别。有益效果：本发明为纺织品企业和工厂的织物产品提供高效、精确以及快速的织物表面缺陷分类检测，从而提高织物产品质量、减少人工成本进而对企业的经济效益起到推动作用。

Description

一种基于生物视觉启发的织物表面缺陷分类深度网络方法
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于生物视觉启发的织物表面缺陷分类深度网络方法。
背景技术
纺织品外观疵点的存在，不仅影响了织物的外观，造成后续加工成衣的困难，而且对产品质量造成了难以消除的隐患。越来越多的研究者将研究重点放在疵点存在及疵点类型的检测。目前已有的疵点检测的方法，还处于传统工艺阶段，主要依靠人工方式进行的，工人依靠人工经验去检测纺织品缺陷，直接凭借肉眼寻找布匹表面的疵点，劳动强度大、易疲劳，从而影响工作效率，且检测正确率也仅仅取决于人工检测水平，难以提高。这种方法受检测人员的心理状态、生理状况和主观影响较大，判别结果较易存在偏差，且更重要的是这种人工的检测方式并不能准确地检测出纺织品缺陷类型，误检率和漏检率都较高。
发明内容
针对上述问题，本发明的目的在于提供一种基于生物视觉交互的深度神经网络用于织物表面缺陷分类方法，通过生物视觉交互机制增强特征的表达能力，在完成交互之后，模型将更加关注于需要识别的区域，并且能够获得这个区域的更为细节的特征信息。这种交互机制能够进一步丰富特征的多样性和细节性，这种现象将为模型能够获得更好的性能提供强有力的证据支撑。从生物视觉的角度，已经证实，生物视觉系统可以自适应地调整交互机制，从而使生物视觉系统最快最准确的识别图像，本发明具体步骤如下：
首先通过织物图像信噪比(SNR)评估图像受噪声影响的程度，根据最小化一阶Holder优化准则，确定高斯滤波函数中的最优标准方差，根据最小二乘法拟合出最终的高斯滤波函数尺度，实现预处理。之后利用迁移学习的方法，使用经过大数据预训练的ResNet网络获得的映射函数对预处理后的织物图像是否存在缺陷进行判断，获取的图像需要进一步分割才能获得缺陷部分。考虑到Meanshift算法是一种高效的聚类迭代算法，因此，采用基于Meanshift的图像分割方法处理图像。Meanshift滤波是将图像像素中的Meanshift向量众数作为中心引力场，吸引其他像素，从而将图像分割成小区域，实现平滑滤波过程。然后通过Meanshift合并，将相邻差异性较小的像素合并，获取较突出的缺陷区域。最后，对分割出来的缺陷部分进行双峰法的二值化处理，可以获取最终的缺陷位置。最后，在生物视觉系统的集成机制调节启发下，研究生物视觉系统结构和运行机制基础上，建立一种视觉交互架构。使这种结构具有自交互、相互交互、多次交互和自适应交互等多种交互性能，在生物交互机制的启发下研究构建相对较完整的视觉交互计算模型。所提出的视觉集成模型能够提取丰富的特征信息，从而提升模型对图像识别性能。详细步骤为：
采用图像信噪比选择优化尺寸的高斯滤波进行织物预处理。首先评估图像受噪声影响程度，然后确定滤波函数尺度，最终实现图像预处理。
利用迁移学习方法，对已经用大量数据训练好的ResNet网络进行微调获取映射函数并判别输入织物图像是否存在缺陷。
对进行缺陷的织物图像利用Meanshift聚类算法分割缺陷，确定缺陷位置。
在研究生物视觉系统结构和运行机制基础上，建立一种视觉交互架构“VIN-Net”织物缺陷分类模型。
基于已训练好的织物缺陷分类模型对纺织品图像进行缺陷分类，若存在缺陷则可检测到目标位置并识别其缺陷类别。
为了提高织物图像的信噪比，最大程度地降低图像失真并去除噪声,采用基于图像信噪比选择优化尺寸的高斯滤波进行织物预处理。所述步骤具体包括：
通过织物图像信噪比(SNR)评估图像受噪声影响的程度，定义的单幅图像信噪比为图像信号强度与噪声标准方差的比值为：
Figure BDA0003258796690000031
Is是给定图像信号强度的估计，
Figure BDA0003258796690000032
则是给定图像噪声标准方差的估计，Is的计算公式为：
Figure BDA0003258796690000033
p代表高斯滤波G的带大尺度，这里p取6，之后采用无调节参数、且能较好的抑制图像结构的梯度滤波H作为噪声的标准方差的估计，
Figure BDA0003258796690000034
其中
Figure BDA0003258796690000035
y为噪声退化图像，计算出SNR值；
根据最小化一阶Holder优化准则，通过相关的最优化准则来求取最佳的p：确定高斯滤波函数中的最优标准方差，首先利用协方差来得到最优的高斯滤波尺度：
Figure BDA0003258796690000041
w为噪声，将最优高斯滤波尺度记为pc，pc＝arg min|corr(w,Gp*y)|，然后根据最小化一阶Holder：
Figure BDA0003258796690000042
求取一阶Holder模，求取的一阶Holder模为最优化准则的统计值来计算p1，最小化E1得到的尺度为：
p1＝arg minE1
因为图像在计算机中是由矩阵的形式表示，所以M、N表示为矩阵的行数和列数，m、n表示某个具体的像素在矩阵中的位置。最后根据最小二乘法拟合出最终的高斯滤波函数尺度：
Figure BDA0003258796690000043
x为未经预处理原图，经过高斯滤波实现预处理后图像为x'(m,n)＝x(m,n)+w(m,n)，m,n为像素点坐标。w为噪声，w＝GP×x，GP中的高斯滤波尺度即上述求出的
Figure BDA0003258796690000044
其中：
Figure BDA0003258796690000045
m0,n0代表像素的模板坐标。
利用迁移学习获取到的映射函数判别织物是否存在缺陷，所述具体包括，
选择源模型，目前很多权威机构都发布了基于大数据训练的成熟的网络模型，此次采用Microsoft Research的4位学者提出的ResNet源模型。
重用模型，训练过程采用的方式是有监督学习，首先用现有的ImageNet数据库对网络的模型参数进行预训练，然后用现有的纺织品样本库对ResNet模型进行训练。
调整模型，利用自有的织物疵点数据以及相应的标签，ResNet输出结果为织物缺陷的预测值即织物缺陷预测类别。为了获得准确的织物缺陷分类结果，需要利用缺陷特定训练样本对ResNet模型参数进行微调；将输出的织物缺陷预测值与织物疵点正确标签值进行计算得到误差即损失值，利用损失值进行网络模型参数调整，使网络参数更加适用于纺织品缺陷分类。输入样本(x',c)，x'表示预处理之后的图像，c为样本对应的真实类别，网络先经过前向传播得出全连接层的特征f，f的维度为1×1×4096，则全连接层输出表示为：F＝[f1,f2,…fo]∈Rk，o表示为全连接层特征的总数，Rk为实数集，网络预测的类别结果k∈1,2,3…K，表达式为：
Figure BDA0003258796690000051
再使用的交叉损失函数为：
Figure BDA0003258796690000052
其中p(k)代表预测值，q(k)表示正确答案。其中，当k＝y时q(k)＝1，当k≠y时q(k)＝0，为了使网络预测出正确标签的概率最大化，就需要使损失函数的值尽可能小，采用梯度下降算法将网络参数进行调整，来对J(f,c)的值进行优化，梯度下降的表示为：
Figure BDA0003258796690000061
Figure BDA0003258796690000062
其中，α代表学习率，W为网络权重，b为偏置量，因为梯度下降求的得最优J为不断迭代的过程，i表示迭代的次数，使用反向传播算法对公式中的偏导数进行求解，第一个方程表示权值矩阵W的变化量，第二个方程表示偏置b的变化量，这两个值的变化由学习率和成本J对权值矩阵W和偏置b的导数决定。反复更新W和b，直到代价函数J最小化。经过数次迭代更新使得网络收敛，最终得到W和b的最优解。深度学习通过前向计算和反向传播，不断调整参数，来提取最优特征，以达到预测的目的。其中调整的参数是W和b。利用fdetermine＝Wx'+b进行二分类输出，W和b是学习到的最优解，x'为输入的图像。fdetermine输出为通过阈值判别进行二元掩码即0和1的输出，如果输出为0即表示输出织物图像是无缺陷的，否则为有缺陷图像。
利用Meanshift聚类算法将缺陷进行分割从而获取缺陷位置：所述具体包括：
将预处理之后的图像像素中的Meanshift向量众数作为中心引力场，吸引其他像素，在空间中任选一点t，根据Meanshift向量的基本定义：
Figure BDA0003258796690000063
S是一个半径为r的二维圆区域,满足S＝{u:(u-ti)T(u-ti)＜r2}关系的u点的集合，落在这个圆内的所有点和圆心都会产生一个以圆心为起点落在圆内的点为终点的向量，然后把这些向量都相加，结果为Meanshift向量Mh，
将相邻差异性较小的像素值进行合并，获取较突出的缺陷区域：以获得的Meanshift向量Mh的终点为圆心，再做一个圆。重复上述步骤，就可得到一个新的Meanshift向量。如此重复下去，Meanshift算法可以收敛到概率密度最大的地方，也就是最稠密的地方，这里最稠密表示的为像素值最接近的地方，像素值最接近的区域即为缺陷。
对分割出来的缺陷部分进行双峰法的二值化处理，获取最终的缺陷位置并生成织物缺陷位置图h'。
利用生物视觉交互机制构建具有自交互、互交互、多交互、自适应交互模块的深度神经网络，具体步骤为，
构建特征提取模块，采用已有深度网络中两个基础的模型结构，分别是包括三层卷积层和下采样层的CNN，以及包括八层结构的AlexNet结构，对织物缺陷位置图h'进行特征提取，
分别获得z1 D和z1 V两个特征图，其过程描述为：z1 D＝F1 D(h')，z1 V＝F1 V(h')，F表示对输入图像h'分别利用CNN和AlexNet两个网络进行特征提取。
构建自交互模块，将CNN和Alexnet模型中获取的特征图z1 D和z1 V分别各自进行矩阵及矩阵转置点乘操作获取新的特征y1 D和y1 V，公式为：
y1 D＝U([z1 D]T,z1 D)
y1 V＝U([z1 V]T,z1 V)
U表示两个张量的乘积，用于表征特征处理操作；
构建互交互模块，将中获得的y1 D和y1 V进行相互交互操作，输出y2 D，这种相互交互模块可以表达为MTIM＝(y1 D,y1 V,G)，其中的计算操作：y2 D＝G(y1 D,y1 V)，G表示深度学习中的拼接操作，即将两个特征图的维度进行相加，其中y1 D和y1 V的数据维度分别是C1×C2×q1和C1×C2×q2，采用公式：
y2 D＝G(y1 D,y1 V)
y2 D的数据维度就可以表示成C1×C2×(q1+q2)，C1和C2分别代表特征图的长度和宽度，q1和q2表示特征图通道的数量。
构建多交互模块，定义自交互模块和相互交互模块作为多次交互过程的子模块。特征图y2 D和y2 V在由相互交互得到后，表达式为：
y2 V＝y1 V＝U([Z1 V]T,Z1 V)
多次交互操作可以表示为：
y'n-1＝merge(y1 D,y1 V,y2 D)
merge表示为结合自交互和相互交互来完成多次交互的过程。
在多交互保持特征丰富的前提前，对交互产生的冗余特征进行过滤，除去多余特征得到新的特征图，此过程可以表示为:
yo＝Qvariance(merge(y1 D,y1 V,y2 D))
其中Qvariance表示先要计算各个特征的方差，根据阈值，选择方差大于阈值的特征。
构建自适应交互模块，最终多交互模块输出为yD n-1和yV n-1。在设计的VIN-Net模型架构中，自适应交互的主要过程表示为：
AIM＝(yD n-1,yV n-1,Adaptive_WD,Adaptive_WV)
其中Adaptive_WD和Adaptive_WV表示模块的自适应权重，yD n-1和yV n-1是输出yD n-1和yV n-1的维度表征Cn-1×Cn-2×l和Cn-1×Cn-2×k。对yD n-1和yV n-1在空间维度Cn-1×Cn-2上进行缩减获得z1和z2作为局部描述符的集合，而这种局部描述的统计结果就表征着整张图像。z1，z2表示为
Figure BDA0003258796690000091
Figure BDA0003258796690000092
其中yD n-1(i,j)，yV n-1(i,j)表示特征图矩阵像素值，i和j表示像素值坐标，H表示特征图矩阵的高度，W表示特征图矩阵的宽度。第二步操作是对采用全局pooling得到的特征信息进行聚集，获得通道之间的相互依赖。具体的数学表达如下：
s1＝σ(W2δ(W1z1))
s2＝σ(W2δ(W1z2))
W1和W2分别表示的神经网络中输入层与隐含层之间的权值以及隐含层和输出层之间的权值，δ为Relu非线性函数，σ为Sigmoid函数，对于输出的yD n-1和yV n-1分别乘以其权重系数输出yD n，yV n：
yD n＝s1·yD n-1
yV n＝s1·yV n-1
最终的输出为：
yfinal＝G(yn D,yn V)
yfinal是yD n和yV n进行维度的拼接操作之后输出特征图，yfinal是“VIN-Net”中最终输出的特征图，yfinal融合了yD n和yV n中不同的信息，精度高于单独使用的yD n和yV n。
利用全连接层以及Softmax函数实现分类，比如输入的织物缺陷真实类别为纬缩。在分类之后在粗纬，缺纬，纬缩置信度分别为0.15，0.20，0.65。全连接层的每一个结点都与上一层的所有结点相连，将之前提取到的特征进行分类，具体方法为：
全连接层：对于每一个训练样本，通过自适应交互之后得到输出的yfinal，为了减少模型的参数计算量以及增强网络的非线性拟合能力，首先利用全连接层实现，这种全连接层可以通过矩阵乘法并加偏值的形式来计算：
fscore(yfinal,Wl)＝Wlyfinal+bscore
其中Wl为全连接权值矩阵，bscore为偏置向量，输出结果fscore为得分向量，即输入的织物缺陷对应预测类别每一个的分数。
采用Softmax函数来获得不同类别的概率分布：Softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1：Softmax表达式为：
Figure BDA0003258796690000101
yi score表示第i个的预测值，
Figure BDA0003258796690000102
为K个预测类别值的指数和，通过Softmax函数可以计算出概率值，概率值最大的即为预测类别。本发明的实施有如下有益效果：
本发明可以为纺织品企业和工厂的织物产品提供高效、精确以及快速的织物表面缺陷分类检测，从而提高织物产品质量进而对企业的经济效益起到推动作用，以达到解放人工、提高生产效率与检测的准确率的目的。
附图说明
图1是本发明的技术路线图；
图2是织物预处理示意图。
图3是二值化处理示意图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
从图1可以看出，一种基于生物视觉启发的织物表面缺陷分类深度网络方法，包括以下步骤：
1、为了提高织物图像的信噪比，最大程度地降低图像失真并去除噪声，采用基于图像信噪比选择优化尺寸的高斯滤波进行织物预处理，该操作可以有效滤除细节噪声，保留图像边缘信息。首先通过织物图像信噪比SNR评估图像受噪声影响的程度，然后根据最小化一阶Holder优化准则，确定高斯滤波函数中的最优标准方差，并根据最小二乘法拟合出最终的高斯滤波函数尺度，实现预处理。图2(a)表示暗红色错色织物缺陷类型未经过最优化尺寸高斯滤波预处理图，图2(b)表示暗红色错色织物缺陷类型经过最优化尺寸高斯滤波预处理图，图2(c)藏青色带纱色织物缺陷类型未经过最优化尺寸高斯滤波预处理图，图2(d)藏青色带纱色织物缺陷类型经过最优化尺寸高斯滤波预处理图。
2、利用迁移学习获取到的映射函数判别织物是否存在缺陷，所述具体包括，
选择源模型，目前很多权威机构都发布了基于大数据训练的成熟的网络模型，此次采用Microsoft Research的4位学者提出的ResNet源模型。
重用模型，训练过程采用的方式是有监督学习，首先用现有的ImageNet数据库对网络的模型参数进行预训练，然后用现有的纺织品样本库对ResNet模型进行训练。
调整模型，利用自有的织物疵点数据以及相应的标签，ResNet输出结果为织物缺陷的预测值即织物缺陷预测类别。为了获得准确的织物缺陷分类结果，需要利用缺陷特定训练样本对ResNet模型参数进行微调；将输出的织物缺陷预测值与织物疵点正确标签值进行计算得到误差即损失值，利用损失值进行网络模型参数调整，使网络参数更加适用于纺织品缺陷分类。输入样本(x',c)，x'表示预处理之后的图像，c为样本对应的真实类别，网络先经过前向传播得出全连接层的特征f，f的维度为1×1×4096，则全连接层输出表示为：F＝[f1,f2,…fo]∈Rk，o表示为全连接层特征的总数，Rk为实数集，网络预测的类别结果k∈1,2,3…K，表达式为：
Figure BDA0003258796690000121
再使用的交叉损失函数为：
Figure BDA0003258796690000122
其中p(k)代表预测值，q(k)表示正确答案。其中，当k＝y时q(k)＝1，当k≠y时q(k)＝0，为了使网络预测出正确标签的概率最大化，就需要使损失函数的值尽可能小，采用梯度下降算法将网络参数进行调整，来对J(f,c)的值进行优化，梯度下降的表示为：
Figure BDA0003258796690000123
Figure BDA0003258796690000124
其中，α代表学习率，W为网络权重，b为偏置量，因为梯度下降求的得最优J为不断迭代的过程，i表示迭代的次数，使用反向传播算法对公式中的偏导数进行求解，第一个方程表示权值矩阵W的变化量，第二个方程表示偏置b的变化量，这两个值的变化由学习率和成本J对权值矩阵W和偏置b的导数决定。反复更新W和b，直到代价函数J最小化。经过数次迭代更新使得网络收敛，最终得到W和b的最优解。深度学习通过前向计算和反向传播，不断调整参数，来提取最优特征，以达到预测的目的。其中调整的参数是W和b。利用fdetermine＝Wx'+b进行二分类输出，W和b是学习到的最优解，x'为输入的图像。fdetermine输出为通过阈值判别进行二元掩码即0和1的输出，如果输出为0即表示输出织物图像是无缺陷的，否则为有缺陷图像。
3、利用Meanshift聚类算法将缺陷进行分割从而获取缺陷位置：所述具体包括：
将预处理之后的图像像素中的Meanshift向量众数作为中心引力场，吸引其他像素，在空间中任选一点t，根据Meanshift向量的基本定义：
Figure BDA0003258796690000131
S是一个半径为r的二维圆区域,满足S＝{u:(u-ti)T(u-ti)＜r2}关系的u点的集合，落在这个圆内的所有点和圆心都会产生一个以圆心为起点落在圆内的点为终点的向量，然后把这些向量都相加，结果为Meanshift向量Mh，
将相邻差异性较小的像素值进行合并，获取较突出的缺陷区域：以获得的Meanshift向量Mh的终点为圆心，再做一个圆。重复上述步骤，就可得到一个新的Meanshift向量。如此重复下去，Meanshift算法可以收敛到概率密度最大的地方，也就是最稠密的地方，这里最稠密表示的为像素值最接近的地方，像素值最接近的区域即为缺陷。对织物表面缺陷位置获取结果为图3所示。
4、构建特征提取模块，采用已有深度网络中两个最基础的模型结构。这两个模型结构分别是包括三层卷积层和下采样层的CNN和包括八层结构的Alexnet结构，提取完成之后分别获得特征图z1 D和z1 V。
构建自交互模块，将CNN和Alexnet模型中获取的特征图z1 D和z1 V分别各自进行矩阵及矩阵转置点乘操作获取特征y1 D和y1 V，操作由
y1 D＝M([z1 D]T,z1 D)
y1 V＝M([z1 V]T,z1 V)
完成，M表示两个张量的乘积，用于表征特征处理操作。
构建互交互模块，将获得的y1 D和y1 V进行相互交互操作，输出y2 D，这种相互交互模块可以表达为：
MTIM＝(y1 D,y1 V,G)
其中的计算操作：
y2 D＝G(y1 D,y1 V)
其中y1 D和y1 V的数据维度分别看作是C1×C2×N和C1×C2×L，采用公式
y2 D＝G(y1 D,y1 V)
y2 D的数据维度就可以表示成C1×C2×(N+L)，C1和C2分别代表特征图的长度和宽度，N和L表示特征图通道的数量。
构建多交互模块，自交互模块和相互交互模块作为多次交互过程的子模块。特征图y2 D和y2 V在由相互交互得到后，多次交互可以表示为：
y'n-1＝merge(y1 D,y1 V,y2 D)
merge表示为结合自交互和相互交互来完成多次交互的过程。
5、在多交互保持特征丰富的前提前，对交互产生的冗余特征进行过滤，除去多余特征得到新的特征图，此过程可以表示为:
yo＝Qvariance(merge(y1 D,y1 V,y2 D))
其中Qvariance表示先要计算各个特征的方差，根据阈值，选择方差大于阈值的特征。
构建自适应交互模块，最终多交互模块输出为yD n-1和yV n-1。在设计的VIN-Net模型架构中，自适应交互的主要过程表示为：
AIM＝(yD n-1,yV n-1,Adaptive_WD,Adaptive_WV)
其中Adaptive_WD和Adaptive_WV表示模块的自适应权重，yD n-1和yV n-1是输出yD n-1和yV n-1的维度表征Cn-1×Cn-2×l和Cn-1×Cn-2×k。对yD n-1和yV n-1在空间维度Cn-1×Cn-2上进行缩减获得z1和z2作为局部描述符的集合，而这种局部描述的统计结果就表征着整张图像。z1，z2表示为
Figure BDA0003258796690000151
Figure BDA0003258796690000152
其中yD n-1(i,j)，yV n-1(i,j)表示特征图矩阵像素值，i和j表示像素值坐标，H表示特征图矩阵的高度，W表示特征图矩阵的宽度。第二步操作是对采用全局pooling得到的特征信息进行聚集，获得通道之间的相互依赖。具体的数学表达如下：
s1＝σ(W2δ(W1z1))
s2＝σ(W2δ(W1z2))
W1和W2分别表示的神经网络中输入层与隐含层之间的权值以及隐含层和输出层之间的权值，δ为ReLu非线性函数，σ为Sigmoid函数，对于输出的yD n-1和yV n-1分别乘以其权重系数输出yD n，yV n：
yD n＝s1·yD n-1
yV n＝s1·yV n-1
最终的输出为：
yfinal＝G(yn D,yn V)
yfinal是yD n和yV n进行维度的拼接操作之后输出特征图，yfinal是“VIN-Net”中最终输出的特征图，yfinal融合了yD n和yV n中不同的信息，精度高于单独使用的yD n和yV n。
利用全连接层以及Softmax函数实现分类，比如输入的织物缺陷真实类别为纬缩。在分类之后在粗纬，缺纬，纬缩置信度分别为0.15，0.20，0.65。全连接层的每一个结点都与上一层的所有结点相连，将之前提取到的特征进行分类，具体方法为：
全连接层：对于每一个训练样本，通过自适应交互之后得到输出的yfinal，为了减少模型的参数计算量以及增强网络的非线性拟合能力，首先利用全连接层实现，这种全连接层可以通过矩阵乘法并加偏值的形式来计算：
fscore(yfinal,Wl)＝Wlyfinal+bscore
其中Wl为全连接权值矩阵，bscore为偏置向量，输出结果fscore为得分向量，即输入的织物缺陷对应预测类别每一个的分数。
采用Softmax函数来获得不同类别的概率分布：Softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1：Softmax表达式为：
Figure BDA0003258796690000171
yi score表示第i个的预测值，
Figure BDA0003258796690000172
为K个预测类别值的指数和，通过Softmax函数可以计算出概率值，概率值最大的即为预测类别。将特征向量通过全连接层来压缩通道，将通道数压缩为缺陷类别数，得到每个缺陷的类别分数，比如输入的织物缺陷真实类别为纬缩。在分类之后在粗纬，缺纬，纬缩置信度分别为0.15，0.20，0.65。最大类别分数对应的类别即为预测的缺陷类别。
应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。

Claims (6)

1.一种基于生物视觉启发的织物表面缺陷分类深度网络方法进行准确且快速分类，其特征在于：包括以下步骤：
步骤1，评估图像受噪声影响程度，然后确定滤波函数尺度，得到预处理后图像x'；
步骤2，使用迁移学习方法对已使用大量数据训练好的ResNet网络进行微调，获取映射函数并判别输入织物图像是否存在缺陷；
步骤3，对缺陷的织物图像使用Meanshift聚类算法分割缺陷，确定缺陷位置并生成织物缺陷位置图h'；
步骤4，在研究生物视觉系统结构和运行机制基础上，建立一种视觉交互架构“VIN-Net”织物缺陷分类模型；
步骤5，基于已训练好的织物缺陷分类模型对纺织品图像进行缺陷分类，若存在缺陷则识别其缺陷类别。
2.根据权利要求1所述的一种基于生物视觉构建的织物表面缺陷分类网络方法，其特征在于：为了提高织物图像的信噪比，最大程度地降低图像失真并去除噪声,采用基于图像信噪比选择优化尺寸的高斯滤波进行织物预处理，所述步骤1具体包括：
步骤1.1，通过织物图像信噪比SNR来评估图像受噪声影响的程度，织物图像信噪比SNR公式表达为：
Figure FDA0003258796680000011
Is是给定图像信号强度的估计，
Figure FDA0003258796680000012
是给定图像噪声标准方差的估计，其中Is的计算公式为：
Figure FDA0003258796680000021
p代表高斯滤波G的带大尺度，这里p取6，y为噪声退化图像；
之后采用无调节参数梯度滤波H作为噪声的标准方差的估计，
Figure FDA0003258796680000022
的表达式为：
Figure FDA0003258796680000023
其中
Figure FDA0003258796680000024
步骤1.2，根据最小化一阶Holder优化准则，通过相关的最优化准则来求取最佳的Pc，确定高斯滤波函数中的最优标准方差，先利用协方差来得到最优的高斯滤波尺度：
Figure FDA0003258796680000025
w为噪声，将最优高斯滤波尺度记为pc：
pc＝arg min|corr(w,Gp*y)|
然后根据最小化一阶Holder，得到最小化E1的尺度，求取的一阶Holder模为最优化准则的统计值来计算p1，p1就是pc的最优高斯滤波尺度，计算公式为：
Figure FDA0003258796680000026
p1＝arg min E1
M、N表示为矩阵的行数和列数，m、n表示某个具体的像素在矩阵中的位置，最后根据最小二乘法拟合出最终的高斯滤波函数尺度：
Figure FDA0003258796680000031
将最终的高斯滤波函数尺度
Figure FDA0003258796680000032
代入公式：
Figure FDA0003258796680000033
Figure FDA0003258796680000034
x为未经预处理原图，m0,n0代表像素的模板坐标，经过高斯滤波实现预处理后图像x'为：
x'(m,n)＝x(m,n)+w(m,n)。
3.根据权利要求1或2所述的一种基于生物视觉构建的织物表面缺陷分类网络方法，其特征在于：利用迁移学习获取到的映射函数判别织物是否存在缺陷，所述步骤2具体包括：
步骤2.1，用现有ImageNet数据库对网络的模型参数进行预训练得到ResNet模型，再使用的现有纺织品样本库对ResNet模型进行训练；
步骤2.2，使用自有的织物疵点数据以及相应的标签对步骤2.1中已经被训练过的ResNet模型再次进行训练，首先利用缺陷特定训练样本对ResNet模型参数进行微调获得织物缺陷分类结果，再将输出的织物缺陷预测值与织物疵点正确标签值进行计算得到损失值，利用损失值进行网络模型参数调整，ResNet模型先经过前向传播得出全连接层的特征f，f的维度为1×1×4096，表达式为：
Figure FDA0003258796680000035
F＝[f1,f2,…fo]∈Rk表示全连接层输出，o表示为全连接层特征的总数，Rk为实数集，计算出网络预测的类别结果P(k|x′)k∈1,2,3…K，使用的交叉损失函数为：
Figure FDA0003258796680000041
其中p(k)代表预测值，q(k)表示正确答案，其中，当k＝y时q(k)＝1，当k≠y时q(k)＝0，采用梯度下降算法将网络参数进行调整，来对J(f,c)的值进行优化，梯度下降的表示为：
Figure FDA0003258796680000042
Figure FDA0003258796680000043
α代表学习率，W为网络权重，b为偏置量，i表示迭代的次数，使用反向传播算法对公式中的偏导数进行求解，W(i)表示权值矩阵W的变化量，b(i)表示偏置b的变化量，反复更新W和b，直到代价函数J最小化，经过数次迭代更新使得网络收敛，最终得到W和b的最优解；
利用fdetermine＝Wx'+b进行二分类输出，其中W和b是学习到的最优解，fdetermine输出为通过阈值判别进行二元掩码即0和1的输出，如果输出为0即表示输出织物图像是无缺陷的，输出为1表示输出织物图像是有缺陷的。
4.根据权利要求1所述的一种基于生物视觉构建的织物表面缺陷分类网络方法，其特征在于：所述步骤3具体包括：
步骤3.1，将预处理之后的图像像素中的Meanshift向量众数作为中心引力场，吸引其他像素，在空间中任选一点t，根据Meanshift向量的基本定义：
Figure FDA0003258796680000051
S是一个半径为r的二维圆区域并满足S＝{u:(u-ti)T(u-ti)＜r2}的集合，落在这个圆内的所有点和圆心都会产生一个以圆心为起点落在圆内的点为终点的向量，然后把这些向量都相加，得到Meanshift向量Mh；
步骤3.2，将相邻差异性较小的像素值进行合并，获取较突出的缺陷区域，用获得的Meanshift向量Mh的终点为圆心，再做一个圆，重复以上步骤，Meanshift算法可以收敛到概率密度最大的地方，概率密度最大的地方为像素值最接近的地方，像素值最接近的地方即为缺陷区域；
步骤3.3，对分割出来的缺陷部分进行双峰法的二值化处理，获取最终的缺陷位置并生成织物缺陷位置图h'。
5.根据权利要求1或3所述的一种基于生物视觉构建的织物表面缺陷分类网络方法，其特征在于：所述步骤4的具体步骤为：
步骤4.1，构建特征提取模块，采用已有深度网络中两个基础的模型结构，分别是包括三层卷积层和下采样层的CNN与包括八层结构的AlexNet结构，对经过预处理获得的织物缺陷位置图h'进行特征提取，分别获得z1 D和z1 V两个特征图，其过程描述为：
z1 D＝F1 D(h')
z1 V＝F1 V(h')
F表示对输入织物缺陷位置图h'分别利用CNN和AlexNet两个网络进行特征提取；
步骤4.2，构建自交互模块，将CNN和Alexnet模型中获取的特征图z1 D和z1 V分别各自进行矩阵及矩阵转置点乘操作获取新的特征y1 D和y1 V，公式为：
y1 D＝U([z1 D]T,z1 D)
y1 V＝U([z1 V]T,z1 V)
U表示两个张量的乘积，用于表征特征处理操作；
步骤4.3，构建互交互模块，将获得的y1 D和y1 V进行相互交互操作，输出y2 D，这种相互交互模块可以表达为：
MTIM＝(y1 D,y1 V,G)
y2 D＝G(y1 D,y1 V)
G表示将两个特征图的维度进行相加，其中y1 D和y1 V的数据维度分别是C1×C2×q1和C1×C2×q2，y2 D的数据维度为C1×C2×(q1+q2)，C1和C2分别代表特征图的长度和宽度，q1和q2表示特征图通道的数量；
步骤4.4，构建多交互模块，特征图y2 D和y2 V在由相互交互得到后，其中：
y2 V＝y1 V＝U([Z1 V]T,Z1 V)
多次交互操作可以表示为：
y'n-1＝merge(y1 D,y1 V,y2 D)
merge操作主要是结合自交互和相互交互来完成多次交互的过程；
步骤4.5，在多交互保持特征丰富的前提下，对交互产生的冗余特征进行过滤，除去多余特征得到新的特征图y0，此过程可以表示为:
yo＝Qvariance(merge(y1 D,y1 V,y2 D))
其中Qvariance表示计算各个特征的方差；
步骤4.6，构建自适应交互模块，自适应交互的主要过程表示为：
AIM＝(yD n-1,yV n-1,Adaptive_WD,Adaptive_WV)
其中Adaptive_WD和Adaptive_WV表示模块的自适应权重，yD n-1和yV n-1的维度表征是Cn-1×Cn-2×l和Cn-1×Cn-2×k，对yD n-1和yV n-1在空间维度Cn-1×Cn-2上进行缩减获得z1和z2作为局部描述符的集合,表示为：
Figure FDA0003258796680000071
Figure FDA0003258796680000072
其中yD n-1(i,j)，yV n-1(i,j)表示特征图矩阵像素值，i和j表示像素值坐标，H表示特征图矩阵的高度，W表示特征图矩阵的宽度，对采用全局pooling得到的特征信息进行聚集，获得通道之间的相互依赖，具体的数学表达如下：
s1＝σ(W2δ(W1z1))
s2＝σ(W2δ(W1z2))
W1和W2分别表示的神经网络中输入层与隐含层之间的权值，δ为ReLu非线性函数，σ为Sigmoid函数，对于输出的yD n-1和yV n-1分别乘以其权重系数输出yD n，yV n：
yD n＝s1·yD n-1，
yV n＝s1·yV n-1，最终两个流的输出为：
yfinal＝G(yn D,yn V)
yfinal是yD n和yV n进行维度的拼接操作之后输出特征图，yfinal是“VIN-Net”中最终输出的特征图。
6.根据权利要求1或5所述的一种基于生物视觉构建的织物表面缺陷分类网络方法，其特征在于：所述步骤5的具体方法为：
步骤5.1，为了减少模型的参数计算量以及增强网络的非线性拟合能力，使用全连接层实现，这种全连接层可以通过矩阵乘法并加偏值的形式来计算：
fscore(yfinal,Wl)＝Wlyfinal+bscore
其中Wl为全连接权值矩阵，bscore为偏置向量，fscore表示输入的织物缺陷对应每一个预测类别的分数；
步骤5.2，采用Softmax函数来获得不同类别的概率分布表达式为：
Figure FDA0003258796680000081
yi score表示第i个的预测值，
Figure FDA0003258796680000082
为K个预测类别值的指数和，通过Softmax函数可以计算出概率值，概率值最大的就是预测缺陷类别。
CN202111066939.4A 2021-09-13 2021-09-13 一种基于生物视觉启发的织物表面缺陷分类深度网络方法 Pending CN115147341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111066939.4A CN115147341A (zh) 2021-09-13 2021-09-13 一种基于生物视觉启发的织物表面缺陷分类深度网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111066939.4A CN115147341A (zh) 2021-09-13 2021-09-13 一种基于生物视觉启发的织物表面缺陷分类深度网络方法

Publications (1)

Publication Number Publication Date
CN115147341A true CN115147341A (zh) 2022-10-04

Family

ID=83405164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111066939.4A Pending CN115147341A (zh) 2021-09-13 2021-09-13 一种基于生物视觉启发的织物表面缺陷分类深度网络方法

Country Status (1)

Country Link
CN (1) CN115147341A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法
CN117115147A (zh) * 2023-10-19 2023-11-24 山东华盛创新纺织科技有限公司 一种基于机器视觉的纺织品检测方法及系统
CN118071749A (zh) * 2024-04-22 2024-05-24 江西师范大学 一种钢材表面缺陷检测模型的训练方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法
CN117115147A (zh) * 2023-10-19 2023-11-24 山东华盛创新纺织科技有限公司 一种基于机器视觉的纺织品检测方法及系统
CN117115147B (zh) * 2023-10-19 2024-01-26 山东华盛创新纺织科技有限公司 一种基于机器视觉的纺织品检测方法及系统
CN118071749A (zh) * 2024-04-22 2024-05-24 江西师范大学 一种钢材表面缺陷检测模型的训练方法及系统

Similar Documents

Publication Publication Date Title
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN109190665B (zh) 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN115147341A (zh) 一种基于生物视觉启发的织物表面缺陷分类深度网络方法
CN108875624B (zh) 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN111832608B (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
Zhang et al. Chromosome classification with convolutional neural network based deep learning
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN108416795B (zh) 基于排序池化融合空间特征的视频动作识别方法
CN117576038A (zh) 基于YOLOv8网络的织物瑕疵检测方法及系统
CN113077423A (zh) 基于卷积神经网络的激光选区熔化熔池图像分析系统
CN117409347A (zh) 一种基于esnn的早期火灾检测方法
CN116883741A (zh) 一种基于金字塔注意力机制的小样本虫害检测方法
INTHIYAZ et al. YOLO (YOU ONLY LOOK ONCE) Making Object detection work in Medical Imaging on Convolution detection System.
CN114511849B (zh) 一种基于图注意力网络的葡萄疏果识别方法
CN115690401A (zh) 一种融合ciou自适应样本分配的改进旋转框目标检测方法
CN115861956A (zh) 一种基于解耦头部的Yolov3道路垃圾检测方法
Kiruthika et al. Classification of metaphase chromosomes using deep learning neural network
CN114462558A (zh) 一种数据增广的监督学习图像缺陷分类方法与系统
Jeny et al. Machine vision-based expert system for automated cucumber diseases recognition and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination