CN108629360A - 一种基于深度学习的针织物基本组织结构自动识别方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的针织物基本组织结构自动识别方法，该方法包括：采集织物样本图像；基于深度卷积神经网络算法，结合学习迁移策略，针对织物样本集训练出可识别针织物基本组织的网络模型；输入待测织物组织图片并进行预处理，加载训练好的网络模型对待测织物组织图片进行识别，最终输出识别结果。与传统的方法相比，本发明成功地将卷积神经网络模型应用在针织物基本组织的识别任务中，具有很高的识别率，对针织物变化组织和花色组织的识别研究也有一定的启发。

Description

一种基于深度学习的针织物基本组织结构自动识别方法

技术领域

本发明涉及图像处理、深度学习以及卷积神经网络，特别涉及针织物基本组织结构的自动识别方法。

背景技术

针织行业在纺织行业中占有很大的比重，针织市场极为广阔。现在针织企业的来料加工很多，快速准确的识别织物组织结构是至关重要的一项工作。目前对针织物组织结构识别主要是依靠人眼或者拆纱法来完成，识别过程单调乏味且拆纱过程中破坏织物，造成资源的浪费。织物组织结构自动识别的实现不仅能使工作效率得以提高、资源得以节约，还保证了分析的客观性和准确性。

针织物组织自动识别研究较为稀少，一方面因为针织物由线圈的相互串套连接而成，结构复杂多变；另一方面传统的方法大部分是基于统计信息的分类，需要复杂的图像预处理过程，且对采集图像的要求高，无法克服织物的旋转和纱线偏移带来的误差，因此针织物组织结构的自动识别方法有待进一步完善。

综上所述，目前迫切需要提出一种鲁棒性和实用性较强地识别针织物组织结构的方法。

发明内容

有鉴于此，本发明的主要目的在于实现针织物基本组织结构的自动识别，且鲁棒性较强。

为达到上述目的，针对传统方法中的图像预处理过程复杂、采集图像要求高和无法克服织物的旋转和纱线偏移带来的误差的问题，本发明提供了一种基于深度学习的针织物基本组织结构的自动识别方法，该方法包括：

步骤1：采集织物样本图像；

步骤2：提取感兴趣区域并将图像大小归一化；

步骤3：结合迁移学习策略，使用AlexNet经典网络针对预训练的模型在目标集上进行微调训练，最终得到可识别针织物基本组织结构的模型，包括以下步骤：

步骤3-1：将样本集分为一个训练集和一个测试集，训练集和测试集的图片数量比例为n₁∶n₂，n₁大于n₂；

步骤3-2：对每类做出标签，测试集和训练集分别生成两个保存有图片标签和相对路径的文本文件，同时打乱文本文件中不同织物组织图片的顺序；

步骤3-3：调整AlexNet经典网络不同层的相关参数，用在ImageNet预训练出的模型bvlc_reference_caffenet对目标集进行微调；

步骤4：将预处理之后织物的正面和反面图像分别作为预测模型的输入并得到输出结果，最后综合两次的结果确定组织类型。

所述步骤1：

使用USB数码电子显微镜，设备自带光源，采集织物表面反射图像，对不同组织结构织物的正面及反面进行拍摄，其中正面图像和反面图像各占一半。

所述步骤2：

原始采集图像存在背景区域，为方便后期对图片进行操作，以及减小拍摄图片中存在的畸变对识别的影响，首先定位到图像中处于中心位置的一个线圈，然后向中心位置的线圈四周扫描，在横向扫描中由定位到的中心位置的线圈开始，直到扫描区域包含4-5个组织结构基元时停止，纵向扫描中也是从定位到的中心位置的线圈开始，直到扫描区域包含7-8行线圈时停止，提取出感兴趣区域，并将图像尺寸归一化到A*A，预处理之后的图片组成样本集，以此作为AlexNet网络对预训练模型在目标集上微调训练的输入。

所述步骤3-1：

将样本集分为一个训练集和一个测试集，训练集和测试集的图片数量比例为n₁∶n₂，其中n₁大于n₂；

所述步骤3-2：

观察织物发现同一种织物的正面和反面是相同的，同时另外一种织物的某一面和其也是相同的，例如双反面组织的正反面相同，平针组织的正反面不同，但平针组织的正面和双反面组织的正面和反面是相同的，据此对每类做出标签，测试集和训练集分别生成两个保存有图片标签和相对路径的文本文件，同时为便于AlexNet网络对预训练模型在目标集上进行微调训练需打乱文本文件中不同织物组织图片的顺序；

所述步骤3-3：

网络卷积层与全连接层的参数设计中，卷积层采用AlexNet网络结构中的卷积参数设计，卷积层的计算公式如下所示：

其中表示第l层第j个特征图，右边表示对l-1层所有关联特征图和第l层的第j个卷积核做卷积运算并求和，然后加一个对应第l层的第j个偏置参数最后通过非线性激活函数f(.)得到特征图具体来说卷积运算即为卷积核和图像中的对应大小邻域做内积，以滑动窗口的方式遍历整幅图像，最终得到一个由内积值组成的新矩阵，我们称此矩阵为一个特征图，这种卷积核和图像某个邻域相连的方式称为局部连接，网络参数相比全连接减少许多；

本方法采用的AlexNet网络中三个全连接层中fc6和fc7层的输出神经元数个数，因为AlexNet中最后一个全连接层fc8的输出神经元数是输出类别数，所以利用预训练模型进行微调时，将fc8层的输出神经元个数设置为输出类别数4，全连接层中每个神经元和上一层神经元全部连接，这种连接方式不同于卷积层中的局部连接，需要调节的网络参数规模增大，计算负担随之增大，本方法中经过卷积层和降采样层的图像特征维数已经降低，这里的全连接不会带来严重的计算负担；

损失函数为Softmax Loss损失函数，Softmax函数会将特征向量映射成概率，分类结果即为概率值最大的那一维，损失函数Softmax Loss计算出损失值E，E越小，误识别率越高，反之，识别率越低，Softmax Loss损失函数公式如下所示：

其中K为织物类别数，N为样本数量，p_nk为织物x_n识别为类别k的概率，公式如下所示：

激活函数选用不饱和的非线性激活函Relu，非线性激活函数的主要功能是赋予网络分层非线性映射学习能力，Relu具有收敛速度快，有效缓解梯度消失的优势，激活函数Relu具体表达式如下所示：

R(x)＝max(0，x)

非线性激活函数可分为饱和非线性激活函数和不饱和非线性激活函数两种，传统的饱和非线性激活函数有sigmoid函数和tanh双曲正切激活函数等，其收敛速度慢，训练过程中会出现梯度消隐现象以及用梯度下降法寻找最优解的过程中令算法陷入局部最优解；

训练过程包括前向传播与反向传播两个过程，利用梯度下降法对权重W和偏置b进行更新，其公式如下：

其中，E为损失函数值，α为学习速率，表示第n层的第j个卷积核，表示第n层的第j个偏置，这里E的最小值由梯度下降法求得，即由BP算法沿着损失函数E相对于卷积核中权值W的偏导数和损失函数E相对于偏置b的偏导数下降的方向进行求解，最后通过上述两个更新的公式计算出更新后的参数W和b；

从上述两个更新参数的公式中可以看出学习率α即为权重W和偏置b更新的步长，关系到更新的幅度，进而影响网络的收敛速度，本方法采用caffe框架提供的等步长下降法“step”调整学习率，即设定学习率在一定的迭代次数时，按照一定的数量级下降，此外还有反函数学习率下降法“inv”，其学习率在网络初始阶段下降快，便于后期网络的收敛，后期阶段变得缓慢，以便于慢慢逼近最优的参数，鉴于采集针织物的数据集的特点，这里选用等步长下降法“step”调整学习率，对于卷积层的局部学习率调整，所有卷积核的局部学习率和权重衰减因子设置为1。

所述步骤4：

综合织物正反面图像信息识别织物组织类型的方法，将预处理之后织物的正面和反面图像分别作为预测模型的输入并得到输出结果，最终根据两次的结果识别出组织类型。

与传统的针织物基本组织识别方法相比，本文方法避免了传统方法中复杂的图像预处理过程及织物特征提取过程，不受采集织物位置和纱线偏移的影响，可以对多种组织进行识别，并且可以达到97％的识别率。

附图说明

图1示出了按照本发明的整体流程图。

图2示出了按照本发明的第1步骤的图像采集系统图。

图3示出了按照本发明的第2步骤的网络结构示意图。

图4示出了按照本发明的基于深度学习的训练流程的框架图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。

图1示出了按照本发明的整体流程图。按照本发明的基于深度学习的针织物基本组织识别方法包括：

步骤1：采集织物样本图像；

步骤2：提取感兴趣区域并将图像大小归一化；

步骤3：结合迁移学习策略，使用AlexNet经典网络针对预训练的模型在目标集上进行微调训练，最终得到可识别1+1罗纹组织、2+2罗纹组织、平针组织和双反面组织的模型；

步骤4：将预处理之后织物的正面和反面图像分别作为预测模型的输入并得到输出结果，最后综合两次的结果确定组织类型。

图2示出了按照本发明的第一步骤的图像采集系统图。所述步骤1进一步包括：

该实施例中使用500万像素USB数码电子显微镜，放大倍数1-500倍(连续变倍)，USB2.0接口，采集设备自带光源，连接Windows7操作系统，采集织物表面反射图像，对不同组织结构织物的正面及反面进行拍摄，其中正面图像和反面图像各占一半。

所述步骤2进一步包括：

原始采集图像存在背景区域，且原图尺寸为2592*1944，为方便后期对图片进行操作，以及减小拍摄图片中存在的畸变对识别的影响，首先定位到图像中处于中心位置的一个线圈，然后向中心位置的线圈四周扫描，在横向扫描中由定位到的中心位置的线圈开始，直到扫描区域包含4-5个组织结构基元时停止，纵向扫描中也是从定位到的中心位置的线圈开始，直到扫描区域包含7-8行线圈时停止，提取出感兴趣区域，并将图像尺寸归一化到A*A，并将图像尺寸归一化到227*227，预处理之后图片组成样本集，以此作为AlexNet网络对预训练模型在目标集上微调训练的输入。

所述步骤3-1包括：

将样本集分为一个训练集和一个测试集，实施例中训练集和测试集的图片数量比例为5∶1；

所述步骤3-2包括：

观察织物发现1+1罗纹组织的正反面相同，2+2罗纹组织的正反面相同，平针组织的正反面不同，双反面组织的正反面相同，据此对每类做出标签，测试集和训练集分别生成两个保存有图片标签和相对路径的文本文件，同时为便于AlexNet网络对预训练模型在目标集上进行微调训练，打乱文本文件中不同织物组织图片的顺序，不同织物类型的标签如下表所示：

表1

表1中不同织物组织正面及反面做的标签0，1，2，3即为最终训练得到的测试模型输出结果。

图3示出了按照本发明的网络结构示意图。所述步骤3-3包括：

网络卷积层与全连接层的参数设计中，卷积层采用AlexNet网络结构中的卷积层参数设计，卷积核的大小分别为11*11、5*5、3*3、3*3、3*3，每一卷积层步长分别为4、1、1、1、1，卷积层的计算公式如下所示：

其中表示第l层第j个特征图(Feature Map)，右边表示对l-1层所有关联特征图和第l层的第j个卷积核做卷积运算并求和，然后加一个对应第l层的第j个偏置参数最后通过非线性激活函数f(.)得到特征图

本方法采用的AlexNet网络中三个全连接层(fc6、fc7、fc8)的输出神经元数个数分别为4096、4096、4，本方法中经过卷积层和降采样层的图像特征维数已经降低，这里的全连接不会带来严重的计算负担；

本方法完成的任务属于单标签分类，所以选用的损失函数为Softmax Loss损失函数，Softmax函数会将特征向量映射成概率，分类结果即为概率值最大的那一维，损失函数Softmax Loss计算出损失值E，E越小，误识别率越高，反之，误识别率越低，Softmax Loss损失函数公式如下所示：

其中样本类别为K，数量为N，p_nk为织物x_n识别为类别k的概率，公式如下所示：

激活函数选用不饱和的非线性激活函数Relu，非线性激活函数的主要功能是赋予网络分层非线性映射学习能力，Relu具有收敛速度快，有效缓解梯度的消失的优势，其公式如下所示：

R(x)＝max(0，x)

非线性激活函数可分为饱和非线性激活函数和不饱和非线性激活函数两种，传统的饱和非线性激活函数有sigmoid函数和tanh双曲正切激活函数等，其收敛速度慢，训练过程中会出现梯度消隐现象以及用梯度下降法寻找最优解的过程中令算法陷入局部最优解。

图4示出了按照本发明的基于深度学习的训练流程的框架图。所述训练模型学习参数的实现步骤如下：

AlexNet网络对预训练模型在目标集上微调训练出模型包括前向传播与反向传播两个过程，利用梯度下降法对权重W和偏置b进行更新，公式如下：

其中，E为损失函数值，α为学习速率，表示第n层的第j个卷积核(权值矩阵)，表示第n层的第j个偏置，这里E的最小值由梯度下降法求得，即由BP算法沿着损失函数E相对于卷积核中权值W的偏导数和损失函数E相对于偏置b的偏导数下降的方向进行求解，最后通过上述两个更新的公式计算出更新后的参数W和b，本方法采用caffe框架提供的等步长下降法“step”调整学习率，即设定学习率在一定的迭代次数时，按照一定的数量级下降。

所述步骤4：

综合织物正反面图像信息识别织物组织类型的方法，将预处理之后织物的正面和反面图像分别作为预测模型的输入，并分别得到输出结果，最终根据两次的结果识别出组织类型。在本实施例中若预测模型输出正面标签和反面标签均为0，对照表1则判定该织物为1+1罗纹组织；若预测模型输出正面标签和反面标签均为1，对照表1则判定该织物为2+2罗纹组织；若预测模型输出正面标签和反面标签分别是2和3，对照表1则判定该织物为平针组织；若预测模型输出正面标签和反面标签均为3和3，对照表1则判定该织物为双反面组织；如果出现表1中未给出的正面和反面标签的组合，则输出无法识别组织类型。

与传统的针织物基本组织识别方法相比，本文方法避免了传统方法中复杂的图像预处理过程及织物特征提取过程，不受采集织物位置和纱线偏移的影响，可以对多种组织进行识别，并且可以达到97％的识别率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (4)

1.一种基于深度学习的针织物基本组织结构自动识别方法，其特征在于，基于深度卷积神经网络算法，结合学习迁移策略，训练出可识别织物组织的网络模型，该方法包括：

步骤1：采集织物样本图像；

步骤2：提取感兴趣区域并将图像大小归一化；

步骤3：结合迁移学习策略，使用AlexNet经典网络针对预训练的模型在目标集上进行微调训练，最终得到可识别针织物基本组织结构的模型，包括以下步骤：

步骤3-1：将样本集分为一个训练集和一个测试集，训练集和测试集的图片数量比例为n₁∶n₂；

步骤3-2：对每类做出标签，测试集和训练集分别生成两个保存有图片标签和相对路径的文本文件，同时打乱文本文件中不同织物组织图片的顺序；

步骤3-3：调整AlexNet经典网络不同层的相关参数，用在ImageNet预训练出的模型bvlc_reference_caffenet对目标集进行微调；

步骤4：将预处理之后织物的正面和反面图像分别作为预测模型的输入并得到输出结果，最后综合两次的结果确定组织类型。

2.如权利要求1所述的方法，其特征在于，步骤1中：使用USB数码电子显微镜，设备自带光源，采集织物表面反射图像，对不同组织结构织物的正面及反面进行拍摄，其中正面图像和反面图像各占一半。

3.如权利要求1所述的方法，其特征在于，步骤2中：首先定位到图像中处于中心位置的一个线圈，然后向中心位置线圈的四周扫描，在横向扫描中由定位到的中心位置的线圈开始，直到扫描区域包含4-5个组织结构基元时停止，纵向扫描中也是从定位到的中心位置的线圈开始，直到扫描区域包含7-8行线圈时停止，提取出感兴趣区域，并将图像尺寸归一化到A*A，预处理之后的图片组成样本集，以此作为AlexNet网络对预训练模型在目标集上微调训练的输入。

4.如权利要求1所述的方法，其特征在于，步骤4中：综合织物正反面图像信息识别织物组织类型的方法，将预处理后织物的正面和反面图像分别作为预测模型的输入并得到输出结果，最终根据两次的结果识别出组织类型。