CN111125397A - 一种基于卷积神经网络的布料图像检索方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的布料图像检索方法，包括：对纺织品面料图像进行预处理，采用双线性插值进行缩放图像，并进行归一化等预处理操作；设计卷积神经网络，作为分类器；利用分类的损失函数，以及梯度反向传播迭代训练该神经网络，获得特征提取器；对检索图以及面料库进行特征提取获得1024维特征向量；采用L2度量方法计算两个特征向量的相似度，并进行排序，实现纺织品面料图像检索的识别。本发明可以对目标形状进行轮廓空间位置特征的提取，实现存在遮挡目标的识别。并且该方法具有尺度不变性、旋转不变性和平移不变性，有效解决了不完整轮廓的识别问题，提高了目标识别和形状检索的准确率和鲁棒性。

Description

一种基于卷积神经网络的布料图像检索方法

技术领域

本发明涉及图像检索领域，特别是涉及一种基于卷积神经网络的布料图 像检索方法。

背景技术

在巨量的纺织品面料品种中如何快速查找与来料样布最为相似的面料一 直是面料供应商面临的一个挑战。

传统的面料纺织品查找方法，一种是主要靠人眼去看，对于比较熟练的 老师傅来说，可能还会依赖自己的记忆去加快查找。但是这种方法随着纺织 品面料数量的增多，变得更加困难，且人的记忆具有衰退性和模糊性，容易 经常出错，影响检索效率。另一种方案是基于传统的图像特征构建一个自动 化的检索系统，比如图像的纹理特征，边缘特征，hash特征等。这些传统特 征需要手工做实验去设定参数，而参数的设定并不能适合所有种类的纺织品 面料图，主要原因是图像的种类过多，而参数量很少，无法去适应所有种类。而基于卷积神经网络的特征提取器，因为其具有成千上万的参数去控制模型 的表达能力，在这种通用图像识别中具有明显的优势。且在我们的方法中该 特征提取器是通过有监督的学习自动学出来的特征，更具有适应性。

因此，针对该技术问题，为了能够在所有种类纺织品面料图上都能较高 精度的检索出面料，提供一种基于卷积神经网络的布料图像检索方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于卷积神经网络的布料图像检 索方法。

为了实现上述目的，本发明实施提供的技术方案如下：

一种基于卷积神经网络的布料图像检索方法，包括：

S1、对采集到的布料图像库进行缩放到固定尺寸300*300，并进行归类， 作为训练样本集；

S2、设计卷积神经网络分类模型；

S3、利用softmax交叉熵损失函数，来计算网络输出值与类别标签的误差；

S4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获 取模型；

S5、取模型的最后一个全连接层的作为最后网络输出节点，把输入到该 节点的网络作为特征提取器；

S6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以 及面料库的特征并存储为特征数据库；

S7、带检索特征与纺织品面料库特征向量计算欧式距离均值，对距离进 行排序，获得检索结果；

作为本发明的进一步改进，所述步骤S1具体包括：

S11、采用双线性插值算法对布料图像进行缩放到300*300大小；

S12、按照纺织品面料类别进行归类，归类类型为最小布料型号，构建4 万张的训练集。

S13、对图像进行增强，这里首先对图像所有像素缩放到0-1之间，再对 rgb通道进行0均值单位方差归一化操作，

再对图像进行水平和垂直方向翻转以及亮度增强操作；

作为本发明的进一步改进，所述步骤S2具体包括：

S21、本发明的卷积神经网络采用多个卷积、池化、dropout和inception block方式堆叠，最后用全连接层做为分类层；

S22、Inception block块结构由多个卷积采用串+并联的方式构成，特征图 先分别经过3个1*1卷积和一个最大池化进行降采样，再经过1个3*3、1个 5*5、1个1*1卷积，最后将4个输出按照通道维度拼接到一起作为下一层的 输入；

作为本发明的进一步改进，所述步骤S3具体包括：

S31、所有的训练图像经过网络计算输出结果，再经过一个softmax函数 输出类别概率yⁱ；

S32、根据下面的公式，计算与标签

的误差值

作为本发明的进一步改进，所述步骤S4具体包括：

S41、这里采用学习率0.001，Adam的梯度优化方法，batch_size＝32，对 模型进行10k次迭代训练，最后一个step分类精度达到0.98，存储模型。

作为本发明的进一步改进，所述步骤S5具体包括：

S51、去除固化后的模型最后softmax分类层，保留剩下的层，作为特征 提取器；

作为本发明的进一步改进，所述步骤S6具体包括：

S61、对已有纺织品面料图进行扫描缩放并提特征建库，作为检索的特征 数据库，每一个纺织品面料通过特征提取器后输出1024维的float向量，存储 到服务器硬盘中；

S62、对于待检索的纺织品面料，也需要通过卷积特征提取器输出1024 维向量；

作为本发明的进一步改进，所述步骤S7具体包括：

S71、对待检索的纺织品面料图特征向量v＝[v₁，v₂，...，v₁₀₂₄]，与库中的所有 带检索图进行计算欧式距离：

S72、对所有的欧式距离进行升序排序，取前15个结果作为最终的参考 检索结果，将对应的库中布料型号返回出来。

与现有技术相比，基于卷积神经网络的纺织品料图像检索方法在自动检索 和识别系统中，利用高效的Inception卷积神经网络的高参数量以及有监督学 习的优势，并对训练图像进行图像增强操作，保证具有尺度不变性、旋转不 变性和平移不变性，提高了识别的准确率和鲁棒性，减小了计算复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员 来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于卷积神经网络的布料图像检索方法的具体流程图。

图2为本发明具体实施方式中的卷积神经网络构造原理图；

图3为本发明具体实施方式中Inception模块内部网络原理图；

图4为本发明具体实施方式中大提花布料图像的检索结果图；

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合 本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前 提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明一种基于卷积神经网络的布料图像检索方法具体包 括：

S1、对采集到的纺织品面料图像库进行缩放到固定尺寸300*300，并进行 归类，作为训练样本集；

S2、设计卷积神经网络分类模型；

S3、利用softmax交叉熵损失函数，来计算网络输出值与类别标签的误差；

S4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获 取模型；

S5、取模型的最后一个全连接层的作为最后网络输出节点，把输入到该 节点的网络作为特征提取器；

S6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以 及面料库的特征并存储为特征数据库；

S7、带检索特征与面料库特征向量计算欧式距离均值，对距离进行排序， 获得检索结果；

其中，步骤S1具体包括：

S11、采用双线性插值算法对纺织品面料图像进行缩放到300*300大小；

S12、按照纺织品面料类别进行归类，归类类型为最小面料型号，构建4 万张的训练集。

S13、对图像进行增强，这里首先对图像所有像素缩放到0-1之间，再对 RGB通道进行零均值单位方差归一化操作，

再对图像进行水平和垂直方向翻转以及亮度增强操作；

进一步地，步骤S2具体包括：

S21、本发明的卷积神经网络采用多个卷积、池化、dropout和inception block方式堆叠，最后用全连接层做为分类层；整个卷积网络的构造如图2所 示；

S22、Inception block块结构由多个卷积采用串+并联的方式构成，特征图 先分别经过3个1*1卷积和一个最大池化进行降采样，再经过1个3*3、1个 5*5、1个1*1卷积，最后将4个输出按照通道维度拼接到一起作为下一层的 输入；Inception block模块内部结构如图3所示；

进一步地，步骤S3具体包括：

S31、所有的训练图像经过网络计算输出结果，再经过一个softmax函数 输出类别概率yⁱ；

S32、根据下面的公式，计算与标签

的误差值

进一步地，步骤S4具体包括：

S41、这里采用学习率0.001，Adam的梯度优化方法，batch_size＝32，对 模型进行10k次迭代训练，最后一个step分类精度达到0.98，存储模型。

上述步骤S5具体包括：

S51、去除固化后的模型最后softmax分类层，保留剩下的层，作为特征 提取器；即图2中最后一层softmax层不保留；

上述步骤S6具体包括：

S61、对已有纺织品面料图进行扫描缩放并提特征建库，作为检索的特征 数据库，每一个纺织品面料通过特征提取器后输出1024维的float向量，存储 到服务器硬盘中；

S62、对于待检索的纺织品面料，也需要通过卷积特征提取器输出1024 维向量；

上述步骤S7具体包括：

S71、对待检索的纺织品面料图特征向量v＝[v₁，v₂，...，v₁₀₂₄]，与库中的所有 带检索图进行计算欧式距离：

S72、对所有的欧式距离进行升序排序，取前15个结果作为最终的参考 检索结果，将对应的库中布料型号返回出来。

以下结合一具体实例，对本发明作进一步阐述。

本系统采用一个4万数据库，该库中共有3大类纺织品面料图：平素纹、 小提花、大提花，44个小类的图像经过卷积神经网络特征提取器建立混合库。

对应用于本实施例的方法，为纺织品面料检索系统设计2个任务，表1 中描述了任务的名称以及任务的功能。

表1：形状匹配和目标识别系统任务说明

如图1所示，纺织品面料图像检索算法过程如下：对纺织品面料图像进 行预处理，采用双线性插值进行缩放图像，并进行归一化等预处理操作；设 计卷积神经网络，作为分类器；利用分类的损失函数，以及梯度反向传播迭 代训练该神经网络，获得特征提取器；对检索图以及面料库进行特征提取获 得1024维特征向量；采用L2度量方法计算两个特征向量的相似度，并进行 排序，实现纺织品面料图像检索的识别。

任务1中，模型分类精度在训练10k个step后保持0.99，波动范围小于 0.01。

如图4所示，给出一张大提花的纺织品面料图，在特征库中进行检索， 给出前5相似的检索结果，可以发现前3个检索结果都是该型号的大提花(检 索的特征库中只有3张该型号布料，全部命中)，前5都是该种类的布料图， 且相似度较高。

从分析过程和应用实例可以看出，一种基于卷积神经网络的布料图像检 索方法能有效自动提取纺织品面料图的纹理、全局结构等特征，实现了目标 的特征描述，获得较高的识别率。该方法在目标检索的工程领域中能得到广 泛应用。

由以上技术方案可以看出，本发明提供的一种基于卷积神经网络的布料 图像检索方法在遮挡目标识别和检索中，可以对图像特征提取进行有效表示， 具有尺度不变性、旋转不变性和平移不变性，相比于传统手动特征检索方法 提高了准确率和效率。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实 现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且 是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。 不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实 施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起 见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也 可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于卷积神经网络的布料图像检索方法，包括以下步骤：

S1、对采集到的布料图像库进行缩放到固定尺寸300*300，并进行归类，作为训练样本集；

S2、设计卷积神经网络分类模型；

S3、利用softmax交叉熵损失函数，来计算网络输出值与类别标签的误差；

S4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获取模型；

S5、取模型的最后一个全连接层的作为最后网络输出节点，把输入到该节点的网络作为特征提取器；

S6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以及面料库的特征并存储为特征数据库；

S7、带检索特征与布料库特征向量计算欧式距离均值，对距离进行排序，获得检索结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括：

S11、采用双线性插值算法对布料图像进行缩放到300*300大小；

S12、按照布料类别进行归类，归类类型为最小布料型号，构建4万张的训练集。

S13、对图像进行增强，这里首先对图像所有像素缩放到0-1之间，再对rgb通道进行0均值单位方差归一化操作，

再对图像进行水平和垂直方向翻转以及亮度增强操作。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

S21、本发明的卷积神经网络采用多个卷积、池化、dropout和inception block方式堆叠，最后用全连接层做为分类层；

S22、Inception block块结构由多个卷积采用串+并联的方式构成，特征图先分别经过3个1*1卷积和一个最大池化进行降采样，再经过1个3*3、1个5*5、1个1*1卷积，最后将4个输出按照通道维度拼接到一起作为下一层的输入。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括：

S31、所有的训练图像经过网络计算输出结果，再经过一个softmax函数输出类别概率yⁱ；

S32、根据下面的公式，计算与标签

的误差值

5.根据权利要求1所述的方法，其特征在于，所述步骤S4具体包括：

S41、这里采用学习率0.001，Adam的梯度优化方法，batch_size＝32，对模型进行10k次迭代训练，最后一个step分类精度达到0.98，存储模型。

6.根据权利要求1所述的方法，其特征在于，所述步骤S5具体包括：

S51、去除固化后的模型最后softmax分类层，保留剩下的层，作为特征提取器。

7.根据权利要求1所述的方法，其特征在于，所述步骤S6具体包括：

S61、对已有布料图进行扫描缩放并提特征建库，作为检索的特征数据库，每一个布料通过特征提取器后输出1024维的float向量，存储到服务器硬盘中；

S62、对于待检索的布料，也需要通过卷积特征提取器输出1024维向量。

8.根据权利要求1所述的方法，其特征在于，所述步骤S7具体包括：

S71、对待检索的布料图特征向量v＝[v₁，v₂，...，v₁₀₂₄]，与库中的所有带检索图进行计算欧式距离：

S72、对所有的欧式距离进行升序排序，取前15个结果作为最终的参考检索结果，将对应的库中布料型号返回出来。

Images