CN107256246A - 基于卷积神经网络的印花织物图像检索方法 - Google Patents

Abstract

本发明公开了基于卷积神经网络的印花织物图像检索方法，具体为：步骤1，建立印花织物图像数据库，并批量进行预处理；步骤2，基于AlexNet网络模型训练印花织物卷积神经网络模型；步骤3采集待检索图像，并对其进行预处理；步骤4，用步骤2建立的印花织物的卷积神经网络模型对步骤1建立的图像数据库中的图像及步骤3采集的待检索图像进行4096维特征向量提取；步骤5，对待检索图像的4096维特征向量与图像数据库图像中的每一个4096维特征向量进行欧式距离计算，对数据库图像按照欧式距离由小到大的顺序排列，按顺序将对应的top k织物图像反馈给用户，完成检索。解决了现有技术中存在的图像检索准确率低、耗费时间长的问题。

Description

基于卷积神经网络的印花织物图像检索方法

技术领域

本发明属于计算机与机器视觉技术领域，涉及一种基于卷积神经网络的印花织物图像检索方法。

背景技术

在网络日益丰富且数据日益庞大的背景下，印花织物图像作为纺织行业生产的资源，其来源越来越广泛，并且保持着持续增长的趋势。而且织物纹理花型种类繁多，按照传统的方法从众多的图像中找出目标图像需要耗费很长时间。随着客户需求的增加及计算机与网络技术的发展，建立有效的检索机制实现快速有效的图像检索便成为一种需要。目前，在众多的图像检索系统中，基于内容的图像检索方法得到了越来越广泛的应用，它满足了人们用已有的样本快速找出目标图像的需求。常见的百度搜图、谷歌搜图等就属于图像检索范畴。传统的基于内容的图像检索方法主要是根据图像的颜色、形状、纹理、空间关系等底层视觉特征来衡量两幅图像之间的相似性，但这些视觉特征编码固定，缺少学习能力，导致图像表达能力不强，检索结果容易受到图像缩放、平移、旋转等变化的影响，而且图像的颜色、纹理等特征比较复杂，视觉维数较高，利用传统的方法进行检索时会特别耗时而且准确度也比较低。

卷积神经网络是目前工业研究和应用领域的热点，和传统的人工智能方法相比，它可以提高不同视觉任务的性能，比如目标检测、图像分类和分割等，尤其是在人脸识别领域，其准确率已经超过了人眼识别。目前的卷积神经网络技术也有应用于图像检索领域，但在印花织物领域的研究比较少。卷积神经网络本身具有自学习能力，所以利用卷积神经网络能够有效地学习出图像本身的特征，提高图像检索性能。

发明内容

本发明的目的是提供一种基于卷积神经网络的印花织物图像检索方法，解决了现有技术中存在的图像检索准确率低、耗费时间长的问题。

本发明所采用的技术方案是，基于卷积神经网络的印花织物图像检索方法，具体按照以下步骤实施：

步骤1，建立印花织物图像数据库，并批量进行预处理；

步骤2，基于AlexNet网络模型训练印花织物卷积神经网络模型；

利用步骤1中建立的数据库训练印花织物卷积神经网络模型，包括五个卷积层和三个全连接层；

步骤3，采集待检索图像，并对其进行预处理；

步骤4，用步骤2建立的印花织物的卷积神经网络模型对步骤1建立的图像数据库中的图像及步骤3采集的待检索图像进行4096维特征向量提取；

步骤5，对待检索图像的4096维特征向量与图像数据库图像中的每一个4096维特征向量进行欧式距离计算，对数据库图像按照欧式距离由小到大的顺序排列，按顺序将对应的top k织物图像反馈给用户，完成检索。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1，准备用于检索的印花织物图像库，对库中所有图像进行手动分类，并按其所在类别进行重命名；

步骤1.2，将经步骤1.1重命名的所有的印花织物图像分为训练集train和测试集test两个部分，训练集和测试集中均包括图像的每一个类，然后根据图像所属类对训练集和测试集的图像加上对应的标签生成train.txt和test.txt标签文件；

步骤1.3，将所有图像统一缩放至256×256像素，并将其转换为lmdb格式；

步骤1.4，计算训练集图像的均值，生成对应的均值文件mean.binaryproto。

步骤2中的五个卷积层包括第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4和第五卷积层Conv5，三个全连接层分别为第六全连接层Fc6、第七全连接层Fc7和第八全连接层Fc8，并且第一卷积层至第五卷积层直接依次级联，第六全连接层至第八全连接层直接依次级联，第六全连接层直接连接到第五卷积层上；

步骤2中利用步骤1中建立的数据库训练印花织物卷积神经网络模型具体过程为：将AlexNet网络模型输入数据source及均值路径mean_file改为步骤1中生成的文件路径，并修改solver.prototxt中的训练参数，用步骤1中建立的数据库图像进行模型训练。

步骤3中具体为：一定光照条件下，成像设备将印花织物成像并放大，然后经过图像采集系统将数字图像信号传给计算机，形成二维灰度矩阵，即原始图像，计算机图像处理模块对采集到的图像进行预处理。

步骤1.2中生成的train.txt和test.txt文件为包含训练集train和测试集test中所有图像名的txt格式文件，其文件内容为“XX/X，X”，其中前两个X为图像名称，第三个X表示图像格式，最后一个X为图像对应的标签。

第一卷积层、第二卷积层均进行卷积操作后依次进行ReLU激活、归一化LRN和Pooling池化操作，第三卷积层和第四卷积层均进行卷积操作后再进行ReLU激活，第五卷积层进行卷积操作后再依次进行了ReLU激活和pooling池化操作，第六全连接层和第七全连接层均进行了Dropout操作，第八全连接层依次进行了Accuracy和Softmax-loss操作。

ReLU激活采用的激活函数为f(x)＝max(x,0)；

Pooling池化操作采用最大池化MAX方法，运算方法为：

w₁＝(w₀+2*pad-kernel_size)/stride+1

h₁＝(h₀+2*pad-kernel_size)/stride+1

式中，Pad为边缘扩充默认为0，kernel_size为池化的核大小，设置为3，步长stride为2；w₀、h₀为输入的特征图宽度和高度，w₁、h₁则是池化后的宽度和高度；

步骤1.4中计算训练集图像的均值的计算公式为：

式中，m表示图像像素个数，x⁽ⁱ⁾为第i个元素的像素值，E(x^(k))即为图像的均值。

步骤4具体为：将步骤1.4中生成的均值文件mean.binaryproto转换为MATLAB支持的mean.mat文件，用步骤2建立的印花织物的卷积神经网络模型结合转换后的均值文件对步骤1建立的图像数据库中的图像提取fc7层4096维特征向量，构建特征库，对步骤3中采集的待检索图像同样提取fc7层4096维特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Y_i，i＝1,2,...,N，N为从图像数据库中提取的4096维特征向量的个数。

步骤5具体为：根据步骤4提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Y_i之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的topk图像；其中，欧式距离计算方法为：

式中，a_i和b_i分别表示图像A与图像B特征向量中的第i个值，n为特征向量中值的个数，L₂(A,B)为图像A特征向量和图像B特征向量之间的欧式距离。

本发明的有益效果是，

1.本发明提出了基于卷积神经网络的印花织物图像检索方法，根据卷积神经网络的自学习能力，避免了图像缩放、旋转、平移等因素对检索结果造成的影响，适应能力强。

2.使用较小的专用数据集对已有的网络模型进行微调，提高了模型的准确性；利用GPU加速，大幅度提高了模型训练时间。

3.利用卷积神经网络模型提取印花织物图像第七全连接层特征，有效解决了因图像纹理复杂而导致特征表示不全面，从而导致检索精度不高的问题。

附图说明

图1是本发明基于卷积神经网络的印花织物图像检索方法的实现流程图；

图2是本发明基于卷积神经网络的印花织物图像检索方法的卷积神经网络结构图；

图3是本发明基于卷积神经网络的印花织物图像检索方法的部分印花织物top 10检索结果图；

图4是本发明基于卷积神经网络的印花织物图像检索方法的对应印花织物检索精度曲线图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明公开了基于卷积神经网络的印花织物图像检索方法，如图1所示，具体按照以下步骤实施：

步骤1，建立印花织物图像数据库，并批量进行预处理；具体按照以下步骤实施：

步骤1.1，准备用于检索的印花织物图像库，对库中所有图像进行手动分类，并按其所在类别进行重命名，比如0102.jpg，0308.jpg，0910.jpg，…，前两个数字表示它所属的类，后两个数表示是这一类中图像的第几幅图，比如，0308就表示第三类图像中第8张图；；

步骤1.2，将经步骤1.1重命名的所有的印花织物图像分为训练集train和测试集test两个部分，训练集和测试集中均包括图像的每一个类，然后根据图像所属类对训练集和测试集的图像加上对应的标签生成train.txt和test.txt标签文件；其中train.txt和test.txt文件为包含训练集train和测试集test中所有图像名的txt格式文件，其文件内容为“XX/X，X”格式，其中XX/X表示图像名称及格式，最后一个X为图像对应的标签；比如0102.jpg 1，0308.jpg 3，0910.jpg 9，分别表示该图像属于第1类、第3类、第9类；

步骤1.3，将所有图像统一缩放至256×256像素，并将所有图像转换为lmdb格式；

步骤1.4，计算训练集图像的均值，生成对应的均值文件，用于后续网络模型训练及特征提取；均值文件可利用caffe自带的文件compute_image_mean.exe得出；

其中，均值的计算公式为：

式中，m表示图像像素个数，x⁽ⁱ⁾为第i个元素的像素值E(x^(k))即为图像的均值。

步骤2，基于AlexNet网络模型训练印花织物卷积神经网络模型；

建立基于AlexNet网络模型的印花织物卷积神经网络模型的过程为：选用AlexNet卷积神经网络模型进行微调，将AlexNet网络模型输入source及均值文件mean_file路径改为步骤1中得到的文件，并将其余网络参数改为适应自己数据的值，修改第八全连接层的名称，用AlexNet网络模型前7层权重做fine-tuning，得到第七全连接层Fc7、第八全连接层Fc8和output层之间的权重，印花织物的卷积神经网络模型，包括五个卷积层和三个全连接层；训练过程中随机提取图像227*227的子块或镜像作为卷积神经网络的输入以防止过拟合。设定合适的卷积神经网络参数就可以训练出适合自己数据集的网络模型，卷积神经网络结构如图2所示。

其中，五个卷积层包括第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4和第五卷积层Conv5，三个全连接层分别为第六全连接层Fc6、第七全连接层Fc7和第八全连接层Fc8，并且第一卷积层至第五卷积层直接依次级联，第六全连接层至第八全连接层直接依次级联，第六全连接层直接连接到第五卷积层上，卷积层主要输出是图像的特征图，全连接层则输出图像的特征向量，本发明就是提取图像的第七全连接层的输出向量作为图像特征进行处理。

第一卷积层、第二卷积层均进行卷积操作后依次进行ReLU激活、归一化LRN和Pooling池化操作，第三卷积层和第四卷积层均进行卷积操作后再进行ReLU激活，第五卷积层进行卷积操作后再依次进行了ReLU激活和pooling池化操作，第六全连接层和第七全连接层均进行了Dropout操作，第八全连接层依次进行了Accuracy和Softmax-loss操作；

ReLU激活采用的激活函数为f(x)＝max(x,0)；

Pooling池化操作采用最大池化MAX方法，运算方法为：

w₁＝(w₀+2*pad-kernel_size)/stride+1

h₁＝(h₀+2*pad-kernel_size)/stride+1

式中，Pad为边缘扩充默认为0，kernel_size为池化的核大小，设置为3，步长stride为2，w₀、h₀为输入的特征图宽度和高度，w₁、h₁则是池化后的宽度和高度。

步骤3，采集待检索图像，并对其进行预处理；具体为一定光照条件下，成像设备将印花织物成像并放大，然后经过图像采集系统将数字图像信号传给计算机，形成二维灰度矩阵，即原始图像，计算机图像处理模块对采集到的图像进行预处理。

步骤4，将步骤1.4中生成的均值文件mean.binaryproto转换为MATLAB支持的mean.mat文件，用步骤2建立的印花织物的卷积神经网络模型结合转换后的均值文件对步骤1建立的图像数据库中的图像提取fc7层4096维特征向量，构建特征库，对步骤3中采集的待检索图像同样提取fc7层4096维特征向量；具体为：用步骤2建立的印花织物的卷积神经网络模型结合转换后的均值文件对步骤1建立的图像数据库中的图像提取fc7层4096维特征向量，构建特征库，对步骤3中采集的待检索图像同样提取fc7层4096维特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Y_i，i＝1,2,...,N，N为从图像数据库中提取的4096维特征向量的个数。

步骤5，对待检索图像的4096维特征向量与图像数据库图像中的每一个4096维特征向量进行欧式距离计算，对数据库图像按照欧式距离由小到大的顺序排列，按顺序将对应的top k织物图像反馈给用户，完成检索；具体为：根据步骤4提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Y_i之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的top k图像；其中，欧式距离计算方法为：

式中，a_i和b_i分别表示图像A与图像B特征向量中的第i个值，n为特征向量中值的个数，L₂(A,B)为图像A特征向量和图像B特征向量之间的欧式距离。

本发明系统检索性能可使用精度对关于查询图像的top k幅图像评价,精度计算公式为：

式中，Rel(i)表示待检索图像q与排在第i位的图像之间的分类标签准确性关联，Rel(i)∈{0,1}，如果待检索图像与检索出的第i幅图像具有相同的标签，则Rel(i)为1，否则为0。

本发明的第六和第七全连接层后都加了Dropout操作，用于防止过拟合，第八全连接层后依次进行了为Accuracy和Softmax-loss操作，主要用于计算训练精度及损失。

实施例

本实施例分别对豹纹印花、格子印花、花卉印花、文字印花进行了检索，检索出了Top 10，如图3所示。

如图4所示，基于卷积神经网络的印花织物图像检索方法检索性能，根据前50幅最为相似的印花织物图像求得的检索精度曲线，从中可以看出在豹纹、花卉、格子印花织物上，本发明检索精度基本上趋于1，文字印花精度也在0.8以上，而且检索一幅图像时间基本在3.3s左右。

Claims (10)

1.基于卷积神经网络的印花织物图像检索方法，其特征在于，具体按照以下步骤实施：

步骤1，建立印花织物图像数据库，并批量进行预处理；

步骤2，基于AlexNet网络模型训练印花织物卷积神经网络模型；

利用步骤1中建立的数据库训练印花织物卷积神经网络模型，包括五个卷积层和三个全连接层；

步骤3，采集待检索图像，并对其进行预处理；

步骤4，用步骤2建立的印花织物的卷积神经网络模型对步骤1建立的图像数据库中的图像及步骤3采集的待检索图像进行4096维特征向量提取；

步骤5，对待检索图像的4096维特征向量与图像数据库图像中的每一个4096维特征向量进行欧式距离计算，对数据库图像按照欧式距离由小到大的顺序排列，按顺序将对应的top k织物图像反馈给用户，完成检索。

2.根据权利要求1所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述步骤1具体按照以下步骤实施：

步骤1.1，准备用于检索的印花织物图像库，对库中所有的图像进行手动分类，并按其所在类别进行重命名；

步骤1.2，将经步骤1.1重命名的所有的印花织物图像分为训练集train和测试集test两个部分，训练集和测试集中均包括图像的每一个类，然后根据图像所属类对训练集和测试集的图像加上对应的标签生成train.txt和test.txt标签文件；

步骤1.3，将所有图像统一缩放至256×256像素，并将其转换为lmdb格式；

步骤1.4，计算训练集图像的均值，生成对应的均值文件mean.binaryproto。

3.根据权利要求2所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，步骤2中所述的五个卷积层包括第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4和第五卷积层Conv5，三个全连接层分别为第六全连接层Fc6、第七全连接层Fc7和第八全连接层Fc8，并且第一卷积层至第五卷积层直接依次级联，第六全连接层至第八全连接层直接依次级联，第六全连接层直接连接到第五卷积层上；

步骤2中所述的利用步骤1中建立的数据库训练印花织物卷积神经网络模型具体过程为：将Alex Net神经网络输入数据source及均值路径mean_file改为步骤1中生成的文件路径，并修改solver.prototxt中的训练参数，用步骤1中建立的数据库图像进行模型训练。

4.根据权利要求3所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述步骤3中具体为：一定光照条件下，成像设备将印花织物成像并放大，然后经过图像采集系统将数字图像信号传给计算机，形成二维灰度矩阵，即原始图像，计算机图像处理模块对采集到的图像进行预处理。

5.根据权利要求3所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述步骤1.2中生成的train.txt和test.txt文件为包含训练集train和测试集test中所有图像名的txt格式文件，其文件内容为“XX/X，X”格式，其中前两个X为图像名称，第三个X表示图像格式，最后一个X为图像对应的标签。

6.根据权利要求3所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述第一卷积层、第二卷积层均进行卷积操作后依次进行ReLU激活、归一化LRN和Pooling池化操作，第三卷积层和第四卷积层均进行卷积操作后再进行ReLU激活，第五卷积层进行卷积操作后再依次进行了ReLU激活和pooling池化操作，第六全连接层和第七全连接层均进行了Dropout操作，第八全连接层依次进行了Accuracy和Softmax-loss操作。

7.根据权利要求5所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述步骤1.4中计算训练集图像的均值的计算公式为：

<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msup> <mi>x</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> </mrow>

式中，m表示图像像素个数，x⁽ⁱ⁾为第i个元素的像素值，E(x^(k))即为图像的均值。

8.根据权利要求6所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述ReLU激活采用的激活函数为f(x)＝max(x,0)；

Pooling池化操作采用最大池化MAX方法，运算方法为：

w₁＝(w₀+2*pad-kernel_size)/stride+1

h₁＝(h₀+2*pad-kernel_size)/stride+1

式中，Pad为边缘扩充默认为0，kernel_size为池化的核大小，设置为3，步长stride为2，w₀、h₀为输入的特征图宽度和高度，w₁、h₁则是池化后的宽度和高度。

9.根据权利要求6所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述步骤4具体为：将步骤1.4中生成的均值文件mean.binaryproto转换为MATLAB支持的mean.mat文件，用步骤2建立的印花织物的卷积神经网络模型结合转换后的均值文件对步骤1建立的图像数据库中的图像提取fc7层4096维特征向量，构建特征库，对步骤3中采集的待检索图像同样提取fc7层4096维特征向量，记待检索图像的特征向量为X，图像数据库中的图像的特征向量为Y_i，i＝1,2,...,N，N为从图像数据库中提取的4096维特征向量的个数。

10.根据权利要求9所述的基于卷积神经网络的印花织物图像检索方法，其特征在于，所述步骤5具体为：根据步骤4提取的特征向量，计算待检索图像的特征向量X与图像数据库中的图像的特征向量Y_i之间的欧式距离，将图像数据库中的图像按欧式距离由小到大排列，排序后，提取出与最小欧式距离相对应的几幅图像，即为要检索的相似度最高的top k图像；其中，欧式距离计算方法为：

<mrow> <msub> <mi>L</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> </msup> </mrow>

式中，a_i和b_i分别表示图像A与图像B特征向量中的第i个值，n为特征向量中值的个数，L₂(A,B)为图像A特征向量和图像B特征向量之间的欧式距离。