CN108932314A - 一种基于深度哈希学习的菊花图像内容检索方法 - Google Patents

Abstract

本发明公开了一种基于深度哈希学习的菊花图像内容检索方法，该方法利用深度神经网络算法和Hash编码来进行图像的识别和检索，首先建立训练集和测试集对待识别图像进行预数据处理，增强图像的泛化能力和识别度，然后通过卷积神经网络构建菊花图像特征提取模型，通过在卷积神经网络的哈希层哈希编码实现查询计算。该方法基于深度哈希学习使得高维数据在向低维空间映射时，数据在高维空间的相似性能够在海明空间得到保持，使得高维数据在向低维空间映射时保持编码平衡准则，本发明对菊花数据集进行处理，增强数据集以增强模型泛化能力，并提高了图像的检索质量和检索效率。

Description

一种基于深度哈希学习的菊花图像内容检索方法

技术领域

本发明属于计算机、人工智能等技术领域，具体涉及一种基于深度哈希学习 的菊花图像内容检索方法。

背景技术

目前，对于植物和花的识别，主要采用了机器学习技术。针对不同菊花花型 的识别缺少深入的研究，现有技术虽然已经能识别出大部分的花卉，但是针对菊 花图像内容的查询检索方面准确性和效率还有待提高。

现有花的种类识别技术主要有：(1)微软识花是由微软亚洲研究院与中国 科学院植物研究所推出的智能识别花卉品种的App应用，能够识别大部分的花卉 品种并提供丰富的花卉知识；(2)形色是一款植物识别APP应用，能够在1～5 秒识别植物的名字；(3)基于卷积神经网络技术的植物种类识别。

发明内容

发明目的：针对上述现有技术问题，本发明提出一种基于深度哈希学习的菊 花图像内容检索方法，针对平瓣、匙瓣、管瓣、桂瓣和畸瓣不同花瓣类型的菊花 花型识别，提高了菊花图像的在线检索效率。

技术方案：一种基于深度哈希学习的菊花图像内容检索方法，所述的方法包 括下列步骤：

(1)图像数据信息预处理，包括建立训练数据集和测试数据集预处理；

(2)构建图像检索模型，所述图像检索模型基于卷积神经网络建立，所述 卷积神经网络包括输入层、卷积层、全连接层、池化层和哈希层；

(3)建立图像检索系统，所述图像检索系统包括选择图像、查看图像和检 索图像三个子系统模块。

进一步的，所述方法构建的图像检索模型中模型训步骤如下：

(a)初始化网络参数的权值参数；

(b)将选取好的训练集图像输入卷积神经网络，并设定网络参数，所述网络 参数包括训练集图像数量Train_coun、图像大小、学习率η、每批次训练图像数 BATCH_SIZE、迭代次数EPOCH、和哈希编码长度BITSLENGTH，所述学习率η为 0.001-0.1，所述哈希编码长度BITSLENGTH为16，24，32，48，64；

(c)训练图像通过卷积神经网络进行前向传导，得到输出值；

(d)设置损失函数，计算实际的输出值与预测的输出值之间的误差，其计算 表达式如下：

其中，b_i,1，b_i,2为网络哈希层得到的二进制编码，y_i为“伪”类标签，如 果两张图像相似，那么y_i＝0，否则y_i＝1。N为数据集大小，λ为阈值参数，设为 2*BITSLENGTH，α为控制正则化强度的权重参数，设为0.01。

当y_i＝0时，损失函数公式的第2项为0，那么它们的海明距离就是它们之间 的损失为式中第1项和第3项之和；在y_i＝1时，第1项为0，损失为式中第1 项和第3项之和。为了避免过拟合问题，采用正则化的方法来处理。L1正则化， 见公式：

L2正则化，见公式：

(e)将误差进行反向传播，且逐步更新卷积神经网络的所有权值参数，参数 的更新计算表达式如下所示：

其中θ表示参数，L(θ)是损失函数，参数θ的梯度为η为学习率， 用来定义每次参数更新的幅度。通过使用参数的学习率和梯度来调整参数。

(f)哈希函数的阈值设置为均值，其计算表达式如下：

优选的，上述步骤(b)将选取好的训练集图像输入卷积神经网络，训练集 图像数量Train_count为4000，图像大小为64*64，图像类别为平瓣、匙瓣、管 瓣、桂瓣和畸瓣，设定学习率η为0.001，每批次训练图像数BATCH_SIZE为100 张。迭代次数EPOCH为800轮，每10轮保存一次模型，BITSLENGTH为哈希编 码可选长度为16，24，32，48，64；

进一步的，步骤(1)中训练数据集和测试数据集在对图像进行处理后按照 类别分别保存到文本文件，然后将所有图像的顺序随机打乱后保存到新的文本文 件中，生成最终的训练集目录和测试集目录；

进一步的，所述的类别为菊花图像的形状类别，包括平瓣、匙瓣、管瓣、桂 瓣和畸瓣；

进一步的，步骤(2)所构建的图像检索模型包括5层卷积层、5层池化层、 1层全连接层和1层哈希层；

更进一步的，所述方法的输入层的数据大小为64*64*3，经过一层卷积层， 卷积filter大小为3*3，stride为1，filter数量为32，使用全0填充；然后经过一 层池化层，大小为3*3，stride为2，池化层不使用全0填充；其次经过Relu激 活函数和LRN处理，输出结果作为下一层的输入；接着按照相同的方式进行4 次卷积和池化操作，缩小图像的宽和高，增加通道数，直到256；最后用一个全 连接层将数据变为1*1*4000的形式，再通过一个有k个节点的全连接层，学习 哈希函数。各层具体参数如图4-图11所示。

更进一步的，当完成图像检索模型训练后，构建图检索系统，然后对图像检 索系统的系统网络中哈希层输出的数值进行均值量化，转换成图像二进制编码， 保持哈希编码平衡准则。

更进一步的，菊花图像内容检索包括如下步骤：

(31)特征提取：将菊花图像数据库中的图像以图像文件名、图像像素矩阵 和图像标签一一对应的方式添加到二进制文件中，将图像数据输入到卷积神经网 络中进行菊花特征提取；

(32)哈希编码：哈希编码包括哈希函数学习阶段和生成哈希编码阶段两个 阶段，所述哈希函数学习阶段在训练集上对神经网络进行训练优化，从而学习得 到哈希函数；所述生成哈希编码阶段将图像数据库的图像数据输入到训练好的模 型中，通过学习好的哈希函数得到相应的哈希编码；

(33)海明距离排序：对于给定的查询图像，分别计算查询图像的哈希编码 与其他图像哈希编码之间的海明距离，然后按海明距离从小到大的顺序进行相似 性排序，得到检索结果。

有益效果：本发明与现有技术相比，其显著的效果在于：第一、本发明在数 据预处理上通过增强数据集提高了模型泛化能力；第二、本发明使用卷积神经网 络提取图像特征，并对特征值进行哈希处理，提高了图像识别的准确率；第三、 本发明通过计算哈希编码的相似度来检索相似图像，检索速度快。

附图说明

图1是本发明检菊花图像内容检索处理流程图；

图2是本发明图像数据预处理流程图；

图3是本发明训练集测试集选择过程示意图；

图4是本发明检索模型中系统网络层结构示意图；

图5是本发明检索模型中第一个卷积层Conv1结构示意图；

图6是本发明检索模型中第二个卷积层Conv2结构示意图；

图7是本发明检索模型中第三个卷积层Conv3结构示意图；

图8是本发明检索模型中第四个卷积层Conv4结构示意图；

图9是本发明检索模型中第五个卷积层Conv5结构示意图；

图10是本发明检索模型中全连接层FC6结构示意图；

图11是本发明检索模型中哈希层结构示意图；

图12是本发明检索系统中各部件结构示意图；

图13是本发明图像检索的过程示意图；

图14是本发明的基于深度哈希学习的菊花图像内容检索框架。

具体实施方式

为了详细的说明本发明公开的技术方案，下面结合说明书附图及具体实施例 做作一步的说明。

本发明公开的是一种基于深度哈希学习的菊花图像内容检索方法，如图1 所示，该方法包括以下步骤：

(1)图像预处理，包括建立训练数据集和测试数据集；

(2)构建图像检索模型，所述图像检索模型基于卷积神经网络建立，所述卷 积神经网络的包括输入层、卷积层、全连接层和哈希层；

(3)建立图像检索系统，该系统包括选择图像、查看图像、检索图像。 具体的方法通过以下具体实施例详细阐述。

一、数据预处理

图像数据预处理流程图如图2所示，首先输入样本图像数据，跟据样本图像 建立训练样本，本发明中使用的训练样本的类别根据菊花的形状，共5种类型： 平瓣、匙瓣、管瓣、桂瓣和畸瓣。然后将训练集图像翻转90度、180度、270 度来增强数据集；为了增强模型的泛化能力，调整图像亮度、对比度，并对图像 进行标准化处理。

训练集测试集选取过程如图2所示。将训练集和测试集中的每个处理后的菊 花图像及对应类别保存到文本文件，然后将所有图像的顺序随机打乱后保存到新 的文本文件中，生成最终的训练集目录和测试集目录。

二、构建图像检索模型

本发明设计的卷积神经网络共12层，具体结构如图4所示。该模型接受的 输入为图像数据。首先，输入层的图像数据大小为64*64*3，经过一层卷积，卷 积filter大小为3*3，stride为1，filter数量为32，使用全0填充。然后经过一层 pooling，大小为3*3，stride为2，池化层不使用全0填充，然后经过Relu激活 函数和LRN处理，输出结果作为下一层的输入。接着按照相同的方式进行4次 卷积和池化操作，让宽和高越来越小，而通道数逐倍增加，直到256。最后用一 个全连接层将数据变为1*1*4000的形式，再通过一个有k个节点的全连接层， 学习哈希函数。当网络模型训练完成，对网络哈希层输出的数值进行量化，转换成图像二进制编码。

图5为第一个卷积层Conv1层设计图，输入数据为原始的64*64*3的图像， 卷积层的卷积核数目为32个，卷积核的移动切片步长为1，卷积核的大小为3*3， 经过卷积，数据大小变为64*64*32。使用Relu函数为神经元激活函数。池化层 Pool1层的卷积核大小为3*3，移动步长为2，经过池化处理，数据大小变为 32*32*32。LRN进行局部响应归一化，作用是对于每个元素按照给定的系数逐一 进行规范化处理，以提高神经网络分类精确度。

图6为Conv2卷积层设计图，和Conv1卷积层设计一样，卷积核数量为32。 输入为Conv1层的输出，输入数据大小为32*32*32。经过卷积，数据大小变为 32*32*32，经过池化处理，变为16*16*32。采用Relu激活函数和LRN归一化。

图7为Conv3卷积层设计图，和Conv1卷积层设计一样。卷积核数量为64， 输入为Conv2层的输出，数据大小为16*16*32。经过卷积，数据大小变为 16*16*64，经过池化处理，变为8*8*64.采用Relu激活函数和LRN归一化。

图8为Conv4卷积层设计图，和Conv1卷积层设计一样。卷积核数量为128， 输入为Conv3层的输出，数据大小为8*8*64。经过卷积，数据大小变为8*8*128， 经过池化处理，变为4*4*128。采用Relu激活函数和LRN归一化。

图9为Conv5卷积层设计图，输入为Conv4层的输出。卷积核数量为256， 输入数据大小为4*4*128，经过卷积，数据量大小变为4*4*256，经过池化处理， 数据大小变为2*2*256。采用Relu激活函数。

图10是全连接层FC6，输入是Conv5层的输出，输出神经元个数设为4000 个。即卷积核数量为4000，卷积核大小与输入数据尺寸相同，为2*2。全连接层 输入数据量大小为2*2*256，经过这一层，输出数据大小为1*1*4000。采用Relu 激活函数。

图11是哈希层，输入为FC6层的输出，输出神经元个数为k个，即生成的 编码位数。卷积核数量为k个，卷积核大小与输入数据尺寸相同，为1*1。经过 这一层，数据量大小由1*1*4000变为1*1*k。

三、建立图像检索系统

基于上述的图像检索模型建立菊花检索系统，该系统的各功能模块关系如图 12所示，本发明所述基于深度哈希学习的菊花检索系统，主要分三个功能部分， 包括选择图像功能、查看图像功能和检索图像功能。

图像检索系统包含有浏览资源管理器选择待查询图像并在页面中查看图像 信息的功能，和按名从图像库中查找与查询图像相似图像的功能。

首先选择待查询的图像，然后根据查询图像的名称，找到其在result.dat 文件中的编码，再将该编码与其他图像编码进行海明距离计算，得到最相似的 top-15作为结果，并在界面中显示查询结果。

检索的过程见下图13所示，模型构建分为卷积神经网络训练阶段和模型使 用阶段的流程图。下面是训练阶段的流程。

(1)初始化网络参数的权值参数；

(2)将选取好的训练集图像输入卷积神经网络，设定每批次训练图像100 张，共训练40批。迭代次数设置为800轮，每10轮保存一次模型(按批次训练 图像，防止因一次性的读取所有数据而造成内存溢出现象)；

(3)训练图像通过卷积神经网络进行前向传导，得到输出值；

(4)设置损失函数，计算实际的输出值与预测的输出值之间的误差。损失 函数计算方法见公式(1)；

(5)将误差进行反向传播，也就是计算每层的每个神经元的残差，以此来 更新与神经元相连的权值参数，按照此方法逐步更新卷积神经网络的所有权值参 数。参数的更新方式见公式(4)；

(6)继续训练网络，直到迭代次数达到预设值。

其中，b_i,1，b_i,2为网络哈希层得到的二进制编码。y_i为“伪”类标签，如果 两张图像相似，那么y_i＝0，否则y_i＝1。N为数据集大小，λ为阈值参数，设为 2*BITSLENGTH。α为控制正则化强度的权重参数，设为0.01。

当y_i＝0时，损失函数公式的第2项为0，那么它们的海明距离就是它们之间 的损失为式中第1项和第3项之和；在y_i＝1时，第1项为0，损失为式中第1项 和第3项之和。

为了避免过拟合问题，经常采用正则化的方法来处理。L1正则化，见公式 (2)：

L2正则化，见公式(3)：

其中θ表示参数，L(θ)是损失函数。参数的梯度可以用求偏导的方式计算， 对于参数θ，其梯度为η为学习率，用来定义每次参数更新的幅度。 通过使用参数的学习率和梯度来调整参数。

本发明的基于深度哈希学习的菊花图像内容检索框架如图14所示。可以分 为特征提取、哈希编码和海明距离排序三个步骤：

(1)特征提取。将菊花图像数据库中的图像以图像文件名、图像像素矩阵和 图像标签一一对应的方式添加到二进制文件中。将图像数据输入到卷积神经网络 中实现菊花特征提取。

(2)哈希编码。哈希编码可以分为两个阶段，哈希函数学习阶段和生成哈希 编码阶段。第一阶段是在训练集上对神经网络进行训练优化，从而学习得到哈希 函数；第二阶段是将图像数据库的图像数据输入到训练好的模型中，通过学习好 的哈希函数得到相应的哈希编码。

(3)海明距离排序。对于给定的查询图像，分别计算查询图像的哈希编码与 其他图像哈希编码之间的海明距离，然后按海明距离从小到大的顺序进行相似性 排序，得到检索结果。

下面是模型的使用流程。

(1)加载已经训练好的卷积神经网络；

(2)将测试集样本输入到网络中，根据网络输出生成图像的哈希编码并保 存。哈希编码的量化过程见公式(5)；

(3)选取测试集中一个样本，使用哈希编码计算该样本与其他图像的相似 度，并选取相似性测试结果的前15条，统计其中检测正确的数据总数，计算正 确个数占其检测总数的比例，得到精度。对于测试集中的100个样本，计算所有 的精度并取平均值，得到模型的平均精确度；

(4)根据得到的图像二进制编码，计算查询图像与图像库中其他图像哈希 编码之间的海明距离，按照从小到大的顺序返回检索结果。海明距离计算方式见 公式(6)。

其中H_i为网络哈希层第i个节点的输出值，b_i为第i个节点输出经过量化 得到的二值码。即将输出中小于或者等于0的值量化为0，大于0的值量化为1。

其中表示异或运算，x_i∈{0,1}，y_i∈{0,1}分别表示两幅不同图像的哈希 编码。

图像检索系统包含有浏览资源管理器选择待查询图像并在页面中查看图像 信息的功能，和按名从图像库中查找与查询图像相似图像的功能。

首先选择待查询的图像，然后根据查询图像的名称，找到其在result.dat 文件中的编码，再将该编码与其他图像编码进行海明距离计算，得到最相似的 top-15作为结果，并在界面中显示查询结果。

本发明能够生成保留了图像相似性的哈希编码，并根据哈希编码进行相似度 检测，提升了检索效率。

实验验证：共4000张菊花图像，每类800张，设置迭代轮数为800轮，哈 希长度设置为24位，每批训练100张图像，每轮训练40批次。每训练10批输 出一次损失值,整个训练时间45398秒。训练损失值从37.82降低到0.0123左右， 整体呈递减趋势。且完成一次迭代平均消耗45.4秒。

实验表明，本方法查询结果平均查询精度mAP较好，效率较高，检索一次平 均之间0.2ms。查询的mAP结果如表所示。

Claims (9)

1.一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：包括下列步骤：

(1)图像数据信息预处理，包括训练数据集和测试数据集预处理，预处理的方法包括图像的旋转、白化、均值与方差的均衡；

(2)构建图像检索模型，所述图像检索模型基于卷积神经网络建立，卷积神经网络包括输入层、卷积层、全连接层、池化层和哈希层；

(3)建立图像检索系统，所述图像检索系统包括选择图像、查看图像和检索图像三个子系统模块。

2.根据权利要求1所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：所述方法构建的图像检索模型中模型训练步骤如下：

(a)初始化网络参数的权值参数；

(b)将选取好的训练集图像输入卷积神经网络，并设定网络参数，所述网络参数包括训练集图像数量Train_coun、图像大小、学习率η、每批次训练图像数BATCH_SIZE、迭代次数EPOCH和哈希编码长度BITSLENGTH，所述学习率η为0.001-0.1，所述哈希编码长度BITSLENGTH为16，24，32，48，64；

(c)训练图像通过卷积神经网络进行前向传导，得到输出值；

(d)设置损失函数，计算实际的输出值与预测的输出值之间的误差，其计算表达式如下：

其中，b_i,1，b_i,2为网络哈希层得到的二进制编码，y_i为“伪”类标签，若两张图像相似，那么y_i＝0，否则y_i＝1；N为数据集大小，λ为阈值参数，设为2*BITSLENGTH，α为控制正则化强度的权重参数，设为0.01；

(e)将误差进行反向传播，且逐步更新卷积神经网络的所有权值参数，参数的更新计算表达式如下所示：

其中θ表示参数，L(θ)是损失函数，参数θ的梯度为η为学习率，定义每次参数更新的幅度；

(f)哈希函数的阈值设置为均值，其计算表达式如下：

3.根据权利要求2所述的一种基于深度哈希学习的菊花图像内容检索方法其特征在于：步骤(d)中采用正则化方法避免过拟合问题，具体包括L1正则和L2正则，其计算公式如下：

L1正则化公式如下：

L2正则化公式如下：

4.根据权利要求1所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：步骤(1)中训练数据集和测试数据集在对菊花图像进行处理后按照菊花图像类别分别保存到文本文件中，然后将所有图像的顺序随机化后保存到新的文本文件中，生成最终的训练集目录和测试集目录。

5.根据权利要求4所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：所述的菊花图像类别包括平瓣型、匙瓣型、管瓣型、桂瓣型和畸瓣型。

6.根据权利要求1所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：步骤(2)所构建的图像检索模型包括5层卷积层、5层池化层、1层全连接层和1层哈希层，所述哈希层阈值采用均值作为阈值。

7.根据权利要求1或6所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：所述方法的输入层的数据大小为64*64*3，经过一层卷积层，卷积filter大小为3*3，stride为1，filter数量为32，使用全0填充；然后经过一层池化层，大小为3*3，stride为2，池化层全0填充；其次经过Relu激活函数和LRN处理，输出结果作为下一层的输入；接着按照相同的方式进行4次卷积和池化操作，缩小图像的宽和高，增加通道数，直到256；最后用一个全连接层将数据变为1*1*4000的形式，再通过一个有k个节点的全连接层，学习哈希函数。

8.根据权利要求7所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：当完成图像检索模型训练后，构建图检索系统，然后对图像检索系统的系统网络中哈希层输出的数值进行量化，采用均值作为阈转换成图像二进制编码，保持哈希编码平衡准则。

9.根据权利要求8所述的一种基于深度哈希学习的菊花图像内容检索方法，其特征在于：菊花图像内容检索包括如下步骤：

(31)特征提取：将菊花图像数据库中的图像以图像文件名、图像像素矩阵和图像标签一一对应的方式添加到二进制文件中，将图像数据输入到卷积神经网络中进行菊花特征提取；

(32)哈希编码：哈希编码包括哈希函数学习阶段和生成哈希编码阶段两个阶段，所述哈希函数学习阶段在训练集上对神经网络进行训练优化，从而学习得到哈希函数；所述生成哈希编码阶段将图像数据库的图像数据输入到训练好的模型中，通过学习好的哈希函数得到相应的哈希编码；

(33)海明距离排序：对于给定的查询图像，分别计算查询图像的哈希编码与其他图像哈希编码之间的海明距离，然后按海明距离从小到大的顺序进行相似性排序，得到检索结果。