CN105512289B - 基于深度学习和哈希的图像检索方法 - Google Patents

Abstract

本发明涉及一种基于深度学习和哈希的图像检索方法，利用深度卷积神经网络强大的学习能力，提取图像深层特征，克服现有技术中利用图像底层特征而导致特征表达能力不强、检索精度低的问题；并引入哈希层构造哈希函数，将图像深度特征的学习和哈希函数的构造在同一过程中完成，挖掘图像特征与哈希函数内在关系，大大提高图像检索准确率；将量化误差的损失加入到深度卷积神经网络的损失层，增强了哈希码的表达能力，通过Softmax分类器损失模块和量化误差损失模块，有效降低哈希函数中的二值化造成的量化误差，进一步提高图像检索的准确率。

Description

基于深度学习和哈希的图像检索方法

技术领域

本发明涉及图像检索领域，特别涉及一种基于深度学习和哈希的图像检索方法。

背景技术

随着大数据时代的到来，互联网图像资源迅猛增长，如何对大规模图像资源进行快速有效地检索以满足用户需求亟待解决。为了在大规模图像集中进行快速有效地检索，哈希技术将原始图像保持相似性地映射为二进制哈希码。由于二进制哈希码在汉明距离计算上的高效性和存储空间上的优势，哈希码在大规模图像检索非常地高效。基于内容的图像检索通过提取图像视觉底层特征来实现图像的内容表达。与这些底层特征相比，深度卷积神经网络更能够获得图像的内在特征，利用深度卷积神经网络提取的特征在目标检测、图像分类和图像分割等方面都表现出了良好的性能。中国专利(申请号：201010196539.0，公开号：CN101894130A)提出的公开了一种基于稀疏表达和拉普拉斯图的哈希索引方法,首先提取图像底层特征，进一步通过聚类得到视觉单词，然后利用有权重的拉普拉斯-贝尔特拉米算子的特征方程和特征根，求得欧式空间到汉明空间的映射函数，得到低维空间汉明向量,该方法哈希函数的构造假设训练数据服从均匀分布，使其应用受限；又如中国专利(申请号：201410441091.2，公开号：CN104182538A)公开了一种基于半监督哈希的图像检索方法，首先提取原始图像的底层特征，使用类标传递方法求训练数据的类标，根据类标产生编码；然后使用训练数据及其编码训练支持向量机分类器，最后数据根据支持向量机分类器的分类产生哈希编码，该方法中哈希构造算法对数据的分布没有要求，且检索精度有所提高，但它仍旧将图像特征提取和哈希函数的构造过程分为完全独立的两个过程，不能得到很好的哈希码表示图像，其检索精确度有待进一步的提高。Kevin Lin等在文章“DeepLearning of Binary Hash Codes for Fast Image Retrieval”中提出了一种利用深度卷积网络框架同时学习特征和哈希函数的算法，该文章中采用类别标签作为监督信息。该方法的不足之处是：它没有考虑到将连续值阈值化为哈希码时产生的量化误差，从而使得检索精度降低。

现有的基于哈希的图像检索技术基本上都是首先提取图像底层特征，然后构造保持图像特征相似性的哈希函数；最后，利用哈希函数将底层特征图像特征映射为哈希码，用哈希码表示图像用于大规模的图像检索，以发挥哈希码在存储空间少和汉明距离计算速度快的优势，将图像特征提取和哈希函数的构造过程分为完全独立的两个过程，不能构造出表达能力强哈希码表示图像，使得检索准确率低。

发明内容

针对现有技术中的不足，本发明提供一种基于深度学习和哈希的图像检索方法，同时学习图像特征和哈希编码的深度卷积网络架构，在该架构中加入哈希层和将连续值量化为二进制编码所引起的量化误差损失，利用该架构生成表达能力非常强的哈希码，大大提高图像检索的准确率，解决现有技术中因生成的哈希码表达能力不强而引起检索准确率较低的问题。

按照本发明所提供的设计方案，一种基于深度学习和哈希的图像检索方法，具体包含如下步骤：

步骤1.将图像数据集及其对应的类别标签信息分别对应分成两部分，一部分作为训练样本集，另一部分作为测试样本集，其中，训练样本集和测试样本集中每个样本均包括一张图像及对应的类别标签；

步骤2.构建深度卷积神经网络架构，深度卷积神经网络架构包含卷积子网络、哈希层、损失层，卷积子网络用于学习图像特征，哈希层包括全连接层、激活层和阈值化层，用于学习哈希函数的构建并得到输入图像的哈希码，损失层包括Softmax分类器损失模块和量化误差损失模块；

步骤3.利用训练样本集，依据深度卷积神经网络架构，得到深度卷积神经网络模型；

步骤4.根据深度卷积神经网络模型，将训练样本集和测试样本集中的每张图像作为输入，得到训练样本集的哈希码H_train和测试样本集的哈希码H_test；

步骤5.从H_test取一个测试图像的哈希码H_t，计算该哈希码H_t与训练样本集哈希码H_train之间的汉明距离，得到汉明距离向量；

步骤6.汉明距离向量中的数值按从小到大的顺序进行排序，按顺序输出对应的原始图像，得到图像检索结果。

上述的，步骤2中卷积子网络包括多个卷积层，池化层和全连接层。

上述的，步骤2中，输入图像通过卷积子网络得到图像特征x⁽ⁱ⁾，进入哈希层，假设需要生成哈希码的长度为q，全连接层将图像特征x⁽ⁱ⁾映射为q维向量，即f(x⁽ⁱ⁾)＝Wx⁽ⁱ⁾，其中，W表示全连接层的参数矩阵；激活层使用双正切激活函数将q维向量映射为值域在[-1,1]之间的q维向量，即其中，v＝f(x⁽ⁱ⁾)，参数β用于控制平滑度；阈值化层将激活层的值进行量化，其中，s＝tanh(f(x⁽ⁱ⁾))，阈值化层的输出为二进制哈希码。

上述的，步骤2中的量化误差损失模块，用于获得激活层输出的连续值与阈值化层输出的哈希码之间误差损失其中，h＝g(tanh(f(x⁽ⁱ⁾)))为阈值化层输出的哈希码，x＝tanh(f(x⁽ⁱ⁾))为激活层输出的连续值。

优选的，损失层损失函数为L_loss＝L_softmaxLoss+λL_q，其中，L_softmaxLoss为Softmax分类器损失模块的误差损失，即

，其中1{.}为示性函数，1{值为真的表达式}＝1，参数θ_j(j＝1,2,…k)是softmax回归的参数，y⁽ⁱ⁾是图像的类别标签；L_q为量化误差损失模块的误差损失，λ为权重因子。

本发明的有益效果：

1.本发明针对现有图像检索技术图像检索准确率低的问题，利用深度卷积网络同时学习图像的特征和哈希编码，考虑将连续值量化为二进制编码所引起的量化误差，在整个学习框架中加入量化误差最小的目标约束，在深度卷积网络架构中加入哈希层和将连续值量化为二进制编码所引起的量化误差的损失，挖掘了图像特征与哈希函数内在关系，并利用深度卷积网络架构生成表达能力非常强的哈希码，大大提高了图像检索的准确率。

2.本发明利用深度卷积神经网络强大的学习能力，提取图像深层特征，克服现有技术中利用图像底层特征而导致特征表达能力不强、检索精度低的问题；并引入哈希层构造哈希函数，将图像深度特征的学习和哈希函数的构造在同一过程中完成，挖掘图像特征与哈希函数内在关系，大大提高图像检索准确率；将量化误差的损失加入到深度卷积神经网络的损失层，增强了哈希码的表达能力，通过Softmax分类器损失模块和量化误差损失模块，有效降低哈希函数中的二值化造成的量化误差，进一步提高图像检索的准确率。

附图说明：

图1为本发明的流程示意图。

具体实施方式：

下面结合附图和技术方案对本发明作进一步详细的说明，并通过优选的实施例详细说明本发明的实施方式，但本发明的实施方式并不限于此。

实施例一，参见图1所示，一种基于深度学习和哈希的图像检索方法，具体包含如下步骤：

步骤1.将图像数据集及其对应的类别标签信息分别对应分成两部分，一部分作为训练样本集，另一部分作为测试样本集，其中，训练样本集和测试样本集中每个样本均包括一张图像及对应的类别标签；

步骤2.构建深度卷积神经网络架构，深度卷积神经网络架构包含卷积子网络、哈希层、损失层，卷积子网络用于学习图像特征，哈希层包括全连接层、激活层和阈值化层，用于学习哈希函数的构建并得到输入图像的哈希码，损失层包括Softmax分类器损失模块和量化误差损失模块；

步骤3.利用训练样本集，依据深度卷积神经网络架构，得到深度卷积神经网络模型；

步骤4.根据深度卷积神经网络模型，将训练样本集和测试样本集中的每张图像作为输入，得到训练样本集的哈希码H_train和测试样本集的哈希码H_test；

步骤5.从H_test取一个测试图像的哈希码H_t，计算该哈希码H_t与训练样本集哈希码H_train之间的汉明距离，得到汉明距离向量；

步骤6.汉明距离向量中的数值按从小到大的顺序进行排序，按顺序输出对应的原始图像，得到图像检索结果。

实施例二，参见图1所示，一种基于深度学习和哈希的图像检索方法，具体包含如下步骤：

步骤1.将图像数据集及其对应的类别标签信息分别对应分成两部分，一部分作为训练样本集，另一部分作为测试样本集，其中，训练样本集和测试样本集中每个样本均包括一张图像及对应的类别标签；

步骤2.构建深度卷积神经网络架构，深度卷积神经网络架构包含卷积子网络、哈希层、损失层，卷积子网络包括多个卷积层，池化层和全连接层，用于学习图像特征，哈希层包括全连接层、激活层和阈值化层，用于学习哈希函数的构建并得到输入图像的哈希码，损失层包括Softmax分类器损失模块和量化误差损失模块，损失层损失函数为L_loss＝L_softmaxLoss+λL_q，其中，L_softmaxLoss为Softmax分类器损失模块的误差损失，L_q为量化误差损失模块的误差损失，λ为权重因子，输入图像通过卷积子网络得到图像特征x⁽ⁱ⁾，进入哈希层，假设需要生成哈希码的长度为q，全连接层将图像特征x⁽ⁱ⁾映射为q维向量，即f(x⁽ⁱ⁾)＝Wx⁽ⁱ⁾，其中，W表示全连接层的参数矩阵；激活层使用双正切激活函数将q维向量映射为值域在【-1,1】之间的q维向量，即其中，v＝f(x⁽ⁱ⁾)，参数β用于控制平滑度；阈值化层将激活层的值进行量化，s＝tanh(f(x⁽ⁱ⁾))，阈值化层的输出为二进制哈希码，用于获得激活层输出的连续值与阈值化层输出的哈希码之间误差损失其中，h＝g(tanh(f(x⁽ⁱ⁾)))为阈值化层输出的哈希码，x＝tanh(f(x⁽ⁱ⁾))为激活层输出的连续值；Softmax分类器的误差损失为其中1{.}为示性函数，1{值为真的表达式}＝1，参数θ_j(j＝1,2,…k)是softmax回归的参数，y⁽ⁱ⁾是图像的类别标签。卷积子网络可以使用AlexNet模型、NIN(Network in Network)模型、VGG模型等；

步骤3.利用训练样本集，依据深度卷积神经网络架构，得到深度卷积神经网络模型，深度卷积神经网络架构参数根据实际使用需求可以使用基于开源Caffe进行训练学习；

步骤4.根据深度卷积神经网络模型，将训练样本集和测试样本集中的每张图像作为输入，得到训练样本集的哈希码H_train和测试样本集的哈希码H_test，

阈值化层的输出即为该图像的哈希码；

步骤5.从H_test取一个测试图像的哈希码H_t，计算该哈希码H_t与训练样本集哈希码H_train之间的汉明距离，得到汉明距离向量；

步骤6.汉明距离向量中的数值按从小到大的顺序进行排序，按顺序输出对应的原始图像，得到图像检索结果。

本发明利用深度卷积神经网络强大的学习能力，提取图像深层特征，克服现有技术中利用图像底层特征而导致特征表达能力不强、检索精度低的问题；并引入哈希层构造哈希函数，将图像深度特征的学习和哈希函数的构造在同一过程中完成，挖掘图像特征与哈希函数内在关系，大大提高图像检索准确率；将量化误差的损失加入到深度卷积神经网络的损失层，增强了哈希码的表达能力，通过Softmax分类器损失模块和量化误差损失模块，有效降低哈希函数中的二值化造成的量化误差，进一步提高图像检索的准确率。

本发明并不局限于上述具体实施方式，本领域技术人员还可据此做出多种变化，但任何与本发明等同或者类似的变化都应涵盖在本发明权利要求的范围内。

Claims (4)

1.一种基于深度学习和哈希的图像检索方法，具体包含如下步骤：

步骤1.将图像数据集及其对应的类别标签信息分别对应分成两部分，一部分作为训练样本集，另一部分作为测试样本集，其中，训练样本集和测试样本集中每个样本均包括一张图像及对应的类别标签；

步骤2.构建深度卷积神经网络架构，深度卷积神经网络架构包含卷积子网络、哈希层、损失层，卷积子网络用于学习图像特征，哈希层包括全连接层、激活层和阈值化层，用于学习哈希函数的构建并得到输入图像的哈希码，损失层包括Softmax分类器损失模块和量化误差损失模块；输入图像通过卷积子网络得到图像特征x⁽ⁱ⁾，进入哈希层，假设需要生成哈希码的长度为q，全连接层将图像特征x⁽ⁱ⁾映射为q维向量，即f(x⁽ⁱ⁾)＝Wx⁽ⁱ⁾，其中，W表示全连接层的参数矩阵；激活层使用双正切激活函数将q维向量映射为值域在[-1,1]之间的q维向量，即其中，v＝f(x⁽ⁱ⁾)，参数β用于控制平滑度；阈值化层将激活层的值进行量化， 其中，s＝tanh(f(x⁽ⁱ⁾))，阈值化层的输出为二进制哈希码；

步骤3.利用训练样本集，依据深度卷积神经网络架构，得到深度卷积神经网络模型；

步骤4.根据深度卷积神经网络模型，将训练样本集和测试样本集中的每张图像作为输入，得到训练样本集的哈希码H_train和测试样本集的哈希码H_test；

步骤5.从H_test取一个测试图像的哈希码H_t，计算该哈希码H_t与训练样本集哈希码H_train之间的汉明距离，得到汉明距离向量；

步骤6.汉明距离向量中的数值按从小到大的顺序进行排序，按顺序输出对应的原始图像，得到图像检索结果。

2.根据权利要求1所述的基于深度学习和哈希的图像检索方法，其特征在于：步骤2中卷积子网络包括多个卷积层，池化层和全连接层。

3.根据权利要求1中所述的基于深度学习和哈希的图像检索方法，其特征在于：步骤2中的量化误差损失模块，用于获得激活层输出的连续值与阈值化层输出的哈希码之间误差损失其中，h＝g(tanh(f(x⁽ⁱ⁾)))为阈值化层输出的哈希码，x＝tanh(f(x⁽ⁱ⁾))为激活层输出的连续值。

4.根据权利要求1或3所述的基于深度学习和哈希的图像检索方法，其特征在于：损失层损失函数为L_loss＝L_softmaxLoss+λL_q，其中，为Softmax分类器损失模块的误差损失，L_q为量化误差损失模块的误差损失，λ为权重因子。