CN110188227A - 一种基于深度学习与低秩矩阵优化的哈希图像检索方法 - Google Patents

Abstract

本发明公开了一种基于深度学习与低秩矩阵优化的哈希图像检索方法，包括以下步骤：S1、获取图像数据，对数据进行标注和预处理，构造图像检索的数据集，并将其分为训练集与测试集；S2、搭建深度特征提取网络，构建深度哈希网络主干；S3、将训练集输入深度哈希网络主干，基于极大化概率似然和低秩正则化损失函数，构建哈希网络；S4、对哈希网络进行训练；S5、将测试集与训练集图像分别输入哈希网络，生成二值哈希编码，计算相互的汉明距离；S6、返回训练集中汉明距离最小图片作为检索结果。本发明克服了直接用二值化连续值特征编码到汉明空间造成的相似性信息破环和量化误差大的问题，提高了基于哈希表征的图像检索方法的性能。

Description

一种基于深度学习与低秩矩阵优化的哈希图像检索方法

技术领域

本发明属于哈希图像检索与人工智能技术领域，特别涉及一种基于深度学习与低秩矩阵优化的哈希图像检索方法。

背景技术

近几年，互联网技术、智能硬件和多媒体技术得到了前所未有的发展，涌现出了大量的网络数据，特别是移动设备的广泛使用，使得各种各样的图片数据充满着网络平台和电子通讯设备，如何更加精确高效地对海量图片资源进行匹配与检索，无论在理论研究还是在商业应用中，都具有重大的价值，比如电商购物平台中相似产品的推荐、人脸检索等等。

目前的图像检索方法主要包括基于文本标签的检索和基于图像内容的检索。传统的图像检索方式基于图片对应的文本标签作为检索的关键词，为了达到精确的检索，往往需要对图片进行大量的语义标签上的标注。受制于人力成本与时间成本，加之标注时易于引入主观判断上的偏差和有限语义标注信息在表达丰富图像内容上的局限性，基于语义标签的图像检索往往优势不足。近年来，随着深度学习的发展，特别是深度卷积神经网络的出现，使得模型的表征能力大大提升，基于图像内容的检索的得到快速的发展并得到了广泛应用。谷歌、百度等各大搜索引擎相继采用“以图搜图”的图片检索方式，使图片检索技术在灵活性和准确度上得到很大的提高。

哈希表征学习是图像检索领域的常用算法，其旨在将高维度的数据信息编码成紧凑的二值哈希码，并利用生成的哈希码结合相应的度量学习方式，如汉明距离，进行相似性的判断。由于其存储与检索的高效性，在信息检索和计算机视觉领域得到了广泛的关注。卷积神经网络作为人工神经网络的一种，具有识别二维形状的多层感知器这种网络结构以及平移、比例缩放、倾斜或者其他形式几何变换不变性，其类似于生物神经网络，具有权值共享网络结构，减少了权值的数量，大大降低了网络模型的复杂度，已经成为当前语音和图像识别领域的研究热点。得益于卷积神经网络的局部感知和强大的特征提取能力，深度学习在图像分类任务上取得前所未有的突破。在这样的背景下，基于卷积神经网络相的哈希表征学习方法也被广泛的研究和探索，通过结合卷积神经网络强大的拟合和特征提取能力与哈希方法的高效性，整个系统可以实现端到端的训练，目前这类方法在很多大型标准数据集上都取得了最优的检索性能。

然而之前的这类方法都是先通过学习连续性特征编码，然后通过一个独立的后处理步骤将连续特征编码二值化成哈希编码，这种方法无法很好的学习到保留相似性的特征表示，也不能有效的控制量化误差，大大限制了检索性能的提高。

发明内容

本发明的目的是为了解决上述现有技术存在的缺陷，并提供一种结合低秩矩阵优化和哈希表示学习的基于内容的快速图像检索方法，该方法在图像检索系统生成二值哈希码的过程上加上低秩的限制条件，在汉明空间更好地保留数据之间的相似性关系，从而大幅降低了常规的基于哈希编码的图像检索方法中直接对连续编码取整造成的量化误差和精度损失。在训练过程中，利用深度神经网络提取图像中的高层语义特征和训练过程中的正负反馈信息，以低秩优化方法训练出具有更加精确表征图像信息的模型。

本发明通过以下技术方案如下。

一种基于深度学习与低秩矩阵优化的哈希图像检索方法，包括以下步骤：

S1、获取图像数据，对数据进行标注和预处理，构造图像检索的数据集，并将其分为训练集与测试集；

S2、搭建基于深度残差网络(ResNet-50)框架的深度特征提取网络，构建深度哈希网络

主干；

S3、将训练集输入所述深度哈希网络主干，基于极大化概率似然的损失函数和低秩正则化的损失函数，构建哈希网络；

S4、对哈希网络进行训练；

S5、将所述测试集与训练集图像分别输入步骤S4所述训练好的哈希网络，生成二值哈希编码，计算相互的汉明距离；

S6、返回训练集中汉明距离最小的指定数量图片作为检索结果。

进一步的，所述步骤S1具体包括以下步骤：

S11、通过网络爬虫收集与人类室内生活场景相关的图像数据，对图像数据进行人工筛选，去除不包括人类室内生活场景的图片，得到数据集其中x_i表示该数据集中的第i张图片，N为数据集中图像的总数量，i∈N；

S12、对所述数据集的图像进行类别标注，标注内容包括图像数据的场景或所含物体类别信息，得到其标签集为其中L_i＝{0，1}^c*1为图片xi_的标签，C为类别总数；

S13、对步骤S11所述数据集的图像进行预处理，具体是将数据集中的图像大小重置为H×W像素，并进行去均值以及像素值归一化操作，至此完成数据集的构建；

S14、对步骤S13所述数据集及S12所述标签集的图像，随机划分为训练集与测试集其中，N₁为训练集中图像的总量与N₂为测试集中图像的总量。

进一步的，步骤S2所述的深度残差网络(ResNet-50)框架的深度特征提取网络如下：

Input_images(H*W)->Conv(k_7*7，c_64s_2)->Max_Pool(k_3*3，s_2)->Conv_1->Conv_2->Conv_3->Conv_4->Average_Pool->Flatten()->Fully_Connected(2048->1000)->softmax()

其中，Input_images(H*W)表示输入高为H，宽为W像素的图像，Conv(k_7*7，c_64，s_2)指的是卷积核大小k为7x7，输出通道数c为64，步长s为2；Max_Pool(k_3*3，s_2)指的是大小k为3x3，步长s为2的最大值池化操作；Conv_1～Conv_4分别为一系列卷积操作的集合，Average_Pool为平均值池化操作；Flatten()为降维操作；Fully_Connected(2048->1000)指的是输入为2048维度，输出为1000维度的全连接操作；softmax()为逐元素的归一化指数函数，Conv_1～Conv_4分别为一系列卷积操作的集合，其中Conv_1：[Conv(k_1*1c_64)，Conv(k_3*3，c_64)，Conv(k_1*1c_256)]*3，Conv_2：[Conv(k_1x1，c_128)，Conv(k_3*3，c_128)，Conv(k_1*1c_512)]*4Conv_3：[Conv(k_1*1，c_256)，Conv(k_3*3，c_256)，Conv(k_1*1，c_1024)]*6Conv_4：[Conv(k_1*1，c_512)，Conv(k_3*3，c_512)，Conv(k_1*1，c_2048)]*3；其中，Conv_1：[Conv(k_1*1，c_64)，Conv(k_3*3，c_64)，Conv(k_1*1，c_256)]*3表示集合1包含3个卷积核串联，Conv_2：[Conv(k_1x1，c_128)，Conv(k_3*3，c_128)，Conv(k_1*1，c_512)]*4表示集台2包含4个卷积核串联，Conv_3：[Conv(k_1*1，c_256)，Conv(k_3*3，c_256)，Conv(k_1*1，c_1024)]*6表示集合3包含6个卷积核串联，Conv_4：[Conv(k_1*1c_512)，Conv(k_3*3，c_512)，Conv(k_1*1c_2048)]*3表示集合4包含3个卷积核串联。

进一步的，所述深度哈希网络主干是将所述深度特征提取网络中最后的全连接层输出维度变为哈希码长度，以及softmax()换为tanh()，具体的，深度哈希网络主干如下：Input_images(H*W)->Conv(k_7*7，c_64s_2)->Max_Pool(k_3*3，s_2)->Conv_1->Conv_2->Conv_3->Conv_4->Average_Pool->Flatten()->Fully_Connected(2048->K)->tanh()

其中Fully_Connected(2048->K)指的是输入为2048维度，输出为K维度的全连接操作，K为哈希码的长度；tanh()为双曲正切函数。

(只是将符号与数字隔开，->表示前后的顺序关系，不作为符号的一部分)

进一步的，步骤S3具体包括以下步骤：

S31、将训练集中宽为W，高为H的n张图片作为训练图片输入步骤S2所述的深度特征提取网络，得到连续特征V∈R^n*K，其中K表示哈希码的长度，n表示输入的图片数量；

S32、为了使训练时的梯度能够反向传播并且能够逐渐逼近采用符号函数sgn()，并采用连续的逐元素双曲正切函数tanh(β)作为激活函数，得到(-1，1)之间的连续表征g＝tanh(βV)∈(-1，1)^n*K作为输出，其中g的元素为(-1，-1)之间的连续值，所述符号函数sgn()与双曲正切函数tanh()如下：

其中β表示自适应参数，在训练时逐步增大β使双曲正切函数逼近符号函数；

S33、建立基于概率似然的损失函数，具体步骤如下：

S331、将任意两张图片x_i和x_j对应的哈希编码表示为h_i和h_j，其中h∈{-1，1}^K是维度为K的向量，i∈N，j∈N，则汉明距离和内积之间的关系表示为：

其中D_ij表示哈希码h_i和h_j的汉明距离，K为步骤S2所述的哈希码长度，<h_i，h_j>表示哈希码h_i和h_j之间的内积，所述汉明距离指的是两个等长字符串中相同位置上不同的字符的个数，利用内积操作运算方便和可微的优点，这里直接使用哈希编码的内积运算替代汉明距离作为度量来优化整个哈希网络；

S332、对步骤S31所述的n张图片进行训练，得到连续值表征_g∈(-1，1)^n*K和标签信息其中s_ij表示图片x_i和x_j之间相似性，当图片x_i和x_j中至少存在一个相同的类别时，s_ij＝1；否则s_ij＝0；为了解决数据类别不平衡的问题，使用带权重的极大概率似然函数的目标函数，定义如下：

其中w_ij通过以下方式获得：

其中，|S|表示整个训练集数据的标签集合S的元素数量，|S¹|和|S⁰|分别表示标签集合S的子集S¹＝{s_ij∈S，s_ij＝1}以及子集S⁰＝{s_ij∈S，s_ij＝0}的元素数量；

P(s_ij|g_i，g_j)的定义如下：

其中是自适应参数为α的sigmoid函数，＜g_i，g_j>表示步骤S332所述连续值表征g_i和g_j之间的内积，符号<>表示内积操作，g_i和g_j为连续值表征，i∈N，j∈N，训练时设置超参数α＜0，使得训练过程收敛更快，由以上定义，将极大化概率似然函数转化为如下的损失函数L₁：

其中θ表示哈希网络所有的可训练参数；

S34、建立低秩正则化损失函数，具体步骤如下：

S341、将步骤S332所述的连续值表征g∈(-1，1)^n*K归一化到(0，1)之间，得到归一化后的连续值表征z＝(g+1)/2∈(0，1)^n*K；

S342、将步骤S341所述归一化的连续值表征z进行二值化操作，得到离散的哈希码b＝bin(z)∈{0，1}^n*K，其中bin()表示二值化操作；

S343、定义低秩优化的量化矩阵Q(z，b)如下：

其中操作符为克罗内克积运算，⊙表示矩阵点对点乘积运算，1_K*1与1_n*1分别表示大小为K*1和n*1的全1矩阵，记量化矩阵Q(z，b)的秩为：

R＝rank(Q(z，b))

其中rank()操作符表示矩阵的秩；

S344、采用最小化量化矩阵Q(z，b)的最优凸近似核范数来间接降低该矩阵的秩，转换后的损失函数定义如下：

L₂＝||Q(z，b)||_*≈rank(Q(z，b))

其中||||_*表示矩阵的核范数；

S345、在步骤S332所述的损失函数L₁的基础上加上低秩矩阵优化损失函数L₂，在最大化概率似然函数的同时使量化矩阵保持低秩，降低量化误差，最终所述哈希网络的总损失函数定义如下：

L＝L₁+λL₂

其中λ为正的实常数，控制损失函数L₁与L₂所占的比重，至此完成哈希网络的构建。

进一步的，步骤S4对哈希网络的训练具体如下：

对所述哈希网络采用随机梯度下降进行权重更新，设定初始学习率为lr₀，学习率变化的底数为γ，学习率变化的间隔数为stepsize，最大训练迭代次数为iter_max，学习速率的更新方式为梯度递减，利用以下公式进行更新：

lr＝lr₀*γ^{(iter-stepsize)}

其中lr表示当前学习率，iter表示当前迭代步数；所述权重更新如下：

其中θ和L分别为步骤S332和S345所述的哈希网络的所有可训练参数和总损失函数，←运算符表示参数的权值更新操作，当迭代步数iter＝iter_max时，终止迭代，完成哈希网络训练过程。

进一步的，所述步骤S5包括以下步骤：

S51、将测试集图像输入步骤S4训练好的哈希网络生成二值哈希编码其中N₂为测试集图像数量，h_u为测试集中第u张图像x_u对应的哈希编码，v∈N₂；

S52、将训练集图像输入步骤S4训练好的哈希网络生成二值哈希编码 其中h_v为训练集中第v张图像x_v对应的哈希编码，u∈N₁；

S53、分别计算测试集图像x_v的哈希编码与训练集图像x_u的哈希编码之间的汉明距离其中表示汉明距离值的可选集，且为整数，D_uv的计算公式如下：

其中表示对h_u与h_v的二值码两两进行异或操作，K为哈希码长度。

进一步的，所述步骤S6包括以下步骤：

S61、设定欲检索的图像数量为κ，其中κ＜N₁，表示检索数量需要少于训练集图像数量，N₁为训练集的图像数量；

S62、将测试集中的每一张图像与训练集之间的汉明距离向量D_u从小到大进行排序得到所述汉明距离向量为

S63、将步骤S62中所述排序后的汉明距离向量中对应的前κ张训练集图像作为检索结果。

与现有技术相比，本发明具有以下优势：

(1)利用网络爬虫进行图像采集，硬件成本低。

(2)使用深度卷积神经网络，能够提取到较好的图像语义特征，避免传统方法中复杂的特征提取和数据重建过程，提高检索准确率。

(3)本发明法在图像检索系统生成二值哈希码的过程上加上低秩的限制条件，在汉明空间更好地保留数据之间的相似性关系，提高图像检索的准确性。

附图说明

图1为本发明一种基于深度学习与低秩矩阵优化的哈希图像检索方法的流程图；

图2为本发明神经网络结构图。

具体实施方式

下面结合实例和附图对本发明做进一步的说明，但本发明的实施方式不限于此。

如图1和图2所示的一种基于深度学习与低秩矩阵优化的哈希图像检索方法，包括以下步骤：

S1、获取数据，对数据进行标注和预处理，构造图像检索的数据库，具体包括以下步骤：

S11、确定数据集关注的场景或物体，如室内场景下包括电视、空调、人物等类别；通过网络爬虫收集与人类室内生活场景相关的图像数据，对图像数据进行人工筛选，去除不包括人类室内生活场景的图片，得到数据集其中x_i表示该数据集中的第i张图片，N＝50000为数据集中图像的总数量；

S12、对所述数据集的图像进行类别标注，标注内容包括图像数据的场景所含物体类别信息，包括电视、空调、人物，书本、花盆、时钟、剪刀、吹风机、牙刷、台灯，包括得到其标签集为其中L_i＝{0，1}^C*1为图片x_i的标签，C＝10为类别总数；

S13、对步骤S11所述数据集的图像进行预处理，具体是将数据集中的图像大小重置为片×W(256×256)像素，并进行去均值以及像素值归一化操作，至此完成数据集的构建；

S14、对步骤S13所述数据集及S12所述标签集，随机划分为训练集与测试集其中，N₁＝40000为训练集中图像的总量与N₂＝10000为测试集中图像的总量。

图片x_i和x_j至少存在一个相同的类别时，s_ij＝1；否则s_ij＝0。

S2、基于ResNet50框架的特征提取网络，构造深度卷积哈希网络；

Input_images(256*256)->Conv(k_7*7，c_64，s_2)->Max_Pool(k_3*3，s_2)->Conv_1->Conv_2->Conv_3->Conv_4->AVerage_Pool-＞Flatten()->Fully_Connected(2048->1000)->sofftmax()

其中，Input_images(H*W)表示输入高为256，宽为256像素的图像，Conv(k_7*7，c_64，s_2)指的是卷积核大小k为7x7，输出通道数c为64，步长s为2；Max_Pool(k_3*3，s_2)指的是大小k为3x3，步长s为2的最大值池化操作；Conv_1～Conv_4分别为一系列卷积操作的集合，其中

Conv_1：[Conv(k_1*1，c_64)，Conv(k_3*3，c_64)，Conv(k_1*1，c_256)]*3，Conv_2：[Conv(k_1x1，c_128)，Conv(k_3*3，c_128)，Conv(k_1*1，c_512)]*4，Conv_3：[Conv(k_1*1，c_256)，Conv(k_3*3，c_256)，Conv(k_1*1，c_1024)]*6，Conv_4：[Conv(k_1*1，c_512)，Conv(k_3*3，c_512)，Conv(k_1*1，c_2048)]*3；Average_Pool为平均值池化操作；Flatten()为降维操作；Fully_Connected(2048->1000)指的是输入为2048维度，输出为1000维度的全连接操作；sofftmax()为逐元素的归一化指数函数；

进一步的，所述深度哈希网络主干是将所述深度特征提取网络中最后的全连接层输出维度变为哈希码长度，以及sofftmax()换为tanh()，具体的，深度哈希网络主干如下：

Input_images(256**256)->Conv(k_7*7，c_64，s_2)->Max_Pool(k_3*3，s_2)->Conv_1->Conv_2->Conv_3->Conv_4->Average_Poo1->Flatten()->Fully_Connected(2048->K)->tanh()

其中Fully_Connected(2048->K)指的是输入为2048维度，输出为K维度的全连接操作，K为哈希码的长度；tanh()为双曲正切函数。

S3、将训练集输入所述深度哈希网络主干，基于极大化概率似然的损失函数和低秩正则化的损失函数，构建哈希网络；具体步骤如下：

S31、将训练集中宽为256，高为256的n＝128张图片作为训练图片输入步骤S2所述的深度特征提取网络，得到连续特征V∈R^n*K，其中K表示哈希码的长度，n表示输入的图片数量；

S32、为了使训练时的梯度能够反向传播并且能够逐渐逼近采用符号函数sgn()，并采用连续的逐元素双曲正切函数tanh(β)作为激活函数，得到(-1，1)之间的连续表征g＝tanh(βV)∈(-1，1)^n*K作为输出，其中g的元素为(-1，-1)之间的连续值，所述符号函数sgn()与双曲正切函数tanh()如下：

其中β表示自适应参数，在训练时逐步增大β使双曲正切函数逼近符号函数；

S33、建立基于概率似然的损失函数，具体步骤如下：

S331、将任意两张图片x_i和x_j对应的哈希编码表示为h_i和h_j，其中h∈{-1，1}^K是维度为K的向量，i∈N，j∈N，则汉明距离和内积之间的关系表示为：

其中D_ij表示哈希码h_i和h_j的汉明距离，K为步骤S2所述的哈希码长度，<h_i，h_j>表示哈希码h_i和h_j之间的内积，所述汉明距离指的是两个等长字符串中相同位置上不同的字符的个数，利用内积操作运算方便和可微的优点，这里直接使用哈希编码的内积运算替代汉明距离作为度量来优化整个哈希网络；

S332、对步骤S31所述的n张图片进行训练，得到连续值表征g∈(-1，1)^n*K和标签信息其中s_ij表示图片x_i和x_j之间相似性，当图片x_i和x_j中至少存在一个相同的类别时，s_ij＝1；否则s_ij＝0；为了解决数据类别不平衡的问题，使用带权重的极大概率似然函数的目标函数，定义如下：

其中w_ij通过以下方式获得：

其中，|S|表示整个训练集数据的标签集合S的元素数量，|S¹|和|S⁰|分别表示标签集合S的子集S¹＝{s_ij∈S，s_ij＝1}以及子集S⁰＝{s_ij∈S，s_ij＝0}的元素数量；

P(s_ij|g_i，g_j)的定义如下：

其中是自适应参数为α的sigmoid函数，<g_i，g_j>表示步骤S332所述连续值表征g_i和g_j之间的内积，符号<>表示内积操作，g_i和g_j为连续值表征，i∈N，j∈N，训练时设置超参数α＜0，使得训练过程收敛更快，由以上定义，将极大化概率似然函数转化为如下的损失函数L₁：

其中θ表示哈希网络所有的可训练参数；

S34、建立低秩正则化损失函数，具体步骤如下：

S341、将步骤S332所述的连续值表征g∈(-1，1)^n*K归一化到(0，1)之间，得到归一化后的连续值表征z＝(g+1)/2∈(0，1)^n*K；

S342、将步骤S341所述归一化的连续值表征z进行二值化操作，得到离散的哈希码b＝bin(z)∈{0，1}^n*K，其中bin()表示二值化操作。

S343、定义低秩优化的量化矩阵Q(z，b)如下：

其中操作符为克罗内克积运算，⊙表示矩阵点对点乘积运算，1_K*1与1_n*1分别表示大小为K*1和n*1的全1矩阵，记量化矩阵Q(z，b)的秩为：

R＝rank(Q(z，b))

其中rank()操作符表示矩阵的秩。

S344、采用最小化量化矩阵Q(z，b)的最优凸近似核范数来间接降低该矩阵的秩，转换后的损失函数定义如下：

L₂＝||Q(z，b)||_*≈rank(Q(z，b))

其中||||_*表示矩阵的核范数。

S345、在步骤S332所述的损失函数L₁的基础上加上低秩矩阵优化损失函数L₂，在最大化概率似然函数的同时使量化矩阵保持低秩，降低量化误差，最终所述哈希网络的总损失函数定义如下：

L＝L₁+λL₂

其中λ为正的实常数，控制损失函数L₁与L₂所占的比重，至此完成哈希网络的构建。

S4、对哈希网络的训练，具体如下：

对上述哈希网络采用随机梯度下降进行权重更新，设定初始学习率为lr₀，学习率变化的底数为γ，学习率变化的间隔数为stepsize，最大训练迭代次数为iter_max，学习速率的更新方式为梯度递减，利用以下公式进行更新：

lr＝lr₀*γ^{(iter-stepsize)}

其中lr表示当前学习率，iter表示当前迭代步数。所述随机梯度下降方法进行哈希网络的权重更新方式如下：

其中θ和L分别为步骤S332和S345所述的哈希网络的所有可训练参数和总损失函数，←运算符表示参数的权值更新操作。当迭代步数iter＝iter_max时，终止迭代，完成哈希网络训练过程。

S5、将所述测试集与训练集图像分别输入步骤S4所述训练好的哈希网络，生成二值哈希编码，计算相互的汉明距离；

S51、将测试集图像输入步骤S4训练好的哈希网络生成二值哈希编码其中N₂为测试集图像数量，h_u为测试集中第u张图像x_u对应的哈希编码，v∈N₂；

S52、将训练集图像输入步骤S4训练好的哈希网络生成二值哈希编码 其中h_v为训练集中第v张图像x_v对应的哈希编码，u∈N₁；

S53、分别计算测试集图像x_v的哈希编码与训练集图像x_u的哈希编码之间的汉明距离其中表示汉明距离值的可选集，且为整数，D_uv的计算公式如下：

其中表示对h_u与h_v的二值码两两进行异或操作，K为哈希码长度；

S6、返回训练集中汉明距离最小的指定数量图片作为检索结果。

S61、设定欲检索的图像数量为κ＝10，其中K＜N₁，表示检索数量需要少于训练集图像数量，N₁为训练集图像数量；

S62、将测试集中的每一张图像与训练集之间的汉明距离向量D_u从小到大进行排序得到所述汉明距离向量为

S63、将步骤S62中所述排序后的汉明距离向量中对应的前κ张训练集图像作为检索结果。

本发明的实施方式并不受上述实施例的限制，其他任何未背离发明精神实质与原理下所做的改变，修饰，替代，组合，简化均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，包括以下步骤：

S1、获取图像数据，对数据进行标注和预处理，构造图像检索的数据集，并将其分为训练集与测试集；

S2、搭建基于深度残差网络框架的深度特征提取网络，构建深度哈希网络主干；

S3、将训练集输入所述深度哈希网络主干，基于极大化概率似然的损失函数和低秩正则化的损失函数，构建哈希网络；

S4、对哈希网络进行训练；

S5、将所述测试集与训练集图像分别输入步骤S4所述训练好的哈希网络，生成二值哈希编码，计算相互的汉明距离；

S6、返回训练集中汉明距离最小的指定数量图片作为检索结果。

2.根据权利要求1所述的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、通过网络爬虫收集与人类室内生活场景相关的图像数据，对图像数据进行人工筛选，去除其中不包括人类室内生活场景的图片，得到数据集其中x_i表示该数据集中的第i张图片，N为数据集中图像的总数量，i∈N；

S12、对数据集的图像进行类别标注，标注内容包括图像数据的场景或所含物体类别信息，得到其标签集为其中L_i＝{0，1}^C*1为图片x_i的标签，C为类别总数；

S13、对步骤S11所述数据集的图像进行预处理，具体是将数据集中的图像大小重置为H×W像素，并进行去均值以及像素值归一化操作，至此完成数据集的构建；

S14、对步骤S13所述数据集及S12所述标签集的图像，随机划分为训练集与测试集其中，N₁为训练集中图像的总量与N₂为测试集中图像的总量。

3.根据权利1要求的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，步骤S2所述的深度残差网络(ResNet-50)框架的深度特征提取网络如下：

Input_images(H*W)->Conv(k_7*7，c_64，s_2)->Max_Pool(k_3*3，s_2)->Conv_1->Conv_2->Conv_3->Conv_4->Average_Pool->Flatten()->Fully_Connected(2048->1000)->soft max()

其中，Input_images(H*W)表示输入高为H，宽为W像素的图像，Conv(k_7*7，c_64，s_2)指的是卷积核大小k为7x7，输出通道数c为64，步长s为2；Max_Pool(k_3*3，s_2)指的是大小k为3x3，步长s为2的最大值池化操作；Average_Pool为平均值池化操作；Flatten()为降维操作；Fully_Connected(2048->1000)指的是输入为2048维度，输出为1000维度的全连接操作；softmax()为逐元素的归一化指数函数，Conv_1～Conv_4分别为一系列卷积操作的集合，其中

Conv_1:[Conv(k_1*1，c_64)，Conv(k_3*3，c_64)，Conv(k_1*1，c_256)]*3，Conv_2:[Conv(k_1x1，c_128)，Conv(k_3*3，c_128)，Conv(k_1*1，c_512)]*4，Conv_3:[Conv(k_1*1，c_256)，Conv(k_3*3，c_256)，Conv(k_1*1，c_1024)]*6，Conv_4:[Conv(k_1*1，c_512)，Conv(k_3*3，c_512)，Conv(k_1*1，c_2048)]*3，其中，Conv_1：

[Conv(k_1*1，c_64)，Conv(k_3*3，c_64)，Conv(k_1*1，c_256)]*3表示集合1包含3个卷积核串联，Conv_2：[Conv(k_1x1，c_128)，Conv(k_3*3，c_128)，Conv(k_1*1，c_512)]*4表示集合2包含4个卷积核串联，Conv_3：

[Conv(k_1*1，c_256)，Conv(k_3*3，c_256)，Conv(k_1*1，c_1024)]*6表示集合3包含6个卷积核串联，Conv_4：[Conv(k_1*1，c_512)，Conv(k_3*3，c_512)，Conv(k_1*1，c_2048)]*3表示集合4包含3个卷积核串联。

4.根据权利1要求的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，所述深度哈希网络主干是将所述深度特征提取网络中最后的全连接层输出维度变为哈希码长度，以及softmax()换为tanh()，具体的，深度哈希网络主干如下：

Input_images(H*W)->Conv(k_7*7，c_64，s_2)->Max_Pool(k_3*3，s_2)->Conv_1->Conv_2->Conv_3->Conv_4->Average_Pool->Flatten()->Fully_Connected(2048->K)->tanh()

其中Fully_Connected(2048->K)指的是输入为2048维度，输出为K维度的全连接操作，K为哈希码的长度；tanh()为双曲正切函数。

5.根据权利1要求的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，步骤S3具体包括以下步骤：

S31、将训练集中宽为W，高为H的n张图片作为训练图片输入步骤S2所述的深度特征提取网络，得到连续特征V∈R^n*K，其中K表示哈希码的长度，表示输入的图片数量；

S32、采用符号函数sgn()和作为激活函数连续的逐元素双曲正切函数tanh(β)，得到(-1，1)之间的连续表征g＝tanh(βV)∈(-1，1)^n*K作为输出，其中g的元素为(-1，-1)之间的连续值，所述符号函数sgn()与双曲正切函数tanh()如下：

其中β表示自适应参数，在训练时逐步增大β使双曲正切函数逼近符号函数；

S33、建立基于概率似然的损失函数，具体步骤如下：

S331、将任意两张图片x_i和x_j对应的哈希编码表示为h_i和h_j，其中h∈{-1，1}^K是维度为K的向量，i∈N，j∈N，则汉明距离和内积之间的关系表示为：

其中D_ij表示哈希码h_i和h_j的汉明距离，K为步骤S2所述的哈希码长度，<h_i，h_j>表示哈希码h_i和h_j之间的内积，所述汉明距离指的是两个等长字符串中相同位置上不同的字符的个数，利用内积操作运算方便和可微的优点，这里直接使用哈希编码的内积运算替代汉明距离作为度量来优化整个哈希网络；

S332、对步骤S31所述的n张图片进行训练，得到连续值表征g∈(-1，1)^n*K和标签信息其中s_ij表示图片x_i和x_j之间相似性，当图片x_i和x_j中至少存在一个相同的类别时，s_ij＝1；否则s_ij＝0；为了解决数据类别不平衡的问题，使用带权重的极大概率似然函数的目标函数，定义如下：

其中w_ij通过以下方式获得：

其中，|S|表示整个训练集数据的标签集合S的元素数量，|S¹|和|S⁰|分别表示标签集合S的子集S¹＝{s_ij∈S，s_ij＝1}以及子集S⁰＝{s_ij∈S，s_ij＝0}的元素数量；

P(s_ij|g_i，g_j)的定义如下：

其中是自适应参数为α的sigmoid函数，<g_i，g_j>表示步骤S332所述连续值表征g_i和g_j之间的内积，符号<>表示内积操作，g_i和g_j为连续值表征，i∈N，j∈N，训练时设置超参数α＜0，使得训练过程收敛更快，由以上定义，将极大化概率似然函数转化为如下的损失函数L₁：

其中θ表示哈希网络所有的可训练参数；

S34、建立低秩正则化损失函数，具体步骤如下：

S341、将步骤S332所述的连续值表征g∈(-1，1)^n*K归一化到(0，1)之间，得到归一化后的连续值表征z＝(g+1)/2∈(0，1)^n*K；

S342、将步骤S341所述归一化的连续值表征z进行二值化操作，得到离散的哈希码b＝bin(z)∈{0，1}^n*K，其中bin()表示二值化操作；

S343、定义低秩优化的量化矩阵Q(z，b)如下：

其中操作符为克罗内克积运算，⊙表示矩阵点对点乘积运算，1_K*1与1_n*1分别表示大小为K*1和n*1的全1矩阵，记量化矩阵Q(z，b)的秩为：

R＝rank(Q(z，b))

其中rank()操作符表示矩阵的秩；

S344、采用最小化量化矩阵Q(z，b)的最优凸近似核范数来间接降低该矩阵的秩，转换后的损失函数定义如下：

L₂＝||Q(z，b)||_*≈rank(Q(z，b))

其中|| ||_*表示矩阵的核范数；

S345、在步骤S332所述的损失函数L₁的基础上加上低秩矩阵优化损失函数L₂，在最大化概率似然函数的同时使量化矩阵保持低秩，降低量化误差，最终所述哈希网络的总损失函数定义如下：

L＝L₁+λL₂

其中λ为正的实常数，控制损失函数L₁与L₂所占的比重，至此完成哈希网络的构建。

6.根据权利要求1所述的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，步骤S4对哈希网络的训练具体如下：

对所述哈希网络采用随机梯度下降进行权重更新，设定初始学习率为lr₀，学习率变化的底数为γ，学习率变化的间隔数为stepsize，最大训练迭代次数为iter_max，学习速率的更新方式为梯度递减，利用以下公式进行更新：

lr＝lr₀*γ(^{iter-stepsize)}

其中lr表示当前学习率，iter表示当前迭代步数；所述权重更新如下：

其中θ和L分别为步骤S332和S345所述的哈希网络的所有可训练参数和总损失函数，←运算符表示参数的权值更新操作，当迭代步数iter＝iter_max时，终止迭代，完成哈希网络训练过程。

7.根据权利要求1所述的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，所述步骤S5包括以下步骤：

S51、将测试集图像输入步骤S4训练好的哈希网络生成二值哈希编码其中N₂为测试集图像数量，h_u为测试集中第u张图像x_u对应的哈希编码，v∈N₂；

S52、将训练集图像输入步骤S4训练好的哈希网络生成二值哈希编码 其中h_v为训练集中第v张图像x_v对应的哈希编码，u∈N₁；

S53、分别计算测试集图像x_v的哈希编码与训练集图像x_u的哈希编码之间的汉明距离其中表示汉明距离值的可选集，且为整数，D_uv的计算公式如下：

其中表示对h_u与h_v的二值码两两进行异或操作，K为哈希码长度。

8.根据权利要求1所述的基于深度学习与低秩矩阵优化的哈希图像检索方法，其特征在于，所述步骤S6包括以下步骤：

S61、设定欲检索的图像数量为κ，其中κ＜N₁，表示检索数量需要少于训练集图像数量，N₁为训练集的图像数量；

S62、将测试集中的每一张图像与训练集之间的汉明距离向量D_u从小到大进行排序得到所述汉明距离向量为

S63、将步骤S62中所述排序后的汉明距离向量中对应的前κ张训练集图像作为检索结果。