CN110083734A - 基于自编码网络和鲁棒核哈希的半监督图像检索方法 - Google Patents

Abstract

本发明公开了一种基于自编码网络和鲁棒核哈希的半监督图像检索方法。通过步骤一，采用自编码网络结构提取深度图像特征，步骤二，鲁棒核哈希机制作为检索机制，步骤三，联合自编码网络和鲁棒核哈希实现图像检索完成检索过程，本发明提出使用自编码网络提取完备的图像特征，并且图像不需要人为标签，对于不同的数据集均有很好的学习能力和表达能力，对于大规模数据集效果更好。同时提出使用鲁棒核哈希(Robust Hashwith Kernels,RSH)检索机制，提高了KSH方法的鲁棒性，并降低了检索过程中的计算量，最终联合自编码网络和鲁棒核哈希的图像检索算法，提高了检索精度并极大降低了存储空间和计算复杂度。

Description

基于自编码网络和鲁棒核哈希的半监督图像检索方法

技术领域

本发明涉及计算机图像检索技术领域，特别是涉及大规模图像检索。

背景技术

图像检索算法的优劣主要通过衡量检索精度、检索效率以及存储空间的大小，因此图像检索的两个核心问题是如何提取有效的图像特征和如何设计高效的检索机制。目前常用的提取图像特征的方法是用SIFT、HOG、GIST等浅层特征，这些特征不能充分的表达包含丰富视觉信息的图像并具有一定的局限性。主流的检索机制是采用哈希法将图像生成多个二值编码，代表算法有基于核函数的有监督哈希(Supervised Hashwith Kernels,KSH)，其利用核函数在处理线性不可分数据时的特性来构建哈希函数，将输入空间中数据映射到二进制空间，使原始空间中的相似数据在二进制空间中的平均汉明距离最小，而不相似的数据的平均汉明距离最大。然而KSH方法鲁棒性较差，计算量较大。

本发明提出使用自编码网络结构提取完备的图像特征，并且图像不需要人为标签，对于不同的数据集均有很好的学习能力和表达能力，对于大规模数据集效果更好。同时提出使用鲁棒核哈希(Robust Hashwith Kernels,KRH)检索机制，提高了KSH方法的鲁棒性，并降低了检索过程中的计算量。

发明内容

针对当前图像检索方法的上述不足，本发明使用自编码网络结构提取完备的图像特征，联合鲁棒核哈希机制进行检索，有效提升了图像特征的表达能力和KSH方法的鲁棒性，并降低检索过程中的计算量。

本发明为实现上述目的所采用的技术方法是：

一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，包括如下步骤：

步骤一，采用自编码网络结构提取深度图像特征：

训练自编码网络模型：通过基于卷积神经网络的自编码网络进行编码来压缩图像以生成深度特征，将样本图像输入至去除全连接层和分类层的VGG16卷积神经网络结构，首先对图像进行卷积，然后通过批量归一化层再采用Relu函数(max(0，x))进行非线性映射，再通过池化层对卷积层输出的信息进行进一步压缩以完成编码得到深度特征；然后对深度特征进行解码：采用先联合编码阶段的低维特征和对应解码阶段的高维特征，再进行反卷积和反池化来得到复原图像，并通过最小化原始图像与复原图像对应位置像素点差值的平方和训练整个网络模型，使用随机梯度下降法更新网络模型参数，得到训练完成的网络模型；

步骤二，鲁棒核哈希机制作为检索机制：

对于作为被检索对象的图像数据集，采用引入核方法的哈希编码进行检索，首先通过图像哈希编码的权值参数向量来构造哈希函数，然后基于样本来进行训练，得到模型的损失函数，同时利用梯度下降法对参。数向量进行更新，得到训练完成的哈希函数；

步骤三，联合自编码网络和鲁棒核哈希实现图像检索：

基于步骤一和步骤二得到的网络模型和哈希函数，预先将检索库中的所有图像依次输入至训练完成后的网络模型以提前深度特征，然后将深度特征通过哈希函数对每个特征映射生成哈希编码，图像检索时同样将需要进行检索的图像输入至训练完成后的网络模型以提取图像特征，然后通过哈希函数对每一个特征映射生成哈希编码，然后将需要检索的图像生成的哈希编码与检索库中的所有图像生成的哈希编码进行比对以检索出最为相似的图像，完成图像检索。

所述的一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，步骤一包括以下过程：

通过公开图像数据集训练基于卷积神经网络编码-解码结构的自编码网络，在编码阶段，每一层的输入特征映射以一个三维的数组[h,w,d]表示，其中h和w是特征映射的尺寸，d是特征映射的通道数，相邻层的特征映射通过尺寸(L,M)的感受野相连，对于卷积操作，设x_ij是前一层(i,j)位置的像素值，y_ij是下一层对应位置的像素值，有

其中*表示卷积，b是偏置的共享值，L＝M＝3，卷积之后先通过批量归一化层再采用Relu函数(max(0,x))进行非线性映射；

对于池化操作，有

其中L＝M＝2，编码阶段采用平均池化，用于压缩卷积层输出的信息，再采用先联合编码阶段的低维特征和对应解码阶段的高维特征进行反卷积、反池化，通过最小化原始图像与复原图像对应位置像素点差值的平方和训练整个网络，即

其中x是原始图像，y是生成图像。

所述的一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，步骤二中检索机制的具体方法为：

通过公开图像数据集训练鲁棒核哈希函数，对于核函数预测函数有：

其中x₍₁₎,...,x_(m)是每次迭代从数据集χ中分层采样m个样本，a_j∈R是需要学习的权重，b∈R是偏置，哈希函数为h(x)＝sgn(f(x))，根据KSH令则有：

其中α＝[a₁,...,a_m]^T，是映射向量：

这里设对每个样本有r个哈希编码，则有r个向量α₁,...,α_r构造哈希函数通过样本的标签判断样本对的是否相似，若样本对类别相同，则样本对相似，label(x_i,x_j)＝1；若样本对不相似，则label(x_i,x_j)＝-1；当样本对的信息未知时，则label(x_i,x_j)＝0。每次训练从样本批量选取l(m＜l≤n)个样本，定义监督矩阵S∈R^l×l:

令每个样本生产的r个编码表示为code_r(x)＝[h₁(x),…,h_r(x)]∈{1,-1}^1×r，则样本对的内积可表示为：

其中表示内积，由且S_ij∈{-1,0,1}，当时S_ij＝1，时S_ij＝-1，则模型损失函数为：

其中表示χ_l的编码矩阵，||.||_F表示Frobenius范式。利用梯度下降法进行对参数向量α更新。

所述的基于自编码网络和鲁棒核哈希的半监督图像检索方法，步骤三中图像检索的具体方法为：

通过训练好的自编码网络和鲁棒核哈希函数，预先生成检索库中的所有图像的深度特征和哈希编码，然后同样将待检索图像输入到训练好的自编码网络和鲁棒核哈希函数生成哈希编码，然后将需要检索的图像生成的哈希编码与检索库中的所有图像生成的哈希编码进行比对以检索出最为相似的图像，完成图像检索。

本发明的技术效果在于：

1.针对浅层图像特征的限制，本发明提出基于卷积神经网络提出采用自编码网络结构提取深度图像特征。自编码网络结构分为编码和解码两个阶段，其中编码阶段的目的是压缩图像生成完备的深度特征，采用VGG16网络结构，去除了全连接层和分类层，解码阶段的目的是根据提取的深度特征尽可能复原原图，通过最小化原始图像与复原图像对应位置像素点差值的平方和训练整个网络，最终提取的图像深度特征具有完备性、可表达性。

2.在基于核函数的有监督哈希方法的基础上提出鲁棒核哈希(KRH)方法，通过分层采样方式提高了鲁棒性，并通过联合自编码网络结构提取的深度图像特征降低了检索过程中的计算复杂度。

附图说明

图1为图像检索框架；

图2为自编码网络结构；

图3鲁棒核哈希检索流程。

具体实施方式

本发明首先采用自编码网络结构提取深度图像特征，训练自编码网络过程是将公开图像数据集中图像依次输入到网络中，通过计算网络的损失使用随机梯度下降法更新网络参数，当训练到指定次数或者损失函数趋于稳定时完成训练。训练完成后选择编码阶段的网络结构作为图像深度特征提取网络，由于检索库中的图像相对固定，为加快检索速度可以将检索库中的所有图像预先生成对应的深度特征。

自编码网络是编码-解码结构，在编码阶段，每一层的输入特征映射以一个三维的数组[h,w,d]表示，其中h和w是特征映射的尺寸，d是特征映射的通道数。相邻层的特征映射通过尺寸(L,M)的感受野(receptive fileds)相连。对于卷积操作，设x_ij是前一层(i,j)位置的像素值，y_ij是下一层对应位置的像素值，有

其中*表示卷积，b是偏置的共享值，L＝M＝3，卷积之后先通过批量归一化层再采用Relu函数(max(0,x))进行非线性映射。

对于池化操作，有

其中L＝M＝2，为减少池化层带来的特征损失，尽可能保留图像的背景特征，编码阶段采用平均池化代替最大值池化。编码阶段的池化层主要作用是进一步压缩卷积层输出的信息[4]，卷积层经过(L,M)感受野的池化层特征映射会缩小L×M倍。因此，为了输出和原始输入尺寸相同的图像，因此采用反池化将前一层特征映射扩大L×M倍。为了更好的利用编码阶段生产的低维特征，采用先联合编码阶段的低维特征和对应解码阶段的高维特征再进行反卷积、反池化。通过最小化原始图像与复原图像对应位置像素点差值的平方和训练整个网络，即

其中x是原始图像，y是生成图像，使用随机梯度下降法更新网络参数。

然后采用鲁棒核哈希机制作为检索机制，训练鲁棒核哈希函数过程是随机选择多个公开图像数据集的深度特征作为输入，根据选择的深度特征所对应原始图像间是否相似的标签计算鲁棒核哈希的损失，通过梯度下降法进行训练参数，当训练到指定次数或者损失函数趋于稳定时完成训练，将检索库中的所有图像的深度特征作为鲁棒核哈希函数的输入，生成对应得到哈希编码，图像检索过程就是将待检索图像的哈希编码与检索库图像的哈希编码进行比对。

针对KSH方法存在计算复杂、鲁棒性较差等问题，本发明提出鲁棒核哈希(KRH)。对于数据集哈希编码的目的是寻找到一个合适的哈希函数利用核方法可以处理线性不可分数据的特性，将核方法引入哈希编码。对于核函数预测函数有：

其中x₍₁₎,...,x_(m)是每次迭代从数据集χ中分层采样m个样本，a_j∈R是需要学习的权重，b∈R是偏置。哈希函数为h(x)＝sgn(f(x))，根据KSH令将b的值代入式(4)得：

其中α＝[a₁,...,a_m]^T，是映射向量：

这里可通过预先计算得到。因此，哈希编码的核心在于寻找最优的权值参数向量α。假设对每个样本有r个哈希编码，则有r个向量α₁,...,α_r构造哈希函数通过样本的标签判断样本对的是否相似，若样本对类别相同，则样本对相似，label(x_i,x_j)＝1；若样本对不相似，则label(x_i,x_j)＝-1；当样本对的信息未知时，则label(x_i,x_j)＝0。每次训练从样本批量选取l(m＜l≤n)个样本，定义监督矩阵S∈R^l×l:

令每个样本生产的r个编码表示为code_r(x)＝[h₁(x),…,h_r(x)]∈{1,-1}^1×r，则样本对的内积可表示为：

其中表示内积，根据公式6可知且S_ij∈{-1,0,1}，当时S_ij＝1，时S_ij＝-1，因此可定义模型损失函数如公式9所示：

其中表示χ_l的编码矩阵，||.||_F表示Frobenius范式。利用梯度下降法进行对参数向量α更新。

3.通过训练好的自编码网络和鲁棒核哈希函数，预先生成检索库中的所有图像的深度特征和哈希编码，然后同样将待检索图像输入到训练好的自编码网络和鲁棒核哈希函数生成哈希编码，然后将需要检索的图像生成的哈希编码与检索库中的所有图像生成的哈希编码进行比对以检索出最为相似的图像，完成图像检索。

对于一个图像数据集，利用自编码网络提取图像特征[h,w,n]，由于采用2D卷积，卷积层的特征映射都是对前一层所有通道的特征映射进行卷积求和，因此每个特征映射提取的都是图像的全局特征，而且同一层特征映射采用不同的卷积核参数进行卷积，实现了提取特征的多样性。利用特征的多样性，联合鲁棒核哈希算法，对每一个特征映射进行哈希编码生成{-1,1}，则r＝n,不仅保证了特征的多样性和完备性，同时实现了联合自编码网络和鲁棒核哈希的图像检索算法，提高了检索精度并极大降低了存储空间和计算复杂度。

Claims (4)

1.一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，其特征在于：包括如下步骤：

步骤一，采用自编码网络结构提取深度图像特征：

训练自编码网络模型：通过基于卷积神经网络的自编码网络进行编码来压缩图像以生成深度特征，将样本图像输入至去除全连接层和分类层的VGG16卷积神经网络结构，首先对图像进行卷积，然后通过批量归一化层再采用Relu函数(max(0，x))进行非线性映射，再通过池化层对卷积层输出的信息进行进一步压缩以完成编码得到深度特征；然后对深度特征进行解码：采用先联合编码阶段的低维特征和对应解码阶段的高维特征，再进行反卷积和反池化来得到复原图像，并通过最小化原始图像与复原图像对应位置像素点差值的平方和训练整个网络模型，使用随机梯度下降法更新网络模型参数，得到训练完成的网络模型；

步骤二，鲁棒核哈希机制作为检索机制：

对于作为被检索对象的图像数据集，采用引入核方法的哈希编码进行检索，首先通过图像哈希编码的权值参数向量来构造哈希函数，然后基于样本来进行训练，得到模型的损失函数，同时利用梯度下降法对参数向量进行更新，得到训练完成的哈希函数；

步骤三，联合自编码网络和鲁棒核哈希实现图像检索：

基于步骤一和步骤二得到的网络模型和哈希函数，预先将检索库中的所有图像依次输入至训练完成后的网络模型以提前深度特征，然后将深度特征通过哈希函数对每个特征映射生成哈希编码，图像检索时同样将需要进行检索的图像输入至训练完成后的网络模型以提取图像特征，然后通过哈希函数对每一个特征映射生成哈希编码，然后将需要检索的图像生成的哈希编码与检索库中的所有图像生成的哈希编码进行比对以检索出最为相似的图像，完成图像检索。

2.根据权利要求1所述的一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，其特征在于：步骤一包括以下过程：

通过公开图像数据集训练基于卷积神经网络编码-解码结构的自编码网络，在编码阶段，每一层的输入特征映射以一个三维的数组[h,w,d]表示，其中h和w是特征映射的尺寸，d是特征映射的通道数，相邻层的特征映射通过尺寸(L,M)的感受野相连，对于卷积操作，设x_ij是前一层(i,j)位置的像素值，y_ij是下一层对应位置的像素值，有

其中*表示卷积，b是偏置的共享值，L＝M＝3，卷积之后先通过批量归一化层再采用Relu函数(max(0,x))进行非线性映射；

对于池化操作，有

其中L＝M＝2，编码阶段采用平均池化，用于压缩卷积层输出的信息，再采用先联合编码阶段的低维特征和对应解码阶段的高维特征进行反卷积、反池化，通过最小化原始图像与复原图像对应位置像素点差值的平方和训练整个网络，即

其中x是原始图像，y是生成图像。

3.根据权利要求1所述的一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，其特征在于：步骤二中检索机制的具体方法为：

通过公开图像数据集训练鲁棒核哈希函数，对于核函数k:预测函数f:有：

其中x₍₁₎,...,x_(m)是每次迭代从数据集χ中分层采样m个样本，a_j∈R是需要学习的权重，b∈R是偏置，哈希函数为h(x)＝sgn(f(x))，根据KSH令则有：

其中α＝[a₁,...,a_m]^T，是映射向量：

这里设对每个样本有r个哈希编码，则有r个向量α₁,...,α_r构造哈希函数通过样本的标签判断样本对的是否相似，若样本对类别相同，则样本对相似，label(x_i,x_j)＝1；若样本对不相似，则label(x_i,x_j)＝-1；当样本对的信息未知时，则label(x_i,x_j)＝0，每次训练从样本批量选取l(m＜l≤n)个样本，定义监督矩阵S∈R^l×l:

令每个样本生产的r个编码表示为code_r(x)＝[h₁(x),…,h_r(x)]∈{1,-1}^1×r，则样本对的内积可表示为：

其中表示内积，由且S_ij∈{-1,0,1}，当时S_ij＝1，时S_ij＝-1，则模型损失函数为：

其中表示χ_l的编码矩阵，||.||_F表示Frobenius范式，利用梯度下降法进行对参数向量α更新。

4.根据权利要求1所述的一种基于自编码网络和鲁棒核哈希的半监督图像检索方法，其特征在于：步骤三中图像检索的具体方法为：

通过训练好的自编码网络和鲁棒核哈希函数，预先生成检索库中的所有图像的深度特征和哈希编码，然后同样将待检索图像输入到训练好的自编码网络和鲁棒核哈希函数生成哈希编码，然后将需要检索的图像生成的哈希编码与检索库中的所有图像生成的哈希编码进行比对以检索出最为相似的图像，完成图像检索。