CN109522432A - 一种融合自适应相似度和贝叶斯框架的图像检索方法 - Google Patents

Abstract

本发明涉及图像检索技术领域，公开了一种融合自适应相似度和贝叶斯框架的图像检索方法，包括以下步骤：S1：构建相似度矩阵和标识矩阵；S2：通过构建深度哈希神经网络模型从而将图像转换为近似哈希向量；S3：构建融合贝叶斯框架的损失函数；S4:通过构建相似度更新幅度模型实现图像相似度的调整；S5：对构建的深度哈希神经网络模型进行训练；S6：构建图像的哈希向量数据库；S7：将需检索图像的哈希向量与构建的哈希向量数据库进行比对，以找出相似的图像。通过本发明可提高图像的检索速度和精度。

Description

一种融合自适应相似度和贝叶斯框架的图像检索方法

技术领域

本发明涉及图像检索技术领域，特别涉及一种融合自适应相似度和贝叶斯框架的图像检索方法。

背景技术

图像检索过程中，检索系统需要处理大规模且复杂的图像数据，这就要求在保证检索图像质量的同时，也要保证检索的效率，以及需解决海量信息的有效存储，以达到更好的用户体验。

由于图像数据具有较高的复杂性，所以需要从图像中提取出较为关键且有区分度的特征用于表示图像，同时这些特征之间能够快速的进行比较。一般使用哈希方法来对图像进行二进制哈希向量表示，以便于通过使用位运算快速比较特征以及减少存储空间的占用，利用深度哈希网络的哈希方法具有更好的效果。

传统的深度哈希方法都只使用了较为粗糙的量化方式来对不同图像之间的相似度进行量化，当数据集中的两个图像共享标签时则视为相似，反之则不相似。同时相似度表示没有随着模型的训练而做出改变，从一定程度上影响了模型的最终效果。在传统的哈希方法中，损失函数只定义为图像哈希向量之间的海明距离和相似度值的关系，而没有从概率角度来构建优化目标，从而降低图像的检索精度。

发明内容

针对已有图像检索技术方法中图像检索精度低的问题，本发明提供一种融合自适应相似度和贝叶斯框架的图像检索方法，用于构建深度哈希网络模型，提高图像的检索精度。

为了实现上述目的，本发明提供以下技术方案：

一种融合自适应相似度和贝叶斯框架的图像检索方法，包括以下步骤：

S1：构建相似度矩阵和标识矩阵；

S2：通过构建深度哈希神经网络模型从而将图像转换为近似哈希向量；

S3：构建融合贝叶斯框架的损失函数；

S4:通过构建相似度更新幅度模型实现图像相似度的调整；

S5：对构建的深度哈希神经网络模型进行训练；

S6：构建图像的哈希向量数据库；

S7：将需检索图像的哈希向量与构建的哈希向量数据库进行比对，用于找出相似的图像。

优选的，所述步骤S1中，构建相似度矩阵和标识矩阵的步骤如下：

S1-1：选取在数据集中出现次数前C位的标签种类及相对应的图像，用于构建图像数据库；

S1-2：从图像数据库中随机抽取图像及对应的标签，对标签进行相互内积，从而构建相似度矩阵：

公式(1)中，S为相似度矩阵，S_ij表示图像i和图像j之间的相似度，n表示图像的个数，L为构建的标签向量矩阵，L^T表示L的转置矩阵；

S1-3：根据clip函数对相似度矩阵进行裁剪，构建标识矩阵：

其中，clip函数为：

公式(2)、(3)中，为标识矩阵，表示图像i和图像j是否有共享同一种标签，1表示有共享标签，0表示没有共享标签，n表示图像的个数。

优选的，所述步骤S2中，构建的深度哈希神经网络模型包括5个卷积层、3个全连接层；

所述5个卷积层包括conv1、conv2、conv3、conv4及conv5；

所述3个全连接层包括fc6、fc7及f_hash。

优选的，所述全连接层f_hash的神经元个数为64。

优选的，所述S3中，所述损失函数为：

公式(4)中，Q表示损失函数，S_ij表示图像i和图像j之间的相似度，S为相似度矩阵，β为调节概率函数变化程度的参数，Z_i和Z_j分别表示第i张图像和第j张图像的近似哈希向量，<z_i,z_j>表示Z_i和Z_j之间的内积，表示图像i和图像j是否有共享同一种标签，表示维度和Z_i相同的所有元素值为1的向量,表示近似哈希向量Z_i的绝对值向量和全1向量每个元素之间的差值之和，表示近似哈希向量Z_j的绝对值向量和全1向量之间的每个元素之间的差值之和。

优选的，所述S4包括以下步骤：

S4-1：通过sign函数获取图像的哈希向量；

S4-2：计算哈希向量之间的欧氏距离：

公式(5)中，d_ij表示哈希向量h_i和哈希向量h_j之间的欧氏距离，b表示哈希向量的位数，表示图像i的哈希向量第p维度的值，表示图像j的哈希向量第p维度的值；

S4-3：构建相似度更新幅度模型，用于调整图像之间的相似度：

δ_ij＝tanh(αd_ij) (6)

公式(6)中，δ_ij表示相似度s_ij的更新幅度，d_ij表示哈希向量h_i和哈希向量h_j之间的欧氏距离，α为调节距离对变化程度影响的参数；

公式(7)中，表示调整后的图像i与图像j的相似度，S_ij表示调整前的图像i与图像j的相似度，δ_ij表示相似度s_ij的更新幅度。

优选的，所述S5中，采用随机梯度下降法对深度哈希神经网络模型进行训练，训练次数为6000次，

公式(8)中，θ表示深度哈希神经网络模型中的任意一个参数，θ′表示更新后的参数，λ表示θ更新的幅度，Q表示损失函数，表示Q关于θ的梯度。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

本发明通过构建深度哈希神经网络模型并对其进行训练，提高了图像的检索速度和精度。

附图说明：

图1为根据本发明示例性实施例的一种图像检索方法流程示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

图1为本发明示例性实施例的一种融合自适应相似度和贝叶斯框架的图像检索方法，具体包括以下步骤：

S1：构建相似度矩阵和标识矩阵。

S1-1：选取在数据集中出现次数前C位的标签种类及相对应的图像，用于构建图像数据库。

本实施例中，本发明采用微软公开的COCO数据集和新加坡国立大学公开的NUS-WIDE数据集，数据集中的每一张图像对应若干个标签种类(例如标签种类为山、水、草)。本发明选取在数据集中出现次数(由多到少排列)排列前C位的标签种类以及拥有该标签种类的图像，用于构建图像数据库。例如，本发明在COCO数据集和NUS-WIDE数据集中分别选取出现次数排列前20的标签种类及对应的图像和前30的标签种类及对应的图像，用于构建本发明的图像数据库。

S1-2：从图像数据库中随机抽取图像及对应的标签，对标签进行相互内积，从而构建相似度矩阵。

本实施例中，本发明从图像数据库中随机抽取n个图像及对应的标签，构成训练集：V＝{v₁,v₂,…,v_n}，v_n表示第n个图像及对应的标签，n≥1；其中，v_n＝{I_n,L_n},I_n表示第n张图像，L_n表示第n张图像对应的标签，其为向量，并用标签向量构建矩阵L，其大小为n×C，n表示图像的个数，C表示标签种类的个数。本发明将所有标签L_n进行相互内积，并将内积所得的值用于构建相似度矩阵，其大小为n×n,n表示图像的个数。

相似度矩阵S表达式为以下公式：

公式(1)中，S为相似度矩阵，S_ij表示图像i和图像j之间的相似度，n表示图像的个数；L为构建的标签向量矩阵，L^T表示L的转置矩阵。

S1-3：根据clip函数对相似度矩阵进行裁剪，构建标识矩阵。

本实施例中，本发明根据clip函数对相似度矩阵S进行裁剪，从而构建标识矩阵用于表示不同图像是否共享同一种标签。

标识矩阵的表达式为以下公式：

其中，clip函数为以下公式：

公式(2)、(3)中，表示图像i和图像j是否有共享同一种标签，1表示有共享标签，0表示没有共享标签，n表示图像的个数，S_ij表示图像i和图像j之间的相似度。

S2：通过构建深度哈希神经网络模型从而将图像转换为近似哈希向量。

本实施例中，本发明在经典的AlexNet模型上进行优化，用于构建深度哈希神经网络模型，以提高图像的检索精度。

本发明在AlexNet模型的基础上构建一个新的全连接层f_hash代替最后一个全连接层fc8，并将新的全连接层的神经元个数设置为64，以构建深度哈希神经网络模型。

本发明使用tanh函数作为全连接层f_hash的激活函数，用于使全连接层f_hash中各个神经元输出的值在[-1,1]之间。本发明将图像输入到深度哈希神经网络模型中，经过卷积层和全连接层的转换后，将得到近似哈希向量，近似哈希向量中每一个参数的取值为[-1,1]之间的任意小数。例如，本发明在构建的深度哈希神经网络模型中输入大小为227×227×3的图像，经过5个卷积层和3个全连接层处理，将输出一个64维的近似哈希向量。本发明可同时输入多个图像，从而得到多个近似哈希向量集合Z＝{z₁,z₂,…z_n}，Z_n表示第n张图像的近似哈希向量。

S3：构建融合贝叶斯框架的损失函数。

S3-1：本发明将所述S2中所得的近似哈希向量形成集合Z＝{z₁,z₂,…z_n}，Z_n表示第n张图像的近似哈希向量，n≥1。计算集合中近似哈希向量之间的内积<z_i,z_j>，用于表示两个近似哈希向量之间的相似度，其中，Z_i表示第i张图像的近似哈希向量，Z_j表示第j张图像的近似哈希向量。

S3-2：将内积<z_i,z_j>融合进sigmoid函数构成概率函数σ。

概率函数σ的表达式为以下公式：

公式(4)中，Z_i和Z_j分别表示第i张图像和第j张图像的近似哈希向量；S_ij表示图像i和图像j之间的相似度；e为自然常数；β为调节函数变化程度的参数，可设置为10。

S3-3：根据概率函数σ、相似度矩阵S及标识矩阵构建条件概率模型。

本发明构建的条件概率模型的表达式为以下公式：

该条件概率模型的意义为：两个图像的近似哈希向量之间的内积<z_i,z_j>越大，即两个近似哈希向量越相似，则他们共享标签的概率越大，即表示两个图像越相似。

S3-4：定义每一个近似哈希向量的概率。

本实施例中，本发明对每一个近似哈希向量的概率进行了定义，其概率表达式为以下公式：

该概率公式意义为：该概率表示近似哈希向量越接近于1或-1，那么它是个合理的近似哈希向量的概率越高。

公式(6)中，p(z_i)表示第i张图像的近似哈希向量Z_i的合理概率，exp表示指数函数，表示维度和Z_i相同的所有元素值为1的向量,表示近似哈希向量的绝对值向量和全1向量每个元素之间的差值之和。

S3-5：构建损失函数。

本实施例中，本发明在已知两个图像是否有共享标签的情况下，需进行极大似然估计以找到出现概率最大的近似哈希向量，即最大化概率。

最大化概率的表达式为以下公式：

公式(7)中，Z_i和Z_j分别表示第i张图像和第j张图像的近似哈希向量，表示图像i和图像j是否有共享同一种标签。

根据贝叶斯公式，最大化概率的表达式转化为以下表达式：

本发明结合最大化概率、每一个哈希向量的概率及条件概率进行对数极大似然估计，可以得到损失函数，其表达式为以下公式：

公式(9)中，Q为损失函数，S_ij表示图像i和图像j之间的相似度，S为相似度矩阵，β为调节概率函数σ变化程度的参数，Z_i和Z_j分别表示第i张图像和第j张图像的近似哈希向量，表示图像i和图像j是否有共享同一种标签，表示维度和Z_i相同的所有元素值为1的向量,表示近似哈希向量Z_i的绝对值向量和全1向量每个元素之间的差值之和，表示近似哈希向量Z_j的绝对值向量和全1向量每个元素之间的差值之和。

S4:通过构建相似度更新幅度模型实现图像相似度的调整。

S4-1：通过sign函数获取图像的哈希向量。

本实施例中，本发明从图像数据库中随机抽取n个图像，并将n个图像输入构建的深度哈希神经网络模型，从而模型将输出近似哈希向量Z_i；对近似哈希向量Z_i的每一个参数使用sign函数,得到由-1和1表示的图像的二进制哈希向量h_i,即h_i＝sign(z_i)，h_i表示图像i的哈希向量，Z_i表示图像i的近似哈希向量。本发明通过二进制哈希向量h_i之间的位运算快速对比，加快图像的检索速度，节约了时间成本。

其中，sign函数为：

S4-2：计算哈希向量之间的欧氏距离。

本实施例中，本发明将对图像的哈希向量之间的欧氏距离d_ij进行计算，计算公式为以下公式：

公式(11)中，d_ij表示哈希向量h_i和哈希向量h_j之间的欧氏距离，b表示输出的哈希向量的位数，表示图像i的哈希向量第p维度的值，表示图像j的哈希向量第p维度的值，p表示哈希向量的维度。

S4-3：构建相似度更新幅度模型，用于调整图像之间的相似度。

本实施例中，本发明通过构建相似度更新幅度模型以对图像的相似度进行调整，提高图像的检索精度。

相似度更新幅度模型的表达式为以下公式：

δ_ij＝tanh(αd_ij) (12)

公式(12)中，δ_ij表示相似度s_ij的更新幅度，d_ij表示哈希向量h_i和哈希向量h_j之间的欧氏距离，α为调节距离对变化程度影响的参数，可设定为0.03。

本发明中将通过相似度更新幅度模型对图像的相似度进行调整，调整后的图像相似度为：

公式(13)中，表示调整后的图像i与图像j的相似度，S_ij表示调整前的图像i与图像j的相似度，δ_ij表示相似度s_ij的更新幅度。

S5：对构建的深度哈希神经网络模型进行训练。

S5-1：通过损失函数构建优化目标。

本实施中，本发明将利用构建的损失函数模型来构建优化目标：min_ΘQ，表示求使得Q的值最小时的Θ中所有参数的取值，其中，Θ为深度哈希神经网络模型中的参数集合，Q为构建的损失函数模型。

S5-2:使用随机梯度下降的方法对优化目标进行求解。

本实施例中，本发明采用随机梯度下降的方法对优化目标求解，即对损失函数Q求其关于参数θ的梯度，再将参数向梯度的反方向更新，计算公式如下：

公式(14)中，θ表示深度哈希神经网络模型中的任意一个参数，θ′表示更新后的参数，λ表示θ更新的幅度，称为学习率，可设置为0.0005，表示Q关于θ的梯度。

本发明将对优化目标求解6000次，并每求解100次就对图像的相似度进行更新，以便更好地对深度哈希神经网络模型进行训练，提高图像的检索精度。

S6：构建图像的哈希向量数据库。

本实施例中，本发明将图像数据库中的图像输入已训练完成的深度哈希神经网络模型，将会得到近似哈希向量集合Z＝{z₁,z₂,…z_N}，其中N为图像数据库中图像的个数，Z_N为第N个图像的近似哈希向量；将近似哈希向量集合Z经过sign函数，得到对应的二进制哈希向量数据库集合H＝{h₁，h₂，...h_N}，其中N为图像数据库中图像的个数，h_N表示第N个图像的二进制哈希向量。

S7：将需检索图像的哈希向量与构建的哈希向量数据库进行比对，以找出相似的图像。

本实施例中，本发明将需检索的图像i输入已训练完成的深度哈希神经网络模型中，从而得到相对应的近似哈希向量Z_i；再经过sign函数，得到图像i相对应的哈希向量h_i；将哈希向量h_i和构建的图像哈希向量数据库中的所有哈希向量进行与运算，分别得到相对应的结果值，并将结果值按从大到小进行排列；结果值越大，表明参与与运算的哈希向量与h_i越相似，即表明该哈希向量对应的图像与需检索的图像i越相似，保障了图像的检索精度。例如，哈希向量h_i与图像哈希向量数据库中的第一哈希向量进行与运算，得到第一结果值；哈希向量h_i与图像哈希向量数据库中的第二哈希向量进行与运算，得到第二结果值；当第一结果值大于第二结果值，即表明第一哈希向量对应的图像与哈希向量h_i对应的图像更加相似，有利于提高图像的检索精度。

Claims (7)

1.一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，包括以下步骤：

S1：构建相似度矩阵和标识矩阵；

S2：通过构建深度哈希神经网络模型从而将图像转换为近似哈希向量；

S3：构建融合贝叶斯框架的损失函数；

S4:通过构建相似度更新幅度模型实现图像相似度的调整；

S5：对构建的深度哈希神经网络模型进行训练；

S6：构建图像的哈希向量数据库；

S7：将需检索图像的哈希向量与构建的哈希向量数据库进行比对，用于找出相似的图像。

2.如权利要求1所述的一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，所述S1中，构建相似度矩阵和标识矩阵的步骤如下：

S1-1：选取在数据集中出现次数前C位的标签种类及相对应的图像，用于构建图像数据库；

S1-2：从图像数据库中随机抽取图像及对应的标签，对标签进行相互内积，从而构建相似度矩阵：

公式(1)中，S为相似度矩阵，S_ij表示图像i和图像j之间的相似度，n表示图像的个数，L为构建的标签向量矩阵，L^T表示L的转置矩阵；

S1-3：根据clip函数对相似度矩阵进行裁剪，构建标识矩阵：

其中，clip函数为：

公式(2)、(3)中，为标识矩阵，表示图像i和图像j是否有共享同一种标签，1表示有共享标签，0表示没有共享标签，n表示图像的个数。

3.如权利要求1所述的一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，所述S2中，构建的深度哈希神经网络模型包括5个卷积层、3个全连接层；

所述5个卷积层包括conv1、conv2、conv3、conv4及conv5；

所述3个全连接层包括fc6、fc7及f_hash。

4.如权利要求3所述的一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，所述全连接层f_hash的神经元个数为64。

5.如权利要求1所述的一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，所述S3中，所述损失函数为：

公式(4)中，Q表示损失函数，S_ij表示图像i和图像j之间的相似度，S为相似度矩阵，β为调节概率函数变化程度的参数，Z_i和Z_j分别表示第i张图像和第j张图像的近似哈希向量，<z_i,z_j>表示Z_i和Z_j之间的内积，表示图像i和图像j是否有共享同一种标签，表示维度和Z_i相同的所有元素值为1的向量,表示近似哈希向量Z_i的绝对值向量和全1向量每个元素之间的差值之和，表示近似哈希向量Z_j的绝对值向量和全1向量之间的每个元素之间的差值之和。

6.如权利要求1所述的一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，所述S4包括以下步骤：

S4-1：通过sign函数获取图像的哈希向量；

S4-2：计算哈希向量之间的欧氏距离：

公式(5)中，d_ij表示哈希向量h_i和哈希向量h_j之间的欧氏距离，b表示哈希向量的位数，表示图像i的哈希向量第p维度的值，表示图像j的哈希向量第p维度的值；

S4-3：构建相似度更新幅度模型，用于调整图像之间的相似度：

δ_ij＝tanh(αd_ij) (6)

公式(6)中，δ_ij表示相似度s_ij的更新幅度，d_ij表示哈希向量h_i和哈希向量h_j之间的欧氏距离，α为调节距离对变化程度影响的参数；

公式(7)中，表示调整后的图像i与图像j的相似度，S_ij表示调整前的图像i与图像j的相似度，δ_ij表示相似度s_ij的更新幅度。

7.如权利要求1所述的一种融合自适应相似度和贝叶斯框架的图像检索方法，其特征在于，所述S5中，采用随机梯度下降法对深度哈希神经网络模型进行训练，训练次数为6000次，

公式(8)中，θ表示深度哈希神经网络模型中的任意一个参数，θ′表示更新后的参数，λ表示θ更新的幅度，Q表示损失函数，表示Q关于θ的梯度。