CN110321451A - 基于分布熵增益损失函数的图像检索算法 - Google Patents

Abstract

本发明公开了一种基于分布熵增益损失函数的图像检索算法，所述算法使用预训练网络进行初始化，根据图像检索任务的需求训练网络，在训练网络时使用自行设计的分布熵增益损失函数，提升了图像检索的准确率；分布熵增益损失函数结合了对比损失函数和相对熵，增强了训练网络时图像相似性度量的准确性；对比损失函数通过欧氏距离计算特征之间的相似度，相对熵可以用于衡量特征向量之间的分布差异，将相对熵补充到对比损失函数中改善了特征向量相似性度量；使用分布熵增益损失函数训练网络模型，通过调整网络参数得到更适用于图像检索任务的网络模型，训练后的网络模型在图像检索实验中取得了更优的检索效果。

Description

基于分布熵增益损失函数的图像检索算法

技术领域

本发明属于图像检索技术领域，涉及一种通过分布熵增益损失函数训练网络的图像检索算法。

背景技术

伴随着互联网技术的蓬勃发展，社交软件丰富多样，多种形式的多媒体信息充斥着我们的生活。如何快速、准确地捕捉并能有效利用多媒体信息成为一个重要的研究课题，引起了学术界的广泛关注。在这种趋势下，图像检索技术得到了充分又全面的发展。

近年来，随着神经网络成功应用于图像分类后，研究者越来越关注神经网络在图像检索领域的应用，大量研究表明神经网络卷积层输出的特征具备出色的区分性和扩展性。因而，近年来基于卷积神经网络的图像检索算法层出不穷，基于卷积神经网络的图像检索方法主要分为三类，分别是微调网络、预训练网络和混合网络。其中混合网络在图像检索任务中效率较低，使用更多的是预训练网络。虽然预训练网络已经取得了令人惊叹的检索性能，但其往往不具备与图像检索任务相匹配网络参数，因此图像检索网络微调成为比较热门的研究话题。微调网络是通过预训练的图像分类模型对网络进行初始化，然后在此基础上针对不同的任务进行参数调整。通常使用经过微调的检索网络比直接应用预训练模型的效果更好。微调网络一般通过度量学习的网络架构训练网络以更新网络参数，使得训练后得到的网络架构更加贴近图像检索这项任务，当下较为流行的度量学习网络架构孪生网络结合成对损失函数或三元损失函数。

基于卷积神经网络的图像检索关键在于训练出一个与检索任务高度匹配的网络，通过训练的网络提取表达能力更强的特征向量，提高图像检索的准确率。在训练网络参数时最重要的是训练数据集和度量学习的网络架构，使用SfM算法可以自动匹配训练数据得到训练集，此外可以通过分布熵增益损失函数改进度量学习网络的训练，这对提升图像检索的准确率有着重要的促进作用。可见，基于分布熵增益损失函数的图像检索算法具有广泛的应用前景。

发明内容

本发明的目的是提供一种基于分布熵增益损失函数的图像检索算法，使用分布熵增益损失函数训练网络调整网络参数，为图像检索任务提供更准确的网络模型，提升图像检索的准确率，实验时检索的准确率利用平均准确率(mAP)表示。

本发明的目的是通过以下技术方案实现的：

一种基于分布熵增益损失函数的图像检索算法，利用分布熵增益损失函数训练网络，网络训练过程中通过反向传播修改网络参数，在训练过程中，调整参数是为了减小匹配的图像对之间的欧氏距离同时增大不匹配的图像对之间的欧氏距离，使最终得到的网络模型更加符合图像检索的需求。具体实施步骤如下：

步骤一、构建分布熵增益损失函数：

L＝L1+(0.1×L2)；

其中，L表示分布熵增益损失函数，L1表示对比损失函数，L2表示特征向量相对熵；

步骤二、采用ResNet101和VGG16对卷积神经网络进行初始化；

步骤三、使用分布熵增益损失函数训练步骤二初始化得到的网络，在训练过程中通过反向传播和调整网络参数，以得到更加符合图像检索需求的网络模型；

步骤四、对测试集中所有图像进行多尺度预处理，将预处理之后的多尺度图像输入到通过步骤三训练得到的网络模型中，通过训练后的网络模型提取不同尺度下的图像特征向量；

步骤五、对不同尺度下的图像特征向量使用广义均值池化方法、归一化处理和学习白化处理得到图像最终的特征向量；

步骤六、计算查询图像和测试集中其他图像特征向量的欧氏距离，将计算得到的值用来衡量图像的相似性，并根据相似性得到查询图像的检索序列，所述欧氏距离计算公式如下：

其中，f(i)表示图像i输入网络模型后输出的特征向量，f(j)表示图像j输入网络模型后输出的特征向量，||f(i)-f(j)||²表示特征向量f(i)和特征向量f(j)每一维值差的平方和。

相比于现有技术，本发明具有如下优点：

(1)使用预训练网络进行初始化，根据图像检索任务的需求训练网络，在训练网络时采用了自行设计的分布熵增益损失函数，提升了图像检索的准确率。

(2)分布熵增益损失函数结合了对比损失函数和相对熵，增强了训练网络时图像相似性度量的准确性。

(3)对比损失函数通过欧氏距离计算特征之间的相似度，而具有相同欧式距离的特征向量可能具有不同的分布状态，相对熵可以用于衡量特征向量之间的分布差异，将相对熵作为对比损失函数的补充改善了特征向量相似性度量。

(4)使用分布熵增益损失函数训练网络，通过调整网络参数得到更适用于图像检索任务的网络模型，训练后的网络模型在图像检索实验中取得了更优的检索效果。

附图说明

图1为本发明基于分布熵增益损失函数的图像检索算法的网络训练结构图；

图2为特征向量分布差异示意图；

图3为基于分布熵增益损失函数的图像检索算法的检索流程图。

具体实施方式

下文结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于分布熵增益损失函数的图像检索算法，如图1所示，网络训练结构包括图像特征提取、对比损失函数和特征向量分布熵，图像特征提取包括卷积神经网络结构、广义均值池化、归一化，其中：

所述图像特征提取将使用SfM算法得到的训练数据集作为输入，输出训练集图像的特征向量。

所述卷积神经网络使用ResNet101和VGG16对卷积神经网络进行初始化。ResNet和VGG使用了Adam学习策略并设置Adam初始步长为10^-6，损失函数在ResNet101和VGG16中的上界分别取0.85和0.75。训练网络时输入数据的Batch设置为5，训练图像处理后的大小不超过362*362，同时保持了原图像的长宽比例。

所述广义均值池化用于将卷积层输出的特征图处理后输出特征向量，广义均值池化是最大池化和平均池化的中和情况，广义均值池化处理方法如下：

其中，k表示特征向量的维度，p_k是指数，X_k是维度为k的特征图，||X||是特征图X像素值的个数，x表示特征图中的像素值。

所述归一化是L2归一化，L2归一化平衡像素点取值范围的影响而不改变数值之间的比例差距，将数据统一转换到0和1之间。计算公式如下：

其中，V表示向量，||V||表示向量的模，v_i表示特征向量上第i维上的值。

所述对比损失函数公式如下：

其中，f(q)和f(i)表示图像的特征向量，||f(q)-f(i)||²表示向量f(q)和向量f(i)的欧式距离，r表示负样本损失函数值的上限，Y(q,i)为1表示匹配，Y(q,i)为0表示不匹配，q表示查询图像，i表示训练集除了查询图像以外的图像即查询图像对应的正样本和负样本图像。根据公式可知，对于匹配的图像，描述子之间的欧式距离越大，损失函数的输出就越大；对于不匹配的图像，描述子的欧式距离越大，损失函数的输出就越小。

所述特征向量分布熵通过计算特征向量间的相对熵得到，得到的相对熵可以反映被比较的两个特征向量间的分布状态差异，如图2所示，不同的颜色表示不同大小的值，利用欧氏距离计算时可能相似性较大，可是实际上两特征向量的分布并不一致。相对熵计算公式如下：

其中，k表示特征向量的维度，p(x_i)和q(x_i)表示被比较的图像对特征向量指定维度数值在特征向量中的频率分布。

所述特征向量指定维度数值在特征向量中的概率分布，将当前特征向量内部所有值相加求和得S，求得指定维度上的值占S的比例。计算公式如下：

其中，i表示特征向量的维度编号，x_i表示特征向量上第i维上的值。

将特征向量分布熵和对比损失函数相结合得到最终的分布熵增益损失函数，相对熵的计算使用了许多原对比损失函数的中间变量，提高了损失函数的计算效率。利用本发明提出的分布熵增益损失函数训练的网络提升了图像检索的准确率。二者结合的公式如下：

L＝L1+(0.1×L2)；

其中，L表示分布熵增益损失函数，L1表示对比损失函数，L2表示特征向量相对熵。

使用本发明提出的基于分布熵增益损失函数的图像检索算法进行图像检索，检索结果用mAP来衡量。如图3所示，进行图像检索的步骤为：

步骤一，使用分布熵增益损失函数训练网络，在训练过程中通过反向传播调整网络参数，以得到更加符合图像检索需求的网络模型。

本步骤中，训练网络时采用ResNet101和VGG16对网络进行初始化，卷积神经网络卷积层之后的池化层采用广义均值池化。

本步骤中，训练网络时采用的训练集是通过SfM算法得到的，在训练网络时，训练集数据以元组(q,m(q),N(q))的形式呈现，其中q是查询图像，m(q)是与查询匹配的图像，N(q)表示与查询不匹配的图像。

本步骤中，训练集图像分为查询图像、正样本图像和负样本图像，每个查询图像分别对应一个正样本和五个负样本。

步骤二，对测试集图像进行多尺度预处理，选用五种不同的尺度对图像进行处理，尺度取值分别为1、1/sqrt(2)、1/2、1/sqrt(8)、1/4。

步骤三，将预处理之后的多尺度图像输入到训练后的网络模型中，通过训练后的网络模型提取图像不同尺度下的特征。

步骤四，通过训练后的网络模型提取得到多尺度图像特征向量，多尺度图像特征向量经过广义均值池化方法输出该图像的特征向量。计算公式如下：

其中，k表示特征向量的维度，p_k是指数，X_k是维度为k的特征图，||X||是计算特征图X的像素值的个数，x表示特征图中的像素值。

步骤五，对特征向量使用学习白化处理实现降维，它是池化后特征向量的一种重要的后处理方式。学习白化是在网络模型训练结束后利用SfM算法生成训练集得到学习白化矩阵，使用线性判别投影，白化的训练步骤如下：

白化部分是类内(匹配的图像对)协方差矩阵的平方根的倒数，计算公式如下：

其中，f(i)和f(j)是图像的特征向量，Y(i,j)＝1表示图像对匹配，C_S表示匹配图像对的协方差矩阵。

旋转部分是类间(不匹配的图像对)协方差矩阵的特征向量，计算公式如下：

其中，f(i)和f(j)是图像的特征向量，Y(i,j)＝0表示图像对匹配，C_D表示非匹配图像对的协方差矩阵。

最后将投影应用于其中μ是GeM向量的平均值，用来实现数据中心化。

步骤六，将得到的特征向量进行欧氏距离计算，根据欧式距离进行相似性排序，根据相似性排序结果输出查询图像的检索序列，通过计算mAP值可以测得检索的准确率。

采用VGG16初始化网络，通过上述步骤分别使用对比损失函数和分布熵增益损失函数训练网络。测试时对Oxford数据集执行上述步骤对经训练后网络模型输出的特征图使用GeM池化得到特征向量，经过白化处理后进行图像检索，检索结果采用平均准确率mAP(％)来衡量，表1的实验结果表明本发明提出的方法在图像检索领域取得了显著的提升效果，且具有广泛的应用前景。

表1

实验方法	VGG16+GeM	VGG16+GeM+白化
			对比损失	81.27	86.26
分布熵增益损失	82.58	87.47

Claims (7)

1.一种基于分布熵增益损失函数的图像检索算法，其特征在于所述图像检索算法包括如下步骤：

步骤一、构建分布熵增益损失函数：

L＝L1+(0.1×L2)；

其中，L表示分布熵增益损失函数，L1表示对比损失函数，L2表示特征向量相对熵；

步骤二、采用ResNet101和VGG16对卷积神经网络进行初始化；

步骤三、使用分布熵增益损失函数训练步骤二初始化得到的网络，在训练过程中通过反向传播调整网络参数，以得到更加符合图像检索需求的网络模型；

步骤四、对测试集中所有图像进行多尺度预处理，将预处理之后的多尺度图像输入到通过步骤三训练得到的网络模型中，通过训练后的网络模型提取不同尺度下的图像特征向量；

步骤五、对不同尺度下的图像特征向量使用广义均值池化方法、归一化处理和学习白化处理得到图像最终的特征向量；

步骤六、计算查询图像和测试集中其他图像特征向量的欧氏距离，将计算得到的值用来衡量图像的相似性，并根据相似性得到查询图像的检索序列。

2.根据权利要求1所述的基于分布熵增益损失函数的图像检索算法，其特征在于所述对比损失函数公式如下：

其中，f(q)和f(i)表示图像的特征向量，||f(q)-f(i)||²表示向量f(q)和向量f(i)的欧式距离，r表示负样本损失函数值的上限，Y(q,i)为1表示匹配，Y(q,i)为0表示不匹配。

3.根据权利要求1所述的基于分布熵增益损失函数的图像检索算法，其特征在于所述特征向量相对熵的计算公式如下：

其中，k表示特征向量的维度，p(x_i)和q(x_i)表示被比较的图像对特征向量指定维度数值在特征向量上的频率分布。

4.根据权利要求3所述的基于分布熵增益损失函数的图像检索算法，其特征在于所述p(x_i)的计算公式如下：

其中，i表示特征向量的维度编号，k表示特征向量的维度，x_i表示特征向量上第i维上的值。

5.根据权利要求1所述的基于分布熵增益损失函数的图像检索算法，其特征在于所述步骤一中，训练网络时采用的训练集是通过SfM算法得到的，在训练网络时，训练集数据以元组(q,m(q),N(q))的形式呈现，其中q是查询图像，m(q)是与查询匹配的图像，N(q)表示与查询不匹配的图像。

6.根据权利要求1所述的基于分布熵增益损失函数的图像检索算法，其特征在于所述广义均值池化的计算公式如下：

其中，k表示特征向量的维度，p_k是指数，X_k是维度为k的特征图，||X||是特征图X的像素值个数，x表示特征图中的像素值。

7.根据权利要求1所述的基于分布熵增益损失函数的图像检索算法，其特征在于所述欧氏距离计算公式如下：

其中，f(i)表示图像i输入网络模型后输出的特征向量，f(j)表示图像j输入网络模型后输出的特征向量，||f(i)-f(j)||²表示特征向量f(i)和特征向量f(j)每一维值差的平方和。