CN110188225B - 一种基于排序学习和多元损失的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于排序学习和多元损失的图像检索方法，该方法的核心思想是在选取对于查询图片的负样本组的同时求得其在于查询图像的相似度排序中的序号，将排序序号与特征结合求得损失函数并更新网络，从而准确提取图像特征。本发明将排序学习的理论引入到图像检索中，根据负样本与查询图片的欧式距离调整网络参数，能够更全面的学习图像特征从而进行更准确的检索。本发明充分考虑了负样本对实验的影响，可以根据模型的训练效果对负样本的数量进行调整。

Description

一种基于排序学习和多元损失的图像检索方法

技术领域

本发明属于图像检索技术领域，涉及一种基于排序学习和多元损失的图像检索方法。

背景技术

随着近年来数码相机及智能手机的大规模普及以及存储设备容量的持续增加，多媒体内容特别是视觉数据呈现出爆发式的增长态势。对于海量的视觉内容，如何进行迅速有效的检索是国内外学术与工业界的研究热点。

目前大型的搜索引擎针对互联网图像检索的方法主要通过将预先训练的分类网络进行初始化，针对不同的任务进行训练，这种网络被称作是微调网络。基于验证的的微调网络主要运用在图像检索中，微调能够显著提高网络的适应能力，通过选择匹配和非匹配对来执行训练，直接优化要在最终任务中应用的相似性度量。度量学习主要使用暹罗网络，它被广泛地用于微调网络任务中，例如孪生网络结合成对损失函数或三元损失函数。三元损失训练的模型在挑选样本时具有很大的随机性，耗时长，会导致相对较大的类内间距，从训练到测试具有较弱的泛化能力。因此四元组网络、难样本采样三元组及边界样本挖掘网络应运而生，然而，这些连体网络通常依赖于比我们在这里使用的网络架构更简单的网络架构，这涉及到几个区域的汇集和聚合，图像检索的精度和鲁棒性较低，更重要的是，已有的度量学习网络是通过拉近正样本的推开负样本来进行特征学习，但是在样本与查询图片的距离设置上，运用的同样的数值，然而不是所有的负样本与查询图片都有同样的不相似度，所以这个设计很难准确提取到图像的特征。

图像检索的核心在于将样本排序引入负样本与查询图像距离的损失计算思路，同时负样本的选取方法也是影响图像检索排序的重要因素。因此，在训练集中根据欧式距离对负样本进行选取并结合基于排序的多元损失度量学习方法将对图像的检索有着重要的促进作用。可见，基于排序学习和多元损失的图像检索具有广泛的应用前景。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于排序学习和多元损失的图像检索方法。该方法的核心思想是在选取对于查询图片的负样本组的同时求得其在于查询图像的相似度排序中的序号，将排序序号与特征结合求得损失函数并更新网络，从而准确提取图像特征。

本发明的目的是通过以下技术方案实现的：

一种基于排序学习和多元损失的图像检索方法，包括如下步骤：

步骤1：提取查询图像和训练数据库中图像的底层特征；

步骤2：通过计算步骤1提取得到的查询图像和训练数据库中所有图像底层特征的欧氏距离，将训练数据分为正样本和负样本，将查询图像、正样本和负样本输入网络再次进行底层特征提取；

步骤3：获取负样本组合的真实排序列表；

步骤4：将训练数据的真实排序序号赋予负样本，将序号与其阈值相结合，运用损失函数计算损失值，调整负样本与查询图像特征向量的距离；

步骤5：通过反向传播和共享权重对深度卷积网络的初始参数进行调整，得到深度卷积网络的最终参数；

步骤6：对于测试阶段，将查询图像和测试数据集中的图像进行多尺度处理，并输入步骤5得到的深度卷积网络中，通过学习白化对图像进行降维处理，得到与查询图像相关的图像列表；

步骤7：选取查询图像以及步骤6中获取的图像列表中的Top-N图像进行特征排序，对特征进行加权求和取平均作为查询图像，再进行步骤六的操作，得到最终的图像列表。

相比于现有技术，本发明具有如下优点：

1、本发明将排序学习的理论引入到图像检索中，根据负样本与查询图片的欧式距离调整网络参数，能够更全面的学习图像特征从而进行更准确的检索。

2、本发明充分考虑了负样本对实验的影响，可以根据模型的训练效果对负样本的数量进行调整。

附图说明

图1是本发明基于排序学习和多元损失的图像检索方法的训练流程图；

图2是本发明中负样本的选择示意图；

图3是本发明基于排序学习和多元损失的图像检索方法的测试流程图；

图4是本发明检索图片的最终列表。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明考虑到图像与查询图像的相似程度关系到对图像特征的准确提取从而对图像检索有着重要的影响，提出了一种基于排序和多元损失的图像检索方法。如图1所示，所述图像检索方法包括以下步骤：

步骤1：提取查询图像和训练数据库中图像的底层特征。

提取底层特征是为了得到查询图像的初始表示。本发明采用Resnet101微调网络对图像特征进行初步处理，并采用广义均值池化进行池化操作。

所述池化层采用广义均值池化，对每一个通道，取该通道上所有激活值的广义平均值作为通道池化层的输出值。

所述广义均值池化的计算方式为：

式中，|χ_K|表示特征向量的个数，X表示特征图的像素值，f_k表示特征向量，pk表示指数，其范围为1至正无穷，当其取值为1时，此公式表示最大池化，当其取值为正无穷时，此公式表示平均池化。

广义均值池化是可微分的，并且是反向传播的一部分，通过手动设置参数pk，微分操作公式为：

上式中，|χ_K|表示特征向量的个数，pk表示指数，X表示特征图的像素值，f_k表示特征向量。

步骤2：通过计算步骤1提取得到的查询图像和训练数据库中所有图像底层特征的欧氏距离，将训练数据分为正样本和负样本，将查询图像、正样本和负样本输入网络再次进行底层特征提取。

本步骤中，训练组由一个正样本和五个负样本组成，每个查询图像对应一个正样本和五个负样本，正样本与查询图像有很高的相似度，而负样本与查询图像的相似度较低。

所述正样本是在训练的过程中获得，每次从查询图像正相关对中随机选取若干组，把用于训练的数据集中所标正相关对的图像作为训练组内的正相关图像，每次只选择正相关对中的一个。

所述正相关对的获取不是使用具有相似摄像机位置的图像池，而是从一组图像中随机选择的正样本，该图像与查询图像有足够相同的点，但是没有表现出太极端的尺度变化，这个正样本图像是：

其中：q表示查询图片，i表示数据集中的图片，P(i)表示图片i上能被观察到的点，P(q)表示查询图片q上能被观察到的点，|P(i)∩P(q)|表示两个图像之间的空间验证特征数量，t_i为0.2，t_s为1.5，scale(i，q)是两个图像之间的比例变化，这种选择方法仍然保证对相同对象的描述匹配更难。

所述负样本的选择图如图2所示，五个负样本是从不同于查询图像的聚类中选择的。

利用已有的方法对查询图片和训练数据集进行特征提取，计算提取到的查询图像与数据集图像的特征向量的欧式距离，在训练数据集中随机选取若干负样本数据作为待选低相关性图像池。

所述图像池的选取，选取同查询图像对应的特征向量欧式距离最小的N个图像聚类。

五个负样本的选择方法如图2所示，q为查询图像，A、B、C、D、E、F所在的簇为与查询图像欧式距离较远的负样本簇。假设将A、B、C、D、E、F选定在负样本的组别中，如果要选择5个低相关性的负样本，那么首先考虑图像A，图像A并不在查询图像q所在的正样本簇中或其它已入选低相关性图像所在标记聚类中，则将图像A作为该查询图像q所在输入组的一幅低相关性图像；图像B同理成为输入组内一幅低相关性图像；对于图像C，虽然图像C的特征向量与查询图像的特征向量的欧式距离也很大，但图像C与图像B同属于一个已标记聚类，所以不将图像C作为该组内的一幅低相关性图像；图像D、E、F依次取为输入组中低相关性图像；当所需图像幅数足够N后，就不再继续选取低相关性图像，故不再继续考虑图像G及其它图像。

步骤3：获取负样本组合的真实排序列表。

本步骤中，所述真实排序列表的获取方法包括以下步骤：

步骤3.1：对于选中的每一幅对于查询图像q的低相关性图像A、B、C、D、E、F，查找其在基准排序中所对应的向量a’、b’、c’、d’、e’、f’；

步骤3.2：求出各特征向量与查询图像特征向量的欧式距离，并按照它们与查询图像特征向量欧式距离由小到大进行排序，所得的序号即为负相关图像在损失函数中所对应的排序数值，所得排序序列为负样本组对于查询图像的真实排序序列。

步骤4：将训练数据的真实排序序号赋予负样本，将序号与其阈值相结合，运用损失函数计算损失值，调整负样本与查询图像特征向量的距离。

本步骤中，所述损失函数可以调整损失值优化参数来学习判别特征表示。

本发明要训练一个双分支暹罗网络，这个网络除了损失函数外，其余完全相同，网络的两个分支共享相同的网络结构并且共享网络参数。

本步骤中，所述基于排序的损失函数由两部分结合而成，q为查询图像，i为输入图片，对于q的每个查询图片i，都有Y(q,i)∈{0，1}；如果i相对于q是一个正相关图像，则Y(q,i)的值为1；如果i相对于q是一个负相关性图像，则Y(q,i)的值为0，Y(q,i)代表查询图片和输入图片的相似度衡量。

损失函数定义为：

式中：f(q)表示从查询图片q中抽取的视觉特征信息向量，f(i)表示从任意一张图像中抽取视觉特征信息向量，n是负样本数目，a是图像i在真实排序序列中的序号，如果有五个样本，a的取值为0、1、2、3、4，n的值为5。

对于同查询图像具有高相关性、在数据集中已经标记为正相关的图像，即Y(q,i)＝1的图像，我们要保证它在特征空间中与查询图像保持较近的欧式距离，损失函数随着正相关图像与查询图像欧式距离的增大而增大。

对于同查询图像具有低相关性的图像，在网络训练过程中我们将其标记为其所处与训练组中Y(q,i)＝0的数据，对于组内的所有负样本，如果它与查询图像的欧式距离大于按序边界值，则取夹紧下边界值即loss＝0，图像被视为垃圾样本，如果它与查询图像的欧式距离小于按序边界值，则计算损失。

步骤5：通过反向传播和共享权重对深度卷积网络的初始参数进行调整，得到深度卷积网络的最终参数。

本步骤中，基于成对损失值对深度网络的参数进行全局调整。在本发明的实施中，采用著名的后向传播算法进行全局参数调整，最终得到所述深度网络的参数。

步骤6：对于测试阶段，将查询图像和测试数据集中的图像进行多尺度处理，并输入步骤5得到的深度卷积网络中，通过学习白化对图像进行降维处理，得到与查询图像相关的图像列表。

如图3所示，数据输入采用无学习训练的多尺度表示的方式，在原输入图像上进行不同尺度的降采样组合成新特征。

本步骤中，所述尺度设置，我们将其设置为1,2^-1/2,1/2，使用不同尺度下获取的特征来作为新特征。

本步骤中，所述池化层采用与训练中一致的广义均值池化。

本步骤中，所述降维运用学习白化的方法，它考虑了精细调整的池化向量的后处理，利用3D模型提供的标记数据，并使用线性判别投影。

本步骤中，所述投影可以分为两部分：白化和旋转。

白化部分反映了组内(匹配对)协方差矩阵

的平方根：

式中，

和

分别表示图像i和图像j的特征向量，C_S表示协方差矩阵。

旋转部分是白化空间

中的类间(非匹配对)协方差矩阵：

式中，C_D表示白化空间中非匹配对的协方差矩阵。

将投影

作为

(μ是GeM池化向量)，为了将描述符维度减少到D维，仅使用对应于D个最大特征值的特征向量。

所述正则化采用L2正则化：

式中，m为样本数目，h_θ(x)是我们的假设函数，(h_θ(x)-y)²是单个样本的平方差，λ为正则化参数，θ为所求参数。

步骤7：选取查询图像以及步骤6中获取的图像列表中的Top-N图像进行特征排序，对特征进行加权求和取平均作为查询图像，再进行步骤六的操作，得到最终的图像列表。

本步骤中，所述特征排序的方法为：计算测试图片特征向量与查询图片特征向量的欧式距离，由小到大依次排序。

本步骤中，所述查询扩展通常会导致准确性的大幅提升，其工作过程包括以下几步：

步骤7.1，初始查询阶段，使用查询图像的特证向量进行查询，通过查询得到返回的TopN个结果，前N个结果可能会经历空间验证阶段，其中与查询不匹配的结果会丢弃。

步骤7.2，将剩余的结果与原始查询一起进行求和并进行重新的正则化；

步骤7.3，使用组合描述符进行第二个查询，生成如图4所示的检索图像的最终列表。

Claims (10)

1.一种基于排序学习和多元损失的图像检索方法，其特征在于所述图像检索方法包括如下步骤：

步骤1：提取查询图像和训练数据库中图像的底层特征；

步骤2：通过计算步骤1提取得到的查询图像和训练数据库中所有图像底层特征的欧氏距离，将训练数据分为正样本和负样本，将查询图像、正样本和负样本输入网络再次进行底层特征提取；

步骤3：获取负样本组合的真实排序列表；

步骤4：将训练数据的真实排序序号赋予负样本，将序号与其阈值相结合，运用损失函数计算损失值，调整负样本与查询图像特征向量的距离；

步骤5：通过反向传播和共享权重对深度卷积网络的初始参数进行调整，得到深度卷积网络的最终参数；

步骤6：对于测试阶段，将查询图像和测试数据集中的图像进行多尺度处理，并输入步骤5得到的深度卷积网络中，通过学习白化对图像进行降维处理，得到与查询图像相关的图像列表；

步骤7：选取查询图像以及步骤6中获取的图像列表中的Top-N图像进行特征排序，对特征进行加权求和取平均作为查询图像，再进行步骤六的操作，得到最终的图像列表。

2.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤1中，采用Resnet101微调网络和广义均值池化提取底层特征。

3.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤2中，正样本是在训练的过程中获得，每次从查询图像正相关对中随机选取若干组，把用于训练的数据集中所标正相关对的图像作为训练组内的正相关图像，每次只选择正相关对中的一个。

4.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤2中，负样本是从不同于查询图像的聚类中选择的，具体选择方法如下：假定q为查询图像，A、B、C、D、E、F所在的簇为与查询图像欧式距离较远的负样本簇；假设将A、B、C、D、E、F选定在负样本的组别中，如果要选择5个低相关性的负样本，那么首先考虑图像A，图像A并不在查询图像q所在的正样本簇中或其它已入选低相关性图像所在标记聚类中，则将图像A作为该查询图像q所在输入组的一幅低相关性图像；图像B同理成为输入组内一幅低相关性图像；对于图像C，如果图像C与图像B同属于一个已标记聚类，则不将图像C作为该组内的一幅低相关性图像；图像D、E、F依次取为输入组中低相关性图像；当所需图像幅数足够N后，就不再继续选取低相关性图像。

5.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤3中，真实排序列表的获取方法包括以下步骤：

步骤3.1：对于选中的每一幅对于查询图像q的低相关性图像A、B、C、D、E、F，查找其在基准排序中所对应的向量a’、b’、c’、d’、e’、f’；

步骤3.2：求出各向量与查询图像特征的欧式距离，并按照它们与查询图像特征向量欧式距离由小到大进行排序，所得的序号即为负相关图像在损失函数中所对应的排序数值，所得排序序列为负样本组对于查询图像的真实排序序列。

6.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤4中，损失函数由两部分结合而成，q为查询图像，i为输入图片，对于q的每个查询图片i，都有Y(q,i)∈{0，1}；如果i相对于q是一个正相关图像，则Y(q,i)的值为1；如果i相对于q是一个负相关性图像，则Y(q,i)的值为0。

7.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤4中，损失函数定义为：

式中：f(q)表示从查询图片q中抽取的视觉特征信息向量，f(i)表示从任意一张图像中抽取视觉特征信息向量，n是负样本数目，a是图像i在真实排序序列中的序号。

8.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤6中，通过学习白化对图像进行降维处理的方法如下：利用3D模型提供的标记数据，并使用线性判别投影，所述投影分为两部分：白化和旋转。

9.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤7中，特征排序的方法为：计算测试图片特征向量与查询图像特征向量的欧式距离，由小到大依次排序。

10.根据权利要求1所述的基于排序学习和多元损失的图像检索方法，其特征在于所述步骤7中，得到最终图像列表的方法如下：

步骤7.1，初始查询阶段，使用查询图像的特证向量进行查询，通过查询得到返回的TopK个结果，丢弃与查询不匹配的结果；

步骤7.2，将剩余的结果与原始查询一起进行求和并进行重新的正则化；

步骤7.3，使用组合描述符进行第二个查询，生成检索图像的最终列表。

Images