CN105760442A - 基于数据库邻域关系的图像特征增强方法 - Google Patents

Abstract

本发明公开了一种基于数据库邻域关系的图像特征增强方法，包括：基于去除输入图像尺寸限制的改进CNN特征提取方式，并通过最大能量池化方法自适应地选择输入图像的最优尺度，从而完成数据库图像的CNN特征提取；针对数据库图像中的每一CNN特征均朝着其相关图像的CNN特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在一定范围之内，从而实现数据库图像CNN特征的增强。本发明公开的方案可以准确、高效地实现图像之间相关性的计算以应用于图像检索系统。

Description

基于数据库邻域关系的图像特征增强方法

技术领域

本发明涉及视觉检索技术领域，尤其涉及一种基于数据库邻域关系的图像特征增强方法。

背景技术

在图像检索领域，两个最重要的基本问题是视觉特征提取与图像相似性计算。在传统的图像检索框架中，大多数方法假定所有图像之间是相互独立的，从而直接使用图像特征之间的相似性来衡量图像之间的相似性。因此，这一框架中图像检索的性能高度依赖于良好的视觉特征设计。除了应用非常广泛的基于局部视觉特征的词袋模型外，近年来也涌现出很多使用卷积神经网络(CNN)提取全连接层输出的全局视觉特征进行图像检索的工作，并取得了良好的效果。然而，这样的全局特征对图像的几何变换的稳健性较弱。同时由于传统的模型对输入图像的大小有严格的限定，在输入阶段往往需要对图像的长宽比也进行改变，从而影响了描述图像的能力。

除了提升视觉特征表述能力之外，也有一些工作尝试通过利用数据库图像之间的相关性来提升图像检索的性能。其中包括两种主要方法，即查询扩展和距离测度修正。查询扩展的主要思想是在进行一次检索后，通过检索返回的结果对查询图像特征进行一定的修改并再次进行检索。距离测度修正方法则通过数据库图像之间的关系，在图像视觉特征的相似性基础上进行一定的修正，作为衡量图像之间相似性的测度。两种方法均在提升检索性能上取得一定的成效，然而查询扩展仅仅利用了和查询图像最相关的数据库图像之间的关系，并没有考虑到数据库图像互相之间的关系；距离测度修正则需要对每张图像额外保存修正测度所需用到的参数。因此现有的利用数据库图像相关性提升检索性能的方法仍存在较大的改进空间。

发明内容

本发明的目的是提供一种基于数据库邻域关系的图像特征增强方法，可以准确、高效地实现图像之间相关性的计算以应用于图像检索系统。

本发明的目的是通过以下技术方案实现的：

一种基于数据库邻域关系的图像特征增强方法，包括：

基于去除输入图像尺寸限制的改进CNN特征提取方式，并通过最大能量池化方法自适应地选择输入图像的最优尺度，从而完成数据库图像的CNN特征提取；

针对数据库图像中的每一CNN特征均朝着其相关图像的CNN特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在一定范围之内，从而实现数据库图像CNN特征的增强。

进一步的，所述基于去除输入图像尺寸限制的改进CNN特征提取方式，并通过最大能量池化方法自适应地选择输入图像的最优尺度，从而完成数据库图像的CNN特征提取包括：

基于改进后的AlexNet模型提取数据库图像的CNN特征，所述改进后的AlexNet模型为：将AlexNet模型中所有的全连接层除去，将池化层的输出作为整个模型的输出，从而去除AlexNet模型对输入图像尺寸的限制；

通过最大能量池化方法自适应地选择输入图像的最优尺度：针对数据库中的每一图像均等比例缩放至N_S个尺度并作为输入图像输入至改进后的AlexNet模型中，每个尺度S_i上提取一个CNN特征其中，1≤i≤N_S，M为所提取CNN特征的维数，最优尺度S满足如下表达式：

$\arg \underset{S\∈\{S_1,...,S_{N_S}\}}{max}\left|\right|x_S|{|}_2;$

通过上述方式选出数据库中所有图像的最佳尺度的特征后，对每一图像最优尺度的CNN特征中每一维进行开方运算，然后进行L2归一化，从而完成数据库图像的CNN特征提取。

进一步的，针对数据库图像中的每一CNN特征均朝着其相关图像的CNN特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在一定范围之内，从而实现数据库图像CNN特征的增强包括：

假设CNN特征x与CNN特征r为相关图像，则通过下式在CNN特征x与CNN特征r之间生成一个新的位置：

$x\⊕\mathrm{\λ}r\⇔\frac{x+\mathrm{\λ}r}{\left|\right|x+\mathrm{\λ}r|{|}_2};$

其中，λ≥0为加权因子；

则对于数据库图像中的每一CNN特征v均通过朝着其相关图像的CNN特征进行一定程度的移动，从而实现数据库图像CNN特征的增强，表示为：

$v^{\′}=v\⊕\left(\underset{r_p\∈N(v,K)}{\mathrm{\Σ}}{\mathrm{\λ}}_p{r}_p\right);$

其中，v'为增强后的CNN特征v，N(v,K)表示CNN特征v的K-最近邻域，λ_p为对应于CNN特征r_p的加权因子。

进一步的，所述加权因子λ的计算公式为：

λ＝λ_Bλ_Sλ_Rλ_N；

上式中，λ_B为基本加权因子，用于控制总体的更新程度；

λ_S＝x·r为相似性因子；

λ_R为k-互近邻约束，表示为：

${\mathrm{\λ}}_R=max\{0,1-\frac{R(x,r)-1}{r_{max}-1}\};$

其中，r_max为一个截断参数，R(x,r)表示CNN特征x与CNN特征r之间的k-互近邻关系，即R(x,r)＝max{rank(x,r),rank(r,x)}；

λ_N为参考邻域距离因子，表示为：

${\mathrm{\λ}}_N=\frac{1}{K_r}\underset{r_m\∈N(r,K_r)}{\mathrm{\Σ}}\left|\right|r_m-r|{|}_2;$

其中，N(r,K_r)表示CNN特征r的K_r-最近邻域。

进一步的，该方法还包括：使用上下文不相似测度CDM方法对增强后的数据库图像CNN特征进行扩展。

进一步的，该方法还包括：基于扩展后的数据库图像CNN特征进行图像查询，其步骤如下：

将输入的查询图像基于去除输入图像尺寸限制的改进CNN特征提取方式提取CNN特征，获得查询图像CNN特征x_q，再逐一计算查询图像CNN特征x_q与扩展后的数据库图像每一CNN特征x_d的距离d^*(x_q,x_d)：

$d^{*}(x_q,x_d)=\frac{d(x_q,x_d)}{\sqrt{{{\mathrm{\λ}}_N}^{\′}\left(x_d\right)}};$

其中，d(x_q,x_d)为CNN特征x_q与x_d之间的欧氏距离；λ_N'为CNN特征x_q与x_d之间的参考邻域距离因子。

由上述本发明提供的技术方案可以看出，基于改进后的CNN特征提取方法可以提取出更具有描述力同时特征维度更小的CNN特征，能够一定程度上克服CNN特征对图像几何变换的不稳健性，并大大减小特征存储与相似性计算的开销；同时，基于不需要改变特征距离测度的图像特征增强方案，使得特征之间的相关性与图像之间的相关性更加契合，并节省了存储距离测度参数的额外开销；上述方法具有易于扩展的特点，可以直接使用现有的修正距离测度的方法对其进行进一步的强化。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于数据库邻域关系的图像特征增强方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例的方案中，改进了CNN特征的提取方式，使得特征的提取不需要对输入图像的尺寸进行限定，并通过最大能量池化方法自适应地选择输入图像的最优尺度，进而在所提取的图像特征之上充分利用数据库图像之间的相关性；同时，对每个数据库图像的特征进行增强，使得增强后的特征之间的相似性能更好地代表图像之间的相关性，并且不需要存储额外的参数以修正距离测度；此外，由于本发明仅相当于对数据库特征进行了一次更新，而未改变特征之间的距离测度，因此能够使用现有的修正距离测度的方法对本发明进行扩展，从而进一步提升图像检索的性能。下面结合具体实施例对本发明做详细的说明。

图1为本发明实施例提供的一种基于数据库邻域关系的图像特征增强方法的流程图。如图1所示，其主要包括如下步骤：

步骤11、基于去除输入图像尺寸限制的改进CNN特征提取方式，并通过最大能量池化方法自适应地选择输入图像的最优尺度，从而完成数据库图像的CNN特征提取。

本发明实施例中，基于改进后的AlexNet模型提取数据库图像的CNN特征。传统方案中，使用AlexNet模型提取CNN特征时，通常将图像缩放为模型所要求的固定输入大小(如227x227)以输入模型并取全连接层的4096维输出作为特征表达。该输入大小限制是由于第一个全连接层fc6与其前面一层池化层pool5的网络权值维数是固定的。

由于在全连接层fc6之前的所有网络操作如卷积、池化、归一化等均没有输入大小限制，因此，本发明实施例对AlexNet模型进行改进：将AlexNet模型中所有的全连接层除去，将池化层的输出作为整个模型的输出，从而去除AlexNet模型对输入图像尺寸的限制。

本发明实施例中，通过最大能量池化方法自适应地选择输入图像的最优尺度：针对数据库中的每一图像均等比例缩放至N_S个尺度并作为输入图像输入至改进后的AlexNet模型中，每个尺度S_i上提取一个CNN特征其中，1≤i≤N_S，M为所提取CNN特征的维数，最优尺度S满足如下表达式：

$\arg \underset{S\∈\{S_1,...,S_{N_S}\}}{max}\left|\right|x_S|{|}_2;$

通过上述方式选出数据库中所有图像的最佳尺度的特征后，对每一图像最优尺度的CNN特征中每一维进行开方运算，然后进行L2归一化，从而完成数据库图像的CNN特征提取。

示例性的，所提取CNN特征的维数M可以为256；具体为：基于改进的CNN特征提取方式，根据输入图像大小的不同，输出维数为(W×H×256)，其中W与H分别为输出的256个响应特征图的宽度和高度。为了获得统一的输出大小，对每个CNN特征的W×H个响应值求取平均值，从而获得一个维度为256的特征向量。

步骤12、针对数据库图像中的每一CNN特征均朝着其相关图像的CNN特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在一定范围之内，从而实现数据库图像CNN特征的增强。

本发明实施例中，将每张图像的特征都向其相关图像的特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在更紧密的范围之内，因此，在检索过程中，查询图像如果能够检索到一张相关图像，则就拥有更大的概率检索到其他相关图像，从而提高了检索的召回率。由于在检索过程中不能获得图像是否相关的标记，需要通过数据库图像邻域关系对图像相关性进行验证。

本发明实施例中，假设CNN特征x与CNN特征r为相关图像，则通过下式在CNN特征x与CNN特征r之间生成一个新的位置：

$x\⊕\mathrm{\λ}r\⇔\frac{x+\mathrm{\λ}r}{\left|\right|x+\mathrm{\λ}r|{|}_2};$

其中，λ≥0为加权因子；当λ＝0时，计算结果为x的自身位置，而当λ＝+∞时，得到的结果为r的自身位置。

则对于数据库图像中的每一CNN特征v均通过朝着其相关图像的CNN特征进行一定程度的移动，从而实现数据库图像CNN特征的增强，表示为：

$v^{\′}=v\⊕\left(\underset{r_p\∈N(v,K)}{\mathrm{\Σ}}{\mathrm{\λ}}_p{r}_p\right);$

其中，v'为增强后的CNN特征v，N(v,K)表示CNN特征v的K-最近邻域，λ_p为对应于CNN特征r_p的加权因子。

本发明实施例中，由于并不是邻域内所有图像的CNN特征都确定与CNN特征v相关，需要根据其相关概率确定加权因子的值。

所述加权因子λ的计算公式为：

λ＝λ_Bλ_Sλ_Rλ_N；

上式中，λ_B为基本加权因子，用于控制总体的更新程度；

λ_S＝x·r为相似性因子；该因子与原始特征的相似性相关，如果原始参考特征与待更新特征相似性很低，则不对其进行过度更新。

λ_R为k-互近邻约束，表示为：

${\mathrm{\λ}}_R=max\{0,1-\frac{R(x,r)-1}{r_{max}-1}\};$

其中，r_max为一个截断参数，R(x,r)表示CNN特征x与CNN特征r之间的k-互近邻关系，即R(x,r)＝max{rank(x,r),rank(r,x)}；其中rank(x,r)表示CNN特征r为CNN特征x的第几最近邻。由于真正相关的图像往往互为近邻，这里R(x,r)越小，表示两个特征越可能表示两张相关图像。

λ_N为参考邻域距离因子，表示为：

${\mathrm{\λ}}_N=\frac{1}{K_r}\underset{r_m\∈N(r,K_r)}{\mathrm{\Σ}}\left|\right|r_m-r|{|}_2;$

其中，N(r,K_r)表示CNN特征r的K_r-最近邻域。

该λ_N表示参考图像特征周围特征的近邻与其平均的距离。直观上，该值越小，表示参考特征周围越拥挤，因此该参考图像越有可能是噪声图像。

需要说明的是，前述的加权因子λ_p与λ的含义类似，λ_p的下标p仅用于区分加权因子所对应不同的CNN特征，因此，二者的计算公式也是相同的。

此外，本发明实施例中，还使用上下文不相似测度(contextualdissimilaritymeasure，CDM)方法对增强后的数据库图像CNN特征进行扩展。

同时，还基于扩展后的数据库图像CNN特征进行图像查询，其步骤如下：

将输入的查询图像基于去除输入图像尺寸限制的改进CNN特征提取方式提取CNN特征，获得查询图像CNN特征x_q，再逐一计算查询图像CNN特征x_q与扩展后的数据库图像每一CNN特征x_d的距离d^*(x_q,x_d)：

$d^{*}(x_q,x_d)=\frac{d(x_q,x_d)}{\sqrt{{{\mathrm{\λ}}_N}^{\′}\left(x_d\right)}};$

其中，d(x_q,x_d)为CNN特征x_q与x_d之间的欧氏距离；λ_N'为CNN特征x_q与x_d之间的参考邻域距离因子。

本发明实施例的上述方案中，基于改进后的CNN特征提取方法可以提取出更具有描述力同时特征维度更小的CNN特征，能够一定程度上克服CNN特征对图像几何变换的不稳健性，并大大减小特征存储与相似性计算的开销；同时，基于不需要改变特征距离测度的图像特征增强方案，使得特征之间的相关性与图像之间的相关性更加契合，并节省了存储距离测度参数的额外开销；上述方法具有易于扩展的特点，可以直接使用现有的修正距离测度的方法对其进行进一步的强化。

为了说明本发明的效果，与现有技术进行比较。

其中，参与比较的技术包括：使用本发明提出的改进后的CNN特征提取方法(POOL5)，本发明提出的CNN特征增强方法(DB.BOOSTING)，本发明提出的使用CDM扩展的方法(DB.BOOSTING+CDM)，直接使用CNN模型AlexNet提取全连接层特征的方法(FC7)，其他利用数据库关系改进图像检索的技术TR(TotalRecall，全召回)、CDM(ContextualDissimilarityMeasure,上下文不相似测度)、HN(HelloNeighbor，握手邻居)，以及其他改进CNN特征的方法neuralcode(神经网络编码)与object-levelfeature(物体层次描述特征)。

在两个公开图像检索数据集Holidays和UKBench上的比较结果如表1所示，其中Holidays上的精度衡量指标为mAP(meanAveragePrecision，平均准确率)，在UKBench上的精度衡量指标为NS-score(平均前四结果精度，最大值为4)。

方法	Holidays	UKBench
			POOL5	0.801	3.563
DB.BOOSTING	0.832	3.792
			DB.BOOSTING+CDM	0.842	3.818
FC7	0.710	3.443
			TR	0.799	3.713
CDM	0.838	3.727
			HN	0.806	3.668
Neural code	0.789	3.550
			Object-level feature	0.789	3.613

表1本发明与现有技术的比较结果

从比较结果可以看出：

1)本发明提出的改进后的CNN特征提取方法(POOL5)相比于现有的方法(FC7)具有显著的性能提升。

2)本发明所提出的数据库增强方法(DB.BOOSTING)在(POOL5)的基础上，产生了明显的性能提升。

3)使用本发明的CDM扩展，可以进一步提升检索性能。

4)本发明提出的数据库增强方法以及使用CDM的扩展，在性能上优于其他利用数据库关系改进图像检索的技术以及其他改进CNN特征的技术。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于数据库邻域关系的图像特征增强方法，其特征在于，包括：

基于去除输入图像尺寸限制的改进CNN特征提取方式，并通过最大能量池化方法自适应地选择输入图像的最优尺度，从而完成数据库图像的CNN特征提取；

针对数据库图像中的每一CNN特征均朝着其相关图像的CNN特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在一定范围之内，从而实现数据库图像CNN特征的增强。

2.根据权利要求1所述的方法，其特征在于，所述基于去除输入图像尺寸限制的改进CNN特征提取方式，并通过最大能量池化方法自适应地选择输入图像的最优尺度，从而完成数据库图像的CNN特征提取包括：

基于改进后的AlexNet模型提取数据库图像的CNN特征，所述改进后的AlexNet模型为：将AlexNet模型中所有的全连接层除去，将池化层的输出作为整个模型的输出，从而去除AlexNet模型对输入图像尺寸的限制；

通过最大能量池化方法自适应地选择输入图像的最优尺度：针对数据库中的每一图像均等比例缩放至N_S个尺度并作为输入图像输入至改进后的AlexNet模型中，每个尺度S_i上提取一个CNN特征其中，1≤i≤N_S，M为所提取CNN特征的维数，最优尺度S满足如下表达式：

$\arg \underset{S\∈\{S_1,...,S_{N_S}\}}{max}\left|\right|x_S|{|}_2;$

通过上述方式选出数据库中所有图像的最佳尺度的特征后，对每一图像最优尺度的CNN特征中每一维进行开方运算，然后进行L2归一化，从而完成数据库图像的CNN特征提取。

3.根据权利要求1所述的方法，其特征在于，针对数据库图像中的每一CNN特征均朝着其相关图像的CNN特征进行一定程度的移动，使得数据库中的相关图像在特征空间聚合在一定范围之内，从而实现数据库图像CNN特征的增强包括：

假设CNN特征x与CNN特征r为相关图像，则通过下式在CNN特征x与CNN特征r之间生成一个新的位置：

$x\⊕\mathrm{\λr}\⇔\frac{x+\mathrm{\λr}}{{\left|\right|x+\mathrm{\λr}\left|\right|}_2};$

其中，λ≥0为加权因子；

则对于数据库图像中的每一CNN特征v均通过朝着其相关图像的CNN特征进行一定程度的移动，从而实现数据库图像CNN特征的增强，表示为：

$v^{\′}=v\⊕\left(\underset{r_p\∈N(v,K)}{\mathrm{\Σ}}{\mathrm{\λ}}_p{r}_p\right);$

其中，v'为增强后的CNN特征v，N(v,K)表示CNN特征v的K-最近邻域，λ_p为对应于CNN特征r_p的加权因子。

4.根据权利要求3所述的方法，其特征在于，所述加权因子λ的计算公式为：

λ＝λ_Bλ_Sλ_Rλ_N；

上式中，λ_B为基本加权因子，用于控制总体的更新程度；

λ_S＝x·r为相似性因子；

λ_R为k-互近邻约束，表示为：

${\mathrm{\λ}}_R=max\{0,1-\frac{R(x,r)-1}{r_{max}-1}\};$

其中，r_max为一个截断参数，R(x,r)表示CNN特征x与CNN特征r之间的k-互近邻关系，即R(x,r)＝max{rank(x,r),rank(r,x)}；

λ_N为参考邻域距离因子，表示为：

${\mathrm{\λ}}_N=\frac{1}{K_r}\underset{r_m\∈N(r,K_r)}{\Σ}\left|\right|r_m-r|{|}_2;$

其中，N(r,K_r)表示CNN特征r的K_r-最近邻域。

5.根据权利要求1-5任一项所述的方法，其特征在于，该方法还包括：使用上下文不相似测度CDM方法对增强后的数据库图像CNN特征进行扩展。

6.根据权利要求5所述的方法，其特征在于，该方法还包括：基于扩展后的数据库图像CNN特征进行图像查询，其步骤如下：

将输入的查询图像基于去除输入图像尺寸限制的改进CNN特征提取方式提取CNN特征，获得查询图像CNN特征x_q，再逐一计算查询图像CNN特征x_q与扩展后的数据库图像每一CNN特征x_d的距离d^*(x_q,x_d)：

$d^{*}(x_q,x_d)=\frac{d(x_q,x_d)}{\sqrt{{{\mathrm{\λ}}_N}^{\′}\left(x_d\right)}};$

其中，d(x_q,x_d)为CNN特征x_q与x_d之间的欧氏距离；λ_N'为CNN特征x_q与x_d之间的参考邻域距离因子。