CN108846046A - 基于多视角局部重构保持嵌入的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于多视角局部重构保持嵌入的图像检索方法。通过对图像进行特征提取得到多个视角的特征矩阵，利用原始空间中样本的k近邻样本重构自身，通过重构权重矩阵来描述样本与近邻样本之间的相似性，将原始空间中的相似性结构特征映射到低维子空间中，根据每个视角的重构权重矩阵来构造相似性矩阵，同时构造一组非负权重系数表示同一样本不同视角的不同权重贡献，引入辅助系数来融合多视角特征信息，通过迭代优化求解的方式求得多视角共同的低维子空间嵌入表示，最后对待检索图像和全部图像进行相似性度量排序获得检索结果。本发明充分考虑多视角的一致性和互补性信息，进行优化求解图像低维子空间的嵌入表示，提高图像检索的性能。

Description

基于多视角局部重构保持嵌入的图像检索方法

技术领域

本发明属于多视角学习领域，涉及到图像处理，特别涉及一种基于多视角局部重构保持嵌入的图像检索方法。

背景技术

随着互联网图像数据量的增多、图像信息的丰富，产生的图像噪声信息也越来越多，如何快速有效地挖掘海量图像数据中有价值的信息，在包含丰富视觉信息的海量图像中快速准确地检索到用户所需的图像，是目前图像处理领域亟待解决的研究热点问题。由于图像数据往往是非线性空间中的高维数据，而目前大多多视角学习技术并不能很好地处理非线性空间数据的高维特征，本发明从子空间学习的角度出发，寻求一个被多视角共享的潜在子空间以有效解决非线性高维空间的问题。通过假设流形空间中的样本在较小的局部是线性的，任意样本都可以表示为其近邻样本的线性组合。在寻找样本的低维子空间嵌入的同时，保持这种领域线性组合关系不变。通过利用多个视角之间互补的信息来充分挖掘各个视角之间的内在联系。同时算法构造了一个最优问题使得多个视角之间能够互相学习彼此的信息，通过迭代优化求解的方式来求解低维子空间的嵌入表示。

发明内容

本发明提供一种基于多视角局部重构保持嵌入的图像检索方法，要解决的技术问题是同时利用图像多个视角特征的一致性和互补性进行特征融合，充分挖掘图像内在价值信息用于图像检索。

本发明提出的基于多视角局部重构保持嵌入的图像检索方法的技术方案是：首先通过不同图像描述子对图像进行特征提取得到图像的多视角特征矩阵；然后通过利用原始空间样本的k近邻样本重构自身的方式，通过重构权重矩阵来描述样本与近邻样本之间的相似性，将原始空间中的相似性结构特征映射到低维子空间中，通过引入权重系数和辅助系数来构造低维子空间的目标函数；最后根据每个视角的重构权重矩阵来构造相似性矩阵，通过迭代优化求解的方式获得多视角共同的低维子空间嵌入表示，将低维图像特征矩阵用于图像检索。

本发明提供的一种基于多视角局部重构保持嵌入的图像检索方法，包括以下步骤：

步骤101：使用不同的图像描述子对图像进行特征提取得到多视角特征矩阵；

步骤102：利用原始空间样本的k近邻样本重构自身的方式，通过重构权重矩阵来描述样本与近邻样本之间的相似性，将原始空间中的相似性结构特征映射到低维子空间中，通过引入权重系数和辅助系数来构造低维子空间的目标函数；

步骤103：根据每个视角的重构权重矩阵来构造相似性矩阵，通过迭代优化求解的方式获得多视角共同的低维子空间嵌入表示，将低维图像特征矩阵用于图像检索。

优选的，所述步骤102，利用原始空间样本线性重构的方式获得重构权重矩阵来描述样本与近邻样本之间的相似性；

假设数据是由n个向量构成，每个向量表示维度为D的第v个视角的第i个样本；令第i个向量由其k近邻线性重构表示，样本与之间的权重值记为构造目标函数如下，通过最小化目标函数以衡量单视角的重构误差：

将约束考虑在内,计算出权重值用以在低维子空间中重构样本点。

优选的，将原始空间中样本与近邻样本之间的相似性结构映射到低维子空间中，假设原始空间中的样本点映射到低维空间的表示是y_i，通过引入权重系数α_v构造低维子空间的最小化目标函数如下：

引入新的辅助系数r，使用代替权重系数α_v；规定系数r＞1，这样在求解过程中不同视角就可以保证有着不同的贡献值，每个视角都贡献自己独特的特征信息，则新的目标函数化为：

其中M^(v)＝(I-W^(v))(I-W^(v))^T∈R^n×n为相似性矩阵；稀疏矩阵W^(v)∈R^n×n描述样本之间的重构权重，Y＝[y₁,...,y_i,...,y_n]∈R^d×n是所求解的低维嵌入表示。

优选的，所述步骤103，根据每个视角的重构权重矩阵来构造相似性矩阵M^(v)，通过迭代更新低维嵌入表示Y和权重系数α解决最优问题，使得多个视角之间能够互相学习，通过局部最优来近似全局最优获得多视角共同的低维子空间嵌入表示用于图像检索；

首先，固定Y来更新α；将约束考虑在内，利用拉格朗日乘子法得到拉格朗日函数，将拉格朗日函数对变量求导，令导函数等于0可得解：

其次，固定α来更新Y，目标函数为：

其中低维子空间嵌入映射Y可以通过稀疏矩阵M的最小的d个特征值对应的特征向量组成。

本发明的效果和益处是通过对样本的线性重构，充分挖掘了多视角之间的内在联系，在非线性空间中处理多视角数据有着较好的表现。同时本发明构造一个最优问题使得多视角之间能够互相学习，通过迭代优化求解的方式获得图像高维数据在低维子空间中的嵌入表示进而用于图像检索，提高了检索性能。

附图说明

图1为本发明基于多视角局部重构保持嵌入的图像检索方法流程图。

图2为本发明基于多视角局部重构保持嵌入的图像检索方法的具体实施例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明提出的基于多视角局部重构保持嵌入的图像检索方法，包括以下步骤：步骤101：使用不同的图像描述子对图像进行特征提取得到多视角特征矩阵；步骤102：利用原始空间样本的k近邻样本重构自身的方式，通过重构权重矩阵来描述样本与近邻样本之间的相似性，将原始空间中的相似性结构特征映射到低维子空间中，通过引入权重系数和辅助系数来构造低维子空间的目标函数；步骤103：根据每个视角的重构权重矩阵来构造相似性矩阵，通过迭代优化求解的方式获得多视角共同的低维子空间嵌入表示，将低维图像特征矩阵用于图像检索。

通过图像描述子MSD，Gist，HOC这三种特征提取方式将图像数据集处理为三个视角的特征信息。假设数据是由n个向量构成，每个向量表示维度为D的第v个视角的第i个样本。令第i个向量由其k近邻 线性重构表示，则可以构造出目标函数如下，通过最小化目标函数以衡量单视角的重构误差：

将约束考虑在内，可以计算出权重值用以在低维子空间中重构样本点。

引入一组非负权重值α＝[α₁,α₂,...,α_m]用于不同视角的独立部分优化。可以看出，权重系数表示了每个视角的不同权重贡献，自然地权重系数α_v值越大，对应视角X^(v)在多视角学习过程中扮演的角色越重要。构造低维子空间的最小化目标函数如下：

上式可进一步推导为

其中M^(v)＝(I-W^(v))(I-W^(v))^T∈R^n×n为相似性矩阵。稀疏矩阵W^(v)∈R^n×n描述样本之间的重构权重。

为能够充分利用多视角之间的兼容性和互补性进行多视角学习，避免直接选取最优的视角而忽略其他视角信息，引入新的辅助系数r，使用代替权重系数。规定系数r＞1，这样在求解过程中不同视角就可以保证有着不同的贡献值，每个视角都贡献自己独特的特征信息，则新的目标函数定义为：

根据每个视角的重构权重矩阵来构造相似性矩阵，通过迭代优化求解的方式获得多视角共同的低维子空间嵌入表示Y。

如图2所示，本实施例的基于多视角局部重构保持嵌入的图像检索方法，包括：

步骤201、通过不同图像描述子对图像进行特征提取得到图像的多视角特征矩阵。

步骤202、通过原始空间中线性重构样本点的方法计算重构权重矩阵。

步骤203、将原始空间中样本与近邻样本之间的相似性结构映射到低维子空间中，引入权重系数和辅助系数构造低维子空间的目标函数：

步骤204、根据每个视角的重构权重矩阵来构造每两个视角间的相似性矩阵。

步骤205、通过交替更新权重系数α和低维嵌入表示Y来获得接近于全局最优的低维嵌入Y。

步骤206、迭代更新直至收敛得到多视角共同的低维图像特征矩阵。

步骤207、使用统一的低维嵌入图像特征矩阵，进行相似性度量排序获得检索结果，实现对目标图像的检索。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于多视角局部重构保持嵌入的图像检索方法，包括以下步骤：

步骤101：使用不同的图像描述子对图像进行特征提取得到多视角特征矩阵；

步骤102：利用原始空间样本的k近邻样本重构自身的方式，通过重构权重矩阵来描述样本与近邻样本之间的相似性，将原始空间中的相似性结构特征映射到低维子空间中，通过引入权重系数和辅助系数来构造低维子空间的目标函数；

步骤103：根据每个视角的重构权重矩阵来构造相似性矩阵，通过迭代优化求解的方式获得多视角共同的低维子空间嵌入表示，将低维图像特征矩阵用于图像检索。

2.根据权利要求1所述基于多视角局部重构保持嵌入的图像检索方法，其特征在于，所述步骤102，利用原始空间样本线性重构的方式获得重构权重矩阵来描述样本与近邻样本之间的相似性；

假设数据是由n个向量构成，每个向量表示维度为D的第v个视角的第i个样本；令第i个向量由其k近邻线性重构表示，样本与之间的权重值记为构造目标函数如下，通过最小化目标函数以衡量单视角的重构误差：

将约束考虑在内,计算出权重值用以在低维子空间中重构样本点。

3.根据权利要求2所述基于多视角局部重构保持嵌入的图像检索方法，其特征在于，将原始空间中样本与近邻样本之间的相似性结构映射到低维子空间中，假设原始空间中的样本点映射到低维空间的表示是y_i，通过引入权重系数α_v构造低维子空间的最小化目标函数如下：

引入新的辅助系数r，使用代替权重系数α_v；规定系数r>1，这样在求解过程中不同视角就可以保证有着不同的贡献值，每个视角都贡献自己独特的特征信息，则新的目标函数化为：

其中M^(v)＝(I-W^(v))(I-W^(v))^T∈R^n×n为相似性矩阵；稀疏矩阵W^(v)∈R^n×n描述样本之间的重构权重，Y＝[y₁,...,y_i,...,y_n]∈R^d×n是所求解的低维嵌入表示。

4.根据权利要求3所述基于多视角局部重构保持嵌入的图像检索方法，其特征在于，所述步骤103，根据每个视角的重构权重矩阵来构造相似性矩阵M^(v)，通过迭代更新低维嵌入表示Y和权重系数α解决最优问题，使得多个视角之间能够互相学习，通过局部最优来近似全局最优获得多视角共同的低维子空间嵌入表示用于图像检索；

首先，固定Y来更新α；将约束考虑在内，利用拉格朗日乘子法得到拉格朗日函数，将拉格朗日函数对变量求导，令导函数等于0可得解：

其次，固定α来更新Y，目标函数为：

其中低维子空间嵌入映射Y可以通过稀疏矩阵M的最小的d个特征值对应的特征向量组成。