CN108595555B - 基于半监督张量子空间回归的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于半监督张量子空间回归的图像检索方法，主要解决现有方法计算时间复杂度高，图像检索效率低的问题。其实现方案是：1.将图像缩放到二阶张量空间中进行预处理，得到图像的灰度矩阵X_i；2.根据图像的灰度矩阵X_i构建两个优化函数U和V；3.迭代计算两个优化函数U和V的最优解；4.根据给出的查询图片，计算得到该查询图片在低维目标子空间的矩阵Y_i'；5.对给出的查询图片在低维目标子空间中进行图像检索，即在低维目标子空间对查询图片与训练集中图片的欧氏距离按照排序，并返回图像检索结果。本发明减小计算的时间复杂度，映射函数的学习过程更加有效，提高了图像检索的效率和准确率，可用于海量图像检索领域。

Description

基于半监督张量子空间回归的图像检索方法

技术领域

本发明属于图像处理技术领域，特别涉及一种图像检索方法，可用于海量图像检索领域。

背景技术

随着互联网上的图像数据信息越来越多，用户对网上图像搜索的要求也越来越多样化，查找和选择用户需要的信息变得越来越困难，因此图像搜索成为了学术界和业界关注的热门话题。

在过去的几十年，很多技术被用来对图片和视频中的图像进行检索。三种典型的基于表观的方法分别是主成分分析PCA，线性判别分析LDA以及局部保留投影LPP。PCA通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分；LDA是一种有监督的降维算法，LDA的目标是找到一种线性子空间，它能最好地分离两个或更多的数据点；LPP的主要思想是能够学习高维空间中图像的局部邻域结构，并寻找一种能够保留这种流行结构的子空间。这三种传统的基于表观的方法，都是将一个m×n像素的图像看成是(m·n)维空间的一个向量，然而在实际中，像这么高维数的空间并不能得到快速和准确的识别。

最近，研究者已经开始使用张量来表示图像数据，他们提出可以把m×n大小的图像在一个

的张量空间中用一个二阶张量表示。张量子空间分析算法找到了一种从

到

的可以保持图像局部流形结构的映射，其中m和n表示张量空间的大小，m'和n'表示目标子空间的大小，且m'＜m,n'＜n。

通过这种图像的流形结构对图像数据进行降维，要比传统的基于向量结构的降维更加出色。然而，虽然张量子空间分析算法对于数据降维很有效，但它仍然有两点不足：首先，它只适用于基于有监督的方法，无法利用大量的无标注数据，在应用上有很大的局限性；其次，该方法的时间复杂度仍然很高，因为张量子空间分析算法需要用迭代法去解决两个广义特征向量问题，在每次迭代中，需要再计算与两个广义特征向量问题相关的矩阵。因此，这种算法并不适用于样本数据集很大的情况。

传统的基于表观的方法不能快速和准确的识别高维数的空间，而张量子空间分析算法时间复杂度很高，并且在应用上有很大的局限性，所以并不适用于样本数据集很大的情况。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种高效的基于半监督张量子空间回归的图像检索方法，以减小计算的时间复杂度，提升图像检索的效率和准确率。

本发明的技术思路是：通过目标子空间的学习，实现对训练样本集中的广义特征向量的优化，得到最优地保持图像流形结构的子空间坐标；通过在二阶张量空间中使用迭代的方法解决回归问题，得到最优的映射矩阵；通过映射矩阵把数据库中的图像映射到已学得的低维子空间中，以在子空间中构建图像检索模型，完成对图像的检索。

根据上述思路，本发明的实现方案包括如下：

(1)将m张图像缩放到同一大小，并在一个二阶张量空间中用灰度矩阵表示，矩阵的每一个元素代表图像相应位置像素的灰度值，将这m张图像表示为灰度矩阵集：X＝{X₁,X₂,...X_i,...,X_m}，其中X_i表示第i张图像的灰度矩阵，

表示n₁阶矩阵和n₂阶矩阵的张量积，i＝1,2,3,...,m；

(2)构建两个优化函数U和V：

2a)对于每一个训练样本的灰度矩阵X_i，通过低维目标子空间的学习得到目标子空间中最优的矩阵Y_i；

2b)假设第二优化函数V的值已知，则定义第一优化函数U为：

其中，||·||_F表示弗罗贝尼乌斯范数，α是第一比例因子；

2c)假设第一优化函数U的值已知，则定义第二优化函数V为：

其中，β是第二比例因子；

(3)初始化第二优化函数V为单位矩阵，迭代优化式<1>和式<2>，直到U和V收敛，得到最优的第一映射矩阵U'和第二映射矩阵V'；

(4)定义映射函数Y_i'＝U'^TX_iV'，其中Y_i'查询图片在低维目标子空间的矩阵；给出一张新的查询图片，通过映射函数将查询图片映射到低维目标子空间，得到该查询图片在低维目标子空间的矩阵Y_i'；

(5)在目标子空间中计算查询图片的Y_i'与训练集中的图片在目标子空间中矩阵Y_j的欧式距离d_ij，并按照从小到大的顺序排序，最后返回前N个图像，即为检索结果，N的范围是[1,+∞)。

本发明具有如下有益效果：

1.提高了图像检索的效率。

本发明用广义特征向量和优化函数替代之前用迭代解决特征向量问题的方法，相比于传统的张量子空间分析图像检索算法，大大减小了计算复杂度，映射函数的学习过程更加高效，尤其在大样本数据的情况下，效率的提升更加明显。

2.提高了图像检索的准确率。

本发明与传统的几种优秀图像检索算法在数据库上的相比，图像识别准确率仅仅略逊色于准确率最高的张量子空间分析算法，甚至在样本数据集很大的情况下，图像检索准确率优于张量子空间分析算法。

附图说明

图1为本发明的实现总流程图；

图2为本发明中构建两个优化函数U和V的子流程图；

图3为本发明通过迭代计算两个优化函数U和V的最优解子流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实例，对本发明进行进一步的详细说明。应当理解的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明的实现步骤如下：

步骤一，图像缩放预处理。

将m张图像缩放到同一大小，并在一个二阶张量空间中用灰度矩阵表示，矩阵的每一个元素代表图像相应位置像素的灰度值，将这m张图像表示为灰度矩阵集：X＝{X₁,X₂,...X_i,...,X_m}，其中X_i表示第i张图像的灰度矩阵，

表示n₁阶矩阵和n₂阶矩阵的张量积，i＝1,2,3,...,m。

步骤二，构建两个优化函数U和V。

本步骤的核心思想不是直接构建两个优化函数U和V,而是对于每一个训练样本的灰度矩阵X_i，首先定义映射函数Y_i＝U^TX_iV，其中，Y_i表示需要求解的训练样本i在目标子空间的矩阵，然后通过低维目标子空间的学习得到目标子空间中最优的矩阵Y_i，最后定义两个优化函数U和V。

参照图2，本步骤的具体实现如下：

2.1)构建关联图W_ij：

本发明考虑到训练集中不仅存在标注的图片，也存在大量的无标注样本，因此需要构造图片之间的关联图W_ij，过程如下：

先将任意两个图片在二阶张量空间中以张量表示为灰度矩阵X_i和X_j，j＝1,2,...,m；

然后将X_i的列向量首尾相接构造成第i个向量t_i，将X_j的列向量首尾相接构造成第j个向量t_j，再求t_i和t_j之间的余弦相似值c_ij，根据余弦相似的性质：两个向量的余弦相似值c_ij越接近于1，则图片之间的相似度越高，即两幅图像为同一类的概率越大；

最后根据任意两张图片的余弦相似值c_ij构建关联图W_ij如下：

2.2)定义第一目标函数：

由于图像数据分布于外围张量空间的低维非线性子流形上，为了得到一个线性的可以保持数据流形局部几何结构的映射函数，定义如下第一目标函数：

其中，W_ij表示训练样本i和j的余弦相似度，||·||_F表示弗罗贝尼乌斯范数；

2.3)定义第二目标函数：

除了保持局部空间的几何结构，也要保证数据点的可分离，就必须在新的子空间中最大化数据流形的全体方差,因此定义如下第二目标函数：

其中，D_ii＝∑_jW_ij；

2.4)联合<3>式和<4>式得到第三目标函数：

其中Y_i表示需要求解的训练样本i在目标子空间的矩阵，Y_j表示需要求解的训练样本j在目标子空间的矩阵；

2.5)将Y_i行序列化为一个大小为(l₁·l₂)×1的向量z_i,将Y_j行序列化为一个(l₁·l₂)×1的向量z_j，其中l₁是Y_i和Y_j的行数，l₂是Y_i和Y_j的列数；

2.6)简化第三目标函数：

根据矩阵的F范数定义，得到||Y_i||_F ²＝||z_i||²，||Y_i-Y_j||_F ²＝||z_i-z_j||²，则式<5>转化为如下式子：

经过简单的数学推导，将式<6>写成矩阵向量的形式：

其中，H是一个以z_i为行向量的大小为m×(l₁·l₂)的矩阵，D是对角线上元素为D_ii的对角矩阵，L是拉普拉斯矩阵，L＝D-W_ij；

2.7)求解矩阵H：

根据Rayleigh-Ritz理论，求解Lh＝λDh的广义特征向量，得到前l₁·l₂个最小的特征值对应的广义特征向量h，其中λ为特征值；具体求解过程如下：

2.7.1)根据步骤2.1)定义的关联图W_ij，将Lh＝λDh转化成如下式子：

W_ijh＝(1-λ)Dh <8>

2.7.2)问题假设：

假设训练集中的图片有b类，定义m_k为第k类训练样本的个数，则m₁+...+m_b＝m，k＝1,2,...,b；

2.7.3)根据W_ij的定义将W_ij表示为如下分块对角阵结构：

其中，W^(k)是一个m_k×m_k的矩阵；

2.7.4)根据D是对角线上元素为D_ii的对角矩阵，且D_ii＝∑_jW_ij，将矩阵D表示为如下的分块对角矩阵：

2.7.5)根据W_ij和D的分块对角结构将式<8>转化为如下式子

其中，h^(k)表示第k类训练样本的特征向量，

由对角矩阵的性质，式<8>中的广义特征向量问题的特征值和特征向量是式<11>中的广义特征向量问题的特征值和特征向量的联合；

2.7.6)求解式<11>的特征向量：

根据W^(k)的第一个特征向量

是式<11>的一个特征向量，得到1是式<11>最大的特征值，对于特征值1，从W^(k)中得到b个如下形式的式<11>的特征向量：

因此，在由{h⁽¹⁾,h⁽²⁾,...,h^(b)}形成的标准基空间中选取任意b个正交的向量来求解式<8>广义特征向量问题，方法如下：先设置e^(k)为第一个特征向量，然后利用施密特正交化过程来得到其他b-1个正交的特征向量；这b-1个正交的特征向量即为Lh＝λDh的前l₁·l₂个最小的特征值对应的广义特征向量h,l₁·l₂＝b-1；

2.7.7)将h按行排列生成H；

2.8)根据z_i是矩阵H中长度为l₁·l₂的行向量，将z_i分割为l₁个长度为l₂的行向量，然后将这l₁个行向量按行排列生成Y_i。

2.9)根据训练样本的灰度矩阵X_i和目标子空间的矩阵Y_i定义两个优化函数U和V：

2.9.1)假设第二优化函数V的值已知，则定义第一优化函数U为：

其中，||·||_F表示弗罗贝尼乌斯范数，α是第一比例因子；

2.9.2)假设第一优化函数U的值已知，则定义第二优化函数V为：

其中，β是第二比例因子。

步骤三，迭代计算两个优化函数U和V的最优解。

由于式<12>和式<13>是两个相互关联的回归问题，因此可采用迭代的方式进行优化。

参照图3，本步骤具体实现如下：

3.1)初始化第二优化函数V的值为单位矩阵；

3.2)对第一优化函数U的值进行优化：

3.2.1)对第一优化函数U求偏导，得到如下方程式：

其中，

l₁是Y_i的行数，l₂是Y_i的列数，n₁是X_i的行数；

3.2.2)令式<6>等于零，得到U的最优解：

其中，

是一个n₁×n₁的单位矩阵；

3.3)对第二优化函数V的值进行优化：

3.3.1)对第二优化函数V求偏导，得到如下方程：

其中，

n₂是X_i的列数；

3.3.2)令式<7>等于零，得到V的最优解：

其中，

是一个大小为n₂×n₂单位矩阵；

3.4)如果两个优化函数U和V收敛时，停止迭代，得到最优的第一映射矩阵U'和第二映射矩阵V'；否则，返回步骤3.2)。

步骤四，计算得到查询图片在低维目标子空间的矩阵Y_i'。

4.1)定义映射函数如下：

Y_i'＝U'^TX_iV'，

其中，Y_i'表示查询图片在低维目标子空间的矩阵，U'表示第一映射矩阵，V'表示第二映射矩阵；

4.2)给出一张新的查询图片，根据查询图片的灰度矩阵X_i和映射函数将查询图片映射到低维目标子空间，得到该查询图片在低维目标子空间的矩阵Y_i'。

步骤五，对查询图片在低维目标子空间中进行图像检索。

5.1在目标子空间中计算查询图片在目标子空间中的矩阵Y_i'与训练集中的图片j在目标子空间中矩阵Y_j之间的欧式距离d_ij，按如下公式计算：

其中，y'_kt表示Y_i'矩阵的(k,t)位置元素，y_kt表示Y_j矩阵的(k,t)位置元素，l₁表示矩阵Y_i'和Y_j的行数，l₂示矩阵Y_i'和Y_j的列数。

5.2)将欧式距离d_ij按照从小到大的顺序排序，最后返回前N个图像，即为检索结果，N的范围是[1,+∞)。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于半监督张量子空间回归的图像检索方法，其特征在于，包括：

(1)将m张图像缩放到同一大小，并在一个二阶张量空间中用灰度矩阵表示，矩阵的每一个元素代表图像相应位置像素的灰度值，将这m张图像表示为灰度矩阵集：X＝{X₁,X₂,...,X_i,...,X_m}，其中X_i表示第i张图像的灰度矩阵，

表示n₁阶矩阵和n₂阶矩阵的张量积，i＝1,2,3,...,m；

(2)构建两个优化函数U和V：

2a)对于每一个训练样本的灰度矩阵X_i，通过低维目标子空间的学习得到目标子空间中最优的矩阵Y_i；

2b)假设第二优化函数V的值已知，则定义第一优化函数U为：

其中，||·||_F表示弗罗贝尼乌斯范数，α是第一比例因子；

2c)假设第一优化函数U的值已知，则定义第二优化函数V为：

其中，β是第二比例因子；

(3)初始化第二优化函数V为单位矩阵，迭代优化式<1>和式<2>，直到U和V收敛，得到最优的第一映射矩阵U'和第二映射矩阵V'；

(4)定义映射函数Y_i'＝U'^TX_iV'，其中Y_i'查询图片在低维目标子空间的矩阵；给出一张新的查询图片，通过映射函数将查询图片映射到低维目标子空间，得到该查询图片在低维目标子空间的矩阵Y_i'；

(5)在目标子空间中计算查询图片的Y_i'与训练集中的图片在目标子空间中矩阵Y_i的欧式距离d_ij，并按照从小到大的顺序排序，最后返回前N个图像，即为检索结果，N的范围是[1,+∞)。

2.如权利要求1所述的方法，其特征在于，步骤2a)中通过低维目标子空间的学习得到目标子空间中最优的矩阵Y_i，按如下步骤进行：

2a1)定义目标函数：

其中，Y_i表示需要求解的训练样本i在目标子空间的矩阵，Y_j表示需要求解的训练样本j在目标子空间的矩阵，W_ij表示训练样本i和j的余弦相似度，D_ii＝∑_jW_ij；

2a2)将Y_i行序列化为一个大小为(l₁·l₂)×1的向量z_i,将Y_j行序列化为一个(l₁·l₂)×1的向量z_j，其中l₁是Y_i和Y_j的行数，l₂是Y_i和Y_j的列数；

2a3)简化目标函数：

根据矩阵的F范数定义，得到||Y_i||_F ²＝||z_i||²，||Y_i-Y_j||_F ²＝||z_i-z_j||²，则式<3>转化为如下式子：

经过简单的数学推导，将式<4>写成矩阵向量的形式：

其中，H是一个以z_i为行向量的大小为m×(l₁·l₂)的矩阵，D是对角线上元素为D_ii的对角矩阵，L是拉普拉斯矩阵；

2a4)求解矩阵H：

根据Rayleigh-Ritz理论，求解Lh＝λDh的广义特征向量，得到前l₁·l₂个最小的特征值对应的广义特征向量h，其中λ为特征值；

将h按行排列生成H；

2a5)求解Y_i：

根据z_i是矩阵H中长度为l₁·l₂的行向量，将z_i分割为l₁个长度为l₂的行向量，然后将这l₁个行向量按行排列生成Y_i。

3.如权利要求1所述的方法，其特征在于，所述步骤(3)，实现如下：

3a)初始化第二优化函数V的值为单位矩阵；

3b)对第一优化函数U的值进行优化：

3b1)对第一优化函数U求偏导，得到如下方程式：

其中，X_i ^(V)＝X_iV，

l₁是Y_i的行数，l₂是Y_i的列数，n₁是X_i的行数；

3b2)令式<6>等于零，得到U的最优解：

其中，

是一个n₁×n₁的单位矩阵；

3c)对第二优化函数V的值进行优化：

3c1)对第二优化函数V求偏导，得到如下方程：

其中，X_i ^(U)＝U^TX_i，

n₂是X_i的列数；

3c2)令式<7>等于零，得到V的最优解：

其中，

是一个大小为n₂×n₂单位矩阵；

3d)当两个优化函数U和V收敛时，停止迭代，得到最优的第一映射矩阵U'和第二映射矩阵V'；否则，返回步骤3b)。

4.如权利要求1所述的方法，其特征在于，步骤(5)中在目标子空间中计算查询图片在目标子空间中的矩阵Y_i'与训练集中的图片j在目标子空间中矩阵Y_j之间的欧式距离d_ij，按如下公式计算：

其中，y'_kt表示Y_i'矩阵的(k,t)位置元素，y_kt表示Y_j矩阵的(k,t)位置元素，l₁表示矩阵Y_i'和Y_j的行数，l₂示矩阵Y_i'和Y_j的列数。

Images