CN107590167A - 一种基于归纳型矩阵补全的大规模社交图像自动标注算法 - Google Patents

Abstract

本发明公开了一种基于归纳型矩阵补全的大规模社交图像自动标注算法，主要用于解决大规模社交图像的标签缺失和含噪问题，从而提高图像自动标注的准确性。本发明一方面引入归纳型矩阵补全技术，对新加入图像或无标签图像进行自动标注；另一方面融合图像标签矩阵的低秩性及其所固有的稀疏性，对缺失或含噪的图像标签进行预测或纠错，增强图像标注的准确性；再一方面采用机器学习中流行的优化求解方法，对本发明的问题模型进行求解，实现大规模应用。本发明很好地提高了图像标注的准确性和规模性。

Description

一种基于归纳型矩阵补全的大规模社交图像自动标注算法

技术领域

本发明属于计算机技术领域中的图像自动标注技术领域，具体涉及一种基于归纳型矩阵补全的大规模社交图像自动标注算法。

背景技术

随着数码技术和互联网技术的迅速发展，出现了大量的社会化多媒体共享平台，海量的图像资源被互联网用户共享到这些平台上。在如此大规模的图像资源中，如何有效地管理和查询所需资源成为了一个迫切需要解决的问题。在过去的几十年里，计算机领域的研究人员从不同角度对其进行了大量研究。最初的一些研究是基于文本的图像检索，但其图像标签需要手工标注，耗时耗力、带来主观性和不精确性等问题；还有一些研究是基于内容的图像检索，但它存在底层视觉特征多样性和“语义鸿沟”等问题。如今，它们都不能很好地满足用户进行图像检索的需求。

由于用户习惯于使用标签进行需求查询，并且现有的互联网搜索引擎大都是提供基于标签的图像检索，但是手工标注带来的问题使得图像检索的效率降低。为了解决这一问题，图像自动标注逐渐被提出，并成为了诸多研究者关注的热点。图像自动标注能让计算机自动给无标注或已部分标注图像加上能够反映图像视觉内容的语义标签，它也能很好地解决一定程度的“语义鸿沟”问题。大部分现有图像自动标注算法往往要求数据集中的图像被标注完整且精确地标签。然而，如今社会化多媒体共享平台上的图像大都是被互联网用户进行上传、编辑及共享的，它们允许用户使用自定义的标签进行图像分类和管理，而互联网用户经常使用涉及上下文环境及个人心态的标签进行图像标注，这往往造成大多数图像标签都是不完整和不精确的，从而引起图像标签的缺失和含噪问题。为了解决图像标签的缺失和含噪问题，图像标签修正算法逐渐被提出来。经对现有文献的检索发现，Zhu等人将图像标签矩阵分解成低秩矩阵和噪声稀疏矩阵，并利用图像间语义和视觉特征一致性的约束条件优化图像和标签之间的对应关系完成图像标签的修正。Wu等人提出一种在图像标签矩阵的稀疏性制约下的最优化方法，通过最小化每幅图像的标签与图像视觉内容之间的差异进行标签的补全。Xia 等人提出一种正则化最优算法，通过非负矩阵分解算法和考虑图像整体视觉离散度来改善图像和标签之间的相关关系，并在图像标签矩阵的稀疏性等制约下来进行标签的补全。Feng等提出一种低秩矩阵恢复算法，通过引入图拉普拉斯统计图像特征和标签之间的依赖性，并在图像标签矩阵的低秩性制约下完成图像标签的修正。

从上面提出的这些算法可以看出，现有的图像自动标注算法对图像标签矩阵的低秩性和其所固有的稀疏性这两种特性大多只考虑其一，在一定程度上影响了算法性能；而且现有大多数算法无法对新加入图像或无标签图像进行标注，以及解决大规模应用问题。

发明内容

本发明的主要目的是用于解决图像标签的缺失和含噪问题、新加入图像或无标签图像的标注问题及大规模应用问题，从而提高了图像自动标注的准确性和规模性。

为了实现上述目的，本发明提出一种基于归纳型矩阵补全的大规模社交图像自动标注算法，该算法采用了归纳性矩阵补全技术，同时融合了图像标签矩阵的低秩性及其固有稀疏性，并采用ADMM的改进算法进行大规模求解，其包括以下步骤：

(1)选择大规模社交图像数据集，对其进行预处理后，产生用于问题模型训练的图像标签的采样矩阵；

(2)根据图像视觉内容和语义标注一致性原则，并利用图像标签的低秩性和稀疏性的融合以及归纳性矩阵补全技术，对图像自动标注问题进行建模；

(3)引入并行多块ADMM进行问题模型求解，得到问题模型的求解结果；对求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终所需结果，进而得到补全的图像标注结果；

(4)对新加入的图像进行图像标注。

进一步，步骤1具体包括如下步骤：

(2-1)选择大规模社交图像作为数据集，对数据集中的图像进行特征提取；

(2-2)提取图像中底层视觉特征和图像标注的语义特征，构建出图像-特征矩阵和图像-标签矩阵；

(2-3)基于步骤2-2中所构建的矩阵，进行移除标记图像过少的标签等预处理，得到新的图像-特征矩阵和图像-标签矩阵，其中图像-标签矩阵中的某些行可以是全零元素，即可以含有无标签图像；

(2-4)基于步骤2-3中的图像-标签矩阵，对其生成一个元素缺失且可能包含噪声的图像标签的采样矩阵，将其作为初始化图像-标签矩阵用于问题模型训练。

步骤2中，所述图像自动标注的问题模型表示如下：

其中，n和m分别表示图像和标签的数量，d表示图像特征的维数；M∈R^n×m为图像标签的采样矩阵，X∈R^d×n为特征-图像矩阵，Z∈R^d×m为标签诱导矩阵，E∈R^n×m为图像标签的稀疏噪声矩阵，X^TZ为待补全的图像-标签矩阵；||X^TZ||_*和||X^TZ||₁表示为图像- 标签矩阵的低秩性和其固有的稀疏性，||E||₁表示图像噪声矩阵的稀疏性，C_c(X^TZ)和 C_t(X^TZ)分别用来度量图像视觉内容相似性和图像标签间语义相关性，λ为可调权衡参数；Ω＝{(i,j)|1≤i≤n,1≤j≤m,M(i,j)＝1}为采样矩阵中元素的下标集合，P_Ω(·)为投影算子，定义为：

步骤3具体包括如下步骤：

(4-1)采用并行多块ADMM对问题模型进行优化求解，得到问题模型的求解结果；

(4-2)对上述求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终结果，进而得到补全的图像标注结果。

步骤4具体包括如下步骤：提取新加入图像的特征向量，增加到特征-图像矩阵X中，对新得到的X与求得的标签诱导矩阵Z求内积，即X^TZ，从而得到新加入图像的标签。

与现有技术相比，本发明的有益效果在于：

1，本发明引入机器学习领域流行的归纳型矩阵补全技术，将图像标签固有的稀疏性引入到归纳型低秩矩阵补全技术中，提出一种带有稀疏约束的归纳性低秩矩阵补全算法，对缺失或含噪的图像标签进行预测或纠错，并对新加入图像或无标签图像进行有效标注。

2，本发明通过引入并行多块ADMM对本发明的问题模型进行求解，从而很好地解决大规模图像自动标注问题。

附图说明

图1是本发明提供的基于归纳型矩阵补全的大规模社交图像自动标注算法的流程示意图。

具体实施方式

下面结合说明书附图，对本发明的实施方式进行描述。针对现有技术中存在的图像标签的缺失和含噪问题、新加入图像或无标签图像标注问题及大规模应用问题，本发明一方面引入机器学习领域流行的归纳型矩阵补全技术，并将图像标签固有的稀疏性引入到归纳型低秩矩阵补全技术中，提出一种带有稀疏约束的归纳性低秩矩阵补全算法，对缺失或含噪的图像标签进行预测或纠错，并对新加入图像或无标签图像进行有效标注；另一方面引入并行多块ADMM对本发明的问题模型进行求解，从而很好地解决大规模图像自动标注问题。具体步骤包括：

(1)选择大规模社交图像数据集，对其进行预处理后，产生用于问题模型训练的图像标签的采样矩阵；

(2)根据图像视觉内容和语义标注一致性原则，并利用图像标签的低秩性和稀疏性的融合以及归纳性矩阵补全技术，对图像自动标注问题进行建模；

(3)引入并行多块ADMM进行问题模型求解，得到本发明问题模型的求解结果；对求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终所需结果，进而得到补全的图像标注结果；

(4)对新加入的图像进行图像标注。

进一步，步骤1具体包括如下步骤：

(2-1)选择大规模社交图像作为数据集，对数据集中的图像进行特征提取；

(2-2)提取图像中底层视觉特征和图像标注的语义特征，构建出图像-特征矩阵和图像-标签矩阵；

(2-3)基于2-2中所构建的矩阵，进行移除标记图像过少的标签等预处理，得到新的图像-特征矩阵和图像-标签矩阵，其中图像-标签矩阵中的某些行可以是全零元素，即可以含有无标签图像；

(2-4)基于2-3中的图像-标签矩阵，对其生成一个元素缺失且可能包含噪声的图像标签的采样矩阵，将其作为初始化图像-标签矩阵用于问题模型训练。

步骤2-2中进行提取底层视觉特征时，选取的特征可以是颜色特征、纹理特征、形状特征中的任意一种或多种组合作为选用的特征类型，或者是局部特征，如SIFT特征。

步骤2具体包括如下步骤：根据图像视觉内容和语义标注一致性原则，同时考虑图像- 标签矩阵的低秩性及其所固有稀疏性，并采用归纳性矩阵补全技术，将基于归纳型矩阵补全理论的大规模社交图像自动标注问题建模为：

其中，M∈R^n×m为图像标签的采样矩阵，X∈R^d×n为特征-图像矩阵，Z∈R^d×m为标签诱导矩阵，E∈R^n×m为图像标签的稀疏噪声矩阵，X^TZ为待补全的图像-标签矩阵；||X^TZ||_*和||X^TZ||₁表示为图像-标签矩阵的低秩性和其固有的稀疏性，||E||₁表示图像噪声矩阵的稀疏性，C_c(X^TZ)和C_t(X^TZ)分别用来度量图像视觉内容相似性一致性和图像标签间语义相关性一致性，λ为可调权衡参数；Ω＝{(i,j)|1≤i≤n,1≤j≤m,M(i,j)＝1}为采样矩阵中元素的下标集合，P_Ω(·)为投影算子，定义为：

针对式(1)中rank(X^TZ)，由于秩函数为NP难问题，将其松弛为核范数||X^TZ||_*；针对 C_c(X^TZ)和C_t(X^TZ)，令B＝X^TZ，则C_c(B)和C_t(B)分别用来度量图像视觉内容相似度一致性和图像标签间语义相似度一致性，它们均利用谱图理论求得。

通过最小化图像视觉内容之间差异，使两幅图像尽可能相似，即：

通过最小化图像标签之间差异，使两个标签之间尽可能关联，即：

其中W^c和W^t为权重矩阵，L^c和L^t均为图拉普拉斯矩阵，则式(1)等价转化为如下形式：

步骤3具体包括如下步骤：

(4-1)本发明采用并行多块ADMM对问题(1)进行优化求解，得到问题模型的求解结果；

(4-2)对上述求解结果进行迭代更新求解，直至收敛得到最终结果，进而得到补全的图像标注结果。

在步骤4-1中，本发明引入并行多块ADMM，适用于解决大规模社交网络图像自动标注问题。

为了使用并行多块ADMM，先将式(2)转化为ADMM形式：

式(3)的增广拉格朗日函数为：

按照如下迭代更新规则求解：

，并结合近邻前向后向分裂(PFBS)算法，得到问题模型的求解结果如下：

其中ρ_max＝10¹⁰，ρ₀＝nε₁，ε₁是一个满足0＜ε₁＜＜1的阈值，ξ满足：

其中δ₁、δ₂、δ₃和δ₄这四个参数利用PFBS算法中的条件进行求解得到，即

在步骤4-2中，对上问题模型的求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终结果，进而得到补全的图像标注结果。本发明使用式(7)和如下问题的KKT 条件作为停止准则：

其中ε₂是一个满足0＜ε₂＜＜1的阈值。

步骤4具体包括如下步骤：提取新加入图像的特征向量，增加到特征-图像矩阵X中，对新得到的X与求得的标签诱导矩阵Z求内积，即X^TZ，从而得到新加入图像的标签。

上述步骤进一步可以概括为：

(1)选择大规模社交图像数据集，对其进行预处理后，产生用于问题模型训练的采样图像-标签矩阵：

(1-1)选择大规模社交图像作为数据集，对数据集中的图像进行特征提取；

(1-2)提取图像中底层视觉特征和图像标注的语义特征，构建出图像-特征矩阵和图像-标签矩阵；

(1-3)基于步骤1-2中所构建的矩阵，进行移除标记图像过少的标签等预处理，得到新的图像-特征矩阵和图像-标签矩阵，其中图像-标签矩阵中的某些行可以是全零元素，即可以含有无标签图像；

(1-4)基于步骤1-3中的图像-标签矩阵，对其生成一个元素缺失且可能包含噪声的图像标签的采样矩阵，将其作为初始化图像-标签矩阵用于问题模型训练。

(2)根据图像视觉内容和语义标注一致性原则，并利用图像标签矩阵的低秩性和稀疏性的融合以及归纳性矩阵补全技术，提供一种基于稀疏约束的归纳性低秩矩阵补全技术的大规模社交网络图像自动标注算法，对该算法进行问题建模。

(3)引入并行多块ADMM进行问题模型求解，得到本发明问题模型的求解结果；对求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终所需结果，进而得到补全的图像标注结果：

(3-1)引入并行多块ADMM，并结合近邻前向后向分裂(PFBS)算法，得到问题模型的求解结果；

(3-2)对问题模型的求解结果进行迭代更新求解，直至收敛或满足终止条件，得到最终补全的图像标注结果。

上述算法步骤，也可以通过下述表格描述：

(4)提取新加入图像的特征向量，增加到特征-图像矩阵X中，对新得到的X与求得的标签诱导矩阵Z求内积，即X^TZ，从而得到新加入图像的标签。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下，可以进行若干改进和润饰。

Claims (5)

1.一种基于归纳型矩阵补全的大规模社交图像自动标注算法，其特征在于，所述算法包括以下步骤：

(1)选择大规模社交图像数据集，对其进行预处理后，产生用于问题模型训练的图像标签的采样矩阵；

(2)根据图像视觉内容和语义标注一致性原则，并利用图像标签的低秩性和稀疏性的融合以及归纳性矩阵补全技术，对图像自动标注问题进行建模；

(3)引入并行多块ADMM进行问题模型求解，得到问题模型的求解结果；对求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终所需结果，进而得到补全的图像标注结果；

(4)对新加入的图像进行图像标注。

2.如权利要求1所述的一种基于归纳型矩阵补全的大规模社交图像自动标注算法，其特征在于，步骤1具体包括如下步骤：

(2-1)选择大规模社交图像作为数据集，对数据集中的图像进行特征提取；

(2-2)提取图像中底层视觉特征和图像标注的语义特征，构建出图像-特征矩阵和图像-标签矩阵；

(2-3)基于步骤2-2中所构建的矩阵，进行移除标记图像过少的标签等预处理，得到新的图像-特征矩阵和图像-标签矩阵，其中图像-标签矩阵中的某些行可以是全零元素，即可以含有无标签图像；

(2-4)基于步骤2-3中的图像-标签矩阵，对其生成一个元素缺失且可能包含噪声的图像标签的采样矩阵，将其作为初始化图像-标签矩阵用于问题模型训练。

3.如权利要求1所述的一种基于归纳型矩阵补全的大规模社交图像自动标注算法，其特征在于，步骤2中所述图像自动标注的问题模型表示如下：

其中，n和m分别表示图像和标签的数量，d表示图像特征的维数；M∈R^n×m为图像标签的采样矩阵，X∈R^d×n为特征-图像矩阵，Z∈R^d×m为标签诱导矩阵，E∈R^n×m为图像标签的稀疏噪声矩阵，XΤZ为待补全的图像-标签矩阵；||X^ΤZ||_*和||X^ΤZ||₁表示为图像-标签矩阵的低秩性和其固有的稀疏性，||E||₁表示图像噪声矩阵的稀疏性，C_c(X^ΤZ)和C_t(X^ΤZ)分别用来度量图像视觉内容相似性和图像标签间语义相关性，λ为可调权衡参数；Ω＝{(i,j)|1≤i≤n,1≤j≤m,M(i,j)＝1}为采样矩阵中元素的下标集合，P_Ω(·)为投影算子，定义为：

4.如权利要求1所述的一种基于归纳型矩阵补全的大规模社交图像自动标注算法，其特征在于,步骤3具体包括如下步骤：

(4-1)采用并行多块ADMM对问题模型进行优化求解，得到问题模型的求解结果；

(4-2)对上述求解结果进行迭代更新求解，直至收敛或满足终止条件得到最终结果，进而得到补全的图像标注结果。

5.如权利要求1所述的一种基于归纳型矩阵补全的大规模社交图像自动标注算法，其特征在于，步骤4具体包括如下步骤：提取新加入图像的特征向量，增加到特征-图像矩阵X中，对新得到的X与求得的标签诱导矩阵Z求内积，即X^ΤZ，从而得到新加入图像的标签。