CN102637199A - 一种基于半监督主题建模的图像标注方法 - Google Patents

Abstract

本发明公开了一种基于半监督主题建模的图像标注方法。本发明的方法首先从互联网上得到图像，包括已有文本标注的图像，以及未标注图像。接着利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模。然后构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对模型进行调整。通过期望最大化算法学习该模型，并分别计算各个潜在主题与图像匹配的概率。最后根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标注图像进行标注。

Description

一种基于半监督主题建模的图像标注方法

技术领域

本发明涉及机器学习中的半监督学习技术领域，特别是涉及一种基于主题建模的图像标注方法。 

背景技术

近年来，由于数码相机越来越普及，个人的数码照片数目急剧上升，同时在因特网上分享照片也越来越普及，为了挖掘大型照片集合的潜在价值，用户需要能够有效的检索到所需要的图像。图像标注，是将文本和图像的语义内容联系起来的技术，是一个很好的减少语义差距的方式并可以用于图像检索的中间步骤。使得用户可以通过文本查询对图像进行检索，并且在语义方面，相对于基于内容的检索能提供更好的结果。近年来，图像标注已经吸引了越来越多的研究兴趣。 

图像标注最基础的问题在于怎样对不同模式之间的关系进行建模，这些模式包括视觉特征，文本标注以及可能出现的图像的潜在主题，不同图像之间的关系。潜在主题建模在该问题上是一种很有效的解决方式。总体来讲，基于模型的方法具有较好的效率和稳定性，而它的主要不足在于可能存在不充分的建模。如果模型不能完全描述问题领域，它的推断值也会不准确。例如：如果数据不是按照高斯分布进行分布，对它进行高斯建模就会出现问题。对于图像标注，由于图像内容的多样化，总是很难对其进行充分的可能性建模。 

相反的，传统的基于相似性的方法，如：谱聚类和流正规化，并不需要采用具体的数据可能性结构，只需要对每组数据实例对定义相 似性函数即可。这种方法在半监督的内容学习上已表现得非常成功。在应用于正规化时，这种方法同样可以运用于可能性模型。 

发明内容

本发明的目的在于提供一种基于半监督主题建模的图像标注的方法。 

本发明解决其技术问题所采用的技术方案如下： 

1)从互联网上得到图像，包括已有文本标注的图像，以及未标注图像； 

2)利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模； 

3)构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整； 

4)通过期望最大化算法学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率； 

5)根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标记图像进行标注。 

1.步骤2)中的建模过程是按照如下方式进行的：对于每个图像i，首先用向量F_i表示图像视觉特征，向量W_i来表示图像文本标注，其中F_i＝{f₁，…，f_n}，其中f_u表示第u个视觉特征单词在第i个图片中出现的次数；W_i＝{w₁，…，w_n}，其中w_v表示第v个文本标注单词在第i个图片中出现的次数。 

并假设f_i(其中i＝1，…，n)服从多项式分布 

w_i(其中i＝1，…，n)服从多项式分布 

未标注图像W_i＝0；然后用多项分布α建模图像与 潜在主题Z_i的关系， 

最后得到所有图像与潜在主题的匹配概率的和为L，L的计算公式如下： 

其中，I为图像总数，K为潜在主题总数，P(z_k|α)表示在α分布下潜在主题z_k与第i个图像匹配的概率，U为视觉特征单词总数，P(f_u|z_k，β)表示在β分布下视觉特征f_u与潜在主题z_k匹配的概率，V为图像文本特征单词总数， 表示在 

分布下文本标注w_v与潜在主题z_k匹配的概率； 

2.步骤3)中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边； 

3.步骤4)中使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β，  Φ； 

4.步骤5)中利用步骤4)所得到的结果，从而获得文本标注匹配未标注图像的概率，并选取概率最大的文本标注对未标注图像进行标注，文本标注匹配未标注图像的概率P(w_v)的计算公式如下： 

其中，K为潜在主题总数，p_ki为步骤4)所得到的潜在主题与图像匹配的概率， 

表示在 

分布下文本标注w_v与潜在主题z_k匹配的概率。 

附图说明

图1是本发明的方法流程图。 

具体实施方式

参照附图： 

一种半监督下的基于主题建模的图像标注的方法，该方法包括以下步骤： 

1.从互联网上得到图像，包括已有文本标注的图像，以及未标注图像； 

2.利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模，建模过程是按照如下方式进行的：对于每个图像i，首先用向量F_i表示图像视觉特征，向量W_i来表示图像文本标注，其中F_i＝{f₁，…，f_n}，其中f_u表示第u个视觉特征单词在第i个图片中出现的次数；W_i＝{w₁，…，w_n}，其中w_v表示第v个文本标注单词在第i个图片中出现的次数。 

并假设f_i(其中i＝1，…，n)服从多项式分布 

w_i(其中i＝1，…，n)服从多项式分布 

未标注图像W_i＝0；然后用多项分布α建模图像与潜在主题Z_i的关系， 

最后得到所有图像与潜在主题的匹配概率的和为L，L的计算公式如下： 

其中，I为图像总数，K为潜在主题总数，P(z_k|α)表示在α分布下潜在主题z_k与第i个图像匹配的概率，U为视觉特征单词总数，P(f_u|z_k，β)表示在β分布下视觉特征f_u与潜在主题z_k匹配的概率，V为图像文本特征单词总数， 表示在 

分布下文本标注w_v与潜在主题z_k匹配的概率； 

3.构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整，其中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边； 

4.使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β，Φ，其中α，β，Φ的计算公式如下 

k∈{1，...，K} 

${\mathrm{\β}}_{\mathrm{ku}}\mathrm{\α}{\mathrm{\Σ}}_{i=1}^1{F}_{\mathrm{iu}}\·p_{\mathrm{ki}}\·(k,u)\∈\{1,...,K\}\×\{1,...,U\}$

其中，I为图像总数，K为潜在主题总数，U为视觉特征单词总数，V为图像文本特征单词总数，p_ki为各个潜在主题与图像匹配的概率； 

5.根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标记图像进行标注，本标注匹配未标注图像的概率P(w_v)的计算公式如下： 

其中，K为潜在主题总数，p_ki为步骤4)所得到的潜在主题与图像匹配的概率， 

表示在 

分布下文本标注w_v与潜在主题z_k匹配的概率。 

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。 

Claims (5)

1.一种基于半监督主题建模的图像标注方法，其特征在于：

1)从互联网上得到图像，包括已有文本标注的图像，以及未标注图像；

2)利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模；

3)构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整；

4)通过期望最大化算法学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率；

5)根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标注图像进行标注。

2.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤2)中的建模过程是按照如下方式进行的：对于每个图像i，首先用向量F_i表示图像视觉特征，向量W_i来表示图像文本标注，其中F_i＝{f₁，…，f_n}，其中f_u表示第u个视觉特征单词在第i个图片中出现的次数；W_i＝{w₁，…，w_n}，其中w_v表示第v个文本标注单词在第i个图片中出现的次数。

并假设f_i(其中i＝1，…，n)服从多项式分布

w_i(其中i＝1，…，n)服从多项式分布

未标注图像W_i＝0；然后用多项分布α建模图像与潜在主题Z_i的关系，

最后得到所有图像与潜在主题的匹配概率的对数似然为L，L的计算公式如下：

其中，I为图像总数，K为潜在主题总数，P(z_k|α)表示在α分布下潜在主题z_k与第i个图像匹配的概率，U为视觉特征单词总数，P(f_u|z_k，β)表示在β分布下视觉特征f_u与潜在主题z_k匹配的概率，V为图像文本特征单词总数，

表示在

分布下文本标注w_v与潜在主题z_k匹配的概率。

3.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤3)中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边。

4.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤4)中使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β，Φ。

5.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤5)中利用步骤4)所得到的结果，从而获得文本标注匹配未标注图像的概率，并选取概率最大的文本标注对未标注图像进行标注，文本标注匹配未标注图像的概率P(w_v)的计算公式如下：

其中，K为潜在主题总数，p_ki为步骤4)所得到的潜在主题与图像匹配的概率，

表示在

分布下文本标注w_v与潜在主题z_k匹配的概率。

Images