CN103020261A - 一种图像自动标注方法 - Google Patents

Abstract

本发明公开了一种图像自动标注方法，它分为以下三个步骤：第一步，采用仿射传播聚类算法从个人照片集中选出一些代表性图像来描述该类视觉信息，这样可大大减少训练图像数目；第二步，依据视觉信息和语义标注一致性原则，对代表性图像进行合理标注，这有助于提高图像检索和管理的性能；最后，利用带重新启动的随机游走算法，自动标注其它图像。

Description

一种图像自动标注方法

技术领域

本发明涉及计算机技术领域的图像标注方法，具体是一种利用视觉信息和语义标注一致性原则,采用带重新启动的随机游走算法实现的一种图像自动标注方法。

背景技术

随着互联网的飞速发展和数码相机的高度普及，如Flickr、YouTube、Zooomr等社会媒体共享网站中上传图像的数量呈几何级数增长。Flickr网站中拥有超过200万个人照片和850万注册用户，这些用户可随时对感兴趣图像进行标注。虽然目前图像标注都由人工完成，但标注中往往包含与内容无关信息，从而使标注质量不尽人意。由Flickr用户提供的很多标注其意义不够精确。经统计，大约只有50％的标注与图像内容相关。因此，准确标注图像对图像检索应用十分必要。

经对现有技术文献的检索发现，Jin等人提出了基于WordNet推断给定图像的标注方法，不过由于WordNet词汇量有限，因而其不能很好反映特定图像库特点。Wang等人则利用带重启动的随机游走算法，来处理图像标注问题，该方法通过共生度量计算标注间的相关值，并在相关值计算过程中加入标注的初始信息。Yan等人给出一种基于学习的混合方法实现图像标注，该方法融合了图像标注和图像浏览两种特性。Jia等人介绍一种基于随机游走算法的标注优化方案，该方案同时考虑了标注相似性和图像相似性两种特性。Xu等人在考虑图像标注间相似性和相关性的基础上，利用规则化的隐含狄利克雷法实现对图像的标注。Yang等人在给每个候选标注与一组给定标注建立关联的基础上提出了懒惰学习方法。

从上面提到这些方法可以看出，图像标注过程主要可分为两个步骤：首先，手动标注训练集；然后，根据训练过程获得的标注信息，自动分配测试集标注。经分析可知，在此标注生成过程中存在一些明显缺陷：一方面，手动标注一个大型图像集，是一项非常耗时的任务；另一方面，由于来自同一主题的图像在内容上是相似的，以及用户提供的标注并非与图像内容完全相关，且标注顺序也并非一定与图像信息的重要性一致。

发明内容

为有效标注同一主题图像，本发明提出一种图像自动标注方法，首先，采用仿射传播聚类算法从相同主题图像集中选出代表性图像，然后，依据视觉信息和语义标注一致性原则，对代表性图像进行能够正确反映图像内容的合理标注，最后，利用带重新启动的随机游走算法，自动标注其它图像；包括以下步骤：

（1）输入待标注的图像集

（2）从相同主题图像集中选择代表性图像

对图像集DS={x₁,x₂,…,x_n}，仿射传播聚类算法依据代表性和可用性这两个特性，通过迭代过程完成选择，具体的，图像x_i和x_j之间，代表性r(x_i,x_j)表示从x_i点考虑，x_j是否能作为其代表性图像；可用性a(x_i,x_j)则表示从x_j点考虑，x_i如何才能将x_j选为其代表性图像；

仿射传播聚类算法的迭代算法如下：

r(x_i,x_j)=w(x_i,x_j)-max{a(x_i,x_j′)+w(x_i,x_j′)}   (1)

$a(x_i,x_j)=\left\{\begin{array}{cc}\underset{i^{\′}\≠j}{\mathrm{\Σ}}\max (0,r(x_{i^{\′}},x_j))& i=j\\ \min \{0,r(x_j,x_j)+\underset{i^{\′}\≠i,j}{\mathrm{\Σ}}\max (0,r(x_{i^{\′}},x_j))\}& i\≠j\end{array}\right.---\left(2\right)$

其中，x_i’和x_j’分别表示图像x_i和x_j的最近邻图像，w(x_i,x_j)表示图像x_i和x_j间视觉相似性，此处利用拉普拉斯卷积核定义图像x_i和x_j间视觉相似性度量：

$w(x_i,x_j)=\exp (-\frac{\left|\right|v\left(x_i\right)-v\left(x_j\right)\left|\right|}{{\mathrm{\σ}}_v})---\left(3\right)$

其中，v(x_i)和v(x_j)分别表示图像x_i和图像x_j的视觉特征，σ_v为一个表示视觉特性尺度的正参数，值为两个图像对应块距离的中值；迭代过程收敛后，选择图像x_r作为图像x_i的代表性图像，当其满足下式时：

$C\left(x_r\right)\text{=arg}\underset{r}{m}\mathrm{ax}\{a(x_i,x_r)+w(x_i,x_r)\}---\left(4\right)$

对给定的图像集，其代表性图像集Q为：

Q={x_r},r∈[1,2，...,N]   (5)

（3）依据出现在同一张图像中两个标注间相关性信息及标注与代表性图像集Q之间相关性信息对代表性图像进行标注；

1）标注间相关性估计

标注间相关性是指由一个标注出现推断出另一个标注出现的概率，这取决于这两个标注在同一张图像中出现的频率，不同于利用底层特征描述图像信息，利用标注描述图像内容属于高层语义范畴，利用类谷歌距离原理来定义标注t_I和t_J间的语义相关性sem(t_I,t_J)：

$\mathrm{sem}(t_I,t_J)=\exp \{-\frac{\max [\log \mathrm{num}\left(t_I\right),\log \mathrm{num}\left(t_J\right)]-\log \mathrm{num}(t_I,t_J)}{\log \left(G\right)-\min [\log \mathrm{num}\left(t_I\right),\log \mathrm{num}\left(t_J\right)]}\}---\left(6\right)$

其中，num(t_I)和num(t_J)分别表示由标注t_I和t_J标注的图像数目，num(t_I,t_J)表示同时由t_I和t_J标注的图像数目，G表示同一类型的图像数目，为确保所有标注对的语义矩阵S中每一列总和1，需对每一个元素sem(t_I,t_J)进行列归一化：

$s(t_I,t_J)=\frac{\mathrm{sem}(t_I,t_J)}{\underset{J=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{sem}(t_I,t_J)}---\left(7\right)$

m为同一类型图像库的标注数目；

2）标注与代表性图像集Q相关性估计

从同一主题图像集中选取的代表性图像，其标注应包含该主题的典型内容，即代表性图像标注取决于该主题图像集所包含的视觉信息，标注t_I和代表性图像x间相关性通过核密度法获得：

$\hat{s}(t_I,x)=\frac{1}{\left|X\left(t_I\right)\right|}\underset{x_i\∈X\left(t_I\right)}{\mathrm{\Σ}}\exp (-\frac{\left|\right|v\left(x\right)-v\left(x_i\right)\left|\right|}{{\mathrm{\σ}}_v})---\left(8\right)$

其中，X(t_I)表示包含标注t_I图像，|X(t_I)|表示包含标注t_I图像数目，v(x_i)和σ_v含义和式(3)相同，式(8)表示的是：标注t_I与代表性图像x间的相关性，为同一主题下所有图像相似性总和；

3）标注排序

基于上述标注间相关性估计假设和标注与代表性图像集Q相关性估计假设，利用迭代框架对代表性图像x的已有标注进行优化排序，迭代公式如下：

R_k+1=cSR_k+(1-c)R₀   (9)

其中，S为关于不同标注即标注对的相关矩阵，R₀表示标注t_I和代表性图像x初始的相关值矩阵，c是调整初始相关值R₀与不同标注相关矩阵S权重的系数，R_k表示第k步迭代时的相关值；

上述迭代过程目的是优化共生标注并删除孤立标注，且在迭代过程结束后，我们将R中相关值最大的那些标注作为相同一主题下其余图像传播标注的基础。

（3）依据代表性图像的标注对属于同一类别的其它图像自动进行标注

采用基于半监督学习的流行排序法即带重新启动的随机游走算法进行标注传播，而并非直接根据代表性图像去推导同一主题下其它图像标注，以得到较为准确的图像标注，方法如下：

1)依据公式(3)构造仿射矩阵W,其中：

$\left\{\begin{array}{c}{W}_{\mathrm{ij}}=w(x_i,x_j)=\exp (-\frac{\left|\right|v\left(x_i\right)-v\left(x_j\right)\left|\right|}{{\mathrm{\σ}}_v})\\ W_{\mathrm{ii}}=0\end{array}\right.---\left(10\right)$

2)将W归一化为D^-1/2WD^-1/2，其中：

$\left\{\begin{array}{c}{D}_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}\\ D_{\mathrm{ij}}=0\end{array}\right.---\left(11\right)$

3)初始化相关矩阵V₀，为：

4)迭代公式：

V_t+1=αD^-1/2WD^-1/2V_t+(1-α)V₀   (13)

其中，V_t表示在第t步迭代时的相关得分，α是属于(0,1)的权重参数，V_t+1中即为图像集中所有图像新的标注信息。

本发明与现有技术相比，具有以下技术效果：同时考虑标注间相关性特征以及标注与图像间相关性特性，可更接近图像内容语义描述本质。

附图说明

图1是本发明方法框图。

具体实施方式

下面结合附图1对本发明的技术方案做进一步的详细说明：

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

为有效标注同一主题图像，本发明提出的一种图像自动标注方法，它分为以下三个步骤：第一步，从照片集中选出一些代表性图像来描述该类视觉信息，这样可大大减少训练图像数目；第二步，依据视觉信息和语义标注一致性原则，对代表性图像进行合理标注，这有助于提高图像检索和管理的性能；最后，利用带重新启动的随机游走算法，自动标注其它图像。

包括以下步骤：

（1）输入待标注的图像集

（2）从相同主题图像集中选择代表性图像

对图像集DS={x₁,x₂,…,x_n}，仿射传播聚类算法依据代表性和可用性这两个特性，通过迭代过程完成选择，具体的，图像x_i和x_j之间，代表性r(x_i,x_j)表示从x_i点考虑，x_j是否能作为其代表性图像；可用性a(x_i,x_j)则表示从x_j点考虑，x_i如何才能将x_j选为其代表性图像；

仿射传播聚类算法的迭代算法如下：

r(x_i,x_j)=w(x_i,x_j)-max{a(x_i,x_j′)+w(x_i,x_j′)}   (1)

$a(x_i,x_j)=\left\{\begin{array}{cc}\underset{i^{\′}\≠j}{\mathrm{\Σ}}\max (0,r(x_{i^{\′}},x_j))& i=j\\ \min \{0,r(x_j,x_j)+\underset{i^{\′}\≠i,j}{\mathrm{\Σ}}\max (0,r(x_{i^{\′}},x_j))\}& i\≠j\end{array}\right.---\left(2\right)$

其中，x_i’和x_j’分别表示图像x_i和x_j的最近邻图像，w(x_i,x_j)表示图像x_i和x_j间视觉相似性，此处利用拉普拉斯卷积核定义图像x_i和x_j间视觉相似性度量：

$w(x_i,x_j)=\exp (-\frac{\left|\right|v\left(x_i\right)-v\left(x_j\right)\left|\right|}{{\mathrm{\σ}}_v})---\left(3\right)$

其中，v(x_i)和v(x_j)分别表示图像x_i和图像x_j的视觉特征，σ_v为一个表示视觉特性尺度的正参数，值为两个图像对应块距离的中值；迭代过程收敛后，选择图像x_r作为图像x_i的代表性图像，当其满足下式时：

$C\left(x_r\right)\text{=arg}\underset{r}{m}\mathrm{ax}\{a(x_i,x_r)+w(x_i,x_r)\}---\left(4\right)$

对给定的图像集，其代表性图像集Q为：

Q={x_r},r∈[1,2，...,N]   (5)

（3）依据出现在同一张图像中两个标注间相关性信息及标注与代表性图像集Q之间相关性信息对代表性图像进行标注；

1）标注间相关性估计

标注间相关性是指由一个标注出现推断出另一个标注出现的概率，这取决于这两个标注在同一张图像中出现的频率，不同于利用底层特征描述图像信息，利用标注描述图像内容属于高层语义范畴，利用类谷歌距离原理来定义标注t_I和t_J间的语义相关性sem(t_I,t_J)：

$\mathrm{sem}(t_I,t_J)=\exp \{-\frac{\max [\log \mathrm{num}\left(t_I\right),\log \mathrm{num}\left(t_J\right)]-\log \mathrm{num}(t_I,t_J)}{\log \left(G\right)-\min [\log \mathrm{num}\left(t_I\right),\log \mathrm{num}\left(t_J\right)]}\}---\left(6\right)$

其中，num(t_I)和num(t_J)分别表示由标注t_I和t_J标注的图像数目，num(t_I,t_J)表示同时由t_I和t_J标注的图像数目，G表示同一类型的图像数目，为确保所有标注对的语义矩阵S中每一列总和1，需对每一个元素sem(t_I,t_J)进行列归一化：

$s(t_I,t_J)=\frac{\mathrm{sem}(t_I,t_J)}{\underset{J=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{sem}(t_I,t_J)}---\left(7\right)$

m为同一类型图像库的标注数目；

2）标注与代表性图像集Q相关性估计

从同一主题图像集中选取的代表性图像，其标注应包含该主题的典型内容，即代表性图像标注取决于该主题图像集所包含的视觉信息，标注t_I和代表性图像x间相关性通过核密度法获得：

$\hat{s}(t_I,x)=\frac{1}{\left|X\left(t_I\right)\right|}\underset{x_i\∈X\left(t_I\right)}{\mathrm{\Σ}}\exp (-\frac{\left|\right|v\left(x\right)-v\left(x_i\right)\left|\right|}{{\mathrm{\σ}}_v})---\left(8\right)$

其中，X(t_I)表示包含标注t_I图像，|X(t_I)|表示包含标注t_I图像数目，v(x_i)和σ_v含义和式(3)相同，式(8)表示的是：标注t_I与代表性图像x间的相关性，为同一主题下所有图像相似性总和；

3）标注排序

基于上述标注间相关性估计假设和标注与代表性图像集Q相关性估计假设，利用迭代框架对代表性图像x的已有标注进行优化排序，迭代公式如下：

R_k+1=cSR_k+(1-c)R₀   (9)

其中，S为关于不同标注即标注对的相关矩阵，R₀表示标注t_I和代表性图像x初始的相关值矩阵，c是调整初始相关值R₀与不同标注相关矩阵S权重的系数，R_k表示第k步迭代时的相关值；

上述迭代过程目的是优化共生标注并删除孤立标注，且在迭代过程结束后，我们将R中相关值最大的那些标注作为相同一主题下其余图像传播标注的基础。

（3）依据代表性图像的标注对属于同一类别的其它图像自动进行标注

采用基于半监督学习的流行排序法即带重新启动的随机游走算法进行标注传播，而并非直接根据代表性图像去推导同一主题下其它图像标注，以得到较为准确的图像标注，方法如下：

1)依据公式(3)构造仿射矩阵W,其中：

$\left\{\begin{array}{c}{W}_{\mathrm{ij}}=w(x_i,x_j)=\exp (-\frac{\left|\right|v\left(x_i\right)-v\left(x_j\right)\left|\right|}{{\mathrm{\σ}}_v})\\ W_{\mathrm{ii}}=0\end{array}\right.---\left(10\right)$

2)将W归一化为D^-1/2WD^-1/2，其中：

$\left\{\begin{array}{c}{D}_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}\\ D_{\mathrm{ij}}=0\end{array}\right.---\left(11\right)$

3)初始化相关矩阵V₀，为：

4)迭代公式：

V_t+1=αD^-1/2WD^-1/2V_t+(1-α)V₀   (13)

其中，V_t表示在第t步迭代时的相关得分，α是属于(0,1)的权重参数，V_t+I中即为图像集中所有图像新的标注信息。

Claims (1)

1.一种图像自动标注方法，其特征是：首先，采用仿射传播聚类算法从相同主题图像集中选出代表性图像，然后，依据视觉信息和语义标注一致性原则，对代表性图像进行能够正确反映图像内容的合理标注，最后，利用带重新启动的随机游走算法，自动标注其它图像；包括以下步骤：

（1）输入待标注的图像集

（2）从相同主题图像集中选择代表性图像

对图像集DS={x₁,x₂,…,x_n}，仿射传播聚类算法依据代表性和可用性这两个特性，通过迭代过程完成选择，具体的，图像x_i和x_j之间，代表性r(x_i,x_j)表示从x_i点考虑，x_j是否能作为其代表性图像；可用性a(x_i,x_j)则表示从x_j点考虑，x_i如何才能将x_j选为其代表性图像；

仿射传播聚类算法的迭代算法如下：

r(x_i,x_j)=w(x_i,x_j)-max{a(x_i,x_j′)+w(x_i,x_j′)}   (1)

$a(x_i,x_j)=\left\{\begin{array}{cc}\underset{i^{\′}\≠j}{\mathrm{\Σ}}\max (0,r(x_{i^{\′}},x_j))& i=j\\ \min \{0,r(x_j,x_j)+\underset{i^{\′}\≠i,j}{\mathrm{\Σ}}\max (0,r(x_{i^{\′}},x_j))\}& i\≠j\end{array}\right.---\left(2\right)$

其中，x_i’和x_j’分别表示图像x_i和x_j的最近邻图像，w(x_i,x_j)表示图像x_i和x_j间视觉相似性，此处利用拉普拉斯卷积核定义图像x_i和x_j间视觉相似性度量：

$w(x_i,x_j)=\exp (-\frac{\left|\right|v\left(x_i\right)-v\left(x_j\right)\left|\right|}{{\mathrm{\σ}}_v})---\left(3\right)$

其中，v(x_i)和v(x_j)分别表示图像x_i和图像x_j的视觉特征，σ_v为一个表示视觉特性尺度的正参数，值为两个图像对应块距离的中值；迭代过程收敛后，选择图像x_r作为图像x_i的代表性图像，当其满足下式时：

$C\left(x_r\right)\text{=arg}\underset{r}{m}\mathrm{ax}\{a(x_i,x_r)+w(x_i,x_r)\}---\left(4\right)$

对给定的图像集，其代表性图像集Q为：

Q={x_r},r∈[1,2,...,N]   (5)

（3）依据出现在同一张图像中两个标注间相关性信息及标注与代表性图像集Q之间相关性信息对代表性图像进行标注；

1）标注间相关性估计

标注间相关性是指由一个标注出现推断出另一个标注出现的概率，这取决于这两个标注在同一张图像中出现的频率，不同于利用底层特征描述图像信息，利用标注描述图像内容属于高层语义范畴，利用类谷歌距离原理来定义标注T_I和t_J间的语义相关性sem(t_I,t_J)：

$\mathrm{sem}(t_I,t_J)=\exp \{-\frac{\max [\log \mathrm{num}\left(t_I\right),\log \mathrm{num}\left(t_J\right)]-\log \mathrm{num}(t_I,t_J)}{\log \left(G\right)-\min [\log \mathrm{num}\left(t_I\right),\log \mathrm{num}\left(t_J\right)]}\}---\left(6\right)$

其中，num(t_I)和num(t_J)分别表示由标注t_I和t_J标注的图像数目，num(t_I,t_J)表示同时由t_I和t_J标注的图像数目，G表示同一类型的图像数目，为确保所有标注对的语义矩阵S中每一列总和1，需对每一个元素sem(t_I,t_J)进行列归一化：

$s(t_I,t_J)=\frac{\mathrm{sem}(t_I,t_J)}{\underset{J=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{sem}(t_I,t_J)}---\left(7\right)$

m为同一类型图像库的标注数目；

2）标注与代表性图像集Q相关性估计

从同一主题图像集中选取的代表性图像，其标注应包含该主题的典型内容，即代表性图像标注取决于该主题图像集所包含的视觉信息，标注t_I和代表性图像x间相关性通过核密度法获得：

$\hat{s}(t_I,x)=\frac{1}{\left|X\left(t_I\right)\right|}\underset{x_i\∈X\left(t_I\right)}{\mathrm{\Σ}}\exp (-\frac{\left|\right|v\left(x\right)-v\left(x_i\right)\left|\right|}{{\mathrm{\σ}}_v})---\left(8\right)$

其中，X(t_I)表示包含标注t_I图像，|X(t_I)|表示包含标注t_I图像数目，v(x_i)和σ_v含义和式(3)相同，式(8)表示的是：标注t_I与代表性图像x间的相关性，为同一主题下所有图像相似性总和；

3）标注排序

基于上述标注间相关性估计假设和标注与代表性图像集Q相关性估计假设，利用迭代框架对代表性图像x的已有标注进行优化排序，迭代公式如下：

R_k+1=cSR_k+(1-c)R₀   (9)

其中，S为关于不同标注即标注对的相关矩阵，R₀表示标注t_I和代表性图像x初始的相关值矩阵，c是调整初始相关值R₀与不同标注相关矩阵S权重的系数，R_k表示第k步迭代时的相关值；

上述迭代过程目的是优化共生标注并删除孤立标注，且在迭代过程结束后，我们将R中相关值最大的那些标注作为相同一主题下其余图像传播标注的基础。

（3）依据代表性图像的标注对属于同一类别的其它图像自动进行标注

采用基于半监督学习的流行排序法即带重新启动的随机游走算法进行标注传播，而并非直接根据代表性图像去推导同一主题下其它图像标注，以得到较为准确的图像标注，方法如下：

1)依据公式(3)构造仿射矩阵W,其中：

$\left\{\begin{array}{c}{W}_{\mathrm{ij}}=w(x_i,x_j)=\exp (-\frac{\left|\right|v\left(x_i\right)-v\left(x_j\right)\left|\right|}{{\mathrm{\σ}}_v})\\ W_{\mathrm{ii}}=0\end{array}\right.---\left(10\right)$

2)将W归一化为D^-1/2WD^-1/2，其中：

$\left\{\begin{array}{c}{D}_{\mathrm{ii}}=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}\\ D_{\mathrm{ij}}=0\end{array}\right.---\left(11\right)$

3)初始化相关矩阵V₀，为：

4)迭代公式：

V_t+1=αD^-1/2WD^-1/2V_t+(1-α)V₀   (13)

其中，V_t表示在第t步迭代时的相关得分，α是属于(0,1)的权重参数，V_t+1中即为图像集中所有图像新的标注信息。