CN103065157A - 一种基于激活扩散理论的图像标注方法 - Google Patents

Abstract

本发明公开了一种基于激活扩散理论的图像标注方法，首先，将图像标签看作语义网络的节点，利用渐进相关性模型得到多个图像标签间的联合概率，产生候选图像标签；然后，通过激活扩散理论计算每个候选图像标签的相关值，细化每个候选图像标签的有效传播性，每个候选图像标签都被赋予一个相应的数值，该数值的大小取决于此候选图像标签与其它候选图像标签间的关系，每幅图像的最终标签就是相关值最高的那些候选图像标签。

Description

一种基于激活扩散理论的图像标注方法

技术领域

本发明涉及计算机技术领域的图像标注方法，具体是一种基于激活扩散理论的图像标注方法。

背景技术

随着越来越多的数字图像出现在网络、个人电脑和数字设备上，要求基于图像内容分析技术能够有效地组织、管理和利用如此海量信息的愿望也越来越强烈。其中，图片标注的研究是实现基于内容的图像索引，检索及其它相关应用的最重要和最关键的一步，其目的是要在感性层面的视觉信息和语义层面的语言描述间建立一种精确的对应关系。

从模式识别的角度来看，图像标注问题可以看作模式分类问题，利用机器学习技术和概率建模方法完成，例如翻译模型，连续相关性模型，贝叶斯点机,多实例学习，概率模型，概率协作多标签模型，视觉内容模型等。由于众所周知的语义鸿沟问题，用这些方法进行注释都不能达到令人满意的结果。为减少不精确和不完整语义注释，学者们做出了很多努力来完成标签细化的问题。

经对现有技术文献的检索发现，Jin等人通过基于定义的近义词来估计标签间语义相关性的方法，可在保留那些具有较高相关度标签的同时，过滤掉那些相关度较低的标签。然而这种方法并未考虑视觉信息对标签细化的影响，因此它的成功只是片面的或有限的。为利用视觉信息提高标注质量，Wang等人提出了基于内容标注的细化方案，该方法主要通过视觉信息和文字信息来提高标注性能。Xu等人利用统计标注和视觉图像间的相互关系，提出一个规范、潜在的狄利克雷分布模型。近日，Liu等人提出通过视觉相似性和语义相似性的结合，以达到改善注释质量的目的。Zhu等人通过将用户提供的标签矩阵分解成一个低秩细化矩阵和一个稀疏误差矩阵，来重新排列图像标签。由于在图像内容的底层特征刻画和语义概念描述间存在着很大的差异，使得现有自动图像标注算法性能不甚理想。

发明内容

本发明针对现有技术的问题和不足，提出一种基于激活扩散理论的图像标注方法，采用以下技术方案：

一种基于激活扩散理论的图像标注方法，其特征是：首先，利用渐进相关性模型得到多个标签间的联合概率，产生候选标签；然后，通过激活扩散过程计算每个候选标签的相关值，细化每个候选标签的有效传播性。每幅图像的最终标签就是相关值最高的那些标签。

包括如下具体步骤：

（1）输入未标注的图像集；

（2）确定候选图像标签

确定候选图像标签过程是一个将合适标签分配给未标注图像的过程，在这个过程中要同时考虑视觉信息和标签信息的影响，假设Q为一幅测试图像，S为训练集T中的一幅图像且S的标签集为：

A_s=(a₁,a₂，...,a_m)    (1)

其中，m是标签个数；

通过如下过程计算测试图像Q的标签集的联合分布概率A_Q：

第一步：从训练集T中选取图像S的均匀概率为：

$P\left(S\right)=\frac{1}{\left|T\right|}---\left(2\right)$

其中，|T|表示训练集的大小；

第二步：把S选为测试图像Q的概率P(Q|S)为：

$P\left(Q\right|S)=\exp (-\frac{\left|\right|Q_i-S_j\left|\right|}{\mathrm{\σ}})=\exp (-\underset{r=1}{\overset{d}{\mathrm{\Σ}}}\frac{\left|\right|Q_i^r-S_j^r\left|\right|}{{\mathrm{\σ}}^r})---\left(3\right)$

其中，Q^r和S^r分别表示测试图像Q和训练图像S的第r维特征，σ^r是一表示第r维特征尺度的正参数，半径参数σ^r取为图像间对应块间第r维特征的L1距离的中值，d是特征空间维数；

第三步：利用伯努利模型，计算为Q抽取标签为w_i的概率：

$P\left(w_i\right|Q)=\frac{\mathrm{\μ}*{\mathrm{\β}}_{w_i,s}+N_{w_i}}{\mathrm{\μ}+\left|T\right|}---\left(4\right)$

其中，μ表示平滑参数，当w_i包含于A_s时，β_wi，s＝1，当w_i不在A_s中时，β_wi，s=0，N(w_i)表示w_i出现在训练集中的频率；

第四步：最有可能获选的候选图像标签w₁的推导公式为：

$\left\{w_1\right\}$

$=\arg \max \left[P\left(W_1\right|Q)\right]$ $\left(5\right)$

$=\arg \max \left[P(W_1,Q)\right]\left(\mathrm{when\; Q\; is\; given}\right)$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P\left(W_1\right|Q)*P\left(Q\right|S)*P\left(S\right)]$

第五步：通过渐进方式推导出其它的候选图像标签：

$\{w_1,w_2,...,w_n\}$

$=\arg \max \left[P(W_1,...,w_n|Q)\right]$

$=\arg \max \left[P(W_1,...,w_n,Q)\right]\left(\mathrm{when\; Q\; is\; given}\right)$ $\left(6\right)$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P(W_1,...,w_n|Q)*P\left(Q\right|S)*P\left(S\right)]$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P\left(W_1\right|Q)*\·\·\·*P(w_n,Q)*P\left(Q\right|S)*P\left(S\right)]$

$\≈\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P(W_1,..,w_{n-1}|Q)*\·\·\·*P(w_n,Q)*P\left(Q\right|S)*P\left(S\right)]$

（3）优化候选图像标签

为充分利用候选图像标签的原始信息及更好反映候选图像标签与图像间的相关性，利用激活扩散算法对候选图像标签进行优化：

节点x和邻近节点y的激活传播过程可表述为：

I_y(t+1)=O_x(t)*Λ_xy*(1-δ)    (7)

其中I_y(t+1)表示t+1时刻由x扩散给节点y的值，O_x(t)表示节点x在t时刻的扩散值，Λ_xy表示节点x和y间的联系，δ是一衰减因子，用来描述激活扩散过程中的能量损失；

利用简化的激活扩散法计算节点间的相关值，在t+1时刻，节点y的扩散值等于该时刻它的输入值，即O_y(t+1)＝I_y(t+1)，因此，整个激活扩散传播过程可用下式表示：

O=[Γ-(1-δ)ΛT]^-1I    (8)

其中

是一个n×n的单位矩阵，δ是衰减因子，Λ是一个相关性矩阵，其中的元素Λ_ij表示候选图像标签w_i和w_j之间的联系，I＝[I₁，I₂，.......,I_n]^T为输入语义网络的候选图像标签的初始值，O＝[O₁,O₂，....,O_n]^T为最终的扩散向量，其元素O_i表示候选图像标签w_i经过激活扩散过程后的值；

向量I＝[I₁，I₂，.......,I_n]^T为激活扩散过程的输入，I_i的计算公式如下：

$I_i=\frac{\mathrm{num}\left(w_i\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{num}\left(w_i\right)}---\left(9\right)$

其中num(w_i)表示候选图像标签为w_i的图像数目；

相关性矩阵Λ的生成过程：首先，从训练集中提取出来候选图像标签为w_i和w_j间的语义关系γ_ij；其次，矩阵Λ中的元素Λ_ij是γ_ij在训练集中出现的频率：

${\mathrm{\Λ}}_{\mathrm{ij}}^{\′}=\frac{\mathrm{num}(w_i,w_j)}{\min [\mathrm{num}\left(w_i\right),\mathrm{num}\left(w_j\right)]}---\left(10\right)$

其中num(w_i，w_j)表示同时包含候选图像标签w_i和w_j的图像个数。该公式表示：两个候选图像标签在训练集中共存的频率越高，以及另一单个标签出现在训练集中的频率越低，则这两个标签的相关性越高。最后标准化Λ：

${\mathrm{\Λ}}_{\mathrm{ij}}=\frac{{\mathrm{\Λ}}_{\mathrm{ij}}^{\′}}{{\mathrm{\Σ}}_{\mathrm{allj}}{\mathrm{\Λ}}_{\mathrm{ij}}^{\′}}---\left(11\right)$

以基于激活扩散理论为基础的优化公式(8)，将每个候选图像标签被优化的相关值计算出来。相关值越高，则表示其相关性越强；

（4）最终扩散向量O中值越大的项所对应的候选图像标签就是测试图像的最终标签。

本发明与现有技术相比的显著效果在于：激活扩散算法可以在语义层面更好地描述和反映所有标签之间的相关性，可以改善信息检索的性能。

附图说明

图1为本发明图像标注方法的流程图。

具体实施方式

以下结合附图1和实施例对本发明的技术方案作进一步详细说明，但本发明的保护范围应不限于下述的实施例。

1输入未标注的图像集。

2确定候选标签。

确定候选图像标签过程是一个将合适标签分配给未标注图像的过程，在这个过程中要同时考虑视觉信息和标签信息的影响，假设Q为一幅测试图像，S为训练集T中的一幅图像且S的标签集为：

A_s=(a₁,a₂，...,a_m)    (1)

其中，m是标签个数；

通过如下过程计算测试图像Q的标签集的联合分布概率A_Q：

第一步：从训练集T中选取图像S的均匀概率为：

$P\left(S\right)=\frac{1}{\left|T\right|}---\left(2\right)$

其中，|T|表示训练集的大小；

第二步：把S选为测试图像Q的概率P(Q|S)为：

$P\left(Q\right|S)=\exp (-\frac{\left|\right|Q_i-S_j\left|\right|}{\mathrm{\σ}})=\exp (-\underset{r=1}{\overset{d}{\mathrm{\Σ}}}\frac{\left|\right|Q_i^r-S_j^r\left|\right|}{{\mathrm{\σ}}^r})---\left(3\right)$

其中，Q^r和S^r分别表示测试图像Q和训练图像S的第r维特征，σ^r是一表示第r维特征尺度的正参数，半径参数σ^r取为图像间对应块间第r维特征的L1距离的中值，d是特征空间维数；

第三步：利用伯努利模型，计算为Q抽取标签为w_i的概率：

$P\left(w_i\right|Q)=\frac{\mathrm{\μ}*{\mathrm{\β}}_{w_i,s}+N_{w_i}}{\mathrm{\μ}+\left|T\right|}---\left(4\right)$

其中，μ表示平滑参数，当w_i包含于A_s时，β_wi，s＝1，当w_i不在A_s中时，β_wi，s=0，N(w_i)表示w_i出现在训练集中的频率；

第四步：最有可能获选的候选图像标签w₁的推导公式为：

$\left\{w_1\right\}$

$=\arg \max \left[P\left(W_1\right|Q)\right]$ $\left(5\right)$

$=\arg \max \left[P(W_1,Q)\right]\left(\mathrm{when\; Q\; is\; given}\right)$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P\left(W_1\right|Q)*P\left(Q\right|S)*P\left(S\right)]$

第五步：通过渐进方式推导出其它的候选图像标签：

$\{w_1,w_2,...,w_n\}$

$=\arg \max \left[P(W_1,...,w_n|Q)\right]$

$=\arg \max \left[P(W_1,...,w_n,Q)\right]\left(\mathrm{when\; Q\; is\; given}\right)$ $\left(6\right)$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P(W_1,...,w_n|Q)*P\left(Q\right|S)*P\left(S\right)]$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P\left(W_1\right|Q)*\·\·\·*P(w_n,Q)*P\left(Q\right|S)*P\left(S\right)]$

$\≈\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P(W_1,..,w_{n-1}|Q)*\·\·\·*P(w_n,Q)*P\left(Q\right|S)*P\left(S\right)]$

3优化候选标签。

为充分利用候选图像标签的原始信息及更好反映候选图像标签与图像间的相关性，利用激活扩散算法对候选图像标签进行优化：

节点x和邻近节点y的激活传播过程可表述为：

I_y(t+1)=O_x(t)*Λ_xy*(1-δ)    (7)

其中I_y(t+1)表示t+1时刻由x扩散给节点y的值，O_x(t)表示节点x在t时刻的扩散值，Λ_xy表示节点x和y间的联系，δ是一衰减因子，用来描述激活扩散过程中的能量损失；

利用简化的激活扩散法计算节点间的相关值，在t+1时刻，节点y的扩散值等于该时刻它的输入值，即O_y(t+1)＝I_y(t+1)，因此，整个激活扩散传播过程可用下式表示：

O=[Γ-(1-δ)Λ^T]^-1I    (8)

其中

是一个n×n的单位矩阵，δ是衰减因子，Λ是一个相关性矩阵，其中的元素Λ_ij表示候选图像标签w_i和w_j之间的联系，I＝[I₁，I₂，.......,I_n]^T为输入语义网络的候选图像标签的初始值，O＝[O₁,O₂，....,O_n]^T为最终的扩散向量，其元素O_i表示候选图像标签w_i经过激活扩散过程后的值；

向量I＝[I₁，I₂，.......,I_n]^T为激活扩散过程的输入，I_i的计算公式如下：

$I_i=\frac{\mathrm{num}\left(w_i\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{num}\left(w_i\right)}---\left(9\right)$

其中num(w_i)表示候选图像标签为w_i的图像数目；

相关性矩阵Λ的生成过程：首先，从训练集中提取出来候选图像标签为w_i和w_j间的语义关系γ_ij；其次，矩阵Λ中的元素Λ_ij是γ_ij在训练集中出现的频率：

${\mathrm{\Λ}}_{\mathrm{ij}}^{\′}=\frac{\mathrm{num}(w_i,w_j)}{\min [\mathrm{num}\left(w_i\right),\mathrm{num}\left(w_j\right)]}---\left(10\right)$

其中num(w_i，w_j)表示同时包含候选图像标签w_i和w_j的图像个数。该公式表示：两个候选图像标签在训练集中共存的频率越高，以及另一单个标签出现在训练集中的频率越低，则这两个标签的相关性越高。最后标准化Λ：

${\mathrm{\Λ}}_{\mathrm{ij}}=\frac{{\mathrm{\Λ}}_{\mathrm{ij}}^{\′}}{{\mathrm{\Σ}}_{\mathrm{allj}}{\mathrm{\Λ}}_{\mathrm{ij}}^{\′}}---\left(11\right)$

以基于激活扩散理论为基础的优化公式(8)，将每个候选图像标签被优化的相关值计算出来。相关值越高，则表示其相关性越强；

4最终扩散向量O中值越大的项所对应的标签就是测试图像的最终标签。

Claims (1)

1.一种基于激活扩散理论的图像标注方法，其特征是：首先，将图像标签看作语义网络的节点，利用渐进相关性模型得到多个图像标签间的联合概率，产生候选图像标签；然后，通过激活扩散理论计算每个候选图像标签的相关值，细化每个候选图像标签的有效传播性，每个候选图像标签都被赋予一个相应的数值，该数值的大小取决于此候选图像标签与其它候选图像标签间的关系，每幅图像的最终标签就是相关值最高的那些候选图像标签；

包括如下具体步骤：

（1）输入未标注的图像集；

（2）确定候选图像标签

确定候选图像标签过程是一个将合适标签分配给未标注图像的过程，在这个过程中要同时考虑视觉信息和标签信息的影响，假设Q为一幅测试图像，S为训练集T中的一幅图像且S的标签集为：

A_s=(a₁,a₂，...,a_m)    (1)

其中，m是标签个数；

通过如下过程计算测试图像Q的标签集的联合分布概率A_Q：

第一步：从训练集T中选取图像S的均匀概率为：

$P\left(S\right)=\frac{1}{\left|T\right|}---\left(2\right)$

其中，|T|表示训练集的大小；

第二步：把S选为测试图像Q的概率P(Q|S)为：

$P\left(Q\right|S)=\exp (-\frac{\left|\right|Q_i-S_j\left|\right|}{\mathrm{\σ}})=\exp (-\underset{r=1}{\overset{d}{\mathrm{\Σ}}}\frac{\left|\right|Q_i^r-S_j^r\left|\right|}{{\mathrm{\σ}}^r})---\left(3\right)$

其中，Q^r和S^r分别表示测试图像Q和训练图像S的第r维特征，σ^r是一表示第r维特征尺度的正参数，半径参数σ^r取为图像间对应块间第r维特征的L1距离的中值，d是特征空间维数；

第三步：利用伯努利模型，计算为Q抽取标签为w_i的概率：

$P\left(w_i\right|Q)=\frac{\mathrm{\μ}*{\mathrm{\β}}_{w_i,s}+N_{w_i}}{\mathrm{\μ}+\left|T\right|}---\left(4\right)$

其中，μ表示平滑参数，当w_i包含于A_s时，β_wi，s＝1，当w_i不在A_s中时，β_wi，s=0，N(w_i)表示w_i出现在训练集中的频率；

第四步：最有可能获选的候选图像标签w₁的推导公式为：

$\left\{w_1\right\}$

$=\arg \max \left[P\left(W_1\right|Q)\right]$ $\left(5\right)$

$=\arg \max \left[P(W_1,Q)\right]\left(\mathrm{when\; Q\; is\; given}\right)$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P\left(W_1\right|Q)*P\left(Q\right|S)*P\left(S\right)]$

第五步：通过渐进方式推导出其它的候选图像标签：

$\{w_1,w_2,...,w_n\}$

$=\arg \max \left[P(W_1,...,w_n|Q)\right]$

$=\arg \max \left[P(W_1,...,w_n,Q)\right]\left(\mathrm{when\; Q\; is\; given}\right)$ $\left(6\right)$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P(W_1,...,w_n|Q)*P\left(Q\right|S)*P\left(S\right)]$

$=\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P\left(W_1\right|Q)*\·\·\·*P(w_n,Q)*P\left(Q\right|S)*P\left(S\right)]$

$\≈\arg \max \underset{S\∈\left|T\right|}{\mathrm{\Σ}}[P(W_1,..,w_{n-1}|Q)*\·\·\·*P(w_n,Q)*P\left(Q\right|S)*P\left(S\right)]$

（3）优化候选图像标签

为充分利用候选图像标签的原始信息及更好反映候选图像标签与图像间的相关性，利用激活扩散算法对候选图像标签进行优化：

节点x和邻近节点y的激活传播过程可表述为：

I_y(t+1)=O_x(t)*Λ_xy*(1-δ)    (7)

其中I_y(t+1)表示t+1时刻由x扩散给节点y的值，O_x(t)表示节点x在t时刻的扩散值，Λ_xy表示节点x和y间的联系，δ是一衰减因子，用来描述激活扩散过程中的能量损失；

利用简化的激活扩散法计算节点间的相关值，在升1时刻，节点y的扩散值等于该时刻它的输入值，即O_y(t+1)＝I_y(t+1)，因此，整个激活扩散传播过程可用下式表示：

O=[Γ-(1-δ)Λ^T]^-1I    (8)

其中

是一个n×n的单位矩阵，δ是衰减因子，Λ是一个相关性矩阵，其中的元素Λ_ij表示候选图像标签w_i和w_j之间的联系，I＝[I₁，I₂，.......,I_n]^T为输入语义网络的候选图像标签的初始值，O＝[O₁,O₂，....,O_n]^T为最终的扩散向量，其元素O_i表示候选图像标签w_i经过激活扩散过程后的值；

向量I＝[I₁，I₂，.......,I_n]^T为激活扩散过程的输入，I_i的计算公式如下：

$I_i=\frac{\mathrm{num}\left(w_i\right)}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{num}\left(w_i\right)}---\left(9\right)$

其中num(w_i)表示候选图像标签为w_i的图像数目；

相关性矩阵Λ的生成过程：首先，从训练集中提取出来候选图像标签为w_i和w_j间的语义关系γ_ij；其次，矩阵Λ中的元素Λ_ij是γ_ij在训练集中出现的频率：

${\mathrm{\Λ}}_{\mathrm{ij}}^{\′}=\frac{\mathrm{num}(w_i,w_j)}{\min [\mathrm{num}\left(w_i\right),\mathrm{num}\left(w_j\right)]}---\left(10\right)$

其中num(w_i，w_j)表示同时包含候选图像标签w_i和w_j的图像个数。该公式表示：两个候选图像标签在训练集中共存的频率越高，以及另一单个标签出现在训练集中的频率越低，则这两个标签的相关性越高。最后标准化Λ：

${\mathrm{\Λ}}_{\mathrm{ij}}=\frac{{\mathrm{\Λ}}_{\mathrm{ij}}^{\′}}{{\mathrm{\Σ}}_{\mathrm{allj}}{\mathrm{\Λ}}_{\mathrm{ij}}^{\′}}---\left(11\right)$

以基于激活扩散理论为基础的优化公式(8)，将每个候选图像标签被优化的相关值计算出来。相关值越高，则表示其相关性越强；

（4）最终扩散向量O中值越大的项所对应的候选图像标签就是测试图像的最终标签。

Images