CN102298606A - 基于标签图模型随机游走的图像自动标注方法及装置 - Google Patents

Abstract

本发明提出一种基于标签图模型随机游走的图像自动标注方法和装置，该方法包括以下步骤：提供已标注图像集合和待标注图像；获得与所述待标注图像相关联的近邻图像集合，并获得候选标签集合；构造共生矩阵；获得典型度向量；根据典型度向量构造候选标签集合的倾向矩阵；对共生矩阵和倾向矩阵进行融合，以得到关系矩阵；构造标签图模型；和在标签图模型上进行随机游走以得到节点的权重向量，并根据权重向量中每个节点的对应权重值确定待标注图像的标签。该方法通过标签与标签之间的共生和倾向关系，能够有效地标注图像，具有标注准确的优点。根据该图像自动标注装置具有结构简单，易于实现的优点。

Description

基于标签图模型随机游走的图像自动标注方法及装置

技术领域

本发明涉及多媒体技术领域，特别涉及一种基于标签图模型随机游走的图像自动标注方法及装置。

背景技术

随着社区网络和数码摄像技术的迅猛发展带来网络图像数据的爆炸式增长，如何对如此海量的图像数据进行有效的存储、管理和检索成为一个严峻的挑战和急迫的需求。传统的基于图像周边文本的检索(如Google图像搜索)由于周边文本噪声太大而无法达到较好的检索精度，而基于图像内容的检索(CBIR)技术则由于无法跨越图像底层特征与高层语义之间的“语义鸿沟”(Semantic Gap)而得不到广泛的认可和应用。近年来的研究表明，基于图像语义内容的自动标注技术将很可能成为以上问题的有效解决途径。

图像自动标注是指对一张没有或只有极少文本描述的图像，根据其底层特征，由计算机自动寻找出能够有效描述其语义内容的文本标签。现有图像自动标注方法总体上可以划分为两大类：基于模型的标注方法和数据驱动的标注方法。

现有的基于模型的图像自动标注方法主要采用的是分类器方法和统计模型方法。分类器方法将标注问题转化为分类问题，通常是将每一个候选标签视为一个类别，并通过训练数据为每一个候选标签训练相应的分类器，再由分类器判断待标注图像所属的类别，则这些类别所对应的标签将作为标注的结果。统计模型的基本思想是通过应用概率模型等统计学方法在训练数据集上建立起图像或图像区域与文本标签之间的关系模型，然后根据待标注图像的底层特征，通过应用该关系模型直接评估各个标签的权重，最终选择权重最大的若干个标签作为标注的结果。统计模型在图像自动标注方面的应用很多，如将机器翻译的思想应用到图像标注中，首先将训练数据集中的图像进行区域分割和聚类作为“词袋”，然后应用期望最大化(Expectation Maximization)算法，为每一个“词袋”分配相应的文本标签，从而建立起“词袋”与标签之间的关系模型，而对于待标注图像，也可通过区域分割，并根据各个区域所对应的“词袋”获取相应的文本标签作为标注结果；相应地，在“词袋”量化的基础上，根据条件概率思想建立起了另一个标注模型--给定待标注图像的“词袋”表示(假设为{b₁，b₂，...b_m})，利用训练集上的统计数据评估出为其标注上某一个标签w的概率P(w|b₁，b₂，...b_m)，最终取条件概率最大的若干个候选标签作为标注结果；也可利用贝叶斯法则和独立假设将上述概率公式P(w|b₁，b₂，...b_m)进一步改写为

然后通过训练集的统计数据估算出公式中各部分的取值，并计算出每个候选标签被标注的概率，最后同样以条件概率最大的若干个候选标签作为标注结果。

现有数据驱动的图像自动标注方法是近年来的研究热点，其主要思想是利用互联网上的海量数据作为标注的语义库，并以此来协助跨越“语义鸿沟”，从而提高标注的效果。在数据驱动的标注方法研究方面，最具开拓意义的工作是微软亚洲研究院提出的AnnoSearch框架，该框架的核心思想是将标注问题转化为搜索问题，通过在互联网上搜索与待标注图像在文本词义和视觉内容两方面均相似的图片，并从搜索结果中挖掘出共有的语义概念作为标注的结果。但是AnnoSearch的应用要求待标注图像必须拥有至少一个能描述其主要内容的文本标签作为搜索词。

现有技术的确定为，已有的图像自动标注方法即使应用在人为构造的标准数据集上，准确率(precision)和召回率(recall)也只能达到30％左右，而在实际数据集中，由于存在较大的标签噪声，准确率和召回率将会更低。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于标签图模型随机游走的图像自动标注方法。该方法通过标签与标签之间的共生关系和倾向关系，能够有效地标注图像，具有标注准确的优点。

本发明的另一目的在于提出一种基于标签图模型随机游走的图像自动标注装置。

为了实现上述目的，本发明第一方面实施例的基于标签图模型随机游走的图像自动标注方法，包括以下步骤：A：提供具有预设特征向量的已标注图像集合和待标注图像；B：获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合；C：构造所述候选标签集合中标签之间的共生矩阵；D：获得所述候选标签集合中标签之间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的预设标签获得所述候选标签集合中全部标签的典型度向量；E：根据所述典型度向量构造所述候选标签集合的倾向矩阵；F：对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵；G：以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；和H：在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。

根据本发明实施例的基于标签图模型随机游走的图像自动标注方法，利用候选标签集合中标签之间的共生关系和倾向关系分别构造共生矩阵和倾向矩阵，并基于这两种矩阵建立标签图模型，在该标签图模型上通过随机游走的过程，使标签图模型中隐含的语义结构信息得到充分的挖掘和利用并最终形成待标注图像的标签。该方法能同时对没有标签和存在少量标签的待标注图像进行自动标注，因此适用于自动标注和标签补全。另外，该方法对于任意给定的待标注图像，从已标注图像集中选择与待标注图像最为相似的k个图像作为其近邻图像集，并且以这k个图像的标签作为候选标签集，由此，可以抵抗其他不相关图像所带来的噪声影响。此外，通过随机游走过程，在标签图模型上进行多次迭代，使得每个标签的权重更加稳定，这样，保证了待标注图像的标签更加准确地反映图像内容。

另外，根据本发明的基于标签图模型随机游走的图像自动标注方法还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述步骤B进一步包括：B1：提取所述待标注图像的至少一个特征的单特征向量；B2：基于所有的所述单特征向量，获得所述待标注图像的所述特征向量；B3：根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离；B4：对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离；和B5：从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。

在本发明的一个实施例中，其中，所述归一化步骤通过以下公式进行：

其中，d_x0表示待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离，max{d_x0}和min{d_x0}分别表示d_x0的最大值和最小值，d_x为归一化后的待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离；

所述融合步骤通过如下公式执行：

其中，d为融合距离，w_x表示第x个单特征向量在计算所述融合距离中所占的比重，n表示单特征的种类个数，其中xP[1，2，...n]。

在本发明的一个实施例中，所述共生矩阵中的每一矩阵元素计算公式为：

其中，C_i，j为所述共生矩阵中第i行第j列元素值，P(t_j|t_i)为标签集合中的标签t_i出现时标签集合中的标签t_j的出现概率，|I(t_i，t_j)|为同时拥有标签t_i和标签t_j的图像的个数，|I(t_i)|为出现标签t_i的图像的个数。

在本发明的一个实施例中，所述步骤D进一步包括：根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素e_x的值在0}e_x}1的范围内；根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量v，所述典型度向量计算公式为：

                              v＝TTI(I+γp)，

其中，TT为所述词义相似度矩阵，I为全为1的列向量，γ是调整因子，p为所述预设标签对应的标签向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为0。

在本发明的一个实施例中，如果所述待标注图像没有预设标签，则p向量为零向量。

在本发明的一个实施例中，所述步骤E进一步包括：通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为：

其中，I为全为1的列向量，v为所述典型度向量。

在本发明的一个实施例中，在所述步骤F中，所述融合通过如下公式进行：

其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。

在本发明的一个实施例中，所述步骤G进一步包括：对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量

其中，所述

中每个元素的值在[0，1]的范围内；以所述标签集合中每个标签为节点，并以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。

在本发明的一个实施例中，所述步骤H进一步包括：如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1-α保留所述初始权重，则节点t_i在第c次随机游走后的权重

的计算公式为：

其中G_j，i为关系矩阵G矩阵中第j行第i列的元素，为第i个标签的初始权重值，c为随时游走的次数。

本发明第二方面实施例的基于标签图模型随机游走的图像自动标注装置，包括：提取模块，所述提取模块用于提供具有预设特征向量的已标注图像集合和待标注图像；标签集合获取模块，所述标签集合获取模块用于获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合；共生矩阵构造模块，所述共生矩阵构造模块用于构造所述候选标签集合中标签之间的共生矩阵；典型度向量构造模块，所述典型度向量构造模块用于获得所述候选标签集合中标签之间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的所述预设标签获得所述标签集合中全部标签的典型度向量；倾向矩阵构造模块，所述倾向矩阵构造模块用于根据所述典型度向量构造所述候选标签集合的倾向矩阵；融合模块，所述融合模块用于对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵；标签图构造模块，所述标签图构造模块用于以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；和标注模块，所述标注模块用于在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。

根据本发明实施例的基于标签图模型随机游走的图像自动标注装置，利用标签集合中标签之间的共生关系和倾向关系分别构造共生矩阵和倾向矩阵，并基于这两种矩阵建立标签图模型，在该标签图模型上通过随机游走的过程，使标签图模型中隐含的语义结构信息得到充分的挖掘和利用并最终形成待标注图像的标签。该方法能同时对没有标签和存在少量标签的待标注图像进行自动标注，因此适用于自动标注和标签补全。另外，该方法对于任意给定的待标注图像，从已标注图像集中选择与待标注图像最为相似的k个图像作为其近邻图像集，并且以这k个图像的标签作为候选标签集，由此，可以抵抗其他不相关图像所带来的噪声影响。此外，通过随机游走过程，在标签图模型上进行多次迭代，使得每个标签的权重更加稳定，这样，保证了待标注图像的标签更加准确地反映图像内容。

另外，根据本发明的基于标签图模型随机游走的图像自动标注装置还可以具有如下附加的技术特征：

在本发明的一个实施例中，所述标签集合获取模块用于提取所述待标注图像的至少一个特征的单特征向量，并基于所有的所述单特征向量，获得所述待标注图像的所述特征向量，接着根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离，然后对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离，和从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。

在本发明的一个实施例中，其中，所述归一化步骤通过以下公式进行：

其中，d_x0表示待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离，max{d_x0}和min{d_x0}分别表示d_x0的最大值和最小值，d_x为归一化后的待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离；

所述融合步骤通过如下公式执行：

其中，d为融合距离，w_x表示第x个单特征向量在计算所述融合距离中所占的比重，n表示单特征的种类个数，其中xP[1，2，...n]。

在本发明的一个实施例中，所述共生矩阵中的每一矩阵元素计算公式为：

其中，C_i，j为所述共生矩阵中第i行第j列元素值，P(t_j|t_i)为标签集合中的标签t_i出现时标签集合中的标签t_j的出现概率，|I(t_i，t_j)|为同时拥有标签t_i和标签t_j的图像的个数，|I(t_i)|为出现标签t_i的图像的个数。

在本发明的一个实施例中，所述典型度向量构造模块用于根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素e_x的值在0}e_x}1的范围内；根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量v，所述典型度向量计算公式为：

                              v＝TTI(I+γp)，

其中，TT为所述词义相似度矩阵，I为全为1的列向量，γ是调整因子，p为所述预设标签对应的标签向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为0。

在本发明的一个实施例中，所述倾向矩阵构造模块用于通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为：

其中，I为全为1的列向量，v为所述典型度向量。

在本发明的一个实施例中，所述融合模块用于通过如下公式进行融合：

其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。

在本发明的一个实施例中，所述标签图构造模块用于对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量

其中，所述

中每个元素的值在[0，1]的范围内，并以所述标签集合中每个标签为节点，以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。

在本发明的一个实施例中，如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1-α保留所述初始权重，则所述标注模块中节点t_i在第c次随机游走后的权重

的计算公式为：

其中G_j，i为关系矩阵G矩阵中第j行第i列的元素，

为第i个标签的初始权重值，c为随时游走的次数。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于标签图模型随机游走的图像自动标注方法的流程图；

图2为本发明一个实施例的图1所示步骤S102的具体流程图；

图3A-3C为应用本发明一个实施例的方法的对不包括任何标签的待标注图像添加标签后的标注图像；

图4A-4C为应用本发明一个实施例的方法的对包括少量标签的待标注图像补充标签后的标注图像；以及

图5为本发明实施例的基于标签图模型随机游走的图像自动标注装置的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合图1-图4C首先描述根据本发明实施例的基于标签图模型随机游走的图像自动标注方法。

如图1所示，为本发明实施例的基于标签图模型随机游走的图像自动标注方法的流程图。根据本发明实施例的基于标签图模型随机游走的图像自动标注方法，包括以下步骤：

步骤S101，提供具有预设特征向量的已标注图像集合和待标注图像；

步骤S102，获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合，在本发明的一个实施例中，对于待标注图像，如果其预设标签为空，则可以进行自动标注，而如果原本存在少量的标签，则可以接下来的方法对标签进行补全；

步骤S103，构造所述候选标签集合中标签之间的共生矩阵；

步骤S104，获得所述候选标签集合中标签间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的所述预设标签获得所述标签集合中全部标签的典型度向量；

步骤S105，根据所述典型度向量构造所述候选标签集合的倾向矩阵；

步骤S106，对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵；

步骤S107，以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；

步骤S108，在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。

根据本发明实施例的基于标签图模型随机游走的图像自动标注装置，利用标签集合中标签之间的共生关系和倾向关系分别构造共生矩阵和倾向矩阵，并基于这两种矩阵建立标签图模型，在该标签图模型上通过随机游走的过程，使标签图模型中隐含的语义结构信息得到充分的挖掘和利用并最终形成待标注图像的标签。该方法可同时对没有标签和存在少量标签的待标注图像进行自动标注，因此适用于自动标注和标签补全。另外，该方法对于任意给定的待标注图像，从已标注图像集中选择与待标注图像最为相似的k个图像作为其近邻图像集，并且以这k个图像的标签作为候选标签集，由此，可以抵抗其他不相关图像所带来的噪声影响。此外，通过随机游走过程，在标签图模型上进行多次迭代，使得每个标签的权重更加稳定，这样，保证了待标注图像的标签更加准确地反映图像内容。

以下对本发明实施例的图像自动标注方法的步骤进行详细描述。

如图2所示，为本发明一个实施例的所述步骤S102的具体流程图。在本发明的一个实施例中，例如步骤S102具体包括以下步骤：

步骤S1021：获取所述待标注图像的至少一个特征的单特征向量。例如，对于给定的待标注图像I，提取一种或多种特征的相应的单特征向量；

步骤S1022：基于所有的所述单特征向量获得所述待标注图像的所述特征向量。换句话说，可将一种或多种特征的相应的单特征向量拼合为一个整体的待标注图像的特征向量(p₁，p₂，...，p_n)，其中p_x表示的就是第x个特征的单特征向量；

步骤S1023：根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离。例如，利用待标注图像I和已标注图像的特征向量，可由待标注图像I的每个单特征向量计算得到与已标注图像集中每一个图像的对应特征之间的距离。

步骤S1024：对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离。如上可知，由于待标注图像I提取的特征可能有多个，并且不同特征的距离计算方式也可能不同，因此需要对各个特征的距离进行归一化和融合。

根据上述实施例，例如可以通过以下公式对全部所述距离进行归一化，其中，该归一化公式例如为：

其中，d_x0表示待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离，max{d_x0}和min{d_x0}分别表示d_x0的最大值和最小值，d_x为归一化后的待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离。

接着，对归一化后的距离通过如下公式进行融合，该公式为：

其中，d为融合距离，w_x表示第x个单特征向量在计算所述融合距离中所占的比重，n表示单特征的种类个数，其中xP[1，2，...n]。这样，得到的距离d更为准确。

步骤S1025：从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。例如，在计算出与所有已标注图像的每一张图像的距离d之后，取距离d最小的前k个已标注图像作为近邻图像集合，同时以近邻图像集合中所有图像的标签作为候选标签集。

在本发明的一个实施例中，例如所述步骤S103中可根据条件概率模型构造所述标签集合中标签间的共生矩阵。

作为一个具体的示例，例如共生矩阵中的每一矩阵元素计算公式为：

其中，C_i，j为所述共生矩阵中第i行第j列元素值，P(t_j|t_i)为候选标签集合中的标签t_i出现时候选标签集合中的标签t_j的出现概率，|I(t_i，t_j)|为同时拥有标签t_i和标签t_j的图像的个数，|I(t_i)|为出现标签t_i的图像的个数。这样，通过改变i，j的值，可以得到共生矩阵中每一个元素的值。

步骤S104可通过以下方式，具体实现过程如下：

在本发明的一个实施例中，可首先根据词义相似度衡量方法计算所述标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素e_x的值在0}e_x}1的范围内。

例如，计算得到标签集合中标签之间的词义相似度值，并由全部的词义相似度值作为元素构造出词义相似度矩阵TT，根据本发明的一个实施例，例如这些元素取值均在[0，1]范围内。

根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量v，所述典型度向量计算公式为：

                             v＝TTI(I+γp)，

其中，TT为所述词义相似度矩阵，I为全为1的列向量，γ是调整因子，p为所述预设标签对应的特征向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为0。

需理解，待标注图像没有预设标签的情况下，p向量为零向量。由此，可以对不带有标签的图像进行自动标注，而对带有预设标签的图像进行标签的自动补全。

步骤S105的具体实现过程如下：

在本发明的一个示例中，通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为：

其中，I为全为1的列向量，v为所述典型度向量。

在本发明的一个实施例中，步骤S106中的对共生矩阵和倾向矩阵进行融合，例如可以通过以下公式得到：

其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。

具体而言，例如在计算得到标签之间的共生矩阵C和倾向矩阵T之后，需要将两者结合起来，共同构成标签之间的关系，从而形成综合的关系矩阵G。通过上述公式融合之后，例如还可以对关系矩阵G进行行归一化。这样，可以保证关系矩阵中的元素保持在[0，1]的范围内，并保证随机游走过程能最终稳定。

在本发明的一个实施例中，步骤S107的具体实现方式如下：

例如首先对所述候选标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量

其中，所述中每个元素的值在[0，1]的范围内；

接着以所述候选标签集合中每个标签为节点，并以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。

步骤S108的具体实现方式如下：

在本发明的一个实施例中，如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1-α保留所述初始权重，则节点t_i在第c次随机游走后的权重

的计算公式为：

其中G_j，i为关系矩阵G矩阵中第j行第i列的元素，

为第i个标签的初始权重值，c为随时游走的次数。

也就是说，在标签图模型上进行随机游走，直到所有标签的权重趋于稳定。作为一个具体的例子，例如可假设在随机游走过程中，标签图模型中的每个节点以概率α将其权重传递给后继节点，并以概率1-α保留初始权重。那么在第c次随机游走后，可通过上述公式计算得到节点t_i的权重

相应地，为了计算全部标签的权重，例如还可将上面的式子转化为矩阵形式：

其中ω是权重向量，G是标签之间的关系矩阵，

是初始权重向量。由于G矩阵行归一化后是随机矩阵，这样，经过若干次迭代后，权重向量ω将趋于稳定，因此提高标签表示图片的准确性。

此外，在本发明的另一实施例中，在确定所述待标注图像的标签之前，例如还可根据标签的最终权重对所有候选标签进行排序。这样，获取权重最高的若干个标签作为对待标注图像的标注结果。

如图3A-3C所示，为应用本发明一个实施例的方法的对不包括任何标签的待标注图像添加标签后的标注图像。如图4A-4C所示，为应用本发明一个实施例的方法的对包括少量预设标签的待标注图像补全标签后的标注图像。

以下结合附图5描述根据本发明实施例的基于标签图模型随机游走的图像自动标注装置。

如图5所示，为本发明实施例的基于标签图模型随机游走的图像自动标注装置的结构图。根据本发明实施例的基于标签图模型随机游走的图像自动标注装置500包括提取模块510、标签集合获取模块520、共生矩阵构造模块530、典型度向量构造模块540、倾向矩阵构造模块550、融合模块560、标签图构造模块570，和标注模块580。

其中，提取模块510用于提供具有预设特征向量的已标注图像集合和待标注图像。标签集合获取模块520用于获得待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合。共生矩阵构造模块530用于构造所述标签集合中标签之间的共生矩阵。典型度向量构造模块540用于获得所述标签集合中标签间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的所述预设标签获得所述候选标签集合中全部标签的典型度向量。倾向矩阵构造模块550用于根据所述典型度向量构造所述标签集合的倾向矩阵。融合模块560用于对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵。标签图构造模块570用于以所述标签集合中每个标签为节点并根据所述标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型。标注模块580用于在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。

根据本发明实施例的基于标签图模型随机游走的图像自动标注装置，利用候选标签集合中标签之间的共生关系和倾向关系分别构造共生矩阵和倾向矩阵，并基于这两种矩阵建立标签图模型，在该标签图模型上通过随机游走的过程，使标签图模型中隐含的语义结构信息得到充分的挖掘和利用并最终形成待标注图像的标签。该方法可同时对没有标签和存在少量标签的待标注图像进行自动标注，因此适用于自动标注和标签补全。另外，该方法对于任意给定的待标注图像，从已标注图像集中选择与待标注图像最为相似的k个图像作为其近邻图像集，并且以这k个图像的标签作为候选标签集，由此，可以抵抗其他不相关图像所带来的噪声影响。此外，通过随机游走过程，在标签图模型上进行多次迭代，使得每个标签的权重更加稳定，这样，保证了待标注图像的标签更加准确地反映图像内容。

在本发明的一个实施例中，例如标签集合获取模块520可用于获取所述待标注图像的至少一个特征的单特征向量。例如，对于给定的待标注图像I，提取一种或多种特征的相应的单特征向量，接着基于所有的所述单特征向量获得所述待标注图像的所述特征向量。换句话说，可将一种或多种特征的相应的单特征向量拼合为一个整体的待标注图像的特征向量(p₁，p₂，...，p_n)，其中p_x表示的就是第x个特征的单特征向量，并根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离。例如，利用待标注图像I和已标注图像的特征向量，可由待标注图像I的每个单特征向量计算得到与已标注图像集中每一个图像的对应特征之间的距离，然后对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离。

如上可知，由于待标注图像I提取的特征可能有多个，并且不同特征的距离计算方式也可能不同，因此需要对各个特征的距离进行归一化和融合。

如上述实施例所示，例如标签集合获取模块520还可以通过以下公式对全部所述距离进行归一化，其中，该归一化公式例如为：

其中，d_x0表示待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离，max{d_x0}和min{d_x0}分别表示d_x0的最大值和最小值，d_x为归一化后的待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离。

接着，对归一化后的距离通过如下公式进行融合，该公式为：

其中，d为融合距离，w_x表示第x个单特征向量在计算所述融合距离中所占的比重，n表示单特征的种类个数，其中xP[1，2，...n]。这样，得到的距离d更为准确。

最后从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。例如，在计算出与所有已标注图像的每一张图像的距离d之后，取距离d最小的前k个已标注图像作为近邻图像集合，同时以近邻图像集合中所有图像的标签作为候选标签集。

在本发明的一个实施例中，例如共生矩阵构造模块530可根据预设的条件概率模型构造所述候选标签集合中标签间的共生矩阵。

作为一个具体的示例，例如共生矩阵中的每一矩阵元素计算公式为：

其中，C_i，j为所述共生矩阵中第i行第j列元素值，P(t_j|t_i)为候选标签集合中的标签t_i出现时候选标签集合中的标签t_j的出现概率，|I(t_i，t_j)|为同时拥有标签t_i和标签t_j的图像的个数，|I(t_i)|为出现标签t_i的图像的个数。这样，通过改变i，j的值，可以得到共生矩阵中每一个元素的值。

在本发明的一个示例中，典型度向量构造模块540例如可首先根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素e_x的值在0}e_x}1的范围内。例如，计算得到标签集合中标签之间的词义相似度值，并由全部的词义相似度值作为元素构造出词义相似度矩阵TT，根据本发明的一个实施例，例如这些元素取值均在[0，1]范围内。

接着根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量v，所述典型度向量计算公式为：

                             v＝TTI(I+γp)，

其中，TT为所述词义相似度矩阵，I为全为1的列向量，γ是调整因子，p为所述预设标签对应的标签向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为0。

需理解，待标注图像没有预设标签的情况下，p向量为零向量。由此，可以对不带有标签的图像进行自动标注，而对带有预设标签的图像进行标签补全。

在本发明的一个实施例中，例如倾向矩阵构造模块550可用于通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为：

其中，I为全为1的列向量，v为所述典型度向量。

在本发明的一个实施例中，融合模块560对共生矩阵和倾向矩阵进行融合，例如可以通过以下公式得到：

其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。

具体而言，例如在计算得到标签之间的共生矩阵C和倾向矩阵T之后，需要将两者结合起来，共同构成标签之间的关系，从而形成综合的关系矩阵G。通过上述公式融合之后，例如还可以对关系矩阵G进行行归一化。这样，可以保证关系矩阵中的元素保持在[0，1]的范围内，并保证随机游走过程能最终稳定。

在本发明的一个示例中，例如标签图构造模块570可用于首先对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量其中，所述

中每个元素的值在[0，1]的范围内，接着以所述标签集合中每个标签为节点，并以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。

作为一个具体的例子，标注模块580假设在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1-α保留所述初始权重，则节点t_i在第c次随机游走后的权重

的计算公式为：

其中，G_j，i为关系矩阵G矩阵中第j行第i列的元素，为第i个标签的初始权重值，c为随时游走的次数。

也就是说，在标签图模型上进行随机游走，直到所有标签的权重趋于稳定。作为一个具体的例子，例如可假设在随机游走过程中，标签图模型中的每个节点以概率α将其权重传递给后继节点，并以概率1-α保留初始权重。那么在第c次随机游走中，可通过上述公式计算得到节点t_i的权重

相应地，为了计算全部标签的权重，例如还可将上面的式子转化为矩阵形式：

其中ω是权重向量，G是标签之间的关系矩阵，

是初始权重向量。由于G矩阵行归一化后是随机矩阵，这样，经过若干次迭代后，权重向量ω将趋于稳定，因此提高标签表示图片的准确性。

此外，在本发明的另一实施例中，例如标注模块580还用于在确定所述待标注图像的标签之前，例如还可根据标签的最终权重对所有候选标签进行排序。这样，获取权重最高的若干个标签作为对待标注图像的标注结果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (19)

1.一种基于标签图模型随机游走的图像自动标注方法，其特征在于，包括以下步骤：

A：提供具有预设特征向量的已标注图像集合和待标注图像；

B：获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合；

C：构造所述候选标签集合中标签之间的共生矩阵；

D：获得所述候选标签集合中标签之间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的预设标签获得所述候选标签集合中全部标签的典型度向量；

E：根据所述典型度向量构造所述候选标签集合的倾向矩阵；

F：对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵；

G：以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；和

H：在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。

2.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤B进一步包括：

B1：提取所述待标注图像的至少一个特征的单特征向量；

B2：基于所有的所述单特征向量，获得所述待标注图像的所述特征向量；

B3：根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离；

B4：对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离；和

B5：从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。

3.根据权利要求2所述的图像自动标注方法，其特征在于，其中，所述归一化步骤通过以下公式进行：

$d_x=\frac{d_{x0}-\min \left\{d_{x0}\right\}}{\max \left\{d_{x0}\right\}-\min \left\{d_{x0}\right\}},$

其中，d_x0表示待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离，max{d_x0}和min{d_x0}分别表示d_x0的最大值和最小值，d_x为归一化后的待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离；

所述融合步骤通过如下公式执行：

$d=\underset{x=1}{\overset{n}{\mathrm{\Σ}}}{w}_x{d}_x,$

其中，d为融合距离，w_x表示第x个单特征向量在计算所述融合距离中所占的比重，n表示单特征的种类个数，其中x∈[1，2，...n]。

4.根据权利要求1所述的图像自动标注方法，其特征在于，所述共生矩阵中的每一矩阵元素计算公式为：

$C_{i,j}=P\left(t_j\right|t_i)=\left\{\begin{array}{cc}0& (i=j)\\ \frac{\left|I(t_i,t_j)\right|}{\left|I\left(t_i\right)\right|}& (i\≠j)\end{array}\right.,$

其中，C_i，j为所述共生矩阵中第i行第j列元素值，P(t_j|t_i)为标签集合中的标签t_i出现时标签集合中的标签t_j的出现概率，|I(t_i，t_j)|为同时拥有标签t_i和标签t_j的图像的个数，|I(t_i)|为出现标签t_i的图像的个数。

5.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤D进一步包括：

根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素e_x的值在0≤e_x≤1的范围内；

根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量v，所述典型度向量计算公式为：

                              v＝TT·(I+γp)，

其中，TT为所述词义相似度矩阵，I为全为1的列向量，γ是调整因子，p为所述预设标签对应的标签向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为0。

6.根据权利要求5所述图像自动标注方法，其特征在于，如果所述待标注图像没有预设标签，则p向量为零向量。

7.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤E进一步包括：

通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为：

                                 T＝I·v^T，

其中，I为全为1的列向量，v为所述典型度向量。

8.根据权利要求1所述的图像自动标注方法，其特征在于，在所述步骤F中，所述融合通过如下公式进行：

                             G＝βC+(1-β)T，

其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。

9.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤G进一步包括：

对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量

其中，所述中每个元素的值在[0，1]的范围内；

以所述标签集合中每个标签为节点，并以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。

10.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤H进一步包括：

如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1-α保留所述初始权重，则节点t_i在第c次随机游走后的权重

的计算公式为：

其中G_j，i为关系矩阵G矩阵中第j行第i列的元素，

为第i个标签的初始权重值，c为随机游走的次数。

11.一种基于标签图模型随机游走的图像自动标注装置，其特征在于，包括：

提取模块，所述提取模块用于提供具有预设特征向量的已标注图像集合和待标注图像；

标签集合获取模块，所述标签集合获取模块用于获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合；

共生矩阵构造模块，所述共生矩阵构造模块用于构造所述候选标签集合中标签之间的共生矩阵；

典型度向量构造模块，所述典型度向量构造模块用于获得所述候选标签集合中标签之间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的所述预设标签获得所述标签集合中全部标签的典型度向量；

倾向矩阵构造模块，所述倾向矩阵构造模块用于根据所述典型度向量构造所述候选标签集合的倾向矩阵；

融合模块，所述融合模块用于对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵；

标签图构造模块，所述标签图构造模块用于以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；和

标注模块，所述标注模块用于在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。

12.根据权利要求11所述的图像自动标注装置，其特征在于，所述标签集合获取模块用于提取所述待标注图像的至少一个特征的单特征向量，并基于所有的所述单特征向量，获得所述待标注图像的所述特征向量，接着根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离，然后对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离，和从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。

13.根据权利要求12所述的自动标注装置，其特征在于，其中，所述归一化步骤通过以下公式进行：

$d_x=\frac{d_{x0}-\min \left\{d_{x0}\right\}}{\max \left\{d_{x0}\right\}-\min \left\{d_{x0}\right\}},$

其中，d_x0表示待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离，max{d_x0}和min{d_x0}分别表示d_x0的最大值和最小值，d_x为归一化后的待标注图像的第x个单特征向量与已标注图像集合中每一图像的对应单特征的特征向量之间的距离；

所述融合步骤通过如下公式执行：

$d=\underset{x=1}{\overset{n}{\mathrm{\Σ}}}{w}_x{d}_x,$

其中，d为融合距离，w_x表示第x个单特征向量在计算所述融合距离中所占的比重，n表示单特征的种类个数，其中x∈[1，2，...n]。

14.根据权利要求11所述的图像自动标注装置，其特征在于，所述共生矩阵中的每一矩阵元素计算公式为：

$C_{i,j}=P\left(t_j\right|t_i)=\left\{\begin{array}{cc}0& (i=j)\\ \frac{\left|I(t_i,t_j)\right|}{\left|I\left(t_i\right)\right|}& (i\≠j)\end{array}\right.,$

其中，C_i，j为所述共生矩阵中第i行第j列元素值，P(t_j|t_i)为标签集合中的标签t_i出现时标签集合中的标签t_j的出现概率，|I(t_i，t_j)|为同时拥有标签t_i和标签t_j的图像的个数，|I(t_i)|为出现标签t_i的图像的个数。

15.根据权利要求11所述的图像自动标注装置，其特征在于，所述典型度向量构造模块用于根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素e_x的值在0≤e_x≤1的范围内；

根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量v，所述典型度向量计算公式为：

                              v＝TT·(I+γp)，

其中，TT为所述词义相似度矩阵，I为全为1的列向量，γ是调整因子，p为所述预设标签对应的标签向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为0。

16.根据权利要求11所述的图像自动标注装置，其特征在于，所述倾向矩阵构造模块用于通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为：

                               T＝I·v^T，

其中，I为全为1的列向量，v为所述典型度向量。

17.根据权利要求11所述的图像自动标注装置，其特征在于，所述融合模块用于通过如下公式进行融合：

                             G＝βC+(1-β)T，

其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。

18.根据权利要求11所述的图像自动标注装置，其特征在于，所述标签图构造模块用于对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量

其中，所述

中每个元素的值在[0，1]的范围内，并以所述标签集合中每个标签为节点，以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。

19.根据权利要求11所述的图像自动标注装置，其特征在于，如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1-α保留所述初始权重，则所述标注模块中节点t_i在第c次随机游走后的权重

的计算公式为：

其中G_j，i为关系矩阵G矩阵中第j行第i列的元素，

为第i个标签的初始权重值，c为随时游走的次数。

Images