CN112215837B - 多属性图像语义分析方法和装置 - Google Patents

Abstract

本发明提供一种多属性图像语义分析方法和装置，所述方法包括：将数据集中提取的图像与话题标签作为节点，并根据节点之间的关联构建标签异构图；基于异构图中图像与标签节点分别构建图像特征矩阵与标签特征矩阵；将图像特征矩阵与标签特征矩阵融合构成统一的标签异构图节点特征矩阵，根据节点之间的关联的条件数判断两节点的语义关联性，并获得标签异构图的加权邻接矩阵；将标签异构图节点特征矩阵和标签异构图的加权邻接矩阵输入图卷积神经网络GCN中进行图像语义特征学习与图像的语义扩充。本发明实施例的多属性图像语义分析方法和装置，能够大大增强图像的分类和搜索性能。

Description

多属性图像语义分析方法和装置

技术领域

本发明涉及社交网络事件检测技术领域，更具体而言，本发明涉及一种基于标签异构图模型的多属性图像语义分析方法和装置。

背景技术

由于社交网络中发布消息的多元化和随意性，图像数据存在着一定的语义稀疏性和不规范性等特点，这些特点给图像数据的搜索带来了不便。早期图像特征的提取基于尺度不变特征变换(SIFT，Scale-invariant feature transform)、通用搜索树(GIST，Generalized Search Trees)等传统图像语义的分析方法，经过降噪自编码和空间池化分析等技术分析图像底层或深层特征，对特征进行提取与挖掘作为图像的全局特征，最终将图像特征输入传统的分类模型中。传统的语义分析方法进行图像特征语义获取的效果并不理想。

近年来，深度学习技术作为机器学习的重要方向之一，在图像语义学习方向也得到了一定程度的发展，常见的基于深度学习技术进行图像语义学习的方法，利用深度卷积神经网络和深度自动编码器提取图像的多层特征，并据此提取图像的视觉词(visualword)，建立倒排索引，产生一种有效而准确的图像特征表示，进而实现图像搜索。但是，当前基于深度学习进行图像语义学习的方法，通过神经网络进行深度特征提取是在需要大量的人力进行人工提取特征的基础上进行的，不仅耗费大量人力，且该方法非常依赖于训练数据，不善于发现训练数据之外的知识。该类方法只能学习单一图像的特征，不能发现图像上下文之间的关系，也没有充分的挖掘和补充图像之间潜在的语义。因此，在社交网络图像数据存在分辨率低、语义不突出的数据特点下，现有的深度学习方法不能学习到较好的图像语义。

随着社交网络、知识图谱等图结构数据的大量涌现，通过对社交网络特有属性的挖掘和利用，社交网络图像的语义学习和特征表示方面取得了一些进展。例如，通过随机游走图卷积神经网络(GCN，Graph Convolutional Network)学习嵌入表示的方法，可以构建邻居节点的语义关联，扩充图像语义特征，从而可构建语义相对丰富的图模型，实现比较精准的图像推荐，在一定程度上实现事件监测和图像特征表示等任务。但现有的利用社交网络特有属性进行语义学习的方法在社交属性挖掘上仍然没有充分考虑图像之间的上下文的关联信息，也没有充分利用社交属性对图像语义进行更深一步扩充。因此，现有技术仍然缺乏更加有效的对社交网络图像进行较好的语义分析和扩充的能力。

如何提高图像语义的分析和扩充效果，实现更加精准的图像分类和搜索，是一个亟待解决的问题。

发明内容

鉴于此，本发明提出了一种多属性图像语义分析方法和装置，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的技术方案如下：

根据本发明的一方面，提出了一种多属性图像语义分析方法，该方法包括以下步骤：

从预先采集的社交网络数据中提取图像与话题标签并将其作为图像节点与标签节点，基于节点之间的关联构建包含图像节点和标签节点的标签异构图；

基于标签异构图中图像节点构建图像特征矩阵，基于标签异构图中标签节点构建标签特征矩阵，基于图像特征矩阵与标签特征矩阵生成标签异构图节点特征矩阵，根据节点之间的关联程度获得标签异构图的加权邻接矩阵；

将标签异构图节点特征矩阵和加权邻接矩阵输入图卷积神经网络GCN中进行图像语义特征学习，并将学习到的图像特征进行分类。

可选地，所述节点之间的关联，包括：

当标签与图像同时出现在同一条消息内，或该图像与标签所在消息包含相同URL信息时，在相应图像节点与标签节点间建立的连接关系；和/或当两个标签出现在同一条消息中，或者两个标签所在的消息中包含相同的URL信息，在两个标签节点间建立的连接关系；和/或当两个图像节点所在的消息内包含相同的标签或URL信息，在这两个图像节点间建立的连接关系。

可选地，所述基于标签异构图中标签节点构建标签特征矩阵，包括：

对数据集内所有标签进行分词处理，调取语料库中能够覆盖标签词汇的一定数量的单词进行文本特征词典的构建，通过将每个标签节点的特征转换为向量，并将标签节点中特征出现的次数作为向量中每一维度对应的元素，基于下式对标签的语义特征进行归一化表示：

基于获得的语义特征表示得到N-n个标签节点特征矩阵，表示为

其中，f_h为映射函数；

是标签节点

的第j维语义特征表示；d_h为标签节点特征向量的维数；N为总节点数；n为图像节点数。

可选地，所述基于标签异构图中图像节点构建图像特征矩阵，包括：

采取VGGNet-19图像特征获取表示方法，经预训练后捕获图像的全局特征，通过在VGGNet-19最后加入一层全连接层组成图像原始特征表示子网络，全连接层的表示如下式所示：

其中，R_vgg为预训练VGGNet-19网络获得的图像特征表示，W_v和b_v为全连接层的权重矩阵，σ为sigmoid函数；

设置固定的特征维度以使图模型内节点特征维度对齐，并将图像节点特征

统一整合为图像特征矩阵

其中d_v为图像节点特征向量的维数。

可选地，

所述标签异构图节点特征矩阵满足如下公式：

其中，m为标签节点数，n为图像节点数，X_I为图像特征矩阵，X_H为标签节点特征矩阵，X_V为标签异构图节点特征矩阵。

可选地，根据节点之间的关联程度获得标签异构图的加权邻接矩阵，包括：

根据两节点间连接规则的条件数确定节点间边的权重，获得作为标签异构图结构信息的加权邻接矩阵。

可选地，所述将标签异构图节点特征矩阵和加权邻接矩阵输入图卷积神经网络GCN中进行图像语义特征学习，包括：

分别将标签异构图数据的节点特征矩阵和加权邻接矩阵输入到GCN网络模型中，生成具有迭代关系的节点嵌入特征矩阵，并通过梯度下降算法对模型采用联合训练的方式进行训练，节点嵌入特征矩阵如下式所示：

其中，

是规范化的邻接矩阵，

I是单位矩阵，D是A+I的度矩阵，A是加权邻接矩阵；W⁽ⁱ⁾是潜层的参数矩阵，i表示GCN层数；α_i为每一层的激活函数，其中最后一层激活函数为softmax，剩余层上的激活函数采用ReLU，损失函数采用交叉熵损失。

可选地，所述进行图像语义特征学习过程中，对图像原始特征表示子网络预先进行微调，保持VGGNet-19预训练参数不变，对GCN的参数W⁽ⁱ⁾进行更新。

根据本发明的另一方面，还提供了一种图像与标签的采集装置，该装置包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。

本发明的又一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述方法的步骤。

本发明实施例的多属性图像语义分析方法和装置，通过建立标签异构图，分析图像与话题的关联特征，对多种连接关系的节点进行图像语义特征学习，进而实现了图像的语义扩充。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例中多属性图像语义分析方法的概括示意图。

图2为本发明一实施例中多属性图像语义分析方法的流程示意图。

图3为本发明一实施例中社交网络标签异构图模型示意图。

图4为本发明一实施例中标签异构图重构异构特征表示示意图。

图5为本发明一实例中基于GCN图像语义表示示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

现有技术中，无论是传统的语义分析方法，还是基于深度学习利用图卷积网络进行语义分析和特征表示的方法，均没有充分考虑图像之间的上下文的关联信息，也没有利用社交属性中的多属性信息来扩充图像语义，从而无法对图像之间潜在语义进行深入挖掘和补充。因此，针对现有技术存在的问题，本发明提出了一种基于标签异构图模型的多属性图像语义分析方法，通过在图像语义获取与表示的过程中引入话题标签，基于多属性特征之间的社交关系，来构建出标签异构图模型。然后使用图卷积神经网络(GCN)对图结构和特征进行充分学习，使图像语义得到扩充，获取社交网络图像的语义信息。本发明实施例中，通过异构图中的邻居聚合来丰富图像的关联语义，其中邻居聚合是指在GCN的图卷积操作中，对相邻的邻居节点进行特征汇聚的操作。具体来说，首先通过添加标签构建异构图，将孤立的图像信息进行语义关联。然后，通过图卷积网络学习具有丰富语义结构的图像特征表示。从异构图中捕获不同属性特征之间的内在相互关系，并分析图像特征的上下文语义，进而实现精准的图像分类和搜索性能。本发明的方法不仅理论系统完备，创新性突出，而且具有很高的实用价值。

本发明实施例中，异构图模型是指，图内节点由不同的元素类型组成或节点具有异质的属性特征的图模型。本发明构建的异构图模型包含两种节点类型：标签节点和图像节点，它们具有不同的属性特征空间，因此称为异构图模型。

此外，本发明实施例中，具有多个属性的图像称为多属性图像。多属性图像意味着图像信息内包含多种类型的属性信息。与单纯的图像数据不同，多属性图像蕴含了潜在的属性和关联关系。例如社交网络大数据中的图像信息，其包含话题标签所引导的主题一致性语义，还包含外部链接和用户提及这些属性所蕴含的社交关系。其次，例如期刊的大数据中发表文章内的图像信息，其所在文章的关键字、作者、单位、发表刊物(会议)等均为图像潜在的多属性信息。其中引用关系、发表关系等，均展现了丰富的图像语义关联。

在社交网络消息产生和传播的过程中，社交属性在对信息进行描述时具有较强的语义一致性。因此，在本发明实施例中，为了获取更加高质量的图像语义信息，提出了基于标签异构图模型的多属性图像语义分析方法，借助社交网络的多属性特征，构建了语义关联的标签异构图。将社交属性潜在的语义融入到图像特征的表达中，并建立图像之间的语义关联。进一步在GCN节点汇聚和卷积操作的过程中，获取更加语义丰富的图像特征。本发明实施例通过将相应的文本词与视觉对象相关联，实现了图像语义特征的有效补充和表达；通过对社交多属性包含的潜在语义进行挖掘和分析，能够有效的对图像进行相关性挖掘以及特征的语义扩展。

下面将结合附图详细说明本发明的实施方式。

如图1所述，本发明实施例的基于标签异构图模型的多属性图像语义分析方法主要包括如下三个步骤S110～S130：

步骤S110，构建标签异构图；

步骤S120，利用重构异构特征表示标签异构图；

步骤S130，基于GCN进行图像语义特征学习，并将学习到的图像特征进行分类。

如前所述，社交网络大数据中的图像数据除了本身携带的视觉信息外，还包含潜在的多种属性特征。这些属性特征有利于构建图像信息上下文的关系，并能够根据多属性信息挖掘出图像数据更多丰富的关联语义。以社交网络图像数据为例，由于社交网络交互式等特点，使得图像数据具有丰富的多属性特征，如话题标签、外部链接、用户之间的转发等。这些多属性特征能够为图像数据提供潜在的关联语义，并且能够对图像语义分析起到促进的作用。

因此，本发明实施例中，在标签异构图的构建中，为了挖掘离散的图像数据之间的语义关联，提出了一种新的标签异构图构建方式。它不仅在异构图中采用图像节点，还通过引入标签节点，在图像之间构建上下文语义关系，从而扩展了图像的语义信息，建模了图像之间的关联。

步骤S110可包括：从预先采集的社交网络数据中提取图像与话题标签，分别作为标签异构图的两类节点，表示事件的两类实体类型。通过挖掘节点之间的显式和/或隐式语义关联将节点进行连接(关联)，从而基于节点之间的关联构建出能够描述多属性图像语义关联的标签异构图，该标签依构图包含图像节点和标签节点，且体现了丰富的图像语义关联。作为示例，标签异构图可以是加权无向的图结构。

作为示例，为了挖掘离散的图像数据之间的语义关联，可从社交网络数据中提取外部链接信息“URL(统一资源定位符)”，以利用社交多属性特征标签和“URL”引导和关联标签异构图中具有语义一致性的图像。

如上，本步骤S110通过图像与话题标签的关联构建标签异构图，使离散的图像数据之间形成语义关联。

在步骤S120中，通过分别采用不同模态的特征学习技术(即对标签节点表示的文本模态采用词向量的表示方法，对图像节点表示的视觉模态采用VGGNet-19的特征表示方法)，对话题标签和图像节点进行特征空间的映射和学习，获取长度对齐的向量表示，并构造新的节点特征矩阵。

在标签异构图内，节点具有的不同属性特征，因此存在不同的特征空间。本发明实施例设置一致性特征矩阵来表示异构图中所有节点的语义特征空间。进一步地，可通过计算节点间的关联程度(如节点间满足连接规则的条件数)，获得标签异构图的加权邻接矩阵，作为异构图的结构信息。

更具体地，在步骤S120中，基于标签异构图中图像节点构建图像特征矩阵，基于标签异构图中标签节点构建标签特征矩阵，基于图像特征矩阵与标签特征矩阵生成标签异构图节点特征矩阵，并根据节点之间的关联程度获得标签异构图的加权邻接矩阵。

作为示例，标签节点属于短文本结构，即表示的是文本模态，故可采用文本特征映射机制构建标签特征矩阵。首先对社交网络数据集中所有标签进行分词处理，并将语料库中频率最高的可覆盖标签词汇的一定数量单词构成文本特征词典，并将每个标签节点的特征转换为向量进而将标签的语义特征进行归一化表示，最终生成标签节点特征矩阵。

针对标签异构图模型内图像节点的特征表示(视觉模态)，则可设计图像原始特征表示子网络。首先可对图像进行全局特征的捕获，并使图模型内节点特征维度对齐，进而将所有图像节点的特征表示统一整合为标签异构图的图像特征矩阵。

进一步地，通过将图像特征矩阵与标签特征矩阵融合，可形成标签异构图形成的异构特征空间下的统一的图数据节点特征矩阵。

进一步地，可通过计算标签异构图节点间的关联程度(如节点间满足连接规则的条件数)，获得标签异构图的加权邻接矩阵，作为异构图的结构信息。

在步骤S130中，将标签异构图节点特征矩阵和加权邻接矩阵输入到GCN网络模型中进行训练，通过对节点的特征学习，将学习到的图像特征进行分类，可实现图像语义特征的精准的分类和搜索。

通过将标签节点特征矩阵与图像特征矩阵融合为统一的异构图节点特征矩阵，结合节点之间的关联权重，基于GCN进行节点的嵌入学习，可以缓解图像语义稀疏的问题，从而实现对社交网络图像语义的有效获取与表达。

此外，通过图像节点分类可实现对图像语义获取与学习质量的评价。

本发明实施例设计的基于GCN的图像语义特征学习模型，重构的图节点特征矩阵来自图像特征矩阵与标签特征矩阵的融合。异构图的结构信息来自通过计算标签异构图节点间满足连接规则的条件数获得的加权邻接矩阵。通过对标签异构图数据的节点特征矩阵与表示图结构的邻接矩阵输入到GCN网络模型中并进行训练，进而学习标签异构图中的节点特征，实现对图像信息进行语义特征的汇聚和扩充，使图像语义得到有效获取与表达。

下面将通过示例更详细地描述本发明实施例的多属性图像语义的分析方法。

图2为本发明一实施例中多属性图像语义分析方法的流程示意图。如图2所示，该方法包括步骤S210～S240。

步骤S210，从预先采集的社交网络数据中提取图像与话题标签并将其作为图像节点与标签节点，基于节点之间的关联构建包含图像节点和标签节点的标签异构图。

话题标签例如可以是微博、推特、脸书等社交网络上的话题短文本，话题标签可事先被采集到社交网络数据集中。

图像例如可以是微博、推特、脸书等社交网络上推文的插图，图像可事先被采集到社交网络数据集中。

本发明的实施例中，通过挖掘标签异构图中所有节点之间的显式和隐式关联，对相应节点进行连接(关联)，由此来构建描述多属性图像关联的标签异构图，并以此来挖掘出更为丰富的图像关联语义。

为了挖掘离散的图像数据之间的语义关联，可首先从社交网络数据中提取图像、话题标签和外部链接信息“URL”，并将社交网络事件表示为两种实体类型，即图像和话题标签。然后，建立一个标签异构图来描述多属性图像的关联，该图模型包含图像节点和标签节点，利用社交多属性特征标签和“URL”引导和关联具有语义一致性的图像。

作为示例，挖掘节点之间的关系可包括挖掘标签节点与图像节点之间的标签共现co-mid、两图像节点之间的标签共现co-h以及超链接共现co-url三类关系，用于构建节点之间的不同的关联关系，以构建社交网络事件异构图。

具体来说，引入提取的标签节点，并基于图像节点、具有代表性、摘要性和可扩展性的社交网络多属性特征标签节点和链接信息构建标签异构图模型。通过这些社交多属性特征节点之间的共现关系，建模两种类型节点的语义相关性。作为示例，定义下列三种连接规则在标签异构图的节点之间建立连接关系：

(1)图像—标签关系：当标签节点与图像节点同时出现在同一条消息内时(即co-mid关系)，或者该图像与标签所在消息包含相同的“URL”信息(即co-url关系)，图像与标签节点之间建立连接边；

(2)标签—标签关系：如果两个标签出现在同一条消息中(即co-mid关系)，或者两个标签所在的消息中包含相同的“URL”(即co-url关系)，则将两个标签节点之间建立连接关系；

(3)图像—图像关系：如果两个图像节点所在的消息内包含相同的标签(即co-h关系)或“URL”链接信息(即co-url关系)，则在异构图中两个图像节点之间形成边连接。

图模型的连接规则揭示了图像节点和标签节点之间的显式和隐式关联。显式关系是直接连接关系，如标签和标签、图像与标签或图像与图像的共现关系。这表明节点在语义和发布时间上具有很强的一致性。其他连接规则为隐式关系，其中包括规则(3)以及规则(1)和规则(2)中以“url”为指导的连接关系，它们意味着节点包含事件的间接相关性。因此，本发明提出的标签异构图结合了丰富的语义关联和结构化信息，为图像语义分析和学习奠定了基础。

图3为本发明一实施例中生成的“天津爆炸”事件的标签异构图模型示意图，如图3所示，在标签异构图模型中，节点包含标签和图像两类，分别由圆形和方形表示。标签异构图的边表示节点之间的关系(包括显示关系和/或隐式关系)，co-mid表示被连接的两个节点存在共现的关系，即同时出现在同一条微博消息中；co-h说明两个节点出现了相同的话题标签；co-url表示两个节点共同出现了相同的url链接信息。该异构图包含图像节点a，b，c，d和标签节点e，f，g。每个节点均对应一定的特征属性。由于标签节点f和g同时包含在图像节点d所在的消息内，根据规则(1)，f和d，g和d具有“co-mid”连接关系。基于规则(2)，节点f和g具有“co-mid”连接关系。此外，标签节点g同时出现在图像节点c和d所在的消息中，因此根据规则(3)，两个图像节点c和d通过“co-h”进行连接。

如图3中构建出的标签异构图是加权无向的图结构，表示为G_H＝(V,E,f)，其中V＝{V_i∪V_h}表示分别包含图像和标签的节点集合。节点数为|V|＝|V_i|+|V_h|＝N，其中|V_i|＝n≤N。

表示通过连接关系co-mid，co-h和co-url形成的三种类型边的集合。此外，特征空间映射函数

表示每个节点具有d维的特征向量。

异构图的一个内在属性是异构性，即各种类型的节点和边，不同类型的节点具有不同的特征。本步骤S210中，通过构建图像与标签两类节点，基于对节点之间的共现关系(显式和隐式关系)的挖掘来连接节点建立连接边，便形成了具有丰富语义关联和结构化信息的标签异构图。

步骤S220，基于标签异构图中图像节点构建图像特征矩阵，基于标签异构图中标签节点构建标签特征矩阵，将图像特征矩阵与标签特征矩阵融合构成统一的标签异构图节点特征矩阵。

在标签异构图内，节点具有不同的属性特征，因此存在不同的特征空间。因此需要将不同的特征空间进行统一整合，进而得到统一的标签异构图节点特征矩阵。本发明实施例首先将标签节点与图像节点分别构建标签节点特征矩阵与标签异构图的图像特征矩阵，进而将二者融合为统一的图数据节点特征矩阵。下面对标签节点特征矩阵、标签异构图的图像特征矩阵与统一的标签异构图节点特征矩阵进行详细说明。

(1)标签节点特征矩阵X_H

标签节点均属于短文本结构，在标签异构图中具有相同的特征空间，因此针对标签节点采用文本特征映射机制构建标签节点特征矩阵。首先对数据集内所有标签进行分词处理。由于标签的简短性，作为示例，可以选择语料库中频率最高的前1000个能够覆盖标签词汇的单词，构成文本特征词典。在此，1000个能够覆盖标签词汇的单词仅为举例，本发明并不限于此，可根据情况来构建更大或更小的特征词典。基于该特征词典将每个标签节点的特征转换为d_h维向量，并且每一维对应的元素表示短文本内特征出现的次数。该标签的语义特征R_h基于以下公式进行归一化表示：

其中，

是标签节点

的第j维语义特征表示；f_h为映射函数；d_h为标签节点特征向量的维数；N为总节点数；n为图像节点数。基于获得的f_h映射函数生成N-n个标签节点的特征矩阵，表示为

(2)图像特征矩阵X_I

图像节点在标签异构图中有相似的特征空间，针对标签异构图模型内的图像节点特征表示，设计图像原始特征表示子网络。可采用现有的图像特征获取表示方法VGGNet-19对图像进行全局特征的捕获。为了使图模型内节点的特征维度对齐，可将最终输出的特征维度设置为一定值。本发明实施例采用预训练的VGGNet-19将图像数据进行特征抽取与降维转换，在VGGNet-19的最后一层加入全连接层组成图像原始特征表示子网络，将输出的图像特征向量的维度调节为2000。在此，输出的图像特征向量的维度调节为2000仅为举例，本发明并不限于此，可根据情况调节更大货更小的特征向量维度。该子网络中最后一个全连接层可如下式所示：

其中，R_vgg为预训练的VGGNet-19网络获得的图像特征表示；W_v和b_v为全连接层的权重矩阵；σ为sigmoid函数。将所有图像节点

的特征表示统一整合为标签异构图的图像特征矩阵，表示为

其中d_v为图像节点特征向量的维数。

本发明实施例中，图像特征获取表示方法VGGNet-19仅为示例，还可以采用其他图像特征获取表示方法进行特征抽取。

在标签异构图中，图像特征矩阵与标签特征矩阵需进行整合，使不同特征空间内相似度计算得到匹配。为使标签异构图相似度计算匹配，需将图像特征X_I与标签特征X_H融合构成统一的图数据节点特征矩阵。

图4为本发明一实施例中标签异构图的图像特征与标签特征融合构成统一的图数据节点特征矩阵的表示方法，在图像特征语义扩展部分，X_H表示标签特征，X_I为图像特征，两者重构异构特征表示为X_V。重构的图节点特征矩阵如下式所示：

其中，m为标签节点数，n为图像节点数，X_I为图像特征矩阵，X_H为标签节点特征矩阵，X_V为标签异构图节点特征矩阵。

步骤S230，使用满足节点之间不同连接规则的条件数来表示标签异构图内不同节点对的关联度,并将其设置为边的权重，通过计算节点间满足连接规则的条件数获得标签异构图的加权邻接矩阵。

由于相互连接的节点之间存在不同程度的语义相似度，为了避免不同特征空间内相似度计算的不匹配性，使用满足节点之间不同连接规则的条件数来表示标签异构图内不同节点对的关联度，并将它们设置为边的权重。前述规则(1)或规则(2)使两个节点之间可能同时满足多个条件，例如两个标签可能同时出现在多个社交网络消息中或所在的消息可能同时包含多个URL，这是由于相同的标签或URL信息可能包含在多个社交网络消息中，因此两个节点可能会多次满足连接条件。此现象进一步说明了两个节点之间满足的连接条件数越多，两个节点的语义关联性就越强。因此，本发明实施例通过计算节点间满足连接规则的条件数，获得标签异构图的加权邻接矩阵A_I，作为异构图的结构信息。上述方法具体的表达方式为：如果节点v_i和v_j之间存在边e_ij∈E，则A_ij＝W_ij，否则A_ij＝0。

步骤S240，将标签异构图节点特征矩阵和标签异构图的加权邻接矩阵输入图卷积神经网络GCN中进行图像语义特征学习，进行图像的语义扩充，从而增强图像的分类和搜索性能。

本发明实施例基于GCN设计标签异构图的节点特征表示学习网络，首先将异构图输入GCN中，对突发事件消息的不同属性进行特征学习。基于GCN的操作特性，图模型的全局结构信息和节点的矩阵特征可以在GCN的卷积操作中充分保留。其次，通过在模型最后引入分类层，将GCN所学习到的图像特征进行分类。

为了确保邻居聚合过程中能够有效地实现间接连接节点的特征收敛，本发明实施例在异构图节点嵌入学习中设计K层GCN结构。附加的分类层实现图像语义扩充并增强节点的分类性能。在GCN根据节点的邻域属性生成节点嵌入向量的过程中，异构图节点特征矩阵为X_I。为了突出节点间的相关性和交互的重要性，在嵌入式学习中考虑了边的权重。也就是说，使用加权邻接矩阵表示标签异构图的拓扑结构A_I。

如图5所示，分别将标签异构图数据的节点特征矩阵和表示图结构的邻接矩阵输入到GCN网络模型中，生成如下式所示的节点嵌入特征矩阵：

其中，

是规范化的邻接矩阵，

I是单位矩阵，D是A+I的度矩阵，W⁽ⁱ⁾是潜层的参数矩阵。i表示GCN层数，α_i为每一层的激活函数，其中最后一层激活函数为softmax，剩余层上的激活函数采用ReLU。

损失函数采用交叉熵损失，通过梯度下降算法对模型进行训练。

基于标签异构图模型的多属性图像语义分析方法的整个网络模型采用联合训练的方式，首先对图像原始特征表示子网络预先进行微调。其次，在与GCN、分类层联合训练的过程中，为了避免过拟合，保持VGGNet-19预训练参数不变，仅对GCN的参数W⁽ⁱ⁾进行更新，使整个网络模型实现有效的训练。通过GCN进行图像的语义扩充并基于分类层可实现图像特征的分类。

本发明实施例提出将图像和标签作为节点构建标签异构图，将标签与图像之间建立连接规则解释图像节点与标签节点之间的显示和隐式关系，将孤立的图像信息进行语义关联，从而扩展了图像的语义信息，建模了图像之间的关联；分别采用不同模态的特征学习技术，对话题标签和图像节点进行特征空间的映射和学习，获取长度对齐的向量表示，并构造新的节点特征矩阵；融合异构特征空间，将其作为整个图数据的节点特征矩阵，结合节点之间的关联权重，基于GCN进行节点的嵌入学习，丰富了图像的语义，精准实现图像特征的分类。

本发明提出基于标签异构图模型的多属性图像语义分析方法，可以有效地缓解社交网络图像的语义稀疏性，通过标签异构图的构建和图卷积网络学习节点的特征，根据丰富的特征表示，可实现精准的图像分类和搜索性能。

本发明实施例提出的基于标签异构图模型的多属性图像语义分析方法，将图像和话题标签作为节点构建标签异构图，基于多属性信息之间潜在的社交语义关联，并通过标签特征在图像数据之间形成一种紧密的关联关系，从而构建出语义丰富的标签异构图模型。本发明实施例将话题标签作为图像数据上下文关联的重要指导信息，对图像信息进行语义特征的汇聚和扩充，从而实现对社交网络图像语义的有效获取与表达。

本发明的方法可以处理不同社交网络环境下的数据，例如：微博，Twitter等，并对图像语义进行充分的语义理解，从而提高社交网络中图像、话题标签以及URL等信息的融合，丰富图像语义，使图像分类和搜索性能更为精准。本发明实施例中仅以对微博中事件的图像、话题标签以及URL作为示例，但是本发明并不限于此，也可以将本发明应用在其他社交网络环境下的事件检测。

与前述方法相应地，还提供一种图像与标签的采集装置，该装置包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。

实现本发明实施例的软件可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的有形存储介质中。

相应地，本公开还涉及如上存储介质，其上可以存储有计算机程序代码，当程序代码被执行时可以实现本发明的方法的各种实施例。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于标签异构图的多属性图像语义分析方法，其特征在于，该方法包括以下步骤：

从预先采集的社交网络数据中提取图像与话题标签并将其作为图像节点与标签节点，基于节点之间的关联构建包含图像节点和标签节点的标签异构图；

对图像节点表示的视觉模态采用VGGNet-19的特征表示方法来基于标签异构图中图像节点构建图像特征矩阵，对标签节点表示的文本模态采用词向量的表示方法来基于标签异构图中标签节点构建标签特征矩阵，通过将长度对齐的图像特征矩阵与标签特征矩阵进行融合来基于图像特征矩阵与标签特征矩阵生成标签异构图节点特征矩阵，根据节点之间的关联程度获得标签异构图的加权邻接矩阵；

将标签异构图节点特征矩阵和加权邻接矩阵输入图卷积神经网络GCN中进行图像语义特征学习，并将学习到的图像特征进行分类。

2.根据权利要求1所述的方法，其特征在于，所述节点之间的关联，包括：

当标签与图像同时出现在同一条消息内，或该图像与标签所在消息包含相同URL信息时，在相应图像节点与标签节点间建立的连接关系；和/或当两个标签出现在同一条消息中，或者两个标签所在的消息中包含相同的URL信息，在两个标签节点间建立的连接关系；和/或当两个图像节点所在的消息内包含相同的标签或URL信息，在这两个图像节点间建立的连接关系。

3.根据权利要求1所述的方法，其特征在于，所述基于标签异构图中标签节点构建标签特征矩阵，包括：

对数据集内所有标签进行分词处理，调取语料库中能够覆盖标签词汇的一定数量的单词进行文本特征词典的构建，通过将每个标签节点的特征转换为向量，并将标签节点中特征出现的次数作为向量中每一维度对应的元素，基于下式对标签的语义特征进行归一化表示：

基于获得的语义特征表示得到N-n个标签节点特征矩阵，表示为

其中，

是标签节点

的第j维语义特征表示；f_h为映射函数；d_h为标签节点特征向量的维数；N为总节点数；n为图像节点数。

4.根据权利要求1所述的方法，其特征在于，所述对图像节点表示的视觉模态采用VGGNet-19的特征表示方法来基于标签异构图中图像节点构建图像特征矩阵，包括：

采取VGGNet-19图像特征获取表示方法，经预训练后捕获图像的全局特征，通过在VGGNet-19最后加入一层全连接层组成图像原始特征表示子网络，全连接层的表示如下式所示：

其中，R_vgg为预训练VGGNet-19网络获得的图像特征表示，W_v和b_v为全连接层的权重矩阵；σ为sigmoid函数；

设置固定的特征维度以使图模型内节点特征维度对齐，并将图像节点特征

统一整合为图像特征矩阵

其中d_v为图像节点特征向量的维数。

5.根据权利要求1所述的方法，其特征在于，所述标签异构图节点特征矩阵满足如下公式：

其中，m为标签节点数，n为图像节点数，X_I为图像特征矩阵，X_H为标签节点特征矩阵，X_V为标签异构图节点特征矩阵。

6.根据权利要求1所述的方法，其特征在于，根据节点之间的关联程度获得标签异构图的加权邻接矩阵，包括：

根据两节点间连接规则的条件数确定节点间边的权重，获得作为标签异构图结构信息的加权邻接矩阵。

7.根据权利要求6所述的方法，其特征在于，所述将标签异构图节点特征矩阵和加权邻接矩阵输入图卷积神经网络GCN中进行图像语义特征学习，包括：

分别将标签异构图数据的节点特征矩阵和加权邻接矩阵输入到GCN网络模型中，生成具有迭代关系的节点嵌入特征矩阵，节点嵌入特征矩阵如下式所示：

其中，

是规范化的邻接矩阵，

I是单位矩阵，D是A+I的度矩阵，A是加权邻接矩阵；W⁽ⁱ⁾是潜层的参数矩阵，i表示GCN层数；α_i为每一层的激活函数，其中最后一层激活函数为softmax，剩余层上的激活函数采用ReLU；

损失函数采用交叉熵损失，通过梯度下降算法对模型采用联合训练的方式进行训练。

8.根据权利要求4所述的方法，其特征在于，所述进行图像语义特征学习过程中，对图像原始特征表示子网络预先进行微调，保持VGGNet-19预训练参数不变，对GCN的参数W⁽ⁱ⁾进行更新。

9.一种图像与标签的采集装置，该装置包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现权利要求1-8中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任意一项所述方法的步骤。

Images