CN103440352A - 基于深度学习的对象间的关联分析方法及其装置 - Google Patents

Abstract

本发明公开了一种社交媒体网络中对象间的关联分析方法及装置，在很多重要的相关领域已经有了广泛的应用。该方法包括：步骤1、提取对象的底层特征；步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；步骤3、通过对象的高层特征获得对象间的关联关系。该方法中首先从对象的内容信息中学习出高层的抽象特征，然后在这些高层的特征的基础上来进行关联建模。本方法引入隐式特征的概念，在生成式模型的框架下，一方面隐式特征生成对象的内容信息(高层特征)，另一方面，对象的隐式特征之间的交互以最大概率对象之间的关联信息。本方法采用蒙特卡洛近似推断算法来推断模型的参数及隐变量。

Description

基于深度学习的对象间的关联分析方法及其装置

技术领域

本发明涉及数据分析技术领域，尤其涉及一种基于深度学习的对象间的关联分析方法及其装置。

背景技术

近年来，社交媒体在互联网的沃土上蓬勃发展，爆发出令人眩目的能量，其传播的信息已成为人们浏览互联网的重要内容。而社交媒体中的媒体对象不是独立存在的，而是相互关联和相互影响的。在这一背景下，社交媒体中对象间的关联分析显得尤为重要。它能够为社交媒体中的相关应用，比如用户推荐、社交媒体图像标注等，提供技术基础。

目前针对社交媒体中媒体对象的关联分析主要集中在基于协同的方法和基于关联图拓扑的方法来实现。基于协同的经典方法是矩阵分解。如图1所示，对象间的观测的信息构成一个关联矩阵，未观测到的信息作为矩阵需要的填补部分。通过对矩阵M-分解得到两个矩阵U和V，他们的行分别表示对象的隐式因子，通过优化U和V，使UV^T尽量接近M，从而获得他们的最优的隐式因子。基于关联图拓扑的方法通过提取对象间的拓扑特征，如最短距离、公共近邻等特征来计算对象间的相似度距离。

尽管上述的方法能够取得一定的效果，但是它们仍然存在着诸多问题。一方面，现有的方法均仅针对同质的对象间关联分析，不能处理异质对象间的关联问题。另一方面，不论是矩阵分解中的隐式因子还是关联图的拓扑特征，它们都不能准确地反映对象的本质特性。从模型的深度角度看，他们均属于浅层次的模型。

媒体对象的内容信息是影响社交媒体中关联信息的重要因素。对媒体内容进行高层特征学习将对关联分析有重要的促进作用。基于深度学习进行高层特征提取的关联分析具有广泛的应用前景。

发明内容

为解决现有技术中存在的上述问题，本发明提出了一种基于深度学习的对象间的关联分析方法。

本发明提出的一种基于深度学习的对象间关联分析方法，其包括：

步骤1、提取对象的底层特征；

步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；

步骤3、通过对象的高层特征获得对象间的关联关系。

本发明还提出了一种基于深度学习的对象间关联分析装置，其包括：

底层特征提取模块，其用于提取对象的底层特征；

高层特征获取模块，其用于对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；

关联关系获取模块，其用于通过对象的高层特征获得对象间的关联关系。

本发明的方案不仅能够预测社交网络中同质对象间的关联性，同时也能对异质对象间的关联性进行预测。

附图说明

图1是传统的基于协同的关联分析方法中矩阵分解示意图；

图2是本发明中基于深度学习的对象间关联分析方法流程图；

图3是本发明中深度网络结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

考虑到媒体对象的特征学习对于对象间的关联分析有重要的影响，本发明提出了一种基于深度学习的社交媒体关联分析方法。该方法的核心思想是通过深度学习提取媒体对象的高层语义特征，在高层语义特征的基础上进行对象间的关联建模。

图2示出了本发明提出的基于深度学习的对象间关联分析方法的方法流程图。该方法包括：

步骤1、提取对象(如图像)的底层特征；

步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；

步骤3、通过对象的高层特征获得隐式特征，并根据隐式特征间的交互来进行对象间的关联建模，进而得到对象间的关联关系。

下面详细介绍上述三个步骤的具体执行过程。

步骤1中，对象的底层特征提取是得到对象的初始表示。对于不同的关联类型以及不同的对象采用不同的底层特征表示。比如对于社交媒体中的用户-用户关联类型，本发明把用户相关的标签信息词频-逆向文件频率(TF-IDF)作为用户的底层特征。而对于图像-标签关联类型，本发明优选用方向梯度直方图(HOG)(32×32维)作为图像的底层特征。而对于标签对象的底层特征，本发明考虑把标签之间的共现信息当作底层特征。比如对于标签t_i，它和标签t_j在同一幅图像中同时出现c次，而标签t_i自身总共出现N次，设总共Q个标签{t₁t₂，...，t_Q}，标签t_i的特征向量为 $x_{t_i}=(x_{t_i}^1,...,x_{t_i}^j,...,x_{t_i}^Q),$ 则 $x_{t_i}^j=c/N.$

步骤2中从底层的特征中学习高层特征是本发明的重要部分。对于对象的底层特征X(维数为D)，本发明采用深度网络进行逐层地抽取其特征。

图3示出了本发明中深度网络的结构示意图。如图3所示，底层特征X＝(x₁，...，x_D)为深度网络的最底层的输入数据，中间层以及最高层的节点表示隐藏节点，是对最底层输入数据的隐式表示，其没有明确的语义含义。中间层节点和最高层节点的状态值为0或1，他们可以看作是底层特征的抽象表示。在从最底层到最高层的逐层特征提取过程中，逐层地得到每层的特征状态。其过程如下：

网络中任意相邻两层之间构成一个受限波尔兹曼机(RBM)。受限波尔兹曼机由下层的可见层v和上层的隐藏层h构成，同一层的节点之间没有连接。给定v层节点的状态，h层的第i个节点的条件状态分布为：

$p(h_i=1|v)=\mathrm{\σ}(b^{{\left(h\right)}_i}+\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{v}_j)$

其中，b_i表示h层节点i的偏置，w_ij表示v层的节点j和h层的节点i之间的权重。σ表示logistic函数(即

)。同样，给定h层节点的状态，v层的第j个节点的条件状态分布为：

$p(v_i=1|h)=\mathrm{\σ}(b^{{\left(v\right)}_j}+\underset{i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{v}_i)$

本发明采用对比散度(contrastive divergence)算法来训练受限波尔兹曼机的参数。

深度网络的训练过程分为两个阶段：逐层的贪心学习过程和全局的调节过程。在逐层的贪心学习过程中，当下层的受限波尔兹曼机训练完成之后，把下层受限波尔兹曼机的隐藏层的状态作为上层受限波尔兹曼机的输入，这样逐层地向上学习，直到最高层。即[h⁰，h¹]，[h¹，h²]，...，[h^N-1，h^N]构成N-1个受限波尔兹曼机，通过[h⁰，h¹]由h⁰学习h¹的特征状态。然后把h¹的特征状态作为受限波尔兹曼机[h¹，h²]的输入，来学习h²的特征状态，如此下去，一直到学习出h^N的特征状态。

在逐层的贪心学习过程之后，用全局的调节过程来进行全局地调整整个网络的参数。本发明采用著名的wake-sleep算法来进行全局参数调整。

当整个深度网络的训练结束之后，媒体对象的高层特征处在深度网络的最高层。在高层得到分量为0或1的高层特性向量。

步骤3是本发明进行关联建模的步骤。在该步骤，本发明提出隐式特征的概念并提出一个生成式的模型来模拟由隐式特征生成对象间的关联信息和高层特征的产生过程。

隐式特征是一种抽象的带有语义的特征向量，每一维表示一种语义特征，比如对于一幅图像，其特征种类包括(flower，sky，blue)，如果一幅图像的隐式特征向量为(1，0，1)，则表示该图像具有flower，blue的特性，而没有sky这一种特征。

在具体的建模之前，首先列出后面讨论所要用到的一些重要的符号及其所表示的含义(假设我们研究V类型中的对象与s类型中的对象之间的关联性，V和s可以是相同的类型，比如都是用户；同样，他们也可以是不同的类型，比如V表示图像，而s表示标签)：

表1符号及其含义

模型首先随机初始化Z^v和Z^s，以及由均值为0，方差为σ_u的高斯分布产生的权重U，σ_u为预定值，优选为1。然后基于以上的定义，假设对象的高层特征以及他们之间的关联信息均由他们的隐式特征产生。

假设分析V类型对象中对象i与s类型对象中对象j的关联性，模型的执行过程如下：

步骤3.1：计算隐式特征的先验分布，我们采用已有“印度快餐过程”方法定义隐式特征的先验分布。对于对象i，拥有隐式特征k的概率为：

$P(z_{\mathrm{ik}}=1|Z_{-\mathrm{ik}}^v)=\frac{m_k}{N}$

其中，m_k表示拥有隐式特征k的对象的数目。N表示对象的总数。

表示V类型对象的特征矩阵中除了z_ik之外的其他元素。

步骤3.2：计算由隐式特征生成对象i的高层特征的概率(对于对象j，该过程类似)：

$p\left({x_{\mathrm{im}}}^{\left(g\right)}\right|z_i)=\mathrm{\σ}({b_{\mathrm{im}}}^{\left(g\right)}+\underset{n}{\mathrm{\Σ}}{w_{\mathrm{mn}}}^{\left(g\right)}{z}_{\mathrm{in}})$

其中，σ表示logistic函数，x_im ^(g)表示对象i的高层特征向量中的第m个分量，z_i表示对象i的隐式特征向量，b_im ^(g)表示对象i的高层特征向量中的第m个分量的偏差(bias)，w_mn ^(g)表示对象i的高层特征向量中的第m个分量与隐式特征z_i的第n个分量之间的权重。z_in表示第i个对象的隐式特征向量z_i的第n个分量。

步骤3.3：计算由隐式特征生成对象的关联信息的概率：

$P\left(R\right|Z^v,Z^s,U)=\underset{i,j}{\mathrm{\Π}}P\left(r_{\mathrm{ij}}\right|Z^v,Z^s,U)$

其中，对象i和对象j之间有关联的概率为：

$P(r_{\mathrm{ij}}=1|Z^v,Z^s,U)=\mathrm{\σ}\left(z_i{{\mathrm{Uz}}_j}^T\right)$

步骤3.4：采样隐式特征ZV(对Zs也是如此)，以以下概率采样：

$P(z_{\mathrm{ik}}=1|x_i^{\left(g\right)},R,Z_{-\mathrm{ik}}^v,Z^s,U)\∝$

$P(z_{\mathrm{ik}}=1|Z_{-\mathrm{ik}}^v)\·P\left(x_i^{\left(g\right)}\right|z_{\mathrm{ik}=1},Z_{-\mathrm{ik}}^v)\·P\left(r_{\mathrm{ij}}\right|z_{\mathrm{ik}}=1,Z_{-\mathrm{ik}}^v,Z^s,U)$

其中， $P\left(x_i^{\left(g\right)}\right|z_{\mathrm{ik}=1},Z_{-\mathrm{ik}}^v)=\underset{m}{\mathrm{\Π}}p\left(x_{\mathrm{im}}^{\left(g\right)}\right|z_{\mathrm{ik}=1},Z_{-\mathrm{ik}}^v).$ 该步骤可以得到对象i的隐式特征k的新的值z_ik，以该新的值更新旧的值。步骤3.5：更新权重U，更新方式为：构造一个当前的U^old为均值，以σ_u为方差的高斯分布，然后从该高斯分布中产生新的U^new。回到步骤3.1，

如此重复多次，达到预定的循环次数，最后得到平衡状态下每个对象的隐式特征状态，隐式特征状态就是隐式特征每个分量的值。循环结束时，利用步骤3.3的方法得到所求的对象间的关联性的概率。

为了评估本发明提出的上述方案，特设计了两组实验，分别在Flickr上对用户-用户同质社交媒体对象关联类型和Flickr上图像-标签异质媒体对象关联类型进行预测分析。实验中，采用AUC作为评测指标。

本实验利用Flickr上1000个用户的信息进行用户-用户同质对象间的关联分析。这些信息包括用户“profile”中的标签、用户上传的图片的标签、用户标记为“like”的图片的标签、用户的“contact list”。本发明采用TF-IDF作为底层特征。并与传统的矩阵分解方法和基于关联图拓扑特征的方法(传统的方法没有应用深度学习)进行对比，其结果如表2：

表2用户用户关联分析结果

同时，本实验对Flickr的25000社交图像与标签进行关联分析。对于图像，采用SIFT作为底层特征，对于标签，采用前面提到的词频-逆向文件频率(TF-IDF)作为底层特征。如果图像i带有标签j，则认为图像i与标签j有关联。同样，采用AUC作为评测指标。由于现有的基于图拓扑的方法不能用于异质对象间的关联分析，实验中本发明与矩阵分解和作为图像分类问题的logistic回归方法进行比较，在logistic回归方法中，如果图像i被分类分为标签j类，则认为图像i与标签j有关联。其结果如表3：

表3图像-标签关联分析结果

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的对象间关联分析方法，其包括：

步骤1、提取对象的底层特征；

步骤2、对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；

步骤3、通过对象的高层特征获得对象间的关联关系。

2.如权利要求1所述的关联分析方法，其特征在于，步骤1中针对不同的对象以及对象间的关联关系提取不同的底层特征。

3.如权利要求1所述的关联分析方法，其特征在于，步骤2中在所述深度网络中相邻两层之间构成一个受限波尔兹曼机；并采用对比散度算法训练所述受限波尔兹曼机，最终得到对象的高层特征。

4.如权利要求3所述的关联分析方法，其特征在于，训练所述受限波尔兹曼机的过程分为两个阶段：逐层的贪心学习过程和全局的调节过程。

5.如权利要求1所述的关联分析方法，其特征在于，步骤3中通过隐式特征获得对象的高层特征和对象间的关联关系，其中所述隐式特征为假设的带有语义的特征向量，其能够生成对象的高层特征和关联信息，根据所述对象间的关联信息可以获得对象间的关联关系。

6.如权利要求5所述的关联分析方法，其特征在于，步骤3具体包括以下步骤：

步骤3.1、计算每个对象拥有不同隐式特征的概率；

步骤3.2、计算由不同隐式特征生成每个对象的高层特征的概率；

步骤3.3、根据对象的隐式特征间的交互权重计算由不同隐式特征生成每个对象的关联信息的概率，进而计算对象间具有关联关系的概率；

步骤3.4、根据每个对象拥有不同隐式特征的概率、不同隐式特征生成每个对象的高层特征的概率、对象间具有关联关系的概率更新相应的隐式特征；

步骤3.5、更新对象的隐式特征间的交互权重，返回步骤3.1，直到达到预定的循环次数，得到每个对象的最终隐式特征，并根据最终的隐式特征获得对象间的关联关系。

7.一种基于深度学习的对象间关联分析装置，其包括：

底层特征提取模块，其用于提取对象的底层特征；

高层特征获取模块，其用于对所提取的底层特征通过深度网络进行高层语义学习，得到对象的高层特征；

关联关系获取模块，其用于通过对象的高层特征获得对象间的关联关系。

8.如权利要求7所述的关联分析装置，其特征在于，底层特征提取模块针对不同的对象以及对象间的关联关系提取不同的底层特征。

9.如权利要求7所述的关联分析装置，其特征在于，高层特征获取模块在所述深度网络中相邻两层之间构成一个受限波尔兹曼机；并采用对比散度算法训练所述受限波尔兹曼机，最终得到对象的高层特征。

10.如权利要求9所述的关联分析方法，其特征在于，训练所述受限波尔兹曼机的过程分为两个阶段：逐层的贪心学习过程和全局的调节过程。

Images