CN106897254A - 一种网络表示学习方法 - Google Patents

Abstract

本发明提供了一种网络表示学习方法，本发明综合考虑文本信息以及网络结构进行学习，并针对文本信息部分，设计了不同类型的基于连续词袋以及基于卷积神经网络的文本编码模型，本发明不仅利用了网络中节点的网络结构信息，对当前节点的邻居节点进行预测，也利用了节点的文本信息，对当前节点文本信息的表示向量进行了预测，本发明的方法，能够有效的将节点的文本信息以及网络结构信息编码到表示向量中，同时在节点分类的任务上显著的提高了分类准确率。同时本方法充分考虑了实际网络中的有效信息，例如文本信息，在不同类型的信息网络数据上都取得了优异的效果，具有良好的实用性。

Description

一种网络表示学习方法

技术领域

本发明属于自然语言处理及表示学习技术领域，更具体涉及一种网络表示学习方法。

背景技术

真实世界中的实体，通常会互相交互，形成大规模的复杂网络。近些年来，从社会学领域到计算科学领域，针对网络分析的研究取得了巨大的进步。传统的网络分析的技术，会把每个网络节点看作一个唯一的符号。这种表示方法通常面临着稀疏性问题，对于许多任务，例如节点分类、个性化推荐、异常检测以及关系预测，都极大的影响了最终的效果。

为了克服稀疏性问题，受到近些年来表示学习的启发，学者们提出了针对网络分析的网络表示学习的方法。网络表示学习目的是将复杂网络中的节点的网络结构信息，编码到一个低维的语义空间中。通过网络节点的这种连续实值的表示，来判断节点之间的距离远近，有无关系等等。同时，这种实值的表示，还可以作为特征向量，用作分类以及聚类等网络分析任务上。

但是，对于真实世界中的网络，节点往往拥有其他的附加文本信息。例如，在twitter和weibo中，用户一般会拥有自己生成的微博、个人简介等文本信息。这些节点的文本信息，对于节点的表示同样起着关键性的作用。但是，目前已有的工作，并没有将文本信息以及网络结构信息同时考虑到表示向量的学习当中。

综上所述，对于网络中的节点，同时考虑网络结构信息以及文本信息来学习，对于学习一个更好的节点表示是十分必要的。这种基于文本信息以及网络结构信息的表示，可以充分利用已有信息，提高网络节点表示的质量。

发明内容

本发明要解决的技术问题是如何结合网络中节点的网络结构信息及文本信息，学习节点的高质量的表示，以克服现有网络表示方法未能充分利用节点的文本信息的问题。

为了解决上述技术问题，本发明提供一种网络表示学习方法，所述方法包括以下步骤：

S1、建立基于网络结构的多个第一网络节点表示向量，其中每一个网络节点均对应一个所述第一网络节点表示向量；

S2、以网络节点的文本信息为基础，分别建立基于连续词袋的第一文本编码模型以及基于卷积神经网络的第二文本编码模型，并利用所述第一文本编码模型和所述第二文本编码模型建立多个第二网络节点表示向量，其中每一个网络节点均对应一个所述第二网络节点表示向量；

S3、根据所述第一网络节点表示向量以及所述第二网络节点表示向量构造概率公式，并根据所述概率公式，利用梯度下降算法对所述第一网络节点表示向量以及所述第二网络节点表示向量进行优化，确定利用所述第一网络节点表示向量得到所述第二网络节点表示向量的概率与利用所述第一网络节点表示向量得到与当前网络节点相邻的网络节点的概率的和。

优选地，所述步骤S1包括以下步骤：

S11、构建网络信息数据集；所述数据集中包括各个节点的关联信息，所述关联信息用于表示网络结构；

S12、根据所述数据集，利用DeepWalk模型学习得到所述第一网络节点表示向量。

优选地，所述步骤S12包括以下步骤：

S121、在网络中利用随机游走构建随机游走序列；

S122、将所述随机游走序列中的节点作为文本语料中的词，将所述随机游走序列作为文本语料中的句子，利用skip gram模型训练得到所述第一网络节点表示向量。

优选地，所述方法还包括以下步骤：

S4、将对应的第一网络节点表示向量以及所述第二网络节点表示向量连接形成目标向量，利用所述目标向量确定对应网络节点的类型，并将得到的网络节点的类型与预先存储的类型进行比较，确定所述第二网络节点表示向量的准确度，其中所述预先存储的类型存储于所述网络信息数据集。

优选地，所述步骤S2中建立基于连续词袋的第一文本编码模型以及基于卷积神经网络的第二文本编码模型包括以下步骤：

S21、利用网络节点的文本信息，利用skip gram模型训练词向量；

S22、以所述词向量作为输入，以所述第二网络节点表示向量为输出构建所述第一文本编码模型以及所述第二文本编码模型。

优选地，所述第一文本编码模型为：

ENC_bow(x_v)＝d^Tx_v

式中，X_V为所述词向量的矩阵，d为各个所述词向量上的常数分布，用于实现对所述矩阵X_V中的所有词向量取均值，ENC_bow表示对所述矩阵X_V中的所有词向量取均值。

优选地，所述第二文本编码模型包括卷积层、池化层以及非线性转换层；

其中，所述卷积层为：

式中，表示第p层卷积层输出矩阵的第i个向量，表示第p层卷积层输入矩阵，其中，所述p层卷积层输入矩阵为第p-1层的输出矩阵的第i个向量，并且第p层卷积层的第一个输入矩阵为所述第一文本编码模型输出的矩阵；与分别是第p层卷积层的卷积核矩阵以及偏置向量；

所述池化层为：

式中，b_p ^(i-1)为对应的池化层的窗口大小，Z_i ^(p,f)为第p层卷积层输出矩阵的第i个向量的卷积核矩阵，Z_bp(i-1) ^(p,f)为第p层卷积层输出矩阵的卷积核矩阵，mean表示对第p层卷积层输出矩阵的卷积核矩阵按照对应的窗口大小的分块后的区块求均值；

所述非线性转换层为：

式中，tanh表示非线性函数，其将所述第p层卷积层输出矩阵的第i个向量的卷积核矩阵表示的结果映射到[-1,1]区间；

其中通过控制池化层的窗口大小使所述非线性转换层输出的矩阵为一行或一列，根据所述非线性转换层的输出矩阵形成所述第二网络节点表示向量。

优选地，所述概率公式为：

式中，v表示当前的网络节点，C_v表示与当前网络节点相邻的网络节点的集合，∑logPr(C_V丨v)表示利用当前网络节点的所述第一网络节点表示向量预测得到与当前网络节点相邻的所有网络节点的概率的和；t_v表示当前网络节点的文本信息，∑logPr(t_V丨v)表示利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率；

其中，利用当前网络节点的所述第一网络节点表示向量预测得到与当前网络节点相邻的所有网络节点的概率利用如下公式计算：

式中，v_i表示所述集合C_v中的一个网络节点，v_j表示当前网络节点，v_k表示所述集合C_v中的所有节点中的一个节点，∑exp(v_k·v_i)表示遍历所述集合C_v中的所有节点并求和；

利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率利用如下公式计算：

式中，vn表示所述第一网络节点表示向量，vt表示所述第一网络节点表示向量，rv表示将当前节点的第二网络节点表示向量映射到当前节点的所述第一网络节点表示向量的空间的映射矩阵，ru表示将所述集合C_v中的一个网络节点的第二网络节点表示向量映射到当前节点的所述第一网络节点表示向量的空间的映射矩阵，∑exp(r_u·v_n)表示遍历所述集合C_v中的所有节点并求和。

优选地，所述方法利用负采样算法得到利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率：

式中，σ为sigmoid函数；

所述方法利用负采样算法得到利用当前网络节点的表示向量预测得到当前网络节点的第一网络节点表示向量的概率：

Pr(v_j丨v_i)＝σ(v_j丨v_i)П[1-σ(v_k·v_i)]。

本发明提供了一种网络表示学习方法，本发明综合考虑文本信息以及网络结构进行学习，并针对文本信息部分，设计了不同类型的基于连续词袋以及基于卷积神经网络的文本编码模型，本发明不仅利用了网络中节点的网络结构信息，对当前节点的邻居节点进行预测，也利用了节点的文本信息，对当前节点文本信息的表示向量进行了预测，本发明的方法，能够有效的将节点的文本信息以及网络结构信息编码到表示向量中，同时在节点分类的任务上显著的提高了分类准确率。同时本方法充分考虑了实际网络中的有效信息，例如文本信息，在不同类型的信息网络数据上都取得了优异的效果，具有良好的实用性。另外，本发明的方法可以更改多种文本编码方式，也适用于多种信息网络，具有良好的适用范围及可扩展性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1、图4为本发明的网络表示学习方法的流程图；

图2为本发明中基于连续词袋的第一文本编码模型结构示意图；

图3为本发明中基于卷积神经网络的第二文本编码模型结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

一种网络表示学习方法，如图1所示，所述方法包括以下步骤：

S1、建立基于网络结构的多个第一网络节点表示向量，其中每一个网络节点均对应一个所述第一网络节点表示向量；

S2、以网络节点的文本信息为基础，分别建立基于连续词袋的第一文本编码模型以及基于卷积神经网络的第二文本编码模型，并利用所述第一文本编码模型和所述第二文本编码模型建立多个第二网络节点表示向量，其中每一个网络节点均对应一个所述第二网络节点表示向量；

S3、根据所述第一网络节点表示向量以及所述第二网络节点表示向量构造概率公式，并根据所述概率公式，利用梯度下降算法对所述第一网络节点表示向量以及所述第二网络节点表示向量进行优化，确定利用所述第一网络节点表示向量得到所述第二网络节点表示向量的概率与利用所述第一网络节点表示向量得到与当前网络节点相邻的网络节点的概率的和。

上述方法综合考虑文本信息以及网络结构进行学习，并针对文本信息部分，设计了不同类型的基于连续词袋以及基于卷积神经网络的文本编码模型，本发明不仅利用了网络中节点的网络结构信息，对当前节点的邻居节点进行预测，也利用了节点的文本信息，对当前节点文本信息的表示向量进行了预测，本发明的方法，能够有效的将节点的文本信息以及网络结构信息编码到表示向量中，同时在节点分类的任务上显著的提高了分类准确率。同时本方法充分考虑了实际网络中的有效信息，例如文本信息，在不同类型的信息网络数据上都取得了优异的效果，具有良好的实用性。另外，本发明的方法可以更改多种文本编码方式，也适用于多种信息网络，具有良好的适用范围及可扩展性。

进一步地，所述步骤S1包括以下步骤：

S11、构建网络信息数据集；所述数据集中包括各个节点的关联信息，所述关联信息用于表示网络结构；

S12、根据所述数据集，利用DeepWalk模型学习得到所述第一网络节点表示向量。

如图4所示，所述步骤S12包括以下步骤：

S121、在网络结构中利用随机游走构建随机游走序列；

S122、将所述随机游走序列中的节点作为文本语料中的词，将所述随机游走序列作为文本语料中的句子，利用skip gram模型训练得到所述第一网络节点表示向量，即网络表示向量。

步骤S122中，正常的文本句子是由一个一个词构成，本发明中是将网络中节点看做词，由节点构成的序列看做句子，利用处理文本的方法来处理网络信息。

进一步地，所述方法还包括以下步骤：

S4、将对应的第一网络节点表示向量以及所述第二网络节点表示向量连接形成目标向量，利用所述目标向量确定对应网络节点的类型，例如第一网络节点表示向量为[0,1]，第二网络节点表示向量为[1,2]，连接后得到[0,1,1,2]，根据向量[0,1,1,2]对对应的网络节点进行分类。之后将得到的网络节点的类型与预先存储的类型进行比较，确定所述第二网络节点表示向量的准确度，其中所述预先存储的类型存储于所述网络信息数据集。即，将对应的第一网络节点表示向量以及所述第二网络节点表示向量连接形成目标向量，利用所述目标向量对于训练集中的节点训练分类器，对于测试集中的节点进行分类测试。

如图4所示，进一步地，所述步骤S2中建立基于连续词袋的第一文本编码模型以及基于卷积神经网络的第二文本编码模型包括以下步骤：

S21、利用网络节点的文本信息，利用skip gram模型训练词向量；其中，文本信息存储于上述网络信息数据集中；

S22、以所述词向量作为输入，以所述第二网络节点表示向量(即文本表示向量)为输出构建所述第一文本编码模型以及所述第二文本编码模型。其中，此步骤是利用文本编码器进行编码实现。

所述第一文本编码模型为：

ENC_bow(x_v)＝d^Tx_v

式中，X_V为所述词向量的矩阵，d为各个所述词向量上的常数分布，用于实现对所述矩阵X_V中的所有词向量取均值，ENC_bow表示对所述矩阵X_V中的所有词向量取均值。如图2所示，词向量的矩阵X_V在词向量输入层输入，由输出层输出取均值后的矩阵。

如图3所示，所述第二文本编码模型包括卷积层、池化层以及非线性转换层；第二文本编码模型的词向量输入层用于输入一文本编码模型输出的矩阵，输出层用于输出非线性转换层输出的第二网络节点表示向量。

其中，所述卷积层为：

式中，表示第p层卷积层输出矩阵的第i个向量，表示第p层卷积层输入矩阵，其中，所述p层卷积层输入矩阵为第p-1层的输出矩阵的第i个向量，并且第p层卷积层的第一个输入矩阵为所述第一文本编码模型输出的矩阵；与分别是第p层卷积层的卷积核矩阵以及偏置向量；

所述池化层为：

式中，b_p ^(i-1)为对应的池化层的窗口大小，Z_i ^(p,f)为第p层卷积层输出矩阵的第i个向量的卷积核矩阵，Z_bp(i-1) ^(p,f)为第p层卷积层输出矩阵的卷积核矩阵，mean表示对第p层卷积层输出矩阵的卷积核矩阵按照对应的窗口大小的分块后的区块求均值；假设第p层卷积层的窗口大小为w_p，卷积核大小为f_p。

所述非线性转换层为：

式中，tanh表示激活函数或非线性函数，其将所述第p层卷积层输出矩阵的第i个向量的卷积核矩阵表示的结果映射到[-1,1]区间；

其中通过控制池化层的窗口大小使所述非线性转换层输出的矩阵为一行或一列，根据所述非线性转换层的输出矩阵形成所述第二网络节点表示向量。通过控制池化层池化窗口的大小，对同一卷积核卷积后的所有结果进行池化，可以使得池化输出以及非线性转化输出的矩阵为一个表示向量。

根据上述记载可知，第一文本编码模型对所有词向量取均值，得到的矩阵作为第二文本编码模型的输入，所述第二文本编码模型根据所述第一文本编码模型的输出形成所述第二网络节点表示向量，具体的，第二文本编码模型包括卷积层、池化层以及非线性转换层，所述卷积层将第一文本编码模型的输出作为输入进行卷积处理，同时卷积层可以多余一个，卷积层处理后的数据传输给池化层，由池化层进行池化处理后传输给非线性转换层，由非线性转换层对池化层的输出处理形成所述第二网络节点表示向量。

进一步地，所述概率公式为：

式中，v表示当前的网络节点，C_v表示与当前网络节点相邻的网络节点的集合，∑logPr(C_V丨v)表示利用当前网络节点的所述第一网络节点表示向量预测得到与当前网络节点相邻的所有网络节点的概率的和；t_v表示当前网络节点的文本信息，∑logPr(t_V丨v)表示利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率；

其中，利用当前网络节点的所述第一网络节点表示向量预测得到与当前网络节点相邻的所有网络节点的概率利用如下公式计算：

式中，v_i表示所述集合C_v中的一个网络节点，v_j表示当前网络节点，v_k表示所述集合C_v中的所有节点中的一个节点；∑exp(v_k·v_i)表示遍历所述集合C_v中的所有节点并求和，特别地是对特定指数结果进行求和，然后通过soft max进行了归一化；

利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率利用如下公式计算：

式中，vn表示所述第一网络节点表示向量，vt表示所述第一网络节点表示向量，rv表示将当前节点的第二网络节点表示向量映射到当前节点的所述第一网络节点表示向量的空间的映射矩阵，ru表示将所述集合C_v中的一个网络节点的第二网络节点表示向量映射到当前节点的所述第一网络节点表示向量的空间的映射矩阵，∑exp(r_u·v_n)表示遍历所述集合C_v中的所有节点并求和，特别地是对特定指数结果进行求和，然后通过soft max进行了归一化。

进一步地，所述方法利用负采样算法得到利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率：

式中，σ为sigmoid函数；

所述方法利用负采样算法得到利用当前网络节点的表示向量预测得到当前网络节点的第一网络节点表示向量的概率：

Pr(v_j丨v_i)＝σ(v_j丨v_i)П[1-σ(v_k·v_i)]。

进一步地，所述方法还包括如下步骤：

本发明的方法旨在将信息网络中节点映射到低维连续的实数空间中，本发明综合节点文本信息以及网络结构信息，同时能够克服传统网络表示方法的稀疏性问题。本发明能够利用节点的不同类型信息，学习出一个统一的表示向量，在节点分类的任务上验证了其有效性及实用性。

下面通过一个是实施例对上述方法案进行更加详细的介绍。

一种结合文本信息以及网络结构的信息网络表示学习方法，包括如下步骤：

A、以基于随机游走的DeepWalk网络表示学习为基础，建立基于网络结构的网络节点表示，即第一网络节点表示向量；

具体地，步骤A具体是通过执行以下步骤实现的：

A1、构建信息网络数据集；

构建信息网络数据集包括抓取收集信息网络中的节点信息，这些信息包括节点之间的关联信息、文本信息以及类别信息。

A2、运用DeepWalk模型学习节点的网络结构表示向量。

具体的，学习节点的网络结构表示向量步骤如下：第一，根据节点之间的关联信息，在网络中利用随机游走，构建随机游走序列；第二，把游走序列中的节点当作文本语料中的词，把游走序列当作文本语料中的句子，利用训练词向量的skip gram模型训练得到的节点序列，可以得到与词向量类似的基于网络结构的节点向量，即第一网络节点表示向量。

其中，DeepWalk模型中的参数包括：随机游走过程中，每个节点游走的序列个数以及序列长度；skip gram模型中窗口大小、负例个数、学习率等；

B、以网络节点的文本信息为基础，分别建立基于连续词袋的文本编码模型(即第一文本编码模型)以及基于卷积神经网络的文本编码模型(即第二文本编码模型)；

具体地，所述步骤B具体是通过执行以下步骤实现的：

B1、利用信息网络中所有节点的文本信息，训练词向量；

利用节点文本信息训练初始词向量，利用的是word2vec中的skip gram模型，参数包括窗口大小、学习率等等。

B2、以每个节点文本信息中的词向量作为输入，以该节点的第一网络节点表示向量作为输出，构建基于连续词袋的文本编码模型以及基于卷积神经网络的文本编码模型。

其中，基于连续词袋的文本编码模型以文本中的词向量作为输入，直接对所有词向量进行平均，得到输出的向量表示，计算公式如下：

ENC_bow(x_v)＝d^Tx_v

其中x_v＝[w₁,…,w_n]表示文本描述信息中所有词向量构成的矩阵，d表示在所有词向量上的常数分布。

基于连续词袋的文本编码模型能够以文本信息中每个词的词向量作为输入，经过加权平均后，得到一个与输入词向量维度相同的固定长度的向量作为输出，作为基于文本信息的节点的向量表示，来参与步骤C中由当前节点表示向量分别生成基于文本以及基于网络的表示向量的过程。

基于卷积神经网络的文本编码模型主要包括三个部分，分别为卷积层，池化层以及非线性转换层。其中卷积层以及池化层各有两层。

假设第p层卷积层的窗口大小为w_p，卷积核大小为f_p，那么卷积层的输出公式如下：

其中表示第p层卷积层输出矩阵的第i个向量，表示第p层卷积层输入矩阵(第p-1层的输出矩阵)的第i个向量；与分别是第p层卷积层的卷积核矩阵以及偏置向量。

假设第p层池化层的区块大小为b_p，采用了平均池化的池化层，输出公式如下：

经过池化操作之后，区块中的特征被抽取，卷积之后的表示规模降到了1/f_p。

在非线性转换层，采用tanh非线性函数，将表示的结果映射到[-1,1]区间，如下所示：

综上所述，形成所述第二网络节点表示向量的过程为：

ENC_CNN(x_v)＝z^P

基于卷积神经网络的文本编码模型能够以文本信息中每个词的词向量作为输入，经过卷积、池化、非线性转换等操作后，输出一个固定维数的向量，作为基于文本信息的节点的向量表示，来参与步骤C中由当前节点表示向量分别生成基于文本以及基于网络的表示向量的过程。

C、根据基于网络的表示向量与基于文本的表示向量之间的关系，同时对这两种表示进行学习；

具体地，所述步骤C具体是通过执行以下步骤实现的：

C1、构造基于当前节点第一网络节点表示向量以及所述第二网络节点表示向量的概率公式；

具体的，概率公式为：

其中，第一部分为利用当前节点的第一网络节点表示向量预测该节点在网络中的上下文节点，即邻节点的第二网络节点表示向量的概率，如下：

第二部分为根据当前节点的第一网络节点表示向量预测该节点的文本信息，及文本编码后的第二网络节点表示向量的概率，如下：

其中，通过一个全连接网络W，将基于文本的第二网络节点表示向量映射到当前节点的第一网络节点表示向量的空间中，即r_v＝W·v_t。

C2、利用梯度下降算法，分别对基于文本的表示模型以及基于网络的表示模型进行优化学习。

具体的，优化学习过程分为基于文本的表示的优化以及基于网络的表示的优化两个部分。

其中，基于文本的优化采用了负采样算法，近似由当前节点的第一网络节点表示向量预测基于文本的第二网络节点表示向量的概率，如下所示：

采用反向传播算法，来优化编码模型以及全连接网络组成的神经网络中参数。

同样，为了近似由当前节点的第一网络节点表示向量预测基于网络的第二网络节点表示向量的概率，采用负采样算法，如下所示：

Pr(v_j丨v_i)＝σ(v_j丨v_i)П[1-σ(v_k·v_i)]

采用随机梯度下降算法，对节点的表示向量进行优化，得到利用所述第一网络节点表示向量得到所述第二网络节点表示向量的概率与利用所述第一网络节点表示向量得到与当前网络节点相邻的网络节点的概率的和。

D、利用学习到的信息网络节点的表示向量，进行网络节点的分类任务，具体地，对于网络节点进行分类可以处理不同情况下的分类任务。对于已经学习出的综合了文本信息与网络结构信息的表示向量的节点，可以直接利用有文本信息与网络结构信息的表示向量形成的目标向量进行分类；对于新的网络节点，可以分别利用DeepWalk以及文本编码模型得到两种表示向量，将两者的直接连接作为其表示向量，进而进行分类。

与现有技术相比，本发明提出了方法，针对文本编码部分，设计了不同类型了基于连续词袋以及基于卷积神经网络的文本编码模型。本发明不仅利用了信息网络中节点的网络结构信息，对当前节点的邻居节点进行预测，也利用了节点的文本信息，对当前节点文本信息的表示向量进行预测。这种信息网络的表示学习方法，能够有效的将节点的文本信息以及网络结构信息编码到表示向量中，同时在节点分类的任务上显著的提高了分类准确率。本方法充分考虑了实际网络中的有效信息，在不同类型的信息网络数据上都取得了优异的效果，具有良好的实用性。同时，该方法可以更改多种文本编码方式，也适用于多种信息网络，具有良好的适用范围及可扩展性。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种网络表示学习方法，其特征在于，所述方法包括以下步骤：

S1、建立基于网络结构的多个第一网络节点表示向量，其中每一个网络节点均对应一个所述第一网络节点表示向量；

S2、以网络节点的文本信息为基础，分别建立基于连续词袋的第一文本编码模型以及基于卷积神经网络的第二文本编码模型，并利用所述第一文本编码模型和所述第二文本编码模型建立多个第二网络节点表示向量，其中每一个网络节点均对应一个所述第二网络节点表示向量；

S3、根据所述第一网络节点表示向量以及所述第二网络节点表示向量构造概率公式，并根据所述概率公式，利用梯度下降算法对所述第一网络节点表示向量以及所述第二网络节点表示向量进行优化，确定利用所述第一网络节点表示向量得到所述第二网络节点表示向量的概率与利用所述第一网络节点表示向量得到与当前网络节点相邻的网络节点的概率的和。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：

S11、构建网络信息数据集；所述数据集中包括各个节点的关联信息，所述关联信息用于表示网络结构；

S12、根据所述数据集，利用DeepWalk模型学习得到所述第一网络节点表示向量。

3.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：

S121、在网络中利用随机游走构建随机游走序列；

S122、将所述随机游走序列中的节点作为文本语料中的词，将所述随机游走序列作为文本语料中的句子，利用skip gram模型训练得到所述第一网络节点表示向量。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括以下步骤：

S4、将对应的第一网络节点表示向量以及所述第二网络节点表示向量连接形成目标向量，利用所述目标向量确定对应网络节点的类型，并将得到的网络节点的类型与预先存储的类型进行比较，确定所述第二网络节点表示向量的准确度，其中所述预先存储的类型存储于所述网络信息数据集。

5.根据权利要求1所述的方法，其特征在于，所述步骤S2中建立基于连续词袋的第一文本编码模型以及基于卷积神经网络的第二文本编码模型包括以下步骤：

S21、利用网络节点的文本信息，利用skip gram模型训练词向量；

S22、以所述词向量作为输入，以所述第二网络节点表示向量为输出构建所述第一文本编码模型以及所述第二文本编码模型。

6.根据权利要求5所述的方法，其特征在于，所述第一文本编码模型为：

ENC_bow(x_v)＝d^Tx_v

式中，X_V为所述词向量的矩阵，d为各个所述词向量上的常数分布，用于实现对所述矩阵X_V中的所有词向量取均值，ENC_bow表示对所述矩阵X_V中的所有词向量取均值。

7.根据权利要求6所述的方法，其特征在于，所述第二文本编码模型包括卷积层、池化层以及非线性转换层；

其中，所述卷积层为：

$z_i^{\left(p\right)}=W^{\left(p\right)}{\hat{z}}_i^{\left(p-1\right)}+b_i^{\left(p\right)},$

式中，表示第p层卷积层输出矩阵的第i个向量，表示第p层卷积层输入矩阵，其中，所述p层卷积层输入矩阵为第p-1层的输出矩阵的第i个向量，并且第p层卷积层的第一个输入矩阵为所述第一文本编码模型输出的矩阵；与分别是第p层卷积层的卷积核矩阵以及偏置向量；

所述池化层为：

$z_i^{(p,f)}=mean(z_{b_p(i-1)}^{(p,f)},...,z_{b_{p}i}^{(p,f)})$

式中，b_p ^(i-1)为对应的池化层的窗口大小，Z_i ^(p,f)为第p层卷积层输出矩阵的第i个向量的卷积核矩阵，Z_bp(i-1) ^(p,f)为第p层卷积层输出矩阵的卷积核矩阵，mean表示对第p层卷积层输出矩阵的卷积核矩阵按照对应的窗口大小的分块后的区块求均值；

所述非线性转换层为：

$z_i^{(p,f)}=\tanh \left(z_i^{(p,f)}\right)$

式中，tanh表示非线性函数，其将所述第p层卷积层输出矩阵的第i个向量的卷积核矩阵表示的结果映射到[-1,1]区间；

其中通过控制池化层的窗口大小使所述非线性转换层输出的矩阵为一行或一列，根据所述非线性转换层的输出矩阵形成所述第二网络节点表示向量。

8.根据权利要求1所述的方法，其特征在于，所述概率公式为：

$L=\underset{v\∈V}{\Σ}\log \mathrm{Pr}\left(c_v,t_v|v\right)=\underset{v\∈V}{\Σ}\log \mathrm{Pr}\left(c_v|v\right)+\underset{v\∈V}{\Σ}\log \mathrm{Pr}\left(t_v|v\right)$

式中，v表示当前的网络节点，C_v表示与当前网络节点相邻的网络节点的集合，∑logPr(C_V丨v)表示利用当前网络节点的所述第一网络节点表示向量预测得到与当前网络节点相邻的所有网络节点的概率的和；t_v表示当前网络节点的文本信息，∑logPr(t_V丨v)表示利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率；

其中，利用当前网络节点的所述第一网络节点表示向量预测得到与当前网络节点相邻的所有网络节点的概率利用如下公式计算：

$\mathrm{Pr}\left(v_j\right|v_i)=\exp (v_j\·v_i)/\underset{v_k\∈V}{\Σ}\exp (v_k\·v_i)$

式中，v_i表示所述集合C_v中的一个网络节点，v_j表示当前网络节点，v_k表示所述集合C_v中的所有节点中的一个节点，∑exp(v_k·v_i)表示遍历所述集合C_v中的所有节点并求和；

利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率利用如下公式计算：

$\mathrm{Pr}\left(t_v\right|v)=\mathrm{Pr}\left(v_t\right|v_n)=\exp (r_v\·v_n)/\underset{u\∈V}{\Σ}\exp (r_u\·v_n)$

式中，vn表示所述第一网络节点表示向量，vt表示所述第一网络节点表示向量，rv表示将当前节点的第二网络节点表示向量映射到当前节点的所述第一网络节点表示向量的空间的映射矩阵，ru表示将所述集合C_v中的一个网络节点的第二网络节点表示向量映射到当前节点的所述第一网络节点表示向量的空间的映射矩阵，∑exp(r_u·v_n)表示遍历所述集合C_v中的所有节点并求和。

9.根据权利要求8所述的方法，其特征在于，所述方法利用负采样算法得到利用当前网络节点的所述第一网络节点表示向量预测得到当前网络节点的第二网络节点表示向量的概率：

$\mathrm{Pr}\left(t_v\right|v)=\mathrm{\σ}(r_v\·v_n)\underset{u\∈NEG\left(v\right)}{\Π}\[1-\mathrm{\σ}(r_u\·v_n)\]$

式中，σ为sigmoid函数；

所述方法利用负采样算法得到利用当前网络节点的表示向量预测得到当前网络节点的第一网络节点表示向量的概率：

Pr(v_j丨v_i)＝σ(v_j丨v_i)П[1-σ(v_k·v_i)]。