CN108021616A

CN108021616A - 一种基于循环神经网络的社区问答专家推荐方法

Info

Publication number: CN108021616A
Application number: CN201711077790.3A
Authority: CN
Inventors: 王健; 孙吉庆; 林鸿飞
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2017-11-06
Filing date: 2017-11-06
Publication date: 2018-05-11
Anticipated expiration: 2037-11-06
Also published as: CN108021616B

Abstract

本发明公开了一种基于循环神经网络的社区问答专家推荐方法，其包括：对数据进行预处理；对所述问答社区所对应的全部用户进行候选专家筛选；构建各所述候选专家所对应的专家用户档案；基于特定领域知识的词向量训练获得词向量查找表；基于循环神经网络模型进行特征表示学习并构建社区问答专家推荐模型；基于构建社区问答专家推荐模型，确定待处理问答社区中的新的问题所对应的专家推荐顺序。本发明能有效地表示句子的语法和语义信息并且能够挖掘句子级别的高层次特征，减少了人工干预，并能进行自动的训练和学习。

Description

一种基于循环神经网络的社区问答专家推荐方法

技术领域

本发明涉及一种专家推荐方法，具体的说是涉及一种基于循环神经网络的社区问答专家推荐方法。

背景技术

互联网的快速发展改变了人们沟通的方式，更多的人越来越依赖他们的互联网社区来获取信息、咨询专业知识，如公众讨论论坛，社区建设的百科全书(例如维基百科)和社区问答(CQA)网站。在所有这些互联网服务中，利用CQA寻找自己所需的信息以及分享自己的专业知识最近在公众中获得了广泛的普及。伴随着社区问答网站上越来越多的问题得到解答，社区问答已经建立了一个大规模的、可以自由获取知识的知识仓库。它在满足提问者的需求的同时，还可以为广大的社会群体提供有价值的信息和知识。对于社区问答而言，从解答问题到构建知识仓库这整个过程都可以从获取高质量答案中获利，所以得到高质量的回答对社区问答而言是一个非常重要的问题。为社区问答系统中新提出的问题推荐相应的专家能够增强整个知识获取的过程。目前关于专家推荐的方法有以下几种：

一是基于词共现的方法：在用户给定问题之前，为每个在社区中注册过的用户建立用户档案，档案中是用户回答过的问题或者提问过的问题，当有其他用户提问问题时，会根据用户档案预测最佳的回答者，对问题中的词与出现过该词的用户档案进行检索并打分，这种方法需要包含用户的查询词，比如：VSM模型、Language Model模型、BM25模型、布尔模型等等。这种方法虽然比较经典，但是它忽略了没有共现词、语义相关的用户，不能很好地预测最佳回答者。

二是基于语义关联方法：针对提问者提问的问题，可以利用问题的语义信息检索用户档案，丰富查询结果。这类方法主要有潜在语义模型(LSA)、概率潜在语义分析模型(PLSA)，以及现在非常流行的文档生成模型(LDA)等。这类方法在一定程度上提高了检索的召回率，但是引入了大量噪音信息，降低了准确度。如何准确高效的预测最佳回答者成为社区问答亟待解决的问题。

发明内容

鉴于已有技术存在的缺陷，本发明的目的是要提供一种基于循环神经网络的社区问答专家推荐方法，其能有效地表示句子的语法和语义信息并且能够挖掘句子级别的高层次特征，减少了人工干预，并能进行自动的训练和学习。

为了实现上述目的，本发明的技术方案：

一种基于循环神经网络的社区问答专家推荐方法，其特征在于，包括如下步骤：

步骤1、获取待处理问答社区所对应的一定时期内的Stack Overflow数据集中的数据并进行预处理；所述数据至少包括Stack Overflow数据集中标签为R语言的语料；

步骤2、对所述问答社区所对应的全部用户进行候选专家筛选，所述候选专家为待处理问答社区所对应的一定时期内的Stack Overflow数据集中其至少一个问题的回答被评选为最佳回答的用户，所述筛选至少包括基于统计分析的方法，对所述用户以其回答被评选为最佳回答的数量自多至少的顺序进行排列后，按照所设定筛选数量依次选择出相应的用户作为候选专家；

步骤3、构建各所述候选专家所对应的专家用户档案即获取每一所述候选专家回答过的问题中被选为最佳答案的全部的问题数据，并以所获取的问题数据中的问题的标签、问题的标题、问题的主体内容以及三者间的任意组合形式作为档案对应的单词组成的序列并组建对应的专家用户档案；

步骤4、基于特定领域知识的词向量训练获得词向量查找表；

步骤5、基于循环神经网络模型进行特征表示学习并构建社区问答专家推荐模型；

步骤6、基于构建社区问答专家推荐模型，确定待处理问答社区中的新问题所对应的专家推荐顺序。

进一步的，步骤1中的数据预处理，具体包括以下子步骤：

步骤11、确定语料中所需关注的语料内容并进行抽取，所述语料内容至少包括回答问题的文本数据、回答问题的ID，最佳回答者的ID，回答问题的标签，回答问题的标题以及回答问题的主体内容；

步骤12、若所述回答问题的主体内容中涉及代码内容则对所述代码内容进行去除处理；

步骤13、对所述回答问题的文本数据进行去除停用词及标点符号处理。

进一步的，步骤5是利用循环神经网络来自动训练和学习专家用户档案中的特征并将所学习到的特征集F输入softmax分类层以确定出社区问答专家推荐模型，其具体包括下述子步骤：

步骤51、获取每个候选专家所对应的专家用户档案的单词所组成的序列，并基于所述向量查找表将序列中的每个单词映射成向量即词向量；同时某一单词若未能找到对应的词向量，则采用随机初始化的方式进行设定，所述随机初始化是指设置一个空向量，并以所得到的全部词向量构建候选专家用户档案矩阵X，其中，X是一个k×n的矩阵，表示样本空间，k表示词向量的维度，n表示某一候选专家的专家用户档案中所含有的单词数量，即为一个候选专家的用户档案的长度；

步骤52、将所获得的候选专家用户档案矩阵X输入到多种不同的循环神经网络进行特征学习，确定出社区问答专家推荐模型；所述循环神经网络至少包括LSTM循环神经网络、GRU循环神经网络、双向LSTM循环神经网络(Bi-LSTM)、双向GRU循环神经网络(Bi-GRU)、带注意力(Attention)机制的Bi-LSTM循环神经网络和带注意力(Attention)机制的Bi-GRU循环神经网络。

与现有技术相比，本发明的有益效果：

本发明首先通过筛选出社区问答系统中的专家用户并为他们构建专家用户档案其次利用大量的未标注数据进行词向量的训练以捕获文本的语法和语义信息，并引入外部的领域知识字词用词向量进行文本的表示，简化了人工设计特征的复杂过程，并有效地降低了文本特征的维度；最后使用循环神经网络进行深层次的特征学习，从而更加精准地进行社区问答系统中的专家推荐，本发明方法在Stack Overflow语料上得到了较好的实验结果。

附图说明

图1是本发明方法步骤流程图；

图2是本发明社区问答专家推荐实验效果对比图；

图3是本发明社区问答专家推荐实验效果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于循环神经网络的社区问答专家推荐方法，包括以下步骤：

步骤1、获取待处理问答社区所对应的一定时期内的Stack Overflow数据集中的数据并进行预处理；所述数据至少包括Stack Overflow数据集中标签为R语言的语料，如筛选出待处理问答社区如计算机编程方面的社区，2008年到2016年期间所有的StackOverflow数据集中标签为R语言的语料，并对其进行预处理；进一步的，步骤1中的数据预处理，具体包括以下子步骤：步骤11、由于语料中包含特别多的内容，我们抽取其中与我们需求相关的内容即确定语料中所需关注的语料内容并进行抽取，所述语料内容至少包括回答问题的文本数据、回答问题的ID，最佳回答者的ID，回答问题的标签，回答问题的标题以及回答问题的主体内容；步骤12、若所述回答问题的主体内容中涉及代码内容则对所述代码内容进行去除处理，这是因为在问答社区中提问者提问的问题中主体内容中会包含很多代码，代码的语义和语法信息很少，对训练毫无意义，甚至对训练结果产生不良影响，所以把<code></code>之间的内容去除；步骤13、对所述回答问题的文本数据进行去除停用词及标点符号处理。

步骤2、对所述问答社区所对应的全部用户进行候选专家筛选，所述候选专家为待处理问答社区所对应的一定时期内的Stack Overflow数据集中其至少一个问题的回答被评选为最佳回答的用户，所述筛选至少包括基于统计分析的方法，对所述用户以其回答被评选为最佳回答的数量自多至少的顺序进行排列后，按照所设定筛选数量依次选择出相应的用户作为候选专家，之所以进行该步骤是因为在采用基于统计的方法筛选候选专家，问答社区中所有专家都来源于其回答被评选为最佳回答的用户，经过统计分析，普通用户的回答被选为最佳回答的概率随时间增长递减，则可以忽略用户回答的问题中被选为最佳答案的数量比较少的用户，如所设定筛选数量10个即只选择回答的问题中至少包含10个被选为最佳答案的用户作为候选专家。

步骤3、由于步骤2中筛选出来的候选专家都是一个新问题的候选回答者，因此需要根据用户的回答历史为用户构建档案即为每个候选专家用户档案的构建，即步骤3为构建各所述候选专家所对应的专家用户档案即获取每一所述候选专家回答过的问题中被选为最佳答案的全部的问题数据，并以所获取的问题数据中的问题的标签、问题的标题、问题的主体内容以及三者间的任意组合形式作为档案对应的单词组成的序列并组建对应的专家用户档案。

步骤4、基于特定领域知识的词向量训练获得词向量查找表；为了更好地挖掘社区问答中专家用户档案的语义和语法信息，本发明方法引入了由领域知识训练得到的词向量查找表，该查找表可以将单词映射成一个向量，这种向量表示的单词可以便捷地度量单词之间的相似度及其隐含的语义和语法信息；本发明方法获取的词向量，是在StackOverflow数据集上训练所得到的词向量，每个词向量维度可以为100维，本发明方法所述的特定领域知识是指计算机方面的领域知识，这是因为所采用的Stack Overflow数据集包含的主要是计算机方面的领域知识，其是一个相对专业的社区问答网站。

步骤5、基于循环神经网络模型进行特征表示学习并构建社区问答专家推荐模型；进一步的，为了学习到候选专家用户档案隐含的高层次特征，步骤5利用循环神经网络来自动训练和学习专家用户档案中的特征并将所学习到的特征集F输入softmax分类层以确定出社区问答专家推荐模型，所述softmax分类层预先使用实验语料中的候选专家的用户档案进行分类模型的训练，其具体包括下述子步骤：步骤51、获取每个候选专家所对应的专家用户档案的单词所组成的序列，并基于所述向量查找表将序列中的每个单词映射成向量即词向量；同时某一单词若未能找到对应的词向量，则采用随机初始化的方式进行设定并以所得到的全部词向量构建候选专家用户档案矩阵X，其中k表示词向量的维度，n表示某一候选专家的专家用户档案中所含有的单词数量，即为一个候选专家的用户档案的长度；步骤52、将所得候选专家用户档案矩阵输入到多种不同的循环神经网络进行更高层次特征的学习即将所获得的候选专家用户档案矩阵X输入到多种不同的循环神经网络进行特征学习，确定出社区问答专家推荐模型；所述循环神经网络至少包括LSTM循环神经网络、GRU循环神经网络、双向LSTM循环神经网络(Bi-LSTM)、双向GRU循环神经网络(Bi-GRU)、带注意力(Attention)机制的Bi-LSTM循环神经网络和带注意力机制的Bi-GRU循环神经网络，其中，上述各结构的循环神经网络的隐含层状态更新均由公式(1)得出。

h_t＝f(Uh_t-1+Wx_t+b) (1)

式(1)中，U、W表示权重矩阵，h_t、h_t-1分别表示在t时刻和t-1时刻循环神经网络的隐含层状态，x_t表示t时刻的输入，b表示偏倚项，f表示非线性激活函数，通常选自sigmoid函数或Rectified Linear Units函数中的任意一种，采用词向量表示文本是为了能够捕捉文本潜在的语法和语义信息；采用循环神经网络的文本分类方法解决专家推荐问题，每个专家对应为一个输出类别；引入Attention机制增强分类效果，也就是专家推荐效果；这些循环神经网络的前4种是当前比较普遍的循环神经网络，带注意力(Attention)机制的循环神经网络引入一个权重矩阵，对词向量进行加权，误差反向传播计算后对结果更加重要的词向量将获得更大的权重，取代之前的简单拼接，目前Attention机制在业界很多领域取得不错的效果。

上述提及的Bi-LSTM和Bi-GRU都是属于特殊的双向循环神经网络(BRNN)，其基本思想是提出每一个训练序列向前和向后分别是两个RNN，而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。双向RNN的隐含层状态更新由公式(2)得出：

式(2)中，U¹、W¹、U²、W²表示权重矩阵，表示在t时刻和t-1时刻前向循环神经网络的隐含层状态，表示在t时刻和t+1时刻后向循环神经网络的隐含层状态，h_t表示在t时刻双向循环神经网络的隐含层状态，x_t表示t时刻的输入，b¹、b²表示偏倚项，f表示非线性激活函数，通常选自sigmoid函数或Rectified Linear Units函数中的任意一种；

由于LSTM的核心就是有一个记忆单元C，它可以编码任意时间的输入，这主要由三个“门”来进行控制，分别是输入门i，输出门o和忘记门f，则LSTM的隐含层状态更新由公式(3)得出：

式(3)中，σ是sigmoid的函数，x_t表示t时刻的输入，b_i、b_f、b_o、b_c表示偏倚项，W_i、W_f、W_o、W_c、U_i、U_f、U_o、U_c、V_i、V_f、V_o表示权重矩阵。

GRU则是由两个“门”来进行控制，更新门z和重置门r，则GRU的隐含层状态更新由公式(4)得出：

式(4)中，σ是sigmoid的函数，x_t表示t时刻的输入，b_r、b_z、b_h表示偏倚项，W_r、W_z、W_c、U_r、U_z、U表示权重矩阵。

注意力机制的计算装置则由公式(5)得出：

式(5)中，h_it表示t时刻隐含层状态，b_w表示偏倚项，W_w表示权重矩阵。u_w表示词级别的上下文向量。

步骤6、基于构建社区问答专家推荐模型，确定待处理问答社区中的新问题所对应的专家推荐顺序；步骤6主要完成为社区问答系统中的新问题进行专家推荐的过程：具体的其使用步骤5中训练得到的模型，在社区问答中的新问题上进行专家推荐，模型得出每一个候选专家成为新问题最佳回答者的概率，根据概率从大到小排序，即为专家推荐顺序。

下面以具体实例对本发明进行详细说明：本发明所使用的数据集案例是从StackOverflow数据中抽取了从2008年9月份到2016年10月份的R语言的数据。即其为通过对问答数据中的问题进行筛选获得的，具体首先将问题与问题的最佳回答者组成问题与用户对，只考虑存在超过10个的回答被评为最佳回答的用户，他们对应回答的问题形成了实验数据集；将时间跨度前面的数据作为训练集，将时间跨度最后的10000个问题作为测试集。测试集中的问题没有进行任何人工干预，其中既存在以往候选专家回答过的问题，也存在很多的问题只有其他用户回答，也就是说，候选专家中并不存在这些问题的最佳回答者，这十分的符合现实中社区问答网站的真实情况，保证了实验的合理性。

在进行循环神经网络的训练时，本发明使用梯度下降算法来优化参数，并且在训练的过程采取自动调整学习率的方法(Adapdelta)；通常情况下，神经网络的训练需要花费大量的时间，所以选择使用python中的类库theano来加速计算；对于模型的一些基本参数设置如表1所示：

表1

可见其对应的词向量的维度为100维；作为softmax分类器的输入，我们设置隐藏层的单元节点数为200。

同时本发明方采用的评价指标S@N指标进行评价，如果真正的最佳回答者出现在专家排序列表的前N个中，那么S@N是1；S@N公式如下：

式(6)中，t表示测试集中的问题数量，表示在最佳回答者出现在专家排序列表的前N个。

如图2所示，本发明选用Stack Overflow数据集进行社区问答中的专家推荐。采用问题文本作为模型的特征来进行模型的训练时，分类效果要低于采用标签或者采用由标签和问题文本拼接起来的文本作为特征训练的模型。实验说明了在进行专家推荐时，标签提供了十分重要且丰富的信息；采用标题和标签文本作为数据集，通过不同的模型进行专家推荐模型的训练和学习，实验结果如图3所示，从图中可以看出相同结构的LSTM和GRU在实验结果上相差不大，而且都比fastText表现好，表明了LSTM和GRU两种循环神经网络的改进模型都具有强大的学习能力。相对于Bi-LSTM、Bi-GRU，单向LSTM和GRU已经取得了不错的效果。不管是LSTM还是GRU，带有Attention机制的模型效果要好于普通的循环神经网络和双向循环神经网络，说明了Attention机制的有效性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于循环神经网络的社区问答专家推荐方法，其特征在于，包括如下步骤：

步骤3、构建各所述候选专家所对应的专家用户档案即获取每一所述候选专家回答过的问题中被选为最佳答案的全部的问题数据，并以所获取的问题数据中的问题的标签、问题的标题、问题的主体内容以及三者间的任意组合形式作为档案标识组建对应的专家用户档案；

步骤4、基于特定领域知识的词向量训练获得词向量查找表；

步骤6、基于构建社区问答专家推荐模型，确定待处理问答社区中的新的问题所对应的专家推荐顺序。

2.根据权利要求1所述的方法，其特征在于，

步骤1中的数据预处理，具体包括以下子步骤：

3.根据权利要求1所述的方法，其特征在于：

步骤5是利用循环神经网络来自动训练和学习专家用户档案中的特征并将所学习到的特征集F输入softmax分类层以确定出社区问答专家推荐模型，其具体包括下述子步骤：

步骤51、获取每个候选专家所对应的专家用户档案的单词所组成的序列，并基于所述向量查找表将序列中的每个单词映射成向量即词向量；同时某一单词若未能找到对应的词向量，则采用随机初始化的方式进行设定并以所得到的全部词向量构建候选专家用户档案矩阵X，其中k表示词向量的维度，n表示某一候选专家的专家用户档案中所含有的单词数量，即为一个候选专家的用户档案的长度；

步骤52、将所获得的候选专家用户档案矩阵X输入到多种不同的循环神经网络进行特征学习，确定出社区问答专家推荐模型；所述循环神经网络至少包括LSTM循环神经网络、GRU循环神经网络、双向LSTM循环神经网络即Bi-LSTM、双向GRU循环神经网络即Bi-GRU、带注意力机制的Bi-LSTM循环神经网络和带注意力机制的Bi-GRU循环神经网络。