CN102184225A - 一种在问答系统中搜索优选专家信息的方法 - Google Patents

Abstract

本发明提出一种在问答系统中搜索优选专家信息的方法，包括：基于专家库中的信息建立表征每个专家专长的特征向量；获取用户提问的问题特征向量；获取匹配所述问题特征向量的所述专家特征向量；根据所述专家信息与所述专家特征向量的对应关系获取所述专家信息。本发明提出通过对web问答系统中的问答文本内容进行分析，利用分类和信息检索方法，自动将能够回答某个问题的最适合的专家从专家库中搜索出来。

Description

一种在问答系统中搜索优选专家信息的方法

技术领域

本发明涉及一种在问答系统中搜索优选专家信息的方法。

背景技术

互联网是一个用户交流平台，借助网络社区，用户可突破时间和空间限制与其它用户进行交流，并获得帮助，基于WEB的问答系统就是这样一种广受欢迎的用户交流平台，在这一社区中，用户可以将自己的疑难问题提交上去，等待本领域专家对问题进行解答，并通过网络将问题答案返回给用户。现有问答系统中，用户提出问题时事先并不知道谁是该问题领域的专家，因此，只能没有针对性的提出问题，或者向多人提出解答问题的请求，并且在提出问题后，也只能被动的等待答复。这样不仅浪费日渐紧缺的网络资源和人力资源，用户也不能得到及时的专业的答复。而用户如果想比较有针对性的找到擅长于自己所提问题的专家，需要熟悉现有系统中的所有专家的背景情况，并进行人工查找，非常费时费力。

发明内容

本发明提出一种通过对web问答系统中的问答文本内容进行分析，利用分类和信息检索方法，自动将能够回答某个问题的最适合专家从专家库中搜索出来的在问答系统中搜索优选专家信息的方法。

本发明的中心思想在于：基于专家库中的专家背景信息构建表征专家专长的特征向量；获取用户提问的问题特征向量；构建问题-专家匹配度预测模型，并对模型进行训练；根据训练获得的模型，对专家与给定问题之间的匹配程度进行预测，并按照预测分值给出最擅长所述问题的专家。

本发明是通过如下技术方案实现本发明有益效果的，提出一种在问答系统中搜索优选专家信息的方法，包括：建立专家信息与专家特征向量的对应关系；获取用户提问的问题特征向量；获取匹配所述问题特征向量的所述专家特征向量；根据所述专家信息与所述专家特征向量的对应关系获取所述专家信息。

“建立专家信息与专家特征向量的对应关系”具体包括：保存所述专家信息和专家的擅长领域信息的对应关系；对所述擅长领域信息进行停用词去除和/或词根还原；根据上述擅长领域信息生成所述专家特征向量；建立专家信息与专家特征向量的对应关系。

所述“擅长领域信息”具体包括专家的论文和/或专家的擅长领域记录和/或获得正面评价的专家答案。

“获取用户提问的问题特征向量”具体包括：将接收到的所述用户提问转化为文本格式的提问数据；对所述提问数据进行停用词去除、词根还原等预处理；生成与上述提问数据对应的问题特征向量。

“获取匹配所述问题特征向量的所述专家特征向量”具体为：构建问题-专家匹配度预测模型。

“构建问题-专家匹配度预测模型”具体包括：

以用户反馈信息(喜欢、评分等)作为标注，构建由所述问题特征向量、所述专家特征向量、用户反馈组成的三元组样本集合；

根据不同的用户反馈信息模型，构建模型的损失函数，并训练所述专家特征向量与所述问题特征向量之间的匹配模型；

基于所述匹配模型获取匹配该问题特征向量的专家特征向量。

有益效果：通过对专家的发表文献、问答历史信息和当前问题内容，给出合理的自动特征抽取方法，并构建专家和问题之间的匹配模型，高效、准确的在web问答系统中的海量信息中帮助用户快速找到擅长某一问题的专家，以便针对性的提问题，从而高效地获得高质量的回答。

附图说明

下面根据附图和实施例对本发明作进一步详细说明。

图1为本发明一种在问答系统中搜索优选专家信息的方法的流程图之一；

图2为本发明一种在问答系统中搜索优选专家信息的方法的流程图之一；

图3为本发明一种在问答系统中搜索优选专家信息的方法的流程图之一；

图4为本发明一种在问答系统中搜索优选专家信息的方法的流程图之一。

具体实施方式

实施例1

一种在问答系统中搜索优选专家信息的方法，包括如下步骤：

S101、建立专家信息与专家特征向量的对应关系。

具体包括如下步骤：

S1011、保存专家信息和专家的擅长领域信息的对应关系。将上述擅长领域信息转化为文本格式。

保存专家信息用于将专家的联系方式及相关背景展示给用户，使能用户与专家在问答系统中的沟通渠道建立。专家信息可包括专家姓名和/或专家联系方式和/或专家在问答系统中的登陆ID和/或专家在问答系统中的用户名等。

专家的擅长领域信息用于表征专家擅长的领域。擅长领域信息包括专家的论文和/或专家的擅长领域记录和/或获得正面评价的专家答案等。专家的论文是专家对某一科学问题的研究成果，能够客观地反映该专家的所研究的领域和研究的兴趣，是该专家学术背景的真实反映。擅长领域记录是专家在问答系统中注册或填写自我介绍信息时由本人的，简短而准确，能够从另一个侧面反映专家擅长的技术领域。获得正面评价的专家答案也是反映该专家专长的重要信息来源，并很可能超出该专家学术论文或者自填的擅长领域的范畴，由于采用问答中模式，所采用的词句多为不同于学术论文的非正式词语，因此，是对专家的论文、擅长领域记录的有效补充。通过以上三个方面的信息来源，可以形成对该专家较为全面的擅长领域信息。

S1012、对上述擅长领域信息进行停用词去除、词根还原等预处理。可以有效降低上述擅长领域信息中的噪声。

S1013、根据上述擅长领域信息生成专家特征向量。

经过预处理的擅长领域信息为文本片段，将文本片段看作一系列无序词条的集合，给每个词条加一个权值，并将文本片段映射成特征向量z∈Rⁿ，将上述特征向量定义为专家特征向量。

其中，n为词条个数，即字典长度，每一维上的元素z_i为第i个词条在当前擅长领域信息中的权值。

词条的权值计算方法采用tfidf函数，进一步说明如下：

$\mathrm{tfidf}(t,p)=\frac{\mathrm{tf}(t,p)\×\log (N/n_t+0.01)}{\sqrt{{\mathrm{\Σ}}_{t\∈\stackrel{\→}{d}}{[\mathrm{tf}(t,p)\×\log (N/n_t+0.01)]}^2}}$

其中，tfidf(t，p)为词条t在文本片段p中的权重，而tf(t，p)为词t在文本p中的词频，N为训练数据集中文本片段的总数，n_t为训练文本集内出现t的文本片段数，分母为归一化因子。

根据tfidf权值的计算方法，使得某一词条出现在越多的文本中，说明它区分性越低，其权值越小；另一方面，某一词条在某一文本片段中出现的频率越高，说明它区分类别属性的能力越强，则其权值越大。

S1014、建立专家信息与专家特征向量的对应关系。

S102、接收用户提问。

S103、获取该提问的问题特征向量。

具体包括如下步骤：

S1031、将接收到的用户提问转化为文本格式的提问数据。

S1032、对上述文本格式的提问数据进行停用词去除、词根还原等预处理。以降低上述提问数据的噪声。

S1033、生成与上述提问数据对应的问题特征向量。

经过预处理的提问数据为文本片段，该文本片段可视为一系列无序词条的集合，给每个词条加上一个权值，然后将上述文本片段映射成特征向量x∈Rⁿ，将上述特征向量定义为问题特征向量。

其中，n为词条个数，即字典长度，每一维上的元素x_i为第i个词条在当前提问数据中的权值。

词条的权值计算方法采用tfidf函数，进一步说明如下：

$\mathrm{tfidf}(t,p)=\frac{\mathrm{tf}(t,p)\×\log (N/n_t+0.01)}{\sqrt{{\mathrm{\Σ}}_{t\∈\stackrel{\→}{d}}{[\mathrm{tf}(t,p)\×\log (N/n_t+0.01)]}^2}}$

其中，tfidf(t，p)为词条t在文本片段p中的权重，而tf(t，p)为词t在文本p中的词频，N为训练数据集中文本片段的总数，n_t为训练文本集内出现t的文本片段数，分母为归一化因子。

根据tfidf权值的计算方法，使得某一词条出现在越多的文本中，说明它区分性越低，其权值越小；另一方面，某一词条在某一文本片段中出现的频率越高，说明它区分类别属性的能力越强，则其权值越大。

S104、获取匹配该问题特征向量的专家特征向量。

具体包括如下步骤：

S1041、标注三元组样本集合。

将数据整理成三元组样本(问题特征向量、专家特征向量、用户反馈)。其中，“用户反馈”是由用户给出的对专家回答的满意度，关于问题特征向量、专家特征向量的获取方法，在前文中都已详细给出，不再赘述。

其中，上述三元组中的用户反馈可作为这一三元组数据样本的“标签”，在问答系统中，用户反馈分为三种情况：

A、二类形式，这是最简单的形式，用户将回答评价为“满意”或“不满意”；

B、一类形式，如用户在满意问题的回答时，将其评价为“喜欢”，“顶”等；

C、数字形式，用户对问题回答的优劣给出分值，如1，2，3，4，5等。

用户反馈反映用户对专家是否擅长该问题的判断，提供一种便于获得的人工样本标注。针对不同形式的反馈，数据样本的类别标签也是不同的，本发明对于不同情况，分别给出不同的模型损失函数。

S1042、训练专家特征向量与问题特征向量之间的匹配模型。

给定已标注好的三元组样本集合

其中，x∈R^m为问题特征向量，z∈R^m为专家特征向量，y表示用户对专家z^(l)回答问题x^(l)的评价，即用户反馈。通过训练学习得到映射函数

其中W是模型参数矩阵。

(1)反馈标签为二值的情况

对于类别标签为二值的情况，y∈{-1，+1}(-1表示用户对此问题的回答不满意，+1表示用户对此问题的回答满意)，那么这一问题是一个二值分类问题，本发明构建优化目标函数如下：

${\min }_{W,b}{\left|\right|W\left|\right|}_F+C\underset{i}{\mathrm{\Σ}}{\mathrm{\ξ}}_i$

$s.t.y_i(x_i^{*}{\mathrm{Wz}}_i+b)>1-{\mathrm{\ξ}}_i\∀i---\left(1\right)$

其中·为转置运算符，x_i、z_i分别是p维向量和q维向量，W为p×q维矩阵，ξ_i是松弛变量。我们发现，公式(2)可被转换为规范的支持向量机(SVM)形式。若令w＝vect(W)，u_i＝x_i×z_i，则优化函数可表示为：

${\min }_{w,b}{\left|\right|w\left|\right|}^2+C\underset{i}{\mathrm{\Σ}}{\mathrm{\ξ}}_i$

s.t.y_i(w^*u_i+b)＞1-ξ_i 对于(2)

公式(3)是一个标准的“软间隔”支持向量机(soft-margin SVM)，可采用多种现成的工具进行求解。

(2)反馈标签为一类的情况

对于一类的情况，系统中用户只对满意的回答进行评价反馈(如“喜欢”)。在这种情况下，所有被评价的问答的y取值为+1，其余没有被用户评价的问答被视为是不满意的回答，y取值为-1。因此，本系统为此中情况构建的优化函数与二类情况完全一致。

(3)反馈标签为离散分值的情况

对于离散分值的情况，y通常为取值为1-5等区间的离散值。在这种情况下，数据样本之间是一种偏序关系，即同类样本之间没有序关系，属于不同类别的样本之间具有序关系。针对这一问题，本发明引入关于样本对的约束，从而将此问题转化为一个排序问题来进行优化：

${\min }_W{\left|\right|W\left|\right|}_F+C\underset{i,j}{\mathrm{\Σ}}{\mathrm{\ξ}}_{i,j}$

$s.t.\mathrm{sign}(y_i-y_j)(x_i^T{\mathrm{Wz}}_i-x_j^T{\mathrm{Wz}}_j)>1-{\mathrm{\ξ}}_{i,j},$ 对于 $\∀i,j$ (3)

我们注意到，如果对参数做重新整理u_ij＝(x_i×z_i-x_j×z_j)，w＝vect(W)，那么公式(4)也能够变换为规范的SVM形式。此时，我们不再需要变量b。

在这种转换后的SVM所处理的数据样本(u_ij，sign(y_i-y_j))是由一对原始的三元组数据样本(x_i，z_i，y_i)和(x_j，z_j，y_i)构成的。通过对原始的三元组样本两两组合成样本对，形成了新的SVM的训练数据集合。如果评分高的专家-问题对在评分低的专家问题对之前，则新样本为正例，否则为负例。在这一新数据集上的优化，可以使模型参数学习出三元组之间的偏序关系。根据偏序关系，模型可以给出库中专家对于某一问题的排序列表。

通过以上对三种不同评价形式的分析，本系统分别给出对应的损失函数进行优化，并且通过一定的变换和推导，将不同情况下的优化问题统一到支持向量机的框架之下，可以采用现有成熟的优化方法对模型参数进行优化求解。

S1043、基于上述专家特征向量与问题特征向量之间的匹配模型获取匹配该问题特征向量的专家特征向量。

通过对模型的训练，在训练数据上学习得到模型参数W，基于训练好的专家特征向量与问题特征向量之间的匹配模型，可以获取到匹配该问题特征向量的专家特征向量。

具体步骤如下，首先对系统中每个专家特征向量z进行变换，得到z′＝Wz，然后，根据给定的问题，生成问题特征向量x，通过z^*z′计算问题特征向量与专家特征向量之间的匹配程度。

S105、根据专家信息与专家特征向量的对应关系获取专家信息。

上述专家特征向量为挑选出的匹配度符合问题特征向量的专家特征向量，由于已经预先建立专家信息与专家特征向量的对应关系，故可以很容易得到对应的专家信息。

S106、将问题答案反馈至用户。

通过上述专家信息将用户提问反馈给专家，并由专家给出专业化的解答，然后将问题答案反馈至用户，使得用户得到最好的用户体验。

Claims (6)

1.一种在问答系统中搜索优选专家信息的方法，其特征在于，包括：

建立专家信息与专家特征向量的对应关系；

获取用户提问的问题特征向量；

获取匹配所述问题特征向量的所述专家特征向量；

根据所述专家信息与所述专家特征向量的对应关系获取所述专家信息。

2.如权利要求1所述的方法，其特征在于，“建立专家信息与专家特征向量的对应关系”具体包括：

保存所述专家信息和专家的擅长领域信息的对应关系；

对所述擅长领域信息进行停用词去除和/或词根还原；

根据上述擅长领域信息生成所述专家特征向量；

建立专家信息与专家特征向量的对应关系。

3.如权利要求2所述的方法，其特征在于，所述“擅长领域信息”具体包括专家的论文和/或专家的擅长领域记录和/或获得正面评价的专家答案。

4.如权利要求1所述的方法，其特征在于，“获取用户提问的问题特征向量”具体包括：

将接收到的所述用户提问转化为文本格式的提问数据；

对所述提问数据进行停用词去除、词根还原等预处理；

生成与上述提问数据对应的问题特征向量。

5.如权利要求1所述的方法，其特征在于，“获取匹配所述问题特征向量的所述专家特征向量”具体为：构建问题-专家匹配度预测模型。

6.如权利要求5所述的方法，其特征在于，“构建问题-专家匹配度预测模型”具体包括：

以用户反馈信息(喜欢、评分等)作为标注，构建由所述问题特征向量、所述专家特征向量、用户反馈组成的三元组样本集合；

根据不同的用户反馈信息模型，构建模型的损失函数，并训练所述专家特征向量与所述问题特征向量之间的匹配模型；

基于所述匹配模型获取匹配该问题特征向量的专家特征向量。

Images