CN105893362A - 获取知识点语义向量的方法、确定相关知识点的方法及系统 - Google Patents

Abstract

一种获取知识点语义向量并根据该语义向量确定相关知识点的方法即系统，该方法中，首先，获取各个知识点的语义向量，将知识点的语义信息进行量化，通过数字化的方式来体现其语义特征，然后根据各个知识点的语义向量，确定知识点之间的相似度，根据该相似度的大小便能轻易的区分哪些是相关的知识点，根据需要来选择相关知识点的数量。该方式中将知识点的语义信息通过量化的方式来表示，然后通过数学运算的方式，来确定哪些知识点更相关，该方式计算简单方便，且能根据语义间的相关程度，得出相关知识点，具有更好的准确性，适用于相关知识点搜索、学习推荐、信息过滤等应用场合。

Description

获取知识点语义向量的方法、确定相关知识点的方法及系统

技术领域

本发明涉及一种电数据加工处理领域，具体地说一种知识点的语义推荐方法及系统。

背景技术

数字出版资源已成为信息提供的主要方式之一。人们已从纸质阅读大量地转向电子阅读。数字出版资源包含电子图书、数字百科全书、数字期刊、数字报刊等。数字出版资源提供的信息通常比互联网更加权威和正确。因此，如何根据数字出版资源的特点提高人们学习或阅读体验变得尤为重要。

在技术增强学习(Technology Enhanced Learning)中，开发推荐系统越来越得到更多的重视。但是，大部分的推荐系统使用用户的偏好或用户的历史访问数据进行计算，如中国专利文献CN101661483A中公开了一种推荐系统及方法，包括：保存从源历史数据集中选择的部分源历史数据组成的样本历史数据集；建立样本历史数据集中的样本历史数据与源历史数据集中的源历史数据之间的链接，每一个样本历史数据与每一个源历史数据之间的链接具有各自的第一权值；基于用户当前输入的查询信息，从样本历史数据集中选择至少一个样本历史数据组成第一推荐结果，第一推荐结果中的每个样本历史数据对于用户当前输入的查询信息具有各自的第二权值；根据第一权值和第二权值从源历史数据中选择至少一个源历史数据组成第二推荐结果。该方案基于用户的历史访问数据进行推荐，当数字资源刚刚上线，没有阅读历史，不存在历史访问数据时，则无法完成上述推荐。

现有的数字资源中，存在一些汇集了多种知识信息的数据知识资源，如百科全书，百科全书是一种数字出版资源，通常领域百科全书包含了该领域 内的重要知识点。此外，像百度百科、维基百科等，作为知识点收集库，也汇集了一些领域中的知识点。如何运用这些现有的数字资源来解决更多问题也成为研究的热点。

Distributed words representations(分布式词语表示)在Rumelhar，D.E.，Hinton，G.E.，Williams，R.J.：Learning Represenations by Back-propagating Errors.Nature 323(6088)：pp533-536(1986)中首次提出，该思想将词语表示成连续向量(continuous vectors)，且在向量空间中，相似词语的距离更近。Feedforward neural network(前馈神经网络)是用于学习词向量和语言模型的方法(见Bengio，Y.，Ducharme，R.，Vincent，P.：A Neural Probabilistic Language Model.Journal of Machine Learning Research 3，pp1137-1155(2003))。近来，Mikolov提出了使用skip-gram或CBOW模型，通过在大量文本上训练简单的神经网络在短时间内得到词语向量。

本发明将利用该方法为知识点生成知识点向量，然后利用知识点向量计算知识点的相似度，从而实现不通过历史访问数据为用户推荐知识点的目的。

发明内容

为此，本发明所要解决的技术问题在于现有技术中信息推荐具有局限性，且现有的数字资源及语义向量的处理方法没有充分利用，从而提出一种获取语义向量的方法及其在信息推荐中应用的确定相关知识点的方法及系统。

为解决上述技术问题，本发明的提供一种获取知识点语义向量的方法以及利用该语义向量确定相关知识点的方法。

本发明提供一种获取知识点语义向量的方法，包括：

获取所有或部分知识点，作为知识点集合；

确定知识点集合中每个知识点在参考文本中出现的次数；

根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树；

根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。

此外，本发明还提供一种确定相关知识点的方法，包括：

获取所有或部分知识点，作为知识点集合；

采用权利要求1-5所述的获取知识点语义向量的方法确定知识点集合中每个知识点的语义向量：

对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度；

根据所述相似度确定每个知识点的相关知识点。

此外，本发明还提供一种获取知识点语义向量的系统，包括：

获取单元：获取所有或部分知识点，作为知识点集合；

统计单元：确定知识点集合中每个知识点在参考文本中出现的次数；

建模单元：根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树；

训练单元：根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。

此外，本发明还提供一种确定相关知识点的系统，包括：

提取单元：获取所有或部分知识点，作为知识点集合；

语义向量获取单元：采用权利要求1-5所述的获取知识点语义向量的系统确定知识点集合中每个知识点的语义向量：

相似度计算单元：对于每个知识点，根据其语义向量确定该知识点与其 他知识点的相似度；

相关知识点确定单元：根据所述相似度确定每个知识点的相关知识点。

本发明的上述技术方案相比现有技术具有以下优点，

(1)本发明提供一种获取知识点语义向量的方法，首先选择全部或部分知识点作为知识点集合，然后确定知识点集合中每个知识点在参考文本中出现的次数，根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树，最后根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。该方案中使用参考文本来获取知识点的次数，并通过带权路径长度最小的二叉树使用建模的方式来计算语义向量，将知识点的语义信息进行量化，通过数字化的方式来体现其语义特征，这样，在后续对知识点进行分析时，可以更加方便，为相关知识点搜索、推荐、信息过滤等应用提供基础。

(2)本发明还提供一种确定相关知识点的方法，根据各个知识点的语义向量，确定知识点之间的相似度，然后根据该相似度的大小便能轻易的区分哪些是相关的知识点，根据需要选择相关知识点的个数。该方式中将知识点的语义信息通过量化的方式来表示，然后通过数学运算的方式，来确定哪些知识点更相关，该方式计算简单方便，且能根据语义间的相关程度，得出的相关知识点具有更好的准确性，适用于推荐、检索等方面。

(3)本发明提供一种获取知识点语义向量的系统，包括获取单元、统计单元、建模单元以及训练单元，该方案中使用参考文本来获取知识点的次数，并通过带权路径长度最小的二叉树使用建模的方式来计算语义向量，将知识点的语义信息进行量化，通过数字化的方式来体现其语义特征，这样，在后续对知识点进行分析时，可以更加方便，为相关知识点搜索、推荐、信息过滤等应用提供基础。

(4)本发明还提供一种确定相关知识点的系统，包括提取单元、语义向量获取单元、相似度计算单元以及相关知识点确定单元，知识点的语义信息通过量化的方式来表示，然后通过数学运算的方式，来确定哪些知识点更 相关，该方式计算简单方便，且能根据语义间的相关程度，得出的相关知识点具有更好的准确性，适用于推荐、检索等方面。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明实施例1中获取知识点语义向量的方法的流程图；

图2是本发明实施例2中确定相关知识点的方法的流程图；

图3是本发明实施例中CBOW模型的示意图；

图4是本发明实施例3中skip-gram模型的示意图；

图5是本发明实施例中获取知识点语义向量的系统结构框图；

图6是本发明实施例中确定相关知识点的系统的结构框图。

具体实施方式

实施例 1 ：

知识点的语义向量是在向量空间中描述知识点的一种方式，通过获取知识点的语义向量，可以使得知识点具有较强的可计算性，在文本检索、自动文摘、关键词自动提取、文本分类等领域具有潜在的应用价值。

本实施例中提供一种获取知识点语义向量的方法，包括如下步骤：

S1、获取所有或部分知识点，作为知识点集合。此处可以通过百科全书或领域百科辞典来获取知识点。如选择领域百科辞典，从其中提取收录的全部词条的名称作为知识点集合。

S2、确定知识点集合中每个知识点在参考文本中出现的次数。

本步骤中，选择与上述知识点的领域相同的电子书，如从相同领域的数字出版资源中选择一定数量的电子书，作为参考文本。然后计算上述知识点集合中每个知识点在该参考文本中的出现次数，可以通过文字匹配的方式来实现。

S3、根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树。

通过步骤S2可以得到所有的知识点和其出现次数，将该统计的数据以(知识点，次数)的方式存储为统计文件。然后根据该统计文件，来构建带权路径长度最小的二叉树。

以知识点为叶子节点，为每个叶子节点给定一个权值，该权值为知识点在文本中的出现次数，构造一棵二叉树，父节点的权值为两个子节点的权值之和，带权路径长度规定为所有叶子节点的带权路径长度之和，若带权路径长度达到最小，称这样的二叉树为最优二叉树，也称为哈弗曼树。此处的构造方法采用现有技术中已有的方式构建，通过已有的算法获得带权路径长度最小的二叉树。

S4、根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。

首先创建数学模型，此处选择CBOW模型，以参考文本作为训练样本，步骤S3中构建的带权路径长度最小的二叉树为输出，通过该模型进行训练，训练完成后，根据最优二叉树的叶子节点向量，得到每个知识点的语义向量。此时，具体方式为提取最优二叉树中叶子节点所在位置对应的训练后的叶子节点向量，该向量即为此知识点的语义向量。

CBOW模型是通过一个词语所在的上下文预测该词语的模型，过程如图3所示，该模型是现有技术中一种神经网络模型，用于训练词语向量，主要原理是通过一个词语所在的上下文预测该词语从而得到合适的词语向量表示，使用的训练方法为随机梯度下降方法，输入为文本数据，根据训练得到的结果为可以获取词语向量。

作为其他可以替换的实现方式，在步骤S2中统计参考文本中知识点出现的个数时，为了减少词语的误差，还可以先对对参考文本进行分词，得到分 词后的文件；然后再统计每个知识点在该分词后的文件中出现的次数。先分词的方式可以减少统计误差，如在“秦始皇上殿接收文武百官的朝贺”这一例句中，“秦始皇”是一个知识点，“皇上”也是一个知识点，如果不进行分词，该句中的“皇上”也被认为是“皇上”的这个知识点出现一次，而分词后“秦始皇”为一个分词结果，“皇上”这个错误的词语组合被排除了，这样就提高了参考文本中对知识点次数统计的正确性。

在其他的实施方式中，通过模型训练的方式，根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量，该过程中，还可以采用skip-gram模型，首先创建skip-gram模型，然后以分词后的文件为训练样本，所述带权路径长度最小的二叉树为输出层，进行训练；训练完成后，根据带权路径长度最小的二叉树中叶子节点向量获得每个知识点的语义向量。

该方案中使用参考文本来获取知识点的次数，并通过带权路径长度最小的二叉树使用建模的方式来计算语义向量，将知识点的语义信息进行量化，通过数字化的方式来体现其语义特征，这样，在后续对知识点进行分析时，可以更加方便，为知识点搜索、推荐、信息过滤等应用提供基础

实施例 2 ：

本实施例中提供一种确定相关知识点的方法，采用实施例1中计算出的知识点的语义向量，来获取相关的知识点，获取知识点后可以用于推荐、关键词扩展、词语过滤、翻译等需求。

本实施例中的确定相关知识点的方法，包括：

首先，获取所有或部分知识点，作为知识点集合。获取哪些知识点可以作为知识点集合根据需要来选择。

然后，采用实施例1所述的获取知识点语义向量的方法确定知识点集合中每个知识点的语义向量。此处的获取知识点语义向量的方法使用实施例1中的 方法，在此不再赘述，通过该方法可以得到每个知识点的语义向量，该语义向量为一个列向量。

接着，对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度。

对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度的过程，包括：

所述相似度的计算方法为：

$f(X,Y)=\frac{X\·Y}{\left|\right|X\left|\right|Y\left|\right|}=\frac{\underset{l=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2\×\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(Y_i\right)}^2}}}$

其中，X、Y为需要比较相似度的两个m列的向量，也就是两个知识点的语义向量。

这样，通过上述方式，就可以计算出每个知识点与其他知识点的所有相似度。

最后，根据所述相似度确定每个知识点的相关知识点。将该知识点与其他知识点的相似度降序排列，选择排序在前的预设数量的其他知识点如10个或20个知识点作为该知识点的相关知识点。确定相关知识点的数量根据需要来选择。

作为其他可以替换的实施方式，上述相似度的计算方法还可以通过下面的公式来计算，即：

$f(X,Y)=\frac{2\underset{l=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(Y_i\right)}^2}$

其中，X、Y为需要比较相似度的两个m列的向量，也就是两个知识点对应 的语义向量。

作为其他可以替换的实施方式，根据相似度确定每个知识点的相关知识点时，还可以采用如下方式：预先设置一个相似度阈值如60％70％或80％或90％，选取相似度大于该阈值的其他知识点作为该知识点的相关知识点。这样就可以得到相似度大于一定程度的相关知识点。

该方式中将知识点的语义信息通过量化的方式来表示，然后通过数学运算的方式，来确定哪些知识点更相关，该方式计算简单方便，且能根据语义间的相关程度，得出的相关知识点具有更好的准确性，适用于推荐、检索等方面。

实施例 3 ：

本实施例中提供一种获取知识点语义向量，并使用该语义向量计算出相关知识点进行知识点推荐的例子。在本实施例中，使用领域百科全书等数字出版资源，通过skip-gram模型计算知识点向量，利用知识点向量实现基于语义的领域知识电子学习推荐。具体的步骤如下。

第一步，从领域百科全书如历史百科权书中抽取领域知识点的名称集合O＝{o₁，o₂，…，o_n}，知识点名称数目为n。将领域知识点的名称加入分词器词典，此处的分词器可以选用IK分词器，在其他实施方式中可以选择其他的分词器如Ansj分词器等。将领域知识点的名称加入分词器词典，有利于后续更好的进行分词，更高的获得该领域知识点内的词语。

第二步，从历史类的领域数字出版资源中选择一定数量的电子书，如选择上下五千年电子书以及介绍各个朝代的电子书，并从选择的电子书中抽取文本。

第三步，使用上述IK分词器对抽取的文本进行分词，得到分词后的文件F。

第四步，统计文件F中各知识点名称出现的次数，形成统计文件，统计 文件中的条目按知识点名称的出现次数倒序排列。统计文件的格式如下，其中o_i，o_j，o_k为知识点的名称，t_i，t_j，t_k为知识点名称在文件F中出现的次数。

o_i，t_i

o_j，t_j

…

o_k，t_k

根据该统计文件，以知识点为叶子节点，形成一棵哈夫曼树。构建该哈夫曼树的过程如下：

1.根据给定的n个知识点生成n棵二叉树的集合R＝{r₁，r₂，..，r_n}，其中每棵二叉树r_i中只有一个带权w_i的根节点，权重w_i等于知识点的出现次数t_i，左右子树均为空。

2.在R中选择两棵根节点权值最小的树作为左右子树构造一棵新的二叉树，且置新的二叉树的根节点的权值为其左右子树上根节点的权值之和。

3.在R中删除这两棵树，并将新的二叉树加入R中。

4.重复第2步和第3步，直到R中只含有一棵树为止。

得到的这棵树即为哈夫曼树。

第五步，使用skip-gram模型来进行训练，得到哈夫曼树中各个知识点对应的叶子节点向量，从而获得各个知识点的语义向量。

skip-gram模型是现有技术中一种神经网络模型，用于训练词语向量，主要原理是通过当前词语预测其前后一定范围内的词语从而得到合适的词语向量表示，使用的训练方法为随机梯度下降方法，输入为文本数据，根据训练得到的结果可以获取词语向量。

此外，在一些文献中，也给出了skip-gram模型的具体介绍及应用，如下：

Mikolov，T.，Chen，K.，Corrado，G.，et al.：Efficient Estimation of Word Representations in Vector Space.In Proc.ICLR Workshop(2013)

Mikolov，T.，Sutskever，I.，Chen，K.，et al.Distributed Representations of Words and Phrases and Their Compositionality.In Proc.NIPS(2013)

在本实施例中，首先创建skip-gram模型，skip-gram模型如图3所示，该模型包括输入层input，中间层projection和输出层output。其中输出层采用第四步中的哈夫曼树。从根节点到叶子节点的每个知识点w的路径长度表示为L(w)，n(w，j)表示该路径下的第j^th节点，ch(n)表示非叶子节点n的孩子节点，s(x)是符号函数，当x为真时取1，否则取-1。对于训练集w₁，w₂，…，w_T(w₁，w₂，…，w_T就是训练集中的词语)，skip-gram模型将最大化概率值其中j≠0，k是以w_t为中心的窗口大小，T是训练集中的词语数目。通常，k值越大，训练得到的结果越准确。但是，k值越大，需要的训练时间也越长。p(w|w_I)定义为 $p\left(w\right|w_I)=\underset{j=1}{\overset{L\left(w\right)-1}{\mathrm{\Σ}}}\mathrm{\σ}(s(n(w,j+1)=\mathrm{ch}\left(n(w,j)\right))\·v_{n(w,j)}^{\′}{v}_{w_i}_T),$ n(w，j)表示该路径下的第j^th节点，s(x)是符号函数，其中σ(x)＝1/(1+exp(-x))，v_w是叶子节点w的向量表示，v′_n是非叶子节点n的向量表示。训练时，训练集中词w_i被丢弃的概率为其中t是指定的阈值，g(w_i)是词w_i出现的频率，使用该概率丢弃词的目的是加快训练速度并提高准确性。

第六步，以分词后的文件F做为训练样本，通过随机梯度下降反向传播算法训练上述skip-gram模型。模型训练完成后，得到每个知识点在哈夫曼树中对应的叶子节点向量，作为该知识点的语义向量。

第七步，当用户学习一个知识点o_i时，计算知识点与其它所有知识点的语义相似度，根据语义相似度降序排序知识点，取得相似度最高的m个知识点R_i，作为相关知识点推荐给用户。相似度计算方法可以根据实施例2中提供的任一方法。

此外，在其他的实施例中，也可以设置为，当用户学习一个知识点o_i时，检查缓存中是否存在知识点o_i及其对应的相关知识点R_i，如果在缓存中存在，则从缓存中取得相关知识点R_i，推荐给用户；如果缓存中不存在，则计算知识点与其它所有知识点的语义相似度，根据语义相似度降序排序，取得相似度最高的m个知识点R_i，并将知识点o_i及R_i存入缓存。将R_i推荐给用户。该方式对于已经计算过的知识点，无需重复计算，直接从缓存中提取相关知识点，可以减少运算量。

作为另外一种可以替换的实施方式，还可以对于每一个知识点o_i，计算该知识点与其它所有知识点的语义相似度，根据语义相似度降序排序，取得相似度最高的m个知识点R_i作为相关知识点。把所有o_i及对应的R_i存入缓存。当用户学习一个知识点o_i时，从缓存中取得相关知识点R_i，推荐给用户。该方案预先计算出所有知识点的相关知识点，应用时直接提取即可，使用时更加便捷、及时。

实施例 4 ：

本实施例中提供一种获取知识点语义向量的系统，如图5所示，包括

获取单元：获取所有或部分知识点，作为知识点集合；

统计单元：确定知识点集合中每个知识点在参考文本中出现的次数；

建模单元：根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树；

训练单元：根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。

其中，所述统计单元包括：

分词单元：对参考文本进行分词，得到分词后的文件；

次数统计单元：统计每个知识点在该分词后的文件中出现的次数。

本实施例中，所述建模单元包括：

最优二叉树建立单元：以知识点为叶子节点，构建带权路径长度最小的二叉树。

本实施例中，所述训练单元包括

skip-gram模型单元：创建skip-gram模型；

训练处理单元：以分词后的文件为训练样本，所述带权路径长度最小的二叉树为输出层，进行训练；

语义向量计算单元：训练完成后，根据带权路径长度最小的二叉树中的节点向量获得每个知识点的语义向量。

在其他可以替换的实施方式中，所述训练单元还可以包括

CBOW模型单元：创建CBOW模型；

训练处理单元：以分词后的文件和所述带权路径长度最小的二叉树为输入和输出，进行训练；

语义向量计算单元：训练完成后，根据带权路径长度最小的二叉树中的节点向量获得每个知识点的语义向量。

本实施例中的获取知识点语义向量的系统，包括获取单元、统计单元、建模单元以及训练单元，该方案中使用参考文本来获取知识点的次数，并通过带权路径长度最小的二叉树使用建模的方式来计算语义向量，将知识点的语义信息进行量化，通过数字化的方式来体现其语义特征，这样，在后续对知识点进行分析时，可以更加方便，为相关知识点搜索、推荐、信息过滤等应用提供基础。

实施例 5 ：

本实施例中提供一种确定相关知识点的系统，如图6所示，包括：

提取单元：获取所有或部分知识点，作为知识点集合；

语义向量获取单元：采用权利要求1-5所述的获取知识点语义向量的系统确定知识点集合中每个知识点的语义向量：

相似度计算单元：对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度；

相关知识点确定单元：根据所述相似度确定每个知识点的相关知识点。

本实施例中，相似度计算单元中所述相似度的计算公式为：

$f(X,Y)=\frac{X\·Y}{\left|\right|X\left|\right|Y\left|\right|}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2\×\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(Y_i\right)}^2}}}$

其中，X、Y为需要比较相似度的两个m列的向量。

在其他可以替换的实施例中，相似度计算单元中的相似度的计算公式为：

$f(X,Y)=\frac{2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(Y_i\right)}^2}$

其中，X、Y为需要比较相似度的两个m列的向量。

本实施例中，相关知识点确定单元包括：

排序单元：将该知识点与其他知识点的相似度降序排列，选择排序在前的预设数量的其他知识点作为该知识点的相关知识点。

在其他可以替换的实施例中，所述相关知识点确定单元包括：

阈值单元：预先设置一个相似度阈值，选取相似度大于该阈值的其他知识点作为该知识点的相关知识点。

本实施例中提供一种确定相关知识点的系统，包括提取单元、语义向量获取单元、相似度计算单元以及相关知识点确定单元，知识点的语义信息通过量化的方式来表示，然后通过数学运算的方式，来确定哪些知识点更相关，该方式计算简单方便，且能根据语义间的相关程度，得出的相关知识点具有更好的准确性，适用于推荐、检索等方面。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (20)

1.一种获取知识点语义向量的方法，其特征在于，包括

获取所有或部分知识点，作为知识点集合；

确定知识点集合中每个知识点在参考文本中出现的次数；

根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树；

根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。

2.根据权利要求1所述的获取知识点语义向量的方法，其特征在于，所述确定知识点集合中每个知识点在参考文本中出现的次数的处理，包括：

对参考文本进行分词，得到分词后的文件；

统计每个知识点在该分词后的文件中出现的次数。

3.根据权利要求1或2所述的获取知识点语义向量的方法，其特征在于，所述根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树的处理，包括：

以知识点为叶子节点，构建带权路径长度最小的二叉树。

4.根据权利要求1或2所述的获取知识点语义向量的方法，其特征在于，根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量，包括

创建skip-gram模型；

以分词后的文件为训练样本，所述带权路径长度最小的二叉树为输出层，进行训练；

训练完成后，根据带权路径长度最小的二叉树中的节点向量获得每个知识点的语义向量。

5.根据权利要求1或2所述的获取知识点语义向量的方法，其特征在于，所述根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量的处理，包括

创建CBOW模型；

以分词后的文件和所述带权路径长度最小的二叉树为输入和输出，进行训练；

训练完成后，根据带权路径长度最小的二叉树中的节点向量获得每个知识点的语义向量。

6.一种确定相关知识点的方法，其特征在于，包括：

获取所有或部分知识点，作为知识点集合；

采用权利要求1-5所述的获取知识点语义向量的方法确定知识点集合中每个知识点的语义向量：

对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度；

根据所述相似度确定每个知识点的相关知识点。

7.根据权利要求6所述的确定相关知识点的方法，其特征在于，包括

对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度的过程，包括：

所述相似度的计算方法为：

$f(X,Y)=\frac{X\·Y}{\left|\right|X\left|\right|\left|\right|Y\left|\right|}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(Y_i\right)}^2}}$

其中，X、Y为需要比较相似度的两个m列的向量。

8.根据权利要求6所述的确定相关知识点的方法，其特征在于，对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度的过程，包括：

所述相似度的计算方法为：

$f(X,Y)=\frac{2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{Y_i}^2}$

其中，X、Y为需要比较相似度的两个m列的向量。

9.根据权利要求6或7或8所述的确定相关知识点的方法，其特征在于，根据所述相似度确定每个知识点的相关知识点的处理，包括：

将该知识点与其他知识点的相似度降序排列，选择排序在前的预设数量的其他知识点作为该知识点的相关知识点。

10.根据权利要求6或7或8所述的确定相关知识点的方法，其特征在于，根据所述相似度确定每个知识点的相关知识点的处理，包括：

预先设置一个相似度阈值，选取相似度大于该阈值的其他知识点作为该知识点的相关知识点。

11.一种获取知识点语义向量的系统，其特征在于，包括

获取单元：获取所有或部分知识点，作为知识点集合；

统计单元：确定知识点集合中每个知识点在参考文本中出现的次数；

建模单元：根据每个知识点和该知识点在参考文本中出现的次数，计算带权路径长度最小的二叉树；

训练单元：根据每个知识点在参考文本中的位置和所述带权路径长度最小的二叉树，确定每个知识点的语义向量。

12.根据权利要求11所述的获取知识点语义向量的系统，其特征在于，所述统计单元包括：

分词单元：对参考文本进行分词，得到分词后的文件；

次数统计单元：统计每个知识点在该分词后的文件中出现的次数。

13.根据权利要求11或12所述的获取知识点语义向量的系统，其特征在于，所述建模单元包括：

最优二叉树建立单元：以知识点为叶子节点，构建带权路径长度最小的二叉树。

14.根据权利要求11或12所述的获取知识点语义向量的系统，其特征在于，所述训练单元包括

skip-gram模型单元：创建skip-gram模型；

训练处理单元：以分词后的文件为训练样本，所述带权路径长度最小的二叉树为输出层，进行训练；

语义向量计算单元：训练完成后，根据带权路径长度最小的二叉树中的节点向量获得每个知识点的语义向量。

15.根据权利要求11或12所述的获取知识点语义向量的系统，其特征在于，所述训练单元包括

CBOW模型单元：创建CBOW模型；

训练处理单元：以分词后的文件和所述带权路径长度最小的二叉树为输入和输出，进行训练；

语义向量计算单元：训练完成后，根据带权路径长度最小的二叉树中的节点向量获得每个知识点的语义向量。

16.一种确定相关知识点的系统，其特征在于，包括：

提取单元：获取所有或部分知识点，作为知识点集合；

语义向量获取单元：采用权利要求1-5所述的获取知识点语义向量的系统确定知识点集合中每个知识点的语义向量：

相似度计算单元：对于每个知识点，根据其语义向量确定该知识点与其他知识点的相似度；

相关知识点确定单元：根据所述相似度确定每个知识点的相关知识点。

17.根据权利要求16所述的确定相关知识点的系统，其特征在于，包括：

相似度计算单元包括：

所述相似度的计算公式为：

$f(X,Y)=\frac{X\·Y}{\left|\right|X\left|\right|\left|\right|Y\left|\right|}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2}\×\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(Y_i\right)}^2}}$

其中，X、Y为需要比较相似度的两个m列的向量。

18.根据权利要求16所述的确定相关知识点的系统，其特征在于，相似度计算单元包括：

所述相似度的计算公式为：

$f(X,Y)=\frac{2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{X}_i\×Y_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\left(X_i\right)}^2+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{Y_i}^2}$

其中，X、Y为需要比较相似度的两个m列的向量。

19.根据权利要求16或17或18所述的确定相关知识点的系统，其特征在于，相关知识点确定单元包括：

排序单元：将该知识点与其他知识点的相似度降序排列，选择排序在前的预设数量的其他知识点作为该知识点的相关知识点。

20.根据权利要求16或17或18所述的确定相关知识点的系统，其特征在于，所述相关知识点确定单元包括：

阈值单元：预先设置一个相似度阈值，选取相似度大于该阈值的其他知识点作为该知识点的相关知识点。