CN111324709A - 基于学科知识图谱和卷积神经网络的智能答疑方法 - Google Patents

Abstract

本发明提供了一种基于知识图谱和神经网络的智能答疑方法，包括以下步骤：S1.形成用户问句q指向领域本体的候选概念集合；S2.形成用户问句指向领域本体排名前N的候选概念集合TOP(N)，以及在问句q中相对应的概念提及集合M(N)；S3.计算得出用户问句与候选概念的所有概念关系对的相似度；S4.将与用户问句q相似度值最大的概念关系对作为答案知识源；S5.在学科知识图谱的关系记录库中查询概念关系对，得到用户问句的答案并呈现给用户。本发明以学科知识图谱作为知识库，以学科知识图谱关系记录库中的关系记录作为问句的答案来源，同时通过卷积神经网络实现问句的处理与分类，提高了问句在概念关系对上的分类精度。

Description

基于学科知识图谱和卷积神经网络的智能答疑方法

技术领域

本发明属于计算机技术与教育技术交叉的技术领域，具体涉及基于知识图谱和神经网络的智能答疑方法。

背景技术

智能答疑系统是智能教学系统与自动问题系统的一个交叉领域，在大型开放式网络课程系统中，答疑是一个重要环节，智能答疑系统的研发，有助于提高教学的效能。智能答疑系统是一个与知识高度相关的系统，现行的智能答疑系统在知识库的组织上普遍存在以下问题：(1)许多智能答疑系统的答案直接建立在非结构化的文档内容，没有构建基于语义网的知识库；(2)在基于语义网和本体的知识结构中，普遍存在语义关系过于单一的现象，如许多系统只采用类似教材目录的整体-部分的包含关系组织语义网的知识点，许多系统的本体只存在“is-a”单一的语义关系；(3)教学内容普遍采用单一的文字或文本形式，缺乏对多媒体教学内容的有效管理与使用；(4)部分使用知识图谱的智能答疑系统，基于语义关系的知识挖掘不到位，表征认知的外化与形式化的知识太少，无法正真做到通过语义关系实现所有答案的推理、检索，以及无法实现通过语义关系实现对学习者认知状态的诊断、评测与补救。此外，目前的智能答疑系统的问句分类方法大多数都是采用基于人工特征的语义分析方法，难以适应当前大数据时代，答疑系统问句形式复杂、多变的现状，同时也因语义分析的各个环节的错误传递，造成问句分类的精度不高。

知识图谱的概念是谷歌公司为应对智能化语义检索的挑战而提出的.2012年5月17日，谷歌公司发布知识图谱项目，并宣布以此为基础构建下一代智能化搜索引擎，其目标是将互联网的链接从网页的链接迈向数据甚至知识的链接。知识图谱.是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体一关系一实体”三元组，以及实体及其相关属性一值对，实体间通过关系相互联结，构成网状的知识结构。随着近年来谷歌知识图谱相关产品的不断上线，这一技术也引起了业界和学术界的广泛关注，已成为各行各业从网络化向智能化转型升级的关键技术之一，也为个性化自适应学习系统中领域知识建模这一核心和基础问题，提供了新的技术手段。知识图谱有利于解决目前智能答疑系统存在的问题，但目前尚没有文献公开相关的基于知识图谱的智能答疑方法。

发明内容

本发明提供了一种基于知识图谱和神经网络的智能答疑方法，以学科知识图谱作为知识库，以学科知识图谱关系记录库中的关系记录作为问句的答案来源，同时通过卷积神经网络实现问句的处理与分类，确保系统教学知识的完备性和具有端到端的特点，极大丰富了系统的知识库，避免了语义分析的各个环节的错误传递，提高了问句在概念关系对上的分类精度。

为实现上述目的，本发明的技术方案为：

一种基于知识图谱和神经网络的智能答疑方法，包括以下步骤：

S1.使用用户问句q中的每个汉字，检索领域本体中包含该汉字的概念，形成用户问句q指向领域本体的候选概念集合ConSet；

S2.通过候选概念集合ConSet及其与问句q基于字表面的相似度，自动识别用户问句q中的概念提及，形成用户问句q指向领域本体排名前N的候选概念集合TOP(N)，以及在问句q中相对应的概念提及集合M(N)；

S3.从概念提及集合M(N)中选择一个概念提及m，逐一检索m在TOP(N)中对应候选概念c的每一个形如t(c，r)的概念关系对，通过基于字表面的问句q与候选概念c的相似度sim(q，c)、基于标准卷积神经网络的概念提及m与候选概念c之间的相似度sim(c，m)、基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度sim(q，r)，计算得出用户问句q与候选概念c的所有概念关系对的相似度；

S4.重复步骤S3，直至集合M(N)中的每个概念提及被处理完毕，并将通过步骤S3得到的与用户问句q相似度值最大的概念关系对t(c’，r’)作为答案知识源；

S5.在学科知识图谱的关系记录库中查询概念关系对t(c’，r’)，得到用户问句q的答案并呈现给用户。

进一步的，所述的知识图谱是指答疑领域所在学科的知识图谱，包括反映概念间联系的语义关系，以及反映概念与多媒体知识或事实性知识之间联系的属性关系；

所述学科知识图谱的关系定义为由斜扛分隔的三元组：概念类型/主题/媒体类型；

所述概念类型用于给出关系的定义域，所述主题用于解释关系的含义，所述媒体类型用于给出关系定义域的媒体类别。

进一步的，所述步骤S2包括如下子步骤：

2.1计算ConSet中的每一个候选概念c与用户问句q的最长连续公共子序列LCCS(c，q)：

LCCS(c，q)＝U_i≤|c|{s(i)∈c∩q|s(i)是s(i-1)在c中的后继}

2.2通过最长连续公共子序列LCCS(c，q)，计算在ConSet中的每一个候选概念c与用户问句q的基于字表面的相似度sim(q，c)：

保留相似度排名前N的候选概念，形成用户问句q在领域本体排名前N的候选概念集合TOP(N)；

2.3对于集合TOP(N)中的每一个候选概念c与用户问句q的最长连续公共子序列LCCS(c，q)，按如下方法进行扩展，形成用户问句q的N个概念提及集合M(N)：如果LCCS(c，q)与对应的候选概念c的长度相同，则c就是用户问句q的一个概念提及；如果c比其LCCS(c，q)更长并且在左边有L₁个汉字，或c比LCCS(c，q)更长并且在右边有L2个汉字，则在问句q中逐字扩展LCCS(c，q)左侧L₁个汉字或右侧L2个汉字，直到在问句q中出现c的左边界字或右边界字为止，此时扩展后的LCCS(c，q)就是c在q中对应的概念提及；所述用户问句q的一个概念提及是指q中可能包含的一个提问概念。

进一步的，所述步骤S3中，标准神经网络的处理过程包括：

3.1.1使用标准卷积神经网络S_CNN的输入层来统一处理文本片段，形成文本片段的输入特征矩阵，所述文本片段包括概念提及、领域本体中的候选概念，以及关系成份中的概念类型、主题与媒体类型；

3.1.2S_CNN通过卷积层从文本片段中提取n-gram特征，产生n-gram特征的语义向量；

3.1.2将所有的n-gram特征的语义向量通过逐行最大池化输出所述文本片段的语义向量，包括领域本体中的候选概念、概念提及、概念类型、主题与媒体类型的语义向量v_c、v_m、v_r1、v_r2与v_r3。

进一步的，步骤3.1.1包括：S_CNN的输入层将长度为s个汉字的输入序列x转换为维度为d×s的实数特征矩阵，其中d表示每个汉字随机初始化的实数嵌入向量的维数，且所述实数特征矩阵等价于s个维度为d的向量序列：v₁，v₂，…，v_s；

所述步骤3.1.2包括：S_CNN通过一个卷积层从滑动的n-grams中进行语义向量学习，对于长度为s个汉字的输入序列x：v₁，v₂，…，v_s，令向量c_i∈R^nd表示如下n个汉字嵌入向量的联接嵌入：v_i-n+1，...，v_i，其中n为卷积滑动过滤器filter的宽度，R^nd表示维度为n*d的实数向量集合，i为n-gram在输入序列x中的结束位置，且有0＜i＜s+n，以及对于i＜1或i＞s的嵌入向量v_i使用零值填充；卷积层使用卷积权重W∈R^dxnd为n-gram的向量序列v_i-n+1，...，v_i产生一个n-gram特征的语义向量p_i∈R^d，计算公式如下：

p_i＝tanh(W·c_i+b)

其中，偏置b∈R^d，R^d表示维度为d的实数向量集合，R^d×nd表示维度为d行、n*d列的实数矩阵集合，tanh(·)为双曲正切函数；

所述步骤3.1.3包括：将所有n-gram特征的语义向量p_i(i＝1，...，s+n-1)，通过最大池化生成输入序列x的语义向量v_x∈R^d，计算公式如下：

v_x＝{x_j∈R|j＝1，...，d}

x_j＝max{p_i(j)|i＝1，...，s+n-1}

其中，max{·}表示求最大值，p_i(j)表示p_i中的第j个元素，R表示实数集合，x_j表示所有p_i中第j个元素的最大值。

进一步的，所述基于标准卷积神经网络的概念提及m与候选概念c之间的相似度的计算方法为：

进一步的，所述步骤S3中，多级蕴涵卷积神经网络的处理过程包括：

步骤3.2.1和步骤3.2.2分别采用与步骤3.1.1和3.1.2相同的方法处理关系成份中的概念类型、主题与媒体类型的语义特征，得到相对应的关系成份语义向量v_r1、v_r2与v_r3；

3.2.3根据语义向量v_r1、v_r2与v_r3，采用多级蕴涵卷积神经网络MI_CNN的三级池化过程，分别输出与关系成份概念类型、主题与媒体类型相对应的问句语义向量v_q1、v_q2与v_q3：

(1)设F_q∈R^d×(s+n-1)表示问句q经MI_CNN卷积层处理后生成的n-gram特征矩阵，o为问句q所要匹配的关系成份，v_o∈R^d表示经S_CNN处理得到的关系成份o的语义向量，MI_CNN的每一级池化过程首先计算F_q中每一列与v_o的余弦相似度u_i，并将其中的最大值

作为问句q对关系成份o的蕴涵度，记作

计算过程如下：

F_q＝{p_i∈R^d|i＝1，...，s+n-1}

p_i＝{t_ji∈R|j＝1，...，d}

u_i＝cos(v_o，p_i)

其中，t_ji为第i个n-gram特征的语义向量p_i的第j维度上的值；

(2)利用问句q对关系成份o的蕴涵度

对F_q中每一列的特征值进行衰减，并将与v_o的相似度值为负的列的向量值置为0，得到衰减后的问句特征矩阵F′_q，计算过程如下：

F′_q＝{p′_i∈R^d|i＝1，...，s+n-1}

p′_i＝{t′_ji∈R|j＝1，...，d}

其中，p′_i表示衰减后的p_i向量，t′_ji表示p′_i向量的第j维度上的值；

(3)根据衰减后特征矩阵F′_q中每一行最大值的位置检索特征矩阵F_q，得到F_q每一行的池化结果，并最终得到每一级池化后问句q的语义向量v_q∈R^d，计算过程如下：

v_q＝{q_j∈R|j＝1，...，d}

q_j＝p_k(j)

k′＝argmax{p′_k(j)|k＝1，...，s+n-1}

其中，argmax{p′_k(j)|k＝1，...，s+n-1}表示求使得p′_k(j)为最大值的k，q_j表示v_q向量的第j个元素，p′_k(j)表示p′_k的第j个元素。

进一步的，所述步骤S3中，基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度的计算方法为：

3.3.1分别计算问句q与不同关系成份r的相似度，分别记作sim(v_q1，v_r1)、sim(v_q2，v_r2)与sim(v_q3，v_r3)：

3.3.2计算问句q与语义关系r的相似度sim(q，r)：

进一步的，所述步骤S3中，用户问句q与候选概念c的概念关系对t(c，r)的相似度sim(q，t(c，r))计算方法为：

sim(q，t(c，r))＝sim(q，c)+sim(c，m)+sim(q，r)。

多级蕴涵卷积神经网络MI_CNN与标准卷积神经网络S_CNN共享权重，并以端到端的方式共同训练输入层汉字的词嵌入向量与卷积层的卷积权重W，模型训练设置如下：

(1)对于在训练集中的任意用户问句q，将所标注用于提供答案的概念关系对作为q所期望概念关系对的正样本，记作t⁺，将q在领域本体中所有候选概念的其他概念关系对作为负样本，记作t^-，并且对于任意用户问句q随机选取NG个负样本，NG∈[1，100]；

(2)分别计算问句q与正样本t⁺及与负样本t^-的相似度，分别记作sim(q，t⁺)和sim(q，t^-)；

(3)对S_CNN与MI_CNN卷积神经网络模型的训练目标是最小化如下相似度排名损失：

其中，δ为补偿因子常量，并且δ∈[0，1)。

本发明以学科知识图谱中的领域本体作为概念词典，以学科知识图谱的关系记录作为问句的答案来源，通过多级蕴涵卷积神经网络确定提供答案的概念关系对，相比传统的智能答疑系统，本发明具有如下特点与优势：

(1)本发明通过学科知识图谱有效整合了各种多媒体知识、事实性知识、属性知识与语义知识，为智能答疑提供了丰富的知识来源；

(2)本发明在学科知识图谱中将各类知识通过关系与领域中的概念相关联，以学科知识图谱关系记录库中的关系记录作为问句的答案线索，提高了系统答疑的准确率；

(3)本发明通过卷积神经网络提取问句中的n-grams特征，不依赖任意词性分析与语法分析，具有完全端到端的特点；

(4)通过一个多级蕴涵卷积神经网络，根据对所要匹配关系成份的蕴涵度，分别生成问句的不同语义向量，提高了问句与概念关系对的相似度精度；

(5)将问句中的概念提及与本体中的候选概念之间的相似度和问句与概念关系之间的相似度进行联合计算与联合训练，可简化模型的训练过程，同时通过概念与概念关系的相互制约，提高了概念关系对选择的准确率。

附图说明

图1是本发明的方法示意图。

图2是学科知识图谱的结构示意图。

图3是标准卷积神经网络的示意图。

具体实施方法

以下结合具体实施例和附图对本发明作进一步说明，但本发明的保护范围不限于以下实施例。

一种基于知识图谱和神经网络的智能答疑方法，结合图1所示，包括以下步骤：

S1.使用用户问句q中的每个汉字，检索领域本体中包含该汉字的概念，形成用户问句q指向领域本体的候选概念集合ConSet；

S2.通过候选概念集合ConSet及其与问句q基于字表面的相似度，自动识别用户问句q中的概念提及，形成用户问句q指向领域本体排名前N的候选概念集合TOP(N)，以及在问句q中相对应的概念提及集合M(N)；

S3.从概念提及集合M(N)中选择一个概念提及m，逐一检索m在TOP(N)中对应候选概念c的每一个形如t(c，r)的概念关系对，通过基于字表面的问句q与候选概念c的相似度sim(q，c)、基于标准卷积神经网络的概念提及m与候选概念c之间的相似度sim(c，m)、基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度sim(q，r)，计算得出用户问句q与候选概念c的所有概念关系对的相似度；

S4.重复步骤S3，直至集合M(N)中的每个概念提及被处理完毕，并将通过步骤S3得到的与问句q相似度值最大的概念关系对t(c’，r’)作为答案知识源；

S5.在学科知识图谱的关系记录库中查询概念关系对t(c’，r’)，得到问句q的答案并呈现给用户。

1、本实施例对学科知识图谱作一个介绍：

如图2所示，学科知识图谱分为的四个层次：(1)非结构化的多媒体知识，包括文档、图片、动画与视频等多种形态的多媒体教学内容单元，用于反映描述性知识，如概念的定义、作用与功能，或过程性知识，如计算机的组装过程，每个多媒体教学单元讲解概述的某一方面的知识点；(2)事实性知识，包括用于反映概念特征的数据实体，以及概念实例，其中数据实体包括文本、人名、时间与数值等；(3)结构化的关系记录，包括语义关系记录与属性关系记录，语义关系记录用于反映概念间的联系，属性关系记录用于反映概念与事实性知识之间的联系；(4)基于“is-a”分类关系的领域本体，用于反映本领域概念间的分类结构、概念的名称及其同义词，该领域本体是答疑系统知识图谱的约束模型，每个多媒体知识和事实性知识都通过某种属性关系与领域本体中的概念相关联，而语义关系中的定义域和值域都来自于领域本体中的概念。

2、关系结构定义

本发明学科知识图谱中的关系包括反映概念间联系的语义关系，以及反映概念与多媒体知识或事实性知识之间联系的属性关系，这两类关系有着相同的结构。为增强关系的自我解释能力，并发明将适用于智能答疑方法的知识图谱中的关系定义成一个由斜扛“/”分隔的三元组：概念类型/主题/媒体类型。

其中，概念类型：用于给出关系的定义域，表明本体中哪些概念具有该种关系，使用本体中的一个概念或多个概念及其连接词“和”或“与”，如果本体中的所有概念都可具有某种关系，则使用“本体”表示该关系的概念类型；

主题：用于解释关系的含义，可以是动词，如“存储”，也可以是动词短语，如“存储于”、“用于存储”，以及可以是名词，如“颜色”，或可以是名词短语，如“网络类别”；

媒体类型：用于给出关系定义域的媒体类别，表明关系指向何种类型的知识，本发明规定关系可以具有“概念”、“多媒体”、“实例”与“数据”四种不同的媒体类型，其中“概念”代表关系指向本体中的概念，“多媒体”代表关系指向多媒体知识，“实例”代表关系指向本体中概念的实例，“数据”代表关系指向文本、时间与数值等数据。

例如：磁盘与内存/用于存储/概念

硬件/组装过程/多媒体

计算机网络/组网过程/多媒体。

3、用户问句中概念提及的自动识别即步骤S2包括如下子步骤：

2.1计算ConSet中的每一个候选概念c与用户问句q的最长连续公共子序列LCCS(c，q)：

LCCS(c，q)＝U_i≤|c|{s(i)∈c∩q|s(i)是s(i-1)在c中的后继} (1)

2.2通过最长连续公共子序列LCCS(c，q)，计算在ConSet中的每一个候选概念c与用户问句q的基于字表面的相似度sim(q，c)：

保留相似度排名前N的候选概念，形成用户问句q在领域本体排名前N的候选概念集合TOP(N)，本实施例取N∈[1，100]；

2.3对于集合TOP(N)中的每一个候选概念c与用户问句q的最长连续公共子序列LCCS(c，q)，按如下方法进行扩展，形成用户问句q的N个概念提及集合M(N)：如果LCCS(c，q)与对应的候选概念c的长度相同，则c就是用户问句q的一个概念提及；如果c比其LCCS(c，q)更长并且在左边有L₁个汉字，或c比LCCS(c，q)更长并且在右边有L₂个汉字，则在问句q中逐字扩展LCCS(c，q)左侧L₁个汉字或右侧L₂个汉字，直到在问句q中出现c的左边界字或右边界字为止，此时扩展后的LCCS(c，q)就是c在q中对应的概念提及；所述用户问句q的一个概念提及是指q中可能包含的一个提问概念。例如，相对于本体概念“计算机网络”，带有拼写错误的问句“计算机络的组网过程是什么？”所包含的概念提及为“计算机络”。

4、本实施例用于处理n-grams特征的标准卷积神经网络

即步骤S3中，计算基于标准卷积神经网络的概念提及m与候选概念c之间的相似度、基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度都需要使用的标准卷积神经网络。

结合图3所示，标准神经网络的处理过程包括：

3.1.1输入层：使用标准卷积神经网络S_CNN的输入层来统一处理文本片段，形成文本片段的输入特征矩阵，文本片段包括概念提及、领域本体中的候选概念，以及关系成份中的概念类型、主题与媒体类型；

3.1.2卷积层：S_CNN通过卷积层从文本片段中提取n-gram特征，产生n-gram特征的语义向量；

3.1.2最大池化：将所有的n-gram特征的语义向量通过逐行最大池化输出文本片段的语义向量，包括领域本体中的候选概念、概念提及、概念类型、主题与媒体类型的语义向量v_c、v_m、v_r1、v_r2与v_r3。

更具体的，步骤3.1.1包括：S_CNN的输入层将长度为s个汉字的输入序列x转换为维度为d×s的实数特征矩阵，其中d表示每个汉字随机初始化的实数嵌入向量的维数，且该实数特征矩阵等价于s个维度为d的向量序列：v₁，v₂，…，v_s；

步骤3.1.2包括：S_CNN通过一个卷积层从滑动的n-grams中进行语义向量学习，对于长度为s个汉字的输入序列x：v₁，v₂，…，v_s，令向量c_i∈R^nd表示如下n个汉字嵌入向量的联接嵌入：v_i-n+1，...，v_i，其中n为卷积滑动过滤器filter的宽度，R^nd表示维度为n*d的实数向量集合，i为n-gram在输入序列x中的结束位置，且有0＜i＜s+n，以及对于i＜1或i＞s的嵌入向量v_i使用零值填充；卷积层使用卷积权重W∈R^d×nd为n-gram的向量序列v_i-n+₁，...，v_i产生一个n-gram特征的语义向量p_i∈R^d，计算公式如下：

p_i＝tanh(W·c_i+b) (3)

其中，偏置b∈R^d，R^d表示维度为d的实数向量集合，R^d×nd表示维度为d行、n*d列的实数矩阵集合，tanh(·)为双曲正切函数；

步骤3.1.3包括：将所有n-gram特征的语义向量p_i(i＝1，...，s+n-1)，通过最大池化生成输入序列x的语义向量v_x∈R^d，计算公式如下：

v_x＝{x_j∈R|j＝1，...，d} (4)

x_j＝max{p_i(j)|i＝1，...，s+n-1} (5)

其中，max{·}表示求最大值，p_i(j)表示p_i中的第j个元素，R表示实数集合，x_j表示所有p_i中第j个元素的最大值p_i使用公式(3)来计算。

5、用于处理问句特征的多级蕴涵卷积神经网络

即步骤S3中，计算基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度需要使用的标准卷积神经网络。

具体的，多级蕴涵卷积神经网络的处理过程包括：

使用一个多级蕴涵卷积神经网络MI_CNN，根据问句对所要匹配关系成份的蕴涵度，分别生成问句的不同语义向量。本发明的多级蕴涵卷积神经网络MI_CNN与标准卷积神经网络S_CNN二者具有相同的输入层和卷积层，并共享神经网络卷积权重W，MI_CNN与S_CNN的区别在于：MI_CNN通过注意力根据问句对所要匹配的关系成份向量的蕴涵度分别进行最大池化，而不是直接进行逐行最大池化。根据关系结构三种不同的结构成份，MI_CNN具有三级池化过程，每一级的池化过程类似，以下进行更具体的说明：

步骤3.2.1和步骤3.2.2分别采用与步骤3.1.1和3.1.2相同的方法处理关系成份中的概念类型、主题与媒体类型的语义特征，得到相对应的关系成份语义向量v_r1、v_r2与v_r3；

3.2.3根据语义向量v_r1、v_r2与v_r3，采用多级蕴涵卷积神经网络MI_CNN的三级池化过程，分别输出与关系成份概念类型、主题与媒体类型相对应的问句语义向量v_q1、v_q2与v_q3：

(1)设F_q∈R^d×(s+n-1)表示问句q经MI_CNN卷积层处理后生成的n-gram特征矩阵，o为问句q所要匹配的关系成份，v_o∈Rd表示经S_CNN处理得到的关系成份o的语义向量，MI_CNN的每一级池化过程首先计算F_q中每一列与v_o的余弦相似度u_i，并将其中的最大值

作为问句q对关系成份o的蕴涵度，记作

计算过程如下：

F_q＝{p_i∈R^d|i＝1，...，s+n-1} (6)

p_i＝{t_ji∈R|j＝1，...，d} (7)

u_i＝cos(v_o，p_i) (9)

其中，t_ji为第i个n-gram特征的语义向量p_i的第j维度上的值。

(2)利用问句q对关系成份o的蕴涵度

对F_q中每一列的特征值进行衰减，并将与v_o的相似度值为负的列的向量值置为0，得到衰减后的问句特征矩阵F′_q，计算过程如下：

F′_q＝{p′_i∈R^d|i＝1，...，s+n-1} (11)

p′_i＝{t′_ji∈R|j＝1，...，d} (12)

其中，u_i表示根据公式(9)计算得到的F_q中第i列与v_o的余弦相似度，

表示根据公式(8)计算得到的q对关系成份o的蕴涵度，p′_i表示衰减后的p_i向量，t′_ji表示p′_i向量的第j维度上的值。

(3)根据衰减后特征矩阵F′_q中每一行最大值的位置检索特征矩阵F_q，得到F_q每一行的池化结果，并最终得到每一级池化后问句q的语义向量v_q∈R^d，计算过程如下：

v_q＝{q_j∈R|j＝1，...，d} (14)

q_j＝p_k′(j) (15)

k′＝argmax{p′_k(j)|k＝1，...，s+n-1} (16)

其中，argmax{p′_k(j)|k＝1，...，s+n-1}表示求使得p′_k(j)为最大值的k，q_j表示v_q向量的第j个元素，p′_k(j)表示p′_k的第j个元素。

对三种不同的结构成份按照上述过程分别进行计算输出，得到概念类型、主题与媒体类型的语义向量v_q1、v_q2与v_q3。

6、问句与概念关系对相似度计算

问句与概念关系对相似度计算需要依据三个参数，包括：基于字表面的问句q与候选概念c的相似度、基于标准卷积神经网络的概念提及m与候选概念c之间的相似度、基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度，以下详细说明计算过程：

(1)按照公式(1)和(2)计算基于字表面的问句q与候选概念c的相似度，记作sim(q，c)；

(2)使用步骤3.1.1-3.1.3分别处理候选概念c及其在用户问句q中对应的概念提及m，分别得到输出语义向量v_c与v_m，并使用如下的向量余弦公式计算基于标准卷积神经网络的概念提及m与候选概念c之间的相似度：

(3)使用步骤3.1.1-3.1.3分别处理关系成份中的概念类型、主题与媒体类型，得到输出语义向量v_r1、v_r2与v_r3；然后使用步骤3.2.1-3.2.3分别处理关系成份r中的概念类型、主题与媒体类型，分别得到问句q的不同语义向量v_q1、v_q2与v_q3，然后按照下述步骤计算基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度：

3.3.1分别计算问句q与不同关系成份r的相似度，分别记作sim(v_q1，v_r1)、sim(v_q2，v_r2)与sim(v_q3，v_r3)：

3.3.2计算问句q与语义关系r的相似度sim(q，r)：

(4)计算问句q与候选概念c的概念关系对t(c，r)的相似度sim(q，t(c，r))：

sim(q，t(c，r))＝sim(q，c)+sim(c，m)+sim(g，r) (20)

sim(q，c)由公式(1)获得，sim(c，m)由公式(17)计算，sim(q，r)由公式(19)计算。

7、步骤S4中，取sim(q，t(c，r))最大的概念关系对t(c’，r’)作为答案知识源。

8、卷积神经网络模型训练

本发明的多级蕴涵卷积神经网络MI_CNN与标准卷积神经网络S_CNN二者共享权重，并以端到端的方式共同训练输入层汉字的词嵌入向量与卷积层的卷积权重W，模型训练设置如下：

(1)对于在训练集中的任意用户问句q，将所标注用于提供答案的概念关系对作为q所期望概念关系对的正样本，记作t⁺，将q在领域本体中所有候选概念的其他概念关系对作为负样本，记作t^-，并且对于任意用户问句q随机选取NG个负样本，NG∈[1，100]；

(2)使用公式(20)分别计算问句q与正样本t⁺及与负样本t^-的相似度，分别记作sim(q，t⁺)和sim(q，t^-)；

(3)本发明对S_CNN与MI_CNN卷积神经网络模型的训练目标是最小化如下相似度排名损失：

其中，δ为补偿因子常量，并且δ∈[0，1)。

即训练W使得l(q，t⁺，t^-)获得最小值。

Claims (10)

1.一种基于知识图谱和神经网络的智能答疑方法，其特征在于包括以下步骤：

S1.使用用户问句q中的每个汉字，检索领域本体中包含该汉字的概念，形成用户问句q指向领域本体的候选概念集合ConSet；

S2.通过候选概念集合ConSet及其与问句q基于字表面的相似度，自动识别用户问句q中的概念提及，形成用户问句q指向领域本体排名前N的候选概念集合TOP(N)，以及在问句q中相对应的概念提及集合M(N)；

S3.从概念提及集合M(N)中选择一个概念提及m，逐一检索m在TOP(N)中对应候选概念c的每一个形如t(c，r)的概念关系对，通过基于字表面的问句q与候选概念c的相似度sim(q，c)、基于标准卷积神经网络的概念提及m与候选概念c之间的相似度sim(c，m)、基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度sim(q，r)，计算得出用户问句q与候选概念c的所有概念关系对的相似度；

S4.重复步骤S3，直至集合M(N)中的每个概念提及被处理完毕，并将通过步骤S3得到的与用户问句q相似度值最大的概念关系对t(c’，r’)作为答案知识源；

S5.在学科知识图谱的关系记录库中查询概念关系对t(c’，r’)，得到用户问句q的答案并呈现给用户。

2.根据权利要求1所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述的知识图谱是指答疑领域所在学科的知识图谱，包括反映概念间联系的语义关系，以及反映概念与多媒体知识或事实性知识之间联系的属性关系；

所述学科知识图谱的关系定义为由斜扛分隔的三元组：概念类型/主题/媒体类型；

所述概念类型用于给出关系的定义域，所述主题用于解释关系的含义，所述媒体类型用于给出关系定义域的媒体类别。

3.根据权利要求1所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述步骤S2包括如下子步骤：

2.1计算ConSet中的每一个候选概念c与用户问句q的最长连续公共子序列LCCS(c，q)：

LCCS(c，q)＝U_i≤|c|{s(i)∈c∩q|s(i)是s(i-1)在c中的后继}

2.2通过最长连续公共子序列LCCS(c，q)，计算在ConSet中的每一个候选概念c与用户问句q的基于字表面的相似度sim(q，c)：

保留相似度排名前N的候选概念，形成用户问句q在领域本体排名前N的候选概念集合TOP(N)；

2.3对于集合TOP(N)中的每一个候选概念c与用户问句q的最长连续公共子序列LCCS(c，q)，按如下方法进行扩展，形成用户问句q的N个概念提及集合M(N)：如果LCCS(c，q)与对应的候选概念c的长度相同，则c就是用户问句q的一个概念提及；如果c比其LCCS(c，q)更长并且在左边有L₁个汉字，或c比LCCS(c，q)更长并且在右边有L₂个汉字，则在问句q中逐字扩展LCCS(c，q)左侧L₁个汉字或右侧L₂个汉字，直到在问句q中出现c的左边界字或右边界字为止，此时扩展后的LCCS(c，q)就是c在q中对应的概念提及；所述用户问句q的一个概念提及是指q中可能包含的一个提问概念。

4.根据权利要求1所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述步骤S3中，标准神经网络的处理过程包括：

3.1.1使用标准卷积神经网络S_CNN的输入层来统一处理文本片段，形成文本片段的输入特征矩阵，所述文本片段包括概念提及、领域本体中的候选概念，以及关系成份中的概念类型、主题与媒体类型；

3.1.2 S_CNN通过卷积层从所述文本片段中提取n-grams特征，产生n-gram特征的语义向量；

3.1.2将所有的n-gram特征的语义向量通过逐行最大池化输出所述文本片段的语义向量，包括领域本体中的候选概念、概念提及、概念类型、主题与媒体类型的语义向量v_c、v_m、v_r1、v_r2与v_r3。

5.根据权利要求4所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述步骤3.1.1包括：S_CNN的输入层将长度为s个汉字的输入序列x转换为维度为d×s的实数特征矩阵，其中d表示每个汉字随机初始化的实数嵌入向量的维数，且所述实数特征矩阵等价于s个维度为d的向量序列：v₁，v₂，…，v_s；

所述步骤3.1.2包括：S_CNN通过一个卷积层从滑动的n-gram中进行语义向量学习，对于长度为s个汉字的输入序列x：v₁，v₂，…，v_s，令向量c_i∈R^nd表示如下n个汉字嵌入向量的联接嵌入：v_i-n+1，...，v_i，其中n为卷积滑动过滤器filter的宽度，R^nd表示维度为n*d的实数向量集合，i为n-gram在输入序列x中的结束位置，且有0＜i＜s+n，以及对于i＜1或i＞s的嵌入向量v_i使用零值填充；卷积层使用卷积权重W∈R^d×nd为n-gram的向量序列v_i-n+1，...，v_i产生一个n-gram特征的语义向量p_i∈R^d，计算公式如下：

p_i＝tanh(W·c_i+b)

其中，偏置b∈R^d，R^d表示维度为d的实数向量集合，R^d×nd表示维度为d行、n*d列的实数矩阵集合，tanh(·)为双曲正切函数；

所述步骤3.1.3包括：将所有n-gram特征的语义向量p_i(i＝1，...，s+n-1)，通过最大池化生成输入序列x的语义向量v_x∈R^d，计算公式如下：

v_x＝{x_j∈R|j＝1，...，d}

x_j＝max{p_i(j)|i＝1，...，s+n-1}

其中，max{·}表示求最大值，p_i(j)表示p_i中的第j个元素，R表示实数集合，x_j表示所有p_i中第j个元素的最大值。

6.根据权利要求4或5所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述基于标准卷积神经网络的概念提及m与候选概念c之间的相似度的计算方法为：

7.根据权利要求5所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述步骤S3中，多级蕴涵卷积神经网络MI_CNN的处理过程包括：

步骤3.2.1和步骤3.2.2分别采用与步骤3.1.1和3.1.2相同的方法处理关系成份中的概念类型、主题与媒体类型的语义特征，得到相对应的关系成份语义向量v_r1、v_r2与v_r3；

3.2.3根据语义向量v_r1、v_r2与v_r3，采用多级蕴涵卷积神经网络MI_CNN的三级池化过程，分别输出与关系成份概念类型、主题与媒体类型相对应的问句语义向量v_q1、v_q2与v_q3：

(1)设F_q∈R^d×(s+n-1)表示问句q经MI_CNN卷积层处理后生成的n-gram特征矩阵，o为问句q所要匹配的关系成份，v_o∈R^d表示经S_CNN处理得到的关系成份o的语义向量，MI_CNN的每一级池化过程首先计算F_q中每一列与v_o的余弦相似度u_i，并将其中的最大值

作为问句q对关系成份o的蕴涵度，记作

计算过程如下：

F_q＝{p_i∈R^d|i＝1，...，s+n-1}

p_i＝{t_ji∈R|j＝1，...，d}

u_i＝cos(v_o，p_i)

其中，t_ji为第i个n-gram特征的语义向量p_i的第j维度上的值；

(2)利用问句q对关系成份o的蕴涵度

对F_q中每一列的特征值进行衰减，并将与v_o的相似度值为负的列的向量值置为0，得到衰减后的问句特征矩阵F′_q，计算过程如下：

F′_q＝{p′_i∈R^d|i＝1，...，s+n-1}

p′_i＝{t′_ji∈R|j＝1，...，d}

其中，p′_i表示衰减后的p_i向量，t′_ji表示p′_i向量的第j维度上的值；

(3)根据衰减后特征矩阵F′_q中每一行最大值的位置检索特征矩阵F_q，得到F_q每一行的池化结果，并最终得到每一级池化后问句q的语义向量v_q∈R^d，计算过程如下：

v_q＝{q_j∈R|j＝1，...，d}

q_j＝p_k′(j)

k′＝argmax{p′_k(j)|k＝1，...，s+n-1}

其中，argmax{p′_k(j)|k＝1，...，s+n-1}表示求使得p＇_k(j)为最大值的k，q_j表示v_q向量的第j个元素，p′_k(j)表示p′_k的第j个元素。

8.根据权利要求7所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述步骤S3中，基于多级蕴涵卷积神经网络的问句q与语义关系r的相似度的计算方法为：

3.3.1分别计算问句q与不同关系成份r的相似度，分别记作sim(v_q1，v_r1)、sim(v_q2，v_r2)与sim(v_q3，v_r3)：

3.3.2计算问句q与语义关系r的相似度sim(q，r)：

9.根据权利要求1所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

所述步骤S3中，用户问句q与候选概念c的概念关系对t(c，r)的相似度sim(q，t(c，r))计算方法为：

sim(q，t(c，r))＝sim(q，c)+sim(c，m)+sim(q，r)。

10.根据权利要求9所述的基于知识图谱和神经网络的智能答疑方法，其特征在于：

多级蕴涵卷积神经网络MI_CNN与标准卷积神经网络S_CNN共享权重，并以端到端的方式共同训练输入层汉字的词嵌入向量与卷积层的卷积权重W，模型训练设置如下：

(1)对于在训练集中的任意用户问句q，将所标注用于提供答案的概念关系对作为q所期望概念关系对的正样本，记作t⁺，将q在领域本体中所有候选概念的其他概念关系对作为负样本，记作t^-，并且对于任意用户问句q随机选取NG个负样本，NG∈[1，100]；

(2)分别计算问句q与正样本t⁺及与负样本t^-的相似度，分别记作sim(q，t⁺)和sim(q，t^-)；

(3)对S_CNN与MI_CNN卷积神经网络模型的训练目标是最小化如下相似度排名损失：

其中，δ为补偿因子常量，并且δ∈[0，1)。

Images