CN109918489A - 一种多策略融合的知识问答方法和系统 - Google Patents

Abstract

本发明公开了一种多策略融合的知识问答方法和系统，包括离线部分和在线部分，离线部分主要用于数据准备以及模型训练，在线部分主要用于系统服务，包括接收用户输入语句并纠正其拼写错误；对所述用户输入语句进行分词和词性标注；抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户，使得问答系统适用于通用和领域知识图谱的问题查询，提升了系统鲁棒性的同时具有良好的可解释性与可控性。

Description

一种多策略融合的知识问答方法和系统

技术领域

本发明涉及一种人机交互技术，特别涉及采用基于语义解析技术的多策略融合的知识问答方法和系统。

背景技术

问答系统 (Question Answering System， QA System)是信息检索系统的下一代范式，它能够理解人类的自然语言并能够通过准确、简洁的自然语言回答用户的问题，是人工智能重要的应用方向。目前有多种类型的问答系统，主要包括）和基于阅读理解（MachineReading Comprehension QA， MRCQA）等。其中，基于知识图谱(Knowledge Graph， KG)的问答系统因其满足了问答系统对高质量知识来源的需求，能够有效利用到人类总结的知识，实现更深层次的问题理解以及高准确率的问题反馈，有着广泛的应用场景，受到各大公司和研究机构的重视。

语义解析是基于知识图谱问答系统的核心，基于语义解析的方法能够将用户的自然语言问题转化为计算机能够理解的可执行查询语句，然后在构建好的知识图谱上进行查询，从而得到问题的答案。目前已有的语义解析策略主要包括基于模板，基于深度学习端到端，基于复述，基于图搜索，基于表示学习等。目前市场上大部分产品都是采用单一策略的方式来完成知识问答。其中，基于模板的方法适合的问答类型有限，且通常需要领域专家设计模板，人工成本很高，通过自动学习模板的方式也还不够成熟；端到端的深度学习需要依赖大量标注数据，人工介入的耗费同样十分巨大，虽然能够较好的解决单跳问题，却并不适用于复杂的多跳型问题，同时在面对小数据量的领域知识图谱时，由于标注数据缺失，通常无法完成令人满意的问答任务，并且深度学习的黑盒特性导致其并不具备可解释性与可控性，在真实落地场景下会存在问题；而基于复述，基于图搜索，基于表示学习等方法同样存在各自的受限领域。因此，虽然实现语义解析的策略多种多样，但是每种策略具有不同的特性，能够有效工作的作用域有限，因此单一的基于语义解析的策略无法适应多领域多样性的用户问题，导致系统鲁棒性不够强。

综上，目前已有的采用单一策略的基于知识图谱的问答系统不足之处总结如下:

1.采用端到端深度学习的单一策略无法解决复杂的多跳问题，依赖大量标注数据，无法很好的应用到领域知识问答系统中，问答系统单独使用该技术也不具备良好的可解释性与可控性；

2.基于语义解析的策略单独使用会由于存在各自的缺陷和不足而无法适应多领域多样性的用户问题，鲁棒性不够强。

发明内容

本发明的目的在于解决现有技术存在的上述问题，提供了一种多策略融合的知识问答方法和系统，采用基于语义解析的多个策略融合使用的方式，弥补了现有产品通常采用单一策略所带来的缺陷。

为实现以上目的，本发明采用如下技术方案：

本发明提供了一种多策略融合的知识问答方法，包括离线部分和在线部分。

所述离线部分包括：知识图谱的引用或构建，其中，知识图谱指通用知识图谱以及领域知识图谱；查询语句与标准问法索引的建立，用于基于复述的语义解析过程；离线模型的训练及打包，用于所述在线部分方法中所采用的模型，对其进行特征抽取与训练，并打包发布；规则的建立，用于所述在线部分方法中进行人工干预。

所述在线部分包括：接收用户输入语句并判断是否存在拼写错误；采用词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；利用实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户。

根据本发明实施例所述的多策略融合的知识问答方法，进一步地，在所述拼写错误判断中，判断是否存在拼写错误，若是，通过拼写规则结合语言模型的算法对其进行修正，输出正确的用户语句，若否，直接输出用户语句。

进一步地，所述拼写规则以及所述语言模型在所述离线部分完成。

根据本发明实施例所述的多策略融合的知识问答方法，进一步地，所述多策略融合的语义解析步骤进一步包括：

根据所述实体识别与连接过程的结果通过分类算法预测所述用户语句的领域标签；

根据所述领域标签以及所述实体识别与连接过程的结果，通过策略选择模型挑选出适合所述用户语句的基于语义解析的策略组合；

将所述实体识别与连接过程的结果采用所述基于语义解析的策略组合分别执行，得到组合中每个基于语义解析的策略的可执行查询语句候选集；

采用证据排序融合模型得到最终的可执行查询语句。

进一步地，所述策略选择模型以及所述证据排序融合模型的训练在所述离线部分完成。

根据本发明实施例所述的多策略融合的知识问答方法，进一步地，所述基于语义解析的策略组合进一步包含两种或两种以上数量的基于语义解析的策略，其中，每个基于语义解析的策略的具体实现过程都有所不同，并且通常采用多种模型或算法完成，通过融合的方式能够有效的利用不同类型的各自优势。其中，基于语义解析策略包含基于模板，基于深度学习端到端，基于复述，基于图搜索，基于表示学习等，多种多样，却具有不同的特性，能够有效的作用域有限，但多种单一策略之间可以互补，如基于复述考虑的是用户问题与标准问题之间的文本的语义相似度，而基于图检索的方式则是考虑文本形式的用户问题与子图结构的相似度。基于模板的策略是在词汇维度上建模，而深度学习端到端则是将图谱与用户问题映射到高维空间上进行建模。非深度学习的策略需要依赖在各领域上的适配但其依赖的标注数据较少，而深度学习策略在某一领域学习到的特征能够较有效的迁移到另一个领域中，但需要大量标注数据。通过融合的方式能够利用更多维度上的信息，增强可解释性的同时又能够提升系统的性能。

根据本发明实施例所述的多策略融合的知识问答方法，进一步地，所述证据排序融合模型的执行步骤进一步包括：

对每一个可执行查询语句形成证据链，其中，所述证据链包含生成所述查询语句的子图与标准问法信息，以及之前每一步骤中的信息以及对应的重要程度与置信度；

结合所述证据链对所述用户语句以及所述候选可执行查询语句进行可信度打分；

进行重新排序，并返回得分最高的一条与用户问题最相关的查询语句。

根据本发明实施例所述的多策略融合的知识问答方法，进一步地，所述重新排序过程可加入人工权重来影响最终排序结果。

进一步地，所述人工权重的规则的建立在所述离线部分完成。

根据本发明实施例所述的多策略融合的知识问答方法，进一步地，将所述可执行查询语句在知识图谱上执行查询得到答案，再通过模板结合基于序列到序列的生成模型的回复生成方式根据所述答案生成相应的自然语言回复用户。

进一步地，所述基于序列到序列的生成模型训练在所述离线部分完成。

本发明还提供了一种多策略融合的知识问答系统，包括离线系统和在线系统。

所述离线系统包括：知识图谱模块，其中，知识图谱指通用知识图谱以及领域知识图谱；查询语句与标准问法索引模块，用于基于复述的语义解析过程；离线模型的训练及打包模块，用于在线系统模块中所采用的模型，对其进行特征抽取与训练，并打包发布；规则模块，用于对所述在线系统进行人工干预。

所述在线系统包括：信息接收及拼写纠错模块，用于接收用户输入语句并判断是否存在拼写错误；分词及词性标注模块，用于通过词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；实体识别与链接模块，用于通过实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；多策略融合的语义解析模块，用于根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；查询及回复生成模块，用于将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户。

根据本发明实施例所述的多策略融合的知识问答系统，进一步地，判断是否存在拼写错误，若是，通过拼写规则结合语言模型的算法对其进行修正，输出正确的用户语句，若否，直接输出用户语句。

进一步地，所述拼写规则以及所述语言模型在所述离线系统完成。

根据本发明实施例所述的多策略融合的知识问答系统，进一步地，所述多策略融合的语义解析模块根据所述实体识别与连接过程的结果通过分类算法预测所述用户语句的领域标签，再由所述领域标签以及所述实体识别与连接过程的结果采用策略选择模型挑选出适合所述用户语句的基于语义解析的策略组合，分别执行所述组合中的语义解析策略，得到所述每个语义解析策略的可执行查询语句候选集，将其采用证据排序融合模型得到最终的可执行查询语句。

进一步地，所述策略选择模型以及所述证据排序融合模型的训练在所述离线系统完成。

根据本发明实施例所述的多策略融合的知识问答系统，进一步地，所述基于语义解析的策略组合进一步包含两种或两种以上数量的基于语义解析的策略，其中，每个基于语义解析的策略的具体实现过程都有所不同，并且通常采用多种模型或算法完成，通过融合的方式能够有效的利用不同类型的各自优势。其中，基于语义解析的策略包含基于模板，基于深度学习端到端，基于复述，基于图搜索，基于表示学习等，多种多样，却具有不同的特性，能够有效的作用域有限，但多种单一策略之间可以互补，如基于复述考虑的是用户问题与标准问题之间的文本的语义相似度，而基于图检索的方式则是考虑文本形式的用户问题与子图结构的相似度。基于模板的策略是在词汇维度上建模，而深度学习端到端则是将图谱与用户问题映射到高维空间上进行建模。非深度学习的策略需要依赖在各领域上的适配但其依赖的标注数据较少，而深度学习策略在某一领域学习到的特征能够较有效的迁移到另一个领域中，但需要大量标注数据。通过融合的方式能够利用更多维度上的信息，增强可解释性的同时又能够提升系统的性能。根据本发明实施例所述的多策略融合的知识问答系统，进一步地，所述证据排序融合模型首先对每一个可执行查询语句形成证据链，再结合所述证据链对所述用户语句以及所述候选可执行查询语句进行可信度打分，最后进行重新排序，并返回得分最高的一条与用户问题最相关的查询语句。其中，所述证据链包含生成所述查询语句的子图与标准问法信息，以及之前每一步骤中的信息以及对应的重要程度与置信度。

根据本发明实施例所述的多策略融合的知识问答系统，进一步地，所述重新排序执行时可加入人工权重来影响最终排序结果。

进一步地，所述人工权重的规则的建立在所述离线系统完成。

根据本发明实施例所述的多策略融合的知识问答系统，进一步地，在所述查询及回复生成模块中，将所述可执行查询语句在知识图谱上执行查询得到答案，再通过模板结合基于序列到序列的生成模型的回复生成方式根据所述答案生成相应的自然语言回复用户。

进一步地，所述基于序列到序列的生成模型训练在所述离线系统完成。

本发明还提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下操作：

所述离线部分：知识图谱的引用或构建，其中，知识图谱指通用知识图谱以及领域知识图谱；查询语句与标准问法索引的建立，用于基于复述的语义解析过程；离线模型的训练及打包，用于在线部分方法中所采用的模型，对其进行特征抽取与训练，并打包发布；规则的建立，用于所述在线部分方法中进行人工干预。

所述在线部分：接收用户输入语句并判断是否存在拼写错误；采用词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；利用实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下操作：

所述离线部分：知识图谱的引用或构建，其中，知识图谱指通用知识图谱以及领域知识图谱；查询语句与标准问法索引的建立，用于基于复述的语义解析过程；离线模型的训练及打包，用于在线部分方法中所采用的模型，对其进行特征抽取与训练，并打包发布；规则的建立，用于所述在线部分方法中进行人工干预。

所述在线部分：接收用户输入语句并判断是否存在拼写错误；采用词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；利用实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户。

本发明与最接近的现有技术相比有如下的增益效果：

能够有效的根据用户问题的领域与多样性来选择合适的语义解析策略组合，能够回答多跳型问题；

采用多策略融合的语义解析方式完成知识问答，其中策略可以支持多种类型，如深度学习与非深度学习两大类型，能够有效满足标注数据多与少的不同领域的知识问答；

采用有效的融合方式结合多种策略的优点，提高问答系统鲁棒性的同时具有良好的可解释性与可控性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1是本发明提供的多策略融合的知识问答方法的整体流程图；

图2是本发明提供的离线部分的示例图；

图3是本发明提供的多策略融合的语义解析步骤示例图；

图4是本发明提供的基于图搜索和基于复述的语义解析策略执行过程的示例图；

图5是本发明提供的基于多策略融合知识问答在线系统的示例框图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

图1是本发明提供的多策略融合的知识问答方法的整体流程图，该方法整体流程包括离线部分和在线部分。

离线部分包括知识图谱的引用或构建，用于基于图搜索的语义解析过程以及查询过程等在线部分方法涉及的知识调用，其中，知识图谱指通用知识图谱以及领域知识图谱；查询语句与标准问法索引的建立，用于基于复述的语义解析过程；离线模型的训练及打包，用于在线部分方法中所采用的模型，对其进行特征抽取与训练，并打包发布；规则的建立，用于所述在线部分方法中进行人工干预。

在线部分包括S1，接收用户输入语句并判断是否存在拼写错误；S2，采用词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；S3，利用实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点； S4，根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；S5，将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户。

通常用户的输入会包含拼写错误，需要通过拼写纠错步骤对其进行纠正，正确的问题输入是对整个系统性能强有力的保证。在拼写判断的步骤S1中，检查所述用户输入语句是否存在拼写错误，若是，通过拼写规则结合语言模型的算法对其进行修正，输出正确的用户语句，若否，直接输出用户语句。

结合图2，拼写规则以及语言模型的建立和训练都在所述离线部分完成，拼写规则通过搜集用户输入习惯中常见的拼写错误构建而成，如“哪里”与“那里”，‘r’与‘n’，前后鼻音等，语言模型根据给定训练集通过有监督迭代训练完成。

具体来说，以“申购天弘基金要在那里办理”为例，通过拼写规则产生候选的可能正确的词列表，然后使用语言模型对整个问题是否像自然语句进行打分得到最优的结果作为纠错后的问题，该步骤将问题修正为“申购天弘基金要在哪里办理”。

在所述分词和词性标注的步骤S2中，对所述用户语句进行分词，并对得到的每一个词进行词性标注，从而更好的理解用户问题。

仍以“申购天弘基金要在哪里办理”为例，其分词与词性标注结果为“申购/v 天弘基金/n 要/vr 在/v 哪里/r 办理/v”，其中v为动词，n是名词， r为代词，vr为能愿动词。进一步地，所述分词与词性标注步骤采用词典匹配与基于条件随机场的模型实现，所述分词与词性标注问题通常被建模为序列标注问题，使用词典匹配的方式具有精度高，速度快的优势，而基于条件随机场的模型能够有效的限制标签序列之间的约束，融合两种方式可以在有效提高该步骤性能。

结合图2，所述基于条件随机场模型的训练在所述离线部分完成。

在利用实体识别与链接算法进行所述用户语句中实体信息的识别和抽取并链接到所述知识图谱节点的步骤S3中，先将问题中的实体进行识别与抽取，如时间，地点，机构，或领域相关的实体，然后链接到知识图谱中相关的节点，并通过知识图谱中该节点的信息以及周边的节点信息加深对用户输入的语义理解。

有别于通用知识图谱，领域知识图谱中的实体不再都是通用的人名、地名、机构等，而存在大量领域相关的概念或名词，如基金领域的基金名。由于领域知识中这些实体的表达相比通用的更加多样，如基金名有各种简写来表达同一基金，所以领域的实体识别与链接挑战性更大。以“申购天弘基金要去哪里办理”为例，会将“天弘基金”链接到基金知识图谱中的节点上。

所述实体识别步骤采用词典加序列标注模型实现，而所述实体链接部分会先通过词典匹配加序列标注模型预测的方式产生待链接的实体文本片段以及对应的可能的实体列表，然后使用排序模型对于列表中的每一个候选实体与文本片段结合周边文本以及实体周边信息进行打分，得到最终的链接实体或无链接的实体。以“苹果是水果吗”为例，对“苹果”形成两个候选实体：<苹果，苹果公司>，而通过排序模型最终链接到“苹果”。

结合图2，所述知识图谱的引用与构建以及所述序列标注模型和所述排序模型的训练都在所述离线部分完成。知识图谱是本发明问答系统中最重要的数据，通用领域的知识图谱有开放的构建结果数据可直接引用，领域相关的知识图谱需要单独构建，构建知识图谱主要有以下步骤：首先是数据收集，数据收集通常采用网络爬虫或文档解析等技术从互联网或文档中收集结构化，半结构化或非结构化数据作为构建知识图谱的基础。然后对收集到的数据进行清洗与审核，并采取知识抽取与融合等技术构建领域知识图谱。

所述知识图谱以实体作为节点，以实体间的关系作为边形成图，其中，所述实体通常表示现实世界中的事物如人、地名、概念、药物、公司等。知识图谱中蕴含的知识通常为事实类知识，以“乐言科技是一家上海的公司”为例，那么在知识图谱中就存在两个实体“乐言信息科技有限公司”与“上海”，它们之间有一条边表示“成立地点”的关系，当用户询问“乐言科技是哪里的公司”时，知识问答系统就可以通过查询知识图谱得到答案“上海”。

语义解析是指将用户的自然语言映射成可执行的查询语句的过程，本发明中语义解析过程通用多策略的方式实现，在根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句的步骤S4中，结合图3，进一步包括以下步骤：

S41：先根据实体识别与链接的结果通过分类算法得到所述用户问题所属领域的标签。

S42：根据所述领域标签以及所述实体识别与连接过程的结果，通过策略选择模型挑选出适合所述用户语句的语义解析策略组合。

进一步地，语义解析策略指的是实现语义解析过程的方法，不同类型语义解析策略可能采用多种模型或算法完成，通过多种类型语义解析策略融合的方式能够有效的利用不同类型各自优势。其中，基于语义解析的策略包含基于模板，基于深度学习端到端，基于复述，基于图搜索，基于表示学习等，多种多样，却具有不同的特性，能够有效的作用域有限，但多种单一策略之间可以互补，如基于复述考虑的是用户问题与标准问题之间的文本的语义相似度，而基于图检索的方式则是考虑文本形式的用户问题与子图结构的相似度。基于模板的策略是在词汇维度上建模，而深度学习端到端则是将图谱与用户问题映射到高维空间上进行建模。非深度学习的策略需要依赖在各领域上的适配但其依赖的标注数据较少，而深度学习策略在某一领域学习到的特征能够较有效的迁移到另一个领域中，但需要大量标注数据。通过融合的方式能够利用更多维度上的信息，增强可解释性的同时又能够提升系统的性能。

S43：将所述实体识别与连接过程的结果采用所述语义解析策略组合分别执行，得到组合中每个语义解析策略的可执行查询语句候选集。

进一步地，以基金领域中的问题“申购天弘基金要去哪里办理”为例，讲解多策略语义解析策略的执行步骤，针对所述问题，采用基于图搜索与基于复述两种语义解析策略，图4给出了实施例具体流程。

结合图4，基于图搜索的语义解析策略执行过程，首先根据上一轮识别并且链接到的实体来得到知识图谱上周边的关联子图，并根据子图中实体与关系是否是问题中识别到的实体与关系的子集来进行关联子图筛选。然后根据所述关联子图来生成查询语句，如对于“申购天弘基金要去哪里办理”中的实体“天弘基金”，可以得到其在图谱中的子图并生成对应的查询语句“天弘基金的办理地点”，“天弘基金的申购费”以及“天弘基金的基金代码”等。接下来对关联子图候选中的每一个关联子图结合问题与查询语句进行特征抽取，如问题与查询语句中的实体/关系匹配度，查询语句的重要程度以及图结构的复杂度等特征。再通过子图打分模型根据所述特征对生成的查询语句进行重排序，得到最终的查询语句候选集。

结合图4，基于复述的语义解析策略执行过程，首先根据实体识别与链接的结果通过字面相似度采用检索模型从离线构建好的所述查询语句与标准问法索引中初步筛选出离线处理好的<查询语句， 标准问法>候选集。之后对候选集中的<用户问题，标准问法>进行特征抽取，如基于词向量的句子相似度，重要词汇的重合度，基于对齐的相似度等。再通过基于语义匹配的排序模型对候选集进行排序得到最终的查询语句候选集。

S44：采用证据排序融合模型先对所述候选集中每一个可执行查询语句形成证据链，进一步地，所述证据链包含：所述证据链包含生成所述查询语句的子图与标准问法信息，以及之前每一步骤中的信息以及对应的重要程度与置信度，如，对于多跳问题，通常涉及到多个实体，将根据问题中链接的实体是否满足查询语句中需要的实体的个数、类型以及先后关系等进行置信度设置。再结合证据链对所述用户语句以及所述候选可执行查询语句进行可信度打分，并按得分进行重排序，结果返回得分最高的可执行查询语句。进一步地，重排序过程可加入人工权重来影响最终的排序结果，提高了语义解析模块的可控性，同时线上部分能够拿到用户的点击数据，帮助完成重排序模型的线下优化，使得系统能够越用越智能。

结合图2，步骤S4中所述策略选择模型，关联子图模型，所述子图打分模型，所述检索模型，所述查询语句与标准问法索引，所述基于语义匹配的排序模型，所述证据排序融合模型以及所述人工权重的规则的建立与训练在所述离线部分完成。

进一步地，所述策略选择模型和所述证据排序融合模型，给定训练集中的问题与标准答案对，采用联合训练的方式，通过联合优化两个模型的目标函数来完成模型的训练。将策略选择模型的训练作为多个二分类问题，即选择所述策略或不选择所述策略，对于每一种所述策略的选择看成是个单独二分类选择，汇总这些选择的结果即可得到所述语义解析策略组合。将证据排序融合模型的训练看成是对所述可执行查询语句候选集的排序问题，在给定所述用户语句及其所述语义解析策略组合后，将所述语义解析策略各自产生的可执行查询语句候选集合并后再排序，取排名第一的查询语句在知识图谱上进行查询得到答案，然后判断答案是否是标准答案来得到监督信号，联合优化两个模型的目标函数来完成模型的训练。

问答系统需要提供自然语言形式的回复，进一步地，在所述步骤S5中，采用图数据库查询引擎实现所述可执行查询语句在知识图谱上执行查询得到答案，再通过模板结合基于序列到序列的生成模型的回复生成方式根据所述答案生成相应的自然语言回复用户。两者结合的方式能够根据答案的不同来生成多种多样的自然语言回复。具体的，预先对某些类型的答案设计好回复模板，适用于简单的问题与答案类型。如以“申购天弘基金要去哪里办理”为例，知道其答案类型为办理地点，即可以方便的找到事先构造好的模板 “可以在<-地点->办理您想要的业务哦”，填入缺失的答案，形成完整的自然语言的回复。对于没有设计的类型则采用序列到序列的生成模型实现。这么做的好处在充分考虑不同问题与答案类型的差异，具有更好的可控性。

结合图2，步骤S5中所述基于序列到序列的生成模型训练在所述离线部分完成。

实施例二

图5是根据本发明提供的多策略融合的知识问答系统的示例框图，包括离线系统和在线系统。

所示出的离线系统包括：知识图谱模块，用于基于图搜索的语义解析过程以及查询过程的知识调用；查询语句与标准问法索引模块，用于基于复述的语义解析过程；离线模型的训练及打包模块，用于在线系统模块中所采用的模型，对其进行特征抽取与训练，并打包发布；规则模块，用于对所述在线系统进行人工干预。

所示出的在线系统包括：信息接收及拼写纠错模块10，用于接收用户输入语句并判断是否存在拼写错误；分词及词性标注模块20，用于通过词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；实体识别与链接模块30，用于通过实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；多策略融合的语义解析模块40，用于根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；查询及回复生成模块50，用于将所述可执行查询语句在知识图谱上执行查询得到答案，再通过多种方法结合的回复生成方式根据所述答案生成相应的自然语言回复用户。

在所述信息接收及拼写纠错模块10中，判断是否存在拼写错误，若是，通过拼写规则结合语言模型的算法对其进行修正，输出正确的用户语句，若否，直接输出用户语句。

在所述分词及词性标注模块20中，对所述用户语句进行分词，并对得到的每一个词进行词性标注，从而更好的理解用户问题，所述分词与词性标注步骤采用词典匹配与基于条件随机场的模型实现，所述分词与词性标注问题通常被建模为序列标注问题，使用词典匹配的方式具有精度高，速度快的优势，而基于条件随机场的模型能够有效的限制标签序列之间的约束，融合两种方式可以在有效提高该模块性能。

进一步地，所述基于条件随机场模型的训练在所述离线系统完成。

在所述实体识别及链接模块30中，先将问题中的实体进行识别与抽取，如时间，地点，机构，或领域相关的实体，然后链接到知识图谱中相关的节点，并通过知识图谱中该节点的信息以及周边的节点信息加深对用户输入的语义理解。所述实体识别步骤采用词典加序列标注模型实现，而所述实体链接部分会先通过词典匹配加序列标注模型预测的方式产生待链接的实体文本片段以及对应的可能的实体列表，然后使用排序模型对于列表中的每一个候选实体与文本片段结合周边文本以及实体周边信息进行打分，得到最终的链接实体或无链接的实体。

进一步地，知识图谱模块的构建以及所述序列标注模型与所述排序模型的训练都在所述离线系统完成。

在所述多策略融合的语义解析模块40中，根据所述实体识别与连接过程的结果通过分类算法预测所述用户语句的领域标签，再由所述领域标签以及所述实体识别与连接过程的结果采用策略选择模型挑选出适合所述用户语句的基于语义解析的策略组合，分别执行所述组合中的语义解析策略，得到所述每个语义解析策略的可执行查询语句候选集，将其采用证据排序融合模型得到最终的可执行查询语句。

进一步地，所述基于语义解析的策略组合进一步包含两种或两种以上数量的基于语义解析的策略，其中，每个基于语义解析的策略的具体实现过程都有所不同，并且通常采用多种模型或算法完成，通过融合的方式能够有效的利用不同类型的各自优势，进一步地，基于语义解析的策略包含基于模板，基于深度学习端到端，基于复述，基于图搜索，基于表示学习等，多种多样，却具有不同的特性，能够有效的作用域有限，但多种单一策略之间可以互补，如基于复述考虑的是用户问题与标准问题之间的文本的语义相似度，而基于图检索的方式则是考虑文本形式的用户问题与子图结构的相似度。基于模板的策略是在词汇维度上建模，而深度学习端到端则是将图谱与用户问题映射到高维空间上进行建模。非深度学习的策略需要依赖在各领域上的适配但其依赖的标注数据较少，而深度学习策略在某一领域学习到的特征能够较有效的迁移到另一个领域中，但需要大量标注数据。通过融合的方式能够利用更多维度上的信息，增强可解释性的同时又能够提升系统的性能。

进一步地，所述证据排序融合模型首先对每一个可执行查询语句形成证据链，再结合所述证据链对所述用户语句以及所述候选可执行查询语句进行可信度打分，最后进行重新排序，并返回得分最高的一条与用户问题最相关的查询语句。其中，所述证据链包含生成所述查询语句的子图与标准问法信息，以及之前每一步骤中的信息以及对应的重要程度与置信度。

进一步地，所述重新排序执行时可加入人工权重来影响最终排序结果。

进一步地，所述人工权重的规则，所述策略选择模型以及所述证据排序融合模型的建立与训练在所述离线系统完成。

在所述查询及回复生成模块50中，将所述可执行查询语句在知识图谱上执行查询得到答案，再通过模板结合基于序列到序列的生成模型的回复生成方式根据所述答案生成相应的自然语言回复用户。

进一步地，所述基于序列到序列的生成模型训练在所述离线系统完成。

以上结合具体实施例描述了本发明的基本原理，但是需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算机装置上运行一个程序或者一组程序来实现。所述计算机装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来开发出的任何存储介质。

还需要指出的事，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是不需要一定按照时间顺序执行。这些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种多策略融合的知识问答方法，该方法的整体流程包括离线部分和在线部分，其特征在于，所述离线部分包括以下步骤：

知识图谱的引用或构建；

查询语句与标准问法索引的建立；

离线模型的训练及打包；

规则的建立；

所述在线部分包括以下步骤：

接收用户输入语句并判断是否存在拼写错误，若是，通过拼写规则结合语言模型的算法对其进行修正，输出正确的用户语句，若否，直接输出用户语句；

采用词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；

利用实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；

根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；

将所述可执行查询语句在知识图谱上执行查询得到答案，再通过模板结合基于序列到序列的生成模型的回复生成方式根据所述答案生成相应的自然语言回复用户。

2.根据权利要求1所述的知识问答方法，其中，所述多策略融合的语义解析步骤进一步包括：

根据所述实体识别与连接过程的结果通过分类算法预测所述用户语句的领域标签；

根据所述领域标签以及所述实体识别与连接过程的结果，通过策略选择模型挑选出适合所述用户语句的基于语义解析的策略组合；

将所述实体识别与连接过程的结果采用所述基于语义解析的策略组合分别执行，得到组合中每个基于语义解析的策略的可执行查询语句候选集；

采用证据排序融合模型得到最终的可执行查询语句。

3.根据权利要求2所述的知识问答方法，其中，所述基于语义解析的策略组合进一步包含两种或两种以上数量的基于语义解析的策略，其中，每个基于语义解析的策略的具体实现过程都有所不同，并且通常采用多种模型或算法完成。

4.根据权利要求2所述的知识问答方法，其中，所述证据排序融合模型的执行步骤进一步包括：

对每一个可执行查询语句形成证据链；

结合所述证据链对所述用户语句以及所述候选可执行查询语句进行可信度打分；

进行重新排序，并返回得分最高的一条与用户问题最相关的查询语句。

5.根据权利要求4所述的知识问答方法，其中，所述证据链包含：生成所述查询语句的子图与标准问法信息，以及之前每一步骤中的信息以及对应的重要程度与置信度。

6.根据权利要求4所述的知识问答方法，其中，所述重新排序过程可加入人工权重来影响最终排序结果。

7.根据权利要求2所述的知识问答方法，其中，所述策略选择模型和所述证据排序融合模型都在离线部分完成模型的训练，给定训练集中的问题与标准答案对，采用联合训练的方式，通过联合优化两个模型的目标函数完成模型的训练。

8.一种多策略融合的知识问答系统，该系统包括离线系统和在线系统，其特征在于，所述离线系统包括 ：

知识图谱模块；

查询语句与标准问法索引模块；

离线模型的训练及打包模块；

规则模块；

所述在线系统包括：

信息接收及拼写纠错模块：用于接收用户输入语句并判断是否存在拼写错误，若是，通过拼写规则结合语言模型的算法对其进行修正，输出正确的用户语句，若否，直接输出用户语句；

分词及词性标注模块：用于通过词典匹配与基于条件随机场模型相结合的方法对所述用户语句进行分词和词性标注；

实体识别与链接模块：用于通过实体识别与链接算法识别并抽取所述用户语句中的实体信息，并将所述实体链接到所述知识图谱节点；

多策略融合的语义解析模块：用于根据所述实体识别与连接过程的结果通过多策略融合的语义解析步骤得到可执行查询语句；

查询及回复生成模块：用于将所述可执行查询语句在知识图谱上执行查询得到答案，再通过模板结合基于序列到序列的生成模型的回复生成方式根据所述答案生成相应的自然语言回复用户。

9.根据权利要求8所述的知识问答系统，其中，所述多策略融合的语义解析模块根据所述实体识别与连接过程的结果通过分类算法预测所述用户语句的领域标签，再由所述领域标签以及所述实体识别与连接过程的结果采用策略选择模型挑选出适合所述用户语句的基于语义解析的策略组合，分别执行所述组合中的语义解析策略，得到所述每个语义解析策略的可执行查询语句候选集，将其采用证据排序融合模型得到最终的可执行查询语句。

10.根据权利要求9所述的知识问答系统，其中，所述基于语义解析的策略组合进一步包含两种或两种以上数量的语义解析策略，其中，每个语义解析策略的具体实现过程都有所不同，并且通常采用多种模型或算法完成。

11.根据权利要求9所述的知识问答系统，其中，所述证据排序融合模型首先对每一个可执行查询语句形成证据链，再结合所述证据链对所述用户语句以及所述候选可执行查询语句进行可信度打分，最后进行重新排序，并返回得分最高的一条与用户问题最相关的查询语句。

12.根据权利要求11所述的知识问答系统，其中，所述证据链包含生成所述查询语句的子图与标准问法信息，以及之前每一步骤中的信息以及对应的重要程度与置信度。

13.根据权利要求11所述的知识问答系统，其中，所述重新排序执行时可加入人工权重来影响最终排序结果。

14.根据权利要求6所述的知识问答系统，其中，所述离线模型的训练模块包含所述策略选择模型和所述证据排序融合模型，给定训练集中的问题与标准答案对，采用联合训练的方式，通过联合优化两个模型的目标函数来完成模型的训练。

15.一种电子设备，包括：存储器、处理器以及存储在所述存储器中可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中所述的方法。

16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中所述的方法。