CN111090736B - 问答模型的训练方法、问答方法、装置及计算机存储介质 - Google Patents

Abstract

本申请公开了一种问答模型的训练方法、问答方法、装置及计算机存储介质，训练方法包括：将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及实体间的对应关系；基于问答对语料的实体及实体间的对应关系建立知识图谱；将问答对语料的问题输入到解码器中，通过解码器从知识图谱中获取到问题的预测答案；将预测答案与问题的实际答案进行比对，根据比对结果对问答模型的损失函数进行优化，以对知识图谱以及解码器进行优化；其中，损失函数包括编码器参数以及解码器参数。通过上述方式，能够在不需要人工建立知识图谱的前提下，通过推理结果对问答模型以及知识图谱同时进行优化。

Description

问答模型的训练方法、问答方法、装置及计算机存储介质

技术领域

本申请涉及模型应用技术领域，特别是涉及一种问答模型的训练方法、问答方法、装置、以及计算机存储介质。

背景技术

知识图谱是一种知识的表达方式，应用到多个不同领域，比如应用到智能客服领域中的基于知识图谱的问答，通常称为KBQA。

目前KBQA实现的难点有两点，一是知识图谱的构建、二是知识图谱的问答推理。常规的知识图谱的构建的流程是首先建立知识模型，这个过程一般需要问答领域的专家的协助，在该过程中，需要花费大量的人力、财力和时间成本，投入太高。

在对具体问题做回答推理时，常用的推理方法有基于模板的推理以及基于标识学习的推理，这两种推理方法所能取得的最好效果都依赖于知识图谱本身的知识建模与构建。而推理效果的好坏很难再反馈到知识图谱构建本身，如果需要对模型进行优化，则需要从头开始依次优化。且通过专家协助建立知识模型，

发明内容

本申请主要解决的技术问题是提供一种问答模型的训练方法、问答方法、装置及计算机存储介质，能够在不需要人工建立知识图谱的前提下，通过推理结果对问答模型以及知识图谱同时进行优化。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种问答模型的训练方法，包括：将问答对语料输入到编码器进行数据处理，得到所述问答对语料的实体及所述实体间的对应关系；

基于所述问答对语料的实体及所述实体间的对应关系建立知识图谱；

将所述问答对语料的问题输入到所述解码器中，通过所述解码器从所述知识图谱中获取到所述问题的预测答案；

将所述预测答案与所述问题的实际答案进行比对，根据比对结果对所述问答模型的损失函数进行优化，以对所述知识图谱以及所述解码器进行优化；其中，所述损失函数包括编码器参数以及解码器参数。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种问答方法，所述问答方法基于问答模型，包括：

通过所述问答模型的解码器接收待回答的问题；

从知识图谱中获取到所述问题对应的答案；其中，所述知识图谱是通过将问答对语料输入到编码器中进行数据处理，得到所述问答对语料的实体及其所述实体的对应关系，基于所述实体及所述实体的对应关系建立的；

将所述答案进行反馈。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种问答模型的训练装置，包括包括语料处理模块、知识图谱建立模块、答案预测模块以及模型优化模块，

所述语料处理模块用于将问答对语料输入到编码器进行数据处理，得到所述问答对语料的实体及所述实体间的对应关系；

所述知识图谱建立模块用于基于所述问答对语料的实体及所述实体间的对应关系建立知识图谱；

所述答案预测模块用于将所述问答对语料的问题输入到所述解码器中，通过所述解码器从所述知识图谱中获取到所述问题的预测答案；

所述模型优化模块用于将所述预测答案与所述问题的实际答案进行比对，根据比对结果对所述问答模型的损失函数进行优化，以对所述知识图谱以及所述解码器进行优化；其中，所述损失函数包括编码器参数以及解码器参数。

为解决上述技术问题，本申请采用的第四个技术方案是：提供一种智能系统，所述智能系统包括问答模型，所述智能系统包括问题接收模块、答案获取模块以及答案输出模块，

所述问题接收模块用于通过所述问答模型的解码器接收待回答的问题；

所述答案获取模块用于从知识图谱中获取到所述问题对应的答案；其中，所述知识图谱是通过将问答对语料输入到编码器中进行数据处理，得到所述问答对语料的实体及其所述实体的对应关系，基于所述实体及所述实体的对应关系建立的；

所述答案输出模块用于将所述答案进行反馈。

为解决上述技术问题，本申请采用的第五个技术方案是：提供一种智能系统，智能系统包括相互耦接的人机交互控制电路以及处理器及可在所述处理器上运行的计算机程序，所述所述处理器执行所述计算机程序时上述任一项问答模型的训练方法或执行上述任一项所述的问答方法的步骤。

为解决上述技术问题，本申请采用的第六个技术方案是：提供一种计算机存储介质，所述计算机存储介质上存储有程序数据，所述程序数据被处理器执行时实现上述任一项所述的问答模型的训练方法或问答方法。

相对于现有技术，本申请的有益效果是：本实施方式中，通过将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及实体间的对应关系，并基于问答对语料的实体及所述实体的对应关系建立知识图谱，通过上述智能的方式建立知识图谱，由于整个建立过程为无监督方式，无需知识建模专家的介入，节省人力成本，也降低了构建知识图谱的入门门槛以及人力投入。另外，通过对包括编码器参数以及解码器参数的损失函数进行优化，即可实现编码器、解码器以及知识图谱的优化，减少传统问答模型多个模块分别进行优化的难度。解决了传统知识图谱构建与问答分离的问题，使知识图谱的创建方式更加合理，效果也更好。

附图说明

图1是本申请问答模型的训练方法一实施方式的流程示意图；

图2是本申请知识图谱一实施方式的示意图；

图3是本申请问答方法一实施方式的流程示意图；

图4是本申请问答模型的训练装置一实施方式的流程示意图；

图5是智能客服终端一实施方式的结构示意图；

图6是智能终端另一实施方式的结构示意图；

图7是本申请计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

模型是机器学习中的概念，是指处理多元特征输入值的算法。在监督式机器学习中，模型可以理解为多元函数映射关系，这种模型是基于大量已知的输入输出样本集合，训练得到函数关系的调控系数，最终运用于实际使用场景中进行结果预测。

知识图谱作为人工智能的重要组成部分，具有强大的语义处理能力以及互联组织能力，本质上是描述真实世界中存在的各种实体或概念及其关系，实体或概念及其关系构成一张巨大的语义网络图，节点表示实体或概念，边则由属性或关系来构成。现在的知识图谱已经被用来泛指各种大规模的知识库，应用于各种不同的智能领域，比如本申请中的智能客服域。

本申请中的智能客服系统为用户智能客服服务，包括问答模型，该问答模型包括解码器，通过该解码器从知识图谱中筛选出问题的答案。而知识图谱是通过编码对未经过标注的问答对语料进行处理，抽取出问答对语料中的实体及实体间关系后建立的。再通过问答对语料对包括编码器和解码器参数的损失函数进行优化，由于损失函数的参数包括编码器参数和解码器参数，在损失函数得到当前优化参数时，编码器和解码器都能得到当前优化编码器参数和当前优化解码器参数。

编码器在优化后，由该编码器对问答对语料进行处理得到的实体及实体间的对应关系而建立的知识图谱也得到优化。

具体地，如图1所示，图1是本申请问答模型的训练方法一实施方式的流程示意图。包括如下步骤：

步骤101：将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及实体间的对应关系。

该问答对语料为从网络或历史记录中得到的未经过标注的问答对语料。

在一个可选的实施方式中，为了提高智能客服系统的处理速度以及问答对语料的有效性，首先将获取到的问答对语料进行清洗，去除语料中不属于问答对的语料，如感叹句，对事物的评述语句等。为了更加方便的建立知识图谱，智能客服系统进一步地去除一些设定字符，如表情符号，语气词以及与一些标点字符等，得到清洗后的问答对语料，再对清洗后的问答语料进行处理。

具体地，将清洗后的问答对语料输入到编码器中，编码器先对上述问答对语料进行分词，得到对应的分词字符。其中，对问答对语料进行分词的标准为分割成能够表达准确意思的最小单元，如动词可以直接分成字，名词等不可分割的语料分成词语，如地名以及一些专用名词等，完成分词后，对分词字符的词频进行统计，得到分词的概率分布，并对词频高于设定量的分词字符进行实体以及关系的抽取。

一般情况下，实体是指具有可区别性且独立存在的某种事物。比如一个人、某一个城市、某一种植物或者某一种商品等，不同实体之间存在不同的关系。实体一般具有属性，即是一个实体值指定它的属性值，在知识图谱中，不同的属性对应于不同类型属性的边。属性值主要是指对象指定属性的值，比如面积、人口等。

比如，问答对为“中国的首都在哪里？中国的首都在北京。”分词后的分词词符为“中国”、“首都”、“在”“哪里”以及“中国”、“首都”、“在”、“北京”。问答对“北京在中国的什么方位？北京在中国的北方。”分词后的分词字符为“北京”、“在”、“中国”、“什么”、“方位”以及“北京”、“在”、“中国北方”。问答对“中国的面积是多大？中国的面积为960万平方公里”，切词后得到的切词字符包括“中国”、“面积”、“是”“多大”，“中国”、“面积”“960万平方公里”。

在本实施方式中，编码器通过深度网络学习对问答对语料分词字符进行抽取，在确定该分词字符的词频高于设定值时，激活深度学习网络对该分词字符进行抽取。在上述例子中，“中国”、“北京”出现的频率很高，且为具有可区别性且独立存在的事情，可以做一个实体。“首都”、“方位”“为属性，“960万平方公里”、“中国北方”为属性值，属性以及属性值均为关系。

本实施方式中，选取词频高的分词字符作为实体或属性，是由于在实际建立知识图谱时，需要大量的问答对语料才能构建出一个相对完整的知识图谱，比如上百万条或上千万条问答对语料。因此，为了提高语料的通用性以及数据准确性，本实施方式提取词频高于设定量的分词字符进行抽取，该设定量可以为10，也可以为20，还可以根据问答对语料的实际数量的比例来确定。在此不做限定。

需要说明的是，为了方便智能客服系统的处理，在得到问答对语料的分词后，将分词字符进行转换，得到分词的词向量。上述对实体的抽取，实际是通过词向量来实现的。

步骤102：基于问答对语料的实体及实体间的对应关系建立知识图谱。

在获取到问答对语料的实体以及对应关系后，编码器将实体及实体的对应关系，即实体、属性以及属性值进行编码，建立知识图谱，将对应的实体或属性值存入到知识图谱的节点中，并将具有相对关系的节点之间建立起关联，并进行存储。三元组(实体-属性-属性值)就是知识图谱的一种通用表示方式，比如通过上述的三个问答对，构建出如图2所示的知识图谱，(中国-首都-北京)就是一个三元组。

步骤103：将问答对语料的问题输入到解码器中，通过解码器从知识图谱中获取到问题的预测答案。

在一个可选的实施方式中，输入到解码器中的问答对语料为建立知识图谱所用的语料。

由于编码器以及解码器都是根据问答对语料进行训练后得到的初步模型，在实际过程中，由于数据的偏向性或者网络抖动、参数的不合理性等，编码器和解码器并不是完美的，编码器不完美，对应以该编码器为基础建立的知识图谱也可能存在瑕疵，因而解码器解码的正确率也可能不符合商用需求。

因此，本实施方式中，在得到知识图谱后，还需要对知识图谱以及编码器以及用作智能客服系统的问题入口的解码器进行再训练。模型训练的基本原理就在于对解码器解码的问题的预测答案与问题的答案进行比对，如果二者一致，则本次解码有效，如果不一致，则本次解码无效，在错误率达到一定范围时，该模型本身是需要再训练优化的。

具体地，解码器在接收到问题后，比如输入“北京的首都在哪里”，解码器对接收到问题的问题进行识别解析，并到知识图谱中去筛选、计算或者过滤与该问答对中实体节点相关的其他节点，从该多个节点之间的关系确定出问答对的答案，比如，从与中国这个节点有关联的其他节点中得到“中国-首都-北京”以及“中国-面积-960万平方公里”两组关系，根据问题为中国首都在哪里，即对应的属性为首都，确定属性值为北京，即预测答案的正确答案应该为北京。

步骤104：将预测答案与问题的实际答案进行比对，根据比对结果对问答模型的损失函数进行优化，以对知识图谱以及解码器进行优化；其中，损失函数包括编码器参数以及解码器参数。

在本实施方式中，是通过问答模型的损失函数对问答模型进行训练优化的。损失函数是一种衡量损失和错误程度的函数。损失函数值越小，损失率或错误率越低。具体地，本实施方式中，损失函数包括编码器参数以及解码器参数。因而，对损失函数的参数进行优化的同时，编码器参数和解码器参数都能得到优化。对应的，编码器在优化后，由该编码器处理得到的实体及其对应关系而建立的知识图谱也得到优化。

具体地，在本实施方式中，通过kg＝F1(q,a|w1)来表示编码器的模型函数，其中，q为问答对的问题，a为问答对的答案，w1为编码器参数。通过F2(q,kg|w2)来表示解码器的模型函数。其中，w2为解码器参数。损失函数为L(w1,w2)＝∑_q,ay(F2(q,kg|w2),a)；其中，kg为编码器函数，带入编码器函数，得到L(w1,w2)＝∑_q,ay(F2(q,F1(q,a|w1)|w2),a)。

将问答对的问题输入到解码器中，输出预测答案f，在预测答案与问答对问题的实际答案相同，即f＝a时，比如上述例子中，解码器返回的中国的首都为北京的预测答案与问答对的实际答案相同，对应的函数y(f，a)的值为0，而在预测答案与问答对的答案不相同时，对应的y(f，a)的值为1。

由于损失函数为凸函数，并且在y已知的条件下，只有w1和w2为未知参数，由凸函数性质可知，在对损失函数L求最小值时，可得到当前优化参数。即将损失值为最小损失值所对应的损失函数参数作为该损失函数的当前优化参数。由该损失函数的当前优化参数能够得到当前优化编码器参数w1和当前优化解码器参数w2。

由于知识图谱是基于编码器而形成的，在编码器参数得到优化时，也能够对知识图谱进行优化，因而使整个问答模型都得到优化。

在另一个可选的实施方式中，有时候由于数据的不完美性，要达到损失函数的最小值几乎不太现实，因此，在另一个实施方式中，将损失值与最小损失值的差值小于预设值时对应的的损失函数参数确定为损失函数的当前优化参数。

在知识图谱以及解码器进行优化都达到当前最优时，就可以投入商用了。

区别于现有技术，本实施方式中，通过将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及实体间的对应关系，并基于问答对语料的实体及实体间的对应关系建立知识图谱，通过上述智能的方式建立知识图谱，由于整个建立过程为无监督方式，无需知识建模专家的介入，节省人力成本，也降低了构建知识图谱的入门门槛以及人力投入。另外，通过对包括编码器参数以及解码器参数的损失函数进行优化，即可实现编码器、解码器以及知识图谱的优化，减少传统问答模型多个模块分别进行优化的难度。解决了传统知识图谱构建与问答分离的问题，知识图谱的创建方式更加合理，效果也更好。

参阅图3，图3是本申请问答方法一实施方式的流程示意图。本实施方式的问答方法基于问答模型，该问答模型是通过图1-图2及其文字描述的上述任一实施方式的问答模型的训练方法训练优化而得到的。包括如下步骤：

步骤301：接收待回答的问题。

用户在使用智能客服系统进行问题咨询时，一般会通过智能客户系统的人工界面利用语音或触摸的方式输入待咨询的问题，对应的智能客服系统接收上述待咨询的问题。

步骤302：通过问答模型的解码器从知识图谱中获取到问题对应的答案；其中，知识图谱是通过将问答对语料输入到编码器中进行数据处理，得到问答对语料的实体及其实体的对应关系，基于实体及实体的对应关系建立的。

智能客服系统将该问题输入至解码器，解码器从知识图谱中获取到问题对应的答案。

具体地，解码器在接收到问题后，比如接收到的问题为“北京的首都在哪里”，解码器对接收到问题的问题进行识别解析，并到知识图谱中去筛选、计算或者过滤与该问答对中实体节点相关的其他节点，从该多个节点之间的关系确定出问答对的答案，比如，从与中国这个节点有关联的其他实体节点中得到“中国-首都-北京”以及“中国-面积-960万平方公里”，根据问题为中国首都在哪里，确定输出答案为北京。

步骤303：将答案进行反馈。

具体地，智能客服系统可通过其人工界面显示该问题的答案或者通过播放器语音播放问题的答案，在此不做限定。

区别于现有技术，在本实施方式中，智能客服系统接收到待回答的问题后，通过问答模型的解码器从知识图谱中获取该问题的答案，并反馈该答案。通过上述方式，能够提高问题的咨询效率。并且该知识图谱是通过将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及其实体间的对应关系，并基于问答对语料的实体及实体间的对应关系建立知识图谱，通过上述智能的方式建立知识图谱，由于整个建立过程为无监督方式，无需要知识建模专家的介入，节省人力成本，也降低了构建知识图谱的入门门槛以及人力投入。

此外，该问答模型是通过对包括编码器以及解码器的参数的损失函数进行优化后得到的。通过上述优化方式，能够使训练问答模型只对该损失函数进行优化即可实现整个问答模型以及知识图谱的优化，减少传统问答模型多个模块分别进行优化的难度。解决了传统知识图谱构建与问答分离的问题，知识图谱的创建方式更加合理，效果也更好。进一步地使智能客服系统的问答效果也更好。

参阅图4，图4是本申请问答模型的训练装置一实施方式的结构示意图。包括语料处理模块401、知识图谱建立模块402、答案预测模块403以及模型优化模块404。

语料处理模块401用于将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及其实体的对应关系。

该问答对语料为从网络或历史记录中得到的未经过标注的问答对语料。

在一个可选的实施方式中，为了提高智能客服系统的处理速度以及问答对语料的有效性，语料处理模块401首先将获取到的问答对语料进行清洗，去除语料中不属于问答对的语料，如感叹句，对事物的评述语句等。为了更加方便的建立知识图谱，智能客服系统进一步地去除一些设定字符，如表情符号，语气词以及与一些标点字符等，得到清洗后的问答对语料，再对清理后的问答语料进行处理。

具体地，语料处理模块401将清洗后的问答对语料输入到编码器中，通过编码器先对上述问答对语料进行分词，得到每个句子的至少一个分词字符。其中，对问答对语料进行分词的标准为分割成能够表达准确意思的最小单元，如动词可以直接分成字，名词等不可分割的语料切成词语，如地名以及一些专用名词等，完成分词后，对分词字符的词频进行统计，得到分词的概率分布，并对词频高于量的分词字符进行实体以及关系的抽取。

一般情况下，实体是值具有可区别性且独立存在的某种事物。比如一个人、某一个城市、某一种植物或者某一种商品等，不同实体之间存在不同的关系。实体一般具有属性，也可以称为关系，即是一个实体值指定它的属性值，在知识图谱中，不同的属性对应于不同类型属性的边。属性值主要是指对象指定属性的值，比如面积、人口等。

在本实施方式中，编码器通过深度网络学习对问答对语料分词字符进行抽取，在确定该分词字符的词频高于设定值时，激活深度学习网络对该分词字符进行抽取。

本实施方式中，选取词频高的分词字符作为实体或属性，是由于在实际建立知识图谱时，需要大量的问答对语料才能构建出一个相对完整的知识图谱，比如上百万条或上千万条问答对语料。因此，为了提高语料的通用性以及数据准确性，本实施方式提取词频高于设定量的分词字符进行抽取，该设定量可以为10，也可以为20，还可以根据问答对语料的实际数量的比例来确定。在此不做限定。

需要说明的是，为了方便智能客服系统的处理，语料处理模块401在得到问答对语料的分词后，将分词字符进行转换，得到分词的词向量。上述对实体的抽取，实际是通过词向量来实现的。

知识图谱建立模块402用于基于问答对语料的实体及实体间的对应关系建立知识图谱。

在获取到问答对语料的实体以及对应关系后，知识图谱建立模块402通过编码器将将实体及实体的对应关系，即实体、属性以及属性值进行编码，建立知识图谱，将对应的实体或属性值存入到知识图谱的节点中，并将具有相对关系的节点之间建立起关联，并进行存储。三元组(实体-属性-属性值)就是知识图谱的一种通用表示方式.

答案预测模块403用于将问答对语料的问题输入到解码器中，通过解码器从知识图谱中获取到问题的预测答案。

在一个可选的实施方式中，输入到解码器中的问答对语料为建立知识图谱所用的语料。

由于编码器以及解码器都是根据问答对语料进行训练后得到的初步模型，在实际过程中，由于数据的偏向性或者网络抖动、参数的不合理性等，编码器和解码器并不是完美的，编码器不完美，对应以该编码器为基础建立的知识图谱也可能存在瑕疵，因而解码器解码的正确率也可能不符合商用需求。

因此，本实施方式中，在得到知识图谱后，还需要对知识图谱以及编码器以及用作智能客服系统的问题入口的解码器进行再训练。模型训练的基本原理就在于对解码器解码的问题的预测答案与问题的答案进行比对，如果二者一致，则本次解码有效，如果不一致，则本次解码无效，在错误率达到一定范围时，该模型本身是需要再训练优化的。

具体地，答案预测模块403通过解码器对接收到问题的问题进行识别解析，并到知识图谱中去筛选、计算或者过滤与该问答对中实体节点相关的其他实体节点，从该多个实体节点之间的关系确定出问答对的答案，比如，从与中国这个节点有关联的其他实体节点中得到“中国-首都-北京”以及“中国-面积-960万平方公里”，根据问题为中国首都在哪里，确定输出预测答案为北京。

模型优化模块504用于将预测答案与问题的实际答案进行比对，根据比对结果对问答模型的损失函数进行优化，以对知识图谱以及解码器进行优化；其中，损失函数包括编码器参数以及解码器参数。

在本实施方式中，模型优化模块404是通过问答模型的损失函数对问答模型进行训练优化的。损失函数是一种衡量损失和错误程度的函数。损失函数值越小，损失率或错误率越低。具体地，本实施方式中，损失函数包括编码器参数以及解码器参数。因而，对损失函数的参数进行优化的同时，编码器参数和解码器参数都能得到优化。对应的，编码器在优化后，由该编码器处理得到的实体及其对应关系而建立的知识图谱也得到优化。

在本实施方式中，通过kg＝F1(q,a|w1)来表示编码器的模型函数，其中，q为问答对的问题，a为问答对的答案，w1为编码器参数。通过a＝F2(q,kg|w2)来表示解码器的模型函数。其中，w2为解码器参数。损失函数为L(w1,w2)＝∑_q,ay(F2(q,kgw2),a)；其中，kg为编码器函数，带入编码器函数，L(w1,w2)＝∑_q,ay(F2(q,F1(q,a|w1)|w2),a)F1(q,a|w1)。

将问答对的问题输入到解码器中，得到预测答案f，在预测答案与问答对的实际答案相同时，即f＝a时，比如上述例子中，解码器返回的中国的首都为北京的预测答案与问答对的实际答案相同，对应的函数y(f，a)的值为0，在预测答案与问答对的答案不相同时，对应的y(f，a)的值为1。

由于损失函数为凸函数，并且在y已知的条件下，只有w1和w2为未知参数，由凸函数性质可知，在对损失函数L求最小值时，可得到当前优化参数。即将损失值为最小损失值所对应的损失函数参数作为该损失函数的当前优化参数。由该损失函数的当前优化参数能够得到当前优化编码参数器w1和当前优化解码参数w2。

由于知识图谱是基于编码器而形成的，在编码器参数得到优化时，也能够对知识图谱进行优化，因而使整个问答模型都得到优化。

在另一个可选的实施方式中，有时候由于数据的不完美性，要达到损失函数的最小值几乎不太现实，因此，在另一个实施方式中，将损失值与最小损失值的差值小于预设值时对应的的损失函数参数确定为损失函数的当前优化参数。

在知识图谱以及解码器进行优化都达到当前最优时，就可以投入商用了。

区别于现有技术，本实施方式中，将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及实体间的对应关系，并基于问答对语料的实体及实体间的对应关系建立知识图谱，通过上述智能的方式建立知识图谱，由于整个建立过程为无监督方式，无需投入知识建模专家的介入，节省人力成本，也降低了构建知识图谱的入门门槛以及人力投入。另外，通过对包括编码器参数以及解码器参数的损失函数进行优化，即可实现编码器、解码器以及知识图谱的优化，减少传统问答模型多个模块分别进行优化的难度。解决了传统知识图谱构建与问答分离的问题，知识图谱的创建方式更加合理，效果也更好。

参阅图5，图5是本申请智能客服终端一实施方式的结构示意图。

该智能客服系统可以为网络客服，智能终端客服等，包括问答模型，其中，该问答模型是通过该问答模型是通过图1-图2及其文字描述的上述任一实施方式的问答模型的训练方法训练优化而得到的。具体地，问答模型包括问题接收模块501、答案获取模块502以及答案输出模块503。

问题接收模块501用于接收待回答的问题。

用户在使用智能客服系统进行问题咨询时，一般会通过智能客户系统的人工界面通过语音或触摸的方式输入待咨询的问题，对应的问题接收模块501接收上述待咨询的问题。

答案获取模块502用于通过问答模型的解码器从知识图谱中获取到问题对应的答案；其中，知识图谱是通过将问答对语料输入到编码器中进行数据处理，得到问答对语料的实体及其实体的对应关系，基于实体及实体的对应关系建立的。

问题接收模块501将该问题输入至答案获取模块502，答案获取模块502通过解码器从知识图谱中获取到问题对应的答案。

具体地，解码器在接收到问题后，比如接收到的问题为“北京的首都在哪里”，解码器对接收到问题的问题进行识别解析，并到知识图谱中去筛选、计算或者过滤与该问答对中实体节点相关的其他实体节点，从该多个实体节点之间的关系确定出问答对的答案，比如，从与中国这个节点有关联的其他实体节点中得到“中国-首都-北京”以及“中国-面积-960万平方公里”，根据问题为中国首都在哪里，确定输出答案为北京。

答案输出模块503用于将答案进行反馈。

具体地，答案输出模块503可通过其人工界面显示该问题的答案或者通过播放器语音播放问题的答案，在此不做限定。

区别于现有技术，在本实施方式中，智能客服系统接收到接收到待回答的问题后，通过问答模型的解码器从知识图谱中获取该问题的答案，并反馈该答案。通过上述方式，能够提高问题的咨询效率。并且该知识图谱是通过将问答对语料输入到编码器进行数据处理，得到问答对语料的实体及其实体间的对应关系，并基于问答对语料的实体及实体间的对应关系建立知识图谱，通过上述智能的方式建立知识图谱，由于整个建立过程为无监督方式，无需知识建模专家的介入，节省人力成本，也降低了构建知识图谱的入门门槛以及人力投入。

此外，该问答模型是优化是通过对包括编码器以及解码器的参数的损失函数进行优化后得到的。通过上述优化方式，能够使训练问答模型只对该损失函数即可实现整个问答模型以及知识图谱的优化，减少传统问答模型多个模块分别进行优化的难度。解决了传统知识图谱构建与问答分离的问题，知识图谱的创建方式更加合理，效果也更好。进一步地使智能客服系统的问答效果也更好。

参阅图6，图6是本申请智能系统一实施方式的结构示意图。其中，该智能系统包括智能客服系统以及其他智能终端或网络终端。本实施方式的智能系统60包括人机交互控制电路602以及与该人机交互控制电路耦接的处理器601。该处理器上可运行的计算机程序。处理器601在执行计算机程序时能够实现图1及其相关文字描述的任一实施方式的问答模型的训练方法，或者执行图3及其相关文字描述的任一实施方式的问答方法。当智能系统通过处理器601执行图3及其相关文字描述的任一实施方式的问答方法时，该智能系统为智能客服系统。

请参与图7，本申请还提供一种计算机存储介质的实施例的结构示意图。本实施例中，该计算机存储介质70存储有处理器可运行的计算机指令71，该计算机指令71用于执行图1及其相关文字描述的任一实施方式的问答模型的训练方法的步骤，或者执行图3及其相关文字描述的任一实施方式的问答方法步骤。

该计算机存储介质70具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机指令的介质，或者也可以为存储有该计算机指令的服务器，该服务器可将存储的计算机指令发送给其他设备运行，或者也可以自运行该存储的计算机指令。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种问答模型的训练方法，其特征在于，所述问答模型包括解码器，所述训练方法包括：

将问答对语料输入到编码器进行数据处理，得到所述问答对语料的实体及所述实体间的对应关系；

基于所述问答对语料的实体及所述实体间的对应关系建立知识图谱；

将所述问答对语料的问题输入到所述解码器中，通过所述解码器从所述知识图谱中获取到所述问题的预测答案；

将所述预测答案与所述问题的实际答案进行比对，根据比对结果对所述问答模型的损失函数进行优化，以对所述知识图谱以及所述解码器进行优化；其中，所述损失函数包括编码器参数以及解码器参数；

其中，所述将所述预测答案与所述问题的实际答案进行比对，根据比对结果对所述问答模型的损失函数进行优化，以对所述知识图谱以及所述解码器进行优化；其中，所述损失函数包括编码器参数以及解码器参数的步骤，包括：

根据比对结果对损失函数进行优化，将当前损失值为最小损失值所对应的所述损失函数的参数确定为所述损失函数的当前优化参数；

根据所述当前优化参数获取到当前优化编码器参数以及当前优化解码器参数；

通过所述当前优化编码参数对所述知识图谱进行优化。

2.根据权利要求1所述的训练方法，其特征在于，所述损失函数为L(w1,w2)＝∑_q,ay(F2(q,F1(q,a|w1)|w2),a)；其中，q为所述问答对的问题，a为所述问答对的答案，F1(q,a|w1)为编码器函数，F2(q,F1(q,a|w1)|w2)为解码器函数；w1为编码器参数，w2为解码器参数。

3.根据权利要求1所述的训练方法，其特征在于，所述将问答对语料输入到编码器进行数据处理，得到所述问答对语料的实体及所述实体间的对应关系的步骤具体包括：

去除所述问答对语料中非问答的内容，得到清洗后的问答对语料；

将所述清洗后的问答对语料输入到所述编码器中，通过所述编码器对所述问答对语料进行分词，得到所述问答对语料的分词字符；

统计所述分词字符的词频，将词频高于设定量的分词字符进行实体及其对应关系的抽取，得到所述问答对语料的实体以及所述实体间的对应关系。

4.一种问答方法，其特征在于，所述问答方法基于问答模型，包括：

接收到待回答的问题；

通过所述问答模型的解码器从知识图谱中获取到所述问题对应的答案；其中，所述知识图谱是通过将问答对语料输入到编码器中进行数据处理，得到所述问答对语料的实体及所述实体间的对应关系，基于所述实体及所述实体间的对应关系建立的；

将所述答案进行反馈；

其中，所述问答模型是通过权利要求1-3任一项所述的训练方法训练而得到的。

5.一种问答模型的训练装置，其特征在于，包括语料处理模块、知识图谱建立模块、答案预测模块以及模型优化模块，

所述语料处理模块用于将问答对语料输入到编码器进行数据处理，得到所述问答对语料的实体及所述实体间的对应关系；

所述知识图谱建立模块用于基于所述问答对语料的实体及所述实体间的对应关系建立知识图谱；

所述答案预测模块用于将所述问答对语料的问题输入到解码器中，通过所述解码器从所述知识图谱中获取到所述问题的预测答案；

所述模型优化模块用于将所述预测答案与所述问题的实际答案进行比对，根据比对结果对所述问答模型的损失函数进行优化，以对所述知识图谱以及所述解码器进行优化；其中，所述损失函数包括编码器参数以及解码器参数；

其中，所述模型优化模块具体用于根据比对结果对损失函数进行优化，将当前损失值为最小损失值所对应的所述损失函数的参数确定为所述损失函数的当前优化参数；根据所述当前优化参数获取到当前优化编码器参数以及当前优化解码器参数；通过所述当前优化编码参数对所述知识图谱进行优化。

6.一种智能客服系统，其特征在于，所述智能客服系统包括问答模型，所述问答模型是通过权利要求1-3任一项所述的训练方法训练而得到的；所述智能系统包括问题接收模块、答案获取模块以及答案输出模块，

所述问题接收模块用于接收待回答的问题；

所述答案获取模块用于通过所述问答模型的解码器从知识图谱中获取到所述问题对应的答案；其中，所述知识图谱是通过将问答对语料输入到编码器中进行数据处理，得到所述问答对语料的实体及其所述实体的对应关系，基于所述实体及所述实体的对应关系建立的；

所述答案输出模块用于将所述答案进行反馈。

7.一种智能系统，其特征在于，所述智能系统包括相互耦接的人机交互控制电路以及处理器及可在所述处理器上运行的计算机程序，所述所述处理器执行所述计算机程序时实现权利要求1～3任一项所述的问答模型的训练方法或执行权利要求4任一项所述问答方法的步骤。

8.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有程序数据，所述程序数据被处理器执行时实现如权利要求1～3任一项所述的问答模型的训练方法或权利要求4任一项所述的问答方法。

Images