CN110532397B - 基于人工智能的问答方法、装置、计算机设备及存储介质 - Google Patents

Abstract

一种基于人工智能的问答方法、装置、计算机设备及存储介质，基于第一训练数据进行语言模型训练，基于第二训练数据以及训练后的所述语言模型进行NER模型训练，以及关系匹配模型训练；基于所述训练后的NER模型识别待处理语句中的实体，基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。其基于语言模型迁移学习和图谱迁移学习技术，改进了语言模型常用的训练方法，可通过较少量的人工标记数据达到更高的精确度，更适合于构建知识图谱问答系统。

Description

基于人工智能的问答方法、装置、计算机设备及存储介质

技术领域

本发明涉及知识图谱技术领域，尤其涉及一种基于人工智能的问答方法、装置、计算机设备及存储介质。

背景技术

知识图谱又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形。由于其能提供高质量的结构化数据，所以越来越多的领域会使用到知识图谱以及以知识图谱为基础的问答系统受到使用，例如自动问答、搜索引擎以及信息抽取。典型的知识图谱通常以三元组的头实体、关系、尾实体(例如张三，国籍，中国)表达形式，通过该实例的表达反映了张三的国籍是中国这件事实。

但是目前知识图谱问答技术尚处于探索与研发阶段，大部分成果与进展还是以学界的论文为主，具体方案为：根据用户提出的问句，在数据库中通过关键字检索获得对应的论文或者网站文献，用户在点击具体的论文内容中去寻找其需要的内容，这样会导致用户提出问题的处理效率较差，不能满足用户的使用要求。

知识图谱问答系统，无论开放域还是垂直域，精确度是限制其广泛应用的主要因素，而精确度不足的主要因素在于标注数据量太少。由于知识图谱问答系统的标注包括实体识别标注与关系标注，标注数据所需要的成本巨大，为了快速构建知识图谱问答系统，减少所需要的标注数据量是很重要的。

发明内容

本发明的目的是提供一种基于人工智能的问答方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。

为实现上述目的，本发明提供一种基于人工智能的问答方法，

基于第一训练数据进行语言模型训练，所述第一训练数据为指定领域大量自动标注的问句语料；

基于第二训练数据以及训练后的所述语言模型进行NER模型训练，所述第二训练数据为人工标注的NER数据，每个所述NER数据包括一问句以及该问句对应的人工标注NER标记；

基于所述第二训练数据以及训练后的所述语言模型进行关系匹配模型训练；

基于所述训练后的NER模型识别待处理语句中的实体，基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；

根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。

优选的，经由爬虫工具搜集获得大量指定垂直领域的未标注的问句语料。

进一步的，经由字典匹配自动标注每一所述问句语料中实体所在的位置，若所述问句语料没有匹配到实体，则随机选取。

优选的，所述语言模型为google transformer语言模型，所述googletransformer语言模型训练包括：

将所述第一训练数据输入至所述google transformer语言模型的中嵌入层进行向量化；

将向量化的第一训练数据输入至编码层获取自注意力计算矩阵；

将所述自注意力计算矩阵输入至google transformer语言模型的损失函数中并基于梯度优化算法，更新优化所述google transformer语言模型的参数；

保存所述google transformer语言模型的参数设置。

优选的，所述NER模型训练包括：

将所述第二训练数据中的问句经由训练后的所述语言模型处理后得到向量序列或者矩阵，并输入至所述NER模型，以输出预测NER标记；

比较所述人工标注NER标记和对应的所述预测NER标记，计算所述NER模型的损失函数；

基于梯度优化算法，更新优化所述语言模型与所述NER模型参数。

优选的，所述关系匹配模型训练包括：

获取所述第二训练数据的问句向量与关系向量；

将所述问句向量与关系向量输出进行注意力机制的交互及训练，所述问句向量与所述关系向量参与一个epoch的关系匹配模型的训练，并基于梯度优化算法，更新优化所述语言模型以及所述关系匹配模型的参数；同时，每个所述epoch结束时，所述关系向量再放入知识表示模型中进行一个epoch的训练，交替上述训练过程直至所有的epoch处理完毕；

保存所述语言模型以及所述关系匹配模型的参数。

进一步的，所述第二训练数据中的问句经由训练后的语言模型输出所述问句向量；

所述第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量。

为实现上述目的，本发明还提供一种基于人工智能的问答装置，包括：

语言模型训练模块，用于基于第一训练数据进行语言模型训练，所述第一训练数据为指定领域大量自动标注的问句语料；

NER模型训练模块，用于基于第二训练数据以及训练后的所述语言模型进行NER模型训练，所述第二训练数据为人工标注的NER数据，每个所述NER数据包括一问句以及该问句对应的人工标注NER标记；

关系匹配模型训练模块，用于基于所述第二训练数据以及训练后的所述语言模型进行关系匹配模型训练；

实体识别模块，用于基于所述训练后的NER模型识别待处理语句中的实体；

关系获取模块，用于基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；

以及答案输出模块，用于根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。

优选的，所述语言模型训练模块包括第一训练数据获取子模块，用于经由爬虫工具采集指定领域大量的未标注的问句语料，并自动标注每一所述语料中实体所在的位置，以获所述取第一训练数据。

进一步的，所述第一训练数据获取子模块中，经由字典匹配自动标注每一所述问句语料中实体所在的位置，若所述问句语料没有匹配到实体，则随机选取。

优选的，所述语言模型为google transformer语言模型，所述所述语言模型训练模块包括：

向量化子模块，用于用于将所述第一训练数据输入至所述google transformer语言模型的中嵌入层（embedding层）进行向量化；

矩阵获取子模块，用于将向量化的第一训练数据输入至编码层获取自注意力计算矩阵；

第一优化子模块，用于将所述计算矩阵输入至损失函数中并基于梯度优化算法，更新优化所述google transformer语言模型参数；

第一保存子模块，用于保存所述google transformer语言模型参数设置。

优选的，所述NER模型训练模块包括：

预测NER标记获取子模块，用于将所述第二训练数据中的问句经由训练后的所述语言模型表示向量序列或者矩阵，并输入至所述NER模型，以输出预测NER标记；

比较子模块，用于比较所述人工标注NER标记和对应的所述预测NER标记，计算损失函数；

第二优化子模块，用于基于梯度优化算法，更新优化所述语言模型与所述NER模型参数。

优选的，所述关系匹配模型训练模块包括：

问句向量获取子模块，用于获取所述第二训练数据的问句向量；

关系向量获取子模块，用于获取所述第二训练数据的关系向量；

训练子模块，用于将所述问句向量与关系向量输出进行注意力机制的交互及训练，训练过程中，所述问句向量与所述关系向量参与一个epoch的关系匹配模型的训练，并基于梯度优化算法，更新优化所述语言模型以及所述关系匹配模型的参数；同时，每个所述epoch结束时，所述关系向量再放入知识表示模型中进行一个epoch的训练，交替上述训练过程直至所有的epoch处理完毕；

第三保存子模块，用于保存所述语言模型以及所述关系匹配模型的参数。

进一步的，所述问句向量获取子模块中，所述第二训练数据中的问句经由训练后的语言模型输出所述问句向量。

进一步的，所述关系向量获取子模块中，所述第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量。

为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明提供的基于人工智能的问答方法、装置、计算机设备及存储介质，基于语言模型迁移学习和图谱迁移学习技术，改进了语言模型常用的训练方法，使其更适合于进行知识图谱问答系统，可实现以较少量的人工标记数据达到更高的精确度。具体而言，通过对语言模型预训练，并基于训练后的语言模型以及少量人工标记的数据分别对NER模型和关系匹配模型进行训练，以进行待处理语句中实体与对应的关系识别，其中，在关系匹配模型的训练的过程通过关系匹配模型与知识表示模型交替地训练将图谱结构迁移到关系匹配模型，可有效提升关系匹配模型的精度，即对应的关系识别精度，实现了更强的关系抽取能力，减少了人工参与的成本，提高了构建知识图谱的效率。

附图说明

图1为本发明基于人工智能的问答方法一实施例的流程图；

图2为本发明基于人工智能的问答装置一实施例的程序模块示意图；

图3为本发明基于人工智能的问答装置一实施例的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本发明公开了一种基于人工智能的问答方法一种基于人工智能的问答方法，包括以下步骤：

S1基于第一训练数据进行语言模型训练，其中采集指定领域大量的未标注的问句语料，自动标注每一所述问句语料中实体所在的位置，获取第一训练数据。

步骤S1中，可以通过爬虫积极搜集获得大量指定垂直领域（如医疗领域、海洋领域等强调知识深度、专业性要求高的行业）的未标注的问句语料，问句语料以问答交互数据为主，且语料数量越大越好（一般不小于50万个数据）；上述语言模型训练的任务是在句中某个字遮挡的情况下预测该字。作为一优选方案，步骤S1中，可通过字典匹配，可以自动标注句中哪些部分是一个实体（虽然会有些不准确）。如果句中存在实体，则将语言模型的训练集中在该部分，即通过语言模型预测实体的某个字，这样训练的语言模型可以很好的捕捉到实体信息。如果通过字典没有匹配到实体，则随机选取。

语言模型就是根据上下文去预测下一个词是什么，即实现在句中某个字遮挡的情况下预测该字的功能，语言模型的选取不做具体限制，如常用的google transformer语言模型或LSMT（Long Sort Term Memory）语言模型均可，语言模型的训练方案也可采取本领域常规训练方案。

以下以语言模型为google transformer语言模型对本步骤所述训练步骤的进行进一步说明，若语言模型选取 google transformer，则语言模型训练可包括如下步骤：将所述第一训练数据输入至所述google transformer语言模型的中嵌入层进行向量化，然后输入至编码层获取自注意力计算矩阵，将所述计算矩阵输入至损失函数中并基于adam优化算法对google transformer语言模型损失函数最小化，最后保存所述google transformer语言模型参数设置。

S2 基于第二训练数据以及训练后的所述语言模型进行NER模型训练，其中，在NER模型的训练过程中，语言模型的参数也被视为上层NER模型的参数，一起进行训练。步骤S2中在训练好的语言模型之上加入NER模型的网络，并基于人工标注好的NER数据上训练NER模型，训练过程中，语言模型的参数也被视为上层NER模型的参数，一起进行训练。通过梯度下降，更新参数，重复训练过程，则可以不断降低损失函数，得到越来越好的预测。其中，所述第二训练数据为人工标注的NER数据，每个所述NER数据包括一问句以及该问句对应的人工标注NER标记；其中关于第二训练数据的数量的要求，为千级别即可；

本实施例中，步骤S2中，NER模型训练包括：

S21将所述第二训练数据中的问句经由训练后的所述语言模型表示向量序列或者矩阵，并输入至所述NER模型，以输出预测NER标记；

S22比较所述人工标注NER标记和对应的所述预测NER标记，计算损失函数；本实施例中，损失函数选取Categorical cross entropy。

S23基于梯度优化算法，更新优化所述语言模型与NER模型参数；

上述训练步骤对于NER模型通用， 比如LSTM+CRF模型，或者其他实体识别模型均可。

S3基于第二训练数据以及训练后的所述语言模型进行关系匹配模型训练，训练过程中，问句向量与关系向量每进行一个epoch的关系匹配模型训练后，关系向量继续单独进行一个epoch的知识表示模型训练，上述关系匹配模型训练与知识表示模型训练交替进行，直至完成所有的epoch训练。其中，第二训练数据中的问句经由训练后的语言模型输出所述问句向量、第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量，上述一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程。

实体在知识图谱中有多个关系和属性，但是哪一个与问句最匹配，需要基于关系匹配模型确认，一般需要在100个-200个关系中选择唯一一个正确的关系。示例性的，待处理语句阿托伐他丁防治冠心病应该怎么服用？的关系为：<药品>防治<疾病>应该怎么服用？<药品>和<疾病>均表示医学实体。本实施例中，通过语言模型的预训练和知识表示的预训练，将语义和知识图谱结构进行结合，关系匹配模型训练一个epoch，训练过程中，语言模型也被包含在关系匹配模型中，即语言模型所有参数全部视为关系匹配模型的参数，在训练时进行更新；关系向量在关系匹配模型中也做更新，同时一个epoch结束时，关系向量也再放入知识表示模型如HolE模型（holographic embeddings of knowledge graphs ,知识图谱全息嵌入表示模型）中进行一个epoch的训练，上述关系匹配模型训练与知识表示模型训练交替进行，可以更好地进行关系匹配。

关系匹配模型训练包括以下步骤：

S31将所述第二训练数据中的问句经由训练后的所述语言模型进行编码，并输出的问句向量；本步骤中，首先拷贝一份训练好的语言模型过来，然后问句向量表示由语言模型输出，其中关于第二训练数据的数量的要求，也为千级别即可；

S32对所述第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量；步骤S32中，将第二训练数据进行关系向量随机初始化；

S33关系匹配模型训练，训练过程中，所述问句向量与关系向量参与一个epoch的关系匹配模型的训练，并基于梯度优化算法，更新优化所述语言模型以及所述关系匹配模型的参数；同时，每个所述epoch结束时，所述关系向量再放入知识表示模型中进行一个epoch的训练，交替上述训练过程直至所有的epoch处理完毕；

步骤S33中，通过语言模型的预训练和知识表示的预训练，将语义和知识图谱结构进行结合，关系匹配模型训练一个epoch，训练过程中，语言模型也被包含在关系匹配模型中，即语言模型所有参数全部视为关系匹配模型的参数，在训练时进行更新，即进行语言模型的微调；关系向量在关系匹配模型中也做更新，同时一个epoch结束时，关系向量也再放入知识表示模型如HolE模型（holographic embeddings of knowledge graphs ,知识图谱全息嵌入表示模型）中进行一个epoch的训练，上述关系匹配模型训练与知识表示模型训练交替进行，可以更好地进行关系匹配。

S34保存所述google transformer语言模型以及所述关系匹配模型的参数。

上述关系匹配的模型不用限定，一般的语义匹配模型都是可以的，比如基于ESIM（enhanced semantic inference model），或者其他语义匹配模型都可以。

S4基于所述训练后的NER模型识别待处理语句中的实体，基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；

S5根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。

可以理解的是，每一个实体在知识图谱上会有一个对应的节点内容，一种具体的实现方式中，具体用于在所述待处理语句中的实体在知识图谱上所对应的节点中查找所述待处理语句的关系所对应的内容；将所查找到的内容确定为所述待处理语句所对应的答案，并输出所述答案。

因此，综上所述，本发明所示的一种基于人工智能的问答方法，基于语言模型迁移学习和图谱迁移学习技术，改进了语言模型常用的训练方法，使其更适合于进行只是图谱问答系统,可实现以较少量的人工标记数据达到更高的精确度。具体而言，通过对语言模型预训练，并基于训练后的语言模型以及少量人工标记的数据分别对NER模型和关系匹配模型进行训练，以进行待处理语句中实体与对应的关系识别，其中，在关系匹配模型的训练的过程通过关系匹配模型与知识表示模型交替地训练将图谱结构迁移到关系匹配模型，可有效提升关系匹配模型的精度，即对应的关系识别精度，实现了更强的关系抽取能力，减少了人工参与的成本，提高了构建知识图谱的效率。

实施例二

请继续参阅图2，本发明示出了一种基于人工智能的问答装置10，在本实施例中，基于人工智能的问答装置10可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述基于人工智能的问答方法。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述基于人工智能的问答装置10在存储介质中的执行过程。

以下描述将具体介绍本实施例各程序模块的功能：

本申请所示的基于人工智能的问答装置10，包括

语言模型训练模块11，用于基于第一训练数据进行语言模型训练，所述第一训练数据为指定领域大量自动标注的问句语料；

NER模型训练模块12，用于基于第二训练数据以及训练后的所述语言模型进行NER模型训练，所述第二训练数据为人工标注的NER数据，每个所述NER数据包括一问句以及该问句对应的人工标注NER标记；

关系匹配模型训练模块13，用于基于所述第二训练数据以及训练后的所述语言模型进行关系匹配模型训练；

实体识别模块14，用于基于所述训练后的NER模型识别待处理语句中的实体；

关系获取模块15，用于基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；

以及答案输出模块16，用于根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。

作为一优选方案，所述语言模型训练模块11包括第一训练数据获取子模块，用于采集指定领域大量的未标注的问句语料，并自动标注每一所述问句语料中实体所在的位置，以获所述取第一训练数据。

进一步的，所述第一训练数据获取子模块中，经由字典匹配自动标注每一所述问句语料中实体所在的位置，若所述问句语料没有匹配到实体，则随机选取。

作为一优选方案，所述语言模型为google transformer语言模型，所述所述语言模型训练模块还包括：

向量化子模块，用于用于将所述第一训练数据输入至所述google transformer语言模型的中嵌入层进行向量化；

矩阵获取子模块，用于将所述向量输入至编码层获取自注意力计算矩阵；

第一优化子模块，用于将所述计算矩阵输入至损失函数中并基于梯度优化算法，更新优化所述google transformer语言模型参数；

第一保存子模块，用于保存所述google transformer语言模型参数设置。

作为一优选方案，所述NER模型训练模块12包括：

预测NER标记获取子模块，用于将所述第二训练数据中的问句经由训练后的所述语言模型表示向量序列或者矩阵，并输入至所述NER模型，以输出预测NER标记；

比较子模块，用于比较所述人工标注NER标记和对应的所述预测NER标记，计算损失函数；

第二优化子模块，用于基于梯度优化算法，更新优化所述语言模型与所述NER模型参数。

作为一优选方案，所述关系匹配模型训练模块13包括：

问句向量获取子模块，用于获取所述第二训练数据的问句向量；

关系向量获取子模块，用于获取所述第二训练数据的关系向量；

训练子模块，用于将所述问句向量与关系向量输出进行注意力机制的交互及训练，训练过程中，所述问句向量与所述关系向量参与一个epoch的关系匹配模型的训练，并基于梯度优化算法，更新优化所述语言模型以及所述关系匹配模型的参数；同时，每个所述epoch结束时，所述关系向量再放入知识表示模型中进行一个epoch的训练，交替上述训练过程直至所有的epoch处理完毕；

第三保存子模块，用于保存所述语言模型以及所述关系匹配模型的参数。

进一步的，所述问句向量获取子模块中，所述第二训练数据中的问句经由训练后的语言模型输出所述问句向量。

进一步的，所述关系向量获取子模块中，所述第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量。

综上，本发明所示的一种基于人工智能的问答装置10，基于语言模型迁移学习和图谱迁移学习技术，改进了语言模型常用的训练方法，使其更适合于进行只是图谱问答系统,可实现以较少量的人工标记数据达到更高的精确度。具体而言，通过对语言模型预训练，并基于训练后的语言模型以及少量人工标记的数据分别对NER模型和关系匹配模型进行训练，以进行待处理语句中实体与对应的关系识别，其中，在关系匹配模型的训练的过程通过关系匹配模型与知识表示模型交替地训练将图谱结构迁移到关系匹配模型，可有效提升关系匹配模型的精度，即对应的关系识别精度，实现了更强的关系抽取能力，减少了人工参与的成本，提高了构建知识图谱的效率。

实施例三

本发明还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图3所示。需要指出的是，图3仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器21（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例一的基于人工智能的问答装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器22在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行基于人工智能的问答装置10，以实现实施例一的基于人工智能的问答方法。

实施例四

本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于人工智能的问答装置10，被处理器执行时实现实施例一的基于人工智能的问答方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于人工智能的问答方法，其特征在于,包括以下步骤：

基于第一训练数据进行语言模型训练，所述第一训练数据为指定领域大量自动标注的问句语料；

所述语言模型为google transformer语言模型，所述google transformer语言模型训练包括：

将所述第一训练数据输入至所述google transformer语言模型的中嵌入层进行向量化；

将向量化的第一训练数据输入至编码层获取自注意力计算矩阵；

将所述自注意力计算矩阵输入至google transformer语言模型的损失函数中并基于梯度优化算法，更新优化所述google transformer语言模型的参数；

保存所述google transformer语言模型的参数设置；

基于第二训练数据以及训练后的所述语言模型进行NER模型训练，所述第二训练数据为人工标注的NER数据，每个所述NER数据包括一问句以及该问句对应的人工标注NER标记，其中，所述第二训练数据的数量为千级别；

所述NER模型训练包括：

将所述第二训练数据中的问句经由训练后的所述语言模型处理后得到向量序列或者矩阵，并输入至所述NER模型，以输出预测NER标记；

比较所述人工标注NER标记和对应的所述预测NER标记，计算所述NER模型的损失函数；

基于梯度优化算法，更新优化所述语言模型与所述NER模型参数；

基于所述第二训练数据以及训练后的所述语言模型进行关系匹配模型训练；

所述关系匹配模型训练包括：

获取所述第二训练数据的问句向量与关系向量；其中，所述第二训练数据中的问句经由训练后的语言模型输出所述问句向量；所述第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量；

将所述问句向量与关系向量输出进行注意力机制的交互及训练，所述问句向量与所述关系向量参与一个epoch的关系匹配模型的训练，并基于梯度优化算法，更新优化所述语言模型以及所述关系匹配模型的参数；同时，每个所述epoch结束时，所述关系向量再放入知识图谱全息嵌入表示模型中进行一个epoch的训练，交替上述训练过程直至所有的epoch处理完毕；

保存所述语言模型以及所述关系匹配模型的参数；

基于所述训练后的NER模型识别待处理语句中的实体，基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；

根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。

2. 根据权利要求1所述的基于人工智能的问答方法，其特征在于, 经由爬虫工具搜集获得大量指定垂直领域的未标注的问句语料。

3.根据权利要求1或2所述的基于人工智能的问答方法，其特征在于：经由字典匹配自动标注每一所述问句语料中实体所在的位置，若所述问句语料没有匹配到实体，则随机选取。

4.一种基于人工智能的问答装置，其特征在于，包括：

语言模型训练模块，用于基于第一训练数据进行语言模型训练，所述第一训练数据为指定领域大量自动标注的问句语料；

所述语言模型为google transformer语言模型，所述语言模型训练模块包括：

向量化子模块，用于将所述第一训练数据输入至所述google transformer语言模型的中嵌入层进行向量化；

矩阵获取子模块，用于将向量化的第一训练数据输入至编码层获取自注意力计算矩阵；

第一优化子模块，用于将所述计算矩阵输入至损失函数中并基于梯度优化算法，更新优化所述google transformer语言模型参数；

第一保存子模块，用于保存所述google transformer语言模型参数设置；

NER模型训练模块，用于基于第二训练数据以及训练后的所述语言模型进行NER模型训练，所述第二训练数据为人工标注的NER数据，每个所述NER数据包括一问句以及该问句对应的人工标注NER标记，其中，所述第二训练数据的数量为千级别；

所述NER模型训练模块包括：

预测NER标记获取子模块，用于将所述第二训练数据中的问句经由训练后的所述语言模型表示向量序列或者矩阵，并输入至所述NER模型，以输出预测NER标记；

比较子模块，用于比较所述人工标注NER标记和对应的所述预测NER标记，计算损失函数；

第二优化子模块，用于基于梯度优化算法，更新优化所述语言模型与所述NER模型参数；

关系匹配模型训练模块，用于基于所述第二训练数据以及训练后的所述语言模型进行关系匹配模型训练；

所述关系匹配模型训练模块包括：

问句向量获取子模块，用于获取所述第二训练数据的问句向量，所述问句向量获取子模块中，所述第二训练数据中的问句经由训练后的语言模型输出所述问句向量；

关系向量获取子模块，用于获取所述第二训练数据的关系向量，所述关系向量获取子模块中，所述第二训练数据中的问句中的关系经由嵌入层随机初始化表示为关系向量；

训练子模块，用于将所述问句向量与关系向量输出进行注意力机制的交互及训练，训练过程中，所述问句向量与所述关系向量参与一个epoch的关系匹配模型的训练，并基于梯度优化算法，更新优化所述语言模型以及所述关系匹配模型的参数；同时，每个所述epoch结束时，所述关系向量再放入知识图谱全息嵌入表示模型中进行一个epoch的训练，交替上述训练过程直至所有的epoch处理完毕；

第三保存子模块，用于保存所述语言模型以及所述关系匹配模型的参数；

实体识别模块，用于基于所述训练后的NER模型识别待处理语句中的实体；

关系获取模块，用于基于所述训练后的关系匹配模型获得所述待处理语句对应的关系；

以及答案输出模块，用于根据所述待处理语句对应的关系、所述待处理语句中的实体，确定所述待处理语句所对应的答案并输出。

5.一种计算机设备，其特征在于：包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至3任一项所述方法的步骤。

Images