CN115858760A - 一种知识图谱的问答推理方法、装置及存储介质 - Google Patents
一种知识图谱的问答推理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115858760A CN115858760A CN202310192576.1A CN202310192576A CN115858760A CN 115858760 A CN115858760 A CN 115858760A CN 202310192576 A CN202310192576 A CN 202310192576A CN 115858760 A CN115858760 A CN 115858760A
- Authority
- CN
- China
- Prior art keywords
- attribute
- question
- model
- constraint
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 106
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 34
- 238000013145 classification model Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 230000009901 attention process Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种知识图谱的问答推理方法、装置及存储介质，通过融合模型对待回答问题进行处理，得到处理结果，根据处理结果以及注意力机制得到第一问题类型、第一属性以及第一业务实体，根据处理结果以及实体识别模型，得到约束属性以及约束值，通过融合模型、注意力机制以及实体识别模型，有利于提高提取的第一问题类型、第一属性、第一业务实体、约束属性以及约束值等特征的准确性，根据第一问题类型、第一属性、第一业务实体、约束属性以及约束值，生成搜索语句，从而提高搜索语句的准确性，根据搜索语句从知识图谱中确定目标多元组数据，将目标多元组数据中的回答作为待回答问题的最终回答，有利于提高回答的准确性。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种知识图谱的问答推理方法、装置及存储介质。
背景技术
在某些业务场景中，例如通信运营商，当用户想要了解相关业务套餐时，通常会对业务办理员或客服等进行问题咨询。在该场景下，主要依赖于业务专家进行问题的解析，并提出相关处理意见。在传统业务解答过程中，会存在人力成本高、效率低等的问题。同时，现有技术利用NLP技术搜索解答，但是解答的准确性依赖于利用NLP技术之前所提取的特征的准确性，因此有必要提高提取特征的准确性，从而提高解答的准确性。
发明内容
基于此，本发明的目的在于解决上述问题中的至少之一，提供一种知识图谱的问答推理方法、装置及存储介质，提高回答的准确性。
本发明实施例提供了一种知识图谱的问答推理方法，包括：
获取待回答问题；
通过分类模型对所述待回答问题进行分类处理，得到第一问题类型、第一属性以及第一业务实体；所述分类处理包括：通过融合模型对所述待回答问题进行处理，得到处理结果，根据所述处理结果以及注意力机制得到所述第一问题类型、所述第一属性以及所述第一业务实体；
根据所述处理结果以及实体识别模型，得到约束属性以及约束值；
根据所述第一问题类型、所述第一属性、所述第一业务实体、所述约束属性以及所述约束值，生成搜索语句；
根据所述搜索语句从知识图谱中确定目标多元组数据，将所述目标多元组数据中的回答作为所述待回答问题的最终回答；所述目标多元组数据包括实体、属性以及回答。
进一步，所述融合模型包括Bert模型、MacBert模型以及RoBert模型，所述通过融合模型对所述待回答问题进行处理，得到处理结果，包括：
通过所述Bert模型对所述待回答问题进行处理，得到第一结果；
通过所述MacBert模型对所述待回答问题进行处理，得到第二结果；
通过所述RoBert模型对所述待回答问题进行处理，得到第三结果；
计算所述第一结果、所述第二结果以及所述第三结果的平均值，得到处理结果。
进一步，所述根据所述处理结果以及注意力机制得到所述第一问题类型、所述第一属性以及所述第一业务实体，包括：
根据所述处理结果通过第一注意力处理，得到所述第一问题类型；
根据所述处理结果通过第二注意力处理，得到所述第一属性；
根据所述处理结果通过第三注意力处理，得到所述第一业务实体。
进一步，所述分类模型通过以下步骤得到：
获取训练数据；
将所述训练数据分别输入至Bert模型、MacBert模型以及RoBert模型；
所述Bert模型的输出结果、所述MacBert模型的输出结果以及所述RoBert模型的输出结果进行平均融合，平均融合结果通过第一注意力处理，得到第二问题类型，平均融合结果通过第二注意力处理，得到第二属性，平均融合结果通过第三注意力处理，得到第二业务实体；
根据所述第二问题类型以及所述训练数据计算第一损失，根据所述第二属性以及所述训练数据计算第二损失，根据所述第二业务实体以及所述训练数据计算第三损失；
根据所述第一损失以及所述第一注意力处理的第一权重参数、所述第二损失以及所述第二注意力处理的第二权重参数、所述第三损失以及所述第三注意力处理的第三权重参数，确定总损失；
对所述第一权重参数、所述第二权重参数以及所述第三权重参数中的至少之一进行调整并进行训练，直至达到终止条件，得到所述分类模型；所述终止条件包括训练次数达到迭代次数阈值或者所述总损失小于或等于损失阈值。
进一步，所述根据所述第一问题类型、所述第一属性、所述第一业务实体、所述约束属性以及所述约束值，生成搜索语句，包括：
根据所述约束属性以及所述约束值确定所述第一业务实体下的目标实例；
当所述第一问题类型为属性句或者比较句，根据所述目标实例以及所述第一属性生成搜索语句；
或者，当所述第一问题类型为并列句，所述第一属性包括至少一第一子属性以及至少一第二子属性，根据所述目标实例以及所述第一子属性生成第一语句以及根据所述目标实例以及所述第二子属性生成第二语句，所述搜索语句包括所述第一语句以及所述第二语句。
进一步，所述根据所述约束属性以及所述约束值确定所述第一业务实体下的目标实例，包括：
当所述约束属性以及所述约束值不为空，从所述第一业务实体下的所有实例中根据所述约束属性以及所述约束值确定匹配的目标实例；
或者，
当所述约束属性以及所述约束值为空，将所述第一业务实体下的所有实例作为目标实例。
进一步，所述知识图谱通过以下步骤得到：
获取历史业务问答数据；
从所述历史业务问答数据中抽取实体、属性以及回答，形成多元组数据；
根据所述多元组数据构建知识图谱。
本发明实施例还提供一种知识图谱的问答推理装置，包括：
获取模块，用于获取待回答问题；
分类模块，用于通过分类模型对所述待回答问题进行分类处理，得到第一问题类型、第一属性以及第一业务实体；所述分类处理包括：通过融合模型对所述待回答问题进行处理，得到处理结果，根据所述处理结果以及注意力机制得到所述第一问题类型、所述第一属性以及所述第一业务实体；
处理模块，用于根据所述处理结果以及实体识别模型，得到约束属性以及约束值；
生成模块，用于根据所述第一问题类型、所述第一属性、所述第一业务实体、所述约束属性以及所述约束值，生成搜索语句；
回答模块，用于根据所述搜索语句从知识图谱中确定目标多元组数据，将所述目标多元组数据中的回答作为所述待回答问题的最终回答；所述目标多元组数据包括实体、属性以及回答。
本发明实施例还提供一种知识图谱的问答推理装置，所述知识图谱的问答推理装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
本发明的有益效果是：
通过融合模型对待回答问题进行处理，得到处理结果，根据处理结果以及注意力机制得到第一问题类型、第一属性以及第一业务实体，根据处理结果以及实体识别模型，得到约束属性以及约束值，通过融合模型、注意力机制以及实体识别模型，有利于提高提取的第一问题类型、第一属性、第一业务实体、约束属性以及约束值等特征的准确性，根据第一问题类型、第一属性、第一业务实体、约束属性以及约束值，生成搜索语句，从而提高搜索语句的准确性，根据搜索语句从知识图谱中确定目标多元组数据，将目标多元组数据中的回答作为待回答问题的最终回答，有利于提高回答的准确性。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明知识图谱的问答推理方法的步骤流程示意图；
图2为本发明具体实施例确定最终回答的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1所示，本发明实施例提供一种知识图谱的问答推理方法，包括步骤S100-S500：
S100、获取待回答问题。
需要说明的是，待回答问题为用户当前需要咨询的问题。以通信运营商的场景为例，待回答问题可以为：“5G家庭套餐的价格是多少？”、“5G家庭套餐价格是多少，怎么开通呢？”、“5G家庭套餐中168元和268元的流量相差多少？”等等。
S200、通过分类模型对待回答问题进行分类处理，得到第一问题类型、第一属性以及第一业务实体。
如图2所示，本发明实施例中，分类模型包括融合模型以及注意力机制，S200具体为：通过融合模型对待回答问题进行处理，得到处理结果，根据处理结果以及注意力机制得到第一问题类型、第一属性以及第一业务实体。
可选地，本发明实施例中，融合模型包括Bert模型、MacBert模型以及RoBert模型，步骤S200中通过融合模型对待回答问题进行处理，得到处理结果，包括步骤S210-S220：
S210、通过Bert模型对待回答问题进行处理，得到第一结果，通过MacBert模型对待回答问题进行处理，得到第二结果，通过RoBert模型对待回答问题进行处理，得到第三结果。
具体地，通过Bert模型、MacBert模型以及RoBert模型分别对待回答问题进行字编码，Bert模型输出第一结果
，MacBert模型输出第二结果/>
，RoBert模型输出第三结果/>
。
S220、计算第一结果、第二结果以及第三结果的平均值，得到处理结果。
具体地，融合模型M的处理结果
为：
本发明实施例中，通过将三个模型的输出结果进行平均融合作为处理结果，能够提高编码特征提取的准确度。例如，当待回答问题中包括“流”，通过融合模型可以得到“流”字对应向量的第一结果
、第二结果/>
以及第三结果/>
，然后计算平均值可以得到“流”字对应向量的处理结果/>
，从而提高“流”字的编码特征提取的准确度。
可选地，步骤S200中根据处理结果以及注意力机制得到第一问题类型、第一属性以及第一业务实体，具体包括步骤S230：
S230、根据处理结果通过第一注意力处理，得到第一问题类型，根据处理结果通过第二注意力处理，得到第一属性，根据处理结果通过第三注意力处理，得到第一业务实体。
如图2所示，可选地，本发明实施例的注意力机制配置有三种不同的注意力。
例如，根据处理结果通过第一注意力处理，得到第一问题类型，具体地，对处理结果利用第一注意力Attention1进行学习，并通过函数(例如Linear、Softmax等)进行分类学习，得到第一问题类型。
例如，根据处理结果通过第二注意力处理，得到第一属性，具体地，对处理结果利用第二注意力Attention2进行学习，并通过函数(例如Linear、Softmax等)进行分类学习，得到第一属性。
例如，根据处理结果通过第三注意力处理，得到第一业务实体，具体地，对处理结果利用第三注意力Attention3进行学习，并通过函数(例如Linear、Softmax等)进行分类学习，得到第一业务实体。
可选地，第一问题类型包括但不限于属性句、并列句以及比较句；属性句表示用户是针对某种业务实体的属性进行问题咨询，并列句表示用户针对某种业务实体同时进行多种属性的问题咨询，比较句表示用户针对某种业务实体的不同实例即不同档位的同一属性进行问题咨询。
例如，假设待回答问题为：“5G家庭套餐的价格是多少？”，此时可以得到第一问题类型为属性句，第一业务实体为5G家庭套餐，第一属性为价格。假设待回答问题为：“5G家庭套餐价格是多少，怎么开通呢？”，此时可以得到第一问题类型为并列句，第一业务实体为5G家庭套餐，第一属性为价格和开通方式。假设待回答问题为：“5G家庭套餐中168元和268元的流量相差多少？”，此时可以得到第一问题类型为比较句，第一业务实体为5G家庭套餐，第一属性为流量。
S300、根据处理结果以及实体识别模型，得到约束属性以及约束值。
可选地，实体识别模型采用BiLSTM+CRF结构，将处理结果输入至BiLSTM+CRF，BiLSTM+CRF能够有效地约束无效预测序列，从而输出约束属性以及约束属性对应的约束值。
例如，假设待回答问题为：“5G家庭套餐的价格是多少？”，此时第一属性为价格，第一业务实体是5G家庭套餐，而没有约束属性以及约束值，因此此时约束属性以及约束值为空。
例如，假设待回答问题为：“10元腾讯视频专属定向流量包怎么取消？”，此时第一属性为取消方式，第一业务实体为专属定向流量包，此时专属定向流量包即第一业务实体具有约束属性为腾讯视频，约束值为10元。
S400、根据第一问题类型、第一属性、第一业务实体、约束属性以及约束值，生成搜索语句。
可选地，步骤S400包括S410，以及包括S420或者S430：
S410、根据约束属性以及约束值确定第一业务实体下的目标实例。
可选地，步骤S410包括步骤S4101或S4102：
S4101、当约束属性以及约束值不为空，从第一业务实体下的所有实例中根据约束属性以及约束值确定匹配的目标实例。
例如，假设待回答问题为：“10元腾讯视频专属定向流量包怎么取消？”，假设第一业务实体“视频专属定向流量包”下具有“10元腾讯视频”、“20元腾讯视频”、“10元爱奇艺视频”等实例，此时根据约束属性为价格—子业务，约束值为“10元-腾讯视频”，可以确定得到目标实例为“10元腾讯视频”。
S4102、当约束属性以及约束值为空，将第一业务实体下的所有实例作为目标实例。
例如，假设待回答问题为：“5G家庭套餐的价格是多少？”，此时第一属性为价格，第一业务实体是5G家庭套餐，而没有约束属性以及约束值，此时约束属性以及约束值为空。假设5G家庭套餐下具有168元5G家庭套餐、268元5G家庭套餐、888元5G家庭套餐三个实例，此时将168元5G家庭套餐、268元5G家庭套餐、88元5G家庭套餐都作为目标实例。
S420、当第一问题类型为属性句或者比较句，根据目标实例以及第一属性生成搜索语句。
1、例如，假设待回答问题为：“5G家庭套餐的价格是多少？”，此时可以得到第一问题类型为属性句，第一业务实体为5G家庭套餐，第一属性为价格，假设目标实例中具有三个目标子实例：168元5G家庭套餐、268元5G家庭套餐、888元5G家庭套餐，根据第一属性“价格”以及第一目标子实例生成第一子搜索语句，根据第一属性“价格”以及第二目标子实例生成第二子搜索语句，根据第一属性“价格”以及第三目标子实例生成第三子搜索语句，即此时搜索语句包括第一子搜索语句、第二子搜索语句以及第三子搜索语句。
2、假设待回答问题为：“5G家庭套餐中168元和268元的流量相差多少？”，此时可以得到第一问题类型为比较句，第一业务实体为5G家庭套餐，第一属性为流量，目标实例包括68元5G家庭套餐、268元5G家庭套餐两个目标子实例，根据第一属性以及第一目标子实例生成第一子搜索语句，根据第一属性以及第二目标子实例生成第二子搜索语句，即此时搜索语句包括第一子搜索语句以及第二子搜索语句。
S430、当第一问题类型为并列句，第一属性包括至少一第一子属性以及至少一第二子属性，根据目标实例以及第一子属性生成第一语句以及根据目标实例以及第二子属性生成第二语句，搜索语句包括第一语句以及第二语句。
例如，假设待回答问题为：“5G家庭套餐价格是多少，怎么开通呢？”，此时可以得到第一问题类型为并列句，第一业务实体为5G家庭套餐，第一属性为价格和开通方式，即第一属性包括第一子属性“价格”以及第二子属性“开通方式”。假设：目标实例中具有三个目标子实例：168元5G家庭套餐、268元5G家庭套餐、888元5G家庭套餐，第一子属性分别与第一目标子实例、第二目标子实例、第三目标子实例生成一个第一子语句，三个第一子语句构成第一语句；第二子属性分别与第一目标子实例、第二目标子实例、第三目标子实例生成一个第二子语句，三个第二子语句构成第二语句，而搜索语句包括第一语句以及第二语句。
需要说明的是，搜索语句的形式包括但不限于以下两种：
1)、直接利用目标实例以及第一属性生成搜索语句，例如搜索语句中包括：“168元5G家庭套餐以及第一属性”。
2)、根据目标实例从第一数据库(包括但不限于Mysql数据库)中利用目标实例搜索匹配目标实例对应的标识，例如168元5G家庭套餐对应的标识为“5G家庭套餐_0”，268元5G家庭套餐对应的标识为“5G家庭套餐_1”；当待回答问题为：“10元腾讯视频专属定向流量包怎么取消”，找到目标实例10元腾讯视频所对应的标识为“专属定向流量包_1”。此时根据168元5G家庭套餐所生成的搜索语句中包括：“5G家庭套餐_0以及第一属性”，或者基于10元腾讯视频专属定向流量包所生成的搜索语句中包括“专属定向流量包_1以及第一属性”。
可选地，搜索语句可以利用Cypher语句编写，例如Cypher语句为：'MATCH (m:第一业务实体) where m.name = '专属定向流量包_1' return m.取消方式'。
S500、根据搜索语句从知识图谱中确定目标多元组数据，将目标多元组数据中的回答作为待回答问题的最终回答。
需要说明的是，知识图谱事先建立，建立步骤包括S001-S003：
S001、获取历史业务问答数据。
可选地，历史业务问答数据包括若干个历史问题以及每一历史问题所对应的回答。
S002、从历史业务问答数据中抽取实体、属性以及回答，形成多元组数据。
本发明实施例中，从历史业务问答数据中进行数据提取，提取问题中的实体(即业务实体)、问题类型、属性、约束属性以及约束值，其中实体(即业务实体)、问题类型、属性、约束属性以及约束值形成标签数据，然后将标签数据存储于第一数据库中。另外，提取问题中的实体(即业务实体)、属性以及回答，形成多元组数据具体为三元组数据，存储于第二数据库(包括但不限于Neo4j图数据库)。需要说明的是，实体(即业务实体)下的每一实例都可以事先配置对应的标识，上述实体(即业务实体)包括实体(即业务实体)下的所有实例。
例如，历史问题为：问题是【5G家庭套餐的价格是多少？】，答案是【168元、268元】，其中业务实体为(5G家庭套餐)，属性为(价格)，由于该问题并没有给出具体的约束属性和约束值，因此答案有多个，可以构建多个多元组数据：(5G家庭套餐_0)(价格)(168元)、( 5G家庭套餐_1)(价格)( 268元)。
例如：历史问题是【10元腾讯视频专属定向流量包怎么取消。】，答案是【取消方式—123】。其中，业务实体为专属定向流量包，属性为取消方式，约束属性为价格—子业务，约束值为10元—腾讯视频。因为专属定向流量包中可能含有不同的子业务即不同的实例如腾讯视频、爱奇艺、哔哩哔哩等)，则答案就可能存在多种取消方式，但该问题示例明确了10元腾讯视频子业务，则可以给出明确的答案(取消方式—123)，该历史问题只能构建一个多元组数据(专属定向流量包_0)(取消方式)(取消方式—123)。
例如：历史问题是【5G家庭套餐价格是多少，怎么开通呢？】，答案是【168元|开通方式—123、268元|开通方式—456】其中业务实体为5G家庭套餐，属性为价格和开通方式，则多元组数据：(5G家庭套餐_0)(价格)(168元)、(5G家庭套餐_0)(价格)( 268元)、( 5G家庭套餐_0)(开通方式)(开通方式—123)、(5G家庭套餐_1)(开通方式)(开通方式—456)。
例如：历史问题是【5G家庭套餐中168元和268元的流量相差多少？】，答案为【10G】或者将两个套餐的流量都列出来作为答案供用户对比。其中，业务实体为5G家庭套餐具有两种实例168元套餐和268元套餐，属性为流量。则多元组数据：(5G家庭套餐_0)(价格)(168元)、 (5G家庭套餐_1)(价格)(268元)、(5G家庭套餐_0)(流量)(10G)、 (5G家庭套餐_1)(流量)(20G)。
S003、根据多元组数据构建知识图谱。
具体地，利用所有多元组数据构建知识图谱，因此知识图谱中包含若干组多元组数据，而可以理解的是每一多元组数据中包含实体、属性以及回答。
本发明实施例中，步骤S500中根据搜索语句从知识图谱中确定目标多元组数据，将目标多元组数据中的回答作为待回答问题的最终回答，具体地：
假设待回答问题为：“10元腾讯视频专属定向流量包怎么取消”，此时根据搜索语句从知识图谱中可以确定目标多元组数据例如为 (专属定向流量包_0)(取消方式)(取消方式—123)，此时将(取消方式—123)该回答作为待回答问题的最终回答，反馈给用户。
可选地，本发明实施例的分类模型用于多任务学习，可以通过事先训练得到，训练的步骤包括S1-S6：
S1、获取训练数据。
可选地，训练数据可以为历史问答数据，训练数据中可以对问题类型、业务实体、属性等内容进行标签的添加，作为真实标签。
可选地，在执行S2之前还可以对训练数据进行预处理，例如PyCorrector文本纠错和文本扩增。例如，PyCorrector文本纠错：由于用户输入的问题可能存在错别字的问题，因此采用PyCorrector文本纠错进行文本纠正。例如：”10元腾讯视频专属定向流量包如何取笑，“纠正成”10元腾讯视频专属定向流量包怎么取消”。
文本扩增：由于每种业务实体的样本量不同，最多样本量业务实体：最小样本量业务实体=10：1，因此本发明采用EDA(同义词替换、随机插入、随机交换)和SimBert相似文本扩增。例如“10元腾讯视频专属定向流量包如何取消”。“同义词替换”10元腾讯视频专属定向流量包怎么取消。”；“10元腾讯视频专属定向流量包如何取消，“随机插入为”10元腾讯视频专属定向流量包如何取消呢？”；”10元腾讯视频专属定向流量包如何取消。“随机交换为“10元视频腾讯专属定向流量包如何取消。”另外，假设在SimBert相似文本中：“10元腾讯视频专属定向流量包如何取消”，生成相似文本“专属定向流量包中的10元腾讯视频要怎么去掉”。
需要说明的是，在步骤S200之前同样可以对待回答问题进行预处理，原理同上，不再赘述。
S2、将训练数据分别输入至Bert模型、MacBert模型以及RoBert模型。
S3、Bert模型的输出结果、MacBert模型的输出结果以及RoBert模型的输出结果进行平均融合，平均融合结果通过第一注意力处理，得到第二问题类型，平均融合结果通过第二注意力处理，得到第二属性，平均融合结果通过第三注意力处理，得到第二业务实体。
具体地，将训练数据输入至Bert模型、MacBert模型以及RoBert模型，然后对Bert模型、MacBert模型以及RoBert模型进行平均融合(如处理结果的计算公式，不再赘述)，通过第一注意力处理去处理平均融合结果得到第二问题类型，通过第二注意力处理去处理平均融合结果得到第二属性，通过第三注意力处理去处理平均融合结果得到第二业务实体。
S4、根据第二问题类型以及训练数据计算第一损失，根据第二属性以及训练数据计算第二损失，根据第二业务实体以及训练数据计算第三损失。
具体地，根据第二问题类型以及问题类型的真实标签结合第一损失函数计算第一损失，根据第二属性以及属性的真实标签结合第二损失函数计算第二损失，根据第二业务实体以及业务实体的真实标签结合第三损失函数计算第三损失。需要说明的是，第一损失函数、第二损失函数以及第三损失函数的类型可以根据需要选择，不作具体限定。
S5、根据第一损失以及第一注意力处理的第一权重参数、第二损失以及第二注意力处理的第二权重参数、第三损失以及第三注意力处理的第三权重参数，确定总损失。
具体地，总损失
的计算公式为：/>
其中，
为第i个子学习任务的损失，例如/>
为第一损失，n=3，/>
为第i个子学习任务对应的权重参数，例如/>
为第一权重参数，/>
为第二权重参数，/>
为第三权重参数。
S6、对第一权重参数、第二权重参数以及第三权重参数中的至少之一进行调整并进行训练，直至达到终止条件，得到分类模型。
具体地，不断地动态调整第一权重参数、第二权重参数以及第三权重参数中的至少之一并对分类模型进行训练，直至达到终止条件，得到最终训练完成的分类模型。可选地，终止条件包括训练次数达到迭代次数阈值或者总损失小于或等于损失阈值。需要说明的是，迭代次数阈值以及损失阈值可以根据实际需求设定，大小不作具体限定。本发明实施例中，因为利用总损失衡量整个分类模型，因此仅需要进行一次整体调整而不需要单独调整训练各个模型后构成分类模型，有利于提高训练效率。
需要说明的是，实体识别模型同样可以利用训练数据进行事先训练得到，训练数据进行约束属性、约束值等真实标签的添加。标签的添加时可以利用BIEO标记法，如：10元腾讯视频中，10的标签为“价格”、腾讯视频的标签为“子业务”，10被标记为BE的形式，腾讯视频被标记为BIIE，其他字被标记为O等。
相对于现有技术，本发明实施例的知识图谱的问答推理方法，针对自动问答领域，利用知识图谱和NLP技术搭建问答推理系统，使用了融合模型、注意力机制的多任务分类模型进行训练与预测，并且利用实体识别模型进行训练与预测，能够提高特征识别提取的准确性。同时，目前大部分的知识图谱问题推理都是采用关键词是否存在形式进行实体、关系或属性的抽取，本发明使用NLP技术来预测实体、关系或属性，进而推理出答案，实现了从用户输入问题，到推理出答案的整体自动流程。
本发明实施例还提供一种知识图谱的问答推理装置，包括：
获取模块，用于获取待回答问题；
分类模块，用于通过分类模型对待回答问题进行分类处理，得到第一问题类型、第一属性以及第一业务实体；分类处理包括：通过融合模型对待回答问题进行处理，得到处理结果，根据处理结果以及注意力机制得到第一问题类型、第一属性以及第一业务实体；
处理模块，用于根据处理结果以及实体识别模型，得到约束属性以及约束值；
生成模块，用于根据第一问题类型、第一属性、第一业务实体、约束属性以及约束值，生成搜索语句；
回答模块，用于根据搜索语句从知识图谱中确定目标多元组数据，将目标多元组数据中的回答作为待回答问题的最终回答；目标多元组数据包括实体、属性以及回答。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同，不再赘述。
本发明实施例还提供了另一种知识图谱的问答推理装置，该知识图谱的问答推理装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的知识图谱的问答推理方法。可选地，该知识图谱的问答推理装置包括但不限于手机、平板电脑、电脑及车载电脑等。
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同，不再赘述。
本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的知识图谱的问答推理方法。
本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的知识图谱的问答推理方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于知识图谱的问答推理方法，其特征在于，包括：
获取待回答问题；
通过分类模型对所述待回答问题进行分类处理，得到第一问题类型、第一属性以及第一业务实体；所述分类处理包括：通过融合模型对所述待回答问题进行处理，得到处理结果，根据所述处理结果以及注意力机制得到所述第一问题类型、所述第一属性以及所述第一业务实体；
根据所述处理结果以及实体识别模型，得到约束属性以及约束值；
根据所述第一问题类型、所述第一属性、所述第一业务实体、所述约束属性以及所述约束值，生成搜索语句；
根据所述搜索语句从知识图谱中确定目标多元组数据，将所述目标多元组数据中的回答作为所述待回答问题的最终回答；所述目标多元组数据包括实体、属性以及回答。
2.根据权利要求1所述知识图谱的问答推理方法，其特征在于：所述融合模型包括Bert模型、MacBert模型以及RoBert模型，所述通过融合模型对所述待回答问题进行处理，得到处理结果，包括：
通过所述Bert模型对所述待回答问题进行处理，得到第一结果；
通过所述MacBert模型对所述待回答问题进行处理，得到第二结果；
通过所述RoBert模型对所述待回答问题进行处理，得到第三结果；
计算所述第一结果、所述第二结果以及所述第三结果的平均值，得到处理结果。
3.根据权利要求2所述知识图谱的问答推理方法，其特征在于：所述根据所述处理结果以及注意力机制得到所述第一问题类型、所述第一属性以及所述第一业务实体，包括：
根据所述处理结果通过第一注意力处理，得到所述第一问题类型；
根据所述处理结果通过第二注意力处理，得到所述第一属性；
根据所述处理结果通过第三注意力处理，得到所述第一业务实体。
4.根据权利要求3所述知识图谱的问答推理方法，其特征在于：所述分类模型通过以下步骤得到：
获取训练数据；
将所述训练数据分别输入至Bert模型、MacBert模型以及RoBert模型；
所述Bert模型的输出结果、所述MacBert模型的输出结果以及所述RoBert模型的输出结果进行平均融合，平均融合结果通过第一注意力处理，得到第二问题类型，平均融合结果通过第二注意力处理，得到第二属性，平均融合结果通过第三注意力处理，得到第二业务实体；
根据所述第二问题类型以及所述训练数据计算第一损失，根据所述第二属性以及所述训练数据计算第二损失，根据所述第二业务实体以及所述训练数据计算第三损失；
根据所述第一损失以及所述第一注意力处理的第一权重参数、所述第二损失以及所述第二注意力处理的第二权重参数、所述第三损失以及所述第三注意力处理的第三权重参数，确定总损失；
对所述第一权重参数、所述第二权重参数以及所述第三权重参数中的至少之一进行调整并进行训练，直至达到终止条件，得到所述分类模型；所述终止条件包括训练次数达到迭代次数阈值或者所述总损失小于或等于损失阈值。
5.根据权利要求1所述知识图谱的问答推理方法，其特征在于：所述根据所述第一问题类型、所述第一属性、所述第一业务实体、所述约束属性以及所述约束值，生成搜索语句，包括：
根据所述约束属性以及所述约束值确定所述第一业务实体下的目标实例；
当所述第一问题类型为属性句或者比较句，根据所述目标实例以及所述第一属性生成搜索语句；
或者，当所述第一问题类型为并列句，所述第一属性包括至少一第一子属性以及至少一第二子属性，根据所述目标实例以及所述第一子属性生成第一语句以及根据所述目标实例以及所述第二子属性生成第二语句，所述搜索语句包括所述第一语句以及所述第二语句。
6.根据权利要求5所述知识图谱的问答推理方法，其特征在于：所述根据所述约束属性以及所述约束值确定所述第一业务实体下的目标实例，包括：
当所述约束属性以及所述约束值不为空，从所述第一业务实体下的所有实例中根据所述约束属性以及所述约束值确定匹配的目标实例；
或者，
当所述约束属性以及所述约束值为空，将所述第一业务实体下的所有实例作为目标实例。
7.根据权利要求1-6任一项所述知识图谱的问答推理方法，其特征在于：所述知识图谱通过以下步骤得到：
获取历史业务问答数据；
从所述历史业务问答数据中抽取实体、属性以及回答，形成多元组数据；
根据所述多元组数据构建知识图谱。
8.一种知识图谱的问答推理装置，其特征在于，包括：
获取模块，用于获取待回答问题；
分类模块，用于通过分类模型对所述待回答问题进行分类处理，得到第一问题类型、第一属性以及第一业务实体；所述分类处理包括：通过融合模型对所述待回答问题进行处理，得到处理结果，根据所述处理结果以及注意力机制得到所述第一问题类型、所述第一属性以及所述第一业务实体；
处理模块，用于根据所述处理结果以及实体识别模型，得到约束属性以及约束值；
生成模块，用于根据所述第一问题类型、所述第一属性、所述第一业务实体、所述约束属性以及所述约束值，生成搜索语句；
回答模块，用于根据所述搜索语句从知识图谱中确定目标多元组数据，将所述目标多元组数据中的回答作为所述待回答问题的最终回答；所述目标多元组数据包括实体、属性以及回答。
9.一种知识图谱的问答推理装置，其特征在于：所述知识图谱的问答推理装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7中任一项所述方法。
10.一种计算机可读存储介质，其特征在于：所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310192576.1A CN115858760A (zh) | 2023-03-02 | 2023-03-02 | 一种知识图谱的问答推理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310192576.1A CN115858760A (zh) | 2023-03-02 | 2023-03-02 | 一种知识图谱的问答推理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115858760A true CN115858760A (zh) | 2023-03-28 |
Family
ID=85659751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310192576.1A Pending CN115858760A (zh) | 2023-03-02 | 2023-03-02 | 一种知识图谱的问答推理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115858760A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263324A (zh) * | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
| CN110727779A (zh) * | 2019-10-16 | 2020-01-24 | 信雅达系统工程股份有限公司 | 基于多模型融合的问答方法及系统 |
| CN112532761A (zh) * | 2020-11-23 | 2021-03-19 | 中盈优创资讯科技有限公司 | 一种公网地址自动上报备案的管理方法和装置 |
| CN112989005A (zh) * | 2021-04-16 | 2021-06-18 | 重庆中国三峡博物馆 | 一种基于分阶段查询的知识图谱常识问答方法及系统 |
| CN113096687A (zh) * | 2021-03-30 | 2021-07-09 | 中国建设银行股份有限公司 | 音视频处理方法、装置、计算机设备及存储介质 |
| CN113159149A (zh) * | 2021-04-09 | 2021-07-23 | 广州探迹科技有限公司 | 一种企业办公地址的识别方法及装置 |
| CN113779211A (zh) * | 2021-08-06 | 2021-12-10 | 华中科技大学 | 一种基于自然语言实体关系的智能问答推理方法和系统 |
| CN114092707A (zh) * | 2021-11-18 | 2022-02-25 | 华中师范大学 | 一种图像文本视觉问答方法、系统及存储介质 |
| CN114328943A (zh) * | 2021-11-08 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 基于知识图谱的问题回答方法、装置、设备及存储介质 |
| CN115344698A (zh) * | 2022-08-11 | 2022-11-15 | 腾讯科技（深圳）有限公司 | 标签处理方法、装置、计算机设备、存储介质和程序产品 |
-
2023
- 2023-03-02 CN CN202310192576.1A patent/CN115858760A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263324A (zh) * | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
| CN110727779A (zh) * | 2019-10-16 | 2020-01-24 | 信雅达系统工程股份有限公司 | 基于多模型融合的问答方法及系统 |
| CN112532761A (zh) * | 2020-11-23 | 2021-03-19 | 中盈优创资讯科技有限公司 | 一种公网地址自动上报备案的管理方法和装置 |
| CN113096687A (zh) * | 2021-03-30 | 2021-07-09 | 中国建设银行股份有限公司 | 音视频处理方法、装置、计算机设备及存储介质 |
| CN113159149A (zh) * | 2021-04-09 | 2021-07-23 | 广州探迹科技有限公司 | 一种企业办公地址的识别方法及装置 |
| CN112989005A (zh) * | 2021-04-16 | 2021-06-18 | 重庆中国三峡博物馆 | 一种基于分阶段查询的知识图谱常识问答方法及系统 |
| CN113779211A (zh) * | 2021-08-06 | 2021-12-10 | 华中科技大学 | 一种基于自然语言实体关系的智能问答推理方法和系统 |
| CN114328943A (zh) * | 2021-11-08 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 基于知识图谱的问题回答方法、装置、设备及存储介质 |
| CN114092707A (zh) * | 2021-11-18 | 2022-02-25 | 华中师范大学 | 一种图像文本视觉问答方法、系统及存储介质 |
| CN115344698A (zh) * | 2022-08-11 | 2022-11-15 | 腾讯科技（深圳）有限公司 | 标签处理方法、装置、计算机设备、存储介质和程序产品 |
Non-Patent Citations (1)
| Title |
|---|
| 特斯联SMART: "特斯联普惠AI：自训练学习算法促NLP技术产业落地" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110162749B (zh) | 信息提取方法、装置、计算机设备及计算机可读存储介质 | |
| CN112164391A (zh) | 语句处理方法、装置、电子设备及存储介质 | |
| CN111680147A (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
| CN110598120A (zh) | 基于行为数据的理财推荐方法及装置、设备 | |
| CN111241232A (zh) | 业务服务的处理方法、装置、服务平台及存储介质 | |
| CN112016313A (zh) | 口语化要素识别方法及装置、警情分析系统 | |
| CN110516033A (zh) | 一种计算用户偏好的方法和装置 | |
| CN113032520A (zh) | 信息分析方法及装置、电子设备和计算机可读存储介质 | |
| CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
| CN113486174B (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN113032676B (zh) | 基于微反馈的推荐方法和系统 | |
| CN111489207A (zh) | 基于区块链系统的评价信息写入方法、装置及硬件设备 | |
| CN111813899A (zh) | 基于多轮会话的意图识别方法及装置 | |
| CN115953217A (zh) | 商品评分推荐方法及其装置、设备、介质、产品 | |
| CN115858760A (zh) | 一种知识图谱的问答推理方法、装置及存储介质 | |
| Gupta et al. | Real-time sentiment analysis of tweets: A case study of Punjab elections | |
| CN113496236B (zh) | 用户标签信息确定方法、装置、设备和存储介质 | |
| CN114911940A (zh) | 文本情感识别方法及装置、电子设备、存储介质 | |
| CN113342974B (zh) | 一种网络安全实体重叠关系的识别方法、装置及设备 | |
| CN114492669B (zh) | 关键词推荐模型训练方法、推荐方法和装置、设备、介质 | |
| US20240232754A9 (en) | Multi-layer micro model analytics framework in information processing system | |
| US20240135283A1 (en) | Multi-layer micro model analytics framework in information processing system | |
| CN114398486B (zh) | 一种智能定制获客宣传语的方法和装置 | |
| US11907500B2 (en) | Automated processing and dynamic filtering of content for display | |
| CN115033696A (zh) | 账户诉求的识别方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230328 |
|
| RJ01 | Rejection of invention patent application after publication |