CN107944560A - 一种自然语言语义推理方法 - Google Patents
一种自然语言语义推理方法 Download PDFInfo
- Publication number
- CN107944560A CN107944560A CN201711296575.2A CN201711296575A CN107944560A CN 107944560 A CN107944560 A CN 107944560A CN 201711296575 A CN201711296575 A CN 201711296575A CN 107944560 A CN107944560 A CN 107944560A
- Authority
- CN
- China
- Prior art keywords
- answer
- reasoning
- deep learning
- confidence level
- natural language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开一种自然语言语义推理方法，本方法融合证据推理和深度学习的语义推理方法，根据不同的应用场景，采取不同的融合策略融合两种不同的信息，实现更精确、客户体验更好的语义推理。可有效的避免两类方法各自的缺点并保留其各自的优点，实现更精确的语义推理，对客户的反馈更为准确自然，实现更好的客户体验。
Description
技术领域
本发明涉及人工智能领域，尤其涉及人工智能自然语言语义推理与机器人对话领域，具体的说，是一种自然语言语义推理方法。
背景技术
机器人语义推理可以理解客户的提问，通过特定方式给出合理反馈，是对话系统的核心环节。语义推理首先确定用户意图并提取实体信息，其次根据意图信息和实体信息推理出最合理的答案。当下主要的语义推理方法主要包括两种方法：证据推理和深度学习。
证据推理首先通过索引系统，从海量数据库中定位候选答案，再通过简单的模糊匹配或复杂的Learning to Rank等算法进行排序并得到最适配答案。在语义理解未取得重大突破的大环境下，此种方法以其便于维护、训练简单、答案可调整优化等优点成为商业对话系统的首选方案。证据推理方法的缺点一是需要尽可能穷尽自然语言条件下的各类句式或问法，二是对于知识库内未收录的问题或情形，无法给出答案。
深度学习方法将语言符号映射到向量空间，通过向量表征语义。此方法通过大量数据的训练学习，形成稳定的输入问句向量与输出答句向量的映射关系，形成具有较好泛化能力的推理系统。具体应用时，将用户问句首先转化为问句向量，经过神经网络层层计算，得到答句向量，将答句向量映射为文字，形成最终的答句反馈给用户。此种方法的最大优势是具有较强的理解能力，能够回答知识库中不存在的知识，并对同一问题各类不同的问法具有很强的泛化能力。比如知识库中没有“你确实很帅”这类知识，证据推理自然无法得到答案，深度学习方法经过推理可给出“你也是哈”此类的答案。此方法的缺点是给出的答案不易控制，容易出现出人意料的答案，且答句容易出现语法错误。因此此类方法在商业系统中应用尚不成熟，多以学术研究为主。
考虑到证据推理与深度学习的各自的优缺点，同时考虑具体应用业务，本发明提出了融合证据推理和深度学习的语义推理方法。此发明最大优势是可有效的避免两类方法各自的缺点并保留其各自的优点，实现更精确的语义推理，对客户的反馈更为准确自然，实现更好的客户体验。
发明内容
本发明要解决的技术问题是提供一种自然语言语义推理方法，融合证据推理和深度学习的语义推理方法，根据不同的应用场景，采取不同的融合策略融合两种不同的信息，实现更精确、客户体验更好的语义推理。
为了解决所述技术问题，本发明采用的技术方案是：一种自然语言语义推理方法，包括以下步骤：
S01）、接收用户输入的对话语句，语句经过分词并计算用户意图信息和实体信息集合；
S02）、根据得到的用户意图信息和实体信息集合，通过索引系统，从海量数据库中定位候选答案集合；
S03）、对候选答案集合使用排序算法按照关联度进行排序，得到前N位最佳答案集和置信度集，其中N≥1，置信度集记录了对应答案的可信度；
S04）、将客户对话信息及证据推理过程中得到的中间结果组合形成深度学习框架的输入文字集，将文字集映射到问题向量空间，经过深度学习系统输出答案向量，并将答案向量空间映射到文字空间，最后将此文字片段集合进过语法检查修正，组合成唯一答案，同时得到深度学习系统输出的答案置信度；
S05）、将深度学习系统得到的唯一答案与知识库答案集逐一匹配，选择与其语义最相近的答案，添加到证据推理得到的最佳答案集中；
S06）、将证据推理最佳答案集和深度学习答案通过决策融合算法得到最终反馈信息。
本发明所述自然语言语义推理方法，证据推理最佳答案集和深度学习答案通过串联模式的决策融合算法得到最终反馈信息，证据推理最佳答案集和深度学习答案有先后顺序，一种答案不符合条件时选择另外一种答案。
进一步的，串联模式的决策融合算法实现方式为：首先计算证据推理最佳答案集的最高置信度，若最高置信度大于等于设定阈值，则直接将此置信度对应答案作为最终反馈信息值，否则将深度学习答案作为最终反馈信息值。
本发明所述自然语言语义推理方法，证据推理最佳答案集和深度学习答案通过并联模式的决策融合算法得到最终反馈信息，证据推理最佳答案集合深度学习答案没有先后顺序，通过指标评价算法得到最佳置信答案。
进一步的，并联模式的决策融合算法实现方式为：分别计算推理最佳答案集合深度学习答案的最高置信度，并比较两者的最高置信度，较大的最高置信度对应的答案作为最终反馈信息值。
本发明所述自然语言语义推理方法，证据推理最佳答案集和深度学习答案通过混合模式的决策融合算法得到最终反馈信息，将证据推理最佳答案集和深度学习答案的一个或者多个作为最终反馈信息。
进一步的，混合模式的决策融合算法实现方式为：分别设定阈值Tevid和Tdeep，若证据推理最佳答案集中最优答案置信度大于Tevid，则将此置信度对应答案添加到最终反馈信息值中；若深度学习置信度大于Tdeep，则将此置信度对应的答案添加到最终反馈信息值中。
本发明所述自然语言语义推理方法，用户意图信息指用户的话题范围，实体信息集合指经过计算后得到的关键词信息集合。
本发明所述自然语言语义推理方法，实体信息集合包括关键词集合、关键词词性集合及关键词权重集合。
本发明所述自然语言语义推理方法，中间结果为空或者为用户意图信息和实体信息集合的一种或组合。
本发明的有益效果：本发明将证据推理和深度学习的语义推理方法，但融合证据推理和深度学习的语义推理的方法并不是机械的两类方法的堆砌，而是两种方法的中间结果相互借鉴，相互补充。通过此种方法既考虑了证据推理方法反馈信息可调节控制的优点，又融合了深度学习方法可对知识库内不存在的信息进行发散性反馈的优点，同时又通过融合策略最大限度的避免了两者的缺点，具有很强的实用价值和商用价值。通过总结证据推理和深度学习的优缺点，提出了融合证据推理和深度学习的语义推理方法。此方法可根据不同的应用场景，灵活的选择并联模式、串联模式和混合模式三种融合策略的一种或多种，进而达到最佳的推理结果和客户体验。
具体实施方式
下面结合具体实施例对本发明作进一步的说明。
实施例1
一种自然语言语义推理方法，包括以下步骤：
1）接收用户输入的对话语句Input，语句经过分词并计算用户意图信息Intent和实体信息集合Entity。
其中意图信息Intent指用户的话题范围，如订餐、讲故事、查询天气等。实体信息集合Entity可以是经过计算得到的简单的关键词集合，也可以是关键词信息、词性信息及权重信息，即实体信息集合Entity包括分词集合、分词词性及分词的权重。
2）根据得到的用户意图信息Intent和实体信息集合Entity，通过索引系统，从海量数据库中定位候选答案集合CandiAnswer。此索引系统首先检索直接包含分词信息的知识库条目，对于语义相似的知识库条目也将检索出。比如“办理社保卡”与“申请社保卡”语义相似。
3)对候选答案集合CandiAnswer使用排序算法按照关联度进行排序。得到前N位最佳答案集Answer和置信度集Confid。
其中N≥1，其中排序算法可以是简单的模糊匹配排序，可以是Learning to Rank、SVM等机器学习排序算法。
4）将客户对话信息Input及证据推理过程中得到的中间结果FineInput组合形成深度学习框架的输入文字集Words，将文字集Words映射到问题向量空间，经过深度学习系统输出答案向量，并将答案向量空间映射到文字空间。最后将此文字片段集合进过语法检查修正，组合成唯一答案DeepAnswer。同时得到深度学习系统输出的答案置信度DeepConfid。
其中证据推理过程中得到的中间结果FineInput可为空，也可为用户意图信息Intent和实体信息集合Entity的一种或组合。
其中答案置信度DeepConfid描述了输出答案的可靠性。
5)将深度学习系统得到的唯一答案DeepAnswer与知识库答案集逐一匹配，选择与其语义最相近的答案，添加到证据推理得到的最佳答案集Answer中。
6）对证据推理最佳答案集Answer和深度学习答案DeepAnswer通过决策融合算法得到最终反馈信息BestAnswer。
本实施例中，证据推理最佳答案集Answer和深度学习答案DeepAnswer通过串联模式的决策融合算法得到最终反馈信息BestAnswer。串联模式是指证据推理最佳答案集Answer和深度学习答案DeepAnswer两类答案有先后顺序，一种答案不符合条件时选择另外一种答案。串联模式的一种实现：首先计算证据推理最佳答案集Answer的最高置信度Highconfid，若Highconfid大于等于设定阈值Thresh，则直接将此置信度对应答案作为最终反馈信息BestAnswer值。否则将深度学习得到的答案DeepAnswer作为最终反馈信息BestAnswer值。
本实施例中，深度学习可以采用深度神经网络，也可以采用其他深度学习方法。
实施例2
本实施例中，证据推理最佳答案集Answer和深度学习答案DeepAnswer通过并联模式的决策融合算法得到最终反馈信息BestAnswer。并联模式是指证据推理最佳答案集Answer和深度学习答案DeepAnswer两类答案没有先后顺序，通过指标评价算法得到最优置信答案。并联模式的一种最简实现：并根据推理最佳答案集Answer和深度学习答案DeepAnswer，计算最高置信度，将对应的答案作为最终BestAnswer值。其他同实施例1相同，此处不再赘述。
实施例3
本实施例中，证据推理最佳答案集Answer和深度学习答案DeepAnswer通过混合模式的决策融合算法得到最终反馈信息BestAnswer。混合模式是指对证据推理最佳答案集Answer和深度学习答案DeepAnswer两类答案的一个或者多个作为最终的BestAnswer值。混合模式的一种实现：分别设定阈值Tevid和Tdeep，若Answer中最优答案置信度大于Tevid，则将此置信度对应答案添加到BestAnswer中；若DeepAnswer置信度大于Tdeep，则将此置信度对应的答案添加到BestAnswer中。此时BestAnswer有可能存在多个答案。可将此结果直接反馈给客户。其他同实施例1相同，此处不再赘述。
实施例1、实施例2、实施例3中的设定阈值可根据不同的应用场景灵活调整。
由以上描述可知，融合证据推理和深度学习的语义推理的方法并不是机械的两类方法的堆砌，而是两种方法的中间结果相互借鉴，相互补充。通过此种方法既考虑了证据推理方法反馈信息可调节控制的优点，又融合了深度学习方法可对知识库内不存在的信息进行发散性反馈的优点，同时又通过融合策略最大限度的避免了两者的缺点，具有很强的实用价值和商用价值。
本方法可应用于银行、社保、公安等需要业务咨询兼具娱乐聊天功能的场合。对于用户的提问，首先判断用户意图，若是具体的业务问题，可主要采用证据推理方法给出最终反馈；若是娱乐聊天，可采用证据推理与深度学习相结合的办法得到答案。此发明描述的语义推理机制应用于某社保服务机器人对话系统，取得了较好的交互体验。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。
Claims (10)
1.一种自然语言语义推理方法，其特征在于：包括以下步骤：
S01）、接收用户输入的对话语句，语句经过分词并计算用户意图信息和实体信息集合；
S02）、根据得到的用户意图信息和实体信息集合，通过索引系统，从海量数据库中定位候选答案集合；
S03）、对候选答案集合使用排序算法按照关联度进行排序，得到前N位最佳答案集和置信度集，其中N≥1，置信度集记录了对应答案的可信度；
S04）、将客户对话信息及证据推理过程中得到的中间结果组合形成深度学习框架的输入文字集，将文字集映射到问题向量空间，经过深度学习系统输出答案向量，并将答案向量空间映射到文字空间，最后将此文字片段集合进过语法检查修正，组合成唯一答案，同时得到深度学习系统输出的答案置信度；
S05）、将深度学习系统得到的唯一答案与知识库答案集逐一匹配，选择与其语义最相近的答案，添加到证据推理得到的最佳答案集中；
S06）、将证据推理最佳答案集和深度学习答案通过决策融合算法得到最终反馈信息。
2.根据权利要求1所述的自然语言语义推理方法，其特征在于：证据推理最佳答案集和深度学习答案通过串联模式的决策融合算法得到最终反馈信息，证据推理最佳答案集和深度学习答案有先后顺序，一种答案不符合条件时选择另外一种答案。
3.根据权利要求2所述的自然语言语义推理方法，其特征在于：串联模式的决策融合算法实现方式为：首先计算证据推理最佳答案集的最高置信度，若最高置信度大于等于设定阈值，则直接将此置信度对应答案作为最终反馈信息值，否则将深度学习答案作为最终反馈信息值。
4.根据权利要求1所述的自然语言语义推理方法，其特征在于：证据推理最佳答案集和深度学习答案通过并联模式的决策融合算法得到最终反馈信息，证据推理最佳答案集合深度学习答案没有先后顺序，通过指标评价算法得到最佳置信答案。
5.根据权利要求4所述的自然语言语义推理方法，其特征在于：并联模式的决策融合算法实现方式为：分别计算推理最佳答案集合深度学习答案的最高置信度，并比较两者的最高置信度，较大的最高置信度对应的答案作为最终反馈信息值。
6.根据权利要求1所述的自然语言语义推理方法，其特征在于：证据推理最佳答案集和深度学习答案通过混合模式的决策融合算法得到最终反馈信息，将证据推理最佳答案集和深度学习答案的一个或者多个作为最终反馈信息。
7.根据权利要求6所述的自然语言语义推理方法，其特征在于：混合模式的决策融合算法实现方式为：分别设定阈值Tevid和Tdeep，若证据推理最佳答案集中最优答案置信度大于Tevid，则将此置信度对应答案添加到最终反馈信息值中；若深度学习置信度大于Tdeep，则将此置信度对应的答案添加到最终反馈信息值中。
8.根据权利要求1所述的自然语言语义推理方法，其特征在于：用户意图信息指用户的话题范围，实体信息集合指经过计算后得到的关键词信息集合。
9.根据权利要求8所述的自然语言语义推理方法，其特征在于：实体信息集合包括关键词集合、关键词词性集合及关键词权重集合。
10.根据权利要求1所述的自然语言语义推理方法，其特征在于：中间结果为空或者为用户意图信息和实体信息集合的一种或组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711296575.2A CN107944560B (zh) | 2017-12-08 | 2017-12-08 | 一种自然语言语义推理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711296575.2A CN107944560B (zh) | 2017-12-08 | 2017-12-08 | 一种自然语言语义推理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107944560A true CN107944560A (zh) | 2018-04-20 |
| CN107944560B CN107944560B (zh) | 2018-12-25 |
Family
ID=61946307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711296575.2A Active CN107944560B (zh) | 2017-12-08 | 2017-12-08 | 一种自然语言语义推理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107944560B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033229A (zh) * | 2018-06-29 | 2018-12-18 | 北京百度网讯科技有限公司 | 问答处理方法和装置 |
| CN109063840A (zh) * | 2018-07-10 | 2018-12-21 | 广州极天信息技术股份有限公司 | 一种交互式动态推理方法及装置 |
| CN109388802A (zh) * | 2018-10-11 | 2019-02-26 | 北京轮子科技有限公司 | 一种基于深度学习的语义理解方法和装置 |
| CN110688478A (zh) * | 2019-09-29 | 2020-01-14 | 腾讯科技（深圳）有限公司 | 一种答案排序方法、装置及存储介质 |
| CN113742462A (zh) * | 2020-07-20 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种答案监控方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9262409B2 (en) * | 2008-08-06 | 2016-02-16 | Abbyy Infopoisk Llc | Translation of a selected text fragment of a screen |
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN106383835A (zh) * | 2016-08-29 | 2017-02-08 | 华东师范大学 | 一种基于形式语义推理和深度学习的自然语言知识挖掘系统 |
-
2017
- 2017-12-08 CN CN201711296575.2A patent/CN107944560B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9262409B2 (en) * | 2008-08-06 | 2016-02-16 | Abbyy Infopoisk Llc | Translation of a selected text fragment of a screen |
| CN106383835A (zh) * | 2016-08-29 | 2017-02-08 | 华东师范大学 | 一种基于形式语义推理和深度学习的自然语言知识挖掘系统 |
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033229A (zh) * | 2018-06-29 | 2018-12-18 | 北京百度网讯科技有限公司 | 问答处理方法和装置 |
| CN109063840A (zh) * | 2018-07-10 | 2018-12-21 | 广州极天信息技术股份有限公司 | 一种交互式动态推理方法及装置 |
| CN109388802A (zh) * | 2018-10-11 | 2019-02-26 | 北京轮子科技有限公司 | 一种基于深度学习的语义理解方法和装置 |
| CN109388802B (zh) * | 2018-10-11 | 2022-11-25 | 北京轮子科技有限公司 | 一种基于深度学习的语义理解方法和装置 |
| CN110688478A (zh) * | 2019-09-29 | 2020-01-14 | 腾讯科技（深圳）有限公司 | 一种答案排序方法、装置及存储介质 |
| CN110688478B (zh) * | 2019-09-29 | 2021-11-30 | 腾讯科技（深圳）有限公司 | 一种答案排序方法、装置及存储介质 |
| CN113742462A (zh) * | 2020-07-20 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种答案监控方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107944560B (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944560B (zh) | 一种自然语言语义推理方法 | |
| Lee et al. | An intelligent fuzzy agent for meeting scheduling decision support system | |
| CN110795571B (zh) | 基于深度学习和知识图谱的文化旅游资源推荐方法 | |
| CN108351986A (zh) | 学习系统、学习装置、学习方法、学习程序、训练数据生成装置、训练数据生成方法、训练数据生成程序、终端装置以及阈值变更装置 | |
| CN107038159A (zh) | 一种基于无监督领域自适应的神经网络机器翻译方法 | |
| CN109299386A (zh) | 一种家具行业设计师资源智能检索匹配方法和系统 | |
| CN114677200B (zh) | 基于多方高维数据纵向联邦学习的商业信息推荐方法及装置 | |
| CN106303113B (zh) | 一种分流方法和设备 | |
| CN106649550A (zh) | 一种基于代价敏感学习的联合知识嵌入方法 | |
| CN108595609A (zh) | 基于人物ip的机器人回复生成方法、系统、介质及设备 | |
| CN110019753A (zh) | 针对用户问句输出反问问句的方法和装置 | |
| CN112115242A (zh) | 一种基于朴素贝叶斯分类算法的智能客服问答系统 | |
| Zhao et al. | A reduction algorithm meeting users’ requirements | |
| CN110838014A (zh) | 在线客服系统中人工智能路由策略 | |
| KR20210079203A (ko) | 다계층 지식베이스 시스템 및 그의 처리 방법 | |
| Meenakshi et al. | Application of neutrosophic optimal network using operations | |
| Hu et al. | Leveraging sub-class discimination for compositional zero-shot learning | |
| Blaylock et al. | Recognizing instantiated goals using statistical methods | |
| Freeman et al. | Online proactive escalation in multi-modal automated assistants | |
| CN117216223A (zh) | 对话文本的生成方法和装置、存储介质及电子设备 | |
| Gu et al. | A knowledge-intensive method for conversational CBR | |
| Yang et al. | Bayesian modelling for human error probability analysis in CREAM | |
| WO2023029189A1 (zh) | 面向dikw内容的意图驱动交互填表方法 | |
| Zhou et al. | Representation and reasoning under uncertainty in deception detection: A neuro-fuzzy approach | |
| Ayouni et al. | A hybrid fuzzy DEMATEL-AHP/VIKOR method for LMS selection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |