CN110209793A - 一种用于智能识别文本语义的方法 - Google Patents

Abstract

本发明涉及自然语言处理技术领域，具体涉及用于智能识别文本语义的方法，包括步骤：对用户输入文本进行标准化处理；对输入文本进行正则的匹配识别，对满足相似度及命中规则的输入文本，直接做出响应，并替换为模型匹配更易识别的文本；构建任务场景流程，在任务型的多轮对话场景中，基于已经构建的任务场景流程，结合历史输入数据和当前输入数据进行场景流程的意图识别；模型匹配，根据句子间的语义注意力权重，实现局部推断，进一步实现全局推断，精准识别客户意图，从知识中挖掘问题答案。该方法区分文本的语义意图从而分发给相应业务引擎或处理模块，结合上下文语境及场景自动识别语义，并通过规则处理，提升识别的准确率及效率。

Description

一种用于智能识别文本语义的方法

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种用于智能识别文本语义的方法。

背景技术

客服机器人是一个比较复杂的对话系统，可以由多个处理不同任务的模块组成。其中，最为核心的就是语义中控，即理解用户想要表达什么意思，确定由机器人的哪个模块进行输出。

现有的客服机器人大多缺少行之有效的语义中控，能力比较单一，往往只能对用户的问答型或闲聊型对话做出响应，而对于任务型的对话则需要人工服务来满足用户需求；或者在不同模块间的协调上表现不佳，难以捕捉用户真正的意图，进而无法满足用户的实际需求。

智能语义中控以客服机器人的实际应用场景出发，基于对过往用户交互数据分析，归纳提炼出的应用模块，从而根据用户当前问句和该通会话中的历史交互数据，智能决策当前问题该由机器人的哪个模块进行回答，可改善客服机器人能力单一、无法满足用户切实需求的现状。

发明内容

为了解决现有技术所存在的问题，本发明提供一种用于智能识别文本语义的方法，该方法区分文本的语义意图从而分发给相应业务引擎或相应处理模块，在文本分析过程中结合上下文语境及场景自动识别语义，并通过一些规则的处理，从而提升识别的准确率及识别效率。

本发明采用如下技术方案来实现：一种用于智能识别文本语义的方法，包括以下步骤：

S1、对用户输入文本进行标准化处理；

S2、对输入文本进行正则的匹配识别，对满足相似度及命中规则的输入文本，直接做出响应，并替换为模型匹配更易识别的文本；

S3、构建任务场景流程，在任务型的多轮对话场景中，基于已经构建的任务场景流程，结合历史输入数据和当前输入数据进行场景流程的意图识别；

S4、模型匹配，根据句子间的语义注意力权重，实现局部推断，进一步实现全局推断，精准识别客户意图，并从知识中挖掘问题答案。

在优选的实施例中，步骤S2通过强规则匹配对输入文本进行正则的匹配识别；将常见的话语及容易引起歧义的话语进行集合，然后加入强规则的知识库中；在强规则的知识库中，把多种不同的表述映射为统一的语义，然后再从强规则的知识库中找到相应的知识进行响应；根据语义情况，使用强正则或者弱正则方式进行匹配处理。强规则的知识库整体上呈现一个树状结构，每个知识节点有相应的节点id、响应文本以及要匹中的正则表达式规定。

在优选的实施例中，步骤S3中场景流程为任务型的多轮对话；在任务型的多轮对话中，基于已经构建的任务场景流程，结合用户的历史输入数据和当前输入数据进行场景意图识别，推断场景流程中符合用户预期的下一个流程，以此不断递进，完成对用户输入数据的决策，得到下一步应当采取的最佳动作。

基于本发明智能识别文本语义的方法，从规则匹配到模型匹配，使识别过程可配置，可持续优化，系统结构可灵活变化，性能更突出；解决了以往单匹配方式的识别过程不能灵活调整，识别准确率及性能受限的问题。本发明与现有技术相比，主要有如下优点及有益效果：

一、提高了对用户问题的识别能力。随着网络信息时代的发展，在与人机的交互过程中，用户的提问往往复杂多变，对同一个问题的描述也可能存在多样性的表达。这样一来，传统的QA由于以用户问的字面意思为导向，缺乏对用户问的深层语义进行挖掘，导致所提供的答案往往达不到用户的预期，甚至答非所问，难以猜出用户所想，答用户所问。在智能语义中控的标准化支撑下，可以排除用户问题中无关信息的干扰，精准识别用户意图，为用户提供符合期望的答案，真正回答用户提问。

二、对用户话语进行正则表达式的识别。相较于FAQ引擎等神经网络模型，其特点之一便是识别速度更快。对于部分网络模型不能识别或是有歧义的话语，则可以在这层进行一个正则规则的识别，这点体现出了准确性。对于某些FAQ引擎尚未训练到的语义，可在这层先通过手工配置正则规则，来取得识别效果，这点体现了它的快捷、方便。而另一方面，可以对某些同一语义但不同表述的话语先进性一个标准的语义转换，然后再传给FAQ引擎识别，提高FAQ引擎识别的准确率。

三、赋予了QA解决用户任务型对话的能力。在现有的对话机器人中，由于对话能力的限制，大多只能对用户的问答型、闲聊型对话做出响应，而对于那些现实业务中常常出现，较为复杂却也更为用户所需要的任务型对话，则无法很好做出应答；从而制约了对话机器人满足用户实际需求的能力，降低了用户使用对话机器人的欲望。而在智能语义中控的任务场景支撑下，任务型的多轮对话能够被高度抽象出其中基本元素，使其成为所有对话构建的基石；在此基础上可以自由搭建对话场景，配置意图及实体，例如可以建立由经验丰富业务员所梳理得出的业务场景，结合实际业务需求为用户提供任务型对话服务。通过这种方式，在符合实际业务场景的基础上，为对话机器人提供解决用户任务型对话的能力，提高了对话机器人的对话能力。

四、按传统的方式，如果直接将用户提问文本作为该模型的输入，那么准确率可能会较低。在文本输入前，本发明对其进行去标点符号等清洗工作，并将部分语义进行转换，提高模型的准确率。并且，对得到的结果，根据返回的知识类型不一样，会进一步的控制调整，如精准的返回一个答案，或是返回三个较相似的答案，或者无回复时的兜底处理。此外，该中控按渠道分配控制多个FAQ问答引擎。

附图说明

图1是本发明智能语义识别方法的实现流程图。

图2是本发明智能语义识别方法的场景流程图。

图3是ELSTM算法流程图。

图4为bi-lstm模型结构图。

具体实施方式

下面将结合流程图，对本发明作进一步描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

实现本发明智能识别文本语义的方法，如图1、2，包括如下步骤：

S1、对用户输入文本进行标准化处理。通过对歧义词、同义词、指代词、特殊字符配置，以及字符全半角、大小写选择性配置，对文本按配置进行处理，对停用词进行过滤，剔除掉用户输入文本中无显著意义的词语。

标准化处理具体包括两个部分：文本预处理和实体识别。文本预处理主要分为文本清洗和文本去噪。其中，文本清洗有以下几个步骤：全半角转换、大小写转换、消歧处理及指代信息替换，对用户输入文本进行清洗后，能够统一标准化流程，有利于后续的文本去噪和实体识别工作的开展。文本去噪主要是对停用词进行过滤，剔除掉用户输入文本中无显著意义的词语，如语气助词、副词等虚词及高频词语，以消除这些无意义词对后续识别所带来的干扰。实体作为文本的基本单位，包含着大量的语义信息，实体识别能够准确的提取到实体信息，并以此方便快捷的获得用户输入文本的信息，并为用到该信息的后续步骤提供方便，如场景流程。

对用户输入文本的标准化，能够有效规整文本，在保留语义信息的基础上形成一个统一的范式，为后续智能语义中控流程的处理带来便利；同时，通过建立词库，对新发现的特殊字符、歧义词等进行实时同步，以持续优化文本标准化的效果。

S2、通过强规则匹配(rule match)对输入文本进行正则的匹配识别。通过强规则文本配置、相似度配置，对满足相似度及命中规则的输入文本，直接做出响应，并替换为模型匹配更易识别的文本。

由于只用正则表达式对话语进行识别，故响应速度会比较快。可以对常见的话语，以及容易引起歧义的话语等进行集合，然后加入强规则的知识库中。该知识库整体上呈现一个树状结构，每个知识节点有相应的节点id、响应文本以及要匹中的正则表达式规定。根据语义情况，可以使用强正则或者弱正则方式进行匹配处理。强正则便是严格匹配文本，规定必须完全匹中等；弱正则便是不严格匹配，只要文本包含相关关键字便可。在此知识库中，可以把多种不同的表述映射为统一的语义，然后再从知识库中找到相应的知识进行响应。

强规则匹配的另一个作用便是，为后面的FAQ问答引擎提供语义转换。在强规则转换层进行语义转换，然后再将转换后的文本传入FAQ问答引擎中，便可提高FAQ引擎识别的准确率。

S3、构建任务场景流程，在任务型的多轮对话场景中，对话机器人基于已经构建的任务场景流程，结合历史输入数据和当前输入数据进行场景流程的意图识别。

场景流程的本质是任务型的多轮对话。在多轮对话中，用户带着明确需求而来，希望得到相应的服务，这样用户与对话机器人的交互往往需要分多轮进行陈述，用户也可能在对话过程中不断修改或完善自己的需求。此外，当用户所陈述的需求不够具体或明确时，对话机器人也可以通过询问、澄清或确认来帮助用户得到满意的结果。因此，任务型的多轮对话不是一个简单的自然语言理解加信息检索的过程，而是一个决策过程，即在任务型的多轮对话中，对话机器人基于已经构建的任务场景流程，结合用户的历史输入数据和当前输入数据进行场景意图识别，推断场景流程中符合用户预期的下一个流程，以此不断递进，完成对用户输入数据的决策，得到下一步应当采取的最佳动作。用户交互过程中，通过业务场景流程的配置来决策下一步进行的动作。为了支撑智能语义中控任务场景流程的实现，所构建的任务场景流程包括三个组成部分：意图、实体和节点。

其中，节点是构成场景流程的基本元素，每个节点之间通过意图进行连接，当用户的输入符合节点配置的意图时，对话就会向场景流程的下一个节点进行推进，而每个节点的推进，也就相当于多轮对话向下一轮的对话进行了移动。为了界定完成用户需求和引导用户陈述需求的不同，场景流程的节点分为以下三种：触发节点、回复节点、函数节点。触发节点，即某个具体场景流程的起始节点，配置的意图即为触发意图。当用户的输入满足该节点配置的触发意图时，就能顺利的触发该节点，从而进入相应配置的场景流程中。函数节点是对用户需求进行函数处理，得到用户需求结果的节点，采用内置函数或调用外部接口的形式来实现用户具体的某项需求。回复节点主要用来设置对话机器人与用户交互时所应答的内容，通过html标签设置，丰富对话机器人与用户的交互形式。

实体是场景流程中用户在陈述某些需求时的必要组成元素，可以配置在意图中。场景流程中的实体可以通过以下方式得到：正则表达式匹配、名词列表枚举设置。对话机器人在与用户的多轮交互中，通过相关话术引导用户陈述出这些实体，以帮助对话机器人满足用户需求。

意图是推动多轮任务型对话进行的关键，只有当用户的询问符合相应的意图时，用户与对话机器人的交互才会开展场景流程中的下一轮对话，引导用户阐述其需求的具体内容和信息，并最终满足用户的需求。类似于节点在功能上的区分，意图有以下三种：触发意图、节点意图和全局意图。触发意图即进入场景流程的触发条件，当用户输入符合触发意图时，就会进入对应的场景流程。节点意图是场景流程中各节点间的连通路径，当用户输入满足节点意图时，场景流程随即进入下一个节点，即与用户进入下一轮的对话。全局意图，是作为进入场景流程的全局设置，当用户输入满足全局意图时，场景流程会立即跳转到配置了该全局意图的节点，完成与用户的交互。

场景流程的意图识别通过两种方式实现：LGF语法匹配和基于词向量的相似度匹配。LGF语法可以理解为一种简化版的正则表达式，在满足基本的匹配能力基础上，精简了正则语法的规则，编写上简单、直观，可读性好，从而简化了场景流程的搭建。基于词向量的相似度匹配，通过神经网络为每个在词语词典中的词语初始化一个确定维的初始向量，通过不断抽取语料进行训练，神经网络根据噪声对比损失函数，不断最小化损失函数，从而生成词语词典中各个词语的最优向量，最后生成标准化处理后的用户文本与所配置的意图语句的向量，并计算余弦相似度，大于阈值则判断匹配成功。

此外，本步骤还可建立输入回溯机制，以查看用户输入及其所触发的意图，以此进一步分析是否发生误触发，或还有哪些常见问法没有触发相应的意图。通过输入回溯机制，不断迭代优化场景流程识别用户输入的能力。

S4、模型匹配

为了能更精准识别用户意图，本发明设计了一种加强版的LSTM层：ELSTM层，用于理解句子的深层语义，通过在LSTM层的基础上加上attention层，能够根据句子间的语义注意力权重，实现局部推断，进一步实现全局推断，精准识别客户意图，并迅速从知识中挖掘问题答案。ELSTM层包括三层，分别为：输入编码层(Input Encoding)、局部推理层(LocalInference Modeling)、推理合成层(Inference Composition)。完整的ELSTM算法流程如图3所示。

输入编码层对输入的两个语句进行语法分析，然后将词嵌入分别输入bi-lstm模型结构和tree-LSTM模型结构中，得到词语的新的编码表示。将词嵌入输入bi-lstm模型结构中是为了能够从不同的维度去学习如何表示一句话中的词语和上下文信息，输入到tree-LSTM模型结构中可以结合bi-lstm模型结构的输出并将链式lstm结构拓展到递归网络结构，也可以理解成word embedding之后，在当前的语境下重新编码，得到新的嵌入(embeding)向量，获得更深层次的语义信息。其中，bi-lstm模型结构如图4所示。bi-lstm模型是包括t时刻的输入x_t、隐层状态h_t、细胞状态C_t、临时细胞状态遗忘门f_t、输入门i_t及输出门o_t。由bi-lstm模型结构图可知，其主要四个部分为：

输入门i_t：

输出门o_t：

遗忘门f_t：

细胞状态C_t：

最终，可以得到t时刻的输出隐藏状态：

h_t＝o_t·tanh(C_t)

局部推理层用于完成句子的局部推断。要完成句子间的局部推断，需要把两个句子的子部分做一定程度的对齐，本发明采用的对齐方式为软对齐，即soft alignattention。首先计算两个句子word之间的相似度，得到2维相似度矩阵。然后基于要匹配的两个句子，互相生成彼此相似性加权后的句子，维度保持不变，然后对于问题句子，计算该句子和对齐之后的句子的差和点积，实现句子的局部推理。

推理合成层基于局部推理层的结果，结合输入编码层中bi-lstm模型结构得到的上下文信息，同时使用MaxPooling和AvgPooling进行池化操作,然后接一个全连接层，实现句子的全局推理过程。

本实施例对话机器人可采用智能语义中控来实现，在运用强规则转换层进行正则匹配识别、场景应答和FAQ问答交互时，示例如下：

一、rule match应答。对在用户界面中输入已指定为rule match的数据，智能语义中控在已配置在rule match中的正则表达式进行匹配，检索并返回预设的答案，并记录下该次交互的数据，留作后续分析。

rule match分析节点的交互示例如下：

用户输入“账单查询”后，通过正则匹配，智能语义中控判断该输入数据为rulematch后，检索并返回预设的答案，并将其在图形界面中展示出来；智能语义中控输出：“账单查询，请点我查看详情”。

二、场景流程应答。在用户界面中输入能够触发场景流程的数据，智能语义中控依据内置的算法匹配到相应的流程，以此输出该节点的返回数据。如果继续输入符合下一场景流程节点的数据，智能语义中控延续该场景流程，并输出对应的数据。

场景流程分析节点的交互示例如下：

用户输入“我想出国旅游”后，通过意图识别，智能语义中控判断该输入数据为场景流程后，根据场景流程的配置和用户当前的输入、输出并进一步咨询用户：“亲可以告诉要去哪里吗？您也可以直接输入地名，例如：台湾”；

如果用户继续输入某一地名：“香港”，智能语义中控则会结合用户历史输入和当前输入，输出：“亲，请您选择去香港的出发和返回日期”；当用户输入日期后，同上一步的处理方式，智能语义中控会继续依据已构建的场景流程，输出相应的应答结果。

三、FAQ分析节点的交互示例如下：

用户输入“打开网页速度慢的处理方法”，智能语义中控判断该输入数据为FAQ后，匹配到该问题对应的知识点，并将其在图形界面中展示出来。

智能语义中控输出：

“宽带打开网页速度慢的处理方法：

1、打开IE浏览器点击“工具”->“Internet选项”->“常规”->“删除文件”->删除cookie和临时文件。

2、点击“连接”->“局域网设置”->“自动配置”里都不打钩。

3、然后点击“高级”->点击“恢复默认设置”->“确定””。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种用于智能识别文本语义的方法，其特征在于，包括以下步骤：

S1、对用户输入文本进行标准化处理；

S2、对输入文本进行正则的匹配识别，对满足相似度及命中规则的输入文本，直接做出响应，并替换为模型匹配更易识别的文本；

S3、构建任务场景流程，在任务型的多轮对话场景中，基于已经构建的任务场景流程，结合历史输入数据和当前输入数据进行场景流程的意图识别；

S4、模型匹配，根据句子间的语义注意力权重，实现局部推断，进一步实现全局推断，精准识别客户意图，并从知识中挖掘问题答案。

2.根据权利要求1所述的用于智能识别文本语义的方法，其特征在于，步骤S2通过强规则匹配对输入文本进行正则的匹配识别。

3.根据权利要求2所述的用于智能识别文本语义的方法，其特征在于，步骤S2将常见的话语及容易引起歧义的话语进行集合，然后加入强规则的知识库中；在强规则的知识库中，把多种不同的表述映射为统一的语义，然后再从强规则的知识库中找到相应的知识进行响应；根据语义情况，使用强正则或者弱正则方式进行匹配处理。

4.根据权利要求3所述的用于智能识别文本语义的方法，其特征在于，所述强规则的知识库整体上呈现一个树状结构，每个知识节点有相应的节点id、响应文本以及要匹中的正则表达式规定。

5.根据权利要求1所述的用于智能识别文本语义的方法，其特征在于，步骤S3中场景流程为任务型的多轮对话；在任务型的多轮对话中，基于已经构建的任务场景流程，结合用户的历史输入数据和当前输入数据进行场景意图识别，推断场景流程中符合用户预期的下一个流程，以此不断递进，完成对用户输入数据的决策，得到下一步应当采取的最佳动作。

6.根据权利要求5所述的用于智能识别文本语义的方法，其特征在于，步骤S3所构建的任务场景流程包括意图、实体和节点；

节点是构成场景流程的基本元素，每个节点之间通过意图进行连接，当用户的输入符合节点配置的意图时，对话向场景流程的下一个节点进行推进，而每个节点的推进，相当于多轮对话向下一轮的对话进行了移动；

实体是场景流程中用户在陈述某些需求时的必要组成元素，配置在意图中；

意图是推动多轮对话进行的关键，只有当用户的询问符合相应的意图时，才会开展场景流程中的下一轮对话，引导用户阐述其需求的具体内容和信息，并最终满足用户的需求。

7.根据权利要求1所述的用于智能识别文本语义的方法，其特征在于，步骤S4中采用ELSTM层进行精准识别客户意图，ELSTM层包括输入编码层、局部推理层和推理合成层；

输入编码层对输入的两个语句进行语法分析，然后将词嵌入分别输入bi-lstm模型结构和tree-LSTM模型结构中，得到词语的新的编码表示；

局部推理层用于完成句子的局部推断；

推理合成层基于局部推理层的结果，结合输入编码层中bi-lstm模型结构得到的上下文信息，并进行池化操作,然后接一个全连接层，实现句子的全局推理过程。

8.根据权利要求7所述的用于智能识别文本语义的方法，其特征在于，所述池化操作同时使用MaxPooling和AvgPooling进行。

9.根据权利要求7所述的用于智能识别文本语义的方法，其特征在于，输入编码层中，将词嵌入输入bi-lstm模型结构中以从不同的维度去学习如何表示一句话中的词语和上下文信息；输入到tree-LSTM模型结构中以结合bi-lstm模型结构的输出并将链式lstm结构拓展到递归网络结构。