CN109493166A - 一种针对电子商务导购场景任务型对话系统的构建方法 - Google Patents

Abstract

本发明是一种针对电子商务导购场景任务型对话系统的构建方法：1.将用户当轮输入的语句结合历史状态，进行意图识别和属性标注，判断用户该轮输入的意图和属性；冷启动阶段，用标准词表结合预训练的词向量模型，构建基于规则的自然语言处理模型；通过标注工具积累数据，训练基于循环神经网络和条件随机场的自然语言理解模型；2.基于意图和属性，对话管理模块根据需要会访问商品数据库，并决定回复策略；3.基于步骤2决定的回复策略和预先配置好的回复话术模板，生成回复用户的语句。本发明使用基于规则模型和循环神经网络模型的方案，设计了自然语言理解的实现方法，匹配系统迭代时会遇到的不同问题，可显著降低任务型对话系统的构建难度。

Description

一种针对电子商务导购场景任务型对话系统的构建方法

技术领域

本发明涉及一种针对电子商务导购场景任务型对话系统的构建方法，属于人机交互领域。

背景技术

电子商务服务，为用户与商品之间建立了广泛而富有价值的连接。构建智能导购系统可以基于这种连接，在海量商品中，便捷、快速、准确的找到真正适合于用户的商品。智能导购系统的功能是通过自然语言模拟人类进行对话，以实现向终端消费者推荐符合用户需求的个性化产品的目标。在构建目标驱动的聊天机器人时，往往面临企业产品数据庞大，用户表述复杂多样，产品属性与用户表述不匹配等多种困难。同时，任务型对话系统模型的训练和建立一般都需要大量的人工标注数据作为基础。

在导购场景任务型对话系统的构建过程中，根据进行阶段的不同，面临着不同程度的困难。在冷启动阶段，标注数据量少，难以支持深度学习模型的训练。而在垂直领域，商家往往整理有各个层次的标准词表和品类间的关系知识。在研究领域，任务型对话进行导购任务一般针对垂直领域数据集，包括订购酒店，订购机票，订购餐馆等任务。这些任务相对一般的商品导购任务，商品品类少，用户意图明确，用户输入一般清晰准确。而在电子商务场景下，平台一般售卖大量商品品类，品类间差别大，在售前导购场景下用户意图不明确，往往还没有形成准确的购买意向。因此，现在电子商务场景下，传统的任务型对话系统构建方法往往少有构建经验；电子商务领域现在的对话系统一般只采用检索式方法，对用户输入找到合适的回复进行回答。

发明内容

本发明技术解决问题：针对电子商务导购场景提供了一种任务型对话系统的构建方法。在电子商务场景下，用户对话意图复杂，缺少标注语料，维护成本较高；为此整个系统包括自然语言理解模块、对话管理模块和回复生成模块，必要时与电子商务系统的数据库模块进行对接，各模块实现解耦，易于维护。在冷启动阶段使用基于规则的模型进行自然语言理解；积累一定的标注数据后使用深度学习模型进行自然语言理解。

本发明技术解决方案：一种针对电子商务导购场景任务型对话系统的构建方法，包括以下步骤：自然语言理解，对话管理和状态跟踪，以及生成回复；其中：

S1.自然语言理解，将用户当轮输入的语句结合历史状态，进行意图识别和属性标注，判断用户该轮输入的意图，和提及的重要属性。在冷启动阶段，利用标准词表结合预训练的词向量模型，构建基于规则的自然语言处理模型；之后通过标注工具积累数据，训练基于循环神经网络和条件随机场的自然语言理解模型。

S2.对话管理和状态跟踪，基于步骤S1识别的意图和属性，维护对话状态，同时，对话管理模块根据需要会访问商品数据库，并根据当前对话状态决定回复策略。所述的对话状态包括用户历史意图，提及属性，上一推荐商品等。

S3.回复生成，基于步骤S2决定的回复策略和预先配置好的回复话术模板，生成回复用户的语句。

进一步的，步骤S1自然语言理解，具体包括以下子步骤；

S1.1意图组划分和意图判定

为了减小模型识别用户意图的难度，我们将用户意图拆解为多个互斥的意图组，分别使用模型进行分类。划分的意图组包括基础意图组，询问类型组，询问对象组和特殊意图组。根据特定电子商务场景的需求，还可以添加其他互斥的意图组。模型对于用户单轮输入，在每个意图组上进行分类，使用所有意图组的分类结果表示判定的用户意图。

S1.2冷启动阶段使用基于规则属性的抽取模型：

S1.2.1使用电子商务业务方的标准词表和词向量模型构建基于规则的属性抽取模型。首先整理电子商务业务方的标准词表，此词表包含商品品类的标准称呼，商品属性的标准称呼，商品属性的标准取值范围。然后在开放语料上训练词向量模型，对余弦值接近标准词表中的词进行人工标注，判断其是否为同义词，使用同义词扩充该词表。

S1.2.2线上先使用商品品类词表作为规则，使用AC自动机(Aho-Corasickautomaton)进行判断，更新用户想要购买的商品品类。然后使用该品类下商品属性标准取值范围的词表作为规则，抽取用户关心的属性。

通过上述步骤，得到基于规则的属性抽取模型。

S1.3积累标注数据：

对用户选择回答错误的回复所对应的输入进行收集，使用步骤S1.2构建的基于规则的抽取模型进行抽取，使用人工标注判断模型抽取结果正误，并对错误的标注结果中应该抽取的结果进行标注。

S1.4基于循环神经网络和条件随机场的深度模型：

首先采用BIO标注对步骤S1.3积累的训练数据进行预处理，标识关键属性和关键实体的起止位置。使用长短期记忆模型连接一个条件随机场训练序列标注模型。同时，使用会话中上一轮长短期记忆模型的输出作为当轮模型初始化参数，用以继承上文对话状态。使用长短期记忆模型的输出通过softmax层进行分类，判定用户该轮输入的意图。

进一步的，步骤S2对话管理和状态跟踪，具体包括以下子步骤；

S2.1设计门函数：对于业务场景中的每种情况(包括商品推荐，固有属性问答等)，设计相应的门函数。当前对话状态满足门函数中设定的各字段要求时，认为当前对话属于该情况。

S2.2设定动作列表：对于步骤S2.1中的每个门函数，设定动作列表用以实现对应对话管理的操作。具体动作包括字段值判断，数据库查询，字段值设定等。在这一步骤，将当前轮对话识别结果填入维护的对话状态中。

本发明是一种针对电子商务导购场景任务型对话系统的构建方法，其优点及功效在于：1)将多轮会话中每一轮次分解为自然语言理解，对话管理和状态跟踪，回复生成三个部分，业务逻辑解耦，便于迭代开发2)在冷启动阶段，利用电子商务场景标准词表和词向量模型构建基于规则的自然语言理解模型，降低了冷启动阶段对标注数据的依赖，降低了冷启动阶段系统构建的难度。3)在迭代阶段，设计了数据标注工具和方案，使标注人员可以方便地累积标注数据，用于后续模型训练。4)提出了基于循环神经网络和条件随机场的深度模型，可以显著提升用户输入语句意图判定和关键属性抽取的准确率。此外，所提方法在两个实际应用场景中取得了非常好的效果，分别在美妆电子商务场景和金融产品推荐场景构建了实际可用的任务型导购对话系统。

附图说明

图1为本发明系统的组成框图。

图2为本发明词组挖掘相关方法示意图。

图3为本发明词向量方法选取近义词组示意图。

图4a、4b、4c为本发明标注方法和工具示意图。

图5为本发明Bi-LSTM-CRF模型结构图。

图6为本发明门函数维护界面。

图7为本发明动作列表设置界面。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的说明。

如图1所示，本发明是一种针对电子商务导购场景的任务型对话系统的构建方法，包括如下步骤：自然语言理解：对用户输入结合上文状态，进行意图判定和重要实体属性抽取。在冷启动阶段使用标准词表和词向量模型构建基于规则的自然语言理解模型；在积累了一定标注数据后，使用循环神经网络和条件随机场的深度模型构建自然语言理解模型。对话管理和状态跟踪：针对不同业务场景设计门函数限制进入条件，再针对每个业务场景设计相应的动作列表实现具体业务逻辑。回复生成：基于对话管理决定的回复策略和预先配置好的回复话术模板，生成回复用户的语句。

各部分具体描述如下：

S1.自然语言理解

自然语言理解的任务是从用户输入理解用户语义，主要包含两个任务：1)判断用户当轮输入的意图，2)从自然语言文本中提取出关键语义槽(关键实体和关键属性)。用户当轮输入的意图主要用于表示用户该轮输入的目的，一般包括查询属性，要求推荐，限制商品属性等。关键语义槽主要用于表示用户对于商品品类或属性的要求，如需要购买的商品品类，购买时需要限制的商品属性等。这一步骤主要负责将用户输入的非结构化文本数据转化为系统可理解的结构化数据，用于后续模块的对话策略选择和查询。

S1.1意图组划分和意图判定

本发明使用多个互斥的意图组表示用户一轮输入的意图。在美妆电子商务场景下，意图组主要包括基本意图组、询问类型意图组、对象意图组和特殊意图组，每个意图组除了定义好的状态外，还包含一个空状态。基本意图组主要用于区分闲聊(空状态)、开始对话、推荐、问答、否定、结束对话状态；询问类型意图组主要用于区分问答意图时，用户询问的类型，包括判断、简单查询等；对象意图组主要用于表示用户推荐和问答场景下的主要目标，包括商品品类和具体商品；最后还有一些由用户具体场景定义的特殊意图组，包括活动、折扣等，优先级高于其他意图组。使用多个意图组的设计主要是为了拆解业务逻辑和降低模型训练难度。该部分意图判定使用正则表达式和SVM学习模型对用户输入在每个意图组上进行分类，各意图组分类判定互不影响。

在美妆场景下，我们按照意图组划分的模型，将常见意图在上述四个意图组上进行了拆解。实际处理的任务包括商品推荐、商品固有属性问答、更换商品限制条件等。以商品固有属性问答为例，该意图在基本意图组标签为“问答”，在询问类型意图组标签为“what类型”，在询问对象意图组标签为“当前商品”，在特殊意图组上标签为“空”。在实际线上系统中，对于用户输入会在这四个意图组上分别进行预测，如果四个意图组条件为上述对应值，则判定为商品固有属性问答。使用本方法后，意图判断的准确率有明显提升。

S1.2冷启动阶段使用基于规则的抽取模型：

冷启动阶段，本发明使用电子商务业务方的标准词表和词向量模型构建基于规则的属性抽取模型。本发明在开放语料上预先训练了词向量模型，然后将用户真实语料分词结果中，与标准词表中某个词组余弦距离较短的词组用于人工标注。词组的划分方法为使用假设检验在一定阈值下尝试合并相邻单词。如果标注人员认为这两个词组可以视为同义词组，则使用三元组的形式保存该关系，即＜c_i，e_j，e_k＞，其中c_i表示作用的商品品类，e_j表示标准词，e_k是其同义词，意为在品类c_i将e_j。经过这一步骤，可以将标准词表扩充至常用同义词范围。再线上使用AC自动机(Aho-Corasick automaton)进行多模匹配，确定用户输入中短语对应的标准词，具体操作如下：先使用商品品类词表作为规则，确定或更新用户想要购买的商品品类；然后使用该品类下的三元组集合作为规则，抽取用户输入中提及的属性。

在美妆导购具体场景中，本发明使用商家提供的品类词表、属性列表和属性标准词表作为基础构建了基于规则的抽取模型。首先，本发明使用这些词表作为标准词表，构建了标准词表；然后使用上文所述方法，在商家提供的未标注语料上筛选候选同义词组；在人工标注这些候选词组后，将标准词表扩展约四倍。本发明以扩展后的词表为规则，在实际系统中，先使用美妆商品品类相关规则判断商品品类(或继承上文讨论的商品品类)，然后使用该品类包含的属性相关规则进行属性抽取。

词组划分方法的示意图在图2中给出，基于规则的抽取方法流程框图在图3中给出。

S1.3积累标注数据

在冷启动阶段模型上线使用后，本发明设计了一套用于积累标注数据的方法和工具。该方法的主要实施流程是：首先收集用户选择回复有误对应的用户数据。然后使用线上模型对这些数据进行属性抽取和意图判定。

数据标注情况示意图在图4中给出。如图4a所示，标注人员需要判定线上模型的抽取结果是否正确，如果抽取结果正确，则标注该句为正确；如图4b所示，如果抽取结果有漏报，该工具会向标注人员提供句子中抽取的槽值(属性值)，以及句子的分词结果，标注人员需选择漏报的槽值；如图4c所示，如果抽取结果有误报，标注人员需要选择抽取槽值中误报的槽值。

S1.4基于循环神经网络和条件随机场的属性抽取模型

积累了一定量的标注数据后，本发明使用Bi-LSTM-CRF模型进行重要属性的抽取。

首先将标注数据使用BIO标注法进行预处理。对于句子中的每一个字，如果该字是应抽取的属性值的开始字，则预测标签处理为“B-类别”；如果该字是应抽取属性值的中间字，则预测标签处理为“I-类别”；如果该字不为应抽取的属性值的字，则预测标签处理为“O”。

本发明使用Bi-LSTM-CRF模型将预处理好的数据，作为序列标注问题进行训练和预测。如图5所示，该模型包括输入层、Bi-LSTM层(双向长短期记忆模型)、CRF层(条件随机场)。输入层的作用主要是为了将用户输入转化到向量空间。输入层以句子为单位，将一个含有n个字的句子(字的序列)记作W＝(w₀，w₁...w_n-1)其中，w_i为使用预训练的字嵌入模型在向量空间表示的文本中的一个字。Bi-LSTM层，用于提取句子特征。假设k是预先设定的槽值的类别数，则Bi-LSTM层输出的结果可记为矩阵P＝(p1，p2，...，pn)∈R_n×k。该矩阵中p_i为一个k维的向量，可表示该字在每一个标签取值的得分。CRF层的主要作用是对标签预测结果进行句子级的预测。Bi-LSTM层的输出会作为CRF层的输入，用于预测序列中每个字的最终预测结果。

在美妆场景下的模型结构图在图5给出，用户输入为“保湿的面膜”。此处模型预期抽取关键实体“面膜”和关键属性“保湿”，对应整句预期输出标签为“B-功效、I-功效、O、B-品类、I-品类”，表示第一个字、第二个字对应应该抽取为商品功效；第四个字第五个字对应应该抽取为商品品类；第三个字为无关字。对应颜色、气味等其他商品属性字段，使用对应的标签进行训练和预测即可。

S2.对话管理和状态跟踪

对话管理与状态跟踪模块的任务是依据对话的当前状态和自然语言理解模块的当轮输出，与电子商务商品数据库进行交互，并决定回复策略，该策略会作为回复生成模块的输入，用于回复用户。同时，状态跟踪还需要更新当前轮会话的状态，用于后续轮次对话理解下文。

对话管理与状态跟踪模块主要由一系列的对话管理类组成，每个类负责某一特定对话场景。对话管理类的逻辑架构分为两部分：门函数和动作列表。门函数的主要作用是判断一个对话是否该由该类处理，是该对话管理类的入口条件。动作列表则定义了对一个对话历史状态的具体操作，动作列表将按照定义的序列顺序依次执行预先定义的操作。

S2.1设计门函数

门函数是每一个对话场景进入的判断条件。门函数在逻辑上是由一系列组合条件组成，每个组合条件间并行，即组合条件间是逻辑或的关系。如果当前的历史状态和当前对话轮次自然语言理解的输出，满足其中的某个组合条件，那么就会判断应该由该处理模块处理。对于每个组合条件，则由一系列的具体条件组成，这些具体条件需要同时满足，即是逻辑与。如果历史状态和当前对话轮次自然语言理解的输出，满足某一组合条件下所有的具体条件，则判定满足该组合条件。对于每个具体条件，则由类型、左值、右值三部分组成，类型包括等于、不等于、大于、小于，属于等，而左值和右值是预先定义好的变量或者具体数值。

门函数，维护功能界面如图6所示。其中判断类型包括相等和不相等等条件；变量名由对话处理变量功能维护，此处只提供选择，即上文中提到的左值；变量值下拉框按变量名类型动态加载，这些值包括商品品类、系统字典值、对话主题、自定义意图等，即上文中提到的右值；组编码决定各条件之间是“或着”还是“并且”，原则是组内取“并且”，组间取“或者”。

S2.2设定动作列表

当当前对话状态通过门函数判别，被确定为某一具体对话管理类处理时，该处理类会按照预先设定的动作列表依次执行对应操作。每个对话管理类的动作列表都是由一系列具体动作组合而来。本发明系统预先设计的动作分为两大类，一类是赋值操作，一类是预定义过程处理。赋值操作是对对话状态的某些部分进行赋值，需要选择保存对话状态的对应变量名和变量值两个参数，该动作主要用于更新或保存各种结果。预定义过程处理为对接的业务操作，包括根据对话状态与第三方数据库交互，查询实体知识关系等。对话处理动作数量和具体的业务场景耦合度较高，在导购任务型对话的业务场景发生迁移时，可能需要增加不同的动作以满足业务需求。当业务场景相对固定时，可以由管理人员组合已有的动作，形成新的动作列表和对话管理类，以满足新的对话业务场景。

动作列表，设置如图7所示。列表由一系列的单元构成，这些处理单元在处理单元维护功能处维护。在本功能处引用这些处理单元，并设置这些动作的处理单元的参数，同时提供排序号，决定动作的执行顺序。

S3.回复生成

回复生成模块的主要任务是根据对话管理与状态跟踪模块输出的回复策略，生成具体的自然语言回复用户。本发明采用模板引擎的方式，预先定义回复话术模板，填充具体对话内容生成回复。作为回复生成输入的回复策略是一个字典类，除了用于确定主要回复类别的策略类型字段，还可以传入其他自定义的字段和对应取值。本发明系统会在话术模板集合中检索满足当前回复策略的话术模板。当回复策略字段命中若干条话术模板时，系统会校验当前传入的自定义字段和取值是否满足该话术模板的填充条件：如果满足话术模板的填充条件，系统会以此模板为依据填充并生成回复语句；如果所有模板均未满足填充条件，系统会回复预设的缺省回复。

实施例1:以下是在金融产品推荐场景构建了实际可用的任务型导购对话系统，具体过程如下：在金融产品推荐场景自然语言理解部分，我们进行了如下实施：在冷启动阶段，我们定义了四个意图组，用于表示用户意图在实际业务场景下的查询、推荐等意图；根据金融产品重要属性字段和取值，我们整理出词表作为标准词，并根据预训练的词向量模型和语料扩充了标准词表，形成了冷启动阶段基于规则的属性抽取模型。在金融产品推荐的对话管理部分，我们将该场景的业务描述为一个自动机，用户的对话会让对话状态跳转；我们使用门函数和动作列表表示了这个自动机，并对接了相应的具体业务模块。在自然语言生成模块中，我们针对每种可能的业务场景设定了具体的回复话术，用于填充属性值后回复用户。至此，我们完成了金融产品推荐场景的冷启动流程。在该系统上线后，我们使用相应的数据积累和标注流程积累了一定量的标注语料，用于深度模型的训练，并使用这些深度模型逐步替换了基于规则的模型。最终该系统取得了较好的对话效果。

Claims (4)

1.一种针对电子商务导购场景任务型对话系统的构建方法，其特征在于：该方法包括以下步骤：

S1.自然语言理解，将用户当轮输入的语句结合历史状态，进行意图识别和属性标注，判断用户该轮输入的意图和提及的重要属性；在冷启动阶段，利用标准词表结合预训练的词向量模型，构建基于规则的自然语言处理模型；之后通过标注工具积累数据，训练基于循环神经网络和条件随机场的自然语言理解模型；

S2.对话管理和状态跟踪，基于步骤S1识别的意图和属性，维护对话状态，同时，对话管理模块根据需要会访问商品数据库，并根据当前对话状态决定回复策略；

S3.回复生成，基于步骤S2决定的回复策略和预先配置好的回复话术模板，生成回复用户的语句。

2.根据权利要求1所述的一种针对电子商务导购场景任务型对话系统的构建方法，其特征在于：所述步骤S1自然语言理解，具体包括以下子步骤；

S1.1意图组划分和意图判定

划分的意图组包括基础意图组，询问类型组，询问对象组和特殊意图组；模型对于用户单轮输入，在每个意图组上进行分类，使用所有意图组的分类结果表示判定的用户意图；

S1.2冷启动阶段使用基于规则的属性抽取模型；

S1.3积累标注数据：

对用户选择回答错误的回复所对应的输入进行收集，使用步骤S1.2构建的基于规则的抽取模型进行抽取，使用人工标注判断模型抽取结果正误，并对错误的标注结果中应该抽取的结果进行标注；

S1.4基于循环神经网络和条件随机场的深度模型：

首先采用BIO标注对步骤S1.3积累的训练数据进行预处理，标识关键属性和关键实体的起止位置；使用长短期记忆模型连接一个条件随机场训练序列标注模型；同时，使用会话中上一轮长短期记忆模型的输出作为当轮模型初始化参数，用以继承上文对话状态；使用长短期记忆模型的输出通过softmax层进行分类，判定用户该轮输入的意图。

3.根据权利要求2所述的一种针对电子商务导购场景任务型对话系统的构建方法，其特征在于：所述步骤S1.2冷启动阶段使用基于规则的属性抽取模型，具体如下：

S1.2.1使用电子商务业务方的标准词表和词向量模型构建基于规则的属性抽取模型，首先整理电子商务业务方的标准词表，此词表包含商品品类的标准称呼、商品属性的标准称呼、商品属性的标准取值范围；然后在开放语料上训练词向量模型，对余弦值接近标准词表中的词进行人工标注，判断其是否为同义词，使用同义词扩充该词表；

S1.2.2线上先使用商品品类词表作为规则，使用AC自动机进行判断，更新用户想要购买的商品品类；然后使用该品类下商品属性标准取值范围的词表作为规则，抽取用户关心的属性。

4.根据权利要求1所述的一种针对电子商务导购场景任务型对话系统的构建方法，其特征在于：所述步骤S2对话管理和状态跟踪，具体包括以下子步骤；

S2.1设计门函数：对于业务场景中的每种情况，设计相应的门函数，当前对话状态满足门函数中设定的各字段要求时，认为当前对话属于该情况；

S2.2设定动作列表：对于步骤S2.1中的每个门函数，设定动作列表用以实现对应对话管理的操作；具体动作包括字段值判断，数据库查询，字段值设定。