CN116383367B - 对话系统冷启动阶段的数据处理方法、装置、设备及介质 - Google Patents

Abstract

本公开涉及一种对话系统冷启动阶段的数据处理方法、装置、设备及介质，能满足冷启动阶段进行业务处理的需求，上述方法包括：获取用户提问信息；基于预先训练好的多级意图类别识别模型，对上述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；上述多级意图类别识别模型基于冷启动阶段的语料信息训练得到；上述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念；确定最大概率的第一意图类别是否为各级意图类别中的最下位概念；在上述第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表。

Description

对话系统冷启动阶段的数据处理方法、装置、设备及介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种对话系统冷启动阶段的数据处理方法、装置、设备及介质。

背景技术

随着人工智能（AI）技术的发展，智能对话系统（也可以称之为对话机器人）也越来越普及。常见的智能对话系统包括智能客服系统、聊天机器人、智能搜索系统等，这些智能对话系统在出厂使用前均需要储备大量的知识并进行知识梳理后得到知识库，然后基于知识库来支撑相应的算法。

智能对话系统的冷启动阶段是指在智能对话系统完成系统搭建后，储备的语料知识相对较少且没有经过上线验证和上线进行闭环迭代完善的阶段。在相关技术中，针对智能对话系统而言，通常需要在冷启动阶段进行知识库的完善和积累，这个过程中大多需要AI技术人员和业务人员进行配合，进行相关知识的定义、补充和效果测试等工作，实现知识库的构建，之后智能对话系统基于构建好的知识库满足上线标准而进行上线运营，之后基于线上运营数据和运行日志等信息来对知识库中的知识进行完善。

因此，智能对话系统需要经历冷启动阶段对知识库的梳理和构建后才进行上线运营，而冷启动阶段需要耗费大量的人力成本和时间成本，无法满足在冷启动阶段进行业务处理的需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种对话系统冷启动阶段的数据处理方法、装置、设备及介质，能满足冷启动阶段进行业务处理的需求。

第一方面，本公开的实施例提供了一种对话系统冷启动阶段的数据处理方法。上述数据处理方法包括：获取用户提问信息；基于预先训练好的多级意图类别识别模型，对上述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；上述多级意图类别识别模型基于冷启动阶段的语料信息训练得到；上述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念；确定最大概率的第一意图类别是否为各级意图类别中的最下位概念；在上述第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表。

在一些实施例中，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表，包括：根据上述第二意图类别的概率分布取值情况，确定处于意图确定状态或意图不确定状态；在处于意图确定状态的情况下，根据上述冷启动阶段的标准问答对信息和对应的至少两级意图类别，确定概率分布取值中概率最大值对应的第二意图类别的答案信息，将上述答案信息确定为上述回复答案；在处于意图不确定状态的情况下，将上述第二意图类别按照对应概率的取值大小进行排序，生成意图反问推荐列表。

在一些实施例中，在处于意图不确定状态的情况下，上述方法还包括：获取用户针对上述意图反问推荐列表的选中意图类别信息；根据上述冷启动阶段的标准问答对信息和对应的至少两级意图类别，生成上述选中意图类别信息的对应答案。

在一些实施例中，上述数据处理方法还包括：在上述第一意图类别为最下位概念的情况下，根据上述冷启动阶段的标准问答对信息和对应的至少两级意图类别，生成上述第一意图类别的对应答案。

在一些实施例中，上述多级意图类别识别模型通过以下方式训练得到：获取上述冷启动阶段的语料信息和上述语料信息实际对应的多级意图类别；将上述语料信息作为待训练的意图识别机器学习模型的输入，上述意图识别机器学习模型的输出为多级意图类别识别结果和各级意图类别的识别概率，基于上述语料信息实际对应的多级意图类别作为训练标签，对上述意图识别机器学习模型进行有监督训练，训练完成的意图识别机器学习模型作为上述多级意图类别识别模型。

在一些实施例中，上述多级意图类别识别模型的意图类别总级数为k，k≥2且为正整数，级数越高对应的意图类别为越下位的概念。上述意图识别机器学习模型包括：文本编码模型，用于对输入的语料信息进行分词和编码处理，输出文本编码向量序列；k级分类模型，包括第1级分类模型~第k级分类模型，用于对输入的文本编码向量序列进行多级分类预测处理，输出识别的多级意图类别及对应的预测概率。其中，第1级分类模型，与上述文本编码模型的输出连接，用于根据上述文本编码向量序列进行第1级意图类别的分类预测，输出第1级意图类别及预测概率；第k-1级分类模型，与上述文本编码模型的输出连接，用于根据上述文本编码向量序列进行第k-1级意图类别的分类预测，输出第k-1级意图类别及预测概率；第k级分类模型，与上述文本编码模型的输出和第1级分类模型~第k-1级分类模型的输出均连接，用于根据上述文本编码向量序列和上述第1级分类模型~第k-1级分类模型意图类别预测结果进行第k级意图类别的分类预测，输出第k级意图类别及预测概率。

在一些实施例中，上述语料信息包括：上述冷启动阶段的标准问答对信息中的已有问题；或者，在上述已有问题的数量小于设定阈值的情况下，上述语料信息包括上述已有问题和根据上述已有问题进行人工扩展的相似问题。

在一些实施例中，上述对话系统为以下中的一种：智能客服系统、智能语音系统、智能搜索系统、聊天机器人。

第二方面，本公开的实施例提供了一种用于对话系统冷启动阶段的数据处理装置。上述数据处理装置包括：信息获取模块、意图识别模块、意图等级确定模块和回复信息确定模块。上述信息获取模块用于获取用户提问信息。上述意图识别模块用于基于预先训练好的多级意图类别识别模型，对上述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；上述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念；上述多级意图类别识别模型基于冷启动阶段的语料信息训练得到。上述意图等级确定模块用于确定最大概率的第一意图类别是否为各级意图类别中的最下位概念。上述回复信息确定模块用于在上述第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表。

在一些实施例中，上述回复信息确定模块还用于在上述第一意图类别为最下位概念的情况下，根据上述冷启动阶段的已有问答对信息和对应的至少两级意图类别，生成上述第一意图类别的对应答案。

第三方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的对话系统冷启动阶段的数据处理方法。

第四方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的对话系统冷启动阶段的数据处理方法。

本公开实施例提供的上述技术方案至少具有如下优点的部分或全部：

由于冷启动阶段的样本较少，如果按照相关技术中直接进行单一层级的意图识别的效果可能较差，而且由于训练阶段的语料信息相对较少，如果按照相关技术中直接通过语料信息和输入的用户提问信息之间进行相似度判定的逻辑来进行意图识别，也会存在较大的识别偏差；本公开实施例通过基于冷启动阶段的语料信息训练得到多级意图类别识别模型，针对同一个语料划分的多级意图类别之间具有上下位概念的层次，在模型使用阶段，针对用户提问信息，能够基于该多级意图类别识别模型来识别得到各级意图类别下的概率，在最大概率对应的第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表；能够按照识别的粗略层级的意图类别（这里对应为第一意图类别）定位至更下位的第二意图类别，并据此生成第二意图类别对应的回复答案或意图反问推荐列表等，在语料信息相对较少的冷启动阶段实现对输入的用户提问信息的妥当处理并给出相对精准的回复答案或基于意图反问推荐列表供用户进行真实意图的选择等，满足冷启动阶段的业务处理需求。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示意性地示出了根据本公开一实施例的对话系统冷启动阶段的数据处理方法的流程图；

图2A示意性地示出了根据本公开实施例的语料信息和多级意图类别的对应关系的示例情况；

图2B示意性地示出了根据本公开实施例的同一个主题下的多级意图类别的层级关系示意图；

图3示意性地示出了根据本公开另一实施例的对话系统冷启动阶段的数据处理方法的流程图；

图4示意性地示出了根据本公开实施例的对话系统冷启动阶段的数据处理方法的详细实施流程图；

图5示意性地示出了根据本公开实施例的根据已有问题进行人工扩展的相似问题的样例；

图6示意性地示出了根据本公开实施例的意图识别机器学习模型的结构示意图；

图7示意性地示出了根据本公开实施例的对话系统冷启动阶段的数据处理装置的结构框图；以及

图8示意性地示出了本公开实施例提供的电子设备的结构框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

智能对话系统的冷启动阶段是指在智能对话系统完成系统搭建后，储备的语料知识相对较少且没有经过上线验证和上线进行闭环迭代完善的阶段。

由于在冷启动阶段缺乏大量语料积累和上线验证，对于真实用户问题进行意图识别的效果相对较差。相关技术中，大部分的研发思路是在冷启动阶段进行知识库的完善和积累，这个过程中大多需要AI技术人员和业务人员进行配合，进行相关知识的定义、补充和效果测试等工作，实现知识库的构建，之后智能对话系统基于构建好的知识库满足上线标准而进行上线运营，之后基于线上运营数据和运行日志等信息来对知识库中的知识进行完善。这种研发思路无法满足在冷启动阶段进行业务处理的需求。

有的研发思路是通过利用语料信息和用户输入的问句之间的相似度来进行意图识别，这种方式需要构建大量的语料信息，并且语料信息大部分是上线后的真实用户提问，这样才有助于提升意图识别的准确性，因此这种思路下也需要构建大量语料信息对应的数据库，而且也需要借助于上线运营来进行数据库的完善，如果在冷启动阶段基于很少的语料信息直接应用至业务处理，由于语料信息太少，某个意图下的样本案例和真实用户输入之间如果表述差异较大，基于相似度判定可能会导致意图识别产生较大偏差。

有鉴于此，本公开实施例提供了一种对话系统冷启动阶段的数据处理方法、装置、设备及介质，在对话系统冷启动阶段采用已有的语料信息来进行训练得到多级意图类别识别模型，基于该多级意图类别识别模型，识别用户提问信息对应的多级意图类别下的概率，并根据最大概率对应的第一意图类别的上下位概念层级来采取对应的处理逻辑；按照识别的粗略层级的意图类别定位至更下位的第二意图类别，并据此生成第二意图类别对应的回复答案或意图反问推荐列表等，在语料信息相对较少的冷启动阶段实现对输入的用户提问信息的妥当处理并给出相对精准的回复答案或基于意图反问推荐列表供用户进行真实意图的选择等，满足冷启动阶段的业务处理需求。

本公开的第一个示例性实施例提供了一种对话系统冷启动阶段的数据处理方法。上述方法可以由具备计算能力的电子设备来执行，该电子设备可以是安装有对话系统的终端设备，或者是给安装有对话系统的终端设备提供服务的服务器。

在一些实施例中，上述对话系统包括但不限于是以下中的一种：智能客服系统、智能语音系统、智能搜索系统、聊天机器人等。上述对话系统涵盖的领域可以是单一的领域或者多个领域等。例如可以涵盖但不限于是医疗健康领域、电商领域、科技领域、影视领域等。

图1示意性地示出了根据本公开一实施例的对话系统冷启动阶段的数据处理方法的流程图。

参照图1所示，本公开实施例提供的对话系统冷启动阶段的数据处理方法，包括以下步骤：S110、S120、S130和S141。

在步骤S110，获取用户提问信息。

在一些实施例中，用户提问信息可以是在对话系统冷启动阶段由用户真实输入的问题。例如这里以该对话系统涵盖医疗健康领域作为示例，例如用户提问信息例如为问句Q1：才怀孕就看见有出血怎么办；还可以是问句Q2：怀孕了吃肉要忌口吗。

在步骤S120，基于预先训练好的多级意图类别识别模型，对上述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；上述多级意图类别识别模型基于冷启动阶段的语料信息训练得到；上述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念。

在一些实施例中，冷启动阶段的语料信息涵盖对应的单一领域或多个领域，相应的，多级意图类别识别模型也对应于单一领域或多个领域。在冷启动阶段，一个样本语料可能对应于某类意图类别下的多个层级；一类意图类别下的语料样本相对较少，可能一类意图类别下只有2-6个语句；意图类别的种类是相对丰富的，例如可以至少涵盖对应领域的60%~90%甚至更高的意图类别。

图2A示意性地示出了根据本公开实施例的语料信息和多级意图类别的对应关系的示例情况；图2B示意性地示出了根据本公开实施例的同一个主题下的多级意图类别的层级关系示意图。

参照图2A和图2B所示，示意了多级意图类别和对应的语料信息，在这一示例情况中，针对怀孕这一主题，一级意图类别包括：怀孕反应A1和孕妇饮食禁忌A2；怀孕反应A1对应的二级意图类别包括怀孕初期症状A11和怀孕后期症状A12；怀孕初期症状A11对应的三级意图类别包括：孕期出血A111和怀孕一个月的反应A112；怀孕后期症状A12对应的三级意图类别包括：怀孕8个月胎儿症状A121。孕妇饮食禁忌A2对应的二级意图类别包括：孕妇不能吃什么肉A21；孕妇不能吃什么肉A21对应的三级意图类别包括：孕妇可以吃羊肉吗A211和孕妇可以吃牛肉吗A212。

针对A1-A11-A111这三级意图类别对应的问题示例为：孕期出血是怎么回事。针对A1-A11-A112这三级意图类别对应的问题示例为：怀孕一个月有什么反应。针对A1-A12-A121这三级意图类别对应的问题示例为：怀孕八个月胎儿有哪些问题。针对A2-A21-A211这三级意图类别对应的问题示例为：孕妇能不能吃羊肉。针对A2-A21-A212这三级意图类别对应的问题示例为：孕妇能不能吃牛肉。

应该理解的是，以上示例的多级意图类别的层级和各个层级下包含的各个意图类别的数量和类别含义仅作为示例，实际上可以有更多或更少的层级、每个层级下可以有更多的意图类别和类别含义。此外，还可以有更多的主题和对应的各级意图类别。

另外，需要说明的是，这里是以意图类别的级数越高对应的意图类别为越下位的概念作为示例，在其他实施例中，也可以设置意图类别的级数越低，对应的意图类别为越下位的概念，相似情况参照理解即可。

在一实施例中，基于预先训练好的多级意图类别识别模型，对上述问句Q1进行意图识别，得到怀孕这一主题下的三级意图类别及各级意图类别的概率，分别示例为：一级意图类别-怀孕反应A1，对应的概率为0.95；一级意图类别-孕妇饮食禁忌A2，对应的概率为0.01；二级意图类别-怀孕初期症状A11，对应的概率为0.97；二级意图类别-怀孕后期症状A12，对应的概率为0.01；三级意图类别-孕期出血A111，对应的概率为0.99；三级意图类别-怀孕一个月的反应A112，对应的概率为0.005；……，这里的省略号表示还有其他三级意图类别例如A121、A221和A222各自的概率，这些概率都非常低，这里不再示意。

在一实施例中，基于预先训练好的多级意图类别识别模型，对上述问句Q2进行意图识别，得到怀孕这一主题下的三级意图类别及各级意图类别的概率，分别示例为：一级意图类别-怀孕反应A1，对应的概率为0.35；一级意图类别-孕妇饮食禁忌A2，对应的概率为0.6；二级意图类别-孕妇不能吃什么肉A21，对应的概率为0.8；三级意图类别-孕妇可以吃羊肉吗A211，对应的概率为0.3；三级意图类别-孕妇可以吃牛肉吗A212，对应的概率为0.2；……，这里的省略号表示还有其他二级意图类别A11、三级意图类别例如A111、A112和A121各自的概率，这些概率都非常低，这里不再示意。

在步骤S130，确定最大概率的第一意图类别是否为各级意图类别中的最下位概念。

针对问句Q1，上述得到的各级意图类别的概率，最大概率对应的为第一意图类别，上述实施例中，0.99为最大概率，对应的第一意图类别为三级意图类别-孕期出血A111，该第一意图类别为各级意图类别中的最下位概念。

针对问句Q2，上述得到的各级意图类别的概率，最大概率对应的为第一意图类别，上述实施例中，0.8为最大概率，对应的第一意图类别为二级意图类别-孕妇不能吃什么肉A21，该第一意图类别不是各级意图类别中的最下位概念。

在步骤S141，在上述第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表。

图4示意性地示出了根据本公开实施例的对话系统冷启动阶段的数据处理方法的详细实施流程图。

在一些实施例中，参照图4所示，上述步骤S141中，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表，包括以下步骤：S401、S402a、S402b。

在步骤S401，根据上述第二意图类别的概率分布取值情况，确定处于意图确定状态或意图不确定状态。

在步骤S402a，在处于意图确定状态的情况下，根据上述冷启动阶段的标准问答对信息和对应的至少两级意图类别，确定概率分布取值中概率最大值对应的第二意图类别的答案信息，将上述答案信息确定为上述回复答案。

在步骤S402b，在处于意图不确定状态的情况下，将上述第二意图类别按照对应概率的取值大小进行排序，生成意图反问推荐列表。

例如，在一实施例中，将多个第二意图类别中概率最大值对应的意图类别与设定阈值进行比较，在概率最大值对应的意图类别的概率值超过设定阈值的情况下，视为处于意图确定状态；在概率最大值对应的意图类别的概率值小于设定阈值的情况下，视为处于意图不确定状态。设定阈值的取值可以根据实际情况进行调整，例如可以取设定阈值为0.5。

在另外的实施例中，可以根据各个第二意图类别中最大概率对应的意图类别和次大概率对应的意图类别之间的概率差值来确定是否处于意图确定状态。比如概率差值大于0.3（该数值也可以进行调整），则视为处于意图确定状态；概率差值低于0.3，视为处于意图不确定状态。

在其他实施例中，还可以根据这些第二意图类别的概率对应的信息熵来确定是否处于意图确定状态。比如，在信息熵的取值小于某个设定值的情况下，视为处于意图确定状态；在信息熵的取值超过某个设定值的情况下，视为处于意图不确定状态。

例如，本实施例中，针对上述问句Q2对应的情况，A21下属最下位概念对应的第二意图类别分别为A211和A212，根据A211和A212对应的概率分布取值情况：A211对应的概率为0.3；A212对应的概率为0.2，确定要生成第二意图类别对应的意图反问推荐列表。该意图反问推荐列表中呈现的意图选项包括：孕妇可以吃羊肉吗；孕妇可以吃牛肉吗。

由于冷启动阶段的样本较少，如果按照相关技术中直接进行单一层级的意图识别的效果可能较差，而且由于训练阶段的语料信息相对较少，如果按照相关技术中直接通过语料信息和输入的用户提问信息之间进行相似度判定的逻辑来进行意图识别，也会存在较大的识别偏差。包含上述步骤S110~S141的实施例中，通过基于冷启动阶段的语料信息训练得到多级意图类别识别模型，针对同一个语料划分的多级意图类别之间具有上下位概念的层次，在模型使用阶段，针对用户提问信息，能够基于该多级意图类别识别模型来识别得到各级意图类别下的概率，在最大概率对应的第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表；能够按照识别的粗略层级的意图类别定位至更下位的第二意图类别，并据此生成第二意图类别对应的回复答案或意图反问推荐列表等，在语料信息相对较少的冷启动阶段实现对输入的用户提问信息的妥当处理并给出相对精准的回复答案或基于意图反问推荐列表供用户进行真实意图的选择等，满足冷启动阶段的业务处理需求。

图3示意性地示出了根据本公开另一实施例的对话系统冷启动阶段的数据处理方法的流程图。

参照图3所示，对话系统冷启动阶段的数据处理方法除了包括上述步骤S110~S141之外，还包括另一个分支对应的步骤S142，在上述第一意图类别为最下位概念的情况下，根据上述冷启动阶段的标准问答对信息和对应的至少两级意图类别，生成上述第一意图类别的对应答案。

例如针对上述问句Q1的情形，执行步骤S110、S120、S130和S142。

在一些实施例中，可以通过文本或语音形式呈现上述目标答案，例如针对智能客服或对话机器人等，在终端设备界面展示上述目标答案，或者语音播放上述目标答案等。

由于上述冷启动阶段会存在一些标准问答对信息，这些标准问答对信息中每个问题都对应划分了对应的多级意图类别（可以参照前述关于图2A中关于问题示例的描述）；那么在基于最下位的意图类别（例如本实施例中为第一意图类别，上一个否定分支中对应为第二意图类别）在多级意图类别中匹配到对应的匹配意图类别后，将匹配意图类别下的标准问答对中的答案作为最下位的意图类别的对应答案。

在一些实施例中，在处于意图不确定状态的情况下，上述方法还包括：获取用户针对上述意图反问推荐列表的选中意图类别信息；根据上述冷启动阶段的标准问答对信息和对应的至少两级意图类别，生成上述选中意图类别信息的对应答案。

例如，上述选中意图类别信息为呈现的意图反问推荐列表中的意图类别，则根据选中意图类别信息在多级意图类别中匹配到对应的匹配意图类别后，将匹配意图类别下的标准问答对中的答案作为选中意图类别信息的对应答案。

在一些实施例中，参照图4所示，上述多级意图类别识别模型通过以下方式训练得到：在步骤S410，获取上述冷启动阶段的语料信息和上述语料信息实际对应的多级意图类别；在步骤S420，将上述语料信息作为待训练的意图识别机器学习模型的输入，上述意图识别机器学习模型的输出为多级意图类别识别结果和各级意图类别的识别概率，基于上述语料信息实际对应的多级意图类别作为训练标签，对上述意图识别机器学习模型进行有监督训练，训练完成的意图识别机器学习模型作为上述多级意图类别识别模型。

在训练次数达到设定次数的情况下训练结束，或者损失函数满足设定条件后视为训练结束。其中损失函数采用的是表征输出结果和训练标签之间差距的交叉熵损失函数。

图5示意性地示出了根据本公开实施例根据已有问题进行人工扩展的相似问题的样例。

在一些实施例中，上述语料信息包括：上述冷启动阶段的标准问答对信息中的已有问题；或者，在上述已有问题的数量小于设定阈值的情况下，上述语料信息包括上述已有问题和根据上述已有问题进行人工扩展的相似问题。考虑到有些情况下语料信息中包含的已有问题数量太少导致模型的效果会非常差，因此需要进行适当扩展；但是由于是人工主观扩展，扩展太多会导致成本太高，并且与真实用户问题可能存在较大差异，因此兼顾实现效率和模型效果，可以针对每个意图类别进行3-6个相似问题的扩展即可。例如参照图5所示，针对孕期出血是怎么回事这一问题进行人工扩展，上述相似问题包括：我怀孕一个月，有出血是怎么回事；才怀孕就看见有出血怎么办；出血了，才二个月，要怎么弄；怀孕初期会出血需要处理么。

图6示意性地示出了根据本公开实施例的意图识别机器学习模型的结构示意图。

在一些实施例中，上述多级意图类别识别模型的意图类别总级数为k，k≥2且为正整数，级数越高对应的意图类别为越下位的概念。

参照图6所示，上述意图识别机器学习模型600包括：文本编码模型610，用于对输入的语料信息进行分词和编码处理，输出文本编码向量序列，例如图6中示意的文本编码向量分别为Seq1、Seq2、……、Seqt，Seqt中的t表示文本编码向量的序号，取值为正整数；k级分类模型620，包括第1级分类模型~第k级分类模型，用于对输入的文本编码向量序列进行多级分类预测处理，输出识别的多级意图类别及对应的预测概率。在图6中以k=3作为示例。在一些实施例中，文本编码模型610可以是但不限于是各种能够实现文本编码的已有或改进模型，诸如BERT（基于Transformer编码器的双向编码）模型、单词-向量模型（Word2vec）。

其中，第1级分类模型，与上述文本编码模型的输出连接，用于根据上述文本编码向量序列进行第1级意图类别的分类预测，输出第1级意图类别及预测概率。例如图6中将第1级意图类别分别示意为L1、L2、……、Lm，Lm中的m表示第1级意图类别的序号，m取值为正整数。

第k-1级分类模型，与上述文本编码模型的输出连接，用于根据上述文本编码向量序列进行第k-1级意图类别的分类预测，输出第k-1级意图类别及预测概率。例如图6中将第2级意图类别分别示意为L1-1、L1-2、L2-1、……、Lm-n，Lm-n中的m-n表示第1级对应为m序号下的意图类别且第2级对应为n序号下的意图类别，n表示第2级意图类别的序号，取值为正整数。

第k级分类模型，与上述文本编码模型的输出和第1级分类模型~第k-1级分类模型的输出均连接，用于根据上述文本编码向量序列和上述第1级分类模型~第k-1级分类模型意图类别预测结果进行第k级意图类别的分类预测，输出第k级意图类别及预测概率。例如图6中将第3级意图类别分别示意为L1-1-1、L1-1-2、L1-2-1、L2-1-1、……、Lm-n-1、……、Lm-n-p，Lm-n-p中的m-n-p表示第1级对应为m序号下的意图类别且第2级对应为n序号下的意图类别且第3级对应为p序号下的意图类别，p表示第3级意图类别的序号，取值为正整数。

可以理解的是，当k=2时，第k-1级分类模型和第1级分类模型是同一个模型。

通过多标签分类的模型，只需要对输入问题进行一次性识别，便能得到所有意图类别对应的概率，并基于上述概率执行步骤S130，以及执行S141或S142的一个分支即可，识别过程相对简单。另外，第k级分类模型会被前面的第1级~第k-1级分类模型的分类结果所影响，这是由于上述意图识别机器学习模型的结构中，第1级~第k-1级分类模型除了将自身对应的意图类别的概率进行输出之外，还将和上述文本编码向量序列共同作为第k级分类模型的输入，从而影响第k级分类模型的概率预测。

本公开的第二个示例性实施例提供了一种用于对话系统冷启动阶段的数据处理装置。

图7示意性地示出了根据本公开实施例的对话系统冷启动阶段的数据处理装置的结构框图。

参照图7所示，本公开实施例提供的对话系统冷启动阶段的数据处理装置700包括：信息获取模块701、意图识别模块702、意图等级确定模块703和回复信息确定模块704。

上述信息获取模块701用于获取用户提问信息。

上述意图识别模块702用于基于预先训练好的多级意图类别识别模型，对上述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；上述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念；上述多级意图类别识别模型基于冷启动阶段的语料信息训练得到。

上述意图等级确定模块703用于确定最大概率的第一意图类别是否为各级意图类别中的最下位概念。

上述回复信息确定模块704用于在上述第一意图类别为非最下位概念的情况下，根据上述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成上述第二意图类别对应的回复答案或意图反问推荐列表。

在一些实施例中，上述回复信息确定模块704还用于在上述第一意图类别为最下位概念的情况下，根据上述冷启动阶段的已有问答对信息和对应的至少两级意图类别，生成上述第一意图类别的对应答案。

第一个实施例中描述的其他细节和可拓展的内容可以并入至本实施例，这里不再赘述。

上述数据处理装置700所包含的功能模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。数据处理装置700所包含的功能模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，数据处理装置700所包含的功能模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

本公开的第三个示例性实施例提供了一种电子设备。

图8示意性示出了本公开实施例提供的电子设备的结构框图。

参照图8所示，本公开实施例提供的电子设备800包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801、通信接口802和存储器803通过通信总线804完成相互间的通信；存储器803，用于存放计算机程序；处理器801，用于执行存储器上所存放的程序时，实现如上所述的对话系统冷启动阶段的数据处理方法。

本公开的第四个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的对话系统冷启动阶段的数据处理方法。

该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种对话系统冷启动阶段的数据处理方法，其特征在于，包括：

获取用户提问信息；

基于预先训练好的多级意图类别识别模型，对所述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；所述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念；所述多级意图类别识别模型基于冷启动阶段的语料信息训练得到；

确定最大概率的第一意图类别是否为各级意图类别中的最下位概念；

在所述第一意图类别为非最下位概念的情况下，根据所述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成所述第二意图类别对应的回复答案或意图反问推荐列表；

其中，根据所述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成所述第二意图类别对应的回复答案或意图反问推荐列表，包括：

根据所述第二意图类别的概率分布取值情况，确定处于意图确定状态或意图不确定状态；

在处于意图确定状态的情况下，根据所述冷启动阶段的标准问答对信息和对应的至少两级意图类别，确定概率分布取值中概率最大值对应的第二意图类别的答案信息，将所述答案信息确定为所述回复答案；

在处于意图不确定状态的情况下，将所述第二意图类别按照对应概率的取值大小进行排序，生成意图反问推荐列表。

2.根据权利要求1所述的数据处理方法，其特征在于，在处于意图不确定状态的情况下，所述方法还包括：

获取用户针对所述意图反问推荐列表的选中意图类别信息；

根据所述冷启动阶段的标准问答对信息和对应的至少两级意图类别，生成所述选中意图类别信息的对应答案。

3.根据权利要求1所述的数据处理方法，其特征在于，还包括：

在所述第一意图类别为最下位概念的情况下，根据所述冷启动阶段的标准问答对信息和对应的至少两级意图类别，生成所述第一意图类别的对应答案。

4.根据权利要求1-3中任一项所述的数据处理方法，其特征在于，所述多级意图类别识别模型通过以下方式训练得到：

获取所述冷启动阶段的语料信息和所述语料信息实际对应的多级意图类别；

将所述语料信息作为待训练的意图识别机器学习模型的输入，所述意图识别机器学习模型的输出为多级意图类别识别结果和各级意图类别的识别概率，基于所述语料信息实际对应的多级意图类别作为训练标签，对所述意图识别机器学习模型进行有监督训练，训练完成的意图识别机器学习模型作为所述多级意图类别识别模型。

5.根据权利要求4所述的数据处理方法，其特征在于，所述多级意图类别识别模型的意图类别总级数为k，k≥2且为正整数，级数越高对应的意图类别为越下位的概念；

所述意图识别机器学习模型包括：

文本编码模型，用于对输入的语料信息进行分词和编码处理，输出文本编码向量序列；

k级分类模型，包括第1级分类模型~第k级分类模型，用于对输入的文本编码向量序列进行多级分类预测处理，输出识别的多级意图类别及对应的预测概率；

其中，第1级分类模型，与所述文本编码模型的输出连接，用于根据所述文本编码向量序列进行第1级意图类别的分类预测，输出第1级意图类别及预测概率；

第k-1级分类模型，与所述文本编码模型的输出连接，用于根据所述文本编码向量序列进行第k-1级意图类别的分类预测，输出第k-1级意图类别及预测概率；

第k级分类模型，与所述文本编码模型的输出和第1级分类模型~第k-1级分类模型的输出均连接，用于根据所述文本编码向量序列和所述第1级分类模型~第k-1级分类模型意图类别预测结果进行第k级意图类别的分类预测，输出第k级意图类别及预测概率。

6.根据权利要求4所述的数据处理方法，其特征在于，

所述语料信息包括：所述冷启动阶段的标准问答对信息中的已有问题；或者，

在所述已有问题的数量小于设定阈值的情况下，所述语料信息包括所述已有问题和根据所述已有问题进行人工扩展的相似问题。

7.根据权利要求1所述的数据处理方法，其特征在于，所述对话系统为以下中的一种：智能客服系统、智能语音系统、智能搜索系统、聊天机器人。

8.一种用于对话系统冷启动阶段的数据处理装置，其特征在于，包括：

信息获取模块，用于获取用户提问信息；

意图识别模块，用于基于预先训练好的多级意图类别识别模型，对所述用户提问信息进行意图识别，得到至少两级意图类别及各级意图类别的概率；所述至少两级意图类别之间按照等级差异分别对应于至少两层上下位概念；所述多级意图类别识别模型基于冷启动阶段的语料信息训练得到；

意图等级确定模块，用于确定最大概率的第一意图类别是否为各级意图类别中的最下位概念；

回复信息确定模块，用于在所述第一意图类别为非最下位概念的情况下，根据所述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成所述第二意图类别对应的回复答案或意图反问推荐列表；

其中，根据所述第一意图类别下属最下位概念对应的第二意图类别的概率分布取值情况，生成所述第二意图类别对应的回复答案或意图反问推荐列表，包括：

根据所述第二意图类别的概率分布取值情况，确定处于意图确定状态或意图不确定状态；

在处于意图确定状态的情况下，根据所述冷启动阶段的标准问答对信息和对应的至少两级意图类别，确定概率分布取值中概率最大值对应的第二意图类别的答案信息，将所述答案信息确定为所述回复答案；

在处于意图不确定状态的情况下，将所述第二意图类别按照对应概率的取值大小进行排序，生成意图反问推荐列表。

9.根据权利要求8所述的数据处理装置，其特征在于，所述回复信息确定模块还用于在所述第一意图类别为最下位概念的情况下，根据所述冷启动阶段的已有问答对信息和对应的至少两级意图类别，生成所述第一意图类别的对应答案。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的数据处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的数据处理方法。