CN115455158A - 智能聊天的信息处理方法、装置、电子设备及存储设备 - Google Patents

Abstract

本申请提供一种用于智能聊天的信息处理方法，包括：获取智能机器人对特定问题的答复；对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；若不满足，则对所述答复进行问题识别；根据所述问题识别的结果对所述答复进行更新。本申请提供的用于智能聊天的信息处理方法可以解决由于对用户提出的问题意图识别错误、答案配置宽泛等原因导致的智能机器人最终发送给用户的答案并不能够解决用户原始的问题，优化用户和智能机器人聊天的体验。

Description

智能聊天的信息处理方法、装置、电子设备及存储设备

技术领域

本申请涉及计算机技术领域，具体涉及一种用于智能聊天的信息处理方法、装置、电子设备及存储设备。

背景技术

随着互联网技术的不断发展，人们对聊天机器人的相关产品和服务的期待也越来越高，按照产品和服务的类型主要可分为：客服、娱乐、助理、教育、服务等类型。其中，以对话式智能机器人为代表的智能客服产品受到广泛的关注。智能客服其主要功能是同用户进行基本的沟通，并自动回复用户有关产品和服务的问题，以解决用户遇到的问题，达到降低企业客服运营成本，提升用户体验的目的，为企业和用户带来了极大的方便。

在以电商为代表的新零售领域中，对智能机器人回复的答案有着细粒度、定制化、时效性等要求。因此，通常使用智能客服的商家会自己配置问题答案，配置答案的粒度是面向意图粒度的。目前以对话式智能机器人为代表的智能客服产品，在回答用户提出的问题时，通常的解决路径是用户输入问题，然后通过意图识别判断用户的意图，例如，用户在和智能机器人聊天的过程中，向智能机器人问了一个问题：“快递什么时候发货？”于是，智能机器人可以判断用户的意图是用户询问快递的发货时间，在确定用户的意图之后，根据用户的意图，在知识库中匹配符合该问题的答案，在确定答案后，智能机器人将答案发送给用户。

上述解决链路，对用户的问题进行意图识别，然后在知识库中匹配答案，将匹配到的答案直接发送给客户的过程中，虽然能够满足商家对答案定制化的需求，但是，在实际使用的过程中，不可避免的，可能会出现由于对用户提出的问题意图识别错误、答案配置宽泛等原因，而导致智能机器人最终发送给用户的答案并不能够解决用户原始的问题，这将极大地影响在用户和智能机器人的聊天体验。

发明内容

本申请实施例提供一种用于智能聊天的信息处理方法、装置、电子设备及存储设备，以解决现有技术中智能聊天中的上述的问题。

本申请提供的用于智能聊天的信息处理方法，包括：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

可选的，所述对所述答复进行质量评估，包括：

通过答案质量评估模型对所述答复进行质量评估，获得对所述答复的质量评估分数。

可选的，所述答案质量评估模型通过以下方式而获得：

确定目标领域数据预训练的大规模语言模型；

将所述目标领域数据预训练的大规模语言模型作为预训练模型；

根据多领域已标注数据对所述目标领域数据预训练的大规模语言模型进行微调，获得所述答案质量评估模型。

可选的，对所述答案质量评估模型进行知识蒸馏。

可选的，所述根据所述问题识别的结果对所述答复进行更新，包括：

根据所述问题识别结果对所述答复的存在的问题进行分类；

根据所述问题分类结果将所述问题进行回流；

根据所述回流结果对所述答复进行更新。

可选的，判断所述答复质量不满足设定的阈值，还包括：

根据所述智能机器人与用户的对话数据推荐与所述特定问题相关联的关联问题，所述关联问题为不少于一个的与所述特定问题相关的关联问题；

根据所述关联问题确定目标关联问题；

根据所述目标关联问题获取所述智能机器人对所述目标关联问题的答复。

可选的，对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值，包括；

若所述答复的质量满足设定的阈值，将所述答复发送给提问者。

可选的，获取智能机器人对特定问题的答复之前，还包括：

获取用户输入的特定问题；

对所述特定问题进行意图识别；

根据所述意图识别结果获取智能机器人对特定问题的答复。

此外，还提供一种用于智能聊天的信息处理装置，包括：

获取单元，用于获取智能机器人对特定问题的答复；

质量评估单元，用于对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

问题识别单元，用于对质量不满足设定的阈值的所述答复进行问题识别；

答案更新单元，用于根据所述问题识别的结果对所述答复进行更新。

此外，还提供一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储用于智能聊天的信息的处理程序，所述程序在被所述处理器读取执行时，执行如下操作：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

此外，还提一种计算机可读取存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现以下步骤：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

与现有技术相比，本申请的用于智能聊天的信息处理方法，首先获取智能机器人对用户提出的特定问题的答复，然后通过答复进行质量评估，判断答复的质量是否满足设定的阈值，如果答复的质量不满足设定的阈值，则需要对答复进行问题识别，判断答复存在的问题，然后根据对答复判断的结果对答复进行更新。本申请的用于智能聊天的信息处理方法通过对答复质量进行评估实时检测用户的实际问题和透出答案的匹配度，并且对答复进行回流更新，而不是直接把可能存在问题的答案直接发送给用户，可以解决由于对用户提出的问题意图识别错误、答案配置宽泛等原因导致的智能机器人最终发送给用户的答案并不能够解决用户原始的问题，优化用户和智能机器人聊天的体验。

附图说明

图1是本申请的实施例提供的用于智能聊天的信息处理方法的流程图；

图2是本申请的施例提供的场景流程图。

具体实施方式

为了使本领域的技术人员能够更好的理解本申请的技术方案，下面结合本申请实施例中的附图，对本申请进行清楚、完整地描述。但本申请能够以很多不同于上述描述的其他方式进行实施，因此，基于本申请提供的实施例，本领域普通技术人员在不经过创造性劳动的情况下，所获得的所有其他实施例，都应属于本申请保护的范围。

需要说明的是，本申请的权利要求书、说明书及附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，并不用于描述特定的顺序或先后次序。这样使用的数据在适当情况下是可以互换的，以便于本文所描述的本申请的实施例，能够以除了在本文图示或描述的内容以外的顺序实施。此外，术语“包括”、“具有”以及他们的变形形式，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本领域的技术人员更好的理解本申请方案，下面基于本申请提供的对话数据处理方法，对其实施例的具体应用场景进行详细描述。

本申请提供了一种用于智能聊天的信息处理方法和装置，首先获取智能机器人对用户提出的特定问题的答复，然后通过答复进行质量评估，判断答复的质量是否满足设定的阈值，如果答复的质量不满足设定的阈值，则需要对答复进行问题识别，判断答复存在的问题，然后根据对答复判断的结果对答复进行更新。通过设计实时对话场景中的答案质量评估方法，有效检测全自动机器人的回复效果，对答复质量评估不合格的答复进行回流更新，而不是直接把可能存在问题的答案直接发送给用户，可以解决由于对用户提出的问题意图识别错误、答案配置宽泛等原因导致的智能机器人最终发送给用户的答案并不能够解决用户原始的问题，达到指导线上答案透出策略和答案配置问题回流的目标，使对话数据的使用形成闭环。

本申请第一实施例提供一种用于智能聊天的信息处理方法，如图1所示，该图为本申请第一实施例的流程图。图2是本申请第一实施例提供的场景流程图。

以下结合图1、图2对本申请第一实施例提供一种用于智能聊天的信息处理方法进行详细说明。

步骤S101、获取智能机器人对特定问题的答复。

本步骤目的是获得智能机器人对特定问题的答复。

智能机器人，可以是指智能客服。智能客服是一种基于自然语言处理技术，自动化解决用户问题的在线客服系统。智能客服中智能机器人回复用户的答案，可能是一段文本，也可能是图像、语音或者富文本答案等。

智能机器人要能准确的利用知识库回答用户的问题的前提是机器人能够准确理解用户的问题，也就是能够对用户输入的文本或者语音进行自然语言理解，需要对用户输入的文本或者语言进行自然语言理解，就需要对用户输入的文本或者语言进行意图识别。

在本申请的实施例中，获取智能机器人对特定问题的答复，也就是根据用户输入的问题确定用户的意图，然后根据意图识别结果从知识库中选择和用户意图相匹配的答案。

意图是指用户在和智能机器人聊天过程中的发出的主要请求或动作，例如，用户输入某个问题时的目的是什么，针对该问题用户想要得到什么答案。智能机器人对特定问题的答复，是指根据用户输入的问题对该问题做出的答复。

顾名思义，意图识别指的是识别语言的真实意图，也就是通过算法模型对用户输入的问题进行问题分类，确定用户的意图的过程。例如，用户的问题是：“快递多久到？”对应意图的识别结果就是：快递到达时间。

通常情况下，使用智能客服的商家会根据用户的问题自己配置答案。因而，智能客服对用户输入问题的回复是从知识库中商家配置的答案中选择的，也就是对用户输入的问题进行意图识别，然后根据意图识别结果在知识库中匹配合适的答案。

例如，获取智能机器人对用户输入的问题：“快递多久到？”这个问题的答复。首先，需要针对该问题进行意图识别，如上所述，该问题的意图识别的结果为：快递到达时间。则根据快递到达时间这个意图在知识库中匹配合适的答案。

步骤S102、对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值。

答案质量评估是指基于线上实时的用户问题和智能机器人自动回复的答案，判断答案是否能解决用户问题的过程，在此过程中，智能机器人自动回复的答案和用户的问题匹配度越高，则认为回复的答案的质量越高。

答案质量评估可以采用答案质量评估模型来实现，答案质量的评估的效果取决于单句评估的准确性和所有行业问题的覆盖率。由于用户输入的问题和商家配置的答案具有多样性，因而导致训练通用行业的答案质量评估模型具有很大的难度，在本申请的实施例中，为了解决这个泛化问题，采用基于该特定问题所在的特定领域(例如电商领域)数据预训练的大规模语言模型(large language model，LLM)作为预训练模型，使语言模型更加拟合当前的领域知识，同时，借助于大量其它多个领域(例如全行业)已标注数据，对语言模型进行具体下游任务的微调，让模型更加适配具体的答案质量评估任务。

单句评估的准确性即针对智能机器人的答复判断用户输入的问题和智能机器人回答的匹配程度，也就是答复能否准确的解决用户的问题，匹配程度越高，则单句评估的准确率越高；基于问答知识库来回答的系统，回答能力受限于知识库的丰富程度，因此，知识库对行业问题的覆盖率越高，那么评估的准确性越高。

预训练语言模型(pre-trained language model)可以学习通用的语言表示，捕捉语言中内含的结构知识，特别是针对下游任务标注数据量少的低资源场景，采用预训练+微调的模式，能够带来显著的提升效果。预训练语言模型的输入通常是一个文本序列片段，神经编码器会编码输入序列，每个输入单元都会编码得到对应的向量表示。预训练得到的向量表示是上下文相关的，因为向量是编码器根据输入动态计算得到的，所以能够捕捉上下文语义信息。

以某模型为例，预训练语言模型首先在大型数据集上根据一些无监督任务进行训练，包括下一个语句预测(next sentence prediction，NSP)任务和掩码语言模型(maskedlanguage model)任务，这个部分被称作预训练。接着在微调阶段，针对后续下游任务，例如文本分类、词性标注、问答系统等，基于预训练好的语言模型进行微调，使得模型只需调整输入输出数据和训练部分参数，就可以在不同的任务上达到很好的效果。

通过预训练一个大规模语言模型，然后对每个任务利用任务相关的标注数据进行模型微调，可以得到一个任务相关的模型来完成相关任务。本实施例中，如上所述大规模语言模型Alicemind，生成的模型即为答案质量评估模型。

模型微调是指在给定自然语言处理任务的有标注数据上进行模型微调，快速提升模型来完成任务的能力，也就是将预训练过的模型作用于给定数据集，使得其中的参数适应给定任务的数据。在本申请实施例中，则是利用全行业训练师的标注数据对答案质量评估任务进行微调，让模型更加适配具体的答案质量评估任务。

通过以上方式获得的答案质量评估模型可能由于参数较多，体积庞大，在实施时占用很多的计算资源，例如CPU资源或内存资源。为便于灵活部署，可以对模型进行压缩，在不影响其性能前提下使其体积更小，速度更快，占用资源更少。知识蒸馏即为将一个复杂的大模型上学习的知识迁移到另一个更适合部署的小模型(简单模型)的过程。复杂模型获得的知识一般是经过大量实际训练数据训练获得的，简单模型则是从复杂模型获得其获取的知识中的精华部分，最终简单模型将获得与复杂模型近似的知识处理能力，或者至少使自己的知识处理能力大幅提升。

同时，在本申请的实施例中，考虑到线上实施使用的耗时问题，可以对大模型进行知识蒸馏，将线上实时预测的耗时控制在50毫秒以内。本实施例中的知识蒸馏可以采用现有的任何知识蒸馏的方法，在此不再展开论述。

通过上述答案质量评估模型，可以实现对智能机器人的答复进行质量评估。判断所述答复的质量是否满足设定的阈值。

在步骤S102中，对所述答复进行质量评估，即判断智能机器人对用户输入问题答复的准确性。其中一种实施方案为，对拿到的智能机器人对用户输入问题的答复进行答案质量评估的打分，打分的结果可以是0-1分的概率值，也可以是其他范围的数值，在此处不做特别限制。

可以通过预先设置的阈值对答复的质量评估打分的结果进行分类，判断智能机器人的答复质量是否满足设定的阈值，通过对质量评估的打分结果卡阈值的方法，可以将智能机器人的答案划分为优质答案和非优质答案。也就是说，若质量评估的打分结果大于等于阈值，则表示智能机器人的答复能够解决用户的问题，则判定智能机器人的答复为优质答案；若质量评估的打分结果小于阈值，则表示智能机器人的答复无法解决用户的问题，则判定智能机器人的答复为非优质答案。

示例性地，在本申请的一个实施例中，以打分结果为0-1分进行说明，可以设置阈值为0.5分，认为打分结果为大于等于0.5的答复代表优质答案，打分结果小于0.5的答复代表非优质答案。

下面进行举例说明，例如，用户输入的问题为：“快递什么时间发货？”，很显然，用户的意图是想知道快递的发货时间。而智能机器人的回复可能是“快递明天下午发货”，也可能是“发**快递、快递明天送达”。

对于上述回答，对于“快递明天下午发货”的质量打分结果大于等于0.5分，则代表该答复为优质答案，而对于“发**快递、快递明天到达”的答复质量打分结果小于0.5分，则代表该答复为非优质答案。

步骤S103、若不满足，则对所述答复进行问题识别。

步骤S103的目的是对非优质答案进行识别，确定非优质答案存在的问题，进而能够在后续步骤中对非优质答案根据问题识别结果确定存在的问题，对非优质答案重新进行编辑更新，达到优化非优质答案的效果。

在以电商为代表的新零售领域中，对智能机器人回复的答案有着细粒度、定制化、时效性等要求。因此，通常使用智能客服的商家会自己配置问题答案，配置答案的粒度是面向意图粒度的。这样，虽然能够满足商家对答案定制化的需求，但是，在实际使用的过程中，不可避免的，可能会出现由于对用户提出的问题意图识别错误、答案配置宽泛等原因，而导致智能机器人最终发送给用户的答案并不能够解决用户输入的问题。在本申请实施例中，对这类智能机器人不能解决用户输入问题的答复确定为非优质答案，进行问题识别，确定智能机器人的答复存在的问题。

根据步骤S102的一个实施方案，在离线过程中，当质量评估的打分结果小于预先设定的阈值时，则表示智能机器人的答复无法解决用户的问题，则判定智能机器人的答复为非优质答案，对智能机器人的答复进行问题识别。

问题识别是指根据智能机器人的答复质量，识别智能机器人的答复存在的问题，比如识别答复中存在的答案冗余、答案过于泛化、意图识别错误，答案内容不准确等问题。在本申请实施例中，以上述答复存在的问题进行举例，但不限于答复中只存在这几类问题。

为了便于理解，以下结合具体例子进行说明，例如，用户输入的问题为：“快递什么时间发货？”，用户的真实意图是想知道快递的发货时间。

针对上述问题，如果意图识别的结果为：“发什么快递”，容易理解，该类情况就是对用户输入的问题的真实意图识别错误。

如果意图识别结果为：“快递的发货时间”。则意图识别结果准确，若智能机器人的回复为以下几种情况，第一种情况为：您好，仓库发**快递，需指定的快递的话请下单时候备注，一般会按您备注的快递发货，您的快递会在明天下午15：00发出。第二种情况为：我们会按照顾客订单的下单顺序尽快安排仓库为您发货，最晚在15天内发货，请您耐心等待。第三种情况为：您的快递会在明天送达。

针对上述三种情况，第一种情况的答复虽然可以告知用户发货时间，但是答复内容参杂了诸如发**快递这类无关用户意图的信息，使得回复用户的答复过于冗余，不能立刻就看到自己需要的答案，可以将此答复的问题识别结果归为答案冗余。第二种情况的答复很显然用户想知道快递的具体发货时间，而答复为按照订单的下单顺序尽快安排发货，最晚在15天内发货，这类答案存在的问题就是过于泛化，用户无法清楚的知道发货的具体时间点，可以将此答复的问题识别结果归为答案过于泛化。第三种情况的答复用户的真实意图为快递的发货时间，而用户收到的是快递的到达时间，很显然这类回答虽然识别到用户的意图为快递发货时间，但是回答却不是针对发货时间的，这类答复的问题识别结果为答案回答不准确，可以将此答复的问题识别结果归为答案回答不准确。

下面对当质量评估的打分结果大于等于预先设定的阈值时的情况进行说明

若质量评估的打分结果大于等于阈值，则表示智能机器人的答复能够解决用户的问题，则判定智能机器人的答复为优质答案；也就是认为打分结果为大于等于0.5的答复代表优质答案，则直接将问题答复发送给用户。

下面进行举例说明，例如，用户输入的问题为：“快递什么时间发货？”，很显然，用户的意图是想知道快递的发货时间。若智能机器人的回复是“快递明天下午发货”对于该答复，质量评估的结果为0.8分，大于设定的阈值，表示智能机器人的答复能够准确的解决用户的答案，因此，该答案属于优质答案，当答复属于优质答案时，直接将该答复发送给用户。

另一方面，在线上，当质量评估的打分结果小于预先设定的阈值时，则表示智能机器人的答复无法解决用户的问题，则判定智能机器人的答复为非优质答案，对于非优质答案，直接透出发送给用户在一定程度上，并不能解决用户的问题，而且会影响用户的问答体验。

因此，在本申请的实施例中，在线上，当质量评估的打分结果小于设定的阈值时，本申请的实施例中提供了知识推荐的功能，所谓知识推荐，则是当质量评估结果小于设定阈值时，不会直接把答复发送给用户，而是采用为用户推荐相似关联问题的方法，以此来弥补非优质答案的体验问题。

相似问题推荐，本申请的一个实施例为，可以是根据用户输入的问题，利用相似问题推荐直接返回给用户一个答案，也就是从问题集合中挑出最相似的那个问题，这里会对问题集合做重排序，例如利用规则、机器学习或者深度学习模型做排序，每个问题会被打上一个分值，通过对相似问题集合中，选出与用户的问题最相似的问题，然后将这个问题的答案直接返回给用户。例如，用户的问题为：“快递什么时间发货？”当该问题的质量评估的打分结果小于预先设定的阈值时，则对以下问题进行排序，选出最相似的问题，然后将该问题的答案发送给客户。示例性地，所述问题排序可以是：第一、快递什么时候送达？第二、发什么快递？第三、如何修改快递地址？对应的，则将快递什么时候送达的答复直接发送给用户。

在另一个实施例中，采用相似问题推荐的方法，可以设置阈值来保证回答的准确性，从问题集合中挑出最相似的那个问题，通过排序，将高于阈值的头部N个问题以列表的形式将直接将问题集合发送给用户，将低于阈值的问题直接过滤。用户可以根据问题集合选择自己想要的问题，进而得到该问题的具体答复。例如，所述问题排序可以是：第一、快递什么时候送达？第二、发什么快递？第三、如何修改快递地址？对应的，用户可以选择其中任意一个或多个问题进而得到该问题的答案。

通过上述相似问题推荐，可以使质量评估的打分结果小于预先设定的阈值时，弥补非优质答案的体验问题，提高用户的问答体验。

步骤S104、根据所述问题识别的结果对所述答复进行更新。

步骤S104的作用在于根据步骤S103对非优质答案进行问题识别，将答复存在的问题进行分类，然后将答复存在的问题回流反馈给商家，从而使商家能够发现对话中存在的问题，指导商家进行知识库的维护更新，达到数据闭环的效果。

根据所述问题识别的结果对答复存在的问题进行分类，分类结果为答复中存在的答案冗余、答案过于泛化，意图识别错误，答案内容不准确等问题。在确定答复存在的问题以后，将问题识别的结果也就是答复存在的问题回流反馈给商家，商家在接收到反馈后，根据答复存在的问题对答复进行重新编辑更新，从而达到优化答复的目的。

上述过程中，通过对答复质量进行评估并且对答复进行回流更新，而不是直接把可能存在问题的答案直接发送给用户，使商家自动地从对话中发现问题，及时进行知识库的维护更新，达到了数据闭环的效果。可以解决由于对用户提出的问题意图识别错误、答案配置宽泛等原因导致的智能机器人最终发送给用户的答案并不能够解决用户原始的问题。

与本申请实施例提供的一种用于智能聊天的信息处理的方法相对应，本申请实施例还提供一种用于智能聊天的信息处理装置，由于装置实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，下述描述的装置实施例仅仅是示意性的。本申请实施例提供的一种用于智能聊天的信息处理装置包括如下部分：

获取单元，用于获取智能机器人对特定问题的答复；

质量评估单元，用于对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

问题识别单元，用于对质量不满足设定的阈值的所述答复进行问题识别；

答案更新单元，用于根据所述问题识别的结果对所述答复进行更新。

本申请的实施例还提供一种用于智能聊天的信息处理的电子设备，包括：

处理器；

存储器，用于存储用于智能聊天的信息的处理程序，所述程序在被所述处理器读取执行时，执行如下操作：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (11)

1.一种用于智能聊天的信息处理方法，其特征在于，包括：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

2.根据权利要求1所述的用于智能聊天的信息处理方法，其特征在于，所述对所述答复进行质量评估，包括：

通过答案质量评估模型对所述答复进行质量评估，获得对所述答复的质量评估分数。

3.根据权利要求2所述的用于智能聊天的信息处理方法，其特征在于，所述答案质量评估模型通过以下方式而获得：

确定目标领域数据预训练的大规模语言模型；

将所述目标领域数据预训练的大规模语言模型作为预训练模型；

根据多领域已标注数据对所述目标领域数据预训练的大规模语言模型进行微调，获得所述答案质量评估模型。

4.根据权利要求3所述的所述的用于智能聊天的信息处理方法，其特征在于还包括：对所述答案质量评估模型进行知识蒸馏。

5.根据权利要求1-4任一所述的用于只能聊天的信息处理方法，其特征在于，所述根据所述问题识别的结果对所述答复进行更新，包括：

根据所述问题识别结果对所述答复的存在的问题进行分类；

根据所述问题分类结果将所述问题进行回流；

根据所述回流结果对所述答复进行更新。

6.根据权利要求1所述的用于智能聊天的信息处理方法，其特征在于，判断所述答复质量不满足设定的阈值，还包括：

根据所述智能机器人与用户的对话数据推荐与所述特定问题相关联的关联问题，所述关联问题为不少于一个的与所述特定问题相关的关联问题；

根据所述关联问题确定目标关联问题；

根据所述目标关联问题获取所述智能机器人对所述目标关联问题的答复。

7.根据权利要求1所述的用于智能聊天的信息处理方法，其特征在于，对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值，包括；

若所述答复的质量满足设定的阈值，将所述答复发送给提问者。

8.根据权利要求1所述的用于智能聊天的信息处理方法，其特征在于，获取智能机器人对特定问题的答复之前，还包括：

获取用户输入的特定问题；

对所述特定问题进行意图识别；

根据所述意图识别结果获取智能机器人对特定问题的答复。

9.一种用于智能聊天的信息处理装置，其特征在于，包括：

获取单元，用于获取智能机器人对特定问题的答复；

质量评估单元，用于对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

问题识别单元，用于对质量不满足设定的阈值的所述答复进行问题识别；

答案更新单元，用于根据所述问题识别的结果对所述答复进行更新。

10.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储用于智能聊天的信息的处理程序，所述程序在被所述处理器读取执行时，执行如下操作：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

11.一种计算机可读取存储介质，其上存储有计算机指令，其特征在于，该程序被处理器执行时实现以下步骤：

获取智能机器人对特定问题的答复；

对所述答复进行质量评估，判断所述答复的质量是否满足设定的阈值；

若不满足，则对所述答复进行问题识别；

根据所述问题识别的结果对所述答复进行更新。

Images