CN116975395B - 错误反馈数据的处理方法、装置、设备以及介质 - Google Patents

Abstract

本发明提供一种错误反馈数据的处理方法、装置、设备以及介质，该方法应用于问题处理模型，通过接收用户的错误反馈数据；其中，错误反馈数据包括：用户的提问数据、终端答案数据以及用户反馈的错误数据；根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据；确定终端答案数据和备选答案数据之间的相似度；若终端答案数据和备选答案数据之间的相似度大于第一相似度阈值，则确定出终端回答正确；若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值，则确定出终端回答错误，实现了自动根据错误反馈数据确定出终端回答是否正确，减少了后台服务端对错误反馈数据的处理工作量。

Description

错误反馈数据的处理方法、装置、设备以及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种错误反馈数据的处理方法、装置、设备以及介质。

背景技术

现有技术中，用户在使用陪伴机器人、词典笔、智能屏等具备问题查询功能的智能终端的过程中，如果发现智能终端提供的查询结果是错误的时候，通常会采用点击错误反馈图标，填写错误反馈数据的方式进行错误反馈。进而智能终端就会将错误反馈数据发送给后台，由后台工作人员针对用户反馈的错误进行相应的处理。

然而，在智能终端的实际应用场景下，存在有大量用户进行错误反馈，且当中还有不少是用户故意填写的无意义的错误反馈数据，造成后台收集到的错误反馈数据过多，工作人员难以及时处理，导致智能终端不能够及时修正错误，给用户带来的使用体验较差。

发明内容

有鉴于此，本发明实施例提供一种错误反馈数据的处理方法、装置、设备以及介质，通过问题处理模型调用知识库来确定终端回答是否正确，以实现自动处理用户反馈的错误反馈数据。

为实现上述目的，本发明实施例提供如下技术方案：

第一方面，本申请公开了一种错误反馈数据的处理方法，应用于问题处理模型，所述错误反馈数据的处理方法包括：

接收用户的错误反馈数据；其中，所述错误反馈数据包括：所述用户的提问数据、终端答案数据以及所述用户反馈的错误数据；所述终端答案数据是终端对所述提问数据输出的答案数据；所述用户反馈的错误数据用于说明所述用户反馈的所述终端存在的错误；

根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据；

确定所述终端答案数据和所述备选答案数据之间的相似度；

若所述终端答案数据和所述备选答案数据之间的相似度大于第一相似度阈值，则确定出所述终端回答正确；

若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误。

可选地，在上述错误反馈数据的处理方法中，所述若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误之后，还包括：

发送用于说明所述终端回答错误的数据和所述备选答案数据至所述用户，并将所述终端存储的终端答案数据修改为所述备选答案数据；

所述若所述终端答案数据和所述备选答案数据之间的相似度大于第一相似度阈值，则确定出所述终端回答正确之后，还包括：

发送用于说明所述终端回答正确的数据和所述备选答案数据的相关参考数据至所述用户；其中，所述备选答案数据的相关参考数据是与所述备选答案数据相关的文本数据。

可选地，在上述错误反馈数据的处理方法中，所述若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误之后，还包括：

将所述错误反馈数据对应的奖励数据发送至所述用户。

可选地，在上述错误反馈数据的处理方法中，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据之前，还包括：

确定所述错误反馈数据是否为所述用户初次发送的数据；

若确定出所述错误反馈数据不是所述用户初次发送的数据，则将所述错误反馈数据发送至后台服务端，以提示所述后台服务端的工作人员对所述错误反馈数据进行处理；

其中，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据，包括：

若确定出所述错误反馈数据是所述用户初次发送的数据，则根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据。

可选地，在上述错误反馈数据的处理方法中，所述若所述错误反馈数据不是所述用户初次发送的数据，则将所述错误反馈数据发送至后台服务端之后，还包括：

获取所述后台服务端向所述用户发送的反馈结果数据；其中，所述反馈结果数据包括：终端回答正确数据或终端回答错误数据；所述终端回答正确数据包括用于说明所述终端回答正确的数据和正确答案数据的相关参考数据；所述终端回答错误数据包括用于说明所述终端回答错误的数据和正确答案数据；所述正确答案数据为后台服务端的工作人员根据所述用户的提问数据所确定出的正确的答案数据；

确定所述问题处理模型的反馈结果数据和所述后台服务端发送的反馈结果数据之间的相似度；其中，所述问题处理模型的反馈结果数据是所述问题处理模型在确定出所述错误反馈数据是用户初次发送的数据之后向所述用户发送的数据；

若所述问题处理模型的反馈结果数据和所述后台服务端发送的反馈结果数据之间的相似度不大于第二相似度阈值，则根据所述后台服务端发送的反馈结果数据，对所述知识库中的知识点进行更新。

可选地，在上述错误反馈数据的处理方法中，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据之前，还包括：

识别所述用户的提问数据所属的问题类型；其中，所述问题类型包括公共认知类问题、或者工具使用类问题；

其中，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据，包括：

根据所述用户的提问数据和识别到的所述用户的提问数据所属的问题类型，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据。

第二方面，本申请公开了一种错误反馈数据的处理装置，应用于问题处理模型，所述错误反馈数据的处理装置包括：

接收单元，用于接收用户的错误反馈数据；其中，所述错误反馈数据包括：所述用户的提问数据、终端答案数据以及所述用户反馈的错误数据；所述终端答案数据是终端对所述提问数据输出的答案数据；所述用户反馈的错误数据用于说明所述用户反馈的所述终端存在的错误；

匹配单元，用于根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据；

第一确定单元，用于确定所述终端答案数据和所述备选答案数据之间的相似度；

第二确定单元，用于若所述终端答案数据和所述备选答案数据之间的相似度大于第一相似度阈值，则确定出所述终端回答正确；

第三确定单元，用于若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误。

可选地，在上述错误反馈数据的处理装置中，还包括：

第一发送单元，用于发送用于说明所述终端回答错误的数据和所述备选答案数据至所述用户，并将所述终端存储的终端答案数据修改为所述备选答案数据；

第二发送单元，用于发送用于说明所述终端回答正确的数据和所述备选答案数据的相关参考数据至所述用户；其中，所述备选答案数据的相关参考数据是与所述备选答案数据相关的文本数据。

第三方面，本申请公开了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述第一方面中任一所述的方法。

第四方面，本申请公开了一种错误反馈数据的处理设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。

基于上述本发明实施例提供的错误反馈数据的处理方法，应用于问题处理模型，该方法首先接收用户的错误反馈数据，其中错误反馈数据包括用户的提问数据、终端答案数据以及用户反馈的错误数据。终端答案数据是终端对提问数据输出的答案数据，用户反馈的错误数据用于说明用户反馈的终端存在的错误。然后根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。再确定终端答案数据和备选答案数据之间的相似度。若终端答案数据和备选答案数据之间的相似度大于第一相似度阈值则确定出终端回答正确，若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值则确定出终端回答错误，即通过问题处理模型实现了自动对错误反馈数据进行处理，减少后台工作人员对错误反馈数据的处理工作量，提高了处理效率，进而提升了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提出的错误反馈数据的处理方法的流程示意图一；

图2为本申请提出的错误反馈数据的处理方法的流程示意图二；

图3为本申请提出的知识库的更新方法的流程示意图；

图4为本申请提出的错误反馈数据的处理系统的结构示意图；

图5为本申请提出的错误反馈数据的处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

参阅图1，本申请实施例提出了一种错误反馈数据的处理方法，该方法应用于问题处理模型中，该问题处理模型可以运行在终端中，也可以运行在后台服务端中，还可以运行在除终端、后台服务端之外的任一电子设备中，本申请实施例对此不作限制。其中，终端可以理解为是陪伴机器人、词典笔、智能屏等具备问题查询功能的智能终端。后台服务端可以理解为是为使用该终端的用户提供后台服务的终端。需要说明的是，本申请实施例提出的问题处理模型可以是具有数百万或数十亿个参数的深度神经网络模型（即大模型），或者是其他类型的机器学习模型、深度学习模型等，本申请对于问题处理模型的具体模型类型不作限制。具体的，图1示出的方法包括以下步骤：

S101、接收用户的错误反馈数据，其中错误反馈数据包括用户的提问数据、终端答案数据以及用户反馈的错误数据，终端答案数据是终端对提问数据输出的答案数据，用户反馈的错误数据用于说明用户反馈的终端存在的错误。

具体的，可以是用户在终端上进行错误反馈操作后，触发终端生成用户的错误反馈数据，然后终端将生成的错误反馈数据输入到问题处理模型中，进而使得问题处理模型接收到用户的错误反馈数据。问题反馈信息中的提问数据是指用户在该终端上查询的提问。终端答案数据则是终端针对用户输入的提问数据所提供的答案。用户反馈的错误数据则可以理解为是用户针对该终端对提问数据输出的答案数据所指出的错误。例如用户反馈数据可以是用户指出该答案数据错在错误的数据，还可以是用户指出该答案数据中存在错误的部分的数据，还可以是用户指出该答案数据存在错误、且反馈了用户提供的正确答案的数据等等。即用户反馈的错误数据的具体内容、格式等有多种方式，本申请实施例对此不作限制。

其中，错误反馈操作可以是用户在终端的某一个应用的界面上点击错误反馈的控件，然后终端显示错误反馈界面，用户在错误反馈界面上输入错误反馈数据，并点击确认控件的操作。错误反馈操作的方式有很多，例如还可以是用户向售后、销售人员等工作人员人工反馈错误，然后工作人员再将用户提供的错误反馈数据输入到问题处理模型中。本申请实施例对于错误反馈操作的方式不作限制，且对于问题处理模型接收到用户的错误反馈数据的方式也不作限制。

需要说明的是，错误反馈数据中包括的提问数据的类型有很多，例如在终端为词典笔或翻译笔时，提问数据可以是用户向词典笔或翻译笔询问对某一个单词的解释或翻译。又例如可以是终端运行的某一应用程序时，用户在使用该应用程序的过程中对该应用程序查询使用过程中出现的问题，举例说明，可以是查询应用程序如何登录、应用程序在打开某一界面时发生闪退该如何解决等问题。本申请实施例对于提问数据的具体类型、格式不作限制，在不同的终端的应用场景中，用户的提问数据会适应性的不同。

S102、根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。

其中，知识库可以通过多个从百科、字典、网站等资料中提供的知识点构建得到，还可以由专家提供的知识、规则等构建得到。有关知识库的构建和介绍可以参考相关的文献资料，此处不再赘述。

由于知识库中包括有多个知识点，因此使用用户的提问数据在知识库中进行匹配，即可匹配到与提问数据相关的知识点，进而从该知识点中获取到提问数据对应的答案数据（本申请实施例中简称为备选答案数据）。该备选答案数据可以理解为是知识库对用户的问题数据所提供的正确答案。该备选答案数据可能与终端对提问数据输出的答案数据相同，也可能与终端对提问数据输出的答案数据不同。

其中，从知识库中匹配与用户的提问数据对应的答案数据的过程可以是使用用户的提问数据在知识库中进行查询的过程，然后根据知识库中得到的查询结果确定备选答案数据。还可以是知识库根据用户的问题数据，匹配得到与用户的问题数据相似度高于阈值的候选问题数据，然后根据候选问题数据对应的答案数据，确定出备选答案数据。即执行步骤S102的方式有很多，包括但不限于本申请实施例所提出的内容。

可选地，在本申请一具体实施例中，执行步骤S102之前还包括：识别用户的提问数据所属的问题类型，其中问题类型包括公共认知类问题、或者工具使用类问题。其中，执行步骤S102的一种实施方式，包括：根据用户的提问数据和识别到的用户的提问数据所属的问题类型，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。

即提问数据所属的问题类型可以是公共认知类问题和工具使用类问题的其中一种。公共知识类问题可以理解为是具有客观标准答案的问题。例如某一个单词的翻译问题、某一个数学题的求解问题等。而工具使用类问题则是用户在使用某类工具的过程中遇到的问题，这里说的工具可以是机械类的工具，还可以是软件类的工具，例如可以是某一个应用程序、某一个软件、点读笔、伴读机器人等。工具使用类问题区别于公共认知类问题，其不具有客观标准的解决答案。

问题处理模型在预先识别出提问数据所属的问题类型之后，再根据用户的提问数据和识别到的用户的提问数据所属的问题类型对知识库进行匹配，即可加快知识库的匹配效率，即知识库能够根据问题类型，预先在该问题类型下的知识点中进行匹配，进而能够快速得到匹配出的备选答案数据。

需要说明的是，问题类型的划分方式有多种，在另一些实施例中，问题类型所包括的类型可不限于上述提及的公共知识类问题和工具使用类问题。

可选地，参阅图2，在本申请一具体实施例中，执行步骤S102之前，还包括：

S201、确定错误反馈数据是否为用户初次发送的数据。

具体的，步骤S201可以理解为是确定用户是否是初次针对该提问数据提供相应的错误反馈数据至问题处理模型，如果用户是初次发送该错误反馈数据至问题处理模型，则说明用户对该提问数据所提出的错误尚未被问题处理模型进行处理过，因此可以执行步骤S203。其中，图2示出的步骤S203等同于前述提及的步骤S102，即步骤S102可以是仅在确定出错误反馈数据为用户初次发送的数据的情况下再执行。

如果错误反馈数据不是用户初次发送给问题处理模型的数据，则证明问题处理模型已经针对该用户的错误反馈数据进行过处理，但在问题处理模型已经进行了相应处理的情况下，用户仍然继续发送该错误反馈数据，则说明用户所反馈的错误并未得到解决，因此需要执行步骤S202。

其中，确定错误反馈数据是否为用户初次发送给问题处理模型的数据的方式有很多，例如问题处理模型可以针对每一个用户，记录该用户从终端发送的每一个问题反馈数据。当通过步骤S101接收到用户的错误反馈数据之后，问题处理模型可以从记录中查找是否有与接收到的错误反馈数据相匹配的错误反馈数据记录，如果存在有相匹配的错误反馈数据记录，则确定出错误反馈数据不是用户初次发送的数据，而是用户多次重复发送过的数据。如果不存在有相匹配的错误反馈数据记录，则确定出错误反馈数据是用户初次发送的数据。又例如，可以是问题处理模型针对每一个用户，记录用户发送过的问题反馈数据的问题数据，然后在通过步骤S101接收到用户的错误反馈数据之后，读取该错误反馈数据中的问题数据，并在记录中查找是否有该问题数据的记录，如果有的话，则确定出错误反馈数据不是用户初次发送的数据，反之则确定出错误反馈数据是用户初次发送的数据。需要说明的是，确定错误反馈数据是否为用户初次发送给问题处理模型的数据的方式有很多包括但不限于本申请实施例所提出的内容。

S202、将错误反馈数据发送至后台服务端，以提示后台服务端的工作人员对错误反馈数据进行处理。

由于步骤S201中已经确定出了该用户的错误反馈数据多次反馈到了问题处理模型中，即说明了问题处理模型在用户初次发送该错误反馈数据时并未得到解决，因此可以将错误反馈数据发送到后台服务端，由后台服务端的工作人员人工干预解决该错误反馈数据，加大错误反馈数据的解决成功率，进而提升用户的体验。

可选地，参阅图3，在本申请一具体实施例中，执行步骤S202之后，还包括：

S301、获取后台服务端向用户发送的反馈结果数据，其中反馈结果数据包括终端回答正确数据或终端回答错误数据，终端回答正确数据包括用于说明终端回答正确的数据和正确答案数据的相关参考数据，终端回答错误数据包括用于说明终端回答错误的数据和正确答案数据，正确答案数据为后台服务端的工作人员根据用户的提问数据所确定出的正确的答案数据。

后台服务端向用户发送的反馈结果数据可以理解为是后台服务端对该错误反馈数据的处理结果。该反馈结果数据是终端回答正确数据或终端回答错误数据。当后台服务端对错误反馈数据进行处理之后，后台服务端认为终端输出的答案数据确实存在错误时，则向用户对应的终端发送终端回答错误数据。当后台服务端对错误反馈数据进行处理后，后台服务端认为终端输出的答案数据是正确的答案数据时，则向用户对应的终端发送终端回答正确数据。

正确答案数据的相关参考数据可以理解为是用于解释该正确答案答案的内容数据。例如可以是正确答案数据的相关论文解释、百科解释、教科书解释等等。即后台服务端在验证出该终端对提问数据输出的答案数据回答正确之后，会将查找到的有关正确答案数据的参考资料（即正确答案数据的相关参考数据）提供给用户，以便于用户理解终端输出的答案数据。

其中，后台服务端在接收到用户的错误反馈数据之后的处理流程可以参考图1示出的问题处理模型对错误反馈数据的处理流程，区别点在于后台服务端存在有后台服务端的工作人员人工干预校验，因此最终得到的反馈结果数据准确度更高。

S302、确定问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度，其中问题处理模型的反馈结果数据是问题处理模型在确定出错误反馈数据是用户初次发送的数据之后向用户发送的数据。

问题处理模型的反馈结果数据可以理解为是下述步骤S103至步骤S105中问题处理模型在确定出终端回答错误之后，向用户的终端发送的用于说明终端回答错误的数据和备选答案数据（即可以统称为是问题处理模型发送的终端回答错误数据）。或者是步骤S103至步骤S105中问题处理模型在确定出终端回答正确之后，向用户的终端发送的用于说明终端回答正确的数据和备选答案数据的相关参考数据（即可以统称为是问题处理模型发送的终端回答正确数据）。有关上述问题处理模型发送的终端回答错误数据和终端回答正确数据的介绍可以参考前述对后台服务端发送的反馈结果数据的介绍，区别点在于问题处理模型发送的终端回答错误数据和终端回答正确数据的都是通过问题处理模型执行图1示出的流程而得到的，此处不再赘述。

其中，确定问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度的方式有很多，例如可以采用余弦相似度、文本相似度等算法实现，本申请实施例对于执行步骤S302的方式不作限制。

S303、若问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度不大于第二相似度阈值，则根据后台服务端发送的反馈结果数据，对知识库中的知识点进行更新。

当问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度越大时，则证明问题处理模型针对该错误反馈数据所得到的反馈结果数据与后台服务端的工作人员针对该错误反馈数据所给出的反馈结果数据越接近，当问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度大于第二相似度阈值时，就认为问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据是一致的，因此问题处理模型所得到的反馈结果数据并未出错，也就不需要对知识库中的知识点进行调整。当问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度不大于第二相似度阈值时，就认为问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据是不一致的，即问题处理模型所得到的反馈结果数据出现了错误，并没有准确的处理该问题反馈数据，因此需要对问题处理模型所适用的知识库中的知识点进行更新调整，以提高问题处理模型对错误反馈数据的处理准确性。具体的，可以根据后台服务端发送的反馈结果数据对知识库中的知识点进行更新，以使得知识库从后台服务端发送的反馈结果数据中得到新的知识点。

通过图3示出的流程，可以不断提升问题处理模型对错误反馈数据的处理准确度，进一步提升了用户体验。

S203、根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。

其中，步骤S203相当于是前述提及的步骤S102，即图1示出的步骤S102可以仅在确定出错误反馈数据是用户初次发送的数据的情况下。有关步骤S203的执行过程和原理可参考前述的相关描述，此处不再赘述。

S103、确定终端答案数据和备选答案数据之间的相似度。

其中，确定终端答案数据和备选答案数据之间的相似度的方式有很多，例如可以采用计算余弦相似度、文本相似度等方式实现，本申请实施例对于步骤S103计算相似度的方式不作限制。

S104、若终端答案数据和备选答案数据之间的相似度大于第一相似度阈值，则确定出终端回答正确。

当步骤S103确定出终端答案数据和备选答案数据之间的相似度之后，问题处理模型判断终端答案数据和备选答案数据之间的相似度是否大于第一相似度阈值。如果说终端答案数据和备选答案数据之间的相似度大于第一相似度阈值，则问题处理模型认为终端答案数据和备选答案数据是一致的，即问题处理模型对于该用户的问题数据所给出的答案（即备选答案数据）和终端对于该用户的问题数据所给出的答案（即终端答案数据）是相同的，因此问题处理模型认为终端的回答是正确的，得到了终端回答正确的结果。

可选地，在本申请一具体实施例中，通过问题处理模型通过步骤S104得到终端回答正确的结果之后，还可以包括：发送用于说明终端回答正确的数据和备选答案数据的相关参考数据至用户，其中备选答案数据的相关参考数据是与备选答案数据相关的文本数据。

当问题处理模型判断出终端回答正确之后，向用户反馈用于说明终端回答正确的数据，以告知问题处理模型对该用户的问题反馈数据的处理结果，同时还向用户反馈备选答案数据的相关参考数据，以便用户通过备选答案数据的相关参考数据，进一步对终端对该问题数据所输出的答案数据进行补充说明解释，以使得用户能够更好的理解终端所给出的回答，提高了用户使用终端的体验。

可选地，在另一些实施例中，在问题处理模型确定出终端回答正确之后，也可以直接将确定出终端回答正确的信息反馈到后台服务端，由后台服务端的工作人员根据问题处理模型所得到的终端回答正确的结论，去触发后台服务端执行相应的处理操作。

相较于现有技术而言，本申请实施例中确定终端回答是否正确的流程是通过问题处理模型通过执行步骤S101至步骤S105而自动实现的，减少了后台服务端的工作人员的工作量，在遇到大批量的问题反馈数据时，能够大大提高问题反馈数据的处理效率，进而达到提升用户体验的效果。

S105、若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值，则确定出终端回答错误。

若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值，则说明终端答案数据与问题处理模型认为的正确答案数据（即备选答案数据）是不一致的，因此问题处理模型认为终端回答错误。

可选地，在本申请一具体实施例中，执行步骤S105之后，还包括：

发送用于说明终端回答错误的数据和备选答案数据至用户，并将终端存储的终端答案数据修改为备选答案数据。

当问题处理模型判断出终端回答错误之后，向用户反馈用于说明终端回答错误的数据，以告知问题处理模型对该用户的问题反馈数据的处理结果，同时还向用户反馈备选答案数据，即告诉用户当前正确的答案为备选答案数据所描述的答案。由于终端原本回答的答案是错误的，因此需要将终端中存储的原本的终端答案数据，修改为问题处理模型提供的正确的备选答案数据，也可以理解为将备选答案数据作为新的终端答案数据。后续终端在回答提问数据时，则会使用备选答案数据进行回答。

可选地，在本申请一具体实施例中，执行步骤S105之后，还包括：

将错误反馈数据对应的奖励数据发送至所述用户。

其中，错误反馈数据对应的奖励数据用于说明用户提供了错误反馈数据之后所得到的奖励内容。用户在通过错误反馈数据指出终端回答错误、且问题处理模型也确定出终端回答错误之后，说明用户的反馈是有效的、正确的，因此可以提供相应的奖励。其中，奖励内容的具体形式、方式本申请实施例不作限制。例如可以采用奖励积分的方式进行奖励，用户可以使用奖励积分去兑换礼品等。又例如可以是提高用户的会员等级的方式进行奖励。

奖励数据可以是预先配置好的数据，例如可以预先配置好用户每反馈一条有效的错误反馈数据，则奖励10积分。又例如如果用户总共反馈的有效错误反馈数据超过n条，则提高用户的会员等级等等。本申请实施例对于奖励数据的配置方式不作限制。

可选地，在本申请一具体实施例中，执行图1示出的流程的问题处理模型的训练过程可以是，使用多个错误反馈样本数据、多个错误反馈样本数据对应的实际正确答案数据以及对应的终端是否回答正确的实际结果对机器学习模型或者大模型等模型进行训练，进而得到问题处理模型。训练过程中，使用模型对终端是否回答正确的预测结果与实际正确答案数终端是否回答正确的实际结果之间的误差、以及问题处理模型输出的备选答案数据与实际正确答案数据之间的误差，不断调整问题处理模型的参数，直至误差小于误差阈值为止，得到问题处理模型。

参阅图4，基于上述本申请实施例提出的错误反馈数据的处理方法，本申请提出了一种错误反馈数据的处理系统。如图4所示，错误反馈数据的处理系统中可以包括大模型、知识库以及后台服务（即前述提及的后台服务）。当用户通过终端向大模型（即前述提及的问题处理模型的一种）初次反馈（即初次发送）错误反馈数据，大模型调用知识库自检错误反馈数据所反馈的错误是否存在，若存在错误，则将终端回答错误的结果、备选答案数据以及对应的权限奖励反馈给用户。如果不存在错误，则将终端回答正确的结果、备选答案数据的相关参考数据反馈给用户。如果该错误反馈数据已经是用户再次反馈的数据，则大模型将错误反馈数据发送到后台服务，由后台服务判断错误反馈数据所反馈的错误是否存在，如果存在错误，后台服务会将终端回答错误的结果、正确答案数据以及对应的权限奖励反馈给用户。如果不存在错误，则将终端回答正确的结果、正确答案数据的相关参考数据反馈给用户。大模型获取后台服务反馈给用户的数据，与大模型初次反馈的数据进行对比，计算相似度，实现对知识库的修补。

本发明实施例提供的错误反馈数据的处理方法，应用于问题处理模型，该方法首先接收用户的错误反馈数据，其中错误反馈数据包括用户的提问数据、终端答案数据以及用户反馈的错误数据。终端答案数据是终端对提问数据输出的答案数据，用户反馈的错误数据用于说明用户反馈的终端存在的错误。然后根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。再确定终端答案数据和备选答案数据之间的相似度。若终端答案数据和备选答案数据之间的相似度大于第一相似度阈值则确定出终端回答正确，若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值则确定出终端回答错误，即通过问题处理模型实现了自动对错误反馈数据进行处理，减少后台工作人员对错误反馈数据的处理工作量，提高了处理效率，进而提升了用户的使用体验。

参阅图5，基于上述本申请实施例提出的错误反馈数据的处理方法，本申请对应公开了一种错误反馈数据的处理装置，应用于问题处理模型，该错误反馈数据的处理装置包括：接收单元501、匹配单元502、第一确定单元503、第二确定单元504以及第三确定单元505。

接收单元501，用于接收用户的错误反馈数据。其中，错误反馈数据包括：用户的提问数据、终端答案数据以及用户反馈的错误数据。终端答案数据是终端对提问数据输出的答案数据。用户反馈的错误数据用于说明用户反馈的终端存在的错误。

匹配单元502，用于根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。

第一确定单元503，用于确定终端答案数据和备选答案数据之间的相似度。

第二确定单元504，用于若终端答案数据和备选答案数据之间的相似度大于第一相似度阈值，则确定出终端回答正确。

第三确定单元505，用于若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值，则确定出终端回答错误。

可选地，在本申请一具体实施例中，还包括：第一发送单元和第二发送单元。

第一发送单元，用于发送用于说明终端回答错误的数据和备选答案数据至用户，并将终端存储的终端答案数据修改为备选答案数据。

第二发送单元，用于发送用于说明终端回答正确的数据和备选答案数据的相关参考数据至用户。其中，备选答案数据的相关参考数据是与备选答案数据相关的文本数据。

可选地，在本申请一具体实施例中，还包括：第三发送单元，用于将错误反馈数据对应的奖励数据发送至用户。

可选地，在本申请一具体实施例中，还包括：第四确定单元和第三发送单元。

第四确定单元，用于确定错误反馈数据是否为用户初次发送的数据。

第三发送单元，用于若确定出错误反馈数据不是用户初次发送的数据，则将错误反馈数据发送至后台服务端，以提示后台服务端的工作人员对错误反馈数据进行处理。

其中，匹配单元502执行根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据时，用于若确定出错误反馈数据是用户初次发送的数据，则根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。

可选地，在本申请一具体实施例中，还包括：获取单元、第五确定单元以及更新单元。

获取单元，用于获取后台服务端向用户发送的反馈结果数据。其中，反馈结果数据包括：终端回答正确数据或终端回答错误数据。终端回答正确数据包括用于说明终端回答正确的数据和正确答案数据的相关参考数据。终端回答错误数据包括用于说明终端回答错误的数据和正确答案数据。正确答案数据为后台服务端的工作人员根据用户的提问数据所确定出的正确的答案数据。

第五确定单元，用于确定问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度。其中，问题处理模型的反馈结果数据是问题处理模型在确定出错误反馈数据是用户初次发送的数据之后向用户发送的数据。

更新单元，用于若问题处理模型的反馈结果数据和后台服务端发送的反馈结果数据之间的相似度不大于第二相似度阈值，则根据后台服务端发送的反馈结果数据，对知识库中的知识点进行更新。

可选地，在本申请一具体实施例中，还包括：

识别单元，用于识别用户的提问数据所属的问题类型。其中，问题类型包括公共认知类问题、或者工具使用类问题。

其中，匹配单元502执行根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据时，用于：根据用户的提问数据和识别到的用户的提问数据所属的问题类型，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。

需要说明的是，本申请提出的错误反馈数据的处理装置中各个单元和子单元的执行过程和原理可参考前述错误反馈数据的处理方法，此处不再赘述。

本发明实施例提供的错误反馈数据的处理装置，应用于问题处理模型，该装置首先通过接收单元501接收用户的错误反馈数据，其中错误反馈数据包括用户的提问数据、终端答案数据以及用户反馈的错误数据。终端答案数据是终端对提问数据输出的答案数据，用户反馈的错误数据用于说明用户反馈的终端存在的错误。然后匹配单元502根据用户的提问数据，从知识库中匹配与用户的提问数据对应的答案数据，得到备选答案数据。再通过第一确定单元503确定终端答案数据和备选答案数据之间的相似度。若终端答案数据和备选答案数据之间的相似度大于第一相似度阈值则第二确定单元504确定出终端回答正确，若终端答案数据和备选答案数据之间的相似度不大于第一相似度阈值则第三确定单元505确定出终端回答错误，即通过问题处理模型实现了自动对错误反馈数据进行处理，减少后台工作人员对错误反馈数据的处理工作量，提高了处理效率，进而提升了用户的使用体验。

本申请还公开了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如上述中任一的错误反馈数据的处理方法。

本申请还公开了一种错误反馈数据的处理设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述中任一的错误反馈数据的处理方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种错误反馈数据的处理方法，其特征在于，应用于问题处理模型，所述错误反馈数据的处理方法包括：

接收用户的错误反馈数据；其中，所述错误反馈数据包括：所述用户的提问数据、终端答案数据以及所述用户反馈的错误数据；所述终端答案数据是终端对所述提问数据输出的答案数据；所述用户反馈的错误数据用于说明所述用户反馈的所述终端存在的错误；

根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据；

确定所述终端答案数据和所述备选答案数据之间的相似度；

若所述终端答案数据和所述备选答案数据之间的相似度大于第一相似度阈值，则确定出所述终端回答正确；

若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误。

2.根据权利要求1所述的方法，其特征在于，所述若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误之后，还包括：

发送用于说明所述终端回答错误的数据和所述备选答案数据至所述用户，并将所述终端存储的终端答案数据修改为所述备选答案数据；

所述若所述终端答案数据和所述备选答案数据之间的相似度大于第一相似度阈值，则确定出所述终端回答正确之后，还包括：

发送用于说明所述终端回答正确的数据和所述备选答案数据的相关参考数据至所述用户；其中，所述备选答案数据的相关参考数据是与所述备选答案数据相关的文本数据。

3.根据权利要求2所述的方法，其特征在于，所述若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误之后，还包括：

将所述错误反馈数据对应的奖励数据发送至所述用户。

4.根据权利要求1所述的方法，其特征在于，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据之前，还包括：

确定所述错误反馈数据是否为所述用户初次发送的数据；

若确定出所述错误反馈数据不是所述用户初次发送的数据，则将所述错误反馈数据发送至后台服务端，以提示所述后台服务端的工作人员对所述错误反馈数据进行处理；

其中，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据，包括：

若确定出所述错误反馈数据是所述用户初次发送的数据，则根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据。

5.根据权利要求4所述的方法，其特征在于，所述若确定出所述错误反馈数据不是所述用户初次发送的数据，则将所述错误反馈数据发送至后台服务端之后，还包括：

获取所述后台服务端向所述用户发送的反馈结果数据；其中，所述反馈结果数据包括：终端回答正确数据或终端回答错误数据；所述终端回答正确数据包括用于说明所述终端回答正确的数据和正确答案数据的相关参考数据；所述终端回答错误数据包括用于说明所述终端回答错误的数据和正确答案数据；所述正确答案数据为后台服务端的工作人员根据所述用户的提问数据所确定出的正确的答案数据；

确定所述问题处理模型的反馈结果数据和所述后台服务端发送的反馈结果数据之间的相似度；其中，所述问题处理模型的反馈结果数据是所述问题处理模型在确定出所述错误反馈数据是用户初次发送的数据之后向所述用户发送的数据；

若所述问题处理模型的反馈结果数据和所述后台服务端发送的反馈结果数据之间的相似度不大于第二相似度阈值，则根据所述后台服务端发送的反馈结果数据，对所述知识库中的知识点进行更新。

6.根据权利要求1所述的方法，其特征在于，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据之前，还包括：

识别所述用户的提问数据所属的问题类型；其中，所述问题类型包括公共认知类问题、或者工具使用类问题；

其中，所述根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据，包括：

根据所述用户的提问数据和识别到的所述用户的提问数据所属的问题类型，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据。

7.一种错误反馈数据的处理装置，其特征在于，应用于问题处理模型，所述错误反馈数据的处理装置包括：

接收单元，用于接收用户的错误反馈数据；其中，所述错误反馈数据包括：所述用户的提问数据、终端答案数据以及所述用户反馈的错误数据；所述终端答案数据是终端对所述提问数据输出的答案数据；所述用户反馈的错误数据用于说明所述用户反馈的所述终端存在的错误；

匹配单元，用于根据所述用户的提问数据，从知识库中匹配与所述用户的提问数据对应的答案数据，得到备选答案数据；

第一确定单元，用于确定所述终端答案数据和所述备选答案数据之间的相似度；

第二确定单元，用于若所述终端答案数据和所述备选答案数据之间的相似度大于第一相似度阈值，则确定出所述终端回答正确；

第三确定单元，用于若所述终端答案数据和所述备选答案数据之间的相似度不大于第一相似度阈值，则确定出所述终端回答错误。

8.根据权利要求7所述的装置，其特征在于，还包括：

第一发送单元，用于发送用于说明所述终端回答错误的数据和所述备选答案数据至所述用户，并将所述终端存储的终端答案数据修改为所述备选答案数据；

第二发送单元，用于发送用于说明所述终端回答正确的数据和所述备选答案数据的相关参考数据至所述用户；其中，所述备选答案数据的相关参考数据是与所述备选答案数据相关的文本数据。

9.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至6中任一所述的方法。

10.一种错误反馈数据的处理设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一所述的方法。