CN109241519A

CN109241519A - 质量评价模型获取方法及装置、计算机设备与存储介质

Info

Publication number: CN109241519A
Application number: CN201810690936.XA
Authority: CN
Inventors: 顾宝宝
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2018-06-28
Filing date: 2018-06-28
Publication date: 2019-01-18
Anticipated expiration: 2038-06-28
Also published as: WO2020000779A1; CN109241519B

Abstract

本发明实施例提供了一种质量评价模型获取方法及装置、计算机设备与存储介质。本发明实施例中，通过获取样本问答数据，然后，利用槽位填充方式处理所述样本问答数据，得到与所述样本问答数据对应的样本质量评价分数，从而，将所述样本问答数据作为初始质量评价模型的输入，将所述样本质量评价分数作为所述初始质量评价模型的输出，利用神经网络机制，对所述初始质量评价模型进行训练，得到训练后的目标质量评价模型。因此，本发明实施例提供的技术方案能够解决现有技术中通过预设的配置规则进行质量评价导致分数的准确率较低的问题。

Description

质量评价模型获取方法及装置、计算机设备与存储介质

【技术领域】

本发明涉及计算机技术领域，尤其涉及一种质量评价模型获取方法及装置、计算机设备与存储介质。

【背景技术】

目前，在通过网络实现的问答系统中，如购物网站提供的购物问答系统，涉及应答人员或应答服务器针对用户提问的问题进行回复的场景，并且，回复的问题是否准确解决用户的提问，一般可作为应答人员的绩效考核标准或应答服务器的质量评价标准。

基于人工实现对问答数据的质量评价比较复杂，因此，现有技术中一般是通过预先设置好打分规则，通过复杂的规则配置过程，如此，当需要对应答人员或应答服务器的问答数据进行质量评价时，需要根据预设的打分规则，来最终确定其质量评价分数。

但是，现有的质量评价方法存在配置规则复杂，以及，由于预先配置好的打分规则灵活性较差，质量评价分数的准确率较低。

【发明内容】

有鉴于此，本发明实施例提供了一种质量评价模型获取方法及装置、计算机设备与存储介质，用以解决现有技术中通过预设的配置规则进行质量评价导致分数的准确率较低的问题。

第一方面，本发明实施例提供了一种质量评价模型获取方法，包括：

获取样本问答数据；

利用槽位填充方式处理所述样本问答数据，得到与所述样本问答数据对应的样本质量评价分数；

将所述样本问答数据作为初始质量评价模型的输入，将所述样本质量评价分数作为所述初始质量评价模型的输出，利用神经网络机制，对所述初始质量评价模型进行训练，得到训练后的目标质量评价模型。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用槽位填充方式处理所述样本问答数据，得到与所述样本问答数据对应的样本质量评价分数，包括：

对所述样本问答数据进行语义识别，得到所述样本问答数据的至少一个提问特征与至少一个答复特征；

利用所述槽位填充方式，对各提问特征与各答复特征进行匹配，得到有效问答特征；

根据所述有效问答特征，确定所述样本质量评价分数。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述有效问答特征，确定所述样本质量评价分数，包括：

获取所述有效问答特征的数目，以作为所述样本质量评价分数。

获取所述有效问答特征的第一数目与总提问特征的第二数目；

获取所述第一数目与所述第二数目之间的比例，以作为所述样本质量评价分数。

根据预设的各提问特征的权重，获取各提问特征与各自对应的权重之积，其中，所述有效问答特征的权重大于其余提问特征的权重；

获取各提问特征的积之和，以作为所述样本质量评价分数。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：

将待评价问答数据输入所述目标质量评价模型，得到所述待评价问答数据的质量评价分数。

根据至少一个问答数据的质量评价分数，对所述至少一个问答数据的质量评价分数对应的应答人员的问答质量进行评价，得到所述应答人员的问答质量评分。

上述技术方案中的一个技术方案具有如下有益效果：

本发明实施例中，获取到样本问答数据后，会基于槽位填充方式得到这些样本问答数据对应的样本质量评价分数，从而，将样本问答数据作为初始质量评价模型的输入，将得到的样本质量评价分数作为初始质量评价模型的输出，利用神经网络机制对初始质量评价模型进行训练，即可得到目标质量评价模型。由此，相较于现有技术中通过配置复杂的打分规则得到的质量评价分数，本发明实施例中基于神经网络训练得到的目标质量评价模型更加贴近问答数据的评分需求，具有较高的灵活性；由此，只要样本问答数据的基数足够大，那么，得到的问答数据的质量评价分数就能够具备较高的准确率。因此，本发明实施例所提供的技术方案能够解决现有技术中通过预设的配置规则进行质量评价导致分数的准确率较低的问题。

第二方面，本发明实施例提供了一种质量评价模型获取装置，包括：

获取单元，用于获取样本问答数据；

处理单元，用于利用槽位填充方式处理所述样本问答数据，得到与所述样本问答数据对应的样本质量评价分数；

训练单元，用于将所述样本问答数据作为初始质量评价模型的输入，将所述样本质量评价分数作为所述初始质量评价模型的输出，利用神经网络机制，对所述质量评价模型进行训练，得到训练后的目标质量评价模型。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面任一项所述的质量评价模型获取方法。

第四方面，本发明实施例提供了一种计算机存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行如第一方面任一项所述的质量评价模型获取方法。

上述技术方案中的一个技术方案具有如下有益效果：

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例所提供的质量评价模型获取方法的实施例一的流程示意图；

图2是本发明实施例所提供的质量评价模型获取方法的实施例二的流程示意图；

图3是本发明实施例所提供的质量评价模型获取方法的实施例三的流程示意图；

图4是本发明实施例所提供的质量评价模型获取装置的功能方块图；

图5是本发明实施例所提供的计算机设备的功能方块图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述数目等，但这些数目不应限于这些术语。这些术语仅用来将数目彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一数目也可以被称为第二数目，类似地，第二数目也可以被称为第一数目。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当…..…时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

针对现有技术的针对问答数据的质量评价方式存在配置规则复杂且准去率较低的问题，本发明实施例提供了如下解决思路：通过神经网络对样本问答数据进行学习，得到灵活性更高、更贴近问答质量评估方式的质量评价模型，从而，利用该质量评价模型来实现对问答数据的质量评价。

在该思路的引导下，本方案实施例提供了以下可行的实施方案。

实施例一

第一方面，本发明实施例给出一种质量评价模型获取方法。请参考图1，该方法可以包括以下步骤：

S102，获取样本问答数据。

S104，利用槽位填充方式处理样本问答数据，得到与样本问答数据对应的样本质量评价分数。

S106，将样本问答数据作为初始质量评价模型的输入，将样本质量评价分数作为初始质量评价模型的输出，利用神经网络机制，对初始质量评价模型进行训练，得到训练后的目标质量评价模型。

本发明实施例所涉及的样本问答数据包括：应答人员的应答数据或者应答服务器的应答数据，此外，还可以包括用户的提问数据。

其中，问答数据的表现形式一般表现为语句。在其他的具体应用场景中，还可以有其他表现形式，本发明实施例对此无特别限定。

以及，本发明实施例对于问答数据的应用场景无特别限定。例如，在一个可行的实现场景中，该问答数据可以为购物平台中购物者与销售客服之间的问答数据；或者，又例如，在另一个可行的实现场景中，该问答数据还可以为企业网站针对业务咨询的问答数据。

本发明实施例中在具体实现S102步骤时，样本问答数据可以来源于操作人员的主动输入，或者，还可以在执行本方案时自动获取。其中，自动获取的方式可以有多种，例如，当本方案执行时，自动调取存储的所有历史问答数据，以作为样本问答数据。或者，又例如，考虑到过久的历史问答数据可能不准确，影响处理结果，因此，也可以自动调取与当前时刻之前的某段时间段内的历史问答数据，以作为样本问答数据。

其中，历史问答数据可以存储于自身，或者，也可以存储于其他存储空间，如存储于云服务器，或者如存储于第三方的存储空间。当历史问答数据存储于除自身之外的其他存储空间时，可以通过发送数据查询请求，并接收存储空间基于该数据查询请求反馈的历史问答数据的方式实现；或者，若具备数据调用权限的话，则可以直接去第三方存储空间调用这些历史问答数据。

本发明实施例的发明构思是基于样本问答数据进行深度学习，得到目标质量评价模型，该目标质量评价模型的输入为应答方的问答数据，输出为这些问答数据的质量评价分数。可以理解的是，样本问答数据的数目越多，该目标质量评价模型越准确且越贴近真实情况。

基于此，在执行S104时，可通过槽位填充方式来获取与样本问答数据对应的样本质量评价分数。

其中，槽位填充的方式是指将问答数据中的提问特征与答复特征分别作为槽位，通过匹配二者之间的槽位是否匹配来实现评分。在具体实现时，提问特征与答复特征可以通过语义识别的方式来获取。

具体的，针对每个样本问答数据，执行S104时可以参考图2，具体包括如下步骤：

S1042，对样本问答数据进行语义识别，得到样本问答数据的至少一个提问特征与至少一个答复特征。

S1044，利用槽位填充方式，对各提问特征与各答复特征进行匹配，得到有效问答特征。

S1046，根据有效问答特征，确定样本质量评价分数。

其中，S1042过程中所涉及的语义识别是通过对当前问题产生的上下文进行对话结构建模，通过机器学习方法分析出用户在提出当前问题时的上下文信息，通过对当前问题的句子组成结构分析，识别出当前问题所缺失的句子组成成份，再结合上下文进行主题分析和语义分析，对当前问题的语义信息进行扩展和理解，然后从系统检索出符合当前问题语义的答案。

为了便于理解，本发明实施例给出一种可实现的语义识别的具体实现方式：首先，对样本问答数据进行构造分析，通过句子成分分析模型得到样本问答数据的组成成分，然后判断样本问答数据中缺省的成分是什么，得到样本问答数据的成分组成与缺省成分记录。之后，通过人的口语习惯分析，发现缺省的问题成分通常会存在于对话的上下文中，则通过对上下文的成分进行分析，并结合咨询问题的句子成分，共同进行用户的语义识别，最终将句子的基础组成成分补充完整。从而，通过对样本问答数据的组成成分做为输入，将问题进行重新组合，并生成为系统能进行解释的句子表达方式，得到样本问答数据的至少一个提问特征与至少一个答复特征。

在图2所示方案中，S1044中，针对每个提问特征，当该提问特征能够在答复特征中得到匹配，则确定该提问特征为有效问答特征。

其中，提问特征与答复特征的匹配为语义匹配。以及，判定二者是否匹配可以提前预设。以及，在预设时，可以预设一个提问特征对应于多个答复特征，一个答复特征也可以对应于多个提问特征。

基于S1044得到的有效问答特征，确定样本质量评价分数的实现方式可以包括但不限于以下几种：

第一种，获取所述有效问答特征的数目，以作为所述样本质量评价分数。该方案是将有效问答特征的数目作为样本质量评价分数，那么，当提问特征与答复特征相匹配时，则记为1，当二者不匹配时，则记为0；如此，将每个提问特征的答复特征的匹配分数进行求和，就可以得到样本质量评价分数。

例如，一个样本问答数据经语义识别，得到5个提问特征和5个答复特征，然后基于二者之间的语义进行一一匹配，当存在与提问特征相匹配的答复特征时，则计数加一，反之，则不计数。如此，若5个提问特征中有3个能够在答复特征中得到匹配，那么，则可以得到该样本问答数据的质量评价分数为3。

第二种，获取所述有效问答特征的第一数目与总提问特征的第二数目，然后，获取所述第一数目与所述第二数目之间的比例，以作为所述样本质量评价分数。该方案是将有效问答特征在总提问特征中所占的比例，作为样本质量评价分数，那么，在得到样本质量评价分数后，还需要根据总提问特征的数目做归一化处理。

此时，仍以上述举例进行说明。此时，可以获取3个得到匹配的提问特征在总的提问特征中所占的比例，得到样本质量的评价分数，此时，为3/5＝0.6，也就是，该样本问答数据的质量评价分数为0.6。

第三种，根据预设的各提问特征的权重，获取各提问特征与各自对应的权重之积，其中，所述有效问答特征的权重大于其余提问特征的权重，然后，获取各提问特征的积之和，以作为所述样本质量评价分数。该方案是根据提问特征的重要程度，为每个提问特征设置不同的权重，通过权重的校正，得到样本质量评价分数。

此时，仍以上述举例进行说明。5个提问特征的权重分别为0.1、0.3、0.3、0.1、0.2，且第一个提问特征、第三个提问特征与第五个提问特征得到匹配，那么，根据权重的校正，得到其样本质量评价分数为：1*0.1+1*0.3+1*0.2＝0.6。

需要说明的是，以上三种实现方式可以单独使用，或者，也可以以至少两种实现方式的组合方式使用，本发明实施例对此无特别限定。

具体的，神经网络是一种模仿生物大脑突触-神经元结构进行数据处理的计算系统，由分为多层的计算节点和层间的连接组成。每个节点模拟一个神经元，执行某个特定运算，例如激活函数，节点之间的连接模拟神经突触，连接对于来自上一层节点输入的加权值代表了突触权重。神经网络具有强大的非线性、自适应信息处理能力。神经网络中的神经元将来自连接输入的累加值用激活函数处理后作为自身的输出。对应于不同的网络拓扑结构、神经元模型和学习规则，人工神经网络又包括感知器、Hopfield网络、波耳兹曼机等数十种网络模型，可以实现多种多样的功能，在模式识别、复杂控制、信号处理和最优化等方面都有应用。

那么，基于以上步骤，可以得到每个样本问答数据对应的样本质量评价分数，基于此，S106在实现时，将样本问答数据作为初始质量评价模型的输入，将样本质量评价分数作为初始质量评价模型的输出，利用神经网络机制，对初始质量评价模型进行学习，即可得到目标质量评价模型。

基于上述方法，可以得到基于样本问答数据训练后的目标质量评价模型，基于此，在对待评价问答数据进行质量评价时，如图3所示，还可以包括如下步骤：

S108，将待评价问答数据输入目标质量评价模型，得到待评价问答数据的质量评价分数。

如此，能够便捷的实现对待评价问答数据的质量评价，且相较于现有技术中通过配置复杂的打分规则得到的质量评价分数，基于这种训练应答的方式得到的目标质量评价模型更加贴近问答数据的评分需求，具有较高的灵活性；由此，只要样本问答数据的基数足够大，那么，得到的问答数据的质量评价分数就能够具备较高的准确率。

进一步的，在另一具体应用过过程中，考虑到一个应答方，可以包括应答人员或应答服务器，可能存在多个问答数据，那么，基于这些问答数据的质量评价分数，还可以进一步对应答方的整体应答质量进行评价。

此时，如图3所示，该方法还可以包括如下步骤：

S109，根据至少一个问答数据的质量评价分数，对至少一个问答数据的质量评价分数对应的应答人员的问答质量进行评价，得到应答人员的问答质量评分。

也就是说，根据应答方的至少一个问答数据的质量评价分数，对应答方的整体问答质量进行评价，得到应答人员的整体问答质量评分。这也能够进一步简化对应答方的质量评价过程，进一步简化人工操作，解放人力。

基于上述质量评价模型获取方法，本发明实施例还提供了一种计算机存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行如上所述任一种实现方式的质量评价模型获取方法。

本发明实施例的技术方案具有以下有益效果：

实施例二

基于上述实施例二所提供的医疗求助方法，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。

一方面，本发明实施例还提供了一种质量评价模型获取装置，具体的，可以参考图4，该质量评价模型获取装置400可以包括：

获取单元41，用于获取样本问答数据；

处理单元42，用于利用槽位填充方式处理样本问答数据，得到与样本问答数据对应的样本质量评价分数；

训练单元43，用于将样本问答数据作为初始质量评价模型的输入，将样本质量评价分数作为初始质量评价模型的输出，利用神经网络机制，对质量评价模型进行训练，得到训练后的目标质量评价模型。

其中，处理单元42具体用于：

对样本问答数据进行语义识别，得到样本问答数据的至少一个提问特征与至少一个答复特征；

利用槽位填充方式，对各提问特征与各答复特征进行匹配，得到有效问答特征；

根据有效问答特征，确定样本质量评价分数。

在一个实现场景中，处理单元42在执行根据有效问答特征，确定样本质量评价分数这一步骤时，可具体用于：

获取有效问答特征的数目，以作为样本质量评价分数。

在另一个实现场景中，处理单元42在执行根据有效问答特征，确定样本质量评价分数这一步骤时，可具体用于：

获取有效问答特征的第一数目与总提问特征的第二数目；

获取第一数目与第二数目之间的比例，以作为样本质量评价分数。

根据预设的各提问特征的权重，获取各提问特征与各自对应的权重之积，其中，有效问答特征的权重大于其余提问特征的权重；

获取各提问特征的积之和，以作为样本质量评价分数。

本发明实施例中，该质量评价模型获取装置400还可以包括：

评价单元(图4未示出)，用于将待评价问答数据输入目标质量评价模型，得到待评价问答数据的质量评价分数。

在另一实现场景中，该评价单元，还可进一步用于：

根据至少一个问答数据的质量评价分数，对至少一个问答数据的质量评价分数对应的应答人员的问答质量进行评价，得到应答人员的问答质量评分。

另一方面，本发明实施例还提供了一种计算机设备，请参考图5，该计算机设备500包括：存储器51、处理器52以及存储在存储器51中并可在处理器52上运行的计算机程序，处理器52执行计算机程序时实现如实施例一任一项所述的质量评价模型获取方法的步骤。

由于本实施例中的各单元能够执行实施例一所示的方法，本实施例未详细描述的部分，可参考对实施例一的相关说明。

本发明实施例的技术方案具有以下有益效果：

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种质量评价模型获取方法，其特征在于，包括：

获取样本问答数据；

2.根据权利要求1所述的方法，其特征在于，所述利用槽位填充方式处理所述样本问答数据，得到与所述样本问答数据对应的样本质量评价分数，包括：

根据所述有效问答特征，确定所述样本质量评价分数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述有效问答特征，确定所述样本质量评价分数，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述有效问答特征，确定所述样本质量评价分数，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据所述有效问答特征，确定所述样本质量评价分数，包括：

获取各提问特征的积之和，以作为所述样本质量评价分数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种质量评价模型获取装置，其特征在于，包括：

获取单元，用于获取样本问答数据；

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的质量评价模型获取方法。

10.一种计算机存储介质，其特征在于，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行如权利要求1至7任一项所述的质量评价模型获取方法。