CN112185355B - 一种信息处理方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种信息处理方法、装置、设备及可读存储介质，涉及人工智能技术领域，以提高为用户推荐的话术的准确性。该方法包括：根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，所述实际话术反馈信息包括话术、用户特征及反馈信息；根据所述实际话术反馈信息获得显著性检验基准结果；将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于1的整数；根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模。本发明实施例可以提高为用户推荐的话术的准确性。

Description

一种信息处理方法、装置、设备及可读存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种信息处理方法、装置、设备及可读存储介质。

背景技术

由于人工智能技术的发展，出现了许多通过机器人与人进行语音交流的系统，特别是语音客服，智能电销，智能催收，智能音箱等语音交互场景应用非常广泛。

在智能语音场景下，对于不同的用户希望通过AI(Artificial Intelligence，人工智能)算法让机器人采用不同的话术进行应答，从而提高业务效果。

进行用户特征分析的时候，如何验证不同的话术对不同用户特征的效果是需要解决的一个技术问题。

发明内容

本发明实施例提供一种信息处理方法、装置、设备及可读存储介质，以提高为用户推荐的话术的准确性。

第一方面，本发明实施例提供了一种信息处理方法，包括：

根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，所述实际话术反馈信息包括话术、用户特征及反馈信息；

根据所述实际话术反馈信息获得显著性检验基准结果；

将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于1的整数；

根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模。

第二方面，本发明实施例还提供一种信息处理装置，包括：

第一获取模块，用于根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，所述实际话术反馈信息包括话术、用户特征及反馈信息；

第二获取模块，用于根据所述实际话术反馈信息获得显著性检验基准结果；

第三获取模块，用于将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于1的整数；

第一确定模块，用于根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模。

第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的第一方面的方法中的步骤。

第四方面，本发明实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如上所述的第一方面的方法中的步骤。

在本发明实施例中，根据实际的话术反馈信息得到其对应的话术和用户特征的第一显著性检验结果，然后，将实际话术反馈信息中的话术和用户特征的组合与反馈信息进行随机组合，并获得随机组合后的第二显著性结果。之后，将第一显著性检验结果、第二显著性检验结果结合获取的显著性检验基准结果，确定是否需要利用所述话术进行算法建模。因此，利用本发明实施例的方案，可确定话术和特征之间是否存在显著性差异，并根据是否存在显著性差异确定是否需要利用所述话术进行算法建模，从而可提高为用户推荐的话术的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的信息处理方法的流程图之一；

图2是本发明实施例的应用场景示意图之一；

图3是本发明实施例提供的信息处理方法的流程图之二；

图4是本发明实施例提供的信息处理装置的结构图；

图5是本发明实施例提供的电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1是本发明实施例提供的信息处理方法的流程图，如图1所示，包括以下步骤：

步骤101、根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果。

其中，所述实际话术反馈信息可以是现实中真正在某个应用场景发生的话术反馈信息。其中，该实际话术反馈信息中可包括话术，用户特征，反馈信息等信息。其中，话术可以是该应用场景对应的提示会话。比如，借贷场景中，该话术可以是开场白、有关场景特点的介绍等话术。所述用户特征可以包括性别，年龄，职业，消费记录等等信息。话术和用户特征形成组合关系。也就是说，某个话术是具有与该话术对应的用户特征的。反馈信息指的是，在利用话术为用户推荐了某个业务后，接收到的用户对该推荐的反馈，比如用户是否使用该业务等。如果使用了该业务，那么，反馈信息可以为转化，否则为未转化。

在进行话术推荐建模之前，需要验证不同话术对于不同用户特征在是否转化上是否具有相关关系。只有某个话术对于某个用户特征的转化有相关关系，才有必要利用该话术作为训练样本进行算法建模，否则无需利用该话术作为训练样本进行建模。

相关关系体现在不同话术在具有不同用户特征的用户的转化效果上的差异大小。比如正向利益和危害告知两种话术在男女性别上是有差异的，采用正向利益话术对男性用户的转化率高，采用危害告知话术对女性用户的转化率高，那么，就可认为正向利益和男性这一用户特征之间具有相关关系，危害告知和女性这一用户特征具有相关关系。

在本发明实施例中，基于获得的实际话术反馈信息，将其中包括的话术和用户特征进行显著性检验，得到第一显著性检验结果。

显著性检验(significance test)就是事先对总体(随机变量)的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设(备择假设)是否合理，即判断总体的真实情况与原假设是否有显著性差异。或者说，显著性检验要判断样本与对总体所做的假设之间的差异是纯属机会变异，还是由所做的假设与总体真实情况之间不一致所引起的。显著性检验是针对所做的假设做检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设。

在本发明实施例中，将所述实际话术反馈信息中的话术和用户特征进行卡方检验，得到第一P值分布。也即，在此过程中，是利用真正的话术和真正的用户特征进行显著性检验，形成所有真实话术和所有用户特征之间的P值分布。

其中，所述话术为实际话术反馈信息中任意的话术，所述用户特征是该话术对应的用户特征。

步骤102、根据所述实际话术反馈信息获得显著性检验基准结果。

在此步骤中，将所述话术和用户特征的组合与反馈信息进行M次随机组合，得到M个随机话术反馈信息，其中，M为大于或等于1的整数，然后，分别将所述M个随机话术反馈信息中的话术和用户特征进行卡方检验，得到M个第二P值分布。之后，求取所述M个第二P值分布的平均值，并将所述平均值作为所述显著性检验基准结果。

在具体应用中，可在保证一定的转化率的前提下，将实际话术反馈信息中话术和用户特征的组合和对应的反馈信息打乱，然后，将话术和用户特征的组合与反馈信息进行随机组合。之后，再基于获得的每个随机组合，对其中包括的话术和用户特征进行卡方检验，得到每个随机组合对应的P值分布，也即上述第二P值分布。最后，对获得的多个第二P值分布求取平均值，得到显著性检验基准结果。

也即，在此过程中，是利用随机的话术和用户特征进行显著性检验，形成随机的真实话术和所有用户特征之间的P值分布，并求取其均值。

步骤103、将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于1的整数。

在此步骤中，将所述话术和用户特征的组合与反馈信息进行N次随机组合，得到N个随机话术反馈信息，然后，对于N个随机话术反馈信息中的第P个随机话术反馈信息，将所述第P个随机话术反馈信息中的话术和用户特征进行卡方检验，得到第三P值分布。之后，分别将获得的N个第三P值分布和所述显著性检验基准结果进行卡方检验，得到N个中间显著性检验结果。最后，利用所述N个中间显著性检验结果，得到所述第二显著性检验结果。

也就是说，在上述过程中，每进行一次随机组合，都将该随机话术反馈信息中的话术和用户特征进行显著性检验，获得对应的P值分布。然后，将该P值分布和显著性检验基准结果进行卡方检验，得到所述第二显著性检验结果。

步骤104、根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模。

具体的，在此步骤中，将所述第一显著性检验结果和所述显著性检验基准结果进行卡方检验，得到第三显著性检验结果。然后，将所述第三显著性检验结果和所述第二显著性检验结果进行卡方检验，确定是否需要利用所述话术进行算法建模。

如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间的差异显著，则确定需要利用所述话术进行算法建模。具体的，如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间具有差异的概率小于5％，则表示所述第三显著性检验结果和所述第二显著性检验结果的差异显著，那么确定需要利用所述话术进行算法建模。也就是说，如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间具有差异的概率大于95％，则表示话术和用户特征之间确实存在差异，也即该差异并不是偶然产生的，而是真正存在的。那么，此时则可以利用所述话术进行算法建模。

通过以上描述可以看出，在本发明实施例中，根据实际的话术反馈信息得到其对应的话术和用户特征的第一显著性检验结果，然后，将实际话术反馈信息中的话术和用户特征的组合与反馈信息进行随机组合，并获得随机组合后的第二显著性结果。之后，将第一显著性检验结果、第二显著性检验结果结合获取的显著性检验基准结果，确定是否需要利用所述话术进行算法建模。因此，利用本发明实施例的方案，可确定话术和特征之间是否存在显著性差异，且存在的显著性差异并不是随机差异产生的，并根据是否存在显著性差异确定是否需要利用所述话术进行算法建模，从而可提高为用户推荐的话术的准确性。

例如，以图2所示的场景为例，描述一下本发明实施例信息处理的实现过程。假设在“促首借沉默客户”的场景中包括开场白、产品特点、利益告知、使用说明等话术部分，不同的话术部分可包括不用的话术，例如，开场白中包括机主本人、产品名称介绍等话术。

对于该使用场景，获得实际的话术反馈信息，包括话术，用户特征，反馈信息等。比如，以利益告知这个话术部分为例，对于不同的用户特征(男或女)其反馈信息如表1所示：

表1

	男	女
			正向利益	76	80
危害告知	55	50

结合图3所示，本发明实施例的信息处理方法可包括：

步骤301、对实际的话术反馈信息中的话术和用户特征进行卡方检验，形成真实所有话术和所有用户特征的显著性检验的第一显著性检验结果。

步骤302、将实际的话术反馈信息中的话术和用户特征的组合与反馈信息随机打乱，对每次打乱后的反馈信息中的话术和用户特征进行卡方检验，得到对应的P值分布。

步骤303、重复执行步骤302多次，例如100次，将多次的P值分布求取均值，得到显著性检验基准结果。其中，显著性检验基准结果可如表2所示。

表2

步骤304、将实际的话术反馈信息中的话术和用户特征的组合与反馈信息随机打乱，对每次打乱后的反馈信息中的话术和用户特征进行卡方检验，得到对应的P值分布。

步骤305、将步骤304获得的P值分布和步骤303获得的显著性检验基准结果进行卡方检验，获得中间P值分布。

步骤306、重复步骤304-305多次，例如10000次，利用获得的多个中间P值分布得到第二显著性检验结果。

步骤307、将所述第一显著性检验结果和所述第二显著性检验结果进行卡方检验，确定是否需要利用所述话术进行算法建模。

如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间具有差异的概率小于5％，则表示所述第三显著性检验结果和所述第二显著性检验结果的差异显著，那么确定需要利用所述话术进行算法建模。

例如对比【正向利益】和【危害告知】话术对于性别特征转化是否有差异。对话术与特征进行卡方检验可以得到它们是否有差异，他们之间存在差异的概率为95％。如果在实际应用中，用户特征除了性别还有用户其他特征，话术除了列举的【正向利益】和【危害告知】也还有其他的话术，那么，用户特征和话术的对比组合可能有上百组，其中每组都有95％的概率是存在差异的。假设100个组合中有5组的差异显著，但无法得知这5组的差异显著是真实显著还是随机造成的差异显著。

在本发明实施例中，不仅要对单个话术与单个用户特征进行显著性检验，还要对所有话术与用户特征的显著性检验P值分布再进行显著性检验，并且用多次随机的方式验证真实结果与随机结果之间是否有差异。如上所述，首先对每个话术和用户特征的组合与对应的反馈信息进行随机打乱，用打乱后的数据进行卡方检验。为排除单次随机的差异，用100次随机结果的平均值，形成话术与用户特征的卡方检验P值分布。以这个平均结果为基准，分别用真实结果和随机结果与其进行卡方检验。用随机结果与其进行10000次卡方检验，得到随机10000次的卡方值分布，用真实结果与其进行卡方检验，得到一个真实卡方值。如果这个真实卡方值处在随机10000次分布的98％的位置，由于其大于95％，则可以说明不同话术与不同用户特征之间对于反馈信息是有差异的，可以通过建模利用所述话术进行算法建模。

需要说明的是，本发明实施例的方案适用于所有智能语音需要话术优化场景，包括但不限于智能外呼、呼入、语音催收、回访、电销等，也适用于文本多轮对话话术优化场景。

通过以上描述可以看出，利用本发明实施例的方案，可对P值分布整体进行检验，确定多个话术对比组和多个特征中至少有一组是有差异的，从而可以进一步采用算法进行建模，从而防止只用单个话术和单个特征进行检验得出错误结论的问题，可提高为用户推荐话术的准确性。

本发明实施例还提供了一种信息处理装置。参见图4，图4是本发明实施例提供的信息处理装置的结构图。由于信息处理装置解决问题的原理与本发明实施例中信息处理方法相似，因此该信息处理装置的实施可以参见方法的实施，重复之处不再赘述。

如图4所示，信息处理装置400包括：

第一获取模块401，用于根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，所述实际话术反馈信息包括话术、用户特征及反馈信息；第二获取模块402，用于根据所述实际话术反馈信息获得显著性检验基准结果；第三获取模块403，用于将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于的整数；第一确定模块404，用于根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模。

可选的，所述第一获取模块401可用于，将所述实际话术反馈信息中的话术和用户特征进行卡方检验，得到第一P值分布。

可选的，所述第二获取模块402可包括：

第一获取子模块，用于将所述话术和用户特征的组合与反馈信息进行M次随机组合，得到M个随机话术反馈信息，其中，M为大于或等于1的整数；第二获取子模块，用于分别将所述M个随机话术反馈信息中的话术和用户特征进行卡方检验，得到M个第二P值分布；第三获取子模块，用于求取所述M个第二P值分布的平均值，并将所述平均值作为所述显著性检验基准结果。

可选的，所述第三获取模块403可包括：

第一获取子模块，用于将所述话术和用户特征的组合与反馈信息进行N次随机组合，得到N个随机话术反馈信息；第二获取子模块，用于对于N个随机话术反馈信息中的第P个随机话术反馈信息，将所述第P个随机话术反馈信息中的话术和用户特征进行卡方检验，得到第三P值分布；第三获取子模块，用于分别将获得的N个第三P值分布和所述显著性检验基准结果进行卡方检验，得到N个中间显著性检验结果；第四获取子模块，用于利用所述N个中间显著性检验结果，得到所述第二显著性检验结果。

可选的，所述第一确定模块404可包括：

第一获取子模块，用于将所述第一显著性检验结果和所述显著性检验基准结果进行卡方检验，得到第三显著性检验结果；第一确定子模块，用于将所述第三显著性检验结果和所述第二显著性检验结果进行卡方检验，确定是否需要利用所述话术进行算法建模。

可选的，第一确定子模块，用于如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间的差异显著，则确定需要利用所述话术进行算法建模。

可选的，如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间具有差异的概率小于5％，则表示所述第三显著性检验结果和所述第二显著性检验结果的差异显著，那么确定需要利用所述话术进行算法建模。

本发明实施例提供的装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

如图5所示，电子设备500包括：存储器501、处理器502及存储在所述存储器501上并可在所述处理器上运行的程序；所述处理器502，用于读取存储器中的程序实现前述信息处理方法的各个步骤。

本发明实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述信息处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁盘或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。根据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁盘、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种信息处理方法，其特征在于，包括：

根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，所述实际话术反馈信息包括话术、用户特征及反馈信息；

根据所述实际话术反馈信息获得显著性检验基准结果；

将所述话术和用户特征的组合，与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于1的整数；

根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否利用所述话术进行算法建模；

其中，所述根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模，包括：

将所述第一显著性检验结果和所述显著性检验基准结果进行卡方检验，得到第三显著性检验结果；

将所述第三显著性检验结果和所述第二显著性检验结果进行卡方检验，确定是否需要利用所述话术进行算法建模。

2.根据权利要求1所述的方法，其特征在于，所述根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，包括：

将所述实际话术反馈信息中的话术和用户特征进行卡方检验，得到第一P值分布。

3.根据权利要求1所述的方法，其特征在于，所述根据所述实际话术反馈信息获得显著性检验基准结果，包括：

将所述实际话术反馈信息中的实际话术和用户特征的组合与反馈信息进行M次随机组合，得到M个随机话术反馈信息，其中，M为大于或等于1的整数；

分别将所述M个随机话术反馈信息中的话术和用户特征进行卡方检验，得到M个第二P值分布；

求取所述M个第二P值分布的平均值，并将所述平均值作为所述显著性检验基准结果。

4.根据权利要求1所述的方法，其特征在于，所述将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，包括：

将所述话术和用户特征的组合与反馈信息进行N次随机组合，得到N个随机话术反馈信息；

对于N个随机话术反馈信息中的第P个随机话术反馈信息，将所述第P个随机话术反馈信息中的话术和用户特征进行卡方检验，得到第三P值分布；

分别将获得的N个第三P值分布和所述显著性检验基准结果进行卡方检验，得到N个中间显著性检验结果；

利用所述N个中间显著性检验结果，得到所述第二显著性检验结果。

5.根据权利要求1所述的方法，其特征在于，所述将所述第三显著性检验结果和所述第二显著性检验结果进行卡方检验，确定是否需要利用所述话术进行算法建模，包括：

如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间的差异显著，则确定需要利用所述话术进行算法建模。

6.根据权利要求5所述的方法，其特征在于，所述表示话术和用户特征之间的差异显著具体包括：如果所述第三显著性检验结果在所述第二显著性检验结果中的分布位置表示话术和用户特征之间具有差异的概率小于5％，则表示所述第三显著性检验结果和所述第二显著性检验结果的差异显著。

7.一种信息处理装置，其特征在于，包括：

第一获取模块，用于根据实际话术反馈信息中的话术和用户特征进行显著性检验，得到第一显著性检验结果，所述实际话术反馈信息包括话术、用户特征及反馈信息；

第二获取模块，用于根据所述实际话术反馈信息获得显著性检验基准结果；

第三获取模块，用于将所述话术和用户特征的组合与反馈信息进行N次随机组合，并根据获得的N个随机话术反馈信息得到第二显著性检验结果，其中，N为大于的整数；

第一确定模块，用于根据所述第一显著性检验结果、所述显著性检验基准结果和所述第二显著性检验结果，确定是否需要利用所述话术进行算法建模；

其中，所述第一确定模块包括：

第一获取子模块，用于将所述第一显著性检验结果和所述显著性检验基准结果进行卡方检验，得到第三显著性检验结果；

第一确定子模块，用于将所述第三显著性检验结果和所述第二显著性检验结果进行卡方检验，确定是否需要利用所述话术进行算法建模。

8.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；其特征在于，所述处理器，用于读取存储器中的程序实现包括如权利要求1至6中任一项所述的信息处理方法中的步骤。

9.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现包括如权利要求1至6中任一项所述的信息处理方法中的步骤。

Images