CN111988195B - 用于分组测试的应答方案确定方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种用于分组测试的应答方案确定方法、装置、设备及介质，分组测试对应至少两个测试方案，所述方法包括：获取检测到的待应答会话事件中包含的会话用户标识；从缓存数据库中查找与会话用户标识对应的应答逻辑数据；当在缓存数据库中查找到与会话用户标识对应的应答逻辑数据时，根据查找到的应答逻辑数据确定待应答会话事件的应答方案，通过在测试方案发生变更后，通过在缓存中查询到会话用户原始测试方案所对应的应答逻辑数据，根据原始测试方案所对应的应答逻辑数据进行会话响应，使得待应答会话事件的应答更加准确，提高了用户体验。

Description

用于分组测试的应答方案确定方法、装置、设备及介质

技术领域

本发明实施例涉及信息处理领域，尤其涉及一种用于分组测试的应答方案确定方法、装置、设备及介质。

背景技术

分组测试(AB测试)是为了验证不同方案对用户体验的提升和影响，通过某种规则将用户请求分流到并存的多个方案中，然后通过数据埋点或者数据分析，评估出用户反应较好的方案。现有通用的AB测试，需要在用户请求的时候直接进行分流，使满足A方案规则用户的进入A方案，满足B方案规则的用户进入B方案。例如：用户访问年货节促销页面，现有2套用户体验设计的设计方案，为了验证每套方案的效果，将上述2套方案进行AB部署验证效果；当用户A访问页面时，根据分流方案将用户A分流至方案A，用户B访问页面时，根据分流方案将用户B分流至方案B；通过埋点发现，访问方案A的用户，购买年货的数量大比例高于方案B的用户，则可以确定方案A的体验更好。

AB测试中的每个测试方案有对应的应答规则。用户在与智能客服的会话过程中，智能客服能够根据用户意图确定相应的应答方案，且应答方案是递进的形式。例如，正常的会话流程为：用户：我要取消订单；智能客服：您的订单还不错，考虑一下呢；用户：我考虑好了，帮我取消吧；智能客服：好的，已帮您取消；用户：那我的退款几天到账；智能客服：您的退款3-5工作日内返还；用户：好的；智能客服：请你对我的服务进行评价。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：用户在会话的过程中，若运营人员需要更改AB测试中包含的测试方案，则可能会导致用户对应的测试方案变更，从而导致用户与智能客户的会话过程重新开始。由此可见，AB测试的测试方案发生改变时容易导致智能客服应答不准确，用户体验差。

发明内容

本发明实施例提供了一种用于分组测试的应答方案确定方法、装置、设备及介质，以实现解决分组测试更换测试方案时所造成的应答不准确的问题，提高用户体验。

第一方面，本发明实施例提供了一种用于分组测试的应答方案确定方法，所述分组测试对应至少两个测试方案，所述方法包括：

获取检测到的待应答会话事件中包含的会话用户标识；

从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的应答逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据；

当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案。

第二方面，本发明实施例还提供了一种用于分组测试的应答方案确定装置，包括：

用户标识获取模块，用于获取检测到的待应答会话事件中包含的会话用户标识；

应答逻辑获取模块，用于从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据；

应答方案确定模块，用于当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答方案逻辑数据确定所述待应答会话事件的应答方案。

第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的用于分组测试的应答方案确定方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的用于分组测试的应答方案确定方法。

本发明实施例通过获取检测到的待应答会话事件中包含的会话用户标识；从缓存数据库中查找与会话用户标识对应的应答逻辑数据；当在缓存数据库中查找到与会话用户标识对应的应答逻辑数据时，根据查找到的应答逻辑数据确定待应答会话事件的应答方案，通过在测试方案发生变更时，将当前活跃会话的会话用户的原始测试方案的应答逻辑数据存储在缓存中，使得在测试方案发生变更后，可以在缓存中查询到会话用户原始测试方案所对应的应答逻辑数据，根据原始测试方案所对应的应答逻辑数据进行会话响应，使得待应答会话事件的应答更加准确，提高用户体验。

附图说明

图1a是本发明实施例一所提供的一种用于分组测试的应答方案确定方法的流程图；

图1b是测试方案1对应的应答方案树示意图；

图1c是测试方案2对应的应答方案树示意图；

图2是本发明实施例二所提供的一种用于分组测试的应答方案确定方法的流程图；

图3a是本发明实施例三所提供的一种用于分组测试的应答方案确定方法的流程示意图；

图3b是本发明实施例三所提供的一种会话应答系统的结构示意图；

图3c是本发明实施例三所提供的一种测试方案设置示意图；

图3d是本发明实施例三所提供的又一种测试方案设置示意图；

图4是本发明实施例四所提供的一种用于分组测试的应答方案确定装置的结构示意图；

图5是本发明实施例五所提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a是本发明实施例一所提供的一种用于分组测试的应答方案确定方法的流程图。本实施例可适用于在进行分组测试时，响应用户发起的待应答会话事件时的情形，其中，分组测试对应至少两个测试方案。该方法可以由用于分组测试的应答装置执行，该用于分组测试的应答装置可以采用软件和/或硬件的方式实现，例如，该用于分组测试的应答装置可配置于计算机设备中。如图1a所示，所述方法包括：

S110、获取检测到的待应答会话事件中包含的会话用户标识。

在本实施例中，会话用户表示为发起待应答会话事件的会话用户的标识，可唯一确定会话用户的用户身份。示例性的，会话用户标识可以为会话用户的用户名、用户手机号码、用户身份标识号码(IDentity，ID)和/或用户个人识别码(Personal IdentificationNumber，PIN)等。一般的，客户端依据用户操作发起的待应答会话事件中包含会话用户标识，可以通过对待会话事件的信息进行解析，获得待应答会话事件中包含的会话用户标识。示例性的，可以通过关键字提取、特征码匹配等方式从待会话事件中获得会话用户标识。

S120、从缓存数据库中查找与会话用户标识对应的应答逻辑数据。

现有技术中，当检测到待应答会话事件时，根据待应答会话事件的会话用户标识将用户进行分流，基于用户被分流至的测试方案确定待应答会话事件的应答方案。当用户发起的会话为已发起的会话事件时，容易导致用户的会话过程重新开始。例如，图1b是测试方案1对应的应答方案树示意图。图1c是测试方案2对应的应答方案树示意图。当用户发起会话时，根据预先设定的分流策略，用户被分流至测试方案1，但在用户与智能客户的会话过程中，AB测试的测试方案进行了更改，该用户在发起会话后，被重新分流至测试方案2，则根据如图1b、图1c所示的方案树以及用户发起的会话信息可能发生如下会话：用户：我要取消订单；智能客服：您的订单还不错，考虑一下呢；用户：我考虑好了，帮我取消吧；(此时方案进行了切换)智能客服：您取消的原因是什么呢？您的订单还不错，考虑一下呢；用户：？？？？；智能客服：您有什么问题需要我解答呢；用户：转人工。

由此可见，由于不同的测试方案对应不同的应答逻辑数据，对于同一用户，在会话过程中测试方案的变更可能会导致应答逻辑的变更，从而造成应答逻辑混乱。针对上述技术问题，在本实施例中，在分组测试对应的测试方案发生变更时，将当前活跃会话的原始测试方案所对应的应答逻辑数据与当前活跃会话的用户标识对应存储在缓存中，使得测试方案的变更不会对已经发生了会话事件的用户的会话应答产生影响。也就是说，缓存数据库中存储的应答逻辑数据是在分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据。可选的，缓存数据库可以为Redis数据库。Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，提供了多种语言的编程接口。Redis支持存储的数据类型较多，且支持各种不同方式的排序。使用Redis的分布式缓存特点对应答逻辑数据进行缓存，提升了应答逻辑数据的读取速度。其中，测试方案的变更可以包括测试方案的增加和/或测试方案的删除。

可选的，从缓存数据库中查找与会话用户标识对应的应答逻辑数据可以包括：将会话用户标识与缓存数据库中存储的存储用户标识进行匹配，将缓存数据库中与会话用户标识相匹配的存储用户标识对应的应答逻辑数据作为会话用户标识对应的应答逻辑数据。其中，会话用户标识与存储用户标识相匹配可以为会话用户标识与存储用户标识一致。示例性的，若会话用户标识为A，则查找缓存数据库中存储用户标识为A所对应的应答逻辑数据B，并将应答逻辑数据B作为会话用户标识A对应的应答逻辑数据。

在本发明的一种实施方式中，所述应答逻辑数据采用方案树结构，当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，所述方法还包括：从所述缓存数据库中获取与所述会话用户标识对应的应答状态，所述应答状态用于表征所述待应答会话事件的进程。

在本实施例中，应答逻辑数据方案是递进的，具有层次关系。因此，应答逻辑数据可以通过方案树结构的形式存储。方案树结构是方案的数据元素(节点)分支关系组织起来的结构，每个元素称为节点，特定的节点称为根结点或根，除根结点外，其余结点被分成m(m>＝0)个互不相交的有限集合，而每个子集又都是一棵树，称为原树的子树。在接收到用户的会话信息时，可以直接查找方案树结构，获取相应的应答方案。

考虑到方案树结构的应答逻辑数据节点较多，直接查找整个方案树结构过程较复杂，可以在测试方案变更时同时存储相应的应答状态，用于表示会话事件在方案树结构中的应答节点，在从缓存数据库中获取与会话用户标识对应的应答逻辑数据时，同时从缓存数据库中获取与会话用户标识对应的应答状态，以根据应答状态在方案树结构中确定待应答会话事件的应答方案。

S130、当在缓存数据库中查找到与会话用户标识对应的应答逻辑数据时，根据查找到的应答逻辑数据确定待应答会话事件的应答方案。

在本实施例中，根据待应答会话事件中包含的会话信息从应答逻辑数据中查找相应的应答方案。示例性的，若待应答事件中包含的会话信息为“我要取消订单”，则从应答逻辑数据中查找相应的应答方案，确定应答方案为“您的订单还不错，考虑一下呢”。

在本发明的一种实施方式中，所述根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案，包括：

根据所述应答状态确定所述待应答会话事件在所述方案树结构中的应答节点；

根据所述应答节点以及所述待应答会话事件中包含的会话信息确定所述待应答会话事件的应答方案。

可选的，若应答逻辑数据为方案树结构的形式，且获取与会话用户标识对应的应答逻辑数据时，同时获取了相应的应答状态，则根据应答状态和待会话事件中包含的会话信息确定待会话事件的应答方案。具体的，根据应答状态确定待会话事件所进行到的应答节点，在确定的应答节点根据会话信息从方案树的相应应答节点处确定待会话事件的应答方案。示例性的，若获取的应答逻辑数据为方案树结构A，应答状态对应的应答节点为节点B，则从方案树结构A的节点B中获取与会话信息对应的应答方案。根据方案树结构和应答状态确定应答方案能够减少查找整个方案树结构所需的时间，加快了应答方案的确定速度，进而加快了对待应答事件的应答。

在上述方案的基础上，所述方法还包括：

根据所述应答方案更新所述缓存数据库中所述会话用户标识对应的应答状态。

确定待应答事件的应答方案后，该待应答会话事件在方案树结构中所进行到的节点也发生了相应的变更。在本实施例中，在确定应答方案后，根据应答方案更新缓存数据库中会话用户标识对应的应答状态，以使用户再次发起会话请求时，根据更新后的应答状态快速准确的确定相应的应答方案。示例性的，若从缓存数据库中获取的会话用户标识对应的应答状态对应的应答节点为节点B，根据节点B从方案树结构中确定应答方案后，将应答状态变更为应答方案对应的节点C，以使再次接收到该用户的待应答事件时，根据更新后的应答状态(节点C)从方案树结构中确定相应的应答方案。

本发明实施例通过获取检测到的待应答会话事件中包含的会话用户标识；从缓存数据库中查找与会话用户标识对应的应答逻辑数据；当在缓存数据库中查找到与会话用户标识对应的应答逻辑数据时，根据查找到的应答逻辑数据确定待应答会话事件的应答方案，通过在测试方案发生变更时，将当前活跃会话的会话用户的原始测试方案的应答逻辑数据存储在缓存中，使得在测试方案发生变更后，可以在缓存中查询到会话用户原始测试方案所对应的应答逻辑数据，根据原始测试方案所对应的应答逻辑数据进行会话响应，使得待应答会话事件的应答更加准确，提高用户体验。

在上述方案的基础上，所述方法还包括：

当在所述缓存数据库中未查到与所述会话用户标识对应的应答逻辑数据时，则根据预先设定的分流策略确定所述会话用户标识对应的测试方案；

根据所述待应答会话事件中包含的会话信息确定所述待应答会话事件的会话场景，所述会话场景用于表征所述会话用户标识对应的用户发起所述待应答会话事件的会话需求；

从方案树存储数据库中获取与所述会话场景以及所述测试方案对应的应答逻辑数据，根据所述应答逻辑数据确定所述待应答会话事件的应答方案。

在本实施例中，若缓存数据库中未存储会话用户标识对应的应答逻辑数据，表示该会话用户标识对应的会话用户发起的待应答会话事件为新发起的会话事件，或在测试方案发生变更时，该会话用户对应的测试方案未发生变更。因此，当在缓存数据库中未查找到与会话用户标识对应的应答逻辑数据时，对会话用户标识对应的会话用户进行分流，根据分流后的测试方案从方案树存储数据库中获取相应的应答逻辑数据，进而确定待应答会话事件的应答方案。其中，方案树存储数据库中存储了不同的会话场景下各测试方案对应的应答逻辑数据。可选的，方案树存储数据库可以为HBase数据库。HBase是一个分布式的、面向列的开源数据库，适合于非结构化数据存储。使用HBase的高性能读取提升了应答逻辑数据的读取速度。

具体的，可以生成会话用户标识对应的哈希值，根据生成的哈希值以及预先设置的哈希环确定会话用户对应的测试方案，根据待应答事件中包含的会话信息确定会话场景，根据测试方案和会话场景从方案树存储数据中获取相应的应答逻辑数据，根据获取的应答逻辑数据确定待应答会话事件的应答方案。示例性的，若根据会话用户标识对应的哈希值和预先设置的哈希环确定会话用户对应的测试方案为方案M，根据会话信息确定的会话场景为场景1，则从方案树存储数据库中查找到场景1下方案M对应的应答逻辑数据N，根据应答逻辑数据N确定待应答会话事件的应答方案。

在本实施例中，会话场景用于表征所述会话用户标识对应的用户发起所述待应答会话事件的会话需求，如取消订单、发货快递、发货时间等。可选的，可以根据会话信息中的关键字确定会话场景，也可以在接收到用户发起的待应答会话事件后，向用户展示可选择的会话场景，根据用户的选择确定会话场景。

实施例二

图2是本发明实施例二所提供的一种用于分组测试的应答方案确定方法的流程图。本实施例在上述实施例的基础上将缓存数据库中的应答逻辑数据的存储进行了具体化。如图2所示，所述方法包括：

S210、当分组测试对应的测试方案发生变更时，获取当前活跃会话的会话用户被分流到的原始测试方案。

在本实施例中，当分组测试对应的测试方案发生变更时，确定当前活跃会话，并获取当前活跃会话的会话用户在测试方案变更前被分流到的原始测试方案。其中，测试方案的变更可以为测试方案的增加和/或测试方案的删减，如从分组测试的多个原始测试方案中删减测试方案1，或在原始测试方案中添加测试方案2，或从原始测试方案中删减测试方案1后，再在删减后的测试方案中添加测试方案2等。当前活跃会话为正在进行中的会话，包括待应答会话以及已应答但未结束的会话。

在本发明的一种实施方式中，针对每一当前活跃会话，可以直接获取当前活跃会话的会话用户被分流到的原始测试方案。例如，当接收到会话用户发起的初始会话请求后，根据预先设定的分流策略对该会话用户进行分流，确定会话用户对应的原始测试方案，并进行存储。当测试方案发生变更时，直接获取存储的会话用户对应的原始测试方案。在本发明的另一种实施方式中，也可以在测试方案发生变更时，即时根据会话用户的用户标识以及预先设定的分流策略从变更前的测试方案中确定会话用户被分流到的原始测试方案。

S220、根据预先设定的分流策略重新确定当前活跃会话的会话用户对应的变更测试方案。

确定当前活跃会话的会话用户对应的原始测试方案后，根据变更后的测试方案对当前活跃会话的会话用户进行分流，确定当前活跃会话的会话用户对应的变更测试方案。需要说明的是，确定会话用户对应的原始测试方案、确定会话用户对应的变更测试方案，以及当在缓存数据库中未查到与所述会话用户标识对应的应答逻辑数据时，确定所述会话用户标识对应的测试方案的方式应为相同的分流方式。

S230、将变更测试方案与原始测试方案进行比对，若变更测试方案与原始测试方案比对不一致，则将原始测试方案对应的应答逻辑数据以及会话用户的用户标识对应存储至缓存数据库中。

在本实施例中，确定当前活跃会话事件的会话用户的原始测试方案和变更测试方案后，针对每一当前活跃会话，将会话用户的原始测试方案和变更测试方案进行比对，若原始测试方案和变更测试方案比对不一致，说明测试方案发生变更后，该当前活跃会话的会话用户的测试方案发生了变更。为了使该当前活跃会话的会话响应能够更加准确，将原始测试方案对应的应答逻辑数据以及会话用户的用户标识存储至缓存数据库中，使得再次接收到该会话用户的待应答会话事件时，根据缓存中存储的原始测试方案的应答逻辑数据进行响应。

将会话用户的原始测试方案对应的应答逻辑数据存储至缓存数据库中，保证了能够根据原始应答逻辑继续响应该会话用户的会话，且保证了在测试方案删减，无法从方案树存储数据库中获取删减后的测试方案对应的应答逻辑数据时，能够从缓存数据库中获取已删减的测试方案对应的应答逻辑数据，保证了系统的稳定性。

在上述方案的基础上，所述方法还包括：

若变更测试方案与原始测试方案比对不一致，则将当前活跃会话的应答状态以及会话用户的用户标识对应存储至缓存数据库中。

在本实施例中，为了加快待应答会话事件的响应速度，还可以在变更测试方案与原始测试方案比对不一致时，将当前活跃会话的应答状态与会话用户的用户表示对应存储至缓存数据库中，使得再次接收到该会话用户的待应答会话事件时，根据应答状态从应答逻辑数据中快速确定应答方案。

S240、获取检测到的待应答会话事件中包含的会话用户标识。

S250、从缓存数据库中查找与会话用户标识对应的应答逻辑数据。

S260、当在缓存数据库中查找到与会话用户标识对应的应答逻辑数据时，根据查找到的应答逻辑数据确定待应答会话事件的应答方案。

需要说明的是，在本实施例中，对在缓存数据库中存储应答逻辑数据的方案(S210-S230)和响应待应答会话事件的方案(S240-S260)的顺序不做限制。可以先执行在缓存数据库中存储应答逻辑数据的方案，再执行响应待应答会话事件的方案，也可以在执行响应待应答会话事件的方案后执行在缓存数据库中存储应答逻辑数据的方案。

本发明实施例的技术方案，在上述实施例的基础上将将缓存数据库中的应答逻辑数据的存储进行了具体化，通过当分组测试对应的测试方案发生变更时，获取当前活跃会话的会话用户被分流到的原始测试方案；根据预先设定的分流策略重新确定当前活跃会话的会话用户对应的变更测试方案；将变更测试方案与原始测试方案进行比对，若变更测试方案与原始测试方案比对不一致，则将原始测试方案对应的应答逻辑数据以及会话用户的用户标识对应存储至缓存数据库中，保证了在测试方案变更后仍能从缓存数据库中查找到会话用户原始测试方案对应的应答逻辑数据，在待应答会话事件的应答更加准确的基础上，增加了系统的稳定性。

在上述方案的基础上，所述根据预先设定的分流策略重新确定所述当前活跃会话的会话用户对应的变更测试方案，包括：使用预先设定的哈希环确定所述当前活跃会话的会话用户对应的变更测试方案，所述哈希环的节点上设置有至少一组分组测试的测试方案。

考虑到若直接使用哈希取模(hash(o)mod n)的方式对会话用户进行分流，会导致在测试方案发生变更时，大量会话用户被分流到新方案，使得需要在缓存数据库中存储的数据量剧增，甚至造成缓存请求排队现象，对正常的系统应答造成影响。例如：方案由3个变成4个时，原始公式(hash(o)mod n)值为2，而新公式(hash(o)mod n-1)值可能为0，1，2，3中的一个，约有75％的会话会将带状态方案树放入缓存，且该比例会随着测试方案的方案数量呈线性上升。在本实施例中，使用哈希环进行分流，使得在测试方案变更后，被分流到新方案的用户量减小，从而减小缓存占用，进而减少系统的压力。在本实施中，可以预先设置哈希环，在哈希环的节点上设置一组分组测试的测试方案。考虑到测试方案的个数以及哈希环节点的分布可能使得在哈希环上设置一组分组测试方案时，每个测试方案的命中率不均衡，可以使用虚拟节点的方式，即一个方案对应环上多个虚拟节点，将虚拟节点均匀分布，即在哈希环的节点上设置多组测试方案，新插入方案的时候，加入同样数量的虚拟节点并均匀分布，可实现更均匀的方案命中，同时也能保持同等比例的缓存优化。

在本发明的一种实施方式中，所述使用预先设定的哈希环确定所述当前活跃会话的会话用户对应的变更测试方案，包括：

根据哈希算法以及所述当前活跃会话的会话用户的会话用户标识生成所述会话用户标识对应的哈希值；

根据预先设定的哈希环以及所述会话用户标识对应的哈希值确定所述变更测试方案。

在本实施例中，根据哈希算法生成当期活跃会话的会话用户标识对应的哈希值，根据哈希值以及预先设定的哈希环确定变更测试方案。可选的，所述根据预先设定的哈希环以及所述会话用户标识对应的哈希值确定所述变更测试方案，包括：根据所述会话用户标识对应的哈希值确定所述哈希值在所述哈希环上的位置信息；将沿所述哈希环的顺时针方向，与所述位置信息对应的位置距离最近的测试方案作为所述变更测试方案。

具体的，根据哈希算法生成当前活跃会话的会话用户标识对应的哈希值后，根据哈希值在哈希环上的位置以及每个测试方案在哈希环上的节点位置确定会话用户标识对应的变更测试方案。

实施例三

图3a是本发明实施例三所提供的一种用于分组测试的应答方案确定方法的流程示意图。本实施例在上述实施例的基础上，提供了一种优选实施例。可选的，本实施例所提供的用于分组测试的应答方案确定方法可以由会话应答系统执行。图3b是本发明实施例三所提供的一种会话应答系统的结构示意图，如图3b所示，该会话应答系统包括方案树存储模块310、方案树加载模块320和AB测试模块330。

其中，方案树存储模块310用于存储各测试方案的应答逻辑数据。具体的，方案树存储模块310包括HBase数据库和Redis数据库。HBase数据库用于存储无状态的方案应答树，Redis数据库用于存储带状态的方案应答树。具体的，首先将配置好的方案应答树存入HBase(Key-Value)，方便快速存取；由于方案树的配置可能很复杂，方案配置数据很多，如果每通会话缓存一棵树，缓存占用会非常大，所以将会话中的方案树状态数据(应答到哪个节点)单独存入Redis，而只将方案树无状态配置存入HBase；当用户进入会话的时候，应答按照方案树子节点从左到右的方式依次应答，当某个节点出应答答案，此时将整棵树的状态抽取并存入Redis。方案树加载模块320用于从数据库中读取应答方案树。具体的，当用户发出问题时，从HBase读取共有无状态方案树，并基于会话从Redis中读取状态数据，并更新到方案树，此时执行方案树，找到上次应答的节点，继续出答案；如果Redis缓存中存在带状态方案树，直接读取并应答，直接将带状态方案树存入Redis缓存。AB测试模块330用于在对发起会话的用户进行分流。

如图3a所示，所述方法包括：

S301、加入AB测试方案。

S302、对当前活跃会话的会话用户进行AB分流。

S303、判断是否有当前活跃会话分入新方案。

S304、生成带状态方案树，存入Redis缓存。

读取模块根据会话意图(会话场景)从HBase加载共有的无状态方案树，然后加载缓存中的状态，基于状态继续执行方案树；但是如果此时动态的改变AB测试的测试方案，由于AB分流会造成方案树切换，而缓存的状态无法适配新方案树，此时只能从头开始执行方案树。

为避免AB方案变更之后造成的方案混乱和错误，在AB方案变更发布之前，先从缓存读取已有的会话ID，通过AB分流策略计算出正在进行的会话是否会发生更改，如果计算结果判断当前活跃会话被分入新方案，则将该当前活跃会话的原始方案从HBase中加载出来，加载该当前活跃会话在缓存中的状态，并将带状态方案树整体存入Redis，直到所有当前活跃会话处理完成，再发布AB方案的变更策略。

S305、方案树配置，存入HBase。

在发布AB测试方案之前，针对每一测试方案，生成相应的方案树，存储至HBase中。

S306、接收用户会话请求。

S307、从Redis缓存中读取相应的方案树。

S308、判断Redis缓存中是否有相应的方案树。

在本实施例中，正在进行中的会话再次进入系统时，直接从Redis缓存中读取整棵方案树。若缓存中存在该会话对应的方案树，则从缓存中获取带状态方案树，并继续应答，在应答之后重新将带状态的整棵方案树树存入Redis缓存；会话结束后清除缓存，或者缓存自动过期清除。

S309、加载方案树。

S310、对用户进行AB分流。

若缓存中不存在该会话对应的方案树，则根据AB分流策略对该会话的会话用户进行分流，根据分流结果从HBase中获取无状态方案树，从Redis中获取应答状态，基于获取的无状态方案树以及应答状态进行应答。考虑到如果AB分流策略使用会话ID直接Hash取模的方式，会导致缓存数量剧增，对正常的系统应答造成影响。在本实施例中，可以使用Hash环进行AB分流，目的是减少缓存占用，减少系统的压力。

图3c是本发明实施例三所提供的一种测试方案设置示意图。如图3c所示，测试方案分布在Hash环上，当会话进入的时候，AB分流的策略为：基于会话Hash值在Hash环上的位置，顺时针找出对应的AB方案，进行应答。假设测试方案变更前测试方案为方案1、方案2，会话有会话1、会话2、会话3，且根据会话1、会话2、会话3对应的哈希值分别确定会话1、2、3的位置如图3c所示，则会话1进入方案1，会话2、会话3进入方案2；此时如果加入新的方案3(如图3c所示)，计算之后会话3会命中新方案3，对会话3的带状态应答方案树进行缓存；此时的缓存增加为30％，比Hash取模的方式占用缓存下降50％。

为了使得每个测试方案的命中率较均匀，可以使用虚拟节点的方式：即一个方案对应环上多个虚拟节点，将虚拟节点均匀分布，新插入方案的时候，加入同样数量的虚拟节点并均匀分布，可实现更均匀的方案命中，同时也能保持同等比例的缓存优化。图3d是本发明实施例三所提供的又一种测试方案设置示意图。如图3d所示，哈希环上的节点上设置有多组测试方案，方案1A、方案1B、方案1C对应方案1，方案2A、方案2B、方案2C对应方案2，方案3A、方案3B、方案3C对应方案3。当有会话进入时，命中方案1A、方案1B、方案1C中的任一均认为命中了方案1。

S311、执行方案树。

S312、方案树状态抽取。

若缓存中无用户会话请求对应的带状态方案树，则从HBase中获取无状态方案树并执行，并在执行方案树后，抽取出执行后的方案树状态，存入Redis缓存中。

S313、将应答返回至用户会话。

本发明实施例通过在AB测试时候，将进行中的带状态方案树进行缓存，实现了用户会话应答方案的流畅性和合理性，通过哈希环对AB分流策略进行了优化，降低了缓存的占用。

实施例四

图4是本发明实施例四所提供的一种用于分组测试的应答方案确定装置的结构示意图。该用于分组测试的应答方案确定装置可以采用软件和/或硬件的方式实现，例如该用于分组测试的应答方案确定装置可以配置于计算机设备中。如图4所示，所述装置包括用户标识获取模块410、应答逻辑获取模块420和应答方案确定模块430，其中：

用户标识获取模块410，用于获取检测到的待应答会话事件中包含的会话用户标识；

应答逻辑获取模块420，用于从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据；

应答方案确定模块430，用于当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答方案逻辑数据确定所述待应答会话事件的应答方案。

本发明实施例通过用户标识获取模块获取检测到的待应答会话事件中包含的会话用户标识；应答逻辑获取模块从缓存数据库中查找与会话用户标识对应的应答逻辑数据；当在缓存数据库中查找到与会话用户标识对应的应答逻辑数据时，应答方案确定模块根据查找到的应答逻辑数据确定待应答会话事件的应答方案，通过在测试方案发生变更时，将当前活跃会话的会话用户的原始测试方案的应答逻辑数据存储在缓存中，使得在测试方案发生变更后，可以在缓存中查询到会话用户原始测试方案所对应的应答逻辑数据，根据原始测试方案所对应的应答逻辑数据进行会话响应，使得待应答会话事件的应答更加准确，提高用户体验。

在上述方案的基础上，所述应答逻辑数据采用方案树结构，所述装置还包括应答状态获取模块，用于：

当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，从所述缓存数据库中获取与所述会话用户标识对应的应答状态，所述应答状态用于表征所述待应答会话事件的进程；

相应的，所述应答方案确定模块430具体用于：

根据所述应答状态确定所述待应答会话事件在所述方案树结构中的应答节点；

根据所述应答节点以及所述待应答会话事件中包含的会话信息确定所述待应答会话事件的应答方案。

在上述方案的基础上，所述装置还包括应答逻辑存储模块，包括：

原始方案获取单元，用于当所述分组测试对应的测试方案发生变更时，获取当前活跃会话的会话用户被分流到的原始测试方案；

变更方案确定单元，用于根据预先设定的分流策略重新确定所述当前活跃会话的会话用户对应的变更测试方案；

应答逻辑存储单元，用于将所述变更测试方案与所述原始测试方案进行比对，若所述变更测试方案与所述原始测试方案比对不一致，则将所述原始测试方案对应的应答逻辑数据以及所述会话用户的用户标识对应存储至所述缓存数据库中。

在上述方案的基础上，所述应答逻辑存储模块还包括应答状态存储单元，用于：

若所述变更测试方案与所述原始测试方案比对不一致，则将所述当前活跃会话的应答状态以及所述会话用户的用户标识对应存储至所述缓存数据库中。

在上述方案的基础上，所述变更方案确定单元具体用于：

使用预先设定的哈希环确定所述当前活跃会话的会话用户对应的变更测试方案，所述哈希环的节点上设置有至少一组分组测试的测试方案。

在上述方案的基础上，所述变更方案确定单元具体用于：

根据哈希算法以及所述当前活跃会话的会话用户的会话用户标识生成所述会话用户标识对应的哈希值；

根据预先设定的哈希环以及所述会话用户标识对应的哈希值确定所述变更测试方案。

在上述方案的基础上，所述变更方案确定单元具体用于：

根据所述会话用户标识对应的哈希值确定所述哈希值在所述哈希环上的位置信息；

将沿所述哈希环的顺时针方向，与所述位置信息对应的位置距离最近的测试方案作为所述变更测试方案。

在上述方案的基础上，所述装置还包括应答状态更新模块，用于：

在根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案之后，根据所述应答方案更新所述缓存数据库中所述会话用户标识对应的应答状态。

在上述方案的基础上，应答方案确定模块430还用于：

当在所述缓存数据库中未查到与所述会话用户标识对应的应答逻辑数据时，则根据预先设定的分流策略确定所述会话用户标识对应的测试方案；

根据所述待应答会话事件中包含的会话信息确定所述待应答会话事件的会话场景，所述会话场景用于表征所述会话用户标识对应的用户发起所述待应答会话事件的会话需求；

从方案树存储数据库中获取与所述会话场景以及所述测试方案对应的应答逻辑数据，根据所述应答逻辑数据确定所述待应答会话事件的应答方案。

本发明实施例所提供的分组测试的应答方案确定装置可执行任意实施例所提供的分组测试的应答方案确定方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五所提供的计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。

总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的用于分组测试的应答方案确定方法，该方法包括：

获取检测到的待应答会话事件中包含的会话用户标识；

从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的应答逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据；

当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的用于分组测试的应答方案确定方法的技术方案。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的用于分组测试的应答方案确定方法，该方法包括：

获取检测到的待应答会话事件中包含的会话用户标识；

从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的应答逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据；

当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案。

当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的用于分组测试的应答方案确定方法中的相关操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种用于分组测试的应答方案确定方法，其特征在于，所述分组测试对应至少两个测试方案，所述方法包括：

获取检测到的待应答会话事件中包含的会话用户标识；

从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的应答逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据；

当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案；

其中，所述从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，包括：

将所述会话用户标识与所述缓存数据库中存储的存储用户标识进行匹配，将所述缓存数据库中与所述会话用户标识一致的存储用户标识对应的应答逻辑数据作为所述会话用户标识对应的所述应答逻辑数据。

2.根据权利要求1所述的方法，其特征在于，所述应答逻辑数据采用方案树结构，当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，所述方法还包括：

从所述缓存数据库中获取与所述会话用户标识对应的应答状态，所述应答状态用于表征所述待应答会话事件的进程；

所述根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案，包括：

根据所述应答状态确定所述待应答会话事件在所述方案树结构中的应答节点；

根据所述应答节点以及所述待应答会话事件中包含的会话信息确定所述待应答会话事件的应答方案。

3.根据权利要求1所述的方法，其特征在于，所述缓存数据库中的应答逻辑数据的存储包括：

当所述分组测试对应的测试方案发生变更时，获取当前活跃会话的会话用户被分流到的原始测试方案；

根据预先设定的分流策略重新确定所述当前活跃会话的会话用户对应的变更测试方案；

将所述变更测试方案与所述原始测试方案进行比对，若所述变更测试方案与所述原始测试方案比对不一致，则将所述原始测试方案对应的应答逻辑数据以及所述会话用户的用户标识对应存储至所述缓存数据库中。

4.根据权利要求3所述的方法，其特征在于，还包括：

若所述变更测试方案与所述原始测试方案比对不一致，则将所述当前活跃会话的应答状态以及所述会话用户的用户标识对应存储至所述缓存数据库中。

5.根据权利要求3所述的方法，其特征在于，所述根据预先设定的分流策略重新确定所述当前活跃会话的会话用户对应的变更测试方案，包括：

使用预先设定的哈希环确定所述当前活跃会话的会话用户对应的变更测试方案，所述哈希环的节点上设置有至少一组分组测试的测试方案。

6.根据权利要求5所述的方法，其特征在于，所述使用预先设定的哈希环确定所述当前活跃会话的会话用户对应的变更测试方案，包括：

根据哈希算法以及所述当前活跃会话的会话用户的会话用户标识生成所述会话用户标识对应的哈希值；

根据预先设定的哈希环以及所述会话用户标识对应的哈希值确定所述变更测试方案。

7.根据权利要求6所述的方法，其特征在于，所述根据预先设定的哈希环以及所述会话用户标识对应的哈希值确定所述变更测试方案，包括：

根据所述会话用户标识对应的哈希值确定所述哈希值在所述哈希环上的位置信息；

将沿所述哈希环的顺时针方向，与所述位置信息对应的位置距离最近的测试方案作为所述变更测试方案。

8.根据权利要求2所述的方法，其特征在于，在根据查找到的所述应答逻辑数据确定所述待应答会话事件的应答方案之后，还包括：

根据所述应答方案更新所述缓存数据库中所述会话用户标识对应的应答状态。

9.根据权利要求1所述的方法，其特征在于，还包括：

当在所述缓存数据库中未查到与所述会话用户标识对应的应答逻辑数据时，则根据预先设定的分流策略确定所述会话用户标识对应的测试方案；

根据所述待应答会话事件中包含的会话信息确定所述待应答会话事件的会话场景，所述会话场景用于表征所述会话用户标识对应的用户发起所述待应答会话事件的会话需求；

从方案树存储数据库中获取与所述会话场景以及所述测试方案对应的应答逻辑数据，根据所述应答逻辑数据确定所述待应答会话事件的应答方案。

10.一种用于分组测试的应答方案确定装置，其特征在于，包括：

用户标识获取模块，用于获取检测到的待应答会话事件中包含的会话用户标识；

应答逻辑获取模块，用于从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，其中，所述缓存数据库中存储的逻辑数据是在所述分组测试对应的测试方案发生变更时，当前活跃会话的会话用户被分流到的原始测试方案所对应的应答逻辑数据，其中，所述从缓存数据库中查找与所述会话用户标识对应的应答逻辑数据，包括：

将所述会话用户标识与所述缓存数据库中存储的存储用户标识进行匹配，将所述缓存数据库中与所述会话用户标识一致的存储用户标识对应的应答逻辑数据作为所述会话用户标识对应的所述应答逻辑数据；

应答方案确定模块，用于当在所述缓存数据库中查找到与所述会话用户标识对应的应答逻辑数据时，根据查找到的所述应答方案逻辑数据确定所述待应答会话事件的应答方案。

11.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的用于分组测试的应答方案确定方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的用于分组测试的应答方案确定方法。

Images