CN112732765A - 一种实验路径的确定方法及装置、电子设备 - Google Patents

Abstract

本发明公开一种实验路径的确定方法及装置、电子设备，涉及网络产品测试技术领域，以适配较多应用场景的实验方法入参需求。所述方法，包括：响应于用户端发送的请求信息，确定实验信息的情况下，根据请求信息从策略引擎中查找与所述请求信息匹配的实验路径；当查找到，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；否则，从多条候选路径确定候选路径为实验路径，所述装置用于执行上述方法。本发明提供的方法用于网络产品测试。

Description

一种实验路径的确定方法及装置、电子设备

技术领域

本发明涉及网络产品测试技术领域，尤其涉及一种实验路径的确定方法及装置、电子设备。

背景技术

在评测产品（如搜索、推荐系统或前台）效果时，除了离线的模型评估指标AUC（Area Under Curve，缩写为AUC），更合理的方法是通过线上真实的测试数据分组，来比较模型、策略及交互的真实效果。

对于新用户的发布，需要决策者以相应的经验数据作为依据。这些数据大部分由在线流量上的实验产生。虽然行业中已经有不少实验可以进行产品评测但是，这些实验方法难以适配较多场景的入参需求。

发明内容

本发明的目的在于提供一种实验路径的确定方法及装置、电子设备，以适配较多应用场景的实验方法入参需求。

第一方面，本发明提供一种实验路径的确定方法，包括：

响应于用户端发送的请求信息，确定实验信息的情况下，根据所述请求信息从策略引擎中查找与所述请求信息匹配的实验路径；所述策略引擎包括多层实验策略，每层所述实验策略包括多个规则；

当查找到与所述请求信息匹配的各种规则，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；

当未查找到所述请求信息匹配的所述实验策略，从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，每条所述候选路径包括各层所述实验策略含有的一种规则组合成的路径。

与现有技术相比，本发明提供方法中，策略引擎包括多层实验策略，每层实验策略包括多个规则。基于此，该实验策略可以组合出各种实验路径，因此，本发明中的策略引擎具有良好的扩展性，可以支持多种请求信息的实验路径（即路由）查询需求，满足不同请求信息的测试需求。在此基础上，利用衡量指标(用户体验，收入或其它指标)确定哪些实验参数可以满足客户需求的结果，从而保证入参需求。并且，如果从搜索引擎未查找到与请求信息匹配的实验策略，则可以从策略引擎所确定的多条候选路径确定与请求信息匹配的候选路径为实验路径。由此可见，本发明提供的方法中，可以在较多应用场景下适配实验方法的入参需求。

可选的，所述请求信息包括：请求参数，所述实验路径包括的每个规则与至少一个所述请求参数之间满足命中条件；其中，

所述命中条件包括至少一个约束关系，每个所述约束关系包括相等逻辑关系或不等于逻辑关系；或，

所述命中条件包括取余逻辑条件和/或取整逻辑条件；或，

所述命中条件包括区间逻辑关系。

优选的，所述请求信息还包括请求标识，所述实验信息包括实验描述信息和实验标识；在确定所述实验信息的情况下，所述请求标识与所述实验标识匹配。

可选的，各层所述实验策略正交化；和/或，

至少一层所述实验策略包括的至少一种规则为自定义规则。

可选的，当未查找到所述请求信息匹配的所述实验策略，所述从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，包括：

根据所述实验信息的确定路径命中参数T；

根据所述路径命中参数T从多条所述候选路径确定与所述实验信息匹配的候选路径为实验路径，并进行存储。

可选的，所述实验信息包括实验描述信息和实验标识，每个所述候选路径具有路径编号；所述路径命中参数T满足：T=Hash/D _max，Hash为实验标识的整数化哈希值，D _max为多个所述候选路径的路径标识中最大的路径编号；与所述实验信息匹配的候选路径的路径编号与所述路径命中参数T匹配；和/或，

每条所述候选路径的流量比例N满足：

，n _i 为所述候选路径中第i个规 则的流量比例，k为所述候选路径所含有的规则数量，

为连乘符号。

可选的，所述将与所述请求信息匹配的各种规则形成的路径确认为实验路径后，所述方法还包括：

根据所述请求信息以及所述实验路径确定日志信息；所述日志信息用于可视化展示；所述实验路径与所述实验路径的对比路径均具有1个第一规则和j个第二规则；其中，

所述实验路径以及所述实验路径的对比路径所含有的第一规则属于同一所述实验策略的不同规则；1≤j+1≤M，M为所述第一规则所在的所述实验路径含有的规则数量。

可选的，所述方法还包括：响应于用户端发送的请求信息，在没有确定所述实验信息的情况下，确定默认实验策略为实验路径。

优选的，所述默认实验策略为自定义实验路径。

可选的，所述方法还包括：远程读取实验列表，根据所述实验列表确定所述实验列表存在更新内容的情况下，远程删除所述实验列表中的更新内容，根据所述更新内容更新所述策略引擎。

第二方面，本发明提供一种实验路径的确定装置，包括：

路径查找单元，用于响应于用户端发送的请求信息，确定实验信息的情况下，根据所述请求信息确定实验信息的情况下，根据所述请求信息从策略引擎中查找与所述请求信息匹配的实验路径；所述策略引擎包括多层实验策略，每层所述实验策略包括多个规则；

第一确认单元，用于当查找到与所述请求信息匹配的各种规则，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；

第二确认单元，用于当未查找到所述请求信息匹配的所述实验策略，从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，每条所述候选路径包括各层所述实验策略含有的一种规则组合成的路径。

可选的，所述请求信息包括：请求参数，所述实验路径包括的每个规则与至少一个所述请求参数之间满足命中条件；其中，

所述命中条件包括至少一个约束关系，每个所述约束关系包括相等逻辑关系或不等于逻辑关系；或，

所述命中条件包括取余逻辑条件和/或取整逻辑条件；或，

所述命中条件包括区间逻辑关系。

优选的，所述请求信息还包括请求标识，所述实验信息包括实验描述信息和实验标识；在确定所述实验信息的情况下，所述请求标识与所述实验标识匹配。

可选的，各层所述实验策略正交化；和/或，

至少一层所述实验策略包括的至少一种规则为自定义规则。

可选的，当未查找到所述请求信息匹配的所述实验策略，所述第二确认单元用于根据所述实验信息确定路径命中参数T；根据所述路径命中参数T从多条所述候选路径确定与所述实验信息匹配的候选路径为实验路径，并进行存储。

可选的，所述实验信息包括实验描述信息和实验标识，每个所述候选路径具有路径编号；所述路径命中参数T满足：T=Hash/D _max，Hash为实验标识的整数化哈希值，D _max为多个所述候选路径的路径标识中最大的路径编号；与所述实验信息匹配的候选路径的路径编号与所述路径命中参数T匹配；和/或，

每条所述候选路径的流量比例N满足：

，n _i 为所述候选路径中第i个规 则的流量比例，k为所述候选路径所含有的规则数量，

为连乘符号。

可选的，所述装置还包括：日志确定单元，用于根据所述请求信息以及所述实验路径确定日志信息；所述日志信息用于可视化展示；所述实验路径与所述实验路径的对比路径均具有1个第一规则和j个第二规则；其中，

所述实验路径以及所述实验路径的对比路径所含有的第一规则属于同一所述实验策略的不同规则；1≤j+1≤M，M为所述第一规则所在的所述实验路径含有的规则数量。

可选的，所述装置还包括第三确定单元，用于响应于用户端发送的请求信息，在没有确定所述实验信息的情况下，确定默认实验策略为实验路径。

优选的，所述默认实验策略为自定义实验路径。

可选的，所述装置还包括：

远程读取单元，用于远程读取实验列表；

远程删除模块，用于根据所述实验列表确定所述实验列表存在更新内容的情况下，远程删除所述实验列表中的更新内容；

本地更新模块，用于根据所述实验列表确定所述规则列表存在更新内容的情况下，根据所述更新内容更新所述策略引擎。

与现有技术相比，第二方面提供的装置的有益效果与第一方面提供的方法的有益效果相同，此处不做赘述。

第三方面，本发明提供一种电子设备，包括：处理器以及与处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，以实现如第一方面所描述的方法。

与现有技术相比，第三方面提供的电子设备的有益效果与第一方面提供的方法的有益效果相同，此处不做赘述。

第四方面，本发明提供一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令被运行时，实现第一方面所描述的方法。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的方法的应用场景示意图；

图2示例出本发明实施例中方法的应用框架示意图；

图3为本发明实施例提供的方法的流程示意图；

图4为本发明实施例中策略引擎的结构示意图；

图5为本发明实施例中候选路径的流量比例配置原理图；

图6为本发明实施例中缓存数据一致性实现方法流程图；

图7为本发明实施例中缓存数据一致性机制的原理图；

图8为本发明实施例提供的装置的结构示意图；

图9为本发明实施例中缓存数据一致性的实现框图；

图10为本发明实施例提供的设备的硬件结构示意图；

图11为本发明实施例提供的芯片的结构示意图。

具体实施方式

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。

本发明实施例提供一种实验路径的确定方法，该确定方法可以通过离线方式确定，也可以通过在线方式确定。图1示例出本发明实施例中的应用场景。

如图1所示，本发明实施例提供的方法的应用场景含有用户端100、互联网200、服务器集群300以及数据中心400。用户端100、服务器集群300和数据中心400均通过互联网200实现联网。

上述用户端100的设备形式可以是普通计算机、平板电脑、智能手机等。它们通过互联网200使用远程桌面协议访问远程桌面服务。互联网200可以是因特网，内联网，局域网（Local Area Networks，简称LANs），广域网络（Wireless Local Area Networks，简称WLANs），存储区域网络（Storage Area Networks，简称SANs）等，或者以上网络的组合。

上述服务器集群300可以包括多个联网的服务器。如：该服务器集群300包含多个服务器，例如：服务器A、服务器B、服务器C、服务器D以及服务器E。服务器A、服务器B、服务器C、服务器D位于不同区域，可以作为云实验平台使用。服务器E可以作为远程公共缓存使用，用以存储各个服务器的更新数据。上述数据中心400可以为计算机、平台电脑等具有显示功能的设备，其可以最终展示服务器的实验结果。

服务器内存在有JVM虚拟机，为用户提供了远程桌面的载体。用户通过用户端100访问服务器上分配给该用户的虚拟桌面（即虚拟机），该虚拟桌面将用户访问的内容传输到用户的客户端进行显示。同时，该服务器还具有本地缓冲，该缓冲可以为groovy解释器缓存，当然也可以是其它种类缓冲。

作为云实验平台的服务器可以进行单层实验或者两路AB实验。用以评测产品（如搜索、推荐系统或前台）的效果。单层实验很容易使用，具有较高的灵活性。但是，单层实验意味着每个请求最多只会通过一个实验，扩展性不足。两路AB实验不能支持多路进行同时对比。

针对上述问题，本发明实施例提供一种实验路径的确定方法，以使得实验路径的扩展性比较足，从而适配较多应用场景的实验方法入参需求，保证评测产品效果的实验可以在较多应用场景下正常执行。本发明实施例提供的方法可以由服务器执行，也可以由应用于服务器中芯片。下面以服务器为执行主体举例进行描述。

图2示例出本发明实施例中方法的应用框架示意图；图3为本发明实施例提供的方法的流程示意图。如图2和图3所示，本发明实施例提供的方法包括：

步骤101：服务器响应于用户端发送的请求信息，确定是否存在实验信息。

用户可以通过用户端在虚拟桌面创建实验信息，并存入规则库（存入于本地缓存）。该实验信息可以包括实验描述信息（例如实验描述元数据）和实验标识。用户端发送的请求信息可以包括请求参数，还可以包括请求标识。该请求标识可以为与实验标识相同的标识。并且，当实验信息以接口维度设计的实验时，请求标识可以是接口ID。

当服务器接收到请求信息后，服务器可以根据该请求信息包括的请求标识从缓冲中查找与请求标识匹配的实验信息。如果发现缓存中存在请求标识与实验标识匹配的实验信息，则认为确定实验信息。如果发现缓存中不存在请求标识与实验标识匹配的实验信息，则认为未确定实验信息。

举例说明，缓存内存在的实验信息的实验标识分别为1、2、……、10。当用户通过服务器接口发送的请求信息的请求标识为7时，服务器可以根据该请求标识从缓存中查找到实验标识为7的实验信息。此时，说明服务器确认实验信息，可以认为接口接入实验。此时，缓存会返回请求参数。当用户通过服务器接口发送的请求信息的请求标识为15时，服务器可以根据该请求标识无法从缓存中查找到实验标识为7的实验信息。此时，说明服务器未确认实验信息。

步骤102：服务器未确认实验信息的情况下，确定默认实验策略为实验路径。

上述默认实验策略可以为服务器预设的实验策略，也可以为自定义实验路径。此时，自定义实验路径可以是用户通过虚拟桌面自己创建的实验策略。服务器可以将该默认实验策略作为实验路径通过互联网反馈至用户端。由此可见，本发明实施例提供的方法可以在没有确定实验信息时，不需要开发代码，可以自动反馈用户端一个默认实验策略进行兜底，保证该场景下的入参需求。

步骤103：服务器确认实验信息的情况下，根据请求信息从策略引擎中查找与请求信息匹配的实验路径。

上述策略引擎可以包括多层实验策略。每层所述实验策略包括多个规则。如此，利用该策略引擎可以组合出比较多的实验路径，使得该策略引擎具有良好的扩展性。换句话说，该策略引擎可以认为是多层多路策略引擎，具有良好的扩展性。为了减少各层实验策略的相互影响，上述各层实验策略所含有的规则正交。同时，对于每个规则，其规则可以固定不变，也可以自定义。当自定义规则时，可以采用该策略引擎可以采用嵌入式脚本配置，由用户端通过远程桌面以自定义的脚本语言进行灵活配置，以适应任意入参，任意逻辑组合。所配置的规则可以由服务器的本地缓存的规则库以groove语言保存。当从策略引擎中查找与请求信息匹配的实验路径时，可以先从规则库中读取各层实验策略包括的规则，接着根据请求参数确定是否命中规则。

步骤104：当服务器查找到与请求信息匹配的各种规则，将与请求信息匹配的各种规则形成的路径确认为实验路径。

在实际应用中，不管策略引擎中每层实验策略所含有的规则为自定义规则，还是预设的规则，当与请求信息匹配时，所形成的实验路径含有的每个规则与至少一个请求参数之间满足命中条件。该命中条件包括至少一个约束关系。从是否相等角度来说，该约束关系包括相等逻辑关系或不等于逻辑关系。从是否为整数关系角度来说，该约束关系包括取余逻辑条件和/或取整逻辑条件；从区间逻辑关系角度来说，约束关系包括区间逻辑关系。

换句话说，实验路径的每个规则既可以与一个实验参数满足命中条件，也可以与多个实验参数满足命中条件。并且，该命中条件可以仅满足上述一个约束关系，也可以满足两个或两个以上约束关系。当满足两个约束关系时，该规则的脚本不等于请求参数的同时，该规则脚本除以该请求参数后，余数需要为1。

当根据请求参数从策略引擎中命中规则时，将规则保存在路径集合中，直到所有用户此次发送的请求参数均找到命中的规则。此时，将路径集合中的所有规则作为实验路径反馈至用户端。

图4示例出本发明实施例中策略引擎的结构示意图。如图4所示，该策略引擎包括3层实验策略，每层策略包括4个规则。第一层策略引擎包括规则A1、规则B1、规则C1和规则D1。第二层策略引擎包括规则A2、规则B2、规则C2和规则D2。第三层策略引擎包括规则A3、规则B3、规则C3和规则D3。

例如：当A1的规则脚本为a=1，B2的规则脚本为b=2，A3的规则脚本为c=3，那么当请求信息通过接口接入时，根据请求参数a=1，b=2，c=3可以命中规则A1、规则B2、规则A3。此时，将命中的规则A1、规则B2、规则A3组合成实验路径反馈给用户端。

又例如：当A1的规则脚本为a=1，且b=1，且c=1时，那么当请求信息通过接口接入时，根据请求参数a=1，b=2，c=3可以命中规则A1。此时，将命中的规则A1可以作为实验路径反馈给用户端。

如果策略引擎中各层实验策略所含有的规则为自定义规则时，该过程可以认为是自定义规则解析，解析成功，则会向用户端反馈解析出的实验路径；解析失败，则会采用流量比规则解析。基于此，上述方法还包括：

步骤105：当服务器未查找到请求信息匹配的实验策略，从多条候选路径确定与实验信息匹配的候选路径为实验路径，每条候选路径包括各层实验策略含有的一种规则组合成的路径。

在实际应用中，可以采用数学组合的方式确定多条候选路径。每条候选路径的流 量比例N满足：

，n _i 为候选路径中第i个规则的流量比例，k为候选路径所含有 的规则数量，

为连乘符号。

用户可以通过用户端远程在虚拟桌面对策略引擎所含有的每层实验策略包括的规则进行流量配置。然后根据上述每条候选路径的流量比例公式可以确定出该条候选路径的流量比例。在确定候选路径的流量比例基础上，可以根据实验信息的确定路径命中参数T；根据路径命中参数T从多条候选路径确定与实验信息匹配的候选路径为实验路径。整个过程可以定义为流量配比规则解释过程。

图5示例出本发明实施例中候选路径的流量比例配置原理图。如图5所示，该两层实验策略中，第一层实验策略所含有的规则A1的流量比例为0.3，规则B1的流量比例为0.4；第二层实验策略所含有的规则A2的流量比例为0.4，规则B2的流量比例为0.6。

上述两层实验策略可以组合出4条候选路径，分别为第一候选路径、第二候选路径、第三候选路径和第四候选路径。

第一候选路径：规则A1和规则A2，第一条候选路径的流量比例N1=0.3×0.4=0.12。

第二候选路径：规则A1和规则B2。第二条候选路径的流量比例N1=0.3×0.6=0.18。

第三候选路径：规则B1和规则A2，第三条候选路径的流量比例N1=0.7×0.4=0.28。

第四候选路径：规则B1和和规则B2。第四条候选路径的流量比例N1=0.7×0.6=0.42。

示例性的，在上述实验信息包括实验描述信息和实验标识，每个候选路径具有路径编号的前提下，路径命中参数T满足：T=Hash/D _max，Hash为实验标识的整数化哈希值，D _max为多个候选路径的路径标识中最大的路径编号。与实验信息匹配的候选路径的路径编号与路径命中参数T匹配。

具体来说，可以将实验标识通过哈希算法转换成随机整数，然后取1000的整数，所获得的余数作为路径命中参数流入4个桶（每个桶内保存有一条候选路径）内，控制从4条候选路径中命中一个候选路径作为实验路径，以保证流量控制更加精准。同时，用户提前配置各个规则的流量，根据所获得的榆树命中的路径可以更好的符合用户要求。

在实际应用中，可以预先为4条候选路径对应的桶分配编号，作为候选路径的路径编号。举例来说，当随机整数对100取余，为桶分配编号的方式为：为第一个桶分配1~100的编号，为第二个桶分配101~500的编号，为第三个桶分配501~700的编号，为第四个桶分配701~1000的编号。假设实验标识userid为123abc，通过hash算法得到的随机整数12。12对1000取余，所获得的余数为12。由于与实验信息匹配的候选路径的路径编号与路径命中参数T匹配，因此，当余数流入4个桶内后，编号为1~100的第一个桶内的候选路径可以被选中，并作为实验路径反馈至用户端。

另外，由于采用用户标识的哈希值取整余数控制命中路径，因此，在用户标识相同的情况下，根据请求信息命中的候选路径相同。基于此，为了减少用户等待次数，可以将请求信息以及此时所确定的实验路径缓存。当用户下一次通过用户端向服务器发出同样的请求信息时，服务器可以直接从缓存中取出该实验路径返回，以减少运算次数，提高用户体验。

为了可视化了解实验效果，在步骤105后，上述方法还包括步骤106：服务器根据请求信息以及实验路径确定日志信息。该日志信息用于可视化展示，可以上报至本地缓冲，并结构化到统计表格（这些数据结构化成二维数据）中，形成日志库。该日志信息用于可视化展示。实验路径与实验路径的对比路径均具有1个第一规则和j个第二规则。实验路径以及该实验路径的对比路径所含有的第一规则属于同一实验策略的不同规则；1≤j+1≤M，M为所述第一规则所在的实验路径含有的规则数量。应理解，该实验路径的对比路径的流量效果可以根据实时统计，并将该对比路径结构化到统计表格中。

由上可见，为了对比当前层规则不同路对应的流量效果，可以保证实验路径和对比路径的其它层规则选择同一路的情况下，实验路径当前层以及对比路径的当前层所在层一致，但不属于同一路，从而从统计学的角度确定实验路径和对比路径在当前层各路流量效果。采用这种方式进行流量对比，可以减少其它层对于当前层规则的影响，保证对比的独立性。

如图5所示，第一层实验策略包括规则A1和规则B1；第二层实验策略包括规则A2和规则B2。当实验路径选择为规则A1和规则B2时，如果对比第一层各路规则的流量效果，则实验路径的对比路径为规则B1和规则A2。此时，在初始阶段，以实验路径和对比路径实现某种功能（如搜索排序功能），则在可视化展示过程中，展示同一请求参数命中该实验路径和对比路径的流量效果。

可以理解的是，当实验路径在运行一段时间后，如果发现该实验路径的流量效果比较好，可以调整每层实验策略的流量效果，以更好发挥该实验路径的流量效果。 继续以图5为例，当实验路径选择为规则A1和规则B2，如果经过一周运行之后发现，实验路径的效果表现比较突出，可以关闭B1和A2的流量，或者说将流量B1的流量和A2的流量调小，使得实验路径发挥最好的效果。

在一种可选方式中，为了保证各个服务器的规则一致性，图6示例出本发明实施例中缓存数据一致性实现方法流程图。如图6所示，上述方法还包括：

步骤107：服务器远程读取实验列表。

步骤108：服务器根据实验列表确定实验列表存在更新内容的情况下，远程删除实验列表中的更新内容。

步骤109：服务器根据更新内容更新策略引擎。

图7示例出本发明实施例中缓存数据一致性机制的原理图。如图7所示，定时任务job每隔10s轮询，从远程公共缓存redis请求更新列表[实验ids]，并删除远程公共缓存redis中已经更新到服务器的更新内容。这些更新内容为实验id中更新的实验id。在更新服务器的策略引擎时，服务器接收远程公共缓存redis返回的更新内容，根据返回的更新内容更新本地缓存（jvm本地cache）内的实验id，以使得服务器中与更新的实验id对应的最新规则生效[map<tesiid,规则>]，从而更新策略引擎，保证服务器集群的每台机器本地缓存一致。

由上可知，本发明提供方法中，策略引擎包括多层实验策略，每层实验策略包括多个规则。基于此，该实验策略可以组合出各种实验路径，因此，本发明中的策略引擎具有良好的扩展性，可以支持多种请求信息的实验路径（即路由）查询需求，满足不同请求信息的测试需求。在此基础上，利用衡量指标(用户体验，收入或其它指标)确定哪些实验参数可以满足客户需求的结果，从而保证入参需求。并且，如果从搜索引擎未查找到与请求信息匹配的实验策略，则可以从策略引擎所确定的多条候选路径确定与请求信息匹配的候选路径为实验路径。由此可见，本发明提供的方法中，可以在较多应用场景下适配实验方法的入参需求。

上述主要从服务器的角度对本发明实施例提供的方案进行了介绍。可以理解的是，服务器为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对服务器进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，本发明实施例提供的一种实验路径的确定装置，图8示例出本发明实施例提供的装置的结构示意图。如图8所示，该装置包括：

路径查找单元501，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤103。

第一确认单元502，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤104。

第二确认单元503，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤105。

在一种可能的实现方式中，上述请求信息包括：请求参数，所述实验路径包括的每个规则与至少一个所述请求参数之间满足命中条件；其中，

命中条件包括至少一个约束关系，每个所述约束关系包括相等逻辑关系或不等于逻辑关系；或，

命中条件包括取余逻辑条件和/或取整逻辑条件；或，

命中条件包括区间逻辑关系。

在一种可选方式中，上述请求信息还包括请求标识。该实验信息包括实验描述信息和实验标识；在确定所述实验信息的情况下，请求标识与实验标识匹配。

在一种可选方式中，各层实验策略正交化；和/或，

至少一层实验策略包括的至少一种规则为自定义规则。

在一种可选方式中，上述第二确认单元503具体用于根据实验信息的确定路径命中参数；根据路径命中参数从多条候选路径确定与实验信息匹配的候选路径为实验路径，并进行存储。

在一种可选方式中，上述实验信息包括实验描述信息和实验标识，每个候选路径具有路径编号。该路径命中参数T满足：T=Hash/D _max，Hash为实验标识的整数化哈希值，D _max为多个候选路径的路径标识中最大的路径编号。与实验信息匹配的候选路径的路径编号与路径命中参数T匹配。

在一种可选方式中，每条候选路径的流量比例N满足：

，n _i 为候选路径 中第i个规则的流量比例，k为候选路径所含有的规则数量，

为连乘符号。

在一种可选方式中，上述装置还包括接入判断单元506，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤101。

在一种可选方式中，上述装置还包括第三确认单元504，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤102。

在一种可选方式中，上述装置还包括日志确定单元505，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤106。

在一种可选方式中，图9示例出本发明实施例中缓存数据一致性的实现框图。如图9所示，上述装置还包括：

远程读取单元507，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤107。

远程删除模块508，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤108。

本地更新模块509，用于支持实验路径的确定装置执行上述实施例中由服务器执行的步骤109。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本发明实施例提供的一种电子设备，图10示出了本发明实施例提供的设备的硬件结构示意图。如图10所示，该电子设备包括处理器610和通信接口630。

如图10所示，上述处理器610可以是一个通用中央处理器（central processingunit，CPU），微处理器，专用集成电路（application-specific integrated circuit，ASIC），或一个或多个用于控制本发明方案程序执行的集成电路。上述通信接口可以为一个或多个。通信接口630可使用任何收发器一类的装置，用于与其他设备或通信网络通信。

如图10所示，上述电子设备还可以包括通信线路640。通信线路640可包括一通路，在上述组件之间传送信息。

可选的，如图10所示，该电子设备还可以包括存储器620。存储器620用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。

如图10所示，存储器620可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。

可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。

在具体实现中，作为一种实施例，如图10所示，处理器610可以包括一个或多个CPU，如图10中的CPU0和CPU1。

在具体实现中，作为一种实施例，如图10所示，电子设备可以包括多个处理器，如图10中的处理器610和处理器650。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。

图11是本发明实施例提供的芯片的结构示意图。如图11所示，该芯片包括一个或两个以上（包括两个）处理器710和通信接口720。

可选的，如图11所示，该芯片还包括存储器730，存储器730可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器（non-volatile random access memory，NVRAM）。

在一些实施方式中，如图11所示，存储器730存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

在本发明实施例中，如图11所示，通过调用存储器存储的操作指令（该操作指令可存储在操作系统中），执行相应的操作。

如图11所示，处理器710控制电子设备中任一个的处理操作，处理器710还可以称为中央处理单元（central processing unit，CPU）。

如图11所示，存储器730可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统740耦合在一起，其中总线系统740除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图11中将各种总线都标为总线系统。

上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（digital signal processing，DSP）、ASIC、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现上述实施例中由服务器执行的功能。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘（digital video disc，DVD）；还可以是半导体介质，例如，固态硬盘（solid state drive，SSD）。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”（comprising）一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (22)

1.一种实验路径的确定方法，其特征在于，包括：

响应于用户端发送的请求信息，确定实验信息的情况下，根据所述请求信息从策略引擎中查找与所述请求信息匹配的实验路径；所述策略引擎包括多层实验策略，每层所述实验策略包括多个规则；

当查找到与所述请求信息匹配的各种规则，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；

当未查找到所述请求信息匹配的所述实验策略，从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，每条所述候选路径包括各层所述实验策略含有的一种规则组合成的路径。

2.根据权利要求1所述的方法，其特征在于，所述请求信息包括：请求参数，所述实验路径包括的每个规则与至少一个所述请求参数之间满足命中条件；其中，

所述命中条件包括至少一个约束关系，每个所述约束关系包括相等逻辑关系或不等于逻辑关系；或，

所述命中条件包括取余逻辑条件和/或取整逻辑条件；或，

所述命中条件包括区间逻辑关系。

3.根据权利要求2所述的方法，其特征在于，所述请求信息还包括请求标识，所述实验信息包括实验描述信息和实验标识；在确定所述实验信息的情况下，所述请求标识与所述实验标识匹配。

4.根据权利要求1所述的方法，其特征在于，各层所述实验策略正交化；和/或，

至少一层所述实验策略包括的至少一种规则为自定义规则。

5.根据权利要求1所述的方法，其特征在于，当未查找到所述请求信息匹配的所述实验策略，所述从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，包括：

根据所述实验信息的确定路径命中参数T；

根据所述路径命中参数T从多条所述候选路径确定与所述实验信息匹配的候选路径为实验路径，并进行存储。

6.根据权利要求1~5任一项所述的方法，其特征在于，所述实验信息包括实验描述信息和实验标识，每个所述候选路径具有路径编号；所述路径命中参数T满足：T=Hash/D _max，Hash为实验标识的整数化哈希值，D _max为多个所述候选路径的路径标识中最大的路径编号，与所述实验信息匹配的候选路径的路径编号与所述路径命中参数T匹配；和/或，

每条所述候选路径的流量比例N满足：

，n _i 为所述候选路径中第i个规则的 流量比例，k为所述候选路径所含有的规则数量，

为连乘符号。

7.根据权利要求1~5任一项所述的方法，其特征在于，所述将与所述请求信息匹配的各种规则形成的路径确认为实验路径后，所述方法还包括：

根据所述请求信息以及所述实验路径确定日志信息；所述日志信息用于可视化展示；所述实验路径与所述实验路径的对比路径均具有1个第一规则和j个第二规则；其中，

所述实验路径以及所述实验路径的对比路径所含有的第一规则属于同一所述实验策略的不同规则；1≤j+1≤M，M为所述第一规则所在的所述实验路径含有的规则数量。

8.根据权利要求1~5任一项所述的方法，其特征在于，所述方法还包括：

响应于用户端发送的请求信息，在没有确定所述实验信息的情况下，确定默认实验策略为实验路径。

9.根据权利要求8所述的方法，其特征在于，所述默认实验策略为自定义实验路径。

10.根据权利要求1~5任一项所述的方法，其特征在于，所述方法还包括：

远程读取实验列表，根据所述实验列表确定所述实验列表存在更新内容的情况下，远程删除所述实验列表中的更新内容，根据所述更新内容更新所述策略引擎。

11.一种实验路径的确定装置，其特征在于，包括：

路径查找单元，用于响应于用户端发送的请求信息，确定实验信息的情况下，根据所述请求信息确定实验信息的情况下，根据所述请求信息从策略引擎中查找与所述请求信息匹配的实验路径；所述策略引擎包括多层实验策略，每层所述实验策略包括多个规则；

第一确认单元，用于当查找到与所述请求信息匹配的各种规则，将与所述请求信息匹配的各种规则形成的路径确认为实验路径；

第二确认单元，用于当未查找到所述请求信息匹配的所述实验策略，从多条候选路径确定与所述实验信息匹配的候选路径为实验路径，每条所述候选路径包括各层所述实验策略含有的一种规则组合成的路径。

12.根据权利要求11所述的装置，其特征在于，所述请求信息包括：请求参数，所述实验路径包括的每个规则与至少一个所述请求参数之间满足命中条件；其中，

所述命中条件包括至少一个约束关系，每个所述约束关系包括相等逻辑关系或不等于逻辑关系；或，

所述命中条件包括取余逻辑条件和/或取整逻辑条件；或，

所述命中条件包括区间逻辑关系。

13.根据权利要求12所述的装置，其特征在于，所述请求信息还包括请求标识，所述实验信息包括实验描述信息和实验标识；在确定所述实验信息的情况下，所述请求标识与所述实验标识匹配。

14.根据权利要求11所述的装置，其特征在于，各层所述实验策略正交化；和/或，

至少一层所述实验策略包括的至少一种规则为自定义规则。

15.根据权利要求11所述的装置，其特征在于，当未查找到所述请求信息匹配的所述实验策略，所述第二确认单元用于根据所述实验信息确定路径命中参数T；根据所述路径命中参数T从多条所述候选路径确定与所述实验信息匹配的候选路径为实验路径，并进行存储。

16.根据权利要求11~15任一项所述的装置，其特征在于，所述实验信息包括实验描述信息和实验标识，每个所述候选路径具有路径编号；所述路径命中参数T满足：T=Hash/D _max，Hash为实验标识的整数化哈希值，D _max为多个所述候选路径的路径标识中最大的路径编号；与所述实验信息匹配的候选路径的路径编号与所述路径命中参数T匹配；和/或，

每条所述候选路径的流量比例N满足：

，n _i 为所述候选路径中第i个规则的 流量比例，k为所述候选路径所含有的规则数量，

为连乘符号。

17.根据权利要求11~15任一项所述的装置，其特征在于，所述装置还包括：

日志确定单元，用于根据所述请求信息以及所述实验路径确定日志信息；所述日志信息用于可视化展示；所述实验路径与所述实验路径的对比路径均具有1个第一规则和j个第二规则；其中，

所述实验路径以及所述实验路径的对比路径所含有的第一规则属于同一所述实验策略的不同规则；1≤j+1≤M，M为所述第一规则所在的所述实验路径含有的规则数量。

18.根据权利要求11~15任一项所述的装置，其特征在于，所述装置还包括第三确定单元，用于响应于用户端发送的请求信息，在没有确定所述实验信息的情况下，确定默认实验策略为实验路径。

19.根据权利要求18所述的装置，其特征在于，所述默认实验策略为自定义实验路径。

20.根据权利要求11~15任一项所述的装置，其特征在于，所述装置还包括：

远程读取单元，用于远程读取实验列表；

远程删除模块，用于根据所述实验列表确定所述实验列表存在更新内容的情况下，远程删除所述实验列表中的更新内容；

本地更新模块，用于根据所述规则列表确定所述规则列表存在更新内容的情况下，根据所述更新内容更新所述策略引擎。

21.一种电子设备，其特征在于，包括：处理器以及与处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，以实现权利要求1-10任一项所述方法。

22.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当所述指令被运行时，实现权利要求1~10任一项所述方法。

Images