CN110245978B - 策略组中的策略评估、策略选择方法及装置 - Google Patents

Abstract

本说明书实施例公开了一种策略组中的策略评估、策略选择方法及装置，该策略组中的策略评估方法包括：采集若干策略组中各个所述策略组的第一数据，所述第一数据包括所述策略组的指标值；根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值。

Description

策略组中的策略评估、策略选择方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种策略组中的策略评估、策略选择方法及装置。

背景技术

在互联网技术的发展过程中，用户增长一直是业内永恒主题之一。当业务发展到一定阶段后，如何合理的规划产品迭代策略以保证用户的持续增长显得尤为重要，特别是针对产品策略是否有效的判定结果，往往决定了产品的生命力及其配套资源的调配。

ABTest作为一种前沿的策略评估工具，近年来得到了业内的广泛关注。ABTest通常用于对比同一产品目标制定的两个方案，但是随着业务量的逐渐扩大，这种简单的评估方式由于时间成本高，消耗资源大渐渐无法满足需求。因此，需要提供更加快速有效的方法。

发明内容

有鉴于此，本说明书实施例提供了一种策略组中的策略评估、策略选择方法及装置，用于解决现有技术中的问题。

本说明书实施例采用下述技术方案：

本说明书实施例提供一种策略组中策略的评估方法，包括：

采集若干策略组中各个所述策略组的第一数据，所述第一数据包括与所述策略组相关联的指标值；根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值。

本说明书实施例还提供一种策略组中策略的选择方法，包括：

获得若干策略组中各个所述策略组中策略的贡献值；根据所述贡献值从各个所述策略中选择满足预设规则的策略根据所述贡献值从各个所述策略中选择满足预设规则的策略，得到最优策略组。

本说明书实施例还提供一种策略组中的策略评估装置，包括：

采集单元，用于采集若干策略组中各个所述策略组的第一数据，所述第一数据包括与所述策略组相关联的指标值；

计算单元，用于根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值。

本说明书实施例还提供一种策略组中的策略选择装置，包括：

获取单元，用于获得若干策略组中各个所述策略组中策略的贡献值；

选择单元，用于根据所述贡献值从各个所述策略中选择满足预设规则的策略，得到最优策略组。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

利用不同策略集合而成的策略组及其对应指标值，计算策略在策略组中的贡献值，从而根据预设规则选择相应的策略组成最优策略组；由于在计算时采集了不同时间点的数据，消除了不可抗因素导致的误差；这种针对策略组中的策略进行的评估方法和选择方法，不仅能够准确的评估策略组中策略对于实现业务目标的贡献，还能够从大量的策略组合方案中快速有效的选择出相应的策略组成符合预期的最优策略组，从而指导产品的方案设计，大幅度减少了运算时间，节省了资源成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书一个或多个实施例的策略组评估方法流程图；

图2是本说明书一个或多个实施例中的基础数据表和中间数据表；

图3是本说明书一个或多个实施例中的期望表和贡献值表；

图4是本说明书一个或多个实施例中的奇异矩阵期望表；

图5是本说明书一个或多个实施例的策略组选择方法流程图；

图6是本说明书一个或多个实施例的策略组中的策略评估装置结构示意图；

图7是本说明书一个或多个实施例的策略组中的策略选择装置结构示意图。

具体实施方式

在互联网技术的应用场景中，通常会遇到针对产品多种设计策略的选择问题，例如，某个页面上的按钮颜色选择，位置设置选择等。如果仅依靠人工来判断，从概率上很难保证选择的策略每次都是有效的，而使用ABTest工具进行评估，很显然是一种更加科学的方法。

简单来说，执行ABTest时，可将用户分为两组并分别使用不同的方案，通过分析比对获取的用户使用情况，得出哪个方案更符合预期的设计目标，从而指导针对产品方案的设计。但是随着互联网技术的发展，业务逐渐进入深度精细化运营阶段后，方案的比对往往也越加的复杂，特别是还需要针对策略组进行验证，例如，需要同时验证颜色(红、蓝)和位置(左、右)的效果，则待比对的策略组合方式就有红-左、红-右、蓝-左、蓝-右四种，一旦策略数量继续增加，那么相应的待比对策略组合数量就会成指数倍的增长。在实际应用中，受时间、资源等条件的限制，很难将所有种类的策略组合方式逐一进行比对，并选择出其中的最优策略组合方式。

针对上述问题，本说明书一个或多个实施例提供了一种策略组中的策略评估、策略选择方法及装置，不仅能够准确的评估策略组中策略的贡献，还能够根据评估结果快速有效的选择相应的策略组成符合预期的最优策略组，从而指导产品的方案设计。

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书一个或多个实施例的策略组评估方法流程图，如图1所示，该评估方法具体包括以下步骤：

S101获取策略组的基础数据

执行针对当前策略组成的策略组的首次评估时，可根据实际应用场景和/或业务经验和/或直接采用随机分配的方式，将待评估策略随机组合成若干策略组，以便获得策略组的相关基础数据。其中，基础数据即为第一数据，中间数据即为第二数据。

在一个或多个实施例中，上述基础数据可以包括数据生成时间，策略组及其所包含的策略以及指标值；其中，策略是指一类实现相同目标的产品设计方案；策略组是指由若干个策略集合而成的可实现相同目标的多类产品设计方案的集合；指标值是指将对应的策略组应用于产品后可获得的使用情况表现，可用于评估对应策略组实现目标的整体效果，一般来说，可以将指标值定义为与上述整体效果的成正比或反比关系。

例如，在提升页面中广告标题点击率的实际应用场景中，策略可以是各种用于提升点击率的策略(如策略A：改变标题颜色；策略B：增加标题在页面中所占比例；策略C：在广告标题中添加打折文案)；相应的，策略组可以是包含各种策略的集合(如策略组a＝策略A+策略B，表示即改变标题颜色又增加标题在页面中所占比例)；相应的，指标值可以是用户针对页面中广告标题的点击率。

又例如，在优化页面中推荐商品的排序以减少用户流失率的实际应用场景中，策略可以是各种优化推荐商品排序的策略(如策略A：将评分低的商品置底；策略B：将最近一次用户浏览过的商品置顶；策略C：将热门商品置顶)；相应的，策略组可以是包含各种策略的集合(如策略组a＝策略A+策略C，表示将评分低的商品置底的同时将热门商品置顶)；相应的，指标值可以是用户的流失率。

在一个或多个实施例中，上述策略组的指标值可以通过ABTest获得，具体的，将上述策略组分别与预设的标准策略组进行ABTest，即可获得对应于该策略组的指标值作为基础数据。

S102消除基础数据中的误差

受时间维度中存在的不可抗因素的影响，相同策略组在不同时间点的指标值通常会出现波动，为了提高数据准确性，执行对上述获得的基础数据的误差消除时，可以假设在相同时间条件下，不可抗因素对不同策略组的指标值影响相同。

例如，在提升页面中广告标题点击率的实际应用场景中，周末时用户时间充裕，通常比工作日时更愿意尝试点击广告标题，这就会导致用于提升广告标题点击率的相同策略组在周末和工作目的指标值产生波动。但是，可以假设这种由于时间不同而产生的不可抗因素对于用于实现提升用户对于广告标题点击率的不同策略和/或策略组的影响是相同的。

在一个或多个实施例中，为了消除上述由于时间维度导致的数据误差，可以采集策略组不同时间点或时间段的指标值，再将同一时间点或时间段的不同策略组及其对应的指标值彼此作减法，从而获得更加准确的去误差基础数据用于计算和分析。

例如，在上述提升页面中广告标题点击率的实际应用场景中，图2是本说明书一个或多个实施例中的基础数据表和中间数据表，假设获得的基础数据如图2中的表1所示，通过在不同策略组之间执行减法运算，消除时间维度的误差后，则可获得去误差后用于计算的中间数据，其中，获得的中间数据如图2中的表2所示。

在一个或多个实施例中，为了实现不同策略组及其对应指标值之间的减法运算，可以首先假设策略组中各策略之间彼此独立，即，在不同策略组中的相同策略，对各策略组实现相同目标的贡献值均相同，并不会受到策略组中所包含的其它策略的影响；其中，贡献值可用于评估策略组中的策略对于应用策略组实现目标的作用大小；一般来说，可以将贡献值定义为与上述作用大小成正比或反比关系；以成正比为例，当贡献值越大时，表示该策略对于策略组实现目标的作用越大，反之则越小；当贡献值为正时，表示该策略对于策略组实现目标有积极作用，反之为负时，则表示有消极作用。

S103计算策略的贡献值

误差消除后，获得的中间数据包括可用于计算策略组中策略贡献值的中间指标值，该中间指标值可构成一组离散数据，通过分析该组离散数据，即可获得策略组中各策略的贡献值。

在一个或多个实施例中，可以利用计算分布密度的方式分析上述获得的离散数据，例如，可以采用核密度(Kernel Density Estimation，KDE)估计其概率密度函数，并将获得的该组离散数据的期望(和/或方差)作为因变量，从而获得以策略为自变量的线性方程组，求解后，即可获得不同策略对于策略组产生贡献值。

例如，在上述提升页面中广告标题点击率的实际应用场景中，将图2的表2中的数据作为样本进行KDE估计，则可得到去误差策略组对指标值产生贡献的期望，具体的，图3中表3是本说明书一个或多个实施例中的期望表。

进一步的，可以将上述去误差策略组中的各策略作为自变量，从而解线性方程组获得各策略对于策略组的贡献值，具体的，图3中的表4是本说明书一个或多个实施例中的策略的贡献值表。

如图3中的表4所示，在提升页面中广告标题点击率的实际应用场景中，改变标题颜色(策略A)对于提升点击率的贡献是消极的；增加标题在页面中所占比例(策略B)对于提升点击率的贡献是积极的；在广告标题中添加打折文案(策略C)对于提升点击率的贡献是积极的，并且其贡献要大于策略B。

在一个或多个实施例中，还可以采用其他方式来分析上述获得的离散数据特征，例如，利用参数估计(如高斯混合模型)等。

在一个或多个实施例中，由于在执行针对基础数据的误差消除时，首先假设了策略组中各策略之间彼此独立，因此在执行针对贡献值的运算时，可能会出现无解的情况，这就说明策略组中的至少两类策略之间存在相互影响，这种影响将导致彼此对该策略组实现目标的贡献与其它策略组不同，为了解决这一问题，我们可以通过分析无解的具体情况，从而判定导致无解的非独立策略。

例如，图4是本说明书一个或多个实施例中的奇异矩阵期望表，如图4中的表5所示，在执行KDE估计样本概率密度函数后得到的中间策略组对应的期望值为无解的奇异矩阵，进一步分析发现，其无解的原因很可能是由于：

策略组(A+D)+策略组(B)＜策略组(A+B+D)

即，策略B与策略A(或策略D)之间并非相互独立，或者是，策略B与由策略A和策略D组成的策略组之间并非相互独立。

在一个或多个实施例中，分析获得非独立策略后，可以进一步针对这些策略进行处理，以便改善无解的情况。例如，可以通过将若干相互影响的策略合并为一类策略重新加入策略组，或者直接排除彼此影响的策略组所对应的期望，利用剩余的期望构造的方程组进行求解等方式。

图5是本说明书一个或多个实施例的策略组中的策略选择方法流程图，如图5所示，该选择方法具体包括以下步骤：

S201获取第一最优策略组

分析上述步骤获得的各策略对应的贡献值，将贡献值为正的策略，即，对策略组所对应的目标实现具有积极效果的的策略集合形成新的策略组，作为第一最优策略组。

例如，在上述提升页面中广告标题点击率的实际应用场景中，获得各策略对于策略组的贡献值如表4所示，则可将对于提升页面中广告标题点击率具有积极效果的策略B(增加标题在页面中所占比例)和策略C(在广告标题中添加打折文案)进行组合成为新的策略组e(B+C)。

S202获取第一最优策略组指标值

由于获得的第一最优策略组中所包含的均为具有正贡献值的策略，那么评估该策略组时，预期将获得该第一最优策略组是实现目标的最优策略组，即其所对应的指标值将大于基础数据中各项策略组所对应的指标值。

例如，在上述提升页面中广告标题点击率的实际应用场景中，针对获得的第一最优策略组e(B+C)执行评估后，预期获得的指标值将大于表1所示各策略组所对应的指标值，即大于0.85。

S203选择最优策略组

将获得的上述指标值结果与预期执行比对，若该结果与上述预期相符，可选择该第一最优策略组作为实现目标的最优策略组；若该结果与上述预期不符，则需进一步执行针对策略组的选择。

在一个或多个实施例中，执行针对策略组的进一步选择时，可根据上述步骤S101-S103获得的策略贡献值，将不同的策略集合成待评估策略组。例如，可以将已完成首次评估中计算获得的策略贡献值按大小进行排序，将其中部分具有较小正数贡献值的策略从上述获得的第一最优策略组中排除，或将其中部分具有较大负数贡献值的策略添加至上述获得的第一最优策略组中，从而获得多个第二轮次待评估的策略组，执行步骤S101-S103的策略贡献值计算，并根据步骤S201获得该轮评估所对应的第二最优策略组，进一步的，可根据步骤S202-S203针对该第二最优策略组进行评估和选择。

在一个或多个实施例中，针对策略组的进一步选择可以循环多次执行，直至获得与预期相符的最优策略组。

在一个或多个实施例中，可以同时并行执行针对策略组的选择任务。例如，并行执行针对多个策略组的策略贡献值计算任务，并获得对应于各任务的多个第一最优策略组，然后分别执行对多个第一最优策略组的评估，并从中选择符合预期的第一最优策略组作为实现目标的最优策略组。

图6是本说明书一个或多个实施例的策略组中的策略评估装置结构示意图，如图6所示，该评估装置包括：

采集单元601，用于采集若干策略组中各个所述策略组的第一数据，所述第一数据包括与所述策略组相关联的指标值；

计算单元602，用于根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值。

在一个或多个实施例中，所述第一数据还包括数据采集时间；

所述计算单元602，用于根据各个所述策略组的数据采集时间，确定第二数据；所述第二数据包括若干中间策略组和与各个所述中间策略组相关联的中间指标值；根据所述第二数据，计算所述策略在对应的策略组中的贡献值。

在一个或多个实施例中，所述计算单元602，用于确定每个第一策略组中的策略构成的策略集合在第二策略组中的策略构成的策略集合中的相对补集，所述相对补集中的策略构成所述中间策略组；其中，所述若干策略组中包括：第二策略组和若干第一策略组；所述若干第一策略组与所述第二策略组的数据采集时间相同；每个所述第一策略组中对应的指标值与所述第二策略组对应的指标值相减，得到与每个所述中间策略组相关联的中间指标值。

在一个或多个实施例中，所述中间指标值是一组离散数据，所述计算单元602，用于确定各个所述中间指标值的数据分布特征；根据所述数据分布特征，计算所述策略在对应的策略组中的贡献值。

在一个或多个实施例中，所述计算单元602，用于将各个所述中间指标值的期望和/或方差作为因变量，将各个所述中间策略组中的策略作为自变量建立方程组并求解；根据所述方程组的计算结果，获得所述策略在对应的策略组中的贡献值。

在一个或多个实施例中，所述计算单元602，用于若所述方程组有解，则确定所述策略组中的策略是独立策略，并根据所述方程组的解获得所述策略在对应的策略组中的贡献值；其中，所述独立策略在所述不同的策略组中的所述贡献值相同；若所述方程组无解，则确定所述策略组中包含非独立策略，根据所述非独立策略，重新建立方程组进行求解；其中，所述非独立策略在所述不同的策略组中的所述贡献值不同。

在一个或多个实施例中，所述计算单元602，用于将所述非独立策略转换为所述独立策略并建立方程组。

图7是本说明书一个或多个实施例的策略组中策略的选择装置结构示意图，如图7所示，该策略组选择装置包括：

获取单元701，用于获得若干策略组中各个所述策略组中策略的贡献值；

选择单元702，用于根据所述贡献值从各个所述策略中选择满足预设规则的策略，得到最优策略组。

在一个或多个实施例中，选择单元702，用于根据所述贡献值的正负确定各个所述策略的贡献类型，所述贡献类型包括积极贡献和消极贡献；根据所述贡献值的大小确定各个所述策略的贡献大小，其中，所述贡献值与所述贡献大小成正比或反比；根据所述贡献类型和所述贡献大小，从各个所述策略中选择满足预设规则的策略。

在一个或多个实施例中，所述最优策略组是具有积极贡献的所述策略的集合。

在一个或多个实施例中，选择单元702，进一步用于获得所述最优策略组的指标值；判断所述最优策略组的指标值是否符合预期；若符合，则将所述最优策略组作为最终最优策略组的选择结果；反之，则将所述最优策略组作为第一最优策略组，并重新执行针对所述策略的选择。

在一个或多个实施例中，选择单元702，用于将所述最优策略组的指标值与所述策略组的最大指标值进行比对，若所述最优策略组的指标值大于所述策略组的最大指标值，则是符合预期，反之则是不符合。

在一个或多个实施例中，选择单元702，用于根据当前所述策略组中策略的贡献值，增加或删除所述第一最优策略组中的部分所述策略，组成新一轮次的策略组；获得所述新一轮次的策略组中策略的贡献值；根据所述新一轮次的策略组中策略的贡献值选择所述新一轮次的策略组中的策略，并获得新一轮次的最优策略组；获得所述新一轮次的最优策略组的指标值；判断所述新一轮次的所述最优策略组是否符合预期，若符合，则将所述新一轮次的最优策略组作为所述最终最优策略组的选择结果，反之，则将所述新一轮次的最优策略组作为第二最优策略组，并执行更新一轮次的重新选择。

在一个或多个实施例中，选择单元702，用于并行执行所述策略组选择的若干任务，获得对应于所述任务的若干最优策略组；评估所述最优策略组，并获得最终最优策略组。

在一个或多个实施例中，选择单元702，用于根据所述最优策略组的指标值，判断所述策略组对实现业务目标的效果，并选择具有最优效果的所述策略组作为最终最优策略组。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Comell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (17)

1.一种策略组中的策略评估方法，包括：

采集若干策略组中各个所述策略组的第一数据，所述第一数据包括与所述策略组相关联的指标值和数据采集时间；所述策略组包括由若干个策略集合而成的可实现相同目标的多类产品设计方案的集合；

根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值，具体包括：根据各个所述策略组的数据采集时间，确定第二数据；所述第二数据包括若干中间策略组和与各个所述中间策略组相关联的中间指标值；根据所述第二数据，计算所述策略在对应的策略组中的贡献值。

2.如权利要求1所述的方法，所述第一数据还包括数据采集时间；

根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值，包括：

根据各个所述策略组的数据采集时间，确定第二数据；所述第二数据包括若干中间策略组和与各个所述中间策略组相关联的中间指标值；

根据所述第二数据，计算所述策略在对应的策略组中的贡献值。

3.如权利要求2所述的方法，所述根据各个所述策略组的数据采集时间，确定第二数据，包括：

确定每个第一策略组中的策略构成的策略集合在第二策略组中的策略构成的策略集合中的相对补集，所述相对补集中的策略构成所述中间策略组；其中，所述若干策略组中包括：第二策略组和若干第一策略组；所述若干第一策略组与所述第二策略组的数据采集时间相同；

每个所述第一策略组中对应的指标值与所述第二策略组对应的指标值相减，得到与每个所述中间策略组相关联的中间指标值。

4.如权利要求3所述的方法，所述中间指标值是一组离散数据；

根据所述第二数据，计算所述策略在对应的策略组中的贡献值，包括：

确定各个所述中间指标值的数据分布特征；

根据所述数据分布特征，计算所述策略在对应的策略组中的贡献值。

5.如权利要求4所述的方法，

根据所述数据分布特征，计算所述策略在对应的策略组中的贡献值，包括：

将各个所述中间指标值的期望和/或方差作为因变量，将各个所述中间策略组中的策略作为自变量建立方程组并求解；

根据所述方程组的计算结果，获得所述策略在对应的策略组中的贡献值。

6.如权利要求5所述的方法，

根据所述方程组的计算结果，获得所述策略在对应的策略组中的贡献值，包括：

若所述方程组有解，则确定所述策略组中的策略是独立策略，并根据所述方程组的解获得所述策略在对应的策略组中的贡献值；其中，所述独立策略在不同的策略组中的所述贡献值相同；

若所述方程组无解，则确定所述策略组中包含非独立策略，根据所述非独立策略，重新建立方程组进行求解；其中，所述非独立策略在不同的策略组中的所述贡献值不同。

7.如权利要求6所述的方法，

所述重新建立方程进行求解，包括：

将所述非独立策略转换为所述独立策略并建立方程组。

8.一种策略组中的策略选择方法，包括：

获得若干策略组中各个所述策略组中策略的贡献值；所述贡献值包括根据各个所述策略组的数据采集时间，确定第二数据；所述第二数据包括若干中间策略组和与各个所述中间策略组相关联的中间指标值；根据所述第二数据，计算所述策略在对应的策略组中的贡献值；所述策略组包括由若干个策略集合而成的可实现相同目标的多类产品设计方案的集合；

根据所述贡献值从各个所述策略中选择满足预设规则的策略，得到最优策略组。

9.如权利要求8所述的方法，根据所述贡献值从各个所述策略中选择满足预设规则的策略，包括：

根据所述贡献值的正负确定各个所述策略的贡献类型，所述贡献类型包括积极贡献和消极贡献；

根据所述贡献值的大小确定各个所述策略的贡献大小，其中，所述贡献值与所述贡献大小成正比或反比；

根据所述贡献类型和所述贡献大小，从各个所述策略中选择满足预设规则的策略。

10.如权利要求9所述的方法，所述最优策略组是具有积极贡献的所述策略的集合。

11.如权利要求8所述的方法，还包括：

获得所述最优策略组的指标值；

判断所述最优策略组的指标值是否符合预期；

若符合，则将所述最优策略组作为最终最优策略组的选择结果；

反之，则将所述最优策略组作为第一最优策略组，并重新执行针对所述策略的选择。

12.如权利要求11所述的方法，

判断所述最优策略组的指标值是否符合预期，包括：

将所述最优策略组的指标值与所述策略组的最大指标值进行比对，若所述最优策略组的指标值大于所述策略组的最大指标值，则是符合预期，反之则是不符合。

13.如权利要求11所述的方法，

重新执行针对所述策略的选择，包括：

根据当前所述策略组中策略的贡献值，增加或删除所述第一最优策略组中的部分所述策略，组成新一轮次的策略组；

获得所述新一轮次的策略组中策略的贡献值；

根据所述新一轮次的策略组中策略的贡献值选择所述新一轮次的策略组中的策略，并获得新一轮次的最优策略组；

获得所述新一轮次的最优策略组的指标值；

判断所述新一轮次的所述最优策略组是否符合预期，若符合，则将所述新一轮次的最优策略组作为所述最终最优策略组的选择结果，反之，则将所述新一轮次的最优策略组作为第二最优策略组，并执行更新一轮次的重新选择。

14.如权利要求8-13任一项所述的方法，包括：

并行执行所述策略组选择的若干任务，获得对应于所述任务的若干最优策略组；

评估所述最优策略组，并获得最终最优策略组。

15.如权利要求14所述的方法，评估所述最优策略组，并获得最终最优策略组，包括：

根据所述最优策略组的指标值，判断所述策略组对实现业务目标的效果，并选择具有最优效果的所述策略组作为最终最优策略组。

16.一种策略组中的策略评估装置，包括：

采集单元，用于采集若干策略组中各个所述策略组的第一数据，所述第一数据包括与所述策略组相关联的指标值和数据采集时间；所述策略组包括由若干个策略集合而成的可实现相同目标的多类产品设计方案的集合；

计算单元，用于根据所述若干策略组和与各个所述策略组相关联的指标值计算策略在对应的策略组中的贡献值，具体包括：根据各个所述策略组的数据采集时间，确定第二数据；所述第二数据包括若干中间策略组和与各个所述中间策略组相关联的中间指标值；根据所述第二数据，计算所述策略在对应的策略组中的贡献值。

17.一种策略组中的策略选择装置，包括：

获取单元，用于获得若干策略组中各个所述策略组中策略的贡献值；所述贡献值包括根据各个所述策略组的数据采集时间，确定第二数据；所述第二数据包括若干中间策略组和与各个所述中间策略组相关联的中间指标值；根据所述第二数据，计算所述策略在对应的策略组中的贡献值；所述策略组包括由若干个策略集合而成的可实现相同目标的多类产品设计方案的集合；

选择单元，用于根据所述贡献值从各个所述策略中选择满足预设规则的策略，得到最优策略组。