CN110276514A - 业务相关因素的评估方法、装置及设备 - Google Patents

Abstract

本说明书实施例提供一种业务相关因素的评估方法、装置及设备，在评估方法中，确定第一算法逻辑以及第一数据源。获取预先圈定的、与第一算法逻辑以及第一数据源对应的第一目标人群。读取第一目标人群中的各个用户在请求运行业务时的行为反馈数据。基于读取的数据，统计业务的第一运行效果。获取业务的第二运行效果。该第二运行效果是基于第二目标人群中的各个用户的行为反馈数据统计的。第二目标人群与第二算法逻辑以及第二数据源相对应。第一业务逻辑算法与第二业务逻辑算法的版本不同和/或第一数据源与第二数据源的版本不同。对第一运行效果与第二运行效果进行比对，并基于比对结果，对第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

Description

业务相关因素的评估方法、装置及设备

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种业务相关因素的评估方法、装置及设备。

背景技术

为了提升用户体验或者达成业务目标，通常需要对业务相关因素进行优化。这里的业务相关因素可以包括但不限于算法逻辑以及数据源等。这里的数据源是基于预设的规则或者算法，对业务系统存储中的原始数据进行离线清洗得到，或者也可以是对业务系统的实时数据进行计算得到。上述算法逻辑用于对数据源进行加工、过滤以及排序等操作，以实现相应业务的运行。需要说明的是，对于优化后的业务相关因素，通常需要对其进行评估，以决定是否对优化前的业务相关因素进行替换。

传统技术中，对于业务相关因素的评估，通常需要先发布上线，之后基于真实用户的反馈结果来对其进行评估。然而，由于发布流程通常比较繁琐，从而会导致传统的业务相关因素的评估周期较长。

因此，需要提供一种快速而有效地业务相关因素的评估方法。

发明内容

本说明书一个或多个实施例描述了一种业务相关因素的评估方法、装置及设备，可以快速而有效地对业务相关因素进行评估。

第一方面，提供了一种业务相关因素的评估方法，包括：

确定业务对应的第一算法逻辑以及第一数据源；所述第一算法逻辑用于对所述第一数据源进行操作，以运行所述业务；

获取预先圈定的、与所述第一算法逻辑以及所述第一数据源对应的第一目标人群；

读取所述第一目标人群中的各个用户在请求运行所述业务时的行为反馈数据；

基于所述各个用户的行为反馈数据，统计所述业务的第一运行效果；

获取所述业务的第二运行效果；所述第二运行效果是基于第二目标人群中的各个用户在请求运行所述业务时的行为反馈数据统计的；所述第二目标人群与第二算法逻辑以及第二数据源相对应；其中，所述第二业务逻辑算法与所述第一业务逻辑算法的版本不同和/或所述第二数据源与所述第一数据源的版本不同；

对所述第一运行效果与所述第二运行效果进行比对，得到比对结果；

基于所述比对结果，对所述第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

第二方面，提供了一种业务相关因素的评估装置，包括：

确定单元，用于确定业务对应的第一算法逻辑以及第一数据源；所述第一算法逻辑用于对所述第一数据源进行操作，以运行所述业务；

获取单元，用于获取预先圈定的、与所述确定单元确定的所述第一算法逻辑以及所述第一数据源对应的第一目标人群；

读取单元，用于读取所述获取单元获取的所述第一目标人群中的各个用户在请求运行所述业务时的行为反馈数据；

统计单元，用于基于所述读取单元读取的所述各个用户的行为反馈数据，统计所述业务的第一运行效果；

所述获取单元，还用于获取所述业务的第二运行效果；所述第二运行效果是基于第二目标人群中的各个用户在请求运行所述业务时的行为反馈数据统计的；所述第二目标人群与第二算法逻辑以及第二数据源相对应；其中，所述第二业务逻辑算法与所述第一业务逻辑算法的版本不同和/或所述第二数据源与所述第一数据源的版本不同；

比对单元，用于对所述统计单元统计的所述第一运行效果与所述获取单元获取的所述第二运行效果进行比对，得到比对结果；

评估单元，用于基于所述比对单元比对得到的所述比对结果，对所述第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

第三方面，提供了一种业务相关因素的评估设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

确定业务对应的第一算法逻辑以及第一数据源；所述第一算法逻辑用于对所述第一数据源进行操作，以运行所述业务；

获取预先圈定的、与所述第一算法逻辑以及所述第一数据源对应的第一目标人群；

读取所述第一目标人群中的各个用户在请求运行所述业务时的行为反馈数据；

基于所述各个用户的行为反馈数据，统计所述业务的第一运行效果；

获取所述业务的第二运行效果；所述第二运行效果是基于第二目标人群中的各个用户在请求运行所述业务时的行为反馈数据统计的；所述第二目标人群与第二算法逻辑以及第二数据源相对应；其中，所述第二业务逻辑算法与所述第一业务逻辑算法的版本不同和/或所述第二数据源与所述第一数据源的版本不同；

对所述第一运行效果与所述第二运行效果进行比对，得到比对结果；

基于所述比对结果，对所述第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

本说明书一个或多个实施例提供的业务相关因素的评估方法、装置及设备，确定业务对应的第一算法逻辑以及第一数据源。获取预先圈定的、与第一算法逻辑以及第一数据源对应的第一目标人群。读取第一目标人群中的各个用户在请求运行业务时的行为反馈数据。基于各个用户的行为反馈数据，统计上述业务的第一运行效果。获取业务的第二运行效果。该第二运行效果是基于第二目标人群中的各个用户在请求运行上述业务时的行为反馈数据统计的。第二目标人群与第二算法逻辑以及第二数据源相对应。上述第一业务逻辑算法与第二业务逻辑算法的版本不同和/或第一数据源与第二数据源的版本不同。对第一运行效果与第二运行效果进行比对，得到比对结果。基于比对结果，对第一算法逻辑的有效性和/或第一数据源的准确性进行评估。由此可以看出，本说明书提供的方案，可以基于全量用户中的部分人群来完成算法逻辑的有效性和/或数据源的准确性的评估，而无需通过繁琐的线上发布流程，从而可以加快业务相关因素评估的速度。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书提供的业务相关因素的评估方法应用场景示意图；

图2为本说明书提供的业务相关因素的配置结果示意图；

图3为本说明提供的用户的行为反馈数据获取方法流程图；

图4为本说明书一个实施例提供的业务相关因素的评估方法流程图；

图5为本说明书一个实施例提供的业务相关因素的配置装置示意图；

图6为本说明书一个实施例提供的业务相关因素的配置设备示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1为本说明书提供的业务相关因素的评估方法应用场景示意图。图1中，业务系统10可以根据接收的用户的业务运行请求，运行相应的业务。评估系统20可以对不同版本的算法逻辑或者数据源进行评估，其具体可以包括配置模块22和评估模块24。

配置模块22用于配置不同版本的人群，或者说用于配置不同的人群版本。在本说明书中，人群版本的配置可以分为两个阶段：第一阶段，基于业务诉求以及用户特点从全量用户中圈定一部分用户。第二阶段，针对待评估的不同版本的算法逻辑和/或数据源，或者说，针对待评估的算法逻辑版本和/或数据源版本，从上述一部分用户中圈定指定数量的用户。这里的算法逻辑代表了数据的使用逻辑，不同的算法逻辑版本可以通过如下两种方式得到：第一种，调整算法参数。第二，替换整个算法逻辑。在得到某个算法逻辑版本之后，可以通过动态脚本的形式将其推送至业务系统，由此就达到了使其生效的目的。也即无需通过繁琐的发布流程，就可以达到算法逻辑版本快速上线的目的。

需要说明的是，由于本方案中，针对不同的算法逻辑版本和/或数据源版本，圈定了不同的人群，从而可以对多个算法逻辑版本和/或数据源版本同时进行评估，由此达到了对业务相关因素进行快速评估的目的。此外，上述针对不同的算法逻辑版本和/或数据源版本，圈定不同的人群的方法事实上是借鉴了灰度测试的思想。最后，通过本说明书提供的人群配置方法，可以对特殊人群进行隔离，这里的特殊人群可以包括偏好投诉的人群等等。通过对特殊人群进行隔离，可以提高业务相关因素评估的准确性。

还需要说明的是，本说明书中配置的人群版本可以具有唯一版本号，该唯一版本号可以是基于业务诉求、人群特点以及其它信息来确定。在为人群版本设定唯一版本号之后，还可以基于该唯一版本号，对相应的算法逻辑版本和/或数据源版本进行识别。

可以理解的是，在完成上述配置之后，配置模块22可以将相应的配置结果发送至业务系统，这里的配置结果可以如图2所示。从而业务系统在接收到某个用户的业务运行请求时，可以基于当前所请求运行业务的业务诉求以及该用户ID，先确定人群版本的唯一版本号。之后基于该唯一版本号，确定该用户所属的人群版本，并基于与该人群版本对应的算法逻辑版本和/或数据源版本，来运行该用户所请求运行的业务。在运行该业务的过程中，业务系统可以记录该用户的行为反馈数据。之后，评估模块24就可以基于该行为反馈数据，对上述算法逻辑版本和/或数据源版本进行评估。

评估模块24可以基于业务系统中所记录的行为反馈数据，对不同版本的算法逻辑的有效性和/或数据源的准确性进行评估，其具体评估过程后续进行说明。

由上述内容可以看出，实现业务相关因素评估的前提是用户的行为反馈数据的获取，以下对该获取过程进行说明。

图3为本说明书提供的用户的行为反馈数据获取方法流程图。所述方法执行主体可以为具有处理能力的设备：服务器或者系统或者模块，如，可以为图1中的业务系统10等。如图3所示，所述方法具体可以包括：

步骤302，接收用户的业务运行请求。

该业务运行请求至少可以包括用户ID以及所请求业务的业务诉求。

步骤304，基于用户ID以及业务诉求，确定该用户所属的人群版本。

该确定过程具体可以为:基于业务诉求以及用户ID，先确定人群版本的唯一版本号。之后基于该唯一版本号，确定该用户所属的人群版本。

如上所述，任一用户所属的人群版本由配置模块202配置得到。

步骤306，获取对应于所确定人群版本的算法逻辑版本以及数据源版本。

如上所述，针对某一特定的业务，与人群版本对应的算法逻辑版本以及数据源版本也是确定的。

步骤308，基于获取的算法逻辑版本以及数据源版本，执行上述用户所请求运行的业务，并获取该用户的行为反馈数据。

参照上述一个用户的行为反馈数据的获取方法，业务系统可以获取多个用户的行为反馈数据。在获取到上述行为反馈数据之后，可以将其记录到相应的存储中，以便在后续评估业务相关因素时使用。

在获取到不同人群版本中的用户的行为反馈数据之后，就可以对相应的算法逻辑版本和/或数据源版本进行评估了，以下对该评估过程进行详细说明。

图4为本说明书一个实施例提供的业务相关因素的评估方法流程图。所述方法执行主体可以为具有处理能力的设备：服务器或者系统或者模块，如，可以为图1中的评估模块24等。如图4所示，所述方法具体可以包括：

步骤402，确定业务对应的第一算法逻辑以及第一数据源。

这里的第一算法逻辑用于对第一数据源进行操作，以运行上述业务。

关于第一算法逻辑以及第一数据源，分如下几种情况进行说明：第一种情况，当需要单独对第一算法逻辑的有效性进行评估时，上述第一算法逻辑的版本可以为新版本，也即第一算法逻辑为新版本算法逻辑，而第一数据源则沿用原来版本的数据源。第二种情况，当需要单独对第一数据源的准确性进行评估时，上述第一数据源的版本可以为新版本，也即第一数据源为新版本数据源，而第一算法逻辑则沿用原来版本的算法逻辑。第三种情况，当需要同时对第一算法逻辑的有效性和第一数据源的准确性进行评估时，上述第一算法逻辑可以为新版本算法逻辑，上述第一数据源可以为新版本数据源。

步骤404，获取预先圈定的、与第一算法逻辑以及第一数据源对应的第一目标人群。

这里的第一目标人群是指与第一算法逻辑以及第一数据源对应的人群版本。

步骤406，读取第一目标人群中的各个用户在请求运行上述业务时的行为反馈数据。

如，可以是从业务系统10的存储中读取在指定时间段内(如，一天)第一目标人群中的各个用户在请求运行上述业务时的行为反馈数据。

步骤408，基于各个用户的行为反馈数据，统计上述业务的第一运行效果。

这里的第一运行效果至少可以包括业务运行的准确率以及用户的接受度等。

步骤410，获取上述业务的第二运行效果。

该第二运行效果可以是基于第二目标人群中的各个用户在请求运行上述业务时的行为反馈数据统计的。该第二目标人群可以与第二算法逻辑以及第二数据源相对应。关于第二算法逻辑和第二数据源，同样分三种情况进行说明：第一种情况，当需要单独对第一算法逻辑的有效性进行评估时，第二算法逻辑的版本可以旧版本，也即第二算法逻辑的版本与第一算法逻辑的版本不同；而第二数据源的版本与第一数据源的版本相同，如，均沿用原来版本的数据源。第二种情况，当需要单独对第一数据源的准确性进行评估时，第二数据源的版本可以旧版本，也即第二数据源的版本与第一数据源的版本不同；而第二算法逻辑的版本与第一算法逻辑的版本相同，如，均沿用原来版本的算法逻辑。第三种情况，当需要同时对第一算法逻辑的有效性和第一数据源的准确性进行评估时，第二算法逻辑的版本可以旧版本，也即第二算法逻辑的版本与第一算逻辑的版本不同；第二数据源的版本可以旧版本，也即第二数据源的版本与第一数据源的版本也不同。

需要说明的是，由于本方案可以基于人群版本，对业务相关因素进行评估，因此可以实现同时对多个算法逻辑的有效性和/或数据源的准确性进行评估。以同时对多个算法逻辑的有效性进行评估为例来说，则上述步骤中的第二算法逻辑的个数为多个，且每个均为与第一算法逻辑的版本不同的新版本算法逻辑。可以理解的是，当有多个第二算法逻辑时，针对每个第二算法逻辑圈定的用户的数量可以是相同的。也即与不同第二算法逻辑相应的第二目标人群的用户数量可以是相同的。此外，当有多个第二算法逻辑时，可以针对每个第二算法逻辑，均获取相应的第二运行效果，从而得到多个第二运行效果。

同理，上述步骤中的第二数据源的个数也可以为多个。多个第二数据源的情况与多个第二算法逻辑的情况类似，在此不复赘述。

步骤412，对第一运行效果与第二运行效果进行比对，得到比对结果。

需要说明的是，当获取到多个第二运行效果时，这里可以是将第一运行效果与多个第二运行效果一一进行比对。

上述比对结果可以包括如下两种：第一运行效果优于第二运行效果或者第二运行效果优于第一运行效果。以第一运行效果优于第二运行效果为例来说，可以是指基于第一目标人群统计的业务运行的准确率以及用户的接受度均高于基于第二目标人群统计的业务运行的准确率以及用户的接受度。

步骤414，基于比对结果，对第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

具体地，若第一运行效果优于第二运行效果，则第一算法逻辑的有效性和/或第一数据源的准确性评估通过。

其具体可以分为如下三种情况：第一种，若第一业务逻辑算法与第二业务逻辑算法的版本不同且第一数据源与第二数据源的版本相同，则第一业务逻辑算法的有效性评估通过。第二种，若第一数据源与第二数据源的版本不同且第一业务逻辑算法与第二业务逻辑算法的版本相同，则第一数据源的准确性评估通过。第三种，若第一业务逻辑算法与第二业务逻辑算法的版本不同且第一数据源与第二数据源的版本不同，则第一业务逻辑算法的有效性评估通过，且第一数据源的准确性评估通过。

若第二运行效果优于第一运行效果，则第一算法逻辑的有效性和/或第一数据源的准确性评估未通过。

这里也可以分为三种情况，具体可参照上文所述，在此不复赘述。

本说明书中，在对第一算法逻辑的有效性和/或第一数据源的准确性评估通过时，可以将第一目标人群扩展为全量用户，以使得当任一用户在请求运行上述业务时基于第一算法逻辑以及第一数据源运行该业务。

此外，在第一算法逻辑的有效性和/或第一数据源的准确性评估通过时，还可以判断上述第一运行效果是否达到预设的业务目标。这里的业务目标可以是指针对上述准确率以及接受度设定的阈值。如果达到，则业务相应的算法逻辑和/或数据源优化结束。否则，可以基于第一运行效果，继续对第一算法逻辑和/或数据源进行优化，并针对优化后的第一算法逻辑和/或数据源执行上述图3以及图4所示的各步骤，直至达到预设的业务目标。

可以理解的是，在第一算法逻辑的有效性和/或第一数据源的准确性评估未通过时，可以将第一目标人群对应的第一算法逻辑和/或数据源切换为第二算法逻辑和/或数据源。由此，可以实现算法逻辑版本和/或数据源版本的快速切换，进而可以达到快速回滚到指定算法逻辑的目的。

还需要说明的是，本方案还可以记录第一算法逻辑的版本、第一数据源的版本以及第一运行效果的对应关系，以用于后续对各个版本的逻辑算法以及数据源的运行效果进行对比。

当然，在实际应用中，还可以将人群版本也记录到上述对应关系中，由此可以实现仅仅依靠人群版本，来识别逻辑算法和/或数据源的运行效果。

综上，本说明书实施例提供的业务相关因素的评估方法，由于针对不同的算法逻辑版本和/或数据源版本，圈定了不同的人群，从而可以对多个算法逻辑版本和/或数据源版本同时进行评估，由此达到了对业务相关因素进行快速评估的目的。其次，本方案通过圈定人群的方式，对不同的算法逻辑版本和/或数据源版本进行评估时，如果与某个人群对应的算法逻辑版本和/或数据源版本评估不通过，可以对该人群对应的算法逻辑版本和/或数据源版本进行切换，由此可以达到快速回滚到指定算法逻辑的目的。最后，通过本说明书提供的人群配置方法，可以对特殊人群进行隔离，这里的特殊人群可以包括偏好投诉的人群等等。通过对特殊人群进行隔离，可以提高业务相关因素评估的准确性。

总之，本说明书提供的方案，通过应用灰度测试的方法，可以实现业务相关因素的快速评估，进而可以实现其快速上线，这满足了业务的高速发展。

与业务相关因素的评估方法对应地，本说明书一个实施例还提供的一种业务相关因素的评估装置，如图5所示，该装置可以包括：

确定单元502，用于确定业务对应的第一算法逻辑以及第一数据源。该第一算法逻辑用于对第一数据源进行操作，以运行上述业务。

获取单元504，用于获取预先圈定的、与确定单元502确定的第一算法逻辑以及第一数据源对应的第一目标人群。

读取单元506，用于读取获取单元504获取的第一目标人群中的各个用户在请求运行上述业务时的行为反馈数据。

统计单元508，用于基于读取单元506读取的各个用户的行为反馈数据，统计上述业务的第一运行效果。

该第一运行效果至少可以包括业务运行的准确率以及用户的接受度。

获取单元504，还用于获取上述业务的第二运行效果。第二运行效果是基于第二目标人群中的各个用户在请求运行上述业务时的行为反馈数据统计的。第二目标人群与第二算法逻辑以及第二数据源相对应。其中，第二业务逻辑算法与第一业务逻辑算法的版本不同和/或第二数据源与第一数据源的版本不同。

比对单元510，用于对统计单元508统计的第一运行效果与获取单元504获取的第二运行效果进行比对，得到比对结果。

评估单元512，用于基于比对单元510比对得到的比对结果，对第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

这里，比对结果可以包括第一运行效果优于第二运行效果或者第二运行效果优于第一运行效果。

评估单元512具体可以用于：

若第一运行效果优于第二运行效果，则第一算法逻辑的有效性和/或第一数据源的准确性评估通过。

若第二运行效果优于第一运行效果，则第一算法逻辑的有效性和/或第一数据源的准确性评估未通过。

上述第一算法逻辑的有效性和/或第一数据源的准确性评估通过，包括：

若第一业务逻辑算法与第二业务逻辑算法的版本不同且第一数据源与第二数据源的版本相同，则第一业务逻辑算法的有效性评估通过。

若第一数据源与第二数据源的版本不同且第一业务逻辑算法与第二业务逻辑算法的版本相同，则第一数据源的准确性评估通过。

若第一业务逻辑算法与第二业务逻辑算法的版本不同且第一数据源与第二数据源的版本不同，则第一业务逻辑算法的有效性评估通过，第一数据源的准确性评估通过。

可选地，该装置还可以包括：

扩展单元514，用于若第一算法逻辑的有效性和/或第一数据源的准确性评估通过，则将第一目标人群扩展为全量用户，以使得当任一用户在请求运行上述业务时基于第一算法逻辑以及第一数据源运行该业务。

可选地，该装置还可以包括：

圈定单元516，用于基于上述业务的业务诉求以及用户特点，从全量用户中选取第一数量的用户。

针对第一算法逻辑以及第一数据源，从第一数量的用户中随机圈定第二数量的用户。将第二数量的用户作为第一目标人群；其中，第一数量大于等于第二数量。

可选地，该装置还可以包括：

记录单元518，用于记录第一算法逻辑的版本、第一数据源的版本以及第一运行效果的对应关系，以用于后续对各个版本的业务逻辑算法以及数据源的运行效果进行对比。

本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。

本说明书一个实施例提供的业务相关因素的评估装置，可以快速而有效地对业务相关因素进行评估。

本说明书一个实施例提供的业务相关因素的评估装置可以为图1中评估模块24的一个子模块或者子单元。

与上述业务相关因素的评估方法对应地，本说明书实施例还提供了一种业务相关因素的评估设备，如图6所示，该设备可以包括：存储器602、一个或多个处理器604以及一个或多个程序。其中，该一个或多个程序存储在存储器602中，并且被配置成由一个或多个处理器604执行，该程序被处理器604执行时实现以下步骤：

确定业务对应的第一算法逻辑以及第一数据源。该第一算法逻辑用于对第一数据源进行操作，以运行所对应的业务。

获取预先圈定的、与第一算法逻辑以及第一数据源对应的第一目标人群。

读取第一目标人群中的各个用户在请求运行上述业务时的行为反馈数据。

基于各个用户的行为反馈数据，统计上述业务的第一运行效果

获取上述业务的第二运行效果。该第二运行效果是基于第二目标人群中的各个用户在请求运行上述业务时的行为反馈数据统计的。第二目标人群与第二算法逻辑以及第二数据源相对应。其中，第二业务逻辑算法与第一业务逻辑算法的版本不同和/或第二数据源与第一数据源的版本不同。

对第一运行效果与第二运行效果进行比对，得到比对结果。

基于比对结果，对第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

本说明书一个实施例提供的业务相关因素的评估设备，可以快速而有效地对业务相关因素进行评估。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (15)

1.一种业务相关因素的评估方法，包括：

确定业务对应的第一算法逻辑以及第一数据源；所述第一算法逻辑用于对所述第一数据源进行操作，以运行所述业务；

获取预先圈定的、与所述第一算法逻辑以及所述第一数据源对应的第一目标人群；

读取所述第一目标人群中的各个用户在请求运行所述业务时的行为反馈数据；

基于所述各个用户的行为反馈数据，统计所述业务的第一运行效果；

获取所述业务的第二运行效果；所述第二运行效果是基于第二目标人群中的各个用户在请求运行所述业务时的行为反馈数据统计的；所述第二目标人群与第二算法逻辑以及第二数据源相对应；其中，所述第二业务逻辑算法与所述第一业务逻辑算法的版本不同和/或所述第二数据源与所述第一数据源的版本不同；

对所述第一运行效果与所述第二运行效果进行比对，得到比对结果；

基于所述比对结果，对所述第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

2.根据权利要求1所述的方法，所述比对结果包括所述第一运行效果优于所述第二运行效果或者所述第二运行效果优于所述第一运行效果；

所述基于所述比对结果，对所述第一算法逻辑和/或第一数据源进行评估，包括：

若所述第一运行效果优于所述第二运行效果，则所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估通过；

若所述第二运行效果优于所述第一运行效果，则所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估未通过。

3.根据权利要求2所述的方法，

所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估通过，包括：

若所述第一业务逻辑算法与所述第二业务逻辑算法的版本不同且所述第一数据源与所述第二数据源的版本相同，则所述第一业务逻辑算法的有效性评估通过；

若所述第一数据源与所述第二数据源的版本不同且所述第一业务逻辑算法与所述第二业务逻辑算法的版本相同，则所述第一数据源的准确性评估通过；

若所述第一业务逻辑算法与所述第二业务逻辑算法的版本不同且所述第一数据源与所述第二数据源的版本不同，则所述第一业务逻辑算法的有效性评估通过，所述第一数据源的准确性评估通过。

4.根据权利要求1所述的方法，还包括：

若所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估通过，则将所述第一目标人群扩展为全量用户，以使得当任一用户在请求运行所述业务时基于所述第一算法逻辑以及所述第一数据源运行所述业务。

5.根据权利要求1所述的方法，还包括圈定所述第一目标人群的步骤，包括：

基于所述业务的业务诉求以及用户特点，从全量用户中选取第一数量的用户；

针对所述第一算法逻辑以及所述第一数据源，从所述第一数量的用户中随机圈定第二数量的用户；将所述第二数量的用户作为所述第一目标人群；其中，所述第一数量大于等于所述第二数量。

6.根据权利要求1所述的方法，所述第一运行效果至少包括业务运行的准确率以及用户的接受度。

7.根据权利要求1所述的方法，还包括：

记录所述第一算法逻辑的版本、所述第一数据源的版本以及所述第一运行效果的对应关系，以用于后续对各个版本的业务逻辑算法以及数据源的运行效果进行对比。

8.一种业务相关因素的评估装置，包括：

确定单元，用于确定业务对应的第一算法逻辑以及第一数据源；所述第一算法逻辑用于对所述第一数据源进行操作，以运行所述业务；

获取单元，用于获取预先圈定的、与所述确定单元确定的所述第一算法逻辑以及所述第一数据源对应的第一目标人群；

读取单元，用于读取所述获取单元获取的所述第一目标人群中的各个用户在请求运行所述业务时的行为反馈数据；

统计单元，用于基于所述读取单元读取的所述各个用户的行为反馈数据，统计所述业务的第一运行效果；

所述获取单元，还用于获取所述业务的第二运行效果；所述第二运行效果是基于第二目标人群中的各个用户在请求运行所述业务时的行为反馈数据统计的；所述第二目标人群与第二算法逻辑以及第二数据源相对应；其中，所述第二业务逻辑算法与所述第一业务逻辑算法的版本不同和/或所述第二数据源与所述第一数据源的版本不同；

比对单元，用于对所述统计单元统计的所述第一运行效果与所述获取单元获取的所述第二运行效果进行比对，得到比对结果；

评估单元，用于基于所述比对单元比对得到的所述比对结果，对所述第一算法逻辑的有效性和/或第一数据源的准确性进行评估。

9.根据权利要求8所述的装置，所述比对结果包括所述第一运行效果优于所述第二运行效果或者所述第二运行效果优于所述第一运行效果；

所述评估单元具体用于：

若所述第一运行效果优于所述第二运行效果，则所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估通过；

若所述第二运行效果优于所述第一运行效果，则所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估未通过。

10.根据权利要求9所述的装置，

所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估通过，包括：

若所述第一业务逻辑算法与所述第二业务逻辑算法的版本不同且所述第一数据源与所述第二数据源的版本相同，则所述第一业务逻辑算法的有效性评估通过；

若所述第一数据源与所述第二数据源的版本不同且所述第一业务逻辑算法与所述第二业务逻辑算法的版本相同，则所述第一数据源的准确性评估通过；

若所述第一业务逻辑算法与所述第二业务逻辑算法的版本不同且所述第一数据源与所述第二数据源的版本不同，则所述第一业务逻辑算法的有效性评估通过，所述第一数据源的准确性评估通过。

11.根据权利要求8所述的装置，还包括：

扩展单元，用于若所述第一算法逻辑的有效性和/或所述第一数据源的准确性评估通过，则将所述第一目标人群扩展为全量用户，以使得当任一用户在请求运行所述业务时基于所述第一算法逻辑以及所述第一数据源运行所述业务。

12.根据权利要求8所述的装置，还包括：

圈定单元，用于基于所述业务的业务诉求以及用户特点，从全量用户中选取第一数量的用户；

针对所述第一算法逻辑以及所述第一数据源，从所述第一数量的用户中随机圈定第二数量的用户；将所述第二数量的用户作为所述第一目标人群；其中，所述第一数量大于等于所述第二数量。

13.根据权利要求8所述的装置，所述第一运行效果至少包括业务运行的准确率以及用户的接受度。

14.根据权利要求8所述的装置，还包括：

记录单元，用于记录所述第一算法逻辑的版本、所述第一数据源的版本以及所述第一运行效果的对应关系，以用于后续对各个版本的业务逻辑算法以及数据源的运行效果进行对比。

15.一种业务相关因素的评估设备，包括：

存储器；

一个或多个处理器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：

确定业务对应的第一算法逻辑以及第一数据源；所述第一算法逻辑用于对所述第一数据源进行操作，以运行所述业务；

获取预先圈定的、与所述第一算法逻辑以及所述第一数据源对应的第一目标人群；

读取所述第一目标人群中的各个用户在请求运行所述业务时的行为反馈数据；

基于所述各个用户的行为反馈数据，统计所述业务的第一运行效果；

获取所述业务的第二运行效果；所述第二运行效果是基于第二目标人群中的各个用户在请求运行所述业务时的行为反馈数据统计的；所述第二目标人群与第二算法逻辑以及第二数据源相对应；其中，所述第二业务逻辑算法与所述第一业务逻辑算法的版本不同和/或所述第二数据源与所述第一数据源的版本不同；

对所述第一运行效果与所述第二运行效果进行比对，得到比对结果；

基于所述比对结果，对所述第一算法逻辑的有效性和/或第一数据源的准确性进行评估。