CN108170589B - 网络平台基础数据质量算法的保障方法 - Google Patents

Abstract

本申请公开网络平台基础数据质量算法的保障方法，利用样本数据，从基础数据中提取多个已标注数据作为样本数据；利用样本数据对被测试算法进行线下算法回归评估；再通过基础数据中积累的样本数据，对被测试算法进行线上算法回归评估；通过被测试算法进行线上和线下测试的同时，对算法产生反馈，推进算法迭代，并在修正结束继续对算法进行同步的验证；不仅对算法的效果进行了可靠度量，还对算法的迭代起到作用，从而保证了基础数据的质量。

Description

网络平台基础数据质量算法的保障方法

技术领域

本申请涉及互联网应用算法领域，具体涉及网络平台基础数据质量算法的保障方法。

背景技术

近年来，随着网络技术的快速发展，互联网算法的应用已经全方位的融入到生活当中。例如，用户打开app后，算法自动推荐其喜欢的视频，美食，新闻等；越来越多的人在线支付，支付信息的安全加密等；这些都是由算法来实现的。因此，在互联网领域的应用算法场景中，算法效果的正确性、合理性将直接影响到相关数据的质量和用户体验。

其中，许多算法的效果可以通过指标量化实现评价。比如搜索推荐算法，可以通过日志打点，得到用户点击转化率等量化指标，这类场景往往可以通过A/B实验等方法保证算法效果。如图1所示，为A/B测试概念示意图。

图1展示了A/B测试的实现原理。从左到右，四条较粗的竖线代表了A/B测试中的四个关键角色：客户端(Client)、服务器(Server)、数据层(Data)、数据仓库(DataWarehouse)。从上到下代表了三种访问形式：无A/B测试的普通访问流程(Non AB test)、基于后端的A/B测试访问流程(Back-end AB test)、基于前端的A/B测试访问流程(Front-endAB test)。

一般情况下，用户在一次浏览中，会从客户端(Client)发起一个请求，这个请求被传到了服务器(Server)，服务器的后台程序根据计算，得出要给用户返回什么内容(Data)，同时向数据仓库(Data Warehouse)添加一条打点信息，记录本次访问的相关信息。这个过程也就是图上横向的流程。数据仓库收集到足够的数据之后，就可以开始进行分析(Analytics)了，即是图1中右上角的部分，宏观行为分析(Macro-behavior)和微观行为分析(Micro-behavior)。A/B测试需要将多个不同的版本展现给不同的用户，即需要一个“分流”的环节。从图1中可以看到，分流可以在客户端做，也可以在服务器端做。传统的A/B测试一般是在服务端分流的，即基于后端的A/B测试(Back-end AB test)，当用户的请求到达服务器时，服务器根据一定的规则，给不同的用户返回不同的版本，同时记录数据的工作也在服务端完成。

但是，目前还存在另一类基础数据质量场景下的算法，其效果的衡量不容易获取量化指标值。比如，电子商户领域线上的店铺的商户名、地址、电话、经纬度、类目等基本信息，这些数据在许多情况下是通过其他信息使用特定算法推算而获得的，这些基础数据的质量对用户体验、对营运活动等都有很大影响，但是，对于获得这些基础数据的算法却没有可靠、直接的数据指标衡量其算法质量。

在基础数据质量相关算法应用过程中，算法分为在线算法和离线算法，在线算法是指，算法提供在线服务，可供其他系统调用；离线算法是指在离线分布式计算平台等运行，生产数据，供下游离线任务使用，或者通过一定的手段将数据导入线上系统。

因此，对于基础数据质量场景下的算法，如何在算法开发，迭代和生产的整个链路中，保障算法的效果，进而保证基础数据的质量，还需要进一步地去完善。

发明内容

本申请提供网络平台基础数据质量算法的保障方法，以解决对于基础数据质量场景下的算法，在算法开发，迭代和生产的整个链路中，保障算法的效果，进而保证基础数据的质量的问题。

本申请提供了网络平台基础数据质量算法的保障方法，包括：从所述基础数据中提取多个已标注数据作为样本数据；

当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若所述评估结果为通过，则进入下一步；若所述评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若所述评估结果为通过，则进入下一步；若评估结果为不通过，则对所述被测试算法进行在线改进，并重新进行评估。

可选的，所述对所述被测试算法进行算法回归评估，具体包括：

根据所述被测试算法的要求，使用所述样本数据，构造所述被测试算法的输入参数；

将所述输入参数提供给所述被测试算法，并获得对应的输出结果；

将所述输出结果与所述样本数据提供的对应数据相比较，获得其比较结果；

根据各次比较结果，获得所述算法回归评估的评估指标；

将所述评估指标与预定的合格指标比较，获得是否通过的所述评估结果。

可选的，所述线下算法回归评估的评估结果为通过，则所述进入下一步中，所述下一步为线下数据透视步骤，具体为以下步骤：

根据所述被测试算法对应的算法场景，使用所述基础数据中的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

根据所述输出数据选择对应角度提取所述输出数据中的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

可选的，所述输出数据的集合的特征值，具体包括：数据的分布情况，字段符合条件的波动率，字段的取值范围以及敏感词命中统计。

可选的，所述线下算法回归评估的评估结果为通过，则所述进入下一步中，其中，所述下一步为抽样检测，具体为以下步骤：

根据所述被测试算法的要求，在所述基础数据中选择出至少一个输入参数提供给所述被测试算法进行计算；

将上一步骤计算所获得的输出结果与所述基础数据中已经获得的对应数据进行比较，获得对应的比较结果；

根据所获得的各个输出结果的比较结果，获得统计结果；若所述统计结果满足预定的抽检评估指标，则检测的结果为通过，进入下一步；若所述统计结果未满足预定的抽检评估指标，则对所述被测试算法进行改进，并重新进行线下算法回归评估。

可选的，所述对所述在线被测试算法进行例行化算法回归评估，具体包括：

根据所述被测试算法的要求，使用所述积累的样本数据，构造所述被测试算法的输入参数；

将所述输入参数提供给所述被测试算法，并获得对应的输出结果；

将所述输出结果与所述积累的样本数据提供的对应参数相比较，获得其比较结果；

根据各次比较结果，获得所述算法回归评估的评估指标；

将所述评估指标与预定的合格指标比较，获得是否通过的评估结果。

可选的，所述线上算法回归评估的评估结果为通过，则所述进入下一步，所述下一步为数据业务监控，具体为以下步骤：

根据所述被测试算法的要求，获取所述被测试算法输出的输出数据；

通过预先设定的指标，对所述输出数据及其对应的业务进行监控，并获得对应的监控结果；

根据所获得的各个输出数据的监控结果，获得统计结果；

若所述统计结果达到预定的监控评估阈值，则所述统计结果为合格，继续进入下一步；若所述统计结果未达到预定的监控评估阈值，则所述统计结果为不合格，生成对应的预警提示，并对所述被测试算法进行改进，重新进行线下算法回归评估。

可选的，所述线上算法回归评估的评估结果为通过，则所述进入下一步，所述下一步为线上数据透视，具体为以下步骤：

根据所述被测试算法的要求，使用所述基础数据中的积累的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

根据与输出数据对应的算法场景选择对应角度提取所述输出数据的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

本申请还提供了一种网络平台基础数据质量算法的保障装置，包括：

样本数据获取单元，用于从所述基础数据中提取多个已标注数据作为样本数据；

线下算法回归评估单元，用于当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若所述评估结果为通过，则进入下一步；若所述评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

线上算法回归评估单元，用于当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为不通过，则对所述被测试算法进行在线改进，并重新进行评估。

可选的，所述线下算法回归评估单元，具体包括：

第一构造参数单元，用于根据所述被测试算法的要求，使用所述样本数据，构造所述被测试算法的输入参数；将所述第一构造参数单元构造的输入参数提供给所述被测试算法，并获得对应的输出结果；

第一比较单元，用于将所述输出结果与所述样本数据提供的对应数据相比较，获得其比较结果；

线下算法评估指标获取单元，用于根据各次所述第一比较单元提供的比较结果，获得所述算法回归评估的评估指标；

线下算法评估结果获取单元，用于将所述评估指标与预定的合格指标比较，获得是否通过的所述评估结果。

可选的，包括：线下数据透视单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行数据透视，所述线下数据透视单元包括：

第一数据采集单元，用于根据所述被测试算法对应的算法场景，使用所述基础数据中的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

线下数据特征值处理单元，用于根据所述输出数据选择对应角度提取所述输出数据中的集合的特征值；并将所述输出数据的集合的特征值与预设的特征指标进行比较；

线下数据透视执行单元，若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

可选的，所述输出数据的集合的特征值，具体包括：数据的分布情况，字段符合条件的波动率，字段的取值范围以及敏感词命中统计。

可选的，包括：抽样检测单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行抽样检测，所述抽样检测单元包括：

抽样检测参数选取单元，用于根据所述被测试算法的要求，在所述基础数据中选择出至少一个输入参数提供给所述被测试算法进行计算；

抽样检测比较单元，用于将所述抽样检测参数选取单元提供的输出结果与所述基础数据中已经获得的对应数据进行比较，获得对应的比较结果。

抽样检测执行单元，用于根据所述抽样检测比较单元提供的各个输出结果的比较结果，获得统计结果；若所述统计结果满足预定的抽检评估指标，则检测的结果为通过，进入下一步；若所述统计结果未满足预定的抽检评估指标，则对所述被测试算法进行改进，并重新进行线下算法回归评估。

可选的，所述线上算法回归评估单元，具体包括：

第二构造参数单元，用于根据所述被测试算法的要求，使用所述积累的样本数据，构造所述被测试算法的输入参数；将所述第二构造参数单元构造的输入参数提供给所述被测试算法，并获得对应的输出结果；

第二比较单元，用于将所述第二构造参数单元获得的所述输出结果与所述积累的样本数据提供的对应参数相比较，获得其比较结果；

线上算法评估指标获取单元，用于根据各次比较结果，获得所述算法回归评估的评估指标；

线上算法评估结果获取单元，用于将所述评估指标与预定的合格指标比较，获得是否通过的评估结果。

可选的，包括：数据业务监控单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行数据业务监控，所述数据业务监控单元包括：

数据获取单元，用于根据所述被测试算法的要求，获取所述被测试算法输出的输出数据；

数据业务监控子单元，用于通过预先设定的指标，对所述数据获取单元提供的输出数据及其对应的业务进行监控，并获得对应的监控结果；

监控统计单元，用于根据所述数据业务监控子单元所获得的各个输出数据的监控结果，获得统计结果；

监控执行单元，用于若所述监控统计单元提供的所述统计结果达到预定的监控评估阈值，则所述统计结果为合格，继续进入下一步；若所述统计结果未达到预定的监控评估阈值，则所述统计结果为不合格，生成对应的预警提示，并启动对所述被测试算法的改进，以及重新进行线下算法回归评估。

可选的，包括：线上数据透视单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行线上数据透视，所述线上数据透视单元包括：

第二数据采集单元，用于根据所述被测试算法的要求，使用所述基础数据中的积累的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

线上数据特征值处理单元，用于根据与所述第二数据采集单元提供的输出数据对应的算法场景选择对应角度提取所述输出数据的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

线上数据透视执行单元，用于若所述线上数据特征值处理单元比较结果的差别在预定的阈值范围内，则继续进入下一步；若比较结果的差别超出预定的阈值范围，则启动对所述被测试算法的改进，以及返回进行线下算法回归评估的步骤。

本申请还提供了一种电子设备，包括：

处理器；以及

存储器，用于存储网络平台基础数据质量算法的保障方法；

该设备通电并通过所述处理器运行所述网络平台基础数据质量算法的保障方法后，执行下述步骤：

从所述基础数据中提取多个已标注数据作为样本数据；

当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若所述评估结果为通过，则进入下一步；若所述评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为不通过，则对所述被测试算法进行在线改进，并重新进行评估。

与现有技术相比，本申请具有以下优点：本申请提供的网络平台基础数据质量算法的保障方法，利用样本数据，从基础数据中提取多个已标注数据作为样本数据；利用样本数据对被测试算法进行线下算法回归评估；再通过基础数据中积累的样本数据，对被测试算法进行线上算法回归评估；通过被测试算法进行线上和线下测试的同时，对算法产生反馈，推进算法迭代，并在修正结束继续对算法进行同步的验证；不仅对算法的效果进行了可靠度量，还对算法的迭代起到作用，从而保证了基础数据的质量。

附图说明

图1是本申请提供的现有的相关算法测试的示意图；

图2是本申请实施例提供的网络平台基础数据质量算法的保障方法的流程图；

图3是本申请实施例提供的网络平台基础数据质量算法的保障方法中的算法回归方式的流程图；

图4是本申请实施例提供的网络平台基础数据质量算法的保障方法中的数据透视方式的流程图；

图5是本申请实施例提供的网络平台基础数据质量算法的保障方法中的抽检方法方式的流程图；

图6是本申请实施例提供的网络平台基础数据质量算法的保障方法中的数据业务监控方式的流程图；

图7是本申请实施例提供的网络平台基础数据质量算法的保障方法中的多个测试方式的流程图；

图8是本申请实施例提供的网络平台基础数据质量算法的保障装置的示意图；

图9是图8中本申请实施例提供的网络平台基础数据质量算法的保障装置的又一个示意图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

本申请提供网络平台基础数据质量算法的保障方法，以在算法开发，迭代和生产的整个链路中，保障算法的效果，进而保证数据的质量。

如图2所示，图2是本申请提供的网络平台基础数据质量算法的保障方法的实施例流程图，以下结合图2进行说明。

步骤S110，从基础数据中提取多个已标注数据作为样本数据。

本步骤用于获得线下算法回归所需的数据，即样本数据。本申请的相关算法是基于基础数据而开发的，因此，本申请实施例中的样本数据的来源是从基础数据中得来的。

在本申请实施例中，基础数据为表征主体的特征属性的数据，以商务领域为例，基础数据具体包括但不限于以下内容，如店铺(主体)的商户名、地址、电话、经纬度、类目等基本信息；以运营服务类领域为例，基础数据具体包括但不限于某个服务者(主体)服务的种类、服务时间段和服务的群体等。

所述已标注数据，是指在研究中实际观测或调查过的一部分主体的基础数据；所述主体的各个基础数据已经被正确标注。例如：某个体商户，其商户名属性数据标注为“某某夏丽”，商户类型属性数据为“美发店”；再如，某个商铺的地理属性数据标注为经纬度值，其商户类型属性数据对应为“某某火锅”。

所述样本数据，就是用于测试被测试算法的数据。所述提取多个已标注数据作为样本数据，就是通过搜集足够数量的已标注数据，作为对被测试算法进行测试的数据。样本数据本身是根据相关的被描述主体分组的，例如，对某个商户而言，有一组描述其属性的已标注数据，如：商户名、商户类型、商户地理位置等。

根据被测试算法的功能，一组已标注数据中包含该被测试算法的输入参数，也包括该被测试算法的输出结果真实值；这样，在后续的测试过程中，就可以通过将输入参数带入所述被测试算法，从而获得被测试算法计算获得的输出结果，并将所述输出结果与所述已标注数据中的该输出结果的真实值比较，从而获知被测试算法对该组已标注数据的计算结果是否准确；这样就实现了使用样本数据对被测试的算法进行算法回归评估。

所述提取多个已标注数据，其中的“多个”是对样本数据的数量要求。根据不同的情况，需要的样本数据数量也会不同。所述样本数据数量，首先受到已经积累的已标注数据的数据量的限制；另外，对于对被测试算法进行评估而言，所使用的样本数据数量也并非越多越好，数据量过多会增加测试成本，并且超过一定的样本数据数量之后，其实也不可能获得对被测试算法的明显提升。此外，所述提取多个已标注数据作为样本数据，在许多情况下，需要兼顾样本数据的代表性，即根据要求对每种类型的样本数据抽取一定的比例。

为了更好地保证基础数据的质量，在本实施例中，与网络平台基础数据质量算法的保障方法被分为线下测试和线上测试，以下步骤S120为被测试算法的线下测试。

步骤S120，根据被测试算法的要求，使用样本数据对被测试算法进行线下算法回归评估；若评估结果为通过，则进入下一步；若评估结果为不通过，则对被测试算法进行改进，并重新进行评估。

本步骤是使用算法回归的方法对被测试算法进行测试，是实现回归分析的基本步骤。

回归分析(Regression Analysis)，通常是指确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在本申请实施例中，对回归分析进行广义理解，所述样本数据视为回归分析的变量，所述被测试算法视为变量之间所相互依赖的关系；在本实施例中，上述关系一般并非线性关系。

广义上讲，算法(Algorithm)是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或不适合于某个问题，执行这个算法将不会解决这个问题。本申请则是为了测试算法是否存在缺陷而进行的。

在本步骤中，在被测试算法处于线下时，即被测试算法还未上线应用时，对该被测试算法进行评测；具体的评测过程如图3所示，该图为所述被测试算法所采用算法回归的方法的具体步骤的流程图。

步骤S120-1，根据所述被测试算法的要求，使用所述样本数据，构造所述被测试算法的输入参数。

所述被测试算法的要求就是当下进行算法回归所具有的功能要求，根据该功能要求，在多组样本数据中，根据被测试算法的输入参数要求，将每组样本数据中包含的被测试算法的一个或者多个输入参数提取出来作为下一步骤的输入参数；例如，某个被测试算法可以根据商户名称推断商户的类型，某个体商户的商户名属性数据标注为“某某夏丽”，该商户名属性数据即为被测试算法的输入参数；再如，某个被测试算法中，结合商铺所在的地理位置推算商铺类型(根据商铺的聚集效应)，使用商铺的地理属性数据(如：经纬度值)和地址数据(如：某某街道某某号)，作为被测试算法的输入参数。

步骤S120-2，将所述输入参数提供给所述被测试算法，并获得对应的输出结果。

本步骤是将上述步骤选用的多个输入参数输入至被测试算法中，经过被测试算法的运算，输出对应的一个或者多个输出结果。例如，对应于上述步骤的某个个体商户，其输出结果可为商户类型参数“美发店”(正确的计算结果)，或者其输出结果为商户类型参数“水果店”(不正确的计算结果)；再如，对应于上述步骤的某个商铺，其输出结果可为商户类型参数“某某火锅”(正确的计算结果)，或者其输出结果可为商户类型参数“某某烧烤”(不正确的计算结果)。当然，所述的商户类型参数并不是唯一的被测试算法的输出结果，实际运算中的输出结果数据属性种类很多，上述举例说明的内容仅是为了便于说明理解，并不限制本申请实施例所要保护的范围。

步骤S120-3，将所述输出结果与所述样本数据提供的对应数据相比较，获得其比较结果；并根据各次比较结果，获得所述算法回归评估的评估指标；将所述评估指标与预定的合格指标比较，获得是否通过的所述评估结果。

本步骤是将输出结果与样本数据提供的对应数据相比较，观测输出结果与样本数据中对应的数据是否一致，进而获得算法回归评估的评估指标。

所述输出结果，已由上述步骤获得；所述样本数据提供的对应数据即为一组样本数据中对应被测试算法的输出结果的真实值。在本实施例中，与步骤S120-1对应的多组所述样本数据中的被测试算法的输出结果的真实值为：例如，对应于某个体商户，其商户类型属性数据为“美发店”即为对应的样本数据中的被测试算法的输出结果真实值；再如，某个商铺，其商户类型属性数据为“某某火锅”即为对应的样本数据中的被测试算法的输出结果真实值。

所述算法回归评估的评估指标为样本数据空间下算法的准确率或者召回率，也可以同时采用以上两个指标，或者采用现有技术下可以用作评估指标的其它指标。

所述准确率，是指推荐的总参数中有所少个是正确的，其所占的比重；在本实施例中，准确率即指被测试算法的输出结果和样本数据提供的对应数据的正确的数目与被测试算法的输出结果和样本数据提供的对应数据的全部数目的比值。也就是说，输出的结果与样本数据提供的对应数据存在两种情况，其一是输出的结果与样本数据提供的对应数据一致，即为正确；其二则不一致，即为不正确。

同样的，所述召回率(Recall Rate，也叫查全率)是指正确结果中有多少比率的结果出现了推荐结果中，在本实施例中，召回率即指在所述样本空间下，被测试算法输出的输出结果的全部数目与输出结果正确数目的比值。

考虑到单一数据并不具有说服力，因此，本实施例应用了一定量的样本数据进行测试，进而根据各次比较结果，获得样本数据空间下算法的准确率、召回率作为评估指标。相应的，预定的合格指标为样本数据空间下算法的准确率标准、召回率标准，上述作为合格指标的准确率标准和召回率标准通过经验数据获得。

在本申请实施例中，为了便于理解，采用一组样本数据进行解释说明，具体地，选用已被正确标注某个个体商户作为样本数据，则其包含的商户名属性数据标注为“某某夏丽”，即为被测试算法的输入参数；对应的，其包含的商户类型属性数据为“美发店”，即为对应的样本数据中的被测试算法的输出结果真实值。继而，将输入参数经过被测试算法运算后，输出对应的输出结果，若所述输出结果对应为“美发店”，则与对应的样本数据中的被测试算法的输出结果真实值——商户类型属性数据“美发店”比较，相互符合，说明输出结果正确，即被测试算法的计算结果正确；若所述输出结果对应为“火锅店”，则与对应的样本数据中的被测试算法的输出结果真实值——商户类型属性数据“美发店”比较，不符合，说明输出结果错误，即被测试算法的计算结果正确。

上述仅仅是其中一个样本数据的测试过程，实际上如前所述，需要对被测试数据提供足够数量的样本数据。使用足够数量组的样本数据，分别带入所述被测试算法，分别获得每组样本数据的测试结果，然后将这些测试结果汇总，与预设的指标进行比较，从而对所述被测试算法作出算法回归评估。对于大多数被测试算法而言，仅仅只有一组或者少数几组样本数据是难以获得准确的算法回归评估结论的，只有积累足够数量组的样本数据带入被测试算法，才可能对被测试算法进行评估以及根据评估结果进行相关的调试。例如，经过多组样本数据测试后，以算法回归评估的评估指标中的准确率为例，若计算出的所述准确率标准为95％，而预定的合格指标中的准确率为90％，则获得的评估结果为通过，进行下一步骤；若计算出的所述准确率为85％，而预定的合格指标中的准确率标准为90％，则获得的评估结果为不通过；当评估结果为不通过时，说明被测试算法存在一定的缺陷，此时，被测试的算法会自动收集badcase(错误案例)，算法开发者将选择对应的方式对badcase进行修复，基于对算法的修复过程并不是本申请技的重点，故在此不作详细说明。当对被测试算法改进完成后，重新对被测试算法进行线下算法回归评估，可以更好地测试被测试算法的效果；当评估结果为通过时，则进入下一步骤S130，即对被测试算法进行线上测试。

步骤S130，当算法上线后，在满足预定条件时，采用积累的样本数据，对在线被测试算法进行例行化算法回归评估；若所述评估结果为通过，则进入下一步；若评估结果为不通过，则对被测试算法进行在线改进，并重新进行评估。

本步骤是在算法上线后，继续对算法进行测试，所述例行化是指按照惯例办理，在本实施例中，所用到的方法和所述算法在线下时方法相同，均为算法回归评估方法。

所述预定条件可以根据实际情况具体设定，比如当算法上线后，预定条件是指在线处理的数据达到一定数量；每天(每周或者每月)的某个时段；人工启动的在线回归评估或是自动运行在线回归评估等。

所述积累的样本数据是指：由于本申请是在算法开发、迭代和生产的整个链路中，对算法进行实时的测试，所以在算法由线下转为线上时，样本数据也在不断地更新和变化，当算法上线后，样本数据也进行了大量的积累，该样本数据中可以包含算法未上线(线下)时测试所用到的样本数据，同样也包含新的样本数据。此外，被测试算法本身在上线后，也会根据情况变化进行内部参数的调整，因此，对被测试算法的在线评估非常有必要。

基于在线被测试算法进行算法回归评估与被测试算法进行线下算法回归评估的方式仅限于开始时采用的样本数据发生了变化，而其他具体步骤均相同，故在此不再作重复说明。仅当评估结果为不通过时，则将被测试算法转至线下运行，并在线下对被测试算法进行线下改进(即算法迭代)，并重新对被测试算法进行线下算法回归评估，继而使得整个算法的开发流程达到了闭环，在算法开发，迭代和生产的整个链路中，保障算法的效果，进而保证基础数据的质量。

当然，为了更好地检测算法的效果，对于被测试算法的检测不仅有线上和线下所采用的算法回归评估的方法，还对应有其他的方法对被测试算法进行多角度的测试。

在本申请实施例中，在步骤S120之后，即根据被测试算法的要求，使用样本数据对被测试算法进行线下算法回归评估；若评估结果为通过，则进入下一步。在前述说明中，下一步骤为步骤S130，实际上，还可以在线下对被测试算法进行其他方式的评测，例如，采用数据透视的方法进行评测，以及采用实际样例人工抽检的方法进行评测。考虑到加入上述方法，则在进入在线测试之前，还可以包括采用数据透视方法对被测试算法进行评估，以及采用抽检方法对被测试算法进行评估。这样，步骤S120的下一步就是这些评估方法的相关步骤。

如图4所示，为本实施例采用所述数据透视测试算法的方法流程图。

数据透视是一种可以快速汇总大量数据的交互式方法，本申请实施例中，所述数据透视是指将被测试算法的输出数据的特征进行分析，具体详见以下步骤：

步骤S121，根据被测试算法对应的算法场景，使用基础数据中的多个已知数据，构造对应的被测试算法的输入数据，并获得相应的输出数据。

所述算法场景，是指具体算法所对应的应用场景，在本申请实施例中，被测试算法首先会自动选择与本算法相应的算法场景，例如：被测试算法为门店判重算法，则对应的算法场景为门店判重算法场景，若被测试算法是经纬度算法，则对应的算法场景为经纬度算法场景，若被测试算法为类目推荐算法，则对应的算法场景为类目推荐算法场景。

对应的，已知数据不同于上述的样本数据的，已知数据是应用于各类算法场景中的具体数据，如对应的已知数据可以为商店名称、具体位置参数、经纬度值、地理位置坐标等。且所述多个已知数据，其中的“多个”是对已知数据的数量的要求。根据不同的被测试算法，需要的已知数据的数量也会不同。在本实施例中，使用已知数据构造对应的被测试算法的输入数据，进而通过被测试算法得到相应的输出数据。例如，以被测试算法是经纬度算法为例，则该算法会自动对应于经纬度算法场景；在基础数据中选取一个高频商圈，其客户标注的商圈名称就是所述已知数据，并将该商圈名称作为输入数据通过被测试算法运算得到输出数据，具体为所述高频商圈的经纬度值，之后，利用得到的输出数据进入步骤S122进一步地测试。

步骤S122，根据输出数据选择对应角度提取输出数据的集合的特征值，并将输出数据的集合的特征值与预设的特征指标进行比较；若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对被测试算法进行改进，并返回进行线下算法回归评估的步骤。

本步骤是通过从对应角度去分析输出数据的特征，并通过与预先设定的特征指标相比较，进而测试算法的正确与否。

所述输出数据的集合的特征值是用来描述多量数据的特征的参数；在本申请实施例中，输出数据的集合的特征值是评测被测试算法的标准，输出数据的集合的特征值具体包括但不限于数据的分布情况、字段符合条件的波动率、字段的取值范围以及敏感词命中统计；本实施例中，可以选用单一的特征值对输出数据进行分析，也可以多个特征值相互组合对输出数据进行分析，所应用的特征值范围并不影响本实施例所要保护的范围。此外，采用现有技术下可以用作数据特征的其它特征。

其中，数据的分布情况是指数据所在的区域范围，本实施例中，数据的分布情况可以指数据分布的曲线图，或者是数据分布的点状图等；字段符合条件的波动率是指字段符合条件的波动形态，本实施例利用字段符合条件的波动变化来测试数据的合理性；敏感词命中统计是指对一些数据中的敏感词汇标注，统计其出现的频率等。

预设的特征指标与集合的特征值相对应，则对应有预设数据的分布情况、预设字段符合条件的波动率、预设字段的取值范围以及预设敏感词命中统计等；预设特征指标是通过分析数据的手段得到的，分析数据作为现有技术是将收集的数据通过加工、整理和分析、使其转化为信息，通常用方法有:关联图、系统图、矩阵图、矩阵数据图，在此不再做说明解释。

例如：以上述所述输出数据为“经纬度值”为例，其集合的特征值选用数据的分布情况，将高频商圈的经纬度值与预设的数据分布的点状图比较，若其在所述预设的分数分布的点状图的对应的位置上，说明输出数据的特征值合理，反之不合理。同样的，源于输入数据的数量很多，则输出数据的集合的特征值与预设的特征指标比较的数量也很大，为了测试算法的正确与否，进而会有参考值予以限定，即本实施例的预定阈值。

预定的阈值范围可以根据需要设定合适的值。例如，阈值范围可以设定为0.5％-1％、1％-5％等。如果输出数据的集合的特征值与预设的特征指标的差别在预定的阈值范围内，则该输出数据的集合的特征值是非常相近预设的特征指标的，特别是在阈值范围设定得比较小的情况下。在一个示例中，阈值范围可以设定为1％-5％，在这种情况下，当差别在预定的范围内时，该输出数据的集合的特征值与预设的特征指标是基本相同的，如：输出数据的集合的特征值是数据分布曲线，则基本与预设的数据分布曲线基本重合；在另一个示例中，阈值可以设定为0.5％-1％，在这种情况下，该输出数据的集合的特征值与预设的特征指标是完全相同的，如：输出数据的集合的特征值是分布曲线，则基本与预设的数据分布曲线完全重合。当然，如果输出数据的集合的特征值与预设的特征指标差别超出预定的阈值范围，则说明被测试的算法存在缺陷，需要对算法进行修复。

具体地，在本实施例中，以被测试算法是经纬度算法为例，则该算法会自动对应于经纬度算法场景，在所述经纬度算法场景下，使用基础数据中的已知数据，选取一个高频商圈，其客户标注的商圈名称就是所述已知数据，并将该商圈名称作为输入数据通过被测试算法运算得到输出数据，即算法推荐经纬度值，对比高频商圈的经纬度(已知)和经纬度校准算法推荐经纬度一致性，(认知上高频商圈的经纬度相对比较准确)，可以在一定程度上衡量输出数据的推荐经纬度；同时，统计输出数据的集合特征值中的数据的分布情况，具体为输出数据的推荐经纬度与高频商圈的经纬度距离分布，或是输出数据的推荐经纬度与高频商圈的经纬度覆盖比值，也可以同时采用以上两个指标；而后将输出数据的集合特征值中的数据的分布情况与预设的特征指标中的数据的分布情况进行比较，预设的特征指标中的数据的分布情况具体为：经纬度(已知)与高频商圈的经纬度距离分布，或经纬度(已知)与高频商圈的经纬度覆盖比值；若差别在预定的阈值范围0.5％-1％内，说明被测试算法正确，则继续进入下一步，即步骤S123和步骤S124；若差别超出预定的阈值范围0.5％-1％，则对被测试算法进行改进，并返回进行线下算法回归评估的步骤。本步骤通过分析各个数据特征的合理性、正确性，可以测试算法的正确与否，进而衡量了数据的质量。

如前述说明中，在进入在线测试之前，还可以包括采用数据透视方法对被测试算法进行评估，以及采用抽检方法对被测试算法进行评估。上述步骤S121和步骤122已对采用数据透视方法进行了详细的解释说明，以下步骤则是对抽检方法的解释说明。需要说明的是，所述的数据透视方法和所述的抽检方法作为独立的方法，二者均可以在算法回归方法步骤S120之后，本实施例是在步骤S120之后，直接采用数据透视的方法，而将采用的抽检方法应用于数据透视的方法步骤之后，其他的步骤顺序均属于本申请的保护范围。

如图5所示，为本实施例采用所述抽检方法测试算法的流程图。

步骤S123，根据被测试算法的要求，在基础数据中选择出至少一个输入参数提供给被测试算法进行计算。

该步骤是通过抽样检测的方式继续对被测试算法进行测试。即在基础数据中选择出至少一个输入参数，该输入参数可以是上述的已知数据，也可以不同于已知数据，其范围和信息量并不影响本申请实施例所要保护的范围。当然，需要明确的是，本步骤的测试方式是对算法的输入输出数据的抽检，因此，在基础数据中选择的参数数量并不是很多。所述选择出至少一个输入参数，其中“至少一个”是对抽样检测参数的数量要求，而且在实际的对算法的抽样检测应用中，根据不同的抽检情况，抽检的输入参数也不是一个，所述输入参数在数量上有很多，且具有代表性，为的就是实现对于被测试算法的全面抽样测试。

步骤S124，将上一步骤计算所获得的输出结果与基础数据中已经获得的对应数据进行比较，获得对应的比较结果；根据所获得的各个输出结果的比较结果，获得统计结果；若所述统计结果满足预定的抽检评估指标，则检测的结果为通过，进入下一步；若所述统计结果未满足预定的抽检评估指标，则对所述被测试算法进行改进，并重新进行线下算法回归评估。

其中，输出结果经过被测试算法运算后得到的，其就是所述被测试算法的计算结果；而基础数据中已经获得的对应数据则是通过实际调查、采集客观准确的信息得到的，进而该对应数据可用于与输出结果相比较，得出合理的比较结果。在本实施例中，所述对应数据的获取可以在所述被测试算法输出结果(算法的计算结果)后，通过人工获取该抽检数据的相关信息，并判断出合理、客观的数据结果，该数据结果即为所述对应数据；或者，在本实施例中，所述对应数据的获取可以在所述被测试算法输出结果(算法的计算结果)后，通过既定的数据模型获取该抽检数据的相关信息，以得出合理的数据临界值，该数据临界值即为所述对应数据。本申请实施例的抽检方式并不限于上述举例说明，其他用于数据的抽检方式均是本申请所要保护的范围。

所述统计结果可以为正确率或者覆盖率；所述正确率即为所述输出结果(也就是被测试算法的计算结果)与所述对应数据(正确的数据)相比较后，正确的所述输出结果占总体所述输出结果的比值；所述覆盖率是指所述输出结果(参数有值域范围)占所述对应数据(合理的数据临界值)的占比。

相应的，所述预定的抽检评估指标为对应的正确率或者覆盖率，该抽检评估指标可根据实际情况具体设定。抽检评估指标可以采用其中一个指标，也可以同时采用以上两个指标，或者采用现有技术下可以用作评估指标的其它指标。

在本申请实施例中，为了便于阐述，选用一组数据进行解释说明，且抽样检测方式举例为人工抽检，即通过人工测试算法的输入输出逻辑的正确性。例如：在门店类目推荐场景下，被测试的算法为类目推荐算法，基础数据中有数据为商户名为“某某夏丽”的门店，则将“某某夏丽”作为输入参数提供给被测试的类目推荐算法，若类目推荐算法根据输入参数的信息推荐出该门店的类目为“美发”(被测试算法的计算结果)，即输出结果；抽检过程中，人工会获取该抽检数据的相关信息——线上该门店用户评论，菜单等信息，客观、合理的判断出数据结果为“新疆菜”(基础数据中已经获得的对应数据)，则确定算法推荐的结果是错误的；若类目推荐算法根据输入参数的信息推荐出该门店的类目为“新疆菜”(被测试算法的计算结果)，即输出结果；抽检过程中，人工会获取该抽检数据的相关信息——线上该门店用户评论，菜单等信息，客观、合理的判断出数据结果为“新疆菜”(基础数据中已经获得的对应数据)，则确定算法推荐的结果是正确的。

基于单一数据并不能全面的说明问题，所以以此类推，当抽样检测的输出数据量很多时，则会有大量的比较结果产生，进而可以获得对应的统计结果；

以抽检评估指标为正确率为例，判断抽检评估指标合格与否的具体方式为：利用获得对应的统计结果中的正确率与预定的抽检评估正确率比较，本实施例中，预设抽检评估正确率设定为95％，若当所述统计结果的正确率大于或者等于95％时，为合格，则检测的结果为通过，被测试算法上线；若当所述统计结果的正确率小于95％，为不合格，说明被测试算法存在缺陷，则对被测试算法进行改进。

至此，本申请实施例对于被测试算法的线下测试方式已结束，则步骤S125，被测试算法上线，进而进入被测试算法的线上测试方式，即步骤S130。

基于上述已对步骤S130作了解释说明，故在此不再作重复说明。

在步骤S130中，仅当评估结果为不通过时，则对被测试算法进行在线改进，并重新对被测试算法进行线上或者线下的算法回归评估；当评估结果为通过，则还可以进行更多的评测。

如图6所示，为本申请实施例采用的数据监控的测试算法的方法流程图。

步骤S131：根据所述被测试算法的要求，获取所述被测试算法输出的输出数据。

本步骤是在线被测试算法进行算法回归评估后，继续对被测试算法进行测试，所述被测试算法的要求是指对被测试算法产生的输出数据进行监控。基于基础数据中的数据有很多，而算法则会对这些数据进行不断地运算和积累，进而会有大量的数据经算法运算产生。在本申请实施例中，当所述被测试算法上线后，会对所述被测试算法产生的大量的输出数据进行监控，进而进一步测试在线算法的正确性、稳定性，且监控的所述输出数据可以是当下所述被测试算法产生的大量的输出数据，也可以是对在线被测试算法进行算法回归评估后产生的数据进行监控。

步骤S132：通过预先设定的指标，对所述输出数据及其对应的业务进行监控，并获得对应的监控结果。

其中，所述预先设定的指标是指对输出数据进行监控的指标，该指标可以通过相关数据的统计分析得到，也可以是通过相关的调研考证获取的，该指标涉及的范围较为广泛，但具有一定的代表性和说服力。例如，以某个商圈为例，所述预先设定的指标可以是顾客在所述商圈的消费数额范围值，也可以是所述商圈中的热门店铺占有数值等，该指标都是可以用以对所述输出数据进行监控的。

所述及其对应的业务是指所述输出数据对应的业务，所述业务可以理解为业务分析场景，以电商为例，常用的业务分析场景有销售、商品、渠道、竞品、会员等等，而商品可进一步细分为商品的库存、商品的利润以及关联销售分析等。相应的，在业务场景下，所述预先设定的指标也会不同，例如：商品业务场景的检测评估指标为订单满足率和商品人气指数等，会员业务场景的检测评估指标为会员增长率和会员等级精准度等；所述检测评估指标可以单独使用，也可以同时组合使用，具体的组合方式可根据具体情况设定，且组合方式的设定并不影响本申请的保护范围。

所述监控结果是指对所述输出数据及其对应的业务进行监控后，是否满足预先设定的指标而生成的结果。

例如：在本实施例中，以某个商店会员为例，所述预先设定的指标为会员年龄数范围为20-30岁，若所述输出数据的输出结果为20-25岁，则所述输出数据正确，监控结果为合格；若所述输出数据的输出结果为40-45岁，则所述输出数据不正确，监控结果为不合格。同样的，在所述输出数据对应的会员业务场景下，所述预先设定的指标为“VIP会员”，若在所述会员业务场景下，对应的输出数据为“VIP会员”，则所述输出数据正确，监控结果为合格；若所述输出数据为“普通客户”，则所述输出数据不正确，监控结果为不合格。本举例仅以一个输出数据进行解释说明，基于所述被测试算法生成的输出数据很多，故本举例内容并不影响本申请所要保护的范围。

步骤S133：根据所获得的各个输出数据的监控结果，获得统计结果；若所述统计结果达到预定的监控评估阈值，则所述统计结果为合格，继续进入下一步；若所述统计结果未达到预定的监控评估阈值，则所述统计结果为不合格，生成对应的预警提示，并对所述被测试算法进行改进，重新进行线下算法回归评估。

根据上述步骤可知，所述输出数据及其对应的业务数量很多，则所述预先设定的指标类别也不同，进而会得到各个输出数据的监控结果，将所述监控结果进行整理，以得到统计结果。

所述统计结果可以为正确率，则所述预定的监控评估阈值与之对应，且所述预定的监控评估阈值可根据实际情况具体设定。具体地，例如所述预定的监控评估阈值为95％，若所述统计结果的正确率大于或等于95％，则所述统计结果为合格，继续进入下一步；若所述统计结果的正确率小于95％，则所述统计结果为不合格，并生成对应的预警提示，对所述被测试算法进行改进，重新进行线下算法回归评估。其中，所述预警提示可以直接将所述被测试算法停止运算，减少了其他数据不必要的测试过程，并对所述被测试算法进行改进。

步骤S134：根据被测试算法的要求，使用基础数据中的积累的多个已知数据，构造对应的被测试算法的输入数据，并获得相应的输出数据。

其中，由于本申请是在算法开发、迭代和生产的整个链路中，对算法进行实时的测试，所以在算法由线下转为线上时，算法所用到的多个已知数据也在不断地更新和变化，当算法上线后，多个已知数据也进行了大量的积累，该多个已知数据中可以包含算法未上线(线下)时测试所用到的多个已知数据，同样也包含新的已知数据，该多个已知数据的范围和信息量并不影响本申请实施例所要保护的范围。

步骤S135：根据与输出数据对应的算法场景选择对应角度提取输出数据的集合的特征值，并将输出数据的集合的特征值与预设的特征指标进行比较；若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对被测试算法进行改进，并返回进行线下算法回归评估的步骤。

其中，所述下一步为继续进行步骤S130线上例行化算法回归，由于步骤S134和步骤S135分别是步骤S121和步骤S122在线上的相同操作，即对所述被测试算法进行例行化数据透视，故在此不再作重复说明。

需要说明的是，采用的所述数据监控方法和所述线上数据透视方法均可以在所述线上例行化算法回归方法之后进行，也就是说，在执行完步骤S130线上例行化算法回归后，继续测试算法的方法可以为所述数据监控方法或所述线上数据透视方法，二者的先后顺序并不影响本申请实施例所要保护的范围，继而在执行数据监控方法时，不仅可以直接监控所述线上例行化算法回归的数据，还可以是所述线上数据透视的数据。

为了更好地理解本实施例的步骤流程，本申请实施例还提供了如图7所示的流程示意图，该流程图中的方法步骤的实施，仅作为本申请的优选实施例，其所述内容并不影响本申请所要保护的范围。

本申请提供网络平台基础数据质量算法的保障方法，包括：通过从基础数据中提取多个已标注数据作为样本数据；对被测试算法进行线下算法回归评估；再通过基础数据中积累的样本数据；对被测试算法进行线上算法回归评估；在被测试算法进行线上和线下测试的同时，还对被测试算法进行数据特征值的检测和抽样检测，实现了对被测试算法的全方位的测试，整个算法的开发流程达到了闭环，对算法的效果进行了度量，对算法的迭代起到作用，保证了基础数据的质量。

在上述实施例中，提供了网络平台基础数据质量算法的保障方法，与之对应的，本申请还提供了网络平台基础数据质量算法的保障装置，由于装置实施例基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

如图8所示，其为本申请的网络平台基础数据质量算法的保障方法装置实施例的示意图，本实施例的一种网络平台基础数据质量算法的保障装置，包括：

样本数据获取单元201，用于从所述基础数据中提取多个已标注数据作为样本数据；

线下算法回归评估执行单元202，用于当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若所述评估结果为通过，则进入下一步；若所述评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

线上算法回归评估执行子单元203，用于当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为不通过，则对所述被测试算法进行在线改进，并重新进行评估。

可选的，所述线下算法回归评估单元202，具体包括：

第一构造参数单元202-1，用于根据所述被测试算法的要求，使用所述样本数据，构造所述被测试算法的输入参数；

将所述第一构造参数单元202-1构造的输入参数提供给所述被测试算法，并获得对应的输出结果；

第一比较单元202-2，用于将所述输出结果与所述样本数据提供的对应数据相比较，获得其比较结果；

线下算法评估指标获取单元202-3，用于根据各次所述第一比较单元202-2提供的比较结果，获得所述算法回归评估的评估指标；

线下算法评估结果获取单元202-4，用于将所述评估指标与预定的合格指标比较，获得是否通过的所述评估结果。

可选的，还包括：线下数据透视单元204，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行数据透视，所述线下数据透视单元204包括：

第一数据采集单元204-1，用于根据所述被测试算法对应的算法场景，使用所述基础数据中的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

线下数据特征值处理单元204-2，用于根据所述输出数据选择对应角度提取所述输出数据中的集合的特征值；并将所述输出数据的集合的特征值与预设的特征指标进行比较；

线下数据透视执行单元204-3，若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

可选的，所述输出数据的集合的特征值，具体包括：数据的分布情况，字段符合条件的波动率，字段的取值范围以及敏感词命中统计。

可选的，还包括：抽样检测单元205，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行抽样检测，所述抽样检测单元205包括：

抽样检测参数选取单元205-1，用于根据所述被测试算法的要求，在所述基础数据中选择出至少一个输入参数提供给所述被测试算法进行计算；

抽样检测比较单元205-2，用于将所述抽样检测参数选取单元205-1提供的输出结果与所述基础数据中已经获得的对应数据进行比较，获得对应的比较结果。

抽样检测执行单元205-3，用于根据所述抽样检测比较单元205-2提供的各个输出结果的比较结果，获得统计结果；若所述统计结果满足预定的抽检评估指标，则检测的结果为通过，进入下一步；若所述统计结果未满足预定的抽检评估指标，则对所述被测试算法进行改进，并重新进行线下算法回归评估。

可选的，所述线上算法回归评估单元203，具体包括：

第二构造参数单元203-1，用于根据所述被测试算法的要求，使用所述积累的样本数据，构造所述被测试算法的输入参数；

将所述第二构造参数单元203-1构造的输入参数提供给所述被测试算法，输入相应的所述输入参数，并获得对应的输出结果；

第二比较单元203-2，用于将所述第二构造参数单元203-1获得的所述输出结果与所述积累的样本数据提供的对应参数相比较，获得其比较结果；

线上算法评估指标获取单元203-3，用于根据各次比较结果，获得所述算法回归评估的评估指标；

线上算法评估结果获取单元203-4，用于将所述评估指标与预定的合格指标比较，获得是否通过的评估结果。

可选的，还包括：数据业务监控单元206，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行数据业务监控，所述数据业务监控单元206包括：

数据获取单元206-1，用于根据所述被测试算法的要求，获取所述被测试算法输出的输出数据；

数据业务监控子单元206-2，用于通过预先设定的指标，对所述数据获取单元206-1提供的输出数据及其对应的业务进行监控，并获得对应的监控结果；

监控统计单元206-3。用于根据所述数据业务监控子单元206-2所获得的各个输出数据的监控结果，获得统计结果；

监控执行单元206-4，用于若所述监控统计单元206-3提供的所述统计结果达到预定的监控评估阈值，则所述统计结果为合格，继续进入下一步；若所述统计结果未达到预定的监控评估阈值，则所述统计结果为不合格，生成对应的预警提示，并启动对所述被测试算法的改进，以及重新进行线下算法回归评估。

可选的，还包括：线上数据透视单元207，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行线上数据透视，所述线上数据透视单元207包括：

第二数据采集单元207-1，用于根据所述被测试算法的要求，使用所述基础数据中的积累的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

线上数据特征值处理单元207-2，用于根据与所述第二数据采集单元207-1提供的输出数据对应的算法场景选择对应角度提取所述输出数据的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

线上数据透视执行单元207-3，用于若所述线上数据特征值处理单元207-2比较的差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则启动对所述被测试算法的改进，以及返回进行线下算法回归评估的步骤。

本申请提供的网络平台基础数据质量算法的保障方法，利用样本数据，从基础数据中提取多个已标注数据作为样本数据；利用样本数据对被测试算法进行线下算法回归评估；再通过基础数据中积累的样本数据，对被测试算法进行线上算法回归评估；通过被测试算法进行线上和线下测试的同时，对算法产生反馈，推进算法迭代，并在修正结束继续对算法进行同步的验证；脱离样本数据，设定好输入集合，算法产出输出集合，针对输出集合，可以通过数据透视，和人工抽检的手段，评估算法效果，过程中将有用信息反馈给算法，推进算法迭代。本申请提供的方法不仅实现了对被测试算法的全方位的测试，而且整个算法的开发流程达到了闭环，对算法的效果进行了可靠度量，还对算法的迭代起到作用，从而保证了基础数据的质量。

基于本申请方法实施例还有其他算法测试步骤，因此，如图9所示，为本申请网络平台基础数据质量算法的保障装置10示意图。

本申请实施例还提供了一种电子设备，包括：

处理器；以及

存储器，用于存储网络平台基础数据质量算法的保障方法；

该设备通电并通过所述处理器运行所述网络平台基础数据质量算法的保障方法后，执行下述步骤：

从所述基础数据中提取多个已标注数据作为样本数据；

当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若所述评估结果为通过，则进入下一步；若所述评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为不通过，则对所述被测试算法进行在线改进，并重新进行评估。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (17)

1.网络平台基础数据质量算法的保障方法，其特征在于，包括：

从所述基础数据中提取多个已标注数据作为样本数据；

当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若评估结果为通过，对所述被测试算法进行线上测试；若评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为通过，则进入下一步；若评估结果为不通过，将所述被测试算法转至线下运行，并在线下对所述被测试算法进行线下改进，并重新对所述被测试算法进行线下算法回归评估；

其中，所述使用所述样本数据对所述被测试算法进行线下算法回归评估包括：根据所述被测试算法输出的商户类型参数与所述样本数据提供的对应数据，对所述被测试算法进行线下算法回归评估，所述样本数据提供的对应数据为一组样本数据中对应被测试算法的输出结果的真实的商户类型参数。

2.根据权利要求1所述的网络平台基础数据质量算法的保障方法，其特征在于，所述对所述被测试算法进行算法回归评估，具体包括：

根据所述被测试算法的要求，使用所述样本数据，构造所述被测试算法的输入参数；

将所述输入参数提供给所述被测试算法，并获得对应的输出结果；

将所述输出结果与所述样本数据提供的对应数据相比较，获得其比较结果；

根据各次比较结果，获得所述算法回归评估的评估指标；

将所述评估指标与预定的合格指标比较，获得是否通过的所述评估结果。

3.根据权利要求1所述的网络平台基础数据质量算法的保障方法，其特征在于，所述对所述被测试算法进行线上测试之前，还包括线下数据透视步骤，具体为以下步骤：

根据所述被测试算法对应的算法场景，使用所述基础数据中的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

根据所述输出数据选择对应角度提取所述输出数据中的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

4.根据权利要求3所述的网络平台基础数据质量算法的保障方法，其特征在于，所述输出数据的集合的特征值，具体包括：数据的分布情况，字段符合条件的波动率，字段的取值范围以及敏感词命中统计。

5.根据权利要求1所述的网络平台基础数据质量算法的保障方法，其特征在于，所述线下算法回归评估的评估结果为通过，则所述进入下一步中，其中，所述下一步为抽样检测，具体为以下步骤：

根据所述被测试算法的要求，在所述基础数据中选择出至少一个输入参数提供给所述被测试算法进行计算；

将上一步骤计算所获得的输出结果与所述基础数据中已经获得的对应数据进行比较，获得对应的比较结果；

根据所获得的各个输出结果的比较结果，获得统计结果；若所述统计结果满足预定的抽检评估指标，则检测的结果为通过，进入下一步；若所述统计结果未满足预定的抽检评估指标，则对所述被测试算法进行改进，并重新进行线下算法回归评估。

6.根据权利要求1所述的网络平台基础数据质量算法的保障方法，其特征在于，所述对所述在线被测试算法进行例行化算法回归评估，具体包括：

根据所述被测试算法的要求，使用所述积累的样本数据，构造所述被测试算法的输入参数；

将所述输入参数提供给所述被测试算法，并获得对应的输出结果；

将所述输出结果与所述积累的样本数据提供的对应参数相比较，获得其比较结果；

根据各次比较结果，获得所述算法回归评估的评估指标；

将所述评估指标与预定的合格指标比较，获得是否通过的评估结果。

7.根据权利要求1所述的网络平台基础数据质量算法的保障方法，其特征在于，所述线上算法回归评估的评估结果为通过，则所述进入下一步，所述下一步为数据业务监控，具体为以下步骤：

根据所述被测试算法的要求，获取所述被测试算法输出的输出数据；

通过预先设定的指标，对所述输出数据及其对应的业务进行监控，并获得对应的监控结果；

根据所获得的各个输出数据的监控结果，获得统计结果；

若所述统计结果达到预定的监控评估阈值，则所述统计结果为合格，继续进入下一步；若所述统计结果未达到预定的监控评估阈值，则所述统计结果为不合格，生成对应的预警提示，并对所述被测试算法进行改进，重新进行线下算法回归评估。

8.根据权利要求1所述的网络平台基础数据质量算法的保障方法，其特征在于，所述线上算法回归评估的评估结果为通过，则所述进入下一步，所述下一步为线上数据透视，具体为以下步骤：

根据所述被测试算法的要求，使用所述基础数据中的积累的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

根据与输出数据对应的算法场景选择对应角度提取所述输出数据的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

9.一种网络平台基础数据质量算法的保障装置，其特征在于，包括：

样本数据获取单元，用于从所述基础数据中提取多个已标注数据作为样本数据；

线下算法回归评估单元，用于当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若评估结果为通过，对所述被测试算法进行线上测试；若评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

线上算法回归评估单元，用于当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为不通过，将所述被测试算法转至线下运行，并在线下对所述被测试算法进行线下改进，并重新对所述被测试算法进行线下算法回归评估；

其中，所述使用所述样本数据对所述被测试算法进行线下算法回归评估包括：根据所述被测试算法输出的商户类型参数与所述样本数据提供的对应数据，对所述被测试算法进行线下算法回归评估，所述样本数据提供的对应数据为一组样本数据中对应被测试算法的输出结果的真实的商户类型参数。

10.根据权利要求9所述的网络平台基础数据质量算法的保障装置，其特征在于，所述线下算法回归评估单元，具体包括：

第一构造参数单元，用于根据所述被测试算法的要求，使用所述样本数据，构造所述被测试算法的输入参数；将所述第一构造参数单元构造的输入参数提供给所述被测试算法，并获得对应的输出结果；

第一比较单元，用于将所述输出结果与所述样本数据提供的对应数据相比较，获得其比较结果；

线下算法评估指标获取单元，用于根据各次所述第一比较单元提供的比较结果，获得所述算法回归评估的评估指标；

线下算法评估结果获取单元，用于将所述评估指标与预定的合格指标比较，获得是否通过的所述评估结果。

11.根据权利要求9所述的网络平台基础数据质量算法的保障装置，其特征在于，包括：线下数据透视单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行数据透视，所述线下数据透视单元包括：

第一数据采集单元，用于根据所述被测试算法对应的算法场景，使用所述基础数据中的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

线下数据特征值处理单元，用于根据所述输出数据选择对应角度提取所述输出数据中的集合的特征值；并将所述输出数据的集合的特征值与预设的特征指标进行比较；

线下数据透视执行单元，若差别在预定的阈值范围内，则继续进入下一步；若差别超出预定的阈值范围，则对所述被测试算法进行改进，并返回进行线下算法回归评估的步骤。

12.根据权利要求11所述的网络平台基础数据质量算法的保障装置，其特征在于，所述输出数据的集合的特征值，具体包括：数据的分布情况，字段符合条件的波动率，字段的取值范围以及敏感词命中统计。

13.根据权利要求9所述的网络平台基础数据质量算法的保障装置，其特征在于，包括：抽样检测单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行抽样检测，所述抽样检测单元包括：

抽样检测参数选取单元，用于根据所述被测试算法的要求，在所述基础数据中选择出至少一个输入参数提供给所述被测试算法进行计算；

抽样检测比较单元，用于将所述抽样检测参数选取单元提供的输出结果与所述基础数据中已经获得的对应数据进行比较，获得对应的比较结果；

抽样检测执行单元，用于根据所述抽样检测比较单元提供的各个输出结果的比较结果，获得统计结果；若所述统计结果满足预定的抽检评估指标，则检测的结果为通过，进入下一步；若所述统计结果未满足预定的抽检评估指标，则对所述被测试算法进行改进，并重新进行线下算法回归评估。

14.根据权利要求9所述的网络平台基础数据质量算法的保障装置，其特征在于，所述线上算法回归评估单元，具体包括：

第二构造参数单元，用于根据所述被测试算法的要求，使用所述积累的样本数据，构造所述被测试算法的输入参数；将所述第二构造参数单元构造的输入参数提供给所述被测试算法，并获得对应的输出结果；

第二比较单元，用于将所述第二构造参数单元获得的所述输出结果与所述积累的样本数据提供的对应参数相比较，获得其比较结果；

线上算法评估指标获取单元，用于根据各次比较结果，获得所述算法回归评估的评估指标；

线上算法评估结果获取单元，用于将所述评估指标与预定的合格指标比较，获得是否通过的评估结果。

15.根据权利要求9所述的网络平台基础数据质量算法的保障装置，其特征在于，包括：数据业务监控单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行数据业务监控，所述数据业务监控单元包括：

数据获取单元，用于根据所述被测试算法的要求，获取所述被测试算法输出的输出数据；

数据业务监控子单元，用于通过预先设定的指标，对所述数据获取单元提供的输出数据及其对应的业务进行监控，并获得对应的监控结果；

监控统计单元，用于根据所述数据业务监控子单元所获得的各个输出数据的监控结果，获得统计结果；

监控执行单元，用于若所述监控统计单元提供的所述统计结果达到预定的监控评估阈值，则所述统计结果为合格，继续进入下一步；若所述统计结果未达到预定的监控评估阈值，则所述统计结果为不合格，生成对应的预警提示，并启动对所述被测试算法的改进，以及重新进行线下算法回归评估。

16.根据权利要求9所述的网络平台基础数据质量算法的保障装置，其特征在于，包括：线上数据透视单元，用于根据所述被测试算法的要求，对所述被测试算法的输出数据进行线上数据透视，所述线上数据透视单元包括：

第二数据采集单元，用于根据所述被测试算法的要求，使用所述基础数据中的积累的多个已知数据，构造对应的所述被测试算法的输入数据，并获得相应的输出数据；

线上数据特征值处理单元，用于根据与所述第二数据采集单元提供的输出数据对应的算法场景选择对应角度提取所述输出数据的集合的特征值，并将所述输出数据的集合的特征值与预设的特征指标进行比较；

线上数据透视执行单元，用于若所述线上数据特征值处理单元比较结果的差别在预定的阈值范围内，则继续进入下一步；若比较结果的差别超出预定的阈值范围，则启动对所述被测试算法的改进，以及返回进行线下算法回归评估的步骤。

17.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储网络平台基础数据质量算法的保障方法；

该设备通电并通过所述处理器运行所述网络平台基础数据质量算法的保障方法后，执行下述步骤：

从所述基础数据中提取多个已标注数据作为样本数据；

当被测试算法在线下时，根据所述被测试算法的要求，使用所述样本数据对所述被测试算法进行线下算法回归评估；若评估结果为通过，对所述被测试算法进行线上测试；若评估结果为不通过，则对所述被测试算法进行改进，并重新进行评估；

当所述算法上线后，在满足预定条件时，采用积累的样本数据，对所述在线被测试算法进行例行化算法回归评估；若评估结果为不通过，将所述被测试算法转至线下运行，并在线下对所述被测试算法进行线下改进，并重新对所述被测试算法进行线下算法回归评估；

其中，所述使用所述样本数据对所述被测试算法进行线下算法回归评估包括：根据所述被测试算法输出的商户类型参数与所述样本数据提供的对应数据，对所述被测试算法进行线下算法回归评估，所述样本数据提供的对应数据为一组样本数据中对应被测试算法的输出结果的真实的商户类型参数。

Images